商傳媒|葉安庭/綜合外電報導
人工智慧(AI)開發商OpenAI昨日(25日)宣布,已啟動一項公開的「安全漏洞獎勵計畫」(Safety Bug Bounty Program),旨在識別其產品套件中AI濫用及安全方面的風險,尤其側重於可能導致現實世界危害的AI代理程式(AI Agent)相關漏洞。
根據《blockchain.news》報導,這項新計畫是OpenAI現有「資安漏洞獎勵計畫」(Security Bug Bounty)的補充。研究人員提交的報告將由安全與資安團隊共同評估,並根據範圍分配至不同計畫。該計畫特別關注第三方提示詞注入攻擊,這類攻擊可能導致惡意文字劫持用戶的AI代理程式(包括Browser、ChatGPT Agent等產品),進而執行有害操作或洩露敏感資訊。
其他列入獎勵範圍的漏洞還包括:AI代理程式在OpenAI網站上大規模執行未經允許的操作、暴露與模型推理相關的專有資訊,以及規避自動化防禦機制或帳戶信任信號的行為。然而,若僅是導致模型使用不雅語言或回傳可輕易搜尋資訊的「越獄」(jailbreak)行為,且未展示出實質安全影響的通用內容政策繞過,則明確排除在此計畫之外。
為符合提示詞注入攻擊獎勵資格,提交的攻擊必須至少有五成的可重現性。有興趣參與的研究人員可透過OpenAI的Bugcrowd平台提出申請。此舉顯示OpenAI正積極應對AI代理程式與第三方工具及資料來源互動所帶來的潛在風險。







