合作媒體

防AI遭濫用!Anthropic重金海選化武專家 強化AI模型安全機制

商傳媒|責任編輯/綜合外電報導

根據英國《BBC》報導,據 BBC 報導,美國人工智慧公司 Anthropic 近期發布招聘訊息,尋找具備化學武器與爆炸物防禦經驗的專業人士,協助評估與防範 AI 系統可能遭到「災難性濫用」的風險。該公司表示,此舉旨在確保旗下 AI 助手 Claude 不會被用於生成與大規模毀滅性武器相關的危險資訊。此舉也反映生成式 AI 產業在快速發展的同時,正加強對安全與風險管理的重視。

Anthropic 在 LinkedIn 上發布的職缺指出,應徵者需具備至少五年以上與化學武器、爆炸物或相關防護領域的實務經驗,並熟悉包括「放射性散布裝置」(俗稱髒彈)在內的安全風險評估。該公司表示,這類跨領域專家將協助測試 AI 模型在極端情境下的回應能力,確保系統能有效阻止與危險武器製作相關的內容生成。

AI 企業近年持續加大在安全領域的投入。除了 Anthropic 外,OpenAI 也在招聘與生物與化學風險相關的研究人員,部分職位薪資上限可達約 45 萬美元。業界認為,隨著大型語言模型在科學研究與工程領域的應用日益廣泛,企業需要更完善的安全機制,以避免技術被惡意利用。

部分研究人員也對 AI 在敏感領域的應用提出警告。科技政策研究員 Stephanie Hare 表示,當 AI 系統涉及化學或爆炸物相關資訊時,必須特別謹慎,因為目前全球尚缺乏明確的國際規範來管理 AI 在這些高風險領域的應用。

Anthropic 共同創辦人 Dario Amodei 也曾多次公開指出,人工智慧仍處於快速發展階段,在安全機制尚未成熟之前,不應將其用於高風險的自動化決策領域。隨著生成式 AI 技術持續進步,如何在推動創新的同時建立有效的安全防線,正成為科技產業與政策制定者共同面臨的重要課題。