研究发现，一些顶级 AI 实验室的风险管理“非常薄弱”

(SeaPRwire) –   根據一項新的研究，全球一些頂尖的 AI 實驗室的安全措施不足，而罪魁禍首是埃隆·馬斯克的 xAI。

法國非營利組織 SaferAI 在週三發布了首份評估頂尖 AI 公司風險管理實務的評級。SaferAI 創始人西蒙·坎波斯表示，這些評級的目的是為 AI 公司處理風險的方式制定明確的標準，因為這些新興系統的強大和使用範圍越來越大。AI 系統已經展現了它們的能力，例如 或 。政府在制定框架方面行動緩慢：加州一項規範當地 AI 行業的法案 被加州州長加文·紐森否決。

“AI 技術發展速度極快，但 AI 風險管理卻沒有跟上，”坎波斯說。“只要政府沒有自己進行評估，我們的評級就會填補這個空白。”

為了對每家公司進行評級，SaferAI 的研究人員評估了模型的“紅隊”——技術上的努力去尋找缺陷和漏洞——以及公司制定模型威脅和減輕風險的策略。

在評估的六家公司中，xAI 排名最後，得分為 0/5。Meta 和 Mistral AI 也被標記為風險管理“非常薄弱”。OpenAI 和 Google Deepmind 的評級為“弱”，而 Anthropic 以 2.2 分的“中等”得分領先。

坎波斯表示，xAI 得分最低，因為他們幾乎沒有公開任何關於風險管理的資訊。他希望該公司現在可以將注意力轉移到風險管理上，因為其模型 Grok 2 正與 Chat-GPT 和其他系統競爭。“我希望這只是一個過渡階段：他們會在未來六個月內公開一些資訊，然後我們可以根據這些資訊更新他們的評級，”他說。

坎波斯表示，這些評級可能會給這些公司施加壓力，要求它們改進其內部流程，這可能會減少模型的偏差，遏制錯誤信息的傳播，或使它們不太容易被惡意行為者濫用。坎波斯還希望這些公司採用與核能、生物安全和航空安全等高風險行業相同的一些原則。“儘管這些行業處理的是截然不同的對象，但它們的原則和風險管理框架卻非常相似，”他說。

SaferAI 的評級框架旨在與一些全球最重要的 AI 標準相兼容，包括歐盟 AI 法案和七國集團廣島程序中提出的標準。SaferAI 是 的一部分，該組織由白宮於 2 月份創建。該非營利組織主要由科技非營利組織 Founders Pledge 和投資者 Jaan Tallinn 提供資金。

AI 領域最受尊敬的人物之一約書亞·本吉奧認可了這個評級系統，他在一份聲明中寫道，他希望這個系統能夠“保證 [公司] 開發和部署的模型的安全……我們不能讓他們自己打分。”

更正，10 月 2 日：這篇報導的原始版本錯誤地說明了 SaferAI 對公司進行評級的方式。其研究人員評估了模型的“紅隊”程序；他們沒有進行自己的紅隊評估。