Anthropic 與 Accenture 合作,讓第三方評估員進駐公司內部

Anthropic 宣布與 Accenture 合作進行「嵌入式評估」,雙方各預計五年投入至少 10 億美元,由 Accenture 旗下 Faculty 帶頭。

重點

  • Anthropic 與 Accenture 合作,讓獨立評估員在 Anthropic 內部以接近員工的權限工作。
  • 雙方各預計在未來五年投入至少 10 億美元建立相關能力,由 Anthropic 直接出資。
  • 工作範圍包含模型評估與紅隊測試、對齊評估、安全防護測試。
  • 目前尚無評估員可取得哪些資訊、如何回報的標準,Anthropic 自己也說許多細節還在摸索。
目錄(3 節)
  1. 發生什麼事
  2. 背景
  3. 對你的影響

發生什麼事

Anthropic 在官方網站宣布,與 Accenture 合作推動「嵌入式評估」(embedded evaluation)。簡單說,就是讓獨立的第三方評估員進到 AI 公司內部工作,權限接近一般員工,而不是只在外面拿到模型 API 做測試。

依 Anthropic 的說明,這些評估員可以在訓練過程中觀察模型、了解模型如何被建構與部署的決策,也能直接和員工對話。他們要做的事包括評估模型並進行紅隊測試、對齊評估,以及檢驗模型的安全防護。這項合作由 Accenture 專注 AI 的事業 Faculty 領軍。

金額方面,Anthropic 與 Accenture 各自預計在未來五年內至少投入 10 億美元,用來建立這方面的能力;Accenture 的工作由 Anthropic 直接出資。

Anthropic 與 Accenture 合作,讓第三方評估員進駐 AI 公司內部

背景

Anthropic 表示,這是 CEO Dario Amodei 在文章〈We Must Pace the Frontier〉中提出「在 Anthropic 內部嵌入評估員」承諾的一步。

Anthropic 也坦承這件事還很新。目前沒有標準規範評估員能取得哪些資訊、以什麼方式回報結果,也沒有定案的獨立評估資金機制。它認為長期資金應該來自集資池或政府,這是 Anthropic 在 6 月的 Advanced AI Framework 中提過的主張;在那之前,會與不同評估單位採用不同的出資方式。非營利評估機構 METR 與其他組織也正與 Anthropic 討論,以自有資金試行部分流程。

這項合作並非獨家:Anthropic 預告幾週內會公布更多評估員,Accenture 也會與其他 AI 開發商合作。Anthropic 強調,獨立評估員不會減輕它自己的責任,模型安全仍由公司負責,只是讓這份責任更容易被驗證。

對你的影響

對一般使用 Claude 的開發者與小團隊,這則消息不會立刻改變 API 或價格。比較值得留意的是,如果你的客戶或公司在做供應商風險評估,之後可能會看到「第三方評估」成為廠商揭露的項目;不過目前具體做法與標準都還沒定,先觀察即可。