OpenAI 讓四家外部機構進駐內部做安全評估,第一階段條件受到批評

OpenAI 宣布與 Apollo Research、Goodfire、METR、Transluce 展開嵌入式評估的第一階段;Redwood 執行長指出存取程度不如先前承諾的「員工等級」。

重點

  • OpenAI 11 月 16 日宣布,第一階段由 Apollo Research、Goodfire、METR、Transluce 四家外部機構嵌入評估。
  • Apollo 與 Goodfire 有收費,METR 與 Transluce 不收費,但可能接受算力或 API 額度。
  • Apollo 的協議限制了可接觸的人員與可公開的佐證;Redwood 執行長批評這不符合「員工等級存取」。
  • NPR 11 月 18 日報導:研究者批評實際做法遠不及 Altman 9 月承諾的「員工等級存取」,OpenAI 則稱這是「深化關係」的第一步。
  • 此為 TechCrunch 對 OpenAI 公告的報導;OpenAI 官方頁面我們這次打不開,細節以報導為準。
目錄(4 節)
  1. 發生什麼事
  2. 存取條件與爭議
  3. 最新進展(11 月 18–19 日)
  4. 對你的影響

發生什麼事

據 TechCrunch 報導,OpenAI 在 11 月 16 日宣布「嵌入式評估」(embedded assessments)的第一階段:四家外部機構會進入 OpenAI 內部,檢查它的模型與安全機制。這個概念是 9 月 OpenAI 就對外提過的方向,這次公布了具體的合作對象與範圍。(OpenAI 的官方公告頁我們這次無法打開,以下以 TechCrunch 的報導為準。)

四家機構與各自負責的事:

  • Apollo Research:研究模型是否會試圖破壞自己或後續模型的對齊與控制機制,包括訓練是否會誘發這種行為、評估能否引出、內部部署時會不會發生,以及相關推理是否看得出來。本週開始,有收費。
  • Goodfire:派出擅長模型內部機制(可解釋性)的研究員,用自家平台協助監看訓練過程、修正不想要的行為。有收費;成果會發表,但主要讀者是 OpenAI 自己的研究員。
  • METR:第一項評估找模型本身有沒有 OpenAI 自己的測試漏掉的非預期或危險行為,METR 大致自行決定查什麼、怎麼測;第二項評估 OpenAI 的系統能不能抓到這些行為,範圍尚未決定。不收費,但可能接受算力或 API 額度。
  • Transluce:檢視 OpenAI 的後訓練安全評估夠不夠好,並計畫在 2027 年檢視 OpenAI 如何用安全測試決定模型能否發布。不收費,同樣可能接受算力或 API 額度。

OpenAI 讓四家外部機構嵌入內部進行安全評估,條件受到批評。

存取條件與爭議

以 Apollo 為例,OpenAI 會提供相關的訓練程式碼與資料集、附推理軌跡與獎勵的強化學習 rollout,以及查詢中間檢查點的能力,但僅限雙方同意的評估項目、模型與時間範圍。OpenAI 可以因技術上做不到、資安風險或智慧財產而保留資訊,但同意不會只因為資訊對自己不利就不給。

可接觸的人員僅限 OpenAI 授權的員工,Apollo 可以推薦人選。若授權名單以外的員工談到屬於評估範圍的機密資訊,Apollo 必須停止對話,改由 OpenAI 轉達。Apollo 可以發表自己的獨立結論,但 OpenAI 可以限制公開哪些佐證;報導指 Apollo 對此提出異議,認為應能在 OpenAI 反對時仍向適當的外部對象揭露,並主張真正的獨立需要員工等級的存取。

Redwood Research 執行長 Buck Shlegeris 表示,這些協議未達 OpenAI 先前所描述的「員工等級存取」門檻,稱結果「令人失望但不意外」,並說之後的協議可能更好。TechCrunch 也提到 OpenAI 曾因涉嫌向 METR 洩漏機密資訊而解雇三名研究員,並說這能解釋為何 Apollo 協議中對後續溝通的限制很重要。報導另說,Anthropic 最先提出把評估者嵌入前沿實驗室,且上個月開始讓 METR 研究員取得員工等級的內部存取。站上另有 Anthropic 的相關文章:Accenture 嵌入式評估。

最新進展(11 月 18–19 日)

NPR 在 11 月 18 日報導了外界對這項試辦計畫的反應。報導指出,OpenAI 稱四個機構的人員將成為「嵌入式評估者」(embedded assessors),執行長 Sam Altman 在 Semafor 的活動上表示,取得外部對安全工作與系統穩健度的意見「會越來越重要」。OpenAI 的前沿保證(frontier assurances)負責人 Lama Ahmad 說,公司給出的是「對部分最敏感工具與模型的深度存取」。評估者可接觸部分內部模型、訓練流程與部分員工,OpenAI 去除機密資訊後,評估者可以發表發現。

但多位 AI 安全研究者認為,這與 Altman 9 月承諾的「類員工存取」差距很大。Nightingale 創辦人 Sydney Von Arx 說,評估者的存取範圍很窄,「似乎只有兩家」被允許與員工交談;她也指出沒有任何人能存取公司內部 Slack,並以「只能和白名單同事談公司資訊、又沒有 Slack 的『員工』」來形容這個限制。曾是 OpenAI 對外部評估機構的技術窗口、後來被解雇的 Tomek Korbak 則說,只有取得員工等級的存取,嵌入式稽核才能達到目的,並稱 9 月的承諾是「一次尷尬的過度承諾」。

OpenAI 發言人 Gaby Raila 回應 NPR:目前嵌入式評估還沒有標準,公司預期會隨時間深化這些關係,並分享心得來建立業界的最佳做法;她也說評估者可以要求與未列入白名單的員工交談,並有流程可取得 OpenAI 對非正式所得資訊的說明。

另外,OpenAI 在 11 月 18 日有一篇標題為「Managing frontier AI risk: From training to deployment」的官方文章,我們這次無法打開官網(需要啟用 JavaScript 與 Cookie),內容不在本文範圍。

對你的影響

這屬於產業治理消息,不會改變 API 功能或價格。對依賴 OpenAI 模型的團隊,實際可做的是:之後若這些機構發表評估結果,值得讀一下,因為它們會直接說明模型在哪些情境下有非預期行為。目前第一階段才剛開始,報告何時出來報導沒有說明,也不需要因此調整現有產品。