發生什麼事
Anthropic 在 2026 年 11 月 13 日發表研究文章〈Building strong safety evaluations〉,把自己做安全評測的經驗整理成十項建議。文章借用心理學界處理「實驗無法重現」問題的做法,主張一個安全宣稱的可信度,取決於背後的評測做得多紮實。

十項建議的重點
安全優先。 組隊時要同時有方法專家(抽樣、評分、統計)與領域專家(例如心理學家、生物學家)。跑資安或需要上網的評測,應在沒有對外網路的沙箱裡進行並即時監控;Anthropic 說自己遇過事件後,加強了環境隔離,並暫停了許多需要上網的評測。
設計。 觀察式設計只能看出模型之間的差異,要下因果結論就得一次只改一個變因,例如同一模型有無系統提示。要量的概念也要想清楚:拒絕不一定是正確答案,例如自傷相關的評測,Anthropic 用「適當回應率」,由領域專屬的評分準則判定,一個回合出錯就算整段對話失敗,同時也要量對正常請求的過度拒絕。另外建議用多輪模擬,因為傷害常常是逐步浮現的。
執行。 要避免資料污染與獎勵作弊,並校準難度;已經飽和的評測比較像回歸檢查。自動評分器要對照人類標註,條件盡量用簡單的二元判斷,評分失敗要標示出來而不是默默當成通過。分析方式、比較項目與門檻,建議在看到結果前就先登記,每題多跑幾次。
回報。 結果要分類別呈現、含沒有變化的項目、修正多重比較,並附上不確定性;模型版本、設定、提示詞、評分器版本與日期都要記錄。發現他人評測的嚴重缺陷時,先通知對方、給時間修復再公開。
文中的數字
- 近期模型在 API 上的單輪「無害回應率」落在 94% 到 98%,這類評測已接近飽和。
- 樣本量下限:複雜的多輪評測至少 100 題,較單純的單輪評測至少 1,000 題。多輪評測的信賴區間可能超過正負 10 個百分點。
- 詐騙情境評測中,Opus 5 為 98%、Opus 5.5 為 94%,但差距沒有統計顯著性。
- 同一模型在 API 與 claude.ai 的適當回應率最多差 34 個百分點;在自傷評測中,系統提示調整後 claude.ai 為 94%,API 為 60%。
對你的影響
如果你的團隊用 LLM 做產品,並自己建評測集,這份清單可以直接當檢查表:評分器有沒有跟人工比對過、結果有沒有附信賴區間、比較兩個模型時是不是只改了一個變因。看別人公布的跑分時,也值得先問:設定一樣嗎?樣本夠大嗎?