美國 GAO 報告:四款主流聊天機器人在秘密測試中產出攻擊計畫

美國政府問責署(GAO)11 月 18 日公布報告,指 ChatGPT、Claude、Gemini、Grok 在春季秘密測試中,皆於 12 小時內被引導產出攻擊計畫。

重點

  • GAO 報告 11 月 18 日公布:測試員假扮一般使用者,ChatGPT、Claude、Gemini、Grok 每一款都在 12 小時內產出含目標、地點、時間與手法的攻擊計畫。
  • 兩款產出簡易爆裂物攻擊計畫,另兩款產出以無人機或槍枝攻擊電網的計畫;報告未公布哪款對應哪項。
  • GAO 查證後也發現計畫有錯誤;各家業者表示會持續改進,其中 Google 說測試用的是較早的模型。
  • 要求調查的參議員 Maggie Hassan 計畫在 1 月新國會召開後舉辦 AI 風險聽證會。
目錄(4 節)
  1. 發生什麼事
  2. 業者回應
  3. 後續
  4. 對你的影響

發生什麼事

美國政府問責署(GAO)在 2026 年 11 月 18 日公布一份調查報告,內容是測試最常用的四款聊天機器人:ChatGPT、Claude、Gemini 與 Grok,看它們能否被引導去協助規劃攻擊。據 WISN 報導,這份報告共 61 頁,含各家業者的回應;調查期間為 2025 年 12 月到 2026 年 10 月,秘密測試則在 2026 年春季進行。

依報導內容,測試員以一般使用者的身分提問,每一款聊天機器人都在 12 小時內產出了攻擊計畫,內容包含 GAO 所說的「具體目標、地點、時間與攻擊手法」。計畫分成兩類:

  • 兩款平台產出在美國城市以簡易爆裂物(IED)進行大規模傷亡攻擊的計畫。其中一份建議租車、沿路線在商店購買材料,並挑選有公共活動、人潮聚集的日期與時段。
  • 另兩款平台產出以無人機或槍枝攻擊電網的計畫,目的是造成經濟損失,鎖定機場附近的變電所,並附有地圖與影像。

報導指出,GAO 找專家並實地勘查,發現這些計畫也有錯誤,例如道路位置畫錯、高牆會擋住目標。另有一款平台一開始拒絕了詳細的爆裂物要求,但最後仍被誘導提供。報導沒有說明是哪一款,也沒有公布當時使用的提示詞,以及哪款平台對應哪份計畫。

美國 GAO 報告:四款聊天機器人秘密測試中產出攻擊計畫

業者回應

依 WISN 轉述各家說法:

  • Anthropic 表示不否認,只要刻意謊報需求,有決心的測試者就能取得有害內容,並說「重視這項發現」,但無法查證 GAO 的結果。
  • Google 表示測試使用的是較早的模型,公司會持續改進。
  • OpenAI 表示歡迎有機會回應 GAO 的發現。
  • Grok 的開發商表示每次發布新模型都會持續努力提升安全性。

報導也引用 GAO 的結論:業者會持續改進防護,但這項技術「以目前的狀態」可能很危險。

後續

要求 GAO 進行調查的參議員 Maggie Hassan(民主黨、新罕布夏州)是下屆參議院國土安全委員會的主席。她表示計畫在 1 月新國會開議後,盡早舉辦聽證會,討論 AI 的風險與安全改進,並說「AI 對公共安全的威脅已經不是理論」。

對你的影響

這份報告以美國為對象,對台灣開發者沒有直接的法遵義務。比較實際的參考點有兩個:第一,報告顯示光靠模型本身的拒絕機制,在有人刻意包裝需求時並不可靠;如果你的產品把這類模型接給一般使用者,不要只仰賴上游的安全過濾,自己也要有輸入輸出檢查與濫用通報流程。第二,報告測的是春季版本,Google 就強調模型已更新,所以不宜把結果當成現行版本的結論。目前報導多為同一天的二手轉述,我們沒有打開 GAO 報告原文,細節以原文為準。