ForgeCode 宣稱勝過 Claude Code 與 Codex,獨立測試的差距不到一個百分點

Startup Fortune 檢視開源程式代理 ForgeCode 的成績:自報的 TermBench 2.0 拿到 81.8%,但獨立驗證的 SWE-bench Verified 只領先 Codex 0.6 個百分點。

重點

  • ForgeCode 是 Tailcall 開發的開源終端程式代理,不綁定特定模型。
  • TermBench 2.0 的 81.8% 是 ForgeCode 自己提交的成績,不算獨立結果。
  • SWE-bench Verified 上 ForgeCode 搭配 Claude 4 為 72.7%,Codex 1 為 72.1%,差 0.6 個百分點。
  • 文章提醒:同一模型換不同外殼,分數可差約 25 點,榜單更多反映調校而非模型本身。
目錄(3 節)
  1. 發生什麼事
  2. 文章的論點
  3. 對你的影響

發生什麼事

Startup Fortune 在 10 月 18 日發表一篇評析,檢視程式代理 ForgeCode 的宣傳。ForgeCode 由 Tailcall Inc. 開發,開源(GitHub 的 tailcallhq/forgecode),在 Bash、Zsh、Fish 中執行,可搭配不同模型。

依該報導,ForgeCode 在 tbench.ai 的 TermBench 2.0 拿到 81.8%,但這個成績是 ForgeCode 自己提交的,不是獨立測試。另一個由普林斯頓與芝加哥大學執行並驗證的 SWE-bench Verified 上,ForgeCode 搭配 Claude 4 為 72.7%,Codex 1 為 72.1%,差距 0.6 個百分點。報導認為這個結果與頂級的 Codex、Claude Code 設定只差約兩點內。

ForgeCode 自報基準勝過 Claude Code 等,獨立測試差距不到一個百分點。

文章的論點

  • 外殼影響很大:Tailcall 自己說,Gemini 3.1 Pro 放進 ForgeCode 的調度流程後,Terminal-Bench 2.0 分數由 55% 升到 80.2%,模型權重不變。
  • Scale AI 的 SWE-bench Pro 中,三套使用相同 Claude Opus 4.5 權重的代理系統分數落在 50.2% 到 55.4%。
  • 報導據此推論,榜單排名更能反映外殼的調校,而不是模型本身的聰明程度。
  • ForgeCode 在 GitHub 約 7,380 顆星、1,438 個 fork,代表社群有興趣,但不代表開發者已從 Claude Code 或 Codex 轉換。

文章沒有說 ForgeCode 造假,而是形容它是認真的開源工具,在唯一獨立驗證的基準上有小幅但真實的優勢。這些分析出自單一媒體,我們沒有另外重跑任何測試。

對你的影響

挑選程式代理時,不要只看廠商自報的榜單。比較實際的做法是拿自己的 repo、自己的任務,在相同模型下各跑幾次,看成功率與花費;同一個模型換外殼,差異可能比換模型還大。