發生什麼事
Startup Fortune 在 10 月 18 日發表一篇評析,檢視程式代理 ForgeCode 的宣傳。ForgeCode 由 Tailcall Inc. 開發,開源(GitHub 的 tailcallhq/forgecode),在 Bash、Zsh、Fish 中執行,可搭配不同模型。
依該報導,ForgeCode 在 tbench.ai 的 TermBench 2.0 拿到 81.8%,但這個成績是 ForgeCode 自己提交的,不是獨立測試。另一個由普林斯頓與芝加哥大學執行並驗證的 SWE-bench Verified 上,ForgeCode 搭配 Claude 4 為 72.7%,Codex 1 為 72.1%,差距 0.6 個百分點。報導認為這個結果與頂級的 Codex、Claude Code 設定只差約兩點內。

文章的論點
- 外殼影響很大:Tailcall 自己說,Gemini 3.1 Pro 放進 ForgeCode 的調度流程後,Terminal-Bench 2.0 分數由 55% 升到 80.2%,模型權重不變。
- Scale AI 的 SWE-bench Pro 中,三套使用相同 Claude Opus 4.5 權重的代理系統分數落在 50.2% 到 55.4%。
- 報導據此推論,榜單排名更能反映外殼的調校,而不是模型本身的聰明程度。
- ForgeCode 在 GitHub 約 7,380 顆星、1,438 個 fork,代表社群有興趣,但不代表開發者已從 Claude Code 或 Codex 轉換。
文章沒有說 ForgeCode 造假,而是形容它是認真的開源工具,在唯一獨立驗證的基準上有小幅但真實的優勢。這些分析出自單一媒體,我們沒有另外重跑任何測試。
對你的影響
挑選程式代理時,不要只看廠商自報的榜單。比較實際的做法是拿自己的 repo、自己的任務,在相同模型下各跑幾次,看成功率與花費;同一個模型換外殼,差異可能比換模型還大。