FrontierHarness v1.1 跑完:yetone 的 Alma 中途第三、最終第六,21 個代理框架差距僅約 11 個百分點

據 Pandaily 與 LavX 報導,21 個 agent harness 在 FrontierHarness v1.1 的通過率介於 50.6% 到 61.9%,獨立開發者 yetone 的 Alma 最終排第六。

重點

  • FrontierHarness v1.1 測試 21 種 agent harness、5 個開放模型、62 項任務,完成後共 26,040 次計分試驗。
  • 據 LavX 轉述 Pandaily,獨立開發者 yetone 的 Alma 在 11 月 11 日中途快照排第三,最終排第六,通過率 59.7%。
  • 最終榜單 21 個 harness 通過率介於 50.6% 到 61.9%,ZCode 第一;若改看每次通過的成本,Alma 排第 13。
  • 兩篇報導我們只讀到 LavX 的完整內文,Pandaily 原文僅取得標題。
目錄(4 節)
  1. 發生什麼事
  2. 完成榜單
  3. 怎麼讀這個結果
  4. 對你的影響

發生什麼事

FrontierHarness v1.1 是一個比較「agent harness」(把模型包成能讀寫檔案、執行指令的程式代理的外層框架)的評測。據 LavX News 在 2026 年 11 月 15 日轉述 Pandaily 的報導,這一版涵蓋 21 種 harness 設定(包括 Claude Code、Codex CLI、OpenCode)、五個開放模型、62 項涵蓋軟體工程、科學、資料、系統、機器學習與資安的任務,每項任務每個組合有四次計分嘗試,通過需經驗證。完成後的榜單共 26,040 次計分試驗。

獨立開發者 yetone 開發的 Alma,在 11 月 11 日的中途快照排第三(通過率 72.7%,單次成功成本約 0.80 美元),最終在完成的榜單排第六,通過率 59.7%,最佳單一搭配是 Kimi-K3 的 64.1%。

FrontierHarness v1.1 評測結果,Alma 最終排第六的報導

完成榜單

報導列出的前段名次:ZCode 61.9%、Codex CLI 61.1%、KimiCode 60.2%、Grok Build 60.0%、Hermes Agent 59.9%,Alma 第六。21 個 harness 的通過率全部落在 50.6% 到 61.9% 之間。榜單預設按每次通過的成本排序,這個指標下 Alma 是第 13 名(1.22 美元);Codex CLI 為 0.937 美元、Claude Code 為 1.55 美元。

怎麼讀這個結果

中途快照與完成榜單差很多(Alma 從約 72.7% 降到 59.7%),報導也提醒榜單每天都在變,早期名次不能代表最終結果。名次也取決於指標:看通過率是第六,看成本是第 13。最高與最低差約 11 個百分點,名次差距不大,看單一排名不要過度解讀。這篇報導屬二手轉述,我們沒有自行查驗榜單。

對你的影響

評測只涵蓋開放模型,不是 Claude 或 GPT 的原生組合,所以不能直接用來決定你該用哪個工具。選工具時,更實用的做法是用自己的任務跑小規模比較,同時看通過率與每次通過的成本。