NVIDIA 開源 SkillEvaluator,檢查與評估 AI 代理技能

NVIDIA 的 SkillEvaluator 是 Apache-2.0 授權的 Python 工具,可檢查 agent skills 的品質、相容性,並以實測比較有無技能的差異。

重點

  • NVIDIA/SkillEvaluator 在 GitHub 上以 Apache-2.0 授權,repo 建立於 2026-06-24,11 月中旬登上 GitHub Trending。
  • 分層檢查:不需金鑰的靜態品質檢查,到比較「有無技能」的實際代理評估。
  • harness-check 可不跑模型,直接檢查技能能否被 Claude Code、Codex 等載入。
  • 目前約 2,800 顆星,屬於 NVIDIA Verified Skills 流程的一部分。
目錄(3 節)
  1. 發生什麼事
  2. 它能做什麼
  3. 對你的影響

發生什麼事

NVIDIA 在 GitHub 上公開 SkillEvaluator,用來檢查 AI 代理的「技能」(skills)與外掛。技能指依照 Agent Skills 規格寫成的資料夾,裡面放指示與輔助檔案。這個 repo 建立於 2026 年 6 月 24 日,採 Apache-2.0 授權、以 Python 寫成;11 月 16 日出現在 GitHub Trending,撰文時約有 2,860 顆星。以下內容來自 repo 的 README,未經其他媒體查證。

NVIDIA 開源 SkillEvaluator,可檢查 AI 代理技能是否能被載入。

它能做什麼

README 把功能分成幾層:

  • 靜態品質檢查:不需要 API 金鑰、掃描器或 GPU。以內附範例技能為例,README 說得到 88.8 分(B),預設通過門檻為 70 分。
  • harness-check:不跑模型推論,直接判斷技能能不能被不同的代理環境載入。README 範例列出 codex、claude-code、opencode、hermes、openclaw、copilot-cli,並指出像描述超過字數上限、放在代理不會掃描的資料夾等問題。
  • 語意重疊偵測、合成評估資料集:用來找出內容重複的技能,以及產生測試題。
  • 即時代理評估(Tier 3):比較有裝技能與沒裝技能時,代理的任務結果有何差異。

安裝方式是 pip install skillevaluator,用 skillevaluator validate ./my-skill --tiers 1 做第一層檢查;也可以用 skillevaluator ci init 在 GitHub repo 加入 CI 檢查。README 還提供安裝成代理技能的方式(npx skills add NVIDIA/SkillEvaluator)。

對你的影響

自己維護 Claude Code 或 Codex 技能的團隊,可以用 harness-check 快速確認技能有沒有因為描述太長或路徑放錯而根本沒被載入,這一步不花模型額度。至於「技能是否真的讓代理表現更好」的實測評估,需要自備模型金鑰與評估成本,建議先從免金鑰的第一層開始試。