Earshot:讓程式代理「聽」音訊的開源工具,只靠 CPU 運行

Earshot 以 CLI、Python API 與 MCP 伺服器提供音訊描述、比對、真實度判斷與音效合成,使用兩個開源模型,約 4,900 顆星。

重點

  • Earshot 讓程式代理能描述聲音、比對文字與音訊的吻合度、在長錄音裡找片段,並能用程式合成音效再「聽」著改。
  • 使用 CLAP 與 AudioSet 標記模型,合計約 1.1 GB,只需 CPU;程式碼採 MIT 授權。
  • 可作為 MCP 伺服器接入 Claude Code 等客戶端,另附兩個 Claude Code 技能。
  • README 自列限制:不擅長判斷品味、情緒、版權,聽感測試規模小(單一聽者)。
目錄(4 節)
  1. 發生什麼事
  2. 能做什麼
  3. 作者提供的數字與限制
  4. 對你的影響

發生什麼事

GitHub 專案 Earshot 的標語是「給程式代理的耳朵:讓 AI 聽、審查並製造聲音」,只用 CPU,開源。頁面顯示約 4.9k 顆星、324 個 fork,程式碼為 MIT 授權;頁面沒有給出明確發布日期,提到的版本有 0.2.0 到 0.4.0。

Earshot 是讓程式代理能聽、審查並生成音訊的開源 CPU 工具

能做什麼

依 README,主要指令包括:

  • 描述與比對:describe 用自然語言描述聲音並附標籤與量測;match、rank 評估聲音與文字描述的吻合度;find 在長錄音中找最符合的片段;compare、ab 與參考組比較。
  • 真實度:realness 判斷音訊是真實錄音還是程式合成。
  • 影片:timeline 產出配合畫面剪輯點的逐秒「聆聽逐字稿」,critique 把發表影片對照七部專業影片的樣貌給出附時間戳的修正建議。
  • 合成:forge 以程式生成聲音並邊聽邊修;fit 把錄音轉成可編輯的合成配方;內建 252 個可依 ID 渲染的音效。

技術上用兩個開源模型:CLAP(laion/larger_clap_general,Apache-2.0)做文字與音訊嵌入,以及 AudioSet 標記器(MIT/ast-finetuned-audioset-10-10-0.4593,BSD-3-Clause),合計約 1.1 GB。每次 CLI 呼叫要載入模型約 20 到 40 秒,MCP 伺服器則會保持載入。安裝需要 uv 與 ffmpeg,先 uv tool install,再執行 earshot doctor --fetch 下載模型;選用的 llm 功能會呼叫 Gemini,需自備金鑰並明確同意上傳。

作者提供的數字與限制

README 報告:在 125 段保留的錄音中,「強」判定有 98% 是正確的聲音種類;真實與合成判斷的 ROC-AUC 為 0.92;60 秒混音中 93% 的音效被偵測到。但作者也指出,forge 的盲測 15 次只選對 8 次,等同機率;fit 的盲測(12 次、一位聽者)無法辨認出原錄音。它不擅長判斷品味、情緒、版權、語音內容與 14 kHz 以上的內容,參考錄音不在 repo 內,部分功能需自備。

對你的影響

做影片、遊戲或應用程式音效的人,可以拿它當自動化的「初步耳朵」,但不要把分數當成品質評判。其效能數字出自作者自己的小規模測試,採用前請拿自己的素材跑一遍。