發生什麼事
GitHub 專案 Earshot 的標語是「給程式代理的耳朵:讓 AI 聽、審查並製造聲音」,只用 CPU,開源。頁面顯示約 4.9k 顆星、324 個 fork,程式碼為 MIT 授權;頁面沒有給出明確發布日期,提到的版本有 0.2.0 到 0.4.0。

能做什麼
依 README,主要指令包括:
- 描述與比對:
describe用自然語言描述聲音並附標籤與量測;match、rank評估聲音與文字描述的吻合度;find在長錄音中找最符合的片段;compare、ab與參考組比較。 - 真實度:
realness判斷音訊是真實錄音還是程式合成。 - 影片:
timeline產出配合畫面剪輯點的逐秒「聆聽逐字稿」,critique把發表影片對照七部專業影片的樣貌給出附時間戳的修正建議。 - 合成:
forge以程式生成聲音並邊聽邊修;fit把錄音轉成可編輯的合成配方;內建 252 個可依 ID 渲染的音效。
技術上用兩個開源模型:CLAP(laion/larger_clap_general,Apache-2.0)做文字與音訊嵌入,以及 AudioSet 標記器(MIT/ast-finetuned-audioset-10-10-0.4593,BSD-3-Clause),合計約 1.1 GB。每次 CLI 呼叫要載入模型約 20 到 40 秒,MCP 伺服器則會保持載入。安裝需要 uv 與 ffmpeg,先 uv tool install,再執行 earshot doctor --fetch 下載模型;選用的 llm 功能會呼叫 Gemini,需自備金鑰並明確同意上傳。
作者提供的數字與限制
README 報告:在 125 段保留的錄音中,「強」判定有 98% 是正確的聲音種類;真實與合成判斷的 ROC-AUC 為 0.92;60 秒混音中 93% 的音效被偵測到。但作者也指出,forge 的盲測 15 次只選對 8 次,等同機率;fit 的盲測(12 次、一位聽者)無法辨認出原錄音。它不擅長判斷品味、情緒、版權、語音內容與 14 kHz 以上的內容,參考錄音不在 repo 內,部分功能需自備。
對你的影響
做影片、遊戲或應用程式音效的人,可以拿它當自動化的「初步耳朵」,但不要把分數當成品質評判。其效能數字出自作者自己的小規模測試,採用前請拿自己的素材跑一遍。