發生什麼事
開發者 jesdga95 的開源專案 Basalt 在 11 月 14 日發布 0.4.0。Basalt 是一套在自己電腦上跑大型語言模型的推論引擎,用 C++ 撰寫、MIT 授權,目標硬體是 NVIDIA Blackwell 世代的顯卡(運算能力 12.0),支援 Linux 與 Windows x64,並提供相容 OpenAI 與 Anthropic API 的伺服器。模型放不進顯存的部分(例如 MoE 模型的專家權重)可以放到系統記憶體。
這個版本最大的變動,是引擎第一次支援稠密模型:Qwen3.8-27B。先前 Basalt 主要跑 Qwen3.8-Flash-Next 與 DeepSeek-V4.1-Flash 這類 MoE 模型。27B 版本使用 QUASAR 的 NVFP4 量化感知訓練檢查點,搭配 DFlash 2 區塊草稿器,模型檔約 19.7 GiB,單卡即可執行,支援對話、工具呼叫、思考模式、圖片與影片,上下文最長 262,144 token。

速度數字
release 說明列出的測試條件是單張 RTX 5090、400 W、--kv fp16、冷啟動(使用內建的 basalt-bench)。讀取提示的速度在 4k token 時為每秒 12,735 token,32k 時為 8,751。生成部分,不使用草稿解碼約 90 tok/s,使用草稿解碼在一般對話約 262 tok/s,結構化輸出則達 776。
Reddit 貼文標題寫的是「最高 770 tok/s」,Reddit 貼文我們這邊無法開啟,沒能確認內容,這個數字與 release 的 776 差一點,推測是不同測試條件或四捨五入,但我們無法確認。要引用請以 GitHub release 為準。另外,這些都是作者自己的 benchmark,不是第三方驗證。
對你的影響
只有手上有 RTX 50 系列(Blackwell)顯卡、想在本機跑 27B 等級模型的人才用得上;其他顯卡不支援。若你用的是這類顯卡,這是一個可以拿來和 llama.cpp 等引擎對照速度的選項。草稿解碼的高數字受任務類型影響很大(結構化輸出遠高於一般對話),自己的工作負載跑起來才準。