本機推論引擎 Basalt 0.4.0 加入 Qwen3.8-27B,RTX 5090 上草稿解碼最高 776 tok/s

專為 NVIDIA Blackwell 設計的開源推論引擎 Basalt 發布 0.4.0,首度支援稠密模型 Qwen3.8-27B。官方數字是在單張 RTX 5090 上實測。

重點

  • Basalt 是 MIT 授權、以 C++ 寫成的本機推論引擎,鎖定 NVIDIA Blackwell(sm_120)顯卡。
  • 0.4.0 於 11/14 發布,第一次支援稠密模型 Qwen3.8-27B,之前只有混合專家(MoE)模型。
  • 官方在單張 RTX 5090(400 W)實測:不用草稿解碼約 90 tok/s,搭配草稿解碼對話約 262 tok/s,結構化輸出達 776。
  • Reddit 貼文標題寫的 770 tok/s,與 release 說明的 776 略有出入,以 release 為準。
目錄(3 節)
  1. 發生什麼事
  2. 速度數字
  3. 對你的影響

發生什麼事

開發者 jesdga95 的開源專案 Basalt 在 11 月 14 日發布 0.4.0。Basalt 是一套在自己電腦上跑大型語言模型的推論引擎,用 C++ 撰寫、MIT 授權,目標硬體是 NVIDIA Blackwell 世代的顯卡(運算能力 12.0),支援 Linux 與 Windows x64,並提供相容 OpenAI 與 Anthropic API 的伺服器。模型放不進顯存的部分(例如 MoE 模型的專家權重)可以放到系統記憶體。

這個版本最大的變動,是引擎第一次支援稠密模型:Qwen3.8-27B。先前 Basalt 主要跑 Qwen3.8-Flash-Next 與 DeepSeek-V4.1-Flash 這類 MoE 模型。27B 版本使用 QUASAR 的 NVFP4 量化感知訓練檢查點,搭配 DFlash 2 區塊草稿器,模型檔約 19.7 GiB,單卡即可執行,支援對話、工具呼叫、思考模式、圖片與影片,上下文最長 262,144 token。

本機推論引擎Basalt 0.4.0新增Qwen3.8-27B,草稿解碼速度提升。

速度數字

release 說明列出的測試條件是單張 RTX 5090、400 W、--kv fp16、冷啟動(使用內建的 basalt-bench)。讀取提示的速度在 4k token 時為每秒 12,735 token,32k 時為 8,751。生成部分,不使用草稿解碼約 90 tok/s,使用草稿解碼在一般對話約 262 tok/s,結構化輸出則達 776。

Reddit 貼文標題寫的是「最高 770 tok/s」,Reddit 貼文我們這邊無法開啟,沒能確認內容,這個數字與 release 的 776 差一點,推測是不同測試條件或四捨五入,但我們無法確認。要引用請以 GitHub release 為準。另外,這些都是作者自己的 benchmark,不是第三方驗證。

對你的影響

只有手上有 RTX 50 系列(Blackwell)顯卡、想在本機跑 27B 等級模型的人才用得上;其他顯卡不支援。若你用的是這類顯卡,這是一個可以拿來和 llama.cpp 等引擎對照速度的選項。草稿解碼的高數字受任務類型影響很大(結構化輸出遠高於一般對話),自己的工作負載跑起來才準。