Llmspeed:買硬體前,先預覽本地 LLM 跑起來多快

Show HN 上的開源小工具 Llmspeed,讓你在購買顯卡或 Mac 之前,看各種裝置跑各種本地模型大概有多快。

重點

  • Llmspeed 是 Show HN 上發表的開源網站,用來預估本地 LLM 在特定硬體上的速度感。
  • 涵蓋約 30 種裝置與約 15 個模型。
  • 數據來自 r/LocalLLaMA、localscore.ai 等社群實測,其餘為相近配置推算或依規格估算。
  • 屬於估計值,只針對單一裝置與短提示。
目錄(3 節)
  1. 發生什麼事
  2. 內容
  3. 對你的影響

發生什麼事

有人在 Hacker News 的 Show HN 發表了 Llmspeed,網站標語是「買硬體之前,先感受本地 LLM 的速度」。它的做法是把各種裝置與模型的組合列出來,讓你看到大概會有多快,而不是只看一堆規格表。

Llmspeed 網站可預覽約 30 種裝置跑本地 LLM 的速度

內容

依網站頁面所寫:

  • 裝置:約 30 種,包含 NVIDIA RTX 3060 到 5090、AMD Radeon 與 Ryzen AI Max 系統、Mac Studio 與 MacBook、NVIDIA DGX Spark、純 CPU 配置,以及雲端的 H100、H200。
  • 模型:約 15 個,例如 Qwen 3.5/3.6/3.8、Gemma 4、GPT-OSS 20B 與 120B、Llama 3.1 8B、DeepSeek V4 Flash 系列、GLM-5.3、Nemotron 3.5。
  • 數據來源:實測值來自 r/LocalLLaMA 與 localscore.ai 等社群基準;沒有實測的組合,則由相近配置推算或依規格估算。
  • 網站說明這些是「單一裝置、短提示」的估計,專案開源並放在 GitHub。

頁面沒有提到定價、使用限制,也沒有詳細說明估算方法。

對你的影響

想自架模型、又不確定要買哪台機器的小團隊,可以先用它抓個數量級。但要留意估算值與推算值跟實測有落差,長上下文與多人同時使用的情況也不在涵蓋範圍內,下單前仍建議找實測數據對照。