RunAnywhere 開源 Trainium 推論引擎 TrnRT

RunAnywhere 在 Show HN 發表 Apache-2.0 授權的 TrnRT,首個支援 GLM-5.3-Flash,提供 OpenAI 相容 API,並以 NKI 融合核心做解碼。

重點

  • TrnRT 是 RunAnywhere 發表的開源 LLM 推論引擎,Apache-2.0 授權,目標硬體是 AWS Trainium2(trn2.48xlarge)
  • 目前只支援 GLM-5.3-Flash(320B MoE、18B 啟用參數、FP8、1M token 脈絡),提供 OpenAI 相容 API
  • README 自述在 SemiAnalysis AgentX 測試中,batch 12 約每分鐘 357 萬 token,競價價格約每百萬 token 0.040 美元
  • 這是 Show HN 與 GitHub 自述,未經媒體或第三方獨立驗證
目錄(3 節)
  1. 發生什麼事
  2. 效能數字怎麼看
  3. 對你的影響

發生什麼事

RunAnywhere 在 Hacker News 以 Show HN 發表 TrnRT,並開源在 GitHub(RunanywhereAI/trnrt)。依 GitHub 資料,這個 repo 建立於 2026 年 10 月 30 日,授權為 Apache-2.0,發文時已有約 1,600 顆星。以下內容來自 README 與專案資料,未經媒體或第三方證實。

TrnRT 是針對 AWS Trainium 的 LLM 推論引擎,目前鎖定單台 trn2.48xlarge。README 列出的特色包括:

  • 以 NKI 寫成的「融合核心」做解碼,大致每個 Transformer 層的一半用一個核心;
  • 提供 OpenAI 相容 API,支援串流、工具呼叫與推理輸出;
  • 前綴快取:以 FP8 的 KV 頁做 radix tree,並有主機記憶體作為被逐出頁面的第二層;
  • 每台機器跑兩個引擎,各以 32 個邏輯 NeuronCore 做張量平行,前面有依 session 分流的路由器;
  • 所有計算圖在 CPU 主機上離線編譯,服務機器預設不再編譯。

目前唯一支援的模型是智譜的 GLM-5.3-Flash(320B 參數的 MoE、約 18B 啟用參數、FP8、1M token 脈絡);README 只寫「更多開源模型即將支援」。

RunAnywhere 開源 Trainium 推論引擎 TrnRT,目前僅支援一個模型。

效能數字怎麼看

README 引用 SemiAnalysis 的 AgentX 測試(重播真實的程式代理工作階段),在 1M token 脈絡、32 個同時代理、每個測點跑一小時的條件下,預設的 batch 12 約為每分鐘 28.9 個請求、357 萬 token,若以 2026 年 11 月 3 日 us-east-2 競價價格每小時 8.60 美元計,約每百萬 token 0.040 美元;改用每小時 35.76 美元的容量區塊則約 0.167 美元。README 也註明,這些數字是用較早版本量到的,目前版本只通過等價性檢查。這些都是作者自己公布的成績,數字會隨 token 計算方式、價格與測試條件改變。

對你的影響

對大多數台灣團隊沒有立即動作:它需要 Trainium 實例與數小時的離線編譯,且只支援一個模型。如果你已經在 AWS 上評估自架推論、想比較 Trainium 與 GPU 的成本,可以拿它的文件與 AgentX 設定當參考,但請用自己的負載重測,不要直接套用上面的每百萬 token 價格。