歐盟 EUROPA 開放模型公布訓練進度,測試配置近 1 兆參數

由義大利 Domyn 領軍的 EUROPA 團隊發表技術文章,說明在歐洲公有超級電腦 JUPITER 上訓練混合專家模型的進度。模型權重尚未釋出。

重點

  • Domyn 在 11 月 12 日發表文章,目前測試配置為 9,519 億參數、每個 token 啟用 328 億,目標約 1 兆。
  • 訓練使用歐洲 EuroHPC 的 JUPITER 超級電腦,據稱每張 GPU 的吞吐量從每秒 90 提升到約 1,300 個 token。
  • 團隊表示模型與訓練方法會在 EUROPA 發表時一併公開,但尚未給日期與授權。
  • 這些都是團隊自己的說法與測試數據,完整訓練尚未確認完成。
目錄(3 節)
  1. 發生什麼事
  2. 尚未確定的部分
  3. 對你的影響

發生什麼事

EUROPA 是歐盟執委會「前沿 AI 大挑戰」選出的開放模型專案,由米蘭的 Domyn 帶領,夥伴包括 Fraunhofer IAIS 與 IIS。依 MACCUS 的整理,這項挑戰於 2026 年 2 月 13 日啟動,6 月 19 日選定 EUROPA;執委會要求至少 4,000 億參數,並且要涵蓋歐盟 24 種官方語言。得標團隊可在一年內使用約 2.5% 的 EuroHPC 運算資源。

Domyn 在 11 月 12 日的技術文章中公布了目前的做法與數字:

  • 架構是混合專家(MoE),目前配置共 9,519 億參數,384 個專家、每個 token 走 top-8 路由,實際啟用 328 億參數。
  • 74 層、隱藏維度 6,144、詞彙表 25.6 萬、序列長度 65,536。
  • 在德國 Jülich 的 JUPITER 上,用 96 個節點、384 顆 GH200,搭配 PyTorch、TorchTitan,並以 Muon 優化器訓練多數權重矩陣。
  • 每張 GPU 的吞吐量據稱從每秒 90 個 token 提升到約 1,300 個,約 14 倍。

文章還估算:四組資料平行副本、1,536 張 GPU,在實測 89% 擴展效率下,每天可處理約 1,500 億個 token。

歐盟 EUROPA 開放模型公布訓練進展,採用混合專家架構

尚未確定的部分

Domyn 表示,模型與全部訓練配方會在 EUROPA 發表時公開釋出,但目前沒有給出日期,授權條款也沒有說明。從文章看,目前是訓練測試階段,完整訓練是否已經完成並未確認。效能提升的數據來自團隊自己的測量。

對你的影響

目前沒有可下載的權重,現階段不需要採取行動。如果你的客戶有歐盟資料主權或多語言需求,可以持續追蹤 EUROPA 釋出時的授權與語言涵蓋範圍;台灣團隊短期內不會直接受影響。