minimind:用單張 3090、約 2 小時從零訓練 64M 參數小型語言模型的開源專案

GitHub 專案 minimind 提供從 tokenizer、預訓練到強化學習的完整訓練程式碼,2026 年 11 月登上 GitHub Trending,星數約 6.7 萬。

重點

  • jingyaogong/minimind 是 Apache 2.0 授權的開源專案,目標是讓個人從零訓練約 64M 參數的小型語言模型。
  • README 稱「2 小時」是在單張 NVIDIA 3090 上跑完 SFT 階段 1 epoch 的實測,「3 塊錢」是對應時段的 GPU 租用成本。
  • 專案涵蓋預訓練、SFT、LoRA、DPO、PPO/GRPO/CISPO、Tool Use 與蒸餾;核心算法以 PyTorch 原生實作。
  • 專案建立於 2024 年 7 月,截至查詢時約 67,077 顆星,11 月 19 日出現在 GitHub Trending。

發生什麼事

GitHub 專案 jingyaogong/minimind 在 11 月 19 日出現在 GitHub Trending。它建立於 2024 年 7 月 27 日,我們查詢時約有 67,077 顆星,授權為 Apache 2.0,最近一次推送是 11 月 18 日。這是社群開源專案,以下內容來自專案自己的 README,未經媒體或官方獨立證實。

README 說明專案的目標,是讓個人只用約 3 塊錢的成本與 2 小時,就能從零訓練出約 64M 參數的超小語言模型 MiniMind,主線最小版本的大小約為 GPT-3 的 2,700 分之一。README 也註明這兩個數字的定義:「2 小時」是 SFT 階段在單張 NVIDIA 3090 上跑完 1 epoch 的實測耗時,「3 塊錢」是同一時段的 GPU 租用費。換句話說,這個數字指的並不是整個訓練流程。

專案宣稱涵蓋的內容包括:

  • 稠密與 MoE 的模型結構程式碼,主線結構對齊 Qwen3 生態。
  • tokenizer 訓練,支援 <tool_call>、<think> 等模板標記。
  • 預訓練、SFT、LoRA、DPO、PPO/GRPO/CISPO、Tool Use、Agentic RL 與模型蒸餾。
  • 開源的各階段資料集,以及相容 OpenAI API 的簡易服務端與 Streamlit 聊天介面。

作者的說法是,核心算法都以 PyTorch 原生實作,不依賴 transformers、trl、peft 等函式庫的高層介面,讓學習者能逐行理解;同時也相容這些主流框架與 llama.cpp、vllm、ollama 等推理引擎。

開源專案 MiniMind 讓個人以單張 GPU 訓練 64M 參數小型語言模型

對你的影響

這個專案的定位是教學與實驗,不是拿來取代正式使用的模型;64M 參數的能力有限,README 摘錄也沒有給出可與主流模型比較的結果。如果你想弄懂 LLM 訓練流程,又只有一張消費級 GPU,它是一個可以逐行讀的起點。要自己跑之前,建議先看 README 對各階段耗時與硬體的說明。