datasette-llm 0.1a11 支援 OpenAI 相容端點,可接本機模型

Datasette 的 LLM 中介外掛 datasette-llm 發布 0.1a11,新增可直接設定 OpenAI 相容端點,LM Studio、Ollama 等本機模型也能驅動 Datasette Agent。

重點

  • datasette-llm 0.1a11 於 2026 年 11 月 14 日釋出,新增直接設定 OpenAI 相容端點,不再需要額外的 LLM 外掛。
  • 端點可指向 LM Studio、Ollama、llama.cpp 或任何雲端的 OpenAI 相容服務,預設支援工具呼叫與串流。
  • 這版也有行為變更:允許清單與封鎖清單現在套用到 model() 與 group(),缺金鑰時會更早丟出例外。
  • 仍是 alpha 版本,需要 LLM 0.37.1 以上。
目錄(4 節)
  1. 發生什麼事
  2. 設定怎麼變
  3. 相容性變更
  4. 對你的影響

發生什麼事

Datasette 作者 Simon Willison 在 2026 年 11 月 14 日釋出 datasette-llm 0.1a11。datasette-llm 是給其他 Datasette 外掛依賴的 LLM 整合層,負責設定要用哪個模型。這個版本的重點,是可以直接設定 OpenAI 相容的端點,只要服務講 OpenAI 那套網路協定,Datasette 就能用它。

Willison 在文章裡的例子:如果你用 LM Studio、Ollama 或 llama.cpp 跑本機模型(他也提到 llama.cpp 剛釋出 v1.0.0),可以用 uvx 啟動 Datasette,並把預設模型指向本機位址,例如 http://localhost:1234/v1 上的 qwen3.8 27B,這樣就會在本機跑起一個由本機模型驅動的 Datasette Agent。

datasette-llm 0.1a11 支援 OpenAI 相容端點,可直接接本機模型

設定怎麼變

依 GitHub 的版本說明:

  • 模型參照可以是帶有 api_base 的字典,指向任何 OpenAI 相容的 Chat Completions 或 Responses 端點;這類端點模型預設支援工具與串流。
  • 新增 endpoints 設定(可全域或依用途設定),註冊端點模型時不必啟用 models 允許清單。
  • key 欄位指定憑證名稱,先查 datasette-secrets,再查 LLM 儲存的金鑰;沒有 key 的端點視為不需驗證,也不會被送上任何供應商的預設金鑰。
  • 說明提醒:金鑰要放 key,不要放 headers,因為額外的 headers 會出現在 Datasette 的 /-/config.json。
  • 模型查詢變快:每次呼叫只取一次已安裝模型的快照。

相容性變更

這版有幾項不向後相容的行為,升級前要注意:

  • 允許清單、封鎖清單與 llm_filter_models 鉤子,現在也套用到 model() 與 group(),包括明確指定的模型 ID 與預設模型;選到被排除的模型會丟出 ModelNotFoundError。
  • 在開啟 require_keys 時,缺少金鑰會在選模型當下丟出 llm.NeedsKeyException,不是等到第一次送出提示才報錯。
  • 模型上明確指定的 key 不再回退到供應商預設憑證;找不到就丟 NeedsKeyException。
  • 模型參照字典會拒絕未知欄位,以及 key: null、options: null。
  • 未知的模型 ID 改丟 datasette_llm.ModelNotFoundError,不再是 llm.UnknownModelError。
  • 需要 LLM 0.37.1 或更新版本。

對你的影響

如果你用 Datasette 做資料探索,又想把資料留在本機,這版讓你能直接接本機模型,不必另裝橋接外掛。因為還在 alpha,設定格式與行為仍可能再變,用在正式環境前先固定版本。