很多人看到 Ollama 0.40.4 更新,第一個會先想到原本載入不了的模型是不是現在就能跑。這次版本說明列出 llama.cpp 更新及決策模型、EmbeddingGemma 2 的支援更新,但這幾行資訊還不能直接回答本機部署是否受影響。
要先確認公告談的是推論引擎、模型標籤,還是既有檢索增強生成(RAG)流程。0.40.4-rc1 仍是預發行版,相容性須依實測判斷。
Ollama 0.40.4-rc1 更新了什麼?
官方版本說明列出 llama.cpp 更新至 b11521,並指出這項更新涉及決策模型與 EmbeddingGemma 2;它沒有承諾所有模型檔都能載入,也沒有表示既有 RAG 索引會自動遷移。
官方列出的 llama.cpp 版本與支援更新
Ollama 的 v0.40.4-rc1 版本說明把「更新 llama.cpp 至 b11521」列為一項變更,並將用途寫為支援 decision models 與 EmbeddingGemma 2。這是對該版本變更範圍最直接的描述。
這筆 llama.cpp 更新說明不代表整份版本摘要都是 RAG 功能變更。
llama.cpp 是 Ollama 使用的推論元件之一。底層更新可能支援特定架構或運算路徑;實際載入仍受模型格式、模型檔、Ollama 打包方式及作業系統與硬體影響。版本說明未列出完整的模型、標籤或硬體相容清單。
「更新 llama.cpp 至 b11521,以支援決策模型與 EmbeddingGemma 2。」— Ollama 0.40.4-rc1 版本說明(譯)
「支援」更新的範圍要怎麼解讀?
「支援更新」代表維護者在該版本納入了相關底層變更,並不等於每個使用者都會看到新的模型標籤,也不保證任意來源的模型檔能直接匯入。Ollama 模型庫的標籤、模型 manifest(描述模型檔及其組成的中繼資料)、本機執行元件是不同層次。模型庫頁面提供的名稱和使用方式,才是確認某個模型在 Ollama 中如何取得與呼叫的依據;模型的特定版本要求也應以該頁為準。
Ollama 模型庫將新版模型列為 embeddinggemma-2,可用 ollama pull embeddinggemma-2 取得,再透過 /api/embed 呼叫。名稱相近的 embeddinggemma 是另一個模型,應核對實際標籤。
模型庫列出的尺寸與模態各有標籤,仍須依工作負載選擇並在本機測試;模型頁不代表所有系統與 RAG 管線都相容。
為什麼底層支援更新不等於現有模型自動可用?
不一定。底層推論支援、Ollama 模型庫提供的標籤,以及本機實際載入成功,是三個需要分別確認的條件。
模型格式、模型庫標籤與執行介面的差異
模型載入涉及檔案格式、Ollama 模型定義與標籤,以及執行環境。底層更新只涵蓋部分條件,不能取代逐層檢查。
「決策模型」不是單一架構或指定名稱;release note 未列完整模型、量化版本及必要參數,需依格式、標籤與執行環境確認。
判斷影響時,可把常被混在一起的變更拆開看:
| 變更層次 | 實際改動 | 對既有流程的檢查 |
|---|---|---|
| Ollama/推論元件 | 更新執行環境與模型解析能力 | 原有模型能否載入、輸出介面是否相同 |
| 模型標籤 | 下載或切換某個模型版本 | 名稱、模型來源與呼叫設定是否一致 |
| RAG 嵌入模型 | 文件和查詢使用的向量模型 | 向量維度、索引方式及檢索結果是否相容 |
同一輪若三層都變更,即使結果改變也難以判定原因;應分開測試執行環境、模型標籤與索引。
Ollama 的 版本說明列出底層元件更新範圍,實際模型能否載入仍須在目標環境測試。
預發行版本與正式環境的驗證界線
GitHub 頁面將此版本標示為 Pre-release,tag 名稱為 v0.40.4-rc1。rc 通常表示候選版本階段,但實際是否適合某個正式服務,仍要看團隊的發布政策、回復方式及測試結果。只看到版本號增加,無法推論效能一定提升、錯誤一定減少,或正式環境可以直接替換原版本。
預發行版可在測試環境提早驗證指定模型;正式服務則應依團隊發布政策、測試結果及回復能力決定是否採用。
EmbeddingGemma 2 接入後,RAG 哪些環節需要核對?
要確認文件入庫端與查詢端使用相容的嵌入模型和設定,並以實際檢索測試判斷舊向量能否沿用;升級 Ollama 本身不會自動完成模型替換或索引重建。
文件向量與查詢向量必須維持相容
嵌入模型(embedding model)會把文字轉成一串數值,稱為向量,用來表示文字的語意特徵。RAG 流程通常先把文件切成片段,替每段計算向量並存入向量資料庫;收到問題時,再用嵌入模型計算查詢向量,找出向量較接近的文件片段,交給生成模型參考。
Ollama 的嵌入模型說明也以「產生向量、存入資料庫、依語意相似度搜尋」描述這條流程。

模型切換時,除了確認 API 回應,也要比對輸出維度、資料庫欄位、距離計算及前處理規則。文件用舊模型產生向量、查詢改用新模型時,即使維度相同,向量空間仍可能不同,檢索排序因而失真。
Ollama 的 EmbeddingGemma 2 模型庫頁面列出以 embeddinggemma-2 取得模型、透過 /api/embed 產生向量的用法。模型卡也列有多種標籤與模態;究竟使用哪個標籤,需配合硬體資源和輸入內容決定。
模型頁可確認名稱和呼叫方式,但效能仍須以自有資料集測試;中文比例、專業詞彙、文件長度與查詢寫法都可能影響檢索表現。
「向量嵌入可存入資料庫,資料庫能比較向量,以搜尋語意相近的內容。」— Ollama〈Embedding models〉(譯)
更換嵌入模型時為什麼可能要重建索引?
向量索引是依特定模型和前處理方式建立。更換嵌入模型時,常見做法是重新計算文件向量並建立或更新索引,有助於讓文件端與查詢端使用一致的表示方式。舊資料能否沿用,仍須依輸出維度、資料庫限制和檢索實測判斷;維度相同也不代表語意空間相容。
切分方式也是索引的一部分。若同時改變 chunk 大小、重疊比例或文字前處理,結果變化便不一定來自模型;測試時應固定文件與切分設定,只變更一個因素,再比較命中內容、排序及空結果比例。
升級前如何判斷本地部署是否受影響?
先盤點目前版本、實際模型標籤與索引設定,再用測試環境檢查模型載入、向量輸出及代表性查詢;結果符合需求且能回復後,再安排正式環境變更。
先確認版本、模型識別與載入結果
記錄執行中的 Ollama 版本,以及模型標籤、來源、用途和服務參數。決策模型產生判斷或結構化結果,嵌入模型將文字轉為向量;若 RAG 使用其他嵌入模型,這次對 EmbeddingGemma 2 的支援更新不會自動替換現有設定。
在隔離環境安裝候選版本,以原有設定測試載入、請求及輸出格式。嵌入模型另記錄輸出維度與固定文字的結果;決策模型則確認停止條件、輸出欄位和錯誤處理。程式未報錯不代表整個流程可用。
用既有查詢集比較檢索結果,再安排升級
應選擇能代表真實工作的查詢,而非只用容易命中的示範問題。測試資料可以涵蓋常見問題、容易混淆的近義詞、文件中沒有答案的問題,以及較長的自然語句。每次比較都保留相同的文件集、切分策略、檢索數量和生成模型,並記下實際被取回的片段。檢查結果是否找對資料、排序是否可接受、無答案時是否仍取回不相關內容,比只看生成回答流暢與否更能定位問題。

- 記錄目前 Ollama 版本、模型名稱與標籤、嵌入模型、文件切分及向量資料庫設定。
- 在可回復的測試環境安裝候選版本,先測原有模型載入和 API 輸出,再單獨測試新嵌入模型。
- 若更換嵌入模型,檢查向量維度與索引相容性;另建測試索引,避免覆寫正式資料。
- 使用固定文件和代表性查詢比較檢索片段與排序,保留版本、設定和結果紀錄。
- 確認正式環境的維護窗口、備份和回復方式後,再決定是否升級;若目前流程穩定且沒有明確需求,可先排定測試,不必因一筆支援更新立即更換。
依使用情境決定升級時機
若有明確的載入問題或目標模型需求,可測試底層更新;若目前沒有相關限制,release note 不足以證明升級效益。應依測試結果、服務風險及回復能力決定時機。
正式升級前,確認此次要解決的問題、測試通過條件,以及失敗時如何回復原版本與索引。
- 0.40.4-rc1 的版本說明列出 llama.cpp 更新至 b11521,並提及決策模型與 EmbeddingGemma 2 支援更新;這不代表所有模型或環境都已驗證。
- Ollama 執行環境更新與更換嵌入模型是兩件事;更換模型時需核對文件向量、查詢向量、維度和索引設定。
- 升級判斷應以隔離環境中的載入測試和固定查詢集比較為準,正式部署前備妥回復方式。
常見問題
不會只因為升級 Ollama 就自動替換既有模型或重建 RAG 索引;模型選擇、文件向量更新和索引遷移仍由使用者的工作流設定決定。
常見問題
Q1:升級 Ollama 會自動替換既有 embedding 模型嗎?
不會。模型標籤和應用程式呼叫的模型名稱由目前設定決定。更新 Ollama 執行環境,不等同於下載新模型或修改 RAG 程式中的模型識別。
Q2:換了 embedding 模型,原有向量資料庫還能沿用嗎?
要看向量維度、資料庫結構及檢索實測。新舊模型的輸出維度不同時,通常需要分開建索引;即使維度相同,也不能只憑這點認定向量可以混用。穩妥做法是在副本資料庫重新產生向量,使用固定查詢比較後再決定遷移方式。
Q3:0.40.4-rc1 適合直接放進正式環境嗎?
官方頁面將它標示為預發行版,是否採用要依部署的風險承受度、測試覆蓋和回復能力判斷。若服務穩定且沒有明確的相容性需求,可先在測試環境驗證,等確認結果符合需求再安排正式變更。
Q4:release note 寫支援決策模型,怎麼確認我的模型在支援範圍?
先核對 release note 及模型的官方頁面是否列出相同模型名稱、標籤或格式,再用目前使用的模型設定實際載入。這筆版本摘要未提供完整模型清單,所以不能僅從「decision models」推定某個自訂模型必然可用。