Google 在 2026 年 11 月 19 日的 Gemini API Tool Retrieval 公告中,示範如何處理訂單 A-1042 的 40 美元退款:工具庫另有逾 50 個延後載入的函式,模型先取出退款工具的參數結構,再產生呼叫。這是官方程式示範,沒有公布商家部署後的節省數據。來源:Google 公告
工具庫膨脹已有實際測試可參照。Anthropic 在 2025 年發布的內部 MCP 評測中,讓 Claude 按需搜尋工具;Opus 4 的準確率由 49% 提高至 74%,Opus 4.5 則由 79.5% 提高至 88.1%。這是該公司的測試結果,不能直接當作 Gemini 的改善幅度。來源:Anthropic 測試
兩個模型分別增加 25 與 8.6 個百分點,同一種設計也有不同收益。對台灣開發團隊,這提供一個驗收方向:把目前使用的模型與候選模型分開測量,避免只拿供應商表現較好的數字估算自家服務。
但這裡要先問一個更前面的問題:代理每次處理退款,為何也要讀取其他工具的完整規格?對正在擴充客服、訂單或帳務代理的團隊,這會影響每次請求的成本,也會影響工具選擇。
Tool Retrieval 如何延後載入工具結構?
加入 tool_search,並將指定工具設為 defer_loading: true,模型先看名稱與描述,需要時才載入參數結構。
參數結構(schema)定義輸入欄位、型別及必填條件。名稱和用途介紹保留在上下文,也就是模型這次判斷時可讀取的內容中;延後的是完整參數規格。因此,工具描述仍要寫明用途,退款與取消訂單的差異尤其不能省略。
伺服器端流程依序產生搜尋、搜尋結果、函式呼叫三種步驟。搜尋與載入在同一次請求內完成;自訂退款函式仍由應用程式執行,再回傳結果。可以從 interaction.steps 檢查選到哪個工具,不能把產生呼叫當成退款成功。來源:工具檢索文件
Google 的函式呼叫文件提醒:即使用前一輪互動識別碼串接對話,每次請求仍須傳入工具清單,工具宣告不會自動沿用。這是文件要點轉述。來源:函式呼叫文件
省下模型讀取的內容,不等於應用端從此不用傳工具宣告。既有系統若要遷移,仍須檢查多輪請求的工具傳遞;更廣的流程評估可搭配Gemini 代理的權限與成本驗收。
少送參數結構,何時才有淨節省?
未載入結構省下的輸入 token,必須足以抵銷搜尋開銷;總費用還要計入輸出、重試與工具服務成本。
Token 是模型處理文字的計量單位。完整工具結構若在每次請求重複進入上下文,即使用不到也會占用輸入額度。這是成本形成的原因,工具總數只能當線索;結構長短與每項工具的使用頻率也會改變結果。
Google 公告說明:Tool Retrieval 沒有獨立費用,但啟用搜尋會增加固定輸入 token;載入的結構在後續對話仍計入輸入 token,輸入與輸出依所用模型標準費率計費。此處為計費規則轉述。來源:Google 公告
粗估時可用「未載入結構省下的 token,減去新增搜尋 token」檢視方向,最後仍須比較整段任務的帳單。若一段長對話陸續用到大半工具,最初的節省可能逐步縮小。
前綴快取指重用提示詞開頭相同的內容。Google 說明,延後結構放在對話較後方,有助保留共同前綴;實際省多少仍取決於快取命中。對照測試要固定快取條件,並分別查看一般輸入與快取用量,避免把快取差異算成功能成效。
另一個研究案例是 Fei 等人在 2025 年提出的 MCP-Zero。他們整理 308 個 MCP 伺服器、2,797 項工具,讓代理先表達需要的能力,再分層尋找伺服器與工具。這項預印本另報告,在 APIBank 工具使用評測中,token 消耗減少 98%,同時維持高準確率。來源:MCP-Zero 論文
工具庫規模與節省比例來自不同評測設定,不能合寫成「近三千項工具都能省九成八」。這個研究可借用的是測試方法:任務進行到一半才發現缺少工具時,能否再次搜尋、補齊能力並完成任務?只測第一輪選取,會漏掉多步流程的失敗。

退款、遠端 MCP、自有工具庫如何選?
固定工具庫可先評估伺服器端檢索;已有自建搜尋或逐使用者權限篩選的系統,可評估用戶端檢索。
退款示範採伺服器端檢索,不必自建索引。高頻工具可預先載入,低頻工具才延後;若多數任務固定只用少數函式,也要保留全量載入作為比較基準。
第二個例子是 Google 文件的天氣與換匯示範:遠端 MCP(模型上下文協定,用來連接模型與外部工具)伺服器提供天氣功能,自訂函式負責換匯。將 mcp_server 設為延後載入,就能讓它提供的工具按需載入,不必逐項標記。示範呈現整合流程,沒有提供延遲改善比例。來源:工具檢索文件
第三個例子是同份文件的帳務查詢:模型先呼叫應用程式的工具搜尋,再取得 get_billing_history 的定義。這是用戶端檢索,適合由應用程式掌握工具登錄庫;代價是每次搜尋多一次往返。工具也能在對話中途才提供。
已發布產品如何縮小工具入口?
Cloudflare 在 2026 年 2 月發布的 API MCP 伺服器,提供另一個產品案例。原有 API 超過 2,500 個端點,新伺服器以 Code Mode(由模型寫程式搜尋及執行操作)只暴露 search()、execute() 兩個工具。Cloudflare 表示,這兩個入口約占 1,000 token。來源:Cloudflare 產品公告
這個結果衡量的是工具入口的上下文占用,未包含完成任務時產生的程式、搜尋結果與執行回傳。它也採用程式執行架構,與 Gemini 載入函式參數結構的方式不同。已有大型 API 的團隊,可把兩者列為候選設計,再分別評估搜尋品質、執行環境與維護負擔。
採這類程式入口時,驗收還應拆成兩關:搜尋是否找到正確操作,以及程式是否只執行獲准的操作。入口數量從數千縮成兩個,也不會讓後方的業務權限只剩兩種。退款、讀取帳務與修改設定仍有各自的授權條件,需由執行服務判斷,不能只檢查外層工具名稱。
Anthropic 的內部評測、MCP-Zero 的研究實驗與 Cloudflare 的產品實作,分別回答準確率、研究條件下的 token 用量與工具入口大小。三者都支持檢視工具提供方式,但測量單位不同,無法合併成一個通用節省比例。Google 的三種官方示範則用來理解整合流程。
| 做法 | 較適合的工具庫 | 需驗收的代價 |
|---|---|---|
| 全量預先載入 | 少量、固定工具 | 全部結構的輸入成本 |
| 伺服器端檢索 | 大量、已宣告工具 | 搜尋與已載入結構成本 |
| 用戶端檢索 | 自有登錄庫、個人化工具 | 額外往返與搜尋維護 |
權限仍須由系統執行。MCP 規格允許依請求的授權回傳不同工具集合;建議先依使用者權限篩選,再交給模型挑選,執行端也要重新驗證。退款金額限制與重複扣退款防護,可沿用AI 代理權限控制的檢查思路。來源:MCP 工具規格
導入前如何驗收工具命中率與總成本?
用相同任務比較全量載入與檢索版本,同時記錄 token、延遲、選取錯誤及任務完成情形,才能判斷是否值得擴大。
官方公告與文件支持功能機制及計費規則,不能單獨證明自家工具庫的準確度或成本改善。尤其名稱相近、描述含糊的工具,要先修正命名,避免把描述品質問題誤認為模型能力不足。
對照任務也要保留「搜尋不到」與「根本不需工具」兩類。前者觀察代理會停止、要求補充資訊,還是誤選相近工具;後者檢查是否平白增加搜尋開銷。另將短任務與多輪任務分組,記錄每輪新增載入哪些結構,才能找出成本差異發生的位置,決定該調整描述、預先載入工具,或回到原有流程。
- 固定模型、工具版本與快取設定,抽取去識別化任務,涵蓋常用、低頻及不需工具的請求。
- 在測試環境對照全量載入、伺服器端檢索;已有工具登錄庫時再加入用戶端版本。
- 記錄每次請求及整段任務的輸入、輸出 token、重試數與費用。
- 預先標註可接受的工具,計算正確命中率、錯誤呼叫率及任務完成率;另測工具選對但參數錯誤。
- 比較延遲中位數與第 95 百分位數,事先訂好成本、完成率與回退門檻,再放小流量。

- 以整段任務費用除以成功任務數,追蹤每次成功的成本。
- 將權限錯誤、重複退款等事件列入回退條件。
- 小流量驗收通過後,再逐步擴大工具範圍。
常見問題
Q1:哪些模型與介面支援?
依發布公告,支援 Interactions API 的 Gemini 3.6 及後續模型,包含 Gemini 4。Tool Retrieval 仍為預覽功能,需用 v1beta;generateContent 不支援。
Q2:需要自己建立搜尋索引嗎?
伺服器端模式不需要;用戶端模式由應用程式提供搜尋、排序與篩選邏輯。
Q3:工具少也該啟用嗎?
先比較搜尋開銷與結構節省量。工具少且常全部用到時,保留預先載入可能較合適。
參考來源
- Loher L, Kassner N.(2026)。Introducing Tool Retrieval in the Gemini API。Google
- Google。(2026)。Tool retrieval。Gemini API 文件
- Google。(2026)。Function calling with the Gemini API。Gemini API 文件
- Model Context Protocol。(2026)。Tools。MCP 規格
- Wu B, et al.(2025)。Introducing advanced tool use for Claude。Anthropic
- Fei X, et al.(2025)。MCP-Zero: Active Tool Discovery for Autonomous LLM Agents。arXiv 預印本
- Carey M.(2026)。Code Mode: give agents an entire API in 1,000 tokens。Cloudflare