Google 在 2026 年 11 月 19 日的 Gemini API Tool Retrieval 公告中,示範如何處理訂單 A-1042 的 40 美元退款:工具庫另有逾 50 個延後載入的函式,模型先取出退款工具的參數結構,再產生呼叫。這是官方程式示範,沒有公布商家部署後的節省數據。來源:Google 公告

工具庫膨脹已有實際測試可參照。Anthropic 在 2025 年發布的內部 MCP 評測中,讓 Claude 按需搜尋工具;Opus 4 的準確率由 49% 提高至 74%,Opus 4.5 則由 79.5% 提高至 88.1%。這是該公司的測試結果,不能直接當作 Gemini 的改善幅度。來源:Anthropic 測試

兩個模型分別增加 25 與 8.6 個百分點,同一種設計也有不同收益。對台灣開發團隊,這提供一個驗收方向:把目前使用的模型與候選模型分開測量,避免只拿供應商表現較好的數字估算自家服務。

但這裡要先問一個更前面的問題:代理每次處理退款,為何也要讀取其他工具的完整規格?對正在擴充客服、訂單或帳務代理的團隊,這會影響每次請求的成本,也會影響工具選擇。

Tool Retrieval 如何延後載入工具結構?

加入 tool_search,並將指定工具設為 defer_loading: true,模型先看名稱與描述,需要時才載入參數結構。

參數結構(schema)定義輸入欄位、型別及必填條件。名稱和用途介紹保留在上下文,也就是模型這次判斷時可讀取的內容中;延後的是完整參數規格。因此,工具描述仍要寫明用途,退款與取消訂單的差異尤其不能省略。

伺服器端流程依序產生搜尋、搜尋結果、函式呼叫三種步驟。搜尋與載入在同一次請求內完成;自訂退款函式仍由應用程式執行,再回傳結果。可以從 interaction.steps 檢查選到哪個工具,不能把產生呼叫當成退款成功。來源:工具檢索文件

Google 的函式呼叫文件提醒:即使用前一輪互動識別碼串接對話,每次請求仍須傳入工具清單,工具宣告不會自動沿用。這是文件要點轉述。來源:函式呼叫文件

省下模型讀取的內容,不等於應用端從此不用傳工具宣告。既有系統若要遷移,仍須檢查多輪請求的工具傳遞;更廣的流程評估可搭配Gemini 代理的權限與成本驗收。

少送參數結構,何時才有淨節省?

未載入結構省下的輸入 token,必須足以抵銷搜尋開銷;總費用還要計入輸出、重試與工具服務成本。

Token 是模型處理文字的計量單位。完整工具結構若在每次請求重複進入上下文,即使用不到也會占用輸入額度。這是成本形成的原因,工具總數只能當線索;結構長短與每項工具的使用頻率也會改變結果。

Google 公告說明:Tool Retrieval 沒有獨立費用,但啟用搜尋會增加固定輸入 token;載入的結構在後續對話仍計入輸入 token,輸入與輸出依所用模型標準費率計費。此處為計費規則轉述。來源:Google 公告

粗估時可用「未載入結構省下的 token,減去新增搜尋 token」檢視方向,最後仍須比較整段任務的帳單。若一段長對話陸續用到大半工具,最初的節省可能逐步縮小。

前綴快取指重用提示詞開頭相同的內容。Google 說明,延後結構放在對話較後方,有助保留共同前綴;實際省多少仍取決於快取命中。對照測試要固定快取條件,並分別查看一般輸入與快取用量,避免把快取差異算成功能成效。

另一個研究案例是 Fei 等人在 2025 年提出的 MCP-Zero。他們整理 308 個 MCP 伺服器、2,797 項工具,讓代理先表達需要的能力,再分層尋找伺服器與工具。這項預印本另報告,在 APIBank 工具使用評測中,token 消耗減少 98%,同時維持高準確率。來源:MCP-Zero 論文

工具庫規模與節省比例來自不同評測設定,不能合寫成「近三千項工具都能省九成八」。這個研究可借用的是測試方法:任務進行到一半才發現缺少工具時,能否再次搜尋、補齊能力並完成任務?只測第一輪選取,會漏掉多步流程的失敗。

圖中並列工具名稱與描述、搜尋開銷、後續載入的參數結構,未使用的結構置於上下文範圍之外。
評估淨節省時,要把搜尋開銷和後續載入的結構一併算入,未使用的結構才是省下的部分。

退款、遠端 MCP、自有工具庫如何選?

固定工具庫可先評估伺服器端檢索;已有自建搜尋或逐使用者權限篩選的系統,可評估用戶端檢索。

退款示範採伺服器端檢索,不必自建索引。高頻工具可預先載入,低頻工具才延後;若多數任務固定只用少數函式,也要保留全量載入作為比較基準。

第二個例子是 Google 文件的天氣與換匯示範:遠端 MCP(模型上下文協定,用來連接模型與外部工具)伺服器提供天氣功能,自訂函式負責換匯。將 mcp_server 設為延後載入,就能讓它提供的工具按需載入,不必逐項標記。示範呈現整合流程,沒有提供延遲改善比例。來源:工具檢索文件

第三個例子是同份文件的帳務查詢:模型先呼叫應用程式的工具搜尋,再取得 get_billing_history 的定義。這是用戶端檢索,適合由應用程式掌握工具登錄庫;代價是每次搜尋多一次往返。工具也能在對話中途才提供。

已發布產品如何縮小工具入口?

Cloudflare 在 2026 年 2 月發布的 API MCP 伺服器,提供另一個產品案例。原有 API 超過 2,500 個端點,新伺服器以 Code Mode(由模型寫程式搜尋及執行操作)只暴露 search()、execute() 兩個工具。Cloudflare 表示,這兩個入口約占 1,000 token。來源:Cloudflare 產品公告

這個結果衡量的是工具入口的上下文占用,未包含完成任務時產生的程式、搜尋結果與執行回傳。它也採用程式執行架構,與 Gemini 載入函式參數結構的方式不同。已有大型 API 的團隊,可把兩者列為候選設計,再分別評估搜尋品質、執行環境與維護負擔。

採這類程式入口時,驗收還應拆成兩關:搜尋是否找到正確操作,以及程式是否只執行獲准的操作。入口數量從數千縮成兩個,也不會讓後方的業務權限只剩兩種。退款、讀取帳務與修改設定仍有各自的授權條件,需由執行服務判斷,不能只檢查外層工具名稱。

Anthropic 的內部評測、MCP-Zero 的研究實驗與 Cloudflare 的產品實作,分別回答準確率、研究條件下的 token 用量與工具入口大小。三者都支持檢視工具提供方式,但測量單位不同,無法合併成一個通用節省比例。Google 的三種官方示範則用來理解整合流程。

做法較適合的工具庫需驗收的代價
全量預先載入少量、固定工具全部結構的輸入成本
伺服器端檢索大量、已宣告工具搜尋與已載入結構成本
用戶端檢索自有登錄庫、個人化工具額外往返與搜尋維護

權限仍須由系統執行。MCP 規格允許依請求的授權回傳不同工具集合;建議先依使用者權限篩選,再交給模型挑選,執行端也要重新驗證。退款金額限制與重複扣退款防護,可沿用AI 代理權限控制的檢查思路。來源:MCP 工具規格

導入前如何驗收工具命中率與總成本?

用相同任務比較全量載入與檢索版本,同時記錄 token、延遲、選取錯誤及任務完成情形,才能判斷是否值得擴大。

官方公告與文件支持功能機制及計費規則,不能單獨證明自家工具庫的準確度或成本改善。尤其名稱相近、描述含糊的工具,要先修正命名,避免把描述品質問題誤認為模型能力不足。

對照任務也要保留「搜尋不到」與「根本不需工具」兩類。前者觀察代理會停止、要求補充資訊,還是誤選相近工具;後者檢查是否平白增加搜尋開銷。另將短任務與多輪任務分組,記錄每輪新增載入哪些結構,才能找出成本差異發生的位置,決定該調整描述、預先載入工具,或回到原有流程。

  1. 固定模型、工具版本與快取設定,抽取去識別化任務,涵蓋常用、低頻及不需工具的請求。
  2. 在測試環境對照全量載入、伺服器端檢索;已有工具登錄庫時再加入用戶端版本。
  3. 記錄每次請求及整段任務的輸入、輸出 token、重試數與費用。
  4. 預先標註可接受的工具,計算正確命中率、錯誤呼叫率及任務完成率;另測工具選對但參數錯誤。
  5. 比較延遲中位數與第 95 百分位數,事先訂好成本、完成率與回退門檻,再放小流量。
相同測試任務分別進入全量載入與工具檢索兩條評估路徑,空白欄位列出成本、延遲、工具選取、參數有效性與任務完成情形,最後連到擴大或回退決策。
先用相同任務比較成本、延遲與完成品質,再依預設門檻決定是否擴大流量。
  • 以整段任務費用除以成功任務數,追蹤每次成功的成本。
  • 將權限錯誤、重複退款等事件列入回退條件。
  • 小流量驗收通過後,再逐步擴大工具範圍。

常見問題

Q1:哪些模型與介面支援?

依發布公告,支援 Interactions API 的 Gemini 3.6 及後續模型,包含 Gemini 4。Tool Retrieval 仍為預覽功能,需用 v1beta;generateContent 不支援。

Q2:需要自己建立搜尋索引嗎?

伺服器端模式不需要;用戶端模式由應用程式提供搜尋、排序與篩選邏輯。

Q3:工具少也該啟用嗎?

先比較搜尋開銷與結構節省量。工具少且常全部用到時,保留預先載入可能較合適。