如何評估 AI 代理長期決策：看懂 Taste-Bench 基準

很多人第一個會先想到，AI 代理能不能完成整項任務；但更前面的問題是，它在過程中的關鍵選擇，能不能選對方向？一個代理最後交出可用成果，仍可能曾經走錯路、浪費大量時間後才修正；反過來，單一步驟看起來合理，也未必能讓整項工作成功。評估「最後有沒有做完」與評估「沿途怎麼判斷」，觀察的是不同能力。

研究團隊提出 Taste-Bench，嘗試把長期任務中的決策分岔整理成評測題。它讓受測模型在看不到後續結果的情況下，從兩個候選步驟中選出較好的方向。這提供了一種觀察 AI 代理長期決策的方式，分數則要放回題目來源、標籤形成方法與實際工作流程來解讀。

AI 代理完成任務，不代表每個關鍵決策都做得好

不能直接代表。 端到端評分看任務最後是否完成，Taste-Bench 則把焦點放在看不到後續結果時，代理能否選對一個關鍵方向。

端到端任務評測通常會記錄代理最後是否通過測試、解決問題或產出研究結果。這種指標有實用價值，因為使用者在意成果；但它把中間過程壓縮成一個結局，無法單獨指出代理在哪個決策點選得好或不好。代理也可能靠多次重試、額外工具或人工修補才完成任務。

Taste-Bench 把問題切小：給模型原始任務、分岔之前的進度紀錄，以及兩個可選的下一步，要求它在不知道後續發展時作答。這測量的是「當下能否根據已有脈絡選擇較有利的路徑」，不是整個代理系統的成功率，也不等於它具有跨領域通用的判斷力。

這個區分對導入者很實際。若團隊只看最終完成率，可能看不見代理在某些環節反覆繞路；若只看分岔題答對率，也不知道工具權限、任務設計、資料品質與人工補救如何影響成果。兩種指標回答不同問題，應一起對照流程，而非互相代替。

Taste-Bench 如何把長期任務切成決策分岔

研究者從既有代理軌跡擷取真實分岔，利用後續發展作為判斷標籤。 題目呈現任務、分岔前紀錄與兩個候選行動，受測模型看不到分岔後的結果。

作者說明了兩種題目建構方式。第一種是「平行嘗試」：同一任務有不同執行軌跡，研究者找出它們在相近進度出現的選擇差異，再以各自後續結果判斷哪個方向較好。第二種是「繞路」：同一條軌跡中，代理先採取某個方向，遇到問題後放棄並改走另一條路；這組選擇和後續修正可形成分岔題。

這種標籤依賴軌跡中的後續結果，因此題目不需要專家逐題先寫標準答案。它的優點是能從實際執行紀錄大量整理決策情境；但「後來走通的路」也不保證在所有條件下都永遠更好。任務背景、可用工具或成功定義一旦改變，另一個選項可能更合適。標籤反映原軌跡中的比較結果，並非抽離情境的普遍規則。

模型在作答時看到任務說明、分岔前的完整軌跡，以及兩個候選下一步；看不到後面發生什麼。這一安排模擬決策當下的資訊限制，避免模型直接抄答案線索。不過，軌跡長度和內容仍會左右判斷：早期出現的關鍵證據較容易被掌握，晚期才看得出差異的決策則更難提前預測。

目前公開資料集涵蓋軟體工程與機器學習研究兩類軌跡，分成工程 390 題、研究 112 題，共 502 題。這些任務來自 SWE-bench、SWE-bench Pro，以及 METR 的 MALT 研究紀錄。資料集頁面要求使用者先接受存取條件，並明確限制不得在公開位置重貼題目內容；因此引用評測設計即可，不宜照錄題幹或選項。

研究分數代表什麼，不能推到哪裡

不可以。 分數表示模型依指定題目與作答協定，能否在兩種選項順序下都答對；它不是部署到某個產業流程後的成功率或可靠度。

預印本摘要報告，該研究測試中表現最佳的模型答對率為 59.7%。程式庫說明的評分協定會把每題的選項順序顛倒後再問一次，只有兩種順序都答對才計為正確；依此協定，隨機猜測的基準是 25%。此外，研究指出，決定性證據越晚才出現，各模型越難作答；增加推理預算也沒有改善該測試的準確率。這些是研究者在其資料和評測設定下報告的觀察，不能直接外推成所有模型、所有任務的固定表現。

數字也受題目篩選和評分細節影響。程式庫記載，初步擷取的分岔中有些因太容易、或標籤判定有歧見而被排除；留下來的題目仍集中於工程與研究工作。若模型在企業客服、採購審核、醫療行政或台灣在地服務流程中運作，使用的資料、工具、容錯界線及「成功」定義都可能不同，公開測試的代表性需要另行檢查。

重現分數時也要固定評測版本與協定。候選步驟的排列、上下文截取方式、模型輸出格式，以及錯誤或無法解析答案的計分方式，都會影響最後結果。若團隊只抄一個公開平均值，卻沒有確認它如何得出，便很難判斷自家分數的升降來自模型變化、測試條件改動，還是題目組成不同。比較模型前，應先確保同一批題目、同一種提示與相同評分規則。

預印本也報告，研究者將看過結果的教師模型判斷蒸餾給學生模型後，學生在未見任務上的分岔選擇有所改善，並在保留的 SWE-bench Pro 任務中提升端到端成功表現。這顯示研究團隊探索了基準作為訓練訊號的用途，但結果仍屬單一研究團隊在特定資料和設計下的報告，不能據此斷定同樣方法會改善其他團隊的代理。

「表現最佳的模型答對 59.7% 的問題。」這是研究團隊在 Taste-Bench 測試協定下的結果，應與題目領域和評分方式一起閱讀。— Wenbo Pan 等人，arXiv 預印本

先找原因，再判斷基準是否適合自己的流程

先盤點自家流程中的關鍵決策，再比對基準是否涵蓋相似任務、資訊和錯誤代價。 公開分數只能作為初步線索，還要用自己的代表性案例驗證。

可以從一次實際工作往回拆解：代理收到什麼任務、在哪個節點要選擇下一步、當時能取得哪些資料、選錯後會造成什麼影響、最後由誰確認結果。這會把抽象的「代理判斷力」變成可檢查的決策清單。例如程式修補代理要判斷先讀測試還是直接改碼；研究代理要決定是否延伸某個假設。兩者都屬於分岔選擇，所需知識和風險卻不相同。

接著檢查測試相似度。公開題目偏向工程和機器學習研究，若自家工作也是長時程技術任務，基準可能提供較貼近的起點；若流程牽涉內部資料、特定法規、不同語言或跨部門核准，公開結果的對照力就較有限。也要確認基準中是否呈現了代理實際可用的工具、上下文長度和權限限制，否則即使任務名稱相近，測到的條件仍可能不同。

風險分級會決定評測方式。低風險的可逆操作可觀察代理是否減少重複步驟；涉及資料刪除、對外發送、金錢或人身影響的決策，則需要設計停止條件、人工覆核和可追溯紀錄。錯誤代價越高，越不能只用平均分數決定是否放手執行，也要檢查錯誤發生在哪一類決策、能否被及時攔下，以及補救成本由誰承擔。

部署後仍需持續觀察任務分布是否改變。新工具、新政策、資料欄位或使用者習慣，都可能讓原先測得的判斷能力與現場脫節。把人工退回、代理重試和錯誤升級的案例整理回驗證集，定期重跑並比較，才能看出基準是否仍貼近現況。

「看不到分岔後的結果，模型必須依當下軌跡選擇方向。」這是 Taste-Bench 的核心設計，也提醒導入者確認自家評測是否保留相同的資訊條件。— Wenbo Pan 等人，Taste-Bench 程式庫說明

導入前如何把公開評測轉成可用參考

建立一組不洩漏答案的自有驗證案例，分開記錄決策品質、任務成果與錯誤代價，再由人工覆核高風險結果。

小型驗證集不必先追求題目很多，重點是涵蓋流程中常見且重要的決策。每題記錄當時可見的上下文、候選行動、預期的成功條件，以及錯誤會造成的後果。標籤最好由熟悉流程的人依明確準則檢查，並記下分歧原因；若標準本身含糊，先修訂標準再比較模型，否則分數混合了判斷能力與標註不一致。

評估指標也應分層。分岔選擇答對率可看局部判斷；端到端完成率看整項工作結果；返工次數、工具呼叫、完成時間與人工介入比例則協助解釋成本。另可按風險、任務類別和證據出現時點拆分結果，避免平均值掩蓋少數高代價錯誤。每次模型、提示、工具或資料流程更新後，也要以固定版本的驗證案例重新比較。

1. 列出代理流程中的關鍵選擇、可見資訊和失敗後果。
2. 對照 Taste-Bench 的工程與研究題型，標記相似處與未涵蓋處。
3. 用自有代表性案例建立基準，明訂答案準則並記錄人工覆核分歧。
4. 同時追蹤局部選擇、端到端成果、返工和人工介入，按風險拆開檢視。
5. 對高風險或不可逆決策設定人工確認與停止條件，再決定公開分數在選型中的權重。

導入前先列出代理在自家流程中會做的關鍵選擇，檢查公開基準的涵蓋程度、錯誤代價與人工覆核需求，再決定是否把 Taste-Bench 分數納入選型。評估結果應列出哪些能力有初步證據、哪些決策仍待驗證，以及什麼情況必須由人介入，作為後續追蹤依據。

常見問題

它適合用來觀察特定工程與研究軌跡中的局部決策能力，不能單獨判定代理是否適合某個完整工作流程。

Q1：Taste-Bench 是測試 AI 代理能否完成整項任務嗎？

不是。它把任務中的決策分岔抽出來，讓模型選擇較好的下一步；整項任務是否完成，屬於另一層次的評估。

Q2：59.7% 代表代理有 59.7% 機率完成工作嗎？

不代表。這是研究團隊在 Taste-Bench 題目和成對選項順序協定下報告的答題表現，不能直接換算成實際流程的成功機率。

Q3：公開資料集可以直接下載並重貼題目嗎？

資料集頁面要求先接受存取條件，並要求不要在公開位置重貼題目。引用方法和研究結果即可，使用者應遵守資料集所列條件。

Q4：企業導入前只跑 Taste-Bench 是否足夠？

不足。還需以自有任務檢查資料、工具、風險和成功標準是否相符，並同時觀察端到端成果、返工、人工覆核及高風險錯誤。

• Taste-Bench 評估長期任務中的局部決策分岔，與端到端成功率回答不同問題。
• 研究結果來自特定工程與機器學習研究軌跡及評測協定，不能當成其他流程的可靠度保證。
• 導入者應以自有案例檢驗代表性，並依錯誤代價設定人工覆核與停止條件。