模型分數上升，是否就代表能力更可靠？Sakana AI 提出的 MASS（Multi-Agent Self-Supervision，多代理自我監督）讓同一個語言模型分別執行任務、調整代理團隊的工作流程，再評判成果並挑選訓練資料，經微調後進入下一輪。研究在部分研究型基準觀察到分數或每輸出 token 成效提升，但改變並非所有測試都一致。這個問題要先定義清楚：分數衡量了什麼、由誰判斷優劣，以及測試是否有機會抓到模型自己看不見的錯誤。
MASS 值得注意的地方，在於它把多代理協作找到的經驗帶回模型訓練，不是單純讓模型多回答幾次再自我打分。Sakana AI 與加州大學柏克萊分校研究團隊以 27B 開放權重模型進行兩輪實驗，訓練資料主要來自合成的開放式研究任務。結果能說明這個設定下的某些變化，還不能直接回答它換到不同模型、任務或公司流程後是否一樣可靠。
一、分數變高以前，先問評測究竟量到什麼
不能。研究顯示特定模型經兩輪 MASS 後，在四個研究型基準的每輸出 token 表現高於基準模型；其他公開基準則有升有降，不能把局部提升當成普遍能力或實際部署可靠度。
MASS 是一種遞迴式自我改進方法。遞迴式在此指模型完成一輪改進後，再用更新過的模型重跑相同類型的流程。研究的核心不是證明「AI 能自行變聰明」，而是測試一個具體設計：模型先讓多個代理依不同角色合作，改良它們傳遞資訊與檢查工作的方式，再從被判為較好的執行軌跡中整理訓練訊號。
實驗採用 Qwen3.6-27B 作為共同模型，涵蓋財務、機器人與藥學等合成研究任務。團隊把問題分成執行者、工作流程最佳化者與評估者三個角色；角色不同，底層仍是同一模型。這使研究能觀察共享模型能否從多代理合作中學到分工與協調，也讓一個問題浮現：如果判斷錯誤的根源存在於共同模型的偏差裡，多個角色是否只是在用不同方式重複同一個錯誤？
研究使用外部強模型評估最終成果，且評判結果不提供給 MASS 迴圈。這能補上一個不同的比較視角，降低訓練者只用自己的分數自我驗證的風險；然而外部模型的判斷也可能受提示、評分標準與模型能力影響，不能當成客觀真值。因而要分清楚：論文觀察到特定測試的表現變化，研究者提出共享盲點的安全疑慮；後者是需要進一步驗證的風險，不是已證實每次都會發生的實驗結果。
二、MASS 如何把團隊經驗帶回共享模型
它先固定模型權重、搜尋任務適合的代理工作流程，再挑選自評較好的執行紀錄進行監督式微調；更新後的模型接手三個角色，開始下一輪搜尋與訓練。
內圈處理工作流程。研究把流程寫成提示中的一份團隊計畫，包含各代理的角色、任務指令、必須交回的產物，以及代理被呼叫的順序。舉例來說，一個分析任務可以先由資料代理整理來源，交由建模代理進行分析，再由稽核代理檢查資料是否洩漏未來資訊。這裡的改善對象是代理如何分工、交換哪些資訊與何時檢查，不只是增加代理數量。
每輪內圈會執行候選工作流程，讓評估者比較新舊結果，再由最佳化者根據評語修改流程。評估者要比較任務產物，最佳化者則要把評語轉成下一個可測試的工作安排。若只看最後的評分，團隊可能不清楚改變究竟來自更好的分工、不同工具使用，還是某次執行碰巧順利；保留工作流程版本與中間產物，才能事後查出差異。
外圈才改模型本身。研究讓優選流程以不同隨機種子多次執行，並由模型排序工作成果，挑出較好的對話軌跡，再以 LoRA（低秩適配，一種以較少新增參數微調模型的方法）訓練共享模型。訓練紀錄包含統籌者如何拆解工作，也包含子代理如何完成有限範圍的工作；更新後模型再同時擔任執行者、最佳化者與評估者。
這種設計把「一次答案好不好」與「下一次如何組隊」連在一起。它也使訓練資料本身帶有模型的選擇：模型偏好的結果會留下來成為下一輪學習材料。因此，模型品質、排序準則和資料保留程序都是改進迴圈的一部分；若這些環節缺少獨立檢查，訓練紀錄看似愈來愈整齊，仍不能單憑外觀確認錯誤真的減少。
三、研究結果有提升，也有不能外推的邊界
論文報告四個研究型基準的每輸出 token 表現較基準模型提升約 1.2 至 1.6 倍；Terminal-Bench 2.0 與 SWE-bench Verified 的第二輪每 token 分數則低於基準，呈現任務間差異。
四個研究型基準包括 MLR-Bench、ScienceAgentBench、DSBench 與 AstaBench（E2E-Bench-Hard）。這些測試分別以不同尺度評估研究或分析任務，不能把分數直接相加，也不能因一個基準上升，就認定另一種工作也會改善。論文用「每輸出 token」描述模型輸出效率與分數的關係，這個指標回答的是特定測試中，輸出 token 對應到的評分表現，不等於端到端成本、任務成功率或錯誤風險都同步改善。
對照結果更能看出邊界。研究報告第二輪模型在 Terminal-Bench 2.0 的每 token 比值約為基準的 0.96 倍，在 SWE-bench Verified 約為 0.94 倍，低於基準水準。Sakana AI 公開的實驗表另列三次試驗的通過率：這兩項在第二輪也低於初始模型。其他研究基準大致上升，但 DSBench 的第一輪曾略降，顯示改變並非每一輪都單調進步。各項指標和測試任務不同，閱讀時應保留其原本尺度。
研究另以三個合成保留任務比較成果，基準模型相對自身的勝率由 53.9% 升至 69.9%；另有獨立模型評判成果，以及對工作流程搜尋和軌跡訓練的分析。這些數據支持「某些任務與評分設定出現改善」的說法，仍不涵蓋真實組織的資料品質、使用者需求、錯誤代價、權限管理和長期維護。測試集沒有參與微調或檢查點選擇，是必要設計，但保留測試仍無法自動代表所有未見過的使用情境。
「共享盲點可能讓錯誤成果被接受為進步，並在訓練中被強化。」這是 Sakana AI 研究團隊對同質自我改進迴圈提出的安全風險說明，並非論文宣稱已在所有任務中實測到這種結果。（Lee 等人，MASS 研究團隊，中譯）
四、自我評判為什麼可能看不見自身盲點
因為執行、挑選和修訂共用相似的模型先驗與評分偏好；若某種錯誤同時影響產出與判斷，它就可能通過自評，進入下一輪訓練。這是結構性風險，仍須按任務實測。
多代理分工可以讓工作拆得更細，卻不會自然產生真正獨立的觀點。假如執行代理漏看一個關鍵條件，評估代理也可能因共享相同盲點而認為結果完整；最佳化者接著把這份評語轉成訓練素材。下一輪模型於是可能更熟練地重現同一種偏差。這不表示所有自我評判都無效，而是指出「評判者與被評對象的獨立程度」會影響驗證力。
研究者在官方說明中提醒：「當模型也是自己的評估者時，共享盲點可能讓錯誤被當成進展並強化。」這段話應讀作作者對風險機制的警示，而非實驗已確認模型確實漏掉某一個具體盲點。論文以未參與 MASS 訓練迴圈的外部模型評估結果，正是補充檢查的一種做法；它提供的是第二套判斷，不保證外部模型永遠正確。
另一個原因是開放式研究任務難以快速取得標準答案。若工作成果需要昂貴實驗、專業審查或長時間追蹤，單靠評分模型就更難知道它是否真的符合目標。評分者可以檢查文字是否完整、格式是否符合要求，卻不一定能確認結論是否可重現、資料是否有偏差，或某個看似合理的推論是否經得起現場使用。評測設計必須先界定哪些部分可由自動規則查核，哪些需要不同來源或專業人員覆核。
因此，模型自評可用來排序和篩選候選成果，卻不宜成為唯一的改善依據。當錯誤代價高、答案難以驗證或系統會持續更新時，團隊要保留獨立測試與人工介入的能力。外部評判模型、實際執行結果、抽樣專家審查各自能看到不同面向，組合使用比單一分數更有機會發現模型共同忽略的地方。
五、團隊導入前，先設計評測與責任流程
先定義目標任務與可接受錯誤，再把調參資料和最終保留測試分開，安排獨立評判、人工抽查及回退條件，並一併追蹤品質、穩定性、資料風險和總成本。
第一步是定義要改善的工作，而不是先追求更高的總分。將任務拆成可檢查的結果，例如答案是否符合輸入條件、引用是否能支持結論、程式修改是否通過既有測試、報告是否包含必要證據。每一項都要標明錯誤可能造成的影響。若只用一個總分，模型可能學會符合評分表面、卻忽略最重要的失敗情境。
接著將資料切分。工作流程搜尋與訓練會反覆接觸一組任務，開發過程中用來調整規則的驗證資料，也已經提供了回饋；最後的測試集應保留到流程定案後才使用。保留集還要涵蓋目標使用情境的變化，例如不同輸入格式、資料缺漏、罕見案例與刻意製造的錯誤。只有一份很小或過於相似的保留集，仍可能讓團隊錯估泛化能力。
評判方式也要多元。對可程式化驗證的部分，用測試、格式檢查或來源核對取得可重現訊號；對開放式內容，加入未參與訓練的評判者，並定期抽樣交由熟悉任務的人員檢視。外部模型評分要記錄提示版本、評分準則與分歧情形，因為換一種問法就可能改變判斷。抽查也應針對模型自評為高分的樣本和自評與外部結果差異最大的樣本，而不只看表現最差的輸出。
導入前可依序完成以下檢查：
- 記錄任務目標、可接受錯誤與高風險失敗案例。
- 分開工作流程搜尋、微調、檢查點選擇與最終測試資料，避免保留集在迭代中被使用。
- 以獨立評判、可自動核對的證據和人工抽查交叉檢查模型自評。
- 按錯誤類型追蹤各輪變化，設定表現退化、資料外洩或評判分歧擴大的停止與回退條件。
- 把模型呼叫、代理執行、資料生成、微調、部署維護及權限管理納入成本估算。
成本也不能只看微調本身。多代理執行可能增加推論呼叫、輸出 token、軌跡儲存與評估費用；訓練端還有資料整理、運算資源、版本維護和回歸測試。研究展示的是在特定開放權重模型與實驗流程下的表現，不等於團隊部署後成本更低。若每次更新都需要大量人工確認，或者失敗時無法切回舊版本，分數提升未必足以抵銷維護代價。
資料權限同樣要先查清楚。代理輸入、工具回傳內容、評測資料與訓練軌跡可能包含個資、機密或受授權限制的內容。團隊應確認哪些資料可以送進模型、誰能存取留存紀錄，以及資料是否會被用於後續訓練。這是自我改進流程的治理問題，不能因為模型在本機運作或採用開放權重，就假設資料風險已經消失。
負責人也要具名到角色。誰核准訓練資料、誰檢查評估分歧、誰決定模型能否更新、出現退化時誰按下停止並執行回退，這些安排都應在流程啟動前定好。系統可先在影子模式或小範圍任務中產生建議，保留人工確認點，再依獨立測試的結果逐步擴大；若回歸測試不過，就停止發布並回到已知穩定版本。
「讓系統的自我評估持續接受修正，是安全上的必要條件。」這是 MASS 論文對同質迴圈的結論方向：評判本身也必須可以被外部證據挑戰。（Lee 等人，MASS 論文，中譯）
對正在規劃自我改進或自動評測的團隊，較可行的起點是挑選一項目標明確、結果可查核、錯誤代價可控的工作，建立獨立基準後再比較流程版本。先找出模型在哪些任務上進步、哪些任務退化、錯誤是否集中在某些輸入，以及提升是否值得新增的推論與維護成本。MASS 提供一個研究設計範例，能否用在特定產品或組織，仍要回到實際使用情境驗證。
若團隊正在規劃模型自我改進或自動評測，可以先整理目標任務、錯誤代價、獨立測試資料與人工覆核責任，再依實際流程設計驗證方式。對 AI 系統設計與評測流程有興趣，也可以從這些評估問題開始交流。
常見問題
保留未參與調參的測試資料，加入獨立評判與人工抽查，並先訂好品質退化時的停止和回退責任。
Q1：MASS 是讓模型自行修改程式或模型權重嗎？
MASS 會調整代理協作的文字工作流程，並用挑選出的執行軌跡微調共享模型權重。研究將這兩個環節交替進行；「自我改進」不是指模型不受限制地自行改寫程式或自行批准所有更新。
Q2：基準分數提升能證明模型在實際工作中更可靠嗎？
不能直接證明。基準分數只反映特定資料、任務、評分方法與執行設定下的結果。團隊要在自己的目標情境另設保留測試，檢查錯誤類型、穩定性與實際成本。
Q3：為什麼還需要獨立評判者？
同一模型可能在產生答案和判斷答案時共享偏差。獨立評判者能提供另一個比較角度，但模型評判仍會出錯，因此還要搭配可驗證證據、人工抽查與必要的停止或回退程序。
