OpenMobile-2 論文附錄列出一項具體測試：研究團隊要求代理在模擬的小紅書搜尋「旅遊」，從前 10 筆結果找出按讚數最高的兩篇，再把完整標題逐行寫進系統 Notes。程式檢查器會自行取回搜尋結果中的前兩名，核對最新 Notes 是否包含兩個標題。這種可驗證任務能測出操作結果是否符合要求，但它仍引出一個問題：基準測試進步，是否代表代理能可靠處理日常手機任務？
OpenMobile-2 是開源手機代理研究專案，團隊公開訓練環境、資料和模型。論文報告它在實體裝置基準 SPA-Bench 的分數由基礎模型 31.9 提升至 59.6，但這是特定測試結果，不能換算成所有手機任務的成功率。論文於 2026 年 10 月發布於 arXiv，仍需後續審查與獨立複現。更多手機代理評估方法可參考站內整理；研究細節見論文和官方專案頁。
一、固定資料量下，訓練 App 更多帶來什麼差異？
研究團隊固定訓練軌跡總量與模型設定，只增加訓練涵蓋的 App 數量，再比較熟悉與未見 App 的任務表現。
案例：固定軌跡數量，擴大訓練 App 涵蓋面
研究者把訓練資料固定為 2,000 條 Android 模擬器操作軌跡，保留 15 種共同 App，再逐步把總涵蓋數提高到 53 種。模型第一次嘗試完成未見 App 任務的 Pass@1，從 60.7% 升到 67.5%；熟悉 App 的 Pass@1 則由 73.7% 到 71.4%，變化不大。Pass@1 指只給模型一次嘗試時的成功比例。
這項對照顯示，在研究設定中，把訓練經驗分散到更多 App 有助未見 App 遷移；它沒有證明模型能直接操作任何新 App，測試任務仍限於研究環境。
論文分析指出，在固定軌跡數量的設定下，擴大訓練 App 涵蓋面有助模型遷移到未見 App；未見 App 的 Pass@1 由 60.7% 提升至 67.5%。論文
多樣 App 如何成為可重複的訓練環境
真實商業 App 的登入、帳號資料和不可逆操作，不利於重複測試。團隊在 MobileGym++ 重建 35 個商業風格 App，讓訂單、預算與行程可重設、可檢查，再搭配模擬器 App，形成超過 110 個 App 的訓練環境。代理依畫面操作，程式則檢查任務前後的狀態變化。
模擬環境便於反覆測試，卻不等於真實產品。介面、地區設定和登入流程都可能不同，App 數量也不能當成台灣 App 相容清單。
二、OpenMobile-2 如何把手機操作變成可訓練任務？
MobileGym++ 讓任務從固定初始狀態開始，並以程式檢查 App 狀態有沒有達到指定結果，提供可重複的訓練和評估條件。
從操作示範到可驗證的任務
OpenMobile-2 公開約 1.16 萬條操作軌跡，以及超過 2,000 個強化學習任務。軌跡包含畫面與操作，供監督式微調示範步驟；可執行任務則提供目標、初始狀態和驗證器，供代理反覆練習並取得回饋。
驗證器比對任務前後的 App 狀態，例如購物車是否加入指定商品。它能減少只靠模型評分的問題，但只檢查預先定義的條件；付款錯誤或誤傳資料等未列入項目，不會因任務通過而自動排除。資料同時來自 Android 模擬器和 MobileGym++，涵蓋單一及跨 App 操作；跨 App 流程還會受剪貼簿、分享功能和帳號狀態影響。
三、螢幕操作與 App 原生工具，適用範圍有何不同？
圖形使用者介面（GUI）操作能處理畫面上可見的控制項，App 原生工具則只能執行 App 或測試環境明確開放的結構化功能；混合操作需要兩者共用一致的 App 狀態。
案例二：模擬淘寶購物，工具查商品、GUI 完成付款
論文附錄的 MobileGym++ Bench 第 111 項任務，要求代理在模擬淘寶購買建木大容量 316 不鏽鋼保溫瓶，選擇標記為「學校」的已存地址，並使用花唄分期。搜尋、讀取商品摘要和加入購物車可透過 App 原生工具進行；prepare_checkout 只會開啟尚未成立訂單的確認頁，付款仍須由代理回到 GUI 完成。最後的程式檢查器核對是否建立已付款訂單，以及商品、學校地址和花唄分期是否都記錄正確。論文附錄
這個模擬任務呈現工具和畫面的分工：工具減少逐頁尋找步驟，但付款仍需畫面確認，不能據此宣稱已在真實交易測試。研究者以相同任務比較 GUI 與混合操作，27B 混合微調後的混合模式成功率為 65.6%，純 GUI 微調為 57.7%；使用工具的任務數由 102 增至 128，平均少 5.8 步。模型仍須學會何時呼叫工具。
“Providing app-native tools alone does not guarantee effective tool use.”（OpenMobile-2 研究團隊，論文）
| 操作方式 | 代理使用方式 | 需要的條件 | 主要限制 |
|---|---|---|---|
| GUI 操作 | 讀取畫面後點擊、滑動或輸入 | 作業系統允許畫面與輸入操作，App 介面可辨識 | 受彈窗、版本、登入狀態與畫面變動影響 |
| App 原生工具 | 呼叫已開放的結構化功能 | App 或整合環境提供工具，並與畫面共用狀態 | 只能做已開放的功能，第三方 App 未必支援 |
| 混合操作 | 依任務在畫面操作和工具呼叫間切換 | 模型經過混合訓練，工具權限和狀態受到管理 | 狀態不同步或權限過大會引發錯誤操作 |
手機代理並非只靠模型本身
GUI 代理需取得系統允許的畫面讀取和輸入權限；App 原生工具則須由 App 或整合環境提供，且與畫面共用狀態。OpenMobile-2 在模擬環境測試工具，不能預設一般手機 App 已有相同介面。
導入還要考量裝置維護、App 相容、帳號管理、推論資源、紀錄、個資流向和失敗復原。本機或雲端推論會改變延遲、硬體和資料流向，開源也不代表模型、資料、程式碼及套件授權一致。試用前須核對權限與授權條件，並參考代理系統的身分與流程控管。
四、基準測試的競爭力，能直接代表日常可用性嗎？
不能直接代表。論文分別測試模擬器、長流程基準、重建 App 與實體 Android 裝置，各自反映不同環境下的任務表現。
案例三：以實體 Android 基準檢查模擬訓練的遷移
研究團隊將以模擬器與重建 App 訓練的模型，放到 SPA-Bench 的實體 Android 評測中檢查遷移；該基準收錄 58 個真實 App、340 項任務。27B 基礎模型為 31.9 分，混合微調後 57.4，再加強化學習後 59.6；9B 混合微調後為 48.9。這是特定基準的實機測試結果，不是日常手機任務成功率，也不能代表 iOS、台灣常用 App、各品牌或長時間使用。比較時還須核對基準版本、成功判定方式與推論條件。論文
看懂模擬器、長流程與實機測試各自回答的問題
AndroidWorld 測模擬器任務，MobileWorld 側重長流程與跨 App，MobileGym++ Bench 在重建 App 檢查資料狀態，SPA-Bench 使用實體 Android 裝置。27B 在前三類基準的分數分別為 79.9、50.4，SPA-Bench 為 59.6；量尺和任務不同，不宜直接比較。
強化學習在較接近訓練環境的 MobileGym++ 有增益，AndroidWorld 分數卻由混合微調後的 80.8 變為 79.9。單一測試進步不會自動延伸到所有操作情境；結果仍待其他團隊和部署環境驗證。
五、評估手機代理導入時，先檢查哪些條件？
先用低風險、成功狀態明確的任務試跑，逐項確認作業系統、目標 App、權限、推論位置、資料處理和錯誤復原，再決定是否擴大。
先把任務和可接受的錯誤寫清楚
先定義任務起始狀態、完成條件和禁止動作。整理行事曆或搜尋公開資訊等可逆任務，較適合初測；付款、刪除和傳送訊息應保留人工確認。登入逾時、畫面改版或斷網時，代理須能停下並交由人員接手。
紀錄完成率、耗時、人工介入、錯誤類型和復原結果。相同成功率也可能有不同補救成本；敏感操作則要記下核准者與代理執行內容。
用小範圍測試決定是否進入正式流程
- 選一項低風險任務，寫下起始條件、成功狀態、禁止操作與人工接手時點。
- 在預定使用的手機、作業系統版本和 App 帳號上重複測試，記錄完成率、時間及人工修正。
- 確認模型在哪裡推論、畫面和操作資料會送往何處，並分別核對模型、資料、程式碼與套件授權。
- 撤除非必要的通知、剪貼簿、位置和付款權限，保留可追溯的操作紀錄。
- 模擬斷網、登入逾時、介面變動和錯誤結果；驗證能停止、通知人員並恢復狀態後，再評估是否擴大。
- 固定資料預算的實驗中，增加訓練 App 涵蓋面後，未見 App 的 Pass@1 從 60.7% 提高至 67.5%。
- 混合 GUI 與 App 原生工具在受控任務中帶來改善，但需要工具整合、共用狀態及相應訓練。
- 導入前要用自己的裝置和 App 驗證相容性、權限、資料流向、部署資源、錯誤復原與敏感操作確認。
常見問題
OpenMobile-2 是研究專案，包含訓練環境、資料、模型與評測資源，不是一個可直接安裝使用的單一手機 App。
常見問題
Q1：OpenMobile-2 是手機上的 App 嗎？
不是。它是一套研究與訓練資源，若要在手機上執行代理，仍需準備模型推論環境、裝置操作方式和目標 App 的整合條件。
Q2：開源代表模型、資料和程式都能自由商用嗎？
不代表。模型權重、程式碼、訓練資料和相依套件可能有不同授權，商用或部署前應分別檢查官方授權文件和使用條件。
Q3：基準成績能代表自己的手機和 App 嗎？
不能直接代表。品牌、系統版本、App 介面、登入狀態和地區服務都可能不同，應在實際目標環境做小範圍測試。
Q4：App 原生工具能讓代理跳過畫面操作嗎？
只有已整合的功能可以透過工具呼叫。研究中的購物流程仍需回到 GUI 確認並完成付款，其他 App 也不能假設有相同工具。
參考來源
- Yan C, et al. (2026). OpenMobile-2: Building Versatile Mobile Agents with Scalable Environments and App-Native Tools. *arXiv preprint arXiv:2610.14157
- OpenMobile-2 Research Team. (2026). OpenMobile-2: Building Versatile Mobile Agents with Scalable Environments and App-Native Tools. *Official project page
