Google 在 2026 年 11 月 19 日公布 Gemini Mac 電腦操作功能。代理能操作介面,距離完成工作還有多遠?Browserbase 與 Google DeepMind 的合作評測提供了一個實例:2025 年測試 Gemini 2.5 Computer Use,Online-Mind2Web 網頁任務在最多 50 步的條件下,成功率為 65.7%。這是舊版模型的瀏覽器評測,不能當成此次 Mac 功能的成功率。

此次 Mac 功能的一個示例是從本機 PDF 擷取重量、尺寸與地址,再填入多箱貨件的運費報價表。原本需要在文件與網站之間搬資料的工作,開始能交由 AI 代理接續操作。Google 官方公告同時列出地區與設備門檻。

但這裡要先問一個更前面的問題:你想交出去的是重複輸入,還是包含最後送出的整段流程?對台灣 Mac 使用者,先確認功能資格,再決定它能碰哪些資料,才有辦法評估是否適合使用。

Gemini Mac 電腦操作新增了什麼?

Google 表示,Gemini 可跨本機檔案、桌面 App 與網頁點擊、輸入及操作選單,串起部分多步驟任務。

這類 AI 代理,是能依目標接續執行動作的助理。讀取文件後回答問題,與開啟另一個程式、填入資料、修改檔案,影響範圍不同;後者會改變電腦或網站裡的狀態。

官方另外列出兩個示例。照片處理示例把批次調色交給設計軟體中的操作流程,輸出是經過處理的影像;簡報示例則從不同地區的即時儀表板取得指標與截圖,整理成 Google Slides。前者要核對影像與輸出位置,後者還要核對數字的時間點與地區。

連同 PDF 轉填報價,這三個示例都是 Google 公布的產品示例,未提供一般使用者的成功率、錯誤率或節省時間實測。它們呈現了不同的驗收問題:表格填對了嗎、照片有沒有改壞、簡報數字是否對得上來源。

另一個已執行的案例是 Google DeepMind 將 Gemini 2.5 Computer Use 放到 AndroidWorld 手機介面任務測試,2025 年模型卡記錄的結果為 69.7%。同一模型能在另一種介面執行任務,仍有未完成項目;手機、瀏覽器與桌面的操作條件應分開驗收,不能拿其中一種環境的數字替另一種背書。

若要把這種操作放進固定工作,可參考電腦操作代理如何驗證流程與授權。能完成一次操作,與能在自己的工作環境反覆交付正確結果,仍需要分別驗證。

台灣使用者現在能不能用?

截至 2026 年 11 月 19 日,Google 公告的推出範圍為美國、英文,不能據此認定台灣已開放。

官方列出的硬體條件是 Apple Silicon,也就是搭載 Apple 自家晶片的 Mac,以及 macOS Sequoia 15.0 以上版本。帳戶使用者須年滿 18 歲,並使用個人 Google 帳戶;說明中心另註明目前不適用工作或學校帳戶。

方案資格有一處差異:2026 年 11 月 19 日的產品公告列 Google AI Plus、Pro、Ultra;同日查閱的說明中心只列 Pro、Ultra。因此,Plus 是否具備資格仍須核對最新官方條件與帳戶入口,不能只憑公告中的方案名稱就認定已可使用。

這對台灣讀者的具體影響是:已經付費、電腦也符合規格,仍不能直接推定帳戶具備電腦操作資格。購買方案前應先查推出地區;已訂閱者則確認 Mac App 是否實際出現 Computer use(電腦操作)設定與任務入口。把介面改成英文,並不足以證明符合全部條件。

公告使用逐步推出的描述。功能是否出現在自己的帳戶,要以官方條件及 App 實際顯示交叉確認;不宜為了等待這項功能,先把正在使用的工作流程整套搬過去。

背景視窗能隔開操作,資料權限怎麼看?

使用者可選擇允許操作的 App、查看即時預覽、暫停任務,並核准關鍵動作;背景視窗主要讓代理工作與自己的操作分開。

Google 產品公告說明,使用者可以選擇 App、即時觀看步驟,並在關鍵動作發生前核准。(依官方公告意譯)

為什麼有背景視窗,仍要管資料?因為被允許的 App 本身可能已登入帳戶、開著文件,或連接其他服務。視窗與游標分開,不等於資料也只剩某一份測試檔;App 授權的範圍,需要沿著它能讀寫的內容往下看。

Google 說明中心提醒,程式編輯器與開發工具的授權可能帶來 shell execution(執行命令列指令)或更廣的檔案系統變更。若只是整理文件,不應順手把開發工具加入允許清單。含有公司機密、帳務、身分資料或醫療紀錄的環境,也不適合拿來試跑。

Google 說明中心警示,不受信任的畫面內容,可能誘使 Gemini 跨到其他已允許的桌面 App 採取動作。(依官方文件意譯)

因此,限制 App 數量與檢查其中資料要一起做。提示注入指的是把誤導指令藏在代理讀到的內容裡;即使任務從普通網頁開始,也要留意它是否突然要求開啟無關程式或傳送文件。遇到這種偏離目標的操作,就應停止核對。

桌面 App 連向可讀寫的檔案與已登入服務,程式編輯器另延伸至命令執行及檔案變更,關鍵動作設有人工作為核准點。
背景視窗只把操作畫面分開,App 可接觸的資料與服務仍須逐一檢查。

哪些任務適合交給 Gemini?

先選能還原、資料範圍小、結果容易逐項核對的任務;涉及付款、寄送、發布或刪除時,保留人工最後確認。

判斷要從流程、資料與責任三層開始。流程上,失敗能否退回原狀?資料上,需要開啟哪些文件與帳戶?責任上,誰確認結果並承擔送出後的影響?同一份表單,預填與提交就應拆成不同授權。

跨 App 任務的困難也有實測案例。Xie 等人在 2024 年的 OSWorld 研究建立 369 項真實電腦任務,涵蓋文件、網頁與檔案操作;當時受測代理的最高整體成功率為 12.24%,人類為 72.36%。研究指出,辨認正確操作位置與掌握軟體操作知識是主要困難。這是當年的基準結果,並非現在 Gemini Mac 的能力評分。

對個人工作流程,更有用的做法是把完成條件寫成能檢查的產物。例如整理副本時,先列出原始檔名與數量,完成後檢查輸出是否齊全、原檔是否保留;製作簡報時,逐頁保留資料來源與擷取時間。這樣才知道代理是完成了任務,還是只完成畫面上的幾個動作。

任務候選建議執行邊界完成後核對
整理非敏感檔案副本限定來源及輸出資料夾檔案數量、名稱、位置
跨 App 彙整資料、製作草稿分階段檢查,停在待確認狀態來源、欄位、日期與單位
付款、寄送、發布、刪除人工確認並執行最後一步金額、對象、內容與影響範圍

以運費表單為例,重量的公斤與公克、地址欄位的對應,都值得在預填後逐欄檢查。即使畫面顯示操作完成,也不能直接當成報價資料已驗收。這是依任務後果提出的使用建議,沒有把官方示例當成無人監督的承諾。

人工確認點要放在行動發生前。檢查一份尚未寄出的草稿,與事後發現附件寄錯,能採取的補救不同;可參考AI 代理外部操作的權限停損點,把中止位置寫進自己的任務流程。

開始使用前的五項檢查

先核對資格、縮小授權、準備可還原副本、設定人工確認點,再定義如何驗收結果。

  1. 確認功能資格:核對地區、語言、晶片、系統、年齡及方案,確認帳戶已有入口。
  2. 縮小 App 授權:只允許這次需要的程式,檢查其中登入帳戶與連結服務,避免預設長期允許。
  3. 先用副本測試:移除敏感內容,自行保留原檔;不要只依賴代理自動備份。
  4. 寫明停止位置:指定填完後停止,不付款、不寄送、不發布、不刪除;遇到額外授權先停下來。
  5. 核對交付與成本:逐項確認檔案及欄位,記下準備、監看、修正所花時間,再決定是否重用。

Google 說明中心表示,須先在 Computer use 設定啟用 Use on-demand file backups(隨需檔案備份),代理才會嘗試建立暫存備份;不保證每次成功,部分 App 內容也可能無法備份。重要檔案仍要自行備份;停止任務後,還要確認先前已做的修改,不能把「停止」視為復原。

五個依序相連的操作前檢查節點,未通過時回到人工檢視,外部操作前設有停止點。
先縮小可接觸範圍並設定停止點,再以原始資料驗收交付結果。
  • 台灣讀者先確認推出資格,再考慮訂閱與流程調整。
  • App 允許清單與背景預覽,都需要搭配資料範圍檢查。
  • 第一次只試一份可還原的非敏感副本,完成後逐項比對。

常見問題

Q1:已訂閱 Gemini,為什麼 Mac 沒有電腦操作?

付費只是條件之一,還有地區、語言、設備與個人帳戶限制;逐步推出也應確認自己的 App 是否已有入口。

Q2:在背景執行,就能完全不看嗎?

仍應監看任務是否偏離目標,並在對外送出前核對。預覽提供觀察機會,不會自動替使用者驗收內容。

Q3:允許程式編輯器有什麼額外風險?

依 Google 警示,可能延伸至命令執行與更廣的檔案修改。一般文件任務應避免給予不必要的開發工具權限。