Google Threat Intelligence Group(GTIG)9月8日公開報告指出,威脅行為者已在實際入侵活動中濫用 Gemini,讓 AI 助手進入攻擊工作的執行鏈。Google表示,相關觀測已用於停用帳號與資產,並強化安全分類器及模型本身的拒答能力。企業現在該盤點的是 AI 的權限、網路邊界與稽核責任,這也延伸出前沿模型的授權門檻與企業治理問題。

Google這次揭露了什麼
GTIG描述的變化,是威脅行為者從單純詢問模型,進一步把 Gemini 放進實際入侵活動的多個工作階段。報告同時保留一個重要界線:截至這份報告,GTIG尚未觀察到威脅行為者在野外部署完全自主的攻擊管線。因此,這次公開揭露能確認 Gemini 已被用來加速真實行動,不能直接推成攻擊者已能靠 AI 獨立完成整起入侵。Google原始報告把這些案例放在 AI 代理化與自動化程度上升的脈絡中。

Google採取的修補與防護
Google公開的處置分成三層。第一層是停用與威脅行為相關的帳號、專案或其他資產,降低持續濫用的空間;第二層是把威脅情報回饋到安全分類器與模型訓練,讓 Gemini 對同類型的惡意要求拒絕提供協助;第三層是持續做紅隊測試與平台端防護,並將 Gemini、威脅情報與自動修補能力整合進面向企業的 AI Threat Defense。這些措施顯示,模型拒答仍要搭配帳號控管、平台監測與事件處置,單一防線撐不起完整防護。Google對企業 AI 防護的架構說明也建議把 AI 能力放在確定性控制與人工判斷旁邊。

企業端先做四件事
企業可以把這次事件轉成四個可驗收的控制點,並參考本站整理的第三方整合與長期權杖資安盤點:
- 隔離測試環境:AI 測試區預設不連公開網路,必要的連線採明確白名單,測試名稱、網域與資料不能碰到真實企業資產。
- 收斂權限與憑證:每個模型、代理與工具使用獨立身分,採最小權限、短效憑證與分環境管理,禁止共用長期 API 金鑰。
- 把高風險動作交給人核准:外部傳送、資料匯出、權限變更、建立雲端資源等動作,先停在人工確認點,保留可追溯的決策紀錄。
- 監控使用與異常成本:記錄模型請求、工具調用、網路出口、帳號活動與雲端用量,設定異常告警;發現可疑活動時,先撤銷憑證、隔離資源,再進行事件調查。

這四項控制可接到 NIST AI Risk Management Framework 的 Govern、Map、Measure、Manage 循環。Google的企業指引也把確定性控制、人工判斷與 AI 能力並列,企業可先針對能接觸敏感資料或執行外部動作的 AI 工具建立清冊,再逐一標出負責人、允許範圍、核准條件與撤銷方式。這份清冊比單純宣布「公司可以用 AI」更接近能落地的資安管理。NIST的 AI 風險管理框架則將設計、部署、使用與測試都納入風險管理範圍。

常見問題
Google說的「用Gemini協助攻擊」代表Gemini已能全自動入侵嗎?
不代表。GTIG已觀測到威脅行為者在實際入侵活動中濫用 Gemini,但同一份報告表示,當時尚未看到野外完全自主的攻擊管線。Google 9月報告的證據範圍應照這個界線閱讀。

Google做了哪些修補?
Google表示已停用與相關活動連結的帳號及資產,並把觀測結果回饋到安全分類器與模型,讓 Gemini 拒絕協助同類型的攻擊要求。公司也持續採用紅隊測試、平台監測與企業端防護,官方威脅情報報告列出這些處置方向。

企業現在該先做哪幾件事?
先把 AI 測試環境與正式環境隔離,收斂模型和代理的權限,讓資料匯出及權限變更停在人工核准點,並記錄模型、工具、帳號與雲端用量。企業可用NIST AI 風險管理框架實作手冊建立清冊與責任分工,再依實際用途設定告警和撤銷流程。

參考來源
- GTIG AI Threat Tracker: From Prompting to Autonomy (Google Threat Intelligence Group)
- GTIG AI Threat Tracker: Advances in Threat Actor Usage of AI Tools (Google Threat Intelligence Group)
- A Blueprint for AI-Assisted Vulnerability Management (Google Cloud Mandiant Consulting)
- AI Risk Management Framework (National Institute of Standards and Technology)