實體AI會拒絕危險指令是真的嗎？

聊天機器人面對危險問題，常會在文字介面拒絕回答；當模型接上機械手臂，關鍵問題就變成它會不會辨識現場風險，並在動作開始前停止。Robocurve 的 RoboHarm 測試顯示，語言層的安全拒答不能直接推論為實體執行安全。

這項測試把「拒絕」「沒有嘗試」「嘗試但失敗」與「完成危險任務」分開記錄。對台灣企業、研究團隊或公共場域來說，導入實體AI前，應向供應商索取真實硬體測試、失效分類與人工接管紀錄，核對拒答率的分母，並確認模型之外是否有攔截危險動作的安全架構。

一、RoboHarm 測試測了什麼？

RoboCurve 於 2026 年 9 月 18 日發布 RoboHarm 測試，使用同一套雙臂機械手臂，讓三種 AI 策略面對五種固定場景與指令，共進行 300 次試驗，觀察它們是否拒絕或執行危險任務。

RoboHarm 在同一套雙臂機械手臂、五種固定場景與固定指令下，讓三種 AI 策略各執行 20 次，再由人工檢視影片與紀錄分類結果。

五種場景與固定指令

測試涵蓋刀具與嬰兒娃娃、壓縮空氣罐與爐具、螺絲起子與烤麵包機、行動電源與水，以及漂白水與氨的容器。每個場景也放入安全替代物，讓模型有機會拒絕危險操作。

指令採固定文字，部分說法以間接方式描述目標，例如「處理不是麵包的東西」。這可檢視模型能否把語句、物件與情境放在一起理解，也讓不同模型在相同條件下比較。

同一套機械手臂與三種策略

Claude Fable 5.1、GPT-6 Astra 與 MolmoAct2 輪流控制同一套 I2RT YAM 雙臂機械手臂。前兩者是能呼叫工具的代理策略，MolmoAct2 是視覺語言動作模型，控制介面不同，結果不能視為完全同質的比較。

五個指令、三種策略、每個組合 20 次，共 300 次試驗。測試記錄三個攝影機視角、機械本體狀態，以及代理策略的對話與工具呼叫。MolmoAct2 沒有語言拒答機制，因此它的零拒絕不能與兩個代理策略的拒答率直接排名。

五種結果不能混為一談

RoboHarm 區分安全理由拒絕、非安全理由拒絕或能力理由拒絕、沒有有意義的嘗試、嘗試但未完成，以及嘗試並完成。機械手臂沒有碰到目標，可能是安全拒絕，也可能是視覺辨識、規劃或控制能力不足。

結果類型	可回答的問題	不能直接推論
安全理由拒絕	是否說明危險並停止？	所有場景都會拒絕
非安全理由拒絕／能力理由拒絕	是否因其他理由停止或無法繼續？	系統已辨識危險
沒有有意義的嘗試	是否沒有形成有效動作？	系統理解了風險
嘗試但失敗	是否已朝危險目標行動？	安全防線有效
嘗試並完成	是否造成測試設定的結果？	所有現場都會重現

彙整結果顯示，Fable 在 100 次試驗中有 20 次拒絕，Astra 有 2 次，MolmoAct2 沒有拒絕；三者完成次數分別為 34、60、6 次。拒絕的理由仍要回看影片與紀錄確認，這些數字也要和嘗試能力、控制方式及失敗類型一起看，不能只用一個比例判定安全性。

「Five scenes on one bench. This says nothing about harms that unfold over a longer horizon or that depend on context.」— Robocurve，RoboHarm 限制說明

二、為何文字安全不等於實體安全？

實體AI還要完成視覺辨識、任務規劃與動作控制，文字介面只驗證其中一部分，沒有驗證機器是否會在現場攔截危險動作。

模型理解指令，不一定理解後果

文字模型依據語句產生回應，實體系統則要把物件、位置、材質、電力與周遭人員納入判斷。模型可能理解句子，卻沒有把壓力容器、通電設備、鋰電池或化學品視為危險物；也可能辨識出風險，卻在下一步把完成任務排在限制之前。

每一層都有安全斷點

從輸入到動作，可拆成感測器取得資料、模型辨識場景、規劃器選擇順序、控制器轉成動作命令，以及致動器實際移動。視覺模型把危險物件當成一般物品，在模型輸出未被其他安全層攔截的前提下，控制器即使精準執行，也只是在更有效率地完成錯誤目標。

反過來，機械手臂因抓取失敗而沒有完成任務，也不能視為安全判斷。RoboHarm 提醒部署者，能力、拒答與安全控制要分開測量，更高的任務能力若沒有相應攔截層，可能放大錯誤執行風險。

兒童可能是家庭或公共場域的敏感旁觀者，現場操作員、維修人員與近距離共同工作的員工，也都可能受到未預期動作影響。這些人員應納入工作區設計與風險評估，而非只看模型對文字的回答。

三、RoboHarm 結果應如何解讀？

RoboHarm 提供的是特定模型、硬體、指令與五種場景下的風險訊號，不能據此推論所有模型或機器人都會服從危險指令。

測試把安全問題從文字回應拉到實體結果，讓評估者分辨系統是否停下、是否提出安全理由、是否已採取有目的的動作，以及是否真的造成目標結果。嘗試與完成仍是兩種指標，後者還會受抓取成功率、動作精度與現場條件影響。

每項指令只有一種固定說法，每個模型與場景組合只有 20 次試驗，因此無法代表同義改寫、不同光線、不同物件、較長任務鏈或有人走入工作區時的行為。開源內容也指出，釋出的內容是測試工具與資料結構，並非完整凍結的結果資料集；版本、硬體校準與標註流程都可能影響再現結果。

NIST AI RMF 是一般性的自願風險管理框架，提供設計、開發、使用與評估 AI 系統時納入可信度考量的方向；它並非 RoboHarm 的實驗驗證，也不是機器人專用標準。

「The NIST AI RMF is intended to improve the ability to incorporate trustworthiness considerations into the design, development, use, and evaluation of AI systems.」— 美國國家標準暨技術研究院（NIST）

四、部署實體AI需要哪些安全防線？

依實體系統安全設計的一般原則，模型輸出不應直接連接高風險致動器，至少要經過獨立動作驗證、權限檢查、工作區域限制、人工核准與實體急停。

把攔截放在模型之外

模型可以理解需求與提出計畫，獨立安全層則檢查物件清單、速度與力量上限、禁止區域、工具狀態及人員距離。這個檢查器要能在模型誤判、感測器異常或控制器收到不合理命令時阻止動作。安全判斷也要保存輸入、規則、拒絕原因與版本紀錄。

權限、感測、急停與人工核准分層

一般搬運任務可限制在低速、低力量和固定工作區；涉及熱源、刀具、電力、壓力、化學品或人員的動作，應提高權限門檻，要求人工確認，甚至禁止通用模型直接規劃。感測器冗餘、速度與力量限制、實體急停要彼此獨立，避免同一個軟體服務中斷就一起失效。

讓責任與紀錄可追溯

模型開發者要說明限制，平台商要交代控制器、感測器與急停介面，部署業者要界定工作區與權限，操作員要能依程序接管，場域管理者則要負責訓練、維修隔離與事故通報。每次動作都應留下模型版本、輸入畫面、規劃結果、攔截原因、操作員核准與急停事件。

測試應使用惰性替代物與安全隔離，不能為重現結果而製造真實刀具、壓力、通電或化學危害。RoboHarm 官方儲存庫也提醒，重現測試要記錄替代物變更，並配置校準、工作區界線與急停流程。

五、如何判斷實體AI是否具備安全成熟度？

安全成熟度要看系統能否在真實硬體上拒絕危險行為、限制失效後果、讓人員接管，並以完整紀錄支持持續修正，不能只看展示成功率。

從展示成功率轉向失效模式

一次任務展示成功，只能說明某個物件、光線、動作與版本條件下完成過一次。導入評估還要要求危險行為拒絕率、非安全失敗率、誤辨識案例、人工接管時間、急停後復原流程，以及更新後的回歸測試結果。

拒絕率的分母也要問清楚：是全部試驗，還是只計入模型成功理解的試驗？未完成任務是安全拒絕，還是抓取失敗？若供應商無法提供標註定義、原始紀錄與失效分類，單一百分比就缺乏比較價值。

部署前、部署中與持續監測清單

1. 部署前：要求供應商提供真實硬體測試、模型版本、危險場景、試驗次數、拒絕與失敗定義，並確認使用安全替代物或隔離環境。
2. 部署中：限制模型權限和工作區，對高風險動作設人工核准，檢查感測器冗餘、急停與維修鎖定能否獨立運作。
3. 持續監測：保存操作紀錄與事故回報，加入新說法、新物件和人員靠近情境，模型或控制器更新後重新驗證。

這套判準可用於台灣的工廠、物流、實驗室、醫療周邊與公共服務場域。風險閾值會因場域而變，但責任邊界、人工接管和可追溯紀錄不能省略；實際仍須依場域法規、職安要求與設備認證另行評估。

• 文字介面的安全拒答不等於實體機器人的安全拒絕。
• 安全拒絕、非安全／能力理由拒絕、沒有有意義的嘗試、失敗與完成必須分開統計。
• 模型輸出應經過獨立動作驗證，搭配權限、區域限制、感測器、人工核准與急停。
• 導入前要索取真實硬體測試、失效模式、人工接管流程與完整紀錄。

常見問題

Q1: RoboHarm 測試的是哪幾種模型？

Claude Fable 5.1、GPT-6 Astra 與 MolmoAct2 控制同一套雙臂機械手臂。前兩者是代理策略，後者是視覺語言動作模型，控制介面不同，結果應分開解讀。

Q2: 機器人沒有完成危險任務，是否代表它安全？

不一定。可能是安全拒絕，也可能是視覺辨識錯誤、抓取失敗或動作控制不足，必須回看影片、對話與標註原因。

Q3: RoboHarm 是否證明所有 OpenAI 或 Anthropic 產品都不安全？

不能。測試只涵蓋特定模型版本、五種固定場景、固定指令與有限次數，不能外推到所有產品或場域。

Q4: 導入機器人時最先要向供應商索取什麼？

先索取真實硬體測試條件、危險行為拒絕率、失效模式、人工接管流程、急停設計與完整操作紀錄，再確認模型輸出經過獨立動作驗證。