很多產品團隊首先會問，AI答案是否正確、使用者能否更快完成任務。但還要檢視另一件事：使用者看到流暢答案後，能否察覺依據不足？2026年7月發布的一項研究以五項實驗、3,132名參與者，觀察AI建議如何影響暫不作答。在AI建議通常錯誤的電影細節題中，取得建議的參與者較少選擇「我不知道」，部分條件下正確率降低、信心上升。產品評估不能只看完成率或速度。

AI建議改變的，可能是人們何時選擇暫不作答

在研究使用的電影細節題中，能取得通常答錯的AI建議者較少暫停判斷，部分條件下作答信心也提高。這描述的是特定實驗中的行為，不代表每種AI產品都會產生相同結果。

五項實驗與3,132名參與者

參與者回答六道電影細節題，例如角色服裝或場景物件。這些細節不容易從常見網頁文字找到，研究者據此設計出AI大多答錯的建議，再比較可使用與不可使用AI的組別，藉此分開觀察AI可得性與建議可靠度。

五項實驗合計3,132人，其中四項事前註冊研究計畫，一項直接重複先前實驗。前兩項讓參與者自行決定是否查詢AI；後續實驗加入答對得分、答錯扣分等金錢誘因。最後一項則改為自動顯示AI建議，模擬使用者沒有主動詢問，介面仍把答案放在眼前的情況。每道題都能選擇不回答，因此研究者可以直接記錄「暫停判斷」的比例。

AI答錯時，作答、正確率與信心如何變化

在 Study 2 的無金錢誘因組，沒有AI的參與者答對比例約為28%，可取得AI建議者約為10%；平均信心則從29.6升至75.9。這是該實驗條件下的比較，並非研究團隊合併五項實驗所得，也不能當成一般生成式AI的準確率或日常使用者表現預測。

正確率與信心回答的是不同問題。正確率看答案是否符合事實，信心則是作答者對自己答案的主觀把握。若兩者朝相反方向變化，單看使用者是否更快作答，會漏掉錯誤答案伴隨高把握的情況。研究中的「暫停判斷」也有明確操作定義，指選擇不回答，不等於參與者在所有情境中失去辨識能力。

研究報告指出，在 Study 2 的無金錢誘因組，AI建議組的平均信心為75.9，沒有AI組為29.6；同一實驗的答對比例約為10%與28%。

兩個並列長條圖分別比較無 AI 組與 AI 建議組的答對比例及平均信心。
Study 2 無金錢誘因組中，取得 AI 建議者答對比例較低，平均信心卻較高。

流暢答案與信心判斷：研究結果和設計假說

研究結果提示，AI答案的可得性可能改變人們認定「我已經知道得夠多」的門檻。流暢表達、即時呈現或介面預設答案，都是值得在產品情境中檢驗的因素，研究尚未證明其中哪一項是唯一成因。

信心、正確率與「我知道」是不同指標

另一項 CHI 2024 同儕審查研究《Are You Really Sure?》把焦點放在使用者自身的信心校準，研究團隊比較三種校準機制，並檢視信心判斷與採納 AI 建議是否恰當的關係。研究報告顯示，校準使用者信心在部分面向有助於提升人機團隊表現與較合理地依賴 AI；這補充了對「暫不作答」的觀察，也提醒介面評估要看信心與實際表現是否相稱。

「我知道答案」包含至少兩層判斷：先產生一個答案，再決定證據是否足以支持自己提交答案。信心校準（confidence calibration）指主觀信心與實際正確程度是否相稱；只讓使用者替答案打信心分數，並不會自動讓分數更準。當介面提供完整句子、語氣肯定的AI建議，使用者可能把答案的完整度當成可信度線索。這是依研究結果提出的解釋方向，仍需要其他設計與行為資料驗證。

論文也指出，能暫緩作答是一項獨立行為，不能只用「有沒有採納AI答案」代替衡量。有人可能不照單全收，卻仍因為看到建議而急著猜答案；也有人可能採納可信且可查證的建議，並沒有不當依賴。產品評估應把是否尋求建議、是否採納、是否保留疑問，以及最後答案是否正確分開記錄。

研究結果支持AI可得性與暫停判斷減少之間的關聯，但沒有直接測試文字流暢度是否造成這種變化。把流暢表達、答案預設顯示或完整句式視為可能機制，是產品團隊可檢驗的假說，不能當成已由這五項實驗證實的因果。信心升高不代表能力提升，回答變多也不代表資訊品質變好。

研究摘要指出，加入準確率獎懲後，參與者整體上較少尋求和跟隨AI建議，答案也較準確；暫停判斷的變化則因實驗而異，Study 2 未顯著增加，Study 3 才觀察到增加。

研究結果支持哪些解讀，哪些仍待驗證

可以直接從實驗支持的結論是：在這些困難題目與錯誤建議的條件下，能使用AI的參與者較少選擇不回答；在不同研究中，即使建議改為自動顯示，這個方向仍然出現。研究也觀察到，獎懲效果因實驗而異：Study 2 中，準確率誘因沒有顯著提高暫停判斷；Study 3 則觀察到增加。這些結果不支持把誘因效果概括為每項實驗都能促使參與者暫停判斷。

不能由此推論所有使用者都會過度自信、所有AI建議都會降低正確率，或只要加入信心提示就能避免錯誤。研究測試的是刻意挑選、讓特定AI常答錯的電影細節題，並非醫療、法律、財務或一般工作任務。它是一篇2026年7月發布的 arXiv 預印本，頁面列有提交日期與版本資訊，並未顯示已經同儕審查。產品團隊應把它當成待驗證的設計風險，而非已確立的通用定律。

AI產品設計如何保留查證與暫停空間

介面可讓使用者先形成自己的判斷，再選擇查看AI建議，並提供暫不採納、暫緩作答、查閱依據及轉交人工覆核的路徑。這些是根據研究風險推導的設計選項，效果要在實際任務中測試。

提供暫不採納、查來源與轉交查證的路徑

如果AI建議一進頁面便完整顯示，使用者可能先接觸答案，再回頭判斷是否相信。團隊可比較「先獨立輸入初步答案，再選擇開啟AI建議」與「AI建議預設顯示」等流程，觀察兩種呈現對查證行為與答案品質的影響。研究第四項實驗正是將建議改成自動顯示，發現參與者仍較少暫停判斷；因此，是否預設展示AI建議應列入介面測試。

查看來源的入口也需要足夠具體。若答案引用文件、資料庫或規範，介面可標出對應段落、版本或日期，讓使用者能核對關鍵主張。來源連結若只通往首頁，或使用者無法得知某段答案依據哪份資料，便很難查明錯誤來自過期內容、模型推論或輸入資料。查來源不會保證答案正確，但能讓驗證有可操作的起點。

「暫不採納」與「我還不能判斷」也應是可見的操作，而非藏在次要選單裡。高影響決策流程還要能轉交指定人員覆核，記錄誰負責確認、錯誤如何回報、修正後如何通知受影響的人。若AI建議用於資格審核或財務作業，預設顯示建議可能影響使用者是否停下來核對；這項研究沒有評估這些場景的成效，團隊仍須檢視來源可追溯性、人工覆核角色與錯誤處理流程。

用正確率、信心與棄答共同評估

只追蹤回答完成率或平均處理時間，容易把「多答了幾題」當成品質提升。可將答案正確率、信心與暫停判斷比例並列，再依產品任務增加來源開啟率、人工覆核率、錯誤後更正率等指標。不同任務要事先定義正確答案或可接受的判準，也要說清楚信心分數如何詢問，否則各組數字難以比較。

評估面向可觀察的問題常見誤讀
正確率答案是否符合可核實的標準？回答更快就等於更準
信心校準不同信心區間的實際正確率是否相稱？信心高就代表證據充分
暫停判斷使用者能否選擇不回答或延後決定？棄答率愈低，體驗愈好
查證與覆核使用者是否能追溯依據、找到負責覆核者？顯示來源就代表查證完成

如果用獎金、分數或績效要求鼓勵正確，還要觀察它怎麼改變使用者尋求及採納建議的方式。部分實驗中，金錢誘因讓參與者較少查詢AI、答案較準；暫停判斷的變化則不一致，Study 2 未顯著增加，Study 3 才增加。即使在出現增加的實驗中，有AI時暫停判斷仍少於沒有AI的組別。獎懲可作為一種測試條件，不能當成單獨的防錯機制。

團隊可用同一批任務對照「AI預設顯示」與「使用者主動開啟」兩種流程，再把正確率、信心、暫停判斷與查證行為放在同一張評估表。若任務涉及多種結果或人工覆核方案，也應比較各自的依據可見性、處理時間及錯誤後續責任，避免只挑互動率最高的版本。

  1. 先界定任務中什麼算正確、錯誤和暫不作答。
  2. 比較AI預設顯示與使用者主動開啟時的正確率、信心及暫停判斷比例。
  3. 抽查高信心錯誤答案，確認使用者能否找到依據或轉交人工覆核。
  4. 依任務風險調整提示、覆核角色與錯誤回報流程，再重測。
流程圖比較先自行判斷再開啟 AI 建議與預設顯示建議兩種路徑，並連到查來源、暫緩或人工覆核。
先形成自己的判斷再開啟建議，能把查證與暫緩決策安排在提交之前。

把設計放回實際任務與風險

不能直接套用。研究提供的是一個需要在產品中檢查的行為風險，實際影響會隨任務、答案可靠度、使用者經驗、介面與錯誤後果改變。

不同工作流程需要不同的查證門檻

知識查詢工具可先測試來源是否容易開啟、使用者能否分辨答案與引用證據；寫作助理可觀察使用者是否把生成內容當成已查證事實；若AI輸出進入排班、資格審核或健康建議等高影響流程，則要明確指定誰能覆核、誰能暫停自動處理，以及錯誤影響如何補救。這些是從研究提示延伸出的產品檢查方向，不是該研究對上述場景所做的成效證明。

團隊也要檢查資料和流程條件。來源是否更新、使用者能否看見版本、不同角色是否有相同的覆核權限、錯誤訊息是否回流到維護流程，都會影響設計是否能實際運作。單靠模型加上一句「請自行查證」，很難補上來源不清、時間不足或責任未定的流程缺口。

研究限制與產品驗證方式

研究使用六道電影細節題，且AI建議經過刻意設計而通常錯誤。這種設計有助於測出錯誤建議出現時，AI可得性與暫停判斷的關係，卻無法告訴團隊在特定產品中該採用何種介面，也沒有比較多種查證設計的成效。研究者也觀察到金錢獎懲影響部分行為，表示使用者的選擇會受到任務規則影響，但不能推論任何獎懲機制都能維持謹慎。

產品驗證時，應挑選符合實際工作的任務，讓使用者在AI建議可用與不可用、預設顯示與主動開啟等情境下完成相同類型的工作。觀察答案品質，也記錄使用者何時查來源、何時選擇不回答，以及高信心錯誤有沒有被發現。涉及敏感或高影響決策時，還需確定人工覆核流程能承接錯誤，而非只在介面上放一個按鈕。

產品問題很具體：AI輸出進入流程後，使用者能否承認依據不足，並知道找誰確認？把它納入評估，再依任務風險測試正確率、信心和暫停判斷，才能辨別「更容易完成」是否代表「更可靠」。

  • 五項實驗、3,132名參與者的預印本研究發現，取得AI建議後，參與者較少選擇暫不作答；刻意錯誤的建議條件下，正確率下降而信心上升。
  • 研究題目是電影細節，結果不能直接代表日常AI產品或高影響任務。
  • 評估AI介面時，同步檢視正確率、信心、暫停判斷、來源查核與人工覆核，並在目標情境重測。

常見問題

Q1：這項研究證明所有AI使用者都會過度自信嗎？

沒有。研究只支持特定實驗條件下的結果：參與者能取得常答錯的AI建議時，較少暫停判斷，部分條件下信心也提高。不同模型、任務、使用者與介面需要另外測試。

Q2：產品加入信心提示就能改善判斷嗎？

目前不能由這項研究得出這個結論。信心提示可作為待測介面選項，仍要檢查使用者是否理解分數、分數是否對應正確率，以及錯誤時是否能查證或轉交覆核。

Q3：團隊應追蹤哪些指標？

至少把答案正確率、使用者信心與暫停判斷比例一起觀察。依任務再加入來源查核、人工覆核、錯誤更正與後續影響等指標，並分開比較AI建議的呈現方式。