AI 聊天機器人有時候會用非常肯定的語氣,說出根本不存在的事實,這種現象叫做 AI 幻覺(AI hallucination)。根本原因在於訓練與評分方式本身鼓勵模型用猜的,不鼓勵它承認不知道,模型並沒有真的故障。台灣衛福部 2026 年 5 月已要求醫療機構導入生成式 AI 時,主動揭露這個風險並提醒病人不要照單全收。
AI 幻覺是什麼
AI 幻覺指語言模型用流暢、自信的語氣生成一段聽起來合理、但實際上錯誤或憑空捏造的內容,模型本身不會顯示任何不確定的訊號。OpenAI 研究團隊 2025 年 9 月發表的論文指出,這類錯誤在統計上是自然產生的:只要正確與錯誤的陳述在語言模式上難以區分,幻覺就會在預訓練階段浮現,屬於整類生成式模型共享的結構性限制,而非單一模型設計得不夠好。
論文用考試作答來比喻這個現象:「像面對困難考題的學生一樣,大型語言模型有時候會在不確定的時候用猜的,生成看似合理但錯誤的陳述」。作者舉了一個具體案例:研究人員請一個公開釋出的語言模型回答論文作者之一 Kalai 的生日,而且明確要求只在確定的時候才回答,模型連續三次給出三個不同、而且全部錯誤的日期。這代表模型不是不知道自己可能答錯,是整套訓練機制沒有給它「說不知道」的誘因。
幻覺是怎麼被「訓練」出來的
問題出在怎麼幫 AI 模型打分數。論文指出,主流評測方式對答案採用二元評分,答對得分、答錯不得分,模型若誠實承認不知道反而拿不到分:「在二元評分下,棄權永遠是次優選擇,過度自信的『最佳猜測』才是最優解」。這跟考生面對選擇題的心理很像,寧可猜一個答案賭運氣,也不要交白卷,因為空白永遠是零分,亂猜至少有機會答對。
研究團隊也提出具體改法:把評分規則從單純的「答對得分、答錯不得分」,改成依信心門檻設定懲罰,例如信心門檻設在 0.75 就倒扣 2 分、設在 0.9 就倒扣 9 分,答對則固定得 1 分,門檻愈高,答錯的代價愈重,模型才有動機在真正不確定時選擇不答。他們主張不必另外設計新的測驗,只要把信心門檻放進既有、已經在用的主流評測,就能重新調整模型被訓練去追逐的目標。目前這仍停留在論文提出的理論方案,還沒有主流評測機構正式採用。
問 AI 健康問題,幻覺有多常見
這套機制在健康資訊查詢上特別容易出事,因為使用者通常缺乏足夠背景知識去識破一段聽起來很專業、實際上錯誤的回答。來自美國、加拿大與英國的研究團隊 2026 年 4 月在《BMJ Open》發表研究,測試 ChatGPT、Gemini、Meta AI、Grok、DeepSeek 五個聊天機器人,針對癌症、疫苗、幹細胞、營養、運動表現五大類別各提出開放式與封閉式問題,結果半數(50%)回答被判定有問題,其中 20% 屬於高度有問題。Grok 產生高度有問題回答的比例最高,達 58%(29/50),Gemini 表現相對最佳。
更麻煩的是引用來源本身也靠不住:研究發現所有聊天機器人的參考文獻完整度中位數只有 40%,沒有一個模型能針對任何一題提供完整且準確的參考文獻清單,原因正是幻覺與捏造的引用。也就是說,就算使用者想點連結查證,連結指向的文獻本身也可能是編出來的,光靠「有附來源」判斷可信度並不安全。
台灣現況:衛福部要求醫院主動揭露
衛福部 2026 年 5 月 29 日公告「醫療機構應用生成式人工智慧指引」(文號:衛部醫字第1151663164號),適用對象是預備導入或已經導入生成式 AI 的醫療機構,把 AI 幻覺列為六大風險之一。另外五項風險分別是基礎模型本身的訓練風險、外部資料來源品質風險、提詞攻擊造成的資安攻擊風險、醫事人員過度依賴 AI 導致臨床判斷力下降的使用者依賴風險,以及雲端服務中斷或供應商政策變更造成的服務中斷風險。
在揭露義務上,指引要求醫院主動揭露並提醒民眾不要照單全收 AI 生成的內容,幫助民眾理解這些資訊僅供參考,避免因為誤信錯誤資訊延誤真正需要的醫療需求;若 AI 工具具備錄音或錄影功能,必須事先明確告知病人,病人拒絕就要停止使用。這是台灣第一次把「AI 幻覺」寫進具名的醫療機構治理文件,而不是只留在技術圈內部討論。
一般人與企業該注意什麼
對一般讀者而言,BMJ 的研究結果給出一個直接的自保方法:聊天機器人給的參考文獻清單,完整度中位數只有四成,拿到 AI 的健康建議之後,先點開它附的來源連結,連結打不開或內容對不上原文,就代表這段回答不能直接採信。涉及診斷、用藥劑量、禁忌症這類高風險內容,AI 的角色最多是幫忙整理問題方向,不能取代醫療人員的判斷。
對企業或平台開發者而言,OpenAI 研究團隊的建議是從評測與獎勵設計下手,單純加大模型規模不會改變猜測比誠實划算的誘因結構。落地做法包括在系統提示明確要求模型在不確定時說明信心程度、用檢索增強生成搭配可信文件庫,並在醫療、法律、財務這類高風險場景保留人工複核這一關,不把 AI 輸出直接當成最終答案。衛福部的指引也把指派主責單位辨識風險、導入前完成資安與個資保護評估,列為醫療機構導入前的核心原則,邏輯是同一套:先假設 AI 會犯錯,再設計攔截機制。
常見問題
AI 幻覺是模型故障或程式錯誤嗎?
不是。OpenAI 研究團隊指出,只要正確與錯誤的陳述在語言模式上難以區分,幻覺就會在預訓練階段自然浮現,這是整類生成式模型共享的統計性限制,不是單一產品的程式錯誤,也無法靠修補程式碼解決。
加大模型規模或增加訓練資料,能解決 AI 幻覺嗎?
不能徹底解決。論文指出問題根源在評測與評分機制鼓勵模型猜測而非承認不確定,模型愈大只會愈擅長生成流暢、有說服力的錯誤答案,除非評分機制本身改變,否則誘因結構不會變。
問 AI 健康問題安全嗎?
要看用途。《BMJ Open》2026 年研究發現五個主流聊天機器人回答健康問題,半數被判定有問題,參考文獻完整度中位數僅 40%,拿來初步整理問題方向可以,但診斷、用藥、禁忌症這類決策仍需要醫療人員把關,不能只靠 AI 的答案。
台灣醫療院所現在有規範 AI 幻覺揭露嗎?
有。衛福部 2026 年 5 月 29 日發布「醫療機構應用生成式人工智慧指引」,把 AI 幻覺列為六大風險之一,要求醫院主動揭露並提醒病人不要照單全收 AI 生成內容,但這份指引僅適用於醫療機構,一般消費性聊天機器人的健康問答不在規範範圍內。
參考來源
- Why Language Models Hallucinate(arXiv / OpenAI)OpenAI 研究團隊論文,說明幻覺為何是訓練與評分機制下統計上自然產生的結果,並提出信心門檻式評分改革
- Substantial amount of medical information provided by popular chatbots inaccurate and incomplete(BMJ Group)《BMJ Open》2026 年 4 月研究新聞稿,五個聊天機器人回答健康問題近半數有問題,參考文獻完整度中位數僅 40%
- 醫療機構應用生成式人工智慧指引(衛生福利部)2026 年 5 月 29 日公告(文號:衛部醫字第1151663164號),列出六大風險與三階段導入原則
- 衛福部生成式AI使用指引 醫院需主動揭露避免「AI幻覺」延誤就醫(聯合新聞網)說明指引中對醫院揭露義務與病人知情權的具體規定
- 衛福部首發醫療GenAI指引 六大風險、九項要點建立治理框架(環球生技月刊)逐項列出六大風險類型與三階段導入原則