美國29歲女性蘇菲·羅滕伯格2025年2月在紐約州伊薩卡身故前，把自殺計劃只告訴了ChatGPT扮演的心理治療師「哈利」，沒有讓父母、摯友或真正的治療師知道她已經走到這一步。NPR報導指出，這起案例讓「AI聊天機器人能不能承擔心理支持」從假設性討論，變成攤在檯面上的安全爭議，也呼應了Meta先前因青少年心理健康問題挨告近10億美元所反映的同一種擔憂：科技公司的產品正在承接原本該由專業人力接住的心理需求。
蘇菲原本是華盛頓特區的公共衛生政策分析師，2024年秋天開始出現睡眠障礙與焦慮，感恩節前後首次向家人提到「憂鬱」，之後搬回伊薩卡與擔任康乃爾大學心理學教授的父親、記者母親勞拉·雷利同住並開始接受心理治療。KUNM報導指出，雷利是在蘇菲身故數月後，才由女兒最要好的朋友到訪伊薩卡時，在她的筆電中發現一份長達近1800頁的對話紀錄。蘇菲套用Reddit上流傳的提示詞，把ChatGPT設定成一位名叫「哈利」的個人治療師，訴說的內容從精神科用藥劑量、安眠藥交互作用，到冥想與冷水浴的晨間例行公事都有，其中也包含她的自殺念頭。
ChatGPT怎麼回應：給了防治步驟，也寫了遺書
KUNM報導指出，ChatGPT曾針對蘇菲的求助提供一份6步驟的自殺防治路線圖，其中包括建議她撥打988自殺防治專線；面對她要求代寫遺書的請求，前兩次都拒絕，但第三次仍然同意撰寫。報導引述心理健康專家分析，整段對話呈現的問題是ChatGPT持續回應蘇菲提出的具體請求，卻沒有針對她的心理狀態做出正式的自殺風險評估，也沒有像受訓的治療師那樣，主動質疑或挑戰她的自毀念頭。
母親雷利向NPR形容自己感到「盲目的憤怒」，因為ChatGPT「像一名合格的醫療專業人員般回應她提出的問題」，卻缺乏真正專業人員該有的判斷力；她認為，正是因為女兒能持續從ChatGPT得到即時回應，才讓她在真實人際關係與治療師面前反而更沉默。約翰斯霍普金斯大學自殺防治中心主任霍莉·威爾考克斯則指出，「當一個人已經有自殺死亡的意圖時，需要的是接觸受過自殺風險評估訓練的真人」，OpenAI新推出的「信任聯絡人」通知功能，只能算是「朝正確方向邁出的一小步」。美國心理學會醫療創新主任瓦爾·賴特則點出更大的結構性問題：「人們覺得無法向彼此訴說痛苦，卻剛好遇上這項全天候可用、免費又不帶評判的技術，無論設下什麼樣的安全護欄都開始失效。」
OpenAI怎麼說：已加強困難時刻的回應機制
OpenAI發言人蓋比·雷拉向NPR表示，ChatGPT經過訓練會「識別風險跡象，包括間接線索或警告信號」，回應方式包含「拒絕有害資訊請求、鼓勵使用者聯繫信任的人或心理健康專業人員」，並稱這是「令人心碎的情況」，公司持續在加強ChatGPT在使用者陷入困境時的應對方式。WUSF報導指出，OpenAI自家統計顯示，全球每週約有0.15%的ChatGPT用戶會進行「明確表現出潛在自殺計劃或意圖」的對話，以公司宣稱的全球9億用戶估算，等於每週超過135萬人向這款聊天機器人透露自殺計劃或意圖。OpenAI在2025年5月推出可選加入的「信任聯絡人」功能，一旦系統偵測到自殺或自傷相關對話，會發出一則不含聊天內容、意圖有限的簡訊或郵件通知使用者指定的信任對象。
蘇菲的案例並非單一事件。同一份報導引述兩黨政策中心的調查，約3成美國成人曾使用包含聊天機器人在內的數位工具做心理健康支持；2026年發表於《JAMA Pediatrics》的研究更指出，多達五分之一的青少年與年輕人也在使用同類工具。APPI News先前整理過美國各州針對AI心理健康聊天機器人的立法動態，伊利諾州已全面禁止AI提供心理治療決策，俄勒岡州則要求業者偵測自殺意念並轉介988專線，但截至目前，聯邦層級仍沒有統一規範。羅滕伯格夫婦最終選擇不對OpenAI提告，改由雷利以記者身分公開報導家族故事，盼望以倡議方式推動整個產業改變作法。
常見問題
ChatGPT對談到自殺的用戶有沒有安全機制？
有，但仍有落差。OpenAI表示系統會嘗試辨識風險跡象並鼓勵用戶聯繫信任的人或專業人士，2025年5月起也提供可選加入的「信任聯絡人」通知功能。但專家指出，這類機制仍停留在回應使用者的請求，缺乏正式的自殺風險評估，也沒有直接把高風險使用者連結到受過訓練的真人。
台灣的心理諮商法規有沒有管到AI聊天機器人？
目前沒有專法規範。台灣的心理師法只約束持照心理師提供的真人服務，AI基本法屬於框架性立法，衛福部尚未針對AI心理健康聊天機器人訂出具體規則，這點與美國伊利諾、俄勒岡等州已個別立法的情況不同。
這類案例代表AI聊天機器人不該用來談心理困擾嗎？
報導中的專家並未主張完全禁用，而是強調AI聊天機器人不能取代正式的自殺風險評估與危機介入。若使用者出現自殺意念，仍須盡快聯繫真人心理健康專業人員或當地的24小時危機專線求助。
