5 個 AI 評測線索，判斷政治敏感回答可信度

很多人第一個會先想到，AI 回答流不流暢、語氣夠不夠中立，可以用來判斷可信度。但遇到政治敏感問題，還要往前檢查：模型有沒有回答原問題、重要資訊是否被略過、答案把哪些說法當成前提。Aleph Alpha 近期公布的 benchmark（基準測試）觀察到，部分受測中國開放權重模型在特定政治提示下複述特定立場、轉移問題或拒答。這提供了檢查模型輸出的線索，並不構成涵蓋所有模型與情境的可信度排名。

政治敏感問題中的模型偏誤，不能只靠一句「有沒有答對」判斷。拒答、資訊遺漏、事實錯誤和立場表述是不同現象；評測分數也取決於題目、版本、評分規則與來源。要把研究觀察轉成使用者能採取的做法，先把輸出拆開看，再把查核過程留下可重現的紀錄。

一、回答流暢，不代表問題有被完整回答

先看答案是否直接處理提問、提供可核對的事實與來源，再判斷是否有複述立場、迴避或拒答；語氣自然與否不能代替內容查核。

評讀時至少要區分四種狀況。此處的立場陳述特指 Aleph Alpha benchmark 中「複述中共立場（echoes CCP framing）」這個回答類別，不代表所有政治主張，也不能據此推論模型動機。第二是迴避或轉移：看似提供不少文字，卻改答相鄰議題、概括帶過爭議，或只引導讀者前往單一來源。第三是拒答：明確表示無法協助或不提供內容。第四是事實錯誤或遺漏：缺少關鍵資訊，或陳述與可查資料不符。

這幾類不能混為一談。拒答可能出於安全設計、產品政策、法律限制或其他原因，單憑拒答文字不足以判定模型說謊，也不能直接證明政治審查。反過來說，模型沒有拒答，也不代表答案完整；流暢的段落可能省略關鍵背景，或把帶有爭議的主張寫成無須查證的定論。

可從問題中的要求逐項對照回答：是否說明時間與地點？是否交代不同來源的說法？是否把政府立場當成已獲獨立驗證的事實？若提問要求列出證據，回答是否提供可追溯的原始文件？如果只回答其中一部分，就記下缺漏，再另外查證。這比把「語氣客觀」當成可信度指標更有操作性。

二、967 題評測觀察到什麼，又沒有證明什麼

該 benchmark 將六款受測中國開放權重模型對 967 個政治敏感提示的回答中，17% 至 41% 評為平衡；數字只代表這組題目、指定模型版本與該評分方式下的觀察。

Aleph Alpha 說明，研究團隊先人工挑選 56 個主題，再以 GPT-OSS 120B 生成相關提示，經過品質篩選後形成 967 題。模型回答交由同一個大型語言模型（LLM）評分器分類，類別包括複述中共立場、平衡回答和拒答。這是廠商公布的 benchmark 結果，適合用來了解測試如何操作，以及受測答案呈現哪些差異；不能把 17% 至 41% 當成各模型在所有政治問題上的總體可信度。

分數差異也說明拒答與立場陳述要分開看。Aleph Alpha 表格依序列出「複述中共立場／平衡回答／拒答」比例：DeepSeek V4 Pro 0813 為 16%／18%／66%，Kimi K3 為 40%／41%／19%。這些數字只對應各自的測試版本與提示集，不能單獨推導產品整體可信度；模型版本、服務設定或提示語言改變，結果也可能不同。

Aleph Alpha 研究說明，經品質篩選後的最終資料集包含 967 個提示（中文意譯）。解讀結果時，應連同題目生成與答案分類方式一起看。

Jennifer Pan、Xu Xu 發表於 PNAS Nexus 的另一項學術研究，使用 145 個政治問題，比較中國來源與非中國來源的基礎模型。研究以拒答率、回答長度和回答準確性等指標進行比較，並報告政治敏感題目上模型輸出存在差異。這項研究與 Aleph Alpha 的 benchmark 在題目、模型樣本、測量指標及評分程序上都不同，兩者不能合併數字，也不能視為互相重複驗證同一個分數。

兩種研究各有測量邊界。Aleph Alpha 的題目主題由人工挑選，部分提示由模型生成，答案分類使用 LLM judge，也就是由另一個語言模型依規則判讀答案。判讀結果可能受分類指引、樣本選擇與模型能力影響。研究發布者 Aleph Alpha 同時是模型業者，並在市場上提供主權 AI 產品，具有商業利益；這不會自動使數據無效，但讀者應把發布者身分納入來源評估，並優先查看方法和原始結果。

PNAS Nexus 研究也明確指出，它採用觀察性、橫斷面設計，無法從結果單獨建立監管壓力與模型輸出間的因果關係。兩份研究可以提示評測者進一步調查，但無法僅憑輸出差異確認，是訓練語料、後訓練調整、內容治理、產品政策或其他因素造成特定答案。它們也沒有測遍每家公司的全部模型、語言、版本、產品設定與使用者情境。

「我們的研究屬於觀察性、橫斷面研究，無法建立監管壓力與中國來源大型語言模型審查行為的因果連結。」— Pan 與 Xu，研究摘要中文翻譯

三、政治敏感問題上的回答限制可能從哪裡形成

訓練資料、後訓練調整、內容治理與產品規則都可能影響輸出；現有單一 benchmark 只能觀察結果，不能證明其中某一項是唯一成因。

大型語言模型會從訓練資料中學習語言模式與知識，也可能在後續調整中被訓練成遵守特定指示、偏好某種回答方式或拒絕某些請求。實際產品還可能加上系統提示、內容過濾、所在地區規範和服務政策。這些層次共同構成使用者看到的回答，單看一段輸出，通常無法辨認是哪個環節起作用。

研究者可以透過控制條件縮小可能原因，例如比較相同模型在不同語言、不同敏感度題目或不同版本下的輸出，並在可行範圍內控制提示與參數。即使觀察到某類問題的拒答率較高，也需要檢視樣本是否可比、模型是否使用同一服務設定、評分者如何定義拒答，以及不同回答是否具有同樣的安全風險。比較結果是因果研究的起點，不是因果結論本身。

使用者可把原因問題轉成較務實的產品評估：供應商是否揭露模型名稱與版本、使用政策、已知限制、更新紀錄，以及評測方法？是否能說明哪些請求會拒答、如何處理不確定內容、答案引用從何而來？若這些資訊不透明，外部使用者就更難重現差異、定位錯誤，也難以判斷模型是缺少資料、限制回答，還是只是生成了錯誤答案。

這種辨認能力對不同群體都重要。政治立場是敏感議題，模型輸出應歸屬於特定模型或服務，不應延伸成對政府、企業、模型開發者或一般民眾的群體刻板印象。受測結果描述的是指定題目上的系統行為，不能替任何族群下判斷。

四、如何設計 AI 回答的交叉查核

固定提示並記錄模型名稱、版本與測試日期，再將同一問題交給不同來源比較，最後回查原始文件與可追溯資料，逐項標示事實、來源和缺漏。

1. 保存測試條件。 記錄服務與模型名稱或版本、日期、介面或 API、提示原文及可見參數。若沒有公開版本號，記下產品標示，不猜測底層模型。
2. 讓比較條件一致。 對不同模型提出相同問題，避免提示帶入立場。政治議題可拆成主要說法、官方文件、反方證據與未確定資訊；提示有變動就保留各版。
3. 追問來源，不把模型自述當證據。 要求文件名稱、發布者、日期與原始連結，再自行核對標題、段落及引述。網址可能不存在或無法支持答案，格式完整也不代表來源真實。
4. 分欄檢查回答。 分開記錄可查事實、解釋、立場主張和拒答理由。事實回查可靠來源，立場標明說話者，遺漏對照原問題；拒答則保留措辭與前後文，不直接算成錯誤。
5. 保留不一致與不確定性。 模型答案不同時，追查爭議主張、來源或定義；證據未定就保留不確定性，不以多數決定真偽。重大議題另查原始文件、研究或具編輯責任的報導。

這套流程也能用於產品評估：先依用途選題，定義完整回答、拒答及可接受來源，再由人工抽查自動評分。內部測試可保存提示、輸出與查核依據；涉及個資或機密時，先確認資料能否交給外部服務。

五、依使用情境決定查核深度

查核深度應跟著錯誤的影響程度提高：一般背景資訊核對核心事實與來源，公共議題檢查脈絡和不同說法，重大決策回查一手資料並交由適當人員審閱。

整理名詞或搜尋線索時，抽查定義與來源；公共議題或群體描述則確認事件時間、原始引述、資料範圍及不同說法。新聞、政策、法律等高影響用途，回查原始資料並由負責人員審閱。

涉及選舉、政策修訂、司法程序或發展中事件時，先確認資料日期與發布機關。多語服務也應記錄提示語言，避免把單一語言的結果推廣至所有使用情境。

產品團隊若揭露模型版本、評測日期、提示範圍、評分者、分類定義與已知限制，使用者較能理解結果適用範圍，提升模型行為的可解釋性。只公布總分，無法判斷結果能否套用到自身用途。

• 政治敏感回答應分開檢查立場陳述、迴避、拒答和事實錯誤或遺漏。
• benchmark 數字只適用於該題目集、模型版本、提示設計與評分方式，不能直接代表所有產品情境。
• 記錄模型與日期，使用相同提示比較來源，再回查原始資料；影響越大，查核越需可追溯並由適當人員負責。

常見問題

Q1：模型拒答代表答案不可信嗎？

不一定。拒答可能來自安全政策、產品規則、法規要求或其他限制；拒答本身不能證明模型提供了錯誤資訊。可以記下拒答內容，另以可靠來源查找問題所需資訊，並觀察不同版本或服務是否有一致的拒答規則。

Q2：不同模型答案不一致時，應該相信哪一個？

不要用模型數量投票。把爭議拆成可查核的具體主張，回查原始文件、研究或具編輯責任的資料來源；如果證據仍不足，就保留不確定性並說明分歧來源。

Q3：Aleph Alpha 的評測分數可以代表所有使用情境嗎？

不能。該結果對應特定的 967 個提示、受測模型版本與 LLM judge 分類方式。它可以提示哪些輸出值得檢查，不能直接推論其他版本、所有中國模型或日常產品使用中的整體可信度。

Q4：怎麼比較模型更新前後的回答？

固定提示與可控制的設定，記錄模型版本或產品標示及測試日期，再對照答案是否出現新增的拒答、資訊遺漏、立場陳述或來源變化。若服務沒有公開版本號，應註明版本資訊不可得，不能把無法辨識版本的比較當成可完全重現的測試。