如何驗收開源報告生成模型：AstaBrief 導入前檢查指南

AstaBrief 是 Allen Institute for AI（Ai2）公開的研究報告生成模型，以 Qwen3-8B 為基礎，接收研究問題與已檢索的文獻摘錄，再產生附有引用的報告。模型卡列出它在 ScholarQA-CS2 基準測試（benchmark）的平均分數為 87；這個數字描述特定題目與評分設計下的結果，不能直接當成實際報告的正確率。評估是否導入，還得看它拿到什麼資料、引用是否支持每項主張，以及能否在自己的環境穩定運作。

一、AstaBrief 的 87 分測量什麼？

87 是模型卡所列四項指標的平均分數，測試對象是 100 道電腦科學研究問題，不代表每份報告有 87% 正確。

ScholarQA-CS2 評估電腦科學文獻回顧問題。模型卡列出的四項指標是內容要點召回率（Ingredient Recall）、答案精確度、引用精確度與引用召回率。Ai2 公告以 Rubric score（評分規準分數）表示報告涵蓋必要內容的程度，模型卡表格則未另列此欄；下表沿用模型卡欄名，只將第一項按內容涵蓋面向解讀，不推定兩者定義完全相同。AstaBrief-8B 的四項分數為 90.2、89、90.5、78.2，平均約 87。各項分數衡量不同面向，閱讀時應連同指標一起看。

模型版本	平均分	內容要點召回	答案精確度	引用精確度	引用召回
Qwen3-8B	77.3	77.8	90.6	76.2	64.6
AstaBrief-8B-SFT	83.7	85.2	90.4	87.7	71.3
AstaBrief-8B	87.0	90.2	89.0	90.5	78.2

這組數字也說明平均分有什麼盲點。AstaBrief 的答案精確度是 89，略低於基礎 Qwen3-8B 的 90.6；平均提升來自其他指標的變化，尤其引用召回率從 64.6 升至 78.2。若採用情境最在意回答是否聚焦，就不能只看平均分，應單獨設定答案精確度門檻；若最怕漏掉來源支持，就要看引用召回與逐句查核。這種拆分能讓團隊知道分數改善究竟對應哪一種實務問題。

模型卡說明，測試集包含 100 道使用者撰寫的電腦科學研究問題；Ai2 公告則將 SQABench-CS2 描述為 200 道問題，並說明 Qwen3-8B 僅以測試集評估。兩份官方資料呈現的題數範圍不同，文章引用時應明確註明數字來自模型卡所列測試集，避免把模型卡的 100 題說成整個基準的全部題目，也不應自行推定未說明的切分細節。

在相同表格中，基礎 Qwen3-8B 平均 77.3，監督式微調（SFT）版本為 83.7，AstaBrief-8B 為 87。這組比較顯示，Ai2 的訓練與偏好調整流程在這份基準上帶來分數差異；它沒有證明模型在其他學科、語言或機構工作流程也會維持相同表現。公告並提醒，多數比較工作在 2025 年完成，並非與 2026 年所有最新模型重新競賽的排名。

監督式微調是用示範輸出調整模型，直接偏好最佳化（DPO）則以成對輸出及偏好判斷進一步調整。這個版本比較呈現訓練階段和分數之間的關聯，不能單靠表格判定某一種訓練方法在所有任務都更好，也無法把分數差異完全歸因於單一訓練環節。模型卡與公告都是 Ai2 對自家模型的說明，提供重要的一手資料，但不是獨立第三方重現結果。

「這些數字應視為我們當時工程方法的驗證，而不是對該模型相較於今日前沿模型位置的主張。」— Ai2 官方公告（中文意譯）

這項限定會影響讀者如何使用比較表。它適合用來理解模型訓練前後的基準分數、哪些指標變化較大，以及還有哪些問題需要在本地試驗；不適合拿來宣稱「目前最好的科學報告模型」或保證機構採用後能達到相同成績。模型是否合用，還需要將自己的研究領域、語言、文獻格式和審核要求放進測試。

二、單獨使用模型權重時，檢索仍要另行設計

單獨使用 AstaBrief 權重時，輸入是研究問題與檢索到的文獻摘錄；搜尋、篩選與文件整理須由外部流程提供。

Ai2 的示範提示格式要求呼叫端提供研究問題與文獻摘錄。單獨下載模型權重不含資料庫、搜尋、重排序或文件解析管線。

檢索漏掉關鍵研究或解析漏掉限制條件，都會改變模型可見的證據。驗收時要檢查搜尋、解析、引用連結與失敗提示；Ai2 的 Scholar QA 流程也把檢索、重排序和生成分開。

官方公告的 Asta Fast mode 與 Thinking mode 速度涵蓋整套流程，不能視為模型權重的速度保證。評估效益時，應計算問題進件至人員確認的時間，納入檢索、解析、核驗與退回修改。

三、引用存在，不等於主張受到證據支持

引用要逐句核對來源是否支持主張，也要確認結論沒有超出研究的族群、條件與證據強度。

引用精確度關心的是某條引用能否支持它所附著的主張；引用召回率則關心報告中的主張是否有引用支持。兩者都重要，但仍不能完整代表科學忠實度。來源可能確實談到同一主題，模型卻把特定樣本的結果擴寫成普遍規律，或把描述性發現改寫成行動建議。

「引用支持只是科學忠實度的一部分；模型即使引用了正確研究，也可能提出比研究本身更強的主張。」— Ai2 官方公告（中文意譯）

實務上可挑出每個段落的核心句，回到原文檢查三件事：研究對象和情境是否一致、原始結果是否支持句子中的因果或程度用語、句子是否把研究限制刪掉。研究摘要只能呈現部分資訊時，重要主張應核對全文方法與結果，不要只憑引用標題判斷。

例如來源研究只觀察一所大學的特定課程，報告若改寫成「此方法能提升所有學生的學習成效」，引用主題雖然相符，結論範圍卻已擴大。又例如文獻只呈現兩個變項同時出現，文字若改成其中一項造成另一項，就把關聯寫成因果。這些錯誤不一定會讓引用連結失效，必須把主張拆成可核對的事實單位，再回到研究設計、對象、結果和限制檢查。

可追溯性也需要保留足夠線索。團隊可要求報告中的主要句子連到具體文獻及頁面或段落，並保留研究問題、檢索結果與模型輸出版本。當句子有改寫時，審核者才能看出是原始研究的內容、模型的歸納，還是編輯者補充的解釋。這種記錄尤其重要於多人共同整理文獻，因為後續使用者未必知道最初輸入的摘錄長什麼樣。

這項查核也適用於健康、醫療或政策題材。電腦科學基準上的引用分數不能替代領域專家審閱，更不能作為健康決策的背書。若報告將進入對外發布或影響專業判斷，應指定人員負責核對原文與措辭，並保留修改紀錄。

四、先從低風險的報告工作試用

可先用已篩選的文獻摘錄製作內部初稿、整理研究脈絡或提出待查問題，並由研究人員確認後再使用。

適合的起點是可逆、可檢查的工作：例如把一組已人工篩選的論文整理成初步主題，依固定問題摘要研究方法差異，或為團隊準備後續閱讀清單。這些用途能節省整理時間，也保留研究者回到原文修正的空間。試用時應固定問題與文獻集，才看得出不同提示或版本是否真的改善輸出。

對外發布、臨床或政策建議，以及影響資源配置的結論，都要由具領域責任的人核實引用、證據範圍與結論強度；遇到來源缺漏或文獻矛盾，應標明未解問題。

錯誤代價會隨用途改變。試用前先標明輸出是探索草稿、審核後的內部文件或可發布內容，並設定相應核驗強度；模型生成權限不等於對外發布核准。

也要留意語言與專業領域的差異。這份基準聚焦電腦科學研究問題；本地驗收應使用實際會遇到的繁體中文問題、文獻類型與專業術語，檢查概念是否一致，並記錄需要人工重寫的情形。

五、用固定樣本驗收品質、部署與資料治理

用固定題目與文獻集，分別量測內容涵蓋、逐句引用支持度、證據範圍、執行效能與資料處理方式。

模型卡標示 AstaBrief 採 Apache 2.0 授權，仍須確認模型及資料的使用條款。若輸入含未公開研究或敏感資訊，先確認資料去向、權限、保存方式與部署位置，並指定檢索、核驗及發布負責人。

資料治理須定義資料維護者、欄位術語、存取角色與紀錄責任。內網部署也要盤點資料來源、權限、暫存檔及日誌，並訂出敏感內容遮蔽、保存與刪除方式。

1. 挑選一組有研究人員確認依據的問題，固定檢索文獻與提示格式。
2. 逐項評分答案相關性、必要內容涵蓋、引用精確度和引用召回率。
3. 抽查主張是否保留研究對象、方法限制與證據強度。
4. 記錄端到端耗時、硬體使用、人工修訂和失敗案例。
5. 核對授權、資料存取、日誌保存及最終簽核責任，再決定是否擴大試用。

固定樣本無法涵蓋所有任務，但可用來比較模型、提示或檢索設定。遇到失敗時，回查是檢索、解析、提示或生成出了問題，再針對該環節改善。

• 87 是特定測試集四項分數的平均，不能解讀成真實報告正確率。
• AstaBrief 接收已檢索的文獻摘錄；檢索品質和文件處理仍須另外驗收。
• 導入前固定測試題與文獻，核對引用支持度、證據範圍、部署效能及資料治理。

常見問題

Q1：AstaBrief 可以自行搜尋研究文獻嗎？

模型卡示範的輸入包含研究問題和已檢索的文獻摘錄。搜尋與篩選需由外部服務或使用者提供，除非另外建置並驗收檢索流程。

Q2：87 分代表實際報告有 87% 正確嗎？

不代表。它是四項指標在 ScholarQA-CS2 測試集上的平均分數，測試範圍為模型卡所述的 100 道電腦科學研究問題。

Q3：開源權重是否代表部署沒有成本？

不是。授權允許的使用方式、推論所需硬體、資料處理、系統維運與人工覆核都會帶來成本，應依預定工作流程實測。