Allen Institute for AI(Ai2)團隊檢視四個已完成的電腦科學研究專案會議紀錄,在研究者討論中辨認出 21 次「讀到文獻後改變研究構想」的轉向:9 次為了與既有研究區隔,另外 12 次則是沿著前人做法補強問題或方法。這些紀錄來自兩個人機互動、兩個自然語言處理專案,顯示找文獻與寫研究構想並非兩個先後分開的步驟。
但這裡要先問一個更前面的問題:AI 能不能把論文轉成可檢查的研究方向,而不讓研究者把生成建議誤當結論?LitPivot 是 Ai2 團隊提出的研究原型,嘗試讓構想修改與文獻整理形成循環。它的價值要看工作流程與研究證據。
一、四個研究專案的 21 次文獻轉向,說明了什麼?
文獻可能指出原本想做的貢獻已有相似研究,也可能提供可沿用的方法或評估方式,因此研究問題、貢獻與驗證計畫都可能跟著調整。
Ai2 團隊分析四個已完成的電腦科學專案會議紀錄,將研究者引用論文作為修改構想的理由,或提議檢視文獻以調整想法,記為一次轉向。總計 21 次,其中 9 次為了和相近研究區隔,12 次則是對齊文獻、採用既有做法或補強有效性。
一個專案原先想辨認主張之間的關係,例如「狗是藍色」和「狗是紅色」互相矛盾。團隊讀到一篇研究後發現,這類判斷已有不少處理,較少被解決的是如何連結不同層級的資訊,例如摘要和細部主張。研究構想於是轉向建立主張階層。這不是因為論文替研究者決定答案,而是它暴露了原方案與既有成果的重疊。
另有專案從既有研究借用評估方式:團隊正在做文字與影像資訊擷取,便參照一篇經典論文的評估方法。兩個例子分別展示「區隔」與「對齊」文獻的功能。這類會議紀錄分析描述的是四個專案中的發現,不能據此推算所有領域的研究流程。
二、LitPivot 如何把研究構想連到候選論文?
LitPivot 將草稿拆成問題、預期貢獻和評估等部分,再依研究者正在編輯的部分整理相關論文、提供帶有文獻摘錄的批評與修訂建議。
LitPivot 的「構想面向」是系統把研究草稿分成可分別檢視的部分。系統先以構想搜尋論文,抽取論文中的研究動機、貢獻、方法、評估、限制與未來工作,再依草稿的問題、貢獻和評估等面向分群。研究者修改某一部分後,可以更新文獻檢視,讓排序與群組跟著目前的構想改變。
例如,當研究者編輯預期貢獻,系統會顯示較相關的文獻群組,研究者選定論文後,可請系統比對構想與所選文獻,查看附有摘錄的批評及修訂建議。研究者能接受、修改或拒絕建議,也可補入論文或依修訂後的構想重新搜尋。這種互動的重點是讓文獻和草稿一起變動,不是只把一份固定論文清單交給聊天機器人。
「文獻觸發的轉向」指研究者接觸文獻後修訂正在發展的構想,而構想改變後,相關文獻也隨之改變。這是論文作者對 LitPivot 核心機制的界定,並非宣稱系統能自行判定研究新穎性。
系統仰賴可取得且足夠的文獻。若論文全文擷取不完整,或研究者只看排序靠前的結果,群組可能漏掉關鍵工作。AI 的相關性判斷只能提供線索,仍須閱讀原文並確認引用脈絡。

三、17 位研究者的比較實際測量了什麼?
研究比較顯示,在特定電腦與資訊科學任務中,專家評為使用 LitPivot 的構想較有相關文獻根據,參與者也自評更理解文獻脈絡;它沒有測量長期研究成果或論文發表品質。
使用者研究邀請 17 位電腦與資訊科學研究者,各自以 LitPivot 和「文字編輯器加 AI 文獻問答」兩種方式發展指定構想。兩種條件使用同一批約 100 篇論文,每項任務 30 分鐘,參與者分別完成一個構想。研究者可以在草稿、選文與 AI 問答間操作,最後由兩位不知道使用哪種工具的領域專家,依照構想是否以相關文獻充分支持並論證來評分。
LitPivot 條件下,研究者平均選用 7.1 篇不同論文產生評估,問答條件為 4.4 篇;參與者自評對文獻領域的理解分數,LitPivot 為 5.71,問答條件為 3.88,量表為 1 至 7 分。專家對 LitPivot 構想的文獻根據評分平均 5.18,問答條件為 2.59。這些數字回答的是短時間內,參與者使用指定工具與同一組論文時,專家如何評估構想與文獻的連結,以及參與者如何評價自己的理解。
論文作者指出,判斷研究構想的可行性或影響力需要長期執行,因此這項比較聚焦於「構想是否有相關文獻根據且論證充分」。換言之,專家評分不能直接替代研究成功與否的追蹤。
構想的新穎性與實用性也有自評上升,但研究者沒有實際執行計畫或追蹤發表結果。樣本 17 人,領域集中於人機互動、自然語言處理及相關電腦科學方向,不宜推廣到所有學科。
四、五位研究者的後續使用補上哪些情境?
五位先前參加使用者研究的研究者,在各 30 分鐘的開放式研究中用自己的進行中構想操作 LitPivot,展示了它如何協助重新界定貢獻,這是使用情境觀察,不是成效驗證。
這五人事先提供正在發展的構想與相關文獻,研究團隊將資料放入系統後,讓他們在 30 分鐘內自行探索。兩人用它檢視新構想是否有相關文獻支持,三人用來重新框定較成熟的方向。這種做法比指定題目更貼近真實研究流程,但時間仍短,且參與者並非獨立於前一項 17 人研究的新樣本。
一位研究者原先把貢獻放在微調方法,後來從系統整理出的文獻群組看到強化學習相關研究,將構想改寫為同時涵蓋兩種方法的論述。另一位研究者起初想在特定高風險領域研究問題生成,經三次文獻評估後認為原貢獻太接近既有工作,轉而提出跨領域的問題生成情境適切性分類架構。這些是具體的構想變化,並不代表新方向已由實驗確認成立。
另有五位研究者參與前期形成性研究,依序使用文字編輯器、一般搜尋工具與文獻回饋原型;五人都在原型階段調整構想。這是設計探索,不是成效比較。

五、如何查證 LitPivot 的研究建議?
先回到原論文確認摘錄和上下文,再檢查重要相關工作是否缺漏,接著核對研究問題、預期貢獻與評估計畫是否彼此一致,最後由研究者決定是否採納。
AI 找到的論文只是候選資料。第一步要開啟原文,確認系統摘錄是否完整、是否省略限制或前提;其次檢查論文的研究對象、方法與結果,避免只憑摘要或標題推論。若文獻指出方法已有人做過,也要確認它的研究問題、資料、任務與目前構想是否真的相同。
第三步是查文獻覆蓋。可以從關鍵論文的參考文獻、被引用研究和相關綜述往外找,確認系統沒有只呈現容易搜尋或彼此相似的論文。最後,將草稿拆成問題、貢獻、評估三部分逐一檢查:問題是否有證據支持,貢獻是否說清楚與既有工作的差異,評估是否能回答研究問題。任何一部分改變,都應重新核對其他部分與相應文獻。
- 回到原文:逐篇檢查系統摘錄與上下文,記下研究限制、資料條件和適用範圍。
- 查文獻缺口:沿關鍵論文的引用與相關研究擴查,確認候選清單沒有漏掉直接相關成果。
- 對齊構想:分別檢查問題、預期貢獻、方法與評估計畫,確認修訂後仍彼此吻合。
- 保留研究者決定權:標記採納、修改或拒絕的理由,未讀原文前不把生成建議寫成已驗證結論。
LitPivot 以既有研究的限制和未來方向協助找出差異,可能讓想法更貼近已發表文獻,也可能不利於尚未成形或不循既有框架的方向。論文作者指出,評估未涵蓋問題的重要性、可行性或實際影響,不同學科也未必適用同一套拆分方式。
- LitPivot 的核心是讓文獻群組隨研究構想變動,研究者可逐段檢視並修訂。
- 17 人比較支持「特定任務中的文獻理解與文獻根據評分」有所改善,不代表長期成果已獲證明。
- 生成的文獻建議要回到原文核對,並由研究者決定是否符合研究脈絡。
LitPivot 論文描述的是研究原型及其小型評估;Ai2 的 Paper Finder 是其搜尋流程所使用的工具之一。論文與官方介紹未能確認 LitPivot 已面向一般使用者公開提供,因此不應把它寫成可直接註冊使用的服務。下次使用 AI 協助文獻探索時,可按原文、文獻覆蓋、主張歸屬和提案一致性逐項檢查,最後再決定研究方向是否成立。
常見問題
Q1:LitPivot 已正式公開提供嗎?
目前引用的論文說明 LitPivot 是研究原型,未確認一般使用者可公開取得。Ai2 的 Paper Finder 是論文提到的搜尋工具,不能因此視為 LitPivot 本身已公開。
Q2:17 人研究能證明 LitPivot 提升研究成果嗎?
不能。研究測量的是短時任務中的文獻理解自評與專家對文獻根據的評分,沒有追蹤研究計畫執行、論文發表或長期影響。
Q3:LitPivot 生成的研究點子可以直接引用嗎?
不宜直接當成已驗證結論。應先查閱建議所依據的原始論文,確認摘錄、脈絡和相關工作,再由研究者決定是否修改或採納。