AI 輔助專利草稿的評分提高,初階律師三個月後的無 AI 審閱卻沒有平均增益。David Autor 等研究者在美國 11 家智慧財產權事務所追蹤 133 名專利律師,發現工具能改善特定任務的交付表現,但這不等於獨立判斷能力同步累積。

對導入生成式 AI 的專業團隊而言,交付品質、速度和成員能否獨立判斷需要分開觀察。這項三個月研究是 NBER 工作論文,由 Google 執行並提供直接經費,部分共同作者任職於 Google。

AI 輔助草稿變好,獨立判斷是另一項能力

不能只從 AI 輔助成果推斷員工已具備獨立完成工作的能力。 研究分別測量有工具時的撰寫品質,以及三個月後無工具時的審閱判斷。

133 名專利律師參與三個月實地研究

研究團隊把參與者隨機分配到可使用客製 AI 專利撰寫助理的組別,或暫時沒有該工具的對照組。研究安排兩項評量:專利撰寫基準任務與無 AI 專利草稿修訂任務。所有作品由不知道組別身分的專利律師評分,評量面向包括可執行性、技術準確度、策略性模糊、完整性與清晰度。

撰寫與無 AI 審閱測量不同表現

AI 組在第 10 天與第 90 天的撰寫草稿評分分別比對照組高 0.34 與 0.38 個標準差,初階律師增幅較大。三個月後的無 AI 任務則要求參與者審閱並修訂既有專利申請草稿,初階律師沒有平均增益。兩種任務測量不同能力,草稿評分不能取代獨立審閱的評估。

初階律師的評分分布分化,不能簡化成整體退步

沒有。 Autor 等人在 NBER 工作論文中發現,初階律師的無 AI 審閱分數沒有平均增益,且分布更分散;這不等於每位初階律師都退步,也不足以證明長期職能受損。

無 AI 審閱結果呈現不同走向

無 AI 審閱時,資深律師平均表現提升,初階律師沒有平均增益。初階組分數分布也更分散,中間程度的分數減少、較低與較高分數增加。研究無法據此判定個別差異的原因。

研究者推測,既有專業知識可能影響使用者能否從 AI 協助中學習,但這仍是解讀,尚未證實。團隊可觀察初階成員能否指出工具錯誤、說明取捨並親自完成關鍵修訂。

圖表呈現 AI 組在第 10 天與第 90 天的撰寫評分高於對照組,並標示初階律師三個月後的無 AI 審閱沒有平均增益。
AI 輔助撰寫評分高於對照組,但初階律師的無 AI 審閱沒有平均增益,兩種表現不能互相替代。

“AI assistance served as a springboard for some juniors and a cushion for others.”(Autor 等人,《NBER Working Paper 35720》摘要)

工作流程要分開衡量產出、時間與判斷

至少分開記錄交付品質、完成時間,以及成員在沒有 AI 時能否辨識與修正問題。 三類指標回答不同問題,不能用其中一項代替另外兩項。

先定義每個環節要培養的能力

專業工作常包含資料整理、初稿撰寫、錯誤辨識、策略選擇和核定。團隊可標出哪些環節適合 AI 協助、哪些判斷須由人員負責。例如,AI 整理發明揭露或提出草稿選項後,初階人員仍可先標註權利範圍、找出技術描述矛盾,再比較工具建議。

客服研究提供一個不同職種的對照案例。Brynjolfsson、Li 與 Raymond 分析 5,179 名客服人員使用對話助理的資料,發現每小時解決案件數平均增加 14%,初階與低技能人員的增幅更大;研究者也提出工具可能傳遞資深員工的做法。這是客服工作中的結果,不能直接套用到專利訓練,但顯示工具可能同時改變產出與經驗累積方式(NBER 研究)。

另一個方向相反的案例來自 METR。研究者讓 16 名熟悉大型開源專案的開發者,對 246 項真實任務隨機使用或不使用 AI;在 2025 年初的工具與任務設定下,允許使用 AI 的任務平均多花 19% 時間。這提醒管理者按實際任務評估品質與耗時,不能只憑工具印象預估效益(METR 隨機試驗)。

判斷權利要求是否過窄時,應讓學員指出範圍、提出修改並說明理由;只核准 AI 修訂稿,難以看出初階人員掌握了什麼。

覆核要讓錯誤成為回饋,而非只做簽核

覆核時可記錄 AI 提議、採納或拒絕理由、發現的錯誤及最後修改。回饋指出錯誤類型與修改依據,累積的紀錄便能用於調整練習題、工具範圍和覆核密度。

“Improving performance and building durable professional judgment are different goals.”(David Autor、Tanya Rodchenko,Google Research 文章〈Does better work always mean better workers?〉「Further directions」段落) 流程圖依序呈現初階人員先判斷、AI 提出草稿、初階人員比較並說明修訂、資深人員提供回饋,以及定期進行無 AI 評估。

研究還不能回答長期職涯與其他職業的結果

不能直接推廣。 研究限於美國專利工作與特定工具,三個月觀察不足以代表其他職種或長期職涯。

研究使用客製工具,且沒有介入前的能力基線測量;組間分數不能直接視為每位參與者的個人技能變化。研究執行與經費和 Google 有關,部分作者任職於 Google,解讀時應一併考量這項背景。

事務所採用外部 AI 前,仍須依客戶約定、內部政策及工具資料條款,確認發明揭露等內容能否輸入,並安排人工覆核責任。

導入前可用的職能培養檢查清單

檢查任務拆分、練習、覆核回饋與無 AI 評估,並定期比較兩種條件下的表現。

  1. 列出任務與責任: 哪些步驟由 AI 協助,哪些由初階人員先判斷,最後由誰核定?
  2. 定義評分指標: 分別記錄草稿品質、耗時、錯誤類型,以及人員能否說明取捨。
  3. 留下實作練習: 安排初階人員辨識問題、修訂內容並解釋選擇。
  4. 設計具體覆核: 資深人員標註錯誤原因與修改依據,讓回饋成為下一次練習。
  5. 定期做無 AI 評估: 用相近的新任務觀察獨立判斷,並據此調整分工。
  6. 確認資料治理: 依客戶約定及工具條款確認機密資料能否輸入,並核對資料保留方式。
  • AI 輔助任務表現提高,不足以單獨證明專業能力已累積。
  • 導入流程應分別追蹤交付品質、速度與無 AI 判斷,為初階人員保留先判讀、實作修訂及獲得回饋的機會。
  • 這項研究來自美國專利工作場景,只有三個月觀察期;不要把結果直接當作其他職業或長期職涯的結論。

常見問題

Q1:AI 輔助專利撰寫會不會影響初階律師的職能培養?

研究未證明 AI 普遍阻礙初階律師成長;AI 草稿分數提高,但無 AI 審閱沒有平均增益。組織可保留實作與覆核。

Q2:工作品質提高,是否代表員工能力也提高?

不一定。要確認人員能否獨立完成任務,仍需無 AI 評估,觀察其辨識問題、修正內容和說明理由的能力。

Q3:這項研究能套用到所有職場 AI 導入嗎?

不能直接套用。研究對象是美國專利律師,工具和任務也有特定條件;其他職業應在自身流程中驗證。

Q4:法律服務團隊可以把客戶資料輸入外部 AI 嗎?

應先依客戶約定、事務所政策與工具資料條款確認資料用途及保留方式,再決定可輸入範圍;有疑義時交由法律與資訊安全人員確認。