AI 讓員工交出原本做不到的成果,主管可能因此認為團隊已經補上新能力。但一次任務做得好,代表的是「人和工具合作後的表現」;要確認員工學會了什麼,還得看他能否解釋、檢查並在沒有 AI 時處理相近問題。

主管也可參考AI 做得好,不代表學生學會了:醫學簡報的 5 個評量問題,將成果品質與學習成效分開觀察。

一、AI 協助完成任務,能證明員工學會了嗎?

不能只憑完成品判定已學會;還要確認員工能否在工具協助減少時,說明做法並獨立處理相近任務。

一項隨機對照試驗將 986 名波士頓顧問公司(BCG)顧問分派至不同條件;主要分析納入提交兩項任務成果的 487 人。接受 ChatGPT 訓練並獲得工具的組別,在資料科學任務比對照組高 17 至 49 個百分點,統計理解任務高 20 個百分點。研究全文

實驗後,參與者在不能使用 ChatGPT 的情況下回答技術題,AI 組並未優於對照組。作者區分「借助工具完成新任務」與「取得能脫離工具運用的知識」;研究只測短期表現與保留,無法回答半年或數年後的職涯變化。

「生成式 AI 能協助知識工作者完成超出原有技能範圍的任務,但研究沒有發現他們因此更能在不使用工具時回答技術問題。」(Wiles 等人研究結論(意譯))

二、工作現場有沒有看到 AI 帶來持續學習?

有研究觀察到 AI 暫時不可用時,部分客服人員仍維持較高生產力;但這類工作現場證據不能推廣成所有職務都會因此學會。

一項刊於《經濟學季刊》的客服研究分析 5,172 名客服人員。導入生成式 AI 助理後,每小時解決案件數平均增加 15%,資淺、技能較低者受益較多。系統意外中斷時,生產力仍高於使用前基準,作者視為可能學習的證據。

故障期間的案件難度、工作量與人員狀態都可能影響結果;研究來自單一企業,不能推廣至其他職務。

平均產量可能掩蓋經驗層級差異。評估時也要看錯誤率、覆核品質與例外判斷,不能把產量增加等同能力提升。生成式 AI 導入完整指南:人工覆核與流程驗收整理了人工檢查方式。

客服人員在未使用 AI、使用 AI 與系統短暫中斷時的工作情境比較圖

三、為什麼不同研究會得到不一樣的學習結果?

研究對象、任務設計、AI 給答案的方式,以及完成任務後有沒有練習,都會改變學習結果。

2026 年一項 52 名軟體工程師參與的隨機實驗,讓多數初階開發者學 Python 非同步程式庫。AI 組完成任務平均快約兩分鐘,但差異未達顯著;測驗平均 50%,手動寫程式組 67%。要求 AI 解釋概念、追問原因等用法,與較佳表現相關。這是預印本的短期測驗,不能代表長期結果。

另一項土耳其高中數學隨機試驗納入近 1,000 名九至十一年級學生。一般 GPT-4 組練習成績比控制組高 48%,後續無工具考試低 17%。教師設計、先給提示的 GPT Tutor 組練習成績高 127%,無工具考試沒有同樣損失,但也未見提升。學生研究不能直接代表職場,仍顯示提示設計值得重視。

另一項為期三週的研究讓 69 名 10 至 17 歲程式初學者完成 45 項 Python 任務,半數可用 Codex,且每項任務後都要手動修改程式。一週後的保留測驗中,AI 組略佳但未達統計顯著。這種包含練習和手動操作的安排,不能直接外推到企業訓練。

AI 直接給答案、提供提示,以及學習者手動修改程式的三種學習方式

四、主管和人資怎麼確認員工真的學會?

把交付成果、過程理解和無工具或低工具依賴的遷移表現分開評量,才看得出效率改善是否伴隨能力累積。

先界定目標:重視 AI 協助下的交付,就看品質和效率;要培養獨立判斷,則另測解釋、除錯、核對資料及處理新情境的能力。

用口頭說明、錯誤辨識或相似題,檢查員工能否解釋 AI 建議、辨識不適用條件並處理新案例。

AI 可能產生錯誤內容,也可能保留輸入資料。訓練時要說明不可上傳的資訊、輸出查證責任及核准工具;個資、未公開營運資料和保密文件須依組織規範處理,覆核與資料保護也應納入評量。

  1. 定義能力目標:列出員工需獨立完成的任務,以及可由 AI 協助的部分。
  2. 保留理解檢核:要求口頭解釋、找出錯誤或處理一個未練習過的相似案例。
  3. 追蹤多項指標:同時記錄速度、正確率、覆核品質與無工具表現,不以單一產量指標代表學習。
  4. 明訂資料界線:訓練前確認核准工具、可輸入資料類型及人工覆核責任。
  • AI 協助下的工作成果,反映人與工具的共同表現,不足以單獨證明員工已具備獨立能力。
  • 研究結果會隨任務、使用方式與後續練習改變;職場證據也有產業與研究設計限制。
  • 若企業希望累積職能,評量要包含解釋、核對、處理例外與遷移到新任務的表現。

常見問題

Q1:AI 幫員工完成工作,能算職能提升嗎?

單看成果還不能判定。若要確認職能提升,需另外評估員工能否理解流程、核對錯誤,並處理相近的新任務。

Q2:AI 暫時不可用時仍有生產力提升,代表員工學會了嗎?

這是可能學習的線索,但客服研究的故障期間觀察不是隨機安排的無工具測驗,不能單獨證明因果或推廣至其他職務。

Q3:使用 AI 一定會降低學習效果嗎?

不一定。研究結果受到工具是否直接給答案、是否要求思考,以及完成後有沒有練習等因素影響。

Q4:公司要怎麼評估 AI 導入後的培訓成效?

除交付速度和品質外,可加入口頭解釋、錯誤辨識、無工具操作或新情境遷移測驗,並依工作風險設定覆核要求。

Q5:員工可以把公司資料貼給 AI 請它教學嗎?

應先依公司核准工具與資料規範確認。個資、客戶資料、未公開營運資訊和保密文件,不應輸入未經核准的服務。