OpenAI 在 2026 年 11 月 19 日公開 Performance Factory:其中的 Regression Workflow(效能回歸工作流程),在三個多月追蹤超過 1,700 次調查,找出超過 600 件根因。這是公司自述的內部成果,處理的是 ChatGPT 等服務變慢、可用性下降的工程問題。來源:OpenAI 官方案例

對已把告警交給 AI 分析的開發團隊,卡點往往在分析之後:誰接手修復?部署後誰確認改善?OpenAI 的做法把這些環節變成有狀態的任務,讓調查能跨越不同代理與工程師持續進行。

台灣團隊評估移植時,先要回答一個具體問題:代理說找到原因,值班工程師能否沿著證據重新驗證?有關Codex 雲端環境與安全掃描如何接入開發流程的考量,也會延伸到效能工具的權限與交接安排。

告警如何變成能交接的任務?

任務保存狀態與發現,派工迴圈安排下一步,事件訂閱則讓等待中的工作恢復執行。調查進度因此能脫離單次對話保存。

效能回歸指服務相對原有表現退步。OpenAI 先前已讓 Codex 自動調查告警、回覆 Slack,但工程師仍得翻找訊息,辨認哪些事件尚未處理。Performance Factory 將零散回覆改成持續追蹤的工作項目。官方流程說明

其四個部分分工明確:任務服務定義狀態、允許的轉移及人工介入點;派工迴圈定期挑出就緒任務;內部 API(應用程式介面)在雲端啟動 Codex;訂閱機制等待程式碼審查意見、CI(持續整合)檢查失敗或部署完成等事件。

雲端執行環境位於公司網路內,可讀取程式庫、指標、日誌、請求追蹤及效能剖析資料,並使用可限制權限、辨認操作來源的服務身分。這些資料連線與執行條件,都需要團隊另外準備。

移植時可先定義每次交接必須留下什麼:受影響指標、調查時間窗、證據連結、待驗證假說及下一位負責人。只保存一段「疑似某次部署造成」的文字,下個接手者仍得重新調查。

為什麼告警時間不能直接當成根因線索?

先找指標開始惡化的時間,再分辨受影響的請求,才核對部署、設定與程式碼。跨過告警門檻的時間,可能比問題起點晚了數小時。

OpenAI 將調查方法寫成可重複使用的 perf-forensics 技能。它引導代理分辨兩種情形:相似請求真的變慢,或原本就較慢的請求占比增加。兩者都可能拉高總體延遲,修復方向卻不同。

接著才檢查部署與功能旗標(控制功能開關的設定),確認變更何時實際影響相關請求,再以日誌、追蹤資料驗證程式碼能否解釋異常。時間接近只能建立候選假說,還需要機制證據。

OpenAI 工程團隊的流程要求獨立 Codex 審查者嘗試推翻診斷,包括檢查未受到變更影響的相似請求,以及回復變更後指標是否恢復。來源:Performance Factory

圖片下載故障:相關錯誤消失,失敗卻繼續

一次 ChatGPT 對話失敗調查中,代理沿著圖片下載錯誤找到線索,並標記已找到原因。另一個 Codex 審查工作階段發現:負責定位檔案的內部服務已恢復,圖片請求卻仍持續失敗,因此重新開啟調查。官方故障案例

這個案例給團隊的判準是:診斷必須能解釋異常持續多久、影響哪些請求,以及何時恢復。只解釋其中一段時間的錯誤,尚不足以結案。

團隊可把相同檢查轉成一張時間對照表:逐段列出圖片請求的成功與失敗情況、檔案定位服務狀態,以及支持原假說的證據。若服務恢復後仍有失敗,就將這段列為待解區間,要求下一輪調查說明。交接時保留反例,才能讓審查者看出原判斷在哪裡失效。

上下兩條時間線分別呈現檔案定位服務恢復與圖片請求持續失敗,並標出重新調查的區間
定位服務恢復後,圖片請求仍失敗,表示原診斷還沒有解釋完整段異常。

100 件根因建議的評分能說明什麼?

70% 是 100 件根因建議的內部人工檢視結果。其餘 30% 需要補強,或未充分建立因果關係,不能外推為所有效能問題的準確率。

這是另一個具體評估案例:OpenAI 人工查看代理提出的 100 件建議,將其中 70% 評為準確。完整測試集、評分細節與獨立重現結果未隨案例公開;這組數字也沒有直接量出修復成功率或工程師節省多少時間。官方評估說明

團隊可借用的是拆開評分的方法。問題起始時間、影響幅度、受影響請求與根因,應分別核對;報告是否便於工程師決策,再另外評估。時間找對了,仍可能怪錯部署。

歷史事件回測也要防止答案洩漏。測試前宜封存當時可見的遙測資料,隱去事後事故報告與前次調查筆記;若追蹤資料已過期,就須記錄證據缺口,避免把資料缺失算成推理能力下降。

回測紀錄宜保留所有送入的事件,將工具失敗、資料不足、沒有結論與提出錯誤根因分開登記。若只計算成功產出建議的事件,就看不到調查中斷的比例。對台灣的小型開發團隊,這張紀錄也能協助分配整合工作:先補齊經常缺漏的資料,或先改善已有證據卻判斷錯誤的調查步驟。

修復提出後,誰負責確認真的變快?

現行案例由 Codex 提出修復,工程師審核、決定合併並部署,代理再驗證恢復情況。部署完成只是驗證的起點。

OpenAI 表示,修對程式比找出原因更困難:代理可能提出過度複雜的改動,或引入新問題,因此修復提案也加入反向檢查。增加快取雖可能降低延遲,卻帶來資料過期的取捨,需要熟悉服務的工程師判斷。

部署後的分支也值得保留:恢復基準才結案;部分恢復時,原回歸結案並為剩餘變慢另開任務;完全未改善,就記錄結果並送回調查。低風險變更免人工上線,仍屬 OpenAI 描述的探索方向。修復與驗證流程

階段代理可整理的證據團隊須指定的責任
根因調查異常時間、請求分組、變更紀錄誰認可因果解釋
修復審核修改差異、測試及副作用誰決定取捨與部署
恢復驗證部署前後相同口徑的指標誰定義基準及回退條件

團隊導入前,先檢查哪些條件?

先選一類重複發生、能追溯證據的問題,以歷史事件回測,再試行只讀調查。確認調查與交接品質後,才擴大到修復提案。

權限也要跟著階段切分。能讀監控、能建立程式碼變更、能部署,是不同能力;需要哪些權限,應由任務範圍決定。

OpenAI 的《Sandbox security》文件提醒,代理生成的程式可存取執行環境內的檔案、憑證與網路;自動審查仍須搭配網路限制與憑證控制。來源:OpenAI 官方文件

  1. 選告警:訂出指標、門檻、影響範圍,將同一故障的重複通知合併。
  2. 查資料:確認指標、日誌與請求追蹤可對時,留存部署及設定變更紀錄。
  3. 限權限:分開調查、改碼與部署權限,保存操作紀錄與工具存取失敗。
  4. 做回測:隱去已知答案,分別評估根因證據與交接摘要;技能或模型更新後重測。
  5. 定人工關卡:指定審核人、部署人與回退負責人,避免任務停在無人處理的佇列。
  6. 驗收成效:預先選定恢復基準、觀察窗、錯誤率及成本,同時記錄人工審核時間。
六個導入關卡依序呈現告警品質、遙測對時、權限範圍、歷史回測、人工審核與部署後基準比較
導入前先逐關確認資料、權限與人工責任,證據不足時應回到調查。

工具查詢失敗也應進入監控:讀不到資料,不能當成沒有異常。當代理產生的報告多到工程師看不完時,還需按影響排序,減少重複事件;AI 代理越權偵測與分層監測則可補充操作治理的檢查方式。

試行時還可演練等待事件未送達的情況,例如部署已完成,任務卻沒有收到通知。團隊應預先約定等待多久後轉交人工、由誰核對實際部署狀態,以及如何補回任務紀錄。這項檢查能區分系統仍在調查與交接機制已中斷,避免值班人員把等待中的任務誤認為有人持續處理。

  • 交接任務要保留可重查的證據、未解假說與負責人。
  • 根因正確、修復合理、部署後恢復,應分開驗收。
  • 試點先問:工程師能否用同一份資料,確認代理為何做出這個判斷?

常見問題

Q1:Performance Factory 是可直接啟用的 Codex 功能嗎?

OpenAI 將它描述為內部建置的系統。採用 Codex 後,仍需自行串接任務管理、監控工具與權限。

Q2:它能處理所有 ChatGPT 變慢的原因嗎?

官方案例聚焦特定效能告警與回歸流程。個人網路、裝置或其他服務問題,仍需另外辨認。

Q3:為什麼要用另一個工作階段審查?

分開調查與挑戰假說,能增加發現推論缺口的機會;審查仍需要資料支持,無法保證因果判斷正確。

Q4:小團隊最先該量什麼?

可先記錄調查耗時、工程師審核耗時、診斷被推翻的原因及部署後改善,判斷是否減少總處理負擔。