哈佛博士生研究:AI 寫程式後產出變多,但瓶頸移到程式碼審查

兩位哈佛博士生的工作論文分析 718 家公司、72 萬名員工的工程資料,發現採用 AI coding agent 後程式碼增加約 30%,但 PR 合併時間拉長約 49%,已解決的 issue 沒有明顯增加。

重點

  • Fiona Chen 與 James Stratton(哈佛博士生)的工作論文,分析 718 家公司、725,938 名員工的工程活動資料。
  • 採用 AI coding agent 後,新增程式碼行數約增 30%、commit 增 20%、PR 增 23%。
  • 但 PR 從提交到合併的時間增加 3.45 天(基準 7.03 天,約 49%),已上線的 Jira issue 沒有統計上可辨識的增加。
  • 論文尚未經同儕審查,資料來自 Jellyfish,且為短期、局部均衡的估計。
目錄(4 節)
  1. 發生什麼事
  2. 主要發現
  3. 這份研究的限制
  4. 對你的影響

發生什麼事

ComplexDiscovery 在 11 月 18 日介紹了一篇工作論文〈Artificial Intelligence in the Firm: Bottlenecks in Software Production〉,作者是哈佛大學博士生 Fiona Chen 與 James Stratton。報導說目前版本日期為 8 月 4 日,首版為 1 月 7 日,尚未經同儕審查或期刊接受。我們只讀了這篇轉述,沒有逐頁讀論文本身。

資料涵蓋 2021 年 1 月至 2026 年 3 月、718 家公司的 725,938 名員工,工程活動資料來自分析平台 Jellyfish,並與 Revelio Labs 蒐集的 LinkedIn 就業紀錄串接;只包含同意用於研究的 Jellyfish 客戶。方法是交錯進行的雙重差分,比較已採用與尚未採用 AI coding agent 的公司。

哈佛研究發現 AI 寫程式後產出增加,但程式碼審查成為新瓶頸。

主要發現

  • 產出變多:新增程式碼行數上升約 30%,commit 增加 20%,pull request 增加 23%。
  • 完成的工作沒有明顯變多:已部署到正式環境的 Jira issue,每人每月僅增加 0.12 件(基準 3.67),標準誤 0.17,與零無法區分;95% 信賴區間排除了超過基準約 12% 的增幅。
  • 審查變慢:PR 從提交到合併的時間增加 3.45 天(基準 7.03 天,約 49%);正式的修改請求占比增加約 12 個百分點(基準 13%);每個 PR 的審查留言增加 35%;有參與審查的員工比例增加 14%。
  • AI 審查工具沒有補上缺口:截至 2026 年 3 月,近 80% 的公司用過 AI 審查工具,但 AI 只產生 23.3% 的審查留言,10.8% 的 PR 至少有一則 AI 留言。
  • 就業:估計排除整體就業下降超過 2.9%;較有雜訊的估計排除工程就業下降超過 13.8%。

作者提出兩種解釋:更快的草稿讓更多程式碼湧向固定的審查人力,或是草稿品質較差。修改請求增加比較支持後者。

這份研究的限制

  • 結果是短期、局部均衡的,捕捉不到競爭公司的裁員。
  • 工程就業的估計在採用前就有上升趨勢,使因果判讀更複雜。
  • 資料為專有資料,透過個人授權使用 AI 的情況沒有紀錄。
  • 資料提供者 Jellyfish 有商業利益,與作者關係密切;公司只為了揭露專有資訊而審閱過稿件,作者聲明結論為自己所有。
  • 作者也提到,Jellyfish 先前對初步版本的說明比較正面(稱程式碼品質似乎沒受影響),目前版本則把修改請求近乎倍增視為可能的品質訊號。

對你的影響

這份研究是關於中大型公司的平均效果,不能直接套到你的團隊,但它提醒一件事:如果團隊導入 AI coding agent 後只看「寫了多少程式碼」,會高估效益。比較有用的指標是 PR 的等待與合併時間、修改請求的比例、實際上線的工作項目數。

小團隊若發現 PR 開始堆積,可以考慮限制單一 PR 的大小、要求提交前先自己跑完測試與自我審查,並把審查人力排進工時,而不是假設 AI 審查會自動消化。