AI 辅助编程

效能度量与指标设计

kp-026进阶20 分钟06-效能与团队

一句话定义

AI 效能度量 = 一组「工具层输入指标 + 流程层质量指标 + 结果层交付指标」的小集合，用公式定义每个指标，并警惕把任何单一指标升级为个人考核（Goodhart 定律）。

为什么重要

没有度量，AI 推广会退化为体感之争（「我觉得快了」「我反而慢了」）；度量错了，团队会被指标带偏——比如把补全采纳率当 KPI，人们就开始接受不该接受的补全。度量设计的目标是回答一个管理问题：引入 AI 后，同样的质量水平下，交付是否变快、返工是否变少。这需要把工具行为、流程质量与交付结果分开看，而不是用一个数字概括。

前置知识

kp-013（Diff 审查工作流——返工率与评审指标的观测点在流程里）。

核心概念

三层指标（团队最小集）：

  • 工具层（诊断用，不考核）：补全采纳率、AI 参与会话数。
  • 流程层（质量护栏）：AI diff 打回率、AI 代码返工率（合并后被改动的比例）、评审耗时。
  • 结果层（北极星）：DORA 四键——部署频率、变更前置时间、变更失败率、恢复时长——AI 引入前后的对比。

关键公式：

  • 补全采纳率 = 接受的补全次数 ÷ 展示的补全次数（仅反映工具黏性，不反映质量）。
  • AI 代码返工率 = 合并后 30 天内被实质性修改的 AI diff 行数 ÷ 合并的 AI diff 行数。
  • 净效能变化 = Δ(交付吞吐) − Δ(返工与评审成本)，两者都应度量，只看前者会得出「AI 无敌」的幻觉。

Goodhart 警告：任何指标一旦成为考核目标就开始失真。工具层指标只用于诊断与采购决策，永不入个人绩效。

原理与机制

分层的原因是因果链长度不同：工具指标→流程质量→交付结果是多级传导，直接用工具指标预测交付改善会系统性高估（采纳率高不等于产出好）。返工率是本体系的关键新增指标：它捕捉「AI 初看正确、细看错误」的成本，这类成本在传统度量中不可见，却在 AI 工作流中显著放大（kp-025 的错误模式都是返工源）。DORA 四键作为结果层基准的价值在于它经过大规模实证检验（Accelerate 研究），且与业务结果相关——AI 的真实收益最终必须落到这条链上。

实例或案例

操作步骤（给一个 5-10 人团队配最小度量集）：

  1. 基线先行：引入 AI 前先记录 4-8 周的 DORA 四键与评审耗时，没有基线的「提升」都是叙事。
  2. 上工具层两个指标（多数 AI 工具自带统计），仅用于观察使用形态。
  3. 上流程层返工率：以合并后 30 天为窗口，人工抽样 + diff 归因（AI 参与标记进 commit/PR，见 kp-016）。
  4. 每季度对比结果层与基线，同时看吞吐与失败率——失败率上升的「提速」是负收益。
  5. 复盘会只对团队整体指标做改进决策，指标永不与个人绩效挂钩。

排错清单：

  • 采纳率很高但交付没变化 → 采纳率只证明在用；查返工率是否同步上升。
  • 返工率数据采集成本高 → 先抽样（如每月 20 个 PR 人工归因），别追求全量精确。
  • 团队开始「为指标工作」 → 该指标已被污染，降级为参考或换指标。
  • 各人差异巨大 → 正常；观测形态差异用于培训（kp-027），不用于排名。

公式或模型

  • 采纳率 = 接受次数 ÷ 展示次数。
  • 返工率 = 合并后 30 天被实质修改的 AI diff 行数 ÷ 合并 AI diff 行数。
  • 净效能 = Δ吞吐 − Δ(返工 + 评审成本)。
  • DORA 四键作为结果层基准集。

图示

工具层(采纳率) ─▶ 流程层(打回率/返工率/评审耗时) ─▶ 结果层(DORA四键)
   诊断黏性           捕捉质量成本                      对齐业务结果
        └── 单层指标不得直接考核个人（Goodhart）──┘

直观类比

像体检：心率（工具层）异常提示去看，血压血脂（流程层）反映风险，最终关心的是预期寿命（结果层）——没人会因为心率好看就颁发健康证书。

常见误区

  • 单指标主义：「采纳率 40% 说明效率提升 40%」——两个数字间没有任何换算关系。
  • 无基线比较：没有引入前的数据，一切「提升」都是错觉或叙事。
  • 度量个人：个人层面的 AI 使用差异巨大且形态各异，考核必然催生指标游戏。

与其他知识点的关系

kp-016 的「AI 使用说明」字段是返工率归因的数据来源；kp-027 的落地路线以本节指标作为阶段门禁。

自测题

要点：工具/流程/结果三层；采纳率只反映黏性，一旦考核即被 Goodhart 定律污染。

要点：它捕捉「初看正确细看错误」的隐性成本，这类成本恰在 AI 工作流中放大且传统度量不可见。

  1. 三层指标分别是什么？为什么采纳率不能考核个人？
  2. 为什么返工率是 AI 时代的关键新增指标？

延伸阅读

《Accelerate：The Science of Lean Software and DevOps》Nicole Forsgren 等——DORA 指标体系与实证依据。

#度量#DORA#采纳率