AI Agent Engineering · Week 09
09-02|Agent 的指标体系:别只看“回答像不像人”
把任务完成、Tool 选择、无依据声明、失败、升级、延迟与成本连接到真实业务风险。
指标要能触发工程决定
“回复自然”可以改善体验,却不能说明 Agent 查对订单、遵守审批或在失败时停止。V0.9 的指标体系需要回答:系统完成了多少任务,在哪里走错路径,风险暴露多大,速度和成本是否可接受。
七类核心指标
客户目标未完成、人工积压
查错系统、调错 Tool、走错流程
对政策或事实给出无依据结论
Timeout、异常与不可恢复失败
自动化覆盖与风险分流失衡
客户等待、Timeout 与放弃
单任务经济性和异常 Loop
先定义分母
Task Completion Rate 的分母可以是全部请求,也可以是“系统承诺自动完成的合格请求”。两者含义不同。Human Only 请求被正确升级,不应记作任务失败。Tool Calling Accuracy 也应区分“是否需要 Tool”“选了哪个 Tool”“参数是否正确”“结果是否被正确使用”。
建议为每个指标记录:定义、分母、分子、排除条件、数据来源、目标值、Guardrail 和负责人。
指标必须分段
总体 92% 的完成率可能掩盖德语请求只有 60%,或退款场景频繁失败。至少按意图、语言、市场、风险等级、Tool、模型版本和是否需要审批分段。小样本必须同时显示样本量,避免百分比造成虚假确定感。
Eval Cases
↓ case labels
Intent · Language · Market · Risk · Tool · Version
↓
Metric + Numerator / Denominator + Sample Size
↓
Threshold → Ship / Investigate / Block
指标之间存在权衡
降低 Escalation Rate 可能提高错误自动执行;缩短 Latency 可能减少证据检索;降低 Cost 可能牺牲复杂案例完成率。因此上线门槛应同时包含质量、风险和资源 Guardrail,例如:权限违规必须为 0,Unsupported Claim 低于阈值,P95 延迟和单任务成本在预算内。
Completion / evidence support
Unauthorized action = 0
Failure / escalation
P50 / P95 latency
Token + Tool cost per resolved task
Failure Lab
只汇报平均分
为什么诱人: 一个数字容易沟通和比较。
为什么失败: 高风险权限错误可能被大量简单 FAQ 成功稀释。
更合理设计: 保留不可妥协的安全指标,并按意图、语言和风险分段。
把升级人工都算失败
为什么诱人: 自动化率看起来越高越好。
为什么失败: 正确升级本来就是敏感场景的成功行为,错误激励会推动 Agent 越权自动执行。
更合理设计: 区分 expected escalation、unnecessary escalation 和 missed escalation。
没有记录分母与版本
为什么诱人: 仪表盘先显示百分比,细节以后再补。
为什么失败: 指标无法复现,也不能判断变化来自系统还是样本组成。
更合理设计: 指标 Contract 固定定义、样本集版本、系统版本与计算代码版本。
实践:为 V0.9 写 Metric Contract
为七类指标写出业务风险、分子、分母、分段、目标与阻断阈值。至少加入 Unauthorized Action Rate = 0 和一个用于发现无限 Loop 的成本或 Turn 数 Guardrail。
Acceptance Criteria
- ☐ 每个指标都对应明确业务风险和负责人。
- ☐ 分子、分母、排除条件与版本可复现。
- ☐ 指标按意图、语言、市场和风险等级分段。
- ☐ 正确人工升级不会被误记为失败。
- ☐ 安全、质量、延迟和成本共同参与上线决定。
- ☐ 高风险违规不会被平均分掩盖。
主动回忆
- Tool Calling Accuracy 应拆成哪些判断?
- 为什么正确升级人工可以算成功?
- 总体完成率会掩盖哪些分段问题?
- 哪些指标应该直接阻断发布?
下一课进入 Observability:当指标下降时,怎样通过 Trace 找到 Agent 实际走过的模型、Tool、Workflow 与审批路径。
延伸阅读 / Sources
核查日期:2026-10-18。
- OpenAI API:Evaluation best practices。用于核对任务特定指标、持续评估与人工校准原则。
- OpenAI API:Working with evals。用于核对当前 Eval Run 与 Result 组织方式。
- NIST:AI Risk Management Framework。用于延伸风险测量、治理和监控关系。
长期有效的原理: 指标应有可复现定义,并连接到业务风险和工程决定。当前实现方式: 平台字段和 grader 会更新,Metric Contract 应由项目版本化管理。