跳到主要内容
← 返回AI Agent Engineering|12 周从 Demo 到真实 Agent 系统

AI Agent Engineering · Week 09

09-02|Agent 的指标体系:别只看“回答像不像人”

把任务完成、Tool 选择、无依据声明、失败、升级、延迟与成本连接到真实业务风险。

Metrics · Eval · Business Risk

指标要能触发工程决定

“回复自然”可以改善体验,却不能说明 Agent 查对订单、遵守审批或在失败时停止。V0.9 的指标体系需要回答:系统完成了多少任务,在哪里走错路径,风险暴露多大,速度和成本是否可接受。

七类核心指标

Task Completion Rate

客户目标未完成、人工积压

Tool Calling Accuracy

查错系统、调错 Tool、走错流程

Unsupported Claim Rate

对政策或事实给出无依据结论

Failure Rate

Timeout、异常与不可恢复失败

Escalation Rate

自动化覆盖与风险分流失衡

Latency

客户等待、Timeout 与放弃

Cost

单任务经济性和异常 Loop

图 1|每个指标对应一种业务风险;没有决策用途的数字只会增加报表噪声。

先定义分母

Task Completion Rate 的分母可以是全部请求,也可以是“系统承诺自动完成的合格请求”。两者含义不同。Human Only 请求被正确升级,不应记作任务失败。Tool Calling Accuracy 也应区分“是否需要 Tool”“选了哪个 Tool”“参数是否正确”“结果是否被正确使用”。

建议为每个指标记录:定义、分母、分子、排除条件、数据来源、目标值、Guardrail 和负责人。

指标必须分段

总体 92% 的完成率可能掩盖德语请求只有 60%,或退款场景频繁失败。至少按意图、语言、市场、风险等级、Tool、模型版本和是否需要审批分段。小样本必须同时显示样本量,避免百分比造成虚假确定感。

Eval Cases
↓ case labels
Intent · Language · Market · Risk · Tool · Version
↓
Metric + Numerator / Denominator + Sample Size
↓
Threshold → Ship / Investigate / Block

图 2|指标只有连接到分段、阈值和决策时才具有工程价值。

指标之间存在权衡

降低 Escalation Rate 可能提高错误自动执行;缩短 Latency 可能减少证据检索;降低 Cost 可能牺牲复杂案例完成率。因此上线门槛应同时包含质量、风险和资源 Guardrail,例如:权限违规必须为 0,Unsupported Claim 低于阈值,P95 延迟和单任务成本在预算内。

Quality

Completion / evidence support

Safety

Unauthorized action = 0

Operations

Failure / escalation

Experience

P50 / P95 latency

Economics

Token + Tool cost per resolved task

图 3|单一总分会隐藏关键风险;上线决定应查看多维 Guardrail。

Failure Lab

只汇报平均分

为什么诱人: 一个数字容易沟通和比较。

为什么失败: 高风险权限错误可能被大量简单 FAQ 成功稀释。

更合理设计: 保留不可妥协的安全指标,并按意图、语言和风险分段。

把升级人工都算失败

为什么诱人: 自动化率看起来越高越好。

为什么失败: 正确升级本来就是敏感场景的成功行为,错误激励会推动 Agent 越权自动执行。

更合理设计: 区分 expected escalation、unnecessary escalation 和 missed escalation。

没有记录分母与版本

为什么诱人: 仪表盘先显示百分比,细节以后再补。

为什么失败: 指标无法复现,也不能判断变化来自系统还是样本组成。

更合理设计: 指标 Contract 固定定义、样本集版本、系统版本与计算代码版本。

实践:为 V0.9 写 Metric Contract

为七类指标写出业务风险、分子、分母、分段、目标与阻断阈值。至少加入 Unauthorized Action Rate = 0 和一个用于发现无限 Loop 的成本或 Turn 数 Guardrail。

Acceptance Criteria

  • ☐ 每个指标都对应明确业务风险和负责人。
  • ☐ 分子、分母、排除条件与版本可复现。
  • ☐ 指标按意图、语言、市场和风险等级分段。
  • ☐ 正确人工升级不会被误记为失败。
  • ☐ 安全、质量、延迟和成本共同参与上线决定。
  • ☐ 高风险违规不会被平均分掩盖。

主动回忆

  1. Tool Calling Accuracy 应拆成哪些判断?
  2. 为什么正确升级人工可以算成功?
  3. 总体完成率会掩盖哪些分段问题?
  4. 哪些指标应该直接阻断发布?

下一课进入 Observability:当指标下降时,怎样通过 Trace 找到 Agent 实际走过的模型、Tool、Workflow 与审批路径。

延伸阅读 / Sources

核查日期:2026-10-18。

长期有效的原理: 指标应有可复现定义,并连接到业务风险和工程决定。当前实现方式: 平台字段和 grader 会更新,Metric Contract 应由项目版本化管理。