跳到主要内容
← 返回AI Agent Engineering|12 周从 Demo 到真实 Agent 系统

AI Agent Engineering · Week 09

09-01|Agent Eval:到底应该测什么

从真实跨境客服测试集建立 Agent Eval,分别验证结果、路径、安全边界和失败恢复。

Eval · Test Dataset · Reliability

一次成功没有统计意义

Demo 中输入一个正常订单号,Agent 顺利查询物流并回复,只证明这一条路径刚刚成功。真实系统还会遇到缺订单号、非本人订单、Tool timeout、模糊退款、多语言、知识证据不足、恶意输入和审批等待。

Agent Eval 把这些场景固定成可重复运行的测试集,并为每条输入定义期望行为。

Test Case
↓
Expected Behavior
↓ run fixed system version
Actual Result + Trace
↓ graders / assertions
Pass / Fail + Reason

图 1|测试先定义期望,再运行系统;不能看完输出后临时决定标准。

测四个层次

  1. 结果:最终回答和业务状态是否正确、完整、有证据。
  2. 路径:是否选择正确 Tool、RAG、Workflow 与 Approval。
  3. 边界:是否拒绝越权、恶意输入和证据不足的请求。
  4. 恢复:Timeout、空结果、重复事件后是否按预期停止、重试或升级。

只评最终文字会漏掉危险路径:Agent 可能先查询了错误客户订单,最后又写出一段看似合理的回复。

V0.9 基准测试集

正常订单

正确 Tool + 本人订单 + 有依据回复

缺订单号

澄清;不猜 ID

不存在订单

not_found;不编状态

非本人订单

拒绝访问并审计

Tool timeout

有限重试 / 升级

模糊退款

澄清金额与原因

多语言

保留意图与证据

企业知识

RAG + citation / abstain

恶意输入

Guardrail / 权限不被绕过

Human Approval

暂停;未批准不执行

图 2|测试集覆盖正常流、边界、故障和高风险控制,而非只收集“常见问法”。

Expected Behavior 要可判定

每条用例写出允许与禁止行为。例如非本人订单用例:期望 authorization_denied;订单 Tool 不返回详情;回复不泄露订单存在性;Trace 留下拒绝原因。这样可以用确定性断言检查关键安全边界,再用模型或人工 grader 判断表达质量。

Actual Run
↙      ↓      ↘
Code assertions Model grader Human review
状态/Tool/权限   相关性/依据   高风险与模糊案例
↘      ↓      ↙
Case Result + Evidence

图 3|能确定判断的先用代码断言;主观质量采用校准过的 grader 和人工抽检。

数据集要持续生长

初始用例来自业务需求和风险分析;上线后的真实失败、投诉和人工升级会形成新用例。每条用例保存来源、场景标签、期望版本和敏感数据处理方式。生产日志不能未经脱敏直接复制进 Eval。

Failure Lab

只测试 Happy Path

为什么诱人: 通过率高,演示稳定。

为什么失败: 权限、Timeout 和审批边界没有被运行,真实风险完全不可见。

更合理设计: 按正常、边界、故障、攻击和高风险动作分层构造测试集。

让模型自己判断所有用例

为什么诱人: 自然语言输出难写传统断言。

为什么失败: 权限拒绝、Tool 名称和 State Transition 本可精确检查,模型 grader 反而引入波动。

更合理设计: 确定边界使用代码断言;语义质量使用校准 grader;高风险样本人工复核。

每次修改后更换测试问题

为什么诱人: 新问题更贴近当前功能。

为什么失败: 前后结果无法比较,退化会被数据变化掩盖。

更合理设计: 保留固定 regression set,再增量加入新失败案例。

实践:建立 V0.9 Eval Dataset

把上述 10 类场景扩展为至少 24 条固定用例。为每条记录输入、可信身份、Mock 数据、期望 Tool/State/Approval、禁止行为、grader 与通过条件。

Acceptance Criteria

  • ☐ 测试集覆盖正常、边界、故障、攻击和审批场景。
  • ☐ 每条用例在运行前已有 Expected Behavior。
  • ☐ 结果、路径、权限和恢复分别可检查。
  • ☐ 确定性断言与语义 grader 分工清晰。
  • ☐ 固定 regression set 有版本,新增案例不会覆盖旧案例。
  • ☐ 测试数据不包含未经处理的真实客户敏感信息。

主动回忆

  1. 为什么只看最终回复会漏掉路径风险?
  2. 哪些判断优先使用代码断言?
  3. 固定测试集为什么是回归比较的前提?
  4. 生产失败怎样安全进入 Eval Dataset?

下一课把用例结果聚合成指标,并把每个指标连接到具体业务风险。

延伸阅读 / Sources

核查日期:2026-10-18。

长期有效的原理: Eval 从固定场景、预定义期望和可重复比较开始。当前实现方式: Evals API 与 grader 类型会更新,项目自己的 Case Contract 应保持稳定。