AI Agent Engineering · Week 09
09-01|Agent Eval:到底应该测什么
从真实跨境客服测试集建立 Agent Eval,分别验证结果、路径、安全边界和失败恢复。
一次成功没有统计意义
Demo 中输入一个正常订单号,Agent 顺利查询物流并回复,只证明这一条路径刚刚成功。真实系统还会遇到缺订单号、非本人订单、Tool timeout、模糊退款、多语言、知识证据不足、恶意输入和审批等待。
Agent Eval 把这些场景固定成可重复运行的测试集,并为每条输入定义期望行为。
Test Case
↓
Expected Behavior
↓ run fixed system version
Actual Result + Trace
↓ graders / assertions
Pass / Fail + Reason
测四个层次
- 结果:最终回答和业务状态是否正确、完整、有证据。
- 路径:是否选择正确 Tool、RAG、Workflow 与 Approval。
- 边界:是否拒绝越权、恶意输入和证据不足的请求。
- 恢复:Timeout、空结果、重复事件后是否按预期停止、重试或升级。
只评最终文字会漏掉危险路径:Agent 可能先查询了错误客户订单,最后又写出一段看似合理的回复。
V0.9 基准测试集
正确 Tool + 本人订单 + 有依据回复
澄清;不猜 ID
not_found;不编状态
拒绝访问并审计
有限重试 / 升级
澄清金额与原因
保留意图与证据
RAG + citation / abstain
Guardrail / 权限不被绕过
暂停;未批准不执行
Expected Behavior 要可判定
每条用例写出允许与禁止行为。例如非本人订单用例:期望 authorization_denied;订单 Tool 不返回详情;回复不泄露订单存在性;Trace 留下拒绝原因。这样可以用确定性断言检查关键安全边界,再用模型或人工 grader 判断表达质量。
Actual Run
↙ ↓ ↘
Code assertions Model grader Human review
状态/Tool/权限 相关性/依据 高风险与模糊案例
↘ ↓ ↙
Case Result + Evidence
数据集要持续生长
初始用例来自业务需求和风险分析;上线后的真实失败、投诉和人工升级会形成新用例。每条用例保存来源、场景标签、期望版本和敏感数据处理方式。生产日志不能未经脱敏直接复制进 Eval。
Failure Lab
只测试 Happy Path
为什么诱人: 通过率高,演示稳定。
为什么失败: 权限、Timeout 和审批边界没有被运行,真实风险完全不可见。
更合理设计: 按正常、边界、故障、攻击和高风险动作分层构造测试集。
让模型自己判断所有用例
为什么诱人: 自然语言输出难写传统断言。
为什么失败: 权限拒绝、Tool 名称和 State Transition 本可精确检查,模型 grader 反而引入波动。
更合理设计: 确定边界使用代码断言;语义质量使用校准 grader;高风险样本人工复核。
每次修改后更换测试问题
为什么诱人: 新问题更贴近当前功能。
为什么失败: 前后结果无法比较,退化会被数据变化掩盖。
更合理设计: 保留固定 regression set,再增量加入新失败案例。
实践:建立 V0.9 Eval Dataset
把上述 10 类场景扩展为至少 24 条固定用例。为每条记录输入、可信身份、Mock 数据、期望 Tool/State/Approval、禁止行为、grader 与通过条件。
Acceptance Criteria
- ☐ 测试集覆盖正常、边界、故障、攻击和审批场景。
- ☐ 每条用例在运行前已有 Expected Behavior。
- ☐ 结果、路径、权限和恢复分别可检查。
- ☐ 确定性断言与语义 grader 分工清晰。
- ☐ 固定 regression set 有版本,新增案例不会覆盖旧案例。
- ☐ 测试数据不包含未经处理的真实客户敏感信息。
主动回忆
- 为什么只看最终回复会漏掉路径风险?
- 哪些判断优先使用代码断言?
- 固定测试集为什么是回归比较的前提?
- 生产失败怎样安全进入 Eval Dataset?
下一课把用例结果聚合成指标,并把每个指标连接到具体业务风险。
延伸阅读 / Sources
核查日期:2026-10-18。
- OpenAI API:Evaluation best practices。用于核对目标驱动、任务特定和持续评估原则。
- OpenAI API:Getting started with datasets。用于核对当前 Dataset 与 Grader 工作流。
- OpenAI API:Working with evals。用于核对当前批量运行与结果结构。
长期有效的原理: Eval 从固定场景、预定义期望和可重复比较开始。当前实现方式: Evals API 与 grader 类型会更新,项目自己的 Case Contract 应保持稳定。