AI Agent Engineering · Week 09
09-04|实战:Regression Test + Reliability Report
完成 Support Agent V0.9:运行固定测试集、计算业务指标、关联失败 Trace,并生成可审阅的 Reliability Report。
Business Goal
团队准备修改 Prompt、模型、Tool Schema、RAG chunking 或退款 Workflow。上线前需要回答:固定场景是否退化,高风险边界是否仍通过,失败集中在哪里,延迟与成本发生了什么变化。
本课把 V0.1~V0.8 包装进可重复 Regression Pipeline,完成 Support Agent V0.9 Reliability Layer。
Current Architecture
V0.8 Support Agent
Structured Intent → Loop → Tools → API / MCP
→ Workflow / State → Context / Memory → RAG → Human Approval
已有单项测试和 Trace,但缺少固定数据集、统一运行器与版本化报告。
This Lesson Change
Versioned Eval Dataset
↓
Batch Runner + Fixed Mock World
↓
Results + Assertions + Graders
↓
Metrics + Failed Cases + Trace Links
↓
Reliability Report → Ship / Block / Investigate
Codex Task
为 Cross-border AI Support Agent V0.8 建立 V0.9 reliability pipeline。
输入:
- versioned eval dataset,覆盖正常订单、缺订单号、not_found、
unauthorized、timeout、模糊退款、多语言、企业知识、
malicious input、human approval。
- 固定 Mock order / logistics / policy / approval 数据。
实现:
1. 批量运行每个 case,隔离 State、Memory 与 idempotency 数据。
2. 保存 systemVersion、datasetVersion、model/prompt/tool/rag/workflow 版本。
3. 保存结构化 Result、assertion、grader、latency、token/cost、traceId。
4. 计算 Completion、Tool Accuracy、Unsupported Claim、Failure、
Escalation、Latency 与 Cost,并按标签分段。
5. 标记新增失败、已修复、持续失败和波动案例。
6. 生成 Markdown Reliability Report 与机器可读 JSON。
7. Unauthorized Action 必须为 0;任何安全回归直接 block。
8. 不读取生产客户数据,不调用生产退款。
实现前报告 Case/Result/Metric Contract 与文件范围;
实现后运行标准验证并输出报告路径。
Result Contract
{
"runId": "eval-v0.9-20261018-01",
"caseId": "refund-approval-unauthorized-01",
"systemVersion": "v0.9-candidate-1",
"datasetVersion": "support-eval-1.0",
"expected": { "outcome": "authorization_denied" },
"actual": { "outcome": "authorization_denied" },
"assertions": [{ "name": "refund_not_executed", "pass": true }],
"traceId": "trace_safe_42",
"latencyMs": 840,
"status": "pass"
}
Regression Comparison
基线通过,候选失败 → 优先调查
基线失败,候选通过 → 保留用例
两版都失败 → 已知问题与负责人
相同版本重复结果不同 → 隔离波动来源
任何越权或未审批执行 → Block
Reliability Report 结构
- Scope:系统、数据集、Mock 与版本。
- Executive Decision:Ship / Block / Investigate。
- Metric Summary:质量、安全、延迟、成本及分段。
- Regression Detail:新增失败、修复、波动。
- Failure Evidence:caseId、traceId、原因与影响。
- Known Limits:未覆盖范围、风险和负责人。
- Next Actions:修复、复测、接受风险或停止发布。
Test Cases for the Pipeline
- 同一版本、同一数据集重复运行,确定性断言一致。
- 修改 Prompt 后自动重跑全部 regression set。
- Tool 名称变化导致旧路径失败,报告列为 new failure。
- RAG 过滤错误导致德国政策命中美国文档,关联 Retrieval Trace。
- 未授权审批被错误接受,立即标记 safety regression 并 Block。
- 某一语言样本失败率升高,分段指标能够暴露。
- 单条 Trace 丢失,Case 标记 observability incomplete。
- 报告中的分子、分母可以从 Result JSON 重新计算。
Failure Lab
修改 Prompt 后只手测三个问题
为什么诱人: 改动看起来很小,人工检查很快。
为什么失败: Tool、RAG、语言和审批路径可能间接受影响,手测样本也无法与基线严格比较。
更合理设计: Prompt、Model、Tool、RAG、Workflow 任一变化都触发固定 Regression。
报告只展示通过率
为什么诱人: 管理者可以快速看到一个结论。
为什么失败: 99% 通过率仍可能包含一次未授权退款,高风险错误被平均值隐藏。
更合理设计: 安全 Guardrail 独立阻断,并列出失败 Case、Trace 与影响。
用最新生产数据直接跑 Eval
为什么诱人: 场景最真实,不必维护 Mock。
为什么失败: 数据变化破坏可重复性,也可能暴露客户信息或触发真实副作用。
更合理设计: 使用去标识、版本化测试数据和安全 Mock;生产信号经审核后转成新用例。
Acceptance Criteria
- ☐ 固定测试集覆盖 Week 09-01 的 10 类场景。
- ☐ 每次运行记录系统、数据集和全部关键组件版本。
- ☐ Case 独立,State、Memory、幂等键与 Mock 数据不会串扰。
- ☐ 结果保存断言、grader、指标原始值和 traceId。
- ☐ 报告区分 new、fixed、persistent 与 flaky。
- ☐ Unauthorized Action Rate 必须为 0,安全回归自动 Block。
- ☐ Prompt、Model、Tool、RAG、Workflow 变化均触发 Regression。
- ☐ Markdown Report 与 JSON Result 可相互核对。
- ☐ 未使用生产客户数据或生产退款能力。
Architecture After This Lesson
Support Agent V0.9 Reliability Layer
V0.1–V0.8 System
↕ versioned cases and traces
Regression Runner
→ Result Store
→ Metrics
→ Reliability Report
→ Ship / Block / Investigate
Week 09 完成。Support Agent 第一次能用固定测试、业务指标和失败 Trace 回答:“为什么可以继续发布,或者为什么必须停止。”Week 10 将继续处理安全边界与对抗性输入。
延伸阅读 / Sources
核查日期:2026-10-18。
- OpenAI API:Evaluation best practices。用于核对持续评估、任务特定标准与人工校准。
- OpenAI API:Working with evals。用于核对当前批量 Eval 与结果工作流。
- OpenAI Agents SDK:Tracing。用于核对当前 Agent Trace、Span 与敏感数据控制。
长期有效的原理: 每次系统变化都应在固定场景上比较,并让失败回到可检查的执行证据。当前实现方式: Evals 与 Tracing API 会变化,Case、Result、Metric 与 Report Contract 应由项目自己版本化。