跳到主要内容
← 返回AI Agent Engineering|12 周从 Demo 到真实 Agent 系统

AI Agent Engineering · Week 09

09-04|实战:Regression Test + Reliability Report

完成 Support Agent V0.9:运行固定测试集、计算业务指标、关联失败 Trace,并生成可审阅的 Reliability Report。

实战 · Regression · Reliability Report · V0.9

Business Goal

团队准备修改 Prompt、模型、Tool Schema、RAG chunking 或退款 Workflow。上线前需要回答:固定场景是否退化,高风险边界是否仍通过,失败集中在哪里,延迟与成本发生了什么变化。

本课把 V0.1~V0.8 包装进可重复 Regression Pipeline,完成 Support Agent V0.9 Reliability Layer。

Current Architecture

V0.8 Support Agent
  Structured Intent → Loop → Tools → API / MCP
  → Workflow / State → Context / Memory → RAG → Human Approval

已有单项测试和 Trace,但缺少固定数据集、统一运行器与版本化报告。

This Lesson Change

Versioned Eval Dataset
↓
Batch Runner + Fixed Mock World
↓
Results + Assertions + Graders
↓
Metrics + Failed Cases + Trace Links
↓
Reliability Report → Ship / Block / Investigate

图 1|同一数据集与 Mock 世界重复运行,结果才可与基线比较。

Codex Task

为 Cross-border AI Support Agent V0.8 建立 V0.9 reliability pipeline。

输入:
- versioned eval dataset,覆盖正常订单、缺订单号、not_found、
  unauthorized、timeout、模糊退款、多语言、企业知识、
  malicious input、human approval。
- 固定 Mock order / logistics / policy / approval 数据。

实现:
1. 批量运行每个 case,隔离 State、Memory 与 idempotency 数据。
2. 保存 systemVersion、datasetVersion、model/prompt/tool/rag/workflow 版本。
3. 保存结构化 Result、assertion、grader、latency、token/cost、traceId。
4. 计算 Completion、Tool Accuracy、Unsupported Claim、Failure、
   Escalation、Latency 与 Cost,并按标签分段。
5. 标记新增失败、已修复、持续失败和波动案例。
6. 生成 Markdown Reliability Report 与机器可读 JSON。
7. Unauthorized Action 必须为 0;任何安全回归直接 block。
8. 不读取生产客户数据,不调用生产退款。

实现前报告 Case/Result/Metric Contract 与文件范围;
实现后运行标准验证并输出报告路径。

Result Contract

{
  "runId": "eval-v0.9-20261018-01",
  "caseId": "refund-approval-unauthorized-01",
  "systemVersion": "v0.9-candidate-1",
  "datasetVersion": "support-eval-1.0",
  "expected": { "outcome": "authorization_denied" },
  "actual": { "outcome": "authorization_denied" },
  "assertions": [{ "name": "refund_not_executed", "pass": true }],
  "traceId": "trace_safe_42",
  "latencyMs": 840,
  "status": "pass"
}

Regression Comparison

New failure

基线通过,候选失败 → 优先调查

Fixed

基线失败,候选通过 → 保留用例

Persistent

两版都失败 → 已知问题与负责人

Flaky

相同版本重复结果不同 → 隔离波动来源

Safety regression

任何越权或未审批执行 → Block

图 2|回归关注变化;失败列表必须能回到具体 Case 与 Trace。

Reliability Report 结构

  1. Scope:系统、数据集、Mock 与版本。
  2. Executive Decision:Ship / Block / Investigate。
  3. Metric Summary:质量、安全、延迟、成本及分段。
  4. Regression Detail:新增失败、修复、波动。
  5. Failure Evidence:caseId、traceId、原因与影响。
  6. Known Limits:未覆盖范围、风险和负责人。
  7. Next Actions:修复、复测、接受风险或停止发布。
图 3|报告服务发布决定;图表和百分比必须能追溯到原始 Case Result。

Test Cases for the Pipeline

  1. 同一版本、同一数据集重复运行,确定性断言一致。
  2. 修改 Prompt 后自动重跑全部 regression set。
  3. Tool 名称变化导致旧路径失败,报告列为 new failure。
  4. RAG 过滤错误导致德国政策命中美国文档,关联 Retrieval Trace。
  5. 未授权审批被错误接受,立即标记 safety regression 并 Block。
  6. 某一语言样本失败率升高,分段指标能够暴露。
  7. 单条 Trace 丢失,Case 标记 observability incomplete。
  8. 报告中的分子、分母可以从 Result JSON 重新计算。

Failure Lab

修改 Prompt 后只手测三个问题

为什么诱人: 改动看起来很小,人工检查很快。

为什么失败: Tool、RAG、语言和审批路径可能间接受影响,手测样本也无法与基线严格比较。

更合理设计: Prompt、Model、Tool、RAG、Workflow 任一变化都触发固定 Regression。

报告只展示通过率

为什么诱人: 管理者可以快速看到一个结论。

为什么失败: 99% 通过率仍可能包含一次未授权退款,高风险错误被平均值隐藏。

更合理设计: 安全 Guardrail 独立阻断,并列出失败 Case、Trace 与影响。

用最新生产数据直接跑 Eval

为什么诱人: 场景最真实,不必维护 Mock。

为什么失败: 数据变化破坏可重复性,也可能暴露客户信息或触发真实副作用。

更合理设计: 使用去标识、版本化测试数据和安全 Mock;生产信号经审核后转成新用例。

Acceptance Criteria

  • ☐ 固定测试集覆盖 Week 09-01 的 10 类场景。
  • ☐ 每次运行记录系统、数据集和全部关键组件版本。
  • ☐ Case 独立,State、Memory、幂等键与 Mock 数据不会串扰。
  • ☐ 结果保存断言、grader、指标原始值和 traceId。
  • ☐ 报告区分 new、fixed、persistent 与 flaky。
  • ☐ Unauthorized Action Rate 必须为 0,安全回归自动 Block。
  • ☐ Prompt、Model、Tool、RAG、Workflow 变化均触发 Regression。
  • ☐ Markdown Report 与 JSON Result 可相互核对。
  • ☐ 未使用生产客户数据或生产退款能力。

Architecture After This Lesson

Support Agent V0.9 Reliability Layer
  V0.1–V0.8 System
    ↕ versioned cases and traces
  Regression Runner
    → Result Store
      → Metrics
        → Reliability Report
          → Ship / Block / Investigate

Week 09 完成。Support Agent 第一次能用固定测试、业务指标和失败 Trace 回答:“为什么可以继续发布,或者为什么必须停止。”Week 10 将继续处理安全边界与对抗性输入。

延伸阅读 / Sources

核查日期:2026-10-18。

长期有效的原理: 每次系统变化都应在固定场景上比较,并让失败回到可检查的执行证据。当前实现方式: Evals 与 Tracing API 会变化,Case、Result、Metric 与 Report Contract 应由项目自己版本化。