跳到主要内容
← 返回AI Agent Engineering|12 周从 Demo 到真实 Agent 系统

AI Agent Engineering · Week 11

11-03|实战:部署、监控、回滚与生产验收

把 V1.0 RC 部署到参考环境,完成健康检查、Smoke、监控、回滚演练与生产验收。

实战 · Deployment · Monitoring · Rollback · V1.0

Business Goal

V1.0 RC 已通过功能回归和安全门禁。团队还需要证明:服务能从目标环境启动,持久数据能恢复,关键依赖可观察,坏版本能停止接流量并回退,值班人员知道发生故障时做什么。

本课完成 Support Agent V1.0 Production 的参考部署与验收。它提供可操作路径,不宣称一次教学部署已经满足所有企业合规、容量和组织要求。

Current Architecture

V1.0 RC
  Agent + Tools + RAG + Refund Workflow + Approval
  Reliability Report + Security Report
  Docker Image + CI/CD Plan

缺少目标环境、运行配置、Health、Smoke、Alert、Rollback 与 Runbook 证据。

Reference Deployment Path

Git Commit
↓ verify + build
Container Image Digest
↓ deploy
Staging:Agent API + Mock Business APIs + Test DB
↓ eval + security + smoke + approval
Production:Agent API + Authorized Integrations + Persistent DB
↓ monitor
Keep Previous Digest → Rollback

图 1|相同 Image 先经 Staging 证据,再被提升到 Production;上一稳定版本始终可恢复。

教学环境首选 Docker Compose:Frontend、Agent API、Mock Order/Logistics、数据库和本地可观测组件。云端路径可选任一支持容器、TLS、Secret、持久数据库和部署历史的平台。真实域名、云账号、账单、模型 Key、邮件/SMS 和 Shopify/ERP 权限需要学员自行获得;缺少时保留 Mock,仍可完成架构与验收练习。

Codex Task

为 Cross-border AI Support Agent V1.0 RC 建立 reference deployment。

1. 生成生产 Dockerfile、compose local profile 与环境变量说明。
2. 启动时校验必需 Config;缺 Secret 时 fail fast,日志不输出值。
3. 数据库保存 Workflow、Approval、Idempotency、Audit 与必要运行状态。
4. 提供 /health/live 和 /health/ready;readiness 检查关键依赖。
5. 为模型、Tool、RAG、Workflow、Approval 建立 Trace 和关键指标。
6. 部署 Staging,运行 V0.9 Regression 与 V1.0 RC Security Suite。
7. 执行 Smoke:多语言意图、本人订单、RAG 政策、退款审批、越权拒绝。
8. 保存 current/previous image digest,演练坏版本与数据库兼容回滚。
9. 生成 Deployment Record、Runbook 与 Production Acceptance Report。
10. 默认使用 Mock;生产第三方集成只在拥有明确授权时启用。

Health、Monitor 与 Rollback

Liveness

进程是否还能响应;失败则替换实例

Readiness

是否具备接收流量的必要依赖和配置

Smoke

部署后关键业务路径是否工作

Monitor

Error、Latency、Saturation、Cost、安全与业务信号

Alert

阈值、窗口、责任人、证据链接

Rollback

停止新流量,恢复上一 digest,验证数据兼容

图 2|Health 决定能否接流量,监控发现退化,回滚恢复稳定版本。

Production Acceptance Evidence

  1. Build:commit、image digest、依赖与构建结果。
  2. Config:变量清单、Secret Owner、轮换和缺失行为。
  3. Data:迁移、备份、恢复、保留和隐私边界。
  4. Quality:Regression、Security、Smoke 与已知限制。
  5. Operations:Health、Dashboard、Alert、Runbook 与 On-call。
  6. Recovery:Rollback 步骤、目标版本、恢复验证和数据兼容。
图 3|生产验收关注可运行、可观察、可恢复和责任明确,远超一次成功启动。

Test Cases

  1. 缺少模型 Key 时服务拒绝进入 Ready,日志只显示变量名。
  2. 数据库短暂不可用时有副作用流程停止,恢复后从持久 State 继续。
  3. Order API timeout 不生成猜测结果,并产生可定位 Trace 与告警。
  4. 部署后 Smoke 覆盖查询、RAG、审批、越权拒绝和多语言输入。
  5. 坏版本 Health 失败,不进入流量池。
  6. 回滚到 previous digest 后,旧 Workflow 与审批记录仍可读取。
  7. 重放 refund request 不产生第二次执行。
  8. Dashboard 指标能关联部署版本、caseId 和 traceId。

Failure Lab

Health Check 只返回固定 200

为什么诱人: 平台会把容器标成 Healthy。

为什么失败: 关键配置、数据库或依赖已失效时仍继续接流量。

更合理设计: Liveness 保持轻量;Readiness 检查接流量所需的关键条件,并设置超时。

出问题时在服务器上手改代码

为什么诱人: 看起来比重跑流水线更快。

为什么失败: 运行版本失去可追溯性,下一次替换实例会丢失修改。

更合理设计: 回滚到已验证 digest;修复通过正常 CI/CD 生成新候选。

回滚应用但忽略数据变化

为什么诱人: 切回上一 Image 很快。

为什么失败: 新版本数据库迁移或事件格式可能与旧应用不兼容。

更合理设计: 使用向后兼容迁移、分阶段发布,并把数据恢复纳入回滚演练。

Acceptance Criteria

  • ☐ 干净环境可以按照 README 启动本地参考部署。
  • ☐ Staging 使用与 Production 相同的 Image digest。
  • ☐ Config、Secrets 和持久数据都在容器之外管理。
  • ☐ Liveness、Readiness、Smoke 与关键依赖失败行为已验证。
  • ☐ Regression 与 Security Suite 在部署候选上通过。
  • ☐ Logs、Traces、Metrics 和 Alerts 能关联部署版本。
  • ☐ 回滚演练包含应用版本、数据库兼容和恢复后 Smoke。
  • ☐ 第三方云服务、付费资源和企业授权条件已明确,并有本地 Mock 替代路径。
  • ☐ Production Acceptance Report 记录已知限制、Owner 与发布决定。

Architecture After This Lesson

Support Agent V1.0 Production
  V1.0 RC Controls
    → Immutable Image + Environment Config
      → Staging Gates
        → Production Runtime
          ↔ Persistent State
          ↔ Logs / Traces / Metrics / Alerts
          ↔ Rollback + Runbook

Week 11 完成。系统已经拥有一条可复现、可观察、可回退的参考运行路径。下一周把全部工程证据整理成企业可以演示、验收和接手的交付包。

延伸阅读 / Sources

核查日期:2026-10-18。

长期有效的原理: 生产系统需要可复现部署、持久状态、健康检查、观测、回滚和明确责任。当前实现方式: 云平台命令与界面会变化,验收证据和恢复目标应由项目持续维护。