AI Agent Engineering · Week 11
11-03|实战:部署、监控、回滚与生产验收
把 V1.0 RC 部署到参考环境,完成健康检查、Smoke、监控、回滚演练与生产验收。
Business Goal
V1.0 RC 已通过功能回归和安全门禁。团队还需要证明:服务能从目标环境启动,持久数据能恢复,关键依赖可观察,坏版本能停止接流量并回退,值班人员知道发生故障时做什么。
本课完成 Support Agent V1.0 Production 的参考部署与验收。它提供可操作路径,不宣称一次教学部署已经满足所有企业合规、容量和组织要求。
Current Architecture
V1.0 RC
Agent + Tools + RAG + Refund Workflow + Approval
Reliability Report + Security Report
Docker Image + CI/CD Plan
缺少目标环境、运行配置、Health、Smoke、Alert、Rollback 与 Runbook 证据。
Reference Deployment Path
Git Commit
↓ verify + build
Container Image Digest
↓ deploy
Staging:Agent API + Mock Business APIs + Test DB
↓ eval + security + smoke + approval
Production:Agent API + Authorized Integrations + Persistent DB
↓ monitor
Keep Previous Digest → Rollback
教学环境首选 Docker Compose:Frontend、Agent API、Mock Order/Logistics、数据库和本地可观测组件。云端路径可选任一支持容器、TLS、Secret、持久数据库和部署历史的平台。真实域名、云账号、账单、模型 Key、邮件/SMS 和 Shopify/ERP 权限需要学员自行获得;缺少时保留 Mock,仍可完成架构与验收练习。
Codex Task
为 Cross-border AI Support Agent V1.0 RC 建立 reference deployment。
1. 生成生产 Dockerfile、compose local profile 与环境变量说明。
2. 启动时校验必需 Config;缺 Secret 时 fail fast,日志不输出值。
3. 数据库保存 Workflow、Approval、Idempotency、Audit 与必要运行状态。
4. 提供 /health/live 和 /health/ready;readiness 检查关键依赖。
5. 为模型、Tool、RAG、Workflow、Approval 建立 Trace 和关键指标。
6. 部署 Staging,运行 V0.9 Regression 与 V1.0 RC Security Suite。
7. 执行 Smoke:多语言意图、本人订单、RAG 政策、退款审批、越权拒绝。
8. 保存 current/previous image digest,演练坏版本与数据库兼容回滚。
9. 生成 Deployment Record、Runbook 与 Production Acceptance Report。
10. 默认使用 Mock;生产第三方集成只在拥有明确授权时启用。
Health、Monitor 与 Rollback
进程是否还能响应;失败则替换实例
是否具备接收流量的必要依赖和配置
部署后关键业务路径是否工作
Error、Latency、Saturation、Cost、安全与业务信号
阈值、窗口、责任人、证据链接
停止新流量,恢复上一 digest,验证数据兼容
Production Acceptance Evidence
- Build:commit、image digest、依赖与构建结果。
- Config:变量清单、Secret Owner、轮换和缺失行为。
- Data:迁移、备份、恢复、保留和隐私边界。
- Quality:Regression、Security、Smoke 与已知限制。
- Operations:Health、Dashboard、Alert、Runbook 与 On-call。
- Recovery:Rollback 步骤、目标版本、恢复验证和数据兼容。
Test Cases
- 缺少模型 Key 时服务拒绝进入 Ready,日志只显示变量名。
- 数据库短暂不可用时有副作用流程停止,恢复后从持久 State 继续。
- Order API timeout 不生成猜测结果,并产生可定位 Trace 与告警。
- 部署后 Smoke 覆盖查询、RAG、审批、越权拒绝和多语言输入。
- 坏版本 Health 失败,不进入流量池。
- 回滚到 previous digest 后,旧 Workflow 与审批记录仍可读取。
- 重放 refund request 不产生第二次执行。
- Dashboard 指标能关联部署版本、caseId 和 traceId。
Failure Lab
Health Check 只返回固定 200
为什么诱人: 平台会把容器标成 Healthy。
为什么失败: 关键配置、数据库或依赖已失效时仍继续接流量。
更合理设计: Liveness 保持轻量;Readiness 检查接流量所需的关键条件,并设置超时。
出问题时在服务器上手改代码
为什么诱人: 看起来比重跑流水线更快。
为什么失败: 运行版本失去可追溯性,下一次替换实例会丢失修改。
更合理设计: 回滚到已验证 digest;修复通过正常 CI/CD 生成新候选。
回滚应用但忽略数据变化
为什么诱人: 切回上一 Image 很快。
为什么失败: 新版本数据库迁移或事件格式可能与旧应用不兼容。
更合理设计: 使用向后兼容迁移、分阶段发布,并把数据恢复纳入回滚演练。
Acceptance Criteria
- ☐ 干净环境可以按照 README 启动本地参考部署。
- ☐ Staging 使用与 Production 相同的 Image digest。
- ☐ Config、Secrets 和持久数据都在容器之外管理。
- ☐ Liveness、Readiness、Smoke 与关键依赖失败行为已验证。
- ☐ Regression 与 Security Suite 在部署候选上通过。
- ☐ Logs、Traces、Metrics 和 Alerts 能关联部署版本。
- ☐ 回滚演练包含应用版本、数据库兼容和恢复后 Smoke。
- ☐ 第三方云服务、付费资源和企业授权条件已明确,并有本地 Mock 替代路径。
- ☐ Production Acceptance Report 记录已知限制、Owner 与发布决定。
Architecture After This Lesson
Support Agent V1.0 Production
V1.0 RC Controls
→ Immutable Image + Environment Config
→ Staging Gates
→ Production Runtime
↔ Persistent State
↔ Logs / Traces / Metrics / Alerts
↔ Rollback + Runbook
Week 11 完成。系统已经拥有一条可复现、可观察、可回退的参考运行路径。下一周把全部工程证据整理成企业可以演示、验收和接手的交付包。
延伸阅读 / Sources
核查日期:2026-10-18。
- Dockerfile reference:HEALTHCHECK。用于核对容器健康状态与检查行为。
- GitHub Docs:Configuring and managing deployments。用于核对环境保护、部署历史与审批。
- OpenTelemetry:Traces。用于核对跨模型、Tool 与服务调用的追踪结构。
长期有效的原理: 生产系统需要可复现部署、持久状态、健康检查、观测、回滚和明确责任。当前实现方式: 云平台命令与界面会变化,验收证据和恢复目标应由项目持续维护。