跳到主要内容
← 返回AI Agent Engineering|12 周从 Demo 到真实 Agent 系统

AI Agent Engineering · Week 12

12-03|Final Challenge:独立设计与交付一个 Agent 案例

基于 12 周累积资产,完成跨境客服 Agent 的独立架构判断、工程证据、演示和企业交付。

Final Challenge · Case Study · Enterprise Delivery

Final Brief

我们公司的海外客服每天需要处理大量订单查询、物流异常和退款问题。客户来自多个国家,服务团队使用 Shopify、ERP、承运商系统和企业政策文档。希望 AI 降低重复查询工作,同时确保客户数据、退款权限和异常处理安全可控。

你需要基于已经完成的 Cross-border AI Support Agent V1.0,独立形成一份可以演示、验收和交接的企业案例。可以继续使用 Mock 数据和教学部署;所有模拟、限制与未获得的企业授权必须明确披露。

Challenge Path

Discovery Brief
↓
Architecture Decisions
↓
Working V1.0 + Mock / Authorized Integrations
↓
Regression + Security + Deployment Evidence
↓
Demo + Case Study + Handover
↓
Independent Acceptance

图 1|最终挑战不重做项目;它要求你独立解释、验证并交付此前累积的系统。

Architecture Decision Worksheet

逐项给出选择、理由、失败边界和证据:

  1. 哪些任务只需普通代码或 Rules?
  2. 哪些业务生命线必须使用确定性 Workflow?
  3. 哪些环节需要 Agent 在有限选项中动态判断?
  4. Order、Logistics、Refund Tool 的 Input、Output、Permission 与 Failure Contract 是什么?
  5. 哪些集成直接使用 API,哪些能力值得封装为 MCP,为什么?
  6. 订单事实、Workflow State、长期 Memory 与 RAG Knowledge 分别放在哪里?
  7. 哪些动作 Fully Automated、Agent Assisted、Human Approval 或 Human Only?
  8. 如何测功能、可靠性、越权、注入、延迟与成本?
  9. 如何部署、监控、处理事故和回滚?
  10. 客户用什么证据验收,交接后由谁维护?
V0.1–V0.3

Structured Intent · Loop · Tools

V0.4–V0.6

API/MCP · Workflow/State · Context/Memory

V0.7–V0.8

RAG Evidence · Human Approval

V0.9

Eval · Trace · Reliability Report

V1.0 RC

Threat Model · AuthZ · Security Regression

V1.0 Production

Deploy · Health · Monitor · Rollback

图 2|Final Delivery 引用已有版本资产,避免把每周成果重新包装成孤立 Demo。

Required Delivery Package

  • 可运行的 Cross-border AI Support Agent(本地或经授权的在线环境)。
  • GitHub Repository、README、架构图与决策记录。
  • Workflow / Tools / API / MCP 说明。
  • Database、State、Memory、Context 与 RAG 设计。
  • 权限、安全与 Threat Model。
  • Eval Dataset、Reliability Report 与 Security Report。
  • 部署、监控、回滚和 Runbook。
  • 5~8 分钟 Demo Script 与演示素材。
  • Enterprise Case Study 和交接清单。

评分与硬门禁

20 分 · Requirement
问题、角色、数据、流程、异常、风险与范围清楚
20 分 · Architecture
技术选择匹配确定性、数据所有权与动作风险
20 分 · Working System
核心路径可运行,State、Tool、RAG、Approval 连续
15 分 · Reliability
固定测试、指标、Trace 和失败证据可重复
15 分 · Security / Operations
授权、注入、Secrets、部署、监控和回滚有效
10 分 · Delivery
README、Demo、Case Study、限制与交接清楚

Hard Gate:跨客户数据泄露、未授权退款、Secret 明文、无法重复启动或虚构生产结果,任一出现都不能判定交付通过。

图 3|建议总分 80/100 且全部 Hard Gate 通过;分数不能抵消安全和真实性问题。

Codex Collaboration Contract

你负责 Business Requirement、Architecture、Constraints、Acceptance Criteria 和 Risk Decision。Codex 可以协助 Repository Inspection、Implementation、Tests、Debug、Refactor 和 Build。每个实现任务都要给出允许修改的文件、接口、测试、验收和禁止事项;你需要阅读 Diff、运行验证并对最终设计负责。

Project Experience Statement

使用四类事实描述项目:

  • 个人设计: 需求拆解、架构选择、权限边界、测试和交付标准。
  • Codex 协助: 代码实现、测试脚手架、调试或文档整理的具体范围。
  • 实际验证: 在哪个版本、环境和数据集上通过了哪些用例。
  • 当前限制: Mock 集成、未获企业授权、没有真实流量、尚未完成的审计或容量测试。

示例:“我设计并交付了跨境客服 Agent 的订单查询、RAG 政策回答与退款审批流程;使用 Codex 协助实现和生成测试;在隔离 Mock 环境完成回归、安全与回滚演练。当前未连接真实 Shopify 支付,也未接受企业级渗透测试。”

Failure Lab

用技术名词数量争取高分

为什么诱人: Agent、MCP、RAG、Memory、Multi-Agent 听起来覆盖广。

为什么失败: 技术无法追溯到需求,系统复杂却缺少责任、边界与验证。

更合理设计: 每项技术都回答一个明确问题,并展示替代方案和验收证据。

宣称“生产可用”却只有本地演示

为什么诱人: 作品描述更有冲击力。

为什么失败: 没有真实环境、容量、安全评审和运维责任,结论超出证据。

更合理设计: 写明“参考生产架构”“本地/教学部署”以及已经实际验证的范围。

隐藏 Codex 的参与

为什么诱人: 担心协作实现削弱个人能力。

为什么失败: 无法说明自己承担的判断,也容易把未理解的代码当成个人成果。

更合理设计: 准确区分个人决策、Codex 协助、测试证据和已知限制。

Final Acceptance Criteria

  • ☐ 完成 Discovery Brief,并把关键需求追到架构、测试和 Owner。
  • ☐ 系统连续继承 V0.1~V1.0,没有重新制作孤立 Demo。
  • ☐ Code、Workflow、Agent、Tools、API/MCP、Data/RAG 的选择均有理由。
  • ☐ 订单、物流、退款、审批和知识回答拥有明确失败路径。
  • ☐ Reliability 与 Security 报告能够从原始 Case 和 Trace 复算或复核。
  • ☐ 客户 A 无法访问客户 B 数据,敏感动作无法绕过授权与审批。
  • ☐ 项目可以按文档启动、监控和回滚;缺少外部资源时使用已声明 Mock。
  • ☐ Demo 同时呈现成功路径、失败路径、人工审批和安全拒绝。
  • ☐ Case Study 准确描述个人设计、Codex 协助、实际验证和未完成内容。
  • ☐ 评分达到 80/100,并通过全部 Hard Gate。

课程收束

你最终留下的是一条完整工程证据链:需求决定架构,架构约束实现,实现接受测试,测试支持部署,部署拥有运维与回滚,全部结果进入可演示、可验收、可交接的案例。

这套成果可以进入简历和作品集,也可以用于真实客户沟通。它证明你完成了一次系统化工程实践;它不自动等同于商业收入、真实生产授权或企业安全认证。新的客户和生产环境仍需要独立 Discovery、合同、数据授权、风险评审和验收。

主动回忆

  1. 你的每个 Agent 能力解决了哪个业务问题?
  2. 哪三条证据最能证明系统可靠并且边界清楚?
  3. 哪些成果由你设计,哪些由 Codex 协助,哪些仍未完成?
  4. 如果客户明天更换 ERP,哪些 Contract 应保持稳定?

延伸阅读 / Sources

核查日期:2026-10-18。

长期有效的原理: 可信交付来自可追溯需求、可运行系统、可重复证据、运行责任和诚实边界。当前实现方式: 工具与平台会变化,工程判断和交付证据应能够随新环境重新验证。