AI Agent Engineering · Week 08
08-01|哪些动作可以自动执行,哪些必须交给人
用影响、可逆性、权限与证据确定跨境客服动作的自动化等级,为 V0.8 建立风险边界。
能执行,只说明技术链路存在
V0.7 已能理解客户、查询事实、检索政策并推进退款状态。接下来要决定每项动作由谁承担最终责任。查询 FAQ 与大额退款都可以封装成 Tool,但它们的影响、可逆性和授权要求完全不同。
四级执行模式
低影响、可逆、规则清晰
检索公开 FAQAgent 准备材料,人完成动作
起草特殊补偿方案系统暂停,人批准本次敏感动作
退款、取消订单责任或判断不应委托
法律承诺、异常大额赔付用四个维度评估动作
- 影响:错误会造成金钱、客户权益、合规或品牌损失吗?
- 可逆性:动作能否安全撤回,撤回是否仍会留下损失?
- 身份与权限:当前客户、操作员和租户是否有权发起或批准?
- 证据充分性:执行所需事实、规则和审批材料是否完整?
这不是万能评分公式。团队要把维度转成具体政策,并记录为什么某类动作进入某一级。
查看公开 FAQ
Fully Automated查询本人订单
授权后自动修改未发货地址
规则 + 二次确认取消订单 / 普通退款
Human Approval大额退款 / 特殊补偿
高级审批或 Human Only风险策略发生在 Runtime
模型可以提出 execute_refund 候选动作;Runtime 根据可信身份、金额、订单状态和政策计算执行模式。高风险动作进入 waiting_for_approval,并把参数、理由与证据交给获授权的人。模型不能通过一句“我很确定”降低风险等级。
Agent proposes action
↓
Identity + Permission + Business Facts
↓
Risk Policy
↙ ↓ ↘
Auto Pause for Approval Human Only
↓
Audit outcome
Failure Lab
用模型置信度决定是否自动退款
为什么诱人: 置信度高看起来代表判断可靠。
为什么失败: 模型分数没有法律权限含义,也不能衡量资金损失和身份授权。
更合理设计: 由 Runtime 根据金额、可逆性、身份和政策决定审批级别。
所有动作一律人工审批
为什么诱人: 风险似乎最低。
为什么失败: 审批队列被低风险请求淹没,人开始机械通过,高风险信号反而不明显。
更合理设计: 分层自动化;低风险读操作自动完成,敏感副作用进入明确审批。
只按金额划分风险
为什么诱人: 金额易计算、易配置。
为什么失败: 修改地址可能没有金额,却会导致货物泄露;跨租户查询也可能造成严重数据问题。
更合理设计: 同时考虑影响、可逆性、权限和证据,金额只是一项信号。
实践:完成动作分级
把查询 FAQ、查询订单、修改地址、取消订单、普通退款、大额退款、发放优惠券和特殊补偿分配到四种执行模式。为每项写出触发条件、责任人和审计字段。
Acceptance Criteria
- ☐ 每个动作都有明确执行模式和业务理由。
- ☐ 身份、权限、影响与可逆性进入判断。
- ☐ 高风险动作无法被模型直接执行。
- ☐ 低风险动作没有无意义地堆入审批队列。
- ☐ 风险策略由 Runtime 执行且有版本记录。
- ☐ Checkpoint 02 能对新动作复用同一判断方法。
主动回忆
- Agent 能调用 Tool 为什么仍不足以授权动作?
- 可逆性如何影响执行模式?
- 全部人工审批会产生什么新风险?
- 哪些无金额动作仍可能是高风险?
下一课把 Guardrail、Permission 和 Human Approval 分开,避免把内容检查误当成业务授权。
延伸阅读 / Sources
核查日期:2026-10-18。
- NIST:AI Risk Management Framework。用于核对风险治理与责任分配的长期框架。
- OpenAI Agents SDK:Human-in-the-loop。用于核对当前暂停、批准、拒绝与恢复机制。
- OWASP:Authorization Cheat Sheet。用于核对服务端授权与最小权限原则。
长期有效的原理: 动作权限由影响、可逆性、身份和责任共同决定。当前实现方式: SDK 的 approval API 会演化,企业风险策略应由应用 Runtime 独立拥有。