跳到主要内容
← 返回AI Agent Engineering|12 周从 Demo 到真实 Agent 系统

AI Agent Engineering · Week 08

08-01|哪些动作可以自动执行,哪些必须交给人

用影响、可逆性、权限与证据确定跨境客服动作的自动化等级,为 V0.8 建立风险边界。

Risk · Human-in-the-loop · Automation

能执行,只说明技术链路存在

V0.7 已能理解客户、查询事实、检索政策并推进退款状态。接下来要决定每项动作由谁承担最终责任。查询 FAQ 与大额退款都可以封装成 Tool,但它们的影响、可逆性和授权要求完全不同。

四级执行模式

Fully Automated

低影响、可逆、规则清晰

检索公开 FAQ
Agent Assisted

Agent 准备材料,人完成动作

起草特殊补偿方案
Human Approval

系统暂停,人批准本次敏感动作

退款、取消订单
Human Only

责任或判断不应委托

法律承诺、异常大额赔付
图 1|“自动化程度”是业务责任设计,不是模型能力排行榜。

用四个维度评估动作

  1. 影响:错误会造成金钱、客户权益、合规或品牌损失吗?
  2. 可逆性:动作能否安全撤回,撤回是否仍会留下损失?
  3. 身份与权限:当前客户、操作员和租户是否有权发起或批准?
  4. 证据充分性:执行所需事实、规则和审批材料是否完整?

这不是万能评分公式。团队要把维度转成具体政策,并记录为什么某类动作进入某一级。

Low

查看公开 FAQ

Fully Automated
Low / Medium

查询本人订单

授权后自动
Medium

修改未发货地址

规则 + 二次确认
High

取消订单 / 普通退款

Human Approval
Very High

大额退款 / 特殊补偿

高级审批或 Human Only
图 2|同一动作的等级还会受金额、市场、客户身份和订单阶段影响。

风险策略发生在 Runtime

模型可以提出 execute_refund 候选动作;Runtime 根据可信身份、金额、订单状态和政策计算执行模式。高风险动作进入 waiting_for_approval,并把参数、理由与证据交给获授权的人。模型不能通过一句“我很确定”降低风险等级。

Agent proposes action
↓
Identity + Permission + Business Facts
↓
Risk Policy
↙     ↓     ↘
Auto Pause for Approval Human Only
↓
Audit outcome

图 3|执行模式由受控系统计算;Agent 只提供建议和说明。

Failure Lab

用模型置信度决定是否自动退款

为什么诱人: 置信度高看起来代表判断可靠。

为什么失败: 模型分数没有法律权限含义,也不能衡量资金损失和身份授权。

更合理设计: 由 Runtime 根据金额、可逆性、身份和政策决定审批级别。

所有动作一律人工审批

为什么诱人: 风险似乎最低。

为什么失败: 审批队列被低风险请求淹没,人开始机械通过,高风险信号反而不明显。

更合理设计: 分层自动化;低风险读操作自动完成,敏感副作用进入明确审批。

只按金额划分风险

为什么诱人: 金额易计算、易配置。

为什么失败: 修改地址可能没有金额,却会导致货物泄露;跨租户查询也可能造成严重数据问题。

更合理设计: 同时考虑影响、可逆性、权限和证据,金额只是一项信号。

实践:完成动作分级

把查询 FAQ、查询订单、修改地址、取消订单、普通退款、大额退款、发放优惠券和特殊补偿分配到四种执行模式。为每项写出触发条件、责任人和审计字段。

Acceptance Criteria

  • ☐ 每个动作都有明确执行模式和业务理由。
  • ☐ 身份、权限、影响与可逆性进入判断。
  • ☐ 高风险动作无法被模型直接执行。
  • ☐ 低风险动作没有无意义地堆入审批队列。
  • ☐ 风险策略由 Runtime 执行且有版本记录。
  • ☐ Checkpoint 02 能对新动作复用同一判断方法。

主动回忆

  1. Agent 能调用 Tool 为什么仍不足以授权动作?
  2. 可逆性如何影响执行模式?
  3. 全部人工审批会产生什么新风险?
  4. 哪些无金额动作仍可能是高风险?

下一课把 Guardrail、Permission 和 Human Approval 分开,避免把内容检查误当成业务授权。

延伸阅读 / Sources

核查日期:2026-10-18。

长期有效的原理: 动作权限由影响、可逆性、身份和责任共同决定。当前实现方式: SDK 的 approval API 会演化,企业风险策略应由应用 Runtime 独立拥有。