跳到主要内容
← 返回AI Agent Engineering|12 周从 Demo 到真实 Agent 系统

AI Agent Engineering · Week 08

08-02|Guardrail、Permission、Human Approval 到底有什么区别

分清规则检查、主体授权和单次人工批准,建立敏感 Tool 执行前不可绕过的三层控制。

Guardrail · Permission · Human Approval

三个问题,三层控制

客户要求退还 500 美元。系统要依次回答:请求和输出是否符合规则;当前主体是否有权访问该订单并发起退款;这一次高风险动作是否得到获授权人员批准。这三层互相补充,任何一层都不能代替另外两层。

Guardrail

内容 / 参数 / 行为是否符合规则

阻止恶意输入、敏感输出、非法参数
Permission

当前主体是否拥有该能力

客户只能看本人订单;客服有退款上限
Human Approval

这一次动作是否获得人的决定

审核金额、理由和证据后批准或拒绝
图 1|Guardrail 管规则,Permission 管权力,Approval 管一次具体高风险决定。

Guardrail:检查输入、输出和 Tool 边界

输入 Guardrail 可以识别越权请求或 Prompt Injection;Tool Guardrail 可以检查退款金额和参数格式;输出 Guardrail 可以阻止泄露敏感字段。它们根据规则允许、拒绝或中止,但通过检查不代表主体拥有业务权限。

Permission:由可信身份和服务端策略授予

Permission 回答“谁能做什么、作用于哪些资源、在什么范围内”。客户身份来自认证系统,租户和订单归属由服务端解析。模型不能生成 role=admin、替换 customerId 或自行扩大退款上限。

Human Approval:对单次敏感动作承担决定

Approval 应展示动作、金额、对象、原因、证据、风险和过期时间。批准者本身也必须先通过 Permission 检查。审批结果绑定唯一 action fingerprint 与状态版本,避免批准 A 后执行被替换成 B。

Proposed refund
↓
Guardrail|参数和行为规则
↓ pass
Permission|客户 / 操作员 / 资源范围
↓ allowed
Human Approval|本次金额与证据
↓ approved + unexpired
Idempotent Execution

图 2|每层都 fail closed;模型输出无法跳过任意一层。

两次权限检查

创建审批请求时,要验证发起人能否提出该动作;审批到达时,再验证批准者身份、审批范围、状态版本和过期时间;真正执行前还要重新确认订单仍处于可退款状态。这可以防止审批等待期间数据变化。

Request

action + arguments + stateVersion

Reviewer

identity + permission scope

Decision

approve / reject + reason + time

Resume

recheck version + execute once

Audit

who / what / when / evidence

图 3|批准的是一个不可变动作提案;参数或 State 变化后应重新审批。

Failure Lab

Guardrail 判定安全就直接退款

为什么诱人: Guardrail 已经检查金额和内容,看起来风险受控。

为什么失败: 参数合法无法证明客户拥有订单,也无法证明当前客服有退款权限。

更合理设计: Guardrail 之后仍执行服务端 Permission,并按风险策略进入 Approval。

让模型判断自己有没有权限

为什么诱人: 模型看到了用户描述和政策,可以给出自然语言解释。

为什么失败: Prompt 内容不具备身份可信度,模型也不掌握服务端角色与资源归属。

更合理设计: 身份、tenant、resource scope 和 role 全部由可信 Runtime 注入并验证。

审批后允许修改退款参数

为什么诱人: 客户临时改金额时可以少走一次流程。

为什么失败: 人批准的动作与最终执行动作不一致,审计失去意义。

更合理设计: Approval 绑定 action fingerprint;参数变化生成新请求并重新审批。

实践:画出三层控制表

为订单查询、地址修改、退款和优惠券发放分别写出 Guardrail、Permission、Approval 与执行前重检规则。标明每层的输入、决策者、失败结果和审计字段。

Acceptance Criteria

  • ☐ 三层控制有独立问题、数据来源和失败结果。
  • ☐ Permission 完全由可信服务端身份与策略计算。
  • ☐ 审批者自身经过授权检查。
  • ☐ Approval 绑定动作参数、状态版本和过期时间。
  • ☐ 参数或 State 改变后必须重新审批。
  • ☐ Guardrail 通过不会自动授予 Tool 执行权。

主动回忆

  1. Guardrail 通过后还缺哪两层?
  2. Permission 为什么不能从聊天内容推断?
  3. Approval 为什么要绑定 action fingerprint?
  4. 执行前重新检查 State 能防止什么?

下一课把三层控制接回 Week 05 的退款 Workflow,完成真正可暂停、可审批、可恢复的 V0.8。

延伸阅读 / Sources

核查日期:2026-10-18。

长期有效的原理: 规则检查、服务端授权和单次人类决定属于不同控制面。当前实现方式: Guardrail 与 interruption API 会变化,权限真源和动作绑定必须由应用保证。