跳到主要内容
← 返回AI Agent Engineering|12 周从 Demo 到真实 Agent 系统

AI Agent Engineering · Week 10

10-01|Agent Threat Model:一个 Agent 系统有哪些攻击面

从资产、信任边界和攻击路径出发,为已有 Support Agent 建立可测试的安全威胁模型。

Security · Threat Model · Agent

从一次“正常客服请求”看攻击面

客户说:“查询订单 DE-1042,并按照附件里的售后说明处理。”系统会读取身份、订单、附件、知识库和 Tool Result,再决定是否推进退款。每一份进入 Context 的内容都可能影响模型,每一个可执行 Tool 都可能改变真实业务状态。

安全分析先回答六个问题:要保护什么资产,谁可能发起攻击,不可信数据从哪里进入,边界在哪里,攻击如何产生业务影响,以及哪条证据能证明控制有效。

V0.9 的攻击面

Customer / Attacker
↓ message · file · URL
Frontend → API Boundary
↓ identity · request
Agent + Context + RAG
↓ proposal
Tool Runtime → Order / Logistics / Refund
↓
Business Data + Audit Evidence

图 1|输入、检索材料和 Tool Result 都是数据;只有受控 Runtime 才能跨过执行边界。

需要保护的资产包括客户身份、订单与地址、退款权限、企业政策、API Key、运行状态、审计记录和系统可用性。攻击者可能是外部客户、越权的合法用户、被污染的知识文档、配置错误的内部服务,也可能是意外写错 Tool 的开发者。

Threat Model 的最小工作法

1 Asset

订单、PII、退款、Secrets、审计

2 Actor

客户、员工、服务、恶意文档

3 Boundary

Browser / API / Agent / Tool / Data

4 Abuse Path

注入、越权、泄露、滥用、耗尽

5 Control

校验、授权、隔离、审批、限流

6 Evidence

Test Case、Trace、Audit、Alert

图 2|威胁必须落到资产、路径、控制和证据,才能进入工程待办。

例如“客户 A 查看客户 B 的订单”:资产是订单与 PII;入口是可控的 orderId;边界在 API 和 Order Tool;影响是跨租户泄露;控制是服务端把已认证主体、tenantId 与订单归属一起校验;证据是固定越权用例、拒绝 Trace 与审计记录。

谁负责哪一层

Model
识别风险、提出动作、生成受约束参数;输出只能视为提案
Server / Runtime
验证身份、授权、Schema、Tenant、状态、幂等和限流
Human Approver
在授权范围内批准一次敏感交易
Security Tests
用对抗输入证明控制能拒绝、隔离、记录和恢复
图 3|模型可以参与判断,但不能成为身份、权限或数据隔离的最终执行点。

Failure Lab

只保护 System Prompt

为什么诱人: 规则都写在最高优先级 Prompt 里,看起来集中、直接。

为什么失败: 间接注入、Tool 参数、服务端对象归属和 Secrets 暴露都发生在 Prompt 之外。

更合理设计: 把 Prompt 当一层控制,同时在 Runtime、业务 API、数据层和测试层实施独立约束。

威胁清单没有业务影响

为什么诱人: “注入、泄露、越权”三个词很快就能填满文档。

为什么失败: 团队无法判断优先级,也无法设计可验收的控制。

更合理设计: 为每条威胁绑定资产、攻击路径、影响、Owner、控制和验证用例。

让模型担任安全边界

为什么诱人: 模型能读懂复杂政策,也能解释拒绝理由。

为什么失败: 模型输出具有概率性,且会受到不可信 Context 影响。

更合理设计: 模型输出动作提案;服务端使用可信身份和业务数据作最终判定。

实践:建立 V1.0 RC Threat Register

为 V0.9 的消息输入、RAG、订单 Tool、物流 Tool、退款 Workflow、审批、Memory、Trace 和 CI/CD 各写至少一条攻击路径。每条包含资产、入口、边界、影响、控制、测试和负责人。

Acceptance Criteria

  • ☐ 至少覆盖数据泄露、越权动作、Prompt Injection、Secrets 暴露与资源耗尽。
  • ☐ 每条威胁指向明确资产和业务影响。
  • ☐ 信任边界能区分不可信内容、模型提案与服务端执行。
  • ☐ 控制拥有明确 Owner,不写“AI 自动保证安全”。
  • ☐ 每项高风险控制至少有一个可重复测试。
  • ☐ Threat Register 关联 V0.9 的 caseId、traceId 与风险等级。

主动回忆

  1. Agent 比普通聊天页面多出了哪些执行攻击面?
  2. 为什么 Tool Result 和 RAG 文档也要按不可信输入处理?
  3. 一条威胁怎样转化成可验收工程任务?
  4. 模型、Runtime 和安全测试分别承担什么责任?

下一课把“谁在请求”与“能对哪个对象做什么”拆开,建立订单级授权边界。

延伸阅读 / Sources

核查日期:2026-10-18。

长期有效的原理: 安全设计需要明确资产、边界、攻击路径、控制与证据。当前实现方式: Agent 平台和安全组件会变化,Threat Register 应由项目自己版本化。