AI Agent Engineering · Week 10
10-01|Agent Threat Model:一个 Agent 系统有哪些攻击面
从资产、信任边界和攻击路径出发,为已有 Support Agent 建立可测试的安全威胁模型。
从一次“正常客服请求”看攻击面
客户说:“查询订单 DE-1042,并按照附件里的售后说明处理。”系统会读取身份、订单、附件、知识库和 Tool Result,再决定是否推进退款。每一份进入 Context 的内容都可能影响模型,每一个可执行 Tool 都可能改变真实业务状态。
安全分析先回答六个问题:要保护什么资产,谁可能发起攻击,不可信数据从哪里进入,边界在哪里,攻击如何产生业务影响,以及哪条证据能证明控制有效。
V0.9 的攻击面
Customer / Attacker
↓ message · file · URL
Frontend → API Boundary
↓ identity · request
Agent + Context + RAG
↓ proposal
Tool Runtime → Order / Logistics / Refund
↓
Business Data + Audit Evidence
需要保护的资产包括客户身份、订单与地址、退款权限、企业政策、API Key、运行状态、审计记录和系统可用性。攻击者可能是外部客户、越权的合法用户、被污染的知识文档、配置错误的内部服务,也可能是意外写错 Tool 的开发者。
Threat Model 的最小工作法
订单、PII、退款、Secrets、审计
客户、员工、服务、恶意文档
Browser / API / Agent / Tool / Data
注入、越权、泄露、滥用、耗尽
校验、授权、隔离、审批、限流
Test Case、Trace、Audit、Alert
例如“客户 A 查看客户 B 的订单”:资产是订单与 PII;入口是可控的 orderId;边界在 API 和 Order Tool;影响是跨租户泄露;控制是服务端把已认证主体、tenantId 与订单归属一起校验;证据是固定越权用例、拒绝 Trace 与审计记录。
谁负责哪一层
识别风险、提出动作、生成受约束参数;输出只能视为提案
验证身份、授权、Schema、Tenant、状态、幂等和限流
在授权范围内批准一次敏感交易
用对抗输入证明控制能拒绝、隔离、记录和恢复
Failure Lab
只保护 System Prompt
为什么诱人: 规则都写在最高优先级 Prompt 里,看起来集中、直接。
为什么失败: 间接注入、Tool 参数、服务端对象归属和 Secrets 暴露都发生在 Prompt 之外。
更合理设计: 把 Prompt 当一层控制,同时在 Runtime、业务 API、数据层和测试层实施独立约束。
威胁清单没有业务影响
为什么诱人: “注入、泄露、越权”三个词很快就能填满文档。
为什么失败: 团队无法判断优先级,也无法设计可验收的控制。
更合理设计: 为每条威胁绑定资产、攻击路径、影响、Owner、控制和验证用例。
让模型担任安全边界
为什么诱人: 模型能读懂复杂政策,也能解释拒绝理由。
为什么失败: 模型输出具有概率性,且会受到不可信 Context 影响。
更合理设计: 模型输出动作提案;服务端使用可信身份和业务数据作最终判定。
实践:建立 V1.0 RC Threat Register
为 V0.9 的消息输入、RAG、订单 Tool、物流 Tool、退款 Workflow、审批、Memory、Trace 和 CI/CD 各写至少一条攻击路径。每条包含资产、入口、边界、影响、控制、测试和负责人。
Acceptance Criteria
- ☐ 至少覆盖数据泄露、越权动作、Prompt Injection、Secrets 暴露与资源耗尽。
- ☐ 每条威胁指向明确资产和业务影响。
- ☐ 信任边界能区分不可信内容、模型提案与服务端执行。
- ☐ 控制拥有明确 Owner,不写“AI 自动保证安全”。
- ☐ 每项高风险控制至少有一个可重复测试。
- ☐ Threat Register 关联 V0.9 的 caseId、traceId 与风险等级。
主动回忆
- Agent 比普通聊天页面多出了哪些执行攻击面?
- 为什么 Tool Result 和 RAG 文档也要按不可信输入处理?
- 一条威胁怎样转化成可验收工程任务?
- 模型、Runtime 和安全测试分别承担什么责任?
下一课把“谁在请求”与“能对哪个对象做什么”拆开,建立订单级授权边界。
延伸阅读 / Sources
核查日期:2026-10-18。
- OpenAI API:Guardrails and human review。用于核对 Guardrail、Tool 边界、人工审批与独立执行控制。
- OWASP:Top 10 for LLM Applications 2025。用于核对 Prompt Injection、敏感信息泄露和过度代理风险。
- NIST:AI Risk Management Framework。用于核对风险识别、治理、测量与管理的长期框架。
长期有效的原理: 安全设计需要明确资产、边界、攻击路径、控制与证据。当前实现方式: Agent 平台和安全组件会变化,Threat Register 应由项目自己版本化。