AI Agent Engineering · Week 07
07-01|RAG 为什么存在
从跨境客服的企业私有知识问题出发,理解 RAG 如何为当前回答提供可更新、可检查的外部证据。
模型没有读过你公司的最新政策
德国客户询问:“已拆封的定制商品还能退款吗?”通用模型可能知道电商退款的大致规则,却不知道你公司的德国站政策、商品例外和 10 月刚更新的条款。把规则写进 Prompt 可以应付几页材料;当政策有多个市场、版本和权限范围时,Prompt 很快失控。
RAG(Retrieval-Augmented Generation)在生成前先从企业知识材料中寻找相关证据,再把有限证据交给模型。它为这一轮回答增加可更新、可追踪的依据。
问题 → 模型已有参数 → 听起来合理的回答
公司政策是否最新、适用哪个市场,无法核验。问题 → 检索政策 → 证据 → 带依据回答
可以展示文档、版本和适用范围。最小 RAG 链路
Customer Question
↓
Retrieve
↓
Relevant Evidence
↓
LLM + Answer Contract
↓
Grounded Answer + Citation / Abstain
这条链路有三个可检查点:检索有没有找到正确材料,证据有没有真正支持结论,最终回答有没有超出证据。任何一层失败,都不能用语言流畅度掩盖。
知识证据与业务事实分工
退款政策、产品说明、操作手册适合进入知识检索。订单金额、付款状态和物流位置仍属于业务 Database,应通过 V0.3 Tool 与 V0.4 集成查询。RAG 文档写着“通常 7 天退款”,也不能证明某一笔订单已经退款。
Support Agent V0.6
↙ ↘
Business Tools / DB Knowledge Retrieval
订单与物流事实 政策与产品证据
↘ ↙
Task-fit Context → Answer
Evidence Contract
检索结果至少应带有 documentId、标题、版本或更新时间、市场/语言 metadata、原文片段与相关性信息。回答需要能指出使用了哪些片段。没有适用证据时,结果应进入 insufficient_evidence,随后澄清、转人工或换一种检索方式。
Failure Lab
把所有公司文件上传后就宣布完成
为什么诱人: 文件数量看起来代表知识覆盖率。
为什么失败: 过期政策、重复版本和无权限材料会一起进入候选证据,检索结果无法解释。
更合理设计: 先确定知识范围、所有者、版本、权限和更新流程,再建立索引。
检索到片段就强制回答
为什么诱人: 每次都给答案,Demo 更顺滑。
为什么失败: Top-K 总会返回一些内容,最相关片段仍可能与问题无关。
更合理设计: 设置证据充分性判断,保留澄清、拒答和人工升级路径。
用 RAG 回答订单是否退款
为什么诱人: 知识库里可能出现退款规则和历史案例。
为什么失败: 文档只能说明规则,无法代表当前订单状态。
更合理设计: 规则从 RAG 获取,订单事实从授权 Tool 获取,再由 Workflow 组合决定。
实践:定义企业知识边界
为德国站退款政策列出知识来源、文档所有者、适用市场、更新时间、权限、预期查询和证据不足时的处理方式。再写出三类绝对不能由该知识库回答的业务事实。
Acceptance Criteria
- ☐ 能画出 Question → Retrieve → Evidence → Answer 链路。
- ☐ 每条证据保留来源、版本和适用范围。
- ☐ 证据不足时存在明确停止或升级路径。
- ☐ 订单、支付和物流事实继续通过 Tool / Database 获取。
- ☐ 回答可以追溯到实际使用的片段。
- ☐ 文档更新后无需修改 Prompt 主体即可生效。
主动回忆
- RAG 为一次回答增加了什么?
- 检索结果为什么不能直接等同于正确答案?
- 企业政策与订单状态分别由什么系统负责?
- Evidence Contract 至少应保留哪些字段?
下一课进入 Retrieval 内部:文档怎样被切块、表示、过滤和排序,以及这些选择怎样决定 Agent 最终看见什么。
延伸阅读 / Sources
核查日期:2026-10-18。
- OpenAI API:Retrieval。用于核对语义检索、Vector Store 与 metadata filtering 的当前实现。
- OpenAI API:File search。用于核对托管文件检索工具的当前能力。
- Retrieval-Augmented Generation 原始论文。用于追溯检索增强生成的基本思路。
长期有效的原理: 回答前取得适用证据,并让结论保持可追溯。当前实现方式: Vector Store、File Search 与排序参数会变化,项目应通过自己的 Evidence Contract 保持可迁移。