AI Agent Engineering · Week 07
07-02|Retrieval 真正在做什么
用文档切块、向量表示、metadata 过滤与 Top-K 排序解释检索怎样决定 Agent 最终看见的证据。
Retrieval 是一次受约束的证据选择
一个 80 页的售后手册不能原样塞进每次模型调用。检索系统先在离线阶段整理材料,再在在线阶段根据问题选出少量片段。模型之后能否答对,先受这次选择影响。
Document → Parse → Chunk → Embedding / Index → Metadata
Query → Filter → Search → Rank → Top-K → Evidence
八个核心对象
- Document:有所有者和版本的完整材料,如德国站退款政策。
- Chunk:可单独检索的片段,应保留标题、章节和来源关系。
- Embedding:把文本语义映射为数值表示的一种当前实现。
- Vector:Embedding 的数值结果,可用于相似度搜索。
- Metadata:市场、语言、版本、有效期、权限等结构化属性。
- Query:从当前问题形成的检索请求,可以与原句不同。
- Retrieval:过滤、搜索、排序并返回候选证据的过程。
- Top-K:最多返回多少个候选片段;数量多不代表证据更好。
切块改变语义边界
片段太大,会混入多个主题并占用 Context;片段太小,会失去条件与例外。退款政策里“30 天内可退”和下一段“定制商品除外”必须保持可共同取回,否则 Agent 只看见主规则。
主规则、例外、物流条款挤在一起;噪声高
只取回“30 天可退”;例外条件丢失
标题 + 主规则 + 相邻例外;保留章节关系
Metadata 先缩小合法范围
客户来自德国站,问题使用德语,当前日期为 2026 年 10 月。检索可以先过滤 market=DE、language=de、effectiveAt<=now、status=active,再在合法集合中做语义搜索。权限过滤必须由服务端根据可信身份加入,不能让模型自行传入 tenant 或 access level。
Top-K 是 Context 预算分配
Top-K 太小可能漏掉例外,太大则把无关片段推给模型。更稳妥的设计会同时观察 recall、证据充分性、重复片段和 Context 成本,并用真实问题集调整。必要时可以结合关键词与语义搜索,再做重排。
“德国站定制商品能退吗?”
↓ query + market=DE + active=true
42 chunks → filter 11 → rank → Top 3
↓
主规则 定制例外 生效日期
↓
Evidence Bundle
Failure Lab
按固定字符数盲切所有文档
为什么诱人: 实现简单,所有文件都能批量处理。
为什么失败: 标题、表格和例外条款被切断,返回片段失去业务语义。
更合理设计: 优先利用章节和段落结构,针对关键文档测试条件与例外是否能共同取回。
只做向量相似度,不做 metadata 过滤
为什么诱人: 语义搜索看起来可以理解所有差异。
为什么失败: 美国旧政策可能比德国新政策更相似,权限材料也可能进入结果。
更合理设计: 先由可信服务端加入市场、版本、租户和权限过滤,再排序候选。
一味增加 Top-K
为什么诱人: 返回更多片段似乎可以避免遗漏。
为什么失败: 重复与冲突证据占满 Context,模型更难判断适用条款,成本同步上升。
更合理设计: 用真实测试集评估召回和答案依据,设置去重、阈值和证据不足路径。
实践:设计退款政策索引
为三份不同市场、语言和版本的退款政策设计 Document、Chunk 与 Metadata。写出客户问题的 Query、服务端过滤条件、Top-K 和期望 Evidence Bundle。
Acceptance Criteria
- ☐ 能区分索引阶段和在线检索阶段。
- ☐ Chunk 保留文档、章节和版本引用。
- ☐ 市场、语言、有效期与权限进入 metadata。
- ☐ 过滤条件来自可信身份和业务 Context。
- ☐ Top-K 经过测试集验证,没有靠直觉固定。
- ☐ Retrieval Trace 能说明候选怎样被过滤和排序。
主动回忆
- Chunk 太小会丢失什么?
- Metadata filtering 为什么应发生在语义排序之前?
- Top-K 增大时会引入哪些成本?
- Embedding 与 Retrieval 分别承担什么职责?
下一课用信息所有权做架构判断:面对订单事实、政策知识、长期偏好和流程状态,什么时候该选择 RAG、Tool、Memory 或 Database。
延伸阅读 / Sources
核查日期:2026-10-18。
- OpenAI API:Retrieval。用于核对 chunking、ranking、Vector Store attributes 与 filtering。
- OpenAI API:Embeddings。用于核对文本向量表示的当前 API 概念。
- OpenAI Cookbook:Search and recommendation with embeddings。用于延伸语义搜索与排序实践。
长期有效的原理: 检索质量由材料边界、过滤、排序和 Context 预算共同决定。当前实现方式: 自动切块、Embedding 模型和 Ranker 都可能更新,验收应围绕证据结果而非某个参数名。