跳到主要内容
← 返回AI Agent Engineering|12 周从 Demo 到真实 Agent 系统

AI Agent Engineering · Week 07

07-02|Retrieval 真正在做什么

用文档切块、向量表示、metadata 过滤与 Top-K 排序解释检索怎样决定 Agent 最终看见的证据。

Retrieval · Chunking · Metadata

Retrieval 是一次受约束的证据选择

一个 80 页的售后手册不能原样塞进每次模型调用。检索系统先在离线阶段整理材料,再在在线阶段根据问题选出少量片段。模型之后能否答对,先受这次选择影响。

离线:建立索引

Document → Parse → Chunk → Embedding / Index → Metadata

在线:选择证据

Query → Filter → Search → Rank → Top-K → Evidence

图 1|索引阶段决定能找到什么;查询阶段决定这一轮实际返回什么。

八个核心对象

  • Document:有所有者和版本的完整材料,如德国站退款政策。
  • Chunk:可单独检索的片段,应保留标题、章节和来源关系。
  • Embedding:把文本语义映射为数值表示的一种当前实现。
  • Vector:Embedding 的数值结果,可用于相似度搜索。
  • Metadata:市场、语言、版本、有效期、权限等结构化属性。
  • Query:从当前问题形成的检索请求,可以与原句不同。
  • Retrieval:过滤、搜索、排序并返回候选证据的过程。
  • Top-K:最多返回多少个候选片段;数量多不代表证据更好。

切块改变语义边界

片段太大,会混入多个主题并占用 Context;片段太小,会失去条件与例外。退款政策里“30 天内可退”和下一段“定制商品除外”必须保持可共同取回,否则 Agent 只看见主规则。

过大

主规则、例外、物流条款挤在一起;噪声高

过小

只取回“30 天可退”;例外条件丢失

按结构切块

标题 + 主规则 + 相邻例外;保留章节关系

图 2|Chunk 是检索与生成之间的最小证据单元,其边界直接影响回答条件。

Metadata 先缩小合法范围

客户来自德国站,问题使用德语,当前日期为 2026 年 10 月。检索可以先过滤 market=DE、language=de、effectiveAt<=now、status=active,再在合法集合中做语义搜索。权限过滤必须由服务端根据可信身份加入,不能让模型自行传入 tenant 或 access level。

Top-K 是 Context 预算分配

Top-K 太小可能漏掉例外,太大则把无关片段推给模型。更稳妥的设计会同时观察 recall、证据充分性、重复片段和 Context 成本,并用真实问题集调整。必要时可以结合关键词与语义搜索,再做重排。

“德国站定制商品能退吗?”
↓ query + market=DE + active=true
42 chunks → filter 11 → rank → Top 3
↓
主规则 定制例外 生效日期
↓
Evidence Bundle

图 3|记录过滤前后数量、命中片段和分数,才能解释为什么 Agent 看见这些证据。

Failure Lab

按固定字符数盲切所有文档

为什么诱人: 实现简单,所有文件都能批量处理。

为什么失败: 标题、表格和例外条款被切断,返回片段失去业务语义。

更合理设计: 优先利用章节和段落结构,针对关键文档测试条件与例外是否能共同取回。

只做向量相似度,不做 metadata 过滤

为什么诱人: 语义搜索看起来可以理解所有差异。

为什么失败: 美国旧政策可能比德国新政策更相似,权限材料也可能进入结果。

更合理设计: 先由可信服务端加入市场、版本、租户和权限过滤,再排序候选。

一味增加 Top-K

为什么诱人: 返回更多片段似乎可以避免遗漏。

为什么失败: 重复与冲突证据占满 Context,模型更难判断适用条款,成本同步上升。

更合理设计: 用真实测试集评估召回和答案依据,设置去重、阈值和证据不足路径。

实践:设计退款政策索引

为三份不同市场、语言和版本的退款政策设计 Document、Chunk 与 Metadata。写出客户问题的 Query、服务端过滤条件、Top-K 和期望 Evidence Bundle。

Acceptance Criteria

  • ☐ 能区分索引阶段和在线检索阶段。
  • ☐ Chunk 保留文档、章节和版本引用。
  • ☐ 市场、语言、有效期与权限进入 metadata。
  • ☐ 过滤条件来自可信身份和业务 Context。
  • ☐ Top-K 经过测试集验证,没有靠直觉固定。
  • ☐ Retrieval Trace 能说明候选怎样被过滤和排序。

主动回忆

  1. Chunk 太小会丢失什么?
  2. Metadata filtering 为什么应发生在语义排序之前?
  3. Top-K 增大时会引入哪些成本?
  4. Embedding 与 Retrieval 分别承担什么职责?

下一课用信息所有权做架构判断:面对订单事实、政策知识、长期偏好和流程状态,什么时候该选择 RAG、Tool、Memory 或 Database。

延伸阅读 / Sources

核查日期:2026-10-18。

长期有效的原理: 检索质量由材料边界、过滤、排序和 Context 预算共同决定。当前实现方式: 自动切块、Embedding 模型和 Ranker 都可能更新,验收应围绕证据结果而非某个参数名。