跳到主要内容
← 返回AI Agent Engineering|12 周从 Demo 到真实 Agent 系统

AI Agent Engineering · Week 01

01-01|LLM、API、Token、Context 一次讲清

沿一次客服请求看懂应用、API、模型、Token 与 Context 的关系,为 V0.1 建立可测试的调用边界。

LLM · API · Token · Context

客户发出一句话之后,发生了什么

客户输入:“Hola, ¿dónde está mi pedido XB-1024?” 页面没有把文字直接送进一个会读心的 AI。你的应用先组合指令与输入,通过 API 发出请求;模型在有限 Context 中处理 Token;API 返回响应;应用再解析、校验并决定下一步。

这条链路里每一层都可能失败。网络超时不代表模型拒绝回答,输出被截断不代表客户没说清,格式合法也不代表订单事实正确。

一次 LLM 请求的生命周期

STEP 1
Application

整理可信指令与客户输入

STEP 2
API Request

发送模型、输入与输出约束

STEP 3
Model

在 Context Window 内处理 Token

STEP 4
API Response

返回文本、结构、用量或错误

STEP 5
Validation

检查形状、字段与业务边界

STEP 6
Next Step

回复、追问、查询或停止

图 1|LLM 是链路中的推理与生成部件;应用负责组装、调用、校验和后续动作。

LLM:接收上下文,生成输出

LLM 根据请求中可见的信息产生输出。它的训练知识不等于你当前店铺的订单数据库,也不会自动看到客户账号、环境变量或后台页面。需要业务事实时,应用必须通过可信数据源提供。

API:软件之间的调用边界

API 规定应用怎样提交请求、怎样认证、能传哪些字段、会收到什么响应和错误。客户端网页不应保存服务器密钥;生产应用通常由自己的服务端调用模型 API,并记录请求状态、用量和错误。

Token:模型处理信息的计量单位

Token 是模型切分输入与输出时使用的片段,不等同于汉字、英文单词或字符。不同文本和模型的切分会不同。工程上关注 Token,因为它影响 Context 占用、响应上限、延迟与成本。

Context:这一轮模型实际能使用的材料

Context 包括当前请求提供给模型的指令、客户输入、示例、历史消息、工具定义与工具结果等。模型“知道什么”要看这一轮收到什么,而不是看应用数据库里有什么。

Token、Context Window 与 Output 的关系

单次请求的容量预算
Input Tokens
指令 + 消息 + 示例 + 工具定义 + 工具结果
Output
回答或结构

Context Window 约束一次请求可容纳的总量;某些模型还会把 reasoning tokens 计入。输入越大,可用输出空间、延迟和成本越需要规划。

图 2|“窗口很大”不等于应该塞满。相关、可信、最小的 Context 更容易测试。

长期聊天历史全部塞入请求,会带来三类问题:旧政策可能覆盖新政策;其他客户数据可能误入当前任务;大量无关内容增加成本并稀释关键指令。Week 06 会系统处理 Context 与 Memory,本课先坚持一条原则:只发送完成当前步骤所需的信息。

当前项目:V0.1 的第一条调用边界

本周目标是把客户消息转成:

{
  "intent": "order_tracking",
  "language": "es",
  "orderId": "XB-1024",
  "needTool": true
}

这一阶段的 Context 只需要任务指令、允许的意图标签、字段约束和当前客户消息。不需要订单详情、退款政策全文或过去 50 轮对话。V0.1 只识别业务意图,不声称订单状态,也不调用订单系统。

层当前责任明确不做
应用组装输入、调用 API、处理错误不把密钥放到浏览器
模型识别语言、意图和消息中的订单号不查询真实订单
校验器检查字段类型、枚举与缺失值不判断事实真假
后续流程根据 needTool 决定是否需要查询本课不执行工具

Failure Lab

把数据库里所有内容都放进 Context

为什么诱人: 材料越多似乎越不容易漏信息。

为什么失败: 无关数据增加成本和冲突,还可能泄露其他客户信息。

更好的设计: 先定义当前步骤需要哪些字段,由服务端按身份和任务选择最小材料。

把 API 错误当成模型判断

为什么诱人: 页面只看到“没有结果”。

为什么失败: 认证失败、限流、超时和模型输出为空需要不同恢复方式。

更好的设计: 分开记录 HTTP/API 错误、模型响应状态、解析错误和业务校验错误。

用 Token 数推断语义质量

为什么诱人: Token 是可量化指标。

为什么失败: 更长的回答可能更贵,却没有更准确;短输入也可能缺关键事实。

更好的设计: Token 用于容量与成本管理,质量用测试集和业务验收衡量。

实践:设计 V0.1 请求清单

为意图识别调用写一张 Request / Response 卡片:列出应用必须发送的材料、禁止发送的材料、期望输出字段、API 失败类型和应用下一步。再用三条消息检查 Context 是否足够:英文物流查询、西班牙语退款询问、没有订单号的模糊投诉。

Acceptance Criteria

  • ☐ 能画出 Application → API → Model → Response → Validation 链路。
  • ☐ 能用自己的话区分 Token 与 Context。
  • ☐ 列出 V0.1 必须进入 Context 的四类信息。
  • ☐ 至少列出三类不应进入本次请求的数据。
  • ☐ 区分 API 错误、解析错误和业务校验错误。
  • ☐ 输出不含任何未经查询的订单事实。
  • ☐ 说明 Token 指标与正确率指标分别回答什么问题。

合上正文,试着回答

  1. 模型、API 与你的应用分别负责什么?
  2. Context Window 为什么不等于长期记忆?
  3. 客户消息只有十几个词,为什么完整请求仍可能包含很多 Token?
  4. 模型返回合法 JSON 后,应用还要检查什么?
  5. V0.1 为什么不需要订单数据库进入 Context?

下一课会把这次请求写成接口契约:Prompt 将明确目标、输入、允许值、边界与失败行为,团队才能稳定迭代。

延伸阅读 / Sources

核查日期:2026-10-17。

长期有效的原理: 应用负责请求边界,Context 是单次运行材料,Token 用于容量与成本管理。当前实现方式: 模型的窗口、价格、端点和字段可能更新,实施时以所选模型官方文档为准。