AI Agent Engineering · Week 01
01-01|LLM、API、Token、Context 一次讲清
沿一次客服请求看懂应用、API、模型、Token 与 Context 的关系,为 V0.1 建立可测试的调用边界。
客户发出一句话之后,发生了什么
客户输入:“Hola, ¿dónde está mi pedido XB-1024?” 页面没有把文字直接送进一个会读心的 AI。你的应用先组合指令与输入,通过 API 发出请求;模型在有限 Context 中处理 Token;API 返回响应;应用再解析、校验并决定下一步。
这条链路里每一层都可能失败。网络超时不代表模型拒绝回答,输出被截断不代表客户没说清,格式合法也不代表订单事实正确。
一次 LLM 请求的生命周期
Application
整理可信指令与客户输入
API Request
发送模型、输入与输出约束
Model
在 Context Window 内处理 Token
API Response
返回文本、结构、用量或错误
Validation
检查形状、字段与业务边界
Next Step
回复、追问、查询或停止
LLM:接收上下文,生成输出
LLM 根据请求中可见的信息产生输出。它的训练知识不等于你当前店铺的订单数据库,也不会自动看到客户账号、环境变量或后台页面。需要业务事实时,应用必须通过可信数据源提供。
API:软件之间的调用边界
API 规定应用怎样提交请求、怎样认证、能传哪些字段、会收到什么响应和错误。客户端网页不应保存服务器密钥;生产应用通常由自己的服务端调用模型 API,并记录请求状态、用量和错误。
Token:模型处理信息的计量单位
Token 是模型切分输入与输出时使用的片段,不等同于汉字、英文单词或字符。不同文本和模型的切分会不同。工程上关注 Token,因为它影响 Context 占用、响应上限、延迟与成本。
Context:这一轮模型实际能使用的材料
Context 包括当前请求提供给模型的指令、客户输入、示例、历史消息、工具定义与工具结果等。模型“知道什么”要看这一轮收到什么,而不是看应用数据库里有什么。
Token、Context Window 与 Output 的关系
Context Window 约束一次请求可容纳的总量;某些模型还会把 reasoning tokens 计入。输入越大,可用输出空间、延迟和成本越需要规划。
长期聊天历史全部塞入请求,会带来三类问题:旧政策可能覆盖新政策;其他客户数据可能误入当前任务;大量无关内容增加成本并稀释关键指令。Week 06 会系统处理 Context 与 Memory,本课先坚持一条原则:只发送完成当前步骤所需的信息。
当前项目:V0.1 的第一条调用边界
本周目标是把客户消息转成:
{
"intent": "order_tracking",
"language": "es",
"orderId": "XB-1024",
"needTool": true
}
这一阶段的 Context 只需要任务指令、允许的意图标签、字段约束和当前客户消息。不需要订单详情、退款政策全文或过去 50 轮对话。V0.1 只识别业务意图,不声称订单状态,也不调用订单系统。
| 层 | 当前责任 | 明确不做 |
|---|---|---|
| 应用 | 组装输入、调用 API、处理错误 | 不把密钥放到浏览器 |
| 模型 | 识别语言、意图和消息中的订单号 | 不查询真实订单 |
| 校验器 | 检查字段类型、枚举与缺失值 | 不判断事实真假 |
| 后续流程 | 根据 needTool 决定是否需要查询 | 本课不执行工具 |
Failure Lab
把数据库里所有内容都放进 Context
为什么诱人: 材料越多似乎越不容易漏信息。
为什么失败: 无关数据增加成本和冲突,还可能泄露其他客户信息。
更好的设计: 先定义当前步骤需要哪些字段,由服务端按身份和任务选择最小材料。
把 API 错误当成模型判断
为什么诱人: 页面只看到“没有结果”。
为什么失败: 认证失败、限流、超时和模型输出为空需要不同恢复方式。
更好的设计: 分开记录 HTTP/API 错误、模型响应状态、解析错误和业务校验错误。
用 Token 数推断语义质量
为什么诱人: Token 是可量化指标。
为什么失败: 更长的回答可能更贵,却没有更准确;短输入也可能缺关键事实。
更好的设计: Token 用于容量与成本管理,质量用测试集和业务验收衡量。
实践:设计 V0.1 请求清单
为意图识别调用写一张 Request / Response 卡片:列出应用必须发送的材料、禁止发送的材料、期望输出字段、API 失败类型和应用下一步。再用三条消息检查 Context 是否足够:英文物流查询、西班牙语退款询问、没有订单号的模糊投诉。
Acceptance Criteria
- ☐ 能画出 Application → API → Model → Response → Validation 链路。
- ☐ 能用自己的话区分 Token 与 Context。
- ☐ 列出 V0.1 必须进入 Context 的四类信息。
- ☐ 至少列出三类不应进入本次请求的数据。
- ☐ 区分 API 错误、解析错误和业务校验错误。
- ☐ 输出不含任何未经查询的订单事实。
- ☐ 说明 Token 指标与正确率指标分别回答什么问题。
合上正文,试着回答
- 模型、API 与你的应用分别负责什么?
- Context Window 为什么不等于长期记忆?
- 客户消息只有十几个词,为什么完整请求仍可能包含很多 Token?
- 模型返回合法 JSON 后,应用还要检查什么?
- V0.1 为什么不需要订单数据库进入 Context?
下一课会把这次请求写成接口契约:Prompt 将明确目标、输入、允许值、边界与失败行为,团队才能稳定迭代。
延伸阅读 / Sources
核查日期:2026-10-17。
- OpenAI API:Text generation。用于核对 Responses API 的输入、输出与响应结构。
- OpenAI API:Conversation state。用于核对 Token、Context Window、输入与输出容量关系。
- OpenAI API:Prompt engineering。用于核对相关 Context、示例和窗口规划原则。
长期有效的原理: 应用负责请求边界,Context 是单次运行材料,Token 用于容量与成本管理。当前实现方式: 模型的窗口、价格、端点和字段可能更新,实施时以所选模型官方文档为准。