跳到主要内容
返回
← 返回AI Agent 工程:从零到企业应用

AI Agent 工程 · 01

01.1 LLM 与 API 是如何工作的?

了解应用如何把结构化请求交给模型,再把回复接回业务系统;不把 API 当成会读心的魔法接口。

LLM · API · 工程基础

知识定位

Agent 的“脑”通常是 LLM,本节解释它如何以 应用程序接口(API,软件之间约定格式的通信入口) 被应用调用。下一节会解释请求中的 Prompt、Token 和 Context。

一句话定义

LLM API 接收一组消息和配置,返回模型生成的内容或工具调用建议;它不会直接看到你的数据库、网页或客户订单。

浏览器 → 你的服务端 → LLM API → 模型回复
                 ↓
          订单服务、政策库、日志

把密钥放在服务端环境变量中,浏览器只请求你自己的后端。这样可以在调用模型前做身份验证、输入检查、速率限制和日志脱敏。

核心原理

一次 API 调用常包含:系统指令(系统边界)、用户消息(当前需求)、可用工具说明、模型参数。响应可能是普通文本,也可能要求应用执行某个工具。应用必须校验工具参数、执行受权操作,再把结果作为新消息交回模型;模型的建议不是系统事实。

外贸案例

客服网页传来“订单 XB-1024 在哪里”。服务端先确认用户会话,再把允许的订单查询工具说明与脱敏的用户输入给模型。模型不能越过服务端直接查库;订单服务只向受权调用返回必要字段。

实践任务

输入:画出你理解的一次“浏览器请求 AI”的路径。执行:标红 API key 应在的位置。预期输出:一张四节点图。验收标准:密钥不在浏览器代码、提示词或截图里。

主动回忆

为什么“让前端直接调用模型 API,方便调试”在生产环境中有风险?

纸质笔记

  • 必须记:API 是约定格式的请求与响应;模型看不到未被传入的数据。
  • 建议记:密钥和权限检查留在服务端。
  • 不用记:某家模型的临时参数默认值。

官方参考