大模型 API 入门：从调用到业务集成

从请求构造、关键参数、流式输出到超时重试与成本控制，聊聊把大模型能力工程化落地的完整路径。

一、请求构造

主流大模型 API 多采用 OpenAI 兼容格式：POST /v1/chat/completions，携带 model 与 messages 列表，鉴权通过 Authorization 头传入。

二、关键参数

temperature 控制随机性、max_tokens 限制输出长度、stream 开启流式输出。参数直接影响效果与成本，需要按场景调优。

三、流式输出

长回答场景务必开启 stream，用 SSE 逐段渲染，显著改善用户等待体验，也能避免网关超时。

四、超时重试与成本控制

为网络抖动设计重试与退避策略；通过缓存、控制 max_tokens、批量合并请求等方式控制调用成本。