LLM 应用和传统 Web 服务的上线检查清单有明显差异——除了常规的部署、监控项，还要额外考虑成本失控、模型输出不可控、供应商依赖单点故障这几类 LLM 特有的风险。本文给出一份可以直接对照执行的上线 checklist，按模块拆分，每一项都给出具体判断标准，而不是空泛的”要做好监控”。

一、密钥与访问控制

• API Key 不出现在前端代码、Git 历史或日志文件中——用 git log -p | grep 一类的命令扫描历史提交，不要只检查最新代码。
• 生产环境和测试环境使用不同的 API Key，避免测试流量和生产账单混在一起，也避免测试环境泄露影响生产配额。
• Key 具备按最小权限原则配置的范围（如果供应商支持按项目/按模型限制权限，优先启用）。
• 有 Key 轮换机制和应急吊销流程——如果 Key 泄露，多久能完成吊销和替换要提前演练过，而不是等事故发生才现学。

二、限流与熔断

• 客户端侧有主动限流（不要完全依赖供应商返回 429 才被动应对），具体的重试与退避策略可以参考 LLM 限流处理实践。
• 有熔断器：连续失败达到阈值后，暂时停止请求，避免在供应商故障期间持续无效重试，加重故障影响。
• 关键路径和非关键路径的调用做了优先级区分，供应商限流发生时，优先保证核心功能可用。
• 超时时间设置合理——LLM 请求延迟波动大，超时设置过短会造成大量误判失败，过长又会拖慢整体响应，建议基于 P95/P99 实际延迟数据设定，而不是拍脑袋定一个数字。

三、成本护栏

• 单用户/单会话有调用次数或 token 用量上限，防止异常调用（无论是恶意刷量还是代码 bug 导致的死循环）无限消耗成本。
• 有实时或近实时的成本监控看板，能在异常消耗发生的当天（而不是月底账单出来才）发现问题。
• 设置了成本告警阈值，超过预设日/周消耗自动触发通知。
• 已经过一轮基础的成本优化排查（模型分层、缓存、批处理），完整清单见 LLM 成本优化 checklist，本文不再重复展开。

四、输出质量与安全

• 对模型输出有基础的格式校验，尤其是结构化输出（JSON/工具调用参数），避免格式错误直接导致下游解析崩溃。
• 涉及用户可见内容的场景，有内容安全过滤或审核机制，覆盖模型可能生成的不当内容。
• 对用户输入做了基本的 Prompt Injection 防护意识——至少清楚哪些字段会被拼接进系统 Prompt，哪些用户输入可能篡改模型行为。
• 关键决策类场景（涉及金额、权限变更等）有人工复核环节，不完全依赖模型自主判断，具体设计思路可参考 AI Agent Human-in-Loop 模式实战。

五、可观测性

• 每次模型调用都记录了必要的追踪信息：请求 ID、模型版本、输入长度、输出长度、延迟、是否命中缓存。
• 有专门的 LLM 可观测性工具或自建日志系统，能追溯完整的对话/任务链路，而不是只有孤立的单次调用日志，工具选型可参考 用 Langfuse 做 LLM 可观测性。
• 定义了核心业务指标（不只是技术指标）：任务完成率、用户满意度代理指标（如是否触发重新生成）、平均处理时长。
• 日志中不包含未脱敏的用户敏感信息（PII），尤其注意 Prompt 和输出全文日志的存储合规性。

六、供应商依赖管理

• 明确知道当前架构对单一模型供应商的依赖程度，评估过供应商大规模故障时的影响范围。
• 关键路径有备用模型或备用供应商的切换预案，哪怕只是”手动切换配置”这种最简单的形式，也比完全没有预案强。
• 如果使用 API 中转或代理服务，确认过其可用性 SLA 和故障通知机制，相关的可用性监控思路可参考 AI 中转服务可用性监控。
• 供应商的服务条款、数据使用政策已经过合规确认，尤其是涉及企业客户数据的场景，具体合规要点可参考 API 中转安全合规指南。

七、灰度与回滚

• 新模型版本或新 Prompt 上线前，有灰度发布流程（先小流量验证，观察核心指标无异常再全量）。
• Prompt 和模型配置纳入版本管理，能快速回滚到上一个已知稳定版本。
• 有 A/B 测试或对照组机制，能量化新版本相对旧版本的实际效果差异，而不是凭主观感受判断”这次改动是不是更好”。
• 回滚决策有明确的触发条件（比如错误率超过某阈值、用户投诉激增），而不是等到问题积累到很严重才反应。

八、上线当天与之后

• 上线窗口选在团队响应能力充足的时间段，避免深夜或团队人手不足时段发布重大变更。
• 上线后有固定周期的复盘（比如上线 24 小时、一周后各看一次核心指标），而不是发布完就不再关注。
• 建立了常态化的成本、质量、可用性三项指标的定期回顾节奏，把”上线 checklist”延伸成”持续运营 checklist”，这才是真正决定 LLM 应用能不能长期稳定运行的关键。

九、检查清单速查表

模块	核心风险	检查重点
密钥与访问	密钥泄露、权限过大	环境隔离、最小权限、轮换流程
限流与熔断	供应商限流放大故障	主动限流、熔断器、超时设置
成本护栏	异常调用拖垮预算	用量上限、实时监控、告警阈值
输出质量与安全	格式错误、内容风险	格式校验、内容审核、人工复核
可观测性	问题无法追溯	全链路日志、核心业务指标
供应商依赖	单点故障	备用方案、SLA 确认、合规检查
灰度与回滚	全量发布风险过大	小流量验证、版本管理、回滚触发条件

十、相关阅读

• LLM 成本优化 checklist
• LLM 限流处理实践
• 用 Langfuse 做 LLM 可观测性
• AI Agent Human-in-Loop 模式实战

如果这份 checklist 里有多项还没做到，先从供应商依赖这一环入手往往性价比最高——用一个稳定、支持多模型切换的 API 中转服务，可以了解 YoTradeApi，能同时缓解限流、供应商单点故障和账单管理的多重压力。