标签：系统设计
共 8 篇文章。
-
自建 LLM 网关的路由实现：从零设计转发逻辑
从工程实现角度拆解自建 LLM 网关的路由层设计，包括路由规则匹配、健康检查、故障转移与负载均衡的具体代码思路。
-
AI Agent Human-in-Loop 模式实战
详解 AI Agent 中 Human-in-the-Loop 设计模式的落地方法，涵盖审批网关、置信度阈值、分级授权与中断恢复的工程实现与代码示例。
-
AI 任务重试队列设计
讲解 AI 任务系统中重试队列的架构设计，涵盖死信队列、毒消息隔离、重试预算与优先级重排，帮你避免重试风暴拖垮整个系统。
-
LLM 应用上线 checklist
一份可直接照做的 LLM 应用生产上线检查清单，覆盖密钥管理、限流熔断、成本护栏、可观测性与灰度发布，帮你上线前排查关键遗漏。
-
OpenAI 与 Anthropic 缓存机制对比：多模型架构下的统一缓存层设计
从架构设计角度对比 OpenAI 自动缓存与 Anthropic 显式 cache_control 的控制粒度差异，讲解多模型路由场景下如何构建统一的缓存监控与 Prompt 结构规范。
-
AI Agent 写操作回滚策略：让 Agent 的错误可以被撤销
系统讲解 AI Agent 执行写操作（改文件、写数据库、调用有副作用的 API）时如何设计回滚机制，涵盖快照、补偿事务、幂等性与审计日志。
-
AI Agent 错误恢复机制设计：让 Agent 在失败中自我修复
深入讲解 AI Agent 错误恢复机制，涵盖重试策略、降级回退、状态检查点、异常分类与自动修复，帮你构建健壮的 Agent 系统。
-
多模型成本智能路由方案：让 AI 调用自动选最优性价比
详解多模型智能路由设计：按任务复杂度自动分配模型，结合缓存、批处理与动态定价，将 LLM 成本降低 40%~70%。