标签:高可用
共 3 篇文章。
-
多厂商故障切换落地:从设计图到能跑的代码
fallback 路由方案设计完之后,真正难啃的是流式响应中途切换、跨厂商会话状态对齐、副作用幂等这几个实现细节。本文给出落地层面的具体解法。
-
多模型供应商故障演练
从告警阈值、降级策略、流量切换到复盘模板,给出一套可操作的多模型供应商故障演练方案,适合有生产流量的 AI 团队直接落地。
-
LLM 多提供商 fallback 路由设计
深入解析如何设计健壮的 LLM 多提供商 fallback 路由,覆盖熔断、重试、权重调度与成本控制,让 AI 应用始终高可用。