标签:LLM API
共 2 篇文章。
-
LLM API 写操作幂等性设计
系统讲解 LLM API 写操作幂等性设计:如何定义业务结果、生成幂等键、处理并发请求、缓存失败状态,并用状态机与数据库约束避免重复扣费和重复执行工具。
-
跨厂商 SSE 流式解析器实现
从字节流分帧、SSE 字段解析到厂商事件适配,完整实现跨厂商 LLM SSE 流式解析器,并处理 UTF-8 分片、工具参数增量、结束信号与未知事件。
共 2 篇文章。
系统讲解 LLM API 写操作幂等性设计:如何定义业务结果、生成幂等键、处理并发请求、缓存失败状态,并用状态机与数据库约束避免重复扣费和重复执行工具。
从字节流分帧、SSE 字段解析到厂商事件适配,完整实现跨厂商 LLM SSE 流式解析器,并处理 UTF-8 分片、工具参数增量、结束信号与未知事件。