ReliableGPT

这个项目的核心优势是能够提供100%的正常运行时间和可靠性处理OpenAI的速率限制、超时、API和密钥错误。它通过使用LiteLLM来实现20倍的吞吐量并在Azure和OpenAI之间进行负载均衡。

应用场景包括：
– 处理LLM应用程序中的失败请求确保客户请求不会被丢弃。
– 提供缓存功能以应对高流量和服务器过载情况。
– 支持在Azure OpenAI和原始OpenAI之间进行切换以应对Azure OpenAI端点的故障。

相关项目包括：
– LiteLLM：这是他们的新家园用于提供更高的吞吐量和负载均衡。
– Router：用于模型列表的路由。