Berri AI

这个项目是一个LLM网关它提供了对100多个LLM的模型访问、日志记录和使用跟踪。它的核心优势包括：
– 提供模型访问、日志记录和使用跟踪功能。
– 支持100多个LLM包括Azure、Gemini、Bedrock和OpenAI等。
– 具有OpenAI兼容的API支持/chat/completion、/embedding等。
– 提供自我服务门户允许团队通过SSO登录并管理自己的密钥。
– 支持Langfuse、Langsmith、OTEL等日志记录。
– 提供虚拟密钥、预算、团队等功能。
– 支持负载均衡、RPM/TPM限制等。
– 提供LLM护栏功能。

应用场景包括：
– 开发人员可以使用它来访问和管理各种LLM。
– 企业可以使用它来控制模型访问、跟踪使用情况和设置预算限制。
– 团队可以使用它来管理自己的密钥和访问权限。

相关项目包括：
– Langfuse
– Langsmith
– OTEL