Evidently AI

这个项目的核心优势是：
– 协作性：是一个AI可观测性平台用于评估、测试和监控AI产品。
– 开源性：建立在Evidently这个开源ML监控工具之上具有透明性和易于扩展的特点。
– 功能丰富：提供了100多个指标可用于评估LLM、ML模型和数据管道等。
– 可定制性：用户可以根据自己的需求设计AI质量系统使用内置的100多个指标或添加自定义指标。
– 易于使用：提供了直观的界面和详细的文档使用户能够快速上手。

应用场景包括：
– 聊天机器人、RAGs和复杂AI助手等AI产品的可观测性。
– 预测任务的输入和输出质量评估包括分类、回归、排名和推荐等。
– 数据漂移检测、数据质量监控和模型性能跟踪等。

相关项目包括：
– Evidently：一个开源的ML监控工具提供了100多个指标可用于评估LLM、ML模型和数据管道等。
– Evidently AI Reports：一个用于评估模型、段和数据集的报告工具。
– Evidently AI Tests：一个用于运行系统检查以检测回归、压力测试模型或在CI/CD期间验证的工具。
– Evidently AI Monitoring dashboard：一个用于监控生产数据和运行连续测试的仪表板。