VideoPoet
强大的AI视频生成工具,它通过大型语言模型架构和多模态输入处理能力,实现了从文本到视频的转换、图像动画生成、视频风格化、视频编辑和音频生成等多种功能。
这个项目是 MiniMax 开放平台发布的新一代模型包括针对文本处理任务的 MiniMax-Text-01以及面向多模态理解任务的 MiniMax-VL-01。
项目核心优势:
– 业内大规模实现了新的线性注意力机制。
– 使模型在综合性能上达到了国际顶尖水平。
– 显著提升了处理效率能够高效处理高达 400 万个输入是现有顶尖模型的 20 至 32 倍。
应用场景:
– 为未来一年中潜在的 Agent 相关应用的爆发式增长提供强有力的支持。
相关项目:
– 音乐生成 API:支持基于 voice_id、instrumental_id、lyrics 生成相应的 AI 音乐。
– CCv2:在 abab6.5s 模型上支持 web search 功能。
– T2A、pro、large:支持个性化发音字典与通用发音字典兼容。
– Retrieval:调整知识库上限数量。
– CC v2:新增请求参数 mask_sensitive_info;返回参数 input_sensitive、input_sensitive_type、output_sensitive、output_sensitive_type。