Seed Music

这个项目是Seed-Music它是一套音乐生成系统具有以下核心优势：
– 能够生成高质量的音乐具有细粒度的风格控制。
– 引入了基于自回归语言模型（LM）的方法用于根据多样化和多模态的用户输入生成高质量的声乐音乐。
– 提出了一种基于扩散的方法用于细粒度的音符级音乐音频编辑。
– 提出了一种新颖的零样本唱歌声音转换方法只需要用户10秒的唱歌或语音录音。

Seed-Music的应用场景包括：
– 歌词到歌曲的生成：支持歌词和风格描述符的文本输入生成具有表现力的声乐和适当的背景音乐的短音频片段。
– 长音频生成：生成具有旋律连贯性、一致风格和长期结构的全长音乐作品。
– 音频提示：支持音频提示和自然语言风格提示展示了“音频延续”和“音频风格转换”两种不同的模式。
– 乐器音乐生成：将乐器音乐生成概括为无输入歌词的声乐音乐生成的子任务。
– 歌词到乐谱到歌曲的生成：提出了一种新颖的乐谱标记编解码器将符号表示统一为一种既人类可解释又对基于LM和扩散的模型友好的形式。
– 歌词到乐谱：当文本输入转换为乐谱标记时音乐家可以以可解释的方式检查和修改音符对齐的音素和多轨乐器部分。
– 乐谱到歌曲：乐谱标记是一种强大的中间表示可以像MIDI一样编辑同时与现代LM和扩散模型完全兼容。
– 乐谱到声乐：乐谱标记可以配置为唱歌声音合成（SVS）只包括声乐属性并仅渲染到声乐干。这种方法可扩展到其他乐器干。
– 音乐编辑：完全扩散管道非常适合音乐编辑和后期制作。
– 编辑歌词：编辑已录制歌曲的歌词保持声乐旋律和背景音乐不变。
– 编辑旋律：编辑已录制歌曲的旋律保持歌词和背景音乐不变。
– 唱歌声音转换：引入了一种新颖的零样本唱歌声音转换方法。

Seed-Music的相关项目包括：
– 歌词到歌曲的生成：支持歌词和风格描述符的文本输入生成具有表现力的声乐和适当的背景音乐的短音频片段。
– 长音频生成：生成具有旋律连贯性、一致风格和长期结构的全长音乐作品。
– 音频提示：支持音频提示和自然语言风格提示展示了“音频延续”和“音频风格转换”两种不同的模式。
– 乐器音乐生成：将乐器音乐生成概括为无输入歌词的声乐音乐生成的子任务。
– 歌词到乐谱到歌曲的生成：提出了一种新颖的乐谱标记编解码器将符号表示统一为一种既人类可解释又对基于LM和扩散的模型友好的形式。
– 歌词到乐谱：当文本输入转换为乐谱标记时音乐家可以以可解释的方式检查和修改音符对齐的音素和多轨乐器部分。
– 乐谱到歌曲：乐谱标记是一种强大的中间表示可以像MIDI一样编辑同时与现代LM和扩散模型完全兼容。
– 乐谱到声乐：乐谱标记可以配置为唱歌声音合成（SVS）只包括声乐属性并仅渲染到声乐干。这种方法可扩展到其他乐器干。
– 音乐编辑：完全扩散管道非常适合音乐编辑和后期制作。
– 编辑歌词：编辑已录制歌曲的歌词保持声乐旋律和背景音乐不变。
– 编辑旋律：编辑已录制歌曲的旋律保持歌词和背景音乐不变。
– 唱歌声音转换：引入了一种新颖的零样本唱歌声音转换方法。