国内首个音频生成类大模型通过备案

来源:爱集微 #人工智能# #音频#
4572

近日,上海网信办发布新一批上海市生成式大模型备案通过名单。喜马拉雅音频大模型与米哈游、阅文集团的筑梦岛等文本大模型共同通过了备案,成为全国首个通过网信办生成式人工智能服务的音频生成类大模型。

喜马拉雅音频大模型是全球首个第四代多情感演绎、超自然表达的音频生成大模型。该模型将会引领整个音频行业AIGC从第三代音频生成模型向第四代音频生成大模型的演化发展。

喜马拉雅音频模型是珠峰AI团队基于自研文本音频联合建模的LLM框架,在同一空间向量表征下实现音频与文本的联合建模训练。这种联合建模的方法充分赋予了音频生成任务以强大的语义信息,并充分利用它们之间的内在联系和互补信息,大幅度提高模型的性能和泛化能力,这也是第四代音频大模型超越上一代的核心技术突破。

在训练过程中,喜马拉雅珠峰AI首先将音频数据和文本数据分别进行预处理,将它们转化为适合模型输入的 token 形式,并将音频 token 和文本 token 映射到同一空间向量表征中,使得模型能够更好地理解和处理音频和文本之间的关系。模型具备以下特点:(1)15s音色克隆能力和声音转换能力。(2)超拟人、多情感、对齐人类偏好的语音生成。(3)高可控风格和副语言能力。

喜马拉雅珠峰AI研发团队对训练好的模型进行评估,在长音频内容如有声小说的场景下,角色演绎风格的可控性、音素表现的稳定性、语流韵律停顿等的自然度上显著高于国内外第三代音频生成模型。

责编: 姜羽桐
来源:爱集微 #人工智能# #音频#
THE END

*此内容为集微网原创,著作权归集微网所有,爱集微,爱原创

关闭
加载

PDF 加载中...