高质量音乐生成、高灵活音乐编辑，Seed-Music 再次打开了 AI 音乐创作的天花板。

  跟 e 人朋友出门玩，先被拉去饭局尬聊，再和陌生人组队打本，下面这首歌真是唱出了 i 人心声。

  后两天假期就舒服多了。通关了黑神话悟空还不过瘾，我在家补经典 86 版的《西游记》。无论多少次重温，还是会被大圣的魅力吸引。

  实际上，两首歌都并非真人所作，而是全靠字节最新发布的音乐大模型 ——Seed-Music。

  有音乐人表示：“（Seed-Music）生成的音乐质量比同类模型都高出一筹。已经期待它能作为一项服务被使用。”

  虽说 AIGC 很火，但相较于语音合成、文本生成，音乐生成面临着更复杂的挑战。

  ：音乐信号包含多个重叠音轨、丰富的音调和音色以及广泛的频率带宽，不仅要保持短期旋律的连贯性，还要在长期结构上展现出一致性。

  ：音乐作为一种开放、主观的艺术形式，缺乏一套通用的问题表述和用于比较的黄金指标，评估局限性大。

  ：不同的用户群体，如音乐小白、音乐初学者、资深音乐人等，对音乐创作的需求差异很大。

  无论是传统的音乐辅助创作工具，还是当下热门的 AI 音乐生成的研究和产品，面向以上问题，均还处于摸索阶段。

  比如针对音乐信号复杂性，Google、Meta、Stability AI 等各家在音频、演奏、曲谱层面上做了建模尝试，效果各有优缺，而且各家的评估方法均有局限，人工评测仍必不可少。

  面对这些挑战，字节 Seed-Music 采用了创新的统一框架，将语言模型和扩散模型的优势相结合，并融入符号音乐的处理。

  通过官方视频展示，我们得知，与别的音乐模型相比，Seed-Music 能更好地满足多种群体的音乐创作需求。

  我们仔细研究了 Seed-Music 的音乐生成 demo，发现其能力真・丰富多样，且 demo 人声效果逼真度，绝了。

  对于专业音乐人来说，使用 AI 工具辅助创作，最大痛点莫过于无法对音乐进行编辑。

  Seed-Music 创新点之一，在于能通过 lead sheet（领谱）来编辑音乐，这增加了音乐创作可解释性。

  在官方视频的 Lead2Song 部分，能够正常的看到同一版歌词，通过领谱增减音轨、改变输入风格后，就能得到不同结果的歌曲，明显提高模型的实用性。

  除领谱外，Seed-Music 也能直接调整歌词或旋律。比如，“情人节的玫瑰花，你送给了谁 / 你送给别人”，歌词修改前后，旋律保持不变，音乐的连贯性得以保持，过渡效果很平滑。

  输入内容除了文本，也可以是音频，它能基于原曲输出续作或仿作。下面这首英文歌曲“摇身一变”，仿写成了中文古风歌。

  哪怕输入临时录制的 10 秒人声， Seed-Music 的零样本音频转换技术都能够将其转化为流畅的声乐。

  惊喜的是，Seed-Music 能将中文人声输入转换为英文声乐输出，实现了跨语种人声克隆，扩大了音乐小白们的创作空间。

  那为什么 Seed-Music 能做到生成高质量音乐、提供灵活编辑能力呢？

  来自豆包大模型团队的研究者们表示，这主要得益于统一框架，关键技术贡献如下：

  提出了一种基于新型 token 和语言模型（LM）的方法，并引入了一种可以依据不一样用户输入生成专业生成内容（PGC）质量音乐的训练方法。

  引入了一种在歌唱声音背景下的零样本声音转换的新颖方法。系统能根据用户短至 10 秒的参考歌唱或甚至普通语音的音色生成完整的声乐混音。

  根据官方论文，如上图所示，从高层次来看 Seed-Music 有着统一的音乐生成框架，主要包含以下三个核心组件：一个表征模型，用于将原始音频波形压缩成某种压缩表征形式；一个生成器，经过训练可以接受各种用户控制输入，并相应地生成中间表征；一个渲染器，能够从生成器输出的中间表征中，合成高质量的音频波形。

  基于统一框架，Seed-Music 建立了三种适用于不同场景的中间表征：音频 token、符号音乐 token 和声码器 latent。

  ：通常以低于音频采样率的标记率学习，旨在有效编码语义和声学信息，能轻松桥接不同模态，但不同音乐信息高度纠缠，给生成器带来挑战。

  ：如 MIDI、ABC 记号或钢琴卷帘记号等，本质上离散，可被大型语言模型操作，具有可解释性，便于用户在辅助音乐创作中交互，但缺乏声学信息，依赖渲染器生成声学细节。

  ：在探索基于扩散模型的音乐音频生成中，可作为中间表征，与量化音频标记相比，信息损失少、渲染器权重更轻，但生成器输出不可解释，且由于仅用波形重建目标训练，可能不够有效作为训练生成器的预测目标。

  如图所示，中间表征对整个系统来说很重要，每种表征都有其特点和适用场景，具体选择取决于用户的音乐创作任务。

  ：包括 tokenizer、自回归语言模型、token 扩散模型和声码器，音频 token 有效地存储了原始信号的显著音乐信息，语言模型按照每个用户控制输入生成音频 token，token 扩散模型处理音频 token 以生成具有增强声学细节的音频波形。

  ：采用符号音乐 token 作为中间表征，与音频 token 基于的管道类似，但有一些区别，如 lead sheet tokenizer 将信息编码为 token，语言模型学习预测 lead sheet token 序列，lead sheet token 是可解释的，并且允许在训练和推理中注入人类知识，但扩散模型从 lead sheet token 预测声码器 latent 更具挑战性，需要更大的模型规模。

  ：遵循通过 latent 扩散建模从文本直接生成音乐到声学声码器 latent 表征的工作，通过变分自编码器和扩散模型将条件信号映射到归一化和连续的声码器 latent 空间。

  在上述链路中，Seed-Music 经历三个训练阶段：预训练、微调和后训练。预训练旨在为音乐音频建模建立强大的基础模型；微调包括基于高质量音乐数据集的数据微调，以增强音乐性，或者针对特定创作任务提高可控性、可解释性和交互性的指令微调；后训练是通过强化学习进行的，从整体上提高了模型的稳定性。

  此外，在推理时，样本解码方案对于从训练模型中诱导出最佳结果至关重要。研究者们同时会应用模型蒸馏和流式解码方案来提高系统的延迟。

  回顾过往，新技术往往能够激发新创新。能够正常的看到，Seed-Music 将音乐生成自然地嵌入不同创作群体的工作流中，使 AI 音乐具备独特的社交属性，这是其与传统音乐创作模式的不同之处。在未来，或许会由此涌现创作音乐、欣赏音乐、分享音乐的新场景。

  就目前观察到的业界各玩家动向来说，Meta 和谷歌在 MusicGen 和 MusicLM 论文发布、Lyria 短暂内测之后，暂无更多消息放出。Suno、Udio 更为活跃，正侧重于改善效果。Seed-Music 此番在研发技术层面提供了更多可能。

  期待 Seed-Music 乃至 AI 产业各类玩家能在未来获取更多突破。

  最后，欢迎对 Seed-Music 感兴趣的朋友访问豆包大模型团队官网 ，了解更多相关的信息。

  特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

  Redmi Note 14 Pro上山下河，王腾极限测试，雷军都点评了

  1年走完iOS、安卓17年的路！华为纯血鸿蒙成了：应用已使用户得到满足99.9%使用时长

  苹果iPhone16系列体验：虽然没上AI，但依旧是地表最强的智能手机

  华为首款三折屏Mate XT 非凡大师体验：尊贵且实用 名副其实的超旗舰