AI 已能按音乐风格填词,周杰伦又有御用作词了?

人工智能
2021
07/01
22:33
量子位
分享
评论

来源:量子位

虽然AI 在艺术领域一直有不少争议,但它一直也没停下各种尝试的步伐:

写歌、画画、写诗……这不,刚又学会了填词

我们给这个 AI 放了一首钢琴曲,曲调非常悠扬平和。

然后,它生成的部分词是这样的:

各位感觉如何?

其中,生成过程的动态效果看着还不错:

当然,它可以很好地分辨不同风格的音乐:给安静的钢琴乐生成的词与给嘈杂的摇滚乐生成的会完全不一样。

不过,鉴于目前的填词效果(比如有时无厘头的上下衔接),研究人员也表示:

这个工具也不是为了取代音乐家,而是成为一个激发音乐家创作灵感的工具,辅助他们创造出满意的作品。

ps. 此处在线 cue 周杰伦,御用词人试试 AI?

如何分辨出不同风格的曲子?

这项研究来自滑铁卢大学,研究成果即将发表在 ICCC 2021。

项目的动机源于其中一位研究员的个人兴趣。

这名研究员非常喜欢音乐,所以她很好奇机器是否可以生成听起来像她最喜欢的音乐艺术家风格的歌词。

最终做出来的系统叫做LyricJam,已有在线网页版供任何感兴趣的音乐人访问使用。

该系统通过将原始音频文件转换为频谱图,然后使用深度学习模型实时生成与音乐相匹配的歌词。

模型的架构由两个变分自动编码器(VAE)组成,一个用于学习音乐音频的表示,另一个用于学习生成歌词。

训练数据集由 18000 个原始歌曲的 WAV 音频片段和 7 种音乐艺术家的相应歌词组成。

首先使用 CNN 来根据频谱图将带歌词的音频,按风格分类成不同 " 艺术家 "。

然后训练一个条件 VAE ( conditional VAE,CVAE ) " 重建 " 原始歌词,根据不同类型音乐的歌词用词和表达方式的不同,生成一系列连贯的新歌词。

其中生成条件是前面预先训练的 " 艺术家 " 种类。

推理阶段,流程差不多:系统将实时录制的音频片段转换成频谱图,然后进行风格识别,为了生成最匹配的歌词,需要根据 " 艺术家 " 的类别从潜在空间中采样并对其进行解码,然后生成对应的歌词表达。

最后,使用基于 GAN 的对齐模型来对齐两种编码器生成的歌词和音频表示

最终效果如何呢?

" 非批判性的即兴演奏伙伴 "

为了评估他们开发的系统,研究人员进行了一项简单的用户研究,请来一批搞音乐创作的人来测试。

测试要求音乐人现场演奏音乐并分享他们对系统所作歌词的反馈。

首先确定该系统是否能更准确地生成与音乐所产生的情绪相匹配的歌词。

研究人员选用了 5 种不同乐器演奏的不同歌曲的片段,每段约 10 秒,用该模型的两种变体(下图中每组的第二三行)各生成一行歌词,再用一个基线模型(下图中每组第一行)生成歌词。

生成示例如下:

测试者需对以上 3 种词,进行打分,选出最匹配当前音乐的一种。

总共有 15 个人参与了这项研究,从下表可以看出,无论播放的歌曲类型如何,用户都更喜欢后两个模型的歌词,而非基线模型的。

这说明,该系统可以生成匹配音乐风格的歌词

最后,通过一系列问卷调查显示,大多数参与实验的音乐人都觉得,LyricJam 是一个非批判性的即兴演奏 " 伙伴 ",可以鼓励他们即兴创作并尝试不同寻常的歌词表达方式。

另外,即使中间改变音乐风格或尝试加入新的和弦,歌词也能实时做出抒情主题的变化。

最后研究人员表示,如果在更大的数据集上训练,填的词就更具有多样性了。

感兴趣的朋友可戳在线链接试玩,系统操作非常简单,录入一个音频就可以:https://lyricjam.ai/

THE END
广告、内容合作请点击这里 寻求合作
科技
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表砍柴网的观点和立场。

相关热点

根据韩国媒体 TheElec 消息,三星 Galaxy S21 FE 粉丝版手机将仅在欧洲和美国地区推出。这款手机同属 S21 系列,将搭载高通骁龙 888 处理器,外观以及参数配置与 S21 标准版近似,但是后盖将采用多彩配色...
业界
2021 年 2 月 18 日,谷歌在 Android 博客发布了有关 Android 12 的信息,随即发布 Android 12 第一个开发者预览版,预计正式版将在 8 月之后到来。
每日快讯
6 月 24 日,微软发布了 Windows 11 系统,并且推动了微软股价的上升,同时在过去两天中主导了新闻头条。甚至连名人也在各处发表意见,包括无所畏惧的企业家特斯拉、SpaceX CEO 埃隆马斯克。外媒 Windows ...
业界
据外媒 VideoCardz 消息,英伟达官网列出了 A100 系列计算加速显卡的新品信息。该系列产品为数据中心的高性能计算机推出,用于人工智能、科学、产业等运算。该系列产品 GPU 芯片代号为 GA100,核心面积 82...
业界
一直以来,iOS 就以安全规范的生态规则,和严格安全隐私保护机制著称。但 iOS 生态系统最大的争议之一,是用户缺乏所谓的 " 自由 ",无法从 App Store 以外的地方下载应用。许多人建议希望苹果能够允许用...
业界

相关推荐

1
3