乐队鼓手要失业？索尼用人工智能自动为音乐打节拍

如果要说人工智能技术最近有什么最新的发展成果和迹象，那么很快人工智能将会成为音乐家和作曲家离不开的新工具了。今年7月，总部位于蒙特利尔的初创公司Landr为自己的一款产品众筹了2600万美元，这款产品可以自动分析音乐的风格，然后为音乐创建专属定制的音频处理器集。同时OpenAI和谷歌在今年早些时候也推出了利用音乐生成算法的在线创作工具。

而受到这些研究成果和其它工作的启发，最近索尼的研究人员研发出了一种新型用于条件式鼓点轨迹生成的机器学习模型。考虑到现有歌曲和低维编码歌曲以及生成音乐之间的关系，这种人工智能技术可以从一首歌曲到另一首歌曲来创建各种从音乐效果上具有可行性的鼓声和伴奏，同时不考虑节奏和时间变化上的差异(也就是改变速度和持续的时间)。

“我们提出了一种新型的模型架构，它可以编码鼓点与低音模式之间有节奏的互动。每个映射代码可以捕获各种不同鼓点之间的关系，这样整个轨迹就与一系列映射代码相关联。它不是直接控制生成节奏的特性，而是控制生成节奏与调节之间的关系。”

为了训练人这套工智能系统，研究人员编译了一组由665首流行、摇滚和电子歌曲组成的数据集，其中节奏乐器低音、踢腿鼓和军鼓之间分别以44.1千赫的音频播放。而上下文信号则包括两个输入映射，分别表示节拍和重拍的可能性，以及主鼓和低音的起始函数。接下来，他们通过在阈值化后剩余的所有振幅峰值上放置一个简单的节奏来呈现一个组别的音频文件，这样研究人员就可以通过选择样本的体积来引入动态，从阈值峰值的70%到最大值峰值的100%。

在一系列实验中，研究人员利用人工智能系统，有条件的生成鼓节奏图案和传递风格，或者应用从一首歌曲推断出的节奏图表，在另一首歌曲中归纳出类似的图案。此外，他们分别以原始节奏的80%、90%、110%和120%来创建歌曲的时间拉伸版本，并确定一个映射代码。

研究团队同时还指出，这种结构的重新构建并不完美，部分原因在于模型的“不变性”。但研究人员指出，验证集的准确性与训练集比较类似。

“我们已经证明，映射代码主要是速度和固定在音乐上的鼓点跟踪可以生成给定的节奏和低音，跟踪通过抽样映射代码或通过风格转移,然后通过另一首歌曲推断映射代码。未来后续的工作将同样的方法应用于小军鼓和低音鼓节奏的追踪。”