【2023年5月】AI合成： 合成器的未来是什么样的？

第一酱

在这篇关于人工智能合成的特别文章中，我们将试着回答这样一个问题：未来，人工智能驱动的软件合成器，能够模仿罗兰Jupiter-8吗？

如今，人工智能无处不在，它可以为你写新闻，帮你混音。但由AI驱动的合成器却少之又少。这一切即将改变。下面我们一起来看，这些变化是如何发生的。

AI合成
如果说，上面这句话是由AI生成的，你会感到惊讶吗？至少我会。好在这些文字还不是AI说的。但这种情况，正好说明了人工智能在日常生活中爆红，可能是真的。像ChatGPT这样由人工智能撰写新闻，正在成为寻常情况。AI也在渗透到音乐中——算法编写的歌曲和计算机声音“伪装”成著名歌手。这是一个崭新的声音世界。

对于我们这些想用人工智能制作歌曲的音乐制作人来说，有很多选择。从iZotope和Sonible的混音和母带帮助工具到Myxt（一个协同音乐制作工具），有很多方式可以利用人工智能。

不过，这其中还有一个尚未完全上线的领域，是AI合成器，也就是用人工智能产生真的声音。虽然这方面仍处于新生阶段，但它正在发生。让我们来看看这项技术现在的情况，以及它可能的发展方向。需要注意的是，下面的内容并不是一个详尽的清单，而只是目前可用技术的概况。

带有AI合成能力的硬件合成器
由于AI技术非常新，需要更大的硬件处理能力，具有人工智能合成功能的硬件合成器很少，这并不奇怪。这其中可以看到的产品是Hartmann Neuron，它是21世纪初发行的数字复音合成器。据报道，通过基于神经网络的技术，这款产品中的“神经元”可以让用户重新合成、处理已经转化为数字计算机模型的采样。

Hartmann Neuron

更为新潮，但仍处于原型阶段的是Neurorack，开发商Acids称之为 "有史以来第一个基于人工智能的实时合成器"。Eurorack合成器依赖于Nvidia Jetson Nano，这是一台拥有128核GPU和四个CPU的纳米计算机。Neurorack能够产生非常可以的声音，并能用其他模块的CV进行控制。这款产品的后续发展还有待观察。

Acids Neurorack

在合成方面以外，合成器的其他功能也有AI应用。Roland最近的一些硬件合成器，如Jupiter-X和Juno-X有一个名为“I-Arpeggio”的琶音器，这是一个与明治学院大学合作的AI驱动琶音器。

Roland Jupiter-X

带有AI合成的软件合成器
在软件方面，这种变化也在发生。NSynth（神经网络音频合成）是一个基于神经网络的应用程序，用开发者Magenta的话说，它可以让你 "在成对的乐器之间插值，创造新的声音"（谷歌的创意实验室也参与其中）。NSynth可以作为一个MaxForLive设备，还有一个名为NPlayer的Web端乐器。在硬件上，又一款叫做NSynth Super，是NSynth的DIY硬件设备。

Magenta NSynth

guk.AI的Sistema是一个AI驱动的插件，可以在DAW中使用。作为一个声音生成程序，这款软件可以根据类型和特征选择起点，由AI为你生成一个新的声音。生成后，可以用一些宏控制来进一步调整。该插件可购买，也能够订阅使用，也有一个免费版本。

Guk.ai Sistema

Emergent Drums不是合成器，而是一台鼓机，但合成的方法是相似的。这款插件来自Audiolab，使用了打击乐声音进行训练AI，可以生成新的、独特的鼓声采样。可以用一些参数改变声音，如音高、包络和滤波器，以满足需要。

Audiolab的Emergent Drums

AI合成的未来
畅想未来非常令人兴奋，但不禁感到更多的事情可能会发生。如果人工智能可以像Weekend、Liam Gallagher那样“唱歌”，它的声音是不是也能像Jupiter-8或CS-80那样？为了得到一些答案，笔者求助了两位专家——音乐插件开发商Martinic的Martin Broerse，和AudioShake的首席执行官兼联合创始人Jessica Powell，该公司生产人工智能驱动的音干隔离(stem isolation)软件。

你可能知道Martinic曾经的产品，利用软件对Akai AX73进行了详细模拟。该团队还帮助YouTuber Doctor Mix制作了使用ChatGPT生成的插件Doctor Mix AI Synth。我问Martin，现在AI对编写合成器软件有多大作用。他说："目前，AI在代码方面还十分幼稚，"他说。"以Doctor Mix AI Synth为例，软件有着巨大的音量差异和静态的ADSR。 但正如你看到的，仍然可以用它做出非常酷的音乐。"

Martinic的AX73使用了传统的数字建模技术

来自AudioShake的Jessica，在被问到同样的问题时，给出了一个有趣的答案： "如果我们谈论的是完整的混音生成，一般来说，现在最好听的‘人工智能音乐’不是生成式人工智能。相反，它是利用作曲家提供的授权音源或由AudioShake代表这些作曲家创建的音源，利用经典音乐理论和一些人工智能的服务，以新的方式组合这些音源，并从中生成新的音乐。但完全由AI生成的音乐正变得越来越好。而且你已经可以听到好听、生成的乐器。"

AudioShake

人工智能合成可以Jupiter-8吗？
接下来是一个难以回答的问题。你能预见有一天，AI可以复制经典合成器音色吗？就像我们今天可以训练人工智能像Drake 以及Oasis乐队的Liam Gallagher那样唱歌吗？

"我认为，人工智能可以复制经典合成器，"Martinic回答说，"但我估计，VST/AU/CLAP/AAX插件不会这样。这种功能，应该出现在无需使用DAW就能创建完整歌曲的网站上。这是因为计算时间和人工智能模型非常大，如果（试图）在本地实现它，会在目前的硬件上出现音频故障。我认为，今天已经可以用TensorFlow模型来创建这种功能了。"

Jessica有着类似的答案。"最终，当然。你已经可以通过把围绕特定风格的关键词放到Riffusion等服务中，来获得这种感觉。这很有趣，可以玩一玩。"

AI合成的主要问题是计算能力
正如Martinic提到的，目前，AI的主要障碍是计算能力。然而，他看到了一条前进的道路。

他说："我认为，如果工作室和家里的计算机变得更加强大，事情就会发生变化。"目前，我们仍然必须编写高度优化的C++代码，不使用太多的内存和CPU功率，以使仿真工作不出现问题。目前，在目前的硬件上，用AI Synth是不可能的。在未来，例如在这个时候：网站加密有望在几个小时内被......超级计算机破解。

因为如果达到这种性能......目前的加密就不可能实现。估计当这种情况发生时，为了运行银行软件，本地计算机将需要更高性能——例如100倍所取代，以满足新的银行安全加密标准。所以可以说，黑客......在未来将有可能创建基于AI模型的仿真VST/AU/CLAP/AAX插件，这些插件将与我们目前的乐器建模方式一样好。"

“AI模型将和目前的建模插件一样好。”这令人非常期待。

本文译自Gearnews