Creative Adversarial Networks for Rhythms — AIを用いて (人の模倣ではない) 新しい音楽ジャンルを生み出すことができるか?

2021 EXPERIMENTS AI MUSIC

概要

概要:

ディープラーニングの登場以来、研究者はさまざまなAIモデルを提案し、説得力のあるコンテンツ、画像や音楽を含む芸術的なアウトプットを生成する能力があることを証明してきた。しかし、これらのディープラーニングを用いたシステムは、新しい創造的なものを生成するのではなく、人間が作ったものに内在するパターンを模倣し、再現しているという見方もできる。

本論文では、音楽生成、特にエレクトロニック・ダンス・ミュージックのリズムパターンに焦点を当て、深層学習を使って新規のリズム、学習データセットにない興味深いパターンを生成できるかどうかを議論する。

我々は、Generative Adversarial Networks(GAN)のフレームワークを拡張し、ジャンルを推定する新たな分類器を追加しこの分類器を混乱させるように生成器を学習することで、データセットに内在する分布から発散するように促す。本稿では、我々の提案手法に基づいて学習させたGANが、ダンス音楽のリズムのように聞こえるが、学習データセット内のどのジャンルにも属さないパターンを生成することができることを示す。

本論文のソースコード、生成されたリズムパターン、および一般的なDigital Audio Workstation(DAW)ソフトウェアで使えるプラグイン・ソフトウェアは、GitHubにて公開されている。


提案手法 – GAN with Genre Ambiguity Loss

Publication:

Tokui, Nao. 2020. “Can GAN Originate New Electronic Dance Music Genres? — Generating Novel Rhythm Patterns Using GAN with Genre Ambiguity Loss.” arXiv [cs.SD]. arXiv. http://arxiv.org/abs/2011.13062.

生成されたリズムのサンプル:

提案手法で生成したリズムパターン
既存のジャンルにあてはまらないユニークなリズムが生成されているのがわかる

比較: ジャンルによって条件付けして生成したリズム
より一般的なジャンルに近いリズムが生成されている

提案手法で学習したモデルを簡単に試すことのできるAbleton Live Max for Liveデバイスを用いて制作した楽曲