AI DJ 技術解説 – 9/4「2045」at OKAZAKI LOOPS #2

LOOPS_P3460714

ありがとうございました!

人工知能時代のDJ, VJ表現を考えるイベント 「2045 」を、OKAZAKI LOOPSのプログラムの一つとして、京都国立近代美術館で先の9月4日に行いました。 200名を超える方にご参加いただきました。お越しいただいた皆さま、ありがとうございました! 前回のブログの記事で告知した技術解説を(事後になってしまいましたが)書きます。

photo (c) OKAZAKI LOOPS 実行委員会

LOOPS_P3290348 LOOPS_P3320568 LOOPS_P3270205

Continue reading

360度動画のためのAmbisonicsマイクを開発中! 「百見は一聞に如かず」

IMG_3772-786x429

あれは90年代末。

「うぉー、ぐりぐり動かせる!」

QuickTime VRのプラグインをインストールするのに一苦労しつつ、雑誌の付録のCD-ROMに入っていたどこかの砂漠のパノラマ写真を、飽きもせずにぐりぐりしていた大学生の僕。次にぐりぐりに興奮したのはGoogle Street Viewでしょうか。そんなパノラマ写真との出会いから15年近い日々が経ち、今や動画でも同じようなことができるようになっているのはご承知の通りです。

360度全天球パノラマ動画(以下360度動画)をちゃんと使ったコンテンツに最初に出会ったのは、Red Bullのサーフィン動画だったと思います。チューブに入ったサーファーの視点を自由に動かして、覆いかぶさってくる波を見上げたり、背後で波がクローズしていく様子を振り返ったり… 一度はチューブに入ってみたいと思っている僕にとっては、その体験を疑似体験できたという意味でも強い印象を受けました。

それ以来、360度パノラマ動画には興味があり、SONYのBloggieiPhone用のアタッチメントなど、こうした動画が撮れるガジェットが出るたびについつい買ってきました(2010年のポスト SONY bloggieの360度カメラが面白い)。 Ricoh Thetaも動画に対応したと聞いて、さっそく購入したクチです。

僕を含めて “マルチメディア”世代にはどことなく懐かしい感じもする360度動画ですが、ここに来て徐々に注目を集めはじめているようです。理由としては、Oculus VRやGoogle Cardboard, ハコスコなどの誕生によって、VR熱が再燃しているというのが大きいのでしょう。最近ではYouTubeが360度動画に対応、同時にRicoh Thetaのように手軽に360度動画が撮影できるデバイスが市場に出回り始めたこと、これらが相互に生のフィードバックを生んでいるようです。

特にYouTubeが対応したことによるインパクトは絶大です。BjorkやSquarepusherといったアーティストがミュージックビデオを発表したり、サスペンスドラマの予告編が発表されたりとその動きが加速しているように感じます。(以下の動画の視聴にはGoogle ChromeもしくはAndroid/iOSのYouTubeアプリが必要)

ただ、こうした360°動画を視聴した時に、どうしても「のっぺり」しているような印象を受けてしまうのは僕だけでしょうか。視点は自由に動かせるし、好きな方向を見ることができるのに、なぜかその場にいるような/映像に包まれているような印象がしない… もちろん、解像度がそこまで高くないという問題やそもそもYouTubeの小さな画面で見ているからというのはあるのだと思いますが、もう一つの大きな理由に「音」があるように感じました。視点は自由に動かせるのに対して、視点の変化に対して音像はまったく変化しない、画面に見えている音源も背後にある音源も同一に扱われている… 音がおざなりになってしまっている現状があります。

3Dゲームでは当たり前になった立体音響の仕組みのように、視点の方向に対応して音像が変化する、音が聞こえて来る方向を向くと、音源の正体が見える、というふうにできないか…

そんなことを考えて、360°動画用に360度の周囲の音を記録するマルチチャンネル・サラウンドマイクと、再生用の専用動画プレイヤーを開発しました。

IMG_3772-786x429

IMG_3773-818x447

 

このマイクは、正四面体の各頂点方向を向いた4つの指向性マイクから構成されます(Ricoh Thetaの上に簡単に取り付けられるようなアタッチメント付き)。

動画の撮影と同時に、この4チャンネルの音をそれぞれ独立してポータブルレコーダーで録音。再生時には、視点方向の情報から、4チャンネルの音をミックスすることでヘッドホンで再生されるべき2チャンネルの音を再合成しています(今回開発した専用プレイヤーの利用が必須)。

以下は渋谷のスクランブル交差点で試しにとってみた動画です。風のノイズ(吹かれ)が強く入ってしまっていますが、雰囲気は伝わると思います (この後、風防を取り付けられるように改良しました)

 

ヘッドホンの利用を推奨.
マウスで視点を動かしてみてください!

Google Chrome推奨. iOS/Androidのブラウザには非対応. 

 

 

Sample1: 渋谷スクランブル交差点

製作中のマイクを使った動画

 

Thetaのステレオマイクを使った動画


Sample2: 氷川神社

製作中のマイクを使った動画

 

Thetaのステレオマイクを使った動画

どうです? 没入感に大きな違いがあると思いませんか?

この仕組みは、1970年代に確立されたサラウンド音響の技術、Ambisonicsの考え方に基づいています。5.1チャンネルなどの一般的なサラウンドのフォーマットとは異なり、Ambisonicsのサラウンド音源は再生するスピーカーの位置に依存しません。再生環境に合わせて、録音された音から再生される音が再合成される点に優位性があるのですが、技術的制約と市場の需要の薄さから、日の目をみることなく埋もれてしまいました (その後、Soundfieldマイクとして一部では発売されているものの、市場がニッチなためか非常に高価で限定された世界でしか使われていないようです。Ambisonicsと類似するサラウンドのフォーマットについては Sound on Soundのこの記事が詳しいです)。

Oculus Riftの登場などによってVR技術に注目が集まる昨今ですが、話題の多くは視覚表現に集中しています。今回の試みは、Ambisonicsのような古い技術を掘り起こすことで、視覚偏重の陰で忘れ去られがちな聴覚に光を当てるというチャレンジでもあります。

自分が生まれ育った街の雑踏のざわめき、通った学校のチャイム、お寺の鐘の音。懐かしい音によって記憶を喚起されたという経験は誰しもが体験しているはず。360°で映像が撮れるからこと、見えないものの気配を感じるためのシステムを提案できたらと考えています。

「百聞は一見に如かず」の一方で、実は「百見は一聞に如かず」もまた真なのではないでしょうか。

なお、このプロジェクトはライゾマの西本さんとQosmo細井さんの大学生コンビががんばってくれてます。3Dプリンタをつかってアタッチメントを綺麗につくってくれた西本さんには驚かされました。細井さんにはWebサイトの制作をお願いしてます。そちらも楽しみ!

 


 

おまけ – 撮影の様子

DSC00741

DSC00753

 

 

ALMA MUSIC BOXを楽曲化 – クラウドファンディング中!

alma2

alma music box

アルマ電波望遠のデータをオルゴール化したALMA MUSIC BOX. 昨年21_21デザインサイトで展示したプロジェクトの続報です。オルゴールの音を気鋭のミュージシャンが楽曲化、CD化するプロジェクトをクラウドファンディングで進めています。

宇宙から届いた星の“音”を気鋭のミュージシャン達が楽曲化、CD制作へ
https://motion-gallery.net/projects/alma

2045 Generation #2

Visualization of DJ Playslist

2月13日の第一回目からはや1ヶ月半 (第一回の模様 via @miyuhosoi).  4月3日金曜日に「2045」 vol.2を開催します.  今回は場所を表参道 IDOL (骨董通りの無印良品の地下. ライゾマさんの忘年会をやったスペースです) に移し、キャパシティを数倍に広げて万全の体制でお送りします.

2045_logo

Facebookのイベントページ

 

今回のゲストは evala くん.

“ELEVENPLAY、Perfume、YourCosmosなどのプロジェクトで書き下ろしたアルバム未発表のダンストラックによる2045スペシャルセットをプレイ予定だ。”

だそうです!

僕と浦川のDJ/VJユニットThe Modern Timesはデータ駆動型のDJData-driven DJというコンセプトを掲げて、さらにアルゴリズムを洗練させる方向で進めています. 前回は過去のプレイリストのネットワークをたどっていくかたちでDJをしましたが、今回はもう一歩踏み込んで楽曲の解析を行いました.

DBに入っている60数万曲を解析には、まるまる一週間もの時間がかかりました (非力なiMacでやってたというのもありますが…). テンポや音量、スケールなどはもちろん、推定されるアコースティック⇄電子楽器の割合、ボーカルの割合などなどといった12個の指標を各曲に対して割当て、これらをもとに12次元のデータとしてクラスタリングを行いました. 各クラスタには似たような性格の音を持った曲が入っているはず…という目算です.  以下のプレイリストは 実際にできあがったクラスタのひとつに含まれている曲です. いかがでしょうか?

 

また、DJプレイリスト(約5万のDJセット、計60万曲)のアーカイブ・データの可視化にもチャレンジしてみました. プレイリストデータ内で前後して使われいるアーティストの間をつないでいくと、見事に三つの大きなかたまりが現れました.  曲が連続する回数が多いアーティストほど近くに、頻繁に使われるアーティストほど大きく表示されています.

djnetwork

 

右下の一番大きなグループがテクノ、ハウス(Slam、Carl Craig…) 左上がEDM系(Tiesto, Avicii) 左下がドラムンベース(Noisia )など.

同じ四つ打ちでもハウス・テクノ系のDJとEDM系で選曲に大きなギャップがあるのがよくわかります。 EDMクラスターとハウス・テクノクラスターの間にFat Boy SlimやDaft Punkなどが位置しているのも面白いですね。SkrillexはEDMクラスターとD&Bクラスター、両方で使われてます. よく見ると右下にデトロイトテクノクラスター、その上にスウェディッシュテクノのクラスターがあるのがわかります.

一番真ん中は King of Pop. Michael Jackson!!

スクリーンショット 2015-04-02 12.39.04 PM

 

Google Map的にこのグラフをブラウズできるページも作成
http://naotokui.net/upload/2045_gmap/index.html

スクリーンショット 2015-04-02 3.07.36 PM

 

今回はクラスタの情報と前回使ったプレイリストの情報. 2つのレイヤーで曲をつないでいきます.

またフロアの状況をデータとしてDJにフィードバックする仕組みにもアップデートを加えてます. iBeaconをつかってフロアのどの位置(フロア、ラウンジ、バー etc)にお客さん集まっているかといったデータも取得します(Kenta Watashimaくん担当). (たとえば、自分のDJのときにどんどんバーに人が流れて行ってるというもの数字で可視化されることになるのでDJとしてはちょっと怖いですね… )

 

Daito Manabe率いるライゾマチームもなにか新しいことを企んでいることでしょう!もちろんレジデントの人間DJ代表、Setuya Kurotakiのおしゃれなプレイもお見逃しなく.

今週の金曜日はお花見からの2045で!! お待ちしております。

Facebookのイベントページ

人工知能DJイベント「2045」にThe Modern Timesとして参加

Annex-ChaplinCharlieModernTimes_01.png

2045_logo

「2045」、いよいよ本日開催です!

 

今回僕は、DJユニット「The Modern Times」として、Qosmoの浦川通(@torutoru)とともに参加します.

The Modern Timesでは、ソフトウェアが半自動的に選曲し、人間のDJ=徳井がソフトウェアの薦める曲をミックスしています. 浦川はソフトウェア内での選曲プロセスの可視化を試みます。

 

もともと、今回のイベントを企画するにあたって、僕自身の念頭にあった問題意識は次のようなものでした:

 

  • 「ネットワークを介して世界中のありとあらゆる音楽に自由にアクセスできるようになったとき、DJやVJといった表現はどう変わるのか? 」
  • 「数に際限のないレコード箱を手にしたときに、DJは果たして選曲できるのだろうか?」

 

アメリカ滞在中にSpotifyを使った際に、あまりに選択肢が多すぎて戸惑ってしまった経験もベースになっています。

 

準備をはじめるにあたって、まずは有名DJのプレイリストのデータをひたすら集めるところから始めました。現時点で、約150万曲を含む15万件のDJセットのデータが集まっています。このデータをもとに、DJが現在かけている曲の後によくかけられている曲を、次の曲の候補として算出し、DJに提示します. プレイリストからプレイリストへとジャンプしながらたどって行くようなイメージです. 候補を提示されたDJは、オンライン上のストリーム音源をその場でダウンロードしてミックスして行きます. その中にはたくさんの知らなかった曲が含まれていることでしょう.

現状では、データ量がそれなりに大きいだけで、過去にだれかがやった選曲の範疇を超えるものではないのですが、今後は各楽曲を解析し(テンポ、スケール、パワー、生楽器かどうか、歌の有無 etc)、選曲・曲の並べ方のパターンの機械学習する方向に発展させて行きたいと思っています. ただ単純に統計的な処理をするだけでは、凡庸で平均的な選曲で終わってしまう可能性もあります. データを使いつつ、選曲に個性を持たせるにはどうしたらよいか… 今後の鍵になりそうです.

 

人間のDJが思いもつかなかった選曲を人工知能が提示する、セレンディピティがうまれ、それがフロアにも伝わっていく…  そんな機械と人間の共生関係の実現可能性を探るユニットです! 乞うご期待!!

 

参考:「バベルのタワーレコード」

 

Qosmoオフィスにて絶賛開発中

 

 

 

 

 

 

 

REZONANZ at UNIT

人工知能ラップグループ、Your Cosmosのメンバーとして、11月29日に代官山UNITで開催されるRESONANZに参加します。歌詞の生成部分を担当しています。

http://www.unit-tokyo.com/schedule/2014/11/29/141129_rezonanz_1.php
 

YourCosmos

サウンド・アーティストのevalaによるヒップホップコンテクストによるダンスミュージックトラックの上で、過去に存在したあらゆるリリックをデータベース化することで学習したソフトウェアがライムを紡ぎ出し、インターネット上を行き交うテキストとオーディエンスからの反応からリアルタイムにコールアンドレスポンスの形でフリースタイルのラップを生成、パフォーマンスを行う。 

真鍋大度(Rhizomatiks) : Concept/Programming
evala(port、ATAK): Music
堀井 哲史 (Rhizomatiks) : Visual/Programming
比嘉 了 (Rhizomatiks) : Visual/Programming
登本 悠介 (Rhizomatiks) : Visual / Programmer
菅野 薫(dentsu):Lyric Generation
徳井 直生(Qosmo): Lyric Generation
山田 興生: Lyric Generation 

unboxxx #1

unboxxx_flyer2.png

unboxxx_flyer2.png

unboxxx #1

http://www.kata-gallery.net/events/unboxxx/

2012.5.23 Wed 19:30 – 23:30 ¥1000 1drink

at KATA Tokyo Ebisu

DJ: Nao Tokui (op.disc / PROGRESSIVE FOrM / Qosmo)

Taeji Sawai (Qosmo)

Ryujiro Tamaki (PUBLIC IMAGE/TIMOTHY REALLY/MTP)

Shinsuke JUMBO Okazaki

Visuals: Toru Urakawa / 徳井直生

– unbox |ˌənˈbäks|

動詞(他) 箱から取り出す

例) unbox the presents プレゼントをあける

音楽を軸に、テクノロジー、デザイン、ファッションなどさまざまな分野で活動するクリエイターが集うパーティー.

分野やジャンルという窮屈な箱を取り払い、個々の才能がクロスする… そんな遊び場、ハコをつくる.

Continue reading

3.24 DJ at House of Liquid featuring Akufen (Ebisu Liquid Room)

hol_flyer-front-tm.jpg

Akufen1.jpg

hol_logo.jpg

2012.3.24 Sat 23:30〜

AKUFEN (Live Set)

Yoshinori Sunahara

Nao Tokui (op.disc / PROGRESSIVE FOrM)

MOODMAN (house of liquid)

chill out lounge produced by PROGRESSIVE FOrM
DJ Yogurt (Upset Recordings)、Inner Science、Ametsub

http://www.liquidroom.net/schedule/20120324/9074/

Continue reading

60-min DJ Mix on InterFM

artworks-000015307307-filmph-original

My 60-minute dj mix was aired on Inter FM, a Tokyo-based FM radio station, the other day.It was the 100th show of “Moichi Kuwahara’s PIRATE RADIO“! Congratulations and big thanks to Kuwahara-san for this opportunity!!

The mix is available on soundcloud.com.

60分のdjミックスがInter FMで先日放送されました。Dictionaryでインタビューしていただいた桑原茂一さんのPIRATE RADIOという番組です。しかも、記念すべき100回目の放送!! おめでとうございます & ありがとうございました、桑原さん!ミックスはsoundcloud.comで公開しています。