Nao Tokui

%CODE0%

あれは90年代末。

「うぉー、ぐりぐり動かせる！」

QuickTime VRのプラグインをインストールするのに一苦労しつつ、雑誌の付録のCD-ROMに入っていたどこかの砂漠のパノラマ写真を、飽きもせずにぐりぐりしていた大学生の僕。次にぐりぐりに興奮したのはGoogle Street Viewでしょうか。そんなパノラマ写真との出会いから15年近い日々が経ち、今や動画でも同じようなことができるようになっているのはご承知の通りです。

360度全天球パノラマ動画(以下360度動画)をちゃんと使ったコンテンツに最初に出会ったのは、Red Bullのサーフィン動画だったと思います。チューブに入ったサーファーの視点を自由に動かして、覆いかぶさってくる波を見上げたり、背後で波がクローズしていく様子を振り返ったり… 一度はチューブに入ってみたいと思っている僕にとっては、その体験を疑似体験できたという意味でも強い印象を受けました。

それ以来、360度パノラマ動画には興味があり、SONYのBloggieやiPhone用のアタッチメントなど、こうした動画が撮れるガジェットが出るたびについつい買ってきました(2010年のポスト SONY bloggieの360度カメラが面白い)。 Ricoh Thetaも動画に対応したと聞いて、さっそく購入したクチです。

僕を含めて “マルチメディア”世代にはどことなく懐かしい感じもする360度動画ですが、ここに来て徐々に注目を集めはじめているようです。理由としては、Oculus VRやGoogle Cardboard, ハコスコなどの誕生によって、VR熱が再燃しているというのが大きいのでしょう。最近ではYouTubeが360度動画に対応、同時にRicoh Thetaのように手軽に360度動画が撮影できるデバイスが市場に出回り始めたこと、これらが相互に生のフィードバックを生んでいるようです。

特にYouTubeが対応したことによるインパクトは絶大です。BjorkやSquarepusherといったアーティストがミュージックビデオを発表したり、サスペンスドラマの予告編が発表されたりとその動きが加速しているように感じます。(以下の動画の視聴にはGoogle ChromeもしくはAndroid/iOSのYouTubeアプリが必要)

ただ、こうした360°動画を視聴した時に、どうしても「のっぺり」しているような印象を受けてしまうのは僕だけでしょうか。視点は自由に動かせるし、好きな方向を見ることができるのに、なぜかその場にいるような/映像に包まれているような印象がしない… もちろん、解像度がそこまで高くないという問題やそもそもYouTubeの小さな画面で見ているからというのはあるのだと思いますが、もう一つの大きな理由に「音」があるように感じました。視点は自由に動かせるのに対して、視点の変化に対して音像はまったく変化しない、画面に見えている音源も背後にある音源も同一に扱われている…　音がおざなりになってしまっている現状があります。

3Dゲームでは当たり前になった立体音響の仕組みのように、視点の方向に対応して音像が変化する、音が聞こえて来る方向を向くと、音源の正体が見える、というふうにできないか…

そんなことを考えて、360°動画用に360度の周囲の音を記録するマルチチャンネル・サラウンドマイクと、再生用の専用動画プレイヤーを開発しました。

このマイクは、正四面体の各頂点方向を向いた4つの指向性マイクから構成されます(Ricoh Thetaの上に簡単に取り付けられるようなアタッチメント付き)。

動画の撮影と同時に、この4チャンネルの音をそれぞれ独立してポータブルレコーダーで録音。再生時には、視点方向の情報から、4チャンネルの音をミックスすることでヘッドホンで再生されるべき2チャンネルの音を再合成しています(今回開発した専用プレイヤーの利用が必須)。

以下は渋谷のスクランブル交差点で試しにとってみた動画です。風のノイズ(吹かれ)が強く入ってしまっていますが、雰囲気は伝わると思います (この後、風防を取り付けられるように改良しました)

ヘッドホンの利用を推奨.
マウスで視点を動かしてみてください!

Google Chrome推奨. iOS/Androidのブラウザには非対応. 

Sample1: 渋谷スクランブル交差点

製作中のマイクを使った動画

Thetaのステレオマイクを使った動画

Sample2: 氷川神社

製作中のマイクを使った動画

Thetaのステレオマイクを使った動画

%CODE1%

どうです？ 没入感に大きな違いがあると思いませんか？

この仕組みは、1970年代に確立されたサラウンド音響の技術、Ambisonicsの考え方に基づいています。5.1チャンネルなどの一般的なサラウンドのフォーマットとは異なり、Ambisonicsのサラウンド音源は再生するスピーカーの位置に依存しません。再生環境に合わせて、録音された音から再生される音が再合成される点に優位性があるのですが、技術的制約と市場の需要の薄さから、日の目をみることなく埋もれてしまいました (その後、Soundfieldマイクとして一部では発売されているものの、市場がニッチなためか非常に高価で限定された世界でしか使われていないようです。Ambisonicsと類似するサラウンドのフォーマットについては Sound on Soundのこの記事が詳しいです)。

Oculus Riftの登場などによってVR技術に注目が集まる昨今ですが、話題の多くは視覚表現に集中しています。今回の試みは、Ambisonicsのような古い技術を掘り起こすことで、視覚偏重の陰で忘れ去られがちな聴覚に光を当てるというチャレンジでもあります。

自分が生まれ育った街の雑踏のざわめき、通った学校のチャイム、お寺の鐘の音。懐かしい音によって記憶を喚起されたという経験は誰しもが体験しているはず。360°で映像が撮れるからこと、見えないものの気配を感じるためのシステムを提案できたらと考えています。

「百聞は一見に如かず」の一方で、実は「百見は一聞に如かず」もまた真なのではないでしょうか。

なお、このプロジェクトはライゾマの西本さんとQosmo細井さんの大学生コンビががんばってくれてます。3Dプリンタをつかってアタッチメントを綺麗につくってくれた西本さんには驚かされました。細井さんにはWebサイトの制作をお願いしてます。そちらも楽しみ!

おまけ – 撮影の様子