VRでは音と映像の表現手法を原点から見直す必要がある

Media /

長い長い文字の時代(小説や脚本)から、はじめて映像(動画)が登場したとき、私達の大先輩は、どうやって映像表現をするべきなのかを徹底的に考えたはずだ。例えばカット割りとか、ズームやパンのようなカメラワークは、映像自体の表現力がとても低い時代に、心象を表現するために我々の大先輩が編み出した技法であり、それが映画を中心に、文化芸術の域まで達したのだと思う。

この流れは延々と100年ほど続いてきた。モノクロからカラー、フイルムからビデオ、SD→HD→4K→8Kというのは技術の正常進化であって、表現技法自体は何も変わることはなかったといえる。ところが、VR(一部8Kも)はそうではない。360°映像や、8Kで奥行き感を表現できるようになると、いままでにない臨場感や体験や体感を私達にもたらすようになってきた。

人間の視覚は、なぜか360°の視野角を持っていない。進化の過程で、後頭部に目をもう一つ付けなかったのにはきっと何か理由があるはずだ。聴覚は左右2つの耳で360°をカバーしているが、これは外敵から身を守るためには、音が優先される必要があるからではないだろうか。地球上では空気がある限り、近寄ってくるものは必ず音を伴う。耳で360°カバーしていれば、目で360°をカバーする必要がない。2つの映像処理だけさせたほうが脳のCPUやGPUパワーリソース?を集中できる。また視覚は夜間に使い物にならないが、聴覚なら問題なく機能する。

主観映像、つまり自分の目線での映像の場合、それがリアルになればなるほど、例えばカットで視点が変わると、それは現実世界ではありえない瞬間移動を意味する。もちろん現実にはありえないことを体験できるという、新しい体験価値はVRの重要な要素の一つだが、現実に起こり得ないことは違和感にも通じることがある。HMDを装着した状態で両眼の代替として映像を見る場合には、ワンカット・ノー編集以外の映像は本来はあり得ないおかしな状況ということになる。

VRにおいては、とかく音が蔑ろにされがちにされているように感じる。例えばOculus Roomsでは、部屋の中にいる他のメンバーのいる方向から、ちゃんと声が聞こえてくる。首を動かしてもそれは自然な形で音源が移動するので、声が聞こえてくる方向は現実の感覚に極めて近い。また友達のアバターは、とてもデフォルメされた、あまりリアルっぽさのないものだが、同じ空間に相手がいるような感覚に驚く。Skypeなどのビデオ会議と比べても、はるかに空間を共有している感覚があるのは確かである。

 

360°を感じることができる音というものは、バイノーラルを初めてとして、決して新しい技術ではない。しかし360°の映像ときちんと連携したものは、ごく最近のテーマである。まだまだ無骨なHMDを被らなければならないこと、四方八方にスピーカーを置くのは大変という現実はあれど、これらの課題はやがて解決されるはずだ。

「音のVR」というと誤解を受けそうなのだが、こうした音の重要性と、高臨場感映像における最適な映像演出の在り方について、私達はまだまだ何も見出せていないのではないだろうか。