NTT R&Dフォーラム2018(秋)の凄さによって逆に気になった「体感価値」

Media /

NTT R&Dフォーラム2018(秋)の最終日に駆け込みで行くことができた。(秋)とあるように、確認していないが、記憶ではR&Dフォーラムは年一回、2月頃に実施されていたと思うが、今年は2月に次いではじめて2回目の開催ではないだろうか。それだけ進化のスピードが上がってるのだろうし、実際2月の展示がアップグレードされていたり、新たな技術も多数展示されていた。

その中で、おなじみとも言えるkirari!がまた一歩進化した。

リアルタイム被写体画像抽出によって人物を切り抜き、それをプロジェクション映像に貼り重ねていく。これはクロマキーかルミナンスキー抽出を行えば背景と人物を切り分けることはもちろん簡単であるが、背景に依存せず、更にリアルタイムで貼り重ねていく重ねていくことはkirari!の要素技術を用いないと不可能だ。

仮に切り抜きができたとしても、連続していくパフォーマンスに対して、特に音の重ね合わせのタイミングを違和感なく、それもやはりリアルタイムで行うためには、「職人芸的」に行うしかなかったが、音声認識と画像認識で完璧に追従し重ね合わさっている。これは一般的にはわかりにくい部分だが、映像音声の編集をご存知であれば驚くだろう。この背景には映像、音声、空間情報などの情報を同期を取って伝送・再生可能なAdvanced-MMTが不可欠である。

今回のデモは、ヒューマン・ビートボックス REATMO氏のパフォーマンスによって、こうした技術をわかり易く、エンターテインメントも併せ持ったデモンストレーションとして表現されていた。kirari!のデモは幾度となく体験しているが、エンターテインメント領域での可能性をさらに感じさせる内容である。

ポイントはリアルタイムであることだ(と思いたい)。Advanced MMTによって映像や音声などをバラバラのパーツとして扱っても、同期伝送できる、つまり別の場所に送って再現できることだ。再現する際に、現場と同じものを復元するだけであればいままでのライブ中継でできることだ。例えばREATMO氏の動きを映像としてではなく、リアルタイムで3次元トラッキングさせれば、伝送先で別のARキャラクターに変えることもできる。これはあくまでも「技術的に可能」であるということで、エンターテインメントとして成立させるには、さらなるクリエイティビティが必要である。おそらくこの領域では、リアルタイムであることにどこまで価値を見いだせるかと、リアルとバーチャルが交錯するなかで、現場ではできない魅力を提供できるかどうかにかかっている。一方で最近少し気になっているのは、リアルタイムであることにジェネレーションZ以降は特に価値を感じない、という話も聞く。理由はスマホによってリアルとバーチャル、リアルタイムとタイムシフトの体感が彼らの中では等価であるのではないか?というのだ。ここは筆者も最近非常に気になってきていることだが、まだよくわからない。

昨年の「【docomo×Perfume】 FUTURE-EXPERIMENT VOL.01 距離をなくせ。」は、ロンドン、東京、ニューヨークをリアルタイムでつないだパフォーマンスだ。これと全く同じものを編集で作った時の違いをずっと考えている。