VR空間で音楽活動を行う2人組アーティスト、memexのぴぼです。
存在・演出・音声を同時に複数の空間に配信可能なVRライブシステム「Omnipresence Live」を発表しました。
概要
「Omnipresence Live」を用いることで、数百万人規模の視聴者が同時にリアルタイムに動くアーティスト、生演奏、空間演出から成るVRライブを体験することができます。
※同時接続数はAWS Elemental MediaLiveの資料を元にしています、 https://docs.aws.amazon.com/ja_jp/medialive/latest/ug/medialive-ug.pdf
特徴
- 理論上の同時接続数が映像配信プラットフォームの最高同時接続数と同値以上になります。
- モーション・音声・演出のタイミングが一致したリアルタイムVRライブを配信することが可能となります。
- VRライブを構成する情報を汎用的な映像フォーマットとして扱うことができるため、既存の映像配信サーバーを構成する技術を流用することができます。
- 配信映像のアーカイブ映像を用いることで、本システムで配信したVRライブをいつでも再び再生することが可能です。
システム原理
システムはVRライブの構成情報を映像に変換するイベントビジュアライザと、映像からVRライブを再構成するリコンストラクタから成ります。
イベントビジュアライザはアーティストの動きの情報（頂点群もしくはボーン情報）と演奏情報をデータビジュアライズの要領で映像にします。この映像にライブの音声を乗せて映像配信プラットフォームを用いて生配信します。
リコンストラクタは配信映像から情報を復元して、アーティストの動きやライブ音声、演奏情報に合わせた演出を再生することができます。
演奏情報とは、演奏する各楽器の音量や音程といった情報を指します。これをリアルタイムに映像として配信することで、VR空間上で生演奏に反応する演出を表現できます。
実装状況
- 3Dアバターの全頂点群を配信する方式のイベントビジュアライザを実装済みです。ただし、アバターの全頂点情報を配信するために必要な情報量を現状の映像配信サービスで安定して配信 / 視聴することが難しいため、姿はノイズを含む状態となります。
- Windows上 / VRChat(Windows版)上で動作するリコンストラクタを実装済みです。
告知
5/30 15:00より「Omnipresence Live」を用いた全世界同時ワンマンライブ「#解釈不一致」をVRChat上で開催します。
memexの存在と、演奏と、Mikipomさん制作のワールド・オーディオリアクティブ演出をお楽しみ頂けます。
アクセス方法は下記の通りです。
- VRChatにログインする
- メニュー > Settings > Other Options > SHOW COMMUNITY LABSをオンに変更
- メニュー > World > Search より「fuitch」を検索
- ワールド「fuitch – memex existence streaming」を選択し「Go」ボタンで入場
開発経緯
memexはVR空間で音楽をするという未知の可能性に惹かれ、VRChatやclusterといったソーシャルVRプラットフォーム上でライブを行ってきました。また、その全てのライブをリアルタイムモーション収録かつ生歌で行っています。
筆者が思い描くVRライブの魅力の一つとして、空間などの情報がライブの音声に反応し変化することが挙げられます。これによって現実空間では不可能な音楽への没入体験を提供できると考えています。
そのため、memexで生歌や生演奏に反応する空間でライブしたいという気持ちが常にありました。
しかし現状、リアルタイムに収録するモーション、生歌生演奏によるライブ音声、音声に反応するオリジナルの空間演出をタイミングを一致させた状態で配信可能なソーシャルVRプラットフォームは存在しません。
いつかタイミングを一致させた状態でアバターのボーン情報、音声、空間演出イベントを配信 / 受信する機能を持ったソーシャルVRプラットフォームが表れるまで、この体験はできないものと考えていました。
この体験は部分的にはVRChatで実現されていました。
VRChatにはワールド内で複数人が集まり映像ストリーミングを視聴する機能があります。
これを用いて、ワールドにアーティストと観客が集まり、音楽とその音に反応する空間演出を楽しむ音楽イベントが一部ユーザーによって行われています。
これはライブ音声とそのオーディオスペクトルなどを映像として各種映像配信プラットフォームを用いて配信し、ワールド内でライブ音声を再生し、映像を空間演出に変換する手法で実現しています。
この手法を拡張し、アバターの存在を合わせて配信することで先述した音楽への没入度の高いVRライブが実現できると考えたことが開発のきっかけとなりました。
技術背景
存在のストリーミングに関してはVertex Animation Textureと呼ばれる技術をリアルタイム映像ストリーミングに応用することで実現しました。
開発にあたりsugi-cho様のリポジトリ「Animation-Texture-Baker」を多大に参考にしました。
https://github.com/sugi-cho/Animation-Texture-Baker
※2020年5月18日 追記
存在の映像化と再構成に関して、同様の仕組みが既にVRChat上のあるワールドに存在するという情報を頂きました。
ワールド自体は公開されているものですが、ワールドの特性上特定可能な情報の記載は控えます。
今後の展望
マルチプラットフォーム対応を検討中です。現在の実装ではリコンストラクタをVRChat上で実装するために存在の質と引き換えにアバターの頂点群を配信する方式を取っていますが、アバターのボーン情報を配信する方式に変更することで存在の質を損なわず同時にmac, iOS, Androidといった各種OSに提供できる可能性があると考えています。
再生デバイスとしてLookingGlassのような立体ディスプレイを用いることで、計算機上のVR空間だけでなく物理世界にも遍在したいと考えています。
一般公開について
下記の理由から活用のハードルが高いため、一般公開は今のところ予定しておりません。
- 「アーティストの振る舞い・音声・演出のタイミングが一致したリアルタイムVRライブを配信するという目的がない」もしくは「既存プラットフォームでは収容できないほどの観客を集めることができる」場合を除いて他サービスに対して優位な点がないため。
- 配信者はイベントビジュアライザに演奏情報を入力するために
何らかの方法で演奏情報をOSC形式で出力できる必要があるため。 - コンテンツ部分は付属しないため。任意の演出を表現するためにリコンストラクタの出力を受けて演出を実行するシェーダーの開発が必要となります。
これを前提として利用したい場合はご相談頂けますと幸いです。
contact@meme-x.jp
謝辞
日頃よりmemexを支えてくださるファンの皆様
絶対に生歌を貫きたいと思える最高のパフォーマンスを発揮してきたmemexボーカルのアランさん
本システム上でmemexの世界観を技術的な要求込みで表現して頂けるだろうと確信できる作品を作ってきたMikipomさん
VRChatで音楽体験の未来を切り拓いてきた先人の皆様
存在のストリーミングについてツイートで示唆されたヨツミフレームさん
上記の方々が本システムを完成させるための強いモチベーションになりました。この場を借りて感謝申し上げます。
memex
2019年1月1日活動開始。
ぴぼ、アランの2人からなるバーチャルオルタナアーティスト。
「技術で音楽活動をハックする」をテーマに、楽曲の発表に加え、ソーシャルVR空間でのライブ活動や、音に重点を置いたVRワールド制作など、「オルタナティブ」な音楽活動を行う。
＞YouTube
＞Twitter
アラン
memex ボーカル
＞アラン Twitter
ぴぼ
memex 作曲・開発
＞ぴぼ Twitter
※本ページの画像・テキストについて、本リリース情報を周知する目的でのニュースメディアへの転載を許可します。 （転載した旨の表記は不要です。）
Japanese
Arabic
Chinese (Simplified)
Dutch
English
French
German
Italian
Portuguese
Russian
Spanish