開催概要

memex usual virtual live
「Serial live experiments Final」

日時：4/30（土）
開場：20:45
開演：21:00
入場料：無料
会場：Club Adaptation at cluster

イベントURL：
https://cluster.mu/e/0be47540-e789-4a06-bc95-d7b68160eb89

Serial live experimentsとは

「Serial live experiments」は、「何度でも足を運びたくなるバーチャルライブ」が行える空間の創出を目指して始まったプロジェクトです。（本記事ではバーチャルライブ=複数人が同時に同じVR空間内で体験するライブと定義します。以下同様）
プロジェクト詳細についてはバーチャルライフマガジン様にご掲載頂いたこちらの記事をご覧ください。
https://vr-lifemagazine.com/serial-live-experiments/

目標とするライブ空間を目指し、1年間memexの所有するライブ空間「Club Adaptation」のアップデートを重ねてきました。
開発にあたっては、2021年5月に行った「Iteration Zero」から毎月ライブを行い、来場者の皆様のアンケートや配信コメント等のフィードバックを通して様々なことを決定してまいりました。
皆様にこの実験的な試みを長らくご支援、ご協力頂いたこと、心より感謝申し上げます。

プロジェクト完結

次回4/30（土）に行うライブに合わせたアップデートにて目標とする空間として完成する見通しが立ったため、次回を最終回と設定させて頂きました。
最終回の後、準備期間をおいて正式オープンおよびmemexによる本運用開始を予定しております。

Serial live experimentsの実施背景について

本プロジェクトの実施背景には「日常的かつ実践的なバーチャルライブの事例を作りたい」という思いがありました。
アーティストが制作費をかけずに魅力的なバーチャルライブを行える場さえあれば、バーチャルライブは音楽活動において極めて有力な手段になることを示したいと考えたからです。

memexは、アーティストと観客がVR空間内に没入して楽しむ「バーチャルライブ」に音楽活動の新たな可能性を感じ、2018年の準備期間を経て2019年に活動を始めました。
バーチャルライブが日常のものとなり、それが音楽活動を行う際の有力な手段として認知されるようになると信じています。そしてバーチャルライブが普及するほどに、取り巻く環境も進歩し、より面白い体験を創ることができるようになっていくと考えています。
そのとき音楽がどのように形を変えていくか、また私たちにどのような表現ができるかに興味があり、バーチャルライブが流行した未来が来ることを夢見ています。

バーチャルライブの流行のために私たちにできることを考えた結果、冒頭の「日常的かつ実践的なバーチャルライブの事例を作りたい」という思いに至りました。日常的というのは、普及した未来で広く行われていると考えられることを指しています。また実践的というのは、バーチャルライブが音楽活動にとってプラスになることを指しています。
普及した状態は、バーチャルライブを行うこと自体には最早目新しさがない状態と考えます。そうなったときに、音楽活動にとってプラスとなるバーチャルライブは、その体験の価値自体によって、かけたコスト以上のリターンを得ることを志向しているはずだと考えました。
リターンとは、例えば新しいファンに見つけてもらうことや、チケットなどによる体験の対価としての売上を得られることです。

現在行われているバーチャルライブは、大きく2つに分けられると考えています。
1つはそのライブのためだけの新規アセット・演出制作などにコストをかけた、アーティスト・オペレーターのパフォーマンス以外にも特別なコンテンツを含んだ価値を持つもの。
もう1つは、新規の制作なしに人件費だけがコストとなる、当日のアーティスト・オペレーターのパフォーマンスが価値の主体となるものです。
この2つを比較すると、前者より後者の方が日常的で、より多くのアーティストに実行可能なものだと思います。

そこで日常的かつ実践的なバーチャルライブの事例を作るための前段階として、それに適した環境、つまり「何度でも足を運びたくなるバーチャルライブ」が行える空間の創出を目指して本プロジェクトはスタートしました。
ライブを行うプラットフォームとしてclusterを選んだのも、対応デバイス・同時接続数の面でたくさんの人に見て頂きやすく、Vアイテム等の仕組みによって収益化を行えるという2点でリターンを得やすく、実施背景にマッチするという理由からでした。

Club Adaptationの完成について

完成とする基準については明確に設けておりませんでした。
これは「何度でも足を運びたくなるバーチャルライブ」という目標が来場者の皆様に依存したものであり、立ち行かない可能性も想定していたためです。
プロジェクトの進行状況を踏まえ、以下の3つの理由をもって完成日の設定を行いました。

・実装目標が明確化され、達成の目処が立ったため
・Club Adaptationでの継続的なバーチャルライブの実施見込が立ったため
・完成後の本運用で、来場者が定着し得ると希望を持てたため

実装目標が明確化され、達成の目処が立ったため

複数回の実験的な試みや追加した機能の運用と、そのフィードバックを経て、プロジェクトの目標達成に向けたClub Adaptationの設計方針および実装目標が明確化されました。
設計方針と実装目標については長くなってしまうため、また別記事で詳述できればと思います。ご興味があればぜひご覧ください。
その明確化が為されたのが2021年12月ごろで、それから2022年3月のVol.10まで、実装目標の達成に向けてVisual ArtistのMikipomさんの協力を得ながら実装を進めてきました。
その結果、4月30日の回までに実装目標達成の目処が立ちました。

Club Adaptationでの継続的なバーチャルライブの実施見込みが立ったため

「何度でも足を運びたくなるバーチャルライブ」は、前提として継続的に実施できる必要があります。
つまり「宣伝になるなどの相乗効果があるからライブ単体では赤字でもOK」ではなく、ライブ単体で黒字になるべきだと考えています。

こちらはSerial live experimentsの利益グラフです。ライブ映像販売のなかったVol.3（全編ライブ配信を行ったため）を除き、全ての回で黒字となりました。
売上は、ギフト演出機能（Vアイテム）等から算出されるcluster上の売上と、ライブ映像販売による売上の合算です。現在スタッフは演出オペレーターとカメラマンの2名がおり、人件費は稼働時間換算で一般的なライブハウススタッフ以上ととれる額をお支払いしております。

皆様のご支援のおかげで、Serial live experimentsはライブ会場でのギフト機能及びライブ映像販売による売上がスタッフ人件費を継続的に上回る状況を実現できました。
もちろんこれはプロジェクトに対する応援の気持ちを含んだ結果であると受け止めており、本運用も同様に行えるかはこれからの企画・パフォーマンスの努力次第と考えています。
ですが、それを踏まえても十分に継続性に希望を見出せる結果だと考えています。

完成後の本運用で、来場者が定着し得ると希望を持てたため

こちらはSerial live experimentsの来場者数グラフです。平均参加者数は453となりました。来場者数はclusterイベントページにて主催者が確認できる値（参加者数）を用いています。
グラフからわかるように、対バン形式のライブを行ったVol.10を除いても来場者数は上昇傾向となっています。
また、毎回行っている来場者アンケートでも、繰り返しいらっしゃっている方が多く見受けられます。
前項と同様に、これはプロジェクトに対する応援の気持ちや、共創への参加という価値を含んだ結果であると受け止めています。ですが、上記の結果はもちろん、来場者の皆様のライブそのものを楽しんでいただいているハッシュタグツイートや、アンケート内感想欄等のフィードバックの熱量から、本運用においても楽しんで頂けることに希望を持っております。
本運用においては、機能追加とは異なる形で、都度のライブに魅力を感じて頂けるよう尽力していければと思います。

おわりに

皆様のご支援・ご協力によって、Serial live experimentsは、当初の想定を遥かに越えた良い終わりを迎えることができそうです。
金銭のやりとりを伴うユーザー主催のバーチャルライブの事例がまだまだ少ない中でこうした結果を皆様と残せたことは、私たちにとって何物にも代えがたい財産だと考えています。
重ねて御礼申し上げます。
どうかプロジェクト完結まで、見届けて頂けますと幸いです。
4月30日、「Serial live experiments Final」にてお待ちしております。

The post 月1バーチャルライブ「Serial live experiments」の収支と完結について first appeared on memex.

存在・演出・音声を同時に複数の空間に配信可能なVRライブシステム「Omnipresence Live」を発表しました。

概要

「Omnipresence Live」を用いることで、数百万人規模の視聴者が同時にリアルタイムに動くアーティスト、生演奏、空間演出から成るVRライブを体験することができます。
※同時接続数はAWS Elemental MediaLiveの資料を元にしています、 https://docs.aws.amazon.com/ja_jp/medialive/latest/ug/medialive-ug.pdf

特徴

1. 理論上の同時接続数が映像配信プラットフォームの最高同時接続数と同値以上になります。
2. モーション・音声・演出のタイミングが一致したリアルタイムVRライブを配信することが可能となります。
3. VRライブを構成する情報を汎用的な映像フォーマットとして扱うことができるため、既存の映像配信サーバーを構成する技術を流用することができます。
4. 配信映像のアーカイブ映像を用いることで、本システムで配信したVRライブをいつでも再び再生することが可能です。

システム原理

システムはVRライブの構成情報を映像に変換するイベントビジュアライザと、映像からVRライブを再構成するリコンストラクタから成ります。

イベントビジュアライザはアーティストの動きの情報（頂点群もしくはボーン情報）と演奏情報をデータビジュアライズの要領で映像にします。この映像にライブの音声を乗せて映像配信プラットフォームを用いて生配信します。

リコンストラクタは配信映像から情報を復元して、アーティストの動きやライブ音声、演奏情報に合わせた演出を再生することができます。
演奏情報とは、演奏する各楽器の音量や音程といった情報を指します。これをリアルタイムに映像として配信することで、VR空間上で生演奏に反応する演出を表現できます。

実装状況

1. 3Dアバターの全頂点群を配信する方式のイベントビジュアライザを実装済みです。ただし、アバターの全頂点情報を配信するために必要な情報量を現状の映像配信サービスで安定して配信 / 視聴することが難しいため、姿はノイズを含む状態となります。
2. Windows上 / VRChat(Windows版)上で動作するリコンストラクタを実装済みです。

告知

5/30 15:00より「Omnipresence Live」を用いた全世界同時ワンマンライブ「#解釈不一致」をVRChat上で開催します。
memexの存在と、演奏と、Mikipomさん制作のワールド・オーディオリアクティブ演出をお楽しみ頂けます。

アクセス方法は下記の通りです。

1. VRChatにログインする
2. メニュー > Settings > Other Options > SHOW COMMUNITY LABSをオンに変更
3. メニュー > World > Search より「fuitch」を検索
4. ワールド「fuitch – memex existence streaming」を選択し「Go」ボタンで入場

開発経緯

memexはVR空間で音楽をするという未知の可能性に惹かれ、VRChatやclusterといったソーシャルVRプラットフォーム上でライブを行ってきました。また、その全てのライブをリアルタイムモーション収録かつ生歌で行っています。
筆者が思い描くVRライブの魅力の一つとして、空間などの情報がライブの音声に反応し変化することが挙げられます。これによって現実空間では不可能な音楽への没入体験を提供できると考えています。
そのため、memexで生歌や生演奏に反応する空間でライブしたいという気持ちが常にありました。

しかし現状、リアルタイムに収録するモーション、生歌生演奏によるライブ音声、音声に反応するオリジナルの空間演出をタイミングを一致させた状態で配信可能なソーシャルVRプラットフォームは存在しません。
いつかタイミングを一致させた状態でアバターのボーン情報、音声、空間演出イベントを配信 / 受信する機能を持ったソーシャルVRプラットフォームが表れるまで、この体験はできないものと考えていました。

この体験は部分的にはVRChatで実現されていました。
VRChatにはワールド内で複数人が集まり映像ストリーミングを視聴する機能があります。
これを用いて、ワールドにアーティストと観客が集まり、音楽とその音に反応する空間演出を楽しむ音楽イベントが一部ユーザーによって行われています。
これはライブ音声とそのオーディオスペクトルなどを映像として各種映像配信プラットフォームを用いて配信し、ワールド内でライブ音声を再生し、映像を空間演出に変換する手法で実現しています。

この手法を拡張し、アバターの存在を合わせて配信することで先述した音楽への没入度の高いVRライブが実現できると考えたことが開発のきっかけとなりました。

技術背景

存在のストリーミングに関してはVertex Animation Textureと呼ばれる技術をリアルタイム映像ストリーミングに応用することで実現しました。
開発にあたりsugi-cho様のリポジトリ「Animation-Texture-Baker」を多大に参考にしました。
https://github.com/sugi-cho/Animation-Texture-Baker

※2020年5月18日 追記
存在の映像化と再構成に関して、同様の仕組みが既にVRChat上のあるワールドに存在するという情報を頂きました。
ワールド自体は公開されているものですが、ワールドの特性上特定可能な情報の記載は控えます。

今後の展望

マルチプラットフォーム対応を検討中です。現在の実装ではリコンストラクタをVRChat上で実装するために存在の質と引き換えにアバターの頂点群を配信する方式を取っていますが、アバターのボーン情報を配信する方式に変更することで存在の質を損なわず同時にmac, iOS, Androidといった各種OSに提供できる可能性があると考えています。
再生デバイスとしてLookingGlassのような立体ディスプレイを用いることで、計算機上のVR空間だけでなく物理世界にも遍在したいと考えています。

一般公開について

下記の理由から活用のハードルが高いため、一般公開は今のところ予定しておりません。

1. 「アーティストの振る舞い・音声・演出のタイミングが一致したリアルタイムVRライブを配信するという目的がない」もしくは「既存プラットフォームでは収容できないほどの観客を集めることができる」場合を除いて他サービスに対して優位な点がないため。
2. 配信者はイベントビジュアライザに演奏情報を入力するために
   何らかの方法で演奏情報をOSC形式で出力できる必要があるため。
3. コンテンツ部分は付属しないため。任意の演出を表現するためにリコンストラクタの出力を受けて演出を実行するシェーダーの開発が必要となります。

これを前提として利用したい場合はご相談頂けますと幸いです。
contact@meme-x.jp

謝辞

日頃よりmemexを支えてくださるファンの皆様
絶対に生歌を貫きたいと思える最高のパフォーマンスを発揮してきたmemexボーカルのアランさん
本システム上でmemexの世界観を技術的な要求込みで表現して頂けるだろうと確信できる作品を作ってきたMikipomさん
VRChatで音楽体験の未来を切り拓いてきた先人の皆様
存在のストリーミングについてツイートで示唆されたヨツミフレームさん
上記の方々が本システムを完成させるための強いモチベーションになりました。この場を借りて感謝申し上げます。

memex

2019年1月1日活動開始。
ぴぼ、アランの2人からなるバーチャルオルタナアーティスト。
「技術で音楽活動をハックする」をテーマに、楽曲の発表に加え、ソーシャルVR空間でのライブ活動や、音に重点を置いたVRワールド制作など、「オルタナティブ」な音楽活動を行う。

＞YouTube
＞Twitter

アラン

memex ボーカル
＞アラン Twitter

ぴぼ

memex 作曲・開発
＞ぴぼ Twitter

※本ページの画像・テキストについて、本リリース情報を周知する目的でのニュースメディアへの転載を許可します。 （転載した旨の表記は不要です。）

The post 存在・音声・演出を同時に配信可能なVRライブシステム「Omnipresence Live」を開発しました。 first appeared on memex.

NETDUETTOによる遠隔セッションでのレコーディング風景を生配信するという珍しい試みをした2人に、配信直後にインタビューを行いました。

インタビュー

イトイ：バーチャルピアニスト、ネットセッションマニア。NETDUETTOを愛用しており自身のライブ配信でも同ソフトを使用している。
・Twitter https://twitter.com/ItoiPiano
・YouTubeチャンネル https://www.youtube.com/channel/UCRb1JtRsP7_bsG3A70Wg8Aw

アラン：バーチャルオルタナアーティスト、memexのボーカル。memexでの活動の他に、ソロでの楽曲カバー動画も公開している。memexのライブではNETDUETTOを用いて伴奏と歌を遠隔で合わせている。
・Twitter https://twitter.com/memex_aran

ぴぼ：インタビュアー。今回の収録の技術的なサポートを行った。

――今回のコラボはどのように始まりましたか？

イトイ: 「よかったらコラボしませんか？」とアランさんからDM頂いて、「やりましょう」と。

――アランさんはコラボは初めてでしたっけ。

アラン: 何かいっしょに一曲を歌ったりとか演奏したりとかはなくて。やりたいなーと思ってたので。

イトイ: なんで声かけられたんだろみたいな。最初よくわかんなくて（笑）

――イトイさんに声をかけた理由を聞いていいですか？

アラン: ええ～～。

イトイ: 「良かったから」と言われたんですけど。

アラン: 良いですよね？

イトイ: 何も面識ないのになーと思って。

アラン: 直感。直感じゃないですかでも。コラボやるってなったのが今年入ってぐらいなんですけど。

イトイ: はい。

アラン: やりたいなあって思う前から（イトイさんの）動画を見てたので、最初に浮かんで来ました。

――ということだそうです。

イトイ: ありがとうございます。

アラン: めっちゃ。めっちゃいい。

――やるってなった後は打ち合わせはどんな感じで進められたんですか？

イトイ: アランさんからやりたい曲がないか打診頂いて。そもそもなんでお呼ばれしたのでわからなかったので、やりたい方向性とかコンセプトとかないか伺って。

アラン: シックな感じでって伝えて。

イトイ: そこから僕は何となく五曲ぐらい出して。

アラン: いただきました。

イトイ: この中からどれかやりたいやつありますか、と。

――アランさんとしては選曲に関しては結構お任せしたい方向だったんですか。

アラン: 相手の魅力を引き出せるほうがいいかなと。

――その後どういう経緯でうたかた花火になったんですか？

アラン: もらったのを見た瞬間にうたかた花火でってなってて。

――その5曲の中にあったんだ。

アラン: そうですそうです。

――なるほど、それですっと決まったと。

――アレンジはどうやって決めていったんですか？

イトイ: in tempoで行きたいのかrubatoで行きたいのかを意識してて。

※ in tempoが「一定の速度を保つ」、rubatoが「自由な速さで」を意味する音楽用語。

イトイ: セッションしながら「どういう感じに歌いたいですか」みたいな。

――一回事前にセッションをしたんですね。

イトイ: そうですね、わりとがっつりアレンジを入れた方がいいのかなぁと最初思ったんですけど。セッションしているうちに、原曲よりに演奏して、ちょっとアクセント入れるぐらいにしようかなと。

イトイ: そのrubatoとかin tempoとかみたいなところもアランさんといっしょに話して、どっちでやりましょうかっていう話をしてましたね。

アラン: そうそう。

――テンポかっちりしない方がいい感じだったと。

――最初は動画撮るだけの予定だったと伺ったんですが。

アラン: 私がセッションの時に言ったんですよね、「これ生でやりたいですね。」って。ちょっと話をぴぼに持って行きますと。

――生でやりたいっていうのはどういう気持ちだったんですか。

アラン: リアルタイムでセッションしてみたときに、この生の感じを届けた方がいいなと思って。何も調整されていないそのままの感じも聴いてもらえたらなあと。

――それくらい素の状態がよかったんですね。

アラン: はい。

――イトイさんとしては生でやるぞって言われてどうでした？

イトイ: えっ生でやるのって（笑）。

一同: （笑）

イトイ: 音源作るにしてもきっちり作りこんでやる感じかなと思ってて。そこでリアルタイムとかどうですかって言われて、お、来たみたいな（笑）

イトイ: ジャズをやってたのもあって、リアルタイムでしか出せない緊張感みたいなのはいいなーって感じていたので、これはやるしかないぞと。

アラン: やるしかないぞ！（笑）

――じゃあイトイさんが録音したオケに上から歌を乗せる方法の予定だったけど、もっとリアルタイムの緊張感を見せるためにこの形になったという。

イトイ: そうですね。

――遠隔セッションについてはどう感じましたか？始まる前に僕も立ち会ってて、微妙なラグを合わせたりするのはちょっと大変そうな印象もあったんですけど。

イトイ: そうですね。見た目の数値的にはあんまり（遅延が）なかったんですけど、rubatoでってなると気になってしまって。どうしようかなーって迷いはありました。

――なるほど。テンポが固定じゃないから基準がお互いにしかないですよね。ラグに関して意識したことはありますか？。

アラン: ないです。

――伴奏と歌の関係なら歌う側はいつも通りな感じでいいのかもしれない。

――ピアノの演奏が20msecぐらい遅れてアランさんに届いて、そこからそれに合わせて歌うと声がイトイさんに帰ってくるのは往復で40msecくらい。結構でかいですよね。

――リハではイトイさん側は前のめりに演奏するといったやりとりもありましたが。

イトイ: そうですね……けど最終的にはそれをやめて、アランさんの歌ってるフレーズの流れに合わせるように切り替えてました。

――声が伸びるとその分演奏も引っ張ってみたいな。

イトイ: そうですね。

――本当に素晴らしかったです。

イトイ、アラン: （笑）

――遠隔セッションに加えて、生放送での公開レコーディングということでしたけど、いつもと違うところはありましたか？

イトイ: そもそもレコーディングに凄いテイク数かける方なんですね。

アラン: 一緒だ（笑）

イトイ: （笑）一発ってなると、五分の曲をまるまるやるとミスは出てきやすいし、しかも放送乗ってますから。より緊張しましたよね？

アラン: しましたね。

イトイ: もともとオケがあってそれに乗せるみたいな形式でもないので。リアルタイムでアランさんの声を聴いてそれに対してフレーズ変えたりしてみたいなことをして。そういうところはやっぱ凄いスリルがあって良いなあと思ってます。

――リアルタイムじゃないと出せない緊張感。

イトイ: オケもらってそれに歌合わせてピアノ合わせてとかだと、互いの呼吸とか思惑がちょっと合ってないところも出てきたり。

アラン: うん。

イトイ: そういうところが合わせられたっていうのは一番よかったところかなと思ってます。

――アランさんは公開レコーディングでしたけど、大変なところはありましたか？

アラン: ブレスが一番気を使ったところです。ピアノ伴奏っていうのもあるしリアルタイムっていうのもあるし。

――呼吸音が目立ちますよね。

イトイ: 確かに。

アラン: それも含めて見応えになったらいいなと思います。

――遠隔セッションにおけるアーティスト視点の貴重なお話が伺えました。本日はどうもありがとうございました。

収録映像

収録したカバー動画は下記URLよりご覧いただけます。

うたかた花火 / supercell – イトイ × アラン（memex）Tele – Session Cover – YouTube https://www.youtube.com/watch?v=UWueOFzUejM

また、生配信した収録風景は下記URLよりご覧いただけます。

【遠隔セッション】イトイ × アラン（memex） 公開レコーディング【NETDUETTO】 – YouTube https://www.youtube.com/watch?v=hYSO347XwiM

背景技術

音声

生配信時

NETDUETTO VSTモードのマルチアウト機能を用いて、イトイさんのピアノの音とアランの歌をDAW上でミックスしました。

その音声をオーディオインターフェースのループバック機能を用いて配信ソフトウェアのOBS Studioに入力して配信しました。

動画版

NETDUETTOは通信環境によっては音声にノイズが含まれてしまうことがあるため、イトイさん、アランの2人に配信中手元PCでそれぞれのパートを録音して頂きました。

動画版ではそれらの綺麗に録音できているトラックを生感を失わない程度にミックスして仕上げています。

映像

映像は遠隔地の2人の様子を合成して同じ空間にいるように見せる方法を用いました。

イトイさんもアランも自前のUnity空間上で動くことができるため、事前にカメラの位置・画角・演者位置を設定したUnityプロジェクトを共有することで違和感の少ない画作りに務めました。

アランのモーションはアランPC上で立ち上げたバーチャルモーションキャプチャーを用いて頭：トラッカー、腕：VIVEコントローラーの3点トラッキングで収録しました。

バーチャルモーションキャプチャーのOSC送信機能を用いてぴぼPCのグローバルIPに直接モーション情報を送信することで、ぴぼのUnity空間上でアランのモーションを再現しました。

イトイさんの映像はDiscordを用いてぴぼPCに送信しました。

ぴぼPC上のアランの映像とイトイさんの映像をOBS Studio上で合成することで、同じ空間にいるように見せることを目指しました。

共有したプロジェクト内で設定した立ち位置と画角のイメージ

背景画像

Discord経由で渡されるイトイさん側の映像（グリーンバック）

アラン側映像（グリーンバック）

実際の配信映像

The post 「うたかた花火」遠隔セッションカバー動画公開記念インタビュー イトイ×アラン（memex） & メイキング first appeared on memex.

想定読者

1. VRChatにアバターをアップロードしたり、Humanoid規格の3DモデルをVRM化するぐらいの用途でふわっとUnityを触ったことがあるひと
2. Unityはわかるけど映像制作用途に使ったことはないひと

環境・用意するもの

• Windows 10 デスクトップPC
• Blender 2.79b
• Unity 2018.4.13f1
  • 任意のVRMモデル
  • 任意の背景モデル
  • UniVRM
  • バーチャルモーションキャプチャー
  • EVMC4U
  • EasyMotionRecorder
  • Cinemachine
  • Unity Recorder
• AviUtl

手順

1. 背景を用意する
2. モーションを収録する
3. カメラの動きをつける
4. 撮影する
5. 歌詞を入れる

背景を用意する

たとえば以下のような方法が考えられます。
・自分で作る
・Unityアセットストアで入手する
・3Dモデル共有サイトで入手する

今回はSketchfabで見つけたCC BYのモデルをBlenderで改変して使うという手法を取りました。

Old church modeling – Interior Scene – Download Free 3D model by Aurélien Martel (@aurelien_martel) [eb6cf54] – Sketchfab

ダウンロードしたモデルをBlenderで開き、Cyclesレンダーでアンビエントオクルージョンとディフューズをテクスチャにベイクします。
もちろんUnity側でベイクしてもOKです。
個人的にCyclesレンダーでテクスチャの無い白いオブジェクトに影を焼いた質感がとても好きです（NieR：Automataの複製された街っぽい）

詳しい手順はこちらの記事を参考にしました。
【Blender】レンダリングの質感（マテリアル）をテクスチャにベイクする – XR-Hub

手間を減らすためにすべてのメッシュを結合して1マテリアル1テクスチャでベイクしていますが、時間がかけられるなら細かく分割して行う方が良いです。

プロパティパネル -> レンダー -> パフォーマンスのタイル数を上げるとめちゃくちゃレンダリングが早くなることを知ってから作業速度がとても上がりました
レンダリングのパフォーマンスをあげよう！ – Togetter

生成されたテクスチャを保存、結合して1つになったオブジェクトをfbxエクスポートして背景作業は終了です。

モーションを収録する

まずモーション収録環境をUnityで構築します。といっても有志の方々が公開してくださっているツール等をダウンロードして配置するだけです。

1. バーチャルモーションキャプチャー（v0.36~）を用意する
2. Unityを起動して下記ファイル等を配置する
   1. EVMC4U
   2. EasyMotionRecorder
   3. UniVRM
   4. 任意のVRMモデル

バーチャルモーションキャプチャーと用意したUnityプロジェクトを用いて、表情アニメーションと身体アニメーションのファイル （.anim） を用意します。
この工程についても各ツールの配布ページに詳細な手順が記載されているため詳細は省きます。

なおこの収録は遠隔で行いました。
このUnityプロジェクトを遠隔地にいるボーカルのアランのPCで開き、そのPCをWindows10のクイックアシスト機能を用いて遠隔で操作しています。

カメラの動きをつける

下準備

新規にUnityプロジェクトを立ち上げ、下記を読み込みます。

• 用意した背景モデルとテクスチャ
• UniVRM
• モーション収録を行ったVRMモデル
• 収録したモーション
• MVをつけたい音楽ファイル
• Unity Recorder（Asset Storeから）
• Cinemachine（Package Managerから）
• Post Processing (Package Managerから)

CinemachineとTimelineのセットアップを行い、背景・モデルをシーンに配置します。
Timelineタブを開き Add -> Animation Trackからアニメーショントラックを2つ配置します。
None(Animator)と書いてある欄にシーン上のVRMモデルをD&Dします。
2つのAnimationトラックに収録した2つのモーションをそれぞれD&Dして配置します。

Cinemachine及びTimelineの使い方はこちらを参考にしました。
【Unity】Cinemachineの全機能を解説！ありとあらゆるカメラワークを高クオリティに作る方法総まとめ – LIGHT11
【Unity】Unityのタイムラインの基本的な使い方を総まとめ！最短でTimelineを使いこなす – LIGHT11

カメラワークの設定

まずざっくりとしたカット割りを行います。今回は歌詞に合わせて構図を16カット分決めました。

Cinemachine -> Create virtual cameraから必要なカット数分のvirtual cameraを作成します。
上記で決めたカット割に合わせてVirtual Cameraを空間に配置していきます。

空間への配置が終わったらTimeline上に各Virtual Cameraを配置します。

最後にPostProcessの設定を行います。
今回のMVでは以下のエフェクトを使用しました。

• Bloom
• Color Grading（とてもだいじ）
• Vignette
• Motion Blur

TIPS

制作中躓いた点を3つ紹介します。

Unlitに影を落としたい

Photogrammetoryで使えるUnlitだけど影を落とすシェーダー | STYLY

足がクロスしてしまう

Foot IKにより地面に足が設置するように自動で処理しているため。
対策：Timelineに配置した.animファイルを選択し、インスペクターで「Foot IK」のチェックボックスをオフにする。

Depth of Fieldのピントをモデルに合わせたいが、カメラはモデルに向けたくない

• Cinemachine Virtual CameraのLook AtにモデルのボーンをD&Dする
• Cinemachine Virtual CameranのAimを「Do nothing」にする
• Extensionsに追加したCinemachine Post ProcessingのFocus Tracks Targetにチェックを入れる

撮影する

Unity Recorder導入後、Window -> General -> Recorder -> Recorder Windowを開きます。
Add New Recorders -> Movieを選択してRecorderを追加し、下記の設定を行います。
Format: MP4
Output Resolutions: FHD – 1080P

START RECORDINGを押したら録画が開始されます。
デフォルトでは停止の際は手動でSTOP RECORDINGを押す必要があります。

参考：
Unity Recorder の使い方 – Qiita

歌詞を入れる

Unityで録画した動画ファイルにお好みの動画編集ソフトで歌詞をつけます。
ここではAviUtlを使用しました。
また、Timelineのプレビューと録画したmp4ファイルで音とリップシンクモーションが一致しなかったため、この段階で手動でオーディオの方をずらしました。

終わりに

制作手順は以上となります。
何か不明点があれば @memex_pibo までお気軽にリプライをどうぞ。

最後に、バーチャルモーションキャプチャーを始めとしたツール群の製作者様、Contributorの皆様のおかげで、本質的に取り組みたいこと（今回は音のクオリティ向上）により時間をかけることができました。
心より感謝申し上げます。

The post 【メイキング】バーチャルモーションキャプチャーとCinemachineで作るMVが手軽すぎる first appeared on memex.