【メイキング】バーチャルモーションキャプチャーとCinemachineで作るMVが手軽すぎる

memexのぴぼです。
the cabs”二月の兵隊” をカバーしたミュージックビデオを公開しました。
ミュージックビデオの制作にかかった時間は約20時間程度でした。
その際のざっくりとした手順と参考にしたサイトをまとめます。

Contents

1 想定読者
2 環境・用意するもの
3 手順
4 背景を用意する
5 モーションを収録する
6 カメラの動きをつける
7 撮影する
8 歌詞を入れる
9 終わりに

想定読者

VRChatにアバターをアップロードしたり、Humanoid規格の3DモデルをVRM化するぐらいの用途でふわっとUnityを触ったことがあるひと
Unityはわかるけど映像制作用途に使ったことはないひと

環境・用意するもの

Windows 10 デスクトップPC
Blender 2.79b
Unity 2018.4.13f1
- 任意のVRMモデル
- 任意の背景モデル
- UniVRM
- バーチャルモーションキャプチャー
- EVMC4U
- EasyMotionRecorder
- Cinemachine
- Unity Recorder
AviUtl

手順

背景を用意する
モーションを収録する
カメラの動きをつける
撮影する
歌詞を入れる

背景を用意する

たとえば以下のような方法が考えられます。
・自分で作る
・Unityアセットストアで入手する
・3Dモデル共有サイトで入手する

今回はSketchfabで見つけたCC BYのモデルをBlenderで改変して使うという手法を取りました。

Old church modeling – Interior Scene – Download Free 3D model by Aurélien Martel (@aurelien_martel) [eb6cf54] – Sketchfab

Old church modeling – Interior Scene by Aurélien Martel on Sketchfab

ダウンロードしたモデルをBlenderで開き、Cyclesレンダーでアンビエントオクルージョンとディフューズをテクスチャにベイクします。
もちろんUnity側でベイクしてもOKです。
個人的にCyclesレンダーでテクスチャの無い白いオブジェクトに影を焼いた質感がとても好きです（NieR：Automataの複製された街っぽい）

詳しい手順はこちらの記事を参考にしました。
【Blender】レンダリングの質感（マテリアル）をテクスチャにベイクする – XR-Hub

手間を減らすためにすべてのメッシュを結合して1マテリアル1テクスチャでベイクしていますが、時間がかけられるなら細かく分割して行う方が良いです。

プロパティパネル -> レンダー -> パフォーマンスのタイル数を上げるとめちゃくちゃレンダリングが早くなることを知ってから作業速度がとても上がりました
レンダリングのパフォーマンスをあげよう！ – Togetter

生成されたテクスチャを保存、結合して1つになったオブジェクトをfbxエクスポートして背景作業は終了です。

モーションを収録する

まずモーション収録環境をUnityで構築します。といっても有志の方々が公開してくださっているツール等をダウンロードして配置するだけです。

バーチャルモーションキャプチャー（v0.36~）を用意する
Unityを起動して下記ファイル等を配置する
1. EVMC4U
2. EasyMotionRecorder
3. UniVRM
4. 任意のVRMモデル

バーチャルモーションキャプチャーと用意したUnityプロジェクトを用いて、表情アニメーションと身体アニメーションのファイル（.anim）を用意します。
この工程についても各ツールの配布ページに詳細な手順が記載されているため詳細は省きます。

なおこの収録は遠隔で行いました。
このUnityプロジェクトを遠隔地にいるボーカルのアランのPCで開き、そのPCをWindows10のクイックアシスト機能を用いて遠隔で操作しています。

カメラの動きをつける

下準備

新規にUnityプロジェクトを立ち上げ、下記を読み込みます。

用意した背景モデルとテクスチャ
UniVRM
モーション収録を行ったVRMモデル
収録したモーション
MVをつけたい音楽ファイル
Unity Recorder（Asset Storeから）
Cinemachine（Package Managerから）
Post Processing (Package Managerから)

CinemachineとTimelineのセットアップを行い、背景・モデルをシーンに配置します。
Timelineタブを開き Add -> Animation Trackからアニメーショントラックを2つ配置します。
None(Animator)と書いてある欄にシーン上のVRMモデルをD&Dします。
2つのAnimationトラックに収録した2つのモーションをそれぞれD&Dして配置します。

Cinemachine及びTimelineの使い方はこちらを参考にしました。
【Unity】Cinemachineの全機能を解説！ありとあらゆるカメラワークを高クオリティに作る方法総まとめ – LIGHT11
【Unity】Unityのタイムラインの基本的な使い方を総まとめ！最短でTimelineを使いこなす – LIGHT11

カメラワークの設定

まずざっくりとしたカット割りを行います。今回は歌詞に合わせて構図を16カット分決めました。

Cinemachine -> Create virtual cameraから必要なカット数分のvirtual cameraを作成します。
上記で決めたカット割に合わせてVirtual Cameraを空間に配置していきます。

空間への配置が終わったらTimeline上に各Virtual Cameraを配置します。

最後にPostProcessの設定を行います。
今回のMVでは以下のエフェクトを使用しました。

Bloom
Color Grading（とてもだいじ）
Vignette
Motion Blur

TIPS

制作中躓いた点を3つ紹介します。

Unlitに影を落としたい

Photogrammetoryで使えるUnlitだけど影を落とすシェーダー | STYLY

足がクロスしてしまう

Foot IKにより地面に足が設置するように自動で処理しているため。
対策：Timelineに配置した.animファイルを選択し、インスペクターで「Foot IK」のチェックボックスをオフにする。

Depth of Fieldのピントをモデルに合わせたいが、カメラはモデルに向けたくない

Cinemachine Virtual CameraのLook AtにモデルのボーンをD&Dする
Cinemachine Virtual CameranのAimを「Do nothing」にする
Extensionsに追加したCinemachine Post ProcessingのFocus Tracks Targetにチェックを入れる

撮影する

Unity Recorder導入後、Window -> General -> Recorder -> Recorder Windowを開きます。
Add New Recorders -> Movieを選択してRecorderを追加し、下記の設定を行います。
Format: MP4
Output Resolutions: FHD – 1080P

START RECORDINGを押したら録画が開始されます。
デフォルトでは停止の際は手動でSTOP RECORDINGを押す必要があります。

参考：
Unity Recorder の使い方 – Qiita

歌詞を入れる

Unityで録画した動画ファイルにお好みの動画編集ソフトで歌詞をつけます。
ここではAviUtlを使用しました。
また、Timelineのプレビューと録画したmp4ファイルで音とリップシンクモーションが一致しなかったため、この段階で手動でオーディオの方をずらしました。

終わりに

制作手順は以上となります。
何か不明点があれば @memex_pibo までお気軽にリプライをどうぞ。

最後に、バーチャルモーションキャプチャーを始めとしたツール群の製作者様、Contributorの皆様のおかげで、本質的に取り組みたいこと（今回は音のクオリティ向上）により時間をかけることができました。
心より感謝申し上げます。

Please follow and like us: