音声付きVtuberな研修動画の作成

# 概要
無料のソフトとWebカメラを使用して、音声付きのVtuberな研修動画を作成する。
※動画編集ソフトのみ有料のPowerDirectorを使用していますがフリーのソフトでも可能です

# 1. VRoidStudioでVtuberモデルを作成する

https://vroid.com/studio

ここからVRoidStudioをダウンロードする。
インストールして**適当**にモデルを作成する。
作成したモデルをVRM形式で保存する。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/300531/0a503847-db72-a036-4a5d-6f60ebfd481c.png)

# 2. VOICEVOXで読み上げ音声を作成する

職場には可愛い声の女の子がいなかったので、可愛い声で原稿を読み上げてくれるソフトを使用します。
AIを使用しているらしく、なかなか高品質な読み上げを行ってくれます。

https://voicevox.hiroshiba.jp/

VOICEVOXをダウンロードして起動します。
読み上げるキャラクターを選択して、原稿を打ち込みます。
読み上げ音声を確認してアクセントやイントネーションなどを調整します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/300531/85322ddc-5245-7340-1cfa-0c5648f171b4.png)

# 3. 研修用の動画を作成する
なんでもいいので、デスクトップの作業を録画できるソフトを使用します。
ScreenToGifや、AG-デスクトップレコーダーなどがいいと思います。

https://www.screentogif.com/

http://t-ishii.la.coocan.jp/download/AGDRec.html

# 4. 動画と音声を合体させる
作業を録画した研修用の動画と、VOICEVOXで作成した音声を合体させます。
フリーの動画編集ソフトでも可能ですが、会社にあった有料のソフト(PowerDirector)を使用しました。
なおここでは、読み上げ音声のみを合成します。BGMや効果音を入れると、あとでVRMモデルをリップシンクさせたときに、口の動きが合わなくなります。
合体させたら、mp4などの動画で保存します。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/300531/0822ca00-f8f2-5176-0bef-c50e29ff1727.png)

# 5. 3teneFREEでモデルを動かす
作成したVRMモデルをWebカメラのトラッキングで動かすために、3teneFREEを使用します。

https://3tene.com/free/

* 起動したら、3teneに作成したVRMモデルをインポートします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/300531/da29b40e-9a48-a2d1-a1ef-2523036f98e5.png)

* トラッキングの設定をします。
（今回は、「フェイストラッキング」と「リップシンク」を開始する）
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/300531/55ddcb6e-914e-033c-85fd-bebbaf97b34a.png)

* 背景をOBS Studioで透過させるために緑色にする。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/300531/96e6865d-4aee-960d-c920-715ad415147c.png)


# 6. OBS Studioで動画とモデル動作を合成する
3teneの仮想カメラの映像と研修動画を合成するために、OBS Studioを使用します。

https://obsproject.com/ja/

* OBS Studioを起動します。
* ソースとして2つ指定します。
映像キャプチャデバイス：3teneで出力している仮想カメラの映像
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/300531/bb6e0227-8d5c-18bf-90cf-15bb0c79476b.png)

メディアソース：研修用に録画した動画（音声付き）
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/300531/7cc0f6c3-8d4e-b452-6deb-12ab4e8634b8.png)


* 映像キャプチャデバイスのクロマキーを設定する
映像キャプチャデバイスを選択して「フィルタ」をクリックする。
エフェクトフィルタ（クロマキー）を追加する。
色キーは「緑」でキレイに抜けます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/300531/1b0251a0-1a56-0505-d672-3b26c32f5e47.png)

* 研修の読み上げ音声を仮想オーディオデバイスに入力して、3teneのリップシンクを動かす。

https://vb-audio.com/Cable/

インストールして、再生と録音デバイスに「VB-Audio Virtual Cable」を既定のデバイスに設定します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/300531/f145b0ca-6bd6-e4db-d6f5-81a42849c50c.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/300531/6f16eced-645f-1980-cb04-433bd6ce95cf.png)

メディアソースの本当の音声を出力してしまうと、OBS Studioで3teneと合成した動画を作成した際に、音声が2重になってしまいます。
なので、メディアソースは「モニターのみ（出力はミュート）」に設定します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/300531/fae8c09c-e39d-328d-41c5-c05c8cd16bec.png)

これでメディアソースを再生すると、音声に合わせてVRMモデルの口が動いてくれます。

* OBS Studioの録画を開始する
メディアソースを再生しつつ、再生している動画に合わせて顔の向きや、
ポージングなどを取り入れれば、Vtuverな研修動画を作成できます。
ただし、これだけだと顔の動きしかトレースできません。
手も動かしたい場合は、「LeapMotion」というハードウェアが必要です。（1万5千円くらい）

# 7 完成した動画
投稿用にGifアニメにエンコードしているので画質は悪いですが、mp4とかに出力すればもっと高画質です。
![Animation_compressed.gif](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/300531/18679f6b-7329-b07e-d307-59128f370082.gif)