XYN Motion Studio（mocopi）とWarudoで表情・指・全身のトラッキング

# 記事の概要

mocopiを調達したので、XYN Motion Studioでモーションを作成して遊んでみました。

https://xyn.sony.net/ja/products/xyn_motion_studio

https://www.sony.jp/mocopi/?srsltid=AfmBOor2nFi5uuuTRn3HNQFc-JTDXAtz_fFvz_BTUykshWMMg02Yj7J2

https://x.com/jun_kongo/status/1904528674852045280

ただXYN Motion Studio（＆mocopi）単体だと、表情と指のトラッキングがないので表情と指のトラッキングも行うために、今回の記事ではWarudoを利用した「表情」「指」「全身」のトラッキングを行う設定を紹介します。

https://store.steampowered.com/app/2079120/Warudo/

https://x.com/jun_kongo/status/1911026051993444692


## 環境

OS：Windows 11
CPU：i7-10750H 16G
GPU：NVIDIA GeForce RTX 3060 Laptop 8G


## Warudo

Warudoを起動すると、以下の画面が表示される。
「基本設定　＞　始める」をクリックする。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/668b81e1-13d0-4ae0-87b0-79e43c20930b.png)

「ようこそ」画面が表示されるので、「キャラクターフォルダを開く」から、「.vrm」or「.warudo」拡張子のモデルファイルを配置する。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/d9308dba-459e-4895-811d-e19e831390a3.png)

「キャラクターの選択」から対象のファイルを指定し、「OK」をクリックする。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/f38952fc-fb5f-45d4-ab27-7935d5037ff4.png)

以下の画面が表示されたら、「いいえ、何を使うか知っています。」を選択し、「OK」をクリックする。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/c3d3d6a9-840f-4b10-b00f-ebd421f61db2.png)

以下の画面が表示される。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/76c9647b-ee97-48fd-a997-e560fc1f207a.png)

「MediaPipe（カメラ）」を選択する。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/23953e17-ebbc-4c91-ace7-14a3a576d510.png)

「フェイストラッキングをカスタマイズします...」をクリックする。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/ecae3ed0-df4c-492e-b200-f544fb02b8da.png)

「カメラを入力」の欄を、USBカメラなどを選択する。（特に深い理由はないですが、カメラの名前は伏せてます。）

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/caec74fe-6b41-4212-a47d-aa4f21134911.png)

「ポーズトラッキング」は今回はそのまま。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/d5094b5a-0332-43b6-9a7b-d34cfbf19a05.png)

「Second Pose Tracking」は「MediaPipe」をクリックする。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/81e45839-e859-41ed-90da-85f348992fd4.png)

以下の状態で「OK」をクリックすｒ

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/a9e6fe2b-136d-4715-8f0a-f3cef6b7eda8.png)

以下の警告が出たら「OK」をクリックする。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/958b3f03-ce0e-4f71-8974-ea266c32cc16.png)

「表情のインポート」が表示されたら、「表情をインポートしません。」を選択して、「OK」をクリックする。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/46e7d722-f8cc-4d0b-91b4-801a80ab70ab.png)

「既存の背景を維持します。」を選択して、「OK」をクリックする。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/4b1be3a4-1c84-4975-91e1-c7fe14312bd5.png)

設定完了したら「OK」をクリックする。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/f34820c9-cbb3-4692-b7b9-55ba0cf9100d.png)

この時点で、表情と指のトラッキングができている状態です。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/b496b952-801e-4bab-9f01-86ed4704c7dc.png)

GPUメモリもそれほど使われていないように見えます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/2e2c8e49-8e10-4352-aead-c93bb1b9e8c5.png)



## XYN Motion Studio

XYN Motion Studioを起動すると、以下の画面が表示されるので、サインインします。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/4cda49e4-61ee-44ea-aef2-52053a07275b.png)

以下の画面が表示されたら、右上の「キャプチャ」をクリックします。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/14ec7475-4020-4b7b-a70f-35092c8754b0.png)

以下の画面が表示されたら、「センサーデータレシーバー×１」を選択し、「次へ」をクリックします。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/7553dd4d-de27-45a7-89d4-f4a301e9283c.png)

ここからは、レシーバーやセンサーの設定なので、キャリブレーション完了まで実施してください。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/f53ba51f-eaa0-4d7a-a8d7-aa9fed31c042.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/ce26dfda-d45a-4e1b-855a-9859d658d1fe.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/0cc601d7-b0dd-4c07-b1f0-3fcfca904aab.png)


※以降、キャリブレーション完了まで、省略。

キャリブレーションが完了すると、以下の状態になる。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/fb6e8823-37f1-46b9-a427-0c88ab8257da.png)

「ビデオ/モーション」は「モーション」を選択し、「保存/送信」は「送信」が表示されている状態になるようにクリックする。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/4437cf39-c1fb-4079-b4f0-0b6ba4e1c9e7.png)

右下の「送信」ボタンをクリックする。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/17901723-2065-4bc2-8e2f-f475128b5c18.png)

以下のウィンドウが表示されるので、「ネットワーク設定」をクリックする。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/eef34e2f-38fc-4d41-bb93-1d2ecd9660f4.png)


「外部サービスとの接続設定」は以下の状態となるようにし、「OK」をクリックする。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/d117abda-5b58-4104-a43e-026508d887af.png)

「送信」ボタンの上にタイマーが表示されていれば、XYN Motion Studio側の設定は完了。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/36cda406-ab20-4c10-9865-a3f1b26ca658.png)

ここまでくれば、表情・全身・指のトラッキングを全て設定した状態になります。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/dfc8a7c7-915f-424f-bea6-19c10194a414.png)

GPUメモリもそれほど使われていません。（温度は気になりますが。）

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/4e988226-afda-4e40-b650-3b026819ecd8.png)


## 微修正

ここまで設定すると動かすことはできますが、「表情」と「指」はミラーの状態で、「全身」はミラーではないので、「表情」と「指」のミラー状態を解除します。

以下のように設定します。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/49db9d3f-a706-4b7f-b9fb-8fd5c9465855.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/964c9eca-681d-43c3-a729-1438b5653b94.png)

これで「表情」「指」「全身」が全て、ミラーではない状態になります。


# 感想

設定は全てPC上で完結するのは高ポイントですが、MediaPipeで使用されているモデルの精度が、期待しているよりも高くないのと、Mocopi自体も、長時間の使用に耐えられる設計になっていない（色々ずれてくる）ため、期待しすぎない方がよい。

とはいえ、遊ぶ分には十分と感じてるので、諸々準備できる方は試してみてください。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/da4aad6e-0a5c-4807-a140-f8c30ae047a3.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3619695/2e1c58db-6da1-48a8-8c5f-e3c286e3089c.png)