情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-34
2019/3/6

物体とのインタラクション時に体の硬さが自在に変えられる
VTuber アバター
杉森 健1,a)

三武 裕玄1,b)

佐藤 裕仁1,c)

長谷川 晶一1,d)

概要：今日, モーションキャプチャデバイスの登場により VTuber などの演者のモーションをアバタに適用し配信をする機会が増えている. 現状ではアバタに適用されるモーションデータはトラッカの位置, 角度から IK を解くことで求めたデータであり, バーチャル物体からの力は考慮されない. そこで本稿では, 物理エンジンを用いることでモーションキャプチャデータにしっかりと追従するがバーチャル物体との力学的影響を考慮したインタラクションを可能とする. さらにアバタの動作の幅を広げるためにボールが飛んできた時に身構えるといった体の硬さ (スティフネス) を表現できるようにする.

1. はじめに
近年、Oculus Touch,Vive トラッカー,PERCEPTIONNEURON といった安価なモーションキャプチャデバイスの登場により自宅でもモーションキャプチャをすることができるようになった. そのようなデバイスを使用してアバタるようにすることで, アバタの動作の幅を広げることができる.

2. 関連研究2.1 バーチャル物体との物理的影響を考慮したインタラ
クションにモーションを適用した映像を Youtube などで配信をする

力学的影響を加味したモーションキャプチャデータをア

バーチャル YouTuber(以降,VTuber) が登場してきた. さら

バタに適用した状態で演者が演技をするような試みは [1]に VTuber 配信アプリである SHOWROOM や REALITYがある.[1] ではアバタの各関節の角度と位置を PD 制御すの投げ銭システムであるギフトのように視聴者がアバタにることでバーチャル物体と衝突した場合の動きを生成してバーチャル物体を与えれるシステムが運用されている. ギ

いる. バーチャル物体とのインタラクションで力学的に正

フトではアバタの頭上にバーチャル物体を落としアバタにしい動きにするには PD 係数をバーチャル物体をある程度当てることができるものも存在する.

跳ね返さないような小さい値にしなければならない. しかしかし現状はモーションキャプチャのデータをそのままし PD 係数を小さくするとモーションキャプチャに追従でアバタに適用しているためバーチャル物体が頭上から落ちきなくなってしまう.[1] ではモーションキャプチャ追従用てきて当たっても, 演技しない限りアバタに力学的影響はに各関節の位置に対してもずれたら戻ろうとするように力なくバーチャル物体が跳ね返るのみとなっている. この状が働くフィードバック制御している. この方法では物体が態では力学的に正しいアバタの動きにするために演技する

当たった時にモーションキャプチャ追従用の余計な力が発必要があり演者への負担が大きく、演技によっては力学的生してしまいアバタのモーションが力学的に正しくないもに正しくない動きになる.のになってしまう. そこで本研究ではフィードフォワード

そこで本稿では演者への負担を減すために, 物理シミュ制御を行うことでこの問題を解決する.

レーションを用いて力学的な反応を自動生成する. また, 実
際の人間なら同じ力が加えられても体の硬さを変化するこ

2.2 フィードフォワード制御とで反応を変化させることができる. そこで, 同様に演者が各関節を PD 制御している状態では,PD 係数が小さいと物理シミュレーションされたアバタの体の硬さを変化できモーションキャプチャデータに遅れて追従してしまうと

1a)b)c)d)

東京工業大学
sugimori.k.ac@m.titech.ac.jp
mitake@hi.pi.titech.ac.jp
satoh.h.aa@m.titech.ac.jp
hase@haselab.net© 2019 Information Processing Society of Japanいう問題がある. これを解決する方法としてフィードフォワード制御がある. フィードフォワード制御とは PD 制御のようなフィードバック制御で対処しきれない外的要因が発生する前に修正動作を与える制御である.

843

情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-34
2019/3/6

図 3

フィードフォワード制御なしのようになっている. アバタと物体は物理エンジンである

Springhead によりシミュレーションする [4].[2] では物理シミュレータ外部で PD 制御をしているが,Springhead には内部に安定な関節の PD 制御器が組み込まれている [5].
図 1[2] より引用

Oculus などの頭と両手の 3 点しかトラッキングできない場合でも運用できるように,IK を解いた結果を目標角度として使用し実装している.

3.2 フィードフォワード制御
図 2 のように, 物理シミュレーション A と物理シミュ
レーション B を用意する. 物理シミュレーション A では,モーション追従用のフィードフォワード制御用トルク τf fを求める.Springhead には PD 制御器が組み込まれているため, 物理シミュレーションを 1 ステップ実行すると PD制御に必要なトルクが自動で求まる.PD 係数を十分大きく設定し, モーションキャプチャデータを制御目標とすると
図 2 システムその動作を実現するのに必要なトルク τf f を得ることができる.

今回のフィードフォワード制御の外的要因は演者が動く

物理シミュレーション B では, 実際に表示されるアバタことである. この時モーションキャプチャデータに追従すの動作を生成する. バーチャル物体から自然な力学的影響るためのアバタの各関節にトルクを出す必要がある. このを受けるように各関節の PD 制御器に弱い PD 係数を設定

ようなアバタにフィードフォワード制御とフィードバッする. さらに物理シミュレーション A で得たフィードフォク制御を組み合わせた物理モデルを使用する試みは [2] がワードトルク τf f を追加する.

ある.[2] では図 1 のように関節の PD 係数を大きい状態でフィードフォワード制御成分としてあらかじめ計算しておくモーションキャプチャデータに追従するためのトルク

3.3 スティフネスを変化させる入力
演技の幅を広げるためにボールが飛んできた時に身構えτaux と, 関節の PD 係数が小さい状態でフィードバック制るといった筋肉の硬さ (スティフネス) の上昇を表現できる御成分として物体に当たった時の反応用トルク τ を求め,ようにするため, スティフネスコントローラによりアバタ二つのトルクの和 (τaux + τ ) を関節に適応している.の各関節の PD 制御時の PD 係数を演者が変更できるよう本研究でも [2] と同様の枠組みを使用する. それに加えて.にする. スティフネスコントローラには将来的に指のモー本研究ではコントローラーを用いてアバタの体の硬さ (スションも取れるようにハンドレスな筋電センサーを使用ティフネス) も演者が表現できるようにする.

する.

3. 提案システム
3.1 物理シミュレーション

3.4 動作例
図 3 と図 4 は右手の IK のターゲットが赤い球であるとシステム構成は図 2 である. アバタがバーチャル物体ときに 1kg の白いキューブを落とした場合のアバタの反応で力学的に正しくインタラクションできるようにするためあり, 左がアバタにかかる力が釣り合い停止した状態で右20 関節の多関節剛体モデルを使用し, 各剛体の質量は [3]がキューブが右手に乗り右手が一番下がった時の画像であ© 2019 Information Processing Society of Japan844

情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-34
2019/3/6

New York, NY, USA, 2009. ACM.

図 4 フィードフォワード制御ありる. 図 3 では PD 制御のみで図 4 ではフィードフォワード制御と PD 制御を組み合わせている. 図 3 と図 4 の PD 制
御時に使用している PD 係数はバーチャル物体に理想的な反応をするように小さい値にしている. 図 3 では PD 制御
時の PD 係数が小さいためアバタの右腕の重さを支えきれず,IK のターゲットに追従しきれていない. 図 4 では IK のターゲットにしっかりと追従している. 図 3 と図 4 で同じ反応であることがわかる.

4. まとめ
本研究は VTuber などの演者のモーションをアバタに適用している状態で, バーチャル物体がアバタに衝突するような場面の演技を助けることを目的とする. アバタの各関節を PD 制御し, モーションキャプチャデータに追従するためにフィードフォワード制御をする. さらに, 筋肉のスティフネスの調整を演技の幅を広げるために演者が調整できるようにする.
参考文献
[1]

[2]

[3]

[4]

[5]

Nam Nguyen, Nkenge Wheatland, David Brown, BrianParise, C. Karen Liu, and Victor Zordan. Performancecapture with physical interaction. In Proceedings of the2010 ACM SIGGRAPH/Eurographics Symposium on
Computer Animation, SCA ’10, pp. 189–195, Goslar Germany, Germany, 2010. Eurographics Association.
Rubens F. Nunes, Creto A. Vidal, Joaquim B. CavalcanteNeto, and Victor B. Zordan. Simple feedforward control for responsive motion capture-driven simulations. InGeorge Bebis, Richard Boyle, Bahram Parvin, DarkoKoracin, Paolo Remagnino, Fatih Porikli, Jörg Peters,James Klosowski, Laura Arns, Yu Ka Chun, TheresaMarie Rhyne, and Laura Monroe, editors, Advances in
Visual Computing, pp. 488–497, Berlin, Heidelberg, 2008.
Springer Berlin Heidelberg.
国 立 研 究 開 発 法 人 産 業 技 術 総 合 研
究 所.
人 体 特 殊 文 献 デ ー タ ベ ー ス.
https://unit.aist.go.jp/hiri/dhrg/ja/dhdb/properties/segment/k07.html.
長谷川晶一, 三武裕玄, 田崎勇一. 動作行動開発のための物理エンジン springhead. 日本ロボット学会誌, Vol. 30,
No. 9, pp. 841–848, 2012.
Takashi Tokizaki, Yuuichi Tazaki, Hironori Mitake, andShoichi Hasegawa. Pliant motion: Integration of virtual
trajectory control into lcp based physics engines. In SIGGRAPH ’09: Posters, SIGGRAPH ’09, pp. 10:1–10:1,© 2019 Information Processing Society of Japan845