情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D072022/2/21

HMD を用いた一人称視点再現におけるディアボロ技術向上のための追体験システムの構築
髙田俊輔†

橋本渉†

近年，HMD を用いたトレーニングシステムが注目を集めている．本研究ではジャグリングによるパフォーマンスに着目し，その一種であるディアボロの追体験システムを開発した．本システムでは，HMD を装着して一人称視点からディアボロを体験できるだけでなく，熟練者の身体動作および視線情報をキャプチャし，熟練者の動作を追体験させることを目指している．ディアボロ初心者や経験者にシステムの適用評価を実施したので報告する．てヒアリングを実施した．

1. はじめに頭部搭載型ディスプレイ(Head Mounted Display :HMD)は，使用者の視界を覆ったディスプレイを通じて VR 空間を提示する一種の視覚提示装置であり，処理速度の向上，低価格化などの普及が進んでいる．HMD は VR 空間で行われるエンターテインメント，医療，スポーツをはじめとした様々な分野における体験やトレーニングとしての活用が行われている．現実と本質的な違いのない，リアルな空間を提示することで，効果が発揮されている．VR を用いたトレーニングシステムに着目すると，熟練者の動作を記録し，VR 空間で再現することによって技能向上を目指すシステム，VR空間でトレーニング対象の種目をシミュレーションし，一人称の体験を通じて技能向上を狙うシステムの 2 通りのアプローチが存在する．
様々なトレーニングにおいて，技能向上のためには，熟練者の動作を理解し反復練習を行うことが重要な要素であると考えられる．例えば，けん玉の技習得には熟練者の動作を理解することが上達につながる要素であることが確認されている[1]．一方，[2]では一人称視点による熟練者の動作提示を提案しており，技術習得の貢献になることが確認されている[2]．
我々は VR 空間でのジャグリングのステージパフォーマンスに着目し，その一種であるディアボロ技術の向上を目的とした動作提示と種目体験を行うシステムを開発した．
ディアボロとは図 1 のように，お椀を 2 つ繋げたような形状をした独楽(以降，ディアボロと表記する)であり，紐を 2本のハンドスティックに通し，その紐の上でディアボロを操ることで様々な技を行うことができる種目である．
本研究では，熟練者の身体動作および視線動作を取得し，初心者に一人称視点で動作提示を行い，さらにディアボロ体験時に先ほど取得した視線動作を提示しながら体験してもらうシステムを開発し，経験者や初心者に適用評価とし

図 1:ジャグリングのディアボロで使用する道具

2. システム構成
ディアボロの技術向上には一人称で繰り返し体験できることが重要であり，VR 空間でも現実と遜色ないようなディアボロ環境を再現することが必要である．VR 空間では，ディアボロの 3 次元的な軌道に制限を加えるなどのシミュレーションによってトレーニングを支援できる．例えば，初心者の最初の壁になるのは，ディアボロが傾いて技を始めることができないことであるが，ディアボロの空間動作の次元を減らすといった動作簡略化や，重力を調整し動きをスローにすることで難易度を下げることも容易である．
このような支援を初心者に与えることで徐々に体に慣れさせ，難易度を上げていくこともできる．一人称で繰り返し体験できるシステムを，ここでは初心者の体験システムと呼ぶことにする．
熟練者の動作を再現するには，モーションキャプチャを用いて，技の動作を取得し，VR 空間内のアバターに同じ動作をさせる．熟練者の動作を初心者に見せるだけではなく，熟練者がどの部分を注視し，注視している点だけでなく周りのどのような情報を取得して次の動作に移るかを考える† 大阪工業大学情報科学部© 2022 Information Processing Society of Japan283

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D07
2022/2/21

ことが重要であると考えた．本研究ではモーションキャプで難易度が上昇するため，前後に移動しないように制限をチャと視線検出装置を用いて熟練者の身体の動きと目線の設けており，回転が減速して紐の上から落ちないように一動きを再現し，初心者に一人称視点として提示する．この定の速度を保ちながら運動するように制限を加えている．

システムを熟練者の再現システムと呼ぶことにする．本研

初心者体験システムを利用している様子を図 3，VR 空間

究では，初心者の体験システム，熟練者の再現システムをでの一人称視点を図 4 に示す．図 4 の中央右側に見える赤実装する．

い点が熟練者の視線を再現したものである．

3. 実装
3.1 初心者の体験システムの実装
初心者体験システムは，ディアボロを一人称視点でシミュレーションすることを目的としている．この環境におけるシステム構成図を図 2 に示す．システムは HMD と 2 台のコントローラ，それらを制御する PC から成り立つ．HMDは Facebook 社の Oculus Quest，コントローラとして Oculus
Touch を使用した．

図 3: HMD を用いて初心者体験システムを利用する様子

図 2: 初心者の体験システム構成
シ ス テ ム は Unity Technologies 社 が 提 供 す る
Unity2021.1.13f1 を用いて開発しており，HMD やコントローラを頭部や手の移動・回転運動に対応させている．VR 空間で反復練習をするためには自分自身の身体表示があるとわかりやすいと考え，HMD やコントローラの動きに応じて動作するアバターを導入することにした．アバターには，
Tda 式初音ミク・アペンドを用いた．アバターの動きはコ

図 4: 初心者体験システムの一人称視点

ントローラの位置からインバースキネマティクスにより求めた．ここでは FinalIK というアセットを用いている．ま3.2 熟練者の再現システム構築

た，アバターの物体を掴むアニメーションを搭載するため熟練者再現システムは，ディアボロ熟練者の身体動作おに Oculus Integration というアセットを用いてハンドスティ

よび視線情報を記録し，一人称視点において再生するもの

ックを掴む・離すといった動作を可能にしている．初心者である．記録する環境を図 5，再生するものを図 6 に示す．

体験システムではハンドスティックを離した難易度の高い記録を行う環境では，実際にディアボロを行うので邪魔に技を行わないので掴んだ状態で固定している．体験に必要ならないようなウェアラブル型のデバイスが必要であるとなディアボロやハンドスティックは特殊な形状をしている

考え，身体情報の取得には Noitom 社の Perception Neuron

ため，Blender で独自に作成した．またハンドスティックのStudio，視線情報の取得には Tobii 社の Tobii Pro Glasses2 を先端につながっている紐はリアリティを高めるため Virtual
Method 社の Obi Rope を使用した．このとき，ハンドステ使用する．装着者は各種キャリブレーションを行った後，ディアボロを動かしてもらう．

ィックを素早く動かす際に紐が振動し続ける，現実では起モーションデータは専用ソフトウェアの Axis Neuron をこらない挙動が発生した．そこで，[3]を参考にハンドステ使用する．録画したモーションデータを fbx 形式のファイ

ィックの前後に壁を設置し挟み込むことで紐の振動を制限

ルにエクスポートした後，Unity に取り込みアニメーショすることにした．ディアボロは 3 次元的な動きをすることンとして提示することでアバターに同じ動きを再現させる© 2022 Information Processing Society of Japan284

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D07
2022/2/21

ことができる．視線情報の記録は目線の座標のみを使用し映像や音声を必要としないので Tobii Pro Glasses2 の専用ソフトウェアを使用せず，コマンドプロンプト上でも使用が可能な TobiiGlassesPyController を用い，RTSP 通信によって取得した．視線の座標は 2 次元座標で構成されており，数値を整数に変換して 1 フレームずつテキストファイルに保存する．熟練者から取得した視線データに基づいて，Unityで生成される VR 空間の一人称視点に表示する．これを実現するため，Python の GUI を操作できる tkinter を用いて
図 6: 再生環境のシステム構成

背 景 が透 過 す る ウ イン ド ウ を 作 成 し ， 視 線 の 座標 値 とOpenCV を用いて視線情報をプロットする．作成されたウ
インドウを Unity 内に取り込むために，uWindowCapture というアセットを用いてウインドウをキャプチャし，アバターの目の前に設置する．ウインドウのキャプチャの様子を
図 7 に示す．図 7 の右下の黄色い枠で囲まれている部分がuWindowCapture で画面キャプチャしている部分である．このとき，同時に取り込んだ頭部のモーションデータに基づいて，ウインドウを追従させることで，熟練者の視線を再現した．これにより，初心者はアバターと同じ視線を見ることができ，熟練者の身体操作や視線の動きの変化を確認

図 7: ウインドウキャプチャの様子することが可能になる．
また，この再現システムはリアルタイムでも動作できるように実装を行った．モーションデータはブロードキャス
トで流しているデータのボーンの角度情報を Unity 側で取得し，視線情報は Tobii Pro Glasses2 で取得した座標をテキストに書き込まずそのまま OpenCV で描画することでリアルタイムに提示できる．
なお，視線の再現システムにおける表示部分については，初心者体験システムで使用したものを流用した．
身体動作，視線情報を記録している様子を図 8 に示す．
図 8 の熟練者の顔に装着しているのが Tobii Pro Glasses2，全身に装着している緑色のセンサーが Perception Neuron
Studio である．

図 8: 熟練者再現における動作記録環境の様子

4. 適用評価
4.1 目的本システムが正常に動作しているかどうか，初心者にと
図 5: 記録環境のシステム構成って体験しやすいものであるか，またディアボロ熟練者にとってどう感じられるかを評価するため，適用評価をおこなった．
4.2 方法ジャグリングの初心者 3 名に初心者体験システム，熟練者(ジャグリング歴 4 年以上)2 名に初心者体験システムと熟練者再現システムを体験してもらい，感想をヒアリング© 2022 Information Processing Society of Japan285

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D07
2022/2/21

した．

発生したものと考える．改善案としてはモーションの頭部

4.3 結果の動きをとらず，首から下の動きはモーションキャプチャ

初心者体験システムの感想を以下に示す．

による動作提示，頭部は体験者の HMD の動きを与えるこ・目線の提示がうまく動作していた．(初心者)とで改善できるのではないかと考える．目線の提示位置が・ディアボロを投げてキャッチなどの簡単な技なら成功で近いという感想については目線を描画する際の円の大きさきた．(初心者)を変更することで調整が可能だと考える．

・うまい人の目線がディアボロからあまり動いていないことがよく分かった．(初心者)
・目線の提示位置が近すぎて見づらい．(熟練者)
・紐の操作が難しく，うまくディアボロを紐に乗せることができなかった．(熟練者)

5. おわりに本研究では，VR 空間内でディアボロを繰り返し体験できる環境を作成した．それと併せ，初心者が熟練者の視線を視聴しながら体験できるシステムを開発した．本システ

次に，熟練者再現システムの感想を以下に示す．
・アバターの頭の動きと HMD の頭の動きが連動してないので画面酔いが発生した．(熟練者)
・紐の挙動が安定していないので複雑な技になると何もできなくなる．(熟練者)

ムはモーションキャプチャと視線計測を用いて身体動作と視線情報をキャプチャし，体験者に HMD を通して提示した．さらに体験者の技術向上のために熟練者の視線を提示した状態で体験ができるように調整を行った．
今後の展望として，得られた評価をもとに紐の挙動を修正し，視線提示の改善を行った後に実験を進めていきたい．

4.4 考察結果からは，熟練者の視線の提示はうまくいっているがディアボロの体験が難しく，まだ再現には至っていないこ

また，ディアボロの個数を増やしたり，ハンドスティックを手から離したりすることでより難易度の高い技を体験できるような環境を開発していきたいと考えている．とが分かった．熟練者からは現実のディアボロには紐の張力，ディアボロ本体の重量などの力覚フィードバックがないというギャップがさらに体験の難しさにつながったと考えられる．このギャップを埋めるためには，コントローラに振動を与え触覚を刺激することや，紐にディアボロが乗った際に紐にたるみを与えるなど，材質の持つ弾性力の調整を行い視覚的に補助することが必要ではないかと考える．
画面酔いが発生するのは熟練者再現システムで，モーションデータを取得したアバターが頭を回転させているのに対し，HMD を通じて一人称視点を体験している初心者は

参考文献[1] 川崎仁史,脇坂崇平,笠原俊一, 齊藤寛人, 原口純也, 登嶋健太,稲見昌彦: けん玉できた！VR：5 分間程度の VR トレーニ
ングによってけん玉の技の習得を支援するシステム, エンタ
テインメントコンピューティングシンポジウム 2020 論文集, pp.26-32(2020)[2] 伴地芳啓,植村大志,竹永羽,平尾悠太朗,河合隆史:アスリート
への憑依体験を意図した VR コンテンツの試作と評価,TVRSJ
Vol.26 No.3 pp.177-186,2021[3] 井手康太,堀江亮太:VR 空間で演じられたディアボロジャグ
リングへの視聴者の評価,エンターテインメントコンピュー
ティングシンポジウム 2021 年 8 月

自身の頭の回転と一致しておらず，結果として画面酔いが© 2022 Information Processing Society of Japan286