情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-452024/2/28

VR 環境下における身体背面部へのタップ操作による入力領域拡張
國枝 直希1,a)

真鍋 宏幸1,b)

概要：現在の VR アプリケーションで利用される操作の一つに，ハンドトラッキングによるジェスチャがあるが，この操作手法には HMD の内蔵カメラに手が映る範囲でしか利用できない問題や，入力語彙が少ないなどの問題がある．本稿では，これらの問題を解決するため，身体背面部などのあまり利用されていない領域を活用し，身体背面部を VR 空間上の UI 操作の入力領域として用いる手法を提案した．提案手法の実装を行い，腰や後頭部などの身体背面部へのタップを検出できることを確認した．

うため，入力語彙が限られてしまう問題がある．
我々は，身体後方や背面部などのあまり利用されていない領域をタップ入力可能な領域として活用することで，VR空間上での入力語彙を増やすことができると考え，HMDの内蔵カメラを用いたハンドトラッキングと手首に装着した IMU を組み合わせた手法を提案する．

2. 関連研究
本研究は，ボディトラッキングなどの身体の各部位の位
図 1

提案手法の様子置や姿勢を推定する研究，身体を入力デバイスとして用いることで入力語彙を拡張する研究，身体後方でのハンドト

1. はじめに教育や娯楽など，さまざまな分野で VR の利用が広がっている．現在の VR コンテンツで利用されている操作方法の一つとして，HMD に搭載されたカメラを利用したハンドトラッキング機能によるジェスチャがある．HMD の内
蔵カメラの視野内に映った手の動きを検出，認識することでジェスチャに対応した操作を行っているが，内蔵カメラに手が明瞭に映っていないと利用できないため，操作に利用できる領域が内蔵カメラがついている前方側に限られてしまう問題がある．その結果，内蔵カメラの視野外である身体後方や背面部などの領域が入力に利用されることはほとんどない．また，ジェスチャ操作での入力語彙を拡張する際には，認識するジェスチャの種類を増やすなどの方法があるが，識別するジェスチャの種類が増えるほどユーザの意図しない動作に対して操作が行われてしまう問題（ミダスタッチ問題）や，ジェスチャの複雑化が発生してしま
1a)b)

芝浦工業大学
al20082@shibaura-it.ac.jp
manabehiroyuki@acm.org© 2024 Information Processing Society of Japan

ラッキングを行う研究などに関連する．

2.1 ボディトラッキング
Cao らは，カメラで撮影した画像，動画内の人物に対してリアルタイムに姿勢推定を行うシステムを提案している [1]．このシステムを利用することで，カメラの情報のみでボディトラッキングを行うことができるが，ユーザの全身の動きが隠れることなくトラッキングできるようにするには，カメラの死角がないように複数のカメラを設置する必要がある．

Caserman らは，HTC Vive と Vive Tracker を用いることで低遅延，高精度のボディトラッキングを行っている [2]．
しかし，この方法ではトラッキングを行いたい部位毎にVive Tracker を装着し，Vive Tracker を認識するためのベースステーションを設置する必要がある．
カメラやトラッカーなどの外部機器を用いずに全身トラッキングを行う研究として，HMD と左右の手に持ったコントローラの 3 点の情報から強化学習によってユーザ

380

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-45
2024/2/28のアバタ全身の姿勢を推定する研究が行われている [3][4]．

身体前面部

身体背面部

これらの研究では，頭部と両手の 3 点の座標のみで全身の動きを再現することができるものの，ユーザとのインタラクションは環境とのインタラクションにとどまっている．

2.2 身体を入力デバイスとして用いる研究
Harrison らは，腕をタップした際の振動を，センサを搭載したアームバンドで検知することで，腕を入力デバイスその他の部位

本研究の対象部位として用いる手法を提案している [5]．しかし，この手法では，アームバンドを装着した部分の延長線上しか入力に用

図 2検出を行う部位いることができない問題がある．
また，小林らは，身体へのタップジェスチャの回数パやタップした部位の推定を行い，部位に対応した操作を事ターンの組み合わせによってコミュニケーションを行うシ

前に割り当てることでタップジェスチャによる操作を可能

ステムを提案した [6]．しかし，タップジェスチャの回数のにする．本システムでは，HOOV のトラッキング手法をみで多数の表現を認識するには多くのタップ回数と時間を用いるものの，身体背面部へのタップ操作を行うことで，必要とする問題がある．

HOOV で活用されていない領域を入力に用いることができる．

2.3 身体後方でのハンドトラッキング

ただし，HOOV よりも手が身体後方にある時間が長いこ

Wei らは，スマートウォッチに搭載された 6 軸 IMU をとが予想されるため，IMU によるトラッキング精度が低下利用して肘，手首の位置を RNN によって推論する手法をする可能性がある．この問題については，機械学習モデル提案した [7]．この研究では 9 軸 IMU（加速度，ジャイロ，の改良を行うとともに，HMD によるハンドトラッキング地磁気）を利用しなくともトラッキングが行えることを示

範囲内での操作に提案手法を加える形で UI を実装し，手したが，肘との相対位置として手首の位置を推定しているが身体後方にある時間が短くなるように工夫することで，ため，肘の誤差の影響により手首の絶対位置の誤差が大き十分な精度の達成を目指す．

くなる問題や，胴体や肩が移動していない状況下でしか利用できない制約がある．

右腰をタップした際の提案手法の様子を図 1 に示す．また，図 2 に，提案手法でカバーできると考えられる部位をStreli らは，VR 空間上で HMD のハンドトラッキング範示す．今回の実装では青で示す部位（後頭部，肩，背中，囲外のオブジェクトに対して手による操作（つかむ，引っ腰）を検出対象とするが，それら以外の身体背面部の部位張る，移動させるなど）を行う HOOV を提案した [8]．こや，HMD 内蔵カメラの視野から外れることの多い腹部なの研究では，HMD に搭載されたカメラでのトラッキング

ど身体前面部位（図中，黒）を含むあらゆる身体の部位に範囲内ではカメラによって，範囲外でのトラッキングは過対応することができる．

去のトラッキング情報や手首に装着した IMU のセンサ情報などから機械学習的に推論することで，6 軸 IMU でも高4. 実装

い精度で身体後方でのハンドトラッキングを行っている．

ユーザの左右の手首に装着する IMU センサとしてリス

しかし，この手法ではピンチ操作を検出できる範囲は拡張

トバンドに装着した Joy-Con を，HMD として Meta Quest

されたものの，ユーザの入力はピンチ操作のみであり，操2 を用いて実装を行った．手の座標や姿勢を推論するモデ

作の種類は拡張されていない．

3. 提案手法
本研究では，手首のトラッキングによって身体のどの部

ルは HOOV[8] と同様のものを PyTorch を用いて実装し，Vive Tracker 3.0 を利用して左右の手首の 3 次元座標と姿勢情報を取得することで，データセットを作成した．タップについては，Joy-Con に搭載された IMU の 3 軸加速度セ位がタップされたかを検出し，検出された部位と対応するンサから得られた 3 次元ベクトルから閾値を設定して検出操作（カーソル移動，決定など）を行うことで，手でタッする．また，各部位の座標については，立っている状態でのプができる身体の部位を入力領域として利用するシステム

HMD の Unity 上の座標をもとにユーザの身長を算出し，を提案する．

身長をもとに統計的な数値からユーザの体格と各部位の相本手法では，HOOV[8] と同様に，左右の手首に IMU を対的な位置を設定した．タップした部位の推定は，タップ装着し，HMD によるトラッキング範囲内では HMD，範検出を行った際に手が最も近くにある部位をタップした部

囲外では過去のトラッキング情報や IMU によって手首の位としている．Quest 2 向けの VR アプリケーションの実トラッキングを行う．トラッキングと同時にタップの検出装は Unity 2021 で行い，ソケット通信を介して Python で© 2024 Information Processing Society of Japan381

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-45
2024/2/28

作成したアプリケーションと VR アプリケーション間で情際に経路付近の別の部位と誤認識する問題があり，身体後報を送受信している．Python アプリケーションは，Core方でのハンドトラッキングは必要と考えられる．

i9-9900K, GTX 960, 32GB RAM を搭載した PC 上で動作している．

5.4 検出部位数の増加による拡張性

これらの実装を行った後，左右の手でそれぞれタップし本稿では後頭部，肩，背中，腰それぞれの左右の計 7 かた部位を VR 空間上に表示するアプリケーションを作成し所の部位に対して検出を行ったが，検出部位を増やすことた．その結果，左手，右手それぞれにおいて，今回検出対象によって，手法そのものは身体の前側（胸，腹など）にもとした後頭部，肩，背中，腰の各 4 か所ずつに対してタッ適用することが可能である．特に，ユーザが座っている際プした部位の検出が行えることを確認した．には身体背面部は利用が難しいため，身体の前側を利用で5. 議論
本章では，本手法に関する課題や将来的な拡張について議論を行う．

5.1 ユーザの姿勢変化や体格による影響きるように拡張することで，入力語彙が増加するだけでなく，別のユースケースにも本手法が適用できることが期待される．

6. まとめ自身の身体背面部をタップすることで入力を行う VR 環

現在の実装では，HMD の座標から身長を算出し，その境向け操作手法を提案した．提案手法の実装を行い，身体身長を元に相対的な部位の位置を決定している．したがっ背面部へのタップを検出できることを確認した．また，今て，ユーザが背中を曲げる，頭を傾けるなど大きく姿勢を後の改善に向けた議論を行った．

変えた状態で本システムの利用を行った場合や，ユーザの体格がその身長での統計的体格と異なる場合，正確な検出参考文献ができないことが考えられる．この問題については，ユー[1]

ザごとの事前のパラメータ入力や，頭と両手首の 3 点トラッキングをベースにした機械学習によるボディトラッキ
ング，追加でトラッカーなどを取り付けることで改善する[2]

可能性がある．

5.2 ハンドトラッキングの精度の影響[3]

先行研究 [8] と同様の機械学習モデルを用いたが，Ground

Truth を OptiTrack から Vive Tracker 3.0 に変えている点
や，学習データの規模の違い，座標系を合わせるためのキャ[4]リブレーションの精度などが影響して精度が落ちている可能性がある．これらの点については，より精密なキャリブレーションを行い，学習データを追加で集めることで改善すると考えられる．また，今回のようなハンドトラッキン[5]

グ手法を用いる場合，精度を上げたとしても数 cm から 10
数 cm 程度の誤差が発生する．このような誤差により，腰，背中，肩などの大まかな部位の検出は高い精度で行うこと[6]ができるが，1 つの部位を複数の領域に分割するような細かな検出を行うことは非常に難しいと予想される．
[7]

5.3 身体後方でのハンドトラッキングの必要性
部位推定に身体後方でのハンドトラッキングが必要なのかを確認するため，HMD のカメラの視界から外れる直前の手の座標情報をもとに推定を行った．その結果，理想的な経路で手を動かすことで，機械学習による推論がなくとも検出が可能であることが分かった．しかし，今後検出部位数を増やしていくことを考えると，身体前方の部位と取[8]Cao, Z., Simon, T., Wei, S.-E. and Sheikh, Y.: Realtime Multi-Person 2D Pose Estimation Using Part Aﬃnity
Fields, Proceedings of the IEEE Conference on Computer
Vision and Pattern Recognition (CVPR) (2017).
Caserman, P., Garcia-Agundez, A., Konrad, R., Göbel,
S. and Steinmetz, R.: Real-time body tracking in virtual
reality using a Vive tracker, Virtual Reality, Vol. 23, pp.
155–168 (2019).
Jiang, J., Streli, P., Qiu, H., Fender, A., Laich, L., Snape,P. and Holz, C.: AvatarPoser: Articulated Full-Body Pose
Tracking from Sparse Motion Sensing, Proceedings of European Conference on Computer Vision, Springer (2022).
Winkler, A., Won, J. and Ye, Y.: QuestSim: HumanMotion Tracking from Sparse Sensors with Simulated
Avatars, SIGGRAPH Asia 2022 Conference Papers, SA’22, New York, NY, USA, Association for Computing Machinery, (online), DOI: 10.1145/3550469.3555411 (2022).
Harrison, C., Tan, D. and Morris, D.: Skinput: Appropriating the Body as an Input Surface, Proceedings ofthe SIGCHI Conference on Human Factors in Computing Systems, CHI ’10, p. 453–462 (online), DOI:
10.1145/1753326.1753394 (2010).
小林優維， 呉健朗，大和佑輝，宮田章裕ほか： 身体へのタップジェスチャでコミュニケーションを行うシステムの基礎検討，マルチメディア, 分散協調とモバイルシンポジ
ウム 2019 論文集， Vol. 2019, pp. 105–110 (2019).
Wei, W., Kurita, K., Kuang, J. and Gao, A.: RealTime 3D Arm Motion Tracking Using the 6-axis
IMU Sensor of a Smartwatch, 2021 IEEE 17th International Conference on Wearable and Implantable
Body Sensor Networks (BSN), pp. 1–4 (online), DOI:
10.1109/BSN51625.2021.9507012 (2021).
Streli, P., Armani, R., Cheng, Y. F. and Holz, C.: HOOV:Hand Out-Of-View Tracking for Proprioceptive Interaction Using Inertial Sensing, Proceedings of the 2023 CHI
Conference on Human Factors in Computing Systems,
CHI ’23, (online), DOI: 10.1145/3544548.3581468 (2023).

り違えてしまう問題や，理想的でない経路で手を動かした© 2024 Information Processing Society of Japan382