WISS 2022

時空間歪曲を用いたリズム感獲得支援システムとボールジャグリングへの応用
松本 高 ∗

Erwin Wu∗

小池 英樹 ∗

概要. 様々なスポーツにおいて, リズム感は重要な要素の一つである. 既存のスポーツや技能のトレーニングを支援するシステムの多くは, 熟練者との差異を表示する等の手法を用いて, 最適な姿勢を学習することを目的としている. しかし, これらの手法は瞬間的に切り取られた姿勢を理解することの補助にはなるものの, リズムに乗った連続的な動作の学習を補助できていないと考えられる. 本論文では, ジャグリングを例にとり, 時空間歪曲及びその他の補助機能を用いてリズム感の習得を支援する VR トレーニングシステムを提案する.

1

はじめにダンスのような音楽に合わせて身体を動かす技能や, スキーといった一定の周期で動作が繰り返されるスポーツのトレーニングでは, 理想的な姿勢を取り続けるだけでなく, 高いリズム感が要求される. 技能獲得を支援する既存研究の多くは, コーチとユーザの差分を可視化したり [6], 動作の速度を低下させる [4, 5] 等の手法を用いて最適な姿勢の学習を支援することに注目している. これらの手法は, 最適な姿勢を理解することには有効である反面, リズミカルな一連の動作の学習には適さない可能性がある.
本論文では, リズミカルな技能の習得を支援することに注目をする. ここでは, リズム感が最も重要な要素の一つであると考えられるジャグリングを例に挙げる. ジャグリングのトレーニングでは, 実際の重力下ではボールの動きが速すぎる [1] ことや, 複数個のボールの軌道や両手の動きといった注目すべき要素が多すぎる [2] ことが障壁となり, リズム感の習得のみに集中することが困難である.
これらの問題を解決するため, 時間的及び空間的歪曲を利用した Virtual Reality(VR) ジャグリング
トレーニングシステムを提案する. 提案システムでは, ユーザのレベルに合わせて仮想空間での時間の速度や視野の広さを変化させることにより, 現実では実現が難しいトレーニングを行うことができる.

2提案手法

本論文では, VR を用いてジャグリングトレーニングにおけるリズム感の獲得を支援することを目指す. 提案システムが満たすべき要件は以下である.

• VR 空間でのジャグリングを実現し, トレーニングの補助となる機能を実装する.
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗東京工業大学

Coach Ball
Coach Hand

Virtual Ball
Indicator Bar

Userʼs View

User Hand

図 1. 提案システムの概要 (左), 様々な可視化機能 (右).

• 左右の手で複数のボールを投げてキャッチする動作の理想的なリズムを提示する.
• トレーニングにおけるリズム感の習得の妨げになる要素を緩和する.

3

実装

本論文にて実装した VR ジャグリングシステムの概要を図 1 に示す. Quest V2 HMD のハンドトラッ
キングモジュールを用いることにより, 既存のジャグリングシステム [1, 2] のようにコントローラを持つ必要がなく, 掌を開閉するジャスチャーによる没入感の高いトレーニングが可能である.

3.1

可視化機能

既存の VR トレーニングシステムと同様に, 理想的な動きをするコーチの手 (Coach Hand) を表示する. ユーザは Coach Hand と重ねるように自身の手を動かすことで動作の学習ができる.
また, ボールを勢いよく投げることができているかを左右の Indicator Bar により提示する. バーの長さがボールを振りかぶって投げるまでの距離に対応しており, 十分な助走をつけて投げた場合にはバーの色が緑色, そうでない場合は灰色に表示される.

3.2

音声によるリズムの提示機能

図 2(左) に示すように, コーチがボールを投げる瞬間及びキャッチするタイミングを音声として提示

WISS 2022

x1.0 Speedx0.6 Speed

Understand!

Whathappened?

FieldoDifficult…

Coach handThrowfview

Easy!

50cm back

CatchReal position

図 2. 音声によるリズムの提示機能 (左), 時間歪曲機能の例 (中), 空間歪曲機能の例 (右).

する. これにより, ユーザは視覚だけでなく聴覚を用いて理想的なリズムを学習することができる.

3.3

時間歪曲機能現実の 3 ボールジャグリングでは約 0.5 秒に一回以上はボールを投げるタイミングがあり, 初心者がこの速さのリズムに慣れるのは困難である. そこで,
図 2(中) に示すように VR 空間内での時間の経過速度を低下させる時間歪曲 [5] を行い, 難易度を調節する. 時間歪曲下ではボールの速さだけでなくコーチの動きの速さも低下するため, 理想的な動作の学習支援にも役立つと考えられる.

3.4

空間歪曲機能ジャグリングのトレーニングの難易度を高めているもう一つの原因として, 複数のボールの軌道や両手の動きなどといった複数の注目すべき要素があることが挙げられる. ジャグリングの熟練者によれば,初心者が失敗する主な原因の一つとして, 手元にのみ注目をしてしまい, 空中のボールの動きを把握できていないことが挙げられる. この問題に対し, 図2(右) に示すようにユーザの頭の位置を実際よりも後方に移動させる空間歪曲 [3] を行うことで, ユーザの視野を広げて全体の動きの把握を容易にする.

4パイロットテスト

提案システム及び各機能を評価するためのパイロットテストを実施した. 参加者は VR 機器の使用経験があるジャグリング初心者 6 名 (女性 3 名, 男性 3 名, 平均年齢 23.3, SD=2.05) であった. 参加者はジャグリングについての簡単な説明を受けたのち, 実際のボールを用いたジャグリングのトレーニングを 5 分間体験した. その後, 提案システムを用いて 15 分間の VR トレーニングを行い, 様々な機能を体験した. 最後にインタビューを行い, 提案システム及び各機能についてのフィードバックを得た.

4.1 インタビュー
2 個のボールを使ったトレーニングにおいて CoachHand や Indicator Bar の可視化情報及び音声によるリズムの提示を活用することができたが, 3 個のボールを用いた場合は, これらの情報が多すぎて邪魔になる (P2, P3, P4, P6) という指摘があった. 時
間と空間に対する 2 種類の歪曲についてはどちらも有効に活用できたというコメントが参加者全員から得られた. 特に, 空間歪曲により自分の手の位置が実際とは異なってしまうことで違和感や VR 酔いが発生することはなかった. また, ハンドトラッキングの精度の問題から, 思うようにボールを投げられないというケースが見られた (P1, P2, P4).

5

考察

パイロットテストの結果から, システム改善に関する知見が得られた.
第一に, 今回用いた 2 種類の歪曲により, コーチの動きを模倣したり, 可視化された情報を処理することが容易に行えるようになったと考えられる. 特に, 様々なスポーツのトレーニングにおいて検証が行われている時間歪曲 [4, 5] だけでなく, 空間歪曲についても有効性が示唆されたことは新たな発見である. これら 2 つの歪曲の組み合わせは, 視野を広く保ち, 状況を把握し続けることが重要な他のスポーツにも応用が可能であると考えられる.
一方で, これらの歪曲なしで 3 個のボールを用いたトレーニングを行った場合には情報量が多すぎてユーザが処理しきれない問題が発生した. 全ての情報を一度に提示するのではなく, ユーザのスキルやミスの傾向を分析し, 必要最小限の要素のみを提示するような工夫が必要である.

6

まとめ

本論文では, 時空間歪曲及びその他の補助機能を用いてリズム感の習得を支援する VR トレーニン
グシステムを提案した. パイロットテストにおけるユーザからのフィードバックによれば, 時間歪曲だけでなく, 空間歪曲の有効性が示唆された.

謝辞
本研究は JST CREST JPMJCR17A3 および JST
ムーンショット型研究開発事業 JPMJMS2012 の支援を受けている.

時空間歪曲を用いたリズム感習得支援システムとボールジャグリングへの応用

参考文献[1] J. Adolf, P. Kán, B. Outram, H. Kaufmann,J. Doležal, and L. Lhotská. Juggling in VR: Advantages of Immersive Virtual Reality in Juggling
Learning. In 25th ACM Symposium on VirtualReality Software and Technology, VRST ’19, New
York, NY, USA, 2019. Association for ComputingMachinery.
[2] F. Borglund, M. Young, J. Eriksson, and A. Rasmussen. Feedback from HTC Vive Sensors Results in Transient Performance Enhancements ona Juggling Task in Virtual Reality. Sensors,21(9), 2021.
[3] K. Higuchi and J. Rekimoto. Flying Head: A
Head Motion Synchronization Mechanism for Unmanned Aerial Vehicle Control. In CHI ’13 Extended Abstracts on Human Factors in Computing Systems, CHI EA ’13, p. 2029–2038, NewYork, NY, USA, 2013. Association for Computing
Machinery.

未来ビジョン
本論文では, 時空間歪曲を用いた VR ジャグ
リングトレーニングシステムを提案した.
提案システムでは, 掌を開閉するジェスチ
ャーによりボールを投げてキャッチする動作を再現しているが, 実際のボールを握る力覚フィードバックが存在しない点が問題となる.
この問題に関してはシースルー型の HMD と実際のボールを組み合わせることで解決することができる. 実際のボールを用いるため, ボールの速度を変えるような介入は出来ないが, 予想されるボールの軌道などを表示することでの補助が可能である.
ジャグリングの初心者と熟練者の間に見られる相違点として, 初心者はボールを投げる瞬間にのみ強く手を動かしているのに対し, 熟練[4] H. Kawasaki, S. Wakisaka, H. Saito, A. Hiyama,and M. Inami. A System for Augmenting Humans Ability to Learn Kendama Tricks throughVirtual Reality Training. In Augmented Humans
2022, AHs 2022, p. 152–161, New York, NY,USA, 2022. Association for Computing Machinery.
[5] T. Matsumoto, E. Wu, and H. Koike. Skiing, Fastand Slow: Evaluation of Time Distortion for VR
Ski Training. In Augmented Humans 2022, AHs
2022, p. 142–151, New York, NY, USA, 2022. Association for Computing Machinery.
[6] E. Wu, F. Perteneder, H. Koike, and T. Nozawa.
How to VizSki: Visualizing Captured Skier Motion in a VR Ski Training Simulator. In The 17th
International Conference on Virtual-Reality Continuum and Its Applications in Industry, VRCAI’19, New York, NY, USA, 2019. Association for
Computing Machinery.

者は一定のリズムで楕円を描くように手を動かし続けているということが挙げられる. 今回問題点として挙げられたハンドトラッキングが途切れてしまう問題は, 手を瞬間的に動かした時によく見られたため, 両方の手を一定の速度以上で動かし続けているかどうかを画面上に提示することでこの問題を解決できると考えられる.
また, 3 個のボールを用いた際に提示される情報量が多すぎて処理できない問題について
は, ユーザが上手くいっている (ジャグリングの場合は連続してボールを投げられている) 場合に少しずつ情報を減らしていく, という解決策が考えられる. これにより, 動作を始める瞬間には多くの情報を参照できるが, 動作が安定し始めた後は余計な情報が与えられず, 自力で動作を続けることができるようになる.