WISS 2018

視聴覚フィードバックを用いた動的スポーツ学習支援システム
池田 篤紀

Dong-Hyun Hwang

小池 英樹 ∗

概要. 本研究では，リアルタイム視聴覚フィードバックを用いたスポーツ学習支援システムを提案する．提案システムは慣性センサー式モーションキャプチャーと Mixed Reality HMD を用いることで，照明などの環境の制限を受けない．システムはリアルタイムで学習者がどの動作を行っているかの推定を行うため，学習者は自由に動作速度や動作開始点を変更できる．上記の動作推定を実現するため，本論文では DynamicProgramming (DP) マッチングを応用した減衰 DP マッチングという新たなアルゴリズムを提案している．

図 2. システム概要図

図 1. 学習システム実行時のイメージ

1

はじめに多くのスポーツにおいて，上達のためには正しいフォームの習得が重要である．これまではコーチが第三者視点による指導やビデオ撮影によるフォームの分析が主流であった．こうした現在のフォーム学習における問題点は自己の動作，あるいは自己と正しいフォームとの比較をリアルタイムで学習者に提供できないことである．実際の動作から学習までの時間が長いと学習の効果が低減すると考えられる．
さらに，モーション速度に個人差があるため，詳しいフォームの比較が難しい．
本論文では，学習者が自己と模範フォームの第三者視点での比較映像を実時間で，かつ自分の動作速度に合わせて観察することのできるスポーツ学習支援システムを提案する (図 1)．

2

関連研究

リアルタイム学習支援システムの研究は近年盛んである．OutsideMe[4] では MR 空間で自分のフォームをリアルタイムで第三者視点から観察することはCopyright is held by the author(s).

∗ 東京工業大学 情報理工学院

ダンストレーニングにおいて有効であることを述べている．MyTaiChi[1] では，仮想的な鏡とエキスパー
トモデルを仮想空間に設置し，自己フォームと正しいフォームを見比べられる太極拳トレーニングシステムを提案している．Kuramoto らの研究 [2] では，擬似的な鏡を用いて学習者の体に正しいフォームスケルトンを重ね，差分を可視化している．しかし既存研究では一章であげられた動作速度の差異という問題に言及しているものは少ない．Kuramoto らの研究 [2] では，模範モーションを再生し，それに学習者が合わせるという解決方法を提示している．しかし，速度を合わせられなければ正しいフィードバックを得られない．本研究では従来取り組まれてきた第三者視点での自己フォームの視覚化，フォームミスの可視化に加え，学習者の動作速度をリアルタイムで推定しフィードバックを行うシステムを提案する．

3

提案手法

3.1

システム概要以降明瞭化のため，ゴルフスイングに焦点を当てたシステム構成を記述する．システムは図 2 に示したように，MR 空間に学習者を模倣するモデルを設置することで学習者はリアルタイムで自分のフォームを第三者視点で確認できる．さらに，学習者が行っている動作の正しいフォームを重ねて表示することで，フォームミスの提示を行う．また，それとは別にリプレイを行うモデルを設置する．これは自動的にWISS 2018直前の学習者のスイングを繰り返す．学習者のモデルに正しいフォームを重ねたものを再生することで，フォームミスの可視化を行う．モデルは MR 空間に固定するため学習者は自由な視点から観察できる．

3.2

フィードバック

リアルタイムでのフィードバックは，モデルの重ね合わせの他に，軌道の表示，聴覚によるフィードバックも行う．軌道表示は，正しい軌道を予め表示し，学習者の軌道をリアルタイムで描画し，正しいモーションを促す．聴覚フィードバックはゴルフで重要となる手の位置に対して，理想の位置より前にあると高い音，後ろにあると低い音を出すことで聴覚フィードバックを行う．

3.3

装置

提案システムでは慣性センサー式モーションキャプチャである Xsens MVN Link 1 を用いて学習者のモーションデータを取得する． Xsens のネットワー
クレイテンシは 20ms であり，センシングレートは240Hz である． 取得した各関節の角度を用いることにより，体の大きさの差異によらないフォーム分析を行う．また MR Head Mounted Display(HMD) である HoloLens 2 を用い，学習者への視聴覚フィードバックを行う．このような照明環境に影響を受けないデバイスを用いることで，屋外でも学習を実行可能とする．

3.4

d は模範モーションの i 番目のフォームと j 番目の学習者のフォームの相違度を表す．D はマッチングの経路上の相違度の合計である．A は減衰率を表し，0 に近いほど過去の相違度を軽視する性質を持つ．
減衰率により余計なデータが混入しても精度の高いマッチングが行える．

4

結論と今後の課題

本論文では，DP マッチングに基づく動作推定アルゴリズムとリアルタイム視聴覚フィードバックを用いたリアルタイム運動教示システムを提案した．動
作推定アルゴリズムは，単一の模範モーションデータから，学習者が異なる速度で，または異なる開始点からであっても，どの動作状態にあるかを推定することができる．提案手法で得られた動き推定に基づき，学習システムを実装した．システムはリアル
タイムで MR HMD での三次元視覚フィードバックを提供でき，複雑な操作を必要とせず自由な速度で学習したい部分のフォームを学習できる．しかし，提案したシステムは学習者がフォームのフォームミスに気づき，修正する際にも常に動作推定を行い，フィードバックを変更してしまう．この問題の解決のため，学習者の修正動作を検出する仕組みなどを今後の課題とする．

謝辞
本研究は JST CREST の支援を受けた．

提案アルゴリズム

上記の学習支援システムを実装するにあたって，必要となるのが動作中に模範モーションを学習者の動作速度に合わせるアルゴリズム，つまりリアルタイムでの模範モーションと学習者モーッションのマッチングアルゴリズムである．本システムではモーションのマッチングに Dynamic Programming (DP) マッチングを応用した減衰 DP マッチングを用いる．DPマッチングやそれを改良した連続 DP マッチングは，速度が異なるモーションデータに対する整列手法として多く用いられてきた [3]．しかし，DP マッチン
グはモーションデータに余計なデータが含まれると精度が落ちる．つまり学習者が何度も動作を行ったり，動作前に余計な動きをしてしまう際，マッチングが行えない．そこで本研究では DP マッチングの計算の際，過去の値に減衰率を掛ける減衰 DP マッチングを提案する．減衰 DP マッチングは式 (1) のように表される．
 D(i − 1, j) ∗ A + d(i, j),
D(i, j) = min D(i − 1, j − 1) ∗ A + d(i, j),(1)
D(i, j − 1) ∗ A + d(i, j)
1 https://www.xsens.com/
2 https://www.microsoft.com/ja-jp/hololens

参考文献[1] P.-H. Han, Y.-S. Chen, Y. Zhong, H.-L. Wang, andY.-P. Hung. My Tai-Chi coaches: an augmentedlearning tool for practicing Tai-Chi Chuan. In AH,
2017.
[2] I. Kuramoto, Y. Nishimura, K. Yamamoto,Y. Shibuya, and Y. Tsujino. Visualizing Velocity and Acceleration on Augmented Practice Mirror
Self-Learning Support System of Physical Motion.
In 2013 Second IIAI International Conference on
Advanced Applied Informatics, pp. 365–368, Aug2013.
[3] W. Wei, Y. Lu, C. D. Printz, and S. Dey. Motion
Data Alignment and Real-time Guidance in Cloudbased Virtual Training System. In Proceedings of theConference on Wireless Health, WH ’15, pp. 13:1–13:8, New York, NY, USA, 2015. ACM.
[4] S. Yan, G. Ding, Z. Guan, N. Sun, H. Li, andL. Zhang. OutsideMe: Augmenting Dancer’s External Self-Image by Using A Mixed Reality System.
In Proceedings of the 33rd Annual ACM Conference
Extended Abstracts on Human Factors in Computing
Systems, CHI EA ’15, pp. 965–970, New York, NY,USA, 2015. ACM.