WISS2013

手本データを自動抽出する運動指導システム
黒田 修平

入江 英嗣

吉永 努 ∗

概要. 人が新しく運動を学び始める場合，一般的にはその運動の熟練者から指南を受ける．自分自身では気づきにくい運動の誤りを，熟練者に正してもらうためである．しかし，熟練者を要することは，機会やコストの面で習得の敷居を増加させてしまう．熟練者に代わって，コンピュータがユーザの運動の誤りを指南できれば，多くのユーザの運動習得を支援することができる．そこで我々は，人間の関節座標を取得してユーザの運動の流れを検出し，運動の正しさを自動的に判定して指導するシステムを提案している．このシステムは動きをいくつかのポーズの連続としてとらえ，一つ一つのポーズについて，ユーザが正しい体勢をとっているか判断する．この判断について，我々の提案している相対チェックポイントを用いることにより，体格によらずに細やかな運動判定を行うことができる．しかし相対チェックポイントは手動で作成せねばならず，妥当なチェックポイント作成には運動とシステム双方への精通を必要とする．また，新しい運動に対するチェックポイント記述に多大な時間がかかってしまう．
そこで本論文では，練習したい運動の関節座標軌跡データから，チェックポイントを自動生成する手法を提案する．フレーム間類似性に着目した要約技術を利用して特徴的なキーフレームを抽出し，そのキーフレーム中の関節座標データから相対チェックポイントを生成する．これにより，様々な運動の指導がたった一回の教師のお手本によりできるようになる．また教師データの配信により，多くの人にとって様々な運動の練習が身近なものとなる．

1

はじめに人が新しく運動，体操，ダンスなどを習得しようとする場合，独力での練習を難しくする理由に，自身が上手くできているかの判断が難しいことが挙げられる．このため，インストラクターなど，その運動に精通した者の協力を得て，正しいフォームを指導してもらうことが効果的とされている．しかし，他者に協力を求める際には，外部要因の制約により自由な時間に気軽に学ぶことができず，結果として運動を学ぶ機会が妨げられる．
我々は独力での運動の上達を促すべく，ユーザを自動で指導するシステムを開発している．参考となる技術としては Chaves らの運動認識技術 [1] と同様に，対象となる運動をコマ割りし，特徴的なポーズの連続として表現する．特徴的なポーズを，一定の時間内に同じ順番でとることができれば運動に成功したと判定する．我々は，関節間の相対的な位置関係を相対チェックポイントとすることで，様々な体格のユーザの運動を識別できるようにし，ユーザを指導するシステムを提案した [2]．もしユーザが正しい運動を行えなければ，該当箇所を反復練習させ，運動の上達を促す．
本論文では，提案システムを様々な運動に対応できるように以下の課題に取り組む．まず，相対チェッ∗Copyright is held by the author(s).
Shuhei Kuroda, Hidetsugu Irie, Tsutomu Yoshinaga,
電気通信大学大学院情報システム学研究科情報ネットワー
クシステム学専攻

クポイントの妥当性である．ユーザが効果的な習得を行うために効果的なチェックポイントの抽出は熟練者のノウハウに依存している．次にチェックポイ
ント定義の時間的コストである．チェックポイントはそれぞれ手動で定義しており，新しい運動への対応に時間がかかってしまっている．
これらの課題に対し，特徴フレーム抽出技術を用いることにより，上記二つの点を改善し，ユーザが望む運動の練習を効果的に行うシステムを実現する．

2

提案手法

運動指導システム [2] をより正確に，かつ拡張性を高めるため，我々はチェックポイント自動生成手法を提案する．まずユーザは，お手本となる運動の関節座標の軌跡データを得る．これはデータとして配布されたものを取得するほか，フレーム毎の関節座標を取得できるデバイスの前で，運動を習得済みの人間に実際に運動を行ってもらって得る．次にそのデータから，類似度の低いいくつかのフレーム（キーフレーム）を抽出し，そこに記録された関節座標の相対的な位置関係をチェックポイントとして生成する（図 1）．他のフレームと類似しないフレームは，運動の中でも特徴的な重要ポーズのフレームと考えられ，妥当なチェックポイント抽出の自動化が可能となる．

WISS 2013

標間の相対的な位置関係を相対チェックポイントとして生成し，[2] に組み込む．

4

システム構成本システムでは，ユーザの関節座標を取得するために Kinect を用いる．Kinect はユーザの全身をRGB カメラと赤外線センサーで捉え，20 個の関節座標を取得することが可能である．Kinect を計算機に接続しシステムを起動すると，ユーザへの指導を表示するウィンドウ，RGB カメラで撮影したユーザの関節上に赤いマーカを描画するウィンドウ，そして同様に RGB カメラの撮影の様子の上にボタンが表示されたウィンドウがポップアップされる．このボタンから運動指導か，手本データ録画を選んで，Kinect に映るよう運動する．

5

未来ビジョン

チェックポイント自動生成手法を用いた運動指導システムが確立されれば，人々は熟練者の支援に頼ることなく，様々な運動を上達させることができるようになる．これにより，人々にとって運動はより身近なものとなり，スポーツやダンスなどが盛んに行われるようになる．これを通じ，我々は人々の競技スキルの向上のみならず，人々の健康度の底上げを図っていく．
図 1. 提案手法概要

3

アルゴリズムキーフレームの抽出にあたり，Huang らが提案した，3D ビデオのフレーム間の類似関係を元にキーフレームの抽出を行い，自動的に内容を要約するシステム [3] と同様のアルゴリズムを用いる．まず，何枚のキーフレームを抽出するのかのレートを定義する．また，3D ビデオのモデルを構成するボクセルをひとつひとつを，モデルの重心を中心とした球座標系 (r, ϕ, θ) に変換する．次に，対象となる N 枚のフレーム中にある，任意のフレーム i,j 間の類似度を，ボクセル間のユークリッド距離の合計にて算出する．この類似度とは，フレーム j のモデルを 360°回して，フレーム i のモデルとユークリッド距離的にもっとも近づいたときの差異の和である．次いでこの類似度を元に，フレーム i から j までの間全てのフレームと，フレーム i からフレーム i-j までの全てのフレームとの間に生まれる歪みコストを求める．この歪みコストを元に，3D ビデオの要約に最適となるキーフレームを算出する．
Huang らと異なり，我々の手法では関節同士の距離に着目するため，フレーム i,j 間の類似度を算出するのにモデルを 360 °回転させたりせず，それぞれの関節座標同士のユークリッド距離を用いる．また求められたキーフレームに記録されている関節座

参考文献[1] Thiago Chaves, Lucas Figueiredo, Alana Da
Gama, Cristiano de Araujo, Veronica Teichrieb,”Human Body Motion and Gestures Recognition Based on Checkpoints , Virtual and Augmented Reality 2012 14th Symposium, 28-31
May 2012[2] 黒田修平，放地宏佳, 吉見真聡, 吉永努, 入江英嗣, ”相対座標を用いた運動指導システム”, DICOMO2013 シンポジウム (2013).
[3] Peng Huang, Adrian Hilton, Jonathan
Starck,”Automatic 3D Video Summarization:
Key Frame Extraction from Self-Similarity”,
3DPVT’08 - the Fourth International Symposium on 3D Data Processing, Visualization andTransmission(2008).