情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-403-42
2017/3/2

手本動作の速さを学習者に合わせる動作学習支援システムの構築
吉永稔弘†1

曽我真人†2

概要：手本動作と学習者動作を重ね表示する仕様の動作学習支援システムの研究が盛んに行なわれている．しかし，多くのシステムでは，学習者が必死に手本動作に追従し，動きのタイミングを合わせる必要があった．本研究では，手本動作の速さをリアルタイムで学習者に合わせる機能を実装し，新たな学習アプローチを提供する．また，学習者はシステムに保存された複数の熟練者動作から学習に使用する手本動作を選ぶことが可能である．

Development of A Motion Learning Support System
matching Model Motion Speed to Learner’s
TOSHIHIRO YOSHINAGA†1

MASATO SOGA†2

Abstract: More and more researchers study and develop motion learning support systems that show superposition of a modelmotion and a leaner’s motion. On the many systems, however, learners have to struggle to match their motion speed to model
motion’s one by tracking it. To provide a new learning approach, we developed a function that matches the model motion speed
to the learner’s automatically. Besides, learners are able to select a model motion to refer from many skilled motion data in thesystem.

1. 背景と目的
近年，Kinect や Leap Motion などのモーションキャプチャデバイスを用いて身体動作を取得し，初心者の動作学習を支援しようとする研究が盛んに行なわれている

2. システム
提案システムの概要および機能について述べる．
2.1 概要システムは，Kinect v2 を利用して学習者の動作を取得し，[1][2][3][4][5][6]．例えば，仮想空間内において熟練者の動画面上に 3D 表示することが可能であると同時に，熟練者作を学習者の動作に重畳表示し，効果的な自主練習を支援動作のうち 1 件を手本動作として表示することが可能であするようなシステムが構築されている[7]．ただし，それらる．学習者は手本動作の骨格に自分の骨格を重ね合わせるのシステムの多くは，学習者が必死に手本動作に追従し，ことによって学習を行なう．また，画面下部の操作パネル動きのタイミングを合わせる必要があった．これは，動作からスピード同期機能を含む各種学習支援機能を利用するの流れの学習には適しているが，各タイミングにおける姿ことが可能である．図 1 にシステムの操作画面を示す．

勢の学習が困難であるという問題点があった．
本研究では，手本動作の速さをリアルタイムで学習者の速さに合わせる機能を実装し，新たな学習アプローチを提供する．このほか，提案システムでは学習者は複数の熟練者動作から学習に使用する手本動作を選ぶことが可能であるほか，さまざまな学習支援機能を利用することが可能である．複数の熟練者動作から学習に使用する手本動作を選べる機能に関しては，以前筆者らによって同様の機能が構築されているが[8]，今回のシステムでは，学習者のリアルタイムの動きに合わせて手本動作を重畳するように仕様を刷新している．

†1 和歌山大学大学院システム工学研究科
Graduate School of Systems Engineering, Wakayama University†2 和歌山大学システム工学部
Faculty of Systems Engineering, Wakayama University© 2017 Information Processing Society of Japan

図 1
Figure 1システムの操作画面
Display of the system.

265

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

2.2 機能
スピード同期機能のほか，スピード変更機能，体格一致機能，手本動作選択機能，サポート線表示機能，誤りマー

1-403-42
2017/3/2てしまうという問題点があった．本機能はその問題点を解消し，動作の容易な比較を支援している．
問題点として，各骨の拡縮処理のためにオリジナルの動ク機能，位置一致機能，手本鏡転機能などを備える．

作の均整が崩されてしまい，不適切な手本を提示すること

2.2.1 スピード同期機能になるおそれがある．

手本動作が学習者の動作に自動でシンクロする機能で2.2.4 手本動作選択機能ある．すなわち，学習者の動作スピードが手本動作よりも複数の熟練者の動作データの中から，学習に利用する手速い場合は，手本動作のスピードもまた学習者に合わせて本動作を 1 つ設定する機能である．システムは各熟練者デ速くなり，学習者の動作スピードが手本動作よりも遅い場

ータの体格と学習者の体格とを自動で比較し，体格が類似合は，手本動作のスピードもまた学習者に合わせて遅くなしている順にデータを自動で並べ替えて提示する．学習者

る．また，学習者が任意の時点で身体を静止した場合，手は容易に自分の体格に近い動作データを手本動作として設本動作もその対応時点の姿勢を維持したまま一時停止状態定することが可能である．2.2.3 の機能が熟練者の体格を加となる．以上の処理はリアルタイムに行なわれ，一連の動工して学習者の体格に自動一致するものであるのに対し，作の中に速い期間と遅い期間とが交互に現れたとしても対この機能は既存の熟練者データの中から学習者の体格に類応可能である．さらに，学習者が現在姿勢からそのまま逆似しているものを選出し，オリジナルの体格のまま手本動再生のように過去の姿勢に戻るだけで，手本動作も連動し作として利用する仕様である．したがって，2.2.3 の機能にて該当時点まで巻き戻り，その時点からのやり直しも可能

おける問題点は，この機能においては発生しない．

である．

利用場面として，学習者が自身の体格に適した動作を学利用場面として，各タイミングにおける姿勢の学習をすぶために利用することを想定している．また，複数の熟練るために利用することを想定している．従来，学習者は所者動作を参考にすることで，同じ対象動作であっても正し与の手本動作を追従することによって学習を行なっていたい身体の動きには曖昧性があることを学ぶことも可能であが，この機能では手本動作のほうが学習者のスピードに合る．

わせようとしてくるため，各タイミングにおける姿勢の学習が容易であるといえる．
問題点として，学習者が支離滅裂な動作を行なった場合，問題点として，必ずしも学習者の体格に近いデータが見つかるとは限らない点が挙げられる．
図 2 に手本動作選択機能の操作画面を示す．

時系列のマッチングが破綻してしまうおそれがある．また，機能の仕様上，動作の間合いやタイミングを学習する場面には適さない．
2.2.2 スピード変更機能
手本動作の再生速度を任意に変更することができる機能である．再生速度は，速くすることも遅くすることも可能である．
利用場面として，動作に不慣れな初心者が 0.5 倍速や 0.8倍速の手本動作を参考にするために利用することを想定している．
問題点として，動き方が速度に依存するような動作に対してこの機能を適用した場合，不適切な手本を提示することになるおそれがある．
2.2.3 体格一致機能
手本動作の体格が学習者の体格に合うように，自動一致

図 2
Figure 2

手本動作選択画面

Function to select a model motion.

処理を施す機能である．つまり，手本動作の各骨の長さを学習者の各骨の長さに応じて拡大または縮小し，両者の全身の体格が一致するように加工する仕組みである．
利用場面として，学習者が自身の動作と手本動作とを容2.2.5 サポート線表示機能
手本動作の各関節から線を伸ばし，次にとるべき動きの流れを視覚的に指示する機能である．

易に比較するために利用することを想定している．従来，利用場面として，動きの流れを十分に把握していない初学習者は手本動作として体格の異なる熟練者の動作を参考

心者が動作をスムーズに行うために利用することを想定しにすることがあったが，その場合，たとえ同じ姿勢をとっている．

たとしても，自分と手本とで各関節の位置や角度が異なっ© 2017 Information Processing Society of Japan

図 3 にサポート線表示機能の操作画面を示す．

266

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-403-42
2017/3/2

問題点として，各タイミングでの立ち位置や全身の移動が動作の中で重要な意味を持つ場合には適さない．
2.2.8 手本鏡転機能
手本動作を左右反転する機能である．
利用場面として，利き手や利き足によって動きや姿勢が反転するような場合，手本動作の利き側を自分の利き側に合せて学習することを想定している．

3. 機能実現のためのアルゴリズム
各機能を実現するためのアルゴリズムを示す．
3.1 スピード同期機能
DP マッチング(Dynamic Programming Matching)を利用して学習者動作の時系列と手本動作の時系列との対応関係を求図 3
Figure 3

サポート線表示機能

Function to show leading lines.

め，その都度学習者の姿勢に対応する手本動作の姿勢を提示する．ある学習者動作時刻における学習者動作の関節と，ある手本動作時刻における手本動作の関節との間の距離を求めるための式を立てる（式 1）．式 1 は式 2 の中で使用さ2.2.6 誤りマーク機能
手本動作との差異が大きい身体部分を色付けして示すれる．今回はリアルタイムで処理するため，時刻が 1 単位進むごとに式 2 を計算する（Kinect v2 の仕様が 30fps であ機能である．
利用場面として，学習者が自身の動作と手本動作との差るため，ここでの 1 単位とは 1/30 秒である）．式 2 におい

異を一目で把握するために利用することを想定している．て，D の値をもたらす式が 2.a である場合，手本動作を 1問題点として，部位によっては小さな差異が重大な意味時刻進めた後，再び式 2 を計算する．D の値をもたらす式を持つ場合や，たとえ差異が大きくても重大視する必要のが 2.b である場合，学習者動作を 1 時刻進めて，現時刻まない場合があるが，それらが色付けに考慮されないおそれでのマッチング結果とする．D の値をもたらす式が 2.c でがある．

ある場合，学習者動作および手本動作時間を 1 時刻進めて，図 4 に誤りマーク機能の操作画面を示す．

この関節における現時刻までのマッチング結果とする．Dの値をもたらす式が 2.d である場合，手本動作を 1 時刻戻した後，再び式 2 を計算する．以上の処理を全ての関節についてそれぞれ行ない，現在の学習者サンプリング時刻に対応する手本動作サンプリング時刻を算出する．
各関節について現在の学習者サンプリング時刻に対応する手本動作サンプリング時刻を求めた後，全身としての現在の学習者サンプリング時刻に対応する手本動作サンプリング時刻を求める．式 3 の T が求める値となる．

(1)
ただし，学習者動作のサンプリング時刻を s，手本動作のサンプリング時刻を S，サンプリング時刻 s
図 4Figure 4

誤りマーク機能
Function to mark errors.

における学習者動作の特徴関節の座標を(xs, ys, zs)，
サンプリング時刻 S における手本動作の特徴関節の座標を(XS, YS, ZS)とする．

2.2.7 位置一致機能式 1 を利用して，腰の座標を基準として，手本動作と学習者動作の全身としての位置を常に一致する機能である．
利用場面として，学習者が現在立っている位置に依存せ(2)ず，自身の動作と手本動作との差異を把握するために利用することを想定している．

© 2017 Information Processing Society of Japan267

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-403-42
2017/3/2

ただし，wa，wb，wc および wd は重み付け係数であ3.8 手本鏡転機能

る．

左手座標系において，x 座標の符号を反転する．
(3)

4. まとめ
手本動作の速さをリアルタイムで学習者に合わせるこ

ただし，𝑣𝑖は関節𝑖の角度変化の大きさ，𝑆𝑖は関節𝑖とが可能な動作学習支援システムを構築し，新たな学習アに注目したときの現在の学習者サンプリング時刻

プローチを提供した．また，その他さまざまな学習支援機に対応する手本動作サンプリング時刻，𝑛は全身の能を用意した．
本稿では，システムの概要と各機能の解説およびアルゴ骨の数である．

リズムなどを示した．
今後はシステムの機能やインタフェースを調整または3.2 スピード変更機能
再生速度の係数をインタフェースから調節可能にする．

改善する必要があるほか，ユーザビリティ評価を実施して有用性を確認する必要がある．

3.3 体格一致機能
熟練者の各骨の長さを学習者の各骨の長さに合わせて拡大または縮小する．なお，この処理によって，各関節位置も連動して変化することになるが，動作を表現するための各関節角度は加工されない．
3.4 手本動作選択機能
式 4 において，p が小さければ小さいほど，熟練者動作データの体格が学習者の体格に近いと判断する．

(4)
ただし，n は全身の骨数，li は学習者動作データの骨 i の長さ，Li は熟練者動作データの骨 i の長さである．
3.5 サポート線表示機能
直後の一定時間にわたって熟練者の各関節がとる座標の軌跡を調べ，空間内に線として表示する．
3.6 誤りマーク機能
式 5 のように，学習者動作データの骨と熟練者データの骨とのなす角の大きさに基づいて色の濃さを定義し，学習参考文献[1]佐藤優太，廣田一樹，曽我真人，瀧寛和:“全身動作と手指動作を統合表示可能なモーションナビゲータ II”，教育システム情報学会関西支部学生研究発表会，pp. 33-34 (2013)[2]西野友泰，曽我真人, 瀧寛和: “学習者が熟練者の視点で熟練者の動作を追従できる拡張現実感を用いたモーションナビゲータ”，教育システム情報学会第 36 回全国大会講演論文集，pp. 492-493 (2011)[3]岩峪和真，曽我真人，瀧寛和: “データグローブを使用した指文字動作スキル学習支援システムの構築”，信学技報，Vol. 114，
No. 305，pp. 13-18 (2014)[4]飯田大介，後藤淳，高田宗樹，平田隆幸: “Kinect を用いた剣道の基本技自動判別システムの構築 －非専門家にも優しい剣道指導支援システムへ－”，福井大学大学院工学研究科研究報，Vol. 63 (2014)[5]越智洋司: “Kinect を利用した縄跳び運動認識システムの開発”，
信学技報，Vol. 113，No. 67，pp. 51-54 (2013)[6]平野光正，越智洋司，井口信和: “ドラム練習者のための自主練習システムにおける判定結果の表示方法に関する検討と実装”，信学技報，Vol. 114，No. 305，pp. 19-24 (2014)[7]高良貴博，曽我真人，瀧寛和:“学習者の動作を鏡像の手本動作にリアルタイムに重ね表示可能な動作学習支援環境”，教育システム情報学会，pp. 127-128 (2015)[8]吉永稔弘，曽我真人:“複数の熟練者の動作データを目的に応じて参照できるインターフェースの提案と構築”，教育システム
情報学会，pp. 129-130 (2015)

者の骨を色付けする．なす角の大きさが大きければ大きいほど色の濃さは強くなり，なす角の大きさが 0 ならば色の濃さも 0 になる．

(5)→→

Aは学習者の骨の空間ベクトル，Bは手本動作の骨の空間ベクトル，𝑘 は係数である．
3.7 位置一致機能
手本動作の位置を学習者の位置に毎時刻置きなおす．

© 2017 Information Processing Society of Japan268