関西地区

教育システム情報学会 2020年度学生研究発表会

ニューラルネットを用いたバッティングフォームに対する学習支援システム
A Learning Support System for Batting Forms Using Neural Networks
高江 優輝, 西田 曉人，曽我 真人
Yuki Takae, Akito Nishida, Masato Soga
和歌山大学システム工学部 社会情報学メジャー
Social Informatics Major, Faculty of Systems Engineering, Wakayama University
Email: s236146@wakayama-u.ac.jp
あらまし：様々な動作やスポーツに関する初学者向けの学習支援システムが開発されてきている．そのようなシステムでは，システム設計者が，熟練者のフォームの特徴量を正解としてシステム上に記述し，学習者との特徴量との差分に応じて，最適なアドバイスを提示している．しかしながら，複数個所の特徴量の値の組み合わせでフォームの良し悪しが決まる場合は，その閾値を設定するのは容易ではない．本研究では，学習者が自習学習的にひとりでフォームの改善をする場合の支援システムを設計することを目標とし，その目標を達成するために，フォームの良し悪しを診断できるニューラルネットワークを，フォーム事例から学習させる手法を提案する．そのニューラルネットワークは，フォームの誤りを分類する機能をもつことになる．そして，バッティングフォームの診断助言を事例としてシステムの設計を行う．
キーワード：ニューラルネットワーク，学習支援，深度センサ，AzureKinect，誤り分類，アドバイス

1.

研究の背景

近年，様々な動作やスポーツに関する初学者向けの学習支援システムが開発されてきている．基本的にそれらは，指導者がいない状態，つまり，1 人で学習するように用意されており，あらかじめ熟練者のフォームを正解として与え，与えられた正解に対してどれだけフォームがずれているかなどを教えてくれる．これらのシステムによって，指導者がいない状態でも学ぶことができ，学ぶ機会を得る人が多い．現時点では，システム設計者が，熟練者のフォームの特徴量を正解としてシステム上に記述し，学習者との特徴量との差分に応じて，最適なアドバイスを提示している．その場合，身体の一箇所の特徴量だけで良し悪しが決まるフォームの場合は，その特徴量の閾値を設定するのはさほど難しくはないと考えられる．しかし，複数個所の特徴量の値の組み合わせでフォームの良し悪しが決まる場合は，その閾値を設定するのは容易ではない．
動作やスポーツの熟練者，たとえば，コーチが初心者を教えるとき，フォームの良し悪しを視覚的に判断しながら指導を行う．そのときは，複数の特徴量がフォームの良し悪しに関係している場合でも，視覚的にパターン認識で良し悪しを判断できるので，個々の特徴量の閾値を意識していない場合が多い．
したがって，たとえ動作やスポーツの熟練者の協力が得られたとしても，複数の特徴量の閾値をシステム設計者があらかじめシステム内に設定するのは，とても困難な課題となる．システム設計者が組み合わせを考える必要がある．例えば，頭部の位置と関節の位置がどのようにずれているかによって，答えをいちいち開発者が自分で考える必要がある．

2.

研究目的

147

そこで，本研究では，学習者が自習学習的にひとりでフォームの改善をする場合の支援システムを設計することを目標とし，その目標を達成するために，フォームの良し悪しを診断できるニューラルネットを，フォーム事例から学習させる手法を提案する．

３．関連研究関連研究(1)では，野球のスイングが行えているかという部分に注目し，あらかじめ特徴量を入力しておいて，学習者のフォームの良し悪しを Ture と Falseでしか表せず，具体的にアドバイスが出るものではなかった．また，関連研究(2)では，体幹に注目して，動作を四つに分けアドバイスを表示した．Kinect forwindows を用いて，各関節の三次元位置を取得し，そこから姿勢を診断している．診断のための特徴量の閾値は，あらかじめシステム設計時に記述しているものを考えられる．さらに，関連研究(3)では，方向センサ（ジャイロセンサ）18 個を身体各部に装着するモーションキャプチャシステム IGS-190 を用いて身体動作時の姿勢の時系列データを取得し，バスケットボールのシュート時のフォームを診断し助言するシステムである．このシステムも，システム設計者が熟練者のシュートフォームの特徴量をあらかじめ分析し，閾値をシステム内に記述して，学習者のフォームの特徴量を閾値によって分類し，最適なアドバイスを提示するシステムである．
以上の先行研究は，いずれも特徴量の閾値をシステム内に記述して，それをもとに学習者のフォームの診断を行っていた．それに対して，本研究では，ニューラルネットワークを用いてフォームを分類し，分類後のフォームのカテゴリに最適なアドバイスを提示するところが異なる．

関西地区

3.

教育システム情報学会 2020年度学生研究発表会

ワークを学習させる．

研究の方法

本研究では，ニューラルネットを用いて学習者のフォームの誤りを分類し，分類後の各誤りフォームに最適なアドバイスを対応させるという方法を提案する．

3.3 学習者の利用時のアドバイス
機械学習を終えたニューラルネットワークを組み込んだ学習支援システムを学習者が利用する場合を考える．学習者がバッティングの動作を AzureKinectの前で行うと，そのフォームデータがニューラルネットワークに入力され，ニューラルネットワークがフォームの誤り分類を行い，出力層の中の一つのノード値を高く出力する．そのノードが学習者のフォームのカテゴリを表しており，換言すれば，誤りを表している．そして，そのノードに紐づけされたアドバイスが学習者に提示される．
表 1 に実装するバッティングフォームに関するアドバイスの一覧を示す．

3.1 システム構成
具体的には，図１のように学習者のフォームを深度センサ AzureKinect を用いて取得し，そのデータをニューラルネットワークの入力層に入力する．入力層の各ノードには，各関節の位置座標を割り当てる．出力層の各ノードにはフォームのカテゴリを割り当てる．具体的には，同一のアドバイスになるフォームは同一のノードに割り当てる．これは，言い換えると，出力層の各ノードにはフォームの誤りを割り当てているともいえる．各誤りには，その誤りを修正するための最適なアドバイスが紐づけされているからである．したがって，出力層に誤りが割り当てられているということは，このニューラルネッ
トはフォームの誤りを分類する機能をもつという言い方もできる．

表 1 バッティングフォームに関するアドバイス
フォーム誤り番号
アドバイス文
（出力ノード番号）１
ひじの位置を下げよう
２
足を狭めよう３
手首を寝かせよう
４
肩を開こう
５
姿勢を起こそう６
お尻の位置を上げよう
７
軸足の向きを垂直にしよう

3.2 ニューラルネットワークの学習法
ニューラルネットワークを機械学習させるときには，学習者が深度センサの前で様々なフォームを演じ，そのときのフォームを熟練者が診断し，最適なアドバイスが割り当てられている出力層のノードの値が高くなるように教師付き学習を行う．前述した
ように，ノードにフォームの誤りが割り当てられているという解釈の場合は，学習者のフォームを熟練者が診断して，その誤りに適合する出力層のノードの値が高くなるように教師付き学習を行う．
実際には，学習者と熟練者が同時にニューラルネ
ットワークの機械学習に参加するのが日程や費用の関係で難しい場合は，学習者が様々なフォームを演じるところを深度センサでモーションキャプチャすると同時に，ビデオ録画しておく．そして，熟練者の都合の良い時に，そのビデオを再生し，フォームを診断すると同時に，そのフォームに対応する姿勢データをニューラルネットワークの入力層に入力する．そして，熟練者の診断結果に基づいて，出力層の中のもっとも適合する誤りを表すノードを選択し，そのノードの値が高くなるようにニューラルネット

図１

4.

おわりに

本稿では，ニューラルネットワークをフォームの誤りの分類に用い，誤りに応じたアドバイスを提示する手法を提案した．
参考文献(1) 後藤洋，田村仁，キネクトによるバッティングフォー
ム矯正支援システムの研究 (2016)(2) 篠原寛幸， 体幹に着目した野球のバッティングフォームの改善を支援するシステムの構築， 平成 24 年
度 プロジェクト研究報告書，高知工科大学（2012）(3) 安松谷亮宏，曽我真人，瀧寛和，バスケットボールのシュート時の熟練者と初心者の全身フォーム比較分
析と学習支援環境の設計，人工知能学会全国大会論文集 25, 1-4, （2011）

システム構成図148