中国地区

教育システム情報学会 2016年度学生研究発表会

モーションコントローラーによる指揮に関するスキル学習支援システム
Learning Support System for Conducting Skill using Motion Controller
*1

*2

*2

*2

平本 果歩 , 松原 行宏 , 岡本 勝 , 岩根 典之*2*2*2
Kaho HIRAMOTO , Yukihiro MATSUBARA , Masaru OKAMOTO and Noriyuki IWANE*1
広島市立大学情報科学部*1
Faculty of Information Sciences, Hiroshima City University*2
広島市立大学大学院情報科学研究科*2
Graduate School of Information Sciences, Hiroshima City University
Email: lhiramoto@lake.info.hiroshima-cu.ac.jp*1

あらまし：本研究では，モーションコントローラーの 1 つである Leap Motion を用いた指揮に関するスキル学習支援システムを提案する．システムでは Leap Motion により取得した学習者の指揮動作の軌道と,指揮熟達者の動作タイミングを基にした拍判定を学習者にフィードバックする．システムを使用することで，学習者は自身の指揮動作を客観的に確認し，拍タイミングを修正できる．検証では，指揮動作における拍タイミングの正確性からシステムの学習効果を評価した．
キーワード：指揮，Leap Motion，学習支援

1.

はじめに

中学校音楽の学習指導要領には，表現に関する能力を育成するための指導に当たっては，指揮などの身体的表現活動を取り上げるようにすることとある（ 1）．授業の中で指導者が指揮を教える際には，指導者の指揮経験に差があるため，生徒によって指揮熟達度にばらつきがでると考えられる．また，生徒が一人で指揮を学ぶ場合には，自身の指揮動作を客観的に評価することができないため，正しい指揮動作を行えているか確認することができない．
そこで本研究では，モーションコントローラーの1 つである Leap Motion を用いた指揮に関するスキル学習支援システムを提案する．提案システムでは，Leap Motion により取得した指揮棒の先端の位置座標や速度情報をもとに推定した指揮の拍タイミングからフィードバック情報を生成し，学習者に提示する．フィードバック情報は，提案システム内のメトロノームが提示する拍と学習者の指揮動作が示す拍とのずれの情報や，学習者が行った指揮動作の軌道の情報である．これにより，学習者は自身の指揮を客観的に見ることができ，より正確な指揮動作を練習しようと意識すると考えられる．本研究では指揮を行う際のテンポの正確性の向上に着目し，フィードバック情報を用いることで学習支援を行えるか検証し，実際の学習への利用可能性を確認する．

2.

提案システム図 1 にシステムの外観を示す．提案システムはキーボード，Leap Motion，ディスプレイ，スピーカーから構成される．システムで Leap Motion を使用した理由は，非接触のモーションコントローラーを用いることで腕にセンサをつける必要がなく，指揮作を妨げる心配がないからである．また，Leap Motion
は棒状の物体を認識できるため，学習者は指揮棒をキーボード

指揮棒

ディスプレイスピーカー

Leap Motion

図 1 システムの外観
入出力インターフェース部

スピーカー

Leap Motion

ディスプレイキーボード

フィードバック情報

テンポ，拍子情報

メトロノームの拍情報モーション情報

フィードバック情報生成部

指揮動作測定部

指揮動作判定部PC

図 2 システム構成図

191

中国地区

教育システム情報学会 2016年度学生研究発表会

用いた指揮の練習を行うことが可能である．これにより，学習者は実際に指揮を行うときと同じ状態で練習を行うことができる．
図 2 にシステム構成図を示す．提案システムでは，Leap Motion により取得した指揮棒の位置座標や速度情報をもとに指揮動作の拍情報を推定し，フィードバック情報を生成する．フィードバック情報はシステムに示されたメトロノームの拍と学習者が提示した指揮の拍を比較し，「遅い」「OK」「速い」の 3段階の拍判定によって分類した評価情報である．拍判定の基準は，指揮熟達者が行う指揮の動作タイミング（2）をもとに設定した．

評価実験

3.

提案システム内で推定している指揮動作の判定が正しく行われているか検証するために機能評価実験を行った．あらかじめ中学校の教科書を使用して指揮法を学習した被験者 2 名に，提案システムを用いてテンポ 80 と 100 のそれぞれの場合について 2 拍子，3 拍子，4 拍子の指揮動作を 8 セット，32 拍分を実験として行った．このとき，実際の指揮動作が示した拍タイミングとシステムが推定した拍タイミングのずれを確認し，拍判定が「OK」となる時間範囲に占める平均誤差の割合を算出した．なお，拍判定が「OK」となる時間範囲は 0.193 秒間である．表 1 に実験の結果を示す．表 1 より，拍判定が「OK」となる時間範囲に対して誤差の割合が 10％を切っていたため，システムの判定誤差が拍判定に大きな影響を与えないと考えられる．

また，提案システムのフィードバック情報を用いて指揮動作の学習が行えることを確認するために評価実験を行った．あらかじめ中学校の教科書を使用して指揮法を学習した被験者 6 名に，テンポ 92 の 4拍子の指揮動作を 8 セット，32 拍分を事前テストとして行った．その際，学習者が示す指揮の拍タイミングと，システムに表示されたメトロノームの拍タイミングのずれをシステム上に記録した．提案シス
テムを用いる被験者 3 名をⅠグループ，アナログ式メトロノームを用いる被験者 3 名をⅡグループとし，指揮動作の練習を一定時間行ってもらった後，事前テストと同様の条件で事後テストを行った．図 3, 図
4 にテストで行った指揮動作の拍判定が「OK」であった回数を点数としたときのⅠグループ，Ⅱグループのスコアを示す．なお，テストのスコアは 32 点満点である．図 3 より，Ⅰグループの被験者のうち，被験者 C のみ事後テストでスコアを落とす結果となった．被験者 C は提案システムを用いた練習でテンポを極端に速い，もしくは遅いものに変更したときに事前テストよりもスコアを落としていた．このことから，提案システムを用いてテンポを極端に速い，または遅い状態で練習を行うことで学習効果が得られない可能性があると考えられる．また被験者 A, Bに関しては練習中に極端なテンポの変更を行っておらず，事後テストでスコアを伸ばしていることから，提案システムを使用する際に極端なテンポの変更を行わず練習をすることで指揮動作における正確なテンポをより身に付けられる可能性が確認できた．

4.

テンポ

80

テストの正解数[点]

100

3530
25
20
151050

事前
事後AB
C
被験者
図 3 Ⅰグループのスコア

テストの正解数[点]表 1 機能評価実験の結果
拍判定が「OK」となる時間範囲（0.193s）に占める拍平均誤差の割合[%]
1 人目
2 人目
20.539
0.003
3
1.087
1.442
4
1.063
0.548
21.131
8.056
3
2.035
8.560
40.783
7.504
3530
25
20151050

まとめと今後の課題

本研究では，モーションコントローラーの１つである Leap Motion を用いた指揮に関するスキル学習支援システムを提案し，実際の学習への利用可能性を検証により確認した．また，評価実験の結果から，提案システムを用いて練習を行うことで，指揮動作における正確なテンポをより身に付けられる可能性が確認できた．ただし，テンポが極端に速い，または遅い状態で練習を行った場合は学習効果が得られない可能性がある．今後の課題として，提案システ
ムを用いた練習で極端なテンポの変更を行った後スコアが悪化した際に，設定したテンポが適切でなかったと学習者に提示する機能の追加が挙げられる．
また，指揮を行う際の振り方に関するフィードバッ
ク情報の追加が考えられる．例えば，指揮によるテンポとリズムの提示を明確に行う際に必要な，腕の振り上げの速さが適切か，腕の位置が高くなりすぎてないかなどが挙げられる．

事前
事後

参考文献
(1) 中学校学習指導要領解説-音楽編-, pp. 78 （2008）(2) 新山王政和：“指揮基本動作における初心者と熟達者の動作タイミングの違いに関する分析的研究 ―拍点と打点の関係，及び速度変化に基づく指揮基本原則の再考察―”, 音楽教育学, Vol. 34, No. 2, pp. 1-12 （2004）

DE
F
被験者
図 4 Ⅱグループのスコア192