関西地区

教育システム情報学会 2015年度学生研究発表会

Kinect を用いたギター演奏認識システムの開発
Development of Guitar Performance Recognition System Using Kinect
柏木 喜貴, 越智 洋司
Yoshitaka KASHIWAGI, Youji OCHI
近畿大学理工学部電気電子工学科
Faculty of Science and Engineering, Kindai University
Email: yoshiyoshitaka1026@gmail.com
あらまし：教育システムの研究では，モーションセンサを使用した身体スキル学習支援システムの研究が活発に行われている．我々はギター演奏を支援対象とし，Microsoft 社の Kinect for Windows v2 と Roland
社の GK-3 を組み合わせて使用することで，撥弦時の演奏者の動作を認識する．そして，ギター初心者によるオルタネイト・ピッキングの演奏の上達を最終目標とし，本稿では演奏者の右手のストロークの動き検出について報告する．
キーワード：ギター学習支援，Kinect，GK-3

1.

はじめに

3.1 右手のストローク検出

我々は，ギター演奏を対象とした学習支援システ
ムの研究を行っている[1]．ギター演奏における演奏
技術には左手の運指ならびに右手のピッキングがある．左手の運指では，最小限の動きと使用する指ならびに弦の押さえ方が重要となる．右手のピッキン
グでは，ストロークの大きさ，弦を弾くタイミング，そしてピッキング方向が重要となる．ピッキング方
向には弦を上から下に弾くダウンピッキングと下から上に弾くアップピッキングがある．これらを交互に繰り返すオルタネイト・ピッキングはギター演奏では重要となる．しかしながら，三連譜のオルタネイト・ピッキングは初心者には難しいとされている．
本稿では，右手の動きを検出し，演奏認識を行うシステムについて述べる．

2.

Kinect から取得した情報から，以下の方法により右手のストロークの検出を行う．
(1) 演奏者の右肩の Z 座標(深度情報)を閾値とし，デプスフィルターを使用して背景マスクを実装する．
(2) 肌色のカラーフィルターを使用し，肌色領域のみを検出する．
(3) 演奏者の右肩の下方領域にある肌色領域に対してラベリング処理を行い，右手領域を検出す
る．
(4) ラベリング処理を行った右手領域のモーメン
ト情報から角度を計算し，その角度の変化から右手のストロークを検出する．
3.2 撥弦タイミングによるピッキング方向の検出

先行研究

糸原[2]らは，Microsoft Kinect Sensor を用いたビートトラッキングを行う研究を行っている．これは，複数の弦を弾くピッキングを対象としたものであり，テンポの把握を目的にギター領域のマスキングによる右手領域ならびに動きを検出している．また，細井[3]らは，ウェアラブルコンピュータを用いたギター演奏の研究を行っている．これは演奏者の右腕に小型センサを搭載したウェアラブルコンピュータを装着し、そのセンサの値からストロークの検出を行い，習熟度の推定を行っている．

3.

システム概要本研究では，Microsoft 社の Kinect v2(以下，Kinect)を使用し，演奏者の右手のストロークの検出を行う．
モーションカメラである Kinect を使用する理由としては，装着型モーションセンサに対して身体に特別なデバイスを装着する必要がないのでギター演奏の妨げにならないからである．

69

ディバイデット・ピックアップである Roland 社のGK-3 を使用し，ギターの撥弦時刻を取得する．その際の，右手の角度の値が 1 フレーム前の値より大きければアップピッキングと断定し，グラフ上に青いマーカーを表示する．反対に 1 フレーム前の値より小さければダウンピッキングと断定し，赤いマーカーを表示する．これらをリアルタイムで検出した結果を図 1 に示す．図 1 において縦軸が角度[°]，横軸が時間[s]を表す．
3.3 ピッキング情報の可視化
学習支援を行う上で，図 1 の多すぎる情報では学習者の負担となるので，ピッキング情報の簡略化表示を行う(図 2)．
下方向への突出したグラフはダウンピッキング，上方向への突出したグラフはアップピッキングを示し，グラフの振幅はストロークの大きさを表す．また，グラフの横軸の値は撥弦の時間となる．

関西地区

教育システム情報学会 2015年度学生研究発表会

ると考えられる．図 3 は学習者と教師データを同グラフ上に表示させた結果となる．両者の可視化により，図 3 上の黒丸で示した様な学習者の無駄な右手の動きや，ピッキングタイミングのずれなどの差異を確認することで，学習支援に利用できる．

図1

ピッキング動作の検出結果

図36.
図24.

評価実験

演奏者のピッキング方向をシステムが正しく認識できているかを検証するために，演奏者によるピッキングをシステムによって判定し，その精度を記録した．測定は計五人に各五回ずつ演奏を行ってもらい，その平均精度を小数第 4 位まで求め四捨五入し，パーセント表示したものを表 1 に示す．

参考文献

表 1 ピッキングの精度評価の測定結果

アップ(％)

A95.098.3

B

90.9

96.5

C81.2

88.1

D

91.7

95.6

E

96.3

98.5

平均91.0

95.4

5.

おわりに

本稿では，Kinect を使用した右手に関するギター演奏認識システムの開発を行った．認識対象としては，ストロークの大きさ，ピッキングタイミング，そしてピッキング方向の以上 3 つとなる．
今後の課題としては，学習支援システムへの応用として，学習者データと教師データの差異をシステ
ムが自動に判定し，学習者に対してフィードバックを行う機能の実装する．また，ギター演奏では両手の動きの同期が重要となることから，左手の動作検出へも研究対象を広げていく．

ピッキング状態の簡略化表示

ダウン(％)

教師データの表示結果(1) Y.Kashiwagi,Y.Ochi et al., A Study of Performance
Detection Method for a Guitar Skill Learning Using Kinect
Sensor, Proc. of GCCE 2015,pp.343-345(2015)(2) 糸原 達彦,他:「Kinect による楽器マスキン グを用いた視聴覚統合ビートトラッキング」, 情報処理学会第74 回全国大会,pp.4-355-4-356,(2012)(3) 細井 祐太郎，松下 宗一郎: “ウェアラブルコンピュータによるギター演奏習熟度の推定”, 第 11 回情報科学技術フォーラム,p493-493(2012)(4) 青木 直史,棚橋 真,岸本 英一,安田 星季,岩越 睦郎，
画像処理によるギター運指動作のキャプチャリング，電子情報通信学会総合大会講演論文, p110(2005)(5) Wimmer, R. and Baudisch, P.: Modular and De-formable
Touch-Sensitive Surfaces Based on Time Domain
Reflectometry, in Proc. of ACM Sympo-sium on User
Interface Software and Technology (UIST 2011), 2011, pp.
517–526(6) Howard, B. and Howard, S.: Lightglove: Wrist-WornVirtual Typing and Pointing, in Proc. of the 5th IEEE
International Symposium on Wearable Computers(ISWC2001), 2001, pp. 172–173.

本システムの学習支援への有用性の考察

評価実験の結果より，平均 90％を超える結果が得られたので，本手法を用いてピッキング方向の判定を行うことは有効である．
また，本システムの学習支援への有用性として同じ楽譜を演奏した学習者と教師データを比較することにより，ピッキングタイミングのずれ，無駄な右手の動き，そしてピッキング方向の正誤判定を行え

70