B1-3

Kinect を用いたギター演奏検出手法に関する検討
Method of Guitar Performance Detection Using Kinect
*1

*1

*2

*2

*2

越智 洋司 , 柏木 喜貴 , 三好 康夫 , 森 雄一郎 , 岡本 竜
*1
*1
*2
*2
*2
Youji Ochi , Yoshitaka Kashiwagi Yasuo Miyoshi Yuichiro Mori Ryo Okamoto*1
近畿大学理工学部*1
Faculty of Science and Engineering, Kindai University*2
高知大学理学部*2
Kochi University
Email: ochi@ele.kindai.ac.jp
あらまし：近年，学習者の身体スキルの獲得を支援するアプローチとして，モーションセンサー活用した教育支援システムの研究が注目を浴びている。我々はギター演奏を支援対象とし，Microsoft KinectSensor(以下，Kinect)を利用して，演奏者の動きを認識し，上達を支援することを最終目標とする。本稿では，ギター領域ならびに演奏者の動き検出について報告する。
キーワード：ギター学習，スキル学習，演奏検出

1.

はじめに

2.2 検出アプローチ

我々は、ギター演奏を支援対象とした学習支援システムの研究をおこなっている（1）。ギター演奏における演奏技術には左手の運指ならびに右手のピッキングがある。左手の運指は、ムダな動きのない運指と、利用する指ならびにフレットの選択が重要である。ピッキングは、リフ演奏時のように複数の弦を対象とする場合（以下、ピッキング（複））と、ソロ演奏時のように 1 つの弦を対象とする場合（以下、ピッキング（単））がある。また弦を上から下に弾くダウンピッキングと下から上に弾くアップピッキン
グの上下の動きがあり、特にピッキング（単）の場合にはオルタネイト・ピッキング（ダウンピッキングとアップピッキングを繰り返す）が重要となる。
このように正しいギター演奏には、左手並びに右手に異なるスキルが要求され、しかも左手の運指と右手の動き（ピッキング）が適切に同期することで正しい演奏をすることができる。我々は、ギター学習
支援においては、どう弾いているのかを把握することが重要であると考える。

2.

ギター奏法の検出

2.1 先行研究糸原(2)らは，Kinect を用いたビートトラッキングを行う研究を行っている。これは、ピッキング（複）を対象としたものであり、テンポの把握を目的にギター領域のマスキングによる右手領域ならびに動き検出を行っている。左手の運指を計測する方法として,Light-glove(3)などのデータグローブの利用もある。
また、運指を検出するためのキャプチャギター (4)やTDR (Time Domain Reflectometry) を用いた触弦位置の認識(5)のように、ギター本体にセンシングのための加工やカスタマイズをするアプローチがある。また、ステレオカメラを利用して AR タグとマーカ取り付けによるコード検出の研究がある(6)。

検出をする際、特別な機器を必要としたり、指を覆うセンサや手首に固定する回路などは演奏の妨げになるため適切ではない。そこで本研究では、カメラ画像を利用した非装着型のギター演奏の検出アプローチに着目する。本研究では，Microsoft Kinect v2（以下、Kinect）を利用する。Kinect は、人体領域ならびに関節位置の検出を行う機能をもつが、ギターのような道具を持つと、それを人体領域と認識してしまい、関節座標を正しく検出できない問題がある。そこで、本研究ではデプスカメラを利用し、画像認識技術を組み合わせて演奏状態を把握する。こ
こでいう演奏状態とは、プレイヤーの左手，右腕を検出し，ギターとの位置関係や動きである。そのために本稿では下記の検出を対象とした。
(1) ネック領域の認識
演奏時に左手で押さえるフレットのある領域であり、本研究ではヘッドを除外する。
(2) 左手領域の位置検出
左手領域を検出するだけでなく、（1）の結果を利用して、ネックに対する相対位置を検出する。
(3) ピッキングの検出
ピッキング（単）（複）だけでなく、弦との位置関係を検出する。

3.

検出方法

RGB カメラと深度カメラで得た情報から，以下の方法によりネック領域と手領域（右腕，左手）を認識する。
3.1 ネック領域の検出（1）デプスフィルターの処理を行い、右肩より前方にあるものを対象とする。
（2）（1）の結果から左端領域をヘッドと仮定し、色情報を抽出して色フィルターによりヘッド領域を特定する。

― 57 ―

教育システム情報学会 JSiSE2015
第 40 回全国大会 2015/9/1～9/3（3）ヘッド領域の最右端をネック領域の境界とし、そこから腰方向に向けて走査し、ネック候補とする。
3.2 左手領域と位置の検出（1）ネック領域において肌色領域を抽出し、それを左手領域とする。
（2）検出された左手領域の最左端の座標を利用する。
3.3 右手領域の検出
ネック領域より右側にある肌色領域を候補とする。
図 3 右手領域の検出

4.

位置検出結果と考察

4.1 ネックならびに左手領域の検出
図 1 に示す通り、ネックの１フレット目から最下部までのみを検出できている。また、ネック領域中に存在する肌色領域を抽出し、その左端点を左手の位置として特定している。図 2 の左手グラフは、ネック領域の幅を 0-100 に正規化（上端を 0）した場合の左手領域の位置を示している。
4.2 右手領域とピッキング検出
図 3 に右手領域の検出結果をしめす。図 2 の右手グラフは、図 1 の右手位置をネックの幅を 0-100 に正規化（6 弦を 0）した値を示している。図 4 はオルタネイトピッキング（単）の検出であり 4 連、8 連、16 連のオルタネイトピッキング（単）を行い、右手領域のモーメント角からその動きを抽出した。その結果に示されるように、4 連のゆっくりとしたピッキング（単）から 16 連の早いピッキングまでの違いを検出することができた。

図 4 ピッキング(単)の動き検出

5.

おわりに今後の課題として、左手の動きについては現在の手法では大まなか位置になっているので、フレットに対する位置や個々の指についての検出の実現手法について検討する。右手については、ピッキングの細かな動きの違いについての検出方法を検討する。
参考文献

図1

各領域の検出結果(1) 藤川 亮, 越智 洋司, 三好 康夫, 森 雄一郎, 岡本竜：Kinect を用いたギター演奏姿勢の検出，第 65 回
電気・情報関連学会中国支部連合大会.p181（2014）(2) 糸原 達彦，他：「Kinect による楽器マスキングを用いた視聴覚統合ビートトラッキング」，情報処理学会第74 回全国大会,pp.4-355-4-356,(2012)(3) Howard, B. and Howard, S.: Lightglove: Wrist-WornVirtual Typing and Pointing, in Proc. of the 5th IEEE
International Symposium on Wearable Computers(ISWC2001), pp. 172–173.(2001)(4) Wimmer, R. and Baudisch, P.: Modular and De-formable
Touch-Sensitive Surfaces Based on Time
DomainReflectometry, in Proc. of ACM Sympo-sium on User
Interface Software and Technology (UIST 2011), pp.
517–526(2011)(5) 青木 直史,棚橋 真,岸本 英一,安田 星季,岩越 睦郎、
画像処理によるギター運指動作のキャプチャリング、
電子情報通信学会総合大会講演論文, p110(2005)(6) Kerdvibulvech, C. and Saito, H.: Real-Time Guitar Chord
Recognition System Using Stereo
Cameras for
Supporting Guitarists, in Proc. of ECTI Transactions on
Electrical Eng, Electronics, and Communications(ECTI-EEC 2007), Vol. 5, No. 2, pp. 147–157(2007)-

図 2 右手・左手の位置検出― 58 ―