関西地区

教育システム情報学会

2017年度学生研究発表会

Kinect を用いたドラム学習支援のための叩打腕識別手法の検討
Study of Beating-Arm Detection Method
for Drums Learning Using Kinect
今田 泰広，越智 洋司，井口 信和
Yasuhiro IMADA, Youji OCHI, Nobukazu IGUCHI近畿大学理工学部
Faculty of Science and Engineering, Kindai University
Email: ochi@ele.kindai.ac.jp
あらまし：打楽器の演奏動作の習得のために，熟練者の指導を受けられる機会は限られている．そのため，客観的に学習を支援するものが必要となる．そこで本研究では，叩打動作を認識し学習者にアドバイスを与えるシステムを開発するために，叩打した腕の左右を識別する手法を提案し，その妥当性を検証する．
本手法は MIDI により叩打の時間を取得し，Kinect を用いてドラムスティック頭部の位置を予測することで，叩打した腕をリアルタイムに識別する．
キーワード：ドラム学習支援，Kinect，電子ドラム1.

し固定する．下半身はドラムの陰になるため，上半身の演奏動作を対象とする．打面領域は腕で叩打する 7 種類の打面を種類ごとに分類する．
叩打腕識別までの流れについて説明する．演奏者がドラムを叩打した場合，MIDI メッセージを通して叩打した打面の種類，タイミングが取得できる．
Kinect からそのタイミングの前後フレームを抽出し，抽出画像の情報を解析して叩打腕を識別する．

はじめにドラムなど，打楽器の練習方法として，自主的な練習と指導を受ける練習がある．しかし，指導を受ける機会は限られているため，自主練習が練習時間の中心となる．ただし，自主練習においては客観的に演奏動作を判断するために工夫が必要となる．
我々は Kinect でドラム演奏姿勢を検出し，熟達者との姿勢を比較することで学習者にアドバイスを与えるシステム開発を行ってきた(1)．しかし，叩打のタイミングを取得していないので，個々の音符に対して演奏動作を解析できなかった．Kinect で個々の音符に対して動作解析を行うためには，叩打した瞬間前後のフレームを抽出し，左右の腕どちらで叩打されたかを認識する必要がある．本研究では電子ドラムと Kinect を用いてドラムを叩打した腕の左右を識別する手法を提案し，その妥当性を検証することを目的とする．

2.

3.1 打面領域の抽出
ドラムスティックの動作認識のために，手動により打面領域を設定する．領域の分類は，Kinect により取得できる 3 次元デプス座標内の空間を指定することで抽出する．抽出した領域画素の値を 255，他の画素を 0 として 2 値化し画像として保存する．
3.2 Kinect の画像と MIDI メッセージの時間的同期叩打した瞬間近傍のフレーム群を抽出する．そのフレーム群中から叩打した瞬間のフレームを目視で選択し，Kinect の時間と MIDI データの時間の差を検出することで同期を行う．

関連研究

菅家ら(2)は，加速度・角速度センサをドラムスティックに装着することで叩打動作を識別している．
しかし，その場合通常のスティックとの重量形状の変化などから演奏の妨げになる可能性がある．そのため，本研究では身体に特別なデバイスを装着する必要がない Kinect を用いて叩打動作を識別する．松村ら(3)は，音響情報とドラム音の発音ピーク時の画像からスティック頭部の位置を検出することで自動採譜を行っているが，腕など身体の演奏動作を解析していない．本研究では，リアルタイムに人体の骨格情報が得られ，学習者にアドバイスできるようにKinect を利用して動作解析を行う．

3.

3.3 ドラムスティック頭部領域の抽出
左右のスティック頭部にそれぞれ緑と赤のマーカーをつける．電子ドラムの MIDI 出力により叩打を検知した場合，その瞬間の前後 1 フレームの Kinectのカラー画像を抽出する．MIDI 出力により叩打した打面の種類を特定し，保存した打面領域画像を用いてカラー画像中の叩打した打面領域を抽出する．
3.4 ドラムスティックの左右判定
以下の 4 つの条件の判定を順番に行っていき識別する．いずれかの条件に当てはまった場合はその条件に対応する識別方法を行い，それ以外は行わない．
(条件 1) 打面領域内で赤と緑どちらも検出

叩打腕識別方法

Kinect で取得できる 3 次元座標の Y の値を比較し，小さいほうの色と対応した腕を叩打した腕とする．

本研究では，Kinect の仕様と打面領域の検出を考え，図 1 のように演奏者の前方上部に Kinect を設置

101

関西地区

教育システム情報学会

2017年度学生研究発表会(条件 2) 打面領域内で赤か緑の片方検出検出できた色と対応した腕を叩打した腕とする．
(条件 3) 打面領域外で赤と緑どちらも検出
赤と緑領域の位置を，Kinect で取得できる 3 次元座標に変換し，叩打した打面の重心との距離がより近い色と対応する腕を叩打した腕とする．
(条件 4) 打面領域外で赤と緑どちらも検出
赤と緑領域の位置を，Kinect で取得できる 3 次元座標に変換し，叩打した打面の重心との距離が 30cm以内なら検出色と対応する腕を叩打した腕とする．

図 3 ドラム構成

正解率 [％]

被験者A
被験者C

被験者B被験者D

100908070605040302010012345678910

叩打パターン番号
図 1 想定環境

4.

図 4 叩打腕識別の正解率

評価実験

提案手法による識別の妥当性を評価するため，図2 のようにリアルタイムにユーザーによる叩打の左右(LR)を識別し，識別の正解率を記録した．計 4 人に，左右交互に叩く動作で打面の種類と速度を変えた 10 パターン，各パターン 20 打ずつ演奏させた．
各叩打パターンについて説明する．図 3 は本研究で使用したドラムの構成を示す．パターン番号 1～7は左右の腕で同じ打面を連続で叩打する．叩打速度
は 1 秒に 4 回である．各パターンでは図 3 中の数字と対応する打面を叩打する．パターン番号 8～10 は左右の腕で異なる打面を叩打する．図 3 中の 1 の打面を左腕，2 の打面を右腕で叩打する．叩打速度は 8，9，10 の順に，1 秒に 1 回，2 回，4 回である．パターン 1~10 すべてで「右左右左」の順番で叩打した．
パターン番号の順に実験を進めた．正解率の結果をグラフにして図 4 に示す．

5.

考察

評価実験によって得られた結果を考察する．パターン 1~7 のような動作についてはばらつきがみられるため，演奏動作の解析への応用は不適切だと考える．パターン 8，9，10 のような動作については被験者 A，B，C については正解率がすべて 9 割以上である．被験者 D で正解率が悪い原因が解明できれば演奏動作の解析への応用は適切だと考える．

6.

おわりに

本研究では，叩打腕をリアルタイムに識別することができた．しかし，叩打パターンや被験者によっては識別精度が悪くなってしまったため，精度向上が可能な方法を考える必要がある．これはスティッ
クの移動ベクトルも解析することで改善可能である．
打面領域の抽出や，MIDI メッセージと Kinect のフ
レームの時間的同期などに関しては，手動で行った．
そのため自動化による利便性の向上も課題となる．
参考文献(1) 越智洋司，平野光正，井口信和，“Kinect を利用した演奏動作検出によるドラム練習支援システムの提案”，
教育システム情報学会誌，34(1)，32-43，（2017）(2) 菅家浩之，竹川佳成，寺田努，塚本昌彦，“実ドラムと仮想ドラムを統合するためのドラムスティックの構築”，情報処理学会論文誌，54(4)，1393-1401，（2013）(3) 村松慧一，野口将人，坪井邦明，松島俊明，“音響情報と動画像情報を用いたドラムソロ演奏の採譜法の改良”， 第 78 回全国大会講演論文集，2016(1)，465 –466，(2016)

図 2 識別履歴表示グラフ

102