WISS 2016

STICK TRACK:
運手情報を付加したドラム譜面作成システム
菅家浩之 ∗

寺田 努 ∗ †塚本昌彦 ∗

概要. ドラム演奏では，演奏技術を向上させるために正しい叩打順序を習得する必要がある．ドラム習熟者はアクセントの位置や演奏動作の負担を考慮して，それぞれの打楽器を左右どちらの手で叩打するのか意識しながら演奏を行う．しかし，一般的なドラム譜面では，拍ごとに左右どちらの手で叩打するかという情報は付加されていない．ドラム指導者はドラム譜面にこれらの情報を手書きで書き足す場合や譜面作成ソフトを用いて採譜する場合がある．また，リアルタイムで演奏した情報から左右の叩打情報をデータとして残し，それらの情報を付加した譜面を自動的に採譜するシステムはない．したがって，本研究では叩打における運手情報を付加した譜面を採譜するシステム STICK TRACK を提案する．STICK TRACK はドラムスティックに搭載した角速度センサのデータおよび電子ドラムによる MIDI 情報を用いて演奏情報を採譜する．また，プロトタイプを開発し，ドラム習熟者によるシステムの有用性を検証した．

1

はじめにドラム演奏では，演奏技術の向上のために正しい叩打順序を習得することが求められる．例えば，図1 に示すように，ドラム演奏者が図 1 の赤枠のようなフレーズを演奏するとき，左右の手が交差しないように右手で連続してスネアドラムとフロアタムを叩打する場合がある．このように，ドラム演奏者はさまざまなフレーズにおいて効率的な演奏を行うた
めに，それぞれの打楽器を左右どちらの手で叩打するか (以降，運手と呼ぶ) という情報を学ぶ必要がある．
運手情報を学ぶための一般的な学習方法としては，ドラム習熟者の演奏映像を繰り返し見て学習する方法があるが，高速に叩打動作を行うドラム演奏においては，両手それぞれの動きを理解することは難し
く，正しく演奏できるまでに時間を要する．また，ドラム指導者などによって運手情報が書き足された譜面を用いて，学習する場合がある．これらの譜面作成では，ドラム指導者が運手情報を手書きで書き足す場合や譜面作成ソフトを用いて採譜する場合がある．この場合，演奏後に譜面作成を行うため，演奏内容を振り返りながら作成を行う必要があることや，全ての拍に対して運手情報を付加するには時間を要するといった問題がある．一方で，ドラム演奏者のリアルタイムの演奏で運手情報をデータとして残し，それらを付加した譜面を自動的に採譜するシ
Copyright is held by the author(s).
神戸大学†
科学技術振興機構さきがけ∗,-./0-123456()*$+!"#"!"#""!"#"!"#!

!

!#!

!"##$% &#'!"#$%&'()*+

図 1. ドラム譜面

ステムはない．
したがって，本研究ではドラム演奏においてリアルタイムに運手情報を付加した譜面を採譜するシス
テム STICK TRACK を構築する．提案システムはドラムスティックに搭載した角速度センサのデータから両手それぞれの叩打したタイミングの認識を行い，電子ドラムによる MIDI メッセージを用いて，どの楽器をどちらでの手で叩打したか識別する．システ
ムは識別結果に基づいて運手情報を付加した譜面を作成し，演奏者に正しい叩打順序を提示する．また，これらの情報を MIDI メッセージの内部に記録することで DAW ソフトなど汎用的にデータを利用することができる．
以下，2 章で関連研究について説明し，3 章で設計について述べる．4 章で実装について説明し，5 章で評価実験とその考察について述べる．最後に 6 章でまとめを述べる．

WISS 2016

2

関連研究

ドラム演奏の叩打順序の習得を行うために，さまざまな学習方法が提案されてきた．YAMAHA 社のSong Beats[1] や Roland 社の V-drums Friend Jam[2]はドラム演奏のための学習アプリケーションである．
ユーザは音声に同期した電子譜面やアニメーションによるガイダンスを利用して，演奏学習を行う．しかし，これらのアプリケーションでは運手情報は付加されていない．また，叩打動作を高速に行うフレーズでは，正しい叩打順序を理解しにくい．
演奏者の動作を解析して，譜面を採譜するという点においても，これまでにさまざまなシステムが開発されてきた．AeroDrums[3] はドラム演奏における叩打動作に基づいてリアルタイムに採譜を行う機能をもつ．このシステムはカメラを用いて叩打動作の情報を MIDI データに変換し，採譜を行う．しかし，このシステムは運手情報を認識し，譜面にそれらを付加することは想定していない．また，カメラを用いた動作認識は大掛かりなセッティングと認識を安定させるためにキャリブレーションを行う手間がある．さらに，実際のライブパフォーマンスなどの運用においては照明などの問題から正しく動作を認識できない場合がある．提案するシステムは本番演奏においても運手情報を記録できるシステムの利用を想定している．
また，譜面やアニメーションを用いてユーザに演奏情報をフィードバックするシステムが提案されてきた．Antoniadis ら [4] はカメラと加速度センサを用いてピアノ演奏における運指や手の位置に関する情報を譜面に付加するシステムを開発した．しかし，譜面に付加された情報が複雑であるため，演奏者は正しい演奏情報を理解することが難しい．Weyde ら[6] は同様に，バイオリン演奏においてカメラを用いて弓の演奏動作や胴体の傾きといった演奏情報をアニメーションや波形表示によって視覚提示するシス
テム [5] を用いた学習を提案している．しかし，アニメーションを見て習熟者と初学者の演奏動作の比較を行うなど，これらは譜面上に演奏情報の付加は行っていない．
澤ら [7] や竹川ら [8] はカメラと指に装着したカラーマーカを用いてウッドベースおよびピアノ演奏における運指情報を楽譜に付加するシステムを開発している．このシステムはドラム演奏への適用は想定しないが，演奏ルールを用いて演奏動作に関する情報を楽譜に付加する手法がドラム演奏にも適用できるのではないかと考えた．本研究ではドラム演奏において演奏動作を認識することでリアルタイムに運手情報を付加した譜面を作成するシステムの構築

)*+
,'-

角速度センサ./01

2345

PC!"#"$%&'(電子ドラム

図 2. システム構成

をめざす．

3

設計

3.1

システム構成図 2 に STICK TRACK の構成を示す．提案システ
ムは角速度センサが搭載された 2 本のドラムスティッ
ク，電子ドラム，PC および MIDI 音源から構成される．演奏中の角速度センサのデータは無線通信を用いて PC に送信される．ドラム演奏者は提案するドラムスティックを用いて電子ドラムを演奏し，シス
テムは運手情報が付加された楽譜を生成する．提案
システムは角速度センサのデータを用いて叩打したタイミングを認識し，電子ドラムによる MIDI メッセージから叩打した楽器を特定する．システムはこれらの情報に基づいてドラム演奏者がどの楽器を左右どちらの手で叩打した識別し，譜面を生成する．

3.2

運手の識別手法

提案システムは 2 つの叩打パターンを認識する．
1 つは図 1 の緑枠に示すように左右のどちらかの手で 1 つの楽器を叩打する (以降，シングルハンドストロークと呼ぶ) パターンである．2 つ目は図 1 の青枠に示すように両手で同時に 2 つの楽器を叩打する(以降，ダブルハンドストロークと呼ぶ) パターンである．図 3 は運手識別の処理の流れを示す．システ
ムは最初に MIDI メッセージに基づいてドラム演奏者が打面を叩打したか識別する．次に，システムはドラム演奏者がシングルハンドストロークを行ったのかダブルハンドストロークを行ったのか判定し，それぞれの叩打パターンにおける識別手法に基づいて運手の解析を行う．それぞれの叩打パターンの識別手法を次に示す．

STICK TRACK: 運手情報を付加したドラム譜面作成システム!"

シングルハンドストローク
./0
1#234

#$%&'!"#$%&'()*+!"#"$%& '!"#"$%& *!"#"$%& ' !"#"$%& *'C777()*+,)-./012
34!"#$%&'()*+!"#$%&'()*+(&)(&)*

左手 '7777 ,C77756134

7,%-#$%&'()*+,%-#$%&'()*+./0123

56+1+789:;<(&+(&+*右手=>?@%AB89:;<CD図 3. 運手識別処理のフローチャート3.2.1=>??;@A?B+

図 4. 叩打時の角速度データ

シングルハンドストロークにおける運手識別

提案システムは 1 軸方向の角速度のデータを用いてドラム演奏者が叩打したタイミングを認識する．
図 4 の左はシングルハンドストロークで打面を叩打した時の角速度の変動であり，ドラムスティックを振り下ろしている場合，角速度の値は正を示す．図4 の赤線に示すように，角速度の値が最大になった後に 0 となる瞬間が実際に打面を叩打したタイミン
グである．ドラム演奏者が叩打していない場合における角速度の小さな変動による誤認識を防ぐために，識別を開始するための角速度の閾値を設定する．提案システムは最初に MIDI メッセージを受信した場合にドラム演奏者が打面を叩打したと判定する．次にシステムはこの閾値を下回った瞬間の時間と MIDIメッセージを受信した時間を比較することで運手識別を行う．図 4 の左に示すように，この演奏ではドラム演奏者が左手でスネアドラムを叩打した後に，右手でフロアタムを叩打している．MIDI メッセー
ジ MidiOut2 を受信した時間とそれぞれの手の角速度データが閾値を下回った時間の間隔を比較すると，右手の間隔 ∆tR2 は左手の間隔 ∆tL2 より短い．したがって，MidiOut2 は右手の叩打によって送信されたと識別する．
しかし，この識別手法ではドラム演奏者が同時に2 つの打面を叩打した場合に正しく識別できない．
次にダブルハンドストロークにおける識別手法を述
べる．

3.2.2)

ダブルハンドストロークにおける運手識別

図 4 の右側はダブルハンドストロークにおける角速度データの変動および MIDI メッセージの受信タイミングを示す．提案手法では，MIDI メッセージ+)#,-,./0)"(,./0

243*!"!#$!"3*%&'()*

12'3*

図 5. ドラムセットを受信する時間の間隔によって叩打がシングルハンドストロークかダブルハンドストロークであるかを識別する．提案システムは識別を行うための閾値を設定する．例えば，閾値を 25ms に設定した場合に，2 つの MIDI メッセージ MidiOut1 と MidiOut2 を受信した時間の差が 25ms より小さい場合はダブルハンドストロークを行ったと判定する．
一方で，図 4 に示すように，MIDI メッセージを受信した時間とそれぞれの手における加速度データが閾値を下回った時間との間隔は変わらない (∆tL !
∆tR )．このように，ダブルハンドストロークにおいて叩打した 2 つの楽器それぞれををどちらの手で叩打したか識別は行えない．したがって，提案システ
ムはドラムセットの配置や演奏における叩打動作の特性によって定義する演奏ルールを用いて識別を行う．本研究ではダブルハンドストロークにおける以下の 3 つの演奏ルールを定義した．
ルール 1: 同じ高さに配置された楽器同士は手を交差して叩打しない．
本稿では図 5 に示すような一般的なドラムセットの利用を想定する．この場合，同じ高さに配置された

WISS 2016
表 1. ルール適用における識別結果

組合せルール 1ルール 2

ルール 3

Snare-Floor Tom
Hi Tom-Low Tom
Crash-Ride
Snare-Low Tom
Snare-Ride
Hi Tom-Ride
Hi Tom-Floor Tom
Crash-Floor Tom
Crash-Low Tom
HiHat-Snare

識別結果
LR
Snare
Floor TomHi Tom Low Tom
Crash
Ride
Snare
Low Tom
Snare
Ride
Hi TomRide
Hi Tom Floor Tom
Crash
Floor TomCrash
Low Tom
Snare
HiHat

楽器の組合せはスネアドラム-フロアタム，ハイタム-ロータムおよびクラッシュシンバル-ライドシン
バルである．一般的にドラム演奏者はこれらの楽器同士を手を交差して叩くことはない．したがって，ドラム演奏者がこれらの組合せで叩打する場合，システムは左側に配置された楽器を左手で叩打し，右側の楽器を右手で叩打したと識別する．例えば，ス
ネアドラムとフロアタムを同時に叩打する場合．左手でスネアドラムを叩打し，右手でフロアタムを叩打したと識別する．表 1 はそれぞれの組合せにおける識別結果を示す．
ルール 2: 異なる高さに配置された楽器同士は楽器と同じ側の手で叩打する．
叩打した 2 つの楽器が異なる高さに配置されている
場合，叩打する手と楽器を同じ側にある．例えば，クラッシュシンバルとフロアタムを同時に叩打する
場合，2 つの楽器の中で左側にあるクラッシュシンバルは左側で叩打する．しかし，水平方向の楽器同士の位置が同じである場合，このルールは適用しない．また，一定のビートをハイハットを用いて演奏では頻繁に手を交差して演奏するため，このルールに含めない．表 1 はそれぞれの組合せにおける識別結果を示す．
ルール 3: ハイハットを用いた 8 ビートの演奏では両手は交差する.
一般的なドラム演奏においては，ハイハットで 8 ビートを演奏している間は左右の手は交差した状態で叩打する (演奏者の利き手が右手の場合)．したがって，8 ビートの演奏中のダブルハンドストロークではドラム演奏者は右手でハイハットを叩打し，左手でスネアドラムを叩打したと判定する．本稿では，ビーアプリケーション

角速度センサUSB-MIDI
インターフェース

MIDI音源図 6. STICK TRACK のプロトタイプ

トの検出認識は行っていないが，ハイハットとスネアドラムの同時叩打は 8 ビート演奏の場合に行われると想定している．また，16 ビートの演奏のようにハイハットを交互に叩打する演奏では，両手が交差していない状態で演奏を行うが，スネアドラムと同時に叩打するような場面は一般的な演奏でみられないため，シングルハンドストロークの識別手法で運手判定が行える．

3.3

運手情報の記録

提案システムは MIDI メッセージを用いて運手情報を記録する．運手情報は次に示すように MIDI メッセージ中のパンポットの値として記録される．
左手の叩打 パンポットの値: 0
右手の叩打 パンポットの値: 127
両手の叩打 パンポットの値: 64
例えば，左手で叩打した場合，パンポットの値は “0”に制御する．システムは運手情報を譜面を用いて視覚的に提示するだけでなく，パンポットの制御によって聴覚による提示も行う．また，運手情報を MIDIメッセージの内部に記録することで DAW ソフトなど汎用的にデータを利用することができる．

4実装

STICK TRACK のプロトタイプシステムを実装した．図 6 に示すようにプロトタイプシステムはドラムスティック，PC および外部 MIDI 音源で構成される．ドラムスティックはワイヤレステクノロジ社の角速度センサ WAA-010 を搭載している．角速度センサは図 6 に示すように叩打時に角速度の変動が大きく，打面に当たらない位置に取り付けた．出力音
源は Roland 社の MIDI 音源モジュール SD-20 を使用した．電子ドラムは Roland 社の USB-MIDI イン

STICK TRACK: 運手情報を付加したドラム譜面作成システム--!

-----.

. - .

- . - .

#- . --.

.

-----.

. - . - . - .

.

.

--- . - .

. - .

--!"/012- . --.

--"-)#**. - . - . - .

- . - .

-.
%&#'(!"!#$+'#*,-.13/012- . - . - . - .
- . - .
4511'/012

図 8. 課題フレーズ

図 7. アプリケーション画面!"# $$%&'()* +&,-./0

ターフェース UM-1 を用いて PC と接続している．電子ドラムは YAMAHA 社の DTXPLORER を使用した．PC 上のソフトウェアの開発は OS X v10.10 上
で Xcode 8.0 を使用した．
図 7 はプロトタイプのアプリケーションのスクリーンショットを示す．ユーザはアプリケーション上で角速度データの確認や MIDI の出力ポートの設定が行える．図 7 の中央は角速度データおよび MIDIメッセージより取得した叩打情報によって採譜された譜面である．譜面上には各打楽器の叩打情報を提示し，各拍の色はどの手で叩打したかを示している．
赤色の拍は右手で叩打した場合を示し，黄色の拍は左手で叩打した場合を示している．バスドラムは青色で示す．

5

評価5.1

実験方法

提案手法の有用性を検証するためにプロトタイプシステムを用いて評価実験を行った．評価実験では提案システムを用いて課題フレーズを叩打した場合の採譜の認識率を検証する．実験では被験者は図 8に示す 3 つの課題フレーズを演奏する．演奏テンポとして BPM(beats per minute) は 90 および 120 の 2種類に設定した．被験者はそれぞれの演奏テンポで各フレーズを 10 回繰り返し演奏した．課題フレーズは 2 小節で構成される．図 8 に示すように，フレーズ A では 8 ビートを演奏し，フレーズ B では16 ビートを演奏する．また，フレーズ C ではフィルイン (即興的な演奏) を想定した演奏を行う．被験者は図 8 に示すように楽譜の運手情報に従って課題フレーズを演奏する．また，被験者はドラム演奏歴13 年の大学院生とドラム演奏歴 8 年の大学生の 2 名である．本実験では叩打の判定に用いる角速度の閾値を 3000dps (degree per second) に設定した．また，

123

図 9. 評価実験における誤認識

叩打パターンを識別するための MIDI メッセージ受
信時間の間隔の閾値を 25ms に設定した．被験者は課題フレーズの演奏に慣れるため，認識率の検証を行う前に 10 分間のトレーニングを行った．

5.2

結果と考察

表 2 に被験者ごと各実験条件における認識率を示す．表 2 の各値は未認識 (叩打した場合に譜面が採譜されなかった場合) および誤認識 (実際に叩打に使用した手と異なる識別が行われた場合) が生じた回数に基づいた認識率を示している．表 2 に示すように，認識率は全ての実験条件において 95%を上回った．また，全ての実験条件において未認識はみられなかった．同様に，ダブルハンドストロークにおける未認識および誤認識はなかった．
しかし，全被験者の演奏において誤認識がみられた．図 9 は被験者 II がフレーズ B を BPM120 のテンポで演奏した場合において誤認識が生じた例を示している．図中の白枠は，右手の叩打に対して左手で叩打したと識別された場合の結果を示している．これらの誤認識が生じた瞬間における角速度データの変動を確認すると，角速度の値が設定した閾値を上回っていなかったことが分かった．したがって，システムが被験者が打面を叩打していなかったと識別し，

WISS 2016
表 2. 認識率 [%]フレーズBPM
I
被験者
II
平均値

A

90
120
90
120
100-100* 100-100 100-100 100-100
100-100 100-100 100-98.4 100-96.8
100-100 100-100 100-99.2 100-98.4
100-100
100-98.8* 未認識 - 誤認識

それぞれの手の叩打における間隔 (MIDI メッセージを受信した時間と各角速度データが閾値をした回った時間の差) を比較できなかったことが要因として考えられる．これらの未認識を防ぐために，振りの小さな叩打に対しても識別を開始する角速度の閾値の設定が必要である．

6B

まとめ

本研究では，ドラム演奏において演奏者の運手情報を付加した譜面を生成するシステムである STICKTRACK を構築した．STICK TRACK はドラムステ
ィックに取り付けた角速度センサのデータおよび電子ドラムの MIDI メッセージを用いて，ドラム演奏者がどの楽器をどの手で叩打したかを識別する．提案システムは識別結果を用いて譜面を生成し，演奏者に運手情報を提示する．運手の識別には，角速度データと MIDI メッセージの受信時間およびドラムにおける演奏ルールを利用した．また，プロトタイ
プシステムを用いて課題フレーズを演奏した場合におけるシステムの認識率を検証した．評価結果より，システムが高い精度で運手の識別を行えることを確認した．
今後の課題としては．システムのさらに高い有用性の検証を行うために，複雑なフレーズでの演奏や被験者を増やした実験の実施があげられる．システ
ムの向上に向けて本稿では行えなかった叩打の組合わせに対応した演奏ルールの適用や識別アルゴリズムの見直しが求められる．また，運手情報を付加した譜面を用いることによるドラム学習への効果を検証する必要がある．検証結果に基づき，運手情報だ
けでなく叩打時の腕の振りの速度など角速度センサを用いた演奏情報を付加した楽譜の生成を行う．さらに，さまざまな演奏ジャンルのドラム演奏者に提案システムを利用してもらうことで，演奏ジャンルごとによる叩打順序の特性などを抽出し，演奏データを記録することを検討する．

C
90
120
100-100 100-99.2
100-100 100-96.5
100-100 100-99.3
100-98.9

謝辞
本研究の一部は，科学技術振興機構戦略的創造研究推進事業 (さきがけ) および文部科学省科学研究費補助金挑戦的萌芽研究 (25540084) によるものである．ここに記して謝意を表す．

参考文献[1] YAMAHA Song Beats:
http://jp.yamaha.com/products/apps/song\_beats/.
[2] Roland V-Drums Friend Jam:
http://www.roland.com/jp/FriendJam/
V-Drums/.
[3] Aerodrums:
http://aerodrums.com/aerodrums-product-page/.
[4] P. Antoniadis and F. Bevilacqua: Processing of symbolic music notation via multimodal performancedata: Brian Ferneyhough s Lemma-Icon-Epigram
for solo piano, phase 1, Proc. of the International
Conference on Technologies for Music Notation andRepresentation (TENOR2016), pp. 127–136 (2016).
[5] T. Weyde, K. Ng, K. Neubarth, O. Larkin, T. Koerselman, and B. Ong: A Systemic Approach to Music Performance Learning with Multimodal Technology Support, Proc. of the Support E-Learning
Conference, (2007).
[6] K. Ng and P. Nesi: i-Maestro: TechnologyEnhanced Learning and Teaching for Music, Proc.
of the International Conference on New Interfaces
for Musical Expression (NIME 2008), pp. 225–228(2008).
[7] 澤 光映, 竹川佳成, 寺田 努, 塚本昌彦: 演奏ルールを用いたウッドベースのための実時間運指取得シ
ステムの設計と実装, コンピュータソフトウェア(日本ソフトウェア科学会論文誌) インタラクティ
ブとソフトウェア特集, Vol. 27, No. 1, pp, 56–66(2010).
[8] Y. Takegawa, T. Terada and S. Nishio: Design andImplementation of a Real-Time Fingering Detection
System for Piano Performances, Proc. of the International Computer Music Conference (ICMC2006),
pp. 67–74 (2006).

WISS2016 採録判定時のコメント
採録区分：ショート採録
判断理由：
ドラム演奏において、運手情報を付加しながら採譜するシステムという着目点は可能性を感じられ、プロトタイプもしっかりと実装されています。一方、角速度センサを使用した本手法と他の検出手法との比較の考察が抜けている、評価がプロトタイプの検出率に留まっている、な
どの理由から、ショート採録となりました。今後、提示方法や採譜したデータ活用の有用性なども含め、さらに踏み込んだ評価・考察がなされることを期待します。
レビューサマリ：全体の構成：
ドラム演奏において、運手情報を付加しながら採譜するシステムという着目点は可能性が感じられます。運手の割り振りについても、プレイヤーが納得できるルール設定がされており、プロトタイプもしっかりと実装されています。
改良に向けたコメント等：・本研究では検出に角速度センサを使用していますが、加速度センサを選択した理由や、他の手法との比較などについて触れられていません。システムが簡便であることが挙げられると思いますが、識別エラーは依然として残っており、識別率向上に関するディスカッションも不十分です。また、閾値に用いた具体的な数値（25ms など）の根拠が示されていません。
・評価で用いれらている「誤認識」と「未認識」の違いが不明瞭です。 「全ての実験条件において未認識はみられなかった」とありますが、「提案システムは最初に MIDI メッセージを受信した場合にドラム演奏者が打面を叩打したと判定する」ともありますので、そもそも未認識と判定される条件が不明です。また、5.2 の最後で「これらの未認識を防ぐために〜」という記述がありますが、これは前述の部分と矛盾します。
・図 9 ではスネアドラムの運手情報が黄色（左手）となっており、かつ誤認識というアノテーションがあります
が、このスネアドラムは課題フレーズ B 上では右手なので、赤色ではないのでしょうか。
・奏法によっては、提案されたルールが必ずしも適用できないと思われます。奏者がルール部を多少カスタマイズできる形にすると、より汎用性が上がると思います。
・多くのドラム譜では、運手が複雑な部分やアクセントなどで、特殊な部分のみ運手情報を記載するものが見受けられます。運手情報をどのように記載するかについて、今後の議論に加えてほしいと思います。
・取得手法の提案及び識別率の評価に留まっており、提案システムを用いたことによる学習効果などの検証が行われていません。そもそも運手情報を含めて採譜すること自体について、演奏者のレベルによって有用かどうかの意見が分かれると思います。提示の仕方や活用の方向性をさらに明確化できると、よりシステムの有用性を示せると思います。

本論文に対する各査読者の詳しいコメントは以下のページを参照のこと：

http://www.wiss.org/WISS2016Proceedings/oral/07.html＊本ページは論文本体ではありません【STICK TRACK: 運手情報を付加したドラム譜面作成システム】