Voice Drummer:
口ド ラムでド ラムを叩く楽譜入力インタフェース∗
中野 倫靖 †††1

後藤 真孝 ‡緒方 淳 ‡平賀 譲 †‡

筑波大学 図書館情報メディア研究科‡{nakano,hiraga}@slis.tsukuba.ac.jp

Voice Drummer の機能

2

はじめに

産業技術総合研究所{m.goto,jun.ogata}@aist.go.jp

楽譜入力では，音楽を頭の中でイメージした通りに入口ド ラムによる入力が作曲や編曲においても有効であ力できることが望ましい. しかし ，楽器演奏ができず，ることを実証するために，作曲を想定したド ラムパター

作曲の経験の少ない人は，イメージを自分で音符列に変ンの入力機能（ 楽譜入力モード ）と既存の楽曲のド ラム換してマウスやキーボード，MIDI 楽器で入力することパートだけを差し替えて編曲する機能（編曲モード ）のが困難である. 従来の楽譜作成ソフトウェアでは，この二つを用意した. さらに，ユーザが練習しながら自分の問題を解決するために，イメージしたメロディ等を鼻歌声を学習させることで口ド ラム入力の認識率を上げるこ（ハミング ）で直感的に入力できる楽譜入力インタフェーとができる歌唱者適応機能（ 練習適応モード ）も用意しスが用いられていた. しかし，音高と音長は指定できてた. 図 1 の表示画面例の右下の “Notation”, “Arrange”,も，音色の違いを入力することはできず，複数の異なる“Practice” のボタンを押すことで，上記の各機能を呼び音色の楽器で構成されるドラムパートの楽譜（ドラム譜）出すことができる．
図 1 上部は，以下の三つのウィンド ウで構成される.

を入力する目的では使用できなかった.

• 楽譜ウィンド ウ (“Drum Score”)

そこで本研究では，ユーザがド ラム音をリズミカルに口ずさんだ「ドンタンドド タン」のような発声（口ド ラ

口ド ラムの認識結果等によるド ラムパターンが，4 小ム）をすることによって，ドラムパターンを入力すること

節 × 2 段の構成で 8 小節分表示される．各小節内はができる新しい楽譜入力インタフェース Voice Drummer

2 段に分かれ，下段と上段の長方形のマークは，それを提案する. 音楽的訓練を受けていないユーザでも，Bass

ぞれ Bass Drum と Snare Drum の発音時刻を表す.

Drum は「ドン 」，Snare Drum は「タン」のように，ド• ストリームウィンド ウ (“Drum Stream”)

ラム音を耳で聴いたイメージをそのまま表現して歌えば中央の縦長の白いバーが現在時刻を表し，入力対象のよいため，直感的で手軽なド ラム譜の入力が可能になる.

ド ラムパターンがその右から左へと流れてゆく. 3 段に分かれ，下 2 段は楽譜ウィンドウと同一で，最上段には Hi-hat の発音時刻を表すマークが表示される.

• 口ド ラムウィンド ウ (“Voice Percussion”)
中央の縦長の白いバーの中に，マイクから入力された声の大きさ (パワー) が着色して表示される. このパワーは図 1 のように時間とともに左へと流れてゆき，ユーザの発声音量が適切であることが確認できる.
ユーザは，入力状況や認識結果がリアルタイムに反映されるこれらのフィード バック画面を見ながら，まず，練習適応モードで練習し，その後，他の二つのモード のいずれかを選んでド ラム譜を入力することができる.

2.1

図 1: Voice Drummer の表示画面（ 練習適応モード ）擬音語の決定本研究では，ド ラム音で最も重要な Bass Drum と∗ Voice Drummer: Music Notation Interface Where Drums
Can Be Performed by Voice Percussion
by Tomoyasu NAKANO† , Masataka GOTO‡ , Jun OGATA‡ ,Yuzuru HIRAGA† († University of Tsukuba, ‡ AIST)

Snare Drum を入力対象とし，それらの多様な擬音語表現に対応する．ただし，認識精度や反応速度を向上させ1

るために，図 1 下部の “Expression Select” のメニューが流れてきて演奏が開始される．

により，ユーザがその表現を限定することも可能とした．

対象曲は図 1 下部の “Music Select” のメニューで選曲し，“Drums” チェックボックスを指定すると原曲のド2.2

練習適応モード

ラムパート付きで楽曲再生される．原曲のド ラムパート

ユーザは，楽譜ウィンド ウに提示される 8 種類のド ラを参考に口ド ラムを歌いたい場合には，ストリームウィ

ムパターンの中から一つ (1 小節) を選択して，その練ンド ウに原曲のド ラムパターンを流すこともできる．

習を行うという操作を繰り返す．まず，ストリームウィ

3

ンド ウ上を，選択したド ラムパターンが右から流れてくる．中央の現在時刻のバーに到着すると，図 1 下部のVoice Drummer の実現方法
口ドラムによるド ラム譜入力を実現するには，声質な“Tempo” で指定したテンポでドラム音が (MIDI 音源で)どの発声スタイルの個人差と表現の個人差の 2 種類の個演奏される．次に，同一パターンが再度右から流れてく

人差に対処して，口ド ラムを認識するための新たな技術るので，それが現在時刻のバーに重なるタイミングで口が必要となる．通常の音声認識手法，口ド ラム用でないド ラムを歌唱する．なお，発声するタイミングをつかみ従来のドラム音認識手法 [2]，零交差に基づく単純なドラやすいように，各ド ラムパターンに先だって，4 分音符

ム音識別手法 [3] では，こうした個人差へ対処できず，本で 4 回 (1 小節) 分 Hi-hat が流れてきて演奏される．

研究が対象とする口ドラムを認識することは困難だった．

これはユーザの練習になるだけでなく，そのユーザのそこで我々は，Bass Drum と Snare Drum の擬音語声を学習することで口ド ラム認識率を上げるためにも有表現を調査して登録した発声辞書と，音声認識で用いら効である (これによりユーザが楽しみながら適応もできれる不特定話者の音響モデル [4] を用いて，口ド ラムのることを目指す)．n 回目の練習を終えると，図 1 に示す多様な個人差に対処できる認識手法を実現した [5, 6, 7]．

ように，口ド ラムウィンド ウの右側にユーザへの適応度

また，少数の口ド ラムデータ (18 パターン分) で音響モを反映した棒グラフが (n-1) 本表示される．このグラフ

デルを適応させれば認識率が向上することも実証した．

は，n 回目の口ド ラムに対する適応後の尤度の上昇率であり，練習終了の目安として用いることができる．

2.3

4

楽譜入力モード

口ド ラムにより直感的で手軽にド ラム譜を入力できるインタフェース Voice Drummer を提案した．Voice

ユーザが 1 小節のド ラムパターンを口ド ラムで歌唱

Drummer を実装して運用した結果，ド ラムの知識や経すると，認識された結果が MIDI 音源で演奏され，楽譜験が乏しかったためにド ラム譜入力に困難を感じていた

ウィンド ウに 1 小節ずつ順番に入力される．こうして作ユーザでも，作曲や編曲に取り組めることが分かった．

成したド ラム譜はボタンを押すことで連続再生でき，標今後は，Bass Drum, Snare Drum 以外にも対応するこ準 MIDI ファイル (SMF) にも保存できる．とで，さらに多様な口ド ラム表現を認識できる楽譜入力

さらに，ユーザの発想支援やド ラムパターンの知識をインタフェースを構築していく予定である．

増やす目的で，上記では未使用だったストリームウィン

参考 文 献ドウに，ド ラムパターンを一定の頻度でランダムに流す[1] 後藤 他: RWC 研究用音楽データベース：研究目的で利用可能な著作権処理済み楽曲・楽器音データベース, 情処学論, Vol.45,
No.3, pp.728-738, 2004.
[2] Herrera, P. et al.: Automatic Classiﬁcation of Drum Sounds:
A Comparison of Feature Selection Methods and Classiﬁcation Techniques, ICMAI, LNAI2445, pp.69-80, 2002.
[3] Kapur, A. et al.: Query-by-Beat-Boxing: Music Retrieval
for the DJ, In Proc. International Conference on Music Information Retrieval (ISMIR2004), p.170-177, 2004.
[4] 河原 他: 連続音声認識コンソーシアム 2002 年度版ソフトウェアの概要, 情処研報, SLP-48-1, pp.1-6, 2003.
[5] 中野 他: 口ド ラムによるド ラムパターン検索手法, 情処研報,2004-MUS-55, pp.45-50, 2004.
[6] 中野 他: 口ドラム認識に基づくドラムパターン検索手法, 音響学会秋季講演論文集, 2-6-14, pp.801-802, 2004.
[7] Nakano, T. et al.: A Drum Pattern Retrieval Method byVoice Percussion, In Proc. International Conference on Music Information Retrieval (ISMIR2004), pp.550-553, 2004.

ことができる．これらのパターンは，RWC 研究用音楽データベース (ポピュラー音楽)[1] の SMF から抽出した．

2.4

おわりに編曲モード

ドラムパートの音が消去された楽曲が 8 小節分演奏されるので，ユーザはこれに合わせて編曲したいイメージ通りに口ドラムの歌唱を行う．口ドラムは 1 小節毎に次々と認識され，楽譜ウィンド ウに順次入力される．こうしてド ラムパートを編曲した楽曲は，ボタンを押すことで再生することができ，SMF にも保存できる．なお，練習適応モード のように，楽曲に先だって 1 小節分の Hi-hat

2