Drumix: ドラムパートのリアルタイム編集機能付きオーディオプレイヤー
吉井 和佳 †
後藤 真孝 ‡
駒谷 和範 †尾形 哲也 †奥乃 博 †† 京都大学大学院 情報学研究科 ‡ 産業技術総合研究所 (AIST)

1. はじめに
従来の音楽鑑賞は，聴きたい楽曲の選択後は，そのまま再生して楽しむだけの受動的な体験であった．そこで後藤らは，楽曲中で能動的に聴きたい箇所を容易に頭出しできるよう，楽曲構造（サビの位置など）を表示できるサビ出し機能付き音楽試聴機 SmartMusicKIOSK [1] を考案した．しかし，歌声を集中して聴くため他の楽器パートの音量を下げたり，ドラムスの演奏パターン（ドラムパターン）を自分の好みに合うように編集しながら音楽鑑賞をするといった，リスナのより能動的な要求を満たす技術はこれまで存在しなかった．
本稿では，市販 CD レベルの複雑な音響信号中のドラム音認識技術に基づく新しい音楽再生インタフェースについて述べる．これを用いれば，ドラムスの音量や音色，ドラムパターンなどをリアルタイムにコントロールできる．例えば，楽曲のビート感をより出したければ，ドラムスの音量を上げればよい．ドラムスの音色が気に入らなければ，好みの音色に差し替えてもよい．また，ドラムパターンは楽曲のグルーヴ感（ノリ）と密接に関係しているため，それを変更することで，楽曲の印象を変えながら音楽を楽しむことができる．
今回開発したオーディオプレイヤー Drumix では，誰でも直感的にドラムパート編集が行える．音量を調節するにはスライダを移動させればよく，音色を差し替えるには，リストから好きな音色を選択すればよい．また，視覚化されたドラムパターン集合から適当なパターンを選択するだけでドラムパターンを変更できる．

2. ドラムパートのリアルタイム編集機能
オーディオプレイヤー Drumix は通常のプレイヤー機能（再生・停止など）の他に，3 種類のドラムパート編集機能（音量調節機能・音色置換機能・ドラムパターン編集機能）を備える．これら 3 つの機能は組み合わせて使うことができる．インタフェースは音楽経験に関係なく直感的に操作が可能なものとした．操作結果はリアルタイムに反映されるため，リスナは自分の想像した操作結果と比べながら音楽鑑賞することができる．
このような操作により，エンドユーザ（楽曲購入者）
としてだけでなく，楽曲制作サイドの楽しみも味わえる．
通常の楽曲制作では，作曲されたメロディーに対し，編曲者が適切なドラムスの音色を吟味し，ドラムパターンを付与する．その後，ミキシングエンジニアがドラムスの音量バランスを考慮しながら 1 つの曲へまとめる（ミッ“Drumix: An audio player with a function for re-arranging drum partsin real time,” Kazuyoshi Yoshii (Kyoto Univ.), Masataka Goto (AIST),
Kazunori Komatani, Tetsuya Ogata, and Hiroshi G. Okuno (Kyoto Univ.)e-mail: yoshii@kuis.kyoto-u.ac.jp

再生位置
全体の音量

通常の再生機能

ドラムスの音量・音色のコントロール機能
音色置換

小 音量調節 大

図 1: ドラムスの音量と音色のコントロール画面
現在の再生位置

各小節中のドラムパターン

ドラッグ＆ドロップ

図 2: ドラムパターンの編集画面
クスダウン）．Drumix を使えば，ドラムパートの編曲とミックスダウンを手軽に体験することができる∗．

2.1 ドラムス音量調節機能
リスナはミキシングエンジニアになった感覚が味わえる．音量スライダ（図 1 参照）を左右に移動させることで，バスドラムとスネアドラムの音量を個別に調節できる．スライダの左端が最小音量（ミュート）に，右端が最大音量に対応する．

2.2 ドラムス音色置換機能
リスナは編曲者と同様に，ドラムスの音色を吟味しながら音楽鑑賞ができる．複数の音色がリストアップされたドロップダウンリスト（図 1 参照）から好きな音色を選択することで，楽曲中のドラムスの音色を差し換えて再生できる．音色（実際には wav ファイル）はあらかじめいくつか登録されているが，リスナ自身があとで追加登録することもできる．

2.3 ドラムパターン編集機能
リスナは編曲者の仕事の一つであるドラムパターン作成を体験できる．どの時刻にどの音量でドラムスが発音するのか一目瞭然に把握可能なグラフィカルな譜面表示
上（図 2 参照）でドラムスの譜面を編集できる．
4 つの長方形内がそれぞれ 1 小節内（4/4 拍子を仮定）のドラムパターンを表す．それぞれ下段はバスドラム，上段はスネアドラムに対応し，横軸が時間，縦軸が音量∗ Demo：http://winnie.kuis.kyoto-u.ac.jp/members/yoshii/drumix/

を表す．さまざまな高さのバーはドラムスの発音に対応し，その高さが音量を表す．もとの楽曲中のドラムパー
トはこの 4 小節の繰り返しに差し換えられて再生される．
このとき，現在の再生位置を表す縦線が小節内を随時移動していく（右下端に到達すると左上端に戻る）．
ドラムスの発音バーはクリックするだけで追加と消去ができる．また，バーの上端をドラッグすれば，バーの高さ，つまり音量を変化させることができる．作成したドラムパターンはセーブとロードが可能である．

2.4 音楽経験の少ないリスナに対する編集支援
何も参考にせずドラムパターンを作成するにはある程度の音楽経験が必要であるので，音楽経験が少ないリス
ナでも楽しく遊べるような支援が必要である．そのため，すでに完成されたドラムパターンを他の楽曲から借用し，それを雛形にして編集できるような工夫を施した．
図 2 中右側の 3D 表示は，あらかじめ大量の楽曲から集めたドラムパターンをクラスタリングし，36 個（6x6）のセルに対応付けたものである．山の高いセルはそこに対応付けられたドラムパターン数が多い（出現頻度が高い）ことを示す．リスナは適当なセルからドラッグ開始し，いずれかの小節内にドロップすることで，そのセルに対応するドラムパターンのうちいずれかをランダムで雛形にできる．つまり，この操作のたびに異なるドラムパターンが生まれるので意外性のある体験ができ，好みのドラムパターンを探す楽しみも生まれる．

2.5 リスナの要求に合った聴き方のサポート
煩わしい編集作業を一切することなく楽しみたい人のため，小節ごとにランダムでドラムパターンを変化させながら再生する機能（ランダム演奏機能）も追加した．
再生中に気に入ったドラムパターンが現れれば，クリック一つでその小節のドラムパターンを固定できる．
一方，ドラムパターンの編集作業に集中したい人のため，他の楽器音をミュートして，ドラムパートのみを再生する機能（ソロ演奏機能）も追加した．

3. 実装方法
これまで，音響信号を MIDI のように楽器単位で処理することは技術的に困難であり，実現できていなかった．
本章では，Drumix の各機能を実現する上での問題点と解決方法を述べる．詳細は文献 [2] に記述されている．

3.1 ドラムスの音量と音色のコントロール機能
ドラムスの音量と音色のコントロール機能を実現するには，(1) 市販 CD レベルの複雑な音響信号中に含まれているドラム音のスペクトログラムを推定し，(2) 発音時刻を検出する必要がある．この問題を解決するため，我々が以前考案したドラムスの発音時刻検出手法 AdaMast [3]を利用した．AdaMast は，ドラム音のスペクトログラムをテンプレートとするテンプレート適応部とテンプレートマッチング部から構成され，前者が問題 (1) を後者が問題 (2) をそれぞれ解決する．
ドラムスの音量をコントロールするには，推定されたドラム音のスペクトログラムを変化量に合わせて伸縮させた後，各発音時刻においてもとの楽曲のスペクトログラムに足したり，そこから引いたりすればよい．音色を置換するには，もとの楽曲中のドラム音をキャンセルした後，差し替えたい音色のドラム音信号を加算する．

3.2 ドラムパターン編集機能
ドラムパターンの編集機能を実現するには，複雑な音響信号中の拍時刻（1〜4 拍目の時刻）を推定する必要がある．この問題を解決するため，後藤らの提案したマルチエージェントに基づくビートトラッキング手法 [4] を利用した．ビート解析を行った後，もとの楽曲中のドラム音をキャンセルし，編集した譜面に従って差し替えたい音色のドラム音を加算する．
また，ドラムパターンをクラスタリングして可視化す
るアイデアは Pampalk らの “Islands of Music” [5] を参考にした．彼らは，楽曲群を自己組織化マップ（SOM）を用いて楽曲の類似性に基づきクラスタリングし，各素子に対応する楽曲数が多い場所が島に見えるような視覚提示を行った．我々はまず，1 小節を 48 区間に分割し，ドラムパターンを 96 次元のベクトル（バスドラムとスネアドラム各 48 次元を連結）で表現した．これらを 6x6の SOM に入力してクラスタリングを行った後，ドラムパターンの分布に応じて山谷の 3D 表示を行った．

4. 被験者実験
音楽経験の豊富なリスナと少ないリスナにシステムを試用してもらったところ，双方から楽しく遊べたという感想を聞くことができた．音楽経験が豊富なリスナの場
合，一通りの機能を試した後，ソロ演奏機能を使いつつ，ドラムパターンの作成に没頭する傾向が見られた．音楽
経験の少ないリスナの場合，ランダム演奏機能を使って楽しむことが多かった．このようなランダム性は，しばしば思いがけない音楽体験をもたらすので，音楽経験の多少に関わらず好評であった．これらのことは，我々の意図した通りにシステムが運用できたことを示している．

5. おわりに音楽経験の多少によらず，ドラムパートを簡単かつリアルタイムに編集できるインタフェースを備えた音楽プ
レイヤー Drumix は，新しい能動的な音楽鑑賞法を実現した．このような機能は複数の音楽コンテンツ解析技術を応用・集積することで実現できた．今後は，ドラムス以外の楽器パートの編集にも取り組む予定である．
謝辞 本研究の一部は日本学術振興会科学研究費補助金および 21 世紀 COE プログラムの支援を受けた．

参考文献[1] 後藤 真孝, “SmartMusicKIOSK: サビ出し機能付き音楽試聴機,”
情報処理学会論文誌, vol. 44, no. 11, pp. 2737–2747, 2003.
[2] 吉井 和佳, 後藤 真孝, 奥乃 博, “実世界の音楽音響信号に対するドラムスの音源同定手法を利用したドラムイコライズシステム
INTER:D の開発,” in FIT2004, LG-005.
[3] K. Yoshii, M. Goto, and H.G. Okuno, “AdaMast: A drum soundrecognizer based on adaptation and matching of spectrogram templates,” in MIREX2005.
[4] M. Goto, “An audio-based real-time beat tracking system for musicwith or without drum-sounds,” New Music Research, vol. 30, no. 2,pp. 159–171, June 2001.
[5] E. Pampalk, S. Dixon, and G. Widmer, “Exploring music collections
by browsing different views,” in ISMIR2003, pp. 201–208.