2L-01

音楽音響信号からの旋律探索
半田 伊吹, 武藤 誠, 坂井 修一, 田中 英彦
fhanda,muto,sakai,tanakag@mtl.t.u-tokyo.ac.jp

東京大学大学院 工学系研究科 3

1 はじめに近年のマルチメディア技術の発展に伴い、文書だけでなく画像データや音声、音楽データなどもデータベースとして利用できるようになってきた。柳瀬らの研究 [1]では、予めパートごとに情報が区分されており、かつ演奏情報を高度に捨象してある MIDI データを用いて内容検索を試みている。この方法によると、大規模なデータ
図 1: 音響信号からのメロディ探索
ベースから、1 つのパートの部分的な旋律をキーにして検索することができる。
しかし 、この方法では音響信号に対応して符合化された MIDI データなどを持たせなくてはならず、自動採譜が実用的な段階に達していない現在では 、演奏されたものからデータベースを作成するのに手作業が必要になる。
一方、音楽の演奏内容を検索のキーとする内容検索というアプローチがある。この場合、曲名や作曲者などの書誌情報が分からない場合でも検索でき、多様な検索が可能となるなどの期待が大きい。音響信号の内容を検図 2: 大雑把な表現による楽曲索する研究として、柏野らの研究 [2] があるが、これは時間的に長い音響信号の中に、それより短いキーとほと は自動採譜の研究は途上の段階で、評価実験も厳しい条
んど同じ信号が含まれるかど うか調べ、含まれる場合は 件のついた演奏に対してのみ行っている場合が多い。一どこかを探索する技術である。音楽を対象とした場合、 般的な娯楽に供せられるような演奏に対しては全く歯がキーには頭に浮かんだ旋律だけではなく伴奏も忠実に含 立たないといってよい。しかし 、楽曲を緻密に解析するませなければならない。更に、キーは音響信号である必 のは非常に困難であっても、図 2 のように大雑把に把握要があるので、旋律や伴奏に基づいて音響信号を合成す することは可能である。この図では、時間に関しては 16る必要もある。このため、この技術を音楽の内容検索に 分音符や 8 分音符などの粗い分解能を持たせ、各時刻において、ある音高の音が鳴っていると思われる可能性を適用するのは困難である。
本研究では、図 1 のように音響信号そのものからメロ 表す評価量や音色の情報などを持つことを示している。
音響信号から拍位置を検出できれば時間方向の分解ディをキーとして探索する手法を提案し 、データベースからの検索への応用の可能性を議論する。また、旋律探 能を粗くすることが可能であるが、後藤らの研究 [3] はビ ートトラッキングに関して良い結果を得ている。ま索手法を採譜システムに応用することも検討する。
た 、ある音高の音が発せられているかの評価については予備的な考察が筆者らによって行われている [4]。この単音の存在可能性の評価量や音色の情報に基づいて、音響信号からの旋律探索目的の旋律が存在するか否かを調べることができれば 、2.1
楽曲の単純化した表現比較的少ない計算量で検索を行うことができる。なお、一般的に複数の音が同時に鳴ると周波数成分の重なりが音楽音響信号から演奏情報を記号化して抽出する、い生じ音色の情報は信頼度が減少するが、この点の解決にわゆる自動採譜が高い精度で実現すると、検索を目的とついての考察が [5] にある。
したデータベースの作成が可能となる。しかし 、現状で23 \Music retrieval from acoustic signals"

Ibuki Handa, Makoto Muto, Shuichi Sakai, Hidehiko Tanaka
Graduate School of Engineering, the University of Tokyo
7-3-1 Hongo, Bunkyo-ku, Tokyo 113-8656, Japan2.2

検索手法の採譜への応用

音響信号から旋律を探索する手法の概要を示したが 、ここではこの手法を採譜に応用することを考える。採譜においては処理を完全に計算機に委ねた自動採譜ではなく、人間と計算機が協調して行うことを想定している[6]。
先に述べた音響信号からの旋律探索手法を確立した
後、採譜システムへの応用も行おうとしているが、その方法は以下の通りである。まず、計算機が大量の旋律候補を生成し 、それぞれの存在可能性の評価量を求め最大のものを正解とする。但し 、例え時間的に短くても旋律の刻むリズムは何通りもあるし 、リズムが決定されても進行の仕方が自由なので、全て生成するのは不可能である。そこで、生成する旋律の数を減らすために図 3 に示
図 3: 人間の与えた情報によるメロディ候補の削減
すように人間がインターフェースを介して入力した情報を活用することを考えている。音楽的な訓練を受けてい参考文献ない人間は、2 つの音の音高の高低を定量的に判断することが苦手であるが、どちらが高いか低いかを定性的に[1] 柳瀬 隆史, 高須 淳宏, 安達 淳: 「 音楽検索におけ判断する能力は先天的に兼ね備えている。ここで提案する自動インデクシング報」, 情報処理学会研究報告,
るマン・マシン協調システムは、そのような人間の能力
98-DBS-116(2)-42, pp. 117{124, 1998
を巧みに計算機への助けとし 、逆に定量的判断が苦手な[2] 柏野 邦夫, ガビン スミス, 村瀬 洋: 「ヒストグラ
人間を計算機が手助けすることにより、精度の高い採譜ム特徴を用いた音響信号の高速探索法 |時系列アを行おうとするものである。なお、採譜を目的として旋クティブ探索法」, 電子情報通信学会論文誌, Vol.
律探索する際には、計算量はデータベースからの検索よJ82-D-II, No. 9, pp. 1365{1373, 1999
り多くなっても問題ないので、図 2 に示すほど単純化し[3] 後藤真孝, 村岡洋一: 「音響信号を対象としたリアた情報でなく定 Q 値フィルタバンクによるスペクトロ
ルタイムビートトラッキングシステム|コード 変化
グラム [7] を用いることを現在は考えている。
検出による打楽器音を含まない音楽への対応| 」,
人間が音楽を聴取するとき、特に採譜をしようとする
電子情報通信学会論文誌, Vol.J81-DII, No.2, pp.
ときには、特定の旋律に意識を集中させて、音色の類似
117-127, 1998
性や進行の自然さなどを手がかりに他の音と分離して聞くことができる。このことを考慮して、情報がゼロの[4] 半田伊吹, 武藤誠, 坂井修一, 田中英彦: 「音響信号状態から採譜するよりも、人間からある程度の情報をもからのメロディ検索と採譜システム」, 第 36 回情らって旋律を探索して、最終的に複数の旋律や伴奏を組報処理学会音楽情報科学研究会 (平成 12 年 8 月発
み合わせた結果として楽譜を得ようと試みるのである。
表予定)[5] 木下 智義, 坂井 修一, 田中 英彦: 「周波数成分の重3 まとめなり適応処理を用いた複数楽器の音源同定処理」,
電子情報通信学会論文誌, Vol. J83-D-II, No.4, pp.

本稿では、音響信号からの旋律探索手法を目的とした楽曲の単純表現の方法と、旋律探索手法をマン・マシン協調による採譜システムにいかに応用するかの概要を述べた。旋律探索手法について有効性がある程度見えているが、データベースからの検索や採譜システムへの適用にあたっては手法に更なる検討を加え精度向上が必要である。
また、採譜システムに関しては本稿の主題である旋律探索技術の他にインターフェースを詳細に設計する必要もある。

1073{1081, 2000
[6] 半田伊吹, 木下智義, 武藤誠, 坂井修一, 田中英彦:「計算機と人間の協調による採譜システム」, 情報処
理学会第 60 回全国大会, No. 2G-05, pp.2-57{2-58,
2000[7] 柏野 邦夫, 中臺一博, 木下 智義, 田中 英彦: 「音楽情景分析の処理モデル OPTIMA における単音の認識」, 電子情報通信学会論文誌, Vol. J79-D-II, No.
11, pp. 1751{1761, 1996