音響信号からのメロディ検索と採譜システム
半田 伊吹, 武藤 誠, 坂井 修一, 田中 英彦
東京大学大学院工学系研究科〒113-8656 東京都文京区本郷 7-3-1

handa,muto,sakai,tanakag@mtl.t.u-tokyo.ac.jp

f:

あらまし
従来から提案されている計算機による採譜シ ステムは 、処理全般を計算機に委ねるものが 主流であった。しかし 、そのようなシ ステムでは 人間が 容易に知り得るよ うな情報も計算機では 認識が 困難である場合もあり、精度の高い採譜は 実現しがたかった。
筆者らは認識率のより高いシステムを目指し 、人と計算機がお互いに得意とする作業を分担し 、協調して情報を補完しあう採譜システムを提案する。
また 、そのシ ステムの実現にあたって有効と思われ る 、音響信号から旋律を探索する手法を実装し 、予備的な実験と考察を行う。
キーワード : 採譜、音楽検索、マン・マシンシステム

Musictranscriptionsystemwith music retrieval method
HANDA Ibuki, MUTO Makoto,SAKAI Shuichi and TANAKA Hidehiko

The University of Tokyo
7-3-1 Bunkyo-ku, Tokyo, 113-8656
handa,muto,sakai,tanakag@mtl.t.u-tokyo.ac.jpfAbstract:
We think that complete transcription is dicult for a music transcription system
wchich depends on only computational processes. So, we propose a man-machine
system so that quality of transcription may inprove. The system contains man-machineinterface, and human and machine co-operates in music transcription. We discuss
abstract of the system and introduce music retrieval method which we regard as usefulfor the system.
Key Words:
music transcription, music retrieval, man-machine system1

1.

はじ めにを持ち合わせている。このよ うに 高い能力を人間一般が 有し ているにもかかわらず、特別な訓練を受けた人以外が 採譜を行おうとすると 、なかなか 思うよ うにいかない 。うまくいかない理由は 、先に 挙げ たよ うにど の楽器が使われているか分からない場合もないわけではないが 、それ 以上に 着目し たフレ ーズの進行の具合 、つまり何度上行あるいは 下行し たのか を 定 量 的に 測 るこ とが で き な いか ら である。

計 算 機に よ る 自 動 採 譜 処 理に 関 す る 研 究は 、最初はその対象を単一音源による単旋律に 限っていたが 、次第に 対象を 広げ、単一音源の複数音を 扱うよ うになった 。更に 複数音源による複数旋律の演奏を対象とし た自動採譜処理が 試みられ るよ うになったが 、対象が現実的な 演奏に 近付くに 従って 、それ までの単純な処理では十分な認識精度が 得られないことが 指摘され るよ うになった 。認識精度の問題は 、計算機の計算速度や記憶装置など の能力が 向上すれば 解決するとい うものではな
く、自動採譜に 有効な処理のアルゴ リズム自体が解明されていないのである。

音楽的な訓練を受けていない人が 採譜を行うときのプ ロセ スを 考えてみる。音響信号を聞いた 人は 、図 1に 示すよ うに そこに 含まれるフレ ーズを 頭の中で「 なんとな く 」切り出すことができる。

精度のよい自動採譜を実現するということは 計算機科学や人工知能の研究とし ては大変意義のある大きなテーマであるが 、一方採譜
シ ステムの応用範囲の広さを考えると 、処理自体の仕組みには 興味がないが すぐ に 利用したいとい う需要も大きく、精度の高い採譜システムの完成は急務であるとも言える。

それを構成する単音列において 、ある単音と そ の 次の 単 音の 相 対 的な 関 係に つ い て 上
行 、下行 、平行といった定性的なことは 分か
るが 、一方何度上行あるいは 下行なのかという定量的なことが 分からない 。そこで 、ピアノを 弾きながら 、あるいは DTM 環境を 整えた計算機上の打ち込みソフトでマウスを操作し ながら 、音高を 知りたい単音の高さを 探っていく。

筆者らは 、完全に 計算機に よって採譜をするのではな く、計算機が 処理を行う際に 活用で き る 重 要 な 情 報で あ るが 、計 算 機 自 身では 抽出が 困難なものをマン・マシン インターフェー スを 用いて 人間が 入力することに よって 、計算機の苦手な部分を補完する採譜シ ス
テムを提案している(1)。

このよ うな 状況を 想定し て 、図 2に 示すような進行の度合を定量的に 測ることができない人が 採譜を行うのを計算機が 手助けすることを本システムでは目指している。

本稿では 、そのような採譜シ ステムの実現への適用を検討し ている 、音響信号からの旋律 探 索 手 法 の 概 要と 予 備 的 考 察 、お よび その 採 譜シ ステ ムへ の 適 用 の 仕 方に つ い て 述べる。
2.

計算機と人間の協調による採譜採譜処理というのは 、結果から 原因を推定するいわゆる逆問題の一つであるが 、多くの逆問題と同様 、容易に原因をつきとめることはできない 。複数の音が 同時に 発音された場
合には 、同時にいくつの音が 発せられ たかすら 計算機で判断するのは困難になる場合が 多いのである。

図 1.

このことは 人間にも当ては まり、音だけを聞いて演奏に使われている楽器を全て挙げ ることを 確実に 誤りな くで きるわけではな い 。
し かし 、その能力の程度は 計算機に比し て大変長けており、ある瞬間に 発音されている楽器数をかなりの確度で 言い当てることもできるし 、ある特定の楽器が 演奏に 使われ 出す時刻や使用が 終る時刻も容易に 分かる。このよ
うに人間は 高い抽象度で音楽を理解する能力

3.

人間による音楽の聴取

音響信号からのメロディ検索

h311i
演奏内容から の 検索
近年の マ
ルチ メディア技術の発展に 伴い 、文書だけでな く 画 像デ ー タ や 音 声 、音 楽デ ー タ など もデ ータベースとし て利用できるようになってきた 。音声 、音楽検索の手法は 、書誌情報に
よ る 検 索と 内 容 検 索 の 2 つに 大き く 分 類で2

ると 、大規模なデータベースから 、1 つのパー
ト の部分的な旋律をキーにし て検索することができる。

¸I¸À>

し かし 、この方法では音響信号に対応し た
MIDI デ ータのよ うに 符合化され たデ ータを持たせな くてはならず、自動採譜が 実用的な段階に 達し ていない現在では 手作業で行うことになる。

:o2I

本研究では 、図 3のよ うに 音響信号そのものから メロディをキーとし て検索する手法を提案し 、それを逆に 採譜シ ステムに 応用することを考えている。

±@µÆ¼Ê

G.

Ï
¼ÏÀÊËwÀÅ

¿´

ËÀÄ¼

図 3.

音響信号からのメロディ探索

h312i
時間{周波数解析
音響信号からの メロデ ィ検索に おいて 、後の処理を 容易にするために時間{周波数解析を行う。解析の方法は FFT や フィル タバン クを 用い るこ とが多いが 、FFT では周波数軸上のサンプル点が線形に 並ぶため 、音楽音響信号の解析には 不向きである。そこで 、中心周波数を 等比数列に並べたフィルタバン ク(4) を用いることにする 。この 手法に よって解析され たものは 、図?? に示すような 、パワが時間と周波数の関数として表される。

I
図 2.

¼Í¸ÃÌ¸ËÀÆÅ Í¸ÃÌ¼l

採譜システムの概要

きる。
音 楽デ ー タに 対 す る 書 誌 情 報に よ る 検 索
は 、曲名や 作曲者 、歌唱者など 、楽曲の持つ書誌的な 情報をキ ーにし て 検索するもので 、技術的には 図書のデ ータベースなど の検索と同等である。

h313i
スペクト ログ ラ ムから の メロディ検出
従来の採譜シ ステムでは 、スペ クト
ログ ラムから 鳴っていると思われ る音を 抽出するとい うアプ ローチをとっている場合が 多
いが 、ここでは 逆に 、鳴っている音を 仮定してその音が 鳴っている確度を調べるというアプローチを採る。

一方 、内容検索は 音楽の演奏内容を検索のキーとするものである。この場合 、書誌情報が 分からない場合でも検索できたり、多様な検索が可能となるなど の期待も大きい。
音響信号の内容を検索する研究とし て 、柏野らの研究(2)があるが 、これは 時間的に 長い音響信号の中に 、それより短いキーとほとん
ど 同じ 信号が 含まれ るかど うか 、含まれ る場
合はど こかを探索する技術である。音楽音響
信号を 対象とし た場合 、キーには 頭に 浮かんだ 旋律だけではなく伴奏も忠実に 含ませなけ
れば ならない 。また 、キーも音響信号である必要があるので 、鼻歌など を入力とする場合には 音響信号を合成する必要もある。このため 、この技術を音楽の内容検索に 適用するのは困難である。

存在を仮定し た音が 鳴っているとい うことの確度とし て 、SN 比の適用を考える。SN 比を論じ るときには 通常 、ど れが 信号でど れが雑 音で あ ると い うこ とが 明 確に され て い るが 、ここでは 存 在仮 定のたてか たに よって 、信号とみなされ る成分と雑音とみなされ る成分が 変わってくる。あくまでも便宜的なものと考えて頂きたい。
さて 、ある単音を人間が 聴取し ようとする
とき 、その音の認識を 妨げ るのはその単音の周波数成分と重なるような周波数成分を持つ音である。つまり、多くの楽器のが そ うであるように周波数成分が 基音とその倍音で構成されているとするとき 、目的の音の周波数成

こ れ に 対し 、柳 瀬 ら の 研 究(3)で は 、予 め
パートご とに 情報が 区分されており、かつ演奏情報を 高度に 捨象し てある MIDI デ ータを用いて内容検索を試みている。この方法によ3ただし 、h は MIDI ノート 番号のよ うな 音高を表す値、d はその音の継続時間である。
時刻 t 、周波数 f の パワを P (t; f ) し 、単音が 開始され たと 仮定する時刻を t0と すると 、信号相当周波数のパワの和は

Ps =

d01 X
X
i=0 j 2Fs

P (i + t0 ; j ) 1 1 1 1 1 1 1 1 1 (4)となり、雑音相当周波数のパワーの和は
図 4.

スペクトログラムPn =ここで 、特殊な場合を除いて倍数が ある程度大きくなると倍音のパワは小さくなることを勘案し て 、信号を構成するのは 基音に 対して 6 倍までの正整数倍の周波数と仮定すると 、雑音となる周波数成分は 表 1の下線付きの周波数となる。表中にあるにもかかわらず 下線が 引かれていないものは 、ある存在を仮定した音の基音ないし 倍音と同じ 周波数になっている成分であり、信号でもあり雑音でもあるといった矛盾を 生じ させないために 信号としてのみ扱うものである。

=ff0
3f2 02f0
5f2 03f0fff0
4f3 05f3 02f 0ffff0
5f4 0
3f2 0

13 0
23 0

14 0
12 0
34 0f0f0f0f0f0
6f
5 0

1
5253
545f0f0f0f0f0f0

1
61
31223
56

=

6f0 ; 1 f0 ; 1 1 1 ; 5 f052m
Y
i=101i1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 (8)とする。
この評価量 によって、単音ではなくて メロ
デ ィが 対象とし た音響信号に 含まれ ているかど うかが判断できる。
MIDI 楽器のオーボエ 、ピアノ、ベース、ドラムの音色によって演奏された 1 分程度の演奏に 対し て 、それに 含まれ る 2 小節強の メロ
デ ィを 検 索し た 結 果を 図 5に 示す。図中の 横軸は スペクトログ ラムの時間分解能を基準にしており、ここでは 1024=44100 秒である。また 、縦軸は 式 (8) で 表され る 評 価量で あ る 。
図には 急峻なピ ークが 見出せるが 、これは 検索をかけた旋律と全く同じ 部分の開始時刻である。うまく検索ができたことを示している。となり、雑音を構成する周波数は Fn は1:

PN > 0)(6)(PS = PN = 0)
(PS > 0; PN = 0)(の よ うに m 個の 単音 列で 表され て い るならば 、i 番目の単音に対しての を求め 、

Fs = ff0 ; 2f0 ; 3f0 ; 4f0 ; 5f0 ; 6f0 g 1 1 1 1 (1)n0P 18 2<  arctan Pns

F = (N1 ; N2 ; 1 1 1 ; Nm ) 1 1 1 1 1 1 1 1 1 1 1 (7)

これによると 、基音 f0に対し て信号を構成する周波数 Fs は

Fn =P (i + t0 ; j ) 1 1 1 1 1 1 1 1 (5)のよ うに 定義すると 、 は 存在を 仮定し た 単音が 鳴っている可能性に 応じ て 0 から 1 の値をとる。大きいほど 可能性が高い。
ここまでは 単音の存在の評価の仕方の話であ るが 、メロディの探索に あたっては 、それを構成する単音全てについて 、時間的な連続性を考慮にいれつつ を求め 、積をとることにする。つまり、旋律が表 1. ノイズとみなす周波数着目する
周波数に乗ずる係数
周波数
1=21=31=41=51=612 0i=0 j2Fnとなる。この 2 つの量から 信号とみなされ る成分と雑音とみなされ る成分の比をとりたい
が 、一般的な SN 比は値域が有界でないので 、値域が [0; 1] となる指標を

分 (基音や倍音) の整数分の 1 の周波数の成分があると邪魔になるのである。

f02f0
3f0
4f0
5f0
6f0d01 X
Xo1 1 1 1 1 1 1 (2)である。
ここでは単音 N を代表する値とし て 、音高と継続時間だけを用いることにする。

N = (h; d) 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 (3)4

同一楽曲で演奏する楽器を変えた場合も幾つか 実験を 行なったが 、ピ ークの高さにはば らつきがでるものの、正確に検索を行えている。
また 、同一楽曲で 検索キーを含むパート を除いたものや楽曲自体全く別のものにし て検索をかけたところ 、ピ ークは 現れず、誤検出する恐れも少ないことが分かった。
ここに 示し たのは予備実験であるので 、値がいくつ以上のときに 検出されたとするかの閾値の設定については現在検討中である。
0.04

evaluation value

0.03

0.02

0.01

00500

1000

1500
time

2000

2500

高の高低を定量的に判断することが 苦手であるが 、ど ちらが 高いか低いかを定性的に 判断する能力は 先天的に兼ね備えている。ここで提案するマン・マシン 協調シ ステムは 、そのような人間の能力を巧みに 計算機への助けとし 、逆に 定量的判断が 苦手な人間を計算機が手助けすることに より、精度の高い採譜を 行おうとするものである。

UU m6jm UU m6jm
 z jm6jmm jm/jmm jm6jmm U jm U jmz jm6mj jm/mj jm6mj UUU jm6mj UUU jm6mj

m m m m m
図 8.

和音をまとめての検索

時系列アクティブ 探索法」, 電子情報通信学会
論文誌, Vol. J82-D-II, No. 9, pp. 1365{1373,1999(3) 柳瀬 隆史, 高須 淳宏, 安達 淳: 「 音楽検索におけ る自動 インデ クシング 報 」, 情報処理学会研究報告, 98-DBS-116(2)-42, pp. 117{124,1998(4) 柏 野 邦 夫, 中 臺 一 博, 木 下 智 義, 田 中 英 彦:「 音 楽 情 景 分 析の 処 理モデ ル OPTIMA に おけ る単音の認識 」, 電子情報通信学会論文誌,

図 7. 人間の与えた情報による メロデ ィ候補の削減

Vol. J79-D-II, No. 11, pp. 1751{1761, 1996
(5) 木下 智義, 坂井 修一, 田中 英彦: 「 周波数成分 の 重な り 適 応 処 理を 用 い た 複 数 楽 器の 音源同定処理 」, 電子情報通信学会論文誌, Vol.
4.

まとめ

J83-D-II, No.4, pp. 1073{1081, 2000

本稿では 、マン・マシン 協調に よる採譜システムと 、それを実現する際に 有効と思われる音響信号からの旋律探索手法について 、概要を述べた。
人間が 計算機に 与えられ る情報とし ては 本
稿ではご く概念的なことしか述べなかったが 、今後は イン ターフェースの詳細な設計をする必要が ある。また 、旋律探索手法に ついて有効性がある程度見えてきたが 、採譜シ ステムへの適用については手法自体に 更なる検討が必要である。
なお 、本稿では 検索を 1 つの旋律を単位とし て 行っていたが 、人間側からの情報入力が容易であれば 、和音のよ うな複数音が 同時に鳴っているものを 一気に まとめて検索することも可能と考えている。例えば 、図 8のようなC と Am の 計算機に よる聴取を 、3 音まとめて行えるようにすることを考えている。
文献(1) 半田 伊吹, 木下 智義, 武藤 誠, 坂井 修 一, 田中 英彦: 「 マン・マシン 協調による採譜シ ス
テ ム 」, 情 報 処 理 学 会 音 楽 情 報 科 学 研 究 会,
99-MUS-34, pp. 21{26, 2000
(2) 柏野 邦夫, ガビン スミス, 村瀬 洋: 「 ヒ ストグ ラム特徴を用いた音響信号の高速探索法 |6