2L-02

音色空間を用いた音源同定システム
日比 啓文†
半田 伊吹†
坂井 修一†† 田中 英彦††
東京大学工学系研究科†
東京大学情報理工学研究科††

1.はじめに3.音色空間写像

長年にわたり、コンピュータで音楽から楽音を認識し、楽譜

先述の通り McAdams の提案した音色空間は音高、音長のをつくる研究がなされてきた[柏野 96]。
それらのシステムは一違いによって大きく値が変化した。その変化の影響をなくすた般的に楽音の周波数成分が重なりあったときに楽音を同定すめの音色空間写像を紹介する。

ることは難しく適応処理も考案された[木下 00]。しかし、従来まず時間周波数解析の結果からは、それぞれの調波構造の音の手法は解析空間として確率空間やスペクトログラムを用い長と基本周波数を検出することができる。この検出された音長ているため、時間周波数解析で分離できない楽音に対する音源と基本周波数の音高をもちいて、従来の音色空間から音長と音同定は困難であった。本稿では楽器の種類は有限であるという高の差異をなくした仮想音色空間上への写像のことをここで観点から、楽器が出現する音色空間を解析空間として用い、楽は音色空間写像と呼ぶ。そして、ある音高 i、音長 j の音色空音の周波数成分の重なりを考慮した音源同定システムを紹介

間上の点 X から固定音色空間上の点 Y への音色空間写像 Fijする。また、音色空間の研究は未だ確立しているとは言い難い

は式(1)のように定義する。ここで n はサンプル音源データのため、本稿では音高、音長によって音色には違いがあるという楽器数、M は音色空間の次元数、Pij はサンプル音源データ、I、観点から音色空間写像を用いて、一定の音高、音長で音色空間

J はサンプル音源データの音高数と音長数、表記のベクトルはを扱うことを試みた。

それぞれ n 次のベクトルである。

2.楽器の音色空間[McAdams 99]
音色空間の研究は心理学の分野からはじまり、Grey が楽器の音色距離をアンケート等から測定し、それらの距離を元に 3次元空間を生成したことを発端とする[Grey 77]。
近年では McAdams らが音色特徴量の計算式を提案しておrrrr
Pij = ( p ij1 ,L , pijM ), Fij = ( f ij1 , L, f ijM )1  J I ∑∑ Pij I ⋅ j  j =1 i =1 rrrr
X = ( x1 , L, x M ), Y = ( y1 , L, y M )Fij Pij =Y = Fij X

り、これらの音色特徴量に従って音色空間を形成した[McAdams 99]。この研究で用いられている音色特徴量は 1)

4.音色空間を用いた音源同定システム

スペクトルの重心、2)スペクトルの立ち上がり時間、3)スペク
トルの細かい構造、4)スペクトル流動、の 4 つである。この研究では、アンケートによる観測データを CLASCAL のアルゴ
リズムを用いて作られた音色空間軸と、提案しているの計算式を用いて求められたの軸の確からしさを潜在構造解析で検証している。しかし、これらは計算式としては音高、音長の考慮はされているが、実際には音高、音長の違いによって、音色空間の位置は大きくずれてしまうなどの問題点があげられる。
Sound Source Identification System using Timbre Space,Hirofumi Hibi, Ibuki Handa, Shuichi Sakai, Hidehiko Tanaka,†Graduate School of Eng. Univ. of Tokyo ††Graduate School ofInformation Science and Technology, Univ. of Tokyo
7-3-1 Hongo, Bunkyo-ku, Tokyo, 113, Japan

図 1:音源同定システムの全体像式(1)本稿で提案する音源同定システムの全体像を図 1 に示す。

音楽ファイルから求められた様々な音高、音長を持つ調波構造

システムは入力を音楽 WAV フォーマットファイルとし、出力エージェントを同じの仮想音色空間上に保持する 3)仮説生成を楽器名、音高、音長とし、大きく音色空間処理部、調波構造部と連動して、仮説の検証を行うときの仮想音色空間上の出現検知部、音色空間処理部、仮説生成部の 4 つからなる。実験の位置を保持する、の 3 つがある。

入力 WAV ファイルとしてでは「蛍の光」の 3 重奏を用いた。

4.4 仮設生成部

4.1 調波構造検知部

仮説生成部は音色空間処理部から得られた音源数と音源位

調波構造検知部は、時間周波数解析の結果から調波構造探索

置からの距離を用いて、それぞれの調波構造がどの音源に属すエージェントを用いて調波構造を検出し、調波構造エージェンるかの仮説を生成する部分である。ここで仮説を生成するため

トを生成する部分である。
動作として 1)時間周波数解析結果かに用いる距離 D には式(2)で表すマハラノビス凡距離を用いる。

ら得られる 3 次元空間上に、十分な数の調波構造探索エージェ

なお、S は分散共分散行列である。

ントを配置する、2)各々の調波構造探索エージェントは自律的に時間方向、周波数方向を移動し、一番近いパワーの極大値をX = ( X − Fij Pij )探索する、3)各々の調波構造探索エージェントは周波数の整数

D 2 = XS −1 X t倍の位置に高調波探索エージェントを配置し、各々の高調波探生成される仮説は、大別して 1)周波数の重なりがなく良好な索エージェントは自律的に高調波成分を探索する、4)各々の調仮想空間の位置関係にある、2)周波数成分の基本周波数同士が波構造探索エージェントは高調波成分の 2 乗平均平方根が極一致もしくは整数倍の関係になっている、3)周波数成分の一部小値もしくは閾値より小さくなる点を時間方向に探しこれを同士が重なっていて、お互いの仮想音色空間位置がずれている、調波構造の両端点として調波構造を検出、5) 調波構造探索エと大きく3つに分類される。
このうち、2)は基本周波数が同じ、ージェントが他の高調波探索エージェントと同じ波形を追跡

2 倍,3 倍と仮説を立てその周波数成分を、3)は重なる周波数成していないとき、調波構造エージェントを生成する、という手分を調波構造エージェントが保持しているためその周波数成順を経て調波構造エージェントを生成する。また、調波構造エ分を、「お互いが使わない」、「片方が使う」、「両方が使う」、ージェントは高調波成分の重なりが検知されたとき、その情報「両方で 1/2 ずつ使う」といった場合を考え、スペクトル分離も保持する。

を行いその結果を音色空間処理部に送り、仮想音色空間位置よ4.2 音色空間写像生成部

り判断する。

音色空間写像生成部は3.で示した音色空間写像関数Fij をあらかじめ計算してデータとして保持しておく部分である。実験

5.まとめ

では、音源ファイルとしてサウンド・キャンバス SC-8850 か

本稿では音色空間を用いて楽器の重なりを認識するら得られたピアノ、ヴァイオリン、クラリネット、フルート、システムを紹介した。周波数成分が重なったとき、音トランペットの 5 種類の楽器音を用いた。また、音色空間軸と源同定が非常に困難であるという問題に対し、音色空して 2.で提唱されている 1)スペクトルの重心、2)スペクトルの間を用いた解決策を提案した。

立ち上がり時間、3)スペクトルの細かい構造、4)スペクトル流動を用いた。音色空間写像関数 fijm としては 2 次の x 方向 Bスプライン曲線関数を用いた。

4.3 音色空間処理部
音色空間処理部は、時間方向に並ぶ仮想音色空間と調波構造エージェントの仮想音色空間上の位置を保持しておく部分である。動作として、1)ある時間の仮想音色空間上で同時に出現する調波構造エージェントの数を元に音源数と音源の仮想音色空間上の位置を特定する、2)音色空間写像をもちいて、入力

参考文献[柏野 96] 柏野, 中臺, 木下, 田中: 音楽情景分析の処理
モデル OPTIMA における単音の認識, 電子情報通信学会論文誌, Vol.J79-DⅡ(11), No.11, pp.1751-1761, 1996
[木下 00]木下 智義, 坂井 修一, 田中 英彦: 周波数成分の重なり適応処理を用いた複数楽器の音源同定処理,信学論(D-Ⅱ), Vol.J83-D-Ⅱ, No.4, pp.1073-1081, 2000
[McAdams 99] McAdams, S.: Perspectives on theContribution of Timbre to Musical Structure,
Computer Music Journal, Vol.23, No.3, pp.85-102,
1999[Grey 77] J. M. Grey: Multidimensional perception
scaling of musical timbres, J. Acoust. Soc. Am., Vol.61,
No.5, pp.1270-1277, 1977