2-7-13
Instrogram を用いた楽器構成に基づく類似楽曲検索∗◎北原 鉄朗（ 京大），後藤 真孝（ 産総研），△駒谷 和範，△尾形 哲也，△奥乃 博（ 京大）

はじめに

2

Instrogram

Instrogram[2, 3] は，スペクトログラムに似た楽器存在確率の視覚表現である．解析対象となる楽器ごとに 1 つの画像が存在し ，画像の色の強さによってその楽器が存在する確率を表す．各画像は横軸が時刻，縦軸が基本周波数（ F0 ）を表し，対象楽器を Ω ={ω1 , · · · , ωm } とすると，i 番目の画像の各ピ クセル(t, f ) の色の強さが，時刻 t において周波数 f を F0とする楽器ωi の音が存在する確率 p(ωi ; t, f ) を表す．
ただし，F0 が同じ楽器音が同時に複数あることはないと仮定している．Fig. 1 に例を示す．これは，ピアノ，∗

Note NumberNote Number

類似楽曲検索は，内容に基づく音楽推薦やプレ イリスト自動生成などの礎となる技術である．類似楽曲検索の研究において重要なことは，楽曲間の類似度をどのような音楽要素に着目して設計するかである．
本研究では，楽器構成に基づいた楽曲間類似度を検討する．
「ピアノソナタ」「弦楽四重奏」などのような分類が用いられることから示唆されるように，「どのような楽器で演奏されているか」は，その楽曲の雰囲気を特徴づける重要な要素である．そのため，似た雰囲気の楽曲を集めたプレイリストを生成するといった場面で，楽器構成に基づく類似楽曲検索は重要な役割を担うと考えられる．
楽器構成に基づく類似楽曲検索を実現する方法として，2 つの方法が考えられる．1 つは，楽器同定手法を用いて楽器構成を同定した後，同定結果同士のマッチングを取る方法である．しかし，混合音から楽器同定を正しく行うのは難しく，実演奏に対して十分な精度で楽器同定が実現された事例はほとんどない．もう 1 つは，楽器構成に関連の高い特徴量を抽出し，この特徴空間上で距離を測る方法である．実際，従来研究において，メル周波数ケプストラム係数（ MFCC ）などが音色類似度として用いられた [1]．このような特徴量は比較的簡単な処理で求めることができ，一定の成功を収めているが，必ずしも楽器の音色を鮮明に反映するものではなく，和音のボイシングを始めとする編曲などの他の音楽的要素からも影響を受ける．
本研究では，上のどちらでもなく，我々が以前提案した Instrogram[2, 3] の類似度尺度を設計することで，楽器構成に基づく類似楽曲検索を実現する． Instrogram は，非決定論的に楽器構成を表現する方法で，楽器存在確率の時間・周波数表現として与えられる．Instrogram では楽器構成をシンボル化して表さないので，一致する／しないといったマッチングにとど まらない連続的な類似度尺度を提供できるとともに，MFCC などに比べて，楽器構成を確率として直接的に表すため，実際の楽器構成をより反映した類似度計算が期待できる．つまり，本アプローチは上記 2つの中間を狙ったものと考えることもできる．

Note NumberPianoNote Number

180706050010Violin

2030010Clarinet

2030010Flute20300102030807060508070605080706050Time [sec]Fig. 1 Instrogram の例（ピアノ，バイオリン，フルートによる「蛍の光」の三重奏）
PFVN

CLFL
05101520Time [sec]2530

Fig. 2 Fig. 1 の簡略版（ 低周波数分解能版）
バイオリン，フルートによる「蛍の光」の三重奏を，ピアノ，バイオリン，クラリネット，フルートを対象にInstrogram を作成したものである．ここで，時間分解能は 10ms，周波数分解能は 100cent とした．高い周波数分解能が要らない場合は，周波数軸をいくつかの区間に分割して区間内の値をマージすることで周波数分解能を粗くすることもできる．全周波数区間を N個の区間 I1 , · · · , IN に分割したとき，k 番目の周波数
区間 Ik の楽器存在確率 p(ωi ; t, Ik ) は p(ωi ; t, f ∈Ik f )と定義する．簡略化された Instrogram を Fig. 2 に示す．Fig. 1 あるいは Fig. 2 より，この楽曲は高音部はフルート，中音部はバイオリン，低音部はピアノによる演奏であることがわかる．

3

Instrogram を用いた楽器構成類似度

楽器存在確率を用いて楽曲間の類似度を計算する方法を述べる．ここでは，類似度の代わりに，Instrogram 間の距離（非類似度）を DP マッチング（ DTW ）で求める．

Music Information Retrieval based on Instrumentation Similarity Using Instrogram.
by Tetsuro Kitahara (Kyoto University), Masataka Goto (AIST), Kazunori Komatani, Tetsuya Ogata,and Hiroshi G. Okuno (Kyoto University)日本音響学会講演論文集−603−

2006年9月

Table 1

C12C14
C21
C38
C19
C40
C43
J01
J02
J03

C1206429
5756
7073
7320
8650
8910
9711
9856
9134

楽曲間の非類似度計算結果．C12 などの C/J は Classical/Jazz，番号は楽曲番号．
(a) Instrogram（ 楽器存在確率）を用いた場合
(i)
(ii)
(iii)
(iv)
3-best-similarity
C14
C21
C38
C19
C40
C43
J01
J02 J03 pieces
C21, C14, C38
0C21, C12, C38
5734
0C14, C12, C38
6553
6411
0C21, C14, C38
8181
7274
7993
0C21, C12, C388353
8430
8290 8430
0J02, J01, C439635
9495
9729 8148 8235
0J01, J02, J03
10226 10252 10324 8305 8214 6934
0J02, J03, C4310125 10033 10610 8228 8139 7216 6397
0J01, C43, J03
9136
8894
9376 8058 8327 7480 6911 7223
0 J01, J02, C43(i)
C12C14C21C38C19C40C43
J01
J02
J03

C120
17733
17194
18500
17510
17417
18338
17657
17484
17799

C14C21C38018134
18426
18759
19011
17459
17791
17776
18063

018061
18222
18189
17728
17284
17359
17591

019009
19099
18098
17834
18009
18135

(b) MFCC を用いた場合
(ii)
(iii)
C19C40
C430
18100
18746
18133
17415
17814

018456
17983
17524
18038

1. 各時刻 t に対して，ベクトル ptを全楽器存在確率の連結として求める：
pt = (p(ω1 ; t, I1 ), p(ω1 ; t, I2 ), · · · , p(ωm ; t, IN )) .
ここで， は転置を表す．
2. 2 つのベクトル p, q 間の距離をコサイン距離として定義する：
dist(p, q) = 1 − (p, q)/||p||·||q||.

ただし ，(p, q) = p Rq, ||p|| = (p, p). R =(rij ) は正定値行列で，要素間の関係を定義する
ものである．たとえば ，ある 2 曲において同じ楽器が異なる音域で演奏されている場合，あるいは同じ楽器族だけど 異なる楽器で演奏されている場合，この 2 曲には高い類似度を与えたい場合があるであろう．そのような場合，対応するrij に 0 より大きい値を与えることで，こういった要素間の関係を考慮することができる． R が単位行列のとき，(p, q) および ||p|| は通常の内積およびノルムとなる．
3. 上で定義した距離尺度を利用して，{pt }, {qt } 間の距離（ 非類似度）を DTW で計算する．

4実験

RWC 研究用音楽データベース（ クラシック，ジャズ）[4] から選んだ比較的小編成の 10 曲の冒頭 1 分に対して，楽器構成の類似度計算の実験を行った．使用
した 10 曲の楽器構成は Table 2 に示す．R は単位行列を用いた．また，比較のために楽器存在確率の代わりに MFCC（ 12 次元）を用いた場合も行った．
結果を Table 1 に示す．Instrogram を用いた場合，グループ内の非類似度は多くが 7000 以下となり，グループ (i)-(iv) 間の非類似度はほとんどが 9000 以上となるなど ，おおむね実際の楽器構成を反映した非類似度を得ることができた．
Instrogram と MFCC とでは，前者の方がグループ内／グループ間の非類似度にはっきりとした差があっ日本音響学会講演論文集

016762
17585
17792

J01(iv)
J02

J03015870
16828

01698703-best-similarity
piecesC21, C40, J02
C43, C12, J02
C12, J01, J02
J01, J02, C21
J02, C12, J03
C12, J02, J01
J01, C14, J02
J02, C43, J03
J01, J03, C21
J01, J02, C21

Table 2 実験で用いた楽曲およびその楽器構成
ClassicalJazz(i) No. 12, 14, 21, 38(ii) No. 19, 40(iii) No. 43(iv) No. 1, 2, 3

Strings
Piano+Strings
Piano+Flute
Piano solo

た．実際，弦楽器による楽曲（グループ (i) ）と弦楽器を含まない楽曲（グループ (iii) および (iv) ）に対して類似楽曲ベスト 3 を求めると，Instrogram の場
合では，前者はすべてグループ (i) の楽曲が選ばれ，後者はすべて弦楽器を含まない楽曲が選ばれたのに対し，MFCC ではそうでないことがあった．
以上の結果に基づき，楽器構成に基づいて類似楽曲検索をするプロトタイプシステムを構築した1．ユー
ザが指定した楽曲との類似度が高い順にデータベース中の楽曲を提示し ，その中から 1 曲選ぶと，楽器存在確率をリアルタイムに表示しながら再生する．

5

おわりに

本稿では，楽器構成の確率的表現法 Instrogram 間の類似度を定義し ，楽器構成に基づく類似楽曲検索を実現した．今後は，メロディやリズムなどの他の音楽要素を取り入れ，総合的な類似楽曲検索を目指す．
謝辞 本研究の一部は，日本学術振興会科学研究費補助金，21 世紀 COE プログラム，CREST の支援を受けた．

参考文献[1] J.-J. Aucouturier and F. Pachet: Music Similarity
Measure: What’s the Use? Proc. ISMIR, pp.157–163, 2002.
[2] 北原 他：Instrogram：楽器存在確率に基づく音楽視覚表現法，音講論集（ 春），2-2-12，2006.
[3] T. Kitahara et al.: Instrogram: A New Musical Instrument Recognition Technique Without Using Onset Detection Nor F0 Estimation, Proc. ICASSP, V,
pp.229–232, 2006.
[4] 後藤 他：RWC 研究用音楽データベース：研究目的で利用可能な著作権処理済み楽曲・楽器音データベース，
情処学論，45, 3, pp.728–738, 2004.

−604−

1 http://winnie.kuis.kyoto-u.ac.jp/˜kitahara/instrogram/

2006年9月