論文

多重奏を対象とした音源同定：混合音テンプレートを用いた音の重なりに頑健な特徴量への重み付け及び音楽的文脈の利用
北原 鉄朗† a)
奥乃

後藤 真孝††

駒谷 和範†

尾形 哲也†

博†

Instrument Identification in Polyphonic Music: Feature Weighting Based on
Mixed-Sound Template and Use of Musical Context
Tetsuro KITAHARA†a) , Masataka GOTO†† , Kazunori KOMATANI† , Tetsuya OGATA† ,and Hiroshi G. OKUNO†

あらまし 本論文では，多重奏に対する音源同定において不可避な課題である「音の重なりによる特徴変動」
について新たな解決法を提案する．多重奏では複数の楽器が同時に発音するため，各々の周波数成分が重なって干渉し，音響的特徴が変動する．本研究では，混合音から抽出した学習データに対して，各特徴量のクラス内分
散・クラス間分散比を求めることで，周波数成分の重なりの影響の大きさを定量的に評価する．そして，線形判
別分析を用いることで，これを最小化するように特徴量を重み付けした新たな特徴量軸を生成する．これにより，周波数成分の重なりの影響をできるだけ小さくした特徴空間が得られる．更に，音楽的文脈を利用することで音源同定の更なる高精度化を図る．実楽器音データベースから作成した二重奏〜四重奏の音響信号を用いた実験により，二重奏では 50.9%から 84.1%へ，三重奏では 46.1%から 77.6%へ，四重奏では 43.1%から 72.3%へ認識率の改善を得，本手法の有効性を確認した．
キーワード

音源同定，楽器音，混合音テンプレート，音楽情景分析，MPEG-7

1. ま え が き

期待されている．実際，音楽を含むマルチメディアコ

ディジタル音楽配信や大容量携帯音楽プレーヤーのが制定され，研究開発が進められている．

ンテンツを記述する統一的枠組みとして MPEG-7 [1]

普及により，個人が大量の音楽音響信号を入手・利用

我々は，記述すべき音楽的内容として楽器名が重要できるようになったのに対し，目的の楽曲を簡単に探であると考えている．どの楽器で演奏されたかというし出す手段は十分ではない．タイトルやアーティスト

情報は，「ピアノソナタ」「弦楽四重奏」などの分類が名などの書誌情報である程度絞り込むことはできても，あるように，特にクラシック音楽では楽曲を特徴づけ

音楽は内容を一覧することが困難なため，最終的にはる重要な要素である．そのため，例えば「弦楽四重奏

一曲一曲試聴して探すことが強いられている．この現の曲が聴きたい」といった楽器に基づく検索には一定状を打破するには，計算機を用いた音楽検索（音楽情の需要があると考えられる．また，楽器名は，聴取者

報検索）の実現が不可欠である．中でも，計算機を用の感性や主観に依存しないという観点からも記述すべ

いて音楽の内容を統一的な枠組みで記述する技術は，き音楽的内容としてふさわしい．更に，「フルートが弾効果的な音楽情報検索システム実現のための鍵技術とき始めるところから聴く」といった楽器名をキーとした頭出しに利用することもできる．

†

本論文では，上記で述べた音楽音響信号に対する楽京都大学大学院情報学研究科，京都市
Graduate School of Informatics, Kyoto University, Sakyo-ku,
Kyoto-shi, 606–8501 Japan

††

器名情報の記述で中心的な処理となる，混合音からの産業技術総合研究所，つくば市

楽器名の同定（音源同定）を扱う．音源同定は，パターNational Institute of Advanced Industrial Science and Tech-

ン認識の一問題と考えることができ，音声情報処理に

nology (AIST), Tsukuba-shi, 305–8568 Japana) E-mail: kitahara@kuis.kyoto-u.ac.jp

電子情報通信学会論文誌 D Vol. J89–D

おける話者同定に対応する問題設定である．しかし，
c （社）電子情報通信学会 2006
No. 12 pp. 2721–2733 

2721

電子情報通信学会論文誌 2006/12 Vol. J89–D No. 12

通常複数の楽器が同時に演奏されるという点で難しく，

楽 器 を ω1 , · · · , ωM と す る ．こ の と き 解 く べ き 問

従来研究において，単一音を対象としたもの [2]〜[11]

題 は ，n1 , · · · , nK の 各々（nk と 表 記 ）に 対 し て

は 10〜30 種類程度の楽器を扱っているのに対し，多楽器による二重奏〜三重奏を扱うにとどまっている．

argmaxωi ∈{ω1 ,···,ωM } p(ωi |nk ) を求めることである．
ここで，p(ωi |nk ) は単音 nk が楽器 ωi による演奏である確率を表す．実際には，単音 nk から複数の音響

多重奏に対する音源同定が難しい主たる原因は，周波的特徴を抽出し，この音響的特徴からなる多次元ベク

数成分が重複することにより，各楽器の音響的特徴を

トル xk を考え，argmaxωi p(ωi |xk ) を求める．特徴

重奏を対象としたもの [12]〜[16] は 3〜5 種類程度の正確に抽出できないことにある．もしも，音源分離技

量の詳細は 5. で述べるが，周波数重心（各周波数成分

術により，混合音から各楽器音が完全に分離できるののパワー値を重みとした周波数の重み付き重心）やパであれば，混合音に対する音源同定は，単一音の音源

ワー包絡（各周波数成分のパワーの累積により計算）同定の問題に帰着する．しかし，実際には，周波数成の近似直線の傾きなど，我々が独自に設計した 43 個分の重複が頻繁に発生するため，混合音をひずみなくを用いる．p(ωi |xk ) は事後確率と呼ばれており，ベイ

分離するのは困難である．

ズの定理により以下のように展開できる：

本論文では，この周波数成分重複の問題を，同定に用いる特徴量の重み付けにより解決する．特徴量が周
波数成分重複の影響を多分に受けていれば低い重みを与え，逆にあまり影響を受けていなければ高い重みを与える――このような特徴量の重み付けが実現できれば，音の重なりに対する頑健性を改善することができる．本研究では，各特徴量がどの程度周波数成分重複の影響を受けているかを，その特徴量のクラス内分散・クラス間分散比として定量的に評価することで，上記の重み付けを線形判別分析による次元圧縮に帰着させp(ωi |xk ) =p(xk |ωi )p(ωi )M.

p(xk |ωj )p(ωj )j=1

ここで，p(xk |ωi ) は楽器 ωi の確率密度関数，p(ωi ) は事前確率である．確率密度関数は，あらかじめ用意された多数の学習用特徴ベクトルに基づき，これらが正規分布などの確率分布に従って生起すると仮定して計算する．この学習用特徴ベクトルは，各楽器の様々な音響信号から，楽器同定時と同様の手順により特徴抽る．線形判別分析は，クラス内分散・クラス間分散比を出して得られたもので，楽器名ラベルが付与されてい最小化するように特徴量を加重混合した新たな特徴量る．このような楽器名ラベルが付与された学習用の特軸を作り出す手法で，混合音から抽出した学習データに対して線形判別分析を適用することで，周波数成分
重複の影響を最小化した部分空間が得られる．本論文
では，この方法を DAMS 法（discriminant analysis

with mixed sounds）と呼ぶ．従来，同問題に対して適応型混合テンプレート [13]，周波数成分の重なり適
応 [15]，ミッシングフィーチャー理論 [16] などが提案されてきたが，音の重なりに対する頑健度に基づいて特徴量に重み付けをするという試みはなかった．
更に本論文では，音楽的文脈（前後関係）に基づいて音源同定の更なる性能向上を図る．旋律の連続性を考慮して事後確率を計算することで，フルートによる一連の旋律の中でクラリネットが一音だけ出現すると徴ベクトルを数多く集めたデータベースを，本研究では特徴量テンプレート [15] と呼ぶ（注 2）．

3. 音の重なりに頑健な音源同定
本章では，音の重なりによる特徴変動に頑健な音源同定手法の設計について論ずる．まず，個々の楽器音の同定の際に，同時に発音する他の音の影響を抑える
ため，調波構造を抽出することが有用であることを述べる．次に，調波構造抽出だけでは不十分であることを述べ，その解決策として，音の重なりに対する頑健度に応じて特徴量に重み付けをする方法を提案する．

3. 1 調波構造モデルの利用
音声認識や話者認識などの研究では，メル周波数ケ

いった，音楽的に不自然な誤りを削減する．

2. 問 題 設 定
本 研 究 で は ，音 源 同 定 を 単 音（注 1）ご と に 行 う もの と す る ．今 ，与 え ら れ た 音 楽 音 響 信 号 に K
個 の 単 音 n1 , · · · , nK が 含 ま れ て い る と し ，対 象
2722

（注 1）：本論文では，「単音」と「単一音」を異なる意味で用いる．前者
は，処理の一単位となる音で，楽譜上の一音符に相当する．通常，一つの単音は調波構造を一つだけもつ．一方，後者は，単音が同時に一つしか鳴っていない音を指す．
（注 2）：本研究では，テンプレートマッチングのような事例ベースのアプローチで用いられる個々の事例ではなく，統計的に処理される多数の特徴ベクトルから構成される集合全体をテンプレートと呼ぶ．

論文／多重奏を対象とした音源同定：混合音テンプレートを用いた音の重なりに頑健な特徴量への重み付け

プストラム係数（MFCC）をはじめとする，スペクトけである．変動の大きな特徴量には小さな重みを，変ル包絡に関する特徴量がよく用いられる．これは，観動の小さな特徴量には大きな重みを与えることができ測されたスペクトルの大まかな形をとらえるものであれば，頑健な音源同定を実現できるはずである．以下，り，複数の単音が同時に鳴ったときのスペクトルからこの特徴量の重み付けによる頑健性の向上について論

個々の単音に起因する部分に着目することは困難であずる．

る．そこで，打楽器を除く多くの楽器音が調波構造を

3. 2. 1 関 連 研 究

もつことを利用（注 3）し，音楽音響信号から個々の単音従来研究において，上記と類似したアイデアとしての調波構造を抽出して，そこから特徴量を抽出する方
本研究においても，各単音の調波構造を抽出し，そMissing Feature Theory [16]，周波数成分重なり適応
処理 [15] が検討されてきた．
• Missing Feature Theory [16] は信頼できない特こから特徴量を抽出する．ここでは，単音 nk の調波

徴量をマスクすることで，事後確率の計算でこのよう構造モデル H(nk ) を以下のように表す．

な特徴量を使わないようにする方法である．特徴量を法が広く用いられてきた [12], [15], [19], [20]．

H(nk ) = {(Fi (t), Ai (t)) | i = 1,2,· · ·,h, 0 ≤ t ≤ T }マスクすることはその特徴量に重み 0 を与えることに相当するため，上述した特徴量の重み付けの一実現法

Fi (t), Ai (t) は時刻 t における i 次倍音の周波数と振幅を表し，組 (Fi (t), Ai (t)) を周波数成分と呼ぶ．Fi (t)は F1 (t) のおよそ i 倍であるが，実際には誤差を生じる．時刻 t は発音開始（オンセット）時刻を基準

発展途上であり，現状ではローカルスペクトルなどの（t = 0）とし，周波数は F1 (t) の時間方向の中央値が限られた種類の特徴量しか自動推定に利用できない．

1 となるように除算によって正規化した相対周波数で表す．h は最大倍音次数，T は音長である．このよう周波数成分の重なりによる変動の仕方で「加算特徴量」に楽器音を調波構造としてモデル化すると，複数の楽「優先特徴量」「崩壊特徴量」に分類し，周波数成分の器音が同時に発音したときの影響は周波数成分の重な重なりがあったときに，この分類に従って特徴量を再りのみに限定して考えることができる．実際の楽器音計算したり無効化したりするものである．特徴量を無は非調波成分を含み，それが楽器音を特徴づける要素

効化することは上記と同様に特徴量の重み付けの一実となっている [7], [21]．しかし，混合音からの非調波成現法といえるが，特徴量の分類を人手で行うため，多分の抽出は困難であり，信頼性に欠けるため，本研究

くの特徴量を利用するのは困難である．特徴量の重要では非調波成分は扱わないものとする．

度を計算する処理も導入されているが，単一音に基づといえる．この方法は，マスクすべき特徴量が分かっていれば極めて効果的であることが音声認識の研究などで確められている [22]．しかし，その自動推定法は• 周波数成分重なり適応処理 [15] は，各特徴量を，

3. 2 音の重なりに頑健な特徴量への重み付け

いて計算されており，音の重なりによる特徴変動の程

前節で述べたように，同時発音する他の音の影響は，度に応じた重み設定という観点には至っていない．

周波数成分の重なりに限定して考えることができる．

• これらの他に多重奏の音源同定を扱った研究とし

仮に，単音 nk の周波数成分が単音 nj の周波数成分とて適応型混合テンプレート法 [13] がある．ただし，特一つも重なりがないとすると，同時発音による互いの徴抽出を行わずに波形テンプレートのマッチングを行

影響は無視できるほどに小さくなる．しかし，実際にう手法であり，音の重なりによる特徴変動の程度に応は周波数成分の重なりは頻繁に発生する．例えば，音じた特徴量の重み付けという立場からの研究ではない．

高が C4（約 262 Hz）の単音と G4（約 394 Hz）の単

3. 2. 2 音の重なりに対する頑健度の定量化

音が同時に発音するとき，C4 の 3m 次倍音と G4 の上記で述べた特徴量の重み付けを実現する上での課

2m 次倍音（m は任意の自然数）は重なりを起こす．

題は，各特徴量が周波数成分の重なりによって受ける

一般的に，協和する音程（音高差）の 2 単音は多くの影響の大きさの定量化である．従来の研究では，いず周波数成分が重なりを起こすため，重なって変化した
周波数成分から特徴抽出することによる特徴変動の問
題は，多重奏の音源同定においては深刻な問題である．
この特徴変動の問題を解決する上で有力となるアプ
ローチは，特徴変動の度合に基づいた特徴量の重み付（注 3）：本研究では，打楽器は対象外とする．これは，ピアノやバイオリンなどの音（楽音）が明確な音高や調波構造をもつのに対し，打楽器音（非楽音）は音高や調波構造が明確に現れないために，打楽器音を楽音と同一のシステムで扱うのが困難だからである．打楽器に関しては文献 [17], [18] などにおいて一定の成果が上げられており，将来的にはこれらとの統合を進める予定である．

2723

電子情報通信学会論文誌 2006/12 Vol. J89–D No. 12

れも学習データを単一音から作成していたため，周波数成分の重なりの影響を学習データから評価することは不可能であった．
本論文で提案する DAMS 法では，混合音から抽出した特徴ベクトルを学習に用いることで，周波数成分の重なりの影響度をクラス内分散・クラス間分散比として定量化する．混合音から抽出した特徴ベクトルを学習データとした場合，学習データは既に音の重なりによる影響を受けている．そのため，音の重なりによっ

図 1 混合音からの特徴ベクトルの抽出（混合音テンプ
レート作成）HSE：調波構造抽出，FE：特徴抽出
Fig. 1 Construction of a mixed-sound template.

て変化しやすい特徴量であれば，各楽器の学習データ
におけるその特徴量の分布は大きな分散をもつはずであるし，音の重なりによる変化が大きくない特徴量であれば，分布の分散も大きくならないはずである．すなわち，クラス内分散・クラス間分散比を最小化する
重みを見つけることにより，音の重なり影響度をできるだけ小さくする特徴空間を得ることができる．クラス内分散・クラス間分散を最小化する方法は，線形判
別分析として広く知られているので，目的の特徴量の重み付けは，混合音から得られた学習データに対して
線形判別分析を行えばよい．

3. 2. 3 既存楽曲の音程混合頻度を用いた混合音テンプレート作成

るように，短 2 度など一部の音程は不協和音を生むため，長 3 度や完全 5 度などに比べて使用頻度は低く，この傾向は楽曲が違っても大きく異なるものではない．
そのため，既存の楽曲の楽譜から混合音を作成することで，実際の楽曲における使用頻度を反映した混合パ
ターンを得ることができる．そこでこれを混合音テン
プレート作成に用いる．我々は，次の二つの理由により，同定対象とテンプレート作成用楽曲が異なっていても，性能向上に貢献できると考えている．

• 混合パターンの音程の偏り
実際の楽曲で用いられる混合パターンには音程に偏りがあり，例えば C4，C#4，D4 の 3 音の同時発音は混合音から特徴ベクトルを抽出する処理の流れを極度の不協和音を生むため，特別な効果をねらう場合

図 1 に示す．学習用の混合音には，そこに含まれる各以外はほとんど用いられない．このような音程の利用

単音の楽器名・音高・発音時刻がラベルづけられてい頻度は，人間の音に対する快・不快の印象と密接に関る．そのラベルに基づき，各単音の調波構造を抽出す連するため，楽曲ごとに大きくは変わらない．

る．次に，その調波構造に対して特徴抽出を行う．こ• 調波構造抽出による同時発音の影響の限定化

れをあらかじめ用意した様々な混合音に対して行い蓄本研究では単音ごとに調波構造を抽出するので，複積して特徴量テンプレート（学習用特徴ベクトルの集

数楽器の同時発音の影響は，「どの倍音成分にどの程度合）を作成する．本研究では，このようにして混合音

他の単音の成分が重なってくるか」に限定される．概から作成した特徴量テンプレートを混合音テンプレー

して「どの倍音成分に」の部分は当該単音と他の単音トと呼ぶ．

との音程で決まり，「どの程度」の部分は他の単音が何混合音テンプレート作成において重要となる課題の楽器かに依存して決まるが，後者は楽器が変わっては，学習用の混合音としてどのようなものを用意するも大幅に変わるわけではない．そのため，混合パター

かである．楽器は様々な音高や音の強さで発音されるンの音程が実際の音楽を反映していれば，楽器などのため，たとえ楽器の種類を限定したとしても，複数楽他の組合せが多少欠けていても十分利用できると考え器が同時に発音するときの音の組合せ方（混合パター

られる．

ンと呼ぶ）はばく大となり，すべてのパターンを網羅的に収集するのは現実的には不可能である（注 4）．そのため，楽器の音色を学習するのに必要十分な量の混合パターンを設計しなければならない．
この課題を解決する上でかぎとなる音楽的性質は，実際の楽曲で出現する混合パターンには，その音高差（音程）に一定の傾向があることである．後でも述べ
2724（注 4）：例えば，本論文の実験で用いる楽器音データベースには 5 楽器
2651 音が収録されているので，同時発音数を 3 に限定しても，その混合音は 2651 C3 = 約 31 億通り ある．これは，1 秒 1 個の速さで学習しても約 98 年かかる量である．

論文／多重奏を対象とした音源同定：混合音テンプレートを用いた音の重なりに頑健な特徴量への重み付け

4. 音楽的文脈の利用
本章では，音楽的文脈の利用法について述べる．こし，実際の楽曲にはさまざまな楽器の音が存在するた
め，楽器 ωi の単音を抽出しなければならない．
我々はこの課題を次のようにして解決する．

れは，例えばフルートによる一連の旋律の中でクラリ［解決策］ 複数パート知覚における並行移動性の利用

ネットが一音だけ出現するといった，音楽的に不自然複数の旋律が同時に進行する演奏を聴いたとき，人な誤りの削減を目的とする．本研究における音楽的文

間は，旋律が交差せずに進んでいくように知覚する

脈利用法のキーアイデアは，単音 nk の事後確率を計ことが知られている [23]．例えば周波数が下降する旋算する際に，事前確率に前後の単音の事後確率を反映

律と上昇する旋律がある時刻で交差するとき，周波させることである（図 2）．この処理は，「nk の前後の数が接近して交差せずに再び離れていくように聞こ

単音が楽器 ωi であれば，nk も ωi である可能性が高える．そのため，作曲家は，特別な効果をねらう場い」という考え方に基づいている．この処理を実現す

合以外はできるだけ交差しないように旋律を設計す

るには，次の課題を解決する必要がある．

ると考えられる．そこで，2 単音が同楽器によるもの［課題］ 前後の単音から nk と同じ楽器の単音の抽出（同パート）かの判断を次のように行う．単音 nk の

図 2 の処理を実現するには，文脈として用いる単音

発音中に，nk よりも高音域で同時に発音する単音数が同定対象音 nk と同じ楽器である必要がある．しかの最大値を sh (nk )，低音域で同時に発音する単音数の最大値を sl (nk ) とすると，sh (nk ) = sh (nj ) かつ

sl (nk ) = sl (nj ) のときに 2 単音 nk と nj は同パートと判断する（図 3）．柏野ら [14] は単音連鎖ネットワー
クを形成するために役割同一性の概念を導入し，彼らは「最高音」と「最低音」の二つの音楽的役割がそれ
ぞれ主旋律とベースラインに対応するとした．我々の方法は，この音楽的役割の一拡張法と考えることもできる．
以下，処理の詳細を述べる．
［第 1 パス］文脈を考慮しない事後確率の仮計算

n1 , · · · , nK の各々に対して p(ωi |xk ) を計算する．
前後の単音の事後確率から計算される事前確率 p(ωi )
図 2 音楽的文脈利用のキーアイデア（単音 nk の事後確率を計算するために，
nk の前後の単音の事後確率を利用する)
Fig. 2 Basic idea for using musical context.

は現段階では定まらないので，定数とみなして計算する．
［第 2 パス］文脈を考慮した事後確率の再計算

図 3 隣り合う単音が同じ楽器によるかどうかの判定の例（組 “(a, b)” は sh (nk ) = a and sl (nk ) = b を表す）
Fig. 3 An example of judgment of whether adjacent notes areplayed on the same instrument or not.

2725

電子情報通信学会論文誌 2006/12 Vol. J89–D No. 12

n1 , · · · , nK の各々（nk と表記）に対して，時刻の早い方から（n1 , n2 , · · · の順で）次の処理を行う．
（ 1 ） 前後の単音から nk と同じ楽器の単音の抽出
単音 nk の前後の単音から {nj | sh (nk ) = sh (nj ) ∩sl (nk ) = sl (nj )} を満たす単音を抽出する．この処理は単音 nk に時間的に近いものから順に行い，c 個単音が抽出された時点で終了する．以下，抽出された単音の集合を N で表す．
（ 2 ） 事前確率の計算
単音 nk の事前確率をステップ（ 1 ）で抽出された単音の事後確率（音楽的文脈）に基づいて計算する．
今，音楽的文脈から計算される事前確率を p1 (ωi )，他の手掛りから計算される事前確率を p2 (ωi ) とする．このとき，求めるべき事前確率 p(ωi ) をp(ωi ) = λ p1 (ωi ) + (1 − λ) p2 (ωi )と定義する．ここで，λ は音楽的文脈の信頼度であり，ステップ（ 1 ）で抽出された単音がすべて楽器 ωi であるときに単音 nk も楽器 ωi である確率として統計的分析によって得ることもできるが，ここでは簡単化のため定数とし，1 − (1/2)c を用いた．これは，文脈に用いた単音が多いほどそこから得た情報は信頼できるというヒューリスティクスに基づくものである．音楽的文脈に基づく事前確率 p1 (ωi ) は，ステップ（ 1 ）

図 4 音源同定手法の処理の流れ（n1 , · · · , n4 は単音を表し，図右上の表は，付与される各単音の発音時刻・
発音終了時刻・音高を表す．“Harmonic structure
extraction” の下の図は各単音の調波構造を表す）
Fig. 4 Flow of our instrument identiﬁcation method.

で求めた単音の，第 1 パスで求めた事後確率の積を正規化したものとし，

p1 (ωi ) =1 p(ωi |xj )αnj ∈N

発音時刻・音長に基づき，各単音の調波構造を抽出す
る．ただし，本論文の実験では，音源同定部のみの性能を評価するため，各単音の音高・発音時刻・音長はと定義する．ここで，xj は単音 nj から抽出された特正解を与えるものとする．その後，特徴抽出，次元圧

徴ベクトル，α は各楽器の事前確率の総和を 1 とする

縮，事後確率算出，楽器名決定の順序で処理を進める．

ための正規化係数で，α = 

5. 1 周波数解析

p(ωi |xj ) である．
ωinj
また，他の手掛りに基づく事前確率 p2 (ωi ) は，単にp2 (ωi ) = 1/M とした．

プリング周波数 44.1 kHz，16 ビットリニア量子化，モ（ 3 ） 事後確率の更新

ノラルの音響信号を用いる）に対して，短時間フーリステップ（ 2 ）で求めた事前確率を用いて，事後確

エ変換を用いてスペクトログラムを求める．窓関数に率を再計算する．

5. 音源同定の処理の詳細
上記で議論した手法を用いた音源同定の処理の詳細入力された音楽音響信号（本論文の実験では，サンはハミング窓を使用し，窓幅は 8192 点，シフト長は10 ms とする．その後，フレームごとにパワースペク
トルのピークを抽出する．

5. 2 調波構造の抽出について述べる．全体の処理の流れを図 4 に示す．ま

あらかじめ推定（ただし本実験では正解を付与）しず，入力された音楽音響信号からスペクトログラムをた各単音の音高，発音時刻，音長に基づいて，単音求め，ピーク抽出を行う．次に，あらかじめ既存手法（nk で表す）に対応する調波構造 H(nk ) を抽出する．

（ [12], [20], [24] など）を使って推定した各単音の音高・音高に対応する周波数（A4 なら 440 Hz，平均律で算

2726

論文／多重奏を対象とした音源同定：混合音テンプレートを用いた音の重なりに頑健な特徴量への重み付け
表 1 使用する特徴量の一覧
Table 1 Features used.

出）の近傍 200 cent 以内に存在する最もパワーの大きいピークを基本周波数成分とみなし，その周波数の整数倍のピークを 10 次倍音まで抽出する．ただし，整数倍のピークの抽出においては 5%までの周波数の誤差を許容する．その後，2. で述べたように，基本周波数成分の周波数 F1 (t) の時間軸方向の中央値が 1 となるように周波数を除算によって正規化する．

5. 3 音長の調節
特徴量テンプレート作成時に用いた単音と同定対象の単音との間で音長を合わせることにより，特徴量の音長依存性を回避する．例えば，発音直後にパワーが急激に大きくなった後に急激に小さくなり，その後徐々に小さくなってやがて消音する音に対して，パワー包絡の近似直線の傾きを計算する場合，短い音と長い音（1）スペクトルの時間平均に関する特徴
周波数重心（各高調波成分のパワー値を重みとした周波数の重み付き重心）2
全高調波成分のパワー値の合計に対する基音成分のパワー値の割合
3 – 10 高調波成分のパワー値の合計に対する基音からi 次まで の高 調波 成分 のパ ワー 値の 割合 (i =2, 3, · · · , 9)11
奇数次の高調波成分（基音含む）と偶数次の高調波成分とのパワー値の比
12 – 20 持続時間が，最長の高調波成分のそれの，p% 以
上ある高調波成分の個数（持続時間はパワーがあるしきい値を超えている時間にて定義）(p = 10, 20, · · · , 90)（2）パワーの時間変化に関する特徴
1

21

パワー包絡の線形最小二乗法による近似直線の傾き

変化する現象を避けることにある．音長を合わせる最

発音開始直後 t 秒間のパワー包絡の微分係数の中
央値* (t = 0.15, 0.20, 0.25, · · · , 0.55[s])31 – 39 最大パワー値と，発音開始から t 秒後のときのパワー値の比*（3）各種変調の振幅と振動数も単純な方法は，最も短い音長に合わせることである．

40 , 41

振幅変調の振幅と振動数

しかし，音長を短くするとスペクトルが安定しにくく

42 , 43

周波数変調の振幅と振動数とでは計算結果が大きく異なることが予想される．ここでの目的は，このような音の長短によって特徴量がなるため，音長が長いままの状態に比べて同定が難しくなる．そこで本論文では，いくつかの音長パターン

22 – 30*音長パターン I，II では，t が音長を超える場合の特徴量は省略される．

（300 ms，450 ms，600 ms．左からパターン I，II，IIIと名づける）に対して特徴量テンプレートを作成し，これは 4. で述べた計算法により，音楽的文脈を考慮

同定対象音より短い範囲で最長のパターンに合わせる．

しながら処理を進める．なお，事後確率の計算におけ5. 4 特 徴 抽 出る確率密度関数 p(xk |ωi ) は，我々が以前提案した F0

各単音 nk の調波構造 H(nk ) から，楽器名の同定

依存多次元正規分布 [7] を用いる．F0 依存多次元正規に効果的と考えられる特徴量を抽出する．特徴量は，

分布とは，楽器の音色が音高に従って変化する現象を

我々が以前単一音用に提案したもの [7] から混合音か陽に表現するモデルで，多次元正規分布のパラメータ

らの抽出が困難と思われるものを除いた最大 43 個（音である平均ベクトルの各要素が，基本周波数の関数と長が 600 ms の場合．音長が 300 ms，450 ms の場合して定義されたものである．

各 31 個，37 個）である．使用する特徴量を表 1 に列

5. 7 楽器名決定

挙する．

最後に，事後確率 p(ωi |xk ) が最大となる楽器名 ωi

5. 5 DAMS 法（次元圧縮）
DAMS 法を適用して，周波数成分の重なりの影響を最小化した部分空間を得る．線形判別分析の計算をを同定結果として決定する．

6. 評 価 実 験

頑健に行うには，特徴空間が無相関であることが望ま

提案手法の有効性を示すため，以下の実験を行った．

しいので，DAMS 法の前に主成分分析を適用して無6. 1 多重奏の音響信号の作成

相関な部分空間を得る．主成分分析後の次元数は累積

本実験では，各単音の正確な音高・発音時刻・音長

寄与率が 99%になるように決め，学習データによってのラベルを利用できるようにするため，実演奏ではな

多少変化するが 20 次元前後である．この部分空間にく計算機上で楽器音データベース（実楽器を発音可能

対して DAMS 法を適用して (楽器数 − 1) 次元の更なな音域全体にわたって半音ごとに個別に発音したもの

る部分空間を得る．

を収録したもの）の音響信号を切り貼りして作成した

5. 6 事後確率算出
各単音 nk に対して，事後確率 p(ωi |xk ) を求める．

音響信号を用いる．
まず，スタンダード MIDI ファイル（SMF）として2727

電子情報通信学会論文誌 2006/12 Vol. J89–D No. 12
表 2 主要 4 パートからの二重奏〜四重奏の抜粋方法
Table 2 Extraction of parts from the main four ones.
第 1 パート
第 2 パート
第 3 パート
第 4 パート

Table 4二重奏 A 二重奏 B 三重奏 四重奏
√
√
√
—
√
√
√
—
√
—
—
—
√
√
√
√

表 3 使用した楽器音データの内訳
Table 3 Details of musical sound data used.
楽器
楽器名
番号
（楽器記号）
01 ピアノ (PF)09 クラシックギター (CG)
15 バイオリン (VN)
31 クラリネット (CL)
33 フルート (FL)

音域

バリエー
強さ
デー
ション
タ数*
A0–C8 1, 2, 3 強・中・弱 792
E2–E5 1, 2, 3 強・中・弱 702
G3–E7 1, 2, 3 強・中・弱 576
D3–F6 1, 2, 3 強・中・弱 360
C4–C7
1, 2
強・中・弱 221

奏法はノーマル奏法（記号：NO）のみを使用（ただし，クラシックギターはアポヤンド/指弾き奏法（AF））* 無音検出による自動切出しによって切り出された単音の個数「RWC 研究用音楽データベース：クラシック」（RWC-

MDB-C-2001）[25] 収録の楽曲番号 13，16，17 のものを用意した．これらは四重奏〜五重奏程度の小規模編
成のクラシック曲である．本実験では二重奏〜四重奏を扱うので，各曲の SMF（各冒頭 100 小節まで）から主要な 4 パートを抜粋した後，表 2 に従って更に

表 4 各パートの楽器の候補
Instrument candidates for each part.
第 1 パート
第 2 パート
第 3 パート
第 4 パートPF, VN, FL
PF, CG, VN, CL
PF, CGPF, CG

表 5 混合音テンプレートにおける単音数．Leave-one-out
法．音長パターン I のもののみ．音長パターン II 及
び III については紙面の制約から省略するが，おおむ
ね II が I の 1/2，III が I の 1/3〜1/4 程度である．
Table 5 Number of notes in mixed-sound templates.

No. 13
同定用

No. 16
同定用

No. 17
同定用

PF
CG
VN
CL
FL
PF
CG
VN
CL
FL
PF
CG
VN
CL
CL

S+D
31,33423,446
14,7607,332
4,581
26,73819,76012,342
5,916
3,970
23,836
17,618
11,706
5,928
3,613

S+D+T
83,491
56,18447,087
20,031
16,732
71,20346,924
39,461
16,043
14,28763,93242,552
36,984
16,20813,059

サブセット
24,784
10,718
9,804
4,888
3,043
21,104
8,893
8,230
3,944
2,632
18,880
8,053
7,806
3,952
2,407

S+D：単旋律+二重奏
S+D+T：単旋律+二重奏+三重奏
サブセット：実験 3 で用いる楽器の組合せを減らしたもの

パートを抜粋して二重奏〜四重奏の SMF を得た．また，テンプレート作成用に単旋律のものも用意した．

が用いられることを防ぐため，表 3 の音響信号のう

次に，これらの SMF に従って単音ごとの音響信号

ち，同定用データにバリエーション番号「1」，強度を切り貼りするプログラムを作成し，これを用いて二「中」のもの（011PFNOM, 091CGAFM, 151VNNOM,

重奏〜四重奏の音響信号を得た．このプログラムでは，

311CLNOM, 331FLNOM）を，学習用データにはそれ

SMF に記述された単音の各々に対し，楽器音データ
ベースから適切な音響信号を探し出し，SMF に記述

以外のすべての音響信号を用いた．各パートの楽器のされた音長に合わせて音響信号を切った後貼り付けて内で総当りとした．その結果，例えば四重奏では 48

いく．SMF 中の音長がもととなる音響信号よりも長通りの組合せとなった．

候補を音域の制約から表 4 のように制限し，この制限い場合には，生成される音響信号は意図する（SMF

6. 2 実験 1：Leave-one-out 法に記述された）音長よりも短い音となるが，我々が使最初の実験は，楽曲単位での Leave-one-out 法によ用したデータベースでは十分な長さで収録されておりり行った．すなわち，3 曲のうち 1 曲を除いたデータ（およそ 3 秒程度，ピアノやクラシックギターといっを学習に用いて除外された 1 曲のデータを同定するとた減衰系楽器では 1 秒未満のものもあるが自然減衰いう処理を，3 曲すべてが同定に用いられるまで繰りにより十分にパワーが小さくなった後の打切りであ返した．混合音テンプレートは，単旋律と二重奏の音る），このような事態はほとんど発生しなかった．も響信号から作成したもの（「単旋律+二重奏」）とそれととなる音響信号には，「RWC 研究用音楽データベーに三重奏を加えたもの（「単旋律+二重奏+三重奏」）

ス：楽器音」（RWC-MDB-I-2001）[25] から抜粋したを用い，比較のため，表 3 の音響信号をそのまま学習

表 3 のものを用いた．RWC-MDB-I-2001 は，上述のデータとした場合（「単一音のみ」）も行った．作成し条件を満たす単一音で構成された楽器音データベース

た混合音テンプレート中の単音数を表 5 に示す．このである．学習用データと同定用データに同じ音響信号

表から，例えば，楽曲番号 13 を同定するときに用いる2728

論文／多重奏を対象とした音源同定：混合音テンプレートを用いた音の重なりに頑健な特徴量への重み付け
表 6 実験 1 の結果（認識率）（Leave-one-out 法利用．太字は 75%以上を表す）
Table 6 Results of Experiment 1.
テンプレート
音高依存
文脈
PF
CG
二重奏 VN
CL
FL
平均
PF
CG
三重奏 VN
CL
FL
平均
PF
CG
四重奏 VN
CL
FL
平均

単一音のみ
×
×
53.7%
46.0%
63.7%
62.9%
28.1%
50.9%
42.8%
39.8%
61.4%
53.4%
33.0%
46.1%
38.9%
34.3%
60.2%
45.8%
36.0%
43.1%


63.0%
44.6%
81.3%
70.3%
33.5%
58.5%
49.3%
39.1%
76.8%
55.7%
42.6%
52.7%
46.0%
33.2%
74.3%
44.8%
50.8%
49.8%

単旋律+二重奏


×
70.7%
50.8%
63.1%
53.4%
29.1%
53.4%
63.0%
40.0%
62.2%
46.0%
36.7%
49.6%
54.2%
35.3%
62.8%
39.5%
40.8%
46.5%


84.7%
42.8%
75.6%
56.1%
38.7%
59.6%
75.4%
31.7%
72.5%
43.9%
46.5%
54.0%
64.9%
29.1%
73.1%
35.8%
52.0%
51.0%

×
×
61.5%
50.9%
68.1%
81.8%
67.6%
66.0%
44.1%
52.1%
67.0%
69.5%
68.4%
60.2%
38.7%
51.2%
70.0%
62.6%
69.8%
58.5%



×
63.8% 69.8%
67.5% 70.2%
85.5% 70.6%
92.1% 81.9%
84.9% 67.6%
78.8% 72.0%
43.8% 57.0%
66.8% 68.3%
81.8% 70.8%
77.1% 72.2%
77.9% 68.1%
69.5% 67.3%
38.6% 50.3%
62.7% 64.8%
81.2% 72.7%
66.8% 65.4%
76.1% 69.9%
65.1% 64.6%


78.9%
85.1%
87.7%
89.9%
78.8%
84.1%
61.4%
82.0%
83.5%
78.3%
76.9%
76.4%
53.1%
75.3%
82.3%
69.3%
76.2%
71.2%

単旋律+二重奏+三重奏
×

×

×

69.1% 70.8% 71.0% 82.7%
44.0% 57.7% 71.0% 82.9%
65.4% 84.2% 67.7% 88.1%
84.6% 95.1% 82.9% 92.6%
56.8% 70.5% 61.5% 74.3%
64.0% 75.7% 70.8% 84.1%
52.4% 53.6% 61.5% 68.3%
47.2% 62.8% 68.3% 82.8%
60.5% 80.6% 68.1% 82.5%
71.0% 82.8% 76.2% 82.8%
59.1% 69.3% 64.0% 71.5%
58.0% 69.8% 67.6% 77.6%
46.1% 46.6% 53.3% 57.2%
51.2% 64.5% 65.0% 79.1%
67.4% 79.2% 69.7% 79.9%
68.6% 74.4% 70.9% 74.5%
61.7% 69.4% 64.5% 70.9%
59.0% 66.8% 64.7% 72.3%「単旋律+二重奏」からなる混合音テンプレートでは，

ば，認識率の改善に貢献できることを示している．

31,334 個の（単音から抽出した）特徴ベクトルを用いて一つの F0 依存多次元正規分布のパラメータ（平均布の効果が大きかった．これは，これらの楽器の音域

ベクトルと共分散行列に相当するもの）を推定していが他の楽器よりも広いために，音高による音色変化がることが分かる．また，F0 依存多次元正規分布を用顕著に現れたからだと考えられる．

いた場合と用いなかった場合，及び音楽的文脈を用いた場合と用いなかった場合についても実験を行い，結• 音楽的文脈を利用することで，認識率が 10%前後改善された．これは，我々が用いた 3 曲にパート間の果を比較した．なお，本論文のすべての実験で，音源

音高交差がなく，我々が用いた音楽的ヒューリスティ

同定のみの性能を評価するため，各単音の音高・発音

クスとよくマッチしていたからである．

• 5 楽器のうち PF と CG は，F0 依存多次元正規分

時刻・音長は正解，すなわち，前節の音響信号作成時• 単一音のみによるテンプレートを用いた場合など，に使用したラベルをそのまま与えるものとした．これ

もともとの認識率が低いとき（30〜40%台）に音楽的は，これらの推定を 100%の精度で行えた場合の評価

文脈を利用すると，認識率が低下することがあった．

である．

本手法のような，前後の単音の事後確率を事前確率に実験結果を表 6 に示す．表中の認識率は 3 曲の平反映させる方法では，前後の単音の事後確率（仮計算

均値である．
「DAMS 法」「F0 依存多次元正規分布」

による確率）が一定の精度で計算される必要があり，「音楽的文脈」により，二重奏は 50.9%から 84.1%へ，その精度に満たなかったためと考えられる．混合音テ三重奏は 46.1%から 77.6%へ，四重奏は 43.1%からンプレートを用いた場合はこの現象は見られないため，

72.3%へ認識率を改善することができた．また，実験音楽的文脈を用いる場合には，混合音テンプレートを結果より以下のことが分かる．

併用するなどしてもともとの性能を高めることが重要•「単旋律+二重奏」のテンプレート使用時と「単旋律+二重奏+三重奏」のテンプレート使用時とでは結である．

果に大きな差はなかった．特に四重奏に対しても，「単が多かった．これは，CG と音色が似ているからと考

旋律+二重奏」のテンプレートだけで単一音のテンプえられる．実際，両者の調波構造を抽出し再合成したレートに比べて高い認識率を示した．これは，必ずしものを試聴したところ，区別の難しいものが多かった．

• 5 楽器のうち PF はあまり認識率が高くない場合も認識対象と同程度の複雑さの楽曲でなくても，同時DAMS 法によって得られた特徴量の重み値の主な発音する他の音からの影響を受けているデータであれものを表 7 に示す．比較のため，単一音データに対し2729

電子情報通信学会論文誌 2006/12 Vol. J89–D No. 12
表 7 DAMS 法によって得られた主な特徴量の重み値
Table 7 Weights of features obtained from theDAMS method.
D 第 1 軸 15 (0.31), 16 (0.31), 30 (0.32), 40 (0.40)
A 第 2 軸 11 (−0.56), 20 (−0.58)
M 第 3 軸 4 (0.39), 5 (0.53), 42 (−0.43)
S 第 4 軸 3 (−0.39), 5 (0.48), 8 (0.32), 12 (−0.39)

単 第 1 軸 20 (0.33), 30 (−0.41), 40 (−0.42)
一 第 2 軸 11 (−0.55), 20 (−0.30)
音 第 3 軸 19 (−0.31), 20 (−0.42), 42 (−0.36)
第 4 軸 12 (−0.34), 40 (0.60)て主成分分析・線形判別分析を行って得られたものも同表に示す．単一音データに対して行った場合に比べると，DAMS 法では「スペクトルの時間平均に関する特徴」の重みが相対的に大きかった．これは，「スペクトルの時間平均に関する特徴」に比べて，パワーを全高調波成分のパワーの累積として求めるために，「パ
ワーの時間変化に関する特徴」は，どこかの高調波成分にパワーの大きい他の音の高調波成分が重なったときに壊れやすいことが関係していると考えられる．また，両者の場合において， 11 （奇数次と偶数次の高調

表 8 混合音テンプレートを 1 曲のみから作成した場合（実験 2）の結果（認識率，四重奏） [単位：%]
Table 8 Results of Experiment 2.
単旋律+二重奏
単旋律+二重奏+三重奏
13
16
17

13
16
17

PF (57.8) 32.3 38.4 36.6 (67.2) 33.2 45.1 39.7
No. CG (73.3) 78.1 76.2 76.7 (76.8) 84.3 80.3 82.1
13 VN (89.5) 59.4 87.5 86.2 (87.2) 58.0 85.2 83.1
CL (68.5) 70.8 62.2 73.8 (72.3) 72.3 68.6 75.9
FL (85.5) 40.2 74.9 82.7 (86.0) 38.9 68.8 80.8
PF 74.1 (64.8) 61.1 71.2 79.6 (67.1) 73.0 78.3
No. CG 79.2 (77.9) 78.9 74.3 70.4 (82.6) 74.0 75.2
16 VN 89.2 (85.5) 87.0 87.0 86.0 (83.5) 84.7 85.0
CL 68.1 (78.9) 68.9 76.1 72.4 (82.8) 76.3 82.1
FL 82.0 (75.9) 72.5 77.3 77.9 (72.3) 35.7 69.2
PF 53.0 39.4 (51.2) 51.6 52.2 40.6 (55.7) 53.7
No. CG 73.7 69.0 (75.8) 75.0 76.0 74.3 (78.4) 80.0
17 VN 79.5 61.2 (78.3) 73.6 77.4 58.0 (78.7) 71.7
CL 51.3 60.5 (57.1) 57.9 61.1 62.6 (66.9) 65.4
FL 65.0 35.0 (73.1) 68.7 58.6 34.7 (70.9) 62.6
Leave-one-out 法の場合（参考）．
括弧付は closed 実験．
「単旋律+二重奏 13」は，楽曲 No.13 の SMF から抜粋した単旋律と二重奏のみを用いたテンプレート作成の意．

表 9 実験 3 において用いた楽器の組合せ
Table 9 Instrument combinations in Experiment 3.
単旋律
PF, CG, VN, CL, FL
二重奏
PF–PF, CG–CG, VN–PF, CL–PF, FL–PF
三・四重奏 使用せず

波成分のパワー比）， 20 （持続時間が最長の高調波成
分の 90%ある高調波成分の個数）， 30 （発音開始直6. 4 実験 3：楽器の組合せが不完全な場合

後 0.55 秒間のパワー包絡の微分係数の中央値）， 40

混合音テンプレート中の楽器の組合せが網羅されて（振幅変調の振幅）， 42 （周波数変調の振幅）の重みいないときに認識率がどの程度変化するか確認するたが大きかった．

め，テンプレート中の楽器の組合せを大幅に減らした

6. 3 実験 2：1 曲のみからのテンプレート作成

状態で実験を行った．楽器の組合せは，楽器数 n に対し

次に，混合音テンプレートを 1 曲のみから作成したて O(n) のオーダになるように，表 9 のように定めた．

場合と 2 曲用いて作成した場合（Leave-one-out 法）

混合音テンプレート作成は，同定対象曲以外の 2 曲かでの認識率を比較するため，混合音テンプレートを 1

ら作成した単旋律と二重奏を用いた（Leave-one-out

曲のみから作成した場合の実験を行った．実験結果を法）．実験結果を表 10 に示す．楽器の組合せを減ら

表 8 に示す．1 曲のみからの作成でも CG, VN, CL はした場合と減らさなかった場合とで認識率に大きな差比較的高い認識率であった．FL は作成用楽曲によってはなかった．すべての楽器の組合せを網羅したテンプ

は 30%の認識率であったが，2 曲用いて作成すること

レートを作成するには，楽器数を n として m 重奏をで，高い認識率が得られた．これらは，クローズド実扱う場合に O(nm ) のオーダのデータ量が必要となり

験（ただし四重奏は学習データに含まれていない）の（ただし，音域的に発音不可能な組合せを除くと多少結果に匹敵する認識率となっている．このことから，少なくなる），将来より多くの楽器を扱う際に困難が複数楽器の同時発音の影響の多様性に対して十分な量予想される．しかし，楽器の組合せを網羅しないテンの学習データがたかだか 2 曲から得られているといえプレートでも性能向上を確認できたことから，組合せる．ただし，学習に用いる曲も同定に用いる曲もとも爆発の問題は深刻にはならないと期待できる．

に小編成のクラシック曲となっており，異なるジャン

6. 5 実験 4：線形判別分析の効果の評価

ルの楽曲を含む多様な音楽データベースに対する性能

最後に，DAMS 法における線形判別分析の効果をは，今後の更なる検証が必要である．
2730

評価するため，主成分分析のみで次元圧縮をした場合

論文／多重奏を対象とした音源同定：混合音テンプレートを用いた音の重なりに頑健な特徴量への重み付け
表 10 楽器の組合せを減らした場合（サブセット）と減らさなかった場合（フルセット）の比較（実験 3）
Table 10 Comparison of the full set and the subset
of instrument combinations.

二重奏

三重奏

四重奏

PF
CG
VN
CL
FL
平均
PF
CG
VN
CL
FL
平均
PF
CG
VN
CL
FL
平均

サブセット フルセット
85.4%
78.9%
70.8%
85.1%
88.2%
87.7%
90.4%
89.9%
79.7%
78.8%
82.9%
84.1%
73.9%
61.4%
62.0%
82.0%
85.7%
83.5%
79.7%
78.3%
76.5%
76.9%
75.6%
76.4%
68.9%
53.1%
52.4%
75.3%
85.0%
82.3%
71.1%
69.3%
74.5%
76.2%
70.4%
71.2%

図 5 主成分分析（PCA）のみを用いて次元圧縮し場合とPCA と線形判別分析（LDA）とを併用し場合との「Trio」「Quar比較（実験 4）．グラフ上の「Duo」
tet」は認識対象楽曲を表し．グラフ下の「S」「S+D」「S+D+T」はそれぞれ「単一音」「単旋律+二重奏」「単旋律+二重奏+三重奏」の特徴量テンプレートを用いたことを表す．グラフから，LDA を用いることで混合音テンプレートがより効果的に認識率を改善していることが分かる．
Fig. 5 Comparison of using only PCA and using
PCA and LDA together.

の実験を行った．実験方法は，実験 1 や実験 3 と同様に Leave-one-out 法とした．実験結果を図 5 に示す．

から選ばれた二重奏（TI: 5, SI: 2）に対して約 50%の主成分分析のみで次元圧縮をした場合，単一音のみ認識率を得た．我々の問題設定は TI が 5，SI が 2〜4を学習データとしたとき（S）と混合音を学習データ

で，柏野ら，木下らよりも TI が多く，Eggink らと比としたとき（S+D，S+D+T）との認識率の差が 6〜

べて SI が同じか多くなっている．Eggink らと本実験

14%程度だったのに対し，線形判別分析を用いた場合
では 20〜24%程度になった．主成分分析はクラス内分の二重奏は TI，SI ともに等しくなっているが，我々は Eggink らと比べて高い認識率（84.1%）を得てい散・クラス間分散比を考慮しないため，必ずしも識別る．ただし，実験データは異なるものを使用しているに有効な特徴量の重みが高くならないのに対し，線形ため，正確な比較はできない．

判別分析はクラス内分散・クラス間分散比を最小化す

音源同定の難易度を決めるもう一つの要因として，るため，識別に有効な特徴量（すなわち混合音の影響

各単音の発音時刻や音高の正解を与えるかどうかがあがより少なかった特徴量）の重みが高くなったと考える．本論文の実験も含め，これまでの多くの研究では，られる．また，すべての条件において線形判別分析を

これらは正解を与えて実験をしていた [13], [14], [16]．

用いた方が用いないよりも認識率は高かった．

実際，上で述べた認識率はいずれも音高などの正解を

6. 6 考察

与えた場合である．これは，混合音中の発音時刻検出

我々は五つの楽器から選ばれた二重奏〜四重奏にや音高推定はいまだ困難な課題であり，音源同定部のついて実験を行い，二重奏では平均 84.1%，三重奏でみの性能を評価するためと考えられる．各単音の発音

77.6%，四重奏で 72.3%の認識率を得た．本節では，

時刻や音高を自動推定して音源同定をした場合，性能これらの結果について関連研究と比較しながら議論が落ちることが予想される．例えば，木下ら [15] は，する．

各単音の発音時刻や音高の正解を与えた場合の認識率

音源同定の難易度を決める要因として，対象楽器が 72〜81%だったのに対し，これらを自動推定した場数（TI）と同時発音数（SI）がある．柏野ら [13], [14]合 66〜75%であったと報告している．この問題に対処

は，3 楽器を対象に三重奏（TI，SI ともに 3）を扱するには，発音時刻検出や音高推定の精度を上げるだ

い，88%の認識率を得た．木下ら [15] は，3 楽器によけでなく，音源同定部においても，これらに誤りがあるランダムノートパターン（TI，SI ともに 3）を扱い，ることを前提とした処理が求められる．このような処

72〜81%の認識率を得た．Eggink ら [16] は，5 楽器

理の検討は，重要な今後の課題の一つである．
2731

電子情報通信学会論文誌 2006/12 Vol. J89–D No. 12
vol.2003, no.1, pp.5–14, 2003.

7. む す び[7]

本論文では，多重奏に対する音源同定における最大の課題である「音の重なりによる特徴変動」に対する解決策として，特徴変動の程度に応じた特徴量の重

2003.
[8]

J. Marques and P.J. Moreno, “A study of musical instrument classiﬁcation using Gaussian mixture mod-

み付けを提案した．この重み付けは，混合音から学習

els and support vector machines,” CRL Technical Re-

データを作成して線形判別分析を適用することで実現される．混合音から学習データを作成するというア

北原鉄朗，後藤真孝，奥乃 博，“音高による音色変化に着目した楽器音の音源同定：F0 依存多次元正規分布に基づく識別手法，” 情処学論，vol.44, no.10, pp.2448–2458,

port Series, CRL/4, 1999.
[9]

J.C. Brown, “Computer identiﬁcation of musical in-

プローチは，シンプルにもかかわらずこれまでの研究

struments using pattern recognition with cepstral co-

では試されてこなかった．その理由の一つに，あらゆeﬃcients as features,” J. Acoust. Soc. Am., vol.103,

る混合音を網羅した学習データを作るにはばく大なno.3, pp.1933–1941, 1999.
[10]

データが必要となるということが考えられる．しかし，identiﬁcation of musical woodwind instruments,” J.
Acoust. Soc. Am., vol.109, no.3, pp.1064–1072, 2001.

我々の実験により，あらゆる混合音を網羅していなくても，実楽曲の楽譜から混合音を作成することで，十[11]Proc. ICASSP, vol.IV, pp.265–268, 2004.
[12]

た．これにより，メロディの時間的連続性を考慮した[13]

インデキシングを実現する．更に，この技術を活用し

[14]

[15]

[16]

グラム「知識社会基盤構築のための情報学拠点形成」，

ments in polyphonic audio,” Proc. ISMIR, 2003.
[17]

[1]

献

[18]

duction of MPEG-7, John Wiley & Sons, 2002.
K.D. Martin, Sound-Source Recognition: A Theory[3]

A. Eronen and A. Klapuri, “Musical instrument

[19]

[20]

桜庭洋平，奥乃 博，“自動採譜におけるパート形成処
理のための特徴量の検討，” 情処学研報，2003-MUS-51,[21]

安藤由典，楽器の音響学，音楽之友社，1996.
山本俊一，中臺一博，辻野広司，奥乃 博，“ミッシングfeatures,” Proc. ICASSP, pp.735–756, 2000.
[4]

A. Fraser and I. Fujinaga, “Toward real-time recognition of acoustic musical instruments,” Proc. ICMC,
pp.175–177, 1999.

[5]

pp.35–42, 2003.
[22]

フィーチャー理論を利用した音源分離と音声認識のイン
ターフェースと複数ロボットへの適用，” 日本ロボット学会

I. Fujinaga and K. MacMillan, “Realtime recognitionof orchestral instruments,” Proc. ICMC, pp.141–143,
2000.

[6]

G. Agostini, M. Longari, and E. Pollastri, “Musical instrument timbres classiﬁcation with spectral features,” EURASIP J. Applied Signal Process.,2732

中臺一博，柏野邦夫，田中英彦，“音楽音響信号を対象とする音源分離システム，” 情処学研報，93-MUS-1, pp.1–8,
1993.

and Computational Model, PhD thesis, MIT, 1999.
recognition using cepstral coeﬃcients and temporal

May 1994.
吉井和佳，後藤真孝，奥乃 博，“テンプレート適応を利用した実世界の音楽音響信号に対するドラムスの音源同定，” 情処学研報，2003-MUS-53, pp.55–60, 2003.

B.S. Manjunath, P. Salembier, and T. Sikora, Intro-[2]

後藤真孝，村岡洋一，“打楽器音を対象にした音源分離シス
テム，” 信学論（D-II），vol.J77-D-II, no.5, pp.901–911,

データベース」を使用した．
文

J. Eggink and G.J. Brown, “Application of missing
feature theory to the recognition of musical instru-

科学技術振興機構 CREST「時系列メディアのデザイ
ン転写技術の開発」による．また，「RWC 研究用音楽

木下智義，坂井修一，田中英彦，“周波数成分の重なり適応処理を用いた複数楽器の音源同定処理，” 信学論（D-II），
vol.J83-D-II, no.4, pp.1073–1081, April 2000.

補助金（基盤研究（A），特定領域「情報学」，特定領域「情報爆発」，特別研究員奨励費），21 世紀 COE プロ

1517, July 1998.
柏野邦夫，村瀬 洋，“単音連鎖確率ネットワークに基づく音楽演奏の音源同定，” 人工知能誌，vol.13, no.6,
pp.962–970, 1998.

た音楽検索システムの構築を進めていく予定である．
謝辞 本研究の一部は，日本学術振興会科学研究費

1996.
柏野邦夫，村瀬 洋，“適応型混合テンプレートを用いた音源同定，” 信学論（D-II），vol.J81-D-II, no.7, pp.1510–

今後は，本実験で手動で与えた各単音の発音時刻や音高を自動で推定し，音楽音響信号に対する自動楽器

柏野邦夫，中臺一博，木下智義，田中英彦，“音楽情景分析の処理モデル OPTIMA における単音の認識，” 信
学論（D-II），vol.J79-D-II, no.11, pp.1751–1761, Nov.

率を前後の単音の事後確率から計算する方法を提案し楽器同定が可能になった．

A.G. Krishna and T.V. Sreenivas, “Music instrument
recognition: From isolated notes to solo phrases,”

分に性能向上に有効なデータを得られることが分かった．更に，音楽的文脈を考慮する手法として，事前確J.C. Brown, “Feature dependence in the automatic誌，vol.23, no.6, pp.743–751, 2005.
[23]

A.S. Bregman, Auditory Scene Analysis: The Per-[24]

亀岡弘和，西本卓也，嵯峨山茂樹，“調波時間構造化クラceptual Organization of Sound, MIT Press, 1990.

論文／多重奏を対象とした音源同定：混合音テンプレートを用いた音の重なりに頑健な特徴量への重み付け
スタリング（HTC）による音楽音響特徴量の同時推定，”
情処学研報，2005-MUS-61, pp.71–78, 2005.
[25]

後藤真孝，橋口博樹，西村拓一，岡 隆一，“RWC 研究
用音楽データベース：研究目的で利用可能な著作権処理済
み楽曲・楽器音データベース，” 情処学論，vol.45, no.3,
pp.728–738, 2004.

（平成 17 年 11 月 17 日受付，18 年 7 月 10 日再受付）

尾形哲也

1993 早大・理工・機械卒．日本学術振興会特別研究員，早稲田大学理工学部助手，

理化学研究所脳科学総合研究センター研究員，京都大学大学院情報学研究科講師を経て，2005 より同助教授．博士（工学）．早稲田大学ヒューマノイド研究所客員助教授，
理化学研究所脳科学総合研究センター客員研究員を兼務．人間とロボットのインタラクションと協調，神経回路モデルなどの研究に従事．2000 年度日本機械学会論文賞，IEA/AIE-2005
最優秀論文賞などを受賞．情報処理学会，日本ロボット学会，

北原

鉄朗 （学生員）

2002 東京理科大・理工・情報科学卒．2004
京都大学大学院情報学研究科知能情報学専

日本機械学会，人工知能学会，IEEE 等各会員．

奥乃博

攻修士課程了．現在，同大学院博士後期課
程在学中．2005 より日本学術振興会特別1972 東大・教養・基礎科学卒．日本電信研究員（DC2）．音楽情報処理に興味をも電話公社，NTT, JST 北野プロジェクト，
東京理科大学を経て，2001 年 4 月より京都

つ．電気通信普及財団第 19 回テレコムシ
ステム技術学生賞，情報処理学会第 67 回全国大会大会奨励賞等受賞．情報処理学会，人工知能学会，日本音響学会，日本音楽知覚認知学会，IEEE 各学生会員．

大学大学院情報学研究科知能情報学専攻教授．博士（工学）．この間，スタンフォード大学客員研究員，東京大学工学部客員助教
授．人工知能，音環境理解，音楽情報処理，ロボット聴覚の研究に従事．1990 年度人工知能学会論文賞，IEA/AIE-2001, 2005

後藤

真孝 （正員）1993 早大・理工・電子通信卒．1998 同大大学院理工学研究科博士後期課程了．同年，電子技術総合研究所（2001 に独立行
政法人産業技術総合研究所に改組）に入所

最優秀論文賞，平 14 年度船井情報科学振興賞等受賞．情報処理学会，人工知能学会，日本ロボット学会，ACM, AAAI, IEEE
等会員．
『インターネット活用術』（岩波書店），『Computational
Auditory Scene Analysis』（共編，LEA），『Advanced Lisp
Technology』（共編，Taylor & Francis）ほか．

し，現在に至る．2000 から 2003 まで科学技術振興事業団さきがけ研究 21「情報と知」領域研究員，2005 から筑波大学大学院システム情報工学研究科助教授（連携大学院）を兼任．博士（工学）．音楽情報
処理，音声言語情報処理等に興味をもつ．2001 日本音響学会
粟屋潔学術奨励賞・ポスター賞，2003 インタラクション 2003
ベストペーパー賞，2005 情報処理学会論文賞等 18 件受賞．情報処理学会，日本音響学会，日本音楽知覚認知学会各会員．

駒谷

和範 （正員）1998 京大・工・情報工学卒．2000 同大
大学院情報学研究科知能情報学専攻修士課

程了．2002 同大学院博士後期課程了．同
年より京都大学情報学研究科助手．京都大学博士（情報学）．情報処理学会平 16 年度
山下記念研究賞，FIT2002 ヤングリサー
チャー賞受賞．情報処理学会，言語処理学会，人工知能学会，
ACL 各会員．

2733