(57)【要約】【課題】音楽音響信号から小節単位の打楽器パターンを抽出する。【解決手段】音楽音響信号に含まれる小節単位の打楽器パターンを複数種類抽出し、それらの演奏箇所も同時に推定することにより、ビートパターンの地図を作る方法を提案する。本方法は、音楽自動ジャンル分類や、音楽情報検索、さらに打楽器パターンを置換するなどの音楽の加工等に利用することができる。One-pass DP法を用いた小節への最適なセグメンテーションとk-meansクラスタリング法によるそれら打楽器パターンのクラスタリングを反復的に行い情報量規準により推定された最適な数の打楽器パターンを抽出し、その結果それらによる楽曲構造を示すマップを得る。【選択図】図６
2010054802.tif 000002
【特許請求の範囲】
【請求項１】
打楽器音を含む音楽音響信号から単位リズムパターンを抽出する方法であって、
前記音楽音響信号に含まれる打楽器音のスペクトル系列を用意し、
複数種類の参照パターンを用いたＤＰマッチングにより、前記打楽器音のスペクトル系列のセグメント分割とパターン分類を行ない、得られたセグメント分割とパターン分類に基づいて前記参照パターンを更新する分割最適化クラスタリングを反復的に行なうことで、収束した参照パターンを単位リズムパターンとして抽出する、
単位リズムパターン抽出方法。
【請求項２】
前記打楽器音のスペクトル系列を用意することは、音楽音響信号から打楽器音を抽出することを含む、請求項１の方法。
【請求項３】
前記打楽器音の抽出は、前記音楽音響信号のスペクトログラムを、周波数方向に滑らかな非調波的成分と時間方向に滑らかな調波的成分の和であるとし、時間周波数マスクによって、前記非調波的成分を抽出して打楽器音とするものである、請求項２に記載の方法。
【請求項４】
打楽器音を含む音楽音響信号は、打楽器音のみからなる信号である、請求項１に記載の方法。
【請求項５】
前記打楽器音のスペクトル系列を用意することは、音楽音響信号から既に分離されて格納されている打楽器音を用いるものである、請求項１に記載の方法。
【請求項６】
前記打楽器音のスペクトル系列は、周波数をメル尺度にスケーリングしたスペクトル系列である、請求項１乃至５いずれかに記載の方法。
【請求項７】
前記ＤＰマッチングは、連続単語音声認識に用いられるＤＰ法から選択される、請求項１乃至６いずれかに記載の方法。
【請求項８】
前記ＤＰ法は、Ｏｎｅ−Ｐａｓｓ  ＤＰ法、２段ＤＰ法、レベル・ビルディング、クロックワイズＤＰ法、ワンステージＤＰ、連続ＤＰ法、から選択される、請求項７に記載の方法。
【請求項９】
ＤＰマッチングにおける初期参照パターンは、予め用意した複数種類の打楽器リズムパターンから選択される、請求項１乃至８いずれかに記載の方法。
【請求項１０】
ＤＰマッチングにおける初期参照パターンは、入力された前記打楽器音のスペクトル系列を用いて取得される、請求項１乃至８いずれかに記載の方法。
【請求項１１】
参照パターンの幅を指定して、入力された前記打楽器音のスペクトル系列を複数の入力パターンに分割し、所要数の入力パターンをランダムに抽出して初期参照パターンとする、請求項１０に記載の方法。
【請求項１２】
参照パターンの幅を指定して、入力された前記打楽器音のスペクトル系列を複数の入力パターンに分割すると共に、各入力パターンにランダムあるいは順番に所要数の種類のラベル付けを行い、同じラベルが付与された入力パターンの平均を初期参照パターンとする、請求項１０に記載の方法。
【請求項１３】
前記参照パターンの幅の指定による分割は、
入力された前記打楽器音のスペクトル系列について自己相関関数のピーク値を取得し、取得したピーク値のフレーム数で前記入力された打楽器音のスペクトル系列を等分割することである、請求項１１、１２いずれかに記載の方法。
【請求項１４】
前記分割最適化クラスタリングは、k-means法である、請求項１乃至１３いずれかに記載の方法。
【請求項１５】
ＤＰマッチングによってパターン分類された各々のクラスタに属する複数のセグメントの中心を取得し、セグメント中心を参照パターンとして更新する、請求項１乃至１４いずれかに記載の方法。
【請求項１６】
パターン分類されたクラスタに属する複数のセグメントから選択した１つの代表セグメントをセグメント中心とする、請求項１５に記載の方法。
【請求項１７】
パターン分類されたクラスタに属する複数のセグメントの平均をセグメント中心とする、請求項１５に記載の方法。
【請求項１８】
単位リズムパターンの幅は、１小節の幅に対応している、請求項１乃至１７いずれかに記載の方法。
【請求項１９】
前記参照パターン数が既知であり、既知の数の初期参照パターンを用意する、請求項１乃至１８いずれかに記載の方法。
【請求項２０】
前記参照パターン数が未知であり、前記分割最適化クラスタリングにおける最適なクラスタ数を、情報量規準を用いて決定する、請求項１乃至１８いずれかに記載の方法。
【請求項２１】
前記情報量規準は、ベイズ情報量規準（ＢＩＣ）である、請求項２０に記載の方法。
【請求項２２】
請求項１乃至２１のいずれかの方法で抽出された複数の単位リズムパターンを用いた楽曲構造の推定法であって、
前記打楽器音のスペクトル系列に対応する単位リズムパターン列を、楽曲構造とする、
単位リズムパターンを用いた楽曲構造の推定法。
【請求項２３】
前記楽曲構造は、入力された前記打楽器音のスペクトル系列のフレーム数を横軸とし、複数の単位リズムパターンを縦軸に沿って並べてなる平面上に表示される、請求項２２に記載の楽曲構造の推定法。
【請求項２４】
請求項２２、２３の方法で得られた楽曲構造を用いた単位リズムパターンの置換法であって、
前記楽曲構造を構成する単位リズムパターンの一部を、予め用意した打楽器パターンと置換してなる、
単位リズムパターンの置換法。
【請求項２５】
前記置換された打楽器パターンを有する打楽器成分のスペクトログラムを、音楽音響信号から分離した調波成分のスペクトログラムに重畳することを含む、
請求項２４に記載の単位リズムパターンの置換法。
【請求項２６】
前記予め用意した打楽器パターンは、小節単位の打楽器パターンである、請求項２４、２５いずれかに記載の単位リズムパターンの置換法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音楽情報処理に関するものである。
【背景技術】
【０００２】
音楽情報検索に関する研究の中でも、特に音楽ジャンル分類のタスクにおいて、リズムに関する特徴量は非常に有力である。例えば、サンバやタンゴなどの楽曲ではそれらの典型的な小節単位の打楽器パターン、すなわち単位リズムパターン、には大きな特徴が見られる。
【０００３】
リズムは音楽を形成する最も基本的で重要な要素の一つであることは明らかである。ミクロな視点で見れば、単位リズムパターンはビートから構成される小節となることがほとんどである。また、マクロな視点でみれば、楽曲全体に含まれる複数の単位リズムパターンによって楽曲の構造を形成している事が多い。それら複数のリズムパターンがそれぞれ正確に抽出でき、単位リズムパターンから形成される楽曲構造が解析できたならば、リズムパターンに関する音楽解析や音楽ジャンル分類、音楽情報検索に非常に役立つであると考えられる。
【０００４】
従来の、リズム解析における最も基本的な研究としては、ビートトラッキングが挙げられる（非特許文献１）。このシステムでは、調波音のオンセット、コードの遷移、打楽器のパターンによって実時間で推定を行っている。ここでの打楽器パターンはスペクトルの低周波域にエネルギーが局在しているバスドラムと広い周波数域にエネルギーが広がっているスネアドラムの組合せであり、音楽的に一般的なパターンに基づく事前知識によってビートの位置を推定している。
【０００５】
また、音楽ジャンル分類の研究（非特許文献２）では音色特徴量、ピッチ情報特徴量、リズム情報特徴量がそれぞれ抽出される。特にリズム情報特徴量としてのビートヒストグラムは音楽音響信号の時間包絡と自己相関から抽出されたテンポの統計量として計算される（非特許文献３）。
【０００６】
その他のリズムパターンに関する関連研究としては、リズムパターン間距離の測定が挙げられる（非特許文献４）。この研究ではスペクトルセントロイドやMFCC(Mel-Frequency Cepstrum Coefficient)等がリズムパターン特徴量として抽出され、この特徴量パターンをDynamic Time Warping 法(DTW)を用いて比較する。打楽器のみの音源では良く似たパターンほど距離が近くなる事が確認されたが、実音楽への応用までは至っていなかった。
【０００７】
実音楽からリズムパターンを抽出する研究は、音響信号のパワーの周期的なパターンをヒューリスティックな方法により抽出したもの（非特許文献５）やスペクトルの周期性に基づく特徴量を抽出したもの（非特許文献６）が挙げられ、サンバ、タンゴ等、リズムが特徴的な楽曲の区別が出来る程度の成果が挙げられている。
【非特許文献１】Goto, M., “An audio-based real-time beattracking system for music with or without drum-sounds,” Journal of New MusicResearch, Vol. 30, No. 2, pp. 159. 171, June 2001.
【非特許文献２】Tzanetakis, G. and Cook, P., “Musical genreclassification of audio signals,” IEEE Transaction on Speech and AudioProcessing, Vol. 10, No. 5, pp. 293-302, 2002.
【非特許文献３】Tzanetakis, G., Essl, G. and Cook, P.,“Audio analysis using the discrete wavelet transform,” Proc. of WSES Int. Conf.on Acoustics and Music: Theory and Applications, 2001.
【非特許文献４】Paulus, J. and Klapuri, A., “Measuring thesimilarity of rhythmic patterns,” Proc. of the 3rd Int. Conf. on MusicInformation Retrieval (ISMIR 2002), pp. 150-156, IRCAM Centre Pompidou, 2002.
【非特許文献５】Dixon, S., Guyon,F. and Widmer G., “Towards characterization of music via rhythmic patterns,”Proc. of the 5th Int. Conf. on Music Information Retrieval (ISMIR2004), Barcelona, Spain, 2004.
【非特許文献６】Peeters, G., “Rhythm classification usingspectral rhythm patterns,” in Proc. of the 6th Int. Conf. on Music InformationRetreval (ISMIR2005), pp. 644. 647, London, UK, September 2005.
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、音楽音響信号から単位リズムパターン、典型的には小節単位の打楽器パターン、を抽出することを目的としている。
【０００９】
本発明の他の目的は、抽出された単位リズムパターンに基づいて楽曲構造を推定することにある。
【００１０】
本発明の他の目的は、音楽音響信号中の単位リズムパターン、すなわち単位打楽器パターン、を置換して楽曲加工を行なうことにある。
【課題を解決するための手段】
【００１１】
本発明が採用した第１の技術手段は、
打楽器音を含む音楽音響信号から単位リズムパターンを抽出する方法であって、
前記音楽音響信号に含まれる打楽器音のスペクトル系列を用意し、
複数種類の参照パターンを用いたＤＰマッチングにより、前記打楽器音のスペクトル系列のセグメント分割とパターン分類を行ない、得られたセグメント分割とパターン分類に基づいて前記参照パターンを更新する分割最適化クラスタリングを反復的に行なうことで、収束した参照パターンを単位リズムパターンとして抽出する、
単位リズムパターン抽出方法、である。
【００１２】
通常、実際の楽曲は調波音も含むため、前記打楽器音のスペクトル系列を用意することは、音楽音響信号から打楽器音を抽出することを含む。調波音・打楽器音分離手法を用いることによって、打楽器音を抽出する。一つの態様では、前記打楽器音の抽出は、前記音楽音響信号のスペクトログラムを、周波数方向に滑らかな非調波的成分と時間方向に滑らかな調波的成分の和であるとし、時間周波数マスク（スペクトル成分を分配する分配係数）によって、前記非調波的成分を抽出して打楽器音とする。
【００１３】
一つの態様では、前記時間周波数マスク（分配係数）の取得は、分配係数をパラメータとして分配された各スペクトル成分の滑らかさ指標の関数を含む目的関数を設定し、前記目的関数を最適化するパラメータを推定することで取得される。分配された各スペクトル成分の滑らかさ指標は、着目したスペクトル成分と、当該着目スペクトル成分の時間周波数平面上での近傍にある分配されたスペクトル成分とのエネルギーの差に基づいて決定される。着目スペクトル成分の近傍のスペクトル成分は、典型的には、時間周波数平面上で隣接するスペクトル成分であるが、近傍の範囲はこれに限定されるものではない。分配係数、すなわち、時間周波数マスクの設定は、滑らかさのコストをスペクトログラムの微分の関数で設計し、これを最小化する最適化問題として捉えることができる。打楽器音を抽出するための打楽器音分離手法は、このものには限定されないことが当業者に理解される。
【００１４】
打楽器音を含む音楽音響信号は、打楽器音のみからなる信号であってもよい。前記打楽器音のスペクトル系列を用意することは、音楽音響信号から既に分離されて格納されている打楽器音を用いるものでもよい。また、一つの態様では、前記打楽器音のスペクトル系列は、周波数をメル尺度にスケーリングしたスペクトル系列であるが、これには限定されないことは当業者に理解される。
【００１５】
一つの態様では、前記ＤＰマッチングは、連続単語音声認識に用いられるＤＰ法から選択される。前記ＤＰ法は、一つの好ましい態様ではOne-Pass DP法であるが、本発明に用いられ得るその他のＤＰ法として、２段ＤＰ法、レベル・ビルディング、クロックワイズＤＰ法、ワンステージＤＰ、連続ＤＰ法を例示することができる。
【００１６】
一つの態様では、ＤＰマッチングにおける初期参照パターンは、予め用意した複数種類の打楽器リズムパターンから選択される。一つの態様では、ＤＰマッチングにおける初期参照パターンは、入力された前記打楽器音のスペクトル系列を用いて取得される。より具体的な態様例では、参照パターンの幅を指定して、入力された前記打楽器音のスペクトル系列を複数の入力パターンに分割し、所要数の入力パターンをランダムに抽出して初期参照パターンとする。あるいは、参照パターンの幅を指定して、入力された前記打楽器音のスペクトル系列を複数の入力パターンに分割すると共に、各入力パターンにランダムあるいは順番に所要数の種類のラベル付けを行い、同じラベルが付与された入力パターンの平均を初期参照パターンとする。前記参照パターンの幅の指定による分割は、入力された前記打楽器音のスペクトル系列について自己相関関数のピーク値を取得し、取得したピーク値のフレーム数で前記入力された打楽器音のスペクトル系列を等分割することである。
【００１７】
前記分割最適化クラスタリングは、k-means法である。k-means法は、典型的な分割最適化クラスタリングとして知られており、また、k-means法を変形・改良してなる数々の分割最適化クラスタリング手法も当業者に知られており、本明細書において、k-means法には、これらの変形・改良手法も含まれるものとして扱う。
【００１８】
ＤＰマッチングによってパターン分類された各々のクラスタに属する複数のセグメントの中心を取得し、セグメント中心を参照パターンとして更新する。セグメント中心は、各クラスタに属する複数のセグメントを代表するものであり、セグメント中心の計算には幾つかのやり方があることは当業者に理解される。１つの態様では、パターン分類されたクラスタに属する複数のセグメントから選択した１つの代表セグメントをセグメント中心とする。１つの態様では、パターン分類されたクラスタに属する複数のセグメントの平均をセグメント中心とする。
【００１９】
典型的には、単位リズムパターンの幅は、１小節の幅に対応している。
【００２０】
一つの態様では、前記参照パターン数が既知であり、既知の数の初期参照パターンを用意する。
【００２１】
一つの態様では、前記参照パターン数が未知であり、前記分割最適化クラスタリングにおける最適なクラスタ数を、情報量規準を用いて決定する。一つの態様では、前記情報量規準は、ベイズ情報量規準（ＢＩＣ）である。
【００２２】
本発明が採用する情報量規準は、確率分布モデルを評価するものであれば、ＢＩＣ（ベイズ情報量規準）に限定されるものではなく、ＡＩＣ（赤池情報量規準）、ＡＢＩＣ(赤池ベイズ型情報量規準)、ＴＩＣ（竹内情報量規準）、ＭＤＬ（最小既述長）、ＧＩＣ（一般化情報量規準）、ＥＩＣ（ブートストラップ情報量規準）、ＰＩＣ（予測情報量規準）、クロスバリデーション、マローのＣｐ規準、ハナン−クインの規準、さらに、これらの近似的な情報量規準あるいは等価の情報量規準を含み得る。
【００２３】
本発明が採用した第２の技術手段は、上記方法で抽出された複数の単位リズムパターンを用いた楽曲構造の推定法であって、
前記打楽器音のスペクトル系列に対応する単位リズムパターン列を、楽曲構造とする、
単位リズムパターンを用いた楽曲構造の推定法、である。
【００２４】
一つの態様では、前記楽曲構造は、入力された前記打楽器音のスペクトル系列のフレーム数を横軸とし、複数の単位リズムパターンを縦軸に沿って並べてなる平面上に表示されたリズムマップである。
【００２５】
本発明が採用した第３の技術手段は、上記方法で得られた楽曲構造を用いた単位リズムパターンの置換法であって、
前記楽曲構造を構成する単位リズムパターンの一部を、予め用意した打楽器パターンと置換してなる、単位リズムパターンの置換法、である。
典型的には、前記予め用意した打楽器パターンは、小節単位の打楽器パターンである。
【００２６】
一つの態様では、前記置換された打楽器パターンを有する打楽器成分のスペクトログラムを、音楽音響信号から分離した調波成分のスペクトログラムに重畳することを含む。典型的には、重畳されたスペクトログラムを時間領域の波形に変換する。
【００２７】
本発明のハードウエア構成としては、パーソナルコンピュータ等のコンピュータ（具体的には、入力装置、表示装置を含む出力装置、ＣＰＵ，記憶装置（ＲＯＭ，ＲＡＭ等）、これらを接続するバス等、を備えている。）から構成することができる。したがって、本発明は、前記各方法を実行させる、コンピュータプログラムあるいは該コンピュータプログラムを記憶したコンピュータ可読媒体としても提供され得る。
【発明の効果】
【００２８】
本発明は、楽曲検索や、その分類に用いる特徴量の一つとして、楽曲を構成する単位打楽器パターン、すなわち単位リズムパターン、に着目し、楽曲特有の単位リズムパターンを抽出する。本発明では、強調された打楽器スペクトログラムから、各リズムパターンへの分割とリズムパターンのクラスタリングを反復的に行なうことで単位リズムパターンの抽出と演奏される個所の推定を同時に行なうことで楽曲構造を得ることができる。音楽情報検索では、スペクトログラムの類似性が用いられているが、楽曲の構造によって大別してから各々のスペクトログラムを比較する階層的な手法のほうがより高速に検索できると考えられる。そのため、楽曲の構造解析は音楽情報検索技術にとって非常に有用である。
【００２９】
本発明では、音楽音響信号中の打楽器パターンを置換することで、リズムパターンの対応的な置き換えによる楽曲加工を行なうことができる。
【発明を実施するための最良の形態】
【００３０】
［Ａ］概要
本発明の一つの実施形態では、音楽音響信号のスペクトログラムから楽曲固有の単位打楽器パターンを抽出し、それらのパターンが楽曲中で演奏される箇所を推定しマップの形として楽曲の構造を表示する。
【００３１】
［Ａ−１］リズム解析における問題
打楽器パターンのように周期的に同じリズムパターンが繰り返している中からその単位リズムパターンを抽出したい。仮に一つのリズムパターンの繰り返しであれば比較的簡単な問題になるが、実際の楽曲では複数の単位打楽器パターンがそれぞれのジャンルに適した演奏法に従って演奏される。このような問題は鶏と卵問題であり、単位リズムパターンへのセグメンテーションが与えられていれば複数の単位リズムパターン自体を決定することは難しくなく、逆も然り、複数の単位リズムパターン自体が与えられていれば入力打楽器パターン列のセグメンテーションは容易になると考えられる。その他の問題点としては、テンポ変動の可能性が挙げられる。楽曲中の単位打楽器パターンが伸縮した場合にも正確にセグメンテーションを行う必要がある。これらは打楽器のみの楽曲から単位打楽器パターンを抽出する場合においても問題となる事だが、実際の楽曲、特に現代のポピュラー音楽やジャズ音楽から抽出するには、打楽器のみでなくメロディーや和音が含まれ、それらによって打楽器パターンが部分的に隠されるため更に難しい問題となる。
【００３２】
そのため、打楽器音のテンプレートのような事前知識なしに入力音響信号から小節単位打楽器リズムパターンを抽出する際の問題点は以下の４点にまとめられる。
(i)  入力音響信号は打楽器音のみでなく、メロディーや和音を含む。
(ii)  演奏者によってテンポや打楽器パターン自体が変動する。
(iii)  単位パターンへのセグメンテーションが未知である。
(iv)  複数の単位打楽器パターン自体が未知である。
【００３３】
［Ａ−２］打楽器音の強調
上で挙げた問題(i)はつまり、入力音響信号から得られるスペクトログラムに調波音と打楽器音が混在することである。このようなスペクトログラムから打楽器音を事前知識無しに分離強調する必要がある。調波音は音高を持つため、そのスペクトログラムはある特定の周波数に偏ってエネルギーが大きくなり、時間的には一定時間演奏される。逆に打楽器音は広い周波数域にエネルギーが広がり、時間的には瞬間しかエネルギーが存在しない。このようなスペクトログラム上の音色の特徴の違いを利用し、時間軸方向に滑らかな調波音と周波数軸方向に滑らかな打楽器音に分離するマスクを用いてスペクトログラムから調波音と打楽器音を分離する。具体的な方法については、後述する。
【００３４】
［Ａ−３］リズムによる楽曲構造と単位打楽器パターンの反復的な推定
仮に正解の小節単位打楽器パターンがテンプレートとして与えられていれば上述の問題(iii)は連続音声認識に類似した問題と考える事が出来るため、One-pass DP法を用いて発声された各言葉の箇所を推定するように各単位打楽器パターンの演奏箇所としての楽曲構造の推定を行う事ができる。また、このアルゴリズムは時間の伸縮を許すため、上述の問題(ii)も同時に解決される。
【００３５】
しかし、実際には問題(iv)にも挙げられるように正解の単位パターンは与えられない鶏と卵問題であり、当初はセグメンテーションと正解単位パターンの両方が未知であるため、これらを同時に推定する必要がある。つまり教師なし学習問題と捉える事が出来る。そのため、One-passDP法と組み合わせてk-meansクラスタリングアルゴリズムを利用する事が考えられる。つまり、クラスタ要素の平均化による単位パターンの更新と楽曲構造の推定を反復的行うという事である。図６にアルゴリズムのフロー図を示す。音楽音響信号のスペクトログラムに対して、調波成分／打楽器成分の分離が行なわれ、打楽器音が強調されたスペクトログラムを得る。得られた打楽器音のスペクトル列に対して、リズム構造の更新と、単位パターンの更新を交互に反復し、楽曲構造（リズムマップ）及び単位リズムパターンを取得する。以下、アルゴリズムについて詳細に説明する。
【００３６】
［Ｂ］打楽器音の強調
楽曲のスペクトル系列から打楽器パターンを抽出する事を考えるが、一般には、スペクトル系列には調波音のスペクトルと打楽器音のスペクトルが混在する。したがって、打楽器パターンを抽出する前処理として、打楽器音の強調すなわちスペクトル系列から打楽器音を分離する必要がある。
【００３７】
調波音と打楽器音の混在した音楽信号を分析対象とし、入力信号の短時間周波数解析によって得られるスペクトログラムをＷ（ｘ，ｔ）とする（ｘ:周波数、ｔ：時刻)。ここで行なうことは、このＷ（ｘ，ｔ）を打楽器的な音程を持たない非調波成分Ｐ（ｘ，ｔ）と音程を持つ楽器のような調波成分Ｈ（ｘ，ｔ）の２つのスペクトログラムに分解することである。このとき満たすべき要件は、任意の時間周波数（ｘ，ｔ）において、
【数１】
2010054802.tif 000003
が成り立つことである。
【００３８】
調波成分・打楽器成分の時間周波数領域におけるスペクトル成分の異方性に着目する。より具体的には、図１、図２に示すようにポピュラー音楽の音響信号のスペクトログラムが、時間周波数領域において、一般的に周波数方向に形成される山脈ないし畝のようなスペクトル成分と、時間方向に形成される山脈ないし畝のようなスペクトル成分とからなることが多い点に着目する。前者は、打楽器のように時間方向には急峻に変化するが周波数方向にはブロード（滑らか）である成分Ｐ（ｘ，ｔ）に、後者は逆に周波数方向には急峻な形状だが時間方向には滑らかな成分Ｈ（ｘ，ｔ）に対応するとみなすことができ、また２成分は時間周波数平面上においてスパースに存在しているとみなせる。
【００３９】
入力信号のスペクトログラムを、時間周波数マスクによって２つのスペクトログラムに分解する。すなわち、前述したＰ（ｘ，ｔ）とＨ（ｘ，ｔ）のスパース性から、任意の時間周波数において０〜１の値をとる時間周波数マスクｍＰ（ｘ，ｔ），ｍＨ（ｘ，ｔ）を設計することで、
【数２】
2010054802.tif 000004
とＷ（ｘ，ｔ）を分解できると考えられる。
【００４０】
時間周波数マスクは、分解された２つのスペクトログラムの夫々を形成するスペクトル成分の滑らかな方向を検出するように設計される。打楽器成分のスペクトル成分が周波数方向に滑らかであるという特徴、及び、調波成分のスペクトル成分が時間方向に滑らかであるという特徴を用いて、入力信号のスペクトログラムをそれぞれのスペクトル成分に分離する時間周波数マスクが設計される。０〜１の値を取る時間周波数マスクは、一つの態様では、０か１の値を取るバイナリマスクである。
【００４１】
マスクの設計方法として、１）２次元フィルタを用いる手法、２）Divergenceと滑らかさコストをＥＭアルゴリズム的手法で最小化する手法、３）レベル圧縮したスペクトログラムに対し滑らかさコストをＥＭアルゴリズム的手法で最小化する手法、の３つの実施形態について説明する。
【００４２】
［Ｂ−１］第１手法
第１手法では、観測信号の時間周波数平面のスペクトログラムを画像とみなし、調波的な音と打楽器的な音の持つ一般的な性質の違いを利用した２次元フィルタを用いることで、楽器固有の情報なしで音楽信号から打楽器音と調波音を分離する。
【００４３】
時間周波数マスクｍＰ（ｘ，ｔ）、ｍＨ（ｘ，ｔ）の設計について述べる。Ｗ（ｘ，ｔ）を画像とみなすと、Ｐ（ｘ，ｔ）とＨ（ｘ，ｔ）の特徴、すなわち、周波数方向のエッジ(縦方向のエッジ)と時間方向のエッジ(横方向のエッジ)、を個別に抽出するような２次元フィルタをかけることで、そのフィルタ出力結果の大小から各時間周波数成分がＰ（ｘ，ｔ）に属するかＨ（ｘ，ｔ）に属するかを決定できる。
【００４４】
Ｗ（ｘ，ｔ）の２次元フーリエ変換成分をＷ（バー）（ａ，ｂ）（ａ:周波数方向のフーリエ成分，ｂ:時間方向のフーリエ成分）とすると、Ｐ（ｘ，ｔ）特徴抽出フィルタＦ（バー）Ｐ（ａ，ｂ）、Ｈ（ｘ，ｔ）特徴抽出フィルタＦ（バー）Ｈ（ａ，ｂ）を用いることで、
【数３】
2010054802.tif 000005
のようにフィルタ出力結果が得られる。この結果から時間周波数マスクｍＰ（ｘ，ｔ）、ｍＨ（ｘ，ｔ）は、
【数４】
2010054802.tif 000006
と得られる。
【００４５】
Ｐ（ｘ，ｔ）、Ｈ（ｘ，ｔ）の特徴をそれぞれ抽出する２次元フィルタＦ（バー）Ｐ（ａ，ｂ）、Ｆ（バー）Ｈ（ａ，ｂ）としては様々な形状が考えられる。具体的には、実質的に時間方向の平滑化を行うフィルタと、実質的に周波数方向の平滑化を行うフィルタと、からなる。より具体的には、時間方向のみの１次元ローパスフィルタと、周波数方向のみの１次元ローパスフィルタ、あるいは、時間方向の遮断周波数ωt、周波数方向の遮断周波数ωfが大きく異なる２つの２次元ローパスフィルタ（一方はωt>>ωf、他方はωt<<ωf）などを含む。最も簡単なフィルタの例としては、ＦＰ（ａ，ｂ）は周波数方向のみ、ＦＨ（ａ，ｂ）は時間方向のみのローパスフィルタ、
【数５】
2010054802.tif 000007
で設計することができ、また、ｇ（ａ）やｈ（ｂ）の１次元ローパスフィルタの断面形状としては三角窓やgaussianが利用できる。また、スペクトル成分の滑らかな方向の特徴を抽出するフィルタは、周波数領域のデジタルフィルタに限定されるものではなく、空間フィルタによっても設計し得ることは当業者に理解される。
【００４６】
［Ｂ−２］第２手法
第２手法では、スペクトログラムの滑らかさの異方性に基づいたＥＭアルゴリズムによる反復解法を提案する。第２手法では、滑らかさのコスト＋距離指標から目的関数が設定され、この目的関数を最小化するように分配係数を最適化する。
【００４７】
（滑らかさコストの導入）
スペクトログラムにおける調波的な成分と打楽器的な成分の異方性を利用して、Ｗ（ｘ，ｔ）からＨ（ｘ，ｔ）とＰ（ｘ，ｔ）を推定する問題を議論する。実装上（ｘ，ｔ）は離散的な座標として取得できるため、以下の議論では離散的な時間周波数領域（ｘｉ，ｔｊ）と定義して議論を行なう(Ｉ:周波数bin数、Ｊ:分析フレーム数)。
【００４８】
本実施形態では、スペクトログラムの滑らかさの異方性を、最小化すべきコストとして、隣り合う時間周波数binとのエネルギーの平方根の二乗誤差
【数６】
2010054802.tif 000008
のように表現する。
【００４９】
調波音のスペクトルは時間軸方向には滑らかであるが、周波数はある特定の周波数付近に偏って音高を成すことが多い。逆に、打楽器音のスペクトルは周波数軸方向には急激に変化しないが、時間的には瞬間的にしか存在しないことが多い。そのため、時間軸方向と周波数軸方向の滑らかさをコスト（隣り合う時間周波数bin とのエネルギーの平方根の二乗誤差）として目的関数に加えEMアルゴリズムでマスクを推定することで、打楽器音を分離強調できる。
【００５０】
（目的関数最小化によるパラメータ反復推定）
観測スペクトログラムを調波成分・打楽器成分に分配する時間周波数マスクｍＨ（ｘｉ，ｔｊ），ｍＰ（ｘｉ，ｔｊ）を導入する。時間周波数マスクｍＨ（ｘｉ，ｔｊ），ｍＰ（ｘｉ，ｔｊ）は数式(4)(5)(6)の条件を満たす。
【００５１】
分配されたエネルギー分布ｍＰ（ｘｉ，ｔｊ）Ｗ（ｘｉ，ｔｊ）、ｍＨ（ｘｉ，ｔｊ）Ｗ（ｘｉ，ｔｊ）と、Ｐ（ｘｉ，ｔｊ）、Ｈ（ｘｉ，ｔｊ）との近さを表す分布間距離の指標としてI-Divergenceを採用すると、式(13)(14)の滑らかさコストとの和による目的関数
【数７】
2010054802.tif 000009
を最小化する問題として定式化できる。
【００５２】
この目的関数から、時間周波数マスクを固定して式(15)を最小化するＨ（ｘｉ，ｔｊ）とＰ（ｘｉ，ｔｊ）の更新と、Ｈ（ｘ，ｔ）,Ｐ（ｘ，ｔ）を固定して式(15)を最小化するようなｍＰ（ｘｉ，ｔｊ）とｍＨ（ｘｉ，ｔｊ）の更新を交互に行なうことにより、目的関数(15)の最小化における局所最適解が得られる。
【００５３】
Iダイバージェンスは、解析的な更新式を求めやすいという利点を有している。しかしながら、距離指標としては、パラメータの更新式が解析的に求められるような距離関数であれば、他の距離指標、例えば、ユークリッド距離(２乗誤差)やマハラノビス距離などを用いても良い。
【００５４】
［Ｂ−３］第３手法
第２手法では、Ｗ（ｘ，ｔ）からＨ（ｘ，ｔ）とＰ（ｘ，ｔ）を推定する問題を議論するものであったが、第３手法では、分配されたスペクトログラムの滑らかさコストを最小化する問題として議論する。
【００５５】
Ｆｈ，ｉモノラル音響信号ｆ（ｔ）の短時間フーリエ変換（ＳＴＦＴ）とすると、
Ｆｈ，ｉ＝φ（｜Ｆｈ，ｉ｜２)となり、ここで、ｈ、ｉは、周波数ｂｉｎ、時間ｂｉｎのインデックスである。Ｆｈ，ｉは、φ（Ａ）＝Ａの時には通常のスペクトログラムを表し、φ（Ａ）＝Ａγ（γ＜１）のような凸関数φ（Ａ）を設定することで、レンジ圧縮されたスペクトログラムが生成される。
【００５６】
以下のような適切な時間周波数バイナリマスｍｈ，ｉを見つける。
【数８】
2010054802.tif 000010
ここで、Ｈｈ，ｉ、Ｐｈ，ｉはそれぞれ、スペクトログラムの調波成分、非調和（打楽器）成分を表す。マスクｍｈ，ｉを設計する一つの手法は、ある事前分布に基づく最大事後推定（ＭＡＰ）推定を適用することである。
【００５７】
水平方向、垂直方向にそれぞれ滑らかなＨｈ，ｉ、Ｐｈ，ｉのエンベロープに着目して、各成分について次の事前確率を仮定する。
【数９】
2010054802.tif 000011
ベクトルＨ、Ｐは、それぞれ、Ｈｈ，ｉ、Ｐｈ，ｉの集合を表し、σ２Ｈ、σ２Ｐは、スペクトログラムの勾配の分散を表し、これらは、ＳＴＦＴのフレーム長やフレームシフトに依存するであろう。スペクトログラムの勾配の実際の分布はガウス分布とは異なるが、ガウス分布を仮定することで問題の定式化及び解法を容易としている。後述するように、φ（Ａ）を用いてスペクトログラムのダイナミックレンジを圧縮することで、実際の状態と仮定とのギャップをある程度埋めることができる。
【００５８】
したがって、ＭＡＰ推定の目的関数は、以下のように書ける。
【数１０】
2010054802.tif 000012
ここで、ベクトルｍはｍｈ，ｉの集合であり、定数項は簡略化のため省略してある。
【００５９】
補助関数を用いた更新ルールの導出
式（20）はｍｈ，ｉの定積分形式であり、最適なベクトルｍは、ｍを連続値の変数であるとすると、∂Ｊ／∂ｍｈ，ｉ＝０で求められる。ここで、∂Ｊ／∂ｍｈ，ｉ＝０をより簡単に解くために、補助関数手法を用いることができる。補助関数は例えば、ＮＭＦ（Non-negative matrix factorization）やＨＴＣ（Harmonic-Temporal
Clustering）において用いられており、当業者において公知の手法である。
【００６０】
ここで述べた打楽器音の分離ないし強調方法は、スペクトログラムにおけるスペクトル成分の滑らかな方向の違いに着目した点に特徴を有するものであるが、分離信号を得る処理ステップにおいて、スペクトログラムを実際に画面に表示することを要しない。本発明においては、分析対象となる音信号を時間周波数領域に変換することで得られたスペクトル成分が得られていればよい。時間周波数領域への変換手段は、典型的な例では、短時間フーリエ変換であるが、ウェーブレット変換、定Ｑフィルタバンク分析、その他のフィルタバンク分析でもよい。実際のスペクトログラムの計算では、短時間周波数分析によって離散的な時間と周波数ごとに成分が得られる。したがって、スペクトログラムにおける各スペクトル成分（時間周波数成分）は、時間bin（フレーム)と周波数binにより特定される時間周波数binである。目的関数におけるパラメータである分配係数を推定するアルゴリズムとしては、一つの好ましい態様ではＥＭアルゴリズムであるが、最急降下法やニュートン法等の他の最適化アルゴリズムを用いてもよい。また、ＥＭアルゴリズムを解くにあたって、補助変数を導入してもよい。また、本発明において、打楽器音の分離手法として、他の分離手法を用いても良いことは当業者に理解される。
【００６１】
［Ｃ］打楽器パターンの抽出
ポピュラー音楽等、打楽器を含む楽曲では、あるリズム構造の打楽器パターンが繰り返し用いられることが多いので、それを構成する最小パターンを抽出し、それをリズム特徴量とすることを考える。複数のパターンが存在する場合も多いが、それぞれの打楽器パターンを、打楽器音のスペクトル系列から抽出したい。
【００６２】
［Ｃ−１］One-Pass DP法によるセグメント分割
複数種類ある単位リズムパターンとしての打楽器パターンを抽出する際に問題になるのは、複数種類の各パターンの区間は当初は未知であること、どれが同じパターンであるかを推定すること、それらのパターンは演奏やアレンジ等により多少の変動を受けていることである。
【００６３】
本実施形態ではこれらの問題に対処するために、連続音声認識で用いられるOne-pass
DP 法（H. Ney and S. Ortmanns. Dynamic programming search
for continuous speech recognition. IEEE Signal Processing Magazine, Vol. 1, No.
5, pp. 64−83, September 1999.）を利用し、打楽器パターンを抽出するアルゴリズムを提案する。個数既知の複数の適切な初期参照パターンがあれば、観測入力をこれらの参照パターンとマッチングして、最適なパターン分類とセグメント分割を行える。DPマッチング経路を適切に設定すれば、パターンの変動を吸収することができる。
【００６４】
One-Pass DPを設計するにあたり、打楽器を含む楽曲ではテンポの変動が小さいと考えられるため、時間変動の許容が小さくなるように設計する。そのため、局所経路を図７（Ａ）のようにする事で、初期の参照パターン幅に妥当なものを与えた場合、与えられた参照パターン幅に近くなるような許容された幅において打楽器パターンの最適なセグメント分割が行われる。参照パターン幅を固定した場合、参照の更新後も同様の事が言える。
【００６５】
各フレーム間の距離を各周波数ｂｉｎを要素に持つベクトル間のマハラノビス距離とすると、低周波数域のエネルギーが大きいバスドラムと、低周波数域ではエネルギーが小さいが高周波数域では大きいハイハットとを区別するなど、スペクトル形状から分かる音色の違いに着目したパターン抽出が可能となる。
【００６６】
One-pass DPを用いる利点は、局所経路の選択肢が多いのみでなく、経路制約を自由に変更できる点も挙げられる。例えば、スネアドラムが３拍目に演奏されるものと３．５拍目で演奏されるものとの差が有意であるとしたいのならば、One-pass DPで吸収される時間変動幅をより厳しく設定することにより、これらを異なる打楽器パターンとして抽出することができる。その一つの方法としては入力パターンのフレームインデックスをｉ、参照パターンのフレームインデックスをｊとする場合、ある閾値Ｄによって−Ｄ≦ｉ−ｊ≦Ｄして、それより外への経路を許さないとするものが考えられる。
【００６７】
［Ｃ−２］k-meansクラスタリング法を用いた参照パターンの更新
正解の単位リズムパターンは当初は未知であるため、楽曲内で教師なし学習を行う必要がある。上の方法で得られるパターン分類とセグメント分割に基づいて各クラスタの中心パターンを参照パターンとして更新する。これらの行程を反復して行うことで、k-meansアルゴリズムの原理により、局所最適に更新された参照パターンとセグメント分割とセグメントごとのパターン分類が行える。このような学習アルゴリズムにより、楽曲の音響信号から単位リズムパターンを抽出することができる。
【００６８】
［Ｃ−３］初期の参照パターンの決定
上述のアルゴリズムでは初期の参照パターンによって局所最適解が異なると考えられる。より適切な局所最適解に収束させるための初期の参照パターンは、以下の３種類が考えられる。
【００６９】
（方法１：既存の打楽器パターンの利用）
ありふれた打楽器パターンスペクトル系列をいくつか用意し、その中からいくつかを初期の参照パターンに選出する方法である。この方法は最終的に学習される打楽器パターンが既存の打楽器パターンに類似することが期待され、妥当な局所最適解に収束する可能性が高いと考えられる。しかし、そのために用意すべきパターンのバラエティーが多いことや、One-pass DP法によってその中の一部のみが選択されるため、パターン数の制御ができないことが予想される。これはk-meansクラスタリングにも見られる問題であり、バラエティーに富んだ既存の打楽器パターンを用意することも容易でない。
【００７０】
（方法２：代表セグメントの利用）
ある程度のパターン幅が与えられた場合、入力パターンからランダムにその幅だけのスペクトルを抜き出して参照パターンとする方法である。しかし打楽器パターンの場合、楽曲内の各パターンクラスタ内の距離は小さいと考えられるため、同じパターンが複数個選ばれる可能性が高く、その結果、同一の打楽器パターンが複数のクラスタに分割されることも予想される。
【００７１】
（方法３：セグメント平均の利用）
上と同様ある程度パターン幅が与えられた場合に、入力パターンからその幅に等間隔に切り分けるが、それぞれに対してランダムに、もしくは順番にラベルを付けて同じラベルのついたパターン同士の平均を参照パターンとする方法である。この方法を用いた場合、参照パターンはほとんど全て類似したものになるが、本来の打楽器パターンクラスタ間の平均的なパターンとして与えられるため、同一の打楽器パターンが複数のクラスタに分類されるエラーは起きにくくなることが考えられる。
【００７２】
このような考察から、一つの態様では、方法３の入力パターンから等間隔に取り出して平均化したスペクトル系列を初期の参照パターンとする方法を採用する。ここで用いるパターン幅（フレーム数）は与える必要があるが、局所的に自己相関関数を計算してそのピーク値よりおおよそのパターン幅を決定し、これを解決する。
【００７３】
［Ｃ−４］参照パターンの更新
上述のアルゴリズムではOne-pass DP法を用いてセグメントに分割し、それぞれに対してパターン分類を行う。その後に分類された各々のパターンに属するセグメントの中心を計算し、それを参照パターンとして更新し、k-meansのアルゴリズムのように最適な分割と分類を求めたいが、セグメント中心の計算方法はいくつか考えられる。
【００７４】
一つはパターン分類されたクラスタ内のセグメントの代表を一つ選び出す方法である。具体的にはクラスタ内の全セグメント間に関してはDPマッチングにより距離が計算できるため、ある一つのセグメントに対し、その他全てのセグメントとの距離の総和が最小となるセグメントをそのクラスタ中心とすることにより、更新毎にOne-pass DPの距離コストが極小化され、収束する事が保証できる。
【００７５】
もう一つは、One-pass DPによってとられたアラインメントにしたがって、クラスタ内のセグメントの平均を計算する方法である。One-pass DPの距離コストはアラインメントにしたがって対応する参照パターンのフレームと入力パターンのフレーム間の距離の総和と等しくなる。距離関数に二乗誤差(マハラノビス距離)を選択すると、平均をとることによって対応するフレームの距離の総和を最小化する事ができるため、同じく更新毎にOne-pass DPの距離コストを極小化することができ、収束する事が保証できる。
【００７６】
前者の方法は毎回の更新で参照パターンの幅が大きく変動するため、不安定なものになる。特に打楽器パターンを抽出したいので、パターン幅はなるべく一定となるように、可能ならば１小節となるように制限したい。そこで、本研究では後者の中心の計算方法を採用する。平均を計算する事によってOne-pass DPの距離コストを極小化できるだけでなく、調波音・打楽器音分離の際に完全に分離されずに残った調波成分のノイズ等が小さくなる事が考えられるため、より純粋な打楽器パターンを抽出できることが期待できる。
【００７７】
［Ｃ−５］アルゴリズムの定式化
［Ｃ−５−１］One-pass DP法
One-pass DPで計算される距離は参照パターンと入力パターンが近くなるほど小さくなるため、One-pass DPの距離を極小化する問題として定式化できる。入力パターン列をＸ１,・・・,Ｘｍ,・・・,ＸＭ、参照パターンＲｖに対するパターン列をＹｖ１,・・・,Ｙｖｎ,・・・，ＹｖＮｖとする。今回用いたノード間の距離関数はＲｖにおいて、
【数１１】
2010054802.tif 000013
とした。Σは入力パターンに対する対角分散行列である。
【００７８】
入力パターン列のフレームインデックスをｉｘ、参照パターン列のフレームインデックスをｉｙとすると、局所経路の計算は、
【数１２】
2010054802.tif 000014
でξは点（ｉ´ｘ，ｉ´ｙ）から点（ｉｘ，ｉｙ）への移動コストに重みをかけたもの、
【数１３】
2010054802.tif 000015
でＬｓは局所経路の選び方によって異なり、
【数１４】
2010054802.tif 000016
を満たす（L. Rabiner and B. H. Juang，Fundamentals of Speech Recognition，chapter 4，pp.200−238. Prentice Hall，1993.）。図７（Ａ）の経路の場合、上の重みは図７（Ｂ）のようにすることができ、この時Ｌｓ＝１である。
【００７９】
具体的な計算方法は、ｉｘ＝１、ｉｙ＝１の時、
【数１５】
2010054802.tif 000017
１≦ｉｘ≦Ｍ、間の参照パターンＲｖ内では、
【数１６】
2010054802.tif 000018
ｉｙ＝１のときは参照パターンＲｖ、Ｒｖ´間の経路を図７（Ｃ）のように、
【数１７】
2010054802.tif 000019
ｉｙ＝２のときは図７（Ｄ）のように、
【数１８】
2010054802.tif 000020
を計算する。
【００８０】
最終的な累積距離は、
【数１９】
2010054802.tif 000021
となる。
【００８１】
［Ｃ−５−２］クラスタ平均計算
One-pass DPによって計算された距離は、
【数２０】
2010054802.tif 000022
と書くことができ、式(30)を最小とするφｙ（ｋ）をそれぞれ、ｉｖ，ｎとすると、これに対応するφｘをｉｍ（ｖ，ｎ）、ｍ（ｋ）をｍ（ｖ，ｎ）として、
【数２１】
2010054802.tif 000023
となる。∂Ｄ／∂ｉｖ，ｎ＝０とおくと、
【数２２】
2010054802.tif 000024
より、各ｉｖ，ｎとは、
【数２３】
2010054802.tif 000025
とすればＤを最小化できる。Ｍｖ，ｎはｉｖ，ｎに対応するｉｍ（ｖ，ｎ）の要素数で、ｍ（ｋ）がすべて１の場合には、
【数２４】
2010054802.tif 000026
となり、ｉｖ，ｎはｉｍ（ｖ，ｎ）の平均となる。
【００８２】
更新後の距離Ｄ´は
【数２５】
2010054802.tif 000027
となる。距離の総和Ｄは正であり、各更新により減少するか少なくとも非増大であるので、収束することが保証される。
【００８３】
［Ｃ−６］アルゴリズムの手順
図６に示すアルゴリズムを詳述すると以下のようになる。
[1]  打楽器音の強調
(1)  入力の音楽音響信号に対し、短時間フーリエ変換を行う。
(2)  得られるスペクトル系列に対して調波音・打楽器音分離を行う。
(3)  周波数方向にメルスケールにｂｉｎを計算する。
【００８４】
[2]  初期参照パターンの計算
(1)  上で強調された入力スペクトルパターンに対し自己相関関数のピーク値を求める。
(2)  求まったピーク値のフレーム数で入力スペクトルを等分割する。
(3)  分割されたスペクトルのセグメントにランダム(または順番)にラベル付けを行う。
(4)  同じラベル同士を集めて各フレーム、各周波数で平均値を計算し、初期参照パターンとする。
【００８５】
[3]  One-pass DP法の計算
(1)  入力スペクトルパターンのあるフレームiで、
(2)  参照パターンｖでのフレームｊで、式(26)−(28)により、ＤＡ（ｉ，ｊ，ｖ）を計算する。
(3)  フレームｊが参照パターンの最後のフレームの時、ＤＡ（ｉ，Ｎｖ，ｖ）の値を残しておく。
(4)  全ての参照パターンについて上を計算し終った場合、ｍｉｎＤＡ（ｉ，Ｎｖ，ｖ）を残しておく。
(5)  ｉの値に1を加え1〜4を繰り返し逐次的に計算を行う。
(6)  ｉが入力パターンの最後のフレームまで計算した場合、バックトレースを行い、アラインメントを得る。
【００８６】
[4]  参照パターンの更新
(1)  得られたアラインメントによってそれぞれの参照パターンのフレームｉｖ，ｎに対応する入力スペクトルのフレームｉｍ（ｖ，ｎ）すべてを集め、各周波数で別々に平均を計算する(式(32))。
(2)  計算された平均を新たに参照パターンとする
【００８７】
[5]  [3]、[4]を、収束条件を満たすまで交互に計算する
このような手順で計算する事で打楽器パターンを抽出する事ができる。
【００８８】
［Ｃ−７］実験
上述のアルゴリズムを実際の楽曲に適用し、打楽器パターンを抽出する実験を行った。RWC音楽データベース（後藤他,“RWC 研究用音楽データベース:音楽ジャンルデータベースと楽器音データベース,”情報処理学会音楽情報科学研究会研究報告, 2002-MUS45-4, Vol. 2002, No. 40, pp. 19−26, May 2002）中のWAVファイルを1チャンネル、22.05kHzにダウンサンプリングし、調波音・打楽器音分離手法により得られた打楽器強調音を、長さ1024点、シフト512点のフレームで短時間フーリエ変換し、得られたパワースペクトルを入力パターンとした。パターン次元を減らすため、パワースペクトルは周波数方向に対数的に８つのｂｉｎに平均化した。初期参照パターンとしてはBPM120の典型的な打楽器パターンと思われるスペクトルパターン2秒間分(１小節に相当)の打楽器パターン数分の種類を与えた。参照パターンのフレーム数は固定した。上のデータのうち４種類の打楽器パターンを持つダンス音楽、RWC-MDB-G-2001 No. 16に対してOne-pass DP法を用いたクラスタリングを行い、収束した結果を図１１に示す。
【００８９】
図１１において、横軸は入力パターンのフレーム数、縦軸は参照パターンを縦に並べたものである。また、図１２は学習されたそれぞれの参照パターンのスペクトルである。低周波のみの音、高周波のみの音、周波数全域に広がって鳴る音、という具合に見ると、これらが打楽器の音色パターンを表している事が確認できる。図１１は、打楽器パターンの地図としての楽曲構造を示していると捉える事ができ、「リズムマップ」と呼ぶ。
【００９０】
［Ｃ−８］One-pass DP法を用いたリズムによる楽曲構造解析
One-pass DP法を用いた具体的な計算手法については、幾つかの手法があることが当業者に理解される。各テンプレートパターンからある確率分布に従って入力楽曲の打楽器パターンが演奏されるとするとOne-pass DP法で逐次的に対数尤度を計算し、その総和を最大化する問題として定式化する事が出来る。上述のように、One-pass DP法を用いる事で、連続音声認識のように与えられた各単位パターンのテンプレートから最適なセグメンテーションとそれぞれのテンプレートに対応するアラインメントを得ることができる。打楽器パートを含むほとんどの楽曲ではテンポは大きく変化しないため、時間変動の許容幅を小さくするため動的計画法に用いる局所的なパスを設計できる。
【００９１】
各分析フレーム間のスペクトルの形状はその時刻で演奏される音色を表す。例えばバスドラムのスペクトルは低周波域に大きなエネルギーが存在するのに対し、ハイハットは高周波域に大きなエネルギーが存在する。このようなスペクトルの形状の違いを表したい。入力楽曲の各時間フレームでの各周波数帯域でのエネルギーがテンプレート打楽器パターンの対応する時間フレームの周波数帯域のエネルギーを期待値とする確率分布を成して観測されると仮定すると、確率的なモデルが設計できる。そのため、このような出現確率の尤度が大きい程テンプレートに近い音色であると考える事が出来る。
【００９２】
打楽器スペクトログラムの時間周波数成分をＰ（ｔ，ｆ）とする。ただしｔは時刻、ｆは対数周波数を表す。実際には観測値ｔ，ｆは離散的なのでＰ（ｔｘ，ｆｙ）＝Ｐｘ，ｙ）とし、周波数ｂｉｎ数をＹとして、さらにある時刻ｔｘでの周波数成分Ｐｘ，１，．．．．，Ｐｘ，Ｙを要素にもつベクトルをｒｘ＝（Ｐｘ，１，．．．．，Ｐｘ，Ｙ）ｔと表す事が出来る。時間周波数成分Ｍｍ（ｔｉ，ｆｙ）＝Ｍｍ，ｉ，ｙからなるOne-pass ＤＰ法でのテンプレートスペクトログラム（ｍ＝１，．．．，Ｍ）を用意し、これも同様にμｍ，ｉ＝（Ｍｍ，ｉ，１，．．．，Ｍｍ，ｉ，Ｙ）ｔと表せる。
【００９３】
このとき時刻ｘのスペクトルｒｘがテンプレートｍの時間フレームｉから出現する確率はｅｍ，ｉ，ｘ＝（μｍ，ｉ−ｒｘ）とおいて、
【数２６】
2010054802.tif 000028
と表すことができる。ただし、Σｍ，ｉはテンプレートｍの時間フレームｉにおけるスペクトル周波数ｂｉｎ各要素の対角分散行列である。
【００９４】
これを用いてOne-pass DP法アルゴリズムにより、図７（Ａ）の局所経路に従い、各フレームでの対数尤度ｌｎ（ｐｍ，ｉ（ｒｘ））に経路コストｗを掛けたものを逐次的に加えていく。経路コストは図７（Ａ）のように設計するといずれの経路を通ったとしても同じ点にたどり着くものは等価に扱う事ができる。結果的に、最も尤もらしい経路を捜す事で、各テンプレートパターンに基づいたアラインメントが得られ、用意されたテンプレート打楽器パターンによる楽曲構造が推定される。
【００９５】
対数尤度の総和が最大になる経路として、各時刻フレームｘ（ａ）のスペクトルｒｘ（ａ）に対してテンプレートｍ＝ｍ（ａ）の時刻フレーム番号ｉ＝ｉ（ａ）のスペクトルμｍ（ａ），ｉ（ａ）との対応が得られた時、最終的な対数尤度の総和ＤＡは、
【数２７】
2010054802.tif 000029
として、
【数２８】
2010054802.tif 000030
と表せる。
【００９６】
［Ｃ−９］k-meansクラスタリング法を用いたテンプレート単位打楽器パターンの更新
One-pass DP法によって入力打楽器パターンが最適なセグメンテーションを行い、それらのセグメントがクラスタリングされる。次に、単位打楽器パターンを推定するため、k-menasクラスタリング法のように各クラスタの中心となるパターンが計算され、新しいテンプレートパターンとして更新される。それぞれの中心パターンはOne-pass DP法によって与えられたアラインメントに基づいて、同じクラスタとしてラベル付けされたセグメントを平均化することで計算できる。実際には、経路コストによる重み付け平均を行うことにより、上述の尤度を最大化することができる。このことにより反復的にOne-pass DP法によるセグメンテーションと各クラスタ中心パターンの計算を行う事で、One-pass DP法の対数尤度の総和が増加し続け、収束性が保証される。
【００９７】
具体的な更新は最尤法により求まるパラメータ更新
【数２９】
2010054802.tif 000031
に従えばよい。
【数３０】
2010054802.tif 000032
よりこれを０として、
【数３１】
2010054802.tif 000033
ただし、
【数３２】
2010054802.tif 000034
とした。
同様に、
【数３３】
2010054802.tif 000035
よりこれを０として、
【数３４】
2010054802.tif 000036
となり、この更新により再度Ｏｎｅ−ｐａｓｓ  ＤＰ法で計算されるＤ´Ａはそれ以前に計算されたＤＡに対して、
【数３５】
2010054802.tif 000037
となり反復更新は目的関数を少なくとも減少させないため、収束性が保証される。
【００９８】
［Ｃ−９］情報量規準を用いた最適なクラスタ数の決定
この提案アルゴリズムでは、クラスタ数の決定が問題になることが考えられる。つまり、上述のk-meansクラスタリング法のk によって結果が大きく変わってしまう可能性がある。当然、クラスタ数が増えれば楽曲中の打楽器パターンをよりうまく表現する事が出来るため、尤度の総和である目的関数(式(35))は大きくなり、楽曲中の小節数分のクラスタを用意すれば最大になると考えられる。しかし、それが最適であるとは考えにくい為、最適なクラスタ数を決定する一つの方法として情報量規準を利用する。尤度が大きくなる程情報量規準が小さくなるが、冗長な情報が多くなる程、情報量規準は大きくなるため、これを最小化するクラスタ数として決定できる。情報量規準の一つとしてベイズ情報量規準(BIC) を用いることができる。
【００９９】
上述のアルゴリズムによって観測ベクトル列ｒ１，．．．．，ｒＸが小節にセグメント分割され、Ｒ１，．．．．．，ＲＮのＮ個のスペクトログラムパターンに分けられるとする。ここでＲｎ＝（ｒｘ（ｎ−１）＋１，．．．．，ｒｘ（ｎ））とし、ｘ（０）＝０，ａ（Ｎ）＝Ａを満たすとする。楽曲の各小節で演奏される打楽器パターンＲ１，．．．．．．，ＲＮが出現する確率はそれぞれの参照パターンを中心とするガウス分布を成すと仮定できる。そこで各クラスタｍ＝１，．．．，Ｍにモデル：
【数３６】
2010054802.tif 000038
を当てはめることができる。
【０１００】
これも最尤法により式(41)を最尤とするパラメータは式(37),(38)となる。このパラメータを用いた最大対数尤度
【数３７】
2010054802.tif 000039
を用いてベイズ情報量規準は、
【数３８】
2010054802.tif 000040
と表す事ができ、これを最小化するクラスタ数Mが最適なクラスタ数であるといえる。
【０１０１】
クラスタを作成する方法としては、まずは一つのテンプレート単位打楽器パターンを用意し、そこからLBGアルゴリズム(Linde, Y., Buzo, A. and Gray, R.，“An algorithm for vector quantizer design”，IEEE Trans. Commun., vol. 28, pp. 84-95, 1980)のような方法でクラスタ数を増やす事が考えられる。最も分散の大きいクラスタを二分割する事によって一つずつクラスタを増やす。クラスタを増やした後に上述のアルゴリズムによって、最適な単位打楽器パターン推定と楽曲構造解析を行い、情報量規準(式(42))を計算し、これを繰り返し行い情報量規準が増加した時点で打ち切ることで、最適なクラスタ数が決定できる。
【０１０２】
［Ｃ−１０］アルゴリズムの手順
上で議論したアルゴリズムは以下の手順にまとめられる：
(1)  打楽器パターンの強調：調波音・打楽器音分離により打楽器音成分が分離、強調されたスペクトログラムを得る。
(2)  最適なセグメンテーションを行う：式(35)を最大化する経路をOne-pass DP法によって計算する。
(3)  テンプレートパターンを更新する：k-meansクラスタリング法のようにクラスタ中心を式(37),(38)として計算し、新たにテンプレートパターンとして更新する。
(4)  反復：ステップ2と3を目的関数(式(35))が収束するまで繰り返し行う。
(5)  情報量規準計算：以前の情報量規準の値(式(42))より増加した場合終了。
(6)  クラスタ分割：LBGアルゴリズムのように最も大きい分散のクラスタを二分割する。
(7)  ステップ2へ戻る。
【０１０３】
［Ｃ−１１］実験評価
上述の小節単位打楽器パターンを抽出するアルゴリズムが実際の打楽器音のみでなく調波音も含む楽曲に対して適用出来るかを確認するため、評価実験を行った。データセットとして、RWC音楽データベース(Goto, M., Hashiguchi, H., Nishimura, T. and Oka, R., “RWC music database:music genre database and musical instrument sound database,”Proc.
of the 4th Int. Conf. on Music Information Retrieval (ISMIR 2003), pp. 229−230, October 2003.)のWAVファイルを22.05kHz、1ch 信号にダウンサンプリングしたものを用いた。1024点の長さのハミング窓を半分ずつオーバーラップしながら短時間フーリエ変換(STFT)を施したスペクトログラムに対し調波音・打楽器音分離を適用した。この時、スペクトル形状の違いを認識する事と計算量削減の両方を実現するため、スペクトログラムの対数周波数を8つの帯域に等分割しそれぞれ平均値を求めた。
【０１０４】
上記データセットのダンス音楽：RWC-MDB-G-2001 No.16を用いた。テンプレートの単位打楽器パターンを反復的に更新し、収束した後の情報量規準が最小となった時のアラインメントが図１３となり、学習された個々の基本小節単位打楽器パターンは図１４となった。
【０１０５】
図１３は演奏開始から一定時間はパターン1が演奏される中パターン2が演奏されていることを示している。実際の楽曲を聴くと、パターン1が繰り返し演奏される中、4小節に一度パターン2が演奏されるのが確認できる。このような基本リズムに続いて、間奏の打楽器パターンが演奏され(パターン3)、クライマックス部の打楽器パターンが続く(パターン4)。
【０１０６】
音楽音響信号から小節単位の打楽器パターンを抽出し、それらの地図として楽曲構造を示し解析する手法について議論した。調波音・打楽器音分離手法を用いて音響信号から打楽器を強調したスペクトログラムを得る事ができ、それを用いて単位打楽器パターンと「リズムマップ」をOne-pass DP法とk-menasクラスタリング法を組み合わせた方法により反復的に学習するアルゴリズムを提案した。また、最適なクラスタ数を、情報量規準を用いて決定する手法を紹介した。実験的に様々なジャンルの楽曲から妥当な単位打楽器パターンの抽出とそれらの演奏される箇所としてのリズムマップ推定がなされることが確認された。応用としては、このアルゴリズムで抽出される個々の単位打楽器パターンにより、ジャンル分類に適用する事が考えられる。また、楽曲構造を示すリズムマップを利用して、楽曲検索の性能を向上させる事も考えられる。
【０１０７】
［Ｄ］音楽音響信号中の打楽器パターンの自動置換
今までの音楽鑑賞は、単に再生して受動的に楽しむだけのものであったが、近年、各周波数帯域毎に音量を調整したり、音楽を加工しながら再生する等の能動的に鑑賞する為の技術が発展している。メロディーの加工は比較的専門的な知識を要するが、打楽器の加工は少ない知識でも容易に楽曲の雰囲気を変化させることが可能である為、本実施形態では打楽器パターンの自動置換について議論する。
【０１０８】
従来の打楽器音加工に関する研究としては、多声音楽からバスドラムとスネアドラムを抽出する手法（Zils, A. et al., “Automatic Extraction of Drum Tracks from
Polyphonic Music Signals,” in Proc. of WEDELMUSIC, pp. 179-183, 2002.）やドラムパートをリアルタイムに編集する音楽プレイヤー、Drumix(吉井他, “Drumix: ドラムパートのリアルタイム編集機能付きオーディオプレイヤー,”情報処理学会インタラクション2006 論文集, pp. 207-208, 3 月, 2006.)等がある。後者は楽曲中のドラムパートを全く別のドラムの音色に置換したり編集することが可能であり、小節毎にランダムにドラムパターンを変化させながら再生させたり、気に入ったドラムパターンに固定して再生するなどの聴き方を楽しむことができる。
【０１０９】
本実施形態では、このような音楽加工技術の一つとして音楽音響信号中に演奏される複数の打楽器パターンを認識することにより、楽曲の構造を保ちながらそれらのパターンそれぞれを好みの打楽器パターンに置換する手法を提案する。
【０１１０】
［Ｄ−１］問題設定
打楽器パターンを置換する際にはメロディー等の調波音には出来る限り変化を与えたくないが、調波音と打楽器音が混在する楽曲において打楽器音のみを編集することは容易でないと考えられる。また、楽曲中に演奏される打楽器パターン複数種類存在すると考えられる。特にポピュラー音楽の場合、サビの部分は楽曲中の山場である為他の部分の打楽器パターンと異なる、複雑で豊かな打楽器パターンが演奏されることが多い。そのため打楽器パターンを置換する際、単一の打楽器パターンを繰り返したりランダムに演奏するより、これらの楽曲構造を保存しながら各種の打楽器パターンそれぞれを置換する方がより自然に聞こえるであろう。そのためこのような楽曲構造を推定する必要があると考えられ、その際には最適な小節への分割が行われていることが前提となるであろうから、その推定も必要となるであろう。
【０１１１】
以上の問題は以下の三点のようにまとめられる。
(1)楽音は調波音と打楽器音の混合であること；
(2)小節への分割が未知であること；
(3)複数の打楽器パターンによる楽曲構造の推定が必要であること。
【０１１２】
［Ｄ−２］打楽器音と調波音の分離
一般に楽曲は打楽器音のみで演奏されることは稀で、調波音も含むことが多い。そのため、打楽器パターンを置換する際にはこれらを分離することが必要となる。打楽器音と調波音を分離する手法の一つとしては、既述の分離手法を用いることができる。この手法を用いて調波音と打楽器音を分離してそれぞれを格納しておき、調波音に新しい打楽器パターンを足し合わせることで、打楽器パターンを置換することが出来る。
【０１１３】
［Ｄ−３］楽曲構造推定と小節への最適なセグメンテーション
上で述べたように、より自然な打楽器パターン置換を目指すには、最適な小節への分割と楽曲構造の推定が必要となる。これを実現する方法として、上述の打楽器パターン抽出手法を利用することができる。打楽器音・調波音分離手法を用いて分離強調した打楽器音スペクトログラムに対し、適当な数の小節単位の初期打楽器パターンをテンプレートとして用意する。そして、One-pass DP法によりそれぞれのテンプレートに対応する区間を推定し、それらをk-meansクラスタリングアルゴリズムのようにクラスタリングして各クラスタの中心を再度テンプレートとして更新する、という反復推定を行う。打楽器パターン置換には、この手法によって得られる最適な小節へのセグメンテーションと、各小節がいずれの打楽器パターンに対応するかというラベル情報を利用することが出来る。
【０１１４】
［Ｄ−４］新しい打楽器パターンの作成
小節単位の打楽器パターンを作成する際は、その小節内で演奏される打楽器音の音色と、それぞれの演奏されるタイミング、それぞれの音量を指定すれば十分であると考えられる。
【０１１５】
単一に録音された様々な打楽器音は事前に用意し、小節内で演奏されるタイミングを０から１までの実数で指定することで、それぞれの単一打楽器音信号を指定される時刻だけずらして足し合わせることによって任意の打楽器パターンを作成することができるであろう。
【０１１６】
また、それぞれの音量を、元々小節内で演奏されていた打楽器音の最大音量との相対的な量とすることで、オリジナルの打楽器パターンの音量変化を反映させることができると考えられる。つまり、間奏部分などメロディーを引き立たせるために打楽器音の音量を抑えている部分は置換後も自動的に音量を小さくすることが出来るということである。このような打楽器パターンの設計の例を、表１に挙げる。
【表１】
2010054802.tif 000041
【０１１７】
［Ｄ−５］打楽器パターン自動置換アルゴリズムの手順
以上の議論より、打楽器パターンの自動置換アルゴリズムを以下にまとめることができる。
(1)  小節単位の打楽器パターンを表１のように複数個作成して格納しておく。
(2)  既述の分離手法により調波音と打楽器音を分離して、それぞれを格納する。
(3)  既述の打楽器パターン抽出手法により楽曲中の小節の最適なセグメンテーションと各種の打楽器パターンとの対応を得る。
(4)  (2)で分離された調波音の信号に(1)で用意しておいた打楽器パターンを(3)に従って加える。
【０１１８】
［Ｄ−６］実験
データセットとして、上述のRWC音楽データベースのWAVファイルを22.05kHz、1ch信号にダウンサンプリングしたものを用いた。打楽器パターン置換アルゴリズムを実際の楽曲に適用した。まずは表１のように適当な小節単位の打楽器パターンを複数個作成した。各打楽器音は同RWC音楽データベースの楽器音データベース内のWAVファイルを利用した。次に楽曲構造解析と小節への最適なセグメンテーションを行い、その構造を保存しつつ打楽器パターンを置換した。
【０１１９】
ポピュラー音楽：RWC-MDB-G-2001 No. 6へ適用した結果を例として挙げる。楽曲構造解析と小節への最適なセグメンテーションの結果は図１５に示す通りであった。前奏はパターン1 ではじまり、Aメロ・Bメロが同じ打楽器パターンで演奏され、サビ部分がパターン3であることが見てとれる。このような構造を保存しつつパターン1,2,3それぞれに対して3種類の異なる打楽器パターンを自動で置換した結果、オリジナルの楽曲(図１６)に対して打楽器パターン置換後の楽曲(図１７)が得られた。調波音成分を変化させること無く打楽器パターンのみを正確な周期で置換できていることが確認できる。
【０１２０】
本実施形態では音楽音響信号中の打楽器パターンを自動的に置換する手法について議論した。その際、打楽器音と調波音を分離し、打楽器音のパターンからOne pass DP法とk-meansクラスタリング法を組み合わせたアルゴリズムを用いて、最適な小節のセグメンテーションと打楽器パターンによる楽曲構造を推定した。これらの情報を用いて楽曲構造を保ったまま打楽器パターンを置換し、実際の楽曲に適用した。応用としては、ユーザーの望む打楽器パターンを簡単に作成し、容易に打楽器パターンを置換する為のインターフェースの開発が考えられる。
【産業上の利用可能性】
【０１２１】
本発明は、音楽自動ジャンル分類や、音楽情報検索、さらに打楽器パターンを置換するなどの音楽の加工等に利用することができる。
【図面の簡単な説明】
【０１２２】
【図１】時間周波数スペクトログラムの観測モデルを示す図である。
【図２】左図は、調波音のスペクトログラムであり、時間方向に滑らか・周波数方向に急峻なスペクトル成分からなる。右図は、打楽器音のスペクトログラムであり、時間方向に急峻・周波数方向に滑らかなスペクトル成分からなる。左図のスペクトル成分と右図のスペクトル成分は、時間周波数平面上でスパースに存在している。
【図３】入力スペクトルグラムと時間周波数マスクの乗算による、当該入力スペクトログラムの分離を示す図である。
【図４】調波成分・打楽器成分を分離する第１手法を示すブロック図である。
【図５】調波成分・打楽器成分を分離する第２手法を示すブロック図である。
【図６】音楽音響信号から単位リズムパターンを抽出するためのアルゴリズムのフロー図である。
【図７】One-pass DP法での局所経路と経路コストを示す図である。
【図８】初期の打楽器参照パターンの設定（方法２）を説明する図である。
【図９】初期の打楽器参照パターンの設定（方法３）を説明する図である。
【図１０】One-pass DP法によるセグメント分割を説明する図であり、３種類の参照パターンに対する入力された打楽器音のスペクトル列の最適マッチング経路を示す。
【図１１】学習された打楽器パターンに対してOne-pass DP法によって求まったアラインメントの結果を示す図である。
【図１２】学習された４種類の打楽器パターンのスペクトルとそれぞれのインデックス番号を示す図である。
【図１３】ダンス音楽(No.16)の最適に推定されたアラインメント（リズムマップ）を示す図である。
【図１４】ダンス音楽(No. 16)から抽出された４つの単位打楽器パターンとそのインデックス番号を示す。
【図１５】ポピュラー音楽（RWC-MDB-G-2001 No. 6）の楽曲構造解析と小節への最適なセグメンテーションの結果を示す。
【図１６】RWC-MDB-G-2001 No. 6のオリジナルの楽曲のスペクトログラムである。
【図１７】RWC-MDB-G-2001 No. 6の打楽器パターン置換後の楽曲のスペクトログラムである。
【図６】
2010054802.tif 000042
【図７】
2010054802.tif 000043
【図１】
2010054802.tif 000044
【図２】
2010054802.tif 000045
【図３】
2010054802.tif 000046
【図４】
2010054802.tif 000047
【図５】
2010054802.tif 000048
【図８】
2010054802.tif 000049
【図９】
2010054802.tif 000050
【図１０】
2010054802.tif 000051
【図１１】
2010054802.tif 000052
【図１２】
2010054802.tif 000053
【図１３】
2010054802.tif 000054
【図１４】
2010054802.tif 000055
【図１５】
2010054802.tif 000056
【図１６】
2010054802.tif 000057
【図１７】
2010054802.tif 000058