(57)【要約】【課題】参照信号と蓄積信号が異なる調で演奏された場合でも１回の照合で正しい探索結果を出力し、また、演奏されるテンポが異なる場合にも正しく探索結果を出力する。【解決手段】音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを生成し、生成した自己類似度ベクトルを蓄積特徴ベクトル列としてデータベースに書き込む。また、参照音響信号について同様に自己類似度ベクトルを生成して参照特徴ベクトル列とする。参照特徴ベクトル列と、データベース内の蓄積特徴ベクトル列とをフレームを移動しながら照合して、照合スコアの高い楽曲および時刻を特定し、その楽曲に付随する情報と時刻を出力する。【選択図】図１
2008304610.tif 000002
【特許請求の範囲】
【請求項１】
音響信号の特徴を抽出する信号特徴抽出方法であって、
音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、
生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを前記音響信号の特徴を示す特徴ベクトルとして生成する
ことを特徴とする信号特徴抽出方法。
【請求項２】
ｉ番目のフレームのベクトルｐｉと、当該フレームからＮ個先のフレームまでの各フレームｐｊ（ｉ＋１≦ｊ≦Ｎ）との類似度ｐｉｊを算出し、この算出した類似度ｐｉｊを要素とした自己類似度ベクトルを特徴ベクトルとして生成する、
ことを特徴とする請求項１に記載の信号特徴抽出方法。
【請求項３】
ｉ番目のフレームのベクトルｐｉと、当該フレームからＮ個先のフレームまでの各フレームｐｊ（ｉ＋１≦ｊ≦Ｎ）との類似度ｐｉｊを要素とした自己類似度ベクトルをｓｉとしたとき、
自己類似度ベクトルｓｋ（ｉ≦ｋ≦Ｎ−１）それぞれについて、１から（Ｎ−ｋ）番目までの要素を取り出して三角領域を得、
１つの領域に少なくとも１以上の自己類似度ベクトルの要素が含まれ、かつ、照合の始点となる要素ｓ１ｉから時間的距離の長い自己類似度ベクトル、及び、同じ自己ベクトル内において時間的距離の長い要素がより大きな領域に含まれるよう前記三角領域をメッシュ状の複数の領域に分割し、
分割した各領域に含まれる自己類似度ベクトルの要素の平均値を算出し、この算出した平均値を要素としたベクトルを特徴ベクトルとする、
ことを特徴とする請求項１に記載の信号特徴抽出方法。
【請求項４】
参照用に入力された音響信号に基づき、あらかじめデータベースの中に蓄積された音響信号の中を探索する信号探索方法であって、
音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを生成し、生成した自己類似度ベクトルを蓄積特徴ベクトル列としてデータベースに書き込む蓄積特徴ベクトル列計算過程と、
参照用の音響信号である参照音響信号について自己類似度ベクトルを生成し、生成した自己類似度ベクトルを参照特徴ベクトル列とする参照特徴ベクトル列計算過程と、
前記データベースから蓄積特徴ベクトル列を読み出し、連続したフレームの範囲を特定する窓をフレーム方向に移動させながら、前記蓄積特徴ベクトル列の当該窓の範囲より切り出した要素からなるベクトル列を得、得られたベクトル列と、前記参照特徴ベクトル列計算過程により生成された参照特徴ベクトル列との類似度または距離で定義される探索スコアを計算し、計算された探索スコアに基づいて類似する箇所を特定する照合過程と、
前記照合過程により検出された類似する箇所を出力する探索結果出力過程と
を有することを特徴とする信号探索方法。
【請求項５】
音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを前記音響信号の特徴を示す特徴ベクトルとして生成する特徴ベクトル列計算手段
を備えることを特徴とする信号特徴抽出装置。
【請求項６】
音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを生成し、生成した自己類似度ベクトルを蓄積特徴ベクトル列としてデータベースに書き込む蓄積特徴ベクトル列計算手段と、
参照用の音響信号である参照音響信号について自己類似度ベクトルを生成し、生成した自己類似度ベクトルを参照特徴ベクトル列とする参照特徴ベクトル列計算手段と、
前記データベースから蓄積特徴ベクトル列を読み出し、連続したフレームの範囲を特定する窓をフレーム方向に移動させながら、前記蓄積特徴ベクトル列の当該窓の範囲より切り出した要素からなるベクトル列を得、得られたベクトル列と、前記参照特徴ベクトル列計算手段が生成した参照特徴ベクトル列との類似度または距離で定義される探索スコアを計算し、計算された探索スコアに基づいて類似する箇所を特定する照合手段と、
前記照合手段により検出された類似する箇所を出力する探索結果出力手段と
を備えることを特徴とする信号特徴抽出装置。
【請求項７】
信号特徴抽出装置として用いられるコンピュータを、
音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを前記音響信号の特徴を示す特徴ベクトルとして生成する特徴ベクトル列計算手段
として動作させることを特徴とするコンピュータプログラム。
【請求項８】
信号特徴抽出装置として用いられるコンピュータを、
音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを生成し、生成した自己類似度ベクトルを蓄積特徴ベクトル列としてデータベースに書き込む蓄積特徴ベクトル列計算手段、
参照用の音響信号である参照音響信号について自己類似度ベクトルを生成し、生成した自己類似度ベクトルを参照特徴ベクトル列とする参照特徴ベクトル列計算手段、
前記データベースから蓄積特徴ベクトル列を読み出し、連続したフレームの範囲を特定する窓をフレーム方向に移動させながら、前記蓄積特徴ベクトル列の当該窓の範囲より切り出した要素からなるベクトル列を得、得られたベクトル列と、前記参照特徴ベクトル列計算手段が生成した参照特徴ベクトル列との類似度または距離で定義される探索スコアを計算し、計算された探索スコアに基づいて類似する箇所を特定する照合手段、
前記照合手段により検出された類似する箇所を出力する探索結果出力手段
として動作させることを特徴とするコンピュータプログラム。
【請求項９】
請求項７または８のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号特徴抽出方法、信号探索方法、信号特徴抽出装置、コンピュータプログラム、及び、記録媒体に関する。
【背景技術】
【０００２】
参照音響信号と類似する箇所を蓄積音響信号の中を探索して検出する従来の方法には、特に、オリジナルが同一の信号ではなく、また、蓄積音響信号と参照音響信号のどちらか一方又は両方が単旋律ではなく、同時に複数の音が演奏される場合にも適用可能な方法として、特許文献１に記載されているような、１２音階に対応する周波数のパワー値で音響特徴を表現して探索を行う手法が知られている。同様の考え方に基づく音響特徴の表現は、非特許文献１においても採用されており、同一曲内での類似箇所の検出に使われている。
また、非特許文献２では、同一楽曲内の２点間の音響特徴の類似度を用いて楽曲の音響的構造を表現する手法を提案しており、この手法を音楽探索に応用する方法も同時に提案している。
【特許文献１】特開２００３−４４０８２号公報
【非特許文献１】M. Goto，“A chorus-section detecting method for musical audio signals”，in Proc. of ICASSP，pp. 437-440，2003.
【非特許文献２】J. Foote，“Visualizing music and audio using self-similarity”，Proc. of ACM Multimedia，pp.77-80，1999.
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述する特許文献１や非特許文献１の方法を用いて、移調された音楽の探索を行う場合には、参照音響信号に対して、移調の可能性のある１２種類の特徴ベクトルを算出し、それぞれを用いて１２回の探索処理を行わなければならず、計算時間がかかるという問題があった。また、非特許文献２の方法では、参照音響信号の時刻と蓄積音響信号の時刻のすべての組み合わせについて周波数特徴の類似度を計算し、参照音響信号と蓄積音響信号の音響的類似度の構造を表現しているため、移調された音楽や時間的に伸縮した音楽の探索を行うことは困難である、という問題があった。
【０００４】
本発明は、このような事情に鑑みてなされたものであり、その目的は、参照信号と蓄積信号が異なる調で演奏された場合でも１回の照合で正しい探索結果を出力し、また、演奏されるテンポが異なる場合にも正しく探索結果を出力することができる信号特徴抽出方法、信号探索方法、信号特徴抽出装置、コンピュータプログラム、及び、記録媒体を提供することにある。
【課題を解決するための手段】
【０００５】
前記課題を解決するために、本発明は、音響信号の特徴を抽出する信号特徴抽出方法であって、音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを前記音響信号の特徴を示す特徴ベクトルとして生成することを特徴とする信号特徴抽出方法である。
本発明によれば、２つの異なる時刻におけるスペクトル形状の類似度（自己類似度）を特徴ベクトルの要素とすることにより、同一の楽曲が異なる調で演奏された場合にも照合類似度が高くなるような特徴ベクトルを得ることができる。
【０００６】
また、本発明は、上述する信号特徴抽出方法であって、ｉ番目のフレームのベクトルｐｉと、当該フレームからＮ個先のフレームまでの各フレームｐｊ（ｉ＋１≦ｊ≦Ｎ）との類似度ｐｉｊを算出し、この算出した類似度ｐｉｊを要素とした自己類似度ベクトルを特徴ベクトルとして生成する、ことを特徴とする。
【０００７】
また、本発明は、上述する信号特徴抽出方法であって、ｉ番目のフレームのベクトルｐｉと、当該フレームからＮ個先のフレームまでの各フレームｐｊ（ｉ＋１≦ｊ≦Ｎ）との類似度ｐｉｊを要素とした自己類似度ベクトルをｓｉとしたとき、自己類似度ベクトルｓｋ（ｉ≦ｋ≦Ｎ−１）それぞれについて、１から（Ｎ−ｋ）番目までの要素を取り出して三角領域を得、１つの領域に少なくとも１以上の自己類似度ベクトルの要素が含まれ、かつ、照合の始点となる要素ｓ１ｉから時間的距離の長い自己類似度ベクトル、及び、同じ自己ベクトル内において時間的距離の長い要素がより大きな領域に含まれるよう前記三角領域をメッシュ状の複数の領域に分割し、分割した各領域に含まれる自己類似度ベクトルの要素の平均値を算出し、この算出した平均値を要素としたベクトルを特徴ベクトルとする、ことを特徴とする。
また、本発明によれば、時間方向に不均等なサイズの領域に分割するメッシュを用いた特徴計算用マスクを導入することにより、音響信号の時間方向の変動に対応した特徴ベクトルを得ることが可能となる。
【０００８】
また、本発明は、参照用に入力された音響信号に基づき、あらかじめデータベースの中に蓄積された音響信号の中を探索する信号探索方法であって、音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを生成し、生成した自己類似度ベクトルを蓄積特徴ベクトル列としてデータベースに書き込む蓄積特徴ベクトル列計算過程と、参照用の音響信号である参照音響信号について自己類似度ベクトルを生成し、生成した自己類似度ベクトルを参照特徴ベクトル列とする参照特徴ベクトル列計算過程と、前記データベースから蓄積特徴ベクトル列を読み出し、連続したフレームの範囲を特定する窓をフレーム方向に移動させながら、前記蓄積特徴ベクトル列の当該窓の範囲より切り出した要素からなるベクトル列を得、得られたベクトル列と、前記参照特徴ベクトル列計算過程により生成された参照特徴ベクトル列との類似度または距離で定義される探索スコアを計算し、計算された探索スコアに基づいて類似する箇所を特定する照合過程と、前記照合過程により検出された類似する箇所を出力する探索結果出力過程とを有することを特徴とする信号探索方法である。
本発明によれば、照合過程において、参照信号と蓄積信号の特徴ベクトル列の類似度の計算を行うことにより照合を行い、照合類似度の高い楽曲の部分を出力する。従来の手法で用いられる短時間スペクトルの形状を特徴ベクトルとして利用すると、同一の楽曲が異なる調で演奏された場合などには高い類似度が得られず、正しい探索結果を得ることができない。一方、本発明では、蓄積特徴ベクトル列計算過程と参照特徴ベクトル列計算過程において、２つの異なる時刻におけるスペクトル形状の類似度（自己類似度）を特徴ベクトルの要素として利用することにより、同一の楽曲が異なる調で演奏された場合にも照合類似度が高くなるような特徴ベクトル列を得ることができ、正しい検索結果を得ることが可能となる。
【０００９】
また、本発明は、音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを前記音響信号の特徴を示す特徴ベクトルとして生成する特徴ベクトル列計算手段を備えることを特徴とする信号特徴抽出装置である。
【００１０】
また、本発明は、音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを生成し、生成した自己類似度ベクトルを蓄積特徴ベクトル列としてデータベースに書き込む蓄積特徴ベクトル列計算手段と、参照用の音響信号である参照音響信号について自己類似度ベクトルを生成し、生成した自己類似度ベクトルを参照特徴ベクトル列とする参照特徴ベクトル列計算手段と、前記データベースから蓄積特徴ベクトル列を読み出し、連続したフレームの範囲を特定する窓をフレーム方向に移動させながら、前記蓄積特徴ベクトル列の当該窓の範囲より切り出した要素からなるベクトル列を得、得られたベクトル列と、前記参照特徴ベクトル列計算手段が生成した参照特徴ベクトル列との類似度または距離で定義される探索スコアを計算し、計算された探索スコアに基づいて類似する箇所を特定する照合手段と、前記照合手段により検出された類似する箇所を出力する探索結果出力手段とを備えることを特徴とする信号特徴抽出装置である。
【００１１】
また、本発明は、信号特徴抽出装置として用いられるコンピュータを、音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを前記音響信号の特徴を示す特徴ベクトルとして生成する特徴ベクトル列計算手段として動作させることを特徴とするコンピュータプログラムである。
【００１２】
また、本発明は、信号特徴抽出装置として用いられるコンピュータを、音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べて周波数特徴を生成し、生成した周波数特徴におけるあるフレームのベクトルと、当該フレームとは異なるフレームのベクトルとの類似度を算出し、算出した各類似度を要素とした自己類似度ベクトルを生成し、生成した自己類似度ベクトルを蓄積特徴ベクトル列としてデータベースに書き込む蓄積特徴ベクトル列計算手段、参照用の音響信号である参照音響信号について自己類似度ベクトルを生成し、生成した自己類似度ベクトルを参照特徴ベクトル列とする参照特徴ベクトル列計算手段、前記データベースから蓄積特徴ベクトル列を読み出し、連続したフレームの範囲を特定する窓をフレーム方向に移動させながら、前記蓄積特徴ベクトル列の当該窓の範囲より切り出した要素からなるベクトル列を得、得られたベクトル列と、前記参照特徴ベクトル列計算手段が生成した参照特徴ベクトル列との類似度または距離で定義される探索スコアを計算し、計算された探索スコアに基づいて類似する箇所を特定する照合手段、前記照合手段により検出された類似する箇所を出力する探索結果出力手段として動作させることを特徴とするコンピュータプログラムである。
【００１３】
また、本発明は、上述するコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１４】
本発明によれば、楽曲が移調された場合においても、２つの時刻間の音響特徴（周波数特徴）の類似度（自己類似度）は保存されやすい、という音楽音響信号の特性を利用し、自己類似度を利用した特徴ベクトル列を得ることができる。そして、このように生成された特徴ベクトル列を利用することにより、移調された音楽の探索を１回の照合処理で行うことが可能となる。
また、本発明によれば、自己類似度ベクトルに対し、時間的に離れた自己類似度ベクトル列の要素には大きなサイズの領域を与えるメッシュで覆い、各領域の自己類似度ベクトル列の要素の平均値を要素として持つ特徴ベクトル列を算出することで、時間的に伸縮した音楽の探索を可能とする特徴ベクトル列を得ることが可能となる。
このように、従来の技術とは、参照音響信号が蓄積音響信号の同一楽曲とは異なる調やピッチ、演奏速度などで演奏された場合にも、高い照合類似度を得ることが可能な特徴ベクトルを得、また、その特徴ベクトルを用いて一回で照合を行うことができる点が異なる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を用いて本発明の実施形態を説明する。
本実施の形態に示す信号検索方法について、音響信号を例に説明する。本実施の形態では、楽曲の断片が参照音響信号として与えられたときに、蓄積音響信号の中から参照音響信号に対応する部分を探索し、該当楽曲のタイトル等の情報（楽曲付随情報）と参照音響信号の出現時刻を出力するものである。
【００１６】
図１は、本発明の一実施の形態による信号特徴抽出装置としての音楽探索システムの概略動作を示す図である。
音楽探索システムは、複数の楽曲の音響信号の周波数解析を行い（ステップＳ１）、短時間フレームごとの特徴ベクトルを抽出し（ステップＳ２）、これを並べた特徴ベクトル列を予めデータベースに登録しておく。
そして、音響信号の断片が参照信号として提示されたときに、データベース作成時と同様の方法で特徴抽出を行い（ステップＳ３、Ｓ４）、参照信号の特徴ベクトルを計算する。音楽探索システムは、この計算した参照信号の特徴ベクトルと、データベースに登録されている楽曲の特徴ベクトルとを、フレームを移動しながら照合し、照合スコアの高い楽曲および時刻を特定し、その楽曲に付随する情報（タイトル、演奏者など）と時刻を出力する。
以下、本発明の詳細な実施形態について、図２〜図１７の図面を使って説明する。
【００１７】
［第１の実施形態］
図２は、本発明の第１の実施形態による信号特徴抽出装置としての音楽探索システムの構成を示すブロック図である。同図において、音楽探索システムの構成は、データベース作成処理部１０と探索処理部３０およびデータベース２０の３つの部分からなる。
【００１８】
データベース２０は、蓄積信号ＤＢ（データベース）２１と、蓄積特徴ベクトル列ＤＢ２２と、楽曲付随情報ＤＢ２３とで構成される。
データベース作成処理部１０は、蓄積音響信号入力手段１１と、蓄積特徴ベクトル列計算手段１２と、楽曲付随情報入力手段１３とで構成され、図１における蓄積特徴ベクトル列の作成を行う。蓄積音響信号入力手段１１は、入力された音響信号を蓄積信号ＤＢ２１に蓄積する。蓄積特徴ベクトル列計算手段１２は、入力あるいは蓄積された音響信号から蓄積特徴ベクトル列を算出して蓄積特徴ベクトル列ＤＢ２２に書き込む。楽曲付随情報入力手段１３は、入力された楽曲付随情報を楽曲付随情報ＤＢ２３に書き込む。
【００１９】
探索処理部３０は、参照音響信号入力手段３１と、参照特徴ベクトル列計算手段３２と、照合手段３３と、探索結果出力手段３４とで構成され、図１における参照特徴ベクトル列の作成、蓄積特徴ベクトル列との照合を行う。参照音響信号入力手段３１は、参照音響信号の入力を受ける。参照特徴ベクトル列計算手段３２は、参照音響信号から参照特徴ベクトル列を算出する。照合手段３３は、参照特徴ベクトル列と、蓄積特徴ベクトル列ＤＢ２２内の蓄積特徴ベクトル列との照合処理を行う。探索結果出力手段３４は、検出された蓄積特徴ベクトル列に対応する楽曲付随情報を楽曲付随情報ＤＢ２３から読み出して出力する。
【００２０】
図３及び図４は、図２に示すデータベース作成処理部１０の処理フローである。
図３において、まず、データベース作成処理部１０に音響信号の入力を行うと（ステップＳ１１０）、蓄積音響信号入力手段１１は、入力された音響信号を予め設定されたサンプリング周波数ＦｓHz（ヘルツ）でサンプリングし、蓄積信号ＤＢ２１に保存する（ステップＳ１２０）。次に、蓄積特徴ベクトル列ＤＢ２２は、この音響信号を使って蓄積特徴ベクトル列の計算を行う（ステップＳ１４０）。この計算に使う音響信号は、入力された信号を直接利用するか、事前に蓄積信号ＤＢ２１に蓄積された信号を読み出して（ステップＳ１３０）使う。蓄積特徴ベクトル列計算手段１２は、ここで得られた蓄積ベクトル列を蓄積特徴ベクトル列ＤＢ２２に登録する（ステップＳ１５０）。
【００２１】
また、図３の処理とは独立の処理として、図４に示すように、データベース作成処理部１０に音響信号に関連する、タイトル等の楽曲付随情報を入力し、楽曲付随情報入力手段１３は、この入力された楽曲付随情報を楽曲付随情報ＤＢ２３へ登録する（ステップＳ２１０）。
【００２２】
各楽曲には音響信号および楽曲付随情報の入力時に固有のＩＤ番号を付与し、蓄積信号ＤＢ２１に蓄積されている音響信号と、蓄積特徴ベクトル列ＤＢ２２に蓄積される特徴ベクトル列と、楽曲付随情報ＤＢ２３内に蓄積される楽曲付随情報との対応関係を管理する。楽曲付随情報とは、各楽曲に関連する情報を含むデータ（例えば、タイトル名、アーティスト名などのテキストデータやレコードジャケット写真等の画像データ、プロモーションビデオなどの音響・映像データなど）のことである。
【００２３】
図６は、図３のステップＳ１４０における蓄積特徴ベクトル列計算処理フローの詳細を示したものである。まず、蓄積特徴ベクトル列計算手段１２は、入力された音響信号が２つ以上のチャンネルを含んでいた場合には、各サンプリング時刻について平均値をとるなどしてモノラル信号に変換する（ステップＳ３１０）。次に、蓄積特徴ベクトル列計算手段１２は、周波数特徴の計算を行う（ステップＳ３２０）。
【００２４】
周波数特徴は、音響信号を短時間に分割した各フレームにおける各周波数のパワー値を表すベクトルを時間方向に並べたベクトル列で表現される。周波数特徴の計算には、短時間フーリエ変換を利用したものなどが考えられるが、ここでは、以下の（式１）に定義する中心周波数Ｆｃ（ｋ）Hzを持つ帯域フィルタバンクの出力を使う。
【００２５】
【数１】
2008304610.tif 000003
【００２６】
各帯域フィルタ出力のパワー値は、短時間フレームごとに平均され、その対数を要素とするベクトルｐｉ（ｉはフレーム番号）を得る。なお、各ベクトルｐｉは、その長さが１となるように正規化を行う。
【００２７】
次に、蓄積特徴ベクトル列計算手段１２は、周波数特徴を用いて自己類似度ベクトル列を計算する（ステップＳ３３０）。図８はｉ番目のフレームにおける自己類似度ベクトルｓｉ＝（ｓ１ｉ，ｓ２ｉ，…，ｓＮｉ）Ｔの算出方法を示すものである。自己類似度ベクトルｓｉの算出には、ベクトルｐｉの後に続くベクトルｐｉ＋１，ｐｉ＋２，…，ｐｉ＋ＮのＮフレーム分の周波数特徴が使われる。自己類似度ベクトルｓｉのｊ番目の要素ｓｊｉ（ｊ＝１，２，…，Ｎ）は、ベクトルｐｉとベクトルｐｊの類似度Ｓ（ｐｉ，ｐｊ）で定義される。これを自己類似度と呼ぶ。類似度Ｓ（ｐｉ，ｐｊ）には、例えば以下の（式２）または（式３）のような関数を用いる。
【００２８】
【数２】
2008304610.tif 000004
【００２９】
音響信号末尾付近のフレームにおいては、後続のフレーム数がＮ未満となる場合があるが、このような場合には自己類似度は計算しないか、ｐｊ＝０として自己類似度を計算する。
蓄積特徴ベクトル列計算手段１２は、各自己類似度ベクトルｓｉを、蓄積特徴ベクトル列ｆｄｉとして、蓄積特徴ベクトル列ＤＢ２２に登録する（ステップＳ３４０）。つまり、ｆｄｉ＝ｓｉとする。
【００３０】
同じ楽曲が異なる調で演奏されたり、異なる楽器を用いて演奏されたりした場合においては、各時刻における周波数特徴などの音響特徴は変化する。そのため、これらの特徴を使って照合処理を行っても正しく検出することは困難である。しかし、ある時刻とそのΔｔ秒後（若しくはｊフレーム後）の音響特徴の類似度（自己類似度）は、このような変動に対して保存されやすいという特徴を持つ。例えば、ある音の４拍後に同じ音が演奏された場合は、４拍後と間の自己類似度は、異なる楽器で演奏しても、それらの音が移調されたものであっても高くなる。したがって、自己類似度を特徴として利用することにより、調や楽器の変動について頑健な音楽探索が可能となる。
【００３１】
図５は、図２における探索処理部３０の処理フローである。
まず、探索処理部３０の参照音響信号入力手段３１に参照音響信号が入力されると（ステップＳ４１０）、参照特徴ベクトル列計算手段３２は、蓄積特徴ベクトル列計算手段１２における蓄積特徴ベクトル列の計算と同じ方法を用いて参照特徴ベクトル列の計算を行う（ステップＳ４２０）。
【００３２】
次に、照合手段３３は、蓄積特徴ベクトル列ＤＢ２２から蓄積特徴ベクトル列を読み出して照合処理を行い、探索類似度の高い特徴ベクトル列内のフレームを検出する（ステップＳ４３０）。最後に、探索結果出力手段３４は、検出された特徴ベクトル列に対応する楽曲付随情報を楽曲付随情報ＤＢ２３から読み出し、検出されたフレーム番号に該当する時刻とともに出力する（ステップＳ４４０）。
【００３３】
図７は、図５におけるステップＳ４２０における参照特徴ベクトル列計算処理フローの詳細を示したものである。まず、参照特徴ベクトル列計算手段３２は、入力された音響信号のサンプリング周波数が、蓄積音響信号のサンプリング周波数ＦｓHzと異なる場合には、低域通過フィルタを適用し、ＦｓHzを超える成分を除去した後にＦｓHzで再サンプリングを行う。また、参照特徴ベクトル列計算手段３２は、蓄積特徴ベクトル列の計算と同様に、入力された音響信号が２つ以上のチャンネルを含んでいた場合には各サンプリング時刻について平均値をとるなどしてモノラル信号に変換する（ステップＳ５１０）。次に、参照特徴ベクトル列計算手段３２は、図６のステップＳ３２０と同様に周波数特徴の計算を行う（ステップＳ５２０）。参照特徴ベクトル列計算手段３２は、蓄積特徴ベクトル列ｆｄｉの計算と同様の自己類似度ベクトル列計算を行い、得られた自己類似度ベクトル列を特徴ベクトル列ｆｑｉとして照合手段３３に渡す（ステップＳ５３０）。
【００３４】
図９は、図５のステップＳ４３０における照合処理の概要である。まず、照合手段３３は、蓄積特徴ベクトル列に対して参照特徴ベクトル列の長さ（短時間フレームの数、Ｎｒとする）と同じ長さの窓をかけ、蓄積特徴ベクトル列の窓に含まれる部分を切り出す（ステップＳ６１０）。つまり、この窓とは、蓄積特徴ベクトル列において、連続したフレームの範囲を特定するものである。次に、照合手段３３は、参照特徴ベクトル列と切り出された蓄積特徴ベクトル列との探索スコアを計算し、事前に設定された閾値Θｓを超える場合には、類似する箇所であると判断し、特徴ベクトル列の切り出した最初のフレーム番号を出力する（ステップＳ６２０）。照合手段３３は、窓を１フレーム分だけ後の時刻にずらし（ステップＳ６３０）、ステップＳ６１０、Ｓ６２０の処理を特徴ベクトル列の末端に到達するまで繰り返す。なお、探索結果出力手段３４は、フレーム番号が出力された参照ベクトル列のＩＤに対応した楽曲付随情報を楽曲付随情報ＤＢ２３から読み出して出力するとともに、フレーム番号に該当する時刻を出力する。
【００３５】
探索スコアには、例えば、類似度または距離を用いることができ、以下の（式４）または（式５）のような関数を使うことができる。
【００３６】
【数３】
2008304610.tif 000005
【００３７】
ここで、Ｆｑは参照特徴ベクトル列ｆｑｉを１列（または１行）に並べて出来るベクトル、Ｆｄは蓄積特徴ベクトル列ｆｄｉの長さＮｒの窓で切り出された部分を１列（または１行）に並べて出来るベクトルであり、Ｓｃ（Ｆｑ，Ｆｄ）は、ＦｑとＦｄの探索スコアである。また、「・」は内積を表す。
【００３８】
［第２の実施形態］
図１０は、第２の実施形態による音楽探索システムの構成を示すブロック図である。同図において、第１の実施形態と同様の構成には同じ符号を付し、説明を省略する。
同図に示す音楽探索システムは、図２の音楽探索システムの構成に、参照音響信号の時間伸縮のバリエーションを吸収する手段である、時間伸縮対応手段４０を加えた構成である。時間伸縮対応手段４０は、蓄積特徴ベクトル列計算手段１２および参照特徴ベクトル列計算手段３２により呼び出される。
以下では、第１の実施形態との差分を中心に説明する。
【００３９】
本実施の形態によるデータベース作成処理部１０の処理フローは図３及び図４と同様であるが、図３のステップＳ１４０における蓄積特徴ベクトル列計算においては、図６に示す処理の代わりに図１１に示す処理を行う。
【００４０】
図１１は、図１０の構成における、蓄積特徴ベクトル列計算手段１２の処理フローを示している。
同図において、モノラル化から自己類似度ベクトル列計算までのステップＳ７１０〜Ｓ７３０を実行し、自己類似度ベクトル列ｓｉを得るところまでは、図６に示すステップＳ３１０〜Ｓ３３０と同一の処理を行う。ここで、蓄積特徴ベクトル列計算手段１２は、時間伸縮対応手段４０を呼び出し、メッシュによる特徴ベクトル列計算を行い、自己類似度ベクトル列から蓄積特徴ベクトル列ｇｄｉを得る（ステップＳ７４０）。
【００４１】
図１３及び図１４に、ｉ番目のフレームについてのメッシュによる特徴ベクトル列の計算方法を示す。
まず、時間伸縮対応手段４０は、自己類似度ベクトル列ｓｉ，ｓｉ＋１，…，ｓｉ＋Ｎ−１のＮ個の自己類似度ベクトルを用いて、自己類似度ベクトル列ｓｉ＋ｋについては最初のＮ−ｋ個の要素、つまりｓ１（ｉ＋ｋ），ｓ２（ｉ＋ｋ），…，ｓ（Ｎ−ｋ）（ｉ＋ｋ）を取り出すことにより、図１３の太線で囲まれた三角領域を抽出する。
【００４２】
次に、時間伸縮対応手段４０は、図１４に示すように、三角領域をメッシュで覆い、複数の領域に分割する。各領域には、少なくとも１つ以上の自己類似度ベクトルの要素が含まれるものとする。各領域には、Ｒ１，Ｒ２，…，Ｒｎのように名前を付ける（ｎは領域の総数を表す）。
【００４３】
入力される音響信号が時間的に伸縮した場合には、元の音楽の音響信号に対して、自己類似度ベクトル列は、時間方向と同時に、自己類似度ベクトルの要素番号の方向にも伸縮するという特性がある。つまり、時間伸縮した音響信号の時刻ｔ’が元の音響信号における時刻ｔに対応しているとすると、元の音響信号内の時刻ｔとｔ＋ｄの関係は、時間伸縮した音響信号内の時刻ｔ’とｔ’＋Ｃｄとの関係に相当する。ここで、Ｃは伸縮率である。従って、ｄが大きくなるにつれて、２つの音響信号の対応する箇所が時間的に離れてしまい、元の音響信号の自己類似度ベクトルの要素ｓｊｉは、時間伸縮した音響信号の自己類似度ベクトルの要素ｓ’（ｊ＋ε）ｉ’に対応することになる。なお、ここでｉ’は元の音響信号のフレームｉに対応する、時間伸縮した音響信号フレーム番号であり、εは伸縮率とｊによって決まる正又は負の整数である。
【００４４】
音響信号の時間伸縮の程度Ｃの値は入力音響信号によって異なるため、εを決めることはできない。εの値はｊが大きくなればなるほど大きくなるので、ｊの値が大きくなるにつれてそのサイズが大きくなるように領域Ｒ１，…，Ｒｎを定義し、それぞれの領域からｎ次元のベクトルを計算し、特徴ベクトルとすることで、ずれを吸収する。自己類似度ベクトル列の時間方向についても、同様の時間伸縮の影響があるため、ｉから離れるにつれてそのサイズが大きくなるように領域Ｒ１，…，Ｒｎを定義する。したがって、図１３の三角領域において、Ｒ１，…，Ｒｎは、最も左上の要素（ｓ１ｉ）の近くは小さなサイズを与え、最も左上の要素から離れた要素には大きな領域を与えることとなる。この処理により、音響信号の時間的な伸縮に頑健な特徴ベクトル列を得ることが可能となる。
【００４５】
各領域の縦および横のサイズは、最初領域の左上（図１４おける領域Ａ中の左上の網掛けされている要素）の位置によって決められる。ここでは、領域Ａを例にとり、説明する。領域Ａの左上の要素（網掛けされている要素）が特徴ベクトルｓｉ＋ｋのｌ番目の要素、つまり、ｓｌ（ｉ＋ｋ）であるとする。領域Ａの縦の長さＬｖは以下の（式６）のように定義される。
【００４６】
【数４】
2008304610.tif 000006
【００４７】
ここで、Ｍは予め設定された定数で、どの程度の時間伸縮Ｃを想定するかに関連する値で、領域の要素番号１０前後の値が使われる。Ｌｖと同様の方法で、領域Ａの横の長さＬｈは以下の（式７）のように定義される。
【００４８】
【数５】
2008304610.tif 000007
【００４９】
ある位置において、Ｌｖ、Ｌｈを算出したら領域の大きさが決定されるので、この領域に含まれるその他の自己類似度ベクトルの要素は領域の左上に位置しないので、Ｌｖ、Ｌｈの計算は行わない。
【００５０】
上記の方法で得られた領域Ｒ１，Ｒ２，…，Ｒｎについて、それぞれの領域に含まれる自己類似度ベクトルの要素の平均値を計算し、これらを要素とするｎ次元ベクトルを特徴ベクトルとする。
【００５１】
図１３において、三角領域を右に１フレームずつ移動し、三角領域の右端が、自己類似度ベクトル列の右端に達するまで特徴ベクトルを計算することにより、蓄積特徴ベクトル列ｇｄｉを生成し、蓄積特徴ベクトル列ＤＢ２２に保存する（図１１：ステップＳ７５０）。
【００５２】
本実施の形態による探索処理部３０の処理フローは図５と同様であるが、図５のステップＳ４２０における参照特徴ベクトル列計算においては、図７に示す処理の代わりに図１２に示す処理を行う。
【００５３】
図１２は、図１０の構成における参照特徴ベクトル列計算手段３２の処理フローを示している。同図において、モノラル化から自己類似度ベクトル列計算までのステップＳ８１０〜Ｓ８３０を実行し、特徴ベクトル列ｆｑｉを得るところまでは、図７に示すステップＳ５１０〜Ｓ５３０と同一の処理を行う。
ステップＳ８４０において、参照特徴ベクトル列計算手段３２は、蓄積特徴ベクトル列の計算と同様の特徴ベクトルの計算により参照特徴ベクトル列ｇｑｉを生成し、照合手段３３に渡す。
【００５４】
照合手段３３では、第１の実施形態と同様、図９で示される処理により照合を行う。探索スコアは、第１の実施形態の照合手段３３の蓄積特徴ベクトル列ｆｄｉの代わりに蓄積特徴ベクトル列ｇｄｉを、参照特徴ベクトル列ｆｑｉの代わりに参照特徴ベクトル列ｇｑｉを使って計算される。参照特徴ベクトル列ｇｑｉを１列（または１行）に並べて出来るベクトルをＧｑとし、蓄積特徴ベクトル列ｇｄｉの長さＮｒの窓で切り出された部分を１列（または１行）に並べて出来るベクトルをＧｄとすると、探索スコアＳｃ（Ｇｑ，Ｇｄ）は以下の（式８）または（式９）のような関数で定義することができ、類似度または距離を用いることができる。
【００５５】
【数６】
2008304610.tif 000008
【００５６】
ここで、「・」は内積を表す。
【００５７】
蓄積音響信号入力手段１１、楽曲付随情報入力手段１３、参照音響信号入力手段３１、探索結果出力手段３４で行われる処理は、第一の実施形態と同じである。
【００５８】
［第３の実施形態］
図１５は、第３の実施形態による音楽探索システムの構成を示すブロック図である。同図において、第１の実施形態と同様の構成には同じ符号を付し、説明を省略する。
図２に示す第１の実施形態による照合手段３３おいては、探索スコアの値のとる範囲は、参照音響信号の特性によってばらつきがあるため、図１５のように、探索処理部３０内に探索スコア補正手段３５を導入し、照合手段３３から呼び出すことで、このばらつきを補正することが可能となる。
以下では、第１の実施形態との差分を中心に説明する。
【００５９】
図１７は探索スコア補正手段３５を導入した場合の照合手段３３の処理概要を示している。まず、ステップＳ９１０において、照合手段３３は、図９の処理と同様に蓄積特徴ベクトル列に参照特徴ベクトル列と同じ長さの窓をかけ、フレームの切り出しを行い、そこに含まれる要素を並べたベクトルＦｄを得る。同様に参照特徴ベクトル列に含まれる要素を並べたベクトルＦｑも用意しておく。次に、ステップＳ９２０において、探索スコア補正手段３５は、ベクトルＦｄとＦｑのユークリッド距離を計算し、これを、距離値ｚｉに代入する（ｉは蓄積特徴ベクトル列の切り出し窓の左端のフレーム番号を示している）。ステップＳ９３０において、探索スコア補正手段３５は、蓄積特徴ベクトル列ＤＢ２２に保存されているすべての蓄積特徴ベクトル列について、窓をシフトしながら距離値ｚｉを計算する。ステップＳ９４０において、探索スコア補正手段３５は、距離値ｚｉを計算したすべてのフレームについて、その前後Ｗフレームの距離値の中で最小となる場合に、そのフレームを検出フレーム候補として、特徴ベクトル列の番号およびフレーム位置ｉと距離値ｚｉを探索処理部３０内のバッファＤへ保存する。ステップＳ９５０において、探索スコア補正手段３５は、各フレームの探索スコアＳｃ（ｉ）を、バッファＤに含まれるフレームの距離値の平均ｚｍ、標準偏差ｚｄを用いて、以下の（式１０）のように算出する。
【００６０】
【数７】
2008304610.tif 000009
【００６１】
最後に図９の処理と同様、照合手段３３は、探索スコアＳｃ（ｉ）が事前に設定した閾値Θを超えるフレームを探索結果として探索結果出力手段３４へ渡す。閾値Θは標準偏差ｚｄに対する比率で表すことが可能となり設定が容易となる。
照合手段３３以外の部分は第１の実施形態と同じである。
【００６２】
［第４の実施形態］
図１６は、第４の実施形態による音楽探索システムの構成を示すブロック図である。同図において、第１または第２の実施形態と同様の構成には同じ符号を付し、説明を省略する。
図１６は、第２の実施形態の探索処理部３０に、第３の実施形態で記述した探索スコア補正手段３５を導入した例である。照合手段３３、探索スコア補正手段３５は、第３の実施形態における、Ｆｄの代わりにＧｄを、Ｆｑの代わりにＧｑを用いて探索スコアＳｃ（ｉ）の計算を行う。その他の構成要素は第２の実施形態と同じである。
【００６３】
上記実施形態によれば、照合手段３３において、参照信号と蓄積信号の特徴ベクトル列の類似度の計算を行うことにより照合を行い、照合類似度の高い楽曲の部分を出力する。従来の手法で用いられる短時間スペクトルの形状を特徴ベクトルとして利用すると、同一の楽曲が異なる調で演奏された場合などには高い類似度が得られず、正しい探索結果を得ることができない。一方、本実施形態では、蓄積特徴ベクトル列計算手段１２と参照特徴ベクトル列計算手段３２において、２つの異なる時刻におけるスペクトル形状の類似度（自己類似度）を特徴ベクトルの要素として利用することにより、同一の楽曲が異なる調で演奏された場合にも照合類似度が高くなるような特徴ベクトル列を得ることができ、正しい検索結果を得ることが可能となる。
また、蓄積特徴ベクトル列計算手段１２と参照特徴ベクトル列計算手段３２において、特徴ベクトルを計算するために、時間方向に不均等なサイズの領域に分割するメッシュを用いた特徴計算用マスクを導入することにより、音響信号の時間方向の変動に対応することが可能となる。
【００６４】
このように、本実施形態によれば、以下の効果がある。
（１）参照信号と蓄積信号が異なる調で演奏された場合に１回の照合で正しい探索結果を出力することが出来ない問題や、演奏されるテンポが異なる場合には正しく探索結果を出力することが出来ないという問題を解決する。
（２）音響信号におけるある時刻の特徴量を、その時刻のスペクトル形状と後続の複数の時刻におけるスペクトル形状との類似度からなるベクトル（自己類似度ベクトル）で表現することで、参照音響信号と蓄積音響信号で演奏される調が異なる場合においても探索を可能とする。
（３）自己類似度ベクトルを時間方向に並べた自己類似度ベクトル列に対し、大きさの不均等な領域を持ったマスクを適用し、各領域内の自己類似度ベクトルの要素の値を平均したものを特徴ベクトルとして利用することにより、音響信号の時間軸上での伸縮にも対応することができる。
【００６５】
なお、上述の音楽探索システムは、内部にコンピュータシステムを有している。そして、音楽探索システムのデータベース作成処理部１０、データベース２０、探索処理部３０及び時間伸縮対応手段４０の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
【００６６】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【図面の簡単な説明】
【００６７】
【図１】本発明の一実施形態における音楽探索システムの処理を説明する概念図。
【図２】本発明の第１の実施形態における音楽探索システムの構成例を示すブロック図。
【図３】図２のデータベース作成処理部における処理の動作例を示すフローチャート。
【図４】図２のデータベース作成処理部における処理の動作例を示すフローチャート。
【図５】図２の探索処理部における処理の動作例を示すフローチャート。
【図６】図３における蓄積特徴ベクトル列計算処理の詳細を示すフローチャート。
【図７】図５における参照特徴ベクトル列計算処理の詳細を示すフローチャート。
【図８】図３、図７における自己類似度ベクトル列計算の処理を説明する図。
【図９】図５における照合処理の概要を示す図。
【図１０】第２の実施形態による音楽探索システムの構成例を示すブロック図。
【図１１】図１０の蓄積特徴ベクトル列計算手段における処理の詳細を示すフローチャート。
【図１２】図１０の参照特徴ベクトル列計算手段における処理の詳細を示すフローチャート。
【図１３】図１１、図１２におけるメッシュによる特徴ベクトル列計算処理の概要を示す図。
【図１４】図１１、図１２におけるメッシュによる特徴ベクトル列計算処理の概要を示す図。
【図１５】第３の実施形態による音楽探索システムの構成例を示すブロック図。
【図１６】第４の実施形態による音楽探索システムの構成例を示すブロック図。
【図１７】図１５、図１６における照合手段から探索スコア補正手段を呼び出した場合の照合処理の概要を示す図。
【符号の説明】
【００６８】
１０…データベース作成処理部
１１…蓄積音響信号入力手段
１２…蓄積特徴ベクトル列計算手段
１３…楽曲付随情報入力手段
２０…データベース
２１…蓄積信号ＤＢ
２２…蓄積特徴ベクトル列ＤＢ
２３…楽曲付随情報ＤＢ
３０…探索処理部
３１…参照音響信号入力手段
３２…参照特徴ベクトル列計算手段
３３…照合手段
３４…探索結果出力手段
３５…探索スコア補正手段
４０…時間伸縮対応手段
【図１】
2008304610.tif 000010
【図２】
2008304610.tif 000011
【図３】
2008304610.tif 000012
【図４】
2008304610.tif 000013
【図５】
2008304610.tif 000014
【図６】
2008304610.tif 000015
【図７】
2008304610.tif 000016
【図８】
2008304610.tif 000017
【図９】
2008304610.tif 000018
【図１０】
2008304610.tif 000019
【図１１】
2008304610.tif 000020
【図１２】
2008304610.tif 000021
【図１３】
2008304610.tif 000022
【図１４】
2008304610.tif 000023
【図１５】
2008304610.tif 000024
【図１６】
2008304610.tif 000025
【図１７】
2008304610.tif 000026