(57)【要約】【課題】  音響信号の検索においてハッシュ法を使用することにより、検索対象の音響信号の時間が長い場合にも検索時間を一定時間にできるような音響信号検索技術を提供する。【解決手段】  検索キーである短時間音響信号及び検索対象である長時間音響信号を入力して長時間音響信号中から短時間音響信号を検出する音響情報蓄積検索装置２０であり、音響信号分割部２７が入力した長時間音響信号を入力した検索キーの時間長で短時間音響信号に分割し、ハッシュ値計算部２３、２６が分割して得た短時間音響信号及び入力した短時間音響信号からハッシュ値を計算し、分割して得た短時間音響信号のハッシュ値を長時間音響信号に関連する情報と対応付けて蓄積部２５に蓄積し、音響信号検索部２５が蓄積部２５に蓄積されたハッシュ値と入力された短時間音響信号のハッシュ値とを照合することで、長時間音響情報中から検索キーである短時間音響情報を検出する。【選択図】  図１
2006106535.tif 000002
【特許請求の範囲】
【請求項１】
検索キーである短時間音響信号及び検索対象である長時間音響信号を入力して当該長時間音響信号中から当該短時間音響信号を検出する音響情報蓄積検索装置であって、
前記入力した長時間音響信号を前記入力した検索キーの時間長で短時間音響信号に分割し、
前記分割して得た短時間音響信号及び前記入力した短時間音響信号からハッシュ値を計算し、
前記各ハッシュ値を照合することにより、前記長時間音響情報中から前記検索キーである短時間音響情報を検出することを特徴とする音響情報蓄積検索装置。
【請求項２】
検索キーである短時間音響信号及び検索対象である長時間音響信号を入力して当該長時間音響信号中から当該短時間音響信号を検出する音響情報蓄積検索装置であって、
前記入力した長時間音響信号を前記入力した検索キーの時間長で短時間音響信号に分割する音響信号分割手段と、
前記分割して得た短時間音響信号及び前記入力した短時間音響信号からＦＦＴ(Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ)により音響信号スペクトルを算出し、当該スペクトルのピークを複数個特定して、これらの周波数チャンネル番号の組合せからハッシュ値を計算するハッシュ値計算手段と、
前記分割して得た短時間音響信号が前記長時間音響信号中に出現する時刻、前記長時間音響信号に関する情報、及び前記分割して得た短時間音響信号から計算したハッシュ値を対応付けて蓄積する蓄積手段と、
前記入力された短時間音響信号から算出したハッシュ値と同一のハッシュ値を前記蓄積手段に蓄積されたハッシュ値中から検索し、検索されたハッシュ値に対応する前記長時間音響信号中に出現する時刻、及び前記長時間音響信号に関する情報を得る音響信号検索手段と、を備えることを特徴とする音響情報蓄積検索装置。
【請求項３】
検索キーである短時間音響信号及び検索対象である長時間音響信号を音響情報蓄積検索装置に入力し、当該長時間音響信号中から当該短時間音響信号を検出する音響情報蓄積検索プログラムであって、
音響信号分割手段が前記入力した長時間音響信号を前記入力した検索キーの時間長で短時間音響信号に分割するステップと、
ハッシュ値計算手段が前記分割して得た短時間音響信号及び前記入力した短時間音響信号からハッシュ値を計算するステップと、
音響信号検索手段が前記各ハッシュ値を照合することにより、前記長時間音響情報中から前記検索キーである短時間音響情報を検出ステップと、含む処理を実行させることを特徴とする音響情報蓄積検索プログラム。
【請求項４】
検索キーである短時間音響信号及び検索対象である長時間音響信号を音響情報蓄積検索装置に入力し、当該長時間音響信号中から当該短時間音響信号を検出する音響情報蓄積検索プログラムであって、
音響信号分割手段が前記入力した長時間音響信号を前記入力した検索キーの時間長で短時間音響信号に分割する音響信号分割ステップと、
ハッシュ値計算手段が前記分割して得た短時間音響信号及び前記入力した短時間音響信号からＦＦＴ(Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ)により音響信号スペクトルを算出し、当該スペクトルのピークを複数個特定して、これらの周波数チャンネル番号の組合せからハッシュ値を計算するハッシュ値計算ステップと、
蓄積手段が前記分割して得た短時間音響信号が前記長時間音響信号中に出現する時刻、前記長時間音響信号に関する情報、及び前記分割して得た短時間音響信号から計算したハッシュ値を対応付けて蓄積する蓄積ステップと、
音響信号検索手段前記入力された短時間音響信号から算出したハッシュ値と同一のハッシュ値を前記蓄積手段に蓄積されたハッシュ値中から検索し、検索されたハッシュ値に対応する前記長時間音響信号中に出現する時刻、及び前記長時間音響信号に関する情報を得る音響信号検索ステップと、を含む処理を実行させることを特徴とする音響情報蓄積検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号蓄積検索装置、特に検索キーとして与えられた楽曲の短時間音響信号と類似する短時間音響信号を大量の楽曲の中から検索し、検索キーとして与えられた楽曲の曲名と、その楽曲中で検索キーの短時間音響信号と類似する短時間音響信号が出現する時刻を検索することが可能な技術に関する。
【背景技術】
【０００２】
長時間の音響信号から短時間音響信号を検索することが可能な従来方法として、「ヒストグラム特徴を用いた音響信号の高速探索法  −時系列アクティブ探索法−」がある(例えば、非特許文献１参照。)。
【０００３】
この技術は、長時間の音響信号に対して検索キーの短時間音響信号の特徴量をずらしながら照合し、類似度の高い短時間音響信号を検索する方法を基本としている。このずらし照合による方法を特徴間の類似度の上限を計算しておくことで、ずらし照合のスキップ可能幅を算出し、スキップしながらずらし照合を行うことで高速な照合を実現している。
【０００４】
また、検索対象の長時間音響信号から切り出される短時間音響信号に対して予め多次元空間インデックスを構築しておき、検索キーの短時間音響信号と類似する特徴量を持つ短時間音響信号をインデックス利用することにより高速に検索する技術が開示されている(例えば、特許文献１参照。)。
【非特許文献１】柏野  邦夫、ガビン  スミス、村瀬  洋、「ヒストグラム特徴を用いた音響信号の高速探索法  −時系列アクティブ探索法−」、電子情報通信学会論文誌Ｄ−II、Ｖｏｌ．Ｊ８２−Ｄ−II  Ｎｏ．９  ｐｐ．１３６５−１３７３
【特許文献１】特開２００４−２１９８０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
前記非特許文献１の技術では、ずらし照合による検索が基本であるため検索対象の音響信号の時間の長さに比例して検索時間も増えることになる。よって、検索対象の音響信号の時間が非常に長い場合には、この技術は不向きな場合がある。
【０００６】
また、前記特許文献１の技術では、検索対象の音響信号の時間が長くなるのに従って多次元空間インデックスのツリー構造が深くなるため、対数のオーダーで検索時間も増大することになる。従って、この技術においても検索対象の音響信号の時間が非常に長い場合には検索時間が増大することになり、不都合が生じる場合がある。
【０００７】
本発明は、このような事情に鑑みてなされたもので、その目的は、音響信号の検索においてハッシュ法を使用することにより、検索対象の音響信号の時間が長い場合にも検索時間を一定時間にできるような音響信号検索技術を提供することにある。
【課題を解決するための手段】
【０００８】
そこで、上記課題を解決するために、請求項１に記載の発明は、検索キーである短時間音響信号及び検索対象である長時間音響信号を入力して当該長時間音響信号中から当該短時間音響信号を検出する音響情報蓄積検索装置であって、前記入力した長時間音響信号を前記入力した検索キーの時間長で短時間音響信号に分割し、前記分割して得た短時間音響信号及び前記入力した短時間音響信号からハッシュ値を計算し、前記各ハッシュ値を照合することにより、前記長時間音響情報中から前記検索キーである短時間音響情報を検出することを特徴とする音響情報蓄積検索装置を提供する。
【０００９】
また、請求項２に記載の発明は、検索キーである短時間音響信号及び検索対象である長時間音響信号を入力して当該長時間音響信号中から当該短時間音響信号を検出する音響情報蓄積検索装置であって、前記入力した長時間音響信号を前記入力した検索キーの時間長で短時間音響信号に分割する音響信号分割手段と、前記分割して得た短時間音響信号及び前記入力した短時間音響信号からＦＦＴ(Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ)により音響信号スペクトルを算出し、当該スペクトルのピークを複数個特定して、これらの周波数チャンネル番号の組合せからハッシュ値を計算するハッシュ値計算手段と、前記分割して得た短時間音響信号が前記長時間音響信号中に出現する時刻、前記長時間音響信号に関する情報、及び前記分割して得た短時間音響信号から計算したハッシュ値を対応付けて蓄積する蓄積手段と、前記入力された短時間音響信号から算出したハッシュ値と同一のハッシュ値を前記蓄積手段に蓄積されたハッシュ値中から検索し、検索されたハッシュ値に対応する前記長時間音響信号中に出現する時刻、及び前記長時間音響信号に関する情報を得る音響信号検索手段と、を備えることを特徴とする音響情報蓄積検索装置を提供する。
【００１０】
また、請求項３に記載の発明は、検索キーである短時間音響信号及び検索対象である長時間音響信号を音響情報蓄積検索装置に入力し、当該長時間音響信号中から当該短時間音響信号を検出する音響情報蓄積検索プログラムであって、音響信号分割手段が前記入力した長時間音響信号を前記入力した検索キーの時間長で短時間音響信号に分割するステップと、ハッシュ値計算手段が前記分割して得た短時間音響信号及び前記入力した短時間音響信号からハッシュ値を計算するステップと、音響信号検索手段が前記各ハッシュ値を照合することにより、前記長時間音響情報中から前記検索キーである短時間音響情報を検出ステップと、含む処理を実行させることを特徴とする音響情報蓄積検索プログラムを提供する。
【００１１】
また、請求項４に記載の発明は、検索キーである短時間音響信号及び検索対象である長時間音響信号を音響情報蓄積検索装置に入力し、当該長時間音響信号中から当該短時間音響信号を検出する音響情報蓄積検索プログラムであって、音響信号分割手段が前記入力した長時間音響信号を前記入力した検索キーの時間長で短時間音響信号に分割する音響信号分割ステップと、ハッシュ値計算手段が前記分割して得た短時間音響信号及び前記入力した短時間音響信号からＦＦＴ(Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ)により音響信号スペクトルを算出し、当該スペクトルのピークを複数個特定して、これらの周波数チャンネル番号の組合せからハッシュ値を計算するハッシュ値計算ステップと、蓄積手段が前記分割して得た短時間音響信号が前記長時間音響信号中に出現する時刻、前記長時間音響信号に関する情報、及び前記分割して得た短時間音響信号から計算したハッシュ値を対応付けて蓄積する蓄積ステップと、音響信号検索手段前記入力された短時間音響信号から算出したハッシュ値と同一のハッシュ値を前記蓄積手段に蓄積されたハッシュ値中から検索し、検索されたハッシュ値に対応する前記長時間音響信号中に出現する時刻、及び前記長時間音響信号に関する情報を得る音響信号検索ステップと、を含む処理を実行させることを特徴とする音響情報蓄積検索プログラムを提供する。
【００１２】
請求項１または３の発明では、検索キーとして入力される短時間音響信号及び長時間音響信号を検索キーの時間長で分割して得られる短時間音響信号についてそれぞれハッシュ値を計算し、これらのハッシュ値を照合することで長時間音響信号中から検索キーである短時間音響信号を検索することが可能となる。
【００１３】
請求項２または４の発明では、短時間音響信号のスペクトルピークに注目し、複数個のチャンネル番号の組合わせに一意なハッシュ値を算出し、長時間音響信号を分割して得た短時間音響信号のハッシュ値に長時間音響信号中に出現する時刻、及び前記長時間音響信号に関する情報を対応付けて蓄積しているが、蓄積されたハッシュ値のアドレスはハッシュ値より一意に決定可能であるため、ハッシュ値の照合により長時間音響信号中から検索キーである短時間音響信号を検索し、長時間音響信号中に出現する時刻、及び前記長時間音響信号に関する情報を短時間で得ることが可能となる。
【発明の効果】
【００１４】
本発明によれば、ハッシュ値を算出してこれに基づいて検索を行うことにより、長時間音響信号の中から短時間音響信号を検索するときに、検索対象の長時間音響信号の量に関係なく一定時間で高速な検索が可能となり、大量の長時間音響信号の検索においても短時間で検索が可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態を図面を用いて説明する。
【００１６】
なお、本実施形態では長時間音響信号である大量の楽曲中から、検索キーとして与えられた短時間音響信号である楽曲の一部と類似する短時間音響信号を検索し、その曲名や作曲者などの楽曲情報と、短時間音響信号が楽曲中に出現する時刻とを検索することとする。
【００１７】
図１は音響信号蓄積検索システムの構成図である。図１に示すように、音響信号蓄積検索システムは、短時間音響信号入力装置１０、音響信号蓄積検索装置２０、検索結果出力装置３０、及び長時間音響入力装置４０から構成される。
【００１８】
さらに、音響信号検索装置２０は検索フェーズ２１及び蓄積フェーズ２２から構成され、検索フェーズ２１はハッシュ値計算部２３、及び音響信号検索部２４から構成され、蓄積フェーズ２２は蓄積部２５、ハッシュ値計算部２６、及び音響信号分割部２７から構成される。
【００１９】
短時間音響信号入力装置１０は検索キーとして短時間音響信号である楽曲の一部を音響信号検索装置２０に入力する。
【００２０】
長時間音響信号入力装置４０は検索対象として長時間音響信号である大量の楽曲を音響信号検索装置２０に入力する。
【００２１】
音響信号分割部２７は長時間音響信号入力装置４０から入力された長時間音響信号である各楽曲を検索キー時間長の短時間音響信号に分割する。分割方法としては、長時間音響信号である楽曲から検索キー時間長でずらしながら切り出すようにして分割する。
【００２２】
ハッシュ値計算部２３及びハッシュ値計算部２６は検索キー時間長の楽曲の短時間音響信号からFFT(Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ)により音響信号スペクトルを算出し、そのスペクトルのピークのうちパワーの大きい上位ｋ個を特定する。そして特定されたピークの周波数チャンネル番号の組み合わせからハッシュ値を計算する。
【００２３】
蓄積部２５は音響信号分割部２７で分割された短時間音響信号が長時間音響信号である楽曲中に出現する時刻、その分割元の長時間音響信号である楽曲の曲名や作曲者などの情報、及びハッシュ値計算部２６によりその短時間音響信号から計算されたハッシュ値を蓄積する。
【００２４】
音響信号検索部２４はハッシュ値計算部２３によって検索キーの短時間音響信号から算出されたハッシュ値と同一のハッシュ値を蓄積部２５に蓄積されたハッシュ値の中から検索することで、そのハッシュ値の算出元の短時間音響信号が長時間音響信号である楽曲中に出現する時刻、その長時間音響信号である楽曲の曲名や作曲者などの情報を検索する。
【００２５】
検索結果出力装置３０は音響信号検索部２４で検索された短時間音響信号が長時間音響信号である楽曲中に出現する時刻、長時間音響信号である楽曲の曲名や作曲者などの情報をディスプレイ等の表示装置に表示する。
【００２６】
ここで、図２に示すフローチャートを用いて蓄積フェーズ２２の動作を説明する。
【００２７】
まず、長時間音響信号入力装置から入力される楽曲を一曲ごとに入力する(Ｓ２１)。
【００２８】
次に、音響信号分割部２７が、入力された長時間音響信号である楽曲から、図３に示すように、短時間音響信号を重複して切り出すようにして分割する(Ｓ２２)。短時間音響信号の長さは短時間音響信号入力装置１０から入力される検索キーの短時間音響信号と同一とする。具体的には、長時間音響信号である楽曲より短く、数十ミリ秒から数十秒程度のものとなる。
【００２９】
次に、ハッシュ値計算部２６が、分割された短時間音響信号からハッシュ値を計算する(Ｓ２３)。このハッシュ値の計算については後段で詳しく説明する。
【００３０】
次に、分割された短時間音響信号の楽曲名や作曲者などの楽曲情報、楽曲中で出現する時間、及び計算したハッシュ値を、このハッシュ値から一意に決定可能なアドレスに蓄積する(Ｓ２４)。
【００３１】
次に、他に入力する楽曲の有無を判断し(Ｓ２５)、あると判断した場合にはこの楽曲に対してＳ２１からの処理を行ない、無いと判断した場合には処理を終了する。
【００３２】
ここで、図４に示すフローチャートを用いてハッシュ値計算部２６の動作について説明する。
【００３３】
先ず、ＦＦＴ(Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ)により音響信号スペクトルを算出する(Ｓ４１)。なお、このときのＦＦＴのフレーム長はｓ個とする。また、ＦＦＴの制約によりｓは２のべき乗数となる。短時間音響信号のデータ数が２のべき乗でない場合には、ＦＦＴのフレーム長ｓを短時間音響信号のデータ数より多くし、不足分はゼロ埋めを行う。
【００３４】
次に、算出したスペクトルから、スペクトルピークのうちパワーの大きい上位ｋ個を特定する(Ｓ４２)。図５にｋ＝３としたときのピーク検出の例を示す。
【００３５】
次に、特定されたピークの周波数チャンネル番号の組合せを作成する(Ｓ４３)。周波数チャンネル番号はサンプリング定理より、０からｓ／２までの数になるが、０はゲインのため使用しない。前記の図５はｓ＝１６の場合の例を示しており、周波数チャンネル番号の組合せは、(２、５、７)となる。
【００３６】
次に、作成した周波数チャンネル番号の組合せからハッシュ値を計算する(Ｓ４４)。ここでは、ピークは隣り合う周波数チャンネル番号が連続して出現することはないということに注意して、ｋ個の周波数チャンネル番号の組合わせを(ｆ(１)，ｆ(２)，…ｆ(ｋ))として、ハッシュ値Ｈを下記の式１に示すように計算する。ただし、ｆ(１)<ｆ(２) <…ｆ(ｋ)とする。式１により組合せに対して一意なハッシュ値が計算される。
【００３７】
【数１】
2006106535.tif 000003
【００３８】
ここで、図６に示すフローチャートを用いて検索フェーズ２１の動作を説明する。
【００３９】
先ず、短時間音響信号入力装置１０から検索キーとして短時間音響信号を入力する(Ｓ６１)。短時間音響信号の長さは数十ミリから数十秒程度に設定することが可能である。
【００４０】
次に、蓄積フェーズ２２の動作で説明したＳハッシュ値計算部２６のハッシュ値計算と同様の処理により、検索キーである短時間音響信号からハッシュ値を計算する(Ｓ６２)。
【００４１】
次に、検索キーである短時間音響信号から計算されたハッシュ値と同じハッシュ値を蓄積部２５に蓄積されたハッシュ値の中から検索する。蓄積部２５に蓄積されたハッシュ値のアドレスはハッシュ値より一意に決定可能であるため、高速な検索が可能である。さらに、検索されたハッシュ値と同じ位置に格納されている楽曲情報や楽曲中に出現する時刻を取得する(Ｓ６３)。
【００４２】
次に、検索された短時間音響信号が楽曲中に出現する時刻と、その楽曲の曲名や作曲者などの楽曲情報を検索結果出力装置３０に送信し(Ｓ６４)、検索結果出力装置３０がディスプレイ等の検索結果出力装置に表示することで、検索フェーズ２１の動作を終了する。
【００４３】
なお、ハッシュ値計算部２３とハッシュ値計算部２６とは、別個に設置してもよいし、同一のものとしてもよい。
【００４４】
また、音響信号蓄積検索装置２０は、例えば、音響信号蓄積検索装置２０を構成するコンピュータ装置が有するＣＰＵによって実現され、必要とするハッシュ値計算、音響信号検索、音響信号分割などをアプリケーションプログラムとして搭載することができる。
【００４５】
また、コンピュータ装置には上記説明したハッシュ値計算、音響信号検索、音響信号分割など行った処理結果や計算結果等のデータを内部メモリや外部記憶装置等に書き込み・読み出しができるようにしてもよい。
【００４６】
また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ(ＭＰＵ)が記録媒体に格納されたプログラムコードを読み出し実行することによっても実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ、等は本発明を構成する。
【図面の簡単な説明】
【００４７】
【図１】音響信号蓄積検索システムの構成図。
【図２】蓄積フェーズの動作フローチャート。
【図３】長時間音響信号を短時間音響信号へ分割する例を示す図。
【図４】ハッシュ値計算部の動作フローチャート。
【図５】スペクトルピーク検出の例を示す図。
【図６】検索フェーズの動作フローチャート。
【符号の説明】
【００４８】
１０…短時間音響信号入力装置
２０…音響信号蓄積検索装置
２１…検索フェーズ
２２…蓄積フェーズ
２３…ハッシュ値計算部
２４…音響信号検索部
２５…蓄積部
２６…ハッシュ値計算部
２７…音響信号分割部
３０…検索結果出力装置
４０…長時間音響信号入力装置
【図１】
2006106535.tif 000004
【図２】
2006106535.tif 000005
【図３】
2006106535.tif 000006
【図４】
2006106535.tif 000007
【図５】
2006106535.tif 000008
【図６】
2006106535.tif 000009