(57)【特許請求の範囲】
【請求項１】
特定の音響信号である参照信号と類似する音を含む区間を、蓄積信号中で検出する特定音響信号含有区間検出システムにおいて、
前記参照信号の時間周波数スペクトログラムである参照信号スペクトログラムを、小領域参照信号スペクトログラムと呼ぶ小領域のスペクトログラムに分割する参照信号スペクトログラム分割部と、
前記小領域参照信号スペクトログラムを周波数帯域毎に符号化し、参照信号小領域符号とする小領域参照信号スペクトログラム符号化部と、
前記蓄積信号の時間周波数スペクトログラムである蓄積信号スペクトログラムにおける、小領域のスペクトログラムである小領域蓄積信号スペクトログラムを前記周波数帯域毎に符号化し、蓄積信号小領域符号とする小領域蓄積信号スペクトログラム符号化部と、
前記各周波数帯域に対応する前記参照信号小領域符号を代表する符号と蓄積信号小領域符号を代表する符号との距離から算出した小領域類似度に基づいて、前記各小領域参照信号スペクトログラムと類似する前記小領域蓄積信号スペクトログラムを検出する類似小領域スペクトログラム検出部と、
検出された蓄積信号スペクトログラム中において、前記小領域参照信号スペクトログラムに類似した小領域蓄積信号スペクトログラムの前記小領域類似度を用いて、該小領域蓄積信号スペクトログラムを含む蓄積信号の区間と参照信号との類似度である区間類似度を計算する区間類似度計算部と
を有し、
前記区間類似度により前記蓄積信号中の前記参照信号と類似する音を含む区間を検出することを特徴とする特定音響信号含有区間検出システム。
【請求項２】
前記小領域参照信号スペクトログラム符号化部および前記小領域蓄積信号スペクトログラム符号化部は、前記小領域のスペクトログラム上の各時点におけるスペクトル特徴をベクトル量子化により符号化し、これらの符号の小領域のスペクトログラム内における出現回数を符号毎に計数したヒストグラムを作成し、このヒストグラムの各ビンの値を成分とする特徴ベクトルであるヒストグラム特徴を生成し、このヒストグラム特徴を前記周波数帯域毎にベクトル量子化により符号化し、それぞれ前記参照信号小領域符号、前記蓄積信号小領域符号とすることを特徴とする請求項１に記載の特定音響信号含有区間検出システム。
【請求項３】
前記参照信号小領域符号と前記蓄積信号小領域符号の符号の対ごとに、前記小領域類似度を予め計算して小領域符号間類似度表を作成する小領域符号間類似度表作成機能を更に有し、
前記類似小領域スペクトログラム検出部が、該小領域符号間類似度表を参照することにより、前記小領域参照信号スペクトログラムと前記小領域蓄積信号スペクトログラムとの類似性を判定することを特徴とする請求項１または請求項２のいずれかに記載の特定音響信号含有区間検出システム。
【請求項４】
前記蓄積信号小領域符号毎に、該蓄積信号小領域符号をもつ小領域蓄積信号スペクトログラムの出現時点を分類したインデックスを作成するインデックス作成機能を更に有し、
前記類似小領域スペクトログラム検出部が、前記小領域符号間類似度表を参照することにより選択された前記参照信号小領域符号に類似する蓄積信号小領域符号を用いて前記インデックスを参照し、該蓄積信号小領域符号をもつ小領域蓄積信号スペクトログラムを、小領域参照信号スペクトログラムに類似する小領域蓄積信号スペクトログラムとして検出することを特徴とする請求項３に記載の特定音響信号含有区間検出システム。
【請求項５】
特定の音響信号である参照信号と類似する音を含む区間を、蓄積信号中で検出する特定音響信号含有区間検出方法において、
参照信号スペクトログラム分割部が、前記参照信号の時間周波数スペクトログラムである参照信号スペクトログラムを、小領域参照信号スペクトログラムと呼ぶ小領域のスペクトログラムに分割する参照信号スペクトログラム分割過程と、
小領域参照信号スペクトログラム符号化部が、前記小領域参照信号スペクトログラムを周波数帯域毎に符号化し、参照信号小領域符号とする小領域参照信号スペクトログラム符号化過程と、
小領域蓄積信号スペクトログラム符号化部が、前記蓄積信号の時間周波数スペクトログラムである蓄積信号スペクトログラムにおける、小領域のスペクトログラムである小領域蓄積信号スペクトログラムを前記周波数帯域毎に符号化し、蓄積信号小領域符号とする小領域蓄積信号スペクトログラム符号化過程と、
類似小領域スペクトログラム検出部が、前記各周波数帯域に対応する前記参照信号小領域符号を代表する符号と蓄積信号小領域符号を代表する符号との距離から算出した小領域類似度に基づいて、前記各小領域参照信号スペクトログラムと類似する前記小領域蓄積信号スペクトログラムを検出する類似小領域スペクトログラム検出過程と、
区間類似度計算部が、検出された蓄積信号スペクトログラム中において、前記小領域参照信号スペクトログラムに類似した小領域のスペクトログラムの前記小領域類似度を用いて、該小領域のスペクトログラムを含む蓄積信号の区間と参照信号との類似度である区間類似度を計算する区間類似度計算過程と
を有し、
前記区間類似度により前記蓄積信号中の前記参照信号と類似する音を含む区間を検出することを特徴とする特定音響信号含有区間検出方法。
【請求項６】
前記小領域参照信号スペクトログラム符号化部および前記小領域蓄積信号スペクトログラム符号化部が、前記小領域のスペクトログラム上の各時点におけるスペクトル特徴をベクトル量子化により符号化し、これらの符号の小領域のスペクトログラム内における出現回数を符号毎に計数したヒストグラムを作成し、このヒストグラムの各ビンの値を成分とする特徴ベクトルであるヒストグラム特徴を生成し、このヒストグラム特徴を前記周波数帯域毎にベクトル量子化により符号化し、それぞれ前記参照信号小領域符号，前記蓄積信号小領域符号とすることを特徴とする請求項５に記載の特定音響信号含有区間検出方法。
【請求項７】
小領域符号間類似度表作成機能が、前記参照信号小領域符号と前記蓄積信号小領域符号の符号の対ごとに、前記小領域類似度を予め計算して小領域符号間類似度表を作成する過程を更に有し、
前記類似小領域スペクトログラム検出過程において、該類似小領域スペクトログラム検出部が、小領域符号間類似度表を参照することにより、前記小領域参照信号スペクトログラムと前記小領域蓄積信号スペクトログラムとの類似性を判定することを特徴とする請求項５または請求項６に記載の特定音響信号含有区間検出方法。
【請求項８】
インデックス作成機能が、前記蓄積信号小領域符号毎に、該蓄積信号小領域符号をもつ小領域蓄積信号スペクトログラムの出現時点を分類したインデックスを作成するインデックス作成過程を更に有し、
前記類似小領域スペクトログラム検出過程において、前記小領域符号間類似度表を参照することにより選択された前記参照信号小領域符号に類似する蓄積信号小領域符号を用いて前記インデックスを参照し、該蓄積信号小領域符号をもつ小領域蓄積信号スペクトログラムを、小領域参照信号スペクトログラムに類似する小領域蓄積信号スペクトログラムとして検出することを特徴とする請求項７に記載の特定音響信号含有区間検出方法。
【請求項９】
請求項１から４のいずれか１つに記載の特定音響信号含有区間検出システムとしてコンピュータを機能させるための特定音響信号含有区間検出処理プログラム。
【請求項１０】
請求項９に記載の特定音響信号含有区間検出処理プログラムが記録されたコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、参照信号である参照音響信号と、この参照音響信号よりも長い蓄積音響信号のなかから類似した信号の位置を探し出す信号検出に関するものであり、例えば音楽ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）の曲の一部分を参照信号として音響信号検出に用いられる特定音響信号含有区間検出システムである。
すなわち、本発明は、音楽ＣＤに記録された特定音楽の一部を参照信号とし、蓄積信号中の参照信号を含む区間を検出することで、その音楽がＢＧＭ（Ｂａｃｋ  Ｇｒｏｕｎｄ  Ｍｕｓｉｃ）として使われた区間を、膨大なデータベース、例えばテレビ放送を録音したもののなかから検索するものである。
本願は、２００４年７月１日に出願された特願２００４−１９５９９５号に対し優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
特定音響信号を含有する区間検出は、図６に示すように、参照信号と呼ぶある特定の音響信号（参照音響信号）と類似する音を含む類似区間を、蓄積信号と呼ぶ参照信号より長い音響信号（蓄積音響信号）中で検出することである．
なお、本明細書において、上記類似区間を検出するとは、この類似区間が始まる区間の先頭の時点を検出することと定義する。【０００３】
従来、蓄積信号中の参照信号に類似する区間を検出する高速な手法としては、時系列アクティブ探索法等がある(例えば、特許第３０６５３１４号「高速信号探索方法、装置およびその記録媒体」)。
しかしながら、上述したような蓄積信号中の参照信号の検出手法の多くは、蓄積信号中の参照信号と類似する区間が、参照信号とほぼ同一であることが前提である。
このため、蓄積信号中で検出したい音楽にナレーション等の他の音が重なった場合（加法性雑音が付加される場合）などには、該区間の音響信号が参照信号と著しく異なってしまうために検出することができなかった。【０００４】
そして、ＢＧＭとして使われた音楽の検出なども目的とした特定音響信号を含有する区間検出方法は、従来、ほとんど例が無く、唯一、自己最適化スペクトル相関法があった(例えば、Ｍ．Ａｂｅ  ａｎｄ  Ｍ．Ｎｉｓｈｉｇｕｃｈｉ：Ｓｅｌｆ−ｏｐｔｉｍｉｚｅｄ  Ｓｐｅｃｔｒａｌ  Ｃｏｒｒｅｌａｔｉｏｎ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｂａｃｋｇｒｏｕｎｄ  Ｍｕｓｉｃ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ，  Ｐｒｏｃ．ＩＥＥＥ  ＩＣＭＥ‘０２，Ｌａｕｓａｎｎｅ，  ｖｏｌ．１，３３３／３３６（２００２））。
しかし、上記自己最適化スペクトル相関法は、その計算量の大きさから検出に非常に時間がかかるという問題点があった。
そこで、より高速に特定音響信号を含有する区間の検出を行う手法として、分割一致探索法が提案されている（例えば、特開２００４−１０２０２３「特定音響信号検出方法、信号検出装置、信号検出プログラム及び記録媒体」）。【０００５】
＜分割一致探索法の概要＞
次に、図７に上記分割一致探索法の概要を示し、以下に分割一致探索法の処理手順の説明を行う。
まず，図７のステップ(a)にあるように，参照信号及び蓄積信号の各音響波形信号からパワースペクトルを抽出し、各々のスペクトログラム（ｓｐｅｃｔｒｏｇｒａｍ）を得る。
そして、参照信号のスペクトログラムから一定のサイズの小領域のスペクトログラムを等間隔に切り出す。【０００６】
この小領域のスペクトログラムは、周波数軸方向及び時間軸方向において、各々一定の個数のスペクトログラム上の点を、もとのスペクトログラムから切り出すことにより得る。これらの小領域スペクトログラムには重なりがあってもよい。
このようにして切り出した小領域のスペクトログラムを、小領域スペクトログラム（ｓｍａｌｌ−ｒｅｇｉｏｎ  ｓｐｅｃｔｒｏｇｒａｍ）と呼ぶ。
そして、先頭の時点がｔｉ、周波数帯がωmの参照信号中の小領域スペクトログラムをＦｔｉ，ωｍと書く。【０００７】
また、蓄積信号のスペクトログラム中において、先頭の時点がｔ、周波数帯がωmのＦｔｉ，ωｍと同じサイズの小領域スペクトログラムをＧｔ，ωｍと書く。
また、参照信号のスペクトログラム中において、小領域スペクトログラムＦｔｉ，ωｍを切り出した参照信号中の全ての時点tｉの集合をＴＲ(ＴＲ= {t1,t2…})とし、全ての周波数帯ωmの集合をＷ(Ｗ＝{ω1,ω2・‥})とする。
なお、各小領域スペクトロトログラムのパワー値は、音量の変動を吸収するために各小領域スペクトログラムごとに正規化する。【０００８】
次に、図７のステップ(b)にあるように、参照信号中の各Ｆｔｉ，ωｍについて、蓄積信号からＦｔｉ，ωｍに類似する時点を、周波数帯ωmにおいて探索する。
この探索は時系列アクティブ探索法（ＴＡＳ：特許第３０６５３１４号「高速信号探索方法、装置およびその記録媒体」）を用いて行われる。
なお、ここで、Ｆｔｉ，ωｍに類似する時点とは、Ｆｔｉ，ωｍとＧｔ，ωｍの小領域類似度s´ｐ(Ｆｔｉ，ωｍ，Ｇｔ，ωｍ)が小領域用探索閾値ｓ´ｐｔｈを超えるような時点ｔである。
なお、分割一致探索法においては、この類似する小領域スペクトログラムを持つ時点の探索にTASを用いるため、小領域類似度s´ｐ(Ｆｔｉ，ωｍ，Ｇｔ，ωｍ)としてはＦｔｉ，ωｍとＧｔ，ωｍとの間のヒストグラム重なり率を用いる。
このヒストグラム重なり率による小領域類似度を、特に小領域ヒストグラム類似度と呼ぶ。【０００９】
ここで、上記時系列アクティブ探索法を簡単に説明する。時系列アクティブ探索法（ＴＡＳ）の概要を図８に示す。
時系列アクティブ探索法は、参照信号のスペクトログラムとのヒストグラム重なり率による類似度が、閾値θより大きいスペクトログラムを持つ参照信号と同じ長さの区間を、蓄積信号のスペクトログラムから探索する．
まず、スペクトログラムＸとスペクトログラムＹとにおけるヒストグラム重なり率を説明する。
ここで、ＸとＹとは、時間軸方向と周波数軸方向とにおいて、同じサイズのスペクトログラムである。【００１０】
はじめに、スペクトログラム上における各時点のスペクトル特徴を正規化した上で、ベクトル量子化により符号化し、各スペクトログラムについて、符号（ベクトル量子化による符号化により得られる符号。ベクトル量子化符号）の系列（ｃｏｄｅ  ｓｔｒｉｎｇ）を作成しておく。
次に、ヒストグラム重なり率の計算として、各スペクトログラムについて、上記ベクトル量子化符号の出現回数を数え上げたヒストグラム(ヒストグラム特徴)を作成する。
そして、ｈＸとｈＹとを、ＸとＹとのヒストグラム特徴とすると、ＸとＹとのヒストグラム重なり率Ｓｈ(ｈＸ，ｈＹ)は、以下に示す（１）式により演算される。【００１１】
【数１】
0004327202.tif 000002
【００１２】
なお、ここで、ｈγＸとｈγＹはそれぞれｈＸとｈＹのγ番目のビンに含まれる度数（ベクトル量子化符号の出現回数）であり、Ｌはヒストグラムのビンの数、Ｄは一つのヒストグラムの総度数である。
そして、時系列アクティブ探索法においては、上記ヒストグラム重なり率を、スペクトログラムの類似度に用いている。【００１３】
ここで、参照信号のスペクトログラムと蓄積信号中の区間ｔのスペクトログラムとのヒストグラム重なり率をＳ"(t)とした時、時点ｔで照合の後、Ｓ"(t)を用いて次の照合位置までのスキップ幅（ｓｋｉｐ  ｗｉｄｔｈ） ｚを（２）式のように計算し、照合位置をｚだけずらして照合を行い、新たにスキップ幅を計算する。【００１４】
【数２】
0004327202.tif 000003
（２）式において、ｆｌｏｏｒ（ｘ）はｘを超えない最大の整数である。
時系列アクティブ探索法は、上記処理を繰り返していくことにより、探索処理を行う。
そして、照合した区間においてのヒストグラム重なり率が、θより大きい場合、その区間を、参照信号に類似した区間として検出する。
また、時系列アクティブ探索法においては、このようにしてスキップにより照合回数を削減しながらも、ヒストグラム重なり率が閾値θより大きい区間をもらさず探索できる。【００１５】
次に、図７に戻り、図７のステップ(c)にあるように、上記の各小領域スペクトログラムＦｔｉ，ωｍの探索結果に基づいて、蓄積信号中の各時点ｔについて、小領域類似度を統合し、ｔにおける参照信号との類似度(区間類似度)Ｓ´(t)を、以下の（３）式を用いて演算して求める。【００１６】
【数３】
0004327202.tif 000004
【００１７】
この（３）式において、｜ＴＲ｜はＴＲの要素数を表す。なお、Ｆｔｉ，ωｍの探索の結果、蓄積信号の時点ｔにおいて、Ｇｔ＋ｔｉ，ωｍがＦｔｉ，ωｍに類似する小領域スペクトログラムとして検出されなかった場合、すなわち、以下に示す（４）式の場合、当該小領域スペクトログラム間の類似度(小領域類似度)は(５)式のようになる。【００１８】
【数４】
0004327202.tif 000005
【００１９】
【数５】
0004327202.tif 000006
【００２０】
したがって、実際の探索においては、Ｇｔ＋ｔｉ，ωｍがＦｔｉ，ωｍに類似する小領域スペクトログラムとして検出された場合にのみ、（３）式においてｓ´Ｐ(Ｆｔｉ，ωｍ，Ｇｔ＋ｔｉ，ωｍ)を積算する。
また、（３）式においては、以下に示す（６）式として、ｓ´Ｐ(Ｆｔｉ，ωｍ，Ｇｔ＋ｔｉ，ωｍ)について、その値が最大となるような周波数帯ωmを全周波数帯の集合Ｗから選んでいる。【００２１】
【数６】
0004327202.tif 000007
【００２２】
上述した処理を実行する理由は、参照信号中の同じ時点における複数の異なる周波数帯の小領域スペクトログラムについて、これらに類似する小領域スペクトログラムとして、蓄積信号中の同じ時点の異なる複数の周波数帯の小領域スペクトログラムが検出された場合、最も小領域ヒストグラム類似度が高い周波数帯、すなわち、重畳する音声が最も無音に近く、参照信号への重畳が少ないと考えられる周波数帯を選択するためである。【００２３】
以上のようにして得られた区間類似度に基づき、区間類似度Ｓ´(t)が探索閾値Ｓ´ｔｈよりも大きい時点ｔを先頭とする区間に参照信号が検出される。【００２４】
しかしながら、上述した分割一致探索法においては、ある周波数帯ωmにおいて、類似する小領域スペクトログラムを検出する際、Ｆｔｉ，ωｍとＧｔ＋ｔｉ，ωｍとのヒストグラム重なり率を計算しているため、このヒストグラム重なり率の計算に時間を要し、かつ類似しないＦｔｉ，ωｍとＧｔ＋ｔｉ，ωｍとの組みについてもヒストグラム重なり率を計算することがあるため、特定音響信号を含有する区間の検出に長い時間を要していた。【００２５】
本発明は、上記公知の手法で長時間を要していた、類似する小領域スペクトログラムの検出において、参照信号及び蓄積信号の２つの小領域スペクトログラムが類似するかの判定を高速に行え、類似する可能性の無い小領域スペクトログラムの組み合わせでの類似性判定を省略することにより、特定音響信号を含有する区間の検出を、従来に比較してより高速に行う特定音響信号含有区間検出システムの提供を目的としている。
【発明の開示】
【００２６】
本発明の特定音響信号含有区間検出システムは、特定の音響信号である参照信号と類似する音を含む区間を、参照信号より長い音響信号である蓄積信号中で検出する特定音響信号含有区間検出システムであり、参照信号の時間周波数スペクトログラムである参照信号スペクトログラムを、小領域参照信号スペクトログラムと呼ぶ小領域のスペクトログラムに分割する参照信号スペクトログラム分割部と、小領域参照信号スペクトログラムを符号化し、参照信号小領域符号とする小領域参照信号スペクトログラム符号化部と、蓄積信号の時間周波数スペクトログラムである蓄積信号スペクトログラムにおける小領域のスペクトログラムである小領域蓄積信号スペクトログラムを符号化し、蓄積信号小領域符号とする小領域蓄積信号スペクトログラム符号化部と、各小領域参照信号スペクトログラムと類似する小領域スペクトログラムを、符号の類似度に基づいて、小領域蓄積信号スペクトログラムから検出する類似小領域スペクトログラム検出部と、小領域参照信号スペクトログラムとこれに類似した小領域蓄積信号スペクトログラム間の小領域類似度を用いて、当該小領域蓄積信号スペクトログラムを含む蓄積信号の区間と参照信号との類似度を計算する区間類似度計算部とを有し、区間類似度により蓄積信号中の参照信号と類似する音を含む区間を検出することを特徴とする。
このため、従来の技術がヒストグラム重なり率に基づき二つの小領域スペクトログラムの類似性を判定しているのに対し、本発明は２つの小領域スペクトログラムを符号化して、類似性のみを検出するので、演算量を従来例に比較して大幅に削減することができ、高速に特定音響信号含有区間の検出が行える。
【００２７】
本発明の第１，２及び３の側面においては、小領域参照信号スペクトログラム符号化部と小領域蓄積信号スペクトログラム符号化部が、各小領域スペクトログラムに符号（小領域符号と呼ぶ）を割り当て、類似小領域スペクトログラム検出部が前記各小領域参照信号スペクトログラムと類似する小領域蓄積信号スペクトログラムを上記小領域符号の類似度に基づいて検出している。すなわち、二つの小領域スペクトログラムの類似性判定を小領域符号の類似性のみにより判定するものである。
これにより、本発明の特定音響信号含有区間検出システムは、ヒストグラム重なり率を計算する従来例に比較し、ヒストグラムの計数処理等を行う必要が無く、演算量を大幅に削減することとなり、より高速に二つの小領域スペクトログラムの類似性判定を行うことが可能となり、特定音響信号含有区間検出の時間を短縮することができる。
【００２８】
本発明の第４の側面においては、小領域参照信号スペクトログラム符号化部と小領域蓄積信号スペクトログラム符号化部が、各小領域スペクトログラムの小領域符号を作成し、類似小領域スペクトログラム検出部が、前記各小領域参照信号スペクトログラムについて、対応する帯域の小領域蓄積信号スペクトログラムを時間順に並べたリストの各小領域蓄積信号スペクトログラムと、順番に小領域符号の類似度に基づいて比較し、類似する小領域蓄積信号スペクトログラムのみを検出する。
これにより、本発明の特定音響信号含有区間検出システムは、ヒストグラム重なり率を計算する従来例に比較し、ヒストグラムの計数処理等を行う必要が無く、演算量を大幅に削減することとなり、より高速に二つの小領域スペクトログラムの類似性判定を行うことが可能となり、特定音響信号含有区間検出の時間を短縮することができる。
【００２９】
本発明の第５および６の側面においては、小領域参照信号スペクトログラム符号化部と小領域蓄積信号スペクトログラム符号化部が、各小領域スペクトログラムの小領域符号を作成し、類似小領域スペクトログラム検出部は、前記各小領域参照信号スペクトログラムについて、対応する帯域毎の小領域蓄積信号スペクトログラムの各小領域符号毎に、その小領域符号をもつ小領域蓄積信号スペクトログラムが蓄積信号中に出現する時点を示したリストであるインデックスを用意する。また、予め全ての小領域符号間の類似度を計算して表を作成し、これを参照することで小領域参照スペクトログラムの小領域符号と類似する小領域符号を取り出し、更に前記インデックスを参照することにより、該小領域参照信号スペクトログラムと類似する小領域蓄積信号スペクトログラムを検出する。
これにより、本発明の特定音響信号含有区間検出システムは、ヒストグラム重なり率を計算するのに比べ、より高速に二つの小領域スペクトログラムの類似性判定を行えるとともに、従来例の様に、類似しない二つの小領域スペクトログラムについても照合することがないため、類似する可能性の無い小領域スペクトログラム間の類似性判定を省略でき、特定音響信号含有区間検出をさらに高速に行うことができる。
【図面の簡単な説明】
【００３０】
【図１】図１は、本発明の一実施例による特定音響信号含有区間検出システムの一構成例を示すブロック図である。
【図２】図２は、図１の特定音響信号含有区間検出システムの処理を説明する概念図である。
【図３】図３は、小領域符号対毎に、その類似度を対応させた小領域符号間類似度表の構成を示す概念図である。
【図４】図４は、蓄積信号小領域スペクトログラムの出現時点を、小領域符号毎に一覧化したインデックスを表す概念図である。
【図５】図５は、図１に示す特定音響信号含有区間検出システムの動作例を示すフローチャートである。
【図６】図６は、特定音響信号含有区間検出の概要を説明する概念図である。
【図７】図７は、従来例における分割一致探索法の概要を説明する概念図である。
【図８】図８は、ＴＡＳ（時系列アクティブ探索法）を説明するための概念図である。
【符号の説明】
【００３１】
１０１…小領域蓄積信号スペクトログラム符号化部、１０２…類似小領域スペクトログラム検出部、１０３…参照信号スペクトログラム分割部、１０４…小領域参照信号スペクトログラム符号化部、１０５…区間類似度計算部、１０６…類似区間検出部
【発明を実施するための最良の形態】
【００３２】
以下、図面を参照しつつ、本発明の好適な実施例について説明する。ただし、本発明は以下の各実施例に限定されるものではなく、例えばこれら実施例の構成要素同士を適宜組み合わせてもよい。【００３３】
図１は、本発明による特定音響信号含有区間検出システムの一実施例を示すブロック図である。図１に示す特定音響信号含有区間検出システムシステムは、参照信号と呼ぶある特定の音響信号と類似する音を含む区間を、蓄積信号と呼ぶ参照信号より長い音響信号中で検出するシステムであり、具体的にはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やメモリを有する一般的な計算機上に実現される。
この図において、小領域蓄積信号スペクトログラム符号化部１０１は、上記蓄積信号の時間周波数スペクトログラムである蓄積信号スペクトログラムにおける、小領域のスペクトログラムである小領域蓄積信号スペクトログラムを符号化し、蓄積信号小領域符号として出力する。【００３４】
類似小領域スペクトログラム検出部１０２は、内部に小領域蓄積信号スペクトログラムの出現時点をインデックス化する機能と、インデックスを参照することにより小領域参照信号スペクトログラムに類似する小領域蓄積信号スペクトログラムを検出する機能を有する。すなわち、前者は小領域蓄積信号スペクトログラム符号化部１０１から入力される蓄積信号小領域符号により、詳細に区間検出を行う代わりに小領域のスペクトログラムの類似性を検出して、区間検出を行う時点を抽出するための前処理であり、具体的には図４に示すようなインデックスが生成される。
後者は、参照信号小領域符号と類似する小領域符号を、予め作成された小領域符号間類似度表(図３)を用いて抽出し、インデックス検索により該小領域符号を持つ小領域参照信号スペクトログラムを検出してその出現時点と小領域類似度を出力する。【００３５】
参照信号スペクトログラム分割部１０３は、上記参照信号（被検出信号）の時間周波数スペクトログラムである参照信号スペクトログラムを、小領域参照信号スペクトログラムと呼ぶ小領域のスペクトログラムに分割する。
小領域参照信号スペクトログラム符号化部１０４は、上記小領域参照信号スペクトログラムを符号化し、参照信号小領域符号として出力する。
区間類似度計算部１０５は、類似小領域スペクトログラム検出部１０２において検出された小領域参照信号スペクトログラムとこれに類似する小領域蓄積信号スペクトログラム間の類似度（小領域類似度）を用いて、該類似する小領域蓄積信号スペクトログラムを含む蓄積信号の区間信号と参照信号との類似度(区間類似度)を計算する。
類似区間検出部１０６は、上記区間類似度により蓄積信号中の参照信号と類似する音を含む区間を検出する。【００３６】
次に、図１及び図２を参照して、本発明の一実施形態による特定音響信号含有区間検出システムの処理について説明する。図２は、本発明の特定音響信号含有区間検出の処理過程を説明するための概念図である。
図示しない蓄積信号スペクトログラム抽出部及び参照信号スペクトログラム抽出部は、各々蓄積信号，参照信号の各音響波形信号を読み込み、それぞれパワースペクトルを抽出し、蓄積信号スペクトログラム，参照信号スペクトログラムとして出力する。【００３７】
そして、参照信号スペクトログラム分割部１０３は、図２のステップ（ａ）に示すように、参照信号スペクトログラムから一定のサイズ（一定時間幅）の小領域のスペクトログラムを等間隔に切り出し、小領域参照信号スペクトログラムとして出力する。
なお、小領域参照信号スペクトログラムを切り出す際は、小領域参照信号スペクトログラム間に重なりがあってもよい。
ここで、参照信号スペクトログラム分割部１０３は、上記小領域参照信号スペクトログラムを、周波数軸方向及び時間軸方向において、各々一定の個数のスペクトログラム上の点をもとのスペクトログラムから切り出すことにより得ている。
上述したような小領域のスペクトログラムを小領域スペクトログラム（ｓｍａｌｌ−ｒｅｇｉｏｎ  ｓｐｅｃｔｒｏｇｒａｍ）と呼ぶ。【００３８】
また、先頭の時点がｔiであり、周波数帯がωmである参照信号中の小領域参照信号スペクトログラムを、以下Ｆｔｉ，ωｍと示す。
同様に、蓄積信号のスペクトログラム中において、先頭の時点がｔであり、周波数帯がωmの上記Ｆｔｉ，ωｍと同じサイズの小領域蓄積信号スペクドグラムをＧｔ，ωｍと示す。
また、参照信号スペクドグラム中において、小領域スペクトログラムＦｔｉ，ωｍを切り出した全ての時点ｔiの集合をＴＲ（ＴＲ＝{ｔ1,ｔ2,...})とし、全ての周波数帯ωmの集合をＷ（Ｗ＝ {ω１,ω２,…})とする。尚、ここでＷの要素とＴＲの要素数とは、各々、１であっても良い。
なお、各小領域スペクトログラム（小領域蓄積信号スペクトログラム及び小領域参照信号スペクトログラム）のパワースペクトルは、音量の変動を吸収するため各小領域スペクトログラム毎に正規化される。
つまり、小領域内の各時点におけるパワースペクトル値を、小領域周波数帯内のその時点のパワースペクトル値の平均値により正規化する。【００３９】
次に、小領域参照信号スペクトログラム符号化部１０４は、小領域参照信号スペクトログラムＦｔｉ，ωｍから、従来例の説明において述べた分割一致探索法と同様にヒストグラム特徴を抽出する（すでに従来例の説明において述べたが、スペクトログラム上における各時点のスペクトル特徴を正規化した上で、ベクトル量子化により符号化して、符号に対応するビンに各符号の出現数を計数してヒストグラム特徴を得る）。
このヒストグラム特徴は、ヒストグラムの各ビンの値(各ベクトル量子化符号の小領域スペクトログラム内での出現回数)を成分とする特徴ベクトルである。
そして、小領域参照信号スペクトログラム符号化部１０４は、このヒストグラム特徴を帯域毎にベクトル量子化により符号化することにより、各小領域参照信号スペクトログラムの符号化を行う。
尚、本発明において、ベクトル量子化とは、与えられたベクトルに一つの符号を割り当てる手続きのことである。【００４０】
小領域蓄積信号スペクトログラム符号化部１０１は、小領域参照信号スペクトログラム符号化部１０４による小領域参照信号スペクトログラムの符号化と同様に、各小領域蓄積信号スペクトログラムを、各帯域毎に符号化する。
小領域蓄積信号スペクトログラム符号化部１０１及び小領域参照信号スペクトログラム符号化部１０４は、各帯域で小領域スペクトログラムを符号化する際、同じ符号帳を用いて行う。【００４１】
ここで得られた小領域スペクトログラムのヒストグラム特徴が符号化されて得られた符号を、小領域符号（参照信号小領域符号，蓄積信号小領域符号；これらは帯域単位にヒストグラムがベクトル量子化されたベクトル量子化符号）と呼び、小領域参照信号スペクトログラムＦｔｉ，ωｍの参照信号小領域符号をc(Ｆｔｉ，ωｍ)、小領域蓄積信号スペクトログラムＧｔ，ωｍの蓄積信号小領域符号をc(Ｇｔ，ωｍ)で表すこととする。
なお、これらの小領域スペクトログラムの符号化は、小領域参照信号スペクトログラム及び小領域蓄積信号スペクトログラム上の各時点におけるパワースペクトル値を、ヒストグラムを用いずに、それぞれ特徴ベクトルとし、これらの特徴ベクトルをベクトル量子化により符号化し、各々参照信号小領域符号及び蓄積信号小領域符号とすることでも可能である（請求項２に記載の構成に対応）。【００４２】
そして、類似小領域スペクトログラム検出部１０２は、参照信号小領域符号及び蓄積信号小領域符号間の類似度を、小領域参照信号スペクトログラムと小領域蓄積信号スペクトルとの間の類似度として、図２のステップ（ｂ）のように、各小領域参照信号スペクトログラムＦｔｉ，ωｍに対して、類似する小領域蓄積信号スペクトログラムを、蓄積信号スペクトログラムから検出する。
なお、類似小領域スペクトログラム検出部１０２は、図３に示すように、小領域符号対毎にその類似度(小領域符号間類似度)を表の上で定義し（類似小領域スペクトログラム検出部１０２が内部の記憶部に記憶させる）、この表(小領域符号間類似度表と呼ぶ)を参照することにより参照信号小領域符号と蓄積信号小領域符号間の類似度を知ることができる。【００４３】
図３に上記小領域符号間類似度表の構成を示す。この表において、ν(ωm，j，ｋ)は、帯域ωmにおける小領域符号q(ωm，ｊ)及び小領域符号q(ωm，ｋ)の間の小領域符号間類似度を示している。
なお、ここで、帯域ωmにおける小領域符号は、q(ωm，1)，q(ωm，2)，……と示す。
そして、類似小領域スペクトログラム検出部１０２は、ν(ωm，ｊ，ｋ)を、小領域符号q(ωm，ｊ)とq(ωm，ｋ)との代表ベクトル間の距離を計算し、計算された距離が小さい場合に大きな値を、距離が大きい場合に小さな値とする。代表ベクトル間の距離は、例えばユークリッド距離を用いる方法がある。
なお、本実施例においては、ν(ωm，ｊ，ｋ)を、０から１までの実数値として定義している。すなわち、各帯域ωmにおいて、距離が最大の場合、ν(ωm，ｊ，ｋ)が０、最小の場合、ν(ωm，ｊ，ｋ)が１となるように演算する。【００４４】
そして、Ｆｔｉ，ωｍとＧｔ，ωｍとの小領域類似度ｓＰ(Ｆｔｉ，ωｍ，Ｇｔ，ωｍ）は、ν(ωm，c(Ｆｔｉ，ωｍ），c(Ｇｔ＋ｔｉ，ωｍ))とする。
ここで、Ｆｔｉ，ωｍに類似する小領域蓄積信号スペクトログラムとは、Ｆｔｉ，ωｍとＧｔ，ωｍとの小領域類似度ｓＰ（Ｆｔｉ，ωｍ，Ｇｔ，ωｍ）が、設定されている小領域用探索閾値ｓＰｔｈを超えるような小領域蓄積信号スペクトログラムＧｔ，ωｍである。
ここで、小領域用探索閾値ｓＰｔｈは、例えば、閾値設定のため、予め複数の参照信号及び蓄積信号において実験的に測定し、類似した区間の検索漏れがない、もしくは少ない値を求めて設定される。
なお、このｓＰｔｈはＷにおける全帯域で同じ値を設定してもよいし、異なる値を帯域ごとに設定してもよい。本実施例では同じ値を設定することとした。【００４５】
つまり、類似小領域スペクトログラム検出部１０２においては、図４に示すように、蓄積信号スペクトログラムの小領域符号毎に、小領域蓄積信号スペクトログラムを分類したインデックスを用い、図３に示す小領域符号間類似度表を参照することにより、参照信号小領域符号c(Ｆｔｉ，ωｍ)と類似する蓄積信号小領域符号、すなわち、c(Ｆｔｉ，ωｍ)との小領域符号間類似度が、小領域用探索閾値ｓＰｔｈを超える小領域符号を持つ小領域蓄積信号スペクトログラムを検出する。これは各Ｆｔｉ，ωｍについて、ｃ（Ｆｔｉ，ωｍ）との小領域符号間類似度が、小領域用探索閾値ｓＰｔｈよりも大きい全ての小領域符号について、その小領域符号をもつ小領域蓄積信号スペクトログラムの出現位置（時点）のリストを図４のインデックスから参照することで行う。
そして、図４のインデックスにおいて、q(ωm，j）が指すリスト(時点の配列；横方向の列)には、蓄積信号小領域符号にq(ωm，j)を有する全ての小領域蓄積信号スペクトログラムの時点が時系列に並べられた配列として格納されている。【００４６】
なお、この類似小領域スペクトログラム検出部１０２は、各小領域参照信号スペクトログラムについて、類似する小領域蓄積信号スペクトログラムを、対応する帯域の小領域蓄積信号スペクトログラムを時間順に並べたリストの各小領域蓄積信号スペクトログラムと該蓄積信号スペクトログラムを、順番に小領域符号の類似度に基づいて比較し、類似する小領域蓄積信号スペクトログラムのみを検出させるようにすることも可能である（請求項４記載の構成）。
すなわち、類似小領域スペクトログラム検出部１０２は、上記各小領域参照信号スペクトログラムについて、対応する帯域の小領域蓄積信号スペクトログラムを時間順に並べたリストの各小領域蓄積信号スペクトログラムと、順番に小領域符号の類似度に基づいて比較し、類似する小領域蓄積信号スペクトログラムのみを検出する様にしても良い。【００４７】
区間類似度計算部１０５は、小領域参照信号スペクトログラムの参照信号中の出現時点と、これに類似する小領域蓄積信号スペクトログラムの蓄積信号中の出現時点との位置関係から、参照信号と該小領域蓄積信号スペクトログラムを含む蓄積信号中の区間の類似度(区間類似度)を計算する区間開始時点ｔを求める。そして、図２(c)にあるように，上記の各小領域類似度を統合し、ｔにおける参照信号スペクトログラムとの類似度（区間類似度）Ｓ(t)を、以下の（７）式により求める。
【数７】
0004327202.tif 000008
【００４８】
ここで，｜ＴＲ｜は時点の集合ＴＲの要素数を、｜Ｗ｜は周波数帯域の集合Ｗの要素数を表している。
なお、区間類似度を計算する際、蓄積信号の時点ｔにおいて、Ｇｔ＋ｔｉ，ωｍがＦｔｉ，ωｍに類似する小領域スペクトログラムとして検出されなかった場合、すなわち、以下の（８）式に示すように、小領域類似度ｓＰ（Ｆｔｉ，ωｍ，Ｇｔ＋ｔi，ωｍ）が、小領域用探索閾値ｓＰｔｈ以下である場合、小領域類似度ｓＰ（Ｆｔｉ，ωｍ，Ｇｔ＋ｔi，ωｍ）を以下の（９）式とする。【００４９】
【数８】
0004327202.tif 000009
【００５０】
【数９】
0004327202.tif 000010
【００５１】
実際の探索において、区間類似度計算部１０５は、図３と図４とを用いたインデックス検索において、Ｇｔ＋ｔｉ，ωｍがＦｔｉ，ωｍに類似する小領域スペクトログラムとして検出された場合、すなわち、図３における小領域類似度ｓＰ（Ｆｔｉ，ωｍ，Ｇｔ＋ｔｉ，ωｍ）が、設定されている小領域用探索閾値ｓＰｔｈを超えた場合に、（７）式のようにしてｓＰ（Ｆｔｉ，ωｍ，Ｇｔ+ti，ωｍ）を時点ｔにおける区間類似度Ｓ(t)に積算する。そして、全ての小領域参照信号スペクトログラムについて、類似する小領域蓄積信号スペクトログラムとの小領域類似度の積算が完了すると、各時点ｔにおいて、ｔで積算された結果を｜ＴＲ｜と｜Ｗ｜で除算することにより正規化し、ｔにおける区間類似度Ｓ(t)を求める演算を行う。【００５２】
そして、類似区間検出部１０６は、以上のようにして得られた区間類似度Ｓ(t)をもとに、蓄積信号スペクトログラムにおいて、区間類似度Ｓ(t)が探索閾値Ｓｔｈよりも大きい時点ｔを先頭とする区間を、参照信号スペクトログラムに類似した区間として検出する。
このとき、類似区間検出部１０６では、上記探索閾値Ｓｔｈは実験的にまたは経験的に得られた値を設定することが出来、また別に、得られた複数の区間類似度Ｓ（ｔ）の分布をとり、標準偏差の演算を行い、得られた区間類似度Ｓ（ｔ）の最大値に対して、−３σの値を探索閾値Ｓｔｈとして、類似した区間を選択することもできる。
この−３も、もちろん他の実験的に測定した値に変更可能である。【００５３】
次に、図１及び図５を参照して、本発明の特定音響信号含有区間検出システムの動作説明を行う。この図５は図１に示す特定音響信号含有区間検出システムの動作例を示すフローチャートである。
図１の小領域蓄積信号スペクトログラム符号化部１０１は、図示しない蓄積信号スペクトログラム抽出部から蓄積信号スペクトログラムを読み込む。
そして、小領域蓄積信号スペクトログラム符号化部１０１は、蓄積信号スペクトログラムの小領域スペクトログラムを順次符号化する。
上述した処理により得られた蓄積信号小領域符号は、小領域蓄積信号スペクトログラム符号化部１０１から類似小領域スペクトログラム検出部１０２に供給される（ステップＳ１）。【００５４】
次に、類似小領域スペクトログラム検出部１０２は、供給された上記蓄積信号小領域符号を分類し、図４に示すインデックスを生成する（ステップＳ２）。
そして、参照信号スペクトログラム分割部１０３は、例えば、ファイル（図示しない参照信号スペクトログラム抽出部により生成された参照信号スペクトログラムを記録したファイル）から、参照信号スペクトログラムを読み込む。
次に、参照信号スペクトログラム分割部１０３は、これを小領域参照信号スペクトログラムに分割し、分割された小領域参照信号スペクトログラムを、順次、小領域参照信号スペクトログラム符号化部１０４へ供給する（ステップＳ３）。【００５５】
そして、小領域参照信号スペクトログラム符号化部１０４は、順次小領域参照信号スペクトログラムを符号化し、得られた参照信号小領域符号ｃ(Ｆｔｉ，ωｍ)と、その参照信号上における時点ｔｉとを、類似小領域スペクトログラム検出部１０２に供給する（ステップＳ４）。
次に、類似小領域スペクトログラム検出部１０２は、小領域参照信号スペクトログラムについて内部記憶させておいた図３の小領域符号間類似度表を参照し、対応する小領域符号間類似度（小領域類似度）と小領域用探索閾値とを比較し、この小領域用探索閾値を超える小領域符号を取り出す。そして、該小領域符号が蓄積信号中で出現する時点ｔ＋ｔｉを、図４のインデックスを用いて検索する。
更に、類似する小領域符号を持つ小領域蓄積信号スペクトログラムの出現位置ｔ＋ｔｉから、参照信号に類似する蓄積信号の区間開始時点ｔを求め、該小領域符号間類似度（すなわち小領域類似度）をｔに対応させて区間類似度計算部１０５に供給する（ステップＳ５）。【００５６】
そして、区間類似度計算部１０５は、小領域参照信号スペクトログラム（Ｆｔｉ，ωｍ）とこれに類似する小領域蓄積信号スペクトログラム(Ｇｔ＋ｔｉ，ωｍ)間の小領域類似度ｓＰを、時点ｔにおける区間類似度に積算する（ステップＳ６）。
このとき、区間類似度計算部１０５は、小領域参照信号スペクトログラム符号化部１０４から全ての小領域参照信号スペクトログラムについて参照信号小領域符号が供給されステップＳ５及びＳ６との処理が終了したか否かを判定する（ステップＳ７）。【００５７】
そして、区間類似度計算部１０５は、全ての小領域参照信号スペクトログラムについて終了したと判定すると、処理をステップＳ８へ処理を進め、終了していないと判定すると、処理をステップＳ５へ進める。
次に、区間類似度計算部１０５は、積算した各時点の区間類似度を、（７）式を用いて、供給された小領域参照信号スペクトログラムの数で割り正規化する（ステップＳ８）。
そして、類似区間検出部１０６は、正規化された区間類似度が探索閾値Ｓｔｈよりも大きい、時点ｔを先頭とする区間に参照信号があったとして、この時点ｔを出力し、処理を終了する（ステップＳ９）。
また、類似区間検出部１０６は、探索閾値を超えた複数の区間を出力するのではなく、探索閾値を超え、最も大きな区間類似度を有する区間のみを出力するようにしても良い。【００５８】
次に、上述した実施例を用いて行った実験例を説明する。
上記実施例と従来技術である分割一致探索法とを、以下に示すスペックのパーソナルコンピュータに実装して、検出速度を計測し、実施例と従来例とを比較した。
ＣＰＵにＩｎｔｅｌ（登録商標）Ｘｅｏｎ（登録商標）３．２ＧＨｚ 、ＯＳにＲＥＤ
ＨＡＴ（登録商標）Ｌｉｎｕｘ（登録商標）９、コンパイラにＧＮＵ  ｇｃｃを用いた。
ここで、実行ファイルはコンパイラ最適化オプション「−Ｏ3」によりコンパイルを行った。【００５９】
また、本実験においては、周波数の帯域数｜Ｗ｜を４とし、５２５Ｈzから２０００Ｈzの帯域に、対数軸上で等間隔に配置された２８のバンドパスフィルタの２ミリ秒毎の出力によるスペクトログラムを周波数軸方向に対して４つの周波数帯域に分割した。
このとき、小領域参照信号スペクトログラムとして、上記各周波数帯域において長さ１００ミリ秒のものを、０.６秒ごとに抽出した。
そして、実験においては、約３０分の音響信号(蓄積信号)から、約１５秒の音楽の断片(参照信号)として１００個を検出し、各参照信号の検出に要した時間（検出時間）の平均を計測した。【００６０】
実験の結果、平均の検出時間として、従来法においては約０.５８秒を要し、上記本発明の実施例においては０.０１秒未満であり、単純計算において約７０倍の高速な検出が行えた。
なお、このとき、蓄積信号は音楽信号と音声信号を電力比（音楽信号の電力/音声信号の電力）が平均５ｄＢで混合したものであったが、この時の探索精度は従来法で９９．９％(特開２００４−１０２０２３「特定音響信号検出方法、信号検出装置、信号検出プログラム及び記録媒体」参照)であり、本実施例においては９９.０％であり、探索精度は同等と判定される。【００６１】
なお、図１における特定音響信号含有区間検出システムの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、特定音響信号含有区間検出の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。【００６２】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【産業上の利用可能性】
【００６３】
従来の技術がヒストグラム重なり率に基づき、二つの小領域スペクトログラムの類似性を判定しているのに対し、本発明は２つの小領域スペクトログラムを符号化して、インデキシングにより類似性のみを検出するので、演算量を従来例に比較して大幅に削減することができ、高速に特定音響信号含有区間の検出が行える。
【図１】
0004327202.tif 000011
【図２】
0004327202.tif 000012
【図３】
0004327202.tif 000013
【図４】
0004327202.tif 000014
【図５】
0004327202.tif 000015
【図６】
0004327202.tif 000016
【図７】
0004327202.tif 000017
【図８】
0004327202.tif 000018