(57)【特許請求の範囲】
【請求項１】
時系列データである蓄積信号から、時系列データである目的信号に類似した箇所を探し出す信号検出システムにおいて、
前記蓄積信号からある時刻毎に抽出した複数個の特徴量をベクトル化した特徴ベクトルを、時系列に並べた配列である蓄積特徴を計算する蓄積特徴計算部と、
前記目的信号からある時刻毎に抽出した複数個の特徴量をベクトル化した特徴ベクトルを、時系列に並べた配列である目的特徴を計算する目的特徴計算部と、
前記蓄積特徴について、前記特徴ベクトルの次元毎に予め設定した時間区間内の特徴量の平均値を算出し、当該時間区間内の当該特徴ベクトルの次元に対応する各特徴量から該平均値を差し引いて得た値から統計量を算出し、該統計量が所定の閾値を超えた前記蓄積特徴中の要素からなる多次元ベクトルまたは該統計量が大きいものから所定の数の前記蓄積特徴中の要素からなる多次元ベクトルを蓄積エリア選択特徴とする蓄積特徴エリア選択部と、
前記目的特徴について、前記特徴ベクトルの次元毎に予め設定した時間区間内の特徴量の平均値を算出し、当該時間区間内の当該特徴ベクトルの次元に対応する各特徴量から該平均値を差し引いて得た値から統計量を算出し、該統計量が所定の閾値を超えた前記目的特徴中の要素からなる多次元ベクトルまたは該統計量が大きいものから所定の数の前記目的特徴中の要素からなる多次元ベクトルを目的エリア選択特徴とする目的特徴エリア選択部と、
前記蓄積エリア選択特徴である多次元ベクトルと前記目的エリア選択特徴である多次元ベクトルとを用いて類似度を計算する特徴照合部と
を有することを特徴とする信号検出システム。
【請求項２】
時系列データである目的信号から抽出したある時刻毎の複数個の特徴量のうち、予め設定した閾値を超える特徴的な箇所の特徴量からなる多次元ベクトルである目的エリア選択特徴を受信して、時系列データである蓄積信号から、該目的エリア選択特徴に類似した箇所を探し出す信号検出サーバであって、
前記蓄積信号からある時刻毎に抽出した複数個の特徴量をベクトル化した特徴ベクトルを、時系列に並べた配列である蓄積特徴を計算する蓄積特徴計算部と、
前記蓄積特徴について、前記特徴ベクトルの次元毎に予め設定した時間区間内の特徴量の平均値を算出し、当該時間区間内の当該特徴ベクトルの次元に対応する各特徴量から該平均値を差し引いて得た値から統計量を算出し、該統計量が所定の閾値を超えた前記蓄積特徴中の要素からなる多次元ベクトルまたは該統計量が大きいものから所定の数の前記蓄積特徴中の要素からなる多次元ベクトルを蓄積エリア選択特徴とする蓄積特徴エリア選択部と、
前記蓄積エリア選択特徴である多次元ベクトルと、前記目的エリア選択特徴である多次元ベクトルとを用いて類似度を計算する特徴照合部と
を有することを特徴とする信号検出サーバ。
【請求項３】
時系列データである蓄積信号から、時系列データである目的信号に類似した箇所を出力する信号検出システムにおいて、
前記蓄積信号からある時刻毎に抽出した複数個の特徴量をベクトル化した特徴ベクトルを、時系列に並べた配列である蓄積特徴を計算する蓄積特徴計算部と、
前記目的信号からある時刻毎に抽出した複数個の特徴量をベクトル化した特徴ベクトルを、時系列に並べた配列である目的特徴を計算する目的特徴計算部と、
前記蓄積特徴について、前記特徴ベクトルの次元毎にある時間区間の前記蓄積特徴から所定の統計量を計算し、前記統計量を用いて当該時間区間の当該特徴ベクトルの次元に対応する前記蓄積特徴中の各要素を正規化し、この正規化した値からなる多次元ベクトルを時系列に並べた配列を蓄積正規化特徴とする蓄積特徴正規化部と、
前記目的特徴について、前記特徴ベクトルの次元毎にある時間区間の前記目的特徴から所定の統計量を計算し、前記統計量を用いて当該時間区間の当該特徴ベクトルの次元に対応する前記目的特徴中の各要素を正規化し、この正規化した値からなる多次元ベクトルの時系列に並べた配列を目的正規化特徴とする目的特徴正規化部と、
前記蓄積正規化特徴について、前記特徴ベクトルの次元毎に予め設定した時間区間内の特徴量の平均値を算出し、当該時間区間内の当該特徴ベクトルの次元に対応する各特徴量から該平均値を差し引いて得た値から統計量を算出し、該統計量が所定の閾値を超えた前記蓄積正規化特徴中の要素からなる多次元ベクトルまたは該統計量が大きいものから所定の数の前記蓄積正規化特徴中の要素からなる多次元ベクトルを蓄積エリア選択特徴とする蓄積特徴エリア選択部と、
前記目的正規化特徴について、前記特徴ベクトルの次元毎に予め設定した時間区間内の特徴量の平均値を算出し、当該時間区間内の当該特徴ベクトルの次元に対応する各特徴量から該平均値を差し引いて得た値から統計量を算出し、該統計量が所定の閾値を超えた前記目的正規化特徴中の要素からなる多次元ベクトルまたは該統計量が大きいものから所定の数の前記目的正規化特徴中の要素からなる多次元ベクトルを目的エリア選択特徴とする目的特徴エリア選択部と、
前記蓄積エリア選択特徴である多次元ベクトルと前記目的エリア選択特徴である多次元ベクトルとを用いて類似度を計算する特徴照合部と
を有することを特徴とする信号検出システム。
【請求項４】
時系列データである蓄積信号から、時系列データである目的信号に類似した箇所を探し出す信号検出システムを動作させる信号検出方法であり、
蓄積特徴計算部が、前記蓄積信号からある時刻毎に抽出した複数個の特徴量をベクトル化した特徴ベクトルを、時系列に並べた配列である蓄積特徴を計算する蓄積特徴計算過程と、
目的特徴計算部が、前記目的信号からある時刻毎に抽出した複数個の特徴量をベクトル化した特徴ベクトルを、時系列に並べた配列である目的特徴を計算する目的特徴計算過程と、
蓄積特徴エリア選択部が、前記蓄積特徴について、前記特徴ベクトルの次元毎に予め設定した時間区間内の特徴量の平均値を算出し、当該時間区間内の当該特徴ベクトルの次元に対応する各特徴量から該平均値を差し引いて得た値から統計量を算出し、該統計量が所定の閾値を超えた前記蓄積特徴中の要素からなる多次元ベクトルまたは該統計量が大きいものから所定の数の前記蓄積特徴中の要素からなる多次元ベクトルを蓄積エリア選択特徴とする蓄積特徴エリア選択過程と、
目的特徴エリア選択部が、前記目的特徴について、前記特徴ベクトルの次元毎に予め設定した時間区間内の特徴量の平均値を算出し、当該時間区間内の当該特徴ベクトルの次元に対応する各特徴量から該平均値を差し引いて得た値から統計量を算出し、該統計量が所定の閾値を超えた前記目的特徴中の要素からなる多次元ベクトルまたは該統計量が大きいものから所定の数の前目的積特徴中の要素からなる多次元ベクトルを目的エリア選択特徴とする目的特徴エリア選択過程と、
特徴照合部が、前記蓄積エリア選択特徴である多次元ベクトルと前記目的エリア選択特徴である多次元ベクトルとを用いて類似度を計算する特徴照合過程と
を有することを特徴とする信号検出方法。
【請求項５】
時系列データである目的信号から抽出したある時刻毎の複数個の特徴量のうち、予め設定した閾値を超える特徴的な箇所の特徴量からなる多次元ベクトルである目的エリア選択特徴を受信して、時系列データである蓄積信号から、該目的エリア選択特徴に類似した箇所を探し出す信号検出サーバを動作させる信号検出方法であり、
蓄積特徴計算部が、前記蓄積信号からある時刻毎に抽出した複数個の特徴量をベクトル化した特徴ベクトルを、時系列に並べた配列である蓄積特徴を計算する蓄積特徴計算過程と、
蓄積特徴エリア選択部が、前記蓄積特徴について、前記特徴ベクトルの次元毎に予め設定した時間区間内の特徴量の平均値を算出し、当該時間区間内の当該特徴ベクトルの次元に対応する各特徴量から該平均値を差し引いて得た値から統計量を算出し、該統計量が所定の閾値を超えた前記蓄積特徴中の要素からなる多次元ベクトルまたは該統計量が大きいものから所定の数の前記蓄積特徴中の要素からなる多次元ベクトルを蓄積エリア選択特徴とする蓄積特徴エリア選択過程と、
特徴照合部が、前記蓄積エリア選択特徴である多次元ベクトルと、前記目的エリア選択特徴である多次元ベクトルとを用いて類似度を計算する特徴照合過程と
を有することを特徴とする信号検出方法。
【請求項６】
時系列データである蓄積信号から、時系列データである目的信号に類似した箇所を出力する信号検出システムを動作させる方法であり、
蓄積特徴計算部が、前記蓄積信号からある時刻毎に抽出した複数個の特徴量をベクトル化した特徴ベクトルを、時系列に並べた配列である蓄積特徴を計算する蓄積特徴計算過程と、
目的特徴計算部が、前記目的信号からある時刻毎に抽出した複数個の特徴量をベクトル化した特徴ベクトルを、時系列に並べた配列である目的特徴を計算する目的特徴計算過程と、
蓄積特徴正規化部が、前記蓄積特徴について、前記特徴ベクトルの次元毎にある時間区間の前記蓄積特徴から所定の統計量を計算し、前記統計量を用いて当該時間区間の当該特徴ベクトルの次元に対応する前記蓄積特徴中の各要素を正規化し、この正規化した値からなる多次元ベクトルを時系列に並べた配列を蓄積正規化特徴とする蓄積特徴正規化過程と、
目的特徴正規化部が、前記目的特徴について、前記特徴ベクトルの次元毎にある時間区間の前記目的特徴から所定の統計量を計算し、前記統計量を用いて当該時間区間の当該特徴ベクトルの次元に対応する前記目的特徴中の各要素を正規化し、この正規化した値からなる多次元ベクトルの時系列に並べた配列を目的正規化特徴とする目的特徴正規化過程と、
蓄積特徴エリア選択部が、前記蓄積正規化特徴について、前記特徴ベクトルの次元毎に予め設定した時間区間内の特徴量の平均値を算出し、当該時間区間内の当該特徴ベクトルの次元に対応する各特徴量から該平均値を差し引いて得た値から統計量を算出し、該統計量が所定の閾値を超えた前記蓄積正規化特徴中の要素からなる多次元ベクトルまたは該統計量が大きいものから所定の数の前記蓄積正規化特徴中の要素からなる多次元ベクトルを蓄積エリア選択特徴とする蓄積特徴エリア選択過程と、
目的特徴エリア選択部が、前記目的正規化特徴について、前記特徴ベクトルの次元毎に予め設定した時間区間内の特徴量の平均値を算出し、当該時間区間内の当該特徴ベクトルの次元に対応する各特徴量から該平均値を差し引いて得た値から統計量を算出し、該統計量が所定の閾値を超えた前記目的正規化特徴中の要素からなる多次元ベクトルまたは該統計量が大きいものから所定の数の前記目的正規化特徴中の要素からなる多次元ベクトルを目的エリア選択特徴とする目的特徴エリア選択過程と、
特徴照合部が、前記蓄積エリア選択特徴である多次元ベクトルと前記目的エリア選択特徴である多次元ベクトルとを用いて類似度を計算する特徴照合過程と
を有することを特徴とする信号検出方法。
【請求項７】
時系列データである蓄積信号から、時系列データである目的信号に類似した箇所を探し出す信号検出システムの処理をコンピュータに実行させるプログラムであり、
蓄積特徴計算部が、前記蓄積信号からある時刻毎に抽出した複数個の特徴量をベクトル化した特徴ベクトルを、時系列に並べた配列である蓄積特徴を計算する蓄積特徴計算過程と、
目的特徴計算部が、前記目的信号からある時刻毎に抽出した複数個の特徴量をベクトル化した特徴ベクトルを、時系列に並べた配列である目的特徴を計算する目的特徴計算過程と、
蓄積特徴エリア選択部が、前記蓄積特徴について、前記特徴ベクトルの次元毎に予め設定した時間区間内の特徴量の平均値を算出し、当該時間区間内の当該特徴ベクトルの次元に対応する各特徴量から該平均値を差し引いて得た値から統計量を算出し、該統計量が所定の閾値を超えた前記蓄積特徴中の要素からなる多次元ベクトルまたは該統計量が大きいものから所定の数の前記蓄積特徴中の要素からなる多次元ベクトルを蓄積エリア選択特徴とする蓄積特徴エリア選択過程と、
目的特徴エリア選択部が、前記目的特徴について、前記特徴ベクトルの次元毎に予め設定した時間区間内の特徴量の平均値を算出し、当該時間区間内の当該特徴ベクトルの次元に対応する各特徴量から該平均値を差し引いて得た値から統計量を算出し、該統計量が所定の閾値を超えた前記目的特徴中の要素からなる多次元ベクトルまたは該統計量が大きいものから所定の数の前記目的特徴中の要素からなる多次元ベクトルを目的エリア選択特徴とする目的特徴エリア選択過程と、
特徴照合部が、前記蓄積エリア選択特徴である多次元ベクトルと前記目的エリア選択特徴である多次元ベクトルとを用いて類似度を計算する特徴照合過程と
を有する処理をコンピュータに実行させるプログラム。
【請求項８】
時系列データである目的信号から抽出したある時刻毎の複数個の特徴量のうち、予め設定した閾値を超える特徴的な箇所の特徴量からなる多次元ベクトルである目的エリア選択特徴を受信して、時系列データである蓄積信号から、該目的エリア選択特徴に類似した箇所を探し出す信号検出サーバの処理をコンピュータに実行させるプログラムであり、
蓄積特徴計算部が、前記蓄積信号からある時刻毎に抽出した複数個の特徴量をベクトル化した特徴ベクトルを、時系列に並べた配列である蓄積特徴を計算する蓄積特徴計算過程と、
蓄積特徴エリア選択部が、前記蓄積特徴について、前記特徴ベクトルの次元毎に予め設定した時間区間内の特徴量の平均値を算出し、当該時間区間内の当該特徴ベクトルの次元に対応する各特徴量から該平均値を差し引いて得た値から統計量を算出し、該統計量が所定の閾値を超えた前記蓄積特徴中の要素からなる多次元ベクトルまたは該統計量が大きいものから所定の数の前記蓄積特徴中の要素からなる多次元ベクトルを蓄積エリア選択特徴とする蓄積特徴エリア選択過程と、
特徴照合部が、前記蓄積エリア選択特徴である多次元ベクトルと、前記目的エリア選択特徴である多次元ベクトルとを用いて類似度を計算する特徴照合過程と
を有する処理をコンピュータに実行させるプログラム。
【請求項９】
時系列データである蓄積信号から、時系列データである目的信号に類似した箇所を出力する信号検出システムの処理をコンピュータに実行させるプログラムであり、
蓄積特徴計算部が、前記蓄積信号からある時刻毎に抽出した複数個の特徴量をベクトル化した特徴ベクトルを、時系列に並べた配列である蓄積特徴を計算する蓄積特徴計算過程と、
目的特徴計算部が、前記目的信号からある時刻毎に抽出した複数個の特徴量をベクトル化した特徴ベクトルを、時系列に並べた配列である目的特徴を計算する目的特徴計算過程と、
蓄積特徴正規化部が、前記蓄積特徴について、前記特徴ベクトルの次元毎にある時間区間の前記蓄積特徴から所定の統計量を計算し、前記統計量を用いて当該時間区間の当該特徴ベクトルの次元に対応する前記蓄積特徴中の各要素を正規化し、この正規化した値からなる多次元ベクトルを時系列に並べた配列を蓄積正規化特徴とする蓄積特徴正規化過程と、
目的特徴正規化部が、前記目的特徴について、前記特徴ベクトルの次元毎にある時間区間の前記目的特徴から所定の統計量を計算し、前記統計量を用いて当該時間区間の当該特徴ベクトルの次元に対応する前記目的特徴中の各要素を正規化し、この正規化した値からなる多次元ベクトルの時系列に並べた配列を目的正規化特徴とする目的特徴正規化過程と、
蓄積特徴エリア選択部が、前記蓄積正規化特徴について、前記特徴ベクトルの次元毎に予め設定した時間区間内の特徴量の平均値を算出し、当該時間区間内の当該特徴ベクトルの次元に対応する各特徴量から該平均値を差し引いて得た値から統計量を算出し、該統計量が所定の閾値を超えた前記蓄積正規化特徴中の要素からなる多次元ベクトルまたは該統計量が大きいものから所定の数の前記蓄積正規化特徴中の要素からなる多次元ベクトルを蓄積エリア選択特徴とする蓄積特徴エリア選択過程と、
目的特徴エリア選択部が、前記目的正規化特徴について、前記特徴ベクトルの次元毎に予め設定した時間区間内の特徴量の平均値を算出し、当該時間区間内の当該特徴ベクトルの次元に対応する各特徴量から該平均値を差し引いて得た値から統計量を算出し、該統計量が所定の閾値を超えた前記目的正規化特徴中の要素からなる多次元ベクトルまたは該統計量が大きいものから所定の数の前記目的正規化特徴中の要素からなる多次元ベクトルを目的エリア選択特徴とする目的特徴エリア選択過程と、
特徴照合部が、前記蓄積エリア選択特徴である多次元ベクトルと前記目的エリア選択特徴である多次元ベクトルとを用いて類似度を計算する特徴照合過程と
を有する処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、蓄積された蓄積音響信号の中から、この蓄積音響信号よりも短い乃至同じ長さの目的音響信号と類似した信号の位置を探し出す信号検出に関するものであり、例えば実環境中の音響信号検出に用いられる音響信号検出システム及び音響信号検出サーバに関する。
すなわち、本発明は、実環境中に流れている音楽やＣＭ（Ｃｏｍｍｅｒｃｉａｌ  Ｍｅｓｓａｇｅ：コマーシャル）を携帯端末で受音し、その受信された音響信号を用いて膨大な音楽ＣＭデータベースの中から同一の音楽やＣＭを検索するものである。【０００２】
また、本発明は、実環境下で取得した特徴ひずみを含む映像信号(目的映像信号)と類似の映像信号をデータベース中に蓄積された映像信号(蓄積映像信号)から探索する映像信号探索装置、映像信号探索方法、映像信号探索プログラム及び記録媒体に関する。【０００３】
また、本発明は、実環境下で取得した特徴ひずみを含む信号（目的信号）と類似の信号をデータベース中に蓄積された信号（蓄積信号）から探索する信号探索装置、信号探索方法、信号探索プログラム及び記録媒体に関する。【０００４】
本願は、２００４年７月９日に出願された特願２００４−２０３１９８号に対し優先権を主張し、その内容をここに援用する。
本願は、２００４年７月９日に出願された特願２００４−２０３１９９号に対し優先権を主張し、その内容をここに援用する。
本願は、２００５年３月１７日に出願された特願２００５−０７７７２６号に対し優先権を主張し、その内容をここに援用する。
本願は、２００５年３月２２日に出願された特願２００５−０８２１０７号に対し優先権を主張し、その内容をここに援用する。
本願は、２００５年３月２４日に出願された特願２００５−０８６２８０号に対し優先権を主張し、その内容をここに援用する。
【背景技術】
【０００５】
近年、音や映像など、マルチメディア情報の流通が盛んに行われるようになり、このマルチメディア情報を得るための検索や探索が必要となってきている。
例えば、実環境中に流れている音楽や映像またはＣＭを携帯端末などにより受信し、その受信された信号（目的音響信号または目的映像信号）を用いて、膨大なデータベースの中から同一の音楽や映像、ＣＭを検索することが考えられる。
このため、具体的に探索したい音や映像の信号を目的音響信号あるいは目的映像信号として指定して、これに類似する蓄積音響信号あるいは蓄積映像信号がデータベースのいずれに存在するかの探索を行う必要がある。
時系列信号の高速一致法として、例えば、特許第３０６５３１４号が開示されている。ここで行われる探索は、時系列探索であり、高速かつ高精度に行われる必要がある。【０００６】
ところが、ユーザが実環境において収録して入手する音楽や映像には、様々な特性ひずみ、例えば、スピーカやスクリーンなどの信号発生源の機器の特性，入力する携帯端末の特性による乗法性ひずみや、実環境中の要素（音であれば雑音，反響，吸収など、映像であれば大気透明度、明度角度ゆれ、反射など）による加法性雑音が含まれていることが考えられる。これに対し、特許第３０６５３１４号公報による方法は、検索対象となる信号について特徴ひずみが少ないことが前提となっており、雑音やひずみが含まれる場合においてはその探索精度は著しく低下する。【０００７】
この欠点を解決するため、入力される信号に対し変動を付加する変動付加過程を設けることで、特徴ひずみに対して頑健な信号検出を行う方法が提案されている（例えば、特許第３４０８８００号公報参照）。ところが、上述した変動付加過程を設ける際、複数の雑音やひずみを考慮する必要がある場合、これらの複数の目的特徴を用意しなければならず、情報量が大幅に増大してしまうという欠点がある。【０００８】
また、入力される音や映像の目的信号の強度ピークを検出し、このピークにおける周波数を特徴とすることにより、雑音やひずみに対して頑健な信号検出を行う方法が提案されている。【０００９】
しかしながら、この方法には、入力される信号のピークを用いるため、この実際の信号のピーク周辺にある大きな雑音の影響を受けることにより、実際の信号のピーク検出に失敗し探索精度が低下するという欠点がある。【００１０】
このため、局所的な特徴の統計量を用いて入力される音や映像の目的信号を正規化することにより、ひずみに対して頑健な信号検出を行う方法が提案されている（例えば、特開２００３−０２２０８４号公報や、特に音響信号に関してはＷＯ  ０２／１１１２３  Ａ２号公報参照）。すなわちこの信号検出の方法は、特徴ひずみによる音や映像の目的信号の変動を吸収するため、周波数特徴を抽出した後、時間−周波数空間上の局所領域毎に目的信号を正規化して、特徴ひずみに頑健な空間へのデータ変換を行い、この空間において音や映像の蓄積音響信号との比較を行うというものである。【００１１】
しかしながら、上述した特徴ひずみに頑健な空間へのデータ変換を行う方法においては、雑音や途切れ、非定常なひずみに対し、正規化だけではその特徴ひずみを吸収することができず、探索の信頼性を低下させるという欠点がある。【００１２】
本発明はこのような事情に鑑みてなされたものであり、検索対象である音や映像の信号（目的信号：目的音響信号および目的映像信号）を加法性雑音や途切れに対して頑健なデータに変換して探索精度を向上させ、かつ探索時間を大幅に短縮させることを目的とする。【００１３】
また、乗法性ひずみを含む信号に対し、これを頑健なデータに変換することにより探索精度を向上し、高速高精度の処理を実行することが可能なシステムを提供することを目的とする。【００１４】
また、線形量子化よりも量子化後の値の信頼性を高めるような量子化手段を適用することで、全体の探索精度を向上させることができる信号探索装置、信号探索方法、信号探索プログラム及び記録媒体を提供することを目的とする。
【発明の開示】
【００１５】
上記目的を達成するために、本発明の音響信号検出システムは、蓄積音響信号から、該蓄積音響信号よりも短い乃至同じ長さの目的音響信号に類似した部分を探し出す信号検出システムにおいて、前記蓄積音響信号の時系列データから、特徴ベクトルからなる蓄積特徴を計算する蓄積特徴計算部と、前記目的音響信号の時系列データから、特徴ベクトルからなる目的特徴を計算する目的特徴計算部と、前記蓄積特徴から所定の統計量を計算し、その統計量が所定の閾値を超える要素を、該蓄積特徴から選択し、該選択された要素のベクトルからなる蓄積エリア選択特徴を導く蓄積特徴エリア選択部と、前記目的特徴から所定の統計量を計算し、その統計量が所定の閾値を超える要素を、該目的特徴から選択し、該選択された要素のベクトルからなる目的エリア選択特徴を導く目的特徴エリア選択部と、前記蓄積エリア選択特徴中に照合区間を設定し、前記目的エリア選択特徴及び前記蓄積エリア選択特徴中の該照合区間のそれぞれとの類似度を計算する特徴照合部とを有し、前記特徴照合部が前記蓄積エリア選択特徴において照合区間を順次移動させて繰り返し、前記類似度から目的エリア選択特徴と類似する蓄積エリア選択特徴の領域を探索することを特徴とする。
【００１６】
特に、「高速信号検出法，装置およびその記録媒体」（特許第３０６５３１４号公報)及び「信号検出方法，装置及びそのプログラム，記録媒体」（特許第３４０８８００号公報)に比較して、新たに蓄積特徴エリア選択部及び目的特徴エリア選択部を設けて、特徴ベクトルの特に特徴のある要素を選択して、この選択した要素のみを比較しているため、雑音・とぎれに対して特許第３０６５３１４号公報及び２に比較して頑健な音響信号検出を可能とした。
【００１７】
また、「信号検出方法及び装置，プログラムならびに記録媒体」（特開２００３−０２２０８４号公報)の目的信号及び蓄積信号を正規化し、単純に比較判定する方法に対して、新たに蓄積特徴エリア選択部及び目的特徴エリア選択部を設けて、特徴ベクトルの特に特徴のある要素を選択して、この選択した要素のみを比較しているため、雑音・とぎれに対して上記手法に比較して頑健な音響信号検出を可能とした。
さらに、「Ｓｙｓｔｅｍ  ａｎｄ  ｍｅｔｈｏｄｓ ｆｏｒ ｒｅｃｏｇｎｉｚｉｎｇ ｓｏｕｎｄ ａｎｄ  ｍｕｓｉｃ ｓｉｇｎａｌ ｉｎ ｈｉｇｈ ｎｏｉｓｅ ａｎｄ  ｄｉｓｔｏｒｔｉｏｎ」（ＷＯ  ０２／１１１２３  Ａ２号公報)に比較して、新たに蓄積特徴エリア選択部及び目的特徴エリア選択部を設けて、特徴ベクトルの特に特徴のある要素を選択して、この選択した要素のみを比較しているため、雑音・とぎれに対して上記手法に比較して頑健な音響信号検出を可能とした。
【００１８】
本発明によれば、雑音や途切れの影響を除去するため、蓄積音響信号および目的音響信号から統計的に特徴的な要素のみを選択し照合を行う。この選択された要素からなる多次元ベクトルを用いることで、蓄積音響信号と目的音響信号のより特徴的なパターンを比較してそれらの類似度を算出することができ、無駄な部分の比較処理を行わないため、目的音響信号に重畳している雑音や音響の途切れの影響を大幅に低減させ、頑健な音響信号検出を行うことができる。
【００１９】
また、実際に蓄積音響信号及び目的音響信号から得られる蓄積特徴及び目的特徴から、統計的に評価してより特徴的な要素からなる蓄積エリア選択特徴及び目的エリア選択特徴を抽出することで、照合するデータ量を大幅に低減することが可能となり、類似度の計算処理を高速化するとともに、蓄積する蓄積音響信号の１件あたりのデータ量を大幅に削減することができ、従来と同様の記憶部容量に、より多くの蓄積音響信号情報を蓄積することが可能となり、この点からも類似した蓄積音響信号の検出精度を向上させることができる。
【００２０】
また、上記目的を達成するために、本発明の音響信号検出システムは、蓄積音響信号から、該蓄積音響信号よりも短い乃至同じ長さの目的音響信号に類似した部分を探し出す信号検出システムにおいて、前記蓄積音響信号の時系列データから、特徴ベクトルからなる蓄積特徴を計算する蓄積特徴計算部と、前記目的音響信号の時系列データから、特徴ベクトルからなる目的特徴を計算する目的特徴計算部と、前記蓄積特徴と、該蓄積特徴のサンプリング時間近傍における他の蓄積特徴とから、所定の統計量を計算し、蓄積特徴におけるベクトルの各要素ごとに正規化し、この正規化して得られた数値を要素とするベクトルからなる蓄積正規化特徴を導く蓄積特徴正規化部と、前記目的特徴と、該目的特徴のサンプリング時間近傍における他の目的特徴とから、所定の統計量を計算し、目的特徴におけるベクトルの各要素ごとに正規化し、この正規化して得られた数値を要素とするベクトルからなる目的正規化特徴を導く目的特徴正規化部と、前記蓄積正規化特徴から、量子化して得た値を要素とするベクトルからなる蓄積量子化特徴を導く蓄積特徴量子化部と、前記目的正規化特徴から、量子化して得た値を要素とするベクトルからなる目的量子化特徴を導く目的特徴量子化部と、前記蓄積量子化特徴中に照合区間を設定し、前記目的量子化特徴及び前記蓄積量子化特徴中の該照合区間のそれぞれとの類似度を計算する特徴照合部とを有し、前記特徴照合部が前記蓄積量子化特徴において照合区間を順次移動させて繰り返し、前記類似度から目的量子化特徴と類似する蓄積量子化特徴の領域を探索することを特徴とする。
【００２１】
特に、「高速信号検出法，装置およびその記録媒体」（特許第３０６５３１４号公報)及び「信号検出方法，装置及びそのプログラム，記録媒体」（特許第３４０８８００号公報)に比較して、新たに目的特徴正規化部，蓄積特徴正規化部，目的特徴量子化部及び蓄積特徴量子化部を設けて特徴ベクトルの各要素を、正規化した後、所定の閾値により量子化することで、ひずみに対して特許第３０６５３１４号公報及び２に比較して頑健な音響信号検出を可能とした。
【００２２】
また、「信号検出方法及び装置，プログラムならびに記録媒体」（特開２００３−０２２０８４号公報)の目的信号及び蓄積信号を正規化し、単純に比較判定する方法に加えて、新たに目的特徴量子化部及び蓄積特徴量子化部を設け、特徴ベクトルの各要素を量子化することにより、特徴ひずみに対して上記手法に比較して頑健な音響信号検出を可能とした。
さらに、「Ｓｙｓｔｅｍ  ａｎｄ  ｍｅｔｈｏｄｓ ｆｏｒ  ｒｅｃｏｇｎｉｚｉｎｇ  ｓｏｕｎｄ  ａｎｄ  ｍｕｓｉｃ  ｓｉｇｎａｌ  ｉｎ  ｈｉｇｈ  ｎｏｉｓｅ  ａｎｄ  ｄｉｓｔｏｒｔｉｏｎ」（ＷＯ  ０２／１１１２３  Ａ２号公報)に比較して、新たに目的特徴正規化過程及び蓄積特徴正規化過程を設けて特徴を正規化することにより、特徴ひずみに対して上記手法に比較して頑健な音響信号検出を可能とした。
【００２３】
本発明によれば、特徴ひずみを吸収するため、所定の閾値により音響信号をスカラー量子化する量子化部（過程）を設けることにより、比較するデータ量を大幅に低減することが可能となり、類似度の計算処理を高速化するとともに、蓄積する蓄積音響信号の１件あたりのデータ量を大幅に削減することができ、従来と同様の記憶部容量により多くの蓄積音響信号情報を蓄積することができ、この点からも類似した蓄積音響信号の検出精度を向上させることができる。
【００２４】
また、本発明によれば、上記量子化部（過程）を設けることにより、各要素毎のデータの詳細な比較判定でなく、照合区間における特徴ベクトルを全体的なパターンとして検索するので、探索精度を向上させて、検出洩れを防ぐことが可能となり、公知の方法と比較して、さまざまな特徴ひずみに頑健な信号検出処理が行え、より汎用的な特徴ひずみに頑健な音響信号検出を行うことができる。
【００２５】
さらに、上記問題を解決するために、本発明は、蓄積映像信号の中から目的映像信号に類似した信号を探索する映像信号探索装置であって、目的映像信号から目的特徴を計算する目的特徴計算手段と、目的特徴から目的統計量を計算する目的統計量計算手段と、目的統計量に対して所定の閾値により閾値処理し、目的統計量を選択し、選択された目的統計量を要素とするベクトル又は行列からなる目的エリア選択特徴を算出する目的特徴エリア選択手段と、蓄積特徴から所定の蓄積統計量を計算する蓄積統計量計算手段と、蓄積統計量に対して所定の閾値により閾値処理し、蓄積統計量を選択し、選択された蓄積統計量を要素とするベクトル又は行列からなる蓄積エリア選択特徴を算出する蓄積特徴エリア選択手段と、蓄積エリア選択特徴に対して照合区間を設定し、照合区間中の蓄積エリア選択特徴と目的エリア選択特徴の少なくとも一部との類似度を計算する特徴照合手段とを有し、特徴照合手段において、照合区間を順次移動させて繰り返し類似度を計算することを特徴とする。
【００２６】
本発明は、上記に記載の発明において、前記目的特徴エリア選択部及び前記蓄積特徴エリア選択部は、各々、統計量として目的特徴及び蓄積特徴の、第１の所定時間区間における平均値を算出し、前記要素から該平均値を減算した値の絶対値が所定の閾値を越えるものを選択するようにしたことを特徴とする。
【００２７】
本発明は、上記に記載の発明において、前記目的特徴量算出手段及び前記蓄積統計量計算手段は、各々、目的特徴及び蓄積特徴の要素毎に第２の所定時間区間における平均値と標準偏差とを算出し、該平均値と標準偏差とを用いて、目的特徴及び蓄積特徴を正規化することにより、目的統計量及び蓄積統計量を算出することを特徴とする。
【００２８】
また、本発明は、蓄積映像信号の中から目的映像信号に類似した信号を探索する映像信号探索方法であって、目的映像信号から目的特徴を計算する目的特徴計算工程と、目的特徴から目的統計量を計算する目的統計量計算工程と、目的統計量に対して所定の閾値により閾値処理し、目的統計量を選択し、選択された目的統計量を要素とするベクトル又は行列からなる目的エリア選択特徴を算出する目的特徴エリア選択工程と、蓄積特徴から所定の蓄積統計量を計算する蓄積統計量計算工程と、蓄積統計量に対して所定の閾値により閾値処理し、蓄積統計量を選択し、選択された蓄積統計量を要素とするベクトル又は行列からなる蓄積エリア選択特徴を算出する蓄積特徴エリア選択工程と、蓄積エリア選択特徴に対して照合区間を設定し、照合区間中の蓄積エリア選択特徴と目的エリア選択特徴の少なくとも一部との類似度を計算する特徴照合工程とを有し、特徴照合工程において、照合区間を順次移動させて繰り返し類似度を計算することを特徴とする映像信号探索方法である。
【００２９】
また、本発明は、上記に記載の発明のいずれか１つに記載の映像信号探索装置としてコンピュータを機能させるための映像信号探索プログラムである。
【００３０】
また、本発明は、上記に記載の発明のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００３１】
本発明によれば、反射や途切れの影響を除去するため、蓄積映像信号及び目的映像信号から統計的に特徴的な要素のみを選択し照合を行う。この選択された要素からなる多次元ベクトルを用いることで、蓄積映像信号と目的映像信号のより特徴的なパターンを比較してそれらの類似度を算出することができ、無駄な部分の比較処理を行わないため、目的映像信号に重畳している反射や映像の途切れの影響を大幅に低減させ、雑音に頑健な映像信号検出を行うことができる。
【００３２】
また、蓄積映像信号及び目的映像信号から得られる蓄積特徴及び目的特徴から、統計的に評価してより特徴的な要素からなる蓄積エリア選択特徴及び目的エリア選択特徴を抽出することで、照合するデータ量を大幅に低減することが可能となり、類似度の計算処理を高速化するとともに、蓄積する蓄積映像信号の１件あたりのデータ量を大幅に削減することができ、従来と同様の記憶容量部に、より多くの蓄積映像信号情報を蓄積することができる。
【００３３】
つまり、蓄積特徴エリア選択部と目的特徴選択部を設けることで、目的映像中に含まれる、反射により物体が写りこんだ箇所やキャプチャに失敗して途切れた箇所を回避して、目的映像信号と蓄積映像信号との特徴量同士の照合を行うことができる。これにより、エリア選択せずに照合する場合に比べて、相対的な類似度が上昇し、探索精度を向上することができる。
【００３４】
さらに、上記問題を解決するために、本発明は、蓄積映像信号の中から目的映像信号に類似した信号を探索する装置であって、目的映像信号から目的特徴を計算する目的特徴計算手段と、目的特徴から目的統計量を計算する目的統計量計算手段と、目的統計量と目的特徴とを用いて、目的正規化特徴の要素を算出する目的特徴正規化手段と、目的正規化特徴の要素を所定の閾値を用いて、量子化し、目的量子化特徴の要素を求め、目的ベクトルを生成する目的量子化手段と、蓄積特徴から蓄積統計量を計算する蓄積統計量計算手段と、蓄積統計量と蓄積特徴とを用いて、蓄積正規化特徴の要素を算出する蓄積特徴正規化手段と、蓄積正規化特徴の要素を所定の閾値を用いて、量子化し、蓄積量子化特徴の要素を求め、蓄積ベクトルを生成する蓄積量子化手段と、蓄積ベクトルに対して照合区間を設定し、照合区間中の蓄積ベクトルの要素と目的ベクトルの少なくとも一部の要素との類似度を計算する特徴照合手段とを有し、特徴照合手段において、照合区間を順次移動させて繰り返し類似度を計算することを特徴とする映像信号探索装置である。
【００３５】
また、本発明は、蓄積映像信号の中から目的映像信号に類似した信号を探索する方法であって、目的映像信号から目的特徴を計算する目的特徴計算工程と、目的特徴から目的統計量を計算する目的統計量計算工程と、目的統計量と目的特徴とを用いて、目的正規化特徴の要素を算出する目的特徴正規化工程と、目的正規化特徴の要素を所定の閾値を用いて、量子化し、目的量子化特徴の要素を求め、目的ベクトルを生成する目的量子化工程と、蓄積特徴から蓄積統計量を計算する蓄積統計量計算工程と、蓄積統計量と蓄積特徴とを用いて、蓄積正規化特徴の要素を算出する蓄積特徴正規化工程と、蓄積正規化特徴の要素を所定の閾値を用いて、量子化し、蓄積量子化特徴の要素を求め、蓄積ベクトルを生成する蓄積量子化工程と、蓄積ベクトルに対して照合区間を設定し、照合区間中の蓄積ベクトルの要素と目的ベクトルの少なくとも一部の要素との類似度を計算する特徴照合工程とを有し、特徴照合工程において、照合区間を順次移動させて繰り返し類似度を計算することを特徴とする映像信号探索方法である。
【００３６】
また、本発明は、上記に記載の映像信号探索装置としてコンピュータを機能させるための映像信号探索プログラムである。
【００３７】
また、本発明は、上記に記載の映像信号プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００３８】
本発明によれば、特徴ひずみを吸収するため、所定の閾値により映像信号をスカラー量子化する量子化部を設けることにより、比較するデータ量を大幅に低減することが可能となり、類似度の演算処理を高速化するとともに、蓄積する蓄積映像信号の１件あたりのデータ量を大幅に削減することができ、従来と同様の記憶部容量により多くの蓄積映像信号を蓄積することができ、この点からも類似した蓄積映像信号の検出精度を向上させることができる。
【００３９】
また、本発明によれば、量子化部を設けることにより、各要素のデータの詳細な比較判定でなく、照合区間における特徴ベクトルを全体的なパターンとして検索するので、探索精度を向上させて、検出洩れを防ぐことが可能となり、従来の方法と比較して、さまざまな特徴ひずみに頑健な信号検出処理が行え、より汎用的な特徴ひずみに頑健な映像信号検出を行うことができる。
【００４０】
さらに、上記問題を解決するために、本発明は、蓄積信号の中から目的信号に類似した信号を探索する信号探索装置であって、目的信号から目的特徴を計算する目的特徴計算手段と、目的特徴から目的統計量を計算する目的統計量計算手段と、目的統計量と目的特徴とを用いて、目的正規化特徴の要素を算出する目的特徴正規化手段と、目的正規化特徴の要素を入力し、選択された目的非線形量子化特徴の要素を求め、目的ベクトルを生成する目的エリア選択非線形量子化手段と、蓄積特徴から蓄積統計量を計算する蓄積統計量計算手段と、蓄積統計量と蓄積特徴とを用いて、蓄積正規化特徴の要素を算出する蓄積特徴正規化手段と、蓄積正規化特徴の要素を入力とし、選択された蓄積非線形量子化特徴の要素を求め、蓄積ベクトルを生成する蓄積エリア選択非線形量子化手段と、蓄積ベクトルに対して照合区間を設定し、照合区間中の蓄積ベクトルの要素と目的ベクトルの少なくとも一部の要素との類似度を計算する特徴照合手段とを有し、特徴照合手段において、照合区間を順次移動させて繰り返し類似度を計算することを特徴とする。
【００４１】
本発明は、上記に記載の発明において、目的エリア選択非線形量子化手段及び蓄積エリア選択非線形量子化手段は、多次元ベクトルをボロノイ分割し、特徴ベクトルが属するボロノイ境界面との距離を非線形量子化することを特徴とする。
【００４２】
本発明は、上記に記載の発明において、目的エリア選択非線形量子化手段は、統計量が所定の閾値を超える要素を選択し、選択された要素の多次元ベクトルからなる目的エリア選択特徴を導く目的特徴エリア選択手段と、特徴ベクトルを非線形量子化する目的特徴非線形量子化手段とからなることを特徴とする。
【００４３】
本発明は、上記に記載の発明において、蓄積エリア選択量子化手段は、統計量が所定の閾値を超える要素を選択し、選択された要素の多次元ベクトルからなる蓄積エリア選択特徴を導く蓄積特徴エリア選択手段と、特徴ベクトルを非線形量子化する蓄積特徴非線形量子化手段とからなることを特徴とする。
【００４４】
本発明は、蓄積信号の中から目的信号に類似した信号を探索する信号探索方法であって、目的信号から目的特徴を計算する目的特徴計算工程と、目的特徴から目的統計量を計算する目的統計量計算工程と、目的統計量と目的特徴とを用いて、目的正規化特徴の要素を算出する目的特徴正規化工程と、目的正規化特徴の要素を入力し、選択された目的非線形量子化特徴の要素を求め、目的ベクトルを生成する目的エリア選択非線形量子化工程と、蓄積特徴から蓄積統計量を計算する蓄積統計量計算工程と、蓄積統計量と蓄積特徴とを用いて、蓄積正規化特徴の要素を算出する蓄積特徴正規化工程と、蓄積正規化特徴の要素を入力し、選択された蓄積非線形量子化特徴の要素を求め、蓄積ベクトルを生成する蓄積エリア選択非線形量子化工程と、蓄積ベクトルに対して照合区間を設定し、照合区間中の蓄積ベクトルの要素と目的ベクトルの少なくとも一部の要素との類似度を計算する特徴照合工程とを有し、特徴照合工程において、照合区間を順次移動させて繰り返し類似度を計算することを特徴とする。
【００４５】
また、本発明は、上記に記載の信号探索装置としてコンピュータを機能させるための信号探索プログラムである。
【００４６】
また、本発明は、上記に記載の信号探索プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００４７】
また、本発明によれば、雑音やひずみの影響を除去するため、蓄積信号及び目的信号から統計的に特徴的な要素のみを抽出し照合を行う。この抽出された要素からなる多次元ベクトルを用いることで、蓄積信号と目的信号のより特徴的なパターンを認識した類似度計算が行え、更に、統計的処理により算出される統計量に非線形量子化を適用することで量子化後の値の信頼性を向上させ、目的信号に重畳している雑音やひずみの影響を低減させながら高精度の信号検出が可能となる。
【００４８】
また、統計的に評価してより特徴的な要素からなる蓄積エリア選択特徴及び目的エリア選択特徴を抽出し、更に、蓄積エリア選択特徴及び目的エリア選択特徴を非線形量子化している。これにより、照合するデータ量を大幅に低減することが可能となり、類似度の計算処理を高速化するとともに、蓄積する蓄積信号の１件あたりのデータ量を大幅に削減することができる。つまり、従来と同様の記憶容量部に、より多くの蓄積信号情報を蓄積することが可能となり、この点からも類似した蓄積信号の検出精度を向上させることができる。
【図面の簡単な説明】
【００４９】
【図１】図１は、本発明の一実施例による音響信号検出システムの構成例を示すブロック図である。
【図２】図２は、図１の音響信号検出システムの動作例を示すフローチャートである。
【図３】図３は、本発明の一実施例による音響信号検出システムの構成例を示すブロック図である。
【図４】図４は、図３の音響信号検出システムの動作例を示すフローチャートである。
【図５】図５は、本発明の一実施例による映像信号探索システムの構成例を示すブロック図である。
【図６】図６は、本発明の一実施例による映像信号探索システムにおける閾値の設定の説明に用いるグラフである。
【図７】図７は、本発明の一実施例による映像信号探索システムにおける閾値の設定の説明に用いるグラフである。
【図８】図８は、図５の映像信号探索システムの動作例を示すフローチャートである。
【図９】図９は、本発明の一実施例による映像信号探索システムにおけるサブ画面の説明図である。
【図１０】図１０は、本発明の一実施例による映像信号探索システムに局所時間とフレームの関係の説明図である。
【図１１】図１１は、本発明の一実施形態による映像信号探索システムの構成例を示すブロック図である。
【図１２】図１２は、図１１の映像信号探索システムの動作例を示すフローチャートである。
【図１３】図１３は、本発明の一実施形態による映像信号探索システムにおける時間窓とフレームの関係の説明図である。
【図１４】図１４は、本発明の一実施形態による映像信号探索システムにおけるサブ画面の説明図である。
【図１５】図１５は、本発明の一実施形態による信号探索システムの構成例を示すブロック図である。
【図１６】図１６は、本発明の一実施例による信号探索システムにおける閾値の設定の説明に用いるグラフである。
【図１７】図１７は、本発明の一実施例による信号探索システムにおける閾値の設定の説明に用いるグラフである。
【図１８】図１８は、図１５の信号探索システムの動作の一例を示すフローチャートである。
【図１９】図１９は、本発明の一実施形態による信号探索システムにおける時間窓とフレームの関係の説明図である。
【図２０】図２０は、本発明の一実施形態による信号探索システムにおけるサブ画面の説明図である。
【図２１】図２１は、本発明の一実施形態による非線形量子化の説明図である。
【図２２】図２２は、図１５の信号探索システムの動作例の他の例を示すフローチャートである。
【符号の説明】
【００５０】
１１  目的特徴計算部
１２  蓄積特徴計算部
１３  目的特徴正規化部
１４  蓄積特徴正規化部
１５  目的特徴エリア選択部
１６  蓄積特徴エリア選択部
１７  特徴照合部
１８  蓄積エリア選択特徴データベース
２１  目的特徴計算部
２２  蓄積特徴計算部
２３  目的特徴正規化部
２４  蓄積特徴正規化部
２５  目的特徴量子化部
２６  蓄積特徴量子化部
２７  特徴照合部
２８  蓄積量子化特徴データベース
３１  目的特徴計算部
３２  蓄積特徴計算部
３３  目的特徴正規化部
３４  蓄積特徴正規化部
３５  目的特徴エリア選択部
３６  蓄積特徴エリア選択部
３７  特徴照合部
３８  蓄積エリア選択特徴データベース
４１  目的特徴計算部
４２  蓄積特徴計算部
４３  目的特徴正規化部
４４  蓄積特徴正規化部
４５  目的特徴量子化部
４６  蓄積特徴量子化部
４７  特徴照合部
４８  蓄積量子化特徴データベース
５１  目的特徴計算部
５２  蓄積特徴計算部
５３  目的特徴正規化部
５４  蓄積特徴正規化部
５５  目的特徴エリア選択部
５６  蓄積特徴エリア選択部
５７  目的特徴非線形量子化部
５８  蓄積特徴非線形量子化部
５９  特徴照合部
５１０  蓄積非線形量子化特徴データベース
【発明を実施するための最良の形態】
【００５１】
以下、図面を参照しつつ、本発明の好適な実施例について説明する。ただし、本発明は以下の各実施例に限定されるものではなく、例えばこれら実施例の構成要素同士を適宜組み合わせてもよい。【００５２】
＜第１の実施の形態＞【００５３】
図１は、本発明における第１の実施の形態を表しており、音響信号を対象とする特徴ひずみに頑健な音響信号検出システムの構成を示すブロック図である。
この図１に示す音響信号検出システムは、音響信号を対象とする特徴ひずみに頑健な信号検出を実現するものであり、目的特徴計算部１１と、蓄積特徴計算部１２と、目的特徴正規化部１３と、蓄積特徴正規化部１４と、目的特徴エリア選択部１５と、蓄積特徴エリア選択部１６と、特徴照合部１７と、蓄積エリア選択特徴データベース１８とで構成され、蓄積時系列信号（蓄積音響信号）すなわち検索したい音響信号と、目的時系列信号（目的音響信号）すなわち検索される音響信号を入力し、目的時系列信号と類似した蓄積時系列信号中の箇所を出力する。
目的特徴計算部１１は、目的音響信号を所定の間隔で時系列にサンプリングして得られる離散値である目的時系列信号から、例えば、サンプリング単位に周波数毎のパワースペクトル値等を抽出し、この抽出した特徴量を多次元ベクトル化して特徴ベクトルを得て、この特徴ベクトルからなる目的特徴を導くものである。
蓄積特徴計算部１２も、同様に、蓄積音響信号を所定の間隔で時系列にサンプリングして得られる離散値である蓄積時系列信号から、例えば、サンプリング単位に周波数毎のパワースペクトル値等を抽出し、この抽出した特徴量を多次元ベクトル化して特徴ベクトルを得て、この特徴ベクトルからなる蓄積特徴を導くものである。【００５４】
目的特徴正規化部１３は、上記目的特徴から、隣接した部分も含む周辺の目的特徴から導いた統計量を用いて特徴ベクトルの各要素ごと独立に正規化し、正規化された値からなる多次元ベクトルを有する目的正規化特徴を導くものである。
蓄積特徴正規化部１４は、上記蓄積特徴から、隣接した部分も含む周辺の蓄積特徴から導いた統計量を用いて特徴ベクトルの各要素ごと独立に正規化し、正規化された値からなる多次元ベクトルを有する蓄積正規化特徴を導くものである。【００５５】
目的特徴エリア選択部１５は、上記目的正規化特徴から所定の統計量を計算し、その統計量が所定の閾値を超える要素を、該目的正規化特徴から選択し、該選択された要素の多次元ベクトルからなる目的エリア選択特徴を導くものである。
蓄積特徴エリア選択部１６は、上記蓄積正規化特徴から所定の統計量を計算し、その統計量が所定の閾値を超える要素を、該蓄積正規化特徴から選択し、該選択された要素の多次元ベクトルからなる蓄積エリア選択特徴を導くものである。【００５６】
例えば、各エリア選択部は、前記正規化における蓄積特徴および目的特徴の「０」と「１」の境界面との差分を統計量として求め、これを閾値に比較することにより各々エリア特徴を導くことができる。この場合、該閾値は、最も大きい差分の値の７割または８割の数値とすることが考えられる。
各周波数帯において、パワースペクトルの変動の大きい要素を特徴的な要素とするため、上述したように、大きな値を有する要素を特徴パターンとして選択する。
このとき、要素毎の下限値を設けておき、この下限値（１つまたは複数個）を超える要素が選択されるまで、閾値を徐々に下げるように制御しても良い。【００５７】
また、目的特徴エリア選択部１５は、上記目的特徴において、配列における所定の範囲の特徴ベクトルの各要素の平均値（周波数帯域毎の平均値）を求め、各要素からこの平均値を除算した結果の絶対値が所定の閾値を超えた要素を、該目的正規化特徴から選択し、該選択された要素の多次元ベクトルからなる目的エリア選択特徴を導いても良い。
同様に、蓄積特徴エリア選択部１６は、上記蓄積特徴において、配列における所定の範囲の特徴ベクトルの各要素の平均値（周波数帯域毎の平均値）を求め、各要素からこの平均値を除算した結果の絶対値が所定の閾値を超えた要素を、該蓄積エリア選択特徴から選択し、該選択された要素の多次元ベクトルからなる蓄積エリア選択特徴を導いても良い。【００５８】
上述の方法により各エリア選択部が、蓄積特徴または目的特徴の平均値との差分の値を統計量として計算し、これを閾値に比較することにより各々エリア選択特徴を導く場合、該閾値は、最も大きい差分の値の７割または８割の数値とすることが考えられる。
各周波数帯において、パワースペクトルの変動の大きい要素を特徴的な要素とするため、上述したように、大きな値を有する要素を特徴パターンとして選択する。
このとき、要素の下限値を設けておき、この下限値を超える要素が選択されるまで、閾値を徐々に下げるように制御しても良い。【００５９】
さらに、目的特徴エリア選択部１５は、上記目的特徴及び目的正規化特徴を入力し、この目的特徴の配列における所定の範囲（一定区画）の特徴ベクトルの各要素毎の標準偏差（周波数帯域毎の標準偏差）を求め、次に、目的正規化特徴の対応する配列位置の特徴ベクトルの各要素毎に、上記標準偏差を乗算して、乗算結果の絶対値を計算して統計量とし、この統計量において最上位または最上位から複数個（例えば、２個）を、目的正規化特徴から選択して、特徴パターンである、選択された要素の多次元ベクトルからなる目的エリア選択特徴を導いても良い。【００６０】
同様に、蓄積特徴エリア選択部１６は、上記蓄積特徴及び蓄積正規化特徴を入力し、この蓄積特徴の配列における所定の範囲（一定区画）の特徴ベクトルの各要素毎の標準偏差（周波数帯域毎の標準偏差）を求め、次に、蓄積正規化特徴の対応する配列位置の特徴ベクトルの各要素毎に、上記標準偏差を乗算して、乗算結果の絶対値を計算して統計量とし、この統計量において最上位または最上位から複数個（例えば、２個）を、蓄積正規化特徴から選択して、特徴パターンである、選択された要素の多次元ベクトルからなる蓄積エリア選択特徴を導いても良い。
この目的エリア選択特徴及び蓄積エリア選択特徴は、各々時系列にサンプリングした順序に、各サンプリングにおける特徴ベクトルが順次配列している。配列数（配列の長さ）は蓄積エリア選択特徴より、目的エリア選択特徴の方が短い、または等しい。
【００６１】
特徴照合部１７は、上記蓄積エリア選択特徴における時系列に配列している特徴ベクトルにおいて、この配列の所定の範囲を照合区間として設定し、この照合区間と同一の長さの被照合区間を目的エリア選択特徴に設定して、上記照合区間と被照合区間との類似度を計算し、予め設定された探索閾値と比較して、類似しているか否かの判定を行う。
また、特徴照合部１７は、上記照合区間の照合処理が終了すると、新たな照合区間を設定するため、配列の隣接する同一時間幅の範囲にずらす。
蓄積エリア選択特徴データベース１８は、複数の、例えば良く配信される曲に対して、蓄積特徴計算部１２，蓄積特徴正規化部１４及び蓄積特徴エリア選択部１６により、予め蓄積エリア選択特徴を計算して、各曲名に対応して記憶している。【００６２】
次に、図面を参照して本実施例の音響信号検出システムの動作の説明を行う。図２は図１の音響信号検出システムの動作例を示すフローチャートである。
蓄積特徴計算部１２は、与えられた蓄積音響信号を読み込んで入力し（ステップＳ１）、入力した蓄積音響信号に対して特徴抽出を行う。
このとき、蓄積特徴計算部１２は、音響信号のフーリエ変換の振幅成分を用い、（例えば周波数８０００Ｈzで標本化した音響信号の１秒の区間をフーリエ変換し、０〜４０００Ｈzを等間隔に３２の周波数帯域の区間に分割し、０．１秒ごとに配列する）、各区間内での振幅成分の平均パワーからなる３２次元の多次元ベクトルを特徴ベクトルとして抽出して蓄積特徴とする（ステップＳ２）。【００６３】
次に、蓄積特徴正規化部１４は、蓄積特徴計算部１２から蓄積特徴を読み込み、この蓄積特徴の特徴ベクトルの各要素毎に、所定の一定区画の平均値と標準偏差とを計算して求める。
例えば、蓄積特徴正規化部１４は、各周波数帯域（要素）ごとにある時間区間の値から平均値と標準偏差とを求め、求められた平均値と標準偏差とを用いて正規化を行う。
このとき、蓄積特徴正規化部１４による正規化後の周波数特徴ｙ(i)のｋ番目の要素は、以下の（１）式となる。【００６４】
【数１】
0004358229.tif 000002
【００６５】
ただし、（１）式において、ｍ(i,k)は平均値であり、以下に示す（２）式により求められ、σ(i,k)は標準偏差であり、以下に示す（３）式により求められる。【００６６】
【数２】
0004358229.tif 000003
【００６７】
【数３】
0004358229.tif 000004
【００６８】
（２）式及び（３）式において、Ｍは局所時間内の周波数特徴の平均値及び標準偏差を求めるための時間窓の大きさの半分の数値である。
そして、（１）〜（３）式により得られた多次元ベクトルの時系列な配列（ｋで示される順番）を蓄積正規化特徴とする（ステップＳ３）。【００６９】
次に、蓄積特徴エリア選択部１６は、蓄積特徴計算部１２から蓄積特徴を、また、蓄積特徴正規化部１４から、蓄積正規化特徴を読み込んで入力し、蓄積特徴の多次元ベクトルの各要素毎の標準偏差σ(i,k)を、各要素（周波数帯域のパワースペクトルからなる特徴ベクトル）の配列の一定区画において、上記（２）及び（３）式を用いて求める。
そして、蓄積特徴エリア選択部１６は、以下の（５）式に示すように、各要素ｙ(i，k)毎に上記標準偏差σ(i,k)を乗じて、その絶対値をとる。【００７０】
【数４】
0004358229.tif 000005
【００７１】
ここで、蓄積特徴エリア選択部１６は、得られた各要素と標準偏差との乗算結果の統計量ｚ(i，k)から、一定区画単位に要素毎に最上位から複数個のベクトル、例えば上位２つのベクトルを選択する。
そして、蓄積特徴エリア選択部１６は、上記一定区画において、蓄積正規化特徴から各要素毎に選択された要素のベクトルからなる多次元ベクトルを蓄積エリア選択特徴として出力する（ステップＳ４）。【００７２】
このとき、蓄積特徴エリア選択部１６は、計算により得られた蓄積エリア選択特徴を、特徴照合部１７へ直接送信するか、または一旦蓄積エリア選択特徴データベース１８への登録のいずれかの処理を行う。
特徴照合部１７がリアルタイムに蓄積エリア選択特徴と、目的エリア選択特徴との比較を行う場合、蓄積特徴エリア選択部１６は特徴照合部１７へ、入力されている蓄積音響信号の蓄積エリア選択特徴を出力し、蓄積エリア選択特徴データベース１８へ蓄積音響信号のデータを登録する場合、蓄積特徴エリア選択部１６は特徴照合部１７へ蓄積エリア選択特徴を送信せずに、蓄積エリア選択特徴データベース１８へ、曲名に対応させて蓄積エリア選択特徴の登録処理を行う。【００７３】
目的特徴計算部１１は、与えられた目的音響信号を読み込んで入力し（ステップＳ５）、入力した目的音響信号に対して特徴抽出を行う。
このとき、目的特徴計算部１１は、蓄積特徴計算部１２と同様に、音響信号のフーリエ変換の振幅成分を用い、（例えば周波数８０００Ｈzで標本化した音響信号の１秒の区間をフーリエ変換し、０〜４０００Ｈzを等間隔に３２の周波数帯域の区間（特徴ベクトルの要素）に分割し、０．１秒ごとに配列する）、各区間内での振幅成分の平均パワーからなる３２次元の多次元ベクトルを特徴ベクトルとして抽出して目的特徴とする（ステップＳ６）。【００７４】
次に、目的特徴正規化部１３は、目的特徴計算部１１から目的特徴を読み込み、この目的特徴の特徴ベクトルの各要素毎に、所定の一定区画の平均値と標準偏差とを計算して求める。
すなわち、目的特徴正規化部１３は、蓄積特徴正規化部１４と同様に、（１）〜（３）式により得られた多次元ベクトルの時系列な配列（ｋで示される順番）を目的正規化特徴とする（ステップＳ７）。【００７５】
次に、目的特徴エリア選択部１５は、目的特徴計算部１１から目的特徴を、また目的特徴正規化部１３から目的正規化特徴を読み込んで入力し、蓄積特徴エリア選択部１６と同様に、目的特徴の一定区画から求めた標準偏差σ(i,k)を、各要素毎に乗算して乗算結果を統計量とする。
そして、目的特徴エリア選択部１５は、各要素毎の配列において、上記統計量から数値の大きい順に上位２つの要素を選択して、目的正規化特徴から各要素毎に選択された要素のベクトルからなる多次元ベクトルを目的エリア選択特徴として出力する（ステップＳ８）。【００７６】
次に、特徴照合部１７は、目的特徴エリア選択部１５及び蓄積特徴エリア選択部１６により得られた目的エリア選択特徴及び蓄積エリア選択特徴を各々読み込む。
また、特徴照合部１７は、目的音響信号及び蓄積音響信号を同時に入力して、リアルタイムに類似を判定する場合以外、蓄積エリア選択特徴データベース１８から順次比較を行う蓄積エリア選択特徴を読み出して、目的エリア選択特徴と比較する。
このとき、特徴照合部１７は、蓄積エリア選択特徴において、目的特徴エリア選択部１５で与えられた目的エリア選択特徴と同じ長さの特徴ベクトルの配列を照合区間として設定する。
すなわち、特徴照合部１７は、複数の上記一定区画からなる目的エリア選択特徴を照合区間とし、蓄積エリア選択特徴において、目的エリア選択特徴と同一の一定区画数からなる配列長を、目的エリア選択特徴に対する照合区間として対応させて、順次、両照合区間を類似度により比較する。【００７７】
そして、特徴照合部１７は、目的エリア選択特徴と蓄積エリア選択特徴とにおける照合区間の比較箇所のとの類似度の計算を、下記（５）式を用いて行う。
すなわち、特徴照合部１７は、目的エリア選択特徴における要素ｙq(i，k)及び蓄積エリア選択特徴の照合区間における要素ｙs(i，k)の一致箇所のユークリッド距離と、非一致箇所の数に所定の定数ａを乗じた値の和を計算して、これを類似度として出力する（ステップＳ９）。【００７８】
【数５】
0004358229.tif 000006
【００７９】
ただし、ｑ，ｓは目的特徴及び蓄積特徴のエリア選択箇所、ｘ∩ｙはｘとｙの共通箇所、｜ｘ｜はエリア選択箇所ｘの要素数、max(ｘ，ｙ)はｘとｙのうち大きい方の数を表す。
ここで、例えば、特徴照合部１７は、目的エリア選択特徴が１５秒の長さであるとすると、この目的エリア選択特徴の特徴ベクトルの配列から、配列の要素としての特徴ベクトルを、０．１秒間隔に合計１５０箇所抽出し、各サンプリングにおいて周波数帯域を３２分割しているため、これらのベクトルからなる１５０×３２の４８００次元から、各周波数帯域毎にパワースペクトルの上位２つ（目的特徴エリア選択部１５が抽出）を用い、６４の要素からなる多次元ベクトルを照合に用いる目的ベクトルとする。【００８０】
また、特徴照合部１７は、上記目的ベクトルと同様に、蓄積エリア選択特徴のデータの先頭から、１５秒の長さを単位に順次照合区間として設定して、特徴ベクトルの配列から、特徴ベクトルを０．１秒間隔に合計１５０箇所抽出し、各サンプリングにおいて周波数帯域を３２分割しているため、それらからなる１５０×３２の４８００次元から、各周波数帯域毎にパワースペクトルの上位２つ（蓄積特徴エリア選択部１６が抽出）を用い、６４の要素からなる多次元ベクトルを照合に用いる蓄積ベクトルとする。【００８１】
そして、特徴照合部１７は、照合区間を、蓄積エリア選択特徴の先頭から順次ずらしながら、目的エリア選択特徴との、すなわち、（５）式を用いて上記目的ベクトルと蓄積ベクトルとの類似度を計算し、予め設定した探索閾値と比較処理を行う（ステップＳ１０）。
目的エリア選択特徴と蓄積エリア選択特徴とを、蓄積エリア選択特徴の最後まで照合処理した後、照合区間毎の類似度が予め設定された探索閾値より低い、蓄積エリア選択特徴の照合区間の領域を探索結果として出力する（ステップＳ１１）。
なお、特徴照合部１７は、探索結果として、比較した結果において、もっとも類似度が低い蓄積エリア選択特徴の照合区間の領域を出力するようにしてもよい。【００８２】
また、特徴照合部１７は、探索閾値を複数の照合区間の類似度が下回った場合、類似度の上位（低い数値のものから）Ｎ番目までの照合区間を出力するようにすることも可能である。
さらに、特徴照合部１７は、探索閾値を下回る照合区間が無い場合など、該当箇所がないことを示す情報を通知し、新たな蓄積音響信号の蓄積エリア選択特徴を、蓄積エリア選択特徴データベース１８から読み出し、上記探索閾値以下の照合区間を有する蓄積エリア選択特徴が探索されるまで、ステップＳ９以降の探索処理を継続させて行うようにしてもよい。【００８３】
また、図１における目的特徴計算部１１，目的特徴正規化部１３及び目的特徴エリア選択部５を各ユーザの端末（例えば、パーソナルコンピュータ）にインストールしておき、音楽配信を行うサービスプロバイダに蓄積特徴計算部１２，蓄積特徴正規化部１４，蓄積特徴エリア選択部１６，特徴照合部１７及び蓄積エリア選択特徴データベース１８を有する音響信号検出サーバを設けてもよい。
これにより、ユーザが携帯電話等で受信した音響信号を目的音響信号として、目的エリア選択特徴まで生成し、この目的エリア選択特徴を上記音響信号検出サーバへ、インターネットなどを介して送信し、この目的エリア選択特徴に類似した蓄積音響信号を探索してもらうように要求する構成とする。このとき蓄積エリア選択特徴及び目的エリア選択特徴を計算するときの一定区画の特徴ベクトルの配列長等の規定は、音響信号検出サーバと端末とにおいて予め一致させておく。【００８４】
次に、上記音響信号検出システムを適用した場合の動作実験例及びその結果を示す。
本発明の音響信号検出システムによる効果を確認するため、本発明を適用した場合と適用しなかった場合との探索精度の比較を行った。
実験のため、蓄積音響信号として、あるＣＤ（コンパクトディスク）の曲を再生した音響信号を、そのまま図１の音響信号検出システムの蓄積特徴計算部１２に入力させた。
一方、目的音響信号として、雑音の大きい喫茶店内のスピーカにより、上記ＣＤの同一の曲の所定の部分（蓄積音響信号の一部分）を嗚らし、その喫茶店内で携帯電話をＰＨＳ（登録商標）にかけ、そのＰＨＳ（登録商標）の音声出力から受音して得た音響信号を、目的音響信号として、目的特徴計算部１１へ入力させた。【００８５】
上述した同一の実験条件において、２００回繰り返して探索処理を行い、探索精度の測定を行った。
この探索精度は、探索閾値の設定を調節して、適合率（precision rate)と再現率(recall rate)とが等しくなるときの値とした。
ここで、適合率とは探索結果として出力されたもののうち正しいものの割合であり、再現率とは探索されるべきもののうち探索結果として出力されたものの割合である。
適合率または再現率は、探索閾値の設定によって変化するが、本実験においては探索閾値（（５）式で用いる類似度に対する閾値）を以下に示す（６）式によって定めた。【００８６】
【数６】
0004358229.tif 000007
【００８７】
上記（６）式において、ｍ及びν各々は、与えられた蓄積信号に対して入力信号をサンプリングし、予備的に類似度の計算を行って収集した類似度の平均値と標準偏差であり、ｎは経験的に与えられる係数である。
ただし、（６）式において、探索閾値θが１を超える場合、θ＝１とし、０を下回るときはθ＝０とした。
本実験においては、（６）式におけるｎの値を２００回繰り返して行う間で一定とし、そのｔの値を適合率と再現率とがほぼ等しくなるように調節した。
上述した実験の結果、上記精度は、正規化特徴により得られた蓄積及び目的エリア選択特徴を用いない場合に１５．０％であり、本発明における蓄積及び目的エリア選択特徴を用いた場合(一実施例)で８０．１％であった。【００８８】
また、探索処理においては、ＣＰＵにＩｎｔｅｌ（登録商標）Ｐｅｎｔｉｕｍ（登録商標） ＩＩＩ １１３３ＭＨｚ 、ＯＳにＲｅｄＨａｔ（登録商標）７．３ 、コンパイラにＧＮＵ  ｇｃｃを用いた。
また、実行ファイルはコンパイラ最適化オプション「−Ｏ3」によりコンパイルを行った。
上述した実験において、本発明の音響信号検出システムにより、探索精度が向上したことを確認することができる。【００８９】
本発明の音響信号検出システムは、実環境で収録した雑音やとぎれのある断片的な音響信号をつかって、一致する音楽やＣＭの曲名や放送時間を探索するだけでなく、音楽やＣＭに関連する情報を蓄積した付随情報データベースと組み合わせて情報探索するのにも利用できる。
例えば、ＴＶやラジオから流れる音楽或いはＣＭをユーザが携帯電話で受信し、音響信号検索サービスなどに送信する。音響信号検索サービス提供者は、この音響信号に一致又は類似する音響をデータベースより検索し、音楽或いはこのＣＭに関する情報（例えば演奏者、作詞作曲者名、商品情報、製品特徴、サービス、撮影地、出演者、ホームページ等）をインターネットなどのネットワークを介して有料、または無料でユーザに提供するといった構成が可能である。【００９０】
ここで、検索する音響の入力方法においては、携帯端末からサーバにアクセスし、端末のマイクで直接信号を受信し目的信号としてもかまわない。また、いったん録音した音響を適当に切り取って送信してもよい。
また、他の発明の実施例として、ユーザが家庭用テープレコーダで録音したイメージ音響から、そのイメージに近い音楽のフレーズを配信されているＣＤや映画、テレビプログラムから検索し、コンテンツを利用したり、また録音したイメージ音響に相当するフレーズを集めて編集したりすることにも利用できるであろう。【００９１】
＜第２の実施の形態＞
図３は、本発明の第２の実施の形態を表しており、音響信号を対象とする特徴ひずみに頑健な音響信号検出システムの構成を示すブロック図である。
この図３に示す音響信号検出システムは、音響信号を対象とする特徴ひずみに頑健な信号検出を実現するものであり、目的特徴計算部２１と、蓄積特徴計算部２２と、目的特徴正規化部２３と、蓄積特徴正規化部２４と、目的特徴量子化部２５と、蓄積特徴量子化部２６と、特徴照合部２７と、蓄積量子化特徴データベース２８とで構成され、蓄積時系列信号（蓄積音響信号）すなわち検索したい音響信号と、目的時系列信号（目的音響信号）すなわち検索される音響信号を入力し、目的時系列信号と類似した蓄積時系列信号中の箇所を出力する。【００９２】
目的特徴計算部２１は、目的音響信号を所定の間隔で時系列にサンプリングして得られる離散値である目的時系列信号から、例えば、サンプリング単位に周波数毎のパワースペクトル値等を抽出し、この抽出した特徴量を多次元ベクトル化して特徴ベクトルを得て、この特徴ベクトルからなる目的特徴を導く（計算する）ものである。
蓄積特徴計算部２２も、同様に、蓄積音響信号を所定の間隔で時系列にサンプリングして得られる離散値である蓄積時系列信号から、例えば、サンプリング単位に周波数毎のパワースペクトル値等を抽出し、この抽出した特徴量を多次元ベクトル化して特徴ベクトルを得て、この特徴ベクトルからなる蓄積特徴を導くものである。【００９３】
目的特徴正規化部２３は、上記目的特徴から、隣接した部分も含む周辺の目的特徴から導いた統計量を用いて特徴ベクトルの各要素ごと独立に正規化し、正規化された値からなる多次元ベクトルを有する目的正規化特徴を導くものである。
蓄積特徴正規化部２４は、上記蓄積特徴から、隣接した部分も含む周辺の蓄積特徴から導いた統計量を用いて特徴ベクトルの各要素ごと独立に正規化し、正規化された値からなる多次元ベクトルを有する蓄積正規化特徴を導くものである。【００９４】
目的特徴量子化部２５は、上記目的正規化特徴を所定の閾値によりスカラー量子化し、この量子化により得られた値を要素とする多次元ベクトルからなる目的量子化特徴を導くものである。
蓄積特徴量子化部２６は、上記蓄積正規化特徴を所定の閾値によりスカラー量子化し、この量子化により得られた値を要素とする多次元ベクトルからなる蓄積量子化特徴を導くものである。【００９５】
量子化を行う上記所定の閾値は、目的及び蓄積正規化特徴を、例えば２値化するとした場合、２値化して得られる要素の数値と、もとの要素の数値との平均２乗誤差の最小化される点を選択する等で求められる。
この目的量子化特徴及び蓄積量子化特徴は、各々時系列にサンプリングした順序に、各サンプリングにおける特徴ベクトルが順次配列している。配列数（配列の長さ）は蓄積量子化特徴より、目的量子化特徴の方が短いかまたは等しい。
なお、以降において、蓄積特徴についての縮退させたベクトルとは、蓄積エリア選択特徴や蓄積正規化特徴等の所定の統計量に基づいて計算により得られるベクトルであり、また、目的特徴についての縮退させたベクトルとは、目的エリア選択特徴や目的正規化特徴等の所定の統計量に基づいて計算により得られるベクトルである。【００９６】
特徴照合部２７は、上記蓄積量子化特徴における時系列に配列している特徴ベクトルにおいて、この配列の所定の範囲を照合区間として設定し、この照合区間と同一の長さの被照合区間を目的量子化特徴に設定して、上記照合区間と被照合区間との類似度を計算し、予め設定された探索閾値と比較して、類似しているか否かの判定を行う。
また、特徴照合部２７は、上記照合区間の照合処理が終了すると、新たな照合区間を設定するため、配列の隣接する同一時間幅の範囲にずらす。
蓄積量子化特徴データベース２８は、複数の、例えば良く配信される曲に対して、蓄積特徴計算部２２，蓄積特徴正規化部２４及び蓄積特徴量子化部２６により、予め蓄積量子化特徴を計算して、各曲名に対応して記憶されている。【００９７】
次に、図面を参照して本実施例の音響信号検出システムの動作の説明を行う。図４は図３の音響信号検出システムの動作例を示すフローチャートである。
蓄積特徴計算部２２は、与えられた蓄積音響信号を読み込んで入力し（ステップＴ１）、入力した蓄積音響信号に対して特徴抽出を行う。
このとき、蓄積特徴計算部２２は、音響信号のフーリエ変換の振幅成分を用い、例えば周波数８０００Ｈzで標本化した音響信号の１秒の区間をフーリエ変換し、０〜４０００Ｈzを等間隔に３２の周波数帯域の区間に分割し、０．１秒ごとに、各区間内での振幅成分の平均パワーからなる３２次元の多次元ベクトルを特徴ベクトルとして抽出して蓄積特徴とする（ステップＴ２）。【００９８】
次に、蓄積特徴正規化部２４は、蓄積特徴計算部２２から蓄積特徴を読み込み、この蓄積特徴の特徴ベクトルの各要素毎に、所定の一定区画の平均値と標準偏差とを計算して求める。
例えば、蓄積特徴正規化部２４は、各周波数帯域ごとにある時間区間の値から平均値と標準偏差とを求め、求められた平均値と標準偏差とを用いて正規化を行う。
このとき、蓄積特徴正規化部２４による正規化後の周波数特徴ｙ(i)のｋ番目の要素は、以下の（２１）式となる。【００９９】
【数２１】
0004358229.tif 000008
【０１００】
ただし、（２１）式において、ｍ(i,k)は平均値であり、以下に示す（２２）式により求められ、σ(i,k)は標準偏差であり、以下に示す（２３）式により求められる。【０１０１】
【数２２】
0004358229.tif 000009
【０１０２】
【数２３】
0004358229.tif 000010
【０１０３】
（２２）式及び（２３）式において、Ｍは局所時間内の周波数特徴の平均値及び標準偏差を求めるための時間窓の大きさの半分の数値である。
そして、（２１）〜（２３）式により得られた多次元ベクトルの時系列な配列（ｋで示される順番）を蓄積正規化特徴とする（ステップＴ３）。【０１０４】
次に、蓄積特徴量子化部２６は、蓄積特徴正規化部２４から、蓄積正規化特徴を読み込んで入力し、蓄積正規化特徴の多次元ベクトルの各要素毎に、あらかじめ与えられた閾値を境に二値化処理をして量子化された数値のベクトルを得る。
例えば、蓄積特徴量子化部２６は、蓄積正規化特徴の各要素を、得られた閾値ｔを境に量子化する。
これにより、蓄積特徴量子化部２６は、量子化後の周波数特徴z(i)のｋ番目の要素を、以下に示す（２４）式により各々計算する。【０１０５】
【数２４】
0004358229.tif 000011
【０１０６】
そして、蓄積特徴量子化部２６は、各要素を２値化して、この多次元ベクトルを蓄積量子化特徴として出力する（ステップＴ４）。
このとき、蓄積特徴量子化部２６は、計算により得られた蓄積量子化特徴を、特徴照合部２７へ直接送信するか、または一旦蓄積量子化特徴データベース２８への登録のいずれかの処理を行う。
特徴照合部２７がリアルタイムに蓄積量子化特徴と、目的量子化特徴との比較を行う場合、蓄積特徴量子化部２６は特徴照合部２７へ、入力されている蓄積音響信号の蓄積量子化特徴を出力し、蓄積量子化特徴データベース２８へ蓄積音響信号のデータを登録する場合、蓄積特徴量子化部２６は特徴照合部２７へ蓄積量子化特徴を送信せずに、蓄積量子化特徴データベース２８へ、曲名に対応させて蓄積量子化特徴の登録処理を行う。【０１０７】
目的特徴計算部２１は、与えられた目的音響信号を読み込んで入力し（ステップＴ５）、入力した目的音響信号に対して特徴抽出を行う。
このとき、目的特徴計算部２１は、蓄積特徴計算部２２と同様に、音響信号のフーリエ変換の振幅成分を用い、例えば周波数８０００Ｈzで標本化した音響信号の１秒の区間をフーリエ変換し、０〜４０００Ｈzを等間隔に３２の周波数帯域の区間に分割し、０．１秒ごとに、各区間内での振幅成分の平均パワーからなる３２次元の多次元ベクトルを特徴ベクトルとして抽出して目的特徴とする（ステップＴ６）。【０１０８】
次に、目的特徴正規化部２３は、目的特徴計算部２１から目的特徴を読み込み、この目的特徴の特徴ベクトルの各要素毎に、所定の一定区画の平均値と標準偏差とを計算して求める。
すなわち、目的特徴正規化部２３は、蓄積特徴正規化部２４と同様に、（２１）〜（２３）式により得られた多次元ベクトルの時系列な配列（ｋで示される順番）を目的正規化特徴とする（ステップＴ７）。【０１０９】
次に、目的特徴量子化部２５は、目的特徴正規化部２３から、目的正規化特徴を読み込んで入力し、目的正規化特徴の多次元ベクトルの各要素毎に、あらかじめ与えられた閾値を境に、蓄積特徴量子化部２６と同様に、（２４）式を用いて二値化処理をして、量子化された数値のベクトルを得る。
そして、目的特徴量子化部２５は、各要素が２値化された、この多次元ベクトルを目的量子化特徴として出力する（ステップＴ８）。【０１１０】
次に、特徴照合部２７は、目的特徴量子化部２５及び蓄積特徴量子化部２６により得られた目的量子化特徴及び蓄積量子化特徴を各々読み込む。
また、特徴照合部２７は、目的音響信号及び蓄積音響信号を同時に入力して、リアルタイムに類似を判定する場合以外、蓄積量子化特徴データベース２８から順次比較を行う蓄積量子化特徴を読み出して、目的量子化特徴と比較する。
このとき、特徴照合部２７は、蓄積量子化特徴において、目的特徴量子化部２５で与えられた目的量子化特徴と同じ長さの特徴ベクトルの配列を照合区間として設定する。【０１１１】
そして、特徴照合部２７は、目的量子化特徴と、上記照合区間との類似度の計算を、類似度として、双方の特徴ベクトル間のハミング距離を計算して行う（ステップＴ９）。
例えば、特徴照合部２７は、目的量子化特徴が１５秒の長さであるとすると、この目的量子化特徴の特徴ベクトルの配列から、配列の要素としての特徴ベクトルを、０．１秒間隔に合計１５０箇所抽出し、各サンプリングにおいて周波数帯域を３２分割しているため、これらのベクトルからなる１５０×３２の４８００次元を照合に用いる目的ベクトルとする。【０１１２】
また、特徴照合部２７は、上記目的ベクトルと同様に、蓄積量子化特徴のデータの先頭から、１５秒の長さを単位に順次照合区間として設定して、特徴ベクトルの配列から、特徴ベクトルを０．１秒間隔に合計１５０箇所抽出し、各サンプリングにおいて周波数帯域を３２分割しているため、それらからなる１５０×３２の４８００次元を照合に用いる蓄積ベクトルとする。【０１１３】
このとき、特徴照合部２７が目的量子化特徴の特徴ベクトルの配列から、複数の箇所の要素を抽出して、目的ベクトルとするのであれば、目的特徴量子化部２５において、予め配列の要素としての特徴ベクトルを目的正規化特徴から抽出して、すなわち、０．１秒間隔に合計１５０箇所抽出して、スカラー量子化を行い、目的ベクトルとして特徴照合部２７へ出力するようにしてもよい。【０１１４】
このとき、特徴照合部２７は、照合区間を、蓄積量子化特徴の先頭から順次ずらしながら、目的量子化特徴との、すなわち上記目的ベクトルと蓄積ベクトルとのハミング距離を計算することにより比較処理を行う。
そして、特徴照合部２７は、蓄積量子化特徴を最後まで照合処理した後、照合区間毎のハミング距離を参照して、ハミング距離が最も小さい照合区間の領域を探索結果として出力する。
なお、特徴照合部２７は、探索結果として、予めハミング距離の探索閾値を与えられていた場合、この探索閾値と選択された照合区間のハミング距離とを判定して（ステップＴ１０）、この探索閾値を下回るもののみ出力することもできる（ステップＴ１１）。【０１１５】
また、特徴照合部２７は、探索閾値を複数の照合区間のハミング距離が下回った場合、ハミング距離の上位（低い数値のものから）Ｎ番目までの照合区間を出力するようにすることも可能である。
さらに、特徴照合部２７は、探索閾値を下回る照合区間が無い場合など、該当箇所がないことを示す情報を通知し、新たな蓄積音響信号の蓄積量子化特徴を、蓄積量子化特徴データベース２８から読み出し、上記探索閾値以下の照合区間を有する蓄積量子化特徴が探索されるまで、ステップＴ９以降の探索処理を継続させて行うようにしてもよい。【０１１６】
また、図３における目的特徴計算部２１，目的特徴正規化部２３及び目的特徴量子化部２５を各ユーザの端末（例えば、パーソナルコンピュータ）にインストールしておき、音楽配信を行うサービスプロバイダに蓄積特徴計算部２２，蓄積特徴正規化部２４，蓄積特徴量子化部２６，特徴照合部２７及び蓄積量子化特徴データベース２８を有する音響信号検出サーバを設けてもよい。
これにより、ユーザが携帯電話等で受信した音響信号を目的音響信号として、目的量子化特徴まで生成し、この目的量子化特徴を上記音響信号検出サーバへ、インターネットなどを介して送信し、この目的量子化特徴に類似した蓄積音響信号を探索してもらうように要求する構成とする。【０１１７】
次に、上記音響信号検出システムを適用した場合の動作実験例及びその結果を示す。
本発明の音響信号検出システムによる効果を確認するため、本発明を適用した場合と適用しなかった場合との探索精度の比較を行った。
実験のため、蓄積音響信号として、あるＣＤ（コンパクトディスク）の曲を再生した音響信号を、そのまま図３の音響信号検出システムの蓄積特徴計算部２２に入力させた。
一方、目的音響信号として、スピーカーにより、上記ＣＤの同一の曲の所定の部分（蓄積音響信号の一部分）を嗚らし、その喫茶店内で携帯電話をＰＨＳ（登録商標）にかけ、そのＰＨＳ（登録商標）の音声出力から受音して得た音響信号を、目的音響信号として、目的特徴計算部２１へ入力させた。【０１１８】
上述した同一の実験条件において、２００回繰り返して探索処理を行い、探索精度の測定を行った。
この探索精度は、探索閾値の設定を調節して、適合率（precision rate)と再現率(recall rate)とが等しくなるときの値とした。
ここで、適合率とは探索結果として出力されたもののうち正しいものの割合であり、再現率とは探索されるべきもののうち探索結果として出力されたものの割合である。
適合率または再現率は、探索閾値の設定によって変化するが、本実験においては探索閾値（ハミング距離に対する閾値）を以下に示す（２５）式によって定めた。【０１１９】
【数２５】
0004358229.tif 000012
【０１２０】
上記（２５）式において、ｍ及びν各々は、与えられた蓄積信号に対して入力信号をサンプリングし、予備的に類似度の計算を行って収集した類似度の平均値と標準偏差であり、ｎは経験的に与えられる係数である。
ただし、（２５）式において、探索閾値θが１を越える場合、θ＝１とし、０を下回るときはθ＝０とした。
本実験においては、（２５）式におけるｎの値を２００回繰り返して行う間で一定とし、そのｔの値を適合率と再現率とがほぼ等しくなるように調節した。
上述した実験の結果、上記精度は、正規化特徴の量子化を行わなかった場合に６０．０％であり、量子化を行った場合(一実施例)で８５．７７％であった。【０１２１】
また、探索処理においては、ＣＰＵにＩｎｔｅｌ（登録商標）Ｐｅｎｔｉｕｍ（登録商標） ＩＩＩ １１３３ＭＨｚ 、ＯＳにＲｅｄＨａｔ（登録商標）７．３ 、コンパイラにＧＮＵ  ｇｃｃを用いた。
また、実行ファイルはコンパイラ最適化オプション「−Ｏ3」によりコンパイルを行った。
上述した実験において、本発明の音響信号検出システムにより、探索精度が向上したことを確認することができる。【０１２２】
本発明の音響信号検出システムは、実環境で収録した端末特性、符号化特性などによりひずみをうけた断片的な音響信号をつかって、一致する音楽やＣＭの曲名や放送時間を探索するだけでなく、音楽やＣＭに関連する情報を蓄積した付随情報データベースと組み合わせて情報探索するのにも利用できる。
例えば、ＴＶやラジオから流れる音楽或いはＣＭをユーザが携帯電話で受信し、音響信号検索サービスなどに送信する。音響信号検索サービス提供者は、この音響信号に一致又は類似する音響をデータベースより検索し、音楽或いはこのＣＭに関する情報（例えば演奏者、作詞作曲者名、商品情報、製品特徴、サービス、撮影地、出演者、ホームページ等）をインターネットなどのネットワークを介して有料、または無料でユーザに提供するといった構成が可能である。【０１２３】
ここで、検索する音響の入力方法においては、携帯端末からサーバにアクセスし、端末のマイクで直接信号を受信し目的信号としてもかまわない。また、いったん録音した音響を適当に切り取って送信してもよい。
また、他の発明の実施例として、ユーザが家庭用テープレコーダで録音したイメージ音響から、そのイメージに近い音楽のフレーズを配信されているＣＤや映画、テレビプログラムから検索し、コンテンツを利用したり、また録音したイメージ音響に相当するフレーズを集めて編集したりすることにも利用できるであろう。【０１２４】
＜第３の実施の形態＞
以下、本発明の実施の第３の実施の形態について図面を参照しながら説明する。図５は、本発明の一実施形態であり、映像信号を対象とする反射や途切れに頑健な映像信号探索システムの構成を示すブロック図である。
この図５に示す映像信号探索システムは、映像信号を対象とする反射や途切れに頑健な信号検出を実現するものであり、目的特徴計算部３１と、蓄積特徴計算部３２と、目的特徴正規化部３３と、蓄積特徴正規化部３４と、目的特徴エリア選択部３５と、蓄積特徴エリア選択部３６と、特徴照合部３７と、蓄積エリア選択特徴データベース３８とで構成されており、蓄積映像信号、即ち検索される映像信号と、目的映像信号、即ち検索したい映像信号を入力し、目的時系列信号に類似した蓄積時系列信号中の箇所を出力する。【０１２５】
目的特徴計算部３１は、目的映像信号を入力とし、この目的映像信号を所定の間隔で時系列にサンプリングして得られる離散値である目的時系列信号から、例えば、目的映像信号からサンプリング単位に周波数毎のパワースペクトル等を抽出して特徴量とし、この抽出した特徴量を多次元ベクトル化して特徴ベクトルを得て、この特徴ベクトルからなる目的特徴を算出するものである。【０１２６】
蓄積特徴計算部３２は、目的特徴計算部３１と同様に、蓄積映像信号を所定の間隔で時系列にサンプリングして得られる離散データである蓄積時系列信号から、抽出した特徴量を多次元ベクトル化して特徴ベクトルを得て、この特徴ベクトルからなる蓄積特徴を算出するものである。
なお、ここでは、目的特徴及び蓄積特徴を、多次元ベクトルとしているが、行列表現するようにしても良い。【０１２７】
目的特徴正規化部３３は、上記目的特徴から、その目的特徴に隣接した目的特徴を含む周辺の複数の目的特徴から導いた統計量を用いて、特徴ベクトルの各要素毎独立に正規化し、正規化された値からなる特徴ベクトルを有する目的正規化特徴を導くものである。【０１２８】
蓄積特徴正規化部３４は、上記蓄積特徴から、その蓄積特徴に隣接した蓄積特徴を含む周辺の複数の蓄積特徴から導いた統計量を用いて特徴ベクトルの要素毎、独立に正規化し、正規化された値からなる特徴ベクトルを有する蓄積正規化特徴を導くものである。
ここで、「蓄積特徴に『隣接した』蓄積特徴」の表現で用いられる「隣接した」とは、例えば、映像信号を時間に関してサンプリングした際に得られる離散時刻のフレームに対し、その前後の離散時刻のフレームを表した場合の「前後の離散時刻の」に対応する。また、「周辺の複数の」とは、前記例を用いると、「ある離散時刻間の」に対応する。【０１２９】
目的特徴エリア選択部３５は、上記目的特徴から所定の統計量を計算し、その統計量が所定の閾値を越える要素を、目的正規化特徴から選択し、選択された要素の多次元ベクトルからなる目的エリア選択特徴を導くものである。【０１３０】
蓄積特徴エリア選択部３６は、上記蓄積正規化特徴を所定の統計量を計算し、その統計量が所定の閾値を越える要素を、蓄積正規化特徴から選択し、選択された要素の多次元ベクトルからなる蓄積エリア選択特徴を導くものである。【０１３１】
特徴照合部３７は、上記蓄積エリア選択特徴に所定の範囲を照合区間として設定し、この照合区間と同一の長さの被照合区間を目的エリア選択特徴に設定して、上記照合区間と被照合区間との類似度を計算し、予め設定された探索閾値と比較して、類似しているか否かの判定を行い、その結果を信号検出結果として出力する。
また、特徴照合部３７は、上記照合区間の照合処理が終了すると、新たな照合区間を設定するため、配列の隣接する同一時間幅の範囲に照合区間をずらす処理を行う。【０１３２】
蓄積エリア選択特徴データベース３８は、蓄積特徴計算部３２、蓄積特徴正規化部３４及び蓄積特徴エリア選択部３６により予め計算された蓄積エリア選択特徴を記憶している。
複数のＣＭ映像を蓄積映像信号とする例を用いると、蓄積エリア選択特徴データベース３８は、各ＣＭ提供者名に対応付けて、前記予め計算された蓄積エリア選択特徴を記憶している。
なお、この例では、蓄積エリア選択特徴データベース３８に、予め計算した蓄積エリア選択特徴を計算して蓄積しているが、蓄積映像信号（生の映像信号）を記憶するデータベースを設けるようにしても良い。【０１３３】
ここで、目的特徴エリア選択部３５及び蓄積特徴エリア選択部３６での閾値の設定について説明する。
上記閾値は、例えば、正規化特徴ベクトルの各要素の値と統計処理により求められた基準となる値（ここでは「０」）との差分の絶対値が大きい要素を選択する場合、正規化特徴ベクトルの各要素の値と「０」との差分の絶対値が最大となる値の例えば８割の数値を閾値とし、各要素の中で、差分の絶対値が閾値を越えた要素を選択することが考えられる。【０１３４】
図６は、このことを示すものである。図６において、正規化特徴ベクトルの各要素ｄ１〜ｄ６の値と「０」との差分の絶対値をＤ１〜Ｄ６とする。ここで、差分の絶対値Ｄ１〜Ｄ６の中で最大となるものを選び、その値の例えば８割を閾値とする。
図６に示すように、差分の絶対値が最大となるのは、要素ｄ２の差分の絶対値Ｄ２である。よって、Ｄ２との差分の絶対値の８割を閾値｜θ｜として設定する。
｜θ｜＝０．８×Ｄ２
そして、各要素ｄ１〜ｄ６の値との差分の絶対値をＤ１〜Ｄ６と、閾値｜θ｜とをそれぞれ比較し、閾値を越えるものを抽出する。なお、選択されたものは丸印が付されている。【０１３５】
図６では、要素ｄ２の差分の絶対値Ｄ２と、要素ｄ４の差分の絶対値Ｄ４と、要素ｄ５の絶対値Ｄ５と、要素ｄ６の差分の絶対値Ｄ６とが閾値｜θ｜を越えているので、これらの要素が選択特徴のパターンとして選択される。【０１３６】
なお、ここでは、差分の絶対値が最大となるものの８割の値を閾値としているが、これは一例であり、８割に限定されるものではない。【０１３７】
また、要素毎の下限値を設けておき、この下限値（１つ又は複数個）を得る要素が選択されるまで、閾値を徐々に下げるように制御しても良い。例えば、図７の例では、上位２つの要素を選択する場合を示し、閾値を徐々に下げていくことにより、差分の絶対値が最大となる要素ｄ２の値と「０」との差分の絶対値Ｄ２と、要素ｄ５の値と「０」との差分の絶対値Ｄ５とが選択特徴のパターンとして選択される。【０１３８】
また、目的特徴エリア選択部３５は、上記目的特徴における所定の範囲の特徴ベクトルの各要素の平均値を求め、各要素からこの平均値を除算した結果の絶対値が所定の閾値を超えた要素を、目的正規化特徴から選択し、選択された要素の多次元ベクトルからなる目的エリア選択特徴を導いても良い。【０１３９】
同様に、蓄積特徴エリア選択部３６は、上記蓄積特徴における所定の範囲の特徴ベクトルの各要素の平均値を求め、各要素からこの平均値を除算した結果の絶対値が所定の閾値を超えた要素を、蓄積正規化特徴から選択し、選択された要素の多次元ベクトルからなる蓄積エリア選択特徴を導いても良い。【０１４０】
上記閾値は、例えば、正規化特徴ベクトルの各要素の値と平均値との差分の絶対値が大きい要素を選択する場合、正規化特徴ベクトルの各要素の値と平均値との差分の絶対値が最大となる値の例えば８割の数値を閾値とし、各要素の中で、平均値との差分の絶対値が閾値を越えた要素を選択するようにしても良い。
このとき、要素の下限値を設けておき、この下限値を越える要素が選択されるまで、閾値を徐々に下げるように制御しても良い。【０１４１】
更に、目的特徴エリア選択部３５は、上記目的特徴及び目的正規化特徴を入力し、この目的特徴における所定の範囲（一定区画）の特徴ベクトルの要素毎の標準偏差を求め、次に、目的正規化特徴の対応する配列位置の特徴ベクトルの要素毎に、上記標準偏差を乗算して、乗算結果の絶対値を計算して統計量とし、この統計量において最上位又は最上位から複数個（例えば、２個）を、目的正規化特徴から選択して、特徴パターンである、選択された要素の多次元ベクトルからなる目的エリア選択特徴を導いても良い。【０１４２】
同様に、蓄積特徴エリア選択部３６は、上記蓄積特徴及び蓄積正規化特徴を入力し、この蓄積特徴における所定の範囲（一定区画）の特徴ベクトルの要素毎の標準偏差を求め、次に、蓄積正規化特徴の対応する配列位置の特徴ベクトルの要素毎に、上記標準偏差を乗算して、乗算結果の絶対値を計算して統計量とし、この統計量において最上位又は最上位から複数個（例えば、２個）を、目的正規化特徴から選択して、特徴パターンである、選択された要素の多次元ベクトルからなる目的エリア選択特徴を導いても良い。【０１４３】
次に、図面を参照して本実施形態の映像信号探索システムの動作の説明を行う。図８は、図５の映像信号探索システムの動作例を示すフローチャートである。
以下の説明では、１フレームを複数に分割した各領域のＲＧＢの各色の平均値の情報を用いた実施例を示す。【０１４４】
図８において、蓄積特徴計算部３２は、与えられた蓄積映像信号を読み込んで出力し（ステップＵ１）、入力した蓄積映像信号に対して特徴抽出を行う。
このとき、蓄積特徴計算部３２は、蓄積映像の時系列データをもとにして、図９に示すように、例えば蓄積映像の１フレームの画像を横に３等分かつ縦に３等分して合計９の領域に分割し、それぞれの分割（領域）内におけるＲＧＢの各色の画素について平均値を算出する。第ｉ番目のフレームの場合、第１サブ画面のＲＧＢに関する平均値を各々（ｘｉ，１，ｘｉ，２，ｘｉ，３）とし、第２サブ画面のＲＧＢに関する平均値を各々（ｘｉ，４，ｘｉ，５，ｘｉ，６）とし、第３サブ画面のＲＧＢに関する平均値を各々（ｘｉ，７，ｘｉ，８，ｘｉ，９）とし、以下同様にして、各サブ画面のＲＧＢに関する平均値を各々要素とする多次元ベクトルを生成する。この多次元ベクトルを局所領域原色特徴と呼ぶ。
この場合、前述のｘｉ，１等は局所領域原色特徴の要素となる。
こうして得られた９個の領域におけるＲＧＢそれぞれの平均画素値からなる合計２７次元のベクトルを特徴ベクトルとして抽出し、蓄積特徴とする。この場合、特徴ベクトルは、１フレーム毎に得られる（ステップＵ２）。
また、蓄積特徴の抽出方法には、ディジタル動画像圧縮技術であるＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）符号化方式（動き補償とＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）と可変長符号化からなる）やフーリエ変換の振幅成分を使用する方法がある。【０１４５】
次に、蓄積特徴正規化部３４は、蓄積特徴計算部３２から蓄積特徴を読み込み、この蓄積特徴の特徴ベクトルの各要素毎に、所定の一定区画の平均値と標準偏差とを計算して求める。例えば、蓄積特徴正規化部３４は、各領域における各ＲＧＢ色毎にある時間区間の値から平均値と標準偏差とを求め、求められた平均値と標準偏差とを用いて正規化を行う。
このとき、蓄積特徴正規化部３４による正規化後の局所領域原色特徴を正規化局所原色特徴と呼ぶ時、そのｋ番目の要素は、以下の（３１）式となる。【０１４６】
【数３１】
0004358229.tif 000013
【０１４７】
但し、（３１）式におけるｘ（ｉ＋ｊ），ｋは、全フレームに通し番号を付与した場合の（ｉ＋ｊ）番目のフレームの局所領域特徴のｋ番目の要素を表す。ｊは設定された時間区間内のフレームにおける中心フレームに対する相対的な番号であり、設定された時間区間内に２Ｍ個のフレームが含まれる場合、−Ｍ≦ｊ≦Ｍ−１、ｊは整数となる。ｉは設定された時間区間のフレームのうち中心フレームの通し番号（ｉ≧Ｍ）であり、ｊ＝０の時の通し番号に相当する。また、ｍｉ，ｋは、−Ｍ≦ｊ≦Ｍ−１のｘ（ｉ＋ｊ），ｋに対する平均値であり、（３２）式で表される。σｉ，ｋは、−Ｍ≦ｊ≦Ｍ−１のｘ（ｉ＋ｊ），ｋに対する標準偏差であり、以下に示す（３３）式により求められる。【０１４８】
【数３２】
0004358229.tif 000014
【０１４９】
【数３３】
0004358229.tif 000015
【０１５０】
局所時間内の統計処理を行うために、２Ｍフレームに相当する時間窓を設定したとすると、図１０に示すように、２Ｍフレーム分の特徴ベクトルが得られる。特徴ベクトルは、図９に示したように、１フレームを９つの領域に分割し、それぞれの領域においてＲＧＢの各画素について平均化したもので、２７の要素からなる。よって、２Ｍフレームに相当する時間窓を設定すると、特徴ベクトルが２Ｍ個得られ、この２Ｍフレームからなる特徴ベクトルを纏めると、以下のような（２Ｍ）行Ｎ列の行列で表現できる。但し、Ｎは１フレーム毎に得られる特徴ベクトルの要素の数である。ｎを、１フレームを分割した際のサブ画面の数を表す整数とした時、Ｎは、Ｎ＝３×ｎで表される。なお、前記時間窓のフレーム数は、２Ｍという偶数で記載したが、偶数に限られず、奇数であってもよい。【０１５１】
【数３４】
0004358229.tif 000016
【０１５２】
次の段階で設定される時間窓は、１フレームだけシフトされた位置に設定される。そして、（３１）〜（３３）式により得られた正規化局所領域原色特徴の要素から成る多次元ベクトルの時系列な配列（ｋで示される順番）を蓄積正規化特徴とする（ステップＵ３）。【０１５３】
次に、蓄積特徴エリア選択部３６は、蓄積特徴計算部３２から蓄積特徴を、また、蓄積特徴正規化部３４から、蓄積正規化特徴を読み込んで入力し、蓄積特徴の多次元ベクトルの各要素毎に標準偏差σｉ，ｋを、各要素（局所領域のＲＧＢ原色からなる特徴ベクトル）の配列の一定区間において、上記（３２）及び（３３）式を用いて求める。同様のことは、蓄積特徴正規化部３４から蓄積正規化特徴と標準偏差とを、蓄積特徴エリア選択部３６に読み込み入力することでも達成できる。
そして、蓄積特徴エリア選択部３６は、以下の（３５）式に示すように、各要素ｙｉ，ｋに標準偏差σｉ，ｋを乗じて、その絶対値をとる。【０１５４】
【数３５】
0004358229.tif 000017
【０１５５】
ここで、蓄積特徴エリア選択部３６は、得られた各要素と標準偏差との乗算結果である統計量ｚｉ，ｋから、一定区画単位に要素毎に最上位から複数個の要素、例えば上位の２つの要素を選択する。統計量ｚｉ，ｋを選択するための所定の区間（時間窓又はフレーム数）は、正規化局所領域原色特徴の要素ｙｉ，ｋを算出した際の時間窓とは独立に決定でき、一致する必要はない。ここでは、前記時間窓に含まれるフレーム数をＭ’とする。
つまり、局所時間内の特徴ベクトルは、式（３６）に示すような行列で表現できる。この行列の各行の要素のうち、降順に上述した所定の個数に対応するＰ個（Ｐは正整数）、例えば、（Ｐ＝２）個を選択する。【０１５６】
【数３６】
0004358229.tif 000018
【０１５７】
このような選択は、選択された（Ｍ’×Ｐ）個の要素に対応する要素が「０」であり、他の要素が（-ｚｉ，ｋ）である行列（選択マスク）を加算することで実現できる。例えば、ｚｉ，１，ｚｉ，３，ｚｉ＋１，２，ｚｉ＋１，Ｎ，ｚｉ＋（Ｍ’−１），２，ｚｉ＋（Ｍ’−１），３を選択する選択マスクは、以下のようになる。【０１５８】
【数３７】
0004358229.tif 000019
【０１５９】
（３６）式に示す行列に、（３７）式に示す選択マスクを加算すると、以下のように、蓄積エリア選択特徴の行列が得られる。【０１６０】
【数３８】
0004358229.tif 000020
【０１６１】
そして、蓄積特徴エリア選択部３６は、上記一定区間において、蓄積正規化特徴から要素毎に選択された要素のベクトルからなる多次元ベクトルを蓄積エリア選択特徴として出力する（ステップＵ４）。【０１６２】
このとき、蓄積特徴エリア選択部３６は、計算により得られた蓄積エリア選択特徴を、特徴照合部３７へ直接送信するか、又は、一旦蓄積エリア選択特徴データベース３８への登録のいずれかの処理を行う。
特徴照合部３７がリアルタイムに蓄積エリア選択特徴と、目的エリア選択特徴との比較を行う場合、蓄積特徴エリア選択部３６は、特徴照合部３７へ、入力されている蓄積映像信号の蓄積エリア選択特徴を出力する。また、蓄積エリア選択特徴データベース３８へ蓄積映像信号のデータを登録する場合、蓄積特徴エリア選択部３６は特徴照合部３７へ蓄積エリア選択特徴を送信せずに、蓄積エリア選択特徴データベース３８へ、例えば映像広告提供者名、或いは番組名や映画の題名に対応させて蓄積エリア選択特徴の登録処理を行う。【０１６３】
目的特徴計算部３１は、与えられた目的映像信号を読み込んで入力し（ステップＵ５）、入力した目的映像信号に対して特徴抽出を行う。
このとき、目的特徴計算部３１は、蓄積特徴計算部３２と同様に、目的映像の時系列データをもとにして、例えば目的映像の１フレームの画像を横に３等分かつ縦に３等分して合計９の領域に分割し、それぞれの分割（領域）内におけるＲＧＢの各色の画素について平均値を算出する。こうして得られた９個の領域におけるＲＧＢそれぞれの平均画素値からなる合計２７次元のベクトルを特徴ベクトルとして抽出し、目的特徴とする（ステップＵ６）。
また、蓄積特徴の抽出方法には、ディジタル動画像圧縮技術であるＭＰＥＧ符号化方式（動き補償とＤＣＴと可変長符号化からなる）やフーリエ変換の振幅成分を使用する方法がある。【０１６４】
次に、目的特徴正規化部３３は、目的特徴計算部３１から目的特徴を読み込み、この目的特徴の特徴ベクトルの要素毎に、所定の一定区画の平均値と標準偏差とを計算して求める。
即ち、目的特徴正規化部３３は、蓄積特徴正規化部３４と同様に、（３１）〜（３３）式により得られた多次元ベクトルの時系列な配列（ｋで示される順番）を目的正規化特徴とする（ステップＵ７）。【０１６５】
次に、目的特徴エリア選択部３５は、目的特徴計算部３１から目的特徴を、また、目的特徴正規化部３３から、目的正規化特徴を読み込んで入力し、蓄積特徴エリア選択部３６と同様に、目的特徴の一定区画から求めた標準偏差σｉ，ｋを、要素毎に乗算して乗算結果を統計量とする。同様のことは、目的特徴正規化部３３から目的正規化特徴と標準偏差とを、目的特徴エリア選択部３５に読み込み入力することでも達成できる。
そして、目的特徴エリア選択部３５は、要素毎の配列において、上記統計量から数値の大きい順に上位２つの要素を選択して、目的正規化特徴から要素毎に選択された要素のベクトルからなる多次元ベクトルを目的エリア選択特徴として出力する（ステップＵ８）。【０１６６】
次に、特徴照合部３７は、目的特徴エリア選択部３５及び蓄積特徴エリア選択部３６により得られた目的エリア選択特徴及び蓄積エリア選択特徴を各々読み込む。
また、特徴照合部３７は、目的映像信号及び蓄積映像信号を同時に入力して、リアルタイムに類似を判定する場合以外、蓄積エリア選択特徴データベース３８から順次比較を行う蓄積エリア選択特徴を読み出して、目的エリア選択特徴と比較する。
このとき、特徴照合部３７は、蓄積エリア選択特徴において、目的特徴エリア選択部３５で与えられた目的エリア選択特徴と同じ長さの特徴ベクトルの配列を照合区間として設定する。
即ち、特徴照合部３７は、複数の上記一定区画からなる目的エリア選択特徴を照合区間とし、蓄積エリア選択特徴において、目的エリア選択特徴と同一の一定区画数からなる配列長を、目的エリア選択特徴に対する照合区間として対応させて、順次、両照合区間を類似度により比較する。【０１６７】
そして、特徴照合部３７は、目的エリア選択特徴と蓄積エリア選択特徴とにおける照合区間の比較箇所との類似度判断数を下記（３９）式を用いて計算する。特徴照合部３７で用いる照合区間（時間窓又はフレーム数）は、蓄積エリア選択部３６又は目的エリア選択部３５で用いた時間区間（時間窓）及び蓄積又は目的特徴正規化部３３で用いた時間区間（時間窓）とは独立に決定することができる、即ち、必ずしも一致した時間区間を使用する必要はない。
特徴照合部３７は、目的エリア選択特徴及び蓄積エリア選択特徴の照合区間における各々の正規化局所領域原色特徴ｙｑ＿ｉ，ｋと、ｙｓ＿ｉ，ｋとの一致箇所のユークリッド距離と、非一致箇所の数に所定の定数ａを乗じた値の和を計算し、これを類似度判断数Ｓとして出力する（ステップＵ９）。
なお、蓄積エリア選択特徴と目的エリア選択特徴とを生成する際の各々の選択マスクにおいて、同じｉ，ｋを有する要素（同じ位置の要素）が「０」である要素を「一致」といい、それ以外を「非一致」という。【０１６８】
【数３９】
0004358229.tif 000021
【０１６９】
但し、ｑ，ｓは各々目的特徴のエリア選択箇所、蓄積特徴のエリア選択箇所であることを意味し、ｒは整数であり、目的特徴と蓄積特徴とにおけるフレーム番号が等しくなくても良いことを表す変数である。aは例えばｙｉ，ｋのユークリッド距離の差分値のとり得る値の最大値、即ち、ｙｉ，ｋの量子化レベル数の２乗とすることが考えられる。ｘはエリア選択箇所ｘの要素数、ｍａｘ（ｘ，ｙ）は、次式で定義する。【０１７０】
【数４０】
0004358229.tif 000022
【０１７１】
ここで、例えば、特徴照合部３７は目的エリア選択特徴が１５秒の長さであるとすると、配列の要素としての特徴ベクトルを０．１秒間隔に合計１５０箇所抽出する。各サンプリングにおいてフレーム画像を分割し、ＲＧＢ号それぞれの平均画素値を求めているため、これらのベクトルからなる（１５０×２７）の４０５０次元から、各領域における各ＲＧＢ色強度の上位２つ（目的特徴エリア選択部３５が抽出）を用い、５４の要素からなる多次元ベクトルを照合に用いる目的ベクトルとする。【０１７２】
また、特徴照合部３７は、上記目的ベクトルと同様に、蓄積エリア選択特徴のデータの先頭から、１５秒の長さを単位に順次照合区間として設定して、特徴ベクトルの配列から、特徴ベクトルを０．１秒間隔に合計１５０箇所抽出し、各サンプリングにおいてフレーム画像を分割し、ＲＧＢそれぞれの平均画素値を求めているため、それらからなる（１５０×２７）の４０５０次元から、各領域における各ＲＧＢ色強度の上位２つ（蓄積特徴エリア選択部３６が抽出）を用い、５４の要素からなる多次元ベクトルを照合に用いる蓄積ベクトルとする。【０１７３】
そして、特徴照合部３７は、目的エリア選択特徴と蓄積エリア選択特徴との照合を行う。
即ち、（３９）式を用いて、上記目的ベクトルと蓄積ベクトルとの類似度判断数Ｓを計算し、予め設定した探索閾値と比較処理を行う（ステップＵ１０）。照合の結果、（３９）式で求められる類似度判断数Ｓが予め設定された探索閾値より大きい（類似度が小さい）場合には、時間窓をシフトして、フィードバックする（ステップＵ１１）。【０１７４】
ステップＵ１１で、照合区間を蓄積エリア選択特徴の先頭から順次ずらしながら（例えば、１フレームずつシフトさせながら）、上記目的ベクトルと蓄積ベクトルとの類似度判断数Ｓを計算し、予め設定した探索閾値と比較処理を行い、目的エリア選択特徴と蓄積エリア選択特徴とを、蓄積エリア選択特徴の最後まで照合処理した後、照合区間毎の類似度判断数Ｓが予め設定された探索閾値より低い蓄積エリア選択特徴の照合区間の領域が検索されたら、この照合区間を探索結果として出力する（ステップＵ１２）。
なお、照合する際の目的映像信号のフレーム数と蓄積映像信号のフレーム数とは必ずしも等しい必要はない。【０１７５】
以上説明したように、本発明の実施形態では、蓄積映像信号及び目的映像信号から統計的に特徴的な要素のみを選択して照合を行っている。【０１７６】
なお、特徴照合部３７は、探索結果として、比較した結果において、もっとも類似度判断数が低い蓄積エリア選択特徴の照合区間の領域を出力するようにしても良い。【０１７７】
また、特徴照合部３７は、探索閾値を複数の照合区間の類似度が下回った場合、類似度の上位（低い数値のものから）Ｎ番目までの照合区間を出力するようにすることも可能である。
更に、特徴照合部３７は、探索閾値を下回る照合区間がない場合など、該当箇所がないことを示す情報を通知し、新たな蓄積映像信号の蓄積エリア選択特徴を、蓄積エリア選択特徴データベース３８から読み出し、上記探索閾値以下の照合区間を有する蓄積エリア選択特徴が探索されるまで、ステップＵ９以降の探索処理を継続させて行うようにしても良い。【０１７８】
また、図５における目的特徴計算部３１、目的特徴正規化部３３及び目的特徴エリア選択部３５を各ユーザの端末（例えばパーソナルコンピュータ）にインストールしておき、映像配信を行うサービスプロバイダに蓄積特徴計算部３２、蓄積特徴正規化部３４、蓄積特徴エリア選択部３６、特徴照合部３７及び蓄積エリア選択特徴データベース３８を有する映像信号探索サーバを設けても良い。
これにより、ユーザがビデオカメラ付携帯電話等で受信した映像信号を目的映像信号として、目的エリア選択特徴まで生成し、この目的エリア選択特徴を上記映像信号探索サーバへ、インターネットなどを介して送信し、この目的エリア選択特徴に類似した蓄積映像信号を探索してもらうように要求する構成とする。このとき、蓄積エリア選択特徴及び目的エリア選択特徴を計算するときの一定区画の特徴ベクトルの配列長等の規定は、映像信号探索サーバと端末とにおいて予め一致させておく。【０１７９】
次に、上記映像信号探索システムを適用した実施形態を示す。本発明の映像信号探索システムは、実環境で収録した反射や途切れのある断片的な映像信号を使って、一致する映像を探索し情報検索を行うのに利用できる。例えば、街頭の大型スクリーンに映し出されるＣＭをユーザがビデオカメラ付携帯電話で撮影し、映像信号探索サービスなどに送信する。映像信号探索サービス提供者は、この映像信号に一致又は類似する映像をデータベースより検索し、コンテンツ或いはこの映像に関する情報（例えば商品情報、製品特徴、サービス、撮影地、出演者、ホームページ等）を有料、又は無料でユーザに提供するといった構成が可能である。
ここで、検索する映像の入力方法においては、ビデオカメラ付端末のファインダ又はスクリーンを撮りたい映像（目的映像信号）のフレームに合わせて撮影するか、又は撮影された映像中の動画フレームをメニュー操作、或いはペン入力等によるマニュアルトレースで範囲指定することが望ましい。
更に、本発明により従来は正しく探索することの難しかった、家庭用ビデオでダビングを反復した映像や、ビットレートの低い映像も容易に探索できるため、インターネット上の動画の著作権管理システムや、ＣＭ情報検索サービスなどにも広く応用可能である。
他には、ユーザがビデオカメラで撮影した動画イメージを使って、そのイメージに近いクリップを、配信されている映画やテレビプログラムから切り取って編集したりすることにも利用できるであろう。【０１８０】
＜第４の実施の形態＞
以下、本発明の第４の実施の形態について図面を参照しながら説明する。図１１は、本発明の一実施形態であり、映像信号を対象とする反射や途切れに頑健な映像信号探索システムの構成を示すブロック図である。
この図１１に示す映像信号探索システムは、映像信号を対象とする反射や途切れに頑健な信号検出を実現するものであり、目的特徴計算部４１と、蓄積特徴計算部４２と、目的特徴正規化部４３と、蓄積特徴正規化部４４と、目的特徴量子化部４５と、蓄積特徴量子化部４６と、特徴照合部４７と、蓄積量子化特徴データベース４８とで構成されており、蓄積映像信号、即ち検索される映像信号と、目的映像信号、即ち検索したい映像信号を入力し、目的時系列信号に類似した蓄積時系列信号中の箇所を出力する。【０１８１】
目的特徴計算部４１は、目的映像信号を入力とし、この目的映像信号を所定の間隔で時系列にサンプリングして得られる離散データである蓄積時系列信号から、抽出した特徴量を多次元ベクトル化して特徴ベクトルを得て、この特徴ベクトルからなる目的特徴を算出するものである。【０１８２】
蓄積特徴計算部４２は、目的特徴計算部４１と同様に、蓄積映像信号を所定の間隔で時系列にサンプリングして得られる離散値である蓄積時系列信号から、例えば、蓄積映像信号からサンプリング単位に周波数毎のパワースペクトル値等を抽出して特徴量とし、この抽出した特徴量を多次元ベクトル化して特徴ベクトルを得て、この特徴ベクトルからなる蓄積特徴を算出するものである。【０１８３】
目的特徴正規化部４３は、上記目的特徴から、その目的特徴に隣接した目的特徴を含む周辺の複数の目的特徴から導いた統計量（目的統計量とも呼ぶ）を用いて、特徴ベクトルの要素毎に独立に正規化し、正規化された値からなる特徴ベクトルを有する目的正規化特徴を導くものである。【０１８４】
蓄積特徴正規化部４４は、上記蓄積特徴から、その蓄積特徴に隣接した蓄積特徴を含む周辺の複数の蓄積特徴から導いた統計量（蓄積統計量とも呼ぶ）を用いて特徴ベクトルの要素毎に独立に正規化し、正規化された値からなる特徴ベクトルを有する蓄積正規化特徴を導くものである。【０１８５】
ここで、「蓄積特徴に『隣接した』蓄積特徴」の表現で用いられる「隣接した」とは、例えば、映像信号を時刻に関してサンプリングした際に得られる離散時刻のフレームに対し、その前後の離散時刻のフレームを表現する場合の「前後の離散時刻の」に対応する。
また、「周辺の複数の」とは、前記例を用いると、「ある離散時刻の間の」を意味する。【０１８６】
目的特徴量子化部４５は、上記目的正規化特徴の各要素において、同一若しくは個別の閾値によりスカラー量子化し、この量子化された値をベクトルの要素とする多次元ベクトルとして目的量子化特徴を導くものである。【０１８７】
蓄積特徴量子化部４６は、上記蓄積正規化特徴の各要素において、同一若しくは個別の閾値によりスカラー量子化し、この量子化された値をベクトルの要素とする多次元ベクトルとした蓄積量子化特徴を導くものである。
なお、映像信号における蓄積特徴についての縮退させたベクトルおよび、目的特徴についての縮退させたベクトルとは、上述と同様の計算により得られるものである。【０１８８】
量子化を行う上記所定の閾値は、目的及び蓄積正規化特徴を２値化する場合、各符号の代表数値ともとの要素の数値との平均２乗誤差が最小化される値を使用する。代表数値としては、例えば、２つの符号のうち一方を閾値よりも１大きい値を使用し、もう一方を閾値よりも１小さい値を使用する。【０１８９】
特徴照合部４７は、上記蓄積量子化特徴に所定の範囲を照合区間として設定し、この照合区間と同一の長さの被照合区間を目的量子化特徴に設定して、上記照合区間と被照合区間との類似度を演算し、予め設定された探索閾値と比較して、類似しているか否かの判定を行う。
また、特徴照合部４７は、上記照合区間の照合処理が終了すると、新たな照合区間を設定するため、配列の隣接する同一時間幅の範囲に照合区間をずらす処理を行っている。【０１９０】
蓄積量子化特徴データベース４８は、蓄積特徴計算部４２、蓄積特徴正規化部４４及び蓄積特徴量子化部４６により、予め蓄積量子化特徴を計算し、記憶している。複数のＣＭ（Ｃｏｍｍｅｒｃｉａｌ  Ｍｅｓｓａｇｅ）映像を蓄積映像信号とする例を用いると、蓄積量子化特徴データベース４８は、各ＣＭ提供者名に対応付けて、予め計算された蓄積量子化特徴を記憶している。
なお、この例では、蓄積量子化特徴データベース４８に、予め計算した蓄積量子化特徴を計算して蓄積しているが、蓄積映像信号（生の映像信号）を記憶するデータベースを設けるようにしても良い。【０１９１】
次に、図面を参照して本実施形態の映像信号探索システムの動作の説明を行う。図１２は、図１１の映像信号探索システムの動作例を示すフローチャートである。
なお、以下の説明では、１フレームを複数に分割した各領域のＲ（赤）Ｇ（緑）Ｂ（青）の各色の平均値の情報を用いた実施例を示す。【０１９２】
図１２において、蓄積特徴計算部４２は、与えられた蓄積映像信号を読み込んで出力し（ステップＶ１）、入力した蓄積映像信号に対して特徴抽出を行う。
このとき、蓄積特徴計算部４２は、蓄積映像の時系列データをもとにして、蓄積映像の１フレームの画像をｎ領域（例えば横に３等分、縦に３等分した合計９の領域）に分割し、それぞれの分割領域内におけるＲＧＢの各色の画素について平均値を算出する。【０１９３】
つまり、図１３に示すように、フレーム（−Ｍ）からフレーム（Ｍ−１）の２Ｍフレームに相当する時間窓を設定したとすると、その間にあるフレーム０（０は時間窓内のフレームにおける相対番号を表し、０番目のフレームの意味である。）において、図１４に示すように、１フレームをｎ個のサブ画面に分割する。フレーム０の第１サブ画面のＲＧＢの各色の画素を平均して平均値（ｘｉ，１，ｘｉ，２，ｘｉ，３）を取得し、第２サブ画面のＲＧＢの各色の画素を平均して平均値（ｘｉ，４，ｘｉ，５，ｘｉ，６）を取得し、第３サブ画面のＲＧＢの各色の画素を平均して平均値（ｘｉ，７，ｘｉ，８，ｘｉ，９）を取得し、以下同様にして、第ｎサブ画面のＲＧＢの各色の画素を平均して平均値（ｘｉ，（３ｎ−２），ｘｉ，（３ｎ−１），ｘｉ，３ｎ）を取得する。但し、第１番目の添え字は全フレームに付与された通し番号を示し、第２番目の添え字は、そのフレーム内での要素の番号を示す。また、第１番目の添え字は、全フレームに付与された通し番号ｉと、第ｉ番目のフレームに対する相対的な位置を表すｊとの和（ｉ＋ｊ）で表すこともある。【０１９４】
これにより、例えば、ｎ＝９とすると、各フレームにおいて（３×９＝２７）次元の値が得られ、こうして得られた２７次元の多次元ベクトルを特徴ベクトルとして抽出して蓄積特徴とする。（ステップＶ２）。前記多次元ベクトルを局所領域原色特徴と呼ぶ。この場合、前述のｘｉ，１等は局所領域原色特徴の要素となる。
また、蓄積特徴の抽出方法には、ディジタル動画像圧縮技術であるＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）符号化方式（動き補償とＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）と可変長符号化からなる）やフーリエ変換の振幅成分を使用する方法がある。【０１９５】
次に、蓄積特徴正規化部４４は、蓄積特徴計算部４２から蓄積特徴を読み込み、この蓄積特徴の特徴ベクトルの要素ごとに、所定の一定区画の平均値と標準偏差とを計算して求める。
例えば、蓄積特徴正規化部４４は、各領域における各ＲＧＢ色毎にある時間区間の値から平均値と標準偏差とを求め、求められた平均値と標準偏差とを用いて正規化を行う。
このとき、蓄積特徴正規化部４４による正規化後の局所領域原色特徴を正規化局所原色特徴と呼ぶ時、そのｋ番目の要素ｙｉ，ｋは、以下の（４１）式となる。【０１９６】
【数４１】
0004358229.tif 000023
【０１９７】
【数４２】
0004358229.tif 000024
【０１９８】
【数４３】
0004358229.tif 000025
【０１９９】
但し、（４２）式におけるｘ（ｉ＋ｊ），ｋは、全フレームに通し番号を付与した場合の（ｉ＋ｊ）番目のフレームの局所領域特徴のｋ番目の要素を表す。ｊは設定された時間区間内のフレームにおける中心フレームに対する相対的な番号であり、設定された時間区間内に２Ｍ個のフレームが含まれる場合、−Ｍ≦ｊ≦Ｍ−１、ｊは整数となる。ｉは設定された時間区間のフレームのうちの中心フレームの通し番号（ｉ≧Ｍ）であり、ｊ＝０の時の通し番号に相当する。また、ｍｉ，ｋは、−Ｍ≦ｊ≦Ｍ−１のｘ（ｉ＋ｊ），ｋに対する平均値である。（４３）式における  σｉ，ｋは−Ｍ≦ｊ≦Ｍ−１のｘ（ｉ＋ｊ），ｋに対する標準偏差である。【０２００】
或るフレームを中心フレームとし、その中心フレームの前後のフレームの局所領域原色特徴を用いて統計処理（正規化）を行い、その中心フレームに対して正規化局所領域原色特徴を得る。１フレームずつずらしながら中心フレームを設定することで、全てのフレームに対して正規化局所領域原色特徴を得ることができる。この工程は、局所領域原色特徴を正規化局所領域特徴へ写像する工程である。蓄積特徴の前記写像を正規化蓄積特徴Ｙと呼ぶ（ステップＶ３）。【０２０１】
【数４４】
0004358229.tif 000026
【０２０２】
但し、Ｎは１フレーム毎に得られる特徴ベクトルの要素の数である。１フレームをｎ分割した際、Ｎは、Ｎ＝３×ｎで表される。
次に、蓄積特徴量子化部４６は、蓄積特徴正規化部４４から、蓄積特徴を読み込んで入力し、蓄積正規化特徴の多次元ベクトルの要素毎に、１以上の閾値により、量子化する。【０２０３】
例えば、閾値をｔ１、ｔ２、…、ｔＲとし、上記（４４）式で示されるベクトルＹを量子化すると、以下のように、Ｒ個の閾値を用いた場合には、ｙｉ，ｋは、（Ｒ＋１）元符号化される。【０２０４】
【数４５】
0004358229.tif 000027
【０２０５】
以降、単純化のために、閾値ｔにより２元符号化（２値化）される場合について説明する。閾値ｔによる２元符号化は、以下のようになる。【０２０６】
【数４６】
0004358229.tif 000028
【０２０７】
式（４４）で示される行列を、閾値ｔにより２元符号化したものを、量子化特徴Ｚとすると、量子化特徴Ｚは、以下のように示される。【０２０８】
【数４７】
0004358229.tif 000029
【０２０９】
蓄積特徴量子化部４６は、この多次元ベクトルＺ、又は、多次元ベクトルの時系列（即ち、複数のフレーム分のＺ）を１つの新たな多次元ベクトルとしたもの、を蓄積量子化特徴として出力する（ステップＶ４）。
このとき、蓄積特徴量子化部４６は、演算により得られた蓄積量子化特徴を、特徴照合部４７へ直接送信するか、又は、一旦蓄積量子化特徴データベース４８への登録のいずれかの処理を行う。【０２１０】
特徴照合部４７がリアルタイムに蓄積量子化特徴と、目的量子化特徴との比較を行う場合、蓄積特徴量子化部４６は、特徴照合部４７へ、入力されている蓄積映像信号の蓄積量子化特徴を出力する。また、蓄積量子化特徴データベース４８へ蓄積映像信号のデータを登録する場合、蓄積特徴量子化部４６は特徴照合部４７へ蓄積量子化特徴を送信せずに、蓄積量子化特徴データベース４８へ、例えば、映像広告提供者名、或いは番組名や映画の題名に対応させて蓄積量子化特徴の登録処理を行う。【０２１１】
目的特徴計算部４１は、与えられた目的映像信号を読み込んで入力し（ステップＶ５）、入力した目的映像信号に対して特徴抽出を行う。
このとき、目的特徴計算部４１は、蓄積特徴計算部４２と同様に、目的映像の時系列データをもとにして、例えば目的映像の１フレームの画像をｎ領域（例えば横に３等分、縦に３等分した合計９の領域）に分割し、それぞれの分割領域内におけるＲＧＢの各色の画素について平均値を算出する。こうして得られた各領域におけるＲＧＢそれぞれの平均画素値からなる例えば２７次元のベクトル（ｎ＝９の場合）を特徴ベクトルとして抽出し、目的特徴とする（ステップＶ６）。
また、目的特徴の抽出方法には、ディジタル動画像圧縮技術であるＭＰＥＧ符号化方式（動き補償とＤＣＴと可変長符号化からなる）やフーリエ変換の振幅成分を使用する方法がある。【０２１２】
次に、目的特徴正規化部４３は、目的特徴計算部４１から目的特徴を読み込み、この目的特徴の特徴ベクトルの要素ごとに、所定の一定区画の平均値と標準偏差とを演算して求める。
即ち、目的特徴正規化部４３は、蓄積特徴正規化部４４と同様に、（４１）〜（４３）式により得られた多次元ベクトルの時系列な配列（ｋで示される順番）を目的正規化特徴とする（ステップＶ７）。【０２１３】
次に、目的特徴量子化部４５は、目的特徴正規化部４３から、目的正規化特徴を読み込んで入力し、（４４）式に示すような行列を生成し、この行列の要素ごとに、予め与えられた閾値を境に、蓄積特徴量子化部４６と同様に、（４６）式を用いて例えば二値に量子化して、（４７）式に示されるように量子化特徴を得る。そして、この量子化特徴を目的量子化特徴として出力する（ステップＶ８）。【０２１４】
次に、特徴照合部４７は、目的特徴量子化部４５及び蓄積特徴量子化部４６により得られた目的量子化特徴及び蓄積量子化特徴を各々読み込む。
また、特徴照合部４７は、目的映像信号及び蓄積映像信号を同時に入力して、リアルタイムに類似を判定する場合以外、蓄積量子化特徴データベース４８から順次比較を行う蓄積量子化特徴を読み出して、目的量子化特徴と比較する。
このとき、特徴照合部４７は、蓄積量子化特徴において、目的特徴量子化部４５で与えられた目的量子化特徴と同じ長さの特徴ベクトルの配列を照合区間として設定する。【０２１５】
そして、特徴照合部４７は、目的量子化特徴と蓄積量子化特徴との上記照合区間での類似度を演算する。類似度として、双方の特徴ベクトル間のハミング距離を演算する（ステップＶ９）。
特徴照合部４７は、目的量子化特徴の特徴ベクトルの配列から、複数箇所の要素を抽出し、配列の要素としての特徴ベクトルとする。
例えば、目的量子化特徴が１５秒の長さであるとすると、配列の要素としての特徴ベクトルを０．１秒間隔に合計１５０箇所抽出する。各サンプリングにおいてフレーム画像を分割し、ＲＧＢそれぞれの平均画素値を求めているため、これらのベクトルからなる（１５０×２７の）４０５０次元のベクトルを特徴照合部４７で照合に用いる目的ベクトルとする。【０２１６】
また、特徴照合部４７は、上記目的ベクトルと同様に、蓄積量子化特徴のデータの先頭から、１５秒の長さを単位に順次照合区間として設定して、特徴ベクトルの配列から、特徴ベクトルを０．１秒間隔に合計１５０箇所抽出し、各サンプリングにおいてフレーム画像を分割し、ＲＧＢそれぞれの平均画素値を求めているため、このベクトルからなる（１５０×２７の）４０５０次元のベクトルを照合に用いる蓄積ベクトルとする。
このとき、特徴照合部４７が目的量子化特徴の特徴ベクトルの配列から、複数箇所の要素を抽出して目的ベクトルとするのであれば、目的特徴量子化部４５において、予め、配列の要素としての特徴ベクトルを目的正規化特徴から抽出して、即ち０．１秒間隔に合計１５０箇所抽出して、スカラー量子化を行い、目的ベクトルとして特徴照合部４７へ出力するようにしても良い。【０２１７】
特徴照合部４７は、照合区間を蓄積量子化特徴の先頭から順次ずらしながら、目的量子化特徴との、即ち、上記目的ベクトルと蓄積ベクトルとの、ハミング距離を演算することにより比較処理を行う（ステップＶ１０）。
そして、特徴照合部４７は、蓄積量子化特徴を最後まで照合した後、照合区間毎のハミング距離を参照して、ハミング距離が最も小さい照合区間の領域を探索結果として出力する（ステップＶ１１）。
なお、特徴照合部４７は、予めハミング距離の探索閾値が与えられていた場合、探索結果として、この探索閾値と選択された照合区間のハミング距離とを判定して（ステップＶ１０）、この探索閾値を下回るもののみを出力することもできる（ステップＶ１１）。【０２１８】
但し、（Ｒ＋１）元符号化した場合のように、非二次元の場合は、次に定義するリー距離を、ハミング距離の代わりに適用しても良い。但し、次式（４８）において、‖ｚｑ＿ｉ，ｋ−ｚｓ＿ｒ，ｋ‖は、（ｚｑ＿ｉ，ｋ−ｚｓ＿ｒ，ｋ）ｍｏｄ（Ｒ＋１）と、（ｚｑ＿ｉ，ｋ−ｚｓ＿ｒ，ｋ）ｍｏｄ（Ｒ＋１）のうちいずれか小さい方を意味する。ｒはフレーム番号が、ｑとｓとで必ずしも一致する必要はないことを表すために導入した記号である。【０２１９】
【数４８】
0004358229.tif 000030
【０２２０】
以上説明したように、本発明の実施形態では、蓄積映像信号及び目的映像信号から多次元ベクトルからなる蓄積特徴及び目的特徴として抽出し、この多次元ベクトルを量子化して量子化特徴を算出し、この蓄積量子化特徴と目的量子化特徴とをハミング距離等を用いて照合するようにしている。【０２２１】
また、特徴照合部４７は、探索閾値を複数の照合区間のハミング距離が下回った場合、ハミング距離の上位（低い数値のものから）Ｐ番目（Ｐは所定の正整数）までの照合区間を出力するようにすることも可能である。
更に、特徴照合部４７は、探索閾値を下回る照合区間がない場合など、該当箇所がないことを示す情報を通知し、新たな蓄積映像信号の蓄積量子化特徴を、蓄積量子化特徴データベース４８から読み出し、上記探索閾値以下の照合区間を有する蓄積量子化特徴が探索されるまで、ステップＶ９以降の探索処理を継続させて行うようにしても良い。【０２２２】
また、図１１における目的特徴計算部４１、目的特徴正規化部４３及び目的特徴量子化部４５を各ユーザの端末（例えばパーソナルコンピュータ）にインストールしておき、映像配信を行うサービスプロバイダに蓄積特徴計算部４２、蓄積特徴正規化部４４、蓄積特徴量子化部４６、特徴照合部４７及び蓄積量子化特徴データベース４８を有する映像信号探索サーバを設けても良い。
これにより、ユーザがビデオカメラ付携帯電話等で受信した映像信号を目的映像信号として、目的量子化特徴まで生成し、この目的量子化特徴を上記映像信号探索サーバへ、インターネットなどを介して送信し、この目的量子化特徴に類似した蓄積映像信号を探索してもらうように要求する構成とする。このとき、蓄積量子化特徴及び目的量子化特徴を計算するときの一定区画の特徴ベクトルの配列長等の規定は、映像信号探索サーバと端末とにおいて予め一致させておく。【０２２３】
次に、上記映像信号探索システムを適用した実施形態を示す。本発明の映像信号探索システムは、実環境で収録した反射や途切れのある断片的な映像信号を使って、一致する映像を探索し情報検索を行うのに利用できる。例えば、街頭の大型スクリーンに映し出されるＣＭをユーザがビデオカメラ付携帯電話で撮影し、映像信号探索サービスなどに送信する。映像信号探索サービス提供者は、この映像信号に一致又は類似する映像をデータベースより検索し、コンテンツ或いはこの映像に関する情報（例えば商品情報、製品特徴、サービス、撮影地、出演者、ホームページ等）を有料、又は無料でユーザに提供するといった構成が可能である。
ここで、検索する映像の入力方法においては、ビデオカメラ付端末のファインダ又はスクリーンを撮りたい映像（目的映像信号）のフレームに合わせて撮影するか、又は撮影された映像中の動画フレームをメニュー操作、或いはペン入力等によるマニュアルトレースで範囲指定することが望ましい。
更に、本発明により従来は正しく探索することの難しかった、家庭用ビデオでダビングを反復した映像や、ビットレートの低い映像も容易に探索できるため、インターネット上の動画の著作権管理システムや、ＣＭ情報検索サービスなどにも広く応用可能である。
他には、ユーザがビデオカメラで撮影した動画イメージを使って、そのイメージに近いクリップを、配信されている映画やテレビプログラムから切り取って編集したりすることにも利用できるであろう。【０２２４】
＜第５の実施の形態＞
図１５は、本発明の第５の実施の形態を表しており、雑音やひずみに頑健な高精度信号検出システムの構成を示すブロック図である。ここで、信号とは時系列データであり、所定の再生装置があれば再生することが可能な情報全般を意味している。例えば音楽で言えば、音楽そのものであるアナログデータ、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）に記録されているデータ、ＷＡＶファイルのデータ、ＭＰ３（ＭＰＥＧ−１  Ａｕｄｉｏ  Ｌａｙｅｒ３）ファイルのデータ等を示す。
また、映像で言えば、映像そのものであるアナログデータ、ＭＰＥＧ−２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ２）に代表されるデジタルデータ等を示す。ここでは、信号検出の対象を映像信号及び音響信号として説明を行う。【０２２５】
この図１５に示す信号検出システムは、時系列信号を対象とした雑音やひずみに頑健で高精度な信号検出を実現するものであり、目的特徴計算部５１と、蓄積特徴計算部５２と、目的特徴正規化部５３と、蓄積特徴正規化部５４と、目的特徴エリア選択部５５と、蓄積特徴エリア選択部５６と、目的特徴非線形量子化部５７と、蓄積特徴非線形量子化部５８と、特徴照合部５９と、蓄積非線形量子化特徴データベース５１０とで構成され、蓄積時系列信号（蓄積信号）即ち検索したい信号と、目的時系列信号（目的信号）即ち検索される信号を入力し、目的時系列信号との類似した蓄積時系列信号中の箇所を出力する。なお、目的信号に基づいて、蓄積信号中から検索を行うことから、蓄積信号より目的信号の方が短くなる。【０２２６】
目的特徴計算部５１は、目的信号を所定の間隔で時系列にサンプリングして得られる離散値である目的時系列信号から、例えば、音響信号の場合、サンプリング単位に周波数毎のパワースペクトル値を抽出し、この抽出した特徴量を多次元ベクトル化して特徴ベクトルを得て、この特徴ベクトルからなる目的特徴を導くものである。また、映像信号の場合、フレームを分割し、分割領域内の画素の平均値を抽出し、この抽出した特徴量を多次元ベクトル化して特徴ベクトルを得て、この特徴ベクトルからなる目的特徴を導くものである。【０２２７】
蓄積特徴計算部５２も、目的特徴計算部５１と同様に、蓄積信号を所定の間隔で時系列にサンプリングして得られる離散値である蓄積時系列信号から、例えば、音響信号の場合、サンプリング単位に周波数毎のパワースペクトル値を抽出し、この抽出した特徴量を多次元ベクトル化して特徴ベクトルを得て、この特徴ベクトルからなる蓄積特徴を導くものである。また、映像信号の場合、フレームを分割し、分割領域内の画素の平均値を抽出し、この抽出した特徴量を多次元ベクトル化して特徴ベクトルを得て、この特徴ベクトルからなる蓄積特徴を導くものである。【０２２８】
目的特徴正規化部５３は、上記目的特徴から、その目的特徴に隣接した目的特徴を含む周辺の複数の目的特徴から導いた統計量を用いて特徴ベクトルの要素毎に独立に正規化し、正規化された値からなる多次元ベクトルを有する目的正規化特徴を導くものである。【０２２９】
蓄積特徴正規化部５４は、上記蓄積特徴から、その蓄積特徴に隣接した蓄積特徴を含む周辺の複数の蓄積特徴から導いた統計量を用いて特徴ベクトルの要素毎に独立に正規化し、正規化された値からなる多次元ベクトルを有する蓄積正規化特徴を導くものである。【０２３０】
目的特徴エリア選択部５５は、上記目的正規化特徴から所定の統計量を計算し、その統計量が所定の閾値を超える要素を、目的正規化特徴から選択し、選択された要素の多次元ベクトルからなる目的エリア選択特徴を導くものである。【０２３１】
蓄積特徴エリア選択部５６は、上記蓄積正規化特徴から所定の統計量を計算し、その統計量が所定の閾値を超える要素を、蓄積正規化特徴から選択し、選択された要素の多次元ベクトルからなる蓄積エリア選択特徴を導くものである。【０２３２】
ここで、図１６及び図１７を参照しつつ目的特徴エリア選択部５５及び蓄積特徴エリア選択部５６での閾値の設定について説明する。
例えば、正規化特徴ベクトルの各要素の値と統計処理により求められた基準となる値（ここでは「０」）との差分の絶対値が大きい要素を選択する場合、正規化特徴ベクトルの各要素の値と「０」との差分の絶対値が最大となる値の例えば８割の数値を閾値とし、各要素の中で、差分の絶対値が閾値を越えた要素を選択することが考えられる。【０２３３】
図１６において、正規化特徴ベクトルの各要素ｄ１〜ｄ６の値と「０」との差分の絶対値をＤ１〜Ｄ６とする。ここで、差分の絶対値Ｄ１〜Ｄ６の中で最大となるものを選び、その値の例えば８割を閾値とする。
図１６に示すように、差分の絶対値が最大となるのは、要素ｄ２の差分の絶対値Ｄ２である。よって、Ｄ２との差分の絶対値の８割を閾値｜θ｜として設定する。
｜θ｜＝０．８×Ｄ２
そして、各要素ｄ１〜ｄ６の値との差分の絶対値をＤ１〜Ｄ６と、閾値｜θ｜とをそれぞれ比較し、閾値を越えるものを抽出する。なお、選択されたものは丸印が付されている。【０２３４】
図１６では、要素ｄ２の差分の絶対値Ｄ２と、要素ｄ４の差分の絶対値Ｄ４と、要素ｄ５の絶対値Ｄ５と、要素ｄ６の差分の絶対値Ｄ６とが閾値｜θ｜を越えているので、これらの要素が選択特徴のパターンとして選択される。【０２３５】
なお、ここでは、差分の絶対値が最大となるものの８割の値を閾値としているが、これは一例であり、８割に限定されるものではない。【０２３６】
また、要素毎の下限値を設けておき、この下限値（１つ又は複数個）を得る要素が選択されるまで、閾値を徐々に下げるように制御しても良い。例えば、図１７の例では、上位２つの要素を選択する場合を示し、閾値を徐々に下げていくことにより、差分の絶対値が最大となる要素ｄ２の値と「０」との差分の絶対値Ｄ２と、要素ｄ５の値と「０」との差分の絶対値Ｄ５とが選択特徴のパターンとして選択される。【０２３７】
また、目的特徴エリア選択部５５は、上記目的特徴において、配列における所定の範囲の特徴ベクトルの各要素の平均値を求め、各要素からこの平均値を除算した結果の絶対値が所定の閾値を超えた要素を、目的正規化特徴から選択し、該選択された要素の多次元ベクトルからなる目的エリア選択特徴を導いても良い。【０２３８】
同様に、蓄積特徴エリア選択部５６は、上記蓄積特徴において、配列における所定の範囲の特徴ベクトルの各要素の平均値を求め、各要素からこの平均値を除算した結果の絶対値が所定の閾値を超えた要素を、蓄積正規化特徴から選択し、選択された要素の多次元ベクトルからなる蓄積エリア選択特徴を導いても良い。【０２３９】
なお、上記の「配列」とは、時系列にサンプリングされた順序に、各サンプリングにおける特徴ベクトルが順次並べられた配列であり、「所定の範囲の特徴ベクトル」とは当該配列における一定の時間区間（以下、一定区画）の特徴ベクトルのことを意味する。【０２４０】
上記閾値は、例えば、正規化特徴ベクトルの各要素の値と平均値との差分の絶対値が大きい要素を選択する場合、正規化特徴ベクトルの各要素の値と平均値との差分の絶対値が最大となる値の例えば８割の数値を閾値とし、各要素の中で、平均値との差分の絶対値が閾値を越えた要素を選択するようにしても良い。
このとき、要素の下限値を設けておき、この下限値を越える要素が選択されるまで、閾値を徐々に下げるように制御しても良い。【０２４１】
更に、目的特徴エリア選択部５５は、上記目的特徴及び目的正規化特徴を入力し、この目的特徴の配列における所定の範囲（一定区画）の特徴ベクトルの要素毎の標準偏差を求め、次に、目的正規化特徴の対応する配列位置の特徴ベクトルの要素毎に、上記標準偏差を乗算して、乗算結果の絶対値を計算して統計量とし、この統計量において最上位又は最上位から複数個（例えば、２個）を、目的正規化特徴から選択して、特徴パターンである、選択された要素の多次元ベクトルからなる目的エリア選択特徴を導いても良い。【０２４２】
同様に、蓄積特徴エリア選択部５６は、上記蓄積特徴及び蓄積正規化特徴を入力し、この蓄積特徴の配列における所定の範囲（一定区画）の特徴ベクトルの要素毎の標準偏差を求め、次に、蓄積正規化特徴の対応する配列位置の特徴ベクトルの要素毎に、上記標準偏差を乗算して、乗算結果の絶対値を計算して統計量とし、この統計量において最上位又は最上位から複数個（例えば、２個）を、目的正規化特徴から選択して、特徴パターンである、選択された要素の多次元ベクトルからなる目的エリア選択特徴を導いても良い。【０２４３】
目的特徴非線形量子化部５７は、上記目的エリア選択特徴に対して後述するボロノイ分割を行い、特徴ベクトルが属するボロノイ領域に接する１つまたは複数のボロノイ境界面からの距離に基づいて、特徴ベクトルを量子化する。この量子化は、それぞれのボロノイ境界面との距離をシグモイド関数あるいは区間的直線関数により非線形量子化し、得られた量子化の値の組を目的非線形量子化特徴として導く。【０２４４】
あるいは、上記目的エリア選択特徴のベクトルのそれぞれの要素をシグモイド関数または区間的直線関数によりスカラー非線形量子化し、複数の階調に非線形量子化された値を要素として得られる多次元ベクトルからなる目的非線形量子化特徴を導いても良い。【０２４５】
蓄積特徴非線形量子化部５８も、目的特徴非線形量子化部５７と同様に、上記蓄積エリア選択特徴に対して後述するボロノイ分割を行い、特徴ベクトルが属するボロノイ領域に接する１つまたは複数のボロノイ境界面からの距離に基づいて、特徴ベクトルを量子化する。
この量子化は、それぞれのボロノイ境界面との距離をシグモイド関数あるいは区間的直線関数により非線形量子化し、得られた量子化値の組を蓄積非線形量子化特徴として導く。【０２４６】
あるいは、上記蓄積エリア選択特徴のベクトルのそれぞれの要素をシグモイド関数または区間的直線関数によりスカラー非線形量子化し、複数の階調に非線形量子化された値を要素として得られる多次元ベクトルからなる蓄積非線形量子化特徴を導いても良い。【０２４７】
この目的非線形量子化特徴及び蓄積非線形量子化特徴は、各々時系列にサンプリングされた順序に、各サンプリングにおける特徴ベクトルが順次配列されたものである。【０２４８】
特徴照合部５９は、上記蓄積非線形量子化特徴が時系列に配列されている特徴ベクトルにおいて、この配列の所定の範囲を照合区間として設定し、この照合区間と同一の長さの被照合区間を目的非線形量子化特徴に設定して、上記照合区間と被照合区間との類似度を計算し、予め設定された探索閾値と比較して、類似しているか否かの判定を行う。【０２４９】
また、特徴照合部５９は、上記照合区間の照合処理が終了すると、新たな照合区間を設定するため、配列の隣接する同一時間幅の範囲にずらす処理を行う。【０２５０】
蓄積非線形量子化特徴データベース５１０は、複数の、例えば良く配信される音楽やＣＭに対して、蓄積特徴計算部５２、蓄積特徴正規化部５４、蓄積特徴エリア選択部５６、蓄積特徴非線形量子化部５８により、予め蓄積非線形量子化特徴を計算して、各曲名或いはＣＭ提供者名に対応付けて蓄積非線形量子化特徴を記憶している。
なお、この例では、蓄積非線形量子化特徴データベース５１０に、予め計算した非線形量子化特徴を計算して蓄積しているが、蓄積信号（生の信号）を記憶するデータベースを設けるようにしても良い。【０２５１】
次に、図面を参照して本実施形態の信号検出システムの動作の説明を行う。図１８は、図１５の信号検出システムの動作例を示すフローチャートである。
蓄積特徴計算部５２は、与えられた蓄積信号を読み込んで出力し（ステップＷ１）、入力した蓄積信号に対して特徴抽出を行う。【０２５２】
蓄積特徴計算部５２における特徴抽出に関し、入力される信号が音響信号である場合と、映像信号である場合との２通りの例を次に示す。蓄積特徴計算部５２は、検出の対象が音響信号の場合にフーリエ変換の振幅成分を用い、例えば周波数８０００Ｈｚで標本化した音響信号の１秒の区間をフーリエ変換し、０〜４０００Ｈｚを等間隔に３２の周波数帯域の区間に分割し、各区間での振幅成分の平均パワーからなる３２次元の多次元ベクトルを特徴ベクトルとして、０．１秒毎に抽出して蓄積特徴とする（ステップＷ２）。【０２５３】
映像信号が検出の対象である場合には、蓄積の時系列データをもとにして、例えば蓄積の１フレームの画像を横に３等分かつ縦に３等分して合計９の領域に分割し、それぞれの分割（領域）内におけるＲＧＢの各色の画素について平均値を算出する。こうして得られた９個の領域におけるＲＧＢそれぞれの平均画素値からなる合計２７次元のベクトルを特徴ベクトルとして抽出し、蓄積特徴とする（ステップＷ２）。この場合、前記特徴ベクトルは、１フレーム毎に得られる。【０２５４】
つまり、図１９に示すように、フレーム（ｉ−Ｍ）からフレーム（ｉ＋Ｍ−１）の２Ｍフレームに相当する時間窓を設定したとすると（ｉは先頭フレームのフレーム番号）、その間にある（ｉ＋０）フレームにおいて（以降、フレームｉと記す場合もある）、図２０に示すように、１フレームをｎ個のサブ画面に分割する。フレームｉの第１サブ画面のＲＧＢの各色の画素を平均して平均値（ｘｉ，１，ｘｉ，２，ｘｉ，３）を取得し、第２サブ画面のＲＧＢの各色の画素を平均して平均値（ｘｉ，４，ｘｉ，５，ｘｉ，６）を取得し、第３サブ画面のＲＧＢの各色の画素を平均して平均値（ｘｉ，７，ｘｉ，８，ｘｉ，９）を取得し、以下同様にして、第ｎサブ画面のＲＧＢの各色の画素を平均して平均値（ｘｉ，（３ｎ−２），ｘｉ，（３ｎ−１），ｘｉ，３ｎ）を取得する。但し、１番目の添え字はフレームの通し番号を示し、２番目の添え字はそのフレームでの要素の番号を示す。
なお、上記の説明では、各画素がＲ値、Ｇ値、Ｂ値を持っているが、各画素がＲ値、Ｇ値、Ｂ値に何れか１つを持っているようにしても良い。【０２５５】
これにより、例えば、ｎ＝９とすると、各フレームにおいて（３×９＝２７）個の値が得られ、こうして得られた２７次元の多次元ベクトルを特徴ベクトルとして抽出して蓄積特徴とする。（ステップＷ２）。前記多次元ベクトルを局所領域原色特徴と呼ぶ。この場合、前述のｘｉ，１等は局所領域原色特徴の要素となる。【０２５６】
また、蓄積特徴の抽出方法には、ディジタル動画像圧縮技術であるＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）符号化方式（動き補償とＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）と可変長符号化からなる）やフーリエ変換の振幅成分を使用する方法がある。【０２５７】
次に図１５において、蓄積特徴正規化部５４は、蓄積特徴計算部５２から蓄積特徴を読み込み、この蓄積特徴の特徴ベクトルの要素毎に、所定の一定区画の平均値と標準偏差とを計算して求める。
例えば、映像信号の場合、蓄積特徴正規化部５４は、各局所領域におけるＲＧＢ色毎にある時間区間の値から平均値と標準偏差とを求め、求められた平均値と標準偏差とを用いて正規化を行う。このとき、蓄積特徴正規化部５４による正規化後の局所領域原色特徴を正規化局所原色特徴と呼ぶ時、そのｋ番目の要素ｙｉ，ｋは、以下の（５１）式となる。【０２５８】
【数５１】
0004358229.tif 000031
【０２５９】
【数５２】
0004358229.tif 000032
【０２６０】
【数５３】
0004358229.tif 000033
【０２６１】
但し、（５２）式におけるｘ（ｉ＋ｊ），ｋは、全フレームに通し番号を付与した場合の（ｉ＋ｊ）番目のフレームの局所領域特徴のｋ番目の要素を表す。ｊは設定された時間区間内のフレームにおける中心フレームに対する相対的な番号であり、設定された時間区間内に２Ｍ個のフレームが含まれる場合、−Ｍ≦ｊ≦Ｍ−１、ｊは整数となる。ｉは設定された時間区間のフレームのうちの中心フレームの通し番号（ｉ≧Ｍ）であり、ｊ＝０の時の通し番号に相当する。また、ｍｉ，ｋは、−Ｍ≦ｊ≦Ｍ−１のｘ（ｉ＋ｊ），ｋに対する平均値である。（５３）式における  σｉ，ｋは−Ｍ≦ｊ≦Ｍ−１のｘ（ｉ＋ｊ），ｋに対する標準偏差である。【０２６２】
そして、（５１）〜（５３）式により得られた多次元ベクトルの時系列な配列、即ち、１以上のフレームを用いて、各フレームの要素をｋの昇順に並べた要素で構成される多次元ベクトルをフレーム番号の昇順に並べることにより生成された多次元ベクトル、を蓄積正規化特徴とする（ステップＷ３〉。【０２６３】
次に、蓄積特徴エリア選択部５６は、蓄積特徴計算部５２から蓄積特徴を、また、蓄積特徴正規化部５４から、蓄積正規化特徴を読み込んで入力し、蓄積特徴の多次元ベクトルの要素毎の標準偏差σｉ，ｋを、各要素に関する一定区画において、上記（５２）及び（５３）式を用いて求める。同様のことは、蓄積特徴正規化部５４から蓄積正規化特徴と標準偏差とを、蓄積特徴エリア選択部５６に読み込み入力することでも達成できる。蓄積特徴正規化部５４で算出される標準偏差と、蓄積特徴計算部５２から得られる蓄積特徴に基づいて算出する標準偏差は同じ値となるからである。
そして、蓄積特徴エリア選択部５６は、以下の（５４）式に示すように、各要素ｙｉｋ毎に上記標準偏差σｉ，ｋを乗じて、その絶対値をとる。【０２６４】
【数５４】
0004358229.tif 000034
【０２６５】
ここで、蓄積特徴エリア選択部５６は、得られた各要素と標準偏差との乗算結果の統計量ｚｉｋから、一定区画単位に要素毎に最上位から複数個のベクトル、例えば上位２つのベクトルを選択する（ステップＷ４）。【０２６６】
蓄積特徴非線形量子化部５８は、蓄積エリア選択特徴の多次元ベクトルの各要素に対して上述したボロノイ分割を行い、特徴ベクトルとボロノイ境界面とに基づいて得られる距離に基づいて非線形量子化計算を行う（ステップＷ５）。【０２６７】
ここで、図２１を参照して上述したボロノイ分割について説明する。図２１は、２次元特徴ベクトルにおけるボロノイ境界とその距離を非線形量子化する場合を示す。図２１において、Ｑ１、Ｑ２、Ｑ３はボロノイ領域の母点である。これらの母点Ｑ１、Ｑ２、Ｑ３は、予め、学習信号を与えて、公知のベクトル量子化法を用いて決定しておく。母点Ｑ１、Ｑ２、Ｑ３の各々を、ボロノイ多角形によって囲み、ボロノイ領域Ｒ１、Ｒ２、Ｒ３を設定する。【０２６８】
そして、その特徴ベクトルがボロノイ領域Ｒ１、Ｒ２，Ｒ３のどの領域に属するかを決定する。次に、その領域に接するボロノイ境界（実線で示す）のうち、最も近いボロノイ境界を選択する。選択されたボロノイ境界からの距離ｘに関する非線形関数ｆ（ｘ）を用い、ｆ（ｘ）に対する所定の定義値に対応するｘ値毎に１つの符号を割り当て、量子化を行う。なお、図２１において、破線は非線形の分割線を示し、一点鎖線は２つのボロノイ境界の間の領域を二等分する超平面である。非線形関数としては、例えば、以下に示すようなシグモイド関数が用いられる。【０２６９】
【数５５】
0004358229.tif 000035
【０２７０】
例えば、図２１に示すように、ボロノイ境界との距離を非線形に分割し、各符号Ａ〜Ｕを割り当てる。このとき、全てのボロノイ分割領域における細分された領域に関し、同じ符号が割り当てられることがないように、符号長を設定する。【０２７１】
なお、非線形関数としては、以下に示すような区間的直線関数を用いるようにしても良い。【０２７２】
【数５６】
0004358229.tif 000036
【０２７３】
なお、特徴ベクトルを量子化する場合、各々の要素をスカラー量子化しても良い。また、いくつかの要素をまとめてベクトルとする量子化法を用いてもよい。【０２７４】
そして、蓄積特徴非線形量子化部５８は、上記非線形量子化計算により得られた蓄積非線形量子化特徴を、特徴照合部５９へ直接送信するか、又は、一旦蓄積非線形量子化特徴データベース５１０ヘの登録のいずれかの処理を行う。【０２７５】
特徴照合部５９がリアルタイムに蓄積非線形量子化特徴と、目的非線形量子化特徴との比較を行う場合、蓄積特徴非線形量子化部５８は、特徴照合部５９へ、入力されている蓄積信号の蓄積非線形量子化特徴を出力する。また、蓄積非線形量子化特徴データベース５１０へ蓄積信号のデータを登録する場合、蓄積特徴非線形量子化部５８は特徴照合部５９へ蓄積非線形量子化特徴を送信せずに、蓄積非線形量子化特徴データベース５１０へ、例えば広告提供者名、或いは番組名や映画の題名に対応させて蓄積エリア選択特徴の登録処理を行う。【０２７６】
目的特徴計算部５１は、与えられた目的信号を読み込んで入力し（ステップＷ６）、入力した目的信号に対して特徴抽出を行う。【０２７７】
目的特徴計算部５１は、検出の対象が音響信号の場合にフーリエ変換の振幅成分を用い、例えば周波数８０００Ｈｚで標本化した音響信号の１秒の区間をフーリエ変換し、０〜４０００Ｈｚを等間隔に３２の周波数帯域の区間に分割し、０．１秒毎に、各区間での振幅成分の平均パワーからなる３２次元の多次元ベクトルを特徴ベクトルとして抽出して目的特徴とする（ステップＷ７）。【０２７８】
映像信号が検出の対象である場合には、目的の時系列データをもとにして、例えば目的の１フレームの画像を横に３等分かつ縦に３等分して合計９の領域に分割し、それぞれの分割（領域）内におけるＲＧＢの各色の画素について平均値を算出する。こうして得られた９個の領域におけるＲＧＢそれぞれの平均画素値からなる合計２７次元のベクトルを特徴ベクトルとして抽出し、目的特徴とする（ステップＷ７）。この場合、前記特徴ベクトルは、１フレーム毎に得られる。【０２７９】
次に、目的特徴正規化部５３は、目的特徴計算部５１から目的特徴を読み込み、この目的特徴の特徴ベクトルの要素毎に、所定の一定区画の平均値と標準偏差とを計算して求める。【０２８０】
即ち、目的特徴正規化部５３は、蓄積特徴正規化部５４と同様に、（５１）〜（５３）式により得られた多次元ベクトルの時系列な配列（ｋで示される順番）を目的正規化特徴とする（ステップＷ８）。【０２８１】
次に、目的特徴エリア選択部５５は、目的特徴計算部５１から目的特徴を、また、目的特徴正規化部５３から、目的正規化特徴を読み込んで入力し、蓄積特徴エリア選択部５６と同様に、目的特徴の一定区画から求めた標準偏差σｉ，ｋを、要素毎に乗算して乗算結果を統計量とする。同様のことは、目的特徴正規化部５３から目的正規化特徴と標準偏差とを、目的特徴エリア選択部５５に読み込み入力することでも達成できる。目的特徴正規化部５３で算出される標準偏差と、目的特徴計算部５１から得られる目的特徴に基づいて算出する標準偏差は同じ値となるからである。【０２８２】
ここで、目的特徴エリア選択部５５は、得られた各要素と標準偏差との乗算結果の統計量ｚｉ，ｋから、一定区画単位に要素毎に最上位から複数個のベクトル、例えば上位２つのベクトルを選択する（ステップＷ９）。【０２８３】
目的特徴非線形量子化部５７は、目的エリア選択特徴の多次元ベクトルの各要素に対して上述したボロノイ分割を行い、特徴ベクトルとボロノイ境界面とに基づいて得られる距離に基づいて非線形量子化計算を行う。そして、前記非線形量子化計算により得られた目的非線形量子化特徴を、特徴照合部５９へ出力する（ステップＷ１０）。【０２８４】
特徴照合部５９は、目的特徴非線形量子化部５７及び蓄積特徴非線形量子化部５８により得られた目的非線形量子化特徴及び蓄積非線形量子化特徴を各々読み込む。
また、特徴照合部５９は、目的信号及び蓄積信号を同時に入力して、リアルタイムに類似を判定する場合以外、蓄積非線形量子化特徴データベース５１０から順次比較を行う蓄積非線形量子化特徴を読み出して、目的非線形量子化特徴と比較する。【０２８５】
このとき、特徴照合部５９は、蓄積非線形量子化特徴において、目的特徴非線形量子化部５７で与えられた目的非線形量子化特徴と同じ長さの特徴ベクトルの配列を照合区間として設定する。【０２８６】
そして、特徴照合部５９は、目的非線形量子化特徴と、上記照合区間との類似度を演算する。類似度として、双方の特徴ベクトル間のハミング距離を演算する（ステップＷ１１）。【０２８７】
特徴照合部５９は、目的非線形量子化特徴の特徴ベクトルの配列から、複数箇所の要素を抽出し、配列の要素としての特徴ベクトルとする。例えば、目的非線形量子化特徴が１５秒の長さであるとすると、この目的非線形量子化特徴の特徴ベクトルの配列から、配列の要素としての特徴ベクトルを０．１秒間隔に合計１５０箇所抽出する。各サンプリングにおいて周波数帯域を３つに分割しているため、それらかなる（１５０×３２）の４８００次元の多次元ベクトルを特徴照合部５９で照合に用いる目的ベクトルとする。【０２８８】
また、特徴照合部５９は、上記目的ベクトルと同様に、蓄積非線形量子化特徴のデータの先頭から、１５秒の長さを単位に順次照合区間として設定して、特徴ベクトルの配列から、特徴ベクトルを０．１秒間隔に合計１５０箇所抽出し、各サンプリングにおいて周波数帯域を３２分割しているため、それらからなる（１５０×３２）の４８００次元の多次元ベクトルを特徴照合部５９で照合に用いる蓄積ベクトルとする。【０２８９】
このとき、特徴照合部５９が目的非線形量子化特徴の特徴ベクトルの配列から、複数箇所の要素を抽出して目的ベクトルとするのであれば、目的特徴非線形量子化部５７において、予め配列の要素としての特徴ベクトルをエリア選択特徴から抽出して、即ち０．１秒間隔に合計１５０箇所抽出して、非線形量子化を行い、目的ベクトルとして特徴照合部５９へ出力するようにしても良い。【０２９０】
特徴照合部５９は、探索結果して、予めハミング距離の探索閾値が与えられていた場合、この探索閾値と選択された照合区間のハミング距離とを判定する（ステップＷ１２）。【０２９１】
ステップＷ１２で、照合区間を蓄積エリア選択特徴の先頭から順次ずらしながら、上記目的非線形量子化特徴と蓄積非線形量子化特徴とのハミング距離を計算し、予め設定した探索閾値と比較処理を行い、最後まで照合処理した後、照合区間毎のハミング距離が予め設定された探索閾値より低い蓄積エリア選択特徴の照合区間の領域が検索されたら、この照合区間を探索結果として出力する（ステップＷ１３）。【０２９２】
以上説明したように、本発明の実施形態では、蓄積映像信号及び目的映像信号から多次元ベクトルからなる蓄積特徴及び目的特徴として求め、この多次元ベクトルを正規化し、要素選択を行い、非線形量子化して非線形蓄積量子化特徴及び非線形目的量子化特徴を算出し、この非線形蓄積量子化特徴と非線形目的量子化特徴とをハミング距離等を用いて照合するようにしている。【０２９３】
なお、上記の例では、エリア選択を行ってから、非線形量子化を行っているが図２２にフローチャートで示すように、非線形量子化を行ってから（ステップＷ５及びステップＷ１０）、エリア選択を行う（ステップＷ４及びステップＷ９）ようにしても良い。
特徴照合部５９で用いる照合区間（時間窓又はフレーム数）は、蓄積特徴エリア選択部５６又は目的特徴エリア選択部５５で用いた時間区間、及び、蓄積特徴正規化部５４又は目的特徴正規化部５３で用いた時間区間とは独立に決定することができる、即ち、必ずしも一致した時間区間を使用する必要はない。【０２９４】
なお、特徴照合部５９は、探索結果として、予めハミング距離の探索閾値を与えられていた場合、この探索閾値と選択された照合区間のハミング距離とを判定して、この探索閾値を下回るもののみ出力することもできる。【０２９５】
また、特徴照合部５９は、探索閾値を複数の照合区間のハミング距離が下回った場合、ハミング距離の上位（低い数値のものから）Ｌ番目までの照合区間を出力するようにすることも可能である。【０２９６】
更に、特徴照合部５９は、探索閾値を下回る照合区間がない場合など、該当箇所がないことを示す情報を通知し、新たな蓄積信号の蓄積非線形量子化特徴を、蓄積非線形量子化特徴データベース５１０から読み出し、上記探索閾値以下の照合区間を有する蓄積非線形量子化特徴が探索されるまで、ステップＷ１０以降の探索処理を継続させて行うようにしても良い。【０２９７】
また、図１５における目的特徴計算部５１、目的特徴正規化部５３、目的特徴エリア選択部５５及び目的特徴非線形量子化部５７を各ユーザの端末（例えばパーソナルコンピュータ）にインストールしておき、配信を行うサービスプロバイダに蓄積特徴計算部５２、蓄積特徴正規化部５４、蓄積特徴エリア選択部５６、蓄積特徴非線形量子化部５８、特徴照合部５９及び蓄積非線形量子化特徴データベース５１０を有する信号検索サーバを設けても良い。【０２９８】
これにより、ユーザが携帯電話等で受信した信号を目的信号として、目的非線形量子化特徴まで生成し、この目的非線形量子化特徴を上記信号探索サーバへ、インターネットなどを介して送信し、この目的非線形量子化特徴に類似した蓄積信号を探索してもらうように要求する構成が可能となる。このとき、蓄積非線形量子化特徴及び目的非線形量子化特徴を計算するときの一定区画の特徴ベクトルの配列長等の規定は、信号検出サーバと端末とにおいて予め一致させておく。【０２９９】
次に、上記信号検出システムを適用した場合の実施形態を示す。本発明の探索システムは、実環境で収録した雑音やひずみのある断片的な信号を使って、一致又は類似する信号を探索し、また情報検索を行うのに利用できる。例えば、喫茶店でＢＧＭ（Ｂａｃｋ  Ｇｒｏｕｎｄ  Ｍｕｓｉｃ）として流れている音楽や、街頭の大型スクリーンに映し出されるＣＭの音楽や映像をユーザが携帯電話等の携帯端末により受信し、信号検索サービスに送信する。信号検索サービス提供者は、この信号に一致又は類似する情報をデータベースより検索し、コンテンツ或いは関連情報（例えば曲名、演奏者名、番組、商品、コンサート情報、或いはホームページ等）を有料、又は無料でユーザに提供するといった構成が可能である。【０３００】
ここで、映像信号を検索する場合には、映像信号を入力する際、録音機能のついた端末装置によりビデオカメラ付端末のファインダ又はスクリーンを撮りたい（目的信号の）フレームに合わせて撮影するか、又は撮影された中の動画フレームをメニュー操作、或いはペン入力等によるマニュアルトレースで範囲指定することが望ましい。【０３０１】
実際に上述の各様態の形態における検索システムを構築する際には、各システムの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、信号検出処理及びデータベースに対する蓄積信号の蓄積処理を行っても良い。ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（或いは表示環境）を備えたＷＷＷ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）システムも含むものとする、また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の可搬媒体、コンピュータに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。【０３０２】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、或いは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されても良い。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。更に、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。【０３０３】
また、上述の各実施の形態において、ユーザが音楽を取り込むために使用するキャプチャデバイスとして、例えば、携帯電話やＩＣレコーダ等の携帯端末に附属のマイク、パソコンに接続されたマイク、あるいは、テレビやビデオ等からのライン入力を用いても良い。【０３０４】
また、例えば上述の第１の実施の形態等においてユーザに対してサービスを提供する方法には、以下のような処理ステップを具備するものがある。
まず、ユーザの指示を受けた携帯電話がキャプチャした音を、該携帯電話の音声通話により送信する。次に、受信側は、該携帯電話から受信した音のデータに関する特徴抽出を行い、更に、該抽出結果に基づいて探索を行う。次に、受信側は、探索結果の一覧情報を生成し、該一覧情報を該携帯電話へ送信する。
次に、該携帯電話は、該一覧情報を受信し、自身の表示部へ出力して表示する。ユーザは、該携帯電話の表示部を確認し、所望の音楽データ等のダウンロードを該携帯電話に指示する。以降の処理は既存の音楽データのダウンロードなどにおけるものと同様であっても良い。【０３０５】
また、上述のサービスを提供する方法において、ユーザが携帯電話の代わりにパソコンを用いても良い。この場合、音はパソコン上で特徴抽出されても良く、更に、特徴の抽出結果がインターネットを介して送信され、受信側で探索が行われても良い。【０３０６】
また、上述のサービスを提供する方法において、音が携帯端末上で特徴抽出されても良く、更に、特徴の抽出結果がｉモード(登録商標)などのパケット通信、ダイアルアップ接続，あるいは、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などの手段で送信され，受信側で探索が行われても良い。【０３０７】
また、上述のサービスを提供する方法において、音がファイル化されてもよく、更に、ＨＴＴＰ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）やＳＭＴＰ（Ｓｉｍｐｌｅ  Ｍａｉｌ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）等によりインターネットを介して送信され、受信側で特徴抽出、および、探索が行われても良い。【０３０８】
また、上述の各実施の形態において、ユーザが映像を取り込むために使用するキャプチャデバイスとして、例えば、携帯端末に附属のカメラ、デジタルカメラ、パソコンに接続されたウェブカメラ、あるいは、テレビやビデオ等からの映像入力を用いても良い。【０３０９】
また、例えば上述の第３の実施の形態等においてユーザに対してサービスを提供する方法には、例えば、以下のような処理ステップを具備するものがある。
まず、ユーザの指示を受けた携帯電話が自身のテレビ電話機能によって得た映像を送信する。次に、受信側は、該携帯電話から受信した映像のデータに関する特徴抽出を行い、更に、該抽出結果に基づいて探索を行う。次に、受信側は、探索結果の一覧情報を生成し、該一覧情報を該携帯電話へ送信する。
次に、該携帯電話は、該一覧情報を受信し、自身の表示部へ出力して表示する。ユーザは、該携帯電話の表示部を確認し、所望の映像データ等のダウンロードを該携帯電話に指示する。以降の処理は既存の映像データのダウンロードなどにおけるものと同様であっても良い。【０３１０】
また、上述のサービスを提供する方法において、ユーザが携帯電話の代わりにパソコンを用いても良い。この場合、映像はパソコン上で特徴抽出されても良く、更に、特徴の抽出結果がインターネットを介して送信され、受信側で探索が行われても良い。【０３１１】
また、上述のサービスを提供する方法において、映像が携帯端末上で特徴抽出されても良く、更に、特徴の抽出結果がｉモード(登録商標)などのパケット通信、ダイアルアップ接続，あるいは、無線ＬＡＮなどの手段で送信され，受信側で探索が行われても良い。【０３１２】
また、上述のサービスを提供する方法において、映像がファイル化されてもよく、更に、ＨＴＴＰやＳＭＴＰ等によりインターネットを介して送信され、受信側で特徴抽出、および、探索が行われても良い。【０３１３】
また、上述のサービスの提供方法において、携帯電話は、音声通話で音声により探索結果を通知してもよく、さらに、付随情報を知らせてもよい。この場合、受信側から送信される探索結果はＨＴＴＰやＳＭＴＰによって携帯電話に送信され、携帯電話は探索結果をテキストで表示し、ユーザに知らせてもよい。さらに、該付随情報は，音楽や映像のアーティスト名、タイトル、関連するＵＲＬなどが含まれていてもよい。またさらに、上述の付随情報は，検索結果がＣＭであった場合には、該ＣＭの商品情報などが含まれていてもよい。またさらに，該携帯電話は、検索結果にＭＰＥＧ７などで記述された検索結果であるコンテンツに関する要約情報や関連情報が存在する場合には、これらの要約情報や関連情報についても表示されてもよい。
【産業上の利用可能性】
【０３１４】
本発明は、実環境中に流れている映像やＣＭを携帯端末で受信し、その受信された映像信号（目的映像信号：探したい映像）を用いて膨大な映像ＣＭデータベースの中から同一の映像やＣＭを検索することを可能にするものである。【０３１５】
また、本発明は、実環境中に流れているＣＭなどの映像信号や音楽などの音響信号を携帯端末で受信し、その受信された映像信号や音響信号（目的信号：探したい映像信号あるいは音響信号）を用いて膨大な映像や音楽の信号情報が記憶されるデータベースの中から同一の映像や音楽を検索することを可能にするものである。
【図１】
0004358229.tif 000037
【図２】
0004358229.tif 000038
【図３】
0004358229.tif 000039
【図４】
0004358229.tif 000040
【図５】
0004358229.tif 000041
【図６】
0004358229.tif 000042
【図７】
0004358229.tif 000043
【図８】
0004358229.tif 000044
【図９】
0004358229.tif 000045
【図１０】
0004358229.tif 000046
【図１１】
0004358229.tif 000047
【図１２】
0004358229.tif 000048
【図１３】
0004358229.tif 000049
【図１４】
0004358229.tif 000050
【図１５】
0004358229.tif 000051
【図１６】
0004358229.tif 000052
【図１７】
0004358229.tif 000053
【図１８】
0004358229.tif 000054
【図１９】
0004358229.tif 000055
【図２０】
0004358229.tif 000056
【図２１】
0004358229.tif 000057
【図２２】
0004358229.tif 000058