(57)【要約】【課題】予め収録された蓄積動画像信号から、当該蓄積動画像信号より短い携帯カメラにより収録された入力動画像信号と類似した部分を探し出す。【解決手段】入力動画像信号から動画像表示部分を切り出し、目的動画像信号を導く動画像表示部分切り出し過程と、目的動画像信号から、特徴ベクトルからなる目的特徴を導く目的特徴計算過程と、蓄積動画像信号から、特徴ベクトルからなる蓄積特徴を導く蓄積特徴計算過程と、蓄積特徴中に照合区間を設定し、目的特徴と、蓄積特徴中の該照合区間のそれぞれから類似度を計算する特徴照合過程とを含み、特徴照合過程を蓄積特徴中の照合区間を変えながら繰り返し、類似度から、目的特徴と類似する蓄積特徴の当該箇所を検出することを特徴とする。【選択図】      図２
2004193983.tif 000002
【特許請求の範囲】
【請求項１】
予め収録された蓄積動画像信号から、該蓄積動画像信号よりも短い携帯カメラにより収録された入力動画像信号と類似した部分を探し出す映像信号検出方法であって、
前記入力動画像信号から動画像表示部分を切り出し、目的動画像信号を導く動画像表示部分切り出し過程と、
前記目的動画像信号から、特徴ベクトルからなる目的特徴を導く目的特徴計算過程と、
蓄積動画像信号から、特徴ベクトルからなる蓄積特徴を導く蓄積特徴計算過程と、
前記蓄積特徴中に照合区間を設定し、前記目的特徴と、前記蓄積特徴中の該照合区間のそれぞれから類似度を計算する特徴照合過程と、
を含み、前記特徴照合過程を前記蓄積特徴中の前記照合区間を変えながら繰り返し、前記類似度から、目的特徴と類似する蓄積特徴の当該箇所を検出することを特徴とする、映像信号検出方法。
【請求項２】
前記動画像表示部分切り出し過程において、前記入力動画像信号にあらかじめ設定された時間幅の時間区間内のフレームから、該時間区間内における各画素毎の画素値の統計量を閾値処理することにより前記動画像表示部分を切り出することを特徴とする、請求項１に記載の映像信号検出方法。
【請求項３】
前記統計量として前記時間区間内における各画素毎の画素値の分散値を使用することを特徴とする、請求項２に記載の映像信号検出方法。
【請求項４】
前記統計量として前記時間区間内における各画素毎の隣接フレーム間における画素値の差分値の最大値を使用することを特徴とする、請求項２に記載の映像信号検出方法。
【請求項５】
更に、前記目的特徴中の各特徴ベクトルにおいて、該各特徴ベクトルの周辺の特徴ベクトルから導いた統計量を用いて、特徴ベクトルの要素毎独立に正規化することで得られる特徴ベクトルからなる目的正規化特徴を導く目的特徴正規化過程と、
前記蓄積特徴中の各特徴ベクトルにおいて、該各特徴ベクトルの周辺の特徴ベクトルから導いた統計量を用いて、特徴ベクトルの要素毎独立に正規化することで得られた特徴ベクトルからなる蓄積正規化特徴を導く蓄積特徴正規化過程と、を含み、前記特徴照合過程を前記蓄積正規化特徴中の前記照合区間を変えながら繰り返し、前記類似度から、目的正規化特徴と類似する蓄積正規化特徴の当該箇所を検出することを特徴とする、請求項１〜４のいずれか１項に記載の映像信号検出方法。
【請求項６】
前記目的特徴正規化過程および前記蓄積特徴正規化過程において、前記特徴ベクトルと周辺の特徴ベクトルからベクトルの要素毎に平均値と標準偏差を求め、該特徴ベクトルから該平均値を差し引き、該標準偏差で割った値からなるベクトルを正規化特徴とする、請求項５に記載の映像信号検出方法。
【請求項７】
更に、目的動画像信号および蓄積動画像信号から計算された特徴、正規化特徴の少なくとも一方に対して変換を行う変換過程を含むことを特徴とする、請求項１〜６に記載の映像信号検出方法。
【請求項８】
前記変換過程における前記変換として線形変換を行うことを特徴とする、請求項７に記載の映像信号検出方法。
【請求項９】
更に、特徴ひずみによる変動の少ない特徴への変換を前もって学習により求める学習過程を含む、請求項７〜８に記載の映像信号検出方法。
【請求項１０】
前記学習過程では、特徴ひずみのない原信号と、同一内容の一つ乃至複数の特徴ひずみのあるひずみ信号とを基に、前記原信号と前記ひずみ信号から同一区間を複数切り取って信号対を作成し、前記原信号と前記ひずみ信号から導かれる特徴または正規化特徴の変換出力において、前記信号対の級間分散を、前記原信号のまわりの二次モーメントを全信号対における和で割った値を評価関数とし、前記評価関数が最大となる変換係数を前もって学習することを特徴とする、請求項９に記載の映像信号検出方法。
【請求項１１】
前記学習過程では、特徴ひずみのない原信号と、同一内容の一つ乃至複数の特徴ひずみのあるひずみ信号とを基に、前記原信号と前記ひずみ信号から同一区間を複数切り取って信号対を作成し、前記原信号と前記ひずみ信号から導かれる特徴または正規化特徴の変換出力において、前記信号対の級間分散を評価関数とし、前記評価関数が最大となる変換係数を前もって学習することを特徴とする、請求項９に記載の映像信号検出方法。
【請求項１２】
請求項１〜１０までのいずれかに記載の映像信号検出方法における各過程の処理をコンピュータに実行させるコンピュータプログラム。
【請求項１３】
請求項１〜１０までのいずれかに記載の映像信号検出方法における各過程の処理をコンピュータに実行させるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１４】
予め収録された蓄積動画像信号から、該蓄積動画像信号よりも短い携帯カメラにより収録された入力動画像信号と類似した部分を探し出す映像信号検出装置であって、
前記入力動画像信号から動画像表示部分を切り出し、目的動画像信号を導く動画像表示部分切り出し手段と、
前記目的動画像信号から、特徴ベクトルからなる目的特徴を導く目的特徴計算手段と、
蓄積動画像信号から、特徴ベクトルからなる蓄積特徴を導く蓄積特徴計算手段と、
前記蓄積特徴中に照合区間を設定し、前記目的特徴と、前記蓄積特徴中の該照合区間のそれぞれから類似度を計算する特徴照合手段とを備え、
前記特徴照合手段は、前記類似度の計算を前記蓄積特徴中の前記照合区間を変えながら繰り返し、前記類似度から、目的特徴と類似する蓄積特徴の当該箇所を検出することを特徴とする映像信号検出装置。
【請求項１５】
前記目的特徴中の各特徴ベクトルにおいて、該各特徴ベクトルの周辺の特徴ベクトルから導いた統計量を用いて、特徴ベクトルの要素毎独立に正規化することで得られる特徴ベクトルからなる目的正規化特徴を導く目的特徴正規化手段と、
前記蓄積特徴中の各特徴ベクトルにおいて、該各特徴ベクトルの周辺の特徴ベクトルから導いた統計量を用いて、特徴ベクトルの要素毎独立に正規化することで得られた特徴ベクトルからなる蓄積正規化特徴を導く蓄積特徴正規化手段とを備え、
前記特徴照合手段は、前記蓄積正規化特徴中の前記照合区間を変えながら繰り返し、前記類似度から、目的正規化特徴と類似する蓄積正規化特徴の当該箇所を検出することを特徴とする請求項１４に記載の映像信号検出装置。
【請求項１６】
前記特徴ひずみによる変動の少ない特徴への変換を前もって学習により求める学習手段を更に備え、
前記目的特徴正規化手段は、前記目的正規化特徴に対して前記学習手段によって求められた前記変換の処理を行い、前記蓄積特徴正規化手段は、前記蓄積正規化特徴に対して前記学習手段によって求められた前記変換の処理を行うことを特徴とする請求項１５に記載の映像信号検出装置。
【請求項１７】
前記学習手段は、
前記特徴ひずみのない原信号と、同一内容の一つ乃至複数の特徴ひずみのあるひずみ信号とを基に、前記原信号と前記ひずみ信号から同一区間を複数切り取って信号対を作成し、前記原信号と前記ひずみ信号から導かれる特徴または正規化特徴の変換出力において、前記信号対の級間分散を、前記原信号のまわりの二次モーメントを全信号対における和で割った値を評価関数とし、前記評価関数が最大となる変換係数を求めることを特徴とする請求項１６に記載の映像信号検出装置。
【請求項１８】
前記学習手段は、
特徴ひずみのない原信号と、同一内容の一つ乃至複数の特徴ひずみのあるひずみ信号とを基に、前記原信号と前記ひずみ信号から同一区間を複数切り取って信号対を作成し、前記原信号と前記ひずみ信号から導かれる特徴または正規化特徴の変換出力において、前記信号対の級間分散を評価関数とし、前記評価関数が最大となる変換係数を求めることを特徴とする請求項１６に記載の映像信号検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、予め収録された蓄積動画像信号から、該蓄積動画像信号よりも短い携帯カメラ等により収録された入力動画像信号と類似した部分を探し出す、映像信号検出方法および装置、映像信号検出プログラム並びにそのプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来、信号検出方法に関しては、あらかじめ登録した動画像信号と類似した動画像信号の場所を探し出す動画像信号検出方法（特許文献１参照）が知られている。
しかながらこの方法では、目的時系列信号、または蓄積時系列信号のノイズによる特徴ひずみが少ないことが想定されており、特徴ひずみが激しい場合、探索精度が低下する可能性があるという欠点があった。
【０００３】
また、上記した欠点を解決するために、変動付加過程を設けることで、特徴ひずみに対して頑健な信号検出を行う方法（特許文献２参照）、特徴ひずみに頑健な部分空間を用いた信号検出方法（非特許文献１参照）、のように、特徴ひずみを付加または吸収する過程を設けることで、特徴ひずみに対して頑健な信号検出を行う方法も知られている。
【０００４】
【特許文献１】
特許第３０６５３１４号公報
【特許文献２】
特開２００２−４４６１０号公報
【非特許文献１】
黒住隆行、柏野邦夫、村瀬洋、“特徴ひずみに頑健な部分空間を用いた携帯端末による音響信号探索”、信学技法IE2001-23PRMU2001-43 MVE2001-22pp．31-38、Ju1．2001．
【０００５】
【発明が解決しようとする課題】
しかしながら、上記した従来の方法では、目的動画像信号と蓄積動画像信号中の一致動画像部分の空間的な対応がとれていることが前提となっているため、携帯カメラ等で収録した動画像信号を目的動画像信号として探索することができないという欠点があった。
【０００６】
本発明は上記事情を考慮してなされたものであり、例えば、ディスプレイ画面に表示されているＣＭや番組の動画像を携帯カメラで収録し、その収録された動画像を用いて膨大な動画像データペースの中から同一の動画像を検索することを可能にする、映像信号検出方法および装置、映像信号検出プログラム並びにそのプログラムを記録した記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記した課題を解決するために本発明は、予め収録された蓄積動画像信号から、該蓄積動画像信号よりも短い携帯カメラにより収録された入力動画像信号と類似した部分を探し出す映像信号検出方法であって、前記入力動画像信号から動画像表示部分を切り出し、目的動画像信号を導く動画像表示部分切り出し過程と、前記目的動画像信号から、特徴ベクトルからなる目的特徴を導く目的特徴計算過程と、蓄積動画像信号から、特徴ベクトルからなる蓄積特徴を導く蓄積特徴計算過程と、前記蓄積特徴中に照合区間を設定し、前記目的特徴と、前記蓄積特徴中の該照合区間のそれぞれから類似度を計算する特徴照合過程と、を含み、前記特徴照合過程を前記蓄積特徴中の前記照合区間を変えながら繰り返し、前記類似度から、目的特徴と類似する蓄積特徴の当該箇所を検出することを特徴とする。
【０００８】
また、本発明の映像信号検出方法において、前記動画像表示部分切り出し過程において、前記入力動画像信号にあらかじめ設定された時間幅の時間区間内のフレームから、該時間区間内における画素毎の画素値の統計量を閾値処理することにより前記動画像表示部分を切り出することを特徴とする。
【０００９】
また、本発明の映像信号検出方法において、前記統計量として前記時間区間内における各画素毎の画素値の分散値を使用することを特徴とする。
【００１０】
また、本発明の映像信号検出方法において、前記統計量として前記時間区間内における画素毎の隣接フレーム間における画素値の差分値の最大値を使用することを特徴とする。
【００１１】
また、本発明の映像信号検出方法において、更に、前記目的特徴中の各特徴ベクトルにおいて、該各特徴ベクトルの周辺の特徴ベクトルから導いた統計量を用いて、特徴ベクトルの要素毎独立に正規化することで得られる特徴ベクトルからなる目的正規化特徴を導く目的特徴正規化過程と、前記蓄積特徴中の各特徴ベクトルにおいて、該各特徴ベクトルの周辺の特徴ベクトルから導いた統計量を用いて、特徴ベクトルの要素毎独立に正規化することで得られた特徴ベクトルからなる蓄積正規化特徴を導く蓄積特徴正規化過程と、を含み、前記特徴照合過程を前記蓄積正規化特徴中の前記照合区間を変えながら繰り返し、前記類似度から、目的正規化特徴と類似する蓄積正規化特徴の当該箇所を検出することを特徴とする。
【００１２】
また、本発明の映像信号検出方法において、前記目的特徴正規化過程および前記蓄積特徴正規化過程において、前記特徴ベクトルと周辺の特徴ベクトルからベクトルの各要素毎に平均値と標準偏差を求め、該特徴ベクトルから該平均値を差し引き、該標準偏差で割った値からなるベクトルを正規化特徴とする。
【００１３】
また、本発明の映像信号検出方法において、更に、目的動画像信号および蓄積動画像信号から計算された特徴、正規化特徴の少なくとも一方に対して変換を行う変換過程を含むことを特徴とする。
【００１４】
また、本発明の映像信号検出方法において、前記変換過程における前記変換として線形変換を行うことを特徴とする。
【００１５】
また、本発明の映像信号検出方法において、更に、特徴ひずみによる変動の少ない特徴への変換を前もって学習により求める学習過程を含むことを特徴とする。
【００１６】
また、本発明の映像信号検出方法において、前記学習過程では、特徴ひずみのない原信号と、同一内容の一つ乃至複数の特徴ひずみのあるひずみ信号とを基に、前記原信号と前記ひずみ信号から同一区間を複数切り取って信号対を作成し、前記原信号と前記ひずみ信号から導かれる特徴または正規化特徴の変換出力において、前記信号対の級間分散を、前記原信号のまわりの二次モーメントを全信号対における和で割った値を評価関数とし、前記評価関数が最大となる変換係数を前もって学習することを特徴とする。
【００１７】
また、本発明の映像信号検出方法において、前記学習過程では、特徴ひずみのない原信号と、同一内容の一つ乃至複数の特徴ひずみのあるひずみ信号とを基に、前記原信号と前記ひずみ信号から同一区間を複数切り取って信号対を作成し、前記原信号と前記ひずみ信号から導かれる特徴または正規化特徴の変換出力において、前記信号対の級間分散を評価関数とし、前記評価関数が最大となる変換係数を前もって学習することを特徴とする。
【００１８】
上記した課題を解決するために本発明のコンピュータプログラムは、上記の映像信号検出方法における各過程の処理をコンピュータに実行させるものである。
【００１９】
上記した課題を解決するために本発明のコンピュータ読み取り可能な記録媒体は、上記の映像信号検出方法における各過程の処理をコンピュータに実行させるコンピュータプログラムを記録したものである。
【００２０】
上記した課題を解決するために本発明は、予め収録された蓄積動画像信号から、該蓄積動画像信号よりも短い携帯カメラにより収録された入力動画像信号と類似した部分を探し出す映像信号検出装置であって、前記入力動画像信号から動画像表示部分を切り出し、目的動画像信号を導く動画像表示部分切り出し手段と、前記目的動画像信号から、特徴ベクトルからなる目的特徴を導く目的特徴計算手段と、蓄積動画像信号から、特徴ベクトルからなる蓄積特徴を導く蓄積特徴計算手段と、前記蓄積特徴中に照合区間を設定し、前記目的特徴と、前記蓄積特徴中の該照合区間のそれぞれから類似度を計算する特徴照合手段とを備え、前記特徴照合手段は、前記類似度の計算を前記蓄積特徴中の前記照合区間を変えながら繰り返し、前記類似度から、目的特徴と類似する蓄積特徴の当該箇所を検出することを特徴とする。
【００２１】
また、本発明の映像信号検出装置において、前記目的特徴中の各特徴ベクトルにおいて、該各特徴ベクトルの周辺の特徴ベクトルから導いた統計量を用いて、特徴ベクトルの要素毎独立に正規化することで得られる特徴ベクトルからなる目的正規化特徴を導く目的特徴正規化手段と、前記蓄積特徴中の各特徴ベクトルにおいて、該各特徴ベクトルの周辺の特徴ベクトルから導いた統計量を用いて、特徴ベクトルの要素毎独立に正規化することで得られた特徴ベクトルからなる蓄積正規化特徴を導く蓄積特徴正規化手段とを備え、前記特徴照合手段は、前記蓄積正規化特徴中の前記照合区間を変えながら繰り返し、前記類似度から、目的正規化特徴と類似する蓄積正規化特徴の当該箇所を検出することを特徴とする。
【００２２】
また、本発明の映像信号検出装置において、前記特徴ひずみによる変動の少ない特徴への変換を前もって学習により求める学習手段を更に備え、前記目的特徴正規化手段は、前記目的正規化特徴に対して前記学習手段によって求められた前記変換の処理を行い、前記蓄積特徴正規化手段は、前記蓄積正規化特徴に対して前記学習手段によって求められた前記変換の処理を行うことを特徴とする。
【００２３】
また、本発明の映像信号検出装置において、前記学習手段は、前記特徴ひずみのない原信号と、同一内容の一つ乃至複数の特徴ひずみのあるひずみ信号とを基に、前記原信号と前記ひずみ信号から同一区間を複数切り取って信号対を作成し、前記原信号と前記ひずみ信号から導かれる特徴または正規化特徴の変換出力において、前記信号対の級間分散を、前記原信号のまわりの二次モーメントを全信号対における和で割った値を評価関数とし、前記評価関数が最大となる変換係数を求めることを特徴とする。
【００２４】
また、本発明の映像信号検出装置において、前記学習手段は、特徴ひずみのない原信号と、同一内容の一つ乃至複数の特徴ひずみのあるひずみ信号とを基に、前記原信号と前記ひずみ信号から同一区間を複数切り取って信号対を作成し、前記原信号と前記ひずみ信号から導かれる特徴または正規化特徴の変換出力において、前記信号対の級間分散を評価関数とし、前記評価関数が最大となる変換係数を求めることを特徴とする。
【００２５】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施形態について説明する。
【００２６】
＜第１の実施形態＞
図１は、本発明の第１の実施形態を示すブロック図であり、本発明の映像信号検出装置の構成を示す。
図１に示す映像信号検出装置は、動画像表示部分切り出し手段１１と、目的特徴計算手段１２と、蓄積特徴計算手段１３と、特徴照合手段１４で構成され、携帯カメラ、あるいは携帯電話に付属したカメラ（以下、単に携帯カメラという）からの入力動画像信号、すなわち検索したい動画像信号と、蓄積動画像信号、すなわち検索される動画像信号とを入力とし、目的動画像信号との類似した蓄積動画像信号中の箇所を出力する。
【００２７】
動画像表示部分切り出し手段１１は、携帯カメラを用いて収録した入力動画像信号から、動画像表示部分を切り出し、目的動画像信号を導き、目的特徴計算手段１２へ供給する。また、目的特徴計算手段１２は、入力された目的動画像信号から、特徴ベクトルからなる目的特徴を導き特徴照合手段１４へ供給する。
一方、蓄積特徴計算手段１３は、例えば、データベースに登録されてある蓄積動画像信号から、特徴ベクトルからなる蓄積特徴を導き、特徴照合手段１４へ供給する。特徴照合手段１４は、蓄積特徴計算手段１３によって出力される蓄積特徴中に照合区間を設定し、目的特徴計算手段１２によって出力される目的特徴と、蓄積特徴中の照合区間のそれぞれから類似度を計算する。類似度の計算方法については後述する。
【００２８】
図２は、本発明実施形態の動作を説明するために引用したフローチャートであり、具体的には本発明のコンピュータプログラムの処理手順を示す。
以下、図２に示すフローチャートを参照しながら図１に示す本発明実施形態の動作について詳細に説明する。
【００２９】
動画像表示部分切り出し手段１１は、はじめに、携帯カメラで収録した入力動画像信号を読み込む（Ｓ２１）。
次に、読み込んだ入力動画像信号に対して動画像表示部分の切り出しを行う（Ｓ２２）。ここでは、動画像表示部分切り出し手段１１が、あらかじめ設定された時間幅の時間区間内における画素毎の隣接フレーム間における画素値の差分値の最大値に基づいて動画像表示部分の切り出しを行う。具体的には、入力動画像信号にあらかじめ設定された時間幅の窓をかけその時間区間内において、各画素毎に隣接するフレーム間における画素値の差分値の最大値を求める。
【００３０】
次に、あらかじめ設定した閾値を用いて最大値を二値化する。そして、その二値化された値から動画像表示部分を推定する。具体的には、まず、閾値を越えた画素の数から動画像表示部分の大きさを推定する。ここで、動画像表示部分の縦横比がｘ：ｙであったとすれれば、縦方向の大きさｘ、横方向の大きさｙは、次の式（１）（２）で定義することができる。
但し、Ｊは隣り合うフレーム間における画素値の差分値の最大値が閾値を越えた画素の数とする。また、動画像表示部分の中心は、隣接フレーム間におおける画素値の差分値の最大値が閾値を越えた画素の座標の平均値とする。
【００３１】
【数１】
2004193983.tif 000003
【００３２】
【数２】
2004193983.tif 000004
【００３３】
但し、Ｊは隣接フレーム間における画素値の差分値の最大値が閾値を越えた画素の数とする。また、動画像表示部分の中心は、隣接フレーム間における画素値の差分値の最大値が閾値を越えた画素の座標の平均値とする。
【００３４】
次に、得られた動画像表示部分に基づいて入力動画像信号から目的動画像信号を切り出す。なお、時間区間を時間方向にずらしてフレーム毎に動画像表示部分を推定することで、動画像表示部分が移動した場合に対応することもできる。
目的特徴計算手段１２では、はじめに、与えられた目的映像信号を読み込む．次に、読み込んだ目的映像信号に対して特徴抽出を行う（Ｓ２３）。ここでは、特徴として縮小画像を用いる。
例えば、テレビＣＭのような１５秒程度の映像信号を探索したい場合、特徴抽出の具体的な設定を次のようにすると、良い結果が得られる。すなわち、１フレームの画像を横に２等分割、縦に２等分割し、４個の領域を設け、各領域内でＲＧＢそれぞれについて画素値を平均する。そして、この４個の領域におけるＲＧＢそれぞれの平均画素値からなる１２次元ベクトルを特徴ベクトルとする。この場合、その特徴ベクトルは１フレーム毎に得られる。
【００３５】
一方、蓄積特徴計算手段１３では、はじめに、蓄積映像信号を読み込む（Ｓ２４）。次に、読み込んだ蓄積映像信号に対して特徴抽出を行う（Ｓ２５）。特徴抽出は、目的特徴計算手段１２において行ったものと同じ操作を行う。
特徴照合手段１４では、はじめに、目的特徴計算手段１２及び蓄積特徴計算手段１３により得られた目的特徴及び蓄積特徴を読み込む。続いて、蓄積特徴に対して目的特徴計算手段１２で与えられた目的特徴と同じ長さの照合区間を設定する。そして、目的特徴と蓄積特徴の照合区間内の類似度を計算する（Ｓ２６）。ここでは、類似度計算にユークリッド距離を用いる。
【００３６】
例えば、目的特徴が１０秒の長さの場合、目的特徴のベクトルを１秒毎に１０個抽出し、それらからなる１２０次元を照合に用いるベクトルとする。
照合箇所は蓄積特徴の先頭からずらしながら照合する。最後まで照合した後、ユークリッド距離が最も小さい箇所を探索結果として出力する。つまり、特徴照合手段１５は、目的特徴と現位置における蓄積特徴とを基にベクトル間のユークリッド距離を算出し（Ｓ２６）、算出された距離が最短距離より小さいか否かを判定し（Ｓ２７）、小さければ最短距離を更新し（Ｓ２８）、小さくなければステップＳ２８処理をスキップする。そして最後まで照合した後、ユークリッド距離が最も小さい箇所を探索結果として出力する（Ｓ２９）。すなわち、類似度計算を蓄積特徴中の照合区間を変えながら繰り返し行い、得られた類似度から、目的特徴と類似する蓄積特徴の当該箇所を検出することができる。
なお、探索結果は、事前にユークリッド距離の閾値を与えられていた場合、閾値を下回るもののみ出力することもできる．また、ユークリッド距離の上位Ｎ（任意）位を出力するようにすることも可能である。
【００３７】
＜第２の実施形態＞
次に説明する第２の実施形態は、上記した第１の実施形態に更に、目的特徴正規化手段１５、蓄積特徴正規化手段１６、学習手段１７、目的特徴変換手段１８、蓄積特徴変換手段１９を付加したものである。
図３は、本発明の第２の実施形態であり、本発明の映像信号検出装置の構成を示すブロック図である。図３において、図１と同一符号が付されたブロックは図１に示すブロックと同じとする。尚、第２の実施形態では、１フレームの画像を、横に１６等分割、縦に１２等分割、計１９２個に領域分割した。
【００３８】
図３において、目的特徴正規化手段１５は、目的特徴中の各特徴ペクトルにおいて、該各特徴ベクトルの周辺の特徴ベクトルから導いた統計量を用いて、特徴ベクトルの要素毎独立に正規化することで得られる特徴ベクトルからなる目的正規化特徴を導く。また、蓄積特徴正規化手段１６は、蓄積特徴中の各特徴ベクトルにおいて、該各特徴ベクトルの周辺の特徴ベクトルから導いた統計量を用いて、特徴ベクトルの各要素毎独立に正規化することで得られた特徴ベクトルからなる蓄積正規化特徴を導く。
学習手段１７は、特徴ひずみによる変動の少ない変換を前もって学習により求める。また、目的特徴変換手段１８及び蓄積特徴変換手段１９は、目的動画像信号および蓄積動画像信号から計算された正規化特徴に対して変換を行う。
【００３９】
図４は、図３に示す第２の実施形態の動作を説明するために引用したフローチャートであり、具体的には本発明のコンピュータプログラムの処理手順を示す。このフローチャートにおいて、ステップＳ５３からＳ５６までの処理は、図２に示したステップＳ２６からＳ２９までの処理と同じである。
以下、図４に示すフローチャートを参照しながら図３に示す本発明の第２の実施形態における動作について詳細に説明する。
【００４０】
目的特徴正規化手段１５では、はじめに、目的特徴計算手段２により得られた目的特徴を読み込み（Ｓ４１）、動画像表示部分の切り出しを行う（Ｓ４２）。次に、目的特徴の特徴ベクトルの要素毎に、ある一定区画の平均値と標準偏差を求める。例えば、該特徴ベクトルの前後１秒間における区画の特徴ベクトルに対して、平均値と標準偏差を求める。そして、該特徴ベクトルから先の平均値を差し引き、該標準偏差で割った値を要素にもつ特徴ベクトルを目的正規化特徴とする（Ｓ４３、Ｓ４４）。
一方、蓄積特徴正規化手段１６では、はじめに、蓄積特徴計算手段１３により得られた蓄積特徴を読み込む（Ｓ４５）。次に、読み込んだ蓄積特徴に対して正規化を行う（Ｓ４６、Ｓ４７）。正規化は、目的特徴正規化手段１５において行ったものと同じ操作を行う。
【００４１】
次に、本実施形態特有の学習処理の方法について説明する。学習手段１７では、はじめに、十分長いＣＭや番組などの動画像信号を用意する。次に、これと同一内容の動画像信号で、特徴ひずみを含んだものを複数用意する。例えば、動画像を表示するディスプレイを複数機種用意し、異なる携帯カメラで収録したものを複数用意する。なお、特徴ひずみを含んだ信号のディスプレイ表示部分はあらかじめ切り出しておく。
次に、原信号とひずみ信号から同一区間を複数切り取って信号対を作成する。原信号とひずみ信号から導かれる特徴または正規化特徴の変換出力において、信号対の級間分散を評価関数とする。その、評価関数が最大となるような変換係数を前もって学習する。すなわち、次の式（３）（４）（５）で定義される固有値問題の固有ベクトルを変換係数として用いる。
【００４２】
【数３】
2004193983.tif 000005
【００４３】
【数４】
2004193983.tif 000006
【００４４】
【数５】
2004193983.tif 000007
【００４５】
但し、Ｍは信号対の数、Ｎは特徴ひずみを含む動画像信号及び原信号の数、ｘｉｊはｉ番目の信号対におけるｊ番目の特徴ひずみを含む動画像信号又は原信号の正規化特徴（列ベクトル）、ｘ（バー）ｉはｉ番目の信号対中における信号の正規化特徴の平均、ｘ（バー）は全ての正規化特徴の平均、λは固有値、φは固有ベクトル、ｔは転置を表す。前記行列の固有ベクトルを固有値の大きいものから複数求めておく。本実施形態では、従来技術であるハウスホルダー法により１２個の固有ベクトルを求めた。
【００４６】
つまり、学習手段１７は上記のように、まず学習用信号を読み込み（ステップＳ４８）、その学習用信号を基に行列計算を行い（ステップＳ４９）、そして固有ベクトルを計算する（ステップＳ５０）。
次に、学習手段１７が求めた固有ベクトルを用いて特徴の変換を行う。すなわち、目的特徴変換手段１８及び蓄積特徴変換手段１９では、はじめに、目的特徴正規化手段１５により得られた目的正規化特徴を読み込む。次に、学習手段１７により得られた固有ベクトルを読み込み、目的正規化特徴について先の固有ベクトルを用いて変換する（Ｓ５１）。変換後におけるｋ番目の特徴ベクトルの要素ｙｋは、次式（６）で定義される値である．
【００４７】
【数６】
2004193983.tif 000008
【００４８】
但し、φはｋ番目の固有ベクトルである。次に、蓄積特徴正規化手段１６により得られた蓄積正規化特徴を読み込み、読み込んだ蓄積正規化特徴に対して同様の変換を行う（Ｓ５２）。
なお、特徴抽出手段１４による目的特徴と蓄積特徴の照合区間内の類似度計算（Ｓ５３〜Ｓ５６）は、ユークリッド距離を用いることにより実行され、上記した第１の実施形態同様、類似度計算を蓄積特徴中の照合区間を変えながら繰り返し行い、得られた類似度から、目的特徴と類似する蓄積特徴の当該箇所を検出することができる。
【００４９】
なお、上記した各実施形態の映像信号検出装置は、コンピュータを用いて実現される。そして、上記した入力動画像信号の読み込み、動画像表示部分の切り出し、目的特徴抽出、蓄積動画像信号の読み込み、蓄積特徴抽出、目的特徴正規化、蓄積特徴正規化、学習、目的特徴変換、蓄積特徴変換、特徴間のユークリッド距離算出、最短ユークリッド距離による信号のマッチングなどにおける各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００５０】
なお、入力動画像信号及び蓄積動画像信号は、入力ポート等から電気信号として入力するようにする。あるいは、入力動画像信号あるいは蓄積動画像信号のいずれか一方または両方に相当するデジタルデータを予め磁気ディスク等の記録媒体に書き込んでおいて、この記録媒体からデータを読み込んで処理するようにしても良い。
【００５１】
また、上記各実施形態において、動画像表示部分切り出し手段１１が切り出す入力画像からのからの動画像部分や、目的特徴計算手段１２が計算した目的特徴のベクトルや、蓄積特徴計算手段１３が計算した蓄積特徴のベクトルや、特徴照合手段１４が計算した類似度や、目的特徴正規化手段１５が正規化の処理を行った目的正規化特徴のベクトルや、蓄積特徴正規化手段１６が正規化の処理を行った蓄積正規化特徴のベクトルや、目的特徴変換手段１８によって変換された後のベクトルや、蓄積特徴変換手段１９によって変換された後のベクトルや、学習手段１７によって求められた変換係数などのデータ、あるいはその他の必要なデータは、コンピュータが備える記憶装置にそれぞれ書き込まれる。また、後続する各過程でこれらのデータを参照する際には前記記憶装置に書き込まれたデータがそれぞれ読み出される。
【００５２】
次に、この発明を適用した装置の動作実験例を示す。本発明の効果を確認するため、２０分の動画像信号を蓄積動画像信号、蓄積動画像信号と同じ動画像が表示されている２種類のディスプレイを３種類の携帯カメラで撮影したもの、計６種類を入力動画像信号とし、それぞれの入力動画像信号から無作為に選択した１００個の目的信号（１０秒間）に対して探索を行い、本発明を適用しなかった場合と精度を比較した。
最も類似した部分として出力された探索結果の正解率で精度を評価した。本実験の結果、精度は、動画像表示部分の切り出しを行わなかった場合で０．３％、動画像表示部分の切り出しを行った場合（実施形態１）で２１．２％、さらに、特徴の正規化と変換を行った場合（実施形態２）で６２．５％であった。次に、最も類似した上位３箇所として出力された探索結果の正解率（上位３位の累積分類率）で精度を評価した。本実験の結果、精度は、動画像表示部分の切り出しを行わなかった場合で０．８％、動画像表示部分の切り出しを行った場合（第１の実施形態）で２４．５％、さらに、特徴の正規化と変換を行った場合（第２の実施形態）で６６．８％であった。このことにより本発明の映像信号検出方法によれば、探索精度が向上したことを確認することができる。
【００５３】
以上、図面を参照してこの発明の実施形態を詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００５４】
【発明の効果】
以上説明のように本発明によれば、入力画像から動画像表示部分を切り出すことにより、ディスプレイ画面に表示されているＣＭや番組の動画像を携帯カメラで収録し、その収録された動画像を用いて膨大な動画像データベースの中から同一の動画像を検索することを可能にすることができる。
また、本発明によれば、蓄積特徴を正規化する処理により蓄積正規化特徴を導く蓄積特徴正規化過程と、目的特徴を正規化する処理により目的正規化特徴を導く目的特徴正規化過程とを有し、特徴照合過程においては、これら正規化された特徴同士を用いて類似度の計算を行うため、様々な種類の特徴ひずみに共通な方法により、特徴ひずみに頑健な映像信号検出を行うことが可能となる。
【００５５】
また、本発明によれば、目的特徴正規化過程において計算された目的正規化特徴及び蓄積特徴正規化過程において計算された蓄積正規化特徴の少なくともいずれか一方に対して所定の変換処理を行う変換過程を有するため、より一層特徴ひずみに頑健な信号検出を行うことが可能となる。
【００５６】
また、本発明によれば、特徴ひずみによる変動の少ない特徴への変換を前もって学習処理によって求める学習過程を有しており、変換過程においては学習処理の結果得られる変換を用いて変換処理を行うため、より一層特徴ひずみに頑健な信号検出を行うことが可能となる。
【００５７】
これらにより、映像信号において特定の信号と類似の部分を探索する場合に、探索精度を向上させることが可能となり、例えば、データベースの中から特定のＣＭや映像などを検索するコンテンツ検索装置の検索精度を向上させることが可能となる。
【００５８】
また、特に、複数の特徴ひずみに対しても一つの目的特徴で信号検出を可能とした点において、本願発明の技術は従来技術よりも飛躍的に進歩している。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を示すブロック図である。
【図２】図１に示す実施形態の動作を示すフローチャートである。
【図３】本発明の第２の実施形態を示すブロック図である。
【図４】図３に示す実施形態の動作を示すフローチャートである。
【符号の説明】
１１…動画像表示部分切り出し手段、１２…目的特徴計算手段、１３…蓄積特徴計算手段、１４…特徴照合手段、１５…目的特徴正規化手段、１６…蓄積特徴正規化手段、１７…学習手段、１８…目的特徴変換手段、１９…蓄積特徴変換手段
【図１】
2004193983.tif 000009
【図２】
2004193983.tif 000010
【図３】
2004193983.tif 000011
【図４】
2004193983.tif 000012