(57)【要約】【課題】比較対象の映像に含まれる映像フレームの一部分が編集された場合においても、類似する映像の検索精度をより向上させることができる。【解決手段】蓄積特徴抽出部１は、蓄積映像に対して注目窓をずらしながら順に設定し、該注目窓内にある蓄積映像の区間を表現する特徴量である蓄積特徴を注目窓毎に抽出する。参照特徴抽出部２は、参照映像に対して注目窓をずらしながら順に設定し、該注目窓内にある参照映像の区間を表現する特徴量である参照特徴を注目窓毎に抽出する。特徴照合部３は、蓄積特徴抽出部１が抽出した蓄積特徴と、参照特徴抽出部２が抽出した参照特徴の組み合わせ毎に、該蓄積特徴と該参照特徴との距離である特徴距離を計算する。映像区間検出判定部４は、特徴照合部３が計算した特徴距離とあらかじめ与えられた閾値である探索閾値とを比較し、参照映像の当該区間が、蓄積映像の当該区間に存在するか否かを判定する。【選択図】図１
2009296467.tif 000002
【特許請求の範囲】
【請求項１】
あらかじめ登録した映像である蓄積映像から、目的とする映像である参照映像に類似する映像区間を探し出す映像検索方法において、
前記蓄積映像に対して注目窓をずらしながら順に設定し、該注目窓内にある前記蓄積映像の区間を表現する特徴量である蓄積特徴を前記注目窓毎に抽出する蓄積特徴抽出過程と、
前記参照映像に対して注目窓をずらしながら順に設定し、該注目窓内にある前記参照映像の区間を表現する特徴量である参照特徴を前記注目窓毎に抽出する参照特徴抽出過程と、
前記蓄積特徴抽出過程で抽出した前記蓄積特徴と、前記参照特徴抽出過程で抽出した前記参照特徴の組み合わせ毎に、該蓄積特徴と該参照特徴との距離である特徴距離を計算する特徴照合過程と、
前記特徴照合過程で計算した前記特徴距離とあらかじめ与えられた閾値である探索閾値とを比較し、前記参照映像の当該区間が、前記蓄積映像の当該区間に存在するか否かを判定する映像区間検出判定過程と、
を有し、
前記蓄積特徴抽出過程は、
前記蓄積映像を構成するあるフレームの画像である蓄積画像から、当該蓄積画像のなかで顕著な特性を持つ空間領域を表示した画像である蓄積注目度画像を抽出する蓄積注目度画像抽出過程と、
前記蓄積画像と前記蓄積注目度画像とから、該蓄積画像を表現する特徴量である蓄積画像特徴を抽出する蓄積画像特徴抽出過程と、
前記蓄積画像特徴から、該蓄積画像特徴よりも低い次元の特徴である圧縮蓄積画像特徴を抽出する蓄積画像特徴圧縮過程と、
前記蓄積注目度画像抽出過程と、前記蓄積画像特徴抽出過程と、前記蓄積画像特徴圧縮過程とを前記注目窓内の各蓄積画像に対して順に繰り返し実行することにより得られる圧縮蓄積画像特徴の時系列である圧縮蓄積画像特徴系列から、該圧縮蓄積画像特徴系列を表現する特徴量である蓄積区間特徴を抽出する蓄積区間特徴抽出過程と、
前記蓄積区間特徴から、該蓄積区間特徴よりも低い次元の特徴である圧縮蓄積区間特徴を抽出し、該圧縮蓄積区間特徴を蓄積特徴として出力する蓄積区間特徴圧縮過程と、
を有し、
前記参照特徴抽出過程は、
前記参照映像を構成するあるフレームの画像である参照画像から、当該参照画像のなかで顕著な特性を持つ空間領域を表示した画像である参照注目度画像を抽出する参照注目度画像抽出過程と、
前記参照画像と前記参照注目度画像とから、該参照画像を表現する特徴量である参照画像特徴を抽出する参照画像特徴抽出過程と、
前記参照画像特徴から、該参照画像特徴よりも低い次元の特徴である圧縮参照画像特徴を抽出する参照画像特徴圧縮過程と、
前記参照注目度画像抽出過程と、前記参照画像特徴抽出過程と、前記参照画像特徴圧縮過程とを前記注目窓内の各参照画像に対して順に繰り返し実行することにより得られる圧縮参照画像特徴の時系列である圧縮参照画像特徴系列から、該圧縮参照画像特徴系列を表現する特徴量である参照区間特徴を抽出する参照区間特徴抽出過程と、
前記参照区間特徴から、該参照区間特徴よりも低い次元の特徴である圧縮参照区間特徴を抽出し、該圧縮参照区間特徴を参照特徴として出力する参照区間特徴圧縮過程と、
を有する
ことを特徴とする映像検索方法。
【請求項２】
あらかじめ与えられた映像である学習映像から、前記注目窓内の前記蓄積映像の区間を前記蓄積特徴に変換するための写像、または、前記注目窓内の前記参照映像の区間を前記参照特徴に変換するための写像を決定する特徴抽出写像決定過程
を有し、
前記特徴抽出写像決定過程は、
前記学習映像を構成するあるフレームの画像である学習画像から、当該学習画像のなかで顕著な特性を持つ空間領域を表示した画像である学習注目度画像を抽出する学習注目度画像抽出過程と、
前記学習画像と前記学習注目度画像とから、当該学習画像を表現する特徴量である学習画像特徴を抽出する学習画像特徴抽出過程と、
前記学習注目度画像抽出過程と、前記学習画像特徴抽出過程とを前記各学習画像に対して順に繰り返し実行することにより得られる前記学習画像特徴の時系列である学習画像特徴系列から、前記画像特徴よりも低次元の特徴を算出するための写像である画像特徴圧縮写像を決定する画像特徴圧縮写像決定過程と、
前記学習画像特徴と前記画像特徴圧縮写像とから、当該学習画像特徴よりも低い次元の特徴である圧縮学習画像特徴を抽出する学習画像特徴圧縮過程と、
前記学習画像特徴圧縮過程を各学習画像特徴に対して順に繰り返し実行することにより得られる前記圧縮学習画像特徴の時系列である圧縮学習画像特徴系列に注目窓を設定し、当該注目窓内の圧縮学習画像特徴系列から、当該圧縮学習画像特徴系列を表現する特徴量である学習区間特徴を抽出する学習区間特徴抽出過程と、
前記学習区間特徴抽出過程を、前記注目窓をずらしながら順に繰り返し実行することにより得られる前記学習区間特徴の時系列である学習区間特徴系列から、前記区間特徴よりも低次元の特徴を算出するための写像である区間特徴圧縮写像を決定する区間特徴圧縮写像決定過程と、
を有し、
前記蓄積画像特徴圧縮過程では、前記画像特徴圧縮写像と前記区間特徴圧縮写像とを前記蓄積画像特徴から前記圧縮蓄積画像特徴を抽出する際に用い、
前記参照画像特徴圧縮過程では、前記画像特徴圧縮写像と前記区間特徴圧縮写像とを前記参照画像特徴から前記圧縮参照画像特徴を抽出する際に用いる
ことを特徴とする、請求項１に記載の映像検索方法。
【請求項３】
前記映像区間検出判定過程で類似性が検出された前記参照映像の区間に対応する前記蓄積画像特徴の系列と、当該参照映像の区間に対応する前記蓄積映像の区間に対応する前記参照画像特徴の系列との距離である画像特徴系列距離を計算する特徴再照合過程と、
前記画像特徴系列距離とあらかじめ与えられた閾値である再探索閾値とを比較し、前記参照映像の当該区間が、前記蓄積映像の当該箇所に存在するかどうかを判定する映像区間検出再判定過程と、
を備えたことを特徴とする請求項１または請求項２のいずれか１項に記載の映像検索方法。
【請求項４】
あらかじめ登録した映像である蓄積映像から、目的とする映像である参照映像に類似する映像区間を探し出す映像検索装置において、
前記蓄積映像に対して注目窓をずらしながら順に設定し、該注目窓内にある前記蓄積映像の区間を表現する特徴量である蓄積特徴を前記注目窓毎に抽出する蓄積特徴抽出部と、
前記参照映像に対して注目窓をずらしながら順に設定し、該注目窓内にある前記参照映像の区間を表現する特徴量である参照特徴を前記注目窓毎に抽出する参照特徴抽出部と、
前記蓄積特徴抽出部が抽出した前記蓄積特徴と、前記参照特徴抽出部が抽出した前記参照特徴の組み合わせ毎に、該蓄積特徴と該参照特徴との距離である特徴距離を計算する特徴照合部と、
前記特徴照合部が計算した前記特徴距離とあらかじめ与えられた閾値である探索閾値とを比較し、前記参照映像の当該区間が、前記蓄積映像の当該区間に存在するか否かを判定する映像区間検出判定部と、
を有し、
前記蓄積特徴抽出部は、
前記蓄積映像を構成するあるフレームの画像である蓄積画像から、当該蓄積画像のなかで顕著な特性を持つ空間領域を表示した画像である蓄積注目度画像を抽出する蓄積注目度画像抽出部と、
前記蓄積画像と前記蓄積注目度画像とから、該蓄積画像を表現する特徴量である蓄積画像特徴を抽出する蓄積画像特徴抽出部と、
前記蓄積画像特徴から、該蓄積画像特徴よりも低い次元の特徴である圧縮蓄積画像特徴を抽出する蓄積画像特徴圧縮部と、
前記蓄積注目度画像抽出部と、前記蓄積画像特徴抽出部と、前記蓄積画像特徴圧縮過部とが前記注目窓内の各蓄積画像に対して処理を順に繰り返し実行することにより得られる圧縮蓄積画像特徴の時系列である圧縮蓄積画像特徴系列から、該圧縮蓄積画像特徴系列を表現する特徴量である蓄積区間特徴を抽出する蓄積区間特徴抽出部と、
前記蓄積区間特徴から、該蓄積区間特徴よりも低い次元の特徴である圧縮蓄積区間特徴を抽出し、該圧縮蓄積区間特徴を蓄積特徴として出力する蓄積区間特徴圧縮部と、
を有し、
前記参照特徴抽出部は、
前記参照映像を構成するあるフレームの画像である参照画像から、当該参照画像のなかで顕著な特性を持つ空間領域を表示した画像である参照注目度画像を抽出する参照注目度画像抽出部と、
前記参照画像と前記参照注目度画像とから、該参照画像を表現する特徴量である参照画像特徴を抽出する参照画像特徴抽出部と、
前記参照画像特徴から、該参照画像特徴よりも低い次元の特徴である圧縮参照画像特徴を抽出する参照画像特徴圧縮部と、
前記参照注目度画像抽出部と、前記参照画像特徴抽出部と、前記参照画像特徴圧縮部とが前記注目窓内の各参照画像に対して処理を順に繰り返し実行することにより得られる圧縮参照画像特徴の時系列である圧縮参照画像特徴系列から、該圧縮参照画像特徴系列を表現する特徴量である参照区間特徴を抽出する参照区間特徴抽出部と、
前記参照区間特徴から、該参照区間特徴よりも低い次元の特徴である圧縮参照区間特徴を抽出し、該圧縮参照区間特徴を参照特徴として出力する参照区間特徴圧縮部と、
を有する
ことを特徴とする映像検索装置。
【請求項５】
あらかじめ与えられた映像である学習映像から、前記注目窓内の前記蓄積映像の区間を前記蓄積特徴に変換するための写像、または、前記注目窓内の前記参照映像の区間を前記参照特徴に変換するための写像を決定する特徴抽出写像決定部
を有し、
前記特徴抽出写像決定部は、
前記学習映像を構成するあるフレームの画像である学習画像から、当該学習画像のなかで顕著な特性を持つ空間領域を表示した画像である学習注目度画像を抽出する学習注目度画像抽出部と、
前記学習画像と前記学習注目度画像とから、当該学習画像を表現する特徴量である学習画像特徴を抽出する学習画像特徴抽出部と、
前記学習注目度画像抽出部と、前記学習画像特徴抽出部とが前記各学習画像に対して処理を順に繰り返し実行することにより得られる前記学習画像特徴の時系列である学習画像特徴系列から、前記画像特徴よりも低次元の特徴を算出するための写像である画像特徴圧縮写像を決定する画像特徴圧縮写像決定部と、
前記学習画像特徴と前記画像特徴圧縮写像とから、当該学習画像特徴よりも低い次元の特徴である圧縮学習画像特徴を抽出する学習画像特徴圧縮部と、
前記学習画像特徴圧縮部が各学習画像特徴に対して処理を順に繰り返し実行することにより得られる前記圧縮学習画像特徴の時系列である圧縮学習画像特徴系列に注目窓を設定し、当該注目窓内の圧縮学習画像特徴系列から、当該圧縮学習画像特徴系列を表現する特徴量である学習区間特徴を抽出する学習区間特徴抽出部と、
前記学習区間特徴抽出部が前記注目窓をずらしながら処理を順に繰り返し実行することにより得られる前記学習区間特徴の時系列である学習区間特徴系列から、前記区間特徴よりも低次元の特徴を算出するための写像である区間特徴圧縮写像を決定する区間特徴圧縮写像決定部と、
を有し、
前記蓄積画像特徴圧縮部は、前記画像特徴圧縮写像と前記区間特徴圧縮写像とを前記蓄積画像特徴から前記圧縮蓄積画像特徴を抽出する際に用い、
前記参照画像特徴圧縮部は、前記画像特徴圧縮写像と前記区間特徴圧縮写像とを前記参照画像特徴から前記圧縮参照画像特徴を抽出する際に用いる
ことを特徴とする、請求項４に記載の映像検索装置。
【請求項６】
前記映像区間検出判定部が類似性を検出した前記参照映像の区間に対応する前記蓄積画像特徴の系列と、当該参照映像の区間に対応する前記蓄積映像の区間に対応する前記参照画像特徴の系列との距離である画像特徴系列距離を計算する特徴再照合部と、
前記画像特徴系列距離とあらかじめ与えられた閾値である再探索閾値とを比較し、前記参照映像の当該区間が、前記蓄積映像の当該箇所に存在するかどうかを判定する映像区間検出再判定部と、
を備えたことを特徴とする請求項４または請求項５のいずれか１項に記載の映像検索装置。
【請求項７】
請求項１から請求項３のいずれか１項に記載の映像検索方法をコンピュータに実行させるためのコンピュータプログラム。
【請求項８】
請求項１から請求項３のいずれか１項に記載の映像検索方法をコンピュータに実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、類似した映像を検索する映像検索方法、映像検索装置、コンピュータプログラムおよび記録媒体に関する。
【背景技術】
【０００２】
長時間の映像の中からあらかじめ登録した映像のある区間と類似する映像の箇所を探し出す技術は、テレビなどの放送信号の中から特定のタイトルロールを検出してビデオ録画を開始・停止したり、異なる時間・放送局で放送された同一ニュース素材を検出して映像の構造解析を行ったりすることを可能にする技術に用いられる。また、この技術を用いた映像検索方法も知られている（例えば、非特許文献１参照）。
【非特許文献１】野田和広、目加田慶人、井手一部、村瀬洋“特徴次元圧縮による長時間映像中における同一区間映像の高速検出手法”、情報科学技術フォーラム(FIT2004)講演論文集、Vol.3, pp.85-87, September 2004
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、非特許文献１に記載の方法では、映像フレームすべての情報を用いて映像の類似性を判断するため、テロップやその他加工により映像フレームの一部分が編集された際に類似性を検出できず、探索精度を低下させるという問題がある。
【０００４】
本発明はこのような事情に鑑みてなされたものであり、比較対象の映像に含まれる映像フレームの一部分が編集された場合においても、類似する映像の検索精度をより向上させることができる映像検索方法、映像検索装置、コンピュータプログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、あらかじめ登録した映像である蓄積映像から、目的とする映像である参照映像に類似する映像区間を探し出す映像検索方法において、前記蓄積映像に対して注目窓をずらしながら順に設定し、該注目窓内にある前記蓄積映像の区間を表現する特徴量である蓄積特徴を前記注目窓毎に抽出する蓄積特徴抽出過程と、前記参照映像に対して注目窓をずらしながら順に設定し、該注目窓内にある前記参照映像の区間を表現する特徴量である参照特徴を前記注目窓毎に抽出する参照特徴抽出過程と、前記蓄積特徴抽出過程で抽出した前記蓄積特徴と、前記参照特徴抽出過程で抽出した前記参照特徴の組み合わせ毎に、該蓄積特徴と該参照特徴との距離である特徴距離を計算する特徴照合過程と、前記特徴照合過程で計算した前記特徴距離とあらかじめ与えられた閾値である探索閾値とを比較し、前記参照映像の当該区間が、前記蓄積映像の当該区間に存在するか否かを判定する映像区間検出判定過程と、を有し、前記蓄積特徴抽出過程は、前記蓄積映像を構成するあるフレームの画像である蓄積画像から、当該蓄積画像のなかで顕著な特性を持つ空間領域を表示した画像である蓄積注目度画像を抽出する蓄積注目度画像抽出過程と、前記蓄積画像と前記蓄積注目度画像とから、該蓄積画像を表現する特徴量である蓄積画像特徴を抽出する蓄積画像特徴抽出過程と、前記蓄積画像特徴から、該蓄積画像特徴よりも低い次元の特徴である圧縮蓄積画像特徴を抽出する蓄積画像特徴圧縮過程と、前記蓄積注目度画像抽出過程と、前記蓄積画像特徴抽出過程と、前記蓄積画像特徴圧縮過程とを前記注目窓内の各蓄積画像に対して順に繰り返し実行することにより得られる圧縮蓄積画像特徴の時系列である圧縮蓄積画像特徴系列から、該圧縮蓄積画像特徴系列を表現する特徴量である蓄積区間特徴を抽出する蓄積区間特徴抽出過程と、前記蓄積区間特徴から、該蓄積区間特徴よりも低い次元の特徴である圧縮蓄積区間特徴を抽出し、該圧縮蓄積区間特徴を蓄積特徴として出力する蓄積区間特徴圧縮過程と、を有し、前記参照特徴抽出過程は、前記参照映像を構成するあるフレームの画像である参照画像から、当該参照画像のなかで顕著な特性を持つ空間領域を表示した画像である参照注目度画像を抽出する参照注目度画像抽出過程と、前記参照画像と前記参照注目度画像とから、該参照画像を表現する特徴量である参照画像特徴を抽出する参照画像特徴抽出過程と、前記参照画像特徴から、該参照画像特徴よりも低い次元の特徴である圧縮参照画像特徴を抽出する参照画像特徴圧縮過程と、前記参照注目度画像抽出過程と、前記参照画像特徴抽出過程と、前記参照画像特徴圧縮過程とを前記注目窓内の各参照画像に対して順に繰り返し実行することにより得られる圧縮参照画像特徴の時系列である圧縮参照画像特徴系列から、該圧縮参照画像特徴系列を表現する特徴量である参照区間特徴を抽出する参照区間特徴抽出過程と、前記参照区間特徴から、該参照区間特徴よりも低い次元の特徴である圧縮参照区間特徴を抽出し、該圧縮参照区間特徴を参照特徴として出力する参照区間特徴圧縮過程と、を有することを特徴とする映像検索方法である。
【０００６】
また、本発明は、あらかじめ与えられた映像である学習映像から、前記注目窓内の前記蓄積映像の区間を前記蓄積特徴に変換するための写像、または、前記注目窓内の前記参照映像の区間を前記参照特徴に変換するための写像を決定する特徴抽出写像決定過程を有し、前記特徴抽出写像決定過程は、前記学習映像を構成するあるフレームの画像である学習画像から、当該学習画像のなかで顕著な特性を持つ空間領域を表示した画像である学習注目度画像を抽出する学習注目度画像抽出過程と、前記学習画像と前記学習注目度画像とから、当該学習画像を表現する特徴量である学習画像特徴を抽出する学習画像特徴抽出過程と、前記学習注目度画像抽出過程と、前記学習画像特徴抽出過程とを前記各学習画像に対して順に繰り返し実行することにより得られる前記学習画像特徴の時系列である学習画像特徴系列から、前記画像特徴よりも低次元の特徴を算出するための写像である画像特徴圧縮写像を決定する画像特徴圧縮写像決定過程と、前記学習画像特徴と前記画像特徴圧縮写像とから、当該学習画像特徴よりも低い次元の特徴である圧縮学習画像特徴を抽出する学習画像特徴圧縮過程と、前記学習画像特徴圧縮過程を各学習画像特徴に対して順に繰り返し実行することにより得られる前記圧縮学習画像特徴の時系列である圧縮学習画像特徴系列に注目窓を設定し、当該注目窓内の圧縮学習画像特徴系列から、当該圧縮学習画像特徴系列を表現する特徴量である学習区間特徴を抽出する学習区間特徴抽出過程と、前記学習区間特徴抽出過程を、前記注目窓をずらしながら順に繰り返し実行することにより得られる前記学習区間特徴の時系列である学習区間特徴系列から、前記区間特徴よりも低次元の特徴を算出するための写像である区間特徴圧縮写像を決定する区間特徴圧縮写像決定過程と、を有し、前記蓄積画像特徴圧縮過程では、前記画像特徴圧縮写像と前記区間特徴圧縮写像とを前記蓄積画像特徴から前記圧縮蓄積画像特徴を抽出する際に用い、前記参照画像特徴圧縮過程では、前記画像特徴圧縮写像と前記区間特徴圧縮写像とを前記参照画像特徴から前記圧縮参照画像特徴を抽出する際に用いることを特徴とする映像検索方法である。
【０００７】
また、本発明は、前記映像区間検出判定過程で類似性が検出された前記参照映像の区間に対応する前記蓄積画像特徴の系列と、当該参照映像の区間に対応する前記蓄積映像の区間に対応する前記参照画像特徴の系列との距離である画像特徴系列距離を計算する特徴再照合過程と、前記画像特徴系列距離とあらかじめ与えられた閾値である再探索閾値とを比較し、前記参照映像の当該区間が、前記蓄積映像の当該箇所に存在するかどうかを判定する映像区間検出再判定過程と、を備えたことを特徴とする映像検索方法である。
【０００８】
また、本発明は、あらかじめ登録した映像である蓄積映像から、目的とする映像である参照映像に類似する映像区間を探し出す映像検索装置において、前記蓄積映像に対して注目窓をずらしながら順に設定し、該注目窓内にある前記蓄積映像の区間を表現する特徴量である蓄積特徴を前記注目窓毎に抽出する蓄積特徴抽出部と、前記参照映像に対して注目窓をずらしながら順に設定し、該注目窓内にある前記参照映像の区間を表現する特徴量である参照特徴を前記注目窓毎に抽出する参照特徴抽出部と、前記蓄積特徴抽出部が抽出した前記蓄積特徴と、前記参照特徴抽出部が抽出した前記参照特徴の組み合わせ毎に、該蓄積特徴と該参照特徴との距離である特徴距離を計算する特徴照合部と、前記特徴照合部が計算した前記特徴距離とあらかじめ与えられた閾値である探索閾値とを比較し、前記参照映像の当該区間が、前記蓄積映像の当該区間に存在するか否かを判定する映像区間検出判定部と、を有し、前記蓄積特徴抽出部は、前記蓄積映像を構成するあるフレームの画像である蓄積画像から、当該蓄積画像のなかで顕著な特性を持つ空間領域を表示した画像である蓄積注目度画像を抽出する蓄積注目度画像抽出部と、前記蓄積画像と前記蓄積注目度画像とから、該蓄積画像を表現する特徴量である蓄積画像特徴を抽出する蓄積画像特徴抽出部と、前記蓄積画像特徴から、該蓄積画像特徴よりも低い次元の特徴である圧縮蓄積画像特徴を抽出する蓄積画像特徴圧縮部と、前記蓄積注目度画像抽出部と、前記蓄積画像特徴抽出部と、前記蓄積画像特徴圧縮過部とが前記注目窓内の各蓄積画像に対して処理を順に繰り返し実行することにより得られる圧縮蓄積画像特徴の時系列である圧縮蓄積画像特徴系列から、該圧縮蓄積画像特徴系列を表現する特徴量である蓄積区間特徴を抽出する蓄積区間特徴抽出部と、前記蓄積区間特徴から、該蓄積区間特徴よりも低い次元の特徴である圧縮蓄積区間特徴を抽出し、該圧縮蓄積区間特徴を蓄積特徴として出力する蓄積区間特徴圧縮部と、を有し、前記参照特徴抽出部は、前記参照映像を構成するあるフレームの画像である参照画像から、当該参照画像のなかで顕著な特性を持つ空間領域を表示した画像である参照注目度画像を抽出する参照注目度画像抽出部と、前記参照画像と前記参照注目度画像とから、該参照画像を表現する特徴量である参照画像特徴を抽出する参照画像特徴抽出部と、前記参照画像特徴から、該参照画像特徴よりも低い次元の特徴である圧縮参照画像特徴を抽出する参照画像特徴圧縮部と、前記参照注目度画像抽出部と、前記参照画像特徴抽出部と、前記参照画像特徴圧縮部とが前記注目窓内の各参照画像に対して処理を順に繰り返し実行することにより得られる圧縮参照画像特徴の時系列である圧縮参照画像特徴系列から、該圧縮参照画像特徴系列を表現する特徴量である参照区間特徴を抽出する参照区間特徴抽出部と、前記参照区間特徴から、該参照区間特徴よりも低い次元の特徴である圧縮参照区間特徴を抽出し、該圧縮参照区間特徴を参照特徴として出力する参照区間特徴圧縮部と、を有することを特徴とする映像検索装置である。
【０００９】
また、本発明は、あらかじめ与えられた映像である学習映像から、前記注目窓内の前記蓄積映像の区間を前記蓄積特徴に変換するための写像、または、前記注目窓内の前記参照映像の区間を前記参照特徴に変換するための写像を決定する特徴抽出写像決定部を有し、前記特徴抽出写像決定部は、前記学習映像を構成するあるフレームの画像である学習画像から、当該学習画像のなかで顕著な特性を持つ空間領域を表示した画像である学習注目度画像を抽出する学習注目度画像抽出部と、前記学習画像と前記学習注目度画像とから、当該学習画像を表現する特徴量である学習画像特徴を抽出する学習画像特徴抽出部と、前記学習注目度画像抽出部と、前記学習画像特徴抽出部とが前記各学習画像に対して処理を順に繰り返し実行することにより得られる前記学習画像特徴の時系列である学習画像特徴系列から、前記画像特徴よりも低次元の特徴を算出するための写像である画像特徴圧縮写像を決定する画像特徴圧縮写像決定部と、前記学習画像特徴と前記画像特徴圧縮写像とから、当該学習画像特徴よりも低い次元の特徴である圧縮学習画像特徴を抽出する学習画像特徴圧縮部と、前記学習画像特徴圧縮部が各学習画像特徴に対して処理を順に繰り返し実行することにより得られる前記圧縮学習画像特徴の時系列である圧縮学習画像特徴系列に注目窓を設定し、当該注目窓内の圧縮学習画像特徴系列から、当該圧縮学習画像特徴系列を表現する特徴量である学習区間特徴を抽出する学習区間特徴抽出部と、前記学習区間特徴抽出部が前記注目窓をずらしながら処理を順に繰り返し実行することにより得られる前記学習区間特徴の時系列である学習区間特徴系列から、前記区間特徴よりも低次元の特徴を算出するための写像である区間特徴圧縮写像を決定する区間特徴圧縮写像決定部と、を有し、前記蓄積画像特徴圧縮部は、前記画像特徴圧縮写像と前記区間特徴圧縮写像とを前記蓄積画像特徴から前記圧縮蓄積画像特徴を抽出する際に用い、前記参照画像特徴圧縮部は、前記画像特徴圧縮写像と前記区間特徴圧縮写像とを前記参照画像特徴から前記圧縮参照画像特徴を抽出する際に用いることを特徴とする映像検索装置である。
【００１０】
また、本発明は、前記映像区間検出判定部が類似性を検出した前記参照映像の区間に対応する前記蓄積画像特徴の系列と、当該参照映像の区間に対応する前記蓄積映像の区間に対応する前記参照画像特徴の系列との距離である画像特徴系列距離を計算する特徴再照合部と、前記画像特徴系列距離とあらかじめ与えられた閾値である再探索閾値とを比較し、前記参照映像の当該区間が、前記蓄積映像の当該箇所に存在するかどうかを判定する映像区間検出再判定部と、を備えたことを特徴とする映像検索装置である。
【００１１】
また、本発明は、映像検索方法をコンピュータに実行させるためのコンピュータプログラムである。
【００１２】
また、本発明は、映像検索方法をコンピュータに実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１３】
本発明によれば、比較対象の映像に含まれる映像フレームの一部分が編集された場合においても、類似する映像の検索精度をより向上させることができる。
【発明を実施するための最良の形態】
【００１４】
（第一の実施形態）
以下、図面を参照し、本発明の第一の実施形態を説明する。図１は本実施形態における映像検索装置の機能ブロック図である。同図に示す映像検索装置は、蓄積特徴抽出部１と、参照特徴抽出部２と、特徴照合部３と、映像区間検出判定部４とにより構成され、検索の際に問い合わせの映像として用いる参照映像と、探索の対象となる映像である蓄積映像との入力を受け付け、類似すると判断された参照映像の区間と蓄積信号の区間との組を出力する。なお、映像は複数のフレームの画像からなる。
【００１５】
蓄積特徴抽出部１は、蓄積映像の入力を受け付け、その蓄積映像に対して注目窓をずらしながら順に設定し、各注目窓内にある蓄積映像の区間を表現する特徴量である蓄積特徴を注目窓毎に抽出し、その蓄積特徴を出力する。蓄積特徴の抽出方法は特に限定されるものではないが、本実施形態においては、蓄積特徴抽出部１が、蓄積注目度画像抽出部１１と、蓄積画像特徴抽出部１２と、蓄積画像特徴圧縮部１３と、蓄積区間特徴抽出部１４と、蓄積区間特徴圧縮部１５とによって構成される抽出方法について述べる。
【００１６】
蓄積注目度画像抽出部１１は、蓄積映像を構成するあるフレームである蓄積画像の入力を受け付け、その蓄積画像の中で顕著な特性を持つ空間領域を表示した画像である蓄積注目度画像を抽出し、その蓄積注目度画像を出力する。蓄積注目度画像の抽出方法は特に限定されるものではないが、本実施形態においては、蓄積注目度画像抽出部１１が、輝度特徴画像抽出部１１１と、色特徴画像抽出部１１２と、方向特徴画像抽出部１１３と、点滅特徴画像抽出部１１４と、運動特徴画像抽出部１１５とによって構成される場合の特徴抽出方法について述べる。
【００１７】
輝度特徴画像抽出部１１１は、蓄積画像の入力を受け付け、蓄積画像の輝度成分を表現する輝度特徴画像を出力する。輝度特徴画像は、蓄積画像のＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）成分の平均として、以下の（式１）のように求める。
【００１８】
【数１】
2009296467.tif 000003
【００１９】
ここで、ｒ（ｉ），ｇ（ｉ），ｂ（ｉ）は、それぞれｉ番目の蓄積画像（＝蓄積映像のｉ番目のフレーム）におけるＲ（赤色），Ｇ（緑色），Ｂ（青）の各成分であり、画素値はそれぞれ０から１の実数値で表されている。また、Ｉ（ｉ）は、ｉ番目の蓄積画像から計算される輝度特徴画像である。
【００２０】
色特徴画像抽出部１１２は、蓄積画像の入力を受け付け、蓄積画像の色成分を表現する色特徴画像を出力する。色特徴画像抽出部１１２では、赤色・緑色・青色・黄色にそれぞれ対応する４種類の色特徴画像を抽出する。これらの色特徴画像はそれぞれ、以下の（式２）〜（式５）のように求める。ただし、ｍａｘは、括弧｛｝内の値のうちの最大値を示す。
【００２１】
【数２】
2009296467.tif 000004
【００２２】
ここで、Ｒ（ｉ），Ｇ（ｉ），Ｂ（ｉ），Ｙ（ｉ）は、それぞれ赤色・緑色・青色・黄色に対応する、ｉ番目の蓄積画像から計算される色特徴画像である。また、Ｒ（ｉ）（ｘ，ｙ）は、座標（ｘ，ｙ）における色特徴画像Ｒ（ｉ）の画素値である。以降の説明において、必要な場合を除いて、下添字の（ｘ，ｙ）は省略するものとする。
【００２３】
方向特徴画像抽出部１１３は、蓄積画像の入力を受け付け、蓄積画像の方向成分を表現する方向特徴画像を出力する。方向特徴画像は、輝度特徴画像抽出部１１１によって求めた輝度特徴画像Ｉ（ｉ）にガボールフィルタを作用させることによって、以下の（式６）のように求められる。なお、ガボールフィルタとは、画像の局所的な濃淡情報を取り出すものである。
【００２４】
【数３】
2009296467.tif 000005
【００２５】
ここで、ｇφは回転角φを持つガボールフィルタ、＊は畳み込み（関数を平行移動しながらもう一方の関数を重ね足し合わせる）を表現する演算子である。また、Ｏφ（ｉ）はｉ番目の入力画像から計算される、回転角φに対応する方向特徴画像である。方向特徴画像は、ｎφ通りの回転角について抽出される。このとき回転角φは、π＝１８０°を均等にｎφ分割するように、以下の（式７）のように選択される。
【００２６】
【数４】
2009296467.tif 000006
【００２７】
点滅特徴画像抽出部１１４は、蓄積画像の入力を受け付け、蓄積画像の点滅成分を表現する点滅特徴画像を出力する。点滅特徴画像は、輝度特徴画像抽出部１１１により、現在及びそれ以前のいくつかの蓄積画像から計算される輝度特徴画像Ｉ（ｉ）を用い、以下の（式８）のように計算される。
【００２８】
【数５】
2009296467.tif 000007
【００２９】
ここで、ｎＦは点滅特徴画像を抽出する際に参照する輝度特徴画像の数（ただし現在の蓄積画像から抽出された輝度特徴画像は除く）、Ｆ（ｉ）はｉ番目及びそれ以前の蓄積画像から計算される点滅特徴画像である。ｎＦ＝１としたとき、Ｆ（ｉ）＝｜Ｉ（ｉ）−Ｉ（ｉ−１）｜となり、以下の文献に記載の方法と一致する。
L. Itti et a1.，“Realistic avatar eye and head animation using a neurobiological model of visual attention”，Proceedings of SPIE International Symposium on Optical Science and Technology，Volume 5200，pp. 64-78，August 2003.
【００３０】
運動特徴画像抽出部１１５は、蓄積画像の入力を受け付け、蓄積画像の運動成分を表現する運動特徴画像を出力する。運動特徴画像の抽出方法は特に限定されるものではないが、本実施形態においては、輝度特徴画像の各点におけるオプティカルフローを求めることによって抽出する。オプティカルフローの導出方法は特に限定されるものではないが、本実施形態においては、例えば、一般にLucas-Kanade法と呼ばれる画像勾配に基づく方法を用いて、以下の（式９）〜（式１０）のように計算する。
【００３１】
【数６】
2009296467.tif 000008
【００３２】
ここで、Ａ（ｘ，ｙ）は座標（ｘ，ｙ）の近傍領域、Ｍｘ（ｉ），Ｍｙ（ｉ）はそれぞれ運動の水平成分・垂直成分に対応する運動特徴画像である。
【００３３】
上記の通り、蓄積注目度画像抽出部１１は、輝度特徴画像と、色特徴画像と、方向特徴画像と、点滅特徴画像と、運動特徴画像とをそれぞれ蓄積注目度画像とし、それら蓄積注目度画像を出力する。
【００３４】
蓄積画像特徴抽出部１２は、蓄積画像と、蓄積注目度画像抽出部１１が出力した蓄積注目度画像との入力を受け付け、蓄積画像を表現する特徴量である蓄積画像特徴を抽出し、この蓄積画像特徴を出力する。蓄積画像特徴の抽出方法は特に限定されるものではないが、本実施形態においては、蓄積画像のＲＧＢ画素値をそのまま用いる。すなわち、蓄積画像の大きさが横ｎｘ画素×縦ｎｙ画素であるとすると、１つの蓄積画像特徴はｎｆ０＝ｎｘ×ｎｙ×３次元のベクトルとして表現される。
【００３５】
なお、蓄積注目度画像の画素値が大きい画素のみを特徴として利用することも可能である。すなわち、注目度画像の画素についての閾値である注目度閾値をあらかじめ設定しておき、蓄積注目度画像においてこの注目度閾値を下回る画素値を持つ画素については、該当する蓄積画像特徴の次元を考慮しないという条件を示す記号（例えば、画素値の取り得る範囲を超える値など）を挿入する。以降の説明を容易にするため、この条件を条件１として表現する。
上記の通り、蓄積画像特徴抽出部１２は、蓄積画像特徴を抽出し、これを出力する。
【００３６】
蓄積画像特徴圧縮部１３は、蓄積画像特徴抽出部１２が出力した蓄積画像特徴の入力を受け付け、その蓄積画像特徴よりも低い次元の特徴である圧縮蓄積画像特徴を抽出し、この圧縮蓄積画像特徴を抽出する。圧縮蓄積画像特徴の抽出方法は特に限定されるものではないが、本実施形態においては、線形写像を用いて蓄積画像特徴の次元を削減することで、圧縮蓄積画像特徴を抽出する。
【００３７】
まず、条件１に該当することを示す記号が挿入された蓄積画像特徴の各要素に、ある特定のベクトルである画像特徴圧縮代表特徴の対応する要素を挿入することにより、蓄積画像特徴を変換する。すなわち、ｉ番目の蓄積画像から抽出した蓄積画像特徴を（式１１）で、画像特徴圧縮代表特徴を（式１２）で、行列の転置（転置行列）を（・）ｔｒで表現するとき、変換後の蓄積画像行列（式１３）は、（式１４）で得られる。
【００３８】
【数７】
2009296467.tif 000009
【００３９】
圧縮蓄積画像特徴は、変換後の蓄積画像特徴と、画像特徴圧縮代表特徴と、次元削減に用いる写像である画像特徴圧縮写像の行列表記ＤＩとを用いて表すと、（式１５）で得られる。
【００４０】
【数８】
2009296467.tif 000010
【００４１】
画像特徴圧縮写像ＤＩと画像特徴圧縮代表特徴とは、例えば、あらかじめ適切に与えておく、もしくは、後述する第２の実施形態に記載の方法を用いることで決定することができる。
上記の通り、蓄積画像特徴圧縮部１３は、圧縮蓄積画像特徴を抽出し、これを出力する。
【００４２】
蓄積区間特徴抽出部１４は、蓄積注目度画像抽出過程１１から蓄積画像特徴圧縮過程１３までを注目窓内の各蓄積画像に対して順に繰り返し実行することにより得られる圧縮蓄積画像特徴の時系列である圧縮蓄積画像特徴系列の入力を受け付け、その圧縮蓄積画像特徴系列を表現する特徴量である蓄積区間特徴を抽出し、この蓄積区間特徴を出力する。
【００４３】
蓄積区間特徴の抽出方法は特に限定されるものではないが、本実施形態においては、圧縮蓄積画像特徴系列内にある圧縮蓄積画像特徴を蓄積区間特徴としてそのまま用いる。すなわち、注目窓の長さをＤ、圧縮蓄積画像特徴の次元数をｎｆとすると、１つの蓄積区間特徴はＤ×ｎｆ次元のベクトルとして表現される。
上記の通り、蓄積区間特徴抽出部１４は、蓄積区間特徴を抽出し、これを出力する。
【００４４】
蓄積区間特徴圧縮部１５は、蓄積区間特徴抽出部１４が出力した蓄積区間特徴の入力を受け付け、その蓄積区間特徴よりも低い次元の特徴である圧縮蓄積区間特徴を抽出し、この圧縮蓄積区間特徴を抽出する。
【００４５】
圧縮蓄積区間特徴の抽出方法は特に限定されるものではないが、本実施形態においては、蓄積画像特徴圧縮部１３と同様に、線形写像を用いて蓄積区間特徴の次元を削減することで圧縮蓄積区間特徴を抽出する。すなわち、ｉ番目の注目窓から抽出した蓄積区間特徴をｖＳ０（ｉ）とし、同じく圧縮蓄積区間特徴をｖＳ（ｉ）とし、次元削減に用いる写像である区間特徴圧縮写像の行列表記をＤＷとし、ある特定のベクトルである区間特徴圧縮代表特徴を（式１６）とするとき、圧縮蓄積区間特徴は（式１７）で得られる。
【００４６】
【数９】
2009296467.tif 000011
【００４７】
区間特徴圧縮写像ＤＷと区間特徴圧縮代表特徴とは、例えば、あらかじめ適切に与えておく、もしくは、後述する第２の実施形態に記載の方法を用いて決定することができる。
上記の通り、蓄積区間特徴圧縮部１５は、圧縮蓄積区間特徴を抽出し、これを蓄積特徴として出力する。
【００４８】
上述したとおり、蓄積特徴抽出部１は、入力を受け付けた蓄積映像に対して注目窓をずらしながら順に設定し、蓄積注目度画像抽出部１１と、蓄積画像特徴抽出部１２と、蓄積画像特徴圧縮部１３と、蓄積区間特徴抽出部１４と、蓄積区間特徴圧縮部１５とにより、各注目窓内にある蓄積映像の区間を表現する特徴量である蓄積特徴を注目窓毎に抽出し、これを出力する。
【００４９】
参照特徴抽出部２は、参照映像の入力を受け付け、その参照映像に対して注目窓をずらしながら順に設定し、各注目窓内にある参照映像の区間を表現する特徴量である参照特徴を注目窓毎に抽出し、その参照特徴を出力する。参照特徴の抽出方法は特に限定されるものではないが、本実施形態においては、参照特徴抽出部２は参照注目度画像抽出部２１と、参照画像特徴抽出部２２と、参照画像特徴圧縮部２３と、参照区間特徴抽出部２４と、参照区間特徴圧縮部２５とを備え、蓄積特徴抽出部１と同様の処理を行い、参照特徴の抽出を行う。
【００５０】
特徴照合部３は、蓄積特徴抽出部１が出力した注目窓毎の蓄積特徴と、参照特徴抽出部２が出力した注目窓毎の参照特徴との入力を受け付け、蓄積特徴と参照特徴との距離である特長距離を、注目窓毎の蓄積特徴と注目窓毎の参照特徴との組み合わせ毎に計算し、これを出力する。
【００５１】
特長距離の計算方法は特に限定されるものではないが、本実施形態においては、ユークリッド距離を用いて計算する。すなわち、ｊ番目の注目窓から抽出した圧縮参照区間特徴をｖＲ（ｊ）とし、圧縮蓄積区間特徴の次元数（圧縮参照区間特徴の次元数）をｎｖとするとき、特徴距離は（式１８）で計算される。
【００５２】
【数１０】
2009296467.tif 000012
【００５３】
上記の通り、特徴照合部３は、注目窓毎の蓄積特徴と注目窓毎の参照特徴との組み合わせ毎に特徴距離を抽出し、これを出力する。
【００５４】
映像区間検出判定部４は、特徴照合部３が出力した特徴距離の入力を受け付け、あらかじめ与えられた閾値である探索閾値と特徴距離とを比較することにより、参照映像の当該区間が、蓄積映像の当該箇所に存在するかどうかを判定し、その判定結果を出力する。
【００５５】
すなわち、特徴距離ｄ（ｖＳ（ｉ），ｖＲ（ｊ））が探索閾値θ以下である場合には、ｊ番目の注目窓に含まれる参照映像の区間が、ｉ番目の注目窓を先頭とする蓄積映像の箇所に存在するものとして、そのことを示す記号（判定結果）を出力する。
上記の通り、映像区間検出判定部４は、ある注目窓に含まれる参照映像の区間が、ある注目窓を先頭とする蓄積映像の箇所に存在するか否かの判定結果を出力する。
【００５６】
上述したとおり、本実施形態における映像検索装置は、蓄積映像から注目窓毎に蓄積特徴を抽出し、参照映像から注目窓毎に参照特徴を抽出し、抽出した蓄積特徴と参照特徴とを比較することで、類似している映像が含まれている区間を、蓄積映像と参照映像とについてそれぞれ検出することができる。また、本実施形態における映像検索装置は、人間の視覚特性に基づいた重要性算出方法を用いて蓄積特徴と参照特徴とを抽出し、抽出した蓄積特徴と参照特徴とに基づいて類似性の判断を行っているため、比較対象の映像に含まれる映像フレームの一部分が編集された場合においても検索精度をより向上させ、より高速に類似する映像の検索を行うことができる。
【００５７】
（第二の実施形態）
以下、図面を参照し、本発明の第二の実施形態を説明する。図２は本実施形態における映像検索装置の機能ブロック図である。同図に示す映像検索装置は、第一の実施形態で示した映像検索装置に特徴抽出写像決定部５がさらに含まれた装置である。
【００５８】
図示する例では、映像検索装置は、特徴抽出写像決定部５と、蓄積特徴抽出部１と、参照特徴抽出部２と、特徴照合部３と、映像区間検出判定部４とにより構成され、検索の際に問い合わせの映像として用いる参照映像と、探索の対象となる映像である蓄積映像との入力を受け付け、類似すると判断された参照映像の区間と蓄積信号の区間との組を出力する。
【００５９】
特徴抽出写像決定部５は、ある与えられた映像である学習映像の入力を受け付け、注目窓内の蓄積映像もしくは参照映像の区間を、蓄積特徴もしくは参照特徴に変換するための写像を決定し、その写像を出力する。
【００６０】
蓄積特徴もしくは参照特徴に変換するための写像の決定方法は特に限定されるものではないが、本実施形態においては、特徴抽出写像決定部５は、学習注目度画像抽出部５１と、学習画像特徴抽出部５２と、画像特徴圧縮写像決定部５３と、学習画像特徴圧縮部５４と、学習区間特徴抽出部５５と、区間特徴圧縮写像決定部５６とによって構成される決定方法について述べる。
【００６１】
学習注目度画像抽出部５１は、学習映像を構成するあるフレームである学習画像の入力を受け付け、その学習画像の中で顕著な特性を持つ空間領域を表示した画像である学習注目度画像を抽出し、その学習注目度画像を出力する。学習注目度画像抽出部５１は、輝度特徴画像抽出部５１１と、色特徴画像抽出部５１２と、方向特徴画像抽出部５１３と、点滅特徴画像抽出部５１４と、運動特徴画像抽出部５１５とを備え、蓄積注目度画像抽出部１１が蓄積注目度画像を抽出する方法と同様に、学習注目度画像の抽出を行う。
【００６２】
学習画像特徴抽出部５２は、学習画像と、学習注目度画像抽出部５１が出力した学習注目度画像の入力を受け付け、その学習画像を表現する特徴量である学習画像特徴を抽出し、その学習画像特徴を出力する。学習画像特徴の抽出方法は、蓄積画像特徴抽出部１２が蓄積画像特徴を抽出する方法と同様の方法である。
【００６３】
画像特徴圧縮写像決定部５３は、学習注目度画像抽出部５１から学習画像特徴抽出部５２までを各学習画像に対して順に繰り返し実行することにより得られる学習画像特徴の時系列である学習画像特徴系列の入力を受け付け、学習画像特徴よりも低次元の特徴を算出するための写像である画像特徴圧縮写像を決定し、その学習特徴圧縮写像を出力する。
【００６４】
画像特徴圧縮写像の決定方法は特に限定されるものではないが、本実施形態においては、主成分分析を用いることにより、学習画像特徴系列から学習画像特徴の主成分を抽出して、この主成分に基づいて画像特徴圧縮写像を決定する。
【００６５】
まず、学習画像特徴系列内の学習画像特徴の平均及び共分散行列を計算する。この平均が画像特徴圧縮代表特徴となる。長さ（フレーム数）Ｔの学習映像から抽出した学習画像特徴系列は（式１９）で表される。
【００６６】
【数１１】
2009296467.tif 000013
【００６７】
この学習画像特徴系列に対する画像特徴圧縮代表特徴は（式２０）となり、（式２１）で得られる。
【００６８】
【数１２】
2009296467.tif 000014
【００６９】
また、共分散行列は（式２２）となり、（式２３）で得られる。
【００７０】
【数１３】
2009296467.tif 000015
【００７１】
ただし、（式２４）は、括弧内の条件を満たすｔの個数である。画像特徴圧縮代表特徴は、条件１の影響を除外して計算された平均と考えることができる。
【００７２】
【数１４】
2009296467.tif 000016
【００７３】
次に、共分散行列の固有値及び固有ベクトルを求める。各学習画像特徴の次元数がｎｆ０であり、学習画像特徴系列の長さがＴであるので、最大でmin（ｎｆ０，Ｔ）組の固有値λｆ，ｊと固有ベクトル（式２５）とが得られる。得られた各固有ベクトルを主成分とし、各主成分に対応する固有値を全主成分の固有値の合計値で除算した値をその主成分の寄与率と呼ぶ。
【００７４】
【数１５】
2009296467.tif 000017
【００７５】
続いて、寄与率が大きい順（すなわち、対応する固有値が大きい順）に主成分を並べ換え、寄与率の合計値があらかじめ与えられた寄与閾値を上回るまで、順に主成分を選択していく。選択された各主成分を行ベクトルとする行列を画像特徴圧縮写像の行列表現ＤＩとして決定する。
上記の通り、画像特徴圧縮写像決定部５３は、画像特徴圧縮写像を抽出し、これを出力する。
【００７６】
学習画像特徴圧縮部５４は、学習画像特徴抽出部５２が出力した学習画像特徴と、画像特徴圧縮写像決定部５３が出力した画像特徴圧縮写像との入力を受け付け、その学習画像特徴よりも低い次元の特徴である圧縮学習画像特徴を抽出し、その圧縮学習画像特徴を出力する。圧縮学習画像特徴の抽出方法は、蓄積画像特徴圧縮部１３が圧縮蓄積画像特徴を抽出する方法と同様の方法である。
【００７７】
学習区間特徴抽出部５５は、学習画像特徴圧縮部５４を各学習画像特徴に対して順に繰り返し実行することにより得られる圧縮学習画像特徴の時系列である圧縮学習画像特徴系列に注目窓を設定し、その注目窓内の圧縮学習画像特徴系列から、その圧縮学習画像特徴系列を表現する特徴量である学習区間特徴を抽出し、その学習区間特徴を出力する。
学習区間特徴の抽出方法は、蓄積区間特徴抽出部１４が蓄積区間特徴を抽出する方法と同様の方法である。
【００７８】
区間特徴圧縮写像決定部５６は、学習区間特徴抽出部５５を注目窓をずらしながら順に繰り返し実行することにより得られる学習区間特徴の時系列である学習区間特徴系列から、区間特徴よりも低次元の特徴を算出するための写像である区間特徴圧縮写像を決定し、その区間特徴圧縮写像を出力する。
【００７９】
区間特徴圧縮写像の決定方法は特に限定されるものではないが、本実施形態においては、画像特徴圧縮写像決定部５３が画像特徴圧縮写像を抽出する方法と同様の方法を用いて、学習区間特徴系列から学習区間特徴の主成分を抽出し、この主成分に基づいて区間特徴圧縮写像を決定する。
【００８０】
上述したとおり、特徴抽出写像決定部５は、入力を受け付けた学習映像に基づいて、学習注目度画像抽出部５１と、学習画像特徴抽出部５２と、画像特徴圧縮写像決定部５３と、学習画像特徴圧縮部５４と、学習区間特徴抽出部５５と、区間特徴圧縮写像決定部５６とにより区間特徴圧縮写像を出力する。本実施形態では、蓄積特徴抽出部１の蓄積画像特徴圧縮部１３と、参照特徴抽出部２の参照画像特徴圧縮部２３とは、特徴抽出写像決定部５が出力した区間特徴圧縮写像を画像特徴圧縮代表特徴として用いる。
【００８１】
蓄積特徴抽出部１と、参照特徴抽出部２と、特徴照合部３と、映像区間検出判定部４とは、第一の実施形態と同様の処理を行う。これにより、本実施形態における映像検索装置は、学習映像に基づいて抽出された区間特徴圧縮写像を用い、蓄積映像から蓄積特徴を抽出し、参照映像から参照特徴を抽出し、抽出した蓄積特徴と参照特徴とを比較することで、類似している映像が含まれている区間を、蓄積映像と参照映像とのそれぞれについて検出することができる。
【００８２】
（第三の実施形態）
以下、図面を参照し、本発明の第三の実施形態を説明する。図３は本実施形態における映像検索装置の機能ブロック図である。同図に示す映像検索装置は、第二の実施形態で示した映像検索装置に特徴再照合部６と映像区間検出再判定部７とがさらに含まれた装置である。
【００８３】
図示する例では、映像検索装置は、特徴抽出写像決定部５と、蓄積特徴抽出部１と、参照特徴抽出部２と、特徴照合部３と、映像区間検出判定部４と、特徴再照合部６と、映像区間検出再判定部７とにより構成され、検索の際に問い合わせの映像として用いる参照映像と、探索の対象となる映像である蓄積映像との入力を受け付け、類似すると判断された参照映像の区間と蓄積信号の区間との組を出力する。
【００８４】
蓄積特徴抽出部１と、参照特徴抽出部２と、特徴照合部３と、映像区間検出判定部４と、特徴抽出写像決定部５とは、第二の実施形態と同様である。
【００８５】
特徴再照合部６は、映像区間検出判定部４において類似性が検出された参照映像の区間に対応する蓄積画像特徴の系列と、その参照映像の区間に対応する蓄積映像の区間に対応する参照画像特徴の系列とから、それら特徴系列同士の距離である画像特徴系列距離を計算し、この画像特徴系列距離を出力する。
【００８６】
画像特徴系列距離の計算方法は特に限定されるものではないが、本実施形態においては、ユークリッド距離を用いて計算する。すなわち、ｉ番目の注目窓に含まれる蓄積画像特徴を（式２６）とし、ｊ番目の注目窓に含まれる参照画像特徴を（式２７）とするとき、画像特徴系列距離は（式２８）で計算される。
【００８７】
【数１６】
2009296467.tif 000018
【００８８】
ただし、蓄積画像特徴もしくは参照画像特徴の要素に条件１に該当する要素が含まれている場合には、その要素に関する差分を０であるとみなす。
上記の通り、特徴再照合部６は、画像特徴系列距離を抽出し、これを出力する。
【００８９】
映像区間検出再判定部７は、特徴再照合部６が出力した画像特徴系列距離の入力を受け付け、画像特徴系列距離と、あらかじめ与えられた閾値である再探索閾値とを比較することにより、参照映像の当該区間が、蓄積映像の当該箇所に存在するかどうかを再度判定し、判定結果を出力する。
【００９０】
すなわち、画像特徴系列距離ｄ（ＦＳ０（ｉ），ＦＲ０（ｊ））が再探索閾値θ'以下である場合には、ｊ番目の注目窓に含まれる参照映像の区間が、ｉ番目の注目窓を先頭とする蓄積映像の箇所に存在するものとして、そのことを示す記号（判定結果）を出力する。
上記の通り、映像区間検出再判定部７は、判定結果を出力する。
【００９１】
上述したとおり、本実施形態における映像検索装置は、蓄積映像から蓄積特徴を抽出し、参照映像から参照特徴を抽出し、抽出した蓄積特徴と参照特徴とを比較することで、類似している映像が含まれている区間を、蓄積映像と参照映像とのそれぞれについて検出することができる。さらに、映像区間検出判定部４が判定した結果について、参照映像の当該区間が、蓄積映像の当該箇所に存在するかどうかを、特徴再照合部６と、映像区間検出再判定部７とが再度判定し結果を出力する。そのため、検索精度をより向上させることができる。
【００９２】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成、プログラム、およびシステムはこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００９３】
また、映像検索装置の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、類似する映像の検索を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
【００９４】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００９５】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
【００９６】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【図面の簡単な説明】
【００９７】
【図１】本発明の第一の実施形態における映像検索装置の機能ブロック図である。
【図２】本発明の第二の実施形態における映像検索装置の機能ブロック図である。
【図３】本発明の第三の実施形態における映像検索装置の機能ブロック図である。
【符号の説明】
【００９８】
１・・・蓄積特徴抽出部、２・・・参照特徴抽出部、３・・・特徴照合部、４・・・映像区間検出判定部、５・・・特徴抽出写像決定部、６・・・特徴再照合部、７・・・映像区間検出再判定部、１１・・・蓄積注目度画像抽出部、１２・・・蓄積画像特徴抽出部、１３・・蓄積画像特徴圧縮部、１４・・・蓄積区間特徴抽出部、１５・・・蓄積区間特徴圧縮部、２１・・・参照注目度画像抽出部、２２・・・参照画像特徴抽出部、２３・・・参照画像特徴圧縮部、２４・・・参照区間特徴抽出部、２５・・・参照区間特徴圧縮部、５１・・・学習注目度画像抽出部、５２・・・学習画像特徴抽出部、５３・・・画像特徴圧縮写像決定部、５４・・・学習画像特徴圧縮部、５５・・・学習区間特徴抽出部、５６・・・区間特徴圧縮写像決定部、１１１，２１１，５１１・・・輝度特徴画像抽出部、１１２，２１２，５１２・・・色特徴画像抽出部、１１３，２１３，５１３・・・方向特徴画像抽出部、１１４，２１４，５１４・・・点滅特徴画像抽出部、１１５，２１５，５１５・・・運動特徴画像抽出部
【図１】
2009296467.tif 000019
【図２】
2009296467.tif 000020
【図３】
2009296467.tif 000021