(57)【要約】【課題】探索処理のデータ変化に対するロバスト性を向上させ、より安定的かつ正確に探索を行うことができるようにする。【解決手段】判定条件設定部１４１は、探索先動画像データの長さや比較する特徴量の種類などに合わせて、信頼性判定のための閾値を適切な値に設定する。信頼性判定部１４２は、その閾値を用いて、比較結果である探索解フレームの候補の信頼性が高いか否かを判定する。探索解フレーム補間部１４４は、信頼性判定部１４２により比較結果の信頼性が低いと判定された場合、過去の探索結果を利用して探索解フレームの候補とするフレームを新たに決定する。探索解フレーム決定部１４３は、探索解フレームの候補を探索解フレームとして決定する。本発明は、例えば、フレーム探索装置に適用することができる。【選択図】図１
2009272936.tif 000002
【特許請求の範囲】
【請求項１】
探索元となるフレーム画像である探索元フレーム、および、探索先となる動画像データのフレーム画像である探索先フレームより、各画像の特徴を示すパラメータである特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された前記探索元フレームの特徴量を用いて、各探索先フレームの特徴量を評価する評価値を算出する評価値算出手段と、
前記評価値算出手段により算出された各評価値を比較し、最も評価の高い探索先フレームを特定する比較手段と、
前記比較手段の比較により特定された最も評価の高い前記探索先フレームの、探索解としての信頼性を判定する信頼性判定手段と、
前記信頼性判定手段により探索解としての信頼性が高く、正しい探索解である可能性が高いと判定された場合、最も評価の高い前記探索先フレームを探索解として決定する決定手段と
を備える情報処理装置。
【請求項２】
前記評価値算出手段は、前記評価値として、前記探索元フレームの特徴量から、各探索先フレームの特徴量までの距離を算出し、
前記比較手段は、前記距離の値が最も小さい探索先フレームを、最も評価の高い探索先フレームとして特定し、前記距離の値が２番目に小さい探索フレームを、２番目に評価の高い探索先フレームとして特定する
請求項１に記載の情報処理装置。
【請求項３】
前記比較手段は、各評価値を比較することにより、最も評価の高い探索先フレームと、２番目に評価の高い探索先フレームを特定し、
前記信頼性判定手段は、最も評価の高い探索先フレームの評価値と、２番目に評価の高い探索先フレームの評価値の差を求め、前記差の大きさによって、最も評価の高い前記探索先フレームの前記信頼性が高いか否かを判定する
請求項１に記載の情報処理装置。
【請求項４】
前記信頼性判定手段により、最も評価の高い前記探索先フレームの前記信頼性が低いと判定された場合、他の方法により前記探索解を求めて補間する補間手段をさらに備える
請求項１に記載の情報処理装置。
【請求項５】
前記補間手段は、過去の信頼性の高い探索解を用いて前記探索解を求めて補間する
請求項４に記載の情報処理装置。
【請求項６】
前記信頼性判定手段の判定条件を設定する判定条件設定手段をさらに備える
請求項１に記載の情報処理装置。
【請求項７】
前記信頼性判定手段は、前記探索先フレームの数、および、前記特徴量の種類のうち、少なくとも一方に応じて前記判定条件を設定する
請求項６に記載の情報処理装置。
【請求項８】
前記信頼性判定手段は、複数の探索先フレームの、探索解としての信頼性を判定し、
前記信頼性判定手段による複数の探索先フレームに対する判定結果に基づいて、前記探索解の候補とする解候補を決定する解候補決定手段をさらに備える
請求項１に記載の情報処理装置。
【請求項９】
前記決定手段は、前記解候補決定手段により前記解候補として決定された探索先フレームが１つの場合、前記解候補とされた前記探索先フレームを探索解として決定する
請求項８に記載の情報処理装置。
【請求項１０】
前記解候補決定手段により前記解候補として決定された探索先フレームが複数存在する場合、他の方法により前記探索解を求めて補間する補間手段をさらに備え、
前記決定手段は、前記補間手段により求められた前記探索解の候補が、最も評価の高い前記解候補であるとき、前記探索解の候補を探索解として決定する
請求項８に記載の情報処理装置。
【請求項１１】
特徴量抽出手段は、探索元となるフレーム画像である探索元フレーム、および、探索先となる動画像データのフレーム画像である探索先フレームより、各画像の特徴を示すパラメータである特徴量を抽出し、
評価値算出手段は、抽出された前記探索元フレームの特徴量を用いて、各探索先フレームの特徴量を評価する評価値を算出し、
比較手段は、算出された各評価値を比較し、最も評価の高い探索先フレームを特定し、
信頼性判定手段は、比較により特定された最も評価の高い前記探索先フレームの、探索解としての信頼性を判定し、
決定手段は、探索解としての信頼性が高く、正しい探索解である可能性が高いと判定された場合、最も評価の高い前記探索先フレームを探索解として決定する
情報処理方法。
【請求項１２】
コンピュータを、
探索元となるフレーム画像である探索元フレーム、および、探索先となる動画像データのフレーム画像である探索先フレームより、各画像の特徴を示すパラメータである特徴量を抽出する特徴量抽出手段、
前記特徴量抽出手段により抽出された前記探索元フレームの特徴量を用いて、各探索先フレームの特徴量を評価する評価値を算出する評価値算出手段、
前記評価値算出手段により算出された各評価値を比較し、最も評価の高い探索先フレームを特定する比較手段、
前記比較手段の比較により特定された最も評価の高い前記探索先フレームの、探索解としての信頼性を判定する信頼性判定手段、
前記信頼性判定手段により探索解としての信頼性が高く、正しい探索解である可能性が高いと判定された場合、最も評価の高い前記探索先フレームを探索解として決定する決定手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、並びにプログラムに関し、特に、探索処理のデータ変化に対するロバスト性を向上させることができることができるようにした情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、画像の特徴に基づいて、動画像の中から所望のフレーム画像を探索する画像フレーム探索技術がある（例えば、特許文献１参照）。そのようなフレーム探索を行う情報処理装置は、例えば、探索元となる所望のフレーム画像の特徴を、予め蓄積されている、探索先となる動画像データの中の各フレーム画像の特徴と比較し、所望のフレーム画像の特徴と一致する特徴を有するフレーム画像を探索結果とする。
【０００３】
【特許文献１】特開２００７−２３５３７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような探索は、画像データより得られる特徴量に基づいて行われるため、探索元のフレーム画像と探索先のフレーム画像の、データとしての素姓が互いに同一である必要があった。つまり、探索元のフレーム画像と、データとして１ビットの狂いもなく完全に一致するフレーム画像が探索先の動画像データに存在する必要があった。そのため、例えば、特許文献１に記載のように、探索先の画像データと同一の画像データを探索元とする場合であっても、探索先の画像データに対してノイズ成分の重畳や画質調整等が施されると、探索時に探索元と探索先とで画像データが互いに一致せず、探索が失敗してしまう恐れがあった。
【０００５】
そこで、例えば、探索元のフレーム画像の特徴に最も近似するフレーム画像を探索する方法も考えられる。しかしながら、信号劣化や画質調整等によるデータ変化によってフレーム画像の特徴も変化する恐れがある。つまり、その特徴の変化によって、探索元のフレーム画像と本来同一であったフレーム画像よりも他のフレーム画像の特徴量の方が探索元のフレーム画像の特徴量に近似してしまい、正確に探索を行うことができない恐れがあった。
【０００６】
本発明はこのような問題を解決するためのものであり、探索処理の、ノイズ成分の重畳や画像処理等のデータ変化に対するロバスト性を向上させ、より安定的かつ正確に探索を行うことができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の一側面は、探索元となるフレーム画像である探索元フレーム、および、探索先となる動画像データのフレーム画像である探索先フレームより、各画像の特徴を示すパラメータである特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された前記探索元フレームの特徴量を用いて、各探索先フレームの特徴量を評価する評価値を算出する評価値算出手段と、前記評価値算出手段により算出された各評価値を比較し、最も評価の高い探索先フレームを特定する比較手段と、前記比較手段の比較により特定された最も評価の高い前記探索先フレームの、探索解としての信頼性を判定する信頼性判定手段と、前記信頼性判定手段により探索解としての信頼性が高く、正しい探索解である可能性が高いと判定された場合、最も評価の高い前記探索先フレームを探索解として決定する決定手段とを備える情報処理装置である。
【０００８】
前記評価値算出手段は、前記評価値として、前記探索元フレームの特徴量から、各探索先フレームの特徴量までの距離を算出し、前記比較手段は、前記距離の値が最も小さい探索先フレームを、最も評価の高い探索先フレームとして特定し、前記距離の値が２番目に小さい探索フレームを、２番目に評価の高い探索先フレームとして特定することができる。
【０００９】
前記比較手段は、各評価値を比較することにより、最も評価の高い探索先フレームと、２番目に評価の高い探索先フレームを特定し、前記信頼性判定手段は、最も評価の高い探索先フレームの評価値と、２番目に評価の高い探索先フレームの評価値の差を求め、前記差の大きさによって、最も評価の高い前記探索先フレームの前記信頼性が高いか否かを判定することができる。
【００１０】
前記信頼性判定手段により、最も評価の高い前記探索先フレームの前記信頼性が低いと判定された場合、他の方法により前記探索解を求めて補間する補間手段をさらに備えることができる。
【００１１】
前記補間手段は、過去の信頼性の高い探索解を用いて前記探索解を求めて補間することができる。
【００１２】
前記信頼性判定手段の判定条件を設定する判定条件設定手段をさらに備えることができる。
【００１３】
前記信頼性判定手段は、前記探索先フレームの数、および、前記特徴量の種類のうち、少なくとも一方に応じて前記判定条件を設定することができる。
【００１４】
前記信頼性判定手段は、複数の探索先フレームの、探索解としての信頼性を判定し、前記信頼性判定手段による複数の探索先フレームに対する判定結果に基づいて、前記探索解の候補とする解候補を決定する解候補決定手段をさらに備えることができる。
【００１５】
前記決定手段は、前記解候補決定手段により前記解候補として決定された探索先フレームが１つの場合、前記解候補とされた前記探索先フレームを探索解として決定することができる。
【００１６】
前記解候補決定手段により前記解候補として決定された探索先フレームが複数存在する場合、他の方法により前記探索解を求めて補間する補間手段をさらに備え、前記決定手段は、前記補間手段により求められた前記探索解の候補が、最も評価の高い前記解候補であるとき、前記探索解の候補を探索解として決定することができる。
【００１７】
本発明の一側面は、また、特徴量抽出手段が、探索元となるフレーム画像である探索元フレーム、および、探索先となる動画像データのフレーム画像である探索先フレームより、各画像の特徴を示すパラメータである特徴量を抽出し、評価値算出手段が、抽出された前記探索元フレームの特徴量を用いて、各探索先フレームの特徴量を評価する評価値を算出し、比較手段が、算出された各評価値を比較し、最も評価の高い探索先フレームを特定し、信頼性判定手段が、比較により特定された最も評価の高い前記探索先フレームの、探索解としての信頼性を判定し、決定手段が、探索解としての信頼性が高く、正しい探索解である可能性が高いと判定された場合、最も評価の高い前記探索先フレームを探索解として決定する情報処理方法である。
【００１８】
本発明の一側面は、さらに、コンピュータを、探索元となるフレーム画像である探索元フレーム、および、探索先となる動画像データのフレーム画像である探索先フレームより、各画像の特徴を示すパラメータである特徴量を抽出する特徴量抽出手段、前記特徴量抽出手段により抽出された前記探索元フレームの特徴量を用いて、各探索先フレームの特徴量を評価する評価値を算出する評価値算出手段、前記評価値算出手段により算出された各評価値を比較し、最も評価の高い探索先フレームを特定する比較手段、前記比較手段の比較により特定された最も評価の高い前記探索先フレームの、探索解としての信頼性を判定する信頼性判定手段、前記信頼性判定手段により探索解としての信頼性が高く、正しい探索解である可能性が高いと判定された場合、最も評価の高い前記探索先フレームを探索解として決定する決定手段として機能させるためのプログラムである。
【００１９】
本発明の一側面においては、探索元となるフレーム画像である探索元フレーム、および、探索先となる動画像データのフレーム画像である探索先フレームより、各画像の特徴を示すパラメータである特徴量が抽出され、抽出された探索元フレームの特徴量を用いて、各探索先フレームの特徴量が評価され、算出された各評価値が比較され、最も評価の高い探索先フレームが特定され、比較により特定された最も評価の高い探索先フレームの、探索解としての信頼性が判定され、探索解としての信頼性が高く、正しい探索解である可能性が高いと判定された場合、最も評価の高い探索先フレームが探索解として決定される。
【発明の効果】
【００２０】
本発明によれば、探索処理を行うことができる。特に、探索処理のデータ変化に対するロバスト性を向上させることができる。
【発明を実施するための最良の形態】
【００２１】
図１は、本発明を適用したフレーム探索装置の主な構成例を示すブロック図である。図１に示されるフレーム探索装置１００は、探索先の動画像の中から、探索元のフレーム画像に一致するフレーム画像を探索する装置である。フレーム探索装置１００は、探索元と探索先とでフレーム画像の特徴を比較することにより、探索元に一致するフレーム画像の探索を行う。フレーム探索装置１００は、より正確にフレーム画像の探索を行うために、複数の特徴量を比較することができるようになされている。
【００２２】
また、信号劣化や画質調整処理等のデータ変化によりフレーム画像の特徴が変化している場合、一致判定が不正確になる恐れがある。特に、似たような絵柄のフレーム画像が複数存在する場合、それらの特徴量が互いに近似する可能性が高い。このような場合、ノイズ成分の付加等による特徴量の微小変化によって一致判定結果が変化する恐れがある。つまり、ノイズ成分に対する一致判定のロバスト性が低減する恐れがある。そこで、フレーム探索装置１００は、一致判定結果の信頼性判定を行い、信号劣化や画質調整処理等のデータ変化による影響を受けた可能性が高い場合、過去の信頼できる判定結果に基づいて探索解を求める。より具体的には、フレーム探索装置１００は、一致判定結果の信頼性が低い（十分でない）場合、その一致判定結果を破棄し、過去の探索解に基づいて、探索解とするフレーム（探索解フレーム）の補間を行う。
【００２３】
なお、以下において、動画像をプログレッシブ方式とし、フレーム画像単位で処理するように説明するが、インタレース方式の動画像をフィールド単位で処理するようにしてももちろんよい。その場合、フレーム画像をフィールド画像に置き換えることにより、以下の説明を適用することができる。
【００２４】
まず、構成について説明する。図１に示されるように、フレーム探索装置１００は、探索先とする動画像データより各フレーム画像の特徴量を抽出する探索先特徴量抽出処理部１０１と、フレーム画像の探索を行う探索処理部１０２を有する。
【００２５】
探索先特徴量抽出処理部１０１は、探索先動画像データ保持部１１１、探索先フレーム選択部１１２、探索先特徴量計算部１１３、および探索先特徴量データ保持部１１４を有する。
【００２６】
探索先動画像データ保持部１１１は、例えばハードディスクやフラッシュメモリ等の記憶媒体を有し、フレーム画像の探索先（探索元のフレーム画像と一致するフレーム画像の探索対象）とする動画像データである探索先動画像データを保持する。探索先フレーム選択部１１２は、探索先動画像データ保持部１１１に保持されている探索先動画像データより、特徴量を抽出するフレーム画像（以下、探索先フレームとも称する）を選択する。探索先動画像データ保持部１１１は、探索先フレーム選択部１１２により選択された探索先フレームの画像データを探索先特徴量計算部１１３に供給する。
【００２７】
探索先特徴量計算部１１３は、Ｎ個（Ｎは自然数）の特徴量計算部（特徴量１計算部１１３−１、特徴量２計算部１１３−２、・・・、特徴量Ｎ計算部１１３−Ｎ）を有し、それぞれにおいて、入力されたフレーム画像（各探索先フレーム）について、互いに異なる特徴量を計算する。つまり、特徴量１計算部１１３−１は、各探索先フレームについて、所定の特徴量１を計算し、特徴量２計算部１１３−２は、各探索先フレームについて、特徴量１とは異なる所定の特徴量２を計算し、特徴量Ｎ計算部１１３−Ｎは、各探索先フレームについて、特徴量１および特徴量２とは異なる所定の特徴量Ｎを計算する。探索先特徴量計算部１１３は、以上のように算出されたＮ個の特徴量を、探索先特徴量データ保持部１１４に供給する。
【００２８】
つまり、探索先特徴量計算部１１３は、１つ以上の特徴量を算出する。なお、探索先特徴量計算部１１３が算出する特徴量の種類数は任意であり、１つでもよいし、複数でもよい。ただし、一般的には、探索先特徴量計算部１１３がより多くの種類の特徴量を算出する方が、フレーム探索装置１００は、そのより多くの特徴量を用いて探索を行うことができ、より正確なフレーム探索を行うことができる。ただし、その分特徴量計算の負荷が増大するので、不要な特徴量の算出は望ましくない。
【００２９】
探索先特徴量データ保持部１１４は、例えばハードディスクやフラッシュメモリ等の記憶媒体を有し、供給されたＮ個の特徴量を、対応する探索先フレーム毎に保持する。
【００３０】
探索処理部１０２は、探索元動画像データ保持部１２１、探索元フレーム選択部１２２、探索元特徴量計算部１２３、探索元特徴量選択部１２４、探索先特徴量選択部１３１、探索先フレーム選択部１３２、特徴量比較部１３３、比較結果保持部１３４、判定条件設定部１４１、信頼性判定部１４２、探索解フレーム決定部１４３、探索解フレーム補間部１４４、探索解フレーム保持部１４５、特徴量比較制御部１４６、および最終出力部１５１を有する。
【００３１】
探索元動画像データ保持部１２１は、例えばハードディスクやフラッシュメモリ等の記憶媒体を有し、探索元とするフレーム画像のデータを保持する。探索元（探索するもの）は１枚のフレーム画像であるので、探索元動画像データ保持部１２１は、少なくともその探索元とするフレーム画像のデータを保持すればよい。
【００３２】
ただし、以下において、探索元のフレーム画像は、動画像データより抽出されたフレーム画像とする。また、探索先の動画像データは、探索元の動画像データに信号劣化によるノイズ成分を重畳したり画質調整が施したりしたデータとする。つまり、探索元動画像データ保持部１２１は動画像データを保持する。探索元フレーム選択部１２２は、その探索元動画像データ保持部１２１に保持されている動画像データよりフレーム画像を１枚選択し、探索元のフレーム画像（以下、探索元フレームとも称する）として、探索元特徴量計算部１２３に供給させる。
【００３３】
探索元特徴量計算部１２３は、探索先特徴量計算部１１３が算出する特徴量と同種の特徴量を算出する。つまり、探索元特徴量計算部１２３は、Ｎ個（Ｎは自然数）の特徴量計算部（特徴量１計算部１２３−１、特徴量２計算部１２３−２、・・・、特徴量Ｎ計算部１２３−Ｎ）を有し、それぞれにおいて、入力された探索元のフレーム画像について、互いに異なる特徴量を計算する。
【００３４】
特徴量１計算部１２３−１は、特徴量１計算部１１３−１に対応し、特徴量１を計算する。特徴量２計算部１２３−２は、特徴量２計算部１１３−２に対応し、特徴量２を計算する。特徴量Ｎ計算部１２３−Ｎは、特徴量Ｎ計算部１１３−Ｎに対応し、特徴量Ｎを計算する。探索元特徴量計算部１２３は、以上のように算出されたＮ個の特徴量を、特徴量比較部１３３に供給する。
【００３５】
探索先特徴量選択部１３１は、探索元と比較させる特徴量を選択し、探索先特徴量データ保持部１１４に保持されている、探索先フレーム選択部１３２に選択された探索先フレームの、選択した特徴量のデータを特徴量比較部１３３に供給させる。
【００３６】
探索先フレーム選択部１３２は、探索先特徴量データ保持部１１４に特徴量データが保持されている探索先フレームの中から、処理対象とする（特徴量の比較を行う）探索先フレームを選択する。
【００３７】
特徴量比較部１３３は、探索元特徴量計算部１２３と探索先特徴量データ保持部１１４より取得した特徴量データを比較し、探索元フレームの特徴量を用いて各探索先フレームの特徴量を評価する評価値を算出する。より具体的には、特徴量比較部１３３は、評価値として、例えば、探索元フレームの特徴量から各探索先フレームの特徴量までの距離（特徴量距離）を算出する。特徴量比較部１３３は、さらに、算出された各評価値を比較し、最も評価の高い探索先フレームと、２番目に評価の高い探索先フレームを特定する。例えば、評価値として探索元フレームの特徴量までの特徴量距離を算出する場合、特徴量比較部１３３は、各探索先フレームの特徴量距離同士を比較し、最小値をとる特徴量距離の探索先フレームと、２番目に小さい値をとる特徴量距離の探索先フレームを特定する。
【００３８】
特徴量比較部１３３は、以上のように特定した探索先フレームの情報等を、比較結果として比較結果保持部１３４に出力する。比較結果保持部１３４は、例えばハードディスクやフラッシュメモリ等の記憶媒体を有し、供給された比較結果を保持し、必要に応じて、その比較結果を探索解フレーム決定部１４３、および信頼性判定部１４２に供給する。
【００３９】
判定条件設定部１４１は、信頼性判定部１４２による信頼性判定の判定条件を設定する。例えば、判定条件設定部１４１は、探索先動画像データ保持部１１１より供給された探索先動画像データ（探索先フレーム）についての情報や、特徴量比較制御部１４６より供給された特徴量に関する情報等に基づいて、信頼性判定部１４２による信頼性判定の判定条件を設定する。より具体的には、判定条件設定部１４１は、探索先動画像データの長さ（フレーム数）や比較する特徴量の種類などに合わせて、信頼性が高いか低いかを判定する閾値を適切な値に設定する。
【００４０】
信頼性判定部１４２は、判定条件設定部１４１に設定された条件に基づいて、比較結果保持部１３４に保持されている最も評価の高い探索先フレームの、探索解としての信頼性を判定する。例えば、評価値として探索元フレームの特徴量までの特徴量距離を算出する場合、信頼性判定部１４２は、最小値をとる特徴量距離の探索先フレームの探索解としての信頼性が高いか否か（探索解フレームである可能性が高いか否か）を判定条件設定部１４１に設定された閾値に基づいて判定する。
【００４１】
探索解フレーム決定部１４３は、探索元フレームに一致するとされる探索先フレームを探索解フレームとして決定する。探索解フレーム決定部１４３は、信頼性判定部１４２による信頼性判定の結果、比較結果保持部１３４に保持されている最も評価の高い探索先フレームの、探索解としての信頼性が高いと判定された場合、その探索先フレームを探索解フレームとして決定する。また、信頼性が低いと判定された場合、探索解フレーム決定部１４３は、探索解フレーム補間部１４４により補間されたフレームを探索解フレームとして決定する。
【００４２】
探索解フレーム補間部１４４は、信頼性判定部１４２により比較結果の信頼性が低いと判定された場合、比較結果が示す探索解フレーム候補を破棄し、過去の探索結果を利用して探索解フレームの候補とするフレームを新たに決定する（探索解フレームの補間を行う）。
【００４３】
探索解フレーム保持部１４５は、例えばハードディスクやフラッシュメモリ等の記憶媒体を有し、探索解フレーム決定部１４３が決定した探索解フレーム、およびその情報を保持する。
【００４４】
特徴量比較制御部１４６は、探索解フレーム決定部１４３により探索解フレームが決定されなかった場合、特徴量比較を継続するために、探索元フレーム選択部１２２、探索元特徴量選択部１２４、探索先特徴量選択部１３１、および探索先フレーム選択部１３２を制御し、適宜、新たなフレームや特徴量を選択させる。
【００４５】
最終出力部１５１は、探索解フレームに決定された探索先フレームまたはそのフレームに関する情報をフレーム探索装置１００の外部に出力する。また、探索解フレームを決定することができなかった場合、つまり、探索解フレームを１つのフレーム画像に絞り込めなかった場合、または、探索解フレームに該当するフレーム画像が存在しなかった場合、最終出力部１５１は、その旨を出力する。
【００４６】
なお、以上に説明した、探索先動画像データ保持部１１１、探索先フレーム選択部１１２、探索先特徴量計算部１１３、探索元動画像データ保持部１２１、探索元フレーム選択部１２２、探索元特徴量計算部１２３、および探索元特徴量選択部１２４をまとめて抽出処理部１６１と称する。また、探索先特徴量データ保持部１１４、探索先特徴量選択部１３１、探索先フレーム選択部１３２、特徴量比較部１３３、および比較結果保持部１３４をまとめて比較処理部１６２と称する。さらに、判定条件設定部１４１、信頼性判定部１４２、探索解フレーム決定部１４３、探索解フレーム補間部１４４、探索解フレーム保持部１４５、および特徴量比較制御部１４６をまとめて信頼性処理部１６３と称する。また、最終出力部１５１を出力部１６４と称する。
【００４７】
次に、処理の流れについて説明する。最初に、探索先特徴量抽出処理部１０１による探索先特徴量抽出処理の流れの例を図２のフローチャートを参照して説明する。探索先特徴量抽出処理は、例えばユーザの指示等に基づいて、探索元と探索先を比較する探索処理とは別に、その探索処理よりも前に開始される。
【００４８】
探索先特徴量抽出処理が開始されると、探索先フレーム選択部１１２は、ステップＳ１０１において、探索先動画像データ保持部１１１に保持されている探索先動画像データのフレーム画像である探索先フレームを全て処理したか否かを判定する。未処理の探索先フレームが存在すると判定した場合、探索先フレーム選択部１１２は、ステップＳ１０２において、その未処理のフレームの中から処理対象とする探索先フレームを選択する。基本的に、探索先フレーム選択部１１２は、動画像の時系列順に探索先フレームの選択を行うが、その選択順は任意でありこれ以外であってもよい。
【００４９】
探索先フレームが選択されると、探索先特徴量計算部１１３は、ステップＳ１０３において、探索先フレームを取得し、ステップＳ１０４において、その探索先フレームについて全ての特徴量を抽出したか否かを判定する。未抽出の特徴量が存在する場合、探索先特徴量計算部１１３は、ステップＳ１０５において、未抽出の特徴量を１つ選択し（特徴量１計算部１１３−１乃至特徴量Ｎ計算部１１３−Ｎの中から１つ選択し）、ステップＳ１０６において、その特徴量を算出（抽出）する。特徴量が抽出されると、探索先特徴量データ保持部１１４は、ステップＳ１０７においてその特徴量データをフレーム画像毎に保存して管理する。
【００５０】
ステップＳ１０７の処理が終了すると、処理は、ステップＳ１０４に戻される。以上のようにステップＳ１０４乃至ステップＳ１０７の処理が繰り返され、ステップＳ１０４において全ての特徴量を処理したと判定した場合、探索先特徴量計算部１１３は、処理をステップＳ１０１に戻す。
【００５１】
以上のようにステップＳ１０１乃至ステップＳ１０７の各処理が繰り返され、探索先動画像データ保持部１１１に保持される動画像データの各フレーム画像について実行され、各フレーム画像の特徴量が抽出されて探索先特徴量データ保持部１１４に蓄積される。
【００５２】
以上のように処理が繰り返され、ステップＳ１０１において、全ての探索先フレームを処理したと判定された場合、探索先フレーム選択部１１２は、探索先特徴量抽出処理を終了する。
【００５３】
以上のようにして、探索先特徴量抽出処理部１０１は、探索先のフレーム画像の特徴量を抽出することができる。
【００５４】
次に、図１の探索処理部１０２により実行される探索処理の流れの例を図３のフローチャートを参照して説明する。探索処理は、例えば、ユーザが探索元とするフレーム画像を選択することにより開始される。
【００５５】
探索元フレーム画像が決定し、探索処理が開始されると、探索元フレーム選択部１２２は、ステップＳ１２１において、ユーザ等が探索元フレーム画像に選択したフレーム画像を探索元動画像データ保持部１２１に保持されている探索元動画像データの中から選択する。ステップＳ１２２において、探索元特徴量選択部１２４は、予め決められたＮ個の特徴量の中から比較を行う特徴量を選択する。ステップＳ１２３において、探索元特徴量計算部１２３は、ステップＳ１２１において選択された探索元フレームから、ステップＳ１２２において選択された特徴量（特徴量データ）を抽出する。
【００５６】
ステップＳ１２４において、探索先フレーム選択部１３２は、全ての探索先フレームを検索したか否かを判定し、未だ特徴量を比較していない探索先フレームが存在すると判定した場合、処理をステップＳ１２５に進め、未処理の探索先フレームの中から１つを選択する。特徴量比較部１３３は、ステップＳ１２６において、ステップＳ１２３において探索元特徴量計算部１２３が抽出した探索元フレームの特徴量と、ステップＳ１２５において探索先フレーム選択部１３２により選択された探索先フレームの、ステップＳ１２３において抽出された探索元フレームの特徴量と同種の特徴量を比較する。なお、探索先フレームの特徴量の選択は、探索先特徴量選択部１３１が行う。
【００５７】
ステップＳ１２６の処理が終了すると、特徴量比較部１３３は、算出した新たな比較結果を用いて、比較結果保持部１３４が保持する比較結果を更新する（新たな比較結果を比較結果保持部１３４に保持させる）。ステップＳ１２７の処理が終了すると、処理はステップＳ１２４に戻される。以上のようにステップＳ１２４乃至ステップＳ１２７の処理が繰り返され、ステップＳ１２４において、全ての探索フレームを検索したと判定された場合、探索先フレーム選択部１３２は、処理をステップＳ１３１に進める。
【００５８】
ステップＳ１３１において、判定条件設定部１４１は、信頼性判定の条件を設定する。ステップＳ１３２において、信頼性判定部１４２は、ステップＳ１３１において設定された条件を用いて比較結果の信頼性を判定する。その判定結果に基づいて、ステップＳ１３３において、信頼性が高いと判定された場合、探索成功として処理はステップＳ１４１に進む。また、ステップＳ１３３において、信頼性が低いと判定された場合、処理はステップＳ１３４に進む。
【００５９】
ステップＳ１３４において、探索解フレーム補間部１４４は、探索解フレーム補間処理を行い、特徴量比較結果とは別の方法で探索解フレームの候補を求める。
【００６０】
ステップＳ１３５において、探索解フレーム補間部１４４は、探索解フレーム補間が可能か否かを判定し、ステップＳ１３４の処理により探索解フレームの候補を求めることができたと判定した場合、探索成功として処理をステップＳ１４１に進める。ステップＳ１３５において、探索解フレームの候補を求めることができなかったと判定した場合、処理はステップＳ１３６に進む。
【００６１】
ステップＳ１３６において、特徴量比較制御部１４６は、全ての特徴量を比較したか否かを判定し、未処理の特徴量が存在すると判定した場合、ステップＳ１３７に処理を進め、探索元フレーム選択部１２２、探索元特徴量選択部１２４、探索先特徴量選択部１３１、および探索先フレーム選択部１３２を制御し、新たな特徴量による特徴量比較を開始させ、処理をステップＳ１２２に戻す。この場合、未だ比較処理が行われていない新たな特徴量についてそれ以降の処理が繰り返される。
【００６２】
ステップＳ１３６において、全ての特徴量を比較したと判定された場合、処理は、ステップＳ１４１に進む。ステップＳ１４１において、探索解フレーム決定部１４３は、探索成功の場合、探索解フレームの候補に設定された探索先フレームを探索解フレームとして決定し、ステップＳ１４２において探索解フレーム保持部１４５に保持される探索解フレームのデータを更新する。
【００６３】
ステップＳ１４３において、特徴量比較制御部１４６は、探索元画像に未処理フレームが存在するか否かを判定し、存在すると判定した場合、処理をステップＳ１２１に戻し、探索元フレーム選択部１２２を制御して新たな探索元フレームを選択させ、それ以降の処理を実行させる。ステップＳ１４３において、全ての探索元フレームの探索を行ったと判定された場合、処理はステップＳ１４４に進む。
【００６４】
ステップＳ１４４において、最終出力部１５１は、最終出力として探索結果を出力し、探索処理を終了する。
【００６５】
以上のようにすることにより探索処理部１０２は、探索元フレームと一致する探索先フレームを探索することができる。
【００６６】
なお、以上においては、探索先特徴量抽出処理部１０１が、探索先特徴量抽出処理を、探索処理部１０２による探索処理と独立して、その探索処理よりも前に行うように説明したが、上述した探索処理の途中において探索先特徴量抽出処理が行われるようにしてももちろんよい。
【００６７】
次に、以上のような探索のより具体的な例について説明する。なお、以下において、探索先の動画像データ（探索先動画像データ）は、探索元の動画像データ（探索元動画像データ）にノイズ成分が重畳されたり、画質調整が施されたりしたものであり、元々は互いに同一のデータであるものとする。そして、探索元フレームは、その探索元動画像データ中の１枚のフレーム画像とし、探索先フレームは、探索先動画像データの一部または全部のフレーム画像とする。つまり、この場合の、フレーム探索装置１００は、探索元動画像データより所望のフレーム画像を探索元フレームとして特定し、その探索元動画像データと元々同一であった探索先動画像データの探索先フレームの中から、特徴が探索元フレームに一致（または近似）する探索先フレームを探索する装置である。
【００６８】
最初に特徴量について説明する。図４は、特徴量抽出の様子を示す模式図である。ここでは、１枚のフレーム画像より２種類の特徴量（特徴量１および特徴量２）が求められるものとする。
【００６９】
特徴量１は、画面全体のおおまかな特徴を示し、その大まかな特徴により長時間の動画像の中で絵柄が近い画像を特定するための特徴量である。特徴量１は、入力画像１フレーム（探索元フレームまたは探索先フレーム）全体を所定の数のブロックに分割し、そのブロック毎に輝度値の総和（画素値の統計量）を算出し、その各ブロックの統計量をベクトル化したものである。例えばフレーム画像全体がＭ１個のブロックに分割されたとすると、フレーム画像全体の特徴量１は、Ｍ１個の要素よりなるベクトルとして表わすことができる。
【００７０】
特徴量２は、時間差分を用いてフレーム精度で画像を特定するための特徴量である。特徴量２は、入力画像（探索元フレームまたは探索先フレーム）の連続する２フレーム（処理対象フレームとその１つ前のフレーム）間で画素値の差分の絶対値を算出し、その画素差分絶対値を所定の数のブロックに分割し、ブロック毎に総和（統計量）を算出し、その各ブロックの統計量をベクトル化したものである。つまり、例えばフレーム画像全体がＭ２個のブロックに分割されたとすると、フレーム画像全体の特徴量２は、Ｍ２個の要素よりなるベクトルとして表わすことができる。
【００７１】
特徴量１は、画像劣化による画素精度の位相ずれを吸収するように空間方向にブロック化して得られる。つまり、特徴量１は、画像フレームの大まかな絵柄が似ているものを見つけるパラメータである。この特徴量１を用いたマッチングにより、所謂「シーンチェンジ」で区切られるような、おおよそ「映像コンテンツのシーン」単位またはそれに準ずる単位のように大まかな単位で解を絞り込むことができる。また、特徴量２を用いたマッチングでは、画像の動きとその変化の空間パターンが似ているフレームが探索される。つまり、これらのマッチングは、特徴量１で一致したフレーム画像に対して、フレーム単位の時間精度で解を求めることができる。
【００７２】
以下においてはこれらの特徴量１および特徴量２を用いたフレーム探索について説明するが、もちろん、上述した特徴量１および特徴量２以外の特徴量を用いてフレーム探索するようにしてもよいし、使用する特徴量の種類の数も任意である。例えば、特徴量２においては、１つ前のフレームとの差分値を用いているが、１つ後のフレームとの差分値を用いるようにしてもよいし、数フレーム離れたフレームとの差分値を用いるようにしてもよい。
【００７３】
図５のフローチャートを参照して特徴量１を用いた特徴量算出処理の流れの例を説明する。なお、以下の説明は、探索元フレームにおける特徴量抽出にも、探索先フレームにおける特徴量抽出にも適用することができる。探索元フレームにおける特徴量抽出の場合、図５に示される特徴量抽出処理は、図３のステップＳ１２３の処理に対応し、探索先フレームにおける特徴量抽出の場合、図５に示される特徴量抽出処理は、図２のステップＳ１０６の処理に対応する。以下においては、探索先フレームの特徴量抽出の場合についてのみ説明する。
【００７４】
特徴量算出処理が開始されると、探索先特徴量計算部１１３の特徴量１計算部１１３−１は、ステップＳ１６１において、探索先フレーム全体を、所定の数のブロックに分割するブロック化を行う。例えば、特徴量１計算部１１３−１は、探索先フレーム全体（の輝度値）を、縦方向に４分割、横方向に４分割し、計１６個のブロックを生成する。
【００７５】
ステップＳ１６２において、特徴量１計算部１１３−１は、各ブロックの輝度値の統計量（総和）を算出する。なお、ここで、特徴量１計算部１１３−１が、ブロック毎の輝度値の総和以外の統計量を算出するようにしてもよい。特徴量１は、輝度値の空間的分布パターンを示すものであるので、輝度値に関するブロック毎の統計情報が得られればよい。
【００７６】
ステップＳ１６３において、特徴量１計算部１１３−１は、各ブロックの輝度値の総和を要素とするベクトルを生成し、そのベクトルを入力画像（探索先フレーム）の特徴量１とし、特徴量算出処理を終了する。
【００７７】
次に図６のフローチャートを参照して特徴量２を用いた特徴量算出処理の流れの例を説明する。なお、この場合も特徴量１の場合と同様に、探索元フレームにおける特徴量抽出にも、探索先フレームにおける特徴量抽出にも適用することができる。探索元フレームにおける特徴量抽出の場合、図５に示される特徴量抽出処理は、図３のステップＳ１２３の処理に対応し、探索先フレームにおける特徴量抽出の場合、図５に示される特徴量抽出処理は、図２のステップＳ１０６の処理に対応する。以下においては、探索先フレームの特徴量抽出の場合についてのみ説明する。
【００７８】
特徴量算出処理が開始されると、探索先特徴量計算部１１３の特徴量２計算部１１３−２は、ステップＳ１８１において、処理対象のフレームと、その１つ前のフレームとの間で、同じ位置の画素同士で画素値の差分の絶対値（フレーム間画素差分の絶対値）を算出する。ステップＳ１８２において、特徴量２計算部１１３−２は、そのフレーム間画素差分の絶対値について探索先フレーム全体を、所定の数のブロックに分割するブロック化を行う。例えば、特徴量２計算部１１３−２は、探索先フレーム全体（のフレーム間画素差分の絶対値）を、縦方向に４分割、横方向に４分割し、計１６個のブロックを生成する。
【００７９】
ステップＳ１８３において、特徴量２計算部１１３−２は、ブロック毎にフレーム間画素差分の絶対値の統計量（総和）を算出する。なお、ここで、特徴量２計算部１１３−２が、ブロック毎のフレーム間画素差分の絶対値の総和以外の統計量を算出するようにしてもよい。
【００８０】
ステップＳ１８４において、特徴量２計算部１１３−２は、各ブロックのフレーム間画素差分の絶対値の統計量（総和）を要素とするベクトルを生成し、そのベクトルを入力画像（探索先フレーム）の特徴量２とし、特徴量算出処理を終了する。
【００８１】
以上のようにして、探索先特徴量計算部１１３は、特徴量１および特徴量２をそれぞれ算出することができる。
【００８２】
次に以上のように算出された特徴量の比較について説明する。図７の左上に示されるように、特徴量比較部１３３は、探索先フレームの特徴量（ＵD,1乃至ＵD,End）のそれぞれについて、探索元フレームの特徴量（ＵI,N）との差（特徴量距離）をそれぞれ算出する。各フレームのブロック数をｋとすると探索元フレームＮの特徴量は以下の式（１）ように、各ブロックの特徴量ｐを要素とするベクトルで表わされる。
【００８３】
ＵI,N＝（ｐI,N,1，ｐI,N,2，・・・，ｐI,N,k）  ・・・（１）
【００８４】
また、探索先フレームＭの特徴量も以下の式（２）ように各ブロックの特徴量ｐを要素とするベクトルで表わされる。
【００８５】
ＵD,M＝（ｐD,M,1，ｐD,M,2，・・・，ｐD,M,k）  ・・・（２）
【００８６】
特徴量比較部１３３は、探索元フレームと探索先フレームの、互いに同じ位置のブロックの特徴量の差分を求め、その差分値の２乗の総和を特徴量距離として算出する。すなわち、特徴量比較部１３３は、以下の式（３）のように、探索先フレームＭの特徴量距離Ｄを算出する（処理２）。
【００８７】
ＤU,M＝Σ（ｐ1,N,q−ｐD,M,q）2  ・・・（２）
【００８８】
なお、変数ｑはフレーム番号を示し、１乃至ｋまでの値をとる。特徴量距離は、以上のような特徴量距離を全ての探索フレームについて算出する。図７の左上のグラフは、各フレームの特徴量が分布された特徴量空間を模式的に示すものである。このグラフに示されるように、探索先の特徴量を示す各点と、探索元の特徴量を示す点２０１との距離が特徴量距離となる。つまり、点２０１に最も近い（第１位）の点２０２が、最も探索元フレームに似た特徴を有する探索先フレームの特徴量を示しているので、この点２０２に対応する探索先フレームが探索解フレームの候補とされる。つまり、特徴量比較部１３３は、処理１において算出した全特徴量距離の中で最も小さい特徴量距離を求め（処理２）、その最小値の特徴量距離に対応する探索先フレームを探索解フレームの候補とする（処理３）。
【００８９】
ただし、特徴量距離が最小値をとる探索先フレームが必ず１フレームなるとは限らない。このように１つに絞り込めない場合、他の特徴量（例えば特徴量２）を使って探索解フレームを求める。
【００９０】
また、探索先動画像データはノイズ成分が付加されたり、画像処理が施されたりしてデータが変化している恐れがあるので、特徴量距離が最小値をとる探索先フレームが必ずしも本来求めるべき探索解フレームになるとは限らない。そこでフレーム探索装置１００は、より正確にフレーム探索を行うために、求めた探索解フレームの候補（特徴量比較結果）の信頼性を判定する。そのため、比較結果保持部１３４は、特徴量距離の最小値とその探索先フレームについての情報だけでなく、次に特徴量距離の値が小さい（第２位の）特徴量距離とそれぞれの探索先フレームについての情報も保持する。
【００９１】
このような特徴量比較処理の流れの例を図８のフローチャートを参照して説明する。
【００９２】
特徴量比較処理が開始されると、特徴量比較部１３３は、ステップＳ２０１において、各探索先フレームとの特徴量距離を算出し、ステップＳ２０２において、特徴量距離の最小値を特定し、ステップＳ２０３において、特徴量距離が最小値となるフレームを探索解フレームの候補とし、その情報を比較結果保持部１３４に保持させる。さらに、特徴量比較部１３３は、ステップＳ２０４において、探索解フレームの候補数を求め比較結果保持部１３４に保持させる。さらに、特徴量比較部１３３は、ステップＳ２０５において、第２位の探索先フレームを特定し、その情報を特徴量距離とともに比較結果保持部１３４に保持させる。ステップＳ２０５の処理を終了すると、特徴量比較部１３３は、特徴量比較処理を終了する。
【００９３】
以上のように、特徴量比較部１３３は、探索元フレームと探索先フレームの特徴量を比較し、探索解フレームの候補を特定することができる。
【００９４】
次に、信頼性判定について説明する。図９Ａに示されるように、特徴量空間において、探索元フレームの特徴量２１１に最も近い特徴量２１２が探索解フレームの候補とされる。探索先フレームの特徴量は、信号劣化により多少変化する。従って、この特徴量２１２の信頼性、すなわち、特徴量２１２に対応する探索先フレームが正しい探索解フレームであるか否かは、特徴量２１２の特徴量距離と、第２位の特徴量２１３の特徴量距離との差２１４の大きさに依存する。
【００９５】
例えば、特徴量２１２が特徴量２１３等他の探索先フレームの特徴量と比べて圧倒的に探索元フレームの特徴量２１１に近く、差２１４が大きい場合、信号劣化による特徴量の変化を考慮しても、特徴量２１２より近い特徴量が存在した可能性は低くなる。つまり、特徴量２１２の探索先フレームが正しい探索解フレームである可能性が高くなる。
【００９６】
これに対して、差２１４が小さい場合、信号劣化が生じる前の状態において、特徴量２１３が特徴量２１２よりも特徴量２１１に近かった可能性が高くなる。つまり、特徴量２１２の探索先フレームが正しい探索解フレームでない可能性が高くなる。
【００９７】
信頼性判定部１４２は、このような特徴量距離の性質を利用して探索解フレームの候補（特徴量比較結果）の信頼性が高いか否かを判定する。
【００９８】
なお、図９Ｂは、信号劣化が小さい場合の、第１位の特徴量距離の探索先フレームが正しい探索解フレームである場合の第１位と第２位の特徴量距離の差分と、第２位の特徴量距離の探索先フレームが正しい探索解フレームである場合の第１位と第２位の特徴量距離の差分の例を示したものである。図９Ｃは、信号劣化が大きい場合の、第１位の特徴量距離の探索先フレームが正しい探索解フレームである場合の第１位と第２位の特徴量距離の差分と、第２位の特徴量距離の探索先フレームが正しい探索解フレームである場合の第１位と第２位の特徴量距離の差分の例を示したものである。
【００９９】
図９Ｂおよび図９Ｃにおいて、縦軸は、コンテンツの種類を示す。つまり、５種類の例が示されている。横軸は、第１位と第２位の特徴量距離の差分値を示す。白点は、第２位の特徴量距離の探索先フレームが正しい探索解フレームである場合の第１位と第２位の特徴量距離の差分値を示し、黒点は、第１位の特徴量距離の探索先フレームが正しい探索解フレームである場合の第１位と第２位の特徴量距離の差分値を示す。
【０１００】
図９Ｂおよび図９Ｃのグラフから、図１０に示されるような統計的性質が導き出される。つまり、第１位の特徴量距離の探索先フレームが正しい探索解フレームである場合、第１位と第２位の特徴量距離の差分値の値は大きく、第２位の特徴量距離の探索先フレームが正しい探索解フレームである場合、第１位と第２位の特徴量距離の差分値の値は小さい。また、この関係は信号劣化の大小に依存しない。
【０１０１】
以上のことから、第１位と第２位の特徴量距離の差が大きいとき、マッチング結果（探索解フレームの候補）の信頼性が高く、第１位と第２位の特徴量距離の差が小さいとき、マッチング結果（探索解フレームの候補）の信頼性が低い。すなわち、第１位と第２位の特徴量距離の差に基づいて、探索解フレームの候補の信頼性の判定が可能になる。信頼性判定部１４２は、所定の閾値を用い、その閾値より第１位と第２位の特徴量距離の差分値が大きい場合、探索解フレームの候補の信頼性が高いと判定し、第１位と第２位の特徴量距離の差分値が閾値以下である場合、探索解フレームの候補の信頼性が低いと判定する。
【０１０２】
この閾値は、判定条件設定部１４１により設定される。例えば、フレーム数が多いほど特徴量空間におけるデータ量が多くなるため、適切なフレームマッチング処理を行うためには、必要に応じて閾値を調整するのが望ましい。また、同じ動画像データであっても、特徴量の種類により、その取りうる値も変化するので、適切なフレームマッチング処理を行うためには、特徴量の種類に応じて閾値を適切な値とする必要がある。そこで、判定条件設定部１４１は、例えば、探索先動画像データ保持部１１１から探索先動画像データの長さ（フレーム数）を取得し、特徴量比較制御部１４６から特徴量の種類の情報を取得し、それらの情報に基づいて閾値を設定する。
【０１０３】
次に、これらの処理の流れの例を説明する。最初に、判定条件設定部１４１による判定条件設定処理の流れの例を図１１のフローチャートを参照して説明する。
【０１０４】
判定条件設定処理が開始されると、判定条件設定部１４１は、ステップＳ２２１において、探索先動画像データのフレーム数を取得し、ステップＳ２２２において、比較する特徴量の種類を特定する。ステップＳ２２３において、判定条件設定部１４１は、探索先動画像データのフレーム数、および、特徴量の種類に応じて、信頼性判定のための閾値を設定し、判定条件設定処理を終了する。
【０１０５】
以上のように信頼性判定のための閾値が設定される。
【０１０６】
次に、この閾値を用いた信頼性判定処理の流れの例を図１２のフローチャートを参照して説明する。
【０１０７】
信頼性判定処理が開始されると、信頼性判定部１４２は、ステップＳ２４１において、最小の（第１位の）特徴量距離と２番目に小さい（第２位の）特徴量距離の差を求め、ステップＳ２４２において、その差分値が、判定条件設定部１４１により設定された所定の閾値より大きいか否かを判定する。
【０１０８】
差分値が閾値より大きいと判定した場合、信頼性判定部１４２は、処理をステップＳ２４３に進め、探索解フレームの候補の信頼性が高いと判定し、信頼性判定処理を終了する。また、ステップＳ２４２において差分値が閾値より小さいと判定した場合、信頼性判定部１４２は、処理をステップＳ２４４に進め、探索解フレームの候補の信頼性が低いと判定し、信頼性判定処理を終了する。
【０１０９】
以上のように探索解フレームの候補（比較結果）の信頼性を判定し、その判定結果を利用することにより、より正しい探索結果を求めることができ、探索処理の、ノイズ成分の重畳や画像処理等のデータ変化に対するロバスト性を向上させ、より安定的かつ正確に探索を行うことができる。
【０１１０】
次に、探索解フレームの補間について説明する。図１３は、探索解フレームの補間処理の様子の例を説明する図である。図１３の左の例のように、信頼性が高いと判定された場合、探索成功として、その探索解フレームの候補が探索解フレームに決定される。図１３の左の例においては、探索元フレーム（Ｎ−１）の特徴量マッチングにおいて、探索先フレーム（Ｍ−１）が信頼性の高い探索結果とされ、探索解フレームに決定されている。
【０１１１】
信頼性が低いと判定された場合、探索解フレーム補間部１４４は、図１３の右の例のように、信頼性の高い探索を行った最も近い過去のフレームの探索結果を用いて、探索元の時間差から補間して探索解フレームが求められる。図１３の右の例においては、探索元フレームＮの特徴量マッチングが行われている。このとき、探索解フレームの候補に設定された探索先フレームＮの信頼性が低く、探索解フレームとすることができない。そこで、探索解フレーム補間部１４４は、信頼性の高い探索を行った最も近い過去フレームである探索元フレーム（Ｎ−１）の探索解フレームである探索先フレーム（Ｍ−１）に着目し、その探索先フレーム（Ｍ−１）から、探索元の時間差（Ｎ−（Ｎ−１）＝１フレーム）経過したフレーム、すなわち、探索先フレームＭを探索解フレームの候補とする。
【０１１２】
このような探索解フレーム補間処理の流れの例を図１４のフローチャートを参照して説明する。
【０１１３】
探索解フレーム補間処理が開始されると、探索解フレーム補間部１４４は、ステップＳ２６１において、信頼性の高い探索を行った最も近い過去フレームを特定する。ステップＳ２６２において、探索解フレーム補間部１４４は、特定した過去フレームと現在のフレームの時間差Ｐを求める。ステップＳ２６３において、探索解フレーム補間部１４４は、特定した過去のフレームの探索解フレームより時間Ｐ後のフレームを探索解フレームの候補とし、探索解フレーム補間処理を終了する。
【０１１４】
以上のように、信頼性が低い場合に、探索解フレームの補間を行うことにより、より正しい探索結果を求めることができ、探索処理の、ノイズ成分の重畳や画像処理等のデータ変化に対するロバスト性を向上させ、より安定的かつ正確に探索を行うことができる。
【０１１５】
以上においては、探索元フレームの特徴量を探索処理時に求めるように説明したが、これに限らず、探索元フレームの特徴量も探索先フレームと同様に、探索処理の前に予め全ての特徴量を算出しておくようにしてもよい。
【０１１６】
図１５は、その場合のフレーム探索装置の構成例を示すブロック図である。図１５に示されるように、フレーム探索装置３００は、図１のフレーム探索装置１００の探索元特徴量選択部１２４の代わりに、探索元特徴量データ保持部３２４、探索元特徴量選択部３３１、および探索元フレーム選択部３３２を有する。
【０１１７】
探索元特徴量データ保持部３２４は、探索元特徴量計算部１２３が探索処理の前に算出するＮ個の特徴量を保持する。探索元特徴量選択部３３１は、探索処理の際に、探索元特徴量データ保持部３２４に保持されている、探索元フレーム選択部３３２により指定された探索元フレームのＮ個の特徴量の中から比較する特徴量を１つ選択する。探索元フレーム選択部３３２は、処理対象とする探索元フレームを選択する。
【０１１８】
フレーム探索装置３００の場合、探索先フレームの場合と同様に、探索元動画像データ保持部１２１、探索元フレーム選択部探索元フレーム選択部１２２、探索元特徴量計算部１２３、および探索元特徴量データ保持部３２４が探索元特徴量抽出処理部３０３として構成される。また、探索元特徴量選択部３３１、探索元フレーム選択部３３２、探索先特徴量選択部１３１、探索先フレーム選択部１３２、特徴量比較部１３３、比較結果保持部１３４、判定条件設定部１４１、信頼性判定部１４２、探索解フレーム決定部１４３、探索解フレーム補間部１４４、探索解フレーム保持部１４５、特徴量比較制御部１４６、および最終出力部１５１が探索処理部３０２として構成される。
【０１１９】
また、探索元動画像データ保持部１２１、探索元フレーム選択部１２２、探索元特徴量計算部１２３、探索先動画像データ保持部１１１、探索先フレーム選択部１１２、および探索先特徴量計算部１１３が抽出処理部３６１として構成され、探索元特徴量選択部３３１、探索元特徴量データ保持部３２４、探索元フレーム選択部３３２、探索先特徴量選択部１３１、探索先特徴量データ保持部１１４、探索先フレーム選択部１３２、特徴量比較部１３３、および比較結果保持部１３４が比較処理部３６２として構成される。
【０１２０】
この場合、探索元特徴量抽出部３０３は、探索先特徴量抽出処理部１０１と同様に、すなわち、図２のフローチャートの場合と同様に、探索処理の前に特徴量を抽出する。したがって、この場合の探索処理の流れは、図１６に示されるフローチャートのようになる。すなわち、ステップＳ３２１において、探索元フレーム選択部３３２は、探索元特徴量データ保持部３２４に保持されている特徴量の探索元フレームの中から処理対象とするフレームを１つ選択する。ステップＳ３２２において、探索元特徴量選択部３３１は、探索元特徴量データ保持部３２４に保持されている特徴量の中から処理対象とする特徴量を１つ選択する。図１６の場合、探索元フレームの特徴量は既に算出されているので、図３のステップＳ１２３に対応する処理は省略され、ステップＳ３２３乃至ステップＳ３２６の各処理は、図３のステップＳ１２４乃至ステップＳ１２７の各処理と同様に実行される。
【０１２１】
また、ステップＳ３３１乃至ステップＳ３３７の各処理は、ステップＳ１３１乃至ステップＳ１３７の各処理と同様に実行される。さらに、ステップＳ３４１乃至ステップＳ３４４の各処理は、ステップＳ１４１乃至ステップＳ１４４の各処理と同様に実行される。
【０１２２】
したがって、この場合も、フレーム探索装置３００は、探索処理の、ノイズ成分の重畳や画像処理等のデータ変化に対するロバスト性を向上させ、より安定的かつ正確に探索を行うことができる。
【０１２３】
また、以上においては、信頼性の判定を第１位と第２位の特徴量距離に基づいて行うように説明したが、第３位以下の特徴量等も考慮するようにしてもよい。
【０１２４】
図１７は、その場合のフレーム探索装置の構成例を示すブロック図である。図１７に示されるように、フレーム探索装置４００は、基本的にフレーム探索装置１００と同様の構成を有するが、フレーム探索装置１００の信頼性処理部１６３の構成に、解候補決定部４４１および探索結果確認部４４２を追加した信頼性処理部４６３を有する。
【０１２５】
解候補決定部４４１は、特徴量分布（比較結果）のパターンに基づいて、探索解フレームを決定するための解候補を決定する。この解候補は、上述した探索解フレームの候補よりも比較的緩やかな条件により絞り込まれる探索先フレームであり、探索先特徴量データの中で、信頼性が高く、最終的な探索解フレームとなり得る候補群である。探索結果確認部４４２は、解候補や探索解フレーム補間結果に基づいて探索が成功したか否かを判定する。
【０１２６】
この場合の探索処理の流れの例を図１８のフローチャートを参照して説明する。図１８に示されるように、この場合の探索処理は、基本的に図３に示されるフローチャートの場合と同様に進行する。従って、ステップＳ４２１乃至ステップＳ４２７の各処理は、ステップＳ１２１乃至ステップＳ１２７の各処理と同様に実行される。
【０１２７】
ステップＳ４３１において判定条件設定部１４１が判定条件を設定すると、ステップＳ４３２において、信頼性判定部１４２は信頼性判定処理を行う。ステップＳ４３３において、解候補決定部４４１は、解候補決定処理を実行し、解候補を決定する。ステップＳ４３４において、解候補決定部４４１は、解候補が１つであるか否かを判定し、１つであると判定した場合、探索成功として、処理をステップＳ４４１に進める。また、ステップＳ４３４において、解候補が複数存在する、若しくは、１つも存在しないと判定された場合、処理はステップＳ４３５に進む。
【０１２８】
ステップＳ４３５において、探索解フレーム補間部１４４は、ステップＳ１３４の場合と同様に探索解フレーム補間処理を実行する。探索結果確認部４４２は、ステップＳ４３６において、探索結果確認処理を行い、ステップＳ４３７において、探索が成功したか否かを判定する。探索結果確認処理により探索が成功したと判定した場合、探索結果確認部４４２は、処理をステップＳ４４１に進める。また、ステップＳ４３７において、探索が失敗したと判定した場合、探索結果確認部４４２は、処理をステップＳ４３８に進める。ステップＳ４３８およびステップＳ４３９の各処理は、ステップＳ１３６およびステップＳ１３７の各処理と同様に実行される。ステップＳ４４１乃至ステップＳ４４４の各処理は、ステップＳ１４１乃至ステップＳ１４４の各処理と同様に実行される。
【０１２９】
次に、この場合の信頼性判定処理の流れの例を図１９のフローチャートを参照して説明する。この処理は、図１８のステップＳ４３２に対応する。
【０１３０】
信頼性判定処理が開始されると、信頼性判定部１４２は、ステップＳ４６１において変数Ｎの値を「１」に設定する。信頼性判定部１４２は、ステップＳ４６２において、Ｎ番目に小さい特徴量距離と、（Ｎ＋１）番目に小さい特徴量距離の差の絶対値を求め、ステップＳ４６３において、その差分絶対値が所定の閾値（判定条件設定部１４１により設定された閾値）より大きいか否かを判定する。
【０１３１】
差分絶対値が閾値より大きいと判定した場合、信頼性判定部１４２は、処理をステップＳ４６４に進め、差分絶対値を信頼性判定距離差分とし、変数Ｎの値を信頼性のある探索順位とし、信頼性判定処理を終了する。
【０１３２】
差分絶対値が閾値以下であると判定した場合、信頼性判定部１４２は、処理をステップＳ４６５に進め、変数Ｎの値が最大値（探索先フレーム数）に達したか否かを判定し、最大値に達していないと判定した場合、処理をステップＳ４６６に進め、変数Ｎの値を「＋１」インクリメントし、処理をステップＳ４６２に戻し、それ以降の処理を実行させる。
【０１３３】
つまり、信頼性判定部１４２は、順位が連続する特徴量距離の差分絶対値が閾値より大きくなるか、変数Ｎの値が最大値に達するまで、ステップＳ４６１乃至ステップＳ４６３、ステップＳ４６５、並びにステップＳ４６６の各処理が繰り返し実行される。
【０１３４】
ステップＳ４６５において、変数Ｎの値が最大値に達したと判定した場合、信頼性判定部１４２は、処理をステップＳ４６７に進め、信頼性のある探索順位が存在しない旨を探索結果確認部４４２に通知するエラー処理を行い、信頼性判定処理を終了する。
【０１３５】
以上のように信頼性判定処理を行うことにより、信頼性判定部１４２は、図２０に示されるように、第Ｎ位と第（Ｎ＋１）位の特徴量距離の差分ΔＤNを全ての順位（探索先フレーム）について求め、それぞれの値を第１位から順に閾値ThldΔDと比較し、閾値ThldΔDより値が大きくなる最初のΔＤNを新ｒ内政判定距離差分とする。なお、処理の負荷軽減のため、信頼性判定処理はこの時点で終了され、第（Ｎ＋１）位以降の特徴量距離の判定は省略される。もちろん、全ての特徴量距離（探索先フレーム）について信頼性判定を行うようにしてもよい。
【０１３６】
次に、図２１のフローチャートを参照して、解候補決定処理の流れの例を説明する。この処理は、図１８のステップＳ４３３に対応する。
【０１３７】
ステップＳ４８１において、解候補決定部４４１は、信頼性のある探索先順位が第１位か否かを判定し、第１位であると判定した場合、処理をステップＳ４８２に進め、その第１位のフレームを解候補として決定し、解候補決定処理を終了する。この場合、解候補は１つとなる。
【０１３８】
また、ステップＳ４８１において、信頼性のある探索先順位が第１位でないと判定した場合、解候補決定部４４１は、処理をステップＳ４８３に進め、信頼性のある探索先順位が第２位以下であるか否かを判定する。第２位以下に信頼性のある探索先順位が存在すると判定した場合、解候補決定部４４１は、処理をステップＳ４８４に進め、信頼性のある探索先順位より上の順位のフレームを解候補として決定し、解候補決定処理を終了する。この場合、解候補は複数となる。
【０１３９】
また、ステップＳ４８３において、信頼性のある探索先順位が存在しないと判定した場合、解候補決定部４４１は、ステップＳ４８５に処理を進め、解候補を「無し」と決定し、解候補決定処理を終了する。この場合、解候補の数は「０」となる。
【０１４０】
以上のように解候補が決定されるので、解候補の求まり方は、図２２に示されるように、信頼性のある探索先順位によって、３種類ある。図２２Ａは、信頼性のある探索先順位が第１位である場合の特徴量分布の様子の例を示している。この場合、図２２Ａに示されるように、第１位の特徴量距離は、第２位以下の特徴量距離と比べて圧倒的に短い。このような場合、解候補は、第１位の特徴量距離に対応する探索先フレームに決定される。つまり、解候補は１つの探索先フレームに絞り込まれる。
【０１４１】
図２２Ｂは、信頼性のある探索順位が第２位以下である場合の特徴量分布の様子の例を示している。この場合、図２２Ｂに示されるように、第１位から、信頼性のある探索順位とされた第Ｎ位までの特徴量距離に対応する探索先フレームが解候補として決定される。つまり、解候補はＮ個の探索先フレームに絞り込まれる。
【０１４２】
図２２Ｃは、信頼性のある探索順位が存在しない場合の特徴量分布の様子の例を示している。この場合、図２２Ｃに示されるように、全ての探索先フレームの特徴量距離が互いに近似しており、解候補決定部４４１は、信頼性のある探索順位を求めることができない。したがって、解候補を絞り込むことができないので、解候補決定部４４１は、このような状態を「解候補が存在しない」と定義する。
【０１４３】
以上のように解候補を求めると、次に、その解候補の評価を行う。まず、ステップＳ４３４において、決定された解候補の数が１つか否かの判定が行われる。図２３に示されるように、解候補が１つの場合、信頼性のある探索順位が第１位となり、解候補が正しい探索解フレームである可能性が高い（信頼性が高い）。従って、この場合、探索解フレーム決定部１４３は、その１つの解候補を探索解フレームに決定する。
【０１４４】
解候補が複数存在する、または、解候補が存在しない場合、ステップＳ４３５において探索解フレーム補間処理が行われる。この探索解フレーム補間処理は、図１４のフローチャートを参照して説明した場合と同様であるのでその説明を省略する。探索解フレーム補間処理が行われると、ステップＳ４３６において、探索が成功したか否かを確認する探索結果確認処理が行われる。
【０１４５】
図２４のフローチャートを参照して、探索結果確認処理の流れの例を説明する。
【０１４６】
探索結果確認処理が開始されると、探索結果確認部４４２は、ステップＳ５０１において、解候補が存在するか否かを判定する。解候補が存在する、すなわち、解候補が複数存在すると判定された場合、処理はステップＳ５０２に進む。
【０１４７】
ステップＳ５０２において、探索結果確認部４４２は、探索解フレーム補間処理により補間された探索解フレームの候補が、解候補に含まれるか否かを判定する。上述したように、探索解フレーム補間処理は、過去の信頼性の高い探索結果に基づいて探索解フレームの候補を求める。このように解候補とは異なる方法で求められた探索解フレームの候補が、図２５に示されるように、信頼性が高い解候補の中の１つと一致するのであれば、その探索解フレームの候補は、複数の方法で信頼性が高い（正しい探索解フレームである可能性が高い）と評価されたフレームということなる。したがって、他のフレームよりも信頼性が高い（正しい探索解フレームである可能性が高い）と判定することができるので、探索結果確認部４４２は、ステップＳ５０３に処理を進め、探索成功とし、探索結果確認処理を終了する。
【０１４８】
また、ステップＳ５０２において、探索解フレーム補間処理により補間された探索解フレームの候補が解候補に含まれないと判定された場合、処理はステップＳ５０５に進む。この場合、図２５に示されるように、探索解フレーム補間処理により補間された探索解フレームの候補の順位が信頼性のある探索順位より下位となり、信頼性が低い。したがって、この場合、探索結果確認部４４２は、ステップＳ５０５において、探索失敗とし、探索結果確認処理を終了する。
【０１４９】
また、ステップＳ５０１において、解候補が存在しないと判定された場合、処理はステップＳ５０４に進む。ステップＳ５０４において、探索結果確認部４４２は、探索解フレーム補間処理により補完された探索解フレームの候補が第１位か否かを判定する。上述したように、解候補が存在しない場合、全ての探索先フレームの探索元フレームとの特徴量距離が互いに近似している。したがって、図２６に示されるように、探索解フレーム補間処理により補間された探索解フレームの候補が、このような探索先フレーム群の中で、第１位の特徴量距離の探索先フレーム（すなわち、探索元フレームの特徴量に最も近い特徴量を持つ探索先フレーム）である場合のみ、その探索解フレームの候補の信頼性が高いと判定される。ステップＳ５０４において、探索解フレームの候補が第１位の特徴量距離の探索先フレームであると判定した場合、探索結果確認部４４２は、処理をステップＳ５０３に進め、探索成功とし、探索結果確認処理を終了する。
【０１５０】
また、ステップＳ５０４において、探索解フレームの候補が第２位以下の特徴量距離の探索先フレームである場合、図２６に示されるように、探索解フレームの候補が、信頼性の低い探索先フレーム群の中の１つとみなされる。ステップＳ５０４において、探索解フレームの候補が第１位の特徴量距離の探索先フレームでないと判定した場合、探索結果確認部４４２は、処理をステップＳ５０４に進め、探索失敗とし、探索結果確認処理を終了する。
【０１５１】
探索結果確認部４４２は、図１８のステップＳ４３７において、以上のような探索結果確認処理により、探索成功と判定した場合、処理をステップＳ４４１に進め、探索解フレーム決定部１４３に、探索解フレームの候補を探索解フレームとして決定させる。
【０１５２】
また、探索失敗と判定した場合、探索結果確認部４４２は、処理をステップＳ４３８に進め、この特徴量によるフレームの探索を諦める。未処理の特徴量が存在する場合は、その未処理の特徴量を用いてフレームの探索が再度行われる。全ての特徴量でフレームの探索を行った場合は、探索失敗としてフレームの探索を終了する。この場合、探索解フレーム決定部１４３は、探索解フレームが見つからなかった旨を最終出力部１５１等に通知する。
【０１５３】
以上のように、第１位と第２位の特徴量距離だけでなく、第３位以下の特徴量距離も参照して探索解フレームを求めるようにすることにより、第１位と第２位の特徴量距離のみに基づいて探索解フレームを求める場合よりも、より確かな信頼性判定が可能になる。すなわち、フレーム探索装置４００は、探索処理の、ノイズ成分の重畳や画像処理等のデータ変化に対するロバスト性を向上させ、より安定的かつ正確に探索を行うことができる。
【０１５４】
なお、以上においては、本発明をフレーム探索装置に適用する場合について説明したが、本発明はフレーム探索装置に限らず、上述したようなフレーム探索を行う装置であれば、どのような装置にも適用することができる。
【０１５５】
以下にその具体例として、本発明を画像処理装置に適用する場合について説明する。
【０１５６】
本発明を適用した画像処理装置は、予め記録された画像に対して、使用者により指示された処理を施し表示する。このとき、画像処理装置は、画像の特徴量を抽出して、特徴量に対応付けて処理内容の情報を蓄積させる。さらに、画像処理装置は、予め記録された画像を再生するとき、この蓄積された処理内容の情報を読み出して、画像に処理を施し表示する。
【０１５７】
より具体的には、画像処理装置６０２の動作は、大きく分けて記録モードと再生モードとの２つのモードからなる。
【０１５８】
記録モードでは、図２７で示されるように、画像処理装置６０２は、例えば、DVD（Digital Versatile Disc）などの動画像を含むコンテンツが予め記録されている記録メディア６０１からDVDプレーヤなどにより再生される画像を表示部６０３に表示させる。この状態で、リモートコントローラなどが使用者などにより操作されることにより、所望とする画像への処理として、例えば、ズーム、パン、チルトなどが指示されると、画像処理装置６０２は、操作内容に対応する設定情報を生成すると供に、設定情報に対応付けられた処理を画像に施して表示部６０３に表示させる。さらに、画像処理装置６０２は、画像より特徴量を抽出し、抽出した特徴量に対応付けて設定情報を操作履歴格納部６０４に蓄積させる。
【０１５９】
次に、再生モードでは、図２８で示されるように、画像処理装置６０２は、動画像を含むコンテンツが予め記録されている記録メディア６０１からDVDプレーヤなどにより再生される画像を読み出すと供に、特徴量を抽出する。このとき、画像処理装置６０２は、操作履歴格納部６０４に特徴量に対応付けられて記録されている設定情報を、記録メディア６０１から読み出した画像の特徴量に同期して読み出すと供に、読み出した設定情報に基づいて、画像に処理を施し、表示部６０３に表示させる。
【０１６０】
以上のような動作により、画像処理装置６０２は、予め記録された画像に対する処理内容のみを蓄積して、処理結果である画像を記録することなく、処理結果である画像を繰り返し再生できるようにすることができる。結果として、コピーワンス（Copy Once）制限などの複製回数に制限があるような予め記録された画像に対して、様々な画像処理を加えると言った加工処理を繰り返すことが可能となる。
【０１６１】
図２９は、図２７および図２８に示される画像処理装置６０２に対応する画像処理装置６１３の一実施の形態の構成を示した図である。
【０１６２】
画像再生部６１２は、図２７および図２８の記録メディア６０１に対応する記録メディア６１１に予め所定の形式でエンコードされた状態で記録された画像をデコードし、順次画像として特徴量抽出部６４１および遅延部６４８に供給する。
【０１６３】
特徴量抽出部６４１は、画像再生部６１２より順次供給されてくる画像の特徴量を抽出して、同期検出部６４２、および蓄積ブロック６４３の特徴量設定情報記録部６６１に供給する。
【０１６４】
リモートコントローラ６１４は、キーやボタンなどから構成され、図２７および図２８で示されるように使用者が所望とする画像に対する処理の内容を指示するとき操作され、使用者の操作に応じて操作信号を発生すると供に、発生した操作信号に応じて赤外線などからなる発光パターンを生成し、画像処理装置６１３の受光部６４４に発光する。
【０１６５】
受光部６４４は、リモートコントローラ６１４の発光パターンに基づいて、リモートコントローラ６１４の操作信号に変換し、操作情報認識部６４５に供給する。操作情報認識部６４５は、受光部６４４より供給されてくる操作信号に基づいて、使用者が所望とする画像への処理に対応付けられている操作情報を認識し、認識結果である操作信号を設定情報決定部６４６に供給する。尚、蓄積ブロック６４３は、リモートコントローラ６１４からの操作情報に基づいて、オンまたはオフを制御することも可能であり、このため、操作情報認識部６４５において、蓄積ブロック６４３のオンまたはオフが制御される操作情報が認識された場合、操作情報認識部６４５は、蓄積ブロック６４３の動作をオンまたはオフに制御する。
【０１６６】
設定情報決定部６４６は、操作情報認識部６４５より供給されてくる操作情報に基づいて、後述する反映部６４９に対して画像への処理内容を指示するための設定情報を決定し、特徴量設定情報記録部６６１および選択部６４７に供給する。
【０１６７】
蓄積ブロック６４３の特徴量設定情報記録部６６１は、特徴量抽出部６４１より供給されてくる特徴量と、設定情報決定部６４６より供給されてくる設定情報とを対応付けて特徴量設定情報蓄積部６６２（図２７および図２８の操作履歴格納部６０４に対応するもの）に蓄積させる。
【０１６８】
同期検出部６４２は、特徴量設定情報蓄積部６６２に蓄積されている特徴量（後述する検索位置特徴量）のうち、特徴量抽出部６４１より供給されてくる画像再生部６１２により再生されている画像の特徴量（後述する再生位置特徴量）を検索し、同一の特徴量が検出されたとき、画像の同期位置として検出結果を特徴量設定情報読出部６６３に供給する。
【０１６９】
特徴量設定情報読出部６６３は、同期検出部６４２より同期位置として検出された特徴量（検索位置特徴量）を取得すると、その特徴量に対応付けられて、特徴量設定情報蓄積部６６２に記憶されている設定情報を読み出し、選択部６４７に供給する。選択部６４７は、設定情報決定部６４６より設定情報が供給されてきた場合、仮に、同一のタイミングで特徴量設定情報読出部６６３より設定情報が供給されることがあっても、設定情報決定部６４６からの設定情報を反映部６４９に供給する。また、選択部６４７は、設定情報決定部６４６より設定情報の供給がなく、特徴量設定情報読出部６６３より設定情報が供給された場合、特徴量設定情報読出部６６３より供給された設定情報を反映部６４９に供給する。さらに、いずれからも設定情報が供給されてこない場合、選択部６４７は、設定情報を反映部６４９に供給しない。
【０１７０】
遅延部６４８は、特徴量抽出部６４１、同期検出部６４２、蓄積ブロック６４３、および、選択部６４７の処理における遅延時間だけ、画像再生部６１２より供給されてくる画像を一時的に記憶し、反映部６４９に出力する。反映部６４９は、選択部６４７より設定情報が供給されてくる場合、遅延部６４８より供給されてくる画像に対する処理を反映して、表示部６１５に表示する。また、反映部６４９は、選択部６４７より設定情報が供給されてこない場合、遅延部より供給されてくる画像を、そのまま表示部６１５に表示させる。
【０１７１】
このとき、例えば、図１の探索先動画像データ保持部１１１および探索元動画像データ保持部１２１が、図２９の記録メディア６１１に対応する。また、例えば、図１の探索先フレーム選択部１１２、探索先特徴量計算部１１３、探索元フレーム選択部１２２、探索元特徴量選択部１２４、および探索元特徴量計算部１２３は、図２９の特徴量抽出部６４１に対応する。
【０１７２】
さらに、例えば、図１の探索先特徴量データ保持部１１４、探索先特徴量選択部１３１、および探索先フレーム選択部１３２は、図２９の特徴量設定情報記録部６６１および特徴量設定情報蓄積部６６２に対応する。また、例えば、図１の特徴量比較部１３３、比較結果保持部１３４、判定条件設定部１４１、信頼性判定部１４２、探索解フレーム決定部１４３、探索解フレーム補間部１４４、探索解フレーム保持部１４５、特徴量比較制御部１４６、および最終出力部１５１は、図２９の同期検出部６４２に対応する。
【０１７３】
つまり、図２９の同期検出部６４２が、同期検出の際に、図１乃至図１４を参照して説明したように、値の信頼性の高い探索解フレームを求めるようにする。このようにすることにより、同期検出部６４２は、信号劣化等に対するロバスト性を向上させることができる。つまり、画像処理装置６１３は、画像処理の、データ変化に対するロバスト性を向上させ、信号劣化が発生したり、画質調整が行われたりした場合であっても、より安定的かつ正確に画像処理を行うことができ、操作データの記録・再生・編集作業を問題なく行うことが可能になる。
【０１７４】
なお、以上においては、画像処理装置６１３の一部に図１のフレーム探索装置１００の構成を適用する場合について説明したが、もちろん、図１５に示されるフレーム探索装置３００や、図１７に示されるフレーム探索装置４００を適用するようにしてもよい。
【０１７５】
フレーム探索装置３００を適用する場合、図１５の探索元特徴量データ保持部３２４、探索元特徴量選択部３３１、および探索元フレーム選択部３３２は、図２９の同期検出部６４２に対応する。フレーム探索装置４００を適用する場合、図１７の解候補決定部４４１および探索結果確認部４４２は、図２９の同期検出部６４２に対応する。
【０１７６】
これらの場合も、同期検出部６４２は、信号劣化等に対するロバスト性を向上させることができる。つまり、画像処理装置６１３は、画像処理の、データ変化に対するロバスト性を向上させ、信号劣化が発生したり、画質調整が行われたりした場合であっても、より安定的かつ正確に画像処理を行うことができ、操作データの記録・再生・編集作業を問題なく行うことが可能になる。
【０１７７】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図３０に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０１７８】
図３０において、パーソナルコンピュータ８００のCPU（Central Processing Unit）８０１は、ROM（Read Only Memory）８０２に記憶されているプログラム、または記憶部８１３からRAM（Random Access Memory）８０３にロードされたプログラムに従って各種の処理を実行する。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１７９】
CPU８０１、ROM８０２、およびRAM８０３は、バス８０４を介して相互に接続されている。このバス８０４にはまた、入出力インタフェース８１０も接続されている。
【０１８０】
入出力インタフェース８１０には、キーボード、マウスなどよりなる入力部８１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部８１２、ハードディスクなどより構成される記憶部８１３、モデムなどより構成される通信部８１４が接続されている。通信部８１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０１８１】
入出力インタフェース８１０にはまた、必要に応じてドライブ８１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部８１３にインストールされる。
【０１８２】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０１８３】
この記録媒体は、例えば、図３０に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア８２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM８０２や、記憶部８１３に含まれるハードディスクなどで構成される。
【０１８４】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１８５】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表わすものである。
【０１８６】
なお、以上において、１つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて１つの装置として構成されるようにしてもよい。また、各装置の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置の構成の一部を他の装置の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１８７】
【図１】本発明を適用したフレーム探索装置の主な構成例を示すブロック図である。
【図２】探索先特徴量抽出処理の流れの例を説明するフローチャートである。
【図３】探索処理の流れの例を説明するフローチャートである。
【図４】特徴量抽出の様子の例を説明する図である。
【図５】特徴量算出処理の流れの例を説明するフローチャートである。
【図６】特徴量算出処理の流れの、他の例を説明するフローチャートである。
【図７】特徴量の比較の様子の例を説明する図である。
【図８】特徴量比較処理の流れの例を説明するフローチャートである。
【図９】特徴量距離の特徴の例を説明する図である。
【図１０】特徴量距離の統計的性質の例を説明する図である。
【図１１】判定条件設定処理の流れの例を説明するフローチャートである。
【図１２】信頼性判定処理の流れの例を説明するフローチャートである。
【図１３】探索解フレーム補間処理の様子の例を説明する図である。
【図１４】探索解フレーム補間処理の流れの例を説明するフローチャートである。
【図１５】本発明を適用したフレーム探索装置の、他の構成例を示すブロック図である。
【図１６】探索処理の流れの、他の例を説明するフローチャートである。
【図１７】本発明を適用したフレーム探索装置の、さらに他の構成例を示すブロック図である。
【図１８】探索処理の流れの、さらに他の例を説明するフローチャートである。
【図１９】信頼性判定処理の流れの、他の例を説明するフローチャートである。
【図２０】信頼性判定処理の様子の例を説明する図である。
【図２１】解候補決定処理の流れの例を説明するフローチャートである。
【図２２】解候補のパターンの例を説明する図である。
【図２３】解候補が１つである場合の例を説明する図である。
【図２４】探索結果確認処理の流れの例を説明するフローチャートである。
【図２５】解候補が複数存在する場合の例を説明する図である。
【図２６】解候補が存在しない場合の例を説明する図である。
【図２７】本発明を適用した画像処理装置の記録モードについて説明する図である。
【図２８】本発明を適用した画像処理装置の再生モードについて説明する図である。
【図２９】本発明を適用した画像処理装置の主な構成例を示すブロック図である。
【図３０】本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１８８】
１００  フレーム探索装置，  １０１  探索先特徴量抽出処理部，  １０２  探索処理部，  １１３  探索先特徴量計算部，  １２３  探索元特徴量計算部，  １３３  特徴量比較部，  １４１  判定条件設定部，  １４２  信頼性判定部，  １４３  探索解フレーム決定部，  １４４  探索解フレーム補間部，  １５１  最終出力部，  ３００  フレーム探索装置，  ３０２  探索処理部，  ３０３  探索元特徴量抽出処理部，  ３２４  探索元特徴量データ保持部，  ４００  フレーム探索装置，  ４４１  解候補決定部，  ４４２  探索結果確認部，  ６１３  画像処理装置，  ６４１  特徴量抽出部，  ６４２  同期検出部
【図１】
2009272936.tif 000003
【図２】
2009272936.tif 000004
【図３】
2009272936.tif 000005
【図４】
2009272936.tif 000006
【図５】
2009272936.tif 000007
【図６】
2009272936.tif 000008
【図７】
2009272936.tif 000009
【図８】
2009272936.tif 000010
【図９】
2009272936.tif 000011
【図１０】
2009272936.tif 000012
【図１１】
2009272936.tif 000013
【図１２】
2009272936.tif 000014
【図１３】
2009272936.tif 000015
【図１４】
2009272936.tif 000016
【図１５】
2009272936.tif 000017
【図１６】
2009272936.tif 000018
【図１７】
2009272936.tif 000019
【図１８】
2009272936.tif 000020
【図１９】
2009272936.tif 000021
【図２０】
2009272936.tif 000022
【図２１】
2009272936.tif 000023
【図２２】
2009272936.tif 000024
【図２３】
2009272936.tif 000025
【図２４】
2009272936.tif 000026
【図２５】
2009272936.tif 000027
【図２６】
2009272936.tif 000028
【図２７】
2009272936.tif 000029
【図２８】
2009272936.tif 000030
【図２９】
2009272936.tif 000031
【図３０】
2009272936.tif 000032