(57)【要約】【課題】画像の同定を正確に行う。【解決手段】特徴量抽出部４１は、画像再生装置１２からの画像の、注目している注目フレームの画素値と、注目フレームに隣接するフレームの画素値との差分に関する差分情報を画素値とする差分画像を算出し、差分画像を、複数の画素値からなるブロックにブロック化する。さらに、特徴量抽出部４１は、ブロックの複数の画素値を統合した値をコンポーネントとするベクトルを、注目フレームの特徴量として出力する。一致特徴量検出部４２は、記録媒体６２に記録されている特徴量から、特徴量抽出部４１からの特徴量に一致する特徴量を検出する。本発明は、例えば、画像の同定に適用できる。【選択図】図２
2009260513.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの操作に応じて、画像に施す処理を決定し、その処理を表す処理情報を出力する処理情報決定手段と、
前記画像から、前記画像の特徴量を抽出する特徴量抽出手段と、
前記処理情報を、その処理情報が表す処理を施す前記画像の前記特徴量と対応付けて記録媒体に記録する記録手段と
を備え、
前記特徴量抽出手段は、
前記画像の、注目している注目フレームの画素値と、前記注目フレームに隣接するフレームの画素値との差分に関する差分情報を画素値とする差分画像を算出する差分画像算出手段と、
前記差分画像を、複数の画素値からなるブロックにブロック化し、前記ブロックの複数の画素値を統合した値をコンポーネントとするベクトルを、前記注目フレームの前記特徴量として出力するブロック化手段と
を有する
画像処理装置。
【請求項２】
前記特徴量抽出手段は、前記差分画像の画素値を、その画素値よりも少ないビット数に量子化する量子化手段をさらに有し、
前記ブロック化手段は、前記画素値が前記少ないビット数に量子化された前記差分画像をブロック化する
請求項１に記載の画像処理装置。
【請求項３】
前記量子化手段は、前記差分画像の画素値を、１ビットに量子化して、前記差分画像を、２値化画像とする
請求項２に記載の画像処理装置。
【請求項４】
前記特徴量抽出手段は、前記差分画像の画素値を量子化するのに用いる閾値を設定する閾値設定手段をさらに有し、
前記閾値設定手段は、前記注目フレームについての前記差分画像の画素値の平均値を、前記注目フレームについての前記差分画像を量子化するのに用いる前記閾値として設定する
請求項３に記載の画像処理装置。
【請求項５】
前記記録媒体に記録された前記特徴量である記録特徴量から、前記特徴量抽出手段により抽出された前記特徴量である抽出特徴量と一致する前記特徴量である一致特徴量を検出する一致特徴量検出手段と、
前記記録媒体において前記一致特徴量と対応付けられている前記処理情報が表す処理を、前記抽出特徴量が抽出された前記画像に施す処理反映手段と
をさらに備える請求項３に記載の画像処理装置。
【請求項６】
前記一致特徴量検出手段は、前記記録媒体に記録された前記記録特徴量それぞれと、前記抽出特徴量との距離のうちの最小の距離である最小距離が所定の閾値以下である場合に、前記抽出特徴量との距離を前記最小距離とする前記記録特徴量を、一致特徴量として検出する
請求項５に記載の画像処理装置。
【請求項７】
画像を処理する画像処理装置が、
ユーザの操作に応じて、前記画像に施す処理を決定し、その処理を表す処理情報を出力するステップと、
前記画像から、前記画像の特徴量を抽出するステップと、
前記処理情報を、その処理情報が表す処理を施す前記画像の前記特徴量と対応付けて記録媒体に記録するステップと
を含み、
前記画像の特徴量を抽出するステップでは、
前記画像の、注目している注目フレームの画素値と、前記注目フレームに隣接するフレームの画素値との差分に関する差分情報を画素値とする差分画像を算出し、
前記差分画像を、複数の画素値からなるブロックにブロック化し、前記ブロックの複数の画素値を統合した値をコンポーネントとするベクトルを、前記注目フレームの前記特徴量として出力する
画像処理方法。
【請求項８】
ユーザの操作に応じて、画像に施す処理を決定し、その処理を表す処理情報を出力する処理情報決定手段と、
前記画像から、前記画像の特徴量を抽出する特徴量抽出手段と、
前記処理情報を、その処理情報が表す処理を施す前記画像の前記特徴量と対応付けて記録媒体に記録する記録手段と
を備え、
前記特徴量抽出手段は、
前記画像の、注目している注目フレームの画素値と、前記注目フレームに隣接するフレームの画素値との差分に関する差分情報を画素値とする差分画像を算出する差分画像算出手段と、
前記差分画像を、複数の画素値からなるブロックにブロック化し、前記ブロックの複数の画素値を統合した値をコンポーネントとするベクトルを、前記注目フレームの前記特徴量として出力するブロック化手段と
を有する
画像処理装置として、コンピュータを機能させるためのプログラム。
【請求項９】
画像から、前記画像の特徴量を抽出する特徴量抽出手段と、
前記画像に施す処理を表す処理情報を、その処理情報が表す処理を施す前記画像の特徴量と対応付けて記録する記録媒体に記録された前記特徴量である記録特徴量から、前記画像から抽出された前記特徴量である抽出特徴量と一致する前記特徴量である一致特徴量を検出する一致特徴量検出手段と、
前記記録媒体において前記一致特徴量と対応付けられている前記処理情報が表す処理を、前記抽出特徴量が抽出された前記画像に施す処理反映手段と
を備え、
前記特徴量抽出手段は、
前記画像の、注目している注目フレームの画素値と、前記注目フレームに隣接するフレームの画素値との差分に関する差分情報を画素値とする差分画像を算出する差分画像算出手段と、
前記差分画像を、複数の画素値からなるブロックにブロック化し、前記ブロックの複数の画素値を統合した値をコンポーネントとするベクトルを、前記注目フレームの前記特徴量として出力するブロック化手段と
を有する
画像処理装置。
【請求項１０】
前記特徴量抽出手段は、前記差分画像の画素値を、その画素値よりも少ないビット数に量子化する量子化手段をさらに有し、
前記ブロック化手段は、前記画素値が前記少ないビット数に量子化された前記差分画像をブロック化する
請求項９に記載の画像処理装置。
【請求項１１】
前記量子化手段は、前記差分画像の画素値を、１ビットに量子化して、前記差分画像を、２値化画像とする
請求項１０に記載の画像処理装置。
【請求項１２】
前記特徴量抽出手段は、前記差分画像の画素値を量子化するのに用いる閾値を設定する閾値設定手段をさらに有し、
前記閾値設定手段は、前記注目フレームについての前記差分画像の画素値の平均値を、前記注目フレームについての差分画像を量子化するのに用いる前記閾値として設定する
請求項１１に記載の画像処理装置。
【請求項１３】
前記一致特徴量検出手段は、前記記録媒体に記録された前記記録特徴量それぞれと、前記抽出特徴量との距離のうちの最小の距離である最小距離が所定の閾値以下である場合に、前記抽出特徴量との距離を前記最小距離とする前記記録特徴量を、一致特徴量として検出する
請求項１１に記載の画像処理装置。
【請求項１４】
ユーザの操作に応じて、前記画像に施す処理を決定し、その処理を表す前記処理情報を出力する処理情報決定手段と、
前記処理情報を、その処理情報が表す処理を施す前記画像の前記特徴量と対応付けて前記記録媒体に記録する記録手段と
をさらに備える請求項９に記載の画像処理装置。
【請求項１５】
画像を処理する画像処理装置が、
前記画像から、前記画像の特徴量を抽出するステップと、
前記画像に施す処理を表す処理情報を、その処理情報が表す処理を施す前記画像の特徴量と対応付けて記録する記録媒体に記録された前記特徴量である記録特徴量から、前記画像から抽出された前記特徴量である抽出特徴量と一致する前記特徴量である一致特徴量を検出するステップと、
前記記録媒体において前記一致特徴量と対応付けられている前記処理情報が表す処理を、前記抽出特徴量が抽出された前記画像に施すステップと
を含み、
前記画像の特徴量を抽出するステップでは、
前記画像の、注目している注目フレームの画素値と、前記注目フレームに隣接するフレームの画素値との差分に関する差分情報を画素値とする差分画像を算出し、
前記差分画像を、複数の画素値からなるブロックにブロック化し、前記ブロックの複数の画素値を統合した値をコンポーネントとするベクトルを、前記注目フレームの前記特徴量として出力する
画像処理方法。
【請求項１６】
画像から、前記画像の特徴量を抽出する特徴量抽出手段と、
前記画像に施す処理を表す処理情報を、その処理情報が表す処理を施す前記画像の特徴量と対応付けて記録する記録媒体に記録された前記特徴量である記録特徴量から、前記画像から抽出された前記特徴量である抽出特徴量と一致する前記特徴量である一致特徴量を検出する一致特徴量検出手段と、
前記記録媒体において前記一致特徴量と対応付けられている前記処理情報が表す処理を、前記抽出特徴量が抽出された前記画像に施す処理反映手段と
を備え、
前記特徴量抽出手段は、
前記画像の、注目している注目フレームの画素値と、前記注目フレームに隣接するフレームの画素値との差分に関する差分情報を画素値とする差分画像を算出する差分画像算出手段と、
前記差分画像を、複数の画素値からなるブロックにブロック化し、前記ブロックの複数の画素値を統合した値をコンポーネントとするベクトルを、前記注目フレームの前記特徴量として出力するブロック化手段と
を有する
画像処理装置として、コンピュータを機能させるためのプログラム。
【請求項１７】
画像から、前記画像の特徴量を抽出する特徴量抽出手段と、
前記画像の特徴量を記録する記録媒体に記録された前記特徴量である記録特徴量から、前記画像から抽出された前記特徴量である抽出特徴量と一致する前記特徴量である一致特徴量を検出する一致特徴量検出手段と、
前記特徴量が前記一致特徴量になっている前記画像を出力する出力手段と
を備え、
前記特徴量抽出手段は、
前記画像の、注目している注目フレームの画素値と、前記注目フレームに隣接するフレームの画素値との差分に関する差分情報を画素値とする差分画像を算出する差分画像算出手段と、
前記差分画像を、複数の画素値からなるブロックにブロック化し、前記ブロックの複数の画素値を統合した値をコンポーネントとするベクトルを、前記注目フレームの前記特徴量として出力するブロック化手段と
を有する
画像処理装置。
【請求項１８】
画像を処理する画像処理装置が、
前記画像から、前記画像の特徴量を抽出するステップと、
前記画像の特徴量を記録する記録媒体に記録された前記特徴量である記録特徴量から、前記画像から抽出された前記特徴量である抽出特徴量と一致する前記特徴量である一致特徴量を検出するステップと、
前記特徴量が前記一致特徴量になっている前記画像を出力するステップと
を含み、
前記画像の特徴量を抽出するステップでは、
前記画像の、注目している注目フレームの画素値と、前記注目フレームに隣接するフレームの画素値との差分に関する差分情報を画素値とする差分画像を算出し、
前記差分画像を、複数の画素値からなるブロックにブロック化し、前記ブロックの複数の画素値を統合した値をコンポーネントとするベクトルを、前記注目フレームの前記特徴量として出力する
画像処理方法。
【請求項１９】
画像から、前記画像の特徴量を抽出する特徴量抽出手段と、
前記画像の特徴量を記録する記録媒体に記録された前記特徴量である記録特徴量から、前記画像から抽出された前記特徴量である抽出特徴量と一致する前記特徴量である一致特徴量を検出する一致特徴量検出手段と、
前記特徴量が前記一致特徴量になっている前記画像を出力する出力手段と
を備え、
前記特徴量抽出手段は、
前記画像の、注目している注目フレームの画素値と、前記注目フレームに隣接するフレームの画素値との差分に関する差分情報を画素値とする差分画像を算出する差分画像算出手段と、
前記差分画像を、複数の画素値からなるブロックにブロック化し、前記ブロックの複数の画素値を統合した値をコンポーネントとするベクトルを、前記注目フレームの前記特徴量として出力するブロック化手段と
を有する
画像処理装置として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、例えば、画像の同定を正確に行うことができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
画像（動画）を編集する方法としては、破壊編集と非破壊編集と呼ばれる方法がある。破壊編集では、編集後の画像が記録されるが、非破壊編集では、編集後の画像が記録されない点で、破壊編集と非破壊編集は異なる。
【０００３】
すなわち、破壊編集では、素材となる画像に対して、編集が施され、その編集後の画像が、編集結果として記録される。
【０００４】
一方、非破壊編集では、素材となる画像（以下、素材画像ともいう）に対して施す編集を表す編集情報が、編集結果として記録される。そして、非破壊編集では、再生時に、素材画像に対して、編集情報が表す編集が施される。
【０００５】
非破壊編集において、編集情報は、その編集情報が表す編集を施すフレームのタイムコードに対応付けられる。
【０００６】
したがって、タイムコードがない素材画像については、非破壊編集を行うことができない。
【０００７】
そこで、本件出願人は、画像に施す処理を表す処理情報と、その処理情報が表す処理を施す画像のフレームの特徴量とを対応付けて記録しておくことで、タイムコードがない画像についても、非破壊編集を可能とする画像処理装置を、先に提案している（例えば、特許文献１を参照）。
【０００８】
ここで、本明細書、及び特許請求の範囲では、「フレーム」には、フィールドも含まれることとする。
【０００９】
特許文献１に記載の画像処理装置では、編集時には、素材画像が、画像を再生する画像再生装置によって再生される。そして、ユーザが編集操作を行うと、その編集操作に応じて施すべき処理を表す処理情報と、編集操作が行われたときに再生されていた素材画像のフレームの特徴量とが対応付けられて、記録媒体に記録される。
【００１０】
一方、再生時には、やはり、素材画像が、画像を再生する画像再生装置によって再生される。そして、素材画像のフレームから、記録媒体に記録された処理情報が表す処理を施すべきフレームが同定され、そのフレームに、処理情報が表す処理が施される。
【００１１】
すなわち、素材画像の各フレームを、注目している注目フレームとして、注目フレームの特徴量が抽出され、記録媒体から、注目フレームの特徴量に一致する特徴量が検出される。そして、記録媒体から、注目フレームの特徴量に一致する特徴量を検出することができた場合には、その特徴量に対応付けられている処理情報が表す処理が、注目フレームに施される。
【００１２】
【特許文献１】特開2007-300477号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
特許文献１に記載の画像処理装置では、注目フレームの特徴量に一致する特徴量が記録媒体に記録されていることが検出されることにより、注目フレームが、記録媒体に記録されている特徴量と対応付けられている処理情報が表す処理を施すべきフレーム（以下、適宜、処理対象フレームともいう）であることが同定される。
【００１４】
そして、特許文献１に記載の画像処理装置では、そのような、注目フレームが処理対象フレームであることの同定が、画像再生装置によって再生される素材画像の特徴量を用いて行われる。
【００１５】
このため、特許文献１に記載の画像処理装置では、画像再生装置によって再生される素材画像に、完全な再現性があり、さらに、その素材画像の各フレームから抽出される特徴量にも、完全な再現性があることが必要となる。
【００１６】
ここで、完全な再現性とは、値が完全に一致する再現性があることを意味する。
【００１７】
しかしながら、素材画像が、編集時と再生時とで異なる画像再生装置を用いて再生される場合には、異なる画像再生装置で行われる信号処理が異なるために、編集時と再生時とのそれぞれで再生される素材画像に、完全な再現性がないことがある。
【００１８】
さらに、素材画像が、編集時と再生時とで同一の画像再生装置を用いて再生される場合であっても、ユーザの設定等によって、編集時と再生時とで行われる信号処理が異なるために、編集時と再生時とのそれぞれで再生される素材画像に、完全な再現性がないことがある。
【００１９】
このため、注目フレームが処理対象フレームであっても、注目フレームが処理対象フレームであることの同定ができないこと、つまり、注目フレームの特徴量が、処理情報と対応付けられて記録媒体に記録されているにもかかわらず、記録媒体から、注目フレームの特徴量に一致する特徴量を検出することができないことが生じうる。
【００２０】
本発明は、このような状況に鑑みてなされたものであり、画像の同定を正確に行うことができるようにするものである。
【課題を解決するための手段】
【００２１】
本発明の第１の側面の画像処理装置、又は、プログラムは、ユーザの操作に応じて、画像に施す処理を決定し、その処理を表す処理情報を出力する処理情報決定手段と、前記画像から、前記画像の特徴量を抽出する特徴量抽出手段と、前記処理情報を、その処理情報が表す処理を施す前記画像の前記特徴量と対応付けて記録媒体に記録する記録手段とを備え、前記特徴量抽出手段が、前記画像の、注目している注目フレームの画素値と、前記注目フレームに隣接するフレームの画素値との差分に関する差分情報を画素値とする差分画像を算出する差分画像算出手段と、前記差分画像を、複数の画素値からなるブロックにブロック化し、前記ブロックの複数の画素値を統合した値をコンポーネントとするベクトルを、前記注目フレームの前記特徴量として出力するブロック化手段とを有する画像処理装置、又は、画像処理装置として、コンピュータを機能させるプログラムである。
【００２２】
本発明の第１の側面の画像処理方法は、画像を処理する画像処理装置が、ユーザの操作に応じて、画像に施す処理を決定し、その処理を表す処理情報を出力するステップと、前記画像から、前記画像の特徴量を抽出するステップと、前記処理情報を、その処理情報が表す処理を施す前記画像の前記特徴量と対応付けて記録媒体に記録するステップとを含み、前記画像の特徴量を抽出するステップでは、前記画像の、注目している注目フレームの画素値と、前記注目フレームに隣接するフレームの画素値との差分に関する差分情報を画素値とする差分画像を算出し、前記差分画像を、複数の画素値からなるブロックにブロック化し、前記ブロックの複数の画素値を統合した値をコンポーネントとするベクトルを、前記注目フレームの前記特徴量として出力する画像処理方法である。
【００２３】
以上のような第１の側面においては、ユーザの操作に応じて、画像に施す処理が決定され、その処理を表す処理情報が出力される。そして、前記画像から、前記画像の特徴量が抽出され、前記処理情報が、その処理情報が表す処理を施す前記画像の前記特徴量と対応付けられて記録媒体に記録される。この場合において、前記画像の特徴量の抽出では、前記画像の、注目している注目フレームの画素値と、前記注目フレームに隣接するフレームの画素値との差分に関する差分情報を画素値とする差分画像が算出され、前記差分画像が、複数の画素値からなるブロックにブロック化される。そして、前記ブロックの複数の画素値を統合した値をコンポーネントとするベクトルが、前記注目フレームの前記特徴量として出力される。
【００２４】
本発明の第２の側面の画像処理装置、又は、プログラムは、画像から、前記画像の特徴量を抽出する特徴量抽出手段と、前記画像に施す処理を表す処理情報を、その処理情報が表す処理を施す前記画像の特徴量と対応付けて記録している記録媒体に記録された前記特徴量である記録特徴量から、前記画像から抽出された前記特徴量である抽出特徴量と一致する前記特徴量である一致特徴量を検出する一致特徴量検出手段と、前記記録媒体において前記一致特徴量と対応付けられている前記処理情報が表す処理を、前記抽出特徴量が抽出された前記画像に施す処理反映手段とを備え、前記特徴量抽出手段が、前記画像の、注目している注目フレームの画素値と、前記注目フレームに隣接するフレームの画素値との差分に関する差分情報を画素値とする差分画像を算出する差分画像算出手段と、前記差分画像を、複数の画素値からなるブロックにブロック化し、前記ブロックの複数の画素値を統合した値をコンポーネントとするベクトルを、前記注目フレームの前記特徴量として出力するブロック化手段とを有する画像処理装置、又は、画像処理装置として、コンピュータを機能させるプログラムである。
【００２５】
本発明の第２の側面の画像処理方法は、画像を処理する画像処理装置が、前記画像から、前記画像の特徴量を抽出するステップと、前記画像に施す処理を表す処理情報を、その処理情報が表す処理を施す前記画像の特徴量と対応付けて記録する記録媒体に記録された前記特徴量である記録特徴量から、前記画像から抽出された前記特徴量である抽出特徴量と一致する前記特徴量である一致特徴量を検出するステップと、前記記録媒体において前記一致特徴量と対応付けられている前記処理情報が表す処理を、前記抽出特徴量が抽出された前記画像に施すステップとを含み、前記画像の特徴量を抽出するステップでは、前記画像の、注目している注目フレームの画素値と、前記注目フレームに隣接するフレームの画素値との差分に関する差分情報を画素値とする差分画像を算出し、前記差分画像を、複数の画素値からなるブロックにブロック化し、前記ブロックの複数の画素値を統合した値をコンポーネントとするベクトルを、前記注目フレームの前記特徴量として出力する画像処理方法である。
【００２６】
以上のような第２の側面においては、前記画像から、前記画像の特徴量が抽出され、前記画像に施す処理を表す処理情報を、その処理情報が表す処理を施す前記画像の特徴量と対応付けて記録する記録媒体に記録された前記特徴量である記録特徴量から、前記画像から抽出された前記特徴量である抽出特徴量と一致する前記特徴量である一致特徴量が検出される。そして、前記記録媒体において前記一致特徴量と対応付けられている前記処理情報が表す処理が、前記抽出特徴量が抽出された前記画像に施される。この場合において、前記画像の特徴量の抽出では、前記画像の、注目している注目フレームの画素値と、前記注目フレームに隣接するフレームの画素値との差分に関する差分情報を画素値とする差分画像が算出され、前記差分画像が、複数の画素値からなるブロックにブロック化される。そして、前記ブロックの複数の画素値を統合した値をコンポーネントとするベクトルが、前記注目フレームの前記特徴量として出力される。
【００２７】
本発明の第３の側面の画像処理装置、又は、プログラムは、画像から、前記画像の特徴量を抽出する特徴量抽出手段と、前記画像の特徴量を記録する記録媒体に記録された前記特徴量である記録特徴量から、前記画像から抽出された前記特徴量である抽出特徴量と一致する前記特徴量である一致特徴量を検出する一致特徴量検出手段と、前記特徴量が前記一致特徴量になっている前記画像を出力する出力手段とを備え、前記特徴量抽出手段が、前記画像の、注目している注目フレームの画素値と、前記注目フレームに隣接するフレームの画素値との差分に関する差分情報を画素値とする差分画像を算出する差分画像算出手段と、前記差分画像を、複数の画素値からなるブロックにブロック化し、前記ブロックの複数の画素値を統合した値をコンポーネントとするベクトルを、前記注目フレームの前記特徴量として出力するブロック化手段とを有する画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。
【００２８】
本発明の第３の側面の画像処理方法は、画像を処理する画像処理装置が、前記画像から、前記画像の特徴量を抽出するステップと、前記画像の特徴量を記録する記録媒体に記録された前記特徴量である記録特徴量から、前記画像から抽出された前記特徴量である抽出特徴量と一致する前記特徴量である一致特徴量を検出するステップと、前記特徴量が前記一致特徴量になっている前記画像を出力するステップとを含み、前記画像の特徴量を抽出するステップでは、前記画像の、注目している注目フレームの画素値と、前記注目フレームに隣接するフレームの画素値との差分に関する差分情報を画素値とする差分画像を算出し、前記差分画像を、複数の画素値からなるブロックにブロック化し、前記ブロックの複数の画素値を統合した値をコンポーネントとするベクトルを、前記注目フレームの前記特徴量として出力する画像処理方法である。
【００２９】
以上のような第３の側面においては、前記画像から、前記画像の特徴量が抽出され、前記画像の特徴量を記録する記録媒体に記録された前記特徴量である記録特徴量から、前記画像から抽出された前記特徴量である抽出特徴量と一致する前記特徴量である一致特徴量が検出される。そして、前記特徴量が前記一致特徴量になっている前記画像が出力される。この場合において、前記画像の特徴量の抽出では、前記画像の、注目している注目フレームの画素値と、前記注目フレームに隣接するフレームの画素値との差分に関する差分情報を画素値とする差分画像が算出され、前記差分画像が、複数の画素値からなるブロックにブロック化される。そして、前記ブロックの複数の画素値を統合した値をコンポーネントとするベクトルが、前記注目フレームの前記特徴量として出力される。
【００３０】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００３１】
また、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００３２】
本発明の第１ないし第３の側面によれば、画像の同定を行うことができ、特に、画像の同定を正確に行うことができる。
【発明を実施するための最良の形態】
【００３３】
図１は、本発明を適用した画像処理システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは、問わない）の一実施の形態の構成例を示している。
【００３４】
図１において、画像処理システムは、記録メディア１１、画像再生装置１２、画像処理装置１３、リモートコマンダ１４、及び表示装置１５等から構成されている。
【００３５】
記録メディア１１は、例えば、動画等のコンテンツが記録されているDVD（Digital Versatile Disc）やHD(Hard Disk)等のディスク状の記録媒体、磁気テープ等のテープ状の記録媒体、又は、フラッシュメモリ等の不揮発性の半導体メモリ（記録媒体）であり、画像再生装置１２に対して着脱可能となっている。
【００３６】
画像再生装置１２は、例えば、DVDや、磁気テープ、フラッシュメモリ等の記録メディア１１を駆動するドライブであり、画像処理装置１３やリモートコマンダ１４からの指示に従い、記録メディア１１から、そこに記録されている動画の画像データを再生して、画像処理装置１３に供給する。
【００３７】
なお、画像再生装置１２としては、記録メディア１１から画像データを再生する再生機能の他、記録メディア１１に画像データを記録する記録機能をも有する装置を採用することができる。画像再生装置１２として、再生機能と記録機能の両方を有する装置を採用する場合には、記録メディア１１は、画像再生装置１２に着脱可能な記録媒体とする他、画像再生装置１２に内蔵させることができる。
【００３８】
また、画像再生装置１２としては、例えば、記録メディア１１が、インターネット上のサイトのストレージである場合に、そのストレージとしての記録メディア１１から画像データをダウンロードする通信機能を有する装置が含まれる。
【００３９】
画像処理装置１３は、リモートコマンダ１４からの指示等に従い、画像再生装置１２から供給される画像データを処理する。また、画像処理装置１３は、表示装置１５に表示させる画像に対応する画像データ（以下、適宜、表示データという）を、表示装置１５に供給する。
【００４０】
リモートコマンダ１４は、ユーザによって操作され、その操作に対応する操作信号を、赤外線等の無線で、画像再生装置１２や画像処理装置１３に送信する。
【００４１】
表示装置１５は、液晶パネルやCRT(Cathode Ray Tube)等で構成され、画像処理装置１３から供給される表示データに従い、その表示データに対応する画像を表示する。
【００４２】
以上のように構成される画像処理システムでは、画像再生装置１２が、例えば、リモートコマンダ１４からの指示に従い、記録メディア１１から画像データを再生し、画像処理装置１３に供給する。
【００４３】
画像処理装置１３は、画像再生装置１２からの画像データから、特徴量を抽出する。また、画像処理装置１３は、画像再生装置１２からの画像データを、表示データとして、表示装置１５に供給して表示させる。
【００４４】
一方、ユーザが、例えば、ズーム、パン、チルトなどを指示するように、リモートコマンダ１４を編集操作すると、リモートコマンダ１４は、編集操作に対応する操作信号を、画像処理装置１３に送信する。
【００４５】
画像処理装置１３は、リモートコマンダ１４から編集操作に対応する操作信号が送信されてくると、その操作信号に応じて、画像再生装置１２からの画像データに施すべき処理（以下、適宜、編集処理という）を決定し、その編集処理を表す情報である処理情報を、その処理情報が表す編集処理を施す画像データの特徴量と対応付けて記録する。
【００４６】
さらに、画像処理装置１３は、処理情報が表す編集処理を、画像再生装置１２からの画像データに施し、表示データとして、表示装置１５に供給して表示させる。
【００４７】
以上のように、画像処理装置１３において、処理情報が特徴量と対応付けられて記録された後、再度、画像再生装置１２が、リモートコマンダ１４からの指示等に従い、記録メディア１１から画像データを再生し、画像処理装置１３に供給すると、画像処理装置１３では、画像再生装置１２からの画像データから、特徴量が抽出される。
【００４８】
さらに、画像処理装置１３は、処理情報と対応付けられて記録された特徴量の中から、画像データから抽出された特徴量と一致する特徴量を検出し、その特徴量に対応付けられている処理情報が表す編集処理を、画像再生装置１２からの画像データに施す。そして、画像処理装置１３は、編集処理が施された画像データを、表示データとして、表示装置１５に供給して表示させる。
【００４９】
以上のように、画像処理装置１３において、記録メディア１１に記録された画像データに施す編集処理を表す処理情報が記録された後は、その編集処理が施された後の画像データ（以下、適宜、編集後画像データという）を記録せずに、その編集後画像データを繰り返し再生することができる。
【００５０】
したがって、記録メディア１１に記録された画像データを対象とした非破壊編集を、タイムコードなしで行うことができる。
【００５１】
また、記録メディア１１に記録されている画像データが、ノーモアコピー(No More Copy)などの、コピーが制限されているコンテンツであっても、その画像データに同一の編集処理を施した編集後画像データを繰り返し再生することができる。
【００５２】
図２は、図１の画像処理装置１３の構成例を示すブロック図である。
【００５３】
図２においては、画像処理装置１３は、特徴量抽出部４１、一致特徴量検出部４２、制御部４３、受光部４４、処理情報決定部４６、選択部４７、遅延部４８、処理反映部４９、記録部６１、記録媒体６２、及び読み出し部６３から構成される。
【００５４】
特徴量抽出部４１には、画像再生装置１２からの画像データが供給される。特徴量抽出部４１は、画像再生装置１２より順次供給されてくる画像データの各フレームから、所定の特徴量を抽出し、その特徴量をフレーム単位で、一致特徴量検出部４２、及び記録部６１に供給する。
【００５５】
ここで、特徴量抽出部４１が画像データから抽出する特徴量については、後述する。
【００５６】
一致特徴量検出部４２は、記録媒体６２に記録されている特徴量（以下、記録特徴量ともいう）から、特徴量抽出部４１より供給される、画像再生装置１２により再生された画像データから抽出された特徴量（以下、抽出特徴量ともいう）に一致する特徴量（以下、適宜、一致特徴量という）を検出する。そして、一致特徴量検出部４２は、一致特徴量の検出結果を表す検出結果情報を、記録部６１及び読み出し部６３に供給する。
【００５７】
制御部４３は、受光部４４から供給される操作信号にしたがい、必要に応じて、画像再生装置１２や、画像処理装置１３を構成する各ブロックを制御する。
【００５８】
受光部４４は、リモートコマンダ１４から送信されてくる操作信号としての赤外線を受光して光電変換し、その結果得られる電気信号としての操作信号を、制御部４３と処理情報決定部４６に供給する。
【００５９】
処理情報決定部４６は、ユーザによるリモートコマンダ１４の操作、つまり、受光部４４より供給されてくる操作信号に基づいて、画像再生装置１２から供給される画像データに施すべき編集処理を決定（認識）し、その編集処理を表す処理情報を出力する。処理情報決定部４６が出力する処理情報は、選択部４７及び記録部６１に供給される。
【００６０】
選択部４７には、処理情報決定部４６から処理情報が供給される他、読み出し部６３からも処理情報が供給される。選択部４７は、処理情報決定部４６より処理情報が供給されてきた場合には、その処理情報決定部４６からの処理情報を選択して、処理反映部４９に供給する。また、選択部４７は、処理情報決定部４６より処理情報の供給がなく、読み出し部６３より処理情報が供給された場合、読み出し部６３より供給された処理情報を選択して、処理反映部４９に供給する。なお、処理情報決定部４６及び読み出し部６３のいずれからも処理情報が供給されてこない場合、選択部４７は、処理情報を処理反映部４９に供給しない。
【００６１】
遅延部４８には、画像再生装置１２から、特徴量抽出部４１に供給されるのと同一の画像データが供給される。遅延部４８は、特徴量抽出部４１や、一致特徴量検出部４２、選択部４７、記録部６１、読み出し部６３が処理に要する時間に応じて、画像再生装置１２より供給される画像データを一時的に記憶することにより、必要な時間だけ遅延し、処理反映部４９に供給する。
【００６２】
処理反映部４９は、遅延部４８より供給される画像データに対して、選択部４７より供給される処理情報が表す編集処理を施し、その編集処理の結果得られる編集後画像データを、表示データとして、表示装置１５に供給する。
【００６３】
ここで、選択部４７は、後述するように、処理情報決定部４６が出力する処理情報、又は、記録媒体６２において一致特徴量と対応付けられている処理情報を、処理反映部４９に供給する。
【００６４】
したがって、処理反映部４９は、遅延部４８より供給される画像データに対して、選択部４７から供給される、処理情報決定部４６が出力する処理情報（ユーザの操作に応じて決定された処理情報）が表す編集処理を施す。
【００６５】
あるいは、処理反映部４９は、遅延部４８より供給される画像データに対して、選択部４７から供給される、記録媒体６２において一致特徴量と対応付けられている処理情報が表す編集処理を施す。
【００６６】
なお、選択部４７から処理反映部４９に対して、処理情報が供給されない場合、処理反映部４９は、遅延部４８からの画像データを、そのまま、表示データとして、表示装置１５に供給する。
【００６７】
記録部６１は、処理情報決定部４６より供給される処理情報を、その処理情報が表す編集処理を施す画像データの、特徴量抽出部４１からの特徴量と対応付けて記録媒体６２に記録する。
【００６８】
記録媒体６２は、例えば、ディスク状の記録媒体や半導体メモリ等であり、そこには、処理情報と特徴量が記録される。なお、記録媒体６２は、画像処理装置１３に内蔵させることもできるし、着脱可能にすることもできる。
【００６９】
読み出し部６３は、記録媒体６２において、一致特徴量検出部４２から供給される検出結果情報に含まれる一致特徴量に対応付けられている処理情報を読み出し、選択部４７に供給する。
【００７０】
以上のように構成される画像処理装置１３では、記録メディア１１に記録された画像データの再生、及び編集、並びにその編集後の画像データ（編集後画像データ）の再生を行う編集／再生処理が行われる。
【００７１】
図３のフローチャートを参照して、図２の画像処理装置１３が行う編集／再生処理について説明する。
【００７２】
ユーザは、画像データの編集や再生を行う場合、再生を指示するように、リモートコマンダ１４を操作する。
【００７３】
この場合、リモートコマンダ１４は、ユーザによる再生の指示の操作に対応する操作信号を送信し、この操作信号は、受光部４４で受光され、制御部４３に供給される。制御部４３は、受光部４４から、再生の指示の操作に対応する操作信号が供給されると、画像再生装置１２に対して、再生を要求する再生コマンドを送信し、これにより、画像再生装置１２に、記録メディア１１に記録された画像データの再生を開始させる。
【００７４】
画像再生装置１２は、画像データの再生を開始すると、その画像データを、画像処理装置１３に供給し、画像処理装置１３では、画像再生装置１２からの画像データが、フレーム単位で、特徴量抽出部４１と遅延部４８に供給される。
【００７５】
そして、画像処理装置１３では、ステップＳ２１において、遅延部４８は、１フレームの画像データが画像再生装置１２より供給されてきたか否かを判定する。ステップＳ２１において、１フレームの画像データが供給されてきていないと判定された場合、処理は、ステップＳ３４に進む。
【００７６】
また、ステップＳ２１において、１フレームの画像データが供給されてきたと判定された場合、すなわち、画像再生装置１２において記録メディア１１から再生された画像データが、特徴量抽出部４１と遅延部４８に供給された場合、処理は、ステップＳ２２に進み、遅延部４８は、画像再生装置１２から供給された１フレームの画像データを、例えば、１フレーム分の時間、その他の必要な時間だけ遅延させるために一時的に記憶する。
【００７７】
その後、処理は、ステップＳ２２からステップＳ２３に進み、特徴量抽出部４１は、画像再生装置１２からの画像データから特徴量を抽出する特徴量抽出処理を実行し、これにより、画像再生装置１２より供給された画像データのフレームを注目フレームとして、注目フレームから特徴量を抽出する。すなわち、遅延部４８が、画像再生装置１２からの注目フレームを遅延させるために一時的に記憶するとき、その注目フレームが特徴量抽出部４１にも供給されているため、同一のタイミングで、注目フレームが、一方では遅延のため一時的に記憶され、他方では特徴量が抽出される。
【００７８】
特徴量抽出部４１は、注目フレームから抽出した特徴量（抽出特徴量）を、一致特徴量検出部４２と記録部６１に供給し、処理は、ステップＳ２３からステップＳ２４に進む。
【００７９】
ステップＳ２４では、一致特徴量検出部４２が、記録媒体６２に記録されている特徴量（記録特徴量）から、特徴量抽出部４１より供給される注目フレームの特徴量（抽出特徴量）に一致する特徴量（一致特徴量）を検出する一致特徴量検出処理を行う。
【００８０】
そして、一致特徴量検出部４２は、一致特徴量の検出結果を表す検出結果情報を、記録部６１及び読み出し部６３に供給して、処理は、ステップＳ２４からステップＳ２５に進む。
【００８１】
ここで、一致特徴量検出部４２において、一致特徴量を検出することができた場合（一致特徴量が、記録媒体６２に記録されている場合）、検出結果情報には、その一致特徴量が含まれる。
【００８２】
ステップＳ２５では、処理情報決定部４６は、ユーザによってリモートコマンダ１４の編集操作が行われたかどうかを判定する。
【００８３】
ステップＳ２５において、編集操作が行われたと判定された場合、すなわち、ユーザが、表示装置１５に表示された画像を見ながら、例えば、２倍のズームアップ等の編集処理を行うように、リモートコマンダ１４を編集操作し、その編集操作に対応した操作信号が、受光部４４で受信され、処理情報決定部４６に供給された場合、処理は、ステップＳ２６に進み、処理情報決定部４６は、受光部４４から供給された操作信号に基づいて、注目フレームに対して施す編集処理を決定し、その編集処理を表す処理情報を、選択部４７及び記録部６１に供給して、処理は、ステップＳ２７に進む。
【００８４】
ステップＳ２７では、記録部６１が、一致特徴量検出部４２からの検出結果情報に基づき、注目フレームについて、一致特徴量を検出することができたかどうかを判定する。
【００８５】
ステップＳ２７において、注目フレームについて、一致特徴量を検出することができなかったと判定された場合、すなわち、注目フレームの抽出特徴量と一致する一致特徴量が、記録媒体６２に記録されていない場合、処理は、ステップＳ２８に進み、記録部６１は、特徴量抽出部４１からの注目フレームの抽出特徴量と、処理情報決定部４６からの処理情報とを対応付けて、記録媒体６２に追記の形で記録し、処理は、ステップＳ３０に進む。
【００８６】
すなわち、注目フレームの再生中に、編集操作が行われた場合において、その注目フレームの抽出特徴量が記録媒体６２に記録されていないときには、編集操作に対応する編集処理を表す処理情報と、その編集処理を施すべき注目フレームの抽出特徴量とが対応付けられ、記録媒体６２に追記される。
【００８７】
また、ステップＳ２７において、注目フレームについて、一致特徴量を検出することができたと判定された場合、すなわち、注目フレームの抽出特徴量と一致する一致特徴量が、記録媒体６２に記録されている場合、処理は、ステップＳ２９に進み、記録部６１は、一致特徴量検出部４２からの検出結果情報に含まれる一致特徴量と、処理情報決定部４６からの処理情報とを対応付けて、記録媒体６２に上書きの形で記録し、処理は、ステップＳ３０に進む。
【００８８】
すなわち、注目フレームの再生中に、編集操作が行われた場合において、その注目フレームの抽出特徴量と一致する一致特徴量が記録媒体６２に記録されているとき、つまり、過去に行われた編集／再生処理において、注目フレームの抽出特徴量と、処理情報とが対応付けられて、記録媒体６２に既に記録されているときには、編集操作に対応する編集処理を表す処理情報は、一致特徴量に対応付ける形で、記録媒体６２に上書きされる。
【００８９】
ステップＳ３０では、選択部４７は、処理情報決定部４６から直前のステップＳ２６で供給された処理情報を選択し、処理反映部４９に供給する。処理反映部４９は、遅延部４８に記憶されている注目フレームに対して、選択部４７より供給されてきた処理情報が表す編集処理、すなわち、いまの場合、ユーザによる編集操作に対応する編集処理を施し、その結果得られる編集後画像データを、表示データとして、表示装置１５に供給して、処理は、ステップＳ３４に進む。
【００９０】
以上のように、編集操作がされた場合には、その編集操作に対応する編集処理を表す処理情報が、その編集処理を施すべき注目フレームの特徴量に対応付けられて、記録媒体６２に記録されるとともに、表示装置１５では、注目フレームに対して、編集操作に対応する編集処理が施された結果得られる編集後画像データに対応する画像が表示される。
【００９１】
一方、ステップＳ２５において、編集操作がされていないと判定された場合、処理は、ステップＳ３１に進み、読み出し部６３は、一致特徴量検出部４２からの検出結果情報に基づき、注目フレームについて、一致特徴量を検出することができたかどうかを判定する。
【００９２】
ステップＳ３１において、注目フレームについて、一致特徴量を検出することができたと判定された場合、すなわち、注目フレームの抽出特徴量と一致する一致特徴量が、記録媒体６２に記録されている場合、処理は、ステップＳ３２に進み、読み出し部６３は、記録媒体６２において、一致特徴量、つまり、注目フレームの特徴量に対応付けられた処理情報を読み出し、選択部４７に供給して、処理は、ステップＳ３０に進む。
【００９３】
ステップＳ３０では、選択部４７は、読み出し部６３から直前のステップＳ３２で供給された処理情報を選択し、処理反映部４９に供給する。すなわち、いまの場合、編集操作がされていないので、選択部４７には、処理情報決定部４６から処理情報は供給されず、読み出し部６３のみから処理情報が供給されるので、選択部４７は、読み出し部６３から直前のステップＳ３２で供給された処理情報を選択して、処理反映部４９に供給する。
【００９４】
処理反映部４９は、遅延部４８に記憶されている注目フレームに対して、選択部４７より供給されてきた処理情報が表す編集処理、すなわち、いまの場合、記録媒体６２において注目フレームの特徴量（と一致する一致特徴量）と対応付けて記録されていた処理情報が表す編集処理を施し、その結果得られる編集後画像データを、表示データとして、表示装置１５に供給して、処理は、ステップＳ３４に進む。
【００９５】
したがって、今回の編集／再生処理では編集操作がされなかったが、過去に行われた注目フレームの再生中に編集操作が行われ、その結果、記録媒体６２において、注目フレームの特徴量に対応付けて、過去に行われた編集操作に対応する編集処理を表す処理情報が記録されている場合には、表示装置１５では、注目フレームに対して、過去に行われた編集操作に対応する編集処理が施された結果得られる編集後画像データに対応する画像が表示される。
【００９６】
一方、ステップＳ３１において、注目フレームについて、一致特徴量を検出することができなかったと判定された場合、すなわち、注目フレームの抽出特徴量と一致する一致特徴量が、記録媒体６２に記録されていない場合、ステップＳ３３に進み、処理反映部４９は、遅延部４８に記憶された注目フレームを、そのまま表示データとして、表示装置１５に供給して、処理は、ステップＳ３４に進む。
【００９７】
すなわち、編集操作が行われず、かつ、注目フレームの抽出特徴量と一致する一致特徴量が、記録媒体６２に記録されていない場合には、表示装置１５では、記録メディア１１から再生された注目フレームの画像そのものが表示される。
【００９８】
ステップＳ３４では、制御部４３が、画像再生装置１２による記録メディア１１に記録された画像データのすべての再生が終了したか、又は、再生を終了するように、リモートコマンダ１４が操作されたかどうかを判定する。
【００９９】
ステップＳ３４において、記録メディア１１に記録された画像データのすべての再生が、まだ終了していないと判定され、かつ、再生を終了するように、リモートコマンダ１４が操作されていないと判定された場合、処理は、ステップＳ２１に戻り、次のフレームが画像再生装置１２より供給されてきたか否かが判定され、以下、同様の処理が繰り返される。
【０１００】
また、ステップＳ３４において、記録メディア１１に記録された画像データのすべての再生が終了したと判定されるか、又は、再生を終了するように、リモートコマンダ１４が操作されたと判定された場合、編集／再生処理は終了する。
【０１０１】
次に、図４を参照して、特徴量抽出部４１が画像データから抽出する特徴量について説明する。
【０１０２】
いま、記録メディア１１に記録された画像データの先頭からn番目のフレームを、第nフレームということとし、第nフレームが、注目している注目フレームであるとする。
【０１０３】
この場合、特徴量抽出部４１は、注目フレームとしての第nフレームについて、その第nフレームの画素値（例えば、輝度）と、第nフレームに隣接する第n-1及び第n+1フレームのうちの、例えば、第n-1フレームの画素値との差分に関する差分情報を画素値とする差分画像を算出する。
【０１０４】
ここで、差分画像の画素値とする差分情報としては、第nフレームの画素値と、第n-1フレームの画素値との差分（同一位置の画素の画素値どうしの差分）の、例えば、絶対値や自乗値等の、差分に関する値を採用することができる。
【０１０５】
ここでは、差分画像の画素値とする差分情報として、例えば、第nフレームの画素値と、第n-1フレームの画素値との差分の絶対値を採用することとする。
【０１０６】
なお、差分画像は、第nフレームと、第n-1フレームとの画像の違い、つまり、画像の動きを表す情報であるということができる。
【０１０７】
特徴量抽出部４１は、第nフレームについての差分画像の算出後、その差分画像を、複数の画素値からなるブロックにブロック化する。
【０１０８】
さらに、特徴量抽出部４１は、差分画像のブロックを構成する複数の画素値を、例えば、１つの値に統合する。
【０１０９】
ここで、ブロックを構成する複数の画素値を統合する方法としては、例えば、その複数の画素値の総和をとる方法や、平均値を求める方法、その他、複数の画素値を引数とする関数の関数値を求める方法がある。
【０１１０】
ここでは、特徴量抽出部４１は、例えば、差分画像のブロックを構成する複数の画素値の総和をとることで、その複数の画素値を１つの値に統合する。
【０１１１】
特徴量抽出部４１は、第nフレームについての差分画像を構成する各ブロックについて、ブロックを構成する複数の画素値を統合すると、その差分画像を構成する各ブロックの複数の画素値を統合した値をコンポーネントとするベクトルを、第nフレームの特徴量として出力する。
【０１１２】
ここで、差分画像が、K個のブロックにブロック化され、そのK個のブロックのうちの、k(k=1,2,・・・,K)番目のブロックを構成する複数の画素値の総和を、qkと表すこととすると、第nフレームの特徴量としてのベクトルVは、式V=(q1,q2,・・・,qK)で表される。
【０１１３】
図５は、図２の特徴量抽出部４１の構成例を示すブロック図である。
【０１１４】
図５では、特徴量抽出部４１は、画像保持部７１及び７２、差分画像算出部７３、並びにブロック化部７４から構成される。
【０１１５】
画像保持部７１には、画像再生装置１２（図２）がフレーム単位で出力する画像データが供給される。画像保持部７１は、画像再生装置１２からのフレームを、注目フレームとして一時記憶し、画像保持部７２、及び差分画像算出部７３に供給する。
【０１１６】
画像保持部７２は、画像保持部７１から供給される画像データを記憶し、差分画像算出部７３に供給する。
【０１１７】
ここで、画像保持部７１に対して、画像再生装置１２から、第nフレームが供給されるとき、画像保持部７２に対しては、画像保持部７１から、１フレーム前の第n-1フレームが供給される。
【０１１８】
したがって、画像保持部７１に、第nフレームが記憶されるとき、画像保持部７２には、その１フレーム前の第n-1フレームが記憶される。
【０１１９】
差分画像算出部７３は、画像保持部７１に記憶された注目フレームとしての第nフレームの画素値と、画像保持部７２に記憶された、注目フレームに隣接するフレームとしての第n-1フレームの画素値との差分に関する差分情報を画素値とする差分画像を算出し、ブロック化部７４に供給する。
【０１２０】
ブロック化部７４は、差分画像算出部７３からの差分画像を、複数の画素値からなるブロックにブロック化する。さらに、ブロック化部７４は、ブロックの複数の画素値を統合し、その統合の結果得られる値をコンポーネントとするベクトルVを、注目フレームとしての第nフレームの特徴量として、一致特徴量検出部４２、及び記録部６１（図２）に出力する。
【０１２１】
次に、図６を参照して、図５の特徴量抽出部４１が、図３のステップＳ２３で行う特徴量抽出処理について説明する。
【０１２２】
ステップＳ５１において、画像保持部７１は、画像再生装置１２からのフレームを、注目フレームとして一時記憶する。さらに、ステップＳ５１では、画像保持部７２が、画像保持部７１が直前に記憶していた、注目フレームの１フレーム前のフレーム（以下、前フレームともいう）を記憶し、処理は、ステップＳ５２に進む。
【０１２３】
ステップＳ５２では、差分画像算出部７３が、画像保持部７１に記憶された注目フレームと、画像保持部７２に記憶された前フレームの画素値とを用いて、注目フレームについての差分画像を算出し、ブロック化部７４に供給して、処理は、ステップＳ５３に進む。
【０１２４】
ステップＳ５３では、ブロック化部７４が、差分画像算出部７３からの差分画像をブロック化する。さらに、ブロック化部７４は、差分画像を構成する各ブロックの複数の画素値を統合する。そして、ブロック化部７４は、差分画像を構成する各ブロックの複数の画素値を統合した値をコンポーネントとするベクトルVを、注目フレームの特徴量として、一致特徴量検出部４２、及び記録部６１（図２）に出力して、特徴量抽出処理を終了する。
【０１２５】
次に、図７は、図２の特徴量抽出部４１の他の構成例を示すブロック図である。
【０１２６】
なお、図中、図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１２７】
すなわち、図７の特徴量抽出部４１は、画像保持部７１及び７２、差分画像算出部７３、並びに、ブロック化部７４が設けられている点で、図５の場合と共通する。
【０１２８】
但し、図７の特徴量抽出部４１は、差分画像算出部７３とブロック化部７４との間に、差分画像量子化部８１、及び閾値設定部８２が設けられている点で、図５の場合と相違する。
【０１２９】
差分画像量子化部８１には、差分画像算出部７３から差分画像が供給される。
【０１３０】
差分画像量子化部８１は、差分画像算出部７３からの差分画像の画素値を、その画素値よりも少ないビット数であるNビットに（再）量子化し、画素値がNビットにされた差分画像（以下、差分Nビット画像ともいう）を、ブロック化部７４に供給する。
【０１３１】
すなわち、差分画像量子化部８１は、差分画像算出部７３からの差分画像の画素値を、例えば、１ビットに量子化し、その結果得られる２値化画像を、差分Nビット画像（差分１ビット画像）として、ブロック化部７４に供給する。
【０１３２】
閾値設定部８２には、差分画像算出部７３から差分画像が供給される。
【０１３３】
閾値設定部８２は、差分画像算出部７３から差分画像に基づき、その差分画像の画素値を量子化するのに用いる閾値（量子化ステップ）を設定して、差分画像量子化部８１に供給する。
【０１３４】
すなわち、差分画像量子化部８１は、差分画像の量子化を、閾値を用いて行うようになっており、閾値設定部８２は、差分画像の量子化に用いられる閾値を設定する。
【０１３５】
図８を参照して、図７の閾値設定部８２による閾値の設定方法について説明する。
【０１３６】
ここで、図８は、横軸を、差分画像の画素値とし、縦軸を、画素値の度数とするヒストグラムを示している。
【０１３７】
まず、図８Ａを参照して、閾値の第１の設定方法について説明する。
【０１３８】
第１の設定方法では、注目フレームについての差分画像の画素値の最小値から最大値までを画素値のダイナミックレンジDRとして、そのダイナミックレンジDRを2N等分する2N-1個の画素値（図８Ａにおいて点線で示す部分）が、閾値に設定される。
【０１３９】
なお、第１の設定方法で設定された閾値を用いて、Nビットの値に量子化する処理は、NビットADRC(Adaptive Dynamic Range Coding)と呼ばれる処理である。
【０１４０】
次に、図８Ｂを参照して、閾値の第２の設定方法について説明する。
【０１４１】
第２の設定方法では、注目フレームについての差分画像のヒストグラムの面積を2N等分する2N-1個の画素値（図８Ｂにおいて点線で示す部分）が、閾値に設定される。
【０１４２】
なお、差分画像量子化部８１において、差分画像算出部７３からの差分画像を１ビットに量子化して、２値化画像とする場合、第２の設定方法で求められる閾値は、差分画像の画素値の平均値となる。
【０１４３】
次に、図９を参照して、図７の特徴量抽出部４１が、図３のステップＳ２３で行う特徴量抽出処理について説明する。
【０１４４】
ステップステップＳ６１において、画像保持部７１は、画像再生装置１２からのフレームを、注目フレームとして一時記憶する。さらに、ステップステップＳ６１では、画像保持部７２が、画像保持部７１が直前に記憶していた、注目フレームの１フレーム前の前フレームを記憶し、処理は、ステップステップＳ６２に進む。
【０１４５】
ステップステップＳ６２では、差分画像算出部７３が、画像保持部７１に記憶された注目フレームと、画像保持部７２に記憶された前フレームの画素値とを用いて、注目フレームについての差分画像を算出し、差分画像量子化部８１、及び、閾値設定部８２に供給して、処理は、ステップステップＳ６３に進む。
【０１４６】
ステップＳ６３では、閾値設定部８２が、差分画像算出部７３からの差分画像を用い、その差分画像を量子化するのに用いる2N-1個の閾値を、図８で説明した第１又は第２の設定方法に従って設定し、差分画像量子化部８１に供給する。
【０１４７】
その後、処理は、ステップＳ６３からステップＳ６４に進み、差分画像量子化部８１は、差分画像算出部７３からの差分画像の画素値を、閾値設定部８２からの2N-1個の閾値を用いて、Nビットに量子化し、その結果得られる差分Nビット画像を、ブロック化部７４に供給する。
【０１４８】
そして、処理は、ステップＳ６５に進み、ブロック化部７４は、差分画像算出部７３からの差分Nビット画像をブロック化する。さらに、ブロック化部７４は、差分Nビット画像を構成する各ブロックの複数の画素値を、例えば、その総和をとることで統合する。そして、ブロック化部７４は、差分Nビット画像を構成する各ブロックの複数の画素値を統合した値をコンポーネントとするベクトルVを、注目フレームの特徴量として、一致特徴量検出部４２、及び記録部６１（図２）に出力して、特徴量抽出処理を終了する。
【０１４９】
次に、図１０は、図２の一致特徴量検出部４２の構成例を示すブロック図である。
【０１５０】
図１０において、一致特徴量検出部４２は、距離算出部９１、及び一致評価部９２から構成される。
【０１５１】
距離算出部９１には、特徴量抽出部４１から注目フレームの特徴量（抽出特徴量）が供給される。
【０１５２】
距離算出部９１は、特徴量抽出部４１からの抽出特徴量と、記録媒体６２に記録された特徴量（記録特徴量）それぞれとの距離を算出し、記録特徴量とともに、一致評価部９２に供給する。
【０１５３】
一致評価部９２は、距離算出部９１からの距離に基づいて、記録特徴量が、抽出特徴量に一致している（とみなせる）かどうかを評価し、その評価結果に基づき、検出結果情報を出力する。
【０１５４】
すなわち、一致評価部９２は、距離算出部９１からの、抽出特徴量と、記録媒体６２に記録された記録特徴量それぞれとの距離の中から、最小の距離である最小距離を検出し、その最小距離が、所定の閾値以下であるかどうかを判定する。
【０１５５】
最小距離が、所定の閾値以下でない場合、一致評価部９２は、抽出特徴量に一致する（とみなせる）記録特徴量がないと評価し、抽出特徴量に一致する記録特徴量である一致特徴量を検出することができなかった旨の検出結果情報を出力する。
【０１５６】
また、最小距離が、所定の閾値以下である場合、一致評価部９２は、抽出特徴量の距離が最小距離となる記録特徴量が、抽出特徴量に一致する（とみなせる）一致特徴量であると評価し、一致特徴量を検出することができた旨の検出結果情報を出力する。
【０１５７】
ここで、一致特徴量を検出することができた旨の検出結果情報には、一致特徴量（となった記録特徴量）が含まれる。
【０１５８】
次に、図１１を参照して、図１０の一致特徴量検出部４２の処理について説明する。
【０１５９】
例えば、いま、第nフレームが注目フレームになっており、その第nフレームの特徴量（抽出特徴量）を、UIn=(pIn,1,pIn,2,・・・,pIn,K)と表す。また、記録媒体６２に、M個の記録特徴量が記録されており、m(m=1,2,・・・,M)番目の記録特徴量を、UDm=(pDm,1,pDm,2,・・・,pDm,K)と表す。
【０１６０】
この場合、図１０の一致特徴量検出部４２では、距離算出部９１が、式Dm＝Σ(pIn,k-pDm,k)2に従い（Σは、kを１からＫに変えてのサメーションを表す）、第nフレームの抽出特徴量UInと、m番目の記録特徴量UDmとの距離Dmを、記録媒体６２に記録されているM個すべての記録特徴量UD1ないしUDMについて求める。
【０１６１】
さらに、一致評価部９２が、記録特徴量UD1ないしUDMそれぞれについて求められた距離D1ないしDMのうちの最小値を、最小距離Dminとして検出する。
【０１６２】
そして、一致評価部９２は、最小距離Dminが、所定の閾値以下である場合には、抽出特徴量との距離を最小距離Dminとする記録特徴量を、一致特徴量として検出し、その一致特徴量を含む検出結果情報を出力する。
【０１６３】
一方、最小距離Dminが、所定の閾値以下でない場合には、一致評価部９２は、一致特徴量を検出することができなかったとして、その旨の検出結果情報を出力する。
【０１６４】
次に、図１２を参照して、図１０の一致特徴量検出部４２が、図３のステップＳ２４で行う一致特徴量検出処理について説明する。
【０１６５】
ステップＳ７１において、距離算出部９１は、記録媒体６２に記録された記録特徴量をカウントするための変数mを1に初期化する。さらに、ステップＳ７１では、一致評価部９２が、最小距離（を表す変数）Dminを、無限大（とみなせる大きな値）に初期化する。
【０１６６】
その後、注目フレームの抽出特徴量が、特徴量抽出部４１から距離算出部９１に供給されるのを待って、処理は、ステップＳ７１からステップＳ７２に進み、距離算出部９１は、特徴量抽出部４１からの抽出特徴量を取得（受信）して、処理は、ステップＳ７３に進む。
【０１６７】
ステップＳ７３では、距離算出部９１が、変数mが、記録媒体６２に記録された記録特徴量の総数Mより大であるかどうかを判定する。
【０１６８】
ステップＳ７３において、変数mが、記録特徴量の総数Mより大でないと判定された場合、処理は、ステップＳ７４に進み、距離算出部９１は、記録媒体６２から、m番目の記録特徴量を取得し（読み出し）、処理は、ステップＳ７５に進む。
【０１６９】
ステップＳ７５では、距離算出部９１が、抽出特徴量と、m番目の記録特徴量との距離Dmを算出し、一致評価部９２に供給して、処理は、ステップＳ７６に進む。
【０１７０】
ステップＳ７６では、一致評価部９２は、距離Dmが、最小距離Dminより小さい（以下である）かどうかを判定する。
【０１７１】
ステップＳ７６において、距離Dmが、最小距離Dminより小さいと判定された場合、処理は、ステップＳ７７に進み、一致評価部９２は、最小距離Dminを、距離Dmに更新して、処理は、ステップＳ７８に進む。
【０１７２】
また、ステップＳ７６において、距離Dmが、最小距離Dminより小さくないと判定された場合、処理は、ステップＳ７７をスキップして、ステップＳ７８に進み、距離算出部９１は、変数mを１だけインクリメントする。その後、処理は、ステップＳ７８からステップＳ７３に戻り、以下、同様の処理が繰り返される。
【０１７３】
そして、ステップＳ７３において、変数mが、記録特徴量の総数Mより大であると判定された場合、すなわち、記録媒体６２に記録されたM個の記録特徴量すべてについて、抽出特徴量との距離が求められ、その距離の中の最小値である最小距離Dminが求められた場合、処理は、ステップＳ７９に進み、一致評価部９２は、最小距離Dminが所定の閾値TH以下である（より小さい）かどうかを判定する。
【０１７４】
ステップＳ７９において、最小距離Dminが所定の閾値TH以下であると判定された場合、処理は、ステップＳ８０に進み、一致評価部９２は、抽出特徴量との距離が最小距離Dminとなる記録特徴量を、一致特徴量として検出する。さらに、一致評価部９２は、ステップＳ８０において、一致特徴量を検出することができた旨の検出結果情報に、一致特徴量を含めて出力し、一致特徴量検出処理を終了する。
【０１７５】
また、ステップＳ７９において、最小距離Dminが所定の閾値TH以下でないと判定された場合、処理は、ステップＳ８１に進み、一致評価部９２は、一致特徴量を検出することができなかった旨の検出結果情報を出力し、一致特徴量検出処理を終了する。
【０１７６】
以上のように、画像処理装置１３では、注目フレームの画素値と、注目フレームに隣接する前フレームの画素値との差分に関する差分情報を画素値とする差分画像を算出し、その差分画像を、複数の画素値からなるブロックにブロック化する。さらに、画像処理装置１３では、ブロックの複数の画素値を統合し、その統合した値をコンポーネントとするベクトルを、注目フレームの特徴量（抽出特徴量）とする。
【０１７７】
このような注目フレームの特徴量を用いることにより、注目フレームが、記録媒体６２に記録されている記録特徴量と対応付けられている処理情報が表す編集処理を施すべきフレーム（処理対象フレーム）であることを正確に同定することができる。
【０１７８】
すなわち、差分画像は、注目フレームの画像の動きを表すが、画像の動きは、記録メディア１１（図２）から画像を再生する画像再生装置１２で行われる信号処理が異なることによって変化する性質のものではない。
【０１７９】
さらに、画像処理装置１３では、画像の動きを表す差分画像がブロック化され、ブロックを構成する画素値を統合した値をコンポーネントとするベクトルが、注目フレームの特徴量とされる。
【０１８０】
このように、ブロックを構成する画素値を統合した値をコンポーネントとするベクトルである特徴量は、画像再生装置１２で行われる信号処理が異なることによってセンシティブに変化しない。したがって、抽出特徴量に一致する記録特徴量を検出することにより、画像再生装置１２で行われる信号処理が異なっていても、注目フレームが、処理対象フレームであることを、比較的正確に同定することができる。
【０１８１】
さらに、画像処理装置１３において、差分画像を、画素値のビット数が少ない差分Nビット画像に量子化してから、差分Nビット画像をブロック化し、ブロックの画素値を統合した値をコンポーネントとするベクトルを、注目フレームの特徴量（抽出特徴量）とする場合には、注目フレームが、処理対象フレームであることをより正確に同定することができる。
【０１８２】
すなわち、差分画像を、差分Nビット画像に量子化することにより、抽出特徴量（記録特徴量も同様）は、注目フレームの画像の動きをある程度の感度で表す一方、画像再生装置１２で行われる信号処理が異なることに対する感度が、より鈍くなる。
【０１８３】
このように、抽出特徴量は、画像再生装置１２で行われる信号処理が異なることによる影響を受けにくくなり、その結果、注目フレームが、処理対象フレームであることをより正確に同定することができる。
【０１８４】
なお、差分画像を量子化するのに用いる閾値を、図８Ａの第１の設定方法によって設定する場合には、閾値は、差分画像の画素値の最大値、及び最小値の影響を受けやすいため、特徴量も、差分画像の画素値の最大値、及び最小値の影響を受けやすい。但し、第１の設定方法によれば、閾値を少ない演算量で求めることができ、さらに、注目フレームの画像の動きの特徴を捉えた特徴量を求めることができる。
【０１８５】
一方、差分画像を量子化するのに用いる閾値を、図８Ｂの第２の設定方法によって設定する場合には、第１の設定方法に比較して、閾値を求める演算量が大になる。但し、第２の設定方法によれば、差分画像の画素値の最大値、及び最小値等といった特定の値からの影響を受けにくく、かつ、注目フレームの画像の動きの特徴を捉えた特徴量を求めることができる。
【０１８６】
第１又は第２の設定方法のうちのいずれを採用するかは、例えば、画像処理装置１３に要求される性能や、製造コスト等を考慮して決定することができる。
【０１８７】
また、画像処理装置１３において、差分画像を、差分１ビット画像、つまり、２値化画像に量子化する場合には、上述したように、第２の設定方法によって得られる閾値は、差分画像の平均値となる。したがって、差分画像を量子化するのに用いる閾値を、第２の設定方法によって設定することにより、閾値を少ない演算量で求めることができ、さらに、差分画像の画素値の最大値、及び最小値等といった特定の値からの影響を受けにくく、かつ、注目フレームの画像の動きの特徴を捉えた特徴量を求めることができる。
【０１８８】
ここで、図８で説明した第１及び第２の設定方法によって設定される閾値によって、差分画像を量子化して得られる差分Nビット画像から求められる特徴量は、注目フレームの、いわば全体的な動きに対する相対的な、ブロックごとの（局所的な）動きを表す。
【０１８９】
すなわち、いま、説明を簡単にするために、差分Nビット画像として、２値化画像を採用することとする。注目フレームが、全体として、動きの激しい画像である場合には、２値化画像は、その激しい動きの中でも、動きが特に大きい部分と、そうでない部分とに、注目フレームを分ける画像となる。また、注目フレームが、全体として、動きがほとんどない画像である場合でも、２値化画像は、そのほとんどない動きの中でも、比較的動きがある部分と、そうでない部分とに、注目フレームを分ける画像となる。
【０１９０】
図１３ないし図１５を参照して、図１の画像処理システムについて行ったシミュレーションについて説明する。
【０１９１】
図１３は、ある動画を、ある画像再生装置Aで再生した場合の、第200フレームと第201フレームの一部の画像と、その画像の、ある位置Pの画素値としての輝度とを示している。
【０１９２】
画像再生装置Aで再生された第200フレームの位置Pの画素値は、193になっており、第201フレームの位置Pの画素値は、184になっている。
【０１９３】
図１４は、図１３と同一の動画を、他の画像再生装置Bで再生した場合の、第200フレームと第201フレームの一部の画像と、その画像の、位置Pの画素値としての輝度をとを示している。
【０１９４】
画像再生装置Bで再生された第200フレームの位置Pの画素値は、198になっており、第201フレームの位置Pの画素値は、178になっている。
【０１９５】
以上のように、画像再生装置AとBのそれぞれで再生された第200フレームの位置Pの画素値は異なっており、画像再生装置AとBのそれぞれで再生された第201フレームの位置Pの画素値も異なっている。
【０１９６】
図１５は、ブロック化部７４（図５、図７）でブロック化されたブロックの画素値を統合した値としての、ブロックの画素値の総和を示している。
【０１９７】
図１５において、横軸は、ブロックを特定するブロック番号を表し、縦軸は、ブロックの画素値を統合した値としての、ブロックの画素値の総和を表している。
【０１９８】
また、図１５において、実線は、画像再生装置Aで再生された第201フレームを注目フレームとした場合の、ブロックの画素値の総和を表しており、点線は、画像再生装置Bで再生された第201フレームを注目フレームとした場合の、ブロックの画素値の総和を表している。
【０１９９】
図１５Ａは、差分画像のブロックの画素値の総和を表しており、図１５Ｂは、差分画像を量子化して得られた２値化画像のブロックの画素値の総和を表している。
【０２００】
すなわち、図１５Ａは、差分画像をブロック化の対象として求められた特徴量（以下、差分画像特徴量ともいう）としてのベクトルのコンポーネントを示している。また、図１５Ｂは、２値化画像をブロック化の対象として求められた特徴量（以下、２値化画像特徴量ともいう）としてのベクトルのコンポーネントを示している。
【０２０１】
図１５Ａによれば、差分画像特徴量については、画像再生装置AとBのそれぞれで再生された注目フレームの特徴量に多少の違いが生じているものの、それでも、その違いが、ある程度の範囲内に収まっていることが分かる。
【０２０２】
また、図１５Ｂによれば、２値化画像特徴量については、画像再生装置AとBのそれぞれで再生された注目フレームの特徴量の違いが、差分画像の場合よりも、より狭い範囲内に収まっていることが分かる。
【０２０３】
ここで、図１２の一致特徴量検出処理において、一致特徴量を検出するのに用いる閾値THを大にすると、抽出特徴量が抽出された注目フレームでないフレームから抽出された記録特徴量が、一致特徴量として誤検出される可能性が高くなる。
【０２０４】
このような一致特徴量の誤検出を防止するためには、異なる画像再生装置（信号処理が異なる画像再生装置）AとBのそれぞれで再生された注目フレームの特徴量の違いが、より狭い範囲内に収まっていることが望ましい。
【０２０５】
したがって、２値化画像特徴量を採用する場合には、差分画像特徴量を採用する場合よりも、閾値THを小さくして、一致特徴量の誤検出（一致特徴量でない記録特徴量を、一致特徴量として誤検出すること）を、より強固に防止することができる。
【０２０６】
また、２値化画像特徴量（図１５Ｂ）としてのベクトルのコンポーネントとしての、ブロックの画素値の総和は、図１５に示したように、差分画像特徴量（図１５Ａ）よりも値が小さくなるので、記録特徴量を記録しておく記録媒体６２の記憶容量を小さくすることができる。
【０２０７】
なお、２値化画像特徴量、及び差分画像特徴量は、画像を再生する画像再生装置の違い（画像に対して施される信号処理の違い）を、いわば吸収することで、完全な再現性がない注目フレームの同定を可能とする。
【０２０８】
そして、２値化画像特徴量は、差分画像特徴量に比較して、画像再生装置の違いを吸収する度合いが高い。したがって、２値化画像特徴量は、異なる信号処理が行われる画像再生装置で画像が再生される場合に、特に有用である。
【０２０９】
ここで、上述の場合には、注目フレームだけについて、その抽出特徴量と一致する記録特徴量である一致特徴量が検出されたときに、注目フレームが、その一致特徴量が抽出されたフレームであると同定して、注目フレームに対して、一致特徴量と対応付けられている処理情報が表す編集処理を施すようにしたが、注目フレームの同定は、複数フレームを用いて行うことが可能である。
【０２１０】
すなわち、例えば、注目フレームを含む連続する複数フレームそれぞれについて、一致特徴量が検出されたときに、注目フレームが、その注目フレームの抽出特徴量と一致する記録特徴量（一致特徴量）が抽出されたフレームであると同定することが可能である。
【０２１１】
次に、特徴量抽出処理、及び一致特徴量検出処理は、画像に編集処理を施す場合の他、例えば、画像の検索に適用することができる。
【０２１２】
そこで、図１６は、本発明を適用した画像検索システムの一実施の形態の構成例を示すブロック図である。
【０２１３】
図１６において、画像検索システムは、記録メディア１１１、画像再生装置１１２、及び、画像検索装置１１３から構成され、例えば、記録メディア１１１に記録された画像から、特定の画像を検索する。
【０２１４】
記録メディア１１１には、例えば、図１の記録メディア１１と同様に、動画等のコンテンツが記録されている。
【０２１５】
画像再生装置１１２は、例えば、図１の画像再生装置１２と同様に、記録メディア１１１から、そこに記録されている動画の画像データを再生して、画像検索装置１１３に供給する。
【０２１６】
画像検索装置１１３は、例えば、ユーザからの指示等に従い、画像再生装置１１２から供給される画像データから、所定のフレームを検索して出力する。
【０２１７】
すなわち、画像検索装置１１３は、記録媒体１３１、画像取得部１３２、特徴量抽出部１４１、一致特徴量検出部１４２、記録部１６１、記録媒体１６２、及び出力部１６３から構成される。
【０２１８】
記録媒体１３１には、画像データがフレーム単位で記録されている。
【０２１９】
なお、記録媒体１３１には、例えば、記録メディア１１１に記録されているのと同一の画像を記録しておくことができる。また、記録媒体１３１は、記録メディア１１１と兼用することができる。
【０２２０】
画像取得部１３２は、例えば、ユーザによる図示せぬ操作部の操作に従って、記録媒体１３１に記録された画像データのフレームを読み出し（取得し）、特徴量抽出部１４１に供給する。
【０２２１】
すなわち、ユーザが、記録媒体１３１に記録された画像データの特定のフレームを指定するように、操作部を操作すると、画像取得部１３２は、ユーザの操作によって指定されたフレーム（以下、指定フレームともいう）を、記録媒体１３１から取得する。そして、画像取得部１３２は、記録媒体１３１から取得した指定フレームを、特徴量抽出部１４１に供給する。
【０２２２】
特徴量抽出部１４１は、画像取得部１３２からの指定フレームから、図２の特徴量抽出部４１と同様に、特徴量を抽出し、その特徴量を、一致特徴量検出部１４２に供給する。
【０２２３】
また、特徴量抽出部１４１には、画像再生装置１１２からの画像データが供給される。特徴量抽出部１４１は、画像再生装置１１２より順次供給されてくる画像データの各フレーム（以下、再生フレームともいう）から、図２の特徴量抽出部４１と同様に、特徴量を抽出し、その特徴量をフレーム単位で、記録部１６１に供給する。
【０２２４】
一致特徴量検出部１４２は、図２の一致特徴量検出部４２と同様の一致特徴量検出処理を行うことにより、記録媒体１６２に記録されている特徴量（記録特徴量）から、特徴量抽出部１４１より供給される、指定フレームから抽出された特徴量（抽出特徴量）に一致する特徴量（一致特徴量）を検出する。そして、一致特徴量検出部１４２は、一致特徴量の検出結果を表す検出結果情報を、出力部１６３に供給する。
【０２２５】
記録部１６１には、上述したように、特徴量抽出部１４１から、再生フレームから抽出された特徴量が供給される他、画像再生装置１１２から再生フレームが供給される。
【０２２６】
記録部１６１は、画像再生装置１１２からの再生フレームと、特徴量抽出部１４１からの、その再生フレームから抽出された特徴量とを対応付けて記録媒体１６２に記録する。
【０２２７】
記録媒体１６２には、記録部１６１によって、再生フレームと、その特徴量とが対応付けられて記録される。
【０２２８】
出力部１６３は、一致特徴量検出部１４２から供給される検出結果情報に基づき、記録媒体１６２に記録されている再生フレームのうちの、記録特徴量が、指定フレームの抽出特徴量に一致する一致特徴量である再生フレームを出力する。
【０２２９】
すなわち、出力部１６３は、記録媒体１６２において、一致特徴量検出部１４２から供給される検出結果情報に含まれる一致特徴量に対応付けられている再生フレームを読み出し、指定フレームに一致するフレームとして（指定フレームであると同定して）出力する。
【０２３０】
以上のように構成される画像検索システムでは、画像再生装置１１２が、記録メディア１１１から画像データを再生し、その画像データの各フレーム（再生フレーム）を、画像検索装置１１３に供給する。
【０２３１】
画像検索装置１１３は、画像再生装置１１２からの再生フレームから、ユーザによって指定される指定フレームと同一の画像の再生フレームを検索する画像検索処理を行う。
【０２３２】
図１７のフローチャートを参照して、図１６の画像検索装置１１３が行う画像検索処理について説明する。
【０２３３】
画像再生装置１１２からの再生フレームは、画像検索装置１１３の特徴量抽出部１４１、及び記録部１６１に供給される。
【０２３４】
特徴量抽出部１４１は、ステップＳ１０１において、特徴量抽出処理を行うことにより、画像再生装置１１２からの再生フレームから特徴量を抽出し、その特徴量を、記録部１６１に供給して、処理は、ステップＳ１０２に進む。
【０２３５】
ステップＳ１０２では、記録部１６１は、画像再生装置１１２からの再生フレームと、特徴量抽出部１４１からの、その再生フレームから抽出された特徴量とを対応付けて記録媒体１６２に記録して、処理は、ステップＳ１０３に進む。
【０２３６】
ステップＳ１０３では、特徴量抽出部１４１が、画像再生装置１１２からの再生フレームの供給が終了したかどうかを判定する。
【０２３７】
ステップＳ１０３において、画像再生装置１１２からの再生フレームの供給が終了していないと判定された場合、処理は、ステップＳ１０１に戻り、画像再生装置１１２から供給される次の再生フレームを対象として、以下、同様の処理が繰り返される。
【０２３８】
また、ステップＳ１０３において、画像再生装置１１２からの再生フレームの供給が終了したと判定された場合、処理は、ステップＳ１０４に進み、画像取得部１３２は、ユーザによる指定フレームの指定が行われたかどうかを判定する。
【０２３９】
ステップＳ１０４において、ユーザによる指定フレームの指定が行われていないと判定された場合、処理は、ステップＳ１０５に進み、画像取得部１３２は、ユーザが、画像検索処理を終了することを指示する操作（以下、終了操作ともいう）を行ったかどうかを判定する。
【０２４０】
ステップＳ１０５において、終了操作が行われていないと判定された場合、処理は、ステップＳ１０４に戻り、以下、同様の処理が繰り返される。
【０２４１】
そして、ステップＳ１０４において、ユーザによる指定フレームの指定が行われたと判定された場合、処理は、ステップＳ１０６に進み、画像取得部１３２は、記録媒体１３１から、指定フレームを取得し、特徴量抽出部１４１に供給して、処理は、ステップＳ１０７に進む。
【０２４２】
ステップＳ１０７では、特徴量抽出部１４１は、特徴量抽出処理を行うことにより、画像取得部１３２からの指定フレームから特徴量を抽出し、その特徴量を、一致特徴量検出部１４２に供給して、処理は、ステップＳ１０８に進む。
【０２４３】
ステップＳ１０８では、一致特徴量検出部１４２は、一致特徴量検出処理を行い、処理は、ステップＳ１０９に進む。
【０２４４】
すなわち、一致特徴量検出部１４２は、記録媒体１６２に記録されている特徴量（記録特徴量）から、特徴量抽出部１４１より供給される、指定フレームから抽出された特徴量（抽出特徴量）に一致する特徴量（一致特徴量）を検出する。そして、一致特徴量検出部１４２は、一致特徴量の検出結果を表す検出結果情報を、出力部１６３に供給する。
【０２４５】
ステップＳ１０９では、出力部１６３が、一致特徴量検出部１４２からの検出結果情報に基づき、指定フレームについて、一致特徴量を検出することができたかどうかを判定する。
【０２４６】
ステップＳ１０９において、指定フレームについて、一致特徴量を検出することができなかったと判定された場合、すなわち、指定フレームの抽出特徴量と一致する一致特徴量が、記録媒体１６２に記録されていない場合、処理は、ステップＳ１１１に進み、出力部１６３は、指定フレームに一致するフレームが、記録メディア１１１に記録されていない旨のメッセージを出力する。
【０２４７】
また、ステップＳ１０９において、指定フレームについて、一致特徴量を検出することができたと判定された場合、すなわち、指定フレームの抽出特徴量と一致する一致特徴量が、記録媒体１６２に記録されている場合、出力部１６３は、一致特徴量に対応付けられている再生フレームを、記録媒体１６２から読み出し、指定フレームの検索結果（指定フレームの同定結果）として出力する。
【０２４８】
ステップＳ１１０の後、及び、ステップＳ１１１の後、いずれも、処理は、ステップＳ１０４に戻り、以下、同様の処理が繰り返される。
【０２４９】
そして、ステップＳ１０５において、終了操作がされたと判定された場合、画像検索処理は終了する。
【０２５０】
以上のように、画像検索装置１１３において、特徴量抽出処理、及び、一致特徴量検出処理を行うことで、例えば、画像再生装置１１２によって再生される再生フレームに、信号処理による劣化が生じている場合であっても、指定フレームと同一の画像の再生フレームを検出することができる。
【０２５１】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２５２】
そこで、図１８は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２５３】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。
【０２５４】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２５５】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０２５６】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０２５７】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２５８】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２５９】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【０２６０】
すなわち、本実施の形態では、動画を処理の対象としたが、本発明は、その他、複数の静止画（例えば、ディジタルスチルカメラで撮影した写真のデータ等）を処理の対象とすることが可能である。
【図面の簡単な説明】
【０２６１】
【図１】本発明を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
【図２】画像検索装置１３の構成例を示すブロック図である。
【図３】編集／再生処理を説明するフローチャートである。
【図４】特徴量抽出部４１の処理を説明する図である。
【図５】特徴量抽出部４１の構成例を示すブロック図である。
【図６】特徴量抽出処理を説明するフローチャートである。
【図７】特徴量抽出部４１の他の構成例を示すブロック図である。
【図８】閾値設定部８２による閾値の設定方法を説明する図である。
【図９】特徴量抽出処理を説明するフローチャートである。
【図１０】一致特徴量検出部４２の構成例を示すブロック図である。
【図１１】一致特徴量検出部４２の処理を説明する図である。
【図１２】一致特徴量検出処理を説明するフローチャートである。
【図１３】画像再生装置Aで再生した画像を示す図である。
【図１４】画像再生装置Bで再生した画像を示す図である。
【図１５】ブロックの画素値の総和を示す図である。
【図１６】本発明を適用した画像検索システムの一実施の形態の構成例を示すブロック図である。
【図１７】画像検索装置１１３による画像検索処理を説明するフローチャートである。
【図１８】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０２６２】
１１  記録メディア，  １２  画像再生装置，  １３  画像処理装置，  １４  リモートコマンダ，  １５  表示装置，  ４１  特徴量抽出部，  ４２  一致特徴量検出部，  ４３  制御部，  ４４  受光部，  ４５  処理情報決定部，  ４７  選択部，  ４８  遅延部，  ４９  処理反映部，  ６１  記録部，  ６２  記録媒体，  ６３  読み出し部，  ７１，７２  画像保持部，  ７３  差分画像算出部，  ７４  ブロック化部，  ８１  差分画像量子化部，  ８２  閾値設定部，  ９１  距離算出部，  ９２  一致評価部，  １１１  記録メディア，  １１２  画像再生装置，  １１３  画像検索装置，  １３１  記録媒体，  １３２  画像取得部，  １４１  特徴量抽出部，  １４２  一致特徴量検出部，  １６１  記録部，  １６２  記録媒体，  １６３  出力部，  ２０１  バス，  ２０２  CPU，  ２０３  ROM，  ２０４  RAM，  ２０５  ハードディスク，  ２０６  出力部，  ２０７  入力部，  ２０８  通信部，  ２０９  ドライブ，  ２１０  入出力インタフェース，  ２１１  リムーバブル記録媒体
【図１】
2009260513.tif 000003
【図２】
2009260513.tif 000004
【図３】
2009260513.tif 000005
【図４】
2009260513.tif 000006
【図５】
2009260513.tif 000007
【図６】
2009260513.tif 000008
【図７】
2009260513.tif 000009
【図８】
2009260513.tif 000010
【図９】
2009260513.tif 000011
【図１０】
2009260513.tif 000012
【図１１】
2009260513.tif 000013
【図１２】
2009260513.tif 000014
【図１３】
2009260513.tif 000015
【図１４】
2009260513.tif 000016
【図１５】
2009260513.tif 000017
【図１６】
2009260513.tif 000018
【図１７】
2009260513.tif 000019
【図１８】
2009260513.tif 000020