(57)【要約】【課題】編集作業の容易化を図る。【解決手段】特徴量抽出部１２１は、記録メディア１１から再生された各フレームの画像データについて、１フレームの画像データよりもデータ量が少ない圧縮特徴量、すなわち、例えば、１フレームの各画素の画素値を表すビット列の上位２ビット等を抽出し、表示制御部１２５は、圧縮特徴量を、表示装置１５に表示させる。一方、処理情報決定部４６は、圧縮特徴量を見たユーザによるリモートコマンダ１４の編集操作に応じて、画像データに施す処理を決定し、その処理を表す処理情報を出力する。記録部１２３は、処理情報を、その処理情報が表す処理を施す画像データの所定の特徴量である処理特徴量と対応付けて記録媒体１２４に記録する。本発明は、例えば、画像を編集する装置等に適用できる。【選択図】図８
2008187324.tif 000002
【特許請求の範囲】
【請求項１】
画像を処理する画像処理装置において、
画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出手段と、
前記圧縮特徴量を表示させる表示制御手段と、
画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定手段と、
前記処理情報を、その処理情報が表す処理を施す画像データの所定の特徴量である処理特徴量と対応付けて記録媒体に記録する記録手段と
を備える画像処理装置。
【請求項２】
前記処理情報決定手段は、ユーザによって操作される操作手段の操作に従って、画像データに施す処理を決定する
請求項１に記載の画像処理装置。
【請求項３】
前記圧縮特徴量抽出手段は、複数種類の圧縮特徴量を抽出し、
前記表示制御手段は、前記複数種類の圧縮特徴量のうちの少なくとも１種類の圧縮特徴量を表示させる
請求項１に記載の画像処理装置。
【請求項４】
前記圧縮特徴量は、記録媒体に記録され、
前記表示制御手段は、前記記録媒体に記録された圧縮特徴量を表示させる
請求項１に記載の画像処理装置。
【請求項５】
前記処理特徴量は、前記画像データの所定の領域の画素の画素値の加算値である
請求項１に記載の画像処理装置。
【請求項６】
前記圧縮特徴量は、前記画像データの動きを表す情報である
請求項１に記載の画像処理装置。
【請求項７】
前記圧縮特徴量は、前記画像データの空間アクティビティを表す情報である
請求項１に記載の画像処理装置。
【請求項８】
前記圧縮特徴量は、前記画像データの画素値を表すビット列の一部である
請求項１に記載の画像処理装置。
【請求項９】
前記処理特徴量と圧縮特徴量とは、異なる情報であり、
前記処理特徴量を抽出する処理特徴量抽出手段をさらに備える
請求項１に記載の画像処理装置。
【請求項１０】
前記処理特徴量と圧縮特徴量とは、同一の情報である
請求項１に記載の画像処理装置。
【請求項１１】
画像データから、前記処理特徴量を抽出する処理特徴量抽出手段と、
前記記録媒体に記録された処理特徴量から、前記処理特徴量抽出手段により抽出された処理特徴量と一致する値の処理特徴量である一致特徴量を検出する一致特徴量検出手段と、
前記記録媒体において前記一致特徴量と対応付けられている前記処理情報が表す処理を、前記一致特徴量と値が一致する処理特徴量が抽出された画像データに施す処理反映手段と
をさらに備える請求項１に記載の画像処理装置。
【請求項１２】
画像を処理する画像処理方法において、
画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出ステップと、
前記圧縮特徴量を表示させる表示制御ステップと、
画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定ステップと、
前記処理情報を、その処理情報が表す処理を施す画像データの所定の特徴量である処理特徴量と対応付けて記録媒体に記録する記録ステップと
を含む画像処理方法。
【請求項１３】
画像を処理する画像処理を、コンピュータに実行させるプログラムにおいて、
画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出ステップと、
前記圧縮特徴量を表示させる表示制御ステップと、
画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定ステップと、
前記処理情報を、その処理情報が表す処理を施す画像データの所定の特徴量である処理特徴量と対応付けて記録媒体に記録する記録ステップと
を含む画像処理を、コンピュータに実行させるプログラム。
【請求項１４】
画像を処理する画像処理装置において、
画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出手段と、
前記圧縮特徴量を表示させる表示制御手段と、
ユーザによって操作される操作手段の操作に従って、画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定手段と、
前記処理情報を、その処理情報が表す処理を施す画像データから抽出された圧縮特徴量と対応付けて記録媒体に記録する記録手段と
を備える画像処理装置。
【請求項１５】
前記記録媒体に記録された圧縮特徴量から、前記圧縮特徴量抽出手段により抽出された圧縮特徴量と一致する値の圧縮特徴量である一致特徴量を検出する一致特徴量検出手段と、
前記記録媒体において前記一致特徴量と対応付けられている前記処理情報が表す処理を、前記一致特徴量と値が一致する圧縮特徴量が抽出された画像データに施す処理反映手段と
をさらに備える請求項１４に記載の画像処理装置。
【請求項１６】
画像を処理する画像処理方法において、
画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出ステップと、
前記圧縮特徴量を表示させる表示制御ステップと、
ユーザによって操作される操作手段の操作に従って、画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定ステップと、
前記処理情報を、その処理情報が表す処理を施す画像データから抽出された圧縮特徴量と対応付けて記録媒体に記録する記録ステップと
を含む画像処理方法。
【請求項１７】
画像を処理する画像処理を、コンピュータに実行させるプログラムにおいて、
画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出ステップと、
前記圧縮特徴量を表示させる表示制御ステップと、
ユーザによって操作される操作手段の操作に従って、画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定ステップと、
前記処理情報を、その処理情報が表す処理を施す画像データから抽出された圧縮特徴量と対応付けて記録媒体に記録する記録ステップと
を含む画像処理を、コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、画像の編集作業の容易化を図ることができるようにする画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
画像を編集する方法としては、リニア編集とノンリニア編集とがある。
【０００３】
リニア編集では、いわゆる素材データとしての画像データに、ユーザの操作に応じた処理が施され、その処理の結果得られる画像データである処理後画像データが記録媒体に記録される。そして、再生時には、記録媒体に記録された処理後画像データが再生されて出力される。
【０００４】
一方、ノンリニア編集では、ランダムアクセス可能な、例えば、ディスク状の記録媒体（ディスク状記録媒体）に、素材データとしての画像データが記録され、ユーザによる編集の操作（編集操作）に応じて画像に施すべき処理を直接的、又は間接的に表す情報、すなわち、例えば、画像に施すべき処理、又はユーザによる編集操作等を表す処理情報（パラメータ）が記録される。そして、再生時には、ディスク状記録媒体から素材データとしての画像データが再生され、処理情報が表す処理が、素材データとしての画像データに施されて出力される。
【０００５】
例えば、特許文献１には、ユーザによるパン操作、チルト操作、ズーム操作等の編集操作に応じて、広角の画像から抽出する領域を表すパラメータを記録し、再生時には、広角の画像から、パラメータが表す領域を抽出して出力することが記載されている。
【０００６】
【特許文献１】特開2006-270187号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、リニア編集、及びノンリニア編集のいずれであっても、編集を行うには、ユーザは、素材データ等の編集の対象とする画像データを再生し、その画像データに対応する画像を表示装置に表示して、ズーム等の処理を施すフレームを探し出す必要がある。
【０００８】
しかしながら、編集の対象とする画像データに対応する画像そのものを見て、ズーム等の処理を施すフレームを探し出すのは、面倒である。
【０００９】
すなわち、例えば、動きの激しい被写体のズームアップをする編集を行う場合には、ユーザは、表示装置に表示された画像を注意深く観察して、まず、動いている被写体が存在するかどうかを確認し、動いている被写体の存在の確認後に、その被写体の動きが激しいかどうかを確認しなければならない。
【００１０】
ここで、上述のように、動きの激しい被写体のズームアップをする編集を行う場合には、一見して、動いている被写体が存在するかどうかの確認をすることができれば、ユーザによる編集の作業（編集作業）の容易化を図ることができる。
【００１１】
また、従来のノンリニア編集では、処理情報が、フレームのタイムコードと対応付けられて記録され、再生時には、処理情報が表す処理が、その処理情報と対応付けられているタイムコードのフレームに施される。したがって、従来のノンリニア編集には、タイムコードが必要であるが、タイムコードがなくても、ノンリニア編集を行うことができれば便利である。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、編集作業の容易化を図ることができるようにするものであり、併せて、タイムコードがなくても、ノンリニア編集を行うことができるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の第１の側面の画像処理装置は、画像を処理する画像処理装置であり、画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出手段と、前記圧縮特徴量を表示させる表示制御手段と、画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定手段と、前記処理情報を、その処理情報が表す処理を施す画像データの所定の特徴量である処理特徴量と対応付けて記録媒体に記録する記録手段とを備える。
【００１４】
本発明の第１の側面の画像処理方法、又はプログラムは、画像を処理する画像処理方法、又は画像処理を、コンピュータに実行させるプログラムであり、画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出ステップと、前記圧縮特徴量を表示させる表示制御ステップと、画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定ステップと、前記処理情報を、その処理情報が表す処理を施す画像データの所定の特徴量である処理特徴量と対応付けて記録媒体に記録する記録ステップとを含む。
【００１５】
以上のような第１の側面においては、画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量が抽出され、前記圧縮特徴量が表示される。一方、画像データに施す処理が決定されて、その処理を表す処理情報が出力される。そして、前記処理情報が、その処理情報が表す処理を施す画像データの所定の特徴量である処理特徴量と対応付けて記録媒体に記録される。
【００１６】
本発明の第２の側面の画像処理装置は、画像を処理する画像処理装置であり、画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出手段と、前記圧縮特徴量を表示させる表示制御手段と、ユーザによって操作される操作手段の操作に従って、画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定手段と、前記処理情報を、その処理情報が表す処理を施す画像データから抽出された圧縮特徴量と対応付けて記録媒体に記録する記録手段とを備える。
【００１７】
本発明の第２の側面の画像処理方法、又はプログラムは、画像を処理する画像処理方法、又は画像処理を、コンピュータに実行させるプログラムであり、画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出ステップと、前記圧縮特徴量を表示させる表示制御ステップと、ユーザによって操作される操作手段の操作に従って、画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定ステップと、前記処理情報を、その処理情報が表す処理を施す画像データから抽出された圧縮特徴量と対応付けて記録媒体に記録する記録ステップとを含む。
【００１８】
以上のような第２の側面においては、画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量が抽出され、前記圧縮特徴量が表示される。一方、ユーザによって操作される操作手段の操作に従って、画像データに施す処理が決定されて、その処理を表す処理情報が出力される。そして、前記処理情報が、その処理情報が表す処理を施す画像データから抽出された圧縮特徴量と対応付けて記録媒体に記録される。
【００１９】
なお、プログラムは、伝送媒体を介して伝送することにより、又は記録媒体に記録して、配布することができる。
【発明の効果】
【００２０】
本発明の第１及び第２の側面によれば、編集を行うことができる。特に、例えば、編集作業の容易化を図ることができ、併せて、タイムコードがなくても、ノンリニア編集を行うことができる。
【発明を実施するための最良の形態】
【００２１】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２２】
本発明の第１の側面の画像処理装置は、
画像を処理する画像処理装置（例えば、図８の画像処理装置１３）であり、
画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出手段（例えば、図８の特徴量抽出部１２１）と、
前記圧縮特徴量を表示させる表示制御手段（例えば、図８の表示制御部１２５）と、
画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定手段（例えば、図８の処理情報決定部４６）と、
前記処理情報を、その処理情報が表す処理を施す画像データの所定の特徴量である処理特徴量と対応付けて記録媒体に記録する記録手段（例えば、図８の記録部１２３）と
を備える。
【００２３】
前記処理特徴量と圧縮特徴量とは、異なる特徴量とし、
第１の側面の画像処理装置には、前記処理特徴量を抽出する処理特徴量抽出手段（例えば、図８の特徴量抽出部４１）をさらに設けることができる。
【００２４】
また、第１の側面の画像処理装置には、
画像データから、前記処理特徴量を抽出する処理特徴量抽出手段（例えば、図８の特徴量抽出部４１）と、
前記記録媒体に記録された処理特徴量から、前記処理特徴量抽出手段により抽出された処理特徴量と一致する値の処理特徴量である一致特徴量を検出する一致特徴量検出手段（例えば、図８の一致特徴量検出部４２）と、
前記記録媒体において前記一致特徴量と対応付けられている前記処理情報が表す処理を、前記一致特徴量と値が一致する処理特徴量が抽出された画像データに施す処理反映手段（例えば、図８の処理反映部４９）と
をさらに設けることができる。
【００２５】
本発明の第１の側面の画像処理方法、又はプログラムは、
画像を処理する画像処理方法、又は画像処理を、コンピュータに実行させるプログラムであり、
画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出ステップ（例えば、図９のステップＳ５２）と、
前記圧縮特徴量を表示させる表示制御ステップ（例えば、図１１のステップＳ９１）と、
画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定ステップ（例えば、図１１のステップＳ９３）と、
前記処理情報を、その処理情報が表す処理を施す画像データの所定の特徴量である処理特徴量と対応付けて記録媒体に記録する記録ステップ（例えば、図１１のステップＳ９４）と
を含む。
【００２６】
本発明の第２の側面の画像処理装置は、
画像を処理する画像処理装置（例えば、図１８の画像処理装置１３）であり、
画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出手段（例えば、図１８の特徴量抽出部１４１）と、
前記圧縮特徴量を表示させる表示制御手段（例えば、図１８の表示制御部１２５）と、
ユーザによって操作される操作手段（例えば、図１８のリモートコマンダ１４）の操作に従って、画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定手段（例えば、図１８の処理情報決定部４６）と、
前記処理情報を、その処理情報が表す処理を施す画像データから抽出された圧縮特徴量と対応付けて記録媒体に記録する記録手段（例えば、図１８の記録部１２３）と
を備える。
【００２７】
第２の側面の画像処理装置には、
前記記録媒体に記録された圧縮特徴量から、前記圧縮特徴量抽出手段により抽出された圧縮特徴量と一致する値の圧縮特徴量である一致特徴量を検出する一致特徴量検出手段（例えば、図１８の一致特徴量検出部４２）と、
前記記録媒体において前記一致特徴量と対応付けられている前記処理情報が表す処理を、前記一致特徴量と値が一致する圧縮特徴量が抽出された画像データに施す処理反映手段（例えば、図１８の処理反映部４９）と
をさらに設けることができる。
【００２８】
本発明の第２の側面の画像処理方法、又はプログラムは、
画像を処理する画像処理方法、又はプログラムであり、
画像データから、その画像データよりもデータ量が少ない特徴量である圧縮特徴量を抽出する圧縮特徴量抽出ステップ（例えば、図９のステップＳ５２）と、
前記圧縮特徴量を表示させる表示制御ステップ（例えば、図１１のステップＳ９１）と、
ユーザによって操作される操作手段の操作に従って、画像データに施す処理を決定し、その処理を表す処理情報を出力する処理情報決定ステップ（例えば、図１１のステップＳ９３）と、
前記処理情報を、その処理情報が表す処理を施す画像データから抽出された圧縮特徴量と対応付けて記録媒体に記録する記録ステップ（例えば、図１１のステップＳ９４）と
を含む。
【００２９】
以下、図面を参照して、本発明の実施の形態について説明する。
【００３０】
図１は、本発明を適用した画像処理システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは、問わない）の一実施の形態の構成例を示している。
【００３１】
図１において、画像処理システムは、記録メディア１１、画像再生装置１２、画像処理装置１３、リモートコマンダ１４、及び表示装置１５等から構成されている。
【００３２】
記録メディア１１は、例えば、動画像等のコンテンツが記録されているDVD（Digital Versatile Disc）やHD(Hard Disk)等のディスク状の記録媒体、磁気テープ等のテープ状の記録媒体、又は、フラッシュメモリ等の不揮発性の半導体メモリ（記録媒体）であり、画像再生装置１２に対して着脱可能となっている。
【００３３】
画像再生装置１２は、例えば、DVDや、磁気テープ、フラッシュメモリ等の記録メディア１１を駆動するドライブであり、画像処理装置１３やリモートコマンダ１４からの指示に従い、記録メディア１１から、そこに記録されている画像データを再生して、画像処理装置１３に供給する。
【００３４】
なお、画像再生装置１２としては、記録メディア１１から画像データを再生する再生機能の他、記録メディア１１に画像データを記録する記録機能をも有する装置を採用することができる。画像再生装置１２として、再生機能と記録機能の両方を有する装置を採用する場合には、記録メディア１１は、画像再生装置１２に着脱可能な記録媒体とする他、画像再生装置１２に内蔵させることができる。
【００３５】
また、画像再生装置１２としては、例えば、記録メディア１１が、インターネット上のサイトのストレージである場合に、そのストレージとしての記録メディア１１から画像データをダウンロードする通信機能を有する装置が含まれる。
【００３６】
画像処理装置１３は、リモートコマンダ１４からの指示等に従い、画像再生装置１２から供給される画像データを処理する。また、画像処理装置１３は、表示装置１５に表示させる画像に対応する画像データ（以下、適宜、表示データという）を、表示装置１５に供給する。
【００３７】
リモートコマンダ１４は、ユーザによって操作され、その操作に対応する操作信号を、赤外線等の無線で、画像再生装置１２や画像処理装置１３に送信する。
【００３８】
表示装置１５は、液晶パネルやCRT(Cathode Ray Tube)等で構成され、画像処理装置１３から供給される表示データに従い、その表示データに対応する画像を表示する。
【００３９】
以上のように構成される画像処理システムでは、画像再生装置１２が、例えば、リモートコマンダ１４からの指示に従い、記録メディア１１から画像データを再生し、画像処理装置１３に供給する。
【００４０】
画像処理装置１３は、画像再生装置１２からの画像データから、特徴量を抽出し、画像再生装置１２からの画像データ、又は、特徴量を、表示データとして、表示装置１５に供給して表示させる。
【００４１】
一方、ユーザが、例えば、ズーム、パン、チルトなどを指示するように、リモートコマンダ１４を編集操作すると、リモートコマンダ１４は、編集操作に対応する操作信号を、画像処理装置１３に送信する。
【００４２】
画像処理装置１３は、リモートコマンダ１４から編集操作に対応する操作信号が送信されてくると、その操作信号に応じて、画像再生装置１２からの画像データに施すべき処理（以下、適宜、編集処理という）を決定し、その編集処理を表す情報である処理情報を、その処理情報が表す編集処理を施す画像データの特徴量と対応付けて記録する。
【００４３】
以上のように、画像処理装置１３において、処理情報が特徴量と対応付けられて記録された後、再度、画像再生装置１２が、リモートコマンダ１４からの指示等に従い、記録メディア１１から画像データを再生し、画像処理装置１３に供給すると、画像処理装置１３では、画像再生装置１２からの画像データから、特徴量が抽出される。
【００４４】
さらに、画像処理装置１３は、処理情報と対応付けられて記録された特徴量の中から、画像データから抽出された特徴量と値が一致する特徴量を検出し、その特徴量に対応付けられている処理情報が表す編集処理を、画像再生装置１２からの画像データに施す。そして、画像処理装置１３は、編集処理が施された画像データを、表示データとして、表示装置１５に供給して表示させる。
【００４５】
以上のように、画像処理装置１３において、記録メディア１１に記録された画像データに施す編集処理を表す処理情報が記録された後は、その編集処理が施された後の画像データ（以下、適宜、編集後画像データという）を記録せずに、その編集後画像データを繰り返し再生することができる。
【００４６】
したがって、記録メディア１１に記録された画像データを対象としたノンリニア編集を、タイムコードなしで行うことができる。
【００４７】
また、記録メディア１１に記録されている画像データが、ノーモアコピー(No More Copy)などの、コピーが制限されているコンテンツであっても、その画像データに同一の編集処理を施した編集後画像データを繰り返し再生することができる。
【００４８】
ここで、記録メディア１１に記録された画像データそのものに対応する画像、及び、その画像データに編集処理が施された後の編集後画像データに対応する画像を、以下、適宜、コンテンツ画像という。
【００４９】
図２は、図１の画像処理装置１３の第１の構成例を示すブロック図である。
【００５０】
図２においては、画像処理装置１３は、特徴量抽出部４１、一致特徴量検出部４２、制御部４３、受光部４４、処理情報決定部４６、選択部４７、遅延部４８、処理反映部４９、記録部６１、記録媒体６２、及び読み出し部６３から構成される。
【００５１】
特徴量抽出部４１には、画像再生装置１２からの画像データが供給される。特徴量抽出部４１は、画像再生装置１２より順次供給されてくる画像データの各フレーム（又はフィールド）から、所定の特徴量を抽出し、その特徴量をフレーム単位で、一致特徴量検出部４２、及び記録部６１に供給する。
【００５２】
ここで、特徴量抽出部４１において画像データから抽出する特徴量としては、記録メディア１１に記録されている画像データを、１フレーム単位で識別しうる情報を採用することができる。画像データを、１フレーム単位で識別することができる情報としては、例えば、画像データのフレームの、いわゆる有効画像領域の全体、又は一部の領域の画素の画素値の加算値（総和）や、その加算値の下位８ビットなどの一部のビット列等を採用することができる。
【００５３】
一致特徴量検出部４２は、記録媒体６２に記録されている特徴量から、特徴量抽出部４１より供給される、画像再生装置１２により再生された画像データの特徴量に一致する特徴量（以下、適宜、一致特徴量という）を検出する。そして、一致特徴量検出部４２は、一致特徴量を検出することができたとき、その一致特徴量を、記録部６１及び読み出し部６３に供給する。
【００５４】
制御部４３は、受光部４４から供給される操作信号にしたがい、必要に応じて、画像再生装置１２や、画像処理装置１３を構成する各ブロックを制御する。
【００５５】
受光部４４は、リモートコマンダ１４から送信されてくる操作信号としての赤外線を受光して光電変換し、その結果得られる電気信号としての操作信号を、制御部４３と処理情報決定部４６に供給する。
【００５６】
処理情報決定部４６は、受光部４４より供給されてくる操作信号に基づいて、画像再生装置１２から供給される画像データに施すべき編集処理を決定（認識）し、その編集処理を表す処理情報を、選択部４７及び記録部６１に供給する。
【００５７】
選択部４７には、処理情報決定部４６から処理情報が供給される他、読み出し部６３からも処理情報が供給される。選択部４７は、処理情報決定部４６より処理情報が供給されてきた場合には、その処理情報決定部４６からの処理情報を、処理反映部４９に供給する。また、選択部４７は、処理情報決定部４６より処理情報の供給がなく、読み出し部６３より処理情報が供給された場合、読み出し部６３より供給された処理情報を、処理反映部４９に供給する。なお、処理情報決定部４６及び読み出し部６３のいずれからも処理情報が供給されてこない場合、選択部４７は、処理情報を処理反映部４９に供給しない。
【００５８】
遅延部４８には、画像再生装置１２から、特徴量抽出部４１に供給されるのと同一の画像データが供給される。遅延部４８は、特徴量抽出部４１や、一致特徴量検出部４２、選択部４７、記録部６１、読み出し部６３が処理に要する時間に応じて、画像再生装置１２より供給される画像データを一時的に記憶することにより、必要な時間だけ遅延し、処理反映部４９に供給する。
【００５９】
処理反映部４９は、遅延部４８より供給される画像データに対して、選択部４７より供給される処理情報が表す編集処理を施し、その編集処理の結果得られる編集後画像データを、表示データとして、表示装置１５に供給する。
【００６０】
なお、選択部４７から処理反映部４９に対して、処理情報が供給されない場合、処理反映部４９は、遅延部４８からの画像データを、そのまま、表示データとして、表示装置１５に供給する。
【００６１】
記録部６１は、特徴量抽出部４１より供給される特徴量を記録媒体６２に記録する。また、記録部６１は、処理情報決定部４６より供給される処理情報を、特徴量と対応付けて、記録媒体６２に記録する。
【００６２】
記録媒体６２は、例えば、ディスク状の記録媒体や半導体メモリ等であり、そこには、処理情報と特徴量が記録される。なお、記録媒体６２は、画像処理装置１３に内蔵させることもできるし、着脱可能にすることもできる。
【００６３】
読み出し部６３は、記録媒体６２において、一致特徴量検出部４２から供給される一致特徴量に対応付けられている処理情報を、記録媒体６２から読み出し、選択部４７に供給する。
【００６４】
次に、図３は、図２の一致特徴量検出部４２の構成例を示している。
【００６５】
図３においては、一致特徴量検出部４２は、３つの特徴量バッファ１０１−１ないし１０１−３、再生位置特徴量生成部１０２、比較部１０３、検索位置特徴量読み出し部１０４、及び検出部１０５から構成される。
【００６６】
一致特徴量検出部４２には、図２で説明したように、特徴量抽出部４１において、画像データから抽出された特徴量がフレーム単位で供給される。
【００６７】
特徴量バッファ１０１−１は、特徴量抽出部４１から供給される特徴量をラッチし、後段の特徴量バッファ１０１−２と、再生位置特徴量生成部１０２に供給する。特徴量バッファ１０１−２は、特徴量バッファ１０１−１から供給される特徴量をラッチし、後段の特徴量バッファ１０１−３と、再生位置特徴量生成部１０２に供給する。特徴量バッファ１０１−３は、特徴量バッファ１０１−２から供給される特徴量をラッチし、再生位置特徴量生成部１０２に供給する。
【００６８】
再生位置特徴量生成部１０２は、特徴量抽出部４１（図２）から、特徴量が供給されると、その特徴量と、特徴量バッファ１０１−１ないし１０１−３のそれぞれにラッチされている特徴量とを時間順に並べた、４フレーム分の特徴量のシーケンスを生成し、比較部１０３に供給する。
【００６９】
ここで、特徴量バッファ１０１−１ないし１０１−３は、特徴量抽出部４１（図２）から一致特徴量検出部４２に、新たなフレームの特徴量が供給されるタイミングでラッチを行う。したがって、特徴量抽出部４１から一致特徴量検出部４２に対して、例えば、第Nフレームの特徴量が供給されるとき、特徴量バッファ１０１−１には、第N-1フレームの特徴量が、特徴量バッファ１０１−２には、第N-2フレームの特徴量が、特徴量バッファ１０１−３には、第N-3フレームの特徴量が、それぞれラッチされており、再生位置特徴量生成部１０２では、第N-3フレームから第Nフレームまでの、連続する４フレームの特徴量のシーケンスが生成される。
【００７０】
なお、再生位置特徴量生成部１０２で生成される特徴量のシーケンスを、以下、適宜、再生位置特徴量という。
【００７１】
比較部１０３は、再生位置特徴量生成部１０２から供給される再生位置特徴量としての連続する４フレームの特徴量のシーケンスと、検索位置特徴量読み出し部１０４から供給される、後述する検索位置特徴量としての連続する４フレームの特徴量のシーケンスとを比較し、その比較結果を、検出部１０５に供給する。
【００７２】
検索位置特徴量読み出し部１０４は、記録媒体６２に記録された特徴量から、連続する４フレームの特徴量を、１フレーム分ずつずらしながら順次読み出す。また、検索位置特徴量読み出し部１０４は、記録媒体６２から読み出した、連続する４フレームの特徴量を時間順に並べた、４フレーム分の特徴量のシーケンスを生成し、検索位置特徴量として、比較部１０３及び検出部１０５に供給する。
【００７３】
検出部１０５は、比較部１０３からの比較結果に基づき、再生位置特徴量としての連続する４フレームの特徴量のシーケンスと、検索位置特徴量としての連続する４フレームの特徴量のシーケンスとが一致しているかどうかを判定（検出）し、一致している場合、検索位置特徴量読み出し部１０４からの検索位置特徴量を、記録部６１及び読み出し部６３（図２）に供給する。
【００７４】
ここで、検出部１０５が記録部６１及び読み出し部６３に供給する検索位置特徴量としての連続する４フレームの特徴量のシーケンスのうちの、例えば、最新のフレーム（時間的に最も後行するフレーム）の特徴量が、上述の一致特徴量である。
【００７５】
以上のように構成される一致特徴量検出部４２では、記録媒体６２に記録された特徴量から、特徴量抽出部４１により抽出された特徴量と一致する値の特徴量である一致特徴量を検出する一致特徴量検出処理が行われる。
【００７６】
図４を参照して、図３の一致特徴量検出部４２が行う一致特徴量検出処理について説明する。
【００７７】
一致特徴量検出部４２には、特徴量抽出部４１（図２）において、画像データから抽出された特徴量がフレーム単位で供給される。一致特徴量検出部４２では、特徴量抽出部４１からの特徴量が、再生位置特徴量生成部１０２に供給されるとともに、特徴量バッファ１０１−１ないし１０１−３において、順次ラッチされる。
【００７８】
再生位置特徴量生成部１０２は、特徴量抽出部４１からの特徴量と、特徴量バッファ１０１−１ないし１０１−３のそれぞれにラッチされている特徴量とを並べた、４フレーム分の特徴量のシーケンスを、再生位置特徴量G2として生成し、比較部１０３に供給する。
【００７９】
一方、検索位置特徴量読み出し部１０４は、記録媒体６２（図２）に記録された各フレームの特徴量のうちの、最初のフレームの特徴量から連続する４フレームの特徴量を読み出し、その４フレームの特徴量を並べた、４フレーム分の特徴量のシーケンスを、検索位置特徴量として生成して、比較部１０３及び検出部１０５に供給する。
【００８０】
比較部１０３では、再生位置特徴量生成部１０２からの再生位置特徴量としての連続する４フレームの特徴量のシーケンスと、検索位置特徴量読み出し部１０４からの検索位置特徴量G2としての連続する４フレームの特徴量のシーケンスとが比較され、その比較結果が、検出部１０５に供給される。
【００８１】
検出部１０５では、比較部１０３からの比較結果に基づき、再生位置特徴量G2としての連続する４フレームの特徴量のシーケンスと、検索位置特徴量としての連続する４フレームの特徴量のシーケンスとが一致しているかどうかを判定する。
【００８２】
再生位置特徴量と検索位置特徴量とが一致しない場合、検索位置特徴量読み出し部１０４は、記録媒体６２（図２）から前回読み出した検索位置特徴量としての連続する４フレームの特徴量から１フレーム分だけ未来の方向（時間的に後行する方向）にずれたフレームの特徴量を先頭として、連続する４フレームの特徴量を読み出し、その４フレームの特徴量を並べた、４フレーム分の特徴量のシーケンスを、新たな検索位置特徴量として生成して、比較部１０３及び検出部１０５に供給する。
【００８３】
比較部１０３では、再生位置特徴量生成部１０２からの再生位置特徴量G2と、検索位置特徴量読み出し部１０４からの新たな検索位置特徴量とが比較され、以下、同様の処理が繰り返される。
【００８４】
すなわち、例えば、図４に示すように、比較部１０３では、再生位置特徴量G2としての連続する４フレームの特徴量のシーケンスと、検索位置特徴量G0としての連続する４フレームの特徴量のシーケンスとが比較され、その比較結果が、検出部１０５に供給される。
【００８５】
再生位置特徴量G2と、検索位置特徴量G0とが一致しない場合、検索位置特徴量読み出し部１０４において、検索位置特徴量G0としての連続する４フレームの特徴量から１フレーム分だけ未来の方向にずれたフレームの特徴量を先頭とする、連続する４フレームの特徴量のシーケンスが、新たな検索位置特徴量G0'として生成される。さらに、比較部１０３において、新たな検索位置特徴量G0'と、再生位置特徴量G2とが比較され、以下、同様に、再生位置特徴量G2との比較が繰り返される。
【００８６】
そして、検索位置特徴量読み出し部１０４において新たに生成された検索位置特徴量G1と、再生位置特徴量G2とが一致する場合、その検索位置特徴量G1と、再生位置特徴量G2との比較結果が、比較部１０３から検出部１０５に供給されると、検出部１０５では、再生位置特徴量生成部１０２からの再生位置特徴量G2としての連続する４フレームの特徴量のシーケンスと、検索位置特徴量読み出し部１０４からの検索位置特徴量G1としての連続する４フレームの特徴量のシーケンスとが一致していると判定され、検索位置特徴量読み出し部１０４からの検索位置特徴量G1が、記録部６１及び読み出し部６３（図２）に供給される。
【００８７】
いま、画像再生装置１２（図２）において記録メディア１１から再生され、画像処理装置１３の特徴量抽出部４１と遅延部４８に供給された画像データのフレームを、注目フレームとすると、上述の処理により、注目フレームから特徴量抽出部４１で抽出された特徴量と値が一致する特徴量（一致特徴量）、すなわち、画像処理装置１３において、注目フレームが過去に処理されたときに注目フレームから抽出された特徴量を、記録媒体６２に記録された特徴量の中から検出することができる。
【００８８】
すなわち、再生位置特徴量と一致する検索位置特徴量としての連続する４フレームの特徴量のシーケンスの最後の特徴量が、注目フレームの特徴量と値が一致する一致特徴量、すなわち、画像処理装置１３において、注目フレームが過去に処理されたときに注目フレームから抽出された特徴量である。
【００８９】
なお、上述の場合には、再生位置特徴量及び検索位置特徴量を、連続する４フレームの特徴量のシーケンスとしたが、再生位置特徴量及び検索位置特徴量としては、その他、例えば、４フレーム以外の複数フレームだけ連続するフレームの特徴量のシーケンスや、例えば、１フレームおきなどの、連続しない複数のフレームの特徴量のシーケンスなどを採用することができる。
【００９０】
次に、図５及び図６のフローチャートを参照して、図２の画像処理装置１３の動作について説明する。
【００９１】
図２の画像処理装置１３では、記録メディア１１に記録された画像データの各フレームから特徴量を抽出して記録する特徴量記録処理や、記録メディア１１に記録された画像データの編集、及びその編集後の画像データ（編集後画像データ）の再生を行う編集／再生処理等が行われる。
【００９２】
ここで、画像処理装置１３の動作モードとしては、通常再生モードと、編集モードとがある。特徴量記録処理は、例えば、動作モードが通常再生モードのときに行われ、編集／再生処理は、例えば、動作モードが編集モードのときに行われる。
【００９３】
通常再生モードでは、リモートコマンダ１４が再生を行うように操作されると、画像処理装置１３は、画像再生装置１２から供給される画像データを、そのまま、表示データとして、表示装置１５に供給する。
【００９４】
また、編集モードでは、リモートコマンダ１４が編集操作されると、画像処理装置１３は、画像再生装置１２からの画像データに、編集操作に応じた編集処理を施し、その編集処理が施された後の編集後画像データを、表示データとして、表示装置１５に供給するとともに、編集操作に応じた編集処理を表す処理情報を、記録媒体６２に記録する。さらに、編集モードでは、画像再生装置１２からの画像データに対して、過去に記録媒体６２に記録された処理情報が表す編集処理を施し、その編集処理が施された後の編集後画像データを、表示データとして、表示装置１５に供給する。
【００９５】
なお、動作モードは、リモートコマンダ１４を操作することにより切り換えることができる。
【００９６】
まず、図５のフローチャートを参照して、図２の画像処理装置１３が行う特徴量記録処理について説明する。
【００９７】
例えば、ユーザが、記録メディア１１に記録された画像データの編集を行う前に、その画像データに対応する画像を確認して、編集の大まかな構想をたてようとする場合、ユーザは、動作モードを通常再生モードにして、再生を指示するように、リモートコマンダ１４を操作する。
【００９８】
この場合、リモートコマンダ１４は、ユーザによる再生の指示の操作に対応する操作信号を送信し、この操作信号は、受光部４４で受光され、制御部４３に供給される。制御部４３は、動作モードが通常再生モードである場合に、受光部４４から、再生の指示の操作に対応する操作信号が供給されると、ステップＳ１１において、画像再生装置１２に対して、再生を要求する再生コマンドを送信し、これにより、画像再生装置１２に、記録メディア１１に記録された画像データの再生を開始させる。
【００９９】
画像再生装置１２は、画像データの再生を開始すると、その画像データを、画像処理装置１３に供給し、画像処理装置１３では、画像再生装置１２からの画像データが、フレーム単位で、特徴量抽出部４１と遅延部４８に供給される。
【０１００】
そして、遅延部４８に供給された画像データは、処理反映部４９に供給され、処理反映部４９では、遅延部４８からの画像データが、そのまま、表示データとして、表示装置１５に供給される。これにより、表示装置１５では、記録メディア１１に記録された画像データそのものに対応する画像が表示され、ユーザは、この表示を見ることにより、記録メディア１１に記録された画像データに対応する画像を確認することができる。
【０１０１】
その後、処理は、ステップＳ１１からステップＳ１２に進み、特徴量抽出部４１は、画像再生装置１２から供給される画像データのフレームから特徴量を抽出する特徴量抽出処理を行って、処理は、ステップＳ１３に進む。ここで、ステップＳ１２において、特徴量抽出部４１が特徴量抽出処理を行うことにより得られた特徴量は、記録部６１に供給される。
【０１０２】
ステップＳ１３では、記録部６１は、特徴量抽出部４１から供給される特徴量を、記録媒体６２に記録して、処理は、ステップＳ１３からステップＳ１４に進む。
【０１０３】
ここで、記録部６１による記録媒体６２への特徴量の記録は、その特徴量が抽出されたフレームの順番を維持するように行われる。すなわち、記録媒体６２に記録されたある特徴量が、記録メディア１１に記録された画像データの第Nフレームの特徴量であるとき、記録媒体６２への、第N+1フレーム（又は第N-1フレーム）の特徴量の記録は、その第N+1フレーム（又は第N-1フレーム）の特徴量が、既に記録されている第Nフレームの特徴量の１つ後（又は１つ前）のフレームの特徴量であることが分かるように行われる。
【０１０４】
ステップＳ１４では、制御部４３が、記録メディア１１に記録された画像データの再生がすべて終了したかどうかを判定する。ステップＳ１４において、記録メディア１１に記録された画像データの再生が、まだ終了していないと判定された場合、即ち、画像再生装置１２において、画像データの再生が行われている場合、処理は、ステップＳ１２に戻り、画像再生装置１２から供給される画像データの次のフレームを対象に、以下、同様の処理が繰り返される。
【０１０５】
また、ステップＳ１４において、記録メディア１１に記録された画像データの再生が、すべて終了したと判定された場合、即ち、画像再生装置１２において、画像データの再生が終了している場合、特徴量記録処理は終了する。
【０１０６】
なお、記録媒体６２への特徴量の記録は、重複して行う必要はない。すなわち、例えば、過去に、特徴量記録処理が行われたことによって、記録メディア１１に記録された画像データの特徴量が、既に、記録媒体６２に記録されているときには、記録メディア１１に記録された画像データついては、再度、特徴量記録処理を行う必要はない。
【０１０７】
次に、図６のフローチャートを参照して、図２の画像処理装置１３が行う編集／再生処理について説明する。
【０１０８】
上述したように、通常再生モードにおいて、記録メディア１１に記録された画像データが再生され、これにより、ユーザが、記録メディア１１に記録された画像データに対応する画像を確認して、編集の大まかな構想をたてた後に、その画像データの編集を行う場合、ユーザは、動作モードを編集モードにして、再生を指示するように、リモートコマンダ１４を操作する。
【０１０９】
この場合、リモートコマンダ１４は、ユーザによる再生の指示の操作に対応する操作信号を送信し、この操作信号は、受光部４４で受光され、制御部４３に供給される。制御部４３は、動作モードが編集モードである場合に、受光部４４から、再生の指示の操作に対応する操作信号が供給されると、画像再生装置１２に対して、再生を要求する再生コマンドを送信し、これにより、画像再生装置１２に、記録メディア１１に記録された画像データの再生を開始させる。
【０１１０】
画像再生装置１２は、画像データの再生を開始すると、その画像データを、画像処理装置１３に供給し、画像処理装置１３では、画像再生装置１２からの画像データが、フレーム単位で、特徴量抽出部４１と遅延部４８に供給される。
【０１１１】
そして、画像処理装置１３では、ステップＳ２１において、遅延部４８は、１フレームの画像データが画像再生装置１２より供給されてきたか否かを判定する。ステップＳ２１において、１フレームの画像データが供給されてきていないと判定された場合、処理は、ステップＳ３０に進む。
【０１１２】
また、ステップＳ２１において、１フレームの画像データが供給されてきたと判定された場合、すなわち、画像再生装置１２において記録メディア１１から再生された画像データが、特徴量抽出部４１と遅延部４８に供給された場合、処理は、ステップＳ２２に進み、遅延部４８は、画像再生装置１２から供給された１フレームの画像データを、例えば、１フレームの時間だけ遅延させるために一時的に記憶する。
【０１１３】
その後、処理は、ステップＳ２２からステップＳ２３に進み、特徴量抽出部４１は、画像データから特徴量を抽出する特徴量抽出処理を実行し、これにより、画像再生装置１２より供給された画像データのフレームを注目フレームとして、注目フレームから特徴量を抽出する。すなわち、遅延部４８が、画像再生装置１２からの注目フレームの画像データを遅延させるために一時的に記憶するとき、その注目フレームの画像データが特徴量抽出部４１にも供給されているため、同一のタイミングで、注目フレームの画像データが、一方では遅延のため一時的に記憶され、他方では特徴量が抽出される。
【０１１４】
特徴量抽出部４１は、注目フレームの画像データから抽出した特徴量を、一致特徴量検出部４２と記録部６１に供給し、処理は、ステップＳ２３からステップＳ２４に進む。
【０１１５】
ステップＳ２４では、一致特徴量検出部４２が、図４で説明した一致特徴量検出処理を行う。
【０１１６】
すなわち、一致特徴量検出部４２は、図４で説明したように、特徴量抽出部４１からの注目フレームの特徴量（注目フレームの画像データから抽出された特徴量）を含む再生位置特徴量を生成する。さらに、一致特徴量検出部４２は、記録媒体６２に記録された特徴量のうちの４フレーム分の特徴量のシーケンスである検索位置特徴量を、１フレーム分ずつずらしながら生成し、再生位置特徴量と順次比較する。
【０１１７】
そして、一致特徴量検出部４２は、再生位置特徴量と一致する検索位置特徴量を検出することができた場合、その再生位置特徴量と一致する検索位置特徴量を、記録部６１及び読み出し部６３に供給する。
【０１１８】
ステップＳ２４で一致特徴量検出処理が行われた後、処理は、ステップＳ２５に進み、読み出し部６３は、再生位置特徴量と一致する検索位置特徴量を検出することができたかどうか、つまり、再生位置特徴量に含まれる注目フレームの特徴量と値が一致する一致特徴量を、記録媒体６２に記録された特徴量の中から検出することができたかどうかを判定する。
【０１１９】
ステップＳ２５において、再生位置特徴量に含まれる注目フレームの特徴量と値が一致する一致特徴量を、記録媒体６２に記録された特徴量の中から検出することができなかったと判定された場合、すなわち、ステップＳ２４での一致特徴量検出処理において、再生位置特徴量と一致する検索位置特徴量が検出されず、このため、検索位置特徴量が、一致特徴量検出部４２から記録部６１及び読み出し部６３に供給されなかった場合、処理は、ステップＳ３３に進み、処理反映部４９は、遅延部４８に記憶された注目フレームの画像データを、そのまま表示データとして、表示装置１５に供給して、処理は、ステップＳ３０に進む。
【０１２０】
したがって、注目フレームの特徴量を含む再生位置特徴量に一致する検索位置特徴量が記録媒体６２に記録されていない場合には、表示装置１５では、記録メディア１１から再生された注目フレームの画像データそのものに対応する画像が表示される。
【０１２１】
また、ステップＳ２５において、再生位置特徴量に含まれる注目フレームの特徴量と値が一致する一致特徴量を、記録媒体６２に記録された特徴量の中から検出することができたと判定された場合、すなわち、ステップＳ２４での一致特徴量検出処理において、再生位置特徴量と一致する検索位置特徴量が検出され、その検索位置特徴量が、一致特徴量検出部４２から記録部６１及び読み出し部６３に供給された場合、処理は、ステップＳ２６に進み、処理情報決定部４６は、ユーザによってリモートコマンダ１４の編集操作が行われたかどうかを判定する。
【０１２２】
ステップＳ２６において、編集操作が行われたと判定された場合、すなわち、ユーザが、表示装置１５に表示された画像を見ながら、例えば、２倍のズームアップ等の編集処理を行うように、リモートコマンダ１４を編集操作し、その編集操作に対応した操作信号が、受光部４４で受信され、処理情報決定部４６に供給された場合、処理は、ステップＳ２７に進み、処理情報決定部４６は、受光部４４から供給された操作信号に基づいて、注目フレームの画像データに対して施す編集処理を決定し、その編集処理を表す処理情報を、選択部４７及び記録部６１に供給して、処理は、ステップＳ２８に進む。
【０１２３】
ステップＳ２８では、記録部６１が、一致特徴量検出部４２から供給された検索位置特徴量としての４フレームの特徴量のシーケンスを、記録媒体６２に記録された特徴量の中から検出し、そのうちの時間的に最も後の特徴量、つまり、注目フレームの特徴量と値が一致する一致特徴量に対応付けて、処理情報決定部４６からの処理情報を、記録媒体６２に記録して、処理は、ステップＳ２９に進む。
【０１２４】
すなわち、注目フレームの画像データの再生中に、編集操作が行われた場合、その編集操作に対応する編集処理を表す処理情報が、その編集処理を施すべき注目フレームの画像データの特徴量に対応付けられて、記録媒体６２に記録される。
【０１２５】
ステップＳ２９では、選択部４７は、処理情報決定部４６から直前のステップＳ２７で供給された処理情報を選択し、処理反映部４９に供給する。処理反映部４９は、遅延部４８に記憶されている注目フレームの画像データに対して、選択部４７より供給されてきた処理情報が表す編集処理、すなわち、いまの場合、ユーザによる編集操作に対応する編集処理を施し、その結果得られる編集後画像データを、表示データとして、表示装置１５に供給して、処理は、ステップＳ３０に進む。
【０１２６】
したがって、編集操作がされた場合には、その編集操作に対応する編集処理を表す処理情報が、その編集処理を施すべき注目フレームの画像データの特徴量に対応付けられて、記録媒体６２に記録されるとともに、表示装置１５では、注目フレームの画像データに対して、編集操作に対応する編集処理が施された結果得られる編集後画像データに対応する画像が表示される。
【０１２７】
一方、ステップＳ２６において、編集操作がされていないと判定された場合、処理は、ステップＳ３１に進み、読み出し部６３は、記録媒体６２において、注目フレームの特徴量に値が一致する一致特徴量に対応付けられた処理情報が記録されているかどうかを判定する。
【０１２８】
すなわち、ステップＳ３１では、読み出し部６３は、記録媒体６２に記録されている特徴量のうちの、一致特徴量検出部４２から供給された検索位置特徴量としての４フレームの特徴量のシーケンスを、記録媒体６２に記録された特徴量の中から検出し、そのうちの時間的に最も後の特徴量、つまり、注目フレームの特徴量と値が一致する一致特徴量に対応付けて、処理情報が、記録媒体６２に記録されているかどうかを判定する。
【０１２９】
ステップＳ３１において、注目フレームの特徴量に値が一致する一致特徴量に対応付けられた処理情報が記録されていないと判定された場合、すなわち、過去に行われた注目フレームの再生中に、その注目フレームに対して、編集操作が行われたことがなく、そのために、記録媒体６２に記録されている特徴量において、一致特徴量検出部４２から供給された検索位置特徴量としての４フレームの特徴量のシーケンスのうちの時間的に最も後の特徴量、つまり、注目フレームの特徴量と値が一致する一致特徴量（過去に注目フレームから抽出された特徴量）に対応付けて、処理情報が、記録媒体６２に記録されていない場合、処理は、ステップＳ３３に進み、上述したように、処理反映部４９は、遅延部４８に記憶された注目フレームの画像データを、そのまま表示データとして、表示装置１５に供給して、処理は、ステップＳ３０に進む。
【０１３０】
したがって、編集操作がされず、かつ、記録媒体６２において、注目フレームの特徴量と値が一致する一致特徴量、つまり、注目フレームの特徴量に対応付けて、処理情報が記録されていない場合には、表示装置１５では、記録メディア１１から再生された注目フレームの画像データそのものに対応する画像が表示される。
【０１３１】
一方、ステップＳ３１において、注目フレームの特徴量に値が一致する一致特徴量に対応付けられた処理情報が記録されていると判定された場合、すなわち、過去に行われた注目フレームの再生中に、その注目フレームに対して、編集操作が行われたことがあり、その結果、記録媒体６２に記録されている特徴量において、一致特徴量検出部４２から供給された検索位置特徴量としての４フレームの特徴量のシーケンスのうちの時間的に最も後の特徴量、つまり、注目フレームの特徴量と値が一致する一致特徴量に対応付けて、処理情報が、記録媒体６２に記録されている場合、処理は、ステップＳ３２に進み、読み出し部６３は、記録媒体６２において、一致特徴量、つまり、注目フレームの特徴量に対応付けられた処理情報を読み出し、選択部４７に供給して、処理は、ステップＳ２９に進む。
【０１３２】
ステップＳ２９では、選択部４７は、読み出し部６３から直前のステップＳ３２で供給された処理情報を選択し、処理反映部４９に供給する。すなわち、いまの場合、編集操作がされていないので、選択部４７には、処理情報決定部４６から処理情報は供給されず、読み出し部６３のみから処理情報が供給されるので、選択部４７は、読み出し部６３から直前のステップＳ３２で供給された処理情報を選択して、処理反映部４９に供給する。
【０１３３】
処理反映部４９は、遅延部４８に記憶されている注目フレームの画像データに対して、選択部４７より供給されてきた処理情報が表す編集処理、すなわち、いまの場合、記録媒体６２において注目フレームの特徴量と対応付けて記録されていた処理情報が表す編集処理を施し、その結果得られる編集後画像データを、表示データとして、表示装置１５に供給して、処理は、ステップＳ３０に進む。
【０１３４】
したがって、今回の編集／再生処理では編集操作がされなかったが、過去に行われた注目フレームの再生中に編集操作が行われ、その結果、記録媒体６２において、注目フレームの特徴量に対応付けて、過去に行われた編集操作に対応する編集処理を表す処理情報が記録されている場合には、表示装置１５では、注目フレームの画像データに対して、過去に行われた編集操作に対応する編集処理が施された結果得られる編集後画像データに対応する画像が表示される。
【０１３５】
ステップＳ３０では、制御部４３が、画像再生装置１２による記録メディア１１に記録された画像データのすべての再生が終了したか、又は、再生を終了するように、リモートコマンダ１４が操作されたかどうかを判定する。
【０１３６】
ステップＳ３０において、記録メディア１１に記録された画像データのすべての再生が、まだ終了していないと判定され、かつ、再生を終了するように、リモートコマンダ１４が操作されていないと判定された場合、処理は、ステップＳ２１に戻り、次のフレームの画像データが画像再生装置１２より供給されてきたか否かが判定され、以下、同様の処理が繰り返される。
【０１３７】
また、ステップＳ３０において、記録メディア１１に記録された画像データのすべての再生が終了したと判定されるか、又は、再生を終了するように、リモートコマンダ１４が操作されたと判定された場合、編集／再生処理は終了する。
【０１３８】
なお、特徴量の記録媒体６２への記録は、特徴量記録処理（図５）で行う他、編集／再生処理（図６）のステップＳ２３で特徴量抽出処理を行った直後に行うこと等が可能である。
【０１３９】
次に、図７の参照して、図２の画像処理装置１３による編集／再生処理について、さらに説明する。なお、特徴量記録処理（図５）は、既に終了していることとする。
【０１４０】
図７では、時刻t0からt1までの時間を再生時間とする画像データが記録メディア１１に記録されており、まず、時刻t0より後の時刻t11から、画像データの再生が開始されている。
【０１４１】
例えば、時刻t11より後の時刻t101ないしt102において、ユーザがリモートコマンダ１４を編集操作すると、その編集操作に対応する編集処理を表す処理情報が、時刻t101ないしt102の画像データの特徴量に対応付けられて、記録媒体６２に記録される。
【０１４２】
その後、図７では、時刻t12において、早送りが開始され、時刻t21ないしt22において再び再生が行われている。続いて、時刻t31まで早送りがされ、時刻t31において再生が開始されている。
【０１４３】
例えば、時刻t31からの再生の開始後の時刻t111ないしt112において、ユーザがリモートコマンダ１４を編集操作すると、その編集操作に対応する編集処理を表す処理情報が、時刻t111ないしt112の画像データの特徴量に対応付けられて、記録媒体６２に記録される。
【０１４４】
図７では、さらに、時刻t32まで再生がされ、その後、時刻t121まで巻き戻しがされ、再生が開始されている。
【０１４５】
例えば、時刻t121からの再生中の時刻t131ないしt132において、ユーザがリモートコマンダ１４を編集操作すると、その編集操作に対応する編集処理を表す処理情報が、時刻t131ないしt132の画像データの特徴量に対応付けられて、記録媒体６２に記録される。
【０１４６】
図７では、その後、時刻t132まで再生が行われてから、先頭の時刻t0に近い時刻t151まで巻き戻がされ、最後の時刻ｔ1に近い時刻t152まで、再生がされている。
【０１４７】
この場合、リモートコマンダ１４が編集操作された時刻t101ないしt102、時刻t131ないしt132、及び時刻t111ないしt112の画像データが再生されるときに、各時刻の画像データの特徴量と対応付けられている処理情報が、記録媒体６２から読み出され、その処理情報が表す編集処理が、その処理情報に特徴量が対応付けられている画像データに施される。
【０１４８】
以上のように、図２の画像処理装置１３では、編集操作に基づいて、注目フレームの画像データに施す編集処理を決定し、その編集処理を表す処理情報を、その処理情報が表す編集処理を施す画像データの特徴量、すなわち、注目フレームの特徴量と対応付けて記録媒体６２に記録するので、記録媒体６２に記録された特徴量において、注目フレームの特徴量と値が一致する一致特徴量を検出し、その一致特徴量に対応付けられている処理情報が表す編集処理を、注目フレームに施すことで、注目フレームに対して、過去に行われた編集操作に対応する編集処理を施すことができる。
【０１４９】
すなわち、注目フレームに施すべき編集処理を、注目フレームの特徴量に対応付けられている処理情報から特定し、注目フレームに施すことができる。
【０１５０】
したがって、記録メディア１１に記録された画像データに編集処理を施して得られる編集後画像データを記録しておかなくても、その編集後画像データを再現することができる。また、タイムコードなしで、画像の編集を行うことができる。
【０１５１】
なお、処理情報に対応付ける特徴量としては、１フレームの画素値の加算値を用いることとしたが、それ以外の特徴量であってもよく、例えば、動きベクトル（全画面動きとローカル動き）、特定の波形パターンがどれだけ出現するかを示す値、縮小画像における画素値の積算値、画像の特定部分の画素値の積算値、これらを複数フレーム分だけ用いた値、または、これらの複数の特徴量の組み合わせなどであってもよい。
【０１５２】
すなわち、処理情報に対応付ける特徴量は、その処理情報が表す編集処理を施すフレームを特定しうる情報であれば良く、異なる画像に対して、必ず異なる値となる情報の他、異なる画像に対して、ある程度の高い確率で異なる値となる情報であっても良い。
【０１５３】
異なる画像に対して、ある程度の高い確率で異なる値となる特徴量としては、例えば、上述した１フレームの画素値の加算値の下位８ビットがあるが、そのような特徴量であっても、図４で説明したように、４フレームなどの複数のフレームの特徴量のシーケンスどうし（再生位置特徴量と検索位置特徴量）を比較することにより、記録媒体６２に記録された特徴量の中から、注目フレームの特徴量（一致特徴量）を正確に検出することが可能となる。
【０１５４】
ここで、処理情報に対応付ける特徴量を、以下、適宜、処理特徴量ともいう。
【０１５５】
次に、図８は、図１の画像処理装置１３の第２の構成例を示すブロック図である。
【０１５６】
なお、図中、図２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１５７】
図８の画像処理装置１３は、特徴量抽出部４１、一致特徴量検出部４２、受光部４４、処理情報決定部４６、選択部４７、遅延部４８、及び処理反映部４９を有する点で、図２の場合と一致する。但し、図８の画像処理装置１３は、制御部４３、記録部６１、又は記録媒体６２それぞれに代えて、制御部１２２、記録部１２３、又は記録媒体１２４が設けられ、新たに、特徴抽出部１２１及び表示制御部１２５が設けられている点で、図２の場合と相違している。
【０１５８】
特徴量抽出部１２１には、特徴量抽出部４１に供給されるのと同一の画像データが、画像再生装置１２から供給される。特徴量抽出部１２１は、特徴量抽出部４１と同様に、画像再生装置１２より順次供給されてくる画像データの各フレームから、特徴量を抽出し、その特徴量をフレーム単位で、記録部６１に供給する。
【０１５９】
但し、特徴量抽出部１２１では、１フレームの画像データから、その１フレームの画像データよりもデータ量が少ない特徴量が抽出される。
【０１６０】
ここで、以下、適宜、特徴量抽出部１２１で抽出される特徴量を、特徴量抽出部４１で抽出される処理特徴量と区別するために、圧縮特徴量という。
【０１６１】
なお、特徴量抽出部１２１で抽出される圧縮特徴量は、処理情報と対応付けられる処理特徴量のように、処理情報が表す編集処理を施すフレームを特定しうる特徴量である必要はないが、そのような特徴量であっても良い。
【０１６２】
制御部１２２は、図２の制御部４３と同様に、受光部４４から供給される操作信号にしたがい、画像再生装置１２や、画像処理装置１３を構成する各ブロックを制御する。また、制御部１２２は、動作モードに応じて、表示制御部１２５を制御する。
【０１６３】
記録部１２３は、図２の記録部６１と同様に、特徴量抽出部４１より供給される処理特徴量を記録媒体６２に記録すること、及び、処理情報決定部４６より供給される処理情報を、処理特徴量と対応付けて、記録媒体６２に記録することを行う。
【０１６４】
さらに、記録部１２３は、特徴量抽出部１２１から供給される圧縮特徴量を記録媒体６２に記録する。
【０１６５】
記録媒体１２４は、図２の記録媒体６２と同様に、例えば、ディスク状の記録媒体や半導体メモリ等であり、そこには、処理情報と処理特徴量が記録される。さらに、記録媒体１２４には、圧縮特徴量が記録される。
【０１６６】
表示制御部１２５は、制御部１２２の制御にしたがい、処理反映部４９から供給される画像データ、又は記録媒体１２４に記録された圧縮特徴量を表示データとして、表示装置１５に供給し、その表示データに対応する画像を表示させる。
【０１６７】
次に、図９ないし図１１のフローチャートを参照して、図８の画像処理装置１３の動作について説明する。
【０１６８】
図８の画像処理装置１３では、図２の場合と同様に、特徴量記録処理、及び編集／再生処理が行われる。さらに、図８の画像処理装置１３は、動作モードとして、通常再生モード、及び編集モードの他に、簡易編集モードを有しており、簡易編集モードの処理も行う。
【０１６９】
まず、図９のフローチャートを参照して、図８の画像処理装置１３が行う特徴量記録処理について説明する。
【０１７０】
例えば、図５で説明したように、動作モードが通常再生モードであるときに、ユーザが、再生を指示するように、リモートコマンダ１４を操作すると、その操作に対応する操作信号が、リモートコマンダ１４から送信され、受光部４４を介して、制御部１２２に供給される。制御部１２２は、動作モードが通常再生モードである場合に、再生の指示の操作に対応する操作信号が供給されると、ステップＳ５１において、画像再生装置１２に対して、再生を要求する再生コマンドを送信し、これにより、画像再生装置１２に、記録メディア１１に記録された画像データの再生を開始させる。
【０１７１】
画像再生装置１２は、画像データの再生を開始すると、その画像データを、画像処理装置１３に供給し、画像処理装置１３では、画像再生装置１２からの画像データが、フレーム単位で、特徴量抽出部４１と１２１、及び遅延部４８に供給される。
【０１７２】
そして、遅延部４８に供給された画像データは、処理反映部４９に供給され、処理反映部４９では、遅延部４８からの画像データが、そのまま、表示制御部１２５に供給される。表示制御部１２５は、通常再生モードでは、処理反映部４９からの画像データを、表示データとして、表示装置１５に供給し、これにより、表示装置１５では、記録メディア１１に記録された画像データそのものに対応するコンテンツ画像が表示される。ユーザは、このコンテンツ画像の表示を見ることにより、記録メディア１１に記録された画像データに対応する画像を確認することができる。
【０１７３】
その後、処理は、ステップＳ５１からステップＳ５２に進み、特徴量抽出部４１が、画像再生装置１２から供給される画像データのフレームから処理特徴量を抽出するとともに、特徴抽出部１２１が、そのフレームから圧縮特徴量を抽出する特徴量抽出処理が行われ、処理は、ステップＳ５３に進む。
【０１７４】
ここで、ステップＳ５２において、特徴量抽出部４１で抽出された処理特徴量、及び、特徴量抽出部１２１で抽出された圧縮特徴量は、記録部１２３に供給される。
【０１７５】
ステップＳ５３では、記録部１２３は、特徴量抽出部４１からの処理特徴量と、特徴量抽出部１２１からの圧縮特徴量とを対応付け、すなわち、同一のフレームから抽出された処理特徴量と圧縮特徴量とを対応付け、記録媒体１２４に記録して、処理は、ステップＳ５３からステップＳ５４に進む。
【０１７６】
ここで、記録部１２３による記録媒体１２４への処理特徴量及び圧縮特徴量の記録は、その処理特徴量及び圧縮特徴量が抽出されたフレームの順番を維持するように行われる。すなわち、記録媒体１２４に記録されたある処理特徴量及び圧縮特徴量が、記録メディア１１に記録された画像データの第Nフレームの処理特徴量及び圧縮特徴量であるとき、記録媒体１２４への、第N+1フレーム（又は第N-1フレーム）の処理特徴量及び圧縮特徴量の記録は、その第N+1フレーム（又は第N-1フレーム）の処理特徴量及び圧縮特徴量が、既に記録されている第Nフレームの特徴量の１つ後（又は１つ前）のフレームの処理特徴量及び圧縮特徴量であることが分かるように行われる。
【０１７７】
ステップＳ５４では、制御部１２２が、記録メディア１１に記録された画像データの再生がすべて終了したかどうかを判定する。ステップＳ５４において、記録メディア１１に記録された画像データの再生が、まだ終了していないと判定された場合、即ち、画像再生装置１２において、画像データの再生が行われている場合、処理は、ステップＳ５２に戻り、画像再生装置１２から供給される画像データの次のフレームを対象に、以下、同様の処理が繰り返される。
【０１７８】
また、ステップＳ５４において、記録メディア１１に記録された画像データの再生が、すべて終了したと判定された場合、即ち、画像再生装置１２において、画像データの再生が終了している場合、特徴量記録処理は終了する。
【０１７９】
なお、記録媒体１２４への処理特徴量及び圧縮特徴量の記録は、記録媒体６２（図２）への処理特徴量の記録と同様に、重複して行う必要はない。
【０１８０】
次に、図１０のフローチャートを参照して、図８の画像処理装置１３が行う編集／再生処理について説明する。
【０１８１】
例えば、図６で説明したように、動作モードが編集モードであるときに、ユーザが、再生を指示するように、リモートコマンダ１４を操作すると、その操作に対応する操作信号が、リモートコマンダ１４から送信され、受光部４４を介して、制御部１２２に供給される。制御部１２２は、動作モードが編集モードである場合に、再生の指示の操作に対応する操作信号が供給されると、画像再生装置１２に対して、再生を要求する再生コマンドを送信し、これにより、画像再生装置１２に、記録メディア１１に記録された画像データの再生を開始させる。
【０１８２】
画像再生装置１２は、画像データの再生を開始すると、その画像データを、画像処理装置１３に供給し、画像処理装置１３では、画像再生装置１２からの画像データが、フレーム単位で、特徴量抽出部４１と１２１、及び遅延部４８に供給される。
【０１８３】
そして、画像処理装置１３では、ステップＳ６１ないしＳ７３において、図６のステップＳ２１ないしＳ３３とそれぞれ同様の処理が行われる。
【０１８４】
但し、図１０のステップＳ６８に対応する図６のステップＳ２８では、記録部６１が、記録媒体６２に記録された処理特徴量のうちの、注目フレームの処理特徴量に対応付けて、処理情報決定部４６からの処理情報を、記録媒体６２に記録するが、図８の画像処理装置１３では、記録媒体１２４に、処理特徴量と圧縮特徴量とが対応付けられて記録されるため、図１０のステップＳ６８では、記録部１２３が、処理情報を、注目フレームの処理特徴量及び圧縮特徴量と対応付けて、記録媒体１２４に記録する。
【０１８５】
また、ステップＳ６９及びＳ７３では、表示制御部１２５が、処理反映部４９から供給される画像データを、表示データとして、表示装置１５に供給することにより、その表示データに対応する画像が表示される。
【０１８６】
次に、図１１のフローチャートを参照して、図８の画像処理装置１３が行う簡易編集モードの処理について説明する。
【０１８７】
ユーザが、動作モードを簡易編集モードとして、再生を指示するように、リモートコマンダ１４を操作すると、その操作に対応する操作信号が、リモートコマンダ１４から送信される。この操作信号は、受光部４４で受光され、制御部１２２に供給される。制御部１２２は、動作モードが簡易編集モードである場合に、受光部４４から、再生の指示の操作に対応する操作信号が供給されると、ステップＳ９１において、表示制御部１２５を制御し、記録媒体１２４に記録された、記録メディア１１の画像データから抽出された圧縮特徴量を表示する圧縮特徴量の表示処理を開始させる。
【０１８８】
すなわち、表示制御部１２５は、まず、記録媒体１２４から、記録メディア１１の画像データの最初のフレームの圧縮特徴量を、注目圧縮特徴量として読み出し、その注目圧縮特徴量を表示データして表示装置１５に供給して表示させ、次に、記録媒体１２４から、記録メディア１１の画像データの２番目のフレームの圧縮特徴量を、注目圧縮特徴量として読み出し、その注目圧縮特徴量を表示データとして表示装置１５に供給して表示させる。以下、同様にして、表示制御部１２５は、記録媒体１２４に記録された圧縮特徴量を、順次、注目圧縮特徴量として読み出し、表示装置１５に供給して表示させる。
【０１８９】
以上のように、簡易編集モードでは、記録メディア１１に記録された画像データに対応するコンテンツ画像ではなく、その画像データの圧縮特徴量が表示される。
【０１９０】
その後、処理は、ステップＳ９１からステップＳ９２に進み、処理情報決定部４６は、ユーザによってリモートコマンダ１４の編集操作が行われたかどうかを判定する。
【０１９１】
ステップＳ９２において、編集操作が行われていないと判定された場合、処理は、ステップＳ９３及びＳ９４をスキップして、ステップＳ９５に進む。
【０１９２】
また、ステップＳ９２において、編集操作が行われたと判定された場合、すなわち、ユーザが、表示装置１５に表示された圧縮特徴量を見ながら、例えば、２倍のズームアップ等の編集処理を行うように、リモートコマンダ１４を編集操作し、その編集操作に対応した操作信号が、受光部４４で受信され、処理情報決定部４６に供給された場合、処理は、ステップＳ９３に進み、処理情報決定部４６は、受光部４４から供給された操作信号に基づいて、注目フレームの画像データに対して施す編集処理を決定し、その編集処理を表す処理情報を、記録部１２３に供給して、処理は、ステップＳ９４に進む。
【０１９３】
ステップＳ９４では、記録部１２３が、表示制御部１２５が注目圧縮特徴量として記録媒体１２４から読み出した圧縮特徴量、及び、その圧縮特徴量に対応付けられている処理特徴量に対応付けて、処理情報決定部４６からの処理情報を、記録媒体１２４に記録して、処理は、ステップＳ９５に進む。
【０１９４】
すなわち、注目圧縮特徴量の表示中に、編集操作が行われた場合、その編集操作に対応する編集処理を表す処理情報が、その編集処理を施すべきフレームの圧縮特徴量及び処理特徴量に対応付けられて、記録媒体１２４に記録される。
【０１９５】
ステップＳ９５では、表示制御部１２５が、記録媒体１２４に記録された圧縮特徴量のすべての表示が終了したか、又は、再生を終了するように、リモートコマンダ１４が操作されたかどうかを判定する。
【０１９６】
ステップＳ９５において、記録媒体１２４に記録された圧縮特徴量のすべての表示が、まだ終了していないと判定され、かつ、再生を終了するように、リモートコマンダ１４が操作されていないと判定された場合、処理は、ステップＳ９２に戻り、以下、同様の処理が繰り返される。
【０１９７】
また、ステップＳ９５において、記録媒体１２４に記録された圧縮特徴量のすべての表示が終了したと判定されるか、又は、再生を終了するように、リモートコマンダ１４が操作されたと判定された場合、簡易編集モードの処理は終了する。
【０１９８】
以上のように、簡易編集モードでは、記録メディア１１に記録された画像データに対応するコンテンツ画像ではなく、その画像データの圧縮特徴量が表示されるので、ユーザは、その圧縮特徴量を見て編集操作を行うことになる。
【０１９９】
次に、図１２ないし図１４を参照して、圧縮特徴量について説明する。
【０２００】
１フレームの画像データの圧縮特徴量としては、その１フレームの画像データよりもデータ量を少なくした情報であって、かつ、ユーザが見て、編集操作をする行動を喚起するような情報を採用することができる。
【０２０１】
具体的には、例えば、１フレームの画像データの各画素の画素値（例えば、輝度値）を表すビット列の一部や、１フレームの画像データの動きを表す情報、１フレームの画像データの空間アクティビティを表す情報などを採用することができる。
【０２０２】
図１２は、圧縮特徴量として、画素の画素値を表すビット列の一部を採用した場合の、圧縮特徴量の表示例を示している。
【０２０３】
すなわち、図１２上側は、コンテンツ画像を示しており、図１２下側は、コンテンツ画像の画像データから抽出した圧縮特徴量としての、そのコンテンツ画像の画像データの画素の画素値を表すビット列の上位２ビットを画素値とする画像を示している。
【０２０４】
図１２上側のコンテンツ画像では、第Nフレームから第N+4フレームかけて、左下から右上方向に移動する円形の物体が存在し、さらに、徐々に明るくなっている。
【０２０５】
圧縮特徴量として、画素値を表すビット列の上位２ビットを採用し、その圧縮特徴量を表示すると、すなわち、その圧縮特徴量を画素値とする画像を表示すると、図１２下側に示すように、暗いシーンと明るいシーンとの区別がつきやすくなる。
【０２０６】
したがって、コンテンツ画像において、明るいシーンだけを対象に編集を行う場合には、圧縮特徴量として、画素値を表すビット列の上位２ビットを採用して表示することにより、ユーザは、編集の対象とする明るいシーンのフレームを容易に探し出すことができ、その結果、編集作業の容易化を図ることができる。
【０２０７】
また、編集の対象としない暗いシーンについては、例えば、ユーザが、リモートコマンダ１４を操作して、表示制御部１２５による圧縮特徴量の表示を早送りのようにすることにより、編集に要する時間の短縮化を図ることができる。
【０２０８】
なお、圧縮特徴量とする、コンテンツ画像の画素値を表すビット列の一部としては、そのビット列の上位２ビットの他、例えば、最上位の１ビットや、上位３ビット等を採用することが可能である。
【０２０９】
次に、図１３は、圧縮特徴量として、動きを表す情報を採用した場合の、圧縮特徴量の表示例を示している。
【０２１０】
すなわち、図１３上側は、コンテンツ画像を示しており、図１３下側は、コンテンツ画像の画像データから抽出した圧縮特徴量としての、そのコンテンツ画像の隣接するフレームどうしの画素値の差分値（の絶対値）を所定の閾値で２値化した値を画素値とする画像を示している。
【０２１１】
図１３上側のコンテンツ画像では、円形の被写体が存在し、その円形の被写体は、第Nフレームと第N+1フレームでは静止しており、第N+2フレームと第N+3フレームでは左下から右上方向に移動している。
【０２１２】
圧縮特徴量として、隣接するフレームどうしの画素値の差分値を所定の閾値で２値化した値を採用し、その圧縮特徴量を表示すると、すなわち、その圧縮特徴量を画素値とする画像を表示すると、図１３下側に示すように、動きがある被写体が存在するシーンと、動きがある被写体が存在しないシーンとの区別がつきやすくなる。
【０２１３】
したがって、コンテンツ画像において、動きがある被写体が存在するシーンだけを対象に編集を行う場合には、圧縮特徴量として、隣接するフレームどうしの画素値の差分値を所定の閾値で２値化した値を採用して表示することにより、ユーザは、編集の対象とする動きがある被写体が存在するシーンのフレームを容易に探し出すことができ、その結果、編集作業の容易化を図ることができる。
【０２１４】
また、編集の対象としない、動きがある被写体が存在しないシーンについては、例えば、ユーザが、リモートコマンダ１４を操作して、表示制御部１２５による圧縮特徴量の表示を早送りのようにすることにより、編集に要する時間の短縮化を図ることができる。
【０２１５】
なお、圧縮特徴量とする、コンテンツ画像の動きを表す情報としては、隣接するフレームどうしの画素値の差分値を所定の閾値で２値化した値の他、例えば、所定のブロック単位で検出した動きベクトルの大きさ等を採用することが可能である。
【０２１６】
次に、図１４は、圧縮特徴量として、空間アクティビティを表す情報を採用した場合の、圧縮特徴量の表示例を示している。
【０２１７】
すなわち、図１４上側は、コンテンツ画像を示しており、図１４下側は、コンテンツ画像の画像データから抽出した圧縮特徴量としての、そのコンテンツ画像の画素値のヒストグラムを示している。
【０２１８】
図１４上側のコンテンツ画像では、第Nフレームと第N+1フレームには、雲がある空が映っており、その後、シーンチェンジが生じて、第N+2フレームと第N+3フレームには、人混みが映っている。
【０２１９】
圧縮特徴量として、画素値のヒストグラムを採用し、その圧縮特徴量を表示すると、図１４下側に示すように、シーンチェンジの前後で、圧縮特徴量としてのヒストグラムの形状が大きく変化するので、シーンチェンジを容易に認識することができる。
【０２２０】
したがって、コンテンツ画像において、シーンチェンジ付近のシーンだけを対象に編集を行う場合には、圧縮特徴量として、画素値のヒストグラムを採用して表示することにより、ユーザは、編集の対象とするシーンチェンジ付近のシーンを容易に探し出すことができ、その結果、編集作業の容易化を図ることができる。
【０２２１】
また、編集の対象としない、シーンチェンジ付近以外のシーンについては、例えば、ユーザが、リモートコマンダ１４を操作して、表示制御部１２５による圧縮特徴量の表示を早送りのようにすることにより、編集に要する時間の短縮化を図ることができる。
【０２２２】
なお、圧縮特徴量とする、空間アクティビティを表す情報としては、画素値のヒストグラムの他、例えば、隣接する画素どうしの画素値の差分値等を採用することが可能である。
【０２２３】
ここで、記録メディア１１に記録された画像データが、例えば、いわゆるフルHD(High Definition)のような大容量の画像データであり、MPEG(Moving Picture Expert Group)方式等で符号化されている場合には、図７で説明した編集／再生処理で行われる再生や、早送り、巻き戻しの処理の負担が大になる。
【０２２４】
一方、簡易編集モードの処理（図１１）では、記録メディア１１に記録された画像データに対応するコンテンツ画像に代えて、データ量が少ない圧縮特徴量が表示されるので、処理の負担を低減することができる。
【０２２５】
なお、圧縮特徴量として、例えば、画素値のヒストグラムのような、それだけを見たのでは、コンテンツ画像の内容を把握することができない圧縮特徴量を採用した場合であっても、上述したように、ユーザが、記録メディア１１に記録された画像データの編集を行う前に、図９の特徴量記録処理が行われ、記録メディア１１に記録された画像データに対応する画像を確認して、編集の大まかな構想をたてていれば、ユーザは、ある程度、コンテンツ画像の内容を把握しているので、圧縮特徴量を見るだけでも、編集の対象とするシーンのおおよそのあたりをつけて、編集を行うことができる。
【０２２６】
また、特徴量抽出部１２１において、例えば、上述した画素値を表すビット列の一部、動きを表す情報、及び、空間アクティビティを表す情報等の、複数種類の圧縮特徴量のうちのいずれを抽出するかは、例えば、ユーザが、編集の対象とするシーンを考慮して、リモートコマンダ１４を操作することにより指定することができる。
【０２２７】
さらに、特徴量抽出部１２１において、複数種類の圧縮特徴量を抽出して、記録媒体１２４に記録しておくことができる。この場合、簡易編集モードの処理において、表示制御部１２５が読み出して表示装置１５に表示させる圧縮特徴量は、記録媒体１２４に記録された複数種類の圧縮特徴量の中から選択することができる。
【０２２８】
簡易編集モードの処理において、複数種類の圧縮特徴量のうちのいずれを表示するかは、例えば、ユーザがリモートコマンダ１４を操作することにより指定することができる。さらに、表示制御部１２５では、左右又は上下に並べる形で、複数種類の圧縮特徴量のうちの２種類以上の圧縮特徴量を表示させることができる。
【０２２９】
次に、図１２ないし図１４では、編集の対象としないシーンについては、ユーザによるリモートコマンダ１４の操作に応じ、いわば手動で、圧縮特徴量の表示を早送りするようにしたが、圧縮特徴量の表示の早送りは、いわば自動で行うこともできる。
【０２３０】
そこで、図１５のフローチャートを参照して、圧縮特徴量の表示の早送りを自動で行う場合の、図１１のステップＳ９１で開始される圧縮特徴量の表示処理について説明する。
【０２３１】
ステップＳ１０１において、表示制御部１２５は、記録媒体１２４に記録された圧縮特徴量において、まだ、注目圧縮特徴量としていない圧縮特徴量のうちの、時間的に最も先行するフレームの圧縮特徴量を、注目圧縮特徴量として読み出して、処理は、ステップＳ１０２に進む。
【０２３２】
ステップＳ１０２では、表示制御部１２５は、注目圧縮特徴量が、早送りの条件を満たすかどうかを判定する。
【０２３３】
ここで、早送りの条件としては、例えば、圧縮特徴量が、図１２で説明した、画素値を表すビット列の上位２ビットである場合には、その上位２ビットが、１フレームすべてについて0であること等を採用することができる。また、例えば、圧縮特徴量が、図１３で説明した、隣接するフレームどうしの画素値の差分値を所定の閾値で２値化した値である場合には、その２値化した値が、１フレームすべてについて0であること、あるいは、隣接するフレームどうしの画素値の差分値（の絶対値）の１フレームについての総和が所定の閾値以下であること等を採用することができる。
【０２３４】
なお、早送りの条件は、例えば、ユーザがリモートコマンダ１４を操作することにより設定することができる。
【０２３５】
ステップＳ１０２において、注目圧縮特徴量が、早送りの条件を満たすと判定された場合、すなわち、例えば、圧縮特徴量が、図１２で説明した、画素値を表すビット列の上位２ビットであり、１フレームの注目圧縮特徴量がすべて0である場合、処理は、ステップＳ１０３に進み、表示制御部１２５は、注目圧縮特徴量の表示をスキップするスキップ処理をして、処理は、ステップＳ１０５に進む。
【０２３６】
ここで、スキップ処理では、１フレームの注目圧縮特徴量を、表示装置１５にまったく表示させないようにすることもできるし、コンテンツ画像のフレーム周期よりも十分短い時間だけ、１フレームの注目圧縮特徴量を、表示装置１５に表示させることもできる。
【０２３７】
一方、ステップＳ１０２において、注目圧縮特徴量が、早送りの条件を満たさないと判定された場合、処理は、ステップＳ１０４に進み、表示制御部１２５は、１フレームの注目圧縮特徴量を、コンテンツ画像のフレーム周期の時間だけ、表示装置１５に表示させ、処理は、ステップＳ１０５に進む。
【０２３８】
ステップＳ１０５では、表示制御部１２５が、コンテンツ画像のすべてのフレームの圧縮特徴量を、記録媒体１２４から読み出したかどうかを判定する。
【０２３９】
ステップＳ１０５において、まだ、コンテンツ画像のすべてのフレームの圧縮特徴量を、記録媒体１２４から読み出していないと判定された場合、すなわち、まだ、注目圧縮特徴量とされていない圧縮特徴量がある場合、処理は、ステップＳ１０１に戻り、上述したように、表示制御部１２５は、記録媒体１２４に記録された圧縮特徴量において、まだ、注目圧縮特徴量としていない圧縮特徴量のうちの、時間的に最も先行するフレームの圧縮特徴量を、注目圧縮特徴量として読み出し、以下、同様の処理が繰り返される。
【０２４０】
また、ステップＳ１０５において、コンテンツ画像のすべてのフレームの圧縮特徴量を、記録媒体１２４から読み出したと判定された場合、圧縮特徴量の表示処理は終了する。
【０２４１】
次に、図１６は、図１の画像処理装置１３の第３の構成例を示すブロック図である。
【０２４２】
なお、図中、図８の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２４３】
図１６の画像処理装置１３は、特徴量抽出部４１、一致特徴量検出部４２、受光部４４、処理情報決定部４６、選択部４７、遅延部４８、処理反映部４９、特徴量抽出部１２１、制御部１２２、記録部１２３、及び記録媒体１２４を有する点で、図８の場合と一致する。但し、図１６の画像処理装置１３は、読み出し部６３、又は表示制御部１２５それぞれに代えて、読み出し部１３２、又は表示制御部１３３が設けられている点で、図８の場合と相違している。
【０２４４】
読み出し部１３２は、図８（図２）の読み出し部６３と同様の処理を行う他、表示制御部１３３が表示装置１５に表示させる圧縮特徴量に対応付けられた処理特徴量を認識し、その処理特徴量に対応付けられた処理情報を、記録媒体１２４から処理情報を読み出して、選択部４７に供給する。
【０２４５】
表示制御部１３３は、図８の表示制御部１２５と同様に、処理反映部４９から供給される画像データ、又は記録媒体１２４に記録された圧縮特徴量を表示データとして、表示装置１５に供給し、その表示データに対応する画像を表示させる。また、表示制御部１３３は、処理反映部４９から供給される画像データと、記録媒体１２４に記録された圧縮特徴量とを、左右又は上下等に並べた形の表示データを生成し、表示装置１５に表示させる。
【０２４６】
以上のように構成される図１６の画像処理装置１３では、図８の場合と同様に、特徴量記録処理（図９）、編集／再生処理（図１０）、及び、圧縮特徴量の表示処理（図１５）を含む簡易編集モードの処理（図１１）を行うことができる。
【０２４７】
ここで、図１１の簡易編集モードの処理（のステップＳ９１で開始される圧縮特徴量の表示処理）では、圧縮特徴量が表示されるが、コンテンツ画像は表示されない。そして、コンテンツ画像が表示されないので、ユーザは、リモートコマンダ１４を編集操作したときに、その編集操作に対応する編集処理によって、編集後の画像がどのようになるのかを確認することができない。
【０２４８】
そこで、図１６の画像処理装置１３では、ユーザが、編集後の画像を確認することができるように、圧縮特徴量とともに、コンテンツ画像を表示する簡易編集モードの処理を行うことができるようになっている。
【０２４９】
図１７のフローチャートを参照して、図１６の画像処理装置１３による、圧縮特徴量とともに、コンテンツ画像を表示する簡易編集モードの処理について説明する。
【０２５０】
なお、図１６の画像処理装置１３において、特徴量記録処理（図９）は、既に行われ、終了しており、したがって、記録媒体１２４には、記録メディア１１に記録された画像データの各フレームの圧縮特徴量及び処理特徴量が記録されていることとする。
【０２５１】
ユーザが、動作モードを簡易編集モードとして、再生を指示するように、リモートコマンダ１４を操作すると、その操作に対応する操作信号が、リモートコマンダ１４から送信される。この操作信号は、受光部４４で受光され、制御部１２２に供給される。制御部１２２は、動作モードが簡易編集モードである場合に、受光部４４から、再生の指示の操作に対応する操作信号が供給されると、ステップＳ１２１において、表示制御部１３３を制御し、図１１のステップＳ９１と同様に、記録媒体１２４に記録された、記録メディア１１の画像データから抽出された圧縮特徴量を表示する圧縮特徴量の表示処理を開始させる。
【０２５２】
すなわち、表示制御部１３３は、記録媒体１２４から、記録メディア１１の画像データから抽出された各フレームの圧縮特徴量を、注目圧縮特徴量として順次読み出し、その注目圧縮特徴量を、表示装置１５に供給することにより、表示装置１５の表示画面の一部に表示させる。
【０２５３】
その後、処理は、ステップＳ１２１からステップＳ１２２に進み、制御部１２２は、表示制御部１３３が表示装置１５に表示させている注目圧縮特徴量のフレームを、注目フレームとして認識し、処理は、ステップＳ１２３に進む。
【０２５４】
ステップＳ１２３では、制御部１２２は、注目フレームの再生を、画像再生装置１２に要求し、処理は、ステップＳ１２４に進む。
【０２５５】
ここで、画像再生装置１２は、注目フレームの再生の要求があると、記録メディア１１から、注目フレームの画像データを再生し、画像処理装置１３に供給する。画像処理装置１３では、画像再生装置１２からの注目フレームの画像データが、遅延部４８に供給される。遅延部４８は、画像再生装置１２からの注目フレームの画像データを一時記憶する。
【０２５６】
ステップＳ１２４では、処理情報決定部４６が、ユーザによってリモートコマンダ１４の編集操作が行われたかどうかを判定する。
【０２５７】
ステップＳ１２４において、編集操作が行われたと判定された場合、すなわち、ユーザが、表示装置１５に表示された注目フレームの圧縮特徴量を見ながら、例えば、２倍のズームアップ等の編集処理を行うように、リモートコマンダ１４を編集操作し、その編集操作に対応した操作信号が、受光部４４で受信され、処理情報決定部４６に供給された場合、処理は、ステップＳ１２５に進み、処理情報決定部４６は、受光部４４から供給された操作信号に基づいて、注目フレームの画像データに対して施す編集処理を決定し、その編集処理を表す処理情報を、選択部４７及び記録部１２３に供給して、処理は、ステップＳ１２６に進む。
【０２５８】
ステップＳ１２６では、記録部１２３が、記録媒体１２４に記録された処理特徴量の中から、表示制御部１３３によって表示されている注目圧縮特徴量に対応付けられている処理特徴量を認識し、その処理特徴量に対応付けて、処理情報決定部４６からの処理情報を、記録媒体１２４に記録して、処理は、ステップＳ１２７に進む。
【０２５９】
以上のように、ユーザが、編集操作を行った場合、その編集操作に対応する編集処理を表す処理情報が、編集操作が行われていたときに圧縮特徴量が表示されていたフレーム（注目フレーム）の処理特徴量に対応付けられて、記録媒体１２４に記録される。
【０２６０】
ステップＳ１２７では、選択部４７は、処理情報決定部４６から直前のステップＳ１２５で供給された処理情報を選択し、処理反映部４９に供給する。処理反映部４９は、遅延部４８に記憶されている注目フレームの画像データに対して、選択部４７より供給されてきた処理情報が表す編集処理、すなわち、いまの場合、ユーザによる編集操作に対応する編集処理を施し、その結果得られる編集後画像データを、表示制御部１３３に供給する。
【０２６１】
さらに、ステップＳ１２７では、表示制御部１３３は、処理反映部４９からの編集後画像データを、表示装置１５に供給することにより、表示装置１５の表示画面の他の一部、すなわち、例えば、注目圧縮特徴量が表示されている部分に隣接する部分に表示させ、処理は、ステップＳ１２８に進む。
【０２６２】
したがって、編集操作がされた場合には、表示装置１５では、注目フレームの圧縮特徴量とともに、編集操作に対応する編集処理が施された結果得られる編集後画像データに対応するコンテンツ画像が表示される。その結果、ユーザは、編集後の画像を確認することができる。
【０２６３】
一方、ステップＳ１２４において、編集操作がされていないと判定された場合、処理は、ステップＳ１２９に進み、読み出し部１３２は、記録媒体１２４に記録された注目圧縮特徴量に対応付けて、処理情報が記録されているかどうかを判定する。
【０２６４】
すなわち、ステップＳ１２９では、読み出し部１３２は、記録媒体１２４に記録された処理特徴量の中から、表示制御部１３３によって表示されている注目圧縮特徴量に対応付けられている処理特徴量を認識し、その処理特徴量に対応付けて、処理情報が記録されているかどうかを判定する。
【０２６５】
ステップＳ１２９において、注目圧縮特徴量に対応付けて、処理情報が記録されていないと判定された場合、すなわち、過去に、注目圧縮特徴量のフレーム（注目フレーム）に対して、編集操作が行われたことがなく、そのために、記録媒体１２４において、注目圧縮特徴量に対応付けて、処理情報が記録されていない場合、処理は、ステップＳ１３１に進み、処理反映部４９は、遅延部４８に記憶された注目フレームの画像データを、そのまま、表示制御部１３３に供給する。
【０２６６】
さらに、ステップＳ１３１では、表示制御部１３３は、処理反映部４９からの画像データを、表示装置１５に供給することにより、表示装置１５の表示画面の他の一部、すなわち、例えば、注目圧縮特徴量が表示されている部分に隣接する部分に表示させ、処理は、ステップＳ１２８に進む。
【０２６７】
したがって、編集操作がされず、かつ、記録媒体１２４において、注目圧縮特徴量（に対応付けられた処理特徴量）に対応付けて、処理情報が記録されていない場合には、表示装置１５では、注目フレームの圧縮特徴量とともに、記録メディア１１から再生された注目フレームの画像データに対応するコンテンツ画像が表示される。
【０２６８】
一方、ステップＳ１２９において、注目圧縮特徴量に対応付けて、処理情報が記録されていると判定された場合、すなわち、過去に、注目圧縮特徴量のフレーム（注目フレーム）に対して、編集操作が行われたことがあり、その結果、記録媒体１２４において、注目圧縮特徴量に対応付けて、処理情報が記録されている場合、処理は、ステップＳ１３０に進み、読み出し部１３２は、記録媒体１２４において、注目フレームの注目圧縮特徴量に対応付けられた処理情報を読み出し、すなわち、記録媒体１２４において、注目圧縮特徴量に対応付けられている処理特徴量を認識して、その処理特徴量に対応付けられている処理情報を読み出し、選択部４７に供給して、処理は、ステップＳ１２７に進む。
【０２６９】
ステップＳ１２７では、選択部４７は、読み出し部１３２から直前のステップＳ１３０で供給された処理情報を選択し、処理反映部４９に供給する。すなわち、いまの場合、編集操作がされていないので、選択部４７には、処理情報決定部４６から処理情報は供給されず、読み出し部１３２のみから処理情報が供給されるので、選択部４７は、読み出し部１３２から直前のステップＳ１３０で供給された処理情報を選択して、処理反映部４９に供給する。
【０２７０】
処理反映部４９は、遅延部４８に記憶されている注目フレームの画像データに対して、選択部４７より供給されてきた処理情報が表す編集処理、すなわち、いまの場合、記録媒体１２４において注目フレームの注目圧縮特徴量と対応付けて記録されていた処理情報が表す編集処理を施し、その結果得られる編集後画像データを、表示制御部１３３に供給する。
【０２７１】
表示制御部１３３は、処理反映部４９からの編集後画像データを、表示装置１５に供給することにより、表示装置１５の表示画面の他の一部、すなわち、例えば、注目圧縮特徴量が表示されている部分に隣接する部分に表示させ、処理は、ステップＳ１２７からステップＳ１２８に進む。
【０２７２】
したがって、編集操作がされなかったが、過去に行われた注目フレームの再生中に編集処理が行われ、その結果、記録媒体１２４において、注目フレームの圧縮特徴量及び処理特徴量に対応付けて、過去に行われた編集操作に対応する編集処理を表す処理情報が記録されている場合には、表示装置１５では、注目フレームの圧縮特徴量とともに、注目フレームの画像データに対して、過去に行われた編集操作に対応する編集処理が施された結果得られる編集後画像データに対応するコンテンツ画像が表示される。
【０２７３】
ステップＳ１２８では、表示制御部１３３が、記録媒体１２４に記録された圧縮特徴量のすべての表示が終了したか、又は、再生を終了するように、リモートコマンダ１４が操作されたかどうかを判定する。
【０２７４】
ステップＳ１２８において、記録媒体１２４に記録された圧縮特徴量のすべての表示が、まだ終了していないと判定され、かつ、再生を終了するように、リモートコマンダ１４が操作されていないと判定された場合、処理は、ステップＳ１２２に戻り、以下、同様の処理が繰り返される。
【０２７５】
また、ステップＳ１２８において、記録媒体１２４に記録された圧縮特徴量のすべての表示が終了したと判定されるか、又は、再生を終了するように、リモートコマンダ１４が操作されたと判定された場合、簡易編集モードの処理は終了する。
【０２７６】
以上のように、図１７の簡易編集モードの処理では、記録メディア１１に記録された画像データの圧縮特徴量が表示されるとともに、その画像データ、又はその画像データの編集処理後の編集後画像データに対応するコンテンツ画像が表示されるので、ユーザは、圧縮特徴量を見て編集操作を行い、その編集操作に対応する編集処理が施された後の画像を確認することができる。
【０２７７】
次に、図１８は、図１の画像処理装置１３の第４の構成例を示すブロック図である。
【０２７８】
なお、図中、図８の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２７９】
図１８の画像処理装置１３は、一致特徴量検出部４２、受光部４４、処理情報決定部４６、選択部４７、遅延部４８、処理反映部４９、読み出し部６３、制御部１２２、記録部１２３、記録媒体１２４、及び表示制御部１２５を有する点で、図８の場合と一致する。但し、図１８の画像処理装置１３は、２つの特徴量抽出部４１及び１２１に代えて、１つの特徴量抽出部１４１だけが設けられている点で、図８の場合と相違している。
【０２８０】
特徴量抽出部１４１には、画像再生装置１２から、記録メディア１１から再生された画像データが、１フレーム単位で供給されるようになっている。特徴量抽出部１４１は、画像再生装置１２からの１フレームの画像データから、特徴量を抽出し、一致特徴量検出部４２及び記録部１２３に供給する。
【０２８１】
すなわち、図８においては、上述したように、特徴量抽出部４１は、１フレームの画像データから、そのフレームを特定しうる情報を、処理特徴量として抽出し、特徴量抽出部１２１は、１フレームの画像データから、その１フレームの画像データよりもデータ量を少なくした情報であって、かつ、ユーザが見て、編集操作をする行動を喚起するような情報を、圧縮特徴量として抽出する。
【０２８２】
以上のような処理特徴量と、圧縮特徴量とは、その範疇に含まれる情報の範囲は異なるが、一部の情報は、処理特徴量としても、圧縮特徴量としても、採用することができることがある。
【０２８３】
すなわち、例えば、図１２で説明した、圧縮特徴量としての、１フレームの画像データの画素値を表すビット列の上位２ビットは、処理特徴量としても用いることができる。
【０２８４】
図１８の画像処理装置１３では、特徴量抽出部１４１において、１フレームの画像データから、上述のような、処理特徴量としても用いることができる圧縮特徴量（又は、圧縮特徴量としても用いることができる処理特徴量）が抽出される。
【０２８５】
したがって、図１８の画像処理装置１３では、記録媒体１２４において、処理情報が、処理特徴量でもある圧縮特徴量と対応付けて記録される。
【０２８６】
ここで、図１８の画像処理装置１３では、処理特徴量を用いて行われる処理が、圧縮特徴量を用いて行われる点を除けば、図８の場合と同様の特徴量記録処理（図９）、編集／再生処理（図１０）、及び簡易編集モードの処理（図１１）が行われるため、図１８の画像処理装置１３の処理の説明は、省略する。
【０２８７】
なお、図１８の画像処理装置１３では、圧縮特徴量と処理特徴量として、同一の情報を採用する必要があるが、図８及び図１６の画像処理装置１３では、圧縮特徴量と処理特徴量として、同一の情報を採用することもできるし、異なる情報を採用することもできる。
【０２８８】
また、図１６の画像処理装置１３でも、図１８の画像処理装置１３と同様に、圧縮特徴量と処理特徴量として、同一の情報を採用し、２つの特徴量抽出部４１及び１２１を、１つの特徴量抽出部１４１で兼用することができる。
【０２８９】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２９０】
そこで、図１９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２９１】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。
【０２９２】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２９３】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０２９４】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０２９５】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２９６】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２９７】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２９８】
【図１】本発明を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
【図２】画像処理装置１３の第１の構成例を示すブロック図である。
【図３】一致特徴量検出部４２の構成例を示すブロック図である。
【図４】一致特徴量検出部４２による一致特徴量検出処理を説明する図である。
【図５】特徴量記録処理を説明するフローチャートである。
【図６】編集／再生処理を説明するフローチャートである。
【図７】編集／再生処理を説明する図である。
【図８】画像処理装置１３の第２の構成例を示すブロック図である。
【図９】特徴量記録処理を説明するフローチャートである。
【図１０】編集／再生処理を説明するフローチャートである。
【図１１】簡易編集モードの処理を説明するフローチャートである。
【図１２】圧縮特徴量の表示例を示す図である。
【図１３】圧縮特徴量の表示例を示す図である。
【図１４】圧縮特徴量の表示例を示す図である。
【図１５】圧縮特徴量の表示処理を説明するフローチャートである。
【図１６】画像処理装置１３の第３の構成例を示すブロック図である。
【図１７】簡易編集モードの処理を説明するフローチャートである。
【図１８】画像処理装置１３の第４の構成例を示すブロック図である。
【図１９】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０２９９】
１１  記録メディア，  １２  画像再生装置，  １３  画像処理装置，  １４  リモートコマンダ，  １５  表示装置，  ４１  特徴量抽出部，  ４２  一致特徴量検出部，  ４３  制御部，  ４４  受光部，  ４５  処理情報決定部，  ４７  選択部，  ４８  遅延部，  ４９  処理反映部，  ６１  記録部，  ６２  記録媒体，  ６３  読み出し部，  １０１−１ないし１０１−３  特徴量バッファ，  １０２  再生位置特徴量生成部，  １０３  比較部，  １０４  検索位置特徴量読み出し部，  １０５  検出部，  １２１  特徴量抽出部，  １２２  制御部，  １２３  記録部，  １２４  記録媒体，  １２５  表示制御部，  １３２  読み出し部，  １３３  表示制御部，  １４１  特徴量抽出部，  ２０１  バス，  ２０２  CPU，  ２０３  ROM，  ２０４  RAM，  ２０５  ハードディスク，  ２０６  出力部，  ２０７  入力部，  ２０８  通信部，  ２０９  ドライブ，  ２１０  入出力インタフェース，  ２１１  リムーバブル記録媒体
【図１】
2008187324.tif 000003
【図２】
2008187324.tif 000004
【図３】
2008187324.tif 000005
【図４】
2008187324.tif 000006
【図５】
2008187324.tif 000007
【図６】
2008187324.tif 000008
【図７】
2008187324.tif 000009
【図８】
2008187324.tif 000010
【図９】
2008187324.tif 000011
【図１０】
2008187324.tif 000012
【図１１】
2008187324.tif 000013
【図１２】
2008187324.tif 000014
【図１３】
2008187324.tif 000015
【図１４】
2008187324.tif 000016
【図１５】
2008187324.tif 000017
【図１６】
2008187324.tif 000018
【図１７】
2008187324.tif 000019
【図１８】
2008187324.tif 000020
【図１９】
2008187324.tif 000021