(57)【要約】【課題】複数の編集を組み合わせた編集を行う。【解決手段】記録再生部５１は、記録媒体に記録されているコンテンツデータを再生し、再生パラメータ処理部５４は再生パラメータを再生する。再生パラメータには、コンテンツデータに基づく画像に対して施された編集を再現するための加工データが含まれている。１つのコンテンツデータに対して複数の編集が施された場合、複数の加工データが再生パラメータには含まれている。加工データ演算部５７は、加工データを加算または減算することで、新たな加工データを生成し、その加工データに基づいて、画像抽出部５２や信号処理部５３は処理を実行する。本発明は、所定の記録媒体を再生する再生装置に適用できる。【選択図】図３
2008311807.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像に対して加えられた編集を再現するための第１のパラメータの再生を制御する再生制御手段と、
前記再生制御手段により再生される複数の第１のパラメータから、第２のパラメータを生成する生成手段と、
前記生成手段により生成された前記第２のパラメータに基づき、前記第１の画像に対して編集を加え、第２の画像を生成する編集手段と
を備える情報処理装置。
【請求項２】
前記第１のパラメータは、前記第１の画像から所定の領域を抽出するためのパラメータを少なくとも含み、
前記第２のパラメータは、複数の第１のパラメータに基づく複数の領域を含む領域を、前記第１の画像から抽出するためのパラメータである
請求項１に記載の情報処理装置。
【請求項３】
前記第１のパラメータは、前記第１の画像から所定の領域を抽出するためのパラメータを少なくとも含み、
前記第２のパラメータは、複数の第１のパラメータに基づく複数の領域のうち、所定の領域内の画像を抽出し、他の領域内の画像を抽出しないようにするための領域を、前記第１の画像から抽出するためのパラメータである
請求項１に記載の情報処理装置。
【請求項４】
前記生成手段は、前記複数の第１のパラメータを加算することにより、前記第２のパラメータを生成するか、または、前記複数の第１のパラメータのうち、所定のパラメータから、他のパラメータを減算することで、前記第２のパラメータを生成する
請求項１に記載の情報処理装置。
【請求項５】
第１の画像に対して加えられた編集を再現するための第１のパラメータの再生を制御し、
再生された複数の第１のパラメータから、第２のパラメータを生成し、
生成された前記第２のパラメータに基づき、前記第１の画像に対して編集を加え、第２の画像を生成する
ステップを含む情報処理方法。
【請求項６】
第１の画像に対して加えられた編集を再現するための第１のパラメータの再生を制御し、
再生された複数の第１のパラメータから、第２のパラメータを生成し、
生成された前記第２のパラメータに基づき、前記第１の画像に対して編集を加え、第２の画像を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項７】
第１の画像に対して加えられた編集を再現するための第１のパラメータの再生を制御し、
再生された複数の第１のパラメータから、第２のパラメータを生成し、
生成された前記第２のパラメータに基づき、前記第１の画像に対して編集を加え、第２の画像を生成する
ステップを含む処理をコンピュータに実行させるプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、プログラム、および記録媒体に関し、特に、画像などの編集をより簡便に行えることができるようにする情報処理装置、情報処理方法、プログラム、および記録媒体に関する。
【背景技術】
【０００２】
例えば、ビデオカメラにおいては、撮像によって得られた画像（画像データ）が、例えば、DV(Digital Video)方式やMPEG(Moving Picture Experts Group)方式で符号化され、テープやディスクなどの記録媒体に記録される。
【０００３】
また、ビデオカメラには、一般に、ズーム機能が設けられている。ズーム機能によれば、撮像によって得られる画像の画角（画像に映る範囲の画角）（倍率）を変更することができる。即ち、例えば、ユーザがズームイン操作を行って撮影すれば、被写体をクローズアップ（拡大）した狭い画角の画像を得ることができ、ユーザがズームアウト操作を行って撮影すれば、広い範囲が映った広角の画像を得ることができる。
【０００４】
ところで、従来のビデオカメラにおいては、撮像を行って画像を出力する撮像手段が１つしか設けられていないため、上述のようなズーム操作（ズームイン操作、ズームアウト操作）によって、画像の画角を変更することはできるが、異なる画角の画像を同時に得ることはできなかった。
【０００５】
そこで、２つの撮像手段を有し、例えば、画角の狭い画像と、画角の広い画像とを同時に得ることができるビデオカメラが提案されている（例えば、特許文献１参照）。
【特許文献１】特開2004-282296号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ビデオカメラなどで撮像された画像を編集するには、オリジナルの画像データを再生させながら、各種の処理を加える操作を実行し、処理結果となる画像を別の記録媒体に記録させるといったリニア編集が主流であった。また、このようなリニア編集の場合、オリジナルの画像データがCOPY ONCEの場合、記録媒体に記録したものを再生し、さらに編集した映像については記録できなかった。
【０００７】
また１つの画像に対して、複数の編集を別々にしたとき、その複数の編集を組み合わせたときの効果を確かめることは困難であった。例えば、編集した画像に対して別の編集を施すことで、２つの編集を施したときの効果を確かめ、その効果が所望の効果でなければ、再度、他の編集を、オリジナルの画像に対して施すといった処理が繰り返し行うことにより、ユーザは、所望の効果を得られまで編集を行っていた。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、ユーザにとって最適な画像を提供することができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面の情報処理装置は、第１の画像に対して加えられた編集を再現するための第１のパラメータの再生を制御する再生制御手段と、前記再生制御手段により再生される複数の第１のパラメータから、第２のパラメータを生成する生成手段と、前記生成手段により生成された前記第２のパラメータに基づき、前記第１の画像に対して編集を加え、第２の画像を生成する編集手段とを備える。
【００１０】
前記第１のパラメータは、前記第１の画像から所定の領域を抽出するためのパラメータを少なくとも含み、前記第２のパラメータは、複数の第１のパラメータに基づく複数の領域を含む領域を、前記第１の画像から抽出するためのパラメータであるようにすることができる。
【００１１】
前記第１のパラメータは、前記第１の画像から所定の領域を抽出するためのパラメータを少なくとも含み、前記第２のパラメータは、複数の第１のパラメータに基づく複数の領域のうち、所定の領域内の画像を抽出し、他の領域内の画像を抽出しないようにするための領域を、前記第１の画像から抽出するためのパラメータであるようにすることができる。
【００１２】
前記生成手段は、前記複数の第１のパラメータを加算することにより、前記第２のパラメータを生成するか、または、前記複数の第１のパラメータのうち、所定のパラメータから、他のパラメータを減算することで、前記第２のパラメータを生成するようにすることができる。
【００１３】
本発明の一側面の情報処理方法は、第１の画像に対して加えられた編集を再現するための第１のパラメータの再生を制御し、再生された複数の第１のパラメータから、第２のパラメータを生成し、生成された前記第２のパラメータに基づき、前記第１の画像に対して編集を加え、第２の画像を生成するステップを含む。
【００１４】
本発明の一側面のプログラムは、第１の画像に対して加えられた編集を再現するための第１のパラメータの再生を制御し、再生された複数の第１のパラメータから、第２のパラメータを生成し、生成された前記第２のパラメータに基づき、前記第１の画像に対して編集を加え、第２の画像を生成するステップを含む処理をコンピュータに実行させる。
【００１５】
本発明の一側面の記録媒体は、第１の画像に対して加えられた編集を再現するための第１のパラメータの再生を制御し、再生された複数の第１のパラメータから、第２のパラメータを生成し、生成された前記第２のパラメータに基づき、前記第１の画像に対して編集を加え、第２の画像を生成するステップを含む処理をコンピュータに実行させるプログラムが記録されている。
【００１６】
本発明の一側面の情報処理装置および方法、プログラム、および記録媒体に記録されているプログラムにおいては、第１の画像に対して加えられた編集を再現するための、複数の第１のパラメータから第２のパラメータが生成され、その第２のパラメータに基づいて、第１の画像が編集される。
【発明の効果】
【００１７】
本発明の一側面によれば、複数の編集の組み合わせによる効果を簡単に確認することができるようになる。
【発明を実施するための最良の形態】
【００１８】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１９】
本発明の一側面の情報処理装置（例えば、図３の再生装置１２）は、第１の画像に対して加えられた編集を再現するための第１のパラメータの再生を制御する再生制御手段（例えば、図３の再生パラメータ処理部５４）と、前記再生制御手段により再生される複数の第１のパラメータから、第２のパラメータを生成する生成手段（例えば、図３の加工データ演算部５７）と、前記生成手段により生成された前記第２のパラメータに基づき、前記第１の画像に対して編集を加え、第２の画像を生成する編集手段（例えば、図３の画像抽出部５２）とを備える。
【００２０】
以下に、本発明の実施の形態について図面を参照して説明する。
【００２１】
図１は、本発明を適用したシステムの一実施の形態の構成を示す図である。記録媒体１１には、ユーザが撮影した画像（動画像）やテレビジョン放送の番組などの画像データが記録されている。再生装置１２は、記録媒体１１に記録されている画像データを再生する。再生された画像は、表示装置１３に供給され、ユーザに提供される。
【００２２】
記録媒体１１は、本発明の実施の形態においてはどのような媒体でも良い。例えば、CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)などでも良いし、ビデオテープなどでも良い。また本実施の形態においては、記録媒体１１は、再生装置１２に対して着脱可能な記録媒体であり、その記録媒体１１から、読み出される画像データに基づく画像が再生されるとして説明を続けるが、例えばインターネットなどで構成される伝送媒体を介して、画像データが取得され、その画像データに基づく画像が再生されるような形態も、本発明に含まれる。
【００２３】
再生装置１２は、記録媒体１１に記録されている画像データを再生する機能を有する。表示装置１３は、例えば、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）などで構成され、再生装置１２からの画像を表示する。
【００２４】
ここで、図１に示したシステムにおいて扱われるデータについて説明を加える。記録媒体１１には、コンテンツデータ２１が記録されている。再生装置１２には、ファイル２２が記憶されている。記録媒体１１に記録されているコンテンツデータ２１のみが、再生装置１２で再生された場合、通常の画像がユーザ側に提供される。記録媒体１１に記録されているコンテンツデータ２１と再生装置１２に記録されているファイル２２内のデータがともに再生された場合、通常の画像に対して何らかの編集（加工）が加えられた画像がユーザ側に提供される。
【００２５】
ファイル２２には、図２に示すように、複数の再生パラメータ３０―１乃至３０−Ｎが含まれている。再生パラメータ３０―１乃至３０−Ｎはそれぞれ、コンテンツデータ２１を再生することにより得られるオリジナルの画像に対し、ユーザが加えた編集を施すためのデータである。このように、本実施の形態においては、コンテンツデータ２１そのものに、ユーザが加えた編集結果を書き込んだりしないため、換言すれば、コンテンツデータ２１自体を編集することはないので、オリジナルの画像をそのまま残すことができる。
【００２６】
なお、以下の説明において、再生パラメータ３０−１乃至３０−Ｎを、個々に区別する必要がない場合、単に、再生パラメータ３０と記述する。他の記載も同様とする。
【００２７】
また、ユーザは、オリジナルの画像に対して、複数の編集を別々に施すことが可能である。すなわち、ユーザは、オリジナルの画像に対して、複数のファイル２２、再生パラメータ３０、または加工データ３２を生成させることが可能とされている。
【００２８】
例えば、コンテンツデータ２１自体を編集してしまうと、オリジナルの画像が失われるとともに、次に、他の編集を施す場合には、既に施した編集の上に行うことになる。しかしながら本実施の形態においては、複数の編集を施したとしても、その編集を再現するためのデータは、異なるデータとして保存されるため、それぞれの編集の結果を、別々に確認することができるとともに、後述するような処理により、複数の編集結果が組み合わされたときの効果も確認することが可能となる。
【００２９】
再生パラメータ３０は、図２に示すように、同期特徴量３１と加工データ３２を含む構成とされている。なおここでは、再生パラメータ３０に同期特徴量３１と加工データ３２が含まれるとして説明を続けるが、同期特徴量３１と加工データ３２が、関連付けられて記憶されていれば（ファイル２２内に管理されていれば）処理は行えるため、再生パラメータ３０に含まれるというデータ構造でなくても良い。
【００３０】
再生パラメータ３０−１には、同期特徴量３１―１と加工データ３２−１が含まれている。また、再生パラメータ３０−２には、同期特徴量３１―２、加工データ３２−２、加工データ３２−３が含まれている。再生パラメータ３０−Ｎには、同期特徴量３１―Ｎと加工データ３２−Ｍが含まれている。
【００３１】
同期特徴量３１は、１フィールド毎または１フレーム毎に生成される。ここでは、１フレーム毎に生成されるとして説明を続ける。
【００３２】
同期特徴量３１は、コンテンツデータ２１のどのフレームに関する再生パラメータ３０であるのかを示す情報である。同期特徴量３１は、コンテンツデータ２１が再生されたとき、その再生されたフレームから抽出された特徴量である。後述するように、コンテンツデータ２１が再生されたとき、その再生されたフレームから特徴量が抽出され、抽出された特徴量と一致する同期特徴量３１があるか否かが判断され、一致したと判断されたとき、そのフレームに対して、加工データ３２で示される編集が施される。
【００３３】
同期特徴量３１は、コンテンツを構成するフレームの所定のフレームと同期を取るためのデータである。換言すれば、同期特徴量３１は、コンテンツを構成するフレームのうち、どのフレームに対する加工データ３２であるかを判断するときに用いられるデータである。
【００３４】
再生パラメータ３０−２には、同期特徴量３１―２、加工データ３２−２、加工データ３２−３が含まれている。この場合、１つの同期特徴量３１―２に、２つの加工データ３２−２と加工データ３２−３が関連付けられている。この場合、加工データ３２−２に基づく編集が施された画像と、加工データ３２−３に基づく編集が施された画像とは、同じフレームからの画像であっても、異なる画像となる。
【００３５】
再生パラメータ３０−１は、１つの同期特徴量３１―１に対して、１つの加工データ３２―１が関連付けられているが、このような場合、１フレームに対して、１つの編集が行わた状態であることを示している。再生パラメータ３０−２は、１つの同期特徴量３１−２に対して、２つの加工データ３２−２と加工データ３２−３が関連付けられているが、このような場合、１フレームに対して、異なる２つの編集が行われた状態であることを示している。
【００３６】
このように１つの同期特徴量３１には、１つの加工データ３２が関連付けられている場合と、複数の加工データ３２が関連付けられている場合とがあり、その関連付けられている加工データ３２の数は、１つのフレームに対して施された編集の数に相当する。
【００３７】
このように、再生パラメータ３０には、コンテンツを構成するフレームと同期するための同期特徴量３１と、同期されたフレームに対して施されている編集を再現するための加工データ３２が含まれる。
【００３８】
１つのコンテンツデータ２１に基づく映像は、複数のフレームから構成されているため、１つのコンテンツデータ２１には、複数の再生パラメータ３０が生成されることになる。複数の再生パラメータ３０を、そのまま記憶するようにしても良いが、図２に示すように、ファイル化して記憶する方が、管理しやすくなると考えられる。そこで例えば、上記したように１つのコンテンツデータ２１に対して、１ファイルが生成されるようにしても良い。
【００３９】
図２に示すように、例えば、ファイル２２には、再生パラメータ３０−１や再生パラメータ３０−２が含まれる。このファイル２２は、コンテンツデータ２１に対応する再生パラメータ３０を含むファイルであるとする。図示はしていないが、ファイル２２と異なるファイル２２’は、ファイル２２とは異なるコンテンツデータに対するファイルである。
【００４０】
次に、このような再生パラメータ３０をコンテンツデータ２１とともに再生する再生装置１２の構成について説明する。図３は、再生装置１２の内部構成例を示す図である。
【００４１】
再生装置１２は、記録再生部５１、画像抽出部５２、信号処理部５３、再生パラメータ処理部５４、操作部５５、再生パラメータ記憶部５６、加工データ演算部５７、およびファイル記憶部５８を含む構成とされている。
【００４２】
記録再生部５１は、例えば、ユーザによる操作部５５の操作に応じて、記録媒体１１からコンテンツデータ２１を再生して、画像を画像抽出部５２に供給する
【００４３】
以下の説明において、コンテンツデータ２１が再生されることにより取得される画像を、通常画像を記述し、その通常画像に対して、加工データ３２に基づく編集が加えられた画像を抽出画像と記述する。ここでは、編集として、通常画像の一部分が拡大された画像を表示するような編集が行われる場合を例に挙げて説明をする。すなわち、編集として、通常画像の一部分が抽出され、拡大されて表示されるような編集が行われる場合を例に挙げて説明する。
【００４４】
図３の説明に戻り、画像抽出部５２は、再生パラメータ処理部５４から供給される再生パラメータ３０に基づいて、記録再生部５１から供給される通常画像から一部の領域の画像を抽出し、その抽出した抽象画像を、信号処理部５３に出力する。
【００４５】
即ち、再生パラメータ３０（に含まれる加工データ３２）は、通常画像上の長方形状の領域を表す情報としての、例えば、その長方形状の領域の横および縦の長さと、通常画像上における左上の点の座標とを含んでおり、画像抽出部５２は、再生パラメータ３０に基づいて、そこに含まれる情報が表す長方形状の領域（以下、適宜、抽出ウインドウという）を特定する。そして、画像抽出部５２は、通常画像から、抽出ウインドウ内の画像を、抽出画像として抽出し、信号処理部５３に供給する。
【００４６】
信号処理部５３は、再生パラメータ処理部５４から供給される再生パラメータ３０に基づいて、画像抽出部５２から供給される抽出画像に信号処理を施し、表示装置１３（図１）に供給する。これにより、表示装置１３では、信号処理部５３で信号処理が施された抽出画像が表示される。
【００４７】
再生パラメータ処理部５４は、ファイル記憶部５８から供給される再生パラメータ３０を、画像抽出部５２および信号処理部５３に供給する。また、再生パラメータ処理部５４は、ユーザによる操作部５５の操作に応じて、再生パラメータ３０を生成し、画像抽出部５２および信号処理部５３に供給する。さらに、再生パラメータ処理部５４は、ファイル記憶部５８から供給される再生パラメータ３０、または操作部５５の操作に応じて生成した再生パラメータ３０を、再生パラメータ記憶部５６に供給して記憶させる。また、再生パラメータ処理部５４は、再生パラメータ記憶部５６に記憶された再生パラメータ３０を読み出し、ファイル記憶部５８に供給して、記憶させる。
【００４８】
再生パラメータ記憶部５６は、再生パラメータ処理部５４から供給される再生パラメータを一時記憶する。操作部５５は、記録媒体１１に記録されたコンテンツデータ２１（通常画像）の再生や編集などを指令するときに、ユーザによって操作され、その操作に対応した操作信号を、記録再生部５１または再生パラメータ処理部５４に供給する。
【００４９】
加工データ演算部５７は、後述するような加工データ３２同士の加算や減算といった処理を行う。その結果生成された新たな加工データは、再生パラメータ処理部５４に供給される。ファイル記憶部５８は、図２に示したファイル２２を記憶する。
【００５０】
なお、図３においてファイル記憶部５８は、再生装置１２に含まれる構成としたが、ファイル記憶部５８を、再生装置１２に対して着脱可能な記録媒体で構成し、再生装置１２には、その記録媒体が着脱されるドライブなどが含まれる構成とされるようにしても良い。このように、ファイル記憶部５８を記録媒体で構成することで、他の再生装置に、その記録媒体を装着し、他の装置でファイル２２を再生させることが可能となる。
【００５１】
次に、図４を参照して、図３の画像抽出部５２の処理について説明する。
【００５２】
例えば、ユーザの操作が、通常画像内の所定の画像を拡大して表示させるという操作であった場合、再生パラメータ３０には、通常画像における抽出画像に対応する領域を表す情報を含む加工データ３２が含まれている。そして、その加工データ３２が表す領域が抽出ウインドウとして、図４に示すように設定され、通常画像から、抽出ウインドウ内の画像を抽出画像として抽出して表示される。このような処理が行われることにより、通常画像内に表示されている所定の画像が拡大された状態で、表示装置１３に表示される。
【００５３】
ユーザが、ズームインに相当する編集を行った場合、その編集によって得られる通常画像の画角は狭くなり、通常画像に対応する領域は、図４においてＲ1やＲ2で示すようにサイズの小さな領域になり、抽出ウインドウも、通常画像のサイズよりも小さいものとなる。
【００５４】
このように、抽出ウインドウのサイズは一定であるとは限らないため、画像抽出部５２において、そのような抽出ウインドウを用いて、通常画像から抽出される抽出画像の画素数は一定であるとは限らない。
【００５５】
一方、表示装置１３は、所定の画素数の画像を表示するので、画像抽出部５２では、通常画像から抽出した抽出画像を、表示装置１３で表示可能な所定の画素数の画像に変換する必要がある。ある画素数の抽出画像を、他の画素数の抽出画像に変換する画像変換処理としては、画素を補間することにより行う処理が一例としてあげられる。
【００５６】
次に、図５のフローチャートを参照して、図３の再生装置１２の動作について説明する。まず、再生装置１２の基本的な動作について説明する。ここで、基本的な動作とは、図２の再生パラメータ３０−１のように、１つの同期特徴量３１―１に、１つの加工データ３２−１が関連付けられているようなときであるとする。
【００５７】
ユーザが操作部５５を操作して、再生装置１２の電源をオンにすると、ステップＳ２１において、再生パラメータ処理部５４は、再生装置１２の動作モードが再生モードであるかどうかを判定する。
【００５８】
ここで、再生装置１２の動作モードとしては、例えば、記録媒体１１に記録された画像を再生する再生モードと、画像を編集する編集モードとがある。再生装置１２の動作モードは、例えば、ユーザが操作部５５を操作することによって選択（設定）することができる。
【００５９】
ステップＳ２１において、再生装置１２の動作モードが再生モードであると判定された場合、ステップＳ２２に進み、再生モードの処理が開始される。
【００６０】
再生モードの処理では、まずステップＳ２２において、再生パラメータ処理部５４により、記録媒体１１に記録された画像を再生するのに用いるファイル２２が選択される。
【００６１】
ここで、ファイル２２には上記したように、通常画像（この場合、コンテンツデータ２１）に対して生成された一連の再生パラメータ３０が含まれている。また、そのファイル２２は、ファイル記憶部５８に記憶されている。ファイル記憶部５８には、１以上のファイル２２を記憶することができ、ステップＳ２２では、その１以上のファイル２２から、画像の再生に用いるファイル２２が選択される。
【００６２】
即ち、例えば、再生パラメータ処理部５４は、ファイル記憶部５８に記憶されているファイル２２のファイル名を認識する。ファイル名としては、コンテンツデータ２１が取得（撮影や録画などにより記録媒体１１に記録された）された日時でも良いし、ユーザにより付けられた名前などでも良い。さらに、再生パラメータ処理部５４は、信号処理部５３を制御することにより、ファイル記憶部５８に記憶されているファイル名の一覧を、そのうちのいずれか１つの選択を促すメッセージとともに、表示装置１３に表示させる。
【００６３】
ユーザが、表示装置１３に表示されたファイル名の一覧を見て、操作部５５を操作することにより、ファイル名の一覧から、１つのファイル名を選択すると、ステップＳ２２において、再生パラメータ処理部５４は、そのファイル名によって特定されるファイル２２を、画像の再生に用いるファイル２２として選択する。
【００６４】
その後、ステップＳ２２からステップＳ２３に進み、再生パラメータ処理部５４は、記録再生部５１を制御することにより、記録媒体１１に記録されたコンテンツデータ２１の再生を開始させるとともに、ファイル記憶部５８に記憶されているファイル２２の再生を開始する。これにより、記録媒体１１からは、コンテンツデータ２１が再生され（読み出され）、コンテンツデータ２１が、画像抽出部５２に供給されるとともに、ファイル記憶部５８からファイル２２（ファイル２２に含まれる再生パラメータ３０）が、再生パラメータ処理部５４に供給される。
【００６５】
ここで、上述したように、再生パラメータ３０は、フレーム毎に存在しうる。通常画像の再生は、特に指定されない限り、再生パラメータ３０が存在する時間的に最も前のフレームから開始される。
【００６６】
再生パラメータ処理部５４は、ステップＳ２３においてファイル２２に含まれる再生パラメータ３０の再生を開始する。これにより、記録再生部５１からの再生パラメータ３０の供給が開始されると、その再生パラメータ３０の、画像抽出部５２および信号処理部５３への供給が開始され、ステップＳ２４に処理が進められる。
【００６７】
ステップＳ２４において、画像抽出部５２は、記録再生部５１から供給される通常画像からの、再生パラメータ処理部５４から供給される再生パラメータに基づく抽出画像の抽出を開始する。
【００６８】
即ち、記録再生部５１から画像抽出部５２に対して、通常画像が、例えばフレーム単位で供給され、画像抽出部５２は、記録再生部５１から供給される通常画像のフレームを、順次、注目フレームとして、その注目フレームから抽出画像を抽出し、信号処理部５３に供給する。
【００６９】
具体的には、画像抽出部５２は、再生パラメータ処理部５４から供給される再生パラメータ３０のうち、注目フレームに対する再生パラメータ３０（以下、適宜、対応パラメータという）が存在する場合、注目フレームから、対応パラメータに含まれる情報によって特定される抽出ウインドウ内の画像を抽出画像として抽出し、さらに、必要に応じて、画素数を変換する画像変換処理を行って、信号処理部５３に供給する。
【００７０】
また、画像抽出部５２は、再生パラメータ処理部５４から供給される再生パラメータ３０の中に、注目フレームの対応パラメータが存在しない場合、注目フレームより前の、対応パラメータが存在するフレームのうちの、注目フレームに最も近いフレームの対応パラメータ２２に基づいて、注目フレームから抽出画像を抽出するようにしても良い。または、対応パラメータが存在しないということは、編集が施されていない場合であるので、通常画像を出力するようにしても良い。
【００７１】
ステップＳ２４の処理後は、ステップＳ２５に進み、信号処理部５３は、画像抽出部５２から供給される抽出画像（のフレーム）に対する、再生パラメータ処理部５４から供給される再生パラメータ（対応パラメータ）に基づく信号処理を開始する。
【００７２】
即ち、信号処理部５３は、画像抽出部５２から供給される抽出画像に対して、再生パラメータ処理部５４から供給される再生パラメータ３０に含まれる情報が表す内容の信号処理を施し、表示装置１３に供給する。
【００７３】
以上のように、再生モードの処理では、ファイル２２に含まれる再生パラメータ３０に基づいて、通常画像から抽出画像が抽出され、さらに、再生パラメータ３０に基づいて、抽出画像に信号処理が施されるので、いわば、そのファイル２２の再生パラメータ３０に対応した画像コンテンツ（画像のストリーム）が、表示装置１３に表示される。
【００７４】
ステップＳ２５の処理後、ステップＳ２６に進み、再生パラメータ処理部５４は、操作部５５が、ユーザによって、再生を停止するように操作（停止操作）されたかどうかを判定する。ステップＳ２６において、停止操作が行われていないと判定された場合、ステップＳ２３に戻り、以下、同様の処理が繰り返される。
【００７５】
また、ステップＳ２５において、停止操作が行われたと判定された場合、ステップＳ２７に進み、再生パラメータ処理部５４は、記録再生部５１、画像抽出部５２、および信号処理部５３を制御することにより、ステップＳ２３で開始した通常画像と再生パラメータの再生、ステップＳ２４で開始した抽出画像の抽出、およびステップＳ２５で開始した抽出画像に対する信号処理を全て停止させる。そして、ステップＳ２１に戻り、以下、同様の処理が繰り返される。
【００７６】
一方、ステップＳ２１において、再生装置１２の動作モードが再生モードでないと判定された場合、ステップＳ２８に進み、再生パラメータ処理部５４は、再生装置１２の動作モードが編集モードであるかどうかを判定する。ステップＳ２８において、再生装置１２の動作モードが編集モードでないと判定された場合、ステップＳ２１に戻り、以下、同様の処理が繰り返される。
【００７７】
また、ステップＳ２８において、再生装置１２の動作モードが編集モードであると判定された場合、ステップＳ２９に進み、以下、編集モードの処理が行われる。
【００７８】
編集モードの処理では、ステップＳ２９において、記録再生部５１は、記録媒体１１に記録されたコンテンツデータ２１の再生を開始する。これにより、記録媒体１１から、コンテンツデータ２１が再生され（読み出され）、通常画像が、画像抽出部５２に供給される。
【００７９】
または、ステップＳ２９において、再生パラメータ処理部５４により、編集の、いわば基準とするコンテンツデータ２１を再生するのに用いる再生パラメータ３０（ファイル２２）（再生用セット）を、例えば、ステップＳ２２における場合と同様に選択する。そして、再生パラメータ処理部５４は、ステップＳ２３における場合と同様に、記録再生部５１を制御することにより、コンテンツデータ２１と再生用セットの再生を開始させる。これにより、記録媒体１１からは、コンテンツデータ２１が再生され（読み出され）、通常画像が、画像抽出部５２に供給されるとともに、ファイル記憶部５８から再生用セットの再生パラメータが、再生パラメータ処理部５４に供給される。
【００８０】
再生パラメータ処理部５４は、再生用セットの再生パラメータ３０の再生が開始され、これにより、記録再生部５１からの再生パラメータ３０の供給が開始されると、その再生パラメータ３０の、画像抽出部５２、信号処理部５３、および再生パラメータ記憶部５６への供給を開始し、ステップＳ３０に進む。
【００８１】
再生装置１２は、コンテンツデータ２１のみを再生し、通常画像を提供することが可能である。よって、ユーザは、記録媒体１１に記録されているコンテンツデータ２１を再生させ、その再生にともない提供される通常画像に対して編集を加えることが可能とされている。
【００８２】
また、再生装置１２は、コンテンツデータ２１とファイル２２に含まれる再生パラメータ３０を再生することにより、編集された通常画像をユーザに提供することが可能である。よって、ユーザは、コンテンツデータ２１と再生パラメータ３０を再生させ、その再生にともない提供される編集された通常画像に対して、さらに編集を加えることが可能とされている。
【００８３】
通常画像に対して編集を加えるか、編集画像に対してさらに編集を加えるかは、例えば、ステップＳ２２の処理と同じように、ユーザにファイル名を選択させることで決定されるようにしても良い。ファイル名を選択させるようにした場合、通常画像に対して編集を加えるためのファイル名も表示される。
【００８４】
ここでは、通常画像に対して編集が加えられる場合を例に挙げて説明を続ける。
【００８５】
ステップＳ３０において、再生パラメータ処理部５４は、ユーザが、編集を指令するように、操作部５５を操作したかどうかを判定する。ステップＳ３０において、編集操作が行われていないと判定された場合、即ち、ユーザが、編集を指令するように、操作部５５を操作していないと判定された場合、ステップＳ３１をスキップして、ステップＳ３２に進む。
【００８６】
また、ステップＳ３０において、編集操作が行われたと判定された場合、即ち、ユーザが、編集を指令するように、操作部５５を操作したと判定された場合、ステップＳ３１に進み、再生パラメータ処理部５４は、その編集操作が行われたときに注目フレームであった通常画像の注目フレームの対応パラメータとして、その編集操作に応じた再生パラメータ（新たな再生パラメータ）（以下、適宜、編集パラメータともいう）を生成し、画像抽出部５２、信号処理部５３、および再生パラメータ記憶部５６に供給する。
【００８７】
従って、この場合、画像抽出部５２では、通常画像から、再生パラメータ処理部５４からの編集パラメータに含まれる情報によって特定される抽出ウインドウ内の画像が、抽出画像として抽出され、信号処理部５３では、画像抽出部５２から供給される抽出画像に対して、再生パラメータ処理部５４から供給される編集パラメータに含まれる情報が表す内容の信号処理を施し、表示装置１３に供給する。その結果、表示装置１３では、編集操作に従って編集された画像が表示される。
【００８８】
さらに、再生パラメータ記憶部５６は、再生パラメータ処理部５４から供給される編集パラメータを記憶する。このとき、注目フレームから特徴量が抽出され、その特徴量と関連付けられて、編集パラメータが生成され記憶される。後述する処理において、ファイル記憶部５８に、編集パラメータが記憶される場合、特徴量は、同期特徴量３１として記憶され、編集に関して生成されたパラメータは、加工データ３２として、同期特徴量３１と関連付けられて記憶される。
【００８９】
なお、編集対象とされている通常画像（コンテンツデータ２１）に関する再生パラメータ３０が既にある場合には、その再生パラメータ３０に含まれる同期特徴量３１が読み出され、再生パラメータ記憶部５６に記憶される。そして、その同期特徴量３１に関連付ける処理で、新たな編集に関するパラメータが関連付けられて、編集パラメータが生成され、記憶される。
【００９０】
ステップＳ３１において、編集パラメータが、画像抽出部５２、信号処理部５３、および再生パラメータ記憶部５６に供給された後は、ステップＳ３２に処理が進められ、再生パラメータ処理部５４は、操作部５５が、ユーザによって、再生を停止するように操作（停止操作）されたかどうかを判定する。ステップＳ３２において、停止操作が行われていないと判定された場合、ステップＳ３０に戻り、同様の処理が繰り返される。
【００９１】
また、ステップＳ３２において、停止操作が行われたと判定された場合、ステップＳ３３に進み、再生パラメータ処理部５４は、記録再生部５１、画像抽出部５２、および信号処理部５３を制御することにより、通常画像の再生、画像の抽出、および抽出画像に対する信号処理を全て停止させる。
【００９２】
ステップＳ３４において、再生パラメータ処理部５４は、再生パラメータ記憶部５６に記憶された再生パラメータの集合であるパラメータセットを、ファイル記憶部５８に新たに記憶（保存）するかどうかを判定する。
【００９３】
即ち、再生パラメータ処理部５４は、信号処理部５３を制御することにより、新たなパラメータセットを保存するかどうかを問い合わせる問い合わせメッセージを、表示装置１３に表示させ、その問い合わせメッセージに対して、ユーザが操作部５５を操作するのを待って、再生パラメータ記憶部５６に記憶された新たなパラメータセットを、ファイル記憶部５８に記憶するかどうかを判定する。
【００９４】
ステップＳ３４において、再生パラメータ記憶部５６に記憶された新たなパラメータセットを、ファイル記憶部５８に記憶すると判定された場合、即ち、問い合わせメッセージに対して、ユーザが、新たなパラメータセットを記憶するように、操作部５５を操作した場合、ステップＳ３５に進み、再生パラメータ処理部５４は、再生パラメータ記憶部５６に記憶されている新たなパラメータセットを読み出し、その新たなパラメータセットを、ファイル記憶部５８に記憶させる。
【００９５】
また、ステップＳ３４において、再生パラメータ記憶部５６に記憶された新たなパラメータセットを、ファイル記憶部５８に記憶しないと判定された場合、即ち、問い合わせメッセージに対して、ユーザが、新たなパラメータセットを記憶しないように、操作部５５を操作した場合、ステップＳ３５をスキップして、ステップＳ３６に進み、再生パラメータ処理部５４は、再生パラメータ記憶部５６に記憶された新たなパラメータセットを削除（消去）して、ステップＳ２１に戻り、以下、同様の処理が繰り返される。
【００９６】
なお、編集モードの処理においてファイル記憶部５８に記憶された新たなパラメータセットは、再生用セットとして選択することができ、従って、その新たなパラメータセットの再生パラメータに対応した画像コンテンツを、表示装置１３に表示することが可能となる。
【００９７】
また、図５のフローチャートにしたがった処理は、操作部５５が、ユーザによって電源をオフにするように操作されると終了する。
【００９８】
以上のように、ユーザが編集操作を行うことにより、その編集操作に応じて、編集パラメータ（新たな再生パラメータ）が生成され、その編集パラメータに基づいて、抽出処理や信号処理が行われる。従って、ユーザは、所望の編集を簡便に行うことができ、ユーザにとって最適な画像を提供することができる。
【００９９】
さらに、記録媒体１１に記録されているコンテンツデータ２１（通常画像）に対しては、複数のパラメータセット（加工データ３２）が存在しても良く、従って、ユーザは、様々な編集操作を行って、様々なパラメータセットを生成することにより、その様々なパラメータセットそれぞれに対応した、様々な画像コンテンツを制作することができる。
【０１００】
ここで、編集モードのときに、ユーザが指定する編集が、追尾ズームである場合について説明を加える。上記したように、ユーザは、編集として通常画像の一部分を拡大するという編集を行うことができる。まず拡大について、図６Ａ乃至図６Ｃを参照して説明する。
【０１０１】
図６Ａは、表示装置１３に写し出されている画像の一例を示している。図６Ａに示した画像は、家と人が写し出されている画像である。このような画像が表示されているときに、ユーザが人の顔をよく見たいと思い、人の顔の画像を拡大する。その拡大、すなわち所定の画像の拡大が指示されたときに、拡大する画像の範囲がユーザにより設定される。
【０１０２】
図６Ｂは、ユーザにより、画像内の人の顔の部分に、拡大の画枠７１が設定された状態を示している。図６Ｂに示した例の場合、人の顔の画像の部分に、画枠７１が設定されている。このように画枠７１が設定されると、表示装置１３に、画枠７１が設定された範囲内の画像のみが表示される。すなわちこの場合、図６Ｂに示す通常画像が表示装置１３に表示されるときであっても、拡大が指示されているので、図６Ｃに示すように、表示装置１３には、人の顔の画像が表示される。
【０１０３】
このような拡大に関する操作を、ユーザがフレーム毎に行い、フレーム毎に再生パラメータ３０が生成されるようにはしなくても良いように、追尾ズームという機能がある。図７Ａ乃至Ｅを参照して追尾ズームについて説明する。
【０１０４】
追尾ズームとは、ユーザがズーム機能を使用する際のアシスト機能である。このアシスト機能は、ユーザにより、操作部５５が操作されてズームして追いかけたい対象に追尾点が合わせられ指定されると、その対象を追いかけるような処理をしながら（追尾するような処理をしながら）ズーム処理を継続する機能である。追尾ズームを処理するアプリケーションによっては、追尾ズーム中にズーム画枠が変更できるように構成されていたり、追尾点が変更できるように構成されていたりする。
【０１０５】
図７Ａは、表示装置１３に写し出されている画像の一例を示している。図７Ａに示した画像は、家と人が写し出されている画像である。このような画像が表示されているときに、ユーザが人の顔をよく見たいと思い、人の顔の画像に対してズームをかけ、さらに、その人の顔を常に拡大状態で表示されるように設定する。すなわち、この場合、人の顔に追尾ズームが設定される。
【０１０６】
所定の画像が拡大された状態で、その画像が追尾されて表示されるように指示された場合、拡大する画像の中心とその範囲がユーザにより設定される。図７Ｂは、ユーザにより、画像内の人の顔の部分に、ズームの画枠８１が設定された状態を示している。この画枠８１は、追尾点８２を中心とした所定の大きさに設定されるようにしても良いし、ユーザによりその大きさが設定されるようにしても良い。
【０１０７】
図７Ｂに示した例の場合、人の顔の画像の部分に、追尾点８２が設定され、人の顔の全体が含まれるような画枠８１が設定されている。このように追尾点８２や画枠８１が設定されると、表示装置１３に、画枠８１が設定された範囲内の画像のみが表示される。このとき、追尾点が画面中心となり、ズーム画枠（ズーム率）に従ってズームされる。すなわちこの場合、図７Ｃに示すように、表示装置１３には、人の顔の画像が表示される。
【０１０８】
さらに、この画面内の人が、移動した場合、拡大された状態が維持されながら、追尾されるので、例えば、図７Ｄに示したような画像が表示装置１３に表示される。図７Ｃと図７Ｄを比較するに、図７Ｄには、図７Ｃには表示されていなかった家の一部分が表示されている。図７Ｄに示した画像は、追尾ズームが設定されていないときには、図７Ｅに示した画像が表示装置１３に表示されるときの画像である。
【０１０９】
図７Ｅは、説明のために図示したのであり、実際の処理ではユーザが指定しない限りユーザに提供される画像ではなく、追尾ズーム中に追尾点とズーム画枠を入力画像に表示した画である。図７Ｂの画像に対して、図７Ｅの画像では、人が図中斜め左下に移動している。追尾対象が移動した場合、追尾ズームは、その対象を追いかけながら（追尾して）ズーム処理を行うため、図７Ｄに示したような画像が、ユーザに提供される。
【０１１０】
よって、追尾ズームの処理が行われている間は、あたかも撮影したその場でカメラを動かして対象を追いかけたような画像が得られる。
【０１１１】
このような追尾ズームという編集が、ステップＳ３０において指定された場合、ステップＳ３１においては、追尾ズームの処理で、追尾されている画像の通常画像内での位置に関する情報（例えば、追尾点８２が位置する座標の情報）と、その大きさに関する情報（例えば、画枠８１に関する情報）のうち、少なくとも一方を含む編集パラメータ（再生パラメータ３０）が生成される。
【０１１２】
追尾ズームが停止されるまで、ステップＳ３０とステップＳ３１の処理が繰り返されることにより、再生パラメータ３０が生成し続けられる。すなわちユーザは、追尾ズームの設定を一度行うだけで、再生パラメータ３０が生成し続けられる。
【０１１３】
このようにして生成された再生パラメータ３０と、通常画像のコンテンツデータ２１が再生されることにより、ユーザは、追尾ズームされている編集後の通常画像を閲覧することができる。すなわち、通常画像からユーザにより指示された画像が抽出され、拡大された画像が、ユーザに提供される。
【０１１４】
さらに、編集として追尾ズームが指定されているときのことについて説明を続ける。例えば、図８に示すような通常画像が、表示装置１３に表示されるようなコンテンツデータ２１が再生されているときを例に挙げて説明を続ける。
【０１１５】
図８に示した通常画像には、人物１０１と人物１０２が表示されている。ユーザが、人物１０１に対して追尾ズームを実行したい場合、図９に示すように、人物１０１を囲むような画枠１２１が設定される（以下の説明においては、追尾点の設定については省略して説明する）。この画枠１２１のアスペクト比は、表示装置１３の画枠と同一のアスペクト比である。この画枠１２１で追尾ズームの処理が実行されると、図１０に示すように、人物１０１のみが拡大されて表示されている画像が、ユーザに提供される。
【０１１６】
ユーザが、人物１０２に対して追尾ズームを実行したい場合、図１１に示すように、人物１０２を囲むような画枠１２２が設定される。この結果、追尾ズームの処理が実行されることにより、図１２に示すように、人物１０２のみが拡大されて表示されている画像が、ユーザに提供される。
【０１１７】
このように、例えば、通常画像に人物１０１と人物１０２が表示されているような通常画像に対して、人物１０１と人物１０２に、別々に追尾ズームの処理を実行させることが可能である。このようなときには、別々に編集が行われて、別々の加工データ３２が生成され、記憶される。
【０１１８】
図１３を参照し、このように、１つの通常画像に対して、２つの編集が行われたときに生成されるパラメータについて説明する。ファイル１５１には、再生パラメータ１６０−１乃至１６０−Ｎが含まれる。再生パラメータ１６０−１には、同期特徴量１６１−１に加工データ１７１−１と加工データ１７２−１が関連付けられて含まれている。同様に、再生パラメータ１６０−２には、同期特徴量１６１−２に加工データ１７１−２と加工データ１７２−２が関連付けられて含まれている。同様に、再生パラメータ１６０−３には、同期特徴量１６１−３に加工データ１７１−３と加工データ１７２−３が関連付けられて含まれている。同様に、再生パラメータ１６０−Ｎには、同期特徴量１６１−Ｎに加工データ１７１−Ｎと加工データ１７２−Ｎが関連付けられて含まれている。
【０１１９】
再生パラメータ１６０−１に関連付けられている加工データ１７１−１と加工データ１７２−１のうち、加工データ１７１−１は、人物１０１に対して追尾ズームの編集が行われたときに生成されたデータであり、加工データ１７２−１は、人物１０２に対して追尾ズームの編集が行われたときに生成されたデータである。このように、１つのフレームに対して２つの編集が行われたときには、１つの同期特徴量１６１に対して、２つの加工データ１７１，１７２が関連付けられる。
【０１２０】
例えば、図８に示したような画像（フレーム）に対して、加工データ１７１−１に基づく編集が行われると、図１０に示したような人物１０１が拡大された画像が表示装置１３に表示され、加工データ１７２−１に基づく編集が行われると、図１２に示したような人物１０２が拡大された画像が表示装置１３に表示される。
【０１２１】
コンテンツデータ２１に基づく映像は、複数のフレームから構成されており、例えば、Ｎ枚のフレームから構成されている場合、図１３に示したように、Ｎ個の再生パラメータ１６０−１乃至１６０−Ｎが、コンテンツデータ２１に対応するファイル１５１に含まれる。
【０１２２】
このように、２つの加工データ１７１と加工データ１７２が存在するときに、上記したように、それぞれ別に再生することも可能であり、別々に再生する場合、１つの同期特徴量に１つの加工データが関連付けられているときの再生に関する処理と同等に行われ、１つの同期特徴量に１つの加工データが関連付けられているときの再生に関する処理については、上記したように行われるので、ここではその説明を省略する。
【０１２３】
次に、１つの同期特徴量に２つの加工データが関連付けられているとき、すなわち、図１３に示したようなファイル１５１がコンテンツデータ２１とともに再生されるときの処理について説明する。まず、ここでは、図１４乃至図１９を参照し、２つの加工データが同時に処理されたときの表示装置１３上に表示される画像について説明する。
【０１２４】
図１４は、図８に示したような画像がユーザ側に提供されるときであり、図９に示したように、人物１０１に対して画枠１２１が設定された状態と、図１１に示したように、人物１０２に対して画枠１２２が設定された状態を、同一の画像上に、疑似的に示した図である。
【０１２５】
上記したように、図１３の加工データ１７１は、人物１０１に対して設定された画枠１２１で追尾ズームしたときに生成されるデータであり、図１３の加工データ１７２は、人物１０２に対して設定された画枠１２２で追尾ズームしたときに生成されるデータである。すなわち、加工データ１７１と加工データ１７２を同時に再生する場合、図１４に示したように、人物１０１に設定された画枠１２１での追尾ズームと、人物１０２に設定された画枠１２２での追尾ズームが、同時に実行されるような画像がユーザに提供される。
【０１２６】
ここでは、２つの追尾ズームが同時に実行されるような画像がユーザに提供されるときには、換言すれば、２つの画枠が設定されているときに、その２つの画枠で追尾ズームが実行されるようなときには、２つの画枠を加算することにより生成される新たな画枠での追尾ズームが行われるとして説明を続ける。
【０１２７】
この場合、図１５に示すように、画枠１２１と画枠１２２を含む画枠２０１が新たに設定され、この画枠２０１での追尾ズームの結果が、ユーザに提供される。画枠２０１は、人物１０１と人物１０２が含まれるサイズの画枠である。このような画枠２０１で追尾ズームの処理が実行されると、図１６に示したような画像がユーザに提供される。図１６に示したように、図１５に示した画枠２０１内の画像が拡大された画像が、ユーザに提供される。
【０１２８】
また、例えば、図１７に示したように、人物１０１に人物１０２が近づくような映像であった場合、換言すれば、画枠１２１と画枠１２２が重なるような状況になった場合、図１８に示したような画枠２０１が生成され、その画枠２０１内の画像が拡大されて表示され、図１９に示したような画像が表示装置１３に表示される。
【０１２９】
追尾ズームの場合であり、２つの加工データが同時に再生される場合、２つの加工データでそれぞれ示される画枠を含むサイズの画枠で、追尾ズームの処理が実行される。よって、画枠は可変的にフレーム毎に設定される。また、ここでは、２つの加工データ（２つの画枠）が同時に再生される場合を例に挙げて説明しているが、本発明は、複数の加工データが同時に再生される場合も、同様に処理することで適用することが可能である。
【０１３０】
このように、複数の加工データが同時に再生されるときであり、再生モードのときの再生装置１２の処理について、図２０のフローチャートを参照して説明する。
【０１３１】
ステップＳ６１において、再生パラメータ処理部５４は、記録媒体１１に記録されたコンテンツデータ２１を再生するのに用いるファイルを、ファイル記憶部５８から選択する。この場合、ファイル記憶部５８には、図１３に示したようなファイル１５１が記憶されているとする。
【０１３２】
ユーザは、表示装置１３に表示されたファイル名の一覧を見て、操作部５５を操作することにより、ファイル名の一覧から、１つのファイル名を選択すると、ステップＳ６１において、再生パラメータ処理部５４は、そのファイル名によって特定されるファイル１５１を、画像の再生に用いるファイル１５１として選択する。
【０１３３】
ステップＳ６２において、再生パラメータ処理部５４は、ファイル記憶部５８に記憶されているファイル１５１に含まれる再生パラメータ１６０を読み出す。そして、再生パラメータ処理部５４は、読み出された再生パラメータ１６０のうち、複数の加工データを含む再生パラメータ１６０があるか否かを判断する。図１３に示したファイル１５１の場合、例えば、再生パラメータ１６０−１には、加工データ１７１−１と加工データ１７２―２が含まれているため、ステップＳ６２においては、複数の加工データが含まれている（１つの同期特徴量１６１に対して複数の加工データが関連付けられている）と判断される。
【０１３４】
例えば、図２に示したように、ファイル２２に含まれている再生パラメータのうち、再生パラメータ３０−１には加工データ３２−１しか含まれていないが、再生パラメータ３０−２には、加工データ３２−２と加工データ３２−３が含まれている場合がある。再生パラメータは、フレーム毎に生成されるため、また、編集されたフレームにだけ生成されるため、図２に示したように、１つの加工データ３２−１を含む再生パラメータ３０−１と２つの加工データ３２−２，３２−３を含む再生パラメータ３０−２が、１つのファイル２２内に存在することがある。
【０１３５】
よって、再生パラメータ処理部５４は、ステップＳ６２の処理を実行するとき、例えば、先頭の再生パラメータ１６０を参照するだけで判断を行うのではなく、複数の再生パラメータ１６０を参照して判断する。または、ファイル１５１に、複数の加工データを含むファイルであるか否を示すフラグを設け、そのフラグを参照することにより、ステップＳ６２における判断が行われるようにしても良い。
【０１３６】
ステップＳ６２において、１つの同期特徴量に複数の加工データは関連付けられていないと判断された場合、ステップＳ６３に処理が進められる。この場合、１つの加工データだけが１つの同期特徴量に関連付けられていると判断されたときであり、図５のフローチャートを参照して説明した再生モードのときの処理（ステップＳ２２乃至Ｓ２６）と同様であるので、ここではその説明を省略する。
【０１３７】
ステップＳ６２において、１つの同期特徴量に複数の加工データが関連付けられていると判断された場合、ステップＳ６７に処理が進められる。ステップＳ６７において、加工データが選択される。この加工データの選択は、例えば、ステップＳ６１において、ファイルが選択されたのと同様の処理によりに行うことが可能である。
【０１３８】
ステップＳ６７において、加工データが選択されると、ステップＳ６８に処理が進められる。ステップＳ６８において、選択された加工データの合算が指示されたか否かが判断される。選択された加工データの合算が指示されるときには、複数の加工データが、ステップＳ６７の処理で選択されたことを意味し、選択された加工データの合算が指示されないときには、１つの加工データが、ステップＳ６７の処理で選択されたことを意味する。
【０１３９】
ステップＳ６８において、加工データの合算は指示されていないと判断された場合、換言すれば、１つの加工データが選択されたと判断されるときには、ステップＳ６３に処理が進められ、それ以降の処理が実行される。
【０１４０】
一方、ステップＳ６８において、加工データの合算が指示されたと判断された場合、ステップＳ６９に処理が進められる。ステップＳ６９において、通常画像と再生パラメータの再生が開始される。すなわち、記録媒体１１に記録されたコンテンツデータ２１とファイル記憶部５８に記憶されているファイル１５１の再生が開始される。これにより、記録媒体１１からは、コンテンツデータ２１が再生され（読み出され）、コンテンツデータ２１が、画像抽出部５２に供給されるとともに、ファイル記憶部５８からファイル１５１（ファイル１５１に含まれる再生パラメータ１６０）が、再生パラメータ処理部５４に供給される。
【０１４１】
ここで、上述したように、再生パラメータ３０は、フレーム毎に存在しうる。通常画像の再生は、特に指定されない限り、再生パラメータ１６０が存在する時間的に最も前のフレームから開始される。
【０１４２】
再生パラメータ処理部５４は、ファイル１５１に含まれる再生パラメータ１６０の再生を開始する。これにより、記録再生部５１からの再生パラメータ１６０の供給が開始される。また、再生パラメータ処理部５４は、加工データ演算部５７に、読み出された再生パラメータ１６０に含まれる加工データ１７１と加工データ１７２を供給する。
【０１４３】
ステップＳ７０において、加工データ演算部５７は、加工データ１７１と加工データ１７２を用いて、画枠のサイズを算出する。すなわち、例えば、図１５の画枠２０１が設定される。図１５を参照して説明した例においては、画枠２０１は、画枠１２１と画枠１２２（図１４）を含む画枠として設定された。
【０１４４】
画枠２０１の位置や大きさは、例えば、画枠１２１と画枠１２２のそれぞれの頂点の座標（合計８個）から、最も端に存在する座標（合計４個）を抽出することにより求めることが可能である。座標に関するデータは、加工データ１７１や加工データ１７２に含まれている。
【０１４５】
なお、画枠が設定される際、表示装置１３の画枠のサイズ（アスペクト比）も考慮して設定される。
【０１４６】
ステップＳ７０において、画枠が設定されると、ステップＳ７１において、その画枠で、通常画像から、画像が抽出される。記録再生部５１から画像抽出部５２に対し、例えばフレーム単位で通常画像が供給され、画像抽出部５２は、記録再生部５１から供給される通常画像のフレームを、順次、注目フレームとして、その注目フレームから、加工データ演算部５７で演算され、再生パラメータ処理部５４を介して供給された画枠のサイズで、抽出画像を抽出し、信号処理部５３に供給する。
【０１４７】
ステップＳ７２において、信号処理部５３は、画像抽出部５２から供給される抽出画像（のフレーム）に対する、再生パラメータ処理部５４から供給される再生パラメータ（対応パラメータ）に基づく信号処理を開始する。
【０１４８】
ステップＳ７３において、再生パラメータ処理部５４は、操作部５５が、ユーザによって、再生を停止するように操作（停止操作）されたかどうかを判定する。ステップＳ７３において、停止操作が行われていないと判定された場合、ステップＳ６９に戻り、以下、同様の処理が繰り返されることにより、複数の編集が組み合わされたときの編集結果が、ユーザに提供される。
【０１４９】
ステップＳ７３において、停止操作が行われたと判定された場合、ステップＳ７４に処理が進められ、再生パラメータ処理部５４は、記録再生部５１、画像抽出部５２、信号処理部５３、および加工データ演算部５７を制御することにより、再生パラメータの再生、抽出画像の抽出、抽出画像に対する信号処理、加工データの合算（画枠の算出）などの処理を停止させる。
【０１５０】
ステップＳ７１乃至Ｓ７３の処理は、画枠のデータが、加工データ演算部５７で演算されたデータであること以外は、基本的に、ステップＳ６４乃至Ｓ６６の処理と同様に行われる。
【０１５１】
ステップＳ７５において、再生パラメータ処理部５４は、再生パラメータ記憶部５６に記憶された再生パラメータの集合であるパラメータセットを、ファイル記憶部５８に新たに記憶（保存）するかどうかを判定する。この場合、パラメータセットは、加工データ演算部５７により演算された結果であり、複数の編集の結果を組み合わせたものである。
【０１５２】
即ち、再生パラメータ処理部５４は、信号処理部５３を制御することにより、新たなパラメータセットを保存するかどうかを問い合わせる問い合わせメッセージを、表示装置１３に表示させ、その問い合わせメッセージに対して、ユーザが操作部５５を操作するのを待って、再生パラメータ記憶部５６に記憶された新たなパラメータセットを、ファイル記憶部５８に記憶するかどうかを判定する。
【０１５３】
ステップＳ７５において、再生パラメータ記憶部５６に記憶された新たなパラメータセットを、ファイル記憶部５８に記憶すると判定された場合、即ち、問い合わせメッセージに対して、ユーザが、新たなパラメータセットを記憶するように、操作部５５を操作した場合、ステップＳ７６に進み、再生パラメータ処理部５４は、再生パラメータ記憶部５６に記憶されている新たなパラメータセットを読み出し、その新たなパラメータセットを、ファイル記憶部５８に記憶させる。
【０１５４】
また、ステップＳ７５において、再生パラメータ記憶部５６に記憶された新たなパラメータセットを、ファイル記憶部５８に記憶しないと判定された場合、即ち、問い合わせメッセージに対して、ユーザが、新たなパラメータセットを記憶しないように、操作部５５を操作した場合、ステップＳ７６をスキップして、ステップＳ７７に進み、再生パラメータ処理部５４は、再生パラメータ記憶部５６に記憶された新たなパラメータセットを削除（消去）して、ステップＳ６１に戻り、以下、同様の処理が繰り返される。
【０１５５】
以上のように、通常画像から２つの加工データに基づく画枠で抽出画像が抽出されることにより、この場合、別々に施された追尾ズームの結果が、合わさったときの結果を、ユーザは、簡単に確認することができる。換言すれば、別々に施した複数の編集を組み合わせたときに、どのような編集結果になるのかを、簡便に確認させることが可能となる。
【０１５６】
上記した実施の形態においては、追尾ズームという編集が施されたときの複数の加工データを加算することで、別の画枠での追尾ズームが行われるときの例を説明したが、次に、追尾ズームという編集が施されたときの複数の加工データを減算することで、別の画枠での追尾ズームが行われるときの例を説明する。
【０１５７】
図２１は、人物１０１と人物１０２が表示されている画像において、画枠２０１と画枠２０２が設定され、それぞれの画枠で追尾ズームの処理が実行された状態であり、その２つの画枠が設定された状態を、疑似的に１画面で示した図である。画枠２０１で、追尾ズームが実行されたことにより、加工データが生成され、画枠２０２で、追尾ズームが実行されたことにより、加工データが生成される。ここでは、画枠２０１で追尾ズームが実行された結果、生成された加工データを加工データ１７１（図１３）とし、画枠２０２で追尾ズームが実行された結果、生成された加工データを加工データ１７２（図１３）として説明を続ける。
【０１５８】
図２１に示した人物１０１と人物１０２の位置関係が、図２２に示したようになった場合、すなわち、人物１０１は動いていないが、人物１０２が人物１０１に近づいたような場合、画枠２０１と画枠２０２が重なるような状態になる。このようなときに、ユーザにより一方の画枠内の画像を表示させるが、他方の画枠内の画像は表示させないという設定がされていた場合、図２３に示すような画枠が生成され、その画枠での追尾ズームの処理が実行される。
【０１５９】
ここでは、画枠２０１内の人物１０１を表示させ、画像２０２内の人物１０２を表示させないと設定されているとする。このような設定がされているときに、画枠２０１に画枠２０２が重なると、画枠２０１から、画枠２０２を除くような画枠２２１が設定される。すなわち、画枠２０１よりは小さいが、画枠２０２が含まれないような画枠２２１が設定される。換言すれば、画枠２０１から画枠２０２を減算した画枠が、新たな画枠２２１として設定される。また、このとき、新たな画枠２２１のアスペクト比は、他の画枠と同様に、表示装置１３の画枠と同一のアスペクト比とする必要があるため、図２３に示したように人物１０１の一部分だけが写し出されるような画枠が設定されることもある。
【０１６０】
このように設定されている場合、人物１０１に関する加工データ１７１と人物１０２に関する加工データ１７２が同時に再生されたときに、表示装置１３に表示されるのは、人物１０１だけである。仮に、図２２に示したように人物１０２が、人物１０１に近づいても、人物１０２が表示されない画枠に変更されて表示が行われるので、結果的に表示装置１３に表示されるのは人物１０１だけである。このように、複数の画像から、好みの画像のみを表示させることも本発明を適用することで可能となる。
【０１６１】
次に、このような加工データの減算に関する処理について説明を加える。複数の加工データのうち、所望の加工データに基づく画像を表示させ、他の加工データに基づく画像を表示させないときの処理は、図２４に示したフローチャートに基づいて処理される。
【０１６２】
図２４に示したフローチャートの処理は、図２０に示したフローチャートの処理と基本的に同様である。すなわち、複数の加工データを再生するときに、加算する処理を実行するときの処理と基本的に同様に、減算する処理が実行される。ここでは、図２０に示したフローチャートとは異なる処理についてのみ説明を加える。
【０１６３】
複数の加工データを再生するときに、減算する処理を実行する場合、ステップＳ１０８において、加工データの減算が指示されたか否かが判断される。ユーザは、複数の加工データから、表示させる画像と、表示させない画像を選択する。その選択に応じて加工データが選択される。なお、ユーザは、表示させる画像を選択するだけで、換言すれば、表示させいない画像は選択しないでも、選択されなかった画像は、表示させない画像として設定されるようにしても良い。
【０１６４】
図２３に示した例の場合、表示させる画像は、画枠２０１内の人物１０１であり、その画枠２０１での追尾ズームの処理の結果、生成される加工データは、加工データ１７１（図１３）であるので、ユーザにより、表示させる画像に対応する加工データとして選択されるのは加工データ１７１である。また、図２３に示した例の場合、削除する画像は、画枠２０２内の人物１０２であり、その画枠２０２での追尾ズームの処理の結果、生成される加工データは、加工データ１７２（図１３）であるので、ユーザにより、表示させる画像に対応する加工データとして選択されるのは加工データ１７２である。
【０１６５】
ステップＳ１０８において、ユーザにより、加工データの減算が指示されたと判断された場合、ステップＳ１０９に処理が進められる。ステップＳ１０９において、記録媒体１１から、コンテンツデータ２１が読み出され、ファイル記憶部５８から再生パラメータ１６０が読み出される。ステップＳ１１０において、画枠のサイズが算出される。ステップＳ１１０において行われる画枠のサイズの算出は、ユーザにより表示する画像として設定された加工データから、表示しない画像として設定されている加工データを減算することで行われる。
【０１６６】
この場合、読み出された再生パラメータ１６０に含まれる加工データ１７１と加工データ１７２を用いて行われる。図２３を参照して説明したように、画枠２０１が、画枠２０２を含まないような画枠に設定される場合、例えば、加工データ１７１に含まれる画枠２０１に関するデータと、加工データ１７２に含まれる画枠２０２に関するデータが用いられて画枠２２１が設定される。
【０１６７】
ステップＳ１１０において、画枠のサイズが算出されると、ステップＳ１１１において、設定された画枠で、ユーザが表示させるとして設定した画像の一部が削除されてしまうことがないか否かが判断される。例えば、図２３を再度参照するに、画枠２０２が、人物１０１と重なった場合、画枠２０２内の画像は表示させない設定となっているため、表示させる設定になっている人物１０１の一部または全部が表示されない可能性がある。
【０１６８】
表示させたい画像の一部が表示されなくても良いという設定にしておくことも可能であり、そのように設定されている場合には、ステップＳ１１１の処理を省略すること可能である。しかしながら、表示させたい画像の一部が表示されない状況は許可しない、換言すれば、表示させたい画像として設定されている画像は、全て表示される状態にするという設定にされている場合、ステップＳ１１１において、表示するとして設定されている画像の一部でも、表示されない状態になってしまうような画枠のサイズでないか否かが判断される。
【０１６９】
ステップＳ１１１において、画像の一部が削除されてしまうと判断された場合、ステップＳ１１０に処理が戻され、再度、画枠のサイズが算出される。このとき、表示が指示されている画像が全て表示される画枠のサイズが算出される。再度設定された画枠に対して、ステップＳ１１１の処理が実行される。ステップＳ１１１において、画像の一部が削除されてしまうような画枠ではないと判断された場合、ステップＳ１１２に処理が進められる。
【０１７０】
なお、画枠が設定される際、表示装置１３の画枠のサイズ（アスペクト比）も考慮して設定される。
【０１７１】
ステップＳ１１２以下の処理は、図２０のフローチャートのステップＳ７１と同様の処理なので、その説明は省略する。
【０１７２】
以上のように、通常画像から２つの加工データに基づく画枠で抽出画像が抽出されることにより、この場合、別々に施された追尾ズームの結果が、合わさったときの結果を、ユーザは、簡単に確認することができる。換言すれば、別々に施した複数の編集を組み合わせたときに、どのような編集結果になるのかを、簡便に確認させることが可能となる。
【０１７３】
このように、本発明によれば、複数の編集を別々に施すことができ、別々に施した複数の編集を組み合わせることが容易にできるようになる。よって、ユーザは、別々に施した複数の編集から、新たな編集を施した画像を、容易に取得することが可能となる。
【０１７４】
［記録媒体について］
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１７５】
図２５は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウェアの構成の例を示すブロック図である。
【０１７６】
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【０１７７】
バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【０１７８】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０１７９】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、或いは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１８０】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。
【０１８１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、或いは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１８２】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１８３】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１８４】
【図１】本発明を適用したシステムの一実施の形態の構成を示す図である。
【図２】ファイルについて説明する図である。
【図３】再生装置の内部構成例を示す図である。
【図４】画像の抽出について説明するための図である。
【図５】再生装置の動作について説明するフローチャートである。
【図６】ズームについて説明するための図である。
【図７】追尾ズームについて説明するための図である。
【図８】表示装置に表示される画像の一例である。
【図９】表示装置に表示される画像の一例である。
【図１０】表示装置に表示される画像の一例である。
【図１１】表示装置に表示される画像の一例である。
【図１２】表示装置に表示される画像の一例である。
【図１３】ファイルについて説明するための図である。
【図１４】表示装置に表示される画像の一例である。
【図１５】表示装置に表示される画像の一例である。
【図１６】表示装置に表示される画像の一例である。
【図１７】表示装置に表示される画像の一例である。
【図１８】表示装置に表示される画像の一例である。
【図１９】表示装置に表示される画像の一例である。
【図２０】再生装置の動作について説明するフローチャートである。
【図２１】表示装置に表示される画像の一例である。
【図２２】表示装置に表示される画像の一例である。
【図２３】表示装置に表示される画像の一例である。
【図２４】再生装置の動作について説明するフローチャートである。
【図２５】記録媒体について説明するための図である。
【符号の説明】
【０１８５】
１１  記録媒体，  １２  再生装置，  １３  表示装置，  ２１  コンテンツデータ，  ２２  ファイル，  ３１  同期特徴量，  ３２  加工データ，  ５１  記録再生部，  ５２  画像抽出部，  ５３  信号処理部，  ５４  再生パラメータ処理部，  ５５  操作部，  ５６  再生パラメータ記憶部，  ５７  加工データ演算部，  ５８  ファイル記憶部，  １２１  画枠，  １２２  画枠，  １５１  ファイル，  １６１  同期特徴量，  １７１  加工データ，  １７２  加工データ，  ２０１  画枠
【図１】
2008311807.tif 000003
【図２】
2008311807.tif 000004
【図３】
2008311807.tif 000005
【図４】
2008311807.tif 000006
【図５】
2008311807.tif 000007
【図６】
2008311807.tif 000008
【図７】
2008311807.tif 000009
【図８】
2008311807.tif 000010
【図９】
2008311807.tif 000011
【図１０】
2008311807.tif 000012
【図１１】
2008311807.tif 000013
【図１２】
2008311807.tif 000014
【図１３】
2008311807.tif 000015
【図１４】
2008311807.tif 000016
【図１５】
2008311807.tif 000017
【図１６】
2008311807.tif 000018
【図１７】
2008311807.tif 000019
【図１８】
2008311807.tif 000020
【図１９】
2008311807.tif 000021
【図２０】
2008311807.tif 000022
【図２１】
2008311807.tif 000023
【図２２】
2008311807.tif 000024
【図２３】
2008311807.tif 000025
【図２４】
2008311807.tif 000026
【図２５】
2008311807.tif 000027