(57)【要約】【課題】ユーザにとって最適な画像を提供する。【解決手段】  記録媒体４には、ユーザが録画したと認識している通常画像よりも広角で高解像度の画像であり、かつ通常画像に映っている範囲全体が映っている画像である大容量画像と、大容量画像において、通常画像に映っている範囲が映っている領域を表す情報を含む再生パラメータとが記録されている。記録再生部２１は、記録媒体４から、大容量画像と再生パラメータとを再生し、画像抽出部２２は、再生パラメータに基づいて、大容量画像から、一部の領域の画像を抽出し、抽出画像として、表示装置３に表示させる。一方、再生パラメータ処理部２４は、ユーザによる操作部２６の操作に応じて、新たな再生パラメータを生成し、この場合、画像抽出部２２は、新たな再生パラメータに基づいて、抽出画像を抽出する。本発明は、例えば、画像を記録、再生する装置に適用できる。【選択図】図４
2006270187.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像を出力する第１の撮像手段と、
前記第１の画像よりも広角で高解像度の画像であり、かつ前記第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像を出力する第２の撮像手段と、
前記第１の画像を表示する表示手段と、
前記第２の画像から、前記第１の画像に映っている範囲が映っている領域を検出し、その領域を表す情報を少なくとも含む再生パラメータを生成する生成手段と、
前記第２の画像と、前記再生パラメータとを出力する出力制御手段と
を備えることを特徴とする撮影装置。
【請求項２】
前記第１の画像に信号処理を施す信号処理手段をさらに備え、
前記表示手段は、前記信号処理手段において信号処理された前記第１の画像を表示し、
前記生成手段は、前記信号処理手段が前記第１の画像に施した信号処理の内容を表す情報をさらに含む再生パラメータを生成する
ことを特徴とする請求項１に記載の撮影装置。
【請求項３】
第１の画像を出力する第１の撮像手段と、
前記第１の画像よりも広角で高解像度の画像であり、かつ前記第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像を出力する第２の撮像手段と、
前記第１の画像を表示する表示手段と
を備える撮影装置の情報処理方法において、
前記第２の画像から、前記第１の画像に映っている範囲が映っている領域を検出し、その領域を表す情報を少なくとも含む再生パラメータを生成する生成ステップと、
前記第２の画像と、前記再生パラメータとを出力する出力制御ステップと
を含むことを特徴とする情報処理方法。
【請求項４】
第１の画像を出力する第１の撮像手段と、
前記第１の画像よりも広角で高解像度の画像であり、かつ前記第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像を出力する第２の撮像手段と、
前記第１の画像を表示する表示手段と
を備える撮影装置を制御するコンピュータに実行させるプログラムにおいて、
前記第２の画像から、前記第１の画像に映っている範囲が映っている領域を検出し、その領域を表す情報を少なくとも含む再生パラメータを生成する生成ステップと、
前記第２の画像と、前記再生パラメータとを出力する出力制御ステップと
を含むことを特徴とする処理を、コンピュータに実行させるプログラム。
【請求項５】
第１の画像を出力する第１の撮像手段と、
前記第１の画像よりも広角で高解像度の画像であり、かつ前記第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像を出力する第２の撮像手段と、
前記第１の画像を表示する表示手段と
を備える撮影装置を制御するコンピュータに実行させるプログラムが記録されているプログラム記録媒体において、
前記第２の画像から、前記第１の画像に映っている範囲が映っている領域を検出し、その領域を表す情報を少なくとも含む再生パラメータを生成する生成ステップと、
前記第２の画像と、前記再生パラメータとを出力する出力制御ステップと
を含むことを特徴とする処理を、コンピュータに実行させるプログラムが記録されているプログラム記録媒体。
【請求項６】
第１の画像よりも広角で高解像度の画像であり、かつ前記第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像と、
前記第２の画像において、前記第１の画像に映っている範囲が映っている領域を表す情報を少なくとも含む再生パラメータと
が記録されたデータ記録媒体から、前記第２の画像と、前記再生パラメータとを再生する再生制御手段と、
前記再生パラメータに基づいて、前記第２の画像から、少なくとも一部の領域の画像を抽出し、抽出画像として出力する抽出手段と、
ユーザの操作に応じて、新たな再生パラメータを生成する再生パラメータ生成手段と、
前記新たな再生パラメータを記録する記録制御手段と
を備え、
前記抽出手段は、前記新たな再生パラメータが生成された場合には、前記新たな再生パラメータに基づいて、前記抽出画像を抽出する
ことを特徴とする情報処理装置。
【請求項７】
前記再生パラメータは、前記抽出画像に施す信号処理の内容を表す情報をさらに含み、
前記再生パラメータに基づいて、前記抽出画像に信号処理を施す信号処理手段をさらに備え、
前記信号処理手段は、前記新たなパラメータが生成された場合には、前記新たな再生パラメータに基づいて、前記抽出画像に信号処理を施す
ことを特徴とする請求項６に記載の情報処理装置。
【請求項８】
第１の画像よりも広角で高解像度の画像であり、かつ前記第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像と、
前記第２の画像において、前記第１の画像に映っている範囲が映っている領域を表す情報を少なくとも含む再生パラメータと
が記録されたデータ記録媒体から、前記第２の画像と、前記再生パラメータとを再生する再生制御ステップと、
前記再生パラメータに基づいて、前記第２の画像から、少なくとも一部の領域の画像を抽出し、抽出画像として出力する抽出ステップと、
ユーザの操作に応じて、新たな再生パラメータを生成する再生パラメータ生成ステップと、
前記新たな再生パラメータを記録する記録制御ステップと
を含み、
前記抽出ステップでは、前記新たな再生パラメータが生成された場合には、前記新たな再生パラメータに基づいて、前記抽出画像を抽出する
ことを特徴とする情報処理方法。
【請求項９】
コンピュータに実行させるプログラムにおいて、
第１の画像よりも広角で高解像度の画像であり、かつ前記第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像と、
前記第２の画像において、前記第１の画像に映っている範囲が映っている領域を表す情報を少なくとも含む再生パラメータと
が記録されたデータ記録媒体から、前記第２の画像と、前記再生パラメータとを再生する再生制御ステップと、
前記再生パラメータに基づいて、前記第２の画像から、少なくとも一部の領域の画像を抽出し、抽出画像として出力する抽出ステップと、
ユーザの操作に応じて、新たな再生パラメータを生成する再生パラメータ生成ステップと、
前記新たな再生パラメータを記録する記録制御ステップと
を含み、
前記抽出ステップでは、前記新たな再生パラメータが生成された場合には、前記新たな再生パラメータに基づいて、前記抽出画像を抽出する
ことを特徴とする処理を、コンピュータに実行させるプログラム。
【請求項１０】
コンピュータに実行させるプログラムが記録されているプログラム記録媒体において、
第１の画像よりも広角で高解像度の画像であり、かつ前記第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像と、
前記第２の画像において、前記第１の画像に映っている範囲が映っている領域を表す情報を少なくとも含む再生パラメータと
が記録されたデータ記録媒体から、前記第２の画像と、前記再生パラメータとを再生する再生制御ステップと、
前記再生パラメータに基づいて、前記第２の画像から、少なくとも一部の領域の画像を抽出し、抽出画像として出力する抽出ステップと、
ユーザの操作に応じて、新たな再生パラメータを生成する再生パラメータ生成ステップと、
前記新たな再生パラメータを記録する記録制御ステップと
を含み、
前記抽出ステップでは、前記新たな再生パラメータが生成された場合には、前記新たな再生パラメータに基づいて、前記抽出画像を抽出する
ことを特徴とする処理を、コンピュータに実行させるプログラムが記録されているプログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体に関し、特に、ユーザにとって最適な画像を提供することができるようにする撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体に関する。
【背景技術】
【０００２】
例えば、ビデオカメラにおいては、撮像によって得られた画像（画像データ）が、例えば、DV(Digital Video)方式やMPEG(Moving Picture Experts Group)方式で符号化され、テープやディスクなどの記録媒体に記録される。
【０００３】
また、ビデオカメラには、一般に、ズーム機能が設けられている。ズーム機能によれば、撮像によって得られる画像の画角（画像に映る範囲の画角）（倍率）を変更することができる。即ち、例えば、ユーザがズームイン操作を行って撮影すれば、被写体をクローズアップ（拡大）した狭い画角の画像を得ることができ、ユーザがズームアウト操作を行って撮影すれば、広い範囲が映った広角の画像を得ることができる。
【０００４】
ところで、従来のビデオカメラにおいては、撮像を行って画像を出力する撮像手段が１つしか設けられていないため、上述のようなズーム操作（ズームイン操作、ズームアウト操作）によって、画像の画角を変更することはできるが、異なる画角の画像を同時に得ることはできなかった。
【０００５】
そこで、２つの撮像手段を有し、例えば、画角の狭い画像と、画角の広い画像とを同時に得ることができるビデオカメラが提案されている（例えば、特許文献１参照）。
【０００６】
【特許文献１】特開2004-282296号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、ユーザは、ビデオカメラのファインダ等に表示された画像を確認しながら、所望の被写体を撮影する。従って、ある被写体を撮影している間に生じている他のシーン、つまり、ファインダ等に表示された画像に映っている範囲以外の範囲のシーン（例えば、撮像を行っている範囲以外の範囲で偶発的に起こった出来事など）は、すべて見逃していることになる。
【０００８】
また、ユーザが、ビデオカメラによって撮像した画像を再生して見たとしても、その画像に映っている範囲以外の範囲は、見ることができない。
【０００９】
以上のように、ユーザがビデオカメラによって撮影を行った場合には、そのユーザは、その撮影によって得られた画像に映っている範囲のシーン以外は見ることができず、従って、その画像が、必ずしも、ユーザにとって最適なものであるとは限らない。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、ユーザにとって最適な画像を提供することができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の撮影装置は、第１の画像を出力する第１の撮像手段と、第１の画像よりも広角で高解像度の画像であり、かつ第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像を出力する第２の撮像手段と、第２の画像から、第１の画像に映っている範囲が映っている領域を検出し、その領域を表す情報を少なくとも含む再生パラメータを生成する生成手段と、第２の画像と、再生パラメータとを出力する出力制御手段とを備えることを特徴とする。
【００１２】
本発明の第１の情報処理方法は、第１の画像よりも広角で高解像度の画像であり、かつ第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像から、第１の画像に映っている範囲が映っている領域を検出し、その領域を表す情報を少なくとも含む再生パラメータを生成する生成ステップと、第２の画像と、再生パラメータとを出力する出力制御ステップとを含むことを特徴とする。
【００１３】
本発明の第１のプログラムは、第１の画像よりも広角で高解像度の画像であり、かつ第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像から、第１の画像に映っている範囲が映っている領域を検出し、その領域を表す情報を少なくとも含む再生パラメータを生成する生成ステップと、第２の画像と、再生パラメータとを出力する出力制御ステップとを含むことを特徴とする。
【００１４】
本発明の第１のプログラム記録媒体に記録されているプログラムは、第１の画像よりも広角で高解像度の画像であり、かつ第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像から、第１の画像に映っている範囲が映っている領域を検出し、その領域を表す情報を少なくとも含む再生パラメータを生成する生成ステップと、第２の画像と、再生パラメータとを出力する出力制御ステップとを含むことを特徴とする。
【００１５】
本発明の情報処理装置は、第１の画像よりも広角で高解像度の画像であり、かつ第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像と、第２の画像において、第１の画像に映っている範囲が映っている領域を表す情報を少なくとも含む再生パラメータとが記録されたデータ記録媒体から、第２の画像と、再生パラメータとを再生する再生制御手段と、再生パラメータに基づいて、第２の画像から、少なくとも一部の領域の画像を抽出し、抽出画像として出力する抽出手段と、ユーザの操作に応じて、新たな再生パラメータを生成する再生パラメータ生成手段と、新たな再生パラメータを記録する記録制御手段とを備え、抽出手段は、新たな再生パラメータが生成された場合には、新たな再生パラメータに基づいて、抽出画像を抽出することを特徴とする。
【００１６】
本発明の第２の情報処理方法は、第１の画像よりも広角で高解像度の画像であり、かつ第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像と、第２の画像において、第１の画像に映っている範囲が映っている領域を表す情報を少なくとも含む再生パラメータとが記録されたデータ記録媒体から、第２の画像と、再生パラメータとを再生する再生制御ステップと、再生パラメータに基づいて、第２の画像から、少なくとも一部の領域の画像を抽出し、抽出画像として出力する抽出ステップと、ユーザの操作に応じて、新たな再生パラメータを生成する再生パラメータ生成ステップと、新たな再生パラメータを記録する記録制御ステップとを含み、抽出ステップでは、新たな再生パラメータが生成された場合には、新たな再生パラメータに基づいて、抽出画像を抽出することを特徴とする。
【００１７】
本発明の第２のプログラムは、第１の画像よりも広角で高解像度の画像であり、かつ第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像と、第２の画像において、第１の画像に映っている範囲が映っている領域を表す情報を少なくとも含む再生パラメータとが記録されたデータ記録媒体から、第２の画像と、再生パラメータとを再生する再生制御ステップと、再生パラメータに基づいて、第２の画像から、少なくとも一部の領域の画像を抽出し、抽出画像として出力する抽出ステップと、ユーザの操作に応じて、新たな再生パラメータを生成する再生パラメータ生成ステップと、新たな再生パラメータを記録する記録制御ステップとを含み、抽出ステップでは、新たな再生パラメータが生成された場合には、新たな再生パラメータに基づいて、抽出画像を抽出することを特徴とする。
【００１８】
本発明の第２のプログラム記録媒体に記録されているプログラムは、第１の画像よりも広角で高解像度の画像であり、かつ第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像と、第２の画像において、第１の画像に映っている範囲が映っている領域を表す情報を少なくとも含む再生パラメータとが記録されたデータ記録媒体から、第２の画像と、再生パラメータとを再生する再生制御ステップと、再生パラメータに基づいて、第２の画像から、少なくとも一部の領域の画像を抽出し、抽出画像として出力する抽出ステップと、ユーザの操作に応じて、新たな再生パラメータを生成する再生パラメータ生成ステップと、新たな再生パラメータを記録する記録制御ステップとを含み、抽出ステップでは、新たな再生パラメータが生成された場合には、新たな再生パラメータに基づいて、抽出画像を抽出することを特徴とする。
【００１９】
本発明の撮影装置、第１の情報処理方法、第１のプログラム、および第１のプログラム記録媒体に記録されているプログラムにおいては、第１の画像よりも広角で高解像度の画像であり、かつ第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像から、第１の画像に映っている範囲が映っている領域が検出され、その領域を表す情報を少なくとも含む再生パラメータが生成され、第２の画像と、再生パラメータとが出力される。
【００２０】
本発明の情報処理装置、第２の情報処理方法、第２のプログラム、および第２のプログラム記録媒体に記録されているプログラムにおいては、第１の画像よりも広角で高解像度の画像であり、かつ第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像と、第２の画像において、第１の画像に映っている範囲が映っている領域を表す情報を少なくとも含む再生パラメータとが記録されたデータ記録媒体から、第２の画像と、再生パラメータとが再生され、再生パラメータに基づいて、第２の画像から、少なくとも一部の領域の画像が抽出され、抽出画像として出力される。一方、ユーザの操作に応じて、新たな再生パラメータが生成され、新たな再生パラメータが記録される。そして、新たな再生パラメータが生成された場合には、新たな再生パラメータに基づいて、抽出画像が抽出される。
【発明の効果】
【００２１】
本発明によれば、ユーザにとって最適な画像を提供することができる。
【発明を実施するための最良の形態】
【００２２】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２３】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２４】
請求項１に記載の撮影装置は、
第１の画像を出力する第１の撮像手段（例えば、図２の通常カメラ部１１）と、
前記第１の画像よりも広角で高解像度の画像であり、かつ前記第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像を出力する第２の撮像手段（例えば、図２の広角カメラ部１４）と、
前記第１の画像を表示する表示手段（例えば、図２の表示部１３）と、
前記第２の画像から、前記第１の画像に映っている範囲が映っている領域を検出し、その領域を表す情報を少なくとも含む再生パラメータを生成する生成手段（例えば、図３のステップＳ４の処理を行う図２のコントローラ１７）と、
前記第２の画像と、前記再生パラメータとを出力する出力制御手段（例えば、図３のステップＳ１およびＳ５の処理を行う図２のコントローラ１７）と
を備えることを特徴とする。
【００２５】
請求項２に記載の撮影装置は、
前記第１の画像に信号処理を施す信号処理手段（例えば、図２の通常信号処理部１２）をさらに備え、
前記表示手段は、前記信号処理手段において信号処理された前記第１の画像を表示し、
前記生成手段は、前記信号処理手段が前記第１の画像に施した信号処理の内容を表す情報をさらに含む再生パラメータを生成する
ことを特徴とする。
【００２６】
請求項３に記載の情報処理方法は、
第１の画像を出力する第１の撮像手段（例えば、図２の通常カメラ部１１）と、
前記第１の画像よりも広角で高解像度の画像であり、かつ前記第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像を出力する第２の撮像手段（例えば、図２の広角カメラ部１４）と、
前記第１の画像を表示する表示手段（例えば、図２の表示部１３）と
を備える撮影装置（例えば、図２の撮像装置１）の情報処理方法において、
前記第２の画像から、前記第１の画像に映っている範囲が映っている領域を検出し、その領域を表す情報を少なくとも含む再生パラメータを生成する生成ステップ（例えば、図３のステップＳ４）と、
前記第２の画像と、前記再生パラメータとを出力する出力制御ステップ（例えば、図３のステップＳ１およびＳ５）と
を含むことを特徴とする。
【００２７】
請求項４に記載のプログラム、および請求項５に記載のプログラム記録媒体に記録されているプログラムは、
第１の画像を出力する第１の撮像手段（例えば、図２の通常カメラ部１１）と、
前記第１の画像よりも広角で高解像度の画像であり、かつ前記第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像を出力する第２の撮像手段（例えば、図２の広角カメラ部１４）と、
前記第１の画像を表示する表示手段（例えば、図２の表示部１３）と
を備える撮影装置（例えば、図２の撮像装置１）を制御するコンピュータ（例えば、図２のCPU１７Ａ）に実行させるプログラムにおいて、
前記第２の画像から、前記第１の画像に映っている範囲が映っている領域を検出し、その領域を表す情報を少なくとも含む再生パラメータを生成する生成ステップ（例えば、図３のステップＳ４）と、
前記第２の画像と、前記再生パラメータとを出力する出力制御ステップ（例えば、図３のステップＳ１およびＳ５）と
を含むことを特徴とする。
【００２８】
請求項６に記載の情報処理装置は、
第１の画像よりも広角で高解像度の画像であり、かつ前記第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像と、
前記第２の画像において、前記第１の画像に映っている範囲が映っている領域を表す情報を少なくとも含む再生パラメータと
が記録されたデータ記録媒体から、前記第２の画像と、前記再生パラメータとを再生する再生制御手段（例えば、図４の記録再生部２１）と、
前記再生パラメータに基づいて、前記第２の画像から、少なくとも一部の領域の画像を抽出し、抽出画像として出力する抽出手段（例えば、図４の画像抽出部２２）と、
ユーザの操作に応じて、新たな再生パラメータを生成する再生パラメータ生成手段（例えば、図４の再生パラメータ処理部２４）と、
前記新たな再生パラメータを記録する記録制御手段（例えば、図４の記録再生部２１）と
を備え、
前記抽出手段は、前記新たな再生パラメータが生成された場合には、前記新たな再生パラメータに基づいて、前記抽出画像を抽出する
ことを特徴とする。
【００２９】
請求項７に記載の情報処理装置は、
前記再生パラメータは、前記抽出画像に施す信号処理の内容を表す情報をさらに含み、
前記再生パラメータに基づいて、前記抽出画像に信号処理を施す信号処理手段（例えば、図４の信号処理部２３）をさらに備え、
前記信号処理手段は、前記新たなパラメータが生成された場合には、前記新たな再生パラメータに基づいて、前記抽出画像に信号処理を施す
ことを特徴とする。
【００３０】
請求項８に記載の情報処理方法は、
第１の画像よりも広角で高解像度の画像であり、かつ前記第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像と、
前記第２の画像において、前記第１の画像に映っている範囲が映っている領域を表す情報を少なくとも含む再生パラメータと
が記録されたデータ記録媒体から、前記第２の画像と、前記再生パラメータとを再生する再生制御ステップ（例えば、図７のステップＳ３０）と、
前記再生パラメータに基づいて、前記第２の画像から、少なくとも一部の領域の画像を抽出し、抽出画像として出力する抽出ステップ（例えば、図７のステップＳ３２）と、
ユーザの操作に応じて、新たな再生パラメータを生成する再生パラメータ生成ステップ（例えば、図７のステップＳ３５）と、
前記新たな再生パラメータを記録する記録制御ステップ（例えば、図７のステップＳ３９）と
を含み、
前記抽出ステップでは、前記新たな再生パラメータが生成された場合には、前記新たな再生パラメータに基づいて、前記抽出画像を抽出する
ことを特徴とする。
【００３１】
請求項９に記載のプログラム、および請求項１０に記載のプログラム記録媒体に記録されているプログラムは、
第１の画像よりも広角で高解像度の画像であり、かつ前記第１の画像に映っている範囲全体が少なくとも映っている画像である第２の画像と、
前記第２の画像において、前記第１の画像に映っている範囲が映っている領域を表す情報を少なくとも含む再生パラメータと
が記録されたデータ記録媒体から、前記第２の画像と、前記再生パラメータとを再生する再生制御ステップ（例えば、図７のステップＳ３０）と、
前記再生パラメータに基づいて、前記第２の画像から、少なくとも一部の領域の画像を抽出し、抽出画像として出力する抽出ステップ（例えば、図７のステップＳ３２）と、
ユーザの操作に応じて、新たな再生パラメータを生成する再生パラメータ生成ステップ（例えば、図７のステップＳ３５）と、
前記新たな再生パラメータを記録する記録制御ステップ（例えば、図７のステップＳ３９）と
を含み、
前記抽出ステップでは、前記新たな再生パラメータが生成された場合には、前記新たな再生パラメータに基づいて、前記抽出画像を抽出する
ことを特徴とする。
【００３２】
以下、図面を参照して、本発明の実施の形態について説明する。
【００３３】
図１は、本発明を適用した画像処理システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成例を示している。
【００３４】
撮影装置１は、例えば、いわゆるビデオカメラであり、ユーザの操作に応じて撮像を行って、その結果得られる画像（画像データ）と、画像を再生するときに用いられるパラメータである再生パラメータを、記録媒体４に記録する。
【００３５】
再生装置２は、記録媒体４に記録された画像と再生パラメータとを再生し、再生パラメータに基づいて、記録媒体４から再生した画像から、所定の領域（の画像）を抽出し、表示装置３に供給する。
【００３６】
表示装置３は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などで構成され、再生装置２からの画像を表示する。
【００３７】
記録媒体４は、例えば、磁気テープや、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどで、撮影装置１および再生装置２に対して着脱可能になっている。なお、記録媒体４は、撮影装置１に内蔵させることができ、この場合、撮影装置１において、記録媒体４に記録された画像等を再生して、再生装置２に伝送することができる。また、記録媒体４は、再生装置２に内蔵させることができ、この場合、撮影装置１で得られた画像等は、撮影装置１から再生装置２に伝送し、再生装置２において記録媒体４に記録することができる。
【００３８】
次に、図２は、図１の撮影装置１の構成例を示している。
【００３９】
通常カメラ部１１は、一般的なビデオカメラが有する光学系や、光電変換素子（例えば、CCD(Chaged Coupled Device) やCMOS(Complementary Metal Oxide Semiconductor)イメージャなど）などを内蔵し、コントローラ１７からの制御にしたがい、そこに入射する光を光電変換して、画像（データ）を出力する。
【００４０】
なお、通常カメラ部１１は、例えば、光学的なズーム機構を有しており、コントローラ１７は、操作部１５がズームイン操作またはズームアウト操作されると、そのズームイン操作またはズームアウト操作に応じて、通常カメラ部１１のズーム機構を制御する。通常カメラ部１１は、コントローラ１７からの制御にしたがって、内蔵する光学系を駆動し、これにより、狭いまたは広い画角の範囲を撮像し、その画角の画像を出力する。
【００４１】
ここで、通常カメラ部１１が撮像を行って出力する画像を、以下、適宜、通常画像という。
【００４２】
通常カメラ部１１が出力する通常画像は、通常信号処理部１２とコントローラ１７に供給されるようになっている。通常信号処理部１２は、通常カメラ部１１からの通常画像に対し、コントローラ１７からの制御にしたがった信号処理を施し、表示部１３に供給する。
【００４３】
ここで、信号処理部１２で行われる信号処理としては、例えば、ノイズリダクションや、手ぶれ補正などがある。信号処理部１２で行われる信号処理は、例えば、操作部１５を操作することによって設定することができ、コントローラ１７は、その設定に応じて、通常信号処理部１２を制御する。
【００４４】
表示部１３は、通常カメラ部１１で撮像されている画像（通常画像）を、ユーザが確認するためのモニタ（あるいは、ファインダ）で、通常信号処理部１２から供給される通常画像（通常信号処理部１２で信号処理された通常画像）を表示する。
【００４５】
広角カメラ部１４は、コントローラ１７からの制御にしたがい、そこに入射する光を光電変換して、画像（データ）を、コントローラ１７と記録部１８に出力する。
【００４６】
なお、広角カメラ部１４は、通常カメラ部１１が撮像する通常画像よりも広角で高解像度の画像であり、かつ通常画像に映っている範囲全体が少なくとも映っている画像（以下、適宜、大容量画像という）を出力するようになっており、そのような大容量画像を撮像することができる光学系や光電変換素子などを内蔵している。
【００４７】
ここで、通常画像よりも広角の画像を得る方法としては、例えば、広角カメラ部１４の光学系として、魚眼レンズなどの広角レンズを採用する方法や、広角カメラ部１４として、全方位カメラを採用する方法がある。その他、通常カメラ部１１と同様のカメラ部を複数用意して、各カメラ部を、撮像方向が少しずつ異なるように配置し、各カメラ部で得られる画像をつなぎ合わせることによっても、通常画像よりも広角の画像を得ることができる。
【００４８】
また、通常画像よりも高解像度の画像を得る方法としては、例えば、広角カメラ部１４の光電変換素子として、通常カメラ部１１の光電変換素子よりも画素が小さく、画素数が多い光電変換素子を採用する方法がある。
【００４９】
さらに、大容量画像を、通常画像に映っている範囲全体が少なくとも映っている画像とするには、通常カメラ部１１において最も広角の画像を撮像したときに、その画像に映っている範囲全体を、広角カメラ部１４でも、少なくとも撮像することができるように、通常カメラ部１１と広角カメラ部１４を、撮影装置１に配置するようにすれば良い。
【００５０】
なお、例えば、広角カメラ部１４として、全方位カメラを採用し、その全方位カメラによって広角の大容量画像を撮像した場合、その広角の大容量画像は、環状の画像（丸画像）になっているので、広角カメラ部１４は、その環状の画像を、遠視投影した画像（パノラマ画像）に変換して出力する。広角カメラ部１４において、魚眼レンズを用いて広角の大容量画像を得た場合も同様である。
【００５１】
また、大容量画像は、通常画像に比較して、できるだけ広角で高解像度の画像であることが望ましい。
【００５２】
操作部１５は、例えば、記録媒体４への画像の記録の開始や、その停止、さらには、通常カメラ部１１におけるズームインやズームアウトなどを指令するときに、ユーザによって操作され、その操作に対応した操作信号を、コントローラ１７に供給する。ここで、ズームインまたはズームアウトを指令する操作部１５の操作が、それぞれ、ズームイン操作またはズームアウト操作である。また、以下、適宜、ズームイン操作とズームアウト操作を、まとめて、ズーム操作という。
【００５３】
センサ１６は、例えば、加速度センサで、撮影装置１の動きの情報をセンシングし、コントローラ１７に供給する。
【００５４】
コントローラ１７は、CPU(Central Processing Unit)１７Ａ，RAM(Random Access Unit)１７Ｂ，EEPROM(Electrically Erasable Programmable Read Only Memory)１７Ｃなどで構成され、CPU１７Ａが、EEPROM１７Ｃに記憶されたプログラムを実行することにより、撮影装置１の各部を制御する。
【００５５】
即ち、CPU１７Ａは、EEPROM１７Ｃに記憶されたプログラムを、RAM１７Ｂにロードして実行し、これにより、各種の処理を行う。RAM１７Ｂは、CPU１７Ａが実行するプログラムや、CPU１７Ａの動作上必要なデータを一時記憶する。EEPROM１７Ｃは、CPU１７Ａが実行するプログラムや、撮像装置１の電源がオフされた後も保持しておく必要があるデータなどを記憶する。
【００５６】
なお、CPU１７Ａに実行させるプログラムは、EEPROM１７Ｃにあらかじめインストールしておく他、後述するリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）し、リムーバブル記録媒体１１１からEEPROM１７Ｃにインストールすることができる。また、プログラムは、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、撮影装置１に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、撮影装置１に有線で転送し、撮影装置１では、そのようにして転送されてくるプログラムを、図示せぬ通信I/F(Interface)で受信し、EEPROM１７Ｃにインストールすることができる。
【００５７】
ここで、以上のように、CPU１７Ａがプログラムを実行することにより、コントローラ１７は、通常カメラ部１１や、広角カメラ部１４、記録部１８などを制御する。
【００５８】
また、コントローラ１７は、広角カメラ部１４からの大容量画像から、通常カメラ部１１からの通常画像に映っている範囲が映っている領域（以下、適宜、通常画像に対応する領域という）を検出して、その領域を表す情報を少なくとも含む再生パラメータを生成し、記録部８１に出力する。
【００５９】
即ち、コントローラ１７は、通常画像と大容量画像とのマッチングを、通常画像のサイズを変えるとともに、通常画像とマッチングする大容量画像上の位置を変えながら行う。そして、コントローラ１７は、通常画像と大容量画像とが最もマッチングする、通常画像のサイズと大容量画像上の位置、具体的には、例えば、通常画像の各画素と、その画素と同一位置の大容量画像の画素との画素値の絶対値差分の総和等が最小になる通常画像のサイズと大容量画像上の位置を求め、そのサイズと位置で特定される大容量画像の領域を、通常画像に対応する領域として検出する。
【００６０】
なお、コントローラ１７は、通常カメラ部１１と広角カメラ部１４との位置関係等から、大容量画像における通常画像に対応する領域のおおよその位置を求めるとともに、通常カメラ部１１のズーム機構の状態に基づいて、大容量画像における通常画像に対応する領域のおおよそのサイズを求め、そのおおよその位置とサイズを基準として、通常画像の位置とサイズを変えながら、通常画像と大容量画像とのマッチングを行う。
【００６１】
また、コントローラ１７では、センサ１６からの情報に基づいて、撮影装置１がパン(pan)、あるいはチルト(tilt)されたことを認識し、コントローラ１７が生成する再生パラメータには、大容量画像における通常画像に対応する領域の情報の他、撮影装置１がパン、あるいはチルトされたといった情報、さらには、通常カメラ部１１のズーム機構の状態を表す情報（例えば、倍率など）なども含めることができる。
【００６２】
記録部１８は、コントローラ１７の制御にしたがい、広角カメラ部１４からの大容量画像と、コントローラ１７からの再生パラメータを、記録媒体４に出力して記録する。
【００６３】
次に、図３のフローチャートを参照して、図２の撮影装置１の動作について説明する。
【００６４】
ユーザが、撮影装置１の操作部１５を操作して、電源をオンにすると、通常カメラ部１１と広角カメラ部１４が撮像を開始し、これにより、通常カメラ部１１は、撮像によって得られた通常画像の出力を開始し、広角カメラ部１４は、撮像によって得られた大容量画像の出力を開始する。
【００６５】
通常カメラ部１１が出力する通常画像は、通常信号処理部１２とコントローラ１７に供給され、広角カメラ部１４が出力する大容量画像は、コントローラ１７と記録部１８に供給される。通常信号処理部１２は、通常カメラ部１１からの通常画像に信号処理を施し、表示部１３に供給する。これにより、表示部１３では、通常画像が、いわゆるスルー画として表示される。ユーザは、例えば、表示部１３に表示された通常画像を見て、撮影しようとする対象を特定する。
【００６６】
その後、ステップＳ１において、コントローラ１７は、記録部１８を制御することにより、広角カメラ部１４が出力する大容量画像の、記録媒体４への記録（出力）を開始させ、ステップＳ２に進む。
【００６７】
ステップＳ２では、コントローラ１７は、操作部１５が、ユーザによって、録画（記録）を開始するように操作（録画操作）されたかどうかを判定する。ステップＳ２において、録画操作が行われていないと判定された場合、ステップＳ３に進み、コントローラ１７は、操作部１５が、ユーザによって、電源をオフにするように操作（電源オフ操作）されたかどうかを判定する。
【００６８】
ステップＳ３において、電源オフ操作がされていないと判定された場合、ステップＳ２に戻り、以下、同様の処理が繰り返される。
【００６９】
また、ステップＳ２において、録画操作が行われたと判定された場合、即ち、ユーザが、表示部１３に表示された通常画像を見て、その通常画像に映っているシーンを録画するために録画操作を行って撮影（録画）を開始した場合、ステップＳ４に進み、コントローラ１７は、通常カメラ部１１が出力する通常画像、および広角カメラ部１４が出力する大容量画像などを用いた再生パラメータの生成を開始する。
【００７０】
即ち、コントローラ１７は、広角カメラ部１４からの大容量画像から、通常カメラ部１１からの通常画像に対応する領域を検出し、その領域を表す情報と、通常信号処理部１２において通常画像に施されている信号処理の内容を表す情報等を含む再生パラメータを生成する。
【００７１】
その後、ステップＳ５に進み、コントローラ１７は、ステップＳ４で生成を開始した再生パラメータの、記録媒体４への記録を開始させる。即ち、コントローラ１７は、記録部１８を制御することにより、自身が生成する再生パラメータの、記録媒体４への記録（出力）を開始させる。
【００７２】
なお、ここでは、説明を簡単にするために、通常カメラ部１１が出力する通常画像と、広角カメラ部１４が出力する大容量画像とのフレームレートが同一であり、かつ、同一のタイミング（位相）で、通常画像と大容量画像のフレーム（の画像データ）が出力されるものとすると、再生パラメータは、フレームごとに生成され、そのフレームごとの再生パラメータが、記録媒体４に記録される。
【００７３】
ステップＳ５において再生パラメータの記録が開始されると、ステップＳ６に進み、コントローラ１７は、操作部１５が、ユーザによって、録画（記録）を停止するように操作（停止操作）されたかどうかを判定する。ステップＳ６において、停止操作が行われていないと判定された場合、ステップＳ７に進み、コントローラ１７は、操作部１５が、ユーザによって電源オフ操作されたかどうかを判定する。
【００７４】
ステップＳ７において、電源オフ操作がされていないと判定された場合、ステップＳ６に戻り、以下、同様の処理が繰り返される。
【００７５】
また、ステップＳ６において、停止操作が行われたと判定された場合、ステップＳ８に進み、コントローラ１７は、ステップＳ４で開始した再生パラメータの生成と、ステップＳ５で開始した再生パラメータの記録とを停止する。そして、ステップＳ８からステップＳ２に戻り、以下、同様の処理が繰り返される。
【００７６】
一方、ステップＳ３またはＳ７において、電源オフ操作がされたと判定された場合、ステップＳ９に進み、コントローラ１７は、記録部１８を制御することにより、ステップＳ１で開始した大容量画像の記録を停止させ、さらに、通常カメラ部１１と広角カメラ部１４による撮像を停止させて、処理を終了する。
【００７７】
以上のように、撮影装置１では、電源がオンにされている間、大容量画像が記録媒体４に記録され続ける。そして、録画操作が行われると、停止操作が行われるまで、さらに、再生パラメータの記録が行われる。
【００７８】
上述したように、大容量画像は、通常画像に映っている範囲全体が少なくとも映っている広角の画像であるから、通常画像に映っている範囲外の範囲も映っている。さらに、大容量画像は、録画操作がされる前であっても記録され、また、停止操作がされた後であっても記録される。
【００７９】
従って、撮影装置１によれば、ユーザが撮影（録画）したと認識しているシーン（通常画像に映っているシーン）は勿論、それ以外の多数のシーンが映っている大容量画像が、再生パラメータとともに、記録媒体４に記録される。
【００８０】
なお、撮影装置１では、通常画像には、通常信号処理部１２において、手ぶれ補正やノイズリダクション等の信号処理が施されるが、大容量画像には、そのような信号処理が施されない。従って、記録媒体４には、そのような信号処理が施されていない大容量画像が記録される。
【００８１】
また、撮影装置１では、録画操作がされから停止操作がされるまでの間は、記録媒体４に、大容量画像と再生パラメータとが記録されるが、大容量画像と再生パラメータとは、例えば、多重化して１つのファイル等として記録しても良いし、別々のファイル等として記録しても良い。
【００８２】
さらに、図３では、撮影装置１の電源がオンにされてからオフにされるまでの間、記録媒体４に大容量画像を記録するようにしたため、記録媒体４の容量が問題となりうるが、今後は、記録媒体４の超大容量化が見込まれるので、記録媒体４の容量は、それほど問題にはならないと考えられる。但し、それでも、記録媒体４の容量には限界があるので、例えば、撮影装置１の電源がオンにされてからオフにされるまでの間のうちの、録画操作がされた時刻の所定時間だけ前の時刻から、停止操作がされた時刻の所定時間だけ後の時刻までの大容量画像を、記録媒体４に記録するようにすることが可能である。これは、電源がオンされた後に記録された大容量画像のうちの、録画操作がされた時刻の所定時間だけ前の時刻より前に記録された部分を削除するとともに、停止操作がされてから所定時間だけ経過した後に記録された大容量画像（次の録画操作がされた時刻から所定時間だけ前の時刻以後に記録された大容量画像を除く）を削除することによって行うことができる。
【００８３】
次に、図４は、図１の再生装置２の構成例を示している。
【００８４】
記録再生部２１は、例えば、ユーザによる操作部２６の操作に応じて、記録媒体４から大容量画像および再生パラメータを再生して、大容量画像を画像抽出部２２に供給し、再生パラメータを再生パラメータ処理部２４に供給する。さらに、記録再生部２１は、再生パラメータ処理部２４から供給される再生パラメータを、記録媒体４に記録する。
【００８５】
画像抽出部２２は、再生パラメータ処理部２４から供給される再生パラメータに基づいて、記録再生部２１から供給される大容量画像から、少なくとも一部の領域の画像を抽出し、その抽出した画像（以下、適宜、抽出画像という）を、信号処理部２３に出力する。
【００８６】
即ち、再生パラメータは、大容量画像上の長方形状の領域を表す情報としての、例えば、その長方形状の領域の横および縦の長さと、大容量画像上における左上の点の座標とを含んでおり、画像抽出部２２は、再生パラメータに基づいて、そこに含まれる情報が表す長方形状の領域（以下、適宜、抽出ウインドウという）を特定する。そして、画像抽出部２２は、大容量画像から、抽出ウインドウ内の画像を、抽出画像として抽出し、信号処理部２３に供給する。
【００８７】
なお、図２の撮影装置１において、コントローラ１７が生成し、記録媒体４に記録された再生パラメータには、大容量画像における通常画像に対応する領域を表す情報が含まれているが、この再生パラメータについては、その情報が表す領域、つまり、大容量画像における通常画像に対応する領域が、抽出ウインドウとして特定される。
【００８８】
信号処理部２３は、再生パラメータ処理部２４から供給される再生パラメータに基づいて、画像抽出部２２から供給される抽出画像に信号処理を施し、表示装置３に供給する。これにより、表示装置３では、信号処理部２３で信号処理が施された抽出画像が表示される。
【００８９】
再生パラメータ処理部２４は、記録再生部２１から供給される再生パラメータを、画像抽出部２２および信号処理部２３に供給する。また、再生パラメータ処理部２４は、ユーザによる操作部２６の操作に応じて、再生パラメータを生成し、画像抽出部２２および信号処理部２３に供給する。さらに、再生パラメータ処理部２４は、記録再生部２１から供給される再生パラメータ、または操作部２６の操作に応じて生成した再生パラメータを、再生パラメータ記憶部２５に供給して記憶させる。また、再生パラメータ処理部２４は、再生パラメータ記憶部２５に記憶された再生パラメータを読み出し、記録再生部２１に供給して、記録媒体４に記録させる。
【００９０】
再生パラメータ記憶部２５は、再生パラメータ処理部２４から供給される再生パラメータを一時記憶する。操作部２６は、記録媒体４に記録された画像（大容量画像）の再生や編集などを指令するときに、ユーザによって操作され、その操作に対応した操作信号を、記録再生部２１または再生パラメータ処理部２４に供給する。
【００９１】
次に、図５を参照して、図４の画像抽出部２２の処理について説明する。
【００９２】
上述したように、撮影装置１では、ユーザが撮影（録画）したと認識している範囲のシーン（通常画像に映っているシーン）は勿論、それ以外の範囲のシーンが映っている大容量画像が、再生パラメータとともに、記録媒体４に記録される。
【００９３】
撮影装置１において、記録媒体４に記録される再生パラメータを、撮影時再生パラメータということとすると、撮影時再生パラメータには、大容量画像における通常画像に対応する領域を表す情報が含まれており、従って、その情報が表す領域を抽出ウインドウとして、図５に示すように、大容量画像から、抽出ウインドウ内の画像を抽出画像として抽出して表示することにより、通常画像と同一のシーンが映っている画像を表示することができる。
【００９４】
なお、ユーザが、撮影装置１をズームアウト操作して撮影を行った場合、その撮影によって得られる通常画像の画角は広くなるから、大容量画像における通常画像に対応する領域は、図５においてR1で示すようにサイズの大きな領域になり、抽出ウインドウも、そのサイズが大きいものとなる。
【００９５】
また、ユーザが、撮影装置１をズームイン操作して撮影を行った場合、その撮影によって得られる通常画像の画角は狭くなるから、大容量画像における通常画像に対応する領域は、図５においてR2で示すようにサイズの小さな領域になり、抽出ウインドウも、そのサイズが小さいものとなる。
【００９６】
以上のように、抽出ウインドウのサイズは一定であるとは限らないため、画像抽出部２２において、そのような抽出ウインドウを用いて、大容量画像から抽出される抽出画像の画素数は一定であるとは限らない。
【００９７】
一方、表示装置３は、所定の画素数の画像を表示するので、画像抽出部２２では、大容量画像から抽出した抽出画像を、表示装置３で表示可能な所定の画素数の画像に変換する必要がある。
【００９８】
ここで、ある画素数の抽出画像を、他の画素数の抽出画像に変換する画像変換処理としては、単純に、画素数を間引き、あるいは補間する処理があるが、その他、本件出願人が先に提案しているクラス分類適応処理がある。
【００９９】
クラス分類適応処理では、画像変換処理によって変換する前の画像を第１の画像とするとともに、その変換後の画像を第２の画像とすると、第２の画像の各画素を注目画素として、その注目画素のクラスごとに適切なタップ係数と、第１の画像とを用いて、注目画素（の画素値）が求められる。
【０１００】
即ち、クラス分類適応処理では、例えば、注目画素に対して空間的または時間的に近傍の位置にある第１の画像の画素の画素値を、注目画素の画素値を予測するのに用いる予測タップとして、その予測タップと、学習によって所定のクラスごとに求められる係数であるタップ係数とを用いた所定の予測演算によって、注目画素の画素値（の予測値）が求められる。
【０１０１】
いま、所定の予測演算として、例えば、線形１次予測演算を採用することとすると、第２の画像の画素値ｙは、次の線形１次式によって求められることになる。
【０１０２】
【数１】
2006270187.tif 000003
・・・（１）
【０１０３】
但し、式（１）において、ｘnは、第２の画像の画素（の画素値）ｙについての予測タップを構成する、ｎ番目の第１の画像の画素の画素値を表し、ｗnは、ｎ番目の予測タップの画素の画素値と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、第１の画像のＮ個の画素（の画素値）ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０１０４】
ここで、第２の画像の画素（の画素値）ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１０５】
いま、第２の画像の第ｋ番目の画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【０１０６】
【数２】
2006270187.tif 000004
・・・（２）
【０１０７】
いま、式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
【０１０８】
【数３】
2006270187.tif 000005
・・・（３）
【０１０９】
但し、式（３）において、ｘn,kは、第２の画像の第ｋ番目の画素についての予測タップを構成するｎ番目の画素（の画素値）を表す。
【０１１０】
式（３）（または式（２））の予測誤差ｅkを０とするタップ係数ｗnが、第２の画像の画素を予測するのに最適なものとなるが、第２の画像のすべての画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【０１１１】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１１２】
【数４】
2006270187.tif 000006
・・・（４）
【０１１３】
但し、式（４）において、Ｋは、第２の画像の画素ｙkと、その画素ｙkについての予測タップを構成する第１の画像の画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（タップ係数ｗnを求める学習に用いる学習用サンプルの数）を表す。
【０１１４】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
【０１１５】
【数５】
2006270187.tif 000007
・・・（５）
【０１１６】
そこで、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
【０１１７】
【数６】
2006270187.tif 000008
・・・（６）
【０１１８】
式（５）と（６）から、次式が得られる。
【０１１９】
【数７】
2006270187.tif 000009
・・・（７）
【０１２０】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【０１２１】
【数８】
2006270187.tif 000010
・・・（８）
【０１２２】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
【０１２３】
クラス分類適応処理では、第１および第２の画像から、第２の画像の画素ｙkと、その画素ｙkについての予測タップを構成する第１の画像の画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットを、学習用サンプルとして多数用意し、その学習用サンプルを用いて、式（８）の正規方程式をクラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求める学習処理を、あらかじめ行っておき、そのタップ係数を用いた式（１）の予測演算を行うことによって、第１の画像が第２の画像に変換される。
【０１２４】
即ち、学習処理では、第２の画像の各画素ｙkを注目画素として、その注目画素ｙkが、複数のクラスのうちのいずれかのクラスにクラス分類される。ここで、クラス分類は、例えば、注目画素ｙkに対して空間的または時間的に近傍の位置にある第１の画像の幾つかの画素の画素値の分布等に基づいて行われる。
【０１２５】
さらに、学習処理では、クラスごとに、そのクラスに属する注目画素（の画素値）ｙkと、その注目画素ｙkについての予測タップを構成する第１の画像の画素ｘ1,k，ｘ2,k，・・・，ｘN,kとを用いて、式（８）の正規方程式がたてられ、学習用サンプルのすべてを用いた式（８）の正規方程式がクラスごとに得られると、そのクラスごとの正規方程式を解くことにより、クラスごとのタップ係数ｗnが求められる。
【０１２６】
そして、クラス分類適応処理において、第２の画像のある画素（の画素値）を求めるときには、その画素を注目画素として、その注目画素を、学習処理における場合と同様にクラス分類することにより、注目画素が属するクラスが求められる。さらに、注目画素が属するクラスのタップ係数ｗnと、注目画素についての予測タップを構成する第１の画像の画素ｘ1,k，ｘ2,k，・・・，ｘN,kとを用いて、式（１）の予測演算が行われ、注目画素の画素値（の予測値）が求められる。
【０１２７】
なお、学習処理において用いる第１の画像を、第２の画像の画素を間引いた画像とすることにより、クラス分類適応処理において、画像を、その画像よりも画素数の多い画像に変換するタップ係数ｗnを求めることができる。また、学習処理において用いる第２の画像を、第１の画像の画素を間引いた画像とすることにより、クラス分類適応処理において、画像を、その画像よりも画素数が少ない画像に変換するタップ係数ｗnを求めることができる。
【０１２８】
その他、学習処理において用いる第１の画像を、第２の画像にノイズを付加した画像とすることにより、クラス分類適応処理において、画像を、その画像からノイズを除去した画像に変換するタップ係数ｗnを求めることができる。
【０１２９】
従って、クラス分類適応処理によれば、学習処理によって求めておくタップ係数ｗnによって、画像の画素数の変換する他、ノイズ除去（ノイズリダクション）等の信号処理を行うことができる。
【０１３０】
また、クラス分類適応処理は、撮影装置１において、上述した環状の画像を、遠視投影した画像に変換するのにも用いることができる。
【０１３１】
画像抽出部２２は、大容量画像から抽出した抽出画像を、表示装置３で表示可能な所定の画素数の抽出画像に変換する画像変換処理を、例えば、上述のようなクラス分類適応処理を利用して行い、その結果得られる抽出画像を、信号処理部２３に供給する。
【０１３２】
次に、図６のフローチャートを参照して、図４の再生装置２の動作について説明する。
【０１３３】
ユーザが操作部２６を操作して、再生装置２の電源をオンにすると、ステップＳ２１において、再生パラメータ処理部２４は、再生装置２の動作モードが再生モードであるかどうかを判定する。
【０１３４】
ここで、再生装置２の動作モードとしては、例えば、記録媒体４に記録された画像を再生する再生モードと、画像を編集する編集モードとがある。再生装置２の動作モードは、例えば、ユーザが操作部２６を操作することによって選択（設定）することができる。
【０１３５】
ステップＳ２１において、再生装置２の動作モードが再生モードであると判定された場合、ステップＳ２２に進み、以下、再生モードの処理が行われる。
【０１３６】
即ち、再生モードの処理では、ステップＳ２２において、再生パラメータ処理部２４は、記録媒体４に記録された画像を再生するのに用いるパラメータセットを選択する。
【０１３７】
ここで、パラメータセットは、ある一連の再生パラメータのセットであり、撮影装置１で撮影された大容量画像が、記録媒体４に記録されている場合には、その大容量画像の撮影時に撮影装置１（のコントローラ１７（図２））で生成された一連の再生パラメータ（撮影時再生パラメータ）のセットであるパラメータセットが、少なくとも、記録媒体４に記録されている。
【０１３８】
記録媒体４には、１以上のパラメータセットを記録することができ、ステップＳ２２では、その１以上のパラメータセットから、画像の再生に用いるパラメータセットが選択される。
【０１３９】
即ち、例えば、記録媒体４において、パラメータセットが、ファイルとして記録されているとすると、再生パラメータ処理部２４は、記録再生部２１を制御することにより、記録媒体４に記録されているパラメータセットのファイル名を認識する。さらに、再生パラメータ処理部２４は、信号処理部２３を制御することにより、記録媒体４に記録されているパラメータセットのファイル名の一覧を、そのうちのいずれか１つの選択を促すメッセージとともに、表示装置３に表示させる。
【０１４０】
ユーザが、表示装置３に表示されたファイル名の一覧を見て、操作部２６を操作することにより、ファイル名の一覧から、１つのファイル名を選択すると、ステップＳ２２において、再生パラメータ処理部２４は、そのファイル名によって特定されるパラメータセットを、画像の再生に用いるパラメータセット（以下、適宜、再生用セットという）として選択する。
【０１４１】
その後、ステップＳ２２からステップＳ２３に進み、再生パラメータ処理部２４は、記録再生部２１を制御することにより、記録媒体４に記録された大容量画像と再生用セットの再生を開始させる。これにより、記録媒体４からは、大容量画像と再生用セットが再生され（読み出され）、大容量画像が、画像抽出部２２に供給されるとともに、再生用セットの再生パラメータが、再生パラメータ処理部２４に供給される。
【０１４２】
ここで、撮影時再生パラメータについて説明したように、再生パラメータは、フレームごとに存在しうる。大容量画像の再生は、特に指定されない限り、再生パラメータが存在する時間的に最も前のフレームから開始される。
【０１４３】
再生パラメータ処理部２４は、ステップＳ２３において再生用セットの再生パラメータの再生が開始され、これにより、記録再生部２１からの再生パラメータの供給が開始されると、その再生パラメータの、画像抽出部２２および信号処理部２３への供給を開始し、ステップＳ２４に進む。
【０１４４】
ステップＳ２４では、画像抽出部２２は、記録再生部２１から供給される大容量画像からの、再生パラメータ処理部２４から供給される再生パラメータに基づく抽出画像の抽出を開始する。
【０１４５】
即ち、記録再生部２１から画像抽出部２２に対しては、大容量画像が、例えばフレーム単位で供給され、画像抽出部２２は、記録再生部２１から供給される大容量画像のフレームを、順次、注目フレームとして、その注目フレームから抽出画像を抽出し、信号処理部２３に供給する。
【０１４６】
具体的には、画像抽出部２２は、再生パラメータ処理部２４から供給される再生パラメータの中に、注目フレームに対する再生パラメータ（以下、適宜、対応パラメータという）が存在する場合、注目フレームから、対応パラメータに含まれる情報によって特定される抽出ウインドウ内の画像を抽出画像として抽出し、さらに、必要に応じて、上述した画素数を変換する画像変換処理を行って、信号処理部２３に供給する。
【０１４７】
また、画像抽出部２２は、再生パラメータ処理部２４から供給される再生パラメータの中に、注目フレームの対応パラメータが存在しない場合、注目フレームより前の、対応パラメータが存在するフレームのうちの、注目フレームに最も近いフレームの対応パラメータに基づいて、注目フレームから抽出画像を抽出する。
【０１４８】
ステップＳ２４の処理後は、ステップＳ２５に進み、信号処理部２３は、画像抽出部２２から供給される抽出画像（のフレーム）に対する、再生パラメータ処理部２４から供給される再生パラメータ（対応パラメータ）に基づく信号処理を開始する。
【０１４９】
即ち、信号処理部２３は、画像抽出部２２から供給される抽出画像に対して、再生パラメータ処理部２４から供給される再生パラメータに含まれる情報が表す内容の信号処理を施し、表示装置３に供給する。
【０１５０】
以上のように、再生モードの処理では、再生用セットの再生パラメータに基づいて、大容量画像から抽出画像が抽出され、さらに、再生用セットの再生パラメータに基づいて、抽出画像に信号処理が施されるので、いわば、その再生用セットの再生パラメータに対応した画像コンテンツ（画像のストリーム）が、表示装置３に表示される。
【０１５１】
従って、ステップＳ２２において、再生用セットとして、例えば、撮影時再生パラメータのパラメータセットが選択された場合には、通常画像と同様の画像、即ち、ユーザが撮影装置１によって撮影（録画）したと認識している範囲のシーンが映っており、通常画像の画質と同様の画像（撮影時に、撮影装置１の表示部１３に表示されていたのと同一の画像）が、表示装置３に表示される。
【０１５２】
ステップＳ２５の処理後は、ステップＳ２６に進み、再生パラメータ処理部２４は、操作部２６が、ユーザによって、再生を停止するように操作（停止操作）されたかどうかを判定する。ステップＳ２６において、停止操作が行われていないと判定された場合、ステップＳ２６に戻り、以下、同様の処理が繰り返される。
【０１５３】
また、ステップＳ２５において、停止操作が行われたと判定された場合、ステップＳ２７に進み、再生パラメータ処理部２４は、記録再生部２１、画像抽出部２２、および信号処理部２３を制御することにより、ステップＳ２３で開始した大容量画像と再生パラメータの再生、ステップＳ２４で開始した抽出画像の抽出、およびステップＳ２５で開始した抽出画像に対する信号処理をすべて停止させる。そして、ステップＳ２１に戻り、以下、同様の処理が繰り返される。
【０１５４】
一方、ステップＳ２１において、再生装置２の動作モードが再生モードでないと判定された場合、ステップＳ２８に進み、再生パラメータ処理部２４は、再生装置２の動作モードが編集モードであるかどうかを判定する。
【０１５５】
ステップＳ２８において、再生装置２の動作モードが編集モードでないと判定された場合、ステップＳ２１に戻り、以下、同様の処理が繰り返される。
【０１５６】
また、ステップＳ２８において、再生装置２の動作モードが編集モードであると判定された場合、ステップＳ２９に進み、以下、編集モードの処理が行われる。
【０１５７】
即ち、編集モードの処理では、ステップＳ２９において、再生パラメータ処理部２４は、編集の、いわば基準とする画像コンテンツを再生するのに用いるパラメータセット（再生用セット）を、例えば、ステップＳ２２における場合と同様に選択し、ステップＳ３０に進む。
【０１５８】
ステップＳ３０では、再生パラメータ処理部２４は、ステップＳ２３における場合と同様に、記録再生部２１を制御することにより、記録媒体４に記録された大容量画像と再生用セットの再生を開始させる。これにより、記録媒体４からは、大容量画像と再生用セットが再生され（読み出され）、大容量画像が、画像抽出部２２に供給されるとともに、再生用セットの再生パラメータが、再生パラメータ処理部２４に供給される。
【０１５９】
再生パラメータ処理部２４は、ステップＳ３０において再生用セットの再生パラメータの再生が開始され、これにより、記録再生部２１からの再生パラメータの供給が開始されると、その再生パラメータの、画像抽出部２２、信号処理部２３、および再生パラメータ記憶部２５への供給を開始し、ステップＳ３１に進む。
【０１６０】
ステップＳ３１では、再生パラメータ記憶部２５は、再生パラメータ処理部２４から供給される再生パラメータの記憶を開始し、ステップＳ３２に進む。
【０１６１】
ステップＳ３２では、画像抽出部２２は、ステップＳ２４における場合と同様に、記録再生部２１から供給される大容量画像からの、再生パラメータ処理部２４から供給される再生パラメータに基づく抽出画像の抽出を開始して、ステップＳ３３に進む。
【０１６２】
即ち、画像抽出部２２は、記録再生部２１から供給される大容量画像のフレームから、再生パラメータ処理部２４から供給される再生パラメータに含まれる情報によって特定される抽出ウインドウ内の画像を抽出画像として抽出し、さらに、必要に応じて、上述した画素数を変換する画像変換処理を行って、信号処理部２３に供給する。
【０１６３】
ステップＳ３３では、信号処理部２３は、ステップＳ２５における場合と同様に、画像抽出部２２から供給される抽出画像に対する、再生パラメータ処理部２４から供給される再生パラメータに基づく信号処理を開始する。
【０１６４】
即ち、信号処理部２３は、画像抽出部２２から供給される抽出画像に対して、再生パラメータ処理部２４から供給される再生パラメータに含まれる情報が表す内容の信号処理を施し、表示装置３に供給する。
【０１６５】
以上のように、編集モードにおいては、再生パラメータを、再生パラメータ記憶部２５に記憶させる処理（ステップＳ３１の処理）が行われることを除けば、再生モードにおける場合と同様の処理が行われ、これにより、表示装置３において、再生用セットに対応する画像コンテンツが表示される。
【０１６６】
編集モードでは、その後、ステップＳ３３からステップＳ３４に進み、再生パラメータ処理部２４は、ユーザが、編集を指令するように、操作部２６を操作したかどうかを判定する。
【０１６７】
ステップＳ３４において、編集操作が行われていないと判定された場合、即ち、ユーザが、編集を指令するように、操作部２６を操作していないと判定された場合、ステップＳ３５をスキップして、ステップＳ３６に進む。
【０１６８】
また、ステップＳ３４において、編集操作が行われたと判定された場合、即ち、ユーザが、編集を指令するように、操作部２６を操作したと判定された場合、ステップＳ３５に進み、再生パラメータ処理部２４は、その編集操作が行われたときに注目フレームであった大容量画像の注目フレームの対応パラメータとして、その編集操作に応じた再生パラメータ（新たな再生パラメータ）（以下、適宜、編集パラメータともいう）を生成し、記録再生部２１から供給される再生パラメータに代えて、画像抽出部２２、信号処理部２３、および再生パラメータ記憶部２５に供給する。
【０１６９】
従って、この場合、画像抽出部２２では、大容量画像から、再生パラメータ処理部２４からの編集パラメータに含まれる情報によって特定される抽出ウインドウ内の画像が、抽出画像として抽出され、信号処理部２３では、画像抽出部２２から供給される抽出画像に対して、再生パラメータ処理部２４から供給される編集パラメータに含まれる情報が表す内容の信号処理を施し、表示装置３に供給する。その結果、表示装置３では、編集操作にしたがって編集された画像が表示される。
【０１７０】
さらに、再生パラメータ記憶部２５では、再生パラメータ処理部２４から供給される編集パラメータが記憶される。
【０１７１】
ここで、図７を参照して、編集操作について説明する。
【０１７２】
図６のステップＳ２９において、再生用セットとして、例えば、撮影時再生パラメータのパラメータセットが選択された場合には、撮影時再生パラメータに基づいて、大容量画像から抽出画像が抽出され、さらに、その撮影時再生パラメータに基づいて、抽出画像に信号処理が施されるから、上述したように、通常画像（と同様の画像）が、表示装置３に表示される。
【０１７３】
ところで、上述したように、大容量画像は、通常画像に映っている範囲のシーンを含む、通常画像よりも広角の画像であるから、通常画像に映っている範囲以外の範囲のシーンも映っている。
【０１７４】
即ち、通常画像に、ある景色が映っているとすれば、大容量画像には、通常画像に映っている景色は勿論、通常画像に映っている景色を実際に見たならば見えるであろう景色であって、通常画像には映っていない景色も映っている。
【０１７５】
従って、通常画像を撮影しているときに撮影装置１をパンまたはチルトしたならば、通常画像に映ったであろう景色が、大容量画像には映っており、編集操作としては、このような、いわば疑似的に、撮影装置１をパンまたはチルトするような操作が可能となっている。
【０１７６】
例えば、いま、疑似的に、撮影装置１をパンまたはチルトするような編集操作を、それぞれ、疑似パン操作または疑似チルト操作ということとすると、編集操作として、疑似パン操作が行われた場合には、再生パラメータ処理部２４は、図７の上から１番目に示すように、対応パラメータによって特定される抽出ウインドウを、疑似パン操作に応じて水平方向に移動した抽出ウインドウを表す情報を含めた再生パラメータとしての編集パラメータを生成する。また、編集操作として、疑似チルト操作が行われた場合には、再生パラメータ処理部２４は、図７の上から１番目に示すように、対応パラメータによって特定される抽出ウインドウを、疑似チルト操作に応じて垂直方向に移動した抽出ウインドウを表す情報を含めた再生パラメータとしての編集パラメータを生成する。
【０１７７】
画像抽出部２２では、このような編集パラメータに基づいて、大容量画像から抽出ウインド内の画像が抽出画像として抽出されるので、その抽出画像は、通常画像を撮影しているときに撮影装置１をパンまたはチルトしたならば通常画像に映ったであろう景色が映っているものとなる。
【０１７８】
また、編集操作としては、その他、疑似的に、撮影装置１をズームアウト操作またはズームイン操作するような操作が可能となっている。
【０１７９】
例えば、いま、疑似的に、撮影装置１をズームアウト操作またはズームイン操作するような編集操作を、それぞれ、疑似ズームアウト操作または疑似ズームイン操作ということとすると、編集操作として、疑似ズームアウト操作が行われた場合には、再生パラメータ処理部２４は、図７の上から２番目に示すように、対応パラメータによって特定される抽出ウインドウのサイズを、疑似ズームアウト操作に応じて拡大した抽出ウインドウを表す情報を含めた再生パラメータとしての編集パラメータを生成する。また、編集操作として、疑似ズームイン操作が行われた場合には、再生パラメータ処理部２４は、図７の上から３番目（下から１番目）に示すように、対応パラメータによって特定される抽出ウインドウのサイズを、疑似ズームイン操作に応じて縮小した抽出ウインドウを表す情報を含めた再生パラメータとしての編集パラメータを生成する。
【０１８０】
画像抽出部２２では、このような編集パラメータに基づいて、大容量画像から抽出ウインド内の画像が抽出画像として抽出されるので、その抽出画像は、通常画像を撮影しているときに撮影装置１をズームアウト操作またはズームイン操作したならば通常画像に映ったであろう景色が映っているものとなる。
【０１８１】
即ち、疑似ズームアウト操作によれば、抽出ウインドウが拡大されるので、画像抽出部２２では、その抽出ウインドウによって、大容量画像から広い範囲の画像が抽出画像として抽出され、その結果、撮影装置１をズームアウト操作して撮影したかのような広角の画像（抽出画像）が、表示装置３に表示される。また、疑似ズームイン操作によれば、抽出ウインドウが縮小されるので、画像抽出部２２では、その抽出ウインドウによって、大容量画像から狭い範囲の画像が抽出画像として抽出され、その結果、撮影装置１をズームイン操作して撮影したかのような画角の狭い画像（抽出画像）、つまり、被写体をクローズアップした画像が、表示装置３に表示される。
【０１８２】
なお、抽出画像の画素数は、抽出ウインドウのサイズに応じて変化し、抽出ウインドウのサイズが小さいほど少なくなる。従って、疑似ズームイン操作によって抽出ウインドウが縮小されると、表示装置３に表示される抽出画像の解像度が劣化することになる。但し、上述したように、大容量画像は、通常画像よりも高解像度であり、抽出ウインドウがある程度縮小されても、その抽出ウインドウによって大容量画像から抽出される抽出画像の解像度を、ある程度（例えば、通常画像と同程度）以上に維持することができる解像度の画像になっている。
【０１８３】
編集操作として、疑似パン操作や、疑似チルト操作、疑似ズームアウト操作が行われた場合には、表示装置３には、通常画像に映っていない範囲のシーンが映っている画像が表示される。従って、撮影装置１で撮影を行ったユーザは、その撮影中に見逃したシーンがあったとしても、大容量画像に映っていれば、見ることができる。
【０１８４】
編集操作としては、上述したような抽出ウインドウを変更する操作の他、抽出画像に対して施す信号処理を指定する操作を行うことが可能となっている。
【０１８５】
即ち、撮影装置１（図２）においては、大容量画像は、通常信号処理部１２が通常画像に施す信号処理が施されずに、記録媒体４に記録される。
【０１８６】
そして、再生装置２において、再生用セットとして、撮影時再生パラメータのパラメータセットが選択された場合には、撮影時再生パラメータに基づいて、大容量画像から抽出画像が抽出され、さらに、その撮影時再生パラメータに基づいて、抽出画像に信号処理が施される。従って、抽出画像には、通常信号処理部１２が通常画像に施す信号処理と同一の信号処理が施され、その結果、通常画像と同様の画像が、表示装置３に表示される。
【０１８７】
一方、ユーザが、抽出画像に対して施す信号処理を指定する編集操作を行うと、再生パラメータ処理部２４は、その編集操作に応じた信号処理の内容を表す情報を含む再生パラメータとしての編集パラメータを生成し、信号処理部２３に供給する。信号処理部２３は、再生パラメータ処理部２４から編集パラメータが供給されると、その編集パラメータに含まれる情報によって表される内容の信号処理を施す。
【０１８８】
ここで、通常信号処理部１２で通常画像に施される信号処理としては、例えば、ノイズリダクションや手ぶれ補正などの様々な種類の信号処理（MPEG等の符号化処理も含む）があり、さらに、例えば、ノイズリダクションを行う信号処理にしても、様々な方法（アルゴリズム）のものがある。従って、通常信号処理部１２で行われる信号処理の種類が、ユーザにとって適切（最適）なものであるとは限らず、さらに、仮に、信号処理の種類が適切であったとしても、その方法が適切であるとは限らない。
【０１８９】
そして、画像に対して、例えば、ノイズリダクションなどの信号処理が施された場合、そのノイズリダクションによって、画像に含まれるノイズ成分が除去される他、多少の信号成分が失われることがある。従って、撮影装置１において、広角カメラ部１４で撮像した大容量画像に信号処理を施して、記録媒体４に記録してしまうと、再生装置２では、記録媒体４に記録された大容量画像を対象としてしか信号処理を行うことができないため、撮影装置１で行われた信号処理によって多少の信号成分が失われた大容量画像を対象として信号処理をせざるを得ないことになる。
【０１９０】
しかしながら、多少であっても、信号成分が失われた大容量画像を対象に信号処理を行うと、その信号処理結果には、その失われた信号成分に応じた影響が生じる。
【０１９１】
そこで、撮影装置１では、再生装置２で行われる信号処理に、そのような影響が生じるのを防止するため、通常信号処理部１２が通常画像に施すような信号処理を施さずに、大容量画像を、記録媒体４に記録するようになっている。
【０１９２】
従って、再生装置２では、撮影装置１の広角カメラ部１で撮像された大容量画像の信号成分のすべてを有効に利用して信号処理を行うことが可能となる。
【０１９３】
図６に戻り、ステップＳ３５において、編集パラメータが、画像抽出部２２、信号処理部２３、および再生パラメータ記憶部２５に供給された後は、ステップＳ３６に進み、再生パラメータ処理部２４は、操作部２６が、ユーザによって、再生を停止するように操作（停止操作）されたかどうかを判定する。ステップＳ３６において、停止操作が行われていないと判定された場合、ステップＳ３４に戻り、以下、同様の処理が繰り返される。
【０１９４】
また、ステップＳ３６において、停止操作が行われたと判定された場合、ステップＳ３７に進み、再生パラメータ処理部２４は、記録再生部２１、画像抽出部２２、および信号処理部２３を制御することにより、ステップＳ３０で開始した大容量画像と再生パラメータの再生、ステップＳ３２で開始した抽出画像の抽出、およびステップＳ３３で開始した抽出画像に対する信号処理をすべて停止させるとともに、ステップＳ３１で開始した再生パラメータ記憶部２５における再生パラメータの記憶も停止させる。
【０１９５】
そして、ステップＳ３７からＳ３８に進み、再生パラメータ処理部２４は、再生パラメータ記憶部２５に記憶された再生パラメータの集合であるパラメータセットを、記録媒体４に新たに記録（保存）するかどうかを判定する。
【０１９６】
即ち、再生パラメータ処理部２４は、信号処理部２３を制御することにより、新たなパラメータセットを保存するかどうかを問い合わせる問い合わせメッセージを、表示装置３に表示させ、その問い合わせメッセージに対して、ユーザが操作部２６を操作するのを待って、再生パラメータ記憶部２５に記憶された新たなパラメータセットを、記録媒体４に記録するかどうかを判定する。
【０１９７】
ステップＳ３８において、再生パラメータ記憶部２５に記憶された新たなパラメータセットを、記録媒体４に記録すると判定された場合、即ち、問い合わせメッセージに対して、ユーザが、新たなパラメータセットを記録するように、操作部２６を操作した場合、ステップＳ３９に進み、再生パラメータ処理部２４は、再生パラメータ記憶部２５に記憶されている新たなパラメータセットを読み出し、さらに、記録再生部２１を制御することにより、その新たなパラメータセットを、記録媒体４に記録させ、ステップＳ４０に進む。
【０１９８】
また、ステップＳ３８において、再生パラメータ記憶部２５に記憶された新たなパラメータセットを、記録媒体４に記録しないと判定された場合、即ち、問い合わせメッセージに対して、ユーザが、新たなパラメータセットを記録しないように、操作部２６を操作した場合、ステップＳ３９をスキップして、ステップＳ４０に進み、再生パラメータ処理部２４は、再生パラメータ記憶部２５に記録された新たなパラメータセットを削除（消去）して、ステップＳ２１に戻り、以下、同様の処理が繰り返される。
【０１９９】
なお、編集モードの処理において記録媒体４に記録された新たなパラメータセットは、再生用セットとして選択することができ、従って、その新たなパラメータセットの再生パラメータに対応した画像コンテンツを、表示装置３に表示することが可能となる。
【０２００】
また、図６のフローチャートにしたがった処理は、操作部２６が、ユーザによって電源をオフにするように操作されると終了する。
【０２０１】
以上のように、ユーザが編集操作を行うことにより、その編集操作に応じて、編集パラメータ（新たな再生パラメータ）が生成され、その編集パラメータに基づいて、抽出画像や信号処理が行われる。従って、ユーザにとって最適な画像を提供することができる。
【０２０２】
さらに、記録媒体４に記録された大容量画像に対しては、複数のパラメータセットが存在しても良く、従って、ユーザは、様々な編集操作を行って、様々なパラメータセットを生成することにより、その様々なパラメータセットそれぞれに対応した、様々な画像コンテンツを制作することができる。
【０２０３】
また、記録媒体４には、通常画像に施されるような信号処理が施されていない大容量画像が記録されているので、ユーザは、再生装置２において、編集操作を、いわゆる試行錯誤で行い、ユーザ自身にとって最適な画像コンテンツを得ることができる。
【０２０４】
次に、再生装置２で行われる一連の処理は、専用のハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２０５】
そこで、図８は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２０６】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
【０２０７】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２０８】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０２０９】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、図６のフローチャートにしたがった処理、あるいは図４のブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２１０】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２１１】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２１２】
なお、本実施の形態では、撮影装置１の広角カメラ部１４において、その広角カメラ部１４で撮像した広角の画像を、遠視投影した画像に変換するようにしたが、この変換は、撮影装置１ではなく、再生装置２で行うようにすることができる。
【０２１３】
また、撮影装置１は、再生装置２と一体的に構成することが可能である。
【０２１４】
さらに、本実施の形態では、記録媒体４への大容量画像の記録は、録画操作がされる前も、録画操作に対する停止操作がされた後も行われるので、即ち、大容量画像は、ユーザが録画がされていないと認識している時刻のシーンも含んでいるので、そのようなシーンを取り込むような編集操作も可能である。
【０２１５】
また、本実施の形態では、通常画像と大容量画像のフレームレートを同一としたが、大容量画像のフレームレートは、通常画像のフレームレートよりも高フレームレートとすることが可能である。
【０２１６】
さらに、本実施の形態では、撮影装置１において、通常カメラ部１１と広角カメラ部１４とを設け、通常画像と大容量画像との両方を撮像するようにしたが、撮影装置１は、通常カメラ部１１を設けずに構成し、広角カメラ部１４において、大容量画像だけを撮像するようにすることができる。この場合、撮影装置１（のコントローラ１７）では、ユーザによる撮影装置１のパン操作や、チルト操作、ズーム操作に応じて、抽出ウインドウを設定し、その抽出ウインドウによって、大容量画像から抽出画像を抽出して、その抽出画像に対して、通常信号処理部１２で信号処理を施して、表示部１３に供給することにより、表示部１３において、通常画像と同様の画像（抽出画像）を表示することができる。
【０２１７】
また、本実施の形態では、撮影装置１において、大容量画像と再生パラメータを記録媒体４に記録するようにしたが、その他、例えば、大容量画像と再生パラメータとは、テレビジョン放送番組として、放送局から放送し、再生装置２で受信して記録媒体４に記録するようにすること等も可能である。
【図面の簡単な説明】
【０２１８】
【図１】本発明を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
【図２】撮影装置１の構成例を示すブロック図である。
【図３】撮影装置１の動作を説明するフローチャートである。
【図４】再生装置２の構成例を示すブロック図である。
【図５】画像抽出部２２の処理を説明するための図である。
【図６】再生装置２の動作を説明するフローチャートである。
【図７】編集操作を説明するための図である。
【図８】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０２１９】
１  撮影装置，  ２  再生装置，  ３  表示装置，  ４  記録媒体，  １１  通常カメラ部，  １２  通常信号処理部，  １３  表示部，  １４  広角カメラ部，  １５  操作部，  １６  センサ，  １７  コントローラ，  １７Ａ  CPU，  １７Ｂ  RAM，  １７Ｃ  EEPROM，  １８  記録部，  ２１  記録再生部，  ２２  画像抽出部，  ２３  信号処理部，  ２４  再生パラメータ処理部，  ２５  再生パラメータ記憶部，  ２６  操作部，  １０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体
【図１】
2006270187.tif 000011
【図２】
2006270187.tif 000012
【図３】
2006270187.tif 000013
【図４】
2006270187.tif 000014
【図５】
2006270187.tif 000015
【図６】
2006270187.tif 000016
【図７】
2006270187.tif 000017
【図８】
2006270187.tif 000018