(57)【特許請求の範囲】
【請求項１】
被写体の第１の範囲が第１の分解能で表された第１画像を取得する第１取得手段と、
前記被写体の前記第１の範囲よりも狭い第２の範囲が前記第１の分解能よりも高い第２の分解能で表された第２画像を取得する第２取得手段と、
前記第１画像内の任意の合成位置を設定する合成位置設定手段と、
前記第１取得手段により取得された第１画像と前記第２取得手段により取得された第２画像とを各々の分解能を保った状態で、前記合成位置設定手段により設定された前記第１画像内の合成位置に、前記第２画像を重畳させるように合成して第３画像を生成する合成手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
被写体の撮影可能な範囲全体を所定の解像度で撮像する撮像手段と、
前記撮像手段により撮像された画像全体を前記第１の範囲として縮小するようにして前記第１画像を生成する第１生成手段と、
前記撮像手段により撮像された画像の一部分の領域を前記第２の範囲として切り取るようにして前記第２画像を生成する第２生成手段と、を更に備え、
前記第１取得手段は、前記第１生成手段により生成された前記第１画像を取得し、
前記第２取得手段は、前記第２生成手段により生成された前記第２画像を取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１生成手段及び前記第２生成手段は、前記撮像手段により所定の解像度で撮像された同一の画像から前記第１画像及び前記第２画像をそれぞれ生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
被写体の撮影時に、前記合成手段により前記第１画像と前記第２画像とが合成されることで前記第３画像が生成され、当該第３画像を記録する第１記録手段を更に備えることを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
被写体の撮影時に、前記第１生成手段により生成された第１画像と前記第２生成手段により生成された第２画像とを関連付けて記録する第２記録手段を更に備え、
画像の再生時に、前記合成手段により前記第２記録手段に記録されている前記第１画像と前記第２画像とが合成されることで前記第３画像が生成され、当該第３画像を表示することを特徴とする請求項２又は３に記載の画像処理装置。
【請求項６】
前記撮像手段により被写体の動画像が撮像され、
前記第１生成手段は、前記動画像を構成する複数のフレーム画像の各々から前記第１画像を生成し、
前記第２生成手段は、前記動画像を構成する複数のフレーム画像の各々から前記第２画像を生成し、
前記合成手段は、前記動画像を構成する複数のフレーム画像毎に、対応する前記第１画像と前記第２画像とを合成して前記第３画像を生成することを特徴とする請求項２〜５の何れか一項に記載の画像処理装置。
【請求項７】
前記第２生成手段は、前記動画像を構成する複数のフレーム画像毎に、前記第２の範囲の大きさを異ならせるようにして前記第２画像を生成可能であることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記第３画像を再生する再生手段を更に備え、
前記再生手段は、前記第２生成手段により前記第２の範囲の大きさを次第に拡大させるようにして生成された複数の第２画像を用いて前記合成手段により生成された複数の第３画像を複数のフレーム画像とする動画像を、前記第２の範囲の大きさを次第に拡大させるように再生することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記合成手段は、前記第１生成手段により生成された前記第１画像が前記第２画像よりも奥側となるようにして前記複数の第３画像を生成するとともに、次第に縮小させていく前記第１画像の大きさよりも前記第２の範囲の大きさを次第に拡大させていく前記第２画像の方が大きくなると、前記第２画像が前記第１画像よりも奥側となるようにして前記複数の第３画像を生成することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記第２生成手段は、前記動画像の途中のフレーム画像として、前記第２の範囲の位置を異ならせた前記第２画像を生成可能であることを特徴とする請求項６〜９の何れか一項に記載の画像処理装置。
【請求項１１】
前記合成手段により前記第１画像と前記第２画像とが合成されることで生成された前記第３画像を圧縮して記録させる記録制御手段を更に備えることを特徴とする請求項１〜１０の何れか一項に記載の画像処理装置。
【請求項１２】
前記合成位置設定手段は、前記第１画像内で特定の被写体の存しない位置を前記合成位置として設定することを特徴とする請求項１〜１１の何れか一項に記載の画像処理装置。
【請求項１３】
前記合成位置設定手段は、ユーザによる所定操作に基づいて設定された位置を前記合成位置として設定することを特徴とする請求項１〜１１の何れか一項に記載の画像処理装置。
【請求項１４】
被写体の第１の範囲が第１の分解能で表された第１画像を取得する第１取得手段と、
前記被写体の前記第１の範囲よりも狭い第２の範囲が前記第１の分解能よりも高い第２の分解能で表された第２画像を取得する第２取得手段と、
前記第１取得手段により取得された第１画像と前記第２取得手段により取得された第２画像とを各々の分解能を保った状態で合成して第３画像を生成する合成手段と、
被写体の撮影可能な範囲全体を所定の解像度で撮像する撮像手段と、
前記撮像手段により撮像された画像全体を前記第１の範囲として縮小するようにして前記第１画像を生成する第１生成手段と、
前記撮像手段により撮像された画像の一部分の領域を前記第２の範囲として切り取るようにして前記第２画像を生成する第２生成手段と、
を備え、
前記撮像手段により被写体の動画像が撮像され、
前記第１生成手段は、前記動画像を構成する複数のフレーム画像の各々から前記第１画像を生成し、
前記第２生成手段は、前記動画像を構成する複数のフレーム画像の各々から前記第２画像を生成し、
前記合成手段は、前記第１生成手段により生成された前記第１画像が前記第２画像よりも奥側となるようにして複数の第３画像を生成するとともに、次第に縮小させていく前記第１画像の大きさよりも前記第２の範囲の大きさを次第に拡大させていく前記第２画像の方が大きくなると、前記第２画像が前記第１画像よりも奥側となるようにして複数の第３画像を生成することを特徴とする画像処理装置。
【請求項１５】
画像処理装置を用いた画像処理方法であって、
被写体の第１の範囲が第１の分解能で表された第１画像を取得する処理と、
前記被写体の前記第１の範囲よりも狭い第２の範囲が前記第１の分解能よりも高い第２の分解能で表された第２画像を取得する処理と、
前記第１画像内の任意の合成位置を設定する処理と、
取得された第１画像と取得された第２画像とを各々の分解能を保った状態で、前記第１画像内の任意の合成位置を設定する処理により設定された前記第１画像内の合成位置に、前記第２画像を重畳させるように合成して第３画像を生成する処理と、
を含むことを特徴とする画像処理方法。
【請求項１６】
画像処理装置のコンピュータを、
被写体の第１の範囲が第１の分解能で表された第１画像を取得する第１取得手段、
前記被写体の前記第１の範囲よりも狭い第２の範囲が前記第１の分解能よりも高い第２の分解能で表された第２画像を取得する第２取得手段、
前記第１画像内の任意の合成位置を設定する合成位置設定手段、
前記第１取得手段により取得された第１画像と前記第２取得手段により取得された第２画像とを各々の分解能を保った状態で、前記合成位置設定手段により設定された前記第１画像内の合成位置に、前記第２画像を重畳させるように合成して第３画像を生成する合成手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、撮影時において、被写体の全体と細部の両方を１つのモニタ画面で同時に確認できるように、被写体の全体を縮小した画像と被写体の一部を拡大した画像とを合成して表示する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１６２６８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の場合、撮影時のガイドを目的としたものであり、撮影した画像を記録する場合や記録された画像を別のモニタなどで再生表示する場合等に、合成した画像をより有効に活用しているとは言い難い。
【０００５】
本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、合成した画像をより有効に活用することができる画像処理装置、画像処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の一態様の画像処理装置は、
被写体の第１の範囲が第１の分解能で表された第１画像を取得する第１取得手段と、
前記被写体の前記第１の範囲よりも狭い第２の範囲が前記第１の分解能よりも高い第２の分解能で表された第２画像を取得する第２取得手段と、
前記第１画像内の任意の合成位置を設定する合成位置設定手段と、
前記第１取得手段により取得された第１画像と前記第２取得手段により取得された第２画像とを各々の分解能を保った状態で、前記合成位置設定手段により設定された前記第１画像内の合成位置に、前記第２画像を重畳させるように合成して第３画像を生成する合成手段と、
を備えたことを特徴としている。
また、本発明の他の態様の画像処理装置は、
被写体の第１の範囲が第１の分解能で表された第１画像を取得する第１取得手段と、
前記被写体の前記第１の範囲よりも狭い第２の範囲が前記第１の分解能よりも高い第２の分解能で表された第２画像を取得する第２取得手段と、
前記第１取得手段により取得された第１画像と前記第２取得手段により取得された第２画像とを各々の分解能を保った状態で合成して第３画像を生成する合成手段と、
被写体の撮影可能な範囲全体を所定の解像度で撮像する撮像手段と、
前記撮像手段により撮像された画像全体を前記第１の範囲として縮小するようにして前記第１画像を生成する第１生成手段と、
前記撮像手段により撮像された画像の一部分の領域を前記第２の範囲として切り取るようにして前記第２画像を生成する第２生成手段と、
を備え、
前記撮像手段により被写体の動画像が撮像され、
前記第１生成手段は、前記動画像を構成する複数のフレーム画像の各々から前記第１画像を生成し、
前記第２生成手段は、前記動画像を構成する複数のフレーム画像の各々から前記第２画像を生成し、
前記合成手段は、前記第１生成手段により生成された前記第１画像が前記第２画像よりも奥側となるようにして複数の第３画像を生成するとともに、次第に縮小させていく前記第１画像の大きさよりも前記第２の範囲の大きさを次第に拡大させていく前記第２画像の方が大きくなると、前記第２画像が前記第１画像よりも奥側となるようにして複数の第３画像を生成することを特徴としている。
【発明の効果】
【０００７】
本発明によれば、合成した画像をより有効に活用することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明を適用した実施形態１の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置による動画撮影処理に係る動作の一例を示すフローチャートである。
【図３】図２の動画撮影処理を説明するための図である。
【図４】図１の撮像装置による再生処理に係る動作の一例を示すフローチャートである。
【図５】図４の再生処理を説明するための図である。
【図６】本発明を適用した実施形態２の撮像装置の概略構成を示すブロック図である。
【図７】図６の撮像装置による動画撮影処理に係る動作の一例を示すフローチャートである。
【図８】図６の撮像装置による再生処理に係る動作の一例を示すフローチャートである。
【図９】図８の再生処理を説明するための図である。
【発明を実施するための形態】
【０００９】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【００１０】
［実施形態１］
図１は、本発明を適用した実施形態１の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、実施形態１の撮像装置１００は、具体的には、中央制御部１と、メモリ２と、撮像部３と、信号処理部４と、第１画像処理部５と、記録制御部６と、第１記録部７と、表示部８と、操作入力部９とを備えている。
また、中央制御部１、メモリ２、撮像部３、信号処理部４、第１画像処理部５、記録制御部６及び表示部８は、バスライン１０を介して接続されている。
【００１１】
中央制御部１は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００１２】
メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１や第１画像処理部５等によって処理されるデータ等を一時的に格納する。
【００１３】
撮像部３は、被写体を任意の撮像フレームレートで撮像してフレーム画像を生成する。具体的には、撮像部３は、レンズ部３ａと、電子撮像部３ｂと、撮像制御部３ｃとを備えている。
【００１４】
レンズ部３ａは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズ、レンズを通過する光の量を調整する絞り等から構成されている。
電子撮像部３ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等のイメージセンサ（撮像素子）から構成されている。そして、電子撮像部３ｂは、レンズ部３ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
撮像制御部３ｃは、例えば、タイミング発生器やドライバにより電子撮像部３ｂを走査駆動して、レンズ部３ａを通過した光学像を電子撮像部３ｂにより所定周期毎に二次元の画像信号に変換させ、当該電子撮像部３ｂの撮像領域から一画面分ずつフレーム画像を読み出して信号処理部４に出力させる。
なお、撮像制御部３ｃは、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行っても良い。
【００１５】
信号処理部４は、電子撮像部３ｂから転送されたフレーム画像のアナログ値の信号に対して各種の画像信号処理を施す。具体的には、信号処理部４は、例えば、フレーム画像のアナログ値の信号に対してＲＧＢの色成分毎に適宜ゲイン調整し、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行って、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。また、信号処理部４は、生成された輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒをバッファメモリとして使用されるメモリ２に出力する。
【００１６】
第１画像処理部５は、第１生成部５ａと、第２生成部５ｂと、第１取得部５ｃと、第２取得部５ｄと、第１合成部５ｅとを具備している。
なお、第１画像処理部５の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
【００１７】
第１生成部５ａは、被写体の第１の範囲Ａ１が第１の分解能で表された第１画像Ｉ１（図３（ｂ）参照）を生成する。
すなわち、第１生成部（第１生成手段）５ａは、撮像部３により撮像された元画像Ｉ０（図３（ａ）参照）全体を第１の範囲Ａ１として縮小するようにして第１画像Ｉ１を生成する。
具体的には、撮像部（撮像手段）３は、電子撮像部３ｂの撮像領域の撮像に有効な全ての画素（例えば、横×縦：2560×1440等）を用いた所定の解像度で被写体の撮影可能な範囲全体を撮像し、信号処理部４は、電子撮像部３ｂから転送されたアナログ値の信号に対して各種の画像信号処理を施して、元画像Ｉ０のＹＵＶデータを生成する。そして、第１生成部５ａは、生成された元画像Ｉ０のＹＵＶデータの複製を取得し、元画像Ｉ０全体（第１の範囲Ａ１）を間引き処理等により縮小して第１の分解能で表された所定の画素数（例えば、横×縦：1920×1080等）の第１画像Ｉ１のＹＵＶデータを生成する。
ここで、第１の分解能及び後述する第２の分解能は、画像中の物体（例えば、特定の被写体Ｓ；後述）の精細度合を相対的に表すものであり、例えば、画素数を基準としているが、一例であってこれに限られるものではなく、レンズ部３ａの結像性能や画像の圧縮率を基準としても良い。レンズ部３ａの結像性能としては、例えば、レンズの空間周波数特性を表すＭＴＦ（Modulation Transfer Function）曲線等を用いることができ、レンズ部３ａの結像性能が相対的に高くなると、それに応じて分解能が高くなる。また、例えば、ＪＰＥＧ形式で圧縮する場合、圧縮率によって画質が変化するため、圧縮率が相対的に低くなると、それに応じて分解能が高くなる。
【００１８】
また、撮像部３により被写体の動画像が撮像されている場合、第１生成部５ａは、動画像を構成する複数のフレーム画像の各々を元画像Ｉ０とし、上記と同様の処理を行って第１画像Ｉ１のＹＵＶデータをそれぞれ生成する。
【００１９】
第２生成部５ｂは、被写体の第２の範囲Ａ２が第２の分解能で表された第２画像Ｉ２（図３（ｃ）参照）を生成する。
すなわち、第２生成部（第２生成手段）５ｂは、撮像部３により撮像された元画像Ｉ０（図３（ａ）参照）の一部分の領域を第２の範囲Ａ２として切り取るようにして第２画像Ｉ２を生成する。このとき、第２生成部５ｂは、第１生成部５ａによる第１画像Ｉ１の生成に用いられた画像（元画像Ｉ０）と同一の元画像Ｉ０から第２画像Ｉ２を生成する。
具体的には、第２生成部５ｂは、信号処理部４により生成された元画像Ｉ０のＹＵＶデータの複製を取得し、例えば、所定の被写体検出処理（例えば、顔検出処理等）を行うことで検出された元画像Ｉ０内の特定の被写体Ｓの存する領域（注目部分）を第２の範囲Ａ２として切り取ることで、特定の被写体Ｓが第２の分解能で表された第２画像Ｉ２のＹＵＶデータを生成する。
つまり、第２画像Ｉ２の大きさである第２の範囲Ａ２については、元画像Ｉ０の一部分の領域であることから、第１の範囲Ａ１よりも狭くなっている。また、第２画像Ｉ２の第２の分解能については、第２画像Ｉ２内の特定の被写体Ｓを構成する画素数と第１画像Ｉ１内の特定の被写体Ｓを構成する画素数とを比較すると、第２画像Ｉ２の方が特定の被写体Ｓを構成する画素数が多いことから、第１の分解能よりも高くなっている。
【００２０】
また、撮像部３により被写体の動画像が撮像されている場合、第２生成部５ｂは、動画像を構成する複数のフレーム画像の各々を元画像Ｉ０とし、上記と同様の処理を行って第２画像Ｉ２のＹＵＶデータをそれぞれ生成する。このとき、第２生成部５ｂは、動画像を構成する複数のフレーム画像毎に、切り取られる第２の範囲Ａ２の大きさを異ならせるようにして第２画像Ｉ２をそれぞれ生成しても良い。例えば、第２生成部５ｂは、複数のフレーム画像について、時間経過に伴って第２の範囲Ａ２の大きさを次第に拡大させるようにして複数の第２画像Ｉ２を生成しても良い。
【００２１】
このように、第１生成部５ａ及び第２生成部５ｂは、撮像部３により所定の解像度で撮像された同一の元画像Ｉ０から第１画像Ｉ１及び第２画像Ｉ２をそれぞれ生成する。
なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。また、被写体検出処理として、顔検出処理を例示したが、一例であってこれに限られるものではなく、例えば、エッジ検出処理、特徴抽出処理等の所定の画像認識技術を利用するものであれば適宜任意に変更可能である。
【００２２】
第１取得部５ｃは、第１画像Ｉ１を取得する。
すなわち、第１取得部（第１取得手段）５ｃは、被写体の第１の範囲Ａ１が第１の分解能で表された第１画像Ｉ１（図３（ｂ）参照）を取得する。具体的には、第１取得部５ｃは、動画像を構成する複数のフレーム画像の各々を元画像Ｉ０として第１生成部５ａにより生成された第１画像Ｉ１のＹＵＶデータをそれぞれ取得する。
【００２３】
第２取得部５ｄは、第２画像Ｉ２を取得する。
すなわち、第２取得部（第２取得手段）５ｄは、被写体の第１の範囲Ａ１よりも狭い第２の範囲Ａ２が第１の分解能よりも高い第２の分解能で表された第２画像Ｉ２（図３（ｃ）参照）を取得する。具体的には、第２取得部５ｄは、動画像を構成する複数のフレーム画像の各々を元画像Ｉ０として第２生成部５ｂにより生成された第２画像Ｉ２のＹＵＶデータをそれぞれ取得する。
【００２４】
第１合成部５ｅは、第３画像Ｉ３（図３（ｄ）参照）を生成する。
すなわち、第１合成部（合成手段）５ｅは、第１取得部５ｃにより取得された第１画像Ｉ１と第２取得部５ｄにより取得された第２画像Ｉ２とを各々の分解能を保った状態で合成して第３画像Ｉ３を生成する。具体的には、被写体の撮影時に、第１合成部５ｅは、第１画像Ｉ１及び第２画像Ｉ２の解像度を変化させずに、合成状態で奥側となる画像（例えば、第１画像Ｉ１等）内で特定の被写体Ｓの存しない位置やユーザによる所定操作に基づいて任意の位置に設定された合成位置に、合成状態で手前側となる画像（例えば、第２画像Ｉ２等）を重畳させるように合成することで、第１画像Ｉ１及び第２画像Ｉ２の各々の分解能が保たれた第３画像Ｉ３のＹＵＶデータを生成する。
【００２５】
また、撮像部３により被写体の動画像が撮像されている場合、第１合成部５ｅは、動画像を構成する複数のフレーム画像毎に、対応する第１画像Ｉ１と第２画像Ｉ２とを合成して第３画像Ｉ３をそれぞれ生成する。このとき、第１合成部５ｅは、第１画像Ｉ１と第２画像Ｉ２の大きさを変化させて合成しても良い。
例えば、第１合成部５ｅは、第１画像Ｉ１を奥側とし、且つ、第２画像Ｉ２を手前側とし、第２生成部５ｂにより時間経過に伴って第２の範囲Ａ２の大きさを次第に拡大させるようにして生成された第２画像Ｉ２を第１画像Ｉ１と合成する（図５（ａ）〜図５（ｃ）参照）。
【００２６】
なお、第１画像Ｉ１と第２画像Ｉ２との合成は、公知の技術であるので、ここでは詳細な説明を省略する。
【００２７】
記録制御部６は、第１記録部７からのデータの読み出しや第１記録部７に対するデータの書き込みを制御する。
すなわち、記録制御部６は、例えば、不揮発性メモリ（フラッシュメモリ）や記録媒体等により構成された第１記録部７に、動画像や静止画像の記録用の画像データを記録させる。具体的には、記録制御部６は、被写体の撮影時に、第１合成部５ｅにより第１画像Ｉ１と第２画像Ｉ２とが合成されることで生成された第３画像Ｉ３を所定の圧縮形式（例えば、ＭＰＥＧ形式、Ｍ−ＪＰＥＧ形式、ＪＰＥＧ形式等）で圧縮（符号化）して第１記録部（第１記録手段）７に記録させる。
例えば、撮像部３により被写体の動画像が撮像されている場合、記録制御部６は、第１合成部５ｅにより逐次生成される第３画像Ｉ３を圧縮して、当該動画像を構成するフレーム画像としてメモリ２に一時的に逐次記録していく。そして、動画像の撮像が終了すると、記録制御部６は、メモリ２から全てのフレーム画像を取得し、これらを対応付けて動画像として第１記録部７に記録（保存）させる。
【００２８】
表示部８は、表示制御部８ａと、表示パネル８ｂとを具備している。
【００２９】
表示制御部８ａは、メモリ２や第１記録部７から読み出され記録制御部６により復号された所定の大きさの画像データに基づいて、所定の画像を表示パネル８ｂの表示領域に表示させる制御を行う。具体的には、表示制御部８ａは、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、記録制御部６により復号されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから所定の再生フレームレートで読み出して、これらのデータを元にビデオ信号を発生して表示パネル８ｂに出力する。
【００３０】
表示パネル８ｂは、表示制御部８ａからのビデオ信号に基づいて撮像部３により撮像された画像などを表示領域内に表示する。具体的には、表示パネル（再生手段）８ｂは、第１記録部７に動画像を構成するフレーム画像として記録されている第３画像Ｉ３を所定の再生フレームレートで切り換えて再生する。このとき、第２の範囲Ａ２の大きさを次第に拡大させるようにして生成された複数の第２画像Ｉ２を用いて第１合成部５ｅにより生成された複数の第３画像Ｉ３を、複数のフレーム画像とする動画像を再生対象とする場合、表示パネル８ｂは、第２の範囲Ａ２の大きさを次第に拡大させる第２画像Ｉ２が合成された第３画像Ｉ３をフレーム画像として再生する（図５（ａ）〜図５（ｃ）参照）。
【００３１】
なお、表示パネル８ｂとしては、例えば、液晶表示パネルや有機ＥＬ（Electro-Luminescence）表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。
【００３２】
操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮影指示に係るシャッタボタン、撮影モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン（何れも図示略）等の操作部を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部９は、操作されたボタンに応じた操作信号を中央制御部１に出力する。中央制御部１は、操作入力部９から出力され入力された操作指示に従って所定の動作（例えば、動画像の撮影等）を各部に実行させる。
【００３３】
＜動画撮影処理＞
次に、撮像装置１００による動画撮影処理について、図２〜図３（ｄ）を参照して説明する。
図２は、動画撮影処理に係る動作の一例を示すフローチャートである。また、図３（ａ）〜図３（ｄ）は、動画撮影処理を説明するための図であり、動画像を構成する一のフレーム画像を模式的に表している。
【００３４】
図２に示すように、先ず、中央制御部１のＣＰＵは、例えば、ユーザによる操作入力部９の所定操作に基づいて、第１画像Ｉ１と第２画像Ｉ２とを合成した第３画像Ｉ３を動画像を構成するフレーム画像とする第１合成モードが設定されているか否かを判定する（ステップＳ１）。
ここで、第１合成モードが設定されていると判定されると（ステップＳ１；ＹＥＳ）、ユーザによる操作入力部９（例えば、シャッタボタン）の所定操作に基づいて、撮像部３は、被写体の動画像の撮像を開始する（ステップＳ２）。
一方、第１合成モードが設定されていないと判定されると（ステップＳ１；ＮＯ）、撮像部３により被写体が撮像されることで生成された画像を動画像を構成するフレーム画像とする通常の動画撮影処理を行う（ステップＳ３）。
【００３５】
被写体の動画像の撮像が開始されると（ステップＳ２）、撮像部３の撮像制御部３ｃは、動画像の撮像フレームレートに応じた所定の撮像タイミングで、電子撮像部３ｂの撮像領域の撮像に有効な全ての画素（例えば、横×縦：2560×1440等）を用いて被写体の撮影可能な範囲全体を撮像させ、その光学像を二次元の画像信号に変換させて信号処理部４に出力し、信号処理部４は、電子撮像部３ｂから転送されたアナログ値の信号に対して各種の画像信号処理を施して、元画像Ｉ０のＹＵＶデータを生成する（ステップＳ４；図３（ａ）参照）。
そして、第１生成部５ａは、信号処理部４により生成された元画像Ｉ０のＹＵＶデータの複製を取得し、元画像Ｉ０全体を間引き処理等により縮小して第１の分解能で表された所定の画素数（例えば、横×縦：1920×1080等）の第１画像Ｉ１のＹＵＶデータを生成する（ステップＳ５；図３（ｂ）参照）。
【００３６】
次に、第２生成部５ｂは、信号処理部４により生成された元画像Ｉ０のＹＵＶデータの複製を取得し、例えば、所定の被写体検出処理（例えば、顔検出処理等）を行うことで元画像Ｉ０内から特定の被写体Ｓを検出する（ステップＳ６）。続けて、第２生成部５ｂは、検出された特定の被写体Ｓの存する領域を第２の範囲Ａ２として切り取ることで、特定の被写体Ｓが第２の分解能で表された第２画像Ｉ２のＹＵＶデータを生成する（ステップＳ７；図３（ｃ）参照）。
なお、第２の範囲Ａ２として切り取られる特定の被写体Ｓの存する領域は、例えば、ユーザによる操作入力部９の所定操作に基づいて指定されても良い。
【００３７】
また、上記したステップＳ５〜Ｓ７の各処理の順序は、一例であってこれに限られるものではなく、例えば、第２画像Ｉ２の生成後に、第１画像Ｉ１を生成しても良い。
【００３８】
そして、第１取得部５ｃは、第１生成部５ａにより生成された第１画像Ｉ１のＹＵＶデータを取得するとともに、第２取得部５ｄは、第２生成部５ａにより生成された第２画像Ｉ２のＹＵＶデータを取得する（ステップＳ８）。
次に、第１合成部５ｅは、合成状態で奥側となる第１画像Ｉ１内で手前側となる第２画像Ｉ２の合成位置を特定する（ステップＳ９）。具体的には、第１合成部５ｅは、例えば、第１画像Ｉ１内で特定の被写体Ｓの存しない位置、ユーザによる操作入力部９の所定操作に基づいて設定された任意の位置、デフォルトとして指定されている位置等を合成位置として特定する。
続けて、第１合成部５ｅは、第１画像Ｉ１内の特定された合成位置に第２画像Ｉ２を重畳させるように合成して第３画像Ｉ３のＹＵＶデータを生成する（ステップＳ１０；図３（ｄ）参照）。なお、図３（ｄ）には、生成された第３画像Ｉ３がライブビュー画像として表示パネル８ｂに表示された状態を模式的に表している。
【００３９】
その後、記録制御部６は、第１合成部５ｅにより生成された第３画像Ｉ３のＹＵＶデータを取得して、この第３画像Ｉ３のＹＵＶデータを所定の圧縮形式（例えば、ＭＰＥＧ形式等）で圧縮して、当該動画像を構成するフレーム画像としてメモリ２に一時的に記録させる（ステップＳ１１）。
次に、中央制御部１のＣＰＵは、被写体の動画像の撮像の終了指示が入力されたか否かを判定する（ステップＳ１２）。ここで、被写体の動画像の撮像の終了は、例えば、ユーザによる操作入力部９の所定操作に基づいて指示されたり、予め指定されている録画時間の経過に基づいて指示されたりする。
【００４０】
ステップＳ１２にて、被写体の動画像の撮像の終了指示が入力されていないと判定されると（ステップＳ１２；ＮＯ）、中央制御部１のＣＰＵは、処理をステップＳ４に戻し、それ以降の各処理を逐次実行する。すなわち、ステップＳ４〜Ｓ１１の各処理が実行されて、動画像を構成する次のフレーム画像となる第３画像Ｉ３を生成して、メモリ２に記録する。
上記した各処理は、ステップＳ１２にて被写体の動画像の撮像の終了指示が入力されたと判定（ステップＳ１２；ＹＥＳ）されるまで繰り返し実行される。
【００４１】
一方、ステップＳ１２にて、被写体の動画像の撮像の終了指示が入力されたと判定されると（ステップＳ１２；ＹＥＳ）、記録制御部６は、メモリ２に一時的に記録されている全てのフレーム画像を取得し、これらを対応付けて動画像として第１記録部７に保存させる（ステップＳ１３）。
これにより、動画撮影処理を終了する。
【００４２】
＜再生処理＞
次に、撮像装置１００による再生処理について、図４〜図５（ｃ）を参照して説明する。
図４は、再生処理に係る動作の一例を示すフローチャートである。また、図５（ａ）〜図５（ｃ）は、再生処理を説明するための図である。
【００４３】
図４に示すように、例えば、ユーザによる操作入力部９の所定操作に基づいて、再生対象となる動画像が指定されると（ステップＳ２１）、表示部８は、指定された動画像の再生を開始する（ステップＳ２２）。
すなわち、記録制御部６は、第１記録部７から再生対象の動画像のデータを読み出して、当該動画像の構成する複数のフレーム画像のうち、現在の再生フレーム番号に対応するフレーム画像である第３画像Ｉ３を圧縮形式（例えば、ＭＰＥＧ形式等）に応じた復号化方式で復号して、表示制御部８ａに出力する（ステップＳ２３）。そして、表示制御部８ａは、入力された第３画像Ｉ３をフレーム画像として所定の再生フレームレートで表示パネル８ｂの表示領域に表示させる（ステップＳ２４；図５（ａ）参照）。
【００４４】
次に、中央制御部１のＣＰＵは、動画像の再生終了指示が入力されたか否かを判定する（ステップＳ２５）。ここで、動画像の再生の終了は、例えば、再生対象の動画像の再生時間の経過に基づいて指示されたり、再生途中であってもユーザによる操作入力部９の所定操作に基づいて指示されたりする。
ステップＳ２５にて、動画像の再生終了指示が入力されていないと判定されると（ステップＳ２５；ＮＯ）、中央制御部１のＣＰＵは、処理をステップＳ２３に戻し、それ以降の各処理を逐次実行する。すなわち、ステップＳ２３、Ｓ２４の各処理が実行されて、動画像を構成する複数のフレーム画像のうち、現在の再生フレーム番号（前回を基準とすると、次のフレーム番号）のフレーム画像が表示される（図５（ｂ）や図５（ｃ）等参照）。
ここで、図５（ａ）〜図５（ｃ）には、第１画像Ｉ１を奥側とし、且つ、第２画像Ｉ２を手前側とし、動画像の撮像時間の経過に伴って第２の範囲Ａ２の大きさを次第に拡大させるようにして生成された第２画像Ｉ２と第１画像Ｉ１とが合成された第３画像Ｉ３をフレーム画像とする動画像の一例が表されている。図５（ｃ）に示すように、第２画像Ｉ２の大きさが第１画像Ｉ１の大きさと略等しくなると、第２画像Ｉ２が表示パネル８ｂの全面に表示された状態となる。
【００４５】
上記した各処理は、ステップＳ２５にて動画像の再生終了指示が入力されたと判定（ステップＳ２５；ＹＥＳ）されるまで繰り返し実行される。
ステップＳ２５にて、動画像の再生終了指示が入力されたと判定されると（ステップＳ２５；ＹＥＳ）、再生処理を終了する。
【００４６】
以上のように、実施形態１の撮像装置１００によれば、被写体の第１の範囲Ａ１が第１の分解能で表された第１画像Ｉ１を取得し、被写体の第１の範囲Ａ１よりも狭い第２の範囲Ａ２が第１の分解能よりも高い第２の分解能で表された第２画像Ｉ２を取得し、取得された第１画像Ｉ１と第２画像Ｉ２とを各々の分解能を保った状態で合成して第３画像Ｉ３を生成するので、単に第１画像Ｉ１の一部分の領域を拡大して合成したり表示したりするものとは異なり、例えば、特定の被写体Ｓに対応して特定される第２の範囲Ａ２についてはより分解能の高い第２画像Ｉ２として第１画像Ｉ１と合成して第３画像Ｉ３を生成することができ、当該第３画像Ｉ３の記録や再生において、より有効に活用することができる。
【００４７】
また、被写体の撮影可能な範囲全体を所定の解像度で撮像し、撮像された元画像Ｉ０全体を第１の範囲Ａ１として縮小するようにして第１画像Ｉ１を生成し、元画像Ｉ０の一部分の領域（注目部分）を第２の範囲Ａ２として切り取るようにして第２画像Ｉ２を生成するので、互いに分解能の異なる第１画像Ｉ１及び第２画像Ｉ２の生成を簡便に行うことができ、結果として、これらを取得して第３画像Ｉ３の生成を簡便に行うことができる。特に、所定の解像度で撮像された同一の元画像Ｉ０から互いに分解能の異なる第１画像Ｉ１及び第２画像Ｉ２をそれぞれ生成することができる。
また、撮像された元画像Ｉ０全体を縮小し、元画像Ｉ０内の注目部分を縮小せずに記録するので、少ない記録容量であっても、全体の大まかな確認と注目部分の詳細な確認が可能な形で撮影画像を記録することができる。
また、元画像Ｉ０全体を縮小した第１画像Ｉ１の一部に、切り取った注目部分に対応する第２画像Ｉ２を合成した状態で記録するので、２つのフレーム画像（画像ファイル）を別々に記録、再生する管理が不要となり、１つのフレーム画像（画像ファイル）だけを記録、再生するだけで、全体の大まかな確認と注目部分の詳細な確認が可能になる。
さらに、撮像部３により撮像される被写体の動画像を構成する複数のフレーム画像の各々から第１画像Ｉ１を生成し、複数のフレーム画像の各々から第２画像Ｉ２を生成して、複数のフレーム画像毎に、対応する第１画像Ｉ１と第２画像Ｉ２とを合成して第３画像Ｉ３を生成するので、互いに分解能の異なる第１画像Ｉ１と第２画像Ｉ２とが合成された第３画像Ｉ３をフレーム画像とする動画像を生成することができる。このとき、動画像を構成する複数のフレーム画像毎に、第２の範囲Ａ２の大きさを異ならせるようにして第２画像Ｉ２を生成することで、生成された複数の第２画像Ｉ２を用いて生成された複数の第３画像Ｉ３を複数のフレーム画像とする動画像を、第２の範囲Ａ２の大きさを次第に拡大させるように再生することができ、より有効に活用することができる。
【００４８】
また、被写体の撮影時に、第１画像Ｉ１と第２画像Ｉ２とを合成して第３画像Ｉ３を生成し、当該第３画像Ｉ３を第１記録部７に記録するので、第１記録部７から第３画像Ｉ３を読み出すだけで、第１画像Ｉ１及び第２画像Ｉ２が合成された第３画像Ｉ３を再生することができ、例えば、第２画像Ｉ２内におけるより高い分解能で表されている特定の被写体Ｓの確認を効率良く行うことができる。
さらに、第３画像Ｉ３を圧縮して記録しても、第１画像Ｉ１と第２画像Ｉ２の各々の分解能を保った状態とすることができる。
【００４９】
［実施形態２］
以下に、実施形態２の撮像装置２００について、図６〜図９（ｄ）を参照して説明する。
実施形態２の撮像装置２００は、以下に詳細に説明する以外の点で上記実施形態１の撮像装置１００と略同様の構成をなし、詳細な説明は省略する。
【００５０】
図６は、本発明を適用した実施形態２の撮像装置２００の概略構成を示すブロック図である。
本実施形態の撮像装置２００は、被写体の撮影時に、第１生成部５ａにより生成された第１画像Ｉ１と第２生成部５ｂにより生成された第２画像Ｉ２とを関連付けて第２記録部２０７に記録し、画像の再生時に、第２画像処理部２０５の第２合成部２０５ｅにより第１画像Ｉ１と第２画像Ｉ２とが合成されることで第３画像Ｉ３が生成され、当該第３画像Ｉ３を表示する。
【００５１】
先ず、第２記録部２０７について説明する。
第２記録部２０７は、第１画像群Ｇ１と、第２画像群Ｇ２と、合成位置リストＬとを記録している。
第１画像群Ｇ１は、第１生成部５ａにより生成された複数の第１画像Ｉ１から構成されている。具体的には、第１画像群Ｇ１は、被写体の動画像の撮影の際に、第１生成部５ａにより生成されて、記録制御部６により所定の圧縮形式（例えば、ＭＰＥＧ形式）で圧縮された第１画像Ｉ１とフレーム番号とを対応付けて構成されている。
第２画像群Ｇ２は、第２生成部５ｂにより生成された複数の第２画像Ｉ２から構成されている。具体的には、第２画像群Ｇ２は、被写体の動画像の撮影の際に、第２生成部５ｂにより生成されて、記録制御部６により所定の圧縮形式（例えば、ＭＰＥＧ形式）で圧縮された第２画像Ｉ２とフレーム番号とを対応付けて構成されている。
合成位置リストＬは、合成状態で奥側となる画像（例えば、第１画像Ｉ１等）内での手前側となる画像（例えば、第２画像Ｉ２等）の合成位置とフレーム番号とを対応付けて構成されている。
なお、フレーム番号は、被写体の動画像の撮影時には、撮像フレームの順番を表し、動画像の再生時には、再生フレームの順番（再生フレーム番号）を表す。
【００５２】
第２合成部２０５ｅは、画像の再生時に、第１画像Ｉ１と第２画像Ｉ２とを合成して第３画像Ｉ３を生成する。
すなわち、第２合成部２０５ｅは、複数の第３画像Ｉ３を再生される動画像を構成する複数のフレーム画像として生成する。例えば、第１取得部５ｃは、画像の再生時に、第２記録部２０７に記録されている第１画像群Ｇ１から、再生フレーム番号に対応するフレーム画像となる第３画像Ｉ３を形成するための第１画像Ｉ１のＹＵＶデータを取得する。また、第２取得部５ｄは、画像の再生時に、第２記録部２０７に記録されている第２画像群Ｇ２から、再生フレーム番号に対応するフレーム画像となる第３画像Ｉ３を形成するための第２画像Ｉ２のＹＵＶデータを取得する。そして、第２合成部２０５ｅは、第１取得部５ｃにより取得された第１画像Ｉ１と第２取得部５ｄにより取得された第２画像Ｉ２とを各々の分解能を保った状態で合成して第３画像Ｉ３を生成する。具体的には、第２合成部２０５ｅは、第２記録部２０７に記録されている合成位置リストＬから、再生フレーム番号に対応するフレーム画像における合成位置を取得し、合成状態で奥側となる画像（例えば、第１画像Ｉ１等）の合成位置に、合成状態で手前側となる画像（例えば、第２画像Ｉ２等）を重畳させるように合成することで、第３画像Ｉ３のＹＵＶデータを生成する。
【００５３】
また、第２合成部２０５ｅは、上記実施形態１と同様に、例えば、第１画像Ｉ１を奥側とし、且つ、第２画像Ｉ２を手前側とし、第２生成部５ｂにより時間経過に伴って第２の範囲Ａ２の大きさを次第に拡大させるようにして生成された第２画像Ｉ２を第１画像Ｉ１と合成しても良い。この場合に、第２合成部２０５ｅは、奥側の第１画像Ｉ１の大きさ（画素数）を次第に縮小させていっても良く、次第に縮小させていく第１画像Ｉ１の大きさよりも第２の範囲Ａ２の大きさを次第に拡大させていく第２画像Ｉ２の方が大きくなると、第２画像Ｉ２を奥側とし、第１画像Ｉ１を手前側として合成して複数の第３画像Ｉ３を生成しても良い（図９（ａ）〜図９（ｄ）参照）。
ここで、第２合成部２０５ｅは、例えば、被写体の撮影された範囲が最も広い第１画像Ｉ１（例えば、最初のフレーム番号に対応する第１画像Ｉ１等）から切り取られる一部分の領域の大きさを次第に小さくしていくことで、第１画像Ｉ１の大きさを変化させるようになっている。
【００５４】
なお、第１生成部５ａと第２生成部５ｂは、上記実施形態１の撮像装置１００に備わるものと略同様の構成及び機能を有しており、ここでは詳細な説明は省略する。
【００５５】
＜動画撮影処理＞
次に、撮像装置２００による動画撮影処理について、図７を参照して説明する。
図７は、動画撮影処理に係る動作の一例を示すフローチャートである。
【００５６】
図７に示すように、先ず、中央制御部１のＣＰＵは、例えば、ユーザによる操作入力部９の所定操作に基づいて、画像の再生時に、第１画像Ｉ１と第２画像Ｉ２とを合成して第３画像Ｉ３を生成して、動画像を構成するフレーム画像とする第２合成モードが設定されているか否かを判定する（ステップＳ３１）。
ここで、第２合成モードが設定されていると判定されると（ステップＳ３１；ＹＥＳ）、上記実施形態１の動画撮影処理のステップＳ２と略同様に、撮像部３は、被写体の動画像の撮像を開始する（ステップＳ３２）。
一方、第２合成モードが設定されていないと判定されると（ステップＳ３１；ＮＯ）、上記実施形態１の動画撮影処理のステップＳ３と略同様に、通常の動画撮影処理を行う（ステップＳ３３）。
【００５７】
被写体の動画像の撮像が開始されると（ステップＳ３２）、上記実施形態１の動画撮影処理のステップＳ４と略同様に、撮像部３の撮像制御部３ｃは、動画像の撮像フレームレートに応じた所定の撮像タイミングで、電子撮像部３ｂの撮像領域の撮像に有効な全ての画素（例えば、横×縦：2560×1440等）を用いて被写体の撮影可能な範囲全体を撮像させ、信号処理部４は、元画像Ｉ０のＹＵＶデータを生成する（ステップＳ３４）。
そして、第１生成部５ａは、上記実施形態１の動画撮影処理のステップＳ５と略同様に、複製された元画像Ｉ０全体を縮小して第１の分解能で表された所定の画素数（例えば、横×縦：1920×1080等）の第１画像Ｉ１のＹＵＶデータを生成する（ステップＳ３５）。
【００５８】
次に、第２生成部５ｂは、上記実施形態１の動画撮影処理のステップＳ６と略同様に、複製された元画像Ｉ０内から特定の被写体Ｓを検出し（ステップＳ３６）、続けて、上記実施形態１の動画撮影処理のステップＳ７と略同様に、特定の被写体Ｓの存する領域を第２の範囲Ａ２として切り取ることで、特定の被写体Ｓが第２の分解能で表された第２画像Ｉ２のＹＵＶデータを生成する（ステップＳ３７）。
【００５９】
そして、第２合成部２０５ｅは、上記実施形態１の動画撮影処理のステップＳ９と略同様に、合成状態で奥側となる第１画像Ｉ１内で手前側となる第２画像Ｉ２の合成位置を特定する（ステップＳ３８）。続けて、第２合成部２０５ｅは、特定された合成位置とフレーム番号とを対応付けて合成位置リストＬに追加して、メモリ２に一時的に記録させる（ステップＳ３９）。
【００６０】
次に、記録制御部６は、第１生成部５ａにより生成された第１画像Ｉ１のＹＵＶデータを取得して、この第１画像Ｉ１のＹＵＶデータを所定の圧縮形式（例えば、ＭＰＥＧ形式等）で圧縮し、フレーム番号と対応付けて第１画像群Ｇ１に追加して、メモリ２に一時的に記録させる（ステップＳ４０）。続けて、記録制御部６は、第２生成部５ｂにより生成された第２画像Ｉ２のＹＵＶデータを取得して、この第２画像Ｉ２のＹＵＶデータを所定の圧縮形式（例えば、ＭＰＥＧ形式等）で圧縮し、フレーム番号と対応付けて第２画像群Ｇ２に追加して、メモリ２に一時的に記録させる（ステップＳ４１）。
なお、上記したステップＳ４０、Ｓ４１の各処理の順序は、一例であってこれに限られるものではなく、例えば、第２画像Ｉ２の記録後に、第１画像Ｉ１を記録しても良い。
【００６１】
次に、中央制御部１のＣＰＵは、上記実施形態１の動画撮影処理のステップＳ１２と略同様に、被写体の動画像の撮像の終了指示が入力されたか否かを判定する（ステップＳ４２）。
ここで、被写体の動画像の撮像の終了指示が入力されていないと判定されると（ステップＳ４２；ＮＯ）、中央制御部１のＣＰＵは、処理をステップＳ３４に戻し、それ以降の各処理を逐次実行する。すなわち、ステップＳ３４〜Ｓ４１の各処理が実行されて、動画像を構成する次のフレーム画像となる第３画像Ｉ３を構成するための第１画像Ｉ１及び第２画像Ｉ２生成して、メモリ２に記録する。
上記した各処理は、ステップＳ４２にて被写体の動画像の撮像の終了指示が入力されたと判定（ステップＳ４２；ＹＥＳ）されるまで繰り返し実行される。
【００６２】
一方、ステップＳ４２にて、被写体の動画像の撮像の終了指示が入力されたと判定されると（ステップＳ４２；ＹＥＳ）、記録制御部６は、メモリ２に一時的に記録されている第１画像群Ｇ１と第２画像群Ｇ２と合成位置リストＬを取得し、これらを対応付けて第２記録部２０７に保存させる（ステップＳ４３）。
これにより、動画撮影処理を終了する。
【００６３】
＜再生処理＞
次に、撮像装置２００による再生処理について、図８〜図９（ｄ）を参照して説明する。
図８は、再生処理に係る動作の一例を示すフローチャートである。また、図９（ａ）〜図９（ｄ）は、再生処理を説明するための図である。
【００６４】
図８に示すように、例えば、ユーザによる操作入力部９の所定操作に基づいて、最初のフレーム番号に対応する第１画像Ｉ１或いは第２画像Ｉ２が再生対象として指定されると（ステップＳ５１）、中央制御部１のＣＰＵは、再生対象が第２合成モード（図７参照）で記録されている画像であるか否かを判定する（ステップＳ５２）。
ここで、再生対象が第２合成モードで記録されている画像でないと判定されると（ステップＳ５２；ＮＯ）、中央制御部１のＣＰＵは、上記した実施形態１の再生処理（図５参照）等の通常の再生処理を行う（ステップＳ５３）。
【００６５】
一方、ステップＳ５２にて、再生対象が第２合成モードで記録されている画像であると判定されると（ステップＳ５２；ＹＥＳ）、表示部８は、指定された動画像の再生を開始する（ステップＳ５４）。
すなわち、記録制御部６は、第２記録部２０７に記録されている第１画像群Ｇ１のうち、現在の再生フレーム番号に対応する第１画像Ｉ１を圧縮形式（例えば、ＭＰＥＧ形式等）に応じた復号化方式で復号してメモリ２に出力し、第１取得部５ｃは、メモリ２から第１画像Ｉ１のＹＵＶデータを取得する（ステップＳ５５）。次に、記録制御部６は、第２記録部２０７に記録されている第２画像群Ｇ２のうち、現在の再生フレーム番号に対応する第２画像Ｉ２を圧縮形式（例えば、ＭＰＥＧ形式等）に応じた復号化方式で復号してメモリ２に出力し、第２取得部５ｄは、メモリ２から第２画像Ｉ２のＹＵＶデータを取得する（ステップＳ５６）。その後、第２合成部２０５ｅは、第２記録部２０７に記録されている合成位置リストＬから、現在の再生フレーム番号に対応する合成位置を取得する（ステップＳ５７）。
なお、上記したステップＳ５５〜Ｓ５７の各処理の順序は、一例であってこれに限られるものではなく、例えば、第２画像Ｉ２の取得後に、第１画像Ｉ１を取得しても良いし、また、合成位置を取得するタイミングは、第１画像Ｉ１や第２画像Ｉ２の取得前であっても良い。
【００６６】
次に、第２合成部２０５ｅは、第１画像Ｉ１内の合成位置に第２画像Ｉ２を重畳させるように合成して第３画像Ｉ３のＹＵＶデータを生成して、表示制御部８ａに出力する（ステップＳ５８）。そして、表示制御部８ａは、入力された第３画像Ｉ３をフレーム画像として所定の再生フレームレートで表示パネル８ｂの表示領域に表示させる（ステップＳ５９；図９（ａ）参照）。
【００６７】
次に、中央制御部１のＣＰＵは、上記実施形態１の再生処理のステップＳ２５と略同様に、動画像の再生終了指示が入力されたか否かを判定する（ステップＳ６０）。
ここで、動画像の再生終了指示が入力されていないと判定されると（ステップＳ６０；ＮＯ）、中央制御部１のＣＰＵは、処理をステップＳ５５に戻し、それ以降の各処理を逐次実行する。すなわち、ステップＳ５５〜Ｓ５９の各処理が実行されて、再生フレーム番号順に、第１画像Ｉ１と第２画像Ｉ２とが合成されることで第３画像Ｉ３がフレーム画像として生成され、生成されたフレーム画像が表示される（図９（ｃ）〜図９（ｄ）等参照）。
ここで、図９（ａ）〜図９（ｄ）には、動画像の撮像時間の経過に伴って第２の範囲Ａ２の大きさを次第に拡大させるようにして生成された第２画像Ｉ２と第１画像Ｉ１とが合成された第３画像Ｉ３をフレーム画像とする動画像の一例が表されている。
この動画像の一例では、手前側の第２画像Ｉ２の大きさの拡大に伴って、奥側の第１画像Ｉ１の大きさを次第に縮小させており、この過程で、次第に縮小させていく第１画像Ｉ１の大きさよりも第２の範囲Ａ２の大きさを次第に拡大させていく第２画像Ｉ２の方が大きくなると、第２合成部２０５ｅは、第２画像Ｉ２を奥側とし、第１画像Ｉ１を手前側として合成して第３画像Ｉ３を生成する（図９（ｃ）等参照）。そして、図９（ｄ）に示すように、最終的には、表示パネル８ｂの全面に表示された第２画像Ｉ２の手前側に、最初のフレーム番号に対応する第１画像Ｉ１の一部分の領域が表示された状態となる。
【００６８】
上記した各処理は、ステップＳ６０にて動画像の再生終了指示が入力されたと判定（ステップＳ６０；ＹＥＳ）されるまで繰り返し実行される。
ステップＳ６０にて、動画像の再生終了指示が入力されたと判定されると（ステップＳ６０；ＹＥＳ）、再生処理を終了する。
【００６９】
以上のように、実施形態２の撮像装置２００によれば、上記実施形態１と略同様に、単に第１画像Ｉ１の一部分の領域を拡大して合成したり表示したりするものとは異なり、例えば、特定の被写体Ｓ（注目部分）に対応して特定される第２の範囲Ａ２についてはより分解能の高い第２画像Ｉ２として第１画像Ｉ１と合成して第３画像Ｉ３を生成することができ、当該第３画像Ｉ３の記録や再生において、より有効に活用することができる。
特に、被写体の撮影時に、生成された第１画像Ｉ１と第２画像Ｉ２とを関連付けて第２記録部２０７に記録しておくことで、画像の再生時に、第２記録部２０７に記録されている第１画像Ｉ１と第２画像Ｉ２とが合成されることで第３画像Ｉ３が生成され、当該第３画像Ｉ３を表示することができる。すなわち、被写体の撮影時には、第１画像Ｉ１と第２画像Ｉ２とを合成して第３画像Ｉ３を生成する必要がなくなり、処理能力が相対的に低い装置であっても被写体の撮影と第３画像Ｉ３の生成とを別々に効率良く行うことができる。さらに、第１画像Ｉ１が第２画像Ｉ２よりも奥側となるようにして複数の第３画像Ｉ３を生成するとともに、次第に縮小させていく第１画像Ｉ１の大きさよりも第２の範囲Ａ２の大きさを次第に拡大させていく第２画像Ｉ２の方が大きくなると、第２画像Ｉ２が第１画像Ｉ１よりも奥側となるようにして複数の第３画像Ｉ３を生成することもでき、被写体の撮影と第３画像Ｉ３の生成とを別々に行うことで、相対的に自由度の高い態様で第１画像Ｉ１と第２画像Ｉ２とが合成された第３画像Ｉ３を生成することができる。
つまり、実施形態２においては、少ない記録容量であっても、全体の大まかな確認と注目部分の詳細な確認が可能な形で撮影画像を記録することができるのは実施形態１と同様であるが、実施形態１と比較して、第１画像Ｉ１と第２画像Ｉ２とを別々に記録、再生する管理が必要となる代わりに、元画像Ｉ０全体を縮小した第１画像Ｉ１と、切り取った注目部分に対応する第２画像Ｉ２とを利用した再生表示により、全体の大まかな確認と注目部分の詳細な確認を行う際の自由度を高めることができる。
【００７０】
なお、本発明は、上記実施形態１、２に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、動画像の撮像の際に、第２生成部５ｂにより元画像Ｉ０から切り取られる一部分の領域の位置を変化させることで、第２の範囲Ａ２の位置を異ならせた第２画像Ｉ２を生成しても良い。すなわち、特定の被写体Ｓが二つ以上ある場合等に、動画像の撮像の途中で、第２生成部５ｂは、第２の範囲Ａ２の位置を異ならせた第２画像Ｉ２を生成することで、二つ以上の特定の被写体Ｓを切り換えて合成可能となっている。
さらに、第２の範囲Ａ２の数を特定の被写体Ｓの数に応じて変化させることで、特定の被写体Ｓの各々に対応する複数の第２画像Ｉ２を生成して、第１画像Ｉ１と合成しても良い。
【００７１】
また、上記実施形態１、２にあっては、動画像を構成する複数のフレーム画像として、複数の第３画像Ｉ３を生成するようにしたが、一例であってこれに限られるものではなく、例えば、一枚の静止画像としても良い。
【００７２】
また、撮像装置１００、２００の構成は、上記実施形態１、２に例示したものは一例であり、これに限られるものではない。さらに、画像処理装置として、撮像装置１００、２００を例示したが、これに限られるものではなく、撮像機能を具備するか否かは適宜任意に変更可能である。
【００７３】
加えて、上記実施形態にあっては、第１取得手段、第２取得手段、合成手段としての機能を、中央制御部１の制御下にて、第１取得部５ｃ、第２取得部５ｄ、第１合成部５ｅが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
すなわち、プログラムメモリ（図示略）に、第１取得処理ルーチン、第２取得処理ルーチン、合成処理ルーチンを含むプログラムを記録しておく。そして、第１取得処理ルーチンにより中央制御部１のＣＰＵに、被写体の第１の範囲Ａ１が第１の分解能で表された第１画像Ｉ１を取得する機能を実現させるようにしても良い。また、第２取得処理ルーチンにより中央制御部１のＣＰＵに、被写体の第１の範囲Ａ１よりも狭い第２の範囲Ａ２が第１の分解能よりも高い第２の分解能で表された第２画像Ｉ２を取得する機能を実現させるようにしても良い。また、合成処理ルーチンにより中央制御部１のＣＰＵに、取得された第１画像Ｉ１と取得された第２画像Ｉ２とを各々の分解能を保った状態で合成して第３画像Ｉ３を生成する機能を実現させるようにしても良い。
【００７４】
同様に、撮像手段、第１生成手段、第２生成手段、第１記録手段、第２記録手段、再生手段、記録制御手段についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【００７５】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【００７６】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
被写体の第１の範囲が第１の分解能で表された第１画像を取得する第１取得手段と、
前記被写体の前記第１の範囲よりも狭い第２の範囲が前記第１の分解能よりも高い第２の分解能で表された第２画像を取得する第２取得手段と、
前記第１取得手段により取得された第１画像と前記第２取得手段により取得された第２画像とを各々の分解能を保った状態で合成して第３画像を生成する合成手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
被写体の撮影可能な範囲全体を所定の解像度で撮像する撮像手段と、
前記撮像手段により撮像された画像全体を前記第１の範囲として縮小するようにして前記第１画像を生成する第１生成手段と、
前記撮像手段により撮像された画像の一部分の領域を前記第２の範囲として切り取るようにして前記第２画像を生成する第２生成手段と、を更に備え、
前記第１取得手段は、前記第１生成手段により生成された前記第１画像を取得し、
前記第２取得手段は、前記第２生成手段により生成された前記第２画像を取得することを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記第１生成手段及び前記第２生成手段は、前記撮像手段により所定の解像度で撮像された同一の画像から前記第１画像及び前記第２画像をそれぞれ生成することを特徴とする請求項２に記載の画像処理装置。
＜請求項４＞
被写体の撮影時に、前記合成手段により前記第１画像と前記第２画像とが合成されることで前記第３画像が生成され、当該第３画像を記録する第１記録手段を更に備えることを特徴とする請求項２又は３に記載の画像処理装置。
＜請求項５＞
被写体の撮影時に、前記第１生成手段により生成された第１画像と前記第２生成手段により生成された第２画像とを関連付けて記録する第２記録手段を更に備え、
画像の再生時に、前記合成手段により前記第２記録手段に記録されている前記第１画像と前記第２画像とが合成されることで前記第３画像が生成され、当該第３画像を表示することを特徴とする請求項２又は３に記載の画像処理装置。
＜請求項６＞
前記撮像手段により被写体の動画像が撮像され、
前記第１生成手段は、前記動画像を構成する複数のフレーム画像の各々から前記第１画像を生成し、
前記第２生成手段は、前記動画像を構成する複数のフレーム画像の各々から前記第２画像を生成し、
前記合成手段は、前記動画像を構成する複数のフレーム画像毎に、対応する前記第１画像と前記第２画像とを合成して前記第３画像を生成することを特徴とする請求項２〜５の何れか一項に記載の画像処理装置。
＜請求項７＞
前記第２生成手段は、前記動画像を構成する複数のフレーム画像毎に、前記第２の範囲の大きさを異ならせるようにして前記第２画像を生成可能であることを特徴とする請求項６に記載の画像処理装置。
＜請求項８＞
前記第３画像を再生する再生手段を更に備え、
前記再生手段は、前記第２生成手段により前記第２の範囲の大きさを次第に拡大させるようにして生成された複数の第２画像を用いて前記合成手段により生成された複数の第３画像を複数のフレーム画像とする動画像を、前記第２の範囲の大きさを次第に拡大させるように再生することを特徴とする請求項７に記載の画像処理装置。
＜請求項９＞
前記合成手段は、前記第１生成手段により生成された前記第１画像が前記第２画像よりも奥側となるようにして前記複数の第３画像を生成するとともに、次第に縮小させていく前記第１画像の大きさよりも前記第２の範囲の大きさを次第に拡大させていく前記第２画像の方が大きくなると、前記第２画像が前記第１画像よりも奥側となるようにして前記複数の第３画像を生成することを特徴とする請求項８に記載の画像処理装置。
＜請求項１０＞
前記第２生成手段は、前記動画像の途中のフレーム画像として、前記第２の範囲の位置を異ならせた前記第２画像を生成可能であることを特徴とする請求項６〜９の何れか一項に記載の画像処理装置。
＜請求項１１＞
前記合成手段により前記第１画像と前記第２画像とが合成されることで生成された前記第３画像を圧縮して記録させる記録制御手段を更に備えることを特徴とする請求項１〜１０の何れか一項に記載の画像処理装置。
＜請求項１２＞
画像処理装置を用いた画像処理方法であって、
被写体の第１の範囲が第１の分解能で表された第１画像を取得する処理と、
前記被写体の前記第１の範囲よりも狭い第２の範囲が前記第１の分解能よりも高い第２の分解能で表された第２画像を取得する処理と、
取得された第１画像と取得された第２画像とを各々の分解能を保った状態で合成して第３画像を生成する処理と、
を含むことを特徴とする画像処理方法。
＜請求項１３＞
画像処理装置のコンピュータを、
被写体の第１の範囲が第１の分解能で表された第１画像を取得する第１取得手段、
前記被写体の前記第１の範囲よりも狭い第２の範囲が前記第１の分解能よりも高い第２の分解能で表された第２画像を取得する第２取得手段、
前記第１取得手段により取得された第１画像と前記第２取得手段により取得された第２画像とを各々の分解能を保った状態で合成して第３画像を生成する合成手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００７７】
１００、２００  撮像装置
１        中央制御部
３        撮像部
５        第１画像処理部
５ａ      第１生成部
５ｂ      第２生成部
５ｃ      第１取得部
５ｄ      第２取得部
５ｅ      第１合成部
６        記録制御部
７        第１記録部
８        表示部
８ａ      表示制御部
８ｂ      表示パネル
２０５    第２画像処理部
２０５ｅ  第２合成部
２０７    第２記録部
Ｉ１      第１画像
Ｉ２      第２画像
Ｉ３      第３画像
【図１】
0006304293.tif 000002
【図２】
0006304293.tif 000003
【図３】
0006304293.tif 000004
【図４】
0006304293.tif 000005
【図５】
0006304293.tif 000006
【図６】
0006304293.tif 000007
【図７】
0006304293.tif 000008
【図８】
0006304293.tif 000009
【図９】
0006304293.tif 000010