(57)【特許請求の範囲】
【請求項１】
被写体の像を撮像して画像を出力する撮像手段と、
前記撮像手段から出力された画像全体を、該画像全体の画素数よりも画素数の少ない全体画像に変換する画像サイズ変換手段と、
前記撮像手段から出力された画像から部分画像を切り出す切出領域を設定する切り出し領域設定手段と、
前記撮像手段から出力された画像から、前記切出領域に対応する前記部分画像を切り出す画像切り出し手段と、
前記画像サイズ変換手段により変換された前記全体画像と、前記画像切り出し手段により切り出された前記部分画像とを関連づけて画像記録手段に記録する記録制御手段と、
前記部分画像を前記画像サイズ変換手段で前記変換を行うことなく、前記全体画像上に合成して表示する表示制御手段と、を有し、
前記切り出し領域設定手段は、前記操作部材により設定された位置の前記部分画像のパターンを記憶するパターン記憶手段を備えており、前記撮像手段により繰り返し撮像される各画像の中から前記パターンと同様なパターンの部分画像を探索し、当該探索された部分画像の領域を前記各画像に対する前記切出領域として前記画像毎に設定し、
前記記録制御手段は、前記撮像手段により画像が撮像された時間情報と、前記部分画像の切り出し領域の位置情報とにより、前記全体画像と前記部分画像とを関連づける関連づけ情報を画像記録手段に記録し、
前記表示制御手段は、前記画像毎に設定された前記切出領域に、前記部分画像を前記画像サイズ変換手段で前記変換を行うことなく合成して表示することを特徴とする撮像装置。
【請求項２】
被写体の像を撮像して画像を出力する撮像手段と、
前記撮像手段から出力された画像全体を、該画像全体の画素数よりも画素数の少ない全体画像に変換する画像サイズ変換手段と、
前記撮像手段から出力された画像から部分画像を切り出す切出領域を設定する切り出し領域設定手段と、
前記撮像手段から出力された画像から、前記切出領域に対応する前記部分画像を切り出す画像切り出し手段と、
前記画像サイズ変換手段により変換された前記全体画像と、前記画像切り出し手段により切り出された前記部分画像とを関連づけて画像記録手段に記録する記録制御手段と、
前記部分画像を前記画像サイズ変換手段で前記変換を行うことなく、前記全体画像上に合成して表示する表示制御手段と、を有し、
前記切り出し領域設定手段は、人物の画像のパターンを記憶するパターン記憶手段を備えており、前記撮像手段により繰り返し撮像される各画像の中から前記パターンと同様なパターンの部分画像を探索し、当該探索された部分画像の領域を前記各画像に対する前記切出領域として前記画像毎に設定し、
前記記録制御手段は、前記撮像手段により画像が撮像された時間情報と、前記部分画像の切り出し領域の位置情報とにより、前記画像サイズ変換手段により変換された前記全体画像と、前記画像切り出し手段により切り出された前記部分画像とを関連づける関連づけ情報を、前記画像記録手段に記録し、
前記表示制御手段は、前記画像毎に設定された前記切出領域に、前記部分画像を前記画像サイズ変換手段で前記変換を行うことなく合成して表示することを特徴とする撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置において、
前記記録制御手段は、前記全体画像の内の前記部分画像に対応する領域の画像データと前記部分画像のデータとの差分を前記部分画像の記録データとして前記画像記録手段に記録することを特徴とする撮像装置。
【請求項４】
請求項１〜３のいずれか一項に記載の撮像装置において記録された前記全体画像と、前記部分画像と、前記関連付け情報とを入力する入力手段と、
前記撮像画像全体から前記部分画像が切り出された領域の位置情報と前記撮像画像の撮像時間情報とにより、前記全体画像上に、前記部分画像を、前記部分画像の画素数よりも画素数の少ない画像に変換することなく合成する画像合成手段と、
前記画像合成手段により合成された画像を表示手段に表示する表示制御手段と、を備えることを特徴とする再生装置。
【請求項５】
請求項１〜３のいずれか一項に記載の撮像装置において記録された前記全体画像と、前記部分画像と、前記関連付け情報とを入力する入力力手順と、
前記撮像画像全体から前記部分画像が切り出された領域の位置情報と前記撮像画像の撮像時間情報とにより前記全体画像と前記部分画像との関連づけを行い、前記全体画像上に、前記部分画像を、前記部分画像の画素数よりも画素数の少ない画像に変換することなく合成する画像合成手順と、
前記画像合成手順により合成された画像を表示手段に表示する表示制御手順と、をコンピューターに実行させることを特徴とする再生プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置、再生装置および再生プログラムに関する。
【背景技術】
【０００２】
画角確認用の低精細な全体映像を表示する画面上に、合焦確認用の全体映像の一部を拡大した映像を必要に応じて重畳描画し、この合焦確認用の部分拡大映像を見ながら撮影者のフォーカス調整を手助けするようにした撮像装置が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３３６２５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の撮像装置は、撮像時のフォーカス調整のためにのみ合焦確認用部分拡大映像を表示するものであり、全体映像と部分拡大映像とを関連づけて記録し、再生時に必要に応じて全体映像に部分拡大映像を重畳して再生するものではない。
【課題を解決するための手段】
【０００５】
(１)本発明の撮像装置は、被写体の像を撮像して画像を出力する撮像手段と、前記撮像手段から出力された画像全体を、該画像全体の画素数よりも画素数の少ない全体画像に変換する画像サイズ変換手段と、前記撮像手段から出力された画像から部分画像を切り出す切出領域を設定する切り出し領域設定手段と、前記撮像手段から出力された画像から、前記切出領域に対応する前記部分画像を切り出す画像切り出し手段と、前記画像サイズ変換手段により変換された前記全体画像と、前記画像切り出し手段により切り出された前記部分画像とを関連づけて画像記録手段に記録する記録制御手段と、前記部分画像を前記画像サイズ変換手段で前記変換を行うことなく、前記全体画像上に合成して表示する表示制御手段と、を有し、前記切り出し領域設定手段は、前記操作部材により設定された位置の前記部分画像のパターンを記憶するパターン記憶手段を備えており、前記撮像手段により繰り返し撮像される各画像の中から前記パターンと同様なパターンの部分画像を探索し、当該探索された部分画像の領域を前記各画像に対する前記切出領域として前記画像毎に設定し、前記記録制御手段は、前記撮像手段により画像が撮像された時間情報と、前記部分画像の切り出し領域の位置情報とにより、前記全体画像と前記部分画像とを関連づける関連づけ情報を画像記録手段に記録し、前記表示制御手段は、前記画像毎に設定された前記切出領域に、前記部分画像を前記画像サイズ変換手段で前記変換を行うことなく合成して表示することを特徴とする。
(２)また、本発明の再生装置は、請求項１〜３のいずれか一項に記載の撮像装置において記録された前記全体画像と、前記部分画像と、前記関連付け情報とを入力する入力手段と、前記撮像画像全体から前記部分画像が切り出された領域の位置情報と前記撮像画像の撮像時間情報とにより、前記全体画像上に、前記部分画像を、前記部分画像の画素数よりも画素数の少ない画像に変換することなく合成する画像合成手段と、前記画像合成手段により合成された画像を表示手段に表示する表示制御手段と、を備えることを特徴とする。
(３)さらに、本発明の再生プログラムは、請求項１〜３のいずれか一項に記載の撮像装置において記録された前記全体画像と、前記部分画像と、前記関連付け情報とを入力する入力力手順と、前記撮像画像全体から前記部分画像が切り出された領域の位置情報と前記撮像画像の撮像時間情報とにより前記全体画像と前記部分画像との関連づけを行い、前記全体画像上に、前記部分画像を、前記部分画像の画素数よりも画素数の少ない画像に変換することなく合成する画像合成手順と、前記画像合成手順により合成された画像を表示手段に表示する表示制御手順と、をコンピューターに実行させることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、撮像画像全体をリサイズして全体画像として表示しながら、撮像画像中の設定位置の部分画像をリサイズせずに全体画像の設定位置に合成して表示することができ、例えば運動会を撮影した全体画像を再生しながら、子供の部分画像を鮮明に拡大再生することができる。
【図面の簡単な説明】
【０００７】
【図１】第１の実施の形態のデジタルカメラの構成を示す図
【図２】撮像画像、撮像画像をリサイズした後の全体領域画像、および撮像画像の部分領域画像の一例を示す図
【図３】撮像画像から部分領域画像を切り出す手順を示す図
【図４】第１の実施の形態の動画撮影制御プログラムを示すフローチャート
【図５】第２の実施の形態の再生装置としてのデジタルカメラの構成を示す図
【図６】第２の実施の形態の動画再生制御プログラムを示すフローチャート
【図７】表示部のＬＣＤ画面に表示された合成画像の一例を示す図
【図８】第２の実施の形態の動画再生制御プログラムの提供方法を示す図
【図９】第３の実施の形態のデジタルカメラの構成を示す図
【発明を実施するための形態】
【０００８】
《発明の第１の実施の形態》
本発明の撮像装置をデジタルカメラの動画撮影に適用した第１の実施の形態を説明する。なお、本発明の撮像装置はデジタルカメラに限定されず、例えばビデオカメラなど、動画を撮影可能なすべての撮像装置に適用することができる。また、本発明の撮像装置を静止画撮影に適用することももちろん可能である。
【０００９】
図１は第１の実施の形態のデジタルカメラの構成を示す図である。図１において、本発明の撮像装置と直接関係のないデジタルカメラの機器、回路および装置については図示と説明を省略する。固体撮像素子１は、赤画素Ｒ、緑画素Ｇおよび青画素Ｂが縦（カメラを正位置に構えた場合の垂直方向）および横（カメラを正位置に構えた場合の水平方向）にそれぞれ所定個数ベイヤー配列された撮像素子であり、例えば図２(ａ)に示すように横３８４０個、縦２１６０個ベイヤー配列された約８００万画素によるカラー画像信号を繰り返し出力する。なお、固体撮像装置１の撮像面には図示しない撮影レンズにより被写体像が結像される。前段信号処理部２は、固体撮像素子１から出力された画像信号に対して黒レベルのクランプ処理や、画素欠陥の補正、固定パターンノイズ除去などの前段信号処理を施す。フレームメモリ３は前段処理が施された画像信号を一時的に記憶する。
【００１０】
この実施の形態では、図２(ａ)に示す８００万画素の固体撮像素子１から読み出された画像信号から、同色加算法などの周知の方法によりリサイズ処理を行って、図２(ｂ)に示すような横１９２０画素、縦１０８０画素の撮影画面全体に対応する画像信号、すなわち全体領域画像信号ａを生成するとともに、リサイズ処理を施さずに固体撮像素子１による撮像画像の一部の領域を切り出し、図２(ｃ)に示すような横ｘ画素、縦ｙ画素の部分領域画像信号ｂを生成する。全体領域画像信号ａと部分領域画像信号ｂのいずれも、ＲＧＢ画素がベイヤー配列された画像である。なお、全体領域画像信号ａと部分領域画像信号ｂの画素数およびＲＧＢ画素配列については図２に示すものに限定されない。
【００１１】
部分領域画像信号ｂの切り出し位置は、図３に示すように、全体領域画像信号ａを表示する表示部１２（図１参照）のＬＣＤ画面１２ａ上において撮影者がカメラの方向キー１４ａを操作し、部分領域画像信号ｂを切り出す位置を設定するためのカーソル１２ｂを上下左右に移動して部分領域画像信号ｂの切り出し位置を設定する。このとき、カーソル１２ｂの移動にともなって部分領域画像枠１２ｃが移動し、全体領域画像信号ａの中の部分領域画像信号ｂの切り出し領域が表示される。
【００１２】
図１において、リサイズ部４は、フレームメモリ３に記憶されている撮像画像信号から、例えば同色加算法などの周知のリサイズ法により図２(ｂ)に示す全体領域画像信号ａを読み出す。なお、リサイズ法は同色加算法に限定されず、固体撮像素子１により撮像された撮影画面全体の画像から横方向と縦方向の画素数を一様に低減する方法であれば、どのようなリサイズ法でもよい。
【００１３】
画像処理部Ａ５は、リサイズ後の全体領域画像信号ａのベイヤー配列から輝度信号と色差信号から成るカラー画像信号を生成する。一方、画像処理部Ｂ６は、フレームメモリ３に記憶されている撮像画像信号から、方向キー１４ａにより設定された切り出し位置を中心とする所定の大きさの部分領域画像信号ｂをリサイズせずに読み出し、この部分領域画像信号ｂのベイヤー配列から輝度信号と色差信号から成るカラー画像信号を生成する。
【００１４】
画像圧縮部Ａ７は、全体領域の画像信号に対して動画用の圧縮処理を施す。一方、画像圧縮部Ｂ８は、部分領域の画像信号に対して動画用の圧縮処理を施す。時間情報付加部Ａ９は、全体領域の画像信号にタイムコードなどの時間情報を付加し、全体領域の記録画像データＡとして記録メディア、ここでは例えばメモリカード１６へ出力する。また、時間情報付加部Ｂ１０は、部分領域の画像信号にタイムコードなどの時間情報を付加し、部分領域の記録画像データＢとしてメモリカード１６へ出力する。
【００１５】
表示制御部１１は、全体領域の画像信号から表示用画像信号を生成し、表示部１２のＬＣＤ画面１２ａ（図３参照）に表示する。メモリ制御部１３は、固体撮像素子１により撮像された画像信号のフレームメモリ３への書き込みを制御するとともに、フレームメモリ３に記憶されている画像信号から全体領域画像信号ａと、設定された切り出し位置を中心とする部分領域画像信号ｂの読み出しを制御する。
【００１６】
操作部１４は、上述した方向キー１４ａ（図３参照）や、撮影モードセレクター、レリーズスイッチなどのカメラの各種操作部材を備え、デジタルカメラの各種操作と各種情報の入力を行う。この一実施の形態では、図３に示すように、撮影者がＬＣＤ画面１２ａに表示されている全体領域画像の内、リサイズせずに切り出したい部分領域の中心位置に方向キー１４ａを操作してカーソル１２ｂを設定すると、固体撮像素子１により撮像された画像信号（図２(ａ)参照）から、カーソル１２ｂの位置を中心とする所定の大きさの部分領域の画像を切り出す位置が設定される。このとき、設定された切り出し位置を示す位置情報（全体領域画像中の水平（横）方向と垂直（縦）方向のアドレス情報）が記録される。
【００１７】
ＭＰＵ１５はメモリやＡ／Ｄコンバーターなどの周辺部品(不図示)を備え、デジタルカメラの各種の演算と制御を実行する。動画撮影時には、固体撮像素子１により撮像されたフレームごとの画像信号からリサイズ部４により全体領域画像信号ａを読み出し、画像処理部Ａ５と画像圧縮部Ａ７により画像処理と圧縮処理を行って全体領域の画像信号を生成し、時間情報付加部Ａ９によりこのフレーム画像の撮像時間情報を付加して記録画像データＡとしてメモリカード１６に記録する。
【００１８】
また同時に、ＭＰＵ１５は、固体撮像素子１により撮像されたフレームごとの画像信号から操作部１４により設定された切り出し位置を中心とする所定の大きさの部分領域画像信号ｂをリサイズせずに読み出し、画像処理部Ｂ６と画像圧縮部Ｂ８により画像処理と圧縮処理を行って部分領域の画像信号を生成し、このフレームの画像を撮像した時間情報を時間情報付加部Ｂ１０により付加して記録画像データＢとしてメモリカード１６に記録する。
【００１９】
さらに、ＭＰＵ１５は、操作部１４により設定された部分領域画像信号ｂの切り出し位置の位置情報と、上記フレーム画像を撮像した時間情報とを記録位置データとしてメモリカード１６に記録する。
【００２０】
図４は、第１の実施の形態の動画撮影制御プログラムを示すフローチャートである。この動画撮影制御プログラムはＭＰＵ１５のメモリ(不図示)に記憶されている。このフローチャートを参照して第１の実施の形態の動画撮影動作を説明する。なお、デジタルカメラの動画撮影動作の内、本発明と直接関係のない動作については図示と説明を省略する。
【００２１】
ＭＰＵ１５は、ステップ１において、操作部１４のモードセレクター(不図示)により動画撮影モードが選択されると動画撮影制御を開始する。続くステップ２で、動画撮影を開始するために操作部１４のレリーズスイッチ(不図示)が押下されるとステップ３へ進む。ステップ３では、固体撮像素子１により撮像を行い、固体撮像素子１から画像信号を読み出して前段信号処理部２により信号処理を行い、フレームメモリ３に記憶する。続くステップ４では、部分領域画像の生成要求があるか否かを確認する。ここでは、図３に示すように、操作部１４の方向キー１４ａによりＬＣＤ画面１２ａ上で部分領域画像を切り出す位置が設定され、操作部１４ａのＯＫスイッチ(不図示)が押下されたら、ＭＰＵ１５は部分領域画像の生成要求があると認識する。
【００２２】
部分領域画像の生成要求がない場合にはステップ５へ進み、リサイズ部４によりフレームメモリ３から図２(ａ)に示す撮像画像を図２(ｂ)に示すハイビジョン・サイズにリサイズし、全体領域画像信号ａを生成する。なお、撮像画像のサイズとリサイズ後の画像サイズについてはこの一実施の形態のサイズに限定されるものではない。ステップ６では、リサイズ後の全体領域画像信号ａに対して画像処理部Ａ５、画像圧縮部Ａ７および時間情報付加部Ａ９により各種画像処理、圧縮処理および時間情報付加処理を行う。続くステップ７で、全体領域画像を記録画像データＡとしてメモリカード１６に記録する。
【００２３】
１フレーム分の全体領域画像を記録した後にステップ１２へ進み、操作部１４のレリーズスイッチが解放されて動画撮影が終了したか否かを確認し、動画撮影が終了したらこの動画撮影制御プログラムの実行を終了する。また、レリーズスイッチが押下されたままで引き続き動画撮影が継続されている場合はステップ３へ戻り、次のフレーム画像に対する上記動画撮影動作を繰り返す。
【００２４】
一方、部分領域画像の生成要求がある場合にはステップ８Ａ、８Ｂへ進む。ここで、部分領域画像の生成要求がある場合には、全体領域画像と部分領域画像とを同時に並行して生成する。まず、ステップ８Ａで、リサイズ部４によりフレームメモリ３から図２(ａ)に示す撮像画像を図２(ｂ)に示すハイビジョン・サイズにリサイズし、全体領域画像信号ａを生成する。同時に、ステップ８Ｂで、フレームメモリ３から図２(ａ)に示す撮像画像の内、ステップ４で設定された部分領域画像の切り出し位置を中心とする所定の大きさの部分領域画像信号ｂを読み出す（図２(ｃ)参照）。
【００２５】
次に、ステップ９Ａで、リサイズ後の全体領域画像信号ａに対して画像処理部Ａ５、画像圧縮部Ａ７および時間情報付加部Ａ９により各種画像処理、圧縮処理および時間情報付加処理を行う。同時に、ステップ９Ｂで、部分領域画像信号ｂに対して画像処理部Ｂ６、画像圧縮部Ｂ８および時間情報付加部Ｂ１０により各種画像処理、圧縮処理および時間情報付加処理を行う。そして、ステップ１０Ａで、全体領域画像を記録画像データＡとしてメモリカード１６に記録する。同時に、ステップ１０Ｂで、部分領域画像を記録画像データＢとしてメモリカード１６に記録する。
【００２６】
１フレーム分の全体領域画像と部分領域画像を記録した後にステップ１１へ進み、ステップ４で設定された部分領域画像の切り出し位置の情報と、ステップ３でフレーム画像を取得した時間の情報とをメモリカード１６に記録位置データとして記録する。その後、ステップ１２へ進み、操作部１４のレリーズスイッチが解放されて動画撮影が終了したか否かを確認し、動画撮影が終了したらこの動画撮影制御プログラムの実行を終了する。また、レリーズスイッチが押下されたままで引き続き動画撮影が継続されている場合はステップ３へ戻り、次のフレーム画像に対する上記動画撮影動作を繰り返す。
【００２７】
《発明の第２の実施の形態》
第１の実施の形態のデジタルカメラにより撮像された全体領域画像と部分領域画像とから構成される動画を再生する再生装置を説明する。この第２の実施の形態では図１に示すデジタルカメラを再生装置として用いる例を示すが、本発明の再生装置は例えばパーソナルコンピューターやフォトフレームなどの専用の再生装置であってもよい。その場合には、第１の実施の形態でメモリカード１６に記録した全体領域画像の記録画像データＡ、部分領域画像の記録画像データＢおよび位置情報と時間情報の記録位置データを通信回線を介してローディングするか、あるいはＣＤなどの記録メディアに記録したものをローディングして再生すればよい。
【００２８】
図５は第２の実施の形態の再生装置としてのデジタルカメラの構成を示す。なお、図１に示す機器および回路と同様な機器および回路については同一の符号を付して相違点を中心に説明する。時間情報分離部Ａ２１は、動画記録時に全体領域画像の記録画像データＡに付加された時間情報を分離する。また、時間情報分離部Ｂ２２は、動画記録時に部分領域画像の記録画像データＢに付加された時間情報を分離する。画像伸張部Ａ２３は、動画記録時に圧縮された記録画像データＡの全体領域画像を伸張する。また、画像伸張部Ｂ２４は、動画記録時に圧縮された記録画像データＢの部分領域画像を伸張する。
【００２９】
画像合成部２５は、全体領域画像信号ａと部分領域画像信号ｂとを合成し、全体領域画像上の切り出し位置に部分領域画像が重畳された合成画像信号ｃを生成する。ビデオ信号出力部２６は、合成画像信号ｃからビデオ信号を生成して外部の例えばＴＶ装置２７へ出力する。
【００３０】
図６は、第２の実施の形態の動画再生制御プログラムを示すフローチャートでる。この動画再生制御プログラムはＭＰＵ１５のメモリ(不図示)に記憶されている。このフローチャートを参照して第２の実施の形態の動画再生動作を説明する。なお、デジタルカメラの動画再生動作の内、本発明と直接関係のない動作については図示と説明を省略する。
【００３１】
ＭＰＵ１５は、ステップ２１において、操作部１４のモードセレクター(不図示)により動画再生モードが選択されると動画再生制御を開始する。続くステップ２２で、表示部１２のＬＣＤ画面１２ａにメモリカード１６に記録されている動画が一覧表示され、操作部１４の方向キー１４ａにより再生希望の動画が選択されて操作部１４のＯＫスイッチ(不図示)が押下されると、動画再生を開始する。ステップ２３では、部分領域画像の再生要求があるか否かを確認する。ここでは、操作部１４のズームアップスイッチ(不図示)が押下されたら、ＭＰＵ１５は部分領域画像の再生要求があると認識する。
【００３２】
部分領域画像の再生要求がない場合にはステップ２４へ進み、メモリカード１６から全体領域画像の記録画像データＡを読み込み、ＭＰＵ１５のメモリ(不図示)に一時記憶する。続くステップ２５では、時間情報分離部Ａ２１により記録画像データＡから時間情報を分離し、画像伸張部Ａ２３により全体領域画像の伸張を行う。そして、ステップ２６で全体領域画像をフレームメモリ３に記憶する。次にステップ３１へ進み、フレームメモリ３から順に全体領域画像信号ａを読み出し、表示制御部１１により表示部１２のＬＣＤ画面１２ａに表示する。
【００３３】
ステップ３２において、操作部１４のＯＫスイッチ(不図示)が押下され、動画再生が終了したか否かを確認し、終了したらこの動画再生制御プログラムの実行を終了し、動画再生が終了していない場合はステップ２３へ戻り、上述した動画再生動作を繰り返す。
【００３４】
なお、部分領域画像を再生しない場合には、メモリカード１６から読み出した記録位置データの位置情報と時間情報に基づいて、表示部１２のＬＣＤ画面１２ａに表示される全体領域画像の“切り出し位置”（撮像時に部分領域画像を切り出したときの中心位置）に、部分領域画像が存在することを使用者に報知するためのマークを表示するようにしてもよい。
【００３５】
一方、部分領域画像の再生要求がある場合にはステップ２７Ａ、２７Ｂへ進む。ここで、部分領域画像の再生要求がある場合には、全体領域画像と部分領域画像とを同時に並行して再生動作を実行する。まず、ステップ２７Ａで、メモリカード１６から全体領域画像の記録画像データＡを読み込み、ＭＰＵ１５のメモリ(不図示)に一時記憶する。同時に、ステップ２７Ｂで、メモリカード１６から部分領域画像の記録画像データＢを読み込み、ＭＰＵ１５のメモリ(不図示)に一時記憶する。
【００３６】
次に、ステップ２８Ａで、時間情報分離部Ａ２１により全体領域画像の記録画像データＡから時間情報を分離し、画像伸張部Ａ２３により全体領域画像の伸張を行う。同時に、ステップ２８Ｂで、時間情報分離部Ｂ２２により部分領域画像の記録画像データＢから時間情報を分離し、画像伸張部Ｂ２４により部分領域画像の伸張を行う。そして、ステップ２９で、全体領域画像と部分領域画像とをフレームメモリ３に記憶する。
【００３７】
ステップ３０において、メモリカード１６から記録位置データを読み込み、記録位置データに含まれる記録位置とおよび撮像時間と、記録画像データＡおよび記録画像データＢから分離した全体領域画像と部分領域画像の時間情報とに基づいて、画像合成部２５により全体領域画像と部分領域画像とを合成し、全体領域画像上の“切り出し位置”に部分領域画像を重畳した合成画像信号ｃを生成する。
【００３８】
次にステップ３１へ進み、画像合成部２５から順に合成画像信号ｃを読み出し、表示制御部１１により表示部１２のＬＣＤ画面１２ａに表示する。ステップ３２において、操作部１４のＯＫスイッチ(不図示)が押下され、動画再生が終了したか否かを確認し、終了したらこの動画再生制御プログラムの実行を終了し、動画再生が終了していない場合はステップ２３へ戻り、上述した動画再生動作を繰り返す。
【００３９】
図７は、表示部１２のＬＣＤ画面１２ａに表示された合成画像の一例を示す。図に示すように、全体領域画像がＬＣＤ画面１２ａ全体に表示され、部分領域画像１２ｄがフレームごとの“切り出し位置”（撮像時に方向キー１４ａにより撮影者が設定）に表示される。撮像時に切り出し位置が時間経過とともに変化した動画を再生する場合には、その動画の再生が進むにつれて切り出し位置が変化し、それにともなって全体領域画像上で部分領域画像が移動する。
【００４０】
なお、部分領域画像の合成枠の形状は図７に示す矩形に限らず、例えば円形などの別の形状としてもよいし、輪郭検出や輝度・色検出、あるいは動体検出などにより部分領域画像から主要被写体部分を切り抜き、それを全体領域画像に合成してもよい。
【００４１】
上述した図６に示す動画再生制御プログラムを図８に示すコンピュータ装置１００に実行させることにより、再生装置を構成してもよい。動画再生制御プログラムをパーソナルコンピュータ１００に取込んで使用する場合には、パーソナルコンピュータ１００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって再生装置として使用する。
【００４２】
パーソナルコンピュータ１００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体１０４をパーソナルコンピュータ１００にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１００へローディングしてもよい。通信回線１０１を経由する場合は、通信回線１０１に接続されたサーバー（コンピュータ）１０２のハードディスク装置１０３などにプログラムを格納しておく。動画再生制御プログラムは、記憶媒体１０４や通信回線１０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
【００４３】
《発明の第３の実施の形態》
上述した第１の実施の形態では、撮像時に操作部１４の方向キー１４ａにより部分領域画像の切り出し位置を設定する、手動の位置設定方法を示したが、自動的に部分領域画像の切り出し位置もしくは切り出し領域自体を設定するようにした第３の実施の形態を説明する。
【００４４】
図９は第３の実施の形態のデジタルカメラの構成を示す図である。図９において、図１に示す機器および回路と同様な機器および回路に対しては同一の符号を付して相違点を中心に説明する。パターン認識部１７は、操作部１４の方向キー１４ａにより設定された全体領域画像上の切り出し位置を中心とする所定の大きさの部分領域画像のパターンを認識し、メモリに記憶する。部分領域画像のパターン認識後は、引き続き取得される全体領域画像上においてパターンマッチングを行い、最初の部分領域画像のパターンと同様なパターンの領域を探索する。同様なパターンの領域が検出されたら、当該領域の画像を部分領域画像として撮像画像から読み出す。
【００４５】
なお、複数の人や物の画像からそのパターンを認識して記憶し、動画撮影開始前に操作部１４によりいずれかの人や物の画像を選択させ、選択された人や物のパターンを用いて全体領域画像上でパターンマッチングを行い、予め選択したとや物の画像のパターンと同様なパターンの領域を探索するようにしてもよい。
【００４６】
この第３の実施の形態の動画撮影動作については、部分領域画像の切り出し位置または領域自体を自動で設定する以外は、図４に示す動画撮影制御と同様であり、第３の実施の形態の動画撮影動作を示すフローチャートの図示を省略する。
【００４７】
なお、上述した一実施の形態とその変形例では、部分領域画像として撮像画像から設定位置を中心とする所定の大きさの画像を切り出し、記録画像データＢとして記録する例を示したが、全体領域画像信号中の部分領域画像信号に対応する領域の画像信号との差分を記録画像データＢとして記録するようにしてもよい。これにより、記録メディアへの記録画像のデータ量を低減することができる。
【００４８】
また、上述した一実施の形態とその変形例では、前段画像処理後の撮像画像信号をフレームメモリに記憶した後、全体領域画像信号ａと部分領域画像信号ｂとに分離し、それぞれに画像信号処理を施す例を示したが、撮像画像信号に前段画像処理を施した後、直ちに画像信号処理を施してフレームメモリに記憶するようにしてもよい。
【００４９】
さらに、上述した一実施の形態とその変形例では、図３に示すように、部分領域画像の切り出し位置を設定するために方向キー１４ａを用いる例を示したが、表示画面１２ａにタッチパネルスイッチを設け、撮影者が指でタッチした位置を部分領域画像の切り出し位置として設定するようにしてもよい。
【００５０】
なお、上述した実施の形態とそれらの変形例において、実施の形態どうし、または実施の形態と変形例とのあらゆる組み合わせが可能である。
【００５１】
上述した実施の形態とその変形例によれば以下のような作用効果を奏することができる。まず、固体撮像素子１により撮像され出力された画像全体を、該画像全体の画素数よりも画素数の少ない全体領域画像に変換し、固体撮像素子１から出力された画像から部分領域画像を切り出す切出領域を設定するとともに、固体撮像素子１から出力された画像から切出領域に対応する部分領域画像を切り出し、全体領域画像と部分領域画像とを関連づけてメモリカード１６に記録するようにしたので、撮像画像全体をリサイズして全体領域画像として表示しながら、撮像画像中の設定位置の部分領域画像をリサイズせずに全体領域画像の設定位置に合成して表示することができ、例えば運動会を撮影した全体領域画像を再生しながら、子供の部分領域画像を鮮明に拡大再生することができる。
【００５２】
上述した実施の形態とその変形例によれば、固体撮像素子１により画像が撮像された時間情報と、部分領域画像の切り出し領域の位置情報とにより全体領域画像と部分領域画像との関連づけを行い、この関連づけ情報をメモリカード１６に記録するようにしたので、動画再生時に全体領域画像と部分領域画像とを正確に対応づけることができる。
【００５３】
上述した実施の形態とその変形例によれば、表示部１２に表示された画像上で任意の位置を設定する方向キー１４ａを備え、この方向キー１４ａにより設定された位置を中心とする部分領域画像の切り出す切出領域を設定するようにしたので、撮影者の意図する領域の部分画像を切出領域として設定できる。
【００５４】
上述した実施の形態とその変形例によれば、方向キー１４ａにより設定された位置の部分領域画像のパターンを記憶しておき、固体撮像素子１により繰り返し撮像される画像の中から前記パターンと同様なパターンの部分領域画像を探索し、この部分領域画像の領域を切出領域として設定するようにしたので、いったん注目する被写体像を部分領域画像に設定すれば、その後は自動的に注目する被写体像の部分領域画像が設定され、動画撮影時に正確に意図する被写体の部分画像領域を追尾でき、操作性を向上させることができる。
【００５５】
上述した実施の形態とその変形例によれば、人物の画像のパターンを記憶しておき、固体撮像素子１により繰り返し撮像される画像の中から前記パターンと同様なパターンの部分領域画像を探索し、この部分領域画像の領域を切出領域として設定するようにしたので、撮影前に部分領域画像を取得する注目被写体を指定することができ、撮影が開始されると自動的に注目被写体の部分画像領域を追尾でき、撮影時には撮影のみに専念することができるため、操作性をさらに向上させることができる。
【００５６】
上述した実施の形態とその変形例によれば、全体領域画像の内の部分領域画像に対応する領域の画像データと部分領域画像のデータとの差分を部分領域画像の記録データとしてメモリカード１６に記録するようにしたので、メモリカード１６の記憶容量を低減することができる。
【００５７】
上述した実施の形態とその変形例によれば、固体撮像素子１から出力された撮像画像全体を該撮像画像全体の画素数よりも画素数の少ない画像に変換した全体領域画像と、撮像画像全体から切り出された部分領域画像と、全体領域画像と部分領域画像とを関連づける情報とを入力し、前記情報により全体領域画像上に部分領域画像を合成し、合成された画像を表示部１２に表示するようにしたので、撮像画像全体をリサイズして全体領域画像として表示しながら、撮像画像中の設定位置の部分領域画像をリサイズせずに全体領域画像の設定位置に合成して表示することができ、例えば運動会を撮影した全体領域画像を再生しながら、子供の部分領域画像を鮮明に拡大再生することができる。
【符号の説明】
【００５８】
１；固体撮像素子、３；フレームメモリ、４；リサイズ部、９；時間情報付加部Ａ、１０；時間情報付加部Ｂ、１２；表示部、１２ａ；ＬＣＤ画面、１４；操作部、１４ａ；方向キー、１５；ＭＰＵ、１６；メモリカード、２１；時間情報分離部Ａ、２２；時間情報分離部Ｂ、２５；画像合成部
【図１】
0005158138.tif 000002
【図２】
0005158138.tif 000003
【図３】
0005158138.tif 000004
【図４】
0005158138.tif 000005
【図５】
0005158138.tif 000006
【図６】
0005158138.tif 000007
【図７】
0005158138.tif 000008
【図８】
0005158138.tif 000009
【図９】
0005158138.tif 000010