(57)【要約】【課題】焦点状態を変更した動画像を生成可能なデータの記録において該データのデータ量を効率的に低減する。【解決手段】画像処理装置は、取得したＬＦデータの焦点状態を検出し、該焦点状態に応じてＬＦデータの記録方法を切り替える。このとき画像処理装置は、ＬＦデータの焦点状態が合焦状態である場合には、ＬＦデータを記録せずに該ＬＦデータから生成した再構成画像を記録し、ＬＦデータの焦点状態が非合焦状態である場合には、ＬＦデータを記録する。【選択図】図５
2015080177.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系を通過する光束を瞳分割して得られた画像信号であって、前記撮像光学系において通過した分割瞳領域及び方向の組合せが異なる光線に各々対応した画素を有する画像信号を取得する取得手段と、
前記取得手段により取得された前記画像信号の焦点状態を検出する検出手段と、
前記画像信号から、所定の焦点距離に合焦した画像を生成する生成手段と、
前記画像信号を記録媒体に記録する記録手段と、を有し、
前記記録手段は、
前記検出手段により前記画像信号の焦点状態が合焦状態であると検出された場合には、前記画像信号を記録せずに前記生成手段により前記画像信号から生成された画像を記録し、
前記検出手段により前記画像信号の焦点状態が非合焦状態であると検出された場合には、前記画像信号を記録する
ことを特徴とする画像処理装置。
【請求項２】
前記記録手段は、前記検出手段により前記画像信号の焦点状態が非合焦状態であると検出された場合には、前記画像信号とともに前記生成手段により前記画像信号から生成された画像を記録することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、前記生成手段により前記画像信号から生成された画像に基づいて、前記画像信号の焦点状態を検出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
同一被写体を異なる位置において撮像して得られた複数の画像を含む画像信号を取得する取得手段と、
前記取得手段により取得された前記画像信号の焦点状態を検出する検出手段と、
前記画像信号を記録媒体に記録する記録手段と、を有し、
前記記録手段は、
前記検出手段により前記画像信号の焦点状態が合焦状態であると検出された場合には、前記画像信号を記録せずに前記画像信号に含まれる前記複数の画像のうちの１つの画像あるいは前記複数の画像から生成した画像を記録し、
前記検出手段により前記画像信号の焦点状態が非合焦状態であると検出された場合には、前記画像信号を記録する
ことを特徴とする画像処理装置。
【請求項５】
前記記録手段は、前記検出手段により前記画像信号の焦点状態が非合焦状態であると検出された場合には、前記画像信号とともに前記複数の画像のうちの１つの画像あるいは前記複数の画像から生成した画像を記録することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記検出手段は、前記複数の画像のうちのいずれかの画像に基づいて、前記画像信号の焦点状態を検出することを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
前記取得手段は、前記画像信号とともに、該画像信号の撮影時に設定されていた撮影モードの情報を取得し、
前記検出手段は、焦点状態を示す評価値を算出し、該評価値が閾値を超えるか否かに応じて合焦状態と非合焦状態のいずれであるかを判断し、
前記画像処理装置はさらに、前記画像信号の撮影時に設定されていた撮影モードに応じて前記閾値を変更する変更手段を有する
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記変更手段は、
前記画像信号の撮影時に設定されていた撮影モードが、移動被写体を撮影するモードあるいはマクロ撮影モードである場合に非合焦状態と判断されやすい値に閾値を変更し、
前記画像信号の撮影時に設定されていた撮影モードが、静止被写体を撮影するモードあるいはポートレートモードである場合に合焦状態と判断されやすい値に閾値を変更する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記取得手段は、前記画像信号を順次取得し、
前記記録手段は、前記画像信号を動画像の１つのフレームとして順次記録する
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項１０】
前記取得手段は、前記画像信号とともに、該画像信号を撮影時の撮像装置の状態を示す情報を取得し、
前記検出手段は、焦点状態を示す評価値を算出し、該評価値が閾値を超えるか否かに応じて合焦状態と非合焦状態のいずれであるかを判断し、
前記画像処理装置はさらに、前記画像信号を撮影時の撮像装置の状態に応じて前記閾値を変更する変更手段を有する
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記変更手段は、前記画像信号を撮影時の撮像装置の状態が、順次取得される前記画像信号の撮影を開始してから所定時間の経過前である場合、あるいは順次取得される前記画像信号の撮影中に合焦対象である被写体が切り替えられた状態である場合に非合焦状態と判断されやすい値に閾値を変更することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
撮像光学系を通過する光束を瞳分割して得られた画像信号であって、前記撮像光学系において通過した分割瞳領域及び方向の組合せが異なる光線に各々対応した画素を有する画像信号を生成する撮像手段と、
前記撮像手段により取得された前記画像信号の焦点状態を検出する検出手段と、
前記画像信号から、所定の焦点距離に合焦した画像を生成する生成手段と、
前記画像信号を記録媒体に記録する記録手段と、を有し、
前記記録手段は、
前記検出手段により前記画像信号の焦点状態が合焦状態であると検出された場合には、前記画像信号を記録せずに前記生成手段により前記画像信号から生成された画像を記録し、
前記検出手段により前記画像信号の焦点状態が非合焦状態であると検出された場合には、前記画像信号を記録する
ことを特徴とする撮像装置。
【請求項１３】
同一被写体を異なる位置において撮像して得られた複数の画像を含む画像信号を生成する撮像手段と、
前記撮像手段により取得された前記画像信号の焦点状態を検出する検出手段と、
前記画像信号を記録媒体に記録する記録手段と、を有し、
前記記録手段は、
前記検出手段により前記画像信号の焦点状態が合焦状態であると検出された場合には、前記画像信号を記録せずに前記画像信号に含まれる前記複数の画像のうちの１つの画像あるいは前記複数の画像から生成した画像を記録し、
前記検出手段により前記画像信号の焦点状態が非合焦状態であると検出された場合には、前記画像信号を記録する
ことを特徴とする撮像装置。
【請求項１４】
画像処理装置の取得手段が、撮像光学系を通過する光束を瞳分割して得られた画像信号であって、前記撮像光学系において通過した分割瞳領域及び方向の組合せが異なる光線に各々対応した画素を有する画像信号を取得する取得工程と、
前記画像処理装置の検出手段が、前記取得工程において取得された前記画像信号の焦点状態を検出する検出工程と、
前記画像処理装置の生成手段が、前記画像信号から、所定の焦点距離に合焦した画像を生成する生成工程と、
前記画像処理装置の記録手段が、前記画像信号を記録媒体に記録する記録工程と、を有し、
前記記録手段は前記記録工程において、
前記検出工程において前記画像信号の焦点状態が合焦状態であると検出された場合には、前記画像信号を記録せずに前記生成工程において前記画像信号から生成された画像を記録し、
前記検出工程において前記画像信号の焦点状態が非合焦状態であると検出された場合には、前記画像信号を記録する
ことを特徴とする画像処理装置の制御方法。
【請求項１５】
画像処理装置の取得手段が、同一被写体を異なる位置において撮像して得られた複数の画像を含む画像信号を取得する取得工程と、
前記画像処理装置の検出手段が、前記取得工程において取得された前記画像信号の焦点状態を検出する検出工程と、
前記画像処理装置の記録手段が、前記画像信号を記録媒体に記録する記録工程と、を有し、
前記記録手段は前記記録工程において、
前記検出工程において前記画像信号の焦点状態が合焦状態であると検出された場合には、前記画像信号を記録せずに前記画像信号に含まれる前記複数の画像のうちの１つの画像あるいは前記複数の画像から生成した画像を記録し、
前記検出工程において前記画像信号の焦点状態が非合焦状態であると検出された場合には、前記画像信号を記録する
ことを特徴とする画像処理装置の制御方法。
【請求項１６】
撮像光学系を通過する光束を瞳分割して得られた画像信号であって、前記撮像光学系において通過した分割瞳領域及び方向の組合せが異なる光線に各々対応した画素を有する画像信号を生成する撮像手段を有する撮像装置の制御方法であって、
前記撮像装置の検出手段が、前記撮像工程において取得された前記画像信号の焦点状態を検出する検出工程と、
前記撮像装置の生成手段が、前記画像信号から、所定の焦点距離に合焦した画像を生成する生成工程と、
前記撮像装置の記録手段が、前記画像信号を記録媒体に記録する記録工程と、を有し、
前記記録手段は前記記録工程において、
前記検出工程において前記画像信号の焦点状態が合焦状態であると検出された場合には、前記画像信号を記録せずに前記生成工程において前記画像信号から生成された画像を記録し、
前記検出工程において前記画像信号の焦点状態が非合焦状態であると検出された場合には、前記画像信号を記録する
ことを特徴とする撮像装置の制御方法。
【請求項１７】
同一被写体を異なる位置において撮像して得られた複数の画像を含む画像信号を生成する撮像手段を有する撮像装置の制御方法であって、
前記撮像装置の検出手段が、前記撮像工程において取得された前記画像信号の焦点状態を検出する検出工程と、
前記撮像装置の記録手段が、前記画像信号を記録媒体に記録する記録工程と、を有し、
前記記録手段は前記記録工程において、
前記検出工程において前記画像信号の焦点状態が合焦状態であると検出された場合には、前記画像信号を記録せずに前記画像信号に含まれる前記複数の画像のうちの１つの画像あるいは前記複数の画像から生成した画像を記録し、
前記検出工程において前記画像信号の焦点状態が非合焦状態であると検出された場合には、前記画像信号を記録する
ことを特徴とする撮像装置の制御方法。
【請求項１８】
コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、制御方法、及びプログラムに関し、特に撮影後に焦点状態を変更可能な画像信号に係る画像処理技術に関する。
【背景技術】
【０００２】
近年、撮像装置の中には、被写体により反射されて装置に入射光束を瞳分割することで、入射した分割瞳領域と入射方向の組合せが各々異なる光線の情報を、撮像素子において光電変換して記録するものがある。該装置により記録された画像信号は、光線空間情報やＬＦデータ（Light Field Data）等と呼ばれる。このような画像信号は、様々な入射角の光線の情報を有するため、撮影後に特定の方向から入射した光学像に係る画像や特定の距離の被写体にフォーカスした画像等を生成することが可能である（特許文献１、２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−０２１９１９号公報
【特許文献２】米国特許第４４１０８０４号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１のようにマイクロレンズを使用して入射光束の瞳分割を行う場合、得られた画像信号（以下、ＬＦデータと呼ぶ）から単純に生成可能な画像は、使用したマイクロレンズの数の画素数を有する。一方でＬＦデータは、生成される画像の画素数に比べて、瞳分割数倍の画素数を有する。
【０００５】
このため、各フレームが多画素画像である動画像を上述の撮影方式を使用して撮影する場合、該動画像を生成するための一連のＬＦデータを記録するために、該動画像の数倍のデータ容量が記録媒体に必要となる。従って、焦点状態の調整等が可能な動画像を取得するためには、従来の動画像記録に比べて膨大なデータ容量を記録媒体に要求するものであり、さらに長時間の動画撮影を行うことが困難であった。
【０００６】
本発明は、上述の問題点に鑑みてなされたものであり、焦点状態を変更した動画像を生成可能なデータの記録において該データのデータ量を効率的に低減する画像処理装置、撮像装置、制御方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、撮像光学系を通過する光束を瞳分割して得られた画像信号であって、撮像光学系において通過した分割瞳領域及び方向の組合せが異なる光線に各々対応した画素を有する画像信号を取得する取得手段と、取得手段により取得された画像信号の焦点状態を検出する検出手段と、画像信号から、所定の焦点距離に合焦した画像を生成する生成手段と、画像信号を記録媒体に記録する記録手段と、を有し、記録手段は、検出手段により画像信号の焦点状態が合焦状態であると検出された場合には、画像信号を記録せずに生成手段により画像信号から生成された画像を記録し、検出手段により画像信号の焦点状態が非合焦状態であると検出された場合には、画像信号を記録することを特徴とする。
【発明の効果】
【０００８】
このような構成により本発明によれば、焦点状態を変更した動画像を生成可能なデータの記録において該データのデータ量を効率的に低減するが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係るデジタルビデオカメラ１００の機能構成を示したブロック図
【図２Ａ】本発明の実施形態に係るマイクロレンズアレイ１０２と撮像素子１０３の対応を示した図
【図２Ｂ】本発明の実施形態に係る撮像光学系１０１、マイクロレンズアレイ１０２、及び撮像素子１０３の関係を示した図
【図３】本発明の実施形態に係るＡＦ評価値とフォーカスレンズ位置の関係を示した図
【図４】本発明の実施形態に係る合焦判断曲線を説明するための図
【図５】本発明の実施形態に係るデジタルビデオカメラ１００で実行される動画撮影処理を例示したフローチャート
【図６】本発明の実施形態に係るデジタルビデオカメラ１００において記録される動画像のデータ構成を示した図
【図７】本発明の実施形態に係るデジタルビデオカメラ１００において記録される動画像のデータ構成を示した別の図
【発明を実施するための形態】
【００１０】
［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下の実施形態は、画像処理装置の一例としての、通過した分割瞳領域及び入射方向の組合せが異なる光線に各々対応した画素を有する画像信号から任意の焦点距離に合焦した画像を生成可能なデジタルビデオカメラに、本発明を適用した例を説明する。しかし、本発明はデジタルビデオカメラのような撮像装置に限らず、このような画像信号から任意の焦点距離に合焦した画像を生成することが可能な任意の機器に適用可能である。また、後述するように該画像信号は、同一被写体を異なる位置において撮像して得られた複数の画像を含む画像信号と等価であるため、本発明は該複数の画像から１つの画像を選択あるいは合成により１つの画像を生成可能な任意の機器に適用可能である。
【００１１】
また、本明細書において、以下の用語を定義して説明する。
【００１２】
・「ＬＦデータ」
本実施形態のデジタルビデオカメラ１００が有する撮像素子１０３から出力され、所定の現像に係る画像処理が適用されて得られた画像信号。ＬＦデータの各画素は、通過した撮像光学系１０１の分割瞳領域と入射方向との組合せが異なる光線に対応する信号強度を示す。ＬＦデータは、光線空間情報とも呼ばれる。
【００１３】
・「再構成画像」
ＬＦデータから生成される、任意の焦点面の位置に合焦した画像。具体的にはＬＦデータから同一の分割瞳領域を通過した画素で生成される複数（瞳分割数）の分割瞳画像について、生成する焦点距離に存在する被写体の像が一致するように位置合わせを行い、対応する画素の画素値を合算（重ね合わせ）することで得られる画像。
【００１４】
《デジタルビデオカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルビデオカメラ１００の機能構成を示すブロック図である。
【００１５】
システムコントローラ１０５は、例えばＲＯＭやＲＡＭが接続されて構成されるＣＰＵであり、デジタルビデオカメラ１００が有する各ブロックの動作を制御する。具体的にはシステムコントローラ１０５は、ＲＯＭに格納されている各ブロックの動作プログラムを読み出し、ＲＡＭに展開して実行することにより各ブロックの動作を制御する。
【００１６】
撮像素子１０３は、例えばＣＣＤやＣＭＯＳセンサ等である。撮像素子１０３は、光電変換素子が２次元配列されて構成される。撮像素子１０３は、撮像光学系１０１により撮像面に結像された光学像を光電変換し、アナログ画像信号を出力する。また本実施形態では撮像素子１０３はＡ／Ｄ変換部も兼ね備え、得られたアナログ画像信号はデジタル画像信号として出力される。また、簡単のため、Ａ／Ｄ変換の過程で現像処理も行われるものとして以下は説明する。
【００１７】
なお、本実施形態では撮像光学系１０１と撮像素子１０３をつなぐ光路上にマイクロレンズアレイ１０２が設けられている。マイクロレンズアレイ１０２は、図２（ａ）に示されるように１つのマイクロレンズが複数の光電変換素子（以下、単純に画素）に対応付けられている。図２（ａ）の例では１つのマイクロレンズは、４×４の画素２０１乃至２１６に対応付けられている。つまり、撮像光学系１０１を介して入射した光束は、マイクロレンズにより１６の画素に分割されて結像されることになる。即ち、図２（ｂ）に示されるように、１つのマイクロレンズに対応付けられた各画素に結像される光線は、各々通過した分割瞳領域とその入射方向とが異なる光線であるだけでなく、同一の被写体についての異なる方向に係る光線である。
【００１８】
このように、本実施形態の撮像素子１０３はデジタル画像信号としてＬＦデータを生成する。生成されたＬＦデータは、加算処理部１０４または出力選択部１０６に出力される。
【００１９】
加算処理部１０４は、ＬＦデータから任意の焦点距離の被写体に合焦した再構成画像を生成し、出力選択部１０６に出力する。例えば、撮像光学系１０１に含まれるフォーカスレンズの位置に対応する焦点距離の被写体に合焦した再構成画像を生成する場合は、同一のマイクロレンズに対応付けられたＬＦデータの画素の画素値を合算すればよい。このとき、生成された再構成画像はマイクロレンズアレイに含まれるマイクロレンズの数と同数の画素数を有する。
【００２０】
なお、本実施形態においてＬＦデータから生成可能な再構成画像は、これに限られるものではない。例えば、同一のマイクロレンズに対応付けられた画素の画素値を全て合算する必要はなく、一部の画素を合算に用いることで再構成画像を生成してもよい。
【００２１】
また各マイクロレンズに対応付けられた画素のうち、同一の位置関係にある画素のみ（例えば４×４の画素の左上画素のみ）を抽出して連続させることで、所定の方向から被写体をとらえた画像を生成することも可能である。即ち、図２（ａ）のように１つのマイクロレンズが１６の画素に対応付けられている場合、ＬＦデータからは１６種類の方向から同一被写体をとらえた画像を生成することができる。任意の焦点距離の被写体に合焦した再構成画像を生成する場合は、これらの異なる方向から被写体をとらえた画像を位置合わせして合成すればよい。なお、この他にも再構成面を設定した上で、再構成画像の画素に当たる領域の通過光線に対応する画素の画素値を合算して再構成画像の画素値とすることで、フォーカスレンズの位置に対応しない焦点距離の被写体に合焦した再構成画像を生成することもできる。
【００２２】
また本実施形態では加算処理部１０４は再構成画像を出力するものとして説明するが、上述した所定の方向から被写体をとらえた画像を再構成画像として出力してもよい。
【００２３】
出力選択部１０６は、デジタルビデオカメラ１００の撮影時の状態に応じてＬＦデータまたは加算処理部１０４により生成された再構成画像を記録する画像信号として信号処理部１０７に出力する。
【００２４】
信号処理部１０７は、出力選択部１０６から入力された画像信号が再構成画像であった場合、再構成画像に対してガンマ処理、ノイズリダクション処理、ホワイトバランス処理などの画像処理を適用して記録処理部１１０に出力する。また信号処理部１０７は、出力選択部１０６から入力された画像信号がＬＦデータであった場合は、そのまま記録処理部１１０に出力する。
【００２５】
記録処理部１１０は、入力された画像信号を媒体Ｉ／Ｆ１１１に伝送し、デジタルビデオカメラ１００に例えば着脱可能に接続されている記録装置である記録媒体１１２に記録させる。具体的には記録処理部１１０は、例えば動画像撮影の場合は入力された画像信号を（映像）ストリームデータの形式に変換した上で記録に係る処理を行い、動画像を記録する。なお、記録処理部１１０は必要があれば適切な符号化処理を行う。
【００２６】
再生処理部１１３は、記録処理部１１０により記録媒体１１２に記録された画像や動画像を読み出して再生し、表示部１１４に表示する。なお、本実施形態では再生処理部１１３は、加算処理部１０４と同様にＬＦデータからの再構成画像の生成が可能であり、例えば動画像の再生時にフレームがＬＦデータで構成されている場合は、再生時にはいずれかの焦点距離に合焦した再構成画像を生成する。また、再生処理部１１３は、記録処理部１１０より読み出した画像や動画像が符号化されている場合は、必要な復号処理を行うものとする。
【００２７】
ＡＦ処理部１０８は、撮影に係り、得られたＬＦデータの焦点状態を把握し、非合焦状態である場合は合焦状態となるためのレンズ駆動部１０９の駆動信号を発生させる。該駆動信号により、レンズ駆動部１０９は撮像光学系１０１のフォーカスレンズ位置を変更する。ＬＦデータの焦点状態は、例えば加算処理部１０４により生成された再構成画像等を用いて、位相差検出方式により行われる。
【００２８】
ＡＦ処理部１０８は、フォーカスレンズの駆動中に検出された位相差に従ってＡＦ評価値を算出し、図３に示されるような評価値がピーク値となるレンズ位置を特定する。具体的にはＡＦ処理部１０８は、ＡＦ評価値の遷移が増加から減少に、あるいは減少から増加に切り替わったことを検出すると、フォーカスレンズの駆動方向を反転させる駆動信号を発生させる。この動作を繰り返すことで、ＡＦ処理部１０８は評価値がピーク値となるフォーカスレンズ位置を特定する。
【００２９】
なお、ＬＦデータが合焦状態であるか否かの判断は、図４に示されるような合焦判定曲線４０２が閾値を上回るか否かにより行えばよい。
【００３０】
図４は、フォーカスレンズ位置とＡＦ評価値の変化を例示したものである。図４において、上段グラフの破線波形はＡＦ評価値を表す曲線４０１であり、下段グラフの実践波形はフォーカスレンズの位置を表す曲線４０３である。上下段のグラフとも横軸は時間を示しており、上段グラフの縦軸はＡＦ評価値の大きさ、下段グラフの縦軸はフォーカスレンズ位置をそれぞれ示している。
【００３１】
ＡＦ処理部１０８は、例えば、時刻ｔ０にフォーカスレンズを∞（無限遠）端から至近端方向へ向けて移動させる駆動信号を発生し、レンズ駆動部１０９にレンズ駆動を開始させる。フォーカスレンズが時刻ｔ１の合焦位置（ピーク値）を通過すると、ＡＦ評価値は減少に転ずる。ＡＦ評価値が減少に転じると、ＡＦ処理部１０８はレンズの駆動方向を至近端から∞端方向に変更する駆動信号を発生する。これにより、ＡＦ評価値は再び増加し始める（時刻ｔ２〜ｔ３）。このとき、ＡＦ処理部１０８はピークのＡＦ評価値を記憶しておき、ピークに対応するレンズ位置へフォーカスレンズを移動させて合焦状態４０７を得る（時刻ｔ３）。
【００３２】
また例えば、フォーカスを合わせていた被写体が移動することによって焦点状態が合焦状態から外れた場合、ＡＦ処理部１０８はｔ０〜ｔ４までの動作と同様にフォーカスレンズ位置を制御して、合焦位置４０８を得る（ｔ４〜ｔ８）。また、必要に応じて、撮像素子とは別に構成した位相差方式の焦点検出装置を用いて焦点検出を行ってもよい。
【００３３】
このようにして得られたＡＦ評価値４０１から谷ピーク（図４のｔ２、ｔ６）を検出し、ＡＦ処理部１０８は検出した谷ピークに基づいて合焦判定曲線４０２の値を算出し、システムコントローラ１０５に出力する。システムコントローラ１０５は、該合焦判定曲線を参照し、閾値を超えるか否かに応じて、対応するＬＦデータの焦点状態が合焦状態であるか非合焦状態であるかを判断する。
【００３４】
操作入力部１１５は、例えば撮影ボタンや表示部１１４の表面に設けられたタッチパネルセンサ等のデジタルビデオカメラ１００が有するユーザインタフェースである。操作入力部１１５は、該インタフェースへのユーザ操作があったことを検出すると、操作内容を特定し、対応する制御信号をシステムコントローラ１０５に出力する。
【００３５】
《動画撮影処理》
このような構成をもつ本実施形態のデジタルビデオカメラ１００の動画撮影処理について、図５のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、システムコントローラ１０５が、例えばＲＯＭに記憶されている対応する処理プログラムを読み出し、ＲＡＭに展開して実行することにより実現することができる。なお、本動画撮影処理は、例えばデジタルビデオカメラ１００が動画撮影モードにある場合に撮影指示を示す制御信号を操作入力部１１５からシステムコントローラ１０５が受信した際に開始されるものとして説明する。また本動画撮影処理は、撮影指示後に出力選択部１０６が撮像素子１０３からＬＦデータを順次取得するたびに繰り返し実行されるものとする。
【００３６】
Ｓ５０１で、ＡＦ処理部１０８はシステムコントローラ１０５の制御の下、撮像素子１０３が直近に出力したＬＦデータ（現在のＬＦデータ）に係る合焦判断曲線の値を算出する。
【００３７】
Ｓ５０２で、システムコントローラ１０５は、ＡＦ処理部１０８により算出された合焦判断曲線の値を参照し、現在のＬＦデータが合焦状態にあるか否かを判断する。システムコントローラ１０５は、現在のＬＦデータが合焦状態にあると判断した場合は処理をＳ５０３に移し、合焦状態にないと判断した場合は処理をＳ５０４に移す。
【００３８】
Ｓ５０３で、出力選択部１０６はシステムコントローラ１０５の制御の下、加算処理部１０４により現在のＬＦデータから生成された再構成画像を記録する画像信号として信号処理部１０７に出力する。
【００３９】
一方、現在のＬＦデータが合焦状態にないと判断された場合、Ｓ５０４で出力選択部１０６は、現在のＬＦデータを記録する画像信号として信号処理部１０７に出力する。
【００４０】
Ｓ５０５で、システムコントローラ１０５は、出力選択部１０６により出力された画像信号に対して信号処理部１０７及び記録処理部１１０に必要な処理をさせた後、記録媒体１１２に記録させ、本動画撮影処理を完了する。
【００４１】
このようにすることで、本実施形態のデジタルビデオカメラ１００では、動画撮影を行った際に合焦状態であるか非合焦状態であるかに応じて動画像のフレームとして記録される画像信号を異ならせることができる。即ち、合焦状態であるため焦点状態の変更の需要が低いと思われる期間についてはＬＦデータを記録しないため、記録媒体１１２に記録される動画像のデータ量を低減することができる。
【００４２】
ストリームデータ（動画像）の記録形式は、例えば図６に示されるようにそれぞれの画像信号（ＬＦデータまたは再構成画像）の各々に、例えば非合焦状態であるか否かの情報をヘッダとして付される形式でよい。また、記録された動画像を再生する場合は、合焦期間６０１及び６０３のデータについては再構成画像をそのままフレームとして再生し、非合焦期間６０２のデータについては、ＬＦデータから再生処理部１１３が再構成画像を生成して再生すればよい。ＬＦデータから生成される再構成画像は、例えば画像中心のような所定の領域の被写体に合焦するように生成されてもよいし、ユーザにより指定された領域の被写体に合焦するように生成されてもよい。このとき、ユーザにより指定された領域の情報が、他の機器における再生においても参照されるよう、ヘッダ内にさらに記録される構成としてもよい。
【００４３】
なお、本実施形態では動画像の記録において、非合焦状態である期間についてはＬＦデータをフレームのデータとして順次記録するものとして説明したが、本発明の実施はこれに限られない。このようにして記録した動画像は、ＬＦデータから再構成画像の生成を行うことができない機器においては再生することができないため、例えば図７に示されるように非合焦期間にはフレームのデータとして再構成画像とＬＦデータの両方を記録してもよい。即ち、再構成画像が全てのフレームのデータに含められているため、再構成画像の生成能力がない機器においても、該動画像は再生可能となる。
【００４４】
また、本実施形態では合焦状態の判断に用いる閾値は一定であるものとして説明したが、これに限られない。例えば、動画撮影の開始から所定時間の経過前までの期間や、撮影中に合焦対象である被写体が切り替えられる場合は、合焦対象となる被写体の状態変動が大きくなりがちで信頼度が低いため、閾値を高めに設定して合焦状態と判断されにくくしてもよい。また例えば、子供やスポーツシーン等の移動被写体を撮影するモードあるいはマクロ撮影モードがデジタルビデオカメラ１００に設定されている場合も同様に閾値を高めに設定してもよい。一方で、風景や夜景等の静止被写体を撮影するモードあるいはポートレートモードがデジタルビデオカメラ１００に設定されている場合は、逆に状態変動は小さいと思われるため、閾値を低めに設定し、記録される動画像のデータ量を低減するようにしてもよい。
【００４５】
また本実施形態では動画撮影において記録される動画像のデータ量を低減する方法について説明したが、上記の方法は、静止画撮影においても利用されてよい。即ち、合焦状態であるため焦点状態の変更の需要が低いと思われる状態で撮影された画像については、ＬＦデータを記録する必要性が低いため、再構成画像のみを記録することで記録される画像のデータ量を低減できる。
【００４６】
以上説明したように、本実施形態の画像処理装置は、焦点状態を変更した動画像を生成可能なデータの記録において該データのデータ量を効率的に低減することができる。具体的には画像処理装置は、取得したＬＦデータの焦点状態を検出し、該焦点状態に応じてＬＦデータの記録方法を切り替える。このとき画像処理装置は、ＬＦデータの焦点状態が合焦状態である場合には、ＬＦデータを記録せずに該ＬＦデータから生成した再構成画像を記録し、ＬＦデータの焦点状態が非合焦状態である場合には、ＬＦデータを記録する。
【００４７】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015080177.tif 000003
【図２Ａ】
2015080177.tif 000004
【図２Ｂ】
2015080177.tif 000005
【図３】
2015080177.tif 000006
【図４】
2015080177.tif 000007
【図５】
2015080177.tif 000008
【図６】
2015080177.tif 000009
【図７】
2015080177.tif 000010