(57)【要約】【課題】  複数の被写体に合焦した状態であって、被写体のぶれの影響を抑制した画像を取得する。【解決手段】  フォーカスレンズのレンズ位置を異ならせて連続して撮像することで、複数の被写体に合焦した画像を生成するための第１の画像を取得する撮像装置であって、レンズ位置の設定用に取得した第２の画像に基づく第１の評価値と第１の評価値に基づいて取得した第１の画像に基づく第２の評価値とを取得する評価値取得手段と、同一のレンズ位置で取得した第１の画像と第２の画像に基づく第１の評価値と第２の評価値との差異が第１の値よりも大きいか否かを判定する判定手段と、当該差異が第１の値よりも大きいと判定された場合に、第２の画像で最も合焦している被写体に対応する画素領域を、複数の被写体に合焦した画像を生成する際に用いないように制御する第１の制御手段と、を有することを特徴とする構成とした。【選択図】  図３
2016032180.tif 000002
【特許請求の範囲】
【請求項１】
フォーカスレンズのレンズ位置を異ならせて連続して被写体を撮像することで、複数の被写体に合焦した状態の画像を生成するための第１の画像を取得する撮像装置であって、
前記フォーカスレンズのレンズ位置を設定するために取得した第２の画像に基づく第１の評価値と、前記第１の評価値に基づいて取得した前記第１の画像に基づく第２の評価値と、を取得する評価値取得手段と、
同一のレンズ位置で取得した前記第１の画像と前記第２の画像に基づく前記第１の評価値と前記第２の評価値との差異が第１の値よりも大きいか否かを判定する判定手段と、
前記判定手段によって、前記第１の評価値と前記第２の評価値との差異が前記第１の値よりも大きいと判定された場合に、当該第２の評価値を取得した前記第２の画像で最も合焦している被写体に対応する画素領域を、前記複数の被写体に合焦した状態の画像を生成する際の画素領域として用いないように制御する第１の制御手段と、を有することを特徴とする撮像装置。
【請求項２】
前記評価値取得手段は、前記第２の画像のコントラスト情報に基づいて前記第１の評価値を取得し、前記第１の画像のコントラスト情報に基づいて前記第２の評価値を取得することを特徴とする請求項１に記載の撮像装置。
【請求項３】
第１の制御手段は、前記判定手段によって、前記第１の評価値と前記第２の評価値との差異が前記第１の値よりも大きくないと判定された場合に、当該第２の評価値を取得した前記第１の画像で最も合焦している被写体に対応した画素領域を、前記複数の被写体に合焦した状態の画像を生成する際の画素領域として用いるように制御することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記判定手段は、前記評価値取得手段によって取得した前記第２の評価値を前記第１の評価値で除算した値が所定の割合よりも大きいか否かを判定することを特徴とする請求項１乃至３の何れか一項に記載の撮像装置。
【請求項５】
前記判定手段は、前記第１の評価値と前記第２の評価値との差分が第２の値よりも大きいか否かを判定することを特徴とする請求項１乃至３の何れか一項に記載の撮像装置。
【請求項６】
前記判定手段によって、前記第１の評価値と前記第２の評価値との差異が前記第１の値よりも大きくないと判定された場合に、当該第２の評価値を取得した前記第１の画像の画素領域を合成することで、前記複数の被写体に合焦した状態の画像を生成する合成手段を有することを特徴とする請求項１乃至５の何れか一項に記載の撮像装置。
【請求項７】
前記合成手段は、前記第１の画像ごとに異なる画素領域を合成に用いることを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記判定手段によって前記第１の評価値と前記第２の評価値との差異が前記第１の値よりも大きいと判定された場合に、当該第２の評価値を取得した前記第１の画像において最も合焦している被写体に対応した画素領域を補償する補償画像を、当該第１の画像とは異なる前記第１の画像の中から設定する補償画像設定手段を有することを特徴とする請求項１乃至７の何れか一項に記載の撮像装置。
【請求項９】
前記補償画像設定手段は、取得した前記第１の画像のうち、一度の連続した撮像において、撮像された順序が最も早い画像を前記補償画像に設定することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記補償画像設定手段は、取得した前記第１の画像のうち、前記フォーカスレンズのレンズ位置が前記第２の評価値を取得した前記フォーカスレンズのレンズ位置を基準とした所定の範囲内となる画像を前記補償画像に設定することを特徴とする請求項８又は９に記載の撮像装置。
【請求項１１】
前記複数の被写体に合焦した状態の画像の生成を中止する旨の警告表示を表示手段に表示させる制御をおこなう第２の制御手段を有し、
前記第２の制御手段は、取得した前記第１の画像のうちで最初に取得した画像に基づいて取得した前記第２の評価値が、前記判定手段によって前記第１の評価値との差異が前記第１の値よりも大きいと判定された場合に、前記表示手段に前記警告表示させる制御をおこなうことを特徴とする請求項１乃至１０の何れか一項に記載の撮像装置。
【請求項１２】
複数の被写体に合焦した状態の画像を生成するために、フォーカスレンズのレンズ位置を異ならせて連続して被写体を撮像することで第１の画像を取得する撮像装置であって、
前記フォーカスレンズのレンズ位置を設定するために取得した第２の画像に基づく第１の評価値と、前記第１の評価値に基づく前記フォーカスレンズのレンズ位置で撮像することによって取得した前記第１の画像に基づく第２の評価値と、を取得する評価値取得手段と、
前記第１の評価値と、当該第１の評価値に基づいて取得した前記第２の評価値との差異が第１の値よりも大きいか否かを判定する判定手段と、
前記判定手段によって前記第１の評価値と前記第２の評価値との差異が前記第１の値よりも大きいと判定された場合は、前記第２の画像で最も合焦している被写体の画素領域を、前記複数の被写体に合焦した状態の画像を生成する際の画素領域として用いないように制御する第１の制御手段と、を有することを特徴とする撮像装置。
【請求項１３】
フォーカスレンズのレンズ位置を異ならせて連続して被写体を撮像することで、複数の被写体に合焦した状態の画像を生成するための合成用の画像を取得する撮像装置の制御方法であって、
前記フォーカスレンズのレンズ位置を設定するために取得した第２の画像に基づく第１の評価値と、前記第１の評価値に基づいて取得した前記第１の画像に基づく第２の評価値と、を取得する評価値取得工程と、
同一のレンズ位置で取得した前記第１の画像と前記第２の画像に基づく前記第１の評価値と前記第２の評価値との差異が第１の値よりも大きいか否かを判定する判定工程と、
前記判定工程によって、前記第１の評価値と前記第２の評価値との差異が前記第１の値よりも大きいと判定された場合に、当該第２の評価値を取得した前記第２の画像で最も合焦している被写体に対応する画素領域を、前記複数の被写体に合焦した状態の画像を生成する際の画素領域として用いないように制御する第１の制御工程と、を有することを特徴とする撮像装置の制御方法。
【請求項１４】
複数の被写体に合焦した状態の画像を生成するために、フォーカスレンズのレンズ位置を異ならせて連続して被写体を撮像することで第１の画像を取得する撮像装置の制御方法であって、
前記フォーカスレンズのレンズ位置を設定するために取得した第２の画像に基づく第１の評価値と、前記第１の評価値に基づく前記フォーカスレンズのレンズ位置で撮像することによって取得した前記第１の画像に基づく第２の評価値と、を取得する評価値取得工程と、
前記第１の評価値と、当該第１の評価値に基づいて取得した前記第２の評価値との差異が第１の値よりも大きいか否かを判定する判定工程と、
前記判定工程によって前記第１の評価値と前記第２の評価値との差異が前記第１の値よりも大きいと判定された場合は、前記第２の画像で最も合焦している被写体の画素領域を、前記複数の被写体に合焦した状態の画像を生成する際の画素領域として用いないように制御する第１の制御工程と、を有することを特徴とする撮像装置の制御方法。
【請求項１５】
請求項１３又は１４に記載の撮像装置の制御方法をコンピュータで実行させるためのコンピュータで読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フォーカスレンズのレンズ位置を異ならせて連続して被写体を撮像する撮像装置と、その制御方法およびプログラムに関する。
【背景技術】
【０００２】
従来、フォーカスレンズを含む撮影レンズを備え、当該フォーカスレンズのレンズ位置を異ならせて連続して被写体を撮像する所謂フォーカスブラケット撮影をおこなう撮像装置がある。
【０００３】
特許文献１では、カメラから被写体までの被写体距離と絞り値に基づいて、ピント位置と撮影枚数を自動的に設定してフォーカスブラケット撮影をおこなうカメラについて提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３３３９２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したフォーカスブラケット撮影によって取得された複数の画像同士を合成して、複数の被写体に合焦した状態の画像（以下、全焦点画像と称す）を取得することが知られている。
【０００６】
しかしながら、特許文献１では、フォーカスブラケット撮影によって被写体がぶれた状態の画像が取得される場合については言及されていない。この場合、当該被写体がぶれた状態の画像を用いて全焦点画像を生成すると、被写体がぶれた状態の不自然な全焦点画像となってしまう。
【０００７】
本発明の目的は、複数の被写体に合焦した状態であって、被写体のぶれの影響を抑制した画像を取得することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するための本発明の撮像装置は、フォーカスレンズのレンズ位置を異ならせて連続して被写体を撮像することで、複数の被写体に合焦した状態の画像を生成するための第１の画像を取得する撮像装置であって、前記フォーカスレンズのレンズ位置を設定するために取得した第２の画像に基づく第１の評価値と、前記第１の評価値に基づいて取得した前記第１の画像に基づく第２の評価値と、を取得する評価値取得手段と、同一のレンズ位置で取得した前記第１の画像と前記第２の画像に基づく前記第１の評価値と前記第２の評価値との差異が第１の値よりも大きいか否かを判定する判定手段と、前記判定手段によって、前記第１の評価値と前記第２の評価値との差異が前記第１の値よりも大きいと判定された場合に、当該第２の評価値を取得した前記第２の画像で最も合焦している被写体に対応する画素領域を、前記複数の被写体に合焦した状態の画像を生成する際の画素領域として用いないように制御する第１の制御手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、複数の被写体に合焦した状態であって、被写体のぶれの影響を抑制した画像を取得することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明を実施した撮像装置の実施形態であるデジタルカメラ１００の構成を説明するブロック図である。
【図２】本発明を実施した撮像装置の実施形態であるデジタルカメラ１００で取得する全焦点画像と、当該全焦点画像を生成する際の各種の条件を例示的に説明する図である。
【図３】本発明を実施した撮像装置の実施形態であるデジタルカメラ１００のフォーカスブラケット処理を説明するフローチャートである。
【図４】本発明を実施した撮像装置の実施形態であるデジタルカメラ１００において、フォーカスブラケット撮影中に被写体が移動してしまった場合に取得される全焦点画像と、当該全焦点画像を生成する際の各種の条件を例示的に説明する図である。
【図５】本発明を実施した撮像装置の実施形態であるデジタルカメラ１００の合成処理を説明するフローチャートである。
【図６】本発明を実施した撮像装置の実施形態であるデジタルカメラ１００の補償画像設定処理を説明するフローチャートである。
【発明を実施するための形態】
【００１１】
本発明に係る実施形態としての撮像装置であるデジタルカメラ（以下、単にカメラと称す）１００の基本構成について図１を参照して説明する。図１は、本発明を実施した撮像装置の実施形態であるカメラ１００の構成を説明するブロック図である。
【００１２】
撮像レンズ群１０１は、ズームレンズ１０２、フォーカスレンズ１０３、防振レンズ１０４、絞り１０５から構成される撮像レンズ群である。ズームレンズ１０２は焦点距離を調節することで光学的に画角を変更する撮像レンズである。
【００１３】
フォーカスレンズ１０３は焦点位置を調節する撮像レンズである。本実施形態では、フォーカスレンズ１０３のレンズ位置を光軸方向に動作することで、焦点位置を変更することができる。そして、フォーカスレンズ１０３のレンズ位置を異ならせて連続して被写体を撮像することで、それぞれが異なる位置に合焦した状態の複数の画像を取得することができる。この詳細については後述する。
【００１４】
防振レンズ１０４は手ぶれなどの種々の要因によって生じる像振れを補正する撮像レンズである。絞り１０５は、後述する撮像素子１０６に入射する光量を調節する光量調節部材である。本実施形態では、絞り１０５に機械的なシャッタ（不図示）が設けられており、当該シャッタの駆動を制御することで、撮像素子１０６に光を露光する時間（露光時間）を制御することができる。なお、複数の撮像レンズが設けられていない場合は、上述した各撮像レンズが有する、ズームやフォーカス、防振などの機能を一つの撮像レンズによって実現するような構成であってもよい。
【００１５】
以下の説明では、カメラ本体と撮像レンズ群１０１を備えたレンズ鏡筒とが一体的に設けられているような、所謂レンズ一体型のカメラ１００について説明する。なお、カメラ本体とレンズ鏡筒とが別々に設けられているような所謂レンズ交換式のカメラ１００を採用するような構成であってもよい。
【００１６】
撮像素子１０６は、電荷を蓄積することで画像を生成することができるＣＣＤやＣＭＯＳなどの固体撮像素子からなる電荷蓄積型の撮像素子であって、２次元的に撮像用の画素が配列された撮像手段である。撮像レンズ群１０１を透過した被写体の光学像が撮像素子１０６に結像することで、当該被写体の光学像に応じたアナログ電気信号（アナログ画像データ）が出力される。なお、撮像素子１０６には不図示のＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）が接続されており、取得したアナログ画像データに対するアナログゲイン量の調整や、レンズの収差補正やサンプリングをおこなうことができる。当該ＡＦＥから出力されたアナログ画像データは不図示のＡ／Ｄ変換部によってデジタル電気信号（デジタル画像データ）に変換され、画像処理部１０７に出力される。なお、以下の説明では、特記しないものについては、デジタル画像データを「画像」と称する。
【００１７】
画像処理部１０７は、取得した画像に対して画素補間処理や色変換処理などの画像処理を施す画像処理手段である。また、画像処理部１０７は、取得した画像に基づいて被写体の輝度値（輝度情報）を算出する測光演算手段でもある。被写体の輝度値の算出方法については後述する。さらに、画像処理部１０７は、取得した画像のデジタルゲイン量を調整することができる。画像処理部１０７で各種の処理が施されたデジタル画像データはメモリ１０８に記録される。
【００１８】
メモリ１０８は、電気的に消去や記憶ができる記憶手段であり、例えば、フラッシュメモリ等に代表されるＥＥＰＲＯＭなどである。メモリ１０８には、本実施形態において使用される種々のデータが格納されている。例えば、カメラ１００において実行されるプログラムや動作用の定数、種々の露出条件、カメラ１００内の処理で使用する算出式や閾値、所定の値などがメモリ１０８に予め格納されている。さらに、メモリ１０８は、画像表示用メモリ（ビデオメモリ）、カメラ１００の各部の作業領域や、後述する記録メモリ１１１の記録用バッファとしても使用される。
【００１９】
なお、カメラ１００において実行されるプログラムとは、後述する図３や図５、図６に示すフローと同様の動作を指示するためのプログラムである。また、メモリ１０８には、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などの記録素子によって構成された画像データの記録領域を有している。当該ＲＡＭは、所定枚数の静止画や所定時間の動画、音声データを記録できる記憶容量を備え、取得した画像を記録することができる。
【００２０】
表示部１０９は、ＴＦＴ型ＬＣＤ（薄膜トランジスタ駆動型液晶表示器）などで構成された表示手段である。後述するシステム制御部（以下、単にＣＰＵと称す）１１９によってメモリ１０８から読み出された画像は、不図示のＤ／Ａ変換部によって表示用にアナログ画像データ（以下、表示画像と称す）に変換されて、表示部１０９に表示される。
【００２１】
なお、当該表示画像を表示部１０９に逐次表示することで所謂ライブビュー表示をおこなうことができる。また、電子ビューファインダ（不図示）で当該ライブビュー表示をおこなうような構成であってもよい。
【００２２】
圧縮伸長処理部１１０は、メモリ１０８に記録されている画像を、画像フォーマットに応じて圧縮伸長する処理部である。記録メモリ１１１は、圧縮伸長処理部１１０によって圧縮伸長された画像データの記録が可能なメモリーカードやハードディスクなどの不揮発性の記録媒体である。なお、本実施形態では記録メモリ１１１として、カメラ１００に対して挿抜可能なものを採用するが、ＤＶＤ−ＲＷディスク等の光学ディスクやハードディスク等の磁気ディスクを採用するような構成であってもよい。また、記録メモリ１１１を予めカメラ１００に内蔵するような構成であってもよい。
【００２３】
絞り駆動部１１２は、設定された絞り値および露光時間に基づいて絞り１０５およびシャッタ（不図示）を駆動する駆動手段である。なお、絞り値および露光時間は、画像処理部１０７によって算出した被写体の輝度値に基づき、後述するＣＰＵ１１９によって設定（演算）される。すなわち、本実施形態における自動露出（ＡＥ）制御は、ＣＰＵ１１９からの指示に応じて、絞り駆動部１１２が絞り１０５やシャッタを駆動することでおこなわれる。なお、本実施形態のＡＥ制御としては、画像処理部１０７においてゲイン量を調整することも含む。
【００２４】
防振レンズ駆動部１１３は、角速度センサ１２５やジャイロセンサ１２６の情報に基づいてカメラ１００に加わるぶれの量を演算し、そのぶれを打ち消すように防振レンズ１０４を駆動する駆動制御手段である。なお、カメラ１００に加わる振れの量の演算は、ＣＰＵ１１９によって演算するような構成であってもよい。ズームレンズ駆動部１１５は、ユーザによるズーム操作指示に従ってズームレンズ１０２を駆動する駆動手段である。
【００２５】
フォーカスレンズ駆動部１１４はフォーカスレンズ１０３を駆動するレンズ駆動手段である。後述するＣＰＵ１１９の指示に従ってフォーカスレンズ駆動部１１４を駆動することで、フォーカスレンズ１０３のレンズ位置を移動させることができる。
【００２６】
本実施形態では、後述する評価値取得部１２０で取得した焦点検出用の評価値（コントラスト評価値）に基づいてフォーカスレンズ駆動部１１４を駆動し、フォーカスレンズ１０３のレンズ位置を移動させる。この動作によって、フォーカスレンズ１０３のレンズ位置を所定の被写体に合焦させた状態に設定することができる。この動作をＡＦ（ＡｕｔｏＦｏｒｃｕｓ）制御と称する。なお、上述したような所謂コントラスト検出方式のＡＦ制御ではなく、所謂位相差検出方式のＡＦ制御をおこなうような構成であってもよい。
【００２７】
操作部１１６は、ユーザによって、各種の指示や設定を入力するための操作手段である。操作部１１６は、スイッチ、ボタン、ダイヤルなどの入力デバイス群によって構成されている。また、操作部１１６は、レリーズスイッチ１１７やメニュー操作ボタン１１８を含んだ構成である。
【００２８】
ユーザの操作によって、レリーズスイッチ１１７がＳＷ１状態（例えば、半押し状態）にされると、被写体を撮像する前の準備動作（撮像準備）が指示される。なお、撮像準備とは、測光演算やＡＦ制御、露出制御（ＡＥ制御を含む）を指す。
【００２９】
また、ユーザの操作によって、レリーズスイッチ１１７がＳＷ２状態（例えば、全押状態）にされると、被写体の撮像開始（本撮像）が指示される。なお、被写体の撮像開始とは、撮像素子１０６における露光の開始を指す。
【００３０】
また、ユーザはメニュー操作ボタン（モード選択手段）１１８を操作することによって、被写体を撮像する際の撮影モードを設定することができる。設定可能な撮影モードとしては、少なくともフォーカスブラケット撮影をおこなうモードを含んでいる。
【００３１】
さらに、ユーザはメニュー操作ボタン１１８を操作することによって、一度のフォーカスブラケット処理（後述）において撮像をおこなう回数（以下、撮像回数と称す）を設定することもできる。
【００３２】
システム制御部（ＣＰＵ）１１９は、カメラ１００の全体的な動作を統括的に制御する制御手段である。ＣＰＵ１１９は、ユーザの操作指示に応じてカメラ１００の各部に動作を指示することでカメラ１００全体を制御することができる。なお、ＣＰＵ１１９は、メモリ１０８に格納されているプログラムを実行し、当該プログラムの処理に応じたカメラ１００の動作や処理を制御することもできる。例えば、撮像素子１０６の制御や露出制御、ＡＦ制御、ズーム制御などをおこなうためのプログラムを実行する。また、ＣＰＵ１１９には、評価値取得部１２０、距離算出部１２１、合成判定部１２２、フォーカスブラケット制御部１２３、合成部１２４が設けられている。以下、この詳細を説明する。
【００３３】
評価値取得部１２０は、取得した画像のコントラスト情報に基づく焦点検出用の評価値（以下、コントラスト評価値と称す）を取得するための評価値取得手段である。本実施形態において評価値取得部１２０は、フォーカスレンズ１０３を駆動しながら所定の間隔で取得した画像（第２の画像）に基づいて、一画面中のコントラス評価値の推移に関する情報を取得する。以下、当該コントラス評価値の推移に関する情報を取得するための動作をフォーカススキャンと称してその詳細を説明する。
【００３４】
なお、上述したコントラスト評価値の推移とは、例えば、後述する図２（ｂ）の下段に図示するようなグラフで表される。このグラフでは、被写体に合焦する位置でコントラス評価値が最も大きくなる。したがって、コントラス評価値が最も大きくなるフォーカスレンズ１０３のレンズ位置で撮像をおこなうことで、被写体に合焦した状態の合成用の画像（第１の画像）を取得することができる。本実施形態では、上述した合成用の画像を被合成画像（第１の画像）と称して説明する。また、被合成画像を取得するための撮像をおこなうフォーカスレンズ１０３のレンズ位置をフォーカス位置と称して説明する。
【００３５】
なお、本実施形態では、取得した画像のコントラスト情報に基づいてコントラスト評価値を算出するような構成であるが、これに限定されるものではない。例えば、撮像素子１０６から出力された信号を画像として取得（現像）せずにコントラスト評価値を算出するような構成であってもよい。
【００３６】
距離算出部１２１は、評価値取得部１２０で取得したコントラスト評価値に基づいて、フォーカスブラケット撮影で合焦させる対象（合焦対象）とする被写体までの距離（以下、被写体距離と称す）に関する情報を算出する算出手段である。なお、顔検出や人体検出などの検出結果に関する情報を用いて、被写体距離に関する情報を算出するような構成であってもよい。
【００３７】
また、距離算出部１２１は、算出した被写体距離に関する情報に基づいて、フォーカスブラケット撮影をおこなう領域（以下、被写体領域）を設定する手段でもある。本実施形態では、合焦対象として検出した複数の被写体のうち、カメラ１００に対して至近側の被写体が存在する位置から無限遠側の被写体が存在する位置までの領域を被写体領域としてフォーカスブラケット撮影をおこなう。そして、当該被写体領域に基づいてフォーカスブラケット撮影をおこなうことで、合焦位置の異なる複数の被合成画像を取得することができる。
【００３８】
なお、本実施形態では、撮像素子１０６から被写体までの距離に関する情報を被写体距離とするが、これに限定されるものではない。例えば、撮像レンズ群１０１から被写体までの距離に関する情報を被写体距離とするような構成であってもよい。また、測距センサを用いた位相差方式など、上述した方法以外の公知の方法で被写体距離を算出するような構成であってもよい。
【００３９】
合成判定部１２２は、取得したコントラスト評価値に基づいて、被合成画像が複数の被写体に合焦した状態の画像データ（以下、全焦点画像と称す）を生成するために適した画像であるか否かを判定するための判定手段である。また、合成判定部１２２は、当該判定の結果に基づいて、被合成画像の中から、全焦点画像を生成する際に用いる画像を設定する制御手段（第１の制御手段）でもある。本実施形態では、合成判定部１２２によって、全焦点画像を生成するのに適した画像でないと判定された被合成画像が合焦している画素領域を、全焦点画像を生成する際の所定の画素領域としては用いないように制御する。この詳細については後述する。
【００４０】
さらに、合成判定部１２２は、全焦点画像を生成するのに適した画像でないと判定された被合成画像において最も合焦している被写体に対応した画素領域を補償するための補償画像を設定する補償画像設定手段でもある。この詳細については後述する。
【００４１】
フォーカスブラケット制御部１２３は、取得したコントラスト評価値や被写体距離などの情報に基づいて、フォーカスブラケット撮影をおこなう際の撮影条件を設定する制御部である。本実施形態での撮像条件とは、フォーカスブラケット撮影をおこなう際の露出量、撮像回数や前述したフォーカス位置である。
【００４２】
なお、本実施形態での露出量は、絞り値やシャッタ速度、ゲイン量などの露出条件に基づいて変化する値である。したがって、フォーカスブラケット制御部１２３は、フォーカスレンズ１０３や絞り１０５およびシャッタの動作を制御することで、フォーカスブラケット撮影をおこなう際の露出量を設定する露出制御手段でもある。
【００４３】
合成部１２４は、フォーカスブラケット処理によって取得した複数の被合成画像をメモリ１０８から読み出し、当該複数の被合成画像を合成することで全焦点画像を生成する合成手段である。具体的には、合成部１２４は、合成判定部１２２の判定結果に基づいて、取得した複数の被合成画像のそれぞれから所定の画素領域を抽出し、合成することで全焦点画像を生成する。ここで、抽出する画素領域は被合成画像ごとに異なる。この詳細については後述する。以上で説明した被写体距離の算出から全焦点画像の取得までの一連の処理を、本実施形態ではフォーカスブラケット処理と称して説明する。フォーカスブラケット処理の説明については後述する。以上がカメラ１００の基本的な構成である。
【００４４】
以下、フォーカスブラケット処理の詳細について図２、図３を参照して説明する。図２は、本発明を実施した撮像装置の実施形態であるカメラ１００で取得する全焦点画像と、当該全焦点画像を生成する際の各種の条件を例示的に説明する図である。図２（ａ）は、取得する全焼端画像と当該全焦点画像の画角内に含まれる被写体を例示的に説明する図である。本実施形態では、被写体として人物１、人物２、木が画角内に存在する場合について例示的に説明する。また、図２（ｂ）は、画角内に存在する被写体の被写体距離とコントラスト評価値との関係を例示的に説明する図であって、図中の上段は被写体距離、下段はコントラスト評価値を示している。図２（ｂ）に図示するように、それぞれの被写体に関する被写体距離は、人物１が約１ｍ（Ｌ１）、人物２が約５ｍ、木が約３０ｍ（Ｌ３）である。すなわち、本実施形態において、カメラ１００から最も近い被写体は人物１であって、カメラ１００から最も遠い被写体は木である。なお、なお、同一の絞り値であっても、被写体距離に応じて被写界深度は変化するため、図２（ｂ）の横軸は対数に換算した被写体距離を示している。
【００４５】
以下、図２に図示する画角で撮像する場合のフォーカスブラケット処理について図３を参照して例示的に説明する。図３は本発明を実施した撮像装置の実施形態であるカメラ１００のフォーカスブラケット処理を説明するフローチャートである。なお、本実施形態では、ユーザがメニュー操作ボタン１１８を操作することによって、事前にフォーカスブラケット撮影をおこなうモードが設定されている場合について説明する。また、以下に説明する各ステップで取得する情報や画像データは、メモリ１０８への記録およびメモリ１０８からの読み出しが適宜おこなわれるものとする。
【００４６】
ユーザによってレリーズスイッチ１１７がＳＷ１状態（半押し）にされたことに応じてフォーカスブラケット処理が開始される。ステップＳ１０１でＣＰＵ１１９は、フォーカスレンズ１０３のレンズ位置を所定の間隔で変更させながら撮像をおこなう。そして、ＣＰＵ１１９は、当該撮像によって焦点検出用画像（第２の画像）を複数取得する。上述した所定の間隔に関する情報はメモリ１０８に予め記録されている。また、フォーカスレンズ１０３のレンズ位置を変更する所定の間隔とは、画角内のコントラスト評価値の推移に関する情報を取得できるものであれば、どのようなものであってもよい。
【００４７】
上述した焦点検出用の画像（第２の画像）は、フォーカスブラケット処理におけるフォーカス位置を設定するために取得する画像である。この詳細については後述する。
【００４８】
また、ステップＳ１０１で画像処理部（測光演算手段）１０７は、取得した焦点検出用画像に基づいて測光演算をおこない、被写体の輝度値（輝度情報）を算出する。具体的に、本実施形態では、取得した焦点検出用画像の一画面を複数のブロックに分割し、これらのブロックごとに平均輝度値を算出する。そして、全ブロックの平均輝度値を積分して算出した代表輝度値を算出する。さらに、焦点検出用画像ごとに算出した代表輝度値を加算平均することで、後述する種々の処理に用いる被写体の輝度値を算出する。
【００４９】
なお、測光演算の方法としてはこれに限定されるものではなく、その他の公知の方法によって輝度値を算出するような構成であってもよい。例えば、本実施形態では、焦点検出用画像ごとに算出した代表輝度値を加算平均することで被写体の輝度値を算出するような構成であるが、これに限定されるものではない。代表となる所定の焦点検出用画像を設定し、当該焦点検出用画像の代表輝度値を被写体の輝度値として設定するような構成であってもよい。
【００５０】
次に、ステップＳ１０２で、評価値取得部１２０は、取得した複数の焦点検出用の画像（第２の画像）に基づいて、前述したフォーカススキャンをおこない、画角内のコントラスト評価値の推移に関する情報を取得する。そして、評価値取得部１２０は、フォーカススキャンによって取得したコントラスト評価値の推移において、予め設定された所定の閾値を超える領域ごとに最も大きい（ピーク値となる）コントラスト評価値を取得する。なお、上述した閾値としては、どの様な値を設定してもよい。本実施形態では、この各領域のピーク値となるコントラスト評価値を、フォーカスブラケット処理で合焦対象とする被写体の第１のコントラスト評価値（第１の評価値）α（ｎ）として設定する（ｎは自然数）。そして、当該第１の評価値を取得したフォーカスレンズ１０３のレンズ位置をフォーカス位置として設定する。フォーカス位置の設定方法については後述する。
【００５１】
なお、第１の評価値α（ｎ）は、カメラ１００の至近側から無限遠側に向けて順に番号が付与され、当該番号に沿って撮像がおこなわれる。例えば、図２（ｂ）に図示するように、コントラスト評価値が閾値よりも大きくなる人物１、人物２、木が合焦対象の被写体となる。したがって、当該合焦対象の被写体に対しては、カメラ１００の至近側から順に、第１の評価値α（１）、α（２）、α（３）を設定する。そして、人物１、人物２、木の順に被写体を撮像する。
【００５２】
次に、ステップＳ１０３で距離算出部１２１は、先に取得した第１の評価値α（ｎ）に関する情報に基づいて、被写体ごとに被写体距離に関する情報を算出する。本実施形態では、人物１の被写体距離をＬ１、人物２の被写体距離をＬ２、木の被写体距離をＬ３とする。
【００５３】
また、ステップＳ１０３において距離算出部１２１は、フォーカスブラケット撮影をおこなう領域（被写体領域）を設定する。本実施形態では、図２（ｂ）に図示するように、人物１から木までの領域（Ｌ３−Ｌ１の領域）を被写体領域として設定する。
【００５４】
次に、ステップＳ１０４でフォーカスブラケット制御部１２３は、先に算出した被写体の輝度値や被写体距離に関する情報に基づいて、フォーカスブラケット撮影時の撮像条件を設定する。具体的には、フォーカスブラケット制御部１２３は、被写体に対して適正な明るさであって合焦した状態の画像を取得することができる露出量（絞り値、シャッタ速度、ゲイン量）を設定する。なお、本実施形態では一度のフォーカスブラケット処理において、同一の絞り値を設定する構成である。ここで、同一の絞り値であっても被写体距離に応じて被写界深度が異なるため、撮像する複数の被写体に合焦させることができる絞り値を設定する必要がある。さらに、絞り値が大きい（絞り径が小さい）場合は、光の回折現象によって画像の解像度が低下してしまうため、出来るだけ解像度が低下しないような絞りを設定する必要がある。
【００５５】
また、フォーカスブラケット制御部１２３は、設定した絞り値と被写体距離に関する情報に基づいて、１度のフォーカスブラケット処理における撮像回数および、フォーカス位置を設定する。ここで設定する撮像回数およびフォーカス位置としては、先に設定した被写体領域の全域をカバーできるようなものとする。すなわち、取得する複数の画像の少なくとも一つの被写界深度内に合焦対象とする被写体が含まれるようにフォーカス位置および撮像回数を設定する。以上説明した露出量や撮像回数、フォーカス位置が本実施形態の撮像条件である。なお、被写体領域の全域に合焦した状態の全焦点画像を生成できるものであれば、フォーカスブラケット処理における絞り値や撮像回数、フォーカス位置はどのように設定してもよい。以下の説明では、撮像回数が３回に設定される場合であって、３回の撮像で被写体領域の全域をカバーできる（合焦させることができる）フォーカス位置が設定される場合のフォーカスブラケット処理について例示的に説明する。
【００５６】
次に、ステップＳ１０５でＣＰＵ１１９は、先に算出した絞り値に関する情報に基づき、絞り駆動部１１２を介して絞り１０５を駆動する。
【００５７】
次に、ステップＳ１０６でＣＰＵ１１９は、レリーズスイッチ１１７がＳＷ２状態にされたか否かを判定する。ステップＳ１０６の処理は、レリーズスイッチ１１７がＳＷ２状態に変更されるまで繰り返す。
【００５８】
次に、ステップＳ１０７でフォーカスブラケット制御部１２３は、先に設定した撮像条件に関する情報に基づいて撮像をおこない、全焦点画像を生成する際に用いる被合成画像（ｎ）を取得する（ｎは自然数）。なお、前述したように、本実施形態では、設定した撮像条件に基づいて、カメラ１００の至近側から無限遠側に向かって順に被合成画像（第２の画像）を取得する構成である。
【００５９】
本実施形態では、被合成画像を取得するごとに、ステップＳ１０７〜Ｓ１１２の処理を繰り返しおこなう。例えば、撮像回数が３回に設定されている場合は、ステップＳ１０７〜Ｓ１１２の処理を３回繰り返すことで被合成画像（１）〜（３）を順次取得する。なお、設定された撮像回数に応じて、先に全ての被合成画像を取得するような構成であってもよい。この場合、全ての被合成画像を取得してから、後述するステップＳ１０８〜Ｓ１１１の処理を実行する。
【００６０】
次に、ステップＳ１０８で、評価値取得部１２０は、取得した被合成画像（ｎ）のコントラスト情報に基づいてコントラスト評価値（第２の評価値）β（ｎ）を取得する（ｎは自然数）。
【００６１】
本実施形態では、図４（ａ）に図示するように、カメラ１００の光軸方向に対して、第１の評価値α（ｎ）と同じフォーカスレンズ１０３のレンズ位置で第２の評価値β（ｎ）を取得する。これは、第１の評価値α（ｎ）を取得したフォーカスレンズ１０３のレンズ位置で被合成画像（ｎ）を取得することに起因している。
【００６２】
なお、図４は、本発明を実施した撮像装置の実施形態であるカメラ１００において、フォーカスブラケット撮影中に被写体が移動してしまった場合に取得される全焦点画像と、当該全焦点画像を生成する際の各種の条件を例示的に説明する図である。図４（ａ）は、人物２が撮像開始当初の位置から移動することで人物２がぶれた状態の被写体距離とコントラスト評価値の関係を例示的に説明した図であって、第２の評価値β（ｎ）を点で示し、第１の評価値α（ｎ）を破線で示している。図４（ｂ）は、図４（ａ）に図示したような条件で取得された複数の被合成画像を合成することで生成される全焦点画像を例示的に説明した図である。
【００６３】
本実施形態では、先に取得した被合成画像（ｎ）のコントラスト情報のみに基づいて第２の評価値β（ｎ）を取得する構成である。すなわち、第２の評価値β（ｎ）は、フォーカススキャンをおこなわずに取得する。したがって、図４（ａ）で図示するように、第２の評価値β（ｎ）は設定したフォーカス位置ごとにコントラスト評価値として取得される。
【００６４】
ここで、第２の評価値β（ｎ）を取得した被合成画像（ｎ）における被写体の合焦状態に応じて、当該第２の評価値β（ｎ）の大きさは異なる。例えば、被合成画像中において、被写体に対して鮮明に合焦しているほど、第２の評価値は大きくなる。
【００６５】
なお、本実施形態では、第１の評価値α（ｎ）を取得できるフォーカスレンズ１０３のレンズ位置と同一のレンズ位置をフォーカス位置として設定する構成である。したがって、第１の評価値と第２の評価値とは同一のレンズ位置で取得することができる。これに対して、第１の評価値α（ｎ）を取得できるフォーカスレンズ１０３のレンズ位置とは異なる位置をフォーカス位置として設定する構成の場合は、第１の評価値と第２の評価値とは異なるレンズ位置で取得される。すなわち、第１の評価値α（ｎ）を取得できるフォーカスレンズ１０３のレンズ位置と、第２の評価値β（ｎ）を取得できるフォーカスレンズ１０３のレンズ位置との関係は、設定するフォーカス位置によって変化する。
【００６６】
以上説明したように、第２の評価値β（ｎ）は、フォーカスレンズ１０３のレンズ位置に依らず、少なくとも第１の評価値α（ｎ）に基づいて取得した被合成画像のコントラスト情報に基づいて取得される値である。
【００６７】
なお、取得した第２の評価値には、前述した第１の評価値と同様に、カメラ１００の至近側から無限遠側に向けて順に番号が付与される。例えば、本実施形態では、合焦対象の被写体として人物１、人物２、木が設定されているので、これらの被写体に対応した第２の評価値がそれぞれ、β（１）、β（２）、β（３）となる。
【００６８】
次に、ステップＳ１０９で合成判定部１２２は、先に取得した第１の評価値α（ｎ）と、第２の評価値β（ｎ）とを比較して、取得した被合成画像（ｎ）が全焦点画像を生成するために適しているか否かを判定する。以下、この詳細について説明する。
【００６９】
フォーカスブラケット撮影をおこなう場合、フォーカスレンズ１０３のレンズ位置を異ならせて連続して被写体を撮像することで合焦状態が異なる複数の画像を取得する。したがって、合焦対象の被写体の撮像順に応じて、ユーザによる撮像指示から実際に撮像がおこなわれるまでの期間は変化する。特に、撮像する順序が遅い被写体は、ユーザによる撮像指示から、実際に撮像がおこなわれるまでの期間が長くなってしまう。
【００７０】
ここで、本実施形態では、各被合成画像において、それぞれ異なる合焦対象の被写体に合焦するように複数の被合成画像を取得している。そして、本実施形態では、各被合成画像において合焦している画素領域を抽出し、それぞれの画素領域同士を合成することで一つの全焦点画像を生成する構成である。すなわち、本実施形態の被合成画像は、画像ごとに合焦している被写体が異なる。
【００７１】
したがって、ある被合成画像において、合焦対象の被写体がぶれてしまっている場合は、当該被合成画像を用いて生成した全焦点画像が、当該合焦対象の被写体がぶれた状態の画像となってしまう。なお、本実施形態では、被写体がぼけている状態の画像や、被写体がいびつな形状に変形した不鮮明な画像をまとめて、被写体がぶれた状態の画像と称す。
【００７２】
例えば、図４（ａ）に図示するように、フォーカスブラケット撮影中に人物２が移動することで、当該人物２に合焦させるために取得した被合成画像（２）は、人物２がぶれた不鮮明な画像となってしまう場合がある。したがって、当該被合成画像（２）で合焦している画素領域を用いて全焦点画像を生成したとしても、図４（ｂ）に図示するように、人物２がぶれた不自然な画像となってしまう。
【００７３】
そこで、本実施形態では、第１の評価値α（ｎ）と第２の評価値β（ｎ）との差異が所定の閾値（第１の値）よりも大きいか否かを判定することで、被合成画像（ｎ）が合焦している画素領域が、全焦点画像を生成するのに適しているか否かを判定する。そして、当該判定の結果に応じて、全焦点画像を生成する際の合成に用いる被合成画像と画素領域を設定する。
【００７４】
図３に戻り、ステップＳ１０９で合成判定部１２２は、第２の評価値β（ｎ）を、第１の評価値α（ｎ）で除算して算出した値（以下、移動割合を称す）が所定の割合（第１の値）γよりも大きいか否かを判定する。なお、移動割合は、撮像を指示した際の被写体の位置と、実際に撮像した被写体の位置との差異を示す値である。また、上述した所定の割合γはメモリ１０８に予め格納されている値である。当該所定の割合γとしては、被合成画像が全焦点画像を生成するのに適した画像であるか否かを判定できるようなものであればどのような値であってもよい。
【００７５】
ここで、第１の評価値α（ｎ）と第２の評価値β（ｎ）との比較は、同一の被写体に基づいて算出したコントラスト評価値同士を用いておこなう。例えば、人物１に関する第１の評価値α（１）との比較には、被合成画像（１）に基づいて取得した第２の評価値β（１）を用いる。また、木に関する第１の評価値α（３）との比較には、被合成画像（３）に基づいて取得した第２の評価値β（３）を用いる。
【００７６】
なお、上述した移動割合を求める方法ではなく、第１の評価値α（ｎ）と第２の評価値β（ｎ）との差分が所定の値（第２の値）よりも大きいか否かを判定するような構成であってもよい。
【００７７】
次に、算出した移動割合が所定の割合γよりも大きくない（ステップＳ１０９でＮＯ）と判定された場合（β（ｎ）／α（ｎ）≦γ）、ステップＳ１１０で合成判定部（第１の制御部）１２３は、被合成画像（ｎ）の合成フラグ（ｎ）を有効に設定する。すなわち、合成判定部１２２は、被合成画像（ｎ）において、合焦対象の被写体がぶれていない状態であると判定する。そして、合成判定部１２２は、当該被合成画像（ｎ）を、全焦点画像を生成する際に用いる画像に設定する。
【００７８】
さらに、合成判定部１２２は、合成用に設定された被合成画像の（ｎ）において合焦している画素領域を、全焦点画像を生成する際の合成に用いる画素領域に設定する。例えば、被合成画像（１）の合成フラグ（１）が有効に設定された場合、被合成画像（１）において最も合焦している画素領域を、全焦点画像の生成する際の合成に用いる画素領域に設定する。
【００７９】
次に、移動割合が前述した所定の割合γよりも大きい（β（ｎ）／α（ｎ）＞γ）と判定された場合（ステップＳ１０９でＹＥＳ）、ステップＳ１１１で合成判定部１２２は、取得した被合成画像（ｎ）の合成フラグ（ｎ）を無効に設定する。
【００８０】
次に、ステップＳ１１２でフォーカスブラケット制御部１２３は、既に撮像が完了している回数が、設定した撮像回数に達したか否かを判定する。ステップＳ１１２の処理で、撮像した回数が設定した撮像回数に達していないと判定された場合は、ステップＳ１０７に戻り、前述したステップＳ１０７〜Ｓ１１２の処理を繰り返す。例えば、設定された撮像回数が３回で、現在までに被合成画像（１）および被合成画像（２）を取得するための撮像が完了している場合は、被合成画像（３）を取得するために、前述したステップＳ１０７〜Ｓ１１２の処理を繰り返す。
【００８１】
撮像した回数が設定した撮像回数に達したと判定された場合（ステップＳ１１２でＹＥＳ）は、ステップＳ１１３で合成判定部１２２は合成処理をおこなう。合成処理の詳細については後述する。当該合成処理が終了したら、フォーカスブラケット処理を終了する。以上が本実施形態のフォーカスブラケット処理である。
【００８２】
以下、本実施形態の合成処理について図５を参照して説明する。図５は、本発明を実施した撮像装置の実施形態であるカメラ１００の合成処理を説明するフローチャートである。ステップＳ２０１で合成判定部１２２は、被合成画像（１）の合成フラグが有効に設定されているか否かを判定する。ここで、前述したように、被合成画像（１）は、カメラ１００に対して最も至近側の被写体（例えば、図２（ｂ）の人物１）に合焦させるために取得する画像である。
【００８３】
被合成画像（１）の合成フラグが有効に設定されている（ステップＳ２０１でＹＥＳ）と判定された場合はステップＳ２０４に進む。また、被合成画像（１）の合成フラグが無効に設定されている（ステップＳ２０１でＮＯ）と判定された場合はステップＳ２０２に進む。
【００８４】
次に、ステップＳ２０２で合成判定部（第２の制御部）１２３は、フォーカスブラケット処理を中止する旨の警告表示を表示部１０９に表示させる制御をおこなう。次に、ステップＳ２０３で合成判定部１２２は、フォーカスブラケット処理を中止するか否かを判定する。当該警告表示は、フォーカスブラケット処理を中止するか否かをユーザに問う旨の表示である。
【００８５】
被合成画像（１）は、一度のフォーカスブラケット処理において、ユーザによる撮像の指示から最初に取得される画像である。すなわち、被合成画像（１）は、ユーザによる撮像指示後、最初の撮像によって取得した画像である。
【００８６】
以上説明したように、被合成画像（１）は、他の被合成画像と比較して、ユーザの撮像指示から最も短い時間で取得される画像である。したがって、被合成画像（１）は、他の被合成画像に比べて被写体にぶれが生じにくい画像である。
【００８７】
被合成画像（１）において被写体にぶれが生じている（合成フラグが無効に設定されている）場合は、当該被合成画像（１）よりも後に取得した被合成画像においても被写体にぶれが生じている確率が高い。
【００８８】
そこで、本実施形態では、被合成画像（１）の合成フラグが無効に設定されている場合に、表示部１０９に警告表示をおこなう。そして、当該警告表示に対するユーザの操作に基づいて、現在のフォーカスブラケット処理を中止するか否かを判定する。この構成によって、ユーザが意図する被写体がぶれている確率が高い全焦点画像を生成するために、無駄にフォーカスブラケット処理をおこなうことを抑制することができる。
【００８９】
フォーカスブラケット処理を中止する場合は、現在の合成処理を終了し次のフォーカスブラケット処理を開始する。また、フォーカスブラケット処理を中止しない場合は、ステップＳ２０４の処理に進む。
【００９０】
次に、ステップＳ２０４でフォーカスブラケット制御部１２３は、現在までに完了している処理のカウント数を１に設定する（Ｃｏｕｎｔ＝１）。そして、ステップＳ２０５でフォーカスブラケット制御部１２３は、変数ｎの値を、ｎ＝Ｃｏｕｎｔ＋１に設定する（ｎは自然数）。例えば、ステップＳ２０４の処理を終了した直後の処理では、カウント数が１（Ｃｏｕｎｔ＝１）に設定されているので、ｎは２（ｎ＝２）に設定される。
【００９１】
次に、ステップＳ２０６で合成判定部１２２は、被合成画像（ｎ）の合成フラグが有効に設定されているか否かを判定する。被合成画像（ｎ）の合成フラグが有効に設定されている（ステップＳ２０６でＹＥＳ）と判定された場合は、ステップＳ２０８に進む。また、被合成画像（ｎ）の合成フラグが無効に設定されている（ステップＳ２０６でＮＯ）と判定された場合はステップＳ２０７に進む。
【００９２】
次に、ステップＳ２０７で合成判定部（補償画像設定手段）１２３は、合成フラグが無効に設定された被合成画像（ｎ）の代わりに、合成に用いる画素領域を抽出する補償画像を設定する。以下、上述した補償画像設定するための補償画像設定処理の詳細について図６を参照して説明する。図６は、本発明を実施した撮像装置の実施形態であるカメラ１００の補償画像設定処理を説明するフローチャートである。
【００９３】
本実施形態では、取得した複数の被合成画像ごとに合焦している状態の画素領域を抽出し、当該抽出した画素領域同士を合成することで全焦点画像を生成する。この場合、被合成画像ごとに抽出する画素領域は異なる。そして、異なる画素領域同士を合成することで１つの全焦点画像を生成する。
【００９４】
本実施形態では、被合成画像（ｎ）の合成フラグ（ｎ）が無効に設定されている場合、当該被合成画像（ｎ）で最も合焦している被写体に対応する画素領域は、全焦点画像を生成する際の画素領域として使用しない。例えば、被合成画像（２）の合成フラグ（２）が無効に設定されている場合を想定する。この場合、被合成画像（２）において最も合焦している被写体である人物２に対応する画素領域（２）（例えば、図４（ｂ）に図示する点線で囲まれた領域）は、全焦点画像を生成する際の画素領域として用いない。
【００９５】
したがって、全焦点画像を生成する際に用いる画素領域として、画素領域（２）を補償する画素領域を設定する必要がある。したがって、被合成画像（ｎ）の合成フラグ（ｎ）が無効に設定されている場合は、被合成画像（ｎ）以外の被合成画像の画素領域を用いて、全焦点画像を生成する必要がある。
【００９６】
そこで、本実施形態では、被合成画像（ｎ）の合成フラグが無効に設定されている場合に、当該被合成画像（ｎ）以外の被合成画像を、全焦点画像の生成時に用いる補償画像として設定する。そして、当該補償画像の画素領域のうち、被合成画像（ｎ）で合焦している画素領域と同じ画素領域を全焦点画像の生成に用いる。すなわち、全焦点画像を生成する際に被合成画像（ｎ）から抽出する予定だった画素領域の代わりに、当該画素領域と同様の位置の画素領域を抽出する補償画像を設定する。
【００９７】
本実施形態では、合成フラグが無効に設定されている被合成画像のフォーカス位置を基準として、所定の閾値（第３の値）以内のフォーカス位置に対応した被合成画像を補正画像として設定する。以下、この詳細について説明する。
【００９８】
補償画像設定処理を開始すると、ステップＳ３０１でフォーカスブラケット制御部１２３は、補償画像を選定するための所定の閾値（第３の値）を設定する。前述したように、当該所定の閾値は、合成フラグ（ｎ）が無効に設定されている被合成画像（ｎ）のフォーカス位置を基準とした閾値である。なお、当該所定の閾値はフォーカス位置に関する値なので、フォーカスブラケット撮影時に設定する絞り値に応じて変化する。
【００９９】
例えば、フォーカスブラケット撮影時の絞り値が、絞り値Ｆ５．６（第１の絞り値）である場合は、絞り値Ｆ１１（第２の絞り値）である場合よりも、上述した所定の閾値を大きくする。これは、絞り値が大きい（絞り径が小さい）ほど、撮像時の被写界深度が深くなることに起因している。
【０１００】
以上説明したように、対応するフォーカス位置が、上述した閾値以内となる被合成画像を補償画像として設定する。この構成によって、補償する画素領域において被写体のぼけが小さい被合成画像を補償画像として設定することができる。すなわち、被写体のぶれが小さい被合成画像を補償画像として設定することができる。
【０１０１】
次に、ステップＳ３０２でフォーカスブラケット制御部１２３は、被合成画像（１）のフォーカス位置が所定の閾値以内であるか否かを判定する。１度のフォーカスブラケット処理では、ユーザによる撮像開始の指示から実際に撮像が開始されるまでの期間が短いほど、被合成画像中で被写体がぶれる確率が低い。特に、１度のフォーカスブラケット処理において、最初の撮像によって取得する被合成画像（１）は、他の被合成画像よりも被写体がぶれる確率が低い。
【０１０２】
そこで、ステップＳ３０２の処理では、被合成画像（１）を撮像した際のフォーカス位置が、先に設定した所定の閾値以内であるか否かを判定する。
【０１０３】
ステップＳ３０２の処理で、被合成画像（１）を撮像した際のフォーカス位置が所定の閾値以内であると判定された場合、ステップＳ３０３でフォーカスブラケット制御部１２３は、被合成画像（１）を被合成画像（ｎ）の補償画像として設定する。この構成によって、被写体がぶれにくい被合成画像を補償画像として設定することができる。
【０１０４】
次に、ステップＳ３０４でフォーカスブラケット制御部１２３は、取得した被合成画像のうち、被合成画像（１）以外で被合成画像（ｎ−１）に該当する画像を取得しているか否かを判定する。すなわち、被合成画像（ｎ）を取得するまでに、被合成画像（１）以外の被合成画像を取得しているか否かを判定する。
【０１０５】
ステップＳ３０４の処理で、（被合成画像（１）以外に）被合成画像（ｎ−１）を取得していると判定された場合はステップＳ３０５に進む。また、ステップＳ３０４の処理で、（被合成画像（１）以外に）被合成画像（ｎ−１）を取得していないと判定された場合はステップＳ３０３に進む。
【０１０６】
次に、ステップＳ３０５でフォーカスブラケット制御部１２３は、取得した被合成画像（１）〜被合成画像（ｎ−１）において、フォーカス位置が所定の閾値以内の被合成画像を判定する。ステップＳ３０５の処理で、被合成画像（１）〜被合成画像（ｎ−１）のうち、フォーカス位置が所定の閾値以内の被合成画像が存在すると判定された場合はステップＳ３０６に進む。また、ステップＳ３０５の処理で、被合成画像（１）〜被合成画像（ｎ−１）のうち、フォーカス位置が所定の閾値以内の被合成画像が存在しないと判定された場合はステップＳ３０３に進む。
【０１０７】
次に、ステップＳ３０６でフォーカスブラケット制御部１２３は、取得した被合成画像（ｎ−１）のうち、対応するフォーカス位置が所定の閾値以内であって、撮像した（取得した）順序が最も早い画像を補償画像に設定する。例えば、被合成画像（３）の合成フラグ（３）が無効に設定されている場合であって、被合成画像（２）のフォーカス位置だけが所定の閾値以内である場合は、被合成画像（２）を補償画像に設定する。ステップＳ３０３またはステップＳ３０６の処理で、補償画像の設定が完了したら、補償画像設定処理を終了する。
【０１０８】
ここで、ステップＳ３０４の処理またはステップＳ３０５の処理でＮＯと判定された場合、所定の閾値以内のフォーカス位置で撮像することで取得した被合成画像は存在しない。この場合は、被合成画像（１）を補償画像として設定する。被合成画像（１）を補償画像に設定することで、出来るだけ被写体のぶれが少ない被合成画像を補償画像に設定することができる。すなわち、本実施形態では、少なくとも、合成フラグ（ｎ）が無効に設定された被合成画像（ｎ）よりも前の撮像によって取得した被合成画像を補償画像に設定する構成である。
【０１０９】
なお、本実施形態の補償画像の設定方法としては、上述したものに限定されるものではない。例えば、補償画像として常に被合成画像（１）を設定するような構成であってもよい。また、合成フラグが無効に設定された被合成画像（ｎ）の前後に取得した被合成画像（被合成画像（ｎ−１）または被合成画像（ｎ＋１））のうちの一方を、補償画像として設定するような構成であってもよい。
【０１１０】
図５に戻り、ステップＳ２０８でフォーカスブラケット制御部１２３は、ステップＳ２０５で設定したカウント数に１を追加する（Ｃｏｕｎｔ＝Ｃｏｕｎｔ＋１）。そして、ステップＳ２０９でフォーカスブラケット制御部１２３は、現在までのカウント数が、設定した撮像回数に到達しているか否かを判定する。
【０１１１】
カウント数が撮像回数に到達していない（ステップＳ２０９でＮＯ）と判定された場合は、ステップＳ２０５に戻り、残りの被合成画像についても、ステップＳ２０５〜Ｓ２０９の処理を繰り返す。
【０１１２】
カウント数が撮像回数に到達している（ステップＳ２０９でＹＥＳ）と判定された場合、ステップＳ２１０で合成部１２４は、合成フラグが有効に設定されている被合成画像および補償画像から合成用の画素領域を抽出する。そして、合成部１２４は、抽出した画像領域同士を合成して全焦点画像を生成する。最後に、生成した全焦点画像をメモリ１０８に記録し画像合成処理を終了する。なお、生成した全焦点画像は、表示部１０９にレビュー表示するような構成でもよい。以上が、本実施形態の画像合成処理である。
【０１１３】
以上説明したように、本実施形態では、第１の評価値α（ｎ）と第２の評価値β（ｎ）との差異が所定の閾値よりも大きいか否かを判定することで、フォーカスブラケット撮影で取得した画像が、全焦点画像を生成するために適した画像であるかを否か判定する。そして、当該判定の結果に応じて全焦点画像を生成するための合成用の被合成画像を設定する。
【０１１４】
この構成によって、フォーカスブラケット撮影によって被写体がぶれた状態の画像を取得したとしても、当該被写体のぶれを抑制した全焦点画像を生成することができる。したがって、本実施形態のカメラ１００は、複数の被写体に合焦した状態であって、被写体のぶれの影響を抑制した画像を取得することができる。
【０１１５】
また、取得した被合成画像が、全焦点画像を生成するために適した画像ではないと判定された場合は、当該被合成画像で最も合焦している被写体に対応した画素領域を補償する補償画像を設定する。そして、当該補償画像から抽出した画素領域を、全焦点画像を生成する際の画素領域として設定する。ここで、補償画像として設定する被合成画像は、少なくとも、被写体のぶれが小さい画像を用いる。以上説明した構成によって、フォーカスブラケット撮影で被写体がぶれた状態の画像を取得したとしても、被写体のぶれを抑制した全焦点画像を生成することができる。
【０１１６】
以上、本発明の好ましい実施形態について説明したが、本発明はこの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、取得した全ての被合成画像のうち、合成フラグが無効に設定されている画像が多い場合は、ユーザ意図した被写体に適正に合焦した状態の画像を取得することは難しい。そこで、フォーカスブラケット撮影で取得した全ての被合成画像のうち、合成フラグが有効に設定された画像の割合に応じて全焦点画像を生成するか否かを判定するような構成であってもよい。例えば、取得した全ての被合成画像のうち、半数以上の合成フラグが無効に設定されている場合は、ユーザに対して現在処理中のフォーカスブラケット処理を中止し、次の処理へと移行する旨の警告表示を表示部１０９に表示させる。
【０１１７】
この構成によって、ユーザ意図した被写体に合焦している確率が低い全焦点画像を生成することなく、次のフォーカスブラケット処理に移行することができる。すなわち、効果の小さい全焦点画像を生成せずに次の処理へと移行することができる。したがって、効果の小さい全焦点画像を生成するために無駄な時間が掛ることを抑制することができる。
【０１１８】
なお、本実施形態では、１度のフォーカスブラケット処理において、同一の絞り値でフォーカスブラケット撮影をおこなうような構成であるが、これに限定されるものではない。例えば、被写体領域の全域をカバーするような絞り値であれば、一度のフォーカスブラケット処理中に、絞り値を変更して撮像をおこなうような構成であってもよい。例えば、最初の撮像では小絞り側の絞り値を設定して撮像することで、比較的広い領域に合焦する被合成画像を取得する。そして、それ以外の撮像時は開放側の絞り値を設定して撮像する。この構成であれば、被合成画像（１）以外の被合成画像中で被写体がぶれているような場合に、広い領域に合焦している被合成画像（１）を補償画像として設定することができる。この場合、被写体のぶれを抑制しつつ、画角内の広い領域に合焦した状態の全焦点画像を取得することができる。
【０１１９】
また、取得した被合成画像の合成フラグが無効に設定されている場合に、当該被合成画像で合焦している被写体に合焦させて、新たに被合成画像を取得するような構成であってもよい。この場合、取得した被合成画像中で被写体がぶれている場合であっても、当該被写体がぶれていない状態の被合成画像を改めて取得することができる。したがって、被写体のブレを抑制した全焦点画像を生成することができる。
【０１２０】
また、前述した実施形態では、フォーカスブラケット撮影中に被写体が移動することで、当該被写体がぶれた状態の被合成画像を取得する場合を想定したが、これに限定されるものではない。例えば、カメラ１００に加わるぶれの影響によって被写体がぶれた状態の画像を取得する場合であっても、前述したフォーカスブラケット処理および画像合成処理を実行して、被写体のぶれの影響を抑制した画像を生成することができる。ここで、カメラ１００に加わるぶれ量は、角速度センサ１２５やジャイロセンサ１２６からの出力に基づいて検出する。
【０１２１】
なお、ユーザがメニュー操作ボタン１１８を操作することで、前述したフォーカスブラケット処理と画像合成処理を実行するためのモードを選択できる構成であってもよい。すなわち、ユーザによって設定されたモードに応じて、図３、図５および図６に図示した処理を実行するような構成であってもよい。
【０１２２】
また、前述した実施形態では、カメラ１００の内部に設けられた制御部や処理部などが互いに連携して動作することによって、カメラ１００の動作を制御するような構成であるが、これに限定されるものではない。前述した図３や図５、図６のフローに従ったプログラムを予めメモリ１０８に格納しておき、当該プログラムをＣＰＵ１１９が実行することで、カメラ１００の動作を制御するような構成であってもよい。
【０１２３】
また、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。また、プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記録媒体でもあってもよい。
【０１２４】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワークまたは各種記録媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１２５】
１００  デジタルカメラ（撮像装置）
１０３  フォーカスレンズ
１１９  システム制御部（ＣＰＵ）
１２０  評価値取得部（評価値取得手段）
１２２  合成判定部（判定手段、第１の制御手段）
【図１】
2016032180.tif 000003
【図２】
2016032180.tif 000004
【図３】
2016032180.tif 000005
【図４】
2016032180.tif 000006
【図５】
2016032180.tif 000007
【図６】
2016032180.tif 000008