(57)【要約】【課題】  合成画像を取得する際の撮像光学系の合焦位置の検出精度を改善する撮像装置およびその制御方法を提供する。【解決手段】  合成画像を生成するために用いる露出の異なる複数の画像にそれぞれ対応する撮像光学系の合焦位置を検出する。検出した複数の合焦位置から、撮像装置の動作を制御するために用いる合焦位置を、予め定められた条件に基づいて選択する。【選択図】  図１
2015011320.tif 000002
【特許請求の範囲】
【請求項１】
撮像センサーから出力される互いに露出条件の異なる第１の画像信号と第２の画像信号とを合成して１フレームの合成画像を生成する画像合成手段と、
前記センサーから連続して出力される画像信号を、前記合成手段により合成し当該合成された後の合成画像を連続して出力する際、当該合成前の第１の画像信号と第２の画像信号のそれぞれから焦点信号を検出する焦点検出手段と、
前記焦点検出手段が検出した焦点信号に基づいて、合焦すべき合焦位置を選択する選択手段とを有することを特徴とする撮像装置。
【請求項２】
前記第１の画像信号と前記第２の画像信号とは、互いに露出時間の異なる信号であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の画像信号と前記第２の画像信号とは、それぞれ異なる目標輝度レベルでセンサーから出力された信号であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
センサーから出力された画像信号に、白飛び又は黒つぶれがあるか否かを判定する第１の判定手段を更に有し、
前記選択手段は、前記第１の判定手段による判定結果に基づいて、白飛び又は黒つぶれが少ない画像を多い画像に対応する合焦位置を優先して選択することを特徴とする請求項１または３のいずれか１項に記載の撮像装置。
【請求項５】
前記第１の判定手段は、前記画像の輝度値のヒストグラムに基づいて、白飛び又は黒つぶれがあるか否かを判定することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記第１の画像信号に基づく合焦位置と前記第２の画像信号に基づく合焦位置とが所定量以上異なるか否かを判定する第２の判定手段を更に有し、
前記選択手段は、前記第２の判定手段により合焦位置が所定量以上異なると判定された場合に、近側の合焦位置を選択することを特徴とする請求項１乃至請求項５のいずれか１項に記載の撮像装置。
【請求項７】
前記選択手段は、前記第２の判定手段により合焦位置が所定量以上異ならないと判定された場合に、より高い前記焦点信号に基づいて検出された合焦位置を選択することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記焦点信号は、前記画像に基づいて得られた鮮鋭度を表すＡＦ評価値であることを特徴とする請求項１乃至７のいずれいか１項に記載の撮像装置。
【請求項９】
前記焦点信号は、撮像光学系の瞳領域を分割して当該分割された瞳領域からの被写体像を光電変換して生成された信号から得られた像ズレ量であることを特徴とする請求項１乃至請求項７のいずれか１項に記載の撮像装置。
【請求項１０】
撮像光学系の位置を変えて複数回撮影する際の当該光学系の位置を決定する決定手段と、
１フレーム内の分割領域ごとに、
前記選択手段により選択された合焦位置の分布を示す情報として出力する出力手段とを更に有し、
前記決定手段は、前記選択手段により選択された複数の領域ごとの合焦位置の分布に基づいて、複数の前記撮像光学系の位置を決定することを特徴とする請求項１乃至請求項９のいずれか１項に記載の撮像装置。
【請求項１１】
前記画像合成手段により生成された合成画像をフレームごとにメモリに記憶するように制御する記憶制御手段とを更に有することを特徴とする請求項１乃至請求項１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記撮像センサーは、予め定められた動画の１フレーム期間内に、前記露出の異なる複数の画像を出力することを特徴とする請求項１乃至請求項１１のいずれか１項に記載の撮像装置。
【請求項１３】
前記複数の領域が、前記撮像センサーが有するカラーフィルタの繰り返し単位に基づいて設定されることを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
撮像光学系によって形成される被写体像を光電変換して画像を取得する撮像手段を備える撮像装置を制御する方法であって、
露出の異なる複数の画像から合成画像を生成するために、前記撮像手段により画像を取得するための露出条件を設定する設定ステップと、
当該露出ごとの焦点信号を生成する生成ステップと、
前記生成ステップにより生成された前記露出ごとの焦点信号に基づいて、前記露出ごとの前記撮像光学系の合焦位置を検出する焦点検出ステップと、
前記露出ごとの合焦位置の中から合焦すべき合焦位置を選択する選択ステップとを有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法に関し、特に、ダイナミックレンジを拡大した画像を取得可能な撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
従来、一般的なデジタルカメラに使われている撮像素子（ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなど）のダイナミックレンジ（出力値で表現可能な入力輝度の範囲）が銀塩フィルムに比べ狭いという問題があった。撮像素子のダイナミックレンジより広いダイナミックレンジを有する画像を得る方法として、ＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）と呼ばれる技術が知られている。ＨＤＲは、同一シーンを露光量を異ならせて撮影した複数枚の画像（例えば、露出量の多い高露出画像と露出量の少ない低露出画像等）を合成して１枚の画像（ＨＤＲ画像）を生成する手法である（特許文献１）。
【０００３】
また、近年では、１フレーム期間の撮影時に複数の異なる露出の画像を撮影することが可能な撮像素子を用いてＨＤＲ画像を生成する技術が提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１６４１９５号公報
【特許文献２】特開２０１１−２４４３０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
複数枚の画像を合成してフレーム画像を作成するＨＤＲ撮影において、撮影に必要な焦点信号を合成画像から検出すると、焦点状態を検出するための焦点信号の反映タイミングが遅くなってしまう。この問題は、特許文献１に記載のような、露出の異なる複数の画像を複数フレーム期間で取得する構成ではもちろん、特許文献２に記載のような、１フレーム期間内に露出の異なる複数の画像を取得可能な構成であっても存在する。
【０００６】
例えば、画像に基づいて画像の鮮鋭度を表すＡＦ評価値を取得し、それが最大となるようにフォーカスレンズ位置を制御して焦点調節を行うコントラストＡＦ方式のＡＦ制御動作を、ＨＤＲ画像の撮影の際に行う場合を考える。この場合、合成画像から検出したＡＦ評価値を用いてＡＦ制御動作を行う構成にすると、ＡＦ評価値を反映するタイミングが画像合成後になるため、被写体の動きに対するＡＦの応答性が悪くなる。そのため、合成前の画像を用いてＡＦ評価値の検出、反映を行うことが望ましい。
【０００７】
しかしながら、合成前の画像（例えば高露出画像と低露出画像）の一方を常に用いてＡＦ評価値を検出する構成では、露出量と撮影シーンとの関係によっては、合成前の画像からは精度のよいＡＦ評価値を検出できない場合がある。
【０００８】
例えば、夜景をバックに人物を撮影するような非常に暗いシーンでは、低露出画像からは精度良くＡＦ評価値が検出できない。また、撮影シーンが十分に明るく、撮影シーンのダイナミックレンジが広いために、被写体が黒つぶれもしくは白飛びしている場合、高露出画像からはＡＦ評価値を精度良く検出できない。逆光シーン（主被写体の背景が非常に明るいシーン）や、トンネルシーン（背景が暗く、主被写体の占有面積が小さいシーン）などでも同様の問題が起きる。
【０００９】
本発明はこのような従来技術の課題に鑑みなされたものであり、合成画像を取得する際の撮像光学系の合焦位置の検出精度を改善する撮像装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述の目的は、被写体像を電気信号に変換する撮像手段と、露出の異なる複数の画像を取得して合成画像を生成するために、前記撮像手段における露出条件を設定する設定手段と、前記撮像手段から出力された露出の異なる複数の画像に基づいて、当該露出ごとの焦点信号を生成する生成手段と、前記生成手段により生成された前記露出ごとの焦点信号に基づいて、前記被写体像のピント位置を検出する焦点検出手段を有することを特徴とする撮像装置によって達成される。
【発明の効果】
【００１１】
このような構成により、本発明によれば、合成画像を取得する際の撮像光学系の合焦位置の検出精度を改善する撮像装置およびその制御方法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る撮像装置の機能構成例を示すブロック図である。
【図２】本発明の第１の実施形態に係る撮像装置の撮像素子の構成例を示す図である。
【図３】本発明の第１の実施形態に係る撮像装置の露出の異なる複数の画像を取得する際の垂直走査部の動作を説明するためのタイミングチャートである。
【図４】本発明の第１の実施形態に係る撮像装置の合成画像の取得に係る動作を説明するためのフローチャートである。
【図５】本発明の第１の実施形態に係る撮像装置において、露出の異なる複数の画像の撮像画面内に設定する焦点検出領域を示す図である。
【図６】本発明の第１の実施形態に係る撮像装置においてヒストグラムを用いてＡＦ評価値を選択する動作を説明するための図である。
【図７】本発明の第１の実施形態に係る撮像装置においてヒストグラムを用いてＡＦ評価値を選択する動作を説明するための図である。
【図８】図４のゾーン更新判定に係る動作を説明するためのフローチャートである。
【図９】図４のピーク位置選択に係る動作を説明するためのフローチャートである。
【図１０】本発明の第２の実施形態に係る撮像装置の合成画像の取得に係る動作を説明するためのフローチャートである。
【図１１】図１０の合焦位置選択に係る動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の例示的な実施形態を、添付図面に基づいて詳細に説明する。なお、以下の実施形態は単なる例示であり、本発明は実施形態に記載した特有の構成に限定されない。
【００１４】
本明細書において、焦点信号とは、例えば、画像に基づいて画像の鮮鋭度を表すＡＦ評価値を取得し、それが最大となるようにフォーカスレンズ位置を制御して焦点調節を行うコントラストＡＦ方式におけるＡＦ評価値などである。また、例えば、撮像光学系の瞳領域を分割して、分割された瞳領域からの被写体像を光電変換する焦点検出用画素を有する撮像素子を用いる場合が考えられる。この焦点検出用画素の出力信号を用いて像信号の位相差（像ズレ量）を検出し、焦点調節を行う位相差ＡＦ方式における出力信号などでもよい。また、例えば、１つのマイクロレンズと射出瞳を分割するための複数の光電変換部で構成される画素をもつ撮像素子を用いる場合が考えられる。異なる射出瞳を通過した光を光電変換した複数の画素出力信号を用いて像信号の位相差（像ズレ量）を検出し、焦点調節を行う位相差ＡＦ方式における出力信号などでもよい。ここで、位相差ＡＦ方式の出力信号とは、像ズレ量やデフォーカス量のことである。
【００１５】
（第１の実施形態）
＜撮像装置の構成＞
図１は、本実施形態の撮像装置の機能構成例を示すブロック図である。
【００１６】
レンズ１０１は撮像光学系を構成するレンズ群であり、合焦距離を調節するためのフォーカスレンズが含まれている。フォーカスレンズは光軸方向に沿って位置が変更可能であり、システム制御部１０７が、焦点信号検出部１０６によって検出されたＡＦ評価値を基に、レンズ駆動制御部１０５を通じてフォーカスレンズの位置を制御する。レンズ１０１とレンズ駆動制御部１０５とは、カメラ本体と脱着可能な交換レンズユニットの中にある構成でも構わない。
【００１７】
レンズ１０１を介して入射した光は、ＣＣＤまたはＣＭＯＳイメージセンサ等で構成された撮像素子１０２（撮像センサー）の結像面上に被写体の光学像として結像される。
【００１８】
撮像素子１０２は、各画素に入射した光をアナログの信号に光電変換する画素部と、アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路や、信号のノイズを補正するデジタル信号処理回路等を含んでいる（詳細については後述する）。なお、前述のＡ／Ｄ変換回路やデジタル信号処理回路等は、撮像素子１０２とは別に設ける構成としてもよい。また、後述の焦点信号検出部１０６や、システム制御部１０７における合焦位置の選択、フォーカスブラケット撮影の際のフォーカスレンズ位置の決定、シーン判別などの処理回路等を撮像素子１０２内に設けても良い。
【００１９】
焦点信号検出部１０６は撮像素子１０２が出力する画像データからＡＦ評価値を検出する。その際、システム制御部１０７から出力されるタイミングにおいて、複数枚の画像を合成してフレーム画像を作成する処理（ＨＤＲ処理）が施される前の、高露出画像および低露出画像から焦点信号としてのＡＦ評価値を検出する。
【００２０】
そして、システム制御部１０７は、検出されたＡＦ評価値に基づいてレンズ１０１（フォーカスレンズ）の制御量を決定し、この制御量をレンズ駆動制御部１０５に出力する。
【００２１】
レンズ駆動制御部１０５は、システム制御部１０７からの制御量に基づいて、レンズ１０１に含まれるフォーカスレンズを光軸方向に駆動し、レンズ１０１の合焦距離を調整する。
【００２２】
映像信号処理部１０３は、撮像素子１０２より入力される画像データに対して補正用のパラメータ生成及び、画像信号補正の処理を施す。そして、フレームメモリ１１２は、映像信号処理部１０３に入力された画像データを記憶する。ここでは、システム制御部１０７は記憶制御部として、画像データの記憶を制御する。また、フレームメモリ１１２に記憶された画像データに対して、映像信号処理部１０３は所定の処理を施して合成画像を生成し、表示部１０４に表示可能な画像信号として出力する。
【００２３】
システム制御部１０７はシステム全体を制御する。
【００２４】
具体的には、システム制御部１０７は、各々の撮像光学系が備えるレンズ駆動制御部１０５、撮像素子１０２、映像信号処理部１０３、焦点信号検出部１０６の処理を制御する。また、システム制御部１０７は、表示部１０４、外部入出力端子部１０８、操作部１０９、記憶部１１０、電源部１１１を制御する。システム制御部１０７は、図示を省略するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等により解釈及び実行されるプログラムに従って処理を実行する。
【００２５】
外部入出力端子部１０８は、撮像装置に外部機器を接続するための外部インタフェースであり、例えばＨＤＭＩ（登録商標）やＵＳＢ等の規格に準拠したコネクタが設けられている。操作部１０９は、ユーザが撮像装置に対して指示や設定を行うための入力デバイス群である。操作部１０９にはレリーズボタン、記録／再生モード切り替えスイッチ、方向キー、決定／実行キー、メニューボタンなど、撮像装置が一般的に備えるボタン、キーなどが含まれる。なお、タッチパネルや音声入力など、ハードウェアキーを有さない入力方法を実現するための構成も操作部１０９に含まれる。記憶部１１０は記録媒体を有し、撮影された動画像や静止画像を記録媒体に記録する。記録媒体は例えば半導体メモリカードのような着脱可能なタイプであっても、内蔵ドライブのような固定タイプであっても、その両方であってもよい。電源部１１１は、例えば２次電池と電源回路を有し、撮像装置の各部を駆動するための電源を供給する。
【００２６】
図２は、本発明の実施形態に係る撮像素子１０２において、例えばＣＭＯＳイメージセンサの構成例を示す図である。撮像素子１０２は、光電変換素子を含む単位画素（以下、単に「画素」と記す場合もある）２００が行列状（マトリクス状）に２次元配置されてなる画素アレイ部２０１を有する。
【００２７】
また、撮像素子１０２は、画素アレイ部２０１の周辺回路として、例えば、垂直走査部２０２、列信号処理回路２０３、列選択回路２０４、水平走査部２０５等を有する構成となっている。
【００２８】
単位画素２００には、列ごとに垂直信号線２０６が配線され、ラインごとに駆動制御線、例えばリセット制御線ＲＳＴ２０７と転送制御線ＴＲＳ２０８および選択制御線ＳＥＬ２０９が配線されている。
【００２９】
図２に示す垂直走査部２０２は、ライン選択回路とドライバ回路を備えている。
【００３０】
ライン選択回路は、シフトレジスタあるいはアドレスデコーダ等によって構成されている。ライン選択回路は、システム制御部１０７の制御のもと、画素アレイ部２０１の各単位画素２００をライン単位で垂直走査するための転送パルス、リセットパルスおよび選択パルス等の画素駆動パルスを発生する。
【００３１】
ドライバ回路は、ライン選択回路による垂直走査に同期して、単位画素２００のトランジスタをＯＮ／ＯＦＦするための所定電圧とされた転送パルス、リセットパルスおよび選択パルスを単位画素２００に供給する。また、ドライバ回路は、垂直走査に同期して、単位画素２００のトランジスタをＯＮ／ＯＦＦするための電圧の中間的な電圧の転送パルスを単位画素２００に供給する処理も可能とされている。
【００３２】
列信号処理回路２０３は、画素アレイ部２０１の各列に対して単一に配されている。列信号処理回路２０３は、垂直走査によって選択された読み出しラインの各単位画素２００から垂直信号線２０６を通して出力される電気信号に対して所定の信号処理を行い、単位画素２００から読み出された信号電荷に応じた画素信号を生成して一時的に保持する。例えば、列信号処理回路２０３は、信号処理としてＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ：相関二重サンプリング）処理を行い、リセットノイズや増幅トランジスタ３０３の閾値ばらつき等の画素固有の固定パターンノイズを低減させる。また、列信号処理回路２０３は、アナログ信号をデジタル信号に変換するＡＤ変換処理等も行う。
【００３３】
列選択回路２０４は、シフトレジスタあるいはアドレスデコーダ等によって構成されている。列選択回路２０４は、画素アレイ部２０１の画素列ごとの水平走査を行い、列信号処理回路２０３に一時的に保持されている画素信号を、水平走査順に水平走査部２０５で読み出させる。
【００３４】
水平走査部２０５は、水平選択スイッチ等によって構成されており、列信号処理回路２０３に一時的に保持されている画素信号を、列選択回路２０４による水平走査によって画素列ごとに順次読み出して、ライン単位で画像信号の出力を行う。
【００３５】
システム制御部１０７は、垂直走査部２０２や列選択回路２０４の動作を制御して、画素アレイ部２０１の単位画素２００をライン単位で垂直方向に走査させ、また、垂直走査によって読み出された各画素の信号を水平走査によって出力させる。
【００３６】
一般に、単板式のカラー撮像素子では、縦横２画素を繰り返し単位としてＲ、Ｇ１、Ｂ、Ｇ２の画素が規則的に配列された原色ベイヤー配列のカラーフィルタを備えている。
【００３７】
本実施形態においても、撮像素子１０２が原色ベイヤー配列のカラーフィルタを備えているものとして説明する。
【００３８】
ベイヤー配列された撮像素子１０２では、Ｒ，Ｇからなるライン１本とＧ，Ｂからなるライン１本を合わせた２本のラインで１組とすることができる。よって、本実施形態では、図２に示すように、隣接する２ラインを１単位として、長時間露光用のＥｖｅｎラインと短時間露光用のＯｄｄラインを設定し、画素アレイ部２０１の走査を制御する。つまり、２本のラインごとに、短時間露光（Ｌｎ，Ｌｎ＋１）を１組、長時間露光（Ｈｎ，Ｈｎ＋１）を１組というように対応させる。
【００３９】
図３は、本実施形態における合成画像を生成するための露出の異なる複数の画像を、１フレーム期間内に取得するために、垂直走査部２０２が生成する信号を示したタイミングチャートである。ここでは、短時間露光に対応するＯｄｄラインＬｎのリセット制御線ＲＳＴ＿Ｌｎと転送制御線ＴＲＸ＿Ｌｎ、長時間露光に対応するＥｖｅｎラインＨｎのリセット制御線ＲＳＴ＿Ｈｎと転送制御線ＴＲＸ＿Ｈｎの信号タイミングを示す。
【００４０】
なお、本実施形態では、後述のスキャン動作において、フォーカスレンズを移動させながら、露光量の異なる複数の画像を順次取得してそれぞれＡＦ評価値を取得すると共に合成画像を生成してライブビュー画像として表示部１０４に表示する。その際、説明および理解を容易にするため、露光量の異なる２枚の画像を合成して１枚の合成画像を生成するものとする。しかしながら、３枚以上の画像を用いて１枚の合成画像を生成する構成であってもよい。また、撮影スタンバイ時に表示部１０４に表示するためのライブビュー画像の撮像に限らず、記録用の動画撮影も含む。
【００４１】
なお、以下の説明では、適正露出よりも多い露出で撮影されたオーバー露出の画像をＨｉｇｈ画像、適正露出で撮影された画像をＭｉｄｄｌｅ画像、適正露出よりも少ない露出で撮影されたアンダー露出の画像をＬｏｗ画像とも呼ぶ。
【００４２】
転送制御線ＴＲＳ信号およびリセット制御ＲＳＴ信号が立ち上がることによって、フォトダイオード３００の電荷がリセットされ露光（電荷蓄積）が開始される。この動作はシステム制御部１０７によって設定された条件で、画素アレイ部２０１の各ラインに対して所定の順番で順次行われる。
【００４３】
その後、Ｌｏｗ画像用のＯｄｄラインにおいて、Ｌｏｗ画像取得用の露光時間経過後に、ｏｄｄライン用のＴＲＳ＿Ｌｎ信号が順次立ち上がる。これにより、フォトダイオード３００に蓄積された電荷が選択トランジスタ３０４に読み出され、列選択回路２０４を通して出力される。この信号から、Ｌｏｗ画像が得られる。
【００４４】
そして、Ｈｉｇｈ画像取得用の露光時間経過後に、ＴＲＳ＿Ｈｎ信号が順次立ち上がり、フォトダイオード３００に蓄積された電荷が選択トランジスタ３０４に読み出され、列選択回路２０４を通して出力される。この信号から、Ｈｉｇｈ画像が得られる。
【００４５】
なお、高露出画像および低露出画像の取得は、フォトダイオードへの露光量やゲインを変えるといった露出条件を変えることで取得する。したがって、上記のように露光時間（露出時間）を変えてもよいし、光電変換部であるフォトダイオードへの開口を変えて露光量を変えるようにしてもよい。
【００４６】
＜撮像装置の動作フロー＞
次に、図４に示すフローチャートを用いて、本実施形態における撮像装置の動作ついて詳細に説明する。以下の説明では、Ｈｉｇｈ画像に基づいて検出されるＡＦ評価値をα、Ｌｏｗ画像に基づいて検出されるＡＦ評価値をβとする。
【００４７】
操作部１０９の電源スイッチの操作などにより、電源がＯＮされると、電源部１１１から各部に電源が供給される。システム制御部１０７は、各種初期設定を行い、撮影スタンバイ状態となり、表示部１０４に表示するためのライブビュー映像の撮像が開始される。ここでは、画像合成撮像を行うものとして説明する。
【００４８】
まず、Ｓ４０１にてスキャン動作が開始されたかの判定を行う。ここで、スキャン動作とは、所定範囲（例えば、無限遠端から至近端までの範囲）においてフォーカスレンズを移動させながら、画像信号に基づいて画像の鮮鋭度を示すＡＦ評価値を順次取得する動作である。Ｓ４０１にてスキャン動作が開始されたと判定された場合には、Ｓ４０２に進む。
【００４９】
Ｓ４０２では、システム制御部１０７が、公知の任意の方法で適正露出の条件を算出し、これを基準として、目標輝度レベルが＋１段のＨｉｇｈ画像用露出（Ｅｖ（Ｈ））および−１段のＬｏｗ画像用露出（Ｅｖ（Ｌ））を決定する。なお、ここでは、シャッタースピード（必要に応じてさらに感度（ゲイン量））を適正露出条件から＋１段および−１段分調整して、Ｅｖ（Ｈ）およびＥＶ（Ｌ）を決定するものとする。また、ここではシステム制御部１０７が撮像素子１０２における電荷蓄積時間を制御することによりシャッタースピードを制御するものとする。
【００５０】
Ｓ４０３では、システム制御部１０７の制御により、Ｓ４０２にて決定された露出条件Ｅｖ（Ｈ）、Ｅｖ（Ｌ）を基に、撮像素子１０２において、Ｏｄｄ／Ｅｖｅｎラインで異なる露出条件で撮像を行い、１フレーム期間中にＨｉｇｈ画像及びＬｏｗ画像を取得する。そして、システム制御部１０７は、取得されたＨｉｇｈ画像及びＬｏｗ画像をフレームメモリ１１２へ記憶させる。このＨｉｇｈ画像及びＬｏｗ画像は、Ｓ４０４にてＡＦ評価値の選択の判定用として用いられる。
【００５１】
具体的には、Ｓ４０４にて、このＨｉｇｈ画像、Ｌｏｗ画像のそれぞれの画素の信号レベル（輝度値）の取得が行わる。そして、この輝度値のデータを用いて、撮像画面内に設定される複数の焦点検出領域（図５を用いて後述する）のそれぞれにおいて、ＡＦ評価値αを選択するのか、ＡＦ評価値βを選択するのか、もしくは、ＡＦ評価値α、β、どちらとも選択するのかを決定する。この時点でＡＦ評価値の選択をするのは、輝度値のデータとして白とびや黒つぶれが発生しているような場合、その画像から得られるＡＦ評価値の信頼性が低下し、信頼性の低い評価値を用いて判定等をすると誤検出に繋がる可能性があるためである。このような場合を予め除外するためにＡＦ評価値の選択をする。なお、各焦点検出領域にそれぞれ対応するＡＦ評価値は、それぞれの領域内の画像信号を用いて算出される。
【００５２】
＜ＡＦ評価値の選択＞
合焦位置の検出のためのＡＦ評価値の選択の詳細な説明を以下にする。ここでは、各焦点検出領域における画素の信号レベル（輝度値）のヒストグラムを使用する方法を、図５及び図６、７を用いて説明する。
【００５３】
図５（ａ）は、Ｌｏｗ画像（５０１）に配置されている９行７列の焦点検出領域（５０２）、図５（ｂ）は、Ｈｉｇｈ画像（５０３）に配置されている９行７列の焦点検出領域（５０４）を表している。
【００５４】
図６の（ａ）の図は、Ｌｏｗ画像に配置されている９行７列の焦点検出領域のうちの、花に掛かっている焦点検出領域（６０１）、犬に掛かっている焦点検出領域（６０３）、家と木に掛かっている焦点検出領域（６０５）を示している。
【００５５】
また、図６の（ｂ）（ｃ）（ｄ）のグラフは、縦軸に画素数、横軸に信号レベルをとった統計グラフ（輝度値のヒストグラム）である。（６０２）が花に掛かっている焦点検出領域（６０１）のヒストグラム、（６０４）が犬に掛かっている焦点検出領域（６０３）のヒストグラム、（６０６）が家と木に掛かっている焦点検出領域（６０５）のヒストグラムである。
【００５６】
図７の（ａ）の図は、Ｈｉｇｈ画像に配置されている９行７列の焦点検出領域のうちの、花に掛かっている焦点検出領域（７０１）、犬に掛かっている焦点検出領域（７０３）、家と木に掛かっている焦点検出領域（７０５）を示している。
【００５７】
また、図７の（ｂ）（ｃ）（ｄ）のグラフは、図６の（ｂ）（ｃ）（ｄ）と同様に縦軸に画素数、横軸に信号レベルをとった統計グラフ（輝度値のヒストグラム）である。（７０２）が花に掛かっている焦点検出領域（７０１）のヒストグラム、（７０４）が犬に掛かっている焦点検出領域（７０３）のヒストグラム、（７０６）が家と木に掛かっている焦点検出領域（７０５）のヒストグラムである。これにより、Ｌｏｗ画像、Ｈｉｇｈ画像のそれぞれのヒストグラムにおける信号レベルがＭｉｎ値の個数と、信号レベルがＭａｘ値の個数を算出することができる。
【００５８】
まず、Ｌｏｗ画像で検出されたＡＦ評価値βを選択する場合について説明する。
【００５９】
Ｌｏｗ画像の花に掛かっている焦点検出領域（６０１）のヒストグラム（６０２）におけるＭｉｎ値の個数をＭｉｎ＿ｌｆ、Ｍａｘ値の個数をＭａｘ＿ｌｆとする。また、Ｈｉｇｈ画像の花に掛かっている焦点検出領域（７０１）のヒストグラム（７０２）のＭｉｎ値の個数をＭｉｎ＿ｈｆ、Ｍａｘ値の個数をＭａｘ＿ｈｆとする。
【００６０】
Ｈｉｇｈ画像の焦点検出領域（７０１）内のヒストグラム（７０２）のようにＭａｘ＿ｈｆが所定数以上ある場合は、信号レベルが高い画素が多いことを表しており、白飛びしていると判断する。ここでの所定数は、例えば、焦点検出領域内の画素数の６〜８割程度とする。一方で、Ｌｏｗ画像の焦点検出領域（６０１）内のヒストグラム（６０２）では、Ｍｉｎ＿ｌｆ、Ｍａｘ＿ｌｆが、どちらも所定数未満であるので、信号がＨｉｇｈ画像のヒストグラム（７０２）よりも中央に分布していることを示している。これらの判断を基に、Ｓ４０４におけるＡＦ評価値選択では、Ｌｏｗ画像で検出されたＡＦ評価値βを選択する。
【００６１】
また、Ｈｉｇｈ画像で検出されたＡＦ評価値αを選択する場合について説明する。
【００６２】
Ｌｏｗ画像の犬に掛かっている焦点検出領域（６０３）のヒストグラム（６０４）におけるＭｉｎ値の個数をＭｉｎ＿ｌｄ、Ｍａｘ値の個数をＭａｘ＿ｌｄとする。また、Ｈｉｇｈ画像の犬に掛かっている焦点検出領域（７０３）のヒストグラム（７０４）のＭｉｎ値の個数をＭｉｎ＿ｈｄ、Ｍａｘ値の個数をＭａｘ＿ｈｄとする。
【００６３】
Ｌｏｗ画像の焦点検出領域（６０３）内のヒストグラム（６０４）のようにＭｉｎ＿ｌｄが所定数以上ある場合は、信号レベルの低い画素が多いことを示しており、黒つぶれしていると判断する。ここでの所定数は、例えば、焦点検出領域内の画素数の６〜８割程度とする。一方で、Ｈｉｇｈ画像の焦点検出領域（７０３）内のヒストグラム（７０４）では、Ｍｉｎ＿ｈｄ、Ｍａｘ＿ｈｄが、どちらも所定数未満であるので、信号がＬｏｗ画像のヒストグラム（６０４）よりも中央に分布していることを示している。これらの判断を基に、Ｓ４０４におけるＡＦ評価値選択では、Ｈｉｇｈ画像で検出されたＡＦ評価値αを選択する。
【００６４】
次に、Ｈｉｇｈ画像で検出されたＡＦ評価値α、Ｌｏｗ画像で検出されたＡＦ評価値βをどちらとも選択する場合を説明する。
【００６５】
Ｌｏｗ画像の家と木に掛かっている焦点検出領域（６０５）のヒストグラム（６０６）におけるＭｉｎ値の個数をＭｉｎ＿ｌｓ、Ｍａｘ値の個数をＭａｘ＿ｌｓとする。また、Ｈｉｇｈ画像の家と木に掛かっている焦点検出領域（７０５）のヒストグラム（７０６）のＭｉｎ値の個数をＭｉｎ＿ｈｓ、Ｍａｘ値の個数をＭａｘ＿ｈｓとする。
【００６６】
Ｍｉｎ＿ｌｓ、Ｍａｘ＿ｌｓ、Ｍｉｎ＿ｈｓ、Ｍａｘ＿ｈｓ、全ての個数が、所定数未満であるので、信号が、Ｈｉｇｈ画像、Ｌｏｗ画像のどちらの場合でも中央付近に分布していることを示している。この判断を基に、Ｓ４０４におけるＡＦ評価値選択では、Ｈｉｇｈ画像で検出されたＡＦ評価値α、Ｌｏｗ画像で検出されたＡＦ評価値βのどちらともを選択する。
【００６７】
＜Ｓ４０５以降＞
図４に戻り、Ｓ４０５以降の動作を説明する。
【００６８】
Ｓ４０５にて、Ｈｉｇｈ画像及びＬｏｗ画像を取得し、フレームメモリ１１２に記憶する。
【００６９】
そして、Ｓ４０６にて、それぞれの画像に基づいて焦点信号検出部１０６によって、Ｈｉｇｈ画像に対するＡＦ評価値α、Ｌｏｗ画像に対するＡＦ評価値βを検出する。
【００７０】
Ｓ４０７で、映像信号処理部１０３が、フレームメモリ１１２に記憶されたＨｉｇｈ画像とＬｏｗ画像とからＨＤＲ画像（合成画像）を生成する合成処理を開始する。
【００７１】
Ｓ４０８で、映像信号処理部１０３は、Ｓ４０７で生成したＨＤＲ画像の現像処理を行う。また、現像処理後、表示部１０４のライブビュー表示を行う。なお、Ｓ４０８で表示されるＨＤＲ画像は、１つ前のフレーム周期で撮像されたＨｉｇｈ画像とＬｏｗ画像の合成画像である。Ｓ４０８においてシステム制御部１０７は、動作を終了する指示がなされていれば、処理を終了する。一方、撮像が継続される場合は処理をＳ４０９へ進める。
【００７２】
Ｓ４０９では、フォーカスレンズが予め設定したゾーンの境界位置にあるかどうかを調べ、そうであればＳ４１０へ進み、そうでなければＳ４１２へ進む。
【００７３】
Ｓ４１０では、ＡＦ評価値α、βを用いて、ゾーン更新判定を行う。このゾーン更新判定については、図８を用いて後述する。なお、ここでいうゾーンとは、フォーカスレンズの所定の移動範囲を複数の範囲に分割したものであり、ゾーン更新とは、ＡＦ評価値が所定の条件を満たす場合にスキャン動作を行うゾーンを現在のゾーンから次のゾーンに更新することを意味する。
【００７４】
Ｓ４１１では、Ｓ４１０で判定した結果、ゾーン更新すると判定されたかどうかを調べ、ゾーン更新すると判定されていればＳ４１２へ進み、そうでなければＳ４１４へ進む。
【００７５】
Ｓ４１２では、システム制御部１０７がフォーカスレンズの現在位置がスキャン動作終了位置と等しいかを調べ、両者が等しい場合にはＳ４１４へ進み、そうでなければＳ４１３へ進む。
【００７６】
Ｓ４１３では、フォーカスレンズをスキャン動作終了方向へ向かって所定量だけ移動させた後、Ｓ４０５に戻る。
【００７７】
Ｓ４１４では、Ｓ４０５で取得されたＨｉｇｈ画像とＬｏｗ画像のそれぞれの画面内に配置されている領域におけるピーク位置（ＡＦ評価値がピークとなるフォーカスレンズの位置）の選択を行う。この処理に関しては、図９を用いて後述する。
【００７８】
Ｓ４１４でピーク位置の選択を行った後、Ｓ４１５で撮影のためのフォーカスレンズの位置の決定をし、撮影を行う。例えば、フォーカスレンズ位置毎にＡＦ評価値が最大となる領域の個数（度数）を累計して、フォーカスレンズ位置についての領域の出現度数の分布をあらわすヒストグラムを作成する。そして、そのヒストグラムを利用して、撮影フォーカスレンズ位置を決定する方法が考えられる。このとき、度数が大きい順に、連続して撮影する所定数（複数）のフォーカスレンズ位置を決定して、決定したフォーカスレンズ位置において撮影を行えば、フォーカスブラケット撮影が行なえる。なお、本実施形態では、フォーカスレンズの位置を変えて複数回撮影するフォーカスブラケット撮影において、各領域ごとのＡＦ評価値がピークとなるフォーカスレンズ位置の情報を用いた。しかしながら、例えば、各領域のＡＦ評価値がピークとなるフォーカスレンズ位置の情報を、シーン判別をして撮影シーンを示すアイコンを表示部へ表示するために用いてもよい。
【００７９】
なお、図４におけるＳ４０３やＳ４０５で取得されたＨｉｇｈ画像やＬｏｗ画像に基づいて、撮影シーンが変化したか否かを判定して、撮影シーンが変化したと判定された場合にはＳ４０２へ戻る動作フローとしてもよい。
【００８０】
＜ゾーン更新判定＞
次に、図８を用いて図４におけるＳ４１０のゾーン更新判定を説明する。ここでは、スキャン動作方向の先に主被写体が存在していそうかどうか、つまりＡＦスキャン動作を続けるかどうかを判定する。なお、図５において説明したとおり、画面内には９行７列（Ｎ＝７、Ｍ＝９）の焦点検出領域が設定されているものとして説明する。
【００８１】
まずＳ８０１にて、図４のＳ４０４での選択結果を参照し、ＡＦ評価値αを使うのか、ＡＦ評価値βを使うのか、もしくは、ＡＦ評価値α、β、どちらとも使うのかを判定する。
【００８２】
次に、Ｓ８０２では設定した各焦点検出領域すべてにおいて合焦判定を行う。合焦判定とは、ＡＦ評価値がピークとなるフォーカスレンズ位置がピントを合わせるべきフォーカスレンズ位置であるかの判定である。ＡＦ評価値のピークと最小値の差分が所定量以上あることや、ピークから所定量以上、ＡＦ評価値が下がっていることなどを基に判定を行う。合焦判定を行い、合焦であると判定された場合は、○判定とし、ＡＦ評価値が登り止まっている場合は、△判定とする。また、合焦ではないと判定された場合は、×判定とする。
【００８３】
Ｓ８０１にて、αを使用すると判定された焦点検出領域は、αを使用して、この合焦判定を行う。βを使用すると判定された焦点検出領域は、βを使用して、この合焦判定を行う。α、β、どちらも使うと判定された場合は、αを用いた合焦判定結果、βを用いた合焦判定結果どちらも使用して判定を行う。
【００８４】
どちらも使用すると判定された場合は、αによる合焦判定結果、βによる合焦判定結果が共に合焦、もしくは非合焦であると判定された場合に、○、もしくは×と判定し、どちらかが登りどまりであると判定された場合は、△と判定する。
【００８５】
次に、Ｓ８０３では最終ゾーンまでスキャン動作をしたかどうか調べ、最終ゾーンまでスキャン動作していればＳ８１０へ進み、そうでなければＳ８０４へ進む。
【００８６】
Ｓ８０４では○判定の焦点検出領域があるかどうかを調べ、○判定の焦点検出領域があればＳ８０５へ進み、そうでなければＳ８１１へ進む。
【００８７】
Ｓ８０５では中央Ｍ１×Ｍ２の焦点検出領域の中で、△判定の焦点検出領域が所定数以上の「かたまり」としてあるかどうかを調べ、そうであればＳ８１１へ進み、そうでなければＳ８０６へ進む。本件では、例としてＭ１＝３、Ｍ２＝５、所定数を５とする。なお、「かたまり」とは、対象となる判定結果の焦点検出領域が隣接している状態であることを示す。
【００８８】
Ｓ８０６では中央Ｌ１×Ｌ２の焦点検出領域のうち１つ以上を含むようにＮ×Ｍの焦点検出領域の中に△判定の焦点検出領域が所定数以上の「かたまり」があるかどうかを調べ、そうであればＳ８１１へ進み、そうでなければＳ８０７へ進む。本実施例では、Ｌ１＝５、Ｌ１＝７、所定数を１０とする。
【００８９】
Ｓ８０７では予め決められた所定ゾーンまで到達したかどうかを調べ、到達した場合はＳ８１０へ進み、到達していない場合はＳ８０８へ進む。ここで、所定ゾーンとはスキャン可能範囲の最至近の位置に被写体が存在した場合に、被写体の存在するピーク位置に向けて評価値が上っていき△判定がでると想定されるゾーンである。このゾーンに到達しても△判定のかたまりが検出されない場合は、その先のゾーンに被写体が存在しないと考えられる。
【００９０】
Ｓ８０８では、Ｎ×Ｍの焦点検出領域の中に△判定の焦点検出領域または×判定の焦点検出領域が所定数以上「かたまり」があるかどうかを調べ、そうであればＳ８１１へ進み、そうでなければＳ８０９へ進む。本実施例では所定数を２０とする。
【００９１】
Ｓ８０９では中央Ｍ１×Ｍ２の焦点検出領域の中に○判定の焦点検出領域が所定数以上の「かたまり」があるかどうかを調べ、そうであればＳ８１１へ進み、そうでなければＳ８１０へ進む。本実施例では、例として所定数を１０とする。
【００９２】
Ｓ８１０では「ゾーン更新しない」と判定して本判定処理を終了する。Ｓ８１１では「ゾーン更新する」と判定して本判定処理を終了する。
【００９３】
上記においては、Ｓ８０５、Ｓ８０６、Ｓ８０８、Ｓ８０９における所定数を一律で決めた場合を説明したが、ゾーン範囲やフォーカスレンズ位置に応じて変えてもいい。例えば、被写体距離が至近側になるほど、所定数を大きくしてもよい。なお、被写体距離はＡＦ評価値がピークとなるフォーカスレンズの位置を基に求めることができる。
【００９４】
＜ピーク位置選択処理＞
次に図９を用いて、図４のＳ４１４におけるピーク位置選択処理について説明する。
【００９５】
本実施例におけるピーク位置選択とは、例えば図５のような９行７列の焦点検出領域が配置されている各領域において、その領域における被写体にピントの合う（ＡＦ評価値がピークとなる）フォーカスレンズ位置をα、βから選択する処理である。
【００９６】
まず、Ｓ９０１にて、ピーク位置選択対象となる焦点検出領域がα、βのどちらとも使用する焦点検出領域なのかの判定を行う。
【００９７】
α、β、どちらとも使用する焦点検出領域でないと判定された場合は、次に、Ｓ９０３にて、ピーク位置選択対象となる領域がαを使用する焦点検出領域かの判定を行う。αを使用する焦点検出領域であると判定された場合は、Ｓ９０４にて、αによるピーク位置を、その領域におけるピーク位置として採用し、次にＳ９０８にて、全ての領域の判定を行ったかを判断する。全ての領域の判定を行っていない場合は、Ｓ９０１に戻る。
【００９８】
全ての領域の判定を行っている場合は、処理を完了する。
【００９９】
また、Ｓ９０３にて、αを使用する焦点検出領域でないと判定された場合は、Ｓ９０５にて、βによるピーク位置を、その領域におけるピーク位置として採用し、次にＳ９０８にて、全ての領域の判定を行ったかを判断する。
【０１００】
全ての領域の判定を行っていない場合は、Ｓ９０１に戻る。全ての領域の判定を行っている場合は、処理を完了する。
【０１０１】
Ｓ９０１にて、α、β、どちらとも使用する焦点検出領域であると判定された場合は、次にＳ９０２にてαによるピーク位置、βによるピーク位置が所定量以上異なるかの判定を行う。ここでの所定量は、本実施例では、どちらでもピントが合う範囲として１深度とする。Ｓ９０２にて、所定量以上、ピーク位置が異なると判定された場合は、Ｓ９０９へと進み、そうでない場合はＳ９０７へ進む。Ｓ９０９では、Ｈｉｇｈ画像と、Ｌｏｗ画像のどちらかのゲイン量が所定量以上かを判定し、所定量以上ゲインがかかっている場合は、Ｓ９０７へ進み、そうでない場合はＳ９０６へ進む。
【０１０２】
Ｓ９０６では、近側優先の考え方に則り、ピントが撮像装置に対してより近側に合う方のピーク位置を優先的に選択する。一方、Ｓ９０７では、α、βのＡＦ評価値が高い方によるピーク位置を採用する。ＡＦ評価値が大きければ、信頼できるピーク位置が得られるためである。Ｓ９０６又はＳ９０７の処理を終了したら、次にＳ９０８にて、全ての領域の判定を行ったかを判断する。全ての領域の判定を行っていない場合は、Ｓ９０１に戻る。全ての領域の判定を行っている場合は、処理を完了する。
【０１０３】
ここで例えば、図６の焦点検出領域（６０５）、図７の焦点検出領域（７０５）のように、焦点検出領域内に被写体が混在する場合（図６、７では前景の家と、後景の木が焦点検出領域内に存在する）を考える。この場合、露出条件によっては、前景のＡＦ評価値と後景のＡＦ評価値の両方からピーク位置が計算されるため、正しいピーク位置を得られないという問題が起こる。これが、露出条件が変わることにより、前景と背景のＡＦ評価値の差が大きくなり、前景に正しくピントの合うピーク位置を選択できるため、近側を優先的に選択することで、正しいピーク位置を得られる。図６、７の例では、Ｌｏｗ画像においては、前景のＡＦ評価値と後景のＡＦ評価値の両方からピーク位置が計算されてしまう。一方、Ｈｉｇｈ画像においては、後景が白飛びしてＡＦ評価値が下がり、前景のＡＦ評価値が上がり、前景に正しくピントの合うピーク位置を選択できるため、近側を優先的に選択することで、正しいピーク位置を得られる。
【０１０４】
なお上記の記載では、近側を優先的に選択する場合について説明したが、焦点検出領域内の画素の輝度値のヒストグラムを参照して、ピーク位置を選択してもよい。例えば、ピーク位置が所定量以上異なる場合であって、Ｈｉｇｈ画像のヒストグラムにおいて、二つの山が存在し、かつ、一つの山にＭａｘ＿ｈｓがある場合、近側を選択する。また、ヒストグラムのどちらの山も中央付近に存在し、かつ、ＡＦ評価値の大きさに所定量以上の差があり、かつ遠側のピーク位置のＡＦ評価値の方が大きい場合は、遠側のピーク位置を選択しても良い。
【０１０５】
また、被写体が混在する領域において、前景又は後景の領域が白飛ぶかは、被写体が混在する領域の周りの領域を見れば分かる。よって、ピーク位置に差がある領域の場合は、その領域の周りの輝度値のヒストグラムを見て、遠いピークを持つ領域がＨｉｇｈ画像で白飛びしていると分かれば、後景となる領域が白飛びして、ＡＦ評価値が下がるはず、と判断しても良い。
【０１０６】
以上説明したように、本実施形態によれば、Ｈｉｇｈ画像、Ｌｏｗ画像を用いることにより分割領域におけるピーク位置を正しく取得することが可能である。そしてこの情報をフォーカスブラケット撮影やシーン判別に利用できる。
【０１０７】
（第２の実施形態）
第２の実施形態における撮像装置の動作を図１０を用いて説明する。
【０１０８】
本実施形態において、第１の実施形態と共通する構成要素については、説明を省略する。また、本実施形態では、第１の実施形態で説明したコントラストＡＦ方式に変えて、位相差ＡＦ方式を採用した場合について説明する。
【０１０９】
本実施形態では、撮像素子１０２に、撮像光学系の瞳領域を分割して、分割された瞳領域からの被写体像を光電変換する複数の焦点検出用画素が備えられている構成とする。焦点検出用画素からの出力信号は、撮像素子１０２からＨｉｇｈ画像、Ｌｏｗ画像が読みだされる際に共に読み出されるものとする。そして、光電変換した複数の焦点検出用画素からの出力信号を用いて像信号の位相差（像ズレ量）を焦点信号として検出し焦点調節を行う。
【０１１０】
以下の説明では、Ｈｉｇｈ画像に対応する像ずれ量をγ、Ｌｏｗ画像に対応する像ずれ量をδとする。操作部１０９の電源スイッチの操作などにより、電源がＯＮされると、電源部１１１から各部に電源が供給される。システム制御部１０７は、各種初期設定を行い、撮影スタンバイ状態となる。
【０１１１】
この状態で操作部１０９の録画ボタンなどが操作されると、記録用の動画撮影が開始される。また、録画ボタンなどの操作がなされなくても、スタンバイ時に表示部１０４に表示するためのライブビュー映像の撮影が開始される（Ｓ１００１）。ここでは、いずれの場合もＨＤＲ動画撮影を行うものとし、以下ではライブビュー映像か記録用映像かの区別はせずに説明する。
【０１１２】
Ｓ１００２では、システム制御部１０７が、公知の任意の方法で適正露出の条件を算出し、この適正露出の条件を基準として、＋１段のＨｉｇｈ画像用露出（Ｅｖ（Ｈ））および−１段のＬｏｗ画像用露出（Ｅｖ（Ｌ））を決定する。なお、ここでは、シャッタースピード（必要に応じてさらに感度（ゲイン量））を適正露出条件から＋１段および−１段分調整して、Ｅｖ（Ｈ）およびＥＶ（Ｌ）を決定するものとする。また、ここではシステム制御部１０７が撮像素子１０２における電荷蓄積時間を制御することによりシャッタースピードを制御するものとする。
【０１１３】
Ｓ１００３では、システム制御部１０７の制御により、Ｓ１００２にて決定された露出条件Ｅｖ（Ｈ）、Ｅｖ（Ｌ）を基に、撮像素子１０２において、Ｏｄｄ／Ｅｖｅｎラインで異なる露出条件で撮像を行う。これにより、１フレーム期間中にＨｉｇｈ画像及びＬｏｗ画像及び複数の焦点検出用画素の出力信号を取得する。そして、システム制御部１０７は、取得されたＨｉｇｈ画像及びＬｏｗ画像及び焦点検出用画素の出力信号をフレームメモリ１１２へ記憶させる。
【０１１４】
Ｓ１００４では、不図示の顔検出部にて、Ｈｉｇｈ画像及びＬｏｗ画像に対して顔認識処理を施し、撮像画面内の人物の顔領域を検出する。その検出結果をシステム制御部１０７に送信する。システム制御部１０７は、上記検出結果に基づき、撮像画面内の顔領域を含む位置に焦点検出に用いられる領域（焦点検出領域）を設定するように焦点信号検出部１０６へ情報を送信する。なお、顔認識処理として、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法がある。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法等が開示されている。顔認識処理の手法については、上述に述べた手法に限るものではなく、いずれの手法でも良い。
【０１１５】
Ｓ１００４では、顔認識に成功していれば、顔の位置と大きさに基づいて焦点検出領域を設定し、顔認識に失敗していれば、撮像画面の中央部に焦点検出領域を設定する。
【０１１６】
Ｓ１００５では、Ｓ１００４で設定された焦点検出領域内の撮像素子１０２の焦点検出用画素からの出力信号である、異なる射出瞳を通過した光を光電変換した複数の画像出力信号を用いて、一対の像信号の及びその位相差（像ズレ量）を検出する。Ｈｉｇｈ画像に対応する像ズレ量γと、Ｌｏｗ画像に対応する像ズレ量δを検出することで、Ｈｉｇｈ画像及びＬｏｗ画像のそれぞれに対応する被写体像のピントずれ量（デフォーカス量）が検出できる。このピントずれ量から、フォーカスレンズの合焦位置が求められる。
【０１１７】
次に、Ｓ１００６で、映像信号処理部１０３が、フレームメモリ１１２に記憶されたＨｉｇｈ画像とＬｏｗ画像とからＨＤＲ画像（合成画像）を生成する合成処理を開始する。
【０１１８】
Ｓ１００７で、映像信号処理部１０３は、Ｓ１００７で生成したＨＤＲ画像の現像処理を行う。また、現像処理後、記憶部１１０への動画記録や、表示部１０４のライブビュー表示などを行う。なお、Ｓ１００７で記録や表示が行われるＨＤＲ画像は、１つ前のフレーム周期で撮影されたＨｉｇｈ画像とＬｏｗ画像の合成画像である。
【０１１９】
Ｓ１００８では、Ｓ１００５で検出されたＨｉｇｈ画像に対応するフォーカスレンズの合焦位置と、Ｌｏｗ画像に対応するフォーカスレンズの合焦位置の一方を選択する。この選択方法については、図１１を用いて後述する。
【０１２０】
Ｓ１００９では、Ｓ１００８で選択された合焦位置へフォーカスレンズが動かされ、焦点調節が行われる。そして、Ｓ１００２からの処理を繰り返す。
【０１２１】
次に図１１を用いて、図１０のＳ１００８における合焦位置選択処理について説明する。
【０１２２】
Ｓ１１０１では、Ｈｉｇｈ画像、Ｌｏｗ画像のそれぞれの画素の信号レベル（輝度値）の取得を行う。そして、第１の実施形態の図６、７を用いて説明した輝度値のヒストグラムによる判定によって、Ｈｉｇｈ画像、Ｌｏｗ画像のいずれかに白飛び又は黒つぶれがあるか否かを判定する。Ｈｉｇｈ画像、Ｌｏｗ画像のいずれかに、白飛び又は黒つぶれがある場合には、白飛び又は黒つぶれがない方の画像に対応する合焦位置を選択する（Ｓ１１０２）。この選択により、画像の輝度値のデータとして白とびや黒つぶれが発生しているような場合、その画像を出力した撮像素子の出力信号に基づく焦点信号の信頼性が低下し合焦位置の誤検出に繋がる可能性を、予め除外する。
【０１２３】
一方、Ｈｉｇｈ画像、Ｌｏｗ画像のいずれにも白飛び又は黒つぶれがない場合には、Ｓ１１０３へ進む。Ｓ１１０３では、像ズレ量γによる合焦位置、像ズレ量δによる合焦位置が所定量以上異なるかの判定を行う。ここでの所定量は、本実施例では、どちらでもピントが合う範囲として１深度とする。所定量以上、合焦位置が異なると判定された場合は、Ｓ１１０４へと進み、そうでない場合はＳ１１０５へ進む。
【０１２４】
Ｓ１１０４では、近側優先の考え方に則り、ピントが撮像装置に対してより近側に合う方の合焦位置を優先的に選択する。一方、Ｓ１１０５では、γ、δの像ズレ量を得るに当たって用いた像信号の値が高い方による合焦位置を採用する。像信号が大きければ、信頼できる合焦位置が得られるためである。
【０１２５】
以上説明したように、本実施形態によれば、Ｈｉｇｈ画像、Ｌｏｗ画像を用いることにより合焦位置を正しく取得することが可能である。
【０１２６】
なお、第１の実施形態では、コントラストＡＦ方式を用いた焦点検出方法を、また、第２の実施形態では、位相差ＡＦ方式を用いた焦点検出方法を採用した例について説明したが、これに限定されない。
【０１２７】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【図１】
2015011320.tif 000003
【図２】
2015011320.tif 000004
【図３】
2015011320.tif 000005
【図４】
2015011320.tif 000006
【図５】
2015011320.tif 000007
【図６】
2015011320.tif 000008
【図７】
2015011320.tif 000009
【図８】
2015011320.tif 000010
【図９】
2015011320.tif 000011
【図１０】
2015011320.tif 000012
【図１１】
2015011320.tif 000013