(57)【要約】【課題】高速かつ高精度な合焦制御が可能な撮像装置を提供する。【解決手段】撮像装置は、１つのマイクロレンズを共有し、結像光学系の瞳のうち互いに異なる領域を通過する複数の光束を受光する複数の画素を備えた撮像素子と、複数の画素から得られる複数の信号に関する第１評価値に基づいて第１デフォーカス量を算出する第１算出手段と、複数の信号の加算信号に関する第２評価値に基づいて第２デフォーカス量を算出する第２算出手段と、第１デフォーカス量よりも先に第２デフォーカス量を参照して合焦制御を行う制御手段とを有する。【選択図】図１
2015203783.tif 000002
【特許請求の範囲】
【請求項１】
１つのマイクロレンズを共有し、結像光学系の瞳のうち互いに異なる領域を通過する複数の光束を受光する複数の画素を備えた撮像素子と、
前記複数の画素から得られる複数の信号に関する第１評価値に基づいて第１デフォーカス量を算出する第１算出手段と、
前記複数の信号の加算信号に関する第２評価値に基づいて第２デフォーカス量を算出する第２算出手段と、
前記第１デフォーカス量よりも先に前記第２デフォーカス量を参照して合焦制御を行う制御手段と、を有することを特徴とする撮像装置。
【請求項２】
前記制御手段は、
前記第２デフォーカス量の信頼性があるか否かを判定し、
前記第２デフォーカス量の前記信頼性がある場合、該第２デフォーカス量に基づいて合焦判定を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記第２デフォーカス量がリフォーカス可能範囲にある場合、前記信頼性があると判定することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、前記第２デフォーカス量が第２所定値以下である場合、合焦状態であると判定することを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記制御手段は、前記第２デフォーカス量の前記信頼性がない場合、または、該第２デフォーカス量が前記第２所定値よりも大きい場合、前記第１デフォーカス量に基づいて前記合焦制御を行うことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記第２算出手段は、前記第１デフォーカス量が第１所定値以下である場合、前記第２デフォーカス量を新たに算出することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記制御手段は、前記第１デフォーカス量が前記第１所定値よりも大きい場合、該第１デフォーカス量に基づいて前記合焦制御を行うことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記制御手段は、
新たに算出された前記第２デフォーカス量が前記第２所定値以下である場合、前記合焦状態であると判定し、
新たに算出された前記第２デフォーカス量が前記第２所定値よりも大きい場合、該第２デフォーカス量に基づいて前記合焦制御を行う、ことを特徴とする請求項６または７に記載の撮像装置。
【請求項９】
前記撮像素子の前記複数の画素は、第１画素および第２画素を含み、
前記第１算出手段は、前記第１評価値として、前記第１画素から出力される第１焦点検出信号と前記第２画素から出力される第２焦点検出信号との間の相関量に基づいて前記第１デフォーカス量を算出することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
前記第２算出手段は、前記第２評価値として、前記第１焦点検出信号と前記第２焦点検出信号との前記加算信号のコントラスト評価値に基づいて前記第２デフォーカス量を算出することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記第１算出手段は、前記第１焦点検出信号および前記第２焦点検出信号に対して第１周波数帯域を通過させる第１フィルタ処理を行って前記相関量を算出し、
前記第２算出手段は、前記第１焦点検出信号および前記第２焦点検出信号に対して第２周波数帯域を通過させる第２フィルタ処理を行って前記コントラスト評価値を算出することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記第２周波数帯域は、前記第１周波数帯域よりも高い帯域を含むことを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記加算信号は、前記複数の信号を相対的にシフトして加算したリフォーカス信号であることを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
【請求項１４】
結像光学系の瞳のうち互いに異なる領域を通過する複数の光束を受光する複数の画素から得られる複数の信号に基づいて合焦制御を行う制御装置であって、
前記複数の画素から得られる複数の信号に関する第１評価値に基づいて第１デフォーカス量を算出する第１算出手段と、
前記複数の信号の加算信号に関する第２評価値に基づいて第２デフォーカス量を算出する第２算出手段と、
前記第１デフォーカス量よりも先に前記第２デフォーカス量を参照して合焦制御を行う制御手段と、を有することを特徴とする制御装置。
【請求項１５】
結像光学系の瞳のうち互いに異なる領域を通過する複数の光束を受光する複数の画素から得られる複数の信号に基づいて合焦制御を行う制御方法であって、
前記複数の信号の加算信号に関する第２評価値に基づいて算出された第２デフォーカス量を参照するステップと、
前記第２デフォーカス量を参照した結果、所定の条件を満たしていない場合、前記複数の画素から得られる複数の信号に関する第１評価値に基づいて第１デフォーカス量を算出するステップと、を有することを特徴とする制御方法。
【請求項１６】
前記第２デフォーカス量を参照するステップにおいて、
前記第２デフォーカス量の信頼性があるか否かを判定し、
前記第２デフォーカス量の前記信頼性がある場合、該第２デフォーカス量に基づいて合焦判定を行う、ことを特徴とする請求項１５に記載の制御方法。
【請求項１７】
前記第２デフォーカス量が第２所定値以下である場合、合焦状態であると判定することを特徴とする請求項１６に記載の制御方法。
【請求項１８】
前記第２デフォーカス量の前記信頼性がない場合、または、該第２デフォーカス量が前記第２所定値よりも大きい場合、前記第１デフォーカス量を算出することを特徴とする請求項１７に記載の制御方法。
【請求項１９】
結像光学系の瞳のうち互いに異なる領域を通過する複数の光束を受光する複数の画素から得られる複数の信号に基づいて合焦制御を行うプログラムであって、該プログラムはコンピュータに、
前記複数の信号の加算信号に関する第２評価値に基づいて算出された第２デフォーカス量を参照するステップと、
前記第２デフォーカス量を参照した結果、所定の条件を満たしていない場合、前記複数の画素から得られる複数の信号に関する第１評価値に基づいて第１デフォーカス量を算出するステップと、を実行させることを特徴とするプログラム。
【請求項２０】
請求項１９に記載のプログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子から出力される信号に基づいてフォーカス制御を行う撮像装置に関する。
【背景技術】
【０００２】
従来から、撮像素子からの焦点検出信号を用いた撮像面位相差方式の焦点検出（位相差ＡＦ）、および、撮像素子からの撮像信号を用いたコントラスト方式の焦点検出（コントラストＡＦ）が知られている。
【０００３】
特許文献１には、相関計算手段による位相差ＡＦおよびコントラスト評価手段によるコントラストＡＦを利用してフォーカス制御を行う撮像装置が開示されている。特許文献１の撮像装置は、まず、合焦位置の近傍まで相関計算手段により相関値に基づく位相差ＡＦを行う。そして、位相差ＡＦの実行後、シフト加算画像から得られるコントラスト評価値が利用可能になった後、撮像装置はコントラスト評価手段によるコントラストＡＦを行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−２５２４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１のような相関計算手段は、より大きなデフォーカス（合焦位置からのズレ）に対応する必要があり、相対的にコントラスト評価手段よりも低い空間周波数帯域の信号を検出するようにフィルタ処理が行われることが多い。したがって、コントラスト評価手段および相関計算手段の両方から得られる合焦判定位置は、フィルタ帯域の違いによるズレが生じる。
【０００６】
このため、特許文献１の構成において、合焦位置へのＡＦ制御後または撮影終了後に再度ＡＦ開始の指示がなされると、被写体のデフォーカス状態に変化が少ない場合でも、再度、相関計算手段を用いて位相差ＡＦによる焦点検出が行われる。このとき、前述のようにフィルタ帯域の違いによるズレ分だけ合焦位置を見誤り、不要なフォーカスレンズ駆動が行われる場合があり、この結果、高速かつ高精度な合焦制御が妨げられる可能性がある。
【０００７】
そこで本発明は、高速かつ高精度な合焦制御が可能な撮像装置、制御装置、制御方法、プログラム、および、記憶媒体を提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面としての撮像装置は、１つのマイクロレンズを共有し、結像光学系の瞳のうち互いに異なる領域を通過する複数の光束を受光する複数の画素を備えた撮像素子と、前記複数の画素から得られる複数の信号に関する第１評価値に基づいて第１デフォーカス量を算出する第１算出手段と、前記複数の信号の加算信号に関する第２評価値に基づいて第２デフォーカス量を算出する第２算出手段と、前記第１デフォーカス量よりも先に前記第２デフォーカス量を参照して合焦制御を行う制御手段とを有する。
【０００９】
本発明の他の側面としての制御装置は、結像光学系の瞳のうち互いに異なる領域を通過する複数の光束を受光する複数の画素から得られる複数の信号に基づいて合焦制御を行う制御装置であって、前記複数の画素から得られる複数の信号に関する第１評価値に基づいて第１デフォーカス量を算出する第１算出手段と、前記複数の信号の加算信号に関する第２評価値に基づいて第２デフォーカス量を算出する第２算出手段と、前記第１デフォーカス量よりも先に前記第２デフォーカス量を参照して合焦制御を行う制御手段とを有する。
【００１０】
本発明の他の側面としての制御方法は、結像光学系の瞳のうち互いに異なる領域を通過する複数の光束を受光する複数の画素から得られる複数の信号に基づいて合焦制御を行う制御方法であって、前記複数の信号の加算信号に関する第２評価値に基づいて算出された第２デフォーカス量を参照するステップと、前記第２デフォーカス量を参照した結果、所定の条件を満たしていない場合、前記複数の画素から得られる複数の信号に関する第１評価値に基づいて第１デフォーカス量を算出するステップとを有する。
【００１１】
本発明の他の側面としてのプログラムは、結像光学系の瞳のうち互いに異なる領域を通過する複数の光束を受光する複数の画素から得られる複数の信号に基づいて合焦制御を行うプログラムであって、該プログラムはコンピュータに、前記複数の信号の加算信号に関する第２評価値に基づいて算出された第２デフォーカス量を参照するステップと、前記第２デフォーカス量を参照した結果、所定の条件を満たしていない場合、前記複数の画素から得られる複数の信号に関する第１評価値に基づいて第１デフォーカス量を算出するステップと、を実行させる。
【００１２】
本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。
【００１３】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【００１４】
本発明によれば、高速かつ高精度な合焦制御が可能な撮像装置、制御装置、制御方法、プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態における撮像装置のブロック図である。
【図２】本実施形態における画素配列を示す図である。
【図３】本実施形態における画素構造を示す図である。
【図４】本実施形態における撮像素子および瞳分割機能の説明図である。
【図５】本実施形態における撮像素子および瞳分割機能の説明図である。
【図６】本実施形態におけるデフォーカス量と像ずれ量と関係図である。
【図７】本実施形態における位相差方式の焦点検出処理（第１焦点検出処理）を示すフローチャートである。
【図８】本実施形態における第１焦点検出信号および第２焦点検出信号の瞳ずれによるシェーディングの説明図である。
【図９】本実施形態における第１フィルタ処理の説明図である。
【図１０】本実施形態における第１焦点検出信号および第２焦点検出信号の例である。
【図１１】本実施形態におけるシェーディング補正処理および第１フィルタ処理後の第１焦点検出信号および第２焦点検出信号の例である。
【図１２】本実施形態における第１デフォーカス量および第２デフォーカス量の例である。
【図１３】本実施形態におけるリフォーカス処理の説明図である。
【図１４】本実施形態におけるリフォーカス方式の焦点検出処理（第２焦点検出処理）を示すフローチャートである。
【図１５】本実施形態における第２フィルタ処理後の第１焦点検出信号および第２焦点検出信号の例である。
【図１６】本実施形態における第２フィルタ処理後の第１焦点検出信号および第２焦点検出信号をシフト加算したシフト加算信号の例である。
【図１７】本実施形態における第２評価値の例である。
【図１８】本実施形態におけるリフォーカス可能範囲の説明図である。
【図１９】本実施形態におけるＡＦ動作を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【００１７】
［撮像装置の全体構成］
まず、図１を参照して、本発明の実施形態における撮像装置の概略構成について説明する。図１は、本実施形態における撮像装置１００（カメラ）のブロック図である。本実施形態の撮像装置１００は、カメラ本体とカメラ本体に着脱可能な交換レンズ（結像光学系または撮影光学系）とを備えたデジタルカメラシステムである。ただし本実施形態は、これに限定されるものではなく、カメラ本体とレンズとが一体的に構成された撮像装置にも適用可能である。
【００１８】
第１レンズ群１０１は、撮影レンズ（結像光学系）を構成する複数のレンズ群のうち最も前方（被写体側）に配置されており、光軸ＯＡの方向（光軸方向）に進退可能な状態でレンズ鏡筒に保持される。絞り兼用シャッタ１０２（絞り）は、その開口径を調節することで撮影時の光量調節を行うとともに、静止画撮影時には露光時間調節用シャッタとして機能する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体的に光軸方向に進退し、第１レンズ群１０１の進退動作と連動して変倍動作を行うズーム機能を有する。第３レンズ群１０５は、光軸方向に進退することにより焦点調節（フォーカス動作）を行うフォーカスレンズ群である。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。
【００１９】
撮像素子１０７は、結像光学系を介して被写体像（光学像）の光電変換を行い、例えばＣＭＯＳセンサまたはＣＣＤセンサ、および、その周辺回路により構成される。撮像素子１０７としては、例えば、横方向にｍ個の画素、縦方向にｎ個の画素を有する受光ピクセル上にベイヤー配列の原色カラーモザイクフィルタをオンチップで形成した２次元単板カラーセンサが用いられる。
【００２０】
ズームアクチュエータ１１１は、不図示のカム筒を回動（駆動）することで第１レンズ群１０１および第２レンズ群１０３を光軸方向に沿って移動させることにより、変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して光量（撮影光量）を調節するとともに、静止画撮影時の露光時間を制御する。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。
【００２１】
電子フラッシュ１１５は、被写体を照明するために用いられる照明装置である。電子フラッシュ１１５としては、キセノン管を備えた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ補助光手段１１６は、所定の開口パターンを有するマスクの像を、投光レンズを介して、被写体に投影する。これにより、暗い被写体や低コントラストの被写体に対する焦点検出能力を向上させることができる。
【００２２】
ＣＰＵ１２１は、撮像装置１００の種々の制御を司る制御装置（制御手段）である。ＣＰＵ１２１は、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、および、通信インターフェイス回路などを有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムを読み出して実行することにより、撮像装置１００の各種回路を駆動し、焦点検出（ＡＦ）、撮影、画像処理、または、記録などの一連の動作を制御する。
【００２３】
本実施形態において、ＣＰＵ１２１は、第１焦点検出手段１２１ａ（第１算出手段）、第２焦点検出手段１２１ｂ（第２算出手段）、および、制御手段１２１ｃを有する。第１焦点検出手段１２１ａは、撮像素子１０７の複数の画素（第１画素、第２画素）から得られる複数の信号に関する第１評価値に基づいて第１デフォーカス量Ｄｅｆ１を算出する。第２焦点検出手段１２１ｂは、複数の信号の加算信号に関する第２評価値に基づいて第２デフォーカス量Ｄｅｆ２を算出する。制御手段１２１ｃは、第１デフォーカス量Ｄｅｆ１よりも先に第２デフォーカス量Ｄｅｆ２を参照して合焦制御を行う。
【００２４】
電子フラッシュ制御回路１２２は、撮影動作に同期して電子フラッシュ１１５の点灯制御を行う。補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光手段１１６の点灯制御を行う。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５（画像処理手段）は、撮像素子１０７から出力された画像データのγ（ガンマ）変換、カラー補間、または、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）圧縮などの処理を行う。
【００２５】
フォーカス駆動回路１２６（フォーカス駆動手段）は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に沿って移動させることにより、焦点ずれ量（デフォーカス量）を調節する。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動して、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９（ズーム駆動手段）は、撮影者のズーム操作に応じて、ズームアクチュエータ１１１を駆動する。
【００２６】
表示器１３１（表示手段）は、例えばＬＣＤ（液晶表示装置）を備えて構成される。表示器１３１は、撮像装置１００の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、または、焦点検出時の合焦状態表示画像などを表示する。操作スイッチ１３２（操作手段）は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、および、撮影モード選択スイッチなどを備えて構成される。レリーズスイッチは、半押し状態（ＳＷ１がＯＮの状態）、および、全押し状態（ＳＷ２がＯＮの状態）の２段階のスイッチを有する。記録媒体１３３は、例えば撮像装置１００に着脱可能なフラッシュメモリであり、撮影画像（画像データ）を記録する。
【００２７】
［撮像素子の構造］
続いて、図２および図３を参照して、本実施形態における撮像素子１０７の画素配列および画素構造について説明する。図２は、撮像素子１０７の画素配列を示す図である。図３は、撮像素子１０７の画素構造を示す図であり、図３（ａ）は撮像素子１０７の画素２００Ｇの平面図（＋ｚ方向から見た図）、図３（ｂ）は図３（ａ）中の線ａ−ａの断面図（−ｙ方向から見た図）をそれぞれ示している。
【００２８】
図２は、撮像素子１０７（２次元ＣＭＯＳセンサ）の画素配列（撮影画素の配列）を、４列×４行の範囲で示している。本実施形態において、各々の撮像画素（画素２００Ｒ、２００Ｇ、２００Ｂ）は、２つの焦点検出画素２０１、２０１（瞳分割用の２つの副画素）により構成さている。このため、図２には、焦点検出画素の配列を、８列×４行の範囲で示されている。
【００２９】
図２に示されるように、２列×２行の画素群２００は、画素２００Ｒ、２００Ｇ、２００Ｂがベイヤー配列で配置されている。すなわち画素群２００のうち、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下にそれぞれ配置されている。各画素２００Ｒ、２００Ｇ、２００Ｂ（各撮像画素）は、２列×１行に配列された焦点検出画素２０１（第１焦点検出画素）および焦点検出画素２０２（第２焦点検出画素）により構成されている。焦点検出画素２０１は、結像光学系の第１瞳領域を通過した光束を受光する画素である。焦点検出画素２０２は、結像光学系の第２瞳領域を通過した光束を受光する画素である。
【００３０】
図２に示されるように、撮像素子１０７は、４列×４行の撮像画素（８列×４行の焦点検出画素）を面上に多数配置して構成されており、撮像信号（焦点検出信号）を出力する。本実施形態の撮像素子１０７は、画素（撮像画素）の周期Ｐが４μｍ、画素（撮像画素）の数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素である。また撮像素子１０７は、焦点検出画素の列方向の周期ＰＡＦが２μｍ、焦点検出画素の数ＮＡＦが横１１１５０列×縦３７２５行＝約４１５０万画素である。
【００３１】
図３（ｂ）に示されるように、本実施形態の画素２００Ｇには、画素の受光面側に入射光を集光するためのマイクロレンズ３０５が設けられている。マイクロレンズ３０５は、受光面からｚ軸方向（光軸ＯＡの方向）に所定の距離だけ離れた位置に配置されている。また画素２００Ｇには、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部３０１および光電変換部３０２が形成されている。光電変換部３０１および光電変換部３０２は、それぞれ、第１焦点検出画素２０１および第２焦点検出画素２０２に対応する。
【００３２】
光電変換部３０１および光電変換部３０２は、それぞれ、ｐ型層とｎ型層との間にイントリンシック層を挟んだｐｉｎ構造のフォトダイオードとして構成される。必要に応じて、イントリンシック層を省略し、ｐｎ接合のフォトダイオードとして構成してもよい。画素２００Ｇ（各画素）には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルタ３０６が設けられる。必要に応じて、副画素（焦点検出画素）毎にカラーフィルタ３０６の分光透過率を変えることができ、またはカラーフィルタを省略してもよい。
【００３３】
図３に示されるように、画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光された後、光電変換部３０１および光電変換部３０２で受光される。光電変換部３０１および光電変換部３０２においては、受光量に応じて電子とホールとの対が生成され、それらが空乏層で分離された後、負電荷の電子はｎ型層に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて、撮像素子１０７の外部へ排出される。光電変換部３０１および光電変換部３０２のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。
【００３４】
続いて、図４を参照して、撮像素子１０７の瞳分割機能について説明する。図４は、撮像素子１０７の瞳分割機能の説明図であり、１つの画素部における瞳分割の様子を示している。図４は、図３（ａ）に示される画素構造のａ−ａ断面を＋ｙ側から見た断面図、および、結像光学系の射出瞳面を示している。図４では、射出瞳面の座標軸と対応を取るため、断面図のｘ軸およびｙ軸を図３のｘ軸およびｙ軸に対してそれぞれ反転させている。
【００３５】
図４において、焦点検出画素２０１（第１焦点検出画素）の瞳部分領域５０１（第１瞳部分領域）は、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０１は、焦点検出画素２０１で受光可能な瞳領域を表している。焦点検出画素２０１の瞳部分領域５０１の重心は、瞳面上で＋ｘ側に偏心している。また、焦点検出画素２０２（第２焦点検出画素）の瞳部分領域５０２（第２瞳部分領域）は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０２は、焦点検出画素２０２で受光可能な瞳領域を表している。焦点検出画素２０２の瞳部分領域５０２の重心は、瞳面上で−ｘ側に偏心している。瞳領域５００は、光電変換部３０１、３０２（焦点検出画素２０１、２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。
【００３６】
図５は、撮像素子１０７と瞳分割機能の説明図である。結像光学系の瞳領域のうち互いに異なる瞳部分領域５０１、５０２を通過した光束は、撮像素子１０７の各画素に互いに異なる角度で撮像素子１０７の撮像面８００に入射し、２×１分割された焦点検出画素２０１および第２焦点検出画素２０２で受光される。本実施形態では、瞳領域が水平方向に２つに瞳分割されている例について説明しているが、これに限定されるものではなく、必要に応じて垂直方向に瞳分割を行ってもよい。
【００３７】
このように本実施形態において、撮像素子１０７は、１つのマイクロレンズを共有し、結像光学系（撮影レンズ）の瞳のうち互いに異なる領域（第１瞳部分領域、第２瞳部分領域）を通過する複数の光束を受光する複数の画素を備えている。撮像素子１０７は、複数の画素として、第１画素（第１焦点検出画素、例えば焦点検出画素２０１）および第２画素（第２焦点検出画素、例えば焦点検出画素２０２）を含む。第１焦点検出画素は、第１瞳部分領域（瞳部分領域５０１）を通過する光束を受光し、第２焦点検出画素は、第１瞳部分領域と異なる結像光学系の第２瞳部分領域を通過する光束を受光する。また本実施形態において、撮像画素は、第１焦点検出画素と第２焦点検出画素とを合わせて構成された画素であり、第１瞳部分領域と第２瞳部分領域とを合わせた瞳領域を通過する光束を受光する。ただし、本実施形態はこれに限定されるものではない。撮像画素、第１焦点検出画素、および、第２焦点検出画素を互いに画素として構成し、撮像画素の配列の一部に、第１焦点検出画素および第２焦点検出画素を部分的に配置するように構成してもよい。
【００３８】
本実施形態では、撮像素子の各画素の第１焦点検出画素２０１の受光信号を集めて第１焦点信号を生成し、各画素の第２焦点検出画素２０２の受光信号を集めて第２焦点信号を生成して焦点検出を行う。また、撮像素子１０７の画素毎に、第１焦点検出画素２０１および第２焦点検出画素２０２の信号を加算することで、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成することができる。
【００３９】
［デフォーカス量と像ずれ量の関係］
次に、撮像素子１０７の焦点検出画素２０１から出力される焦点検出信号（第１焦点検出信号）および焦点検出画素２０２から出力される焦点検出信号（第２焦点検出信号）のデフォーカス量と像ずれ量との関係について説明する。
【００４０】
図６は、デフォーカス量と像ずれ量との関係図である。図６において、撮像素子１０７は撮像面８００に配置されており、図４および図５と同様に、結像光学系の射出瞳が瞳部分領域５０１、５０２に２分割されている様子が示されている。
【００４１】
デフォーカス量ｄは、被写体の結像位置から撮像面８００までの距離を｜ｄ｜、結像位置が撮像面８００よりも被写体側にある前ピン状態を負符号（ｄ＜０）、結像位置が撮像面８００よりも被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面８００（合焦位置）にある合焦状態において、デフォーカス量ｄ＝０が成立する。図６において、合焦状態（ｄ＝０）である被写体８０１、および、前ピン状態（ｄ＜０）である被写体８０２がそれぞれ示されている。前ピン状態（ｄ＜０）および後ピン状態（ｄ＞０）を併せて、デフォーカス状態（｜ｄ｜＞０）いう。
【００４２】
前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、瞳部分領域５０１（または瞳部分領域５０２）を通過した光束は、一度、集光する。その後、光束は、光束の重心位置Ｇ１（Ｇ２）を中心とする幅Γ１（Γ２）に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子１０７に配列された各画素を構成する焦点検出画素２０１（焦点検出画素２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。このため、第１焦点検出信号（第２焦点検出信号）は、撮像面８００上の重心位置Ｇ１（Ｇ２）に、被写体８０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１焦点検出信号と第２焦点検出信号との間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加する。後ピン状態（ｄ＞０）に関しても同様であるが、第１焦点検出信号と第２焦点検出信号と間の被写体像の像ずれ方向が前ピン状態と反対となる。
【００４３】
このように本実施形態において、第１焦点検出信号と第２焦点検出信号、または、第１焦点検出信号と第２焦点検出信号とを加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号と間の像ずれ量の大きさは増加する。
【００４４】
［焦点検出］
本実施形態において、第１焦点検出信号と第２焦点検出信号との間のデフォーカス量と、像ずれ量との関係を用いて、位相差方式の焦点検出（第１焦点検出）と、リフォーカス原理に基づく方式（リフォーカス方式）の焦点検出（第２焦点検出）を行う。第１焦点検出は、大デフォーカス状態から小デフォーカス状態まで焦点調節するために行われる。また第２焦点検出は、小デフォーカス状態から最良合焦位置の近傍まで焦点調節するために行われる。
【００４５】
［位相差方式の焦点検出（第１焦点検出）］
次に、本実施形態における位相差方式の焦点検出（第１焦点検出）について説明する。位相差方式の焦点検出を行う場合、撮像装置１００のＣＰＵ１２１（第１焦点検出手段１２１ａ）は、第１焦点検出信号および第２焦点検出信号を相対的にシフトさせて信号の一致度を表す相関量（第１評価値）を算出する。そしてＣＰＵ１２１は、相関（信号の一致度）が良好になるシフト量に基づいて像ずれ量を算出する。撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間との間の像ずれ量の大きさが増加する関係があるため、ＣＰＵ１２１は、像ずれ量をデフォーカス量（第１デフォーカス量）に変換して焦点検出を行う。
【００４６】
図７を参照して、位相差方式の焦点検出処理（第１焦点検出処理）の流れについて説明する。図７は、第１焦点検出処理を示すフローチャートであり、後述の図１９のステップＳ３２０に相当する。図７の各ステップは、主に、ＣＰＵ１２１（第１焦点検出手段１２１ａ）および画像処理回路１２５により実行される。
【００４７】
まずステップＳ１１０において、ＣＰＵ１２１（第１焦点検出手段１２１ａ）は、撮像素子１０７の有効画素領域の中から焦点調節を行うための焦点検出領域を設定する。そしてＣＰＵ１２１および画像処理回路１２５は、焦点検出領域に含まれる第１焦点検出画素の受光信号（出力信号）に基づいて第１焦点検出信号（Ａ像信号）を生成（取得）する。またＣＰＵ１２１および画像処理回路１２５は、焦点検出領域に含まれる第２焦点検出画素の受光信号（出力信号）に基づいて第２焦点検出信号（Ｂ像信号）を生成（取得）する。
【００４８】
続いてステップＳ１２０において、画像処理回路１２５は、第１焦点検出信号および第２焦点検出信号のそれぞれに対して、信号データ量を抑制するために列方向の３画素加算処理を行う。また画像処理回路１２５は、色信号（ＲＧＢ信号）を輝度信号（Ｙ信号）に変換するためにベイヤー（ＲＧＢ）加算処理を行う。本実施形態において、これら２つの加算処理を合わせて第１画素加算処理という。
【００４９】
続いてステップＳ１３０において、ＣＰＵ１２１および画像処理回路１２５は、第１焦点検出信号および第２焦点検出信号のそれぞれに対して、シェーディング補正処理（光学補正処理）を行う。ここで、図８を参照して、第１焦点検出信号および第２焦点検出信号の瞳ずれによるシェーディングについて説明する。図８は、第１焦点検出信号および第２焦点検出信号の瞳ずれによるシェーディングの説明図である。具体的には、図８は、撮像素子１０７の周辺像高における焦点検出画素２０１の瞳部分領域５０１、焦点検出画素２０２の瞳部分領域５０２、および、結像光学系の射出瞳４００の関係を示している。
【００５０】
図８（ａ）は、結像光学系の射出瞳距離Ｄｌ（射出瞳４００と撮像素子１０７の撮像面との距離）と、撮像素子１０７の設定瞳距離Ｄｓとが等しい場合を示している。この場合、瞳部分領域５０１および瞳部分領域５０２により、結像光学系の射出瞳４００は略均等に瞳分割される。
【００５１】
一方、図８（ｂ）にされるように、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓよりも短い場合、撮像素子１０７の周辺像高では、結像光学系の射出瞳４００と撮像素子１０７の入射瞳との間に瞳ずれが生じる。このため、結像光学系の射出瞳４００が不均一に瞳分割される。同様に、図８（ｃ）に示されるように、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓよりも長い場合、撮像素子１０７の周辺像高では、結像光学系の射出瞳４００と撮像素子１０７の入射瞳との間に瞳ずれが生じる。このため、結像光学系の射出瞳４００が不均一に瞳分割される。周辺像高で瞳分割が不均一になるのに伴い、第１焦点検出信号および第２焦点検出信号の強度も互いに不均一となる。このため、第１焦点検出信号および第２焦点検出信号のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが生じる。
【００５２】
図７のステップＳ１３０では、ＣＰＵ１２１は、焦点検出領域の像高、撮像レンズ（結像光学系）のＦ値、および、射出瞳距離に応じて、第１焦点検出信号の第１シェーディング補正係数および第２焦点検出信号の第２シェーディング補正係数を生成する。そして画像処理回路１２５は、第１焦点検出信号に第１シェーディング補正係数を乗算し、第２焦点検出信号に第２シェーディング補正係数を乗算して、第１焦点検出信号および第２焦点検出信号のシェーディング補正処理（光学補正処理）を行う。
【００５３】
位相差方式の焦点検出（第１焦点検出）を行う際、ＣＰＵ１２１は、第１焦点検出信号と第２焦点検出信号との相関（信号の一致度）に基づいて、デフォーカス量（第１デフォーカス量）を検出（算出）する。瞳ずれによるシェーディングが生じると、第１焦点検出信号と第２焦点検出信号との相関（信号の一致度）が低下する場合がある。このため本実施形態において、位相差方式の焦点検出の際には、第１焦点検出信号と第２焦点検出信号との相関（信号の一致度）を改善して焦点検出性能を向上させるため、シェーディング補正処理（光学補正処理）を行うことが好ましい。
【００５４】
続いてステップＳ１４０において、ＣＰＵ１２１および画像処理回路１２５は、第１焦点検出信号および第２焦点検出信号に対して、第１フィルタ処理を行う。図９は、第１フィルタ処理の説明図であり、本実施形態の第１フィルタ処理における通過帯域例を実線で示している。本実施形態では、位相差方式の焦点検出（第１焦点検出）により大デフォーカス状態での焦点検出を行う。このため、第１フィルタ処理における通過帯域は、低周波帯域を含むように構成される。必要に応じて、大デフォーカス状態から小デフォーカス状態まで焦点調節を行う際に、デフォーカス状態に応じて、第１焦点検出処理の際の第１フィルタ処理の通過帯域を、図９に示される１点鎖線のように、より高周波帯域に移動させるように調整してもよい。
【００５５】
続いてステップＳ１５０において、ＣＰＵ１２１（画像処理回路１２５）は、第１フィルタ処理後の第１焦点検出信号と第２焦点検出信号とを相対的に瞳分割方向にシフトさせるシフト処理（第１シフト処理）を行う。そしてＣＰＵ１２１は、信号の一致度を表す相関量（第１評価値）を算出する。
【００５６】
ここで、第１フィルタ処理後のｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷ、第１シフト処理によるシフト量をｓ１、シフト量ｓ１のシフト範囲をΓ１とする。このとき、相関量ＣＯＲ（第１評価値）は、以下の式（１）のように表される。
【００５７】
【数１】
2015203783.tif 000003
【００５８】
またＣＰＵ１２１は、シフト量ｓ１だけシフト処理（第１シフト処理）を行うことにより、ｋ番目の第１焦点検出信号Ａ（ｋ）と（ｋ−ｓ１）番目の第２焦点検出信号Ｂ（ｋ−ｓ１）とを対応させて減算し、シフト減算信号を生成する。そしてＣＰＵ１２１は、生成されたシフト減算信号の絶対値を計算し、焦点検出領域に対応する範囲Ｗ内で番号ｋの和を取り、相関量ＣＯＲ（ｓ１）（第１評価値）を算出する。必要に応じて、各行毎に算出された相関量（第１評価値）を、シフト量毎に複数行に渡って加算してもよい。
【００５９】
続いてステップＳ１６０において、ＣＰＵ１２１は、相関量（第１評価値）に対してサブピクセル演算を行い、相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐ１を求める。そしてＣＰＵ１２１は、像ずれ量ｐ１に対して、焦点検出領域の像高、撮像レンズ（結像光学系）のＦ値、および、射出瞳距離に応じた変換係数Ｋ１（第１変換係数）を掛けて、第１デフォーカス量Ｄｅｆ１を検出（算出）する。
【００６０】
このように本実施形態において、ＣＰＵ１２１は、位相差方式の焦点検出（第１焦点検出）により、第１焦点検出信号および第２焦点検出信号のそれぞれに対して第１フィルタ処理および第１シフト処理を行う。そしてＣＰＵ１２１は、第１フィルタ処理および第１シフト処理後の信号に基づいて相関量を算出し、算出した相関量に基づいて第１検出デフォーカス量Ｄｅｆ１を検出（算出）する。
【００６１】
本実施形態の撮像素子１０７において、焦点検出画素（第１焦点検出画素、第２焦点検出画素）が受光する光束は、撮像画素が受光する光束とは異なる。このため、結像光学系の各収差（球面収差、非点収差、コマ収差など）が焦点検出画素（焦点検出信号）に与える影響は、撮像画素（撮像信号）に与える影響と異なる。結像光学系の絞り値（Ｆ値）が小さい（明るい）と、これらの光束（影響）の差異がより大きくなる。このため、結像光学系の絞り値が小さい（明るい）場合、位相差方式の焦点検出処理により算出される合焦位置（第１デフォーカス量Ｄｅｆ１が０となる位置）と撮像信号の最良合焦位置（撮像信号のＭＴＦピーク位置）との間に差が生じることがある。特に、結像光学系の絞り値が所定の絞り値以下の場合、位相差方式の焦点検出処理における焦点検出精度が低下する可能性がある。
【００６２】
図１０は、第１焦点検出信号および第２焦点検出信号の例であり、撮像素子１０７の周辺像高での撮像信号の最良合焦位置における第１焦点検出信号（破線）と第２焦点検出信号（実線）を示している。図１０において、撮像信号の最良合焦位置であるが、結像光学系の各収差の影響により、第１焦点検出信号および第２焦点検出信号の形状（信号波形）は互いに異なっている。
【００６３】
図１１は、シェーディング補正処理および第１フィルタ処理後の第１焦点検出信号（破線）および第２焦点検出信号（実線）を示している。図１１において、撮像信号の最良合焦位置であるが、第１焦点検出信号と第２焦点検出信号との間の像ずれ量ｐ１は０ではない。このため、位相差方式の焦点検出処理（第１焦点検出処理）により算出される合焦位置と撮像信号の最良合焦位置との間に差が生じる。
【００６４】
図１２は、本実施形態における第１デフォーカス量Ｄｅｆ１の例である。図１２において、破線は、本実施形態における位相差方式の焦点検出処理（第１焦点検出処理）による第１デフォーカス量Ｄｅｆ１を示している。また、図１２の横軸は設定デフォーカス量、縦軸は検出デフォーカス量を示している。図１０に示される第１焦点検出信号および第２焦点検出信号は、図１２の設定デフォーカス量が０［ｍｍ］である場合の第１焦点検出信号および第２焦点検出信号である。図１２に示されるように、設定デフォーカス量が０である場合の最良合焦位置において、第１焦点検出処理による第１デフォーカス量Ｄｅｆ１（検出デフォーカス量）が後ピン側に約５０μｍだけオフセットしている。このように、最良合焦位置と第１焦点検出処理により算出される合焦位置（検出合焦位置）との間には約５０μｍの差異が生じていることがわかる。
【００６５】
本実施形態の撮像装置１００は、焦点検出信号に基づいて算出される合焦位置（検出合焦位置）と撮像信号の最良合焦位置との差を低減し、高精度な焦点検出を実行可能に構成される。このため撮像装置１００は、位相差方式の焦点検出（第１焦点検出）に加えて、結像光学系の最良合焦位置近傍で高精度な焦点検出が可能なリフォーカス方式の焦点検出（第２焦点検出）を行う。
【００６６】
［リフォーカス方式の焦点検出（第２焦点検出）］
次に、本実施形態におけるリフォーカス方式の焦点検出（第２焦点検出）について説明する。撮像装置１００のＣＰＵ１２１（第２焦点検出手段１２１ｂ）は、リフォーカス方式の焦点検出の際に、第１焦点検出信号と第２焦点検出信号とを相対的にシフトして加算し、シフト加算信号（リフォーカス信号）を生成する。そしてＣＰＵ１２１は、生成されたシフト加算信号（リフォーカス信号）のコントラスト評価値を算出する。またＣＰＵ１２１は、コントラスト評価値に基づいて撮像信号のＭＴＦピーク位置を推定し、デフォーカス量（第２デフォーカス量）を検出（算出）する。
【００６７】
図１３は、本実施形態におけるリフォーカス処理の説明図である。図１３は、撮像素子１０７から出力された第１焦点検出信号および第２焦点検出信号による１次元方向（列方向、すなわち水平方向）のリフォーカス処理の模式図を示している。
【００６８】
図１３において、撮像面８００は、図５および図６に示される撮像面８００に対応している。図１３では、ｉを整数、撮像面８００に配置された撮像素子１０７の列方向ｉ番目の画素の第１焦点検出信号をＡｉ、第２焦点検出信号をＢｉとして模式的に表している。第１焦点検出信号Ａｉは、角度θａ（図５の瞳部分領域５０１に対応する主光線角度）でｉ番目の画素に入射した光束に基づいて出力される受光信号である。第２焦点検出信号Ｂｉは、角度θｂ（図５の瞳部分領域５０２に対応する主光線角度）でｉ番目の画素に入射した光束に基づいて出力される受光信号である。
【００６９】
第１焦点検出信号Ａｉおよび第２焦点検出信号Ｂｉは、光強度分布情報だけでなく、入射角度情報も有している。このため、第１焦点検出信号Ａｉを角度θａで仮想結像面８１０まで平行移動させ、第２焦点検出信号Ｂｉを角度θｂで仮想結像面８１０まで平行移動させ、これらの信号を加算することにより、仮想結像面８１０でのリフォーカス信号を生成することができる。第１焦点検出信号Ａｉを角度θａで仮想結像面８１０まで平行移動させることは、列方向に＋０．５画素だけシフトすることに相当する。また、第２焦点検出信号Ｂｉを角度θｂで仮想結像面８１０まで平行移動させることは、列方向に−０．５画素だけシフトすることに相当する。このため、第１焦点検出信号Ａｉと第２焦点検出信号Ｂｉとを相対的に＋１画素だけシフトさせ、第１焦点検出信号Ａｉと第２焦点検出信号Ｂｉ＋１とを対応させて加算することにより、仮想結像面８１０でのリフォーカス信号を生成することができる。すなわち、第１焦点検出信号Ａｉと第２焦点検出信号Ｂｉとを画素ピッチの整数倍だけシフトさせ（整数シフトを行い）、これらの信号を加算することにより、整数シフト量に応じた各仮想結像面でのシフト加算信号（リフォーカス信号）が生成可能となる。
【００７０】
ｓ（リフォーカス信号）のコントラスト評価値を算出する。そしてＣＰＵ１２１は、算出されたコントラスト評価値に基づいて撮像信号のＭＴＦピーク位置を推定し、リフォーカス方式の焦点検出（第２焦点検出）を行う。
【００７１】
図１４は、本実施形態におけるリフォーカス方式の焦点検出処理（第２焦点検出処理）を示すフローチャートであり、後述の図９のステップＳ３５０に相当する。図１４の各ステップは、主に、ＣＰＵ１２１（第２焦点検出手段１２１ｂ）および画像処理回路１２５により実行される。
【００７２】
まずステップＳ２１０において、ＣＰＵ１２１（第２焦点検出手段１２１ｂ）は、撮像素子１０７の有効画素領域の中から焦点調節を行うための焦点検出領域を設定する。そしてＣＰＵ１２１および画像処理回路１２５は、焦点検出領域に含まれる第１焦点検出画素の受光信号（出力信号）に基づいて第１焦点検出信号（Ａ像信号）を生成する。またＣＰＵ１２１および画像処理回路１２５は、焦点検出領域に含まれる第２焦点検出画素の受光信号（出力信号）に基づいて第２焦点検出信号（Ｂ像信号）を生成する。
【００７３】
続いてステップＳ２２０において、画像処理回路１２５は、第１焦点検出信号および第２焦点検出信号のそれぞれに対して、信号データ量を抑制するために列方向の３画素加算処理を行う。また画像処理回路１２５は、色信号（ＲＧＢ信号）を輝度信号（Ｙ信号）に変換するためにベイヤー（ＲＧＢ）加算処理を行う。本実施形態において、これら２つの加算処理を合わせて第２画素加算処理という。必要に応じて、３画素加算処理およびベイヤー（ＲＧＢ）加算処理のいずれか一方、または、両方を省略してもよい。
【００７４】
続いてステップＳ２３０において、ＣＰＵ１２１および画像処理回路１２５は、第１焦点検出信号および第２焦点検出信号に対して、第２フィルタ処理を行う。図９は、第２フィルタ処理の説明図であり、本実施形態の第２フィルタ処理における通過帯域例を破線で示している。本実施形態では、リフォーカス方式の焦点検出（第２焦点検出）により、小デフォーカス状態から最良合焦位置近傍までの焦点検出を行う。このため、第２フィルタ処理における通過帯域は、第１フィルタ処理の通過帯域（図９中の実線または１点鎖線）よりも高周波帯域を含むように構成される。第２フィルタ処理に際して、必要に応じて、被写体信号のエッジ抽出を行うラプラシアン型（２階微分型）［１、−２、１］フィルタを用いて、図９中の点線で示されるように第２フィルタ処理の通過帯域をより高周波帯域に移動させるように調整してもよい。被写体の高周波成分を抽出して第２焦点検出を行うことにより、焦点検出精度をより向上させることができる。
【００７５】
続いてステップＳ２４０において、ＣＰＵ１２１および画像処理回路１２５は、第２フィルタ処理後の第１焦点検出信号と第２焦点検出信号とを相対的に瞳分割方向にシフトさせるシフト処理（第２シフト処理）を行う。そして、処理後の信号を加算し、シフト加算信号（リフォーカス信号）を生成する。またＣＰＵ１２１は、生成されたシフト加算信号に基づいてコントラスト評価値（第２評価値）を算出する。
【００７６】
ここで、第２フィルタ処理後のｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷ、第２シフト処理によるシフト量をｓ２、シフト量ｓ２のシフト範囲をΓ２とする。このとき、コントラスト評価値ＲＦＣＯＮ（第２評価値）は、以下の式（２）のように表される。
【００７７】
【数２】
2015203783.tif 000004
【００７８】
またＣＰＵ１２１は、シフト量ｓ２だけシフト処理（第２シフト処理）を行うことにより、ｋ番目の第１焦点検出信号Ａ（ｋ）と（ｋ−ｓ２）番目の第２焦点検出信号Ｂ（ｋ−ｓ２）とを対応させて加算し、シフト加算信号を生成する。そしてＣＰＵ１２１は、生成されたシフト加算信号の絶対値を計算し、焦点検出領域に対応する範囲Ｗ内での最大値を取り、コントラスト評価値ＲＦＣＯＮ（ｓ２）（第２評価値）を算出する。必要に応じて、各行毎に算出されたコントラスト評価値（第２評価値）を、シフト量毎に複数行に渡って加算してもよい。
【００７９】
続いてステップＳ２５０において、ＣＰＵ１２１は、コントラスト評価値（第２評価値）に対してサブピクセル演算を行い、コントラスト評価値が最大値となる実数値のシフト量を算出してピークシフト量ｐ２を求める。そしてＣＰＵ１２１は、ピークシフト量ｐ２に対して、焦点検出領域の像高、撮像レンズ（結像光学系）のＦ値、および、射出瞳距離に応じた変換係数Ｋ２（第２変換係数）を掛けて、第２デフォーカス量Ｄｅｆ２を検出（算出）する。なお本実施形態において、変換係数Ｋ１、Ｋ２を互いに同一の値に設定してもよい。
【００８０】
続いてステップＳ２６０において、ＣＰＵ１２１は、ステップＳ２５０にて算出された第２デフォーカス量ｄｅｆ２の信頼性判定を行うための判定値を算出する。判定値は、第２デフォーカス量ｄｅｆ２がリフォーカス可能範囲であるか否かを判定する値であり、例えば図１７に示されるように山形状の急峻性や、最大値と最小値との差分値に基づいて生成される。この判定値を用いた信頼性判定の詳細については後述する。
【００８１】
このように本実施形態において、ＣＰＵ１２１は、リフォーカス方式の焦点検出処理（第２焦点検出処理）により、第１焦点検出信号および第２焦点検出信号のそれぞれに対して第２フィルタ処理および第２シフト処理を行ってシフト加算信号を生成する。そしてＣＰＵ１２１は、シフト加算信号に基づいてコントラスト評価値を算出し、コントラスト評価値に基づいて第２デフォーカス量Ｄｅｆ２を検出（算出）する。
【００８２】
本実施形態の撮像素子１０７では、図４および図５に示されるように、第１焦点検出画素が受光する光束と第２焦点検出画素が受光する光束との加算値が、撮像画素が受光する光束となる。ＣＰＵ１２１は、リフォーカス方式の焦点検出（第２焦点検出）の際に、位相差方式の焦点検出（第１焦点検出）とは異なり、第１焦点検出信号と第２焦点検出信号とのシフト加算信号（リフォーカス信号）に基づいて焦点検出を行う。このため、第２焦点検出で用いられるシフト加算信号に対応する光束、および、撮像信号に対応する光束は、互いに略一致する。このため、結像光学系の各収差（球面収差、非点収差、コマ収差など）のシフト加算信号への影響と撮像信号への影響も略同一である。したがって、リフォーカス方式の焦点検出（第２焦点検出）により算出される合焦位置（第２デフォーカス量Ｄｅｆ２が０となる位置）と撮像信号の最良合焦位置（撮像信号のＭＴＦピーク位置）とは、たがいに略一致する。このように、リフォーカス方式の焦点検出（第２焦点検出）は、位相差方式の焦点検出（第１焦点検出）よりも高精度である。
【００８３】
図１５は、本実施形態における第２フィルタ処理後の第１焦点検出信号および第２焦点検出信号の例である。図１５は、図１０に示される第１焦点検出信号（破線）および第２焦点検出信号（実線）に対して、第２フィルタ処理を施した後の第１焦点検出信号（破線）および第２焦点検出信号（実線）をそれぞれ示している。図１６は、第２フィルタ処理後の第１焦点検出信号および第２焦点検出信号をシフト加算したシフト加算信号の例である。図１６は、第２フィルタ処理後の第１焦点検出信号（破線）および第２焦点検出信号（実線）のそれぞれを、相対的に−２、−１、０、１、２画素だけシフトさせてシフト加算したシフト加算信号（リフォーカス信号）を示している。シフト量の変化に伴い、シフト加算信号のピーク値が変化することがわかる。図１７は、各シフト加算信号に基づいて算出されたコントラスト評価値（第２評価値）の例である。
【００８４】
図１２は、リフォーカス方式の焦点検出（第２焦点検出）による第２デフォーカス量Ｄｅｆ２（実線）の例を示している。図１２に示されるように、設定デフォーカス量が０である最良合焦位置において、第２焦点検出による第２デフォーカス量Ｄｅｆ２は、第１焦点検出による第１デフォーカス量Ｄｅｆ１よりも小さい（すなわち、設定デフォーカス量０に近い）。このため、より高精度に焦点検出することができる。このように本実施形態では、結像光学系の設定デフォーカス量０の最良合焦位置近傍において、リフォーカス方式の焦点検出（第２焦点検出）は、位相差方式の焦点検出（第１焦点検出）よりも高精度である。
【００８５】
［リフォーカス可能範囲］
一方、リフォーカス可能範囲には限界があるため、リフォーカス方式の焦点検出（第２焦点検出）により高精度に焦点検出可能なデフォーカス量の範囲は制限される。
【００８６】
図１８は、本実施形態におけるリフォーカス可能範囲の説明図である。許容錯乱円をδ、結像光学系の絞り値をＦとすると、絞り値Ｆでの被写界深度は±Ｆδである。一方、ＮＨ×ＮＶ（２×１）分割されて狭くなった瞳部分領域５０１（５０２）の水平方向の実効絞り値Ｆ０１（Ｆ０２）は、Ｆ０１＝ＮＨＦとなり暗くなる。また、第１焦点検出信号（第２焦点検出信号）毎の実効的な被写界深度は、±ＮＨＦδとなってＮＨ倍深くなり、合焦範囲はＮＨ倍に広がる。実効的な被写界深度±ＮＨＦδの範囲内では、第１焦点検出信号（第２焦点検出信号）毎に合焦した被写体像が取得されている。このため、図１３に示される主光線の角度θａ（θｂ）に沿って第１焦点検出信号（第２焦点検出信号）を平行移動するリフォーカス処理により、撮影後に、合焦位置を再調整（リフォーカス）することができる。したがって、撮影後に合焦位置を再調整（リフォーカス）可能な撮像面からのデフォーカス量ｄは制限され、デフォーカス量ｄのリフォーカス可能範囲は、概ね、以下の式（３）で表される範囲となる。
【００８７】
【数３】
2015203783.tif 000005
【００８８】
許容錯乱円δは、δ＝２ΔＸ（画素周期ΔＸのナイキスト周波数１／（２ΔＸ）の逆数）などで規定される。必要に応じて、第２画素加算処理後の第１焦点検出信号（第２焦点検出信号）の周期ΔＸＡＦ（＝６ΔＸ：６画素加算の場合）のナイキスト周波数１／（２ΔＸＡＦ）の逆数を許容錯乱円δ＝２ΔＸＡＦとしても用いてもよい。
【００８９】
リフォーカス方式の焦点検出（第２焦点検出）が高精度に実行可能なデフォーカス量の範囲は、概ね、式（３）の範囲に制限される。ここで、第２焦点検出により高精度に検出可能なデフォーカス範囲は、位相差方式の焦点検出（第１焦点検出）により検出可能なデフォーカス範囲以下の範囲である。図６に示されるように、第１焦点検出信号と第２焦点検出信号との水平方向の相対的なシフト量およびデフォーカス量は、概ね、比例する。
【００９０】
本実施形態において、撮像装置１００は、結像光学系の大デフォーカス状態から小デフォーカス状態まで焦点調節するために第１焦点検出を行い、結像光学系の小デフォーカス状態から最良合焦位置近傍まで焦点調節するために第２焦点検出を行う。このため、第２焦点検出の第２フィルタ処理の通過帯域が、第１焦点検出の第１フィルタ処理の通過帯域より高周波帯域を含むことが好ましい。また、第２焦点検出の第２画素加算処理の画素加算数が、第１焦点検出の第１画素加算処理の画素加算数以下であることが好ましい。
【００９１】
前述のように、結像光学系の絞り値が所定絞り値以下の場合、位相差方式の焦点検出（第１焦点検出）の精度が低下する場合がある。このため、必要に応じて、結像光学系の絞り値が所定絞り値以下の場合、位相差方式の焦点検出（第１焦点検出）に加えて、リフォーカス方式の焦点検出（第２焦点検出）により第２デフォーカス量Ｄｅｆ２を検出し、高精度な焦点検出を行うことが好ましい。
【００９２】
［信頼性判定結果の利用］
リフォーカス範囲が前述のリフォーカス可能範囲外である場合、第２焦点検出により得られる第２デフォーカス量Ｄｅｆ２の信頼性は低下する。このため、図１４のステップＳ２６０を参照して説明したように、ＣＰＵ１２１（制御手段１２１ｃ）は、図１７における山形状の急峻性、または、評価値の最大値と最小値との差分値に基づいて信頼性判定を行う。
【００９３】
図１９は、撮像装置１００（カメラ）によるＡＦ動作を示すフローチャートである。図１９の各ステップは、主に、撮像装置１００のＣＰＵ１２１（第１焦点検出手段１２１ａ、第２焦点検出手段１２１ｂ、制御手段１２１ｃ）、フォーカス駆動回路１２６、および、フォーカスアクチュエータ１１４により実行される。本実施形態において、ＣＰＵ１２１は、操作手段を介してＡＦ動作の開始が指示された場合、第１デフォーカス量Ｄｅｆ１よりも先に第２デフォーカス量Ｄｅｆ２を参照して合焦制御を行う。
【００９４】
まずステップＳ３００において、ＣＰＵ１２１（制御手段１２１ｃ）は、第２デフォーカス量Ｄｅｆ２の信頼性があるか否か、すなわち第２デフォーカス量Ｄｅｆ２の信頼性が所定の判定値よりも低いか否か、を判定する。例えば制御手段１２１ｃは、第２デフォーカス量Ｄｅｆ２がリフォーカス可能範囲にある場合、第２デフォーカス量Ｄｅｆ２の信頼性があると判定する。第２デフォーカス量Ｄｅｆ２の信頼性が低い（所定の判定値よりも低い）と判定された場合、ステップＳ３２０へ進む。一方、第２デフォーカス量Ｄｅｆ２の信頼性が高い（所定の閾値よりも高い）と判定された場合、ステップＳ３１０へ進む。
【００９５】
ステップＳ３１０において、ＣＰＵ１２１（制御手段１２１ｃ）は、第２デフォーカス量Ｄｅｆ２が所定値以下（第２所定値以下）であるか否かを判定する。すなわちＣＰＵ１２１は、第２デフォーカス量Ｄｅｆ２に基づいて合焦判定を行う。第２所定値は、第３レンズ群１０５の位置が、撮像装置１００が合焦と判定する合焦位置からのズレ量の絶対値である。第２デフォーカス量Ｄｅｆ２が第２所定値以下であると判定されることは、十分に合焦している（合焦状態である）ことを意味する。このため、第２デフォーカス量Ｄｅｆ２が第２所定値以下の場合、本フローを終了する。一方、第２デフォーカス量Ｄｅｆ２が、第２所定値を超えている場合、ステップＳ３２０へ進む。
【００９６】
ステップＳ３２０において、ＣＰＵ１２１（第１焦点検出手段１２１ａ）は、図７を参照して説明した位相差方式の焦点検出（第１焦点検出）を行い、第１デフォーカス量Ｄｅｆ１を検出する。続いてステップＳ３３０において、ＣＰＵ１２１（制御手段１２１ｃ）は、ステップＳ３２０にて検出された第１デフォーカス量Ｄｅｆ１が所定値（第１所定値）以下であるか否かを判定する。第１所定値は、実質的にリフォーカス限界（リフォーカス可能範囲）を下回っており、第２デフォーカス量Ｄｅｆ２の信頼性が得られる合焦位置からのズレ量の絶対値である。
【００９７】
ステップＳ３３０にて第１デフォーカス量Ｄｅｆ１が第１所定値よりも大きい場合、ステップＳ３４０に進む。ステップＳ３４０において、ＣＰＵ１２１は、フォーカス駆動回路１２６およびフォーカスアクチュエータ１１４を制御し、第３レンズ群１０５（フォーカスレンズ群）を駆動する（レンズ駆動）。このレンズ駆動は、第１デフォーカス量Ｄｅｆ１が第１所定値以下になるまで行われる。このように制御手段１２１ｃは、第２デフォーカス量の信頼性がない場合、または、第２デフォーカス量が第２所定値よりも大きい場合（すなわち第２デフォーカス量が所定の条件を満たしていない場合）、第１デフォーカス量Ｄｅｆ１に基づいて合焦制御を行う。このとき制御手段１２１ｃは、第１デフォーカス量Ｄｅｆ１が第１所定値よりも大きい場合、第１デフォーカス量Ｄｅｆ１に基づいて合焦制御を行う。
【００９８】
一方、ステップＳ３３０にて第１デフォーカス量Ｄｅｆ１が第１所定値以下であると判定された場合、ステップＳ３５０へ進む。ステップＳ３５０において、ＣＰＵ１２１（第２焦点検出手段１２１ｂ）は、図１４を参照して説明したリフォーカス方式の焦点検出（第２焦点検出）を行い、第２デフォーカス量Ｄｅｆ２を検出する。すなわち第２焦点検出手段１２１ｂは、第１デフォーカス量Ｄｅｆ１が第１所定値以下である場合、第２デフォーカス量を新たに算出する。
【００９９】
続いてステップＳ３６０において、ＣＰＵ１２１（制御手段１２１ｃ）は、ステップＳ３５０にて検出された第２デフォーカス量Ｄｅｆ２が所定値（第２所定値）以下であるか否かを判定する。ステップＳ３６０にて第２デフォーカス量Ｄｅｆ２が第２所定値よりも大きい場合、ステップＳ３７０に進む。ステップＳ３７０において、ＣＰＵ１２１（制御手段１２１ｃ）は、フォーカス駆動回路１２６およびフォーカスアクチュエータ１１４を制御し（合焦制御を行い）、第３レンズ群１０５（フォーカスレンズ群）を駆動する（レンズ駆動）。このレンズ駆動は、第２デフォーカス量Ｄｅｆ２が第２所定値以下になるまで行われる。一方、ステップＳ３６０にて第２デフォーカス量Ｄｅｆ２が第２所定値以下である場合、制御手段１２１ｃは合焦状態であると判定し、本フローを終了する。
【０１００】
前述のように、撮像素子１０７の複数の画素は、第１画素（第１焦点検出画素）および第２画素（第２焦点検出画素）を含む。第１焦点検出手段（第１算出手段）は、第１評価値として、第１画素から出力される第１焦点検出信号と第２画素から出力される第２焦点検出信号との間の相関量に基づいて第１デフォーカス量を算出する。第２算出手段は、第２評価値として、第１焦点検出信号と第２焦点検出信号との加算信号のコントラスト評価値に基づいて第２デフォーカス量を算出する。第１算出手段は、第１焦点検出信号および第２焦点検出信号に対して第１周波数帯域を通過させる第１フィルタ処理を行って相関量を算出する。第２算出手段は、第１焦点検出信号および第２焦点検出信号に対して第２周波数帯域を通過させる第２フィルタ処理を行ってコントラスト評価値を算出する。本実施形態において、第２周波数帯域は、前記第１周波数帯域よりも高い帯域を含む。
【０１０１】
このように第２焦点検出の際には、第１焦点検出と比較して、高帯域のフィルタ処理が行われる。このため、設定デフォーカス量が０の場合、第２焦点検出による第２デフォーカス量Ｄｅｆ２は、第１焦点検出による第１デフォーカス量Ｄｅｆ１よりも小さい。したがって、図１９のステップＳ３００、Ｓ３１０において、ＣＰＵ１２１は既に取得されている最新の第２デフォーカス量Ｄｅｆ２の値を参照することにより、第３レンズ群１０３が既に合焦位置にある場合の不要なレンズ駆動を回避することができる。図１９のフローチャートでは、第１焦点検出および第２焦点検出を逐次行っている形で表現しているが、本実施形態はこれに限定されるものではない。第１焦点検出および第２焦点検出の結果（検出信号）が同時に出力される構成でも、第２デフォーカス量Ｄｅｆ２を先に参照することで同様の結果が得られる。
【０１０２】
［その他の実施形態］
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。
【０１０３】
以上のように本実施形態の撮像装置は、相関値を取得する第１焦点検出手段およびコントラスト評価値を取得する第２焦点検出手段のフィルタ帯域の違いによるズレを考慮して、不要な駆動を低減することができる。このため本実施形態によれば、高速かつ高精度な合焦制御が可能な撮像装置、制御装置、制御方法、プログラム、および、記憶媒体を提供することができる。
【０１０４】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１０５】
１００  撮像装置
１０７  撮像素子
１２１ａ  第１焦点検出手段（第１算出手段）
１２１ｂ  第２焦点検出手段（第２算出手段）
１２１ｃ  制御手段
【図５】
2015203783.tif 000006
【図６】
2015203783.tif 000007
【図８】
2015203783.tif 000008
【図１】
2015203783.tif 000009
【図２】
2015203783.tif 000010
【図３】
2015203783.tif 000011
【図４】
2015203783.tif 000012
【図７】
2015203783.tif 000013
【図９】
2015203783.tif 000014
【図１０】
2015203783.tif 000015
【図１１】
2015203783.tif 000016
【図１２】
2015203783.tif 000017
【図１３】
2015203783.tif 000018
【図１４】
2015203783.tif 000019
【図１５】
2015203783.tif 000020
【図１６】
2015203783.tif 000021
【図１７】
2015203783.tif 000022
【図１８】
2015203783.tif 000023
【図１９】
2015203783.tif 000024