(57)【要約】【課題】高精度な焦点検出が可能な制御装置を提供する。【解決手段】制御装置（１２１）は、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部（３０１、３０２、３０３）のうち、第１光電変換部群（３０１、３０３）から取得される信号の第１評価値に基づいて焦点検出を行う第１焦点検出手段（１２１ａ）と、複数の光電変換部のうち、第１光電変換部群とは異なる第２光電変換部群（３０１、３０２、３０３）から取得される信号を用いて算出される第２評価値に基づいて焦点検出を行う第２焦点検出手段（１２１ｂ）とを有する。【選択図】図２
2017097142.tif 000002
【特許請求の範囲】
【請求項１】
結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部のうち、第１光電変換部群から取得される信号の第１評価値に基づいて焦点検出を行う第１焦点検出手段と、
前記複数の光電変換部のうち、前記第１光電変換部群とは異なる第２光電変換部群から取得される信号を用いて算出される第２評価値に基づいて焦点検出を行う第２焦点検出手段と、を有することを特徴とする制御装置。
【請求項２】
前記第１評価値は、前記第１光電変換部群から取得される前記信号の相関量であり、
前記第２評価値は、前記第２光電変換部群から取得される前記信号を用いて算出されるコントラスト評価値である、ことを特徴とする請求項１に記載の制御装置。
【請求項３】
前記第１焦点検出手段は、前記相関量に基づいて第１デフォーカス量を算出し、
前記第２焦点検出手段は、前記第２光電変換部群から取得される前記信号に対してシフト処理と加算処理とを行うことによりシフト加算信号を生成し、該シフト加算信号を用いて算出された前記コントラスト評価値に基づいて第２デフォーカス量を算出する、ことを特徴とする請求項２に記載の制御装置。
【請求項４】
前記結像光学系に含まれるフォーカスレンズを駆動するフォーカス制御手段を更に有し、
前記フォーカス制御手段は、
前記第１デフォーカス量に基づいて前記フォーカスレンズを駆動し、
前記第１デフォーカス量が所定量よりも小さくなった場合、前記第２デフォーカス量に基づいて前記フォーカスレンズを駆動する、ことを特徴とする請求項３に記載の制御装置。
【請求項５】
前記第１焦点検出手段は、位相差方式の焦点検出を行い、
前記第２焦点検出手段は、リフォーカス方式の焦点検出を行うことを特徴とする請求項１乃至４のいずれか１項に記載の制御装置。
【請求項６】
結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部を有する撮像素子と、
前記複数の光電変換部のうち、第１光電変換部群から取得される信号の第１評価値に基づいて焦点検出を行う第１焦点検出手段と、
前記複数の光電変換部のうち、前記第１光電変換部群とは異なる第２光電変換部群から取得される信号を用いて算出される第２評価値に基づいて焦点検出を行う第２焦点検出手段と、を有することを特徴とする撮像装置。
【請求項７】
前記第１光電変換部群は、前記複数の光電変換部のうち少なくとも２つの光電変換部を含み、
前記第２光電変換部群は、前記複数の光電変換部のうち少なくとも３つの光電変換部を含む、ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記複数の光電変換部は、
第１瞳部分領域を通過する光束を受光する第１光電変換部と、
第２瞳部分領域を通過する光束を受光する第２光電変換部と、
第３瞳部分領域を通過する光束を受光する第３光電変換部と、を含み、
前記第１光電変換部群は、前記第１光電変換部および前記第３光電変換部を含み、
前記第２光電変換部群は、前記第１光電変換部、前記第２光電変換部、および、前記第３光電変換部を含む、ことを特徴とする請求項６または７に記載の撮像装置。
【請求項９】
前記撮像素子は、前記複数の光電変換部のそれぞれに対応するマイクロレンズを有し、
前記第１光電変換部は、前記マイクロレンズの中心に対して、第１方向に偏倚し、
前記第３光電変換部は、前記マイクロレンズの中心に対して、前記第１方向とは反対の第２方向に偏倚している、ことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記第１光電変換部群は、前記結像光学系の瞳領域を通過する全光束のうち一部の光束を受光し、
前記第２光電変換部群は、前記結像光学系の瞳領域を通過する全光束を受光する、ことを特徴とする請求項６乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記撮像素子は、
前記結像光学系を介して形成される光学像を光電変換して像信号を出力する撮像画素と、
前記焦点検出のために用いられる前記信号を出力する焦点検出画素と、を有することを特徴とする請求項６乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記撮像素子は、１つのマイクロレンズに対して前記複数の光電変換部を有し、該マイクロレンズが２次元状に配列されていることを特徴とする請求項６乃至１０のいずれか１項に記載の撮像装置。
【請求項１３】
結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部のうち、第１光電変換部群から取得される信号の第１評価値に基づいて第１焦点検出を行うステップと、
前記複数の光電変換部のうち、前記第１光電変換部群とは異なる第２光電変換部群から取得される信号を用いて算出される第２評価値に基づいて第２焦点検出を行うステップと、を有することを特徴とする制御方法。
【請求項１４】
結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部のうち、第１光電変換部群から取得される信号の第１評価値に基づいて第１焦点検出を行うステップと、
前記複数の光電変換部のうち、前記第１光電変換部群とは異なる第２光電変換部群から取得される信号を用いて算出される第２評価値に基づいて第２焦点検出を行うステップと、をコンピュータに実行させることを特徴とするプログラム。
【請求項１５】
請求項１４に記載のプログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子から得られた信号に基づいてオートフォーカス制御を行う撮像装置に関する。
【背景技術】
【０００２】
従来から、焦点検出方法として、撮像素子から得られた信号の相関値に基づいて位相差方式の焦点検出を行う方法（位相差方式による焦点検出方法）が知られている。また、撮像素子から得られた信号から得られたコントラスト評価値に基づいて焦点検出を行う方法（コントラスト方式による焦点検出方法）が知られている。
【０００３】
特許文献１には、相関計算手段およびコントラスト評価手段により得られるピント位置に基づいて被写体のピント評価値を決定することにより、高速かつ合焦精度の高いフォーカス制御が可能な撮像装置が開示されている。特許文献２には、マイクロレンズと光電変換部との間の相対位置が偏倚している画素を２次元的に複数配置した撮像素子が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−０２５２４６号公報
【特許文献２】特許第３５９２１４７号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１には、位相差方式の焦点検出およびコントラスト方式の焦点検出のそれぞれにおいて用いられる画素（焦点検出画素）の適切な選択方法について記載されていない。このため、例えば特許文献２に開示されている撮像素子からの焦点検出信号を用いて、特許文献１のコントラスト評価手段による焦点検出を行うと、焦点検出範囲が狭いため、焦点検出精度が低下してしまう。
【０００６】
そこで本発明は、高精度な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供する。
【課題を解決するための手段】
【０００７】
本発明の一側面としての制御装置は、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部のうち、第１光電変換部群から取得される信号の第１評価値に基づいて焦点検出を行う第１焦点検出手段と、前記複数の光電変換部のうち、前記第１光電変換部群とは異なる第２光電変換部群から取得される信号を用いて算出される第２評価値に基づいて焦点検出を行う第２焦点検出手段とを有する。
【０００８】
本発明の他の側面としての撮像装置は、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部を有する撮像素子と、前記複数の光電変換部のうち、第１光電変換部群から取得される信号の第１評価値に基づいて焦点検出を行う第１焦点検出手段と、前記複数の光電変換部のうち、前記第１光電変換部群とは異なる第２光電変換部群から取得される信号を用いて算出される第２評価値に基づいて焦点検出を行う第２焦点検出手段とを有する。
【０００９】
本発明の他の側面としての制御方法は、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部のうち、第１光電変換部群から取得される信号の第１評価値に基づいて第１焦点検出を行うステップと、前記複数の光電変換部のうち、前記第１光電変換部群とは異なる第２光電変換部群から取得される信号を用いて算出される第２評価値に基づいて第２焦点検出を行うステップとを有する。
【００１０】
本発明の他の側面としてのプログラムは、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部のうち、第１光電変換部群から取得される信号の第１評価値に基づいて第１焦点検出を行うステップと、前記複数の光電変換部のうち、前記第１光電変換部群とは異なる第２光電変換部群から取得される信号を用いて算出される第２評価値に基づいて第２焦点検出を行うステップと、をコンピュータに実行させる。
【００１１】
本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。
【００１２】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【００１３】
本発明によれば、高精度な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態における撮像装置のブロック図である。
【図２】本実施形態における撮像素子の画素配列図である。
【図３】本実施形態における撮像素子の画素構造図である。
【図４】本実施形態における撮像素子および瞳分割機能の説明図である。
【図５】本実施形態における撮像素子および瞳分割機能の説明図である。
【図６】本実施形態におけるデフォーカス量と像ずれ量と関係図である。
【図７】本実施形態における第１焦点検出処理を示すフローチャートである。
【図８】本実施形態における焦点検出信号の瞳ずれによるシェーディングの説明図である。
【図９】本実施形態におけるリフォーカス処理の説明図である。
【図１０】本実施形態における第２焦点検出処理を示すフローチャートである。
【図１１】本実施形態におけるリフォーカス可能範囲の説明図である。
【図１２】本実施形態におけるフォーカス制御を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【００１６】
［全体構成］
まず、図１を参照して、本実施形態における撮像装置の概略構成について説明する。図１は、本実施形態における撮像装置１００（カメラ）のブロック図である。撮像装置１００は、カメラ本体とカメラ本体に着脱可能な交換レンズ（結像光学系）とを備えたデジタルカメラシステムである。ただし本実施形態は、これに限定されるものではなく、カメラ本体とレンズとが一体的に構成された撮像装置にも適用可能である。
【００１７】
第１レンズ群１０１は、撮影レンズ（結像光学系）を構成する複数のレンズ群のうち最も前方（被写体側）に配置されており、光軸ＯＡの方向（光軸方向）に進退可能な状態でレンズ鏡筒に保持される。絞り兼用シャッタ１０２（絞り）は、その開口径を調節することで撮影時の光量調節を行うとともに、静止画撮影時には露光時間調節用シャッタとして機能する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体的に光軸方向に進退し、第１レンズ群１０１の進退動作と連動して変倍動作を行うズーム機能を有する。第３レンズ群１０５は、光軸方向に進退することにより焦点調節（フォーカス動作）を行うフォーカスレンズ群である。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。
【００１８】
撮像素子１０７は、結像光学系を介して形成された被写体像（光学像）を光電変換して像信号を出力する。撮像素子１０７は、例えばＣＭＯＳセンサまたはＣＣＤセンサ、および、その周辺回路により構成され、結像光学系の結像面に配置される。撮像素子１０７としては、例えば、横方向にｍ個の画素、縦方向にｎ個の画素を有する受光ピクセル上にベイヤー配列の原色カラーモザイクフィルタをオンチップで形成した２次元単板カラーセンサが用いられる。
【００１９】
ズームアクチュエータ１１１は、不図示のカム筒を回動（駆動）することで第１レンズ群１０１および第２レンズ群１０３を光軸方向に沿って移動させることにより、変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して光量（撮影光量）を調節するとともに、静止画撮影時の露光時間を制御する。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。
【００２０】
電子フラッシュ１１５は、被写体を照明するために用いられる照明装置である。電子フラッシュ１１５としては、キセノン管を備えた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ補助光手段１１６は、所定の開口パターンを有するマスクの像を、投光レンズを介して、被写体に投影する。これにより、暗い被写体や低コントラストの被写体に対する焦点検出能力を向上させることができる。
【００２１】
ＣＰＵ１２１は、撮像装置１００の種々の制御を司る制御装置（制御手段）である。ＣＰＵ１２１は、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、および、通信インターフェイス回路などを有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムを読み出して実行することにより、撮像装置１００の各種回路を駆動し、焦点検出（ＡＦ）、撮影、画像処理、または、記録などの一連の動作を制御する。
【００２２】
ＣＰＵ１２１は、第１焦点検出手段１２１ａ、第２焦点検出手段１２１ｂ、および、フォーカス制御手段１２１ｃを有する。第１焦点検出手段１２１ａは、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部３０１、３０２、３０３のうち、第１光電変換部群（光電変換部３０１、３０３）から取得される信号の第１評価値に基づいて焦点検出を行う。第２焦点検出手段１２１ｂは、複数の光電変換部のうち、第１光電変換部群とは異なる第２光電変換部群（光電変換部３０１、３０２、３０３）から取得される信号を用いて算出される第２評価値に基づいて焦点検出を行う。フォーカス制御手段１２１ｃは、結像光学系に含まれる第３レンズ群１０５（フォーカスレンズ）を駆動する。
【００２３】
電子フラッシュ制御回路１２２は、撮影動作に同期して電子フラッシュ１１５の点灯制御を行う。補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光手段１１６の点灯制御を行う。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５は、撮像素子１０７から出力された画像データのγ（ガンマ）変換、カラー補間、または、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）圧縮などの処理を行う。
【００２４】
フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に沿って移動させることにより、焦点調節を行う。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動して、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９は、撮影者のズーム操作に応じて、ズームアクチュエータ１１１を駆動する。
【００２５】
表示器１３１は、例えばＬＣＤ（液晶表示装置）を備えて構成される。表示器１３１は、撮像装置１００の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、または、焦点検出時の合焦状態表示画像などを表示する。操作部１３２（操作スイッチ群）は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、および、撮影モード選択スイッチなどを備えて構成される。レリーズスイッチは、半押し状態（ＳＷ１がＯＮの状態）、および、全押し状態（ＳＷ２がＯＮの状態）の２段階のスイッチを有する。記録媒体１３３は、例えば撮像装置１００に着脱可能なフラッシュメモリであり、撮影画像（画像データ）を記録する。
【００２６】
［撮像素子］
次に、図２および図３を参照して、本実施形態における撮像素子１０７の画素配列および画素構造について説明する。図２は、撮像素子１０７の画素配列図であり、撮像画素および焦点検出画素を含む６列×４行の範囲の画素（撮像画素）の配列を示している。図２において、紙面右側を＋Ｘ方向、紙面上側を＋Ｙ方向、紙面手前側を＋Ｚ方向としている。本実施形態は、図２のような撮像画素および焦点検出画素が含まれる撮像素子について説明するが、これに限定されるものではない。例えば、特開２００２−２５０８６０号公報に開示されているような、画素を複数分割して、１画素で撮像画素と焦点検出画素とを兼ねる撮像素子にも、本実施形態は適用可能である。
【００２７】
図２に示されるように、撮像素子１０７は、２列×２行の画素群２００および２列×２行の画素群２０１をそれぞれ有する。２列×２行の画素群２００は、左上にＲ（赤）の分光感度を有する画素２００Ｒ、右上と左下にＧ（緑）の分光感度を有する画素２００Ｇ、右下にＢ（青）の分光感度を有する画素２００Ｂを含む。本実施形態において、画素２００Ｒ、２００Ｇ、２００Ｇをそれぞれ撮像画素という。
【００２８】
２列×２行の画素群２０１は、左上にＧ（緑）の分光感度を有する焦点検出画素２０１Ｇｓ（Ｇｓ１、Ｇｓ２、Ｇｓ３）、右上と左下のそれぞれにＧ（緑）の分光感度を有する画素２０１Ｇ、右下にＢ（青）の分光感度を有する画素２０１Ｂをそれぞれ有する。焦点検出画素２０１Ｇｓ（Ｇｓ１、Ｇｓ２、Ｇｓ３）には開口が形成されており、Ｘ方向における位置に応じて、その開口の位置は変化する。すなわち焦点検出画素Ｇｓ１、Ｇｓ２、Ｇｓ３には、Ｘ方向において互いに異なる位置に開口が形成されている。なお本実施形態は、焦点検出画素２０１Ｇｓを３つの焦点検出画素Ｇｓ１、Ｇｓ２、Ｇｓ３に分割している（分割画素数は３である）ものとして説明するが、これに限定されるものではない。焦点検出画素２０１Ｇｓの分割数が３よりも大きい数であっても、本実施形態は適用可能である。また本実施形態は、左上の焦点検出画素２０１ＧｓはＧ（緑）の分光感度を有するものとして説明するが、これに限定されるものではない。例えば、焦点検出画素２０１Ｇｓは、Ｇ（緑）の分光感度を有する代わりに透明膜であってもよい。
【００２９】
図２に示されるように、撮像素子１０７は、２列×２行の画素群２０１および画素群２００を撮像面上に多数配置し、撮像信号および焦点検出信号を取得可能に構成されている。
【００３０】
図３は、撮像素子１０７の画素構造図である。図３（ａ）は撮像素子１０７の撮像画素ＲＧＢ（例えば画素２００Ｒ、２００Ｇ、２００Ｂ）および焦点検出画素Ｇｓ１、Ｇｓ２、Ｇｓ３の平面図（＋ｚ方向から見た図）を示している。図３（ｂ）は、図３（ａ）中の線Ａ−Ａ、ａ−ａ、ｂ−ｂ、ｃ−ｃの断面図（−ｙ方向から見た図）をそれぞれ示している。
【００３１】
図３（ｂ）に示されるように、撮像画素ＲＧＢおよび焦点検出画素Ｇｓ１、Ｇｓ２、Ｇｓ３はそれぞれ、＋Ｚ側から各画素の受光側に入射光を集光するためのマイクロレンズ３０５、入射光を分光するカラーフィルタ３０６が形成されている。また、撮像画素ＲＧＢおよび焦点検出画素Ｇｓ１、Ｇｓ２、Ｇｓ３には、マイクロレンズ３０５およびカラーフィルタ３０６の下側に、光電変換部３００、３０１、３０２、３０３がそれぞれ形成されている。必要に応じて、焦点検出画素Ｇｓ１、Ｇｓ２、Ｇｓ３のカラーフィルタは、異なる分光透過率を有することができ、または省略してもよい。
【００３２】
図３（ａ）、（ｂ）に示されるように、焦点検出画素Ｇｓ１、Ｇｓ２、Ｇｓ３の光電変換部３０１、３０２、３０３は、撮像素子ＲＧＢの光電変換部３００よりも小さい。本実施形態では、撮像素子ＲＧＢが３つの焦点検出画素Ｇｓ１、Ｇｓ２、Ｇｓ３に分割されていることに相当するため、光電変換部３０１、３０２、３０３の大きさはそれぞれ、光電変換部３００の３分の１となる。また、焦点検出画素Ｇｓ１、Ｇｓ２、Ｇｓ３の光電変換部３０１、３０２、３０３は、−ｘ方向、中央、＋ｘ方向にそれぞれ偏倚されて形成されている。
【００３３】
光電変換部３００、３０１、３０２、３０３においては、受光量に応じて電子とホールとの対が生成され、それらが空乏層で分離された後、負電荷の電子はｎ型層に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて、撮像素子１０７の外部へ排出される。光電変換部３００、３０１、３０２、３０３のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。
【００３４】
続いて、図４を参照して、撮像素子１０７の瞳分割機能について説明する。図４は、撮像素子１０７の瞳分割機能の説明図であり、１つの画素（撮像画素および焦点検出画素）における瞳分割の様子を示している。図４は、図３（ａ）に示される画素構造のＡ−Ａ断面、ａ−ａ断面、ｂ−ｂ断面、ｃ−ｃ断面をそれぞれ＋ｙ側から見た断面図、および、結像光学系の射出瞳面を−Ｚ側から見た平面図をそれぞれ示している。図４中の平面図は、Ｘ軸を中心として図４中の断面図を９０度回転させて示している。図４では、射出瞳面の座標軸と対応を取るため、断面図のｘ軸およびｙ軸を図３のｘ軸およびｙ軸に対してそれぞれ反転させている。
【００３５】
図４の左側に、撮像画素ＲＧＢが示されている。瞳領域５００は、光電変換部３００の受光面とマイクロレンズ３０５とにより、略共役関係になっており、撮像画素ＲＧＢで受光可能な瞳領域を示している。また、焦点検出画素Ｇｓ１、Ｇｓ２、Ｇｓ３の瞳部分領域５０１、５０２、５０３は、それぞれ、重心が−ｘ方向、中央、＋ｘ方向に偏倚している光電変換部３０１、３０２、３０３の受光面と、マイクロレンズとにより、略共役関係になっている。瞳部分領域５０１、５０２、５０３は、焦点検出画素Ｇｓ１、Ｇｓ２、Ｇｓ３で受光可能な瞳部分領域を示している。このため、焦点検出画素Ｇｓ１、Ｇｓ２、Ｇｓ３の瞳部分領域５０１、５０２、５０３は、それぞれ瞳面上で＋Ｘ方向、中央、−Ｘ方向に重心が偏倚している。このように撮像素子１０７は、複数の光電変換部のそれぞれに対応するマイクロレンズ３０５を有する。光電変換部３０１（第１光電変換部）は、マイクロレンズ３０５の中心に対して、−ｘ方向（第１方向）に偏倚している。光電変換部３０３（第３光電変換部）は、マイクロレンズ３０５の中心に対して、＋ｘ方向（第１方向とは反対の第２方向）に偏倚している。
【００３６】
図５は、撮像素子１０７と瞳分割機能の説明図である。結像光学系の瞳領域のうち互いに異なる瞳部分領域５０１、５０２、５０３を通過した光束は、撮像素子１０７の各画素に互いに異なる角度で撮像素子１０７の撮像面８００に入射する。すなわち、瞳部分領域５０１、５０２、５０３を通過した光束は、３分割された焦点検出画素Ｇｓ１、Ｇｓ２、Ｇｓ３でそれぞれ受光される。
【００３７】
このように本実施形態において、撮像素子１０７には、撮像画素ＲＧＢおよび焦点検出画素Ｇｓ１、Ｇｓ２、Ｇｓ３が複数配列されている。撮像画素ＲＧＢは、結像光学系の瞳領域を通過する全光束を受光する。焦点検出画素Ｇｓ１、Ｇｓ２、Ｇｓ３は、結像光学系の瞳部分領域を通過する光束（瞳領域を通過する全光束の一部）を受光する。撮像装置１００は、焦点検出画素Ｇｓ１、Ｇｓ２、Ｇｓ３の受光信号を集めて焦点検出信号を生成し、焦点検出を行う。また撮像装置１００は、撮像画素ＲＧＢの撮像信号と、焦点検出画素Ｇｓ１、Ｇｓ２、Ｇｓ３の位置に相当する信号をそれぞれ補間して算出した補間信号とを用いて、有効画素数Ｎの解像度の画像信号（撮像画像）を生成する。
【００３８】
［デフォーカス量と像ずれ量の関係］
次に、図６を参照して、撮像素子１０７の焦点検出画素Ｇｓ１から取得される焦点検出信号ＳＧｓ１および焦点検出画素Ｇｓ３から取得される焦点検出信号ＳＧｓ３のデフォーカス量と像ずれ量との関係について説明する。図６は、デフォーカス量ｄと像ずれ量ｐとの関係図である。図６において、撮像素子１０７は撮像面８００に配置されており、図４および図５と同様に、結像光学系の射出瞳が瞳部分領域５０１、５０２、５０３に３分割されている様子が示されている。なお図６は、撮像素子１０７の焦点検出画素Ｇｓ１、Ｇｓ３を含む画素行を示している。
【００３９】
デフォーカス量ｄは、被写体の結像位置から撮像面８００までの距離を｜ｄ｜、結像位置が撮像面８００よりも被写体側にある前ピン状態を負符号（ｄ＜０）、結像位置が撮像面８００よりも被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面８００（合焦位置）にある合焦状態において、デフォーカス量ｄ＝０が成立する。図６において、合焦状態（ｄ＝０）である被写体８０１、および、前ピン状態（ｄ＜０）である被写体８０２がそれぞれ示されている。前ピン状態（ｄ＜０）および後ピン状態（ｄ＞０）を併せて、デフォーカス状態（｜ｄ｜＞０）という。
【００４０】
前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、瞳部分領域５０１（または瞳部分領域５０３）を通過した光束は、一度、集光する。その後、光束は、光束の重心位置Ｇ１（Ｇ３）を中心とする幅Γ１（Γ３）に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子１０７に配列された焦点検出画素Ｇｓ１（焦点検出画素Ｇｓ３）により受光され、焦点検出信号ＳＧｓ１（焦点検出信号ＳＧｓ３）が生成される。このため、焦点検出信号ＳＧｓ１（焦点検出信号ＳＧｓ３）は、撮像面８００上の重心位置Ｇ１（Ｇ３）に、被写体８０２が幅Γ１（Γ３）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ３）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、焦点検出信号ＳＧｓ１と焦点検出信号ＳＧｓ３との間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ３）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加する。後ピン状態（ｄ＞０）に関しても同様であるが、焦点検出信号ＳＧｓ１と焦点検出信号ＳＧｓ３と間の被写体像の像ずれ方向が前ピン状態と反対となる。
【００４１】
［焦点検出］
次に、本実施形態における焦点検出について説明する。本実施形態の撮像装置１００（第１焦点検出手段１２１ａ）は、位相差方式の焦点検出（第１焦点検出）を行う。また撮像装置１００（第２焦点検出手段１２１ｂ）は、デフォーカス量と像ずれ量との関係に基づいて、リフォーカス原理に基づく方式（リフォーカス方式）の焦点検出（第２焦点検出）を行う。本実施形態において、撮像装置１００は、大デフォーカス状態から小デフォーカス状態まで焦点調節を行うために第１焦点検出を行い、小デフォーカス状態から最良合焦位置近傍まで焦点調節を行うために第２焦点検出を行う。
【００４２】
本実施形態において、第１焦点検出手段１２１ａは、第１焦点検出画素グループ（第１光電変換部群）に含まれる焦点検出画素（光電変換部）を選択する。第２焦点検出手段１２１ｂは、第２焦点検出画素グループ（第２光電変換部群）に含まれる焦点検出画素（光電変換部）を選択する。すなわち、焦点検出に用いられる画素（焦点検出画素）は、焦点検出方式（位相差方式またはリフォーカス方式）に応じて異なる。ここで、第１焦点検出画素グループと第２焦点検出画素グループの選択方法について、瞳が３分割された本実施形態の撮像素子１０７を例として説明する。
【００４３】
まず、位相差方式の焦点検出を行う第１焦点検出手段１２１ａにより選択される第１焦点検出画素グループ（第１光電変換部群）は、図２に示されるように、焦点検出画素Ｇｓ１（ｉ）、Ｇｓ３（ｋ）を含む。第１焦点検出の際には、前述のように、図６の撮像面８００上の重心位置Ｇ１（Ｇ３）の間隔（像ずれ量ｐ）が広いほど、比較する焦点検出信号の分離性が良くなり、第１焦点検出手段は高精度な焦点検出が可能となる。このため本実施形態において、第１焦点検出手段は、焦点検出画素Ｇｓ１（ｉ）、Ｇｓ３（ｋ）を第１焦点検出画素グループとして選択する。なお本実施形態では、瞳を３分割した系について説明しているが、瞳の分割数を３よりも大きくしてもよい。
【００４４】
例えば、瞳を５分割した系について考える。このとき、開口の位置が順に異なる焦点検出画素Ｇｓ１（ｉ）、Ｇｓ２（ｊ）、Ｇｓ３（ｋ）、Ｇｓ４（ｌ）、Ｇｓ５（ｍ）が存在する。その際、第１焦点検出画素グループとして選択される焦点検出画素は、間隔（像ずれ量ｐ）が広くなるように端部の焦点検出画素Ｇｓ１（ｉ）、Ｇｓ５（ｍ）とすることが好ましい。また、第１焦点検出画素グループとして、焦点検出画素Ｇｓ１（ｉ）、Ｇｓ２（ｊ）、Ｇｓ４（ｌ）、Ｇｓ５（ｍ）を選択してもよい。この場合、焦点検出画素Ｇｓ１（ｉ）＋Ｇｓ２（ｊ）および焦点検出画素Ｇｓ４（ｌ）＋Ｇｓ５（ｍ）のように、選択した複数の焦点検出画素を合成した焦点検出信号を用いてもよい。
【００４５】
続いて、リフォーカス方式の焦点検出を行う第２焦点検出手段１２１ｂにより選択される第２焦点検出画素グループ（第２光電変換部群）は、図２に示されるように、焦点検出画素Ｇｓ１（ｉ）、Ｇｓ２（ｊ）、Ｇｓ３（ｋ）を含む。第２焦点検出手段１２１ｂは、瞳部分領域５０１、５０２、５０３からの焦点検出信号ＳＧｓ１（ｉ）、ＳＧｓ２（ｊ）、ＳＧｓ３（ｋ）を相対的にシフトさせた後、加算信号（合算信号）を生成する。このため、加算信号は、瞳の全領域からの光束を加算（合算）した信号になり、撮像信号ＲＧＢと同等の信号に相当する。したがって、リフォーカス方式の第２焦点検出により算出される検出合焦位置（デフォーカス量が０となる位置）と撮像信号の最良合焦位置（撮像信号のＭＴＦピーク位置）とが概ね一致するため、高精度な焦点検出が可能となる。また本実施形態では、瞳を３分割以上の複数に分割することにより、実効的な被写界深度が深くなるようにしている。
【００４６】
なお本実施形態は、図２に示されるような撮像画素および焦点検出画素が含まれる撮像素子１０７について説明しているが、これに限定されるものではない。例えば特開２００２−２５０８６０号公報に開示されているような、１画素を複数分割した撮像素子にも本実施形態は適用可能である。この場合、１画素で撮像画素と焦点検出画素とを兼ねるため、第１焦点検出画素グループと第２焦点検出画素グループに含まれる画素は互いに同一となる。ただし、射出瞳からの光束を複数の光束に分割して受光するため、第１焦点検出画素グループと第２焦点検出画素グループとの間では、画素内において選択される受光領域が互いに異なる。
【００４７】
［位相差方式の第１焦点検出］
次に、位相差方式の第１焦点検出について説明する。第１焦点検出手段は、第１焦点検出画素グループに含まれる焦点検出画素Ｇｓ１、Ｇｓ３から取得される焦点検出信号ＳＧｓ１、ＳＧｓ３を用いて、位相差方式の焦点検出（第１焦点検出）を行う。第１焦点検出手段は、焦点検出信号ＳＧｓ１、ＳＧｓ３を相対的にシフトさせて信号の一致度を表す相関量（第１評価値）を算出し、相関（信号の一致度）が良くなるシフト量から像ずれ量を検出（算出）する。撮像信号のデフォーカス量ｄの大きさが増加するのに伴い、焦点検出信号ＳＧｓ１と焦点検出信号ＳＧｓ３との間の像ずれ量の大きさが増加する関係性に基づいて、像ずれ量を第１デフォーカス量（Ｄｅｆ１）に変換して焦点検出を行う。
【００４８】
図７を参照して、位相差方式の第１焦点検出処理について説明する。図７は、第１焦点検出処理を示すフローチャートであり、後述の図１２のステップＳ１００に相当する。図７の各ステップは、主に、ＣＰＵ１２１（第１焦点検出手段１２１ａ）および画像処理回路１２５により実行される。
【００４９】
まずステップＳ１１０において、ＣＰＵ１２１は、撮像素子１０７の有効画素領域の中から、第１焦点検出画素グループの焦点検出画素を含む焦点検出領域を設定する。そしてＣＰＵ１２１は、設定された焦点検出領域に含まれる焦点検出画素の受光信号（出力信号）に基づいて、焦点検出信号ＳＧｓ１（Ａ像信号）および焦点検出信号ＳＧｓ３（Ｂ像信号）を生成（取得）する。
【００５０】
続いてステップＳ１２０において、ＣＰＵ１２１および画像処理回路１２５は、焦点検出信号ＳＧｓ１、ＳＧｓ３のそれぞれに対して、シェーディング補正処理（光学補正処理）を行う。ここで、図８を参照して、焦点検出信号ＳＧｓ１、ＳＧｓ３の瞳ずれによるシェーディングについて説明する。図８は、焦点検出信号ＳＧｓ１、ＳＧｓ３の瞳ずれによるシェーディングの説明図である。具体的には、図８は、撮像素子１０７の周辺像高における焦点検出画素Ｇｓ１、Ｇｓ２、Ｇｓ３（第１〜第３焦点検出画素）の瞳部分領域５０１、５０２、５０３と結像光学系の射出瞳４００との関係を示している。
【００５１】
図８（ａ）は、結像光学系の射出瞳距離Ｄｌ（射出瞳４００と撮像素子１０７の撮像面との距離）と、撮像素子１０７の設定瞳距離Ｄｓとが等しい場合を示している。この場合、瞳部分領域５０１、５０２、５０３により、結像光学系の射出瞳４００は略均等に瞳分割される。
【００５２】
一方、図８（ｂ）にされるように、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓよりも短い場合、撮像素子１０７の周辺像高では、結像光学系の射出瞳４００と撮像素子１０７の入射瞳との間に瞳ずれが生じる。このため、結像光学系の射出瞳４００が不均一に瞳分割される。同様に、図８（ｃ）に示されるように、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓよりも長い場合、撮像素子１０７の周辺像高では、結像光学系の射出瞳４００と撮像素子１０７の入射瞳との間に瞳ずれが生じる。このため、結像光学系の射出瞳４００が不均一に瞳分割される。周辺像高で瞳分割が不均一になるのに伴い、焦点検出信号ＳＧｓ１、ＳＧｓ３の強度も互いに不均一となる。このため、焦点検出信号ＳＧｓ１、ＳＧｓ３のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが生じる。
【００５３】
ステップＳ１２０では、ＣＰＵ１２１は、焦点検出領域の像高、撮像レンズ（結像光学系）のＦ値、および、射出瞳距離に応じて、焦点検出信号ＳＧｓ１のシェーディング補正係数ＳＨＤ１および焦点検出信号ＳＧｓ３のシェーディング補正係数ＳＨＤ３を生成する。そしてＣＰＵ１２１（画像処理回路１２５）は、焦点検出信号ＳＧｓ１、ＳＧｓ３にシェーディング補正係数ＳＨＤ１、ＳＨＤ３をそれぞれ乗算して、焦点検出信号ＳＧｓ１、ＳＧｓ３のシェーディング補正処理（光学補正処理）を行う。
【００５４】
位相差方式の第１焦点検出を行う際、ＣＰＵ１２１は、焦点検出信号ＳＧｓ１と焦点検出信号ＳＧｓ３との相関（信号の一致度）に基づいて、デフォーカス量（第１デフォーカス量）を検出（算出）する。瞳ずれによるシェーディングが生じると、焦点検出信号ＳＧｓ１と焦点検出信号ＳＧｓ３との相関（信号の一致度）が低下する場合がある。このため本実施形態において、位相差方式の第１焦点検出の際には、焦点検出信号ＳＧｓ１と焦点検出信号ＳＧｓ３との相関（信号の一致度）を改善して焦点検出性能を向上させるため、シェーディング補正処理（光学補正処理）を行うことが好ましい。
【００５５】
続いてステップＳ１３０において、ＣＰＵ１２１および画像処理回路１２５は、焦点検出信号ＳＧｓ１、ＳＧｓ３に対して、第１フィルタ処理を行う。本実施形態では、位相差方式の第１焦点検出により大デフォーカス状態での焦点検出を行う。このため、第１フィルタ処理における通過帯域は、低周波帯域を含むように構成される。必要に応じて、大デフォーカス状態から小デフォーカス状態まで焦点調節を行う際に、デフォーカス状態に応じて、第１フィルタ処理の通過帯域を調整（例えば、より高周波帯域側に移動）してもよい。
【００５６】
続いてステップＳ１４０において、ＣＰＵ１２１（第１焦点検出手段１２１ａ）は、第１フィルタ処理後の焦点検出信号ＳＧｓ１と焦点検出信号ＳＧｓ３とを相対的に瞳分割方向にシフトさせる第１シフト処理を行う。そしてＣＰＵ１２１は、信号の一致度を表す相関量（第１評価値）を算出する。
【００５７】
ここで、フィルタ処理後のｋ番目の焦点検出信号ＳＧｓ１をＧｓ１（ｋ）、焦点検出信号ＳＧｓ３をＧｓ３（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷとする。また、第１シフト処理によるシフト量をｓ１、シフト量ｓ１のシフト範囲をΓ１とする。このとき、相関量ＣＯＲ（第１評価値）は、以下の式（１）により算出される。
【００５８】
【数１】
2017097142.tif 000003
【００５９】
相関量ＣＯＲの算出の際、シフト量ｓ１のシフト処理により、ｋ番目の焦点検出信号Ｇｓ１（ｋ）と（ｋ−ｓ１）番目の焦点検出信号Ｇｓ３（ｋ−ｓ１）とを対応させ減算し、シフト減算信号を生成する。そして、生成されたシフト減算信号の絶対値を算出し、焦点検出領域に対応する範囲Ｗ内において番号ｋの和を取り、相関量ＣＯＲ（ｓ１）を算出する。必要に応じて、行ごとに算出された相関量（第１評価値）を、シフト量ごとに複数行に渡って加算してもよい。
【００６０】
続いてステップＳ１５０において、ＣＰＵ１２１（第１焦点検出手段１２１ａ）は、相関量（第１評価値）に対してサブピクセル演算を行い、相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐ１を求める。そしてＣＰＵ１２１は、像ずれ量ｐ１に対して、焦点検出領域の像高、撮像レンズ（結像光学系）のＦ値、および、射出瞳距離に応じた第１変換係数Ｋ１を掛けて、第１デフォーカス量Ｄｅｆ１を検出（算出）する。
【００６１】
このように本実施形態において、ＣＰＵ１２１（第１焦点検出手段）は、位相差方式の焦点検出の際に、焦点検出信号ＳＧｓ１および焦点検出信号ＳＧｓ３のそれぞれに対してフィルタ処理およびシフト処理を行って相関量を算出する。そしてＣＰＵ１２１は、算出した相関量に基づいて第１デフォーカス量を検出（算出）する。
【００６２】
［リフォーカス方式の第２焦点検出］
次に、リフォーカス方式の第２焦点検出について説明する。第２焦点検出手段は、第２焦点検出画素グループに含まれる焦点検出画素Ｇｓ１、Ｇｓ２、Ｇｓ３から取得される焦点検出信号ＳＧｓ１、ＳＧｓ２、ＳＧｓ３を用いて、焦点検出（第２焦点検出）を行う。第２焦点検出手段は、焦点検出信号ＳＧｓ１、ＳＧｓ２、ＳＧｓ３を相対的にシフトして加算（合算）し、シフト加算信号（リフォーカス信号）を生成する。そして第２焦点検出手段は、生成されたシフト加算信号（リフォーカス信号）のコントラスト評価値を算出し、コントラスト評価値に基づいて撮像信号のＭＴＦピーク位置を推定し、第２デフォーカス量（Ｄｅｆ２）を検出（算出）する。
【００６３】
図９を参照して、撮像素子１０７から取得された焦点検出信号ＳＧｓ１、ＳＧｓ２、ＳＧｓ３を用いた１次元方向（列方向、水平方向）のリフォーカス処理について説明する。図９は、リフォーカス処理の説明図である。図９の撮像面８００は、図５および図６に示される撮像面８００に相当する。図９では、整数ｉを用いて、撮像面８００に配置された撮像素子１０７の列方向ｉ番目の焦点検出画素の焦点検出信号ＳＧｓ１をＧｓ１（ｉ）として模式的に示している。同様に、整数ｊ、ｋを用いて、撮像面８００に配置された撮像素子１０７の列方向ｊ、ｋ番目の焦点検出画素の焦点検出信号ＳＧｓ２、ＳＧｓ３を、それぞれＧｓ２（ｊ）、Ｇｓ３（ｋ）として模式的に示している（ｊ＝ｉ＋１、ｋ＝ｊ＋１）。なお本実施形態の第２焦点検出では、撮像面８００のように焦点検出画素Ｇｓ１（ｉ）、Ｇｓ２（ｊ）、Ｇｓ３（ｋ）と撮像画素とが交互に配置されている撮像素子の画素行が用いられる。
【００６４】
本実施形態において、焦点検出信号Ｇｓ１（ｉ）、Ｇｓ２（ｊ）、Ｇｓ３（ｋ）はいずれも、１画素おきの離散的な信号となる。焦点検出信号Ｇｓ１（ｉ）は、図５の瞳部分領域５０１に対応する主光線角度θＧｓ１でｉ番目の画素に入射した光束の受光信号である。Ｇｓ２（ｊ）は、図５の瞳部分領域５０２に対応する主光線角度θＧｓ２＝０度でｊ番目の画素に入射した光束の受光信号である。Ｇｓ３（ｋ）は、図５の瞳部分領域５０３に対応する主光線角度θＧｓ３でｋ番目の画素に入射した光束の受光信号である。このように、焦点検出信号Ｇｓ１（ｉ）、Ｇｓ２（ｊ）、Ｇｓ３（ｋ）は、光強度分布情報だけでなく入射角度情報を含む。本実施形態では、焦点検出信号Ｇｓ１（ｉ）を角度θＧｓ１に沿って撮像面８００から仮想結像面８１０まで平行移動させる。同様に、焦点検出信号Ｇｓ２（ｊ）、Ｇｓ３（ｋ）をそれぞれ角度θＧｓ２、θＧｓ３に沿って撮像面８００から仮想結像面８１０まで平行移動させる。そして、平行移動後の焦点検出信号Ｇｓ１（ｉ）、Ｇｓ２（ｊ）、Ｇｓ３（ｋ）を加算（合算）することにより、仮想結像面８１０でのリフォーカス信号を生成することができる。
【００６５】
焦点検出信号Ｇｓ１（ｉ）を角度θＧｓ１に沿って撮像面８００から仮想結像面８１０まで平行移動させることは、列方向に＋２．０画素だけシフトすることに相当する。焦点検出信号Ｇｓ３（ｋ）を角度θＧｓ３に沿って撮像面８００から仮想結像面８１０まで平行移動させることは、列方向に−２．０画素だけシフトすることに相当する。焦点検出信号Ｇｓ２（ｊ）は、本実施形態では角度θＧｓ１＝０度であるため、撮像面８００から仮想結像面８１０まで平行移動させることは、シフトさせないことに相当する。したがって、焦点検出信号Ｇｓ１（ｉ）、Ｇｓ３（ｋ）を相対的に２画素だけシフトさせ、焦点検出信号Ｇｓ１（ｉ）、Ｇｓ２（ｊ）、Ｇｓ３（ｋ）を対応させて加算（合算）することにより、仮想結像面８１０でのリフォーカス信号を生成することができる。そして第２焦点検出手段は、生成されたシフト加算信号（リフォーカス信号）のコントラスト評価値を算出し、算出されたコントラスト評価値に基づいて撮像信号のＭＴＦピーク位置を推定することにより、リフォーカス方式の第２焦点検出を行う。
【００６６】
図１０を参照して、リフォーカス方式の第２焦点検出処理について説明する。図１０は、第２焦点検出処理を示すフローチャートであり、後述の図１２のステップＳ２００に相当する。図１０の各ステップは、主に、ＣＰＵ１２１（第２焦点検出手段１２１ｂ）および画像処理回路１２５により実行される。
【００６７】
まずステップＳ２１０において、ＣＰＵ１２１は、撮像素子１０７の有効画素領域の中から、第２焦点検出画素グループの焦点検出画素を含む焦点検出領域を設定する。そしてＣＰＵ１２１は、設定された焦点検出領域に含まれる焦点検出画素の受光信号（出力信号）に基づいて、焦点検出信号ＳＧｓ１、ＳＧｓ２、ＳＧｓ３を生成（取得）する。
【００６８】
続いてステップＳ２２０において、ＣＰＵ１２１および画像処理回路１２５は、焦点検出信号ＳＧｓ１、ＳＧｓ２、ＳＧｓ３に対して、第２フィルタ処理を行う。本実施形態では、リフォーカス方式の第２焦点検出により、小デフォーカス状態から最良合焦位置近傍まで焦点検出を行う。このため、第２フィルタ処理における通過帯域は、高周波帯域を含むように構成される。必要に応じて、第２フィルタ処理の際に、被写体信号のエッジ抽出を行うラプラシアン型（２階微分型）［１、−２、１］フィルタを用いて、第２フィルタ処理の通過帯域をより高周波帯域に移動してもよい。被写体の高周波成分を抽出して第２焦点検出を行うことにより、焦点検出の精度をより向上させることができる。
【００６９】
続いてステップＳ２３０において、ＣＰＵ１２１（第２焦点検出手段）は、第２フィルタ処理後の焦点検出信号ＳＧｓ１、ＳＧｓ２、ＳＧｓ３を相対的に瞳分割方向にシフトさせるシフト処理を行う。そしてＣＰＵ１２１は、これらの焦点検出信号を加算（合算）し、シフト加算信号（リフォーカス信号）を生成する。またＣＰＵ１２１は、生成されたリフォーカス信号に基づいて、コントラスト評価値（第２評価値）を算出する。
【００７０】
ここで、第２フィルタ処理後のｋ番目の焦点検出信号ＳＧｓ１、ＳＧｓ３をそれぞれＧｓ１（ｋ）、Ｇｓ３（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷとする。また、シフト処理によるシフト量をｓ２、シフト量ｓ２のシフト範囲をΓ２とする。このとき、コントラスト評価値ＲＦＣＯＮ（第２評価値）は、以下の式（２）により算出される。
【００７１】
【数２】
2017097142.tif 000004
【００７２】
シフト量ｓ２のシフト処理により、ｋ番目のＧｓ２（ｋ）と（ｋ−ｓ２）番目のＧｓ１（ｋ−ｓ２）と（ｋ＋ｓ２）番目のＧｓ３（ｋ＋ｓ２）とを対応させて加算し、シフト加算信号を生成する。そしてＣＰＵ１２１は、シフト加算信号の絶対値を算出し、焦点検出領域の範囲Ｗにおける最大値を取り、コントラスト評価値（第２評価値）ＲＦＣＯＮ（ｓ２）を算出する。必要に応じて、行ごとに算出されたコントラスト評価値（第２評価値）をシフト量ごとに、複数行に渡って加算してもよい。
【００７３】
続いてステップＳ２４０において、ＣＰＵ１２１（第２焦点検出手段）は、コントラスト評価値（第２評価値）に基づいて、サブピクセル演算により、コントラスト評価値が最大値となる実数値のシフト量ｐ２を算出する。第２焦点検出手段は、図９中の仮想結像面８１０での焦点検出画素Ｇｓ１（ｉ）、Ｇｓ２（ｊ）（ｊ＝ｉ＋２）、Ｇｓ３（ｋ）（ｋ＝ｊ＋２）を用いて演算を行う。これにより算出されたシフト量ｐ２は、仮想結像面８１０でのコントラスト評価値が最大値となる実数値となる。そしてＣＰＵ１２１は、シフト量ｐ２に対して、焦点検出領域の像高、撮像レンズ（結像光学系）のＦ値、および、射出瞳距離に応じた第２変換係数Ｋ２を掛けて、第２デフォーカス量Ｄｅｆ２を検出（算出）する。
【００７４】
このように本実施形態において、ＣＰＵ１２１（第２焦点検出手段）は、リフォーカス方式の焦点検出の際に、焦点検出信号ＳＧｓ１、ＳＧｓ２、ＳＧｓ３にフィルタ処理およびシフト処理を行う。そしてＣＰＵ１２１は、各処理後の焦点検出信号を加算（合算）し、シフト加算信号（シフト合算信号）を生成する。そしてＣＰＵ１２１は、生成したシフト加算信号を用いてコントラスト評価値を算出し、コントラスト評価値に基づいて第２デフォーカス量Ｄｅｆ２を検出（算出）する。
【００７５】
空間的に離れた焦点検出画素を用いる位相差方式の第１焦点検出とは異なり、リフォーカス方式の第２焦点検出にて用いられる焦点検出信号ＳＧｓ１、ＳＧｓ２、ＳＧｓ３と撮像信号ＲＧＢとは互いに隣接している。このため、シフト加算信号に対応する光束と、撮像信号に対応する光束とが略一致しており、結像光学系の諸収差（球面収差、非点収差、コマ収差など）のシフト加算信号への影響と撮像信号への影響も略同一である。したがって、リフォーカス方式の第２焦点検出により算出される検出合焦位置（第２デフォーカス量Ｄｅｆ２が０となる位置）と撮像信号の最良合焦位置（撮像信号のＭＴＦピーク位置）とが、概ね一致するため、高精度な焦点検出が可能となる。
【００７６】
［リフォーカス可能範囲］
一方、リフォーカス可能範囲には限界があるため、ＣＰＵ１２１（第２焦点検出手段）がリフォーカス方式の第２焦点検出を高精度で実行可能な範囲は制限される。
【００７７】
図１１は、本実施形態におけるリフォーカス可能範囲の説明図である。許容錯乱円をδとし、結像光学系の絞り値をＦとすると、絞り値Ｆでの被写界深度は±Ｆδとなる。これに対して、本実施形態では、受光部が水平方向に１／ＮＨ（１／３）、垂直方向にＮＶ（１）となり、受光部の面積が狭くなった瞳部分領域５０１（５０２、５０３）の水平方向の実効絞り値Ｆ０１（Ｆ０２、Ｆ０３）は、Ｆ０１＝ＮＨＦと暗くなる。焦点検出信号ＳＧｓ１（ＳＧｓ２、ＳＧｓ３）ごとの実効的な被写界深度は、±ＮＨＦδとＮＨ倍深くなり、合焦範囲がＮＨ倍に広がる。実効的な被写界深度±ＮＨＦδの範囲内では、焦点検出信号ＳＧｓ１（ＳＧｓ２、ＳＧｓ３）ごとに合焦した被写体像が取得されている。
【００７８】
このため、図９に示される主光線角度θＧｓ１（θＧｓ２、θＧｓ３）に沿って焦点検出信号ＳＧｓ１（ＳＧｓ２、ＳＧｓ３）を平行移動するリフォーカス処理により、撮影後に、合焦位置を再調整（リフォーカス）することができる。したがって、撮影後に合焦位置を再調整可能な（リフォーカス可能な）撮像面からの調整デフォーカス量ｄ´は制限され、調整デフォーカス量ｄ´のリフォーカス可能範囲は、概ね、以下の式（３）の範囲となる。
【００７９】
【数３】
2017097142.tif 000005
【００８０】
このように、リフォーカス方式により高精度で焦点検出可能なデフォーカス量の範囲は、概ね、式（３）の範囲に制限される。このため、第２焦点検出により高精度に焦点検出可能なデフォーカス範囲は、位相差方式の第１焦点検出により高精度に焦点検出可能なデフォーカス範囲以下の範囲である。したがって、本実施形態では、リフォーカス方式の第２焦点検出のシフト処理のシフト範囲が、位相差方式の第１焦点検出のシフト処理のシフト範囲以下となるように構成される。
【００８１】
本実施形態の焦点検出では、結像光学系の大デフォーカス状態から小デフォーカス状態まで焦点調節するために第１焦点検出を行い、結像光学系の小デフォーカス状態から最良合焦位置近傍まで焦点調節するために第２焦点検出を行う。したがって、第２焦点検出の際の第２フィルタ処理の通過帯域が、第１焦点検出の際の第１フィルタ処理の通過帯域よりも高周波帯域を含むことが好ましい。
【００８２】
本実施形態の撮像素子１０７においては、焦点検出画素が受光する光束と、撮像画素が受光する光束が互いに異なり、結像光学系の諸収差（球面収差、非点収差、コマ収差など）の焦点検出画素への影響と撮像信号への影響が異なる。結像光学系の絞り値が小さい（明るい）と、その影響（差異）がより大きくなる。このため、結像光学系の絞り値が小さい（明るい）場合、位相差方式の第１焦点検出により算出される検出合焦位置（第１デフォーカス量Ｄｅｆ１が０となる位置）と撮像信号の最良合焦位置（撮像信号のＭＴＦピーク位置）との間に差が生じる場合がある。特に、結像光学系の絞り値が所定の絞り値以下の場合、位相差方式の第１焦点検出の焦点検出精度が低下する可能性がある。したがって、必要に応じて、結像光学系の絞り値が所定の絞り値以下の場合、位相差方式の第１焦点検出に加えて、リフォーカス方式の第２焦点検出により第２デフォーカス量Ｄｅｆ２を検出（算出）し、高精度な焦点検出を行うことが好ましい。
【００８３】
［焦点検出処理の処理フロー］
次に、図１２を参照して、本実施形態におけるフォーカス制御について説明する。図１２は、フォーカス制御を示すフローチャートである。図１２の各ステップは、主に、ＣＰＵ１２１（第１焦点検出手段１２１ａ、第２焦点検出手段１２１ｂ、フォーカス制御手段１２１ｃ）により実行される。ＣＰＵ１２１は、結像光学系のデフォーカス量の絶対値が第１所定値以下になるまで第１焦点検出を行って第３レンズ群１０５（フォーカスレンズ群）を駆動し（レンズ駆動を行い）、結像光学系の大デフォーカス状態から小デフォーカス状態まで焦点調節を行う。その後、結像光学系のデフォーカス量の絶対値が第２所定値（第１所定値＞第２所定値）以下になるまで第２焦点検出を行ってレンズ駆動を行い、結像光学系の小デフォーカス状態から最良合焦位置近傍まで焦点調節を行う。
【００８４】
まずステップＳ１００において、ＣＰＵ１２１（第１焦点検出手段１２１ａ）は、位相差方式の第１焦点検出により第１デフォーカス量Ｄｅｆ１を検出（算出）する。続いてステップＳ３０１において、ＣＰＵ１２１は、ステップＳ１００にて算出された第１デフォーカス量Ｄｅｆ１の大きさ｜Ｄｅｆ１｜が第１所定値以下であるか否かを判定する。第１デフォーカス量Ｄｅｆ１の大きさ｜Ｄｅｆ１｜が第１所定値よりも大きい場合、ＣＰＵ１２１（フォーカス制御手段１２１ｃ）は第１デフォーカス量Ｄｅｆ１に応じてレンズ駆動を行い、ステップＳ１００を繰り返す。一方、第１デフォーカス量Ｄｅｆ１の大きさ｜Ｄｅｆ１｜が第１所定値以下の場合、ステップＳ２００に進む。
【００８５】
続いて、ステップＳ２００において、ＣＰＵ１２１（第２焦点検出手段１２１ｂ）は、リフォーカス方式の第２焦点検出により第２デフォーカス量Ｄｅｆ２を検出（算出）する。第２デフォーカス量Ｄｅｆ２の大きさ｜Ｄｅｆ２｜が第２所定値（第１所定値＞第２所定値）よりも大きい場合、ＣＰＵ１２１（フォーカス制御手段１２１ｃ）は第２デフォーカス量Ｄｅｆ２に応じてレンズ駆動を行い、ステップＳ２００を繰り返す。一方、第２デフォーカス量Ｄｅｆ２の大きさ｜Ｄｅｆ２｜が第２所定値以下の場合、焦点調節動作（本フローのフォーカス制御）を終了する。このようにフォーカス制御手段１２１ｃは、第１デフォーカス量に基づいてフォーカスレンズを駆動し、第１デフォーカス量（の絶対値）が所定量（第１所定値）よりも小さくなった場合、第２デフォーカス量に基づいてフォーカスレンズを駆動する。本実施形態によれば、焦点検出信号に基づく検出合焦位置と撮像信号に基づく最良合焦位置との間の差を低減して、高精度な焦点検出が可能となる。
【００８６】
以上のように、本実施形態の制御装置（ＣＰＵ１２１）は、第１焦点検出手段１２１ａおよび第２焦点検出手段１２１ｂを有する。第１焦点検出手段１２１ａは、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部３０１、３０２、３０３のうち、第１光電変換部群（例えば光電変換部３０１、３０３）から取得される信号の第１評価値に基づいて焦点検出を行う。第２焦点検出手段１２１ｂは、複数の光電変換部のうち、第１光電変換部群とは異なる第２光電変換部群（例えば光電変換部３０１、３０２、３０３）から取得される信号を用いて算出される第２評価値に基づいて焦点検出を行う。
【００８７】
好ましくは、第１評価値は、第１光電変換部群から取得される信号の相関量であり、第２評価値は、第２光電変換部群から取得される信号を用いて算出されるコントラスト評価値である。より好ましくは、第１焦点検出手段は、相関量に基づいて第１デフォーカス量Ｄｅｆ１を算出する。また第２焦点検出手段は、第２光電変換部群から取得される信号に対してシフト処理と加算処理とを行うことによりシフト加算信号を生成し、シフト加算信号を用いて算出されたコントラスト評価値に基づいて第２デフォーカス量Ｄｅｆ２を算出する。
【００８８】
好ましくは、第１光電変換部群は、複数の光電変換部のうち少なくとも２つの光電変換部(例えば光電変換部３０１、３０３）を含む。第２光電変換部群は、複数の光電変換部のうち少なくとも３つの光電変換部（例えば光電変換部３０１、３０２、３０３）を含む。また好ましくは、複数の光電変換部は、第１瞳部分領域、第２瞳部分領域、および、第３瞳部分領域（瞳部分領域５０１〜５０３）を通過する光束をそれぞれ受光する第１光電変換部、第２光電変換部、および、第３光電変換部（光電変換部３０１〜３０３）を含む。第１光電変換部群は、第１光電変換部（光電変換部３０１）および第３光電変換部（光電変換部３０３）を含む。第２光電変換部群は、第１光電変換部（光電変換部３０１）、第２光電変換部（光電変換部３０２）、および、第３光電変換部（光電変換部３０３）を含む。
【００８９】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００９０】
本実施形態によれば、高精度な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。
【００９１】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００９２】
本実施形態において、撮像素子は、結像光学系を介して形成される光学像を光電変換して像信号を出力する撮像画素（ＲＧＢ）と、焦点検出のために用いられる信号を出力する焦点検出画素（Ｇｓ１、Ｇｓ２、Ｇｓ３）とを有する。ただし本実施形態は、これに限定されるものではない。例えば、撮像素子は、１つのマイクロレンズに対して複数の光電変換部（例えば光電変換部３０１、３０２、３０３）を有し、マイクロレンズが２次元状に配列されている構成であっても、本実施形態は適用可能である。
【符号の説明】
【００９３】
１２１    ＣＰＵ（制御装置）
１２１ａ  第１焦点検出手段
１２１ｂ  第２焦点検出手段
【図１】
2017097142.tif 000006
【図２】
2017097142.tif 000007
【図３】
2017097142.tif 000008
【図４】
2017097142.tif 000009
【図５】
2017097142.tif 000010
【図６】
2017097142.tif 000011
【図７】
2017097142.tif 000012
【図８】
2017097142.tif 000013
【図９】
2017097142.tif 000014
【図１０】
2017097142.tif 000015
【図１１】
2017097142.tif 000016
【図１２】
2017097142.tif 000017