(57)【要約】【課題】焦点検出信号の相関量とコントラストの評価値を用いる焦点検出の演算負荷を抑制して高精度な焦点検出を可能とすること。【解決手段】焦点調節装置は、光学系の第１の瞳領域に対応する第１の像信号と、第２の瞳領域に対応する第２の像信号を取得し、第１の像信号から第１の焦点検出信号を生成し、第２の像信号から第２の焦点検出信号を生成し、第１および第２の焦点検出信号の第１の評価値を複数の第１の評価値に分けて算出して加算することで第１の加算評価値を生成し、第１の加算評価値に基づいて第１のデフォーカス量を検出し、第１および第２の焦点検出信号から第１の評価値とは異なる第２の評価値を複数の第２の評価値に分けて生成して加算することで第２の加算評価値を生成し、第２の加算評価値に基づいて第２デフォーカス量を検出し、第２の複数の評価値の加算数は、第１の複数の評価値の加算数に等しいまたはそれより大きいことを特徴とする。【選択図】図１２
2016024402.tif 000002
【特許請求の範囲】
【請求項１】
結像光学系の第１の瞳部分領域を通過した被写体光に対応する第１の撮像信号と、前記結像光学系の第２の瞳部分領域を通過した被写体光に対応する第２の撮像信号を取得する取得手段と、
前記第１の撮像信号から第１の焦点検出信号を、前記第２の撮像信号から第２の焦点検出信号を生成する焦点検出信号生成手段と、
前記第１および第２の焦点検出信号の第１の評価値を複数の第１の評価値に分けて算出し、前記複数の第１の評価値を加算して第１の加算評価値を生成し、前記第１の加算評価値に基づいて第１のデフォーカス量を検出する第１の焦点検出手段と、
前記第１および第２の焦点検出信号から第１の評価値とは異なる第２の評価値を複数の第２の評価値に分けて生成し、前記複数の第２の評価値を加算して第２の加算評価値を生成し、前記第２の加算評価値に基づいて第２デフォーカス量を検出する第２の焦点検出手段と、
を備え、
前記第１および第２の焦点検出手段において、前記第２の複数の評価値の加算数は、前記第１の複数の評価値の加算数に等しいまたはそれより大きい
ことを特徴とする焦点調節装置。
【請求項２】
前記第１及び第２の撮像信号は、それぞれ複数の画素信号から成ることを特徴とする請求項１に記載の焦点調節装置。
【請求項３】
前記焦点検出信号生成手段は、第１の撮像信号の画素信号を所定数ごとに加算し、前記第２の撮像信号の画素信号を前記所定数ごとに加算して、複数の対の前記第１および第２の焦点検出信号を生成し、前記所定数は、前記第１の焦点検出手段および前記第２の焦点検出手段に対応して異なり、前記第１の焦点検出手段に対応する所定数は、前記第２の焦点検出手段に対応する所定数に等しいまたは大きいことを特徴とする請求項１又は２に記載の焦点調節装置。
【請求項４】
前記複数に分けて生成される第１および第２の各評価値は、各対の前記第１および第２の焦点検出信号から生成されることを特徴とする請求項３に記載の焦点調節装置。
【請求項５】
前記第１の評価値は前記第１および第２の焦点検出信号の相関量であり、前記第１の焦点検出手段は、前記相関量を位相差方式の焦点検出に従って前記相関量を生成し、前記第２の評価値は前記第１および第２の焦点検出信号のコントラスト評価値であり、前記第２の焦点検出手段は、リフォーカス方式の焦点検出に従って前記コントラスト評価値を生成することを特徴とする請求項１から４のいずれか１項に記載の焦点調節装置。
【請求項６】
前記第１および第２のデフォーカス量に基づいて前記結像光学系の焦点調節を制御する焦点調節手段を備え、前記焦点調節手段は、前記第２のデフォーカス量が検出された場合は前記第２のデフォーカス量に基づいて前記結像光学系の焦点調節を制御し、前記第２のデフォーカス量が検出されていない場合は、前記第１のデフォーカス量に基づいて前記結像光学系の焦点調節を行うことを特徴とする請求項１から５のいずれか１項に記載の焦点調節装置。
【請求項７】
前記第１および第２のデフォーカス量の少なくとも一つを検出するための焦点検出領域を設定する設定手段を備えることを特徴とする請求項１から６のいずれか１項に記載の焦点調節装置。
【請求項８】
被写体の光学像を形成する結像光学系と、
前記結像光学系の異なる瞳部分領域を通過した被写体光を光電変換して、前記異なる瞳部分領域を通過した被写体光に対応する撮像信号を生成する撮像手段と、
前記異なる瞳部分領域の第１の瞳部分領域に対応する第１の撮像信号から第１の焦点検出信号を生成し、前記第１の瞳部分領域とは異なる第２の瞳部分領域に対応する第２の撮像信号から第２の焦点検出信号を生成する焦点検出信号生成手段と、
前記第１および第２の焦点検出信号の第１の評価値を複数の第１の評価値に分けて算出し、前記複数の第１の評価値を加算して第１の加算評価値を生成し、前記第１の加算評価値に基づいて第１のデフォーカス量を検出する第１焦点検出手段と、
前記第１および第２の焦点検出信号から第１の評価値とは異なる第２の評価値を複数の第２の評価値に分けて生成し、前記複数の第２の評価値を加算して第２の加算評価値を生成し、前記第２の加算評価値に基づいて第２デフォーカス量を検出する第２焦点検出手段と、ここで前記第２の複数の評価値の加算数は、前記第１の複数の評価値の加算数に等しいまたはそれより大きい、
前記第１のデフォーカス量および前記第２のデフォーカス量に基づいて前記結像光学系の駆動を制御する制御手段と
を備えることを特徴とする撮像装置。
【請求項９】
前記第１及び第２の撮像信号は、それぞれ複数の画素信号から成ることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記焦点検出信号生成手段は、前記第１の撮像信号の所定数の画素信号を加算し、前記第２の撮像信号の前記所定数の画素信号を加算して、複数の対の前記第１および第２の焦点検出信号を生成し、前記所定数は、前記第１の焦点検出手段および前記第２の焦点検出手段に対応して異なり、前記第１の焦点検出手段に対応する所定数は、前記第２の焦点検出手段に対応する所定数に等しいまたはそれより大きいことを特徴とする請求項８又は９に記載の撮像装置。
【請求項１１】
前記撮像手段は、前記結像光学系の第１の瞳部分領域を通過する光束を受光する第１焦点検出画素と、前記第１の瞳部分領域と異なる前記結像光学系の第２の瞳部分領域を通過する光束を受光する第２の焦点検出画素を有し、前記第１の焦点検出画素と第２の焦点検出画素は、前記結像光学系の第１の瞳部分領域と第２の瞳部分領域を合わせた瞳領域を通過する光束を受光する画素を構成することを特徴とする請求項８から１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記結像光学系は、フォーカスレンズを含み、前記制御手段は、前記フォーカスレンズの駆動を制御することを特徴とする請求項８から１１のいずれか１項に記載の撮像装置。
【請求項１３】
結像光学系の第１の瞳部分領域を通過した被写体光に対応する第１の撮像信号と、前記結像光学系の第２の瞳部分領域を通過した被写体光に対応する第２の撮像信号を取得する取得工程と、
前記第１の撮像信号から第１の焦点検出信号を、前記第２の撮像信号から第２の焦点検出信号を生成する焦点検出信号生成工程と、
前記第１および第２の焦点検出信号の第１の評価値を複数の第１の評価値に分けて算出し、前記複数の第１の評価値を加算して第１の加算評価値を生成し、前記第１の加算評価値に基づいて第１のデフォーカス量を検出する第１焦点検出工程と、
前記第１および第２の焦点検出信号から第１の評価値とは異なる第２の評価値を複数の第２の評価値に分けて生成し、前記複数の第２の評価値を加算して第２の加算評価値を生成し、前記第２の加算評価値に基づいて第２デフォーカス量を検出する第２焦点検出工程と、
を備え、
前記第１および第２の焦点検出工程において、前記第２の複数の評価値の加算数は、前記第１の複数の評価値の加算数に等しいまたはそれより大きいことを特徴とする焦点調節方法。
【請求項１４】
焦点調節装置を制御するためのプログラムであり、
コンピュータを、
結像光学系の第１の瞳部分領域を通過した被写体光に対応する第１の撮像信号と、前記結像光学系の第２の瞳部分領域を通過した被写体光に対応する第２の撮像信号を取得する取得手段、
前記前記第１の撮像信号から第１の焦点検出信号を、前記第２の撮像信号から第２の焦点検出信号を生成する焦点検出信号生成手段、
前記第１および第２の焦点検出信号の第１の評価値を複数の第１の評価値に分けて算出し、前記複数の第１の評価値を加算して第１の加算評価値を生成し、前記第１の加算評価値に基づいて第１のデフォーカス量を検出する第１焦点検出手段、
前記第１および第２の焦点検出信号から第１の評価値とは異なる第２の評価値を複数の第２の評価値に分けて生成し、前記複数の第２の評価値を加算して第２の加算評価値を生成し、前記第２の加算評価値に基づいて第２デフォーカス量を検出する第２焦点検出手段、
として機能させ、
前記第１および第２の焦点検出手段において、前記第２の複数の評価値の加算数は、前記第１の複数の評価値の加算数に等しいまたはそれより大きい
ことを特徴とするプログラム。
【請求項１５】
請求項１４に記載のプログラムを記憶するコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点調節装置および焦点調節方法に関し、特に結像光学系の異なる射出瞳を通過した被写体光に基づく画素信号を用いて焦点調節を行う焦点調節装置、焦点調節方法および撮像装置に関する。
【背景技術】
【０００２】
撮像装置の焦点検出方法の１つに、撮像素子に形成された焦点検出画素により位相差方式の焦点検出を行う撮像面位相差方式がある。
【０００３】
特許文献１では、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を受光するように構成され、瞳分割を行っている。これらの分割された光電変換部（焦点検出画素）で受光したそれぞれの焦点検出信号から像ずれ量を求めて、位相差方式の焦点検出を行うことができる。また、特許文献２では、分割された光電変換部で受光した焦点検出信号を加算することにより撮像信号を生成することが開示されている。
【０００４】
特許文献３では、複数の撮像画素からなる２次元撮像素子に、部分的に１対の焦点検出画素が配置された撮像装置が開示されている。１対の焦点検出画素は、開口部を有する遮光層により、撮影レンズの射出瞳の異なる領域を受光するように構成され、これにより瞳分割を行っている。特許文献３の撮像装置は、２次元撮像素子の大部分に配置された撮像画素で撮像信号を取得し、一部に配置された焦点検出画素の焦点検出信号から相関量を算出して像ずれ量を求め、位相差方式の焦点検出を行っている。
【０００５】
撮像面位相差方式の焦点検出においては、撮像素子に形成された焦点検出画素によりデフォーカス方向とデフォーカス量を同時に検出することが可能であり、高速に焦点調節を行うことができる。
【０００６】
また、高精度な焦点検出のために、分割された光電変換部で受光した複数の焦点検出信号をシフト加算してフォーカス位置が異なる複数のリフォーカス信号を生成し、リフォーカス信号のコントラスト評価を行うリフォーカス方式の焦点検出が提案されている。
【０００７】
リフォーカス方式の焦点検出では、撮像面位相差方式の焦点検出と比較して、撮影レンズの最良合焦位置近傍での焦点検出精度が良好である場合が多い。そのため、大デフォーカス状態から小デフォーカス状態までの焦点調節を撮像面位相差方式の焦点検出で行い、小デフォーカス状態から最良合焦位置近傍までの焦点調節をリフォーカス方式の焦点検出で行うことが提案されている。
【０００８】
また、低輝度被写体の焦点検出精度を向上するために、複数行で各々算出された評価値（相関量、コントラスト評価値）を加算する評価値加算方式や、複数行の焦点検出信号を加算する信号加算方式が提案されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許第４４１０８０４号明細書
【特許文献２】特開２００１−０８３４０７号公報
【特許文献３】特開２０００−１５６８２３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、評価値加算方式には、各焦点検出ライン毎に評価値を算出するため焦点検出精度は良いが、評価値を多数算出する必要があるため、焦点検出領域が多数ある場合などは、演算負荷が大きくなりやすいという課題がある。一方、信号加算方式は、演算負荷を抑制できるが、斜め線を含む被写体や高周波低コントラストな被写体など場合は焦点検出精度が低下しやすいという課題がある。
【００１１】
本発明は、上記の課題に鑑みてなされたものであり、焦点検出信号の相関量とコントラスト評価値を用いる焦点検出において、演算負荷を抑制し、かつ高精度な焦点検出を可能とする焦点調節装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明によれば、焦点調節装置は、結像光学系の第１の瞳部分領域を通過した被写体光に対応する第１の撮像信号と、結像光学系の第２の瞳部分領域を通過した被写体光に対応する第２の撮像信号を取得する取得手段と、第１の撮像信号から第１の焦点検出信号を生成し、第２の撮像信号から第２の焦点検出信号を生成する焦点検出信号生成手段と、第１および第２の焦点検出信号の第１の評価値を複数の第１の評価値に分けて算出し、複数の第１の評価値を加算して第１の加算評価値を生成し、第１の加算評価値に基づいて第１のデフォーカス量を検出する第１の焦点検出手段と、第１および第２の焦点検出信号から第１の評価値とは異なる第２の評価値を複数の第２の評価値に分けて生成し、複数の第２の評価値を加算して第２の加算評価値を生成し、第２の加算評価値に基づいて第２デフォーカス量を検出する第２の焦点検出手段を備え、第１および第２の焦点検出手段において、第２の複数の評価値の加算数は、第１の複数の評価値の加算数に等しいまたはそれより大きいことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、焦点検出信号の相関量とコントラスト評価値を用いる焦点検出において、演算負荷を抑制して高精度な焦点検出が可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施例に係わる焦点調節装置を適用した撮像装置の概略構成図
【図２】本発明の第１の実施例に係わる撮像装置が有する撮像素子の画素配列の概略図
【図３】本発明の第１の実施例に係わる撮像装置が有する撮像素子の画素配列を構成する画素の概略平面図と概略断面図
【図４】本発明の第１の実施例に係わる撮像装置が有する撮像素子の画素と瞳分割との対応を説明するための図
【図５】本発明の第１の実施例に係わる撮像装置が有する撮像素子による結像光学系の瞳分割を説明するための図
【図６】第１焦点検出信号と第２焦点検出信号のデフォーカス量と像ずれ量の関係を説明するための図
【図７】本発明の第１の実施例に係わる焦点調節装置の第１の焦点検出処理動作のフローチャートを示す図
【図８】リフォーカス画像の生成動作を説明するための図
【図９】本発明の第１の実施例に係わる焦点調節装置の第２の焦点検出処理動作のフローチャートを示す図
【図１０】リフォーカス可能範囲を説明するための図
【図１１】本発明の第１の実施例に係わる焦点調節装置おける第１の検出デフォーカス量と第２の検出デフォーカス量の算出例を示す図
【図１２】本発明の第１の実施例に係わる焦点調節装置の焦点検出処理動作のフローチャートを示す図
【発明を実施するための形態】
【００１５】
以下、本発明の例示的な実施の形態を、図面に基づいて詳細に説明する。
【実施例１】
【００１６】
［全体構成］
図１は本発明の第１の実施例に係わる焦点調節装置を適用した撮像装置であるカメラの構成を示す。本撮像装置は、後述するように、結像光学系の射出瞳の分割手段であるマイクロレンズを有する撮像素子を有し、像面位相差方式による焦点調節が可能な装置である。
同図において、１０１は、被写体の光学像を形成する結像光学系の先端に配置された第１のレンズ群で、光軸方向に進退可能に保持される。１０２は絞り兼用シャッタで、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。１０３は第２のレンズ群である。そして前記絞り兼用シャッタ１０２及び第２のレンズ群１０３は一体となって光軸方向に進退し、第１のレンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。
【００１７】
１０５は第３レンズ群で、光軸方向の進退により、焦点調節を行なう。１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。１０７は２次元ＣＭＯＳフォトセンサーと周辺部からなる撮像素子であり、結像光学系の結像面に配置される。
【００１８】
１１１はズームアクチュエータで、変倍作用を実現するために、不図示のカム筒を回動することで、第１のレンズ群１０１ないし第２のレンズ群１０３を光軸方向に進退駆動し、変倍操作を行なう。１１２は絞りシャッタアクチュエータで、撮影光量を調節する絞り兼用シャッタ１０２の開口径を制御すると共に、静止画撮影時の露光時間制御を行なう。１１４はフォーカスアクチュエータで、焦点調節を行うために第３のレンズ群１０５を光軸方向に進退駆動する。
【００１９】
１１５は撮影時の被写体照明用電子フラッシュで、キセノン管を用いた閃光照明装置が好適だが、連続発光するＬＥＤを備えた照明装置を用いても良い。１１６はＡＦ補助光手段で、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出精度を向上させる。
【００２０】
１２１はＣＰＵで、カメラ本体の種々の制御を司るカメラ内ＣＰＵで、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス部等を有する。当該ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムをロードして実行することで、カメラが有する各部を駆動し、ＡＦ、撮影、画像処理と記録等の一連の動作を実行する。ＣＰＵ１２１は、後述する画像処理部１２５とともに本発明の焦点調節装置を構成する手段であり、焦点調節のための信号処理および結像光学系の駆動の制御を司る。
【００２１】
１２２は電子フラッシュ制御部で、撮影動作に同期して照明手段１１５を点灯制御する。１２３は補助光駆動部で、焦点検出動作に同期してＡＦ補助光手段１１６を点灯制御する。１２４は撮像素子駆動部で、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理部で、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。
【００２２】
１２６はフォーカス駆動部で、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、焦点調節を行うために第３のレンズ群（フォーカスレンズ）１０５を光軸方向に進退駆動して焦点調節を行なう。１２８は絞りシャッタ駆動部で、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。１２９はズーム駆動部で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。
【００２３】
１３１はＬＣＤ等の表示装置で、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群で、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリで、所定の記録フォーマットで記録部１３４により撮影済み画像が記録される。
【００２４】
［撮像素子］
本実施例１における撮像素子の撮像画素と焦点検出画素の配列の概略図を図２に示す。
同図は、本実施例の撮像装置で用いられる撮像素子である２次元ＣＭＯＳセンサーの画素（撮像画素）配列を、画素の４列×４行の範囲（焦点検出画素の配列としては８列×４行の範囲）で示した図である。
【００２５】
本実施例では、図２に示した２列×２行の画素群２００は、Ｒ（赤）の分光感度を有する画素２００Ｒが図の左上の位置に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下の位置に、Ｂ（青）の分光感度を有する画素２００Ｂが右下の位置に配置されている。さらに、各画素は２列×１行に配列された第１の焦点検出画素２０１と第２の焦点検出画素２０２により構成されている。
【００２６】
撮像素子１０７は、図２に示した４列×４行の撮像画素（８列×４行の焦点検出画素）を面上に多数配置し、被写体を撮像して撮像画像（焦点検出信号）の取得を可能としている。本実施例では、画素の周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、焦点検出画素の列方向周期ＰＡＦが２μｍ、焦点検出画素数ＮＡＦが横１１１５０列×縦３７２５行＝約４１５０万画素の撮像素子として説明を行う。
【００２７】
図２に示した撮像素子の１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た平面図を図３（ａ）に示し、図３（ａ）のａ−ａ断面を−ｙ側から見た断面図を図３（ｂ）に示す。
【００２８】
図３に示すように、本実施例の画素２００Ｇでは、各画素の受光側に入射光を集光するためのマイクロレンズ３０５が形成され、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部３０１と光電変換部３０２が形成される。光電変換部３０１と光電変換部３０２が、それぞれ、第１の焦点検出画素２０１と第２の焦点検出画素２０２に対応する。
【００２９】
光電変換部３０１と光電変換部３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしても良いし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしても良い。
【００３０】
各画素には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルター３０６が形成される。また、必要に応じて、副画素毎にカラーフィルターの分光透過率を変えても良いし、カラーフィルターを省略しても良い。
【００３１】
図３に示した画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルター３０６で分光されたのち、光電変換部３０１と光電変換部３０２で受光される。光電変換部３０１と光電変換部３０２では、光電変換により受光量に応じて電子とホールが対生成し、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子外部へ排出される。光電変換部３０１と光電変換部３０２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換され撮像信号として出力される。
【００３２】
図３に示した本実施例の画素構造と瞳分割との対応関係を図４に示す。同図は、図３（ａ）に示した本実施例の画素構造のａ−ａ断面を＋ｙ側から見た断面図と結像光学系の射出瞳面を示している。なお図４では、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図３に対して反転させている。また、図４において、図３と同様の部分は、同じ符号を付して示す。
【００３３】
図４に示すように、第１の焦点検出画素２０１の第１の瞳部分領域４０１は、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズによって、概ね、共役関係になっており、第１の焦点検出画素２０１で受光可能な瞳領域を表している。第１焦点検出画素２０１の第１の瞳部分領域４０１は、瞳面上で＋Ｘ側に重心が偏心している。他方、第２の焦点検出画素２０２の第２の瞳部分領域４０２は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズによって、概ね、共役関係になっており、第２の焦点検出画素２０２で受光可能な瞳領域を表している。第２の焦点検出画素２０２の第２の瞳部分領域４０２は、瞳面上で−Ｘ側に重心が偏心している。また、瞳領域４００は、光電変換部３０１と光電変換部３０２（第１の焦点検出画素２０１と第２の焦点検出画素２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。
【００３４】
本実施例の撮像素子とマイクロレンズ（瞳分割手段）による瞳分割対応関係の概略を図５に示す。射出瞳４１０の第１の瞳部分領域４０１と第２の瞳部分領域４０２の異なる瞳部分領域を通過した光束は、撮像素子の各画素に、それぞれ、異なる角度で入射し、２×１分割された第１の焦点検出画素２０１と第２の焦点検出画素２０２で受光される。本実施例は、瞳領域が水平方向に２つに瞳分割されている例である。必要に応じて、垂直方向に瞳分割を行っても良い。
【００３５】
上述したように、本実施例で用いる撮像素子は、結像光学系の第１の瞳部分領域を通過する光束を受光する第１の焦点検出画素と、第１の瞳部分領域と異なる結像光学系の第２の瞳部分領域を通過する光束を受光する第２の焦点検出画素を有する。また、結像光学系の第１の瞳部分領域と第２の瞳部分領域を合わせた瞳領域を通過する光束を受光する画素（単位画素）の配列も有する。本実施例の撮像素子では、それぞれの単位画素が第１の焦点検出画素と第２の焦点検出画素から構成されている。しかし、必要に応じて、単位画素と第１の焦点検出画素、第２の焦点検出画素を個別の画素構成とし、撮像画素配列の一部に、第１の焦点検出画素と第２の焦点検出画素を部分的に配置する構成としても良い。
【００３６】
本実施例では、撮像素子の各画素の第１の焦点検出画素２０１の撮像信号(画素信号)を集めて第１の焦点信号を生成し、各画素の第２の焦点検出画素２０２の画素信号を集めて第２の焦点信号を生成して焦点検出を行う。また、撮像素子の単位画素毎に、第１焦点検出画素２０１と第２の焦点検出画素２０２の画素信号を加算することで、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成する。
【００３７】
［デフォーカス量と像ずれ量の関係］
次に、本実施例の撮像素子により取得される第１の焦点検出信号と第２の焦点検出信号のデフォーカス量と像ずれ量の関係について説明する。
【００３８】
図６に、第１焦点検出信号と第２焦点検出信号のデフォーカス量と第１の焦点検出信号と第２の焦点検出信号間の像ずれ量の概略関係図を示す。撮像面５００に本実施例１の撮像素子（不図示）が配置され、図４、図５と同様に、結像光学系の射出瞳が、第１の瞳部分領域４０１と第２の瞳部分領域４０２に２分割される。なお、図６において、図３から５と同様な部分は同じ符号を付して示す。
【００３９】
デフォーカス量ｄは、被写体の結像位置から撮像面５００までの距離を大きさ｜ｄ｜としたとき、被写体の結像位置が撮像面５００より被写体側にある前ピン状態を負（ｄ＜０）、被写体の結像位置が撮像面５００より被写体の反対側にある後ピン状態を正（ｄ＞０）として定義される。被写体の結像位置が撮像面５００（合焦位置）にある合焦状態はｄ＝０である。図６で、被写体６０１は合焦状態（ｄ＝０）の例を示しており、被写体６０２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。
【００４０】
前ピン状態（ｄ＜０）では、被写体６０２からの光束のうち、第１瞳部分領域４０１を通過した光束は、一度、集光した後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１に広がり、撮像面５００でボケた像となる。第２の瞳部分領域４０２を通過した被写体光についても同様であり、重心位置Ｇ２を中心として幅Γ２に広がったボケた像を形成する。ボケた像は、撮像素子に配列された各画素を構成する第１焦点検出画素２０１（第２焦点検出画素２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。よって、第１焦点検出信号（第２焦点検出信号）は、撮像面５００上の重心位置Ｇ１（Ｇ２）に、被写体６０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、第１焦点検出信号と第２焦点検出信号の間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。
【００４１】
したがって、第１の焦点検出信号と第２の焦点検出信号、もしくは、第１の焦点検出信号と第２の焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１の焦点検出信号と第２の焦点検出信号の間の像ずれ量の大きさが増加する。
【００４２】
［焦点検出］
本実施例では、第１の焦点検出信号と第２の焦点検出信号のデフォーカス量と像ずれ量の関係性を用いて、位相差方式の第１の焦点検出と、リフォーカス原理に基づいた方式（以後、リフォーカス方式と呼ぶ）の第２の焦点検出を行う。
【００４３】
［位相差方式の第１の焦点検出］
以下、本実施例における位相差方式の第１の焦点検出について説明する。
【００４４】
位相差方式の焦点検出は、第１の焦点検出信号と第２の焦点検出信号の各対から、焦点検出信号対を相対的にシフトさせて信号の一致度を表す評価値である相関量を計算し、計算された各評価値を加算して加算評価値を得る。そして、得られた加算評価値に基づいて相関（信号の一致度）が良くなるシフト量を決定して像ずれ量を検出する。撮像信号のデフォーカス量の大きさが増加するのに伴い、第１の焦点検出信号と第２の焦点検出信号間の像ずれ量の大きさが増加する関係性から、像ずれ量を検出デフォーカス量に変換して焦点検出を行う。
【００４５】
図７に、本実施例に係わる焦点調節装置における位相差方式の第１の焦点検出処理の動作のフローチャートを示す。なお、図７の動作は、本実施例において焦点検出領域選択手段、焦点検出信号生成手段、第１焦点検出手段としての機能を実行する撮像素子１０７、画像処理部１２５およびＣＰＵ１２１によって実現される。
【００４６】
ステップＳ７０１で、焦点検出領域選択手段は、撮像素子の有効画素領域に、焦点調節を行う少なくとも一つの焦点検出領域を設定する。焦点検出領域の設定において、焦点検出領域の瞳分割方向の範囲Ｗと、第１の焦点検出信号と第２の焦点検出信号を瞳分割方向に相対的にシフトさせて相関量を算出する際の第１のシフト量ｓ１のシフト範囲Γ１を設定する。また、焦点検出領域の瞳分割方向と直交する方向の範囲Ｌを設定し、焦点検出領域に含まれる相関量加算数Ｎ１×第１の信号加算数Ｍ１の複数の焦点検出ラインを選択する。なお、本実施例では、撮像素子の水平方向が瞳分割方向であり、撮像素子の垂直方向が瞳分割方向と直交する方向となる。範囲Ｌに含まれるｌ行の第１の焦点検出画素の撮像信号を｛Ａ０（ｌ、ｋ）：ｌ∈Ｌ，ｋ∈Ｗ｝、第２の焦点検出画素の撮像信号を｛Ｂ０（ｌ、ｋ）：ｌ∈Ｌ，ｋ∈Ｗ｝で表す。
【００４７】
ステップＳ７０２からステップＳ７０８で、第１の焦点検出手段により、相関加算数Ｎ１の加算相関量(加算評価値)を生成し、加算相関量から第１の検出デフォーカス量Ｄｅｆ１を算出する。
【００４８】
まず、ステップＳ７０２で、Ｉ１＝１から相関量加算数Ｎ１まで、ステップＳ７０３からステップＳ７０７の処理動作を繰り返し行い、加算数Ｎ１の加算相関量を算出する。
【００４９】
ステップＳ７０３では、ステップＳ７０３からステップＳ７０５のループを、Ｊ１＝１から第１の信号加算数Ｍ１(所定数)まで繰り返し、焦点検出信号生成手段が焦点検出信号の対を生成する。ここでのループでは、ステップＳ７０３からステップＳ７０７のループで設定される各Ｉ１について、第１の信号加算数Ｍ１の第１の焦点検出信号Ａ（Ｉ１、ｋ）および第２の焦点検出信号Ｂ（Ｉ１、ｋ）を算出して焦点検出信号対を生成する。なお、第１の焦点検出信号Ａ（Ｉ１、ｋ）および第２の焦点検出信号Ｂ（Ｉ１、ｋ）の算出は、式（１）および式（２）による。
【数１】
2016024402.tif 000003
【数２】
2016024402.tif 000004
【００５０】
式（１）では、範囲Ｌに含まれるｌ＝（Ｉ１−１）×Ｍ１＋Ｊ１行の第１の焦点検出画素の撮像信号Ａ０（ｌ、ｋ）をＪ１＝１から第１の信号加算数Ｍ１まで加算して、第１の信号加算数Ｍ１の第１の焦点検出信号Ａ（Ｉ１、ｋ）を算出する。また、式(２)では、同様に第２の焦点検出画素の撮像信号Ｂ０（ｌ、ｋ）をＪ１について加算して、第１の信号加算数Ｍ１の第２の焦点検出信号Ｂ（Ｉ１、ｋ）を算出する。図７のフローチャートでは、ステップＳ７０４で第１の焦点検出画素の撮像信号Ａ０（ｌ、ｋ）および第２の焦点検出画素の撮像信号Ｂ０（ｌ、ｋ）を取得し、ステップＳ７０５で式（１）および式（２）のＪ１についての和を実行する。
【００５１】
なお、必要に応じて、第１の焦点検出信号と第２の焦点検出信号それぞれに、信号データ量を抑制するために、水平方向の３画素加算処理や、ＲＧＢ信号を輝度Ｙ信号にするためのベイヤー（ＲＧＢ）加算処理などの信号加算処理を行っても良い。
【００５２】
ステップＳ７０６では、Ｉ１番目の第１の信号加算数Ｍ１の第１の焦点検出信号Ａ（Ｉ１、ｋ）と第２の焦点検出信号Ｂ（Ｉ１、ｋ）から、第１のシフト量ｓ１についてＩ１番目の相関量ＣＯＲ（Ｉ１、ｓ１）を、式（３）により算出する。
【数３】
2016024402.tif 000005
【００５３】
ここでは、第１のシフト量ｓ１の瞳分割方向へのシフト処理により、ｋ番目の第１の焦点検出信号Ａ（Ｉ１、ｋ）と（ｋ−ｓ１）番目の第２の焦点検出信号Ｂ（Ｉ１、ｋ−ｓ１）を対応させて減算し、シフト減算信号を生成する。生成されたシフト減算信号の絶対値を計算し、焦点検出領域の瞳分割方向の範囲（Ｗ）内で番号ｋの和を取り、Ｉ１番目の焦点検出ラインの相関量ＣＯＲ（Ｉ１、ｓ１）を算出する。
【００５４】
ステップＳ７０７では、Ｉ１のループで各Ｉ１について算出される焦点検出ラインの相関量ＣＯＲ（Ｉ１、ｓ１）を、同じ第１のシフト量ｓ１毎に累積加算していき、加算相関量ＣＯＲ（ｓ１）を生成する。ステップ７０３からステップＳ７０７の処置動作をＩ１＝１から相関量加算数Ｎ１まで繰り返し、Ｉ１＞Ｎ１となったらこのループ処理もしくは並列処理を終了して、ステップＳ７０８に進む。
【００５５】
ステップＳ７０８では、第１の検出デフォーカス量Ｄｅｆ１を算出する。まず、加算相関量からサブピクセル演算により、加算相関量ＣＯＲ（ｓ１）が最小値となる実数値の第１のシフト量を算出して像ずれ量ｐを算出する。次に、算出された像ずれ量ｐに、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じた第１の変換係数Ｋ１をかけて、第１の検出デフォーカス量Ｄｅｆ１を算出する。
【００５６】
上述した図７のフローチャートに従った処理動作により、本発明での位相差方式よるデフォーカス量Ｄｅｆ１が検出される。
【００５７】
［リフォーカス方式の第２の焦点検出］
次に、本実施例に係わる焦点調節装置におけるリフォーカス方式の第２の焦点検出について説明する。
【００５８】
本実施例のリフォーカス方式の第２焦点検出では、第１の焦点検出信号と第２の焦点検出信号を相対的にシフトして加算し、シフト加算信号（リフォーカス信号）を生成する。生成されたシフト加算信号（リフォーカス信号）のコントラスト評価値を算出し、コントラスト評価値から撮像信号のＭＴＦピーク位置を推定し、第２の検出デフォーカス量を検出する。
【００５９】
図８は、本実施例の撮像素子により取得された第１の焦点検出信号と第２の焦点検出信号による１次元方向（列方向、水平方向）のリフォーカス処理を説明するための図である。同図８において、撮像面５００は、図５、図６に示した撮像面５００に対応している。
図８では、ｉを整数として、撮像面５００に配置された撮像素子の列方向ｉ番目の単位画素の第１の焦点検出画素の撮像信号をＡｉ、第２の焦点検出画素の撮像信号をＢｉで模式的に表している。撮像信号Ａｉは、（図５の瞳部分領域４０１に対応した）主光線角度θａでｉ番目の単位画素の第１の焦点検出画素に入射した光束の受光信号である。撮像信号Ｂｉは、（図５の瞳部分領域４０２に対応した）主光線角度θｂでｉ番目の単位画素の第２の焦点検出画素に入射した光束の受光信号である。
【００６０】
撮像信号Ａｉと撮像信号Ｂｉは、光強度分布情報だけでなく、入射角度情報も有している。よって、撮像信号Ａｉを角度θａに沿って仮想結像面８１０まで平行移動させ、撮像信号Ｂｉを角度θｂに沿って仮想結像面８１０まで平行移動させ、加算することで、仮想結像面８１０でのリフォーカス信号を生成できる。撮像信号Ａｉを角度θａに沿って仮想結像面８１０まで平行移動させることは、列方向に＋０．５画素シフトに対応し、撮像信号Ｂｉを角度θｂに沿って仮想結像面８１０まで平行移動させることは、列方向に−０．５画素シフトに対応する。したがって、撮像信号Ａｉと撮像信号Ｂｉを相対的に＋１画素シフトさせ、ＡｉとＢｉ＋１を対応させて加算することで、仮想結像面８１０でのリフォーカス信号を生成できる。同様に、撮像信号Ａｉと撮像信号Ｂｉを画素整数個分シフトさせて加算することで、整数シフト量に応じた各仮想結像面でのシフト加算信号（リフォーカス信号）を生成できる。
【００６１】
生成されたシフト加算信号（リフォーカス信号）のコントラスト評価値を算出し、算出されたコントラスト評価値から撮像信号のＭＴＦピーク位置を推定することで、リフォーカス方式の第２の焦点検出を行う。
【００６２】
図９に、本実施例に係わる焦点調節装置におけるリフォーカス方式の第２の焦点検出処理の動作のフローチャートを示す。なお、図９の動作は、本実施例の焦点検出領域選択手段、焦点検出信号生成手段、第２の焦点検出手段としての機能を実行する撮像素子１０７、画像処理部１２５およびＣＰＵ１２１によって実現される。
【００６３】
ステップＳ９０１で、焦点検出領域選択手段は、撮像素子の有効画素領域に焦点調節を行う少なくとも一つの焦点検出領域を設定する。焦点検出領域の設定において、焦点検出領域の瞳分割方向の範囲Ｗと、第１の焦点検出信号と第２の焦点検出信号を瞳分割方向に相対的にシフトさせてコントラスト評価値を算出する際の第２のシフト量ｓ２のシフト範囲Γ２を設定する。また、焦点検出領域の瞳分割方向と直交する方向の範囲Ｌを設定し、焦点検出領域に含まれるコントラスト評価値加算数Ｎ２×第２信号加算数Ｍ２の複数の焦点検出ラインを選択する。なお、本実施例では、撮像素子の水平方向が瞳分割方向であり、撮像素子の垂直方向が瞳分割方向と直交する方向となる。範囲Ｌに含まれるｌ行の第１の焦点検出画素の撮像信号を｛Ａ０（ｌ、ｋ）：ｌ∈Ｌ，ｋ∈Ｗ｝、第２の焦点検出画素の撮像信号を｛Ｂ０（ｌ、ｋ）：ｌ∈Ｌ，ｋ∈Ｗ｝で表す。
【００６４】
ステップＳ９０２からステップＳ９０８で、第２の焦点検出手段により、コントラスト評価値加算数Ｎ２の加算コントラスト評価値を生成し、加算コントラスト評価値から第２の検出デフォーカス量Ｄｅｆ２を算出する。
【００６５】
まず、ステップＳ９０２で、Ｉ２＝１からコントラスト評価値加算数Ｎ２まで、ステップＳ９０３からステップＳ９０７の処理動作を繰り返し行い、コントラスト評価値加算数Ｎ２の加算コントラスト評価値を算出する。
【００６６】
ステップＳ９０３では、ステップＳ９０３からステップＳ９０５のループを、Ｊ２＝１から第２の信号加算数Ｍ２まで繰り返し、焦点検出信号生成手段が焦点検出信号対を生成する。ここでのループでは、ステップＳ９０３からステップＳ９０７のループで設定される各Ｉ２について、第２の信号加算数Ｍ２の第１の焦点検出信号Ａ（Ｉ２、ｋ）および第２の焦点検出信号Ｂ（Ｉ２、ｋ）を算出して焦点検出信号対を生成する。なお、第１の焦点検出信号Ａ（Ｉ２、ｋ）および第２の焦点検出信号Ｂ（Ｉ２、ｋ）の算出は、下記の式（４）および式（５）による。
【数４】
2016024402.tif 000006
【数５】
2016024402.tif 000007
【００６７】
式（４）では、範囲Ｌに含まれるｌ＝（Ｉ２−１）×Ｍ２＋Ｊ２行の第１の焦点検出画素の撮像信号Ａ０（ｌ、ｋ）をＪ２＝１から第２信号加算数Ｍ２まで加算して、第１の信号加算数Ｍ２の第１の焦点検出信号Ａ（Ｉ２、ｋ）を算出する。式（５）では同様に、第２の焦点検出画素の撮像信号Ｂ０（ｌ、ｋ）をＪ２について加算して、第２の信号加算数Ｍ２の第２の焦点検出信号Ｂ（Ｉ２、ｋ）を算出する。図９のフローチャートでは、ステップＳ９０４で第１の焦点検出画素の撮像信号Ａ０（ｌ、ｋ）および第２の焦点検出画素の撮像信号Ｂ０（ｌ、ｋ）を取得し、ステップＳ９０５で式（４）および式（５）のＪ２についての和を実行する。
【００６８】
ステップＳ９０６では、Ｉ２番目の第２の信号加算数Ｍ２の第１の焦点検出信号Ａ（Ｉ２、ｋ）と第２の焦点検出信号Ｂ（Ｉ２、ｋ）から、第２のシフト量ｓ２についてＩ２番目コントラスト評価値ＲＦＣＯＮ（Ｉ２、ｓ２）を、式（６）により算出する。
【数６】
2016024402.tif 000008
【００６９】
ここでは、第２のシフト量ｓ２の瞳分割方向へのシフト処理により、ｋ番目の第１の焦点検出信号Ａ（Ｉ２、ｋ）と（ｋ−ｓ２）番目の第２の焦点検出信号Ｂ（Ｉ２、ｋ−ｓ２）を対応させて加算し、シフト加算信号を生成する。シフト加算信号の絶対値を計算し、焦点検出領域（Ｗ）の範囲での最大値を取り、コントラスト評価値ＲＦＣＯＮ（Ｉ２、ｓ２）を算出する。
【００７０】
ステップＳ９０７では、Ｉ２に関するループで各Ｉ２について算出される焦点検出ラインのコントラスト評価値ＲＦＣＯＮ（Ｉ２、ｓ２）を、同じ第２のシフト量ｓ２毎に累積加算していき、加算コントラスト評価値ＲＦＣＯＮ（ｓ２）を生成する。ステップＳ９０３からステップＳ９０７の処理動作をＩ２＝１からコントラスト評価値加算数Ｎ２まで繰り返し、Ｉ２＞Ｎ２となったらループ処理もしくは並列処理を終了して、ステップＳ９０８に進む。
【００７１】
図９のステップＳ９０８では、第２の検出デフォーカス量Ｄｅｆ２を算出する。まず、加算コントラスト評価値からサブピクセル演算により、加算コントラスト評価値ＲＦＣＯＮ（ｓ２）が最大値となる実数値の第２のシフト量を算出してピークシフト量ｐ２を算出する。次に、算出されたピークシフト量ｐ２に、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じた第２の変換係数Ｋ２をかけて、第２の検出デフォーカス量Ｄｅｆ２を算出する。なお、必要に応じて、第２の変換係数Ｋ２を第１の変換係数Ｋ１と同一の値としても良い。
【００７２】
上述した図９のフローチャートに従った処理動作により、本発明に係わるリフォーカス方式によるデフォーカス量Ｄｅｆ２が検出される。
【００７３】
［リフォーカス可能範囲］
一方、リフォーカス可能範囲には限界があるため、リフォーカス方式の第２の焦点検出が高精度で焦点検出できるデフォーカス量の範囲は限定される。
【００７４】
図１０は、リフォーカス可能範囲を説明するための図である。同図において、図５および図６と同様の部分は同じ符号を付して示す。
図１０に示すように、許容錯乱円をδとし、結像光学系の絞り値をＦとすると、絞り値Ｆでの被写界深度は±Ｆδである。これに対して、ＮＨ×ＮＶ（２×１）分割されて狭くなった瞳部分領域５０１の水平方向の実効絞り値Ｆ０１（Ｆ０２）は、Ｆ０１＝ＮＨＦと暗くなる。第１焦点検出信号毎の実効的な被写界深度は±ＮＨＦδとＮＨ倍深くなり、合焦範囲がＮＨ倍に広がる。実効的な被写界深度±ＮＨＦδの範囲内では、第１の焦点検出信号（第２の焦点検出信号）毎に合焦した被写体像が取得されている。瞳部分領域４０２の水平方向の実効絞り値Ｆ０２についても同様であり、Ｆ０２＝ＮＨＦと暗くなり、第２焦点検出信号毎の実効的な被写界深度は±ＮＨＦδとＮＨ倍深くなる。この実効的な被写界深度の範囲内では、第２の焦点検出信号毎に合焦した被写体像が取得されている。よって、図８に示した主光線角度θａ（θｂ）に沿って撮像信号Ａｉ（撮像信号Ｂｉ）を平行移動するリフォーカス処理により、撮影後に、合焦位置を再調整（リフォーカス）することができる。よって、撮影後に合焦位置を再調整（リフォーカス）できる撮像面からのデフォーカス量ｄは限定されており、デフォーカス量ｄのリフォーカス可能範囲は、概ね、式（７）の範囲である。
【数７】
2016024402.tif 000009
【００７５】
許容錯乱円δは、δ＝２ΔＸ（画素周期ΔＸのナイキスト周波数１／（２ΔＸ）の逆数）などで規定される。必要に応じて、加算処理後の第１の焦点検出信号（第２の焦点検出信号）の周期ΔＸＡＦ（＝６ΔＸ：６画素加算の場合）のナイキスト周波数１／（２ΔＸＡＦ）の逆数を許容錯乱円δ＝２ΔＸＡＦとしても用いても良い。
【００７６】
リフォーカス方式の第２の焦点検出が高精度で焦点検出できるデフォーカス量の範囲は、概ね、式（７）の範囲に限定され、第２の焦点検出により高精度に焦点検出可能なデフォーカス範囲は、位相差方式の第１の焦点検出可能なデフォーカス範囲以下の範囲である。図６に示したように、第１の焦点検出信号と第２の焦点検出信号との水平方向の相対的なシフト量とデフォーカス量は、概ね、比例する。したがって、本発明では、リフォーカス方式の第２の焦点検出の第２のシフト処理のシフト範囲が、位相差方式の第１の焦点検出の第１のシフト処理のシフト範囲以下となるように構成される。
また、第２の焦点検出可能なデフォーカス範囲が、第１の焦点検出可能なデフォーカス範囲以下であることから、第２の焦点検出の焦点検出領域の瞳分割方向の範囲（Ｗ２）を、第１の焦点検出の焦点検出領域の瞳分割方向の範囲（Ｗ１）以下としても良い。
【００７７】
本発明の撮像素子では、焦点検出画素（第１の焦点検出画素、第２の焦点検出画素）が受光する光束と、単位画素が受光する光束が異なり、結像光学系の各収差（球面収差、非点収差、コマ収差など）の焦点検出画素への影響と撮像信号への影響が異なる。結像光学系の絞り値が小さい（明るい）と差異がより大きくなる。そのため、結像光学系の絞り値が小さい（明るい）時に、位相差方式の第１の焦点検出により算出される検出合焦位置（第１検出デフォーカス量が０となる位置）と撮像信号の最良合焦位置（撮像信号のＭＴＦピーク位置）との間に差が生じる場合がある。よって、特に、結像光学系の絞り値が所定絞り値以下の場合に、位相差方式の第１の焦点検出の焦点検出精度が低下する場合がある。
【００７８】
図１１に、本実施例における位相差方式の第１の焦点検出による第１の検出デフォーカス量（破線）の例を示す。横軸は、設定デフォーカス量であり、縦軸は検出デフォーカス量である。設定デフォーカス量０の最良合焦位置において、第１の焦点検出による第１の検出デフォーカス量が後ピン側に約５０μｍオフセットしており、最良合焦位置と第１の焦点検出により算出される検出合焦位置との間に約５０μｍの差異が生じていることがわかる。
【００７９】
本実施例の撮像素子では、図４、図５に示したように、第１の焦点検出画素が受光する光束と第２の焦点検出画素が受光する光束を加算したものが、単位画素が受光する光束となる。位相差方式の第１の焦点検出とは異なり、リフォーカス方式の第２の焦点検出では、第１の焦点検出信号と第２の焦点検出信号のシフト加算信号（リフォーカス信号）により焦点検出を行う。よって、第２の焦点検出で用いられるシフト加算信号に対応する光束と、撮像信号に対応する光束が、概ね、一致するため、結像光学系の各収差（球面収差、非点収差、コマ収差など）のシフト加算信号への影響と撮像信号への影響も、概ね、同じである。したがって、リフォーカス方式の第２の焦点検出により算出される検出合焦位置（第２の検出デフォーカス量が０となる位置）と撮像信号の最良合焦位置（撮像信号のＭＴＦピーク位置）が、概ね、一致するため、位相差方式の第１の焦点検出より高精度に焦点検出できる。
【００８０】
図１１に、本実施例におけるリフォーカス方式の第２の焦点検出による第２の検出デフォーカス量（実線）の例を示す。横軸は、設定デフォーカス量であり、縦軸は検出デフォーカス量である。設定デフォーカス量０の最良合焦位置において、第２の焦点検出による第２検出デフォーカス量は、第１の焦点検出による第１の検出デフォーカス量よりも小さく抑制され、高精度に焦点検出できることがわかる。
【００８１】
本実施例では、低輝度の焦点検出性能を向上するために、位相差方式の第１の焦点検出では、焦点検出領域に含まれるＮ１×Ｍ１行のうち、相関量加算数Ｎ１の評価値加算と、第１の信号加算数Ｍ１の信号加算を行う。同様に、リフォーカス方式の第２の焦点検出では、焦点検出領域に含まれるＮ２×Ｍ２行のうち、コントラスト評価値加算数Ｎ２の評価値加算と、第２の信号加算数Ｍ２の信号加算を行う。
【００８２】
相関量やコントラスト評価値の算出演算数を削減して、演算負荷を抑制するために、焦点検出信号（第１の焦点検出信号、第２の焦点検出信号）の信号加算処理を増やして、評価値加算を抑制することを考える。この場合、位相差方式の第１の焦点検出に比べて、リフォーカス方式の第２の焦点検出の方が、焦点検出信号の信号加算の影響を受けて焦点検出精度が低下しやすい。
【００８３】
位相差方式の第１の焦点検出では、斜め線などを含む被写体信号で、複数ラインの焦点検出信号の信号加算により、相関量の算出に必要な像ずれ量は変化しにくい。これに対して、リフォーカス方式の第２の焦点検出では、斜め線などを含む被写体信号で、複数ラインの焦点検出信号の信号加算により、コントラスト評価値の算出に必要な輝度変化の情報が低下してしまう。そのため、リフォーカス方式の第２の焦点検出の方が、位相差方式の第１の焦点検出に対して、相対的に、信号加算によるコントラスト低下の影響を受けやすく焦点検出精度が低下しやすい。
本実施例では、上述したように、リフォーカス方式の第２の焦点検出の第２のシフト処理のシフト範囲が、位相差方式の第１の焦点検出の第１のシフト処理のシフト範囲以下となるように構成される。よって、第２の焦点検出のコントラスト評価値（第２の評価値）の演算処理量が、第１の焦点検出の相関量（第１の評価値）の演算処理量以下にできる。そのため、第１の焦点検出より、第２の焦点検出の方が、信号加算数を少なくし、評価値加算数を多くすることができる。
また、第２の焦点検出の焦点検出領域の瞳分割方向の範囲（Ｗ２）を、第１の焦点検出の焦点検出領域の瞳分割方向の範囲（Ｗ１）以下として、第２の焦点検出が、第１の焦点検出より、信号加算数を少なくし、評価値加算数を多くしても良い。
【００８４】
よって、本実施例では、リフォーカス方式の第２の焦点検出の第２の信号加算数Ｍ２を、位相差方式の第１の焦点検出の第１の信号加算数Ｍ１に等しいまたはそれより小さく（Ｍ２≦Ｍ１）する。また、第２の焦点検出のコントラスト評価値加算数Ｎ２は、第１の焦点検出の相関量加算数Ｎ１に等しいまたはそれより大きい（Ｎ２≧Ｎ１）構成にする。
【００８５】
したがって、本発明では、リフォーカス方式の第２の焦点検出の加算コントラスト評価値の加算数が、位相差方式の第１の焦点検出の加算相関量の加算数以上である。
【００８６】
本実施例の焦点検出処理の流れの概略図を図１２に示す。
【００８７】
図１２のステップＳ１２１０で、位相差方式による第１の焦点検出により第１の検出デフォーカス量（Ｄｅｆ１）を検出する。また、並列的に、ステップＳ１２２０で、リフォーカス方式による第２の焦点検出により第２の検出デフォーカス量（Ｄｅｆ２）を検出する。
【００８８】
ステップＳ１２３０で、第２の検出デフォーカス量（Ｄｅｆ２）が検出された場合は、ステップ１２５０で、第２の検出デフォーカス量（Ｄｅｆ２）を第３の検出デフォーカス量（Ｄｅｆ３）とする。検出されなかった場合は、ステップＳ１２４０で、第１の検出デフォーカス量（Ｄｅｆ１）を第３の検出デフォーカス量（Ｄｅｆ３）とする。ステップＳ１２６０で第３のデフォーカス量（Ｄｅｆ３）の大きさ｜Ｄｅｆ３｜が所定値３より大きい場合は、ステップＳ１２７０で第３のデフォーカス量（Ｄｅｆ３）に応じてレンズ駆動を行い、ステップＳ１２１０とステップＳ１２２０に戻る。ステップＳ１２６０で第３のデフォーカス量（Ｄｅｆ３）の大きさ｜Ｄｅｆ３｜が所定値３以下の場合は、焦点調節動作を終了する。
【００８９】
以上説明した本発明の実施の形態によれば、焦点検出信号の相関量とコントラスト評価値を用いる焦点検出において、演算負荷を抑制して、かつ、高精度な焦点検出が可能となる。
【００９０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９１】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００９２】
また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）などが実際の処理の一部又は全部を行うことによっても前述した実施形態の機能が実現される。この場合も本件発明に含まれることは言うまでもない。
【００９３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づく処理も本件発明に含まれる。すなわち、機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等がプログラムコードの指示に基づき実際の処理の一部又は全部を行って前述した実施形態の機能を実現する場合も本件発明に含まれることは言うまでもない。
【００９４】
上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図１】
2016024402.tif 000010
【図３】
2016024402.tif 000011
【図４】
2016024402.tif 000012
【図５】
2016024402.tif 000013
【図６】
2016024402.tif 000014
【図７】
2016024402.tif 000015
【図８】
2016024402.tif 000016
【図９】
2016024402.tif 000017
【図１０】
2016024402.tif 000018
【図１１】
2016024402.tif 000019
【図１２】
2016024402.tif 000020
【図２】
2016024402.tif 000021