(57)【要約】【課題】  瞳分割された一対の焦点検出信号を用いて異なる複数方式の焦点検出を行うことが可能な焦点検出装置において、それぞれの焦点検出方式の特徴を生かして、高精度な焦点検出を行うこと。【解決手段】  複数のマイクロレンズそれぞれに対して複数の光電変換部を有する撮像素子から、一対の焦点検出信号を取得し、取得した一対の焦点検出信号を取得する画像を撮影した時の絞り値と、予め決められた閾値とを比較し、絞り値が閾値未満の場合に、一対の焦点検出信号を互いにシフトし、差分して得られた値に基づいて焦点検出処理を行い、絞り値が閾値以上の場合に、一対の焦点検出信号を互いにシフトし、加算して得られた値に基づいて焦点検出処理を行う。【選択図】  図７
2019032484.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクロレンズそれぞれに対して複数の光電変換部を有する撮像素子から、瞳分割した一対の焦点検出信号を取得する取得手段と、
前記一対の焦点検出信号を互いにシフトし、差分して得られた値に基づいて焦点検出処理を行う第１の焦点検出方式と、前記一対の焦点検出信号を互いにシフトし、加算して得られた値に基づいて焦点検出処理を行う第２の焦点検出方式で、焦点検出が可能な焦点検出手段と、
前記第１の焦点検出方式と前記第２の焦点検出方式のいずれにより焦点検出を行うかを制御する制御手段と、を有し、
前記制御手段は、前記一対の焦点検出信号を取得する画像を撮影した時の絞り値が、予め決められた閾値未満の場合に、前記第１の焦点検出方式により焦点検出を行い、前記閾値以上の場合に、前記第２の焦点検出方式により焦点検出を行うように制御することを特徴とする焦点検出装置。
【請求項２】
前記閾値を、結像光学系の状態に応じて変更することを特徴とする請求項１に記載の焦点検出装置。
【請求項３】
前記焦点検出手段は、
前記一対の焦点検出信号から抽出された、複数の異なる周波数帯域の信号を用いて焦点検出を行うことが可能であって、
前記焦点検出の結果が、合焦近傍を示す予め決められた範囲内になるまで、予め決められた第１の周波数帯域の信号に基づいて前記焦点検出処理を行い、
前記焦点検出の結果が、前記予め決められた範囲内になった場合に、前記第１の周波数帯域よりも高い第２の周波数帯域の信号に基づいて前記焦点検出処理を行う
ことを特徴とする請求項１または２に記載の焦点検出装置。
【請求項４】
前記第１の焦点検出方式では、前記第１または第２の周波数帯域の信号を抽出する前に、前記一対の焦点検出信号に対してシェーディング補正を行うことを特徴とする請求項３に記載の焦点検出装置。
【請求項５】
前記焦点検出手段は、さらに、焦点検出時の信頼性の評価値および前記一対の焦点検出信号のコントラストの評価値の少なくともいずれか一方に基づいて、前記焦点検出の結果が、前記予め決められた範囲内になったか否かを判断することを特徴とする請求項３または４に記載の焦点検出装置。
【請求項６】
前記第１の焦点検出方式では、位相差方式の焦点検出を行うことを特徴とする請求項１乃至５のいずれか１項に記載の焦点検出装置。
【請求項７】
前記第２の焦点検出方式では、リフォーカス方式の焦点検出を行うことを特徴とする請求項１乃至６のいずれか１項に記載の焦点検出装置。
【請求項８】
前記取得手段は、前記一対の焦点検出信号をそれぞれ読み出すことを特徴とする請求項１乃至７のいずれか１項に記載の焦点検出装置。
【請求項９】
前記第２の焦点検出方式では、前記一対の焦点検出信号に対して、ホワイトバランス調整処理を行ってから、前記焦点検出処理を行うことを特徴とする請求項８に記載の焦点検出装置。
【請求項１０】
前記取得手段は、前記撮像素子から、前記複数の光電変換部の一部の信号と、前記複数の光電変換部の全ての信号を加算した加算信号とを読み出し、該加算信号と前記一部の信号の差分を取ることで、前記一対の焦点検出信号を取得することを特徴とする請求項１乃至４および６乃至９のいずれか１項に記載の焦点検出装置。
【請求項１１】
前記第２の焦点検出方式では、前記複数の光電変換部の一部の信号と前記加算信号に対してホワイトバランス調整処理を行い、前記ホワイトバランス調整処理を行った前記加算信号と前記一部の信号の差分を取ることで、前記一対の焦点検出信号の他方を取得することを特徴とする請求項１０に記載の焦点検出装置。
【請求項１２】
前記制御手段は、前記焦点検出の結果が、合焦近傍を示す予め決められた範囲になるまで、前記制御を行うことを特徴とする請求項１乃至１１のいずれか１項に記載の焦点検出装置。
【請求項１３】
撮像素子と、
請求項１乃至１２のいずれか１項に記載の焦点検出装置と、
前記焦点検出装置による焦点検出結果に応じて、結像光学系の焦点調節を行う焦点調節装置と
を有することを特徴とする撮像装置。
【請求項１４】
取得手段が、複数のマイクロレンズそれぞれに対して複数の光電変換部を有する撮像素子から、一対の焦点検出信号を取得する取得工程と、
比較手段が、前記一対の焦点検出信号を取得する画像を撮影した時の絞り値と、予め決められた閾値とを比較する比較工程と、
焦点検出手段が、前記絞り値が前記閾値未満の場合に、前記一対の焦点検出信号を互いにシフトし、差分して得られた値に基づいて焦点検出処理を行う第１の焦点検出工程と、
焦点検出手段が、前記絞り値が前記閾値以上の場合に、前記一対の焦点検出信号を互いにシフトし、加算して得られた値に基づいて焦点検出処理を行う第２の焦点検出工程と
を有することを特徴とする焦点検出方法。
【請求項１５】
コンピュータを、請求項１乃至１２のいずれか１項に記載の焦点検出装置の各手段として機能させるためのプログラム。
【請求項１６】
請求項１５に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点検出装置及び方法、及び撮像装置に関する。
【背景技術】
【０００２】
撮像装置の焦点検出方法の１つに、撮像素子に形成された焦点検出画素により位相差方式の焦点検出を行う撮像面位相差方式がある。撮像面位相差方式の焦点検出では、撮像素子に形成された焦点検出画素により算出される像ずれ量から、デフォーカス方向とデフォーカス量を同時に検出することが可能であり、高速に焦点調節を行うことができる。
【０００３】
特許文献１では、分割された光電変換部（焦点検出画素）により受光して得られたそれぞれの焦点検出信号から、位相差を用いて焦点検出を行う技術が開示されている。その際に、一対の焦点検出信号の強度差を補正するシェーディング補正を実施した後に、シェーディング補正された焦点検出信号を用いて像ずれ量の算出を行うことが記載されている。
【０００４】
特許文献２では、複数の空間周波数それぞれにおける焦点検出結果を算出することを特徴とし、合焦近傍と判断された場合に、より空間周波数の高い焦点検出結果に基づいて焦点検出を行うことが開示されている。
【０００５】
また、特許文献３では、分割された光電変換部（焦点検出画素）により受光して得られたそれぞれの焦点検出信号から画像を生成し、生成された画像のコントラスト評価値から像ずれ量を求めることが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−１３１６２３号公報
【特許文献２】特許２０１４−７４８５１号公報
【特許文献３】特開２０１４−１６４２５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１の像ずれ量算出方式では、一対の焦点検出信号の強度差を補正するシェーディング補正を実施し、一対の焦点検出信号の差分の絶対値和を最小にする像ずれ量からデフォーカス量を算出する。しかしながら、シェーディング補正の精度が低い場合、焦点検出精度が低下する場合がある。シェーディング補正誤差は、低域の空間周波数に相当するため、特許文献２に記載されているように複数の空間周波数において焦点結果を算出する場合、低域の焦点検出誤差が大きくなる。したがって、複数の空間周波数において焦点結果を算出すると、シェーディング補正の精度が低い場合においては、空間周波数間の焦点検出結果に大きな差異が生じることがある。
【０００８】
一方、特許文献３では、一対の焦点検出信号から画像を生成し、生成された画像から像ずれ量を算出するが、一対の焦点検出信号の像シフト量に制限があるため、大きな像ずれ量を求める際は焦点検出精度が低下することがある。
【０００９】
本発明は上記問題点を鑑みてなされたものであり、瞳分割された一対の焦点検出信号を用いて異なる複数方式の焦点検出を行うことが可能な焦点検出装置において、それぞれの焦点検出方式の特徴を生かして、高精度な焦点検出を行うことを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の焦点検出装置は、複数のマイクロレンズそれぞれに対して複数の光電変換部を有する撮像素子から、瞳分割した一対の焦点検出信号を取得する取得手段と、前記一対の焦点検出信号を互いにシフトし、差分して得られた値に基づいて焦点検出処理を行う第１の焦点検出方式と、前記一対の焦点検出信号を互いにシフトし、加算して得られた値に基づいて焦点検出処理を行う第２の焦点検出方式で、焦点検出が可能な焦点検出手段と、前記第１の焦点検出方式と前記第２の焦点検出方式のいずれにより焦点検出を行うかを制御する制御手段と、を有し、前記制御手段は、前記一対の焦点検出信号を取得する画像を撮影した時の絞り値が、予め決められた閾値未満の場合に、前記第１の焦点検出方式により焦点検出を行い、前記閾値以上の場合に、前記第２の焦点検出方式により焦点検出を行うように制御する。
【発明の効果】
【００１１】
本発明により、瞳分割された一対の焦点検出信号を用いて異なる複数方式の焦点検出を行うことが可能な焦点検出装置において、それぞれの焦点検出方式の特徴を生かして、高精度な焦点検出を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る撮像装置の概略構成図。
【図２】実施形態における画素配列の概略図。
【図３】実施形態における画素の概略平面図と概略断面図。
【図４】実施形態における画素構造と瞳分割の概略説明図。
【図５】実施形態における撮像素子と瞳分割の概略説明図。
【図６】実施形態における第１焦点検出信号と第２焦点検出信号のデフォーカス量と像ずれ量の概略関係図。
【図７】第１の実施形態における焦点検出処理の全体的な流れを示すフローチャート。
【図８】第１の実施形態における第１焦点検出方式による焦点検出処理の流れを示すフローチャート。
【図９】第１の実施形態におけるフィルタ周波数帯域例を示す図。
【図１０】第１焦点検出信号と第２焦点検出信号の瞳ずれによるシェーディングの概略説明図。
【図１１】第１の実施形態において低周波帯域を抽出するフィルタと、高周波帯域を抽出するフィルタを用いた場合の第１焦点検出方式における焦点検出結果を示す図。
【図１２】第１の実施形態におけるリフォーカス処理の概略説明図。
【図１３】第１の実施形態における第２焦点検出方式による焦点検出処理の流れを示すフローチャート。
【図１４】第２の実施形態における第２焦点検出方式による焦点検出処理の流れを示すフローチャート。
【図１５】第２の実施形態における第１焦点検出信号と第２焦点検出信号の線像の図。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、材質、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。
【００１４】
＜第１の実施形態＞
［全体構成］
図１は本発明の焦点検出装置を備えた撮像装置であるカメラの概略構成を示したものである。図１において、第１レンズ群１０１は結像光学系の先端に配置され、光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行うほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を実現することができる。
【００１５】
第３レンズ群１０５（フォーカスレンズ）は、光軸方向の進退により焦点調節を行う。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は２次元ＣＭＯＳフォトセンサとその周辺回路からなり、結像光学系の結像面に配置され、結像光学系を介して入射する光を光電変換して、電気信号を出力する。
【００１６】
ズームアクチュエータ１１１は、不図示のカム筒を回動することで、第１レンズ群１０１ないし第２レンズ群１０３を光軸方向に進退駆動し、変倍操作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。
【００１７】
撮影時の被写体照明用電子フラッシュ１１５は、キセノン管を用いた閃光照明装置が好適だが、連続発光するＬＥＤを備えた照明装置を用いても良い。ＡＦ補助光発光部１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。
【００１８】
カメラ内ＣＰＵ１２１は、カメラ本体の種々の制御を司り、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動し、ＡＦ、撮影、画像処理と記録等の一連の動作を実行する。
【００１９】
電子フラッシュ制御回路１２２は、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光回路１２３は、焦点検出動作に同期してＡＦ補助光発光部１１６を点灯制御する。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５は、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行う。
【００２０】
フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。ズーム駆動回路１２９は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。
【００２１】
ＬＣＤ等の表示器１３１は、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作スイッチ群１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。着脱可能なフラッシュメモリ１３３は、撮影済み画像を記録する。
【００２２】
［撮像素子］
次に、本実施形態における撮像素子１０７の撮像画素と焦点検出画素の配列の概略を図２参照して説明する。図２は、本実施形態の２次元ＣＭＯＳセンサー（撮像素子）の画素（撮像画素）配列を４列×４行の範囲で、焦点検出画素配列を８列×４行の範囲で示したものである。
【００２３】
画素群２００は、複数色のカラーフィルタに覆われた２行×２列の画素からなり、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。さらに、各画素は２列×１行に配列された第１焦点検出画素２０１と第２焦点検出画素２０２により構成されている。図２に示した４列×４行の画素（８列×４行の焦点検出画素）を面上に多数配置し、撮像画像（焦点検出信号）の取得を可能としている。
【００２４】
図２に示した撮像素子１０７の１つの画素２００Ｇを、撮像素子１０７の受光面側（＋ｚ側）から見た平面図を図３（ａ）に示し、図３（ａ）のａ−ａ断面を−ｙ側から見た断面図を図３（ｂ）に示す。図３に示すように、本実施形態の画素２００Ｇでは、各画素の受光側に入射光を集光するためのマイクロレンズ３０５が形成され、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部３０１と光電変換部３０２が形成される。光電変換部３０１および３０２が、それぞれ、第１焦点検出画素２０１と第２焦点検出画素２０２に対応する。
【００２５】
光電変換部３０１および３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしても良いし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしても良い。
【００２６】
各画素には、マイクロレンズ３０５と、光電変換部３０１および３０２との間に、カラーフィルタ３０６が形成される。本実施形態においては上述したＲ（赤）の分光感度を有するカラーフィルタ、Ｇ（緑）の分光感度を有するカラーフィルタ、Ｂ（青）の分光感度を有するカラーフィルタのいずれかが配置される。ただし、カラーフィルタの分光感度特性はＲＧＢに限定されるものではなく、また、カラーフィルタを省略しても良い。
【００２７】
図３に示した画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光されたのち、光電変換部３０１および３０２で受光される。光電変換部３０１および３０２では、受光量に応じて電子とホールが対生成し、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積され、一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子１０７の外部へ排出される。光電変換部３０１および３０２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換されて出力される。
【００２８】
なお、図２に示す画素２００Ｒ，２００Ｂも、画素２００Ｇと同様の構成を有し、画素２００Ｇと同様にして、カラーフィルタ３０６により各色に分光された光に応じた電圧信号を出力する。
【００２９】
図３に示した本実施形態における画素構造と瞳分割との対応関係を図４を参照して説明する。図４は、図３（ａ）に示した本実施形態の画素構造のａ−ａ断面を＋ｙ側から見た断面図と結像光学系の射出瞳面をに示す図である。なお、図４では、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図３に対して反転させている。
【００３０】
第１瞳部分領域５０１は光電変換部３０１に対応し、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズ３０５によって概ね共役関係になっており、光電変換部３０１で受光可能な瞳領域を表している。第１瞳部分領域５０１は、瞳面上で＋Ｘ方向に重心が偏心している。
【００３１】
また、第２瞳部分領域５０２は光電変換部３０２に対応し、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズ３０５によって概ね共役関係になっており、光電変換部３０２で受光可能な瞳領域を表している。第２瞳部分領域５０２は、瞳面上で−Ｘ方向に重心が偏心している。
【００３２】
また、瞳領域５００は、光電変換部３０１および３０２を全て合わせた際に画素２００Ｇ全体で受光可能な瞳領域である。４００は、絞り兼用シャッタ１０２の開口（射出瞳）を表している。
【００３３】
図５は、本実施の形態の撮像素子１０７と瞳分割との対応関係を示した概略図である。第１瞳部分領域５０１と第２瞳部分領域５０２の結像光学系の異なる瞳部分領域を通過した一対の光束は、撮像素子１０７の各画素にそれぞれ異なる角度で入射し、２×１分割された第１焦点検出画素２０１と第２焦点検出画素２０２で受光される。なお、本実施形態では、瞳領域が水平方向に２つに瞳分割されている例を示しているが、必要に応じて、垂直方向に瞳分割を行っても良い。
【００３４】
また、本実施形態の撮像素子１０７は、それぞれの撮像画素が第１焦点検出画素２０１と第２焦点検出画素２０２とから構成されているが、本発明はこれに限るものではない。必要に応じて、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２とを合わせた瞳領域５００を通過した光束を受光する撮像画素と、第１焦点検出画素２０１および第２焦点検出画素２０２を個別の画素構成としてもよい。その場合、撮像画素による配列の一部に、第１焦点検出画素２０１と第２焦点検出画素２０２を部分的に配置する構成としても良い。
【００３５】
上述した構成を有する撮像素子１０７の各画素の第１焦点検出画素２０１の受光信号を集めて第１焦点検出信号を生成し、各画素の第２焦点検出画素２０２の受光信号を集めて第２焦点検出信号を生成して焦点検出を行う。
【００３６】
また、撮像素子１０７の各マイクロレンズ３０５に対応する画素毎に、第１焦点検出画素２０１と第２焦点検出画素２０２の受光信号を加算することで、有効画素数Ｎの解像度の画像信号（加算信号）を生成することができる。
【００３７】
［デフォーカス量と像ずれ量の関係］
次に、本実施形態の撮像素子１０７により取得される第１焦点検出信号と第２焦点検出信号の像ずれ量とデフォーカス量との関係について説明する。図６は、第１焦点検出信号と第２焦点検出信号のデフォーカス量と第１焦点検出信号と第２焦点検出信号間の像ずれ量との関係を示す図である。撮像面８００に本実施形態の撮像素子１０７が配置され、図４、図５と同様に、結像光学系の瞳領域５００が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。
【００３８】
デフォーカス量ｄは、被写体の結像位置から撮像面８００までの距離を大きさ｜ｄ｜としたとき、被写体の結像位置が撮像面より被写体側にある前ピン状態を負（ｄ＜０）、撮像面８００より被写体の反対側にある後ピン状態を正（ｄ＞０）として定義される。被写体の結像位置が撮像面８００（合焦位置）にある焦点状態はｄ＝０である。図６で、被写体８０１は合焦状態（ｄ＝０）の例を示しており、被写体８０２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）と呼ぶ。
【００３９】
前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１を通過した被写体光は、一度、集光した後、光束の重心位置Ｇ１を中心として幅Γ１に広がり、撮像面８００でボケた像となる。第２瞳部分領域５０２を通過した被写体光についても同様であり、重心位置Ｇ２を中心として幅Γ２に広がったボケた像を形成する。ボケた像は、撮像素子１０７に配列された各画素を構成する第１焦点検出画素２０１および第２焦点検出画素２０２により受光され、得られた受光信号から第１焦点検出信号および第２焦点検出信号が生成される。よって、第１焦点検出信号および第２焦点検出信号は、撮像面８００上の重心位置Ｇ１およびＧ２に、被写体８０２が幅Γ１およびΓ２にボケた被写体像として記録される。被写体像のボケ幅Γ１，Γ２は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。
【００４０】
このように、第１焦点検出信号と第２焦点検出信号から算出される像ずれ量ｐはデフォーカス量ｄと概ね比例関係にあるため、事前に求めておいた換算係数Ｋを用いることで、像ずれ量ｐからデフォーカス量ｄを求めることができる。
【００４１】
像ずれ量を求める方式はいくつかあるが、本実施形態においては、第１焦点検出方式と第２焦点検出方式の２つの焦点検出方式を用いる。第１焦点検出方式は、一対の焦点検出信号の強度差を補正するシェーディング補正を実施した後、一対の焦点検出信号の差分の絶対値和を最小にする像ずれ量からデフォーカス量を算出する位相差方式である。第２焦点検出方式は、一対の焦点検出信号を互いにずらしながら加算して複数の画像を生成し、生成された複数の画像から像ずれ量とデフォーカス量を算出する、リフォーカス原理に基づいた方式（以後、「リフォーカス方式」と呼ぶ。）である。なお、第１焦点検出方式および第２焦点検出方式の詳細については、後述する。
【００４２】
［焦点検出の流れ］
以下、第１の実施形態における焦点検出処理の全体的な流れについて、図７を用いて説明する。まず、Ｓ７０１において、例えばＡＦ用のＡＥ等から決定された、ＡＦ時の絞り値Ｆｎｏを取得する。Ｓ７０２で、取得した絞り値Ｆｎｏが閾値Ｆ０未満（開口径が大きい）の場合はＳ７０３に進み、低域の空間周波数の信号を抽出するフィルタｆｌｔ１を用いて、第１焦点検出方式によるデフォーカス量の算出を行う。一方、取得したＦｎｏが閾値Ｆ０以上（開口径が小さい）の場合はＳ７０６に進み、フィルタｆｌｔ１を用いて、第２焦点検出方式によるデフォーカス量の算出を行う。なお、絞り値Ｆｎｏに応じて焦点検出方式を変更する理由については後述する。
【００４３】
第１の実施形態では、低域の空間周波数の信号を抽出するためのフィルタｆｌｔ１と、高域の空間周波数の信号を抽出するためのフィルタｆｌｔ２を用いるものとする。Ｓ７０３及びＳ７０６でフィルタｆｌｔ１を用いる利点の１つとして、検出可能なデフォーカス範囲が広いことが挙げられるため、ＡＦ開始直後においては低域を抽出するフィルタｆｌｔ１を用いた焦点検出を行いて、デフォーカス量ＤＥＦ１を算出する。なお、焦点検出方式に関わらず、フィルタｆｌｔ１を用いた場合に検出されるデフォーカス量をＤＥＦ１、フィルタｆｌｔ２を用いた場合のデフォーカス量をＤＥＦ２と呼ぶ。
【００４４】
Ｓ７０６では、フィルタｆｌｔ１を用いて第２焦点検出方式によりデフォーカス量ＤＥＦ１の算出を行う。リフォーカス方式の第２焦点検出方式は、像のボケ量が大きいと精度の高い焦点検出ができないことがあるため、第１焦点検出方式よりも検出可能なデフォーカス量が狭いという特徴がある。しかしながら、本第１の実施形態では、ＡＦ時の絞り値Ｆｎｏが閾値Ｆ０以上（開口径が小さい）の場合にＳ７０３に進むため、デフォーカス変化による像のボケ量が少ない場合に第２焦点検出方式を行うことで、検出可能なデフォーカス量の範囲を広げている。
【００４５】
Ｓ７０４およびＳ７０７では、フィルタｆｌｔ１を用いて算出したデフォーカス量ＤＥＦ１が合焦近傍を示す値かどうか（予め決められた範囲Ｒ１内にあるかどうか）の判定を行う。デフォーカス量ＤＥＦ１が合焦近傍を示す値であれば、Ｓ７０９に進む。デフォーカス量ＤＥＦ１が合焦近傍外（予め決められた範囲Ｒ１外）を示す値であれば、Ｓ７０５またはＳ７０８に進み、デフォーカス量ＤＥＦ１に基づいてレンズ駆動を行う。レンズ駆動後はＳ７０２またはＳ７０６に戻って、再度、上述した処理によりデフォーカス量ＤＥＦ１の算出を行う。
【００４６】
なお、ここでは、合焦近傍かどうかの判定をデフォーカス量ＤＥＦ１の値にのみ基づいて行うものとして説明したが、焦点検出時の信頼性評価値や撮像画像のコントラスト評価値等も含めて合焦近傍か否かの判定を行ってもよい。
【００４７】
Ｓ７０９では、最終合焦評価用にフィルタｆｌｔ２を用いてデフォーカス量ＤＥＦ２を算出する。なお、フィルタｆｌｔ２を用いた最終合焦評価用の焦点検出方式に関しては、第１焦点検出方式、第２焦点検出方式のどちらを用いてもよい。
【００４８】
Ｓ７１０では、デフォーカス量ＤＥＦ２が合焦を示す値かどうか（予め決められた範囲Ｒ２内にあるかどうか、ただし、Ｒ２＜Ｒ１）の判定を行う。デフォーカス量ＤＥＦ２が合焦を示す値であれば、ＡＦ完了とする。合焦ではないことを示す値の場合にはＳ７１１に進み、デフォーカス量ＤＥＦ２に基づいてレンズ駆動を行う。レンズ駆動後はＳ７０９に戻って、再度デフォーカス量ＤＥＦ２の算出を行う。
【００４９】
なお、ここでは、合焦判定をデフォーカス量ＤＥＦ２の値にのみ基づいて行うものとして説明したが、焦点検出時の信頼性評価値や撮像画像のコントラスト評価値等も含めて合焦か否かの判定を行ってもよい。
【００５０】
また、上述した焦点検出処理は一例であり、本発明はこれに制限されるものでは無い。例えば、複数回レンズ駆動を行っても合焦判定とならなかった場合には、ＡＦ不可としてもよい。また、Ｓ７０１において焦点検出方式を切り替える際に、絞り値Ｆｎｏと比較する閾値Ｆ０を、結像光学系の状態によって変えても良い。例えば、結像光学系がズームレンズであれば、ズーム状態に応じて閾値Ｆ０を設定してもよい。
【００５１】
複数の異なる空間周波数の信号を用いて焦点結果を算出する場合、低域の空間周波数の信号を用いた焦点検出結果と高域の空間周波数の信号を用いた焦点検出結果に大きな差異があると、引き継ぎに支障をきたし、最終合焦までたどり着かないことがある。そこで、本実施形態ではこの課題への対応のために、結像光学系の絞り値に応じて焦点検出方式を変更している。以下、本実施形態で用いる２つの焦点検出方式（第１の焦点検出方式及び第２の焦点検出方式）に関して説明をする。
【００５２】
［第１焦点検出方式］
本実施形態における第１焦点検出方式は位相差方式であり、第１焦点検出信号と第２焦点検出信号を相対的にシフトさせて信号の一致度を表す相関量を計算し、相関（信号の一致度）が高いシフト量から像ずれ量を検出する。そして、撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する関係性から、像ずれ量をデフォーカス量に変換して焦点検出を行う。
【００５３】
図８は、第１の実施形態における第１焦点検出方式による焦点検出処理の流れを示すフローチャートである。なお、図８に示す処理は、主に、撮像素子１０７、画像処理回路１２５、ＣＰＵ１２１によって実行される。
【００５４】
Ｓ８０１において、撮像素子１０７から読み出した信号の内、撮像素子１０７の有効画素領域内に設定された焦点検出領域の第１焦点検出画素２０１の受光信号から第１焦点検出信号を生成し、第２焦点検出画素２０２の受光信号から第２焦点検出信号を生成する。
【００５５】
Ｓ８０２では、第１焦点検出信号と第２焦点検出信号に、それぞれ、信号データ量を抑制するために列方向に３画素加算処理を行い、さらに、ＲＧＢ信号を輝度Ｙ信号にするためにベイヤー（ＲＧＢ）加算処理を行う。これら２つの加算処理を合わせて画素加算処理とする。なお、列方向への圧縮は検出する空間周波数に影響するため、低周波数帯域の信号を用いて検出する場合は、３画素加算よりも多くの画素を加算してもよい。また、高域の周波数帯域の信号を用いて検出する場合は、列方向への加算処理は実施しなくてもよい（非加算）。
【００５６】
Ｓ８０３では、加算処理した第１焦点検出信号と第２焦点検出信号に、それぞれ、シェーディング補正処理を行う。シェーディング補正処理は、第１焦点検出信号と第２焦点検出信号の信号強度を揃えることが目的であり、詳細は後述する。
【００５７】
Ｓ８０４では、シェーディング補正した第１焦点検出信号と第２焦点検出信号に、フィルタ処理を行う。前述したように、ＡＦ開始直後は大デフォーカスを検出できるように低周波帯域を抽出するフィルタｆｌｔ１を用い、最終合焦に用いるような小デフォーカス検出時には、高周波帯域を抽出するフィルタｆｌｔ２を用いる。図７に示す処理では、デフォーカス量ＤＥＦ１が予め決められた範囲Ｒ１内となるまでフィルタｆｌｔ１を用い、デフォーカス量ＤＥＦ１が予め決められた範囲Ｒ１内となると、フィルタｆｌｔ２を用いる。なお、フィルタ処理の通過帯域例を、図９に示す。実線のグラフは、フィルタｆｌｔ１に用いる低周波帯域の信号を抽出するフィルタを示し、その他のグラフは、ピークの位置が大きくなるほど、高周波帯域の信号を抽出するフィルタを示している。フィルタｆｌｔ２としては、その他のグラフのいずれかの特性を有するフィルタを用いることができる。
【００５８】
Ｓ８０５では、フィルタ処理後の第１焦点検出信号と第２焦点検出信号を相対的に瞳分割方向にシフトさせるシフト処理を行い、信号の一致度を表す相関量を算出する。
【００５９】
フィルタ処理後のｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷとする。シフト処理によるシフト量をｓ１、シフト量ｓ１のシフト範囲をΓ１とすると、相関量ＣＯＲは、式（１）により算出される。
【００６０】
2019032484.tif 000003
【００６１】
シフト量ｓ１のシフト処理により、ｋ番目の第１焦点検出信号Ａ（ｋ）とｋ−ｓ１番目の第２焦点検出信号Ｂ（ｋ−ｓ１）を対応させて減算し、シフト減算信号を生成する。生成されたシフト減算信号の絶対値を計算し、焦点検出領域に対応する範囲Ｗ内で番号ｋの和を取り、相関量ＣＯＲ（ｓ１）を算出する。必要に応じて、各行毎に算出された相関量を、シフト量毎に、複数行に亘って加算しても良い。
【００６２】
Ｓ８０６は、Ｓ８０５で算出した相関量から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して、像ずれ量ｐ１とする。そして、像ずれ量ｐ１に、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じた変換係数Ｋをかけて、デフォーカス量（Ｄｅｆ）とする。ここで、変換係数Ｋは第１焦点検出方式における像ずれ量ｐ１から検出デフォーカス量（Ｄｅｆ）への変換係数である。
【００６３】
次に、第１焦点検出信号と第２焦点検出信号の瞳ずれによるシェーディングについて説明する。図１０に、撮像素子１０７の周辺像高における光電変換部３０１に対応する第１瞳部分領域５０１、光電変換部３０２に対応する第２瞳部分領域５０２、および結像光学系の射出瞳４００の関係を示す。
【００６４】
図１０（ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子１０７の設定瞳距離Ｄｓが同じ場合を示している。この場合、第１瞳部分領域５０１と第２瞳部分領域５０２により、結像光学系の射出瞳４００が、概ね、均等に瞳分割される。
【００６５】
図１０（ｂ）は、結像光学系の射出瞳距離Ｄｌが、撮像素子１０７の設定瞳距離Ｄｓより短い場合を示している。この場合、撮像素子１０７の周辺像高では、射出瞳４００と撮像素子１０７の入射瞳の瞳ずれを生じ、射出瞳４００が、不均一に瞳分割されてしまう。同様に、図１０（ｃ）は、結像光学系の射出瞳距離Ｄｌが、撮像素子１０７の設定瞳距離Ｄｓより長い場合を示しており、撮像素子１０７の周辺像高では、射出瞳４００と撮像素子１０７の入射瞳の瞳ずれを生じ、射出瞳４００が、不均一に瞳分割されてしまう。周辺像高で瞳分割が不均一になるのに伴い、第１焦点検出信号と第２焦点検出信号の強度も不均一になり、第１焦点検出信号と第２焦点検出信号のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが生じる。
【００６６】
上述した図８のＳ８０３では、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じて、第１焦点検出信号の第１シェーディング補正係数と、第２焦点検出信号の第２シェーディング補正係数を、それぞれ生成する。そして、第１シェーディング補正係数を第１焦点検出信号に乗算し、第２シェーディング補正係数を第２焦点検出信号に乗算して、第１焦点検出信号と第２焦点検出信号のシェーディング補正処理（光学補正処理）を行う。
【００６７】
位相差方式の第１焦点検出方式においては、焦点検出精度がシェーディング補正処理の精度に影響される。原理的に、瞳ずれが大きく、絞りのＦ値が大きい（開口径が小さい）ほど、第１焦点検出信号と第２焦点検出信号の強度差は大きくなる。そして、強度差が大きいほど、シェーディング補正処理の誤差が起きやすくなる。したがって、第１焦点検出方式は、絞りのＦ値が小さい（開口径が大きい）と焦点検出精度が高く、絞りのＦ値が大きい（開口径が小さい）と焦点検出精度が低下する可能性があると言える。
【００６８】
シェーディング補正処理における誤差は、空間周波数としては低周波数帯域に相当する。したがって、低周波帯域を抽出するフィルタｆｌｔ１を用いた場合に、シェーディング補正処理の誤差が焦点検出精度に与える影響は大きくなる。
【００６９】
図１１は、シェーディング補正誤差がある場合に、低周波帯域を抽出するフィルタｆｌｔ１を用いた時の焦点検出結果と、高周波帯域を抽出するフィルタｆｌｔ２を用いた時の焦点検出結果を示す。横軸は、設定された正しいデフォーカス量を示し、縦軸は検出されたデフォーカス量を示す。高周波帯域を抽出するフィルタｆｌｔ２を用いた焦点検出結果は、Ｘ軸が０の時に０であり、シェーディング補正誤差が存在しても、正しい焦点検出結果を示すことが分かる。一方、低周波帯域を抽出するフィルタｆｌｔ１を用いた焦点検出結果は、シェーディング補正誤差の影響で正しい焦点検出結果からオフセットする。
【００７０】
したがって本実施形態では、図７に示すように、第１焦点検出方式で低周波帯域を抽出するフィルタｆｌｔ１を用いて焦点検出を行う場合を、シェーディング補正誤差の生じにくい閾値Ｆ０未満（開口径が大きい）に制限する。これにより、低周波帯域における焦点検出精度を上げている。
【００７１】
［第２焦点検出方式］
次に、本実施形態におけるリフォーカス方式の第２焦点検出方式について説明する。図１２は、本第１の実施形態における撮像素子１０７から取得した第１焦点検出信号と第２焦点検出信号による１次元方向（列方向、水平方向）のリフォーカス処理の概略説明図である。図１２の撮像面８００は、図５、図６に示した撮像面８００に対応している。図１２では、ｉを整数として、撮像面８００に配置された撮像素子１０７の列方向ｉ番目の画素の第１焦点検出信号をＡｉ、第２焦点検出信号をＢｉで模式的に表している。第１焦点検出信号Ａｉは、第１瞳部分領域５０１に対応した主光線角度θａでｉ番目の画素に入射した光束の受光信号である。第２焦点検出信号Ｂｉは、第２の瞳部分領域５０２に対応した主光線角度θｂでｉ番目の画素に入射した光束の受光信号である。
【００７２】
第１焦点検出信号Ａｉと第２焦点検出信号Ｂｉは、光強度分布情報だけでなく、入射角度情報も有している。よって、第１焦点検出信号Ａｉを角度θａに沿って仮想結像面８１０まで平行移動させ、第２焦点検出信号Ｂｉを角度θｂに沿って仮想結像面８１０まで平行移動させ、加算することで、仮想結像面８１０でのリフォーカス信号を生成することができる。第１焦点検出信号Ａｉを角度θａに沿って仮想結像面８１０まで平行移動させることは、列方向に＋０．５画素シフトに対応し、第２焦点検出信号Ｂｉを角度θｂに沿って仮想結像面８１０まで平行移動させることは、列方向に−０．５画素シフトに対応する。したがって、第１焦点検出信号Ａｉと第２焦点検出信号Ｂｉを相対的に＋１画素シフトさせ、ＡｉとＢｉ＋１を対応させて加算することで、仮想結像面８１０でのリフォーカス信号を生成できる。同様に、第１焦点検出信号Ａｉと第２焦点検出信号Ｂｉを整数シフトさせて加算することで、整数シフト量に応じた各仮想結像面でのシフト加算信号（リフォーカス信号）を生成することができる。
【００７３】
生成されたシフト加算信号（リフォーカス信号）のコントラスト評価値を算出し、算出されたコントラスト評価値から撮像信号のコントラストピーク位置を推定することで、像ずれ量ｐとする。こうして得られた像ずれ量ｐに、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じた変換係数Ｋをかけて、デフォーカス量（Ｄｅｆ）とする。ここで、変換係数Ｋは第２焦点検出方式における像ずれ量ｐからデフォーカス量（Ｄｅｆ）への変換係数である。このようにして、リフォーカス方式の検出デフォーカス量（Ｄｅｆ）算出を行う。
【００７４】
リフォーカス信号の生成は基本的には第１焦点検出信号Ａｉと第２焦点検出信号Ｂｉとの加算になるため、第１焦点検出方式のようにシェーディング補正処理は行わない。ただし、第１焦点検出信号Ａｉおよび第２焦点検出信号Ｂｉのボケが大きい場合は、リフォーカス信号におけるコントラストピーク検出が難しいため、絞りのＦ値が小さい（開口径が大きい）ほど、検出可能な検出デフォーカス量（Ｄｅｆ）は狭まる。
【００７５】
図１３は、第１の実施形態における第２焦点検出方式による焦点検出処理の流れを示すフローチャートである。なお、図１３に示す処理は、主に、撮像素子１０７、画像処理回路１２５、ＣＰＵ１２１によって実行される。
【００７６】
Ｓ１３０１において、撮像素子１０７から読み出した信号の内、撮像素子１０７の有効画素領域内に設定された焦点検出領域の第１焦点検出画素２０１の受光信号から第１焦点検出信号を生成し、第２焦点検出画素２０２の受光信号から第２焦点検出信号を生成する。
【００７７】
Ｓ１３０２では、第１焦点検出信号と第２焦点検出信号に、それぞれ、信号データ量を抑制するために列方向に３画素加算処理を行い、さらに、ＲＧＢ信号を輝度Ｙ信号にするためにベイヤー（ＲＧＢ）加算処理を行う。これら２つの加算処理を合わせて画素加算処理とする。なお、列方向への圧縮は検出する空間周波数に影響するため、低周波数帯域の信号を用いて検出する場合は、３画素加算よりも多くの画素を加算してもよい。また、高域の周波数帯域の信号を用いて検出する場合は、列方向への加算処理は実施しなくてもよい（非加算）。
【００７８】
Ｓ１３０３では、加算処理した第１焦点検出信号と第２焦点検出信号に、それぞれフィルタ処理を行う。ここでは第１焦点検出方式と同様にして、大デフォーカスを検出する際は低周波帯域を抽出するフィルタｆｌｔ１を用い、最終合焦に用いるような小デフォーカス検出時には、高周波帯域を抽出するフィルタｆｌｔ２を用いる。図７に示す処理では、デフォーカス量ＤＥＦ１が予め決められた範囲Ｒ１内となるまでフィルタｆｌｔ１を用い、デフォーカス量ＤＥＦ１が予め決められた範囲Ｒ１内となると、フィルタｆｌｔ２を用いる。
【００７９】
Ｓ１３０４では、フィルタ処理後の第１焦点検出信号と第２焦点検出信号を相対的に瞳分割方向にシフトさせるシフト処理を行い、加算してシフト加算信号（リフォーカス信号）を生成する。Ｓ１３０４では、さらに、生成されたシフト加算信号からコントラスト評価値を算出する。
【００８０】
ここで、フィルタ処理後のｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷとする。なお、シフト処理によるシフト量をｓ２、シフト量ｓ２のシフト範囲をΓ２とすると、コントラスト評価値ＲＦＣＯＮは、式（２）により算出される。
【００８１】
2019032484.tif 000004
【００８２】
シフト量ｓ２のシフト処理により、ｋ番目の第１焦点検出信号Ａ（ｋ）とｋ−ｓ２番目の第２焦点検出信号Ｂ（ｋ−ｓ２）を対応させて加算し、シフト加算信号を生成する。生成されたシフトシフト加算信号の絶対値を計算し、焦点検出領域Ｗの範囲での最大値を取り、コントラスト評価値ＲＦＣＯＮ（ｓ２）を算出する。必要に応じて、各行毎に算出されたコントラスト評価値を、シフト量毎に、複数行に亘って加算しても良い。
【００８３】
Ｓ１３０５では、Ｓ１３０４で算出したコントラスト評価値から、サブピクセル演算により、コントラスト評価値が最大値となる実数値のシフト量を算出して、ピークシフト量ｐ２とする。ピークシフト量ｐ２に、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じた変換係数Ｋをかけて、デフォーカス量（Ｄｅｆ）を検出する。
【００８４】
上述したように、リフォーカス方式の第２焦点検出方式の場合、第１焦点検出方式のようなシェーディング補正処理を行わないため、シェーディング補正精度の影響を受けないという利点がある。一方、リフォーカス方式の第２焦点検出方式は、像のボケ量が大きいと精度の高い焦点検出ができないことがあるため、第１焦点検出方式よりも検出可能なデフォーカス量が狭いことがある。そこで、本第１の実施形態においては、図７に示すように、ＡＦ時の絞り値Ｆｎｏが閾値Ｆ０以上（開口径が小さい）場合においてＳ７０６に進むため、デフォーカス変化による像のボケ量が少ない。したがって第２焦点検出方式における検出可能なデフォーカス量を広げることができている。
【００８５】
以上説明したように、本第１の実施形態においては、複数の空間周波数の信号を用いて焦点検出を行う場合に、低域の焦点検出を行う際に、結像光学系の絞りのＦ値に応じて、第１焦点検出方式と第２焦点検出方式を変更する。絞りのＦ値が小さい（開口径が大きい）場合は、第１焦点検出方式を用いる。これは、絞りのＦ値が小さい（開口径が大きい）とシェーディング補正精度が高いため、検出するデフォーカス量の範囲が広い第１焦点検出方式が有利なためである。
【００８６】
一方、絞りのＦ値が大きい（開口径が小さい）場合は、第２焦点検出方式を用いる。絞りのＦ値が大きい（開口径が小さい）とシェーディング補正誤差が大きくなる場合があるため、検出精度の観点で第１焦点検出方式よりも第２焦点検出方式が好適なためである。さらに、絞りのＦ値が大きい場合は、大デフォーカス時においても像のくずれが小さいため、第２焦点検出方式においても検出するデフォーカス量の範囲が狭くなる懸念が小さくなる。
【００８７】
なお、本第１の実施形態では図９に示すように複数のフィルタを準備しているため、複数のフィルタをそれぞれ用いた場合の焦点検出量を同時に取得してもよい。その際は、最も空間周波数帯域が低いフィルタを用いる焦点検出において、結像光学系の絞りのＦ値に応じて、第１焦点検出方式と第２焦点検出方式を変更する。
【００８８】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、リフォーカス方式の第２焦点検出方式において、第１焦点検出信号と第２焦点検出信号に、それぞれ、信号データ量を抑制するために列方向に３画素加算処理を行い、さらに、ＲＧＢ信号を輝度Ｙ信号にするためにベイヤー（ＲＧＢ）加算処理を行った。第２の実施形態では、第２焦点検出方式における合焦精度向上のために、ベイヤー（ＲＧＢ）加算処理を行う前に、図１４のＳ１４０１において、第１焦点検出信号と第２焦点検出信号のホワイトバランス（ＷＢ）を揃えるＷＢ処理を行うことを特徴とする。なお、Ｓ１４０１以外の処理は、図１３と同様であるため、説明を省略する。
【００８９】
結像光学系には様々な収差が存在するが、第２の実施形態においては倍率色収差が及ぼす焦点検出誤差に関して説明する。第２焦点検出方式は、ベイヤー（ＲＧＢ）加算処理を行った第１焦点検出信号と第２焦点検出信号とを用いて、シフトを行うことで複数のピントの異なる再構成画像を生成し、コントラスト評価値から第２検出デフォーカス量を検出する。
【００９０】
基本的に第２焦点検出方式は、第１焦点検出信号の重心Ｇ１と第２焦点検出信号の重心Ｇ２が一致したときにコントラストピークを取る。したがって、最終合焦位置において重心Ｇ１と重心Ｇ２が一致していることが望ましい。しかしながら、結像光学系の倍率色収差と第１焦点検出画素と第２焦点検出画素との色シェーディング差が存在する場合、最終合焦位置において重心Ｇ１と重心Ｇ２が一致しないことがある。ここで、倍率色収差による焦点検出誤差に関して説明をする。
【００９１】
図１５（ａ）を用いて、焦点検出信号Ｙに関する、重心Ｇ１とＧ２を算出する。まず、図１５（ａ）の横軸に相当するＲＧＢ各色の線像の重心位置に関して、
ＲＧＢの線像重心：Ｘｒ、Ｘｇ、Ｘｂ [ｍｍ]
【００９２】
とする。また、図１５（ａ）の縦軸に相当するＲＧＢ各色の強度を
ＲＧＢの強度：Ｓｒ、Ｓｇ、Ｓｂ
とする。焦点検出信号Ｙ作成時のＲＧＢの重みづけより、重心算出時の各色寄与率は
Ｐｒ（１）＝Ｓｒ（１）／（Ｓｒ（１）＋２Ｓｇ（１）＋Ｓｂ（１））
Ｐｇ（１）＝２Ｓｇ（１）／（Ｓｒ（１）＋２Ｓｇ（１）＋Ｓｂ（１））
Ｐｂ（１）＝Ｓｂ（１）／（Ｓｒ（１）＋２Ｓｇ（１）＋Ｓｂ（１））
Ｐｒ（２）＝Ｓｒ（２）／（Ｓｒ（２）＋２Ｓｇ（２）＋Ｓｂ（２））
Ｐｇ（２）＝２Ｓｇ（２）／（Ｓｒ（２）＋２Ｓｇ（２）＋Ｓｂ（２））
Ｐｂ（２）＝Ｓｂ（２）／（Ｓｒ（２）＋２Ｓｇ（２）＋Ｓｂ（２））
となる。なお、（１）は第１焦点検出信号における値を示し、（２）は第２焦点検出信号における値を示す。Ｓｇの係数のみ２になっているのは、緑（Ｇ）が２画素分あるためである。ここで、ＲＧＢ毎の線像の重心差は倍率色収差に相当し、各色寄与率は第１焦点検出画素と第２焦点検出画素との色シェーディングの差に相当する。
図１５（ａ）に示すように、緑（Ｇ）を基準に見た場合、第１焦点検出信号は第２焦点検出信号に比べて、赤（Ｒ）が弱く青（Ｂ）が強い。第１焦点検出信号と第２焦点検出信号で色シェーディングに差が存在するため、第１焦点検出信号と第２焦点検出信号でＷＢに差がある。色シェーディングは、撮像素子の入射角度特性における波長分散に起因するものであるが、特に、撮像素子１０７の周辺像高において、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれが大きい場合に顕著となる。
【００９３】
ここで、重心Ｇ１と重心Ｇ２はＲＧＢの線像重心と各色寄与率の積和によって求められ、
Ｇ１＝ΣＸｉ（１）Ｐｉ（１）  （ｉ＝Ｒ，Ｇ，Ｂ）
Ｇ２＝ΣＸｉ（２）Ｐｉ（２）  （ｉ＝Ｒ，Ｇ，Ｂ）
ΔＧ＝Ｇ１ー  Ｇ２  [ｍｍ]
【００９４】
となる。なお、Ｘｉ（１）は第１焦点検出信号における線像重心であり、Ｘｉ（２）は第２焦点検出信号における線像重心である。また、ΔＧは焦点検出合焦位置における第１焦点検出信号と第２焦点検出信号との重心差である。
同一色における第１焦点検出信号と第２焦点検出信号の線像重心位置は、焦点検出合焦位置においては、ほぼ同等であるため、
Ｘｉ（１）＝Ｘｉ（２）  （ｉ＝Ｒ，Ｇ，Ｂ）
【００９５】
として考えられる。
ΔＧ＝０の場合、焦点検出合焦位置における第１焦点検出信号と第２焦点検出信号との重心が等しいことを意味するため、倍率色収差による焦点検出誤差は無いことになる。一方、倍率色収差が大きく、第１焦点検出画素と第２焦点検出画素との色シェーディングの差が大きいと、ΔＧは大きくなるため、倍率色収差による焦点検出誤差も大きくなる。
【００９６】
そのため、第２の実施形態においては、倍率色収差による焦点検出誤差低減のために、第１焦点検出信号と第２焦点検出信号を用いて再構成画像を生成する際に、第１焦点検出信号と第２焦点検出信号のＷＢを揃えるＷＢ調整処理を行う。
【００９７】
ＷＢ調整処理を実施した後のＲＧＢ各色の線像を図１５（ｂ）に示す。図１５（ｂ）に示す通り、第１焦点検出信号と第２焦点検出信号のＷＢが揃っていれば、倍率色収差によりＲＧＢ各色の線像重心位置が異なっていても、ＲＧＢ加算処理を行った場合の重心が一致することが分かる。
【００９８】
第２の実施形態におけるＷＢ調整処理は、特定光源化における第１焦点検出信号と第２焦点検出信号のＷＢの差を事前に測定・記憶しておき、第１焦点検出信号と第２焦点検出信号のＷＢを揃える調整値を乗算する。さらには結像光学系の射出瞳距離毎にＷＢの調整値を算出しておくことで、結像光学系が変わった場合にも対応可能である。なお、厳密にはベイヤー単位でＷＢの調整値は異なるが、焦点検出を行う焦点検出枠内においては、代表値を用いてＷＢ調整を行ってもよい。その場合は、例えば、焦点検出枠内中央におけるＷＢ調整値を代表値とする。また、他の方法としては、第１焦点検出信号と第２焦点検出信号のＷＢを見てリアルタイムにＷＢ調整をかけてもよい。または、特性光源化におけるＲＧＢ毎の受光率に関する入射角度情報を記憶しておき、結像光学系の入射角度と絞り値から、ＷＢ調整値を算出してもよい。
【００９９】
第２の実施形態では、ベイヤー（ＲＧＢ）加算処理を行う前に、第１焦点検出信号と第２焦点検出信号のＷＢをそろえるＷＢ調整処理を行うことで、第２焦点検出方式における合焦精度を向上することができる。
【０１００】
なお、第２焦点検出方式において、ベイヤー（ＲＧＢ）加算処理を行う前に、第１焦点検出信号と第２焦点検出信号のＷＢをそろえるホワイトバランス調整処理を行う以外は、第１の実施形態と同様であるため、装置構成や処理についての詳細説明は省略する。
【０１０１】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。第１および第２の実施形態では、撮像素子１０７の各画素の第１焦点検出画素２０１の受光信号を集めて第１焦点検出信号を生成し、各画素の第２焦点検出画素２０２の受光信号を集めて第２焦点検出信号を生成して、焦点検出を行った。本第３の実施形態においては、撮像素子１０７から、第１焦点検出信号と第２焦点検出信号を合算した撮像信号と、第１焦点検出信号とを読み込む。
【０１０２】
第３の実施形態においては、撮像信号と第１焦点検出信号を撮像素子から読み込み、撮像信号から第１焦点検出信号を減算することで第２焦点検出信号を算出する。算出した第２焦点検出信号と第１焦点検出信号から、第１の実施形態に示すように第１焦点検出方式もしくは第２焦点検出方式を用いることでＤＥＦ量を検出可能となる。
【０１０３】
なお、第２の実施形態で述べたように、第１焦点検出方式では、第１焦点検出信号と第２焦点検出信号とのＷＢを一致させることで、焦点検出精度を上げることができる。そこで、第３の実施形態においては、撮像信号と第１焦点検出信号との間でＷＢを揃える。撮像信号と第１焦点検出信号でＷＢが一致していれば、第１焦点検出信号と第２焦点検出信号とのＷＢも一致するため、第２焦点検出方式における合焦精度向上が達成される。
【０１０４】
なお、撮像素子１０７からの信号の読み出し方法が異なること以外は、第１の実施形態と同様であるため、装置構成や処理についての詳細説明は省略する。
【０１０５】
＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０６】
１０１：第１レンズ群、１０２：絞り兼用シャッタ、１０３：第２レンズ群、１０５：第３レンズ群、１０７：撮像素子、１１１：ズームアクチュエータ、１１２：絞りシャッタアクチュエータ、１１４：フォーカスアクチュエータ、１２１：ＣＰＵ、１２４：撮像素子駆動回路、１２５：画像処理回路、１２６：フォーカス駆動回路、１２８：絞りシャッタ駆動回路、１２９：ズーム駆動回路、２００：画素群、２０１：第１焦点検出画素、２０２：第２焦点検出画素、３０１，３０２：光電変換部、３０５：マイクロレンズ
【図１】
2019032484.tif 000005
【図２】
2019032484.tif 000006
【図３】
2019032484.tif 000007
【図４】
2019032484.tif 000008
【図５】
2019032484.tif 000009
【図６】
2019032484.tif 000010
【図７】
2019032484.tif 000011
【図８】
2019032484.tif 000012
【図９】
2019032484.tif 000013
【図１０】
2019032484.tif 000014
【図１１】
2019032484.tif 000015
【図１２】
2019032484.tif 000016
【図１３】
2019032484.tif 000017
【図１４】
2019032484.tif 000018
【図１５】
2019032484.tif 000019