(57)【要約】【課題】焦点検出するべき被写体のさまざまなコントラスト方向において、特に斜め方向のコントラストに対して高精度な焦点検出を実現することが可能な撮像装置を提供すること。【解決手段】撮像装置は、それぞれが１つのマイクロレンズと第１および第２の方向に沿って配置された複数の光電変換部とを含む複数の画素を備える撮像素子と、撮像素子からの信号に基づいて第１および第２の対の像信号を含む複数の対の像信号を生成する生成手段と、複数の対の像信号のそれぞれに対応する複数のずれ量を算出するとともに、複数のずれ量のうち１つのずれ量を用いてデフォーカス量を算出する演算手段と、を有し、演算手段は、第１および第２の対の像信号から第１および第２の方向のずれ量を算出し、第１の対の像信号に含まれる第１の像信号のサンプリングピッチは、第２の対の像信号に含まれる第２の像信号のサンプリングピッチに比べて小さい。【選択図】図９
2020148843.tif 000002
【特許請求の範囲】
【請求項１】
それぞれが１つのマイクロレンズと第１の方向および該第１の方向とは異なる第２の方向に沿って配置された複数の光電変換部とを含む複数の画素を備える撮像素子と、
前記撮像素子からの信号に基づいて第１の対の像信号および第２の対の像信号を含む複数の対の像信号を生成する生成手段と、
前記複数の対の像信号のそれぞれに対応する複数のずれ量を算出するとともに、前記複数のずれ量のうち１つのずれ量を用いてデフォーカス量を算出する演算手段と、を有し、
前記演算手段は、前記第１の対の像信号から前記第１の方向のずれ量を算出するとともに、前記第２の対の像信号から前記第２の方向のずれ量を算出し、
前記第１の対の像信号に含まれる第１の像信号のサンプリングピッチは、前記第２の対の像信号に含まれる第２の像信号のサンプリングピッチに比べて小さいことを特徴とする撮像装置。
【請求項２】
前記第１の像信号は、第１の配置の複数の画素から得られる第１の単位信号と、前記第１の配置とは異なる第２の配置の複数の画素から得られる第２の単位信号を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記演算手段は、前記第２の方向と前記第２の像信号の配列方向との差に応じて、前記第１の単位信号を得る際の前記複数の画素から得られる信号の重み付けを変更することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記複数の画素は、異なる分光特性の光束を受光可能であり、
前記演算手段は、前記分光特性ごとに前記複数のずれ量を算出することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記演算手段は、前記複数のずれ量のうち信頼性の高いずれ量を用いてデフォーカス量を算出することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記演算手段は、前記複数のずれ量のうち算出されるデフォーカス量の精度が高くなるずれ量から順に信頼性を判定することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記演算手段は、撮像光学系の異なる瞳部分領域の重心間隔である基線長に関する情報に基づいて、前記複数のずれ量から前記デフォーカス量を算出するために使用するずれ量を選択することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項８】
前記演算手段は、前記第２の方向と前記第２の像信号の配列方向との差に応じて、撮像光学系の異なる瞳部分領域の重心間隔である基線長に関する情報を補正することを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラのような撮像装置（電子機器が内蔵する撮像装置を含む）は、一般にオートフォーカス（自動焦点検出またはＡＦ）機能を有している。オートフォーカス機能には、位相差検出方式とコントラスト検出方式とがある。従来、位相差検出方式では、撮像素子とは別のＡＦセンサが必要であったが、近年では撮像素子から得られる信号を用いた位相差検出方式のオートフォーカス機能が実現され、撮像面位相差ＡＦなどと呼ばれている。
【０００３】
撮像面位相差ＡＦでは、撮像光学系の互いに異なる瞳領域を通過する光束を受光することで得られる対の信号から相関演算などにより像ずれ量（位相差）を算出し、互いに異なる瞳領域の重心間隔に相当する基線長情報を用いてデフォーカス量に換算する。像ずれ量は対の信号の振幅の一致度（相関量）から算出されるため、互いに異なる瞳領域の重心を結ぶ方向の被写体のコントラスト（明暗差）が必要である。
【０００４】
特許文献１には、上下方向と左右方向の像ずれ量を用いて、上下方向と左右方向の被写体のコントラストに対して焦点検出を行う撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−７８８５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の撮像装置では、上下方向と左右方向に加えて、斜め４５度方向の像ずれ量の算出を行うことが可能であるが、その方法については言及されていない。左右方向の像ずれ量を算出する際と同様に信号を形成すると、信号のサンプリングピッチは画素ピッチの√２倍と大きくなるため、検出精度が低下してしまう。
【０００７】
本発明は、焦点検出するべき被写体のさまざまなコントラスト方向において、特に斜め方向のコントラストに対して高精度な焦点検出を実現することが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一側面としての撮像装置は、それぞれが１つのマイクロレンズと第１の方向および該第１の方向とは異なる第２の方向に沿って配置された複数の光電変換部とを含む複数の画素を備える撮像素子と、撮像素子からの信号に基づいて第１の対の像信号および第２の対の像信号を含む複数の対の像信号を生成する生成手段と、複数の対の像信号のそれぞれに対応する複数のずれ量を算出するとともに、複数のずれ量のうち１つのずれ量を用いてデフォーカス量を算出する演算手段と、を有し、演算手段は、第１の対の像信号から第１の方向のずれ量を算出するとともに、第２の対の像信号から第２の方向のずれ量を算出し、第１の対の像信号に含まれる第１の像信号のサンプリングピッチは、第２の対の像信号に含まれる第２の像信号のサンプリングピッチに比べて小さいことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、焦点検出するべき被写体のさまざまなコントラスト方向において、特に斜め方向のコントラストに対して高精度な焦点検出を実現することが可能な撮像装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る撮像装置の一例としてのデジタルカメラの構成図である。
【図２】撮像素子における撮像画素と焦点検出画素を模式的に示す図である。
【図３】撮像画素の平面図および断面図である。
【図４】画素構造と瞳分割との対応関係を示す図である。
【図５Ａ】撮像素子と瞳分割との対応関係を示す図である。
【図５Ｂ】デフォーカス量と対の像信号間の像ずれ量の関係を示す図である。
【図６】焦点検出領域の配置例を示す図である。
【図７】第１の実施形態の焦点検出動作を示すフローチャートである。
【図８】第１の実施形態の像信号の生成処理を示すフローチャートである。
【図９】第１の実施形態の像信号の生成方法を示す図である。
【図１０】第１の実施形態のデフォーカス量の算出処理を示すフローチャートである。
【図１１】変形例１の像信号の生成方法を示す図である。
【図１２】第２の実施形態の周辺像高における焦点検出方向ごとの基線長を説明する図である。
【図１３】第２の実施形態の優先的に選択する瞳分割方向を、撮像素子上で説明する図である。
【図１４】第２の実施形態のデフォーカス量の算出処理を示すフローチャートである。
【図１５】第３の実施形態における撮像素子から加算または間引かれて信号出力される画素の配置を説明する図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１２】
以下では本発明を撮像装置の一例としてのデジタルカメラに適用した実施形態について説明するが、本発明は位相差検出方式のオートフォーカス機能を有するカメラを備える電子機器に適用することができる。このような電子機器の例として、パーソナルコンピュータ、タブレット端末、ゲーム機、携帯電話機、ロボット、ドライブレコーダおよび家電製品などが挙げられる。
［第１の実施形態］
（構成の説明−レンズユニット）
図１は、本発明の実施形態に係る撮像装置の一例としての、レンズ交換式のデジタルカメラ１００の構成図である。デジタルカメラ１００は、カメラ本体１２０、および点線で示されるマウントＭを介してカメラ本体１２０に着脱可能なレンズユニット１１０を有する。なお、デジタルカメラ１００は、レンズ交換式でなくてもよい。
【００１３】
レンズユニット１１０は、光学系（第１レンズ群１０１、絞り１０２、第２レンズ群１０３、フォーカスレンズ群（以下、単に「フォーカスレンズ」という）１０４）および駆動／制御系を有する。
【００１４】
第１レンズ群１０１は、レンズユニット１１０の先端に配置され、光軸方向ＯＡに沿って移動可能に保持される。絞り１０２は、撮影時の光量を調節するとともに、静止画撮影時には露出時間を制御するメカニカルシャッタとして機能する。絞り１０２および第２レンズ群１０３は一体で光軸方向ＯＡに沿って移動可能であり、第１レンズ群１０１と連動して移動することによりズーム機能を実現する。フォーカスレンズ１０４も光軸方向ＯＡに沿って移動可能であり、フォーカスレンズ１０４の位置により、レンズユニット１１０が合焦する被写体距離（合焦距離）が定まる。したがって、フォーカスレンズ１０４の光軸方向ＯＡにおける位置を制御することにより、レンズユニット１１０の光学系の合焦距離を調節することができる。
【００１５】
駆動／制御系は、ズームアクチュエータ１１１、絞りアクチュエータ１１２、フォーカスアクチュエータ１１３、ズーム駆動回路１１４、絞り駆動回路１１５、フォーカス駆動回路１１６、レンズＭＰＵ１１７、およびレンズメモリ１１８を有する。
【００１６】
ズーム駆動回路１１４は、ズームアクチュエータ１１１を用いて第１レンズ群１０１や第３レンズ群１０３を光軸方向ＯＡに沿って駆動し、レンズユニット１１０の光学系の画角を制御する。絞り駆動回路１１５は、絞りアクチュエータ１１２を用いて絞り１０２を駆動し、絞り１０２の開口径や開閉動作を制御する。フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４を光軸方向ＯＡに沿って駆動し、レンズユニット１１０の光学系の合焦距離を制御する。また、フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４の現在位置を検出する。
【００１７】
レンズＭＰＵ（プロセッサ）１１７は、レンズユニット１１０に係る全ての演算および制御を行う。また、レンズＭＰＵ１１７は、マウントＭを介してカメラＭＰＵ１２５と接続され、カメラＭＰＵ１２５とコマンドやデータを通信する。例えば、レンズＭＰＵ１１７は、カメラＭＰＵ１２５からの要求に対してレンズ位置情報を通知する。レンズ位置情報は、フォーカスレンズ１０４の光軸方向ＯＡにおける位置、光学系が移動していない状態の射出瞳の光軸方向ＯＡにおける位置と直径、および射出瞳の光束を制限するレンズ枠の光軸方向ＯＡにおける位置と直径などの情報を含む。また、レンズＭＰＵ１１７は、カメラＭＰＵ１２５からの要求に応じて、ズーム駆動回路１１４、絞り駆動回路１１５およびフォーカス駆動回路１１６を制御する。レンズメモリ１１８は、自動焦点検出に必要な光学情報をあらかじめ記憶している。
（構成の説明−カメラ本体）
カメラ本体１２０は、光学系（光学ローパスフィルタ１２１および撮像素子１２２）および駆動／制御系を有する。レンズユニット１１０の光学系と光学ローパスフィルタ１２１とにより、被写体光学像を形成する撮像光学系が構成される。
【００１８】
光学ローパスフィルタ１２１は、撮影画像に生じる偽色やモアレを軽減する。撮像素子１２２は、例えば、ＣＭＯＳイメージセンサと周辺回路で構成され、一般的には行列状に配置された数百万〜数千万の画素を有する。本実施形態では、撮像素子１２２は瞳分割機能を有し、撮像素子１２２の出力信号を用いた撮像面位相差ＡＦを実現できる。
【００１９】
駆動／制御系は、撮像素子駆動回路１２３、画像処理回路１２４、カメラＭＰＵ１２５、表示器１２６、操作スイッチ群１２７、記録媒体１２８、位相差ＡＦ部（演算手段）１２９およびＴＶＡＦ部１３０を有する。
【００２０】
撮像素子駆動回路１２３は、撮像素子１２２の動作を制御するとともに、撮像素子１２２の出力する画像信号をＡ／Ｄ変換して画像処理回路１２４およびカメラＭＰＵ１２５に供給する。画像処理回路１２４は、撮像素子駆動回路１２３から供給される画像データに対し、例えばγ変換、ホワイトバランス調整処理、色補間処理および圧縮符号化処理など、デジタルカメラで行われる一般的な画像処理を行う。また、画像処理回路１２４は、撮像素子１２２の出力信号から、位相差ＡＦ用の画像データと、表示、記録、およびコントラストＡＦ（以下、ＴＶＡＦという）用の画像データとを生成する。
【００２１】
カメラＭＰＵ（プロセッサ）１２５は、カメラ本体１２０に係る全ての演算および制御を行い、撮像素子駆動回路１２３、画像処理回路１２４、表示器１２６、操作スイッチ群１２７、記録媒体１２８、位相差ＡＦ部１２９およびＴＶＡＦ部１３０を制御する。また、カメラＭＰＵ１２５は、マウントＭを介してレンズＭＰＵ１１７と接続され、レンズＭＰＵ１１７とコマンドやデータを通信する。カメラＭＰＵ１２５は、レンズＭＰＵ１１７に対し、レンズユニット１１０の光学情報やフォーカスレンズ１０４の位置の取得を要求する。また、カメラＭＰＵ１２５は、レンズＭＰＵ１１７に対し、絞り１０２、フォーカスレンズ１０４および変倍レンズ（第１レンズ群１０１および第３レンズ群１０３）の駆動を要求する。カメラＭＰＵ１２５は、カメラ本体１２０の動作を制御するプログラムを格納したＲＯＭ１２５ａ、プログラムをロードしたり変数を記憶したりするために用いられるＲＡＭ１２５ｂ、および設定値やＧＵＩデータなどを記憶するＥＥＰＲＯＭ１２５ｃを有する。カメラＭＰＵ１２５は、例えば、ＲＯＭ１２５ａや記憶媒体１２８に記憶されているプログラムを実行することで、レンズユニット１１０の動作を制御する。
【００２２】
表示器１２６は、ＬＣＤなどから構成され、撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、メニュー画面、焦点検出時の合焦状態表示画像（合焦枠）、検出された被写体を示す画像（顔枠など）および設定値などを表示する。操作スイッチ群１２７は、電源スイッチ、レリーズスイッチ、ズーム操作スイッチ、撮影モード選択スイッチ、メニューボタン、方向キー、実行ボタンなどのスイッチやボタンなどの入力デバイス群である。なお、表示器１２６がタッチパネルディスプレイの場合、タッチパネルも操作スイッチに含まれる。記録媒体１２８は、例えば、カメラ本体１２０に着脱可能な半導体メモリカードや内蔵不揮発性メモリであり、撮影によって得られた静止画、動画および音声などのデータを格納する。
【００２３】
位相差ＡＦ部１２９は、画像処理回路１２４が生成する位相差ＡＦ用の画像データを用いて、位相差検出方式の焦点検出を行う。具体的には、画像処理回路１２４が、レンズユニット１１０の光学系の射出瞳内の一対の瞳領域の一方を通過する光束で形成される像と、他方を通過する光束で形成される像とのデータを位相差ＡＦ用の画像データとして生成する。位相差ＡＦ部１２９は、位相差ＡＦ用の画像データを構成する一対の像のデータのずれ量に基づいてデフォーカス量を算出する。このように、位相差ＡＦ部１２９は、専用のＡＦセンサを用いず、撮像素子１２２の出力信号に基づく位相差ＡＦ（撮像面位相差ＡＦ）を行う。
【００２４】
ＴＶＡＦ部１３０は、画像処理回路１２４が生成するＴＶＡＦ用の画像データ、より具体的にはＡＦ評価値（画像データのコントラスト情報）に基づいてコントラスト検出方式の焦点検出（ＴＶＡＦ）を行う。ＴＶＡＦでは、フォーカスレンズ１０４の異なる位置で撮影された画像から、ＡＦ評価値が最大となるフォーカスレンズ１０４の位置が合焦位置として検出される。
【００２５】
本実施形態のデジタルカメラ１００は、位相差ＡＦとＴＶＡＦの両方を実行可能であり、状況に応じて選択的に使用したり、組み合わせて使用したりすることができる。
（構成の説明−撮像素子）
図２は、撮像素子１２２に行列上に配置された画素のうち、４列×４行分の撮像画素を模式的に示している。図２の左右方向をｘ方向（水平方向）、上下方向をｙ方向（垂直方向）、ｘ方向およびｙ方向に直交する方向（紙面に垂直な方向）をｚ方向（光軸方向）と定義する。撮像素子１２２では、撮像画像の１画素分の信号を得るための撮像画素の各々の光電変換領域が行方向に２等分、列方向に２等分され、光電変換領域ごとの出力を取得することができる。光電変換領域ごとの出力を用いて撮像面位相差ＡＦ用の画像データを生成可能であるため、個々の光電変換領域は焦点検出画素とみなすことができる。したがって、図２は、８列×８行分の焦点検出画素を模式的に示しているともいえる。
【００２６】
２列×２行の画素群２００では、左上にＲ（赤）の分光感度を有する画素（Ｒ画素）２００Ｒ、右上と左下にＧ（緑）の分光感度を有する画素（Ｇ画素）２００Ｇが、右下にＢ（青）の分光感度を有する画素（Ｂ画素）２００Ｂが配置されている。本明細書では、設けられたカラーフィルタの色を撮像画素の色として記載する場合がある。また、単に画素と呼ぶ場合には撮像画素を指すものとする。例えば、画素２００Ｇは緑画素、２００Ｒは赤画素、２００Ｂは青画素である。
【００２７】
また、各画素は、ｘ方向にＮｘ分割、ｙ方向にＮｙ分割され、複数（第１から第ＮＬＦ（ＮＬＦ＝Ｎｘ×Ｎｙ））の副画素（焦点検出画素）により構成される。本実施形態では、各画素は、ｘ方向に２分割、ｙ方向に２分割され、第１副画素２０１から第４副画素２０４により構成されている。副画素から得られる出力を積算や選択などすることにより、像信号（焦点検出信号）を生成することができる。各画素を撮像画素として利用する場合には、２つの光電変換領域で得られた信号を加算した信号を撮像信号として用いる。
【００２８】
図２の４列×４行分の撮像画素（８列×８行の焦点検出画素）の配列を撮像素子１２２の撮像面に多数配置することにより、撮像画像を取得しつつ、画面の様々な位置を焦点検出領域として用いた撮像面位相差ＡＦを行うことができる。本実施形態では、画素のピッチ（周期）Ｐが縦横とも４μｍで、画素数Ｎは約２０７５万画素（＝横５５７５画素×縦３７２５画素）である。また、焦点検出画素の縦方向のピッチＰｖおよび横方向のピッチＰｈは２μｍである。したがって、焦点検出画素の画素数ＮＡＦは、約８３１０万画素（＝横１１１５０画素×縦７４５０画素）である。
【００２９】
図３（Ａ）は、撮像素子１２２の受光面側から見た場合の画素の平面図である。図３（Ｂ）は、図３（Ａ）のａ−ａ切断線での断面図である。図３（Ａ）の紙面に垂直な方向にｚ軸を設定し、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向とし、ｚ軸およびｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。
【００３０】
画素は、第１光電変換部３０１から第４光電変換部３０４を有する。第１光電変換部３０１から第４光電変換部３０４はそれぞれ、第１副画素２０１から第４副画素２０４に対応する。各光電変換部は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしてもよいし、必要に応じて、イントリンシック層を省略したｐｎ接合フォトダイオードとしてもよい。また、画素は、画素の受光面側に入射光を集光するためのマイクロレンズ３０５、およびカラーフィルタ３０６を有する。必要に応じて、４つの光電変換部と対応させてカラーフィルタ３０６の分光透過率を変えてもよいし、カラーフィルタ３０６を省略してもよい。
【００３１】
画素に入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光された後、第１光電変換部３０１から第４光電変換部３０４で受光される。
【００３２】
第１光電変換部３０１から第４光電変換部３０４では、受光量に応じて電子とホールが対生成し、空乏層で分離された後、負電荷の電子はｎ型層に蓄積され、ホールは定電圧源（不図示）に接続されたｐ型層３００を通じて撮像素子１２２の外部に排出される。
【００３３】
第１光電変換部３０１から第４光電変換部３０４のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。
【００３４】
図４は、図３の画素の構造と瞳分割との対応関係を示す図である。瞳領域５００は、第１光電変換部３０１から第４光電変換部３０４を合わせた画素全体で受光可能な瞳領域である。撮影光束範囲４００は、絞りなどで決まる撮影光束の範囲を示す境界であり、境界より内側の光束が撮像光学系を通過し、光電変換部に到達する。
【００３５】
図４（Ａ）において、第１瞳部分領域５０１は、瞳面上で＋ｘ方向へ重心が偏心しており、第１光電変換部３０１と第３光電変換部３０３の受光面と、マイクロレンズ３０５によって、概ね共役関係になっている。第２瞳部分領域５０２は、瞳面上で−ｘ方向へ重心が偏心しており、第２光電変換部３０２と第４光電変換部３０４の受光面と、マイクロレンズ３０５によって、概ね共役関係になっている。
【００３６】
図４（Ｂ）において、第３瞳部分領域５０３は、瞳面上で＋ｙ方向へ重心が偏心しており、第３光電変換部３０３と第４光電変換部３０４の受光面と、マイクロレンズ３０５によって、概ね共役関係になっている。第４瞳部分領域５０４は、瞳面上で−ｙ方向へ重心が偏心しており、第１光電変換部３０１と第２光電変換部３０２の受光面と、マイクロレンズ３０５によって、概ね共役関係になっている。
【００３７】
図４（Ｃ）において、第５瞳部分領域５０５は、瞳面上で＋ｘ方向および−ｙ方向へ重心が偏心しており、第１光電変換部３０１の受光面と、マイクロレンズ３０５によって、概ね共役関係になっている。第６瞳部分領域５０６は、瞳面上で−ｘ方向および＋ｙ方向へ重心が偏心しており、第４光電変換部３０４の受光面と、マイクロレンズ３０５によって、概ね共役関係になっている。
【００３８】
図５Ａは、撮像素子１２２と瞳分割との対応関係を示す図である。第１瞳部分領域５０１を通過した光束は、撮像素子１２２の各画素に撮像面８００からそれぞれ異なる角度で入射し、第１光電変換部３０１と第３光電変換部３０３で受光される。また、第２瞳部分領域５０２を通過した光束は、撮像素子１２２の各画素に撮像面８００からそれぞれ異なる角度で入射し、第２光電変換部３０２と第４光電変換部３０４で受光される。このように異なる瞳部分領域から、異なる角度で入射した光から、信号生成を行うことを、瞳分割と呼ぶ。本実施形態では、水平方向、垂直方向および斜め４５度方向において、瞳分割が行われる。
【００３９】
図４の各図において、撮影光束範囲４００と対の瞳部分領域の重なる部分の光束の強度分布の重心を点で示している。図４（Ａ）〜図４（Ｃ）において、重心間隔（基線長）をそれぞれ５２０、５２１、５２２で表している。基線長は、焦点検出精度に影響を与える１つの要因であり、基線長が長いほど、高精度な焦点検出が可能となる。図４中では、中央像高の焦点検出領域を想定しており、撮影光束範囲４００が円形状のため、図４（Ｃ）に示される斜め４５度方向の基線長５２２が最も長く、基線長５２２を用いることで高精度な焦点検出が可能である。
【００４０】
撮像素子１２２には、第１瞳部分領域５０１を通過する光束を受光する第１副画素２０１と、第２瞳部分領域５０２を通過する光束を受光する第２副画素を有する撮像画素が配列されている。したがって、撮像画素は、第１瞳部分領域５０１と第２瞳部分領域５０２を合わせた瞳領域５００を通過する光束を受光する。
【００４１】
なお、撮像素子１２２が有する全ての画素が複数の光電変換部を有するのではなく、撮像画素と焦点検出画素を個別に設けてもよい。また、光電変換部を１つ有する撮像画素と、光電変換部を２つ有する（撮像画素としても使用可能な）焦点検出画素とが配置されてもよい。
【００４２】
画像処理回路１２４は、カラーフィルタの繰り返し単位ごとに４つの第１副画素２０１と４つの第３副画素２０３の出力を加算して得られる信号を複数連結して１つの位相差ＡＦ用の画像データ（第１像信号（Ａ像））を生成する。また、画像処理回路１２４は、カラーフィルタの繰り返し単位ごとに４つの第２副画素２０２と４つの第４副画素２０４の出力を加算して得られる信号を複数連結して１つの位相差ＡＦ用の画像データ（第２像信号（Ｂ像））を生成する。カラーフィルタの繰り返し単位内に存在する同種の焦点検出画素の出力を加算することで、Ｒ，Ｇ，Ｂそれぞれの色成分を反映した信号が得られ、分光感度の偏りが少ない輝度信号として扱うことができる。
【００４３】
同様に、画像処理回路１２４は、カラーフィルタの繰り返し単位ごとに４つの第１副画素２０１と４つの第２副画素２０２の出力を加算して得られる信号を複数連結して１つの位相差ＡＦ用の画像データ（第３像信号（Ｃ像））を生成する。また、画像処理回路１２４は、カラーフィルタの繰り返し単位ごとに４つの第３副画素２０３と４つの第４副画素２０４の出力を加算して得られる信号を複数連結して１つの位相差ＡＦ用の画像データ（第４像信号（Ｄ像））を生成する。
【００４４】
さらに、画像処理回路１２４は、カラーフィルタの繰り返し単位ごとに４つの第１副画素２０１の出力を加算して得られる信号を複数連結して１つの位相差ＡＦ用の画像データ（第５像信号（Ｅ像））を生成する。また、画像処理回路１２４は、カラーフィルタの繰り返し単位ごとに４つの第４副画素２０４の出力を加算して得られる信号を複数連結して１つの位相差ＡＦ用の画像データ（第６像信号（Ｆ像））を生成する。
【００４５】
本実施形態では、水平方向、垂直方向、図４（Ｃ）で右上がりの斜め４５度方向の瞳分割が行われるが、右下がりの斜め４５度方向の瞳分割が行われてもよい。
（デフォーカス量と像ずれ量の関係）
以下、画像処理回路１２４で生成される１対の位相差ＡＦ用の画像データ（Ａ像およびＢ像）の像信号のずれ量（像ずれ量）と、光学系のデフォーカス量との関係について説明する。この関係は、他の対のＡＦ用の画像データでも同様のため、説明を割愛する。図５Ｂは、デフォーカス量と、Ａ像とＢ像との間の像ずれ量との関係を示す図である。撮像面８００に撮像素子１２２が配置され、図４および図５Ａを参照して説明したように、撮像光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。
【００４６】
デフォーカス量ｄの大きさ｜ｄ｜は、被写体の結像位置から撮像面８００までの距離である。デフォーカス量ｄが負（ｄ＜０）の場合、被写体の結像位置が撮像面８００より被写体側にある前ピン状態、正（ｄ＞０）の場合、被写体の結像位置が撮像面８００より被写体の反対側にある後ピン状態を意味する。被写体の結像位置が撮像面８００にある合焦状態で、デフォーカス量ｄの大きさは０となる。図５（Ｂ）では、被写体８０１の結像位置は合焦状態（ｄ＝０）、被写体８０２の結像位置は前ピン状態（ｄ＜０）である。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）と呼ぶ。
【００４７】
前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（第２瞳部分領域５０２）を通過した光束は、撮像面８００より被写体側の位置で一度集光する。その後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面８００でボケた像となる。ボケた像は、それを受光する複数の画素のそれぞれで第１副画素２０１（第２副画素２０２）により電気信号に変換される。上述したように、位相差ＡＦ部１２９は、第１副画素２０１の信号から第１像信号を、第２副画素２０２の信号から第２像信号を生成する。したがって、Ａ像（Ｂ像）は、撮像面８００上の重心位置Ｇ１（Ｇ２）に、被写体８０２が幅Γ１（Γ２）にボケた被写体像として記録される。
【００４８】
被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜の増加に概ね比例して増加する。同様に、第１像信号と第２像信号との間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜の増加に概ね比例して増加する。後ピン状態（ｄ＞０）では、Ａ像とＢ像との像ずれ方向が前ピン状態と反対となることをのぞき、デフォーカス量の大きさ｜ｄ｜と、被写体像のボケ幅および像ずれ量ｐとの関係は同様である。したがって、デフォーカス量ｄの大きさの増加に伴い、Ａ像とＢ像との像ずれ量の大きさが増加する。上述したように、基線長が長い場合、単位デフォーカス量当たりの像ずれ量が大きくなるため、より高精度な焦点検出が可能となる。
（焦点検出）
［焦点検出領域］
まず、第１像信号と第２像信号を生成するために用いる、撮像素子１２２の画素領域である、焦点検出領域について説明する。図６は、焦点検出領域の配置例を示す図であり、撮像素子１２２の有効画素領域１０００に設定された焦点検出領域と、焦点検出時に表示器１２６に表示される焦点検出領域の指標とを重ねて示している。図６では、行方向に３つ、列方向に３つの、計９個の焦点検出領域が設定されているが、これは単なる一例であり、より多くの数、またはより少ない数の焦点検出領域が設定されてもよい。また、焦点検出領域は、等間隔に配置されていなくてもよい。さらに、撮像素子１２２のように有効画素領域１０００のどの画素も第１像信号および第２像信号を出力可能である場合、焦点検出領域の位置やサイズを動的に設定してもよい。例えば、ユーザが指定した位置を中心に、所定の範囲を焦点検出領域として設定してもよい。
【００４９】
図６（Ａ）では、第１像信号と第２像信号を生成するために用いる、行方向にｎ番目、列方向にｍ番目の焦点検出領域をＡ（ｎ，ｍ）と表し、焦点検出領域Ａ（ｎ，ｍ）を表す矩形枠状の指標をＩ（ｎ，ｍ）と表している。焦点検出領域内の第１副画素／第３副画素と第２副画素／第４副画素から得られる信号により、その焦点検出領域におけるデフォーカス量の検出に用いるＡ像およびＢ像が生成される。また、指標Ｉ（ｎ，ｍ）は通常、ライブビュー画像に重畳表示される。
【００５０】
図６（Ｂ）では、第３像信号と第４像信号を生成するために用いる、行方向にｎ番目、列方向にｍ番目の焦点検出領域をＢ（ｎ，ｍ）と表し、焦点検出領域Ｂ（ｎ，ｍ）を表す矩形枠状の指標をＩ（ｎ，ｍ）と表している。焦点検出領域内の第１副画素／第２副画素と第３副画素／第４副画素から得られる信号により、その焦点検出領域におけるデフォーカス量の検出に用いるＣ像およびＤ像が生成される。
【００５１】
図６（Ｃ）では、第５像信号と第６像信号を生成するために用いる、行方向にｎ番目、列方向にｍ番目の焦点検出領域をＣ（ｎ，ｍ）と表し、焦点検出領域Ｃ（ｎ，ｍ）を表す矩形枠状の指標をＩ（ｎ，ｍ）と表している。焦点検出領域内の第１副画素／第２副画素と第３副画素／第４副画素から得られる信号により、その焦点検出領域におけるデフォーカス量の検出に用いるＥ像およびＦ像が生成される。
［焦点検出］
次に、図７を参照して、カメラＭＰＵ１２５が主体となって実現する、デジタルカメラ１００の焦点検出動作について説明する。図７は、焦点検出動作を示すフローチャートである。焦点検出動作は、撮影スタンバイ時のようなライブビュー表示時（表示用動画撮影時）や、動画記録時（記録用動画撮影時）において実施される。
【００５２】
ステップＳ５０１では、カメラＭＰＵ１２５は、操作スイッチ群１２７などを通じて焦点検出動作の開始指示が入力されたかどうかを判断する。開始指示が入力された場合、ステップＳ５０２に進み、入力されていない場合、開始指示が入力されるまでステップＳ５０１を繰り返す。なお、カメラＭＰＵ１２５は、焦点検出動作の開始指示の入力に限らず、ライブビュー表示や動画記録の開始をトリガとしてステップＳ５０２に進んでもよい。
【００５３】
ステップＳ５０２では、カメラＭＰＵ１２５は、レンズユニット１１０のＦ値、レンズ枠情報やフォーカスレンズ位置、ピント補正量、および最大デフォーカス量などの各種レンズ情報を、マウントＭを介してレンズＭＰＵ１１７から取得する。
【００５４】
ステップＳ５０３では、カメラＭＰＵ１２５は、逐次読み出されているフレーム画像データの、焦点検出領域内の画素データから、対の像信号を生成するように画像処理回路１２４に指示する。画像処理回路１２４は、指示にしたがって対の像信号を生成し、カメラＭＰＵ１２５に出力する。本実施形態では、画像処理回路１２４は、瞳分割方向ごとに、複数対の像信号を生成する。
【００５５】
ステップＳ５０４では、カメラＭＰＵ１２５は、画像処理回路１２４が生成した複数対の像信号を位相差ＡＦ部１２９に供給する。位相差ＡＦ部１２９は、各対の像信号に対して相関演算などを適用することで像のずれ量を算出する。また、位相差ＡＦ部１２９は、算出されたずれ量の信頼性なども判定し、得られた複数のずれ量の１つをデフォーカス量に変換する。位相差ＡＦ部１２９は、算出したデフォーカス量をカメラＭＰＵ１２５に出力する。
【００５６】
ステップＳ５０５では、カメラＭＰＵ１２５は、位相差ＡＦ部１２９から得られたデフォーカス量に基づいて、フォーカスレンズ１０４の駆動方向および駆動量を算出する。なお、位相差ＡＦ部１２９が焦点検出不能と判定した場合、カメラＭＰＵ１２５はフォーカスレンズ１０４を停止させる。また、カメラＭＰＵ１２５は、フォーカスレンズ１０４の駆動モードをサーチ駆動モードに移行させるとともに、所定量のレンズ駆動を行うためのレンズ駆動量を算出する。例えば、カメラＭＰＵ１２５は、事前に決めた、被写体が存在する可能性が高い方向、例えば至近側に、フォーカスレンズ１０４を所定量だけ駆動することを決定する。
【００５７】
ステップＳ５０６では、カメラＭＰＵ１２５は、マウントＭおよびレンズＭＰＵ１１７を介して、フォーカスレンズ１０４の駆動方向および駆動量の情報をフォーカス駆動回路１１６に送信する。フォーカス駆動回路１１６は、受信した駆動方向と駆動量の情報に基づいて、フォーカスレンズ１０４を駆動する。これにより、レンズユニット１１０の焦点調節が行われる。なお、焦点検出動作は、動画像データの次フレーム以降に対しても同様に実施されてもよい。
【００５８】
次に、図８を参照して、図７のステップＳ５０３で画像処理回路１２４が行う像信号の生成処理について説明する。図８は、像信号の生成処理を示すフローチャートである。
【００５９】
ステップＳ５０３１では、画像処理回路１２４は、像信号の補正処理を行う。具体的には、画像処理回路１２４は、位相差ＡＦ部１２９に送られてきたＡＦ用の像信号に対して、ビネッティングの影響による光量の差の補正や固定パターンノイズなどの補正を行う。補正後の信号は一度、ＲＡＭ１２５ｂに保存される。
【００６０】
ステップＳ５０３２では、画像処理回路１２４は、焦点検出領域内の画素からの信号の出力を用いて、第１の対の像信号（Ａ像、Ｂ像）を生成する。図６を用いて説明したように、画像処理回路１２４は、焦点検出領域に含まれる画素の出力を、まずカラーフィルタの繰り返し単位ごとに加算し、得られた信号を焦点検出方向に連結して像信号を生成する。
【００６１】
ステップＳ５０３３では、画像処理回路１２４は、焦点検出領域内の画素からの信号の出力を用いて、第２の対の像信号（Ｃ像、Ｄ像）を生成する。図６を用いて説明したように、画像処理回路１２４は、焦点検出領域に含まれる画素の出力を、まずカラーフィルタの繰り返し単位ごとに加算し、得られた信号を焦点検出方向に連結して焦点検出用信号を生成する。
【００６２】
ステップＳ５０３４では、画像処理回路１２４は、焦点検出領域内の画素からの信号の出力を用いて、第３の対の像信号（Ｅ像、Ｆ像）を生成する。図６を用いて説明したように、画像処理回路１２４は、焦点検出領域に含まれる画素の出力を、まずカラーフィルタの繰り返し単位ごとに加算し、得られた信号を焦点検出方向に連結して焦点検出用信号を生成する。
【００６３】
本実施形態では、水平方向および垂直方向の像信号のサンプリングピッチに対して、斜め４５度方向のサンプリングピッチを小さくすることで、高精度な焦点検出を実現する。図９を用いて、像信号の生成方法について説明する。図９は、像信号の生成方法を示す図であり、撮像素子１２２に行列上に配置された画素を、副画素単位ではなく、カラーフィルタが共通の画素ごとに示している。カラーフィルタの分光特性に応じて、ＲＧＢを図中に付している。
【００６４】
図９（Ａ）は、ステップＳ５０３２で像信号（Ａ像、Ｂ像）を生成する際に、加算する画素出力を示している。図中の太線枠内に配置された２行２列の４画素内の、第１副画素２０１と第３副画素２０３の出力を加算して、Ａ像信号のＩ番目の出力（単位信号）Ａ（Ｉ）とする。また、図中の太線枠内に配置された２行２列の４画素内の、第２副画素２０２と第４副画素２０４の出力を加算して、Ｂ像信号のＩ番目の出力Ｂ（Ｉ１）とする。順次、生成したＡ像（Ｂ像）信号を３００個連結して、対の像信号を生成する。本実施形態では、撮像素子１２２の画素ピッチは４μｍであり、ＡＦ信号は２画素分の信号を水平方向に加算しているため、水平方向に２．４ｍｍの広がりのある焦点検出領域を設定していることに相当する。また、ＡＦ信号のサンプリングピッチは、８μｍである。
【００６５】
図９（Ｂ）は、ステップＳ５０３３で像信号（Ｃ像、Ｄ像）を生成する際に、加算する画素出力を示している。図中の太線枠内に配置された２行２列の４画素内の、第１副画素２０１と第２副画素２０２の出力を加算して、Ｃ像信号のＩ番目の出力Ｃ（Ｉ）とする。また、図中の太線枠内に配置された２行２列の４画素内の、第３副画素２０３と第４副画素２０４の出力を加算して、Ｄ像信号のＩ番目の出力Ｄ（Ｉ）とする。順次、生成したＣ像（Ｄ像）信号を３００個連結して、対の像信号を生成する。本実施形態では、撮像素子１２２の画素ピッチは４μｍであり、ＡＦ信号は２画素分の信号を垂直方向に加算しているため、垂直方向に２．４ｍｍの広がりのある焦点検出領域を設定していることに相当する。また、ＡＦ信号のサンプリングピッチは、８μｍである。
【００６６】
図９（Ｃ）は、ステップＳ５０３４で像信号（Ｅ像、Ｆ像）を生成する際に、加算する画素出力を示している。本実施形態では、ＡＦ信号のサンプリングピッチが水平方向および垂直方向に瞳分割を行う対の像信号を生成する場合に比べて１／√２倍（５．７μｍ）になるように、斜め４５度方向に瞳分割を行う対の像信号を生成する。これにより、像ずれ量の検出感度が高まり、高精度な焦点検出を行うことができる。図９（Ｃ）では、太線枠は、画素の境界と重なっていない。そのため、像信号を生成する際には、１画素の面積に対する太線枠内に含まれる面積比率に応じて、画素出力を調整して加算を行う。例えば、出力Ｅ（１）（Ｆ（１））を生成する際には、３つのＧ画素の信号の出力をそのまま加算する。また、２つのＲ画素の信号の出力の１／２、他の２つのＲ画素の信号の出力の１／４を加算する。また、２つのＢ画素の信号の出力の１／２、他の２つのＢ画素の信号の出力の１／４を加算する。このように出力を生成することにより、水平方向および垂直方向と同様に、像信号内の色の比率はＲ：Ｇ：Ｂ＝１：２：１となる。順次、生成したＥ像（Ｆ像）信号を４２４個連結して、対の像信号を生成する。そのため、斜め４５度方向に約２．４ｍｍの広がりのある焦点検出領域を設定していることに相当する。
【００６７】
次に、図１０を参照して、図７のステップＳ５０４で位相差ＡＦ部１２９が行うデフォーカス量の検出処理について説明する。図１０は、デフォーカス量の算出処理を示すフローチャートである。
【００６８】
ステップＳ５０４１では、位相差ＡＦ部１２９は、カメラＭＰＵ１２５から供給される第１の対の像信号（Ａ像、Ｂ像）に対する相関演算（第１の相関演算）を行う。位相差ＡＦ部１２９は、相関演算を行う際、視野内データ数とシフトデータ数を設定する。視野内データとは、相関演算を行う際の窓に相当し、焦点検出を行う領域の広さを決定する。視野内データ数を大きくすると、相関演算結果の信頼性を高めることができる一方、距離の異なる被写体が焦点検出領域内に存在する場合に遠近競合が発生しやすくなる。遠近競合とは、距離の異なる被写体に係る像信号の相関演算を行った場合に、デフォーカス量が検出できなかったり、デフォーカス量を検出する被写体を誤ったりする現象である。
【００６９】
遠近競合の発生を抑制しつつ、精度の良いデフォーカス量を検出するには、被写体の大きさや光学系の焦点距離（画角）などの情報をもとに、Ａ像とＢ像に、相関演算に用いる適切な範囲（区間）を設定する必要がある。この範囲の大きさを定めるのが視野内データ数であり、例えば位相差ＡＦ部１２９はあらかじめ定められたパラメータの種類と値との組み合わせごとに視野内データ数が登録されたテーブルを参照するなどして設定する。
【００７０】
また、シフトデータ数は、Ａ像とＢ像の相対位置を変化させながら相関量を算出する際の最大ずらし量に相当する。相関量算出時のＡ像とＢ像の最大ずらし量を大きくすると、ボケの大きな被写体に対するデフォーカス量の検出が可能になる反面、相関量の算出に要する演算量が増加し、焦点検出に要する時間が長くなる。
【００７１】
第１の相関演算に用いる相関量ＣＯＲ１（ｈ）は、例えば以下の式（１）を用いて算出することができる。
【００７２】
【数１】
2020148843.tif 000003
【００７３】
式（１）において、Ｗ１は視野内データ数、ｈｍａｘはシフトデータ数である。位相差ＡＦ部１２９はシフト量ｈについての相関量ＣＯＲ１（ｈ）を算出した後、Ａ像とＢ像の相関が最大となるシフト量（像ずれ量）ｄｈ１、すなわち相関量ＣＯＲ１（ｈ）が最小となるシフト量ｄｈ１を求める。なお、相関量ＣＯＲ１（ｈ）の算出時におけるシフト量ｈは整数とするが、相関量ＣＯＲ１（ｈ）が最小となるシフト量ｄｈ１を求める場合には、デフォーカス量の精度を向上させるため、補間処理などを行い、サブピクセル単位の値（実数値）を求める。
【００７４】
また、本実施形態では、相関量ＣＯＲ１（ｈ）の差分値ＤＣＯＲ１の符号が変化するシフト量を、相関量ＣＯＲ１（ｈ）が最小となるシフト量ｄｈ１として算出する。位相差ＡＦ部１２９は、差分値ＤＣＯＲ１を以下の式（２）を用いて算出する。
【００７５】
ＤＣＯＲ１（ｈ）＝ＣＯＲ１（ｈ）−ＣＯＲ１（ｈ−１）      （２）
位相差ＡＦ部１２９は、差分値ＤＣＯＲ１を用いて、差分値ＤＣＯＲ１の符号が変化するシフト量ｄｈ１を求める。差分値ＤＣＯＲ１の符号が変化する直前のシフト量ｈをｈ１、符号が変化した後のシフト量ｈをｈ２（ｈ２＝ｈ１＋１）とすると、位相差ＡＦ部１２９はシフト量ｄｈ１を以下の式（３）を用いて算出する。
ｄｈ１＝ｈ１＋｜ＤＣＯＲ１（ｈ１）｜／｜ＤＣＯＲ１（ｈ１）−ＤＣＯＲ１（ｈ２）｜
（３）
以上説明したように、位相差ＡＦ部１２９は、Ａ像とＢ像の相関が最大となるシフト量ｄｈ１をサブピクセル単位で算出する。なお、２つの１次元像信号の像ずれ量を算出する方法は、ここで説明したものに限らず、任意の方法を用いてもよい。
【００７６】
ステップＳ５０４２では、位相差ＡＦ部１２９は、カメラＭＰＵ１２５から供給される第２の対の像信号（Ｃ像、Ｄ像）に対する相関演算（第２の相関演算）を行う。位相差ＡＦ部１２９は、相関演算を行う際、視野内データ数とシフトデータ数を設定する。視野内データ数は、上述したように、被写体の遠近競合とデフォーカス量の検出精度とを考慮して設定される。
【００７７】
位相差ＡＦ部１２９は、第２の相関演算に用いる相関量ＣＯＲ２（ｇ）、相関量ＣＯＲ２（ｇ）の差分値ＤＣＯＲ２（ｇ）を、相関量ＣＯＲ１（ｈ）、差分値ＤＣＯＲ１（ｈ）と同様に算出する。また、位相差ＡＦ部１２９は、Ｃ像とＤ像の相関が最大となるシフト量ｄｈ２も、シフト量ｄｈ１と同様にサブピクセル単位で算出する。
【００７８】
ステップＳ５０４３では、位相差ＡＦ部１２９は、カメラＭＰＵ１２５から供給される第３の対の像信号（Ｅ像、Ｆ像）に対する相関演算（第３の相関演算）を行う。位相差ＡＦ部１２９は、相関演算を行う際、視野内データ数とシフトデータ数を設定する視野内データ数は、上述したように、被写体の遠近競合とデフォーカス量の検出精度とを考慮して設定される。
【００７９】
位相差ＡＦ部１２９は、第３の相関演算に用いる相関量ＣＯＲ３（ｇ）、相関量ＣＯＲ３（ｇ）の差分値ＤＣＯＲ３（ｇ）を、視野内データ数とシフトデータ数が異なることをのぞき、相関量ＣＯＲ１（ｈ）、差分値ＤＣＯＲ１（ｈ）と同様に算出する。視野内データ数とシフトデータ数は、第１の対の像信号に対して、サンプリングピッチが小さい分を加味して、設定すればよい。また、位相差ＡＦ部１２９は、Ｅ像とＦ像の相関が最大となるシフト量ｄｈ３も、シフト量ｄｈ１と同様にサブピクセル単位で算出する。
【００８０】
ステップＳ５０４４では、位相差ＡＦ部１２９は、第３の相関演算結果の信頼性を評価する。第３の相関演算結果に信頼性がある（高い）と判定されると、ステップＳ５０４６に進み、第３の相関演算結果に信頼性がない（低い）と判定されると、ステップＳ５０４５に進む。
【００８１】
信頼性の評価は、例えば、相関量ＣＯＲ３（ｇ）の極小値の大きさや、シフト量ｄｈ３近傍の差分値ＤＣＯＲ３（ｇ）の大きさに基づいて行うことができる。相関量ＣＯＲ３（ｇ）の極小値の大きさが小さいほど、Ｅ像とＦ像の一致度が高いことを示すため、第３の相関演算結果の信頼性は高いと評価できる。また、差分値ＤＣＯＲ３（ｇ）の大きさが大きいほど、シフト量ｈに対する相関量ＣＯＲ３（ｇ）の変化が大きいことを示すため、サブピクセル単位のシフト量ｄｈ３の精度が高く、第３の相関演算結果の信頼性は高いと評価できる。位相差ＡＦ部１２９は、これら値のうち少なくとも１つを用いて、第３の相関演算結果の信頼性を評価する。なお、評価に複数の値を用いる場合であって、例えば個々の値が一定の信頼性を有しつつ、かつ少なくとも１つが高い信頼性に該当する場合、第３の相関演算結果の信頼性があると評価することができる。なお、上述した評価基準は一例であり、他の評価基準を採用してもよい。
【００８２】
ステップＳ５０４５では、位相差ＡＦ部１２９は、第１の相関演算結果または第２の相関演算結果の信頼性を評価する。これらの信頼性の評価は、第３の相関演算結果の評価と同様に行うことができる。第１の相関演算結果または第２の相関演算結果に信頼性があると判定されると、ステップＳ５０４７に進み、第１の相関演算結果および第２の相関演算結果に信頼性がないと判定されると、ステップＳ５０４８に進む。
【００８３】
ステップＳ５０４６では、位相差ＡＦ部１２９は、第３の相関演算で得られたシフト量に対して所定の敏感度を適用してデフォーカス量を算出する。位相差ＡＦ部１２９は、算出したデフォーカス量をカメラＭＰＵ１２５に出力して本処理を終了する。上述したように、第３の相関演算では、第１の相関演算や第２の相関演算よりも、基線長が長いことに加えて、信号のサンプリングピッチが小さいため、像ずれ量の検出精度は高い。したがって、本実施形態では、第３の相関演算結果が信頼できる場合、第１の相関演算結果や第２の相関演算結果よりも第３の相関演算結果を優先して用いてデフォーカス量を算出する。
【００８４】
ステップＳ５０４７では、位相差ＡＦ部１２９は、第１の相関演算結果と第２の相関演算結果でより信頼性が高い方の相関演算で得られたシフト量に対して所定の敏感度を適用してデフォーカス量を算出する。位相差ＡＦ部１２９は、算出したデフォーカス量をカメラＭＰＵ１２５に出力して本処理を終了する。第１の対の像信号と第２の対の像信号ではサンプリングピッチが等しいため、像ずれ量の検出精度はほぼ等しい。そのため、被写体の模様などにより、より信頼性が高く検出精度が高い相関演算結果を選択すればよい。また、同程度の信頼性および検出精度が見込める場合、平均処理などを行ってもよい。これにより、撮像光学系の非点収差の影響などを緩和することができる。
【００８５】
ステップＳ５０４８では、位相差ＡＦ部１２９は、焦点検出不能と判定し、カメラＭＰＵ１２５にその旨を通知して本処理を終了する。
【００８６】
本実施形態では、斜め４５度方向の瞳分割を用いた焦点検出において対の像信号を生成する際のサンプリングピッチを、水平方向および垂直方向の瞳分割を用いた焦点検出において対の像信号を生成する際のサンプリングピッチに比べて小さくしている。これにより、斜め４５度方向の瞳分割を用いた焦点検出を、水平方向および垂直方向の瞳分割を用いた焦点検出に比べて高精度に実現することができる。
【００８７】
斜め４５度方向の瞳分割を用いた焦点検出において、単位信号を生成する際の像ずれ量を検出する方向と直交する方向の境界はＲ画素上またはＢ画素上としている。また、斜め４５度方向の像信号を生成する際には、単位信号の領域に含まれる画素面積から、出力に重み付けして加算している。そのため、単位信号の領域内で生じる信号量に対して、誤差を生じる。焦点検出では、画素構成比率が大きいＧ画素が主成分となるため、Ｇ画素の出力の誤差は焦点検出精度の低下により大きな影響を与える。本実施形態では、誤差の生じやすい領域の画素を、Ｒ画素またはＢ画素とすることで、焦点検出精度の低下を抑制している。同様の理由から、より感度が低い画素を、誤差の生じやすい領域に配置した単位信号の領域設定を行ってもよい。
【００８８】
また、左右がＲ画素のＧ画素と、左右がＢ画素のＧ画素では、画素間のクロストークなどの影響により出力が異なる場合がある。そこで、斜め４５度方向の瞳分割を用いた焦点検出において対の信号を生成する際には、２種類のＧ画素が同程度、単位信号の領域に含まれるよう構成すればよい。
【００８９】
また、本実施形態では、像ずれ量の検出を行う信号列の単位信号をＲＧＢ信号の和としているが、色ごとに、個別に像ずれ量を検出してもよい。これにより、被写体の色の影響を受けにくい焦点検出を実現することができる。また、被写体の分光特性を検出して、ＲＧＢ信号の和を用いるか、色ごとに個別に像ずれ量を検出するかを切り替えてもよい。演算量低減のため、被写体の分光特性を検出して、像ずれ量を検出する色を選択してもよい。被写体の分光特性は、測光手段により取得してもよいし、像信号のコントラストなどから取得してもよい。
（変形例１）
第１の実施形態では、像信号内の色の比率をＲ：Ｇ：Ｂ＝１：２：１としている。また、水平方向および垂直方向では、２画素の加算を行い、サンプリングピッチが２画素分（８μｍ）となっている。上述したように、対の像信号を用いて相関演算し、像ずれ量を算出する際には、サンプリングピッチが小さい方が、検出精度が高い。本変形例では、第1の実施形態に対して、よりサンプリングピッチの細かい像信号の生成方法について説明する。
【００９０】
図１１は、本変形例の像信号の生成方法を示す図である。図１１（Ａ）は、図９（Ａ）に対して、水平方向のサンプリングピッチを小さくして、像信号（Ａ像、Ｂ像）を生成する際に、加算する画素出力を示している。図中の太線枠内に配置された２行１列の画素内の、第１副画素２０１と第３副画素２０３の出力を加算して、Ａ像信号のＩ番目の出力Ａ（Ｉ）とする。また、図中の太線枠内に配置された２行１列の２画素内の、第２副画素２０２と第４副画素２０４の出力を加算して、Ｂ像信号のＩ番目の出力Ｂ（Ｉ１）とする。このように信号を生成すると、水平方向のサンプリングピッチは４μｍとなる。奇数番目の出力は、Ｒ画素とＧ画素の和、偶数番目の出力は、Ｇ画素とＢ画素の和となり、分光感度の異なる信号の配列となる。このような場合、相関演算を行う前に、（１，２，１）などのデジタルフィルタ処理を施すことで、サンプリングピッチを変えずに、信号間の分光感度の差を緩和することができる。
【００９１】
垂直方向において瞳分割が行われる場合、Ｃ像は１行２列の画素内の第１副画素２０１と第２副画素２０２の出力を加算することで生成することができる。また、Ｄ像は１行２列の画素内の第３副画素２０３と第４副画素２０４の出力を加算することで生成することができる。
【００９２】
図１１（Ｂ）は、図９（Ｃ）に対して、斜め４５度方向のサンプリングピッチを小さくして、像信号（Ｅ像、Ｆ像）を生成する際に、加算する画素出力を示している。図１１（Ｂ）の場合にも、図９（Ｃ）の場合と同様に、１画素の面積に対する太線枠内に含まれる面積比率に応じて、画素出力を調整して加算を行う。例えば、画素が第１の配置となっている出力（第１の単位信号）Ｅ（１）（Ｆ（１））を生成する際には、３つのＧ画素の信号の出力の３／４を加算する。また、２つのＲ画素の信号の出力の１／８、他の２つのＲ画素の信号の出力の１／１６を加算する。また、２つのＢ画素の信号の出力の１／８、他の２つのＢ画素の信号の出力の１／１６を加算する。画素が第２の配置となっている出力（第２の単位信号）Ｅ（２）（Ｆ（２））を生成する際には、６つのＧ画素の信号の出力の１／８を加算する。また、１つのＲ画素の信号の３／４、１つのＲ画素の信号の３／８を加算する。また、１つのＢ画素の信号の３／４、１つのＢ画素の信号の３／８を加算する。
【００９３】
このように信号を生成すると、斜め４５度方向のサンプリングピッチは４／√２（≒２．８μｍ）となる。奇数番目の出力では、像信号内の色の比率はＲ：Ｇ：Ｂ＝１：６：１となり、偶数番目の出力では、像信号内の色の比率はＲ：Ｇ：Ｂ＝３：２：３となり、分光感度の異なる信号の配列となる。このような場合、相関演算を行う前に、（１，２，１）などのデジタルフィルタ処理を施すことで、サンプリングピッチを変えずに、信号間の分光感度の差を緩和することができる。
【００９４】
以上説明したように、本変形例の構成によれば、対の像信号のサンプリングピッチを小さくすることができ、第１の実施形態に比べて高精度な焦点検出を行うことができる。
［第２の実施形態］
第１の実施形態では、個々の相関演算結果を得た後、信頼性などに応じて、斜め４５度方向の相関演算結果を優先的に、１つの相関演算結果を選択する。本実施形態では、焦点検出領域の像高と撮像光学系の条件により、優先的に選択する相関演算結果を変更する。上述したように、焦点検出の精度は、基線長と像信号のサンプリングピッチにより決まるため、より精度が高くなると想定される相関演算結果を優先的に選択する。これにより、焦点検出領域の像高によらず、高精度な焦点検出が可能となる。なお、第１の実施形態において説明した図１〜図８に関しては本実施形態と共通するため、説明は省略する。
【００９５】
図１２は、本実施形態の周辺像高における焦点検出方向ごとの基線長を説明する図である。図１２の座標系は、図４（Ａ）と同じであり、同一の構成について同じ番号を付している。
【００９６】
図１２では、図６の焦点検出領域を表す矩形枠状の指標Ｉ（２，１）と対応する焦点検出領域（Ａ（２，１）、Ｂ（２，１）、Ｃ（２，１））の焦点検出に用いる光束の重心と基線長を示している。図１２では、撮像素子１２２と撮像光学系の光軸の交点である中央像高ではなく、周辺像高であるため、撮像光学系によるビネッティングが生じる。つまり、焦点検出領域に到達する光束は、撮像光学系の光路中の前枠および後枠によってけられ、前枠光束範囲４０１と後枠光束範囲４０２の交差する領域が撮影光束範囲となる。
【００９７】
図４の場合と同様に、撮影光束範囲と対の瞳部分領域の重なる部分の光束の強度分布の重心を点で示している。水平方向の瞳分割と対応した重心間隔を５２０で示しており、垂直方向の瞳分割と対応した重心間隔を５２１で示している。また、斜め４５度方向の瞳分割と対応した重心間隔を５２２で示している。図１２の状況において、基線長を長い順に示すと、垂直方向＞斜め４５度方向＞水平方向となる。本実施形態では、焦点検出領域の像高によって変化する基線長の順番に基づいて、優先的に選択する瞳分割方向を決定する。第１の実施形態で説明したように、焦点検出の精度は、基線長と像信号のサンプリングピッチで決まるため、図１２で示した各々の基線長に対して、図９で説明したサンプリングピッチを乗じた値が大きい順に、優先的に選択する。
【００９８】
また、図４で説明したように、水平方向および垂直方向の瞳分割では、１画素内の２つの光電変換部の出力の和が単位信号となる。斜め４５度方向の瞳分割では、１画素内の１つの光電変換部の出力が、単位信号となる。そのため、斜め４５度方向の像信号の方が、Ｓ／Ｎは悪化する。そこで、基線長とサンプリングピッチに加えて、Ｓ／Ｎも加味して、優先的に選択する焦点検出時の瞳分割方向を決定してもよい。
【００９９】
図１３は、撮像光学系の所定の条件における優先的に選択する瞳分割方向を、撮像素子１２２上で説明する図である。焦点検出領域の中心座標が、どの領域（座標）に存在するかにより、どの瞳分割方向の焦点検出を優先するかを示している。
【０１００】
図１３中で、撮像素子１２２の画像生成範囲を示す枠の中で、「Ｈ」と示された領域は、水平方向の瞳分割を優先的に選択する。「Ｖ」と示された領域は、垂直方向の瞳分割を優先的に選択する。「４５ｄ＋」と示された領域は、図４（Ｃ）で示した右上がり斜め４５度方向の瞳分割を優先的に選択する。「４５ｄ−」と示された領域は、右下がり斜め４５度方向の瞳分割を優先的に選択する。「４５ｄ」と示された領域は、右上がり４５度方向と右下がり方向の両方の斜め４５度方向の瞳分割を優先的に選択する。
【０１０１】
焦点検出領域の位置で、どの方向の瞳分割の基線長がより長いかは、撮像光学系の条件（Ｆ値、射出瞳距離、およびケラレに寄与する枠情報（径、位置））によって異なる。そのため、撮像光学系からこれらの情報を取得し、取得した情報に応じて、図１３で示した優先的に選択する瞳分割方向の境界を変更してもよい。これらの情報は、基線長の関連情報と対応する。
【０１０２】
以下、図１４を参照して、デフォーカス量の検出処理について説明する。図１４は、本実施形態のデフォーカス量の算出処理を示すフローチャートである。
【０１０３】
ステップＳ５０４１からステップＳ５０４３までの処理は、図１０のステップＳ５０４１からステップＳ５０４３までの処理と同様であるため、詳細な説明は省略する。
【０１０４】
ステップＳ５１００では、位相差ＡＦ部１２９は、３方向の瞳分割と対応する相関演算結果に関して、優先順位を取得する。上述したように、位相差ＡＦ部１２９は、焦点検出領域の像高における基線長、像信号のサンプリングピッチ、および信号のＳ／Ｎに基づいて決定された優先順位に関する情報を取得する。
【０１０５】
ステップＳ５１０１では、位相差ＡＦ部１２９は、第１の実施形態で説明した方法を用いて第１優先の相関演算結果の信頼性を評価する。第１優先の相関演算結果に信頼性があると判定されると、ステップＳ５１０４に進み、第１優先の相関演算結果に信頼性がないと判定されると、ステップＳ５１０２に進む。
【０１０６】
ステップＳ５１０２では、位相差ＡＦ部１２９は、第１の実施形態で説明した方法を用いて第２優先の相関演算結果の信頼性を評価する。第２優先の相関演算結果に信頼性があると判定されると、ステップＳ５１０５に進み、第２優先の相関演算結果に信頼性がないと判定されると、ステップＳ５１０３に進む。
【０１０７】
ステップＳ５１０３では、位相差ＡＦ部１２９は、第１の実施形態で説明した方法を用いて第３優先の相関演算結果の信頼性を評価する。第３優先の相関演算結果に信頼性があると判定されると、ステップＳ５１０６に進み、第３優先の相関演算結果に信頼性がないと判定されると、ステップＳ５１０７に進む。
【０１０８】
ステップＳ５１０４では、位相差ＡＦ部１２９は、第１優先の相関演算で得られたシフト量に対して所定の敏感度を適用してデフォーカス量を算出する。位相差ＡＦ部１２９は、算出したデフォーカス量をカメラＭＰＵ１２５に出力して本処理を終了する。
【０１０９】
ステップＳ５１０５では、位相差ＡＦ部１２９は、第２優先の相関演算で得られたシフト量に対して所定の敏感度を適用してデフォーカス量を算出する。位相差ＡＦ部１２９は、算出したデフォーカス量をカメラＭＰＵ１２５に出力して本処理を終了する。
【０１１０】
ステップＳ５１０６では、位相差ＡＦ部１２９は、第３優先の相関演算で得られたシフト量に対して所定の敏感度を適用してデフォーカス量を算出する。位相差ＡＦ部１２９は、算出したデフォーカス量をカメラＭＰＵ１２５に出力して本処理を終了する。
【０１１１】
ステップＳ５１０７では、位相差ＡＦ部１２９は、焦点検出不能と判定し、カメラＭＰＵ１２５にその旨を通知して本処理を終了する。
【０１１２】
斜め４５度方向に２方向の瞳分割を行う場合、第１から第４優先まで相関演算の優先順位付けを行えばよい。また、斜め４５度方向の２方向について、優先度が同程度である場合、像信号のコントラストや高周波成分の情報量などに基づいて選択してもよいし、２つの相関演算結果の平均処理を行ってもよい。
【０１１３】
本実施形態によれば、撮像光学系の条件と焦点検出領域の像高によって、複数の相関演算の１つを選択して実行し、その結果に基づいてデフォーカス量を検出する。そのため、焦点検出領域の像高によらず、第１の実施形態と同等以上の高精度な焦点検出を実現することができる。
［第３の実施形態］
第１の実施形態では、斜め４５度方向の瞳分割に対応した像信号は、撮像素子１２２に配置された各画素からの信号を間引くことなく出力される。ここで、焦点検出の高速化などを目的として、撮像素子１２２の読出し時間を短縮化するために、信号を行方向／列方向に間引いたり加算したり、データ量を圧縮して出力する方法が考えられる。本実施形態では、撮像素子１２２から圧縮された信号が出力された場合にも高精度な焦点検出が可能な方法について説明する。なお、第１の実施形態において説明した図１〜図８、図１０に関しては本実施形態と共通するため、説明は省略する。
【０１１４】
図１５は、撮像素子１２２から加算または間引かれて信号出力される画素の配置を説明する図である。図１５では、カラーフィルタごとに配置されている画素で、色が塗られている画素の位置に重心を持つ信号が出力される。本実施形態では、左右の同色画素の信号と加算を行い、垂直方向には、５行に対して１行のみ読み出しを行うことで高速化を実現する。すなわち、水平３画素加算、垂直１／５画素間引きの信号が出力される。
【０１１５】
このような場合において、瞳分割方向と焦点検出領域の単位信号の配列方向（単位信号間の境界の法線方向）について説明する。図１５において、１５００は斜め４５度の瞳分割方向を示している。上述の画素出力信号の加算間引きによらず、各画素内のマイクロレンズで瞳分割は行われているため、瞳分割方向に対する影響はない。そのため、第１および第２の実施形態と同様に、斜め４５度方向に瞳分割された信号を、像信号として用いる。
【０１１６】
一方、水平３画素加算、垂直１／５画素間引きの信号を、図９（Ｃ）を用いて説明したように加算し、対の像信号の単位信号を生成すると、単位信号間の境界は、瞳分割方向と直交しない。これは、水平方向と垂直方向の圧縮率の差によるものである。水平方向が３画素の圧縮であるのに対して、垂直方向は５画素の圧縮であるため、瞳分割方向と直交する方向に対して、単位信号間の境界の法線の方向１５０２は、アークタンジェント５／３に相当する角度から４５度差し引いた角度Ｌたけ傾いている。そのため、デフォーカスにより、対の光学像で、瞳分割方向に発生する像ずれ量に対して、単位信号の配列方向における像ずれ量は、ｃｏｓＬ倍小さい。
【０１１７】
本実施形態では、画素からの信号出力の圧縮により、瞳分割方向と単位信号の配列方向の角度差に応じて、検出した像ずれ量をデフォーカス量に換算する敏感度（基線長に関する情報）を補正する。具体的には、間引きがない場合の敏感度を、圧縮によるサンプリングピッチの変化分を換算
2020148843.tif 000004
【０１１８】
した後、ｃｏｓＬで除した値を、補正後敏感度として用いて、デフォーカス量を算出する。これにより、高速な信号読出しに対応しながら、高精度な焦点検出を行うことができる。
【０１１９】
本実施形態では、瞳分割方向と単位信号の配列方向の角度差を、検出した像ずれ量をデフォーカス量に変換する際の敏感度を補正することにより対応する。一方、単位信号を生成する際に、水平３画素加算信号から、水平５画素加算相当の信号を生成することにより、再び、単位信号の配列方向と瞳分割方向を一致させるようにしてもよい。これにより、信号処理量が増え、Ｓ／Ｎも低下するが、敏感度の補正は、圧縮率の分のみとなり、簡易化される。
【０１２０】
本実施形態のように、瞳分割方向と単位信号の配列方向の角度差がある場合、像ずれ量は小さく検出されるため、焦点検出の精度は下がる。第２の実施形態のように、焦点検出の精度に応じて、相関演算の優先度を決定する場合には、本実施形態の瞳分割方向と単位信号間の境界の法線の方向の角度も加味して決定すればよい。
【０１２１】
本実施形態では、水平方向と垂直方向の圧縮率が異なるため、瞳分割方向と単位信号の配列方向の角度差が生じたが、圧縮率が同じであれば、角度差は生じない。そのため、所定値以下の角度差の場合は、敏感度の補正などを行わずに、デフォーカス量を算出してもよい。
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１２２】
１００  デジタルカメラ（撮像装置）
１２２  撮像素子
１２４  画像処理回路（生成手段）
１２９  位相差ＡＦ部（演算手段）
【図１】
2020148843.tif 000005
【図２】
2020148843.tif 000006
【図３】
2020148843.tif 000007
【図４】
2020148843.tif 000008
【図５Ａ】
2020148843.tif 000009
【図５Ｂ】
2020148843.tif 000010
【図６】
2020148843.tif 000011
【図７】
2020148843.tif 000012
【図８】
2020148843.tif 000013
【図９】
2020148843.tif 000014
【図１０】
2020148843.tif 000015
【図１１】
2020148843.tif 000016
【図１２】
2020148843.tif 000017
【図１３】
2020148843.tif 000018
【図１４】
2020148843.tif 000019
【図１５】
2020148843.tif 000020