(57)【要約】【課題】クロストークにより光電変換部の信号が誤差を含んでも精度良く焦点検出を行う。【解決手段】撮像装置１００は、撮像光学系の射出瞳のうち第１の瞳領域を通過した光束を受光する第１の光電変換部２０１ａおよび第２の瞳領域を通過した光束を受光する第２の光電変換部２０１ｂを含む複数の光電変換部を、複数の色のそれぞれに対して有する撮像素子１４と、色ごとに、第１の光電変換部からの信号を用いて生成された第１の位相差像信号と第２の光電変換部からの信号を用いて生成された第２の位相差像信号との位相差を算出し、該位相差を用いて焦点検出を行う焦点検出手段５０，４２と、被写体から撮像光学系に入射する光束の分光情報を取得する測光手段４６とを有する。焦点検出手段は、位相差に加え、分光情報と、焦点検出領域における光束の入射角に関する情報および光電変換部間の混色に関する情報のうち少なくとも一方の情報とを用いて焦点検出を行う。【選択図】図１
2019117333.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系の射出瞳のうち第１の瞳領域を通過した光束を受光する第１の光電変換部および前記射出瞳のうち第２の瞳領域を通過した光束を受光する第２の光電変換部を含む複数の光電変換部を、複数の色のそれぞれに対して有する撮像素子と、
前記撮像素子のうち焦点検出領域において、前記色ごとに、前記第１の光電変換部からの信号を用いて生成された第１の位相差像信号と前記第２の光電変換部からの信号を用いて生成された第２の位相差像信号との位相差を算出し、該位相差を用いて前記撮像光学系の焦点検出を行う焦点検出手段と、
被写体から前記撮像光学系に入射する光束の分光情報を取得する測光手段とを有し、
前記焦点検出手段は、前記位相差に加え、
前記分光情報と、
前記焦点検出領域における前記光束の入射角に関する情報および前記光電変換部間の混色に関する情報のうち少なくとも一方の情報とを用いて前記焦点検出を行うことを特徴とする撮像装置。
【請求項２】
前記焦点検出手段は、前記分光情報と前記少なくとも一方の情報とを用いて前記位相差を補正し、補正した位相差を用いて前記焦点検出を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記焦点検出手段は、前記少なくとも一方の情報を用いて補正量に関するデータを取得し、該補正量に関するデータから前記分光情報に応じた補正量を取得し、該補正量を用いて前記位相差を補正することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記入射角に関する情報は、前記撮像光学系の射出瞳距離および前記撮像素子の入射瞳距離を示す情報を含むことを特徴とする請求項１から３のいずれか一項に記載の撮像装置。
【請求項５】
前記混色に関する情報は、前記撮像光学系の色収差の情報を含むことを特徴とする請求項１から４のいずれか一項に記載の撮像装置。
【請求項６】
前記焦点検出手段は、前記分光情報が所定範囲内である場合に、前記分光情報と前記少なくとも一方の情報とを用いて前記焦点検出を行うことを特徴とする請求項１から５のいずれか一項に記載の撮像装置。
【請求項７】
前記焦点検出手段は、前記撮像光学系の絞り値が所定絞り値より大きい場合に、前記分光情報と前記少なくとも一方の情報とを用いて前記焦点検出を行う前記焦点検出を行うことを特徴とする請求項１から６のいずれか一項に記載の撮像装置。
【請求項８】
撮像光学系の射出瞳のうち第１の瞳領域を通過した光束を受光する第１の光電変換部および前記射出瞳のうち第２の瞳領域を通過した光束を受光する第２の光電変換部を含む複数の光電変換部を、複数の色のそれぞれに対して有する撮像素子を有する撮像装置における焦点検出方法であって、
前記撮像素子のうち焦点検出領域において、前記色ごとに、前記第１の光電変換部からの信号を用いて生成された第１の位相差像信号と前記第２の光電変換部からの信号を用いて生成された第２の位相差像信号との位相差を算出し、該位相差を用いて前記撮像光学系の焦点検出を行う焦点検出ステップと、
被写体から前記撮像光学系に入射する光束の分光情報を取得する測光ステップとを有し、
前記焦点検出ステップにおいて、前記位相差に加え、
前記分光情報と、
前記焦点検出領域における前記光束の入射角に関する情報および前記光電変換部間の混色に関する情報のうち少なくとも一方の情報とを用いて前記焦点検出を行うことを特徴とする焦点検出方法。
【請求項９】
撮像光学系の射出瞳のうち第１の瞳領域を通過した光束を受光する第１の光電変換部および前記射出瞳のうち第２の瞳領域を通過した光束を受光する第２の光電変換部を含む複数の光電変換部を、複数の色のそれぞれに対して有する撮像素子を有する撮像装置のコンピュータに、請求項８に記載の焦点検出方法に従う処理を実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
２次元配列された複数の画素のそれぞれにマイクロレンズが設けられ、各画素に２つ（第１および第２）の光電変換部を設けられた撮像素子を用いて、位相差検出方式（瞳分割方式）の焦点検出を行う撮像装置が特許文献１に開示されている。第１の光電変換部は撮像光学系の射出瞳のうち第１の瞳領域を通過した光束を受光して信号を出力し、第２の光電変換部は射出瞳のうち第２の瞳領域を通過した光束を受光して信号を出力する。撮像装置は、複数の画素の第１の光電変換部から出力された信号を結合して生成した第１の位相差像信号と、該複数の画素の第２の光電変換部から出力された信号を結合して生成した第２の位相差像信号との間の位相差（像ずれ量）を算出する。そして、該位相差から撮像光学系の焦点状態を示すデフォーカス量を算出することで焦点検出を行う。
【０００３】
特許文献２には、各光電変換部からの信号に対する周囲の光電変換部からのクロストークの影響により焦点検出精度が低下しないように、各光電変換部からの信号における上記影響を除去（クロストーク補正）して焦点検出を行う撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１８２３６０号公報
【特許文献２】特開２００９−１２２５２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献２にて開示された撮像装置では、クロストーク補正を１画素単位で行うことが開示されている。また、クロストーク補正を、クロストークの影響を与えた周囲の複数の光電変換部の位置と補正対象の光電変換部へのクロストーク率とを用いて行うことが開示されている。
【０００６】
しかしながら、複数の光電変換部に異なるカラーフィルタが設けられた場合のクロストークについては考慮されていない。このため、複数の光電変換部に対して異なるカラーフィルタを設ける場合には、クロストークの影響を排除しきれず誤差が含まれてしまう懸念がある。
【０００７】
本発明は、クロストークの影響により光電変換部からの信号に誤差が含まれる場合でも精度良く焦点検出を行えるようにした撮像装置を提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面としての撮像装置は、撮像光学系の射出瞳のうち第１の瞳領域を通過した光束を受光する第１の光電変換部および射出瞳のうち第２の瞳領域を通過した光束を受光する第２の光電変換部を含む複数の光電変換部を、複数の色のそれぞれに対して有する撮像素子と、撮像素子のうち焦点検出領域において、色ごとに、第１の光電変換部からの信号を用いて生成された第１の位相差像信号と第２の光電変換部からの信号を用いて生成された第２の位相差像信号との位相差を算出し、該位相差を用いて撮像光学系の焦点検出を行う焦点検出手段と、被写体から撮像光学系に入射する光束の分光情報を取得する測光手段とを有する。そして、焦点検出手段は、位相差に加え、分光情報と、焦点検出領域における光束の入射角に関する情報および光電変換部間の混色に関する情報のうち少なくとも一方の情報とを用いて焦点検出を行うことを特徴とする。
【０００９】
また、本発明の他の一側面としての焦点検出方法は、撮像光学系の射出瞳のうち第１の瞳領域を通過した光束を受光する第１の光電変換部および射出瞳のうち第２の瞳領域を通過した光束を受光する第２の光電変換部を含む複数の光電変換部を、複数の色のそれぞれに対して有する撮像素子を備えた撮像装置に適用される。該焦点検出方法は、撮像素子のうち焦点検出領域において、色ごとに、第１の光電変換部からの信号を用いて生成された第１の位相差像信号と第２の光電変換部からの信号を用いて生成された第２の位相差像信号との位相差を算出し、該位相差を用いて撮像光学系の焦点検出を行う焦点検出ステップと、被写体から撮像光学系に入射する光束の分光情報を取得する測光ステップとを有する。そして、焦点検出ステップにおいて、位相差に加え、分光情報と、焦点検出領域における光束の入射角に関する情報および光電変換部間の混色に関する情報のうち少なくとも一方の情報とを用いて焦点検出を行うことを特徴とする。
【００１０】
なお、撮像装置のコンピュータに、上記焦点検出方法に従う処理を実行させるコンピュータプログラムも、本発明の他の一側面を構成する。
【発明の効果】
【００１１】
本発明によれば、クロストークの影響により光電変換部からの信号に誤差が含まれる場合でも精度良く高速に焦点検出を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例である撮像装置を含む撮像システムの機能を示すブロック図。
【図２】実施例における撮像素子の画素配置を示す図。
【図３】実施例における撮像素子の回路構成を示す図。
【図４】図３の撮像素子の動作を示すタイミングチャート。
【図５】実施例における光電変換部と射出瞳との関係を示す図。
【図６】実施例における光電変換部の色ごとの入射角受光感度特性を示す図。
【図７】実施例における撮像素子の周辺像高における光電変換部と瞳領域との関係を説明する図。
【図８】実施例における焦点検出領域を示す図。
【図９】実施例における焦点検出領域内の画素配置を示す図。
【図１０】実施例におけるカラーフィルタ毎の画素出力の線像強度分布を示す図。
【図１１】実施例における光電変換部間のクロストークを説明する図。
【図１２】実施例における焦点調節処理を示すフローチャート。
【図１３】実施例における像ずれ補正量の取得処理を示すフローチャート。
【図１４】実施例における像ずれ補正量テーブルを示す図。
【図１５】実施例における信号比率が変わった場合の画素出力の線像強度分布を示す図。
【発明を実施するための形態】
【００１３】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１４】
図１は、本発明の実施例である撮像装置としてのデジタル一眼レフカメラ（以下、単にカメラという）１００と該カメラ１００に対して着脱（交換）可能な撮像レンズ３００からなるカメラシステムの構成を示す。本実施例では、レンズ交換式のカメラについて説明するが、撮像装置には、レンズ一体型カメラや、カメラ機能を有する携帯電話機、コンピュータ機器、メディアプレーヤ、ロボット機器、ゲーム機器および家電機器等も含まれる。
【００１５】
まず、カメラ１００の構成について説明する。カメラ１００のカメラマウント１０６には、撮像レンズ３００のレンズマウント３０６が機械的および電気的に着脱可能に装着される。カメラマウント１０６およびレンズマウント３０６には、撮像レンズ３００をカメラ１００と電気的に接続する電気接点部としてのコネクタ１２２，３２２が設けられている。
【００１６】
被写体から撮像レンズ３００に入射して該撮像レンズ３００内の撮像光学系を通過した光束は、メインミラー１３０により上方へ反射されて光学ファインダ１０４に入射する。ユーザは、光学ファインダ１０４を通して被写体の光学像である被写体像を観察しながら撮像を行うことができる。光学ファインダ１０４内には後述する表示部５４の一部が設けられており、該表示部５４は焦点検出領域、合焦状態、手振れ警告、絞り値および露出補正値が表示される。
【００１７】
メインミラー１３０は、ハーフミラーにより構成されている。撮像光路内に配置されたメインミラー１３０に入射した光束の一部は該メインミラー１３０を通過して、その背後に設けられたサブミラー１３１により下方へ反射されて焦点検出ユニット１０５に入射する。
【００１８】
焦点検出ユニット１０５は、２次結像光学系と光電変換素子とにより構成され、位相差検出方式による焦点検出を行う。焦点検出ユニット１０５は、２次結像光学系により形成された一対の被写体像をラインセンサ等の光電変換素子により電気信号（一対の焦点検出信号としての位相差像信号）に変換してＡＦ（オートフォーカス）部４２に送る。ＡＦ部４２は、この一対の位相差像信号間のずれ量である位相差を算出する。制御手段としてのシステム制御部５０は、算出された位相差から焦点検出結果としてのデフォーカス量を算出する。フォーカス制御部３４２は、該デフォーカス量が小さくなるように撮像光学系に含まれるフォーカスレンズ（フォーカス素子）３１１を光軸方向に移動させる焦点調節（ＡＦ）処理を行う。ＡＦ部４２およびシステム制御部５０により焦点検出手段が構成される。
【００１９】
なお、本実施例では、撮像光学系内のフォーカスレンズ３１１を移動させて焦点調節を行うが、後述する撮像素子１４をフォーカス素子として光軸方向に移動させて焦点調節を行うことも可能である。
【００２０】
一方、撮像レンズ３００の焦点調節処理が終了して静止画、電子ファインダ画像または動画の撮像を行う場合には、不図示のクイックリターン機構によりメインミラー１３０とサブミラー１３１を撮像光束外に退避させる。これにより、撮像レンズ３００からの光束は、露光量を制御するためのシャッター１２を介して撮像素子１４に入射する。撮像素子１４は、ＣＭＯＳセンサ等の光電変換素子により構成され、撮像レンズ３００からの光束により形成された被写体像を撮像（光電変換）する。撮像が終了すると、メインミラー１３０とサブミラー１３１は撮像光路内に戻される。
【００２１】
撮像素子１４での光電変換により生成された電気信号（アナログ撮像信号）は、Ａ／Ｄ変換器１６にてデジタル撮像信号に変換される。タイミング発生部１８は、メモリ制御部２２およびシステム制御部５０により制御されて撮像素子１４、Ａ／Ｄ変換器１６およびＤ／Ａ変換器２６にクロック信号や制御信号を供給する。画像処理部２０は、Ａ／Ｄ変換器１６またはメモリ制御部２２からのデジタル撮像信号に対して画素補間処理や色変換処理等の画像処理を行って画像データを生成する。画像処理部２０は、生成した画像データを用いて各種演算処理を行う。
【００２２】
撮像素子１４は、その全画素または一部の画素が焦点検出可能な画素として構成されており、該画素を用いて撮像面位相差検出方式による焦点検出を行うことができる。画像処理部２０は、生成した画像データのうち後述する焦点検出領域に対応する部分画像データを焦点検出データに変換する。焦点検出データは、システム制御部５０を介してＡＦ部４２に送られ、ＡＦ部４２は撮像レンズ３００内のフォーカス制御部３４２を通じてフォーカスレンズ３１１を移動させて合焦状態を得る。
【００２３】
本実施例のカメラ１００では、システム制御部５０は、画像処理部２０により生成された画像データからコントラスト状態を示すコントラスト評価値を生成することができる。そして、コントラスト評価値がピークを示す位置にフォーカス制御部３４２を通じてフォーカスレンズ３１１を移動させて合焦状態を得るコントラスト検出方式によるＡＦを行うことも可能である。
【００２４】
このため、メインミラー１３０とサブミラー１３１が撮像光路内に配置された光学ファインダ観察状態では焦点検出ユニット１０５による位相差検出方式でのＡＦ（位相差ＡＦ）が行われる。一方、メインミラー１３０とサブミラー１３１が撮像光束外へ退避した電子ファインダ観察状態や動画撮像時には、撮像素子１４による撮像面位相差検出方式でのＡＦ（撮像面位相差ＡＦ）とコントラスト検出方式でのＡＦ（コントラストＡＦ）が行われる。
【００２５】
メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０および圧縮伸長部３２を制御する。前述したようにＡ／Ｄ変換器１６からのデジタル撮像データが画像処理部２０に入力されることで画像データが生成され、該画像データはメモリ制御部２２を介して画像表示メモリ２４またはメモリ３０に書き込まれる。Ａ／Ｄ変換器１６からの撮像データがメモリ制御部２２を介して直接、画像表示メモリ２４またはメモリ３０に書き込まれてもよい。
【００２６】
画像表示部（表示手段）２８は、液晶モニタ等の表示デバイスを有する。画像表示メモリ２４に書き込まれた表示用画像データは、Ｄ／Ａ変換器２６を介して画像表示部２８により表示される。撮像により順次得られる画像データ（フレーム画像）を画像表示部２８に順次表示することで、電子ファインダ画像としてのライブビュー画像を表示することができる。
【００２７】
メモリ３０は、撮像により生成された静止画像や動画像を記憶する。また、メモリ３０は、システム制御部５０の作業領域としても使用される。圧縮伸長部３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する機能を有し、メモリ３０に記憶された画像データを読み込んで圧縮処理または伸長処理を行い、処理を終えた画像データをメモリ３０に書き込む。
【００２８】
シャッター制御部３６は、測光部４６からの測光情報に基づいて、撮像レンズ３００内の絞り３１２を駆動する絞り制御部３４４と連携しながらシャッター１２を制御する。カメラインターフェース部３８は、コネクタ１２２，３２２およびレンズインターフェース部３３８を介して、カメラ１００と撮像レンズ３００との間での制御信号、状態信号および各種データ等の通信を可能とする。また、カメラ１００から撮像レンズ３００への電源供給も可能とする。
【００２９】
測光部４６は、ＡＥ処理を行う。撮像レンズ３００を通過した光束をミラー１３０および不図示の測光用レンズを介して測光部４６に入射させることにより、被写体像の輝度を測定することができる。また、測光部４６は、フラッシュ４８と連携して調光処理を行う。さらに測光部４６は、被写体の分光情報を取得する。なお、測光部４６に代わり、システム制御部５０が、画像処理部２０により生成された画像データから輝度を演算した結果に基づいてＡＥ処理を行ったり被写体の分光情報を取得したりすることも可能である。
【００３０】
フラッシュ４８は、被写体に向けて光を発する発光手段として、静止画撮像時にフラッシュ（閃光）発光して被写体を明るく照明するとともに、焦点検出時に間欠発光して被写体に間欠的にＡＦ補助光を投光して被写体を照明する機能を有する。
【００３１】
システム制御部５０は、カメラ１００の動作全体を制御する。メモリ５２は、システム制御部５０の動作に用いられる定数、変数およびプログラム等を記憶する。表示部５４は、液晶表示パネルやＬＥＤ等の表示デバイスにより構成され、文字、画像および音声等を用いて動作状態やメッセージ等を表示する。具体的には、撮像済画像数や残撮像可能画像数等の撮像画像数に関する情報や、シャッタースピード、絞り値、露出補正およびフラッシュ発光の有無等の撮像条件に関する情報や、電池残量や日付・時刻等を表示する。前述したように表示部５４の一部は、光学ファインダ１０４内にも設けられている。
【００３２】
不揮発性メモリ５６は、ＥＥＰＲＯＭ等により構成され、電気的に記録および消去可能なメモリである。モードダイヤル６０、シャッタースイッチ６２，６４、画像表示オン／オフスイッチ６６、クイックレビューオン／オフスイッチ６８および操作部７０は、システム制御部５０に対して各種動作指示を入力するためにユーザにより操作される。操作部７０は、スイッチ、ダイアル、タッチパネル、視線検知によるポインティングデバイス、音声認識デバイス等を含む。
【００３３】
電源制御部８０は、電池検出部、ＤＣ／ＤＣコンバータおよび通電するブロックを切り替えるスイッチ部を含む。電源制御部８０は、電池検出部を通じて電池の装着の有無、電池の種類および電池残量を検出し、その検出結果およびシステム制御部５０からの指示に応じてＤＣ／ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部に供給する。コネクタ８２，８４は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、リチウムイオン電池等の二次電池、ＡＣアダプタ等からなる電源部８６をカメラ１００に接続する。
【００３４】
インターフェース９０は、メモリカードやハードディスク等の記録媒体１５０との接続機能を有し、コネクタ９２は、メモリカードやハードディスク等の記録媒体と物理的接続を行う。記録媒体着脱検知部９８は、コネクタ９２に記録媒体１５０が接続されていることを検知する。
【００３５】
次に、撮像レンズ３００の構成について説明する。撮像レンズ３００は、変倍（ズーム）レンズ３１０、上述したフォーカスレンズ３１１および絞り３１２等により構成される撮像光学系を有する。ズーム制御部３４０は、ズームレンズ３１０を光軸方向に移動させて変倍を行わせる。焦点調節手段としてのフォーカス制御部３４２は、フォーカスレンズ３１１を光軸方向に移動させて焦点調節を行わせる。絞り制御部３４４は、測光部４６およびシステム制御部５０からの測光情報に基づいて絞り３１２を駆動する。
【００３６】
レンズシステム制御部３４６は、撮像レンズ３００の動作全体を制御する。レンズシステム制御部３４６は、その動作に用いる定数、変数およびプログラム等を記憶するメモリ機能を備えている。
【００３７】
不揮発性メモリ３４８は、撮像レンズ３００に固有の製造番号等の識別情報や、開放絞り値、最小絞り値および焦点距離等の光学情報や、現在または過去の各種設定値等を記憶する。また、不揮発性メモリ３４８は、撮像レンズ３００の状態に応じた枠情報やデフォーカス関連情報も記憶されている。
【００３８】
枠情報は、撮像レンズ（撮像光学系）３００を通過する光束の径を決定する「枠」に関する情報であり、具体的には該「枠」の撮像素子１４からの距離と、該「枠」の光束通過開口の半径を示す情報である。「枠」の１つは絞り３１２であり、他にも撮像光学系を構成するレンズを保持するレンズ保持部材が「枠」に相当する。「枠」は、ズームレンズ３１０の位置（ズーム位置）やフォーカスレンズ３１１の位置（フォーカス位置）に応じて異なるため、ズーム位置ごとおよびフォーカス位置ごとに用意されている。焦点検出を行う際には、ズーム位置とフォーカス位置に応じた最適な枠情報が選択され、該枠情報がレンズ制御部３４６からシステム制御部５０に送られる。
【００３９】
次に、撮像素子１４の構造について図２（ａ），（ｂ）および図３を用いて説明する。図２（ａ）は、撮像素子１４の１つの画素２００の構造を示す。画素２００は、一対の光電変換部としての２つのフォトダイオード（ＰＤ）２０１ａ，２０１ｂと、転送スイッチ２０２ａ，２０２ｂと、フローティングディフュージョン領域２０３と、増幅部２０４と、リセットスイッチ２０５と、選択スイッチ２０６とを有する。各スイッチは、ＭＯＳトランジスタ等により構成される。フォトダイオード２０１ａが第１の光電変換部に相当し、フォトダイオード２０１ｂが第２の光電変換部に相当する。フォトダイオード２０１ａ，２０１ｂは、後述するように、焦点検出画素として機能するとともに、撮像画素としても機能する。
【００４０】
以下の説明では、例として、各スイッチがＮ型ＭＯＳトランジスタにより構成されているものとする。ただし、各スイッチはＰ型ＭＯＳトランジスタにより構成されていてもよく、さらに他のスイッチング素子により構成されていてもよい。また、画素２００に設けられるフォトダイオードの数は３つ以上（例えば、４つ）であってもよい。
【００４１】
フォトダイオード２０１ａ，２０１ｂはそれぞれ、図２（ｂ）に示すように、同一のマイクロレンズ２０１ｃを通過した光を受光して光電変換し、その受光量に応じた電荷を発生する。以下の説明において、フォトダイオード２０１ａで発生した電荷により得られる信号をＡ信号といい、フォトダイオード２０１ｂで発生した電荷により得られる信号をＢ信号という。
【００４２】
転送スイッチ２０２ａは、フォトダイオード２０１ａとフローティングディフュージョン領域２０３との間に接続され、転送スイッチ２０２ｂはフォトダイオード２０１ｂとフローティングディフュージョン領域２０３との間に接続される。転送スイッチ２０２ａ，２０２ｂはそれぞれ、フォトダイオード２０１ａ，２０１ｂで発生した電荷を共通のフローティングディフュージョン領域２０３に転送する。転送スイッチ２０２ａ，２０２ｂはそれぞれ、制御信号ＴＸ＿Ａ，ＴＸ＿Ｂによって制御される。
【００４３】
フローティングディフュージョン領域２０３は、フォトダイオード２０１ａ，２０１ｂから転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する。      
【００４４】
増幅部２０４は、ソースフォロワＭＯＳトランジスタである。増幅部２０４のゲートは、フローティングディフュージョン領域２０３に接続され、増幅部２０４のドレインは電源電位ＶＤＤを供給する共通電源２０８に接続される。増幅部２０４は、フローティングディフュージョン領域２０３に保持された電荷により得られる電圧信号を増幅して出力する。
【００４５】
リセットスイッチ２０５は、フローティングディフュージョン領域２０３と共通電源２０８との間に接続されている。リセットスイッチ２０５は、制御信号ＲＥＳによって制御され、フローティングディフュージョン領域２０３の電位を電源電位ＶＤＤにリセットする。
【００４６】
選択スイッチ２０６は、増幅部２０４のソースと垂直出力線２０７の間に接続されている。選択スイッチ２０６は、制御信号ＳＥＬによって制御され、増幅部２０４で増幅された電圧信号を垂直出力線２０７に出力する。
【００４７】
図３は、撮像素子１４の回路構成を示す。撮像素子１４は、画素アレイ２３４、垂直走査回路２０９、電流源負荷２１０、読み出し回路２３５、共通出力線２２８，２２９、水平走査回路２３２およびデータ出力部２３３を有する。
【００４８】
画素アレイ２３４は、行列状に配置された複数の画素２００を有する。図３には説明を簡略化するために、水平方向ｎ画素×垂直方向４画素を示している。また、各画素２００には、複数色のカラーフィルタのうちいずれか１つが設けられている。図３に示す例では、カラーフィルタの色は赤（Ｒ）、緑（Ｇ）および青（Ｂ）である。これらのカラーフィルタが設けられたｎ×ｍ画素はベイヤー配列に従って配置されている。
【００４９】
また、撮像素子１４は、画素アレイ２３４の一部が遮光層で遮光された領域（ＯＢ）を持つ。
【００５０】
垂直走査回路２０９は、画素行ごとに設けられた駆動信号線２０８を介して、各画素行の画素２００に制御信号を出力する。図３では駆動信号線２０８は画素行ごとに１本ずつ示されているが、実際には画素行ごとに複数の駆動信号線が接続されている。
【００５１】
同じ画素列の画素２００は、画素列ごとに設けられた垂直出力線２０７に共通接続される。各画素２００から出力される信号は、この垂直出力線２０７を介して読み出し部２３５に入力され、読み出し部２３５で処理される。電流源負荷２１０は、各画素列の垂直出力線２０７に接続される。
【００５２】
水平走査回路２３２は、制御信号ｈｓｒ（０）〜ｈｓｒ（ｎ−１）を出力することで、複数の読み出し部２３５の中から信号を出力させる読み出し部を順次選択する。選択された読み出し部２３５は、共通出力線２２８，２２９を介して出力アンプ２３３に処理した信号を出力する。
【００５３】
読み出し部２３５の具体的な構成を説明する。読み出し部２３５は、クランプ容量２１１、フィードバック容量２１４〜２１６、オペアンプ２１３、基準電圧源２１２およびスイッチ２１７〜２２０を有する。また、比較器２２１、Ｌａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３およびスイッチ２２６，２２７を有する。
【００５４】
垂直出力線２０７を介して読み出し部２３５に入力される信号は、クランプ容量２１１を介してオペアンプ２１３の反転入力端子に入力される。オペアンプ２１３の非反転入力端子には、基準電圧源２１２から基準電圧Ｖｒｅｆが供給される。フィードバック容量２１４〜２１６は、オペアンプ２１３の反転入力端子と出力端子の間に接続される。スイッチ２１７もオペアンプ２１３の反転入力端子と出力端子の間に接続され、フィードバック容量２１４〜２１６の両端をショートさせる。スイッチ２１７は、制御信号ＲＥＳ＿Ｃにより制御される。また、スイッチ２１８〜２２０は、制御信号ＧＡＩＮ０〜２で制御される。
【００５５】
比較器２２１にはオペアンプ２１３の出力端子と、ランプ信号発生器２３０から出力されるランプ信号２２４が接続されている。Ｌａｔｃｈ＿Ｎ２２２はノイズレベル（Ｎ信号）を保持するための記憶素子であり、Ｌａｔｃｈ＿ＳはＡ信号およびＡ信号とＢ信号が加算されたＡ＋Ｂ信号の信号レベル（Ｓ信号）を保持するための記憶素子である。比較器２２１の出力端子とカウンタ２３１から出力されるカウンタ値２２５がＬａｔｃｈ＿Ｎ２２２とＬａｔｃｈ＿Ｓ２２３に入力され、それぞれＬＡＴＥＮ＿Ｎ，ＬＡＴＥＮ＿Ｓで制御される。Ｌａｔｃｈ＿Ｎ，Ｌａｔｃｈ＿Ｓの出力端子はスイッチ２２２，２２３を介してそれぞれ共通出力線２２８，２２９に接続される。共通出力線２２８，２２９はデータ出力部２３３に接続される。
【００５６】
スイッチ２２６，２２７は、水平走査回路２３２からの制御信号ｈｓｒ（ｈ）により制御される。ここで、ｈは制御信号線が接続されている読み出し部２３５の列番号を示す。Ｌａｔｃｈ＿Ｎ２２２およびＬａｔｃｈ＿Ｓ２２３に保持された信号は、共通出力線２３８、２２９を介して出力され、データ出力部２３３から外部へ出力される。この動作を水平転送と呼ぶ。
【００５７】
なお、読み出し回路に入力される制御信号（ｈｓｒ（）を除く）や、垂直走査回路２０９、水平走査回路２３２、ランプ信号発生器２３０、カウンタ２３１の制御信号は、タイミング発生回路１８やシステム制御部５０から供給される。
【００５８】
図４に示すタイミングチャートを用いて、図３に示した撮像素子１４における１画素行に対する読み出し動作について説明する。なお、各制御信号がＨのときに各スイッチはオンになり、Ｌのときに各スイッチはオフになる。
【００５９】
時刻ｔ１において、垂直走査回路２０９は、制御信号ＲＥＳをＨにした状態で制御信号ＴＸ＿Ａ，ＴＸ＿ＢをＬからＨにして、転送スイッチ２０２ａ、２０２ｂをオンにする。これにより、フォトダイオード２０１ａ、２０１ｂに蓄積された電荷は、転送スイッチ２０２ａ，２０２ｂ、リセットスイッチ２０５を介して電源２０８に転送され、フォトダイオード２０１ａ，２０１ｂはリセットされる。また、ＦＤ２０３も同様にリセットされる。
【００６０】
時刻ｔ２において、垂直走査回路２０９が制御信号ＴＸ＿Ａ，ＴＸ＿ＢをＬとし、転送スイッチ２０２ａ，２０２ｂをオフすると、フォトダイオード２０１ａ，２０１ｂで光電荷の蓄積が開始される。
【００６１】
この後、所定の電荷蓄積時間が経過した時刻ｔ３において、垂直走査回路２０９は、制御信号ＳＥＬをＨとし、選択スイッチ２０６をオンにする。これにより、増幅部２０４のソースが垂直出力線２０７に接続される。
【００６２】
次に時刻ｔ４において、垂直走査回路２０９は、制御信号ＲＥＳをＬとし、リセットスイッチ２０５をオフする。これにより、ＦＤ２０３のリセットが解除され、ＦＤ２０３のリセット信号レベルが増幅部２０４を介して垂直出力線２０７に読み出され、読み出し回路２３５に入力される。
【００６３】
その後の時刻ｔ５において、タイミング発生回路１８は制御信号ＲＥＳ＿ＣをＬにする。これにより、スイッチ２１７がオンし、垂直出力線２０７に読み出されたリセット信号レベルと基準電圧Ｖｒｅｆとの差分に基づく電圧がオペアンプ２１３から出力される。撮像素子１４に対しては、システム制御部５０は、予め操作部７０にて設定されたＩＳＯ感度に基づいて制御信号ＧＡＩＮ０〜ＧＡＩＮ２のいずれか１つをＨに設定する。例えばカメラ１００がＩＳＯ感度１００，２００，４００のいずれかが設定可能である場合について説明する。ＩＳＯ感度１００のときは、ＧＡＩＮ０がＨに設定され、ＧＡＩＮ１およびＧＡＩＮ２がＬに設定される。ＩＳＯ感度２００ではＧＡＩＮ１がＨに設定され、ＩＳＯ感度４００ではＧＡＩＮ２がＨに設定される。なお、設定感度の種類や、設定感度と制御信号との関係はこれに限定されない。
【００６４】
オペアンプ２１３は、入力された電圧を、クランプ容量２１１と、制御信号ＧＡＩＮ０〜ＧＡＩＮ２のうちＨのものに対応するスイッチに対応するフィードバック容量２１４〜２１６の１つとの容量比で定まる反転ゲインで増幅して出力する。この増幅により、オペアンプ２１３までの回路で発生するランダムノイズ成分も増幅される。したがって、増幅後の信号に含まれるランダムノイズの大きさは、ＩＳＯ感度に依存する。
【００６５】
次に時刻ｔ６において、ランプ信号発生器２３０は、時間経過とともに信号レベルが線形に増加するランプ信号の出力を開始し、同時にカウンタ２３１はリセット状態からカウントアップを開始する。また、タイミング発生回路１８はＬＡＴＥＮ＿ＮをＨにして、Ｌａｔｃｈ＿Ｎを有効にする。
【００６６】
比較器２２１は、オペアンプ２１３の出力信号とランプ信号発生器２３０が出力するランプ信号とを比較する。ランプ信号レベルがオペアンプ２１３の出力信号レベルを上回ると、比較器２２１の出力がＬからＨに変化する（時刻ｔ７）。Ｌａｔｃｈ＿Ｎ２２２はＬＡＴＥＮ＿ＮがＨの状態において、比較器２２１の出力がＬからＨに変化すると、その時点でカウンタ２３１が出力しているカウンタ値を記憶する。Ｌａｔｃｈ＿Ｎ２２２が記憶するカウンタ値が、Ｎ信号レベルを表すデジタル値（Ｎ信号データ）に相当する。なお、ＬＡＴＥＮ＿ＳはＬであるため、Ｌａｔｃｈ＿Ｓ２２３は無効であり、カウント値は記憶しない。その後時刻ｔ８において、ランプ信号レベルが予め定められた値に達するとランプ信号発生器２３０がランプ信号の出力を停止し、またタイミング発生回路はＬＡＴＥＮ＿ＮをＬにする。
【００６７】
次に時刻ｔ９では、垂直走査回路２０９は制御信号ＴＸ＿ＡをＨにする。これにより、転送スイッチ２０２ａがオンし、時刻ｔ２からフォトダイオード２０１ａに蓄積された光電荷（Ａ信号）がＦＤ２０３へ転送される。
【００６８】
その後の時刻ｔ１０では、垂直走査回路２０９は制御信号ＴＸ＿ＡをＬにする。ＦＤ２０３は転送された電荷を電位に変換し、この電位（Ａ信号レベル）が増幅部２０４および垂直出力線２０７を介して読み出し回路２３５に出力される。オペアンプ２１３は、垂直出力線２０７に読み出されたＡ信号レベルと、基準電圧Ｖｒｅｆとの差分に基づく電圧を出力する。オペアンプ２１３の反転ゲインは、クランプ容量２１１と、フィードバック容量２１４〜２１６のいずれか１つとの比率によって定まる。
【００６９】
次に時刻ｔ１１において、ランプ信号発生器２３０はランプ信号の出力を開始し、同時にカウンタ２３１はリセット状態からカウントアップを開始する。また、タイミング発生回路１８はＬＡＴＥＮ＿ＳをＨにして、Ｌａｔｃｈ＿Ｓを有効にする。比較器２２１は、オペアンプ２１３の出力信号とランプ信号発生器２３０が出力するランプ信号とを比較する。ランプ信号レベルがオペアンプ２１３の出力信号レベルを上回ると、比較器２２１の出力がＬからＨに変化する（時刻ｔ１２）。
【００７０】
Ｌａｔｃｈ＿Ｓ２２３はＬＡＴＥＮ＿ＳがＨの状態において、比較器２２１の出力がＬからＨに変化すると、その時点でカウンタ２３１が出力しているカウンタ値を記憶する。Ｌａｔｃｈ＿Ｓ２２３が記憶するカウンタ値が、Ａ信号レベルを表すデジタル値（Ａ信号データ）に相当する。なお、ＬＡＴＥＮ＿ＮはＬであるため、Ｌａｔｃｈ＿Ｎ２２２は無効であり、カウント値は記憶しない。その後時刻ｔ１３において、ランプ信号レベルが予め定められた値に達するとランプ信号発生器２３０がランプ信号の出力を停止し、またタイミング発生回路はＬＡＴＥＮ＿ＳをＬにする。
【００７１】
その後の時刻ｔ１４〜ｔ１５の間、水平走査回路２３２は制御信号ｈｓｒ（ｈ）を順次一定期間ずつＨにする。これにより、各読み出し回路２３５のスイッチ２２６、２２７が一定期間オンし、オフに戻る。各読み出し回路２３５のＬａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３に保持されたＮ信号データとＡ信号データは共通出力線２２８、２２９へそれぞれ読み出され、データ出力部２３３に入力される。データ出力部２３３では各読み出し回路２３５から出力されたＡ信号データとＮ信号データについて、Ａ信号データからＮ信号データを減じた値を外部に出力する。
【００７２】
時刻ｔ１６からｔ１７の間、垂直走査回路２０９は制御信号ＴＸ＿ＡおよびＴＸ＿ＢをＨにし、転送スイッチ２０２ａ，２０２ｂをオンにする。これにより、両方のフォトダイオード２０１ａ、２０１ｂから光電荷がＦＤ２０３へ転送される。ＦＤ２０３は転送された電荷を電位に変換し、この電位（Ａ＋Ｂ信号レベル）が、増幅部２０４および垂直出力線２０７を介して読み出し回路２３５へ出力される。オペアンプ２１３は、垂直出力線２０７に読み出されたＡ＋Ｂ信号レベルと、基準電圧Ｖｒｅｆとの差分に基づく電圧を出力する。
【００７３】
次に時刻ｔ１８において、ランプ信号発生器２３０はランプ信号の出力を開始し、同時にカウンタ２３１はリセット状態からカウントアップを開始する。また、タイミング発生回路１８はＬＡＴＥＮ＿ＳをＨにして、Ｌａｔｃｈ＿Ｓを有効にする。比較器２２１は、オペアンプ２１３の出力信号とランプ信号発生器２３０が出力するランプ信号とを比較する。ランプ信号レベルがオペアンプ２１３の出力信号レベルを上回ると、比較器２２１の出力がＬからＨに変化する（時刻ｔ１９）。
【００７４】
Ｌａｔｃｈ＿Ｓ２２３はＬＡＴＥＮ＿ＳがＨの状態において、比較器２２１の出力がＬからＨに変化すると、その時点でカウンタ２３１が出力しているカウンタ値を記憶する。Ｌａｔｃｈ＿Ｓ２２３が記憶するカウンタ値が、Ａ＋Ｂ信号レベルを表すデジタル値（Ａ＋Ｂ信号データ）に相当する。
【００７５】
その後の時刻ｔ２０において、ランプ信号レベルが予め定められた値に達すると、ランプ信号発生器２３０はランプ信号の出力を停止し、またタイミング発生回路はＬＡＴＥＮ＿ＳをＬにする。
【００７６】
さらにその後の時刻ｔ２１〜ｔ２２の間、水平走査回路２３２は制御信号ｈｓｒ（ｈ）を順次一定期間ずつＨにする。これにより、各読み出し回路２３５のスイッチ２２６，２２７が一定期間オンし、オフに戻る。各読み出し回路２３５のＬａｔｃｈ＿Ｎ２２２，Ｌａｔｃｈ＿Ｓ２２３に保持されたＮ信号データとＡ＋Ｂ信号データは共通出力線２２８，２２９にそれぞれ読み出され、データ出力部２３３に入力される。データ出力部２３３は、各読み出し回路２３５から出力されたＡ＋Ｂ信号データとＮ信号データについて、Ａ＋Ｂ信号データからＮ信号データを減じた値を外部に出力する。
【００７７】
次の時刻ｔ２２ではタイミング発生回路１８は制御信号ＲＥＳ＿ＣをＨとし、さらに時刻ｔ２３では垂直走査回路２０９が制御信号ＲＥＳをＨとする。続いて時刻ｔ２４において垂直走査回路２０９が制御信号ＳＥＬをＬにすると、１画素行の読み出し動作が完了する。この動作を所定の画素行分繰り返すことにより、１画面分の一対の位相差像信号が取得される。
【００７８】
本実施例のカメラ１００は、静止画モードと動画モードを有する。システム制御部５０は、静止画モードが設定されている場合は、撮像素子１４から全画素行分の画素データを読み出すように制御する。また、システム制御部５０は、動画モードが設定されている場合は、撮像素子１４から、例えば３画素行周期（１画素行読み出して２画素行は読み出さない）で画素データを読み出すように制御する。このように、本実施例では、読み出す画素行数が静止画モードより動画モードの方が少ない。ただし、静止画モードと動画モードにおける読み出し方法はこれに限定されるものではない。
【００７９】
このようにして、リセットノイズが除去されたＡ信号とＡ＋Ｂ信号を撮像素子１４から読み出すことができる。Ａ信号は焦点検出用の一対の位相差像信号のうち一方であるＡ像信号（第１の位相差像信号）を生成するための信号として、Ａ＋Ｂ信号は撮影画像を生成するための信号として用いられる。Ａ＋Ｂ信号およびＡ信号はまた、上記焦点検出用の一対の位相差像信号のうち他方であるＢ像信号（第２の位相差像信号）を生成するための信号として用いられる。
【００８０】
なお、撮像素子１４は、全画素読み出しモードと間引き読み出しモードの２種類の読み出しモードを有する。全画素読み出しモードは全ての有効画素から信号を読み出すモードであり、例えば高精細静止画を得る際に設定される。一方、間引き読み出しモードは、全画素読み出しモードより少ない画素を読み出すモードであり、例えば動画やプレビュー用画像のように、高精細静止画よりも解像度の低い画素を得る場合や高速に読み出す必要がある場合に設定される。例えば画像の縦横比を変えないように水平および垂直方向の両方で同じ割合で画素を間引いて読み出すことができる。なお、「間引き」は読み出し自体を行わないことだけでなく、読み出しされた信号を棄て（無視し）たり、読み出した複数の信号から１つの信号を生成する場合も含む。例えば、隣接する複数の画素から読み出した信号を平均して１つの信号を生成することで、Ｓ／Ｎを改善することができる。
【００８１】
図５（ａ），（ｂ）は、撮像光学系３００の射出瞳面と、撮像素子１４における像高０付近、すなわち像面の中央近傍に配置された画素（以下、中央画素という）２００における一対のフォトダイオードである光電変換部２０１ａ，２０１ｂとの共役関係を示す。撮像光学系の射出瞳面と一対の光電変換部とは、マイクロレンズ２０１ｃによって共役関係となるように設定されている。撮像光学系の射出瞳は、一般的に絞り３１２が配置された面に位置する。一方、本実施例の撮像光学系は変倍機能を有し、変倍によって像面からの射出瞳からの距離（射出瞳距離）や大きさが変化する。図５（ａ）に示す撮像光学系３００は、焦点距離が広角端と望遠端との間の中間ズーム状態にある。これを標準的な射出瞳距離Ｚｅｐと仮定して、マイクロレンズ２０１ｃの形状や像高（Ｘ，Ｙ座標）に応じた偏心パラメータが最適化される。
【００８２】
図５（ａ）において、３０１は撮像光学系３００のうち最も被写体側に配置された第１レンズ群であり、３０１ｂは第１レンズ群３０１を保持する鏡筒部材である。３１１ｂはフォーカスレンズ３１１を保持する鏡筒部材である。３１２ａは絞り３１２の開放口径を決める開口を有する開口板であり、３１２ｂは絞り開口径を調節するための絞り羽根である。図では、撮像光学系３００を通過する光束を制限する部材としての鏡筒部材３０１ｂ、開口板３１２ａおよび絞り羽根３１２ｂを、像面側から観察した場合の光学的な虚像として示している。また、絞り３１２の近傍における合成開口を撮像光学系の射出瞳（以下、レンズ射出瞳という）と定義して、前述したように像面からのレンズ射出瞳までの距離をＺｅｐとする。
【００８３】
中央画素２００に含まれる一対の光電変換部２０１ａ，２０１ｂは、マイクロレンズ２０１ｃによってレンズ射出瞳面上に像ＥＰ１ａ，ＥＰ１ｂとして逆投影される。言い換えれば、レンズ射出瞳のうち互いに異なる瞳領域（以下、焦点検出瞳という）であるＥＰ１ａ，ＥＰ１ｂが、マイクロレンズ２０１ｃを介して光電変換部２０１ａ，２０１ｂの表面に投影される。瞳領域ＥＰ１が第１の瞳領域に相当し、瞳領域ＥＰ２が第２の瞳領域に相当する。
【００８４】
中央画素２００は、その最下層から順に、光電変換部２０１ａ，２０１ｂ、配線層２０１ｅ〜２０１ｇ、カラーフィルタ２０１ｈおよびマイクロレンズ２０１ｃにより構成されている。
【００８５】
図５（ｂ）は、撮像光学系の射出瞳面上における光電変換部２０１ａ，２０１ｂの逆投影像ＥＰ１ａ，ＥＰ１ｂを光軸方向から見て示す。撮像素子１４は、２つの光電変換部２０１ａ，２０１ｂのうち一方からの信号を出力することができるとともに、これらの両方からの信号を加算して出力できる画素を有する。加算して出力された信号は、焦点検出瞳ＥＰ１ａ，ＥＰ１ｂを通過した全ての光束を光電変換して得られた信号である。
【００８６】
図５（ａ）において、撮像光学系を通過する光束（図ではその外縁を直線で示している）Ｌは、絞り３１２の開口板３１２ａによって制限されており、焦点検出瞳ＥＰ１ａ，ＥＰ１ｂからの光束は撮像光学系においてケラレることなく画素２００に到達する。図５（ｂ）では、図５（ａ）に示した光束Ｌの射出瞳面での断面（外縁）をＴＬとして示している。
【００８７】
ＴＬで示される円（つまりは開口板３１２ａの開口）の内部に２つの光電変換部２０１ａ，２０１ｂの逆投影像ＥＰ１ａ，ＥＰ１ｂの大部分が含まれていることから、逆投影像ＥＰ１ａ，ＥＰ１ｂにはわずかなケラレしか発生していないことが分かる。このため、２つの光電変換部２０１ａ，２０１ｂで光電変換された信号を加算した場合は、射出瞳のほぼ全体を通過した光束を光電変換した結果が得られる。この際、射出瞳面の中央では逆投影像ＥＰ１ａ，ＥＰ１ｂのケラレ状態は、撮像光学系の光軸（図５（ａ）に一点鎖線で示す）に関して対称となり、光電変換部２０１ａ，２０１ｂが受光する光量は互いに等しい。
【００８８】
このように、撮像素子１４は被写体像を撮像する機能だけではなく、レンズ射出瞳における互いに異なる焦点検出瞳からの光束を個別に受光して撮像面位相差検出方式の焦点検出を行う機能も有する。なお、本実施例では、撮像素子１４の１つの画素が一対の光電変換部を有する場合について説明するが、互いに異なる一部が遮光された２つの焦点検出専用画素を一対の光電変換部として用いてもよい。
【００８９】
次に、図５（ａ），（ｂ）を用いて説明した構造を有する画素間で発生するクロストークについて説明する。隣接する画素間でのクロストークは、その要因によって２つに分類される。１つは、マイクロレンズ２０１ｃ、カラーフィルタ２０１ｈおよび配線層２０１ｅ〜２０１ｇの配置や、透過光の反射、散乱等に起因する迷光によって発生する光学的クロストークである。もう１つは、各画素の光電変換部で生じた電荷が、他の画素の光電変換部に移動することにより発生する電気的クロストークである。
【００９０】
光学的なクロストークでは、光の波長（色）に応じて透過率、反射率および屈折率が異なることにより、発生するクロストーク量、すなわち隣接画素への光の移動量も色ごとに異なる。また、光の入射角によっても、発生するクロストーク量が異なる。さらに、画素２００の配線層２０１ｅ〜２０１ｇの異方性に起因して、クロストークが発生する方向にも異方性が生じる。
【００９１】
一方、電気的クロストークでは、色によって光が光電変換部に入り込む深さ（該光が光電変換される位置の深さ）が異なるため、発生するクロストーク量、すなわち隣接画素への電荷の移動量も色ごとに異なる。また、電気的なクロストークは、色に加えて、配線層２０１ｅ〜２０１ｇの異方性や画素間の信号電荷に対する障壁の高さによって、クロストークが発生する方向に異方性が生じる。画素間の信号電荷に対する障壁の高さについては、特開２０１４−１８７０６７号公報に説明されている。
【００９２】
本実施例では、画素間のクロストークが異方性を有し、水平方向の方が垂直方向に対してクロストーク量が多い場合について説明する。すなわち、画素間の信号電荷に対する障壁の高さや配線層が、水平方向に対して垂直方向の方がクロストークが生じにくい異方性を有する場合について説明する。また、本実施例では、クロストーク量に波長依存性、入射角依存性および異方性がある場合に、焦点検出誤差が生じることを後述する。本実施例では、このような焦点検出誤差を低減して高精度な焦点検出を実現する。
【００９３】
次に図６を用いて、光電変換部２０１ａ，２０１ｂの波長（色）ごとの入射角受光感度特性について説明する。図６は、それぞれ中央画素２００としてカラーフィルタが赤の画素（以下、Ｒ画素という）と緑の画素（以下、Ｇ画素という）のそれぞれの光電変換部２０１ａ，２０１ｂへの光の入射角に応じた該光電変換部２０１ａ，２０１ｂからの信号の強度分布を示す。横軸は入射角であり、右側が正である。縦軸は受光感度に相当する信号強度であり、光電変換部２０１ａ，２０１ｂの信号強度の交点を基準として規格化している。
【００９４】
入射角が負のときに最大信号強度となるのが光電変換部２０１ａの信号強度分布であり、入射角が正のときに最大信号強度となるのが光電変換部２０１ｂの信号強度分布である。波長による屈折率の違いにより、Ｒ画素とＧ画素の信号強度分布の形状が互いに異なる。なお、カラーフィルタが青の画素（以下、Ｂ画素という）についての詳しい説明は省略するが、Ｂ画素の信号強度分布も、Ｒ画素やＧ画素の信号強度分布とは異なる形状となる。
【００９５】
図６から分かるように、入射角の変化に対する信号強度の変化率がＲ画素とＧ画素とで異なる。このため、信号強度の交点よりも正の入射角の領域と負の入射角の領域とで、Ｒ画素とＧ画素の光電変換部２０１ａの信号強度の関係と光電変換部２０１ｂの信号強度の関係がそれぞれ異なる。具体的には、交点より負の入射角の領域では、光電変換部２０１ａの信号強度はＲ画素の方がＧ画素より小さく、光電変換部２０１ｂの信号強度はＲ画素の方がＧ画素より大きい。この結果、焦点検出に用いる対の位相差像信号において、Ｒ画素の光電変換部２０１ａ，２０１ｂの信号強度比（以下、単にＲの信号強度比という）とＧ画素の光電変換部２０１ａ，２０１ｂの信号強度比（同じく以下、Ｇの信号強度比という）が互いに異なる。さらに、Ｂ画素の光電変換部２０１ａ，２０１ｂの信号強度比（以下、単にＢの信号強度比という）も、ＲおよびＧのそれぞれの信号強度比と異なる。
【００９６】
図７（ａ）〜（ｃ）を用いて、上述した色ごとの信号強度比が異なる場合について説明する。図７は、撮像レンズ３００の射出瞳４００と、撮像素子１４における周辺像高の光電変換部２０１ａ，２０１ｂのそれぞれに対応する第１および第２の瞳領域５０１，５０２との関係を示す。図７（ａ）〜（ｃ）では、射出瞳４００の水平方向をＸ軸とし、射出瞳４００の垂直方向をＹ軸としている。
【００９７】
図７（ａ）は、それぞれ光電変換部２０１ａ，２０１ｂへの光束の入射角に関する情報である撮像光学系の射出瞳距離Ｄｌと撮像素子１４の入射瞳距離である設定瞳距離Ｄｓとが同じである場合を示している。この場合は、撮像光学系の射出瞳４００は、第１の瞳領域５０１と第２の瞳領域５０２とによって概ね均等に分割される。入射角受光感度分布においては、各像高への光束の入射角θは、光電変換部２０１ａ，２０１ｂを有する画素のうち最も感度が高い画素に対する入射角θｃにほぼ等しくなる（θ＝θｃ）。言い換えれば、図６に示した入射角受光感度特性において、どの像高においても入射角θｃを原点とした場合に縦軸に対して対称な領域の光束を受光することになり、焦点検出に用いる対の位相差像信号におけるＲＧＢの信号強度比は互いにほぼ等しくなる。
【００９８】
図７（ｂ）は、撮結像光学系の射出瞳距離Ｄｌが撮像素子１４の設定瞳距離Ｄｓより短い場合を示している。また、図７（ｃ）は、撮像光学系の射出瞳距離Ｄｌが撮像素子１４の設定瞳距離Ｄｓより長い場合を示している。これらの場合はいずれも、撮像素子１４における周辺像高で撮像光学系の射出瞳４００と撮像素子１４の入射瞳とのずれ（瞳ずれ）が生じ、撮像光学系の射出瞳４００が不均一に分割される。入射角受光感度分布においては、図７（ｂ），（ｃ）における光束の入射角θは、像高が高くなるほど光電変換部２０１ａ，２０１ｂを有する画素のうち最も感度の高い画素に対する入射角θｃからずれることになる。したがって、射出瞳距離Ｄｌと設定瞳距離Ｄｓとのずれが大きく、像高が高くなるほど、図６に示した入射角受光感度分布において原点から離れた入射角の光束を光電変換部２０１ａ、２０１ｂが受光することになる。これにより、焦点検出に用いる対の位相差像信号におけるＲＧＢの信号強度比の差は大きくなる。
【００９９】
一方、撮像素子１４の中央像高では、撮像光学系の射出瞳距離Ｄｌと撮像素子１４の設定瞳距離Ｄｓとの関係によらず、瞳ずれは発生しない。このため、射出瞳４００は均一に分割され、焦点検出に用いる対の位相差像信号におけるＲＧＢの信号強度比の差は発生しない。本実施例では、上述した通り、撮像光学系の焦点距離が広角端や望遠端である場合に、図７（ｂ），（ｃ）に示す状態が起こり得る。また、撮像レンズ３００を交換した場合も同様である。
【０１００】
図８は、撮像素子１４の撮像面６００内に設定された焦点検出領域６０１，６０２を示している。これらの焦点検出領域６０１，６０２のそれぞれに含まれる複数の画素からの出力を用いて撮像面位相差ＡＦやコントラストＡＦが行われる。
【０１０１】
焦点検出領域６０１は、その中心が撮像光学系の光軸と撮像素子１４の撮像面６００との交点に一致する中央像高に設定された焦点検出領域である。焦点検出領域６０２は、その中心が撮像光学系の光軸と撮像面６００との交点から離れている周辺像高に設定された焦点検出領域である。
【０１０２】
焦点検出領域６０１，６０２には、図２（ａ）に示した構成を有する画素が、例えば図９に示すように４行２Ｎ列配置されている。なお、各焦点検出領域に含まれる画素の行数と列数は任意である。以下の説明において、ｉ行目かつｊ列目の画素における光電変換部２０１ａの出力（Ａ信号）をＡ（ｉ，ｊ）と表し、光電変換部２０１ｂの出力（Ｂ信号）をＢ（ｉ，ｊ）と表す。また、青の画素と光電変換部２０１ｂからのＢ信号とを区別するために、青の画素をＢＬ画素と記す。
【０１０３】
図９では、４行のうち１行目と３行目にはＲ画素とＧ（Ｇｒ）画素が交互に配置され、２行目と４行目にはＧ（Ｇｂ）画素とＢＬ画素が交互に配置されている。Ｒ画素の左右隣に配置されたＧ画素をＧｒ画素とし、ＢＬ画素の左右隣に配置されたＧ画素をＧｂ画素として、両画素を区別する。
【０１０４】
図１０（ａ）は、焦点検出領域６０１内にそれぞれ複数配置されたＲ，ＧｒおよびＢＬ画素から得られる一対の位相差像信号であるＡ像信号とＢ像信号の強度分布（線像強度分布）を示す。横軸は画素位置を、縦軸は受光量に対応する信号強度を示す。図１０（ａ）では、Ａ像信号とＢ像信号の相対的な位置関係が分かるようにＡ像信号のグラフ（上）とＢ像信号のグラフ（下）を上下に隣接させている。
【０１０５】
２つのグラフでは、Ｒ画素からの信号（以下、Ｒ信号という）を長破線で、Ｇｒ画素からの信号（以下、Ｇｒ信号という）を短破線で、Ｇｂ画素からの信号（以下、Ｇｂ信号という）を実線で、ＢＬ画素からの信号（以下、ＢＬ信号という）を一点鎖線で示す。ただし、Ｇｒ信号とＧｂ信号はほぼ等しい信号値を有するため、重なり合っている。一方、Ｒ信号とＢＬ信号のピークの高さが、Ｇｒ，Ｇｂ信号に対してずれているのは、被写体の分光特性を主に示すためである。
【０１０６】
図１０（ａ）では、合焦近傍状態を示すため、Ａ像信号とＢ像信号間で像ずれは発生しておらず、重心位置は揃っている。図８で説明したように、焦点検出領域６０１は中央像高に位置するため、撮像レンズ３００によるケラレの程度もほぼ等しく、Ａ像信号とＢ像信号の差は小さい。
【０１０７】
図１０（ｂ）は、点検出領域６０２内にそれぞれ複数配置されたＲ，ＧｒおよびＢＬ画素から得られる一対の位相差像信号であるＡ像信号とＢ像信号の強度分布（線像強度分布）を示す。図１０（ｂ）でも、横軸は画素位置を、縦軸は受光量に対応する信号強度を示す。また、Ａ像信号とＢ像信号の相対的な位置関係が分かるようにＡ像信号のグラフ（上）とＢ像信号のグラフ（下）を上下に隣接させている。
【０１０８】
２つのグラフでは、Ｒ信号を長破線で、Ｇｒ信号を短破線で、Ｇｂ信号を実線で、ＢＬ信号を一点鎖線で示す。ただし、Ａ像信号のグラフでは、図１０（ａ）と同様に、Ｇｒ信号とＧｂ信号はほぼ等しい信号値を有するため、重なり合っている。また、２つのグラフにおいて、図１０（ａ）と同様にＲ信号とＢＬ信号のピークの高さがＧｒ，Ｇｂ信号に対してずれているのは、被写体の分光特性を主に示すためである。さらに２つのグラフにおいて、Ｒ信号とＢＬ信号の重心の画素位置がずれている。これは、撮像レンズ３００の有する倍率色収差によって、色ごとに異なる位置に線像が結像していることを示している。
【０１０９】
一方、Ｂ像信号のグラフでは、Ｇｒ，Ｇｂ信号は、それらのピークの高さと重心の画素位置がともに互いに異なる。同じ分光特性を有するＧ信号であるにも関わらず、Ｇｒ信号とＧｂ信号とで信号値が異なる原因については後述する。
【０１１０】
また、図１０（ｂ）において、どの色の信号においても、Ａ像信号に対してＢ像信号の信号値が小さくなっている。これは、撮像レンズ３００を通過した光束のうち光電変換部２０１ａ上に被写体像であるＡ像を形成する光束と光電変換部２０１ｂ上に被写体像であるＢ像を形成する光束とに非対称なケラレが発生しているためである。図７（ｂ）で説明したように、撮像光学系からの光束の入射角に対応するＡ像信号とＢ像信号の入射角受光感度分布の違いから、Ａ像信号に対してＢ像信号の信号値が小さくなっている。
【０１１１】
さらに、図１０（ｂ）において、Ａ像信号とＢ像信号の色（ＲＧＢ）ごとの信号強度比が異なる。Ａ像信号のピークがＧ、Ｒ、Ｂの順に小さくなるに対して、Ｂ像信号のピークはＲ、Ｇ、Ｂの順に小さくなっている。このことは、周辺像高の画素への入射光束の色ごとの感度分布がＡ像信号とＢ像信号とで異なることを示している。このＡ像信号とＢ像信号の色ごとの信号強度比の差についても、図７（ｂ）で説明したように、撮像光学系からの光束の入射角に対応するＡ像信号とＢ像信号の入射角受光感度分布のＲＧＢ間での違いから生じている。
【０１１２】
次に、図１０（ｂ）に示すＢ像信号としてのＧｒ信号およびＧｂ信号の信号値（形状）に差がある理由について、図１１（ａ），（ｂ）を用いて説明する。Ｂ像信号としてのＧｒ信号とＧｂ信号は、Ａ像信号とＢ像信号の信号強度比、撮影光学系の倍率色収差および画素（光電変換部）間のクロストークの異方性等の影響によって信号値に差が生じる。
【０１１３】
図１１（ａ）はＧｒ画素に対するクロストークの経路を示し、図１１（ｂ）はＧｂ画素に対するクロストークの経路を示す。画素間のクロストークは、本来は双方向で考える必要があるが、ここではＧｒ信号とＧｂ信号との差について説明するため、Ｇｒ画素とＧｂ画素が受けるクロストーク量について説明する。また、同じ画素内でのＡ像信号とＢ像信号間のクロストークは、像ずれ量を打ち消すように作用して焦点検出誤差を生じさせる。ただし、Ｇｒ画素とＧｂ画素におけるＡ像とＢ像間の光量比は互いにほぼ等しく、このためクロストーク量の比も等しくなり、Ｂ像信号としてのＧｒ信号とＧｂ信号の差を生じさせる要因にはならないため、説明を省略する。
【０１１４】
まず、図１１（ａ）および図１１（ｂ）を用いて、Ｇｒ画素のうちＡ像用の光電変換部Ａ−ＧｒとＧｂ画素のうちＡ像用の光電変換部Ａ−Ｇｂとの間の信号差について説明する。光電変換部Ａ−Ｇｒは、図１１（ａ）に示すように、その左側のＲ画素のうちＢ像用の光電変換部Ｂ−ＲからクロストークＣＴ＿ｈ１を受ける。ただし、光電変換部Ｂ−Ｒの受光量は、図１０（ｂ）に示したように光電変換部Ａ−Ｇｒに対して少ないため、クロストークによる光電変換部Ａ−Ｇｒの信号変化は小さい。
【０１１５】
さらに、光電変換部Ａ−Ｇｒは、その上下のＢＬ画素のうちＡ像用の光電変換部Ａ−ＢＬからのクロストークＣＴ＿ｖ１を受ける。ただし、光電変換部Ａ−ＢＬの受光量は、図１０（ｂ）に示したように光電変換部Ａ−Ｇｒに対して少ないため、クロストークによる光電変換部Ａ−Ｇｒの信号変化は小さい。つまり、光電変換部Ａ−Ｇｒからの信号はクロストークの影響をあまり受けない。
【０１１６】
光電変換部Ａ−Ｇｂは、図１１（ｂ）に示すように、その左側のＢＬ画素のうちＢ像用の光電変換部Ｂ−ＢＬからクロストークＣＴ＿ｈ３を受ける。ただし、光電変換部Ｂ−ＢＬの受光量は、図１０（ｂ）に示したように光電変換部Ａ−Ｇｂに対して少ないため、クロストークによる光電変換部Ａ−Ｇｂの信号変化は小さい。
【０１１７】
さらに、光電変換部Ａ−Ｇｂは、その上下のＲ画素のうちＡ像用の光電変換部Ａ−ＲからのクロストークＣＴ＿ｖ３を受ける。光電変換部Ａ−Ｒの受光量は、図１０（ｂ）に示したように光電変換部Ａ−Ｇｂに対して大きい。ただし、本実施例における撮像素子１４では、水平方向と垂直方向とでクロストーク量に差があり、垂直方向の方が水平方向よりもクロストーク量が少ない。このため、光電変換部Ａ−Ｇｂからの信号は、図１０（ｂ）の状況ではクロストークの影響をあまり受けない。この結果、光電変換部Ａ−Ｇｒからの信号と光電変換部Ａ−Ｇｂからの信号との間に大きな差は生じない。
【０１１８】
次に、同じく図１１（ａ）および図１１（ｂ）を用いて、Ｇｒ画素のうちＢ像用の光電変換部Ｂ−ＧｒとＧｂ画素のうちＢ像用の光電変換部Ｂ−Ｇｂとの間の信号差について説明する。ここで、第２の光電変換部としてのＢ−Ｇｒ画素は第１の分光特性の光を受光し、Ｒ画素における第１の光電変換部としての光電変換部Ａ−Ｒは第２の分光特性の光を受光する。
【０１１９】
光電変換部Ｂ−Ｇｒは、図１１（ａ）に示すように、その右側のＲ画素のうちＡ像用の光電変換部Ａ−ＲからクロストークＣＴ＿ｈ２を受ける。光電変換部Ａ−Ｒの受光量は、図１０（ｂ）に示したように光電変換部Ｂ−Ｇｒに対して多いため、クロストークによる光電変換部Ｂ−Ｇｒの信号変化は大きい。このため、図１０（ｂ）に示す光電変換部Ａ−Ｒからの信号の重心の画素位置において、クロストークによる光電変換部Ｂ−Ｇｒの信号変化が生じる。
【０１２０】
さらに、光電変換部Ｂ−Ｇｒは、その上下のＢＬ画素のうちＢ像用の光電変換部Ｂ−ＢＬからのクロストークＣＴ＿ｖ２を受ける。ただし、光電変換部Ｂ−ＢＬの受光量は、図１０（ｂ）に示したように光電変換部Ｂ−Ｇｒに対して少ないため、クロストークによる光電変換部Ｂ−Ｇｒの信号変化は小さい。このため、光電変換部Ｂ−Ｇｒからの信号は主として光電変換部Ａ−Ｒからのクロストークの影響を受けて、その重心位置が変化する。
【０１２１】
光電変換部Ｂ−Ｇｂは、図１１（ｂ）に示すように、その右側のＢＬ画素のうちＡ像用の光電変換部Ａ−ＢＬからクロストークＣＴ＿ｈ４を受ける。ただし、光電変換部Ａ−ＢＬの受光量は、図１０（ｂ）に示したように光電変換部Ｂ−Ｇｂに対して少ないため、クロストークによる光電変換部Ｂ−Ｇｂの信号変化は小さい。
【０１２２】
さらに、光電変換部Ｂ−Ｇｂは、その上下のＲ画素のうちＢ像用の光電変換部Ｂ−ＲからのクロストークＣＴ＿ｖ４を受ける。光電変換部Ｂ−Ｒの受光量は、図１０（ｂ）に示したように光電変換部Ｂ−Ｇｂに対して大きい。ただし、上述したように本実施例における撮像素子１４では垂直方向の方が水平方向よりもクロストーク量が少ない。このため、光電変換部Ｂ−Ｇｂからの信号は、図１０（ｂ）の状況ではクロストークの影響をあまり受けない。したがって、主として光電変換部Ａ−Ｒからのクロストークの影響により、図１０（ｂ）に示すように光電変換部Ｂ−Ｇｒからの信号が光電変換部Ｂ−Ｇｂからの信号よりも大きくなる。さらに、光電変換部Ｂ−Ｇｒからの信号の重心位置が光電変換部Ｂ−Ｇｂからの信号に対して左側にずれる。
【０１２３】
すなわち、撮像光学系がデフォーカス状態でない合焦状態であるにもかかわらず、Ｇｒ画素からの信号（線像強度分布）の重心位置がＧｂ画素からの信号の重心位置に対して誤差を持つことになる。焦点検出は、Ａ像信号とＢ像信号間の像ずれ量として重心間隔を算出することに相当するため、Ｇｒ画素からの信号の重心位置の誤差（信号誤差）は焦点検出誤差となる。
【０１２４】
本実施例では、Ａ像信号とＢ像信号を生成するための信号加算を行う際に、色ごとの重み付けを行うことにより焦点検出誤差の要因となる信号誤差を排除して、高精度な焦点検出を実現する。信号加算を含む焦点検出方法については後述する。
【０１２５】
上記説明から分かるように、本来は同じ値（形状）の信号が得られるはずのＧｒ画素とＧｂ画素から互いに異なる値の信号が得られる要因としては以下のものがある。
・被写体の分光情報（ＲＧＢの信号比率）
・対の光電変換部の入射角感度分布の入射角依存性および分光依存性
・撮像光学系と焦点検出領域の像高
・撮像光学系の倍率色収差
・隣接画素間のクロストーク量（隣接方向ごと）
これらの要因の組み合わせによってＧｒ画素とＧｂ画素から互いに異なる値の信号が得られるため、各要因の寄与度を求めたり、得られた焦点検出結果に対する検出誤差の影響度合いを要因ごとに求めたりすることは困難である。本実施例では、Ｒ画素とＧｒ画素の信号比率に応じて取得される像ずれ補正量を用いて、焦点検出結果（位相差としての像ずれ量）を補正する。これにより、クロストークによる焦点検出誤差を低減して精度良い焦点検出結果を得ることができる。像ずれ補正量を取得する処理については後述する。本実施例では、第１の分光特性を有するＧ光により形成されるＡ像とＢ像を受光するＧｒ画素からの信号と第２の分光特性を有するＲ光により形成されるＡ像とＢ像を受光するＲ画素からの信号を用いて像ずれ補正量を取得する。言い換えれば、補正後の像ずれ量を取得する。
【０１２６】
次に、図１２のフローチャートを用いて、システム制御部５０およびＡＦ部４２が行う焦点調節処理（焦点検出方法）について説明する。コンピュータとしてのシステム制御部５０（およびＡＦ部４２）は、本処理を、コンピュータプログラムとしての焦点調節プログラムに従って、メインミラー１３０とサブミラー１３１が光路外に退避した状態でのライブビュー画像撮像時や記録用動画撮像時に行う。なお、ここではシステム制御部５０は撮像面位相差ＡＦを行うが、コントラストＡＦを行ってもよい。以下の説明において、Ｓはステップを意味する。
【０１２７】
Ｓ１では、システム制御部５０は、ＳＷ１６２や操作部７０等の操作を通じてＡＦ開始指示が入力されたか否かを判別する。システム制御部５０は、ＡＦ開始指示が入力された場合はＳ２に進み、そうでなければ待機する。なお、システム制御部５０は、ＡＦ開始指示の入力に限らず、ライブビュー画像の表示や動画記録の開始指示をトリガとしてＳ２に進んでもよい。
【０１２８】
Ｓ２では、システム制御部５０は、撮像レンズ３００の枠情報やフォーカス位置等の各種レンズ情報を、レンズシステム制御部３４６から取得する。
【０１２９】
次にＳ３では、システム制御部５０は、画像処理部２０に対して、撮像素子１４からの信号を用いて逐次生成しているフレーム画像データにおける焦点検出領域内の画素データから、一対の位相差像信号であるＡ像信号とＢ像信号を生成するように指示する。画像処理部２０は、Ａ像およびＢ像信号を生成してＡＦ部４２に供給する。ＡＦ部４２は、Ａ像およびＢ像信号に対して信号レベル差を補正する処理等を行う。また、ＡＦ部４２は、Ａ像およびＢ像信号のピーク値（最大値）やボトム値（最小値）を検出する。画像処理部２０は、Ａ像およびＢ像信号に対して、カラーフィルタ（Ｒ，Ｇｒ，ＧｂおよびＢ）ごとの処理を行って、カラーフィルタごとのＡ像およびＢ像信号を生成する。後段のＳ４において、カラーフィルタごとのＡ像およびＢ像信号を用いて、像ずれ補正量を算出するか否かを判定する。
【０１３０】
次にＳ４では、ＡＦ部４２は、上述した種々の要因により生じたクロストークが焦点検出に与える影響を補正するための像ずれ補正量を取得する。ここでの像ずれ補正量の取得処理の詳細については後述する。
【０１３１】
次にＳ５では、ＡＦ部４２は、焦点検出領域内の複数の画素行から、像ずれ量の演算対象となる画素行を選択し、その画素行から得られたＡ像信号とＢ像信号の相関量ＣＯＲ（ｋ）を算出する。そしてＡＦ部４２は、相関量ＣＯＲ（ｋ）を最小とするシフト量ｋを像ずれ量（位相差）として検出する。さらにＡＦ部４２は、Ｓ４で取得した像ずれ補正量Δｋを用いて補正後像ずれ量ｋ’を以下の式（１）により算出する。
【０１３２】
ｋ’＝ｋ＋Δｋ      （１）
ＡＦ部４２は、算出した補正後像ずれ量ｋ’をデフォーカス量に変換する。この変換処理の詳細については後述する。ＡＦ部４２は、デフォーカス量をシステム制御部５０に出力する。
【０１３３】
なお、本実施例では、像ずれ量を像ずれ補正量を用いて補正した後にデフォーカス量に変換したが、像ずれ量と像ずれ補正量をそれぞれデフォーカス量とデフォーカス補正量に変換した後に、デフォーカス補正量を用いて補正してもよい。
【０１３４】
さらに、上述した像ずれ補正量を用いて補正した像ずれ量から変換したデフォーカス量に対して、撮像画像として最も良好なピント状態と焦点検出結果が示す焦点状態との差を補正するためのＢＰ補正値を用いた補正を行ってもよい。ＢＰ補正値の詳細は、特開２０１６−０５７５１６号公報に開示されている。
【０１３５】
次にＳ６では、システム制御部５０は、Ｓ５でＡＦ部４２から得られたデフォーカス量に応じて、フォーカスレンズ３１１の駆動量（駆動方向を含む）であるフォーカス駆動量を算出する。
【０１３６】
次にＳ７では、システム制御部５０は、算出したフォーカス駆動量を含むフォーカス指令をレンズシステム制御部３４６に送信する。レンズシステム制御部３４６は、受信したフォーカス駆動量をフォーカス制御部３４２に送る。この際、システム制御部５０は、フォーカス駆動量をフォーカス制御部３４２に直接送信してもよい。フォーカス制御部３４２はフォーカス駆動量に基づいてフォーカスレンズ３１１を駆動する。これにより、撮像レンズ３００の焦点調節が行われる。
【０１３７】
システム制御部５０は、以上の焦点調節処理を次のフレーム以降でも継続的に行い、被写体が移動してもピントを合わせ続ける。
【０１３８】
次に、ＡＦ部４２が図１２のＳ４で行う像ずれ補正量の取得処理について、図１３のフローチャートを用いて説明する。
【０１３９】
Ｓ４０１では、ＡＦ部４２は、光電変換部Ａ−Ｒが受光する光束の分光情報と光電変換部Ｂ−Ｇｒが受光する光束の分光情報を用いて以下の式（２）で得られる信号比率（色比）を算出し、算出した信号比率が第１の閾値範囲内（所定範囲内）か否かを判定する。ここで、信号比率を計算する光束の分光情報は、Ｓ３で取得したカラーフィルタごとのＡ像およびＢ像信号から取得する。
【０１４０】
上述したように、クロストークの影響によって、デフォーカス状態ではない合焦状態であるにもかかわらず、上記信号比率が変化して光電変換部Ｂ−Ｇｒからの信号（線像強度分布）の重心位置が光電変換部Ａ−Ｒからの信号の重心位置に対してずれる。このため、本実施例では、信号比率の変化に応じた像ずれ補正量を取得する。
【０１４１】
図１１（ａ）に示した光電変換部Ａ−Ｒから光電変換部Ｂ−Ｇｒが受けたクロストークの影響によって、これらクロストークを授受するＲ画素とＧｒ画素の信号比率が変化する。このとき、クロストークを授受するＲ画素とＧｒ画素の合計信号に対するＲ画素の信号比率ＳＲｒは、以下の式（２）のように表すことができる。
ＳＲｒ＝Ｒ／(Ｒ＋Ｇｒ)      （２）
ＡＦ部４２は、Ｓ４０１において、式（２）の信号比率ＳＲｒが不揮発性メモリ５６に記録されている第１の閾値範囲内か否かを判定する。ＡＦ部４２は、信号比率ＳＲｒが第１の閾値範囲内である場合は、クロストークの影響が大きいために像ずれ補正量を取得する。この場合、ＡＦ部４２は、絞り値の判定を行うためにＳ４０２に移行する。また、信号比率ＳＲｒが第１の閾値範囲内ではない場合には信号比率に偏りが生じておりクロストークの影響が小さいため、ＡＦ部４２は像ずれ補正量を取得しない。ＡＦ部４２は、像ずれ補正量Δｋ＝０として、像ずれ補正量取得処理を終了する（Ｓ５に進む）。本実施例では、信号比率ＳＲｒを取得するために測光部４６の出力である被写体の分光情報から焦点検出領域におけるＲ，Ｇｒ画素の信号比率を画像処理部２０で予め計算する。
【０１４２】
Ｓ４０２では、ＡＦ部４２は、絞り値が第２の閾値（所定絞り値）以上であるか否かを判定する。絞り値が第２の閾値以上である場合は、クロストーク量が多く、かつ像ずれ量ｋからデフォーカス量に変換した際の焦点検出誤差が大きいため、ＡＦ部４２は、像ずれ補正量Δｋの取得に必要な混色画素情報を取得するためにＳ４０３に進む。一方、絞り値が第２閾値未満である場合は、クロストーク量は多いが、像ずれ量ｋからデフォーカス量に変換した際の焦点検出誤差は小さいため、ＡＦ部４２は像ずれ補正量を取得しない。このため、ＡＦ部４２は、像ずれ補正量Δｋ＝０として、像ずれ補正量の取得処理を終了する（Ｓ５に進む）。
【０１４３】
Ｓ４０３では、ＡＦ部４２は、光電変換部間の混色（つまりは色間のクロストーク）に関する情報としての混色画素情報を取得する。混色画素情報は、焦点検出を行う像高と、その像高において互いに隣接する２つの画素（光電変換部）であってクロストークによる光量変化が大きい隣接画素対とを示す情報である。上述したようにＧｒ画素の光電変換部Ｂ−Ｇｒは図１０（ｂ）に示すように主としてＲ画素の光電変換部Ａ−Ｒからのクロストークの影響を受ける。このため、隣接画素対としての光電変換部Ａ−Ｒと光電変換部Ｂ−Ｇｒを、焦点検出を行う像高における混色画素情報とする。このように隣接画素対における光量変化から混色画素情報（Ａ−Ｒ，Ｂ−Ｇｒ）を決定してもよいが、撮像光学系の倍率色収差の情報から混色画素情報を決定してもよい。
【０１４４】
次にＳ４０４では、ＡＦ部４２は、上記混色画素情報と撮像素子情報と撮像光学系情報とに応じて、不揮発性メモリ５６に記憶されている補正量に関するデータとしての像ずれ補正量テーブルを取得する。撮像素子情報は上述した設定瞳距離Ｄｓである。撮像光学系情報は、上述した射出瞳距離Ｄｌと撮像光学系の倍率色収差を示す情報である。混色画素情報、撮像素子情報および撮像光学系情報に応じた像ずれ補正量テーブルを取得する理由については後述する。補正量に関するデータとしては、像ずれ補正量テーブルに限らず、像ずれ補正量を演算するための演算式のデータであってもよい。
【０１４５】
そして、ＡＦ部４２は、像ずれ補正量テーブルから式（２）で表される信号比率ＳＲｒに応じた、焦点検出を行う像高における像ずれ補正量を取得する。ここで、図１４を用いて、信号比率ＳＲｒに応じた像ずれ補正量を取得する方法について説明する。
【０１４６】
図１４の横軸は式（２）で表される信号比率ＳＲｒを示し、縦軸は像ずれ補正量Δｋを示す。この図に示すように、像ずれ補正量Δｋは、Ｒ画素のＡ像用の光電変換部Ａ−ＲとＧｒ画素のＢ像用の光電変換部Ｂ−Ｇｒとの信号比率ＳＲｒに応じて変化する。このように信号比率ＳＲｒに応じて像ずれ補正量Δｋが変化する理由について、図１５を用いて説明する。
【０１４７】
図１５（ａ）〜（ｃ）は、焦点検出領域６０１内に配置されたＲ画素およびＧｒ画素のそれぞれから得られる信号とこれらＲ画素およびＧｒ画素の加算信号の強度分布（線像強度分布）の例を示している。横軸は、画素位置を示し、縦軸は受光量に対応する信号強度を示す。図では、Ａ像信号とＢ像信号の相対的な位置関係が分かるようにＡ像信号のグラフ（上）とＢ像信号のグラフ（下）を上下に隣接させている。Ｒ信号を長破線で、Ｇｒ信号を実線で、加算信号（Ｒ＋Ｇｒ）を短破線で示している。δ１およびδ２は、Ａ像信号（加算信号）とＢ像信号（加算信号）の重心間隔、すなわち像ずれ量を示す。
【０１４８】
Ｒ画素の受光量（Ｒ信号の強度）がＧｒ画素の受光量（Ｇｒ信号の強度）に比べて多い場合は、図１５（ａ）に示すように、光電変換部Ａ−Ｒの受光量が光電変換部Ｂ−Ｇｒの受光量よりも多くなる。この場合は、光電変換部Ａ−Ｒから光電変換部Ｂ−Ｇｒへのクロストークが発生する。ただし、例えばＳＲｒ＝８０％のようにＧｒ画素の受光量がＲ画素の受光量に比べて非常に小さいと、Ａ像およびＢ像信号の重心位置に対するＲ画素の受光量の寄与が大きいため、像ずれ量はδ１と小さくなる。ＡＦ部４２は、像ずれ補正量Δｋを、図１４においてＳＲｒ＝８０％に対応するδ１と決定する。
【０１４９】
また、Ｇｒ画素の受光量がＲ画素の受光量に比べて多い場合は、図１５（ｂ）に示すように、光電変換部Ｂ−Ｇｒの受光量が光電変換部Ａ−Ｒの受光量よりも多くなる。この場合は、Ａ像およびＢ像信号の重心位置に対するＧｒ画素の受光量の寄与が大きいために光電変換部Ａ−Ｒから光電変換部Ｂ−Ｇｒへのクロストークが発生する。しかし、例えばＳＲｒ＝２０％のように光電変換部Ａ−Ｒの受光量が小さいと、クロストークの影響は小さい。このため、図１５（ａ）とは光電変換部Ａ−Ｒの受光量と光電変換部Ｂ−Ｇｒの受光量の大小関係は変わるが、像ずれの方向は変わらず、像ずれ量はδ１となる。この場合、ＡＦ部４２は、像ずれ補正量Δｋを、図１４においてＳＲｒ＝２０％に対応するδ１と決定する。つまり補正後像ずれ量ｋ’は、ｋ＋δ１となる。
【０１５０】
一方、像ずれ補正量Δｋが最大値になるときは、ＳＲｒ＝５０％の場合である。この場合は、Ｒ画素およびＧｒ画素ともに受光量が大きいため、Ａ像信号およびＢ像信号ともにＲ画素およびＧｒ画素の受光量に応じて重心位置が変わる。さらに図１５（ｃ）に示すように、光電変換部Ａ−Ｒから光電変換部Ｂ−Ｇｒへのクロストークが発生して、Ｂ像信号の重心位置がずれるため、像ずれ量はδ２となる。ＡＦ部４２は、像ずれ補正量Δｋを、図１４においてＳＲｒ＝５０％に対応するδ２と決定する。つまり、補正後像ずれ量ｋ’は、ｋ＋δ２となる。
【０１５１】
このようにして像ずれ補正量Δｋを取得したＡＦ部４２は、本処理を終了する（Ｓ５に進む）。
ＡＦ部４２は、像ずれ補正量を以下の情報を用いて取得(変更)する。
・撮像光学系の射出瞳距離Ｄｌと撮像素子の設定瞳距離Ｄｓの絶対値差
・撮像素子の波長(分光)ごとの入射角受光感度分布
・撮像光学系の倍率色収差
・被写体の分光情報（ＲＧＢの信号比率）
・撮像素子の構造（遮光壁の有無、画素間の構造、配線層の構造等）
ＡＦ部４２は、まず焦点検出を行う像高とその像高でクロストークによる光量変化が大きい隣接画素対である混色画素情報を取得する。次に、倍率色収差によって、隣接画素対の各分光が異なる撮像素子上の位置に結像するために発生する隣接画素対の結像位置間隔である倍率色収差量Ｍａを取得する。
【０１５２】
またＡＦ部４２は、設定瞳距離Ｄｓと射出瞳距離Ｄｌの絶対値差である瞳距離差ΔＤを算出する。図１４に示した像ずれ補正量テーブルは、倍率色収差量Ｍａごとおよび瞳距離差ΔＤごとに複数用意されており、ＡＦ部４２は、上述した情報を用いて像ずれ補正量を取得するめに必要な像ずれ補正量テーブルを決定する。像ずれ補正量テーブルには、被写体の分光情報から算出される被写体の信号比率ごとに像ずれ補正量が記録されている。
【０１５３】
上記撮像素子の構造に応じてクロストークの影響が変化するため、像ずれ補正量テーブルは撮像素子の構造によっても異なる。以下、それぞれについて説明する。
【０１５４】
(瞳距離差ΔＤと、撮像素子の波長ごとの入射角受光感度分布) 
図７(ａ)〜(ｃ)を用いて説明したように、瞳距離差ΔＤが大きいほど、また像高が高くなるほど、図６に示した入射角受光感度分布において原点から離れた入射角の光束を光電変換部２０１ａ、２０１ｂが受光することになる。このため、焦点検出に用いるＡ像およびＢ像信号におけるＲＧＢごとの信号強度の差は大きくなる。つまり、クロストークの影響が大きくなる。したがって、瞳距離差ΔＤが大きい、または像高が高いほど、大きい像ずれ補正量により焦点検出誤差を低減することができる。
【０１５５】
(撮像光学系の倍率色収差)
図１０(ａ)，(ｂ)を用いて説明したように、撮影光学系が有する倍率色収差によって、Ｒ信号、緑信号およびＢ信号の重心が位置する画素位置がずれることにより、色ごとに異なる位置に線像が結像する。このため、撮像光学系の倍率色収差の情報として、例えばＲ−Ｇ間の信号比率を示す情報をカメラ１００または撮影レンズ３００が保持し、Ｒ−Ｇ間の信号比率に応じて像ずれ補正量を変更するとよい。
（撮像素子の構造）
前述したように、撮像素子の画素ピッチや画素構造といった撮像素子の構造によって画素の配線層の異方性や画素間の信号電荷に対する障壁の高さが異なる。このため、撮像素子の構造に応じて、発生するクロストーク量が異なる。したがって、クロストークが生じやすい（例えば上記障壁が低い）構造である場合には、クロストークが生じにくい（例えば上記障壁が高い）構造である場合とは異なる像ずれ補正テーブルを用意することで、焦点検出誤差を低減することができる。
【０１５６】
以上説明したように、本実施例によれば、被写体の分光情報、入射角に関する情報および色クロストークに関する情報から焦点検出における像ずれ量を補正する像ずれ補正量を取得する。これにより、クロストークの影響により光電変換部からの信号が誤差を含む場合でも、焦点検出結果を良好に補正して高精度の焦点検出(さらにはＡＦ)を高速に行うことができる。
【０１５７】
本実施例では、光束の入射角に関する情報および混色に関する情報の双方を用いて焦点検出を行う(像ずれ量を補正する)場合について説明したが、入射角に関する情報および混色に関する情報のうち少なくとも一方を用いて焦点検出を行うようにしてもよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１５８】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【０１５９】
１４  撮像素子
４２  ＡＦ部
５０  システム制御部
１００  カメラ
３００  撮影レンズ
【図１】
2019117333.tif 000003
【図２】
2019117333.tif 000004
【図３】
2019117333.tif 000005
【図４】
2019117333.tif 000006
【図５】
2019117333.tif 000007
【図６】
2019117333.tif 000008
【図７】
2019117333.tif 000009
【図８】
2019117333.tif 000010
【図９】
2019117333.tif 000011
【図１０】
2019117333.tif 000012
【図１１】
2019117333.tif 000013
【図１２】
2019117333.tif 000014
【図１３】
2019117333.tif 000015
【図１４】
2019117333.tif 000016
【図１５】
2019117333.tif 000017