(57)【要約】【課題】簡便な構成により、不要な光の入射を抑制しつつ、画素への集光率を高めることが可能な撮像素子を提供すること。【解決手段】光電変換部を有する画素が２次元配置された画素アレイを備える撮像素子である。画素のそれぞれは、光電変換部に加え、第１層内レンズと、第１層内レンズよりも光電変換部からの距離が大きい第２層内レンズと、第２層内レンズよりも光電変換部からの距離が大きいオンチップマイクロレンズとを有する。第２層内レンズの周囲には、隣接画素との間に遮光壁が設けられる。第２層内レンズの中心位置と光電変換部の中心位置との第２のずれ量＜第１層内レンズの中心位置と光電変換部の中心位置との第１のずれ量＜オンチップマイクロレンズの中心位置と光電変換部の中心位置との第３のずれ量という関係を満たす。【選択図】図２
2020126978.tif 000002
【特許請求の範囲】
【請求項１】
光電変換部を有する画素が２次元配置された画素アレイを備える撮像素子であって、
前記画素のそれぞれは、前記光電変換部に加え、第１層内レンズと、前記第１層内レンズよりも前記光電変換部からの距離が大きい第２層内レンズと、前記第２層内レンズよりも前記光電変換部からの距離が大きいオンチップマイクロレンズとを有し、
前記第２層内レンズの周囲には、隣接画素との間に遮光壁が設けられ、
前記第１層内レンズの中心位置と前記光電変換部の中心位置との第１のずれ量と、前記第２層内レンズの中心位置と前記光電変換部の中心位置との第２のずれ量と、前記オンチップマイクロレンズの中心位置と前記光電変換部の中心位置との第３のずれ量とが、前記第２のずれ量＜前記第１のずれ量＜前記第３のずれ量という関係を満たすことを特徴とする撮像素子。
【請求項２】
前記第１のずれ量、前記第２のずれ量、および前記第３のずれ量は、前記画素アレイの中心方向へのずれ量であることを特徴とする請求項１に記載の撮像素子。
【請求項３】
第１の像高を有する画素における前記第１のずれ量、前記第２のずれ量、および前記第３のずれ量よりも、前記第１の像高よりも大きな第２の像高を有する画素における前記第１のずれ量、前記第２のずれ量、および前記第３のずれ量の方が大きいことを特徴とする請求項１または２に記載の撮像素子。
【請求項４】
前記第２のずれ量が０であることを特徴とする請求項１または２に記載の撮像素子。
【請求項５】
前記第１層内レンズの周囲には遮光壁が設けられないことを特徴とする請求項１から４のいずれか１項に記載の撮像素子。
【請求項６】
前記第２層内レンズが、前記オンチップマイクロレンズに最も近い層内レンズであることを特徴とする請求項１から５のいずれか１項に記載の撮像素子。
【請求項７】
前記第１層内レンズの中心位置が、前記第２層内レンズの中心位置と前記オンチップマイクロレンズの中心位置との中点よりも前記画素アレイの中心に近いことを特徴とする請求項１から６のいずれか１項に記載の撮像素子。
【請求項８】
前記光電変換部が複数の副光電変換部に分割されていることを特徴とする請求項１から７のいずれか１項に記載の撮像素子。
【請求項９】
請求項１から８のいずれか１項に記載の撮像素子を用いた撮像装置。
【請求項１０】
請求項８に記載の撮像素子と、
前記撮像素子の前記複数の副光電変換部で得られる信号に基づいて位相差ＡＦ用の１対の像信号を生成する画像処理手段と、
前記１対の像信号の位相差に基づいて、レンズユニットの光学系の焦点検出を行う焦点検出手段と、
を有することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子および撮像装置に関する。
【背景技術】
【０００２】
撮像素子においては、撮影レンズから入射した光を効率よく画素の受光面に導くため、各画素にオンチップマイクロレンズが設けられている。また、集光率をより高めるため、オンチップマイクロレンズと受光面との間にさらなるレンズ（インナーレンズ）を形成することが提案されている（特許文献１）。
【０００３】
特許文献２には、裏面照射型の撮像素子において、オンチップマイクロレンズと受光面との間に複数層の平坦化膜を設け、隣接画素からの混色を抑制する構成が提案されている。また、特許文献２には、平坦化膜にインナーレンズを設けることも開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１６５５９号公報
【特許文献２】国際公開第２０１６／１１４１５４号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献２では、隣接画素から光が入射することおよび、隣接画素へ光が漏れることを防ぐため、それぞれの平坦化膜において画素間に遮光壁を設けている。しかしながら、遮光壁を有する平坦化膜を複数設けるには、製造工程の複雑化が避けられない。
【０００６】
したがって本発明は、簡便な構成により、不要な光の入射を抑制しつつ、画素への集光率を高めることが可能な撮像素子の提供を目的の１つとする。
【課題を解決するための手段】
【０００７】
上述の目的は、光電変換部を有する画素が２次元配置された画素アレイを備える撮像素子であって、画素のそれぞれは、光電変換部に加え、第１層内レンズと、第１層内レンズよりも光電変換部からの距離が大きい第２層内レンズと、第２層内レンズよりも光電変換部からの距離が大きいオンチップマイクロレンズとを有し、第２層内レンズの周囲には、隣接画素との間に遮光壁が設けられ、第１層内レンズの中心位置と光電変換部の中心位置との第１のずれ量と、第２層内レンズの中心位置と光電変換部の中心位置との第２のずれ量と、オンチップマイクロレンズの中心位置と光電変換部の中心位置との第３のずれ量とが、第２のずれ量＜第１のずれ量＜第３のずれ量という関係を満たすことを特徴とする撮像素子によって達成される。
【発明の効果】
【０００８】
このような構成により、本発明によれば、簡便な構成により、不要な光の入射を抑制しつつ、画素への集光率を高めることが可能な撮像素子を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る撮像素子に関する図
【図２】実施形態に係る撮像素子が有する画素の垂直断面図
【図３】実施形態に係る撮像素子における入射光の光路を模式的に示した図
【図４】実施形態に係る撮像装置の機能構成例を示すブロック図
【図５】副光電変換部を用いた瞳分割と、像ずれ量とデフォーカス量との関係に関する模式図
【図６】比較例に係る撮像素子が有する画素の垂直断面図
【図７】比較例に係る撮像素子における入射光の光路を模式的に示した図
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一もしくは同様の構成に同一の参照符号を付し、重複する説明は省略する。
【００１１】
●（第１実施形態）
図１（ａ）は、本発明の第１実施形態に係る撮像素子１０１の構成例を模式的に示している。
画素アレイ１０２は、２次元配置された複数の画素や、信号線を有する。本実施形態において画素のそれぞれは、マイクロレンズ、光電変換部、および読み出し回路を有する。ここで、マイクロレンズには、オンチップマイクロレンズとインナーレンズが含まれる。さらに、光電変換部は２つの副光電変換部に分割されている。なお、光電変換部の分割数は２に限定されない。
【００１２】
垂直選択回路１０３は、画素アレイ１０２に配置された画素を、行単位で選択する信号を生成する。選択された行に配置されたそれぞれの画素から信号が読み出され、垂直信号線を通じて列回路１０４に入力される。垂直信号線は所定数の画素列ごとに１つ設けたり、１つの画素列に複数設けたりすることができる。
【００１３】
列回路１０４は全ての垂直信号線に接続され、画素から読み出された信号を別個に保持する。列回路１０４は、信号に対して増幅、ノイズ除去、およびＡ／Ｄ変換といった信号処理の１つ以上を適用するように構成されてもよい。
【００１４】
水平選択回路１０５は列回路１０４に保持された信号を順次、ランダム、または同時に水平出力線へ出力する。
【００１５】
以下では、ｘｙｚ直交座標系が、画素アレイ１０２の撮像面に平行なｘｙ平面と、ｘｙ平面に垂直なｚ軸を有するものとして説明する。なお、ｚ軸は撮影レンズ（射出瞳）に近づく方向を正方向とする。また、画素の構造に関し、ｚ軸の正方向を上、負方向を下とする。
【００１６】
図１（ｂ）は、画素アレイ１０２に配置された画素のうち、４列×４行分の１６画素について、副光電変換部とカラーフィルタの例示的な配置を示している。本実施形態の撮像素子１０１は２列×２行の４画素からなる画素群２００ごとに、左上の画素に赤（Ｒ）、右下の画素に青（Ｂ）、左下および右上の画素に緑（Ｇ）のカラーフィルタが設けられている。赤のカラーフィルタが設けられた画素２００ＲをＲ画素、青のカラーフィルタが設けられた画素２００ＢをＢ画素、緑のカラーフィルタが設けられた画素２００ＧをＧ画素と呼ぶ。また、各画素の光電変換部は、ｘ方向に２つの副光電変換部２０１、２０２が並ぶように分割されている。副光電変換部２０１、２０２はそれぞれ別個のフォトダイオード（ＰＤ）で実現されるものとし、以下では副光電変換部２０１、２０２のうちｘ座標が小さい副光電変換部２０１をＰＤＡ、ｘ座標が大きい副光電変換部２０２をＰＤＢと呼ぶ。
【００１７】
画素アレイ１０２は、図１（ｂ）に示した４列×４行の画素（８列×４行のＰＤ）のパターンの繰り返しによって構成される。なお、ＰＤＡとＰＤＢは別個に信号を読み出すことができる。ＰＤＡとＰＤＢの一方から読み出した信号は位相差ＡＦ用の焦点検出用信号として用いることができる。また、同じ画素のＰＤＡおよびＰＤＢから読み出した信号を加算した信号は、通常の画像信号として用いることができる。つまり、本実施形態において、各画素は、画像信号と焦点検出用信号とを出力可能に構成されている。なお、一部の画素については、ＰＤＡもしくはＰＤＢのみを有する焦点検出用画素として形成されてもよい。
【００１８】
図２は図１（ｂ）のａ−ａ断面（ｘｚ平面）の一部を−ｙ側から見た断面図である。画素から信号を読み出すための配線層３０１は、光電変換部（副光電変換部２０１、２０２）よりｚ座標が小さい領域（下側）に配置されている。また、光電変換部よりｚ座標が大きい領域（上側）には、下から順に、絶縁部３０２、第１層内レンズ３０３、絶縁部３０２、第２層内レンズ３０４、絶縁部３０２、カラーフィルタ３０５、オンチップマイクロレンズ３０６が配置されている。オンチップマイクロレンズ３０６と、第１および第２層内レンズ３０３および３０４は、画素あたり１つ設けられている。第２層内レンズ３０４の周囲には、隣接画素との間に遮光壁３０７が設けられている。遮光壁３０７は画素アレイ１０２の全体に、格子状に設けられている。
【００１９】
ある注目画素について、光電変換領域の中心位置（ｘｙ座標）と、注目画素に対して設けられる各レンズ部材（第１層内レンズ３０３、第２層内レンズ３０４、オンチップマイクロレンズ３０６）の中心位置（ｘｙ座標）とは、画素の像高に応じたずれ量を有する。ここで、像高は、撮影レンズの光軸と撮像素子との交点（画素アレイ１０２の中心とも呼ぶ）からの距離である。また、中心位置のずれ量は、注目画素の光電変換領域の中心位置と、画素アレイ１０２の中心とを結ぶ直線上におけるずれ量（画素アレイ１０２の中心方向のずれ量）である。
【００２０】
具体的には、第１の像高を有する第１の画素よりも、第１の像高よりも大きな第２の像高を有する第２の画素の方が中心位置のずれ量が大きい。例えば、像高が大きい画素ほど（画素アレイ１０２の中心から遠い画素ほど）、対応するレンズ部材との中心位置のずれ量が大きい。あるいは、像高の増加に伴って段階的に中心位置のずれ量が大きくなるようにしてもよい。全体として像高の増加に対して中心位置のずれ量が増加していればよく、ずれ量は線形、非線形、階段状、あるいはそれらの組み合わせにしたがって変化しうる。例えば、画素アレイ１０２の中心領域（像高が所定値未満の領域）に含まれる画素についてはずれ量を０とし、所定値以上の像高を有する画素については像高の増加に伴って線形的にずれ量を増加させてもよい。
【００２１】
また、本実施形態では、第２層内レンズ３０４のずれ量３０９＜第１層内レンズ３０３のずれ量３０８＜オンチップマイクロレンズ３０６のずれ量３１０となるように各レンズ部材を配置する。つまり、光電変換部から第１の距離に配置される第１のレンズ部材のずれ量よりも小さいずれ量を有する、第１の距離より大きい第２の距離に配置される第２のレンズ部材を有する。このようなずれ量の関係を満たすように各レンズ部材を配置することにより、不要光の影響を低減するための遮光壁３０７を第１層に設ける必要がない。また、第２層内レンズ３０４のずれ量３０９は０であってもよい。
【００２２】
なお、層内レンズが３つ以上設けられる場合、本実施形態の第２層内レンズ３０４の構成および配置は、オンチップマイクロレンズに最も近い（光電変換部から最も遠い）層内レンズに採用することができるが、それに限定されない。
【００２３】
なお、本実施形態では、遮光壁３０７は隣接する第２層内レンズ３０４を等間隔で分離するように設けられているため、ある第２層内レンズ３０４を囲う遮光壁３０７が形成する領域の中心位置（ｘｙ座標）は、その第２層内レンズ３０４の中心位置と一致する。したがって、ある画素について、遮光壁３０７の中心位置と光電変換部の中心位置とのずれ量３１１は、その画素に設けられた第２層内レンズ３０４の中心位置と光電変換部の中心位置とのずれ量３０９と等しい。ただし、第２層内レンズ３０４のずれ量３０９と遮光壁のずれ量３１１とは一致しなくてもよい。
【００２４】
例えば、各マイクロレンズの中心位置が各画素の光電変換部の中心位置と一致しているマイクロレンズアレイを水平および垂直方向に一定の割合で縮小（シュリンク）して各レンズ部材を生成するものとする。この場合、縮小率（シュリンク率）をオンチップマイクロレンズ３０６＞第１層内レンズ３０３＞第２層内レンズとすればよい（縮小率が高いほど小さくなるものとする）。そして、各レンズ部材を、画素アレイ１０２の中心において中心位置のずれ量が最小となるように配置することで、上述したずれ量の関係を満たすレンズ部材の配置が実現できる。この場合、中心位置のずれ量は、像高の増加とともに線形に増加する。図２に示す例では、第２層内レンズの縮小率は０である。
【００２５】
図３は、図２に示した画素構造における入射光の光路を、入射角の異なる光束について模式的に示している。図３（ａ）は光軸に近い角度の入射光、図３（ｂ）は光軸との角度が大きな入射光の例を示している。
【００２６】
光束４０１は光電変換部の表面２１０付近で、光電変換部の中心位置（ｘｙ座標）付近に集光する。光束４０１は光軸に対する角度が小さいため、隣接画素に入射すべき光の混入の影響は基本的に考慮しなくてよい。
【００２７】
一方、光軸に対する角度が大きい光束５０１については、隣接画素からの光の混入を考慮する必要がある。しかし、本実施形態の構成では、第２層内レンズの周囲に設けた遮光壁３０７により、隣接画素に設けられたオンチップマイクロレンズ３０６に入射した光束５０１のうち、混入する方向に進む光束は遮光壁３０７により遮断される。
【００２８】
ここで、各レンズ部材を、第１層内レンズ３０３のずれ量＜第２層内レンズ３０４のずれ量＜オンチップマイクロレンズ３０６のずれ量となるように配置した比較例について、図６および図７を用いて説明する。
【００２９】
図６は図２と同様の垂直断面図、図７は図３と同様の垂直断面図である。第１層内レンズ３０３のずれ量９０１＜第２層内レンズ３０４のずれ量９０２＜オンチップマイクロレンズ３０６のずれ量９０３となるように配置した以外は同じ構成である。また、第２層内レンズ３０４のずれ量９０２と遮光壁のずれ量９０４は一致するように配置されている。  図７において光束１００１および１１０１の入射角は、図３における光束４０１および５０１の入射角とそれぞれ等しい。
【００３０】
光電変換部からの距離が大きいレンズ部材ほど、光電変換部と中心位置のずれ量が大きくなるように配置した場合、光軸に対する角度が小さい光束１００１については特に差が生じない。しかし、光軸に対する角度が小さい光束１１０１については、１１１０で示した光束が隣接画素の光電変換部に混入している。この場合、第１層内レンズの周囲にも遮光壁を設ける必要がある。
【００３１】
図６および図７の例では、第２層内レンズ３０４の中心位置が、オンチップマイクロレンズ３０６の中心位置と第１層内レンズ３０３の中心位置との中点付近に位置するように各レンズ部材を配置している。つまり、注目画素の光電変換領域の中心位置と、画素アレイ１０２の中心とを結ぶ直線上で、３つのレンズ部材の中心位置が等間隔となるように配置している。
【００３２】
本実施形態において、第１層内レンズ３０３の中心位置を、オンチップマイクロレンズ３０６の中心位置と第２層内レンズ３０４の中心位置の中点よりも、画素アレイの中心に近い範囲で調整する。これにより、図６および図７において隣接画素に入射する光束を遮光壁３０７で遮蔽することができる。
【００３３】
以上のように、オンチップマイクロレンズと複数の層内レンズとが画素ごとに設けられた撮像素子において、光電変換部からの距離が第１の層内レンズよりも大きく、光電変換部との中心位置のずれ量が第１の層内レンズより小さい第２の層内レンズを設けた。そして、第２の層内レンズには、画素ごとにレンズを囲う遮光壁を設けることで、簡便な構成によって隣接画素からの入射光を効果的に防止することができる。
【００３４】
●（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態は、第１実施形態で説明した撮像素子を用いた電子機器に関する。図４は、本実施形態に係る電子機器の一例としてのデジタルカメラの機能構成例を示すブロック図である。
【００３５】
本実施形態のデジタルカメラ８００は、撮像素子１０１の副光電変換部２０１、２０１で得られる信号を、位相差ＡＦに用いると同時に、撮像信号としても用いる。本実施形態のデジタルカメラ８００はレンズ交換式一眼レフカメラであり、レンズユニット８１０とカメラ本体８２０とを有する。レンズユニット８１０は点線で示されるマウントＭを介して、カメラ本体８２０に装着される。
【００３６】
レンズユニット８１０は、光学系（第１レンズ群８０１、絞り８０２、第２レンズ群８０３、フォーカスレンズ群（以下、単に「フォーカスレンズ」と呼称する）８０４）、および、駆動／制御系を有する。レンズユニット８１０は、フォーカスレンズ８０４を含み、被写体の光学像を形成する撮影レンズである。
【００３７】
第１レンズ群８０１はレンズユニット８１０の先端に配置され、光軸ＯＡに沿って移動可能に保持される。絞り８０２は、撮影時の光量を調節する機能のほか、静止画撮影時には露出時間を制御するメカニカルシャッタとしても機能する。ただし、撮像素子１０１がグローバルシャッター機構を有する場合、絞りをメカニカルシャッタとして用いなくてもよい。
【００３８】
絞り８０２および第２レンズ群８０３は一体で光軸ＯＡに沿って移動可能であり、第１レンズ群８０１と連動して移動することによりズーム機能を実現する。フォーカスレンズ８０４も光軸ＯＡに沿って移動可能であり、フォーカスレンズ８０４の位置に応じてレンズユニット８１０が合焦する被写体距離（合焦距離）が変化する。レンズユニット８１０の合焦距離を調整する焦点調節は、フォーカスレンズ８０４の位置を制御する動作である。
【００３９】
駆動／制御系は、ズームアクチュエータ８１１、絞りアクチュエータ８１２、フォーカスアクチュエータ８１３、ズーム駆動回路８１４、絞り絞り駆動回路８１５、フォーカス駆動回路８１６、レンズＭＰＵ８１７、レンズメモリ８１８を有する。
【００４０】
ズーム駆動回路８１４は、ズームアクチュエータ８１１を用いて第１レンズ群８０１や第３レンズ群８０３を駆動し、レンズユニット８１０の光学系の画角を変更する。絞り駆動回路８１５は、絞りアクチュエータ８１２を用いて絞り８０２を駆動し、絞り８０２の開口径を変更したり開閉動作を実行したりする。フォーカス駆動回路８１６はフォーカスアクチュエータ８１３を用いてフォーカスレンズ８０４を駆動し、レンズユニット８１０の光学系の合焦距離を変更する。また、フォーカス駆動回路８１６は、フォーカスアクチュエータ８１３を用いてフォーカスレンズ８０４の現在位置を検出する。
【００４１】
レンズＭＰＵ（プロセッサ）８１７は、レンズユニット８１０に係る全ての演算、制御を行い、ズーム駆動回路８１４、絞り駆動回路８１５、フォーカス駆動回路８１６を制御する。また、レンズＭＰＵ８１７は、マウントＭを通じてカメラＭＰＵ８２５と電気的に接続され、カメラＭＰＵ８２５とコマンドやデータを通信する。
【００４２】
例えばレンズＭＰＵ８１７はフォーカス駆動回路８１６を通じてフォーカスレンズ８０４の位置を検出し、カメラＭＰＵ８２５からの要求に応答してレンズ位置情報を通知する。レンズ位置情報は例えば、フォーカスレンズ８０４の光軸ＯＡ上の位置、光学系が移動していない状態の射出瞳の光軸ＯＡ上の位置および直径、射出瞳の光束を制限するレンズ枠の光軸ＯＡ上の位置および直径などの情報を含む。またレンズＭＰＵ８１７は、カメラＭＰＵ８２５からの要求に応答して、ズーム駆動回路８１４、絞り駆動回路８１５、フォーカス駆動回路８１６を制御する。カメラＭＰＵ８２５からの要求はコマンドとして与えられる。
【００４３】
レンズメモリ８１８は不揮発性メモリであり、レンズユニット８１０の自動焦点検出（ＡＦ）に必要な光学情報やレンズＭＰＵ８１７が実行するプログラムなどが予め記憶されている。レンズＭＰＵ８１７はレンズメモリ８１８に記憶されているプログラムを、内蔵するＲＡＭ８１７ａに読み込んで実行することで、レンズユニット８１０の動作を制御する。
【００４４】
カメラ本体８２０は、光学系（光学ローパスフィルタ８２１および撮像素子１０１）と、駆動／制御系とを有する。レンズユニット８１０の第１レンズ群８０１、絞り８０２、第２レンズ群８０３、フォーカスレンズ８０４と、カメラ本体８２０の光学ローパスフィルタ８２１は光学系を構成する。
【００４５】
光学ローパスフィルタ８２１は、撮影画像の偽色やモアレを軽減する。撮像素子１０１は、第１実施形態で説明した撮像素子であり、ここでは画素アレイ１０２に横方向６０００画素（１２０００副光電変換部）、縦方向４０００画素が配置されているものとする。
【００４６】
駆動／制御系は、撮像素子駆動回路８２３、画像処理回路８２４、カメラＭＰＵ８２５、表示部８２６、操作スイッチ群８２７、メモリ８２８、撮像面位相差検出部８２９を有する。
【００４７】
撮像素子駆動回路８２３は、撮像素子１０１の動作を制御するとともに、撮像素子１０１から読み出した信号を画像処理回路８２４やカメラＭＰＵ８２５に供給する。撮像素子１０１の各画素から読み出す信号の種類（副光電変換部２０１または２０２の信号、あるいは副光電変換部２０１および２０２の信号を加算した信号）についても、撮像素子駆動回路８２３が制御する。
【００４８】
画像処理回路８２４は、撮像素子１０１の副光電変換部から得られる画像信号に対して予め定められた画像処理を適用し、信号や画像データを生成したり、各種の情報を取得および／または生成したりする。画像処理回路８２４は例えば特定の機能を実現するように設計されたＡＳＩＣのような専用のハードウェア回路であってもよいし、ＤＳＰのようなプログラマブルプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。
【００４９】
ここで、画像処理回路８２４が適用する画像処理には、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理などが含まれる。前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。色補間処理は、画素から読み出した画像データに含まれていない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。補正処理には、ホワイトバランス調整、画像の輝度を補正する処理、レンズユニット８１０の光学系の収差を補正する処理、色を補正する処理などが含まれる。検出処理には、特徴領域（たとえば顔領域や人体領域）の検出および追尾処理、人物の認識処理などが含まれる。データ加工処理には、スケーリング処理、符号化および復号処理、ヘッダ情報生成処理などが含まれる。評価値算出処理は、位相差ＡＦ用の１対の像信号やコントラストＡＦ用の評価値の生成や、自動露出制御に用いる評価値の算出処理などである。なお、これらは画像処理回路８２４が実施可能な画像処理の例示であり、画像処理回路８２４が実施する画像処理を限定するものではない。
【００５０】
カメラＭＰＵ８２５は、ＲＯＭ８２５ａ、ＲＡＭ８２５ｂ、ＥＥＰＲＯＭ８２５ｃを内蔵している。ＲＯＭ８２５ａには、カメラＭＰＵ８２５が実行するプログラムが記憶されている。また、ＥＥＰＲＯＭ８２５ｃには、各種の設定値やＧＵＩデータなどが記憶されている。カメラＭＰＵ８２５は、ＲＯＭ８２５ａからＲＡＭ８２５ｂにプログラムを読み込んで実行することにより、カメラ本体８２０およびレンズユニット８１０の動作を制御する。なお、プログラムもＥＥＰＲＯＭ８２５ｃに記憶するようにしてもよい。
【００５１】
カメラＭＰＵ（マイクロプロセッサ）８２５は、カメラ本体８２０に係る全ての演算、制御を行い、撮像素子駆動回路８２３、画像処理回路８２４、表示部８２６、操作スイッチ群８２７、メモリ８２８、撮像面位相差検出部８２９を制御する。カメラＭＰＵ８２５はマウントＭの信号線を介してレンズＭＰＵ８１７と接続され、レンズＭＰＵ８１７とコマンドやデータを通信する。カメラＭＰＵ８２５はレンズＭＰＵ８１７に対し、レンズ位置の取得要求、絞り、フォーカスレンズ、およびズームの駆動要求、レンズユニット８１０に固有の光学情報の取得要求などを示すコマンドを送信する。これらのコマンドに応答して、レンズＭＰＵ８１７は要求された情報をカメラＭＰＵ８２５に送信したり、要求された駆動動作を実行したりする。
【００５２】
表示部８２６は例えば液晶ディスプレイであり、デジタルカメラ８００に関する情報、撮像素子１０１によって得られた画像、合焦位置を示す画像、メニュー画面などを表示する。操作スイッチ群８２７は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。
【００５３】
メモリ８２８は、例えば着脱可能なメモリカードであり、撮影された動画や静止画のデータファイルを記録する。例えば動画と静止画とを並行して撮影可能な場合には、メモリ８２８を動画像用と静止画像用とに分けて用意してもよい。
【００５４】
撮像面位相差検出部８２９は、画像処理回路８２４が生成する位相差ＡＦ用の１対の像信号の位相差を検出し、位相差からレンズユニット８１０の光学系のデフォーカス量およびデフォーカス方向を求める。撮像面位相差検出部８２９は、求めたデフォーカス量およびデフォーカス方向をカメラＭＰＵ８２５に出力する。
【００５５】
カメラＭＰＵ８２５は、デフォーカス量およびデフォーカス方向に基づいてフォーカスレンズ８０４の駆動量および駆動方向を決定する。そして、カメラＭＰＵ８２５は、決定した駆動方向に決定した駆動量とともに、レンズＭＰＵ８１７にフォーカスレンズ８０４の駆動を要求する。
【００５６】
ここで、位相差ＡＦについて説明する。
図５（ａ）は、副光電変換部２０１、２０２による瞳分割について模式的に示している。線６０４は、被写体の位置を示し、位置６０５にある光学系によって被写体像を撮像素子１０１の撮像面６０６に形成する。また６０９は副光電変換部２０１、２０２の表面付近の位置を示す。ｘ方向に２分割された副光電変換部２０１と副光電変換部２０２は、それぞれ、光学系の射出瞳のうち、瞳部分領域６０７と瞳部分領域６０８を通過した光束を受光する。
【００５７】
したがって、焦点検出領域に含まれる複数の画素について、副光電変換部２０１で得られる信号を連結して得られる像信号と、副光電変換部２０２で得られる信号を連結して得られる像信号とは互いに視差を有する１対の像信号になる。画像処理回路８２４は、このような１対の像信号を位相差ＡＦ用の像信号として生成する。また、画像処理回路８２４は、画素ごとに副光電変換部２０１、２０２で得られる信号を加算することにより、表示用および／または記録用の画像信号を生成するための画素信号を得ることができる。
【００５８】
なお、画素ごとに、副光電変換部２０１から得られる信号と、副光電変換部２０１、２０２で得られる信号の加算信号とを読み出し、加算信号から副光電変換部２０１から得られる信号を減じて副光電変換部２０２から得られる信号を生成してもよい。
【００５９】
図５（ｂ）は、位相差ＡＦ用の１対の像信号間の位相差（像ずれ量）と、レンズユニット８１０の光学系のデフォーカス量とのの概略関係を示す。被写体像が形成される位置から撮像面までの距離の大きさ｜ｄ｜がデフォーカス量である。また、デフォーカス方向は、デフォーカス量の符号によって示す。具体的には、被写体像の形成位置が撮像面６０６より被写体側にある前ピン状態を負符号（ｄ＜０）、被写体像の形成位置が撮像面６０６より被写体の反対側にある後ピン状態を正符号（ｄ＞０）とする。
【００６０】
合焦状態では、被写体像の形成位置が撮像面６０６の位置に等しくなるため、デフォーカス量ｄは０となる。図５（ｂ）において、７０１は合焦状態（ｄ＝０）となる被写体の位置を示し、７０２は前ピン状態（ｄ＜０）となる被写体の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。
【００６１】
前ピン状態（ｄ＜０）では、位置７０２の被写体からの光束のうち、瞳部分領域６０７（６０８）を通過した光束は、一度、集光した後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面６０６でボケた像となる。ボケた像は、副光電変換部２０１と副光電変換部２０２により受光される。よって、副光電変換部２０１に基づいて得られる像信号と、副光電変換部２０２に基づいて得られる像信号には、重心位置Ｇ１（Ｇ２）に、被写体７０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、視差画像間の被写体像の像ずれ量ｐ（＝Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、視差画像間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。合焦状態（ｄ＝０）では、視差画像間の被写体像の重心位置が一致（ｐ＝０）し、像ずれは生じない。
【００６２】
副光電変換部２０１に基づく像信号と、副光電変換部２０２に基づく像信号との像ずれ量（位相差）は、デフォーカス量の大きさ｜ｄ｜の増加に伴って増加する。したがって、画像処理回路８２４は、位相差ＡＦ用の１対の像信号間の像ずれ量（位相差）を検出することにより、デフォーカス量およびデフォーカス方向を求めることができる。
【００６３】
（その他の実施形態）
上述の実施形態では、画素の光電変換部が複数に分割されている撮像素子に本発明を適用した例について説明した。しかし、本発明は画素の光電変換部が分割されていない撮像素子に対しても同様に適用できる。
【００６４】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６５】
本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更および変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【００６６】
１０１…撮像素子、１０２…画素アレイ、２０１、２０２…副光電変換部、３０３…第１層内レンズ、３０４…第２層内レンズ、３０６…オンチップマイクロレンズ
【図１】
2020126978.tif 000003
【図２】
2020126978.tif 000004
【図３】
2020126978.tif 000005
【図４】
2020126978.tif 000006
【図５】
2020126978.tif 000007
【図６】
2020126978.tif 000008
【図７】
2020126978.tif 000009