(57)【要約】【課題】位相差画素を含む第１の画素領域と有効な位相差画素信号を出力する画素を含まない第２の画素領域とのカラーバランスの相違を低減することができる撮像素子等を提供する。【解決手段】画像用画素と位相差画素とを含む第１の画素領域と、画像用画素を含み有効な位相差画素信号を出力する画素を含まない第２の画素領域と、を備え、第１の画素領域の複数の位相差画素は、一部がベイヤー配列におけるＧフィルタが形成されるレギュラー位置に配置されると共に、他の一部がＧ以外のフィルタが形成されるイレギュラー位置に配置され、第２の画素領域のフィルタの基本配置パターンＰ２は、第１の画素領域Ｒ１のフィルタの基本配置パターンと等しい撮像素子。【選択図】図６
2018046394.tif 000002
【特許請求の範囲】
【請求項１】
２次元状に配置された複数の画素のそれぞれに、分光特性が異なる複数種類のフィルタの内の何れか１種類のフィルタが形成された撮像素子であって、
画像用画素信号をそれぞれ生成して出力する複数の画像用画素と、位相差画素信号をそれぞれ生成して出力する複数の位相差画素と、を含む第１の画素領域と、
画像用画素信号をそれぞれ生成して出力する複数の画像用画素を含み、有効な位相差画素信号を出力する画素を含まない第２の画素領域と、
を備え、
上記第１の画素領域の上記複数の画像用画素は、所定配置パターンに従って上記複数種類のフィルタが配置され、
上記複数の位相差画素は、全ての位相差画素に上記複数種類のフィルタの内の第１種類のフィルタが形成されていて、上記所定配置パターンを該位相差画素の位置に適用した場合における、上記第１種類のフィルタが形成される位置であるレギュラー位置に該複数の位相差画素の一部が配置されると共に、上記第１種類のフィルタとは異なる種類のフィルタが形成される位置であるイレギュラー位置に該複数の位相差画素の他の一部が配置され、
上記第２の画素領域のフィルタの基本配置パターンは、上記第１の画素領域のフィルタの基本配置パターンと等しいことを特徴とする撮像素子。
【請求項２】
同一種類のフィルタが形成された隣接する複数の画素の画素信号を混合した混合画素信号を生成して読み出す画素混合読出回路をさらに備え、
上記画素混合読出回路は、上記混合画素信号については上記第１の画素領域および上記第２の画素領域から読み出し、上記位相差画素信号については上記第１の画素領域のみから読み出すことを特徴とする請求項１に記載の撮像素子。
【請求項３】
上記第２の画素領域は、上記位相差画素を含まないことを特徴とする請求項１または請求項２に記載の撮像素子。
【請求項４】
上記位相差画素は、画素の右側または左側を遮光された縦線検知用の位相差画素と、画素の上側または下側を遮光された横線検知用の位相差画素と、を含み、
上記縦線検知用の位相差画素と上記横線検知用の位相差画素との内の、一方は全て上記レギュラー位置に配置され、他方は全て上記イレギュラー位置に配置されていることを特徴とする請求項１、請求項２、または請求項３に記載の撮像素子。
【請求項５】
上記画素混合読出回路は、上記第１の画素領域の上記レギュラー位置に配置された位相差画素の位相差画素信号と、該位相差画素に隣接する上記第１種類のフィルタが形成された画像用画素の画像用画素信号と、を混合して上記混合画素信号を生成することを特徴とする請求項２に記載の撮像素子。
【請求項６】
上記画素混合読出回路は、上記第１の画素領域の上記イレギュラー位置に配置された位相差画素の位相差画素信号を含めずに上記混合画素信号を生成することを特徴とする請求項２に記載の撮像素子。
【請求項７】
上記画素混合読出回路は、上記第２の画素領域の上記イレギュラー位置に配置された画素の画素信号を含めずに上記混合画素信号を生成することを特徴とする請求項６に記載の撮像素子。
【請求項８】
上記画素混合読出回路は、上記所定配置パターンを適用した場合に上記イレギュラー位置に該当する種類のフィルタが形成された、該イレギュラー位置に隣接する画像用画素の画像用画素信号に基づいて、該イレギュラー位置の補間画素信号を生成し、該補間画素信号を含めて上記混合画素信号を生成することを特徴とする請求項６または請求項７に記載の撮像素子。
【請求項９】
上記画素混合読出回路は、上記イレギュラー位置に配置された画素の画素信号を含めずに生成した上記混合画素信号の信号値の低下を補うように、該混合画素信号をゲインアップすることを特徴とする請求項６または請求項７に記載の撮像素子。
【請求項１０】
上記第２の画素領域は、上記複数の画像用画素に加えてさらに、無効な位相差画素信号をそれぞれ生成する複数の位相差画素を含むことを特徴とする請求項２に記載の撮像素子。
【請求項１１】
請求項１に記載の撮像素子と、
上記撮像素子から出力された位相差画素信号に基づき焦点検出を行う焦点検出信号処理回路と、
を備え、
上記撮像素子の上記第２の画素領域は、上記複数の画像用画素に加えてさらに、無効な位相差画素信号をそれぞれ生成して出力する複数の位相差画素を含み、
上記焦点検出信号処理回路は、上記第２の画素領域からの上記無効な位相差画素信号を用いることなく、上記第１の画素領域からの上記位相差画素信号のみを用いて焦点検出を行うことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像用画素と位相差画素とを含み、画素位置毎に複数種類のフィルタの何れかが形成された撮像素子、撮像装置に関する。
【背景技術】
【０００２】
近年、２次元状に配置された画像用画素の中に、焦点検出用の位相差画素信号を生成する位相差画素を離散的に配置した撮像素子が実用化され、商品化されている。
【０００３】
ここに、位相差画素は、通常の画像用画素における開口の一部を遮光することで、特定方向からの光線の入射を禁止し他の特定方向からの光線の入射を許可することにより、位相差情報を検知するものである。
【０００４】
こうした位相差画素は、いわゆるＡＦエリアと呼ばれる領域に配置される。
【０００５】
例えば、特開２０１４−２３００２０号公報には、ベイヤー配列のカラーフィルタを備える撮像素子において、位相差画素を含む位相差画素配置領域と、位相差画素を含まない通常領域とを備えることが記載されている。
【０００６】
そして近年では、焦点検出をより広い範囲で行うために、位相差画素の配置領域を撮像素子の全撮像領域内におけるより広い範囲に拡大し、かつ、焦点検出の精度を上げるために、画像用画素に対する位相差画素の配置割合を比較的大きくする（位相差画素の配置密度を高くする）（例えば、８画素に１画素の割合にする等）傾向にある。
【０００７】
ただし、位相差画素は上述したように、特定方向の入射光を許容し、他の特定方向の入射光を禁止するものであるために、全撮像領域の周縁部に位相差画素を配置しても、例えば右側が開口した位相差画素には光線が入射するが、左側が開口した（つまり右側が遮光された）位相差画素にはケラレが生じて光線が入射しない（あるいは入射量が少ない）、等が生じる。焦点検出は、例えば、右側が開口した位相差画素の画素信号と、左側が開口した位相差画素の画素信号と、がそろって初めて実行することができるために、つまり、撮像領域の周縁部では有効な位相差画素信号を取得することができないことがある。従って、位相差画素の配置領域を拡大したとしても、全撮像領域は、上述した通常領域と位相差画素配置領域とに分かれるとするのが一般的である。
【０００８】
ところで、位相差画素は、通常のカラー画素と異なり色成分を分離する必要はないために、なるべく高い検出感度を得るべく、輝度成分を有効に取得するフィルタ構成が採用される。デジタルカメラ等の撮像装置において広く使用されている原色ベイヤー配列のカラーフィルタが配置された単板撮像素子の場合には、例えば、輝度相当成分であるグリーン（Ｇ）のフィルタが位相差画素に対して配置される。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１４−２３００２０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ただし、上述したように位相差画素の配置割合を大きくした場合に、全ての位相差画素を例えばベイヤー配列におけるグリーン（Ｇ）画素の位置に配置すると、画像用のＧ画素の数が不足して画質が低下することになる。
【００１１】
そこで、画像用のレッド（Ｒｒ：右側が開口した位相差画素Ｒと区別するために、Ｒｒと記載している）画素、グリーン（Ｇ）画素、ブルー（Ｂｂ：下側が開口した位相差画素Ｂと区別するために、Ｂｂと記載している）画素の個数の割合を考慮しながら、ベイヤー配列におけるＧ画素以外（Ｒｒ画素またはＢｂ画素）の位置に位相差画素を配置することが考えられる。
【００１２】
例えば、本発明の実施形態に係る図５では、画素の右側または左側が遮光された縦線検知用の位相差画素Ｌ，Ｒはベイヤー配列におけるＧ画素に対応する位置に配置されているが、画素の上側または下側を遮光された横線検知用の位相差画素Ｂ，Ｔはベイヤー配列におけるブルー（Ｂｂ）画素に対応する位置に配置されている。
【００１３】
しかし、ベイヤー配列におけるＧ画素以外の位置に位相差画素を配置する場合であっても、上述した検出感度の観点から位相差画素にレッド（Ｒｒ）フィルタやブルー（Ｂｂ）フィルタを設けることは好ましくないために、ベイヤー配列においてＲｒフィルタやＢｂフィルタが配置されるべき位置に位相差画素を配置した場合には、ＲｒフィルタまたはＢｂフィルタに代えてＧフィルタを設けることになり、位相差画素を含む位相差画素配置領域では、一般的なベイヤー配列とは異なる特殊なフィルタの配置パターンを採用することになる。
【００１４】
これに対して、位相差画素を含まない通常領域では一般的なベイヤー配列がそのまま採用されるために、通常領域と位相差画素配置領域とで、フィルタの配置パターンが異なることになる。この場合に、次のような課題が発生する。
【００１５】
ここで、本発明の実施形態に係る図７、図８、および図９を参照して、発生する課題について説明する。
【００１６】
まず、撮像素子に対して原色フィルタＲｒ，Ｇ，Ｂｂを形成する工程は、例えば図７に示すように、Ｇフィルタ、Ｒｒフィルタ、Ｂｂフィルタの順に行われる。
【００１７】
ここで、図８の図表の従来欄に示すように、まず、Ｇフィルタを形成した段階では、通常領域と位相差画素配置領域との何れにおいても、均一なフィルタ厚のＧフィルタが形成される。
【００１８】
次に、Ｒｒフィルタを形成する際に、位相差画素配置領域に形成されるＧフィルタの割合が、通常領域に形成されるＧフィルタの割合よりも高いために、Ｒｒ色素入り感光性樹脂を位相差画素配置領域と通常領域とに塗布すると、位相差画素配置領域と通常領域でのＧフィルタの密度の違いの影響を受けて、位相差画素領域のＲｒ画素のフィルタ厚は、通常領域のＲｒ画素のフィルタ厚よりも例えば厚くなってしまう。
【００１９】
さらに、Ｂｂフィルタを形成する際に、位相差画素配置領域に形成されるＧフィルタおよびＲｒフィルタの割合が、通常領域に形成されるＧフィルタおよびＲｒフィルタの割合よりも高いために、Ｂｂ色素入り感光性樹脂を位相差画素配置領域と通常領域とに塗布すると、位相差画素配置領域と通常領域でのＧフィルタの密度の違いの影響を受けて、位相差画素領域のＢｂ画素のフィルタ厚は、通常領域のＢｂ画素のフィルタ厚よりも例えば厚くなってしまう。
【００２０】
こうして、位相差画素配置領域は、通常領域に比べて、ＲｒフィルタおよびＢｂフィルタのフィルタ厚が例えば厚くなってしまう。この場合には、フィルタが厚い分だけ光の透過率が減少するために、位相差画素配置領域は、通常領域に比べて、Ｇｒ画素信号およびＧｂ画素信号の信号値は同一であるのに、Ｒｒ画素信号およびＢｂ画素信号の信号値が低くなってしまう。その結果、位相差画素配置領域は、通常領域よりも輝度が幾らか減少すると共に、例えば緑色の色味を帯びることになる（図９の従来欄における色相・輝度段差の欄を参照）。
【００２１】
従って、位相差画素配置領域と通常領域とでは、色相（および輝度）に段差が生じるという課題がある。
【００２２】
さらに、位相差画素の画素位置における画像用画素信号は、位相差画素の画素位置におけるベイヤー配列のカラーフィルタと同一色のカラーフィルタを備えた、隣接する画像用画素の画像用画素信号から補間して求められる。このとき、補間画素信号は、複数画素の算術平均（撮影画像の特徴に応じた重み付け平均など）により求められるが、算術平均の処理は単純には平坦化の処理に該当するために、図９の従来欄におけるノイズ感の欄に示すように、フォトダイオードで発生する暗電流ショットノイズや、光ショットノイズ、読出し回路のリセットノイズなどのランダムノイズのノイズ量は、通常領域よりも位相差画素の画素位置における画像用画素信号を補間して求める位相差画素配置領域の方が小さくなり、つまり通常領域と位相差画素配置領域とではノイズ感が異なることになる。
【００２３】
本発明は上記事情に鑑みてなされたものであり、位相差画素を含む第１の画素領域と、有効な位相差画素信号を出力する画素を含まない第２の画素領域と、のカラーバランスの相違を低減することができる撮像素子、撮像装置を提供することを目的としている。
【課題を解決するための手段】
【００２４】
本発明のある態様による撮像素子は、２次元状に配置された複数の画素のそれぞれに、分光特性が異なる複数種類のフィルタの内の何れか１種類のフィルタが形成された撮像素子であって、画像用画素信号をそれぞれ生成して出力する複数の画像用画素と、位相差画素信号をそれぞれ生成して出力する複数の位相差画素と、を含む第１の画素領域と、画像用画素信号をそれぞれ生成して出力する複数の画像用画素を含み、有効な位相差画素信号を出力する画素を含まない第２の画素領域と、を備え、上記第１の画素領域の上記複数の画像用画素は、所定配置パターンに従って上記複数種類のフィルタが配置され、上記複数の位相差画素は、全ての位相差画素に上記複数種類のフィルタの内の第１種類のフィルタが形成されていて、上記所定配置パターンを該位相差画素の位置に適用した場合における、上記第１種類のフィルタが形成される位置であるレギュラー位置に該複数の位相差画素の一部が配置されると共に、上記第１種類のフィルタとは異なる種類のフィルタが形成される位置であるイレギュラー位置に該複数の位相差画素の他の一部が配置され、上記第２の画素領域のフィルタの基本配置パターンは、上記第１の画素領域のフィルタの基本配置パターンと等しい。
【００２５】
本発明のある態様による撮像装置は、上記撮像素子と、上記撮像素子から出力された位相差画素信号に基づき焦点検出を行う焦点検出信号処理回路と、を備え、上記撮像素子の上記第２の画素領域は、上記複数の画像用画素に加えてさらに、無効な位相差画素信号をそれぞれ生成して出力する複数の位相差画素を含み、上記焦点検出信号処理回路は、上記第２の画素領域からの上記無効な位相差画素信号を用いることなく、上記第１の画素領域からの上記位相差画素信号のみを用いて焦点検出を行う。
【発明の効果】
【００２６】
本発明の撮像素子、撮像装置によれば、位相差画素を含む第１の画素領域と、有効な位相差画素信号を出力する画素を含まない第２の画素領域と、のカラーバランスの相違を低減することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施形態１における撮像装置の構成を示すブロック図。
【図２】上記実施形態１における撮像素子の構成の概要を示す図。
【図３】上記実施形態１の撮像素子おける位相差画素の構成例を示す図。
【図４】上記実施形態１において、画像用画素に対するフィルタの所定配置パターンＰ０としてのベイヤー配列を示す図。
【図５】上記実施形態１において、第１の画素領域における画素構成と、画素に形成されるフィルタの基本配置パターンＰ１を示す図。
【図６】上記実施形態１において、第２の画素領域における画素構成と、画素に形成されるフィルタの基本配置パターンＰ２を示す図。
【図７】上記実施形態１の撮像素子に対するオンチップカラーフィルタ製造工程を示すフローチャート。
【図８】図７のオンチップカラーフィルタ製造工程で形成される各色フィルタの厚みを、上記実施形態１と従来とで対比して示す図表。
【図９】上記実施形態１における色相・輝度段差の改善の様子およびノイズ感の改善の様子を従来と対比して示す図表。
【図１０】上記実施形態１において、Ｍｉｘ処理により第１の画素領域から出力される混合画素信号を説明するための図。
【図１１】上記実施形態１において、Ｍｉｘ処理により第２の画素領域から出力される混合画素信号を説明するための図。
【図１２】上記実施形態１において、画素混合読出を行う際の出力信号の様子を説明するためのタイミングチャート。
【発明を実施するための形態】
【００２８】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００２９】
図１から図１２は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。なお、この図１には撮像装置が例えばデジタルカメラとして構成されている例を示すが、撮像装置はデジタルカメラに限定されるものではなく、デジタルビデオカメラ、撮影機能付き電話装置など、撮影機能を有する各種の装置に広く適用することができる。
【００３０】
この撮像装置は、図１に示すように、レンズ１と、撮像素子２と、画像処理部３と、ＡＦ（オートフォーカス）評価値演算部４と、表示部５と、手振検出部７と、手振補正部８と、露光制御部９と、フォーカス制御部１０と、カメラ操作部１１と、カメラ制御部１２と、を備えている。なお、図１にはメモリカード６も記載されているが、このメモリカード６は撮像装置に対して着脱可能に構成されているために、撮像装置に固有の構成でなくても構わない。
【００３１】
レンズ１は、被写体の光学像を撮像素子２の撮像領域に結像する撮像光学系である。このレンズ１は、焦点位置（ピント位置）を調節してフォーカシングを行うためのフォーカスレンズと、通過する光束の範囲を制御するための絞りと、を備え、さらに、本実施形態においては手振補正機能も備えたものとなっている。
【００３２】
撮像素子２は、レンズ１により結像された被写体の光学像を光電変換して画像信号として出力する。この撮像素子２は、後で詳しく説明するように、画像信号を構成するための画像用画素を備えると共に、さらに、焦点検出用の位相差画素を備えている。また、撮像素子２は、本実施形態においてはレンズ１の撮影光軸に垂直な面内を移動可能に構成されていて、手振補正機能を備えたものとなっている。また、撮像素子２は、同一種類のフィルタに係る複数の画素信号を画素混合処理（Ｍｉｘ処理）して読み出すＭｉｘ読み出しを行うことができるようになっている。
【００３３】
画像処理部３は、撮像素子２の画像用画素から出力される画像用画素信号に基づき構成される画像信号に各種の画像処理を行って、表示用あるいは記録用の画像信号を生成するものである。
【００３４】
ＡＦ評価値演算部４は、撮像素子２から出力された画素信号に基づいて合焦状態を示すＡＦ評価値を算出し、カメラ制御部１２へ出力するものである。具体的にＡＦ評価値演算部４は、撮像素子２の位相差画素から読み出された位相差画素信号に基づいて位相差を算出し、ＡＦ評価値として出力するようになっている。なお、ＡＦ評価値演算部４は、さらに、撮像素子２から出力された画像信号に基づいてコントラスト値を算出し、ＡＦ評価値として出力するものであっても構わない（つまり、位相差ＡＦに加えて、さらにコントラストＡＦを行っても構わない）。
【００３５】
表示部５は、画像処理部３により表示用に画像処理された信号に基づき、画像を表示するものである。この表示部５は、ライブビュー表示、撮影直後の静止画像表示、記録済みの静止画像再生表示、動画録画中表示、動画再生表示等を行うとともに、この撮像装置に係る各種の情報等も表示するようになっている。ここに、ライブビュー時あるいは動画記録時には、フレームレートを確保するために、例えば上述したＭｉｘ読み出しが行われる。
【００３６】
メモリカード６は、画像処理部３により記録用に画像処理された信号（静止画像信号、動画像信号など）を保存するための記録媒体である。
【００３７】
手振検出部７は、加速度センサや角速度センサ等を有して構成され、この撮像装置の手振れを検出してカメラ制御部１２へ出力するものである。
【００３８】
手振補正部８は、カメラ制御部１２の制御に基づいて、検出された手振れを相殺するようにレンズ１と撮像素子２との少なくとも一方を移動させ、撮像素子２の撮像領域上に結像される光学的な被写体像に手振れの影響が生じるのを軽減するものである。
【００３９】
露光制御部９は、カメラ制御部１２により決定されたシャッタ速度（露光時間）に基づいて、該カメラ制御部１２の制御の下に、撮像素子２の素子シャッタを制御し、撮像素子２に画像を取得させるものである。さらに、露光制御部９は、カメラ制御部１２により決定された絞り値に基づいて、レンズ１に含まれる絞りの制御等も行うようになっている。ここに、シャッタ速度および絞り値は、撮像素子２から出力された画像信号に基づいて算出された測光データと、カメラ操作部１１により設定された（またはカメラ制御部１２により自動設定された）ＩＳＯ感度と、等を用いて、例えばＡＰＥＸシステムに従ったプログラム線図等に基づきカメラ制御部１２により決定される。また、露光制御部９は、撮像素子２の駆動情報をカメラ制御部１２へ出力するようになっている。
【００４０】
フォーカス制御部１０は、焦点位置（ピント位置）を調節するためにレンズ１を駆動するものである。すなわち、フォーカス制御部１０は、ＡＦ評価値演算部４からＡＦ評価値を受けたカメラ制御部１２の制御に基づいて、レンズ１に含まれるフォーカスレンズを駆動し、撮像素子２に結像される被写体像が合焦に至るようにするものである。また、フォーカス制御部１０は、レンズ位置などのレンズ駆動情報をカメラ制御部１２へ出力するようになっている。
【００４１】
このように、ＡＦ評価値演算部４、カメラ制御部１２、およびフォーカス制御部１０は、撮像素子２から出力された位相差画素信号に基づき焦点検出を行う焦点検出信号処理回路を構成している。
【００４２】
カメラ操作部１１は、この撮像装置に対する各種の操作入力を行うための操作部である。このカメラ操作部１１には、撮像装置の電源をオン／オフするための電源スイッチ、静止画撮影または動画撮影などを指示入力するためのレリーズボタン、静止画撮影モード、動画撮影モード、ライブビューモード、静止画／動画再生モードなどを設定するためのモードボタン等の操作部材が含まれている。
【００４３】
カメラ制御部１２は、フォーカス制御部１０からのレンズ駆動情報やＡＦ評価値演算部４からのＡＦ評価値、露光制御部９からの撮像素子２の駆動情報、画像処理部３からの処理情報、手振検出部７からの手振情報、カメラ操作部１１からの操作入力などに基づいて、画像処理部３、メモリカード６、手振補正部８、露光制御部９、フォーカス制御部１０等を含むこの撮像装置全体を制御するものである。
【００４４】
次に、図２は、撮像素子２の構成の概要を示す図である。なお、この図２に示す各回路要素の配置は、適宜に概念化して記載されており、実際の配置と一致するに限るものではない。
【００４５】
撮像素子２は、画素部２１を備えている。また、撮像素子２は、素子制御部として、制御回路２２と、垂直走査回路２３と、水平読出回路２４と、ＤＡＣ（デジタル・アナログ・コンバータ）２５と、を備えている。さらに、撮像素子２は、画像信号出力部として、列並列型ＡＤ変換器２６と、水平信号線２７と、センスアンプ回路２８と、を備えている。
【００４６】
まず、画素部２１は、露光量に応じた信号電荷を生成する複数の画素３１が２次元状に配置された撮像領域であり、より具体的な２次元状配置としては、例えば行列状の配列が採用されている。そして、この画素部２１における画素３１の、行方向の配列は「行」あるいは「ライン」などと呼ばれ、列方向の配列は「列」と呼ばれる。また、行方向は水平方向、列方向は垂直方向などとも呼ばれる。
【００４７】
画素部２１に配列された画素３１には、行毎に制御信号線３２が接続され、列毎に垂直信号線３３が接続されている。
【００４８】
この画素部２１には、例えば中央部に第１の画素領域Ｒ１が設けられ、さらにこの第１の画素領域Ｒ１の外周側に第２の画素領域Ｒ２が設けられている。
【００４９】
第１の画素領域Ｒ１は、画像用画素信号をそれぞれ生成して出力する複数の画像用画素と、位相差画素信号をそれぞれ生成して出力する複数の位相差画素と、を含んでいる。
【００５０】
また、第２の画素領域Ｒ２は、画像用画素信号をそれぞれ生成して出力する複数の画像用画素を含み、有効な位相差画素信号を出力する画素を含まない。ここに、有効な位相差画素信号を出力する画素を含まないというのは、後で詳しく説明するように、第２の画素領域Ｒ２に位相差画素が設けられていないから位相差画素信号自体を出力しないか、もしくは第２の画素領域Ｒ２に位相差画素は設けられているものの、第２の画素領域Ｒ２の位相差画素により生成される信号は焦点検出に用いるには不適切な信号（無効な位相差画素信号）であるか、の何れかの意味である。
【００５１】
垂直走査回路２３は、シフトレジスタ等で構成されていて、行毎の制御信号線３２が接続されており、画素部２１への制御信号を行毎に独立して出力することができるようになっている。
【００５２】
列並列型ＡＤ変換器２６は、複数の垂直信号線３３に各接続された複数のＡＤＣ（アナログ・デジタル・コンバータ）３４を備えている。全てのＡＤＣ３４は同時に動作可能であるために、任意数の垂直信号線３３を介して同時に伝送されるアナログ信号が、同時にデジタル信号に変換される。そして、列並列型ＡＤ変換器２６は、垂直信号線３３を介して画素３１から列毎に出力された画素信号に対して、例えばノイズ除去や増幅等の信号処理を行い、さらに、アナログの画素信号をデジタル信号へ変換する処理を行う。
【００５３】
ＤＡＣ２５は、制御回路２２が列並列型ＡＤ変換器２６を制御するために出力するデジタル信号（カウント信号）を、アナログ信号（時間に対して一定の傾きで電圧値が変化するランプ電圧信号）に変換するものである。
【００５４】
水平読出回路２４は、例えばシフトレジスタで構成されており、画素信号を読み出そうとする画素列に係る列並列型ＡＤ変換器２６のＡＤＣ３４を順次選択し、列並列型ＡＤ変換器２６から画素信号を順次水平信号線２７へ出力することにより画素信号を読み出すものである。
【００５５】
また、例えば制御回路２２、垂直走査回路２３、水平読出回路２４、および列並列型ＡＤ変換器２６は、適宜の構成（例えば、バッファや加算回路等を含む構成）により画素混合読出回路を構成するようになっている。ここに、画素混合読出回路は、同一種類のフィルタが形成された隣接する複数の画素の画素信号を混合した混合画素信号を生成して読み出すものである。なお、ここでは制御回路２２、垂直走査回路２３、水平読出回路２４、および列並列型ＡＤ変換器２６が画素混合読出回路を兼ねる構成としたが、専用の画素混合読出回路を別途に設けても勿論構わない。
【００５６】
センスアンプ回路２８は、水平信号線２７へ出力された画素信号に対して増幅等の信号処理を行うものである。
【００５７】
制御回路２２は、露光制御部９の制御に基づいて、動作の基準となるクロック信号や、垂直同期信号ＶＤ（図１２参照）、水平同期信号ＨＤ（図１２参照）等の制御信号を生成し、上述した垂直走査回路２３、水平読出回路２４、ＤＡＣ２５、列並列型ＡＤ変換器２６等を制御する制御部である。
【００５８】
次に、図３は、撮像素子２おける位相差画素の構成例を示す図である。なお、この図３は画素部２１を正面から見たときの様子を示しており、レンズ１から見たときの文字「Ｆ」を被写体とすると、この文字「Ｆ」の光学像はレンズ１により反転されて、図３に示すような上下左右方向で結像される。また、図３のｘ方向は水平（Horizontal）方向、ｙ方向は垂直（Vertical）方向を示している。
【００５９】
本実施形態の撮像素子２は、画素部２１に、縦線検知用の位相差画素と横線検知用の位相差画素とが設けられている。
【００６０】
ここに、縦線検知用の位相差画素の群は、画素の右側を遮光部ＳＨにより遮光され左側が開口部ＯＰとなっている位相差画素Ｌの群と、画素の左側を遮光部ＳＨにより遮光され右側が開口部ＯＰとなっている位相差画素Ｒの群と、を対にして含んでいる。そして、位相差画素Ｌ群の画素信号から得られた縦線の水平方向の結像位置と、位相差画素Ｒ群の画素信号から得られた該縦線の水平方向の結像位置との差が、位相差として検出されるようになっている。
【００６１】
また、横線検知用の位相差画素の群は、画素の上側を遮光部ＳＨにより遮光され下側が開口部ＯＰとなっている位相差画素Ｂの群と、画素の下側を遮光部ＳＨにより遮光され上側が開口部ＯＰとなっている位相差画素Ｔの群と、を対にして含んでいる。そして、位相差画素Ｂ群の画素信号から得られた横線の垂直方向の結像位置と、位相差画素Ｔ群の画素信号から得られた該横線の垂直方向の結像位置との差が、位相差として検出されるようになっている。
【００６２】
図４は、画像用画素に対するフィルタの所定配置パターンＰ０としてのベイヤー配列を示す図である。
【００６３】
本実施形態の撮像素子２は、２次元状に配置された複数の画素３１のそれぞれに、分光特性が異なる複数種類のフィルタの内の何れか１種類のフィルタが形成されている。ここに、本実施形態における分光特性が異なる複数種類のフィルタは、レッド（Ｒｒ）フィルタ、グリーン（Ｇ）フィルタ、ブルー（Ｂｂ）フィルタの３種類のカラーフィルタであるものとする。ただし、フィルタは、これら３種類のカラーフィルタに限定されるものではなく、より多くの種類のカラーフィルタを含んでいても良いし、さらにはカラーフィルタ以外のフィルタであっても構わない。例えば、分光特性が異なるフィルタの種類として、透明（Ｗ）フィルタ、赤外線透過（ＩＲ）フィルタなどの各種のフィルタを含んでいても構わない。
【００６４】
そして、本実施形態の撮像素子２に配列された複数の画素３１は、基本的に原色ベイヤー配列のフィルタが形成されるようになっているが、後で図５および図６を参照して説明するように、幾つかの画素３１に対して、原色ベイヤー配列の例外となるフィルタが形成されるようになっている。
【００６５】
この原色ベイヤー配列は、よく知られているように、２×２画素配列を基礎として、２×２画素配列の対角位置２つにグリーン（Ｇ）フィルタを配置し、残りの対角位置２つの一方にレッド（Ｒｒ）フィルタ、他方にブルー（Ｂｂ）フィルタを配置した構成となっている。
【００６６】
そして、レッド（Ｒｒ）フィルタが形成された画素をＲｒ画素、ブルー（Ｂｂ）フィルタが形成された画素をＢｂ画素、Ｒｒ画素と同一行に配列されたグリーン（Ｇ）フィルタが形成された画素をＧｒ画素、Ｂｂ画素と同一行に配列されたグリーン（Ｇ）フィルタが形成された画素をＧｂ画素と称することにする。上述したように、Ｒｒ画素と称するのは右側が開口した位相差画素Ｒと区別するため、Ｂｂ画素と称するのは下側が開口した位相差画素Ｂと区別するためである。また、Ｇｒ画素およびＧｂ画素と称するのは、Ｒｒ画素またはＢｂ画素の何れと同一ラインにあるかを区別するためである。
【００６７】
本実施形態においては、この図４に示したようなフィルタの配置パターンを所定配置パターンＰ０とする。ただし、所定配置パターンＰ０は、図４に示すような配置パターンに限定されるものではなく、例えば補色系の配置パターンでも良いし、配列もその他の配列を採用しても構わない。
【００６８】
図５は、第１の画素領域Ｒ１における画素構成と、画素に形成されるフィルタの基本配置パターンＰ１を示す図である。なお、図５（および後述する図６、図１０、図１１）においては、画素位置を示すためのｘ方向およびｙ方向の相対的なアドレスを、画素配列の下および左に付加して示している。
【００６９】
第１の画素領域Ｒ１は、図５に示すような基本配置パターンＰ１を領域内に隙間なく敷き詰めることで構成されている。
【００７０】
なお、基本配置パターンとは、該基本配置パターンを隙間なく敷き詰めれば該当領域全体のフィルタパターンを構成することができる配置パターンであって、基本配置パターンよりも小さい配置パターンは存在しない最小の配置パターンのことを指す。
【００７１】
まず、第１の画素領域Ｒ１の複数の画像用画素Ｂｂ，Ｇｂ，Ｇｒ，Ｒｒは、図４に示した所定配置パターンＰ０に従って複数種類のフィルタが配置されている。
【００７２】
一方、第１の画素領域Ｒ１の複数の位相差画素Ｒ，Ｌ，Ｔ，Ｂは、全てに、複数種類のフィルタの内の第１種類のフィルタであるＧフィルタが形成されている。
【００７３】
ここで、所定配置パターンＰ０を位相差画素の位置に適用した場合における、第１種類のフィルタ（ここではＧフィルタ）が形成される位置をレギュラー位置、第１種類のフィルタ（同様にＧフィルタ）とは異なる種類のフィルタが形成される位置をイレギュラー位置と呼ぶことにする。
【００７４】
このとき、複数の位相差画素の一部はレギュラー位置に配置され、複数の位相差画素の他の一部はイレギュラー位置に配置されている。例えば、縦線検知用の位相差画素と横線検知用の位相差画素との内の、一方は全てレギュラー位置に配置され、他方は全てイレギュラー位置に配置されるようになっている。
【００７５】
より具体的に、図５に示す例では、位相差画素Ｒ，Ｌ，Ｔ，Ｂの内の、縦線検知用の位相差画素Ｒ，Ｌは全てＧｒ画素相当の位置つまりレギュラー位置に配置され、横線検知用の位相差画素Ｔ，Ｂは全てＢｂ画素相当の位置つまりイレギュラー位置に配置されている。
【００７６】
次に、図６は、第２の画素領域Ｒ２における画素構成と、画素に形成されるフィルタの基本配置パターンＰ２を示す図である。
【００７７】
第２の画素領域Ｒ２のフィルタの基本配置パターンＰ２は、第１の画素領域Ｒ１のフィルタの基本配置パターンＰ１と等しくなるように構成されている。
【００７８】
ただし、フィルタ配置は同一であっても、第２の画素領域Ｒ２は、遮光部ＳＨが形成された位相差画素を含んでいないために、図５に示す第１の画素領域Ｒ１の画素配置における位相差画素Ｒ，Ｌ，Ｔ，Ｂに相当する位置は、図４に示す第２の画素領域Ｒ２の画素配置においてはグリーン（Ｇ）画素となっている。なお、位相差画素Ｒ，Ｌ，Ｔ，Ｂに相当する位置に配置されたグリーン画素は、図６および後述する図１１においては、Ｒｒ画素またはＢｂ画素の何れと同一ラインにあるかに関わらず、Ｇ画素として記載している。
【００７９】
こうして、図６に示す例では、第２の画素領域Ｒ２に位相差画素が含まれていないために、第２の画素領域Ｒ２は、当然にして、有効な位相差画素信号を出力する画素を含まない。
【００８０】
ただし、第２の画素領域Ｒ２の画素構成を、図５に示したような第１の画素領域Ｒ１の画素構成と同一にして、第２の画素領域Ｒ２に位相差画素が含まれるようにしたとしても、第２の画素領域Ｒ２からは有効な位相差画素信号が出力されないものとして扱う。これは次の理由による。
【００８１】
すなわち、位相差画素は、遮光部ＳＨを設けることによって、特定方向の入射光を許容し、他の特定方向の入射光を禁止する構造となっている。このために、画素部２１の周縁部にある第２の画素領域Ｒ２に位相差画素を配置しても、例えば位相差画素Ｒには光線が入射するが、位相差画素Ｌにはケラレが生じて光線が入射しない（あるいは入射量が少ない）、等が生じる。この場合に、第２の画素領域Ｒ２においては、位相差画素Ｒ群と位相差画素Ｌ群とを対にした位相差検出を行うことができないために、有効な位相差画素信号が出力されないものとして扱われる。
【００８２】
つまり、画素部２１の全体に位相差画素を設ける場合には、有効な位相差画素信号を得られる最大の領域を第１の画素領域Ｒ１とし、有効な位相差画素信号が得られない領域を第２の画素領域Ｒ２としている。これにより、位相差検出が可能な領域（いわゆるＡＦエリア）をなるべく大きく確保することが可能となる。
【００８３】
こうして、第２の画素領域Ｒ２は、複数の画像用画素に加えてさらに、無効な位相差画素信号をそれぞれ生成する複数の位相差画素を含んでいても構わない。この場合には、焦点検出信号処理回路であるＡＦ評価値演算部４、カメラ制御部１２、およびフォーカス制御部１０は、第２の画素領域Ｒ２からの無効な位相差画素信号を用いることなく、第１の画素領域Ｒ１からの位相差画素信号のみを用いて焦点検出を行うことになる。
【００８４】
なお、上述した図５および図６に示した例では、第２の画素領域Ｒ２のフィルタの基本配置パターンＰ２を、第１の画素領域Ｒ１のフィルタの基本配置パターンＰ１と等しくしたが、第２の画素領域Ｒ２における種類別のフィルタの割合を、第１の画素領域Ｒ１における種類別のフィルタの割合と等しくするだけでも、ある程度の段差補正（後述する図９等参照）の効果を得ることができる。
【００８５】
図７は撮像素子２に対するオンチップカラーフィルタ製造工程を示すフローチャート、図８は図７のオンチップカラーフィルタ製造工程で形成される各色フィルタの厚みを、本実施形態１と従来とで対比して示す図表である。
【００８６】
図７に示すオンチップカラーフィルタ製造工程は、撮像素子２の製造工程の一部として実施され、撮像素子２の画素３１や図２に示す各回路等を作り込む拡散工程が完了したウェハーに対して行われる。
【００８７】
この図７に示す処理に入ると、まず、画素部２１の全面に、Ｇ色素入りの感光性樹脂（フォトレジスト）を塗布する（ステップＳ１）。
【００８８】
そして、画素部２１にＧフィルタ用のフォトマスクを重ねて紫外線等の光を照射する露光を行い、フォトマスクのパターンを転写する（ステップＳ２）。
【００８９】
その後、ウェハーを現像液に浸して現像し、不要なフォトレジスト部分を除去してから純水で洗浄することにより、Ｇフィルタのみのフィルタパターンが形成される（ステップＳ３）。
【００９０】
このときには、図８の図表の本実施形態欄のＧフィルタ形成後欄に示すように、第１の画素領域Ｒ１と第２の画素領域Ｒ２とで形成されるＧフィルタのフィルタ厚は、同一である。そして、この時点では、従来と比較しても本実施形態のフィルタ厚に相違は生じていない（図８の図表の従来欄のＧフィルタ形成後欄を参照）。
【００９１】
続いて、画素部２１の全面に、Ｒｒ色素入りの感光性樹脂（フォトレジスト）を塗布する（ステップＳ４）。
【００９２】
そして、画素部２１にＲｒフィルタ用のフォトマスクを重ねて紫外線等の光を照射する露光を行い、フォトマスクのパターンを転写する（ステップＳ５）。
【００９３】
その後、ウェハーを現像液に浸して現像し、不要なフォトレジスト部分を除去してから純水で洗浄することにより、Ｇフィルタに加えてＲｒフィルタを有するフィルタパターンが形成される（ステップＳ６）。
【００９４】
従来では、位相差画素配置領域におけるＧフィルタが形成されている画素数の割合は、通常領域におけるＧフィルタが形成されている画素数の割合と比較すると多い。このために、位相差画素配置領域は、通常領域よりも、Ｇフィルタが形成されていない画素にＲｒ色素入りのフォトレジストが集積されることになり、位相差画素配置領域に形成されるＲｒフィルタのフィルタ厚は、通常領域に形成されるＲｒフィルタのフィルタ厚よりも、例えば厚くなる（図８の図表の従来欄のＲｒフィルタ形成後欄を参照）。
【００９５】
これに対して、本実施形態の場合には、第１の画素領域Ｒ１におけるＧフィルタが形成されている画素数の割合と、第２の画素領域Ｒ２におけるＧフィルタが形成されている画素数の割合とは同一である。このために、図８の図表の本実施形態欄のＲｒフィルタ形成後欄に示すように、第１の画素領域Ｒ１と第２の画素領域Ｒ２とで形成されるＲｒフィルタのフィルタ厚は、同一となる。（なお、Ｒｒフィルタのフィルタ厚は、Ｇフィルタのフィルタ厚と異なっているが、これは一般的な傾向であるために問題はない。また、塗布する感光性樹脂の量を調整することで、フィルタ厚みを調整することも可能である。）
【００９６】
さらに、画素部２１の全面に、Ｂｂ色素入りの感光性樹脂（フォトレジスト）を塗布する（ステップＳ７）。
【００９７】
そして、画素部２１にＢｂフィルタ用のフォトマスクを重ねて紫外線等の光を照射する露光を行い、フォトマスクのパターンを転写する（ステップＳ８）。
【００９８】
その後、ウェハーを現像液に浸して現像し、不要なフォトレジスト部分を除去してから純水で洗浄することにより、Ｇフィルタ、Ｒｒフィルタ、およびＢｂフィルタを有するフィルタパターンが形成される（ステップＳ９）。
【００９９】
このときにもＲｒフィルタの場合と同様に、従来では、位相差画素配置領域に形成されるＢｂフィルタのフィルタ厚が、通常領域に形成されるＢｂフィルタのフィルタ厚よりも、例えば厚くなるのに対して、本実施形態の場合には、第１の画素領域Ｒ１と第２の画素領域Ｒ２とで形成されるＢｂフィルタのフィルタ厚は同一となる（図８の図表の本実施形態欄および従来欄のＢｂフィルタ形成後欄を参照）。
【０１００】
こうしてステップＳ９の処理が終了したら、このオンチップカラーフィルタ製造工程から撮像素子２の製造工程に戻って、その後の工程、例えばオンチップマイクロレンズ製造工程などに移行する。
【０１０１】
図９は、色相・輝度段差の改善の様子およびノイズ感の改善の様子を従来と対比して示す図表である。
【０１０２】
上述したように従来は、位相差画素配置領域（図９の色相・輝度段差欄において符号Ｒ１’により示している）が、通常領域（図９の色相・輝度段差欄において符号Ｒ２’により示している）に比べて、ＲｒフィルタおよびＢｂフィルタの厚みが例えば厚くなるために、位相差画素配置領域は、通常領域よりも輝度が幾らか減少すると共に、例えば緑色の色味を帯びることになっていた。これに対して本実施形態では、第１の画素領域Ｒ１と第２の画素領域Ｒ２とで各色のフィルタ厚に相違が生じないために、色相および輝度の何れにも、従来のような段差は生じない。
【０１０３】
また、従来は、位相差画素配置領域の位相差画素の画素値を、隣接する画像用画素の画素値に基づき補間していたが、補間処理は、撮影画像の特徴に応じた重み付け平均などの算術平均により行われ、平坦化の処理に該当するために、図９の従来欄におけるノイズ感の欄に示すように、暗電流ノイズに代表されるようなランダムノイズのノイズ量は通常領域Ｒ２’よりも位相差画素配置領域Ｒ１’の方が小さくなり、つまり通常領域Ｒ２’と位相差画素配置領域Ｒ１’とでノイズ感が異なっていた。
【０１０４】
これに対して本実施形態では、第１の画素領域Ｒ１において位相差画素が配置されている位置に対応する、第２の画素領域Ｒ２の位置の画素については、該画素が位相差画素であるか画像用画素であるかによらず、第１の画素領域Ｒ１と同様に補間処理を行うようにしている。これにより、図９の本実施形態欄のノイズ感の欄に示すように、第１の画素領域Ｒ１と第２の画素領域Ｒ２とのノイズ感を同等のレベルとすることができる。さらに、第１の画素領域Ｒ１と第２の画素領域Ｒ２とを区別することなく同一の補間処理を適用することができるために、処理も簡単となる。
【０１０５】
ところで、撮像素子２からの読み出しは、静止画像用に全画素読み出しが行われる以外にも、上述したように動画用やライブビュー画像用の画素加算読み出しであるＭｉｘ読み出しが行われる。このＭｉｘ処理は、具体的には複数画素の画素値の算術平均の処理となる。
【０１０６】
本実施形態においては、このＭｉｘ読み出しを、以下のルール（１）〜（４）に従って行うものとする。
（１）第１の画素領域Ｒ１のレギュラー位置に配置された位相差画素は、Ｍｉｘ処理に含める。
（２）第１の画素領域Ｒ１のイレギュラー位置に配置された位相差画素は、Ｍｉｘ処理に含めない。
（３）第２の画素領域Ｒ２における、第１の画素領域Ｒ１の位相差画素に対応する位置の画素については、該画素が位相差画素であるか画像用画素であるかに関わらず、上記のルール（１）およびルール（２）を適用する。なお、画素部２１にＯＢ領域がある場合には、ＯＢ領域についても同様に、ルール（１）およびルール（２）を適用する。
（４）デジタル信号に関してＭｉｘ処理を行う場合には、算術平均を行うに際しての加減乗除の各演算の内の、除算については各演算の最後に行い、つまり除算に伴う小数点以下の四捨五入を各演算の最後に行う。
【０１０７】
ここに、レギュラー位置に配置された位相差画素から取得される位相差画素信号は輝度成分を多く含む輝度相当信号であるだけでなく、レギュラー位置の位相差画素信号がＭｉｘ処理される他の画像用画素信号も輝度相当信号である。これに対して、イレギュラー位置に配置された位相差画素から取得される位相差画素信号は輝度相当信号であるのに、イレギュラー位置の位相差画素信号がＭｉｘ処理される他の画像用画素信号は色差成分を多く含む色差相当信号となる。
【０１０８】
従って、レギュラー位置の位相差画素信号をＭｉｘ処理しても輝度相当信号同士のＭｉｘ処理となるのに対して、イレギュラー位置の位相差画素信号をＭｉｘ処理すると輝度相当信号と色差相当信号とのＭｉｘ処理となってしまう。
【０１０９】
さらに、一般に、主に色差情報を担うＢｂ画素とＲｒ画素情報は、主に輝度情報を担うＧｒ，Ｇｂ情報と比べると、空間内の情報量が少なくても、人間の目ではあまり差を視認できない。
【０１１０】
そこで、レギュラー位置の位相差画素信号については（１）を適用し、イレギュラー位置の位相差画素信号については（２）を適用する。
【０１１１】
具体的に、上述したルール（１）に従えば、Ｍｉｘ処理の対象画素位置に、所定配置パターンＰ０におけるＧｒ画素に対応する位置に配置された位相差画素（図５の例では位相差画素Ｒ，Ｌ）が含まれている場合には、Ｍｉｘ処理に含めることになる。
【０１１２】
また、上述したルール（２）に従えば、Ｍｉｘ処理の対象画素位置に、所定配置パターンＰ０におけるＢｂ画素に対応する位置に配置された位相差画素（図５の例では位相差画素Ｔ，Ｂ）が含まれている場合は、Ｍｉｘに含めないことになる。
【０１１３】
さらに、上述したルール（３）は、第１の画素領域Ｒ１と第２の画素領域Ｒ２とで、対応する画素位置では同様の処理を適用することにより、Ｍｉｘ処理画像においても、図９を参照して説明したようなノイズ感の段差が生じないようにしたものである。ここに、第１の画素領域Ｒ１のイレギュラー位置の位相差画素に対応する位置に配置された第２の画素領域Ｒ２の画素が画像用画素である場合には、従来は、画素信号をＭｉｘ処理に含めていた。従って、第２の画素領域Ｒ２の画像用画素に対してルール（２）を適用することは、従来と比べて新規な処理となっている。
【０１１４】
そして、ルール（３）の適用により、Ｍｉｘ処理を第１の画素領域Ｒ１と第２の画素領域Ｒ２とで（さらにＯＢ領域においても）異ならせる必要がなくなるために、Ｍｉｘ処理の対象画素が第１の画素領域Ｒ１と第２の画素領域Ｒ２と（あるいはＯＢ領域と）の何れに含まれているかを判定して判定結果に基づいて処理を分岐する等が不要となるために、処理を簡潔にすることができる。
【０１１５】
ここで、図１０を参照して、ルール（１）およびルール（２）の適用例について説明する。図１０は、Ｍｉｘ処理により第１の画素領域Ｒ１から出力される混合画素信号を説明するための図である。なお、画素のｘ方向およびｙ方向の相対的なアドレスを、（ｘ，ｙ）により表すものとする。
【０１１６】
この図１０に示す画素配列の画素信号から、同一種類のフィルタを備える画素同士の、水平方向２画素中の２画素および垂直方向２画素中の２画素の加算を行うＶ２／２Ｈ２／２Ｍｉｘ読み出しを行った場合の画素信号Ｇｒ＿ｍｉｘ，Ｒｒ＿ｍｉｘ，Ｇｂ＿ｍｉｘ，Ｂｂ＿ｍｉｘは、次の数式１〜数式４に示すように得られる。
［数１］
Ｇｒ＿ｍｉｘ
＝｛Ｒ（０，０）＋Ｇｒ（２，０）＋Ｇｒ（０，２）＋Ｇｒ（２，２）｝／４
［数２］
Ｒｒ＿ｍｉｘ
＝｛Ｒｒ（１，０）＋Ｒｒ（３，０）＋Ｒｒ（１，２）＋Ｒｒ（３，２）｝／４
［数３］
Ｇｂ＿ｍｉｘ
＝｛Ｇｂ（１，１）＋Ｇｂ（３，１）＋Ｇｂ（１，３）＋Ｇｂ（３，３）｝／４
［数４］
Ｂｂ＿ｍｉｘ
＝｛Ｂｂ（０，１）                ＋Ｂｂ（０，３）＋Ｂｂ（２，３）｝／３
【０１１７】
すなわち、数式１に示すように、ルール（１）に従って、Ｇｒ（０，０）の位置に対応するＲ（０，０）はＭｉｘ処理に含められる。こうして、画素混合読出回路は、第１の画素領域Ｒ１のレギュラー位置に配置された位相差画素の位相差画素信号と、位相差画素に隣接する第１種類のフィルタ（具体例としてはＧフィルタ）が形成された画像用画素の画像用画素信号と、を混合して混合画素信号を生成する。
【０１１８】
なお、位相差画素は、上述したように開口の一部が遮光部ＳＨにより遮光されていて、開口部ＯＰの開口面積が、画像用画素の開口面積よりも小さいために、位相差画素信号の信号値は、画像用画素信号の信号値よりも低い。従って、位相差画素信号を含む混合画素信号の画素値は、位相差画素信号を含まない混合画素信号の画素値よりも低くなる。さらに、ピントが合っていない被写体からの光が位相差画素に入射した場合には、画像用画素との位相の相違に基づく幾何学模様が発生することがある。そこで、こうした画素値の低下や幾何学模様の発生は、例えば画像処理部３により公知の補正処理を行うことで補正されるようになっている。
【０１１９】
また、数式４に示すように、ルール（２）に従って、Ｂｂ（２，１）の位置に対応するＧ（２，１）はＭｉｘ処理から除外される。こうして、画素混合読出回路は、第１の画素領域Ｒ１のイレギュラー位置に配置された位相差画素の位相差画素信号を含めずに混合画素信号を生成する。
【０１２０】
次に、図１１を参照してルール（３）の適用例について説明する。ここに、図１１は、Ｍｉｘ処理により第２の画素領域Ｒ２から出力される混合画素信号を説明するための図である。
【０１２１】
上述と同様に、同一種類のフィルタを備える画素同士のＶ２／２Ｈ２／２Ｍｉｘ読み出しを行った場合の画素信号Ｇｒ＿ｍｉｘ，Ｒｒ＿ｍｉｘ，Ｇｂ＿ｍｉｘ，Ｂｂ＿ｍｉｘは、次の数式５〜数式８に示すように得られる。
［数５］
Ｇｒ＿ｍｉｘ
＝｛Ｇ（０，０）＋Ｇｒ（２，０）＋Ｇｒ（０，２）＋Ｇｒ（２，２）｝／４
［数６］
Ｒｒ＿ｍｉｘ
＝｛Ｒｒ（１，０）＋Ｒｒ（３，０）＋Ｒｒ（１，２）＋Ｒｒ（３，２）｝／４
［数７］
Ｇｂ＿ｍｉｘ
＝｛Ｇｂ（１，１）＋Ｇｂ（３，１）＋Ｇｂ（１，３）＋Ｇｂ（３，３）｝／４
［数８］
Ｂｂ＿ｍｉｘ
＝｛Ｂｂ（０，１）                ＋Ｂｂ（０，３）＋Ｂｂ（２，３）｝／３
【０１２２】
すなわち、数式５に示すように、ルール（３）に基づき適用されたルール（１）に従って、Ｇｒ（０，０）の位置に対応するＧ（０，０）はＭｉｘ処理に含められる。
【０１２３】
また、数式８に示すように、ルール（３）に基づき適用されたルール（２）に従って、Ｂｂ（２，１）の位置に対応するＧ（２，１）はＭｉｘ処理から除外される。こうして、画素混合読出回路は、第２の画素領域Ｒ２のイレギュラー位置に配置された画素の画素信号を含めずに混合画素信号を生成する。
【０１２４】
次に、ルール（４）は、デジタル信号をＭｉｘ処理する際に、与えられたビット精度の範囲内で、なるべく演算誤差を小さくするためのルールとなっている。従って、Ｍｉｘ処理をアナログ信号の段階で行う場合には、このルール（４）を考慮する必要はない。
【０１２５】
まず、画素値は１０ビットでＡ／Ｄ変換されたものであって、Ｍｉｘ処理の除算に関連する演算（具体的に、算術平均の際に、×（１／３）、×（１／４）、×（１／５）等の演算が発生する）を行うときには、小数１２ビット分の演算精度が確保されているものとする。
【０１２６】
具体的に、小数１２ビット表現では、１／３は１３６５／４０９６＝０．３３３２５２、１／４は１０２４／４０９６＝０．２５、１／５は８１９／４０９６＝０．１９９９５１となる。
【０１２７】
（例１）３画素の画素値が３８９，２５４，１６２である場合の３画素平均は、以下のように算出する。
３画素平均＝（３８９＋２５４＋１６２）×１３６５／４０９６
＝８０５×０．３３３２５２＝２６８
【０１２８】
（例２）４画素の画素値が３８９，２５４，１６２，９２である場合の４画素平均は、以下のように算出する。
４画素平均＝（３８９＋２５４＋１６２＋９２）×１０２４／４０９６
＝８９７×０．２５＝２２４
【０１２９】
（例３）５画素の画素値が３８９，２５４，１６２，９２，１１１である場合の５画素平均は、以下のように算出する。
５画素平均＝（３８９＋２５４＋１６２＋９２＋１１１）×８１９／４０９６
＝１００８×０．１９９９５１＝２０２
【０１３０】
例１〜３の何れにおいても、小数点以下の四捨五入は、他の演算を含んだ全体の演算の最後に行われる。このような処理手順とすることが、演算誤差を最小限に抑制する観点から望ましい。
【０１３１】
ルール（４）に従った演算方法を採用することにより、高い演算ビット精度を必要とすることなく、あるいは高度な演算機能を備えなくても、必要な精度の演算結果を得ることができる。
【０１３２】
なお、Ｍｉｘ処理後の画素信号（混合画素信号）は、数式１〜３，５〜７では４画素平均として算出されるが、数式４，８では３画素平均として算出されている。ここに、数式４と数式８は同一の演算式であるために、数式４のみについて考えると、数式４は次の数式４’のように書き替えられる。
［数４’］
Ｂｂ＿ｍｉｘ
＝［｛Ｂｂ（０，１）＋Ｂｂ（０，３）＋Ｂｂ（２，３）｝／４］×（４／３）
【０１３３】
この数式４’は、通常のＭｉｘ処理と同様に画素値を加算して４で割る処理を行った場合に、１画素分の画素信号が不足して信号値が低下するために、画素混合読出回路が、通常のＭｉｘ処理を行った後の混合画素信号を、４／３倍にゲインアップして補正したと読むことができる。
【０１３４】
こうして、画素混合読出回路は、イレギュラー位置に配置された画素の画素信号を含めずに生成した混合画素信号の信号値の低下を補うように、混合画素信号をゲインアップしている。
【０１３５】
また、数式４は次の数式４”のようにも書き替えられる。
［数４”］
Ｂｂ＿ｍｉｘ
＝［Ｂｂ（０，１）＋｛Ｂｂ（０，１）＋Ｂｂ（０，３）＋Ｂｂ（２，３）｝／１２
＋Ｂｂ（０，３）＋Ｂｂ（２，３）］／４
【０１３６】
この数式４”は、不足しているＢｂ（２，１）の位置の画素値を、画素混合読出回路が補間して、｛Ｂｂ（０，１）＋Ｂｂ（０，３）＋Ｂｂ（２，３）｝／１２の補間画素信号を生成し、補間画素信号を含めて混合画素信号を生成したと読むことができる。
【０１３７】
こうして、画素混合読出回路は、所定配置パターンＰ０を適用した場合にイレギュラー位置に該当する種類のフィルタが形成された、イレギュラー位置に隣接する画像用画素の画像用画素信号に基づいて、イレギュラー位置の補間画素信号を生成し、補間画素信号を含めて混合画素信号を生成している。
【０１３８】
なお、数式４”に示した方法を用いて生成した補間画素信号を混合画素信号の生成に用いるに限るものではなく、例えば、さらに周辺にあるＢｂ画素の画素値を用いて生成した補間画素信号を混合画素信号の生成に用いるようにしても勿論構わない。このように、混合画素信号の生成に用いる補間画素信号の生成方法は、特定の方法に限定されるものではない。
【０１３９】
次に、図１２は、画素混合読出を行う際の出力信号の様子を説明するためのタイミングチャートである。なお、この図１２は、ローリング露光およびローリング読み出しを行う場合の例を示している。
【０１４０】
撮像素子２が任意の読出モードで動作しているときに、カメラ操作部１１が操作される等によりＭｉｘ読出モードへの変更が指示されると、カメラ制御部１２の制御の下に、露光制御部９から撮像素子２へ、垂直同期信号ＶＤに同期したタイミングＴ１において、Ｍｉｘ読出モードへの変更が設定される。なお、その後も同様に、垂直同期信号ＶＤに同期したタイミングＴ２，Ｔ３等が、感度設定やシャッタ速度の設定を変更するためのタイミングとなる。
【０１４１】
ところで、ローリング露光は、垂直同期信号ＶＤの立ち上がりタイミングから露光時間Ｔｅｘｐだけ遡った時点で、例えば上端のラインから下端のラインへ向けて順々に開始される。従って、Ｍｉｘ読出モードに設定されたタイミングＴ１の時点では、既に一部の画素で露光が開始されているために、露光途中でモード変更された該当フレームは不正フレームとなり、フレーム画像の生成には用いられない。
【０１４２】
そして、不正フレームの次のフレームからＭｉｘ読出モードの画像データが出力される。ローリング読み出しにおいては、水平同期信号ＨＤに同期して、画素信号が１ラインずつ読み出される。図１２の最下段に、１ＨＤにおいて出力される画素信号の様子を示している。
【０１４３】
図１２の最下段に示すように、１ラインの読み出しにおいて、まず、第１の画素領域Ｒ１および第２の画素領域Ｒ２からＭｉｘ処理された混合画素信号が順次読み出され、１ライン分の混合画素信号が全て読み出された後に、該当ライン上に位置する第１の画素領域Ｒ１の位相差画素から位相差画素信号が読み出される。上述したように、第２の画素領域Ｒ２からは有効な位相差画素信号が出力されないために、位相差画素信号は第１の画素領域Ｒ１のみから読み出される。
【０１４４】
こうして、画素混合読出回路は、混合画素信号については第１の画素領域Ｒ１および第２の画素領域Ｒ２から読み出し、位相差画素信号については第１の画素領域Ｒ１のみから読み出す。
【０１４５】
このような実施形態１によれば、第１の画素領域Ｒ１のレギュラー位置だけでなくイレギュラー位置にも位相差画素を配置したために、位相差画素の配置密度を高めて、焦点検出精度を高めることができる。そして、位相差画素がレギュラー位置のみに配置される場合に比べて、第１種類のフィルタ（例えばＧフィルタ）が形成された画像用画素の数が大きく減少するのを防止し、画像全体の解像度低下を抑制することができる。
【０１４６】
さらに、第２の画素領域Ｒ２のフィルタの基本配置パターンＰ２を、第１の画素領域Ｒ１のフィルタの基本配置パターンＰ１と等しくしたために、位相差画素を含む第１の画素領域と、有効な位相差画素信号を出力する画素を含まない第２の画素領域と、のカラーバランスの相違を低減することができる。
【０１４７】
また、混合画素信号については第１の画素領域Ｒ１および第２の画素領域Ｒ２から読み出し、位相差画素信号については第１の画素領域Ｒ１のみから読み出すようにしたために、Ｍｉｘ読み出しが可能になると共に、Ｍｉｘ読み出しを行う際の第２の画素領域Ｒ２からの無効な位相差画素信号の読み出しを省略することができる。
【０１４８】
そして、第２の画素領域Ｒ２が位相差画素を含まないように構成した場合には、第１の画素領域Ｒ１における位相差画素の位置に対応する第２の画素領域Ｒ２の画素位置から、画像用画素信号を取得することが可能となる。
【０１４９】
加えて、縦線検知用の位相差画素と横線検知用の位相差画素とを含むように構成したために、被写体パターンが水平方向であるか垂直方向であるかに関わらず、焦点検出を行うことが可能となる。このとき、縦線検知用の位相差画素と横線検知用の位相差画素との内の、一方を全てレギュラー位置に配置し、他方を全てイレギュラー位置に配置したために、第１種類のフィルタ（例えば、Ｇフィルタ）が配置された画素からの画像用画素信号が減少するのを抑制することができ、ひいては画像の解像度が低下するのを抑制することができる。
【０１５０】
また、第１の画素領域Ｒ１のレギュラー位置に配置された位相差画素の位相差画素信号と、位相差画素に隣接する第１種類のフィルタが形成された画像用画素の画像用画素信号と、を混合して混合画素信号を生成するようにしたために、輝度相当成分を含む位相差画素信号を用いた混合画素信号を得ることができ、画像の解像度を高めることができる。
【０１５１】
さらに、第１の画素領域Ｒ１のイレギュラー位置に配置された位相差画素の位相差画素信号を含めずに混合画素信号を生成するようにしたために、ピントが合っていない被写体からの光が位相差画素に入射した場合の幾何学模様の発生を抑制することができる。
【０１５２】
同様に、第２の画素領域Ｒ２のイレギュラー位置に配置された画素の画素信号を含めずに混合画素信号を生成するようにしたために、第２の画素領域Ｒ２についても上述した第１の画素領域Ｒ１と同様に幾何学模様の発生を抑制することができる。
【０１５３】
そして、所定配置パターンＰ０を適用した場合にイレギュラー位置に該当する種類のフィルタが形成された、イレギュラー位置に隣接する画像用画素の画像用画素信号に基づいて、イレギュラー位置の補間画素信号を生成し、補間画素信号を含めて混合画素信号を生成するようにしたために、混合画素信号の画素値の低下を抑制することができる。
【０１５４】
一方、イレギュラー位置に配置された画素の画素信号を含めずに生成した混合画素信号の信号値の低下を補うように、混合画素信号をゲインアップする場合にも、混合画素信号の画素値の低下を抑制することができる。
【０１５５】
また、複数の画像用画素に加えてさらに、無効な位相差画素信号をそれぞれ生成する複数の位相差画素を含むように第２の画素領域Ｒ２を構成した場合には、第１の画素領域Ｒ１と第２の画素領域Ｒ２とを区別することなく撮像素子２を製造することができる。
【０１５６】
そして、第２の画素領域Ｒ２に無効な位相差画素信号を生成して出力する位相差画素が含まれている場合でも、ＡＦ評価値演算部４、カメラ制御部１２、およびフォーカス制御部１０等の焦点検出信号処理回路は、第２の画素領域Ｒ２からの無効な位相差画素信号を用いることなく、第１の画素領域Ｒ１からの位相差画素信号のみを用いて焦点検出を行うために、誤差の小さい正確な焦点検出を行うことができる。
【０１５７】
なお、上述した各部は、回路として構成されていてもよい。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていてもよいし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。
【０１５８】
また、上述では主として撮像素子や撮像装置について説明したが、撮像素子や撮像装置を上述したように作動させる作動方法であってもよいし、コンピュータに撮像装置等と同様の処理を行わせるための処理プログラムあるいはコンピュータに撮像素子を制御させるための処理プログラム、または該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
【０１５９】
さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【０１６０】
１…レンズ
２…撮像素子
３…画像処理部
４…ＡＦ評価値演算部
５…表示部
６…メモリカード
７…手振検出部
８…手振補正部
９…露光制御部
１０…フォーカス制御部
１１…カメラ操作部
１２…カメラ制御部
２１…画素部
２２…制御回路
２３…垂直走査回路
２４…水平読出回路
２５…ＤＡＣ（デジタル・アナログ・コンバータ）
２６…列並列型ＡＤ変換器
２７…水平信号線
２８…センスアンプ回路
３１…画素
３２…制御信号線
３３…垂直信号線
３４…ＡＤＣ（アナログ・デジタル・コンバータ）
Ｂｂ，Ｇｂ，Ｇｒ，Ｒｒ…画像用画素
Ｐ０…所定配置パターン
Ｐ１…第１の画素領域の基本配置パターン
Ｐ２…第２の画素領域の基本配置パターン
Ｒ，Ｌ…縦線検知用の位相差画素
Ｔ，Ｂ…横線検知用の位相差画素
Ｒ１…第１の画素領域
Ｒ２…第２の画素領域
ＯＰ…開口部
ＳＨ…遮光部
【図１】
2018046394.tif 000003
【図２】
2018046394.tif 000004
【図３】
2018046394.tif 000005
【図４】
2018046394.tif 000006
【図５】
2018046394.tif 000007
【図６】
2018046394.tif 000008
【図７】
2018046394.tif 000009
【図８】
2018046394.tif 000010
【図９】
2018046394.tif 000011
【図１０】
2018046394.tif 000012
【図１１】
2018046394.tif 000013
【図１２】
2018046394.tif 000014