(57)【要約】【課題】位相差画素が画像用画素に与える光学クロストーク量を精度良く検出することができるクロストーク量検出装置等を提供する。【解決手段】位相差画素を含む位相差検出領域と位相差画素を含まない通常領域とを有する撮像素子からの出力に対して、位相差検出領域内に第１エリアを、通常領域内に第２エリアを各設定し、第１エリア内の被影響画素の出力をＡ、Ａに対応する第２エリア内の画像用画素の出力をＢとしたときに、少なくとも出力Ａと出力Ｂとを用いた演算により被影響画素の出力に含まれる光学クロストーク量を検出するカメラ制御部１２および画像処理部３を備えるクロストーク量検出装置。【選択図】図１
2018078427.tif 000002
【特許請求の範囲】
【請求項１】
画像用画素と焦点検出用の位相差画素とをＮ×Ｍ（N，Mは正の整数）画素配列内に配置した基本画素配列を２次元状に複数配列した位相差検出領域と、
上記画像用画素を配置し上記位相差画素を含まない通常領域と、
を有する撮像素子からの出力を処理するクロストーク量検出装置であって、
上記位相差検出領域内に上記基本画素配列を１つ以上含むように第１エリアを設定すると共に、上記通常領域内に上記基本画素配列に対応するＮ×Ｍ画素配列を１つ以上含むように第２エリアを設定するエリア設定部と、
上記位相差画素からの光学クロストークの影響を受ける上記第１エリア内の画像用画素である被影響画素の出力をＡ、上記第２エリア内における上記被影響画素に対応する位置の画像用画素の出力をＢとしたときに、少なくとも出力Ａと出力Ｂとを用いた演算により上記被影響画素の出力に含まれる光学クロストーク量を検出するクロストーク量検出部と、
を備えることを特徴とするクロストーク量検出装置。
【請求項２】
上記第１エリア内の上記被影響画素以外の画像用画素である非影響画素の出力をＣ、上記第２エリア内における上記非影響画素に対応する位置の画像用画素の出力をＤとしたときに、上記クロストーク量検出部は、さらに、出力Ｃと出力Ｄとに基づいて上記少なくとも出力Ａと出力Ｂとを用いた演算を補正することにより、上記被影響画素の出力に含まれる光学クロストーク量を検出することを特徴とする請求項１に記載のクロストーク量検出装置。
【請求項３】
上記クロストーク量検出部は、Ｂに対するＡの比の１からのズレ量｛（Ａ／Ｂ）−１｝を、Ｄに対するＣの比の１からのズレ量｛（Ｃ／Ｄ）−１｝で補正することにより、上記被影響画素の出力に含まれる光学クロストーク量を検出することを特徴とする請求項２に記載のクロストーク量検出装置。
【請求項４】
上記位相差画素に隣接しない画像用画素を上記非影響画素とし、
画素配列における上、下、左、または右に隣接して上記位相差画素が存在する画像用画素を、上記被影響画素とすることを特徴とする請求項３に記載のクロストーク量検出装置。
【請求項５】
上記被影響画素以外の、画素配列における左上、右上、左下、または右下に隣接して上記位相差画素が存在する画像用画素を、さらに上記非影響画素とすることを特徴とする請求項４に記載のクロストーク量検出装置。
【請求項６】
上記撮像素子は、複数の上記画像用画素のそれぞれに、分光特性が異なる複数種類のフィルタの内の何れか１種類のフィルタが形成されていて、
上記クロストーク量検出装置は、上記光学クロストーク量を検出する対象の上記被影響画素と同一種類のフィルタが形成された画素の出力に基づいて、上記光学クロストーク量を検出することを特徴とする請求項１〜５の何れか一項に記載のクロストーク量検出装置。
【請求項７】
上記撮像素子から出力された画像に対して、上記クロストーク量検出部により検出された光学クロストーク量を補正する画像処理部をさらに備えることを特徴とする請求項１または２に記載のクロストーク量検出装置。
【請求項８】
上記光学クロストーク量の補正が必要な色差領域に係る情報を記録する記録部と、
上記撮像素子から出力された画像の色差を検出して、検出した色差が上記補正が必要な色差領域に入る場合に上記画像処理部に上記光学クロストーク量の補正を行わせ、検出した色差が上記補正が必要な色差領域に入らない場合に上記画像処理部に上記光学クロストーク量の補正をスキップさせる制御部と、
をさらに備えることを特徴とする請求項７に記載のクロストーク量検出装置。
【請求項９】
上記撮像素子は、上記通常領域のカラーフィルタの配置パターンが上記位相差検出領域のカラーフィルタの配置パターンと異なり、
上記第１エリア内の上記被影響画素以外の画像用画素である非影響画素の出力をＣ、上記第２エリア内における上記非影響画素に対応する位置の画像用画素の出力をＤとしたときに、出力Ｃと出力Ｄとに基づいて、上記カラーフィルタの配置パターンが異なることに起因するカラーフィルタ段差量を検出するカラーフィルタ段差検出部をさらに備えることを特徴とする請求項１に記載のクロストーク量検出装置。
【請求項１０】
上記カラーフィルタ段差検出部は、Ｄに対するＣの比の１からのズレ量｛（Ｃ／Ｄ）−１｝に基づいて、上記カラーフィルタ段差量を検出することを特徴とする請求項９記載のクロストーク量検出装置。
【請求項１１】
上記カラーフィルタ段差検出部により検出された上記カラーフィルタ段差量を用いて、画像のカラーフィルタ段差を補正する画像処理部をさらに備えることを特徴とする請求項１０に記載のクロストーク量検出装置。
【請求項１２】
画像用画素と焦点検出用の位相差画素とをＮ×Ｍ（N，Mは正の整数）画素配列内に配置した基本画素配列を２次元状に複数配列した位相差検出領域と、上記画像用画素を配置し上記位相差画素を含まない通常領域と、を有する撮像素子からの出力を処理するクロストーク量検出方法であって、
上記位相差検出領域内に上記基本画素配列を１つ以上含むように第１エリアを設定すると共に、上記通常領域内に上記基本画素配列に対応するＮ×Ｍ画素配列を１つ以上含むように第２エリアを設定するエリア設定ステップと、
上記位相差画素からの光学クロストークの影響を受ける上記第１エリア内の画像用画素である被影響画素の出力をＡ、上記第２エリア内における上記被影響画素に対応する位置の画像用画素の出力をＢとしたときに、少なくとも出力Ａと出力Ｂとを用いた演算により上記被影響画素の出力に含まれる光学クロストーク量を検出するクロストーク量検出ステップと、
を備えることを特徴とするクロストーク量検出方法。
【請求項１３】
上記撮像素子から出力された画像に対して、上記クロストーク量検出ステップにより検出された光学クロストーク量を補正する画像処理ステップをさらに備えることを特徴とする請求項１２に記載のクロストーク量検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位相差画素が画像用画素に及ぼす光学クロストークの量を検出するクロストーク量検出装置、クロストーク量検出方法に関する。
【背景技術】
【０００２】
近年、２次元状に配置された画像用画素の中に、焦点検出用の位相差画素信号を生成する位相差画素を離散的に配置した撮像素子が実用化され、商品化されている。
【０００３】
ここに、位相差画素は、通常の画像用画素における開口の一部を遮光することで、特定方向からの光線の入射を禁止し他の特定方向からの光線の入射を許可することにより、位相差情報を検知するものである。
【０００４】
こうした位相差画素は、いわゆるＡＦエリアと呼ばれる位相差検出領域に配置される。
【０００５】
そして近年では、焦点検出をより広い範囲で行うために、位相差検出領域を撮像素子の全撮像領域内におけるより広い範囲に拡大し、かつ、焦点検出の精度を上げるために、画像用画素に対する位相差画素の配置割合を比較的大きくする（位相差画素の配置密度を高くする）（例えば、８画素に１画素の割合にする等）傾向にある。
【０００６】
ところで、撮像素子において、着目画素に入射した光が、該着目画素の隣接画素のフォトダイオードに到達して光電変換されることにより、隣接画素に発生する電荷の量が変化してしまう光学クロストークという現象が知られている。
【０００７】
このとき、位相差画素は画像用画素と画素構造が異なるために、位相差画素が隣接する画像用画素に対して発生させる光学クロストークの量は、画像用画素が隣接する画像用画素に対して発生させる光学クロストークの量とは異なる。これにより、位相差画素の配置パターンに応じた光学クロストークによる模様が画像に生じてしまう。
【０００８】
これに対して、光学クロストークを軽減する技術が従来より提案されており、例えば特開２０１４−１１０６１９号公報には、位相差画素等の機能画素の感度補正データ、および機能画素に隣接する撮像画素から当該機能画素に漏れ込む光によるクロストークのデータを記憶する記憶手段と、記憶手段から感度補正データおよびクロストークのデータを取得し、機能画素の位置における画素データを補正する補正手段と、を備える技術が記載されている。
【０００９】
また、特開２０１４−２３００２０号公報には、位相差検出画素からのクロストークの影響を受けた画素の画素値と、その近傍にある、位相差検出画素からのクロストークの影響を受けていない画素の画素値とから、それぞれの画素値のクロストーク影響量を推定するクロストーク影響量推定部と、クロストーク影響量推定部により推定されたクロストーク影響量に基づいて位相差検出画素からのクロストークの影響を受けた画素の画素値を補正する補正処理部と、を備える画像処理装置が記載されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１４−１１０６１９号公報
【特許文献２】特開２０１４−２３００２０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記特開２０１４−１１０６１９号公報に記載の技術は、画像用画素が機能画素に与えるクロストークを補正する技術であり、機能画素が画像用画素に与えるクロストークについては考慮されていない。
【００１２】
また、画像用画素の配列の中に位相差画素を配置した位相差検出領域と、画像用画素を含むが位相差画素を含まない通常領域とでは、画素出力にずれが生じ、領域間の出力段差として観察される。しかし、上記特開２０１４−２３００２０号公報に記載の技術では、こうした段差については考慮されていない。また、本願で対象とするクロストークとは特徴が異なり、隣接画素が画素（フォトダイオード）の飽和レベルを超えた場合に発生するクロストークを問題としているものである。
【００１３】
本発明は上記事情に鑑みてなされたものであり、位相差画素が画像用画素に与える光学クロストーク量を精度良く検出することができるクロストーク量検出装置、クロストーク量検出方法を提供することを目的としている。
【課題を解決するための手段】
【００１４】
本発明のある態様によるクロストーク量検出装置は、画像用画素と焦点検出用の位相差画素とをＮ×Ｍ（N，Mは正の整数）画素配列内に配置した基本画素配列を２次元状に複数配列した位相差検出領域と、上記画像用画素を配置し上記位相差画素を含まない通常領域と、を有する撮像素子からの出力を処理するクロストーク量検出装置であって、上記位相差検出領域内に上記基本画素配列を１つ以上含むように第１エリアを設定すると共に、上記通常領域内に上記基本画素配列に対応するＮ×Ｍ画素配列を１つ以上含むように第２エリアを設定するエリア設定部と、上記位相差画素からの光学クロストークの影響を受ける上記第１エリア内の画像用画素である被影響画素の出力をＡ、上記第２エリア内における上記被影響画素に対応する位置の画像用画素の出力をＢとしたときに、少なくとも出力Ａと出力Ｂとを用いた演算により上記被影響画素の出力に含まれる光学クロストーク量を検出するクロストーク量検出部と、を備える。
【００１５】
本発明のある態様によるクロストーク量検出方法は、画像用画素と焦点検出用の位相差画素とをＮ×Ｍ（N，Mは正の整数）画素配列内に配置した基本画素配列を２次元状に複数配列した位相差検出領域と、上記画像用画素を配置し上記位相差画素を含まない通常領域と、を有する撮像素子からの出力を処理するクロストーク量検出方法であって、上記位相差検出領域内に上記基本画素配列を１つ以上含むように第１エリアを設定すると共に、上記通常領域内に上記基本画素配列に対応するＮ×Ｍ画素配列を１つ以上含むように第２エリアを設定するエリア設定ステップと、上記位相差画素からの光学クロストークの影響を受ける上記第１エリア内の画像用画素である被影響画素の出力をＡ、上記第２エリア内における上記被影響画素に対応する位置の画像用画素の出力をＢとしたときに、少なくとも出力Ａと出力Ｂとを用いた演算により上記被影響画素の出力に含まれる光学クロストーク量を検出するクロストーク量検出ステップと、を備える。
【発明の効果】
【００１６】
本発明のクロストーク量検出装置、クロストーク量検出方法によれば、位相差画素が画像用画素に与える光学クロストーク量を精度良く検出することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態１における撮像装置の構成を示すブロック図。
【図２】上記実施形態１における撮像素子の構成の概要を示す図。
【図３】上記実施形態１の撮像素子おける位相差画素の構成例を示す図。
【図４】上記実施形態１において、画像用画素に対するフィルタの所定配置パターンＰ０としてのベイヤー配列を示す図。
【図５】上記実施形態１において、位相差検出領域における画素構成と、画素に形成されるフィルタの基本配置パターンＰ１を示す図。
【図６】上記実施形態１において、通常領域における画素構成と、画素に形成されるフィルタの配置パターンＰ２を示す図。
【図７】上記実施形態１において、位相差検出領域内に設定される第１エリアおよび通常領域内に設定される第２エリアの例を示す図。
【図８】上記実施形態１において、位相差画素からの光学クロストークの影響を受ける画像用画素のフィルタ種類および配置に応じた隣接形態を分類して示す図表。
【図９】上記実施形態１において、位相差検出領域の画素配置における隣接形態を示す図。
【図１０】上記実施形態１において、位相差検出領域の隣接形態に対応する、通常領域の隣接形態相当の画素配置（計算において対応する基準）を示す図。
【図１１】上記実施形態１において、光学クロストーク量を算出する際の基準画素を第１エリア内にとったときと第２エリア内にとったときとの光学クロストーク量の相違の例を示す線図。
【図１２】上記実施形態１において、四方隣Ｇｒに生じる、光源の波長に応じた光学クロストーク量を示す線図。
【図１３】上記実施形態１において、四方斜方隣Ｇｂに生じる、光源の波長に応じた光学クロストーク量を示す線図。
【図１４】上記実施形態１において、四方隣Ｂｂに生じる、光源の波長に応じた光学クロストーク量を示す線図。
【図１５】上記実施形態１の撮像素子に対するオンチップカラーフィルタ製造工程を示すフローチャート。
【図１６】上記実施形態１および実施形態２において、図１５のオンチップカラーフィルタ製造工程で形成される各色フィルタの厚みを示す図表。
【図１７】上記実施形態１において、四方隣Ｂｂに対して生じる光学クロストーク量が大きくなる色差領域と、四方隣Ｇｒおよび四方斜方隣Ｇｂに対して生じる光学クロストーク量が大きくなる色差領域と、を示す図。
【図１８】上記実施形態１において、撮像素子製造時検査の流れの例を示す図。
【図１９】上記実施形態１において、撮像装置の製造時検査の流れの例を示す図。
【図２０】上記実施形態１において、光学クロストーク補正処理の例を示す図。
【図２１】本発明の実施形態２において、通常領域における画素構成と、画素に形成されるフィルタの配置パターンＰ２を示す図。
【図２２】上記実施形態２において、イレギュラー位置にＧフィルタが配置されたことに起因して通常領域に光学クロストークが発生する際の、通常領域の隣接形態相当の画素配置（計算において対応する基準）を示す図。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００１９】
図１から図２０は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。なお、この図１には撮像装置が例えばデジタルカメラとして構成されている例を示すが、撮像装置はデジタルカメラに限定されるものではなく、デジタルビデオカメラ、撮影機能付き電話装置など、撮影機能を有する各種の装置に広く適用することができる。
【００２０】
この撮像装置は、図１に示すように、レンズ１と、撮像素子２と、画像処理部３と、ＡＦ（オートフォーカス）評価値演算部４と、表示部５と、手振検出部７と、手振補正部８と、露光制御部９と、フォーカス制御部１０と、カメラ操作部１１と、カメラ制御部１２と、を備えている。なお、図１にはメモリカード６も記載されているが、このメモリカード６は撮像装置に対して着脱可能に構成されているために、撮像装置に固有の構成でなくても構わない。
【００２１】
そして、本実施形態は、撮像素子２からの出力を処理するクロストーク量検出装置を、撮像装置に適用したものとなっている。
【００２２】
レンズ１は、被写体の光学像を撮像素子２の撮像領域に結像する撮像光学系である。このレンズ１は、焦点位置（ピント位置）を調節してフォーカシングを行うためのフォーカスレンズと、通過する光束の範囲を制御するための絞りと、を備え、さらに、本実施形態においては手振補正機能も備えたものとなっている。
【００２３】
撮像素子２は、レンズ１により結像された被写体の光学像を光電変換して画像信号として出力する。この撮像素子２は、後で詳しく説明するように、画像信号を構成するための画像用画素を備えると共に、さらに、焦点検出用の位相差画素を備えている。また、撮像素子２は、本実施形態においてはレンズ１の撮影光軸に垂直な面内を移動可能に構成されていて、手振補正機能を備えたものとなっている。
【００２４】
画像処理部３は、撮像素子２の画像用画素から出力される画像用画素信号に基づき構成される画像信号に各種の画像処理を行って、表示用あるいは記録用の画像信号を生成するものである。
【００２５】
ＡＦ評価値演算部４は、撮像素子２から出力された画素信号に基づいて合焦状態を示すＡＦ評価値を算出し、カメラ制御部１２へ出力するものである。具体的にＡＦ評価値演算部４は、撮像素子２の位相差画素から読み出された位相差画素信号に基づいて位相差を算出し、ＡＦ評価値として出力するようになっている。なお、ＡＦ評価値演算部４は、さらに、撮像素子２から出力された画像信号に基づいてコントラスト値を算出し、ＡＦ評価値として出力するものであっても構わない（つまり、位相差ＡＦに加えて、さらにコントラストＡＦを行っても構わない）。
【００２６】
表示部５は、画像処理部３により表示用に画像処理された信号に基づき、画像を表示するものである。この表示部５は、ライブビュー表示、撮影直後の静止画像表示、記録済みの静止画像再生表示、動画録画中表示、動画再生表示等を行うとともに、この撮像装置に係る各種の情報等も表示するようになっている。
【００２７】
メモリカード６は、画像処理部３により記録用に画像処理された信号（静止画像信号、動画像信号など）を保存するための記録媒体である。
【００２８】
手振検出部７は、加速度センサや角速度センサ等を有して構成され、この撮像装置の手振れを検出してカメラ制御部１２へ出力するものである。
【００２９】
手振補正部８は、カメラ制御部１２の制御に基づいて、検出された手振れを相殺するようにレンズ１と撮像素子２との少なくとも一方を移動させ、撮像素子２の撮像領域上に結像される光学的な被写体像に手振れの影響が生じるのを軽減するものである。
【００３０】
露光制御部９は、カメラ制御部１２により決定されたシャッタ速度（露光時間）に基づいて、該カメラ制御部１２の制御の下に、撮像素子２の素子シャッタを制御し、撮像素子２に画像を取得させるものである。さらに、露光制御部９は、カメラ制御部１２により決定された絞り値に基づいて、レンズ１に含まれる絞りの制御等も行うようになっている。ここに、シャッタ速度および絞り値は、撮像素子２から出力された画像信号に基づいて算出された測光データと、カメラ操作部１１により設定された（またはカメラ制御部１２により自動設定された）ＩＳＯ感度と、等を用いて、例えばＡＰＥＸシステムに従ったプログラム線図等に基づきカメラ制御部１２により決定される。また、露光制御部９は、撮像素子２の駆動情報をカメラ制御部１２へ出力するようになっている。
【００３１】
フォーカス制御部１０は、焦点位置（ピント位置）を調節するためにレンズ１を駆動するものである。すなわち、フォーカス制御部１０は、ＡＦ評価値演算部４からＡＦ評価値を受けたカメラ制御部１２の制御に基づいて、レンズ１に含まれるフォーカスレンズを駆動し、撮像素子２に結像される被写体像が合焦に至るようにするものである。また、フォーカス制御部１０は、レンズ位置などのレンズ駆動情報をカメラ制御部１２へ出力するようになっている。
【００３２】
このように、ＡＦ評価値演算部４、カメラ制御部１２、およびフォーカス制御部１０は、撮像素子２から出力された位相差画素信号に基づき焦点検出を行う焦点検出信号処理回路を構成している。
【００３３】
カメラ操作部１１は、この撮像装置に対する各種の操作入力を行うための操作部である。このカメラ操作部１１には、撮像装置の電源をオン／オフするための電源スイッチ、静止画撮影または動画撮影などを指示入力するためのレリーズボタン、静止画撮影モード、動画撮影モード、ライブビューモード、静止画／動画再生モードなどを設定するためのモードボタン等の操作部材が含まれている。
【００３４】
カメラ制御部１２は、フォーカス制御部１０からのレンズ駆動情報やＡＦ評価値演算部４からのＡＦ評価値、露光制御部９からの撮像素子２の駆動情報、画像処理部３からの処理情報、手振検出部７からの手振情報、カメラ操作部１１からの操作入力などに基づいて、画像処理部３、メモリカード６、手振補正部８、露光制御部９、フォーカス制御部１０等を含むこの撮像装置全体を制御するものである。
【００３５】
また、カメラ制御部１２は、画像処理部３と共に、後述するようなエリア設定部、クロストーク量検出部、およびカラーフィルタ段差検出部としての機能を果たすようになっている。
【００３６】
次に、図２は、撮像素子２の構成の概要を示す図である。なお、この図２に示す各回路要素の配置は、適宜に概念化して記載されており、実際の配置と一致するに限るものではない。
【００３７】
撮像素子２は、画素部２１を備えている。また、撮像素子２は、素子制御部として、制御回路２２と、垂直走査回路２３と、水平読出回路２４と、ＤＡＣ（デジタル・アナログ・コンバータ）２５と、を備えている。さらに、撮像素子２は、画像信号出力部として、列並列型ＡＤ変換器２６と、水平信号線２７と、センスアンプ回路２８と、を備えている。
【００３８】
まず、画素部２１は、露光量に応じた信号電荷を生成する複数の画素３１が２次元状に配置された撮像領域であり、より具体的な２次元状配置としては、例えば行列状の配列が採用されている。そして、この画素部２１における画素３１の、行方向の配列は「行」あるいは「ライン」などと呼ばれ、列方向の配列は「列」と呼ばれる。また、行方向は水平方向、列方向は垂直方向などとも呼ばれる。
【００３９】
画素部２１に配列された画素３１には、行毎に制御信号線３２が接続され、列毎に垂直信号線３３が接続されている。
【００４０】
この画素部２１には、例えば中央部に位相差検出領域ＲＰが設けられ、さらにこの位相差検出領域ＲＰの外周側に通常領域ＲＮが設けられている。
【００４１】
位相差検出領域ＲＰは、画像用画素信号をそれぞれ生成して出力する複数の画像用画素と、位相差画素信号をそれぞれ生成して出力する複数の位相差画素と、を含んでいる。そして、位相差検出領域ＲＰは、画像用画素と焦点検出用の位相差画素とをＮ×Ｍ（N，Mは正の整数）画素配列内に配置した基本画素配列（後述する図５等参照）を２次元状に複数配列している。
【００４２】
また、通常領域ＲＮは、画像用画素信号を生成して出力する画像用画素を配置し、位相差画素を含まない領域である。
【００４３】
垂直走査回路２３は、シフトレジスタ等で構成されていて、行毎の制御信号線３２が接続されており、画素部２１への制御信号を行毎に独立して出力することができるようになっている。
【００４４】
列並列型ＡＤ変換器２６は、複数の垂直信号線３３に各接続された複数のＡＤＣ（アナログ・デジタル・コンバータ）３４を備えている。全てのＡＤＣ３４は同時に動作可能であるために、任意数の垂直信号線３３を介して同時に伝送されるアナログ信号が、同時にデジタル信号に変換される。そして、列並列型ＡＤ変換器２６は、垂直信号線３３を介して画素３１から列毎に出力された画素信号に対して、例えばノイズ除去や増幅等の信号処理を行い、さらに、アナログの画素信号をデジタル信号へ変換する処理を行う。
【００４５】
ＤＡＣ２５は、制御回路２２が列並列型ＡＤ変換器２６を制御するために出力するデジタル信号（カウント信号）を、アナログ信号（時間に対して一定の傾きで電圧値が変化するランプ電圧信号）に変換するものである。
【００４６】
水平読出回路２４は、例えばシフトレジスタで構成されており、画素信号を読み出そうとする画素列に係る列並列型ＡＤ変換器２６のＡＤＣ３４を順次選択し、列並列型ＡＤ変換器２６から画素信号を順次水平信号線２７へ出力することにより画素信号を読み出すものである。
【００４７】
センスアンプ回路２８は、水平信号線２７へ出力された画素信号に対して増幅等の信号処理を行うものである。
【００４８】
制御回路２２は、露光制御部９の制御に基づいて、動作の基準となるクロック信号や、垂直同期信号、水平同期信号等の制御信号を生成し、上述した垂直走査回路２３、水平読出回路２４、ＤＡＣ２５、列並列型ＡＤ変換器２６等を制御する制御部である。
【００４９】
なお、図２には１つの列並列型ＡＤ変換器２６を備える撮像素子の例を示したが、例えば２つの列並列型ＡＤ変換器２６を備え、一方の列並列型ＡＤ変換器２６により偶数ラインの画素の電荷をＡ／Ｄ変換し、他方の列並列型ＡＤ変換器２６により奇数ラインの画素の電荷をＡ／Ｄ変換することで、より高速な読み出しを可能とする撮像素子を用いるようにしてもよい。
【００５０】
次に、図３は、撮像素子２おける位相差画素の構成例を示す図である。なお、この図３は撮像素子２を正面から見たときの様子を示しており、レンズ１から見たときの文字「Ｆ」を被写体とすると、この文字「Ｆ」の光学像はレンズ１により反転されて、図３に示すような上下左右方向で結像される。また、図３のｘ方向は水平（Horizontal）方向、ｙ方向は垂直（Vertical）方向を示している。
【００５１】
本実施形態の撮像素子２は、画素部２１に、縦線検知用の位相差画素と横線検知用の位相差画素とが設けられている。
【００５２】
ここに、縦線検知用の位相差画素の群は、画素の右側を遮光部ＳＨにより遮光され左側が開口部ＯＰとなっている位相差画素Ｌの群と、画素の左側を遮光部ＳＨにより遮光され右側が開口部ＯＰとなっている位相差画素Ｒの群と、を対にして含んでいる。そして、位相差画素Ｌ群の画素信号から得られた縦線の水平方向の結像位置と、位相差画素Ｒ群の画素信号から得られた該縦線の水平方向の結像位置との差が、位相差として検出されるようになっている。
【００５３】
また、横線検知用の位相差画素の群は、画素の上側を遮光部ＳＨにより遮光され下側が開口部ＯＰとなっている位相差画素Ｂの群と、画素の下側を遮光部ＳＨにより遮光され上側が開口部ＯＰとなっている位相差画素Ｔの群と、を対にして含んでいる。そして、位相差画素Ｂ群の画素信号から得られた横線の垂直方向の結像位置と、位相差画素Ｔ群の画素信号から得られた該横線の垂直方向の結像位置との差が、位相差として検出されるようになっている。
【００５４】
図４は、画像用画素に対するフィルタの所定配置パターンＰ０としてのベイヤー配列を示す図である。
【００５５】
本実施形態の撮像素子２は、２次元状に配置された複数の画素３１のそれぞれに（従って当然にして、複数の画像用画素のそれぞれにも）、分光特性が異なる複数種類のフィルタの内の何れか１種類のフィルタが形成されている。
【００５６】
ここに、本実施形態における分光特性が異なる複数種類のフィルタは、レッド（Ｒｒ：右側が開口した位相差画素Ｒと区別するために、Ｒｒと記載している）フィルタ、グリーン（Ｇ）フィルタ、ブルー（Ｂｂ：下側が開口した位相差画素Ｂと区別するために、Ｂｂと記載している）フィルタの３種類のカラーフィルタであるものとする。
【００５７】
ただし、フィルタは、これら３種類のカラーフィルタに限定されるものではなく、より多くの種類のカラーフィルタを含んでいてもよいし、さらにはカラーフィルタ以外のフィルタであっても構わない。例えば、分光特性が異なるフィルタの種類として、透明（Ｗ）フィルタ、赤外線透過（ＩＲ）フィルタなどの各種のフィルタを含んでいても構わない。
【００５８】
そして、本実施形態の撮像素子２に配列された複数の画素３１は、基本的に原色ベイヤー配列のフィルタが形成されるようになっているが、後で図５を参照して説明するように、幾つかの画素３１に対して、原色ベイヤー配列の例外となるフィルタが形成されるようになっている。
【００５９】
この原色ベイヤー配列は、よく知られているように、２×２画素配列を基礎として、２×２画素配列の対角位置２つにグリーン（Ｇ）フィルタを配置し、残りの対角位置２つの一方にレッド（Ｒｒ）フィルタ、他方にブルー（Ｂｂ）フィルタを配置した構成となっている。
【００６０】
そして、レッド（Ｒｒ）フィルタが形成された画素をＲｒ画素、ブルー（Ｂｂ）フィルタが形成された画素をＢｂ画素、Ｒｒ画素と同一行に配列されたグリーン（Ｇ）フィルタが形成された画素をＧｒ画素、Ｂｂ画素と同一行に配列されたグリーン（Ｇ）フィルタが形成された画素をＧｂ画素と称することにする。なお、Ｇｒ画素およびＧｂ画素と称するのは、Ｇ画素が、Ｒｒ画素またはＢｂ画素の何れと同一ラインにあるかを区別するためである。
【００６１】
本実施形態においては、この図４に示したようなフィルタの配置パターンを所定配置パターンＰ０とする。ただし、所定配置パターンＰ０は、図４に示すような配置パターンに限定されるものではなく、例えば補色系の配置パターンでもよいし、配列もその他の配列を採用しても構わない。
【００６２】
図５は、位相差検出領域ＲＰにおける画素構成と、画素に形成されるフィルタの基本配置パターンＰ１を示す図である。なお、図５（および後述する図６、図２１）においては、画素位置を示すためのｘ方向およびｙ方向の相対的なアドレスを、画素配列の下および左に付加して示している。また、明示はしないが、図９、図１０、および図２２においても、必要に応じて同様のアドレスが適用されるものとする。
【００６３】
位相差検出領域ＲＰは、図５に示すような基本配置パターンＰ１を領域内に隙間なく敷き詰めることで構成されている。
【００６４】
なお、基本配置パターンとは、該基本配置パターンを隙間なく敷き詰めれば該当領域全体の画素およびフィルタのパターンを構成することができる配置パターンであって、基本配置パターンよりも小さい配置パターンは存在しない最小の配置パターンのことを指す（ただし、該当領域の大きさが基本配置パターンの整数倍でない場合には、該当領域の周辺に生じる小数倍の部分を基本配置パターンの一部によって埋めることになるのはいうまでもない）。
【００６５】
そして、基本配置パターンＰ１は、画像用画素と焦点検出用の位相差画素とをＮ×Ｍ（N，Mは正の整数）画素配列内に配置した基本画素配列である。従って、図５に示す例においては、Ｎ＝Ｍ＝１６の配列となっている。ただし、N，Mが任意の正の整数となるように基本画素配列を構成することが可能である。
【００６６】
具体的にまず、位相差検出領域ＲＰの複数の画像用画素Ｂｂ，Ｇｂ，Ｇｒ，Ｒｒは、図４に示した所定配置パターンＰ０に従って複数種類のフィルタが配置されている。
【００６７】
一方、位相差検出領域ＲＰの複数の位相差画素Ｒ，Ｌ，Ｔ，Ｂは、全てに、複数種類のフィルタの内の第１種類のフィルタであるＧフィルタが形成されている。
【００６８】
ここで、所定配置パターンＰ０を位相差画素の位置に適用した場合における、第１種類のフィルタ（ここではＧフィルタ）が形成される位置をレギュラー位置、第１種類のフィルタ（同様にＧフィルタ）とは異なる種類のフィルタが形成される位置をイレギュラー位置と呼ぶことにする。
【００６９】
このとき、複数の位相差画素の一部はレギュラー位置に配置され、複数の位相差画素の他の一部はイレギュラー位置に配置されている。例えば、縦線検知用の位相差画素と横線検知用の位相差画素との内の、一方は全てレギュラー位置に配置され、他方は全てイレギュラー位置に配置されるようになっている。
【００７０】
より具体的に、図５に示す例では、位相差画素Ｒ，Ｌ，Ｔ，Ｂの内の、縦線検知用の位相差画素Ｒ，Ｌは全てＧｒ画素相当の位置つまりレギュラー位置に配置され、横線検知用の位相差画素Ｔ，Ｂは全てＢｂ画素相当の位置つまりイレギュラー位置に配置されている。
【００７１】
次に、図６は、通常領域ＲＮにおける画素構成と、画素に形成されるフィルタの配置パターンＰ２を示す図である。
【００７２】
図６に示す通常領域ＲＮは、画像用画素Ｂｂ，Ｇｂ，Ｇｒ，Ｒｒのみをベイヤー配列で配置して構成されている。従って、図６には、図５に示した位相差検出領域ＲＰの基本配置パターンＰ１に対応する配置パターンＰ２を示しているが、通常領域ＲＮの基本配置パターンはベイヤー配列である所定配置パターンＰ０（図４参照）となる。
【００７３】
こうして、図５と図６を見比べれば分かるように、撮像素子２は、通常領域ＲＮのカラーフィルタの配置パターンが位相差検出領域ＲＰのカラーフィルタの配置パターンと異なっている。
【００７４】
続いて、図７は、位相差検出領域ＲＰ内に設定される第１エリアＡ１および通常領域ＲＮ内に設定される第２エリアＡ２の例を示す図である。
【００７５】
エリア設定部として機能するカメラ制御部１２および画像処理部３は、撮像素子２からの出力に対して、位相差検出領域ＲＰ内に基本画素配列である基本配置パターンＰ１を１つ以上含むように第１エリアＡ１を設定すると共に、通常領域ＲＮ内に基本画素配列に対応するＮ×Ｍ画素配列を１つ以上含むように第２エリアＡ２を設定する。
【００７６】
この図７に示す例では、第１エリアＡ１は、位相差検出領域ＲＰの下辺の中央部の通常領域ＲＮと隣接する部分に設定されている。この第１エリアＡ１は、基本画素配列である図５に示すような基本配置パターンＰ１を、１つ以上含むように構成されている。
【００７７】
また、第２エリアＡ２は、第１エリアＡ１の下辺と隣接する通常領域ＲＮ内に、列番号範囲が第１エリアＡ１と同一で、行番号範囲が第１エリアＡ１のできる限り近くに配置するように（詳細は図示していないが本実施形態では２行離している）、かつ、第１エリアＡ１と合同の領域として設定されている。従って、第２エリアＡ２は、基本画素配列である基本配置パターンＰ１に対応するＮ×Ｍ画素配列（ここでは１６×１６画素配列）を１つ以上含むように構成されている。また、補足説明として、２行離すことにより１６ｘ１６の開始位置は図６の開始位置（あるいは後述する実施形態２においては、図２１の開始位置）が２行ずれることになるが、終了位置を２行ずらすことで１６ｘ１６の繰り返し性を保持した演算を満たすことになる。
【００７８】
なお、図７に示す例では第１エリアＡ１と第２エリアＡ２とを合同の領域として設定したが、これに限定されるものではない。例えば、第１エリアＡ１に含まれる基本配置パターンＰ１の数と、第２エリアＡ２に含まれる基本配置パターンＰ１に対応するＮ×Ｍ画素配列の数と、が異なっていても構わない（これは後述するように、光学クロストーク量を検出する際に、画素値の平均値を用いるためである）。
【００７９】
続いて、図８は、位相差画素Ｒ，Ｌ，Ｔ，Ｂからの光学クロストークの影響を受ける画像用画素Ｂｂ，Ｇｂ，Ｇｒ，Ｒｒのフィルタ種類および配置に応じた隣接形態を分類して示す図表である。
【００８０】
なお、位相差画素からの光学クロストークの影響は、画像用画素に及ぶだけでなく、位相差画素にも及ぶ。すなわち、位相差画素の近傍に位相差画素がある場合には、位相差画素も光学クロストークの影響を受けることになる。
【００８１】
ここに、位相差画素は被写体までの距離を位相差に基づき検出するために用いられることから、光学クロストークの影響により例えば数％以下の誤差が生じたとしても、誤検出に至ることはまれである。これに対して、画像は人間が観察するものであるために、例えば平坦な領域では１％以下の小さな値の変化があっても視覚的に認識されてしまう場合がある。そこで、ここでは、画像用画素が位相差画素から受ける光学クロストークの影響だけを検出や補正の対象としている。
【００８２】
まず、分離パターン名の欄において、画像用画素Ｂｂ，Ｇｂ，Ｇｒ，Ｒｒに付した文言の意味について説明する。
【００８３】
「四方隣」は、「四方隣」の文言が付加された画像用画素の、上下左右（上下左右をまとめて適宜「四方」という）の何れか１つのみに位相差画素が配置され、かつ、左上、右上、左下、右下（左上、右上、左下、右下をまとめて適宜「斜方」という）の何れにも位相差画素が配置されていない隣接形態を指す。従って、例えば、「四方隣Ｇｒ」は、着目画素である画像用画素Ｇｒの、上、下、左、右の内の、１つの位置に位相差画素が存在し、残りの３つの位置に他の画像用画素が存在し、かつ左上、右上、左下、右下の全ての位置に他の画像用画素が存在していることを表す。
【００８４】
「斜方隣」は、「斜方隣」の文言が付加された画像用画素の、左上、右上、左下、右下の何れか１つのみに位相差画素が配置され、かつ、上下左右の何れにも位相差画素が配置されていない隣接形態を指す。従って、例えば、「斜方隣Ｒｒ」は、着目画素である画像用画素Ｒｒの、左上、右上、左下、右下の内の、１つの位置に位相差画素が存在し、残りの３つの位置に他の画像用画素が存在し、かつ上下左右の全ての位置に他の画像用画素が存在していることを表す。
【００８５】
「四方斜方隣」は、「四方斜方隣」の文言が付加された画像用画素の、上下左右の何れか１つのみに位相差画素が配置され、かつ、左上、右上、左下、右下の何れか１つのみに位相差画素が配置される隣接形態を指す。従って、例えば、「四方斜方隣Ｇｂ」は、着目画素である画像用画素Ｇｂの、上、下、左、右の内の、１つの位置に位相差画素が存在し、残りの３つの位置に他の画像用画素が存在し、かつ左上、右上、左下、右下の内の、１つの位置に位相差画素が存在し、残りの３つの位置に他の画像用画素が存在していることを表す。
【００８６】
そして、図５に示した基本配置パターンＰ１の例では、分離パターンとして存在するのは、四方隣Ｇｒ、斜方隣Ｒｒ、四方斜方隣Ｇｂ、四方隣Ｂｂ、斜方隣Ｇｂ、四方斜方隣Ｒｒの６通りであり、これらの順に、隣接１〜６の名称を付している。また、後述する実施形態２においては、四方隣Ｇｂが生じるために、隣接７の名称を付している。さらに、画素配置における隣接形態を示す図９においては、位相差画素Ｒ，Ｌ，Ｔ，Ｂはそのまま「Ｒ」、「Ｌ」、「Ｔ」、「Ｂ」として表記し、さらに、位相差画素Ｒ，Ｌ，Ｔ，Ｂの何れにも隣接していない画像用画素が存在する場合には、そのまま（あるいは、適宜「ノーマル」の文言を付して）「Ｂｂ」、「Ｇｂ」、「Ｇｒ」、「Ｒｒ」として表記している。
【００８７】
従って、図５に示した基本配置パターンＰ１の例では、画像用画素Ｇｂには「四方斜方隣」および「斜方隣」が存在するが「四方隣」は存在しない（ただし、実施形態２においては「四方隣」も存在する）。
【００８８】
また、画像用画素Ｒｒには「斜方隣」および「四方斜方隣」が存在するが「四方隣」は存在しない。
【００８９】
さらに、画像用画素Ｇｒ，Ｂｂには「四方隣」が存在するが、「斜方隣」および「四方斜方隣」は存在しない。
【００９０】
ただし、分離パターンが存在するか否かは、フィルタ配置および位相差画素配置に依存するために、図８に示していない分離パターンの存在を否定するものではない。
【００９１】
図９は、位相差検出領域ＲＰの画素配置における隣接形態を示す図である。この図９には、図５に示した基本配置パターンＰ１に対応する隣接形態を示している。また、図９において、ブルーであることを水平方向のハッチングにより、レッドであることを垂直方向のハッチングにより、グリーンであることを左上から右下に向かう斜めハッチングにより、それぞれ示している（このハッチングによる色分けは、他の図面でも適宜利用する）。
【００９２】
図示のように、各画素は、位相差画素Ｒ，Ｌ，Ｔ，Ｂと、位相差画素Ｒ，Ｌ，Ｔ，Ｂの何れかに隣接する隣接１〜６の画素と、位相差画素Ｒ，Ｌ，Ｔ，Ｂの何れにも隣接していない画像用画素Ｇｒ，Ｂｂと、の何れかに分類される。従って、図９の例においては、位相差画素Ｒ，Ｌ，Ｔ，Ｂの何れにも隣接していない画像用画素Ｒｒ，Ｇｂは存在していない。
【００９３】
また、図１０は、位相差検出領域ＲＰの隣接形態に対応する、通常領域ＲＮの隣接形態相当の画素配置を示す図であり、以降、隣接画素の光学クロストーク等を算出する際に、どの種類の隣接形態の画素の基準画素であるかを示すものである。
【００９４】
通常領域ＲＮには位相差画素Ｒ，Ｌ，Ｔ，Ｂは設けられていないために、画像用画素が位相差画素Ｒ，Ｌ，Ｔ，Ｂに隣接することはない。従って、通常領域ＲＮには隣接１〜６の画素は存在しないが、図１０においては、図９に示した位相差検出領域ＲＰの隣接１〜６に対応する画素の位置に、同一の隣接１〜６の名称を付して配置を示している。また、図１０においては、位相差画素Ｒ，Ｌ，Ｔ，Ｂに対応する画素位置を空白として示している。
【００９５】
図８に示した隣接パターンの内の、四方隣の画素は位相差画素からの光学クロストークの影響を受けるが、斜方隣の画素は光学クロストークの影響をほとんど受けず無視し得る程度であることが実験により分かっている。
【００９６】
従って、以下では、四方隣Ｇｒ（隣接１）、四方斜方隣Ｇｂ（隣接３）、四方隣Ｂｂ（隣接４）、四方斜方隣Ｒｒ（隣接６）、および四方隣Ｇｂ（隣接７）を光学クロストークの影響を受ける被影響画素として取り扱い、斜方隣Ｒｒ（隣接２）および斜方隣Ｇｂ（隣接５）は光学クロストークの影響を受けない非影響画素として取り扱うものとする。また、位相差検出領域ＲＰにおいて位相差画素Ｒ，Ｌ，Ｔ，Ｂの何れにも隣接していない画像用画素Ｇｒ，Ｂｂも非影響画素であり、通常領域ＲＮにおける全ての画像用画素も非影響画素である。
【００９７】
従って、画素配列における上、下、左、または右に隣接して位相差画素が存在する画像用画素を被影響画素とし、位相差画素に隣接しない画像用画素を非影響画素としている。その上でさらに、被影響画素以外の、画素配列における左上、右上、左下、または右下に隣接して位相差画素が存在する画像用画素をさらに非影響画素としている。
【００９８】
図１１は、光学クロストーク量を算出する際の基準画素を第１エリアＡ１内にとったときと第２エリアＡ２内にとったときとの光学クロストーク量の相違の例を示す線図である。
【００９９】
この図１１では、縦軸を光学クロストーク量（単位：％）、横軸を波長（単位：ｎｍ、分光幅２０（ｎｍ））として、四方斜方隣Ｒｒを例に挙げて示している。
【０１００】
基準画素を第１エリアＡ１内にとったときの光学クロストーク量ＸＴ（％）（図１１において、グラフＣ−Ｒｒ−４ｄ−Ａ１により示している）は、次の数式１により算出されている。
［数１］
ＸＴ＝｛（Ａ／Ｂ）−１｝×１００
【０１０１】
ここに、この数式１においては、
Ａ＝（領域内の）四方斜方隣Ｒｒ平均値［ＬＳＢ］
Ｂ＝（領域内の）斜方隣Ｒｒ平均値［ＬＳＢ］
としており、「（領域内の）」は第１エリアＡ１内（ひいては位相差検出領域ＲＰ内）であることを意味している。そして数式１は、被影響画素である（領域内の）四方斜方隣Ｒｒに生じる光学クロストーク量を、非影響画素である（領域内の）斜方隣Ｒｒを基準として算出することを示している。なお、右辺において１００を乗算しているのは、「％」を単位として光学クロストーク量ＸＴを表すためであるので、１００を乗算することなく１を単位とするようにしても勿論構わない。
【０１０２】
図１１は、位相差検出画素を設けていない（遮光部ＳＨを設けていない）テスト用のサンプル撮像素子を作成して、そのサンプル撮像素子から得られた画素値に基づいて算出した光学クロストーク量となっている。従って、実際には光学クロストーク量は０である。
【０１０３】
このとき、基準画素を第１エリアＡ１内に（領域内）にとって、数式１に基づいて算出されたグラフＣ−Ｒｒ−４ｄ−Ａ１は、本来は存在しないはずの光学クロストーク量が疑似的に（疑似光学クロストーク量として）算出されていることが分かる。この疑似光学クロストークは、１６×１６画素の基本配置パターンＰ１単位の繰り返し性、あるいは読出回路の動作の繰り返し性（この読出回路の動作の繰り返し性は、撮像素子２の設計に大きく依存する）、における非対称性に起因して発生する（実験によれば、この非対称性に起因して発生する疑似光学クロストーク量は、四方斜方隣Ｒｒが他の隣接形態（四方隣Ｇｒ、四方斜方隣Ｇｂ、四方隣Ｂｂなど）よりも大きいことが分かっている）。
【０１０４】
従って、本実施形態においては、疑似光学クロストークの影響を低減するために、基準画素を第２エリアＡ２内（領域外）にとるようにしている。
【０１０５】
具体的に、基準画素を第２エリアＡ２内（つまり、領域外）にとったときの光学クロストーク量ＸＴ（図１１において、グラフＣ−Ｒｒ−４ｄ−Ａ２により示している）は、次の数式２により算出されている（この数式２に基づいて算出されたグラフＣ−Ｒｒ−４ｄ−Ａ２は、図１１に示すように、上述した疑似光学クロストークが発生しておらず、正しい値を示していることが分かる）。
［数２］
ＸＴ＝｛（Ａ／Ｂ）−１｝×１００−｛（Ｃ／Ｄ）−１｝×１００
【０１０６】
ここに、この数式２においては、
Ａ＝（領域内の）四方斜方隣Ｒｒ平均値［ＬＳＢ］
Ｂ＝（領域外の）四方斜方隣Ｒｒ平均値［ＬＳＢ］
Ｃ＝（領域内の）斜方隣Ｒｒ平均値［ＬＳＢ］
Ｄ＝（領域外の）斜方隣Ｒｒ平均値［ＬＳＢ］
としており、四方斜方隣Ｒｒに係る算出結果から、斜方隣Ｒｒに係る算出結果を減算したものとなっている。また、「（領域外の）」は第２エリアＡ２内（ひいては位相差検出領域ＲＰ外）であることを意味している。そしてこれらの内の、Ａは被影響画素に係り、Ｂ，Ｃ，Ｄは非影響画素に係る。
【０１０７】
数式２の第１項は、（領域内の）四方斜方隣Ｒｒに生じる光学クロストーク量を、（領域外の）四方斜方隣Ｒｒを基準として算出することを示している。
【０１０８】
また、数式２の第２項は、光学クロストークの影響を受けない非影響画素として取り扱い得る斜方隣Ｒｒを用いて、数式２の第１項に含まれる光学クロストーク量以外の量（面内シェーディングやカラーフィルタ段差量）を算出することを示している。逆に言えば、もし光学クロストーク量以外の量（面内シェーディングやカラーフィルタ段差量）が存在しない理想的な場合には、数式２の第２項の値は０になる。
【０１０９】
そして、光学クロストーク量以外の量（面内シェーディングやカラーフィルタ段差量）は、数式２の第１項にも同様に含まれている。そこで、数式２の第１項から数式２の第２項を減算することで、光学クロストーク量以外の量をキャンセルすることができ、光学クロストーク量を高精度に検出することが可能となる。
【０１１０】
具体的には、上述した数式２の右辺第１項に示したように、クロストーク量検出部としての機能を果たすカメラ制御部１２および画像処理部３は、位相差画素からの光学クロストークの影響を受ける第１エリアＡ１内の画像用画素である被影響画素の出力をＡ、第２エリアＡ２内における被影響画素に対応する位置の画像用画素の出力をＢとしたときに、少なくとも出力Ａと出力Ｂとを用いた演算により被影響画素の出力に含まれる光学クロストーク量を検出するようにしている。ここに、出力Ａと出力Ｂとを用いた演算の一例は、Ｂに対するＡの比の１からのズレ量｛（Ａ／Ｂ）−１｝である。このズレ量｛（Ａ／Ｂ）−１｝は、（ＡーＢ）／Ｂと表現しても良い。また、１を減算しないＡ／Ｂを光学クロストーク量に関連する検出量としても構わない。
【０１１１】
第２エリアＡ２内には位相差画素が存在しないために、第２エリアＡ２内の全ての画像用画素は、位相差画素からの光学クロストークの影響を受けない非影響画素である。従って、例えばズレ量｛（Ａ／Ｂ）−１｝に基づいて光学クロストーク量を検出することにより、被影響画素が、非影響画素に対してどの程度光学クロストークの影響を受けているかを検出することができる。
【０１１２】
その上でさらに本実施形態においては、数式２の右辺第２項に示したように、第１エリアＡ１内の被影響画素以外の画像用画素である非影響画素の出力をＣ、第２エリアＡ２内における非影響画素に対応する位置の画像用画素の出力をＤとしたときに、クロストーク量検出部は、さらに、出力Ｃと出力Ｄとに基づいて、具体的にはＤに対するＣの比の１からのズレ量｛（Ｃ／Ｄ）−１｝に基づいてズレ量｛（Ａ／Ｂ）−１｝を補正することにより、被影響画素の出力に含まれる光学クロストーク量をさらに正確に検出するようにしている。
【０１１３】
すなわち、本実施形態における被影響画素である、四方隣Ｇｒ（隣接１）、四方斜方隣Ｇｂ（隣接３）、四方隣Ｂｂ（隣接４）、および四方斜方隣Ｒｒ（隣接６）の光学クロストーク量は、次のように算出される。
【０１１４】
まず、四方隣Ｇｒ（隣接１）の光学クロストーク量ＸＴは、数式２において、
Ａ＝（領域内の）四方隣Ｇｒ平均値［ＬＳＢ］
Ｂ＝（領域外の）四方隣Ｇｒ平均値［ＬＳＢ］
Ｃ＝（領域内の）ノーマルＧｒ平均値［ＬＳＢ］
Ｄ＝（領域外の）ノーマルＧｒ平均値［ＬＳＢ］
とおくことにより算出される。これは、四方隣Ｇｒに係る算出結果から、ノーマルＧｒに係る算出結果を減算したものとなっている。
【０１１５】
次に、四方斜方隣Ｇｂ（隣接３）の光学クロストーク量ＸＴは、数式２において、
Ａ＝（領域内の）四方斜方隣Ｇｂ平均値［ＬＳＢ］
Ｂ＝（領域外の）四方斜方隣Ｇｂ平均値［ＬＳＢ］
Ｃ＝（領域内の）斜方隣Ｇｂ平均値［ＬＳＢ］
Ｄ＝（領域外の）斜方隣Ｇｂ平均値［ＬＳＢ］
とおくことにより算出される。これは、四方斜方隣Ｇｂに係る算出結果から、斜方隣Ｇｂに係る算出結果を減算したものとなっている。なお、ＣおよびＤに関して、本来はノーマルＧｂを用いることが好ましいが、ノーマルＧｂが存在しないために、光学クロストークの影響を受けない非影響画素として取り扱い得る斜方隣Ｇｂを用いている。
【０１１６】
さらに、四方隣Ｂｂ（隣接４）の光学クロストーク量ＸＴは、数式２において、
Ａ＝（領域内の）四方隣Ｂｂ平均値［ＬＳＢ］
Ｂ＝（領域外の）四方隣Ｂｂ平均値［ＬＳＢ］
Ｃ＝（領域内の）ノーマルＢｂ平均値［ＬＳＢ］
Ｄ＝（領域外の）ノーマルＢｂ平均値［ＬＳＢ］
とおくことにより算出される。これは、四方隣Ｂｂに係る算出結果から、ノーマルＢｂに係る算出結果を減算したものとなっている。
【０１１７】
そして、四方斜方隣Ｒｒ（隣接６）の光学クロストーク量ＸＴは、数式２において、
Ａ＝（領域内の）四方斜方隣Ｒｒ平均値［ＬＳＢ］
Ｂ＝（領域外の）四方斜方隣Ｒｒ平均値［ＬＳＢ］
Ｃ＝（領域内の）斜方隣Ｒｒ平均値［ＬＳＢ］
Ｄ＝（領域外の）斜方隣Ｒｒ平均値［ＬＳＢ］
とおくことにより算出される。これは、四方斜方隣Ｒｒに係る算出結果から、斜方隣Ｒｒに係る算出結果を減算したものとなっている。なお、ＣおよびＤに関して、本来はノーマルＲｒを用いることが好ましいが、ノーマルＲｒが存在しないために、光学クロストークの影響を受けない非影響画素として取り扱い得る斜方隣Ｒｒを用いている。
【０１１８】
そして、上述したようなＡ〜Ｄの設定を見れば分かるように、クロストーク量検出装置である撮像装置は、光学クロストーク量を検出する対象の被影響画素（Ａの値を得る画素）と同一種類のフィルタ（特にＧフィルタについては、Ｇｒ，Ｇｂの種別についても同一種類となるフィルタ）が形成された画素の出力に基づいて、光学クロストーク量を検出するようになっている。
【０１１９】
また、後で図１５および図１６を参照して説明するように、位相差画素Ｒ，Ｌ，Ｔ，ＢにはＧフィルタ（グリーンフィルタ）が配置されるようになっており、図９を見れば分かるように、位相差検出領域ＲＰにおけるＧフィルタの配置密度は、通常領域ＲＮにおけるＧフィルタの配置密度よりも高くなっている。この配置密度の差に起因し、製造過程をとおして位相差検出領域ＲＰと通常領域ＲＮとでは、カラーフィルタのフィルタ厚に膜厚差が生じている。そこで、カラーフィルタ段差検出部を兼ねたカメラ制御部１２および画像処理部３は、この膜厚差に起因する画素値のズレ量も検出するようになっている。
【０１２０】
ここでは、カメラ制御部１２および画像処理部３は、第１エリアＡ１内の被影響画素以外の画像用画素である非影響画素の出力をＣ、第２エリアＡ２内における非影響画素に対応する位置の画像用画素をＤとしたときに、出力Ｃと出力Ｄとに基づいて、具体的にはＤに対するＣの比の１からのズレ量｛（Ｃ／Ｄ）−１｝に基づいて、カラーフィルタの配置パターンが異なることに起因するカラーフィルタ段差量を検出する（なおここでは、上述した面内シェーディングの影響が無視できる程度となるように、第１エリアＡ１と第２エリアＡ２の配置を最適化する、あるいは撮像素子の各画素に対する光の照射角度を決めるレンズとして適切なものを選定する、などを行ったものとする）。
【０１２１】
具体的に、画素Ｒｒのカラーフィルタの膜厚差に起因する画素値のズレ量（適宜、カラーフィルタ段差量と呼ぶ）ＦＳは、数式３を
［数３］
ＦＳ＝｛（Ｃ／Ｄ）−１｝×１００
としたときに、この数式３において、
Ｃ＝（領域内の）斜方隣Ｒｒ平均値［ＬＳＢ］
Ｄ＝（領域外の）斜方隣Ｒｒ平均値［ＬＳＢ］
とおくことにより算出される。
【０１２２】
なお、ここで算出されるＦＳは、上述したように四方斜方隣Ｒｒ（隣接６）の光学クロストーク量ＸＴを算出する際の数式２の右辺第２項と同一であって、演算の過程で算出されるために、別途の演算を行う必要がない。
【０１２３】
また、画素Ｇｒのカラーフィルタ段差量ＦＳは、数式３において、
Ｃ＝（領域内の）ノーマルＧｒ平均値［ＬＳＢ］
Ｄ＝（領域外の）ノーマルＧｒ平均値［ＬＳＢ］
とおくことにより算出される。
【０１２４】
なお、ここで算出されるＦＳは、上述したように四方隣Ｇｒ（隣接１）の光学クロストーク量ＸＴを算出する際の数式２の右辺第２項と同一であって、演算の過程で算出されるために、別途の演算を行う必要がない。
【０１２５】
さらに、画素Ｇｂのカラーフィルタ段差量ＦＳは、数式３において、
Ｃ＝（領域内の）斜方隣Ｇｂ平均値［ＬＳＢ］
Ｄ＝（領域外の）斜方隣Ｇｂ平均値［ＬＳＢ］
とおくことにより算出される。
【０１２６】
なお、ここで算出されるＦＳは、上述したように四方斜方隣Ｇｂ（隣接３）の光学クロストーク量ＸＴを算出する際の数式２の右辺第２項と同一であって、演算の過程で算出されるために、別途の演算を行う必要がない。
【０１２７】
そして、画素Ｂｂのカラーフィルタ段差量ＦＳは、数式３において、
Ｃ＝（領域内の）ノーマルＢｂ平均値［ＬＳＢ］
Ｄ＝（領域外の）ノーマルＢｂ平均値［ＬＳＢ］
とおくことにより算出される。
【０１２８】
なお、ここで算出されるＦＳは、上述したように四方隣Ｂｂ（隣接４）の光学クロストーク量ＸＴを算出する際の数式２の右辺第２項と同一であって、演算の過程で算出されるために、別途の演算を行う必要がない。
【０１２９】
上述したような算出式により算出される光学クロストーク量の例を図１２〜図１４に示す。ここに、図１２は四方隣Ｇｒに生じる、光源の波長に応じた光学クロストーク量を示す線図、図１３は四方斜方隣Ｇｂに生じる、光源の波長に応じた光学クロストーク量を示す線図、図１４は四方隣Ｂｂに生じる、光源の波長に応じた光学クロストーク量を示す線図である。これら図１２〜図１４においては、図１１と同様に、横軸の波長を分光幅２０（ｎｍ）で示している。
【０１３０】
各図を見れば分かるように、光学クロストークは全ての波長において発生するのではなく、特定の波長帯域で多く発生する傾向を示している。そして、この傾向は、カラーフィルタの種類および隣接形態に応じて異なる。
【０１３１】
例えば、四方隣Ｇｒ（隣接１）は、図１２に示すように、波長６４０（ｎｍ）付近において光学クロストーク量が正のピークをとる。
【０１３２】
また、四方斜方隣Ｇｂ（隣接３）は、図１３に示すように、波長６４０（ｎｍ）付近において光学クロストーク量が正のピークをとる。
【０１３３】
さらに、四方隣Ｂｂ（隣接４）は、図１４に示すように、波長５９０（ｎｍ）付近において光学クロストーク量が負のピーク（ボトム）をとる。
【０１３４】
一例を挙げれば、四方隣Ｂｂ（隣接４）のボトム波長５９０（ｎｍ）は、ナトリウムランプの波長に近い。そして、太陽光のような連続スペクトルをもつ光源に比べて、ナトリウムランプ等の輝線スペクトルで発光する光源の場合には、発生する光学クロストークの影響が無視し得なくなる。
【０１３５】
そこで、本実施形態においては、後で図１７および図２０を参照して説明するように、光学クロストーク量が大きくなる特定の波長帯域に対応する色差領域にある場合のみに光学クロストーク量の補正を行い、それ以外の場合（光学クロストーク量が小さいと推定される場合）には光学クロストーク量の補正を省略するようにしている。
【０１３６】
次に、図１５は撮像素子２に対するオンチップカラーフィルタ製造工程を示すフローチャート、図１６は本実施形態１および後述する実施形態２において、図１５のオンチップカラーフィルタ製造工程で形成される各色フィルタの厚みを示す図表である。
【０１３７】
図１５に示すオンチップカラーフィルタ製造工程は、撮像素子２の製造工程の一部として実施され、撮像素子２の画素３１や図２に示す各回路等を作り込む拡散工程が完了したウェハーに対して行われる。
【０１３８】
この図１５に示す処理に入ると、まず、画素部２１の全面に、Ｇ色素入りの感光性樹脂（フォトレジスト）を塗布する（ステップＳ１）。
【０１３９】
そして、画素部２１にＧフィルタ用のフォトマスクを重ねて紫外線等の光を照射する露光を行い、フォトマスクのパターンを転写する（ステップＳ２）。
【０１４０】
その後、ウェハーを現像液に浸して現像し、不要なフォトレジスト部分を除去してから純水で洗浄することにより、Ｇフィルタのみのフィルタパターンが形成される（ステップＳ３）。
【０１４１】
このときには、図１６の図表の実施形態１欄のＧフィルタ形成後欄に示すように、位相差検出領域ＲＰと通常領域ＲＮとで形成されるＧフィルタのフィルタ厚は、同一である。
【０１４２】
続いて、画素部２１の全面に、Ｒｒ色素入りの感光性樹脂（フォトレジスト）を塗布する（ステップＳ４）。
【０１４３】
そして、画素部２１にＲｒフィルタ用のフォトマスクを重ねて紫外線等の光を照射する露光を行い、フォトマスクのパターンを転写する（ステップＳ５）。
【０１４４】
その後、ウェハーを現像液に浸して現像し、不要なフォトレジスト部分を除去してから純水で洗浄することにより、Ｇフィルタに加えてＲｒフィルタを有するフィルタパターンが形成される（ステップＳ６）。
【０１４５】
本実施形態１では、位相差検出領域ＲＰにおけるＧフィルタが形成されている画素数の割合は、通常領域ＲＮにおけるＧフィルタが形成されている画素数の割合と比較すると多い。このために、位相差検出領域ＲＰは、通常領域ＲＮよりも、Ｇフィルタが形成されていない画素にＲｒ色素入りのフォトレジストが集積されることになり、位相差検出領域ＲＰに形成されるＲｒフィルタのフィルタ厚は、通常領域ＲＮに形成されるＲｒフィルタのフィルタ厚よりも、例えば厚くなる（図１６の図表の実施形態１欄のＲｒフィルタ形成後欄を参照）。
【０１４６】
なお、Ｒｒフィルタのフィルタ厚は、Ｇフィルタのフィルタ厚と異なっているが、これは一般的な傾向であるために問題はない。また、塗布する感光性樹脂の量を調整することで、フィルタ厚みを調整することも可能である。
【０１４７】
さらに、画素部２１の全面に、Ｂｂ色素入りの感光性樹脂（フォトレジスト）を塗布する（ステップＳ７）。
【０１４８】
そして、画素部２１にＢｂフィルタ用のフォトマスクを重ねて紫外線等の光を照射する露光を行い、フォトマスクのパターンを転写する（ステップＳ８）。
【０１４９】
その後、ウェハーを現像液に浸して現像し、不要なフォトレジスト部分を除去してから純水で洗浄することにより、Ｇフィルタ、Ｒｒフィルタ、およびＢｂフィルタを有するフィルタパターンが形成される（ステップＳ９）。
【０１５０】
このときにもＲｒフィルタの場合と同様に、本実施形態１では、位相差検出領域ＲＰに形成されるＢｂフィルタのフィルタ厚が、通常領域ＲＮに形成されるＢｂフィルタのフィルタ厚よりも、例えば厚くなる。
【０１５１】
こうしてステップＳ９の処理が終了したら、このオンチップカラーフィルタ製造工程から撮像素子２の製造工程に戻って、その後の工程、例えばオンチップマイクロレンズ製造工程などに移行する。
【０１５２】
上述したように、位相差検出領域ＲＰと通常領域ＲＮとのカラーフィルタの配置パターンの相違、特に、位相差検出領域ＲＰと通常領域ＲＮとのカラーフィルタの配置密度の相違が、オンチップカラーフィルタ製造工程におけるフィルタ厚の相違を生む原因となっている。
【０１５３】
具体的には、位相差検出領域ＲＰは、通常領域ＲＮに比べて、Ｇフィルタの配置密度が高い（また、Ｂｂフィルタの配置密度が低い）。このために、位相差検出領域ＲＰは、通常領域ＲＮに比べて、ＲｒフィルタおよびＢｂフィルタの厚みが例えば厚くなる。
【０１５４】
こうして位相差検出領域ＲＰと通常領域ＲＮとのカラーバランスの相違であるカラーフィルタ段差が生じ、上述した例においては、位相差検出領域ＲＰが、通常領域ＲＮよりも輝度が幾らか減少すると共に、例えば緑色の色味を帯びることになっていた。
【０１５５】
次に、図１７は、四方隣Ｂｂに対して生じる光学クロストーク量が大きくなる色差領域ＣＡ１と、四方隣Ｇｒおよび四方斜方隣Ｇｂに対して生じる光学クロストーク量が大きくなる色差領域ＣＡ２と、を示す図である。
【０１５６】
この図１７は、一般的な色度図を示している。本処理では、画像用画素Ｂｂ，Ｇｂ，Ｇｒ，Ｒｒの画素値に基づいて次のように算出される色差Ｃｘ，Ｃｙを求め、撮像素子２に入射する被写体光が、色度図上のどこに対応するかを判定する（より具体的な算出方法については、後で図２０を参照して説明する）。
Ｙ ＝（Ｒｒ＋Ｇｒ＋Ｇｂ＋Ｂｂ）／４
Ｃｘ＝（Ｒｒ−Ｂｂ）／Ｙ
Ｃｙ＝（Ｒｒ＋Ｂｂ−Ｇｒ−Ｇｂ）／Ｙ
【０１５７】
光学クロストーク量が大きくなる波長帯域は、図１２に示した四方隣Ｇｒ（隣接１）と図１３に示した四方斜方隣Ｇｂ（隣接３）とでほぼ同じ帯域であり、図１４に示した四方隣Ｂｂ（隣接４）は四方隣Ｇｒ（隣接１）および四方斜方隣Ｇｂ（隣接３）とは異なる帯域である。
【０１５８】
そこで、四方隣Ｂｂ（隣接４）に対応する典型的な色差領域をＣＡ１、四方隣Ｇｒ（隣接１）および四方斜方隣Ｇｂ（隣接３）に対応する典型的な色差領域ＣＡ２として示している。より正確には、四方隣Ｇｒ（隣接１）および四方斜方隣Ｇｂ（隣接３）に光学クロストークが生じる波長帯域は色差領域ＣＡ１に対応する波長帯域まで及んでいるために、処理の目的によってはこうした影響も考慮して、色差領域ＣＡ２を広げて色差領域ＣＡ１にも重なるように設定する必要がある。
【０１５９】
後で、図２０を参照して説明するように、色差領域ＣＡ１またはＣＡ２に該当するか否かに応じて、光学クロストーク量の補正を行うか否かの処理を分岐させるようにしている。
【０１６０】
続いて、図１８は、撮像素子製造時検査の流れの例を示す図である。
【０１６１】
この撮像素子製造時検査の工程に入ると、まず、製造された撮像素子から検査用の画像を取得する（ステップＳ１１）。
【０１６２】
次に、撮像素子の製造ライン上に設けられている画像処理部（図１の画像処理部３に対応する製造ライン上の構成）が、クロストーク量検出部およびカラーフィルタ段差検出部として機能し、光学クロストーク量およびカラーフィルタ段差量の検出を行う（ステップＳ１２）。具体的に、画像処理部は、検査用画像に基づき、被影響画素の種類に応じてＡ，Ｂ，Ｃ，Ｄの値を上述したように設定してから数式２を用いて光学クロストーク量を算出すると共に、この数式２の算出過程で数式３に基づき得られるカラーフィルタ段差量を取得する。
【０１６３】
また、光源の波長を異ならせながらステップＳ１１およびステップＳ１２の工程を行うことにより、色差領域ＣＡ１と色差領域ＣＡ２の情報が取得される。
【０１６４】
そして、検出した光学クロストーク量が許容範囲内であり、かつ検出したカラーフィルタ段差量が許容範囲内であるかを判定する（ステップＳ１３）。
【０１６５】
ここで、光学クロストーク量およびカラーフィルタ段差量の何れもが許容範囲内であると判定された場合にはその撮像素子が良品であると判定され（ステップＳ１４）、光学クロストーク量とカラーフィルタ段差量との少なくとも一方が許容範囲内でないと判定された場合には、その撮像素子が不良品であると判定される（ステップＳ１５）。
【０１６６】
そして、良品であると判定された撮像素子に関して、検出した光学クロストーク量の情報およびカラーフィルタ段差量の情報を、その撮像素子の仕様に係る情報として製品に添付する（ステップＳ１６）。このときには、色差領域ＣＡ１と色差領域ＣＡ２の情報も製品に添付される。
【０１６７】
なお、光学クロストーク量の情報は、製品の型番毎に検出して、同一の型番の場合には同一の光学クロストーク量が発生するものとして取り扱ってもよい。あるいは、製品の個体毎に光学クロストーク量を検出して、個体毎に光学クロストーク量の情報を取り扱うようにしても構わない。また、カラーフィルタ段差量の情報についても同様に、型番毎でも個体毎でも何れでもよい。
【０１６８】
こうして、ステップＳ１５またはステップＳ１６の処理を行ったら、この工程から上位の工程へリターンする。
【０１６９】
次に、図１９は、撮像装置の製造時検査の流れの例を示す図である。
【０１７０】
撮像装置の製造は、図１８の処理において良品であると判定された撮像素子２を用いて行われる。
【０１７１】
この撮像装置の製造時検査の工程に入ると、まず、上述したステップＳ１６において製品に添付された光学クロストーク量の情報およびカラーフィルタ段差量の情報を取得する（ステップＳ２１）。このときには、色差領域ＣＡ１と色差領域ＣＡ２の情報も取得される。
【０１７２】
なお、ここでは製品に添付された撮像素子製造時の光学クロストーク量の情報およびカラーフィルタ段差量の情報を取得しているが、撮像装置の製造時検査の工程においても上述したステップＳ１１およびステップＳ１２と同様の処理を行って、撮像装置に組み込んだ撮像素子に対する光学クロストーク量およびカラーフィルタ段差量を検出するようにしても勿論構わない。このときには、撮像装置に組み込まれている画像処理部３、または撮像装置の製造ライン上に別途に設けられている画像処理部（図１の画像処理部３に対応する製造ライン上の構成）がクロストーク量検出部およびカラーフィルタ段差検出部として機能する。
【０１７３】
次に、取得した光学クロストーク量の情報およびカラーフィルタ段差量の情報を、カメラ制御部１２内の図示しない不揮発性のメモリに記憶する（ステップＳ２２）。このときには、図１７に示したような色差領域ＣＡ１と色差領域ＣＡ２の情報もメモリに記憶される。従って、カメラ制御部１２は、光学クロストーク量の補正が必要な色差領域に係る情報（補正が必要な色差領域の情報自体であっても良いし、補正が必要な色差領域を算出するための情報（例えば、光学クロストーク量が正または負のピーク値を取るスペクトル情報など）であっても構わない）を記録する記録部を兼ねている。
【０１７４】
その後、この工程から上位の工程へリターンする。
【０１７５】
続いて、図２０は、光学クロストーク補正処理の例を示す図である。
【０１７６】
この光学クロストーク補正処理は、例えば、カメラ制御部１２の制御に基づいて、画像処理部３により行われる。
【０１７７】
この処理を開始するとまず、カメラ制御部１２内の図示しない不揮発性のメモリから光学クロストーク量の情報およびカラーフィルタ段差量の情報を読み出す（ステップＳ３１）。
【０１７８】
次に、読み出したカラーフィルタ段差量の情報に基づいて、撮像素子２により取得された画像の全体に対してカラーフィルタ段差量の補正を行う（ステップＳ３２）。こうして、画像処理部３は、カメラ制御部１２の制御に基づき、カラーフィルタ段差検出部により検出されたカラーフィルタ段差量を用いて画像のカラーフィルタ段差を補正する。
【０１７９】
その後、撮像素子２により取得された画像をＩｍａｘ（Ｉｍａｘは正の整数）個のエリアに分割する（ステップＳ３３）。これにより、画像は、１〜Ｉｍａｘまでの番号ｉで区別されるエリアに分割される（以下では、番号ｉのエリアを、適宜、エリアｉとよぶことにする）。
【０１８０】
そして、エリア番号ｉに１を設定する（ステップＳ３４）。
【０１８１】
画像処理部３は、エリアｉ内におけるＲｒ，Ｇｒ，Ｇｂ，Ｂｂの画素値の平均Ｒｒ［ｉ］，Ｇｒ［ｉ］，Ｇｂ［ｉ］，Ｂｂ［ｉ］を算出して、まず、エリア番号ｉの輝度Ｙ［ｉ］を次のように算出し、
Ｙ［ｉ］ ＝（Ｒｒ［ｉ］＋Ｇｒ［ｉ］＋Ｇｂ［ｉ］＋Ｂｂ［ｉ］）／４
さらに、色差Ｃｘ［ｉ］，Ｃｙ［ｉ］を次のように算出する（ステップＳ３５）。
Ｃｘ［ｉ］＝（Ｒｒ［ｉ］−Ｂｂ［ｉ］）／Ｙ［ｉ］
Ｃｙ［ｉ］＝（Ｒｒ［ｉ］＋Ｂｂ［ｉ］−Ｇｒ［ｉ］−Ｇｂ［ｉ］）／Ｙ［ｉ］
【０１８２】
なお、ここではエリアが複数画素で構成されることを想定したが、これに限定されるものではなく、１つのエリアを１つの画素により構成しても構わない。この場合には、色差Ｃｘ［ｉ］，Ｃｙ［ｉ］を算出する処理を行う前に１画素毎にＲ，Ｇ，Ｂの情報が存在している必要があるために、デモザイキング処理を行うことが最適であるが、ここでは例えば次のような簡易的な処理を行う。
【０１８３】
すなわち、Ｇｒ画素に対しては、着目するＧｒ画素の最近傍（上と下）にある２つＢｂ画素の画素値の平均値を着目画素位置のＢｂ画素値、着目するＧｒ画素の最近傍（左と右）にある２つのＲｒ画素の画素値の平均値を着目画素位置のＲｒ画素値とする。そして、Ｇｂ［ｉ］＝Ｇｒ［ｉ］とする。
【０１８４】
また、Ｇｂ画素に対しては、着目するＧｂ画素の最近傍（左と右）にある２つＢｂ画素の画素値の平均値を着目画素位置のＢｂ画素値、着目するＧｂ画素の最近傍（上と下）にある２つのＲｒ画素の画素値の平均値を着目画素位置のＲｒ画素値とする。そして、Ｇｒ［ｉ］＝Ｇｂ［ｉ］とする。
【０１８５】
さらに、Ｒｒ画素に対しては、着目するＲｒ画素の最近傍（左と右）にある２つＧｒ画素の画素値の平均値を着目画素位置のＧｒ画素値、着目するＲｒ画素の最近傍（左上、右上、左下、右下）にある４つのＢｂ画素の画素値の平均値を着目画素位置のＢｂ画素値、着目するＲｒ画素の最近傍（上と下）にある２つＧｂ画素の画素値の平均値を着目画素位置のＧｂ画素値とする。
【０１８６】
加えて、Ｂｂ画素に対しては、着目するＢｂ画素の最近傍（左と右）にある２つＧｂ画素の画素値の平均値を着目画素位置のＧｂ画素値、着目するＢｂ画素の最近傍（左上、右上、左下、右下）にある４つのＲｒ画素の画素値の平均値を着目画素位置のＲｒ画素値、着目するＢｂ画素の最近傍（上と下）にある２つＧｒ画素の画素値の平均値を着目画素位置のＧｒ画素値とする。
【０１８７】
なお、ここでは簡易的に画素単位のＲｒ［ｉ］，Ｇｒ［ｉ］，Ｇｂ［ｉ］，Ｂｂ［ｉ］を求めたが、より高精度な算出法を採用しても勿論構わない。
【０１８８】
こうして、画素単位で求められたＲｒ［ｉ］，Ｇｒ［ｉ］，Ｇｂ［ｉ］，Ｂｂ［ｉ］を用いれば、上述した数式により画素単位の色差Ｃｘ［ｉ］，Ｃｙ［ｉ］が算出される。
【０１８９】
このようにして算出した色差Ｃｘ［ｉ］，Ｃｙ［ｉ］が、カメラ制御部１２内の図示しない不揮発性のメモリから読み出した、図１７に示したような色差領域ＣＡ１と色差領域ＣＡ２との少なくとも一方に入るか否かをカメラ制御部１２が判定する（ステップＳ３６）。ここで、「少なくとも一方」と表現したのは、上述したように、色差領域ＣＡ１と色差領域ＣＡ２とが重なる場合があることを想定したためである。
【０１９０】
ここで、色差領域ＣＡ１と色差領域ＣＡ２との少なくとも一方に入ると判定された場合には、エリアｉ内の被影響画素のそれぞれに対して、隣接形態に応じた光学クロストーク量の補正を行う（ステップＳ３７）。
【０１９１】
具体的に、色差領域ＣＡ１に入ると判定された場合には、エリアｉ内の四方隣Ｂｂ（隣接４）に対する光学クロストーク量の補正を行う。また、色差領域ＣＡ２に入ると判定された場合には、エリアｉ内の四方隣Ｇｒ（隣接１）および四方斜方隣Ｇｂ（隣接３）に対する光学クロストーク量の補正を行う。従って、色差領域ＣＡ１と色差領域ＣＡ２との両方に入ると判定された場合には、エリアｉ内の四方隣Ｂｂ（隣接４）、四方隣Ｇｒ（隣接１）、および四方斜方隣Ｇｂ（隣接３）に対する光学クロストーク量の補正を行うことになる。
【０１９２】
また、ここでの補正は、対象となる画素の画素値に対して、例えばゲインとオフセットとを用いた演算を実施することにより行う（位相差検出領域ＲＰと通常領域ＲＮとで異なるゲイン、異なるオフセットが適用される）（さらには、隣接形態に応じて異なるゲイン、異なるオフセットが適用される）。
【０１９３】
なお、四方斜方隣Ｒｒ（隣接６）も光学クロストークの影響を受ける被影響画素ではあるが、光学クロストーク量が比較的小さいために、ここでは補正処理を省略して処理負荷を軽減している。ただし、省略することなく補正処理を行うようにしても勿論構わない。
【０１９４】
こうして、画像処理部３は、カメラ制御部１２の制御に基づき、撮像素子２から出力された画像に対して、クロストーク量検出部により検出された光学クロストーク量を補正する。
【０１９５】
ステップＳ３７の処理が終了するか、またはステップＳ３６において色差領域ＣＡ１と色差領域ＣＡ２との何れにも入らないと判定された場合には、番号ｉをインクリメントする（ステップＳ３８）。
【０１９６】
このように、カメラ制御部１２は、撮像素子２から出力された画像の色差を検出して、検出した色差が補正が必要な色差領域に入る場合に画像処理部３に光学クロストーク量の補正を行わせ、検出した色差が補正が必要な色差領域に入らない場合に画像処理部３に光学クロストーク量の補正をスキップさせる制御部を兼ねている。
【０１９７】
カメラ制御部１２は、さらに、番号ｉがＩｍａｘよりも大きいか否かを判定する（ステップＳ３９）。
【０１９８】
ここで、番号ｉがＩｍａｘ以下であると判定された場合には、ステップＳ３５へ戻って、エリアｉに対して上述したような処理を行う。
【０１９９】
一方、番号ｉがＩｍａｘよりも大きいと判定された場合には、この処理からリターンして、画像処理部３におけるその他の画像処理に進む。
【０２００】
このような実施形態１によれば、少なくとも出力Ａと出力Ｂとを用いた演算により（具体的には、通常領域ＲＮに設定した第２エリアＡ２内における被影響画素に対応する位置の画像用画素の出力Ｂに対する、位相差検出領域ＲＰに設定した第１エリアＡ１内の被影響画素の出力Ａの比の、１からのズレ量｛（Ａ／Ｂ）−１｝に基づいて）被影響画素の出力に含まれる光学クロストーク量を検出するようにしたために、位相差検出領域ＲＰ内の画素のみに基づいて光学クロストーク量を検出する場合よりも高い精度で光学クロストーク量を検出することができる。
【０２０１】
さらに、第２エリアＡ２内における非影響画素に対応する位置の画像用画素の出力Ｄに対する、第１エリアＡ１内の非影響画素の出力Ｃの比の、１からのズレ量｛（Ｃ／Ｄ）−１｝に基づいてズレ量｛（Ａ／Ｂ）−１｝を補正するようにしたために、カラーフィルタ段差や面内シェーディングの影響を排除した、より一層精度の高い光学クロストーク量を検出することができる。
【０２０２】
また、位相差画素に隣接しない画像用画素を非影響画素とし、画素配列における上、下、左、または右に隣接して位相差画素が存在する画像用画素を被影響画素としたために、実体的に光学クロストーク量が大きい被影響画素を、光学クロストーク量の検出対象とすることができる。
【０２０３】
このとき、画素配列における左上、右上、左下、または右下に隣接して位相差画素が存在する画像用画素をさらに非影響画素とすることで、実体的に光学クロストーク量を無視し得る画素を、光学クロストーク量の検出対象から外して、処理を簡易化することができる。
【０２０４】
そして、複数種類のフィルタが形成された撮像素子２に対しては、被影響画素と同一種類のフィルタが形成された画素の出力に基づいて光学クロストーク量を検出するようにしたために、カラー撮像素子などの光学クロストーク量を正確に検出することができる。
【０２０５】
加えて、光学クロストーク量を補正する画像処理部３をさらに備えたために、光学クロストークの影響を低減した高品質な画像を得ることができる。
【０２０６】
画像から検出した色差が、補正が必要な色差領域に入る場合には光学クロストーク量の補正を行い、補正が必要な色差領域に入らない場合には補正をスキップするようにしたために、補正が実体的に不要な場合の処理負荷を軽減することができる。
【０２０７】
また、通常領域ＲＮと位相差検出領域ＲＰとのカラーフィルタの配置パターンが異なることに起因するカラーフィルタ段差量を、ズレ量｛（Ｃ／Ｄ）−１｝に基づいて検出するようにしたために、例えば光学クロストーク量の検出過程で得られる結果を用いてカラーフィルタ段差量の検出が可能となり、別途の演算が不要となって処理負荷を軽減することができる。この場合に、上述した面内シェーディングの影響が無視できる程度となるように、第１エリアＡ１と第２エリアＡ２の配置を最適化する、あるいは撮像素子の各画素に対する光の照射角度を決めるレンズとして適切なものを選定する、などを行ったものである。
【０２０８】
そして、画像のカラーフィルタ段差を補正する画像処理部３をさらに備えたために、カラーフィルタ段差の影響を低減した高品質な画像を得ることができる。
【０２０９】
また、撮像素子製造工程における撮像素子製造時検査では、光学クロストーク量およびカラーフィルタ段差量を精度良くチェックして撮像素子２の選別を行い、許容範囲外の個体を取り除くことができる。さらに、撮像装置等において光学クロストーク量を補正する際の補正量を精度良く決定することができる。このときには、撮像素子２の個体毎の補正量を決定しておけば、撮像素子２の個体毎のばらつきを補正することができ、品質の揃った撮像装置を構成することができる。
【０２１０】
加えて、撮像装置の製造工程においても光学クロストーク量およびカラーフィルタ段差量を精度良くチェックしてメモリに記憶しておくことで、より高精度に光学クロストーク量およびカラーフィルタ段差量を補正することが可能となる。
［実施形態２］
【０２１１】
図２１、図２２、および上述した図１６の一部は本発明の実施形態２を示したものであり、図２１は、通常領域ＲＮにおける画素構成と、画素に形成されるフィルタの配置パターンＰ２を示す図である。
【０２１２】
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
【０２１３】
上述した実施形態１においては、通常領域ＲＮのフィルタは、図６に示したように、ベイヤー配列である所定配置パターンＰ０（図４参照）となっていた。これに対して、本実施形態では、通常領域ＲＮのフィルタの配置パターンを、位相差検出領域ＲＰのフィルタの配置パターンと同一としたものとなっている。
【０２１４】
まず、位相差検出領域ＲＰの構成は上述した実施形態１と同様であるために、位相差検出領域ＲＰの隣接形態に対応する、通常領域ＲＮの隣接形態相当の画素配置は、上述した図１０と同様である。
【０２１５】
一方、図２１に示すように、通常領域ＲＮの画像用画素に形成されるフィルタの配置パターンＰ２は、本実施形態においては、図５に示す位相差検出領域ＲＰの基本配置パターンＰ１と同一となっている（上述したように、位相差画素Ｒ，Ｌ，Ｔ，Ｂに対応する位置にはＧフィルタが配置されているため）。
【０２１６】
このような通常領域ＲＮと位相差検出領域ＲＰとでフィルタ配置パターンを同一化することによりカラーフィルタの種類毎の配置密度が同一となり、図１６の図表の実施形態２欄に示すように、位相差検出領域ＲＰと通常領域ＲＮとで、Ｇフィルタ、Ｒｒフィルタ、およびＢｂフィルタの厚みが同一となる。こうして、本実施形態の構成では、上述した実施形態１のカラーフィルタ段差の発生を抑制することが可能となっている。
【０２１７】
ただし、このような構成では、ベイヤー配列がもし適用された場合にはＢｂフィルタが配置されるべき画素位置に、Ｇフィルタが配置されるというイレギュラー位置が、通常領域ＲＮにも生じる。こうして本実施形態の場合には、通常領域ＲＮにおいても、イレギュラー位置の画素の近傍に光学クロストークが発生する。
【０２１８】
図２２は、イレギュラー位置にＧフィルタが配置されたことに起因して通常領域ＲＮに光学クロストークが発生する際の、通常領域ＲＮの隣接形態相当の画素配置（計算において対応する基準）を示す図である。
【０２１９】
ここに本実施形態においては、イレギュラー位置のＧ画素に隣接する四方隣Ｇｂが通常領域ＲＮに存在するために、上述したように、隣接７の隣接形態が生じている。
【０２２０】
こうして本実施形態においては、基準画素を第２エリアＡ２内（領域外）にとることができない場合が生じるために、光学クロストーク量の算出式に以下のような変更が生じている。
【０２２１】
まず、四方斜方隣Ｒｒ（隣接６）の光学クロストーク量ＸＴの算出方法は、上述した実施形態１と同様である。従って、四方斜方隣Ｒｒについては、実施形態１と同様の演算精度が維持される。
【０２２２】
次に、四方隣Ｇｒ（隣接１）の光学クロストーク量ＸＴは、数式１（すなわち、数式２ではなく数式１を用いている）において、
Ａ＝（領域内の）四方隣Ｇｒ平均値［ＬＳＢ］
Ｂ＝（領域内の）ノーマルＧｒ平均値［ＬＳＢ］
とおくことにより算出される。すなわち、ここでは、（領域外の）四方隣Ｇｒ平均値を基準とすることができないために、（領域内の）ノーマルＧｒ平均値で代用している。
【０２２３】
続いて、四方斜方隣Ｇｂ（隣接３）の光学クロストーク量ＸＴは、数式１（ここでも同様に、数式２ではなく数式１を用いている）において、
Ａ＝（領域内の）四方斜方隣Ｇｂ平均値［ＬＳＢ］
Ｂ＝（領域内の）斜方隣Ｇｂ平均値［ＬＳＢ］
とおくことにより算出される。すなわち、ここでも、（領域外の）四方斜方隣Ｇｂ平均値を基準とすることができないために、（領域内の）斜方隣Ｇｂ平均値で代用している。
【０２２４】
これらの数式１を用いた演算は、上述したように、１６ｘ１６画素の基本配置パターンＰ１単位の繰り返し性、あるいは撮像素子２の読出回路の動作の繰り返し性における非対称性に起因した疑似光学クロストークの影響を受け易い（疑似光学クロストークの影響を受けるか否かは、撮像素子２の製品の種類、画素配置パターン、駆動回路等の微小な違いに依存する）。
【０２２５】
ただし、四方隣Ｇｒの疑似光学クロストーク量および四方斜方隣Ｇｂの疑似光学クロストーク量は、図１１での四方斜方隣Ｒｒで説明したように、位相差画素を設けていないテストサンプル等においてその影響の有無を確認し排除しておくことや、さらに追加の判定として、四方隣Ｇｒや四方斜方隣Ｇｂの光学クロストーク量の位相差検出領域ＲＰと通常領域ＲＮとの差分のチェック結果や演算に用いた各成分（Ａ，Ｂ，Ｃ，Ｄの値）等を用いることで、実施形態１に準じた精度を確保することが可能となる。こうした追加の演算方法を用いて疑似光学クロストーク量を算出／判定するか否か、および追加の演算方法を用いる場合であってもどのような方法を用いるかは、影響の有無や、必要とされる精度の観点から、設計毎に判断することになる。
【０２２６】
そして、四方隣Ｂｂ（隣接４）の光学クロストーク量ＸＴの算出方法は、上述した実施形態１と同様である。従って、四方隣Ｂｂについては、実施形態１と同様の演算精度が維持される。
【０２２７】
一方、四方隣Ｇｒ（隣接１）の光学クロストーク量の、位相差検出領域ＲＰと通常領域ＲＮとの差分は、数式２において、
Ａ＝（領域内の）四方隣Ｇｒ平均値［ＬＳＢ］
Ｂ＝（領域外の）四方隣Ｇｒ平均値［ＬＳＢ］
Ｃ＝（領域内の）ノーマルＧｒ平均値［ＬＳＢ］
Ｄ＝（領域外の）ノーマルＧｒ平均値［ＬＳＢ］
とおくことにより算出され、（画面内における光学クロストーク量の差異がないことの）チェック用として用いることができる。
【０２２８】
また、四方斜方隣Ｇｂ（隣接３）の光学クロストーク量の、位相差検出領域ＲＰと通常領域ＲＮとの差分は、数式２において、
Ａ＝（領域内の）四方斜方隣Ｇｂ平均値［ＬＳＢ］
Ｂ＝（領域外の）四方斜方隣Ｇｂ平均値［ＬＳＢ］
Ｃ＝（領域内の）斜方隣Ｇｂ平均値［ＬＳＢ］
Ｄ＝（領域外の）斜方隣Ｇｂ平均値［ＬＳＢ］
とおくことにより算出され、（画面内における光学クロストーク量の差異がないことの）チェック用として用いることができる。
【０２２９】
さらに、画素Ｒｒ、画素Ｇｒ、画素Ｇｂ、画素Ｂｂの各カラーフィルタ段差量ＦＳは、上述した実施形態１と同様に数式３を用いて算出され、（本実施形態ではカラーフィルタ段差が発生しないはずであるために）チェック用として用いることができる。
【０２３０】
ここに、画素Ｒｒおよび画素Ｂｂの各カラーフィルタ段差量ＦＳは、上述した実施形態１と同様に、光学クロストーク量を算出する過程で算出されるが、画素Ｇｒおよび画素Ｇｂの各カラーフィルタ段差量ＦＳは、光学クロストーク量の、位相差検出領域ＲＰと通常領域ＲＮとの差分を算出する過程で算出されることになる（あるいは、差分を算出しない場合には、光学クロストーク量の算出とは別途に算出することになる）。
【０２３１】
このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、通常領域ＲＮと位相差検出領域ＲＰとでフィルタ配置パターンを同一化したために、カラーフィルタ段差の発生を抑制することが可能となる。
【０２３２】
そして、数式１を用いて光学クロストーク量を検出する四方隣Ｇｒおよび四方斜方隣Ｇｂについては、他の演算方法を用いて疑似光学クロストーク量を算出することによって、光学クロストーク量に含まれる疑似光学クロストーク量を除去することが可能となり、光学クロストーク量の高い検出精度を維持することができる。
【０２３３】
また、四方隣Ｇｒおよび四方斜方隣Ｇｂについては、位相差検出領域ＲＰと通常領域ＲＮとの光学クロストーク量の差分を算出することで、画面内における光学クロストーク量の差異がないことを確認することができる。
【０２３４】
なお、上述した各部は、回路として構成されていてもよい。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていてもよいし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。
【０２３５】
また、上述では主としてクロストーク量検出装置について説明したが、クロストーク量検出装置と同様の作用を行うクロストーク量検出方法であってもよいし、コンピュータにクロストーク量検出装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
【０２３６】
さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【０２３７】
１…レンズ
２…撮像素子
３…画像処理部
４…ＡＦ評価値演算部
５…表示部
６…メモリカード
７…手振検出部
８…手振補正部
９…露光制御部
１０…フォーカス制御部
１１…カメラ操作部
１２…カメラ制御部
２１…画素部
２２…制御回路
２３…垂直走査回路
２４…水平読出回路
２５…ＤＡＣ
２６…列並列型ＡＤ変換器
２７…水平信号線
２８…センスアンプ回路
３１…画素
３２…制御信号線
３３…垂直信号線
３４…ＡＤＣ
ＲＮ…通常領域
ＲＰ…位相差検出領域
Ａ１…第１エリア
Ａ２…第２エリア
ＯＰ…開口部
ＳＨ…遮光部
Ｂｂ，Ｇｂ，Ｇｒ，Ｒｒ…画像用画素
Ｒ，Ｌ，Ｔ，Ｂ…位相差画素
Ｐ０…所定配置パターン
Ｐ１…基本配置パターン
Ｐ２…配置パターン
ＣＡ１，ＣＡ２…色差領域
【図１】
2018078427.tif 000003
【図２】
2018078427.tif 000004
【図３】
2018078427.tif 000005
【図４】
2018078427.tif 000006
【図５】
2018078427.tif 000007
【図６】
2018078427.tif 000008
【図７】
2018078427.tif 000009
【図８】
2018078427.tif 000010
【図９】
2018078427.tif 000011
【図１０】
2018078427.tif 000012
【図１１】
2018078427.tif 000013
【図１２】
2018078427.tif 000014
【図１３】
2018078427.tif 000015
【図１４】
2018078427.tif 000016
【図１５】
2018078427.tif 000017
【図１６】
2018078427.tif 000018
【図１７】
2018078427.tif 000019
【図１８】
2018078427.tif 000020
【図１９】
2018078427.tif 000021
【図２０】
2018078427.tif 000022
【図２１】
2018078427.tif 000023
【図２２】
2018078427.tif 000024