(57)【特許請求の範囲】
【請求項１】
各々が光電変換部を含む複数の画素と、
画素単位に配置されたマイクロレンズと、
縦ｎｃｘ横ｍｃ（ｎｃ及びｍｃは２以上の整数）の最小色配列の繰り返しで前記画素単位に配置されたカラーフィルタと、
前記光電変換部と前記マイクロレンズとの間に前記画素単位に配置された、開口及び遮光部を有するマスク手段と、
を備え、
前記マスク手段は、
開口位置の縦方向及び横方向のパターンの数をそれぞれｎｄ及びｍｄ（ｎｄ及びｍｄは２以上の整数）とした場合に、同じ色のカラーフィルタ及び同じ開口位置の組み合わせが縦（ｎｃ＊ｎｄ＊ａ）ｘ横（ｍｃ＊ｍｄ＊ｂ）（ａ及びｂは自然数）の最小単位配列の繰り返しで表れ、
前記最小単位配列において特定の開口位置に対応する全画素のカラーフィルタが、前記最小色配列と同じ比率で各色を含み、
（ｎｄ＊ｍｄ）の開口位置のパターンのいずれについても、当該パターンに対応する画素が前記最小単位配列のどの列にもどの行にも存在するように構成される
ことを特徴とする撮像素子。
【請求項２】
前記マスク手段は、（ｎｄ＊ｍｄ）の開口位置のパターンのいずれについても、当該パターンに対応すると共に各々が異なる色のカラーフィルタに対応する２以上の画素が前記最小単位配列のどの列にもどの行にも存在するように構成される
ことを特徴とする請求項１に記載の撮像素子。
【請求項３】
前記最小色配列はベイヤ配列である
ことを特徴とする請求項１又は２に記載の撮像素子。
【請求項４】
請求項１乃至３のいずれか１項に記載の撮像素子を備えることを特徴とする撮像装置。
【請求項５】
撮影光学系の複数の異なる瞳領域からの入射光に対応する被写体像の位相差を検出する位相差検出手段と、
前記複数の画素の少なくとも一部により得られた信号に対して色補間処理を行うことにより前記最小色配列の全種類の色を含むカラー画像を生成する色補間手段と、
を更に備え、
前記色補間手段は、前記位相差が閾値以上の場合、前記特定の開口位置に対応する画素により得られた信号に対して前記色補間処理を行うことにより前記カラー画像を生成する
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記色補間手段は、前記位相差が閾値以上の場合、
前記特定の開口位置とは異なる第２の開口位置に対応する画素により得られた信号に対して前記色補間処理を行うことにより第２のカラー画像を生成し、
前記カラー画像と前記第２のカラー画像とを合成する
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記色補間手段は、前記位相差が前記閾値未満の場合、全パターンの開口位置に対応する画素により得られた信号に対して前記色補間処理を行うことにより前記カラー画像を生成する
ことを特徴とする請求項５又は６に記載の撮像装置。
【請求項８】
請求項１乃至３のいずれか１項に記載の撮像素子を備える撮像装置が実行する画像生成方法であって、
撮影光学系の複数の異なる瞳領域からの入射光に対応する被写体像の位相差を検出する位相差検出工程と、
前記複数の画素の少なくとも一部により得られた信号に対して色補間処理を行うことにより前記最小色配列の全種類の色を含むカラー画像を生成する色補間工程と、
を備え、
前記色補間工程では、前記位相差が閾値以上の場合、前記特定の開口位置に対応する画素により得られた信号に対して前記色補間処理を行うことにより前記カラー画像を生成する
ことを特徴とする画像生成方法。
【請求項９】
コンピュータを、請求項５乃至７のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子、撮像装置、画像生成方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、撮像素子で視点の異なる複数の像を得ることで焦点検出を行う装置が提案されている。また、カラー撮像と焦点検出とを両立させるための提案もなされている。特許文献１では、被写体空間の光の２次元強度分布と光線の角度情報、即ち視点の異なる画像を同時に取得する撮像装置が開示されている。ここで、光の２次元強度分布と光線の角度情報を合わせて光線空間情報（又はライトフィールド情報）と呼ぶ。光線空間情報を取得することで、被写体空間の３次元的な情報を得ることができる。前述の撮像装置では、複数の画素に跨るようにマイクロレンズを設けると共に、カラーフィルタを画素ごとに設けている。
【０００３】
カラー撮像と焦点検出を両立させる別の構成として、特許文献２は、画素ごとに設けたマイクロレンズに対して、瞳分割方向に偏って開口を設けると共に、近接する最小色配列の同色画素間において開口が対称関係となる撮像素子を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−４４７１号公報
【特許文献２】特開２００７−１５８５９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の撮像装置では、１つのマイクロレンズ下に複数の画素が存在し、マイクロレンズが空間的なローパスフィルタとして作用するので、解像度が劣化しやすい。また、１つのマイクロレンズ下で色補間処理を行うため、ピントが合っていないときには、不適切な補間がなされる可能性がある。
【０００６】
また、特許文献２は、焦点検出のみに注目しているので瞳分割方向と対称という概念のみが開示されている。そのため、特許文献２の技術は、光線空間情報を取得可能な撮像装置への展開が容易ではない。また、特許文献２の撮像装置は、同色かつ対称関係にある画素信号を均等に参照して欠落色情報を補間するため、ピントが合っていないときには不適切な補間がなされる可能性がある。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、ピント状態に応じて画質劣化を抑制する色補間処理を実行可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は、各々が光電変換部を含む複数の画素と、画素単位に配置されたマイクロレンズと、縦ｎｃｘ横ｍｃ（ｎｃ及びｍｃは２以上の整数）の最小色配列の繰り返しで前記画素単位に配置されたカラーフィルタと、前記光電変換部と前記マイクロレンズとの間に前記画素単位に配置された、開口及び遮光部を有するマスク手段と、を備え、前記マスク手段は、開口位置の縦方向及び横方向のパターンの数をそれぞれｎｄ及びｍｄ（ｎｄ及びｍｄは２以上の整数）とした場合に、同じ色のカラーフィルタ及び同じ開口位置の組み合わせが縦（ｎｃ＊ｎｄ＊ａ）ｘ横（ｍｃ＊ｍｄ＊ｂ）（ａ及びｂは自然数）の最小単位配列の繰り返しで表れ、前記最小単位配列において特定の開口位置に対応する全画素のカラーフィルタが、前記最小色配列と同じ比率で各色を含み、（ｎｄ＊ｍｄ）の開口位置のパターンのいずれについても、当該パターンに対応する画素が前記最小単位配列のどの列にもどの行にも存在するように構成されることを特徴とする撮像素子を提供する。
【０００９】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【００１０】
本発明によれば、ピント状態に応じて画質劣化を抑制する色補間処理を実行することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】画像生成処理、及び、撮像素子６におけるカラーフィルタ及び瞳分割手段のパターンについて説明する図。
【図２】（ａ）撮像装置１及びレンズユニット２の中央断面図、（ｂ）撮像装置１及びレンズユニット２の電気的構成を示すブロック図。
【図３】（ａ）撮像素子６とマイクロレンズ２０の関係を模式的に示す図、（ｂ）撮像素子６の画素と瞳分割手段の対応を示す模式図、（ｃ）瞳分割手段によって画素が特定の瞳領域と対応づけられることを示す図。
【図４】被写体と撮像素子６で取得される像との関係を説明する図。
【図５】図１（ｂ）に示す撮像素子を利用して位相検知を行う方法について説明する図。
【図６】配列条件を満たさない撮像素子の例を示す図。
【図７】配列条件を満たす撮像素子の例を示す図。
【図８】（ａ）及び（ｂ）配列条件を満たす撮像素子の例を示す図、（ｃ）及び（ｄ）配列条件を満たさない撮像素子の例を示す図。
【図９】配列条件を満たす撮像素子の例を示す図。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【００１３】
［第１の実施形態］
図２（ａ）は、撮像装置１及びレンズユニット２の中央断面図であり、図２（ｂ）は、撮像装置１及びレンズユニット２の電気的構成を示すブロック図である。図２（ａ）及び図２（ｂ）において、同一の符号は同一の構成要素を示す。
【００１４】
最初に、図２（ａ）を参照する。１は撮像装置を、２は撮像装置１に装着されたレンズユニットを、３は複数のレンズからなる撮影光学系を、４は撮影光学系３の光軸を、６は撮像素子を、９は表示部を、それぞれ示す。また、１１は撮像装置１及びレンズユニット２の電気接点を、１２はレンズユニット２に設けられたレンズシステム制御部を、１４はクイックリターン機構を、１６は撮像装置１に設けられたファインダ表示部を、それぞれ示す。
【００１５】
次に、図２（ｂ）を参照する。カメラ１及びレンズユニット２からなるカメラシステムは、撮像系、画像処理系、記録再生系、及び制御系を有する。撮像系は、撮影光学系３及び撮像素子６を含む。画像処理系は、画像処理部７を含む。記録再生系は、メモリ部８及び表示部９を含む。制御系は、カメラシステム制御部５、操作検出部１０、レンズシステム制御部１２、及びレンズ駆動部１３を含む。レンズ駆動部１３は、焦点レンズ、ブレ補正レンズ、及び絞りなどを駆動することができる。
【００１６】
撮像系は、物体からの光を、撮影光学系３を介して撮像素子６の撮像面に結像する光学処理系である。撮像素子６の表面にはマイクロレンズが格子状に配置してあり、いわゆるマイクロレンズアレイ（ＭＬＡ）を形成している。ＭＬＡの機能や配置の詳細については、図３を用いて後述する。後述するように、撮像素子６から位相差の情報が得られるので、この情報に基づいて適切に撮影光学系３を調整することで、撮像素子６近傍で被写体像を結像することができる。
【００１７】
画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を生成することができる。画像処理部７は、ベイヤ配列の信号から色補間処理（デモザイキング処理）を施してカラー画像を生成する。
【００１８】
メモリ部８は、メモリに加えて、記録に必要な処理回路を備えている。メモリ部８は、メモリへのデータの出力を行うと共に、表示部９に出力する画像を生成及び保存する。また、メモリ部８は、予め定められた方法を用いて画像、動画、及び音声などの圧縮を行う。
【００１９】
カメラシステム制御部５は、撮像の際のタイミング信号などを生成して出力する。また、カメラシステム制御部５は、外部操作に応じて、撮像系、画像処理系、及び記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出部１０が検出すると、カメラシステム制御部５は、撮像素子６の駆動、画像処理部７の動作、及びメモリ部８の圧縮処理などを制御する。更に、カメラシステム制御部５は、表示部９（液晶モニタ等）による情報表示を制御する。また、表示部９はタッチパネルになっており、操作検出部１０に接続されている。
【００２０】
制御系による撮影光学系３の調整動作について説明する。カメラシステム制御部５には画像処理部７が接続されており、撮像素子６からの信号を元に、適切な焦点位置及び絞り位置を求める。カメラシステム制御部５は、電気接点１１を介してレンズシステム制御部１２に指令を出し、レンズシステム制御部１２は、レンズ駆動部１３を適切に制御する。更に、レンズシステム制御部１２には手ぶれ検出センサ（不図示）が接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号を元にレンズ駆動部１３を介してブレ補正レンズを適切に制御する。
【００２１】
図２に示した撮像装置１は、画像の再生も可能である。操作検出部１０からの信号によって再生モードになった場合には、撮像装置１は、取得した画像を表示部９に表示する。視点の異なる複数の像を提示する場合、適当なフォーカス位置及び絞り値で画像を再構成（いわゆる現像）して表示する。
【００２２】
図３は、撮影光学系３の説明図である。本実施形態の撮影光学系３は、複数の視点からの被写体像を取得可能なように構成されている。以下の説明においては、複数の視点からの被写体像を取得するための構成を瞳分割手段と呼ぶ。瞳分割手段は、撮影光学系３の結像面近傍にＭＬＡを配置すると共に、撮像素子６内にマスク層を配置することにより構成される。
【００２３】
図３（ａ）は、撮像素子６とマイクロレンズ２０の関係を模式的に示す図である。図３（ｂ）は、撮像素子６の画素と瞳分割手段の対応を示す模式図である。図３（ｃ）は、瞳分割手段によって画素が特定の瞳領域と対応づけられることを示す図である。
【００２４】
図３（ａ）に示すように、撮像素子６上には画素ごとにマイクロレンズ２０が設けられており、マイクロレンズ２０の前側主点は、撮影光学系３の結像面近傍になるように配置されている。マイクロレンズ２０は、後述するマスク層と対になって、瞳分割手段を構成する。図３（ａ）は、撮像装置１の横からと、正面からマイクロレンズ２０を見た状態を示している。撮像装置１の正面から見ると、ＭＬＡが撮像素子６を覆うように配置されている。なお、図３（ａ）では、マイクロレンズ２０を見やすくするために大きく記載したが、実際には各マイクロレンズ２０は画素と同じ大きさしかない。
【００２５】
図３（ｂ）は、図３（ａ）の撮像装置１の正面からの図を一部拡大した図である。図３（ｂ）に示す格子状の枠は、撮像素子６の画素を示している。また、詳細は図３（ｃ）を用いて後述するが、瞳分割手段を構成するマスク層が予め定められた配列で配置されている。
【００２６】
図３（ｃ）は、図３（ｂ）の断面記号に沿って撮像素子６を切断した断面図と、射出瞳面との対応を説明するための図である。実際には、図３（ｃ）下方に示した断面図と方向を合わせると、図３（ｃ）上方の射出瞳面は図３（ｃ）の紙面垂直方向になるが、説明のために投影方向を変化させている。また、図３（ｃ）においては、説明を簡単にするために１次元の投影／信号処理について説明する。実際の撮像装置においては、図３（ｃ）の構成が２次元に拡張される。
【００２７】
図３（ｃ）に示した撮像素子６においては、シリコン基板３０の内部に、画素信号を生成する光電変換部３１が形成されている。光電変換部３１で発生した信号電荷は、フローティングディフュージョン部（不図示）、第１の電極４１、及び第２の電極４２を介して外部に出力される。光電変換部３１と電極４１との間には層間絶縁膜３２が形成され、電極４１と電極４２との間には層間絶縁膜３３が形成されている。また、電極４２の光入射側には層間絶縁膜３４が形成され、更にパッシベーション膜３５及び平坦化層３６が形成されている。平坦化層３６の光入射側には、カラーフィルタ層３７、平坦化層３８、及びマイクロレンズ２０が形成されている。ここで、マイクロレンズ２０のパワーは、撮影光学系３のレンズの射出瞳と光電変換部３１とが略共役になるように設定されている。また、撮像素子６の中央に位置する画素では、マイクロレンズ２０は画素の中心に配設され、撮像素子６の周辺に位置する画素では、マイクロレンズ２０は撮影光学系３の光軸４側に偏位して配設される。
【００２８】
撮影光学系３を透過した被写体光は、撮像素子６近傍に集光する。また、撮像素子６の各画素に到達した光は、マイクロレンズ２０で屈折され光電変換部３１に集光する。更には、撮影光学系３の焦点検出を行うために、電極４１の一部が光電変換部３１を覆うように構成されている。電極４１で瞳から届く光束の一部を遮るので、電極４１の層をマスク層と呼ぶことにする。マスク層は、開口及び遮光部を有し、予め定められた配列に従って規則的に配置されている。図３（ｃ）下方の断面図では、左に図示された画素は光軸に対して左側が開口しており、右に図示された画素は光軸に対して右側が開口している。即ち、撮像素子６は、画素により位置が異なる複数種の開口を有している。その結果、撮像素子６の各画素は、それぞれ射出瞳の一部の光束のみを捉えて、結果として特定の角度からの入射光のみを捉えるように構成されている。
【００２９】
図３（ｃ）において、射出瞳５０の一部の領域５１−１、５１−２、５１−３、及び５１−４を考える。特に、領域５１−３及び５１−４からの光束に注目する。領域５１−３及び５１−４の端部からの光線を、それぞれ符号６３及び６４で図示する。図３（ｃ）から明らかなように、マスク層（電極４１）において光軸に対して左側が開口している、左に図示された画素については、光線６３は通過して光電変換部３１に到達するが、光線６４は遮断されて光電変換部３１に到達しない。一方で、マスク層（電極４１）において光軸に対して右側が開口している、右に図示された画素については、光線６３は遮断されて光電変換部３１に到達しないが、光線６４は通過して光電変換部３１に到達する。即ち、マイクロレンズ２０とマスク層（電極４１）とによって、射出瞳の特定の領域を通過した光束のみを捉える構造としており、瞳分割手段をなしている。
【００３０】
図４は、被写体と撮像素子６で取得される像との関係を説明する図である。図４（ａ）において、５４、５５、及び５６は射出瞳５０上の点を、７０及び７１は像面を、８０は被写体を、８１、８２、及び８３は被写体上の点を、それぞれ示している。また、９０−ａ及び９１−ａはそれぞれ像面７０及び７１で得られる被写体像を示している。射出瞳５０上の点５４は、射出瞳５０と光軸４とが交差する点を、点５５及び５６は点５４に対して対称に偏心した点を示している。被写体８０上において、点８２は白と黒の境界を、点８１は白の端部を、点８３は黒の端部を、それぞれ示している。また、８１−１は被写体８０上の点８１から射出瞳５０上の点５５を通る光線を、８１−２は被写体８０上の点８１から射出瞳５０上の点５４を通る光線を、８１−３は被写体８０上の点８１から射出瞳５０上の点５６を通る光線を、それぞれ示す。８１−１という表記法のうち、ハイフンの前は物体上の点と対応しており、ハイフンの後ろの数字は射出瞳５０上の点と対応している。ハイフンの後ろの数字は、１が点５５に、２が点５４に、３が点５６に対応している。この表記法を用いて、光線８２−１、８２−２、８２−３、８３−１、８３−２、及び８３−３を定義し図示した。光線８２−２は、光軸４と一致する。
【００３１】
被写体８０は像面７０で結像しているものとして、以下の説明をする。像面７０では、いわゆるピントが合っている状態にあるので、被写体８０上のある点から発して、撮影光学系３を通過した光束は一点で交わる。即ち、点８１からの光線８１−１，８１−２、及び８１−３は、像面７０上で交差する。被写体８０上の他の点８２及び８３からの光線８２−１、８２−２、及び８２−３の組と、光線８３−１、８３−２、及び８３−３の組についても、同様に像面７０上で交差する。
【００３２】
像面７０及び７１で取得される被写体８０の像９０−ａ及び９１−ａを考える。像面７０ではピントが合っているので、被写体８０の反転像が得られる。前述したように、被写体８０上の点から発した光線が、像面７０上で１点に交わることからも明らかである。一方で、像面７１ではピントが合っていないので、像がぼけて観察される。被写体８０上の白い部分の光線のみを受けるのは、光線８２−１及び８１−３で挟まれた領域のみになり、被写体８０上の黒い部分の光線のみを受けるのは、光線８３−１及び８２−３で挟まれた領域のみになる。これら２領域の間にある光線８２−３及び８２−１に挟まれた領域は、射出瞳５０を通過した場所によって異なる色となり、これが空間的に畳み込まれる（積分される）ことでボケが観察される。
【００３３】
図４（ｂ）及び図４（ｃ）は、射出瞳５０の一部の光束のみを考えた場合の被写体８０の様子を説明する図である。図４（ｂ）は、図４（ａ）に示した射出瞳５０の点５４から点５５の間を通過する光束を、図４（ｃ）は、図４（ａ）に示した射出瞳５０の点５４から点５６の間を通過する光束を考えた場合である。図３を用いて前述したように、本実施形態の撮像素子６は瞳分割手段を備えており、射出瞳５０の一部の光束のみを受光することができる。図４（ｂ）及び図４（ｃ）は、その時の被写体像の様子を示している。
【００３４】
図４（ｂ）及び図４（ｃ）において、図４（ａ）と同じものには同じ番号を付した。図４（ｂ）において、９０−ｂ及び９１−ｂはそれぞれ像面７０及び７１で得られる被写体像を示している。また、９２は被写体像９０−ｂにおいて被写体８０上の点８２と対応する点を、９３は被写体像９１−ｂにおいて被写体８０上の点８２と対応する点を、それぞれ示している。また、図４（ｃ）において、９０−ｃ及び９１−ｃはそれぞれ像面７０及び７１で得られる被写体像を示している。更に、９４は被写体像９０−ｃにおいて被写体８０上の点８２と対応する点を、９５は被写体像９１−ｃにおいて被写体８０上の点８２と対応する点を、それぞれ示している。
【００３５】
図４（ａ）の説明にあったように、像面７０はピントが合った面なので、被写体８０上のある点からの光線は、射出瞳５０上のどの点を通過しても同じ点で交わる。これは言葉を変えると、射出瞳５０での通過領域によらず同じ像が得られることを示している。即ち、図４（ｂ）及び図４（ｃ）において像面７０で得られる被写体像９０−ｂ及び９０−ｃは、等価なものとなる。そのため、被写体上の点８２と対応する点９２及び９４も一致する。
【００３６】
一方で、像面７１はピントが合っていないので、射出瞳５０での通過領域によって像の位相がずれて観察される。即ち、図４（ｂ）において被写体８０上の点８２と対応する点９３は光軸４に対して右側に存在するのに対して、図４（ｃ）において被写体８０上の点８２と対応する点９５は光軸４に対して左側に存在する。図４（ａ）から図４（ｃ）では、ピントが合っている像面７０に対して被写体８０から遠い像面７１のみを考えたが、被写体８０に近い側の像面を考えると、位相が反対にずれて観察される。この原理を利用して、画面内の各領域においてピント状態を知ることが可能となる。本実施形態では、このような位相検知に適した信号を生成して位相を検知する。
【００３７】
また、図４（ｂ）及び図４（ｃ）のボケに注目する。図４（ｂ）及び図４（ｃ）に示すように、射出瞳５０の一部の光束のみを受け取る場合でも、ピントが合っていない像面７１ではボケが発生する。一方でボケ具合に注目すると、図４（ａ）よりもボケが少ない状態になっていることが分かる。これは、射出瞳５０の一部の光束のみを受け取ることから、いわゆる絞った状態になってボケが抑制されるためである。
【００３８】
図４（ｄ）及び図４（ｅ）は、それぞれ像面７０及び７１での信号を模式的に示したグラフである。図４（ｄ）及び図４（ｅ）において、横軸は像面７０及び７１上の位置を示しており、画素に対応する。縦軸は、各画素の光電変換部で得られる信号のレベルを示している。図４（ｄ）及び図４（ｅ）において、「○」で示した位置は図４（ｂ）で得られる信号に対応しており、「△」で示した位置は図４（ｃ）で得られる信号に対応している。
【００３９】
像面７０の信号を示した図４（ｄ）においては、像面７０上で隣接する画素は被写体８０上でも隣接する位置に対応している。このため、図４（ｄ）の「○」で示した信号９０−ｂと、「△」で示した信号９０−ｃとを繋いだ線分９６は、滑らかな線を形成すると共に、非常に高周波の成分を含んでいる（エッジがきれいに形成される）。
【００４０】
一方、像面７１の信号を示した図４（ｅ）においては、像面７０上で隣接する画素であっても被写体８０上では離間した位置に対応している。このため、図４（ｅ）の「○」で示した信号９１−ｂと、「△」で示した信号９１−ｃとを繋いだ線分９６は、滑らかな線を形成することができず、本来存在しないナイキスト周波数付近の信号を発生させてしまう。この時、「○」で示した信号９１−ｂのみを繋いだ線分９８、及び、「△」で示した信号９１−ｃのみを繋いだ線分９７を考えると、滑らかな曲線になっている。また、図４（ｄ）に比して高周波の成分がカットされている。これは、図４（ｂ）及び図４（ｃ）に示したボケを示している。更に、「○」で示した信号９１−ｂのみを繋いだ線分９８、及び、「△」で示した信号９１−ｃのみを繋いだ線分９７は、形状が類似して横にずれている（位相差が発生している）ことが分かる。
【００４１】
図４（ｄ）及び図４（ｅ）から明らかなように、図４（ｄ）のようにピントの合った像面においては、射出瞳５０の異なる領域を通過した像をそのまま補間処理などに用いることが可能である。反面、図４（ｅ）のようにピントの合っていない像面においては、射出瞳５０の異なる領域を通過した像をそのまま補間処理などに用いることができない。ピントずれの大きさの限界としては、画素の２倍の大きさ程度が適当と考えられる。２画素よりも大きなずれがあると、図４（ｅ）に示したように、位相ずれによるエッジ部の追い越しが起こり、本来存在しないナイキスト周波数付近の信号を発生させてしまうと考えられるためである。具体的な補間処理の内容などは、図１を用いて後述する。
【００４２】
図１を参照して、画像生成処理、及び、撮像素子６におけるカラーフィルタ及び瞳分割手段のパターンについて説明する。図１（ａ）は、画像生成処理の流れを示すフローチャートである。図１（ｂ）は、撮像素子６におけるカラーフィルタ及び瞳分割手段のパターンを説明する図である。図１（ｃ）は、視点情報を破棄する処理の概念図である。図１（ｄ）は、特定の視点からの像に注目した時の画素の配列を示す図である。図１（ｅ）は、図１（ｄ）の視点信号に基づく色補間処理の概念図である。
【００４３】
図１（ａ）の各ステップの処理は、特に断らない限り、カメラシステム制御部５が制御プログラムを実行して撮像装置１の各ユニットを制御することにより実現される。撮像素子６が色補間処理前の被写体像を取得して画像処理部７へ供給すると、本フローチャートの処理が開始する。
【００４４】
Ｓ１１０で、カメラシステム制御部５は、位相差の算出を行う。位相検知（位相差検出処理）の基本原理は図４を用いて説明した通りであるが、位相検知のための具体的な信号の生成方法については図５を用いて後述する。
【００４５】
Ｓ１２０で、カメラシステム制御部５は、位相差が閾値未満であるか否かを判定する。位相差が閾値未満の場合、カメラシステム制御部５は処理をＳ１３０に進め、位相差が閾値以上の場合、カメラシステム制御部５は処理をＳ１５０に進める。
【００４６】
Ｓ１３０で、カメラシステム制御部５は、視点情報を破棄する。図４を用いて説明したように、位相差が閾値未満でピントが合っている場合には、射出瞳５０の通過領域に関わらず、像面上で隣接する画素は被写体８０上でも隣接している。そのため、視点情報を破棄することによって、解像度を上げた信号を得ることができる。具体的な処理は、図１（ｂ）及び（ｃ）を用いて後述する。
【００４７】
Ｓ１４０で、カメラシステム制御部５は、色補間処理を行う。ここでいう色補間処理とは、ベイヤ配列などに配列されたカラーフィルタを利用してカラー画像を得る場合に、モザイク状に欠損した色信号を補間する処理（デモザイク処理、デモザイキングなどとも呼ばれる）である。これにより、欠落のないカラー画像（即ち、カラーフィルタの配列における全種類の色を含むカラー画像）が生成される。
【００４８】
Ｓ１５０で、カメラシステム制御部５は、各視点像を生成する。図３及び図４を用いて前述したように、本実施形態の撮像素子６は瞳分割手段により射出瞳５０の特定の領域の光束のみを取得可能となっている。これは、異なる視点からの像を取得していることと等価である。つまり、射出瞳５０で同じ領域を通過した光束を捉えた画素のみを並べると、その位置から被写体を観察した像を得ることができる。これを視点像と呼んでいる。視点像は複数生成されるが、その数は瞳分割手段のパターンによって異なる。いくつかのパターンを後程例示する。Ｓ１５０では、カメラシステム制御部５は、同じ開口パターンの画素のみを抜き出して視点像を生成する。具体的な処理は、図１（ｂ）及び図１（ｄ）を用いて後述する。
【００４９】
Ｓ１６０は、カメラシステム制御部５は、視点像を用いて色補間処理を行う。Ｓ１４０の場合は視点情報が破棄された後で視点の異同に関わらずに色補間処理が行われるが、Ｓ１６０の場合、異なる視点の信号は用いずに色補間処理が行われる。具体的な処理は、図１（ｅ）を用いて後述する。
【００５０】
Ｓ１７０で、カメラシステム制御部５は、視点像を合成する。即ち、Ｓ１６０において複数の視点像それぞれについて色補間処理が施された後に、Ｓ１７０において必要に応じて加算などの合成処理が施される。加算を行うことで、ノイズを低減できる。一方で、不要であればＳ１７０は割愛することもできる。
【００５１】
Ｓ１８０で、カメラシステム制御部５は、Ｓ１４０又はＳ１７０において生成された画像を表示及び記録する。
【００５２】
図１（ｂ）を用いてカラーフィルタ及び瞳分割手段のパターンを説明する。図１（ｂ）において、円に外接する正方形は画素を示している。また、円は画素に設けられたマイクロレンズを示している。画素内に設けた小さな正方形は、マスク層の開口を示している。図３を用いて説明したように、マイクロレンズとマスク層によって瞳分割手段が形成されており、図１（ｂ）に示すように、本実施形態の撮像素子６は、全ての画素が、射出瞳の一部の領域の光束を取得するように形成されている。
【００５３】
図１（ｂ）において、クロスハッチングがなされている画素は、赤（Ｒ）のカラーフィルタを持つ。左下がりのハッチングがなされている画素は、緑（Ｇ）のカラーフィルタを持つ。右下がりのハッチングがなされている画素は、青（Ｂ）のカラーフィルタを持つ。図１（ｂ）から明らかなように、カラーフィルタはいわゆるベイヤ配列（最小色配列は２ｘ２）をなすと共に、画素ごとに設けられている。図１（ｂ）では、この最小色配列のブロックに符号１０１、１０２、１０３、及び１０４を付した。前述のように、ブロック１０１、１０２、１０３、及び１０４には４つの画素があり、カラーフィルタがベイヤ配列に従って配置されている。
【００５４】
図１（ｂ）において、瞳分割手段はカラーフィルタに比べて複雑な配列をしている。これを以下で説明する。図１（ｂ）の瞳分割手段は、２ｘ２の４つのパターンを持っている。即ち、ブロック１０１に注目すると、Ｒ１は左上、Ｇｒ２は右上、Ｇｂ３は左下、Ｂ４は右下が開口となっている。縦方向及び横方向に２つの位相がある（即ち、開口位置の縦方向及び横方向のパターンに数が共に２である）ので、最小分割配列は２ｘ２である。ブロック１０１、１０２、１０３、及び１０４は、それぞれ異なるパターンを有している。図１（ｂ）において、画素内に書いたＲ１などの文字は、カラーフィルタと瞳分割のパターンを示している。カラーフィルタは前にある英文字が対応しており、Ｒは赤、ＧｒはＲ行にある緑、ＧｂはＢ行にある緑、Ｂは青を示している。一方、瞳分割パターン（以下、「開口パターン」ともいう）は後ろにある数字が対応しており、１は左上開口、２は右上開口、３は左下開口、４は右下開口に対応している。
【００５５】
ブロック１０１とブロック１０２とは、横方向に隣接している。図１（ｂ）の例では、横方向に隣接する最小色配列の２つのブロックについては、一方のブロックの特定の画素位置における開口パターンが、他方のブロックにおいてはブロック内で左右対称の画素位置に現れるように構成されている。即ち、ブロック１０１では、ブロック内で左上の画素位置は数字１を付した左上開口のパターンを持つが、ブロック１０２では、ブロック内で左右対称な右上の画素位置が同じ左上開口のパターンを持つ。その結果、ブロック１０２においては、左上開口のパターン１は、Ｇｒに対応している。他の画素についても同様に、ブロック内で左右対称になるように開口のパターンを選択することで、ブロック１０２は、Ｒ２、Ｇｒ１、Ｇｂ４、及びＢ３で構成されている。
【００５６】
ブロック１０１とブロック１０３とは、縦方向に隣接している。図１（ｂ）の例では、縦方向に隣接する最小色配列の２つのブロックについては、一方のブロックの特定の画素位置における開口パターンが、他方のブロックにおいてはブロック内で上下対称の画素位置に現れるように構成されている。即ち、ブロック１０１では、ブロック内で左上の画素位置は数字１を付した左上開口のパターンを持つが、ブロック１０３では、ブロック内で上下対称な左下に画素位置が同じ左上開口のパターンを持つ。その結果、ブロック１０３においては、左上開口のパターン１は、Ｇｂに対応している。他の画素についても同様に、ブロック内で上下対称になるように開口のパターンを変えることで、ブロック１０３は、Ｒ３、Ｇｒ４、Ｇｂ１、及びＢ２で構成されている。
【００５７】
以下同様に、ブロック１０４は、ブロック１０２と上下対称の関係を持つように構成される。この時、ブロック１０４は、自動的にブロック１０３と左右対称の関係を持つ。結果として、ブロック１０４は、Ｒ４、Ｇｒ３、Ｇｂ２、及びＢ１で構成される。これを繰り返すことで、撮像素子６全体の瞳分割パターンが決定される。ここで、隣接する最小色配列であるブロック１０１とブロック１０２や、ブロック１０１とブロック１０３などを考えると、瞳分割手段の配列開始パターンが異なっていることが分かる。ブロック１０１では、ブロック内の左上画素は左上が開口しているパターン１であり、ブロック１０２では、ブロック内の左上画素は右上が開口しているパターン２になっている。他の隣接するブロックについても、瞳分割手段の配列開始パターンが異なっていることが分かる。
【００５８】
上記の操作を繰り返すと、ブロック１０１、１０２、１０３、及び１０４で構成される４ｘ４の１６画素を単位として同じ配列が繰り返されることが分かる。この大きさを、最小単位配列として定義する。即ち、特定の最小単位配列と他の最小単位配列とを比較した場合、最小単位配列間で対応する２画素は、色及び開口位置の組み合わせが一致する。最小単位配列は、最小色配列、最小分割配列、及び最小分割配列の位相変化の規則によって定まる。最小分割配列の位相変化の規則とは、例えば、図１（ｂ）の例において、隣接する最小色配列の左右方向は左右対称、上下方向は上下対称としたような規則のことを意味する。図１（ｂ）の場合、最小色配列＝２ｘ２、最小分割配列＝２ｘ２、最小単位配列＝４ｘ４である。
【００５９】
図１（ｃ）は、位相差が閾値未満の場合の処理（図１（ａ）のＳ１３０及びＳ１４０）に対応した図である。図４を用いて説明したように、位相差が閾値未満の場合には、射出瞳面で異なる領域を通過した像をそのまま色補間処理などに用いることが可能である。このため、カメラシステム制御部５は、瞳分割に関する情報（視点情報）を破棄する。図１（ｃ）では、図１（ｂ）に対して画素内に設けた小さな正方形と画素内に書かれた文字の数字部分が削除されている。これは、瞳分割に関する情報（視点情報）を破棄したことと対応している。図１（ｃ）を見ると明らかなように、これは通常のベイヤ配列の撮像素子であり、よく知られた画像処理を施すことで色補間がなされる。即ち、位相差が閾値未満の場合、全パターンの開口位置に対応する画素により得られた信号に対して色補間処理を行うことにより、最小色配列の全種類の色（ここでは、ＲＧＢ）を含むカラー画像が生成される。
【００６０】
一方、図１（ｄ）及び図１（ｅ）は、位相差が閾値以上の場合の処理（図１（ａ）のＳ１５０及びＳ１６０）に対応した図である。図４を用いて説明したように、位相差が閾値以上の場合には、射出瞳面で異なる領域を通過した像をそのまま補間処理などに用いることができない。しかしながら、射出瞳面で同じ領域を通過した像については、補間処理を行うことが可能である。そこで、図１（ｄ）に示すように、カメラシステム制御部５は、射出瞳面で同じ領域を通過した像の信号を抜き出す。図１（ｄ）では、図１（ｂ）において添え字１を付けた左上が開口した画素のみが示されている。図１（ｃ）と図１（ｄ）とを見比べれば明らかなように、図１（ｄ）ではサンプリングが疎になっている。このため高周波成分を得ることができない。しかしながら、位相差が閾値以上の場合は像がピンボケしている場合なので、高周波成分は光学的にカットオフされている。そのため、図１（ｄ）の処理を行うことに伴う不利益は少ない。図１（ｄ）のブロック１０１、１０２、１０３、及び１０４に注目すると、それぞれＲ、Ｇｒ、Ｇｂ、及びＢが存在している。これらＲ、Ｇｒ、Ｇｂ、及びＢの値を、それぞれブロック１０１、１０２、１０３、及び１０４を代表する値とする。図１（ｅ）は、この代表値の概念図である。実際には、ブロック１０１内の画素Ｒ１は、ブロック１０１内の一部の光束しか取り込んでいない。しかしながら、ピンボケの場合では像が広がって見えるので、一部の光束に対応する値をブロック１０１を代表する値にしても差し支えない。図１（ｅ）を見ると、これは通常のベイヤ配列の撮像素子であり、よく知られた画像処理を施すことで色補間がなされる。即ち、位相差が閾値以上の場合、特定の開口位置（ここでは、左上）に対応する画素により得られた信号に対して色補間処理を行うことにより、最小色配列の全種類の色（ここでは、ＲＧＢ）を含むカラー画像が生成される。
【００６１】
図１（ｄ）及び図１（ｅ）では添え字１を付けた左上が開口した画素に注目したが、その他の瞳分割パターンに注目しても同様の処理がなされる。図１（ｂ）の例では、瞳分割手段は２ｘ２の４つのパターンを持っているので、図１（ｄ）及び図１（ｅ）に示した処理が４つのパターンそれぞれに対して行われる。その後、各パターンの処理結果が図１（ａ）のＳ１７０で合成される。Ｓ１７０の合成においては、それぞれの瞳分割パターンの位相差が分かっているので、これを利用して位相合わせをした後に加算処理などが施される。なお、４つのパターン全てについて合成を行わなくても、少なくとも２つのパターンについて合成を行えば、前述したノイズ低減などの効果をある程度は得ることができる。一般化すると、カメラシステム制御部５は、図１（ａ）のＳ１７０において、第１のパターンについて色補間処理を行うことにより生成された第１のカラー画像と、第２のパターンについて色補間処理を行うことにより生成した第２のカラー画像とを合成する。
【００６２】
なお、位相差が閾値以上の場合の処理は、図１（ｄ）及び図１（ｅ）に示すものに限定されない。他の方法としては、例えば、画像を再配置してから色補間する方法（特開２００９−２１６８３号公報に記載の方法）や、画像をピント面に再配置してから色補間する方法などが挙げられる。
【００６３】
次に、図５を参照して、図１（ｂ）に示す撮像素子を利用して位相検知を行う方法について説明する。図５（ａ）及び図５（ｃ）は、特定の瞳分割パターンの信号を抜き出した状態を示す。図５（ｂ）及び図５（ｄ）は、それぞれ図５（ａ）及び図５（ｃ）の信号を位相検知のために輝度信号に変換した状態を示す。
【００６４】
図５（ａ）は、瞳分割パターンのうち左上が開口したパターン１のみを抜き出した図である。ブロック１０１、１０２、１０３、及び１０４に注目すると、それぞれＲ１、Ｇｒ１、Ｇｂ１、及びＢ１が存在している。位相検知のためには、特定の波長（色）の信号を用いるのではなく、様々な波長（色）の信号を用いることが望ましい。そのため、カメラシステム制御部５は、これらの信号を重み付け加算して輝度信号Ｙ１に変換する。単純なＳ／Ｎを考えると全ての信号を同じ重みにしてもよいが、色収差や現像される像の特性に合わせて特定の波長に注目したい場合は、重みを変化させればよい。
【００６５】
図５（ｂ）に示すように、ブロック１０１、１０２、１０３、及び１０４の信号を加算して作ったＹ１は、ブロック１０１、１０２、１０３、及び１０４を含む領域１１１に対応する輝度信号として扱うことができる。カメラシステム制御部５は、この輝度信号を利用して位相検知を行う。つまり、図５（ｂ）の例では、位相検知のための信号のピッチは元の画素のピッチの４倍になっている。
【００６６】
次に、別の瞳分割パターンを抜き出すことを考える。図５（ｃ）は、瞳分割パターンのうち右上が開口したパターン２のみを抜き出した図である。ブロック１０１、１０２、１０３、及び１０４に注目すると、それぞれＧｒ２，Ｒ２，Ｂ２，Ｇｂ２が存在している。パターン１の場合と同様に、カメラシステム制御部５は、これらの信号を重み付け加算して輝度信号Ｙ２に変換する。
【００６７】
図５（ｄ）に示すように、ブロック１０１、１０２、１０３、及び１０４の信号を加算して作ったＹ２は、ブロック１０１、１０２、１０３、及び１０４を含む領域１１２に対応する輝度信号として扱うことができる。
【００６８】
カメラシステム制御部５は、図５（ｂ）及び図５（ｄ）のように複数種類の開口により瞳分割された異なる角度からの像信号を適当な長さ（視野長）で生成し、相関演算として知られる演算を施すことで、位相差を検知することができる。
【００６９】
なお、本実施形態に係る撮像素子６の構成は、図１（ｂ）に示すものに限定されず、次の２つの条件（併せて「配列条件」と呼ぶ）を共に満たす限り、任意の構成を採用可能である。
【００７０】
条件１：最小色配列を縦ｎｃｘ横ｍｃ（ｎｃ及びｍｃは２以上の整数）、最小分割配列を縦ｎｄｘ横ｍｄ（ｎｄ及びｍｄは２以上の整数）とした場合に、最小単位配列が縦（ｎｃ＊ｎｄ＊ａ）ｘ横（ｍｃ＊ｍｄ＊ｂ）（ａ及びｂは自然数）である。
【００７１】
条件２：最小単位配列において特定の開口位置（開口パターン）に対応する全画素のカラーフィルタが最小色配列の全種類の色を含む。
【００７２】
以下、図６乃至図９を参照して、配列条件を満たす撮像素子の例と配列条件を満たさない撮像素子の例について説明する。
【００７３】
図６は、配列条件を満たさない撮像素子の例を示す図である。図６（ａ）及び図６（ｃ）の撮像素子は、いずれも最小色配列＝２ｘ２、最小分割配列＝２ｘ２である。
【００７４】
図６（ａ）の場合、図１（ｂ）と異なり、最小分割配列間で瞳分割パターンの配列が変化していない。最小色配列については、図１（ｂ）と同様、２ｘ２である。従って、図６（ａ）の場合、最小単位配列は２ｘ２である。この場合、位相差が閾値以上の場合における処理（図１（ａ）のＳ１５０及びＳ１６０）を適切に行うことができない。図６（ｂ）に示すように、パターン１の信号のみを抜き出すと、Ｒ（赤）の信号しか得られない。これは、最小色配列と最小分割配列の長さが同じなので、同じ瞳分割パターンには同じカラーフィルタのみが対応してしまうためである。その結果、色補間処理を行っても単色画像しか得ることができず、ＲＧＢカラー画像を得ることができない。
【００７５】
次に、図６（ｃ）の配列を考える。これは、特許文献２の考え方を２次元的な配列に対して自然に拡張した例である。瞳分割パターンについて、横方向に隣接するブロック１４１とブロック１４２とは左右対称に構成され、縦方向に隣接するブロック１４１とブロック１４３とも左右対称に構成されている。特許文献２では位相差に基づく焦点検出を考えているので、基線長方向は１方向に限定されている。そのため、隣接するブロックで左右対称という条件が付されている。図６（ｃ）の場合、最小単位配列は４ｘ４である。しかしながら、特定の開口パターンに注目して信号を抜き出した場合、最小単位配列において全種類の色を得ることができない。即ち、図６（ｄ）に示すように、パターン１に注目して信号を抜き出した場合、ブロック１４１、１４２、１４３、及び１４４からはそれぞれＲ１、Ｇｒ１、Ｇｒ１、及びＲ１が抽出される。このパターンの画像は、ベイヤ配列にはなっておらず、Ｂ（青）が存在しない。そのため適切なＲＧＢカラー画像を得ることができない。
【００７６】
図７は、配列条件を満たす撮像素子の例を示す図である。図７（ａ）の場合、最小色配列＝２ｘ２、最小分割配列＝２ｘ２、最小単位配列＝８ｘ８である。即ち、図７（ａ）の撮像素子は、図１（ｂ）の撮像素子よりも大きな最小単位配列を持つ。図７（ｂ）は、図７（ａ）において特定の瞳分割パターンの画素を抽出した図である。図７（ａ）の例では、カラーフィルタは画素単位に配列され、隣接する最小色配列間で瞳分割手段の配列開始パターンが異なっていると共に、最小単位配列内に最小色配列と同じ比率で画素が配列されていることが分かる。これを具体的に説明する。カラーフィルタは図１（ｂ）と同じ表記法を用いて示してある。明らかに画素ごとにベイヤ配列となっていることが分かる。カラーフィルタは画素単位に設けられていることから、ピントが合っている場合は視差情報を破棄することで高精細な画像が得られる。このように、図７（ａ）の撮像素子は、前述の条件２を満たすと同時に、条件２を更に具体化した下記の条件２’を満たし、より高画質の画像を生成可能である。
【００７７】
条件２’：最小単位配列において特定の開口位置（開口パターン）に対応する全画素のカラーフィルタが、最小色配列と同じ比率で各色を含む。
【００７８】
最小色配列のブロック２０１とブロック２０２に注目する。ブロック２０１とブロック２０２は横方向に隣接している。この隣接する最小色配列のブロックは瞳分割パターンがブロック内で上下対称になっている。即ち、ブロック２０１ではブロック内で左上の位置にありＲに対応していた数字１を付した左上開口のパターンが、ブロック２０２では上下対称なブロック内の左下に位置している。その結果、左上開口のパターン１はＧｂに対応している。他のパターンも同様にブロック内で上下対称になるように開口パターンを変えることで、ブロック２０２はＲ３、Ｇｒ４、Ｇｂ１、及びＢ２で構成されている。
【００７９】
次に、最小色配列のブロック２０１とブロック２０３に注目する。ブロック２０１とブロック２０３は縦方向に隣接している。この隣接する最小色配列のブロックは瞳分割パターンがブロック内で左右対称になっている。即ち、ブロック２０１ではブロック内で左上の位置にありＲに対応していた数字１を付した左上開口のパターンが、左右対称なブロック内の右上に位置している。その結果、左上開口のパターン１はＧｒに対応している。他のパターンも同様にブロック内で左右対称になるように開口パターンを変えることで、ブロック２０３はＲ２、Ｇｒ１、Ｇｂ４、及びＢ３で構成されている。
【００８０】
同様に、ブロック２０４はブロック２０２と左右対称になるようにすればよい。この時、ブロック２０４は自動的にブロック２０３と上下対称になる。更に、図７（ａ）の配列では、最小単位配列の大きさを大きくするための工夫をしている。図７（ｂ）にあるようなブロック２０１、２０２、２０３、及び２０４を包含する中間ブロック２１１を考える。更に、同じ大きさで隣接するように中間ブロック２１２、２１３、及び２１４を考える。図１（ｂ）の例では中間ブロック２１１と中間ブロック２１２は同じ配列を持つようにしていたが、図７（ａ）の例では、最小色配列のブロック２０１、２０２、２０３、及び２０４を１つの塊と考えて隣接する中間ブロック間で対称な配置転換を行っている。
【００８１】
中間ブロック２１１と中間ブロック２１２に注目する。中間ブロック２１１と中間ブロック２１２は横方向に隣接している。この隣接する中間ブロックは、最小色配列のブロック配置が中間ブロック内で上下対称になっている。
【００８２】
中間ブロック２１１と中間ブロック２１３に注目する。中間ブロック２１１と中間ブロック２１３は縦方向に隣接している。この隣接する中間ブロックは、最小色配列のブロック配置が中間ブロック内で左右対称になっている。
【００８３】
以下同様にして、横方向に隣接する中間ブロック間では最小色配列のブロック配置を上下対称に、縦方向に隣接する中間ブロック間では最小色配列のブロック配置を左右対称に配列した。その結果、図７（ａ）及び（ｂ）に示すような配列となっている。その結果、最小単位配列は中間ブロック２１１、２１２、２１３、及び２１４を包含する８ｘ８の大きさになっている。
【００８４】
図７（ｂ）は、特定の瞳分割パターン（パターン１）の画素のみを抜き出した図であるが、これもベイヤ配列になっていることが分かる。即ち、特定の視点からの像をＲＧＢカラーで出力することが可能である。図７（ａ）及び図７（ｂ）に示した画素の配列のもう１つのメリットとして、特定の視点に対応する画素がどの列／どの行にも存在することがある。これにより、細線を捉え損なう可能性が減る。
【００８５】
図７（ｃ）は、図１（ｂ）に示した配列と等価であって、瞳分割のためのマスクの開口比率を変えた例を示す。図７（ｄ）は、図７（ｃ）において特定の瞳分割パターンの画素を抽出した図である。図７（ｅ）は、図７（ｃ）に示した開口から図１（ｂ）に示したものと等価な信号を得るための演算を図示したものである。図７（ｃ）の場合、最小色配列＝２ｘ２、最小分割配列＝２ｘ２、最小単位配列＝４ｘ４である。
【００８６】
図７（ｃ）において、カラーフィルタは画素単位に設けられており、ピントが合っている場合は視差情報を破棄することで高精細な画像が得られる。また、特定の瞳分割パターンの信号を抜き出した図７（ｄ）からも明らかなように、特定の視点からの像をＲＧＢカラーで出力することも可能である。
【００８７】
図１（ｂ）の例では、説明を分かりやすくするために、画素のうち１／４が開口している例を示した。一方で、１／４だけ開口させると３／４の信号はマスク層で遮光されて無駄になってしまう。そのため、図７（ｃ）の例では、３／４を開口させて、１／４を遮光している。即ち、図７（ｃ）は、図１（ｂ）に対して補色の関係のような関係にある。図１（ｂ）の例と違い白の領域が大きいのはこれを図示している。３／４を開口させることで、Ｓ／Ｎという面では有利になる。一方で、瞳を分割した信号を明示的に得ることはできない。そこで、図７（ｅ）に示すような演算を施すことで、図１（ｂ）の場合と同等の信号を得ることができる。即ち、図７（ｅ）に示すように全ての開口パターンを加算して適当なゲイン（図７（ｅ）では１／３）を乗じることで、全開口信号を得る。ここから抜き出したい瞳領域を遮光しているパターン（図７（ｅ）ではパターン４）を減じることで、特定の領域の信号のみを得ることができる。この演算は、特定の視点の像を出力する必要がある場合など、アプリケーションに応じて行えばよい。
【００８８】
図８（ａ）及び図８（ｂ）は、配列条件を満たす撮像素子の例を示す図である。図８（ａ）の場合、最小色配列＝２ｘ２、最小分割配列＝４ｘ４、最小単位配列＝８ｘ８である。瞳分割パターンは合計１６パターンあるので、それを数字で画素内に記入した。色に関しては図１（ｂ）と同じ表記法（ハッチングパターン）を用いたが、画素内への英文字は図示を省略した。図８（ｂ）は、図８（ａ）において特定の瞳分割パターンの画素を抽出した図である。
【００８９】
図８（ａ）において、カラーフィルタは画素単位に配列され、隣接する最小色配列間で瞳分割手段の配列開始パターンが異なっていると共に、最小単位配列内に最小色配列と同じ比率で画素が配列されていることが分かる。カラーフィルタは図１（ｂ）と同じ表記法を用いて示してあるが、明らかに画素ごとにベイヤ配列となっていることが分かる。カラーフィルタは画素単位に設けられていることから、ピントが合っている場合は視差情報を破棄することで高精細な画像が得られる。
【００９０】
図８（ａ）において、最小分割配列のブロック１６１、１６２、１６３、及び１６４を考える。最小分割配列のブロック１６１とブロック１６２に注目する。ブロック１６１とブロック１６２は横方向に隣接している。この隣接する最小分割配列のブロックは瞳分割パターンがブロック内で上下対称になっている。即ち、ブロック１６１ではブロック内で左上の位置にありＲに対応していた数字１を付した最も左上寄りの開口のパターン１が、ブロック１６２では上下対称なブロック内の左下に位置している。その結果、最も左上寄りの開口のパターン１はＧｂに対応している。他のパターンも同様にブロック内で上下対称になるように開口のパターンを変えた。
【００９１】
次に、最小分割配列のブロック１６１とブロック１６３に注目する。ブロック１６１とブロック１６３は縦方向に隣接している。この隣接する最小分割配列のブロックは瞳分割パターンがブロック内で左右対称になっている。即ち、ブロック１６１ではブロック内で左上の位置にありＲに対応していた数字１を付した左上開口のパターン１が、ブロック１６３では左右対称なブロック内の右上に位置している。その結果、左上開口のパターン１はＧｒに対応している。他のパターンも同様にブロック内で左右対称になるように開口のパターンを変えた。
【００９２】
同様に、ブロック１６４はブロック１６２と左右対称になるようにすればよい。この時、ブロック１６４は自動的にブロック１６３と上下対称になる。これを繰り返すことで、図１（ｂ）や図７で説明したものと同じ効果のある配列が得られる。図８（ｂ）から明らかなように、図８（ａ）の配列において特定の瞳分割パターン（パターン１）に注目すると、ブロック１６１、１６２、１６３、及び１６４からはそれぞれＲ，Ｇｂ，Ｇｒ，Ｂの信号が得られる。これらの信号は、最小色配列と同じ比率であると共に、配列もベイヤ配列であり、最小色配列の並びを維持している。その結果、特定の視点の像をＲＧＢカラーで得ることができる。
【００９３】
次に、図８（ｃ）について説明する。図８（ｃ）の場合、最小色配列＝２ｘ２、最小分割配列＝４ｘ４、最小単位配列＝４ｘ４である。図８（ｃ）の例は、図６（ａ）の例を最小分割配列４ｘ４に適用したものと考えればよい。即ち、この配列では、位相差が閾値未満の場合は視差情報を破棄することで図１（ｂ）などと同じ効果を得ることができる。一方で、パターン１に注目して信号を抜き出した場合にはＲＧＢカラー画像を得ることができない。図８（ｄ）は、パターン１の信号のみを抜き出した例であり、Ｒ（赤）の信号しか得られない。
【００９４】
図９は、配列条件を満たす撮像素子の例を示す図である。図９（ａ）において、最小色配列＝２ｘ２、最小分割配列＝３ｘ３、最小単位配列＝６ｘ６である。図９（ｂ）は、特定の視点からの像に注目した時の画素の配列を説明する図である。図９（ｃ）は、図３（ｃ）に対応する図であり、画素の断面図と射出瞳面との対応を説明するための図である。
図９（ａ）の例では、ピントが合っている場合は視差情報を破棄することで高精細な画像が得られる。また、特定の分割パターン抜き出した場合でも、図９（ｂ）に示すようにベイヤ配列の信号が得られ、ＲＧＢカラー画像を得ることができる。
【００９５】
但し、図９（ａ）に示す撮像素子が出力する信号を利用して位相差に基づく焦点検出を行う場合には不都合が生じる。図９（ｃ）は、図３（ｃ）に対応する図であり、同じ機能の構造には同じ番号を付してある。ここで注目することは、射出瞳５０を絞った場合である。絞った瞳を図９（ｃ）には符号３０２で、図３（ｃ）には符号３０１で図示した。偶数で瞳分割された図３の例では、射出瞳を絞った場合でも複数の画素に光線が入射する。一方で、奇数で瞳分割された図９の例では、絞りを符号３０２まで絞った場合には、中央の画素にしか光線が入射しない。これは、位相差情報が得られなくなることを意味する。つまり、屋外で動画撮影などを行う場合に絞りを絞った状況では、撮像素子からの信号で焦点検出を行うことができないことを示している。これを回避するには、瞳は偶数に分割するのがよい。もっとも、絞り量を制限する場合や、他の知られている方法で位相差検出処理を行う場合などには、図９（ａ）の撮像素子を問題なく利用することができる。
【００９６】
以上説明したように、本実施形態によれば、配列条件を満たす撮像素子が提供される。これにより、ピント状態に応じて画質劣化を抑制する色補間処理を実行することが可能となる。
【００９７】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９８】
１…カメラ、２…レンズ、３…撮影光学系、４…光軸、５…カメラシステム制御部、６…撮像素子、７…画像処理部、８…メモリ部、９…表示部、１０…操作検出部、１１…電気接点、１２…レンズシステム制御部、１３…レンズ駆動部
【図１】
0006802633.tif 000002
【図２】
0006802633.tif 000003
【図３】
0006802633.tif 000004
【図４】
0006802633.tif 000005
【図５】
0006802633.tif 000006
【図６】
0006802633.tif 000007
【図７】
0006802633.tif 000008
【図８】
0006802633.tif 000009
【図９】
0006802633.tif 000010