"入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、前記光電変換素子のそれぞれに一対一に対応して設けられる開口マスクと、前記光電変換素子のそれぞれに一対一に対応して設けられるカラーフィルタとを備え、隣接するn個nは3以上の整数の前記光電変換素子のうち、少なくとも3つに対応して設けられたそれぞれの前記開口マスクの開口が、互いに異なる波長帯域を透過させる少なくとも2種類の前記カラーフィルタから構成されるカラーフィルタパターンの一パターン内に含まれると共に、前記入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、前記n個の前記光電変換素子を一組とする光電変換素子群が連続的に配列された撮像素子。一組の前記光電変換素子群は、前記入射光の有効光束の全体を通過させる前記開口マスクが設けられた前記光電変換素子を含む請求項1に記載の撮像素子。前記部分領域からの前記光束を通過させる前記開口マスクと、前記有効光束の全体を通過させる前記開口マスクは別体として設けられる請求項2に記載の撮像素子。前記光電変換素子のそれぞれに一対一に対応して設けられるマイクロレンズを備え、前記開口マスクは、前記マイクロレンズと前記光電変換素子の間に設けられる請求項1から3のいずれか1項に記載の撮像素子。一組の前記光電変換素子群を構成する前記光電変換素子のうち、前記部分領域からの前記光束を通過させる前記開口マスクおよび同一種類の前記カラーフィルタが設けられた前記光電変換素子のそれぞれは、互いに変位した前記開口マスクを有する請求項1から4のいずれか1項に記載の撮像素子。一組の前記光電変換素子群を構成する前記光電変換素子のうち、前記部分領域からの前記光束を通過させる前記開口マスクおよび同一種類の前記カラーフィルタが設けられた前記光電変換素子は、被写体が合焦位置に存在する場合に、前記被写体の一つの微小領域から放射される光束を受光する請求項5に記載の撮像素子。異なる種類の前記カラーフィルタが設けられた前記光電変換素子は、前記被写体の異なる微小領域から放射される光束を受光する請求項6に記載の撮像素子。前記カラーフィルタパターンは、縦2画素および横2画素から成る一組の前記光電変換素子に対して一つの赤フィルタ、二つの緑フィルタ、一つの青フィルタが配置されるパターンを有する請求項1から7のいずれか1項に記載の撮像素子。一組の前記光電変換素子群を構成する前記光電変換素子のうち、前記部分領域からの前記光束を通過させる前記開口マスクは、前記緑フィルタが配置された前記光電変換素子に対応して設けられる請求項8に記載の撮像素子。一組の前記光電変換素子群を構成する前記光電変換素子のうち、前記緑フィルタが配置された前記光電変換素子の少なくとも一つは、前記入射光の有効光束の全体を通過させる前記開口マスクが設けられた請求項9に記載の撮像素子。一組の前記光電変換素子群を構成する前記光電変換素子のうち、前記赤フィルタおよび前記青フィルタのいずれかが配置された前記光電変換素子にも、前記部分領域からの前記光束を通過させる前記開口マスクが設けられた請求項9または10に記載の撮像素子。前記カラーフィルタパターンは、前記少なくとも2種類の前記カラーフィルタとは別に透明フィルタを含む請求項1から7のいずれか1項に記載の撮像素子。前記カラーフィルタパターンは、縦2画素および横2画素から成る一組の前記光電変換素子に対して赤フィルタ、緑フィルタ、青フィルタおよび前記透明フィルタが配置されるパターンを有する請求項12に記載の撮像素子。一組の前記光電変換素子群を構成する前記光電変換素子のうち、前記部分領域からの前記光束を通過させる前記開口マスクは、前記透明フィルタが配置された前記光電変換素子に対応して設けられる請求項12または13に記載の撮像素子。入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、前記光電変換素子のそれぞれに一対一に対応して設けられる開口マスクとを備え、隣接するn個nは3以上の整数の前記光電変換素子のうち、少なくとも3つに対応して設けられたそれぞれの前記開口マスクの開口が、前記入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、前記n個の前記光電変換素子を一組とする光電変換素子群が連続的に配列された撮像素子。一組の前記光電変換素子群は、前記入射光の有効光束の全体を通過させる前記開口マスクが設けられた前記光電変換素子を含む請求項15に記載の撮像素子。前記部分領域からの前記光束を通過させる前記開口マスクと、前記有効光束の全体を通過させる前記開口マスクは別体として設けられる請求項16に記載の撮像素子。前記光電変換素子のそれぞれに一対一に対応して設けられるマイクロレンズを備え、前記開口マスクは、前記マイクロレンズと前記光電変換素子の間に設けられる請求項15から17のいずれか1項に記載の撮像素子。一組の前記光電変換素子群を構成する前記光電変換素子のうち、前記部分領域からの前記光束を通過させる前記開口マスクが設けられた前記光電変換素子のそれぞれは、被写体が合焦位置に存在する場合に、前記被写体の一つの微小領域から放射される光束を受光する請求項15から18のいずれか1項に記載の撮像素子。各々の前記光電変換素子群において、それぞれの前記開口マスクの開口部が、一次元方向に対して互いに連続的にシフトさせて設けられた請求項19に記載の撮像素子。前記一次元方向に直交する他の一次元方向に対しても、それぞれの前記開口マスクの前記開口部が互いに連続的にシフトさせて設けられた請求項20に記載の撮像素子。前記開口部は、前記一次元方向に沿った長さよりも、直交する長さの方が大きい請求項20または21に記載の撮像素子。一組の前記光電変換素子群を構成する前記光電変換素子のうち、前記部分領域からの前記光束を通過させる前記開口マスクが設けられた前記光電変換素子のそれぞれは、被写体が合焦位置に存在する場合に、前記被写体の二つ以上の微小領域から放射される光束のいずれかを受光する請求項15から18のいずれか1項に記載の撮像素子。前記二つ以上の微小領域および隣接する前記光電変換素子群において対応する前記二つ以上の微小領域が、被写体平面において少なくとも一次元方向に等間隔となるように、前記開口マスクが設けられた請求項23に記載の撮像素子。入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、前記光電変換素子のそれぞれに一対一に対応して開口マスクとを備え、隣接するn個nは3以上の整数の前記光電変換素子のうち、少なくとも3つに対応して設けられたそれぞれの前記開口マスクの開口が、前記入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、前記n個の前記光電変換素子を一組とする光電変換素子群が連続的に配列され、前記開口マスクを通過した入射光が少なくとも拡散するのを低減して前記光電変換素子に導く導波路をさらに備える撮像素子。入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、前記光電変換素子のそれぞれに一対一に対応して開口マスクと、前記光電変換素子のそれぞれに一対一に対応して設けられるカラーフィルタとを備え、隣接するn個nは3以上の整数の前記光電変換素子のうち、少なくとも3つに対応して設けられたそれぞれの前記開口マスクの開口が、互いに異なる波長帯域を透過させる少なくとも2種類の前記カラーフィルタから構成されるカラーフィルタパターンの一パターン内に含まれると共に、前記入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、前記n個の前記光電変換素子を一組とする光電変換素子群が連続的に配列され、前記開口マスクを通過した入射光が少なくとも拡散するのを低減して前記光電変換素子に導く導波路をさらに備える撮像素子。前記導波路の外周の屈折率は、前記導波路の周囲の屈折率と異なる請求項25または26に記載の撮像素子。前記光電変換素子の側から間隔を空けて順に積層された第1金属層、第2金属層、及び、第3金属層を更に備え、前記第3金属層は、前記開口マスクであって、前記導波路の入射側の端部は、前記開口マスクから延びる請求項25~27のいずれか1項に記載の撮像素子。前記光電変換素子の側から間隔を空けて順に積層された第1金属層、第2金属層、及び、第3金属層を更に備え、前記第2金属層は、前記開口マスクを通過した光の一部を遮光するとともに、前記導波路の入射側の端部は、前記第2金属層から延びる請求項25~27のいずれか1項に記載の撮像素子。前記光電変換素子の側から間隔を空けて順に積層された第1金属層、第2金属層、及び、第3金属層を更に備え、前記第1金属層は、前記開口マスクを通過した光の一部を遮光するとともに、前記導波路の入射側の端部は、前記第1金属層から延びる請求項25~27のいずれか1項に記載の撮像素子。前記カラーフィルタは、前記導波路に埋め込まれている請求項26に記載の撮像素子。入射側に配置された複数のマイクロレンズを更に備え、前記複数のマイクロレンズのそれぞれは、前記光電変換素子に一対一に対応して設けられている請求項25~31のいずれか1項に記載の撮像素子。1個のマイクロレンズが、複数の前記光電変換素子に対して設けられている請求項32に記載の撮像素子。前記光電変換素子の位置及び大きさは、前記導波路の底面の位置及び大きさに対応して形成されている請求項25~33のいずれか1項に記載の撮像素子。前記導波路は、外周を囲む金属反射層を有する請求項25~34のいずれか1項に記載の撮像素子。前記導波路は、外周を囲むエアギャップ層を有する請求項25~34のいずれか1項に記載の撮像素子。前記導波路は、傾斜している請求項25~36のいずれか1項に記載の撮像素子。前記導波路は、前記開口マスクの前記開口の中心と前記光電変換素子の中心との変位に対応して、傾斜している請求項37に記載の撮像素子。前記導波路は、前記光電変換素子の垂線方向と平行であって、請求項25~37のいずれか1項に記載の撮像素子。前記導波路の下端は、前記光電変換素子と同じ面積である請求項25~39のいずれか1項に記載の撮像素子。請求項25~40のいずれか1項に記載の撮像素子と、前記撮像素子に光を導く光学部材とを備える撮像装置。しかしながら、複数の視差を生じさせる画像を取得するには、その数に応じた複雑な撮影光学系を用意しなければならなかった。上記課題を解決するために、本発明の第1の態様における撮像素子は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、光電変換素子のそれぞれに一対一に対応して設けられる開口マスクと、光電変換素子のそれぞれに一対一に対応して設けられるカラーフィルタとを備え、隣接するn個nは3以上の整数の光電変換素子のうち、少なくとも3つに対応して設けられたそれぞれの開口マスクの開口が、互いに異なる波長帯域を透過させる少なくとも2種類のカラーフィルタから構成されるカラーフィルタパターンの一パターン内に含まれると共に、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、n個の光電変換素子を一組とする光電変換素子群が連続的に配列されている。また、本発明の第2の態様における撮像素子は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、光電変換素子のそれぞれに一対一に対応して設けられる開口マスクとを備え、隣接するn個nは3以上の整数の光電変換素子のうち、少なくとも3つに対応して設けられたそれぞれの開口マスクの開口が、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、n個の光電変換素子を一組とする光電変換素子群が連続的に配列されている。本発明の第3の態様においては、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、前記光電変換素子のそれぞれに一対一に対応して開口マスクとを備え、隣接するn個nは3以上の整数の前記光電変換素子のうち、少なくとも3つに対応して設けられたそれぞれの前記開口マスクの開口が、前記入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、前記n個の前記光電変換素子を一組とする光電変換素子群が連続的に配列され、前記開口マスクを通過した入射光が少なくとも拡散するのを低減して前記光電変換素子に導く導波路をさらに備える撮像素子を提供する。本発明の第4の態様においては、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、前記光電変換素子のそれぞれに一対一に対応して開口マスクと、前記光電変換素子のそれぞれに一対一に対応して設けられるカラーフィルタとを備え、隣接するn個nは3以上の整数の前記光電変換素子のうち、少なくとも3つに対応して設けられたそれぞれの前記開口マスクの開口が、互いに異なる波長帯域を透過させる少なくとも2種類の前記カラーフィルタから構成されるカラーフィルタパターンの一パターン内に含まれると共に、前記入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、前記n個の前記光電変換素子を一組とする光電変換素子群が連続的に配列され、前記開口マスクを通過した入射光が少なくとも拡散するのを低減して前記光電変換素子に導く導波路をさらに備える撮像素子を提供する。本発明の第5の態様においては、上述の撮像素子と、前記撮像素子に光を導く光学部材とを備える撮像装置を提供する。なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。撮像装置の一形態である本実施形態に係るデジタルカメラは、1つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。図1は、本発明の実施形態に係るデジタルカメラ10の構成を説明する図である。デジタルカメラ10は、撮影光学系としての撮影レンズ20を備え、光軸21に沿って入射する被写体光束を撮像素子100へ導く。撮影レンズ20は、デジタルカメラ10に対して着脱できる交換式レンズであっても構わない。デジタルカメラ10は、撮像素子100、制御部201、A/D変換回路202、メモリ203、駆動部204、メモリカードIF207、操作部208、表示部209およびLCD駆動回路210を備える。なお、図示するように、撮像素子100へ向かう光軸21に平行な方向をz軸プラス方向と定め、z軸と直交する平面において紙面手前へ向かう方向をx軸プラス方向、紙面上方向をy軸プラス方向と定める。以降のいくつかの図においては、図1の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。撮影レンズ20は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図1では撮影レンズ20を説明の都合上、瞳近傍に配置された仮想的な1枚のレンズで代表して表している。撮像素子100は、撮影レンズ20の焦点面近傍に配置されている。撮像素子100は、二次元的に複数の光電変換素子が配列された、例えばCCD、CMOSセンサ等のイメージセンサである。撮像素子100は、駆動部204によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してA/D変換回路202へ出力する。A/D変換回路202は、撮像素子100が出力する画像信号をデジタル画像信号に変換してメモリ203へ出力する。制御部201の一部である画像処理部205は、メモリ203をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、JPEGファイル形式の画像データを生成する場合は、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。生成された画像データは、LCD駆動回路210により表示信号に変換され、表示部209に表示される。また、メモリカードIF207に装着されているメモリカード220に記録される。一連の撮影シーケンスは、操作部208がユーザの操作を受け付けて、制御部201へ操作信号を出力することにより開始される。撮影シーケンスに付随するAF,AE等の各種動作は、演算部206の演算結果に応じて実行される。デジタルカメラ10は、通常の撮影モードの他に視差画像撮影モードを備える。ユーザは、これらのいずれかのモードを、メニュー画面が表示された表示部を視認しながら、操作部208を操作することにより選択することができる。次に、撮像素子100の構成について詳細に説明する。図2は、本発明の実施形態に係る撮像素子100の断面を表す概略図である。撮像素子100は、被写体側から順に、マイクロレンズ101、カラーフィルタ102、開口マスク103、配線層105および光電変換素子108が配列されて構成されている。光電変換素子108は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子108は、基板109の表面に二次元的に複数配列されている。光電変換素子108により変換された画像信号、光電変換素子108を制御する制御信号等は、配線層105に設けられた配線106を介して送受信される。また、各光電変換素子108に一対一に対応して設けられた開口部104を有する開口マスク103が、配線層に接して設けられている。開口部104は、後述するように、対応する光電変換素子108ごとにシフトさせて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部104を備える開口マスク103の作用により、光電変換素子108が受光する被写体光束に視差が生じる。一方、視差を生じさせない光電変換素子108上には、開口マスク103が存在しない。別言すれば、対応する光電変換素子108に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部104を有する開口マスク103が設けられているとも言える。視差を生じさせることはないが、実質的には配線106によって形成される開口107が入射する被写体光束を規定するので、配線106を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク103は、各光電変換素子108に対応して別個独立に配列しても良いし、カラーフィルタ102の製造プロセスと同様に複数の光電変換素子108に対して一括して形成しても良い。カラーフィルタ102は、開口マスク103上に設けられている。カラーフィルタ102は、各光電変換素子108に対して特定の波長帯域を透過させるように着色された、光電変換素子108のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも2種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには3種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタを格子状に配列すると良い。具体的な配列については後述する。マイクロレンズ101は、カラーフィルタ102上に設けられている。マイクロレンズ101は、入射する被写体光束のより多くを光電変換素子108へ導くための集光レンズである。マイクロレンズ101は、光電変換素子108のそれぞれに一対一に対応して設けられている。マイクロレンズ101は、撮影レンズ20の瞳中心と光電変換素子108の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子108に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク103の開口部104の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。このように、各々の光電変換素子108に対応して一対一に設けられる開口マスク103、カラーフィルタ102およびマイクロレンズ101の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク103が設けられた画素を視差画素、視差を生じさせる開口マスク103が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子100の有効画素領域が24mm×16mm程度の場合、画素数は1200万程度に及ぶ。なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ101を設けなくても良い。また、白黒画像信号を出力すれば良い場合にはカラーフィルタ102は設けない。また、裏面照射型イメージセンサの場合は、配線層105が光電変換素子108とは反対側に設けられる。また、開口マスク103の開口部104に色成分を持たせれば、カラーフィルタ102と開口マスク103を一体的に形成することもできる。次に、開口マスク103の開口部104と、生じる視差の関係について説明する。図3は、撮像素子100の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ102の配色については後に言及を再開するまで考慮しない。撮像素子100がカラーフィルタ102を備えない場合は、モノクロイメージセンサとしてモノクロの視差画像を生成することができる。また、カラーフィルタ102の配色に言及しない以下の説明においては、同色のカラーフィルタ102を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ102における隣接画素として考えても良い。図3に示すように、開口マスク103の開口部104は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部104は互いに変位した位置に設けられている。図の例においては、それぞれの画素に対する開口部104の位置として、互いに左右方向にシフトした6種類の開口マスク103が用意されている。そして、撮像素子100の全体は、紙面左側から右側へ徐々にシフトする開口マスク103をそれぞれ有する6つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子100は、一組の光電変換素子群を含む繰り返しパターン110が、周期的かつ連続的に敷き詰められて構成されていると言える。しかしながら、繰り返しパターン110は、2次元方向の少なくとも一方向に連続的に敷き詰められていればよく、他方向に非連続であってもよい。また、撮像素子100は、実質的に視差画像を生成できる範囲内において、一部に繰り返しパターン110が省かれた部分を有してもよい。実質的に視差画像を生成できる範囲とは、例えば、像としての齟齬が生じないよう補間できる範囲である。また、繰り返しパターン110が省かれた部分が、視覚的に影響を与えない周辺領域である場合も、実質的に視差画像を生成できる。図4は、視差画素と被写体の関係を説明する概念図である。特に図4aは撮像素子100のうち撮影光軸21と直交する中心に配列されている繰り返しパターン110tの光電変換素子群を示し、図4bは周辺部分に配列されている繰り返しパターン110uの光電変換素子群を模式的に示している。図4a、bにおける被写体30は、撮影レンズ20に対して合焦位置に存在する。図4cは、図4aに対応して、撮影レンズ20に対して非合焦位置に存在する被写体31を捉えた場合の関係を模式的に示している。まず、撮影レンズ20が合焦状態に存在する被写体30を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ20の瞳を通過して撮像素子100へ導かれるが、被写体光束が通過する全体の断面領域に対して、6つの部分領域Pa~Pfが規定されている。そして、例えば繰り返しパターン110t、110uを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Pfから射出された被写体光束のみが光電変換素子108へ到達するように、開口マスク103の開口部104fの位置が定められている。同様に、右端の画素に向かって、部分領域Peに対応して開口部104eの位置が、部分領域Pdに対応して開口部104dの位置が、部分領域Pcに対応して開口部104cの位置が、部分領域Pbに対応して開口部104bの位置が、部分領域Paに対応して開口部104aの位置がそれぞれ定められている。別言すれば、例えば部分領域Pfと左端画素の相対的な位置関係によって定義される、部分領域Pfから射出される被写体光束の主光線Rfの傾きにより、開口部104fの位置が定められていると言っても良い。そして、合焦位置に存在する被写体30からの被写体光束を、開口部104fを介して光電変換素子108が受光する場合、その被写体光束は、点線で図示するように、光電変換素子108上で結像する。同様に、右端の画素に向かって、主光線Reの傾きにより開口部104eの位置が、主光線Rdの傾きにより開口部104dの位置が、主光線Rcの傾きにより開口部104cの位置が、主光線Rbの傾きにより開口部104bの位置が、主光線Raの傾きにより開口部104aの位置がそれぞれ定められていると言える。図4aで示すように、合焦位置に存在する被写体30のうち、光軸21と交差する被写体30上の微小領域Otから放射される光束は、撮影レンズ20の瞳を通過して、繰り返しパターン110tを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン110tを構成する光電変換素子群の各画素は、それぞれ6つの部分領域Pa~Pfを介して、一つの微小領域Otから放射される光束を受光している。微小領域Otは、繰り返しパターン110tを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図4bで示すように、合焦位置に存在する被写体30のうち、光軸21から離間した被写体30上の微小領域Ouから放射される光束は、撮影レンズ20の瞳を通過して、繰り返しパターン110uを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン110uを構成する光電変換素子群の各画素は、それぞれ6つの部分領域Pa~Pfを介して、一つの微小領域Ouから放射される光束を受光している。微小領域Ouも、微小領域Otと同様に、繰り返しパターン110uを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。つまり、被写体30が合焦位置に存在する限りは、撮像素子100上における繰り返しパターン110の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン110において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン110t、110uのそれぞれの左端の画素は、同じ部分領域Pfからの被写体光束を受光している。撮影光軸21と直交する中心に配列されている繰り返しパターン110tにおいて左端画素が部分領域Pfからの被写体光束を受光する開口部104fの位置と、周辺部分に配列されている繰り返しパターン110uにおいて左端画素が部分領域Pfからの被写体光束を受光する開口部104fの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Pfからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図4の例では、撮像素子100上に配列される視差画素のそれぞれは、6種類の開口マスクの一つを備えると言える。次に、撮影レンズ20が非合焦状態に存在する被写体31を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体31からの被写体光束は、撮影レンズ20の瞳の6つの部分領域Pa~Pfを通過して、撮像素子100へ到達する。ただし、非合焦位置に存在する被写体31からの被写体光束は、光電変換素子108上ではなく他の位置で結像する。例えば、図4cに示すように、被写体31が被写体30よりも撮像素子100に対して遠い位置に存在すると、被写体光束は、光電変換素子108よりも被写体31側で結像する。逆に、被写体31が被写体30よりも撮像素子100に対して近い位置に存在すると、被写体光束は、光電変換素子108よりも被写体31とは反対側で結像する。したがって、非合焦位置に存在する被写体31のうち、微小領域Otから放射される被写体光束は、6つの部分領域Pa~Pfのいずれを通過するかにより、異なる組の繰り返しパターン110における対応画素に到達する。例えば、部分領域Pdを通過した被写体光束は、図4cの拡大図に示すように、主光線Rdとして、繰り返しパターン110tに含まれる、開口部104dを有する光電変換素子108へ入射する。そして、微小領域Otから放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン110tに含まれる光電変換素子108へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子108へ入射する。換言すると、繰り返しパターン110tを構成する各光電変換素子108へ到達する被写体光束は、被写体31の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部104dに対応する108へは主光線をRdとする被写体光束が入射し、他の開口部に対応する光電変換素子108へは主光線をRa、Rb、Rc、Re、Rfとする被写体光束が入射するが、これらの被写体光束は、被写体31の互いに異なる微小領域から放射された被写体光束である。このような関係は、図4bにおける周辺部分に配列されている繰り返しパターン110uにおいても同様である。すると、撮像素子100の全体で見た場合、例えば、開口部104aに対応する光電変換素子108で捉えた被写体像Aと、開口部104dに対応する光電変換素子108で捉えた被写体像Dは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Paと部分領域Pdの距離により、方向と量が定まる。つまり、被写体像Aと被写体像Dは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部104aから104fに対応して、6つの視差像が形成されることになる。したがって、このように構成されたそれぞれの繰り返しパターン110において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、6つの部分領域Pa~Pfうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。図5は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、開口部104fに対応する視差画素の出力を集めて生成される視差画像データIm_fの生成の様子、開口部104eの出力による視差画像データIm_eの生成の様子、開口部104dの出力による視差画像データIm_dの生成の様子、開口部104cの出力による視差画像データIm_cの生成の様子、開口部104bの出力による視差画像データIm_bの生成の様子、開口部104aの出力による視差画像データIm_aの生成の様子を表す。まず開口部104fの出力による視差画像データIm_fの生成の様子について説明する。6つの視差画素を一組とする光電変換素子群から成る繰り返しパターン110は、横一列に配列されている。したがって、開口部104fを有する視差画素は、撮像素子100上において、左右方向に6画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。しかし、本実施形態における撮像素子100の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が1/6に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に6倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データIm_fを生成する。ただし、そもそも補間処理前の視差画像データが横方向に1/6に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。同様にして、視差画像データIm_e~視差画像データIm_aが得られる。すなわち、デジタルカメラ10は、横方向に視差を有する6視点の視差画像を生成することができる。上記の例では、横一列を繰り返しパターン110として周期的に配列される例を説明したが、繰り返しパターン110はこれに限らない。図6は、繰り返しパターン110の他の例を示す図である。図6aは、縦6画素を繰り返しパターン110とした例である。ただし、それぞれの開口部104は、紙面上端の視差画素から下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン110によっても、横方向に視差を与える6視点の視差画像を生成することができる。この場合は、図3の繰り返しパターン110に比較すると、縦方向の解像度を犠牲にする代わりに横方向の解像度を維持する繰り返しパターンであると言える。図6bは、斜め方向に隣接する6画素を繰り返しパターン110とした例である。それぞれの開口部104は、紙面左上端の視差画素から右下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン110によっても、横方向に視差を与える6視点の視差画像を生成することができる。この場合は、図3の繰り返しパターン110に比較すると、縦方向の解像度および横方向の解像度をある程度維持しつつ、視差画像の数を増やす繰り返しパターンであると言える。図3の繰り返しパターン110、および図6abの繰り返しパターン110をそれぞれ比較すると、いずれも6視点の視差画像を生成する場合において、視差画像でない全体から一枚の画像を出力する場合の解像度に対し、縦方向、横方向のいずれの方向の解像度を犠牲にするかの違いであると言える。図3の繰り返しパターン110の場合は、横方向の解像度を1/6とする構成である。図6aの繰り返しパターン110の場合は、縦方向の解像度を1/6とする構成である。また、図6bの繰り返しパターン110の場合は、縦方向を1/3、横方向を1/2とする構成である。いずれの場合も、一つのパターン内には、各画素に対応して開口部104a~104fが一つずつ設けられており、それぞれが対応する部分領域Pa~Pfのいずれかから被写体光束を受光するように構成されている。したがって、いずれの繰り返しパターン110であっても視差量は同等である。上述の繰り返しパターン110によれば、解像度と視差数はトレードオフの関係にあるが、次に視差の数を減らさずに解像度を上げる位相ずらし配列の手法について説明する。まずは、前提の構成となる、位相ずらし配列でない構成について説明する。図7は、位相ずらし配列でない視差画素と被写体の関係を説明する概念図である。図7で示す繰り返しパターン110によれば、それぞれの視差画素における開口部104a~104iは、それぞれ撮影レンズ20の瞳における部分領域Pa~Piからの被写体光束のみを通過させるので、撮像素子100は、9視点の視差画像を出力する。この場合は、9つの視差画素が同一の微小領域から放射される光束を受光するので、9画素がそれぞれ別の微小領域から放射される光束を受光する場合に比べて1/9の解像度となる。例えば、合焦位置に存在する被写体30のうち、微小領域Os3から放射された被写体光束は、9つの部分領域Pa~Piを通過することにより分割され、像側領域Is3で結像する。像側領域Is3は、開口部104a~104iを有する一つの繰り返しパターン110に対応する領域である。同様に、微小領域Os2から放射された被写体光束は、9つの部分領域Pa~Piを通過して像側領域Is2で結像する。また、微小領域Os1から放射された被写体光束は、9つの部分領域Pa~Piを通過して像側領域Is1で結像する。像側領域Is2、Is3も、それぞれ開口部104a~104iを有する一つの繰り返しパターン110に対応する領域である。つまり、微小領域と繰り返しパターン110が一対一に対応する構成である。したがって、視差画素に配置される開口部104a~104iは、一つの繰り返しパターン110内で順番に配列されている。図においては、繰り返しパターン110内において、右端視差画素に開口部104aが配置され、左へ向かってb、c...と続き、左端視差画素に開口部104iが配置されている。この配列は、撮像素子100を形成する繰り返しパターン110のいずれにおいても同様である。これに対し、位相ずらし配列は、一つの微小領域から放射された被写体光束のうち、複数の部分領域の全てではなく選択された幾つかの部分領域を通過する光束を受光するように、視差画素を配列して繰り返しパターン110を形成する。図8は、位相ずらし配列における視差画素と被写体の関係を説明する概念図である。図の例の位相ずらし配列は、一つの微小領域から放射された被写体光束のうち、選択された幾つかの部分領域を通過する光束を受光し、かつ、微小領域に対して選択される部分領域が隣り合う微小領域に対して変化するように構成されている。選択される部分領域を固定するパターンもあり得るが、ここでは図の例に即して説明する。図7の配列においては、一つの微小領域から放射される被写体光束に対して、9つの部分領域Pa~Piを通過する全てを受光すべく9つの視差画素で受光した。一方、図8の位相ずらし配列においては、一つの微小領域から放射される被写体光束に対して、9つの部分領域Pa~Piのうちの3つを受光すべく3つの視差画素で受光している。このように、部分領域の一部を選択することにより、微小領域の数を増やして解像度を上げている。図の例では、9つのうちの3つを選択することにより、解像度を3倍に上げている。具体的な配列としては、図7における繰り返しパターン110を構成する各視差画素のうち、隣接しない3つの視差画素を組として、互い違いに配列しなおした場合に相当する。より具体的には、開口部104a、d、gを有する視差画素を一組、開口部104b、e、hを有する視差画素を一組、開口部104c、f、iを有する視差画素を一組として、互いの組の相対関係が互い違いとなるように組み替える。つまり、それぞれの組を、位相をずらして配列する。図の例では、位相をずらして配列した結果、新たに形成される繰り返しパターン110内において、右端視差画素に開口部104gが配置され、左へ向かって順にe、c、a、h、f、d、bと続き、左端視差画素に開口部104iが配置されている。この配列は、撮像素子100を形成する繰り返しパターン110のいずれにおいても同様である。このように新たに形成された繰り返しパターン110に含まれる視差画素のそれぞれは、合焦位置に存在する被写体30のうち、図7の繰り返しパターン110のように一つの微小領域のみから放射される被写体光束を受光するのではなく、三つの微小領域からそれぞれ放射される被写体光束のいずれかを受光する。例えば、図8の像側領域Ip9近傍の繰り返しパターン110に含まれる各視差画素は、拡大図に示すように、微小領域Op9から放射される被写体光束を、開口部104c、f、iを有する3つの視差画素で受光する。そして、この繰り返しパターン110に含まれる開口部104g、a、dを有する視差画素は別の微小領域からの被写体光束を、開口部104e、h、bを有する視差画素はさらに別の微小領域からの被写体光束をそれぞれ受光する。図9は、繰り返しパターンを説明する図である。図9aは、図7に対応する9画素の繰り返しパターン110であり、位相ずらし配列によるパターンではない。この場合、繰り返しパターン110を構成する視差画素は、すべて微小領域Os1から放射された光束を受光している。図9bは、図8に対応する9画素の繰り返しパターン110であり、位相ずらし配列によるパターンである。この場合、繰り返しパターン110を構成する9つの視差画素は、右から左へ向かって順に開口部104g、e、c、a、h、f、d、b、iを有する開口マスク103を備える光電変換素子群として定義され得る。なお、位相ずらし配列によるパターンでは、それぞれの視差画素が同一の微小領域からの被写体光束を受光するわけではないので、隣接する9画素を一組とすれば、いずれの画素間を区切りに設定しても良い。上述の例では、9視点の視差画像を生成する繰り返しパターン110から、3倍の解像度を得る位相ずらし配列による繰り返しパターン110を作る例を説明した。位相ずらし配列は、他にも様々なバリエーションが存在する。視差画素の配列を幾何学的に組み合わせることにより、視差画像数および解像度等のバランスを考慮しつつ、多種多様の繰り返しパターン110を設定することができる。なお、上述の例によれば、図8で示すように、位相ずらし配列に基づく繰り返しパターン110による微小領域の間隔は等間隔である。別言すれば、繰り返しパターン110が隣接して連続すれば、それぞれの視差画素が捉える微小領域は、ある被写体平面において少なくとも一次元方向に等間隔であると言える。微小領域の間隔が等間隔であれば、取得される視差画像に像としての歪みが生じないので、違和感のない視差画像が得られる。上述の例においては、図9aのように定義した繰り返しパターン110を、開口部104a、d、gを有する視差画素を一組、開口部104b、e、hを有する視差画素を一組、開口部104c、f、iを有する視差画素を一組として、図9bに示す繰り返しパターン110に組み替えた。この場合は、合焦位置に存在する被写体30において微小領域が等間隔になるように視差画素の組を決定している。図8の例では、被写体30においてx方向である一次元方向に等間隔の場合を説明したが、後述のようにy方向にも視差を与えるべく開口部104を変位させる場合にも、y方向も加えた二次元方向に微小領域が等間隔に並ぶように視差画素の組を決定することができる。つまり、選択された視差画素の組のそれぞれが、互い違いに位相をずらして配列された場合に、それぞれの視差画素に対応する微小領域が、x方向、y方向の少なくとも一方において、等間隔に並ぶように組み替えることができる。二次元方向共に位相ずらし配列を採用する場合は、被写体領域によらず解像度が一定となるので、合焦位置に存在する被写体30において微小領域が等間隔に並ぶように組み替えることが好ましい。または、観察者である人間の視覚特性を考慮して、合焦位置に存在する被写体30において少なくとも横方向には微小領域が等間隔に並ぶように組み替えることが好ましい。なお、画像処理等により像としての歪みは解消し得るので、他の制約条件等を優先して、微小領域の間隔が等間隔とならない繰り返しパターン110を採用しても良い。上述の例では、主に左右方向に視差を与える視差画像を生成する場合について説明したが、もちろん上下方向に視差を与える視差画像を生成することもできるし、上下左右の二次元方向に視差を与える視差画像を生成することもできる。図10は、二次元的な繰り返しパターン110の例を示す図である。図10の例によれば、縦6画素横6画素の36画素を一組の光電変換素子群として繰り返しパターン110を形成する。それぞれの画素に対する開口部104の位置として、互いに上下左右方向にシフトした36種類の開口マスク103が用意されている。具体的には、各開口部104は、繰り返しパターン110の上端画素から下端画素に向かって、上側から下側へ徐々にシフトすると同時に、左端画素から右端画素に向かって、左側から右側へ徐々にシフトするように位置決めされている。このような繰り返しパターン110を有する撮像素子100は、上下方向および左右方向に視差を与える、36視点の視差画像を出力することができる。もちろん図10の例に限らず、さまざまな視点数の視差画像を出力するように繰り返しパターン110を定めることができる。その場合、上述の位相ずらし配列を2次元配列に応用しても良い。以上の説明においては、開口部104の形状として矩形を採用した。特に、横方向に視差を与える配列においては、シフトさせる方向である左右方向の幅よりも、シフトさせない上下方向の幅を広くすることにより、光電変換素子108へ導く光量を確保している。しかし、開口部104の形状は矩形に限定されない。図11は、開口部104の他の形状を説明する図である。図においては、開口部104の形状を円形とした。円形とした場合、半球形状であるマイクロレンズ101との相対的な関係から、予定外の被写体光束が迷光となって光電変換素子108へ入射することを防ぐことができる。次に、カラーフィルタ102と視差画像について説明する。図12は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、緑フィルタが左上と右下の2画素に、赤フィルタが左下の1画素に、青フィルタが右上の1画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をGb画素と、同じく緑色フィルタが割り当てられた右下の画素をGr画素とする。また、赤色フィルタが割り当てられた画素をR画素と、青色が割り当てられた画素をB画素とする。そして、Gb画素およびB画素が並ぶ横方向をGb行とし、R画素およびGr画素が並ぶ横方向をGr行とする。また、Gb画素およびR画素が並ぶ縦方向をGb列とし、B画素およびGr画素が並ぶ縦方向をGr列とする。このようなカラーフィルタ102の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン110が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い2D画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる3D画像としては画質が低下する。逆に、視差画素の割合を増やせば、3D画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い2D画像が出力される。このようなトレードオフの関係において、何れの画素を視差画素とするか、あるいは視差なし画素とするかにより、様々な特徴を有する繰り返しパターン110が設定される。図13は、ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が2つである場合のバリエーションを説明する図である。この場合の視差画素は、開口部104が中心よりも左側に偏心した視差L画素と、同じく右側に偏心した視差R画素を想定している。つまり、このような視差画素から出力される2視点の視差画像は、いわゆる立体視を実現する。それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。例えば、視差なし画素が多く割り振られていれば高解像度の2D画像データとなり、RGBのいずれの画素に対しても均等に割り振られていれば、色ずれの少ない高画質の2D画像データとなる。視差画素の出力も利用して2D画像データを生成する場合、ずれた被写体像を周辺画素の出力を参照して補正する。したがって、例えば全部のR画素が視差画素であったとしても2D画像を生成することはできるものの、その画質は自ずと低下する。一方、視差画素が多く割り振られていれば高解像度の3D画像データとなり、RGBのいずれの画素に対しても均等に割り振られていれば、3D画像でありながら、色再現性の良い高品質のカラー画像データとなる。視差なし画素の出力も利用して3D画像データを生成する場合、視差のない被写体像から周辺の視差画素の出力を参照してずれた被写体像を生成する。したがって、例えば全部のR画素が視差なし画素であったとしてもカラーの3D画像を生成することはできるものの、やはりその品質は低下する。以下にいくつかのバリエーションについて説明する。図14は、バリエーションの一例を示す図である。図14のバリエーションは、図13における繰り返しパターン分類A-1に相当する。図の例においては、ベイヤー配列と同じ4画素を繰り返しパターン110とする。R画素とG画素は視差なし画素であり、Gb画素を視差L画素に、Gr画素を視差R画素に割り当てる。この場合、同一の繰り返しパターン110に含まれる視差L画素と視差R画素が、被写体が合焦位置に存在するときに、同じ微小領域から放射される光束を受光するように開口部104を定めることもできるし、異なる微小領域から放射される光束を受光するように開口部104を定めることもできる。異なる微小領域から放射される光束を受光するように開口部104を定めた場合、位相ずらし配列として、例えば、左右に隣接する2つの繰り返しパターン110において、左側の繰り返しパターン110のGb画素に割り当てられた視差L画素と、右側の繰り返しパターン110のGr画素に割り当てられた視差R画素とが、同一の微小領域から放射される光束を受光するように構成することができる。図の例においては、視感度の高い緑画素であるGb画素およびGr画素を視差画素として用いるので、コントラストの高い視差画像を得ることが期待できる。また、同じ緑色画素であるGb画素およびGr画素を視差画素として用いるので、これら2つの出力から視差のない出力に変換演算がし易く、視差なし画素であるR画素およびB画素の出力と共に、高画質の2D画像データを生成できる。図15は、他のバリエーションの一例を示す図である。図15のバリエーションは、図13における繰り返しパターン分類B-1に相当する。図の例においては、ベイヤー配列の4画素が左右に2組続く8画素を繰り返しパターン110とする。8画素のうち、左側のGb画素に視差L画素を、右側のGb画素に視差R画素を割り当てる。このような配列においては、Gr画素を視差なし画素としたことにより、図13の例よりも、更に2D画像の高画質化が望める。図16は、更に他のバリエーションの一例を示す図である。図16のバリエーションは、図13における繰り返しパターン分類C-1に相当する。図の例においては、ベイヤー配列の4画素が左右に2組続く8画素を繰り返しパターン110とする。8画素のうち、左側のGb画素に視差L画素を、右側のGb画素に視差R画素を割り当てる。さらに、左側のGr画素にも視差L画素を、右側のGr画素にも視差R画素を割り当てる。2つのGb画素に割り当てられた視差L画素と視差R画素は、被写体が合焦位置に存在するときに、一つの微小領域から放射される光束を受光し、2つのGr画素に割り当てられた視差L画素と視差R画素は、Gb画素のそれとは異なる一つの微小領域から放射される光束を受光する。したがって、図15の例に比較して、3D画像としての解像度が縦方向に2倍となる。図17は、更に他のバリエーションの一例を示す図である。図17のバリエーションは、図13における繰り返しパターン分類D-1に相当する。図の例においては、ベイヤー配列の4画素が左右に2組続く8画素を繰り返しパターン110とする。8画素のうち、左側のGb画素に視差L画素を、右側のGb画素に視差R画素を割り当てる。さらに、左側のR画素に視差L画素を、右側のR画素に視差R画素を割り当てる。さらに、左側のB画素に視差L画素を、右側のB画素に視差R画素を割り当てる。2つのGr画素には視差なし画素を割り当てる。2つのGb画素に割り当てられた視差L画素と視差R画素は、被写体が合焦位置に存在するときに、一つの微小領域から放射される光束を受光する。また、2つのR画素に割り当てられた視差L画素と視差R画素は、Gb画素のそれとは異なる一つの微小領域から放射される光束を受光し、2つのB画素に割り当てられた視差L画素と視差R画素は、Gb画素およびR画素のそれとは異なる一つの微小領域から放射される光束を受光する。したがって、図15の例に比較して、3D画像としての解像度が縦方向に3倍となる。しかも、RGBの3色の出力が得られるので、カラー画像としての3D画像として高品質である。図18は、ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が3つである場合のバリエーションを説明する図である。この場合の視差画素は、開口部104が中心よりも左側に偏心した視差L画素、偏心のない視差C画素および右側に偏心した視差R画素を想定している。偏心のない視差C画素は、瞳の中心部分を部分領域とする被写体光束のみを光電変換素子108へ導く点で視差画像を出力する視差画素であり、光電変換素子108に対して入射する被写体光束を制限しない視差なし画素とは異なる。したがって、これら3種類の視差画素により、3視点の視差画像が出力される。それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。2視点における2D画像と3D画像のトレードオフの関係は、3視点においても同様である。3視点におけるバリエーションの一例を説明する。図19は、バリエーションの一例として、図18における繰り返しパターン分類Bt-2に相当する図である。図の例においては、ベイヤー配列の4画素が左右方向に3組続く12画素を繰り返しパターン110とする。12画素のうち、3つのGb画素にそれぞれ左右方向に対応させて視差L画素、視差C画素および視差R画素を割り当てる。他の画素には、全て視差なし画素を割り当てる。このような繰り返しパターン110によれば、2D画像としての解像度、カラー品質を高いレベルで維持しつつ、3視点の視差画像も同時に取得することができる。図20は、ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が4つ以上である場合のバリエーションの一例を説明する図である。このように、視点数が増えていっても、さまざまな繰り返しパターン110を形成することができる。したがって、仕様、目的等に応じた繰り返しパターン110を選択することができる。上述の例では、カラーフィルタ配列としてベイヤー配列を採用した場合について説明したが、もちろん他のカラーフィルタ配列であっても差し支えない。図3等を用いて説明したように、カラーフィルタ配列を構成するある1色に着目して寄せ集めた場合に、隣接する複数の画素を一組の光電変換素子群とする繰り返しパターンを形成し、視差画像を出力するように視差画素が割り当てられていれば良い。このとき、一組の光電変換素子群を構成する視差画素のそれぞれは、互いに異なる部分領域を向く開口部104を有する開口マスク103を備えると良い。図21は、他のカラーフィルタ配列を説明する図である。図示するように、他のカラーフィルタ配列は、緑フィルタが左上および右上の2画素に、赤フィルタが左下の1画素に、青フィルタが右下の1画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をGr画素と、同じく緑色フィルタが割り当てられた右上の画素をGb画素とする。また、赤色フィルタが割り当てられた画素をR画素と、青色が割り当てられた画素をB画素とする。そして、Gr画素およびGb画素が並ぶ横方向をG行とし、R画素およびB画素が並ぶ横方向をRB行とする。また、Gr画素およびR画素が並ぶ縦方向をGr列とし、Gb画素およびB画素が並ぶ縦方向をGb列とする。ベイヤー配列の場合と同じく、このような他のカラーフィルタ配列の場合であっても、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン110が設定され得る。また、相対的に視差なし画素の割合を増やせば、解像度の高い2D画像を出力させることができ、視差画素の割合を増やせば、3D画像の画質を向上させることができる関係も同様である。図22は、他のカラーフィルタ配列に対する視差画素の割り振りについて、視差画素の種類が2つである場合のバリエーションを説明する図である。それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。例えば、視差なし画素が多く割り振られていれば高解像度の2D画像データとなり、RGBのいずれの画素に対しても均等に割り振られていれば、色ずれの少ない高画質の2D画像データとなる。視差画素の出力も利用して2D画像データを生成する場合、ずれた被写体像を周辺画素の出力を参照して補正する。したがって、例えば全部のR画素が視差画素であったとしても2D画像を生成することはできるものの、その画質は自ずと低下する。一方、視差画素が多く割り振られていれば高解像度の3D画像データとなり、RGBのいずれの画素に対しても均等に割り振られていれば、3D画像でありながら、色再現性の良い高品質のカラー画像データとなる。視差なし画素の出力も利用して3D画像データを生成する場合、視差のない被写体像から周辺の視差画素の出力を参照してずれた被写体像を生成する。したがって、例えば全部のR画素が視差なし画素であったとしてもカラーの3D画像を生成することはできるものの、やはりその品質は低下する。図23は、他のカラーフィルタ配列に対する視差画素の割り振りについて、視差画素の種類が3つである場合のバリエーションを説明する図である。この場合の視差画素は、開口部104が中心よりも左側に偏心した視差L画素、偏心のない視差C画素および右側に偏心した視差R画素を想定している。それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。2視点における2D画像と3D画像のトレードオフの関係は、3視点においても同様である。図示は省くが、視差画素の種類が4つ以上であっても、さまざまな繰り返しパターン110を形成することができる。したがって、仕様、目的等に応じた繰り返しパターン110を選択することができる。図24は、本発明の実施形態に係る他の撮像素子の断面を表す概略図である。図2では、カラーフィルタ102と開口マスク103が別体で構成される撮像素子100の断面概略図を示したが、図24では、撮像素子100の変形例として、カラーフィルタ部122と開口マスク部123が一体的に構成されたスクリーンフィルタ121を備える撮像素子120の断面外略図を示す。輝度情報を取得する画素を視差画素とする場合、つまり、視差画像をモノクロ画像として出力するのであれば、図24で示す撮像素子120の構成を採用し得る。すなわち、カラーフィルタとして機能するカラーフィルタ部122と、開口部104を有する開口マスク部123とが一体的に構成されたスクリーンフィルタ121を、マイクロレンズ101と配線層105の間に配設することができる。スクリーンフィルタ121は、カラーフィルタ部122において例えば青緑赤の着色が施され、開口マスク部123において開口部104以外のマスク部分が黒の着色が施されて形成される。スクリーンフィルタ121を採用する撮像素子120は、撮像素子100に比較して、マイクロレンズ101から光電変換素子108までの距離が短いので、被写体光束の集光効率が高い。図25は、他のカラーフィルタ配列を説明する図である。図示するように、他のカラーフィルタ配列は、図12で示したベイヤー配列のGr画素を緑フィルタが割り当てられるG画素として維持する一方、Gb画素をカラーフィルタが割り当てられないW画素に変更した配列である。なお、W画素は、上述のように、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタが配列されていても良い。このようなW画素を含むカラーフィルタ配列を採用すれば、撮像素子が出力するカラー情報の精度は若干低下するものの、W画素が受光する光量はカラーフィルタが設けられている場合に比較して多いので、精度の高い輝度情報を取得できる。W画素の出力を寄せ集めれば、モノクロ画像を形成することもできる。W画素を含むカラーフィルタ配列の場合、視差画素と視差なし画素の繰り返しパターン110は、さらなるバリエーションが存在する。例えば、比較的暗い環境下で撮影された画像であっても、カラー画素から出力された画像に比較してW画素から出力された画像であれば、被写体像のコントラストが高い。そこで、W画素に視差画素を割り振れば、複数の視差画像間で行うマッチング処理において、精度の高い演算結果が期待できる。マッチング処理は、画像データに写り込む被写体像の距離情報を取得する処理の一環として実行される。したがって、2D画像の解像度および視差画像の画質への影響に加え、抽出される他の情報への利害得失も考慮して、視差画素と視差なし画素の繰り返しパターン110が設定される。図26は、図25の他のカラーフィルタ配列を採用する場合の、W画素と視差画素の配列の一例を示す図である。図26のバリエーションは、ベイヤー配列における図15の繰り返しパターン分類B-1に類似するので、ここではB-1とする。図の例においては、他のカラーフィルタ配列の4画素が左右に2組続く8画素を繰り返しパターン110とする。8画素のうち、左側のW画素に視差L画素を、右側のW画素に視差R画素を割り当てる。このような配列において撮像素子100は、視差画像をモノクロ画像として出力し、2D画像をカラー画像として出力する。この場合、撮像素子100は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子108と、光電変換素子108の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスク103と、光電変換素子108の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタ102とを有し、隣接するn個nは4以上の整数の光電変換素子108のうち、少なくとも2つに対応して設けられたそれぞれの開口マスク103の開口部104は、互いに異なる波長帯域を透過させる少なくとも2種類のカラーフィルタ102から構成されるカラーフィルタパターンの一パターン内には含まれず、かつ、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、n個の光電変換素子108を一組とする光電変換素子群が周期的かつ連続的に配列されていれば良い。ここで、モノクロ画像としての視差画像の生成と、カラー画像としての2D画像の生成について説明する。図27は、視差画像と2D画像の生成過程を示す概念図である。図示するように、視差L画素の出力が、撮像素子100上の相対的な位置関係を維持しながら寄せ集められて、L画像データが生成される。一つの繰り返しパターン110に含まれる視差L画素は一つであるので、L画像データを形成する各視差L画素は、それぞれ異なる繰り返しパターン110から寄せ集められていると言える。すなわち、寄せ集められたそれぞれの視差L画素の出力は、被写体の互いに異なる微小領域から放射された光が光電変換された結果であるので、L画像データは、特定の視点L視点から被写体を捉えた一つの視差画像データとなる。そして、視差L画素は、W画素に割り振られているので、L画像データは、カラー情報を持たず、モノクロ画像として生成される。同様に、視差R画素の出力が、撮像素子100上の相対的な位置関係を維持しながら寄せ集められて、R画像データが生成される。寄せ集められたそれぞれの視差R画素の出力は、被写体の互いに異なる微小領域から放射された光が光電変換された結果であるので、R画像データは、特定の視点R視点から被写体を捉えた一つの視差画像データとなる。そして、視差R画素は、W画素に割り振られているので、R画像データは、カラー情報を持たず、モノクロ画像として生成される。被写体が合焦位置に存在するときに、一つの繰り返しパターン110において、L画素とR画素は、被写体の同一の微小領域から放射される光束を受光する。また、被写体が非合焦位置に存在するときに、一つの繰り返しパターン110において、L画素とR画素は、被写体の互いにずれた微小領域から放射される光束を受光する。そのずれは、被写体位置の合焦位置に対する相対関係と瞳の部分領域の関係とから、方向と量が定まる。したがって、L画像データとR画像データのそれぞれにおいて、視差L画素と視差R画素が撮像素子100上の相対的な位置関係を維持しながら寄せ集められていれば、それぞれが視差画像を形成する。また、視差なし画素の出力が、撮像素子100上の相対的な位置関係を維持しながら寄せ集められて、2D画像データが生成される。このとき、W画素は視差画素であるので、視差なし画素のみで構成されるベイヤー配列からの出力に対して、Gb画素の出力に相当する出力が欠落する。そこで、例えば、この欠落した出力の値として、G画素の出力値を代入する。つまり、G画素の出力で補間処理を行う。このように、補間処理を施せば、ベイヤー配列の出力に対する画像処理を採用して2D画像データを生成することができる。なお、以上の画像処理は、画像処理部205によって実行される。画像処理部205は、制御部201を介して撮像素子100から出力される画像信号を受け取り、上述のようにそれぞれの画素の出力ごとに分配してL画像データ、R画像データおよび2D画像データを生成する。以上の実施形態においては、撮像素子100は、一組の光電変換素子群を含む繰り返しパターン110が、周期的かつ連続的に敷き詰められて構成されていると説明した。しかし、カラーフィルタを備える視差画素のそれぞれが被写体の離散的な微小領域を捉えて視差画像を出力すれば良いので、例えば、周期的な繰り返しパターン110の間に視差なし画素が連続していても良い。つまり、視差画素を含む繰り返しパターン110は、連続していなくても、周期的であれば視差画像を出力し得る。なお、本実施形態では、マイクロレンズ101が光電変換素子108のそれぞれに一対一に対応して設けられていると説明したが、複数の光電変換素子108に対して一つのマイクロレンズ101が設けられてもよい。この場合、一組の光電変換素子群を含む繰り返しパターン110に対して一つのマイクロレンズ101が設けられてもよいし、繰り返しパターン110に関係なくマイクロレンズが設けられてもよい。撮像素子の構成を変えた他の実施形態について説明する。図28は、撮像素子の縦断面図である。図28に示すように、撮像素子16は、基板40と、複数の光電変換素子42と、絶縁層44と、配線層46と、配線層48と、開口マスク50aから50fと、導波路56aから56fと、複数のカラーフィルタ62と、マイクロレンズ64とを備えている。尚、配線層46は、第1金属層の一例である。配線層48は、第2金属層の一例である。開口マスク50aから50fは、第3金属層の一例である。図28の例においては、6種類の開口マスク50aから50fおよびそれらに対応して6種類の導波路56aから56fが示されている。基板40は、シリコン、GaAs等の半導体材料、または、サファイア等の絶縁材料によって構成される。光電変換素子42は、受光した光に対応する電気的な信号を出力する。光電変換素子42は、基板40の上面部に形成されている。光電変換素子42は、フォトダイオード等を適用することができる。光電変換素子42は、X方向及びY方向において一定の間隔を開けて、2次元状に配列されている。絶縁層44は、光電変換素子42、配線層46及び配線層48を互いに絶縁する。絶縁層44は、基板40及び光電変換素子42を覆うように形成されている。絶縁層44は、酸化シリコン、窒化シリコン等の絶縁材料によって構成されている。配線層46及び配線層48は、絶縁層44の内部に埋め込まれている。配線層48は、一定の間隔を空けて、配線層46の上方に積層されている。配線層46及び配線層48は、金属等の導電性材料によって構成される。配線層46及び配線層48は、光電変換素子42から出力された電気信号を伝達する。開口マスク50aから50fは、一定の間隔を空けて、配線層46の上方に積層されている。開口マスク50aから50fは、絶縁層44上に配置されている。これにより、配線層46、配線層48及び開口マスク50aから50fは、光電変換素子42の側から絶縁層44を介してこの順に積層される。開口マスク50aから50fは、金属等の可視光を遮光可能な材料からなる。開口マスク50aから50fは、光電変換素子42のそれぞれに一対一に対応して設けられている。開口マスク50aから50fには、それぞれ開口66aから66fが形成されている。開口66aから66fの位置等については後述する。導波路56aから56fは、絶縁層44の内部に形成されている。導波路56aから56fの入射側の端部は、それぞれ開口マスク50aから50fから延びる。導波路56aから56fの他方の端部は、光電変換素子42まで延びる。これにより、導波路56aから56fは、それぞれ開口66aから66fと光電変換素子42とを繋ぐ。導波路56aから56fの構造および機能については後述する。カラーフィルタ62は、例えば、メタクリル酸エステル等の材料からなる。カラーフィルタ62は、開口マスク50aから50f上、及び、開口66aから66fから露出した絶縁層44上に形成されている。カラーフィルタ62は、光電変換素子42のそれぞれに一対一に対応して設けられている。カラーフィルタ62は、各光電変換素子42に対して特定の波長帯域の光を透過させるように着色されている。カラー画像を撮像するには、互いに異なる少なくとも2種類のカラーフィルタ62を配列する。更に高画質のカラー画像を撮像するには、3種類以上のカラーフィルタ62を配列する必要がある。カラーフィルタ62の組み合わせの一例は、赤色波長帯域を透過させる赤色フィルタ、緑色波長帯域を透過させる緑色フィルタ、青色波長帯域を透過させる青色フィルタの組み合わせである。これらのカラーフィルタ62の組み合わせを周期的に配列して、1つのカラーフィルタパターンが形成される。尚、白黒画像信号を出力する場合、カラーフィルタ62は省略してもよい。マイクロレンズ64は、カラーフィルタ62上に形成されている。マイクロレンズ64は、入射する被写体光束をより多く光電変換素子42へと導くための集光レンズである。マイクロレンズ64は、複数の光電変換素子42のそれぞれに一対一に対応して設けられている。マイクロレンズ64は、撮影レンズ20の瞳中心と光電変換素子42の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子42に導かれるようにその光軸21がシフトされていることが好ましい。尚、集光効率、光電変換効率がよい撮像素子16の場合、マイクロレンズ64は省略してもよい。各々の光電変換素子42に対応して一対一に設けられる開口マスク50aから50f、導波路56aから56f、カラーフィルタ62、マイクロレンズ64の一単位を画素と呼ぶ。特に、視差を生じさせる開口66aから66fが形成された開口マスク50aから50fを含む画素を視差画素、視差を生じさせない開口が形成された開口マスクを含む視差なし画素と呼ぶ。例えば、撮像素子16の有効画素領域が24mm×16mmの場合、画素数は1200万程度に及ぶ。この撮像素子16では、撮影レンズ20の光軸21に沿って、被写体光束が入射すると、マイクロレンズ64によって、集光された後、カラーフィルタ62に入射する。光は、カラーフィルタ62によって特定の波長帯域のみが選択的に透過される。その後、特定の方向から入射した光が開口マスク50aから50fの開口66aから66fを通過する。光は、導波路56aから56fの外周壁部74aから74fによって反射されつつ、瞳分割光として光電変換素子42に入射して、電気信号に変換される。図29、図30、図31、図32、図33は、撮像素子の製造方法を説明する図である。尚、図31は、図30の溝周辺の拡大図である。図29に示すように、基板40に光電変換素子42が形成される。次に、配線層46の下層まで、スピンコート法等により絶縁層44aが、基板40及び光電変換素子42の上面全体に形成される。リフトオフ法等によりパターニングされた配線層46が、絶縁層44aの上面に形成される。スピンコート法等により絶縁層44bが配線層46及び絶縁層44aの上面全体に形成される。リフトオフ法等によりパターニングされた配線層48が、絶縁層44bの上面に形成される。次に、スピンコート法等により絶縁層44cが、配線層48及び絶縁層44bの上面全体に形成される。尚、絶縁層44a、44b、44cによって、絶縁層44が構成される。次に、図30に示すように、ドライエッチング等の異方性エッチングにより、導波路56aから56fの外周壁部74aから74fに対応する領域の絶縁層44を除去して溝80を形成する。ここで、導波路56a等の半径方向において、溝80は、外周壁部74a等よりも厚い。溝80を形成した後に、図31に示すように、絶縁層44の除去された溝80に絶縁材料を埋め込む。これにより、埋め込まれた絶縁材料の内部に空気が残り、図30に示すように、空気が充填された外周壁部74aから74fが形成される。次に、図32に示すように、リフトオフ法等によって、パターニングされた複数の開口マスク50aから50fが絶縁層44上に形成される。それぞれの開口マスク50aから50fの開口66aから66fは、導波路56aから56fの上端の位置および大きさに合わせて形成される。図33に示すように、カラーフィルタ62が、開口マスク50aから50fの上面に形成される。尚、カラーフィルタ62は、開口マスク50aから50fの上面に材料が塗布された後、対応する各領域の色に現像されて形成される。この後、カラーフィルタ62の上面にマイクロレンズ64が形成されて、図28に示す撮像素子16が完成する。さらに図28を用いて導波路56a等の構成および作用を説明する。上記の通り、導波路56aから56fの-Z側の端部の開口は、それぞれ開口マスク50aから50fの開口66aから66fと略同じ位置および略同じ大きさに形成されている。導波路56aから56fの下端の中心は、光電変換素子42の中心と一致させている。導波路56aから56fはそれぞれ、外周壁部74aから74fを有する。外周壁部74a等は、それぞれ導波路56a等の外周を囲むように形成されている。外周壁部74a等には、空気が満たされておりエアギャップ層として機能する。これにより、外周壁部74a等の屈折率は、導波路56a等の周囲の絶縁層44の屈折率と異なる。より具体的には、外周壁部74aよりも内側には、空気と屈折率が異なる絶縁層44が満たされている。絶縁層44が酸化シリコン層の場合、絶縁層44は、空気が満たされた外周壁部74a等よりも屈折率が高くなる。尚、外周壁部74aから74fをタングステン、アルミニウム、銅等の金属反射層によって構成してもよい。導波路56aから56fの外周壁部74aから74fの傾斜角度は、対応する開口マスク50a等を通過した光束が、外周壁部74a等で反射されて、光電変換素子42において感度が高い中心付近に来るように設けられることが好ましい。図28の左端の画素を例に説明すれば、開口マスク50aの開口66aが図4aの部分領域Pfを見込む方向からのが光線L1であるとすると、外周壁部74aがなければ光電変換素子42における感度の悪い周辺部に入射するか、または、光電変換素子42から外れたり、隣の光電変換素子42に入射するおそれがある。これに対し、光線L1を、対応する光電変換素子42の中心付近に反射する角度を設定することにより、より的確に集光することができる。さらに、部分領域Pfを見込む方向からの光線のうちマイクロレンズ64の中心を通る光線L1と、中心から外れた光線L2とは当該マイクロレンズ64により集光されるが、その集光点が外周壁部74aにより反射されて、対応する光電変換素子42の中心付近に反射する角度に設定されることが好ましい。1回の反射で光電変換素子42の中心付近に到達するように外周壁部74aから74fの角度が決められてもよいし、2回上の反射で到達するように角度が決められてもよい。さらに、導波路56aから56f内の媒体の屈折率が、外周壁部74aから74fの屈折率よりも大きい場合には、上記反射の角度が全反射となるように設定されることが好ましい。これにより、より効率的に画素に光を入射させることができる。上述したように本実施形態による撮像素子16は、6種類の開口マスク50aから50fを設けることにより、視差画像を生成することができる。これにより、複数の光学系等の装置を要することなく、視差画像を取得することができる。また、撮像素子16は上記導波路56aから56fを有するので、開口66aから66fを通過した光の漏れを抑制して、効率よく光電変換素子42へと導くことができる。また、導波路56aから56fによって、光の漏れを抑制することにより、一の光電変換素子42に受光されるべき光が、隣接する光電変換素子42に受光されることを抑制できる。これにより、複数の視差画像からなる高精度の立体画像を得ることができる。更に、1つの繰り返しパターン110に複数の導波路56aから56fを設けることにより、複数の光電変換素子42に異なった瞳分割光を入射させることができる。この結果、より高精度の立体画像を得ることができる。図34は、導波路を変形した実施形態による撮像素子の縦断面図である。図34に示すように、本実施形態による撮像素子116は、配線層148から光電変換素子42まで延びる導波路156aから156fを有する。この場合、配線層148のうち、導波路156a等の近傍の配線層148はそれぞれ、導波路156a等の外周壁部174a等まで延びる。配線層148は、開口マスク50a等を通過して入射した光の一部を遮光する遮光膜として機能する。尚、遮光膜として機能する領域の配線層148は、信号線として機能させてもよく、単なる遮光膜とし機能させてもよい。また、外周壁部174aから174fの傾斜角度は、図33の外周壁部74aから74fの傾斜角度とそれぞれ同じであってよい。図35は、導波路を変形した実施形態による撮像素子の縦断面図である。図35に示すように、本実施形態による撮像素子216は、配線層246から光電変換素子42まで延びる導波路256aから256fを有する。この場合、配線層148のうち、導波路256a等の近傍の配線層246は、導波路256a等の外周壁部274a等まで延びる。配線層246は、開口マスク50a等を通過して入射した光の一部を遮光する遮光膜として機能する。尚、遮光膜として機能する領域の配線層246は、信号線として機能させてもよく、単なる遮光膜とし機能させてもよい。また、外周壁部274aから274fの傾斜角度は、図33の外周壁部74aから74fの傾斜角度とそれぞれ同じであってよい。図36は、導波路の内部が空気である撮像素子の縦断面図である。図36に示すように、本実施形態による撮像素子616は、空気が満たされた導波路656aから656fを有する。これにより、導波路656aから656fをエッチングすることにより容易に形成することができるとともに、外周壁部を省略できる。また、導波路656aから656fの外周面すなわち絶縁層44の内周面の傾斜角度は、図33の外周壁部74aから74fの傾斜角度とそれぞれ同じであってよい。なお、空気の屈折率が絶縁層44の屈折率よりも小さい場合には導波路656a等の内側で全反射は起きないが、開口66a等を通過した光線を当該境界面での正反射によって、少なくとも部分的には光電変換素子42の中央に集めることができる。図37は、導波路の内部を屈折率が空気よりも大きいカラーフィルタにより構成した撮像素子の縦断面図である。図37に示すように、本実施形態による撮像素子316は、導波路56aから56fの内部に埋め込まれたカラーフィルタ362を有する。これにより、撮像素子316を薄くすることができるとともに、フィルタ性能を向上させることができる。尚、導波路56aから56fの内部のうち、表面に近い上部のみ、カラーフィルタ362を充填して、下部は空洞としてもよい。また、外周壁部74aから74fの傾斜角度は、図33の外周壁部74aから74fの傾斜角度とそれぞれ同じであってよい。図38は、導波路の形状を変更した撮像素子の縦断面図である。図38に示すように、本実施形態による撮像素子416は、基板40及び光電変換素子442の垂線と平行に形成された導波路456aから456fを有する。例えば、導波路456aの形状は、部分直錐台形状である。また、撮像素子416では、隣接する光電変換素子442と光電変換素子442との間隔が、対応する開口66a等の間隔と一致する。これにより、光電変換素子442の中心が、対応する開口66a等及び導波路456a等の中心と一致する。また、導波路456aの底面の面積が、光電変換素子442の上面の面積と同じである。この場合、光電変換素子442の位置及び大きさを、導波路456a等の底面の位置及び大きさに対応して形成してもよい。導波路56aから56fの外周壁部74aから74fの角度は、対応する開口マスク50a等を通過した光束のうちマイクロレンズ64の中心を通る光線が、直接にまたは外周壁部74a等で一回反射されて、光電変換素子442に到達するように設けられることが好ましい。また、上述の実施形態では、6種類の開口が形成された開口マスクを例に説明したが、5種類以下、または、7種類以上の開口が形成された開口マスクを撮像素子に設けてもよい。図39は、他の撮像素子の一部を拡大した平面図である。図39に示すように、4個の光電変換素子42、及び、開口566、568、570のいずれかが形成された4個の開口マスク550、552、554に対して、1個のマイクロレンズ564が設けられている。これにより、マイクロレンズ564の構成を簡略化することができる。尚、各光電変換素子42からは、トランジスタ等のスイッチング素子により時間的にずらされて、電気信号が出力される。尚、1個のマイクロレンズ564を、4個以外の光電変換素子42に対応して設けてもよい。図39においてもそれぞれの開口566、568、570に対応して図28に示す導波路56aから56fが設けられる。また、図28から図39に示す実施形態において、カラーフィルタ62が、画素ごとにRGBのように互いに異なる波長を透過する複数種類を含む場合には、屈折率の波長分散を考慮して、それぞれの波長において上記反射の条件を満たすように、対応する画素の外周壁部74aから74fの傾斜角度が設けられてもよい。更に導波路の底面は高さ方向において光電変換素子に実質接続されていることが好ましいが、入射波長程度以下の距離があってもよい。上述のように、カラーフィルタ配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン110が設定され得る。以上説明した導波路の構成は、膨大な数の繰り返しパターン110の何れが適用された撮像素子に対しても適用することができる。また、以上の説明では、開口マスクを設けることにより被写体光束に視差を生じさせたが、配線層に設けられた配線を開口マスクと同形状に形成することで、配線を実質的に開口マスクとして機能させることができる。配線層に配線が多層設けられている場合には、被写体光束の入射方向から複数の層を投影した形状が、開口マスクと同形状になるよう各層を形成することで、複数の層を全体として開口マスクとして機能させることもできる。また、多層配線のうちの一層によって開口マスクの機能を実現する場合、多層配線のうち最下層の配線、つまり、光電変換素子に最も近い位置に形成された配線を開口マスクと同形状に形成することが好ましい。この場合、最下層の配線と光電変換素子とを近接させるのが好ましい。以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。"