(57)【要約】【課題】画素間のクロストークによる色再現性の低下を抑制する。【解決手段】実施形態のカラーフィルタアレイは、複数色のカラーフィルタを含むカラーフィルタアレイである。実施形態によるカラーフィルタアレイは、それぞれの色のカラーフィルタが、マイクロレンズアレイに含まれる複数のマイクロレンズであって、それぞれ複数の画素に光を照射する複数のマイクロレンズのうち何れかに対応して配置される。【選択図】図８
2015060121.tif 000002
【特許請求の範囲】
【請求項１】
複数色のカラーフィルタを備え、
前記複数色のカラーフィルタが１色のカラーフィルタ毎に、それぞれ複数画素に光を照射する複数のマイクロレンズを含むマイクロレンズアレイの該複数のマイクロレンズのうち何れかに対応して配置される
ことを特徴とするカラーフィルタアレイ。
【請求項２】
前記複数色のカラーフィルタは、
１のカラーフィルタに隣接して配置されるカラーフィルタのうち、少なくとも１色の２のカラーフィルタが該１のカラーフィルタに対して非点対称に配置される
ことを特徴とする請求項１に記載のカラーフィルタアレイ。
【請求項３】
前記複数色のカラーフィルタは、
第１のカラーフィルタの近傍に、該第１のカラーフィルタと同色の少なくとも１の第２のカラーフィルタが配置される
ことを特徴とする請求項１に記載のカラーフィルタアレイ。
【請求項４】
前記複数色のカラーフィルタは、
互いに隣接し且つ直線上に２色以上のカラーフィルタが並ぶ配置を含む
ことを特徴とする請求項１に記載のカラーフィルタアレイ。
【請求項５】
前記複数色のカラーフィルタは、六方格子状に配置され、
１の第１色のカラーフィルタと、１の第２色のカラーフィルタと、１の第３色のカラーフィルタとが直線上に順次隣接して並ぶ組が該直線上に繰り返し配置されると共に、該組が該直線と隣接して１．５フィルタ分ずらして繰り返し配置される
ことを特徴とする請求項１に記載のカラーフィルタアレイ。
【請求項６】
前記複数色のカラーフィルタは、六方格子状に配置され、
１の第１色のカラーフィルタと、２の第２色のカラーフィルタと、１の第１色のカラーフィルタとが直線上に順次隣接して並ぶ組が該直線上に繰り返し配置されると共に、該組が該直線と隣接して１．５フィルタ分ずらして繰り返し配置される
ことを特徴とする請求項１に記載のカラーフィルタアレイ。
【請求項７】
前記複数色のカラーフィルタは、六方格子状に配置され、
１の第１色のカラーフィルタと、３の第２色のカラーフィルタと、１の第３色のカラーフィルタとが直線上に順次隣接して並ぶ組が該直線上に繰り返し配置されると共に、該組が該直線と隣接して１．５フィルタ分ずらして繰り返し配置される
ことを特徴とする請求項１に記載のカラーフィルタアレイ。
【請求項８】
前記複数色のカラーフィルタは、
２色以上のカラーフィルタを含む
ことを特徴とする請求項１に記載のカラーフィルタアレイ。
【請求項９】
前記複数色のカラーフィルタは、
カラーフィルタが無い領域を含む
ことを特徴とする請求項１に記載のカラーフィルタアレイ。
【請求項１０】
前記複数色のカラーフィルタは、
各カラーフィルタの形状が円形である
ことを特徴とする請求項１に記載のカラーフィルタアレイ。
【請求項１１】
前記複数色のカラーフィルタは、六方格子状に配置され、
各カラーフィルタの形状が六角形である
ことを特徴とする請求項１に記載のカラーフィルタアレイ。
【請求項１２】
カラーフィルタアレイと、
マイクロレンズアレイと、
前記カラーフィルタアレイおよび前記マイクロレンズアレイを通って光が照射される撮像素子と
を備え、
前記カラーフィルタアレイは、
複数色のカラーフィルタを備え、
前記複数色のカラーフィルタが１色のカラーフィルタ毎に、それぞれ複数画素に光を照射する複数のマイクロレンズを含む前記マイクロレンズアレイの該複数のマイクロレンズのうち何れかに対応して配置される
ことを特徴とする固体撮像素子。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラーフィルタアレイおよび固体撮像素子に関する。
【背景技術】
【０００２】
被写体からの光を、ＣＣＤ(Charge  Coupled  Device)やＣＭＯＳ(Complementary  Metal  Oxide  Semiconductor)イメージャといった撮像素子により受光して、光電変換により画素毎の信号として出力して画像を得る固体撮像素子が知られている。このような固体撮像素子を用いてカラー画像を得るためには、撮像素子の受光面に対し、画素毎にＲ（赤色）、Ｇ（緑色）およびＢ（青色）各色のカラーフィルタを設け、画素毎に、ＲＧＢ各色の信号を出力することが一般的である。
【０００３】
一方、撮像光学系の構造として、マイクロレンズアレイを画素上方に配置し、各マイクロレンズ下部には複数の画素を配置し、メインレンズの像をさらにマイクロレンズアレイを用いて画素上に結像する構造が提案されている。この構造により、画素ブロック単位で視差を有する画像群を取得することが可能であり、この視差により、被写体の距離推定や距離情報を元にしたリフォーカス処理等が可能となる。この、メインレンズの像をさらにマイクロレンズアレイを用いて結像する光学構成を、リフォーカス光学系と呼ぶ。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】T.  Georgiev  and  A.  Lumsdaine,  COMPUTER  GRAPHICS  forum,  Volume  29  (2010),  number  6  pp.  1955-1968,  "Reducing  Plenoptic  Camera  Artifacts"
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮像素子により撮像された画像の画質を悪化させる要因の一つに、画素に入射した光が隣接する画素内に進入するクロストークが挙げられる。例えば、一般的な撮像素子に用いられる、画素毎のカラーフィルタがＧ、Ｂ、Ｇ、Ｂ、…の行とＲ、Ｇ、Ｒ、Ｇ、…の行とが繰り返し配置されるベイヤ配列のカラーフィルタについて考える。このベイヤ配列においてクロストークが生じた場合、各画素において異なる色成分の光を誤検出する混色が生じてしまい、撮像された画像の色再現性が低下してしまう。
【０００６】
上述したリフォーカス光学系においては、メインレンズからの光は、各マイクロレンズを通り、各マイクロレンズの位置に応じた入射角を以って撮像素子の受光面に受光される。したがって、リフォーカス光学系においても、上述した画素間でのクロストークが発生するおそれがある。
【０００７】
本発明が解決しようとする課題は、画素間のクロストークによる色再現性の低下を抑制できるカラーフィルタアレイおよび固体撮像素子を提供することにある。
【課題を解決するための手段】
【０００８】
実施形態のカラーフィルタアレイは、複数色のカラーフィルタを備え、複数色のカラーフィルタが１色のカラーフィルタ毎に、それぞれ複数画素に光を照射する複数のマイクロレンズを含むマイクロレンズアレイの複数のマイクロレンズのうち何れかに対応して配置される。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。
【図２】図２は、実施形態に適用可能な光学系の一例の構成を示す図である。
【図３】図３は、実施形態に係るＲＡＷ画像の例を模式的に示す図である。
【図４】図４は、実施形態に適用可能な光学系の別の例の構成を示す図である。
【図５】図５は、実施形態に係るリフォーカス処理を説明するための図である。
【図６】図６は、ベイヤ配列のカラーフィルタアレイの例を示す図である。
【図７】図７は、既知の構成による撮像素子の一例の構成を示す図である。
【図８】図８は、実施形態に係る光学系の一例の構成を示す図である。
【図９−１】図９−１は、実施形態による撮像素子の一例の構成を示す図である。
【図９−２】図９−２は、実施形態による撮像素子の他の例の構成を示す図である。
【図１０】図１０は、実施形態に係るカラーフィルタの形状の例を示す図である。
【図１１】図１１は、実施形態に係る、画像処理部の処理を説明するための図である。
【図１２】図１２は、実施形態に係る最小繰り返し単位を説明するための図である。
【図１３】図１３は、実施形態に係る最小再構成倍率を説明するための図である。
【図１４】図１４は、距離精度におけるカラーフィルタの配列の方向依存性を説明するための図である。
【図１５】図１５は、実施形態に係るカラーフィルタの配列を説明するための図である。
【図１６】図１６は、実施形態に係る、各カラーフィルタの位置関係を説明するための図である。
【図１７】図１７は、実施形態に係るカラーフィルタ配列の具体例を示す図である。
【図１８】図１８は、実施形態に係るカラーフィルタ配列の具体例を示す図である。
【図１９】図１９は、実施形態に係るカラーフィルタ配列の具体例を示す図である。
【発明を実施するための形態】
【００１０】
以下、実施形態に係るカラーフィルタアレイおよび固体撮像素子について説明する。図１は、実施形態に適用可能な撮像装置の一例の構成を示す。図１において、撮像装置１は、レンズユニットとしてのカメラモジュール１０と、ＩＳＰ(Image  Signal  Processor)２０とを有する。
【００１１】
カメラモジュール１０は、メインレンズ１１を含む結像光学系と、マイクロレンズアレイ１２および撮像素子１３を含む固体撮像素子と、撮像部１４と、信号処理部１５とを有する。結像光学系は、１以上のレンズを含み、被写体からの光をマイクロレンズアレイ１２および撮像素子１３に導く。結像光学系に含まれるレンズのうち、最も撮像素子１３側のレンズをメインレンズ１１とする。
【００１２】
撮像素子１３は、例えばＣＣＤ(Charge  Coupled  Device)やＣＭＯＳ(Complementary  Metal  Oxide  Semiconductor)イメージャを用い、それぞれ受光した光を光電変換により電気信号に変換して出力する複数の画素からなる画素アレイを含む。
【００１３】
マイクロレンズアレイ１２は、所定の規則で配列された複数のマイクロレンズ１２０、１２０、…を含む。マイクロレンズアレイ１２は、メインレンズ１１によって結像面に結像する光線群を、各マイクロレンズ１２０、１２０、…に対応する撮像素子１３上の複数の画素を含む画素ブロックに対して縮小最結像させる。
【００１４】
なお、図１では省略されているが、マイクロレンズアレイ１２の撮像素子１３側またはメインレンズ１１側には、実施形態に係るカラーフィルタアレイが設けられる。カラーフィルタアレイは、例えばＲ（赤色）、Ｇ（緑色）およびＢ（青色）の三原色をそれぞれ分離する複数のカラーフィルタを含み、１色のカラーフィルタが１のマイクロレンズ１２０に対応するように構成される。
【００１５】
なお、カメラモジュール１０は、例えばメインレンズ１１を含む撮像光学系と、その他の部分とを分離して構成し、メインレンズ１１を交換可能とすることができる。これに限らず、カメラモジュール１０は、メインレンズ１１を含む撮像光学系とマイクロレンズアレイ１２とを１の筐体に収めたユニットとして構成することも可能である。この場合には、撮像光学系とマイクロレンズアレイ１２とを含むユニットが交換可能とされる。
【００１６】
撮像部１４は、撮像素子１３の各画素を駆動するための駆動回路を含む。駆動回路は、例えば駆動する画素を垂直方向に、水平ライン（行）単位で順次選択する垂直選択回路と、列単位で順次選択する水平選択回路と、これら垂直選択回路および水平選択回路を各種パルスにて駆動するタイミングジェネレータとを含む。撮像部１４は、垂直選択回路および水平選択回路で選択された画素から、受光した光を光電変換した電荷を読み出し、読み出した電荷を電気信号に変換して出力する。
【００１７】
信号処理部１５は、撮像部１４から出力されたアナログ信号による電気信号に対してゲイン調整処理、ノイズ除去処理および増幅処理などを施す。また、信号処理部１５は、Ａ／Ｄ変換回路を有し、これら各処理を施された信号をディジタル信号に変換し、ＲＡＷ画像の画像信号として出力する。
【００１８】
ＩＳＰ２０は、カメラモジュールＩ／Ｆ２１と、メモリ２２と、画像処理部２３と、出力Ｉ／Ｆ２４とを有する。カメラモジュールＩ／Ｆ２１は、カメラモジュール１０に対する信号のインターフェイスである。カメラモジュール１０の信号処理部１５から出力されたＲＡＷ画像の画像信号（以下、ＲＡＷ画像と呼ぶ）は、カメラモジュールＩ／Ｆ２１を介して、例えばフレームメモリであるメモリ２２に格納される。
【００１９】
画像処理部２３は、メモリ２２に格納されたＲＡＷ画像のうち、マイクロレンズアレイ１２およびカラーフィルタアレイを通った光に基づくＲＡＷ画像に基づき、後述するようにして、各マイクロレンズに対応する領域の画像を拡大し、位置をずらして重ね合わせるリフォーカス処理を行うことにより、再構成したリフォーカス画像を得る。このリフォーカス画像は、出力Ｉ／Ｆ２４から出力され、図示されない表示デバイスに表示したり、外部の記憶媒体に記憶したりする。
【００２０】
なお、メモリ２２に格納されたＲＡＷ画像を外部の記憶媒体に記憶させることもできる。この場合には、外部の記憶媒体から読み出したＲＡＷ画像を、例えばカメラモジュールＩ／Ｆ２１を介してメモリ２２に格納し、画像処理部２３でリフォーカス処理を行うことで、所望のタイミングでリフォーカス画像を得ることができる。
【００２１】
（実施形態に適用可能な光学系）
次に、実施形態に適用可能な光学系について説明する。ここで、光学系は、メインレンズ１１、マイクロレンズアレイ１２および撮像素子１３を含む。図２は、実施形態に適用可能な光学系の一例の構成を示す。図２において、距離Ａは、メインレンズ１１と被写体との間の距離、距離Ｂは、メインレンズ１１による結像距離をそれぞれ示す。また、距離Ｃは、メインレンズ１１の結像面とマイクロレンズアレイ１２の各マイクロレンズとの間の最短距離、距離Ｄは、マイクロレンズアレイ１２と撮像素子１３との間の距離をそれぞれ示す。メインレンズ１１は、焦点距離ｆを有し、各マイクロレンズ１２０、１２０、…は、焦点距離ｇを有する。以下、説明のため、光軸に対して被写体側を前方、撮像素子１３側を後方と定義する。
【００２２】
光学系内において、マイクロレンズアレイ１２は、メインレンズ１１からの光線を各マイクロレンズ１２０、１２０、…により各視点の像として撮像素子１３上に結像させる。なお、図示は省略するが、各マイクロレンズ１２０、１２０、…に対して、ＲＧＢ各色のうち１色のカラーフィルタがそれぞれ設けられる。
【００２３】
図３は、実施形態に係る、メインレンズ１１による結像面を撮像素子１３の後方側に位置させた場合の、撮像素子１３の出力に基づくＲＡＷ画像の例を模式的に示す。マイクロレンズアレイ１２の各マイクロレンズ１２０、１２０、…により撮像素子１３の受光面に結像されたマイクロレンズ像３０、３０、…がマイクロレンズの配列に対応して配置された画像３００が、ＲＡＷ画像として信号処理部１５から出力される。図３によれば、同一の被写体（例えば数字の「３」）が、各マイクロレンズ１２０、１２０、…の配列に応じて、各マイクロレンズ像３０において所定量ずつずれて撮像されていることが分かる。
【００２４】
ここで、各マイクロレンズ１２０、１２０、…による各マイクロレンズ像３０、３０、…は、撮像素子１３上に重なり無く結像されることが望ましい。また、図３では、マイクロレンズアレイ１２において各マイクロレンズ１２０、１２０、…が六方格子の格子点上に配置された六方配列とされているが、各マイクロレンズ１２０、１２０、…の配列は、この例に限定されず、他の配列でもよい。例えば、各マイクロレンズ１２０、１２０、…は、正方格子上に配置されていてもよい。
【００２５】
なお、図２の例では、マイクロレンズアレイ１２がメインレンズ１１の結像面より後方に設置されている。これはこの例に限定されず、例えば図４に例示されるように、マイクロレンズアレイ１２がメインレンズ１１の結像面より前方に設置されていてもよい。以下では、光学系は、図２に示す、マイクロレンズアレイ１２がメインレンズ１１の結像面より後方に設置されているものとする。
【００２６】
次に、リフォーカス画像作成の原理について、上述した図２を参照しながら説明する。図２において、距離Ｂ＋距離Ｃを距離Ｅとする。距離Ｅは、メインレンズ１１の位置が固定であれば、定数となる。ここでは、距離Ｅおよび距離Ｄがそれぞれ定数であるものとして説明する。
【００２７】
メインレンズ１１において、被写体までの距離Ａと、被写体からの光が結像する距離Ｂと、焦点距離ｆとの間には、レンズの公式に従い式（１）に示す関係が成り立つ。同様に、マイクロレンズアレイ１２の各マイクロレンズ１２０、１２０、…についても、レンズの公式に従い式（２）に示す関係が成り立つ。
【数１】
2015060121.tif 000003
【数２】
2015060121.tif 000004
【００２８】
メインレンズ１１と被写体との間の距離Ａが変化した場合、式（１）のレンズの公式における距離Ｂの値が変化する。光学系の位置関係から、上述したように距離Ｂ＋距離Ｃ＝距離Ｅであり、距離Ｅが固定であるため、距離Ｂの変化に伴い距離Ｃの値も変化する。各マイクロレンズ１２０、１２０、…について、上述の式（２）のレンズの公式を用いると、距離Ｃの変化に伴って、さらに距離Ｄの値も変化することが分かる。
【００２９】
この結果、各マイクロレンズ１２０、１２０、…を通って結像する像は、メインレンズ１１の仮想イメージである結像面を倍率Ｎ（Ｎ＝Ｄ／Ｃ）に縮小した画像が得られる。この倍率Ｎは、次式（３）のように表すことができる。
【数３】
2015060121.tif 000005
【００３０】
式（３）により、各マイクロレンズ１２０、１２０、…による撮像素子１３上の像の縮小率は、メインレンズ１１から被写体までの距離Ａに依存することが分かる。したがって、元の２次元画像を再構成するためには、図５（ａ）に示される、例えば各マイクロレンズ１２０、１２０、…による、それぞれ中心座標が座標３１1、３１2および３１3であるマイクロレンズ像３０1、３０2および３０3を、図５（ｂ）に示すようにそれぞれ倍率１／Ｎで拡大して拡大マイクロレンズ像３０1’、３０2’および３０3’を作成する。そして、各拡大マイクロレンズ像３０1’、３０2’および３０3’の重ね合わせ合成を行うことで、距離Ａにピントが合った再構成画像を得ることができる。
【００３１】
重ね合わせ時には、距離Ａ以外の部分については各拡大マイクロレンズ像３０1’、３０2’および３０3’がずれながら重なることになり、ぼけの様な効果を得ることができる。このように撮影したマイクロレンズ像から任意の位置にピントを合わせる処理をリフォーカス処理と呼ぶ。
【００３２】
（実施形態に係るカラーフィルタアレイ）
次に、実施形態に係るカラーフィルタアレイについて説明する。先ず、既知のカラーフィルタアレイについて、図６および図７を用いて説明する。図６は、一般的に用いられるベイヤ配列のカラーフィルタアレイ７０の例を示す。ベイヤ配列のカラーフィルタアレイ７０においては、図６に示されるように、ＲＧＢ各色のカラーフィルタが、Ｇ色、Ｂ色、Ｇ色、Ｂ色、…の繰り返しからなる行と、Ｒ色、Ｇ色、Ｒ色、Ｇ色、…の繰り返しからなる行とが交互に並べられたマトリクスとして構成される。
【００３３】
図７は、既知の構成による撮像素子１３の一例の構成を、断面で示す。図７の例では、撮像素子１３の各画素１３０1、１３０2および１３０3に対して、ベイヤ配列のカラーフィルタアレイ７０におけるＧ色のカラーフィルタ７００1と、Ｂ色のカラーフィルタ７００2と、Ｇ色のカラーフィルタ７００3とがそれぞれ設けられている。なお、この例では、各カラーフィルタ７００1、７００2および７００3に対して、画素毎にレンズ１３２1、１３２2および１３２3が設けられている。
【００３４】
図２などで示したように、メインレンズ１１からの光をマイクロレンズアレイ１２を通して撮像素子１３に照射させる光学系を用いる場合、メインレンズ１１の光軸から撮像素子１３の外側に向かうに連れ、撮像素子１３に対する入射角が大きくなる。したがって、図７に例示されるように、例えばＢ色のカラーフィルタ７００2を通って画素１３０2に対して斜めに入射される光が、隣接する画素１３０3にも入射されてしまう可能性がある。
【００３５】
この場合、画素１３０3には、画素１３０2からのＢ色のカラーフィルタ７００2を通った光が斜めから入射されると共に、画素１３０3に設けられるＧ色のカラーフィルタ７００3を通った光が直接的に入射される。これにより、画素１３０3において画素間クロストークが発生して、撮像画像の色再現性が低下してしまうおそれがある。
【００３６】
図８は、実施形態に係る光学系の一例の構成を示す。なお、図８に示される構成は、上述した図４の構成と対応し、図４と共通する部分には同一の符号を付して、詳細な説明を省略する。
【００３７】
実施形態では、光学系に対して、各マイクロレンズ１２０1、１２０2、…に対応して、それぞれ１色の各カラーフィルタ４００1、４００2、…を備えるカラーフィルタアレイ４０を設ける。図８の例では、例えばＲ色のカラーフィルタ４００1がマイクロレンズ１２０1に対して設けられ、Ｇ色のカラーフィルタ４００2がマイクロレンズ１２０2に対して設けられる。さらに、Ｒ色のカラーフィルタ４００3がマイクロレンズ１２０3に対して設けられ、以下同様に、それぞれＧ色、Ｒ色のカラーフィルタ４００4および４００5が、各マイクロレンズ１２０4および１２０5に対して設けられる。
【００３８】
図９−１は、実施形態による撮像素子１３の一例の構成を、断面で示す。なお、図９−１において、上述した図７と共通する部分には同一の符号を付して、詳細な説明を省略する。実施形態においては、図９−１に例示されるように、１のマイクロレンズ１２０に対して、カラーフィルタアレイ４０に含まれる各カラーフィルタのうち１色（例えばＧ色）のカラーフィルタ４００が対応される。したがって、当該マイクロレンズ１２０からの光を受光する複数の画素１３０1、１３０2および１３０3は、全て同一の色のカラーフィルタ４００を通った同一色（例えばＧ色）の光を受光することになる。
【００３９】
この場合においても、例えば画素１３０2に対して所定の入射角で以って斜めに入射された光が、隣接する画素１３０3にも入射され、画素１３０3において画素間クロストークが発生する。しかしながら、この場合、画素１３０3に直接的に入射される光は、隣接する画素１３０2から斜めに入射される光と同一のカラーフィルタ４００を通った光なので、画素間クロストークによる色再現性の低下が避けられる。
【００４０】
なお、図９−１では、カラーフィルタアレイ４０がマイクロレンズアレイ１２に対して隣接して設けられるように説明したが、これはこの例に限定されない。例えば、マイクロレンズアレイ１２とカラーフィルタアレイ４０とは、分離して設けられてもよい。また、図９−１の例では、メインレンズ１１側にマイクロレンズアレイ１２が設けられ、カラーフィルタアレイ４０が撮像素子１３側に設けられているが、マイクロレンズアレイ１２を撮像素子１３側に設け、カラーフィルタアレイ４０をメインレンズ１１側に設けてもよい。
【００４１】
さらに、図９−１の例では、マイクロレンズ１２０の単位でのみ、カラーフィルタ４００が配置されているが、これはこの例に限定されない。例えば、図９−２に例示されるように、各画素１３０1、１３０2および１３０3に画素単位で設けられる画素上カラーフィルタ１３３を組み合わせてもよい。こうすることで、他のマイクロレンズからの入射光を抑制して色再現性をより向上させることが可能である。
【００４２】
図１０は、実施形態に係るカラーフィルタアレイ４０に含まれる各カラーフィルタ４００の形状の例を示す。図１０（ａ）は、各カラーフィルタ４００、４００、…の形状が円形の場合の例である。また、図１０（ｂ）は、各カラーフィルタ４００、４００、…の形状が六角形の場合の例である。このように、各カラーフィルタ４００、４００、…の形状は、各カラーフィルタ４００、４００、…を六方配列で配置した場合に各マイクロレンズ１２０、１２０、…を覆うことができる形状であればよい。
【００４３】
カラーフィルタアレイ４０およびマイクロレンズアレイ１２を通った光が撮像素子１３に照射されて得られるマイクロレンズ像３０は、図１１（ａ）に例示されるように、ＲＧＢ各色による単色のマイクロレンズ像３０R、３０Gおよび３０Bとなる。画像処理部２３は、このマイクロレンズ像３０R、３０Gおよび３０Bを含むＲＡＷ画像に対して、図５で説明したように、各マイクロレンズ像３０R、３０Gおよび３０Bを拡大して重ね合わせることで、リフォーカス処理を行う。
【００４４】
すなわち、図１１（ｂ）に例示されるように、画像処理部２３は、各マイクロレンズ像３０R、３０Gおよび３０Bを拡大して各拡大マイクロレンズ像５０R、５０Gおよび５０Bを生成する。これら各拡大マイクロレンズ像５０R、５０Gおよび５０Bが重ね合わされた重ね合わせ領域５０RGBは、ＲＧＢ各色を含むカラー画像となる。画像処理部２３は、この重ね合わせ領域５０RGBに対して一般的なカラー画像処理を施すことにより、カラーの２次元再構成画像を得ることができる。
【００４５】
（カラーフィルタの配列）
次に、カラーフィルタアレイ４０に含まれる各色のカラーフィルタの配列について説明する。カラーフィルタアレイ４０に含まれる各色のカラーフィルタ４００の配列は幾通りもあるため、配列を分類する。以下では、カラーフィルタアレイ４０におけるカラーフィルタの配列を、最小繰り返し単位で表すものとする。
【００４６】
図１２を用いて、実施形態に係る最小繰り返し単位について説明する。図１２および以下の同様の図において、ＲＧＢ各色のカラーフィルタ４００Ｒ、４００Ｇおよび４００Ｂを、斜線の有無および斜線の種類で区別している。図１２は、カラーフィルタアレイ４０におけるＲＧＢ各色の色成分比が１：２：１である場合の例であり、枠線で囲まれた領域６０が最小繰り返し単位となる。すなわち、図１２に示される配列は、領域６０における配列を隙間無く敷き詰めた配列となっている。
【００４７】
六方配列のカラーフィルタアレイ４０における各カラーフィルタ４００Ｒ、４００Ｇおよび４００Ｂの配列では、最小再構成倍率と距離精度とが重要になる。最小再構成倍率は、各色のマイクロレンズ像３０R、３０Gおよび３０Bをある拡大倍率で拡大した拡大マイクロレンズ像５０R、５０Gおよび５０Bが重ね合わされた再構成画像において、最小繰り返し単位である領域６０に含まれる全ての画素でカラー画像を構成する全ての色成分（例えばＲＧＢ各色の色成分）が存在する、最も小さい拡大倍率をいう。すなわち、各色のマイクロレンズ像３０R、３０Gおよび３０Bを最小再構成倍率以上の拡大倍率で拡大することで、領域６０に含まれる全ての画素でＲＧＢ各色を含んだカラー画像を得ることができる。
【００４８】
図１３を用いて、実施形態に係る最小再構成倍率についてより具体的に説明する。図１３（ａ）は、カラーフィルタアレイ４０におけるＲＧＢ各色の色成分比が１：２：１である配列の例を示す。図１３（ａ）に示される最小繰り返し単位である領域６０の四隅のＲ色のカラーフィルタ４００Ｒ1〜４００Ｒ4に注目し、これらカラーフィルタ４００Ｒ1〜４００Ｒ4による各マイクロレンズ像を最小再構成倍率にて拡大した拡大マイクロレンズ像５０Ｒ1〜５０Ｒ4の例を、図１３（ｂ）に示す。
【００４９】
図１３（ｂ）の例では、四隅の、Ｒ色による拡大マイクロレンズ像５０Ｒ1〜５０Ｒ4が領域６０内を全て覆っており、当該領域６０内がＲＧＢ各色の成分により覆われることが分かる。ここで、再構成画像の解像度は、最小再構成倍率の二乗に反比例して低下するため、最小再構成倍率が小さいほど、解像度の高い再構成画像を得ることができる。
【００５０】
次に、距離精度について説明する。式（３）にて既に説明したように、図２において距離Ａの値が変化すると、その変化に伴い距離Ｂ、ＣおよびＤの値も変化するため、マイクロレンズ像の縮小倍率Ｎも変化することになる。
【００５１】
ここで、式（３）を距離Ａについて整理すると、次式（４）が得られる。この式（４）から、マイクロレンズ１２０による像の縮小倍率Ｎを画像マッチングなどにより算出し、且つ、距離ＤおよびＥ、ならびに、焦点距離ｆが既知であれば、式（４）から距離Ａの値を算出することが可能である。
【数４】
2015060121.tif 000006
【００５２】
なお、図４に示される光学系の場合は、距離Ｅ＋距離Ｃ＝距離Ｂであり、さらに、マイクロレンズ１２０に関するレンズの公式は、次式（５）で表される。したがって、この場合の距離Ａと縮小倍率Ｎとの関係は、次式（６）で表すことができる。
【数５】
2015060121.tif 000007
【数６】
2015060121.tif 000008
【００５３】
縮小倍率Ｎは、マイクロレンズ１２０間のマイクロレンズ像３０のずれ量を値Δ’、マイクロレンズ１２０間の中心間距離を値Ｌとすると、光線の幾何的関係から、次式（７）で表される。したがって、縮小倍率Ｎを求めるためには、画像処理部２３は、ＳＡＤ(Sum  of  Absolute  Difference)やＳＳＤ(Sum  of  Squared  Difference)といった評価関数を用いて、各マイクロレンズ像３０に対する画像マッチング処理を行って、マイクロレンズ１２０間のずれ量Δ’を求めればよい。
【数７】
2015060121.tif 000009
【００５４】
実施形態に係るカラーフィルタアレイ４０を用いる場合、画像処理部２３は、同色のカラーフィルタによるマイクロレンズ像３０同士で画像マッチングを行うことになる。このとき、カラーフィルタアレイ４０における各色のカラーフィルタの配列によっては、被写体までの距離や画像のエッジ方向により、画像マッチングにより得られるずれ量Δ’における距離精度に大きな誤差が生じてしまう場合がある。
【００５５】
この距離精度における誤差を抑制するためには、カラーフィルタアレイ４０における各色のカラーフィルタの配列が、以下に説明する第１および第２の条件を共に満たしている必要がある。
【００５６】
第１の条件について説明する。例えば、カラーフィルタアレイ４０において、あるカラーフィルタの近傍に同色のカラーフィルタが存在してない場合について考える。この場合、上述したように、各マイクロレンズ像３０間のずれ量Δ’は、被写体までの距離Ａに依存しているため、被写体が互いに近傍のマイクロレンズ１２０間のみでしか結像していない場合は、近傍に同色のカラーフィルタが無いと、距離計測ができないことになる。したがって、各カラーフィルタは、近傍に同色のカラーフィルタが存在している必要がある。これを、第１の条件とする。
【００５７】
なお、この場合、近傍は、上述した、カラーフィルタ配列の最小繰り返し単位の領域６０の範囲内であるものとする。
【００５８】
第２の条件について説明する。第２の条件は、距離精度におけるカラーフィルタの配列の方向依存性に関する条件である。図１４は、あるカラーフィルタの近傍に存在する同色のカラーフィルタが、１軸方向にしか存在しない配列の例を示す。すなわち、この図１４の例では、ＲＧＢ各色のカラーフィルタ４００Ｒ、４００Ｇおよび４００Ｂが、色毎に直線上に配列されている。
【００５９】
この配列の場合、被写体画像のエッジといった輝度値の変化部分が、同色のカラーフィルタが配列される軸の方向と平行である場合に、画像マッチングの精度が低下してしまうおそれがある。すなわち、画像処理部２３は、画像マッチング処理を、同色の各カラーフィルタを通って得られた各マイクロレンズ像３０を用いて行う。そのため、例えば同色のカラーフィルタが配列される軸の方向と平行に画像のエッジが存在する場合、当該軸方向に互いに隣接するマイクロレンズ像３０は、略同じ画像となる可能性がある。この場合、画像マッチングによる距離計測が困難となる。
【００６０】
このように、同色のカラーフィルタが１軸方向に並んでいる場合、被写体のエッジの方向に距離精度が依存する方向依存性が生じてしまうことになる。したがって、画像マッチングにおけるエッジ方向に対する距離精度の方向依存性を低減するために、同色のカラーフィルタが複数の軸方向に存在するように、カラーフィルタアレイ４０における各カラーフィルタの配列を決めることが望ましい。これを第２の条件とする。
【００６１】
すなわち、図１５（ａ）に例示される配列では、カラーフィルタ４００10と、当該カラーフィルタ４００10と同色のカラーフィルタ４００11および４００12とが、１の軸上に並んでおり、これらカラーフィルタ４００10、４００11および４００12は、第２の条件を満たしていない。この場合、上述したように、これらカラーフィルタ４００10、４００11および４００12による各マイクロレンズ像３０において、被写体のエッジの方向に距離精度が依存する方向依存性が生じてしまう可能性がある。
【００６２】
一方、図１５（ｂ）に例示される配列では、カラーフィルタ４００10と、カラーフィルタ４００10と同色の各カラーフィルタ４００11および４００12とが、１軸上に並んでいない。すなわち、図１５（ｂ）の例では、カラーフィルタ４００10と同色の各カラーフィルタ４００11および４００12は、カラーフィルタ４００10および４００11を結ぶ第１の軸と、カラーフィルタ４００10および４００12を結ぶ第２の軸との２軸を有し、第２の条件を満たしている。したがって、図１５（ｂ）の配列は、上述した図１５（ａ）の配列と比較して、被写体のエッジ方向に対する距離精度の方向依存性が小さく、より望ましい配列である。
【００６３】
ここで、六方配列のカラーフィルタアレイ４０における各色カラーフィルタの配列の周期性を考慮する。この場合、第２の条件すなわち異なる軸方向に同色のカラーフィルタが存在することは、１のカラーフィルタの近傍の、当該１のカラーフィルタと同色のカラーフィルタが、当該１のカラーフィルタに対して点対称の位置に存在しない、という条件に換言できる。
【００６４】
これは、すなわち、六方配列のカラーフィルタアレイ４０における望ましいカラーフィルタ配列の条件として、注目するカラーフィルタに対して隣接する６のカラーフィルタにおいて、少なくとも１の色について、同色のカラーフィルタが非点対称に配置されている配列である、という第３の条件に纏めることができる。
【００６５】
図１６を用いて、実施形態に係る、各カラーフィルタの位置関係についてより具体的に説明する。なお、図１６では、説明のため、２のカラーフィルタを介在させた範囲までを近傍と見做している。
【００６６】
図１６において、カラーフィルタ４００20〜４００25は、互いに同色であるものとする。カラーフィルタ４００20を中心と考え、カラーフィルタ４００21および４００22は、カラーフィルタ４００20に対して点対称の位置にあって第３の条件を満たしていない。この場合、画像マッチングの計算は、カラーフィルタ４００21、４００20および４００22を結ぶ１軸方向で行われるため、被写体のエッジ方向に対する距離精度の方向依存性が高くなり、好ましくない。
【００６７】
一方、カラーフィルタ４００23および４００24は、カラーフィルタ４００20に対して点対称の位置に無く、第３の条件を満たしている。したがって、カラーフィルタ４００20および４００23を結ぶ軸方向と、カラーフィルタ４００20および４００24を結ぶ軸方向との２軸方向で、画像マッチングの計算が可能とされ、被写体のエッジ方向に対する距離精度の方向依存性を抑制できる。
【００６８】
（実施形態に係るカラーフィルタ配列の具体例）
次に、上述の第１および第３の条件を纏めた条件を満たし、且つ、最小再構成倍率が比較的小さいカラーフィルタ配列の具体的な例について、図１７〜図１９を用いて説明する。
【００６９】
図１７は、ＲＧＢ各色成分の比が１：１：１であるカラーフィルタアレイ４０Ａの例を示す。最小繰り返し単位の領域６０Ａは、この例では、２のＲ色のカラーフィルタの一部と、それぞれ１のＧ色およびＢ色のカラーフィルタの一部とを含んで構成される。このカラーフィルタアレイ４０Ａは、最小再構成倍率１／Ｎ＝２．０となる。
【００７０】
図１７（ａ）に示されるように、カラーフィルタアレイ４０Ａの配列は、例えば、１のＢ色のカラーフィルタ４００Ｂ1と、１のＧ色のカラーフィルタ４００Ｇ1と、１のＲ色のカラーフィルタ４００Ｒ1とを直線上に順次隣接して並べた組を繰り返し配置する。また、当該組を、該直線に隣接して１．５フィルタ分ずらして、例えばカラーフィルタ４００Ｂ1に対して１．５フィルタ分ずらしたカラーフィルタ４００Ｂ1’の位置を基準として繰り返して配置することで構成できる。
【００７１】
このカラーフィルタアレイ４０Ａの配列は、図１７（ｂ）に示されるように、例えばＧ色のカラーフィルタ４００Ｇ0に注目した場合、隣接する各カラーフィルタは、Ｂ色とＲ色とが交互に並び、カラーフィルタ４００Ｇ0に対して同色のカラーフィルタが非点対称となる。したがって、第３の条件を満たしている。また、ＲＧＢ各色のカラーフィルタは、領域６０Ａをずらしていくことで、同色の２のカラーフィルタが領域６０Ａ内に掛かることが分かり、第１の条件を満たしている。
【００７２】
図１８は、ＲＧＢ各色成分の比が１：２：１であるカラーフィルタアレイ４０Ｂの例を示す。最小繰り返し単位の領域６０Ｂは、この例では、４のＲ色のカラーフィルタの一部と、３のＧ色のカラーフィルタの一部と、Ｂ色のカラーフィルタとを含んで構成される。このカラーフィルタアレイ４０Ｂは、最小再構成倍率１／Ｎ＝２．６となる。
【００７３】
図１８（ａ）に示されるように、カラーフィルタアレイ４０Ｂの配列は、例えば、１のＲ色のカラーフィルタ４００Ｒ2と、２のＧ色のカラーフィルタ４００Ｇ21および４００Ｇ22と、１のＢ色のカラーフィルタ４００Ｂ2とを直線上に順次隣接して並べた組を繰り返し配置する。また、当該組を、該直線に隣接して１．５フィルタ分ずらして、例えばカラーフィルタ４００Ｒ2に対して１．５フィルタ分ずらしたカラーフィルタ４００Ｒ2’の位置を基準として繰り返して配置することで構成できる。
【００７４】
このカラーフィルタアレイ４０Ｂの配列は、図１８（ｂ）に示されるように、例えばＧ色のカラーフィルタ４００Ｇ0に注目した場合、隣接する各カラーフィルタは、点線の矢印で示されるように、Ｂ色のカラーフィルタが１軸に並び点対称となる。一方、他のＧ色およびＲ色のカラーフィルタは、非点対称となる。したがって、第３の条件を満たしている。また、ＲＧＢ各色のカラーフィルタは、領域６０Ｂを例えば１フィルタ分上にずらすことで、同色の２以上のカラーフィルタが領域６０Ｂ内に掛かることが分かり、第１の条件を満たしている。
【００７５】
図１９は、ＲＧＢ各色成分の比が１：３：１であるカラーフィルタアレイ４０Ｃの例を示す。最小繰り返し単位の領域６０Ｃは、この例では、１のＲ色のカラーフィルタと、６のＧ色のカラーフィルタの一部と、２のＢ色のカラーフィルタの一部とを含んで構成される。このカラーフィルタアレイ４０Ｃは、最小再構成倍率１／Ｎ＝２．８となる。
【００７６】
図１９（ａ）に示されるように、カラーフィルタアレイ４０Ｃの配列は、例えば、１のＲ色のカラーフィルタ４００Ｒ3と、３のＧ色のカラーフィルタ４００Ｇ31、４００Ｇ32および４００Ｇ33と、１のＢ色のカラーフィルタ４００Ｂ3とを直線上に順次隣接して並べた組を繰り返し配置する。また、当該組を、該直線に隣接して１．５フィルタ分ずらして、例えばカラーフィルタ４００Ｒ3に対して１．５フィルタ分ずらしたカラーフィルタ４００Ｒ3’の位置を基準として繰り返して配置することで構成できる。
【００７７】
このカラーフィルタアレイ４０Ｃの配列は、図１９（ｂ）に示されるように、例えばＲ色のカラーフィルタ４００Ｒ0に注目した場合、隣接する各カラーフィルタは、点線の矢印で示されるように、１組のＧ色のカラーフィルタ４００が１軸に並び点対称となる。一方、Ｂ色のカラーフィルタは、非点対称となる。したがって、第３の条件を満たしている。また、ＲＧＢ各色のカラーフィルタは、領域６０Ｃを例えば１フィルタ分上にずらすことで、同色の２以上のカラーフィルタが領域６０Ｃ内に掛かることが分かり、第１の条件を満たしている。
【００７８】
このように、図１７〜図１９に示した配列のカラーフィルタアレイ４０Ａ〜４０Ｃを用いることで、リフォーカス処理において解像度の高い再構成画像を得ることができ、また、被写体のエッジの方向に距離精度が依存する方向依存性を抑制することができる。
【００７９】
（カラーフィルタアレイの他の例）
上述では、カラーフィルタアレイ４０として、ＲＧＢの３色のカラーフィルタ４００を用いた例について説明したが、実施形態に適用可能なカラーフィルタアレイの構成は、この例に限定されない。例えば、Ｃ(Cyan)、Ｍ(Magenta)およびＹ(Yellow)各色による補色フィルタを組み合わせたカラーフィルタアレイを用いてもよい。
【００８０】
さらに、ＲＧＢ各色のカラーフィルタを用いる例において、Ｇ色のカラーフィルタの領域をカラーフィルタの無い領域または無色のフィルタ領域としてもよい（以下、白色成分領域と呼ぶ）。この場合、白色成分領域を通る光は、ＲＧＢ各色を含む白色光となる。画像処理部２３は、リフォーカス処理による再構成画像の形成時に、図１１（ｂ）で示した重ね合わせ領域５０RGBにおいて、白色成分領域の再構成画像の各画素の輝度値から、Ｒ成分の再構成画像（拡大マイクロレンズ像５０R）の輝度値と、Ｂ成分の再構成画像（拡大マイクロレンズ像５０B）の輝度値との和を差し引くことで、Ｇ成分の再構成画像を生成することができる。白色成分領域と置き換えるカラーフィルタは、Ｇ色のカラーフィルタに限定されず、領域とＲ色およびＢ色の何れのカラーフィルタであってもよい。
【００８１】
なお、上述では、カラーフィルタアレイ４０がＲＧＢの３色のカラーフィルタ４００を含むように説明したが、これはこの例に限定されない。例えば、限定的な色しか存在しない環境であれば、Ｒ色のカラーフィルタとＧ色のカラーフィルタとの２色のカラーフィルタでカラーフィルタアレイを構成してもよい。また、４色以上のカラーフィルタを用いてカラーフィルタアレイを構成してもよい。この場合には、より色分別の精度を向上させることができる。
【００８２】
なお、本発明は上述した各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００８３】
１  撮像装置
１０  カメラモジュール
１１  メインレンズ
１２  マイクロレンズアレイ
１３  撮像素子
２３  画像処理部
３０，３０1，３０2，３０3  マイクロレンズ像
４０，４０Ａ，４０Ｂ，４０Ｃ  カラーフィルタアレイ
６０，６０Ａ，６０Ｂ，６０Ｃ  領域
１２０，１２０1，１２０2，１２０3，１２０4，１２０5  マイクロレンズ
４００，４００1，４００2，４００3，４００4，４００5，４００10，４００11，４００12，４００20，４００21，４００22，４００23，４００24，４００25，４００Ｒ，４００Ｒ0，４００Ｒ1，４００Ｒ2，４００Ｒ2’，４００Ｒ3，４００Ｒ3’，４００Ｒ4，４００Ｂ，４００Ｂ1，４００Ｂ1’，４００Ｂ2，４００Ｂ3，４００Ｇ0，４００Ｇ1，４００Ｇ21，４００Ｇ22，４００Ｇ31，４００Ｇ32，４００Ｇ33  カラーフィルタ
【図１】
2015060121.tif 000010
【図２】
2015060121.tif 000011
【図４】
2015060121.tif 000012
【図５】
2015060121.tif 000013
【図６】
2015060121.tif 000014
【図７】
2015060121.tif 000015
【図８】
2015060121.tif 000016
【図９−１】
2015060121.tif 000017
【図９−２】
2015060121.tif 000018
【図１０】
2015060121.tif 000019
【図１１】
2015060121.tif 000020
【図１２】
2015060121.tif 000021
【図１３】
2015060121.tif 000022
【図１４】
2015060121.tif 000023
【図１５】
2015060121.tif 000024
【図１６】
2015060121.tif 000025
【図１７】
2015060121.tif 000026
【図１８】
2015060121.tif 000027
【図１９】
2015060121.tif 000028
【図３】
2015060121.tif 000029
【手続補正書】
【提出日】平成26年10月2日(2014.10.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数色のカラーフィルタを備え、
それぞれの色の前記カラーフィルタは、マイクロレンズアレイに含まれる複数のマイクロレンズであって、それぞれ複数の画素に光を照射する前記複数のマイクロレンズのうち何れかに対応して配置される、
カラーフィルタアレイ。
【請求項２】
前記カラーフィルタは、
１のカラーフィルタに隣接して配置されるカラーフィルタのうち、少なくとも１色の２のカラーフィルタが該１のカラーフィルタに対して非点対称に配置される、
請求項１に記載のカラーフィルタアレイ。
【請求項３】
前記カラーフィルタは、
第１のカラーフィルタの近傍に、該第１のカラーフィルタと同色の少なくとも１の第２のカラーフィルタが配置される、
請求項１に記載のカラーフィルタアレイ。
【請求項４】
前記カラーフィルタは、
互いに隣接し且つ直線上に２色以上のカラーフィルタが並ぶ配置を含む、
請求項１に記載のカラーフィルタアレイ。
【請求項５】
前記カラーフィルタは、六方格子状に配置され、
１の第１色のカラーフィルタと、１の第２色のカラーフィルタと、１の第３色のカラーフィルタとが直線上に順次隣接して並ぶ組が該直線上に繰り返し配置されると共に、該組が該直線と隣接して１．５フィルタ分ずらして繰り返し配置される、
請求項１に記載のカラーフィルタアレイ。
【請求項６】
前記カラーフィルタは、六方格子状に配置され、
１の第１色のカラーフィルタと、２の第２色のカラーフィルタと、１の第３色のカラーフィルタとが直線上に順次隣接して並ぶ組が該直線上に繰り返し配置されると共に、該組が該直線と隣接して１．５フィルタ分ずらして繰り返し配置される、
請求項１に記載のカラーフィルタアレイ。
【請求項７】
前記カラーフィルタは、六方格子状に配置され、
１の第１色のカラーフィルタと、３の第２色のカラーフィルタと、１の第３色のカラーフィルタとが直線上に順次隣接して並ぶ組が該直線上に繰り返し配置されると共に、該組が該直線と隣接して１．５フィルタ分ずらして繰り返し配置される、
請求項１に記載のカラーフィルタアレイ。
【請求項８】
前記カラーフィルタは、
２色以上のカラーフィルタを含む、
請求項１に記載のカラーフィルタアレイ。
【請求項９】
前記カラーフィルタは、
カラーフィルタが無い領域を含む、
請求項１に記載のカラーフィルタアレイ。
【請求項１０】
前記カラーフィルタは、
各カラーフィルタの形状が円形である、
請求項１に記載のカラーフィルタアレイ。
【請求項１１】
前記カラーフィルタは、
六方格子状に配置され、各カラーフィルタの形状が六角形である、
請求項１に記載のカラーフィルタアレイ。
【請求項１２】
カラーフィルタアレイと、
マイクロレンズアレイと、
前記カラーフィルタアレイおよび前記マイクロレンズアレイを通って光が照射される撮像素子と
を備え、
前記カラーフィルタアレイは、
複数色のカラーフィルタを備え、
それぞれの色の前記カラーフィルタは、前記マイクロレンズアレイに含まれる複数のマイクロレンズであって、それぞれ複数の画素に光を照射する前記複数のマイクロレンズのうち何れかに対応して配置される、
固体撮像素子。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
実施形態のカラーフィルタアレイは、複数色のカラーフィルタを含むカラーフィルタアレイである。実施形態によるカラーフィルタアレイは、それぞれの色のカラーフィルタが、マイクロレンズアレイに含まれる複数のマイクロレンズであって、それぞれ複数の画素に光を照射する複数のマイクロレンズのうち何れかに対応して配置される。