(57)【特許請求の範囲】
【請求項１】
光電変換素子からなる複数の画素上に、１色以上の第１の色に対応する第１のフィルタと輝度信号を得るための寄与率が前記第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを含む特定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
上下左右に隣接する所定数の光電変換素子には同色のカラーフィルタが配設され、
前記上下左右に隣接する所定数の光電変換素子に配設されたカラーフィルタを単位ブロックとすると、前記カラーフィルタ配列は、複数の前記単位ブロックからなり、前記単位ブロックが正方格子状に配列せれた基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
前記第１のフィルタは、前記カラーフィルタ配列の水平、垂直斜め右上及び斜め右下方向の各ライン内に１つ以上配置され、
前記第２の色の各色に対応する前記第２のフィルタは、前記カラーフィルタ配列の水平及び垂直方向の各ライン内に１つ以上配置され、
前記第１のフィルタに対応する第１の色の画素数の比率は、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きいカラー撮像素子。
【請求項２】
隣接する素子の中心が水平方向及び垂直方向に１／２画素ピッチずつずれた斜め格子状に配列された光電変換素子からなる複数の画素上に、１色以上の第１の色に対応する第１のフィルタと輝度信号を得るための寄与率が前記第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを含む特定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
斜め右上及び斜め右下方向に隣接する所定数の光電変換素子には同色のカラーフィルタが配設され、
前記斜め右上及び斜め右下方向に隣接する所定数の光電変換素子に配設されたカラーフィルタを単位ブロックとすると、前記カラーフィルタ配列は、複数の前記単位ブロックからなり、前記単位ブロックが斜め格子状に配列された基本配列パターンを含み、該基本配列パターンが斜め右上及び斜め右下方向に繰り返して配置され、
前記第１のフィルタは、前記カラーフィルタ配列の水平、垂直、斜め右上がり及び斜め右下がり方向の各ライン内に１つ以上配置され、
前記第２の色の各色に対応する前記第２のフィルタが配置された単位ブロックは、前記カラーフィルタ配列の斜め右上がり及び斜め右下がり方向の各ライン内に１つ以上配置され、
前記第１のフィルタに対応する第１の色の画素数の比率は、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きいカラー撮像素子。
【請求項３】
前記所定数の光電変換素子は、２×２画素又は３×３画素である請求項１又は２に記載のカラー撮像素子。
【請求項４】
前記基本配列パターン内のカラーフィルタ配列は、該基本配列パターンの中心に対して点対称である請求項１から３のいずれか１項に記載のカラー撮像素子。
【請求項５】
前記基本配列パターンは、Ｎ×Ｎ（Ｎ：４以上８以下の整数）の単位ブロックである請求項１から４のいずれか１項に記載のカラー撮像素子。
【請求項６】
前記基本配列パターンは、６×６の単位ブロックである請求項５に記載のカラー撮像素子。
【請求項７】
前記カラーフィルタ配列は、３×３の単位ブロックにおいて、前記第１のフィルタが配置された単位ブロックが中心と４隅に配置された請求項１から６のいずれか１項に記載のカラー撮像素子。
【請求項８】
前記光電変換素子の上方に配設される瞳分割手段を備え、
前記瞳分割手段に入射した光は、瞳分割されてそれぞれ前記所定数の光電変換素子の受光画に導かれる請求項１から７のいずれか１項に記載のカラー撮像素子。
【請求項９】
前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）色である請求項１に記載のカラー撮像素子。
【請求項１０】
前記基本配列パターンは、６×６の単位ブロックに対応する正方配列パターンであり、
前記カラーフィルタ配列は、３×３の単位ブロックに対応する第１の配列であって、中心と４隅にＧフィルタの単位ブロックが配置され、中心のＧフィルタを挟んで上下にＢフィルタの単位ブロックが配置され、左右にＲフィルタの単位ブロックが配列された第１の配列と、３×３の単位ブロックに対応する第２の配列であって、中心と４隅にＧフィルタの単位ブロックが配置され、中心のＧフィルタを挟んで上下にＲフィルタの単位ブロックが配置され、左右にＢフィルタの単位ブロックが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている請求項９に記載のカラー撮像素子。
【請求項１１】
前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）色である請求項２に記載のカラー撮像素子。
【請求項１２】
前記基本配列パターンは、６×６の単位ブロックに対応する斜め格子状配列パターンであり、
前記カラーフィルタ配列は、３×３の単位ブロックに対応する第１の配列であって、中心と４隅にＧフィルタの単位ブロックが配置され、中心のＧフィルタを挟んで斜め右上及び斜め右下にＢフィルタの単位ブロックが配置され、斜め左上及び斜め左下にＲフィルタの単位ブロックが配列された第１の配列と、３×３の単位ブロックに対応する第２の配列であって、中心と４隅にＧフィルタの単位ブロックが配置され、中心のＧフィルタを挟んで斜め右上及び斜め右下にＲフィルタの単位ブロックが配置され、斜め左上及び斜め左下にＢフィルタの単位ブロックが配列された第２の配列とが、交互に斜め右上及び斜め右下方向に配列されて構成されている請求項１１に記載のカラー撮像素子。
【請求項１３】
請求項１〜１２のいずれか１項に記載のカラー撮像素子を備えた撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はカラー撮像素子に係り、特に色モワレの発生の抑圧及び高解像度化が可能なカラー撮像素子に関する。
【背景技術】
【０００２】
単板カラー撮像素子の出力画像は、ＲＡＷ画像（モザイク画像）であるため、欠落している色の画素を、周囲の画素から補間する処理（デモザイキング処理）により多チャネル画像を得ている。【０００３】
デモザイキング処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。【０００４】
この場合に問題となるのが、高周波の画像信号の再現特性であり、カラー撮像素子は白黒の撮像素子と比較して、撮像した画像にエリアシングが発生し易いため、色モワレ（偽色）の発生を抑圧しつつ再現帯域を広げて高解像化するということが重要な課題である。【０００５】
単板カラー撮像素子で最も広く用いられている色配列である原色系ベイヤー配列は、緑（Ｇ）画素を市松状に、赤（Ｒ）、青（Ｂ）を線順次に配置しているため、Ｇ信号は斜め方向で、Ｒ、Ｂ信号は水平、垂直方向の高周波信号を生成する際の再現精度が問題である。【０００６】
図２１の（Ａ）部分に示すような白黒の縦縞模様（高周波画像）が、図２１の（Ｂ）部分に示すべイヤー配列の撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図２１の（Ｃ）部分から（Ｅ）部分に示すようにＲは薄い平坦、Ｂは濃い平坦、Ｇは濃淡のモザイク状の色画像となり、本来、白黒画像であるのに対し、ＲＧＢ間に濃度差（レベル差）は起きないものが、色配列と入力周波数によっては色が付いた状態となってしまう。【０００７】
同様に、図２２の（Ａ）部分に示すような斜めの白黒の高周波画像が、図２２の（Ｂ）部分に示すベイヤー配列の撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図２２の（Ｃ）部分から（Ｅ）部分に示すようにＲとＢは薄い平坦、Ｇは濃い平坦の色画像となり、仮に黒の値を０、白の値を２５５とすると、斜めの白黒の高周波画像は、Ｇのみ２５５となるため、緑色になってしまう。【０００８】
このようにベイヤー配列では、斜めの高周波画像を正しく再現することができない。【０００９】
一般に単板式のカラー撮像素子を使用する撮像装置では、水晶などの複屈折物質からなる光学ローパスフィルタをカラー撮像素子の前面に配置し、高周波を光学的に落とすことで回避していた。しかし、この方法では、高周波信号の折り返りによる色付は軽減できるが、その弊害で解像度が落ちてしまうという問題がある。【００１０】
このような問題を解決するために、カラー撮像素子のカラーフィルタ配列を、任意の着目画素が該着目画素の色を含む３色と該着目画素の４辺のいずれかにおいて隣接する配列制限条件を満たす３色ランダム配列としたカラー撮像素子が提案されている（特許文献１）。【００１１】
また、分光感度が異なる複数のフィルタを有し、そのうち第１のフィルタと第２のフィルタが、画像センサの画素格子の一方の対角方向に第１の所定の周期で交互に配置されているとともに、他方の対角方向に第２の所定の周期で交互に配置されているカラーフィルタ配列の画像センサが提案されている（特許文献２）。【００１２】
更に、ＲＧＢの３原色のカラー固体撮像素子において、Ｒ、Ｇ、Ｂを水平に配置した３画素のセットを垂直方向にジグザグにずらしながら配置することによって、ＲＧＢそれぞれの出現確率を均等にし、かつ撮像面上の任意の直線（水平、垂直、斜めの直線）が全ての色を通過するようした色配列が提案されている（特許文献３）。【００１３】
更にまた、ＲＧＢの３原色のうちのＲ，Ｂを水平方向及び垂直方向にそれぞれ３画素置きに配置し、これらのＲ，Ｂの間にＧを配置したカラー撮像素子が提案されている（特許文献４）。【００１４】
また、Ｇ画素を水平方向及び垂直方向に２画素ずつ並べて４画素配置し、この４画素群に対して１つのオンチップレンズを設けた撮像素子が提案されている（特許文献５）。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２０００−３０８０８０号公報
【特許文献２】特開２００５−１３６７６６号公報
【特許文献３】特開平１１−２８５０１２号公報
【特許文献４】特開平８−２３５４３号公報
【特許文献５】特開２０１１−２９３７９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
特許文献１に記載のカラー撮像素子は、フィルタ配列がランダムとなるため後段でのデモザイキング処理を行う際に、ランダムパターン毎に最適化する必要があり、デモザイキング処理が煩雑になるという問題がある。また、ランダム配列では、低周波の色モアレには有効であるが、高周波部の偽色に対しては有効でない。【００１７】
特許文献２に記載の画像センサは、Ｇ画素（輝度画素）が市松状に配置されているため、限界解像度領域（特に斜め方向）での画素再現精度が良くないという問題がある。【００１８】
特許文献３に記載のカラー固体撮像素子は、任意の直線上に全ての色のフィルタが存在するため、偽色の発生を抑えることができる利点があるが、ＲＧＢの画素数の比率が等しいため、高周波再現性がベイヤー配列に比べて低下するという問題がある。なお、ベイヤー配列の場合、輝度信号を得るために最も寄与するＧの画素数の比率が、Ｒ、Ｂそれぞれの画素数の２倍になっている。【００１９】
一方、特許文献４に記載のカラー撮像素子は、Ｒ、Ｂそれぞれの画素数に対するＧの画素数の比率がベイヤー配列よりも高いが、水平又は垂直方向にＧ画素のみのラインが存在するため、水平又は垂直方向に高周波部の偽色に対しては有効でない。【００２０】
特許文献５に記載の撮像素子は、４画素並べられたＧ画素と、対角に２画素ずつ配置されたＢ画素及びＲ画素の組とが交互に並べられているものであり、偽色の発生の抑圧に対しては有効でない。
【００２１】
本発明はこのような事情に鑑みてなされたもので、偽色の発生の抑圧及び高解像度化を図ることができるとともに、従来のランダム配列に比べて後段の処理を簡略化することができるカラー撮像素子を提供することを目的とする。
【課題を解決するための手段】
【００２２】
前記目的を達成するために、本発明の一の態様に係るカラー撮像素子は、光電変換素子からなる複数の画素上に、１色以上の第１の色に対応する第１のフィルタと輝度信号を得るための寄与率が第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを含む特定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子であって、上下左右に隣接する所定数の光電変換素子には同色のカラーフィルタが配設され、上下左右に隣接する所定数の光電変換素子に配設されたカラーフィルタを単位ブロックとすると、カラーフィルタ配列は、複数の単位ブロックからなり、単位ブロックが正方格子状に配列された基本配列パターンを含み、基本配列パターンが水平方向及び垂直方向に繰り返して配置され、第１のフィルタは、カラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各ライン内に１つ以上配置され、第２の色の各色に対応する第２のフィルタは、カラーフィルタ配列の水平及び垂直方向の各ライン内に１つ以上配置され、第１のフィルタに対応する第１の色の画素数の比率は、第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きい。
【００２３】
本発明の一の態様に係るカラー撮像素子によれば、１色以上の第１の色に対応する第１のフィルタと輝度信号を得るための寄与率が第１の色よりも低い２色以上の第２の色に対応する第２のフィルタのうちの所定の１色のカラーフィルタが上下左右に隣接する所定数の光電変換素子に配設され、この上下左右に隣接する所定数の光電変換素子に配設されたカラーフィルタを単位ブロックとすると、カラーフィルタ配列は、複数の単位ブロックが正方格子状に配列された基本配列パターンを含み、基本配列パターンが水平方向及び垂直方向に繰り返して配置される。【００２４】
これにより、後段でのデモザイキング処理を行う際に、繰り返しパターンに従って処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。【００２５】
また、第１のフィルタがカラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各ライン内に１つ以上配置されるようにしたため、高周波領域でのデモザイキング処理の再現精度を向上させることができる。更に、第２のフィルタは、基本配列パターン内にカラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置される。これにより、色モワレ（偽色）の発生を抑圧して高解像度化を図ることができる。【００２６】
また、第１のフィルタに対応する第１の色の画素数と第２のフィルタに対応する第２の色の各色の画素数との比率を異ならせ、特に輝度信号を得るための寄与率が高い第１の色の画素数の比率を、第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きくするようにしたため、エリアシングを抑制することができ高周波再現性をよくすることができる。【００２７】
本発明の一の態様に係るカラー撮像素子は、隣接する素子の中心が水平方向及び垂直方向に１／２画素ピッチずつずれた斜め格子状に配列された光電変換素子からなる複数の画素上に、１色以上の第１の色に対応する第１のフィルタと輝度信号を得るための寄与率が第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとを含む特定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子であって、斜め右上及び斜め右下方向に隣接する所定数の光電変換素子には同色のカラーフィルタが配設され、斜め右上及び斜め右下方向に隣接する所定数の光電変換素子に配設されたカラーフィルタを単位ブロックとすると、カラーフィルタ配列は、複数の単位ブロックからなり、単位ブロックが斜め格子状に配列された基本配列パターンを含み、基本配列パターンが斜め右上及び斜め右下方向に繰り返して配置され、第１のフィルタは、カラーフィルタ配列の水平、垂直、斜め右上がり及び斜め右下がり方向の各ライン内に１つ以上配置され、第２の色の各色に対応する第２のフィルタが配置された単位ブロックは、カラーフィルタ配列の斜め右上がり及び斜め右下がり方向の各ライン内に１つ以上配置され、第１のフィルタに対応する第１の色の画素数の比率は、第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きい。【００２８】
本発明の一の態様に係るカラー撮像素子によれば、隣接する素子の中心が水平方向及び垂直方向に１／２画素ピッチずつずれた斜め格子状に配列された光電変換素子のうちの斜め右上及び斜め右下方向に隣接する所定数の光電変換素子には１色以上の第１の色に対応する第１のフィルタと輝度信号を得るための寄与率が第１の色よりも低い２色以上の第２の色に対応する第２のフィルタのうちの所定の１色のカラーフィルタが配設され、この斜め右上及び斜め右下方向に隣接する所定数の光電変換素子に配設されたカラーフィルタを単位ブロックとすると、カラーフィルタ配列は、複数の単位ブロックが斜め格子状に配列された基本配列パターンを含み、基本配列パターンが斜め右上及び斜め右下方向に繰り返して配置される。【００２９】
これにより、後段でのデモザイキング処理を行う際に、繰り返しパターンに従って処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。【００３０】
また、第１のフィルタがカラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各ライン内に１つ以上配置されるようにしたため、高周波領域でのデモザイキング処理の再現精度を向上させることができる。更に、第２のフィルタは、基本配列パターン内にカラーフィルタ配列の斜め右上がり及び斜め右下がり方向の各ライン内に１つ以上配置される。これにより、色モワレ（偽色）の発生を抑圧して高解像度化を図ることができる。【００３１】
また、第１のフィルタに対応する第１の色の画素数と第２のフィルタに対応する第２の色の各色の画素数との比率を異ならせ、特に輝度信号を得るための寄与率が高い第１の色の画素数の比率を、第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きくするようにしたため、エリアシングを抑制することができ高周波再現性をよくすることができる。【００３２】
本発明の他の態様に係るカラー撮像素子において、所定数の光電変換素子は、２×２画素又は３×３画素であることが望ましい。【００３３】
本発明の他の態様に係るカラー撮像素子において、基本配列パターン内のカラーフィルタ配列は、基本配列パターンの中心に対して点対称であることが望ましい。【００３４】
これにより、後段に処理回路の回路規模を小さくすることが可能になる。【００３５】
本発明の他の態様に係るカラー撮像素子において、基本配列パターンは、Ｎ×Ｎ（Ｎ：４以上８以下の整数）の単位ブロックであることが望ましい。【００３６】
本発明の他の態様に係るカラー撮像素子において、基本配列パターンは、６×６の単位ブロックであることが望ましい。【００３７】
本発明の他の態様に係るカラー撮像素子において、カラーフィルタ配列は、３×３の単位ブロックにおいて、第１のフィルタが配置された単位ブロックが中心と４隅に配置されることが望ましい。これにより、第１のフィルタを、カラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各ライン内に配置させることができる。【００３８】
本発明の他の態様に係るカラー撮像素子において、光電変換素子の上方に配設される瞳分割手段を備え、瞳分割手段に入射した光は、瞳分割されてそれぞれ所定数の光電変換素子の受光面に導かれることが望ましい。これにより、所定数と同じ枚数の異なる画像データを取得することができる。【００３９】
本発明の他の態様に係るカラー撮像素子において、第１の色は、緑（Ｇ）色であり、第２の色は、赤（Ｒ）色及び青（Ｂ）色であることが好ましい。【００４０】
本発明の他の態様に係るカラー撮像素子において、基本配列パターンは、６×６の単位ブロックに対応する正方配列パターンであり、カラーフィルタ配列は、３×３の単位ブロックに対応する第１の配列であって、中心と４隅にＧフィルタの単位ブロックが配置され、中心のＧフィルタを挟んで上下にＢフィルタの単位ブロックが配置され、左右にＲフィルタの単位ブロックが配列された第１の配列と、３×３の単位ブロックに対応する第２の配列であって、中心と４隅にＧフィルタの単位ブロックが配置され、中心のＧフィルタを挟んで上下にＲフィルタの単位ブロックが配置され、左右にＢフィルタの単位ブロックが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されていることが望ましい。なお、上記のカラー撮像素子を備えた撮像装置も本発明に含まれる。
【発明の効果】
【００４１】
本発明によれば、偽色の発生の抑圧及び高解像度化を図ることができるとともに、従来のランダム配列に比べて後段の処理を簡略化することができる。
【図面の簡単な説明】
【００４２】
【図１】本発明に係る単板式のカラー撮像素子の第１の実施形態を示す図
【図２】第１の実施形態のカラー撮像素子の受光面の構成例を示す図
【図３】第１の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを配置した様子を示すとともに、このカラーフィルタ配列に含まれる２×２画素のＧ画素の画素値から相関方向を判別する方法を示す図
【図４】第１の実施形態のカラー撮像素子を用いた撮像装置のブロック図
【図５】視差画像の生成について説明するのに使用した図
【図６】第１の実施形態の変形例１のカラー撮像素子のカラーフィルタ配列について示す図
【図７】第１の実施形態の変形例１のカラー撮像素子の受光面の構成例を示す図
【図８】第１の実施形態の変形例２のカラー撮像素子のカラーフィルタ配列について示す図
【図９】第１の実施形態の変形例２のカラー撮像素子の受光面の構成例を示す図
【図１０】第１の実施形態の変形例３のカラー撮像素子の受光面の構成例を示す図
【図１１】本発明に係る単板式のカラー撮像素子の第２の実施形態を示す図
【図１２】本発明に係る単板式のカラー撮像素子の第３の実施形態を示す図
【図１３】本発明に係る単板式のカラー撮像素子の第４の実施形態を示す図
【図１４】本発明に係る単板式のカラー撮像素子の第５の実施形態を示す図
【図１５】本発明に係る単板式のカラー撮像素子の第６の実施形態を示す図
【図１６】本発明に係る単板式のカラー撮像素子の第７の実施形態を示す図
【図１７】本発明に係る単板式のカラー撮像素子の第８の実施形態を示す図
【図１８】Ｒフィルタ（赤フィルタ）、Ｇ１フィルタ（第１の緑フィルタ）、Ｇ２フィルタ（第２の緑フィルタ）及びＢフィルタ（青フィルタ）が配置される受光素子の分光感度特性を示すグラフ
【図１９】Ｒフィルタ、Ｇフィルタ、Ｂフィルタ及びＷフィルタ（透明フィルタ）が配置される受光素子の分光感度特性を示すグラフ
【図２０】Ｒフィルタ、Ｇフィルタ、Ｂフィルタ及びエメラルドフィルタＥ（Ｅフィルタ）が配置される受光素子の分光感度特性を示すグラフ
【図２１】従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した図
【図２２】従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した他の図
【発明を実施するための形態】
【００４３】
以下、添付図面に従って本発明に係るカラー撮像素子の好ましい実施形態について詳説する。
【００４４】
＜第１の実施形態＞
［撮像デバイス］
図１は本発明に係る単板式のカラー撮像素子の第１の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
【００４５】
このカラー撮像素子１は、水平方向及び垂直方向に配列（二次元配列）された光電変換素子（例えばフォトダイオード）からなる複数の画素（図示せず）と、各画素の受光面上に配置された、図１に示すカラーフィルタ配列のカラーフィルタとから構成されており、各画素上には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタのうちのいずれかが配置される。
【００４６】
なお、カラー撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カラー撮像素子に限らず、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子などの他の種類の撮像素子であってもよい。
【００４７】
図１に示すように、上下左右に隣接する４つの光電変換素子に対して同じ色のカラーフィルタが配置されている。この同じ色のカラーフィルタが配置された４つの光電変換素子に対しては、図２に示すように、１つのマイクロレンズＬが配設されている。マイクロレンズＬは、４つの光電変換素子の受光面に光束を集光させるが、それぞれ異なる方向で光束が制限された光（瞳分割された光）をそれぞれ４つの光電変換素子に入射させる。すなわち、カラー撮像素子１では、４視点の画像データを取得できる。
【００４８】
このカラー撮像素子１によれば、マイクロレンズＬにより瞳分割された光が入射される４つの光電変換素子から出力される出力信号に基づいて、２Ｄ画像及び３Ｄ画像が生成可能である。なお、２Ｄ画像及び３Ｄ画像の生成方法については後述する。
【００４９】
［カラーフィルタ配列の特徴］
第１の実施形態のカラー撮像素子のカラーフィルタ配列は、下記の特徴（１）、（２）、（３）、（４）、（５）及び（６）を有している。以下、１つのマイクロレンズＬを通過した被写体光が入射する４つの光電変換素子に対して配置された同色のカラーフィルタを単位ブロックとして説明する。
【００５０】
〔特徴（１）〕
図１に示すカラーフィルタ配列は、６×６ブロックに対応する正方配列パターンからなる基本配列パターンＰｌ（太枠で示したパターン）を含み、この基本配列パターンＰｌが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が周期性をもって配列されている。
【００５１】
このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが周期性をもって配列されているため、カラー撮像素子から読み出されるＲ、Ｇ、Ｂ信号のデモザイキング処理等を行う際に、繰り返しパターンに従って処理を行うことができる。
【００５２】
また、基本配列パターンＰｌの単位で間引き処理して画像を縮小する場合、間引き処理された縮小画像のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。
【００５３】
〔特徴（２）〕
図１に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色（この実施形態では、Ｇの色）に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に１つ以上配置されている。なお、ＮＥは斜め右上方向を意味し、ＮＷは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ４５°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり長辺、短辺の長さに応じてその角度は変わりうる。
【００５４】
輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域でのデモザイキング処理の再現精度を向上させることができる。
【００５５】
〔特徴（３）〕
図１に示すカラーフィルタ配列の基本配列パターンＰｌは、その基本配列パターンＰｌ内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ３２画素（４画素×８ブロック）、８０画素（４画素×２０ブロック）、３２画素（４画素×８ブロック）になっている。即ち、ＲＧＢ画素の各画素数の比率は、２：５：２になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素のそれぞれの画素数の比率よりも大きくなっている。
【００５６】
上記のようにＧ画素の画素数とＲ，Ｂ画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素の画素数の比率を、Ｒ，Ｂ画素の画素数の比率よりも大きくするようにしたため、デモザイキング処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。
【００５７】
〔特徴（４）〕
図１に示すカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ、Ｂフィルタが、基本配列パターンＰｌ内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置されている。
【００５８】
Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
【００５９】
図３は、図１に示した基本配列パターンＰｌを、３×３ブロックに４分割した状態に関して示している。
【００６０】
図３に示すように基本配列パターンＰｌは、実線の枠で囲んだ３×３ブロックのＡ配列と、破線の枠で囲んだ３×３ブロックのＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
【００６１】
Ａ配列及びＢ配列は、それぞれ輝度系画素であるＧフィルタが４隅と中央のブロック、すなわち両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列され、一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
【００６２】
また、Ａ配列とＢ配列の４隅のＧフィルタは、図３に示すようにＡ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２ブロックに対応する正方配列のＧフィルタとなる。
【００６３】
これは、輝度系画素であるＧフィルタが、Ａ配列又はＢ配列における３×３ブロックにおいて４隅と中央のブロック、すなわち２つの対角線上に配置され、この３×３ブロックが水平方向、垂直方向に交互に配置されることで２×２画素に対応する正方配列のＧフィルタが形成されるためである。なお、このような配列とすることで、前述の特徴（１），（２），（３），後述の特徴（５）が満たされる。
【００６４】
〔特徴（５）〕
図１に示すカラーフィルタ配列は、Ｇフィルタからなる２×２ブロックに対応する正方配列を含んでいる。
【００６５】
図４に示すように、Ｇフィルタからなる２×２ブロックを取り出し、水平方向のＧ画素の画素値の差分絶対値、垂直方向のＧ画素の画素値の差分絶対値、斜め方向（右上斜め、左上斜め）のＧ画素の画素値の差分絶対値を求めることにより、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。
【００６６】
即ち、このカラーフィルタ配列によれば、最小画素間隔のＧ画素の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、周囲の画素から補間する処理（デモザイキング処理）に使用することができる。
【００６７】
また、３×３ブロックのＡ配列又はＢ配列の画素をデモザイキング処理の対象画素とし、Ａ配列又はＢ配列を中心に５×５ブロック（モザイク画像の局所領域）を抽出した場合、５×５ブロックの４隅に２×２ブロックのＧ画素が存在することになる。これらの２×２ブロックのＧ画素の画素値を使用することにより、４方向の相関方向の判別を最小画素間隔のＧ画素の情報を使用して精度よく行うことができる。
【００６８】
〔特徴（６）〕
図１に示すカラーフィルタ配列の基本配列パターンＰｌは対称性を有する。すなわち、基本配列パターンＰｌは、その基本配列パターンＰｌの中心に対して点対称になっている。また、基本配列パターンＰｌ内のＡ配列及びＢ配列も、それぞれ中心のＧフィルタに対して点対称になっている。更に、基本配列パターンＰｌ内のＡ配列及びＢ配列は、Ａ配列及びＢ配列の中心を通る水平方向又は垂直方向の線に対して線対称となっている。
【００６９】
このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。
【００７０】
図１に示すように太枠で示した基本配列パターンＰｌにおいて、水平方向の第１から第６のラインのうちの第１及び第３のラインのカラーフィルタ配列は、ＧＢＧＧＲＧであり、第２のラインのカラーフィルタ配列は、ＲＧＲＢＧＢであり、第４及び第６のラインのカラーフィルタ配列は、ＧＲＧＧＢＧであり、第５のラインのカラーフィルタ配列は、ＢＧＢＲＧＲとなっている。
【００７１】
いま、図１において、基本配列パターンＰｌを水平方向、及び垂直方向にそれぞれ１ブロックずつシフトした基本配列パターンをＰｌ’、それぞれ２ブロックずつシフトした基本配列パターンをＰｌ”とすると、これらの基本配列パターンＰｌ’、Ｐｌ”を水平方向及び垂直方向に繰り返し配置しても、同じカラーフィルタ配列になる。
【００７２】
即ち、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図１に示すカラーフィルタ配列を構成することができる基本配列パターンは複数存在する。
【００７３】
第１の実施形態では、基本配列パターンが点対称になっている基本配列パターンＰを、便宜上、基本配列パターンという。
【００７４】
なお、後述する他の実施形態のカラーフィルタ配列においても、各カラーフィルタ配列に対して複数の基本配列パターンが存在するが、その代表的なものをそのカラーフィルタ配列の基本配列パターンという。
【００７５】
［撮像装置］
図４は本発明に係る撮像装置１０の実施形態を示すブロック図である。
【００７６】
この撮像装置１０は、図１に示したカラー撮像素子（撮像デバイス）１が配設され、２Ｄ画像及び３Ｄ画像の撮影が可能なもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。
【００７７】
撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ３０の表示制御などを行う。
【００７８】
シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳｌスイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、２Ｄ撮影モード、３Ｄ撮影モード、オート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、マクロモード、動画モード、本発明に係る視差優先撮影モードを選択する選択手段である。
【００７９】
再生ボタンは、撮影記録した複数の視差画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
【００８０】
撮影モード時において、被写体を示す画像光は、単一の撮影光学系（ズームレンズ）１２、絞り１４を介してカラー撮像素子１の受光面に結像される。撮影光学系１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値Ｆｌ．４〜Ｆｌｌまで１ＡＶ刻みで６段階に絞り制御される。
【００８１】
また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、デバイス制御部３２を介してカラー撮像素子１での電荷蓄積時間（シャッタ速度）や、カラー撮像素子１からの画像信号の読み出し制御等を行う。
【００８２】
カラー撮像素子１に蓄積された信号電荷は、デバイス制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。カラー撮像素子１から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、ＣＰＵ４０から指定されたゲイン（Ｉ ＳＯ感度に相当）で増幅されたのちＡ／Ｄ変換器２０に加えられる。
【００８３】
Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。
【００８４】
デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、デモザイキング処理、ＹＣ処理、シャープネス補正等の信号処理を行う。
【００８５】
なお、図４において、４６は、カメラ制御プログラム、カラー撮像素子１の欠陥情報、画像処理等に使用する各種のパラメータやテーブル、及び絞り優先プログラム線図、シャッタ速度優先プログラム線図、あるいは被写体の明るさに応じて絞りとシャッタ速度を交互に又は同時に変化させるプログラム線図（通常のプログラム線図）の他に、視差優先用のプログラム線図等が記憶されているＲＯＭ（ＥＥＰＲＯＭ）である。
【００８６】
視差優先用のプログラム線図は、例えば、Ｆ値が５．６（ＡＶ＝５）の一定の値をとり、撮影ＥＶ値が１１から１６までは撮影ＥＶ値に応じてシャッタ速度のみを１／６０秒（ＴＶ＝６）から１／２０００（ＴＶ＝１１）まで変化させるように設計されている。また、撮影ＥＶ値が１１よりも小さくなると（暗くなると）、Ｆ値＝５．６、シャッタ速度＝１／６０秒で固定した状態で、撮影ＥＶ値が１ＥＶ小さくなる毎にＩ ＳＯ感度を１００から２００，４００，８００，１６００，３２００になるように設計されている。なお、上記視差優先用のプログラム線図に限らず、カラー撮像素子１から得られる４視点の視差画像は、絞り開口の大小によりその視差が変化するため、３Ｄ撮影モード時には一定の絞り開口よりも小さくならないように制御するようにしてもよい。
【００８７】
デジタル信号処理部２４は、２Ｄ撮影モードか３Ｄ撮影モードかに応じてその撮影モードに応じた画像処理を行うとともに、被写体や撮影条件に応じた画像処理を行う。なお、このデジタル信号処理部２４での画像処理の詳細については後述する。
【００８８】
２Ｄ撮影モードが選択されている場合には、デジタル信号処理部２４で処理された２Ｄ画像データがＶＲＡＭ５０に出力され、一方、３Ｄ撮影モードが選択されている場合には、デジタル信号処理部２４で処理された３Ｄ画像データがＶＲＡＭ５０に出力される。ＶＲＡＭ５０には、それぞれが１コマ分の画像を表す画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ３０に出力され、これにより２Ｄ／３Ｄの被写体像（ライブビュー画像）が液晶モニタ３０の表示画面上に表示される。
【００８９】
この液晶モニタ３０は、立体視画像（左視点画像及び右視点画像）をパララックスバリアによりそれぞれ指向性をもった指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。
【００９０】
また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、カラー撮像素子１は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介して撮影光学系１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。
【００９１】
ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影ＥＶ値）を算出し、この撮影ＥＶ値に基づいて絞り１４の絞り値及びカラー撮像素子１の電子シャッタ（シャッタ速度）をプログラム線図に従って決定する。
【００９２】
ここで、プログラム線図とは、被写体の明るさに対応して、絞りの絞り値とシャッタ速度の組み合わせ、又はこれらと撮影感度（Ｉ ＳＯ感度）の組み合わせからなる撮影（露出）条件が設計されたものであり、プログラム線図に従って決定された撮影条件で撮影を行うことにより、被写体の明るさにかかわらず、適正な明るさの画像を撮影することができる。
【００９３】
ＣＰＵ４０は、上記プログラム線図に従って決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御するとともに、決定したシャッタ速度に基づいてデバイス制御部３２を介してカラー撮像素子１での電荷蓄積時間を制御する。
【００９４】
ＡＦ処理部４２は、コントラストＡＦ処理又は位相ＡＦ処理を行う部分である。位相差ＡＦ処理を行う場合には、例えば、あるブロックで生成される複数の視差画像データのうちのフォーカス検出領域内の画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、コントラストＡＦ処理を行う場合には、画像データのうちのフォーカス検出領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。
【００９５】
ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される画像データが画像入力コントローラ２２からメモリ（ＳＤＲＡＭ）４８に入力し、一時的に記憶される。
【００９６】
メモリ４８に一時的に記憶された画像データは、デジタル信号処理部２４により適宜読み出される。画像データについて、デモザイキング処理（原色フィルタの配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理）、及びＹＣ処理（画像データの輝度データ及び色差データの生成処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。
【００９７】
２Ｄ撮影モードの場合には、図２に示すように各ブロックの各画素をＡ、Ｂ、Ｃ、Ｄとすると、デジタル信号処理部２４は、各ブロック毎にＡ、Ｂ、Ｃ及びＤの４つの画像データを加算し、１画素分の画像データを生成する。
【００９８】
また、３Ｄ撮影モードの場合には、デジタル信号処理部２４は、Ａ、Ｂ、Ｃ、Ｄ毎の４枚分の画像データを生成する。次に、デジタル信号処理部２４は、図５に示すように、撮像装置１０を水平に構えて撮影した場合には、ＡとＣの画像データを加算して左眼表示用画像（左視差画像）を生成するとともに、ＢとＤの画像データを加算して右眼表示用画像（右視差画像）を生成する。一方、撮像装置１０を縦に構えて撮影した場合には、ＡとＢの画像データを加算して左眼表示用画像（左視差画像）を生成するとともに、ＣとＤの画像データを加算して右眼表示用画像（右視差画像）を生成する。撮像装置１０には、撮像装置１０の姿勢（縦横）を検出するセンサが設けられており、３Ｄ撮影時の撮像装置１０の姿勢に基づいて上記の画素の加算を選択的に行う。これにより、撮像装置１０の姿勢に関わらず３次元画像を撮影することができる。なお、撮像装置１０を縦に構えて撮影した場合に、ＡとＢの画像データを加算して右眼表示用画像（右視差画像）を生成するとともに、ＣとＤの画像データを加算して左眼表示用画像（左視差画像）を生成するようにしてもよい。カラー撮像素子１のフォトダイオードの配列が正方格子状であることで、視差画像生成時に画像データの加算をしやすくすることができる。したがって、視差画像のノイズを減らすことができる。
【００９９】
その後、デジタル信号処理部２４は、画像データについて、デモザイキング処理及びＹＣ処理を含む所定の信号処理を行う。ＹＣ処理されたＹＣデータは、再びメモリ４８に記憶される。
【０１００】
上記のようにして生成され、メモリ４８に記憶された１枚分のＹＣデータは、圧縮伸長処理部２６に出力され、ここでJPEG（joint photographic experts group）などの所定の圧縮処理が実行されたのち、メディア・コントローラ５２を介してメモリカード５４に記録される。また、３Ｄ撮影モード時に生成され、メモリ４８に記憶された２枚分（左右視点分）のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、ここでJPEG（（joint photographic experts group）などの圧縮処理が実行され、更にマルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルがメディア・コントローラ５２を介してメモリカード５４に記録される。
【０１０１】
なお、３Ｄ撮影モード時には、図５に示したように左右２枚分の視差画像を生成するようにしたが、これに限らず、上下左右の４枚分の視差画像をそのまま記録し、３Ｄ再生時に図５に示したように画像を加算して視差画像を出力するようにしてもよい。
【０１０２】
＜第１の実施形態の変形例１＞
第１の実施形態の変形例１は、第１の実施形態に対して単位ブロックの画素数が異なる形態である。
【０１０３】
第１の実施形態の変形例１のカラーフィルタ配列は、第１の実施形態のカラーフィルタ配列と同様であるため、第１の実施形態の変形例１のカラー撮像素子１−１は、第１の実施形態と同様、特徴（１）、（２）、（３）、（４）、（５）及び（６）を有している。以下、第１の実施形態の変形例１について説明するが、第１の実施形態と同様の部分については説明を省略し、第１の実施形態と相違する部分のみ説明する。
【０１０４】
［撮像デバイス］
図６に示すように、カラー撮像素子１−１は、ＣＣＤ、ＣＭＯＳ等の撮像デバイスであり、水平方向及び垂直方向に配列（二次元配列）された光電変換素子からなる複数の画素（図示せず）と、各画素の受光面上に配置された、図６に示すカラーフィルタ配列のカラーフィルタとから構成されており、各画素上には、赤（Ｒ）、縁（Ｇ）、青（Ｂ）の３原色のカラーフィルタのうちのいずれかが配置される。
【０１０５】
図６に示すように、上下左右の９つの光電変換素子に対して同じ色のカラーフィルタが配置されている。この同じ色のカラーフィルタが配置された９つの光電変換素子に対しては、図７に示すように、１つのマイクロレンズＬ−１が配設されている。マイクロレンズＬ−１は、９つの光電変換素子の受光面に光束を集光させるが、上下左右の９つの方向別に光束が制限された光（瞳分割された光）をそれぞれ９つの光電変換素子に入射させる。すなわち、カラー撮像素子１−１では、９視点の画像データを取得できる。図７に示すように各ブロックの各画素をＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉとすると、中央の画素Ｅは撮像装置１０−１（図示せず）正面からの光束が入射される画素であり、Ａ、Ｂ、Ｃ、Ｄ、Ｆ、Ｇ、Ｈ、Ｉは撮像装置１０−１正面以外からの光束が入射される。
【０１０６】
このカラー撮像素子１−１によれば、マイクロレンズＬ−１により瞳分割された光が入射される９つの光電変換素子から出力される出力信号に基づいて、２Ｄ画像及び３Ｄ画像が生成可能である。
【０１０７】
［撮像装置］
２Ｄ撮影モードの場合には、デジタル信号処理部２４−１（図示せず）は、各ブロックのＥ画素の画像データのみを用いて１画素分の画像データを生成する。なお、各ブロック毎にＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ及びＩの９つの画像データを加算し、１画素分の画像データを生成するようにしてもよい。
【０１０８】
また、３Ｄ撮影モードの場合には、デジタル信号処理部２４−１は、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ毎の９枚分の画像データを生成する。デジタル信号処理部２４−１は、撮像装置１０−１（図示せず）を水平に構えて撮影した場合には、Ａ、Ｄ、及びＧの画像データを加算して左眼表示用画像（左視差画像）を生成するとともに、Ｃ、Ｆ及びＩの画像データを加算して右眼表示用画像（右視差画像）を生成する。一方、撮像装置１０−１を縦に構えて撮影した場合には、Ａ、Ｂ及びＣの画像データを加算して左眼表示用画像（左視差画像）を生成するとともに、Ｇ、Ｈ及びＩの画像データを加算して右眼表示用画像（右視差画像）を生成する。なお、撮像装置１０−１を縦に構えて撮影した場合には、Ａ、Ｂ及びＣの画像データを加算して右眼表示用画像（右視差画像）を生成するとともに、Ｇ、Ｈ及びＩの画像データを加算して左眼表示用画像（左視差画像）を生成するようにしてもよい。
【０１０９】
なお、単位ブロックの画素数は４や９に限られず、様々な形態を用いることができる。
【０１１０】
＜第１の実施形態の変形例２＞
第１の実施形態の変形例２は、第１の実施形態に対してフォトダイオードの並び方が異なる形態である。
【０１１１】
第１の実施形態の変形例２のカラーフィルタ配列は、第１の実施形態のカラーフィルタ配列と同様であるため、第１の実施形態の変形例２のカラー撮像素子１−２は、第１の実施形態と同様、特徴（１）、（２）、（３）、（４）、（５）及び（６）を有している。以下、第１の実施形態の変形例２について説明するが、第１の実施形態と同様の部分については説明を省略し、第１の実施形態と相違する部分のみ説明する。
【０１１２】
［撮像デバイス］
図８に示すように、カラー撮像素子１−２は、複数の光電変換素子が斜め格子状に配列されている。すなわち、隣接する光電変換素子の中心は、水平方向及び垂直方向に１／２画素ピッチずつずれて配置される。このように、カラー撮像素子１−２は、図１に示すカラー撮像素子１を４５°回転させたものに対応する。
【０１１３】
カラー撮像素子１−２は、図８に示すように、斜め右上及び斜め右下方向に隣接する４つの光電変換素子に対して同じ色のカラーフィルタが配置されている。この同じ色のカラーフィルタが配置された４つの光電変換素子に対しては、図９に示すように、１つのマイクロレンズＬ−２が配設されている。本実施の形態では、この４つの光電変換素子に対して配置された同色のカラーフィルタを単位ブロックとして説明する。
【０１１４】
マイクロレンズＬ−２は、４つの光電変換素子の受光面に光束を集光させるが、上下左右の４つの方向別に光束が制限された光（瞳分割された光）をそれぞれ４つの光電変換素子に入射させる。すなわち、カラー撮像素子１−２では、４視点の画像データを取得できる。
【０１１５】
このカラー撮像素子１−２によれば、マイクロレンズＬ−２により瞳分割された光が入射される４つの光電変換素子から出力される出力信号に基づいて、２Ｄ画像及び３Ｄ画像が生成可能である。なお、２Ｄ画像及び３Ｄ画像の生成方法については後述する。
【０１１６】
［カラーフィルタ配列の特徴］
〔特徴（１）〕
図８に示すカラーフィルタ配列は、６×６ブロックに対応する斜め格子配列パターンからなる基本配列パターンＰｌ−２（太枠で示したパターン）を含み、この基本配列パターンＰｌ−２が、斜め格子状に繰り返し配置されている。
【０１１７】
〔特徴（２）〕
図８に示すカラーフィルタ配列は、図１に示す第１の実施形態のカラーフィルタ配列を４５°回転させたものに対応するが、第１の実施形態のカラーフィルタ配列と同様に、図８に示すカラーフィルタ配列は、Ｇフィルタがカラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されている。
【０１１８】
〔特徴（３）〕
図８に示すカラーフィルタ配列の基本配列パターンＰ１−２は、その基本配列パターンＰ１−２内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ３２画素（４画素×８ブロック）、８０画素（４画素×２０ブロック）、３２画素（４画素×８ブロック）になっている。即ち、ＲＧＢ画素の各画素数の比率は、２：５：２になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素のそれぞれの画素数の比率よりも大きくなっている。
【０１１９】
上記のようにＧ画素の画素数とＲ，Ｂ画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素の画素数の比率を、Ｒ，Ｂ画素の画素数の比率よりも大きくするようにしたため、デモザイキング処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。
【０１２０】
〔特徴（４）〕
図１に示す第１の実施形態のカラーフィルタ配列は、Ｒフィルタ、Ｂフィルタが、基本配列パターンＰｌ内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置されているが、図８に示すように第１の実施形態の変形例２のカラーフィルタ配列は、第１の実施形態のカラーフィルタ配列を４５°回転させたものに対応するため、Ｒフィルタ、Ｂフィルタは、基本配列パターンＰｌ−２内においてカラーフィルタ配列の斜め（ＮＥ，ＮＷ）方向の各ライン内に１つ以上配置されることになる。
【０１２１】
〔特徴（５）〕
Ａ配列とＢ配列の４隅のＧフィルタは、Ａ配列とＢ配列とが斜め格子状に互い違いに配置されることにより、２×２ブロックに対応する斜め格子配列（４画素が上下左右に隣接した十字状の配列）のＧフィルタとなる。
【０１２２】
これは、輝度系画素であるＧフィルタが、Ａ配列又はＢ配列における３×３ブロックにおいて４隅と中央に配置され、この３×３画素が斜め格子状に配置されることで２×２ブロックに対応する斜め格子配列のＧフィルタが形成されるためである。
【０１２３】
〔特徴（６）〕
図８に示すカラーフィルタ配列の基本配列パターンＰ１−２は対称性を有する。すなわち、基本配列パターンＰ１−２は、その基本配列パターンＰ１−２の中心に対して点対称になっている。また、基本配列パターンＰ１−２内のＡ配列及びＢ配列も、それぞれ中心のＧフィルタに対して点対称になっている。更に、基本配列パターンＰ１−２内のＡ配列及びＢ配列は、Ａ配列及びＢ配列の中心を通るＮＥ方向又はＮＷ方向の線に対して線対称となっている。
【０１２４】
このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。
【０１２５】
このように第１の実施形態の変形例２のカラー撮像素子１−２は、第１の実施形態のカラー撮像素子１を４５°回転させたものに対応するため、正方格子状に配列されたカラー撮像素子１と比較して水平及び垂直方向の再現可能な帯域が√２倍となり、人間の視覚の周波数特性が、斜め方向に比べて水平及び垂直方向に高いという特性に合致しており、視覚的に有利な構造であるといえる。
【０１２６】
［撮像装置］
デジタル信号処理部２４−２（図示せず）は、２Ｄ撮影モードの場合には、各ブロック毎にＡ、Ｂ、Ｃ、及びＤの４つの画像データを加算し、１画素分の画像データを生成する。
【０１２７】
また、３Ｄ撮影モードの場合には、デジタル信号処理部２４−２は、Ａ、Ｂ、Ｃ、Ｄ毎の４枚分の画像データを生成する。デジタル信号処理部２４−２は、撮像装置１０−２（図示せず）を水平に構えて撮影した場合には、Ｂの画像データから左眼表示用画像（左視差画像）を生成するとともに、Ｃの画像データから右眼表示用画像（右視差画像）を生成する。一方、撮像装置１０−２を縦に構えて撮影した場合には、Ａの画像データから左眼表示用画像（左視差画像）を生成するとともに、Ｄの画像データから右眼表示用画像（右視差画像）を生成する。なお、撮像装置１０−２を縦に構えて撮影した場合には、Ｄの画像データから左眼表示用画像（左視差画像）を生成するとともに、Ａの画像データから右眼表示用画像（右視差画像）を生成するようにしてもよい。
【０１２８】
第１の実施形態の変形例２のカラー撮像素子１−２は、隣接する光電変換素子の中心が水平方向及び垂直方向に１／２画素ピッチずつずれて配置されるため、カラー撮像素子１−２の水平方向の視差（ＡとＤの間隔）及び垂直方向の視差（ＢとＤの間隔）が、第１の実施の形態のカラー撮像素子１の水平方向の視差（ＡとＢ又はＣとＤの間隔）及び垂直方向の視差（ＡとＣ又はＢとＤの間隔）に比べて広くなる。したがって、視差画像の視差が大きくなり、より効果的な視差画像を撮影することができる。
【０１２９】
＜第１の実施形態の変形例３＞
第１の実施形態の変形例１は、第１の実施形態の変形例２に対して瞳分割の方法が異なる形態である。以下、第１の実施形態の変形例３について説明するが、第１の実施形態の変形例２と同様の部分については説明を省略し、第１の実施形態の変形例２と相違する部分のみ説明する。
【０１３０】
［撮像デバイス］
第１の実施形態の変形例２においては、同じ色のカラーフィルタが配置された４つの光電変換素子に対して、図９に示すように、１つのマイクロレンズＬ−２が配設されているが、第１の実施形態の変形例３では、４つの光電変換素子の各受光面の前面に遮光部材Ｓｌ〜Ｓ４が配設されている。図１０に示すように、カラー撮像素子１−２’においては、図９のＡに相当する画素には、略下半分の光束を遮る遮光部材Ｓｌが配設され、図９のＢに相当する画素には、略右半分の光束を遮る遮光部材Ｓ２が配設され、図９のＣに相当する画素には、略左半分の光束を遮る遮光部材Ｓ３が配設され、図９のＤに相当する画素には、略上半分の光束を遮る遮光部材Ｓ４が配設される。これにより、同じ色のカラーフィルタが配置された４つの光電変換素子には、上下左右の４つの方向別に光束が制限された光（瞳分割された光）がそれぞれ４つの光電変換素子に入射される。すなわち、カラー撮像素子１−２では、４視点の画像データを取得できる。
【０１３１】
＜第２の実施形態＞
本発明の第２の実施形態に係る単板式のカラー撮像素子は、第１の実施形態に係る単板式のカラー撮像素子に対して、カラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列のみが異なる。以下、第２の実施形態について説明するが、第１の実施形態と同様の部分については説明を省略し、第１の実施形態と相違するカラーフィルタ配列のみ説明する。
【０１３２】
［カラーフィルタ配列の特徴］
図１１は本発明に係る単板式のカラー撮像素子の第２の実施形態を示す図であり、特にカラー撮像素子２に設けられているカラーフィルタのカラーフィルタ配列に関して示している。第２の実施形態のカラー撮像素子のカラーフィルタ配列は、下記の特徴（１）、（２）、（３）、（４）及び（６）を有している。
【０１３３】
〔特徴（１）〕
カラー撮像素子２のカラーフィルタ配列は、４×４ブロックに対応する正方配列パターンからなる基本配列パターンＰ２（太枠で示したパターン）を含み、この基本配列パターンＰ２が水平方向及び垂直方向に繰り返し配置されている。
【０１３４】
〔特徴（２）〕
図１１に示すカラーフィルタ配列は、第１の実施形態と同様に、Ｇフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されている。
【０１３５】
〔特徴（３）〕
図１１に示すカラーフィルタ配列の基本配列パターンＰ２は、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ１６画素（４ブロック×４画素）、３２画素（８ブロック×４画素）、１６画素（４ブロック×４画素）になっている。即ち、ＲＧＢ画素の各画素数の比率は、１：２：１になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素のそれぞれの画素数の比率よりも大きくなっている。
【０１３６】
〔特徴（４）〕
図１１に示すカラーフィルタ配列は、第１の実施形態と同様に、Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
【０１３７】
〔特徴（６）〕
図１１に示す基本配列パターンＰ２は、その基本配列パターンＰ２の中心に対して点対称になっている。
【０１３８】
なお、図１１に示すカラーフィルタ配列は、Ｇフィルタからなる２×２ブロックに対応する正方配列を含んでいない（すなわち、特徴（５）は満足しない。以下同じ）。しかしながら、図１１に示すカラーフィルタ配列は、水平方向に隣接するＧフィルタを有し、また、斜め（ＮＥ，ＮＷ）方向に隣接するＧフィルタを有する。垂直方向には、Ｒフィルタ又はＢフィルタを挟んでＧフィルタが存在するため、これらのＧフィルタに対応するＧ画素の画素値を垂直方向の相関を判断する場合に使用することができる。
【０１３９】
＜第３の実施形態＞
本発明の第３の実施形態に係る単板式のカラー撮像素子は、第１の実施形態に係る単板式のカラー撮像素子に対して、カラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列のみが異なる。以下、第３の実施形態について説明するが、第１の実施形態と同様の部分については説明を省略し、第１の実施形態と相違するカラーフィルタ配列のみ説明する。
【０１４０】
［カラーフィルタ配列の特徴］
図１２は本発明に係る単板式のカラー撮像素子の第３の実施形態を示す図であり、特にカラー撮像素子３に設けられているカラーフィルタのカラーフィルタ配列に関して示している。第３の実施形態のカラー撮像素子のカラーフィルタ配列は、下記の特徴（１）、（２）、（３）及び（４）を有している。
【０１４１】
〔特徴（１）〕
カラー撮像素子３のカラーフィルタ配列は、５×５ブロックに対応する正方配列パターンからなる基本配列パターンＰ３（太枠で示したパターン）を含み、この基本配列パターンＰ３が水平方向及び垂直方向に繰り返し配置されている。
【０１４２】
〔特徴（２）〕
図１２に示すカラーフィルタ配列は、第１の実施形態と同様に、Ｇフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されている。
【０１４３】
〔特徴（３）〕
図１２に示すカラーフィルタ配列の基本配列パターンＰ３は、その基本配列パターンＰ３内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ２８画素（７ブロック×４画素）、４４画素（１１ブロック×４画素）、２８画素（７ブロック×４画素）になっている。即ち、ＲＧＢ画素の各画素数の比率は、７：１１：７になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素のそれぞれの画素数の比率よりも大きくなっている。
【０１４４】
〔特徴（４）〕
図１２に示すカラーフィルタ配列は、第１の実施形態と同様に、Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
【０１４５】
なお、図１２に示すカラーフィルタ配列は、Ｇフィルタからなる２×２ブロックに対応する正方配列を含んでいない。また、基本配列パターンＰ３は、点対称になっていない（すなわち、特徴（６）は満足しない。以下同じ）。
【０１４６】
＜第４の実施形態＞
本発明の第４の実施形態に係る単板式のカラー撮像素子は、第１の実施形態に係る単板式のカラー撮像素子に対して、カラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列のみが異なる。以下、第４実施形態について説明するが、第１の実施形態と同様の部分については説明を省略し、第１の実施形態と相違するカラーフィルタ配列のみ説明する。
【０１４７】
［カラーフィルタ配列の特徴］
図１３は本発明に係る単板式のカラー撮像素子の第４の実施形態を示す図であり、特にカラー撮像素子４に設けられているカラーフィルタのカラーフィルタ配列に関して示している。第４の実施形態のカラー撮像素子のカラーフィルタ配列は、下記の特徴（１）、（２）、（３）及び（４）を有している。
【０１４８】
〔特徴（１）〕
カラー撮像素子４のカラーフィルタ配列は、第３の実施形態と同様に、５×５ブロックに対応する正方配列パターンからなる基本配列パターンＰ４（太枠で示したパターン）を含み、この基本配列パターンＰ４が水平方向及び垂直方向に繰り返し配置されている。
【０１４９】
〔特徴（２）〕
図１３に示すカラーフィルタ配列は、第１の実施形態と同様に、Ｇフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されている。
【０１５０】
〔特徴（３）〕
図１３に示すカラーフィルタ配列の基本配列パターンＰ４は、その基本配列パターンＰ４内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ２４画素（６ブロック×４画素）、５２画素（１３ブロック×４画素）、２４画素（６ブロック×４画素）になっている。即ち、ＲＧＢ画素の各画素数の比率は、６：１３：６になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素のそれぞれの画素数の比率よりも大きくなっている。
【０１５１】
〔特徴（４）〕
図１３に示すカラーフィルタ配列は、Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
【０１５２】
なお、図１３に示すカラーフィルタ配列は、Ｇフィルタからなる２×２ブロックに対応する正方配列を含んでいないが、Ｇフィルタが互いに隣接する４ブロックのかたまりがあり、これらの４ブロックの画素値から水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の相関を、最小画素間隔で判断することができる。また、基本配列パターンＰ４は点対称になっていない。
【０１５３】
＜第５の実施形態＞
本発明の第５の実施形態に係る単板式のカラー撮像素子は、第１の実施形態に係る単板式のカラー撮像素子に対して、カラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列のみが異なる。以下、第５の実施形態について説明するが、第１の実施形態と同様の部分については説明を省略し、第１の実施形態と相違するカラーフィルタ配列のみ説明する。
【０１５４】
［カラーフィルタ配列の特徴］
図１４は本発明に係る単板式のカラー撮像素子の第５の実施形態を示す図であり、特にカラー撮像素子５に設けられているカラーフィルタのカラーフィルタ配列に関して示している。第５の実施形態のカラー撮像素子のカラーフィルタ配列は、下記の特徴（１）、（２）、（３）及び（４）を有している。
【０１５５】
〔特徴（１）〕
カラー撮像素子５のカラーフィルタ配列は、第３の実施形態と同様に、５×５ブロックに対応する正方配列パターンからなる基本配列パターンＰ５（太枠で示したパターン）を含み、この基本配列パターンＰ５が水平方向及び垂直方向に繰り返し配置されている。
【０１５６】
〔特徴（２）〕
図１４に示すカラーフィルタ配列は、Ｇフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されている。
【０１５７】
〔特徴（３）〕
図１４に示すカラーフィルタ配列の基本配列パターンＰ５は、その基本配列パターンＰ５内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ３２画素（８ブロック×４画素）、３６画素（９ブロック×４画素）、３２画素（８ブロック×４画素）になっている。即ち、ＲＧＢ画素の各画素数の比率は、８：９：８になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素のそれぞれの画素数の比率よりも大きくなっている。
【０１５８】
〔特徴（４）〕
図１４に示すカラーフィルタ配列は、Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平及び垂直方向の各ライン内に配置されている。
【０１５９】
更に、図１４に示すカラーフィルタ配列は、Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の斜め（ＮＥ，ＮＷ）方向の各ライン内にも配置されている。
【０１６０】
即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂフィルタの全てが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されており、これにより、斜め方向の色再現性をより向上させることができる点で、第１の実施形態のカラー撮像素子のカラーフィルタ配列にない特徴を有している。
【０１６１】
なお、図１４に示すカラーフィルタ配列は、Ｇフィルタからなる２×２ブロックに対応する正方配列を含んでおらず、また、基本配列パターンＰ５は、点対称になっていない。
【０１６２】
＜第６の実施形態＞
本発明の第６の実施形態に係る単板式のカラー撮像素子は、第１の実施形態に係る単板式のカラー撮像素子に対して、カラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列のみが異なる。以下、第６の実施形態について説明するが、第１の実施形態と同様の部分については説明を省略し、第１の実施形態と相違するカラーフィルタ配列のみ説明する。
【０１６３】
［カラーフィルタ配列の特徴］
図１５は本発明に係る単板式のカラー撮像素子の第６の実施形態を示す図であり、特にカラー撮像素子６に設けられているカラーフィルタのカラーフィルタ配列に関して示している。第６の実施形態のカラー撮像素子のカラーフィルタ配列は、下記の特徴（１）、（２）、（３）、（４）、（５）及び（６）を有している。
【０１６４】
〔特徴（１）〕
カラー撮像素子６のカラーフィルタ配列は、７×７ブロックに対応する正方配列パターンからなる基本配列パターンＰ６（太枠で示したパターン）を含み、この基本配列パターンＰ６が水平方向及び垂直方向に繰り返し配置されている。
【０１６５】
〔特徴（２）〕
図１５に示すカラーフィルタ配列は、第１の実施形態と同様に、Ｇフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されている。
【０１６６】
〔特徴（３）〕
図１５に示すカラーフィルタ配列の基本配列パターンＰ６は、その基本配列パターンＰ６内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ４８画素（１２ブロック×４画素）、１００画素（２５ブロック×４画素）、４８画素（１２ブロック×４画素）になっている。即ち、ＲＧＢ画素の各画素数の比率は、１２：２５：１２になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素のそれぞれの画素数の比率よりも大きくなっている。
【０１６７】
〔特徴（４）〕
図１５に示すカラーフィルタ配列は、Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
【０１６８】
〔特徴（５）〕
図１５に示すカラーフィルタ配列は、Ｇフィルタからなる２×２ブロックに対応する正方配列を含む。
【０１６９】
〔特徴（６）〕
図１５に示す基本配列パターンＰ６は、その基本配列パターンＰ６の中心に対して点対称になっている。
【０１７０】
＜第７の実施形態＞
本発明の第７の実施形態に係る単板式のカラー撮像素子は、第１の実施形態に係る単板式のカラー撮像素子に対して、カラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列のみが異なる。以下、第７の実施形態について説明するが、第１の実施形態と同様の部分については説明を省略し、第１の実施形態と相違するカラーフィルタ配列のみ説明する。
【０１７１】
［カラーフィルタ配列の特徴］
図１６は本発明に係る単板式のカラー撮像素子の第７の実施形態を示す図であり、特にカラー撮像素子７に設けられているカラーフィルタのカラーフィルタ配列に関して示している。第７の実施形態のカラー撮像素子のカラーフィルタ配列は、下記の特徴（１）、（２）、（３）、（４）、（５）及び（６）を有している。
【０１７２】
〔特徴（１）〕
カラー撮像素子７のカラーフィルタ配列は、８×８ブロックに対応する正方配列パターンからなる基本配列パターンＰ７（太枠で示したパターン）を含み、この基本配列パターンＰ７が水平方向及び垂直方向に繰り返し配置されている。
【０１７３】
この基本配列パターンを４×４ブロックに４分割した場合、対角の４×４画像の配列は同じになり、水平方向又は垂直方向に隣接する４×４ブロックの配列は、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
【０１７４】
〔特徴（２）〕
図１６に示すカラーフィルタ配列は、第１の実施形態と同様に、Ｇフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されている。
【０１７５】
〔特徴（３）〕
図１６に示すカラーフィルタ配列の基本配列パターンＰ７は、その基本配列パターンＰ７内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ６４画素（１６ブロック×４画素）、１２８画素（３２ブロック×４画素）、６４画素（１６ブロック×４画素）になっている。即ち、ＲＧＢ画素の各画素数の比率は、１：２：１になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素のそれぞれの画素数の比率よりも大きくなっている。
【０１７６】
〔特徴（４）〕
図１６に示すカラーフィルタ配列は、Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
【０１７７】
〔特徴（５）〕
図１６に示すカラーフィルタ配列は、Ｇフィルタからなる２×２ブロックに対応する正方配列を含む。
【０１７８】
〔特徴（６）〕
図１６に示す基本配列パターンＰ７は、その基本配列パターンＰ７の中心に対して点対称になっている。
【０１７９】
＜第８の実施形態＞
上記第１から第７の実施形態のカラー撮像素子のカラーフィルタ配列は、いずれもＲＧＢの３原色のカラーフィルタのカラーフィルタ配列であるが、第８の実施形態のカラー撮像素子のカラーフィルタ配列は、ＲＧＢフィルタの他に、エメラルド（Ｅ）のＥフィルタを加えた４色のカラーフィルタのカラーフィルタ配列である点で相違する。
【０１８０】
以下、第８の実施形態に係る単板式のカラー撮像素子８について説明するが、第１の実施形態及び第７の実施の形態と同様の部分については説明を省略し、第１の実施形態及び第７の実施形態と相違する点のみ説明する。
【０１８１】
［カラーフィルタ配列の特徴］
図１７は本発明に係る単板式のカラー撮像素子の第８の実施形態を示す図であり、特にカラー撮像素子８に設けられているカラーフィルタのカラーフィルタ配列に関して示している。第８の実施形態のカラー撮像素子のカラーフィルタ配列は、下記の特徴（１）、（２）、（３）、（４）、（５）及び（６）を有している。
【０１８２】
〔特徴（１）〕
カラー撮像素子８のカラーフィルタ配列は、第７の実施形態と同様に８×８ブロックに対応する正方配列パターンからなる基本配列パターンＰ８（太枠で示したパターン）を含み、この基本配列パターンＰ８が水平方向及び垂直方向に繰り返し配置されている。
【０１８３】
〔特徴（２）〕
図１７に示すカラーフィルタ配列は、Ｇフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されている。
【０１８４】
〔特徴（３）〕
図１７に示すカラーフィルタ配列の基本配列パターンＰ８は、その基本配列パターンＰ８内におけるＲ、Ｇ、Ｂ、Ｅフィルタに対応するＲ画素、Ｇ画素、Ｂ画素、Ｅ画素の画素数が、それぞれ６４画素（１６ブロック×４画素）、９６画素（２４ブロック×４画素）、６４画素（１６ブロック×４画素）、３２画素（８ブロック×４画素）になっている。
【０１８５】
即ち、ＲＧＢＥ画素の各画素数の比率は、２：３：２：１になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素、Ｅ画素のそれぞれの画素数の比率よりも大きくなっている。
【０１８６】
〔特徴（４）〕
図１７に示すカラーフィルタ配列は、Ｒフィルタ、Ｂフィルタ、Ｅフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
【０１８７】
〔特徴（５）〕
図１７に示すこのカラーフィルタ配列は、Ｇフィルタからなる２×２ブロックに対応する正方配列を含む。
【０１８８】
〔特徴（６）〕
基本配列パターンＰ８は、その基本配列パターンＰ８の中心に対して点対称になっている。
【０１８９】
また、上記実施の形態では、５×５ブロック〜８×８ブロックの基本配列パターンを例に説明したが、基本配列パターンを構成する単位ブロックの数はこれに限られない。ただし、基本配列パターンがＮ×Ｎの単位ブロックから形成されるとすると、デモザイキング処理、動画撮影時の間引き処理等の画像処理の容易さを考えると、Ｎは１０以下であることが望ましい。更に、カラーフィルタの配置の容易さを考慮すると、Ｎが４以上８以下であることが望ましい。Ｎが４よりも小さい場合には、本発明に係るカラーフィルタ配列の条件を満足せず、Ｎが８を超える場合には、デモザイキング等の信号処理が複雑化するのに対し、基本配列パターンのサイズを大きくすることによる格別な効果が得られないからである。なお、第１の実施の形態に示すようにＮを６とするのが最も望ましい。
【０１９０】
［変形例］
また、上述の各実施形態では、第１の色として緑（Ｇ）を採用し、第２の色として赤（Ｒ）及び青（Ｂ）を採用した例について説明したが、カラーフィルタで使用しうる色はこれらの色に限定されるものではなく、以下の条件を満たす色に対応するカラーフィルタを用いることもできる。
【０１９１】
＜第１のフィルタ（第１の色）の条件＞
上記各実施形態では、本発明の第１の色を有する第１のフィルタとしてＧ色のＧフィルタを例に挙げて説明を行ったが、Ｇフィルタの代わりに、あるいはＧフィルタの一部に代えて、下記条件（１）から条件（４）のいずれかを満たすフィルタを用いてもよい。
【０１９２】
〔条件（１）〕
条件（１）は、輝度信号を得るための寄与率が５０％以上であることである。この寄与率５０％は、本発明の第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定めた値であって、輝度データを得るための寄与率がＲ色、Ｂ色などよりも相対的に高くなる色が「第１の色」に含まれるように定めた値である。
【０１９３】
なお、寄与率が５０％未満となる色は本発明の第２色（Ｒ色、Ｂ色など）となり、この色を有するフィルタが本発明の第２のフィルタとなる。
【０１９４】
〔条件（２）〕
条件（２）は、フィルタの透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にあることである。フィルタの透過率は、例えば分光光度計で測定された値が用いられる。この波長範囲は、本発明の第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定められた範囲であって、前述の寄与率が相対的に低くなるＲ色、Ｂ色などのピークが含まれず、かつ寄与率が相対的に高くなるＧ色などのピークが含まれるように定められた範囲である。したがって、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にあるフィルタを第１のフィルタとして用いることができる。なお、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲外となるフィルタが本発明の第２のフィルタ（Ｒフィルタ、Ｂフィルタ）となる。
【０１９５】
〔条件（３）〕
条件（３）は、波長５００ｎｍ以上５６０ｎｍ以下の範囲内での透過率が第２のフィルタ（ＲフィルタやＢフィルタ）の透過率よりも高いことである。この条件（３）においても、フィルタの透過率は例えば分光光度計で測定された値が用いられる。この条件（３）の波長範囲も、本発明の第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定められた範囲であって、Ｒ色やＢ色などよりも前述の寄与率が相対的に高くなる色を有するフィルタの透過率が、ＲＢフィルタなどの透過率よりも高くなる範囲である。したがって、透過率が波長５００ｎｍ以上５６０ｎｍ以下の範囲内で相対的に高いフィルタを第１のフィルタとして用い、透過率が相対的に低いフィルタを第２のフィルタとして用いることができる。
【０１９６】
〔条件（４）〕
条件（４）は、３原色のうち最も輝度信号に寄与する色（例えばＲＧＢのうちのＧ色）と、この３原色とは異なる色とを含む２色以上のフィルタを、第１のフィルタとして用いることである。この場合には、第１のフィルタの各色以外の色に対応するフィルタが第２のフィルタとなる。
【０１９７】
＜複数種類の第１のフィルタ（Ｇフィルタ）＞
したがって、第１のフィルタとしてのＧ色のＧフィルタは一種類に限定されるものではなく、例えば複数種類のＧフィルタ（Ｇ１フィルタ、Ｇ２フィルタ）を第１のフィルタとして用いることもできる。すなわち上述の各実施形態に係るカラーフィルタ（基本配列パターン）のＧフィルタが、Ｇ１フィルタまたはＧ２フィルタに適宜置き換えられてもよい。Ｇ１フィルタは第１の波長帯域のＧ光を透過し、Ｇ２フィルタはＧ１フィルタと相関の高い第２の波長帯域のＧ光を透過する（図１８参照）。
【０１９８】
Ｇ１フィルタとしては、現存のＧフィルタ（例えば第１実施形態のＧフィルタ）を用いることができる。また、Ｇ２フィルタとしては、Ｇ１フィルタと相関の高いフィルタを用いることができる。この場合に、Ｇ２フィルタが配置される受光素子の分光感度曲線のピーク値は、例えば波長５００ｎｍから５３５ｎｍの範囲（現存のＧフィルタが配置される受光素子の分光感度曲線のピーク値の近傍）にあることが望ましい。なお、４色（Ｒ、Ｇ１、Ｇ２、Ｂ）のカラーフィルタを決定する方法は、例えば特開２００３−２８４０８４号に記載されている方法が用いられる。
【０１９９】
このようにカラー撮像素子により取得される画像の色を４種類とし、取得される色情報を増やすことにより、３種類の色（ＲＧＢ）のみが取得される場合と較べて、より正確に色を表現することができる。すなわち、眼で違うものに見える色は違う色に、同じものに見える色は同じ色にそれぞれ再現すること（「色の判別性」を向上させること）ができる。
【０２００】
なお、Ｇ１、Ｇ２フィルタの透過率は、第１実施形態のＧフィルタの透過率と基本的には同じであるので、輝度信号を得るための寄与率は５０％よりは高くなる。したがって、Ｇ１、Ｇ２フィルタは前述の条件（１）を満たす。
【０２０１】
また、カラーフィルタ配列（受光素子）の分光感度特性を示す図１８において、各Ｇ１、Ｇ２フィルタの透過率のピーク（各Ｇ画素の感度のピーク）は波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。各Ｇ１、Ｇ２フィルタの透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタの透過率よりも高くなる。このため、各Ｇ１、Ｇ２フィルタは前述の条件（２）、（３）も満たしている。
【０２０２】
なお、各Ｇ１、Ｇ２フィルタの配置や個数は適宜変更してもよい。また、Ｇフィルタの種類を３種類以上に増加してもよい。
【０２０３】
＜透明フィルタ（Ｗフィルタ）＞
上述の実施形態では、主としてＲＧＢ色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を透明フィルタＷ（白色画素）としてもよい。特に第１のフィルタ（Ｇフィルタ）の一部に代えて透明フィルタＷを配置することが好ましい。このようにＧ画素の一部を白色画素に置き換えることにより、画素サイズを微細化しても色再現性の劣化を抑制することができる。
【０２０４】
透明フィルタＷは、透明色（第１の色）のフィルタである。透明フィルタＷは、可視光の波長域に対応する光を透過可能であり、例えばＲＧＢの各色の光の透過率が５０％以上となるフィルタである。透明フィルタＷの透過率は、Ｇフィルタよりも高くなるので、輝度信号を得るための寄与率もＧ色（６０％）よりは高くなり、前述の条件（１）を満たす。
【０２０５】
カラーフィルタ配列（受光素子）の分光感度特性を示す図１９において、透明フィルタＷの透過率のピーク（白色画素の感度のピーク）は波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。また、透明フィルタＷの透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタの透過率よりも高くなる。このため、透明フィルタＷは前述の条件（２）、（３）も満たしている。なお、Ｇフィルタについても透明フィルタＷと同様に前述の条件（１）〜（３）を満たしている。
【０２０６】
このように透明フィルタＷは、前述の条件（１）〜（３）を満たしているので、本発明の第１のフィルタとして用いることができる。なお、カラーフィルタ配列では、ＲＧＢの３原色のうち最も輝度信号に寄与するＧ色に対応するＧフィルタの一部を透明フィルタＷに置き換えているので、前述の条件（４）も満たしている。
【０２０７】
＜エメラルドフィルタ（Ｅフィルタ）＞
上述の実施形態では、主としてＲＧＢ色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を他の色フィルタとしてもよく、例えばエメラルド（Ｅ）色に対応するフィルタＥ（エメラルド画素）としてもよい。特に第１のフィルタ（Ｇフィルタ）の一部に代えてエメラルドフィルタ（Ｅフィルタ）を配置しても良い。このようにＧフィルタの一部をＥフィルタで置き換えた４色のカラーフィルタ配列を用いることで、輝度の高域成分の再現を向上させ、ジャギネスを低減させるとともに、解像度感の向上を可能とすることができる。
【０２０８】
カラーフィルタ配列（受光素子）の分光感度特性を示す図２０において、エメラルドフィルタＥの透過率のピーク（Ｅ画素の感度のピーク）は波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。また、エメラルドフィルタＥの透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタの透過率よりも高くなる。このため、エメラルドフィルタＥは前述の条件（２）、（３）を満たしている。また、カラーフィルタ配列では、ＲＧＢの３原色のうち最も輝度信号に寄与するＧ色に対応するＧフィルタの一部をエメラルドフィルタＥに置き換えているので、前述の条件（４）も満たしている。
【０２０９】
なお、図２０に示した分光特性では、エメラルドフィルタＥがＧフィルタよりも短波長側にピークを持つが、Ｇフィルタよりも長波長側にピークを持つ（少し黄色よりの色に見える）場合もある。このようにエメラルドフィルタＥとしては、本発明の各条件を満たすものを選択可能であり、例えば、条件（１）を満たすようなエメラルドフィルタＥを選択することもできる。
【０２１０】
＜他の色の種類＞
上述の各実施形態では、原色ＲＧＢのカラーフィルタで構成されるカラーフィルタ配列について説明したが、例えば原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタのカラーフィルタ配列にも本発明を適用することができる。この場合も上記条件（１）〜（４）のいずれかを満たすカラーフィルタを本発明の第１のフィルタとし、他のカラーフィルタを第２のフィルタとする。
【０２１１】
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。更にまた、本発明は上記実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０２１２】
１、１−１、１−２、１−２’、２、３、４、５、６、７、８：カラー撮像素子、１０：撮像装置、１２：撮影光学系、１８：アナログ信号処理部、２０：ＡＤ変換器、２２：画像入力コントローラ、２４：デジタル信号処理部、２６：圧縮伸長処理部、２８：エンコ一ダ、３０：液晶モニタ、３２：デバイス制御部、３４：駆動部、３６：レンズ駆動部、３８：操作部、４２：ＡＦ処理部、４４：ＡＥ検出部、４８：メモリ、５２：コントローラ、５４：メモリカード、Ｌ、Ｌ−１、Ｌ−２：マイクロレンズ、Ｐ、Ｐｌ−１、Ｐ１−２、ＰＩＭ２’、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８：基本配列パターン、Ｓｌ、Ｓ２、Ｓ３、Ｓ４：遮光部材
【図１】
0005621056.tif 000002
【図２】
0005621056.tif 000003
【図３】
0005621056.tif 000004
【図４】
0005621056.tif 000005
【図５】
0005621056.tif 000006
【図６】
0005621056.tif 000007
【図７】
0005621056.tif 000008
【図８】
0005621056.tif 000009
【図９】
0005621056.tif 000010
【図１０】
0005621056.tif 000011
【図１１】
0005621056.tif 000012
【図１２】
0005621056.tif 000013
【図１３】
0005621056.tif 000014
【図１４】
0005621056.tif 000015
【図１５】
0005621056.tif 000016
【図１６】
0005621056.tif 000017
【図１７】
0005621056.tif 000018
【図１８】
0005621056.tif 000019
【図１９】
0005621056.tif 000020
【図２０】
0005621056.tif 000021
【図２１】
0005621056.tif 000022
【図２２】
0005621056.tif 000023