(57)【要約】【課題】色情報の解像度を低下させることなく偏光情報および色情報を同時に取得する。【解決手段】入射光Ａに対して光電変換を行うとともに入射光Ａの一部を透過可能な光電変換膜を備える第１の撮像面２と、該第１の撮像面２を透過した入射光Ａに対して光電変換を行う光電変換層を備える第２の撮像面３と、これら２つの撮像面２，３の間に配置され、第１の撮像面２を透過した入射光Ａから偏光情報を抽出する偏光フィルタ４とを備える撮像装置１を提供する。【選択図】図１
2015041793.tif 000002
【特許請求の範囲】
【請求項１】
入射光に対して光電変換を行うとともに入射光の一部を透過可能な光電変換膜を備える第１の撮像面と、
該第１の撮像面を透過した入射光に対して光電変換を行う光電変換層を備える第２の撮像面と、
これら２つの撮像面の間に配置され、前記第１の撮像面を透過した入射光から偏光情報を抽出する偏光フィルタとを備える撮像装置。
【請求項２】
前記偏光フィルタが、前記第２の撮像面の一部の画素に入射する入射光を透過させる位置に配置されている請求項１に記載の撮像装置。
【請求項３】
前記第２の撮像面の他の画素に入射する入射光を透過させる位置に白色フィルタが配置されている請求項２に記載の撮像装置。
【請求項４】
前記第１の撮像面の前段に、入射光を透過させるカラーフィルタを備え、
該カラーフィルタが、前記第１の撮像面の２×２の４画素からなる最小画素領域毎に、各画素に入射する入射光を透過させる位置に１つの赤色フィルタ要素、２つの緑色フィルタ要素および１つの青色フィルタ要素を配列してなる請求項１から請求項３のいずれかに記載の撮像装置。
【請求項５】
前記第１の撮像面の前段に、入射光を透過させるカラーフィルタを備え、
該カラーフィルタが、前記第１の撮像面の２×２の４画素からなる最小画素領域毎に、各画素に入射する入射光を透過させる位置に１つの赤色フィルタ要素、１つの緑色フィルタ要素、１つの青色フィルタ要素および１つの白色フィルタ要素を配列してなる請求項１から請求項３のいずれかに記載の撮像装置。
【請求項６】
前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域毎に、各画素に入射する入射光を透過させる位置に偏光方向が異なる４つの偏光フィルタ要素を配列してなる請求項４または請求項５に記載の撮像装置。
【請求項７】
前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域毎に、各画素に入射する入射光を透過させる位置に偏光方向が異なる３つの偏光フィルタ要素と１つの白色フィルタ要素とを配列してなる請求項４または請求項５に記載の撮像装置。
【請求項８】
前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域を４つ配列してなる画素領域群毎に、各前記最小画素領域のいずれかの１画素に入射する入射光を透過させる位置に偏光方向が異なる４つの偏光フィルタ要素を配置してなる請求項４または請求項５に記載の撮像装置。
【請求項９】
前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域を４つ配列してなる画素領域群毎に、各前記最小画素領域のいずれかの１画素に入射する入射光を透過させる位置に偏光方向が異なる３つの偏光フィルタ要素と１つの白色フィルタ要素とを配置し、各最小画素領域の他の３画素に入射する入射光を透過させる位置に波長帯域の異なるカラーフィルタ要素を配置してなる請求項４または請求項５に記載の撮像装置。
【請求項１０】
前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域を４つ配列してなる画素領域群毎に、各前記最小画素領域の全ての画素に入射する入射光を透過させる位置に偏光方向が異なる４つの偏光フィルタ要素を配置してなる請求項４または請求項５に記載の撮像装置。
【請求項１１】
前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域を４つ配列してなる画素領域群毎に、各前記最小画素領域の全ての画素に入射する入射光を透過させる位置に偏光方向が異なる３つの偏光フィルタ要素と１つの白色フィルタ要素とを配置してなる請求項４または請求項５に記載の撮像装置。
【請求項１２】
前記偏光フィルタが、近赤外の透過波長帯域を有し、
前記第２の撮像面の光電変換層が、近赤外光に感度を有する請求項１から請求項１１のいずれかに記載の撮像装置。
【請求項１３】
前記第２の撮像面の各画素が、前記第１の撮像面を透過する入射光の入射角度に応じたピッチで配列されている請求項１から請求項１２のいずれかに記載の撮像装置。
【請求項１４】
前記第２の撮像面の各画素が、前記第１の撮像面の各画素より大きい請求項１３に記載の撮像装置。
【請求項１５】
前記第１の撮像面において取得された第１の画像信号の陰影情報を用いて第１の形状計測を行う第１形状計測部と、
前記第２の撮像面において取得された第２の画像信号の偏光情報を用いて第２の形状計測を行う第２形状計測部と、
前記第１の画像信号および前記第２の画像信号の同じ座標における形状計測結果を比較する比較部とを備える請求項１から請求項１４のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関するものである。
【背景技術】
【０００２】
従来、各画素に対応する位置に偏光部材もしくはカラーフィルタを配置し、偏光情報および色情報の両方を取得する撮像装置が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２６３１５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の撮像装置は、偏光情報および色情報を同一の撮像面において取得しているため、撮像面の全ての画素を色情報の取得に利用することができず、色情報の解像度が減少してしまうという不都合がある。
【０００５】
本発明は上述した事情に鑑みてなされたものであって、色情報の解像度を低下させることなく偏光情報および色情報を同時に取得することができる撮像装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、入射光に対して光電変換を行うとともに入射光の一部を透過可能な光電変換膜を備える第１の撮像面と、該第１の撮像面を透過した入射光に対して光電変換を行う光電変換層を備える第２の撮像面と、これら２つの撮像面の間に配置され、前記第１の撮像面を透過した入射光から偏光情報を抽出する偏光フィルタとを備える撮像装置を提供する。
【０００７】
本態様によれば、被写体から入射してきた入射光が第１の撮像面に入射されると、その一部が光電変換膜において光電変換されて画像信号が取得される一方、他の一部は光電変換膜を透過する。透過した入射光は偏光フィルタを透過することによって偏光情報が抽出された状態で第２の撮像面の光電変換層に入射する。これにより、偏光情報を含む画像信号が取得される。
【０００８】
この場合において、偏光情報は第１の撮像面を透過した後に第１の撮像面とは別の第２の撮像面において取得しているので、第１の撮像面においては、色情報を欠落することなく取得することができる。すなわち、色情報の解像度を低下させることなく偏光情報および色情報を同時に取得することができる。
【０００９】
上記態様においては、前記偏光フィルタが、前記第２の撮像面の一部の画素に入射する入射光を透過させる位置に配置されていてもよい。
このようにすることで、第２の撮像面においても、その一部の画素において偏光情報を取得し、他の画素においては色情報を取得することができ、さらに色情報の解像度を向上することができる。
【００１０】
また、上記態様においては、前記第２の撮像面の他の画素に入射する入射光を透過させる位置に白色フィルタが配置されていてもよい。
このようにすることで、白色フィルタを透過して第２の撮像面に入射する光の光量を増加させて感度を向上することができる。
【００１１】
また、上記態様においては、前記第１の撮像面の前段に、入射光を透過させるカラーフィルタを備え、該カラーフィルタが、前記第１の撮像面の２×２の４画素からなる最小画素領域毎に、各画素に入射する入射光を透過させる位置に１つの赤色フィルタ要素、２つの緑色フィルタ要素および１つの青色フィルタ要素を配列してなっていてもよい。
このようにすることで、第１の撮像面の２×２の４画素からなる各最小画素領域において赤色、緑色および青色の色情報を欠落なく取得することができる。
【００１２】
また、上記態様においては、前記第１の撮像面の前段に、入射光を透過させるカラーフィルタを備え、該カラーフィルタが、前記第１の撮像面の２×２の４画素からなる最小画素領域毎に、各画素に入射する入射光を透過させる位置に１つの赤色フィルタ要素、１つの緑色フィルタ要素、１つの青色フィルタ要素および１つの白色フィルタ要素を配列してなっていてもよい。
【００１３】
このようにすることで、第１の撮像面の２×２の４画素からなる各最小画素領域において赤色、緑色および青色の色情報を欠落なく取得することができる。また、白色フィルタ要素に対応する画素を透過した入射光は他のカラーフィルタ要素に対応する画素を透過した入射光より光量が多いので、第２の撮像面において感度の高い偏光情報を取得することができる。
【００１４】
また、上記態様においては、前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域毎に、各画素に入射する入射光を透過させる位置に偏光方向が異なる４つの偏光フィルタ要素を配列してなっていてもよい。
このようにすることで、第２の撮像面においては１画素毎に偏光方向が異なる偏光情報を取得することができ、偏光情報の解像度を向上することができる。
【００１５】
また、上記態様においては、前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域毎に、各画素に入射する入射光を透過させる位置に偏光方向が異なる３つの偏光フィルタ要素と１つの白色フィルタ要素とを配列してなっていてもよい。
このようにすることで、白色フィルタ要素は第１の撮像面の対応画素を透過した全ての入射光を透過するので、該白色フィルタ要素に対応する第２の撮像面の画素においては、例えば、近赤外光についても受光することができる。
【００１６】
また、上記態様においては、前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域を４つ配列してなる画素領域群毎に、各前記最小画素領域のいずれかの１画素に入射する入射光を透過させる位置に偏光方向が異なる４つの偏光フィルタ要素を配置してなっていてもよい。
このようにすることで、第２の撮像面において４つの異なる偏光方向の偏光情報を取得することができ、他の画素に対応する場所で色情報を取得して、色情報の解像度を向上することができる。
【００１７】
また、上記態様においては、前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域を４つ配列してなる画素領域群毎に、各前記最小画素領域のいずれかの１画素に入射する入射光を透過させる位置に偏光方向が異なる３つの偏光フィルタ要素と１つの白色フィルタ要素とを配置し、各最小画素領域の他の３画素に入射する入射光を透過させる位置に波長帯域の異なるカラーフィルタ要素を配置してなっていてもよい。
【００１８】
このようにすることで、第２の撮像面において３つの異なる偏光方向の偏光情報を取得することができ、被写体の立体的形状を特定する為の必要最小限の偏光情報を取得することができる。そして、白色フィルタ要素に対応する画素において、例えば近赤外光を検出し、他のカラーフィルタ要素に対応する画素において、カラー画像の解像度を向上するための色情報を取得することができる。
【００１９】
また、上記態様においては、前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域を４つ配列してなる画素領域群毎に、各前記最小画素領域の全ての画素に入射する入射光を透過させる位置に偏光方向が異なる４つの偏光フィルタ要素を配置してなっていてもよい。
このようにすることで、各カラーフィルタ要素を透過した入射光から同じ方向の偏光情報を抽出することができる。これにより、被写体が特定の色に偏っていたとしても、被写体の立体的形状を特定するための偏光情報を取得することができる。
【００２０】
また、上記態様においては、前記偏光フィルタが、前記第２の撮像面の２×２の４画素からなる最小画素領域を４つ配列してなる画素領域群毎に、各前記最小画素領域の全ての画素に入射する入射光を透過させる位置に偏光方向が異なる３つの偏光フィルタ要素と１つの白色フィルタ要素とを配置してなっていてもよい。
このようにすることで、被写体が特定の色に偏っていたとしても、第２の撮像面において３つの異なる偏光方向の偏光情報を取得することができ、被写体の立体的形状を特定する為の必要最小限の偏光情報を取得することができる。そして、白色フィルタ要素に対応する画素において、例えば近赤外光を検出し、他のカラーフィルタ要素に対応する画素において、カラー画像の解像度を向上するための色情報を取得することができる。
【００２１】
また、上記態様においては、前記偏光フィルタが、近赤外の透過波長帯域を有し、前記第２の撮像面の光電変換層が、近赤外光に感度を有していてもよい。
このようにすることで、第２の撮像面において近赤外光の画像情報も取得することができる。
【００２２】
また、上記態様においては、前記第２の撮像面の各画素が、前記第１の撮像面を透過する入射光の入射角度に応じたピッチで配列されていてもよい。
このようにすることで、第１の撮像面の各画素と第２の撮像面の各画素とを容易に対応づけることができる。
【００２３】
また、上記態様においては、前記第２の撮像面の各画素が、前記第１の撮像面の各画素より大きくてもよい。
このようにすることで、第２の撮像面における感度を向上することができる。また、入射光が撮像面に対して垂直に入射しない場合にも第２の撮像面における受光感度を向上することができる。
【００２４】
また、上記態様においては、前記第１の撮像面において取得された第１の画像信号の陰影情報を用いて第１の形状計測を行う第１形状計測部と、前記第２の撮像面において取得された第２の画像信号の偏光情報を用いて第２の形状計測を行う第２形状計測部と、前記第１の画像信号および前記第２の画像信号の同じ座標における形状計測結果を比較する比較部とを備えていてもよい。
【００２５】
このようにすることで、第１の撮像面によって取得された第１の画像信号の陰影情報に基づいて第１形状計測部によって第１の形状計測が行われ、第２の撮像面によって取得された第２の画像信号の偏光情報に基づいて第２の形状計測部によって第２の形状計測が行われる。２つの形状計測結果が比較部において比較されることにより、被写体の高精度の形状計測を行うことができる。
【発明の効果】
【００２６】
本発明によれば、色情報の解像度を低下させることなく偏光情報および色情報を同時に取得することができるという効果を奏する。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１の実施形態に係る撮像装置を示す模式的な斜視図である。
【図２】図１の撮像装置を示す模式的な縦断面図である。
【図３】図１の撮像装置の第１の変形例を示す斜視図である。
【図４】図１の撮像装置の第２の変形例を示す斜視図である。
【図５】図１の撮像装置の第３の変形例を示す斜視図である。
【図６】図１の撮像装置の第４の変形例を示す斜視図である。
【図７】図１の撮像装置の第５の変形例を示す斜視図である。
【図８】図１の撮像装置の第６の変形例を示す斜視図である。
【図９】図１の撮像装置の第７の変形例を示す斜視図である。
【図１０】図１の撮像装置の第８の変形例を示す縦断面図である。
【図１１】図１の撮像装置の第９の変形例を示す縦断面図である。
【図１２】本発明の第２の実施形態に係る撮像装置を示す全体構成図である。
【図１３】偏光方向と画素値との関係を示すグラフである。
【発明を実施するための形態】
【００２８】
本発明の第１の実施形態に係る撮像装置１について、図面を参照して以下に説明する。
本実施形態に係る撮像装置１は、図１および図２に示されるように、入射光Ａの入射方向に並んで配列された２つの撮像面２，３と、該撮像面２，３の間に配置された偏光フィルタ４とを備えている。
【００２９】
第１の撮像面２は、光電変換膜５（図２参照）を備えている。光電変換膜５は、入射光Ａの一部を光電変換するとともに、残りの入射光Ａを透過させることができるようになっている。第１の撮像面２は、２次元的に配列された複数の画素２ａを備えている。各画素２ａには特定の波長帯域の光を透過させるように、複数種の透過波長帯域を有するカラーフィルタ要素６ａ〜６ｃが配置されている。
【００３０】
例えば、図１に示す例では、カラーフィルタ要素は、赤色（Ｒ）フィルタ要素６ａ、緑色（Ｇ）フィルタ要素６ｂおよび青色（Ｂ）フィルタ要素６ｃの３種類であり、いわゆるベイヤパターンで配列されている。すなわち、第１の撮像面２は、２×２の４画素２ａからなる最小画素領域７の各画素２ａに対応して１つの赤色フィルタ要素６ａ、２つの緑色フィルタ要素６ｂおよび１つの青色フィルタ要素６ｃが配列されており、そのような最小画素領域７が複数配列された構成を有している。
【００３１】
第１の撮像面２を構成している光電変換膜５は、一般には厚さ２〜３μｍであり、入射する可視光の一部（例えば、緑色から赤色にかけての光）および近赤外光を透過させることができるようになっている。
【００３２】
第２の撮像面３も第１の撮像面２と同じピッチおよび大きさで２次元的に配列された複数の画素３ａを備えている。第２の撮像面３も入射してきた入射光Ａを光電変換する光電変換層８を備えている。
【００３３】
偏光フィルタ４は、第１の撮像面２と第２の撮像面３との間に配置されている（図では第２の撮像面３上に取り付けられているように示されている。）。偏光フィルタ４は、４つの異なる偏光方向を有する４種類の偏光フィルタ要素４ａ〜４ｄを画素３ａ毎に対応する位置に配置している。
【００３４】
本実施形態においては、第２の撮像面３の最小画素領域９を構成する４つの画素３ａに対応する位置に４種類の異なる偏光フィルタ要素４ａ〜４ｄが配置されている。例えば、同種のカラーフィルタ要素６ａ〜６ｃに対応する位置には、同一の偏光方向の偏光フィルタ要素４ａ〜４ｄが配置されている。
【００３５】
図２に本実施形態に係る撮像装置１の縦断面を示す。第１の撮像面２の光電変換膜５および第２の撮像面３の光電変換層８には、各画素２ａ，３ａに対応する位置に個別にフォトダイオード１０，１１が配置されている。また、第１の撮像面２の受光面とは反対側の面に偏光フィルタ４が配置されている。
【００３６】
このように構成された本実施形態に係る撮像装置１の作用について以下に説明する。
本実施形態に係る撮像装置１を用いて被写体からの入射光Ａを撮影するには、被写体からの入射光Ａを第１の撮像面２の受光面側から入射させる。
【００３７】
入射光Ａは、まず、撮像装置１の第１の撮像面２に設けられたカラーフィルタ要素６ａ〜６ｃを通過させられることにより、波長が選択された状態で、光電変換膜５に入射させられる。これにより、波長選択された入射光Ａの一部がフォトダイオード１０によって光電変換され、他の部分は光電変換膜５を透過する。
【００３８】
第１の撮像面２の受光面とは反対側には偏光フィルタ４が配置されているので、光電変換膜５を透過した入射光Ａは偏光フィルタ４を通過させられる際に偏光情報が抽出される。そして、偏光情報が抽出された入射光Ａが第２の撮像面３の光電変換層８に入射することにより偏光情報を含む画像信号がフォトダイオード１１によって取得される。
【００３９】
すなわち、本実施形態に係る撮像装置１によれば、第１の撮像面２により取得されるカラー画像としては、全ての画素２ａを利用することができる。したがって、カラー画像の解像度を低下させずにすむという利点がある。また、第２の撮像面３により取得される画像信号は、画素３ａ毎に異なる偏光方向の偏光情報を含んでいる。したがって、被写体の偏光情報を高い解像度で取得することができるという利点がある。
【００４０】
なお、本実施形態においては、第２の撮像面３の各最小画素領域９の４つの画素３ａに、偏光方向の異なる４つの偏光フィルタ要素４ａ〜４ｄを配列したが、これに代えて、図３に示されるように、各最小画素領域９の４つの画素３ａには同一の偏光方向の偏光フィルタ要素４ａ〜４ｄを配置し、偏光フィルタ要素４ａ〜４ｄの偏光方向を最小画素領域９毎に異ならせることにしてもよい。
【００４１】
被写体がいずれかの色に偏っている場合、例えば、生体組織のように赤色に偏っている場合には、第１の撮像面２によって赤色の画像信号が多く取得されるが、この場合には、第２の撮像面３には赤色フィルタ要素６ａを透過した入射光Ａが多く入射されることになる。このように被写体が赤色に偏っている場合においても、赤色フィルタ要素６ａに対応する位置に配置されている偏光フィルタ要素４ａ〜４ｄが全ての偏光方向を有しているので、全ての偏光方向の偏光情報を漏れなく検出することができるという利点がある。
【００４２】
また、本実施形態に係る撮像装置１においては、赤色フィルタ要素６ａ、緑色フィルタ要素６ｂおよび青色フィルタ要素６ｃのみをベイヤパターンで配列したカラーフィルタを備えることとしたが、これに代えて、図４に示されるように、各最小画素領域７内の２つの緑色フィルタ要素６ｂの内の一方の緑色フィルタ要素６ｂに代えて白色（Ｗ）フィルタ要素６ｄを配置することにしてもよい。
【００４３】
白色フィルタ要素６ｄは、白色光を透過するフィルタ要素であって、光学的に透明な材質であってもよいし、何も配置されていなくてもよい。このようにすることで、白色フィルタ要素６ｄに対応する位置に配置される第２の撮像面３の画素３ａには、他のフィルタ要素６ａ〜６ｃに対応する位置に配置されている画素３ａよりも多くの入射光Ａを到達させることができ、感度が高い偏光情報の測定を行うことができるという利点がある。
【００４４】
また、偏光フィルタ要素４ａ〜４ｄのみを配列した偏光フィルタ４に代えて、図５に示されるように、第１の撮像面２の赤色フィルタ要素６ａおよび一方の緑色フィルタ要素６ｂに対応する画素２ａに対応する位置に、他の赤色フィルタ要素４ｅ，４ｆを配置し、第１の撮像面２の青色フィルタ要素６ｃに対応する画素２ａに対応する位置に、他の緑色フィルタ要素４ｇを配置してもよい。
【００４５】
このようにすることで、第１の撮像面２の赤色フィルタ要素６ａを透過した赤色または近赤外の入射光Ａの色情報を検出することができる。この場合、第２の撮像面３のフォトダイオード１１としては、近赤外にも感度を有するものを備えている必要がある。
【００４６】
また、このようにすることで、第１の撮像面２の一方の緑色フィルタ要素６ｂを透過した緑色よりも波長の長い赤色の入射光Ａの色情報を検出することができる。さらに、第１の撮像面２の青色フィルタ要素６ｃを透過した青色よりも波長の長い緑色の入射光Ａの色情報を検出することができる。
【００４７】
これにより、最小画素領域７を構成する４つの画素２ａのうちの２つの画素２ａの位置において赤色の色情報を取得することができ、３つの画素２ａの位置において緑色の色情報を取得することができ、赤色および緑色の高解像度の画像信号を取得することができる。また、近赤外光を検出することにより、散乱の多い生体組織等を被写体とする場合にも有効な観察を行うことができる。
【００４８】
また、図６に示されるように、図５の各最小画素領域７における２つの緑色フィルタ要素６ｂの内の偏光フィルタ要素４ａ〜４ｄに対応する位置に配置されている緑色フィルタ要素６ｂに代えて、白色フィルタ要素６ｄを配置してもよい。このようにすることで、偏光フィルタ要素４ａ〜４ｄに到達させる入射光Ａの光量を最大限に確保することができ、感度の高い偏光情報の測定を行うことができるという利点がある。
【００４９】
また、図７に示されるように、図１の撮像装置１における偏光フィルタ要素４ａ〜４ｄのみを配列した偏光フィルタ４に代えて、赤色フィルタ要素６ａに対応する画素２ａに対応する位置に白色フィルタ要素４ｈを配置してもよい。このようにすることで、３方向の偏光方向の偏光情報を取得できるとともに、第１の撮像面２の赤色フィルタ要素６ａを透過した近赤外光を第２の撮像面３において検出することができる。
【００５０】
また、図８に示されるように、図６の撮像装置１における偏光フィルタ要素４ａ〜４ｄの内の１つの偏光フィルタ要素４ｄに代えて白色フィルタ要素４ｈを配置してもよい。このようにすることで、白色フィルタ要素４ｈを透過した近赤外光を第２の撮像面３において検出することができる。
【００５１】
また、図９に示されるように、図３の撮像装置１における４種類の偏光フィルタ要素４ａ〜４ｄの内の１つの偏光フィルタ要素４ｂに代えて白色フィルタ要素４ｈを採用してもよい。このようにすることで、白色フィルタ要素４ｈを透過した近赤外光を第２の撮像面３において検出することができる。
【００５２】
また、本実施形態においては、第１の撮像面２における光電変換膜５と第２の撮像面３における光電変換層８とにおいて、各画素２ａ，３ａを構成する同一の大きさのフォトダイオード１０，１１を同一ピッチで配列したが、これに代えて、図１０に示されるように、第１の撮像面２の光電変換膜５における一次元方向に２つのフォトダイオード１０、すなわち２次元方向に配列された４つのフォトダイオード１０に対して第２の撮像面３の１つのフォトダイオード１１を対応させてもよい。
このようにすることで、第２の撮像面３における受光感度を向上することができる。
【００５３】
また、撮像素子１の前段に配置される光学系の特性により撮像素子１に入射する入射光Ａの角度が第１の撮像面２への入射位置によって変化する場合がある。入射光Ａの角度θが第１の撮像面２に対して垂直ではない場合には、その角度θを考慮して、図１１に示されるように、第２の撮像面３におけるフォトダイオード１１を第１の撮像面２におけるフォトダイオード１０に対してずらして配置することにより、第２の撮像面３の各フォトダイオード１１における受光効率を向上させることにしてもよい。
【００５４】
すなわち、第１の撮像面２における中心位置近傍では、入射光Ａは第１の撮像面２にほぼ垂直に入射するため、第１の撮像面２におけるフォトダイオード１０と第２の撮像面３におけるフォトダイオード１１とは同じピッチで配列されているが、第１の撮像面２の周縁位置近傍では、入射光Ａは第１の撮像面２に垂直以外の角度θをなして入射するため、第２の撮像面３におけるフォトダイオード１１のピッチを拡げて配列している。
【００５５】
第１の撮像面２におけるフォトダイオード１０の中心位置と、第２の撮像面３におけるフォトダイオード１１の中心位置との位置ずれ量ｅ１は光学系の特性および２つの撮像面２，３の間隔によって、次式のように算出される。
【００５６】
ｅ１＝（ｋ＋ｓ＋ｄ）ｔａｎ（θ（ｘ，ｙ））
ここで、ｋは第１の撮像面２の厚さ寸法、ｓは偏光フィルタ４の厚さ寸法、ｄは２つの撮像面２，３間の間隔、θ（ｘ，ｙ）は第１の撮像面２の座標（ｘ，ｙ）における入射角度を示している。
【００５７】
また、本実施形態においては、カラーフィルタとして赤色フィルタ要素６ａ、緑色フィルタ要素６ｂおよび青色フィルタ要素６ｃをベイヤパターンに配列してなるものを例示し、ＲＧＢカラーモードの色情報を取得することとしたが、これに限定されるものではなく、ＣＭＹＫカラーモードの色情報を取得することができるものを採用してもよい。
【００５８】
次に、本発明の第２の実施形態に係る撮像装置２０について、図面を参照して以下に説明する。
本実施形態に係る撮像装置２０は、図１２に示されるように、上述した第１の実施形態のいずれかの構成を有する撮像装置１をセンサ（以下、センサ１とも言う。）として備え、該センサ１の前段に配置される光学系２１と、センサ１からの出力を処理する画像処理部２２と、センサ１により取得された画像信号に基づいて光学系２１およびセンサ１を制御する撮像制御部２３と、操作者が操作する外部Ｉ／Ｆ２４と、該外部Ｉ／Ｆ２４からの入力に基づいて画像処理部２２および撮像制御部２３を制御する制御部２５とを備えている。
【００５９】
本実施形態の説明においては、センサは図１の構成を有するものとして説明する。
光学系２１は、レンズ系２１ａと、絞り２１ｂと、レンズ系２１ａを駆動するＡＦモータ２１ｃとを備えている。
画像処理部２２は、センサ１により取得された画像信号をディジタル信号に変換するＡ／Ｄ変換器２６と、該Ａ／Ｄ変換器２６により変換された画像信号を記憶するバッファ２７と、該バッファ２７に記憶された第１の撮像面２および第２の撮像面３により取得された画像信号を別々に処理する第１信号処理部２８および第２信号処理部２９と、該第１信号処理部２８および第２信号処理部２９において処理された画像信号からそれぞれ形状を計測する第１形状計測部３０および第２形状計測部３１と、２つの形状計測部３０，３１において計測された被写体の形状を比較する比較部３２とを備えている。
【００６０】
第１信号処理部２８はバッファ２７に記憶された第１の撮像面２による画像信号を読み込み、公知のデモザイキング処理およびホワイトバランス処理を行い、各画素２ａについてＲＧＢの３板状態の画像信号を生成するようになっている。
第２信号処理部２９はバッファ２７に記憶された第２の撮像面３による画像信号を読み込み、公知のバイリニアもしくはバイキュービックの補間処理を行い、各画素３ａについて４方向の偏光情報を生成するようになっている。すなわち４板状態の画像信号を生成するようになっている。
【００６１】
第１形状計測部３０は、第１信号処理部２８から送られてくるＲＧＢの画像信号に対して公知のシェイプフロムシェーディング（Shape from Shading）の手法を用いて被写体の形状情報を表す法線ベクトルを画素２ａ毎に算出するようになっている。
第２形状計測部３１は、第２信号処理部２９から送られてくる４方向の偏光情報を用いて、偏光に関するパラメータを算出するようになっている。
【００６２】
図１３に各偏光の強度と偏光の主方向との関係を示す。偏光の強度は一般には下式のように表される。
ｇｉ＝Ａ（ｃｏｓ（（π／２）ｉ＋２φ））＋Ｃ
ここで、ｇｉは偏光情報を示す信号であり、ｉ＝０〜３である。また、Ａは振幅、Ｃは偏光強度の平均値、φは偏光強度が最大となる方向を表している。
【００６３】
第２の撮像面３の各画素３ａの４方向の偏光情報をフーリエ解析することにより、上記式におけるＡ，Ｃ，φを算出することができる。
偏光の主方向φは被写体の法線ベクトルに直交しているので、偏光の主方向φを算出することにより被写体の法線ベクトルを算出することができる。
【００６４】
比較部３２は、第１形状計測部３０および第２形状計測部３１から送られてきた法線ベクトルの比較を行うようになっている。第１の撮像面２における法線ベクトルをｎ１（ｘ，ｙ）、第２の撮像面３における法線ベクトルをｎ２（ｘ，ｙ）とする。法線ベクトルが下式を満たす場合、最終的な法線ベクトルｎをｎ（ｘ、ｙ）＝ｎ１（ｘ，ｙ）またはｎ（ｘ、ｙ）＝ｎ２（ｘ，ｙ）とし、法線ベクトルが下式を満たさない場合、法線ベクトルを０ベクトルとするようになっている。
【００６５】
ｎ２（ｘ，ｙ）−ε＜ｎ１（ｘ，ｙ）＜ｎ２（ｘ，ｙ）＋ε
ここで、εは微小な定数ベクトルを示している。
【００６６】
このような処理を行うことにより、信頼性の高い法線ベクトルのみが算出され、高精度な被写体の形状計測が可能となる。
また、０ベクトルと算出された領域に関しては、近傍における既知の法線ベクトルの情報を用いて補間を行い、法線ベクトルの推定を行ってもよい。
【００６７】
また、本実施形態においては、４方向の偏光情報を用いて、上記式におけるＡ，Ｃ，φを算出したが、未知数は３つであるため、少なくとも３方向の偏光情報が得られれば足りる。したがって、図８および図９に示されるように３つの偏光フィルタ要素を有する撮像装置１をセンサとして用いても、同様に形状情報を取得することができる。
【符号の説明】
【００６８】
１，２０  撮像装置
２  第１の撮像面
２ａ，３ａ  画素
３  第２の撮像面
４  偏光フィルタ
４ａ〜４ｄ  偏光フィルタ要素
４ｈ，６ｄ  白色フィルタ要素
５  光電変換膜
６ａ  赤色フィルタ要素
６ｂ  緑色フィルタ要素
６ｃ  青色フィルタ要素
８  光電変換層
３０  第１形状計測部
３１  第２形状計測部
３２  比較部
Ａ  入射光
【図１】
2015041793.tif 000003
【図２】
2015041793.tif 000004
【図３】
2015041793.tif 000005
【図４】
2015041793.tif 000006
【図５】
2015041793.tif 000007
【図６】
2015041793.tif 000008
【図７】
2015041793.tif 000009
【図８】
2015041793.tif 000010
【図９】
2015041793.tif 000011
【図１０】
2015041793.tif 000012
【図１１】
2015041793.tif 000013
【図１２】
2015041793.tif 000014
【図１３】
2015041793.tif 000015