(57)【特許請求の範囲】
【請求項１】
特定の方向に偏光した光を透過させるｎ個の偏光領域（ｎは２以上の整数）および光を偏光方向によらずに透過させる非偏光領域を有する光透過部であって、前記ｎ個の偏光領域の透過軸の方向が互いに異なっている光透過部と、
前記光透過部を透過した光を受けるように配置された固体撮像素子であって、各々が（ｎ＋１）個の画素を含む複数の画素ブロックに分割された画素アレイ、および前記（ｎ＋１）個の画素のうちｎ個の画素にそれぞれ対向して配置された透過軸の方向が互いに異なるｎ個の偏光フィルタを含むフィルタアレイを有する固体撮像素子と、
前記固体撮像素子の撮像面に像を形成する結像部と、
前記（ｎ＋１）個の画素からそれぞれ出力される（ｎ＋１）個の画素信号に基づいて、前記ｎ個の偏光領域および前記非偏光領域のそれぞれに入射した光による（ｎ＋１）個の画像を生成する画像生成部と、
を備えている、３次元撮像装置。
【請求項２】
前記画像生成部は、各偏光領域の光透過率、各偏光フィルタの光透過率、および前記非偏光領域の光透過率に基づいて決定される（ｎ＋１）行（ｎ＋１）列の行列を用いた演算により、前記（ｎ＋１）個の画像を生成する、請求項１に記載の３次元撮像装置。
【請求項３】
前記画像生成部は、ｊ番目（ｊは１以上ｎ以下の整数）の偏光領域を透過してｉ番目（ｉは１以上ｎ以下の整数）の偏光フィルタを透過する光の透過率をｉ行ｊ列目の要素ａ（ｉ，ｊ）とし、前記非偏光領域を透過してｉ番目の偏光フィルタを透過する光の透過率をｉ行（ｎ＋１）列目の要素ａ（ｉ，ｎ＋１）とし、前記第１から第ｎの偏光領域のいずれかを透過する光の透過率を（ｎ＋１）行ｊ列目の要素ａ（ｎ＋１，ｊ）として前記行列を生成し、前記行列の逆行列と前記（ｎ＋１）個の画素信号とを用いた演算によって前記（ｎ＋１）個の画像を生成する、請求項２に記載の３次元撮像装置。
【請求項４】
各偏光領域の透過軸方向および各偏光フィルタの透過軸方向は、前記行列の行列式を０にしないように設定されている、請求項２または３に記載の３次元撮像装置。
【請求項５】
各偏光領域の透過軸方向および各偏光フィルタの透過軸方向は、前記行列の行列式の絶対値を最大にするように設定されている、請求項２から４のいずれかに記載の３次元撮像装置。
【請求項６】
ｎ＝２である、請求項１から５のいずれかに記載の３次元撮像装置。
【請求項７】
前記ｎ個の偏光領域の一方を第１の偏光領域、他方を第２の偏光領域とするとき、
前記第１および第２の偏光領域は、前記光透過部の中心を通り前記光透過部の受光面の面積を２分割する線分に対して、互いに反対側に配置されている、請求項６に記載の３次元撮像装置。
【請求項８】
前記非偏光領域の少なくとも一部は、前記第１の偏光領域と前記第２の偏光領域との間に位置している、請求項６または７に記載の３次元撮像装置。
【請求項９】
ｎ＝２であり、
前記ｎ個の偏光フィルタの一方を第１の偏光フィルタ、他方を第２の偏光フィルタとするとき、
各画素ブロックは、前記ｎ個の画素を含む８個の画素を含み、前記８個の画素は４行２列に配列され、
１行１列目および３行１列目の画素に対向して第１波長域の光を透過させる第１の色フィルタが配置され、
２行１列目および４行１列目の画素に対向して第２波長域の光を透過させる第２の色フィルタが配置され、
１行２列目および３行２列目の画素に対向して第３波長域の光を透過させる第３の色フィルタまたは透明部材が配置され、
２行２列目の画素に対向して前記第１の偏光フィルタが配置され、
４行２列目の画素に対向して前記第２の偏光フィルタが配置されている、
請求項１から８のいずれかに記載の３次元撮像装置。
【請求項１０】
ｎ＝２であり、
各画素ブロックは、前記ｎ個の画素を含む４個の画素を含み、
前記４個の画素を第１の画素、第２の画素、第３の画素、および第４の画素とし、
前記ｎ個の偏光フィルタの一方を第１の偏光フィルタ、他方を第２の偏光フィルタとするとき、
前記第１の画素に対向して第１波長域の光を透過させる第１の色フィルタが配置され、
前記第２の画素に対向して第２波長域の光を透過させる第２の色フィルタが配置され、
前記第３の画素に対向して前記第１の偏光フィルタおよび第３波長域の光を透過させる第３の色フィルタが配置され、
前記第４の画素に対向して前記第２の偏光フィルタおよび第３波長域の光を透過させる第３の色フィルタが配置されている、
請求項１から８のいずれかに記載の３次元撮像装置。
【請求項１１】
前記画像生成部は、前記非偏光領域に入射した光による画像の信号を、各偏光領域に入射した光による画像の信号に加えることにより、各偏光領域に入射した光による画像のＳＮ比を向上させる、前記請求項１から１０のいずれかに記載の３次元撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は１つの光学系と１つの撮像素子を用いて視差を有する複数の画像を取得する単眼の３次元撮像技術に関する。
【背景技術】
【０００２】
近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する場合がある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、撮像素子における画素構造の微細化が進んでいる。その結果、撮像素子の画素および駆動回路の高集積化が図られている。このため、僅かな年数で、撮像素子の画素数は、１００万画素程度から１０００万画素以上へと著しく増加した。さらに、撮像によって得られる画像の質も飛躍的に向上している。一方、表示装置に関して、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能となり、高い性能が実現されている。このような映像の高品質化の流れは、２次元画像から３次元画像へと拡がりつつある。昨今では、偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。
【０００３】
３次元撮像技術に関して、単純な構成をもつ代表的なものは、２つのカメラから構成される撮像系を用いて、右目用の画像及び左目用の画像をそれぞれ取得するというものである。このような、所謂２眼撮像方式では、カメラを２つ使うため、撮像装置が大型になり、コストも高くなり得る。そこで、１つのカメラを利用して視差を有する複数の画像を取得する方式が研究されている。例えば、特許文献１には、透過軸の方向が互いに直交する２枚の偏光板と回転する偏光フィルタとを用いた方式が開示されている。
【０００４】
図８は、当該方式による撮像系の構成を示す模式図である。撮像装置は、０度偏光の偏光板１１、９０度偏光の偏光板１２、反射鏡１３、ハーフミラー１４、円形の偏光フィルタ１５、円形の偏光フィルタを回転させる駆動装置１６、光学レンズ３、光学レンズにより結像された像を取得する撮像装置９を備えている。ここで、ハーフミラー１４は、偏光板１１を透過して反射鏡１３で反射された光を反射し、偏光板１２を透過した光を透過させる。以上の構成により、互いに離れた場所に配置された偏光板１１、１２をそれぞれ透過した光は、ハーフミラー１４、円形の偏光フィルタ１５、および光学レンズ３を経由して撮像装置９に入射し、画像が取得される。この方式における撮像の原理は、円形の偏光フィルタ１５を回転させることにより、２枚の偏光板１１、１２のそれぞれに入射した光を別々のタイミングで捉え、視差を有する２つの画像を取得する、というものである。
【０００５】
しかしながら、上記方式では、円形の偏光フィルタ１５を回転しながら、時間分割によって異なる位置の画像を撮像するため、視差を有する２つの画像を同時に取得できないという課題がある。また、機械的駆動を用いるため、耐久性に問題があり得る。その上、全入射光を偏光板及び偏光フィルタで受けるため、撮像装置９が受ける光の量（受光量）が５０％以上も低下するという課題もある。
【０００６】
上記方式に対して、機械的駆動を用いることなく視差のある２つの画像を同時に取得する方式が特許文献２に開示されている。この方式による撮像装置は、２つの入射領域から入射する光を反射鏡によって集光し、２種類の偏光フィルタが交互に配列された撮像素子で受光することにより、機械的駆動部を用いずに視差のある２つの画像を取得する。
【０００７】
図９は、この方式における撮像系の構成を示す模式図である。この撮像系は、透過軸の方向が互いに直交する２つの偏光板１１、１２と、反射鏡１３と、光学レンズ３と、撮像素子１とを有する。撮像素子１は、その撮像面に、複数の画素１０と、画素に１対１に対応して配置された偏光フィルタ１７、１８とを備える。偏光フィルタ１７、１８は全画素上に交互に配列されている。ここで、偏光フィルタ１７、１８の透過軸の向きは、それぞれ偏光板１１、１２の透過軸の向きと一致している。
【０００８】
以上の構成により、入射光は偏光板１１、１２を透過し、反射鏡１３で反射され、光学レンズ３を通り、撮像素子１の撮像面に入射する。偏光板１１、１２をそれぞれ透過して撮像素子１に入射する光は、それぞれ偏光フィルタ１７、１８を透過してそれらに対向する画素で光電変換される。ここで、偏光板１１、１２をそれぞれ通って撮像素子１に入射する光によって形成される画像を、それぞれ右目用画像、左目用画像と呼ぶと、右目用画像、左目用画像は、それぞれ偏光フィルタ１７、１８に対向する画素群から得られる。
【０００９】
このように、特許文献２に開示された方式では、特許文献１に開示された回転する円形の偏光フィルタを用いる代わりに、撮像素子の画素上に透過軸の方向が互いに直交する２種類の偏光フィルタが交互に配置される。これにより、特許文献１の方式に比べて解像度が１／２に低下するが、１つの撮像素子を用いて視差を有する右目用画像と左目用画像とを同時に得ることができる。
【００１０】
しかしながら、この技術においても、特許文献１の技術と同様、入射光が偏光板及び偏光フィルタを透過する際に光量が減少するため、撮像素子の受光量は大きく減少する。
【００１１】
撮像素子の受光量が減少するという問題に対して、別なアプローチとして、視差を有する複数の画像の撮像と通常の画像の撮像とを機械的に切り替える手法が特許文献３に開示されている。図１０は、当該手法における撮像系の構成を模式的に示す図である。図１０に示す撮像装置は、２つの偏光透過部２０、２１を有し、それらの透過部を通してのみ光学レンズ３からの入射光を透過させる光通過部１９と、偏光透過部２０、２１からの光を分離する特定成分透過フィルタ２３、およびカラーフィルタ２４が１組になった受光部光学フィルタトレイ２２と、光通過部１９および特定成分透過フィルタ２３を光路上から外しカラーフィルタ２４を光路に挿入する、あるいはその逆の動作を行うフィルタ駆動部２５とを備えている。
【００１２】
この技術によれば、フィルタ駆動部２５を動作させ、視差を有する２つの画像の撮像では光通過部１９および特定成分透過フィルタ２３が用いられ、通常の撮影では、カラーフィルタ２４が用いられる。視差を有する２つの画像の撮影においては、基本的に特許文献２で示されているものと同じであり、光利用率が大きく低下する。一方、通常のカラー画像の撮影では、光通過部１９を光路から外し、また、特定成分透過フィルタ２３の代わりにカラーフィルタ２４を挿入することにより、光利用率の高いカラー画像を得ることができる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開昭６２−２９１２９２号公報
【特許文献２】特開昭６２−２１７７９０号公報
【特許文献３】特開２００１−０１６６１１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
従来技術では、偏光板（偏光透過部）および偏光フィルタを用いることにより、単眼カメラで視差を有する２つの画像を撮像できる。これらの技術において、偏光板および偏光フィルタは、ともに０°、９０°の透過軸をもつ２種類の偏光子から構成されている。そのため、単眼カメラで視差のある２つの画像を撮像できるが、光利用率が低く、撮像感度が低下するという課題がある。また、感度上問題のないカラー画像を得るためには、上記で示した受光部に光学フィルタトレイやフィルタ駆動部を設ける必要がある。さらに、それらが仮に設けられたとしても視差を有する画像の撮影時とカラー画像の撮影時とで被写体の状態が異なれば、視差画像とカラー画像は同じ状態の画像ではない。すなわち、両画像を同時に得ることができないという課題がある。
【００１５】
本発明は、上記課題に鑑み、撮像系に機械的駆動部を設けることなく、視差を有する複数の画像を得ることができる撮像技術を提供する。本発明の好ましい実施形態によれば、視差を有する複数の画像と感度上問題のない画像とを同時に得ることが可能となる。
【課題を解決するための手段】
【００１６】
本発明の３次元撮像装置は、特定の方向に偏光した光を透過させるｎ個の偏光領域（ｎは２以上の整数）および光を偏光方向によらずに透過させる非偏光領域を有する光透過部であって、前記ｎ個の偏光領域の透過軸の方向が互いに異なっている光透過部と、前記光透過部を透過した光を受けるように配置された固体撮像素子であって、各々が（ｎ＋１）個の画素を含む複数の画素ブロックに分割された画素アレイ、および前記（ｎ＋１）個の画素のうちｎ個の画素にそれぞれ対向して配置された透過軸の方向が互いに異なるｎ個の偏光フィルタを含むフィルタアレイを有する固体撮像素子と、前記固体撮像素子の撮像面に像を形成する結像部と、前記（ｎ＋１）個の画素からそれぞれ出力される（ｎ＋１）個の画素信号に基づいて、前記ｎ個の偏光領域および前記非偏光領域のそれぞれに入射した光による（ｎ＋１）個の画像を生成する画像生成部と、を備えている。
【００１７】
ある実施形態において、前記画像生成部は、各偏光領域の光透過率、各偏光フィルタの光透過率、および前記非偏光領域の光透過率に基づいて決定される（ｎ＋１）行（ｎ＋１）列の行列を用いた演算により、前記（ｎ＋１）個の画像を生成する。
【００１８】
ある実施形態において、前記画像生成部は、ｊ番目（ｊは１以上ｎ以下の整数）の偏光領域を透過してｉ番目（ｉは１以上ｎ以下の整数）の偏光フィルタを透過する光の透過率をｉ行ｊ列目の要素ａ（ｉ，ｊ）とし、前記非偏光領域を透過してｉ番目の偏光フィルタを透過する光の透過率をｉ行（ｎ＋１）列目の要素ａ（ｉ，ｎ＋１）とし、前記第１から第ｎの偏光領域のいずれかを透過する光の透過率を（ｎ＋１）行ｊ列目の要素ａ（ｎ＋１，ｊ）として前記行列を生成し、前記行列の逆行列と前記（ｎ＋１）個の画素信号とを用いた演算によって前記（ｎ＋１）個の画像を生成する。
【００１９】
ある実施形態において、各偏光領域の透過軸方向および各偏光フィルタの透過軸方向は、前記行列の行列式を０にしないように設定されている。
【００２０】
ある実施形態において、各偏光領域の透過軸方向および各偏光フィルタの透過軸方向は、前記行列の行列式の絶対値を最大にするように設定されている。
【００２１】
ある実施形態において、ｎ＝２である。
【００２２】
ある実施形態において、前記ｎ個の偏光領域の一方を第１の偏光領域、他方を第２の偏光領域とするとき、前記第１および第２の偏光領域は、前記光透過部の中心を通り前記光透過部の受光面の面積を２分割する線分に対して、互いに反対側に配置されている。
【００２３】
ある実施形態において、前記非偏光領域の少なくとも一部は、前記第１の偏光領域と前記第２の偏光領域との間に位置している。
【００２４】
ある実施形態において、ｎ＝２であり、前記ｎ個の偏光フィルタの一方を第１の偏光フィルタ、他方を第２の偏光フィルタとするとき、各画素ブロックは、前記ｎ個の画素を含む８個の画素を含み、前記８個の画素は４行２列に配列され、１行１列目および３行１列目の画素に対向して第１波長域の光を透過させる第１の色フィルタが配置され、２行１列目および４行１列目の画素に対向して第２波長域の光を透過させる第２の色フィルタが配置され、１行２列目および３行２列目の画素に対向して第３波長域の光を透過させる第３の色フィルタまたは透明部材が配置され、２行２列目の画素に対向して前記第１の偏光フィルタが配置され、４行２列目の画素に対向して前記第２の偏光フィルタが配置されている。
【００２５】
ある実施形態において、ｎ＝２であり、各画素ブロックは、前記ｎ個の画素を含む４個の画素を含み、前記４個の画素を第１の画素、第２の画素、第３の画素、および第４の画素とし、前記ｎ個の偏光フィルタの一方を第１の偏光フィルタ、他方を第２の偏光フィルタとするとき、前記第１の画素に対向して第１波長域の光を透過させる第１の色フィルタが配置され、前記第２の画素に対向して第２波長域の光を透過させる第２の色フィルタが配置され、前記第３の画素に対向して前記第１の偏光フィルタおよび第３波長域の光を透過させる第３の色フィルタが配置され、前記第４の画素に対向して前記第２の偏光フィルタおよび第３波長域の光を透過させる第３の色フィルタが配置されている。
【００２６】
ある実施形態において、前記画像生成部は、前記非偏光領域に入射した光による画像の信号を、各偏光領域に入射した光による画像の信号に加えることにより、各偏光領域に入射した光による画像のＳＮ比を向上させる。
【発明の効果】
【００２７】
本発明の３次元撮像装置によれば、ｎ個の偏光領域および非偏光領域を有する光透過部と、偏光フィルタが配置されたｎ個の画素群および偏光フィルタが配置されていない画素群を有する撮像素子とを備えている。そのため、光透過部のｎ＋１個の領域に入射する光による画像信号と撮像素子によって取得できる信号との関係式が得られる。それらの関係式から光透過部の各領域に入射した光による画像を算出でき得る。その結果、視差を有する複数の画像を生成可能となり、また、非偏光領域を透過した感度的に問題のない画像も得ることが可能となる。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施形態における撮像装置の全体構成図
【図２】本発明の実施形態１における透光板、レンズ、および撮像素子の配置関係を示す模式図
【図３】本発明の実施形態１における透光板の正面図
【図４】本発明の実施の形態１における固体撮像素子の撮像面における基本画素構成図
【図５】本発明の実施の形態２における固体撮像素子の撮像面における基本色構成図
【図６】本発明の実施の形態２における透光板の正面図
【図７】本発明の実施の形態３における固体撮像素子の撮像面における基本色構成図
【図８】特許文献１における撮像系の構成図
【図９】特許文献２における撮像系の構成図
【図１０】特許文献３における撮像系の構成図
【発明を実施するための形態】
【００２９】
以下、本発明の実施の形態について、図面を参照しながら説明する。全ての図にわたって共通する要素には同一の符号を付している。なお、本明細書において、画像を示す信号または情報を単に「画像」と称する場合がある。また、視差を有する複数の画像を「複数視点画像」（ｍｕｌｔｉ−ｖｉｅｗｐｏｉｎｔ  ｉｍａｇｅｓ）と呼ぶことがある。
【００３０】
（実施形態１）
まず、本発明の第１の実施形態を説明する。図１は、本実施形態における３次元撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００からの信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。
【００３１】
撮像部１００は、撮像面上に配列された複数の光感知セル（画素）を備える撮像素子（イメージセンサ）１と、特定の方向に偏光した光を透過させる偏光領域および光を偏光方向によらずに透過させる非偏光領域を有する透光板２と、撮像素子１の撮像面上に像を形成するための光学レンズ３と、赤外カットフィルタ４とを備えている。撮像部１００はまた、撮像素子１を駆動するための基本信号を発生するとともに撮像素子１からの出力信号を受信して信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって発生された基本信号に基づいて撮像素子１を駆動する素子駆動部６とを備えている。撮像素子１は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部３０は、例えばＣＣＤドライバなどのＬＳＩから構成されている。
【００３２】
信号処理部２００は、撮像部１００から出力された信号を処理して画像信号を生成する画像信号生成部７と、画像信号の生成に用いられる各種のデータを格納するメモリ３０と、生成した画像信号を外部に送出するインターフェース（ＩＦ）部８とを備えている。画像信号生成部７は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部１００から得られた信号を記録するとともに、画像信号生成部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、インターフェース部８を介して不図示の記録媒体や表示部などに送出される。
【００３３】
なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。
【００３４】
次に、図２〜４を参照しながら撮像部１００の構成をより詳細に説明する。
【００３５】
図２は、撮像部１００における透光板２、光学レンズ３、および撮像素子１の配置関係を模式的に示す図である。なお、図２では、透光板２、光学レンズ３、および撮像素子１以外の構成要素は省略されている。透光板２は、ｎ個（ｎは２以上の整数）の偏光領域Ｐ（１）、Ｐ（２）、・・・、Ｐ（ｎ）、および非偏光領域（透明領域）Ｐ（ｎ＋１）を有し、入射光を透過させる。図２では、４個の偏光領域が示されているが、偏光領域の数ｎは、２個以上であれば何個でもよい。光学レンズ３は、公知のレンズであり、透光板２を透過した光を集光し、撮像素子１の撮像面１ａに結像する。以下の説明では、図２に示すｘｙ座標を用いる。
【００３６】
図３は、本実施形態における透光板２の正面図である。透光板２の形状は、光学レンズ３と同様、円形であるが、他の形状であってもよい。透光板２は、透過軸の方向が互いに異なるｎ個の偏光領域Ｐ（１）、Ｐ（２）、・・・、Ｐ（ｎ）を有している。偏光領域以外の領域は、光を偏光方向によらずに透過させる非偏光領域Ｐ（ｎ＋１）である。本実施形態では、ｉ＝１、２、・・・、ｎとして、ｉ番目の偏光領域Ｐ（ｉ）の透過軸の方向は、ｘ方向（水平方向）に対して角度αｉだけ傾いている。各偏光領域Ｐ（１）、Ｐ（２）、・・・Ｐ（ｎ）は、公知の偏光板などによって形成される。非偏光領域Ｐ（ｎ＋１）は、光を高い透過率で透過させる部材であればどのようなもので形成されていてもよい。本実施形態では、透光板２が本発明の光透過部として機能する。なお、図３に示す透光板２は、その一部が遮光性部材で形成されていてもよい。
【００３７】
図２に示される撮像素子１の撮像面１ａには、２次元状に配列された複数の光感知セル（画素）を含む光感知セルアレイ（画素アレイ）が形成されている。また、画素アレイに対向して光が入射する側に複数の偏光フィルタを含むフィルタアレイが形成されている。各画素は、典型的にはフォトダイオードを含み、光電変換によって各々が受けた光の量（受光量）に応じた電気信号（「光電変換信号」、または「画素信号」と呼ぶ。）を出力する。本実施形態における画素アレイは、各々が（ｎ＋１）個の画素を含む複数の画素ブロックに分割されている。
【００３８】
図４は、撮像面１ａに形成されるフィルタアレイ１１０の一部を模式的に示す図である。各画素ブロックに含まれる（ｎ＋１）個の画素は、ｙ方向（垂直方向）に１列に配列されている。これらの画素のうち、ｎ個の画素Ｗ１、Ｗ２、・・・、Ｗｎに対向する位置に、ｎ個の偏光フィルタが画素に１対１に対応して配置されている。画素Ｗ１、Ｗ２、・・・、Ｗｎに対向するｎ個の偏光フィルタの透過軸の方向は、互いに異なっており、ｘ方向に対してそれぞれ角度β１、β２、・・・、βｎだけ傾いている。（ｎ＋１）行１列目の画素Ｗｎ＋１に対向する位置には偏光フィルタは配置されていない。
【００３９】
以上の構成により、撮影時に撮像装置に入射する光は、透光板２、光学レンズ３、赤外カットフィルタ４、フィルタアレイ１１０を通って画素アレイに入射する。各画素は、透光板２の各偏光領域Ｐ（１）、Ｐ（２）、・・・、Ｐ（ｎ）および非偏光領域Ｐ（ｎ＋１）をそれぞれ透過した光を受け、受けた光の量に応じた光電変換信号を出力する。各画素によって出力された光電変換信号は、信号発生／受信部５を通して信号処理部２００に送出される。信号処理部２００における画像信号生成部７は、撮像部１００から送出された信号に基づいて複数視点画像を生成する。
【００４０】
以下、各画素から出力される光電変換信号を説明する。まず偏光フィルタが配置されていない画素Ｗｎ＋１から出力される光電変換信号について説明する。画素Ｗｎ＋１では、透光板２、光学レンズ３、赤外カットフィルタ４を透過した入射光を受け、光電変換される。ここで、入射光が透光板２の偏光領域を通過する際には、減光が生じる（その透過率をＴ１とする）。ここで、偏光領域Ｐ（１）、Ｐ（２）、・・・、Ｐ（ｎ）と非偏光領域Ｐ（ｎ＋１）に入射する光が減光されず撮像素子１で光電変換されると仮定した場合の各信号量を、当該記号に添え字ｓを付けて表現する。すなわち、領域Ｐ（１）、Ｐ（２）、・・・、Ｐ（ｎ＋１）に入射する光の量に相当する信号をＰｓ（１）、Ｐｓ（２）、・・・、Ｐｓ（ｎ＋１）と表す。また、非偏光領域Ｐ（ｎ＋１）の透過率を１００％と仮定すると、画素Ｗｎ＋１の光電変換信号Ｓｎ＋１は下記の式１で表される。
【数１】
0005421365.tif 000002
【００４１】
次に偏光フィルタが配置された画素Ｗｊ（ｊ＝１、２、・・・、ｎ）の光電変換信号について説明する。各偏光フィルタの特性は、透過軸の方向を除き、各偏光領域の特性と同一であるものとする。画素Ｗｊでは、偏光フィルタが配置されているため、基本的に入射光量にＴ１を乗じた量の光を受ける。上記同様、画素Ｗｊは透光板２、光学レンズ３、赤外カットフィルタ４を通して入射光を受光するが、入射光が透光板２の偏光領域を通過する際に減光される。そのため、画素Ｗｊの光電変換量Ｓｊは以下の式２で表される。但し、透過軸の方向が同じ偏光板を２枚重ね合わせた場合の光透過率をＴ１ｘＴ２とする。
【数２】
0005421365.tif 000003
【００４２】
ここで、画素信号Ｓｊと領域Ｐ（ｊ）を透過し光電変換される光の量に相当する信号Ｐｓ（ｊ）との関係は、行列を用いて以下の式３で表される。但し、Ｓｊ’＝Ｓｊ／Ｔ１とする。
【数３】
0005421365.tif 000004
【００４３】
式３より、式中の（ｎ＋１）行（ｎ＋１）列の行列の逆行列を求め、それを両辺に左から掛けることにより、透光板２の各領域Ｐ（１）、Ｐ（２）、・・・Ｐ（ｎ＋１）に入射した光による画像信号Ｐｓ（１）、Ｐｓ（２）、・・・、Ｐｓ（ｎ＋１）を算出できる。図１に示す画像信号生成部７は、上記の行列演算を画素ブロックごとに実行し、画素ブロックごとにＰｓ（１）、Ｐｓ（２）、・・・、Ｐｓ（ｎ＋１）を算出する。このようにして生成した信号の集合は、偏光領域Ｐ（１）、Ｐ（２）、・・・、Ｐ（ｎ）、および非偏光領域Ｐ（ｎ＋１）の各々に入射した光による複数の画像を形成する。
【００４４】
本実施形態では、上記の（ｎ＋１）行（ｎ＋１）列の行列の行列式の値が０でなく最大値になるように、各偏光領域の透過軸の角度αｉ（ｉ＝１、２、・・・、ｎ）、および各偏光フィルタの透過軸の角度βｊ（ｊ＝１、２、・・・、ｎ）を設定した。行列式が０にならないため、上記の式３からＰｓ（１）、Ｐｓ（２）、・・・、Ｐｓ（ｎ＋１）を算出できる。また、行列式の値が最大値になるため、計算誤差を最小限に抑えることができる。その結果、画像信号生成部７において、透光板２の各領域Ｐ（ｉ）に入射した光による画像がそれぞれ画質よく得られる。その中から透光板２において水平（ｘ）方向に最も離れた２つの偏光領域の画像（例えば、図３に示すＰ（１）およびＰ（３））を右目用画像あるいは左目用画像とすれば、ｘ方向に顕著な視差を有する２つの画像を取得できる。また、非偏光領域Ｐ（ｎ＋１）に入射した光による画像も得られるので、当該領域を各偏光領域よりも大きくすることにより、感度的に問題ない（光利用率の高い）画像も得られる。本実施形態では、撮像素子１のカラー化は図られていないが、図４で示した画素基本配列にカラー化画素を加えることにより、感度的に問題ないカラー画像も得られる。例えば、図４に示す画素Ｗ１、Ｗ２、・・・、Ｗｎ＋１の一部に対向して色フィルタをさらに配置することにより、色情報を取得できるので、カラー画像を生成できる。
【００４５】
さらに、非偏光領域Ｐ（ｎ＋１）に入射した光による画像信号を偏光領域Ｐ（ｉ）に入射した光による画像信号に部分的に加算することにより、偏光領域Ｐ（ｉ）に入射した光による画像のＳ／Ｎ比を向上させることができる。この処理は、例えば以下の手順で行うことができる。まず、透光板２の各領域Ｐ（ｉ）に入射した光による画像と非偏光領域Ｐ（ｎ＋１）に入射した光による画像との部分的なマッチング判定を、画像上の場所を変えて繰り返して行う。次に、部分的に同じ画像と判定した場合、非偏光領域Ｐ（ｎ＋１）に入射した光による画像の当該部分を領域Ｐ（ｉ）に入射した光による画像の同じ部分に加算する。このような処理により、視差を有する複数の画像の品質をさらに高めることができる。
【００４６】
以上のように、本実施形態の撮像装置によれば、ｎ＋１行１列を撮像素子１の画素の基本配列とし、透過軸の方向が互いに異なるｎ個の偏光フィルタがそれぞれ配置されたｎ個の画素Ｗ１、Ｗ２、・・・、Ｗｎと偏光フィルタが配置されていない画素Ｗｎ＋１とが設けられる。また、透過軸の方向が互いに異なるｎ個の偏光領域Ｐ（１）、Ｐ（２）、・・・、Ｐ（ｎ）を有し、その他の領域は非偏光領域Ｐ（ｎ＋１）である透光板２が設けられる。このような構成により、偏光板２の（ｎ＋１）個の領域に入射した光による画像信号と各画素から出力される画素信号との関係式が得られるため、それらの関係式から透光板２の各領域に入射した光による画像信号を算出できる。その結果、複数視点画像を作成でき、また、非偏光領域に入射した光による感度的に問題のない画像も得られる。さらに、透光板２の各領域Ｐ（ｉ）に入射した光による画像と非偏光領域Ｐ（ｎ＋１）に入射した光による画像との部分的なマッチング判定処理および画像加算処理を行うことにより、複数視点画像の品質を向上させることも可能である。
【００４７】
なお、本実施形態では、固体撮像素子１の撮像面における画素の基本構成を（ｎ＋１）行１列としたが、この配列に限定するものではない。ｎ個の偏光フィルタが対向して配置されたｎ個の画素と、偏光フィルタが配置されていない画素とが近接して１つの画素ブロックを構成していればどのような配列であってもよい。また、ｎ個の偏光領域を部分的に配置した透光板２を用いたが、本発明の光透過部は、このような透光板２に限るものではない。例えば、レンズ表面、あるいは絞りの光透過領域内に複数の偏光領域を設けても問題はない。要は入射光学系の内部に複数の偏光領域が設けられていれば同様の効果を得ることができる。
【００４８】
（実施形態２）
次に本発明の第２の実施形態について説明する。本実施形態の撮像装置は、透光板２の構成、撮像素子１の画素構成、および画像生成部７による信号演算処理のみが実施形態１の撮像装置と異なっている。以下、実施形態１と異なる点を説明し、重複する点についての説明は省略する。
【００４９】
図５は、本実施形態における固体撮像素子１の撮像面における基本色構成図である。本実施形態における撮像素子１の画素アレイを構成する複数の画素ブロックの各々は、４行２列に配列された８個の画素を有している。１行１列目と３行１列目には、シアンの波長域（緑および青の波長域）の光を透過させるシアンフィルタ（シアン要素Ｃｙ）が画素に対向して配置されている。１行２列目と３行２列目には、透明部材（透明要素Ｗ）が画素に対向して配置されている。２行１列目と４行１列目には、黄の波長域（赤および緑の波長域）の光を透過させる黄フィルタ（黄要素Ｙｅ）が画素に対向して配置されている。２行２列目には、透過軸の方向がｘ方向に対してβ１の角度をなす偏光フィルタ（偏光要素Ｗｐ１）が画素に対向して配置されている。４行２列目には、透過軸の方向がｘ方向に対してβ２の角度をなす偏光フィルタ（偏光要素Ｗｐ２）が画素に対向して配置されている。以下の説明では、シアン要素、黄要素、透明要素、偏光要素をまとめて、「色要素」と呼ぶことがある。
【００５０】
図６は、本実施形態における透光板２ａの正面図である。透光板２ａの形状は円形で、光学レンズ３と同じ有効径をもつ。透光板２ａは、図６における左側に、ｘ方向に対して角度α１をなす方向に偏光した光を透過させる長方形の偏光領域Ｐ（１）を有している。また、右側に、同サイズでｘ方向に対して角度α２をなす方向に偏光した光を透過させる偏光領域Ｐ（２）を有している。透光板２ａのその他の領域は入射光を偏光方向によらず透過させる非偏光領域Ｐ（３）である。透光板２ａの偏光領域Ｐ（１）および偏光領域Ｐ（２）は、透光板２ａの中心を通り受光面の面積を２分割する線分に対して互いに反対側に位置している。また、非偏光領域Ｐ（３）の一部が２つの偏光領域Ｐ（１）、Ｐ（２）の間に位置している。このような構成により、偏光領域Ｐ（１）、Ｐ（２）にそれぞれ入射する光による複数視点画像を得ることができるとともに、光利用率の高い画像を得ることができる。
【００５１】
以下、本実施形態における、複数視点画像を生成する方法を説明する。Ｗｐ１要素、Ｗｐ２要素、Ｗ要素を透過し各々に対向する画素で光電変換される信号をそれぞれＳ１、Ｓ２、Ｓ３と表す。但し、透光板２ａの偏光領域Ｐ（１）、Ｐ（２）の偏光特性、および撮像素子１のＷｐ１要素、Ｗｐ２要素の偏光特性は、偏光方向の特性を除いてすべて同じであるとする。また、透光板２ａの偏光領域Ｐ（１）の光透過率を１００％と仮定した場合に、当該領域を透過し、光学レンズ３、赤外カットフィルタ４を通して光電変換される光の量に相当する信号量をＰｓ（１）とする。同様に、透光板２ａの偏光領域Ｐ（２）の光透過率を１００％と仮定した場合に、当該領域を透過し、光学レンズ３、赤外カットフィルタ４を通して光電変換される光の量に相当する信号量をＰｓ（２）とする。透光板２ａの非偏光領域Ｐ（３）（透明領域）を透過し、光学レンズ３、赤外カットフィルタ４を通して光電変換される光の量に相当する信号量をＰｓ（３）とする。実際には、透光板２ａの偏光領域Ｐ（１）、Ｐ（２）の透過率は１００％ではないので、その透過率をＴ１とする。また、透過軸の方向が同じ偏光板を２枚重ね合わせた場合の光透過率をＴ１ｘＴ２とする。透光板２ａの非偏光領域Ｐ（３）の光透過率は１００％であるものとする。
【００５２】
Ｗ要素を透過しその対向画素で光電変換される光の量に相当する信号量Ｓ３は、以下のようにＰｓ（１）、Ｐｓ（２）、Ｐｓ（３）を用いて表すことができる。透光板２ａの偏光領域Ｐ（１）、Ｐ（２）を透過し、さらに光学レンズ３、赤外カットフィルタ４を通して光電変換される光の量に相当する信号量はＴ１ｘ（Ｐｓ（１）＋Ｐｓ（２））で表される。また、透光板２ａの非偏光領域Ｐ（３）を透過し、さらに光学レンズ３、赤外カットフィルタ４を通して光電変換される光の量に相当する信号量はＰｓ（３）で表されるので、信号量Ｓ３は以下の式４で表される。
【数４】
0005421365.tif 000005
【００５３】
Ｗｐ１要素を透過しその対向画素で光電変換される信号量Ｓ１についても、以下のようにＰｓ（１）、Ｐｓ（２）、Ｐｓ（３）を用いて表すことができる。透光板２ａの偏光領域Ｐ（１）を透過し、さらに光学レンズ３、赤外カットフィルタ４を通して光電変換される光の量に相当する信号量は、Ｔ１ｘＴ２ｘＰｓ（１）ｃｏｓ（α１−β１）で表される。また、透光板２ａの偏光領域Ｐ（２）を透過し、さらに光学レンズ３、赤外カットフィルタ４を通して光電変換される光の量に相当する信号量はＴ１ｘＴ２ｘＰｓ（２）ｃｏｓ（α２−β１）で表される。さらに、透光板２ａの非偏光領域Ｐ（３）を透過し、さらに光学レンズ３、赤外カットフィルタ４を通して光電変換される光の量に相当する信号量は、Ｔ１ｘＰｓ（３）で表されるので、結局、信号量Ｓ１は以下の式５で表される。
【数５】
0005421365.tif 000006
【００５４】
Ｗｐ２要素を透過しその対向画素で光電変換される信号量Ｓ２についても、以下のようにＰｓ（１）、Ｐｓ（２）、Ｐｓ（３）を用いて表すことができる。まず、透光板２ａの偏光領域Ｐ（１）を透過し、さらに光学レンズ３、赤外カットフィルタ４を通して光電変換される光の量に相当する信号量はＴ１ｘＴ２ｘＰｓ（１）ｃｏｓ（α１−β２）で表される。また、透光板２ａの偏光領域Ｐ（２）を透過し、さらに光学レンズ３、赤外カットフィルタ４を通して光電変換される光の量に相当する信号量はＴ１ｘＴ２ｘＰｓ（２）ｃｏｓ（α２−β２）で表される。さらに、透光板２ａの非偏光領域Ｐ（３）を透過し、さらに光学レンズ３、赤外カットフィルタ４を通して光電変換される光の量に相当する信号量はＴ１ｘＰｓ（３）で表される。結局、信号量Ｓ２は以下の式で表される。
【数６】
0005421365.tif 000007
【００５５】
ここで、Ｓ１’＝Ｓ１／Ｔ１、Ｓ２’＝Ｓ２／Ｔ１として、上記の式４〜式６は、行列を用いて、以下の式７で表される。
【数７】
0005421365.tif 000008
【００５６】
図１に示す画像生成部７は、式７中の３行３列の行列の逆行列を求め、透光板２ａの領域Ｐ（１）、Ｐ（２）、Ｐ（３）をそれぞれ透過した光による３つの画像を算出する。但し、逆行列を求めるには、行列式の値が０でないことが必要である。また、行列式の値が大きい値ほど計算誤差は小さくなる。
【００５７】
本実施形態では、この行列式の値を最大にするように偏光方向の角度α１、α２、β１、β２をシミュレーションにより決定した。シミュレーションでは、Ｔ１＝０．４５、Ｔ２＝０．９０、α１＝０として、α２、β１、β２を０〜９０度まで１度ずつ変化させた。シミュレーションの結果、α１＝０度、α２＝６０度、β１＝０度、β２＝６０度で行列式の値は最大になったので、それらの値を採用した。その結果、領域Ｐ（１）、Ｐ（２）を透過した光による画像を得ることができ、複数視点画像を作ることができた。
【００５８】
一方、画像のカラー化については、シアン要素を透過し光電変換される光の量を示す信号量Ｓｃｙ、黄要素を透過し光電変換される光の量を示す信号量Ｓｙｅ、およびＷ要素を透過し光電変換される光の量を示す信号量Ｓ３を用いて、以下のように生成することができる。まず、赤の色情報Ｓｒは（Ｓ３−Ｓｃｙ）の演算により得られる。また、青の色情報Ｓｂは（Ｓ３−Ｓｙｅ）の演算により得られる。さらに（Ｓ３−Ｓｒ−Ｓｂ）により緑の色情報が得られる。以上の演算により、ＲＧＢのカラー画像を作ることができる。その結果、本実施形態における光量の低下は、透光板２ａの各偏光領域における損失分のみに抑えられる。各偏光領域の光量の低下を５０％とすると、非偏光領域を透過する光の量を合わせ、入射光の７５％の光量を確保したカラー画像が得られることになる。
【００５９】
以上のように、本実施形態の撮像装置によれば、４行２列を画素の基本構成とし、８個の画素に対応して２個のシアン要素、２個の黄要素、２個の透明要素、２個の偏光要素が用いられる。１行１列目と３行１列目にシアン要素（Ｃｙ）、１行２列目と３行２列目に透明要素（Ｗ）、２行１列目と４行１列目に黄要素（Ｙｅ）、２行２列目に透過軸の方向がｘ方向に対してβ１の角度をなす偏光要素（Ｗｐ１）、４行２列目に透過軸の方向がｘ方向に対してβ２の角度をなす偏光要素（Ｗｐ２）が配置される。また、透光板２ａは、図６における左側に、透過軸の方向がｘ方向に対してα１の角度をなす偏光領域Ｐ（１）を有し、右側にも同サイズで透過軸の方向がｘ方向に対してα２の角度をなす偏光領域Ｐ（２）を有する。このような構成により、透明要素Ｗの対向画素の信号、偏光要素Ｗｐ１の対向画素の信号、および偏光要素Ｗｐ２の対向画素の信号を用いた演算から、複数視点画像を作ることができる。これにより、シアン要素Ｃｙの対向画素、黄要素Ｙｅの対向画素、および透明要素Ｗの対向画素の信号を用いた演算から、感度低下を大幅に抑えられたカラー画像を作ることができる。すなわち、従来技術で用いられた機械的動作部分を必要とせず、画像信号間の演算だけで複数視点画像と感度低下を大幅に抑えられたカラー画像とを同時に得ることができるという効果がある。
【００６０】
なお、本実施形態では、透光板２ａの偏光領域Ｐ（１）および偏光領域Ｐ（２）の形状を長方形としたが、これに限るものではない。また、好ましい例として、偏光要素Ｗｐ１、Ｗｐ２、偏光領域Ｐ（１）、Ｐ（２）の透過軸の方向を水平（ｘ）方向に対して、それぞれ０度、６０度、０度、６０度としたが、これらに限るものでもない。式７においてＰｓ（１）〜Ｐｓ（３）が求められる構成であれば、それぞれ上記とは異なる角度でも問題はない。また、上記の実施形態では、シアン要素、黄要素、透明要素、偏光要素を用いたが、透過波長域の異なる３種類の色要素を用いる構成であればカラー画像は得られるので、これらの要素に限定されるものではない。例えば、シアン要素および黄要素の代わりに、青の波長域の光を透過させる青フィルタ（青要素Ｂ）、および赤の波長域の光を透過させる赤フィルタ（赤要素Ｒ）を用いてもよい。また、偏光要素Ｗｐ１、Ｗｐ２が配置された画素に対向して、さらに色フィルタが配置されていてもよい。例えば、偏光要素Ｗｐ１、Ｗｐ２を透過する光の光路上に緑の波長域の光を透過させる緑フィルタ（緑要素Ｇ）を配置するとともに、透明要素Ｗの代わりに緑要素Ｇを配置してもよい。このように、４つの色要素のうち、同色の２要素は透明要素あるいは人間の視感度特性に近い緑要素が望ましい。
【００６１】
本実施形態の変形例として、例えば以下のような構成が可能である。（１）図５に示す構成の少なくとも１つの行の２要素を入れ替えた構成、（２）図５に示すＣｙ要素を赤および青要素の一方に入れ替え、Ｙｅ要素を赤および青要素の他方に入れ替えた構成、（３）上記（２）の構成の少なくとも１つの行の２要素を入れ替えた構成、（４）図５に示すＣｙフィルタを赤および青要素の一方に入れ替え、Ｙｅ要素を赤および青要素の他方に入れ替え、Ｗ要素を緑要素に入れ替え、Ｗｐ１およびＷｐ２要素に加えて緑要素をさらに配置した構成、（５）上記（４）の構成の少なくとも１つの行の２要素を入れ替えた構成。これらのいずれの変形例においても、同様の信号演算により、複数視点画像および光利用率の高いカラー画像を得ることができる。
【００６２】
本実施形態では透光板２ａの偏光領域の数を２つとしたが、３つ以上でも問題はない。例えば、偏光領域の数が３つの場合は撮像素子１の２つの透明要素Ｗのうちの１つを偏光要素Ｗｐ３に変更すればよい。この場合、式７で示された３行３列の行列は４行４列になる。その行列式を最大にする偏光方向は、透光板２ａ側が０度、４５度、９０度で、撮像素子１側も０度、４５度、９０度である。このように、偏光領域を増やすと共にそれらの偏光方向を適切に選択することにより、異なった視差の画像を複数得ることが可能である。
【００６３】
（実施形態３）
次に、本発明の第３の実施形態について説明する。図７は、本実施形態における固体撮像素子１の撮像面における基本色構成を示す図である。２行２列を基本構成とし、１行１列目にシアン要素（Ｃｙ）、１行２列目に透過軸の向きがｘ方向に対してβ１の角度をなす偏光要素（Ｗｐ１）、２行１列目に黄要素（Ｙｅ）、２行２列目に透過軸の向きがｘ方向に対してβ２の角度をなす偏光要素（Ｗｐ２）が配置される。固体撮像素子１の各画素は、上記色要素に１対１で対応し、各色要素に対向して位置している。本実施形態では、透光板２ａは実施形態２と同じである。以下、実施形態２と異なる点を中心に説明し、重複する点については説明を省略する。
【００６４】
本実施形態の構成では、Ｗ要素が設けられていないため、実施形態２で示した計算はできない。しかしながら、無彩色に近い被写体を撮像する場合は、Ｃｙ＋Ｙｅ＝Ｗ＋Ｇと表されるため、ＲＧＢの受光信号比率をＫｒ、Ｋｇ、Ｋｂとすると、Ｗ要素を通して得られる信号は、Ｃｙ要素とＹｅ要素を通して得られる信号の合算に（Ｋｒ＋Ｋｇ＋Ｋｂ）／（Ｋｒ＋２Ｋｇ＋Ｋｂ）倍したものと考えられる。そこで、このような演算を行うことにより、その結果をＷ要素の対向画素で光電変換される光の量を示す信号とすれば、実施形態２における処理と同じ処理で視差画像を作ることができる。
【００６５】
一方、カラー画像については、シアン要素を透過し光電変換される光の量に相当する信号量Ｓｃｙ、黄要素を透過し光電変換される光の量に相当する信号量Ｓｙｅ、Ｗｐ１要素を透過し光電変換される光の量に相当する信号Ｓ１、およびＷｐ２要素を透過し光電変換される光の量に相当する信号Ｓ２を用いて以下のように生成できる。まず、Ｓ１とＳ２とを加算し、それをＷ要素の信号量Ｓ３とする。すると、赤の色情報Ｓｒは（Ｓ３−Ｓｃｙ）の演算により得られる。青の色情報Ｓｂは（Ｓ３−Ｓｙｅ）の演算により得られる。さらに、（Ｓ３−Ｓｒ−Ｓｂ）の演算により緑の色情報が得られる。その結果、光量低下は透光板２ａの偏光領域Ｐ（１）、Ｐ（２）での損失分のみに抑えられ、非偏光領域Ｐ（３）の光量を合わせると入射光の光量低下を大幅に抑えたカラー画像が得られることになる。
【００６６】
以上のように、本実施形態の撮像装置によれば、２行２列を画素の基本構成とし、４個の画素に対応してＣｙ要素、Ｙｅ要素、２つの偏光要素が用いられる。１行１列目にシアン要素（Ｃｙ）、１行２列目に透過軸の方向がｘ方向に対してβ１の角度をなす偏光要素（Ｗｐ１）、２行１列目に黄要素（Ｙｅ）、２行２列目に透過軸の方向がｘ方向に対してβ２の角度をなす偏光要素（Ｗｐ２）が配置される。また、透光板２ａは、図６における左側に、透過軸の方向がｘ方向に対してα１の角度をなす偏光領域Ｐ（１）を有し、右側にも同サイズで透過軸の向きがｘ方向に対してα２の角度をなす偏光領域Ｐ（２）を有する。このような構成により、シアン要素Ｃｙの対向画素の信号、黄要素Ｙｅの対向画素の信号、偏光要素Ｗｐ１の対向画素の信号、および偏光要素Ｗｐ２の対向画素の信号を用いた演算から、複数視点画像と感度低下を大幅に抑えられたカラー画像とを作ることができる。すなわち、実施形態１、２と同様、従来技術で用いられた機械的動作部分を必要とせず、画像信号間の演算だけで複数視点画像と感度低下を大幅に抑えられたカラー画像とを同時に得ることができるという効果がある。
【００６７】
なお、本実施形態では、図７に示す色配置に限るものではなく、シアン要素、黄要素、偏光要素の位置を変更しても構わない。また、シアン要素および黄要素の代わりに赤要素および青要素が配置されていてもよい。さらに、実施形態２と同様に、偏光要素Ｗｐ１、Ｗｐ２に入射する光の光路上に緑要素または透明要素が配置されていてもよい。
【００６８】
以上の実施形態１〜３において、撮像装置は複数視点画像およびカラー画像の両方を取得するように構成されているが、複数視点画像だけを取得するように構成されていてもよい。視差情報のみを得る目的で本発明を利用する場合、図５、７に示すＣｙ要素およびＹｅ要素はなくてもよい。
【００６９】
また、撮像装置は、複数視点画像を得た上で、それらの差分処理を施すことにより、差分画像を得てもよい。さらに、複数視点画像から、各対応点の画像上の位置のずれの大きさを示す視差画像（ｄｉｓｐａｒｉｔｙ  ｍａｐ）を求めてもよい。差分画像や視差画像を求めることにより、被写体の奥行きを示す情報を得ることができる。
【００７０】
実施形態１〜３では、撮像によって得られる光電変換信号から信号演算によって画像を生成するが、信号演算による画像の生成処理を撮像装置とは独立した他の装置に実行させてもよい。その場合、撮像装置は、図１に示す画像信号生成部７を備えていなくてもよい。例えば、実施形態１〜３における撮像部１００を有する撮像装置によって取得した信号を他の装置に読み込ませ、各実施形態の信号演算処理を規定するプログラムを当該他の装置に実行させることによっても同様の効果を得ることができる。
【産業上の利用可能性】
【００７１】
本発明の３次元撮像装置は、固体撮像素子を用いたすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用可能である。
【符号の説明】
【００７２】
１    固体撮像素子
１ａ  撮像面
２    透光板
３    光学レンズ
４    赤外カットフィルタ
５    信号発生及び画像信号受信部
６    素子駆動部
７    画像信号生成部
８    画像インターフェース部
９    撮像装置
１０    画素
１１    ０度偏光の偏光板
１２    ９０度偏光の偏光板
１３    反射鏡
１４    ハーフミラー
１５    円形の偏光フィルタ
１６    偏光フィルタを回転させる駆動装置
１７，１８    偏光フィルタ
１９    光通過部
２０，２１    偏光透過部
２２    受光部光学フィルタトレイ
２３    特定成分透過フィルタ
２４    カラーフィルタ
２５    フィルタ駆動部
３０    メモリ
１００  撮像部
１１０  フィルタアレイ
２００  信号処理部
【図１】
0005421365.tif 000009
【図２】
0005421365.tif 000010
【図３】
0005421365.tif 000011
【図４】
0005421365.tif 000012
【図５】
0005421365.tif 000013
【図６】
0005421365.tif 000014
【図７】
0005421365.tif 000015
【図８】
0005421365.tif 000016
【図９】
0005421365.tif 000017
【図１０】
0005421365.tif 000018