(57)【特許請求の範囲】
【請求項１】
特定の方向に偏光した光を透過させる偏光領域、および光を偏光方向によらずに透過させる非偏光領域を有する光透過部と、
前記光透過部を透過した光を受けるように配置された固体撮像素子であって、各々が第１の画素および第２の画素を含む複数の画素ブロックに分割された画素アレイ、および前記第１の画素に対向して配置された偏光フィルタを含むフィルタアレイを有し、前記偏光フィルタは、前記第１の画素に前記偏光領域を透過した光の少なくとも一部を入射させる、固体撮像素子と、
前記固体撮像素子の撮像面に像を形成する結像部と、
前記第１の画素から出力された第１の画素信号、および前記第２の画素から出力された第２の画素信号に基づいて、前記偏光領域に入射した光による画像および前記非偏光領域に入射した光による画像を生成する画像生成部と、
を備える３次元撮像装置。
【請求項２】
前記偏光領域の透過軸の方向と前記偏光フィルタの透過軸の方向とは一致している、請求項１に記載の３次元撮像装置。
【請求項３】
前記偏光領域を第１の偏光領域とし、前記偏光フィルタを第１の偏光フィルタとするとき、
前記光透過部は、前記第１の偏光領域の透過軸に直交する透過軸をもつ第２の偏光領域を有し、
各画素ブロックは、第３の画素を含み、
前記フィルタアレイは、前記第１の偏光フィルタの透過軸と異なる方向の透過軸をもつ第２の偏光フィルタであって前記第３の画素に対向して配置された第２の偏光フィルタを有し、
前記画像生成部は、前記第１の画素信号、前記第２の画素信号、および前記第３の画素から出力された第３の画素信号を用いて、前記偏光領域に入射した光による画像および前記非偏光領域に入射した光による画像を生成する、
請求項１または２に記載の３次元撮像装置。
【請求項４】
前記第１および第２の偏光領域は、前記光透過部の中心に対して対称的に配置されている、請求項３に記載の３次元撮像装置。
【請求項５】
前記第２の画素は、前記第１および第３の画素に隣接して配置されている、請求項３または４に記載の３次元撮像装置。
【請求項６】
前記第１および第２の偏光領域は、互いに離れて配置されている、請求項３から５のいずれかに記載の３次元撮像装置。
【請求項７】
前記画像生成部は、前記非偏光領域に入射した光による画像信号を、前記第１の偏光領域に入射した光による画像信号、および前記第２の偏光領域に入射した光による画像信号に加算することによって、前記第１の偏光領域に対応する画像信号および前記第２の偏光領域に対応する画像信号を生成する、請求項３から６のいずれかに記載の３次元撮像装置。
【請求項８】
各画素ブロックは、４行２列に配列された８個の画素を含み、
前記第１の画素は２行２列目に配置され、前記第２の画素は１行２列目に配置され、前記第３の画素は４行２列目に配置され、
１行１列目および３行１列目の画素にはシアンの波長域の光を透過させるシアンフィルタが対向して配置され、
２行１列目および４行１列目の画素には黄の波長域の光を透過させる黄フィルタが対向して配置され、
１行２列目および３行２列目の画素には透明部材が対向して配置され、
２行２列目および４行２列目の画素には前記第１および第２の偏光フィルタがそれぞれ対向して配置されている、請求項３から７のいずれかに記載の３次元撮像装置。
【請求項９】
各画素ブロックは、４行２列に配列された８個の画素を含み、
前記第１の画素は２行１列目に配置され、前記第２の画素は１行２列目に配置され、前記第３の画素は４行１列目に配置され、
１行１列目および３行１列目の画素にはシアンの波長域の光を透過させるシアンフィルタが対向して配置され、
２行２列目および４行２列目の画素には黄の波長域の光を透過させる黄フィルタが対向して配置され、
１行２列目および３行２列目の画素には透明部材が対向して配置され、
２行１列目および４行１列目の画素には前記第１および第２の偏光フィルタがそれぞれ配置されている、
請求項３から７のいずれかに記載の３次元撮像装置。
【請求項１０】
各画素ブロックは、４行２列に配列された８個の画素を含み、
前記第１の画素は２行２列目に配置され、前記第２の画素は１行２列目に配置され、前記第３の画素は４行２列目に配置され、
１行１列目および３行１列目の画素には赤の波長域の光を透過させる赤フィルタが対向して配置され、
２行１列目および４行１列目の画素には青の波長域の光を透過させる青フィルタが対向して配置され、
１行２列目および３行２列目の画素には緑の波長域の光を透過させる緑フィルタが対向して配置され、
２行２列目の画素には前記第１の偏光フィルタおよび緑の波長域の光を透過させる緑フィルタが対向して配置され、
４行２列目の画素には前記第２の偏光フィルタおよび緑の波長域の光を透過させる緑フィルタが対向して配置されている、
請求項３から７のいずれかに記載の３次元撮像装置。
【請求項１１】
各画素ブロックは、４行２列に配列された８個の画素を含み、
前記第１の画素は２行１列目に配置され、前記第２の画素は１行２列目に配置され、前記第３の画素は４行１列目に配置され、
１行１列目および３行１列目の画素には赤の波長域の光を透過させる赤フィルタが対向して配置され、
２行２列目および４行２列目の画素には青の波長域の光を透過させる青フィルタが対向して配置され、
１行２列目および３行２列目の画素には緑の波長域の光を透過させる緑フィルタが対向して配置され、
２行１列目の画素には前記第１の偏光フィルタおよび緑の波長域の光を透過させる緑フィルタが対向して配置され、
４行１列目の画素には前記第２の偏光フィルタおよび緑の波長域の光を透過させる緑フィルタが対向して配置されている、
請求項３から７のいずれかに記載の３次元撮像装置。
【請求項１２】
各画素ブロックは、４行２列に配列された８個の画素を含み、
前記第１の画素は２行２列目に配置され、前記第２の画素は１行２列目に配置され、前記第３の画素は４行２列目に配置され、
１行１列目および３行１列目の画素には赤の波長域の光を透過させる赤フィルタが対向して配置され、
２行１列目および４行１列目の画素には青の波長域の光を透過させる青フィルタが対向して配置され、
１行２列目および３行２列目の画素には透明部材が対向して配置され、
２行２列目および４行２列目の画素には前記第１および第２の偏光フィルタがそれぞれ対向して配置されている、
請求項３から７のいずれかに記載の３次元撮像装置。
【請求項１３】
各画素ブロックは、４行２列に配列された８個の画素を含み、
前記第１の画素は２行１列目に配置され、前記第２の画素は１行２列目に配置され、前記第３の画素は４行１列目に配置され、
１行１列目および３行１列目の画素には赤の波長域の光を透過させる赤フィルタが対向して配置され、
２行２列目および４行２列目の画素には青の波長域の光を透過させる青フィルタが対向して配置され、
１行２列目および３行２列目の画素には透明部材が対向して配置され、
２行１列目および４行１列目の画素には前記第１および第２の偏光フィルタがそれぞれ対向して配置されている、
請求項３から７のいずれかに記載の３次元撮像装置。
【請求項１４】
前記画像生成部は、前記８個の画素から出力される画素信号を用いた演算により、前記第１の偏光領域に入射する光による画像、前記第２の偏光領域に入射する光による画像、およびカラー画像を生成する、請求項８から１３のいずれかに記載の３次元撮像装置。
【請求項１５】
各画素ブロックは、第４の画素をさらに含み、
前記第１の画素、第２の画素、第３の画素、および第４の画素は、２行２列に配列され、
前記第２の画素には第１波長域の光を透過させる第１の色フィルタが対向して配置され、
前記第４の画素には第２波長域の光を透過させる第２の色フィルタが対向して配置されている、
請求項３から７のいずれかに記載の３次元撮像装置。
【請求項１６】
前記第１波長域は、赤の波長域に相当し、前記第２波長域は、青の波長域に相当する、請求項１５に記載の３次元撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は１つの光学系と１つの撮像素子を用いて視差を有する複数の画像を取得する単眼の３次元撮像技術に関する。
【背景技術】
【０００２】
近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する場合がある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、撮像素子における画素構造の微細化が進んでいる。その結果、撮像素子の画素および駆動回路の高集積化が図られている。このため、僅かな年数で、撮像素子の画素数は、１００万画素程度から１０００万画素以上へと著しく増加した。さらに、撮像によって得られる画像の質も飛躍的に向上している。一方、表示装置に関して、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能となり、高い性能が実現されている。このような映像の高品質化の流れは、２次元画像から３次元画像へと拡がりつつある。昨今では、偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。
【０００３】
３次元撮像技術に関して、単純な構成をもつ代表的なものは、２つのカメラから構成される撮像系を用いて、右目用の画像及び左目用の画像をそれぞれ取得するというものである。このような、所謂２眼撮像方式では、カメラを２つ使うため、撮像装置が大型になり、コストも高くなり得る。そこで、１つのカメラを利用して視差を有する複数の画像を取得する方式が研究されている。例えば、特許文献１には、透過軸の方向が互いに直交する２枚の偏光板と回転する偏光フィルタとを用いた方式が開示されている。
【０００４】
図１０は、当該方式による撮像系の構成を示す模式図である。撮像装置は、０度偏光の偏光板１１、９０度偏光の偏光板１２、反射鏡１３、ハーフミラー１４、円形の偏光フィルタ１５、円形の偏光フィルタを回転させる駆動装置１６、光学レンズ３、光学レンズにより結像された像を取得する撮像装置９を備えている。ここで、ハーフミラー１４は、偏光板１１を透過して反射鏡１３で反射された光を反射し、偏光板１２を透過した光を透過させる。以上の構成により、互いに離れた場所に配置された偏光板１１、１２をそれぞれ透過した光は、ハーフミラー１４、円形の偏光フィルタ１５、および光学レンズ３を経由して撮像装置９に入射し、画像が取得される。この方式における撮像の原理は、円形の偏光フィルタ１５を回転させることにより、２枚の偏光板１１、１２のそれぞれに入射した光を別々のタイミングで捉え、視差を有する２つの画像を取得する、というものである。
【０００５】
しかしながら、上記方式では、円形の偏光フィルタ１５を回転しながら、時間分割によって異なる位置の画像を撮像するため、視差を有する２つの画像を同時に取得できないという課題がある。また、機械的駆動を用いるため、耐久性に問題があり得る。その上、全入射光を偏光板及び偏光フィルタで受けるため、撮像装置９が受ける光の量（受光量）が５０％以上も低下するという課題もある。
【０００６】
上記方式に対して、機械的駆動を用いることなく視差のある２つの画像を同時に取得する方式が特許文献２に開示されている。この方式による撮像装置は、２つの入射領域から入射する光を反射鏡によって集光し、２種類の偏光フィルタが交互に配列された撮像素子で受光することにより、機械的駆動部を用いずに視差のある２つの画像を取得する。
【０００７】
図１１は、この方式における撮像系の構成を示す模式図である。この撮像系は、透過軸の方向が互いに直交する２つの偏光板１１、１２と、反射鏡１３と、光学レンズ３と、撮像素子１とを有する。撮像素子１は、その撮像面に、複数の画素１０と、画素に１対１に対応して配置された偏光フィルタ１７、１８とを備える。偏光フィルタ１７、１８は全画素上に交互に配列されている。ここで、偏光フィルタ１７、１８の透過軸の向きは、それぞれ偏光板１１、１２の透過軸の向きと一致している。
【０００８】
以上の構成により、入射光は偏光板１１、１２を透過し、反射鏡１３で反射され、光学レンズ３を通り、撮像素子１の撮像面に入射する。偏光板１１、１２をそれぞれ透過して撮像素子１に入射する光は、それぞれ偏光フィルタ１７、１８を透過してそれらに対向する画素で光電変換される。ここで、偏光板１１、１２をそれぞれ通って撮像素子１に入射する光によって形成される画像を、それぞれ右目用画像、左目用画像と呼ぶと、右目用画像、左目用画像は、それぞれ偏光フィルタ１７、１８に対向する画素群から得られる。
【０００９】
このように、特許文献２に開示された方式では、特許文献１に開示された回転する円形の偏光フィルタを用いる代わりに、撮像素子の画素上に透過軸の方向が互いに直交する２種類の偏光フィルタが交互に配置される。これにより、特許文献１の方式に比べて解像度が１／２に低下するが、１つの撮像素子を用いて視差を有する右目用画像と左目用画像とを同時に得ることができる。
【００１０】
しかしながら、この技術においても、特許文献１の技術と同様、入射光が偏光板及び偏光フィルタを透過する際に光量が減少するため、撮像素子の受光量は大きく減少する。
【００１１】
撮像素子の受光量が減少するという問題に対して、別なアプローチとして、視差を有する複数の画像の撮像と通常の画像の撮像とを機械的に切り替える手法が特許文献３に開示されている。図１２は、当該手法における撮像系の構成を模式的に示す図である。図１２に示す撮像装置は、２つの偏光透過部２０、２１を有し、それらの透過部を通してのみ光学レンズ３からの入射光を透過させる光通過部１９と、偏光透過部２０、２１からの光を分離する特定成分透過フィルタ２３、およびカラーフィルタ２４が１組になった受光部光学フィルタトレイ２２と、光通過部１９および特定成分透過フィルタ２３を光路上から外しカラーフィルタ２４を光路に挿入する、あるいはその逆の動作を行うフィルタ駆動部２５とを備えている。
【００１２】
この技術によれば、フィルタ駆動部２５を動作させ、視差を有する２つの画像の撮像では光通過部１９および特定成分透過フィルタ２３が用いられ、通常の撮影では、カラーフィルタ２４が用いられる。視差を有する２つの画像の撮影においては、基本的に特許文献２で示されているものと同じであり、光利用率が大きく低下する。一方、通常のカラー画像の撮影では、光通過部１９を光路から外し、また、特定成分透過フィルタ２３の代わりにカラーフィルタ２４を挿入することにより、光利用率の高いカラー画像を得ることができる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開昭６２−２９１２９２号公報
【特許文献２】特開昭６２−２１７７９０号公報
【特許文献３】特開２００１−０１６６１１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
従来技術では、偏光板（偏光透過部）および偏光フィルタを用いることにより、単眼カメラで視差を有する２つの画像を撮像できる。これらの技術において、偏光板および偏光フィルタは、ともに０°、９０°の透過軸をもつ２種類の偏光子から構成されている。そのため、単眼カメラで視差のある２つの画像を撮像できるが、光利用率が低く、撮像感度が低下するという課題がある。また、感度上問題のないカラー画像を得るためには、上記で示した受光部に光学フィルタトレイやフィルタ駆動部を設ける必要がある。さらに、それらが仮に設けられたとしても視差を有する画像の撮影時とカラー画像の撮影時とで被写体の状態が異なれば、視差画像とカラー画像は同じ状態の画像ではない。すなわち、両画像を同時に得ることができないという課題がある。
【００１５】
本発明は、上記課題に鑑み、撮像系に機械的駆動部を設けることなく、視差を有する複数の画像を得ることができる撮像技術を提供する。本発明の好ましい実施形態によれば、視差を有する複数の画像と感度上問題のない画像とを同時に得ることが可能となる。
【課題を解決するための手段】
【００１６】
本発明の３次元撮像装置は、特定の方向に偏光した光を透過させる偏光領域および光を偏光方向によらずに透過させる非偏光領域を有する光透過部と、前記光透過部を透過した光を受けるように配置された固体撮像素子であって、各々が第１の画素および第２の画素を含む複数の画素ブロックに分割された画素アレイ、および前記第１の画素に対向して配置された偏光フィルタを含むフィルタアレイを有し、前記偏光フィルタは、前記第１の画素に前記偏光領域を透過した光の少なくとも一部を入射させる固体撮像素子と、前記固体撮像素子の撮像面に像を形成する結像部と、前記第１の画素から出力された第１の画素信号、および前記第２の画素から出力された第２の画素信号に基づいて、前記偏光領域に入射した光による画像および前記非偏光領域に入射した光による画像を生成する画像生成部と、を備える。
【００１７】
ある実施形態において、前記偏光領域の透過軸の方向と前記偏光フィルタの透過軸の方向とは一致している。
【００１８】
ある実施形態において、前記偏光領域を第１の偏光領域とし、前記偏光フィルタを第１の偏光フィルタとするとき、前記光透過部は、前記第１の偏光領域の透過軸に直交する透過軸をもつ第２の偏光領域を有し、各画素ブロックは、第３の画素を含み、前記フィルタアレイは、前記第１の偏光フィルタの透過軸と異なる方向の透過軸をもつ第２の偏光フィルタであって前記第３の画素に対向して配置された第２の偏光フィルタを有し、前記画像生成部は、前記第１の画素信号、前記第２の画素信号、および前記第３の画素から出力された第３の画素信号を用いて、前記偏光領域に入射した光による画像および前記非偏光領域に入射した光による画像を生成する。
【００１９】
ある実施形態において、前記第１および第２の偏光領域は、前記光透過部の中心に対して対称的に配置されている。
【００２０】
ある実施形態において、前記第２の画素は、前記第１および第３の画素に隣接して配置されている。
【００２１】
ある実施形態において、前記第１および第２の偏光領域は、互いに離れて配置されている。
【００２２】
ある実施形態において、前記画像生成部は、前記非偏光領域に入射した光による画像信号を、前記第１の偏光領域に入射した光による画像信号、および前記第２の偏光領域に入射した光による画像信号に加算することによって、前記第１の偏光領域に対応する画像信号および前記第２の偏光領域に対応する画像信号を生成する。
【００２３】
ある実施形態において、各画素ブロックは、４行２列に配列された８個の画素を含み、前記第１の画素は２行２列目に配置され、前記第２の画素は１行２列目に配置され、前記第３の画素は４行２列目に配置され、１行１列目および３行１列目の画素にはシアンの波長域の光を透過させるシアンフィルタが対向して配置され、２行１列目および４行１列目の画素には黄の波長域の光を透過させる黄フィルタが対向して配置され、１行２列目および３行２列目の画素には透明部材が対向して配置され、２行２列目および４行２列目の画素には前記第１および第２の偏光フィルタがそれぞれ対向して配置されている。
【００２４】
ある実施形態において、各画素ブロックは、４行２列に配列された８個の画素を含み、前記第１の画素は２行１列目に配置され、前記第２の画素は１行２列目に配置され、前記第３の画素は４行１列目に配置され、１行１列目および３行１列目の画素にはシアンの波長域の光を透過させるシアンフィルタが対向して配置され、２行２列目および４行２列目の画素には黄の波長域の光を透過させる黄フィルタが対向して配置され、１行２列目および３行２列目の画素には透明部材が対向して配置され、２行１列目および４行１列目の画素には前記第１および第２の偏光フィルタがそれぞれ配置されている。
【００２５】
ある実施形態において、各画素ブロックは、４行２列に配列された８個の画素を含み、前記第１の画素は２行２列目に配置され、前記第２の画素は１行２列目に配置され、前記第３の画素は４行２列目に配置され、１行１列目および３行１列目の画素には赤の波長域の光を透過させる赤フィルタが対向して配置され、２行１列目および４行１列目の画素には青の波長域の光を透過させる青フィルタが対向して配置され、１行２列目および３行２列目の画素には緑の波長域の光を透過させる緑フィルタが対向して配置され、２行２列目の画素には前記第１の偏光フィルタおよび緑の波長域の光を透過させる緑フィルタが対向して配置され、４行２列目の画素には前記第２の偏光フィルタおよび緑の波長域の光を透過させる緑フィルタが対向して配置されている。
【００２６】
ある実施形態において、各画素ブロックは、４行２列に配列された８個の画素を含み、前記第１の画素は２行１列目に配置され、前記第２の画素は１行２列目に配置され、前記第３の画素は４行１列目に配置され、１行１列目および３行１列目の画素には赤の波長域の光を透過させる赤フィルタが対向して配置され、２行２列目および４行２列目の画素には青の波長域の光を透過させる青フィルタが対向して配置され、１行２列目および３行２列目の画素には緑の波長域の光を透過させる緑フィルタが対向して配置され、２行１列目の画素には前記第１の偏光フィルタおよび緑の波長域の光を透過させる緑フィルタが対向して配置され、４行１列目の画素には前記第２の偏光フィルタおよび緑の波長域の光を透過させる緑フィルタが対向して配置されている。
【００２７】
ある実施形態において、各画素ブロックは、４行２列に配列された８個の画素を含み、前記第１の画素は２行２列目に配置され、前記第２の画素は１行２列目に配置され、前記第３の画素は４行２列目に配置され、１行１列目および３行１列目の画素には赤の波長域の光を透過させる赤フィルタが対向して配置され、２行１列目および４行１列目の画素には青の波長域の光を透過させる青フィルタが対向して配置され、１行２列目および３行２列目の画素には透明部材が対向して配置され、２行２列目および４行２列目の画素には前記第１および第２の偏光フィルタがそれぞれ対向して配置されている。
【００２８】
ある実施形態において、各画素ブロックは、４行２列に配列された８個の画素を含み、前記第１の画素は２行１列目に配置され、前記第２の画素は１行２列目に配置され、前記第３の画素は４行１列目に配置され、１行１列目および３行１列目の画素には赤の波長域の光を透過させる赤フィルタが対向して配置され、２行２列目および４行２列目の画素には青の波長域の光を透過させる青フィルタが対向して配置され、１行２列目および３行２列目の画素には透明部材が対向して配置され、２行１列目および４行１列目の画素には前記第１および第２の偏光フィルタがそれぞれ対向して配置されている。
【００２９】
ある実施形態において、前記画像生成部は、前記８個の画素から出力される画素信号を用いた演算により、前記第１の偏光領域に入射する光による画像、前記第２の偏光領域に入射する光による画像、およびカラー画像を生成する。
【００３０】
ある実施形態において、各画素ブロックは、第４の画素をさらに含み、前記第１の画素、第２の画素、第３の画素、および第４の画素は、２行２列に配列され、前記第２の画素には第１波長域の光を透過させる第１の色フィルタが対向して配置され、前記第４の画素には第２波長域の光を透過させる第２の色フィルタが対向して配置されている。
【００３１】
ある実施形態において、前記第１波長域は、赤の波長域に相当し、前記第２波長域は、青の波長域に相当する。
【発明の効果】
【００３２】
本発明の３次元撮像装置によれば、偏光領域および非偏光領域を有する光透過部と、偏光フィルタが配置された第１の画素群および偏光フィルタが配置されていない第２の画素群を有する撮像素子とを備えている。そのため、第１の画素群の信号と第２の画素群の信号とを用いた演算処理により、偏光領域に入射する光による画像と非偏光領域に入射する光による画像とを生成できる。すなわち、視差を有する複数の画像を得ることができる。また、非偏光領域を透過した画像を生成できるため、感度低下のない画像も得ることができる。このように、本発明の３次元撮像装置によれば、機械的駆動部を設けることなく、信号演算だけで視差を有する複数の画像と感度上問題のない画像とを同時に得ることができるという効果がある。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施形態における撮像装置の全体構成図
【図２】本発明の実施形態１における透光板、レンズ、および撮像素子の配置関係を示す模式図
【図３】本発明の実施形態１における透光板の正面図
【図４】本発明の実施形態１における固体撮像素子の撮像面における基本色構成図
【図５】本発明の実施形態２における固体撮像素子の撮像部の基本色構成図
【図６】本発明の実施形態２における透光板の正面図
【図７】本発明の実施形態２におけるＤ値と偏光角との関係図
【図８】本発明の実施形態２におけるＥ値と偏光角との関係図
【図９】本発明の実施形態３における固体撮像素子の撮像部の基本色構成図
【図１０】特許文献１における撮像系の構成図
【図１１】特許文献２における撮像系の構成図
【図１２】特許文献３における撮像系の構成図
【発明を実施するための形態】
【００３４】
以下、本発明を実施形態について、図面を参照しながら説明する。全ての図にわたって共通する要素には同一の符号を付している。なお、本明細書において、画像を示す信号または情報を単に「画像」と称する場合がある。また、視差を有する複数の画像を「複数視点画像」（ｍｕｌｔｉ−ｖｉｅｗｐｏｉｎｔ  ｉｍａｇｅｓ）と呼ぶことがある。
【００３５】
（実施形態１）
まず、本発明の第１の実施形態を説明する。図１は、本実施形態における３次元撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００からの信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。
【００３６】
撮像部１００は、撮像面上に配列された複数の光感知セル（画素）を備える撮像素子（イメージセンサ）１と、特定の方向に偏光した光を透過させる偏光領域および光を偏光方向によらずに透過させる非偏光領域を有する透光板２と、撮像素子１の撮像面上に像を形成するための光学レンズ３と、赤外カットフィルタ４とを備えている。撮像部１００はまた、撮像素子１を駆動するための基本信号を発生するとともに撮像素子１からの出力信号を受信して信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって発生された基本信号に基づいて撮像素子１を駆動する素子駆動部６とを備えている。撮像素子１は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部３０は、例えばＣＣＤドライバなどのＬＳＩから構成されている。
【００３７】
信号処理部２００は、撮像部１００から出力された信号を処理して画像信号を生成する画像信号生成部７と、画像信号の生成に用いられる各種のデータを格納するメモリ３０と、生成した画像信号を外部に送出するインターフェース（ＩＦ）部８とを備えている。画像信号生成部７は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部１００から得られた信号を記録するとともに、画像信号生成部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、インターフェース部８を介して不図示の記録媒体や表示部などに送出される。
【００３８】
なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。
【００３９】
次に、図２〜４を参照しながら撮像部１００の構成をより詳細に説明する。
【００４０】
図２は、撮像部１００における透光板２、光学レンズ３、および撮像素子１の配置関係を模式的に示す図である。なお、図２では、透光板２、光学レンズ３、および撮像素子１以外の構成要素は省略されている。透光板２は、偏光領域Ａおよび非偏光領域（透明領域）Ｃを有し、入射光を透過させる。光学レンズ３は、公知のレンズであり、透光板２を透過した光を集光し、撮像素子１の撮像面１ａに結像する。なお、以下の説明では、偏光領域Ａの中心から非偏光領域Ｃの中心へ向かう方向をｘ方向とし、撮像面１ａに平行な平面において、ｘ方向に垂直な方向をｙ方向とする。
【００４１】
図３は、本実施形態における透光板２の正面図である。透光板２の形状は、光学レンズ３と同様、円形であるが、他の形状であってもよい。図２において透光板２の左側の半分は、ｘ方向（水平方向）に透過軸をもつ偏光領域Ａである。透光板２の右側の半分は、入射光を偏光方向によらず透過させる透明領域Ｃである。偏光領域Ａは、公知の偏光板などによって形成される。透明領域Ｃは、光を高い透過率で透過させる部材であればどのようなもので形成されていてもよい。本実施形態では、透光板２が本発明の光透過部として機能する。なお、図３に示す透光板２は、偏光領域Ａおよび透明領域Ｃのみから形成されているように描かれているが、一部が遮光性部材で形成されていてもよい。
【００４２】
図２に示される撮像素子１の撮像面１ａには、２次元状に配列された複数の光感知セル（画素）を含む光感知セルアレイ（画素アレイ）が形成されている。また、画素アレイに対向して光が入射する側に複数の偏光フィルタおよび色フィルタを含むフィルタアレイが形成されている。各画素は、典型的にはフォトダイオードを含み、光電変換によって各々が受けた光の量（受光量）に応じた電気信号（「光電変換信号」、または「画素信号」と呼ぶ。）を出力する。本実施形態では、近接する４つの画素の組を１つの画素ブロックとし、各画素ブロックの４つの画素に対応して２つの色フィルタ、１つの透明部材、１つの偏光フィルタが配置されている。
【００４３】
図４は、撮像面１ａに形成されるフィルタアレイ１１０の一部を模式的に示す図である。フィルタアレイ１１０は、各画素に偏光領域Ａを透過した光の少なくとも一部および透明領域Ｃを透過した光の少なくとも一部を入射させるように構成されている。各画素ブロックにおいて、１行１列目の画素にはシアンの波長域（青および緑の波長域）の光を透過させる色フィルタ（シアン要素Ｃｙ）が対向して配置されている。２行１列目の画素には黄の波長域（緑および赤の波長域）の光を透過させる色フィルタ（黄要素Ｙｅ）が対向して配置されている。２行１列目の画素には可視光を波長および偏光方向によらず透過させる透明部材（透明要素Ｗ）が対向して配置されている。２行２列目にはｘ方向の透過軸をもつ偏光フィルタ（偏光要素Ｗｈ）が対向して配置されている。なお、透明要素Ｗは空気で代用してもよい。Ｃｙ、Ｗ、Ｙｅ、Ｗｈの配置は、図４に示す配置に限らず、互いにどのように入れ替わっていてもよい。また、図４に示す正方格子状の画素配列の代わりに、ｘ方向およびｙ方向に対して斜めに配列された斜交型の画素配列を採用してもよい。以下の説明では、シアン要素、黄要素、透明要素、偏光要素を、まとめて「色要素」と呼ぶことがある。
【００４４】
以上の構成により、撮影時に撮像装置に入射する光は、透光板２、光学レンズ３、赤外カットフィルタ４、フィルタアレイ１１０を通って画素に入射する。各画素は、透光板２の偏光領域Ａを透過した光および透明領域Ｃを透過した光を受け、受けた光の量に応じた画素信号を出力する。各画素によって出力された画素信号は、信号発生／受信部５を通して信号処理部２００に送出される。信号処理部２００における画像信号生成部７は、撮像部１００から送出された信号に基づいて複数視点画像を生成する。
【００４５】
以下、各画素から出力される画素信号を説明する。まずＷ要素またはＷｈ要素を透過し対向する画素で光電変換される光による画素信号について説明する。ここで、透光板２の偏光領域Ａの偏光特性とＷｈ要素の偏光特性とは同じであるとする。透光板２の偏光領域Ａの光透過率を１００％と仮定した場合に、当該領域を透過し、光学レンズ３、赤外カットフィルタ４を通して光電変換される光の量に相当する信号量をＡｓ、透光板２の透明領域Ｃを透過し、光学レンズ３、赤外カットフィルタ４を通して光電変換される光の量に相当する信号量をＣｓとする。実際には、透光板２の偏光領域Ａは透過率が１００％ではないので、その透過率をＴ１とし、また透過軸の方向が同じ偏光板を２枚重ね合わせた場合の光透過率をＴ１ｘＴ２とする。透光板２の透明領域Ｃの光透過率は１００％であるものとする。
【００４６】
Ｗ要素を透過しその対向画素で光電変換される光の量に相当する信号量をＳｗと表す。透光板２の偏光領域Ａを透過し、さらに光学レンズ３、赤外カットフィルタ４を通して光電変換される光の量に相当する信号量はＴ１ｘＡｓと表される。透光板２の透明領域Ｃを透過し、さらに光学レンズ３、赤外カットフィルタ４を通して光電変換される光の量に相当する信号量はＣｓであるので、信号量Ｓｗは以下の式１で表される。
Ｓｗ＝Ｔ１ｘＡｓ＋Ｃｓ  ・・・（式１）
【００４７】
Ｗｈ要素を透過しその対向画素で光電変換される光の量に相当する信号量をＳｗｈと表すと、透光板２の偏光領域Ａを透過し、さらに光学レンズ３、赤外カットフィルタ４を通して光電変換される信号量はＴ１ｘＴ２ｘＡｓと表される。透光板２の透明領域Ｃを透過し、さらに光学レンズ、赤外カットフィルタを通して光電変換される信号量はＴ１ｘＣｓであるので、信号量Ｓｗｈは以下の式２で表される。
Ｓｗｈ＝Ｔ１ｘＴ２ｘＡｓ＋Ｔ１ｘＣｓ  ・・・（式２）
【００４８】
上記の式１と式２から、透光板２の偏光領域Ａを透過し光電変換される光の量を示す画像信号Ａｓと、透光板２の透明領域Ｃを透過し光電変換される光の量を示す画像信号Ｃｓとを算出できる。ＡｓおよびＣｓは、それぞれ以下の式３および式４で表される。
Ａｓ＝（Ｓｗ−Ｓｗｈ／Ｔ１）／（Ｔ１−Ｔ２）  ・・・（式３）
Ｃｓ＝（Ｓｗｈ−Ｔ２ｘＳｗ）／（Ｔ１−Ｔ２）  ・・・（式４）
【００４９】
画像信号生成部７は、以上の演算を画素ブロックごとに実行することにより、画素ブロックごとにＡｓおよびＣｓを算出する。このようにして生成したＡｓの集合は、偏光領域Ａに入射する光による画像を形成し、Ｃｓの集合は、透明領域Ｃに入射する光による画像を形成する。このように、本発明では、簡単な画素間演算で視差のある２つの画像を作成することができる。
【００５０】
一方、カラー画像については、シアン要素を透過し光電変換される光の量を示す信号量Ｓｃｙ、黄要素を透過し光電変換される光の量を示す信号量Ｓｙｅ、およびＷ要素を透過し光電変換される光の量を示す信号量Ｓｗを用いて、以下のように生成される。まず、赤の色情報Ｓｒは、（Ｓｗ−Ｓｃｙ）の演算によって得られる。青の色情報Ｓｂは、（Ｓｗ−Ｓｙｅ）の演算により得られる。さらに、（Ｓｗ−Ｓｒ−Ｓｂ）の演算により、緑の色情報が得られる。以上の演算により、ＲＧＢのカラー画像を簡単に作ることができる。その結果、本実施形態における光量の低下は、透光板２の偏光領域Ａにおける損失分のみに抑えられ、当該部分の光量低下を５０％とすると、透明領域Ｃを透過する光の量を合わせ、入射光の７５％の光量を確保したカラー画像が得られることになる。
【００５１】
以上のように、本実施形態の撮像装置によれば、２行２列を画素の基本構成とし、４つの画素に対応して２つの色フィルタ、偏光フィルタ、および透光性部材が配置される。１行１列目にシアン要素（Ｃｙ）、１行２列目に透明要素（Ｗ）、２行１列目に黄要素（Ｙｅ）、２行２列目にｘ方向に偏光した光のみを透過させる偏光要素（Ｗｈ）が配置される。また、透光板２の図３に示す左半分は、ｘ方向に偏光した光のみを透過させ、右半分は、入射光を偏光方向によらず通過させるように構成されている。透明要素Ｗに対向する画素の画素信号と偏光要素Ｗｈに対向する画素の画素信号との演算から、視差のある２つの画像を作ることができる。さらに、シアン要素Ｃｙに対向する画素の画素信号と、黄要素Ｙｅに対向する画素の画素信号と、透明要素Ｗに対向する画素の画素信号とを用いた演算により、光量の低下を入射光量の約２５％に抑えたカラー画像を作ることができる。すなわち、本実施形態によれば、従来技術で用いられた機械的駆動部を必要とせず、画像信号間の演算だけで複数視点画像と光利用率低下を大幅に抑えたカラー画像を同時に得ることができるという効果を奏する。
【００５２】
なお、本実施形態では、透光板２の偏光領域Ａと透明領域Ｃとを等しい面積になるように構成したが、透明領域Ｃの割合を大きくしてカラー画像の光利用率をさらに向上させることもできる。但し、その場合、視差の精度が低下する可能性がある。カラー画像の光利用率と視差精度とはトレードオフの関係にあるため、透明領域Ｃの割合をどの程度に設定するかは、設計事項になる。また、本実施形態では、図４に示すように、シアン要素、黄要素、透明要素、偏光要素を用いたが、透過波長域の異なる３種類の色要素を用いれば、カラー画像は得られるので、このような色構成に限られるものではない。また、図４に示す色配置に限定されるものでもない。例えば、シアン要素および黄要素の代わりに、青の波長域の光を透過させる青フィルタ（青要素Ｂ）および赤の波長域の光を透過させる赤フィルタ（赤要素Ｒ）を用いてもよい。また、偏光要素Ｗｈが配置された画素に対向して、さらに色フィルタが配置されていてもよい。例えば、偏光要素Ｗｈを透過する光の光路上に緑の波長域の光を透過させる緑フィルタを配置し、透明要素Ｗの代わりに緑フィルタを配置してもよい。このように、４つの色要素のうち、同色の２要素は、透明要素あるいは人間の視感度特性に近い緑要素であることが望ましい。また、４画素に対応して４つの色要素が配置されていれば、それらの配置は任意である。
【００５３】
本実施形態の透光板２は、図３に示すように、中心を通る線で２分割され、左側が偏光領域Ａ、右側が透明領域Ｃであるが、これらの領域は必ずしも互いに接している必要はない。例えば、偏光領域Ａと透明領域Ｃとが遮光性部材を挟んで互いに離れて配置されていてもよい。
【００５４】
また、本実施形態では、透光板２の偏光領域Ａと撮像素子１の偏光要素Ｗｈとは同一方向の透過軸をもつが、これらの透過軸は方向が異なっていてもよい。透光板２の偏光領域Ａの透過軸の方向と撮像素子１の偏光要素Ｗｈの透過軸の方向とがある角度で交差している場合、その角度に応じて、式２〜４を変形すればよい。
【００５５】
撮像部１００の構成に関して、図２に示す各構成要素の配置関係はあくまでも一例であって、本発明はこのような配置関係に限られるものではない。例えば、光学レンズ３は、撮像面１ａに像を形成できれば透光板２よりも撮像素子１から離れて配置されていてもよい。また、複数のレンズが配置され、それらの間に透光板２が配置される構成であってもよい。また、レンズ３と透光板２とは独立した構成要素である必要はなく、両者は一体化されていてもよい。さらに、透光板２と撮像素子１の撮像面とは必ずしも平行に配置されている必要はない。例えば、両者の間にミラーやプリズムなどの、光を反射する光学素子５２を配置することにより、透光板２と撮像素子１の撮像面とが互いに交差する平面上に位置するように構成してもよい。
【００５６】
（実施形態２）
次に本発明の第２の実施形態について説明する。本実施形態の撮像装置は、透光板２および撮像素子１の構造、および画像信号生成部７の処理を除いて、実施形態１の撮像装置と同じである。そのため、実施形態１と異なる点のみを説明し、重複する事項については説明を省略する。
【００５７】
図５は、本実施形態における固体撮像素子１の撮像面における基本色構成を示す図である。本実施形態では、４行２列を画素の基本構成とし、１行１列目と３行１列目にシアン要素（Ｃｙ）、１行２列目と３行２列目に透明要素（Ｗ）、２行１列目および４行１列目に黄要素（Ｙｅ）、２行２列目に透過軸の向きがｘ方向に対してθの角度をなす偏光要素（Ｗｈ）、４行２列目に透過軸の向きがｙ方向に対してθの角度をなす偏光要素（Ｗｖ）である。固体撮像素子１の各画素は上記色要素に１対１に対応し、各色要素に対向して配置されいる。
【００５８】
また、図６は、本実施形態における透光板２ａの正面図である。透光板２ａの形状は、円形で光学レンズ３と同じ有効径をもつ。透光板２ａは、図６における左側に入射光のｘ方向の偏光成分のみを透過させる長方形の偏光領域Ａ（以下、「偏光左部」と呼ぶ）を有し、右側に、同サイズで入射光のｙ方向の偏光成分のみを透過させる偏光領域Ｂ（以下、「偏光右部」と呼ぶ）を有している。透光板２ａにおいて、偏光領域Ａ、Ｂ以外の領域は、透光性部材で形成されており、入射光を偏光方向によらずに透過させる透明領域Ｃである。このように、本実施形態における透光板２ａは、中心に対して対称的に配置された２つの偏光領域Ａ、Ｂを有している。このような構成により、偏光領域Ａ、Ｂにそれぞれ入射する光による複数視点画像を得ることができる。なお、偏光左部および偏光右部の形状は必ずしも長方形である必要はない。
【００５９】
以上の構成で、まずＷ要素、Ｗｈ要素またはＷｖ要素を透過し各々に対向する画素で光電変換される光の量を示す信号について説明する。但し、条件として、透光板２ａの偏光領域Ａの偏光特性、Ｗｈ要素の偏光特性とＷｖ要素の偏光特性は透過軸の方向を除いて同じとする。また、透光板２ａの偏光左部の光透過率を１００％と仮定したとき、当該領域を透過し、光学レンズ２、赤外カットフィルタ４を通して光電変換される光の量に相当する信号量をＡｓとする。同様に、透光板２ａの偏光右部の光透過率を１００％と仮定したとき、当該領域を透過し、光学レンズ２、赤外カットフィルタ４を通して光電変換される光の量に相当する信号量をＢｓとする。また、透光板２ａの透明領域Ｃを透過し、光学レンズ２、赤外カットフィルタ４を通して光電変換される光の量に相当する信号量をＣｓとする。実際には、透光板２ａの偏光領域Ａは透過率が１００％ではないので、その透過率をＴ１とする。また、偏光方向が同じ偏光板を２枚重ね合わせた場合の光透過率をＴ１ｘＴ２とする。
【００６０】
Ｗ要素を透過しその対向画素で光電変換される光の量に相当する信号量をＳｗと表すと、透光板２ａの偏光領域Ａを透過し、さらに光学レンズ３、赤外カットフィルタ４を通して光電変換される光の量に相当する信号量は、Ｔ１ｘ（Ａｓ＋Ｂｓ）と表される。透光板２ａの透明領域Ｃを透過し、さらに光学レンズ３、赤外カットフィルタ４を通して光電変換される光の量に相当する信号量はＣｓであるので、信号量Ｓｗは以下の式５で表される。
Ｓｗ＝Ｔ１ｘ（Ａｓ＋Ｂｓ）＋Ｃｓ  ・・・（式５）
【００６１】
Ｗｈ要素を透過しその対向画素で光電変換される光の量に相当する信号量をＳｗｈと表すと、透光板２ａの偏光左部を透過し、さらに光学レンズ３、赤外カットフィルタ４を通して光電変換される光の量に相当する信号量は、Ｔ１ｘＴ２ｘＡｓｃｏｓθと表される。透光板２ａの偏光右部を透過し、さらに光学レンズ、赤外カットフィルタを通して光電変換される光の量に相当する信号量は、Ｔ１ｘＴ２ｘＢｓｓｉｎθと表される。透光板２ａの透明領域Ｃを透過し、さらに光学レンズ、赤外カットフィルタを通して光電変換される光の量に相当する信号量はＴ１ｘＣｓであるので、信号量Ｓｗｈは以下の式６で表される。
Ｓｗｈ＝Ｔ１ｘ（Ｔ２ｘＡｓｃｏｓθ＋Ｔ２ｘＢｓｓｉｎθ＋Ｃｓ）  ・・・（式６）
【００６２】
Ｗｖ要素を透過しその対向画素で光電変換される光の量に相当する信号量をＳｗｖと表すと、透光板２ａの偏光左部を透過し、さらに光学レンズ、赤外カットフィルタを通して光電変換される光の量に相当する信号量は、Ｔ１ｘＴ２ｘＡｓｓｉｎθと表される。透光板２ａの偏光右部を透過し、さらに光学レンズ、赤外カットフィルタを通して光電変換される信号量は、Ｔ１ｘＴ２ｘＢｓｃｏｓθと表される。透光板２ａの透明領域Ｃを透過し、さらに光学レンズ、赤外カットフィルタを通して光電変換される信号量はＴ１ｘＣｓであるので、信号量Ｓｗｖは以下の式７で表される。
Ｓｗｖ＝Ｔ１ｘ（Ｔ２ｘＡｓｓｉｎθ＋Ｔ２ｘＢｓｃｏｓθ＋Ｃｓ）  ・・・（式７）
【００６３】
上記の式５、式６、および式７より、透光板２ａの偏光左部を透過し光電変換される光の量に相当する画像信号Ａｓ、透光板２ａの偏光右部を透過し光電変換される光の量に相当する画像信号Ｂｓ、および透光板２ａの透明領域Ｃを透過し光電変換される画像信号Ｃｓを算出することができる。Ａｓ、Ｂｓ、Ｃｓは、それぞれ以下の式８〜式１０で表される。但し、ｋ、Ｄ、Ｅは、それぞれ式１１〜１３で表される。
Ａｓ＝｛Ｔ２（ｓｉｎθ−ｃｏｓθ）Ｓｗ＋（ｋｃｏｓθ−１）Ｓｗｈ＋（１−ｋｓｉｎθ）Ｓｗｖ｝／Ｄ  ・・・（式８）
Ｂｓ＝｛Ｔ２（ｓｉｎθ−ｃｏｓθ）Ｓｗ＋（１−ｋｓｉｎθ）Ｓｗｈ＋（ｋｃｏｓθ−１）Ｓｗｖ｝／Ｄ  ・・・（式９）
Ｃｓ＝（Ｔ２（ｓｉｎθ＋ｃｏｓθ）Ｓｗ−Ｓｗｈ−Ｓｗｖ）／Ｅ  ・・・（式１０）
ｋ＝Ｔ２／Ｔ１  ・・・（式１１）
Ｄ＝Ｔ２（ｓｉｎθ−ｃｏｓθ）（２Ｔ１−Ｔ２（ｓｉｎθ＋ｃｏｓθ））  ・・・（式１２）
Ｅ＝Ｔ２（ｓｉｎθ＋ｃｏｓθ）−  ２Ｔ１  ・・・（式１３）
【００６４】
このように、本実施形態では、簡単な画素信号間の演算によって複数視点画像を示す信号Ａｓ、Ｂｓ、および光利用率の高い画像Ｃｓを生成することができる。画像Ｃｓは視差を示す画像ではないが、複数視点画像Ａｓ、Ｂｓと類似している部分も有り得る。そのため、類似している部分について、複数視点画像Ａｓ、Ｂｓに画像Ｃｓを加えることにより、複数視点画像Ａｓ、Ｂｓの光利用率を高めることができる。
【００６５】
ここで、式８〜式１０について、これらの式は分数で表されているため、分母が大きいほど計算誤差は小さくなると考えられる。そこで、プラスチック製の偏光フィルムを想定し、Ｔ１＝０．４５、Ｔ２＝０．９として、θを０〜４５度まで変化させた場合の上記ＤとＥを計算した結果を図７、８に示す。これらの結果から、Ｄの値を最大にする角度θは２０度で、Ｅの値を最大にする角度θは４５度であることがわかる。しかしながら、Ｄの値はθ＝４５度で０になるため、Ｄの値を優先させ、θ＝２０度が設計値の１つとして望ましい。
【００６６】
一方、カラー画像については、実施形態１の場合と同様に、シアン要素を透過し光電変換される光の量を示す信号量Ｓｃｙ、黄要素を透過し光電変換される光の量を示す信号量ＳｙｅとＷ要素を透過し光電変換される光の量を示す信号量Ｓｗを用いて、以下のように生成できる。赤の色情報Ｓｒは（Ｓｗ−Ｓｃｙ）の演算によって得られる。青の色情報Ｓｂは（Ｓｗ−Ｓｙｅ）の演算により得られる。さらに、（Ｓｗ−Ｓｒ−Ｓｂ）の演算により、緑の色情報が得られる。以上の演算により、ＲＧＢのカラー画像を簡単に生成することができる。その結果、本実施形態における光量の低下は、透光板２の偏光領域Ａにおける損失分のみに抑えられ、透明領域Ｃを透過する光の量を合わせると、入射光の光量低下を大幅に抑えたカラー画像が得られることになる。
【００６７】
以上のように、本実施形態の撮像装置によれば、４行２列を画素の基本構成とし、８個の画素に対応して２個のＣｙ要素、２個のＹｅ要素、２個の透明要素、２個の偏光要素が用いられる。１行１列目および３行１列目にシアン要素（Ｃｙ）、１行２列目および３行２列目に透明要素（Ｗ）、２行１列目および４行１列目に黄要素（Ｙｅ）、２行２列目に透過軸の方向がｘ方向に対してθの角度をなす偏光要素（Ｗｈ）、４行２列目に、透過軸の方向がｙ方向に対してθの角度をなす偏光要素（Ｗｖ）が配置される。また、透光板２ａは、図６における左側に透過軸の方向がｘ方向に一致している偏光左部を有し、右側に同サイズで透過軸の方向がｙ方向に一致している偏光右部を有する。このような構成により、透明要素Ｗに対向する画素の信号、透明要素Ｗｈに対向する画素の信号、および透明要素Ｗｖに対向する画素の信号間の演算から、複数視点画像を作ることができる。さらに、シアン要素Ｃｙに対向する画素の信号、黄要素Ｙｅに対向する画素の信号、および透明要素Ｗに対向する画素の信号間の演算から、感度低下を大幅に抑えられたカラー画像を作ることができる。すなわち、実施形態１と同様、本実施形態によれば、従来技術で用いられた機械的動作部分を必要とせず、画像信号間の演算だけで複数視点画像と感度低下を大幅に抑えられたカラー画像とを同時に得ることがきるという効果を奏する。
【００６８】
なお、本実施形態では、透光板２ａの偏光左部および偏光右部の形状を長方形としたが、これに限るものではない。さらに、偏光要素Ｗｈの透過軸の方向をｘ方向に対して角度θ、Ｗｖの透過軸の方向をｙ方向に対して角度θと決めたが、それに限るものではなく、それぞれ別々の角度でも問題はない。また、本実施形態では、図６に示すように、シアン要素、黄要素、透明要素、偏光要素を用いたが、透過波長域の異なる３種類の色要素を用いれば、カラー画像は得られるので、これらの要素に限定されるものではない。また、図６に示す色配置に限定されるものでもない。例えば、シアン要素および黄要素の代わりに、青の波長域の光を透過させる青フィルタ（青要素Ｂ）、および赤の波長域の光を透過させる赤フィルタ（赤要素Ｒ）を用いてもよい。また、偏光要素Ｗｈ、Ｗｖが配置された画素に対向して、さらに色フィルタが配置されていてもよい。例えば、偏光要素Ｗｈ、Ｗｖを透過する光の光路上に緑の波長域の光を透過させる緑フィルタを配置し、透明要素Ｗの代わりに緑フィルタを配置してもよい。このように、４つの色要素のうち、同色の２要素は透明要素あるいは人間の視感度特性に近い緑要素が望ましい。
【００６９】
本実施形態の変形例として、例えば以下のような構成が可能である。（１）図５に示す構成の少なくとも１つの行の２要素を入れ替えた構成、（２）図５に示すＣｙ要素を赤および青要素の一方に入れ替え、Ｙｅ要素を赤および青要素の他方に入れ替えた構成、（３）上記（２）の構成の少なくとも１つの行の２要素を入れ替えた構成、（４）図５に示すＣｙフィルタを赤および青要素の一方に入れ替え、Ｙｅ要素を赤および青要素の他方に入れ替え、Ｗ要素を緑要素に入れ替え、ＷｈおよびＷｖ要素に加えて緑要素をさらに配置した構成、（５）上記（４）の構成の少なくとも１つの行の２要素を入れ替えた構成。これらのいずれの変形例においても、同様の信号演算により、複数視点画像および光利用率の高いカラー画像を得ることができる。
【００７０】
（実施形態３）
次に本発明の第３の実施形態について説明する。図９は、本実施形態における固体撮像素子１の撮像面における基本色構成を示す図である。２行２列を基本構成とし、１行１列目にシアン要素（Ｃｙ）、１行２列目に透過軸の向きがｘ方向に対してθの角度をなす偏光要素（Ｗｈ）、２行１列目に黄要素（Ｙｅ）、２行２列目に透過軸の向きがｙ方向に対してθの角度をなす偏光要素（Ｗｖ）である。固体撮像素子１の各画素は、上記色要素に１対１で対応し、各色要素の直下に位置している。また、本実施形態では、透光板２ａは実施形態２と同じであるため、説明を省略する。以下、実施形態２と異なる点を中心に説明する。
【００７１】
本実施形態の構成では、Ｗ要素が設けられていないため、実施形態２で示した計算はできない。しかしながら、無彩色に近い被写体を撮像する場合は、Ｃｙ＋Ｙｅ＝Ｗ＋Ｇであるため、ＲＧＢの受光信号比率をＫｒ、Ｋｇ、Ｋｂとすると、Ｗ要素を通して得られる信号は、Ｃｙ要素とＹｅ要素を通して得られる信号の合算に（Ｋｒ＋Ｋｇ＋Ｋｂ）／（Ｋｒ＋２Ｋｇ＋Ｋｂ）倍したものと考えられる。そこで、このような演算を行うことにより、その結果をＷ要素に対向する画素で光電変換される光の量を示す信号とすれば、その後の処理は、実施形態２における処理と同じ処理で複数視点画像を作ることができる。
【００７２】
一方、カラー画像については、シアン要素を透過し光電変換される光の量に相当する信号量Ｓｃｙ、黄要素を透過し光電変換される光の量に相当する信号量Ｓｙｅ、Ｗｈ要素を透過し光電変換される光の量に相当する信号量Ｓｗｈ、およびＷｖ要素を透過し光電変換される光の量に相当する信号量Ｓｗｖを用いて以下のように生成できる。まず、ＳｗｈとＳｗｖとを加算し、それをＷ要素の信号量Ｓｗとする。すると、赤の色情報Ｓｒは（Ｓｗ−Ｓｃｙ）の演算により得られる。青の色情報Ｓｂは（Ｓｗ−Ｓｙｅ）の演算により得られる。さらに、（Ｓｗ−Ｓｒ−Ｓｂ）の演算により緑の色情報が得られる。その結果、光量低下は透光板２ａの偏光領域Ａのみに抑えられ、透明領域Ｃの光量を合わせると入射光の光量低下を大幅に抑えたカラー画像が得られることになる。
【００７３】
以上のように、本実施形態によれば、２行２列を画素の基本構成とし、４個の画素に対応してＣｙ要素、Ｙｅ要素、２つの偏光要素が用いられる。１行１列目にシアン要素（Ｃｙ）、１行２列目に透過軸の方向がｘ方向に対してθの角度をなす偏光要素（Ｗｈ）、２行１列目に黄要素（Ｙｅ）、２行２列目に透過軸の方向がｙ方向に対してθの角度をなす偏光要素（Ｗｖ）が配置される。また、透光板２ａは、図６における左側に透過軸の方向がｘ方向に一致している偏光左部を有し、右側に同サイズで透過軸の方向がｙ方向に一致している偏光右部を有する。このような構成により、シアン要素Ｃｙに対向する画素の信号、黄要素Ｙｅに対向する画素の信号、偏光要素Ｗｈに対向する画素の信号、および偏光要素Ｗｖに対向する画素の信号を用いた演算から、複数視点画像と感度低下を大幅に抑えられたカラー画像とを作ることができる。すなわち、実施形態１、２と同様、従来技術で用いられた機械的動作部分を必要とせず、画像信号間の演算だけで複数視点画像と感度低下を大幅に抑えられたカラー画像とを同時に得ることができるという効果を奏する。
【００７４】
なお、本実施形態では、図９に示す色配置に限るものではなく、シアン要素、黄要素、偏光要素の位置を変更しても構わない。また、シアン要素および黄要素の代わりに赤要素および青要素が配置されていてもよい。
【００７５】
以上の実施形態１〜３において、撮像装置は複数視点画像およびカラー画像の両方を取得するように構成されているが、複数視点画像だけを取得するように構成されていてもよい。視差情報のみを得る目的で本発明を利用する場合、図４、５、９に示すＣｙ要素およびＹｅ要素はなくてもよい。
【００７６】
また、撮像装置は、複数視点画像を得た上で、それらの差分処理を施すことにより、差分画像を得てもよい。さらに、複数視点画像から、各対応点の画像上の位置のずれの大きさを示す視差画像（ｄｉｓｐａｒｉｔｙ  ｍａｐ）を求めてもよい。視差画像を求めることにより、被写体の奥行きを示す情報を得ることができる。
【００７７】
実施形態１〜３では、撮像によって得られる光電変換信号から信号演算によって画像を生成するが、信号演算による画像の生成処理を撮像装置とは独立した他の装置に実行させてもよい。その場合、撮像装置は、図１に示す画像信号生成部７を備えていなくてもよい。例えば、実施形態１〜３における撮像部１００を有する撮像装置によって取得した信号を他の装置に読み込ませ、各実施形態の信号演算処理を規定するプログラムを当該他の装置に実行させることによっても同様の効果を得ることができる。
【産業上の利用可能性】
【００７８】
本発明の３次元撮像装置は、固体撮像素子を用いたすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用可能である。
【符号の説明】
【００７９】
１    固体撮像素子
１ａ  撮像面
２    透光板
３    光学レンズ
４    赤外カットフィルタ
５    信号発生及び画像信号受信部
６    素子駆動部
７    画像信号生成部
８    画像インターフェース部
９    撮像装置
１０    画素
１１    ０度偏光の偏光板
１２    ９０度偏光の偏光板
１３    反射鏡
１４    ハーフミラー
１５    円形の偏光フィルタ
１６    偏光フィルタを回転させる駆動装置
１７、１８    偏光フィルタ
１９    光通過部
２０、２１    偏光透過部
２２    受光部光学フィルタトレイ
２３    特定成分透過フィルタ
２４    カラーフィルタ
２５    フィルタ駆動部
３０    メモリ
１００  撮像部
１１０  フィルタアレイ
２００  信号処理部
【図１】
0005421364.tif 000002
【図２】
0005421364.tif 000003
【図３】
0005421364.tif 000004
【図４】
0005421364.tif 000005
【図５】
0005421364.tif 000006
【図６】
0005421364.tif 000007
【図７】
0005421364.tif 000008
【図８】
0005421364.tif 000009
【図９】
0005421364.tif 000010
【図１０】
0005421364.tif 000011
【図１１】
0005421364.tif 000012
【図１２】
0005421364.tif 000013