(57)【特許請求の範囲】
【請求項１】
透過波長域が互いに異なるｎ個（ｎは２以上の整数）の透過領域を有し、各透過領域は第１波長域の光を透過させる光透過部と、
光感知セルアレイを有し、前記光透過部を透過した光を受けるように配置された固体撮像素子であって、前記光感知セルアレイは、複数の単位ブロックを有し、各単位ブロックは、前記第１波長域の光の量に応じた光電変換信号を出力する第１光感知セルを含むｎ個の光感知セルを含み、前記ｎ個の光感知セルの各々は、互いに異なる波長域の光の量に応じた光電変換信号を出力する、固体撮像素子と、
前記固体撮像素子の撮像面に像を形成する光学系と、
前記第１光感知セルから出力された光電変換信号に０以上１未満の実数である第１係数を乗じた信号と、残りの光感知セルから出力された光電変換信号とを用いて前記光透過部の各領域に入射した光の量を示す信号を生成することにより、視差を有する少なくとも２つの画像データを生成する信号処理部と、
を備える３次元撮像装置。
【請求項２】
ｎ＝３であり、前記光透過部に含まれる前記ｎ個の透過領域の１つは透明領域であり、残りの２つは、シアンの波長域の光を透過させる領域、マゼンタの波長域の光を透過させる領域、黄の波長域の光を透過させる領域のうちの２つである、請求項１に記載の３次元撮像装置。
【請求項３】
前記ｎ個の透過領域の２つは、シアンの波長域の光を透過させる領域、および黄の波長域の光を透過させる領域であり、
前記第１波長域は、緑に対応する波長域である、
請求項２に記載の３次元撮像装置。
【請求項４】
前記第１係数の値は、単位ブロックごとに決定される、請求項１から３のいずれかに記載の３次元撮像装置。
【請求項５】
前記第１係数の値は、各単位ブロックに含まれる前記第１光感知セルから出力された光電変換信号と、残りの光感知セルから出力された光電変換信号の和との比率に基づいて決定される、請求項１から４のいずれかに記載の３次元撮像装置。
【請求項６】
前記信号処理部は、前記第１光感知セルから出力された光電変換信号に０より大きく１以下の実数である第２係数を乗じた信号を、前記残りの光感知セルから出力された光電変換信号の各々に加算した信号を用いて前記光透過部の各領域に入射した光の量を示す信号を生成する、請求項１から５のいずれかに記載の３次元撮像装置。
【請求項７】
前記第２係数の値は、前記第１係数の値に基づいて決定される、請求項６に記載の３次元撮像装置。
【請求項８】
前記第１係数の値をｋ、前記第２係数の値をｋ´とするとき、ｋ´＝１−ｋである、請求項７に記載の３次元撮像装置。
【請求項９】
透過波長域が互いに異なるｎ個（ｎは２以上の整数）の透過領域を有し、各透過領域は第１波長域の光を透過させる光透過部と、光感知セルアレイを有し、前記光透過部を透過した光を受けるように配置された固体撮像素子であって、前記光感知セルアレイは、複数の単位ブロックを有し、各単位ブロックは、前記第１波長域の光の量に応じた光電変換信号を出力する第１光感知セルを含むｎ個の光感知セルを含み、前記Ｎ個の光感知セルの各々は、互いに異なる波長域の光の量に応じた光電変換信号を出力する、固体撮像素子と、前記固体撮像素子の撮像面に像を形成する光学系と、を備える３次元撮像装置によって取得された信号を処理する画像処理装置であって、
前記第１光感知セルから出力された光電変換信号に０以上１未満の実数である第１係数を乗じた信号と、残りの光感知セルから出力された光電変換信号とを用いて前記光透過部の各領域に入射した光の量を示す信号を生成することにより、視差を有する少なくとも２つの画像データを生成する画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は視差を有する複数の画像を生成する単眼の３次元撮像技術に関する。
【背景技術】
【０００２】
近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する場合がある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、固体撮像素子における画素構造の微細化が進んでいる。その結果、固体撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加した。さらに、撮像によって得られる画像の質も飛躍的に向上している。一方、表示装置に関しては、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能になり、高い性能が実現されている。このような映像の高品質化の流れは、２次元画像から３次元画像へと広がりつつある。昨今では、偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。
【０００３】
３次元撮像技術に関して、単純な構成をもつ代表的な技術として、２つのカメラから構成される撮像系を用いて、右目用の画像および左目用の画像をそれぞれ取得するという技術がある。このような、いわゆる２眼撮像方式では、カメラを２つ用いるため、撮像装置が大型になり、コストも高くなり得る。そこで、１つのカメラを用いて視差を有する複数の画像を取得する方式が研究されている。例えば、色フィルタを用いて視差を有する２つの画像を同時に取得する技術が特許文献１に開示されている。図１１は、この技術を用いた撮像系を模式的に示す図である。この技術における撮像系は、レンズ３、レンズ絞り１９、透過波長域の異なる２つの色フィルタ２０ａ、２０ｂが配置された光束制限板２０、感光フィルム２１を備える。ここで、色フィルタ２０ａ、２０ｂは、例えば赤系統、青系統の光をそれぞれ透過させるフィルタである。
【０００４】
以上の構成により、入射光は、レンズ３、レンズ絞り１９、および光束制限板２０を透過し、感光フィルム２１に結像する。その際、光束制限板２０における２つの色フィルタ２０ａ、２０ｂでは、それぞれ赤系統、青系統の光だけが透過する。その結果、感光フィルム上にはこれら２つの色フィルタをそれぞれ透過した光によるマゼンタ系統の色の像が形成される。ここで、色フィルタ２０ａ、２０ｂの位置が異なっているため、感光フィルム上に形成される像には視差が生じる。ここで、感光フィルムから写真を作り、赤色フィルムおよび青色フィルムがそれぞれ右目用および左目用として貼り付けられたメガネを使うと、奥行き感のある画像を見ることができる。このように、特許文献１に開示された技術によれば、２つの色フィルタを使って視差を有する画像を作ることができる。
【０００５】
特許文献１に開示された技術は、感光フィルム上に結像させ、視差を有する複数の画像を作るものであるが、一方で、視差を有する画像を電気信号に変換して取得する技術が特許文献２に開示されている。図１２は、この技術における光束制限板を模式的に表す図である。この技術では、撮像光学系の光軸に垂直な平面上に、赤色光を透過するＲ領域２２Ｒ、緑色光を透過するＧ領域２２Ｇ、青色光を透過するＢ領域２２Ｂが設けられた光束制限板２２が用いられる。これらの領域を透過した光を赤用のＲ画素、緑用のＧ画素、青用のＢ画素を有するカラー撮像素子で受けることにより、各領域を透過した光による画像が取得される。
【０００６】
また、特許文献３にも、図１２の構成と同様の構成を用いて視差を有する複数の画像を取得する技術が開示されている。図１３は、特許文献３に開示された光束制限板を模式的に示す図である。この技術でも、光束制限板２３に設けられたＲ領域２３Ｒ、Ｇ領域２３Ｇ、Ｂ領域２３Ｂを入射光が透過することにより視差のある画像を作ることができる。
【０００７】
上記の特許文献１〜３に示された技術によれば、光束制限板にＲ、Ｇ、Ｂの各色フィルタを配置することによって視差を有する画像を生成することができる。しかしながら、光束制限板を用いるため、入射光量が減少する。また、視差の効果を高めるにはＲ、Ｇ、Ｂの各色フィルタを互いに離れた位置に配置し、それらの面積を小さくする必要があるが、そのようにすると入射光量はさらに減少する。
【０００８】
以上の技術に対して、Ｒ、Ｇ、Ｂの各色フィルタが配置された絞りを用いて、視差を有する複数の画像と光量的に問題のない通常画像とを得ることができる技術が特許文献４に開示されている。この技術では、絞りを閉じた状態ではＲ、Ｇ、Ｂの各色フィルタを透過した光だけが受光され、絞りを開いた状態ではＲＧＢの色フィルタ領域が光路から外されるため、入射光をすべて受けることができる。これにより、絞りを閉じた状態では視差を有する画像を取得し、絞りを開いた状態では光利用率の高い通常画像を取得することができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平２−１７１７３７号公報
【特許文献２】特開２００２−３４４９９９号公報
【特許文献３】特開２００９−２７６２９４号公報
【特許文献４】特開２００３−１３４５３３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従来技術によれば、視差を有する複数の画像を取得することができるが、光束制限板に色フィルタを用いるため、撮像素子の受光量は減少する。入射光量を十分に確保するためには、色フィルタを機械的駆動によって光路から外す機構を用いて光利用率の高い通常画像を取得する必要がある。しかしながら、機械的駆動を用いた技術には、装置の大型化および高コスト化を招くという問題がある。
【００１１】
本発明は、機械的駆動を行うことなく、光利用率が高く、かつどの色成分についても視差を有する複数の画像の生成が可能な３次元撮像技術を提供する。
【課題を解決するための手段】
【００１２】
本発明の３次元撮像装置は、透過波長域が互いに異なるｎ個（ｎは２以上の整数）の透過領域を有し、各透過領域は第１波長域の光を透過させる光透過部と、光感知セルアレイを有し、前記光透過部を透過した光を受けるように配置された固体撮像素子であって、前記光感知セルアレイは、複数の単位ブロックを有し、各単位ブロックは、前記第１波長域の光の量に応じた光電変換信号を出力する第１光感知セルを含むｎ個の光感知セルを含み、前記ｎ個の光感知セルの各々は、互いに異なる波長域の光の量に応じた光電変換信号を出力する、固体撮像素子と、前記固体撮像素子の撮像面に像を形成する光学系と、前記第１光感知セルから出力された光電変換信号に０以上１未満の実数である第１係数を乗じた信号と、残りの光感知セルから出力された光電変換信号とを用いて前記光透過部の各領域に入射した光の量を示す信号を生成することにより、視差を有する少なくとも２つの画像データを生成する信号処理部と、を備える。
【００１３】
ある実施形態において、ｎ＝３であり、前記光透過部に含まれる前記ｎ個の透過領域の１つは透明領域であり、残りの２つは、シアンの波長域の光を透過させる領域、マゼンタの波長域の光を透過させる領域、黄の波長域の光を透過させる領域のうちの２つである。
【００１４】
ある実施形態において、前記ｎ個の透過領域の２つは、シアンの波長域の光を透過させる領域、および黄の波長域の光を透過させる領域であり、前記第１波長域は、緑に対応する波長域である。
【００１５】
ある実施形態において、前記第１係数の値は、単位ブロックごとに決定される。
【００１６】
ある実施形態において、前記第１係数の値は、各単位ブロックに含まれる前記第１光感知セルから出力された光電変換信号と、残りの光感知セルから出力された光電変換信号の和との比率に基づいて決定される。
【００１７】
ある実施形態において、前記信号処理部は、前記第１光感知セルから出力された光電変換信号に０より大きく１以下の実数である第２係数を乗じた信号を、前記残りの光感知セルから出力された光電変換信号の各々に加算した信号を用いて前記光透過部の各領域に入射した光の量を示す信号を生成する。
【００１８】
ある実施形態において、前記第２係数の値は、前記第１係数の値に基づいて決定される。
【００１９】
ある実施形態において、前記第１係数の値をｋ、前記第２係数の値をｋ´とするとき、ｋ´＝１−ｋである。
【００２０】
本発明の画像処理装置は、透過波長域が互いに異なるｎ個（ｎは２以上の整数）の透過領域を有し、各透過領域は第１波長域の光を透過させる光透過部と、光感知セルアレイを有し、前記光透過部を透過した光を受けるように配置された固体撮像素子であって、前記光感知セルアレイは、複数の単位ブロックを有し、各単位ブロックは、前記第１波長域の光の量に応じた光電変換信号を出力する第１光感知セルを含むｎ個の光感知セルを含み、前記Ｎ個の光感知セルの各々は、互いに異なる波長域の光の量に応じた光電変換信号を出力する固体撮像素子と、前記固体撮像素子の撮像面に像を形成する光学系と、を備える３次元撮像装置によって取得された信号を処理する画像処理装置であって、前記第１光感知セルから出力された光電変換信号に０以上１未満の実数である第１係数を乗じた信号と、残りの光感知セルから出力された光電変換信号とを用いて前記光透過部の各領域に入射した光の量を示す信号を生成することにより、視差を有する少なくとも２つの画像データを生成する。
【発明の効果】
【００２１】
本発明によれば、機械的駆動を行うことなく、色フィルタを有する撮像素子を用いて、光利用率が高く、かつどの色成分についても視差を有する複数の画像を得ることができる。
【図面の簡単な説明】
【００２２】
【図１】実施形態１における撮像装置の全体構成を示すブロック図である。
【図２】実施形態１における透光板、光学系、および撮像素子の概略構成を示す模式図である。
【図３】実施形態１における透光板の透過領域の配置を示す図である。
【図４】実施形態１における撮像素子の画素構成を示す図である。
【図５】実施形態１における撮像装置によって第１の方法で生成された画像を示す図である。
【図６】実施形態１における撮像装置によってＧ成分の量を減少させて生成された画像を示す図である。
【図７】実施形態１における画像生成部による処理の流れを示す図である。
【図８】実施形態１における撮像装置によって感度を上げて生成された画像を示す図である。
【図９】ｎ個の透過領域を有する光透過部の一例を示す図である。
【図１０】各単位ブロックにおけるｎ個の光感知セルの配置の一例を示す図である。
【図１１】特許文献１における撮像系の模式図である。
【図１２】特許文献２における光束制限板の模式図である。
【図１３】特許文献３における光束制限板の模式図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照しながら本発明の実施形態を説明する。以下の説明において共通する要素には同一の符号を付している。なお、本明細書において、画像を示す信号または情報を単に「画像」と称する場合がある。
【００２４】
（実施形態１）
図１は、本発明の第１の実施形態における３次元撮像装置（以下、「撮像装置」と呼ぶ。）の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００からの信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。本実施形態の撮像装置は静止画のみならず動画を撮影する機能を備えていてもよい。
【００２５】
撮像部１００は、撮像面上に配列された複数の光感知セルを備える撮像素子（イメージセンサ）１と、透過波長域が互いに異なる３つの透過領域を有し入射光を透過させる透光板（光透過部）２と、撮像素子１の撮像面上に像を形成するための光学レンズ３と、赤外カットフィルタ４とを備えている。撮像部１００は、また、撮像素子１を駆動するための基本信号を発生するとともに撮像素子１からの出力信号を受信して信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって発生された基本信号に基づいて撮像素子１を駆動する素子駆動部６とを備えている。撮像素子１は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部３０は、例えばＣＣＤドライバなどのＬＳＩから構成されている。
【００２６】
信号処理部２００は、撮像部１００から出力された信号を処理して画像信号を生成する画像生成部７と、画像信号の生成に用いられる各種のデータを格納するメモリ３０と、生成した画像信号を外部に送出するインターフェース（ＩＦ）部８とを備えている。また、信号処理部２００は、画像生成部７によって生成した複数の画像の間の視差を推定する視差推定部４０と、推定した視差に基づいて被写体の距離情報を生成する距離情報生成部５０とを備えている。画像生成部７、視差推定部４０、距離情報生成部５０は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、後述する画像信号生成処理、視差推定処理、距離情報生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部１００から得られた信号を記録するとともに、画像生成部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、インターフェース部８を介して不図示の記録媒体や表示部などに送出される。
【００２７】
なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。
【００２８】
次に、図２〜４を参照しながら撮像部１００の構成をより詳細に説明する。
【００２９】
図２は、撮像部１００における透光板２、レンズ３、および撮像素子１の配置関係を模式的に示す図である。なお、図２では、透光板２、レンズ３、および撮像素子１以外の構成要素は省略されている。透光板２は、透過波長域が互いに異なる３つの透過領域Ｃ１、Ｃ２、Ｃ３を有し、入射光を透過させる。レンズ３は、公知のレンズであり、透光板２を透過した光を集光し、撮像素子１の撮像面１ａに結像する。なお、以下の説明において、撮像面１ａに平行な平面において、領域Ｃ１からＣ２へ向かう方向をｘ方向とし、ｘ方向に垂直な方向をｙ方向とする。
【００３０】
図２に示す各構成要素の配置関係はあくまでも一例であって、本発明はこのような配置関係に限られるものではない。例えば、レンズ３は、撮像面１ａに像を形成できれば透光板２よりも撮像素子１から離れて配置されていてもよい。また、レンズ３は、複数のレンズ群から構成されたレンズユニットであり、それらの間に透光板２が配置されていてもよい。また、レンズ３と透光板２とは独立した構成要素である必要はなく、両者は一体化された１つの光学素子として構成されていてもよい。さらに、透光板２と撮像素子１の撮像面とは必ずしも平行に配置されている必要はない。例えば、両者の間にミラーやプリズムなどの、光を反射する光学素子を配置することにより、透光板２と撮像素子１の撮像面とが互いに交差する平面上に位置するように構成することも可能である。
【００３１】
図３は、本実施形態における透光板２の正面図である。本実施形態における透光板２の形状は、レンズ３と同様、円形であるが、他の形状であってもよい。領域Ｃ１には、シアン（Ｃｙ）の波長域（緑および青の波長域）の光を透過させる色フィルタ（Ｃｙフィルタ）が配置される。領域Ｃ２には、黄（Ｙｅ）の波長域（赤および緑の波長域）の光を透過させる色フィルタ（Ｙｅフィルタ）が配置される。
【００３２】
なお、本実施形態における領域Ｃ１およびＣ２は、それぞれＣｙおよびＹｅの波長域の光を透過し、他の波長域の光を透過しないように構成されていれば、色フィルタに限らず、どのような部材で構成されていてもよい。例えば、一部の波長域の光を透過させ、他の波長域の光を反射するダイクロイックミラーなどの光学素子で構成されていてもよい。ここで、領域Ｃ１および領域Ｃ２は、ｘ方向に離れて配置される。領域Ｃ１と領域Ｃ２との間の距離Ｌは、レンズ３のサイズに応じて、取得される画像が適切な視差を有するように決定される。距離Ｌは、例えば、数ｍｍ〜数ｃｍに設定され得る。また、透光板２における他の領域Ｃ３は、白色光（Ｗ）に含まれる全波長域の可視光を透過させる透明部材で形成された透明領域である。透明部材は、光を高い透過率で透過させる部材であればどのようなものでもよい。本実施形態では、領域Ｃ１および領域Ｃ２の面積は等しく、領域Ｃ３の面積は領域Ｃ１、Ｃ２の面積よりも大きく設計されている。
【００３３】
図２に示される撮像素子１の撮像面１ａには、２次元状に複数の光感知セルが配列された光感知セルアレイおよび光感知セルアレイに対向して配置された色フィルタアレイが形成されている。光感知セルアレイおよび色フィルタアレイは、複数の単位ブロックに分割され、各単位ブロックは、４つの光感知セルおよびそれらに対向する４つの色フィルタを含んでいる。各光感知セルは、典型的にはフォトダイオードであり、光電変換によって各々の受光量に応じた電気信号（以下、「光電変換信号」または「画素信号」と呼ぶ。）を出力する。また、各色フィルタは、公知の顔料などを用いて作製され、特定の波長域の光を選択的に透過させるように設計されている。
【００３４】
図４は、光感知セルアレイおよび色フィルタアレイの一部を模式的に示す図である。撮像面１ａ上には多数の光感知セル１２０およびそれらに１対１に対向する色フィルタ１１０が行列状に配列されている。本実施形態では、近接する４つの光感知セル１２０が１つの単位ブロックを構成している。各単位ブロックにおいて、１行１列目には赤（Ｒ）の波長域の光を透過させる色フィルタ（Ｒフィルタ）が配置されている。１行２列目および２行１列目には緑（Ｇ）の波長域の光を透過させる色フィルタ（Ｇフィルタ）が配置されている。２行２列目には青（Ｂ）の波長域の光を透過させる色フィルタ（Ｂフィルタ）が配置されている。このように、本実施形態における色フィルタ１１０の配列は、２行２列を基本とする公知のＢａｙｅｒ配列である。なお、光感知セル１２０および色フィルタ１１０の配列は、必ずしもＢａｙｅｒ配列である必要はなく、公知のどのような配列であってもよい。
【００３５】
以上の構成により、露光中に撮像装置に入射する光は、透光板２、レンズ３、赤外カットフィルタ４、色フィルタ１１０を通って光感知セル１２０に入射する。各光感知セル１２０は、透光板２の領域Ｃ１、Ｃ２、Ｃ３の各々を透過した光のうち、対向する色フィルタを通った光を受け、受けた光の量（強度）に応じた光電変換信号を出力する。各光感知セルによって出力された光電変換信号は、信号発生／受信部５を通して信号処理部２００に送出される。信号処理部２００における画像生成部７は、撮像部１００から送出された信号に基づいて右目用画像、左目用画像、およびカラー画像を生成する。
【００３６】
なお、本実施形態における撮像素子１は上記の色フィルタアレイによって色分離を行うが、本発明においては色フィルタアレイを用いない撮像素子を用いてもよい。例えば、特表２００２−５１３１４５に開示された三重ウエル構造を有する撮像素子を用いることができる。このように、各単位ブロックが赤の波長域の光を検知するＲ検知セル、緑の波長域の光を検知するＧ検知セル、および青の波長域の光を検知するＢ検知セルを含んでいればどのような撮像素子も利用可能である。
【００３７】
また、本実施形態では、１つの光感知セルが赤、緑、青のいずれかの波長域の光を検知するが、１つの光感知セルが検知する波長域をさらに細分化させてもよい。例えば、赤光の波長域λｒを３つの波長域λｒ１、λｒ２、λｒ３に分割し、各々がλｒ１、λｒ２、λｒ３に対応する３つの光感知セルを設けてもよい。この場合、３つの光感知セルの画素信号の合計を赤光に対応する信号であるとして処理することができる。
【００３８】
以下、各光感知セルから出力される光電変換信号を説明する。まず、透光板２の領域Ｃ１、Ｃ２、Ｃ３に入射する光の強度に相当する信号を、それぞれ添え字「ｉ」を付けてＣｉ１、Ｃｉ２、Ｃｉ３と表すこととする。また、透光板２における透明領域Ｃ３、レンズ３、および赤外カットフィルタ４を合わせた分光透過率をＴｗ、Ｃｙフィルタの分光透過率をＴｃｙ、Ｙｅフィルタの分光透過率をＴｙｅとする。同様に、Ｒ、Ｇ、Ｂの各色フィルタの分光透過率を、それぞれＴｒ、Ｔｇ、Ｔｂと表す。ここで、Ｔｗ、Ｔｃｙ、Ｔｙｅ、Ｔｒ、Ｔｇ、Ｔｂは、入射する光の波長λに依存する関数である。Ｒ、Ｇ、Ｂの色フィルタを透過して対向する光感知セルで受光される光の強度を示す信号を、それぞれ添え字「ｓ」を付けてＲｓ、Ｇｓ、Ｂｓと表す。また、可視光の波長域における分光透過率の積分演算を記号Σで表すこととする。例えば、波長λについての積分演算∫ＴｗＴｃｙＴｒｄλなどを、ΣＴｗＴｃｙＴｒなどと表すこととする。ここで、積分は可視光の全波長域にわたって行われるものとする。すると、Ｒｓは、Ｃｉ１ΣＴｗＴｃｙＴｒ、Ｃｉ２ΣＴｗＴｙｅＴｒ、およびＣｉ３ΣＴｗＴｒを合算した結果に比例する。Ｇｓは、Ｃｉ１ΣＴｗＴｃｙＴｇ、Ｃｉ２ΣＴｗＴｙｅＴｇ、およびＣｉ３ΣＴｗＴｇを合算した結果に比例する。Ｂｓは、Ｃｉ１ΣＴｗＴｃｙＴｂ、Ｃｉ２ΣＴｗＴｙｅＴｂ、Ｃｉ３ΣＴｗＴｂを合算した結果に比例する。これらの関係における比例係数を１とすれば、Ｒｓ、Ｇｓ、Ｂｓは、以下の式１〜３で表すことができる。
（式１）Ｒｓ＝Ｃｉ１ΣＴｗＴｃｙＴｒ＋Ｃｉ２ΣＴｗＴｙｅＴｒ＋Ｃｉ３ΣＴｗＴｒ
（式２）Ｇｓ＝Ｃｉ１ΣＴｗＴｃｙＴｇ＋Ｃｉ２ΣＴｗＴｙｅＴｇ＋Ｃｉ３ΣＴｗＴｇ
（式３）Ｂｓ＝Ｃｉ１ΣＴｗＴｃｙＴｂ＋Ｃｉ２ΣＴｗＴｙｅＴｂ＋Ｃｉ３ΣＴｗＴｂ
【００３９】
式１〜３において、ΣＴｗＴｃｙＴｒ、ΣＴｗＴｙｅＴｒ、ΣＴｗＴｒを、それぞれＭｘ１１、Ｍｘ１２、Ｍｘ１３で表し、ΣＴｗＴｃｙＴｇ、ΣＴｗＴｙｅＴｇ、ΣＴｗＴｇを、それぞれＭｘ２１、Ｍｘ２２、Ｍｘ２３で表し、ΣＴｗＴｃｙＴｂ、ΣＴｗＴｙｅＴｂ、ΣＴｗＴｂを、それぞれＭｘ３１、Ｍｘ３２、Ｍｘ３３で表すこととする。すると、Ｒｓ、Ｇｓ、ＢｓとＣｉ１、Ｃｉ２、Ｃｉ３との関係は、行列を用いて以下の式４で表すことができる。
【数１】
0005406163.tif 000002
【００４０】
ここで、式４における要素Ｍｘ１１〜Ｍｘ３３からなる行列の逆行列の要素を、それぞれｉＭ１１〜ｉＭ３３とすると、式４は次の式５に変形できる。すなわち、領域Ｃ１、Ｃ２、Ｃ３に入射する光の強度を示す信号を、光電変換信号Ｒｓ、Ｇｓ、Ｂｓを用いて表すことができる。
【数２】
0005406163.tif 000003
【００４１】
画像生成部７（図１）は、式５に基づく信号演算を実行し、信号Ｃｉ１、Ｃｉ２、Ｃｉ３を、単位ブロックごとに生成する。このようにして単位ブロックごとに生成された信号Ｃｉ１、Ｃｉ２、Ｃｉ３は、領域Ｃ１、Ｃ２、Ｃ３のそれぞれに入射する光によって形成される３つの画像を表す。特に、信号Ｃｉ１、Ｃｉ２によって表される画像は、ｘ方向に離れて位置する領域Ｃ１、Ｃ２からそれぞれ被写体を見たときの画像に相当するため、左目用画像および右目用画像として扱うことができる。すなわち、信号Ｃｉ１、Ｃｉ２によって表される２つの画像は、領域Ｃ１、Ｃ２の距離に応じた視差を有する。したがって、これらの画像から被写体の奥行きを示す情報を得ることができる。
【００４２】
以上の処理によって得られる画像信号Ｃｉ１、Ｃｉ２、Ｃｉ３は、光電変換信号Ｒｓ、Ｇｓ、Ｂｓを用いて表されるが、これらはカラー画像ではなく、濃淡画像（白黒画像）に相当する。濃淡画像ではなくカラー画像を得るには、上記の信号演算処理は行わず、得られた各光電変換信号から通常のＢａｙｅｒ配列におけるカラー処理を行えばよい。その際、透光板２に配置されたＣｙフィルタ、Ｙｅフィルタによって入射光の損失や色温度ずれが発生し得るが、これらの色フィルタの光透過率が高いため、入射光の損失を従来技術の場合よりも小さくできる。また、全体的な色のずれが発生しても白バランスの調整により対処できる。このように、本実施形態の撮像装置によれば、光利用率の高い良好なカラー画像を得ることができる。
【００４３】
なお、カラー画像を得る際に、各光電変換信号から通常のＢａｙｅｒ配列におけるカラー処理を行うのではなく、式４におけるＣｉ３の項だけを利用してカラー情報を得てもよい。すなわち、式５に基づいてＣｉ３を求めた後、Ｍｘ１３×Ｃｉ３をＲの光量、Ｍｘ２３×Ｃｉ３をＧの光量、Ｍｘ３３×Ｃｉ３をＢの光量とすることによってもカラー画像を得ることができる。
【００４４】
以上の処理によって視差を有する２つの画像を得ることができるが、被写体からの反射光に緑光が多く含まれている場合、正しく視差情報を得られないという課題がある。本実施形態では、透光板２の透過領域にはＣｙフィルタ、Ｙｅフィルタ、および透明部材が用いられる。これらの透過領域は、Ｃｙフィルタ、Ｙｅフィルタ、および透明部材のいずれにおいても緑光（利用する色フィルタにもよるが、一般に４９０〜５７５ｎｍ近辺の波長成分を指す。）を透過させる。そのため、撮像素子１に入射する緑光は、Ｃｙ、Ｙｅ、透明の各透過領域をそれぞれ透過した緑光の重ね合わせとなる。したがって、緑光を検知する光感知セルは、視差を有する複数の画像を生成する前提条件である、複数の方向から入射する光のいずれかを選択的に受光することができない。
【００４５】
図５は、上記の処理によって生成した３つの画像の例を示している。図５上段は撮影した画像を濃淡で表示したものである。図５中段および下段は、それぞれ画像信号Ｃｉ１およびＣｉ２に基づいて生成された、視差を有する２つの画像を示している。各画像の背景には、カラーチャート（色比較表）が置かれている。図５上段の矢印は、カラーチャートの一部の区画が何色であるかを示している。図５中段と下段とを比べると、図５中段の背景は、図５下段の背景よりも左に寄っていることがわかる。しかし、矢印で示す緑領域（緑の波長域の光を反射する領域）では、視差がないため、図５中段と下段とで見え方に差異がなく、明るさも同じである。
【００４６】
そこで、本実施形態では、視差の算出に寄与しない信号Ｇｓが視差の算出に寄与する信号ＲｓおよびＢｓよりも大きい領域では、視差の算出に利用するＧｓの量を少なくすることにより違和感のない視差を有する画像の生成を行う。具体的には、得られた信号Ｇｓをｋ倍（ｋは０以上１未満の実数）することにより、各透過領域に入射する光の量を示す信号に含まれる緑成分の量を減らす。すると、上記の式４、５は、それぞれ以下の式６、７に書き換えられる。
【数３】
0005406163.tif 000004
【数４】
0005406163.tif 000005
【００４７】
ここで、式７の行列の右上に付した「−１」は逆行列を意味する。ただし、ｋが０のときは２行３列となるため、擬似逆行列となる。その他の文字は式４、式５と同じである。
【００４８】
なお、係数ｋは画像毎に決めてもよいし、単位ブロック毎に決めても良い。画像毎にｋを決める場合、例えば、シーン中に含まれる緑成分の量を求め、全体の光量に対する緑光の量の割合をその画像における係数ｋの値に設定することができる。また、単位ブロック毎に決める場合は、Ｒｓ、Ｇｓ、Ｂｓの値を利用して決めてもよい。例えば、以下の式８に基づいて係数ｋを決定することができる。
（式８）  ｋ＝（（Ｒｓ＋Ｂｓ）÷２）÷Ｇｓ÷Ｍａｘ
【００４９】
式８により、ＧｓがＲｓおよびＢｓに比べて相対的に大きければ、ｋの値が小さくなるように設定することが可能である。ここでＭａｘは、撮像素子が取りうる信号の最大値であり、例えば信号が８ｂｉｔで表される場合、Ｍａｘの値は２５５である。
【００５０】
式８はあくまでもｋを決定するための一例であり、緑光の量が赤光および青光の量に比べて相対的に小さいときにｋが大きくなり、相対的に大きいときにｋが小さくなるような変換式であれば特に変換式は問わない。
【００５１】
式７に基づいて算出した信号Ｃｉ１、Ｃｉ２に基づく画像をそれぞれ図６中段、下段に示す。図６上段は図５上段と同じ画像である。図６からわかるように、濃淡における違和感が少ない視差を示す２つの画像を取得できることがわかる。
【００５２】
ここで、画像生成部７によって単位ブロックごとに実行される上記の信号処理の手順を図７に示す。画像生成部７は、まず、ステップＳ１において信号Ｒｓ、Ｇｓ、Ｂｓを取得する。次に、ステップＳ２において、信号Ｇｓをｋ倍し、信号ｋＧｓを生成する。続いて、ステップＳ３において、信号ｋＧｓ、Ｒｓ、Ｂｓを用いて式７に基づく演算を行い、信号Ｃｉ１、Ｃｉ２、Ｃｉ３を生成する。このようにして、Ｇ成分についても視差を有する複数の画像信号が生成される。
【００５３】
式７に基づいて生成された画像では、Ｇｓの利用量が少なくなるため感度が下がる。そこで、感度を向上させるために、以下の式９に示すように、ＲｓおよびＢｓに、例えばＧｓを（１−ｋ）倍（ｋは０以上１未満の実数）した信号を加算してもよい。
【数５】
0005406163.tif 000006
【００５４】
ここでは、Ｒｓ、Ｂｓの各々に（１−ｋ）Ｇｓを加えているが、この値は（１−ｋ）Ｇｓである必要はなく、Ｇｓをｋ´倍（ｋ´は０より大きく１以下の実数）した値であればよい。Ｒｓ、Ｂｓの各々にｋ´倍した値を加算する場合、式９は次の式１０に書き換えられる。
【数６】
0005406163.tif 000007
【００５５】
式１０に基づいて算出した信号Ｃｉ１、Ｃｉ２に基づく画像をそれぞれ図８中段、下段に示す。図８上段は図５および図６の上段と同じ画像である。図８からわかるように、違和感が少なく、かつ感度が改善された２つの画像を取得できることがわかる。
【００５６】
Ｇｓは透光板２の全領域を通過する光の信号であるため、ＲｓやＢｓのような入射光の視点依存性がない。したがって、Ｇｓは画像全体に対する明るさのオフセットと考えることができる。ただし、ｋ´が大きいと画像は明るくなるが視差量が減り、ｋ´が小さいと暗くなるが視差量が増えるという特徴がある。
【００５７】
以上の信号演算処理によれば、緑の波長域の光を反射する被写体が多いシーンでは、ｋ´を小さくすることで視差を取得しやすくできる。一方、緑の波長域の光を反射する被写体が少ないシーンでは、ｋ´を大きくすることで視差量も感度も高い画像を得ることができる。本実施形態の撮像装置によれば、このようにシーンの全体または一部に含まれる緑成分の割合に応じて取得できる視差量を柔軟に設定することが可能である。
【００５８】
本実施形態における画像信号生成部７は、上記のように視差を有する２つの画像、光利用率の高い濃淡画像およびカラー画像を生成することができるが、これらの画像を全て生成することは必須ではない。画像信号生成部７は、少なくとも視差を有する２つの画像データを生成するように構成されていればよい。
【００５９】
また、上記の説明では、Ｃｙフィルタ、Ｙｅフィルタ、透明領域の三領域からなる透光板２を用いる例を示したが、Ｙｅフィルタの代わりにマゼンタ（Ｍｇ）フィルタを用いてもよい。ＣｙフィルタとＭｇフィルタとを用いる場合には、Ｂｓの視差情報が取得できないため、式７でＧｓに重み付けしたように、Ｂｓの重みを小さくするように変更することで違和感のない視差を有する２つの画像を生成できる。具体的には、式７を次の式１１のように変更すればよい。
【数７】
0005406163.tif 000008
【００６０】
また、ＹｅフィルタおよびＭｇフィルタを用いてもよい。この場合、Ｒｓの視差情報が取得できないため、式７をＲｓの重みを小さくするように変更することで違和感のない視差を有する画像を得ることができる。具体的には、式７を次の式１２のように変更すればよい。
【数８】
0005406163.tif 000009
【００６１】
以上のように、本実施形態の撮像装置によれば、透光板２を透過波長域の異なる３個の透過領域Ｃ１、Ｃ２、Ｃ３に分割し、３種類の画素（Ｒ、Ｇ、Ｂ）を有する撮像素子１を用いて撮影することによって視差を有する２つの画像を得ることができる。さらに、透光板２の全ての領域を透過する色成分（波長域）の光に対応する画素の信号に重みを付けることにより、ハードウェアの構成を変更することなく違和感のない視差を有する２つの画像を生成できる。
【００６２】
なお、本実施形態の撮像装置は、撮像によって得られる光電変換信号から信号演算によって画像を生成するが、信号演算による画像の生成処理を撮像装置とは独立した画像処理装置に実行させてもよい。例えば、本実施形態における撮像部１００を有する撮像装置によって取得した信号を他の装置に読み込ませ、上記の信号演算処理を規定するプログラムを当該他の装置に実行させることによっても上記と同様の効果を得ることができる。
【００６３】
以上の実施形態では、透光板２は３つの透過領域Ｃ１、Ｃ２、Ｃ３を備え、光感知セルアレイにおける各単位ブロックに含まれる光感知セルの種類の数も透過領域の数と同じく３種類（Ｒ、Ｇ、Ｂ）である。しかしながら、本発明における透過領域の数および光感知セルの種類の数は、上記の例に限定されるものではない。例えば、各単位ブロックに含まれる光感知セルの種類の数が透過領域の数を上回っていてもよい。その場合であっても、各光感知セルの光電変換信号と透過領域に入射する光の量との間の関係式に基づく信号演算によって画像情報を求めることができる。なお、光感知セルの種類の数とは、１つの単位ブロックに含まれる複数の光感知セルによって検知され得る色成分（波長域）の種類の数を意味する。
【００６４】
また、透光板２（光透過部）における透過領域の数は２つでもよいし３つより多くてもよい。本発明における光透過部２は、透過波長域が互いに異なるｎ個（ｎは２以上の整数）の透過領域を有し、各透過領域が第１波長域の光を透過させるように構成されていればよい。また、光感知セルアレイにおける各単位ブロックは第１波長域の光の量に応じた光電変換信号を出力する第１光感知セルを含むｎ個の光感知セルを含んでいればよい。ここで、ｎ個の光感知セルは、互いに異なる波長域の光の量に応じた光電変換信号を出力する。典型的には、各光感知セルに対向して色フィルタが配置されるが、上述した特表２００２−５１３１４５に開示されているような、色フィルタが配置されない撮像素子を用いてもよい。
【００６５】
例えば、ｎ＝２の場合、透光板２を２分割し、一方をＣｙフィルタ、他方をＹｅフィルタで構成することが可能である。この場合、例えば、撮像素子１の各単位画素ブロックを、Ｇの波長域の光を検知する光感知セルおよびＣｙの波長域の光を検知する光感知セルの２つで構成すれば、上記の方法で良好な視差を示す２つの画像を生成できる。
【００６６】
図９は、ｎが３よりも大きい場合に一般化された光透過部２の一例を模式的に示す図である。図示される例では、光透過部２は長方形の形状を有しているが、他の形状を有していてもよい。この例では、光透過部２は、ｎ個の透過領域Ｃ１〜Ｃｎを有している。ここで、透過領域Ｃ１〜Ｃｎの透過波長域は互いに異なっている。この例では、透過領域Ｃ１〜Ｃｎ−１は円形の同一サイズの領域であり、その他の領域が透過領域Ｃｎであるが、各領域の形状、サイズ、位置はこのような例に限られない。光利用率の観点から、透過領域Ｃ１〜Ｃｎは、透明か、または補色の波長域の光を透過させるように設計されていることが好ましい。
【００６７】
図１０は、このように一般化した場合における光感知セルアレイの各単位ブロックにおける光感知セルの配列の一例を示す図である。図示されるように、各単位要素は光感知セルＤ１〜Ｄｎを有している。光感知セルＤ１〜Ｄｎは、例えば、色フィルタによって互いに異なる波長域の光を検知するように構成されている。なお、光感知セルの配列は図示される配列に限られず、どのような配列でも可能である。
【００６８】
このように一般化した場合、光透過部２の各透過領域に入射する光による画像信号Ｃｉ１、Ｃｉ２、・・・、Ｃｉｎと、撮像素子１の各光感知セルから出力されるｎ個の光電変換信号Ｄｓ１、Ｄｓ２、・・・、Ｄｓｎとの間の関係は、以下の式１３で表すことができる。
【数９】
0005406163.tif 000010
【００６９】
式１３に基づいて画像情報Ｃｉ１〜Ｃｉｎを求める場合、Ｍｘ１１〜Ｍｘｎｎを要素とするｎ×ｎ行列の行列式が０に近い値にならないように撮像系の光学特性が構成されることが好ましい。式１３におけるｎ×ｎ行列の逆行列の要素をｉＭ１１〜ｉＭｎｎとすると、式１３は、以下の式１４に変形できる。
【数１０】
0005406163.tif 000011
【００７０】
式１４に基づく信号演算処理を実行することにより、光電変換信号Ｄｓ１〜Ｄｓｎから透過領域Ｃ１〜Ｃｎに入射する光の量を示す信号Ｃｉ１〜Ｃｉｎを生成することができる。これにより、視差を有するｎ個の画像データを生成することができる。
【００７１】
ただし、このように一般化した場合においても、第１波長域の光は全ての透過領域を透過するため、第１波長域の光に関する視差情報を得ることができないという問題が生じる。そのため、画像生成部７は、上記の第１光感知セルから出力された光電変換信号（ここではＤｓ１とする。）に係数ｋ（ｋは０以上１未満の実数）を乗じた信号ｋＤｓ１を、Ｄｓ１の代わりに用いて各透過領域に対応する信号Ｃｉ１〜Ｃｉｎを算出する。すなわち、上記の式１３、１４の代わりに、以下の式１５、１６が用いられる。
【数１１】
0005406163.tif 000012
【数１２】
0005406163.tif 000013
【００７２】
また、上記の式１５に基づいて得られる信号Ｃｉ１〜Ｃｉｎによる画像においては、第１波長域の光の成分が減少するため、輝度が低下する。そこで、信号Ｄｓ２〜Ｄｓｎに、Ｄｓ１をｋ´倍（ｋ´は０より大きく１以下の実数）した信号を加えてもよい。その場合、式１５、１６の代わりに、以下の式１７、１８を用いればよい。
【数１３】
0005406163.tif 000014
【数１４】
0005406163.tif 000015
【００７３】
式１７、１８によって得られる信号Ｃｉ１〜Ｃｉｎを用いて画像を生成すれば、輝度が改善された視差を示す複数の画像を生成することができる。
【００７４】
ここで、係数ｋは、１つの画像について一定の値に設定してもよいし、単位ブロックごとに決定してもよい。ｋは、第１波長域の光の量が他の波長域の光の量に比べて相対的に小さいときには小さい値に設定され、相対的に大きいときには大きい値に設定されれば、どのように決定してもよい。ｋは、例えば、各単位ブロックに含まれる第１光感知セルから出力された光電変換信号と、当該単位ブロックに含まれる残りの光感知セルから出力された光電変換信号の和との比率に基づいて決定され得る。また、係数ｋ´は、係数ｋとは独立に決定してもよいし、ｋの値に基づいて決定してもよい。係数ｋ´は、例えば、上述したように、ｋ´＝１−ｋと設定することができる。
【００７５】
なお、本発明の撮像装置は、上記の信号Ｃｉ１〜Ｃｉｎの全てを生成せずに、これらの信号のうち少なくとも２つの信号を生成するように構成されていてもよい。そのような構成であっても、少なくとも２つの画像データが得られるため、視差情報を得ることができる。
【産業上の利用可能性】
【００７６】
本発明の３次元撮像装置は、固体撮像素子を用いたすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用可能である。
【符号の説明】
【００７７】
１  固体撮像素子
１ａ  固体撮像素子の撮像面
２  透光板（光透過部）
３  光学レンズ
４  赤外カットフィルタ
５  信号発生／受信部
６  素子駆動部
７  画像生成部
８  インターフェース部
９  被写体
１９  レンズ絞り
２０、２２、２３  光束制限板
２０ａ  赤系統の光を透過させる色フィルタ
２０ｂ  青系統の光を透過させる色フィルタ
２１  感光フィルム
２２Ｒ、２３Ｒ  光束制限板のＲ光透過領域
２２Ｇ、２３Ｇ  光束制限板のＧ光透過領域
２２Ｂ、２３Ｂ  光束制限板のＢ光透過領域
３０  メモリ
１００  撮像部
１１０  色フィルタ
１２０  光感知セル
２００  信号処理部
【図１】
0005406163.tif 000016
【図２】
0005406163.tif 000017
【図３】
0005406163.tif 000018
【図４】
0005406163.tif 000019
【図５】
0005406163.tif 000020
【図６】
0005406163.tif 000021
【図７】
0005406163.tif 000022
【図８】
0005406163.tif 000023
【図９】
0005406163.tif 000024
【図１０】
0005406163.tif 000025
【図１１】
0005406163.tif 000026
【図１２】
0005406163.tif 000027
【図１３】
0005406163.tif 000028