(57)【要約】  ３次元撮像装置は、分光透過率特性が互いに異なるｍ個（ｍは２以上の整数）の透過領域を有する光透過部２と、ｍ個の透過領域を透過した光を受けるように配置された撮像素子１であって、各々がｎ個（ｎはｍ以上の整数）の光感知セル、およびｎ個の光感知セルに対向して配置された、分光透過率特性が互いに異なるｎ個の透過フィルタを含む複数の単位要素が配列された撮像素子と、画像処理部とを備える。画像処理部は、ｍ個の透過領域の分光透過率特性およびｎ個の透過フィルタの分光透過率特性によって規定されるｎ×ｍ行列におけるｍ個の列ベクトルの少なくとも２つの間の角度を変化させることによって修正した行列を用いて複数視点画像を生成する。
2012157210.tif 000002
【特許請求の範囲】
【請求項１】
分光透過率特性が互いに異なるｍ個（ｍは２以上の整数）の透過領域を有する光透過部と、
前記ｍ個の透過領域を透過した光を受けるように配置された撮像素子であって、各々がｎ個（ｎはｍ以上の整数）の光感知セル、および前記ｎ個の光感知セルに対向して配置された、分光透過率特性が互いに異なるｎ個の透過フィルタを含む複数の単位要素が配列された撮像素子と、
前記撮像素子の撮像面に像を形成する結像部と、
前記ｍ個の透過領域の分光透過率特性および前記ｎ個の透過フィルタの分光透過率特性によって規定されるｎ×ｍ行列におけるｍ個の列ベクトルの少なくとも２つの間の角度を変化させることによって前記ｎ×ｍ行列を修正し、修正した前記ｎ×ｍ行列、および前記ｎ個の光感知セルから出力されたｎ個の光電変換信号に基づいて、前記ｍ個の透過領域の少なくとも２つに入射した光による複数視点画像を生成する画像処理部と、
を備えた３次元撮像装置。
【請求項２】
前記画像処理部は、前記ｍ個の列ベクトルの少なくとも２つの間の角度を増加させることによって前記ｎ×ｍ行列の行列式を増加させる、請求項１に記載の３次元撮像装置。
【請求項３】
前記画像処理部は、前記複数視点画像間の相関値が予め定められた閾値よりも小さくなるように、前記角度を変化させる、請求項１または２に記載の３次元撮像装置。
【請求項４】
前記画像処理部は、前記ｎ×ｍ行列の行列式が予め定められた閾値よりも大きくなるように、前記角度を増加させる、請求項１から３のいずれかに記載の３次元撮像装置。
【請求項５】
前記画像処理部は、前記ｍ個の列ベクトルのうち、ベクトル間角度が最も小さい２つの列ベクトルの間の角度を増加させる、請求項１から４のいずれかに記載の３次元撮像装置。
【請求項６】
前記画像処理部は、前記ｍ個の列ベクトルに含まれる任意の２つの列ベクトルの間の角度を求め、前記角度が小さいものから順に増加させることによって前記ｎ×ｍ行列の行列式を増加させる、請求項１から５のいずれかに記載の３次元撮像装置。
【請求項７】
ｍ＝２、ｎ＝２である、請求項１から６のいずれかに記載の３次元撮像装置。
【請求項８】
分光透過率特性が互いに異なるｍ個（ｍは２以上の整数）の透過領域を有する光透過部と、
前記ｍ個の透過領域を透過した光を受けるように配置された撮像素子であって、各々がｎ個（ｎはｍ以上の整数）の光感知セル、および前記ｎ個の光感知セルに対向して配置された、分光透過率特性が互いに異なるｎ個の透過フィルタを含む複数の単位要素が配列された撮像素子と、
前記撮像素子の撮像面に像を形成する結像部と、
を備える３次元撮像装置によって取得された信号に基づいて複数視点画像を生成する画像処理装置であって、
前記ｍ個の透過領域の分光透過率特性および前記ｎ個の透過フィルタの分光透過率特性によって規定されるｎ×ｍ行列におけるｍ個の列ベクトルの少なくとも２つの間の角度を変化させることによって前記ｎ×ｍ行列を修正し、修正した前記ｎ×ｍ行列および前記ｎ個の光感知セルから出力されたｎ個の光電変換信号に基づいて、前記ｍ個の透過領域の少なくとも２つに入射した光による複数視点画像を生成する、
画像処理装置。
【請求項９】
分光透過率特性が互いに異なるｍ個（ｍは２以上の整数）の透過領域を有する光透過部と、
前記ｍ個の透過領域を透過した光を受けるように配置された撮像素子であって、各々がｎ個（ｎはｍ以上の整数）の光感知セル、および前記ｎ個の光感知セルに対向して配置された、分光透過率特性が互いに異なるｎ個の透過フィルタを含む複数の単位要素が配列された撮像素子と、
前記撮像素子の撮像面に像を形成する結像部と、
を備える３次元撮像装置によって取得された信号に基づいて複数視点画像を生成する画像処理方法であって、
前記ｍ個の透過領域の分光透過率特性および前記ｎ個の透過フィルタの分光透過率特性によって規定されるｎ×ｍ行列におけるｍ個の列ベクトルの少なくとも２つの間の角度を変化させることによって前記ｎ×ｍ行列を修正するステップと、
修正した前記ｎ×ｍ行列および前記ｎ個の光感知セルから出力されたｎ個の光電変換信号に基づいて、前記ｍ個の透過領域の少なくとも２つに入射した光による複数視点画像を生成するステップと、
を含む画像処理方法。
【請求項１０】
分光透過率特性が互いに異なるｍ個（ｍは２以上の整数）の透過領域を有する光透過部と、
前記ｍ個の透過領域を透過した光を受けるように配置された撮像素子であって、各々がｎ個（ｎはｍ以上の整数）の光感知セル、および前記ｎ個の光感知セルに対向して配置された、分光透過率特性が互いに異なるｎ個の透過フィルタを含む複数の単位要素が配列された撮像素子と、
前記撮像素子の撮像面に像を形成する結像部と、
を備える３次元撮像装置によって取得された信号に基づいて複数視点画像を生成するための画像処理プログラムであって、
コンピュータに対し、
前記ｍ個の透過領域の分光透過率特性および前記ｎ個の透過フィルタの分光透過率特性によって規定されるｎ×ｍ行列におけるｍ個の列ベクトルの少なくとも２つの間の角度を変化させることによって前記ｎ×ｍ行列を修正するステップと、
修正した前記ｎ×ｍ行列および前記ｎ個の光感知セルから出力されたｎ個の光電変換信号に基づいて、前記ｍ個の透過領域の少なくとも２つに入射した光による複数視点画像を生成するステップと、
を実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は視差を有する複数の画像を取得する単眼の３次元撮像技術に関する。
【背景技術】
【０００２】
近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する場合がある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、固体撮像素子における画素構造の微細化が進んでいる。その結果、固体撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加した。さらに、撮像によって得られる画像の質も飛躍的に向上している。一方、表示装置に関しては、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能になり、高い性能が実現されている。このような映像の高品質化の流れは、２次元画像から３次元画像へと広がりつつある。昨今では、偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。【０００３】
３次元撮像技術に関して、単純な構成をもつ代表的な技術として、２つのカメラから構成される撮像系を用いて、右目用の画像および左目用の画像をそれぞれ取得するという技術がある。このような、いわゆる２眼撮像方式では、カメラを２つ用いるため、撮像装置が大型になり、コストも高くなり得る。そこで、１つのカメラを用いて視差を有する複数の画像（以下、「複数視点画像」と呼ぶことがある。）を取得する方式（単眼撮像方式）が研究されている。例えば、色フィルタを用いて視差を有する２つの画像を同時に取得する方式が特許文献１に開示されている。図１６は、この方式による撮像系を模式的に示す図である。この技術における撮像系は、レンズ３、レンズ絞り１９、透過波長域の異なる２つの色フィルタ２０ａ、２０ｂが配置された光束制限板２０、感光フィルム２１を備える。ここで、色フィルタ２０ａ、２０ｂは、例えば赤系統、青系統の光をそれぞれ透過させるフィルタである。【０００４】
以上の構成により、入射光は、レンズ３、レンズ絞り１９、および光束制限板２０を透過し、感光フィルム２１に結像する。その際、光束制限板２０における２つの色フィルタ２０ａ、２０ｂでは、それぞれ赤系統、青系統の光だけが透過する。その結果、感光フィルム２１上にはこれらの２つの色フィルタをそれぞれ透過した光によるマゼンタ系統の色成分の像が形成される。ここで、色フィルタ２０ａ、２０ｂの位置が異なっているため、感光フィルム２１上に形成される像には視差が生じる。ここで、感光フィルムから写真を作り、赤色フィルムおよび青色フィルムがそれぞれ右目用および左目用として貼り付けられたメガネを使うと、奥行き感のある画像を見ることができる。このように、特許文献１に開示された技術によれば、２つの色フィルタを使って複数視点画像を作ることができる。【０００５】
特許文献１に開示された技術は、感光フィルム上に結像させ、視差を有する複数の画像を作るものであるが、一方で、視差を有する画像を電気信号に変換して取得する技術が特許文献２に開示されている。図１７は、この技術における光束制限板２２を模式的に表す図である。この技術では、撮像光学系の光軸に垂直な平面上に、赤色光を透過するＲ領域２２Ｒ、緑色光を透過するＧ領域２２Ｇ、青色光を透過するＢ領域２２Ｂが設けられた光束制限板２２が用いられる。これらの領域を透過した光を、赤色光を検知するＲ画素、緑色光を検知するＧ画素、青色光を検知するＢ画素を有するカラー撮像素子で受けることにより、各領域を透過した光による画像が取得される。【０００６】
また、特許文献３にも、図１７の構成と同様の構成を用いて視差を有する複数の画像を取得する技術が開示されている。図１８は、特許文献３に開示された光束制限板２３を模式的に示す図である。この技術でも、光束制限板２３に設けられたＲ領域２３Ｒ、Ｇ領域２３Ｇ、Ｂ領域２３Ｂを入射光が透過することにより視差を有する複数の画像を作ることができる。【０００７】
特許文献４も同様に、光軸に対して対称的に配置された、互いに色の異なる一対のフィルタを用いて視差を有する複数の画像を生成する技術を開示している。一対のフィルタとして赤色のフィルタおよび青色のフィルタを利用することにより、赤色光を検知するＲ画素は赤フィルタを透過した光を観測し、青色光を検知するＢ画素は青フィルタを透過した光を観測する。赤フィルタと青フィルタとは位置が異なるため、Ｒ画素が受ける光の入射方向とＢ画素が受ける光の入射方向とは互いに異なる。その結果、Ｒ画素で観測される画像とＢ画素で観測される画像とは、互いに視点の異なる画像となる。これらの画像から画素ごとに対応点を求めることにより、視差量を算出することができる。算出された視差量とカメラの焦点距離情報とから、カメラから被写体までの距離が求められる。【０００８】
特許文献５は、口径サイズが互いに異なる２枚の色フィルタ（例えば、赤と青）が取り付けられた絞り、または色の異なる２枚の色フィルタが光軸に対して左右対称の位置に取り付けられた絞りを用いて取得した２つの画像から被写体の距離情報を求める技術を開示している。この技術では、口径サイズが互いに異なる赤および青の色フィルタをそれぞれ透過した光を観測する場合、色ごとに観測されるボケの程度が異なる。そのため、赤および青の色フィルタのそれぞれに対応する２つの画像は、被写体の距離によってボケの程度が異なる画像となる。これらの画像から対応点を求め、ボケの程度を比較することにより、カメラから被写体までの距離情報が得られる。一方、光軸に対して左右対称の位置に取り付けられた色の異なる２枚の色フィルタをそれぞれ透過した光を観測する場合、色ごとに観測される入射光の方向が異なる。そのため、赤および青の色フィルタのそれぞれに対応する２つの画像は、視差を有する画像となる。これらの画像から対応点を求め、対応点間の距離を求めることにより、カメラから被写体までの距離情報が得られる。【０００９】
上記の特許文献１〜５に開示された技術によれば、光束制限板または絞りにＲＧＢ系統の色フィルタを配置することによって視差を有する複数の画像を生成することができる。しかしながら、ＲＧＢ系統の色フィルタを用いるため、入射光量が大きく減少する。また、視差量を大きくするためには複数の色フィルタを互いに離れた位置に配置し、それらの面積を小さくする必要がある。しかしながら、色フィルタの面積を小さくすると入射光量はさらに減少する。【００１０】
以上の従来技術に対して、ＲＧＢの複数の色フィルタが配置された絞りを用いて、視差を有する複数の画像と光量的に問題のない通常画像とを得ることができる技術が特許文献６に開示されている。この技術によれば、撮像素子は、絞りを閉じた状態ではＲＧＢの色フィルタを透過した光だけを受け、絞りを開いた状態ではＲＧＢの色フィルタ領域が光路から外れるため、入射光をすべて受けることができる。これにより、絞りを閉じた状態では複数視点画像を取得し、絞りを開いた状態では光利用率の高い通常画像を取得することができる。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平２−１７１７３７号公報
【特許文献２】特開２００２−３４４９９９号公報
【特許文献３】特開２００９−２７６２９４号公報
【特許文献４】特開２０１０−３８７８８号公報
【特許文献５】特開２０１０―７９２９８号公報
【特許文献６】特開２００３−１３４５３３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
特許文献１〜５に開示された技術によれば、複数視点画像を取得することができるが、原色（ＲＧＢ系統）の色フィルタが用いられるため、撮像素子の受光量は大きく減少する。一方、特許文献６に開示された技術によれば、機械的駆動によって色フィルタを光路から外す機構を用いて光利用率の高い通常画像を取得できる。しかしながら、この技術においても複数視点画像を取得するためには原色の色フィルタが用いられるため、光利用率の高い複数視点画像を得ることはできない。また、この技術には装置の大型化および高コスト化を招くという課題もある。【００１３】
本発明の実施形態は、機械的駆動を行うことなく、光利用率の高い複数視点画像を取得し得る撮像技術を提供する。
【課題を解決するための手段】
【００１４】
上記課題を解決するために、本発明の一態様に係る３次元撮像装置は、分光透過率特性が互いに異なるｍ個（ｍは２以上の整数）の透過領域を有する光透過部と、前記ｍ個の透過領域を透過した光を受けるように配置された撮像素子であって、各々がｎ個（ｎはｍ以上の整数）の光感知セル、および前記ｎ個の光感知セルに対向して配置された、分光透過率特性が互いに異なるｎ個の透過フィルタを含む複数の単位要素が配列された撮像素子と、前記撮像素子の撮像面に像を形成する結像部と、前記ｍ個の透過領域の分光透過率特性および前記ｎ個の透過フィルタの分光透過率特性によって規定されるｎ×ｍ行列におけるｍ個の列ベクトルの少なくとも２つの間の角度を変化させることによって前記ｎ×ｍ行列を修正し、修正した前記ｎ×ｍ行列、および前記ｎ個の光感知セルから出力されたｎ個の光電変換信号に基づいて、前記ｍ個の透過領域の少なくとも２つに入射した光による複数視点画像を生成する画像処理部とを備える。【００１５】
上述の一般的かつ特定の態様は、システム、方法、およびコンピュータプログラムを用いて実装され、または、システム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。
【発明の効果】
【００１６】
本発明の実施形態によれば、機械的駆動を行うことなく、従来よりも光利用率の高い複数視点画像を取得することが可能になる。
【図面の簡単な説明】
【００１７】
【図１】実施形態１における全体構成を示すブロック図である。
【図２】実施形態１における透光板、光学系、および撮像素子の概略構成を示す模式図である。
【図３】実施形態１における透光板の透過領域の配置を示す図である。
【図４】実施形態１における撮像素子の透過フィルタの基本構成を示す図である。
【図５】透光板における透過フィルタの分光透過率の例を示す図である。
【図６】撮像素子における透過フィルタの分光透過率の例を示す図である。
【図７】透光板における透過フィルタの分光透過率の他の例を示す図である。
【図８】撮像素子における透過フィルタの分光透過率の他の例を示す図である。
【図９】２つのベクトルの例を模式的に示す図である。
【図１０】入力画像および複数視点画像の例を示す図である。
【図１１】θを変化させたときの行列式、相関値、および信頼度の変化を示すグラフである。
【図１２】実施形態１における処理ステップの例を示すフローチャートである。
【図１３】実施形態１における処理によって生成された複数視点画像の例である。
【図１４】ｍ個の透過領域を有する透光板の一例を示す図である。
【図１５】撮像素子の各単位要素におけるｎ個の透過フィルタの配置の一例を示す図である。
【図１６】特許文献１における撮像系の構成図である。
【図１７】特許文献２における光束制限板の外観図である。
【図１８】特許文献３における光束制限板の外観図である。
【発明を実施するための形態】
【００１８】
（１）本発明の一態様に係る３次元撮像装置は、分光透過率特性が互いに異なるｍ個（ｍは２以上の整数）の透過領域を有する光透過部と、前記ｍ個の透過領域を透過した光を受けるように配置された撮像素子であって、各々がｎ個（ｎはｍ以上の整数）の光感知セル、および前記ｎ個の光感知セルに対向して配置された、分光透過率特性が互いに異なるｎ個の透過フィルタを含む複数の単位要素が配列された撮像素子と、前記撮像素子の撮像面に像を形成する結像部と、前記ｍ個の透過領域の分光透過率特性および前記ｎ個の透過フィルタの分光透過率特性によって規定されるｎ×ｍ行列におけるｍ個の列ベクトルの少なくとも２つの間の角度を変化させることによって前記ｎ×ｍ行列を修正し、修正した前記ｎ×ｍ行列、および前記ｎ個の光感知セルから出力されたｎ個の光電変換信号に基づいて、前記ｍ個の透過領域の少なくとも２つに入射した光による複数視点画像を生成する画像処理部とを備える。
【００１９】
（２）ある実施形態において、前記画像処理部は、前記ｍ個の列ベクトルの少なくとも２つの間の角度を増加させることによって前記ｎ×ｍ行列の行列式を増加させる。
【００２０】
（３）項目（１）または（２）に記載の３次元撮像装置のある態様において、前記画像処理部は、前記複数視点画像間の相関値が予め定められた閾値よりも小さくなるように、前記角度を変化させる。
【００２１】
（４）項目（１）から（３）のいずれかに記載の３次元撮像装置のある態様において、前記画像処理部は、前記ｎ×ｍ行列の行列式が予め定められた閾値よりも大きくなるように、前記角度を増加させる。
【００２２】
（５）項目（１）から（４）のいずれかに記載の３次元撮像装置のある態様において、前記画像処理部は、前記ｍ個の列ベクトルのうち、ベクトル間角度が最も小さい２つの列ベクトルの間の角度を増加させる。
【００２３】
（６）項目（１）から（５）のいずれかに記載の３次元撮像装置のある態様において、前記画像処理部は、前記ｍ個の列ベクトルに含まれる任意の２つの列ベクトルの間の角度を求め、前記角度が小さいものから順に増加させることによって前記ｎ×ｍ行列の行列式を増加させる。
【００２４】
（７）項目（１）から（６）のいずれかに記載の３次元撮像装置のある態様において、ｍ＝２、ｎ＝２である。
【００２５】
（８）本発明の一態様に係る画像処理装置は、３次元撮像装置によって取得された信号に基づいて複数視点画像を生成する。前記３次元撮像装置は、分光透過率特性が互いに異なるｍ個（ｍは２以上の整数）の透過領域を有する光透過部と、前記ｍ個の透過領域を透過した光を受けるように配置され、各々がｎ個（ｎはｍ以上の整数）の光感知セル、および前記ｎ個の光感知セルに対向して配置された、分光透過率特性が互いに異なるｎ個の透過フィルタを含む複数の単位要素が配列された撮像素子と、前記撮像素子の撮像面に像を形成する結像部とを備える。前記画像処理装置は、前記ｍ個の透過領域の分光透過率特性および前記ｎ個の透過フィルタの分光透過率特性によって規定されるｎ×ｍ行列におけるｍ個の列ベクトルの少なくとも２つの間の角度を変化させることによって前記ｎ×ｍ行列を修正し、修正した前記ｎ×ｍ行列および前記ｎ個の光感知セルから出力されたｎ個の光電変換信号に基づいて、前記ｍ個の透過領域の少なくとも２つに入射した光による複数視点画像を生成する。
【００２６】
（９）本発明の一態様に係る画像処理方法は、分光透過率特性が互いに異なるｍ個（ｍは２以上の整数）の透過領域を有する光透過部と、前記ｍ個の透過領域を透過した光を受けるように配置され、各々がｎ個（ｎはｍ以上の整数）の光感知セル、および前記ｎ個の光感知セルに対向して配置された、分光透過率特性が互いに異なるｎ個の透過フィルタを含む複数の単位要素が配列された撮像素子と、前記撮像素子の撮像面に像を形成する結像部とを備える３次元撮像装置によって取得された信号に基づいて複数視点画像を生成する画像処理方法である。前記画像処理方法は、前記ｍ個の透過領域の分光透過率特性および前記ｎ個の透過フィルタの分光透過率特性によって規定されるｎ×ｍ行列におけるｍ個の列ベクトルの少なくとも２つの間の角度を変化させることによって前記ｎ×ｍ行列を修正するステップと、修正した前記ｎ×ｍ行列および前記ｎ個の光感知セルから出力されたｎ個の光電変換信号に基づいて、前記ｍ個の透過領域の少なくとも２つに入射した光による複数視点画像を生成するステップとを含む。
【００２７】
（１０）本発明の一態様に係る画像処理プログラムは、分光透過率特性が互いに異なるｍ個（ｍは２以上の整数）の透過領域を有する光透過部と、前記ｍ個の透過領域を透過した光を受けるように配置された撮像素子であって、各々がｎ個（ｎはｍ以上の整数）の光感知セル、および前記ｎ個の光感知セルに対向して配置された、分光透過率特性が互いに異なるｎ個の透過フィルタを含む複数の単位要素が配列された撮像素子と、前記撮像素子の撮像面に像を形成する結像部とを備える３次元撮像装置によって取得された信号に基づいて複数視点画像を生成するための画像処理プログラムである。前記画像処理プログラムは、コンピュータに対し、前記ｍ個の透過領域の分光透過率特性および前記ｎ個の透過フィルタの分光透過率特性によって規定されるｎ×ｍ行列におけるｍ個の列ベクトルの少なくとも２つの間の角度を変化させることによって前記ｎ×ｍ行列を修正するステップと、修正した前記ｎ×ｍ行列および前記ｎ個の光感知セルから出力されたｎ個の光電変換信号に基づいて、前記ｍ個の透過領域の少なくとも２つに入射した光による複数視点画像を生成するステップとを実行させる。
【００２８】
以下、図面を参照しながら本発明の具体的な実施形態を説明する。以下の説明において、共通または対応する要素には同一の符号を付している。なお、本明細書において、画像を示す信号または情報を単に「画像」と称する場合がある。
【００２９】
（実施形態１）
図１は、本発明の第１の実施形態における撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００から出力される信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。
【００３０】
撮像部１００は、撮像面上に配列された複数の光感知セル（画素）を備える固体撮像素子１（以下、単に「撮像素子」と呼ぶ。）と、透過率の波長依存性（分光透過率）が互いに異なる２つの透過領域を有する透光板（光透過部）２と、撮像素子１の撮像面上に像を形成するための光学レンズ３と、赤外カットフィルタ４とを備えている。撮像部１００はまた、撮像素子１を駆動するための基本信号を発生するとともに撮像素子１からの出力信号を受信して信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって発生された基本信号に基づいて撮像素子１を駆動する素子駆動部６とを備えている。撮像素子１は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部３０は、例えばＣＣＤドライバなどのＬＳＩから構成されている。
【００３１】
信号処理部２００は、撮像部１００から出力された信号を処理して画像信号を生成する画像信号生成部７と、画像信号の生成に用いられる各種のデータを格納するメモリ３０と、生成した画像信号を外部に送出するインターフェース（ＩＦ）部８とを備えている。画像信号生成部７は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部１００から得られた信号を記録するとともに、画像信号生成部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、インターフェース部８を介して不図示の記録媒体や表示部などに送出される。
【００３２】
なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。
【００３３】
次に、図２〜４を参照しながら撮像部１００の構成をより詳細に説明する。
【００３４】
図２は、撮像部１００における透光板２、光学レンズ３、および撮像素子１の配置関係を模式的に示す図である。なお、図２では、透光板２、光学レンズ３、および撮像素子１以外の構成要素は省略されている。透光板２は、分光透過率が互いに異なる２つの透過領域Ｃ１、Ｃ２を有し、入射光を透過させる。光学レンズ３は、公知のレンズであり、透光板２を透過した光を集光し、撮像素子１の撮像面１ａに結像する。透光板２において透過領域Ｃ１、Ｃ２以外の領域は、遮光性部材で形成されており、光が透光板２の透過領域Ｃ１、Ｃ２以外は通過しないように構成されている。以下の説明において、図２に示すように、領域Ｃ１からＣ２へ向かう方向をｘ方向とし、撮像面１ａに平行な平面上でｘ方向に垂直な方向をｙ方向とする座標を用いる。なお、図２に示す各構成要素の配置関係はあくまでも一例であって、本発明はこのような配置関係に限られるものではない。例えば、レンズ３は、撮像面１ａに像を形成できれば透光板２よりも撮像素子１から離れて配置されていてもよい。また、レンズ３と透光板２とが一体となって構成されていてもよい。
【００３５】
図３は、本実施形態における透光板２の正面図である。本実施形態における透光板２の形状は、レンズ３の形状と同様、円形であるが、他の形状であってもよい。領域Ｃ１およびＣ２には、可視光Ｗの波長域に含まれる任意の波長の光についてその少なくとも一部を透過させる透過フィルタが配置される。いずれの透過フィルタも可視光の波長域に含まれる任意の波長の光を透過させるが、それらの分光透過率が異なるため、同じ光が領域Ｃ１を通過した場合と領域Ｃ２を通過した場合とで透過光の明るさ（輝度）は互いに異なる。各透過領域の分光透過率についての詳細は後述する。各透過フィルタは、所望の透過率で光を透過させる機能を有していれば、どのような部材で構成されていてもよい。各透過フィルタは、例えば、ガラス、プラスチック、セロファンなどで構成され得る。なお、本実施形態では、透過領域Ｃ１、Ｃ２には互いに分光透過率の異なる透過フィルタが配置されるが、各領域は、所望の分光透過率を有する部材であれば何で構成されていてもよい。例えば、一方の透過領域を透明にする場合、その領域は空気で代用してもよい。
【００３６】
領域Ｃ１および領域Ｃ２は、ｘ方向に一定の距離Ｌを隔てて配置される。距離Ｌは、レンズ３のサイズに応じて、取得される画像が適切な視差を有するように決定される。距離Ｌは、例えば、数ｍｍ〜数ｃｍに設定され得る。透過領域Ｃ１、Ｃ２は、図３に示すように、光軸に対して左右（ｘ方向）に対称的に配置され、同一面積を有していることが好ましい。この構成により、左右の各領域Ｃ１、Ｃ２に入射する光の量がほぼ等しくなる。なお、透過領域Ｃ１、Ｃ２の配置は、図３に示す配置に限らず、用途に応じて適宜決定され得る。例えば、上下（ｙ方向）の視差情報を取得したい場合には、透過領域Ｃ１、Ｃ２をｙ方向に並べてもよい。また、透過領域Ｃ１、Ｃ２の透過率の差が大きい場合には、観測される画素値の差が大きくなるため、取得される２つの画像の明るさに差異が生じる。そのため、透過領域Ｃ１、Ｃ２の透過率の差が大きい場合、取得される２つの画像の明るさが近くなるように、領域Ｃ１、Ｃ２の面積を調整してもよい。
【００３７】
図２に示される撮像素子１の撮像面１ａには、２次元状に配列された光感知セルアレイおよび光感知セルアレイに対向して配置された透過フィルタアレイが形成されている。光感知セルアレイおよび透過フィルタアレイは、複数の単位要素から構成されている。本実施形態では、各単位要素は２つの光感知セルおよびそれらに対向する２つの透過フィルタを含んでいる。各光感知セルは、典型的にはフォトダイオードを含んでおり、光電変換によって各々の受光量に応じた電気信号（「光電変換信号」または「画素信号」と呼ぶ。）を出力する。各透過フィルタは、公知の顔料や誘電体多層膜などを用いて作製され、可視光の波長域に含まれる任意の波長の光について、少なくとも一部を透過させるように設計されている。
【００３８】
図４は、本実施形態における透過フィルタアレイの一部を模式的に示す上面図である。図示されるように、撮像面１ａ上には多数の透過フィルタ１１０が行列状に配列されている。上述のように、近接する２つの透過フィルタ１１０およびそれらに対向する２つの光感知セル１２０が１つの単位要素に含まれる。各単位要素が有する２つの透過フィルタＤ１、Ｄ２は、いずれも可視光の波長域に含まれる任意の波長の光を透過させるが、透過率の波長依存性が互いに異なる。
【００３９】
なお、図４に示す例では、２つの光感知セルを横（ｘ方向）に並べているが、光感知セル１２０の配列はどのような配列でもよい。例えば、縦（ｙ方向）に並んでいてもよいし、斜めに並んでいてもよい。また、１つの単位要素に含まれる光感知セル１２０の数は２個に限らず、３個以上でもよい。さらに、光感知セル１２０および透過フィルタ１１０は、ｘ方向およびｙ方向に沿って配列されている必要はなく、ｘ方向およびｙ方向に対して斜めに配列されていてもよい。
【００４０】
次に、本実施形態における透過領域Ｃ１、Ｃ２、および透過フィルタＤ１、Ｄ２の分光透過率の例を簡単に説明する。図５は、透光板２における透過領域Ｃ１、Ｃ２の分光透過率の例を示す図でり、図６は、撮像素子１の透過フィルタＤ１、Ｄ２の分光透過率の例を示す図である。この例では、領域Ｃ１の分光透過率Ｔｃ１は可視光の波長域（約４００ｎｍ〜約７００ｎｍ）でほぼ１００％となる矩形波のような波形で表され、領域Ｃ２の分光透過率Ｔｃ２は可視光の波長域においてｃｏｓカーブのような波形で表される。一方、透過フィルタＤ１の分光透過率Ｔｄ１は矩形波のような波形で表され、透過フィルタＤ２の分光透過率Ｔｄ２はｓｉｎカーブのような波形で表される。この例では、Ｔｃ１およびＴｄ１は、どの波長においても透過率がほぼ１００％であるため、光の減衰がほとんどなく、良好な感度特性が得られる。
【００４１】
各フィルタは、図５、図６に示す例に限らず、Ｔｃ１とＴｃ２とが互いに異なり、Ｔｄ１とＴｄ２とが互いに異なるように設計されていればよい。例えば、図７、図８に示すように、Ｔｃ１、Ｔｃ２、Ｔｄ１、Ｔｄ２が矩形波や三角関数以外の波形で表されるように各透過領域および各透過フィルタが構成されていてもよい。また、Ｔｃ１、Ｔｃ２、Ｔｄ１、Ｔｄ２は、可視光に含まれる一部の波長域の光を完全にカットするように設計されていてもよい。ただし、光の利用率を高くする観点から、カットされる波長域は極力少ない方が好ましく、また、全体として透過率が高いほど好ましい。
【００４２】
以上の構成により、露光中に撮像装置に入射した光は、透光板２、レンズ３、赤外カットフィルタ４、透過フィルタ１１０を通って光感知セル１２０に入射する。各光感知セルは、透光板２の領域Ｃ１、Ｃ２の各々を透過した光のうち、対向する透過フィルタを通った光を受け、受けた光の量に応じた光電変換信号を出力する。各光感知セルによって出力された光電変換信号は、信号発生／受信部５を通して信号処理部２００に送出される。信号処理部２００における画像信号生成部７は、撮像部１００から送出された信号に基づいて複数視点画像を生成する。
【００４３】
以下、各光感知セルから出力される光電変換信号を説明する。透過領域Ｃ１、Ｃ２および透過フィルタＤ１、Ｄ２の透過率がどの波長についても１００％であると仮定した場合に、領域Ｃ１を通って着目する１つの画素に入射する光の強度を示す信号をＣｉ１、領域Ｃ２を通って着目する１つの画素に入射する光の強度を示す信号をＣｉ２で表すこととする。また、前提として、１つの単位要素に含まれる各光感知セルには同一の強度の光が入射するものとし、入射する光はすべて可視光であると仮定する。説明を簡単にするため、領域Ｃ１、Ｃ２に入射する光の強度の波長依存性を無視する。すなわち、被写体は無彩色であると仮定する。また、レンズ３および赤外カットフィルタ４を合わせた分光透過率をＴｗ、領域Ｃ１の分光透過率をＴｃ１、領域Ｃ２の分光透過率をＴｃ２とする。同様に、撮像素子１における透過フィルタＤ１、Ｄ２の分光透過率をそれぞれＴｄ１、Ｔｄ２と表す。
【００４４】
ここで、Ｔｗ、Ｔｃ１、Ｔｃ２、Ｔｄ１、Ｔｄ２は、入射する光の波長λに依存する関数であるため、それぞれＴｗ（λ）、Ｔｃ１（λ）、Ｔｃ２（λ）、Ｔｄ１（λ）、Ｔｄ２（λ）と表す。透過フィルタＤ１、Ｄ２を透過してその対向する光感知セルで受光される光の強度を示す信号をそれぞれｄ１、ｄ２と表す。また、可視光の波長域における分光透過率の積分演算を記号Σで表すこととする。例えば、波長λについての積分演算∫Ｔｗ（λ）Ｔｃ１（λ）Ｔｄ１（λ）ｄλなどを、ΣＴｗＴｃ１Ｔｄ１などと表すこととする。ここで、積分は可視光の全波長域にわたって行われるものとする。すると、ｄ１は、Ｃｉ１ΣＴｗＴｃ１Ｔｄ１、Ｃｉ２ΣＴｗＴｃ２Ｔｄ２を合算した結果に比例する。同様に、ｄ２は、Ｃｉ１ΣＴｗＴｃ１Ｔｄ２、Ｃｉ２ΣＴｗＴｃ２Ｔｄ２を合算した結果に比例する。これらの関係における比例係数を１とすれば、ｄ１、ｄ２は、それぞれ以下の式１、２で表すことができる。
（式１）  ｄ１＝Ｃｉ１ΣＴｗＴｃ１Ｔｄ１＋Ｃｉ２ΣＴｗＴｃ２Ｔｄ１
（式２）  ｄ２＝Ｃｉ１ΣＴｗＴｃ１Ｔｄ２＋Ｃｉ２ΣＴｗＴｃ２Ｔｄ２
【００４５】
式１、２において、ΣＴｗＴｃ１Ｔｄ１、ΣＴｗＴｃ２Ｔｄ１、ΣＴｗＴｃ１Ｔｄ２、ΣＴｗＴｃ２Ｔｄ２を、それぞれＭｘ１１、Ｍｘ１２、Ｍｘ２１、Ｍｘ２２と表すこととする。すると、式１は、行列を用いて以下の式３で表すことができる。
【数１】
2012157210.tif 000003
【００４６】
ここで、式３における要素Ｍｘ１１〜Ｍｘ２２からなる行列の逆行列の要素を、ｉＭ１１〜ｉＭ２２とすると、式３は次の式４に変形できる。すなわち、領域Ｃ１、Ｃ２に入射する光の強度を示す信号Ｃｉ１、Ｃｉ２を、光電変換信号ｄ１、ｄ２を用いて表すことができる。
【数２】
2012157210.tif 000004
【００４７】
式４に基づく演算により、各画素の入射光量を示す信号ｄ１、ｄ２（観測画素値）を、透過領域Ｃ１、Ｃ２にそれぞれ入射する光の強度信号Ｃｉ１、Ｃｉ２に変換することができる。図１に示す画像信号生成部７は、式４に基づく信号演算を実行し、信号Ｃｉ１、Ｃｉ２を、単位要素ごとに生成する。単位要素ごとに生成された信号Ｃｉ１、Ｃｉ２は、透過領域Ｃ１、Ｃ２のそれぞれに入射する光によって形成される２つの画像を表す。すなわち、これらの２つの画像は、透過領域Ｃ１、Ｃ２の位置の違いに起因する視差を有する複数視点画像となる。したがって、式４に基づく演算を行うことにより、透過領域Ｃ１、Ｃ２の位置に対応した複数視点画像を生成することができる。
【００４８】
しかしながら、実際の撮影環境では、撮像素子１および透光板２における各透過フィルタの個体差や計測誤差により、各透過フィルタの分光透過率を正しく取得することは難しい。分光透過率特性が正しく計測できていない場合、式３における行列の各要素が誤差を含むこととなる。各要素の誤差をそれぞれＭｘ１１´、Ｍｘ１２´、Ｍｘ２１´、Ｍｘ２２´と表すと、式３は以下の式５に変形される。
【数３】
2012157210.tif 000005
【００４９】
式５における行列の逆行列を求め、式４のようにＣｉ１およびＣｉ２を求める式に変形すると、次の式６が得られる。
【数４】
2012157210.tif 000006
【００５０】
式６におけるｄｅｔは、式５における行列の行列式を表し、ｄｅｔ＝（Ｍｘ１１＋Ｍｘ１１´）（Ｍｘ２２＋Ｍｘ２２´）−（Ｍｘ１２＋Ｍｘ１２´）（Ｍｘ２１＋Ｍｘ２１´）である。式６を展開すると、Ｃｉ１およびＣｉ２は、それぞれ以下の式７、８で表される。
【数５】
2012157210.tif 000007
【数６】
2012157210.tif 000008
【００５１】
式７、８において、誤差は第２項のみに含まれる。そこで、これらの第２項を「誤差項」と呼ぶこととする。これらの誤差項はｄｅｔに反比例するため、誤差が大きい場合であってもｄｅｔが大きければ相対的に誤差の影響は小さくなる。逆に、誤差が小さい場合であってもｄｅｔの値が小さければ相対的に誤差の影響が大きくなる。誤差の影響が大きい場合、算出したＣｉ１、Ｃｉ２は、誤差がない場合における値とは大きく異なることになる。
【００５２】
また、実際の撮影環境では、光を減衰させる透過フィルタが透光板２および撮像素子１に配置されるため、各画素の受光量が減少する。そのため、画像には熱ノイズなどの影響による誤差も含まれ得る。ここで、観測画像の画素信号ｄ１、ｄ２に含まれる誤差をそれぞれｄ１´、ｄ２´とすると、式３は次の式９に変形される。
【数７】
2012157210.tif 000009
【００５３】
式９における行列の逆行列を求め、式４のようにＣｉ１、Ｃｉ２を求める式に変形すると、以下の式１０が得られる。
【数８】
2012157210.tif 000010
【００５４】
式１０におけるｄｅｔは、式９における行列の行列式を表し、ｄｅｔ＝Ｍｘ１１Ｍｘ２２−Ｍｘ１２Ｍｘ２１である。式１０を展開すると、Ｃｉ１およびＣｉ２は、それぞれ以下の式１１、１２で表される。
【数９】
2012157210.tif 000011
【数１０】
2012157210.tif 000012
【００５５】
式１１、１２も式７、８と同様、第２項に誤差の影響を表す誤差項が存在し、これらの誤差項がｄｅｔに反比例している。したがって、誤差が大きい場合であってもｄｅｔが大きければ相対的に誤差の影響は小さくなり、誤差が小さい場合であってもｄｅｔの値が小さければ相対的に誤差の影響が大きくなる。誤差の影響が大きい場合、算出したＣｉ１、Ｃｉ２は、誤差がない場合における値とは大きく異なることになる。
【００５６】
そこで、本実施形態では、誤差項がｄｅｔに反比例していることに着目し、ｄｅｔが大きくなるように行列の修正を行うことによって誤差の影響を低減させる。行列式ｄｅｔは負の値をとることもあるため、本実施形態では、絶対値｜ｄｅｔ｜を大きくするように行列が修正される。なお、式７、８、１１、１２における第１項も、表式上ｄｅｔに反比例するが、後述の処理では、ｄｅｔを大きくする際に、これらの式における第１項の分子も大きくなるように行列が修正される。したがって本実施形態によれば、誤差項の影響だけを相対的に小さくすることができる。
【００５７】
行列の値を変える方法として、各要素を自由に変動させることによって誤差の影響を小さくする行列を求める方法が考えられる。そのような方法を採用する場合、各要素の値を少しずつ変えて生成された膨大な数の行列の中から最適な行列を選択する必要があるため、計算量が多くなるという問題がある。
【００５８】
ここで、式３における行列の１列目をベクトルＡ、２列目をベクトルＢとすることを考える。すなわち、ベクトルＡおよびベクトルＢを、以下の式１３のように定義する。
【数１１】
2012157210.tif 000013
【００５９】
図９は、ベクトルＡおよびＢの例を模式的に示す図である。ベクトルＡおよびＢは、２次元ユークリッド空間上のベクトルと考えることができ、行列式ｄｅｔは、ベクトルＡおよびベクトルＢの外積演算によって算出できる。すなわち、行列式ｄｅｔは、ｄｅｔ＝｜Ａ｜｜Ｂ｜ｓｉｎθにより算出可能である。ここで、θは、ベクトルＡとベクトルＢとがなす角度である。このθが大きいほど｜ｄｅｔ｜は大きくなり、θが小さいほど｜ｄｅｔ｜は小さくなる。
【００６０】
以上のことから、θを０度から９０度まで回転させ、それぞれの角度について｜ｄｅｔ｜を求めることにより最適なθを決めることができる。なお、θを０度から９０度まで変化させることにより、｜ｓｉｎθ｜の最小値０から最大値１まで変化させることが可能であるため、θを３６０度まで回転させる必要はない。
【００６１】
ここで、｜ｄｅｔ｜が最大となるのは、θ＝９０度（ｓｉｎθ＝１）のときであり、このとき、ベクトルＡとベクトルＢとは直交し、誤差項の影響が最も小さくなる。ベクトルＢがベクトルＡを９０度回転させたベクトルであるとき、ベクトルＢは、以下の式１４で表される。
【数１２】
2012157210.tif 000014
【００６２】
ここでは、説明を簡単にするため、｜Ａ｜＝｜Ｂ｜としている。このとき、ベクトルＡが（Ｍｘ１１，Ｍｘ２１）T、ベクトルＢが（−Ｍｘ２１，Ｍｘ１１）Tとなるため、ベクトルＡおよびＢから構成される行列Ｍは、以下の式１５で表される。
【数１３】
2012157210.tif 000015
【００６３】
式３における行列の代わりに、この行列Ｍを用いることにより、誤差項の影響の少ない複数視点画像を求めることができる。式１５のＭを用いるとき、式１１および式１２は、それぞれCi1＝1／det (d1Mx11＋d2Mx21)＋1／det (d1'Mx11＋d2'Mx21)およびCi2＝1／det(d2Mx11―d1Mx21)＋1／det(d2'Mx11―d1'Mx21)となる。これは、Mx２１の絶対値が大きくなるほど、Ci1が明るく、Ci2が暗くなるか、あるいは、負の値を含む画像になる。このような状況を防ぐ単純な方法は、Mx21が０となる分光透過率のフィルタを利用することである。
【００６４】
例えば、同程度の透過率をもつ赤および青の色フィルタが透過領域Ｃ１およびＣ２にそれぞれ配置された透光板２と、同様の赤および青の色フィルタが透過フィルタＤ１およびＤ２として配置された撮像素子１とを利用する場合に成立する。この場合、ΣＴｗＴｃ１Ｔｄ１＝ΣＴｗＴｃ２Ｔｄ２、かつ、ΣＴｗＴｃ１Ｔｄ２＝ΣＴｗＴｃ２Ｔｄ１＝０となる。ただし、この場合、Ci1＝1／det (d1Mx11)＋1／det( d1'Mx11)およびCi2 ＝ 1／det ( d2Mx11)＋1／det( d2'Mx11)となり、Ci1とCi2はそれぞれ、入力信号ｄ１とｄ２を定数倍したものとなる。そのため、誤差項の影響は小さいが、画素信号から領域Ｃ１、Ｃ２からの光による信号を分離できないという問題がある。これは、奥行きに変化のない被写体の部分に相当する画素では、画素信号ｄ１とｄ２とはほぼ同一の値になるためである。例えば、近似的にｄ１＝ｄ２が成立している場合、行列式Ｍを用いた場合の式１１、１２に相当する２つの式は同一になる。よって、信号Ｃｉ１、Ｃｉ２を演算によって求めることができない。そのような場合、２枚の複数視点画像間の相関は高く、視差をほとんど含まない画像になるという問題がある。
【００６５】
次に、実例を挙げながら、｜ｄｅｔ｜が小さい場合の誤差項の影響を説明する。図１０は、入力画像および複数視点画像の例を示す図である。図１０（ａ）は、撮影対象を通常のカラー撮像素子によって撮影した場合に得られた画像（入力画像）を示している。図１０（ｂ）は、式４に基づいて生成された複数視点画像を示している。この例で用いられた行列は、１列目が（１，０．６７）T、２列目が（０．６７，０．５）Tであり、行列式ｄｅｔの値は０．０５１１であった。図１０（ｂ）の左の画像は、多くの画素で負の値を含んでおり、全体として画素値の小さい画像であった。このように、上記の行列では、正しく複数視点画像が取得できていない。この例では、１／ｄｅｔ≒２０であるため、例えば式７における誤差項の（ｄ１Ｍｘ２２´−ｄ２Ｍｘ１２´）は２０倍に増幅される。また、ｄ１Ｍｘ２２´＜ｄ２Ｍｘ１２´のため、負の誤差が２０倍になり正しく複数視点画像を求めることができなかった。このように、｜ｄｅｔ｜が小さいほど、誤差項が増幅されるため、生成した画像の画素値が非常に大きい値または負の値になり得る。
【００６６】
これらの値は、画像の画素値が本来取り得る値の範囲外であるため、出力される画像が正しい画像にはならないという問題が生じる。このことから、生成した複数視点画像の画素値が、本来取り得る値の範囲内にどの程度収まっているかを、画像としての確からしさの基準とすることができる。
【００６７】
図１１は、θを変化させたときの｜ｄｅｔ｜の値の変化、複数視点画像間の相関値の変化、および複数視点画像の信頼度の変化を示すグラフである。ここで、複数視点画像間の相関値とは、２枚の複数視点画像間でＲ、Ｇ、Ｂの色成分ごとに正規化相関を求めて平均した値であり、１に近いほど２つの画像が似た画像であることを表す。一方、複数視点画像の信頼度とは、各画像の画素のうち、画素値が本来取り得る範囲（例えば、０〜２５５の範囲）内に収まっている画素の割合を示す。
【００６８】
図１１（ａ）より、θが大きくなるほど、｜ｄｅｔ｜が大きくなることが確認できる。また、θが大きくなるほど複数視点画像間の相関値が高くなることが分かる。複数視点画像間の相関値が高くなるほど２つの画像は似た画像となる、つまり、視差が少なくなる。この例では、正規化相関値が０．８５を超えると２つの画像の差異がわかりにくくなる傾向にあった。
【００６９】
一方、図１１（ｂ）に示す例では、θ＝０．１（ｒａｄ）において、複数視点画像の一方の信頼度は９８％以上であるが、他方の信頼度は８０％程度である。これらの２つの画像のいずれについても、θを増加させるほど信頼度が向上し、誤差項の影響が減少していることが確認できる。
【００７０】
以上の予備実験をまとめると、θを大きくするほど、複数視点画像間の相関値が高くなる（視差量が小さくなる）が、画素値が所定の範囲内に収まる画素の割合が高くなる。このことから、複数視点画像間の相関値を所定の値より小さい範囲に抑えながら、複数視点画像の信頼度が所定の値よりも高い範囲にするθを設定すれば良いことがわかる。そこで、本実施形態では、以下の式１６に示すように、２つの複数視点画像の信頼度ｃｏｎｆ（Ｓ１，θ）およびｃｏｎｆ（Ｓ２，θ）が所定の閾値ｔｈよりも大きく、かつ、複数視点画像間の相関値ｃｏｒ（θ）が所定の閾値ｔｈ´より小さくなる範囲で、最大のθが求められる。
【数１４】
2012157210.tif 000016
【００７１】
式１６において、角度θに関して、複数視点画像の座標（ｘ，ｙ）における画素値をＳ（ｘ，ｙ，θ）と表している。Ｓ（ｘ，ｙ，θ）の値が０〜２５５の範囲内に収まっている場合に、ｃｏｎｆｉｄｅｎｃｅ（Ｓ，θ，ｘ，ｙ）＝１、それ以外の場合にｃｏｎｆｉｄｅｎｃｅ（Ｓ，θ，ｘ，ｙ）＝０とする。そして、全ての座標におけるｃｏｎｆｉｄｅｎｃｅ（Ｓ，θ，ｘ，ｙ）の総和を、信頼度ｃｏｎｆ（Ｓ，θ）として定義する。すなわち、ｃｏｎｆ（Ｓ，θ）は、全ての画素のうち、画素値が０〜２５５の範囲に収まっている画素の数を表す。複数視点画像の一方についての信頼度ｃｏｎｆ（Ｓ１，θ）と、他方についての信頼度ｃｏｎｆ（Ｓ２，θ）とが共に閾値ｔｈよりも大きく、かつ、相関値ｃｏｒ（θ）が閾値ｔｈ´よりも小さい範囲で、最大のθが決定される。閾値ｔｈおよびｔｈ´は、取得される画像に応じて適当な値に設定すればよい。ここで、相関値ｃｏｒ（θ）は、以下の式１７に示すように、２つの複数視点画像の正規化相関を表すものとする。但し、後述するように、正規化相関以外の指標を相関値としてもよい。
【数１５】
2012157210.tif 000017
【００７２】
以上の処理を実現するための処理ステップの例を図１２に示す。なお、行列式の初期値は事前の分光透過率特性の計測時に決まるため、パラメータθの初期値θ＝ｓｉｎ-1（ｄｅｔ／｜Ａ｜｜Ｂ｜）も事前に求められる。上記のように、行列の１列目をベクトルＡ、２列目をベクトルＢとし、ｄｅｔを非零の行列式とする。まず、ステップＳ００１において、本実施形態の撮像装置を用いて、撮影処理が行われる。次に、ステップＳ００２の複数視点画像生成処理において、式４に基づいて複数視点画像が生成される。続いて、ステップＳ００３の相関値算出処理において、複数視点画像間の相関値が算出される。相関値として、上記の例に示す正規化相関を用いてもよいし、他の指標を相関値としてもよい。例えば、画素間の差分の絶対和（Ｌ１ノルム、市街地距離）や差分の二乗和（Ｌ２ノルム、ユークリッド距離）などの一般的な距離算出方法、類似度算出方法であればどのような方法を用いてもよい。画像間の差分に基づく距離算出方法を用いる場合、その逆数を相関値とすれば、２枚の複数視点画像が類似しているほど相関値を大きくできる。
【００７３】
図１２に示すフローでは、相関値が所定の閾値ｔｈ´よりも大きくなった場合、あるいは、ベクトルの回転量が９０度を超えた場合に処理を終了させる。それ以外の場合は、ステップＳ００４の行列調整処理において、θをθ＝θ＋ｓｔｅｐにより増加させ、行列の１列目を変化させる。この際、行列の１列目の要素からなるベクトルＡと２列目の要素からなるベクトルＢとの間の角度がｓｔｅｐだけ増加すればよく、回転させるベクトルは、必ずしもベクトルＡである必要はない。例えば、ベクトルＢを角度ｓｔｅｐだけ回転させてもよいし、ベクトルＡ、Ｂの両方を、角度±ｓｔｅｐ／２だけ回転させてもよい。
【００７４】
以上の処理によって生成された複数視点画像の例を図１３に示す。図１３は、図１０（ａ）に示す入力画像から、θを増加させることによって修正された行列を用いて新たに生成された複数視点画像である。図１３の上下を結ぶ白い線は、２つの画像において同一のｘ座標を通る直線である。これにより、上の画像のほうが下の画像よりも、鶴の頭が右によっていることを確認できる。この結果より、本実施形態の方法の有効性が実験的にも確認できた。
【００７５】
以上の処理を行うことにより、行列要素や画素信号に誤差を含む場合でも視差を有する高画質な複数視点画像を生成できるという効果が得られる。画素信号の誤差という観点では、ノイズを多く含む暗いシーンでも画質を向上させることができる。また、透光板２の透過領域Ｃ１、Ｃ２、および撮像素子１の透過フィルタＤ１、Ｄ２において、光の透過量が多い場合、行列の各要素の値が互いに近い値になるため、｜ｄｅｔ｜が小さくなり、誤差の影響を受けやすくなる。そのような場合であっても、本実施形態によれば、誤差の影響を低減させることができるため、高感度の撮影が可能な透過率の高いフィルタを利用することが可能になるという効果がある。
【００７６】
本実施形態では、θを徐々に大きくすることによって行列式を大きくする例を説明したが、他の方法によって行列式を大きくすることも可能である。行列式ｄｅｔは、｜Ａ｜｜Ｂ｜ｓｉｎθで表されるため、０≦θ≦９０°の範囲では、θが増加するほどｄｅｔは増加する。そこで、ｄｅｔを予め定めた相対的に大きい値ｄｅｔ´に変化させ、ｄｅｔ´に対応するθ´を、θ´＝ｓｉｎ-1（ｄｅｔ´／（｜Ａ｜｜Ｂ｜））によって求めた後、ベクトルＡ、Ｂの少なくとも一方を、角度がθ´と同一またはθ´よりも大きくなるように回転させることにより、新たな行列を求めても良い。但し、初期値ｄｅｔに基づいて求めた角度をθとして、θ＋９０度＞θ´を満たすようにｄｅｔを変化させることとする。誤差の量が把握できる環境においては、行列式をどの程度の値にすれば誤差の影響が十分小さくなるかがわかるため、ｄｅｔ´を直接指定することにより、繰り返し処理を行わなくてもθ´を求めることができる。
【００７７】
以上の説明では、行列調整処理を撮影ごとに行うこととしたが、行列調整処理は、必ずしも撮影ごとに行う必要はない。例えば、透光板２における透過領域Ｃ１、Ｃ２および撮像素子１における透過フィルタＤ１、Ｄ２が変わらなければ、透過率の計測誤差は変わらない。そのため、事前に本方式によって推定したθを用いて求めた行列を利用することにより、別のシーンの画像であっても誤差の少ない複数視点画像の生成が可能である。また、動画の撮影においては、透過領域Ｃ１、Ｃ２および透過フィルタＤ１、Ｄ２は変わらず、連続的な変化を生じるシーンを撮影することになる。そのため、動画の１フレームの画像からθを求める処理を行い、それ以降のフレームは、既に求められたθを利用して複数視点画像の算出を行うことが可能である。これにより、動画撮影時におけるθを推定する処理量を削減できる。
【００７８】
（実施形態２）
次に、本発明の第２の実施形態を説明する。
【００７９】
実施形態１の撮像装置では、透光板２は分光透過率特性が互いに異なる２つの透過フィルタを有し、撮像素子１の各単位要素も同様に分光透過率特性が互いに異なる２つの透過フィルタを有している。しかしながら、本発明はこのような実施形態に限定されるものではない。透光板２および撮像素子１の各単位要素は、３個以上の透過フィルタを有していてもよいし、それらの数が異なっていてもよい。以下、実施形態１の構成を一般化し、透光板２にｍ個（ｍは２以上の整数）の透過フィルタが配置され、撮像素子１の各単位要素にｎ個（ｎはｍ以上の整数）の透過フィルタが配置された構成例を説明する。本実施形態の撮像装置は、透光板２および撮像素子１の構成と、画像信号生成部７における処理を除いて実施形態１と同じである。以下の説明では、実施形態１と異なる点を中心に説明し、重複する事項についての説明を省略する。
【００８０】
図１４は、本実施形態における透光板２の構成例を模式的に示す図である。本実施形態における透光板２は、ｍ個の透過領域Ｃ１、Ｃ２、・・・、Ｃｍを有しており、各透過領域には透過フィルタが配置されている。ｍ個の透過領域Ｃ１〜Ｃｍの透過率の波長依存性は互いに異なっている。透光板２のうちｍ個の透過フィルタが配置された領域以外は、光を透過させない遮光領域である。図１４の構成では、各透過領域は円形であり、すべて同一の面積を有しているように描かれているが、各透過領域の形状およびサイズはこの例に限られるものではない。また、各透過領域の配置も図示される例に限らず、どのような配置であってもよい。透光板２の形状についても、円形に限らず、四角形等の他の形状であってもよい。本実施形態では透光板２は遮光領域を有しているが、遮光領域の部分を透光性部材で形成し、その領域も透過領域として扱ってもよい。
【００８１】
図１５は、本実施形態における撮像素子１の各単位要素４０に含まれるｎ個の透過フィルタの配置例を模式的に示す図である。撮像素子１の各単位要素４０は、ｎ個の光感知セルおよびそれらに対向するｎ個の透過フィルタを有している。ｎ個の透過フィルタＤ１、Ｄ２、・・・、Ｄｎの透過率の波長依存性は互いに異なっている。なお、図１５に示す配列はあくまでも一例であり、単位要素４０内の画素配列は他の配列であってもよい。
【００８２】
以上の構成において、撮像素子１の透過フィルタＤ１、Ｄ２、・・・、Ｄｎから出力される画素信号をそれぞれｄ１、ｄ２、・・・、ｄｎとする。また、透過領域Ｃ１〜Ｃｍ、および透過フィルタＤ１〜Ｄｎの透過率が１００％であると仮定した場合に透過領域Ｃ１、Ｃ２、・・・、Ｃｍから各光感知セルに入射する光の強度を示す信号をそれぞれＣｉ１、Ｃｉ２、・・・、Ｃｉｍとする。すると、画素信号ｄ１、ｄ２、・・・、ｄｎと画像信号Ｃｉ１、Ｃｉ２、・・・、Ｃｉｍとの関係は、次の式１８で表される。
【数１６】
2012157210.tif 000018
【００８３】
実施形態１では、２×２行列について誤差の影響を受けにくい行列への変換が行われたが、本実施形態では、式１８で示されるｎ×ｍ行列を、同様の方法によって誤差の影響を受けにくい行列に変換する。実施形態１では、｜ｄｅｔ｜を大きくする方法として、２つのベクトル間の角度を９０度に近づける方法、すなわち、２つのベクトル間の角度を広げる方法を採用した。この方法をｎ×ｍ行列に拡張する場合、行列の各列の要素をベクトルにしたｍ個のベクトルを利用して最適な行列の推定を行えばよい。ｍ個のベクトルから２つのベクトルを選択したmＣ2通りの組合せの中からベクトル間の角度を求める。ベクトル間の角度が最も狭い組合せが、複数視点画像算出が最も不安定となるベクトルの組合せであるため、実施形態１における方法と同様の方法により、このベクトル間の角度を広げて新たに行列が求められる。ベクトル間の角度を順次大きくしながら、信頼度および相関値を求め、生成した複数視点画像の確からしさの判定が行われる。これにより、ベクトル数がｍ個の場合でも逐次的に最適な行列を求め、複数視点画像を生成する事ができる。
【００８４】
次に、ｍ個の複数視点画像のうち、任意の２つの画像についてのみ、生成時の誤差を減らしたい場合を考える。その場合、行列から２つのベクトルを選択し、そのベクトル間の角度θを大きくすることにより、ｍ個の複数視点画像のうち、任意の２つの画像についてのみ誤差を減らした画像を生成できる。この方法は、ｍ個の複数視点画像のうち、任意のｋ個の複数視点画像（ｋは３以上の整数）のみ誤差を減らした画像を生成する場合も同様に適用できる。これにより、複数の透過領域を有する光透過部から入射した光を撮影したときに生成される複数の画像において、所望の透過領域からの画像のみを高画質にできるという効果が得られる。
【００８５】
本実施形態における画像処理部７は、上記の処理により、ｍ個の透過領域に対応するｍ個の複数視点画像を生成するが、ｍ個の透過領域のうちの一部の透過領域に対応する画像のみを生成してもよい。例えば、水平方向の視差情報のみを取得したい場合、画像処理部７は、ｍ個の透過領域のうち、水平方向に離れて配置された２つの透過領域に入射する光による画像のみを生成するように構成されていればよい。
【００８６】
以上の実施形態１、２において、撮像装置は、撮像によって得られる光電変換信号から信号演算によって画像信号を生成するが、信号演算による画像信号の生成処理を撮像装置とは独立した他の装置に実行させてもよい。例えば、本実施形態における撮像部１００を有する撮像装置によって取得した信号を他の装置（画像処理装置）に読み込ませ、上記の信号演算処理を規定するプログラムを当該他の装置内のコンピュータに実行させることによっても上記と同様の効果を得ることができる。
【産業上の利用可能性】
【００８７】
本発明の実施形態における３次元撮像装置は、撮像素子を用いたすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用可能である。
【符号の説明】
【００８８】
１  固体撮像素子
１ａ  固体撮像素子の撮像面
２  透光板
３  光学レンズ
３ａ  透光板と光学レンズの機能が一体化された光学素子
４  赤外カットフィルタ
５  信号発生／受信部
６  素子駆動部
７  画像信号生成部
８  インターフェース部
１９  レンズ絞り
２０、２２、２３  光束制限板
２０ａ  赤系統の光を透過させる色フィルタ
２０ｂ  青系統の光を透過させる色フィルタ
２１  感光フィルム
２２Ｒ、２３Ｒ  光束制限板のＲ光透過領域
２２Ｇ、２３Ｇ  光束制限板のＧ光透過領域
２２Ｂ、２３Ｂ  光束制限板のＢ光透過領域
３０  メモリ
４０  単位要素
１００  撮像部
１１０  透過フィルタ
１２０  光感知セル
２００  信号処理部
【図１】
2012157210.tif 000019
【図２】
2012157210.tif 000020
【図３】
2012157210.tif 000021
【図４】
2012157210.tif 000022
【図５】
2012157210.tif 000023
【図６】
2012157210.tif 000024
【図７】
2012157210.tif 000025
【図８】
2012157210.tif 000026
【図９】
2012157210.tif 000027
【図１１】
2012157210.tif 000028
【図１２】
2012157210.tif 000029
【図１４】
2012157210.tif 000030
【図１５】
2012157210.tif 000031
【図１６】
2012157210.tif 000032
【図１７】
2012157210.tif 000033
【図１８】
2012157210.tif 000034
【図１０】
2012157210.tif 000035
【図１３】
2012157210.tif 000036
【国際調査報告】
2012157210.tif 000037
2012157210.tif 000038