(57)【要約】【課題】複数の分光画像を得るための複眼撮像装置における測距の精度を高める。【解決手段】微小光学レンズ５を含む個眼ユニット９毎にｎ種の光学フィルタ７のうちの１つを配置する。そのｎ種の光学フィルタ７としては、任意の２種の光学フィルタについて、透過スペクトル上で共通に透過する波長又は波長帯域が存在する特性をもつものが選ばれる。したがって、一般的な被写体を撮影したとき、複眼像中の任意の２個の個眼像において共通に現れる部位が存在するから、その共通の部位から視差情報を取り出すことができる。測距の精度は視差情報の量に依存するため、視差情報の取得の確実性を増すことにより測距精度を向上させることができる。【選択図】図１
2011182237.tif 000002
【特許請求の範囲】
【請求項１】
ｍ（ｍは４以上の整数）個の微小光学レンズが２次元的に配列されたレンズアレイと、複数の微小受光部が２次元的に配列された１個の固体撮像素子と、を具備し、前記各微小光学レンズによる被写体の個眼像を前記固体撮像素子の受光面上の異なる領域に結像させてｍ枚の個眼像に対応した画像信号を取得し、この画像信号から単一又は複数の再構成画像を生成する複眼撮像装置において、
前記ｍ個の微小光学レンズの全て又は一部にそれぞれ対応して所定の波長透過特性をもつ光学フィルタを配置し、該最大ｍ個の光学フィルタは波長透過特性が互いに相違するｎ（ｎは２以上の整数）種類の光学フィルタを少なくとも１つずつ含み、該ｎ種の光学フィルタのうちの任意の２種の光学フィルタは波長について相関性を有することを特徴とする複眼撮像装置。
【請求項２】
請求項１に記載の複眼撮像装置であって、
前記ｍ個の微小光学レンズに対し前記ｎ種の光学フィルタをそれぞれ同数又は最大１個の個数差で割り当てるようにしたことを特徴とする複眼撮像装置。
【請求項３】
請求項１に記載の複眼撮像装置であって、
前記微小光学レンズに対応して２次元的に配列される前記光学フィルタの各次元方向において、隣接する同一種の２個の光学フィルタの間隔が採り得る全ての間隔となるように同一種の光学フィルタが分散配置されていることを特徴とする複眼撮像装置。
【請求項４】
複数の微小光学レンズが２次元的に配列されたレンズアレイと、複数の微小受光部が２次元的に配列された１個の固体撮像素子と、を具備し、前記レンズアレイの各微小光学レンズで結像された被写体の個眼像を前記固体撮像素子の受光面上の異なる領域に結像させ、各個眼像をローリングシャッタにより時間差を持って順に読み出し、読み出された画像信号から再構成画像を生成する複眼撮像装置において、
前記複数の微小光学レンズを  行方向及び列方向に等ピッチである格子点上の位置からその２次元面に平行な方向に微小光学レンズ毎に独立にずらして配置することにより、複数の個眼像の対応画素同士に対し個眼像の組み合わせによって異なる独立な時間差を与えるようにしたことを特徴とする複眼撮像装置。
【請求項５】
複数の微小光学レンズが２次元的に配列されたレンズアレイと、複数の微小受光部が２次元的に配列された１個の固体撮像素子と、を具備し、前記レンズアレイの各微小光学レンズで結像された被写体の個眼像を前記固体撮像素子の受光面上の異なる領域に結像させてそれぞれｍ枚の個眼像に対応した画像信号を取得し、この画像信号から再構成画像を生成する複眼撮像装置において、
前記レンズアレイの各微小光学レンズに収差を与えることにより、当該装置と被写体との間の距離が所定の範囲内で該距離に依らずに同一像高に対する点像分布関数を光軸に対し回転対称として揃えるようにしたことを特徴とする複眼撮像装置。
【請求項６】
請求項１〜３のいずれかに記載の複眼撮像装置において複数の個眼像に基づいて被写体の分光画像を再構成する画像処理方法であって、
固体撮像素子の受光面からの離間距離を仮定した仮想的な被写体平面上の各座標に光学フィルタの種類識別情報及び時間情報を加えた再構成画像平面を想定し、各個眼像の各画素の画素値を、受光面上でのその画素の画素座標、その個眼像に割り当てられた光学フィルタの種類、その画素における固体撮像素子での蓄積開始時刻、に基づいて前記再構成画像平面に幾何的逆投影する逆投影ステップと、
前記逆投影ステップにより画素値が得られない再構成画像平面上の欠損画素について、その空間的及び時間的に近傍の画素値を用いて補間処理を行う補間ステップと、
前記逆投影ステップ及び前記補間ステップにより充足された再構成画像上の各画素について、その画像に対応した光学フィルタの波長情報を用い波長に対する原スペクトル推定を行うスペクトル推定ステップと、
を実行することにより被写体の分光画像を取得することを特徴とする画像処理方法。
【請求項７】
請求項１〜３のいずれかに記載の複眼撮像装置において複数の個眼像に基づいて被写体の分光画像を再構成する画像処理方法であって、
固体撮像素子の受光面からの離間距離を仮定した仮想的な被写体平面上の各座標に光学フィルタの種類識別情報及び時間情報を加えた再構成画像平面を想定し、該平面上の再構成画像上の各画素から、幾何的投影法により、同一種類の光学フィルタが割り当てられ、空間的及び時間的に対応する１乃至複数の個眼像の画素を見つけ出す投影ステップと、
前記投影ステップにより見いだされた個眼像内の１つの画素の画素値を再構成画像上の画素に充てる、又は、複数の個眼像内の対応する画素の画素値を用いた補正処理により画素値を計算して該計算値を再構成画像上の画素に充てる画素値決定ステップと、
前記投影ステップ及び前記画素値決定ステップにより充足された再構成画像上の各画素について、その画像に対応した光学フィルタの波長情報を用い波長に対する原スペクトル推定を行うスペクトル推定ステップと、
を実行することにより被写体の分光画像を取得することを特徴とする画像処理方法。
【請求項８】
請求項３に記載の複眼撮像装置において各個眼像を画像処理して焦点ボケを軽減する画像処理方法であって、
個眼像を中央領域とそれを取り囲む複数の環状部の領域とに分割し、分割された領域毎に単一の逆フィルタによりボケを除去する領域分割処理ステップと、
前記領域分割処理ステップによる処理後の領域を統合する領域統合ステップと、
を有することを特徴とする画像処理方法。
【請求項９】
請求項８に記載の画像処理方法であって、
前記領域分割処理ステップは隣接する複数の領域の境界を挟んで一部が重複するように各領域を設定し、前記領域統合ステップは領域が重複する部分について繋ぎ合わせ処理を行うことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単一の物体に由来する複数の物体像を複数の撮像光学系を用いて取得する複眼撮像装置、及び該装置で得られたデータを処理する画像処理方法に関する。
【背景技術】
【０００２】
電子商取引、電子アーカイブ、遠隔病理診断等、様々な分野において、高い色再現性を持つ画像の取得が重要になっている。従来の一般的な撮像装置は３原色を用いたものであり、被写体の忠実な色を再現するには不十分であった。これに対し、被写体からの画像を多くの原色の画像として得ることができるマルチスペクトルカメラと呼ばれる撮像装置が近年提案されている。マルチスペクトルカメラは被写体に対する多波長の分光画像を得るものであり、いくつかの方式が知られているが、その１つとして複眼撮像装置を利用したものがある。
【０００３】
複眼撮像装置は、複数の微小光学レンズが２次元的に配置された光学レンズアレイと、該光学レンズアレイの各光学レンズによってそれぞれ形成された単一の被写体に対する多数の個眼像を撮像する１個の固体撮像素子と、を組み合わせたものである（非特許文献１など参照）。光学レンズアレイの各光学レンズは平面上で２次元的に分散配置されているため、固体撮像素子の検出面上に形成される各個眼像は、被写体に対し僅かずつ異なった角度から見た像（視差を有する像）になっている。このため、個眼像を集めた複眼像には、被写体の３次元形状に関する情報のほか高解像度化の情報が含まれている。そこで、少しずつ異なる個眼像を多数用いることにより、より多くの情報量に基づいて再構成画像を生成することができ、各個眼像の解像度以上に高精細の再構成画像を得ることができる。
【０００４】
特許文献１などに記載のように、上記複眼撮像装置をマルチスペクトルカメラに利用する場合、光学レンズアレイの前方にレンズ毎に異なる透過波長を有するバンドパスフィルタ（カラーフィルタ）が設置される。これにより、各個眼像は特定の波長情報を有するものとなる。このような特定波長の情報を有する複眼像に基づく画像信号に対し所定のデータ処理を行うことにより被写体上の微小領域毎に距離を推定し、その距離情報を用いて画像の再構成処理を行うことにより、特定の波長情報を持つ複数の分光画像を得ることができる。
【０００５】
しかしながら、上記従来の複眼撮像装置を用いたマルチスペクトルカメラでは、被写体の反射スペクトル特性によっては、異なるバンドパスフィルタを通した個眼像同士で画像の相関性が全くない、つまり、２つの個眼像の間で共通の部分が全く存在しないという場合がある。そうした場合、視差による画像間の位置ずれを補正する際に十分な補正ができなくなり、距離情報が正確に求まらないために画像再構成の精度が低下することがある。また、被写体から到来する光はバンドパスフィルタを通過する際に大きく減衰してしまうため固体撮像素子に入射する光量が少なくなり、特にリアルタイムの撮像を行う際に画像のＳ／Ｎが低いという問題もある。
【０００６】
また、それ以外に次のような問題もある。複眼撮像装置において固体撮像素子には一般的にＣＭＯＳセンサが利用されることが多い。ＣＭＯＳセンサではローリングシャッタと呼ばれる機能を利用して、各行の受光素子による画素信号を行毎に時間差をもって読み出すことができる。複眼撮像装置においてこのローリングシャッタ機能を利用すると、複眼像の中で時間差をもった一連の個眼像を得ることができる。これを利用して１枚の複眼像から物体の動きを検出することが特許文献２に記載されている。また、位相の相違する複数種のスリットパターンをもつ光を順次、被写体に照射し、それに対応して得られる複眼像を利用して被写体の３次元形状を計測することが特許文献３に記載されている。
【０００７】
一連の個眼像の時間差が一定であると、時間周波数成分がゼロ点をもち、その場合、正確な空間（位置）情報が得られなくなり、動き検出や３次元形状計測の精度が低下するおそれがある。
【０００８】
また、特許文献４、５などに記載のように、複数の低解像の個眼像から単一の高解像の画像を再構成するために様々な方法が提案されているが、これらは専ら空間的分解能を高めることを目的としたものであり、特定の波長スペクトルを有する複数の個眼像に基づいてそれぞれ高い波長分解能を持つ分光画像を再構成することは考慮されていない。
【０００９】
また、複眼撮像装置では多数の光学レンズが配列されたレンズアレイを利用しているために、レンズを機械的に移動させて合焦位置を見いだすオートフォーカス機能を導入することは困難である。一般的に、複眼撮像装置は単眼撮像装置に比べて焦点深度が深く、合焦となる距離範囲は比較的広いものの、測距可能範囲を広げるためには被写界深度をさらに拡大することが必要となる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００３−１６３９３８号公報
【特許文献２】特開２００８−２４４６４９号公報
【特許文献３】特開２００８−２２４６２９号公報
【特許文献４】特開２００３−１４１５２９号公報
【特許文献５】特開２００５−１６７４８４号公報
【非特許文献】
【００１１】
【非特許文献１】太田淳監修、「ＣＭＯＳイメージセンサの最新動向−高性能化、高機能化から応用展開まで−」、“第13章  複眼撮像システム−TOMBO−”（谷田純著）、シーエムシー出版、２００７年４月
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明は上記課題に鑑みてなされたものであり、色再現性を高めることを意図した複眼撮像装置において、視差による個眼像間の位置ずれの補正を精度良く行うことにより、複画像から単一画像を再構成する際の精度を向上させることを主たる目的としている。
【００１３】
また本発明に係る複眼撮像装置の画像処理方法の一つの目的は、１枚の複眼像に含まれる複数の個眼像に時間差をもたせる場合に、その時間差を適切に設定することにより、画像演算処理の精度を向上し、複眼像から単一画像を再構成する場合のほか動き検出や３次元形状計測などの精度を向上させることである。
【００１４】
また本発明に係る複眼撮像装置の画像処理方法の別の目的は、特定の波長スペクトルを有する複数の個眼像に基づいてそれぞれ高い波長分解能を持つ分光画像を比較的簡単な処理により再構成することである。
【００１５】
また本発明に係る複眼撮像装置の画像処理方法の別の目的は、オートフォーカスなどを機械的な駆動系を用いることなく被写界深度を拡大し、測距の適用距離範囲を広げて複眼像から単一画像を再構成する際の精度を向上させることである。
【課題を解決するための手段】
【００１６】
上記目的を達成するために成された第１発明に係る複眼撮像装置は、ｍ（ｍは４以上の整数）個の微小光学レンズが２次元的に配列されたレンズアレイと、複数の微小受光部が２次元的に配列された１個の固体撮像素子と、を具備し、前記各微小光学レンズによる被写体の個眼像を前記固体撮像素子の受光面上の異なる領域に結像させてｍ枚の個眼像に対応した画像信号を取得し、この画像信号から単一又は複数の再構成画像を生成する複眼撮像装置において、
前記ｍ個の微小光学レンズの全て又は一部にそれぞれ対応して所定の波長透過特性をもつ光学フィルタを配置し、該最大ｍ個の光学フィルタは波長透過特性が互いに相違するｎ（ｎは２以上の整数）種類の光学フィルタを少なくとも１つずつ含み、該ｎ種の光学フィルタのうちの任意の２種の光学フィルタは波長について相関性を有することを特徴としている。
【００１７】
２種の光学フィルタが「波長について相関性を有する」状態とは、その２種の光学フィルタが或る波長又は或る波長帯域において共に実質的に非ゼロの透過率を有する、換言すれば、共通に透過する波長又は波長帯域が存在することをいう。
【００１８】
本発明に係る複眼撮像装置によれば、一般的な被写体を撮影する場合に、ｎ種類の光学フィルタのうちの２つの異なる種類の光学フィルタを通した個眼像同士で少なくとも一部に共通する部分が現れる。個眼像上で共通部分が存在することは視差情報を取り出し可能であることを意味する。したがって、ごく特殊な被写体を除けば、通常、いずれの個眼像の組み合わせからも視差情報を取り出すことができ、その視差情報を利用して被写体上の微小領域毎の距離を高い精度で算出することができる。この距離情報の精度が高まることにより、距離情報を利用した画像（分光画像）の再構成の精度も高まる。
【００１９】
なお、基本的には、ｍ個の微小光学レンズの全てにそれぞれ対応して光学フィルタが配置されるが、一部に光学フィルタが配置されない微小光学レンズが存在してもよい。このように光学フィルタが配置されない微小光学レンズに対応して得られる個眼像には被写体の色に依らずに全ての輝度情報が含まれるから、例えばこの個眼像を基準個眼像として用いることができる。また、固体撮像素子の画素毎に異なる光学フィルタが配置され、微小光学レンズに配置されたカラーフィルタと組み合わせることにより、実質的なフィルタ種を増やすようにしてもよい。また、光学フィルタが設けられている個眼と設けられていない個眼との光量差を補うために、ＮＤ（ニュートラルデンシティ）フィルタを取り付けてもよい。
【００２０】
この第１発明に係る複眼撮像装置では、様々な方向からの視差情報をバランス良く収集することが好ましいから、前記ｍ個の微小光学レンズに対し前記ｎ種の光学フィルタをそれぞれ同数又は最大１個の個数差で割り当てるようにするとよい。
【００２１】
また、特定の波長や波長帯域について視差情報が片寄ることは好ましくないから、前記微小光学レンズに対応して２次元的に配列される前記光学フィルタの各次元方向において、隣接する同一種の２個の光学フィルタの間隔が採り得る全ての間隔となるように同一種の光学フィルタが分散配置されているようにするとよい。ここで、「隣接する同一種の２個の光学フィルタの間隔」とは、一方の次元方向において、同一種の２個の光学フィルタが間に別種の光学フィルタを挟まずに隣接している場合を最小単位の「１」とし、この最小単位の整数倍とする。
【００２２】
また、２次元的な個眼像の中の中央の個眼像を基準個眼像として考えると、外周側に位置する個眼像ほど基準個眼像との視差が大きくなり、それだけ視差情報の精度が向上する。そこで、ｎ種類の光学フィルタの中で波長透過特性に重要なものとそうでないものとがある場合、前者を外周側に優先的に割り当てるほうがよい。
【００２３】
また上記目的を達成するために成された第２発明に係る複眼撮像装置は、複数の微小光学レンズが２次元的に配列されたレンズアレイと、複数の微小受光部が２次元的に配列された１個の固体撮像素子と、を具備し、前記レンズアレイの各微小光学レンズで結像された被写体の個眼像を前記固体撮像素子の受光面上の異なる領域に結像させ、各個眼像をローリングシャッタにより時間差を持って順に読み出し、読み出された画像信号から再構成画像を生成する複眼撮像装置において、
前記複数の微小光学レンズを  行方向及び列方向に等ピッチである格子点上の位置からその２次元面に平行な方向に微小光学レンズ毎に独立にずらして配置することにより、複数の個眼像の対応画素同士に対し個眼像の組み合わせによって異なる独立な時間差を与えるようにしたことを特徴としている。
【００２４】
なお、レンズアレイにおける微小光学レンズの配置の行方向及び列方向と、固体撮像素子における微小受光部の配列の行方向及び列方向とは一致していなくてもよい。両者の例えば行方向の角度ずれを適宜に定めることにより、ローリングシャッタによる露光・信号読み出しを行ったときに各個眼像の時間遅れを略一定にすることができる。このとき、第２発明に係る複眼撮像装置では、微小光学レンズが完全には格子点上に配置されておらず意図的に位置ずれが与えられているため、任意の２枚の個眼像を選択したときの時間差が一致することは殆ど起こりえない。そのため、対応する画素間の時間間隔が一定にはならず、複眼像の情報に基づいて画像再構成等の演算処理を行う際に高精度の演算を行うことができる。その結果、従来よりも高精細な再構成画像を得ることができる。
【００２５】
また上記目的を達成するために成された第３発明に係る複眼撮像装置は、複数の微小光学レンズが２次元的に配列されたレンズアレイと、複数の微小受光部が２次元的に配列された１個の固体撮像素子と、を具備し、前記レンズアレイの各微小光学レンズで結像された被写体の個眼像を前記固体撮像素子の受光面上の異なる領域に結像させてそれぞれｍ枚の個眼像に対応した画像信号を取得し、この画像信号から再構成画像を生成する複眼撮像装置において、
前記レンズアレイの各微小光学レンズに収差を与えることにより、当該装置と被写体との間の距離が所定の範囲内で該距離に依らずに同一像高に対する点像分布関数を光軸に対し回転対称として揃えるようにしたことを特徴としている。
【００２６】
即ち、これは結像光学系により意図的に劣化した、つまりボケた画像を与えるものであるが、同一像高に対する点像分布関数が揃っていれば、そのボケはデフォーカスには依存しないので、ウェイブフロント・コーディング（Wavefront coding）の理論を利用した信号処理により、実質的に深い被写界深度を得ることができる。それによって、機械的なオートフォーカスなどを用いることなく、測距の適用距離範囲を拡げることができるので、装置構成が簡単になる。
【００２７】
もちろん、第１〜第３発明に係る複眼撮像装置はそれぞれ単独で用いることができるほか、適宜組み合わせることができる。
【００２８】
また上記目的を達成するために成された第４発明は、第１発明に係る複眼撮像装置において複数の個眼像に基づいて被写体の分光画像を再構成する画像処理方法であって、
固体撮像素子の受光面からの離間距離を仮定した仮想的な被写体平面上の各座標に光学フィルタの種類識別情報及び時間情報を加えた再構成画像平面を想定し、各個眼像の各画素の画素値を、受光面上でのその画素の画素座標、その個眼像に割り当てられた光学フィルタの種類、その画素における固体撮像素子での蓄積開始時刻、に基づいて前記再構成画像平面に幾何的逆投影する逆投影ステップと、
前記逆投影ステップにより画素値が得られない再構成画像平面上の欠損画素について、その空間的及び時間的に近傍の画素値を用いて補間処理を行う補間ステップと、
前記逆投影ステップ及び前記補間ステップにより充足された再構成画像上の各画素について、その画像に対応した光学フィルタの波長情報を用い波長に対する原スペクトル推定を行うスペクトル推定ステップと、
を実行することにより被写体の分光画像を取得することを特徴としている。
【００２９】
また上記目的を達成するために成された第５発明は、第１発明に係る複眼撮像装置において複数の個眼像に基づいて被写体の分光画像を再構成する画像処理方法であって、
固体撮像素子の受光面からの離間距離を仮定した仮想的な被写体平面上の各座標に光学フィルタの種類識別情報及び時間情報を加えた再構成画像平面を想定し、該平面上の再構成画像上の各画素から、幾何的投影法により、同一種類の光学フィルタが割り当てられ、空間的及び時間的に対応する１乃至複数の個眼像の画素を見つけ出す投影ステップと、
前記投影ステップにより見いだされた個眼像内の１つの画素の画素値を再構成画像上の画素に充てる、又は、複数の個眼像内の対応する画素の画素値を用いた補正処理により画素値を計算して該計算値を再構成画像上の画素に充てる画素値決定ステップと、
前記投影ステップ及び前記画素値決定ステップにより充足された再構成画像上の各画素について、その画像に対応した光学フィルタの波長情報を用い波長に対する原スペクトル推定を行うスペクトル推定ステップと、
を実行することにより被写体の分光画像を取得することを特徴としている。
【００３０】
なお、第４又は第５発明に係る画像処理方法で用いられる複眼撮像装置は、例えば固体撮像素子のローリングシャッタによる露光・読み出し機能を利用することにより、各個眼像に時間情報を与えるようにすることができる。
【００３１】
第４又は第５発明に係る画像処理方法によれば、比較的簡単な演算処理により、比較的高解像の分光画像を得ることができる。
【００３２】
また上記目的を達成するために成された第６発明は、第３発明に係る複眼撮像装置において各個眼像を画像処理して焦点ボケを軽減する画像処理方法であって、
個眼像を中央領域とそれを取り囲む複数の環状部の領域とに分割し、分割された領域毎にそれぞれ単一の逆フィルタによりボケを除去する領域分割処理ステップと、
前記領域分割処理ステップによる処理後の領域を統合する領域統合ステップと、
を有することを特徴としている。
【００３３】
前述のように第３発明に係る複眼撮像装置では、同一像高に対する点像分布関数が回転対称に揃えられているので、１枚の個眼像が分割された複数の領域のそれぞれで点像分布関数の変化は小さい。そのため、それぞれ単一の逆フィルタを用いて焦点ボケを除去することができる。
【００３４】
一般に複眼撮像装置において深い焦点深度を得るためには、装置から被写体までの距離を推定した後にその距離に応じたボケを含む点像分布関数を計算し、煩雑な反複計算を行って焦点ボケを除去する必要があった。これに対し、第６発明に係る画像処理方法によれば、点像分布関数が像高にのみ依存するので、反復計算を行うことなく、単に複数の逆フィルタの組み合わせにより少ない計算量でもって深い被写界深度を得ることができる。
【００３５】
また第６発明に係る画像処理方法では、前記領域分割処理ステップは隣接する複数の領域の境界を挟んで一部が重複するように各領域を設定し、前記領域統合ステップは領域が重複する部分について繋ぎ合わせ処理を行うようにするとよい。繋ぎ合わせ処理は例えばαブレンディングなどを用いることができる。これによれば、領域の境界での画像の繋がりが良好になるので測距の精度向上が可能である。
【発明の効果】
【００３６】
第１発明に係る複眼撮像装置によれば、被写体の色、つまり被写体の反射スペクトル分布に殆ど影響を受けることなく、個眼像間の視差情報を適切に取り出すことができ、また、光学フィルタによる光量の減少も小さいので感度が向上する。これにより、例えば被写体の測距精度を向上させることができる。また、第１発明に係る複眼撮像装置を用いた第４及び第５発明に係る画像処理方法によれば、比較的簡単な計算で、つまりは短時間で且つ比較的低コストのハードウエアで、適度に高解像の分光画像を再構成することができる。
【００３７】
また第２発明に係る複眼撮像装置によれば、複数の個眼像における対応画素同士の時間間隔が僅かに不均一になるので、時間周波数成分におけるゼロ点発生が回避され、それだけ高精細な画像を再構成することが可能となる。
【００３８】
また第３発明に係る複眼撮像装置及び該複眼撮像装置を用いた第６発明に係る画像処理方法によれば、比較的簡単な計算で、つまりは短時間で且つ比較的低コストのハードウエアで、深い被写界深度を実現することができる。それにより、例えば機械的なオートフォーカスなどを用いることなく、測距の距離範囲を従来よりも広げることができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の一実施例である複眼撮像装置の要部の概略構成図。
【図２】本実施例の複眼撮像装置における光学レンズ及び光学フィルタの配置の説明図。
【図３】本実施例の複眼撮像装置における光学レンズの配置の説明図。
【図４】受光面上の１個の画素で得られる画像信号に含まれる情報の概念を示す図。
【図５】本実施例の複眼撮像装置における画像入力から画像出力までの処理の流れを示す概念図。
【図６】複眼像に含まれる各個眼像の時間的な関係を示す概念図。
【図７】本実施例の複眼撮像装置における撮像モデルを示す概念図。
【図８】簡易型再構成方法における第１のアルゴリズムの処理の概念図。
【図９】図８のアルゴリズムにおける欠損画素の補正方法を示す概念図。
【図１０】簡易型再構成方法における第２のアルゴリズムの処理の概念図。
【図１１】基本的な測距処理の手順の一例を示すフローチャート。
【図１２】測距方法の第１のアルゴリズムの処理の概念図。
【図１３】測距方法の第２のアルゴリズムの処理の概念図。
【図１４】測距方法の第３のアルゴリズムの処理の概念図。
【図１５】光学レンズ及び光学フィルタの配置決定方法の一例の説明図。
【図１６】本実施例の複眼撮像装置における被写界深度拡大の手法の説明図。
【図１７】本実施例の複眼撮像装置における被写界深度拡大の手法の説明図。
【図１８】本実施例の複眼撮像装置における被写界深度拡大の手法の説明図。
【図１９】本実施例の複眼撮像装置において相関性のあるフィルタを用いたことの効果を説明するための模式図。
【図２０】本実施例の複眼撮像装置において相関性のあるフィルタを用いた場合の評価値と距離との関係を示す図。
【発明を実施するための形態】
【００４０】
以下、本発明の一実施例である複眼撮像装置について、添付図面を参照して説明する。
図１は本実施例の複眼撮像装置の要部の概略構成図、図２及び図３は本実施例の複眼撮像装置における光学レンズ及び光学フィルタの配置の説明図である。
【００４１】
図１に示すように、本実施例の複眼撮像装置は、被写体１００から到来する光を結像して撮像する画像入力部１と、画像入力部１で取得された複数の個眼像を含む複眼像に対応した画像信号をデジタル化するＡ／Ｄ変換部１０と、デジタル化された画像信号に基づいて再構成画像（分光画像）を生成するデータ処理部１１と、再構成された画像を表示する表示部１２と、を備える。
【００４２】
画像入力部１は、典型的にはＣＭＯＳイメージセンサである１個の固体撮像素子２と、被写体１００から到来する光をそれぞれ集光する複数（図１では１６個）の微小光学レンズ５を含むレンズアレイ４と、各微小光学レンズ５の直前に該レンズ５と略一対一に配設された複数の光学フィルタ７を含むフィルタアレイ６と、レンズアレイ４と固体撮像素子２の受光面３との間に設けられた隔壁部材８と、を備える。
【００４３】
１個の光学フィルタ７と、対応する１個の微小光学レンズ５と、その微小光学レンズ５によって形成される個眼像を撮影する固体撮像素子２上の受光面３の区分された領域と、を１つの個眼ユニット９とすると、画像入力部１は集積された複数（図１では１６個）の個眼ユニット９からなるものと捉えることができる。また、１個の光学フィルタ７とこれに対応する１個の微小光学レンズ５とは１個のレンズ・フィルタユニットとして捉えることができる。ただし、後述するように、一部の微小光学レンズ５には光学フィルタ７が設けられていなくてもよい。隔壁部材８は、各微小光学レンズ５を通過して固体撮像素子２の受光面３へと向かう光が各個眼ユニット９同士の間で干渉しないように、光の進行方向や拡がりを規制するものである。図１では撮像ユニットは１６個であり、図２では２５個であるが、個眼ユニット９の個数はさらに多数であってもよいし、逆に少数であってもよい。
【００４４】
図１中に記載したように、固体撮像素子２の受光面３上で２次元的に配列された画素の２次元的な配列方向をｘ’方向、ｙ’方向とし、ｘ’、ｙ’に直交する高さ方向をｚとする。レンズアレイ４及びフィルタアレイ６はそれぞれ、ｚ軸に略直交する面、つまり受光面３と略平行な面内で２次元的に配列されている（ただし、レンズアレイ４と受光面３との間の離間距離を微小光学レンズ５毎に僅かに相違させるような配置も含むものする）。一方、図１及び図２（ａ）に示すように、レンズアレイ４における微小光学レンズ５の配列、及び、フィルタアレイ６における光学フィルタ７の配列はｘ’軸、ｙ’軸に沿ったものではなく、レンズ・フィルタユニットの配列方向は受光面３上の画素の配列方向（ｘ’、ｙ’方向）に対し、ｚ軸を中心に所定角度Θだけ回転するようにずらされている。したがって、微小光学レンズ５、光学フィルタ７、及び固体撮像素子２の受光面３を被写体１００からｚ軸方向に見た状態は図２（ａ）に示すようになる。後述するが、このｙ’方向は固体撮像素子２からの信号読み出しの際にローリングシャッタが実行される方向でもある。なお、微小光学レンズの配置を決める２つの並進ベクトルは、必ずしも直行している必要はなく、微小光学レンズを菱形状に配列してもよい。
【００４５】
フィルタアレイ６に含まれる複数の光学フィルタ７はいずれも、特定の狭い波長帯域の光のみを透過させるバンドパスフィルタではなく、所定の透過スペクトルを有する光学的なフィルタである。図２（ａ）の例では、透過スペクトルが互いに相違する６種類の光学フィルタ７ａ〜７ｆが用いられている。この光学フィルタ７ａ〜７ｆは例えば、マゼンタ、シアン、黄、ピンク、青、近赤外、の６種類とすることができる。その場合の光学フィルタ７ａ〜７ｆの透過スペクトルの一例を図２（ｂ）に示す。
【００４６】
本実施例の複眼撮像装置において、複数種類の光学フィルタ７ａ〜７ｆの透過スペクトルの特徴は、任意の２種類の光学フィルタが波長について相関性を有するように決められていることである。即ち、６種類の光学フィルタ７ａ〜７ｆのうちのいずれの２種類の組み合わせにおいても、実質的に或る程度の透過率が得られる共通の波長又は波長帯域が存在する。ここで「実質的に或る程度の透過率」とは図２（ｂ）のスペクトルからみると０．３〜０．５程度である。
【００４７】
フィルタアレイ６にはそれぞれほぼ同数の光学フィルタ７ａ〜７ｆが含まれる。また、同一種類の光学フィルタ同士は、行方向、列方向（Ｘ’方向、Ｙ’方向）のそれぞれにおいて、可能な限り間隔がばらつくように位置が割り当てられる。例えば微小光学レンズ５と光学フィルタ７との組であるレンズ・フィルタユニットがＸ’方向にｍx行、Ｙ’方向にｍy列（総個数：ｍx×ｍy）に配置されている場合、Ｘ’方向には１〜ｍx−１、Ｙ’方向には１〜ｍy−１の間で様々な間隔が混在するようにするとよい。ここでいうレンズ・フィルタユニットの「間隔」とは、図３に示すように、ｍx行、ｍy列、の等ピッチ間隔の格子点上にレンズ・フィルタユニットの中心が来るように配置されているとしたときの隣接する格子点間の距離を１としたものである。したがって、レンズ・フィルタユニットの「間隔」は１、２、３、…、と整数である。
【００４８】
ただし、各レンズ・フィルタユニットはｍx行、ｍy列、の完全な等ピッチ間隔の格子点上に配置されているのではなく、図３右に示すように、同一平面内でそれぞれ格子点上から微小な変位量をもってずれて配置されている。この微小変位量やその変位方向はレンズ・フィルタユニット毎に異なることが望ましく、例えば所定の制約条件（変位量の上限など）の下でランダムに変位量と変位方向とが与えられるようにするとよい。こうした特徴的な構造や配置を採ることの利点は後述する。
【００４９】
ここで、光学レンズ及び光学フィルタの配置の決定方法の一例を図１５を参照して説明する。
まず、レンズアレイ４のサイズ、つまりＸ’方向及びＹ’方向にそれぞれ配列される微小光学レンズ５の個数（ＮX×ＮY）と、光学フィルタ７の種類の数（ＮW）を設定する。例えば、図１５の例では、ＮX×ＮY＝５×５、ＮWは６である。次に、２次元的なレンズ配列（ＮX×ＮY）に対して、外周側から１周ずつ、その周内に配置する種別毎の光学フィルタ７の個数を決める。基本的には、１周の中で全種類の光学フィルタ７の個数が等しくなるようにするが、等分に割り当てできない場合には、例えば重要な光学フィルタ７への割り当てを増やす等の適宜の調整を加えるものとする。そして、或る１周中への光学フィルタ７の割り当て個数が決まったならば次に内周側に移り、内周側の１周への光学フィルタ７の割り当て個数を決める。こうして、最内周まで順次割り当て個数を決めるが、全体でそれぞれの種類の光学フィルタの割り当て個数に大幅な（この場合２以上の）不均等が生じた場合には、外周側に戻って割り当てを見直す。
【００５０】
いま図１５の例では（ａ）に示すように、最外周の１周中に配置できる光学フィルタの個数は１６であるから、重要な４種類の光学フィルタｆ１、ｆ２、ｆ３、ｆ４を３個ずつ割り当て、そのほかの２種類の光学フィルタｆ５、ｆ６を２個ずつ割り当てる。その１つ内側の１周中に配置できる光学フィルタの個数は８である。先の外周側では光学フィルタｆ５、ｆ６は光学フィルタｆ１、ｆ２、ｆ３、ｆ４よりも数が少ないため、ここでは光学フィルタｆ５、ｆ６を２個ずつ割り当て、そのほかの４種類の光学フィルタｆ１、ｆ２、ｆ３、ｆ４を１個ずつ割り当てる。これにより、６種類の光学フィルタｆ１〜ｆ６は全て４個ずつ均等に割り当てられる。なお、ここでは中心の１個の微小光学レンズには光学フィルタを割り当てずにおき、この個眼ユニットで得られる個眼像を基準とする。
【００５１】
上述のように複数種の光学フィルタの割り当てが完了したならば、それぞれ割り当てられた個数に従って、Ｘ’方向、Ｙ’方向ともに、同一種の光学フィルタの間隔がそれぞれ１〜Ｎx−１（ここでは４）、１〜ＮY−１（ここでは４）でできるだけばらつくように、光学フィルタの位置を入れ替える。実際には全ての種類の光学フィルタについて間隔が満遍なくばらつくようにすることは困難であるため、重要な光学フィルタについて優先的に配置するとよい。図１５の例では、ｆ１、ｆ２、ｆ３を特に重要な光学フィルタとして優先的に、間隔が満遍なくばらつくように配置した結果、図１５（ｂ）に示す配置となる。
もちろん、以上の手順は一例であり、配置決定手法はこれに限らない。
【００５２】
図５は本実施例の複眼撮像装置における画像入力から分光画像出力までの処理の流れを示す概念図である。
被写体１００から到来する光を上述した画像入力部１で撮影すると、固体撮像素子２の受光面３上に並行して形成される複数の個眼像を光電変換した画像信号がデータ処理部１１に入力される。即ち、データ処理部１１には個眼ユニット９と同数の個眼像を含む複眼像に対応した画像信号が入力される。データ処理部１１では、この複数の個眼像に対して測距処理を行うことにより各画素毎の距離情報を示す距離分布を求め、また、距離分布を利用して多次元点像分布関数を求め、これら情報を利用して画像の再構成処理又は超解像処理のいずれかを実行して、最終的に複数の分光画像を形成する。以下、これらの処理について説明する。
【００５３】
まず、画像入力部１で得られる複眼像について説明する。図４は図２（ａ）中の１個の画素で得られる画像信号に含まれる情報の概念を示す図である。上述したように、複数の個眼ユニット９は互いに異なる位置にあるため、画像信号には被写体１００と個眼ユニット９との位置関係を示す空間ｘ、ｙ、ｚの情報が含まれる。また、被写体１００から到来する光は固体撮像素子２の受光面３に到達するまでに光学フィルタ７を通過するから、画像信号には光学フィルタ７に関する波長λの情報（厳密に言えば、固体撮像素子２の光電変換の波長特性も含む）が含まれる。さらにまた、この固体撮像素子２では受光面３上の全ての画素で電荷蓄積のタイミングが同一ではなく、ローリングシャッタを利用して図２（ａ）中に示した方向にライン毎に順番に露光を行って得られた信号を読み出す。したがって、画像信号には時間ｔの情報も含まれる。
【００５４】
図６は複眼像に含まれる各個眼像の時間的な関係を示す概念図である。上述したように固体撮像素子２の受光面３上の画素配列とレンズ・フィルタユニットの配列とが角度Θだけずれているため、受光面３上には、図６（ａ）に示すように、ｙ’方向にずれた状態で個眼像が結像される。ローリングシャッタによる露光・信号読み出しは、図６（ｂ）に示すように、ｘ’方向のライン毎にｙ’方向に順番に実行される。そのため、例えば図６（ｃ）に示すように、固体撮像素子２の受光面３上に形成された９個の個眼像は１〜９の番号順に少しずつ時間がずれた連続画像とみなすことができる。
【００５５】
図３に示した等ピッチ間隔の格子点上に整然とレンズ・フィルタユニットが配列されている場合、各個眼像の時間ずれ（図６（ｂ）におけるＴ／Ｎ）は同一になる。その場合、時間的に連続するいずれの個眼像の組み合わせをとっても、個眼像上の対応画素同士の時間ずれは同一となる。これに対し、この実施例の複眼撮像装置では、上述したように各レンズ・フィルタユニットに独立に微小変位が与えられているため、各個眼像の時間ずれは完全には同一ではない。それにより、時間的に連続する個眼像の組み合わせによって時間ずれが微妙に相違する。このように時間ずれが微妙に相違するため、後述する超解像再構成法を用いて複眼像から画像再構成を行うときに時間方向の再現性が向上する。
【００５６】
図７はこの複眼撮像装置における撮像モデルを示す概念図である。図７（ａ）に示すように、或る仮想的な物体（被写体）上に存在する物点Ｐ（ｘ，ｙ，ｚ）の個眼ユニットｉに対する受光面３上の像点をＰ’（ｘ’，ｙ’，０）とする。被写体が持つ情報、つまり原情報をｆ(ｘ，ｙ，ｚ，λ，ｔ)としたとき、複眼像ｇ（ｘ’，ｙ’）は次の(1)式で定義される。
【数１】
2011182237.tif 000003
τc(i)(λ)：個眼ユニットｉに含まれる光学フィルタ種ｃの透過スペクトル
τp(ｘ’，ｙ’，λ)：像点Ｐ’（ｘ’，ｙ’，０）を捉える画素に対応した光学フィルタの透過スペクトル
ｓ(λ)：固体撮像素子２の光電変換特性の波長依存性
ｈi(ｘ，ｙ，ｚ，λ；ｘ’，ｙ’)：個眼ユニットｉに含まれる光学レンズの結像特性
ｗt(ｙ’，ｔ)：ｙ’の位置にある画素の蓄積時間窓幅
(ｕi，ｖi)：個眼ユニットｉに含まれる微小光学レンズの中心座標
ｆi：個眼ユニットｉに含まれる微小光学レンズの焦点距離（ただし、ピンホールレンズであると仮定する）
【００５７】
上記蓄積時間窓幅ｗt(ｙ’，ｔ)は次式により定義される。
【数２】
2011182237.tif 000004
ここで、Ｔaは固体撮像素子２の蓄積時間であり、ｙs、Δy’は図７（ｂ）に示すように、固体撮像素子２の受光面３上の各画素の位置及びピッチに関するパラメータである。
(1)式で分かるように、複眼像ｇ(ｘ’，ｙ’)は、本来、被写体１００が有する原情報ｆ(ｘ，ｙ，ｚ，λ，ｔ)に対し、撮像に伴う空間情報ｘ、ｙ、ｚ、波長情報λ、及び時間情報ｔが重畳された５次元の情報となっている。この５次元情報ｇ(ｘ’，ｙ’)から原情報ｆ(ｘ，ｙ，ｚ，λ，ｔ)を求める作業がデータ処理部１１で実行される画像再構成処理であり、その際に必要なｚ情報を求めるのが測距処理であると言える。
【００５８】
本実施例の複眼撮像装置における画像再構成手法には、大別して、簡易型再構成法と超解像再構成法とがある。次に、これらの方法について説明する。
【００５９】
［簡易型再構成方法］
簡易型再構成方法とは文字通り、比較的簡単な演算処理により低解像の複眼像に基づいてより高解像の画像を再構成する手法である。簡易型再構成方法としては２つのアルゴリズムのいずれかを採用することができる。いずれのアルゴリズムでも、図７（ａ）で説明したような撮像モデルを考え、或る仮想物体に対し、仮想物体上の各物点の座標（ｘ，ｙ，ｚ）という３次元情報に、光学フィルタ種類識別番号ｃ、蓄積開始時刻ｔ、の２次元情報を加えた、５次元の再構成画像を想定する。この再構成画像上の各画素を埋める作業が画像再構成処理である。
【００６０】
［１］簡易型再構成方法の第１のアルゴリズム（図８参照）
第１のアルゴリズムでは、複眼像の各画素が持つ画素値を、その画素が存在する個眼像に割り当てた光学フィルタの種類識別番号ｃ及び画素信号の蓄積開始時刻ｔに対応し、受光面から所定距離ｚ離れた位置に存在する仮想平面（ｘ，ｙ，ｃ，ｔの４次元画像）に逆投影する。例えば図８の例では、複眼像上の或る画素（ｘ’，ｙ’）の画素値を、その画素が属する個眼ユニット９に含まれる光学フィルタ７の種類識別番号ｃ（この例ではｃ＝＃６）、複眼像上の画素座標（ｘ’，ｙ’）から計算される再構成画像上の画素座標（ｘ，ｙ）、座標ｙ’から計算される蓄積開始時刻ｔ（この例ではｔ＝ｔm-1）、及び、画素座標（ｘ，ｙ）と蓄積開始時刻ｔとで与えられる距離ｚ、に位置する再構成画像上の画素に割り当てる。複眼像上の全ての画素の画素値を同様にして仮想平面上に逆投影することによって、再構成画像上の各画素を埋める。
【００６１】
ただし、こうした逆投影では仮想物体上の全ての座標に画素値が与えられるとは限らず、情報が与えられない欠損画素が生じる。そこで、図９に示すように、欠損画素についてはその周囲（図９ではｘ、ｙの２次元的にしか示していないが、波長λ、時間ｔを加えた４次元的な周囲）の複数の充足画素の画素値を用いた補間処理により画素値を推算し、その推算画素値で埋める。これにより、再構成画像上の全ての画素の画素値を決める。その後に、再構成画像上の画素（ｘ，ｙ，ｚ，ｔ）について光学フィルタ種類識別番号ｃの情報を用いて波長に対する原スペクトル推定を行う。これにより、被写体の分光画像を取得する。
【００６２】
［２］簡易型再構成方法の第２のアルゴリズム（図１０参照）
第２のアルゴリズムでは、第１のアルゴリズムとは逆に、再構成画像上の１つの画素（ｘ，ｙ，ｚ，ｃ，ｔ）から、複眼像中の対応する複数の画素を見つけ出し、その複数の画素の画素値、個眼像の光学フィルタ種類識別番号ｃ、画素信号の蓄積開始時刻ｔ、を統合することで、又はその複数の画素の１つを選択することで再構成画像上の画素を埋める。例えば図１０の例では、４次元空間上の或る画素（ｘ，ｙ，ｃ，ｔ）について、その光学フィルタ種類識別番号ｃ（この例ではｃ＝＃６）をもつ個眼像に対し、再構成画像上の画素座標（ｘ，ｙ）から計算される複眼像上の画素座標（ｘ’，ｙ’）、及び座標ｙ’から計算される蓄積開始時刻ｔ’、を計算し、蓄積開始時刻ｔ’が最もｔ（この場合にはｔ＝ｔm-1）に近い個眼像を選ぶ。そして、その個眼像の画素座標（ｘ’，ｙ’）にある画素の画素値を元の再構成画像上の画素（ｘ，ｙ，ｃ，ｔ）の画素値とする。或いは、蓄積開始時刻ｔ’が最もｔに近い個眼像を選ぶのではなく、ｔに近い複数の個眼像を選び、近い順に大きな重み付けを与えて複数の対応画素の画素値から補間処理により画素値を求めてもよい。
【００６３】
再構成画像上の全ての画素の画素値について同様の処理を行うことにより、全ての画素を埋めることができる。この場合、再構成画像上の画素毎に画素値を求めるため、第１のアルゴリズムのような欠損画素は生じず、欠損画素の補間処理は不要である。第１のアルゴリズムと同様に、その後に、再構成画像上の画素（ｘ，ｙ，ｚ，ｔ）について光学フィルタ種類識別番号ｃの情報を用いて波長に対する原スペクトル推定を行う。これにより、被写体の分光画像を取得する。
【００６４】
［２］超解像再構成法
超解像再構成法では、複数枚の低解像画像から高解像画像を作成するために従来から知られているＢＴＶ（バイラテラル・トータル・バリエイション）法を利用する。この手法は本発明の趣旨ではないので式を挙げて簡単に説明する。超解像再構成法では(1)式に示した５次元の関数のうち、ｘ、ｙの空間方向の２次元に、波長、時間の２次元を加えた、４次元の点像分布関数を用いる。ＢＴＶ法の基本的な演算式は次の(2)式である。Ｘはｘ，ｙの２次元画像を列ベクトルで表したものである。
【数３】
2011182237.tif 000005
ただし、ArgminX Ｆ(X)はＦ(X)を最小にするＸを意味する。
【００６５】
Ｘに、波長、時間の２次元を加えることによりｘ，ｙ，λ，ｔの４次元画像を列ベクトルで表したものとし、上記(2)式を拡張し、(3)式を得る。
【数４】
2011182237.tif 000006
これにより、４次元の点空間方向のみならず、波長、時間方向にもバイラテラル拘束が適用される。
【００６６】
さらに、波長分布を滑らかにするために、ｍ次元の波長情報を輝度で規格化した波長情報、又は、輝度とｍ−１次元の波長情報に変換し、各波長成分の空間的滑らかさの拘束条件と、全ての２つの波長成分の組み合わせに対して空間的な滑らかさの拘束条件と、を加える。カラー画像を考えた場合のＢＴＶ法の基本的な演算式は次の(4)式である。
【数５】
2011182237.tif 000007
【００６７】
これを拡張すると、次の(5)式が得られる。
【数６】
2011182237.tif 000008
一般に知られているようにＢＴＶ法はノイズに対するロバスト性が高いので、複眼像のＳ／Ｎがあまり良好でない場合でもその影響をあまり受けずに高解像画像を再構成することができる。
【００６８】
［測距方法］
次に、本実施例の複眼撮像装置において、複眼像から仮想物体上の各物点の距離を推定する測距方法について説明する。まず、基本的な測距処理の手順の一例を図１１に従って説明する。
【００６９】
まず、複数の探索距離の集合である探索距離群Ｚ＝｛ｚ1，ｚ2，…，ｚnz｝を設定する。探索距離群Ｚに属する探索距離それぞれが距離の候補であるから、例えば所定の距離範囲内を所定のステップ幅で漏れなく設定するようにするとよい。次に、探索距離群Ｚの中から未探索の探索距離を１つ選択し、これを探索試行距離ｚとする（ステップＳ２）。その後に、その探索試行距離ｚの条件の下で再構成画像を作成する（ステップＳ３）。例えば上記簡易型再構成方法を用いることができる。
【００７０】
それから、作成された再構成画像上の１つの後述の評価値未計算の画素（ｘ，ｙ）を選ぶ（ステップＳ４）。その画素（ｘ，ｙ）に対応する又はその近傍の別の再構成画像上の画素値を取得する（ステップＳ５）。それから、評価値ｅを計算する（ステップＳ６）。そのあと、画素（ｘ，ｙ）について初めて評価値ｅの計算を行ったか否かを判定し（ステップＳ７）、初めてであれば、その評価値ｅをＥ（ｘ，ｙ）に、その探索試行距離ｚをＤ（ｘ，ｙ）に保存する（ステップＳ９）。一方、ステップＳ７で評価値ｅの計算が初めてでないと判定されると、評価値ｅが既に保存されているＥ（ｘ，ｙ）よりも大きいか否かを判定する（ステップＳ８）。ｅ＞Ｅ（ｘ，ｙ）であれば上記ステップＳ９に進み、保存されているＥ（ｘ，ｙ）をｅに更新し、探索試行距離の保存値Ｄも更新する。
【００７１】
ステップＳ８で評価値ｅがＥ（ｘ，ｙ）以下である場合、及びステップＳ９でＥ及びＤの更新が終了した後には、再構成画像上の全ての画素について評価値ｅが計算されたか否かを判定し（ステップＳ１０）、評価値未計算の画素があればステップＳ４に戻る。したがって、ステップＳ４〜Ｓ１０の繰り返しにより、或る１つの探索試行距離ｚに対する再構成画像上の全画素についての評価値が計算されることになる。ステップＳ１０でＹｅｓと判定されるとステップＳ１１に進み、探索距離群Ｚ中の全ての探索距離に対する処理が実施されたか否かを判定する。そして、未探索の距離がある場合にはステップＳ２に戻る。したがって、ステップＳ２〜Ｓ１１の繰り返しにより、探索距離群Ｚとして設定された全ての探索距離について再構成画像上の全画素に対する評価値に基づく距離の探索が行われる。そして最終的に残ったＤ（ｘ，ｙ）を各画素の推定距離として出力する（ステップＳ１２）。
【００７２】
測距方法としては次の３つのアルゴリズムのいずれか採用することができる。
［１］測距方法の第１のアルゴリズム（図１２参照）
第１のアルゴリズムでは、或る距離ｚ（又は距離分布）を仮定した条件の下で、複眼像中の基準個眼像と同一種類の光学フィルタ（フィルタ種：ＣBASE）について複眼像から１枚の画像を再構成するとともに、上記基準個眼像とは異なる種類の光学フィルタ（フィルタ種：Ｃ1、Ｃ2、Ｃ3、Ｃ4、Ｃ5、Ｃ6）について複眼像から再構成した画像をそれぞれ白黒化（輝度情報のみを抽出）して統合することにより、２種類の再構成画像を作成する。この２種類の再構成画像の相互相関又は相互情報量を対応する画素毎に計算し、各画素を中心とする所定の大きさの窓内で上記計算値の総和を求めてこれを評価値とする。この評価値を最大化する距離（又は距離分布）がその画素の距離となる。
【００７３】
［２］測距方法の第２のアルゴリズム（図１３参照）
第２のアルゴリズムでは、或る距離ｚ（又は距離分布）を仮定した条件の下で複眼像中の基準個眼像と同一種類の光学フィルタ（フィルタ種：ＣBASE）について複眼像から１枚の画像を再構成するとともに、上記基準個眼像とは異なる種類の光学フィルタ（フィルタ種：Ｃ1、Ｃ2、Ｃ3、Ｃ4、Ｃ5、Ｃ6）の種類毎に複眼画像からそれぞれ画像を再構成する。そして、前者の１枚の再構成画像と後者の光学フィルタ種類数と同数の再構成画像とのそれぞれの相互相関又は相互情報量を画素毎に計算する。そして、第１のアルゴリズムと同様に、各画素を中心とする所定の大きさの窓内で上記計算値の総和を求めこれを評価値とし、これを最大化する距離（又は距離分布）をその画素の距離とする。
【００７４】
［３］測距方法の第３のアルゴリズム（図１４参照）
第３のアルゴリズムでは、第１及び第２のアルゴリズムのように、再構成画像を作成することなく、再構成画像上の画素（ｘ，ｙ）又はその近傍の画素を含めた複数の画素について、基準個眼像と同一種類の光学フィルタ（フィルタ種：ＣBASE）を持つ全ての個眼像上の対応画素値の集合と、そのほかの光学フィルタ種類（フィルタ種：Ｃ1、Ｃ2、Ｃ3、Ｃ4、Ｃ5、Ｃ6）それぞれを持つ個眼像の対応画素値の集合とを作成する。そして、基準個眼像に関する画素値群と異種光学フィルタそれぞれの画素値群の間の相互情報量の総和を評価値とし、これを最大化する距離又は距離分布をその画素（ｘ，ｙ）の距離とする。このアルゴリズムは再構成画像を作成しないものの、実質的には再構成画像を作成した処理と同等の処理を行うものと解釈することができる。
【００７５】
なお、以上のいずれの測距方法でも、画素の評価値を計算する窓のサイズを固定とせず測距精度が高くなるように適応的に変えたり、評価値に考慮する窓内の画素の重みを適応的に変えたりしてもよい。
【００７６】
以上説明したようにいずれかの測距方法と画像再構成方法との組み合わせにより、被写体上の各画素毎に距離を計算し、被写体全体の距離分布を求めることができる。逆に、距離分布の精度が上がれば、それを利用して再構成画像の解像度を高めることができる。
【００７７】
特に本実施例の複眼撮像装置では、前述のようにフィルタアレイ６に含まれる複数の光学フィルタ７として、バンドパスフィルタではなく波長に関し相関性のある光学フィルタを用いることにより、測距の精度を高めることができる。その理由について、図１９に示したごく簡略化した模式図、及び図２０に示した評価値と距離との関係を示す図により説明する。いま、被写体として図１９（ａ）に示す反射スペクトルの偏った被写体を想定する。即ち、図１９（ａ）右に示すように、反射スペクトル上でそれぞれ強度ピークが孤立して現れる「Ａ」、「Ｂ」、「Ｃ」の３つの文字が被写体である。
【００７８】
図１９（ｃ）に示すように、従来のバンドパスフィルタを用いた複眼撮像装置では、透過波長帯域が狭い。このため、被写体を撮影して得られる画像上では、そのバンドパスフィルタの透過ピークと略同波長の反射ピークを有する文字は明瞭に映し出されるものの、離れた波長に反射ピークを有する文字は薄くしか映し出されないか或いは全く消えてしまう。このため、複数の画像間の相関が低く、画像マッチングの精度を高くすることが難しい。その結果、図２０（ｂ）に示すように、複数の再構成画像に基づく評価値は、探索距離に対して幅が広くなり、ピーク高も低下する。そのため、真値から大きくずれた別の距離に現れる偽のピークを誤検出してしまい、誤った距離推定を行うおそれが高くなる。
【００７９】
これに対し、図１９（ｂ）に示すように波長に関し相関性の高いフィルタを用いた複眼撮像装置では、被写体を撮影して得られる画像上では、異なる反射ピークを有する３つの文字がほぼ明瞭に映し出される。このため、複数の画像間の相関が高く、画像マッチングによる位置合わせを高い精度で行うことができる。その結果、図２０（ａ）に示すように、探索距離に対する評価値のピークが明瞭に現れ、より真値に近い距離を推定することが可能となる。
【００８０】
前述の距離推定法は、複眼像にピンぼけがないことを前提としている。しかしながら、実際には、物体距離によってはピンぼけが生じるため、距離推定が困難となる場合がある。そこで次に、本実施例の複眼撮像装置において、被写界深度を拡大するために採用している方法について図１６〜図１８により説明する。ここでは、いわゆるウェイブフロント・コーディング（Wavefront coding）と呼ばれる手法を利用するが、元々の手法では、点像分布関数が物体距離と像高の両方ともに依存しないように撮像光学系を設計する必要がある。これは特に複眼撮像装置のようにレンズの構成要素数が少ない場合には、かなり厳しい要件である。そこで、ここでは像高に対しては或る程度、点像分布関数が相違することを許容し、これを画像処理で補うようにする。即ち、レンズアレイ４に含まれる各微小光学レンズ５に意図的に例えば球面収差などの収差を持たせることにより、或る物体距離範囲内で、その物体距離に依らずに各像高で点像分布関数が光軸に対し回転対称にほぼ一定になるようにする。このとき、像高に対しては点像分布関数が異なることを許容する。
【００８１】
意図的に収差が与えられているため個眼像は全体的にボケることになるが、次のような画像処理によって、この焦点ボケを除去する。図１６（ａ）に示すように、或る矩形状の個眼像に対し、中央の矩形状の領域＜１＞と、それを取り囲む複数のドーナツ状の領域＜２＞、＜３＞、＜４＞の４つの領域に分割する。ただし、例えば領域＜１＞と＜２＞、領域＜２＞と＜３＞、領域＜３＞と＜４＞、とではそれぞれ一部が重複するように領域を設定する。上述のように各像高で点像分布関数が光軸に対し回転対称にほぼ一定であるため、各領域内では点像分布関数の変化は小さいものとみなすことができる。そこで、各領域でそれぞれ単一の逆フィルタを適用してボケを除去する。
【００８２】
この際、中央の領域＜１＞については、図１６（ｂ）に示すように個眼像から単純に切り出された画像信号に対し逆フィルタを適用する。これに対し、ドーナツ状の領域＜２＞、＜３＞、＜４＞については、微小光学レンズの回転対称性の影響を除去するためにそれぞれｘｙ−ｒθ変換を行って回転座標系に展開し、その変換後の各領域に含まれる画像信号に対し逆フィルタを適用する。なお、逆フィルタ処理後に周辺の歪み（アーティファクト）を除去するために  ｘｙ−ｒθ変換を行う際のθはその両端を角度βだけオーバーラップさせるようにする。
【００８３】
図１７（ａ）に示すように、逆フィルタ処理後の各領域の信号に対し、アーティファクトが生じている可能性がある周辺部を切り取り、それから領域＜２＞、＜３＞、＜４＞については先と逆のｒθ」−ｘｙ変換をそれぞれ行うことにより直交座標系のドーナツ形状の領域に戻す。各領域を繋ぎ合わせる際には、重複部分には図１８に示すようなαブレンディングを行うことにより、領域同士の境界を挟んだ両側が円滑に繋がるようにする。
図１８は最も簡単な１次元のαブレンディングを示した図である。画像ｆA(ｘ)と画像ｆB(ｘ)とを合成する場合、重複部に対して、αA＋αB＝１となるように透過率を定め、領域Ａの画素値分布ｆA(ｘ)と領域Ｂの画素値分布ｆB(ｘ)とから、次式により合成画像を作成する。
ｇ(ｘ)＝αAｆA(ｘ)＋αBｆB(ｘ)
【００８４】
これにより、微小光学レンズの球面収差による焦点ボケが除去された個眼像が得られ、或る程度の広い物体距離範囲に亘って同様の効果が達成できる。
【００８５】
なお、上記実施例は本発明の一例にすぎず、本発明の趣旨の範囲で適宜変形、追加、修正を行っても本願特許請求の範囲に包含されることは明らかである。例えば、微小光学フィルタとして、波長フィルタを用いるほか、ＮＤフィルタ、偏光フィルタ、位相板、回折格子、ホログラム、その他様々なフィルタを組み合わせて用いることも変形した形態に含まれる。
【符号の説明】
【００８６】
１…画像入力部
２…固体撮像素子
３…受光面
４…レンズアレイ
５…微小光学レンズ
６…フィルタアレイ
７、７ａ〜７ｆ…光学フィルタ
８… 隔壁部材
９…個眼ユニット
１０…Ａ／Ｄ変換部
１１…データ処理部
１２…表示部
１００…被写体
【図１】
2011182237.tif 000009
【図２】
2011182237.tif 000010
【図３】
2011182237.tif 000011
【図４】
2011182237.tif 000012
【図７】
2011182237.tif 000013
【図８】
2011182237.tif 000014
【図９】
2011182237.tif 000015
【図１０】
2011182237.tif 000016
【図１１】
2011182237.tif 000017
【図１５】
2011182237.tif 000018
【図１６】
2011182237.tif 000019
【図１７】
2011182237.tif 000020
【図１８】
2011182237.tif 000021
【図２０】
2011182237.tif 000022
【図５】
2011182237.tif 000023
【図６】
2011182237.tif 000024
【図１２】
2011182237.tif 000025
【図１３】
2011182237.tif 000026
【図１４】
2011182237.tif 000027
【図１９】
2011182237.tif 000028