(57)【要約】【課題】可動部なしに深い被写体深度を実現可能な低コストで薄型の距離画像取得装置を提供できるようにする。【解決手段】複数のレンズがアレイ配列されてなるレンズアレイと、前記複数のレンズのそれぞれにより結像される被写体の縮小像（個眼像）の集合である複眼像を撮像する撮像素子とからなる撮像ユニットを備え、前記レンズアレイを構成する複数のレンズを、各々曲率半径の異なる２以上のレンズペアで構成し、レンズペアとなる２つのレンズは同じ曲率半径とする。演算ユニットは、撮像素子で撮像された複眼像を個眼像に分離して、各レンズペアに対応する個眼像ペアの中から最も焦点の合った個眼像ペアを抽出し、該個眼像ペアを用いて視差検出を行って距離画像を取得する。【選択図】図１
2011149931.tif 000002
【特許請求の範囲】
【請求項１】
被写体に対向する位置に設けられた、複数のレンズがアレイ配列されてなるレンズアレイと、前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより略結像される前記被写体の縮小像（以下、個眼像）の集合である複眼像を撮像する撮像素子と、前記撮像素子により撮像された複眼像から距離画像を算出する演算ユニットとからなり、
前記レンズアレイを構成する複数のレンズは、各々曲率半径の異なる２以上のレンズペアからなり、レンズペアを構成する２つのレンズでは略同じ曲率半径を有し、
前記演算ユニットは、前記複眼像を複数の個眼像に分離する手段と、前記複数の個眼像について、各レンズペアに対応する個眼像ペアの中から、最も焦点の合った個眼像ペア（以下、合焦個眼像ペア）を選択する手段と、前記合焦個眼像ペアの視差画像を検出する手段と、前記視差画像から距離画像を算出する手段とを有する、
ことを特徴とする距離画像取得装置。
【請求項２】
前記合焦個眼像ペアを選択する手段は、各個眼像ペアについて画素の輝度の最高値と最低値を検出して、その差（以下、輝度差）が最大となる個眼像ペアを合焦個眼像ペアとする、
ことを特徴とする請求項１に記載の距離画像取得装置。
【請求項３】
各個眼像ペアのうち、一方の個眼像について輝度差が最大となる個眼像を抽出し、他方の個眼像の中から前記抽出した個眼像と対の個眼像を選択して、合焦個眼像ペアとする、
ことを特徴とする請求項２に記載の距離画像取得装置。
【請求項４】
前記視差画像を検出する手段は、合焦個眼像ペアの微小領域ごとの視差を検出し、それを合成して視差画像とし、
距離画像を算出する手段は、前記視差画像の各微小領域の視差毎に被写体距離を算出し、全微小領域での距離情報を単一画像に合成することで距離画像とする、
ことを特徴とする請求項１乃至３のいずれか１項に記載の距離画像取得装置。
【請求項５】
被写体に対向する位置に設けられた、複数のレンズがアレイ配列されてなるレンズアレイと、前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより略結像される前記被写体の縮小像（以下、個眼像）の集合である複眼像を撮像する撮像素子と、前記撮像素子により撮像された複眼像から距離画像を算出する演算ユニットとからなり、
前記レンズアレイを構成する複数のレンズは、各々曲率半径の異なる２以上のレンズペアからなり、レンズペアを構成する２つのレンズでは略同じ曲率半径を有し、
前記演算ユニットは、前記複眼像を複数の個眼像に分離する手段と、前記複数の個眼像について、各レンズペアに対応する個眼像ペアの視差画像を算出する手段と、各視差画像をそれぞれ複数の領域に分割し、各領域ごとに被写体距離を算出する手段と、各領域ごとに、各視差画像の被写体距離があらかじめ定めた複数の距離範囲のいずれに含まれるか比較して、最適の視差画像を選択する手段と、各領域ごとに選択した視差画像を合成する手段と、前記合成した視差画像から距離画像を算出する手段とを有する、
ことを特徴とする距離画像取得装置。
【請求項６】
被写体に対向する位置に設けられた、複数のレンズがアレイ配列されてなるレンズアレイと、前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより略結像される前記被写体の縮小像（以下、個眼像）の集合である複眼像を撮像する撮像素子と、前記撮像素子により撮像された複眼像から距離画像を算出する演算ユニットとからなり、
前記レンズアレイを構成する複数のレンズは、各々曲率半径の異なる２以上のレンズペアからなり、レンズペアを構成する２つのレンズでは略同じ曲率半径を有し、
前記演算ユニットは、前記複眼像を複数の個眼像に分離する手段と、前記複数の個眼像について、各レンズペアに対応する個眼像ペアの視差画像を算出して、各視差画像の距離画像を算出する手段と、各距離画像をそれぞれ複数の領域に分割し、各領域ごとに、各距離画像の被写体距離があらかじめ定めた複数の距離範囲のいずれに含まれるか比較して、最適の距離画像を選択する手段と、各領域ごとに選択した距離画像を合成して全領域の距離画像とする手段とを有する、
ことを特徴とする距離画像取得装置。
【請求項７】
被写体に対向する位置に設けられた、複数のレンズがアレイ配列されてなるレンズアレイと、前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより略結像される前記被写体の縮小像（以下、個眼像）の集合である複眼像を撮像する撮像素子と、前記撮像素子により撮像された複眼像から距離画像を算出する演算ユニットとからなり、
前記レンズアレイを構成する複数のレンズは、各々曲率半径の異なる２以上のレンズペアからなり、レンズペアを構成する２つのレンズでは略同じ曲率半径を有し、
前記演算ユニットは、前記複眼像を複数の個眼像に分離する手段と、前記複数の個眼像について、各レンズペアに対応する個眼像ペアの視差画像を算出する手段と、各個眼像ペアごとに特定する被写体を認識して、その領域を抽出する手段と、各視差画像ごとに、特定の被写体領域の平均被写体距離を算出する手段と、各視差画像の前記特定の被写体領域の平均被写体距離があらかじめ定めた複数の距離範囲のいずれに含まれるか比較して、最適の視差画像を選択する手段と、前記選択された視差画像から距離画像を算出する手段とを有する、
ことを特徴とする距離画像取得装置。
【請求項８】
被写体に対向する位置に設けられた、複数のレンズがアレイ配列されてなるレンズアレイと、前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより略結像される前記被写体の縮小像（以下、個眼像）の集合である複眼像を撮像する撮像素子と、前記撮像素子により撮像された複眼像から距離画像を算出する演算ユニットとからなり、
前記レンズアレイを構成する複数のレンズは、各々曲率半径の異なる２以上のレンズペアからなり、レンズペアを構成する２つのレンズでは略同じ曲率半径を有し、
前記演算ユニットは、前記複眼像を複数の個眼像に分離する手段と、前記複数の個眼像について、各レンズペアに対応する個眼像ペアの視差画像を算出して、各視差画像の距離画像を算出する手段と、各個眼像ペアごとに特定する被写体を認識して、その領域を抽出する手段と、各距離画像ごとに、特定の被写体領域の平均被写体距離を算出する手段と、各距離画像の前記特定の平均被写体領域の平均被写体距離があらかじめ定めた複数の距離範囲のいずれに含まれるか比較して、最適の視差画像を選択する手段とを有する、
ことを特徴とする距離画像取得装置。
【請求項９】
最適の視差画像あるいは距離画像を選択する手段は、被写体距離を複数の範囲に分類し、各範囲ごとに適用する視差画像あるいは距離画像を対応づけたテーブルを用いる、
ことを特徴とする請求項５乃至８のいずれか１項に記載の距離画像取得装置。
【請求項１０】
特定の被写体を認識して、その領域を抽出する手段は、さまざまな被写体の特徴を格納した被写体特徴ライブラリと照合して、特定の被写体を認識する、
ことを特徴とする請求項７もしくは８に記載の距離画像取得装置。
【請求項１１】
前記演算ユニットは、複眼像から分離した各個眼像について画像歪みを補正する手段を更に有することを特徴とする請求項１乃至１０のいずれか１項に記載の距離画像取得装置。
【請求項１２】
前記レンズペアのうち、レンズ間隔（以下、基線長）が長いレンズペアを遠方の被写体距離に、基線長が短いレンズペアを近距離の被写体距離にフォーカスするように、レンズアレイにおけるレンズペアの曲率半径と配置を設定したことを特徴とする請求項１乃至１１のいずれか１項に記載の距離画像取得装置。
【請求項１３】
レンズアレイを構成する複数のレンズは略等しいバックフォーカスを有することを特徴とする請求項１乃至１２のいずれか１項に記載の距離画像取得装置。
【請求項１４】
レンズアレイを構成する複数のレンズは略等しいレンズサグからなり、該レンズアレイを構成する複数のレンズの有効径を略等しくするために、該レンズアレイの一方の面に、各レンズに対向して略等しい円形の開口部を設けた開口アレイを更に有する、
ことを特徴とする請求項１３に記載の距離画像取得装置。
【請求項１５】
レンズアレイの一部に突起部を設け、該突起部を介して開口アレイとレンズアレイを接着して、前記開口アレイのレンズ光軸方向の位置を規定している、
ことを特徴する請求項１４に記載の距離画像取得装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レンズアレイと撮像素子からなる画像入力装置を利用した距離画像取得装置に係り、詳しくは、可動部なしに深い被写界深度を実現する距離画像取得装置に関する。
【背景技術】
【０００２】
画像入力装置は、携帯機器、車載機器、医療機器や産業機器等における情報取得手段として有用されているが、このような画像入力装置を利用して二次元の画像情報のみならず、被写体までの距離や被写体の三次元形状など、距離情報も同時に検知する距離画像取得装置への要求が高くなっている。そして、当該距離画像取得装置の場所を選ばない設置を可能とするために、装置の小型、薄型化も望まれている。また正確な距離と画像の情報を取得するためには、焦点の合った画像を得ることは必須である。あらゆる被写体距離で焦点の合った画像を得るには、レンズを所定の被写体距離にフォーカスさせる必要があり、特に被写体距離が短い接写の場合には、被写界深度が浅く、被写体距離の変化による画質変動が大きくなるため、フォーカス機能の必要性はより高くなる。
【０００３】
従来の距離画像情報の取得技術としては、特許文献１に示されたようなステレオカメラがある。これは、レンズの光軸と略垂直な平面内に２台以上のカメラを設置し、それらのカメラによる画像の視差から三角測量の原理に基づき、被写体までの距離や被写体の三次元形状を取得するというものである。しかし、２台以上のカメラを配置するため、装置の小型化には限界があり、また、配置の経時変動に伴う距離や形状の取得誤差が生じやすい。さらにカメラを構成するレンズ群やイメージセンサに個体差があるため、それらのキャリブレーションの必要が生じる。カメラ配置やカメラ個体差のキャリブレーションは装置コスト、製作コストを増大させる原因となる。
【０００４】
距離画像取得装置において、装置の小型化を図った従来例には、例えば、特許文献２がある。これは、光軸が互いに略平行である複数の光学ブロックが一体形成された光学ブロックアレイにより撮像された複数の画像から視差情報を算出して距離画像を取得するというもので、一体形成した複数の光学ブロックを用い、装置を小型化するとともに、複数の測定距離の平均をとることで、距離測定の精度向上を図っている。しかし、固定焦点の光学ブロックにより被写体の撮像を行うため、被写体距離によっては焦点の合った像が得られず、距離や形状の検出が困難になる場合がある。
【０００５】
異なる被写体距離に焦点を合わせることができる距離画像取得装置としては、例えば、特許文献３の複眼測距装置がある。しかし該装置でも装置の小型化には限界があるとともに、上述のレンズ配置やイメージセンサの個体差等に伴うキャリブレーションの問題が残存する。さらに、該装置は、遠方の距離において、広い範囲にある物体を検出することができない。
【０００６】
焦点調整機能を有する薄型、小型の画像入力装置には、特許文献４に示された撮像装置がある。しかし、焦点調整手段として物理的な可動部を有する別構成を付加する必要があるため、装置の小型化、高速化に限界があり、また装置コストの増大も否めない。
【０００７】
異なる被写体距離に焦点を合わせる他の従来技術としては、特許文献５に示されるように、合焦距離の異なる複数のレンズセットからなるレンズアレイを用い、取得される複眼像の中から所定位置の画素を選択して取り出して、それらの画素から単一像を再構成することにより複数の被写体距離に焦点のあった画像を得るようにした画像入力装置がある。しかし、該装置では、レンズアレイの各レンズの撮像距離、並びに光学倍率をなんら規定しないため、各レンズの曲率半径を変えると、一般にそれぞれで得られる像の大きさが変わってくる。そのため、取得した複眼像から焦点の合った個眼像や画素を抽出する処理や焦点の合った像の取得後の取り扱いが複雑になるという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、可動部なしに深い被写界深度を実現可能な低コストで小型・薄型の距離画像取得装置を提供することを主要な目的とする。
【０００９】
また、本発明は、取得する画像及び取得後の画像の取扱が容易な距離画像取得装置を提供することを目的とする。
【００１０】
さらに、本発明は、被写体が近距離から遠距離まで分布している場合であっても、高い距離精度で距離画像が取得可能な距離画像取得装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の距離画像取得装置は、被写体に対向する位置に設けられた、複数のレンズがアレイ配列されてなるレンズアレイと、該レンズアレイの像面側に設けられた、複数のレンズのそれぞれにより略結像される被写体の縮小像（個眼像）の集合である複眼像を撮像する撮像素子と、該撮像素子により撮像された複眼像から距離画像を算出する演算ユニットとからなり、レンズアレイを構成する複数のレンズは、各々曲率半径の異なる２以上のレンズペアからなり、レンズペアを構成する２つのレンズでは略同じ曲率半径を有する。演算ユニットの一実施形態は、複眼像を複数の個眼像に分離する手段と、複数の個眼像について、各レンズペアに対応する個眼像ペアの中から、最も焦点の合った個眼像ペア（合焦個眼像ペア）を選択する手段と、合焦個眼像ペアの視差画像を検出する手段と、視差画像から距離画像を算出する手段とを有することを特徴とする。
【００１２】
レンズアレイは、複数のレンズペアのうち、レンズ間隔（以下、基線長）が長いレンズペアを遠方の被写体距離に、基線長が短いレンズペアを近距離の被写体距離にフォーカスするように、各レンズペアの曲率半径と配置を設定する。そして、該レンズアレイを構成する複数のレンズは略等しいバックフォーカスを有するようにする。
【００１３】
さらに、該レンズアレイを構成する複数のレンズは略等しいレンズサグからなり、該レンズアレイを構成する複数のレンズの有効径を略等しくするために、該レンズアレイの一方の面に、各レンズに対向して略等しい円形の開口部を設けた開口アレイを設ける。レンズアレイの一部には突起部を設け、該突起部を介して開口アレイとレンズアレイを接着して、開口アレイのレンズ光軸方向の位置を規定する。
【００１４】
演算ユニットの別の実施形態は、複眼像を複数の個眼像に分離する手段と、複数の個眼像について、各レンズペアに対応する個眼像ペアの視差画像を算出する手段と、各視差画像をそれぞれ複数の領域に分割し、各領域ごとに被写体距離（平均距離）を算出する手段と、各領域ごとに、各視差画像の被写体距離があらかじめ定めた複数の距離範囲のいずれに含まれるか比較して、最適の視差画像を選択する手段と、各領域ごとに選択した視差画像を合成する手段と、該合成した視差画像から距離画像を算出する手段とを有することを特徴とする。
【００１５】
演算ユニットの更に別の実施形態は、複眼像を複数の個眼像に分離する手段と、複数の個眼像について、各レンズペアに対応する個眼像ペアの視差画像を算出して、各視差画像の距離画像を算出する手段と、各距離画像をそれぞれ複数の領域に分割し、各領域ごとに、各距離画像の被写体距離（平均距離）があらかじめ定めた複数の距離範囲のいずれに含まれるか比較して、最適の距離画像を選択する手段と、各領域ごとに選択した距離画像を合成して全領域の距離画像とする手段とを有することを特徴とする。
【００１６】
演算ユニットの更に別の実施形態は、複眼像を複数の個眼像に分離する手段と、複数の個眼像について、各レンズペアに対応する個眼像ペアの視差画像を算出する手段と、各個眼像ペアごとに特定する被写体を認識して、その領域を抽出する手段と、各視差画像ごとに、特定の被写体領域の平均被写体距離を算出する手段と、各視差画像の前記特定の被写体領域の平均被写体距離があらかじめ定めた複数の距離範囲のいずれに含まれるか比較して、最適の視差画像を選択する手段と、該選択された視差画像から距離画像を算出する手段とを有することを特徴とする。
【００１７】
演算ユニットの更に別の実施形態は、複眼像を複数の個眼像に分離する手段と、複数の個眼像について、各レンズペアに対応する個眼像ペアの視差画像を算出して、各視差画像の距離画像を算出する手段と、各個眼像ペアごとに特定する被写体を認識して、その領域を抽出する手段と、各距離画像ごとに、特定の被写体領域の平均被写体距離を算出する手段と、各距離画像の前記特定の平均被写体領域の平均被写体距離があらかじめ定めた複数の距離範囲のいずれに含まれるか比較して、最適の視差画像を選択する手段とを有することを特徴とする。
【発明の効果】
【００１８】
本発明の距離画像取得装置によれば、可動部や複雑な装置構成を必要とせずに、また、複雑な処理や像の取扱を必要とせずに、異なる任意の被写体距離に対して焦点の合った個眼像ペアを抽出し、簡単に距離画像を取得することが可能になる。さらに、被写体が近距離から遠距離まで分布している場合であっても、被写体全体あるいは特定の被写体に合焦した距離精度の高い距離画像を取得することが可能になる。
なお、本発明の距離画像取得装置特有の種々の作用効果は、後述の実施形態の説明で更に明らかになる。
【図面の簡単な説明】
【００１９】
【図１】本発明の距離画像取得装置の第１の実施形態の全体構成図である。
【図２】図１のレンズアレイ面を示す図である。
【図３】本発明の距離画像取得装置のレイアウト図である。
【図４】レンズアレイを構成する一部のレンズセット（レンズ）のレンズパラメータを比較する図である。
【図５】図１の距離画像取得装置のレンズアレイを構成する各レンズセットペアのスルーフォーカスＭＴＦ特性を示す図である。
【図６】レンズの曲率半径を変化させたときのレンズサグの変化及びレンズの有効径の変化を説明する図である。
【図７】図１の距離画像取得装置のレンズアレイを通して取得される複眼像の一例を示す図である。
【図８】図１の距離画像取得装置の演算ユニットの処理フローチャートである。
【図９】本発明の距離画像取得装置の第２の実施形態の全体構成図である。
【図１０】図９のレンズアレイ面を示す図である。
【図１１】図９の距離画像取得装置のレンズアレイを構成する各レンズセットペアのスルーフォーカスＭＴＦ特性を示す図である。
【図１２】図９の距離画像取得装置のレンズアレイを通して取得される複眼像の一例を示す図である。
【図１３】本発明の距離画像取得装置の第３の実施形態の全体構成図である。
【図１４】図１３のレンズアレイ面を示す図である。
【図１５】図１３の距離画像取得装置のレンズアレイを通して取得される複眼像の一例と画像を領域分割した例を示す図である。
【図１６】図１３の距離画像取得装置の演算ユニットの処理フローチャートである。
【図１７】測距テーブルの一例を示す図である。
【図１８】第３の実施形態の変形例の処理フローチャートである。
【図１９】本発明の距離画像取得装置の第４の実施形態の全体構成図である。
【図２０】図１９のレンズアレイ面を示す図である。
【図２１】図１９の距離画像取得装置の演算ユニットの処理フローチャートである。
【図２２】第４の実施形態の変形例の処理フローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について図面を参照して説明する。
【実施例１】
【００２１】
図１、図２に本発明の距離画像取得装置の第１の実施形態の全体構成図を示す。図１は、矢印方向に被写体があるものとし、該被写体を撮像する撮像ユニットの断面模式図及び撮像ユニットにより撮像された画像により距離画像を演算する演算ユニットを示したものである。図２は、図１の撮像ユニットを被写体方向から観察した時の模式図である。図１と図２で共通する部分には共通の符号が付されている。
【００２２】
図１において、１はレンズアレイである。レンズアレイ１は被写体側の面と像面側の面の二面からなり、面内に複数のレンズがアレイ状に配列されている。図１では、被写体側、像側の両方の面にレンズ面が設けられた両面レンズアレイが示されている。１ａは被写体側の面に設けられたレンズ、１ｂは像側の面に設けられたレンズであり、１ａと１ｂがセット（以下、レンズセット）になって被写体の像を像面上で結像させる。図２に示すように、本実施形態では、レンズアレイ１は８つのレンズセット１１１，１１２，１２１，１２２，１３１，１３２，１４１，１４２から構成されている。ここで、１１１と１１２、１２１と１２２、１３１と１３２、１４１と１４２は各々レンズセットペア（レンズペア）を形成している。これらレンズセットペアの詳細については後述する。
【００２３】
２は、レンズアレイ１における隣接するレンズセット間での光線のクロストーク（混線）を防止するための遮光用の隔壁（以下、遮光壁）であり、金属や樹脂等の撮像光線に対して不透明な材料からなる。遮光壁２は、図２に示したように、レンズアレイ１の各レンズセットに対応して矩形の孔があけられており、孔と孔の間の壁が隔壁として作用する。該遮光壁２は、その一端がレンズアレイ１の像側の面に固着されている。３は、板状部材に、各レンズセットに対応して円形の孔（開口部）３ａが設けられた開口アレイであり、レンズの絞りとして作用する。該開口アレイ３は、レンズアレイ１の被写体側の面の平面部の４隅に設けられた突起部１ｃを介してレンズアレイ１に固着されている。４は、レンズアレイ１の各レンズセットにより撮像される被写体の像を撮像するＣＭＯＳセンサなどの撮像素子であり、基板５の上に実装されている。６は筐体であり、レンズアレイ１の被写体側の面の端部に固着されて、レンズアレイ１、遮光壁２、開口アレイ３を保持している。該筐体６は、さらに基板５に固着されている。
【００２４】
１０は、撮像素子４で撮像される画像を入力して距離画像を算出する演算ユニットであり、画像キャプチャ部１１、画像補正部１２、合焦個眼像ペア選択部１３、視差検出部１４及び距離算出部１５からなる。この演算ユニット１０の動作の詳細については後述する。
【００２５】
図３に、本距離画像取得装置のレイアウト図を示す。図３（ａ）は、基板１０００上に、光学系１０１１とイメージセンサ（ＣＭＯＳセンサ）１０１２からなる撮像ユニット１０１０、及び、コントローラ１０２１とメモリ１０２２からなる処理ユニット１０２０が形成されていることを示している。図３（ｂ）は、撮像ユニット１０１０と処理ユニット１０２０を分解して示したものである。ここで、撮像ユニット１０１０は、図１、図２に示した構成を有する。処理ユニット１０２０のコントローラ１０２１に図１の演算ユニット１０が含まれる。メモリ１０２２は画像データや処理途中の種々のデータ等を保持するためのものである。なお、図３の基板１０００は、図１や図２の基板５と同じものである。基板１０００の全体の大きさは、例えば２０ｍｍ×１５ｍｍ程度である。図３のレイアウトは、後述の実施例２〜４の場合も基本的に同じである。
【００２６】
図１、図２に戻り、まず、レンズアレイ１の作用について説明する。レンズアレイ１を構成するレンズセットは１１１，１２１，１３１，１４１と１１２，１２２，１３２，１４２に大別される。ここで、一方のレンズセット１１１，１２１，１３１，１４１に着目するに、各レンズセットは、レンズ面が異なる曲率半径を有しており、相互に異なる被写体距離に焦点が合うように曲率半径が設定されている。これは、他方のレンズセット１１２，１２２，１３２，１４２についても同様である。さらに、すべてのレンズセット１１１，１１１２，１２１，１２２，１３１，１３２，１４１，１４２は、略等しいバックフォーカスを有している。
【００２７】
ここで、レンズアレイを構成するすべてのレンズセット（レンズ）が略等しい焦点距離、あるいはバックフォーカスを有し，かつ各レンズでフォーカスする被写体距離が異なる作用について説明する。
【００２８】
図４はレンズアレイを構成する一つのレンズによる結像を支配するレンズパラメータの一部を示したもので、図４の左側が被写体側、右側が像側である。レンズは被写体側の面と像側の面の二つの曲面から構成されている。Ｆはレンズの焦点距離であり、ＢＦは像側レンズ面から像面までの距離、すなわちバックフォーカスで、Ｄは像側主平面から像面までの距離、すなわち像距離である。また、図４では、レンズアレイを構成する各レンズで、略等しい焦点距離及びバックフォーカスを有し、フォーカスする被写体距離が異なる２種類のものが、（ａ）と（ｂ）に分けて示してある。
【００２９】
レンズの近軸結像式は次式で表される。Ｆは焦点距離、Ａは被写体距離、Ｄは像距離である。
【００３０】
【数１】
2011149931.tif 000003
【００３１】
図４（ａ）のレンズ１１が、同（ｂ）のレンズ１２に対して、より遠方の被写体にフォーカスするようにするには（すなわち、Ａ１＞Ａ２）、Ｆはレンズ１１とレンズ１２で等しいため，Ｄ１＜Ｄ２となるように各レンズ面の曲率半径を設計する。すなわち、レンズ１１の主平面位置が、レンズ１２の主平面位置より被写体側にくるようにレンズの曲率半径を決めることにより、各レンズが略等しい焦点距離、あるいはバックフォーカスを有し、かつ各レンズでフォーカスする被写体距離が異なるという作用を得ることができる。
【００３２】
再び図１、図２に戻り、レンズアレイ１を構成するレンズセット１１１，１２１，１３１，１４１，１１２，１２２，１３２，１４２は、互いに２個のレンズセットのペアで、ステレオカメラレンズとして作用し、レンズセットペアとなる２つのレンズセットの曲率半径は略同一である。例えば、レンズセット１１１と１１２は、略同じ曲率半径を有し、２つでステレオカメラレンズとして作用するレンズセットペアを構成し、両レンズセット１１１，１１２に対応した位置にある撮像素子４の画素領域と併せてステレオカメラを構成している。レンズセット１２１と１２２、１３１と１３２、１４１と１４２のペアも同様に、それぞれ略同じ曲率半径を有し、それぞれ撮像素子４の対応した画素領域と併せてステレオカメラを構成している。
【００３３】
ここで、レンズセットペアを構成している光軸と略垂直な面内における両レンズセットの間隔が、該レンズセットペアにより構成されるステレオカメラの基線長となる。図２においては、例えば、レンズセット１１１と１１２のペアからなるステレオカメラとレンズセット１３１と１３２のペアからなるステレオカメラの基線長は異なっている。また、レンズセット１１１と１１２のペアからなるステレオカメラとレンズセットペア１２１と１２２のペアからなるステレオカメラの基線長は略等しい。図２では、水平垂直方向の各レンズ中心の距離をＢ１としている。したがって、例えば、レンズペア１３１と１３２の基線長はＢ１であり、レンズセットペア１１１と１１２の基線長はＢ３＝３×Ｂ１である。
【００３４】
図５に、レンズアレイ１を構成する各レンズセットペアによるスルーフォーカスＭＴＦの例を示す。図５において、ａからｄは、各レンズセットペア１４１と１４２、１３１と１３２、１２１と１２２、１１１と１１２に対応するスルーフォーカスＭＴＦ（ここでは被写体距離に伴うＭＴＦ変化）を表しており、各レンズセットペアで焦点の合う被写体距離が異なるため、ＭＴＦがピークとなる被写体距離が異なっている。例えば、ａのように、被写体距離が数ｍｍオーダーで短くなると被写界深度は非常に浅くなり、わずかの焦点ずれで大きくＭＴＦ（コントラスト）が低下し、像がぼける。被写体距離が遠くなるにつれ被写界深度は深くなっていき、ｄでは一定距離以上は無限遠まで像がぼけない。
【００３５】
図５に点線で示すように、一定のコントラストレベルでスルーフォーカスＭＴＦが交差するようにレンズアレイの各レンズペアを設計し、被写体距離に応じて適したＭＴＦを有するレンズによる個眼像や画素を選択することにより、数ｍｍオーダーの至近距離から無限遠まで被写体に焦点を合わせることができる。図５では、スルーフォーカスＭＴＦが交差する或いは一定のレベルにある被写体距離をそれぞれＫ，Ｌ，Ｍ，Ｎとしている。
【００３６】
このような曲率半径の設定に加えて、先に述べたように、各レンズセットのバックフォーカスは、全てのレンズセットで略等しくなるように設計されている。各レンズセットによる光学倍率は被写体距離のみによっておよそ規定されるため、全てのレンズセット（レンズ）でバッファフォーカスを等しくすることにより、各レンズセットによる像は合焦（ボケ）のレベルは相互で異なっても像のサイズは一定となる。したがって、後述するように、取得した複眼像の中から焦点の合った個眼像のみを選択抽出する際に、各レンズセットによる像サイズの相違を考慮しないですみ、また取得後の像を用いてなんらかの情報認識をする場合においても像サイズの相違の考慮は不要となる。
【００３７】
次に、レンズサグとレンズの有効径の関係について説明する。図６（ａ）から（ｃ）は、レンズのバックフォーカスを略一定にしたままレンズの曲率を変えたときのレンズサグとレンズ有効径の変化の様子を示したものである。図６（ａ）の状態からレンズ１ａ面、１ｂ面の曲率を変えた場合、レンズの有効径を不変とした場合は、図６（ｂ）のようにレンズのサグを変える必要がある。するとレンズ間にサグの相違に基づく高低差を設ける等、レンズアレイの形状が複雑になる。一方で、レンズのサグを不変とした場合は図６（ｃ）に示したようにレンズの有効径を変える必要がある。すると各レンズでレンズの有効径に起因する光学特性、たとえばレンズのカットオフ周波数や明るさが変わるため、取得後にそれらの条件を合わせる調整が必要となり、取り扱いが複雑になる。
【００３８】
図１、図２の構成では、レンズのサグを一定にしたまま曲率半径を変え、略等しい径の開口部３ａを有する開口アレイ３をレンズアレイ１の被写体側に設けることにより、各レンズの有効径が略一定となるようにしている。それにより、レンズ有効径の相違に起因した不具合が排除される。なお、各レンズセットペアの曲率半径が異なるため、レンズアレイ１のレンズと開口アレイ３とは、レンズによっては接触する位置が異なってくるが、図１に示すように、レンズアレイ１の平面部に設けた突起部１ｃにて、レンズアレイ１と開口アレイ３を接触させることにより、開口アレイ３が傾いてレンズアレイ１と接触される等の不具合を取り除いている。
【００３９】
図２のように、撮像ユニットを被写体方向から観察すると、各レンズセット１１１，１１２から１４１，１４２において実線で示された円は開口部（有効径）３ａを表し、その直径は一定である。破線で示された円は、無効領域（有効径外のレンズ部）も含めた被写体側のレンズ１ａの直径を表し、点線で示された円は撮像側のレンズ１ｂの直径を表す。各レンズ（レンズセットペア）で曲率半径が異なり、かつレンズのサグが一定になるようにしているため、各レンズの破線、点線で示された円の直径は相違している。
【００４０】
次に、図１、図２の撮像ユニットにより取得される画像について説明する。本実施形態では、撮像素子（ＣＭＯＳセンサ）４による像は、図７に示したような複眼像８になる。図７のＩ11，Ｉ12からＩ41，Ｉ42は、レンズアレイ１の各レンズセット１１１，１１２から１４１，１４２に対応する個眼像であり、レンズセット数が８個で、レンズセットペアが４組であるため、個眼像数は８個、個眼像ペアは４組である。図７で個眼像の周辺で黒くなっている領域は、遮光壁２で影となっている領域である。全てのレンズセットでバックフォーカスは略等しく、それぞれのレンズセットペアで撮像距離及び光学倍率は略等しくなるため、各レンズセットペアによる個眼像のサイズは一定である。一方で、各レンズセットペアで焦点の合う被写体距離は、曲率半径により異なるため、個眼像の合焦状態はレンズセットペアごとで異なっている。図７の場合、レンズセットペア１１１，１１２に対応する個眼像Ｉ11，Ｉ12で像の焦点が合っている。
【００４１】
次に、図１の本実施形態の演算ユニット１０の動作について説明する。撮像素子４で取得された図７のような複眼像８は、画像キャプチャ部１１でキャプチャされ、Ｉ11，Ｉ12からＩ41，Ｉ42の個眼像データ（以下、単に個眼像）に分けられて、画像補正部１２に転送される。画像補正部１２は、レンズの工作精度、組み付け精度によるカメラ固有の内部パラメータ、外部パラメータを利用して画像の歪み補正を行う。すなわち、各個眼像は周辺に行くほど画像にゆがみが生じているので、各個眼像毎に歪み補正を行う。カメラ固有の内部パラメータおよび外部パラメータはＺhangの手法（“A  flexible  new  technique  for  camera  calibration”  IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence，22(11):1330-1334，2000)等を用いることで求めることができる。
【００４２】
画像補正部１２で画像の歪み補正されたＩ11，Ｉ12からＩ41，Ｉ42の個眼像は、合焦個眼像ペア選択部１３に転送される。合焦個眼像ペア選択部１３は、各個眼像ペアの中で最も焦点の合った個眼像ペアを選択する。焦点が合うと像のコントラストが最大となるため、各個眼像内で最も高い輝度を有する画素と最も低い輝度を有する画素での輝度の差が最大となる。それを利用して、例えば各個眼像ペアを構成する画素の輝度値の最高値と最低値を検出して、その差（輝度差）が最も大きい個眼像ペアを、最も焦点の合った個眼像ペア（合焦個眼像ペア）として選択することができる。
【００４３】
なお、個眼像ペアは２つとも略同じ曲率半径及び合焦レベルを有するため、輝度の最大値と最小値を検出する個眼像は、各個眼像ペアのうち、一方の個眼像のみを用いればよい。他方の個眼像は、ペアとなる個眼像の配置関係から一義的に決まる。例えば、個眼像Ｉ11，Ｉ12，Ｉ41，Ｉ42を対象に、それぞれの輝度の最大値と最小値を検出し、最も焦点の合った個眼像として例えばＩ11が検出された場合、Ｉ12が一義的決まり、結果、最も焦点の合った個眼像ペア（合焦個眼像ペア）としてＩ11とＩ12が選択される。これにより、個眼像ペアの選択処理をほぼ半分に短縮できる。
【００４４】
合焦個眼像ペアの２つの個眼像は、基線長とレンズセットの焦点距離に対応した被写体の視差を有している。そのため、２つの個眼像の視差を検出することで、該視差から三角測量の原理に基づき、次式により被写体距離Ｌを求めることができる。
【００４５】
【数２】
2011149931.tif 000004
（２）式において、Ｂは基線長、ｆはレンズセットの焦点距離、Ｓは個眼像ペアから検出される被写体像の視差、ｐは撮像素子（ＣＭＯＳセンサ）の画素ピッチ（画素サイズ）である。
【００４６】
合焦個眼像ペア選択部１３で選択された合焦個眼像ペアは、視差検出部１４に転送される。ここでは、合焦個眼像ペアを図７のＩ11，Ｉ12とする。視差検出部１４は、選択された合焦個眼像ペアの２つの個眼像Ｉ11，Ｉ12の視差を検出する。個眼像Ｉ11とＩ12では、各画像における被写体の対応する点が被写体の距離に応じて水平方向にずれている。そのずれ量が視差にあたる。視差計算には、周知のブロックマッチングという手法を利用する。すなわち、２つの個眼像Ｉ11，Ｉ12について、一方の個眼像Ｉ11から微小領域（図７の９）を切り出し、それに対応する領域を検索するため、他方の個眼像Ｉ12から同じく微小領域（図７の９’）を切り出し、評価値を算出する。評価値としては、二つの微小領域９，９’の間で輝度差の総和（ＳＡＤ；Sum  of  Absolute  Difference）や、輝度差の２乗和（ＳＳＤ；Sum  of  Squared  Difference）などを求める。この場合、微小領域９の位置を基準に、微小領域９’の位置を所定の範囲内で移動させて、それぞれの位置でＳＡＤやＳＳＤの極小値を与える切り出し位置を検索することで、画像間の位置ずれ（視差）を検出することができる。そして、微小領域９，９’を両個眼像Ｉ11，Ｉ12で図７の矢印方向（Ｘ，Ｙ方向）に走査し、ブロックマッチングを繰り返すことにより、個眼像ペア全体の微小領域毎の視差を検出することができる。
【００４７】
距離算出部１４は、視差検出部１３で検出された視差を入力とし、先の（２）式に基づき、微小領域毎の被写体距離を算出する。そして、全微小領域での距離情報を単一画像に合成して距離画像を生成する。
【００４８】
図８に、演算ユニット１０において複眼像から焦点の合った個眼像ペアを選択し、距離画像を得るまでの本実施形態の処理フローチャートを示す。
【００４９】
画像キャプチャ部１１は、撮像素子４で取得された図７に示すような複眼像８をキャプチャし、Ｉ11，Ｉ12からＩ41，Ｉ42の個眼像に分離する（ステップ２０１）。この時、画像キャプチャ部１１は、Ｉ11とＩ12，Ｉ21とＩ22，Ｉ31とＩ32，Ｉ41とＩ42に、それぞれ同じラベルを付けておくようにする。分離された個眼像Ｉ11，Ｉ12からＩ41，Ｉ42は画像補正部１２に送られる。
【００５０】
画像補正部１２は、各個眼像について画像の歪み補正を行う（ステップ２０２，２０３）。歪み補正された個眼像Ｉ11，Ｉ12からＩ41，Ｉ42は合焦個眼像ペア選択部１３に送られる。
【００５１】
合焦個眼像ペア選択部１３は、個眼像Ｉ11，Ｉ12からＩ41，Ｉ42の中から最も焦点の合った個眼像ペア（合焦個眼像ペア）を選択する。具体的には、例えば、個眼像Ｉ11，Ｉ21，Ｉ31，Ｉ41の中から１つの個眼像（例えば、Ｉ11）を選択し（ステップ２０４）、該個眼像を構成する全画素中の輝度値の最高値と最低値を検出して、その差（輝度差）を計算する（ステップ２０５）。以下、ステップ２０４，２０５を個眼像Ｉ11，Ｉ21，Ｉ31，Ｉ41についても繰り返す（ステップ２０６）。そして、各個眼像Ｉ11，Ｉ21，Ｉ31，Ｉ41の輝度差を比較して、最大輝度差を有する個眼像（例えば、Ｉ11）を選択する（ステップ２０７）。次に、個眼像Ｉ12，Ｉ22，Ｉ32，Ｉ42の中から当該選択された個眼像と同じラベルの付された個眼像（例えば、Ｉ12）を選択する（ステップ２０８）。そして、この選択された２つの個眼像（例えば、Ｉ11とＩ12）を合焦個眼像ペアとする（ステップ２０９）。該選択抽出された合焦個眼像ペアは視差検出部１４に送られる。
【００５２】
視差検出部１４は、合焦個眼像ペアの各個眼像からそれぞれ微小領域を切り出し（ステップ２１０）、一方の微小領域を基準に、他方の微小領域を所定の範囲内で移動させながら、ＳＡＤやＳＳＤ演算などを実施して該微小領域の視差を検出する（ステップ２１１）。以下、合焦個眼像ペアの各個眼像をＸ方向、Ｙ方向に走査し、ステップ２１０，２１１を繰り返すことで、合焦個眼像ペア全体の微小領域毎の視差を検出する（ステップ２１２）。
【００５３】
距離算出部１５は、視差検出部１４で検出された視差（視差画像）を入力して、微小領域毎の被写体距離を演算し（ステップ２１３）、全微小領域での距離情報を単一画像に合成して距離画像を生成する（ステップ２１４）。
【００５４】
なお、合焦個眼像ペアの２つの個眼像について、画素単位に微小領域の探索を行うことで、画素単位で視差を検出し、画素単位の距離画像を生成することができる。
【００５５】
ここで、距離検出の分解能は、被写体距離が短くなるほど高くなり、長くなるほど低下する。また、被写体距離が短くなると視差が大きくなるため、レンズセットペアによる個眼像間で重複する領域が減少し、距離情報を取得できる視野が狭くなる。それらの点を考慮し、図１、図２の構成では、基線長が長いことに起因し、個眼像ペアを構成する個眼像間の視差がより大きく、距離分解能がより高い長手方向における端寄りのレンズセットペアについて、焦点の合う被写体距離が長くなるようにレンズセットの曲率半径を設定し、一方の中央寄りのレンズセットペアについて、焦点の合う被写体距離が短くなるようにレンズセットの曲率半径を設定している。それにより、遠方にある被写体に対してはより高い分解能で距離画像の取得ができ、近くにある被写体に対しては広い視野で距離画像の取得が可能となる。
【実施例２】
【００５６】
図９、図１０に本発明の距離画像取得装置の第２の実施形態の全体構成図を示す。本実施形態は、レンズアレイ１を簡単に４つのレンズセット１５１，１５２，１６１，１６２で構成したものである。図９、図１０において、図１、図２と共通する部分には共通する符号が付されている。
【００５７】
図１０において、レンズセット１５１，１６１は、各々レンズ面が異なる曲率半径を有しており、相互に異なる被写体距離に焦点が合うように曲率半径が設定されている。レンズセット１５２，１６２についても同様である。ここで、レンズセット１５１と１５２は、略同じ曲率半径を有し、該２つのレンズセットでステレオカメラレンズとして作用するレンズセットペアを形成し、両レンズセットに対応した位置にある撮像素子４の画素領域と併せてステレオカメラを構成している。レンズセット１６１と１６２も同様に、略同じ曲率半径を有し（ただし、１５１と１５２と異なる曲率半径を有している）、該２つのレンズセットでステレオカメラレンズとして作用するレンズセットペアを形成し、撮像素子４の対応した画像領域と併せてステレオカメラを構成している。
【００５８】
図１１に、レンズアレイ１を構成する各レンズセットペアによるスルーフォーカスＭＦＦの例を示す。図１１において、ａがレンズセットペア１６１，１６２に対応するスルーフォーカスＭＴＦを表わし、ｂがレンズセットペア１５１，１５２に対応するスルーフォーカスＭＴＦを表わしており、各レンズセットペアで焦点の合う被写体距離が異なるため、ＭＴＦがピークとなる被写体距離がそれぞれ異なっている。図１１に示すように、被写体距離に伴い、所定のコントラストレベルでスルーフォーカスＭＴＦが交差するように各レンズセットペアを設計することで、近距離から無制限遠方まで、被写体に焦点を合わせることができる。
【００５９】
また、ここでも、すべてのレンズセット１５１，１５２，１６１，１６２のバックフォーカスは略等しくなるように設計されている。それにより、各レンズセットペアによる光学倍率は被写体距離のみによっておよそ規定されるため、各レンズセットペアによる像の合焦（ボケ）のレベルは相互で異なっても像のサイズは一定となる。
【００６０】
図１２に、図１０、図１１の撮像ユニットにより取得される画像の具体例を示す。ここでは、複眼像８はＩ11，Ｉ12，Ｉ21，Ｉ22の４つの個眼像からなり、それぞれレンズセット１５１，１５２，１６１，１６２に対応する。全てのレンズセットでバックフォーカスは略等しく、各レンズセットペア１５１と１５２、１６１と１６２で撮像距離及び光学倍率は略等しくなるため、各レンズセットペアによる個眼像のサイズは一定である。一方、各レンズセットペアで焦点の合う被写体距離は、レンズの曲率半径により異なるため、個眼像の合焦状態はレンズセットペアごとで異なっている。図１２の場合、レンズセットペア１５１，１５２に対応する個眼像Ｉ11，Ｉ12で像の焦点が合っている。
【００６１】
本実施形態の演算ユニット１０の動作は、図１、図２の実施形態の場合と同様であるが（図８）、個眼像数は４個、個眼像ペアは２組であるため、図１、図２の実施形態に比べて、処理は簡単である。
【実施例３】
【００６２】
実施例１や実施例２では、複数組の個眼像ペアから焦点のあった個眼像ペアを選択し、この焦点の合った個眼像ペアを用いて距離画像を作成している。しかしながら、被写体の物体が近距離から遠距離まで分布している場合には、最適な個眼像ペアを選択することは不可能である。例えば、立体物を撮影する場合は、各個眼像で焦点があっている部分、あっていない部分が混在する。
【００６３】
この場合、被写体の全体に合焦した距離画像を作成するには、被写体の近距離部分と遠距離部分で異なる個眼像ペアを選択し、各部分毎に最適な個眼像ペアから計算されたそれぞれの距離画像を用いて、被写体全体の距離画像を合成する必要がある。本実施形態は、これを実現するものである。
【００６４】
図１３、図１４に本発明の距離画像取得装置の第３の実施形態の全体構成図を示す。図１３は、矢印方向に被写体があるものとし、該被写体を撮像する撮像ユニットの断面模式図及び撮像ユニットにより撮像された画像により距離画像を演算する演算ユニットを示したものである。図１４は、図１３の撮像ユニットを被写体方向から観察した時の模式図である。図１３と図１４で共通する部分には共通の符号が付されている。
【００６５】
撮像ユニットは、図１，図２とまったく同じで、レンズアレイ１は８個のレンズセット１１１，１１２から１４１，１４２で構成され、１１１と１１２、１２１と１２２、１３１と１３２、１４１と１４２が各々レンズセットペア（ステレオカメラレンズ）を形成している。各レンズセットペアのスルーフォーカスＭＴＦは図５に示した通りである。この撮像ユニットについては、先の実施形態１で詳述したので、ここでは説明を省略する。
【００６６】
本実施形態と実施形態１との相違点は、画像ユニットで撮像された画像を入力して距離画像を算出する演算ユニットにある。図１３において、演算ユニット２０は、画像キャプチャ部２１、画像補正部２２、視差検出部２３、領域分割部２４、被写体距離計算部２５、最適視差画像選択部２６、視差合成部２７及び距離算出部２８からなる。さらに測距テーブル２９があり、あらかじめメモリに保持されている。
【００６７】
まず、図１３，１４の撮像ユニットにより取得される画像について説明する。ＣＭＯＳセンサなどの撮像素子４による像は、図１５（ａ）に示したような複眼像になる。便宜上、ここでは図７と同じものを示す。これは、平面の写真を撮影したもので、被写体はある一定の距離にある。
【００６８】
図７と同様に、図１５（ａ）のＩ11からＩ41、Ｉ42は、レンズアレイ１の各レンズセット１１１，１１２から１４１，１４２に対応する個眼像であり、レンズセット数が８個で、レンズセットペアが４組（１１１と１１２、１２１と１２２、１３１と１３２、１４１と１４２）であるため、個眼像数は８個、個眼像ペアは４組（Ｉ11とＩ12、Ｉ21とＩ22、Ｉ31とＩ32、Ｉ41とＩ42）である。各レンズセットで焦点距離（バックフォーカス）が略等しく、それぞれのレンズセットペアで撮像距離及び光学倍率が略等しいため、各レンズセットペアの個眼像のサイズは一定である。一方、各レンズセットペアで焦点の合う被写体距離は、曲率半径により異なるため、個眼像の合焦状態はレンズセットペアごとで異なっている。図１５（ａ）の場合、レンズセットペアＩ11，Ｉ12で像の焦点が合っている。但し、立体物を撮影した場合には、各個眼像で焦点が合っている部分、合っていない部分が混在することとなる。
【００６９】
次に、図１３の本実施形態の演算ユニット２０の動作について説明する。図１６に、演算ユニット２０において複眼像から個眼像を抽出して距離画像を得るまでの処理フローチャートを示す。
画像キャプチャ部２１は、撮像素子４で取得された図１５（ａ）に示すような複眼像８をキャプチャして、Ｉ11，Ｉ12からＩ41，Ｉ42の個眼像に分離する（ステップ３０１）。これら個眼像は画像補正部２２に転送される。
【００７０】
画像補正部２２は、Ｉ11，Ｉ21からＩ41，Ｉ42の各個眼像について、レンズの工作精度、組み付け精度によるカメラ固有の内部パラメータ、該部パラメータを利用して画像の歪み補正を実施する（ステップ３０２，３０３）。画像補正された各個眼像は視差検出部２３に転送される。
【００７１】
なお、先に述べたように、カメラ固有の内部パラメータおよび外部パラメータはＺhangの手法（“A  flexible  new  technique  for  camera  calibration”  IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence，22(11):1330-1334，2000)等を用いることで求めることができる。
【００７２】
視差検出部２３は、画像補正されたＩ11，Ｉ21からＩ41，Ｉ42の各個眼像をＩ11とＩ12、Ｉ21とＩ22、Ｉ31とＩ32、Ｉ41とＩ42の各個眼像ペア（ステレオ画像ペア）に分け、各個眼像ペアから視差（視差画像）を検出する（ステップ３０４〜３０６）。視差検出部２３は４つの視差検出部（１）〜（４）を有し、視差検出部（１）では個眼像ペアＩ11とＩ12から視差画像１を検出し、視差検出部（２）では個眼像ペアＩ２１とＩ22から視差画像２２を検出し、視差検出部（３）では個眼像ペアＩ31とＩ32から視差画像３を検出し、視差検出部（４）では個眼像ペアＩ41とＩ42から視差画像４を検出する。なお、視差検出部は一つのみとして、順次、各個眼像ペアＩ11とＩ21、Ｉ21とＩ22、Ｉ31とＩ32、Ｉ41とＩ42を選択し、視差画像１〜４を検出することでもよい。
【００７３】
ここでは、図１５（ａ）を参照して、視差検出部（１）を例にして視差検出処理を説明する。画像補正を行った画像I11とI12では、各画像における被写体の対応する点が被写体の距離に応じて水平方向にずれている。そのずれている位置を検出する。そのずれ量が視差にあたる。視差計算には、ここでもブロックマッチングという手法を利用する。視差検出部（１）では、画像Ｉ11から微小領域９を切り出し、それに対応する領域を検索するため、画像Ｉ12から同じく微小領域９'を切り出し、評価値を算出する。例えば、二つの微小領域の間で輝度差の総和（ＳＡＤ）や、輝度差の２乗和（ＳＳＤ）などを求める。この場合、画像Ｉ11の微小領域９の位置を基準に、画像Ｉ12の微小領域９'の位置を所定の範囲内で移動させてそれぞれの位置でＳＡＤやＳＳＤの極小値を与える切り出し位置を検索することで、画像間の位置ずれを画素単位で求めることができる。画素単位の視差では精度が不足することが多いので、必要なら画素未満(サブピクセル)の視差も推定する。等角直線フィッティングやパラボラフィッティングを用いるのが一般的である。また、ＳＡＤやＳＳＤを計算するために用いるデータは輝度ではなく、輝度を微分(例えばＤＯＧ)した値を用いることも可能である。このようにして全画素に対するサブピクセルレベルの視差が計算され、視差画像１として検出される。ここで、視差画像１の各画素は画像Ｉ11の各画素と対応している。また、視差が検出できなかった画素については、視差を０とする。
【００７４】
同様にして、視差検出部（２）〜（４）でも、各々Ｉ21とＩ22、Ｉ31とＩ32、Ｉ41とＩ42の個眼像ペア（ステレオ画像ペア）に対して視差画像２〜４を検出する。視差検出部１３で得られた各視差画像１〜４は領域分割部２４に転送される。
【００７５】
領域分割部２４は、各視差画像１〜４の視野をそれぞれ複数の領域に分割し、被写体距離計算部２５は、各視差画像１〜４について、各領域ごとに被写体距離を計算する（ステップ３０７〜３１０）。
【００７６】
ここでは、領域分割は、図５（ｂ）に示すように、画像を格子状に１６分割するとする。勿論、一般に分割数は任意に決めることができる。なお、図１５（ｂ）では、便宜上、個眼像を領域分割した例を示したが、領域分割は視差画像が対象である。
【００７７】
被写体距離計算部２５では、各視差画像１〜４について、各領域内の各画素の被写体の距離を計算し、その平均値を求めることで、各領域１〜１６毎の被写体距離を取得する。被写体の距離は、先の（２）式を用いて計算される。
【００７８】
最適視差画像選択部２６は、各領域１〜１６ごとに、各視差画像１〜４の対応する領域の被写体距離を測距テーブル２９と比較して、被写体について最適な視差画像を選択する（ステップ３１１）。測距テーブル２９の一例を図１７に示す。図１７は、焦点距離１ｍｍ、基線長Ｂ１＝１ｍｍ、基線長Ｂ３＝３ｍｍ、センサ画素サイズ６μｍの場合の例で、被写体距離５.２ｍｍ，６.９ｍｍ，１０.４ｍｍ，１９.２ｍｍは、図５のＫ，Ｌ，Ｍ，Ｎに対応する。例えば、ある領域について、視差画像１〜４の当該領域の被写体距離が、５.２ｍｍから６.９ｍｍの間であった場合、視差画像４（Ｉ41とＩ42の個眼像ペアに対応）を選択する。このようにして、被写体について最適な視差画像を領域毎に選択することができる。
【００７９】
視差合成部２７は、最適視差画像選択部２６で選択された各領域ごとの視差画像を張り合わせて視差合成画像を生成する（ステップ３１２）。最後に距離算出部２８は、この視差合成画像について、（２）式を用いて被写体距離を算出し、距離画像を生成する（ステップ３１３）。容易に理解されるように、このようにして生成された距離画像は、各個眼像で焦点が合っている部分、合っていない部分が混在する場合であっても、すなわち、被写体が近距離から遠距離まで分布している場合であっても、被写体の全体に合焦した距離画像を示すことになる。
【００８０】
なお、本実施形態の変形例として、各視差画像１〜４についてあらかじめ距離画像を算出しておき、各距離画像の視野を複数の領域に分割して、各領域ごとに、各距離画像の対応する領域の被写体距離（平均距離）を測距テーブル２９と比較して、被写体について最適な距離画像を選択し、該選択した各領域ごとの距離画像から視野全体の距離画像を合成することでもよい。この場合、図１７の測距テーブルには、視差画像に替えて距離画像（ラベル）を入れておくようにする。この変形例では、被写体距離の計算は一度ですむことになる。図１８に該変形例の処理フローチャートを示す。
【００８１】
本実施形態及び上記変形例の場合にも、距離検出の分解能は、被写体距離が短くなるほど高くなり、長くなるほど低下する。また、被写体距離が短くなると視差が大きくなるため、レンズセットペアによる個眼像間で重複する領域が減少し、距離情報を取得できる視野が狭くなる。それらの点を考慮し、図１、図２の構成では、基線長が長いことに起因し、個眼像ペアを構成する個眼像間の視差がより大きく、距離分解能がより高い長手方向における端寄りのレンズセットペアについて、焦点の合う被写体距離が長くなるようにレンズセットの曲率半径を設定し、一方の中央寄りのレンズセットペアについて、焦点の合う被写体距離が短くなるようにレンズセットの曲率半径を設定している。それにより、遠方にある被写体に対してはより高い分解能で距離画像の取得ができ、近くにある被写体に対しては広い視野で距離画像の取得が可能となる。
【実施例４】
【００８２】
本実施形態は、各個眼像ペア（ステレオ画像ペア）における視差画像を検出するまでは実施例３と同じであるが、特定の被写体を認識して、該特定の被写体の距離に最適な視差画像を選択し、距離画像を生成するものである。本実施形態では、被写体が近距離から遠距離まで分布している場合であっても、領域分割することなく、着目する被写体に対して距離精度の高い距離画像を取得することが可能になる。
【００８３】
図１９、図２０に本発明の距離画像取得装置の第４の実施形態の全体構成図を示す。図１９は、矢印方向に被写体があるものとし、該被写体を撮像する撮像ユニットの断面模式図及び撮像ユニットにより撮像された画像により距離画像を演算する演算ユニットを示したものである。図２０は、図１９の撮像ユニットを被写体方向から観察した時の模式図である。図１９と図２０で共通する部分には共通の符号が付されている。撮像ユニットの構成、該撮像ユニットで撮像される画像は、先の実施例１や３と同じであるので、ここでは説明を省略する。
【００８４】
図１９において、演算ユニット３０は、画像キャプチャ部３１、画像補正部３２、視差検出部３３、被写体認識部３４、被写体距離計算部３５、最適視差画像選択部３６及び距離算出部３７からなる。さらに、被写体特徴ライブラリ３８と測距テーブル３９があり、あらかじめメモリに保持されている。被写体特徴ライブラリ３８には、さまざまな被写体の特徴が格納されている。測距テーブル３９は図１７と同様である。
【００８５】
以下、本実施形態の演算ユニット３０の動作について説明する。図２１に、演算ユニット３０において複眼像から個眼像を抽出して距離画像を取得するまでの処理フローチャートを示す。
画像キャプチャ部３１は、撮像ユニットで取得された図１５（ａ）に示すような複眼像８をキャプチャして、Ｉ11，Ｉ12からＩ41，Ｉ42の個眼像に分離する（ステップ４０１）。これら個眼像は画像補正部３２に転送される。
【００８６】
画像補正部３２は、Ｉ11，Ｉ21からＩ41，Ｉ42の各個眼像について、レンズの工作精度、組み付け精度によるカメラ固有の内部パラメータ、該部パラメータを利用して画像の歪み補正を実施する（ステップ４０２，４０３）。画像補正された各個眼像は視差検出部２３に転送される。
【００８７】
視差検出部３３は、画像補正されたＩ11，Ｉ21からＩ41，Ｉ42の各個眼像をＩ11とＩ12、Ｉ21とＩ22、Ｉ31とＩ32、Ｉ41とＩ42の各個眼像ペア（ステレオ画像ペア）に分け、各個眼像ペアから視差画像を検出する（ステップ４０４〜４０６）。視差検出部３３は４つの視差検出部（１）〜（４）を有し、視差検出部（１）では個眼像ペアＩ11とＩ12から視差画像１を検出し、視差検出部（２）では個眼像ペアＩ21とＩ22から視差画像２２を検出し、視差検出部（３）では個眼像ペアＩ31とＩ32から視差画像３を検出し、視差検出部（４）では個眼像ペアＩ41とＩ42から視差画像４を検出する。なお、視差検出部は一つのみとして、順次、各個眼像ペアＩ11とＩ21、Ｉ21とＩ22、Ｉ31とＩ32、Ｉ41とＩ42を選択し、視差画像１〜４を検出することでもよい。
【００８８】
ここまでの演算ユニット３０の動作は実施例３と同じであるので、詳しい説明は省略する。
被写体認識部３４は、各個眼像ペア毎に特定の被写体を認識して、その領域を抽出する。ここでは、各個眼像ペアの一方の画像補正された個眼像Ｉ11，Ｉ21，Ｉ31，Ｉ41を入力し、被写体特徴ライブラリ３８を参照して、各個眼像ごとに、距離検出対象の特定の被写体を認識することにする（ステップ４０７）。具体的には、被写体認識部３４では、利用者の指示等に応じて、被写体特徴ライブラリ３８から距離検出対象の特定の被写体（例えば、人物像など）の特徴を取得して、それを各個眼像Ｉ11，Ｉ21，Ｉ31，Ｉ41の特徴と照合することで、各個眼像ごとに特定の被写体を認識する。そして、該被写体を囲む領域を抽出する。
【００８９】
被写体認識部３４は、各個眼像Ｉ11，Ｉ21，Ｉ31，Ｉ41ごとに、認識した特定の被写体の領域情報を被写体距離計算部３５に転送する。該被写体距離計算部３５には、視差検出部３３から視差画像１〜４も転送される。
【００９０】
被写体距離計算部３５は、各視差画像１〜４ごとに、被写体認識部３４からの特定の被写体の領域情報に基づいて、該特定の被写体の距離を計算する（ステップ４０８〜４１０）。例えば、視差画像１の場合には、個眼像Ｉ11から認識された特定の被写体の領域情報に基づいて、視差画像１における該当領域内の各画素の被写体距離を計算し、その平均値を求めることで、特定の被写体の距離とする。視差画像２〜４についても、同様にして特定の被写体の距離を計算する。被写体の距離は、先の（２）式を用いて計算される。
被写体距離計算部３５では、各視差画像１〜４について計算された特定の被写体の距離を視差画像１〜４と共に最適視差画像選択部３６に転送する。
【００９１】
最適視差画像選択部３６は、各視差画像１〜４における特定の被写体の距離を測距テーブル３９と比較して、特定の被写体について最適な視差画像を選択する（ステップ４１１）。測距テーブル３９の一例は、図１７に示した通りである。先に述べたように、図１７は、焦点距離１ｍｍ、基線長Ｂ１＝１ｍｍ、基線長Ｂ３＝３ｍｍ、センサ画素サイズ６μｍの場合の例で、被写体距離５.２ｍｍ，６.９ｍｍ，１０.４ｍｍ，１９.２ｍｍは、図５のＫ，Ｌ，Ｍ，Ｎに対応する。例えば、着目する特定の被写体について、視差画像１〜４の当該領域の被写体距離が、５.２ｍｍから６.９ｍｍの間であった場合、視差画像４（Ｉ41とＩ42の個眼像ペアに対応）を選択する。このようにして、特定の被写体について最適な視差画像を選択することができる。
【００９２】
距離算出部３７は、最適視差画像選択部３６で選択された視差画像について、（２）式を用いて被写体距離を計算し、距離画像を生成する（ステップ４１２）。容易に理解されるように、生成された距離画像は、被写体が近距離から遠距離まで分布している場合でも、着目する特定の被写体に対して高い距離精度を示している。
【００９３】
ところで、被写体認識部３４において、個眼像Ｉ11，Ｉ21，Ｉ31，Ｉ41のすべてについて、着目する特定の被写体を認識できるとは限らない。例えば、図１５（ａ）の画像の場合、Ｉ41については、特定の被写体を認識できない可能性が高い。この場合には、被写体距離計算部３５や最適視差画像選択部３６では、特定の被写体を認識できなかった個眼像に対応する視差画像を無視して処理を行うようにすればよい。
【００９４】
本実施形態においても、その変形例として、各視差画像についてあらかじめ距離画像を算出しておき、各距離画像ごとに、当該距離画像を利用して特定の被写体領域の平均距離を算出し、それを測距テーブルと比較して、直接、特定の被写体に最適な距離画像を選択することでもよい。この場合も、図１７の測距離テーブルには、視差画像に替えて距離画像（ラベル）を入れておくようにする。図２２に該変形例の処理フローチャートを示す。
【００９５】
以上、本発明のいくつかの実施形態について説明したが、勿論、本発明は、これら実施形態に限定されるものではない。例えば、レンズセットペアの数は、２組や４組に限られるものではない。
【符号の説明】
【００９６】
１    レンズアレイ
１ａ，１ｂ  レンズセット
２    遮光壁
３    開口アレイ
３ａ    開口部
４    撮像素子
５    基板
６    筐体
１０    演算ユニット
１１    画像キャプチャ部
１２    画像補正部
１３    合焦個眼像ペア選択部
１４    視差検出部
１５    画像算出部
２０    演算ユニット
２１    画像キャプチャ部
２２    画像補正部
２３    視差検出部
２４    領域分割部
２５    被写体距離計算部
２６    最適視差画像選択部
２７    視差合成部
２８    距離算出部
２９    測距テーブル
３０    演算ユニット
３１    画像キャプチャ部
３２    画像補正部
３３    視差検出部
３４    被写体認識部
３５    被写体距離計算部
３６    最適視差画像選択部
３７    距離算出部
３８    被写体特徴ライブラリ
３９  測距テーブル
【先行技術文献】
【特許文献】
【００９７】
【特許文献１】特開２００７−２６３６６９号公報
【特許文献２】特開２００３−１４３４５９号公報
【特許文献３】特開２００８−２８６５２７号公報
【特許文献４】特開２００６−２１７１３１号公報
【特許文献５】特開２００７−１５８８２５号公報
【図１】
2011149931.tif 000005
【図２】
2011149931.tif 000006
【図３】
2011149931.tif 000007
【図４】
2011149931.tif 000008
【図５】
2011149931.tif 000009
【図６】
2011149931.tif 000010
【図８】
2011149931.tif 000011
【図９】
2011149931.tif 000012
【図１０】
2011149931.tif 000013
【図１１】
2011149931.tif 000014
【図１３】
2011149931.tif 000015
【図１４】
2011149931.tif 000016
【図１６】
2011149931.tif 000017
【図１７】
2011149931.tif 000018
【図１８】
2011149931.tif 000019
【図１９】
2011149931.tif 000020
【図２０】
2011149931.tif 000021
【図２１】
2011149931.tif 000022
【図２２】
2011149931.tif 000023
【図７】
2011149931.tif 000024
【図１２】
2011149931.tif 000025
【図１５】
2011149931.tif 000026