(57)【特許請求の範囲】
【請求項１】
撮像装置と演算処理ユニットを有し、
前記撮像装置は、被写体を撮像して、それぞれ異なる距離に焦点があった複数のステレオ画像を出力し、
前記演算処理ユニットは、視差検出手段と視差合成手段及び距離算出手段を有し、
前記視差検出手段は、前記撮像装置から出力する複数のステレオ画像がそれぞれ有する固有の特徴に基づいて視差を計算して視差情報を有する複数の視差画像を出力し、
前記視差合成手段は、前記視差検出手段から出力する複数の視差画像を合成して合成視差画像を出力し、
前記距離算出手段は、前記視差合成手段から出力する合成視差画像から被写体までの距離を算出して距離画像を出力し、
前記撮像装置が、前記複数のステレオ画像を得るための複数組みの撮像レンズと、撮像素子とを有し、前記複数組みの撮像レンズは前記撮像素子側の焦点距離が組み間で互い略等しいことを特徴とする距離画像入力装置。
【請求項２】
前記複数組みの撮像レンズは、組み間で互いにレンズサグが等しく曲率半径が異ることによって被写体側の焦点距離が異なり、各撮像レンズに一対一で対応する互いに有効径が略等しい複数の開口を有する開口アレイが、前記複数組みの撮像レンズの被写体側に設けられていることを特徴とする請求項１記載の距離画像入力装置。
【請求項３】
前記視差検出手段で前記撮像装置から出力する複数のステレオ画像から視差を計算する固有の特徴は、各ステレオ画像の焦点が合う距離の範囲であることを特徴とする請求項１又は２記載の距離画像入力装置。
【請求項４】
前記視差検出手段は、焦点が合う距離の範囲に相当する視差の範囲において各ステレオ画像ペアの視差の計算を実行することを特徴とする請求項１乃至３のいずれかに記載の距離画像入力装置。
【請求項５】
前記撮像装置は、複数のレンズが各々曲率半径の異なる複数のステレオレンズから構成されてなるレンズアレイと、前記レンズアレイの像面側に設けられた、前記複数のステレオレンズのそれぞれにより結像される前記被写体の画像の集合である複眼像を撮像する撮像素子を有することを特徴とする請求項１乃至４のいずれかに記載の距離画像入力装置。
【請求項６】
前記撮像装置の複数のステレオレンズはレンズサグを一定にしたまま曲率半径を変えたことを特徴とする請求項５記載の距離画像入力装置。
【請求項７】
請求項１乃至６のいずれかに記載の距離画像入力装置と表示装置を有し、車両に搭載されることを特徴とする車外監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、被写体の画像から視差情報を求め、求めた視差情報から被写体までの距離を検出して撮像範囲にある被写体までの距離を認識する距離画像入力装置と車外監視装置に関するものである。
【背景技術】
【０００２】
被写体を撮影して被写体の画像を得る画像入力装置は、携帯機器、車載機器、医療機器や産業機器等における情報取得手段として有用である。また、被写体の二次元の画像情報のみならず、被写体までの距離や被写体の三次元形状など距離情報も同時に検知する距離画像入力装置への要求が高くなっている。
【０００３】
従来の距離画像情報を取得する距離画像入力装置は、特許文献１に示すようにステレオカメラが使用されている。この距離画像入力装置はレンズの光軸と略垂直な平面内に２台以上のカメラを設置し、それらのカメラによる画像の視差から三角測量の原理に基づき被写体までの距離や被写体の三次元形状を取得する。
【０００４】
この距離画像入力装置を任意の場所に設置することを可能にするためには装置の小型化と薄型化が望まれている。しかしながら特許文献１に示すように、２台以上のカメラを配置すると、装置の小型化には限界があり、また、配置の経時変動に伴う距離や形状の取得誤差が生じやすい。さらに、カメラを構成するレンズ群やイメージセンサに個体差があるため、それらのキャリブレーションの必要が生じる。このカメラ配置やカメラ個体差のキャリブレーションは製作コストや装置コストを増大させる原因となる。
【０００５】
この距離画像入力装置の小型化を図るため、特許文献２に示された距離画像入力装置は、一体形成した固定焦点の複数の光学ブロックを用い、装置を小型化するとともに明るさの確保を図っている。
【０００６】
距離画像入力装置で正確な距離と画像の情報を取得するためには、焦点の合った画像を得ることは必須である。被写体までのあらゆる距離で焦点の合った画像を得るには、撮像装置のレンズを所定の被写体までの距離に合焦させる必要があり、特に被写体までの距離が短い接写の場合には、被写界深度が浅く、被写体までの距離の変化による画質変動が大きくなるため合焦機能の必要性はより高くなる。特許文献２に示すように、固定焦点の光学ブロックにより被写体の撮像を行うと、被写体までの距離によっては焦点の合った像が得られず、距離や形状の検出が困難になる場合がある。
【０００７】
異なる被写体までの距離に焦点を合わせるため、特許文献３に示された撮像装置は、レンズとして液体レンズや液晶レンズを使用し、焦点距離変更を示す入力信号によりレンズの焦点距離を変化させている。また、特許文献４に示された距離画像入力装置は、焦点距離が等しい２つのレンズ系を有する複眼撮像系と、このレンズ系より焦点距離が長い２つのレンズ系を有する複眼撮像系を使用して異なる被写体までの距離に焦点を合わせて広角領域で近い距離までと狭角領域で遠い距離までの距離分布情報を得るようにしている。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献３に示された撮像装置は、焦点調整手段として物理的な可動部を必要とするため、装置の小型化と高速化に限界があるとともにコストが増大するという短所がある。また、この撮像装置は距離の検出機能を有さない。
【０００９】
特許文献４に示された距離画像入力装置は小型化には限界があるとともに、レンズ系の配置やイメージセンサの個体差等に伴うキャリブレーションの問題が残存する。また、遠方の距離において広い範囲にある物体を検出することができず、車載用カメラへの応用としてはそれで十分でもマシンビジョンなどその他の応用には向かないという短所がある。
【００１０】
この発明は、このような短所を改善し、画角が等しく、それぞれ異なる距離に焦点があった複数のステレオ画像ペアを取得して距離精度と位置精度が高い距離画像を検出することができるとともにコストを低減できる距離画像入力装置と車外監視装置を提供することを目的とするものである。
【課題を解決するための手段】
【００１１】
この発明の距離画像入力装置は、撮像装置と演算処理ユニットを有し、前記撮像装置は、被写体を撮像して、それぞれ異なる距離に焦点があった複数のステレオ画像を出力し、前記演算処理ユニットは、視差検出手段と視差合成手段及び距離算出手段を有し、前記視差検出手段は、前記撮像装置から出力する複数のステレオ画像がそれぞれ有する固有の特徴に基づいて視差を計算して視差情報を有する複数の視差画像を出力し、前記視差合成手段は、前記視差検出手段から出力する複数の視差画像を合成して合成視差画像を出力し、前記距離算出手段は、前記視差合成手段から出力する合成視差画像から被写体までの距離を算出して距離画像を出力し、前記撮像装置が、前記複数のステレオ画像を得るための複数組みの撮像レンズと、撮像素子とを有し、前記複数組みの撮像レンズは前記撮像素子側の焦点距離が組み間で互い略等しいことを特徴とする。
前記複数組みの撮像レンズは、組み間で互いにレンズサグが等しく曲率半径が異ることによって被写体側の焦点距離が異なり、各撮像レンズに一対一で対応する互いに有効径が略等しい複数の開口を有する開口アレイが、前記複数組みの撮像レンズの被写体側に設けられていることを特徴とする。
【００１２】
前記視差検出手段で前記撮像装置から出力する複数のステレオ画像から視差を計算する固有の特徴は、各ステレオ画像の焦点が合う距離の範囲であることを特徴とする。
【００１３】
また、前記視差検出手段は、焦点が合う距離の範囲に相当する視差の範囲において各ステレオ画像ペアの視差の計算を実行することを特徴とする。
【００１４】
前記撮像装置は、複数のレンズが各々曲率半径の異なる複数のステレオレンズから構成されてなるレンズアレイと、前記レンズアレイの像面側に設けられた、前記複数のステレオレンズのそれぞれにより結像される前記被写体の画像の集合である複眼像を撮像する撮像素子を有することを特徴とする。
【００１５】
また、前記撮像装置の複数のステレオレンズはレンズサグを一定にしたまま曲率半径を変えたことを特徴とする。
【００１６】
この発明の車外監視装置は、前記距離画像入力装置と表示装置を有し、車両に搭載されることを特徴とする。
【発明の効果】
【００１７】
この発明は、それぞれ異なる距離に焦点があった複数のステレオ画像を出力し、出力した複数のステレオ画像がそれぞれ有する固有の特徴に基づいて視差を計算して視差情報を有する複数の視差画像を出力し、出力した複数の視差画像を合成した合成視差画像から被写体までの距離を算出して距離画像を出力するから、被写体の位置と距離精度の高い距離画像を得ることができる。
【００１８】
また、複数のステレオ画像から視差を計算する固有の特徴として各ステレオ画像の焦点が合う距離の範囲にするから、被写体の位置と距離精度の高い距離画像を得ることができる。
【００１９】
さらに、焦点が合う距離の範囲に相当する視差の範囲において各ステレオ画像ペアの視差を計算するから、被写体の位置と距離精度の高い距離画像を得ることができる。
【００２０】
また、撮像装置を複数のレンズが各々曲率半径の異なる複数のステレオレンズから構成されてなるレンズアレイと、複数のステレオレンズのそれぞれにより被写体の複眼像を撮像する撮像素子を有するから、異なる距離に焦点を合わせることができ、可動部無しに深い被写界深度を実現可能とする低コストで薄型の距離画像入力装置を提供することができる。
【００２１】
さらに、撮像装置の複数のステレオレンズをレンズサグを一定にしたまま曲率半径を変えることにより、各ステレオレンズの有効径をほぼ一定にすることができ、レンズ有効径の相違による不具合を排除できる。
【００２２】
また、この発明の距離画像入力装置を車外監視装置に使用することにより、遠距離の被写体から近距離の被写体のステレオ画像を得ることができ、広い距離範囲に対して高精度な距離測定を行うことができる。
【図面の簡単な説明】
【００２３】
【図１】この発明の距離画像入力装置の構成図である。
【図２】距離画像入力装置の被写体方向からみた配置図である。
【図３】ステレオレンズによるＭＴＦの変化特性図である。
【図４】レンズサグと有効径の変化を示す模式図である。
【図５】距離画像入力装置で撮像した画像から距離画像を得る処理を示すフローチャートである。
【図６】撮像した複眼像を示す図である。
【図７】第１の視差画像から第４の視差画像を合成する処理を示すフローチャートである。
【図８】距離画像入力装置を用いた車外監視装置の構成図である。
【発明を実施するための形態】
【００２４】
図１はこの発明の距離画像入力装置の構成図である。距離画像入力装置１は、撮像装置２と演算処理ユニット３を有する。
【００２５】
撮像装置２は、レンズアレイ４と遮光壁５と開口アレイ６と基板８に実装された撮像素子７及び筐体９を有する。レンズアレイ４は、図１と図２の被写体方向からみた配置図に示すように、偶数、例えば第１の撮像レンズ４１１と第２の撮像レンズ４１２と第３の撮像レンズ４２１と第４の撮像レンズ４２２と第５の撮像レンズ４３１と第６の撮像レンズ４３２と第７の撮像レンズ４４１と第８の撮像レンズ４４２の８つがアレイ状に配列されている。第１の撮像レンズ４１１から第８の撮像レンズ４４２は、被写体側のレンズ面４０ａと像面側のレンズ面４０ｂの２面からなり、レンズ面４０ａとレンズ面４０ｂがセットになって被写体の像を像面上で結像させる。遮光壁５は、金属や樹脂等の撮像光線に対して不透明な材料からなり、レンズアレイ４における隣接する撮像レンズ間での光線のクロストーク（混線）を防止するための遮光用隔壁を形成するものであり、図２に示すように、レンズアレイ４の第１の撮像レンズ４１１から第８の撮像レンズ４４２にそれぞれ対応して矩形の孔があけられており、孔と孔の間の壁が隔壁として作用する。この遮光壁５はレンズアレイ４の像側の面と接着されている。開口アレイ６は、板状部材に第１の撮像レンズ４１１から第８の撮像レンズ４４２のそれぞれに対応して円形孔６ａが設けられ、第１の撮像レンズ４１１から第８の撮像レンズ４４２の絞りとして作用する。この開口アレイ６はレンズアレイ４の被写体側の面の平面部に設けられた突起部４ａを介してレンズアレイ４に接着されている。撮像素子７は、例えばＣＭＯＳセンサからなり、第１の撮像レンズ４１１から第８の撮像レンズ４４２を通った光を入射して撮像される被写体の画像データを演算処理ユニット３に出力する。筐体９はレンズアレイ４の被写体側の面に被写体側の端部が接着され、レンズアレイ４と遮光壁５及び開口アレイ６を保持した状態で基板５の撮像素子７側の面に接着されている。
【００２６】
この撮像装置２のレンズアレイ４について説明する。第１の撮像レンズ４１１から第８の撮像レンズ４４２は異なる曲率半径のレンズ面４０ａとレンズ面４０ｂを有し、相互に異なる被写体距離に焦点を合わせるように曲率半径が設定されている。このレンズアレイ４を構成する第１の撮像レンズ４１１と第２の撮像レンズ４１２は曲率半径が略同一のレンズ面４０ａとレンズ面４０ｂを有し、第１の撮像レンズ４１１と第２の撮像レンズ４１２がペアになって第１のステレオカメラレンズを構成し、第１の撮像レンズ４１１と第２の撮像レンズ４１２に対応する撮像素子７の画素領域と併せて第１のステレオカメラを構成している。第３の撮像レンズ４２１と第４の撮像レンズ４２２も曲率半径が略同一のレンズ面４０ａとレンズ面４０ｂを有し、ペアになって第２のステレオカメラレンズを構成し、対応する撮像素子７の画素領域と併せて第２のステレオカメラを構成し、第５の撮像レンズ４３１と第６の撮像レンズ４３２も曲率半径が略同一のレンズ面４０ａとレンズ面４０ｂを有し、ペアになって第３のステレオカメラレンズを構成し、対応する撮像素子７の画素領域と併せて第３のステレオカメラを構成し、第７の撮像レンズ４４１と第８の撮像レンズ４４２も曲率半径が略同一のレンズ面４０ａ，４０ｂを有し、ペアになって第４のステレオカメラレンズを構成し、対応する撮像素子７の画素領域と併せて第４のステレオカメラを構成している。
【００２７】
このレンズアレイ４の第１のステレオレンズを構成する第１の撮像レンズ４１１と第２の撮像レンズ４１２は、図２に示すように、第３のステレオレンズを構成する第５の撮像レンズ４３１と第６の撮像レンズ４３２の両側に等間隔Ｄ１で１列に配置され、第２のステレオレンズを構成する第３の撮像レンズ４２１と第４の撮像レンズ４２２は第４のステレオレンズを構成する第７の撮像レンズ４４１と第８の撮像レンズ４４２の両側に等間隔Ｄ１で１列に配置され、１列に配置された第１の撮像レンズ４１１等と第３の撮像レンズ４２１等も間隔Ｄ１を隔てて配置されている。この第１の撮像レンズ４１１と第２の撮像レンズ４１２の間隔Ｄ２＝３＊Ｄ１が第１のステレオカメラの基線長となり、第３の撮像レンズ４２１と第４の撮像レンズ４２２の間隔Ｄ２が第２のステレオカメラの基線長となり、第５の撮像レンズ４３１と第６の撮像レンズ４３２の間隔Ｄ１が第３のステレオカメラの基線長となり、第７の撮像レンズ４４１と第８の撮像レンズ４４２の間隔Ｄ１が第４のステレオカメラの基線長となる。この基線長Ｄ２の第１の撮像レンズ４１１と第２の撮像レンズ４１２で構成する第１のステレオカメラと第３の撮像レンズ４２１と第４の撮像レンズ４２２で構成する第２のステレオカメラが遠距離用となり、基線長Ｄ１の第５の撮像レンズ４３１と第６の撮像レンズ４３２で構成する第３のステレオカメラと第７の撮像レンズ４４１と第８の撮像レンズ４４２で構成する第４のステレオカメラが近距離用となる。
【００２８】
このレンズアレイ４を構成する第１のステレオレンズから第４のステレオレンズによるスルーフォーカスＭＴＦ（Modulation Transfer Function）の例を図３に示す。図３においてＡ４，Ａ３，Ａ２，Ａ１は各ステレオレンズに対応するスルーフォーカスＭＴＦ曲線（ここでは被写体距離に伴うＭＴＦ変化）を表しており、各ステレオレンズで焦点の合う被写体距離が異なるためＭＴＦがピークとなる被写体距離が異なっている。被写体距離が数ｍｍオーダーで短くなると被写界深度は非常に浅くなり、わずかの焦点ずれで大きくＭＴＦが低下して像がぼける。被写体距離が遠くなるにつれ被写界深度は深くなっていき、スルーフォーカスＭＴＦ曲線Ａ１では一定距離以上は無限遠まで像がぼけないですむ。したがって図３に示すように、一定レベルの閾値ＴＨでスルーフォーカスＭＴＦ曲線Ａ１〜Ａ４が交差するようにレンズアレイ４の第１のステレオレンズから第４のステレオレンズを設計し、被写体距離に応じて適したＭＴＦを有するステレオレンズによる被写体の縮小像（以下、個眼像という）や画素を選択することにより、数ｍｍオーダーの至近距離から無限遠まで被写体に焦点を合わせることができる。このスルーフォーカスＭＴＦ曲線Ａ１〜Ａ４が閾値ＴＨと交差する被写体距離をそれぞれＫ，Ｌ，Ｍ，Ｎとする。
【００２９】
第１の撮像レンズ４１１から第８の撮像レンズ４４２は、曲率半径の設定に加えて焦点距離は全て略等しくなるように設計されている。それにより第１の撮像レンズ４１１から第８の撮像レンズ４４２による光学倍率は被写体距離のみによっておよそ規定されるため、第１の撮像レンズ４１１から第８の撮像レンズ４４２による像は合焦（ボケ）のレベルが相互で異なっても画像のサイズは一定となる。したがって撮像装置２で取得した複眼像の中から焦点の合った個眼像のみを選択抽出したり、焦点の合った画素のみを抽出したりする際に、第１の撮像レンズ４１１から第８の撮像レンズ４４２による像サイズの相違を考慮しないですみ、また取得後の像を用いてなんらかの情報認識をする場合においても像サイズの相違の考慮は不要となる。
【００３０】
レンズの焦点距離を略一定にしたままレンズの曲率を変えたときの屈折面の厚さであるレンズサグとレンズ有効径の変化の様子を図４（ａ）〜（ｃ）に示す。図４（ａ）に示すように、レンズ面４０ａのレンズサグｔａ、有効径ｄａ、レンズ面４０ｂのレンズサグｔｂ、有効径ｄｂの状態からレンズ面４０ａとレンズ面４０ｂの曲率を変えた場合、有効径ｄａ，ｄｂを不変とした場合は、図４（ｂ）に示すように、レンズ面４０ａとレンズ面４０ｂのレンズサグｔａ，ｔｂをレンズサグｔａ１，ｔｂ１と変える必要がある。このようにレンズサグを変えるとレンズ間にレンズサグの相違に基づく高低差を設けるなど形状が複雑になる。一方、レンズサグｔａ，ｔｂを不変とした場合は、図４（ｃ）に示すように有効径ｄａ，ｄａを有効径ｄａ１，ｄｂ１と変える必要がある。このように有効径を変えるとレンズ間で有効径に起因する光学特性、例えばレンズのカットオフ周波数や明るさが変わるため、被写体の画像を取得後にそれらの条件を合わせる調整が必要となり、取り扱いが複雑になる。
【００３１】
そこでレンズアレイ４は第１の撮像レンズ４１１から第８の撮像レンズ４４２のレンズサグを一定にしたまま曲率半径を変え、略等しい有効径を有する開口アレイ６をレンズアレイ４の被写体側に設けることにより、第１の撮像レンズ４１１から第８の撮像レンズ４４２の有効径が略一定となるようにして、レンズ有効径の相違に起因した不具合を排除している。レンズアレイ４の第１の撮像レンズ４１１から第８の撮像レンズ４４２と開口アレイ６とは第１の撮像レンズ４１１から第８の撮像レンズ４４２によっては接触する位置が異なってくるが、レンズアレイ４の平面部に設けた突起部４ｃによりレンズアレイ４と開口アレイ６を接触させることにより、開口アレイ６が傾いてレンズアレイ４に接着される等の不具合を取り除いている。
【００３２】
撮像装置２を被写体方向から観察すると、図２に示すように、第１の撮像レンズ４１１から第８の撮像レンズ４４２において実線で示された円は開口アレイ６の円形孔（有効径）６ａを表し、その直径は一定である。また、破線で示された円は無効領域も含めたレンズ面４０ａの直径を表し、点線で示された円はレンズ面４０ｂの直径を表す。第１のステレオレンズから第４のステレオレンズで曲率半径が異なり、かつ第１の撮像レンズ４１１から第８の撮像レンズ４４２のレンズサグが一定になるようにしているため、第１の撮像レンズ４１１から第８の撮像レンズ４４２で破線と点線で示された円の直径は相違している。
【００３３】
演算処理ユニット３は画像キャプチャー部１１と画像補正部１２と第１のステレオカメラから第４のステレオカメラに対応した４組の視差検出部１３ａ〜１３ｄと視差合成部１４及び距離算出部１５を有する。画像キャプチャー部１１は撮像装置２の撮像素子７から入力する複眼像を第１の撮像レンズ４１１を通った光による第１の個眼像５１１と、第２の撮像レンズ４１２を通った光による第２の個眼像５１２と、第３の撮像レンズ４２１を通った光による第３の個眼像５２１と、第４の撮像レンズ４２２を通った光による第４の個眼像５２２と、第５の撮像レンズ４３１を通った光による第５の個眼像５３１と、第６の撮像レンズ４３２を通った光による第６の個眼像５３２と、第７の撮像レンズ４４１を通った光による第７の個眼像５４１と、第８の撮像レンズ４４２を通った光による第８の個眼像５４２に分離して出力する。画像補正部１２は画像キャプチャー部１１から入力する第１の個眼像５１１から第８の個眼像５４２の歪み補正を行って出力する。視差検出部１３ａは画像補正部１２から入力する第１の個眼像５１１と第２の個眼像５１２から視差を検出して第１の視差画像５１を得て出力し、視差検出部１３ｂは第３の個眼像５２１と第４の個眼像５２２から視差を検出して第２の視差画像５２を得て出力し、視差検出部１３ｃは第５の個眼像５３１と第６の個眼像５３２から視差を検出して第３の視差画像５３を得て出力し、視差検出部１３ｄは第７の個眼像５４１と第８の個眼像５４２から視差を検出して第４の視差画像５４を得て出力する。視差合成部１４は視差検出部１３ａ〜１３ｄから入力する第１の視差画像５１から第４の視差画像５４を合成して視差合成画像を出力する。距離算出部１５は視差合成部１４から入力する視差合成画像から被写体距離を算出して距離画像を出力する。
【００３４】
次に、距離画像入力装置１の撮像装置２で撮像した画像により距離画像を得る処理を図５のフローチャートを参照して説明する。
【００３５】
撮像装置２の第１の撮像レンズ４１１から第８の撮像レンズ４４２を通った光を入射して撮像素子７で被写体の画像を取得し、取得した複眼像５０を演算処理ユニット３の画像キャプチャー部１１に出力する（ステップＳ１）。この撮像素子７で取得した画像は、図６に示すように、第１の撮像レンズ４１１から第８の撮像レンズ４４２に対応した第１の個眼像５１１と第２の個眼像５１２と第３の個眼像５２１と第４の個眼像５２２と第５の個眼像５３１と第６の個眼像５３２と第７の個眼像５４１及び第８の個眼像５４２を有する複眼像５０になる。この場合は平面の写真を撮影したもので被写体はある一定の距離にある。図６において第１の個眼像５１１から第８の個眼像５４２の周辺で黒くなっている領域は遮光壁５で影となっている領域である。第１の撮像レンズ４１１から第８の撮像レンズ４４２の焦点距離はほぼ等しいため第１の個眼像５１１から第８の個眼像５４２の撮像範囲の大きさはほぼ等しい。一方、第１の個眼像５１１から第８の個眼像５４２で焦点の合う被写体距離は曲率半径により異なるため、第１の個眼像５１１から第８の個眼像５４２の合焦状態は、第１の撮像レンズ４１１と第２の撮像レンズ４１２のペアと、第３の撮像レンズ４２１と第４の撮像レンズ４２２のペアと、第５の撮像レンズ４３１と第６の撮像レンズ４３２のペア及び第７の撮像レンズ４４１と第８の撮像レンズ４４２のペアごとで異なっている。そして第１の撮像レンズ４１１と第２の撮像レンズ４１２のペアで撮像した第１の個眼像５１１と第２の個眼像５１２の焦点が合っている。立体物を撮影する場合は、第１の個眼像５１１から第８の個眼像５４２で焦点が合っている部分と焦点が合っていない部分が混在する。
【００３６】
画像キャプチャー部１１は撮像素子７から入力した複眼像５０を第１の個眼像５１１から第８の個眼像５４２にそれぞれ分離し、分離した第１の個眼像５１１から第８の個眼像５４２を画像補正部１２に出力する（ステップＳ２、Ｓ３）。画像補正部１２は入力した第１の個眼像５１１から第８の個眼像５４２を、レンズの工作精度や組み付け精度によるカメラ固有の内部パラメータ、外部パラメータ等を利用して画像の歪み補正を行い、補正した第１の個眼像５１１と第２の個眼像５１２のペアを視差検出部１３ａに出力し、第３の個眼像５２１と第４の個眼像５２２のペアを視差検出部１３ｂに出力し、第５の個眼像５３１と第６の個眼像５３２のペアを視差検出部１３ｃに出力し、第７の個眼像５４１と第８の個眼像５４２のペアを視差検出部１３ｄに出力する（ステップＳ４）。この画像補正部１２で歪み補正を行うカメラ固有の内部パラメータ及び外部パラメータはZhangの手法("A flexible new technique for camera calibration"。 IEEE Transactions on Pattern Analysis and Machine Intelligence、 22(11):1330-1334、 2000)等を用いることで求めることができる。
【００３７】
視差検出部１３ａは入力した第１の個眼像５１１と第２の個眼像５１２から視差を検出して第１の視差画像５１を視差合成部１４に出力する。画像補正を行った第１の個眼像５１１と第２の個眼像５１２では、各画像における被写体の対応する点が被写体の距離に応じて水平方向にずれている。そのずれている位置を検出してずれ量を求めることにより視差を検出できる。この視差計算にはブロックマッチングという手法を利用する。ブロックマッチングでは、図６に示すように、第１の個眼像５１１の小さな領域５１１ａ、例えば縦４画素×横４画素分を切り出し、それに対応する第２の個眼像５１２の領域を検索するため第２の個眼像５１２の小さな領域５１２ａを切り出して評価値を算出する。この評価値としては２つの領域５１１ａ，５１２ａ間で輝度差の総和(ＳＡＤ:Sum of Absolute Difference)や、輝度差の２乗和(ＳＳＤ:Sum of Squared Difference)などを求める。この場合、第２の個眼像５１２の領域５１２ａの位置を所定の範囲内で移動させて、それぞれの位置でＳＡＤやＳＳＤの極小値を与える切り出し位置を検索することにより画像間の位置ずれを画素単位で求めることができる。画素単位の視差では精度が不足することが多いので画素未満(サブピクセル)の視差も推定する。この推定には等角直線フィッティングやパラボラフィッティングを用いるのが一般的である。また、ＳＡＤやＳＳＤを計算するために用いるデータは輝度ではなく、輝度を微分(例えばＤＯＧ)した値を用いることも可能である。このようにして全画素に対するサブピクセルレベルの視差が計算され視差画像として検出される。ここで視差画像の各画素は第1の個眼像５１１の各画素と対応している。また、視差が検出できなかった画素については視差を零とする。
【００３８】
同様にして視差検出部１３ｂは入力した第３の個眼像５２１と第４の個眼像５２２から視差を検出して第２の視差画像５２を視差合成部１４に出力し、視差検出部１３ｃは入力した第５の個眼像５３１と第６の個眼像５３２から視差を検出して第３の視差画像５３を視差合成部１４に出力し、視差検出部１３ｄは入力した第７の個眼像５４１と第８の個眼像５４２から視差を検出して第４の視差画像５４を視差合成部１４に出力する（ステップＳ５，Ｓ６）。この視差検出部１３ａ〜１３ｂで視差を検出するとき、全く同じように視差を計算するのではなく、視差を計算するための画像切り出し位置の範囲を焦点が合う距離の範囲にそれぞれ設定する。例えば、第１の個眼像５１１において位置（ｘ，ｙ）を中心とした大きさ（ｄｘ，ｄｙ）の領域５１１ａに対してブロックマッチングを行うための第２の個眼像５１２の領域５１２ａは（ｘ＋ｓ１−ｃｘ，ｙ−ｃｙ）から（ｘ＋ｓ２＋ｃｘ，ｙ＋ｃｙ）を対角線の頂点とした矩形の内部の点を中心とした大きさ（ｄｘ，ｄｕ）の範囲とする。ここで、ｃｘとｃｙは正の値，例えば２である。この値は極小値を検出するためのマージンとして必要である。また、ｓ１とｓ２の設定を下記表に示す。
【００３９】
【表１】
0005455033.tif 000002
【００４０】
このｓ１とｓ２は、それぞれ計測を実施する視差の最小値と最大値であり、それぞれ計測できる被写体距離の最大値と最小値とに一対一で対応する。ここで、表に示される視差は焦点距離１ｍｍ、基線長Ｄ１＝１ｍｍ、基線長Ｄ２＝３ｍｍ、撮像素子７の画素サイズ６μｍの場合に下記（１）)式を用いて計算される。
被写体距離＝基線長×焦点距離/(視差×画素サイズ)        （１）
このようにして第1の個眼像５１１と第２の個眼像５１２のペアと、第３の個眼像５２１と第４の個眼像５２２のペアと、第５の個眼像５３１と第６の個眼像５３２のペア及び第７の個眼像５４１と第８の個眼像５４２のペアにおける視差を計算することができる。
【００４１】
視差合成部１４は視差検出部１３ａ〜１３ｄから入力する第１の視差画像５１〜第４の視差画像５４を合成して距離算出部１５に出力する（ステップＳ７）。この第１の視差画像５１〜第４の視差画像５４を合成するとき、視差検出部１３ａから入力する第１の視差画像５１に視差検出部１３ｂ〜１３ｄから入力する第２の視差画像５２〜第４の視差画像５４の値をマッピングしていく。具体的には、図７のフローチャートに示すように、視差検出部１３ｂから入力する第２の視差画像５２の座標（ｘ，ｙ）における視差をα（≠０)としたとき、視差検出部１３ａから入力する第１の視差画像５１の座標（ｘ，ｙ−α＊Ｄ１／Ｄ２）の視差が零の場合に値αをその座標に設定する（ステップＳ１１〜Ｓ１５）。第２の視差画像５２の全画素について前述の処理を行った後（ステップＳ１６）、視差検出部１３ｃから入力する第３の視差画像５３の座標（ｘ，ｙ）における視差がβ(≠０)としたとき、第１の視差画像５１の座標(ｘ＋β)の視差が零の場合に値（β＊Ｄ２／Ｄ１）をその座標に設定する（ステップＳ１７〜Ｓ２０）。第３の視差画像５３の全画素について前述の処理を行った後（ステップＳ２１）、視差検出部１３ｄから入力する第４の視差画像５４の座標（ｘ，ｙ）における視差γ(≠０)としたとき、第１の視差画像５１の座標（ｘ＋γ，ｙ−γ）の視差が零場合に値（γ＊Ｄ２／Ｄ１）をその座標に設定する（ステップＳ２２〜Ｓ２５）。第４の視差画像５４の全画素について前述の処理を行ったら処理を終了する。但し、視差α、β、γは小数点以下の値を持つので、第１の視差画像５１の座標計算に用いられるときには４捨５入をして整数として扱う。このようにして第１の視差画像５１〜第４の視差画像５４を合成することができる。
【００４２】
距離算出部１５は視差合成部１４から入力する合成視差画像から（１）式により被写体距離を算出して距離画像を得る。この距離検出の分解能は被写体距離が短くなるほど高くなり、長くなるほど低下する。また、被写体距離が短くなると視差が大きくなるため、個眼像のペア間で重複する領域が減少し、距離情報を取得できる視野が狭くなる。それらの点を考慮し、基線長がＤ２と長いことに起因して視差がより大きく、距離分解能がより高い第１の撮像レンズ４１１と第２の撮像レンズ４１２のペアと、第３の撮像レンズ４２１と第４の撮像レンズ４２２のペアについて、焦点の合う被写体距離が長くなるように曲率半径を設定し、基線長が短い第５の撮像レンズ４３１と第６の撮像レンズ４３２のペアと、第７の撮像レンズ４４１と第８の撮像レンズ４４２のペアについて、焦点の合う被写体距離が短くなるように曲率半径を設定している。したがって遠方にある被写体に対してはより高い分解能で距離画像を取得することができ、近くにある被写体に対しては広い視野で距離画像を取得することができる。
【００４３】
この距離画像入力装置１を用いた車外監視装置２０を図８に示す。車外監視装置２０は車両２１に搭載され車外の所定範囲内の物体を撮像し、撮像した画像から車外の物体を認識して監視するものであり、距離画像入力装置１とコンピュータ２２及び表示装置２３を有する。距離画像入力装置１は車両２１のルームミラーの後段など運転者の視野を遮らない位置に配置され、撮像した被写体の画像から距離画像をコンピュータ２２に出力する。コンピュータ２２は入力した距離画像から道路形状や複数の立体物の三次元位置を高速で検出し、その検出結果に基づいて先行車や障害物を特定して衝突警報の判断処理等を行い、認識された物体が自車両２１の障害物となる場合、運転者の前方に設置された表示装置２３に表示して運転者に対する警告を行う。また、図示しないアクチュエータ類を制御する外部装置を接続することにより車体の自動衝突回避制御等が可能となっている。
【符号の説明】
【００４４】
１；距離画像入力装置、２；撮像装置、３；演算処理ユニット、４；レンズアレイ、
５；遮光壁、６；開口アレイ、７；撮像素子、８；基板、９；筐体、
１１；画像キャプチャー部、１２；画像補正部、１３；視差検出部、
１４；視差合成部、１５；距離算出部、２０；車外監視装置。
４１１；第１の撮像レンズ、４１２；第２の撮像レンズ、
４２１；第３の撮像レンズ、４２２；第４の撮像レンズ、
４３１；第５の撮像レンズ、４３２；第６の撮像レンズ、
４４１；第７の撮像レンズ、４４２；第８の撮像レンズ。
【先行技術文献】
【特許文献】
【００４５】
【特許文献１】特開２００７−２６３６６９号公報
【特許文献２】特開２００３−１４３４５９号公報
【特許文献３】特開２００６−２１７１３１号公報
【特許文献４】特開２００８−２８６５２７号公報
【図１】
0005455033.tif 000003
【図２】
0005455033.tif 000004
【図３】
0005455033.tif 000005
【図４】
0005455033.tif 000006
【図５】
0005455033.tif 000007
【図６】
0005455033.tif 000008
【図７】
0005455033.tif 000009
【図８】
0005455033.tif 000010