(57)【要約】【課題】各画素が示す物体等の面方向をも決定するステレオ画像照合装置。【解決手段】ステレオカメラ１−１及び１−２からは、原画像Ｉ1及びＩ2が出力される。一次微分手段２においては、水平方向について、一次微分処理を行う。第１の視差画像形成手段３においては、原画像Ｉ1及びＩ2並びに一次微分画像Ｉ1'及びＩ2'を用いて視差画像Ｉ3を形成する。第１の地表面仮定照合手段３−Ｇ及び正対面仮定照合手段３−Ｓにおいては、各々ステレオ照合である領域ベースの相関手法において、地表面の画素又は正対面の画素と仮定するものである。第２の視差画像形成手段４において、原画像Ｉ1及びＩ2、一次微分画像Ｉ1'及びＩ2'、並びに視差画像Ｉ3を用いて、視差画像Ｉ3の「エッジ部分」の画素を用いて、その間にある画素領域を、当該「エッジ部分」の画素の視差情報で得られる面、その他の面の上の領域であるものとして再度照合処理を行う。【選択図】図１
2006172348.tif 000002
【特許請求の範囲】
【請求項１】
異なる位置に配置された２個の撮像手段と、
各々異なる面方向を仮定して、前記撮像手段により得られた２個の画像の各画素の仮定した面における位置対応関係に基づいて、前記２個の撮像手段により得られた２個の画像をステレオ照合し、各画素ごと又は視差を求めたい画素ごとの信頼値と共に視差画像を出力する複数個の面仮定照合手段と、
当該複数個の面仮定ステレオ照合手段の出力した視差画像の各画素ごとの信頼値に基づいて、各画素の視差を決定して視差画像を出力する視差決定手段と
を有することを特徴とするステレオ画像照合装置。
【請求項２】
異なる位置に配置された２個以上の撮像手段と、
当該２個以上の撮像手段により得られた２個以上の画像のそれぞれについて、一次微分及び／又は二次微分を演算して、一次微分画像及び／又は二次微分画像を出力する画像微分手段と、
前記２個以上の撮像手段から出力される原画像の組と，前記画像微分手段から出力される一次微分画像の組及び／又は二次微分画像の組のうち、少なくとも２組以上の画像の組を用いてステレオ照合を行うステレオ照合手段を有することを特徴とするステレオ画像照合装置。
【請求項３】
異なる位置に配置された２個の撮像手段と、
当該２個の撮像手段により得られた２個の画像をステレオ照合して、視差画像を出力する第１の視差画像形成手段と、
第１の視差画像形成手段の出力する視差画像の画素のうち、視差が決定できなかった未照合の画素について、視差の算定された照合済みの画素２個又は画像の外枠により挟まれる水平方向の領域、又は、その領域を一定の長さ以下になるように切断した水平方向の領域ごとに区分し、その未照合の画素が、隣接する視差の算定された照合済みの画素又は既に領域の照合を行い視差を決定した隣接領域と視差が一致する正対面、視差の算定された照合済みの２個の画素又は既に領域の照合を行い視差を決定した隣接領域の視差に基づき形成される面、地表面及び無限遠の何れかの面上の点であると仮定して、各々適切な視差に基づき前記各水平方向の領域全体で照合を行い、照合度の最も高い面に基づいて当該各水平方向の領域全体に視差を決定することで、視差を有する画素の増加した視差画像を出力する第２の視差画像形成手段とを有することを特徴とするステレオ画像照合装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は複数個の撮像装置により得られた撮像画像の各画素を照合して各画素が示す物体までの距離情報を得る、ステレオ画像照合装置に関する。本発明は特に、照合する各画素の各撮像画像上の画素位置と複数個の撮像装置の光学的配置関係とから、照合された画素で表される物体等までの距離の関数である撮像画像間の視差を算定し、視差画像を出力するステレオ画像照合装置に関する。
【背景技術】
【０００２】
非特許文献１に記載された技術は、道路環境に対応したステレオ照合装置に関する技術である。一般に領域ベースのステレオ視ではステレオ照合対象のある画素周りの物体の面方向がカメラの光軸に垂直と仮定しているのに対して、非特許文献１においては、走行環境では路面が撮像されるので、路面の方向に面が向いており、全ての照合点はこの面上に存在すると仮定してステレオ照合する方法を提案している。即ち「路面仮定ステレオ照合手段」を有するものである。非特許文献１の技術により路面の照合精度が向上し、距離情報を有する距離画像の密度の向上も確認されている。
【非特許文献１】"Detection of Small Obstacle at Long Range Using Multibaseline Stereo," Todd Williamson and Charles Thorpe, IEEE Intelligent Vehicles Symposium 1998
【０００３】
また、非特許文献１の技術は、平滑化付きの二次微分手段（Laplacian of Gaussian Filter）を備えている。これは、複数のステレオカメラ間に輝度のばらつきがあると、原画像をそのまま使用してステレオ照合した場合に照合精度が低下するため、原画像を二次微分した画像を算出して、ステレオ照合をしている。この非特許文献１の構成を図７に示す。ステレオカメラ９１及び９２の出力する原画像の組を平滑化付きの二次微分手段９３（Laplacian of Gaussian Filter）で二次微分画像の組とし、これらを路面仮定ステレオ照合手段９４により照合して距離情報を有する距離画像を得ている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ステレオ照合の主要な課題である、左画像と右画像の各画素の対応問題を解く方法として、領域ベースの相関が用られる。その際、ある画素周りで示される物体の面を仮定する必要があり、その面方向を一通り（カメラ光軸に垂直面、又は路面）と仮定すると、仮定する面と異なる方位の面を有した形状部分では照合精度が低下する。またこれらの方法では視差（距離）画像を算出した後に面方向を推定するため、後処理が必要になるという問題もある。
【０００５】
また、原画像をそのまま使用してステレオ照合する場合には、複数のステレオカメラ間に輝度のばらつきがあると照合精度が低下するという問題がある。二次微分手段を備えて原画像を二次微分した画像を用いてステレオ照合をする方法は、画像の輝度の低空間周波成分を捨てることになるので、照合精度が低下する。
【０００６】
更には、従来、物体の輪郭を示すエッジ部分の画素はステレオ照合が容易であるが、他の部分はステレオ照合が困難であった。即ち、物体の輪郭を示すエッジ部分については視差（距離）画像を容易に算出できるが、他の部分は視差（距離情報）が算定できていなかった。
【０００７】
本発明の第１の目的は視差画像を得る際に、実空間における各画素の存在する面の方向をも決定するステレオ画像照合装置を提供することである。また、本発明の第２の目的は、照合精度が低下しないステレオ画像照合装置を提供することである。更に本発明の第３の目的は、物体の輪郭を示すエッジ部分の画素以外の画素についても視差（距離）情報を算定して視差（距離）画像に取り込むステレオ画像照合装置を提供することである。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、請求項１に記載の手段は、異なる位置に配置された２個以上の撮像手段と、各々異なる面方向を仮定して、撮像手段により得られた２個の画像の各画素の仮定した面における位置対応関係に基づいて、２個の撮像手段により得られた２個の画像をステレオ照合し、各画素ごと又は視差を求めたい画素ごとの信頼値と共に視差画像を出力する複数個の面仮定照合手段と、当該複数個の面仮定ステレオ照合手段の出力した視差画像の各画素ごとの信頼値に基づいて、各画素の視差を決定して視差画像を出力する視差決定手段とを有することを特徴とするステレオ画像照合装置である。尚、各面仮定照合手段による仮定された複数の面の全てで、視差を付与できない程度の信頼値を算定した画素について視差を付与しないことは、本願発明に包含される。
【０００９】
また、請求項２に記載の手段は、異なる位置に配置された２個以上の撮像手段と、当該２個以上の撮像手段により得られた２個以上の画像のそれぞれについて、一次微分及び／又は二次微分を演算して、一次微分画像及び／又は二次微分画像を出力する画像微分手段と、２個以上の撮像手段から出力される原画像の組と、画像微分手段から出力される一次微分画像の組及び／又は二次微分画像の組のうち、少なくとも２組以上の画像の組を用いてステレオ照合を行うステレオ照合手段を有することを特徴とするステレオ画像照合装置である。
【００１０】
また、請求項３に記載の手段は、異なる位置に配置された２個の撮像手段と、当該２個の撮像手段により得られた２個の画像をステレオ照合して、視差画像を出力する第１の視差画像形成手段と、第１の視差画像形成手段の出力する視差画像の画素のうち、視差が決定できなかった未照合の画素について、視差の算定された照合済みの画素２個又は画像の外枠により挟まれる水平方向の領域、又は、その領域を一定の長さ以下になるように切断した水平方向の領域ごとに区分し、その未照合の画素が、隣接する視差の算定された照合済みの画素又は既に領域の照合を行い視差を決定した隣接領域と視差が一致する正対面、視差の算定された照合済みの２個の画素又は既に領域の照合を行い視差を決定した隣接領域の視差に基づき形成される面、地表面及び無限遠の何れかの面上の点であると仮定して、各々適切な視差に基づき各水平方向の領域全体で照合を行い、照合度の最も高い面に基づいて当該各水平方向の領域全体に視差を決定することで、視差を有する画素の増加した視差画像を出力する第２の視差画像形成手段とを有することを特徴とするステレオ画像照合装置である。尚、面を仮定して照合した結果、視差を付与できない信頼値等を算定した領域について視差を付与しないことは、本願発明に包含される。
【発明の効果】
【００１１】
例えば走行中の車両の進行方向を撮像する場合、撮像画像は、路面と、路面に対して垂直な面とで主に構成される場合が多い。そこでステレオ照合に際し、画素により表示される物体等の表面が例えば路面と、路面に対して垂直な面とのいずれかと仮定できる。そこで、本願の請求項１に係る発明においては、複数個の面仮定照合手段を用いているので、仮定した面に近い場合に最も高い照合度（信頼値）を有する視差が得られる。そこで、それぞれの面仮定照合手段の結果（信頼値）を比較することによって最も照合度（信頼値）が高い視差を選択し、視差画像とすることにより、照合精度が高くなると同時に面方向の推定が可能になる。この際、無限遠前方である画像の消失点方向に垂直な面（正対面）以外の面を仮定する場合については、仮定した面と撮像装置の光軸との角度、及び仮定した面と撮像装置との距離に応じて、２つの画像の対応すべき画素の位置関係が決定されるので、それに基づいて照合を行うことで精度の高い照合を行うことができる。尚、仮定する面としては、例えば断面が矩形をしたトンネルの天井と側壁のような面を想定しても良い。面仮定照合手段として、天井までの距離に応じて複数設けても良く、１の照合手段で離散的な距離に対応した各平行平面について処理をする照合手段としても良い。側壁についても同様である。
【００１２】
ステレオ照合は、入力画像の原画で照合すると、例えば左画像と右画像との明るさの変化の影響を受けやすい。微分画像を用いると明るさの変化の影響を受けにくいが、差分により情報が失われたことによる誤照合が生じやすい。そこで請求項２に係る発明では、それらの単独での照合結果でなく、原画像、一次微分画像、二次微分画像のいずれか２つ以上を用いることによって照合精度を向上させることができる。
【００１３】
ステレオ照合により、全ての画素が距離情報である視差を有する視差画像を出力することが理想であるが、現実的には物体の輪郭を示すエッジ部分の画素しかステレオ照合ができず、他の画素は視差情報の欠落したものとなっていた。請求項３に係る発明によれば、一旦ステレオ照合して物体の輪郭を示すエッジ部分等の特徴ある画素について視差を算定し、視差の算定された照合済みの画素２個又は画像の外枠により挟まれる水平方向の領域、又は、その領域を一定の長さ以下になるように切断した水平方向の領域ごとに区分した上で、更にそれらの照合済みの画素又は既に領域の照合を行い視差を決定した隣接領域と視差が一致する正対面、視差の算定された照合済みの２個の画素又は既に領域の照合を行い視差を決定した隣接領域の視差に基づき形成される面、地表面及び無限遠の何れかであると仮定して、各々適切な視差に基づき各水平方向の領域全体で照合を行い、照合度の最も高い面であるとして当該各水平方向の領域全体に視差を決定するので、視差情報を算定された画素が増加し、より精度の高い視差画像を得ることができる。
【発明を実施するための最良の形態】
【００１４】
撮像手段である撮像装置は、画像を撮像できる装置であれば公知の任意の装置を用いることができる。以下、単にカメラと表記し、２個１組で用いられるものをステレオカメラと表記する。
【００１５】
画像微分手段は、任意の微分に関連する手法を用いた画像処理を用いることができる。一次微分としては、原画像のｘ軸方向（横方向）のみ微分するもの、原画像のｙ軸方向（縦方向）のみ微分するもの、更にはそれらの和をとるものが挙げられる。二次微分としては、原画像のｘ軸方向（横方向）のみ２階微分するもの、原画像のｙ軸方向（縦方向）のみ２階微分するもの、更にはそれらの和をとるものが挙げられる。更にこれらと任意のフィルタ処理とを組み合わせても良い。
【００１６】
面を仮定する際、当該面は車両の路面を含む地表面、無限遠、正対面、その他所望の面を仮定することができる。「正対面」とは、地表面に垂直でカメラの光軸を含む面と、地表面とに垂直な面、又は、２個のカメラの光軸が交わる場合は、地表面に垂直で当該２本の光軸の成す角の２等分線を含む面と、地表面とに垂直な面を言うものとする。尚、仮定する面としては、例えば断面が矩形をしたトンネルの天井と側壁のような面を想定しても良い。尚、請求項１の面仮定照合手段における照合は、仮定した面と撮像装置の光軸との角度、及び仮定した面と撮像装置との距離に応じて、２つの画像の対応すべき画素の位置関係が決定されるので、それに基づいて照合を行うことが望ましい。
【００１７】
請求項１の面仮定照合手段、請求項３の第１の視差画像形成手段における照合は、次のように行う。例えば基準となる画像について、注目画素の回りの例えば３×３＝９個の画素領域と、ステレオペアの探索領域で順次視差を仮定して、その仮定した視差に基づいて３×３＝９個の画素領域を決定する。当該つの画素領域において、相関演算をする。例えば輝度差及び／又は１個以上の微分画像の差の絶対値の和を求める。そして相関の大きい対応、例えば、当該差の絶対値の和を最小とする対応関係を決定するその対応関係から視差を算定し、差の絶対値の和又はその逆数を信頼値とすると良い。
【００１８】
請求項３の第２の視差画像形成手段における照合は、画素の存在する面を仮定することで各画素は視差が仮定されることとなるので、ステレオ画像の相関、例えば輝度差及び／又は１個以上の微分画像の差の絶対値の和は、区分された領域全体で求めると良い。仮定された各面ごとに、相関値、例えば当該差の絶対値の和を求め、当該差の絶対値の和を最小とする面を決定し、当該面により領域全体の各画素に当該決定された面に基づく視差を付与する。
【実施例１】
【００１９】
発明の具体的な一実施例に係るステレオ画像照合装置１００の構成を図１に示す。ステレオ画像照合装置１００は、画像を入力する２台のカメラからなるステレオカメラ１−１及び１−２、入力画像（原画像）を一次微分する一次微分手段２（画像微分手段）、第１の視差画像形成手段３、第２の視差画像形成手段４とから構成される。第１の視差画像形成手段３は、第１の地表面仮定照合手段３−Ｇ、正対面仮定照合手段３−Ｓ及び第１の視差決定手段３−Ｄから成り、第２の視差画像形成手段４は、第２の地表面仮定照合手段４−Ｇ、無限遠仮定照合手段４−Ｓ、面仮定照合手段４−Ｐｓ、第２の視差決定手段４−Ｄとから成る。
【００２０】
ステレオカメラ１−１及び１−２からは、原画像Ｉ1及びＩ2が一次微分手段２（画像微分手段）、第１の視差画像形成手段３及び第２の視差画像形成手段４に出力される。原画像Ｉ1及びＩ2を構成する各画素の輝度をＰ1(x,y)、Ｐ2(x,y)と置く。尚、本発明においては、ステレオカメラ１−１及び１−２の地表面に対する高さ及び角度（俯角）、並びにステレオカメラ１−１及び１−２の相対的位置関係（位置及び光軸の向き）は固定され、調整済みであり、且つステレオカメラ１−１及び１−２からは、ｘ軸方向の視差による影響を除けば、地平線とその上の消失点が完全に一致した原画像Ｉ1及びＩ2が出力されるように画像処理されるものとする。即ち、地平線を示す画素は原画像Ｉ1及びＩ2において同じy座標を有し、消失点を示す画素は原画像Ｉ1及びＩ2において同じx,y座標を有する。また、正対面上の画像である画素については基準画像を左画像である原画像Ｉ2とすると、基準画像Ｉ2の照合対象画素と周囲の８画素とで形成される領域に対し、照合の探索領域は原画像Ｉ1の画素のうち基準画像Ｉ2の照合対象画素とｙ座標が同じ画素とその周囲の９画素、又はその９画素領域をサブピクセルだけ水平方向に移動させた領域である。尚、平滑化手段によって平滑化された画像その他の処理を行った画像を原画像としても良い。
【００２１】
一次微分手段２（画像微分手段）においては、ｘ軸方向（水平方向）について、一次微分処理を行う。水平方向の一次微分はソーベルフィルタなどによって実現できる。フィルタ処理を行うことによって輝度変化部分を抽出できるのでカメラ間の輝度のオフセットの影響を受けにくく、パターンが強調された画像を得ることができる。尚、本実施例では一次微分画像Ｉ1'及びＩ2'の各画素の輝度Ｐ1'(x,y)、Ｐ2'(x,y)は、Ｐ1'(x,y)＝Ｐ1(x+1,y)−Ｐ1(x,y)、Ｐ2'(x,y)＝Ｐ2(x+1,y)−Ｐ2(x,y)で求めるものとする。原画像Ｉ1及びＩ2の一次微分画像Ｉ1'及びＩ2'は、第１の視差画像形成手段３及び第２の視差画像形成手段４に出力される。
【００２２】
第１の視差画像形成手段３においては、原画像Ｉ1及びＩ2並びに一次微分画像Ｉ1'及びＩ2'を用いて次のように視差画像Ｉ3を形成する。第１の地表面仮定照合手段３−Ｇ及び正対面仮定照合手段３−Ｓにおいては、各々ステレオ照合である領域ベースの相関手法において、地表面の画素又は正対面の画素と仮定するものである。
【００２３】
原画像Ｉ1及びＩ2の例えば３×３の９画素領域ごとに、輝度の差分の絶対値和（ＳＡＤ）と、一次微分画像Ｉ1'及びＩ2'の輝度の差分の絶対値和（ＳＡＤ）とを計算し、これらの和がもっと小さい画素が照合された画素として、画素同士のｘ座標の差を視差とする。正対面仮定照合手段３−Ｓにおいては、ピクセル単位で計算しても良いが、サブピクセル単位で計算することが望ましい。また、第１の地表面仮定照合手段３−Ｇにおいては、画像上の地平線との距離により、サブピクセル単位とする必要がある。尚、原画像Ｉ1及びＩ2のＳＡＤを用いて閾値処理によって照合範囲を制御する方法（左右のオフセット差以上の輝度差の場合に照合対象から外す）を用いて、不必要な画素領域とのＳＡＤの計算を省略しても良い。
【００２４】
正対面仮定照合手段３−Ｓにおいて無限遠と正対面とが同じように処理できることは明らかであるが、図２及び３を用いて簡単に説明する。図２は概念図であって、ステレオカメラ１−１及び１−２と、地表面と立体物の正対面と無限遠（の正対面）とを示す。これにより撮像された原画像が図３の様であるとする。地表面上の３×３の９画素領域について、原画像Ｉ1とＩ2との視差（の絶対値）を考えると、右に示したように、ｙ座標が同じ画素では視差は等しい。地平線に近い側（上の段）の画素から中央の段の画素、遠い側（下の段）の画素について、視差をｄ１、ｄ２、ｄ３とおくと、ｄ１＜ｄ２＜ｄ３となる。地表面の領域についてサブピクセル単位でＳＡＤを計算するのも、この上の段の画素、中央の段の画素、下の段の画素とで視差が異なることに起因する。一方、立体物の正対面については３×３の９画素領域の視差が全て等しい。無限遠の領域については視差が０であるので、無限遠の領域については立体物の正対面で視差が０であるものとして処理することができる。
【００２５】
地表面の領域内の視差のオフセットｄoff(y)は次のように求められる。基準画像Ｉ2が左画像、ステレオペア画像Ｉ1が右画像であるとし、焦点距離（ピクセル単位）を画像のｘ軸スケールでｆx、ｙ軸スケールでｆyとし、ステレオ基線長をＢ、カメラの高さをｈ、カメラの光軸の水平方向からの俯角（地表面を向く方を負）をφ、カメラの光軸の画像上のｙ座標をｙ0とおくと、画像の座標をｘ軸について右方向が正、ｙ軸について上方向が正として、基準画像Ｉ2の座標(x,y)の画素に対応する、ステレオペア画像Ｉ1の画素の視差のオフセットｄoff(y)は、式（１）で求められる。
【数１】
2006172348.tif 000003
【００２６】
第１の地表面仮定照合手段３−Ｇの演算する、基準画像Ｉ2の３×３の９画素領域ｘ＝x1，x2，x3；ｙ＝y1, y2, y3についてのステレオペア画像Ｉ1の視差ｄ＋ｄoff(y)の画素領域とのＳＡＤと、一次微分画像Ｉ2'の９画素領域ｘ＝x1，x2，x3；ｙ＝y1, y2, y3についての一次微分画像Ｉ1'の視差ｄ＋ｄoff(y)の画素領域とのＳＡＤとの和であるＳＡＤG(d)は、次の式で表される。
【数２】
2006172348.tif 000004
【００２７】
正対面仮定照合手段３−Ｓの演算する、基準画像Ｉ2の３×３の９画素領域ｘ＝x1，x2，x； ｙ＝y1, y2, y3についてのステレオペア画像Ｉ1の視差ｄの画素領域とのＳＡＤと、一次微分画像Ｉ2'の９画素領域ｘ＝x1，x2，x3；ｙ＝y1, y2, y3についての一次微分画像Ｉ1'の視差ｄの画素領域とのＳＡＤとの和であるＳＡＤs(d)は、次の式で表される。
【数３】
2006172348.tif 000005
【００２８】
このようにして、原画像Ｉ1及びＩ2の全領域を地表面として仮定し、第１の地表面仮定照合手段３−Ｇにて照合を行い、基準画像Ｉ2の各画素Ｐ2(x,y)ごとにＳＡＤG(d)を最小とする視差ｄを以て、当該画素Ｐ2(x,y)の照合ができたこととし、視差ｄG(x,y)とする。最小のＳＡＤG(d)がしきい値以下にならない画素については、視差を算定しない（例えば視差の値として最大値を出力する、又は信頼度としてＳＡＤを最大値として出力する）。この、視差画像（各画素Ｐ2(x,y)に視差ｄG(x,y)が付与された基準画像Ｉ2）と、各画素Ｐ2(x,y)の視差情報についての信頼度ＳＡＤG(d(x,y))が第１の視差決定手段３−Ｄに出力される。これを信頼度付き視差画像Ｉ3Gと記する。全く同様に、正対面仮定照合手段３−Ｓから、原画像Ｉ1及びＩ2の全領域を正対面と仮定した信頼度付き視差画像Ｉ3S（各画素Ｐ2(x,y)に視差ｄS(x,y)が付与された基準画像Ｉ2と各画素Ｐ2(x,y)の視差情報についての信頼度ＳＡＤS(d(x,y))）が第１の視差決定手段３−Ｄに出力される。第１の視差決定手段３−Ｄは、信頼度付き視差画像Ｉ3Gの信頼度ＳＡＤG(d(x,y))と信頼度付き視差画像Ｉ3Sの信頼度ＳＡＤS(d(x,y))を基準として、各画素Ｐ2(x,y)ごとに視差情報を取捨選択し、より信頼度の高い視差情報を有する視差画像Ｉ3を第２の視差画像形成手段４に出力する。こうして、地表面と正体面（画面上、地平線より下に位置するものもある）とで適したステレオ照合を実施することが可能となり、その結果、照合精度が向上する効果がある。また、視差情報を有する画素については、同時に面方向を推定することも可能である。
【００２９】
次に第２の視差画像形成手段４において、原画像Ｉ1及びＩ2、一次微分画像Ｉ1'及びＩ2'、並びに視差画像Ｉ3を用いて、次の処理を行う。視差画像Ｉ3はいわゆる「エッジ部分」については信頼度が高い視差情報が得られるが、他の部分は視差情報が欠落したものとなる場合が多い。そこで「エッジ部分」の画素を用いて、その間にある画素を、当該「エッジ部分」の画素の視差情報で得られる面上の画素であるものとして再度照合処理を行う。
【００３０】
この様子を図４に示す。図４に示す通り、枠内は画像であって、地表面と無限遠と立体物Ａ、Ｂ、Ｃが存在し、短冊状の地表面模様と地平線とが画像上にある。立体物ＡとＣは正対面が画像内に有り、立体物Ｂについては、カメラ側を向いた面と地表面に対して垂直な面が、向かって左側手前から奥に延びているものである。ここで視差情報を有するエッジとして、立体物Ａ、Ｃの正対面の各々２本の縦エッジ、短冊状の地表面模様の２本のエッジが存在し、立体物Ｂについては、２本の縦エッジと地表面との交線のエッジと面の上端を示すエッジの４本のエッジが存在したとする。
【００３１】
ここで例えば図４に示すように、水平方向に領域分けを行うと、地表面上にある領域１については地表面を仮定して、領域全体で原画像Ｉ1及びＩ2の輝度の差の絶対値の和と、一次微分画像Ｉ1'及びＩ2'の輝度の差の絶対値の和との和を求めると０又は非常に小さい値となることが理解できる。同様に、立体物Ｂの面にある領域２については、２つのエッジから算定される面を仮定して領域全体でＳＡＤの和を求めると０又は非常に小さい値となり、立体物Ｃの面にある領域３については、正対面を仮定して領域全体でＳＡＤの和を求めると０又は非常に小さい値となり、無限遠にある領域４については、無限遠を仮定して領域全体でＳＡＤの和を求めると０又は非常に小さい値となる。
【００３２】
そこで、水平方向に長い領域ごとに、原画像Ｉ1及びＩ2の全領域を地表面として仮定し、第２の地表面仮定照合手段４−Ｇにて照合を行う。地表面の領域内の視差のオフセットｄoff(y)は上述の式（１）を用いる。ＳＡＤは水平方向に長い領域全体で行う。こうして、視差画像と、各領域での視差情報についての信頼度（信頼度付き視差画像Ｉ4G）が第２の視差決定手段４−Ｄに出力される。全く同様に、無限遠仮定照合手段４−Ｓから、水平方向に長い領域ごとに、原画像Ｉ1及びＩ2の全領域を無限遠と仮定した信頼度付き視差画像Ｉ4Sが第２の視差決定手段４−Ｄに出力される。面仮定照合手段４−Ｐｓは、視差情報を有する２つの画素から面を仮定した上で信頼度付き視差画像Ｉ4Pを出力する。信頼度付き視差画像Ｉ4Pは、視差情報を有する２つの画素の間の領域（視差情報を有しない部分）は各々当該２つの画素うちの一方又は両方の視差により決定される面であると３通りに仮定するものである。正体面であれば視差は一定であり、そうでない面は２つの画素間で視差が変化するものである。こうして、第２の視差決定手段４−Ｄは視差画像Ｉ3、信頼度付き視差画像Ｉ4G、信頼度付き視差画像Ｉ4S及び信頼度付き視差画像Ｉ4Pの信頼度を基準として、視差情報を取捨選択し、より信頼度の高い視差情報を有する視差画像Ｉ4を出力する。
【００３３】
領域ベースのステレオ照合法でなく、画像全体でき最適化によるステレオ照合法ではパターンの少ない部分の視差を決定することができるが、その場合は処理量が大きく、処理時間がかかるのに対して、本発明の、エッジ部分の視差を求めた後、水平方向の領域に区分した照合処理は、処理量が小さいという効果がある。
【００３４】
上記実施例では２台のカメラを用いるものを示したが、３台以上のカメラを用いて、各画像領域ごとに２台のカメラを選択する、或いは３台のカメラの画像を取捨選択する方式としても良い。
【００３５】
上記実施例では、第１の視差画像形成手段において、地表面と、無限遠を含む正対面のみ仮定したが、トンネルの内部のような、カメラからの距離を設定した天井、側壁等の平面を仮定して視差画像を信頼度と共に算出する面仮定照合手段を追加する構成としても良い。
【００３６】
上記ではハードウエアの面から本発明の実施例を説明したが、ソフトウエア的に一次微分手段２、第１の視差画像形成手段３、第２の視差画像形成手段４を実現させても良い。このうち、一次微分手段２、第１の視差画像形成手段３については上述の説明でその構成は明らかであるので、第２の視差画像形成手段４についてフローチャートで説明する。
【００３７】
図５に第２の視差画像形成手段４をソフトウエアで実現するためのフローチャートを示す。尚、Ｓ１００はステップ１００を意味し、他のステップも同様である。まず、Ｓ１００において、第１の視差画像形成手段３の出力である視差画像Ｉ3全体のうち、両端が視差が決定している画素又は画像の左右端であって、その間の画素が視差情報を有しない領域（ｙ座標が全て同一のもの）を選定してＳ１０２に進む。Ｓ１０２においては、当該領域が、地平線より上か下かをｙ座標により判定し、地平線より下であればＳ１０４に、地平線より上であればＳ１０６に進む。
【００３８】
Ｓ１０４においては、当該領域が地表面と仮定して、当該領域全体で照合を行い、ＳＡＤをその信頼度Ｃ0とする。尚、以下に図６を示して説明する通り、この際、必要であれば「オクルージョン処理（隠れ処理）」を行い、視差ｄaは上記式（１）のｄoff(y)としてＣ0が求められる。ＳＡＤがしきい値以下にならない領域については、その領域のＣ0として最大値を記憶する。次にＳ１０８に進む。
【００３９】
Ｓ１０６においては、当該領域が無限遠と仮定して、当該領域全体の照合を行い、ＳＡＤはその領域のＣ0として記憶する。視差ｄaは０としてＣ0が求められる。必要であれば「オクルージョン処理（隠れ処理）」を行う。ＳＡＤがしきい値以下にならない領域については、その領域のＣ0として最大値を記憶する。次にＳ１０８に進む。
【００４０】
Ｓ１０８においては、領域の左側の画素の視差ｄ１を、領域全体の視差であるものと仮定して、当該領域全体の照合を行い、ＳＡＤはその領域のＣ1として記憶してＳ１１０に進む。この場合、視差ｄaはｄ１としてＣ1が求められる。また、この際、必要であれば「オクルージョン処理（隠れ処理）」を行う。ＳＡＤがしきい値以下にならない領域については、その領域のＣ1として最大値を記憶する。また、領域の左側に画素が無い場合（画像枠の場合）も、その領域のＣ1として最大値を記憶する。
【００４１】
次にＳ１１０においては、領域の左側の画素の視差ｄ２を、領域全体の視差であるものと仮定して、当該領域全体の照合を行い、ＳＡＤはその領域のＣ1として記憶してＳ１１０に進む。この場合、視差ｄaはｄ２としてＣ2が求められる。また、この際、必要であれば「オクルージョン処理（隠れ処理）」を行う。ＳＡＤがしきい値以下にならない領域については、その領域のＣ2として最大値を記憶する。また、領域の右側に画素が無い場合（画像枠の場合）も、その領域のＣ2として最大値を記憶する。
【００４２】
Ｓ１１２においては、領域の左側の画素の視差ｄ１から、領域の右側の画素の視差ｄ２に、視差が領域内で変化しているものと仮定して、当該領域全体の照合を行い、ＳＡＤはその領域のＣ3として記憶してＳ１１４に進む。この場合、視差ｄaは領域の右端から左端に、ｄ１からｄ２へと変化するものとしてＣ3が求められる。また、この際、「オクルージョン処理（隠れ処理）」は行わない。ＳＡＤがしきい値以下にならない領域については、その領域のＣ3として最大値を記憶する。また、領域の右側又は左側の少なくとも一方に画素が無い場合（画像枠の場合）も、その領域のＣ3として最大値を記憶する。
【００４３】
Ｓ１１４では、Ｃ0、Ｃ1、Ｃ2、Ｃ3の最小値を与えるものを当該領域全体の視差とする。即ち、Ｃ0が最小値であれば、当該領域が水平線より上であれば当該領域全体の各画素の視差は０とし、当該領域が水平線より下であれば当該領域全体の各画素の視差は上記式（１）のｄoff(y)とする。Ｃ1が最小値であれば当該領域全体の各画素の視差はｄ１、Ｃ2が最小値であれば当該領域全体の各画素の視差はｄ２、Ｃ3が最小値であれば当該領域全体の各画素の視差はｄ１とｄ２の間の補間値となる。
【００４４】
以上の作業を基準画像の全体について行い、視差画像Ｉ3と併せて新たな視差画像Ｉ4とする。
【００４５】
Ｃ0、Ｃ1、Ｃ2、Ｃ3の算出とその前段階でのオクルージョン処理については、図６のフローチャートで更に説明する。まず、ステップＳ２００で、Ｃ0、Ｃ1、Ｃ2、Ｃ3を算出すべき領域に対し、各々視差ｄa及び視差変化ｄal〜ｄarが設定される。ここで、領域を基準画像Ｉ2のＰ2(xi,y)（１≦ｉ≦Ｌ）とおく。領域Ｐ2(xi,y)（１≦ｉ≦Ｌ）の横方向の長さはＬ画素、縦方向の幅は１画素とする。左画像である基準画像Ｉ2の領域の左隣の画素Ｐ2(xi-1,y)についての視差をｄ１、基準画像Ｉ2の領域の右隣の画素Ｐ2(xi+1,y)についての視差をｄ２とおく。Ｃ0の算出においては、水平線より上であれば領域全体で視差ｄa＝０、水平線より下であれば領域全体で視差ｄa＝ｄoff(y)（既に述べた式（１））、Ｃ1の算出においては領域全体で視差ｄa＝ｄ１、Ｃ2の算出においては領域全体で視差ｄa＝ｄ２、Ｃ3の算出においては、基準画像Ｉ2の画素Ｐ2(x1-1,y)においては視差ｄ１、画素Ｐ2(xL+1,y)においては視差ｄ２であって、画素Ｐ2(xi,y)（１≦ｉ≦Ｌ）においては視差は内挿補間されるものである。
【００４６】
次にＳ２０２において、Ｃ0、Ｃ1又はＣ2の算出なのか、Ｃ3の算出なのかが判別される。Ｃ0、Ｃ1又はＣ2の算出（一定視差）の場合はＳ２０４へ進み、Ｃ3の算出の場合はＳ２０８へ進む。
【００４７】
Ｓ２０４では必要な場合、オクルージョン処理が行われる。即ち、左画像の現画像が基準画像Ｉ2であり、領域内では一定視差を仮定するので、領域Ｐ2(xi,y)（１≦ｉ≦Ｌ）の右隣の画素Ｐ2(xi+1,y)の視差ｄ２の絶対値が領域の視差ｄaの絶対値よりも大きいのであれば、左画像である基準画像Ｉ2の領域Ｐ2(xi,y)（１≦ｉ≦Ｌ）のうち、Ｌ−｜ｄ２−ｄa｜＋１≦ｉ≦Ｌの｜ｄ２−ｄa｜個の画素については、右画像であるステレオペア画像Ｉ1には対応する画素が存在しない可能性がある。これは、左画像である基準画像Ｉ2の領域の左隣の画素Ｐ2(xi+1,y)の視差ｄ２の絶対値が大きいため、当該画素の示す物体等は手前に有り、その向こう側に存在する物体を、左画像では捉えても、右画像では捉えていない可能性があるからである。左画像である基準画像Ｉ2の領域Ｐ2(xi,y)の（１≦ｉ≦Ｌ）右端の｜ｄ２−ｄa｜個の画素は、当該右画像では画素Ｐ2(xi+1＋ｄ２,y)の奥側に隠れうる物体の、左画像での存在範囲である。よって当該範囲を切断して、改めて残りの画素領域でＣ0、Ｃ1又はＣ2の算出を行う。この時、画素領域の大きさＬ＝Ｌ−｜ｄ２−ｄa｜と置き換えを行う。次にＳ２０６に進む。
【００４８】
尚、右画像の現画像Ｉ1を基準画像とする場合は、領域Ｐ1(xi,y)（１≦ｉ≦Ｌ）の左隣の画素Ｐ1(xi+1,y)の視差ｄ１が領域の視差ｄaよりも大きいのであれば、右画像である基準画像Ｉ1の領域Ｐ1(xi,y)（１≦ｉ≦Ｌ）のうち、１≦ｉ≦Ｌ−ｄ１＋ｄaのｄ１−ｄa個の画素については、左画像であるステレオペア画像Ｉ2には対応する画素が存在しない可能性があるのでここを切断する。
【００４９】
Ｓ２０６では、必要に応じて変更された、横方向の長さＬの領域全体について、次の式（４）により領域全体でのＳＡＤを計算し、終了する。この際、左画像である基準画像Ｉ2の画素Ｐ2(xi,y)に対応する画素Ｐ1(xi＋ｄa,y)が右画像であるステレオペア画像Ｉ1には無い、即ちサブピクセルの位置である場合は、当該位置を挟む２個の画素により補間して輝度Ｐ1(xi＋ｄa,y)を算出する。右画像の微分画像Ｉ1'の画素Ｐ1'(xi＋ｄa,y)についても同様である。
【数４】
2006172348.tif 000006
【００５０】
一方  Ｓ２０８では、横方向の長さＬの領域全体について、次の式（５）により領域全体でのＳＡＤを計算し、終了する。この際、左画像である基準画像Ｉ2の画素Ｐ2(xi,y)に対応する画素が右画像であるステレオペア画像Ｉ1には無い、即ちサブピクセルの位置である場合は、当該位置を挟む２個の画素により補間して輝度を算出する。右画像の微分画像Ｉ1'の画素についても同様である。
【数５】
2006172348.tif 000007
【００５１】
本発明によれば、走行する車両から進行方向を撮像したステレオ画像を照合して障害物までの距離情報を得るための視差画像を容易に得ることができる。また、断面が矩形のトンネルの側壁面を仮定して面仮定照合手段を設ける際、当該面の視差のオフセットｄoff(x)は次の式（６）で求められる。ステレオ基線長をＢ、カメラと即壁面との距離をｈ'、カメラの光軸の進行方向からの俯角（側壁面を向く方を負）をθ、カメラの光軸の画像上のｘ座標をｘ0とおくと、画像の座標をｘ軸について右方向が正、ｙ軸について上方向が正として、左画像である基準画像Ｉ2の座標(x,y)の画素に対応する、ステレオペア画像Ｉ1の画素の視差のオフセットｄoff(x)は、式（６）で求められる。特に当該即壁面とカメラの光軸（又は２つのカメラの光軸の２等分線）とが平行であるなら、θ＝０とおける。また、天井面については、式（１）で天井面への仰角（天井面を向く方を正）をφ、カメラから天井までの距離をｈとおけば良い。
【数６】
2006172348.tif 000008
【図面の簡単な説明】
【００５２】
【図１】本発明の具体的な一実施例に係るステレオ画像照合装置１００の構成を示すブロック図。
【図２】無限遠、立体物の正対面、地表面での視差の説明図。
【図３】無限遠、立体物の正対面、地表面での視差の説明図。
【図４】第２の視差画像形成手段の作用を説明するための画像の図。
【図５】第２の視差画像形成手段をソフトウエアで実現するためのフローチャート。
【図６】Ｃ0、Ｃ1、Ｃ2、Ｃ3の算出とその前段階でのオクルージョン処理の内容を示すフローチャート。
【図７】非特許文献１のステレオ画像照合装置の構成を示すブロック図。
【符号の説明】
【００５３】
１−１、１−２：ステレオカメラ
２：一次微分手段
３：第１の視差画像形成手段
３−Ｇ：第１の地表面仮定照合手段
３−Ｓ：正対面仮定照合手段
３−Ｄ：第１の視差決定手段
４：第２の視差画像形成手段
４−Ｇ：第２の地表面仮定照合手段
４−Ｓ：無限遠仮定照合手段
４−Ｐｓ：面仮定照合手段
４−Ｄ：第２の視差決定手段
Ｉ1、Ｉ2：ステレオカメラ１−１、１−２により得られた原画像（基準画像Ｉ2とステレオペア画像Ｉ1）
Ｉ1'、Ｉ2'：ステレオカメラ１−１、１−２により得られた原画像の一次微分画像
Ｉ3G、Ｉ3S：第１の地表面仮定照合手段３−Ｇ、正対面仮定照合手段３−Ｓにより出力される、各画素の視差及び信頼度付き画像（信頼度付き視差画像）
Ｉ3：第１の視差画像形成手段により出力される、各画素の視差付き画像（視差画像）
Ｉ4G、Ｉ4S、Ｉ4P：第２の地表面仮定照合手段３−Ｇ、無限遠仮定照合手段３−Ｓ、面仮定照合手段４−Ｐｓにより出力される、各画素の視差及び信頼度付き画像（信頼度付き視差画像）
Ｉ4：第２の視差画像形成手段により出力される、各画素の視差付き画像（視差画像）
【図１】
2006172348.tif 000009
【図２】
2006172348.tif 000010
【図３】
2006172348.tif 000011
【図４】
2006172348.tif 000012
【図５】
2006172348.tif 000013
【図６】
2006172348.tif 000014
【図７】
2006172348.tif 000015