(57)【特許請求の範囲】
【請求項１】
２台のカメラを用いて、これらカメラの共通の視野にある基準平面上に存在する障害物を検出する障害物検出装置において、
前記両カメラから第１画像と第２画像がそれぞれ入力する画像入力手段と、
基準平面と前記２台のカメラの幾何学的関係から導き出されたものであって、第１画像の基準平面領域内の任意の画素点を、第２画像の対応する画素点へ変換する画像変換に基づいて、第１画像を変換画像へ変換する画像変換手段と、
第２画像の所定の領域内の任意の画像ラインが前記障害物と基準平面との接地線であると仮定して、前記画像ラインを画像縦方向に移動させながら第１画像と第２画像との画像間演算の処理領域を複数設定して、第１画像と第２画像の処理領域間における画像縦方向の関数であって、両画像の類似性を示す類似度Ｄを求め、また、前記画像ラインを画像縦方向に移動させながら第２画像と変換画像との画像間演算の処理領域間における画像縦方向の関数であって、両画像の類似性を示す類似度Ｐを求める類似度計算手段と、
前記類似度計算手段で求められた基準平面領域上の類似度Ｄと類似度Ｐに基づいて前記障害物を検出する障害物判定手段と、
を有する
ことを特徴とする障害物検出装置。
【請求項２】
前記障害物判定手段は、
前記類似度計算手段で求められる基準平面領域上の類似度Ｄと類似度Ｐとの差Ｋを求め、この差が大きい位置に前記障害物が存在すると判断する
ことを特徴とする請求項１記載の障害物検出装置。
【請求項３】
前記類似度計算手段において、
第２画像上の画像縦方向の位置に基づいて前記処理領域の幅や高さを設定する
ことを特徴とする請求項１、２記載の障害物検出装置。
【請求項４】
前記障害物検出手段において、
全ての画像縦方向について予め設定された閾値以上となる類似度の差Ｋが存在しないときには障害物が無いとし、
画像縦方向について前記閾値以上となる類似度の差Ｋが存在するときには、前記閾値以上のＫの範囲で前記障害物を検出する
ことを特徴とする請求項２記載の障害物検出装置。
【請求項５】
前記類似度計算手段において、
処理領域の幅、高さを決めるｎ（但し、１＜ｉ＝＜ｎ）種類の異なる関数を用意して、前記各関数によって決まる処理領域で各々類似度Ｄｉ  ，類似度Ｐｉ  を求め、
前記障害物判定手段において、
前記各関数によって生成された処理領域毎の類似度Ｄｉ  ，類似度Ｐｉ  、から各々障害物位置を検出し、その検出した障害物位置の全て、一部、または、最も前記両カメラに近い位置を前記障害物の位置とする
ことを特徴とする請求項１，２記載の障害物検出装置。
【請求項６】
前記障害物判定手段において、
ｙ方向を画像縦方向として、Ｋ（ｙ）に対し０以上の閾値によって閾値処理した結果をＫｔｈ（ｙ）とし、
【数１】
0003759429.tif 000010
を満たす時に前記障害物が無いと判定し、
それ以外の場合にはαを０から１の定数とし、
【数２】
0003759429.tif 000011
を最小とするｙ０  を障害物の位置とする判定する
ことを特徴とする請求項２から４記載の障害物検出装置。
【請求項７】
３台以上のカメラの中から任意の２台のカメラを用いて前記障害物をそれぞれ検出し、
前記複数の障害物の検出結果、または、これらカメラに最も近い障害物の位置を選択して出力する
ことを特徴とする請求項１から５記載の障害物検出装置。
【請求項８】
２台のカメラを用いて、これらカメラの共通の視野にある基準平面上に存在する障害物を検出する障害物検出方法において、
前記両カメラから第１画像と第２画像がそれぞれ入力する画像入力ステップと、
基準平面と前記２台のカメラの幾何学的関係から導き出されたものであって、第１画像の基準平面領域内の任意の画素点を、第２画像の対応する画素点へ変換する画像変換に基づいて、第１画像を変換画像へ変換する画像変換ステップと、
第２画像の所定の領域内の任意の画像ラインが前記障害物と基準平面との接地線であると仮定して、前記画像ラインを画像縦方向に移動させることにより第１画像と第２画像との画像間演算の処理領域を複数設定して、第１画像と第２画像の処理領域間における画像縦方向の関数であって、両画像の類似性を示す類似度Ｄを求め、また、前記画像ラインを画像縦方向に移動させながら第２画像と変換画像との画像間演算の処理領域間における画像縦方向の関数であって、両画像の類似性を示す類似度Ｐを求める類似度計算ステップと、
前記類似度計算ステップで求められた基準平面領域上の類似度Ｄと類似度Ｐに基づいて前記障害物を検出する障害物判定ステップと、
を有する
ことを特徴とする障害物検出方法。
【請求項９】
２台のカメラを用いて、これらカメラの共通の視野にある基準平面上に存在する障害物を検出する障害物検出方法をコンピュータによって実現するプログラムにおいて、
前記両カメラから第１画像と第２画像がそれぞれ入力する画像入力機能と、
基準平面と前記２台のカメラの幾何学的関係から導き出されたものであって、第１画像の基準平面領域内の任意の画素点を、第２画像の対応する画素点へ変換する画像変換に基づいて、第１画像を変換画像へ変換する画像変換機能と、
第２画像の所定の領域内の任意の画像ラインが前記障害物と基準平面との接地線であると仮定して、前記画像ラインを画像縦方向に移動させることにより第１画像と第２画像との画像間演算の処理領域を複数設定して、第１画像と第２画像の処理領域間における画像縦方向の関数であって、両画像の類似性を示す類似度Ｄを求め、また、前記画像ラインを画像縦方向に移動させながら第２画像と変換画像との画像間演算の処理領域間における画像縦方向の関数であって、両画像の類似性を示す類似度Ｐを求める類似度計算機能と、
前記類似度計算機能で求められた基準平面領域上の類似度Ｄと類似度Ｐに基づいて前記障害物を検出する障害物判定機能と、
をコンピュータによって実現する
ことを特徴とする障害物検出方法のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、主として、自動車の安全運転の支援や自動走行を実現するために、車載カメラにより、先行車、駐車車両、歩行者等、道路上に存在する障害物を検出する障害物検出装置及びその方法に関する。
【０００２】
【従来の技術】
障害物を検知するための技術は、レーザや超音波等を利用するものと、ＴＶカメラを利用するものに大別できる。レーザを利用するものは高価であり、超音波を利用するものは超音波の解像度が低いため、障害物の検出精度に問題がある。また、レーザや超音波等を用いる能動センサ単独では走行レーンの認識ができない。
【０００３】
これに対し、ＴＶカメラは比較的安価であり、解像度や計測精度、計測範囲の面からも障害物検出に適する。また、走行レーンの認識も可能である。ＴＶカメラを用いる場合、１台のカメラを使用する方法と複数台のカメラ（ステレオカメラ）を使用する方法がある。
【０００４】
１台のカメラを使用する方法は、そのカメラで撮影した１枚の画像から、輝度や色、あるいはテクスチャ等の情報を手がかりにして道路領域と障害物領域を分離する。
【０００５】
例えば、画像中で彩度の低い中程度の輝度領域、つまり灰色の領域を抽出し道路領域を求めたり、テクスチャの少ない領域を求めて、道路領域を抽出し、それ以外の領域を障害物領域とする。しかし、道路と似た輝度、色、あるいはテクスチャを持つ障害物も数多く存在するため、この方法で障害物領域と道路領域を切り分けるのは困難である。
【０００６】
これに対し、複数台のカメラを用いる方法は３次元情報を手がかりにして障害物を検出する。この方法は一般に「ステレオ視」と呼ばれる。
【０００７】
ステレオ視とは、例えば２つのカメラを左右に配置し、３次元空間中で同一点である点を左右画像間で対応づけ、三角測量の要領で、その点の３次元位置を求めるものである。各カメラの道路平面に対する位置や姿勢等を予め求めておくと、ステレオ視により画像中の任意の点の道路平面からの高さが得られる。このようにすることにより、高さの有無によって障害物領域と道路領域を分離することができる。ステレオ視によれば、１台のカメラを用いる場合のような問題を回避することが可能である。
【０００８】
しかし、通常のステレオ視には、対応点探索という問題がある。ステレオ視とは、一般的には画像上の任意の点のステレオカメラに固定した座標系（以下ではステレオカメラ座標系と呼ぶ）に対する３次元位置を求める技術である。対応点探索は空間中で同一である点を左右の画像間で対応づける際に必要な探索計算を意味し、計算コストが極めて高いという問題がある。対応点探索は、ステレオ視の実用化を妨げる要因の一つとなっている。
【０００９】
この点、特開２００１−７６１２８や特開２０００−２９３６９３で示される手法はステレオカメラを用いながらも対応探索処理を行うことなく、非常に高速に道路上の障害物を検出する方法（以下、従来手法と呼ぶ）を提供している。
【００１０】
これらの従来手法では、道路面を平面と仮定し、ステレオカメラと道路面の幾何学的関係からあるカメラ画像（カメラ１画像）の道路面領域上の画素点を他方のカメラ画像（カメラ２画像）の道路面領域上の対応画素点に対応付ける画像変換Ｔを求め、カメラ１画像を画像変換Ｔにより変換した画像（変換画像）とカメラ２画像の違いから障害物を検出している。つまり画像変換Ｔによって、カメラ１画像に映っている道路面領域上の任意の画素は正しくカメラ２画像の対応画素に変換されるのに対し、高さを持っている物体（すなわち障害物）領域上の画素は正しく対応画素に変換されないことから、その差をとることにより障害物を高速に検出している。
【００１１】
【発明が解決しようとする課題】
しかしながら、雨天時の濡れた路面の様に、障害物や道路周辺の構造物、環境の映り込みが生じている場合には、道路面上で高さが０以外の物体を検出する従来手法では正しく障害物を検出することができなかった。
【００１２】
なぜなら、路面への映り込みは仮想的に負の高さを持つ物体と見倣せるためであり、前記の画像変換によって虚像は正しく対応画素に変換されないためである。
【００１３】
そこで、本発明は上記事情を鑑みてなされたもので、従来手法と同様のステレオ対応付けが必要無いといった特徴を持ちながら、道路面に映り込みが生じた場合にも正しく障害物を検出できる障害物検出装置及びその方法を提供する。
【００１４】
【課題を解決するための手段】
請求項１の発明は、２台のカメラを用いて、これらカメラの共通の視野にある基準平面上に存在する障害物を検出する障害物検出装置において、前記両カメラから第１画像と第２画像がそれぞれ入力する画像入力手段と、基準平面と前記２台のカメラの幾何学的関係から導き出されたものであって、第１画像の基準平面領域内の任意の画素点を、第２画像の対応する画素点へ変換する画像変換に基づいて、第１画像を変換画像へ変換する画像変換手段と、第２画像の所定の領域内の任意の画像ラインが前記障害物と基準平面との接地線であると仮定して、前記画像ラインを画像縦方向に移動させながら第１画像と第２画像との画像間演算の処理領域を複数設定して、第１画像と第２画像の処理領域間における画像縦方向の関数であって、両画像の類似性を示す類似度Ｄを求め、また、前記画像ラインを画像縦方向に移動させながら第２画像と変換画像との画像間演算の処理領域間における画像縦方向の関数であって、両画像の類似性を示す類似度Ｐを求める類似度計算手段と、前記類似度計算手段で求められた基準平面領域上の類似度Ｄと類似度Ｐに基づいて前記障害物を検出する障害物判定手段と、を有することを特徴とする障害物検出装置である。
【００１５】
請求項２の発明は、前記障害物判定手段は、前記類似度計算手段で求められる基準平面領域上の類似度Ｄと類似度Ｐとの差Ｋを求め、この差が大きい位置に前記障害物が存在すると判断することを特徴とする請求項１記載の障害物検出装置である。
【００１６】
請求項３の発明は、前記類似度計算手段において、第２画像上の画像縦方向の位置に基づいて前記処理領域の幅や高さを設定することを特徴とする請求項１、２記載の障害物検出装置である。
【００１７】
請求項４の発明は、前記障害物検出手段において、全ての画像縦方向について予め設定された閾値以上となる類似度の差Ｋが存在しないときには障害物が無いとし、画像縦方向について前記閾値以上となる類似度の差Ｋが存在するときには、前記閾値以上のＫの範囲で前記障害物を検出することを特徴とする請求項２記載の障害物検出装置である。
【００１８】
請求項５の発明は、前記類似度計算手段において、処理領域の幅、高さを決めるｎ（但し、１＜ｉ＝＜ｎ）種類の異なる関数を用意して、前記各関数によって決まる処理領域で各々類似度Ｄｉ  ，類似度Ｐｉ  を求め、前記障害物判定手段において、前記各関数によって生成された処理領域毎の類似度Ｄｉ  ，類似度Ｐｉ  、から各々障害物位置を検出し、その検出した障害物位置の全て、一部、または、最も前記両カメラに近い位置を前記障害物の位置とすることを特徴とする請求項１，２記載の障害物検出装置である。
【００１９】
請求項６の発明は、前記障害物判定手段において、ｙ方向を画像縦方向として、Ｋ（ｙ）に対し０以上の閾値によって閾値処理した結果をＫｔｈ（ｙ）とし、
【数３】
0003759429.tif 000002
を満たす時に前記障害物が無いと判定し、それ以外の場合にはαを０から１の定数とし、
【数４】
0003759429.tif 000003
を最小とするｙ０  を障害物の位置とする判定することを特徴とする請求項２から４記載の障害物検出装置である。
【００２０】
請求項７の発明は、３台以上のカメラの中から任意の２台のカメラを用いて前記障害物をそれぞれ検出し、前記複数の障害物の検出結果、または、これらカメラに最も近い障害物の位置を選択して出力することを特徴とする請求項１から５記載の障害物検出装置である。
【００２１】
請求項８の発明は、２台のカメラを用いて、これらカメラの共通の視野にある基準平面上に存在する障害物を検出する障害物検出方法において、前記両カメラから第１画像と第２画像がそれぞれ入力する画像入力ステップと、基準平面と前記２台のカメラの幾何学的関係から導き出されたものであって、第１画像の基準平面領域内の任意の画素点を、第２画像の対応する画素点へ変換する画像変換に基づいて、第１画像を変換画像へ変換する画像変換ステップと、第２画像の所定の領域内の任意の画像ラインが前記障害物と基準平面との接地線であると仮定して、前記画像ラインを画像縦方向に移動させることにより第１画像と第２画像との画像間演算の処理領域を複数設定して、第１画像と第２画像の処理領域間における画像縦方向の関数であって、両画像の類似性を示す類似度Ｄを求め、また、前記画像ラインを画像縦方向に移動させながら第２画像と変換画像との画像間演算の処理領域間における画像縦方向の関数であって、両画像の類似性を示す類似度Ｐを求める類似度計算ステップと、前記類似度計算ステップで求められた基準平面領域上の類似度Ｄと類似度Ｐに基づいて前記障害物を検出する障害物判定ステップと、を有することを特徴とする障害物検出方法である。
【００２２】
請求項９の発明は、２台のカメラを用いて、これらカメラの共通の視野にある基準平面上に存在する障害物を検出する障害物検出方法をコンピュータによって実現するプログラムにおいて、前記両カメラから第１画像と第２画像がそれぞれ入力する画像入力機能と、基準平面と前記２台のカメラの幾何学的関係から導き出されたものであって、第１画像の基準平面領域内の任意の画素点を、第２画像の対応する画素点へ変換する画像変換に基づいて、第１画像を変換画像へ変換する画像変換機能と、第２画像の所定の領域内の任意の画像ラインが前記障害物と基準平面との接地線であると仮定して、前記画像ラインを画像縦方向に移動させることにより第１画像と第２画像との画像間演算の処理領域を複数設定して、第１画像と第２画像の処理領域間における画像縦方向の関数であって、両画像の類似性を示す類似度Ｄを求め、また、前記画像ラインを画像縦方向に移動させながら第２画像と変換画像との画像間演算の処理領域間における画像縦方向の関数であって、両画像の類似性を示す類似度Ｐを求める類似度計算機能と、前記類似度計算機能で求められた基準平面領域上の類似度Ｄと類似度Ｐに基づいて前記障害物を検出する障害物判定機能と、をコンピュータによって実現することを特徴とする障害物検出方法のプログラムである。
【００２３】
【発明の実施の形態】
以下で、本発明の実施例を図面に従い説明する。
【００２４】
本実施例では、左右２台のステレオカメラを搭載した車（ステレオカメラを搭載した車を自車と呼ぶ）が道路面（基準平面）上を走行し、道路面上に存在する先行車や歩行者等の障害物を検出する状況を想定している。
【００２５】
図１は、本実施例における障害物検出装置１０の概略構成を示すもので、画像入力部１２、画像変換部１４、レーン検出部１６、類似度計算部１８、障害物判定部２０から構成される。これら各装置は、コンピュータに記憶されたプログラムによって、下記で説明する機能が実現される。
【００２６】
以下各部の詳細について説明する。
【００２７】
（画像入力部１２）
画像入力部１２は車両上に固定された２台のカメラ（ステレオカメラ）から画像を入力する（図２参照）。
【００２８】
後述するように、路面上に平面があるものと仮定して、この２台のカメラで得られた画像上の対応領域間で類似度を求めることになるため、２台のカメラは光軸が平行で、光軸に関して回転が無いものとする。
【００２９】
但し、この条件は、カメラ画像の補正（例えば、回転補正等）が可能な範囲や、後述の処理で誤差として無視できる範囲では、必ずしも満たす必要は無い。
【００３０】
（画像変換部１４）
画像変換部１４は、ステレオカメラと道路面の幾何学的関係から導き出される変換によってカメラ１画像を変換して変換画像を生成する。
【００３１】
この変換は、カメラ１とカメラ２で撮像した道路面上の任意の点Ａを各々画像上の座標でＡ１  ，Ａ２  としたときに、画素点Ａ１  を画素点Ａ２  に対応付けるような画像変換である（図３参照）。
【００３２】
つまり、道路面領域に関してカメラ１画像をカメラ２の視点に変換するような画像変換となっている。このような画像変換の求め方の例は、前記した従来手法で詳述されている。
【００３３】
この従来手法では、カメラ１画像における道路面上の画素は画像変換Ｔによって正しく対応点に変換される。これに対し、空間中で高さのある物体は画像中で倒れ込むような歪みを伴って変換されることを利用し、カメラ２画像とカメラ１画像の変換画像の差分等を計算して、この歪みによって生じる相違を検出することによって障害物を見つけ出している（図４参照）。
【００３４】
ここで、画像変換Ｔについて説明する。
【００３５】
一般に、カメラ１で得られた画像の道路面の位置（画像中の投影位置）を、カメラ２で得られた画像（基準画像）の道路面の位置に等しくなるように、幾何的な変換を行うことが可能である。
【００３６】
例えば、カメラ２のカメラパラメータが次式のような４×３の行列で表現できるとする。ここで（Ｘ，Ｙ，Ｚ）は空間座標であり、（ｘ，ｙ）は画像座標である。
【００３７】
【数５】
0003759429.tif 000004
カメラ１のカメラパラメータも同様に４×３の行列で表現できる。
【００３８】
【数６】
0003759429.tif 000005
このとき、道路面上の点の拘束条件は次式で与えられる。
【００３９】
【数７】
0003759429.tif 000006
（１）（２）（３）式を連立して解くと、（ｘ１、ｙ１）から（ｘ２、ｙ２）に変換する次式の関係が得られる。
【００４０】
【数８】
0003759429.tif 000007
この式が画像変換Ｔである。そして、道路平面上の点であれば（４）式により、カメラ１の画像の位置から、カメラ２の画像の位置に変換できることを示している。逆にいえば、道路平面上に無い点は、（４）式の関係を満たさないので、（４）式の変換では、同じ位置に変換されないことを示している。
【００４１】
この変換パラメータは２つのカメラが固定されていれば固定値になることも明らかである。従って、変換パラメータとしては、ｒ１１からｒ３３までの９個の値を記憶すればよい。
【００４２】
（レーン検出部１６）
レーン検出部１６は、カメラ２画像から障害物を含むような道路上の走行レーン領域を検出する。
【００４３】
例えば、カメラ２画像に対しエッジ検出、Ｈｏｕｇｈ変換等の処理で得られる白線検出結果を用いて見つけ出された自車前方の走行レーン内や、その隣接レーン内の領域などである。
【００４４】
レーン検出手法は既存のいかなる手法を用いてもかまわない。但し、道路面上の領域を検出可能であれば、通常白線によって明示的に示されるレーンマークである必要は無い。しかし、以下では説明を簡単にするために、走行レーンを検出して得られるレーンを想定して説明を進めていく。
【００４５】
また、従来手法のようなカメラ１画像、カメラ２画像のレーン検出結果から自車の振動や路面の傾き等を求め画像変換Ｔの補正を行っているような場合には、もちろんそのレーン検出結果を用いてもよい。
【００４６】
（類似度計算部１８）
類似度計算部１８では、レーン検出部１６で得られたレーン検出結果から（画像上の）レーン領域内の様々な画像ラインで、道路面上にある大きさの障害物が存在するものと仮定しながら次々と処理領域を設定し、カメラ１画像−カメラ２画像間及びカメラ２画像−変換画像間の類似度を計算する。
【００４７】
処理領域の設定例を図５に示す。ここで、ｘ軸方向とは画面の横方向をいい、ｙ軸方向とは画面の縦方向をいう。
【００４８】
自車のほぼ前方に障害物が存在するものとし、その障害物の表面（つまり画像として撮像される面）は、カメラから障害物までの距離に対し、平面と見倣せるものとする。このときレーン領域内の各画像ライン（ｘ軸に平行なライン）について、これらのラインを障害物平面と道路の接地線と仮定し、この接地線の幅（画像上でのｘ軸方向のレーン幅になる）や画像上でのｙ座標値からカメラ２画像上における矩形の処理領域を次々と設定する。
【００４９】
なお、画像ラインは、障害物平面と道路の接地線を示すものであれば、上記のようなｘ軸に平行なラインに限らず、ｘ軸に対し傾斜していてもよい。
【００５０】
処理領域のレーン内における位置と幅は、レーン幅または前記ｙ座標値から決定する。また、処理領域の高さは、前記ｙ座標値から決定する。これらはレーン幅またはｙ座標値の関数として表し、この関数は検出したい障害物の大きさの範囲から適当に決める。
【００５１】
次に、カメラ２画像上の処理領域に対応するカメラ１画像と変換画像上の領域を設定する。
【００５２】
カメラ１画像上の対応する処理領域は、カメラ２画像上の処理領域の下端を画像変換に用いた変換Ｔの逆変換Ｔ−１によって変換した同一の大きさを持つ領域とする。
【００５３】
ここで、逆変換Ｔ−１は、仮定する接地線（つまり処理領域の最下部の画像ライン）におけるステレオカメラによって生じる視差を相殺する変換となっている。変換画像上の処理領域はカメラ２画像の領域と画像上の座標が同一となる領域とする。
【００５４】
これらの設定した領域に対し、カメラ１画像−カメラ２画像間、カメラ２画像−変換画像間の各々で類似度を計算することになる。正規化相互相関（ｎｏｒｍａｌｉｚｅｄ  ｃｒｏｓｓｃｏｒｒｅｌａｔｉｏｎ）やＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ），ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅ  Ｄｉｆｆｅｒｅｎｃｅ）等を類似度として用いることが可能である。
【００５５】
（障害物判定部２０）
障害物判定部２０では、類似度計算部１８で求めたカメラ１画像−カメラ２画像間の類似度（類似度Ｄと呼ぶ）、カメラ２画像−変換画像間の類似度（類似度Ｐと呼ぶ）を用い、
Ｋ＝類似度Ｄ−類似度Ｐ                  （５）
から障害物を検出する。
【００５６】
（具体例）
以下ではいくつかの典型的な路面の状態を考え、式（５）からどのように障害物を検出するのかを説明する。
【００５７】
ここでは前方の道路面上の道路領域に障害物があり、下記の４つの路面状態を考える。
【００５８】
・第１の路面状態・・・「止」や速度制限の表示のような画像上で２次元的なパターンとなって現れる模様がある場合（図６参照）。
【００５９】
・第２の路面状態・・・路面に模様が殆ど無い場合（図７参照）。
【００６０】
・第３の路面状態・・・停止線や路面の繋目、道路側壁や周辺の構造物の影により、路面上に一次元的な強いパターンがある場合（図８参照）。
【００６１】
・第４の路面状態・・・雨天時のような路面が濡れた状態で、障害物や周辺構造物の虚像が路面上に映り込む場合（図９参照）。
【００６２】
なお、以下では類似度は０〜１の値をとり、値が大きい程類似度が高いものとして説明する。また前述のように説明を簡単にするために、カメラ１画像−カメラ２画像間の類似度を類似度Ｄ、変換画像−カメラ２画像間の類似度を類似度Ｐと呼ぶ。
【００６３】
（５）第１の路面状態
まず、はじめに、図６のように「止」や速度制限の表示やマンホール等の、画像上で２次元的なパターンとなって現れる模様（テクスチャ）がある場合について説明する。
【００６４】
図６の各画像上の破線によって示した矩形は、カメラ２画像上で設定した処理領域と、それぞれ対応する処理領域の代表的な例を示している。
【００６５】
これらの対応する処理領域間で類似度Ｄ（ｙ）、類似度Ｐ（ｙ）、類似度Ｄ（ｙ）−類似度Ｐ（ｙ）を計算した結果例を図中右側に表している。
【００６６】
縦軸は対応するカメラ２画像のｙ座標（画像縦方向の座標）、横軸を類似度あるいは類似度の差を表している。
【００６７】
処理領域内の路面上に強い２次元的テクスチャがあるとき（図中の領域ａ）、類似度Ｄ（ｙ）は処理領域の最下部（つまり仮定した車両と路面の接地線である画像ライン）はステレオカメラによる視差を考慮して変換されているため一致するが、処理領域内のそれ以外の部分は仮定（つまり平面）を満たさないため処理領域内の殆どでテクスチャが一致せず小さな値をもつ。
【００６８】
一方、類似度Ｐ（ｙ）は、カメラ１画像の路面上の画素が正しくカメラ２画像に対応する画素に変換されることから、２つの処理領域間で画像パターンが一致し、高い値を持つことになる。
【００６９】
次々とｙ軸方向に沿って画像ラインを変えて処理領域を変えていくと、処理領域を設定した際の仮定（障害物と道路面の接地線）と画像中の障害物の接地位置が一致した時（図中の領域ｃ）に類似度Ｄ（ｙ）は高い値を持ち、変換画像上の障害物は画像変換によって歪みを持って変換されているため、類似度Ｐ（ｙ）は小さな値をもつことになる。
【００７０】
これらの中間的な処理領域（図中の領域ｃ）では、使用する類似度の特性にもよるが、例えば正規化相互相関の場合には中間的な値を持ち、図中のグラフのような類似度を持つ事になる。
【００７１】
従って、このような路面状態においては類似度Ｄ（ｙ）についてピーク位置探索等の解析を行えば障害物を検出することも可能であるが、同様に式（５）を用いても検出可能である。
【００７２】
（２）第２の路面状態
次に、図７のような路面に模様が殆ど無い場合について説明する。
【００７３】
なお、接地線と障害物平面の仮定がほぼ一致する場合（図中ｃ）は、路面の状態が異なっていたとしても第１の路面状態と違いはない。このため、第２から第４の路面状態については対象とする処理領域が路面を含んでいるときに限定して説明する。
【００７４】
類似度Ｐ（ｙ）は第１の路面状態と同様に高い値を持つ。
【００７５】
類似度Ｄ（ｙ）は、類似度として使用する統計量によって異なってくる。例えば、路面の様に一様で殆ど特徴の無いテクスチャは、正規化相互相関ではほぼ無相関の信号の相互相関として扱われることになるため小さな値を持つ。また、ＳＡＤ，ＳＳＤのように正規化を行わない統計量では、カメラ１とカメラ２の光学的な特性がほぼ同じであれば、類似度は高く（つまりＳＡＤ，ＳＳＤ値が小さい）なる。
【００７６】
このため、使用する統計量によっては第１の路面状態のように類似度Ｄ（ｙ）からだけでは障害物を検出できないが、類似度Ｐ（ｙ）が高く式（５）は負または小さな正の値をもつことになるため、式（５）についてピーク位置の探索等の解析を行えば障害物を正しく検出できることになる。
【００７７】
（３）第３の路面状態
次に、図８のような路面上に停止線や道路の継目、道路周辺の構造物による影等の一次元的な強いテクスチャが存在する場合について説明する。
【００７８】
処理領域内にこの強いテクスチャがあった場合（図中の領域ａ）について、本来、カメラ１画像とカメラ２画像のそれぞれの処理領域内のテクスチャにはステレオ視差による「ずれ」が生じているはずであるが、テクスチャが一次元的であるためその「ずれ」が類似度に反映されない。
【００７９】
したがって、仮定を満たしていない処理領域にもかかわらず類似度Ｄ（ｙ）が高くなり、類似度Ｄ（ｙ）からだけでは障害物を正しく検出できないことがある。
【００８０】
しかしながら、路面上のテクスチャが一次元的か２次元的かによらず、カメラ１画像の路面テクスチャは画像変換によってカメラ２画像の対応画素と一致し、類似度Ｐ（ｙ）は高い値を持つことになるため、第１、第２の路面状態と同様に、式（５）からこのピーク位置の探索等の解析を行うことによって障害物を検出することができる。
【００８１】
（４）第４の路面状態
図９のような障害物や周辺構造物の虚像が路面上に映り込む場合について説明する。
【００８２】
仮に路面が鏡面と仮定した場合、見掛け上の負の高さの物体によるステレオ視差による「ずれ」が処理領域内に発生し、類似度Ｄ（ｙ）は小さな値を持つ。一方、類似度Ｐ（ｙ）も、カメラ１画像上の映り込みが高さを持つ物体同様、歪みをもって変換されることになるため、小さな値をもつことになる。
【００８３】
一般的に雨天時のような濡れた路面では、路面は路面テクスチャに水膜による障害物や周辺環境による鏡面反射成分を含んだ画像として撮像される。
【００８４】
鏡面反射成分が少ない場合には、第１、第２の路面状態に近い結果となり、鏡面反射成分が多い場合には、前述の純粋な鏡面反射が起きる場合に近い結果となる。いずれの場合も類似度Ｄ（ｙ）と類似度Ｐ（ｙ）はどちらも近い値をもつため、類似度Ｄ（ｙ）と類似度Ｐ（ｙ）に対して式（５）を適用し、ピーク位置の探索等の解析を行えば障害物位置を検出することができる。
【００８５】
（５）まとめ
以上をまとめると、自車のほぼ前方に障害物が存在するとき、上記第１から第４の全ての路面状態において、式（５）のピーク位置等の解析を行うことにより障害物を検出することができることになる。
【００８６】
但し、前方に障害物が存在しない場合には、式（５）のピーク位置を画像中の障害物位置とするのは問題がある。このため式（５）の結果に対し閾値処理をし、閾値以上の結果に対してのみピーク位置を探索し、画像上での障害物位置として出力する。
【００８７】
障害物判定部２０で求めた障害物位置は、使用しているカメラの特性から実際の距離情報等に変換するなどして、警報装置１０や自動車の制御情報として用いられる。
【００８８】
（変更例１）
以下、変更例について説明する。
【００８９】
類似度計算部１８において、カメラ１画像、カメラ２画像及び変換画像の１つ以上の異なる縮小率の縮小画像（マルチスケール画像）を各々生成し、設定された処理領域の高さまたは幅あるいは面積（画素数）を用いて使用するスケール画像を選択し、縮小画像上の対応領域で類似度Ｄ（ｙ）及び類似度Ｐ（ｙ）を求め出力するようにしてもよい。
【００９０】
障害物を自車に近いと仮定した場合（画像下部）には処理領域が大きくなるため、マルチスケール処理は使用する画像処理装置１０の演算性能が低い場合や、類似度として用いる統計量の演算コストが高い場合に特に有効である。
【００９１】
（変更例２）
上記実施例の障害物判定部２０では、式（５）に対し閾値処理をして障害物位置を決定していた。図６から図９で図示したように、式（５）は一般的に障害物位置を中心にして広がりを持つ。
【００９２】
従って、
【数９】
0003759429.tif 000008
を満たす時には障害物は無いとして、閾値処理を行い、それ以外のＫｔｈに対し、
【数１０】
0003759429.tif 000009
を最小とするｙ０  を求め、ｙ０  を障害物位置としてもよい。
【００９３】
但し、αは０から１の定数である。
【００９４】
（変更例３）
上記実施例の類似度計算部１８では設定した処理領域に対して類似度Ｄ（ｙ）及び類似度Ｐ（ｙ）を求めていた。
【００９５】
カメラ２画像で設定した処理領域と、カメラ画像１または変換画像上で設定した処理領域のその周辺を処理領域を移動させながら最大となる類似度を求め、その最大値を類似度Ｄ（ｙ）または類似度Ｐ（ｙ）として出力してもよい。
【００９６】
特に、この処理は、従来手法のような画像変換Ｔの補正を行わず、自車の揺れや道路面の傾き等によって生じる画像変換の変換誤差がある場合に有効である。
【００９７】
（変更例４）
上記実施例の類似度計算部１８及び障害物判定部２０では、カメラ２画像上の１つのｙ座標値について１つの処理領域を設定して得られる類似度Ｄ（ｙ）、類似度Ｐ（ｙ）から障害物位置を検出していた。
【００９８】
これに対し、類似度計算部１８においてカメラ画像２の処理領域（の位置、幅、高さを）を決定する関数を２つ以上用意し、各関数で設定される処理領域毎に類似度Ｄ（ｙ）と類似度Ｐ（ｙ）を求めてから、障害物位置を上記実施例の障害物判定部２０の処理によって各関数毎に行い障害物位置を求めてもよい。
【００９９】
この時、最も自車に近い障害物を選択して出力しても、あるいは複数の障害物位置を出力してもよい。この位置情報を使用する制御装置１０の形態に応じてどちらかを選択することになる。
【０１００】
（変更例５）
上記実施例の類似度計算部１８では、カメラ２画像上で処理領域を設定してから、カメラ１画像及び変換画像上で同じ大きさの処理領域を設定していた。
【０１０１】
これに対し、カメラ２画像上で仮定する車両接地線を共有する異なる大きさの２つの処理領域を設定してから、カメラ１画像と変換画像上で各々対応する処理領域を設定してから、類似度Ｄ（ｙ）と類似度Ｐ（ｙ）を求めても良い。
【０１０２】
（変更例６）
上記実施例の類似度計算部１８では、類似度計算で使用する処理領域を全て矩形とした。
【０１０３】
これに対し、カメラ１画像、カメラ２画像、変換画像上の全てで、同じ形状の処理領域を持つのであれば任意の領域形状を選んでもよい。領域形状の違いによって本発明の本質は何ら変わるものではない。
【０１０４】
（変更例７）
本発明では左右の２台のカメラについて実施例を説明してきたが、ステレオカメラと同様の条件（光軸平行、回転が無い）を満たすような第３のカメラを自車に設置し、カメラ１とカメラ２に対する処理と同様の処理をカメラ３、カメラ２画像に対しても同様に行い障害物位置を求めてもよい。
【０１０５】
このとき２つの障害物位置が得られることになるが、障害物位置を使う制御装置１０に応じて、自車に距離が近い障害物の位置または２つの位置情報を制御情報として出力する。
【０１０６】
（変更例８）
本実施例は、ステレオカメラを車に搭載して障害物を検出することに関して記述したが、例えば、地上の構造物にステレオカメラを固定して道路面上の車両や歩行者を検出する交通監視システムや、ＦＡ応用における作業台面（基準平面）上の物体位置の計測等にも応用可能である。
【０１０７】
【発明の効果】
以上により本発明であると、ステレオカメラ画像とステレオカメラ画像の道路領域間の画素を対応付けるような変換によって変換された画像を用い、ステレオカメラ画像間、ステレオカメラ画像−変換画像間の各々の対応領域間の類似度を求めて、その差を解析することにより、道路面に存在する様々なテクスチャや雨天時の映り込みによる虚像の影響を受けることなく路面上の障害物を検出できる。
【図面の簡単な説明】
【図１】本発明の一実施例を示す障害物検出装置の全体構成である。
【図２】自車の形態の例である。
【図３】画像変換を説明するための図である。
【図４】画像変換を説明するための図である。
【図５】仮定する障害物と各画像の処理領域の関係である。
【図６】第１の路面状態における路面上に２次元的な強い模様がある場合である。
【図７】第２の路面状態における路面上に強い模様がない場合である。
【図８】第３の路面状態における路面上に１次元的な強い模様がある場合である。
【図９】第４の路面状態における映り込みが発生する状況下の場合である。
【符号の説明】
１０    障害物検出装置
１２    画像入力部
１４    画像変換部
１６    レーン検出部
１８    類似度計算部
２０    障害物判定部
【図１】
0003759429.tif 000012
【図２】
0003759429.tif 000013
【図３】
0003759429.tif 000014
【図４】
0003759429.tif 000015
【図５】
0003759429.tif 000016
【図６】
0003759429.tif 000017
【図７】
0003759429.tif 000018
【図８】
0003759429.tif 000019
【図９】
0003759429.tif 000020