(57)【要約】【課題】ステレオカメラを用い、コントラストの低い画像においても道路面上の障害物を高速かつ高精度に検出する。【解決手段】カメラ１０１、１０２から画像を受け画像Ｌおよび画像Ｒとして出力する画像記憶部１０３、１０４と、画像Ｌの道路面領域内の任意の画素を画像Ｒの対応する画素に変換して画像Ｐを生成する画像変換部１０５と、画像Ｌ、画像Ｒ、画像Ｐ各々の画像特徴を変換して特徴変換画像Ｌ、特徴変換画像Ｒ、特徴変換画像Ｐとを生成する画像特徴変換部１０６と、画像Ｒから道路上の走行レーンを検出するレーン検出部１０７と、走行レーン内に設定した複数の処理領域毎に特徴変換画像Ｌ−特徴変換画像Ｒ間の類似度Ｄと、特徴変換画像Ｌ−特徴変換画像Ｐ間の類似度Ｐとを求める類似度計算部１０８と、類似度Ｄと類似度Ｐとの差から障害物の有無と位置とを検出する障害物判定部１０９とを備える。【選択図】　図１
2004117078.tif 000002
【特許請求の範囲】
【請求項１】
視野の少なくとも一部が重なるように第１、第２画像をそれぞれ取得する第１のカメラ及び第２のカメラと、
前記第１、第２画像を順次記憶する画像記憶部と、
前記第１画像の各画素の座標を前記第２画像の対応する座標に射影して第３画像を生成する変換画像生成部と、
前記第１画像、前記第２画像、前記第３画像それぞれにエッジを抽出・強調する特徴変換を行って、第１特徴変換画像、第２特徴変換画像、第３特徴変換画像を生成する特徴変換画像生成部と、
前記第２特徴変換画像において複数の処理領域を設定し、前記第２特徴変換画像の各処理領域と第１特徴変換画像の対応する処理領域との類似度Ｄと、前記第２特徴変換画像上の各処理領域と第３特徴変換画像上の対応する処理領域との類似度Ｐとを求める類似度計算部と、
前記類似度Ｄ及び類似度Ｐに基づいて障害物を検出する障害物判定部とを備える障害物検出装置。
【請求項２】
視野の少なくとも一部が重なるように第１、第２画像をそれぞれ取得する第１のカメラ及び第２のカメラと、
前記第１、第２画像を順次記憶する画像記憶部と、
前記第１画像、前記第２画像にエッジを抽出・強調する特徴変換を行って、第１特徴変換画像、第２特徴変換画像を生成する特徴変換画像生成部と、
前記第１特徴変換画像の各画素の座標を前記第２特徴変換画像の対応する座標に射影して第３特徴変換画像を生成する変換画像生成部と、
前記第２特徴変換画像において複数の処理領域を設定し、前記第２特徴変換画像の各処理領域と第１特徴変換画像の対応する処理領域との類似度Ｄと、前記第２特徴変換画像上の各処理領域と第３特徴変換画像上の対応する処理領域との類似度Ｐとを求める類似度計算部と、
前記類似度Ｄ及び類似度Ｐに基づいて障害物を検出する障害物判定部とを備える障害物検出装置。
【請求項３】
前記変換画像生成部は、
所定の基準平面上の任意の点の前記第１画像における座標を、前記第２画像における対応する点の座標に射影する変換を用いることを特徴とする請求項１乃至請求項２記載の障害物検出装置。
【請求項４】
前記変換画像生成部は、
前記基準平面として道路面を用いることを特徴とする請求項３記載の障害物検出装置。
【請求項５】
前記画像特徴変換部は、
各画素の画素値に１より大きい係数を乗じる変換を行い、変換後の画素値が所定の範囲外になった画素については、さらに画素値を前記所定の範囲内の値に補正する変換を行って、画像のエッジを抽出・強調することで特徴変換を行うことを特徴とする請求項１乃至請求項４記載の障害物検出装置。
【請求項６】
前記類似度計算部は、
前記第２特徴変換画像において、前記第２特徴変換画像の所定の領域内の任意の画像水平ラインを底辺とする処理領域を前記画像水平ラインを画像垂直方向に移動させながら複数設定することを特徴とする請求項１乃至請求項５記載の障害物検出装置。
【請求項７】
前記障害物判定部は、
前記類似度Ｄと前記類似度Ｐとの差を求め、この差が最大となる位置に障害物が存在すると判定することを特徴とする請求項１乃至請求項６記載の障害物検出装置。
【請求項８】
前記障害物判定部は、
前記類似度Ｄと前記類似度Ｐとの差を求め、この差が所定の閾値以上でかつ最大となる位置に障害物が存在すると判定することを特徴とする請求項１乃至請求項７記載の障害物検出装置。
【請求項９】
視野の少なくとも一部が重なる第１、第２画像に対し、
前記第１画像の各画素の座標を第２画像の対応する座標に射影して第３画像を生成し、
前記第１画像、前記第２画像、前記第３画像にエッジを抽出・強調する特徴変換を行って、前記第１特徴変換画像、前記第２特徴変換画像、前記第３特徴変換画像を生成し、
前記第２特徴変換画像において複数の処理領域を設定し、前記第２特徴変換画像の各処理領域と第１特徴変換画像の対応する処理領域との類似度Ｄと、前記第２特徴変換画像上の各処理領域と第３特徴変換画像上の対応する処理領域との類似度Ｐとを求め、
前記類似度Ｄと前記類似度Ｐとの差Ｋが最大となる位置に障害物が存在すると判定する障害物検出方法。
【請求項１０】
視野の少なくとも一部が重なる第１、第２画像に対し、
前記第１画像、前記第２画像にエッジを抽出・強調する特徴変換を行って、前記第１特徴変換画像、前記第２特徴変換画像を生成し、
前記第１特徴変換画像の各画素の座標を第２特徴変換画像の対応する座標に射影して第３特徴変換画像を生成し、
前記第２特徴変換画像において複数の処理領域を設定し、前記第２特徴変換画像の各処理領域と第１特徴変換画像の対応する処理領域との類似度Ｄと、前記第２特徴変換画像上の各処理領域と第３特徴変換画像上の対応する処理領域との類似度Ｐとを求め、
前記類似度Ｄと前記類似度Ｐとの差Ｋが最大となる位置に障害物が存在すると判定する障害物検出方法。
【請求項１１】
前記射影は、
所定の基準平面上の任意の点の前記第１画像における座標を、前記第２画像における対応する点の座標に射影する変換を用いて行うことを特徴とする請求項９乃至請求項１０記載の障害物検出方法。
【請求項１２】
前記基準平面は、道路面であることを特徴とする請求項１１記載の障害物検出方法。
【請求項１３】
前記特徴変換は、
各画素の画素値に１より大きい係数を乗じる変換を行い、変換後の画素値が所定の範囲外になった画素については、さらに画素値を前記所定の範囲内の値に補正する変換を行って、画像のエッジを抽出・強調することで特徴変換を行うことを特徴とする請求項９乃至請求項１２記載の障害物検出方法。
【請求項１４】
前記第２特徴変換画像において設定した処理領域は、
前記第２特徴変換画像の所定の領域内の任意の画像水平ラインを底辺とし、この底辺を前記画像水平ラインを画像垂直方向に移動させながら複数設定したものであることを特徴とする請求項９乃至請求項１３記載の障害物検出装置。
【請求項１５】
前記類似度Ｄと前記類似度Ｐとの差を求め、この差が所定の閾値以上でかつ最大となる位置に障害物が存在すると判定することを特徴とする請求項９乃至請求項１４記載の障害物検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
自動車の安全運転の支援や自動走行を実現するために、１対の車載カメラにより、先行車両、駐車車両、落下物、歩行者等、道路上に存在する障害物を検出する障害物検出方式及び装置に関する。
【０００２】
【従来の技術】
障害物を検知するための技術は、レーザや超音波等を利用するものとＴＶカメラを利用するものとに大別される。レーザを利用するものは高価であり非実用的であり、超音波を利用するものは超音波の解像度が低いため、障害物の検出精度に問題がある。また、レーザや超音波等を用いる能動センサ単独では走行レーンの認識ができないという問題もある。
【０００３】
これに対し、ＴＶカメラは比較的安価であり、解像度や計測精度、計測範囲の面からも障害物検出に適する。また、走行レーンの認識も可能である。ＴＶカメラを用いる場合、１台のカメラを使用する方法と複数台のカメラ（ステレオカメラ）を使用する方法がある。
【０００４】
１台のカメラを使用する方法では、そのカメラで撮影した１枚の画像から、輝度や色、あるいはテクスチャ等の情報を手がかりにして道路領域と障害物領域を分離する。
【０００５】
例えば、画像中で彩度の低い中程度の輝度領域、つまり灰色の領域を抽出し道路領域を求めたり、テクスチャの少ない領域を求めて、道路領域を抽出し、それ以外の領域を障害物領域とする。
【０００６】
複数台のカメラを用いる方法は、一般にはステレオ視と呼ばれる。ステレオ視とは、一般的には画像上の任意の点のステレオカメラに固定した座標系（以下ではステレオカメラ座標系と呼ぶ）における３次元座標を求める技術である。ステレオ視で得られる３次元情報を手がかりにして障害物を検出する。
【０００７】
ステレオ視では、例えば、２つのカメラを左右に配置し、３次元空間中のある点を左右画像間で対応づけ、三角測量の要領で、その点の３次元位置を求める。各カメラの道路平面に対する位置や姿勢等をあらかじめ求めておくと、ステレオ視により画像中の任意の点の道路平面からの高さが得られる。このようにすることにより、高さの有無によって障害物領域と道路領域を分離することができる。
【０００８】
１台のカメラを用いる方式では道路と似た輝度、色、あるいはテクスチャを持つ障害物も数多く存在するため、この方法で障害物領域と道路領域を切り分けるのは困難であるという弱点があるが、ステレオ視ならばこのような問題を回避することが可能である。
【０００９】
しかし、通常のステレオ視には対応点探索という、ステレオ視の実用化を妨げる要因の一つとなっている問題がある。対応点探索は空間中で同一である点を左右の画像間で対応づける際に必要な探索計算であるが、計算量が極めて多く処理速度が遅くなりがちであるという問題がある。
【００１０】
そこで、ステレオカメラを用いながらも対応点探索を行うことなく高速に道路上の障害物を検出する方法が開発され開示されている（例えば、特許文献１、特許文献２）。
【００１１】
これらの手法では道路面を平面と仮定し、ステレオカメラと道路面の幾何学的関係からあるカメラ画像（カメラ画像１）の道路面領域上の画素点を他方のカメラ画像（カメラ画像２）の道路面領域上の対応画素点に対応付ける画像変換Ｔを求め、カメラ画像１を画像変換Ｔにより変換した画像（変換画像）とカメラ画像２との違いのみから障害物を検出している。
【００１２】
つまり画像変換Ｔによって、カメラ画像１に映っている道路面領域上の任意の画素は正しくカメラ画像２の対応画素に変換されるのに対し、高さを持っている物体（すなわち障害物）領域上の画素は正しく対応画素に変換されないことから、その差をとることにより障害物を高速に検出している。
【００１３】
【特許文献１】
特開２００１−７６１２８公報
【００１４】
【特許文献２】
特開２０００−２９３６９３公報
【００１５】
【発明が解決しようとする課題】
しかし、上述の特許文献１、特許文献２で開示されている手法では障害物を正しく検出することができないことがある。例えば、雨天時の濡れた路面のように、障害物や道路周辺の構造物、風景等の映り込みが生じている場合には、路面上の物体を検出することが難しい。
【００１６】
路面への映り込みは仮想的に負の高さを持つ物体とみなせる。そのため、前述の画像変換によって虚像は正しく対応画素に変換されない。よって、映り込みも障害物と同様にカメラ画像２と変換画像との違いを生じさせる原因となる。
【００１７】
この発明は上記の事情を鑑みてなされたものである。ステレオ視における対応付けが不要でありながら、精度良く障害物を検出することができる障害物検出装置及びその方法を提供する。
【００１８】
【課題を解決するための手段】
上記課題を解決するため、本発明の障害物検出装置は、視野の少なくとも一部が重なるように第１、第２画像をそれぞれ取得する第１のカメラ及び第２のカメラと、前記第１、第２画像を順次記憶する画像記憶部と、前記第１画像の各画素の座標を前記第２画像の対応する座標に射影して第３画像を生成する変換画像生成部と、前記第１画像、前記第２画像、前記第３画像それぞれにエッジを抽出・強調する特徴変換を行って、第１特徴変換画像、第２特徴変換画像、第３特徴変換画像を生成する特徴変換画像生成部と、前記第２特徴変換画像において複数の処理領域を設定し、前記第２特徴変換画像の各処理領域と第１特徴変換画像の対応する処理領域との類似度Ｄと、前記第２特徴変換画像上の各処理領域と第３特徴変換画像上の対応する処理領域との類似度Ｐとを求める類似度計算部と、前記類似度Ｄ及び類似度Ｐに基づいて障害物を検出する障害物判定部とを備える。
【００１９】
本発明の障害物検出装置は、視野の少なくとも一部が重なるように第１、第２画像をそれぞれ取得する第１のカメラ及び第２のカメラと、前記第１、第２画像を順次記憶する画像記憶部と、前記第１画像、前記第２画像にエッジを抽出・強調する特徴変換を行って、第１特徴変換画像、第２特徴変換画像を生成する特徴変換画像生成部と、前記第１特徴変換画像の各画素の座標を前記第２特徴変換画像の対応する座標に射影して第３特徴変換画像を生成する変換画像生成部と、前記第２特徴変換画像において複数の処理領域を設定し、前記第２特徴変換画像の各処理領域と第１特徴変換画像の対応する処理領域との類似度Ｄと、前記第２特徴変換画像上の各処理領域と第３特徴変換画像上の対応する処理領域との類似度Ｐとを求める類似度計算部と、前記類似度Ｄ及び類似度Ｐに基づいて障害物を検出する障害物判定部とを備える。
【００２０】
また、前記変換画像生成部は、所定の基準平面上の任意の点の前記第１画像における座標を、前記第２画像における対応する点の座標に射影する変換を用いても良い。
【００２１】
また、前記変換画像生成部は、前記基準平面として道路面を用いても良い。
【００２２】
また、前記画像特徴変換部は、各画素の画素値に１より大きい係数を乗じる変換を行い、変換後の画素値が所定の範囲外になった画素については、さらに画素値を前記所定の範囲内の値に補正する変換を行って、画像のエッジを抽出・強調することで特徴変換を行っても良い。
【００２３】
また、前記類似度計算部は、前記第２特徴変換画像において、前記第２特徴変換画像の所定の領域内の任意の画像水平ラインを底辺とする処理領域を前記画像水平ラインを画像垂直方向に移動させながら複数設定しても良い。
【００２４】
また、前記障害物判定部は、前記類似度Ｄと前記類似度Ｐとの差を求め、この差が最大となる位置に障害物が存在すると判定しても良い。
【００２５】
また、前記障害物判定部は、前記類似度Ｄと前記類似度Ｐとの差を求め、この差が所定の閾値以上でかつ最大となる位置に障害物が存在すると判定することを特徴としても良い。
【００２６】
本発明の障害物検出方法は、視野の少なくとも一部が重なる第１、第２画像に対し、前記第１画像の各画素の座標を第２画像の対応する座標に射影して第３画像を生成し、前記第１画像、前記第２画像、前記第３画像にエッジを抽出・強調する特徴変換を行って、前記第１特徴変換画像、前記第２特徴変換画像、前記第３特徴変換画像を生成し、前記第２特徴変換画像において複数の処理領域を設定し、前記第２特徴変換画像の各処理領域と第１特徴変換画像の対応する処理領域との類似度Ｄと、前記第２特徴変換画像上の各処理領域と第３特徴変換画像上の対応する処理領域との類似度Ｐとを求め、前記類似度Ｄと前記類似度Ｐとの差Ｋが最大となる位置に障害物が存在すると判定する。
【００２７】
本発明の障害物検出方法は、視野の少なくとも一部が重なる第１、第２画像に対し、前記第１画像、前記第２画像にエッジを抽出・強調する特徴変換を行って、前記第１特徴変換画像、前記第２特徴変換画像を生成し、前記第１特徴変換画像の各画素の座標を第２特徴変換画像の対応する座標に射影して第３特徴変換画像を生成し、前記第２特徴変換画像において複数の処理領域を設定し、前記第２特徴変換画像の各処理領域と第１特徴変換画像の対応する処理領域との類似度Ｄと、前記第２特徴変換画像上の各処理領域と第３特徴変換画像上の対応する処理領域との類似度Ｐとを求め、前記類似度Ｄと前記類似度Ｐとの差Ｋが最大となる位置に障害物が存在すると判定する。
【００２８】
また、前記射影Ｔは、所定の基準平面上の任意の点の前記第１画像における座標を、前記第２画像における対応する点の座標に射影する変換を用いて行っても良い。
【００２９】
また、前記特徴変換は、各画素の画素値に１より大きい係数を乗じる変換を行い、変換後の画素値が所定の範囲外になった画素については、さらに画素値を前記所定の範囲内の値に補正する変換を行って、画像のエッジを抽出・強調することで特徴変換を行っても良い。
【００３０】
また、前記第２特徴変換画像において設定した処理領域は、前記第２特徴変換画像の所定の領域内の任意の画像水平ラインを底辺とし、この底辺を前記画像水平ラインを画像垂直方向に移動させながら複数設定したものであっても良い。
【００３１】
また、前記類似度Ｄと前記類似度Ｐとの差を求め、この差が所定の閾値以上でかつ最大となる位置に障害物が存在すると判定しても良い。
【００３２】
【発明の実施の形態】以下、本発明の一実施形態について図面を参照しながら説明する。
【００３３】
本実施形態では、図２（Ａ）に示すように、カメラ１０１とカメラ１０２との左右２台のステレオカメラを搭載した車（ステレオカメラを搭載した車を自車両と呼ぶ）が基準平面である道路面上を走行し、道路面上に存在する先行車や歩行者等の障害物を検出する状況を想定している。
【００３４】
（概略構成）図１は本実施形態の障害物検出装置の構成を説明する図である。
【００３５】
本装置は、前述のカメラ１０１と、カメラ１０１が撮影した車両の左側からの画像Ｌを順次記憶する画像記憶部Ｌ１０３と、前述のカメラ１０２と、カメラ１０２が撮影した車両の右側からの画像Ｒを順次記憶する画像記憶部Ｒ１０４と、画像Ｌを道路面についてカメラ１０２からの見え方に変換して画像Ｐを生成する画像変換部１０５とを有する。
【００３６】
さらに、画像Ｐ、画像Ｌ、画像Ｒそれぞれに対してフィルタ処理により特徴変換を行い、特徴変換画像Ｌ、特徴変換画像Ｒ、特徴変換画像Ｐを生成する画像特徴変換部１０６と、画像Ｒを用いて自車両の走行レーンを検出するレーン検出部１０７と、特徴変換画像Ｐ、特徴変換画像画像Ｌ、特徴変換画像画像Ｒ及びレーン検出部１０７で得た自車両の走行レーンの情報を用いて、特徴変換画像Ｌ−特徴変換画像画像Ｒ間及び特徴変換画像画像Ｒ−特徴変換画像画像Ｐ間の類似度を画像中の様々な領域において計算する類似度計算部１０８と、画像中の様々な領域で計算した類似度計算の結果を用いて当該領域に障害物が存在するかを判定する障害物判定部１０９とを有する。
【００３７】
尚、カメラ１０１及びカメラ１０２とを除く上記の本装置各部は全部あるいは一部をコンピュータにプログラムを実行させることによってその機能を実現しても良い。
【００３８】
（動作の概要）本装置では、まず、画像Ｌを道路面に関してカメラ１０２からの見え方に変換して画像Ｐを生成する。そして、画像Ｌ、画像Ｒ、画像Ｐに対してそれぞれエッジ情報の抽出と強調をするフィルタによる変換（特徴変換）を行い、特徴変換画像Ｌ、特徴変換画像Ｒ、特徴変換画像Ｐとを生成する。この特徴変換により、類似度計算を高速化することができる。
【００３９】
一方、画像Ｒを用いて自車両の走行レーンを検出しておく。検出した走行レーンは類似度計算の際に用いる。走行レーンの範囲で前述した「様々な領域」を設定し、各領域について類似度計算を行う。
【００４０】
類似度の計算は、特徴変換画像Ｌと特徴変換画像Ｒとの間の類似度Ｄと、特徴変換画像Ｒと特徴変換画像Ｐとの間の類似度Ｐとの２つについて行う。そして、障害物の検出は類似度Ｄと類似度Ｐとの差Ｋを用いて行う。
【００４１】
従来の障害物検出では画像Ｐと画像Ｒとの間の類似度を用いていた。前述の通り、路面への映り込みは高さが負の物体に見える。路面の映り込みも障害物も同じように類似度が下がるので、両者を区別することができない。そのため、映り込みを障害物と誤検出することがあった。
【００４２】
そこで本装置では、類似度Ｄと類似度Ｐとの差Ｋを用いて検出するようにした。これにより、路面への映り込みを障害物と誤認するおそれが解消された。精度良く障害物を検出できるようになった。
【００４３】
従来の障害物検出では画像に対して特徴変換を行わない。画像Ｐ、画像Ｒ、画像Ｌをそのまま使用していた。そして、類似度の計算には正規化相関と呼ばれる手法を用いていた。正規化相関には演算量が多く低速であるという弱点がある。
【００４４】
類似度の計算にＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）やＳＳＤ（Ｓｕｍ　ｏｆ　Ｓｑｕａｒｅ　Ｄｉｆｆｅｒｅｎｃｅ）を用いれば、演算量が少なく高速な処理が行える。しかし、特徴変換を行わない画像においてＳＡＤやＳＳＤで類似度を計算して障害物検出を行うのは困難である。特徴変換を行わない画像ではエッジ情報が弱く、画像間の差異を検出しにくいためである。
【００４５】
そこで、本装置では画像Ｌ、画像Ｒ、画像Ｐに対して特徴変換を行い、エッジ情報の抽出と強調を行う。それからＳＡＤやＳＳＤを用いて類似度の計算を行って障害物検出を行う。これにより障害物の検出を高速に行うことができるようになった。
【００４６】
特徴変換を行うことによるもう１つの効果がある。特徴変換により道路の継ぎ目や色ムラ等が目立たなくなることである。これにより障害物の検出精度が向上する。
【００４７】
（画像記憶部Ｌ１０３、画像記憶部Ｒ１０４）画像記憶部Ｌ１０３、画像記憶部Ｒ１０４は、車両上に固定されたステレオカメラからの画像を順次記憶する。画像記憶部Ｌ１０３はカメラ１０１で撮影した車両の左側からの画像Ｌを順次記憶し、画像記憶部Ｒ１０２はカメラ１０２で撮影した車両の右側からの画像Ｒを順次記憶する。
【００４８】
後述するように、道路面上に平面があるものと仮定して、カメラ１０１とカメラ１０２との２台のカメラで得られた画像上の対応領域間で類似度を求める。そのため、以下の説明では２台のカメラは光軸が平行で、光軸に対して回転がないものとする。ただし、カメラ画像の補正（例えば回転補正等）が可能な範囲や、後述の処理で誤差として無視できる範囲であれば、２台のカメラの光軸が平行からずれていたり、あるいは光軸に対する回転があっても構わない。
【００４９】
（画像変換部１０５）画像変換部１０５は、ステレオカメラと道路面との幾何学的関係から導き出される変換によってカメラ１０１で撮影した画像Ｌをカメラ１０２からの見え方に変換して画像Ｐを生成する。
【００５０】
画像変換部１０５で行う変換は、図２（Ａ）の道路面上の任意の点Ａをカメラ１０１とカメラ１０２とでそれぞれ撮影して得られる各々の画像が図２（Ｂ）、図２（Ｃ）としたときに、図２（Ｂ）の点Ａ１と図２（Ｃ）の点Ａ２とを対応付けるようなものである。
【００５１】
つまり、道路面上に関して、カメラ１０１で撮影した画像Ｌをカメラ１０２の視点に変換するような画像変換となっている。このような画像変換Ｔについて説明する。
【００５２】
一般に、カメラ１０１で得られた画像の道路面の位置（画像中の投影位置）を、カメラ１０２で得られた画像（基準画像）の道路面の位置に等しくなるように、幾何的な変換を行うことが可能である。
【００５３】
例えば、カメラ１０２のカメラパラメータが次式のような４×３の行列で表現できるとする。ここで（Ｘ，Ｙ，Ｚ）は空間座標であり、（ｘ，ｙ）は画像座標である。
【００５４】
【数１】
2004117078.tif 000003
カメラ１０１についても同様に４×３の行列で表現すると、
【００５５】
【数２】
2004117078.tif 000004
このとき、道路面上の点の拘束条件は、
【００５６】
【数３】
2004117078.tif 000005
【００５７】
数１〜数３を連立して解くと、（ｘ１，ｙ１）から（ｘ２，ｙ２）に変換する次式の関係が得られる。次式に現れる３×３の行列（ｒ１１からｒ３３までを成分にもつ行列）が画像変換Ｔを表す行列である。
【００５８】
【数４】
2004117078.tif 000006
【００５９】
画像変換Ｔは道路平面上の点を画像Ｌの位置から画像Ｒの位置に射影する変換である。つまり、道路平面上の点であれば画像Ｌの位置から画像Ｒの位置に正しく変換する。逆に言えば、道路平面上に無い点は数４の関係を満たさないので、画像変換Ｔによって正しい位置には変換されないことを示している。
【００６０】
実際の変換では、図３の障害物３０１と障害物３０３のような関係になり、空間中で高さのある物体は画像中で倒れこむような歪みを伴って変換される。
【００６１】
この画像変換Ｔは、２つのカメラが固定されていれば固定値になることも明らかである。従って、画像変換行列のパラメータとしては、ｒ１１からｒ３３までの９個の値を記憶すればよい。また、これらの値は本装置を車両に搭載した時点でカリブレーションを行って適切な値を得ればよい。
【００６２】
（レーン検出部１０７）レーン検出部１０７は、画像Ｒから道路上の走行レーン領域を検出する。
【００６３】
例えば、画像Ｒに対してエッジ検出、Ｈｏｕｇｈ変換などの処理で得られる白線検出結果を用いて見つけ出された自車両前方の走行レーン内や、その隣接レーン内の領域の検出を行う。尚、道路面上の領域を検出可能であれば、必ずしも白線によって明示的に示されるレーンマークである必要はない。
【００６４】
レーン検出手法は如何なる手法を用いても構わない。必要であれば、図１において破線で示したように画像Ｒに加えて画像Ｌをも利用する手法であっても良い。
【００６５】
（画像特徴変換部１０６）画像特徴変換部１０６では、画像Ｌ、画像Ｒ、画像Ｐに対してエッジを抽出・強調するような画像特徴変換を行い、それぞれに対応した特徴変換画像Ｌ、特徴変換画像Ｒ、特徴変換画像Ｐを出力する。
【００６６】
ここでは画像中のエッジを抽出・強調するような変換を用いる。そして、後述の類似度計算部でＳＡＤやＳＳＤを用いて類似度を計算しても、画像間の差異を検出できるようにする。
【００６７】
本装置では、画像特徴変換として広域通過型のフィルタ（ＨＰＦ）を用いる。ＨＰＦの中でも特に、一般的な線形特性の２次元フィルタや、故意にゲインを高くして画素の取るべき値域を越えた場合に飽和させる飽和型ＨＰＦを用いることにより、エッジを抽出・強調するような処理を行う。
【００６８】
飽和型ＨＰＦを適用例を説明する。例えば画素値の上限を２５５として、各画素の画素値に１．５を乗じるエッジ抽出・強調変換を施す場合を考える。変換前の画素値が０〜１７０の画素については変換後の画素値は元の１．５倍の値になる。一方、変換前の画素値が１７１〜２５５の画素については、１．５倍すると画素値は２５５を超えてしまうので、飽和させて変換後の画素値を２５５とする。
【００６９】
画像特徴変換の方法としては様々な方法が考えられる。前述した飽和処理の代わりに２次元のＨＰＦの出力に、γ変換や２値化あるいは多値化等の非線形の処理を加えても良い。あるいは、画像処理で一般的に用いられる任意のエッジ検出手法を適用した結果を特徴変換画像としても良い。また、一般的なコントラスト強調処理も有効である。
【００７０】
これらの処理を行うことで、例えば路面上の白線のような強いエッジは強いままで、路面上の色ムラのような弱いパターンは相対的に弱くなって目立たなくなり、障害物等の輪郭のような比較的強いエッジは強調されて目立つようになる。
【００７１】
尚、本実施形態では画像Ｌ、画像Ｒ、画像Ｐに同じ画像特徴変換を施すものとするが、画像Ｐに関しては他の２つの画像とは厳密に同一な画像特徴変換を施す必要はない。後述する障害物判定部１０９における処理が正しく行える範囲であれば、画像Ｐに対する画像特徴変換は画像Ｌ、画像Ｒに対する画像特徴変換と異なっていても良い。
【００７２】
（類似度計算部１０８）類似度計算部１０８では、レーン検出部１０７で得られたレーン検出結果から特徴変換画像上のレーン領域内の様々な画像ラインで、道路面上に障害物が存在するものと仮定しながら次々と処理領域を設定し、特徴変換画像Ｌ−特徴変換画像Ｒ間、及び、特徴変換画像Ｒ−特徴変換画像Ｐ間の類似度を計算する。
【００７３】
処理領域の設定例を図４に示す。ここで、ｘ軸方向とは画面の横方向をいい、ｙ軸方向とは画面の縦方向をいうものとする。
【００７４】
自車両のほぼ先方に障害物が存在するものとし、その障害物の表面、すなわち画像として撮像される面は、カメラから障害物までのの距離に対し、平面と見做せるものとする。
【００７５】
このときレーン領域内の各画像ライン（ｘ軸に平行なライン）を障害物平面と道路との接地線と仮定する。そして、ｙ座標値を変えながら特徴変換画像Ｒ上における矩形の処理領域を次々と設定する。
【００７６】
この矩形の処理領域の形状（水平、垂直の画素数）は、ｙ座標値とそのｙ座標値における接地線の幅（画像上でのｘ軸方向のレーン幅に相当）に基づいて決定する。また、この処理領域の水平位置はレーン幅またはｙ座標値から決定する。これらの水平垂直の画素数や水平位置はレーン幅またはｙ座標値の関数として表し、この関数は検出したい障害物の大きさの範囲から装置作成時に適宜決めておくものとする。
【００７７】
処理領域の設定例は、例えば図４の領域４１１、領域４１２、領域４１３などである。これらの領域はいずれも底辺を接地線と仮定して設定されたものである。
【００７８】
次に、特徴変換画像Ｒ上の処理領域に対応する特徴変換画像Ｌ上及び特徴変換画像Ｐ上の領域を設定する。
【００７９】
特徴変換画像Ｒ上の対応する処理領域は、特徴変換画像Ｌ上の処理領域の下端を画像変換Ｔの逆変換Ｔ−１によって変換したものを底辺とする同じ大きさの領域である。例えば、図４の領域４２１、領域４２２、領域４２３などである。ここで、逆変換Ｔ−１は接地線（処理領域の最下部の画像ライン）における、ステレオカメラによって生じる視差を相殺する変換となっている。
【００８０】
特徴変換画像Ｐ上の処理領域は特徴変換画像Ｒの領域と画像上の座標が同一となる領域に設定する。例えば、図４の領域４３１、領域４３２、領域４３３などである。
【００８１】
上記で例示した処理領域の対応関係は、領域４１１（特徴変換画像Ｒ）と領域４２１（特徴変換画像Ｌ）と領域４３１（特徴変換画像Ｐ）とが対応し、領域４１２（特徴変換画像Ｒ）と領域４２２（特徴変換画像Ｌ）と領域４３２（特徴変換画像Ｐ）とが対応し、領域４１３（特徴変換画像Ｒ）と領域４２３（特徴変換画像Ｌ）と領域４３３（特徴変換画像Ｐ）とが対応するようになっている。
【００８２】
これらの設定した領域に対し、特徴変換画像Ｒ−特徴変換画像Ｌ間、特徴変換画像Ｒ−特徴変換画像Ｐ間のそれぞれについて類似度を計算する。類似度の計算にはＳＡＤあるいはＳＳＤを用いる。ＳＡＤの場合は、
【００８３】
【数５】
2004117078.tif 000007
であり、ＳＳＤの場合は、
【００８４】
【数６】
2004117078.tif 000008
を用いる。
【００８５】
ＳＤは特徴変換画像Ｒ−特徴変換画像Ｌ間のＳＡＤ値またはＳＳＤ値で、ＳＰは特徴変換画像Ｒ−特徴変換画像Ｐ間のＳＡＤ値またはＳＳＤ値で、ＩＲ、ＩＬ、ＩＰはそれぞれ特徴変換画像Ｒ、特徴変換画像Ｌ、特徴変換画像Ｐの画素値であり、ＮＤ、ＮＰは類似度Ｄ及び類似度Ｐの計算のために設定した処理領域の有効な画素数である。
【００８６】
尚、ＳＡＤ値またはＳＳＤ値は値が小さいほど類似度が高く、値が大きいほど類似度が低いことになるため、何らかの変換が必要となる。そこで、本実施形態ではＳＡＤ値やＳＳＤ値の符号を反転させたものを類似度Ｄ、類似度Ｐとして用いる。
【００８７】
類似度Ｄ、類似度Ｐは、特徴変換画像Ｒ内でｙ座標値を変えながら設定した複数の処理領域毎に求められるので、以下、類似度Ｄ（ｙ）、類似度Ｐ（ｙ）のように記述する。
【００８８】
（障害物判定部１０９）障害物判定部１０９では、類似度計算部１０８で求めた類似度Ｄ（ｙ）と類似度Ｐ（ｙ）とを用いて、次式で表される差Ｋ（ｙ）を用いて障害物の検出を行う。
【００８９】
【数７】
2004117078.tif 000009
【００９０】
障害物の検出は、例えば差Ｋ（ｙ）が最大になる位置を検出することで行う。ただし、単純に差Ｋ（ｙ）の最大値探索をすると障害物がない場合にも関わらず誤検出する可能性があるので、所定の閾値以上の値を持った最大値を探索すると良い。
【００９１】
障害物判定部１０９で求めた障害物の位置は、使用しているカメラの特性から実際の距離情報等に変換するなどして、例えば自動車の自動操縦装置や自動車の安全装置の制御情報として用いる。
【００９２】
尚、障害物を複数検出するように構成する場合は、最大値の代わりに所定の閾値以上の極大値を持つ位置を探索すれば良い。
【００９３】
（具体例）以下、図７を用いて路面に映り込みがある場合の障害物検出処理について説明する。
【００９４】
ここで用いる例は、道路前方に障害物７０１があり、そして、道路の前方手前（自車両の近く）には路面上のパターンの一例である停止線７０５がある。今、道路が濡れている為に障害物７０１が道路面に映り込んで、映り込み７０３が生じている。
【００９５】
尚、映り込みが弱い場合は特徴変換によって影響が無視できる程度になるので、ここではある程度強い映り込みが生じていることを前提とする。
【００９６】
前述したように、特徴変換画像Ｒに処理領域をｙ座標を変えながら設定していく。ここでは説明を簡単にするために、障害物７０１の道路面との接地線、映り込み７０３の最も手前側の線、停止線７０５の手前側の線の３箇所だけを考え、それぞれを処理領域７０２、７０４、７０６とする。
【００９７】
次に処理領域７０２、７０４、７０６それぞれの底辺の両端に対して逆変換Ｔ−１を施して得られる座標を用いて、特徴変換画像Ｌにおいても処理領域を設定する。このように設定したものが処理領域７１２、７１４、７１６である。
【００９８】
さらに、特徴変換画像Ｐにおいて、特徴変換画像Ｌにおける処理領域７０２、７０４、７０６と同じ位置に処理領域を設定する。このように設定したものが処理領域７２２、７２４、７２６である。
【００９９】
以上の処理領域についてｙ座標ごとに対応関係をまとめると、処理領域７０２、７１２、７２２が対応し、処理領域７０４、７１４、７２４が対応し、処理領域７０６、７１６、７２６が対応する。
【０１００】
以上の処理領域を用いて、ｙ座標ごとに類似度Ｄ及び類似度Ｐを求める。尚、ここの説明では実際に類似度を計算せずに定性的に説明する。
【０１０１】
まず障害物７０１の接地線に対応する処理領域について求める。処理領域７０２と処理領域７１２とについて考える。処理領域７１２は処理領域７０２の底辺に逆変換Ｔ−１で座標変換を行って、処理領域７０２と同等の高さと幅を持つ領域を設定したものである。
【０１０２】
前述したように逆変換Ｔ−１は道路面における視差を相殺する変換である。従って、処理領域７０２の底辺に対する障害物７０１の接地線の相対的な位置関係は座標変換後も保存される。よって、処理領域７１２と処理領域７０２とでは、障害物７０１はどちらの処理領域内でも同じ位置になる。従って、これらの間の類似度を計算すれば高くなるので、障害物７０１の接地線の位置での類似度Ｄは高い。
【０１０３】
一方、処理領域７０２と処理領域７２２とでは、接地線の位置は処理領域内で同じ位置になるが、処理領域７２２の障害物は変換Ｔで歪んでいるため、処理領域７０２と処理領域７２２との間で類似度を計算すると低い値になる。よって、障害物７０１の接地線の位置での類似度Ｐは低い。
【０１０４】
よって、類似度Ｄと類似度Ｐとの差Ｋは、障害物の接地線位置では正に大きな値になる。
【０１０５】
次に、映り込み７０３の最も手前側の線に対応する処理領域について求める。処理領域７０４と処理領域７１４とについて考える。処理領域７１４は処理領域７０４の底辺に逆変換Ｔ−１を行って座標変換を行って、処理領域７０４と同等の高さと幅を持つ領域を設定したものである。
【０１０６】
映り込み７０３の最も手前側の線は負の高さを持った物体に見える。そのため、映り込み７０３の最も手前側の線は、前述の障害物７０１の接地線とは異なり路面上にはない。従って、処理領域７０４の底辺に逆変換Ｔ−１で座標変換を行った場合、処理領域７０４の底辺に対する映り込み７０３の最も手前側の線の相対的な位置関係は座標変換後は保存されない。よって、処理領域７０４と処理領域７１４とでは、映り込みの位置が異なっている。従って、これらの間の類似度は低くなるので、類似度Ｄは低い。
【０１０７】
一方、処理領域７２４における映り込みは画像変換によって歪んでいるため、処理領域７０４と処理領域７２４との間の類似度は低い値になる。すなわち、類似度Ｐも低い。
【０１０８】
よって、類似度Ｄと類似度Ｐとの差Ｋは、映り込み７０３の最も手前側の線では正に小さな値若しくは負の値になる。
【０１０９】
最後に、停止線７０５の手前側の線に対応する処理領域について求める。処理領域７０６と処理領域７１６とについて考える。停止線７０５（の手前側の線）は路面上のパターンであるので、逆変換Ｔ−１によって、処理領域７０６の底辺との相対的な位置関係は保存される。よって、処理領域７０６と処理領域７１６との類似度は高くなり、類似度Ｄは高い値となる。
【０１１０】
一方、処理領域７０６と処理領域７２６についても同様で、停止線７０５が路面上のパターンであるので変換Ｔによっては歪まない。よって、処理領域７０６と処理領域７２６との類似度は高くなり、類似度Ｐは高い値となる。
【０１１１】
よって、類似度Ｄと類似度Ｐとの差Ｋは、停止線７０５の手前側の線では小さな値若しくは負の値になる。
【０１１２】
以上より、類似度Ｄと類似度Ｐの差Ｋを用いることにより、映り込みに強い障害物検出であることが分かる。
【０１１３】
（本実施形態の利点）本実施形態では、類似度の計算に原画像を使わず特徴変換画像を用いている。原画像を用いて類似度計算を行う場合、後述する理由により類似度として演算量が多く低速な正規化相関と呼ばれる手法を用いる必要がある。
【０１１４】
しかし、特徴変換画像を用いることにより、演算量が少なく高速なＳＡＤやＳＳＤを用いることが可能となるのである。
【０１１５】
ＳＡＤやＳＳＤは計算が高速である反面、画像上の障害物や障害物とその背景（路面）のコントラストが低い場合に、後述の障害物判定部において障害物と非障害物の判定が正しく行えないことが多い。原画像を使った場合、ＳＡＤやＳＳＤではコントラストが不足しているために適用が極めて困難である。
【０１１６】
画像上の障害物内の領域内のテクスチャのコントラストや、周辺環境−障害物間のコントラストが低い場合、類似度はその計算に用いる処理領域内の緩やかな輝度変動が反映されることになる。
【０１１７】
しかし、ステレオカメラは異なる位置に固定された２つの異なるカメラであって、障害物または道路面表面の表面特性（反射特性）により、空間的に同一の物体であったとしても、画像上では同一の特性の画像として撮像されるとは限らないためである。
【０１１８】
また２つのカメラが同一の構成のカメラであったとしてもその撮像特性は厳密には一致しないのも、異なる特性の画像として撮像される原因の一つである。
【０１１９】
従って、画像間の特性の違いが雑音成分となり、障害物または道路面のテクスチャのコントラストがこの雑音に近いかまたは小さい場合には、後述の障害物判定部で正しく障害物と非障害物の判別ができなくなってしまうのである。
【０１２０】
本発明では、画像特徴変換部１０６で各画像の特徴を変換することによって画像上の緩やかな変動成分を除去し、撮像条件の違いによる変動成分を相対的に小さくして障害物判定部で正しく障害物と非障害物の判定ができるようにしている。
【０１２１】
また、図４の領域４１１内のように処理領域内に障害物表面と道路面が混在した場合に、特徴変換として飽和ＨＰＦを使うことが特に有効である。
【０１２２】
通常、道路面上にはレーンマークや「止」や速度制限表示等の非常にコントラストの高いパターンが頻繁に現れる。類似度の計算の際にこのようなコントラストの高いパターンが処理領域内に一部でも混在した場合、障害物表面のテクスチャや障害物と背景（典型的には道路面）との間に十分なコントラストが無ければ、障害物表面が処理領域の殆どを占めているにもかかわらず、計算される類似度はコントラストの高いパターンに支配されることになる。その結果、類似度Ｄは高い値になり、類似度Ｐは低い値となって、障害物が存在するにも関わらず障害物判定部において正しく障害物を検出できないことがあった。
【０１２３】
ところが、本実施形態のように類似度計算に特徴変換画像を用いた場合、障害物表面のテクスチャや障害物と背景との境界が強調される反面、道路面上の強コントラストのパターンは強調されるが飽和処理によってある一定以上には強調されることは無い。そのため、相対的に障害物表面のテクスチャまたは障害物と背景の境界が支配的になり、レーンマークなどのパターンが混在している場合においても障害物判定部１０９において正しく障害物を検出できる。
【０１２４】
以上、本実施形態によれば、ステレオカメラ画像（画像Ｌ、画像Ｒ）と、ステレオカメラで得られる画像の道路領域間の画素を対応付けるような変換によって変換された画像（画像Ｐ）とを用い、さらに特徴変換によってエッジを抽出・強調し、特徴変換したステレオカメラ画像間、特徴変換したステレオカメラ画像−特徴変換した変換画像間の各々の対応領域間の類似度を求めて、その差を解析することにより、コントラストの低い画像においても高速かつ安定的に路面上の障害物を検出できる。
【０１２５】
（変形例１）図５に本実施形態の変形例を示す。
【０１２６】
これまで説明した実施形態では、画像Ｌ、画像Ｒ、画像Ｐの３画像について各々画像特徴の特徴変換を行なっていた。これ対し、本変形例では画像Ｌ、画像Ｒについてのみ画像特徴の変換を行って特徴変換画像Ｌおよび特徴変換画像Ｒを生成し、画像変換部で特徴変換画像Ｌを変換して特徴変換画像Ｐを生成することを特徴としている。
【０１２７】
図５はこのような順番で処理を行うための構成であり、このような構成をとることができれば、画像特徴変換に関わる演算量を減らすことができ処理の高速化に役立つ。
【０１２８】
しかし、一般に２つの変換は交換法則が成り立たない限りは適用順番を変えると異なる結果が生じるので、特徴変換と画像変換Ｔとの処理順番を変えることができるかという問題が生じる。
【０１２９】
画像変換Ｔは画像Ｌ上の道路面領域を画像Ｒ上の道路面領域に画素単位で対応付ける変換であるので、道路面上に任意のパターンが存在した時に、特徴変換画像Ｌに画像変換Ｔを適用して得られた特徴変換画像Ｐが、特徴変換画像Ｒと道路領域内で十分良く類似しているのであれば画像変換Ｔと特徴変換との順番を入れ替えても問題は生じない。
【０１３０】
そもそも本発明のようなステレオカメラの構成、つまりほぼ光軸平行で回転が無く、道路環境で用いる場合には、画像変換部で用いられる画像変換Ｔは画像Ｌの各水平ラインをｘ軸方向に平行移動するような変換と見倣すことができる。すなわち図６で水平ライン６０１がｘ軸方向に平行移動して水平ライン６０２の位置に移動したという変換と見做すことができる。
【０１３１】
従って、画像特徴変換部３において行なう画像特徴が、水平方向の一次元ＨＰＦ（または飽和ＨＰＦ）のような、ｙ軸方向に関して独立な特徴変換もしくは、十分独立と見倣せるような特徴変換であれば、特徴変換画像Ｌに画像変換Ｔを適用して得られた特徴変換画像Ｐが特徴変換画像Ｒと道路領域内で十分良く一致するという仮定が成り立つ。
【０１３２】
以上、本変形例によれば、ステレオカメラ画像（画像Ｌ、画像Ｒ）に対して特徴変換を行ってエッジを抽出・強調してから、ステレオカメラ画像の道路領域間の画素を対応付ける変換を行うので、演算量を減らすことができ、路面上の障害物をより高速に検出できる。
【０１３３】
（変形例２）類似度計算部１０８において、画像Ｌ、画像Ｒ、画像Ｐそれぞれについて１つ以上の異なる縮小率の縮小画像を生成し、処理領域の高さ、幅、面積等に応じて使用する画像の縮小率を選択し、選択した縮小率の画像（縮小画像若しくは元の画像）の対応領域で類似度Ｄ及び類似度Ｐを求めても良い。
【０１３４】
このような処理を行うことにより、処理領域が大きくなる場合であっても演算量を抑制することができる。
【０１３５】
（変形例３）障害物判定部１０９では、数７に対して閾値処理をして障害物を検出し位置を決定していた。しかし、図４に示したように数７は一般的に障害物位置を中心にして広がりを持つ。そこで
【０１３６】
【数８】
2004117078.tif 000010
を満たすときには障害物がないとして閾値処理を行い、それ以外のＫ（ｙ）に対し、
【０１３７】
【数９】
2004117078.tif 000011
を最小とするｙ０を求め、ｙ０を障害物位置としても良い。ただし、αは０より大きく１以下の定数とする。
【０１３８】
（変形例４）類似度計算部１０８では、設定した処理領域に対して類似度Ｄ（ｙ）及び類似度Ｐ（ｙ）を求めていた。
【０１３９】
これに代えて、特徴変換画像Ｌまたは特徴変換画像Ｐ上の処理領域を、特徴変換画像Ｒ上で設定した処理領域に対応する特徴変換画像Ｌまたは特徴変換画像Ｐ上の位置の周辺を移動させながら、特徴変換画像Ｒで設定した処理領域との間で類似度を計算する。そして、その最大値を類似度Ｄ（ｙ）または類似度Ｐ（ｙ）として出力するようにしても良い。
【０１４０】
このようにすれば、自車両の揺れや道路面の傾き等の影響によって画像変換の変換誤差がある場合でも精度良く障害物検出を行うことができる。
【０１４１】
（変形例５）類似度計算部１０８では、特徴変換画像Ｒ上の１つのｙ座標値について１つの処理領域を設定して類似度Ｄ（ｙ）と類似度Ｐ（ｙ）とを計算していた。そして、障害物判定部１０９では、１つのｙ座標値について１つずつ求められた類似度Ｄ（ｙ）と類似度Ｐ（ｙ）とを用いて障害物の位置を検出していた。
【０１４２】
これに代えて、類似度計算部１０８において処理領域の水平位置、幅、高さを決定する関数を２種類以上用意しておく。そして、各関数で求めた値に従って設定された処理領域毎に類似度Ｄ（ｙ）、類似度Ｐ（ｙ）を求める。すなわち、類似度Ｄ（ｙ）、類似度Ｐ（ｙ）は関数の種類と同じ数求まる。
【０１４３】
そして、障害物判定部１０９は、複数の類似度毎に障害物位置を検出する。
【０１４４】
この時、障害物判定部１０９は最も自車両に近い障害物を選択してその位置を出力しても、あるいは複数の障害物の位置を出力しても良い。どちらにするかは、出力された障害物の位置情報を利用する装置の形態、目的に応じて選択すればよい。
【０１４５】
（変形例６）類似度計算部１０８では、特徴変換画像Ｒ上で設定する処理領域を矩形としたが、特徴変換画像Ｒ、特徴変換画像Ｌ、特徴変換画像Ｐの全てで同じ形状であれば、処理領域の形状は任意のもので良い。処理領域の形状の違いによって本発明の本質は変わるものではない。
【０１４６】
（変形例７）これまでに説明した実施形態では、カメラ１０１、カメラ１０２の左右の２つのカメラを用いて画像を取得するとした。しかし、第３のカメラを自車両に設置して、カメラ１０１とカメラ１０２とに行ったのと同様な処理を第３のカメラで得られる画像に対して行って障害物を検出しても良い。
【０１４７】
この時、少なくとも２つの障害物位置を得ることが可能になるが、変形例５と同様で最も自車両に近い障害物を選択してその位置を出力しても、あるいは、複数の障害物の位置を出力しても良い。
【０１４８】
尚、第３のカメラは、カメラ１０１とカメラ１０２との関係と同様で、少なくともカメラ１０１若しくはカメラ１０２の一方と光軸が平行で回転が無いように設置することを条件とする。ただし、画像補正で平行若しくは回転が無いのと同等な効果が得られる限度において、この条件から外れていても良い。
【０１４９】
【発明の効果】
以上、本発明によれば、ステレオカメラ画像とステレオカメラ画像の道路領域間の画素を対応付けるような変換によって変換された画像とを用い、それらの各画像の画像特徴を変換してから類似度計算を行って障害物検出を行うので、高速で精度良く路面上の障害物を検出できる。
【図面の簡単な説明】
【図１】本発明の一実施形態の障害物検出装置の構成を説明する図。
【図２】障害物検出装置を用いるシーン及び画像変換Ｔの説明を行う図。
【図３】ステレオ画像及び変換画像を説明する図。
【図４】類似度計算の処理領域設定について説明する図。
【図５】本発明の一実施形態の変形例の障害物検出装置の構成を説明する図。
【図６】本発明の一実施形態の変形例で用いる画像変換の性質を説明する図。
【図７】本発明の一実施形態の障害物検出装置における障害物検出処理の一例を説明する図。
【符号の説明】
１０１、１０２　カメラ
１０３、５０１　画像記憶部Ｌ
１０４、５０２　画像記憶部Ｒ
１０５、５０４　画像変換部
１０６、５０３　画像特徴変換部
１０７、５０５　レーン検出部
１０８、５０６　類似度計算部
１０９、５０７　障害物判定部
【図１】
2004117078.tif 000012
【図２】
2004117078.tif 000013
【図３】
2004117078.tif 000014
【図４】
2004117078.tif 000015
【図５】
2004117078.tif 000016
【図６】
2004117078.tif 000017
【図７】
2004117078.tif 000018