(57)【特許請求の範囲】
【請求項１】
撮像点の異なる少なくとも２画像を入力し、蓄積する画像入力手段と、
（１）前記画像入力手段が蓄積した複数の画像のうち一の画像を基準画像と設定し、（２）他の画像を参照画像と設定し、（３）３次元空間中のある面上を、前記基準画像の撮像点に対して相対的に静止、または、運動する物体について、前記物体の動きの無限遠点に対応した前記基準画像上の投影点Ｕの位置（ｕ０，ｖ０）を抽出する特徴抽出手段と、
前記基準画像上の任意の点Ｐが前記面上にあると仮定した場合の前記参照画像上の対応点Ｐ’を算出し、これら点Ｐと点Ｐ’の輝度差から前記面上に存在しない点が含まれる障害領域を検出する検出手段と、
前記検出手段により検出した前記障害領域と前記面との境界線上の点に関して、時刻ｔの前記基準画像上の位置（ｕ，ｖ）と、時刻（ｔ−ｄｔ）の前記基準画像上の位置（ｕ’，ｖ’）と、前記特徴抽出手段により抽出した前記投影点Ｕの位置（ｕ０，ｖ０）とに基づいて、前記障害領域が前記基準画像の撮像点と一致するまでの衝突時間ｔｃを計算する衝突時間計算手段とを有し、
前記衝突時間計算手段は、γ＝（ｖ−ｖ０）／（ｖ’−ｖ０）とｔｃ＝ｄｔ／（γ−１）とから衝突時間ｔｃを求める
ことを特徴とする障害物検出装置。
【請求項２】
前記特徴抽出手段が、
前記物体の動きの方向に一致する複数の線を、前記基準画像から抽出し、
それら抽出した複数の線の交点を前記投影点Ｕとする
ことを特徴とする請求項１記載の障害物検出装置。
【請求項３】
前記複数の画像の撮像点に対応する３次元空間上の互いの位置、前記画像を撮影するカメラの姿勢、前記各画像を撮影する各カメラの焦点距離、及び、画像中心が未知である
ことを特徴とする請求項１記載の障害物検出装置。
【請求項４】
前記検出手段は、
前記基準画像上の任意の点Ｐが前記面上にあると仮定した場合の前記参照画像上の対応点Ｐ’を算出し、
前記点Ｐと点Ｐ’の周囲の輝度の類似度が閾値より小さいときに前記面上に存在しない点を検出する
ことを特徴とする請求項１記載の障害物検出装置。
【請求項５】
撮像点の異なる少なくとも２画像を入力し、蓄積する画像入力ステップと、
（１）前記画像入力ステップが蓄積した複数の画像のうち一の画像を基準画像と設定し、（２）他の画像を参照画像と設定し、（３）３次元空間中のある面上を、前記基準画像の撮像点に対して相対的に静止、または、運動する物体について、前記物体の動きの無限遠点に対応した前記基準画像上の投影点Ｕの位置（ｕ０，ｖ０）を抽出する特徴抽出ステップと、
前記基準画像上の任意の点Ｐが前記面上にあると仮定した場合の前記参照画像上の対応点Ｐ’を算出し、これら点Ｐと点Ｐ’の輝度差から前記面上に存在しない点が含まれる障害領域を検出する検出ステップと、
前記検出ステップにより検出した前記障害領域と前記面との境界線上の点に関して、時刻ｔの前記基準画像上の位置（ｕ，ｖ）と、時刻（ｔ−ｄｔ）の前記基準画像上の位置（ｕ’，ｖ’）と、前記特徴抽出ステップにより抽出した前記投影点Ｕの位置（ｕ０，ｖ０）とに基づいて、前記障害領域が前記基準画像の撮像点と一致するまでの衝突時間ｔｃを計算する衝突時間計算ステップとを有し、
前記衝突時間計算ステップは、γ＝（ｖ−ｖ０）／（ｖ’−ｖ０）とｔｃ＝ｄｔ／（γ−１）とから衝突時間ｔｃを求める
ことを特徴とする障害物検出方法。
【請求項６】
撮像点の異なる少なくとも２画像を入力し、蓄積する画像入力機能と、
（１）前記画像入力機能が蓄積した複数の画像のうち一の画像を基準画像と設定し、（２）他の画像を参照画像と設定し、（３）３次元空間中のある面上を、前記基準画像の撮像点に対して相対的に静止、または、運動する物体について、前記物体の動きの無限遠点に対応した前記基準画像上の投影点Ｕの位置（ｕ０，ｖ０）を抽出する特徴抽出機能と、
前記基準画像上の任意の点Ｐが前記面上にあると仮定した場合の前記参照画像上の対応点Ｐ’を算出し、これら点Ｐと点Ｐ’の輝度差から前記面上に存在しない点が含まれる障害領域を検出する検出機能と、
前記検出機能により検出した前記障害領域と前記面との境界線上の点に関して、時刻ｔの前記基準画像上の位置（ｕ，ｖ）と、時刻（ｔ−ｄｔ）の前記基準画像上の位置（ｕ’，ｖ’）と、前記特徴抽出機能により抽出した前記投影点Ｕの位置（ｕ０，ｖ０）とに基づいて、前記障害領域が前記基準画像の撮像点と一致するまでの衝突時間ｔｃを計算する衝突時間計算機能とを実現し、
前記衝突時間計算機能は、γ＝（ｖ−ｖ０）／（ｖ’−ｖ０）とｔｃ＝ｄｔ／（γ−１）とから衝突時間ｔｃを求める
プログラムを記録した障害物検出方法の記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば、自動車の安全運転を支援するために、車載カメラにより、先行車や歩行者、駐車車両等、道路上に存在する障害物を検出する障害物検出装置、その方法及び記録媒体に関する。
【０００２】
【従来の技術】
車に搭載したセンサを用いて、歩行者、他の歩行車両、駐車車両等の道路上の障害物を検知するための技術は、交通事故を防止する上で極めて重要な技術である。
【０００３】
この車載センサによる障害物検知技術は、レーザや超音波等を利用するものと、ＴＶカメラを利用するものに大別される。
【０００４】
レーザを利用するものは高価であり、超音波を利用するものは超音波の解像度が低いため、障害物の検出精度に問題がある。
【０００５】
これに対し、ＴＶカメラは比較的安価であり、解像度や計測精度、計測範囲の面からも障害物検出に適する。また、ＴＶカメラは走行レーンの検出も可能である。
【０００６】
このＴＶカメラを用いる場合、１台のカメラを使用する方法と複数台のカメラ（ステレオカメラ）を使用する方法がある。
【０００７】
１台のカメラを使用する方法は、そのカメラで撮影した１枚の画像から、輝度や色、あるいはテクスチャ（模様）等の情報を手がかりにして道路領域と障害物領域を分離する。
【０００８】
例えば、画像中で精度の低い中程度の輝度領域、つまり灰色の領域を道路領域として抽出したり、テクスチャの少ない領域を道路領域として抽出し、それ以外の領域を障害物領域とする。
【０００９】
しかし、道路と似た輝度、色、あるいはテクスチャを持つ障害物も数多く存在するため、この方法で一般の状況下において障害物領域と道路領域を切り分けるのは困難である。
【００１０】
これに対し、複数台のカメラを用いる方法は３次元情報を手がかりにして障害物を検出する。
【００１１】
複数台のカメラを用いて対象シーンの３次元情報を得る技術は、一般にステレオ視と呼ばれる。ステレオ視とは、例えば２つのカメラを左右に配置し、３次元空間中で同一である点を左右画像間で対応づけ、三角測量の要領で、その点の３次元位置を求めるものである。各カメラの道路平面からの高さや道路平面に対する傾き等を予め求めておくと、ステレオ視により、画像中の任意の点の道路平面からの高さが得られる。したがって、道路平面からの高さの有無により、障害物領域と道路領域を分離することができる。
【００１２】
前記の１台のカメラを用いる方式では、前述のように、道路と似た輝度や色、テクスチャを持つ領域を障害物として検出することは困難であるが、ステレオ視によれば、道路面からの高さを手がかりにして障害物を検出するため、より一般的なシーンでの障害物検出が可能である。
【００１３】
しかし、通常のステレオ視は、画像上の任意の点のステレオカメラからの距離を求める技術であり、このためには、予め複数のカメラの間隔や向き、及びカメラレンズの焦点距離、画像中心等に関するパラメータ（カメラパラメータ）を求める必要がある。これらのパラメータを求める作業をキャリブレーション（カメラキャリブレーション）と呼ぶ。
【００１４】
キャリブレーションは、３次元位置が既知なサンプル点を多数用意し、その画像への投影位置を求め、各サンプル点の３次元位置と投影位置の間に成り立つ関係式を連立させてカメラパラメータを算出する作業である。
【００１５】
しかし、このキャリブレーションは多大な時間と労力を必要とし、ステレオ視による障害物検出の実用化を妨げる原因の１つとなっている。
【００１６】
また、通常のステレオ視は、３次元空間中で同一である点を左右画像間で対応づける必要がある。
【００１７】
この対応づけ処理は図１に示すように行われる。左画面上のある点の右画像上の対応点は、同図に示すエピポーララインと呼ばれる線上にある。
【００１８】
例えば、２台のカメラを平行に配置した場合には、エピポーララインは走査線に一致する。このエピポーラライン上で最も周囲の輝度のパターンが似ている点を対応点とする。
【００１９】
しかし、基本的にこの対応づけは探索計算により行われるため、計算コストが極めて高いという問題がある。
【００２０】
【発明が解決しようとする課題】
上記のように、障害物検出装置は、レーザや超音波を用いるものとＴＶカメラを用いるものに大別できるが、レーザや超音波を利用する障害物検出装置は高価であったり、計測精度が低いという問題があった。
【００２１】
また、ＴＶカメラを利用する障害物検出装置は、使用環境が限定されていたり、多大な時間と労力を必要とするキャリブレーションや、計算コストが高い左右画像の対応探索が必要であるという問題があった。
【００２２】
そこで、本発明は上記事情を鑑みてなされたもので、一般環境において、比較的低価格で高精度な障害物検出が可能なステレオカメラを使用し、従来のステレオ視の問題であったキャリブレーションと対応探索処理を行うことなく、道路平面上に存在する障害物を高速に検出し、さらに、障害物の画像上の動きから、障害物が自車に衝突するまでの時間を計測する障害物検出装置、その方法及び記録媒体を提供する。
【００２３】
【課題を解決するための手段】
本発明は、撮像点の異なる少なくとも２画像を入力し、蓄積する画像入力手段と、（１）前記画像入力手段が蓄積した複数の画像のうち一の画像を基準画像と設定し、（２）他の画像を参照画像と設定し、（３）３次元空間中のある面上を、前記基準画像の撮像点に対して相対的に静止、または、運動する物体について、前記物体の動きの無限遠点に対応した前記基準画像上の投影点Ｕの位置（ｕ０，ｖ０）を抽出する特徴抽出手段と、
前記基準画像上の任意の点Ｐが前記面上にあると仮定した場合の前記参照画像上の対応点Ｐ’を算出し、これら点Ｐと点Ｐ’の輝度差から前記面上に存在しない点が含まれる障害領域を検出する検出手段と、前記検出手段により検出した前記障害領域と前記面との境界線上の点に関して、時刻ｔの前記基準画像上の位置（ｕ，ｖ）と、時刻（ｔ−ｄｔ）の前記基準画像上の位置（ｕ’，ｖ’）と、前記特徴抽出手段により抽出した前記投影点Ｕの位置（ｕ０，ｖ０）とに基づいて、前記障害領域が前記基準画像の撮像点と一致するまでの衝突時間ｔｃを計算する衝突時間計算手段とを有し、前記衝突時間計算手段は、γ＝（ｖ−ｖ０）／（ｖ’−ｖ０）とｔｃ＝ｄｔ／（γ−１）とから衝突時間ｔｃを求めることを特徴とする障害物検出装置である。
【００３０】
本発明であると複数台のカメラで取得した複数の画像を処理して、３次元空間中のある面からの高さの有無により障害物を検出するため、明るさの変動や影の影響を受けず、画像中から障害物を検出することができる。
【００３１】
また、従来のステレオ視の問題であった、多大な時間と労力を要するカメラキャリブレーションの作業と、計算コストの高い奥行き探索（対応探索）処理が不要なため、実用的効果は多大である。
【００３２】
【発明の実施の形態】
以下で本発明の実施例を図面に従い説明する。
【００３３】
本実施例は、図２に示すように車（以下では「自車」と呼ぶ）に左右２台のカメラを搭載し、そのステレオカメラで取得したステレオ画像を処理することにより、歩行者や先行車、駐車車両等、道路平面上に存在する障害物を検出し、さらに、その障害物が自車に衝突するまでの時間を計算する場合を想定している。
【００３４】
図３は、本実施例における障害物検出装置の概略構成を示すもので、ここでは画像入力部１、画像蓄積部２、特徴抽出部３、検出部４、衝突時間計算部５から構成している。
【００３５】
障害物検出装置では、互いの位置・姿勢や、レンズの焦点距離・画像中心等が未知な２台のカメラによりステレオ画像を取得し、静止時に予め求めておいた道路平面上の点の左右画像への投影位置の間に成り立つ関係を表した式（以下では「道路平面拘束式」と呼ぶ）を用いて、画像上の各点に対して道路平面からの高さの有無を判別し、障害物領域と道路領域を分離する。さらに、その障害物の画像上の軌跡から障害物が自車に衝突するまでの時間を計算する。
【００３６】
図４に自車座標系を示す。
【００３７】
自車座標系は、自車の進行（前後）方向をＹ軸方向とし、左右、上下方向を各々Ｘ，Ｚ軸、道路平面をＸＹ平面とする。本実施例では、自車と障害物は共に道路両端の２本の白線（直線ｌ，ｌ'）に沿って走行することを前提とする。
【００３８】
（画像入力部１）
画像入力部１は、左右２台のＴＶカメラを用いて２枚の画像を取得する。これら２台のカメラの自車座標系に対する位置や姿勢、各カメラのレンズの焦点距離や画像中心は未知であってよいが、本実施例では、各カメラは車に固定されており、走行中には変化しないものとする。
【００３９】
（画像蓄積部２）
画像蓄積部２は、画像入力部１により入力された２枚の画像を画像メモリに蓄積する。
【００４０】
（特徴抽出部３）
特徴抽出部３は、画像蓄積部２により蓄積された２枚のうちの片方の画像を基準画像とし（以下では左画像を基準画像とする）、その基準画像から図５に示すように、２本の直線ｌ１，ｌ２を検出する。
【００４１】
その交点（２直線上の無限遠点の画像への投影点、以下では「消失点」と呼ぶ）をｕ０＝（ｕ０，ｖ０）とする。この直線検出は例えば、エッジ抽出処理とHough変換等を用いて行う。
【００４２】
（検出部４）
検出部４は、道路平面上の点の左右画像への投影点間に成り立つ拘束（以下では「道路平面拘束」と呼ぶ）を用いて障害物を検出する。以下にこの道路平面拘束について説明する。
【００４３】
道路平面（ＸＹ平面）上の任意の点（Ｘ，Ｙ）の左右画像への投影点を各々（ｕ，ｖ），（ｕｒ，ｖｒ）とすると、
【数１】
0004106163.tif 000002
という関係式が成り立つ。
【００４４】
ｈ＝（ｈ１１，ｈ１２，……，ｔ３）Ｔ，ｈ'＝（ｈ'１１，ｈ'１２，……，ｔ'３）Ｔは各カメラの自車座標系に対する３次元位置と姿勢、各カメラに装着したレンズの焦点距離、画像中心に関するパラメータである。
【００４５】
式(1)，(2)からＸとＹを消去すると、
【数２】
0004106163.tif 000003
となる。
【００４６】
ただし、Ｈ＝（Ｈ１１，Ｈ１２，……Ｈ３３）Ｔはｈ，ｈ'で表される定数である。
【００４７】
この式により、左画像上の点（ｕ，ｖ）が道路面上の点であると仮定した時の右画像上の対応点を求めることができる。
【００４８】
言い換えると、左画像上の点（ｕ，ｖ）が道路平面上にあると仮定すると、その右画像上の対応点（ｕｒ，ｖｒ）は上式によって決まる。この式を道路平面拘束式と呼ぶ。
【００４９】
なお、この式のパラメータＨ＝（Ｈ１１，Ｈ１２，……Ｈ３３）Ｔは、静止時に予め求めておく。
【００５０】
以下にその方法について説明する。
【００５１】
まず、左画像から道路面上の特徴点（道路平面上に描かれた直線の交点や、ペイントの角点等）をＮ（≧４）個抽出する。
【００５２】
次に、抽出した各特徴点の右画像上の対応点を求める。なお、この特徴点抽出と対応づけ処理は、マウスで画像上の点をポインティングすることにより行ってもよい。これらのＮ組の対応関係は、各々、式(3)を満たすので、２Ｎ本の連立方程式を得る。
【００５３】
この連立方程式をＨについて解くことによりパラメータＨを求めることができる。
【００５４】
この道路平面拘束式を用いて障害物を検出する方法について以下に示す。
【００５５】
左画像の任意の点Ａ（ｕ，ｖ）の輝度をＩＬ（ｕ，ｖ）とし、点Ａが道路平面上に存在すると仮定した場合の右画像上の対応点Ａ'（ｕｒ，ｖｒ）を式(3)から求め、その輝度をＩＲ（ｕｒ，ｖｒ）とする。
【００５６】
点（ｕ，ｖ）が実際に道路平面上に存在すれば、点ＡとＡ'は正しい対応点の組（点ＡとＡ'が道路面上の同じ点の投影点）となるから、基本的には点Ａと点Ａ'の輝度が同じになる。したがって、
【数３】
0004106163.tif 000004
とおくとＤｉｆｆ＝０となる。
【００５７】
逆に、Ｄｉｆｆ＝０でなければ点Ａ（ｕ，ｖ）とＡ'（ｕｒ，ｖｒ）は正しい対応点の組ではないことになり、点（ｕ，ｖ）は道路平面上に存在しない点、つまり障害物上の点となる。
【００５８】
これら一連の処理を基準画像上の全ての点に対して行うと、障害物領域を検出することができる。
【００５９】
この際、障害物か否かの判定基準として、ある程度の誤差を考慮し、Ｄｉｆｆ＞Ｔｈｒとなる点は障害物領域に属すると判定してもよい。
【００６０】
ここで、Ｔｈｒは予め設定した閾値である。
【００６１】
例えば、図６上に示すステレオ画像から、同図下に示すような障害物領域が検出される。
【００６２】
（衝突時間計測部５）
衝突時間計測部５は、ステレオ画像のうちのどちらかの画像（これを基準画像と呼び、本実施例では、前記したように左画像を基準画像とする）上の障害物の軌跡（障害物の位置の時間変化）から、自車がその障害物に衝突するまでの時間（衝突時間）を計測する。
【００６３】
まず、衝突時間について説明する。
【００６４】
式(1)の分母をＤとおく。すなわち、
Ｄ＝ｈ３１Ｘ＋ｈ３２Ｙ＋ｔ３                 (5)
である。
【００６５】
Ｄは、図７に示すように、障害物の道路平面との接点Ｔ（Ｘ，Ｙ）と基準カメラの視点Ｃの光軸方向の距離、すなわち奥行きである。
【００６６】
時刻ｔ−ｄｔ，ｔにおける障害物の道路平面との接点Ｔ'，Ｔの奥行きを各々Ｄ'，Ｄとする。ここで、障害物が自車座標系に対して時刻ｔ−ｄｔ，ｔ間の運動を継続した場合に奥行きが０になるまでの時間を衝突時間ｔｃと定義する。
【００６７】
図８に奥行きの時間変化を示す。
【００６８】
現在の時刻ｔから奥行きが０になるまでの時間が衝突時間ｔｃなので、ｔｃは同図のように表される。斜線で示した２つの三角形の相似関係から、
【数４】
0004106163.tif 000005
ただし、γ＝Ｄ'／Ｄである。
【００６９】
つまり、異なる２時刻における奥行きの比γから衝突時間ｔｃを求めることができる。
【００７０】
以下に検出部４によって求めた各時刻の障害物領域の位置から、その衝突時間を計算する方法について説明する。
【００７１】
現在の時刻ｔとそれより前の時刻ｔ−ｄｔにおいて障害物領域が基準画像上で図９に示すように検出されたとし、時刻ｔにおいて検出された障害物領域の最下端の線（障害物領域と道路領域の境界線）上の任意の１点をｕ＝（ｕ，ｖ）とする。点ｕ＝（ｕ，ｖ）の時刻ｔ−ｄｔにおける位置ｕ'＝（ｕ'，ｖ'）は、点ｕ０，ｕを結ぶ直線と、時刻ｔ−ｄｔにおける障害物領域と道路領域の境界線の交点として求めることができる。
【００７２】
また、時刻ｔ−ｄｔ，ｔにおける障害物の道路平面上の位置を各々、Ｘ'＝（Ｘ，Ｙ＋ｄＹ），Ｘ＝（Ｘ，Ｙ）とする。
【００７３】
本実施例では、自車と障害物はＹ軸に沿って運動する（進行方向が一致する）と仮定しているので、各時刻の障害物の位置のＸ座標は同一となる。Ｘ'までの奥行きは、
【数５】
0004106163.tif 000006
ここで、Ｙ軸に平行な直線ｌ，ｌ'上の無限遠方の点の投影点がｕ０＝（ｕ０，ｖ０）であるから、式(1)でＹ→∞として、
【数６】
0004106163.tif 000007
このγを式(7)に代入することによって、障害物の衝突時間を計算することができる。
【００７４】
つまり、図９に示すように道路平面上を運動する障害物の衝突時間は、その障害物の道路平面との接点の時刻ｔ−ｄｔ，ｔにおける画像上の位置ｕ'，ｕと、直線ｌ，ｌ'の消失点ｕ０のみから計算でき、自車座標系に対するカメラの位置や姿勢に依存しない。
【００７５】
以上のようにして、車載のステレオカメラからカメラパラメータを用いずに、かつ、奥行き探索を行うことなく道路平面上の障害物を検出し、さらに、その障害物が自車に衝突するまでの時間を計算することができる。
【００７６】
（実施例の効果）
以上により、本実施例であると、ステレオカメラで取得したステレオ画像を処理して、道路平面からの高さの有無により障害物を検出するため、明るさの変動や影の影響を受けず、画像中から先行車や歩行者等の障害物を検出することができる。また、従来のステレオ視の問題であった、多大な時間と労力を要するカメラキャリブレーションの作業と、計算コストの高い奥行き探索（対応探索）処理が不要なため、実用的効果は多大である。
【００７７】
（変更例１）
本実施例は画像入力部１で、２台のＴＶカメラを左右に並べて２枚の画像を入力しているが、これらのカメラは上下に配置してもよい。
【００７８】
また、３台以上のカメラを配置してもよい。
【００７９】
（変更例２）
特徴抽出部３は、道路平面上の２本の線を抽出する場合について説明したが、３本以上の線を抽出してもよいし、方向ベクトルが同じであれば、道路平面上にない線、例えば、ガードレール上の線を抽出してもよい。
【００８０】
（変更例３）
検出部４はさらに図１０に示す構成をとることもできる。
【００８１】
ここでは、画像変換部４−１，差異計算部４−２から構成している。
【００８２】
画像変換部４−１は、右画像を以下の手順に従って画像変換する。一般に、画像は画像上の点（ｕ，ｖ）を変数とし、その各点に対して輝度値が定義された関数ｆ（ｕ，ｖ）として表現できる。以下では画像をこのように表現する。
【００８３】
図１１に示すようなステレオ画像が入力されたとし、右画像をｇ（ｕ，ｖ）、その変換後の画像をｇ'（ｕ，ｖ）を求める。以下のように、ｇ'（ｕ，ｖ）を求める。
【００８４】
【数７】
0004106163.tif 000008
ただし、（ｕｒ，ｖｒ）は、式(3)より求める。ｇ'（ｕ，ｖ）は、画像ｇ（ｕ，ｖ）上の全ての点が道路平面上に存在すると仮定した場合に、左カメラで得られる画像である。
【００８５】
例えば、図１２の右画像からは、同図に示すような変換画像を得る。
【００８６】
図１３に示すように、道路平面上にある点の投影点は、左画像と変換画像で同一となるのに対し、道路平面上にない点、すなわち、障害物（この場合は先行車両）上の点は、道路からの高さに応じて異なる位置に投影される。
【００８７】
したがって、この左画像と変換画像の差分を取ることにより、道路平面上の障害物を検出する。つまり、左画像をｆ（ｕ，ｖ）とすると、
【数８】
0004106163.tif 000009
として、Ｄｉｆｆ'＝０でなければ、あるいは誤差を考慮して、Ｄｉｆｆ'＞Ｔｈｒ（Ｔｈｒは予め設定した閾値）となる点（ｕ，ｖ）は障害物領域に属すると判定する。
【００８８】
（変更例４）
検出部４は画素間差分をとることによって２枚の画像の差異を検出したが、各点に対して（２ｗ＋１）×（２ｗ＋１）のウィンドウを設定し、ウィンドウ内の輝度値の平均や分散、正規化相互相関等から差異を検出してもよい。
【００８９】
２枚の画像Ｆ（ｕ，ｖ），Ｇ（ｕ，ｖ）の点（ｕ，ｖ）の正規化相互相関Ｃは以下の式から算出できる。
【００９０】
【数９】
0004106163.tif 000010
ここで、Ｎ＝（２ｗ＋１）×（２ｗ＋１），ａ１，ａ２は２枚の画像のウィンドウ内の輝度の平均、σ２１，σ２２は２枚の画像ウィンドウ内の輝度の分散であり、−１≦Ｃ≦１である。
【００９１】
この場合、Ｃ＜Ｔｈｒとなる点（ｕ，ｖ）が障害物領域に属すると判定する。ここで、Ｔｈｒ（≦１）は予め設定した閾値である。
【００９２】
（変更例５）
本実施例では道路両端の２本の白線を直線として抽出したが、道路がカーブしている場合には白線は曲線となる。
【００９３】
この場合には、白線を曲線として抽出すれば、同様に障害物を検出することができる。
【００９４】
（変更例６）
道路面として平面を仮定して説明したが、曲面の場合であっても、平面の場合と同様に障害物を検出することができる。
【００９５】
（変更例７）
自車と障害物に対し、車線に平行な運動を仮定したが、平行でない場合（例えば、車線変更する場合）にも適用可能である。
【００９６】
（変更例８）
本実施例は、車載カメラからの障害物検出に関して記述したが、例えば、移動ロボットの自律走行にも適用することが可能であり、本手法は車載カメラからの障害物検出に限定されるものではない。
【００９７】
（変更例９）
ステレオカメラを車の前方に設置し、前方の障害物を検出する場合について記述したが、車の側方や後方に設置して、各々の方向の障害物を検出することも可能である。
【００９８】
（変更例１０）
衝突時間計測部５は、計算した障害物に衝突するまでの時間が小さい場合には自車ドライバーに警報を発したり、衝突時間の大小に応じて音量や音質の異なる警報を発することも可能である。
【００９９】
（変更例１１）
車載ステレオカメラのカメラパラメータは走行中に変化しないものとしたが、変化する場合には道路平面拘束を更新すれば同様に障害物を検出し、その衝突時間を計算することができる。
【０１００】
その他、本発明の要旨を逸脱しない範囲で変形を実施できる。
【０１０１】
【発明の効果】
本発明であると複数台のカメラで取得した複数の画像を処理して、３次元空間中のある面からの高さの有無により障害物を検出するため、明るさの変動や影の影響を受けず、画像中から障害物を検出することができる。
【０１０２】
また、従来のステレオ視の問題であった、多大な時間と労力を要するカメラキャリブレーションの作業と、計算コストの高い奥行き探索（対応探索）処理が不要なため、実用的効果は多大である。
【図面の簡単な説明】
【図１】ステレオ視の対応探索を説明するための図である。
【図２】本実施例の自車の説明図である。
【図３】本実施例の障害物検出装置のブロック図である。
【図４】自車座標系を説明するための図である。
【図５】特徴抽出部３における直線抽出処理を説明するための図である。
【図６】検出部４における障害物検出処理を説明するための図である。
【図７】奥行きを説明するための図である。
【図８】衝突時間を説明するための図（その１）である。
【図９】衝突時間を説明するための図（その２）である。
【図１０】検出部４の変更例のブロック図である。
【図１１】ステレオ画像である。
【図１２】右画像とその変換画像を説明するための図である。
【図１３】左画像と右画像の変換画像を説明するための図である。
【符号の説明】
１    画像入力部
２    画像蓄積部
３    特徴抽出部
４    検出部
５    衝突時間計算部
【図１】
0004106163.tif 000011
【図２】
0004106163.tif 000012
【図３】
0004106163.tif 000013
【図４】
0004106163.tif 000014
【図５】
0004106163.tif 000015
【図６】
0004106163.tif 000016
【図７】
0004106163.tif 000017
【図８】
0004106163.tif 000018
【図９】
0004106163.tif 000019
【図１０】
0004106163.tif 000020
【図１１】
0004106163.tif 000021
【図１２】
0004106163.tif 000022
【図１３】
0004106163.tif 000023