(57)【特許請求の範囲】
【請求項１】
車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、
前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、
前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、
前記ウインドウ毎に前記白線候補線の前記道路白線に対する位置推定精度を判定する白線位置推定精度判断手段と、
前記位置推定精度が低いと判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、前記位置推定精度が低くないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、
を備えたことを特徴とする道路白線認識装置。
【請求項２】
車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、
前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、
前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、
前記ウインドウ毎に傾きの類似した複数の白線候補線が存在するか否かを判定する擬似白線存在判断手段と、
擬似白線が存在すると判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、擬似白線が存在しないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、
を備えたことを特徴とする道路白線認識装置。
【請求項３】
車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、
前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、
前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、
前記ウインドウ内の路面と自車両との遠近位置を判断するウインドウ位置判断手段と、
前記ウインドウ内の路面が自車両に対して遠方に位置すると判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、前記ウインドウ内の路面が自車両に対して遠方に位置しないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、前記自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、
を備えたことを特徴とする道路白線認識装置。
【請求項４】
請求項１ないし請求項３のいずれか１項記載の道路白線認識装置において、前記ウインドウ毎に画像を処理して白線候補点を抽出する白線候補点抽出手段を備え、前記白線候補線算出手段は前記白線候補点抽出手段によって抽出された白線候補点に基づいて白線候補線を算出するようにしたことを特徴とする道路白線認識装置。
【請求項５】
請求項１ないし請求項４のいずれか１項記載の道路白線認識装置において、各ウインドウで算出される白線候補線を直線に近似させたことを特徴とする道路白線認識装置。
【請求項６】
請求項５記載の道路白線認識装置において、各ウインドウで算出される白線候補線を直線に近似させ、白線候補点から白線候補線となる直線への近似にハフ変換を用いたことを特徴とする道路白線認識装置。
【請求項７】
請求項１ないし請求項６のいずれか１項記載の道路白線認識装置において、カルマンフィルタ処理により前記道路パラメータを推定できるように、擬似白線が存在すると判断されたウインドウに対しては、前記道路モデル式から自車両の横変位を消去した式を前記道路パラメータに関して線型近似し、擬似白線が存在しないと判断されたウインドウに対しては、前記道路モデル式を前記道路パラメータに関して線型近似したことを特徴とする道路白線認識装置。
【請求項８】
請求項１ないし請求項７のいずれか１項記載の道路白線認識装置において、
前記道路パラメータは、道路曲率、自車両の車線に対するヨー角、自車両のピッチ角、及び路面からの前記画像取得手段の高さを含むことを特徴とする道路白線認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば車両の自動操縦や予防安全運転などのために、車両の進行方向前方の道路を画像として取得して道路白線を認識し、この道路白線から道路形状を推定するようにした道路白線認識装置に関する。
【０００２】
【従来の技術】
この種の画像により道路白線を認識する従来の手法としては、特開平６−２０１８９号公報に開示される道路形状計測装置や特開平８−２６１７５６号公報に開示される走行レーン認識装置などがある。これらの技術はカメラで撮像した画像を適宜処理することにより道路形状を推定するようになっており、前者の特開平６−２０１８９号公報では、検出した道路形状と３次元曲線パラメータに基づいて座標変換した３次元道路モデルとを比較して、両者間の位置ずれから３次元曲線パラメータの変化量および撮像手段の姿勢パラメータの変化量を推定して道路形状を計測するようになっている。また、後者の特開平８−２６１７５６号公報では、画像における濃淡の勾配の大きさや方向に基づいて曲線を含むエッジ線分を抽出して、走行レーンが認識されるようになっている。
【０００３】
【発明が解決しようとする課題】
しかしながら、かかる従来の道路形状を推定する手法ではいずれも画像を用いたことにより、轍の水溜まり、ガイドレールや二重白線などを白線と誤認する恐れがある。即ち、これら白線と誤認する恐れのある要素、つまり擬似白線は、実際の道路白線に対してほぼ平行に配置される場合が多く、画像に取り込まれた際に２値化して白線と混同し、本来の道路形状の推定を失敗してしまう可能性がある。
【０００４】
例えば、図１６に道路１に形成された轍２が水溜まり状態となった場合を示したが、この場合は太陽光や外灯などの入射角によっては水溜まり（または水膜）の表面に反射した光が画像に取り込まれた際、これが画像上で輝度の高い線状部分として現れる。このため、この轍２の水溜まりによる高輝度線が道路白線３と誤認識されてしまうという問題点があった。
【０００５】
また、図１７に路肩に設置されるガイドレール５の影６が道路白線３に影響する場合を示し、この影６が道路白線３に差し掛かると、その部分の道路白線３の輝度が低下する一方、白色のガイドレール５を白線として誤認識する恐れがある。このようにガイドレール５を誤認識すると、影６が無い部分の道路白線３の検出点ｍ1とガイドレール５の擬似検出点ｍ2とを結ぶ誤った線Ｌが道路モデルとして推定されてしまうという問題点があった。
【０００６】
本発明は上記従来の問題点に鑑みて成されたもので、轍等の水たまりが光を反射して高輝度線を形成したり、ガイドレールの影が道路白線に差し掛かっても、水たまりやガイドレールを白線と誤認識することなく、本来の道路形状を精度良く推定することができる道路白線認識装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
請求項１記載の本発明は、上記目的を達成するため、車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、前記ウインドウ毎に前記白線候補線の前記道路白線に対する位置推定精度を判定する白線位置推定精度判断手段と、前記位置推定精度が低いと判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、前記位置精度が低くないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、を備えたことを要旨とする。
【０００８】
請求項２記載の本発明は、上記目的を達成するため、車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、前記ウインドウ毎に傾きの類似した複数の白線候補線が存在するか否かを判定する擬似白線存在判断手段と、擬似白線が存在すると判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、擬似白線が存在しないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、を備えたことを要旨とする。
【０００９】
請求項３記載の本発明は、上記目的を達成するため、車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、前記ウインドウ内の路面と自車両との遠近位置を判断するウインドウ位置判断手段と、前記ウインドウ内の路面が自車両に対して遠方に位置すると判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、前記ウインドウ内の路面が自車両に対して遠方に位置しないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、前記自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、を備えたことを要旨とする。
【００１０】
請求項４記載の本発明は、上記目的を達成するため、請求項１ないし請求項３のいずれか１項記載の道路白線認識装置において、前記ウインドウ毎に画像を処理して白線候補点を抽出する白線候補点抽出手段を備え、前記白線候補線算出手段は前記白線候補点抽出手段によって抽出された白線候補点に基づいて白線候補線を算出するようにしたことを要旨とする。
【００１１】
請求項５記載の本発明は、上記目的を達成するため、請求項１ないし請求項４のいずれか１項記載の道路白線認識装置において、各ウインドウで算出される白線候補線を直線に近似させたことを要旨とする。
【００１２】
請求項６記載の本発明は、上記目的を達成するため、請求項５記載の道路白線認識装置において、各ウインドウで算出される白線候補線を直線に近似させ、白線候補点から白線候補線となる直線への近似にハフ変換を用いたことを要旨とする。
【００１３】
請求項７記載の本発明は、上記目的を達成するため、請求項１ないし請求項６のいずれか１項記載の道路白線認識装置において、カルマンフィルタ処理により前記道路パラメータを推定できるように、擬似白線が存在すると判断されたウインドウに対しては、前記道路モデル式から自車両の横変位を消去した式を前記道路パラメータに関して線型近似し、擬似白線が存在しないと判断されたウインドウに対しては、前記道路モデル式を前記道路パラメータに関して線型近似したことを要旨とする。
【００１４】
請求項８記載の本発明は、上記目的を達成するため、請求項１ないし請求項７のいずれか１項記載の道路白線認識装置において、前記道路パラメータは、道路曲率、自車両の車線に対するヨー角、自車両のピッチ角、及び路面からの前記画像取得手段の高さを含むことを要旨とする。
【００１５】
【発明の効果】
請求項１記載の本発明によれば、車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、前記ウインドウ毎に前記白線候補線の前記道路白線に対する位置推定精度を判定する白線位置推定精度判断手段と、前記位置推定精度が低いと判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、前記位置推定精度が低くないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、を備えたので、白線位置推定精度が低いと判断したウインドウの白線候補線の画像座標を使用せずに道路パラメータを推定できるようになり、道路パラメータの推定精度を向上させることができるという効果がある。
【００１６】
請求項２記載の本発明によれば、車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、前記ウインドウ毎に傾きの類似した複数の白線候補線が存在するか否かを判定する擬似白線存在判断手段と、擬似白線が存在すると判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、擬似白線が存在しないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、を備えので、ウインドウの範囲内の画像に道路白線と紛らわしい、例えば轍に溜まった水の反射による高輝度領域や、ガイドレールの影によって低輝度となった白線に代わって高輝度領域となる白色ガイドレール等の本来の白線に略平行な擬似白線が含まれることがあっても、道路パラメータの推定精度を低下させることがないという効果がある。
【００１７】
請求項３記載の本発明によれば、車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、前記ウインドウ内の路面と自車両との遠近位置を判断するウインドウ位置判断手段と、前記ウインドウ内の路面が自車両に対して遠方に位置すると判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、前記ウインドウ内の路面が自車両に対して遠方に位置しないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、前記自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、を備えたので、ウインドウ内の道路白線の画像座標の精度が相対的に低い遠方のウインドウの白線候補線の画像座標を使用せずに道路パラメータを推定できるようになり、自車両の車線に対する横変位のパラメータの推定精度を高めることができるという効果がある。
【００１８】
請求項４記載の本発明によれば、請求項１ないし請求項３記載の発明の効果に加えて、前記ウインドウ毎に画像を処理して白線候補点を抽出する白線候補点抽出手段を備え、前記白線候補線算出手段は前記白線候補点抽出手段によって抽出された白線候補点に基づいて白線候補線を算出するようにしたので、白線候補線の算出を高速化することができるという効果がある。
【００１９】
請求項５記載の本発明によれば、請求項１ないし請求項４記載の発明の効果に加えて、各ウインドウで算出される白線候補線を直線に近似させたので、この白線候補線の位置計算が簡素化できるため、道路モデルの推定処理を高速化することができ、車両が高速走行する場合にも道路パラメータの高い推定精度を維持することができるという効果がある。
【００２０】
請求項６記載の本発明によれば、請求項５記載の発明の効果に加えて、各ウインドウで算出される白線候補線を直線に近似させ、白線候補点から白線候補線となる直線への近似にハフ変換を用いたので、このハフ変換により複数の白線候補線を取得した場合に、それら複数の白線候補線の画像上の傾きを再計算する必要がなくなるため、さらに処理の高速化を図ることができる。
【００２１】
請求項７記載の本発明によれば、請求項１ないし請求項６記載の発明の効果に加えて、カルマンフィルタ処理により前記道路パラメータを推定できるように、擬似白線が存在すると判断されたウインドウに対しては、前記道路モデル式から自車両の横変位を消去した式を前記道路パラメータに関して線型近似し、擬似白線が存在しないと判断されたウインドウに対しては、前記道路モデル式を前記道路パラメータに関して線型近似するようにしたので、操舵入力時の早い車両挙動への追従性を確保しつつ、路面ノイズ等による白線誤認識を少なくすることができるという効果がある。
【００２２】
請求項８記載の本発明によれば、請求項１ないし請求項７記載の発明の効果に加えて、前記道路パラメータは、道路曲率、自車両の車線に対するヨー角、自車両のピッチ角、及び路面からの前記画像取得手段の高さを含むようにしたので、少ない数のパラメータで比較的精度よく道路形状及びこの道路に対する車両姿勢をモデル化することができるという効果がある。
【００２３】
【発明の実施の形態】
以下、本発明の実施形態を添付図面を参照して詳細に説明する。
図２は、本発明に係る道路白線認識装置１０を搭載した車両１２の一実施形態を示す概略図である。図２において、車両前方の道路画像を取得する画像取得手段１４とこの画像取得手段１４で取得した画像信号（以下、単に画像という）を処理するプロセッサ１６とが車両１２に設置される。画像取得手段１４は高感度撮像が可能なＣＣＤカメラなどが好ましく、この画像取得手段（以下、カメラという）１４は室内天井１２ａの前方中央部に前方下方を指向して取り付けられ、フロントガラス１２ｂを通して車両１２前方の道路Ｒ画像を取得するようになっている。上記プロセッサ１６は車両１２の熱や風雨の影響のない適宜箇所に設置され、上記カメラ１４で取得した道路Ｒ画像から道路白線１８を認識して道路形状及びこの道路に対する車両姿勢を推定する制御が実行される。
【００２４】
図１は、本発明に係る道路白線認識装置１０の第１実施形態の基本的な構成を示す図である。同図において、道路白線認識装置１０は、車両に搭載した画像取得手段１４により取得した車両前方の道路画像を格納する画像メモリ１５と、画像メモリ１５に格納された道路画像に基づいて、道路パラメータを推定する例えばマイクロプロセッサを使用したプロセッサ１６とを備えている。
【００２５】
プロセッサ１６は、画像メモリ１５に格納された道路画像上にそれぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段１０１と、前記ウインドウ毎の画像を処理して白線候補点を抽出する白線候補点抽出手段１０２と、前記ウインドウ毎に抽出された白線候補点に基づいて白線の可能性が最も高い第１の白線候補線の画像座標及び傾きを算出する白線候補線算出手段１０３と、前記ウインドウ毎に第１の白線候補線に類似した第２の白線候補線が存在するか否か、すなわち擬似白線が存在するか否かを判定する擬似白線存在判断手段（白線位置推定精度判断手段）１０４と、各ウインドウに対して算出された第１の白線候補線の画像座標及び傾きと道路モデル式とを用いて、少なくとも自車両の車線に対する横変位を含む道路パラメータを推定する道路パラメータ推定手段１０５とを備え、これらの手段１０１〜１０５をプロセッサ１６のプログラム制御により実現している。
【００２６】
道路パラメータ推定手段１０５は、擬似白線が存在すると判断されたウインドウに対しては、第１の白線候補線の画像座標と傾きとを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、擬似白線が存在しないと判断されたウインドウに対しては、第１の白線候補線の画像座標を用いて、前記自車両の車線に対する横変位を含む前記道路パラメータを推定するものである。
【００２７】
道路パラメータ推定手段１０５は、道路モデル式として、次に示す式１を用いて道路形状及びこの道路に対する車両姿勢を推定する。
【００２８】
【数１】
0003733875.tif 000002
このような道路をモデル化した式１の導出過程は、社団法人自動車技術会の２０００年秋季大会（２０００年１０月１９日）において本願発明者らにより発表された「拡張カルマンフィルタを用いた車線追従制御の検討（20005494）」に詳述されている。
【００２９】
式１において、道路パラメータＡ，Ｂ，Ｃ，Ｄ，Ｈは、それぞれ、自車両の車線に対する横変位（Ａ）、道路曲率（Ｂ）、自車両の車線に対するヨー角（Ｃ）、自車両のピッチ角（Ｄ）、及び路面からの前記画像取得手段の高さ（Ｈ）である。
【００３０】
また、Ｅ0は車線幅（左右白線の内側間の距離）を示す定数，ｆはカメラ透視変換定数、ｊを左右の白線を区別するパラメータとし、左白線のときｊ＝０，右白線のときｊ＝１とする。また、（ｘ，ｙ）は、左または右白線内端上の任意の点の画像上の座標であり、画像左上を原点に取り、右方向がｘ軸正方向、下方向がｙ軸正方向とする。
【００３１】
尚、式１は道路モデルを表す一手法を示したものであり、例えば、Ｅ0を変数にしたもの、Ｈを固定したもの、車線幅を左白線中央と右白線中央との間の距離とし、（ｘ，ｙ）を白線幅の中央位置の画像座標としても定義することができる。
【００３２】
図３及び図４は、プロセッサ１６によって道路パラメータを推定するプログラムのフローチャートであり、例えば、車両走行中は３０［ｍｓｅｃ］毎に処理が繰り返されるものとする。
【００３３】
次に、図３の各ステップ毎の概略処理を説明する。まず、カメラ１４から画像メモリ１５へ車両前方画像を取り込む（ステップＳ１）。次いで、取り込んだ画像上に複数（ｍ個）のウインドウを設定する（ステップＳ２）。次いで、ウインドウ処理番号ｉを初期値の１に設定する（ステップＳ３）。ｉ番目のウインドウ（以下、ウインドウｉと呼ぶ）２０の画像データから、水平方向の輝度変化を検出して白線１８の端部の位置を認識するための白線候補点２１を抽出する（ステップＳ４）。次いでウインドウ内の白線候補点２１の座標位置に基づいて、これらの白線候補点から最も白線の可能性が高い第１の白線候補線２２を算出する（ステップＳ５）。
【００３４】
次いで、ウインドウ内に第１の白線候補線に類似した傾きを持つ第２の白線候補線が存在するか否かの擬似白線存在判定を行う（ステップＳ６）。ステップＳ６の判定結果により、第２の白線候補線が存在すれば、ウインドウ毎のフラグＷＥｉを１に設定し（ステップＳ７）、第２の白線候補線が存在しなければ、ウインドウ毎のフラグＷＥｉを０に設定する（ステップＳ８）。次いで、ウインドウ番号ｉを１だけ増加させ（ステップＳ９）、ｉがウインドウ数（ｍ）を超えたか否かを判定し（ステップＳ１０）、超えていなければ、次のウインドウを処理すべく、ステップＳ４へ戻る。ステップＳ１０の判定で、ｉがウインドウ数（ｍ）を超えていれば全ウインドウの前処理が終わったので、道路パラメータ推定処理を行って（ステップＳ２０）、最初の前方画像取り込み（ステップＳ１）へ戻る。
【００３５】
以下、上記プログラムの処理を各ステップ毎に詳述する。
（１）前方画像の取込
プロセッサ１６がプログラムを処理する所定時間毎に、カメラ１４によって撮像された車両前方の画像信号を画像メモリ１５へ取り込む。画像は各画素毎の輝度データとして表される。
【００３６】
（２）複数ウインドウの設定
ウインドウ２０は、図５に示すように道路白線１８の延長方向に沿って複数（図５の例では、左白線に対して５個、右白線に対して５個）が設けられ、各ウインドウ２０は前回の画像処理結果によって得られた道路モデルのパラメータにより、それぞれのウインドウ２０に道路白線１８が取り込まれるようにそれぞれの位置が設定され、道路白線１８はこれらウインドウ２０内で検知される。図中の縦方向は画像座標ｙ軸方向を示し、図中下方がｙプラスである。また、図中の横方向は画像座標ｘ軸方向を示し、図中右方がｘプラスである。
【００３７】
ここで、ｎ番目のウインドウ（ｉ＝ｎ）の上辺２０ａのｙ座標をｙnとし、前回のパラメータ推定結果を｛Ａ（−１），Ｂ（−１），Ｃ（−１），Ｄ（−１），Ｈ（−１）｝とすると、式１より今回のウインドウ２０の横方向中心座標ｘestは、式２で示される。
【００３８】
【数２】
0003733875.tif 000003
ウインドウ２０のｘ方向の幅は固定値としてもよく、また、特開平８−２６１７５６号公報に示されるようにパラメータの分散から合理的に設定することもできる。
【００３９】
（３）ウインドウ番号ｉの初期化
ステップＳ４からステップＳ９までの処理を全てのウインドウ２０に対して行うためのループ制御パラメータｉを１に初期化する。
【００４０】
（４）白線候補点の抽出
カメラ１４から取り込まれた画像に設定された各ウインドウの範囲の画像からソーベル（ｓｏｂｅｌ）フィルタ処理などのエッジ検知（輝度変化検知）処理を利用して、白線候補点を選択する。このエッジ検知では、図６に示すように左（画像座標のｘ値が小さい）の画素の輝度が右（画像座標のｘ値が大きい）の画素の輝度より大きい場合、フィルタの出力が正であるとする。そして、ある程度の幅を有する道路白線１８の内側端部を白線の位置としているので、左白線の場合は、フィルタの出力が正の判別値を超えた点を白線候補点とし、右白線の場合は、フィルタの出力が負の判別値を下回った点を白線候補点とする。ウインドウ２０内の全ての画像データを走査してフィルタの出力により、上記の判別値を利用して白線候補点を抽出する。尚、上記判別値は、画像全体またはウインドウ毎の平均輝度、コントラスト等により、適宜設定されてもよい。
【００４１】
（５）白線候補線の算出
ウインドウ２０内から抽出された白線候補点２１の集合から白線候補線２２を探索する。この探索にはハフ変換や最小自乗法などを用いることができる。本実施形態ではハフ変換を用いるものとし、ハフ変換直線近似では図７に示すようにウインドウ２０内を通過する直線のうち、最も多く白線候補点２１を貫いたものを最も白線の可能性が高い第１の白線候補線とする。
【００４２】
このとき、座標（ｘ，ｙ）を通過する直線はパラメータａ，ｂを用いて次の式３として表すことができる。ここでａは、白線候補線の傾き（∂ｘ／∂ｙ）であり、ｂはそのｘ切片である。
【００４３】
【数３】
0003733875.tif 000004
即ち、白線候補点の座標を（ｘ，ｙ）とすると、ａを決めるとｂが式３より計算でき、これにより図８に示すハフ変換による配列が得られる。この配列の横方向は、一定刻みのａの値であり、縦方向は一定刻みのｂの値である。ここで、配列の空欄は零を意味する。また、「１」が立っている（ａ，ｂ）の組み合わせの中に真値が含まれる。この配列を白線候補点全てに対してそれぞれ作成し、作成した配列を重ね合わせて、各配列要素毎の数を合計することにより図９（ａ）に示す配列が得られる。図９（ａ）において配列要素（ａr，ｂr）の数ｚr は、式４が貫く白線候補点の数を表している。
【００４４】
【数４】
0003733875.tif 000005
従って、白線候補点を最も多く貫く白線候補線が最も白線の可能性が高い第１の白線候補線であり、そのａ，ｂを求めることが第１の白線候補線を算出することになる。即ち、配列要素の値として最大のｚを持つ配列要素（ａ，ｂ）が第１の白線候補線を示すことになる。
【００４５】
こうして、白線候補線が算出されると、次いで図１２に示すように、ウインドウ番号ｎにおける第１の白線候補線２２とウインドウ２０の上辺２０ａとの交点の画像上の座標である道路座標（ｘn ，ｙn ）を算出する。ウインドウ２０の上辺２０ａのｙ座標ｙn は、ウインドウ番号ｎに対する固定値である。道路座標のｘ成分ｘn は式５で算出される。
【００４６】
【数５】
0003733875.tif 000006
（６）擬似白線存在の判断
第１の白線候補線に類似した傾きを持つ（傾きの差が所定値以下となる）第２の白線候補線がウインドウ内の画像に存在するか否か、すなわち擬似白線が存在するか否かの判断である擬似白線存在の判断は、図９（ａ）の配列を元に判断される。例えば、ウインドウ内の画像に白色のガイドレールや、轍の中に溜まった水の反射による高輝度領域等の擬似白線が含まれていると、これら擬似白線の水平方向の端部も上述のエッジ検出により、白線候補点として抽出されている。このため、白線の右又は左の端部を示す本来の白線候補点と、擬似白線による偽りの白線候補点が白線候補点として含まれている。
【００４７】
このような擬似白線が含まれるウインドウの画像データからは、最も白線の可能性がある白線候補線である第１の白線候補線以外に、第１の白線候補線に類似した傾きを持つ第２の白線候補線が算出されることになる。
【００４８】
そして道路状況によっては、第１の白線候補線が必ずしも本来の白線ではなく、擬似白線による白線候補点から算出された白線候補線が最も白線の可能性が高い第１の白線候補線として算出されることがある。このような場合、擬似白線を第１の白線候補線として誤認しても道路パラメータの推定に誤差を招来しないために、ここで、擬似白線の存在の有無の判断を行うものである。そして後述する道路パラメータの推定において、擬似白線が存在すると判断したウインドウからは、自車両の車線に対する横変位以外の道路パラメータを含む式を用いるようにしている。
【００４９】
図９（ａ）の配列において、白線候補線の傾きを示すパラメータａであるが、各列の合計を採って最大のものを選ぶ。この処理で画像上での傾きの差が所定値以下となる白線候補線が複数存在する場合、その中から選択されることになる。この所定値は、真の道路白線とそれに平行な擬似白線とが画像上では平行にならないために設定され、この処理を適用したい真の道路白線と擬似白線との路面上の間隔の最大値とカメラ高さＨにより決まる。
【００５０】
そして、選んだパラメータａの値をａＮとし、そのａＮ の列のｂ（ｘ切片）の分散を計算する。ここで上記所定値がパラメータａの間隔（例えば、｜ａｒ−ａｒ−１｜）より大きい時は、各列の合計を採る際に、図９（ｂ）に示すように、ａのレンジが所定値を超えるまで隣接した列まで含めて（例えばａＮ−１〜ａＮ＋１）合計して最大のものを選び、さらにそのａＮの複数列をとってｂの分散を計算する。
【００５１】
このｂの分散が所定値以下の場合、第１の白線候補線に類似した傾きを持つ第２の白線候補線、即ち擬似白線が存在しないと判断し、それ以外の場合は擬似白線が存在すると判断する。擬似白線が存在する場合には、図１０に示すようにピークが複数現れて分散が大きくなる。擬似白線が存在すると判断したウインドウｎの集合をＧaとし、そうでないウインドウｎの集合をＧbとする。
【００５２】
そして、図１１に示すようにａＮの列中で最も大きいものに対応するｂ（図中でのｂn）を選ぶ。こうして、最も白線の可能性が高い第１の白線候補線を規定するａ，ｂの対を選択する。このとき、道路白線１８が一部掠れていたり、波打っていたり、白色のガイドレールがあったり、轍の水たまりが連続的に光を反射していたりすると、本来の白線の代わりに擬似白線のａ，ｂの対を第１の白線候補線として誤って選択することになる。
【００５３】
（７）擬似白線存在判断フラグの設定
ステップＳ７の擬似白線存在判断の結果により、存在すると判断したウインドウのフラグＷＥｉを「１」に、存在しないと判断したウインドウのフラグＷＥｉを「０」に、それぞれ設定する。これらのフラグは、後の道路パラメータ推定において参照される。
【００５４】
（８）道路パラメータ推定
前記式１をｙで微分して式６を得る。
【００５５】
【数６】
0003733875.tif 000007
そして、式１と式６からＡを消去すると式７を得る。
【００５６】
【数７】
0003733875.tif 000008
このとき、Ａは自車両の車線に対する横位置のパラメータであり、このＡを消去すると同時に車線幅を表すＥ0も消去されることになる。つまり、道路幅がいかなるものであれ式７が成立することになる。換言すれば、真の道路白線１８を用いなくても、道路白線１８に平行な線分であれば式７が成立することを意味する。即ち、実際にはガイドレールや轍の水溜まりによる光の反射、２重白線等の擬似白線は、真の道路白線１８に平行である場合が多く、この擬似白線が検出された場合には、擬似白線の傾き（∂ｘ／∂ｙ）および道路座標（ｘ，ｙ）と、式７の方程式を利用すれば、最小自乗法やカルマンフィルタなどの手法を用いて、Ａを除く道路パラメータ（Ｂ，Ｃ，Ｄ，Ｈ）を誤差無く正確に推定することができる。なお、パラメータＡは、他のパラメータと共に擬似白線が存在しないウインドウのデータから推定すれば良い。
【００５７】
次に、カルマンフィルタを用いて道路パラメータを推定する場合、式８に示す方程式が与えられることによりパラメータｚを推定することができるというものである。ただし、同式中のパラメータｙｙの値およびｆの構造はそれぞれ既知とし、一般にｙｙはベクトルとなる。
【００５８】
【数８】
0003733875.tif 000009
ここで、この式８に相当する観測方程式（仮称）を導出する場合を、擬似白線の存在、不存在の場合に分けて説明する。
【００５９】
▲１▼擬似白線が存在する場合
これには前記式７を用い、これは左辺が画像上の傾きであるため、式９が成立する。
【００６０】
【数９】
0003733875.tif 000010
この式９は、
∂ｘ／∂ｙ＝ｆw（Ｂ，Ｃ，Ｄ，Ｈ）…（式９’）と表すこともできる。
【００６１】
▲２▼擬似白線が存在しない場合
これは前記式１が式１０として成立する。
【００６２】
【数１０】
0003733875.tif 000011
この式１０は、
ｘ＝ｆz（Ａ，Ｂ，Ｃ，Ｄ，Ｈ）…（式１０’）と表すこともできる。
【００６３】
式９’および式１０’は一般に複数列より構成され、これらを線形近似した上で並べることにより次の行列式１１が得られる。
【００６４】
【数１１】
0003733875.tif 000012
この行列式１１中、ｍは、１画面中に設定されたウインドウの数である。ウインドウ番号ｎがＧaに属する（擬似白線が存在する）場合は、ｚn は、ｚn ＝（∂ｘ／∂ｙ）n＝ａn となり、Ｍn1は零となる。ウインドウ番号ｎがＧbに属する（擬似白線が存在しない）場合は、ｚn は、ｚn ＝ｘn となる。
【００６５】
次に、図４を参照して、道路パラメータ推定処理のサブルーチンＰ3を説明する。
【００６６】
まず、ステップＳ２１でウインドウ番号パラメータｉを１に初期化する。次いで、ステップＳ２２でウインドウ番号ｉに対応するフラグＷＥｉの値を判定することにより、擬似白線が存在するウインドウに対する処理と、擬似白線が存在しないウインドウに対する処理とを分岐する。
【００６７】
擬似白線が存在しないウインドウの場合、ステップＳ２３において、式１１のｚiはｘiとし、式１０’の右辺を線型近似することにより、Ｍi1，Ｍi2，Ｍi3，Ｍi4，Ｍi5は、それぞれｙの値がｙiにおけるｄｆz／ｄＡ，ｄｆz／ｄＢ，ｄｆz／ｄＣ，ｄｆz／ｄＤ，ｄｆz／ｄＨとする。
【００６８】
擬似白線が存在するウインドウの場合、ステップＳ２４において、式１１のｚiは（ｄｘ／ｄｙ）iとし、式９’の右辺を線型近似することにより、Ｍi1は０とし、Ｍi2，Ｍi3，Ｍi4，Ｍi5は、それぞれｘ，ｙの値が（ｘi，ｙi）におけるｄｆw／ｄＢ，ｄｆw／ｄＣ，ｄｆw／ｄＤ，ｄｆw／ｄＨとする。
【００６９】
次いで、ステップＳ２５でウインドウ番号ｉを１だけ増加し、ステップＳ２６でウインドウ番号ｉがウインドウ数ｍを超えているか否かを判定し、ウインドウ数ｍを超えていなければ、次のウインドウを処理すべくステップＳ２２へ戻る。ウインドウ数ｍを超えていれば、ステップＳ２７において、カルマンフィルタ処理により、パラメータ（Ａ，Ｂ，Ｃ，Ｄ，Ｈ）を推定し、メインルーチンへリターンする。
【００７０】
図１３は本発明に係る道路白線認識装置の第２実施形態の構成を示すシステム構成図である。同図において、道路白線認識装置１０ａは、車両に搭載した画像取得手段１４により取得した車両前方の道路画像を格納する画像メモリ１５と、画像メモリ１５に格納された道路画像に基づいて、道路パラメータを推定する例えばマイクロプロセッサを使用したプロセッサ１６とを備えている。
【００７１】
プロセッサ１６は、画像メモリ１５に格納された道路画像上にそれぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段１０１と、前記ウインドウ毎の画像を処理して白線候補点を抽出する白線候補点抽出手段１０２と、前記ウインドウ毎に抽出された白線候補点に基づいて白線の可能性が最も高い白線候補線の画像座標及び傾きを算出する白線候補線算出手段１０３と、前記ウインドウ毎にウインドウ内の路面と自車両との遠近位置を判断するウインドウ位置判断手段（白線位置推定精度判断手段）１１０と、各ウインドウに対して算出された白線候補線の画像座標及び傾きと道路モデル式を用いて、少なくとも自車両の車線に対する横変位を含む道路パラメータを推定する道路パラメータ推定手段１０５と、を備え、これらの手段１０１、１０２，１０３，１１０，１０５をプロセッサ１６のプログラム制御により実現している。
【００７２】
道路パラメータ推定手段１０５は、前記ウインドウ内の路面が自車両に対して遠方に位置すると判断されたウインドウに対しては、白線候補線の画像座標と傾きとを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、前記ウインドウ内の路面が自車両に対して遠方に位置しないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、自車両の車線に対する横変位を含む道路パラメータを推定するものである。
【００７３】
本実施形態における道路モデル式、及び道路パラメータは、第１実施形態で用いたものと同様である。
【００７４】
また、図１４に示す本実施形態のプログラムＰ2は、上記第１実施形態に示した図３のフローチャートで処理されるプログラムＰ1とほぼ同様の処理が実行されるが、特に本実施形態では第１実施形態のプログラムＰ1のステップＳ６に代えて、ステップＳ１２の観測方程式選択処理を実行するようにしたもので、このステップＳ１２による処理を以下述べる。なお、図１４のフローチャートは図３のフローチャートと同一処理部分に同一ステップ番号を付して、その説明を省略するものとする。
【００７５】
観測方程式選択
これは上記第１実施形態と同様にウインドウ番号ｎのウインドウがいずれのグループＧa，Ｇbに属するかを選択する。即ち、Ｇaは観測方程式が式９（式９’）で表される場合、Ｇbは観測方程式が式１０（式１０’）で表される場合である。即ち、第１実施形態では擬似白線が存在すると判断した場合にＧaを選択したが、本第２実施形態では擬似白線が存在すると判断した場合に加えて、自車両に対して遠方を透視するウインドウ２０ａで白線候補線２２を判断する場合にもＧaを選択するものとする。この遠方を透視するウインドウ２０ａとは、図１５中に太枠で示した最上方のウインドウ２０ａがこれに相当する。もっとも、そのウインドウ２０ａは最上方のものに限定することなく、最上方を含めて連続する上方部分の複数個を選ぶこともできる。
【００７６】
即ち、この実施形態では上記式１からｘnの変動に対するＡのゲインＧを求めると式１２となる。
【００７７】
【数１２】
0003733875.tif 000013
この式１２中、ｙnは画像縦軸座標を表し、車両遠方程小さい値となり、このｙnはＧに対しては分母として現れるため、このＧは車両遠方程大きくなることになる。このことは画像上では同じ誤差であっても、Ａの推定に与える影響は車両遠方のウインドウ２０程大きいことを意味する。実際上、画像の分解能は遠方でも近傍でも同じであるため、Ａの推定精度は遠方を透視するウインドウ２０程悪化される。従って、Ａの推定精度が悪化すると思われる遠方のウインドウ２０ａでは、このＡを推定しないことにより道路モデルの推定精度を向上することができる。
【００７８】
ところで、上記各実施形態ではウインドウ２０内の白線候補線２２を直線と近似するようになっており、このように直線に近似することにより処理を高速化できる。即ち、上記白線候補線２２を高次の曲線で近似したと仮定した場合、近似する処理自体の演算時間も膨大となり、また、画像上の傾きを計算する処理も必要となってくる。従って、曲線では座標を指定して傾きを再計算しなければならないが、直線では近似の課程で傾きが決定される。このため、道路白線１８は曲線であっても、各ウインドウ２０内で直線と近似できるように、ウインドウ２０の大きさを設定してやれば良い。
【００７９】
また、上記白線候補線２２を直線に近似するにあたってハフ変換を用いたので、複数の白線候補線２２を取得した場合に、それら複数の白線候補線の画像上の傾きを再計算する必要がなくなるため、処理の高速化を図ることができる。従って、高速で走行する車両のように高速処理を要求されるシステムで有利となる。
【図面の簡単な説明】
【図１】本発明にかかる道路白線認識装置の第１実施形態の基本構造を示す概略構成図である。
【図２】本発明にかかる道路白線認識装置を搭載した車両の一実施形態を示す概略構成図である。
【図３】本発明にかかる道路白線認識装置の第１実施形態による画像処理プログラムを実行するためのフローチャートである。
【図４】実施形態の画像処理プログラムにおける道路パラメータ推定サブルーチンを示すフローチャートである。
【図５】本発明にかかる道路白線認識装置の第１実施形態で画面に設定される複数のウインドウの配列状態を示す説明図である。
【図６】本発明にかかる道路白線認識装置の第１実施形態で設定されるウインドウ内の白線候補点のプロット状態を示す説明図である。
【図７】本発明にかかる道路白線認識装置の第１実施形態で設定されるウインドウ内の白線候補線の選択状態を示す説明図である。
【図８】本発明にかかる道路白線認識装置の第１実施形態で実行される白線候補線を探索する際のハフ変換による配列表を示す説明図である。
【図９】本発明にかかる道路白線認識装置の第１実施形態で実行されるハフ変換を配列要素で示す説明図である。
【図１０】本発明にかかる道路白線認識装置の第１実施形態で実行されるハフ変換により得られる擬似白線が存在する場合のピーク度数を示す説明図である。
【図１１】本発明にかかる道路白線認識装置の第１実施形態で実行されるハフ変換により得られる擬似白線が存在しない場合のピーク度数を示す説明図である。
【図１２】本発明にかかる道路白線認識装置の第１実施形態で設定されるウインドウの上辺と白線候補線との交点の道路座標を示す説明図である。
【図１３】本発明にかかる道路白線認識装置の第２実施形態の基本構造を示す概略構成図である。
【図１４】本発明にかかる道路白線認識装置の第２実施形態による画像処理プログラムを実行するためのフローチャートである。
【図１５】本発明にかかる道路白線認識装置の第２実施形態で選択される遠方を透視するウインドウを示す説明図である。
【図１６】擬似白線の要因の１つである道路に形成される轍を示す斜視図である。
【図１７】擬似白線の要因の１であるガイドレールと影との関係を示す斜視図である。
【符号の説明】
１０  道路白線認識装置
１２  車両
１４  カメラ（画像取得手段）
１６  プロセッサ
１８  道路白線
２０  ウインドウ
２１  白線候補点
２２  白線候補線
１０１  ウインドウ設定手段
１０２  白線候補点抽出手段
１０３  白線候補線算出手段
１０４  擬似白線存在判断手段（白線位置精度判断手段）
１０５  道路パラメータ推定手段
１１０  ウインドウ位置判断手段（白線位置精度判断手段）
【図１】
0003733875.tif 000014
【図２】
0003733875.tif 000015
【図３】
0003733875.tif 000016
【図４】
0003733875.tif 000017
【図５】
0003733875.tif 000018
【図６】
0003733875.tif 000019
【図７】
0003733875.tif 000020
【図８】
0003733875.tif 000021
【図９】
0003733875.tif 000022
【図１０】
0003733875.tif 000023
【図１１】
0003733875.tif 000024
【図１２】
0003733875.tif 000025
【図１３】
0003733875.tif 000026
【図１４】
0003733875.tif 000027
【図１５】
0003733875.tif 000028
【図１６】
0003733875.tif 000029
【図１７】
0003733875.tif 000030