(57)【要約】【課題】より正確に白線を検出することが出来る車両用白線検出装置を提供する。【解決手段】本発明は、走行路上の白線を検出する車両用白線検出装置であって、走行路上を撮像する撮像手段（２）と、この撮像手段により得られた走行路上の画像から白線の候補となる構造物を検出する白線候補構造物検出手段（１０）と、撮像手段により得られた走行路上の画像において、白線の候補となる構造物の位置に対して所定の複数の相対位置にそれぞれ所定の構造物が存在するか否かを判定する構造物判定手段（１２）と、この構造物判定手段の判定結果に基づいて白線の候補となる構造物が白線であるか否かを判定する白線判定手段（１２）と、を有し、所定の複数の相対位置及び所定の構造物は、路上の複数の構造物が有する特有の相対位置関係を基に定められている。【選択図】図２
2007220013.tif 000002
【特許請求の範囲】
【請求項１】
走行路上の白線を検出する車両用白線検出装置であって、
走行路上を撮像する撮像手段と、
この撮像手段により得られた走行路上の画像から白線の候補となる構造物を検出する白線候補構造物検出手段と、
上記撮像手段により得られた走行路上の画像において、上記白線の候補となる構造物の位置に対して所定の複数の相対位置にそれぞれ所定の構造物が存在するか否かを判定する構造物判定手段と、
この構造物判定手段の判定結果に基づいて上記白線の候補となる構造物が白線であるか否かを判定する白線判定手段と、を有し、
上記所定の複数の相対位置及び上記所定の構造物は、路上の複数の構造物が有する特有の相対位置関係を基に定められていることを特徴とする車両用白線検出装置。
【請求項２】
さらに、路上の複数の構造物が有する特有の相対位置関係を白線に対する相対位置で規定した白線基準相対位置データを有する白線基準道路構造モデルを記憶するモデル記憶手段を有し、
上記構造物判定手段は、上記白線基準道路構造モデルの白線基準相対位置データを参照して上記判定を行う請求項１記載の車両用白線検出装置。
【請求項３】
さらに、上記白線の候補となる構造物が白線であることの確信の度合いを示す白線確信度を算出する白線確信度算出手段を有し、
上記モデル記憶手段に予め記憶された白線基準道路構造モデルは、さらに、上記白線確信度を算出するための白線確信度加算値を各構造物について設定した白線確信度データを有し、
上記白線確信度算出手段は、上記構造物判定手段による上記白線基準相対位置データを参照した判定により存在すると判定された構造物について上記白線確信度加算値を加算して上記白線確信度を算出し、
上記白線判定手段は、この白線確信度算出手段により算出された白線確信度が所定のしきい値を超える場合に、上記白線の候補となる構造物が白線であると判定する請求項２記載の車両用白線検出装置。
【請求項４】
上記白線確信度加算値は、上記白線との関連性が高い構造物程大きい値に設定されている請求項３記載の車両用白線検出装置。
【請求項５】
さらに、上記白線の候補となる構造物が白線以外の構造物であることの確信の度合いを示す非白線構造物確信度を算出する非白線構造物確信度算出手段と、を有し、
上記モデル記憶手段には、さらに、路上の複数の構造物が有する特有の相対位置関係を白線以外の所定の構造物に対する相対位置で規定した非白線構造物基準相対位置データと、上記非白線構造物確信度を算出するための非白線構造物確信度加算値を各構造物について設定した非白線構造物確信度データとを有する非白線構造物基準道路構造モデルが予め記憶され、
上記構造物判定手段は、さらに、上記非白線構造物基準道路構造モデルの非白線構造物基準相対位置データを参照して上記判定を行い、
上記非白線構造物確信度算出手段は、この判定により存在すると判定された構造物について上記非白線構造物確信度加算値を加算することにより上記非白線構造物確信度を算出し、
上記白線判定手段は、上記白線確信度算出手段により算出された白線確信度が上記非白線構造物確信度算出手段により算出された非白線構造物確信度より高いとき、上記白線の候補となる構造物が白線であると判定する請求項３又は請求項４に記載の車両用白線検出装置。
【請求項６】
上記白線判定手段は、上記白線確信度算出手段により算出された白線確信度と、上記非白線構造物確信度算出手段により算出された非白線構造物確信度との差が所定のしきい値を超えるとき上記白線の候補となる構造物が白線であると判定する請求項５記載の車両用白線検出装置。
【請求項７】
上記白線以外の所定の構造物は複数設定され、
上記非白線構造物基準道路構造モデルの非白線構造物基準相対位置データ及び非白線構造物確信度データは、それぞれ、上記複数設定された白線以外の所定の構造物毎に規定され、
上記構造物判定手段及び上記非白線構造物確信度算出手段は、上記複数設定された白線以外の所定の構造物毎に、上記判定及び上記非白線構造物確信度の算出を行い、
上記白線判定手段は、上記算出された白線確信度と、上記複数設定された白線以外の所定の構造物毎に算出された非白線構造物確信度との差がいずれも所定のしきい値を超えるとき、上記白線の候補となる構造物が白線であると判定する請求項５記載の車両用白線検出装置。
【請求項８】
上記所定のしきい値は、上記複数設定された白線以外の所定の構造物毎に異なる請求項６に記載の車両用白線検出装置。
【請求項９】
上記非白線構造物確信度加算値は、上記白線以外の所定の構造物との関連性が高い構造物程大きい値に設定されている請求項５乃至８のいずれか１項に記載の車両用白線検出装置。
【請求項１０】
上記相対位置は、走行車線に対して横方向の相対距離で定められ、
上記構造物判定手段は、上記所定の構造物が存在するか否かを、その所定の構造物に特有の前後長によって判定する請求項１乃至９のいずれか１項に記載の車両用白線検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用白線検出装置に係り、特に、車両に搭載され、その車両が走行する路上の白線を検出する車両用白線検出装置に関する。
【背景技術】
【０００２】
特許文献１乃至５には、車両の前方を撮像した画像から白線を検出する白線検出装置が開示されている。これらの白線検出装置では、その輝度変化の量に基づいて白線を検出するようにしている。
【０００３】
【特許文献１】特開平１１−０８５９９９号公報
【特許文献２】特開平０６−２３３３０１号公報
【特許文献３】特開平０５−２９７９４１号公報
【特許文献４】特開平１０−３０７９９８号公報
【特許文献５】特開２００１−２６０９２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来、上述したような輝度変化を基にした白線検出装置では、白線の検出精度を高めるには限界があり、白線以外のものを白線と誤認識する場合があるという問題があった。例えば、白線として検出されたものが、実は、白い路面標識や、前を走行する白い車である場合もあった。このような場合には、その検出結果を利用して行う種々の車両制御が、本来の目的を達しないことになる。
【０００５】
そこで、本発明は、上述した従来技術の問題点を解決するためになされたものであり、より正確に白線を検出することが出来る車両用白線検出装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために本発明は、走行路上の白線を検出する車両用白線検出装置であって、走行路上を撮像する撮像手段と、この撮像手段により得られた走行路上の画像から白線の候補となる構造物を検出する白線候補構造物検出手段と、撮像手段により得られた走行路上の画像において、白線の候補となる構造物の位置に対して所定の複数の相対位置にそれぞれ所定の構造物が存在するか否かを判定する構造物判定手段と、この構造物判定手段の判定結果に基づいて白線の候補となる構造物が白線であるか否かを判定する白線判定手段と、を有し、所定の複数の相対位置及び所定の構造物は、路上の複数の構造物が有する特有の相対位置関係を基に定められていることを特徴としている。
このように構成された本発明においては、白線の候補となる構造物の位置に対して所定の複数の相対位置にそれぞれ所定の構造物が存在するか否かが判定され、この判定結果に基づいて白線の候補となる構造物が白線であるか否かが判定される。そして、所定の複数の相対位置及び所定の構造物は、路上の複数の構造物が有する特有の相対位置関係を基に定められている。従って、本発明によれば、例えば輝度変化により検出した白線（白線の候補）が本当に白線であるか否かを、白線に対し特有の相対位置関係にある他の構造物との関係で判定することが出来る。その結果、輝度変化を検出して白線を検出する従来の白線検出装置に比べ、より正確に白線を検出することが出来る。
【０００７】
また、本発明において、好ましくは、さらに、路上の複数の構造物が有する特有の相対位置関係を白線に対する相対位置で規定した白線基準相対位置データを有する白線基準道路構造モデルを記憶するモデル記憶手段を有し、構造物判定手段は、白線基準道路構造モデルの白線基準相対位置データを参照して判定を行う。
【０００８】
また、本発明において、好ましくは、さらに、白線の候補となる構造物が白線であることの確信の度合いを示す白線確信度を算出する白線確信度算出手段を有し、モデル記憶手段に予め記憶された白線基準道路構造モデルは、さらに、白線確信度を算出するための白線確信度加算値を各構造物について設定した白線確信度データを有し、白線確信度算出手段は、構造物判定手段による白線基準相対位置データを参照した判定により存在すると判定された構造物について白線確信度加算値を加算して白線確信度を算出し、白線判定手段は、この白線確信度算出手段により算出された白線確信度が所定のしきい値を超える場合に、白線の候補となる構造物が白線であると判定する。
このように構成された本発明においては、白線の検出精度を高めることが出来る。
【０００９】
また、本発明において、好ましくは、白線確信度加算値は、白線との関連性が高い構造物程大きい値に設定されている。
このように構成された本発明においては、白線の検出精度が高まる。ここで、白線との関連性が高いということは、そのような構造物があれば、白線も所定の相対位置に存在する可能性が高いということである。本発明においては、白線確信度加算値が白線との関連性が高い構造物程大きい値に設定されているので、構造物が確信度に与える影響の大小を白線確信度に反映させることが出来る。その結果、白線の検出精度を高めることが出来る。
【００１０】
また、本発明において、好ましくは、さらに、白線の候補となる構造物が白線以外の構造物であることの確信の度合いを示す非白線構造物確信度を算出する非白線構造物確信度算出手段と、を有し、モデル記憶手段には、さらに、路上の複数の構造物が有する特有の相対位置関係を白線以外の所定の構造物に対する相対位置で規定した非白線構造物基準相対位置データと、非白線構造物確信度を算出するための非白線構造物確信度加算値を各構造物について設定した非白線構造物確信度データとを有する非白線構造物基準道路構造モデルが予め記憶され、構造物判定手段は、さらに、非白線構造物基準道路構造モデルの非白線構造物基準相対位置データを参照して判定を行い、非白線構造物確信度算出手段は、この判定により存在すると判定された構造物について非白線構造物確信度加算値を加算することにより非白線構造物確信度を算出し、白線判定手段は、白線確信度算出手段により算出された白線確信度が非白線構造物確信度算出手段により算出された非白線構造物確信度より高いとき、白線の候補となる構造物が白線であると判定する。
このように構成された本発明においては、「白線の候補となる構造物」が白線である確信度と、「白線の候補となる構造物」が白線ではない他の構造物である確信度の両方を算出すると共に比較して、「白線の候補となる構造物」が白線であるか否かを判定しているので、白線の検出精度をより高めることが出来る。
【００１１】
また、本発明において、好ましくは、白線判定手段は、白線確信度算出手段により算出された白線確信度と、非白線構造物確信度算出手段により算出された非白線構造物確信度との差が所定のしきい値を超えるとき白線の候補となる構造物が白線であると判定する。
このように構成された本発明においては、白線の検出精度をより高めることが出来る。
【００１２】
また、本発明において、好ましくは、白線以外の所定の構造物は複数設定され、非白線構造物基準道路構造モデルの非白線構造物基準相対位置データ及び非白線構造物確信度データは、それぞれ、複数設定された白線以外の所定の構造物毎に規定され、構造物判定手段及び非白線構造物確信度算出手段は、複数設定された白線以外の所定の構造物毎に、判定及び非白線構造物確信度の算出を行い、白線判定手段は、算出された白線確信度と、複数設定された白線以外の所定の構造物毎に算出された非白線構造物確信度との差がいずれも所定のしきい値を超えるとき、白線の候補となる構造物が白線であると判定する。
このように構成された本発明においては、「白線の候補となる構造物」が白線ではない他の構造物である確信度を複数の構造物について算出し、それらの算出された非白線構造物確信度のいずれもが白線確信度より小さい場合に、「白線の候補となる構造物」が白線であると判定されるので、白線の検出精度をより高めることが出来る。
【００１３】
また、本発明において、好ましくは、所定のしきい値は、複数設定された白線以外の所定の構造物毎に異なる。
このように構成された本発明においては、例えば、検出された白線を利用して何らかの車両制御を行う場合に、万が一白線であると誤検出されても車両制御に重大な悪影響を与えない構造物（例えば、二重線）については、しきい値を比較的小さくし、万が一白線であると誤検出されると車両制御に重大な悪影響を与えてしまう構造物（例えば、他車両）については、しきい値を比較的大きくすることが出来る。その結果、検出条件を厳しく（しきい値をやたらに大きく）し過ぎて白線であるのに白線ではないと誤検出されることを抑制しつつ、白線でないのに白線であると誤検出されることによる車両制御への悪影響を最小限に留めることが出来る。
【００１４】
また、本発明において、好ましくは、非白線構造物確信度加算値は、白線以外の所定の構造物との関連性が高い構造物程大きい値に設定されている。
このように構成された本発明においては、構造物が確信度に与える影響の大小を白線確信度に反映させて、白線の検出精度を高めることが出来る。
【００１５】
また、本発明において、好ましくは、相対位置は、走行車線に対して横方向の相対距離で定められ、構造物判定手段は、所定の構造物が存在するか否かを、その所定の構造物に特有の前後長によって判定する。
このように構成された本発明においては、より簡便且つ確実に白線を正確に検出することが出来る。
【発明の効果】
【００１６】
本発明の車両用白線検出装置によれば、より正確に白線を検出することが出来る。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施形態を添付図面を参照して説明する。
本発明の実施形態による車両用白線検出装置は、路上画像から輝度変化により白線の候補となる対象物を検出し、その対象物の位置（基準位置）に対し、路面の幅方向において他の所定の位置関係にある対象物（他の白線、轍、路面標識などと推定される所定条件を満たした構造物）を検出し、その検出された対象物と、白線と他の構造物との関連度合いを規定したデータ（道路構造データ）とを基に、基準位置にある対象物が白線であることの確信の度合い（確信度）を算定するものである。
【００１８】
先ず、図１及び図２により、本発明の実施形態による車両用白線検出装置の概略構成を説明する。図１は、本実施形態による車両用白線検出装置が搭載された車両の概略構成を示す図であり、図２は、本実施形態による車両用白線検出装置のシステム構成を表すブロック図である。
図１に示すように、車両１は、車両が走行する道路の車両前方の路面を撮像するＣＣＤカメラ２と、このＣＣＤカメラ２で撮像された走行路画像を受け取り、白線を検出するための演算を行う制御ユニット４と、電動モータで構成された操舵支援用アクチュエータ６とを備える。操舵支援用アクチュエータ６は、検出された白線の横位置の変動を基に、車線の中央付近を走行するように、操舵支援用アクチュエータ６が連結された操舵系８に操舵力アシストを加えるものである。すなわち、白線の横位置が左方向に変動する場合は左方向に操舵するようモータを回転させ、右方向に変動する場合は右方向に操舵するようモータを回転させることで、ドライバの操舵操作をアシストする。
【００１９】
図２に示すように、制御ユニット４は、横位置検出ロジック演算装置１０と、認識評価結果演算装置１２と、車両制御コントローラ１４とを備える。この横位置検出ロジック演算装置１０には、カメラ２で撮像された走行路画像が送られる。
横位置検出ロジック演算装置１０は、所定の画像処理及び画像解析により、白線候補部（白線の候補となる対象物）を抽出し、その横位置（車線の幅方向における位置）の座標データ及び曲率データを算出する。それらのデータ（横位置情報、曲率情報）は、車両制御コントローラ１４に送られる。なお、車線とは、所謂レーン（走行レーン、追い越しレーン）と同様の意味である。
【００２０】
認識結果評価演算装置１２には、カメラ２で撮像された走行路画像と、横位置検出ロジック演算装置１０で算出された白線候補位置のデータが送られる。白線候補位置のデータとは、白線の候補となる対象物の横位置の座標を示すデータである。また、この認識結果評価演算装置１２にも、カメラ２で撮像された走行路画像が送られる。
認識結果評価演算装置１２は、道路構造モデルデータベース１６を備える。道路構造モデルデータベース１６には、後述する道路構造モデル（図３参照）に関するデータが格納されている。
【００２１】
認識結果評価演算装置１２は、白線候補位置を基準位置と定め、この基準位置に対し、横方向（車線或いは車両進行方向に対しほぼ直交する方向）に存在する複数の構造物を所定の画像処理及び画像解析により検出し、さらに、これらの構造物について、基準位置に対する相対位置（相対距離）及び前後長（車線が延びる方向の長さ）を算出する。構造物とは、白線、二重線、轍、路面標識、他車両、隔壁、路肩、ゼブラゾーンなど、路面に存在する様々なものが該当する。本実施形態では、これらの構造物のうち、白線、二重線、轍、路面標識及び他車両について考慮しているが、本発明はこれらの構造物に限るものではない。
【００２２】
認識結果評価演算装置１２は、後述するように、これらの相対位置及び前後長のデータと、道路構造モデルのデータ（図３参照）とを基に、基準位置に存在する白線候補としての対象物が、どの程度白線として確信して良いかの度合い（白線確信度）を算出する。また、本実施形態では、さらに、基準位置に存在する白線候補としての対象物が、どの程度二重線として確信できるかの度合い（二重線確信度）や、同様に、轍確信度、路面標識確信度、他車両確信度などの他の構造物の確信度も算出する。
【００２３】
認識結果評価演算装置１２では、これらの算出された基準位置に存在する対象物に関する各確信度の値から、基準位置に存在する対象物が白線である（白線を検出した）か、或いは、白線ではない（白線を検出していない）か、を判定する。その判定結果は、車両制御コントローラ１４に送られる。車両制御コントローラ１４では、白線である、との判定結果を受けると、横位置検出ロジック演算装置１０から送られた横位置情報、曲率情報を白線の情報として車両制御に使用する。一方、白線ではないとの判定結果を受けた場合には、使用しない。
【００２４】
次に、図３により、道路構造モデルデータベースに格納された道路構造モデルの構成について説明する。図３は、道路構造モデルデータベースに格納された道路構造モデルのデータの一部を例として示す図表である。図３（ａ）は、白線であることの確信度の算出に用いる白線モデルであり、図３（ｂ）は、二重線であることの確信度の算出に用いる二重線モデルであり、図３（ｃ）は、轍であることの確信度の算出に用いる轍モデルである。なお、各図表において、「左」或いは「右」とは、或る特定の車線に関して、左側にある構造物か、右側にある構造物かを示す。例えば、二重線左とは、車線に対し左側にある二重線を意味する。図３及び以下の説明において、「左」をマイナス表記で示す。また、図３に示す図表の他に、車線の右側の白線、二重線、轍や、他の構造物に関するモデルも同様にデータベース１６に格納されている。
【００２５】
ここで、道路構造モデルの前提を説明する。現実の道路において、白線、二重線、路面標識、轍などの構造物は、特有の形状や大きさ（長さ、幅など）及び特有の相対位置関係を有する。例えば、大きさに関しては、路面標識の前後長は１０ｍ以下であり、二重線の前後長は２ｍである、などとほぼ決まっている。相対位置に関しては、センターラインに対して左１．８ｍの位置に路面標識があり、左３．５ｍの位置に同一車線の他方の白線があり、右３．５ｍの位置に反対車線の白線がある、などとほぼ決まっている。また、車両が走行する位置もほぼ一定の範囲にあり、そのため、車線内において、轍が生じる位置もほぼ定まる。
【００２６】
道路構造モデルには、このような現実の道路のデータを基に設定された構造物特定データ（相対位置データ）と、或る特定の構造物の確信度を算出するための確信度算定データ（確信度データ）が含まれる。本実施形態では、このようなデータを含む道路構造モデルにより、基準位置の対象物が白線であることの確信度（白線確信度）が、他の構造物との相対関係により算出されるようになっている。また、基準位置の対象物が二重線や轍などの他の構造物であることの確信度も同様に算出されるようになっている。
【００２７】
先ず、構造物特定データについて説明する。
構造物特定データは、構造物間の相対位置及び構造物の前後長で構成される。
図３（ａ）に示す例は、基準位置に存在する対象物が車線の左側の白線であることの確信度を得るためのモデル（「白線モデル（左）」）である。
「白線左（基準）」とは、その基準位置に存在する対象物が車線の左側の白線であると仮定したものである。基準位置は相対位置０ｍであり、白線は、８ｍ以上又は２０ｍ以上であるとして設定されている。
「二重線左」とは、車線の左側が二重線となっている場合に、そのうちの一本の白線が、基準位置に対し右０．３ｍの相対位置で２ｍの前後長で存在することを示す。同様に、「轍左」、「轍右」とは、車線内に轍がある場合に、それぞれ基準位置に対し右０．９ｍの相対位置及び右２．６ｍの相対位置に２０ｍ以上の前後長で存在することを示す。残りの構造物も同様に規定されている。なお、本実施形態では、相対位置を、横方向の相対距離で規定している。
【００２８】
図３（ｂ）に示す例は、基準位置に存在する対象物が車線の左側の二重線であることの確信度を得るためのモデル（「二重線モデル（左）」）である。「二重線左（基準）」とは、その基準位置に存在する対象物が車線の左側の二重線であると仮定したものである。また、「白線左」とは、二重線のうちの他方の白線が、基準位置に対し左０．３ｍの相対位置で８ｍ又は２０ｍ以上の長さで存在することを示す。残りの構造物も同様に規定されている。図３（ｃ）に示す例は、基準位置に存在する対象物が車線内の左側の轍であることの確信度を得るためのモデル（「轍モデル（左）」）である。この轍モデルも、上述した白線モデルや二重線モデルと同様に規定されている。
【００２９】
なお、図３（ａ）は、３車線ある高速道路にも対応可能なように規定されている。従って、左隣に車線がある場合は、その左隣の車線における左側の白線が、左３．５ｍの相対位置に８ｍ又は２０ｍ以上の前後長で存在し、左隣の車線における路面標識が、左１．７ｍの相対位置に１０ｍ以下の前後長で存在すること等が分かる。右隣の車線も同様である。
【００３０】
次に、確信度算定データについて説明する。
本実施形態では、上述した複数の構造物間の特定の相対関係を利用して、白線の確信度を算出するようにしている。つまり、基準位置で検出された白線らしき対象物が白線だとすると、その基準位置に対してしかるべき相対位置に轍や路面標識があるはずである。言い換えれば、ある基準位置に白線と思われる対象物がある場合、その基準位置に対して所定の相対位置（例えば、右０．９ｍ）に轍であると認識可能な対象物（前後長さも合致する対象物）があれば、基準位置の対象物が白線である確信度が高まるのである。そして、そのような構造物の検出の数が多い程、基準位置の対象物が白線である確信度が高いものとなる。
【００３１】
ここで、構造物毎に白線に対する関連性の大きさは異なる。例えば、二重線が検出されるよりも轍が検出された方が、白線の候補となっている対象物が実際に白線である割合が高い、という場合がある。また、例えば、車線の左側の白線に対しては、通常、車線の右側に他方の白線がある。轍も存在している場合が多い。一方、路面標識や二重線などは、必ずしも存在するとは限らない。このように、構造物毎に、確信度に与える影響の大きさは異なるのである。
【００３２】
本実施形態では、図３（ａ）〜（ｃ）に示すように、構造物毎に「加算確信度」を規定している。この加算確信度は、確信度に与える影響の大きさを考慮して予め定めたものである。そして、撮像した路上画像の或る位置（基準位置）の白線候補となる対象物に対して、図３に規定された各構造物が存在する場合、即ち、相対位置及び前後長が合致する対象物が検出された場合には、その加算確信度を加算するのである。相対位置及び前後長が合致する構造物のすべてについて加算確信度を加算したものが、その道路構造モデルにおける「確信度」として算出される。
【００３３】
例えば、図３（ａ）の白線モデルについて、白線左、轍左、轍右、白線右の構造物が検出された場合には、それらの加算確信度を足して、基準位置にある対象物の白線であることの確信度は２．０となる。同様に、図３（ｂ）に設定されているすべての構造物が検出された場合には、基準位置にある対象物の二重線であることの確信度は１．０となる。轍である確信度も、図３（ｃ）により同様に算出される。
【００３４】
次に、図４乃至図１１により、制御ユニット４による処理の流れを説明する。
図４は、本実施形態の車両用白線検出装置による白線検出処理の全体的な流れを示すフローチャートであり、図５は、カメラにより撮像された路上画像を示す図であり、図６は、図４に示すＳ２の白線候補部の二値化処理の流れを示すフローチャートであり、図７は、図６に示す路上画像から差分処理によりエッジが検出された画像を示す図であり、図８は、図７に示す画像から二値化処理により白線候補部が抽出された画像を示す図であり、図９は、図４に示すＳ３の前後長探索処理の流れを示すフローチャートであり、図１０は、図８に示す画像を実空間座標に逆投影変換して得られた画像を示す図であり、図１１は、図４に示すＳ４の道路構造モデル適用処理の流れを示すフローチャートであり、図１２は、白線、二重線、轍が存在する路面の実空間座標の画像を示す図であり、図１３は、図４のＳ５に示す白線判定処理の流れを示すフローチャートである。なお、各フローチャートにおいて、Ｓはステップを示す。
【００３５】
先ず、図４のＳ１において、カメラ２で撮像された、図５に示すような前方路上画像が読み込まれる。次に、Ｓ２において白線候補部の二値化の処理が行われる。このＳ２における処理を図６に示す。先ず、Ｓ２１において、Ｓ１（図４参照）で読み込まれた画像を差分処理をしてエッジを検出する。この処理により図７に示すような画像が得られる。図７において、白線は輝度差が１０以上の正エッジであり、黒線は輝度差が−１０（マイナス１０）以下の負エッジである。ここでＳ２１における差分処理とは、隣接もしくは複数Pixelの間隔を隔てた画素同士の輝度を引き算することである。これにより、輝度の変化の大きさ（輝度差）が得られる。
【００３６】
次に、Ｓ２２において、輝度差が１０以上の正エッジと輝度差が−１０以下の負エッジに挟まれた領域であり、且つ、幅が５Pixel以上１００Pixel以下である領域を検出し、この領域を白線候補部として抽出する。この処理により図８に示すような画像が得られる。図８において、白い部分が白線候補部である。
【００３７】
次に、図４のＳ３において、前後長探索処理が行われる。このＳ３における処理を図９に示す。先ず、Ｓ３１において、Ｓ２の処理で得られた図８に示すような画像を実空間座標に逆投影変換する。この処理により図１０に示すような画像が得られる。図１０に示す測定ラインは、車両進行方向に対し直交する方向（横方向）に延びている。以下、この横方向の位置を座標ｘで示す。ここでＳ３１における逆投影変換とは、画像中の消失点からの縦座標がカメラからの距離に反比例することを利用し、画像中の画素のカメラからのおよび、横位置を求める演算である。
【００３８】
次に、Ｓ３２に進み、測定ラインの前方或いは後方の隣接点が白色領域であるか否かを判定する。隣接点が白色領域である場合は、Ｓ３３に進み、測定ラインを１Pixel分、前方或いは後方に移動させ、以後、隣接点が白色領域でないと判定されるまでＳ３２及びＳ３３の処理を繰り返す。その後、Ｓ３４に進み、Ｓ３３における測定ラインの前方への移動量及び後方への移動量を合わせて、その白色領域の前後長が算出される。そして、この前後長の値と、座標ｘとが関連付けられて記録される。
なお、Ｓ３２乃至Ｓ３４の処理は、測定ライン上のｘ座標のすべての点（Pixel）について行われる。
【００３９】
次に、図４のＳ４において、道路構造モデル適用処理が行われる。このＳ４における処理を図１１に示す。先ず、Ｓ４１において、図３で示すような複数のモデルの中から、いずれか１つのモデルが、処理（Ｓ４４、Ｓ４５）に必要なデータとして設定される。以下、左白線モデル（図３（ａ）参照）が設定されているものとして説明する。
次に、Ｓ４２において、測定ライン上の座標ｘのいずれかの位置が、基準位置として設定される。例えば、図１２に示す位置が基準位置ｏとして設定される。なお、図１２に示す画像では、白線２０、轍２２、二重線２４が現れているものとする。
次に、Ｓ４３において、条件が設定される。条件とは、Ｓ４１で設定されたモデルで規定されているいずれかの構造物と、その構造物に対して規定されている相対位置及び前後長である。例えば、図３（ａ）に示すように、このＳ４３の処理が行われる毎に、白線左、二重線左、轍左・・・の中からいずれか１つの構造物と、その相対位置及び前後長さが設定される。
【００４０】
次に、Ｓ４４において、Ｓ４３で設定された構造物が、撮像された路面上に実際に存在すると推定しても良いか否かを判定する。具体的には、先ず、図１２に示すような実空間座標の画像から、Ｓ４２で設定された基準位置を基準にして、Ｓ４３で設定された相対位置に白色領域が存在するか否かが判定される。なお、基準位置（相対位置０ｍ）についてもＳ４４の処理は行われる（例えば、「白線左」）。
このＳ４４では、例えば、Ｓ４３で轍右（図３（ａ）参照）が設定されていれば、図１２に示すように、基準位置ｏに対して相対距離ｄ＝２．６ｍの右方の位置（相対位置ｏ’）に白色領域が存在するか否かが判定される。この図１２の例では、轍２２が白色領域として現れているので、白色領域が存在すると判定される。
【００４１】
このＳ４４において、白色領域が存在する場合には、さらに、上述したＳ３４（図９参照）で記録された前後長のデータの中から、その相対位置の座標ｘにおける前後長が読み出されると共に、その読み出された前後長と、Ｓ４３で設定された前後長とが合致するか否かが判定される。轍右の場合は、前後長が２０ｍ以上（図３（ａ）参照）であり、この場合、図１２で示す白色領域の前後長が２０ｍ以上あるか否かが判定される。
【００４２】
Ｓ４３で設定された相対位置に白色領域が存在し且つその前後長がＳ４３で設定された前後長と合致する場合には、Ｓ４３で設定された構造物が存在すると推定される。その場合には、基準位置の座標ｘに存在する対象物が車線の左側の白線であることの確信度が高まる（左白線モデル（図３（ａ）参照）の場合）。従って、Ｓ４５に進み、Ｓ４３で設定された構造物の加算確信度（図３参照）が、基準位置の座標ｘとＳ４１で設定されたモデル毎に、そのモデルに応じた確信度（左白線モデルの場合、基準位置に存在する対象物が車線の左側の白線であることの確信度）の値に加算される。
Ｓ４３において、Ｓ４３で設定された相対位置に白色領域が存在しない場合、或いは、前後長がＳ４３で設定された前後長と合致しない場合には、Ｓ４６以降の繰り返し処理のためのステップに進む。
【００４３】
Ｓ４６においては、すべての条件（左白線モデルであれば図３（ａ）に示すすべての構造物）について処理が行われたか否かが判定され、Ｓ４７においては、測定ライン上のすべての位置ｘについて処理が行われたか否かが判定され、Ｓ４８においては、すべてのモデルについて処理が行われたか否かが判定される。これらの判定が「否」であると、それぞれ、Ｓ４１、Ｓ４２、Ｓ４３に戻り、処理が繰り返される。
これらの処理により、座標ｘ毎に、白線確信度、二重線確信度、轍確信度などの各構造物の確信度が算出される。
【００４４】
次に、次に、図４のＳ５において白線判定処理が行われる。このＳ５では、Ｓ４で算出された各モデルの確信度の値を基に、或る基準位置における対象物が白線であるか否か（白線が検出されたか否か）が判定される。このＳ５の処理は、座標ｘ毎に行われる。このＳ５における処理を図１３に示す。
【００４５】
先ず、Ｓ５１において、白線確信度がしきい値α１より大きいか否かが判定される。しきい値α１は、「そのα１より大きい白線確信度を有する対象物はほぼ白線である」と判定可能な値である。白線確信度がα１より大きい場合には、Ｓ５２に進み、所定の座標ｘに存在する対象物が白線である（白線が検出された）と判定される。
【００４６】
Ｓ５１において、白線確信度がα１以下である場合には、Ｓ５３に進み、白線確信度がしきい値α２より大きいか否かが判定される。しきい値α２は、α１より小さく、「そのα２以下の白線確信度を有する対象物はほぼ白線ではない」と判定可能な値である。白線確信度がα２以下である場合には、Ｓ５４に進み、所定の座標ｘに存在する対象物が白線ではない（白線が検出されていない）と判定される。このように、本実施形態では、先ず、白線確信度の値のみで、対象物が白線であるか否かを判定するようにしている。
【００４７】
次に、白線確信度がα２より大きい場合、即ち、α１≧白線確信度＞α２、となる場合は、Ｓ５５以降の処理に進み、白線確信度のみで判定せず、他の構造物の確信度との相対的な関係で判定する。
【００４８】
Ｓ５５においては、白線確信度から二重線確信度を引いた値（以下、このような確信度の引き算により得られる値を「差」という）がしきい値β１より大きいか否かが判定される。しきい値β１以下であれば、Ｓ５４に進み、上述したように対象物が白線ではない（白線が検出されていない）と判定される。例えば、白線確信度が二重線確信度より小さい場合（差がマイナスになる場合）には、二重線である可能性の方が高いので、白線ではないと判定される（Ｓ５４）。ここで、しきい値β１は、差が非常に小さい場合を規定した値である。差がβ１以下であり、非常に小さい場合には、白線であるか二重線であるか不確定であり、或いは、他の構造物である可能性もあるので、白線ではないと判定される（Ｓ５４）。差がβ１より大きい場合には、Ｓ５６に進む。
【００４９】
Ｓ５６においては、白線確信度から轍確信度を引いた値がしきい値β２より大きいか否かが判定される。しきい値β２は、しきい値β１より大きい値となっている。ここで、万が一、白線と判定された対象物が実際には二重線であった場合であっても、二重線は白線に沿って形成されている場合がほとんどであり、車両制御に深刻な悪影響を与えない。一方、白線と判定された対象物が轍であった場合には、悪影響の度合いが大きくなる。従って、β３の値をβ２の値より大きく設定しているのである。このＳ５６においても、Ｓ５５と同様に、差がβ２以下である場合にはＳ５４に進み、白線ではないと判定され、差がβ２より大きい場合には、Ｓ５７に進む。
【００５０】
Ｓ５７においては、白線確信度から路面標識確信度を引いた値がしきい値β３より大きいか否かが判定される。しきい値β３は、しきい値β２より大きい値となっている。このβ３の値も、上述した理由と同様に、車両制御に及ぼす悪影響の度合いを考えて設定されている。このＳ５７においても、上述したＳ５５等と同様に、差がβ３以下である場合にはＳ５４に進み、白線ではないと判定され、差がβ３より大きい場合には、Ｓ５８に進む。
【００５１】
Ｓ５８においては、白線確信度から他車両確信度を引いた値がしきい値β４より大きいか否かが判定される。しきい値β４は、しきい値β３より大きい値となっている。このβ４の値も、上述した理由と同様に、車両制御に及ぼす悪影響の度合いを考えて設定されている。このＳ５８においても、上述したＳ５５等と同様に、差がβ４以下である場合にはＳ５４に進み、白線ではないと判定される。差がβ４より大きい場合には、Ｓ５５〜Ｓ５８の基準（各しきい値β１〜β４）をクリアする程の差があるので、Ｓ５２に進み、白線である（白線が検出された）と判定される。
【００５２】
以上、本実施形態によれば、より正確に白線を検出することが出来る。上述したように、白線であるか否かの判定情報は、車両制御コントローラ１４に送られる（図２参照）。車両制御コントローラ１４は、白線であるとの判定結果を受けたときには、演算装置１０から受けた白線の横位置情報及び曲率情報を車両制御に用い、白線ではないとの判定結果を受けたときには、演算装置１０から受けた情報は車両制御に用いない。このように、より確実な車両制御を行うことにつながり、操舵支援制御のみならず、車両の自動運転などの制御にも適用可能となる。
【００５３】
なお、本実施形態において、白線や路面標識など、相対位置関係や形状などが一般道路と高速道路とで異なる場合、それぞれに対応したデータを使用して上述のような処理を行うことが考えられる。また、上述したデータベースに格納された種々のデータを、例えば車外の情報センターなどから入手するようにしても良い。その場合、例えば、ナビゲーション等と関連させて、走行している道路に合わせた適切なデータを入手するようにしても良い。
【図面の簡単な説明】
【００５４】
【図１】本実施形態による車両用白線検出装置が搭載された車両の概略構成を示す図である。
【図２】本実施形態による車両用白線検出装置のシステム構成を表すブロック図である。
【図３】道路構造モデルデータベースに格納された道路構造モデルのデータの一部を例として示す図表である。
【図４】本実施形態の車両用白線検出装置による白線検出処理の全体的な流れを示すフローチャートである。
【図５】カメラにより撮像された路上画像を示す図である。
【図６】図４に示すＳ２の白線候補部の二値化処理の流れを示すフローチャートである。
【図７】図６に示す路上画像から差分処理によりエッジが検出された画像を示す図である。
【図８】図７に示す画像から二値化処理により白線候補部が抽出された画像を示す図である。
【図９】図４に示すＳ３の前後長探索処理の流れを示すフローチャートである。
【図１０】図８に示す画像を実空間座標に逆投影変換して得られた画像を示す図である。
【図１１】図４に示すＳ４の道路構造モデル適用処理の流れを示すフローチャートである。
【図１２】白線、二重線、轍が存在する路面の実空間座標の画像を示す図である。
【図１３】図４のＳ５に示す白線判定処理の流れを示すフローチャートである。
【符号の説明】
【００５５】
１  車両
２  ＣＣＤカメラ
４  制御ユニット
６  操舵支援用アクチュエータ
８  操舵系
【図１】
2007220013.tif 000003
【図２】
2007220013.tif 000004
【図３】
2007220013.tif 000005
【図４】
2007220013.tif 000006
【図５】
2007220013.tif 000007
【図６】
2007220013.tif 000008
【図７】
2007220013.tif 000009
【図８】
2007220013.tif 000010
【図９】
2007220013.tif 000011
【図１０】
2007220013.tif 000012
【図１１】
2007220013.tif 000013
【図１２】
2007220013.tif 000014
【図１３】
2007220013.tif 000015