(57)【特許請求の範囲】
【請求項１】
車両に対して所定の位置関係で撮像され、車両の進行方向に設定された進行軸と、前記進行方向に対し直交する方向に設定された横軸との座標で表現されるとともに、車両が走行する走行路を形成する左右両側の走行線の少なくとも一方を含んで順次撮影される路面画像から、前記進行軸の各位置から前記横軸方向に延びる線領域を形成する各画像単位の、該横軸方向における濃度変化値を該横軸の各位置に対応させた辺縁データを生成する辺縁検出処理と、
前記進行軸方向において所定の分割幅ずつに区分された複数の分割領域に分割する画像分割処理と、
前記各分割領域毎に、該分割領域の前記各線領域に対して生成された前記辺縁データから、該各辺縁データの該横軸の同一の位置における濃度変化値の加算値、及び、該各辺縁データの該横軸の同一の位置において所定値以上である濃度変化値の頻度の少なくとも一方が反映された累積変化値を前記横軸の各位置に対応させた辺縁領域データを生成する辺縁領域検出処理と、
前記各分割領域毎に、その分割領域に対して生成された前記辺縁領域データにおいて、前記累積変化値の正負が同一であってかつ所定の大きさ以上である前記横軸に対する位置範囲を、該分割領域の前記進行軸方向に相対向する両端縁を通過する辺縁が存在する境界領域として検出する境界領域検出処理と、
前記各境界領域が検出された前記分割領域の前記進行軸に対する位置と、該各分割領域において検出された該境界領域の前記横軸に対する位置と、該境界領域における前記累積変化値の値の正負と、その分割領域の前記分割幅とから、該各境界領域に辺縁が存在する認識対象物によって構成され、該各境界領域が検出された各分割領域にて形成される前記路面画像の部分領域に少なくとも連続する位置関係で存在する帯状表示部を検出する帯状対象物検出処理と、
車両の進行に伴って順次得られた２つの前記路面画像において、前の時点で得られた第１の路面画像から検出された第１の帯状対象物と、後の時点で得られた第２の路面画像から検出された第２の帯状対象物とが、両路面画像間で少なくとも連続する位置関係で存在する否かを判断し、連続する位置関係にある前記両帯状対象物を同一の走行線であるとして確定する走行線確定処理と
を行う車両における走行路認識方法。
【請求項２】
前記路面画像は、前記走行路を形成する左右両側の走行線を含む路面画像であって、
前記路面画像に対して、前記帯状対象物検出処理までの各処理によって検出された複数の前記帯状対象物の前記横軸に対する位置と、実際の走行路を形成する左右両側の走行線間の間隔とに基づいて、前記各帯状対象物の内から両者間の間隔が実際の走行路を形成する左右両側の走行線の間隔と同等である一対の帯状対象物を検出する左右走行線検出処理を行うとともに、
前記走行線認識処理は、検出された左右の前記帯状対象物について、それぞれ前記走行線を確定する請求項１に記載の車両における走行路認識方法。
【請求項３】
前記走行線確定処理で確定した前記走行線について前記路面画像上における撮像状態を示す走行線データを、前記第１又は第２の路面画像から生成する走行線データ生成処理を行う請求項１又は請求項２に記載の車両における走行路認識方法。
【請求項４】
車両の進行方向に設定された進行軸と、該進行方向に直交する方向に設定された横軸との座標で表現される、車両が走行する走行路の走行線を含む該走行路の路面画像を、車両に対して所定の姿勢で順次撮像する撮像手段と、
請求項１〜請求項３のいずれか一項に記載の走行路認識方法によって、前記各路面画像の画像処理を行う画像処理手段と
を備えた車両における走行路認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両が走行する走行路の路面画像から走行線を判別することで走行路を画像認識する走行路認識方法及び走行路認識装置に関するものである。
【０００２】
【従来の技術】
従来、車両が中央分離線及び路肩線等の走行線（いわゆる白線）で区分された走行路を走行するときに、車両自身で走行路を認識し、運転者に走行路からの逸脱を報知したり、積極的に運転を補助したり、さらには、自動運転を行おうとする試みがある。この際、走行路の認識を、走行路を形成する走行線を画像認識する方法が検討されている。
【０００３】
画像認識による走行線の認識方式としては、ＣＣＤカメラで撮像した走行路の画像から走行線の標準パターンに一致する領域を抽出するテンプレートマッチングによる方式と、画像の濃淡勾配を微分処理で抽出することで走行線の輪郭線を認識する方式とが知られている。
【０００４】
このうち、テンプレートマッチングによる走行線の認識方式では、走行路の路面画像から、走行線の標準パターンが一致する領域を抽出することで車両に対する走行線の状態を認識する。このため、画像として得られる走行線の状態、即ち、左右への曲がり、曲がりの程度等に応じて多数の標準パターンを用意しておき、走行線が含まれた画像の部分領域が、いずれかの標準パターンと相関があるかを判断している。従って、テンプレートマッチングによる方式では、走行路上にある道路標識等の不要な対象物が画像に含まれていても走行線を高い確度で認識することが可能である。しかし、走行線が含まれた部分領域と、各標準パターンとの相関を計るための演算回数が膨大となり、走行線の認識に時間がかかる問題がある。
【０００５】
一方、画像から微分処理で走行線の輪郭線を認識する方式では、得られた画像に微分処理を施して対象物の輪郭線を抽出し、得られた輪郭線が走行線の特徴を備えているか否かを判断することで走行線を認識する。従って、走行線の認識に要する演算回数がテンプレートマッチングによる方式に比較して少なく認識に要する時間が少なくてすむ。
【０００６】
【発明が解決しようとする課題】
しかしながら、中央分離線又は路肩線の輪郭線を抽出する方式では、走行路面の敷き石、走行路面にできた影、路面標識等の輪郭をも検出することになる。そして、この走行線以外の対象物と走行線との判別が容易でなく、走行線を高い確度で認識することが容易でない問題があった。
【０００７】
本発明は、上記の課題を解決するためになされたものであって、その目的は、より短い時間で、しかも、高い確度で走行路を形成する中央分離線、路肩線等の走行線を判別して走行路を画像認識することができる車両における走行路認識方法及び走行路認識装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の発明は、車両に対して所定の位置関係で撮像され、車両の進行方向に設定された進行軸と、前記進行方向に対し直交する方向に設定された横軸との座標で表現されるとともに、車両が走行する走行路を形成する左右両側の走行線の少なくとも一方を含んで順次撮影される路面画像から、前記進行軸の各位置から前記横軸方向に延びる線領域を形成する各画像単位の、該横軸方向における濃度変化値を該横軸の各位置に対応させた辺縁データを生成する辺縁検出処理と、前記進行軸方向において所定の分割幅ずつに区分された複数の分割領域に分割する画像分割処理と、前記各分割領域毎に、該分割領域の前記各線領域に対して生成された前記辺縁データから、該各辺縁データの該横軸の同一の位置における濃度変化値の加算値、及び、該各辺縁データの該横軸の同一の位置において所定値以上である濃度変化値の頻度の少なくとも一方が反映された累積変化値を前記横軸の各位置に対応させた辺縁領域データを生成する辺縁領域検出処理と、前記各分割領域毎に、その分割領域に対して生成された前記辺縁領域データにおいて、前記累積変化値の正負が同一であってかつ所定の大きさ以上である前記位置範囲を、該分割領域の前記進行軸方向に相対向する両端縁を通過する辺縁が存在する境界領域として検出する境界領域検出処理と、前記各境界領域が検出された前記分割領域の前記進行軸に対する位置と、該各分割領域において検出された該境界領域の前記横軸に対する位置と、該境界領域における前記累積変化値の値の正負と、その分割領域の前記分割幅とから、該各境界領域に辺縁が存在する認識対象物によって構成され、該各境界領域が検出された各分割領域にて形成される前記路面画像の部分領域に少なくとも連続する位置関係で存在する帯状表示部を検出する帯状対象物検出処理と、車両の進行に伴って順次得られた２つの前記路面画像において、前の時点で得られた第１の路面画像から検出された第１の帯状対象物と、後の時点で得られた第２の路面画像から検出された第２の帯状対象物とが、両路面画像間で少なくとも連続する位置関係で存在する否かを判断し、連続する位置関係にある前記両帯状対象物を同一の走行線であるとして確定する走行線確定処理とを行う車両における走行路認識方法である。
【０００９】
請求項２に記載の発明は、請求項１に記載の発明において、前記路面画像は、前記走行路を形成する左右両側の走行線を含む路面画像であって、前記路面画像に対して、前記帯状対象物検出処理までの各処理によって検出された複数の前記帯状対象物の前記横軸に対する位置と、実際の走行路を形成する左右両側の走行線間の間隔とに基づいて、前記各帯状対象物の内から両者間の間隔が実際の走行路を形成する左右両側の走行線の間隔と同等である一対の帯状対象物を検出する左右走行線検出処理を行うとともに、前記走行線認識処理は、検出された左右の前記帯状対象物について、それぞれ前記走行線を確定することを特徴とする。
【００１０】
請求項３に記載の発明は、請求項１又は請求項２に記載の発明において、前記走行線確定処理で確定した前記走行線について前記路面画像上における撮像状態を示す走行線データを、前記第１又は第２の路面画像から生成する走行線データ生成処理を行うことを特徴とする。
【００１１】
請求項４に記載の発明は、車両の進行方向に設定された進行軸と、該進行方向に直交する方向に設定された横軸との座標で表現される、車両が走行する走行路の走行線を含む該走行路の路面画像を、車両に対して所定の姿勢で順次撮像する撮像手段と、請求項１〜請求項３のいずれか一項に記載の走行路認識方法によって、前記各路面画像の画像処理を行う画像処理手段とを備えた車両における走行路認識装置である。
【００１２】
（作用）
請求項１に記載の発明によれば、辺縁検出処理において、路面画像の進行軸の各位置で横軸方向に延びる線領域を形成する画像単位間の濃度変化値である辺縁データにおける濃度変化値から、走行線、即ち、中央分離線、路肩線の辺縁、路面標識の辺縁、走行線と同程度の濃度で撮像される敷き石等の認識障害物の辺縁の存在が、横軸に対する位置と共に検出される。画像分割処理、辺縁領域検出処理及び境界領域検出処理において、進行方向に所定の分割幅で分割された各分割領域毎に、その分割領域を構成する各線領域の辺縁データから生成した辺縁領域データにおいて所定の大きさ以上である累積変化値が存在する位置範囲から、その分割領域の進行方向に相対向する両端縁を通過する走行線の辺縁、あるいは、路面標識の辺縁が存在する境界領域が、その位置範囲と共に検出される。このとき、分割領域の分割幅よりも小さい敷き石等の障害物は、走行線と同程度の濃度で撮像されたものであっても累積変化値の大きさが所定の大きさ未満であることから検出されない。各分割領域で検出された境界領域に辺縁が存在する認識対象物が、帯状に直線的に延びる走行線あるいは路面標識の直線部分であって、帯状に直線的に延びない路面標識の非直線部分でなければ、各境界領域に辺縁が存在する認識対象物は、各境界領域が検出された分割領域に少なくとも連続する位置関係で存在する帯状対象物となる。この前提条件に基づき、帯状対象物検出処理において、境界領域が検出された分割領域の進行軸に対する位置と、該分割領域にて検出された境界領域の横軸に対する位置と、その境界領域における累積変化値の値の正負と、その分割領域の分割幅とから、辺縁が存在する境界領域が検出された各分割領域に少なくとも連続する状態で存在する帯状対象物である走行線、即ち、追い越し線、追い越し禁止線、路肩線の一部、あるいは、路面標識の直線部分が検出され、帯状対象物でない路面標識の非直線部分は検出されない。又、車両の走行速度に比較して十分に短い時間間隔で撮影された２つの路面画像においてそれぞれ検出された帯状対象物が、同一の走行線であって路面標識の直線部分でなければ、２つの路面画像間で少なくとも連続する位置関係にある。この前提条件に基づき、走行線確定処理において、各路面画像で検出された帯状対象物である、同一の連続する追い越し禁止線、破線からなる追い越し線、路肩線、あるいは、直線部分を有する路面標識の内から、追い越し禁止線、追い越し線、及び、路肩線が判別される。従って、テンプレートマッチングによる走行線の認識方式のように複数の各標準プレートと路面画像との相関を計るために行うような大量の演算処理が必要ない。又、走行路に沿った長さが所定値未満である敷き石は検出されず、同長さが所定値以上である影、路面標識等は走行線でないと判別される。
【００１３】
請求項２に記載の発明によれば、請求項１に記載の発明の作用に加えて、検出された左右の帯状対象物が実際の走行路を形成する左右両側の走行線であれば、両走行線が同じ間隔で連続している。この前提条件に基づき、左右走行線検出処理において、検出された複数の各帯状対象物、即ち、実際の走行路を形成する走行線、走行路を形成せず連続しない状態で存在する走行線、路面標識の直線部分の内から、実際の走行路を形成する左右の両走行線である可能性が高い一対の帯状対象物が検出される。従って、実際の走行路を形成しておらず、連続していない走行線が走行路面にあっても、実際の走行路を形成する左右の走行線が検出される。
【００１４】
請求項３に記載の発明によれば、請求項１又は請求項２に記載の発明の作用に加えて、走行線データ生成処理において、確定された走行線の路面画像における撮像状態を示す走行線データが生成される。
【００１５】
請求項４に記載の発明によれば、撮像手段によって、車両に対して所定の姿勢で順次撮像される走行路の走行線を含む該走行路の路面画像から、画像処理手段により、請求項１〜請求項３のいずれか一項に記載の走行路認識方法によって走行路が認識される。
【００１６】
【発明の実施の形態】
以下、本発明を具体化した一実施の形態を図１〜図７に従って説明する。
図３は、車両用走行路認識装置１０の模式構成図である。車両用走行路認識装置１０は、撮像手段としてのＣＣＤカメラ１１ａ，１１ｂ、及び、画像処理手段としての画像処理ユニット１２とからなる。ＣＣＤカメラ１１ａ，１１ｂは、車両Ｃの左右各ドアミラーＭＬ，ＭＲにそれぞれ設けられている。
【００１７】
図４は、各ＣＣＤカメラ１１ａ，１１ｂが撮影する走行路の撮影領域を示している。又、図５は、左側のドアミラーＭＬに設けられたＣＣＤカメラ１１ａが撮影した走行路面の路面画像を示し、図６は、右側のドアミラーＭＲに設けられたＣＣＤカメラ１１ｂが撮影した路面画像を示す。各ＣＣＤカメラ１１ａ，１１ｂは、車両に対して所定の姿勢で固定され、車両Ｃの進行方向に設定された進行軸Ｙと、該進行方向に直交する方向に設定された横軸Ｘとの座標で表現される、車両が走行する走行路を形成する走行線を含む該走行路の路面画像を撮像する。さらに、ＣＣＤカメラ１１ａは、車両が走行する走行路を形成する左側の走行線、例えば、路肩線Ａ１だけを含む左側の路面画像ＡＬを撮影するように設けられ、ＣＣＤカメラ１１ｂは、走行路を形成する右側の走行線、例えば、中央分離線（追い越し線、追い越し禁止線）Ａ２だけを含む右側の路面画像ＡＲを撮影するように設けられている。又、各ＣＣＤカメラ１１ａ，１１ｂは、走行路に表示されている路面標識Ｂを含む路面画像ＡＬ，ＡＲを撮影するように設けられている。各ＣＣＤカメラ１１ａ，１１ｂは、それぞれｍ行×ｎ列に２次元配列された画素で形成される路面画像を撮像する。ＣＣＤカメラ１１ａ，１１ｂは、各画素毎に、画素単位で撮像される走行路面の濃度に応じた強さの画素信号を出力する。
【００１８】
画像処理ユニット１２は、Ａ／Ｄ変換器１３、ＣＰＵ１４、入出力ポート１５、ＲＯＭ１６、ＲＡＭ１７、画像メモリ１８、タイマ１９等を備える。
ＲＯＭ１６にはＣＰＵ１４が実行する走行路認識処理の制御プログラムが記憶されている。
【００１９】
ＣＰＵ１４は、制御プログラムに従い、左右両側の走行線Ａ１，Ａ２によって形成される走行路を認識する走行路認識処理を例えば１００ミリ秒経過毎に繰り返し実行する。
【００２０】
走行路認識処理として、ＣＰＵ１４は、走行路面撮影処理、画像分割処理、辺縁検出処理、辺縁領域検出処理、境界領域検出処理、帯状対象物検出処理、左右走行線検出処理、走行線確定処理及び走行線データ生成処理の各処理を順次実行する。
【００２１】
走行路面撮影処理として、ＣＰＵ１４は、タイマ１９が計時する時間に基づき所定時間経過毎に左右の各ＣＣＤカメラ１１ａ，１１ｂを走査制御するとともに、各ＣＣＤカメラ１１ａ，１１ｂが出力する１フレーム分の画素信号を、Ａ／Ｄ変換器１３ａ，１３ｂを介してｍ行×ｎ列の画素データ（以下、単に画素という）からなる路面画像データ（以下、単に路面画像という）に変換してそれぞれ画像メモリ１８に記憶する。即ち、ＣＰＵ１４は、走行路面撮影処理として、車両の走行に伴い、互いに同じ位置関係で随時変化する走行路の左右の路面画像ＡＬ，ＡＲを順次撮影する。
【００２２】
走行路認識処理として、ＣＰＵ１４は、走行路の左右両側の各路面画像ＡＬ，ＡＲに対し、画像分割処理から走行線検出処理までの各処理をそれぞれ実行する。以下、同各処理を、走行路の右側の路面画像ＡＲを引用して説明するが、走行路の左側の路面画像ＡＬについても同様である。
【００２３】
辺縁検出処理として、ＣＰＵ１４は、右側の路面画像ＡＲに対し、進行軸Ｙの各位置から横軸方向に延びる線領域を形成する各画素行の、該横軸方向における濃度変化値（微分値）を該横軸Ｘの各位置に対応させた辺縁データを生成する。即ち、ＣＰＵ１４は、１つの路面画像ＡＲについてｍ個の辺縁データを生成する。図７（ｂ）は、図６、図７（ａ）で示す路面画像ＡＲの進行軸Ｙにおける１つの位置Ｑ１から横軸方向に延びる線領域ＬＡを形成する画素行について、その横軸方向の濃度変化値を取った辺縁データを、横軸Ｘに対する濃度変化値を示すグラフで表わしたものである。辺縁データは、１つの線領域ＬＡを形成する画素行の各画素の画素データを微分演算することで生成され、同線領域ＬＡにおいて画像の濃度が大きく変化する点を示す。即ち、辺縁データにおいて、所定の大きさ｜α｜以上である濃度変化値の存在は、走行路面の内、走行線Ａ１，Ａ２の辺縁、路面標識Ｂの辺縁、走行線Ａ１，Ａ２と同程度の濃度で撮像される敷き石Ｃ等の障害物の辺縁の存在をその位置と共に示す。
【００２４】
画像分割処理として、ＣＰＵ１４は、画像メモリ１８に記憶された右側の路面画像ＡＲを、図６に示すように、進行軸方向において所定の分割幅ｗｄずつに区分された複数の分割領域、図６ではＡｄ１〜Ａｄ９、に分割する。各分割領域Ａｄ１〜Ａｄ９が進行軸方向に分割される分割幅ｗｄは、路面画像ＡＲの各画素が撮像した画像の濃度に基づいて走行線、即ち、路肩線Ａ１及び中央分離線Ａ２を認識しようとする場合に、走行線Ａ１，Ａ２と誤認識する可能性がある走行路面上の対象物、例えば、路面に敷設された敷き石Ｃ等の障害物の外径よりも大きい範囲で、できるだけ小さい大きさに設定されている。尚、路面画像ＡＲの分割領域Ａｄの数は、路面画像ＡＲの進行軸方向の大きさ、設定する分割幅ｗｄ等によって異なり、本実施の形態では、便宜上９つの分割領域Ａｄに分割している。
【００２５】
辺縁検出処理及び画像分割処理の次に実行する辺縁領域検出処理として、ＣＰＵ１４は、右側の路面画像ＡＲに対し、各分割領域Ａｄ１〜Ａｄ９毎に、その分割領域Ａｄ１〜Ａｄ９の各線領域ＬＡに対して生成した辺縁データから、各辺縁データの横軸Ｘに対する同一の位置における所定の大きさ｜α｜以上の濃度変化値の加算値である累積変化値を、横軸Ｘの各位置に対応させた辺縁領域データを生成する。図７（ａ）は分割領域Ａｄ３を示し、図７（ｃ）は同分割領域Ａｄ３の各線領域ＬＡで生成した辺縁データから生成した辺縁領域データをグラフで表わしたものである。辺縁領域データにおいて、累積変化値が所定の大きさ｜β｜以上である位置範囲は、その分割領域Ａｄの進行方向に相対向する両端縁を通過する走行線、即ち、路肩線Ａ１の辺縁、中央分離線Ａ２の辺縁、あるいは、路面標識Ｂの辺縁が存在する領域を示す。
【００２６】
辺縁領域検出処理の次に実行する境界領域検出処理として、ＣＰＵ１４は、右側の路面画像ＡＲに対し、その各分割領域Ａｄ毎に、その分割領域Ａｄに対して生成された辺縁領域データにおいて、横軸Ｘに対して累積変化値の正負が同一であってかつ所定の大きさ｜β｜以上である位置範囲を、該分割領域Ａｄの進行方向に相対向する両端縁、即ち、上側端縁ＬＵ及び下側端縁ＬＬを通過する辺縁が存在する境界領域として検出する。例えば、分割領域Ａｄ３については、図７（ｃ）のグラフで示す辺縁領域データから、３つの境界領域ε１，ε２，ε３を検出する。即ち、ＣＰＵ１４は、境界領域検出処理として、各分割領域Ａｄの進行軸方向に相対向する両端縁ＬＵ，ＬＬを通過する路肩線Ａ１、中央分離線Ａ２、あるいは、路面標識Ｂの一方又は両側の辺縁を検出する。一方、ＣＰＵ１４は、境界領域検出処理として、分割領域Ａｄの分割幅ｗｄよりも小さい敷き石Ｃ等の障害物は、各走行線Ａ１，Ａ２と同等の濃度で撮像されたものであっても、その辺縁に対応する累積変化値の大きさが所定の大きさ｜β｜未満であることから検出しない。尚、ＣＰＵ１４が、境界領域検出処理において検出する辺縁は、進行軸Ｙに対して右側に傾斜するか又は左側に傾斜するかが不明である。
【００２７】
境界領域検出処理の次に実行する帯状対象物検出処理として、ＣＰＵ１４は、各境界領域が検出された分割領域Ａｄの進行軸Ｙに対する位置と、該各分割領域Ａｄにおいて検出された該境界領域の横軸Ｘに対する位置と、該境界領域における前記累積変化値の値の正負と、その分割領域Ａｄの分割幅ｗｄとから、各境界領域に辺縁が存在する認識対象物によって構成され、各境界領域が検出された各分割領域Ａｄにて形成される路面画像ＡＲの部分領域に少なくとも連続する位置関係で存在する帯状対象物を検出する。即ち、境界領域が検出された各分割領域Ａｄに存在する認識対象物が、帯状に延びる走行線Ａ１，Ａ２の一部、あるいは、路面標識Ｂの直線部分であって、帯状に延びない路面標識Ｂの非直線部分でなければ、各境界領域に辺縁が存在する認識対象物は、各境界領域が検出された分割領域に少なくとも連続する位置関係で存在する帯状対象物となる。この前提条件に基づき、ＣＰＵ１４は、帯状対象物である路肩線Ａ１、中央分離線（追い越し線、追い越し禁止線）Ａ２、あるいは、路面標識Ｂの直線部分を検出し、帯状対象物でない路面標識Ｂの非直線部分は検出しない。具体的に詳述すると、例えば、路面画像ＡＲの下側端縁の１点から右側端縁の１点まで連続する状態で存在する帯状対象物は、走行線Ａ１，Ａ２の一部、あるいは、路面標識Ｂの直線部分の一部である可能性があるとして検出される。又、路面画像ＡＲの下側端縁の１点から上側端縁の１点まで連続する位置関係でかつ途中がない状態で存在する帯状対象物は、追い越し線である可能性があるとして検出される。
【００２８】
帯状対象物検出処理を詳述する。境界領域検出処理で検出された１つの境界領域の横軸Ｘに対する位置範囲は、その境界領域に存在する辺縁が走行線Ａ１，Ａ２の一方の辺縁であるとすると、その分割領域Ａｄを進行方向の両端縁を通過するときの辺縁の各端縁における通過位置の横軸Ｘに対する間隔と同じ値である。従って、分割領域Ａｄの分割幅ｗｄと、境界領域の位置範囲とから、図７（ａ）に示すように、その分割領域Ａｄを通過する走行線の進行方向に対する傾斜角θが判断できる。但し、その傾斜の向きが、進行方向に対して右側か左側であるかは判断できない。ＣＰＵ１４は、帯状対象物検出処理において、境界領域検出処理で検出された各分割領域Ａｄの境界領域に対し、進行方向に対して右側又は左側に所定の傾斜角θで傾斜する２つの辺縁を想定する。又、ＣＰＵ１４は、横軸Ｘに対する間隔が所定範囲内であってかつその累積変化値が値が正負である一対の境界領域を、１つの走行線Ａ１，Ａ２の左右両側の辺縁が存在する境界領域であると想定する。そして、各境界領域が検出された分割領域Ａｄで形成される路面画像ＡＬ，ＡＲの部分領域に、各境界領域で想定されるいずれかの向きに向いた状態でその分割領域Ａｄに存在する認識対象物で構成され、少なくともその部分領域で連続する位置関係となる帯状対象物が存在するか否かを判断する。
【００２９】
帯状対象物検出処理の次に実行する左右走行線検出処理において、ＣＰＵ１４は、左右の各路面画像ＡＬ，ＡＲに対して、帯状対象物検出処理までの各処理によってそれぞれ検出された左右の路面画像ＡＬ，ＡＲの各帯状対象物の横軸Ｘに対する位置と、実際の走行路を形成する左右両側の走行線Ａ１，Ａ２間の間隔とに基づいて、各帯状対象物の内から両者間の間隔が実際の走行路を形成する左右両側の走行線Ａ１，Ａ２の間隔と同等である一対の帯状対象物を検出する。即ち、即ち、左右の路面画像ＡＬ，ＡＲでそれぞれ検出された左右の各帯状対象物が、実際の走行路を形成する左右両側の走行線Ａ１，Ａ２であれば同じ間隔で連続する。この前提条件に基づき、ＣＰＵ１４は、検出された左右の各帯状対象物、即ち、実際の走行路を形成する走行線Ａ１，Ａ２、路面標識Ｂの直線部分の内から、実際の走行路を形成する左右両側の走行線Ａ１，Ａ２である可能性が高い一対の帯状対象物を検出する。
【００３０】
左右走行線検出処理の次に実行する走行線確定処理として、ＣＰＵ１４は、車両の進行に伴って順次得られた２つの路面画像ＡＬ，ＡＲにおいて、前の時点で得られた第１の路面画像ＡＬ、ＡＲから検出された第１の帯状対象物と、後の時点で得られた第２の帯状対象物とが、両路面画像ＡＬ，ＡＲ間で少なくとも連続する位置関係で存在するか否かを判断し、連続する位置関係にある両帯状対象物を同一の走行線Ａ１，Ａ２であるとして確定する。即ち、車両の走行速度に比較して十分に短い時間間隔で撮影された２つの路面画像ＡＲにおいてそれぞれ検出された帯状対象物が、同一の走行線Ａ１，Ａ２であって路面標識Ｂの直線部分でなければ、２つの路面画像間で少なくとも連続する位置関係にある。この前提条件に基づき、ＣＰＵ１４は、各路面画像ＡＲで検出された帯状対象物である、路肩線Ａ１、中央分離線（連続する追い越し禁止線、破線からなる追い越し線）Ａ２、あるいは、直線部分を有する路面標識Ｂの内から、路肩線Ａ１、中央分離線（追い越し禁止線及び追い越し線）Ａ２を走行線として確定する。
【００３１】
走行線確定処理の次に実行する走行線データ生成処理として、ＣＰＵ１４は、走行線確定処理で確定した左右両側の走行線Ａ１，Ａ２について路面画像ＡＬ，ＡＲ上における撮像位置を示す走行線データを、前記第１又は第２の路面画像から生成する。
【００３２】
次に、以上のように構成された走行路認識装置の作用について説明する。
車両が走行するときに走行路認識装置を作動させると、画像処理ユニットのＣＰＵ１４が走行路認識処理を所定時間経過毎に繰り返し実行する。図１，２は、走行路認識処理のフローチャートを示す。
【００３３】
走行路認識処理において、ＣＰＵ１４は、先ずステップ（以下、単にＳと表記する）１０で、走行路面撮影処理を実行する。その結果、車両の走行に伴い、互いに同じ位置関係で随時変化する走行路の左右の路面画像ＡＬ，ＡＲが順次撮影される。
【００３４】
次に、ＣＰＵ１４は、辺縁検出処理として、Ｓ１１で、左右の各路面画像ＡＬ，ＡＲの各線領域について辺縁検出処理を実行する。次に、ＣＰＵ１４は、辺縁検出処理及び画像分割処理として、Ｓ１２で、路面画像ＡＬ，ＡＲを進行軸Ｙに対して所定の分割幅で分割するとともに、分割した１つの分割領域Ａｄについて、その分割領域Ａｄの辺縁データに対し、横軸Ｘに対して濃度変化値が所定の大きさ｜α｜以上である位置と、その濃度変化値とを保存し、Ｓ１３で、分割した全ての分割領域ＡｄについてＳ１２の処理を行なったことを判断する。その結果、路面画像ＡＬ，ＡＲの各分割領域Ａｄ毎に、その分割領域Ａｄを形成する各線領域に存在する路肩線Ａ１、中央分離線Ａ２、路面標識Ｂ、該各路面表示と同等の濃度で撮像される敷き石Ｃ等の辺縁の存在が、横軸Ｘに対する位置と共に検出される。
【００３５】
次に、ＣＰＵ１４は、辺縁領域検出処理として、Ｓ１４で、辺縁検出処理が終了した分割領域Ａｄの各線領域で生成された辺縁データを加算した辺縁領域データを生成する。さらに、ＣＰＵ１４は、境界領域検出処理として、Ｓ１５で、その分割領域Ａｄについて生成した辺縁領域データから、累積変化値の正負が同一でかつ所定の大きさ｜β｜以上である位置範囲を検出し、Ｓ１６で、検出した各位置範囲、及び、その正負を保存する。その結果、その分割領域Ａｄを進行方向に通過する、路肩線Ａ１、中央分離線Ａ２、あるいは、路面標識Ｂの辺縁の存在が、その位置範囲と共に検出される。一方、走行線Ａ１，Ａ２と同等の濃度であっても、分割領域Ａｄの分割幅ｗｄよりも小さい敷き石Ｃ等の障害物は、累積変化値の値が所定の大きさ｜β｜未満となることから検出されない。
【００３６】
ＣＰＵ１４は、Ｓ１７で、左右の各路面画像ＡＬ，ＡＲについて、それぞれ全ての分割領域Ａｄに対して辺縁領域検出処理及び境界領域検出処理が終了したことを判断すると、Ｓ１８で、帯状対象物検出処理を実行する。その結果、境界域が検出された各分割領域Ａｄで形成される路面画像ＡＬ，ＡＲの少なくとも部分領域に存在する帯状対象物である路肩線Ａ１、中央分離線Ａ２の一部、あるいは、路面標識Ｂの直線部分が検出され、帯状対象物でない路面標識Ｂの非直線部分は検出されない。
【００３７】
次いで、ＣＰＵ１４は、Ｓ１９で、左右走行線検出処理を実行する。その結果、左右の各路面画像ＡＬ，ＡＲから検出された複数の帯状対象物、即ち、実際の走行路を形成する走行線Ａ１，Ａ２、実際の走行路を形成せず連続しない状態で存在する走行線、路面標識Ｂの直線部分の内から、実際の走行路を形成する左右両側の走行線Ａ１，Ａ２を含む一対の帯状対象物が検出される。
【００３８】
次に、ＣＰＵ１４は、Ｓ２０で、走行線確定処理を実行する。その結果、２つの各路面画像ＡＬ，ＡＲでそれぞれ検出された帯状対象物である、同一の連続する路肩線Ａ１、中央分離線（追い越し線、追い越し禁止線）Ａ２、あるいは、直線部分を有する路面標識Ｂの内から、路肩線Ａ１、中央分離線Ａ２が確定される。
【００３９】
ＣＰＵ１４は、走行路認識処理の最後にＳ２１で走行線データ生成処理を実行する。その結果、実際の走行路を形成する走行線として確定された左右両側の走行線Ａ１，Ａ２の各路面画像ＡＬ，ＡＲにおける撮像位置を示す走行線データが生成される。
【００４０】
以上詳述した本実施の形態によれば、以下に記載の各効果を得ることができる。
（１）  テンプレートマッチングによる走行線の認識方式において複数の各標準プレートと路面画像との相関を計るために行うような大量の演算処理が必要ない。又、走行路に沿った長さが所定値未満である敷き石Ｃ等の認識障害物は検出されず、同長さが所定値以上である影、路面標識Ｂ等は走行線Ａ１，Ａ２でないと判別される。その結果、短い時間で、しかも、高い確度で路肩線Ａ１、中央分離線Ａ２等の走行線を判別して走行路を画像認識することができる。
【００４１】
（２）  左右一対で同じ間隔で連続しておらず、実際の走行路を形成していない帯状対象物は実際の走行線Ａ１，Ａ２として認識されず、実際の走行路を形成している走行線Ａ１，Ａ２のみが検出される。その結果、例えば、道路工事時等において、実際の走行路として仮の走行路が使用されており、以前の走行路の走行線が連続しない状態で残っているような場合に、連続しておらず実際の走行路を形成していない走行線から間違った走行路を画像認識せず、連続する走行線を判別して正しい走行路を画像認識することができる。
【００４２】
（３）  確定された走行線の路面画像における撮像位置を示す走行線データが生成されるので、走行線データから、走行線Ａ１，Ａ２に対する車両の位置関係を把握することができる。このため、走行線データに基づいて、車両の走行時に走行車線の変更を行おうとしていない状態での走行路の中央からの偏り又は逸脱を検出して運転者に警告したり、あるいは、同じく走行路から逸脱しないように操舵輪を自動で操舵制御することができる。
【００４３】
以下、本発明を具体化した上記実施の形態以外の実施の形態を別例として列挙する。
・  路面画像を撮影する撮像手段は、ＣＣＤカメラに限らず、その他例えばＣＭＯＳカメラであってもよい。
【００４４】
・  走行路の左右両側の走行線を含む路面画像を撮影する左右のカメラを設ける車両の部位は、左右のドアミラーに限らず、その他例えば、ドア、タイヤルーフ、バンパ等であってもよい。
【００４５】
・  左右に設けたカメラで別個に撮影した左右一対の路面画像ＡＬ，ＡＲに基づいて左右走行線検出処理を行う代りに、左右両側の走行線を含むように撮影した１つの路面画像に基づいて左右走行線検出処理を行うようにしてもよい。
【００４６】
・  辺縁領域データは、各辺縁データにおいて横軸Ｘの同一の位置における濃度変化値と、同一の位置において所定値以上である濃度変化値の頻度の少なくとも一方が反映された累積変化値に基づいて、分割領域の進行軸方向に相対向する両端縁を通過する辺縁が存在する境界領域を検出することができるものであればよい。従って、辺縁領域データは、その分割領域Ａｄの全ての線領域の辺縁データにおける所定値以上の濃度変化値の加算値を横軸Ｘの各位置に対応させたものに限らない。その他例えば、各辺縁データにおいて横軸Ｘに対する同一の位置における濃度変化値をそのまま加算して生成する辺縁領域データであってもよい。あるいは、各辺縁データにおいて横軸Ｘに対する同一の位置において所定値以上である濃度変化値の頻度を横軸Ｘの各位置に対応させた辺縁領域データであってもよい。又、各辺縁データにおいて横軸Ｘに対する同一の位置における濃度変化値を反映した頻度を横軸Ｘの各位置に対応させた辺縁領域データであってもよい。
【００４７】
・  辺縁データを生成する線領域は、画素行に限らず、進行方向に複数配列された画素の集合によって形成される線領域でもよい。この場合、辺縁データは、例えば、横軸Ｘの各位置にある複数の画素の画素信号を平均化した値から生成される路面画像データの濃度変化値を示すデータであってもよい。
【００４８】
・  走行路認識装置は、走行路データに基づき、車両が走行車線を変更する状態でないときに、走行路に対する車両の左右いずれかの側の偏り、又は、走行路からの逸脱を検出し、運転者に警告する走行状態監視装置と共に走行補助装置を構成するものであってもよい。この構成では、走行路を形成する走行線を検出することで車両の運転を間接的に補助することができ、走行路に車両誘導線や車両検出センサを埋設する必要がない。
【００４９】
又、走行路認識装置は、走行路データに基づき、車両が走行車線を変更する状態でないときに、走行路に対する車両の左右いずれかの側の偏り、又は、走行路からの逸脱を検出し、運転者に警告する走行状態監視装置と共に走行補助装置を構成するものでってもよい。この構成では、走行路を形成する走行線を検出することで車両の運転を直接補助することができ、走行路に車両誘導線や車両検出センサを埋設する必要がない。
【００５０】
以下、特許請求の範囲に記載した各発明の外に前述した実施の形態及び各別例から把握される技術的思想をその効果とともに記載する。
（１）  請求項４に記載の走行路認識装置と、前記走行路データに基づき、車両が走行車線を変更する状態でないときに、前記走行路に対する車両の左右いずれかの側の偏り、又は、走行路からの逸脱を検出し、運転者に警告する走行状態監視装置とを備えた走行補助装置。このような構成によれば、走行路を形成する走行線を検出することで車両の運転を間接的に補助することができ、走行路に車両誘導線や車両検出センサを埋設する必要がない。
【００５１】
（２）  請求項４に記載の走行路認識装置と、前記走行路データに基づき、車両が走行車線を変更する状態でないときに、前記走行路に対する車両の左右いずれかの側の偏り、又は、走行路からの逸脱を検出し、操舵輪を操舵制御して車両の走行路の中央に復帰させる走行補助装置とを備えた運転補助装置。このような構成によれば、走行路を形成する走行線を検出することで車両の運転を直接補助することができ、走行路に車両誘導線や車両検出センサを埋設する必要がない。
【００５２】
【発明の効果】
以上詳述したように、請求項１〜請求項４に記載の発明によれば、より短い時間で、しかも、高い確度で、走行路を形成する中央分離線、路肩線等の走行線を判別して走行路を画像認識することができる。
【００５３】
請求項２〜請求項４に記載の発明によれば、連続しておらず実際の走行路を形成していない走行線が走行路面にあっても、連続する走行線を判別して正しい走行路を画像認識することができる。
【００５４】
請求項３又は請求項４に記載の発明によれば、走行路に対する車両の位置関係を示す走行データが出力される。
【図面の簡単な説明】
【図１】  走行路認識処理のフローチャート。
【図２】  走行路認識処理のフローチャート。
【図３】  走行路認識装置の模式ブロック図。
【図４】  走行路と各ＣＣＤカメラの撮影領域を示す模式図。
【図５】  左側のＣＣＤカメラによる路面画像を示す模式図。
【図６】  右側のＣＣＤカメラによる路面画像を示す模式図。
【図７】  （ａ）は分割領域の模式図、（ｂ）は線領域の１つの辺縁データのグラフ、（ｃ）は分割領域の１つの辺縁領域データのグラフ。
【符号の説明】
１１ａ，１１ｂ…撮像手段としてのＣＣＤカメラ、１２…画像処理手段としての画像処理ユニット、ＡＬ，ＡＲ…路面画像、Ａｄ１〜Ａｄ９…分割領域、Ｃ…車両、ＬＡ…線領域、Ｘ…横軸、Ｙ…進行軸、ε１，ε２，ε３…境界領域。
【図１】
0004283383.tif 000002
【図２】
0004283383.tif 000003
【図３】
0004283383.tif 000004
【図４】
0004283383.tif 000005
【図５】
0004283383.tif 000006
【図６】
0004283383.tif 000007
【図７】
0004283383.tif 000008