(57)【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段を介して道路の画像を取得する画像取得手段と、
前記画像取得手段により取得された画像にエッジ抽出処理を施してエッジ点を抽出するエッジ抽出手段と、
前記エッジ抽出手段により抽出されたエッジ点から、直線的に位置する複数のエッジ点の点列データである直線成分を探索する直線探索手段と、
前記直線探索手段により探索された各直線成分に対して、該各直線成分が前記道路の線型のレーンマークに近似する度合を示す評価値を算出する評価値算出手段と、
前記直線探索手段により探索された直線成分のうちの、前記評価値又は該評価値の時系列にフィルタリング処理を施してなる値が所定閾値より大きい直線成分を、前記レーンマークに対応する直線成分の候補として選別するレーンマーク候補選別手段と、
前記レーンマーク候補選別手段により選別された前記直線成分の候補のうちから、前記レーンマークに対応する直線成分を決定して、該レーンマークを検出するレーンマーク検出手段とを有し、
前記評価値算出手段は、前記直線成分を構成するエッジ点の数と、該エッジ点のうちの連続したエッジ点の数との比を用いて、前記評価値を算出することを特徴とする車両。
【請求項３】
前記評価値算出手段は、前記直線成分を構成するエッジ点の数と、該エッジ点のうちの連続したエッジ点の数との比に、前記直線成分の実空間上の位置と前記車両との距離に基づく補正処理を施して、前記評価値を算出することを特徴とする請求の範囲第１項記載の車両。
【請求項４】
前記評価値算出手段は、前記補正処理として、前記直線成分を構成するエッジ点の数と、該エッジ点のうちの連続したエッジ点の数との比に、前記直線成分の実空間上の位置と前記車両との距離が長いほど小さくなるように設定された補正係数を乗じる処理を行うことを特徴とする請求の範囲第３項記載の車両。
【請求項５】
前記評価値算出手段は、前記直線成分の実空間上の位置と前記車両との距離が、第１所定距離未満のときには、前記補正係数を所定の上限値とすることを特徴とする請求の範囲第４項記載の車両。
【請求項６】
前記評価値算出手段は、前記直線成分の実空間上の位置と前記車両との距離が、第２所定距離より長いときには、前記補正係数を所定の下限値とすることを特徴とする請求の範囲第４項記載の車両。
【請求項７】
前記評価値算出手段は、前記直線成分の実空間上の位置と前記車両との距離が、第２所定距離より長いときには、前記補正係数を所定の下限値とすることを特徴とする請求の範囲第５項記載の車両。
【請求項８】
前記レーンマーク候補選別手段は、前記画像内で実空間において前記車両から所定距離以上離れた場所に相当する範囲を特定する手段と、該範囲に含まれる直線成分を選別するときの前記閾値を、該範囲に含まれない直線成分を選別するときの前記閾値よりも大きい値に設定する手段とを備えることを特徴とする請求の範囲第１項記載の車両。
【請求項９】
車両に搭載された撮像手段を介して道路の画像を取得する画像取得手段と、
前記画像取得手段により取得された画像にエッジ抽出処理を施してエッジ点を抽出するエッジ抽出手段と、
前記エッジ抽出手段により抽出されたエッジ点から、直線的に位置する複数のエッジ点の点列データである直線成分を探索する直線探索手段と、
前記直線探索手段により探索された各直線成分に対して、該各直線成分が前記道路の線型のレーンマークに近似する度合を示す評価値を算出する評価値算出手段と、
前記直線探索手段により探索された直線成分のうちの、前記評価値又は該評価値の時系列にフィルタリング処理を施してなる値が所定閾値より大きい直線成分を、前記レーンマークに対応する直線成分の候補として選別するレーンマーク候補選別手段と、
前記レーンマーク候補選別手段により選別された前記直線成分の候補のうちから、前記レーンマークに対応する直線成分を決定して、該レーンマークを検出するレーンマーク検出手段とを有し、
前記評価値算出手段は、前記直線成分を構成するエッジ点の数と、該エッジ点のうちの連続したエッジ点の数との比を用いて、前記評価値を算出することを特徴とするレーンマーク検出装置。
【請求項１１】
前記評価値算出手段は、前記直線成分を構成するエッジ点の数と、該エッジ点のうちの連続したエッジ点の数との比に、前記直線成分の実空間上の位置と前記車両との距離に基づく補正処理を施して、前記評価値を算出することを特徴とする請求の範囲第９項記載のレーンマーク検出装置。
【請求項１２】
前記評価値算出手段は、前記補正処理として、前記直線成分を構成するエッジ点の数と、該エッジ点のうちの連続したエッジ点の数との比に、前記直線成分の実空間上の位置と前記車両との距離が長いほど小さくなるように設定された補正係数を乗じる処理を行うことを特徴とする請求の範囲第１１項記載のレーンマーク検出装置。
【請求項１３】
前記評価値算出手段は、前記直線成分の実空間上の位置と前記車両との距離が、第１所定距離未満のときには、前記補正係数を所定の上限値とすることを特徴とする請求の範囲第１２項記載のレーンマーク検出装置。
【請求項１４】
前記評価値算出手段は、前記直線成分の実空間上の位置と前記車両との距離が、第２所定距離より長いときには、前記補正係数を所定の下限値とすることを特徴とする請求の範囲第１２項記載のレーンマーク検出装置。
【請求項１５】
前記評価値算出手段は、前記直線成分の実空間上の位置と前記車両との距離が、第２所定距離より長いときには、前記補正係数を所定の下限値とすることを特徴とする請求の範囲第１３項記載のレーンマーク検出装置。
【請求項１６】
前記レーンマーク候補選別手段は、前記画像内で実空間において前記車両から所定距離以上離れた場所に相当する範囲を特定する手段と、該範囲に含まれる直線成分を選別するときの前記閾値を、該範囲に含まれない直線成分を選別するときの前記閾値よりも大きい値に設定する手段とを備えることを特徴とする請求の範囲第９項記載のレーンマーク検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ等の撮像手段を介して取得された道路の画像を処理して、道路の白線等のレーンマークを検出する車両及びレーンマーク検出装置に関する。
【背景技術】
【０００２】
近年、車両にＣＣＤカメラ等の撮像手段を搭載して、走行している道路の路面を撮像し、得られた画像を処理して道路上の白線等のレーンマークを検出し、検出した結果から認識される車両が走行する車線（走行レーン）の情報に基づいて、車両の制御や運転者への情報の提示を行う技術が知られている（例えば日本国公開特許公報平成１１−１４７４７３号（以下、特許文献１という）参照）。【０００３】
特許文献１の保舵力補助装置においては、道路の画像上の複数の水平線に対して、各水平線上の輝度をそれぞれ左から横方向に微分して、微分値のピークに基づいて、輝度が暗から明に変化する点（正エッジ点）と、輝度が明から暗に変化する点（負エッジ点）とが抽出される。そして、各水平線上でエッジ点が正、負の順に現れ、且つそれぞれのエッジ点の間隔が白線として妥当と思われる程度に納まっている組み合わせが白線候補として抽出され、抽出された白線候補のうちから画像上の位置等に基づいて白線が検出される。【０００４】
しかしながら、道路の路面上には、白線等のレーンマークの他に、例えば、走行する車両の車輪の跡（轍）が生じていることがある。この轍は、白線の近傍で白線に沿って生じることが多く、また、白線のようにエッジ部分で輝度が変化するため、撮像した画像上で白線と似た特徴を持つものとなる。特に、雨上がりのように路面が濡れた状態では、轍のエッジ部分が光を反射して、そのエッジ部分での路面との輝度差は、白線と路面との輝度差と近いものとなる。よって、特許文献１のものでは、路面上の轍等のレーンマーク以外のものと白線等のレーンマークとを区別することが困難であり、レーンマーク以外のものをレーンマークとして誤検出してしまう場合があるという不都合があった。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、かかる不都合を解消し、道路の画像から白線等の線型のレーンマークを検出する際に、路面上のレーンマーク以外のものを白線等の線型のレーンマークとして誤検出することを抑制して検出精度を向上することができる車両及びレーンマーク検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は上記目的を達成するためになされたものであり、本発明の車両は、撮像手段と、
前記撮像手段を介して道路の画像を取得する画像取得手段と、前記画像取得手段により取得された画像にエッジ抽出処理を施してエッジ点を抽出するエッジ抽出手段と、前記エッジ抽出手段により抽出されたエッジ点から、直線的に位置する複数のエッジ点の点列データである直線成分を探索する直線探索手段と、前記直線探索手段により探索された各直線成分に対して、該各直線成分が前記道路の線型のレーンマークに近似する度合を示す評価値を算出する評価値算出手段と、前記直線探索手段により探索された直線成分のうちの、前記評価値又は該評価値の時系列にフィルタリング処理を施してなる値が所定閾値より大きい直線成分を、前記レーンマークに対応する直線成分の候補として選別するレーンマーク候補選別手段と、前記レーンマーク候補選別手段により選別された前記直線成分の候補のうちから、前記レーンマークに対応する直線成分を決定して、該レーンマークを検出するレーンマーク検出手段とを有する。【０００７】
また、本発明のレーンマーク検出装置は、車両に搭載された撮像手段を介して道路の画像を取得する画像取得手段と、前記画像取得手段により取得された画像にエッジ抽出処理を施してエッジ点を抽出するエッジ抽出手段と、前記エッジ抽出手段により抽出されたエッジ点から、直線的に位置する複数のエッジ点の点列データである直線成分を探索する直線探索手段と、前記直線探索手段により探索された各直線成分に対して、該各直線成分が前記道路の線型のレーンマークに近似する度合を示す評価値を算出する評価値算出手段と、前記直線探索手段により探索された直線成分のうちの、前記評価値又は該評価値の時系列にフィルタリング処理を施してなる値が所定閾値より大きい直線成分を、前記レーンマークに対応する直線成分の候補として選別するレーンマーク候補選別手段と、前記レーンマーク候補選別手段により選別された前記直線成分の候補のうちから、前記レーンマークに対応する直線成分を決定して、該レーンマークを検出するレーンマーク検出手段とを有する。【０００８】
前記本発明の車両及びレーンマーク検出装置において、例えば、雨上がりの路面に轍が所在する場合に、前記エッジ抽出手段により抽出されたエッジ点から、前記直線探索手段により直線成分の探索を行うと、白線等の線型のレーンマークに対応した直線成分と共に、轍等のレーンマーク以外のものに対応した直線成分も探索されることがある。そこで、前記評価値算出手段は、前記直線探索手段により探索された各直線成分に対して、該各直線成分が前記道路の線型のレーンマークに近似する度合を示す評価値を算出する。そして、前記レーンマーク候補決定手段は、前記直線探索手段により探索された直線成分のうちの、前記評価値又は該評価値の時系列にフィルタリング処理を施してなる値が所定閾値より大きい直線成分を、前記レーンマークに対応する直線成分の候補として選別する。【０００９】
この場合、路面上の轍等のレーンマーク以外のものに対応した直線成分は、評価値が小さくなるため選別されないので、エッジ抽出と直線探索とでは区別することが困難な、白線等の線型のレーンマークと路面上の轍等のレーンマーク以外のものとを区別して、レーンマークに対応する直線成分の候補を選別することができる。そして、前記レーンマーク検出手段は、選別された直線成分のうちからレーンマークに対応する直線成分を決定してレーンマークを検出するので、路面上の轍等のレーンマーク以外のものがレーンマークとして誤検出されることを抑制して、白線等の線型のレーンマークの検出精度を向上することができる。特に前記評価値の時系列にフィルタリング処理を施してなる値を使用することで、線型のレーンマークの検出を安定して行なうことができる。【００１０】
また、前記本発明の車両及びレーンマーク検出装置において、前記評価値算出手段は、前記直線成分を構成するエッジ点の数と、該エッジ点のうちの連続したエッジ点の数との比を用いて、前記評価値を算出することを特徴とする。【００１１】
これによれば、路面上に塗装された白線等の線型のレーンマークに対応する直線成分を構成するエッジ点は、画像上で途切れることなく抽出されると想定される。これに対し、路面上の轍等のレーンマーク以外のものは不規則に点在し、さらに、雨上がりの路面状態や光の反射状態も路面内でばらつきがあるため、対応する直線成分を構成するエッジ点は、画像上で部分的に途切れることが多くなると想定される。よって、前記評価値算出手段は、前記直線成分を構成するエッジ点の数と、該エッジ点のうちの連続したエッジ点の数との比を用いることで、白線等の線型のレーンマークと路面上の轍等のレーンマーク以外のものとを区別可能な前記評価値を算出することができる。【００１２】
また、前記本発明の車両及びレーンマーク検出装置において、前記評価値算出手段は、前記直線成分を構成するエッジ点の数と、該エッジ点のうちの連続したエッジ点の数との比に、前記直線成分の実空間上の位置と前記車両との距離に基づく補正処理を施して、前記評価値を算出することを特徴とする。【００１３】
これによれば、撮像手段により撮像される画像におけるレーンマーク等の被検出物に対応した部分の大きさは、該被検出物と車両との距離が長いほど小さくなる。そのため、実空間における該被検出物の単位長さ辺りの画像処理の分解能が低くなる。そして、分解能が低くなると、被検出物に対応する直線成分を構成するエッジ点が画像上で途切れていることが判別されにくくなるため、被検出物に対応する直線成分を構成するエッジ点の数と、該エッジ点のうちの連続したエッジ点の数との比は、分解能に応じて変化すると考えられる。そこで、前記評価値算出手段により、前記直線成分を構成するエッジ点の数と、該エッジ点のうちの連続したエッジ点の数との比に、前記直線成分の実空間上の位置と前記車両との距離に基づく補正処理を施して前記評価値を算出することによって、車両との距離に応じて変化する、被検出物に対する画像処理の分解能の変動の影響を反映させた評価値を算出することができる。【００１４】
さらに、前記本発明の車両及びレーンマーク検出装置において、前記評価値算出手段は、前記補正処理として、前記直線成分を構成するエッジ点の数と、該エッジ点のうちの連続したエッジ点の数との比に、前記直線成分の実空間上の位置と前記車両との距離が長いほど小さくなるように設定された補正係数を乗じる処理を行うことを特徴とする。【００１５】
これによれば、レーンマーク等の被検出物と車両との距離が長いほど、画像上で該被検出物は小さく撮像され、実空間における該被検出物の単位長さ辺りの画像処理の分解能が低くなる。そして、分解能が低いほど、被検出物に対応する直線成分を構成するエッジ点が画像上で途切れていることが判別されにくくなるため、レーンマーク以外のものに対応する直線成分を構成するエッジ点の数と、該エッジ点のうちの連続したエッジ点の数との比が、大きくなり易くなると想定される。そこで、前記評価値算出手段は、前記補正処理として、前記直線成分を構成するエッジ点の数と、該エッジ点のうちの連続したエッジ点の数との比に、前記直線成分の実空間上の位置と前記車両との距離が長いほど小さくなるように設定された補正係数を乗じる処理を行って、前記評価値を算出する。これにより、車両の遠方にあるレーンマーク以外のものに対応する直線成分の評価値が高くなって、該直線成分がレーンマークに対応する直線成分の候補として選別されることを抑制することができる。【００１６】
さらに、前記本発明の車両及びレーンマーク検出装置において、前記評価値算出手段は、前記直線成分の実空間上の位置と前記車両との距離が、第１所定距離未満のときには、前記補正係数を所定の上限値とすることを特徴とする。【００１７】
これによれば、レーンマーク等の被検出物と車両との距離が前記第１所定距離より短く、実空間における該被検出物の単位長さ辺りの画像処理の分解能が十分に高くなっているときに、前記補正係数を大きくすると、レーンマーク以外のものに対応する直線成分の評価値が大きくなって、レーンマークに対応する直線成分の候補として選別される虞がある。よって、前記評価値算出手段は、前記直線成分の実空間上の位置と前記車両との距離が、第１所定距離未満のときには、前記補正係数を所定の上限値として、前記評価値を算出する。これにより、車両の近傍にある被検出物に対応する直線成分の評価値を算出する際の補正係数が過大になることを防止し、車両の近傍にあるレーンマーク以外のものに対応する直線成分の評価値が大きくなって、該直線成分がレーンマークに対応する直線成分の候補として選別されることを抑制することができる。【００１８】
さらに、前記本発明の車両及びレーンマーク検出装置において、前記評価値算出手段は、前記直線成分の実空間上の位置と前記車両との距離が、第２所定距離より長いときには、前記補正係数を所定の下限値とすることを特徴とする。【００１９】
これによれば、レーンマーク等の被検出物と車両との距離が前記第２所定距離より長く、実空間における該被検出物の単位長さ辺りの画像処理の分解能が不足した状況になると、信頼できる評価値を算出することができなくなると考えられる。そこで、前記評価値算出手段は、前記直線成分の実空間上の位置と前記車両との距離が、第２所定距離より長いときには、前記補正係数を所定の下限値として、前記評価値を算出する。これにより、分解能が不足するような車両の遠方にある直線成分の評価値を一律に小さくし、車両の遠方にあるレーンマーク以外のものに対応する直線成分が、レーンマークに対応する直線成分の候補として選別されることを抑制することができる。【００２０】
また、前記本発明の車両及びレーンマーク検出装置において、前記レーンマーク候補選別手段は、前記画像内で実空間において前記車両から所定距離以上離れた場所に相当する範囲を特定する手段と、該範囲に含まれる直線成分を選別するときの前記閾値を、該範囲に含まれない直線成分を選別するときの前記閾値よりも大きい値に設定する手段とを備えることを特徴とする。【００２１】
これによれば、実空間においてレーンマーク等の被検出物が車両から離れた場所に所在する場合には、画像上で該被検出物は小さく撮像され、被検出物に対応する直線成分を構成するエッジ点が画像上で途切れていることが判別されにくくなるため、レーンマーク以外のものに対応する直線成分の評価値が大きくなり易いと想定される。そこで、前記レーンマーク候補選別手段は、前記画像内で実空間において前記車両から所定距離以上離れた場所に相当する範囲を特定し、該範囲に含まれる直線成分を選別するときの前記閾値を、該範囲に含まれない直線成分を選別するときの前記閾値よりも大きい値に設定する。これにより、車両から所定距離以上では選別の判定を厳しくし、車両から所定距離内では選別の判定を緩くすることで、車両から離れた場所に所在するレーンマーク以外のものに対応する直線成分が、レーンマークに対応する直線成分の候補として選別されることを抑制することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１実施形態によるレーンマーク検出装置の機能ブロック図。
【図２】図１のレーンマーク検出装置のレーンマーク検出処理を示すフローチャート。
【図３】図２のレーンマーク検出処理における処理画像の例示図。
【図４】図２のレーンマーク検出処理における評価値の算出に関する説明図。
【図５】図２のレーンマーク検出処理における実空間上の直線成分の位置と車両との距離と、補正係数との関係を示すグラフ。
【図６】本発明の第２実施形態によるレーンマーク検出装置の機能ブロック図。
【図７】図６のレーンマーク検出装置のレーンマーク検出処理における直線成分を分類する処理に関する説明図。
【発明を実施するための最良の形態】
【００２３】
［第１実施形態］
まず、本発明の第１実施形態を図１〜図５を参照して説明する。【００２４】
図１を参照して、レーンマーク検出装置２は、マイクロコンピュータ等により構成された電子ユニットであり、車両１に搭載されたビデオカメラ３を介して道路の画像を取得する画像取得手段４と、取得した画像からエッジ点を抽出するエッジ抽出手段５と、抽出さらたエッジ点から直線成分を探索する直線探索手段６と、探索された各直線成分が道路の線型のレーンマークに近似する度合を示す評価値を算出する評価値算出手段７と、算出された評価値に応じて直線成分からレーンマークの候補を選別するレーンマーク候補選別手段８と、選別されたレーンマークの候補からレーンマークを検出するレーンマーク検出手段９とを備えて、車両１に搭載される。【００２５】
画像取得手段４は、車両１のフロント部分に取り付けられて車両１の前方の画像を撮像するビデオカメラ３（ＣＣＤカメラ等、本発明の撮像手段）を介して、画素データにより構成される道路の画像を取得する。なお、ビデオカメラ３とレーンマーク検出装置２とを備えることにより、本発明の車両が構成される。【００２６】
エッジ抽出手段５は、画像取得手段４により取得された画像にエッジ抽出処理を施してエッジ点を抽出する。エッジ点は、画像の輝度が高輝度（明）から低輝度（暗）、又は低輝度（暗）から高輝度（明）に変化する点である。【００２７】
直線探索手段６は、エッジ抽出手段５により抽出されたエッジ点から、直線的に位置する複数のエッジ点の点列データである直線成分を探索する。なお、画像からエッジ点を抽出して直線成分を探索する具体的な手法としては、例えば、本出願人による日本国特許第３４２９１６７号に記載されているような手法を用いることができる。【００２８】
評価値算出手段７は、直線探索手段６により探索された各直線成分に対して、該各直線成分が道路の線型のレーンマークに近似する度合を示す評価値を算出する。このとき、評価値算出手段７は、各直線成分を構成するエッジ点の数と、該エッジ点のうちの連続したエッジ点の数との比に、所定の補正係数を乗じる補正処理を施して評価値を算出する。【００２９】
レーンマーク候補選別手段８は、直線探索手段６により探索された直線成分のうちから、評価値算出手段７により算出された評価値が所定閾値より大きい直線成分を、道路の線型のレーンマークに対応する直線成分の候補（レーンマークの候補）として選別する。このとき、レーンマーク候補選別手段８は、画像取得手段４により取得された画像内で、車両１から所定距離以上離れた場所に相当する範囲を特定し、該範囲に含まれる直線成分を選別するときの閾値を、該範囲に含まれない直線成分を選別するときの閾値よりも大きい値に設定する。【００３０】
レーンマーク検出手段９は、レーンマーク候補選別手段８により選別された直線成分の候補のうちから、道路の線型のレーンマークに対応する直線成分を決定し、レーンマークを検出する。【００３１】
次に、本実施形態のレーンマーク検出装置２の作動（レーンマーク検出処理）を、図２に示したフローチャートに従って説明する。以下では、図３（ａ）に示したように、車両１の進行方向が矢示方向であり、車両１の走行している道路の車線の右側が線型のレーンマークＡ０で規定され、車線の左側が線型のレーンマークＡ１で規定されている場合を例にして説明する。図３（ａ）に示した例において、路面上のレーンマークＡ０の車線内側の近傍に、轍Ｔが生じている。なお、レーンマークＡ０，Ａ１は白線であり、レーンマーク検出装置２の検出対象である。【００３２】
図２を参照して、まず、画像取得手段４は、ビデオカメラ３から出力される映像信号を入力して、画素データにより構成される道路の画像Ｉ０を取得する（ＳＴＥＰ００１）。ここで、画像Ｉ０は、図３（ａ）に例示するような、Ｍ行×Ｎ列の画素からなる画像である。なお、車両１のレーンマーク検出装置２は、所定の制御サイクル毎に図２のＳＴＥＰ００１〜０１１のレーンマーク検出処理を実行する。【００３３】
次に、ＳＴＥＰ００２で、エッジ抽出手段５は、取得された画像Ｉ０にエッジ抽出処理を施してエッジ点を抽出する。このとき、画像Ｉ０上で探索方向を右として、画像Ｉ０の輝度が高輝度（明）から低輝度（暗）に変化するエッジ点は負エッジ点として抽出され、低輝度（暗）から高輝度（明）に変化するエッジ点は正エッジ点として抽出される。【００３４】
これにより、図３（ｂ）の画像Ｉ１に示すように、画像Ｉ０上のエッジ点が抽出される。なお、図３（ｂ）において、正エッジ点は「＋」で図示され、負エッジ点は「−」で図示されている。図３（ｂ）を参照して、白線Ａ０，Ａ１の左側のエッジ部分が正エッジ点として抽出され、白線Ａ０，Ａ１の右側のエッジ部分が負エッジ点として抽出される。また、轍Ｔの左側のエッジ部分が正エッジ点として抽出され、轍Ｔの右側のエッジ部分が負エッジ点として抽出される。【００３５】
次に、ＳＴＥＰ００３で、直線探索手段６は、抽出したエッジ点から、直線的に位置する複数のエッジ点の点列データである直線成分を探索する。まず、直線探索手段６は、抽出した正エッジ点と負エッジ点とを、それぞれハフ変換し、ハフ空間で直線成分Ｌを探索する。このとき、白線に対応する直線成分は、一般に画像上で無限遠点に向かっているので、直線探索手段６は、無限遠点を通る直線群上に位置する複数のエッジ点の点列を探索する。次に、直線探索手段６は、探索された直線成分のデータを、ハフ空間から画像空間へ射影変換し、さらに、画像空間から実空間（車両に固定された座標空間）へ射影変換する。【００３６】
これにより、ｎ個の直線成分Ｌ０，Ｌ１，．．．，Ｌn-1が探索される。各直線成分Ｌ０〜Ｌn-1は、それぞれ、複数のエッジ点で示される点列の座標データを成分とする。例えば、図３（ｂ）の画像Ｉ１に示したエッジ点からは、６個の直線成分Ｌ０〜Ｌ５が探索される。【００３７】
次に、探索された各直線成分Ｌ０〜Ｌn-1について、ＳＴＥＰ００４〜０１０の処理が、それぞれ実行される。なお、以下では、各直線成分Ｌ０〜Ｌn-1を、Ｌｉ（ｉ＝０，１，．．．，n-1）で表している。【００３８】
まず、ＳＴＥＰ００４において、評価値算出手段７は、直線成分Ｌｉの評価値Ｑｉを算出するために、直線成分Ｌｉを構成するエッジ点の数Ｗｉと、該エッジ点のうちの連続したエッジ点の数Ｕｉとの比Ｘｉを算出する。評価値算出手段７は、直線成分Ｌｉを構成するＷｉ個のエッジ点のうちの連続したエッジ点の数Ｕｉを算出する。そして、評価値算出手段７は、連続したエッジ点の数Ｕｉをエッジ点の総数Ｗｉで除算して、比Ｘｉを算出する（Ｘｉ＝Ｕｉ／Ｗｉ）。【００３９】
ここで、比Ｘｉを算出する処理について、図４を参照して説明する。図４に例示した画像Ｉexには、白線等の被検出物Ａexと、被検出物Ａexの車線内側のエッジ部分に対応する直線成分Ｌexを構成する総数Ｗex＝６個のエッジ点Ｐ０〜Ｐ５とが模式的に示されている。図４に水平方向に示されているラインＳ０〜Ｓ７は、それぞれ、探索ラインであり、画像Ｉexの画素データの各行に対応する。なお、図４において車両１の進行方向は矢示方向である。【００４０】
図４を参照して、探索ラインＳ０，Ｓ１，Ｓ２上には、それぞれエッジ点Ｐ０，Ｐ１，Ｐ２が所在する。探索ラインＳ３上には、エッジ点が所在せず、探索ラインＳ４，Ｓ５上には、それぞれエッジ点Ｐ３，Ｐ４が所在する。探索ラインＳ６上には、エッジ点が所在せず、探索ラインＳ７上には、エッジ点Ｐ５が所在する。このとき、隣接する探索ライン上で連続して抽出されているエッジ点の組合せ｛Ｐ０，Ｐ１，Ｐ２｝、｛Ｐ３，Ｐ４｝、｛Ｐ５｝のうち、最も多くのエッジ点を含む｛Ｐ０，Ｐ１，Ｐ２｝のエッジ点の数３が、連続したエッジ点の数Ｕexとして設定される。そして、連続したエッジ点の数Ｕexをエッジ点の総数Ｗexで除算して、比Ｘexが算出される。【００４１】
図３（ｂ）の画像Ｉ１に示した例では、白線Ａ０，Ａ１に対応する直線成分Ｌ０，Ｌ１，Ｌ４，Ｌ５を構成するエッジ点は、画像Ｉ１上で途切れることなく抽出されるため、比Ｘ０，Ｘ１，Ｘ４，Ｘ５が大きくなる。また、轍Ｔに対応する直線成分Ｌ２，Ｌ３を構成するエッジ点は、画像Ｉ１上で部分的に途切れるため、比Ｘ２，Ｘ３が小さくなる。よって、後述のＳＴＥＰ００６で直線成分Ｌｉの評価値Ｑｉを算出する際に、直線成分Ｌｉを構成するエッジ点の数Ｗｉと、該エッジ点のうちの連続したエッジ点の数Ｕｉとの比Ｘｉを用いることで、白線Ａ０，Ａ１に対応する直線成分と轍Ｔに対応する直線成分とを区別可能な評価値Ｑｉが算出される。【００４２】
次に、ＳＴＥＰ００５で、評価値算出手段７は、直線成分Ｌｉの評価値Ｑｉを算出するための補正係数Ｙｉを決定する。補正係数Ｙｉは、例えば、図５に示すような、直線成分Ｌと車両１との距離Ｄと補正係数Ｙとの関係を示すグラフを用いて、Ｄ＝Ｄｉに対応するＹをＹｉとして決定される。図５のグラフは、横軸を直線成分Ｌの実空間（車両に固定された座標空間）上の位置と車両１との距離Ｄとし、縦軸を補正係数Ｙとして、距離Ｄと補正係数Ｙとの関係を示したものである。【００４３】
図５のグラフにより、補正係数Ｙは、距離ＤがＤth1未満のときには１に決定される。距離Ｄth1は、実空間における白線等の被検出物の単位長さ辺りの画像処理の分解能が、十分に高くなっていると想定して予め定められた値（本発明の第１所定距離）である。これにより、車両１の近傍にある被検出物に対応する直線成分の評価値Ｑを算出する際の補正係数Ｙが過大になることを防止し、後述のＳＴＥＰ００８〜０１０の処理において、車両１の近傍にある白線以外のものに対応する直線成分の評価値Ｑが大きくなって、該直線成分が白線に対応する直線成分の候補として選別されることを抑制することができる。【００４４】
また、図５のグラフにより、補正係数Ｙは、距離ＤがＤth1以上で且つＤth2以下の範囲では、距離Ｄが大きくなるほど小さくなるように決定される。これにより、後述のＳＴＥＰ００８〜０１０の処理において、車両１の遠方にある白線以外のものに対応する直線成分の評価値Ｑが高くなって、該直線成分が白線に対応する直線成分の候補として選別されることを抑制することができる。【００４５】
また、図５のグラフにより、補正係数Ｙは、距離ＤがＤth2より大きいときには０に決定される。距離Ｄth2は、実空間における白線等の被検出物の単位長さ辺りの画像処理の分解能が、不足した状況になると想定して予め定められた値（本発明の第２所定距離）である。これにより、分解能が不足するような車両１の遠方にある被検出物に対応する直線成分の評価値Ｑを一律に０にして、後述のＳＴＥＰ００８〜０１０の処理において、車両１の遠方にある白線以外のものに対応する直線成分が、白線に対応する直線成分の候補として選別されることを抑制することができる。【００４６】
なお、直線成分Ｌの実空間上の位置と車両１との距離Ｄとしては、具体的には、直線成分Ｌを構成するエッジ点のうちの、実空間上の位置が車両１から最も近いエッジ点と車両１との距離を用いている。このとき、実空間上の位置が車両１から最も近いエッジ点とは、図４に模式的に例示した画像Ｉexでは点Ｐ０となる。また、距離Ｄとしては、直線成分Ｌを構成するエッジ点のうちの点列の中点等の実空間上の位置と車両１との距離を用いてもよい。【００４７】
次に、ＳＴＥＰ００６で、評価値算出手段７は、直線成分Ｌｉの評価値Ｑｉを、比Ｘｉに補正係数Ｙｉを乗じて算出する（Ｑｉ＝Ｘｉ×Ｙｉ）。これにより、直線成分Ｌｉに対して、車両１との距離に応じて変化する、被検出物に対する画像処理の分解能の変動の影響を反映させた、直線成分Ｌｉが白線に近似する度合を示す評価値Ｑｉが算出される。【００４８】
次に、ＳＴＥＰ００７で、レーンマーク候補選別手段８は、白線に対応する直線成分の候補を選別するための閾値Ｑthを決定する。まず、レーンマーク候補選別手段８は、直線成分Ｌｉが画像上で範囲Ｒに含まれているか否かを判断する。範囲Ｒは、実空間上で車両１から所定距離以上離れた場所に相当する範囲を想定して設定されたものである。本実施形態では、範囲Ｒは、図３（ｃ）の画像Ｉ２に示したように、実線αで囲まれた範囲に設定されている。【００４９】
判断の結果、直線成分Ｌｉが範囲Ｒに含まれない場合には、レーンマーク候補選別手段８は、白線に対応する直線成分の候補を選別するための閾値Ｑthを値Ｑth1とする。一方、判断の結果、直線成分Ｌｉが範囲Ｒに含まれる場合には、レーンマーク候補選別手段８は、白線に対応する直線成分の候補を選別するための閾値Ｑthを、閾値Ｑth1よりも大きい閾値Ｑth2とする。これにより、車両１から所定距離以上では選別の判定を厳しくし、車両から所定距離内では選別の判定を緩くすることで、後述のＳＴＥＰ００８〜０１０の処理において、車両１から離れた場所に所在する白線以外のものに対応する直線成分が、白線に対応する直線成分の候補として選別されることを抑制することができる。【００５０】
なお、直線成分Ｌｉが範囲Ｒに含まれるか否かは、具体的には、直線成分Ｌｉを構成するエッジ点のうちの、実空間上の位置が車両１から最も近いエッジ点が、範囲Ｒに含まれるか否かで判断している。【００５１】
次に、ＳＴＥＰ００８で、レーンマーク候補選別手段８は、直線成分Ｌｉの評価値Ｑｉを閾値Ｑthと比較する。ＳＴＥＰ００８の比較の結果がＹＥＳである場合（Ｑｉ≧Ｑth）には、ＳＴＥＰ００９に進み、レーンマーク候補選別手段８は、直線成分Ｌｉを、白線に対応する直線成分の候補（白線候補）として選別する。ＳＴＥＰ００８の比較の結果がＮＯである場合（Ｑｉ＜Ｑth）には、ＳＴＥＰ０１０に進み、レーンマーク候補選別手段８は、直線成分Ｌｉを、白線に対応する直線成分の候補（白線候補）から除外する。【００５２】
上述のＳＴＥＰ００４〜０１０の処理を各直線成分Ｌ０〜Ｌn-1について実行することにより、白線に近似する度合が高い直線成分が、白線に対応する直線成分の候補として選別される。図３（ｃ）の画像Ｉ２に示した例では、轍Ｔのエッジ部分から抽出されたエッジ点から探索された直線成分Ｌ２，Ｌ３は、評価値Ｑ２，Ｑ３が小さいので、白線に対応する直線成分の候補として選別されない。一方、白線Ａ０，Ａ１のエッジ部分から抽出されたエッジ点から探索された直線成分Ｌ０，Ｌ１，Ｌ４，Ｌ５は、評価値Ｑ０，Ｑ１，Ｑ４，Ｑ５が大きいので、白線に対応する直線成分の候補として選別される。よって、図３（ｄ）の画像Ｉ３に示したように、４個の直線成分Ｌ０，Ｌ１，Ｌ４，Ｌ５が、白線候補として選別される。【００５３】
次に、ＳＴＥＰ０１１に進み、レーンマーク検出手段９は、選別された白線候補から、車両１の走行する車線を規定する白線Ａ０，Ａ１を検出する。まず、レーンマーク検出手段９は、選別された白線候補のうちから、画像Ｉ３内の右側領域で、正エッジ点から探索された直線成分で、且つ、領域内で車線中心に最も近い直線成分Ｌ１を、白線Ａ０の車線内側のエッジ部分に対応する直線成分として決定する。同様に、レーンマーク検出手段９は、画像Ｉ３内の左側領域で、負エッジ点から探索された直線成分で、且つ、領域内で車線中心に最も近い直線成分Ｌ４を、白線Ａ１の車線内側のエッジ部分に対応する直線成分として決定する。【００５４】
次に、レーンマーク検出手段９は、白線Ａ０，Ａ１の車線内側のエッジ部分に対応する直線成分Ｌ１，Ｌ４に、それぞれ、白線Ａ０，Ａ１の車線外側のエッジ部分に対応する直線成分Ｌを組み合わせる。画像Ｉ３内の右側領域では、直線成分Ｌ１の右側に所在する負エッジ点から探索された直線成分で、且つそれぞれの直線成分の間隔が白線として妥当と思われる程度に納まっている直線成分Ｌ０が、直線Ｌ１と組み合わせられる。画像Ｉ３内の左側領域では、直線成分Ｌ４の左側に所在する、正エッジ点から探索された直線成分で、且つそれぞれの直線成分の間隔が白線として妥当と思われる程度に納まっている直線成分Ｌ５が、直線成分Ｌ４と組み合わせられる。これにより、図３（ｄ）の画像Ｉ３に例示するように、白線Ａ０は、直線成分Ｌ０，Ｌ１に挟まれる領域であり、白線Ａ１は、直線成分Ｌ４，Ｌ５に挟まれる領域であると検出される。【００５５】
以上の処理により、道路の路面上の轍Ｔを白線として誤検出せずに、道路の画像Ｉ０から白線Ａ０，Ａ１を精度良く検出することができる。
［第２実施形態］
次に、本発明の第２実施形態を、図６〜図７を参照して説明する。なお、本実施形態は、第１実施形態において、車両１に車速センサ１０とヨーレートセンサ１１とが搭載され、レーンマーク検出装置２に移動軌跡推定手段１２と、座標変換手段１３と、直線分類手段１４と、評価値フィルタリング手段１５とが備えられているものである。以下の説明では、第１実施形態と同一の構成については、第１実施形態と同一の参照符号を用いて説明を省略する。【００５６】
本実施形態では、車両１の走行速度（車速）を検出する車速センサ１０と、車両１のヨーレートを検出するヨーレートセンサ１１とが、車両１に搭載されている。【００５７】
また、移動軌跡推定手段１２は、車速センサ１０により検出される車両１の車速と、ヨーレートセンサ１１により検出される車両１のヨーレートとに基づいて、車両１の移動軌跡を推定する。そして、座標変換手段１３は、移動軌跡推定手段１２により推定された車両１の移動軌跡を用いて、直線探索手段６により探索された直線成分を、実空間（絶対空間）上に座標変換する。なお、移動軌跡を推定して直線成分を絶対空間上に座標変換する具体的な手法としては、例えば、本出願人による日本国特許第３５３８４７６号に記載されているような手法を用いることができる。【００５８】
直線分類手段１４は、各制御サイクルにおいて直線探索手段６により探索された直線成分と、該制御サイクル以前の制御サイクルにおいて直線成分手段６により探索された直線成分との同一性を判定する。このとき、直線分類手段１４は、座標変換手段１３により座標変換された、各直線成分の絶対空間上の座標データに基づいて、同一性を判定する。これにより、各直線成分について、制御サイクル間で、同一の系列の直線成分（同一のレーンマークに対応する直線成分）であるか否かが判定され、各直線成分が系列毎に分類される。【００５９】
評価値フィルタリング手段１５は、直線分類手段１４により分類された系列毎の、直線成分の評価値算出手段７により算出された評価値に、時間方向にフィルタリングする（評価値の時系列にフィルタリング処理を施す）。具体的には、評価値フィルタリング手段１５は、各制御サイクルにおける直線成分について、該直線成分と同一の系列の過去所定時間分の直線成分から算出された、該過去所定時間分の評価値を移動平均した値を、該制御サイクルにおける直線成分の評価値とする。【００６０】
そして、本実施形態では、レーンマーク候補選別手段８は、直線探索手段６により探索された直線成分のうちから、評価値フィルタリング手段１５によりフィルタリングされた評価値が所定閾値より大きい直線成分を、道路の線型のレーンマークに対応する直線成分の候補（レーンマークの候補）として選別する。以上説明した以外の構成は、第１実施形態と同じである。【００６１】
次に、本実施形態のレーンマーク検出装置２の作動（レーンマーク検出処理）を説明する。なお、本実施形態におけるレーンマーク検出処理は、第１実施形態と、評価値を算出する処理（図２のＳＴＥＰ００６）のみが相違するものである。本実施形態におけるレーンマーク検出処理のフローチャートは図２と同じであるので、以下の説明では、図２に示したフローチャートを参照して説明する。【００６２】
図２を参照して、本実施形態のＳＴＥＰ００６では、まず、移動軌跡算出手段１２により、車両１の走行軌跡が推定される。具体的には、移動軌跡算出手段１２は、車速センサ１０により検出される車両１の車速と、ヨーレートセンサ１１により検出される車両１のヨーレートとを読み込む。そして、移動軌跡算出手段１２は、車両１の車速とヨーレートを時間積分することにより、車両１の絶対空間上での移動軌跡を推定する。【００６３】
次に、座標変換手段１３は、移動軌跡推定手段１２により推定された車両１の移動軌跡を用いて、直線探索手段６により探索された直線成分Ｌｉを、実空間（絶対空間）上に座標変換する。第１実施形態で上述したように、ＳＴＥＰ００３で、直線探索手段６により探索された直線成分Ｌｉは、画像空間から実空間（車両に固定された座標空間）へ射影変換されている。この射影変換は、カメラの焦点距離や取り付け位置などのいわゆるカメラパラメータに基づいて行われる。なお、車両に固定された座標空間とは、自車両１を原点として路面平面に置いた２次元座標系である。よって、座標変換手段１３により、直線探索手段６により探索された直線成分Ｌｉを、自車両１の絶対空間上における移動軌跡で補正することで、直線成分Ｌｉが絶対空間上に座標変換される。【００６４】
次に、直線分類手段１４は、時刻ｔ＋１（ｔ＝０，１，２，．．．）の制御サイクルにおいて直線探索手段６により探索された直線成分Ｌｉ（ｔ＋１）と、時刻ｔ＋１の１つ前の時刻ｔの制御サイクルにおいて直線探索手段６により探索された直線成分Ｌ０（ｔ）〜Ｌn-1（ｔ）との同一性を判定し、直線成分Ｌｉ（ｔ＋１）を系列Ｇｉ毎に分類する。ここで、各系列Ｇｉは、同一のレーンマークに対応する直線成分であることを示している。このとき、直線分類手段１４は、直線成分Ｌｉ（ｔ＋１）と直線成分Ｌ０（ｔ）〜Ｌn-1（ｔ）との、座標変換手段１３により座標変換された座標データに基づいて、同一性を判定する。【００６５】
ここで、直線成分を分類する処理について、図７を参照して説明する。図７は、車両１が走行する道路を車両１の上方から見た概略を示したものである。図７には、時刻ｔにおける車両１の位置と、時刻ｔ＋１における車両１の位置とが絶対空間上で示されている。図７において、座標系は、ｘ軸，ｙ軸を座標軸とする平面直角座標系であり、時刻ｔの車両１の中心位置を原点とし、時刻ｔの車両１の進行方向をｘ軸方向とするように設定されている。また、車両1は、レーンマークＡ０，Ａ１で規定される車線上を走行している。【００６６】
図７を参照して、時刻ｔにおいて、車両１に搭載したビデオカメラ３から撮像される範囲は、撮像範囲Ｒｔであり、時刻ｔにおいて取得された画像から探索された直線成分Ｌi（ｔ），Ｌi+1（ｔ）は、図７で斜線で示した位置に存在する。また、時刻ｔ＋１において、車両１に搭載したビデオカメラ３から撮像される範囲は、撮像範囲Ｒｔ＋１である。時刻ｔ＋１において取得された画像から探索された直線成分Ｌi（ｔ＋１），Ｌi+1（ｔ＋１）は、図７で黒塗りで示した位置に存在する。【００６７】
時刻ｔにおいて、直線成分Ｌi（ｔ）は、系列Ｇｉに分類されており、直線成分Ｌi+1（ｔ）は、系列Ｇi+1に分類されている。なお、直線成分Ｌi（ｔ＋１），Ｌi（ｔ）は、いずれもレーンマークＡ０に対応するものであり、直線成分Ｌi+1（ｔ＋１），Ｌi+1（ｔ）は、いずれもレーンマークＡ１に対応するものである。【００６８】
このとき、図７に示したように、同一のレーンマークに対応する直線成分Ｌi（ｔ＋１）と直線成分Ｌi（ｔ）とは、絶対空間上で重なるものとなる。また、同一のレーンマークに対応する直線成分Ｌi+1（ｔ＋１）と直線成分Ｌi+1（ｔ）とは、絶対空間上で重なるものとなる。よって、絶対空間上での重なりの度合が所定値以上であるか否かで、同一の系列の直線成分（同一のレーンマークに対応する直線成分）であるか否かを判定できる。例えば、直線成分Ｌi（ｔ＋１）は系列Ｇiに分類され、直線成分Ｌi+1（ｔ＋１）は系列Ｇi+1に分類される。【００６９】
次に、評価値フィルタリング手段１５は、直線分類手段１４により分類された系列毎に、直線成分Ｌｉの評価値算出手段７により算出された評価値Ｑｉの、時系列をフィルタリングする。例えば、所定時点ｔ＋１における直線成分Ｌｉ（ｔ＋１）が、系列Ｇｉに分類されて、系列Ｇｉには、直線成分の時系列データ｛Ｌｉ（０），．．．，Ｌｉ（ｔ），Ｌｉ（ｔ＋１）｝が含まれているとする。この系列Ｇｉの直線成分について、評価値算出手段７により算出された評価値の時系列データは、｛Ｑｉ（０），．．．，Ｑｉ（ｔ），Ｑｉ（ｔ＋１）｝である。このとき、評価値フィルタリング手段１５は、｛Ｑｉ（０），．．．，Ｑｉ（ｔ），Ｑｉ（ｔ＋１）｝のうちの過去所定時間分の評価値を移動平均した値を、所定時点ｔ＋１の制御サイクルにおける直線成分Ｌｉの評価値Ｑｉとする。【００７０】
このように、評価値Ｑｉの時系列をフィルタリングすることで、白線の部分的なかすれに起因するノイズ成分や、白線が破線等で元々途切れていることに起因する周期的な評価値の低下等の影響が低減され、評価値が安定して算出される。よって、ＳＴＥＰ００８〜０１０の処理において、白線に対応する直線成分の候補（白線候補）がより安定して選別される。以上説明した以外の作動は、第1実施形態と同じである。【００７１】
以上の処理により、第１実施形態と同様に、道路の路面上の轍Ｔを白線として誤検出せずに、道路の画像Ｉ０から白線Ａ０，Ａ１を精度良く検出することができる。【００７２】
なお、第１及び第２実施形態のレーンマーク検出処理において、一般的に、各制御サイクルで取得された画像から抽出された複数のエッジ点のうち、該制御サイクルの１つ前の制御サイクルで白線として検出された直線成分の位置から所定距離以上離れた領域に所在するエッジ点をノイズとして除去するノイズ除去処理が行われる。このノイズ除去処理は、画像上の車線を規定する白線以外のものから抽出されたエッジ点を除去して、車線を規定する白線以外のものが白線として誤検出されることを抑制するためのものであるが、このノイズ除去処理を行うことで、車線幅が急変したときの画像上の白線から抽出されたエッジ点がノイズとして除去され、白線が検出されないことがある。そこで、本発明のレーンマーク検出装置２により、ノイズ除去処理を省いて、従来ノイズとして除去されていたエッジ点を含む複数のエッジ点から探索された直線成分から、白線に近似する度合を示す評価値を用いて白線候補を選別することで、車線幅が急変したような場合でも、道路の画像から白線を精度良く検出することができる。【００７３】
また、第１及び第２実施形態においては、レーンマーク候補選別手段８は、範囲Ｒを設定し、直線成分Ｌｉが範囲Ｒに含まれるか否かで閾値Ｑthを変更するものとしたが、レーンマーク候補選別手段８は、範囲Ｒを設定せず、全ての直線成分に対して同じ閾値Ｑthを用いてもよい。【００７４】
また、第１及び第２実施形態において、評価値算出手段７は、補正係数Ｙを、図５で例示したグラフから決定する代わりに、予め設定した距離Ｄと補正係数Ｙとの相関式により算出してもよく、又は、予め設定した距離Ｄと補正係数Ｙとの対応を示すデータテーブル等を用いて決定してもよい。【００７５】
また、第１及び第２実施形態においては、線型のレーンマークとして、白線を検出したが、例えば黄線等の、他色の線型のレーンマークを検出対象とする場合にも、本発明の効果を得ることができる。この場合には、エッジ抽出手段５は、該他色に対応したエッジ抽出処理を画像に施してエッジ点を抽出するものとする。
【産業上の利用可能性】
【００７６】
以上のように、本発明は、車両前方の道路の画像を処理して、白線等の線型のレーンマークを精度良く検出することができることから、車両における運転者への情報提示や車両挙動の制御のために有用である。
【図１】
0004607193.tif 000002
【図２】
0004607193.tif 000003
【図３】
0004607193.tif 000004
【図４】
0004607193.tif 000005
【図５】
0004607193.tif 000006
【図６】
0004607193.tif 000007
【図７】
0004607193.tif 000008