(57)【要約】【課題】白線状或いは金属鋲からなるレーンマーカに関わらず、レーンマーカを高精度に検出する。【解決手段】撮像画像の自車両遠方側に始点、自車両近傍側に終点を設定し、前記始点及び終点を結ぶ走査線が貫く候補点数を計測する（ステップＳ２１〜Ｓ２４）。今回を含め過去ｋ回分の走査線が貫く候補点数の総和ＳＣＮＴを算出し、これがしきい値ＳＣＮＴｔｈよりも大きく且つ変数ＳＣＮＴａｎｓよりも大きいときこのときの候補点数の総和ＳＣＮＴの値を前記変数ＳＣＮＴａｎｓに更新記憶すると共にこの走査線をレーンマーカ候補線として所定の記憶領域に格納する（ステップＳ２５）。前記始点を順次更新し且つ各始点位置において前記終点を順次更新して設定される各走査線位置において前記候補点数の総和ＳＣＮＴを算出し、最終的に変数ＳＣＮＴａｎｓに格納されている、候補点数の総和ＳＣＮＴが最大となるときの走査線をレーンマーカに相当する線分として特定する。【選択図】          図１１
2004252827.tif 000002
【特許請求の範囲】
【請求項１】
自車両前方の走行路を撮像する撮像手段と、
当該撮像手段で撮像された撮像画像からレーンマーカの一部とみなすことの可能な候補点を検出する候補点検出手段と、を備え、
当該候補点検出手段で検出した候補点に基づいて前記レーンマーカを検出するようにした車線認識装置において、
前記撮像画像の自車両遠方側に設定される始点を同一とし、自車両近傍側に設定され且つ異なる終点を有する所定数の線分を判定用線分群とし、
前記撮像画像において、前記判定用線分群の各線分の延長線それぞれが貫く前記候補点数の総和がしきい値を超える判定用線分群を探索し、得られた判定用線分群を構成する何れかの線分を前記レーンマーカに相当する線分として検出するようにしたことを特徴とする車線認識装置。
【請求項２】
自車両前方の走行路を撮像する撮像手段と、
当該撮像手段で撮像された撮像画像からレーンマーカの一部とみなすことの可能な候補点を検出する候補点検出手段と、を備え、
当該候補点検出手段で検出した候補点に基づいて前記レーンマーカを検出するようにした車線認識装置において、
前記撮像画像における自車両遠方側に設定される始点を基準とする直線からなる走査線を、前記始点を走査させると共に前記始点の各位置において前記始点を基準としその終点側を移動させることにより前記撮像画像上で走査させる走査手段と、
前記走査線の各走査位置において前記走査線の延長線が貫く前記候補点の数を検出する候補点数検出手段と、
同一の始点を有し且つ隣接する複数の走査線を判定用走査線群とし、前記候補点数検出手段の検出結果に基づき、前記判定用走査線群を構成する各走査線の延長線それぞれが貫く候補点数の総和を算出し、当該候補点数の総和がしきい値を上回るときこの判定用走査線群を有効とし、当該判定用走査線群を構成する走査線のうちの何れかを前記レーンマーカに相当するレーンマーカ相当線分として検出するレーンマーカ検出手段と、を備えることを特徴とする車線認識装置。
【請求項３】
前記走査線は前記判定用走査線群を構成する走査線の終点側が水平方向に略等間隔となるように設定されることを特徴とする請求項２記載の車線認識装置。
【請求項４】
前記レーンマーカ検出手段で検出される前記レーンマーカ相当線分の位置情報に基づいて、前記撮像画像上におけるレーンマーカの消失点座標を検出する消失点検出手段を備え、
前記始点は、前記消失点検出手段で検出される消失点の位置座標に基づいて設定されることを特徴とする請求項２又は３記載の車線認識装置。
【請求項５】
前記レーンマーカ検出手段は、前記候補点数の総和が前記しきい値を超える判定用走査線群のうち、前記候補点数の総和が最大となる判定用走査線群を有効とするようになっていることを特徴とする請求項２乃至４の何れかに記載の車線認識装置。
【請求項６】
前記レーンマーカ検出手段は、前記候補点数の総和が前記しきい値を上回り、且つ前記判定用走査線群を構成する各走査線に該当する、前記候補点数検出手段で検出される候補点数がそれぞれ予め設定した有効候補点数を上回るときに、前記判定用走査線群を有効とするようになっていることを特徴とする請求項２乃至５の何れかに記載の車線認識装置。
【請求項７】
前記レーンマーカ検出手段は、前記候補点数の総和が前記しきい値を上回り且つ前記判定用走査線群を構成する各走査線に該当する、前記候補点数検出手段で検出される候補点数がそれぞれ予め設定した有効候補点数を上回るとき、又は前記候補点数の総和が前記しきい値を上回り且つ前記判定用走査線群を構成する走査線のうちの何れかに該当する前記候補点数が、前記有効候補点数よりも値の大きい白線相当候補点数を上回るときに、前記判定用走査線群を有効とするようになっていることを特徴とする請求項２乃至５の何れかに記載の車線認識装置。
【請求項８】
前記レーンマーカ検出手段は、前記候補点数の総和が前記しきい値を上回り且つ前記判定用走査線群を構成する走査線のうちの何れかに該当する前記候補点数が前記白線相当候補点数を上回る走査線のうち、前記候補点数が最大となる走査線を、前記レーンマーカ相当線分として検出するようになっていることを特徴とする請求項７記載の車線認識装置。
【請求項９】
前記レーンマーカ検出手段は、前記レーンマーカ相当線分であると判定された一の走査線を含む規定範囲の周辺に、前記レーンマーカ相当線分となり得る他の走査線が存在するかどうかを検出する周辺状況検出手段を備え、
当該周辺状況検出手段で、前記レーンマーカ相当線分となり得る他の走査線が存在すると判定されるときには、前記一の走査線は前記レーンマーカ相当線分ではないと判定するようになっていることを特徴とする請求項２乃至８の何れかに記載の車線認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、道路上の通行区分帯表示用のレーンマーカを検出し、これに基づいて車線を検出するようにした車線認識装置に関する。
【０００２】
【従来の技術】
従来より、自車両前方の道路を撮像手段によって撮像し、撮像した撮像画面において道路白線を認識し、自車両と道路白線との関係を、車両の自動制御又は一部自動制御に用いる技術が提案されている。
前記道路白線を検出する方法としては、例えば、論文“レーンキープシステムにおける白線認識システムの開発”（ＨＯＮＤＡ  Ｒ＆Ｄ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｖｉｅｗ  Ｖｏｌ．１２  Ｎｏ．１（Ａｐｒｉｌ  ２０００））が提案されている。
【０００３】
この論文中においては、正のエッジ点及び負のエッジ点が以下の条件を満たして配置されている場合に、この点を、道路白線を構成する点の候補と考えている。つまり、これら正及び負のエッジ点が、所定の距離以内にあること、また、これら正及び負のエッジ点が、画面を左から右に走査したとき「正」→「負」の順に配置されていること、さらに、エッジ点列が直線的に並んでいることも利用している。なお、この直線的に並んでいるエッジ点列を抽出する技術としてハフ変換を利用している。
【０００４】
ここで、正のエッジ点とは、撮像手段で撮像した、図２３に示すような車両前方の撮像画像において、撮像画像を左から右へ走査していった場合に、図２３に白丸で示すように、濃度値（もしくは輝度値とも呼ぶ。）が増加する点のことであり、負のエッジ点は、黒丸で示すように、濃度値が減少する点である。
一般に、道路白線は、アスファルトやコンクリートで作られる路面よりも白線の輝度値が高いため、白線と路面境界とのうち、白線の左側は正のエッジ点、右側は負のエッジ点となる。また、車線に曲率がついている場合でも局所的には直線近似できる場合がほとんどであり、前記正負のエッジ点列は白線と路面との境界に直線的に並んでいる傾向がある。
【０００５】
【非特許文献１】
論文“レーンキープシステムにおける白線認識システムの開発”（ＨＣｏｎＤＡ  Ｒ＆Ｄ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｖｉｅｗ  Ｖｏｌ．１２  Ｎｏ．１（Ａｐｒｉｌ  ２０００）
【０００６】
【発明が解決しようとする課題】
上述のように直線的に並んでいるエッジ点列を検出する方法を用いた場合、レーンマーカが、連続した白線で形成されている場合には、エッジ点列を的確に検出することができる。
しかしながら、レーンマーカが、例えば図２４に示すように、金属鋲等の鋲状の突起物（以後、金属鋲という。）で形成されている場合には、上述の、直線的に並んでいるエッジ点列を検出する方法で、レーンマーカを検出することは困難である。つまり、一般に金属鋲は円形であるため、これを撮像手段で撮像した場合、撮像画像における金属鋲に相当する画像は楕円形となる。また、金属鋲は、白色等の輝度が高い材質で形成されており、撮像画像における金属鋲の画像は、アスファルト等の路面に相当する箇所よりも輝度が高い。図２５は、このような金属鋲に対して正エッジ及び負エッジを検出するための、エッジ検出処理を施した場合の結果の一例を示したものである。
【０００７】
図２５に示すように、白線状のレーンマーカと同様に、正及び負のエッジ対が、金属鋲の左右両端で発生する。したがって、レーンマーカを構成するエッジ点数は、白線状のレーンマーカに比較して少ないものの、前記金属鋲は、離散的に直線状に並んでいることから、このような正負のエッジ対に基づいて、例えば図２６に示すように、レーンマーカの内側をレーンマーカ位置とし、ハフ変換を用いてレーンマーカ位置の検出を行った場合でも、図２７に示すように、レーンマーカの検出を行うことができることになる。
【０００８】
しかしながら、一般に、路面には、レーンマーカだけではなく、レーンマーカと紛らわしい汚れや水膜等のノイズが存在する。これらノイズを誤認識することを回避するため、ハフ変換によって直線を得ることができたとしても、これを構成するエッジ点数が少ない直線は、レーンマーカとして認識しないようにする処理を行っている。このため、金属鋲からなるレーンマーカの場合には、エッジ点数が少ないため、白線状のレーンマーカを検出する場合と同様にハフ変換を用いて検出することは困難である。
【０００９】
これに対し、金属鋲からなるレーンマーカを認識する方法として、楕円によるパターン認識を用いるようにした方法が提案されている。すなわち、例えば、図２８に示すように、楕円のパターンを撮像手段による撮像画像上で操作し、最もパターンが一致する領域を検出するようにしている。
しかしながら、この場合、金属鋲が汚れている場合、或いは破損などによって楕円状に撮像されない場合、所定のパターンとマッチングしないため、金属鋲であるとして検出されない場合がある。また、撮像画像上における金属鋲は楕円状となるが、この楕円形状が一定では無い場合がある。つまり、図２９に示すように、自車両がピッチング或いはバウンシングした場合等には楕円の垂直方向或いは水平方向の長さが拡張もしくは収縮する。このため、単一のパターンを用いてパターンマッチングを行うようにした場合マッチングできない場合がある。
【００１０】
これを回避するために複数のパターンを用意し、これらを用いてパターンマッチングを行う方法も考えられるが、パターンの増加に伴って演算時間も増加することになり、リアルタイムでの処理には不向きである。
また、撮像画像において、自車両から遠方に位置する金属鋲に相当する楕円はその垂直方向の長さが小さくなり、場合によっては、画素の量子ノイズのため、楕円として表されない場合がある。このため、パターンマッチングが不可能となり、遠方に位置する金属鋲の認識が困難であるという問題がある。
【００１１】
また、楕円のパターンは、白線状のレーンマーカとの相関が低いため、白線状のレーンマーカを検知することは困難である。したがって、白線状のレーンマーカと金属鋲からなるレーンマーカとが混在する道路において走行路の認識を行う場合には、従来のハフ変換によるレーンマーカの検出処理と、楕円のパターンマッチングによるレーンマーカの検出処理とを搭載し、場合に応じてこれらを切り替えてレーンマーカの検出を行う必要があり、その分、処理負荷が増大するという問題がある。
【００１２】
そこで、この発明は、上記従来の未解決の問題に着目してなされたものであり、処理負荷の増大を伴うことなく、直線状のレーンマーカであるか金属鋲からなるレーンマーカであるかに関わらず、レーンマーカの検出を的確に行うことの可能な車線認識装置を提供することを目的としている。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る車線認識装置は、撮像手段で撮像された自車両前方の走行路の撮像画像において、レーンマーカの一部とみなすことの可能な候補点を候補点検出手段によって検出する。そして、撮像画像の自車両遠方側に設定される始点を同一とし、自車両近傍側に設定され且つ異なる終点を有する所定数の線分を判定用線分群とし、撮像画像において、判定用線分群の各線分の延長線それぞれが貫く候補点数の総和がしきい値を超える判定用線分群を探索する。そして、得られた判定用線分群を構成する何れかの線分をレーンマーカに相当する線分として検出する。
【００１４】
ここで、レーンマーカが金属鋲等の場合には白線である場合に比較して、一の線分が貫く候補点数は少ない。しかしながら、レーンマーカが金属鋲等の場合には、そのエッジ端近傍で垂直方向に候補点が並ぶことから、エッジ端近傍においては始点を同一とし終点が異なる線分は同一の候補点を貫く場合があるため、異なる線分であっても同等数の候補点を貫くことになる。よって、隣接する複数の線分それぞれが貫く候補点数の総和は線分の数に応じて倍増することになる。一方、レーンマーカが白線等の場合には候補点はレーンマーカの消失点方向に向かって並ぶため、始点を同一とする複数の線分のうち、そのエッジ端に相当する線分については候補点数が多いが、その前後における候補点数は減少するため、隣接する複数の線分それぞれが貫く候補点数の総和は、エッジ端に相当する一の線分で検出される候補点数と同等程度となる。
【００１５】
したがって、レーンマーカが白線等である場合と金属鋲等である場合の、レーンマーカに相当する線分とみなすかどうかを判定するために用いる判定値の差を、例えば一の線分を貫く候補点数に基づいて判定する場合等に比較してより小さくすることが可能となるから、前記判定値に基づいて判定する際に用いるしきい値を、レーンマーカが白線等である場合、或いは金属鋲等である場合それぞれに対して、より適した値に設定することが可能となり、より的確な判定を行うことが可能となる。
【００１６】
【発明の効果】
本発明による車線認識装置は、撮像画像の自車両遠方側に設定される始点を同一とし、自車両近傍側に設定され且つ異なる終点を有する所定数の線分を判定用線分群とし、撮像画像において、判定用線分群の各線分の延長線それぞれが貫く候補点数の総和がしきい値を超える判定用線分群を探索し、得られた判定用線分群を構成する何れかの線分をレーンマーカに相当する線分として検出するようにしたから、レーンマーカが白線等である場合或いは金属鋲等である場合に係わらず、レーンマーカに相当する線分をより的確に検出することができる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
まず、本発明の第１の実施の形態を説明する。
図１は、本発明を適用した車線認識装置の一実施形態を示す構成図である。
図１において、ＣＣＤカメラ等で構成される撮像装置１は、例えば、車幅方向中央の、車室内のフロントウィンドウ上部に取り付けられ、車両前部の道路を含む車両の周囲環境を撮像する。
【００１８】
前記撮像装置１で撮像された撮像情報は、処理装置２に入力され、処理装置２は、前記撮像装置１による撮像画像から左右のレーンマーカを検出し、その形状に基づいて、自車両の走行路形状等を認識するようになっている。
図２は、処理装置２で実行されるレーンマーカを検出するためのレーンマーカ検出処理の処理手順の一例を示すフローチャートである。
【００１９】
このレーンマーカ検出処理では、まず、ステップＳ１で、撮像装置１で撮像した前方画像の撮像情報を読み込み、この撮像画像に対し、図３に示すように、その左上を原点とする座標系を設定する。つまり、左上を（０，０）とし、水平右方向をＸ軸の正、垂直下方向をＹ軸の正とする。
次いでステップＳ２に移行し、撮像装置１で撮像した撮像画像に対し、図４に示すように、自車両の左側のレーンマーカに相当する画像全体を含むように、ウィンドウを設定する。
【００２０】
このウィンドウは、路面汚れ等をレーンマーカとして誤認識することを回避するために設けたものであり、このウィンドウ内においてレーンマーカの検出を行う。このようにウィンドウを設定することによって、レーンマーカの探索範囲を狭めることにもなり、演算時間の短縮にも有効である。
なお、このウィンドウの位置は固定でも良いし、また、レーンマーカを繰り返し連続して検出するようなシステムの場合には、例えば特開平８−２６１７５６に示すように、前回のレーンマーカの検出位置の近傍に設定する等、前回のレーンマーカの検出結果に基づいて合理的に設定しても良い。
【００２１】
次いで、ステップＳ３に移行し、ステップＳ２で設定したウィンドウに対し、正及び負のエッジ点ペアの検出処理を行う。なお、ここでは、左側のレーンマーカを検出する場合について説明しているが、右側のレーンマーカを検出する場合も同様に行えばよい。
この正及び負の負エッジ点ペアの検出は、“具体的には、図５のフローチャートに示すように、まず、ステップＳ１１で撮像装置１から取り込んだ撮像画像と同じサイズ、つまり、各画素に対応する二次元配列Ｍ（ｘ，ｙ）を設定し、その要素をそれぞれ初期値“０”に設定する。なお、この二次元配列Ｍ（ｘ，ｙ）の要素で形成される画像を、候補点画像とよぶ。
【００２２】
次いで、ステップＳ１２に移行し、走査点の初期設定を行い、走査開始点を設定する。ここでは、図６に示すように、ウィンドウの左から右、上から下に順次走査を行うものとする。したがって、ウィンドウの左上を走査開始点として設定する。
次いで、ステップＳ１３に移行し、走査点での輝度変化の計算を行う。例えば、走査点（ｘ，ｙ）での輝度を、Ｉ（ｘ，ｙ）と表すものとすると、走査点（ｘ，ｙ）での輝度変化ΔＩ（ｘ，ｙ）は、走査点の輝度Ｉ（ｘ，ｙ）から走査点の左隣の画素の輝度Ｉ（ｘ−１，ｙ）を減算した値で表される。なお、これに限るものではなく、一般の画像処理で用いられるソーベルフィルタ等を用いることも可能である。
【００２３】
次いで、ステップＳ１４に移行し、正エッジ点の検出を行う。具体的には、走査点の輝度変化ΔＩ（ｘ，ｙ）がしきい値ΔＩｔｈよりも大きいとき、正エッジ点検出として走査点のＸ座標を一時記憶用の変数Ｘ０に記憶する。
なお、前記しきい値ΔＩｔｈを大きな値に設定すると、輝度の低いエッジを採らなくなり、ノイズを拾いにくくなる反面、薄い白線を検出しなくなる。また、逆にしきい値ΔＩｔｈを小さくすると輝度の低いエッジを検出できる反面、ノイズを拾いやすくなる。したがって、前記しきい値ΔＩｔｈはこれら両者のトレードオフを考えて設定する。なお、前記輝度変化ΔＩ（ｘ，ｙ）が前記しきい値ΔＩｔｈ以下である場合には、前記変数Ｘ０への記憶は行わない。
【００２４】
次いで、ステップＳ１５に移行し、レーンマーカ幅に対する白幅検定を行う。ここで、前述のように、走査点を、画面左から右へ移動させるようにしている。したがって、白線或いは金属鋲からなるレーンマーカが存在した場合、まず、正のエッジ点が検出され、その後、負のエッジ点が検出される。また、白線或いは金属鋲の幅は決まっており、したがって、これらの画像におけるその幅は所定値以上となることはない。このため、正のエッジ点が検出された後、負のエッジ点が検出されない状態が所定値Δｘを超えて継続した場合には、正のエッジ点はノイズとみなすことができる。
【００２５】
したがって、この白幅検定においては、正エッジ点の次の座標位置から走査点を順次移動させ、輝度変化ΔＩ（ｘ，ｙ）がしきい値−ΔＩｔｈよりも大きくなる走査点位置を、負エッジ点として、この負エッジ点の探索を行う。そして、負エッジ点を検出するための走査点が正エッジ点から所定値以上離れた場合、正エッジ点のＸ座標を記憶している変数Ｘ０をクリアにする。
【００２６】
具体的には、現在の走査点のＸ座標と、変数Ｘ０に格納しているＸ座標との差が、しきい値Δｘよりも大きいとき、変数Ｘ０に零を格納する。なお、前記しきい値Δｘは、撮像画像上で想定される白線或いは金属鋲に相当する画像の幅の最大値に応じて設定される。そして、しきい値Δｘは、固定値でもよいし、また、車両近傍に近いほど、つまり、走査点のＹ座標が大きいほど、撮像画像における白線或いは金属鋲の幅は大きくなるから、これに応じて、しきい値Δｘを大きくするようにしてもよい。
【００２７】
次いで、ステップＳ１６に移行し、負エッジ点の検出を行う。具体的には、輝度変化ΔＩ（ｘ，ｙ）がしきい値−ΔＩｔｈよりも大きくなる走査点位置であり、且つ、前記変数Ｘ０に零以外の値が登録されており、この変数Ｘ０から所定値以内に前記走査点位置が位置するとき、この走査点位置を負エッジ点とし、これをレーンマーカの候補点（以後、候補点と呼ぶ）とする。そして、このときの走査点の座標（ｘ，ｙ）に対応する前記二次元配列Ｍ（ｘ，ｙ）の要素を“１”に設定し、図７に示すように、前記二次元配列Ｍ（ｘ，ｙ）の各要素で構成される候補点画像の負エッジ点に相当する座標に“１”をセットする。
【００２８】
なお、前記しきい値−ΔＩｔｈは、正エッジ点の判定に用いたしきい値と同様に、−ΔＩｔｈを大きくすると、輝度の低いエッジ点を採らなくなり、ノイズを拾いにくくなる反面、薄い白を検出しなくなる。逆に−ΔＩｔｈを小さくすると輝度の低いエッジ点を検出することができる反面、ノイズを拾いやすくなる。したがって、この場合もこれら両者のトレードオフを考えて設定する。また、前記しきい値−ΔＩｔｈは、ここでは、正エッジ点の判定に用いたしきい値とその絶対値が同じ大きさとなるように設定しているが、これに限るものではなく、異なる値に設定してもよい。
【００２９】
次いで、ステップＳ１７に移行し、ウィンドウ内の全ての画素を走査したかどうかを判定し、全ての画素について走査していないならば、ステップＳ１８に移行し、次の走査点に移行する。つまり、Ｘ座標をインクリメントし、Ｘ座標が、ウィンドウの右端に達したときには、Ｙ座標をインクリメントすると共に、Ｘ座標をウィンドウの左端の値に設定する。そして、ステップＳ１３に戻る。
【００３０】
以後、上記と同様に処理を行い、Ｙ座標がウィンドウの最下端となり、且つＸ座標がウィンドウの最右端となったとき、全ての画素について走査をし終えたと判断する。そして処理を終了する。
この結果得られた二次元配列Ｍ（ｘ，ｙ）から、図８又は図９に示すように、レーンマーカの内側つまり自車両の走行車線側を構成する候補点からなる、候補点画像を得ることができる。また、これら候補点は、Ｙ座標が同じでＸ座標のみが異なる正エッジ点とペアをなす負エッジ点であって、且つ、これら正及び負のエッジ点間の距離が、レーンマーカに相当する幅となる点である。
【００３１】
図８及び図９において、“１”が設定されている二次元配列点Ｍ（ｘ，ｙ）が候補点である。なお、図８及び図９は、候補点画像のウィンドウ部分に相当する領域を表している。
なお、この第１の実施の形態においては、正負エッジペアの負エッジ点を候補点としているが、正のエッジ点を候補点とすることも可能である。レーンマーカの外側のエッジ点を候補点として定義する場合には、左側のレーンマーカでは、正エッジ点、右側のレーンマーカでは、負エッジ点を候補点とすればよい。
【００３２】
このようにして、正負のエッジ点ペアの検出を行い、候補点を特定したならば、図２に戻って、ステップＳ３からステップＳ４に移行し、レーンマーカの検出を行う。この検出は、候補点画像Ｍから直線状に並んだ点列を検出し、それが図８又は図９に示すように配置されている場合にこれらをレーンマーカであると判断する。なお、図８は、金属鋲からなるレーンマーカに相当する候補点を表し、図９は、一般の白線状のレーンマーカに相当する候補点を表す。そして、図８或いは図９に示すように、直線状に並んだ点列を検出するために、図１０に示すように、ウィンドウ内で線分を定義し、その線分が貫く候補点数をカウントする。この線分を以後、走査線と呼ぶ。また、この走査線の線分の端点の上側（Ｙ座標が小さい側）を始点、反対側の端点を終点と呼ぶ。
【００３３】
具体的には、図１１に示すように、まず、ステップＳ２１で、予め設定した所定数の走査線それぞれが貫く候補点数の総和の最大値を検出するための変数をＳＣＮＴａｎｓとし、その初期値を零としてセットする。また、最終的に、レーンマーカの始点を表す始点座標（ＸＳａｎｓ，ＹＳａｎｓ）及び終点を表す終点座標（ＸＥａｎｓ，ＹＥａｎｓ）を零に設定する。
【００３４】
また、走査線の始点及び終点を表す始点座標（ＸＳ，ＹＳ）及び終点座標（ＸＥ，ＹＥ）のＹ座標ＹＳ及びＹＥを、ＹＥ＞ＹＳを満足するように設定する。ここで、前記ＹＳとしては、撮像画像におけるレーンマーカの消失点が検出可能であるならば消失点のＹ座標をＹＳとしてもよい。例えば、撮像装置１のエーミング処理で得られる消失点のＹ座標をＹＳとして用いても良いし、また、レーンマーカの検出処理を繰り返し行う場合には、前回のレーンマーカの検出処理によって得られた左右のレーンマーカの位置情報から消失点を推定し、そのＹ座標を用いるようにしてもよい。また、レーンマーカの消失点を検出するための消失点検出手段を設け、この消失点検出手段で検出した消失点の位置座標からそのＹ座標を前記ＹＳとして設定するようにしてもよい。
【００３５】
次いで、ステップＳ２２に移行し、走査線の始点座標のＸ座標を設定する。ここで、Ｙ座標ＹＳは一定値であるが、Ｘ座標は、図１２に示すように、ウィンドウ内のある範囲で走査させる。この範囲は、ウィンドウ幅としてもよいし、また、ウィンドウ幅内で固定としても良いし、また、前回の処理結果から想定される消失点のＸ座標を中心とした範囲としても良い。
【００３６】
また、始点座標の設定を行うと共に、変数ＣＮＴ（ｋ）、ＣＮＴ（ｋ−１）、……、ＣＮＴ（０）をそれぞれ零に設定する。なお、これら変数ＣＮＴ（ｎ）（ｎ＝０〜ｋ）は、走査線が貫く候補点数を格納するための変数である。
次いで、ステップＳ２３に移行し、ステップＳ２２で設定した始点座標に対し、走査線の終点座標のＸ座標を設定する。この終点座標の設定は、例えば図１３に示すように行う。つまり、始点座標を通り、且つ傾きがθである直線と終点座標のＹ座標との交点ＸＣを基準として、Ｙ座標を交点ＸＣから片幅ΔＸの範囲で、Ｙ座標を左方向から右方向に走査させる。
【００３７】
ここで、前記傾きθは、前回の処理結果から得られるレーンマーカに相当する線分の傾きを用いてもよくまた、固定値でもよい。また、前記片幅ΔＸは、大きな値に設定すると、ピッチング等による大きな角度変化に対応することができる反面、より大きな範囲の探索を行うことになるため、ノイズがのりやすくなり、演算も増大する。したがってこれらのトレードオフを考えて設定する。
【００３８】
次いで、このようにして終点座標を設定したならば、ステップＳ２４に移行し、候補点数のカウントを行う。つまり、図１３に示すように設定される走査線において、前記二次元配列Ｍ（ｘ、ｙ）においてその要素が“１”として設定されているもののうち、設定された走査線が貫く配列の数、すなわち、候補点数を計測する。例えば、図１０の場合には、“４”となる。
【００３９】
そして、このようにして検出した、走査線が貫く候補点数を変数ＣＮＴ（０）に格納する。このとき、現在の走査線を含め、同一始点でｋ回前までに検出した各走査線が貫く候補点数を保存しておく。つまり、今回検出した候補点数はＣＮＴ（０）に格納する。また、一つ前に設定した走査線が貫く候補点数はＣＮＴ（１）に格納し、今回の走査線よりもｋ回前に設定した走査線が貫く候補点数はＣＮＴ（ｋ）に格納し、というように今回及び過去ｋ回分の各走査線が設定した候補点数を各変数に順次更新記憶するようになっている。なお、始点座標が変更されたときには、これらを“０”にクリアする。つまり、ｋ＝２とした場合、図１４に示すように、今回の設定した走査線を線分Ｌ０とすると、一つ前の走査線は線分Ｌ１、２つ前の走査線は線分Ｌ２となる。そして、図１４の場合、車両遠方の候補点は３本の線分によって重複して貫かれることから、今回の線分Ｌ０が貫く候補点数は“４”、一つ前の線分Ｌ１が貫く候補点数は“４”、２つ前の線分Ｌ２が貫く候補点数は“４”となる。
【００４０】
次いで、ステップＳ２５に移行し、レーンマーカの候補線とするかどうかの判定を行う。具体的には、過去ｋ回分の各走査線が貫く候補点数の総和ＳＣＮＴを算出し、この候補点数の総和ＳＣＮＴがしきい値ＳＣＮＴｔｈよりも大きく、且つ、前記変数ＳＣＮＴａｎｓよりも大きいかどうかを判定する。そして、これらを共に満足するとき、この時点における候補点数の総和ＳＣＮＴを変数ＳＣＮＴａｎｓとして更新記憶する。また、このときの走査線の始点及び終点座標におけるＸ座標を前記始点座標ＸＳａｎｓ及び終点座標ＸＥａｎｓに保存する。つまり、ＳＣＮＴａｎｓには、候補点数の総和ＳＣＮＴの最大値が格納され、候補点数の総和ＳＣＮＴが最大となるときの走査線の始点及び終点座標におけるＸ座標が格納されることになる。
【００４１】
図１４の場合には、候補点数の総和はＳＣＮＴ＝１２となるから、これがしきい値ＳＣＮＴｔｈよりも大きいかどうかを判定する。
ここで、しきい値ＳＣＮＴｔｈを小さくすると、ノイズをレーンマーカとして誤認識しやすくなり、また、大きくすると金属鋲をロストしやすくなることから、両者のトレードオフを考えてしきい値ＳＣＮＴｔｈを設定する。
【００４２】
このようにして、レーンマーカの検出を行ったならば、ステップＳ２６に移行し、始点を固定として、所定範囲内の終点について走査を行ったかどうかを判定する。そして、所定範囲内の終点について走査を行っていない場合には、ステップＳ２７に移行し、終点の位置座標を更新した後、ステップＳ２４に移行し、この始点及び終点で特定される線分を走査線とし、上記と同様にして候補点数を算出し、これに基づいてレーンマーカとするかどうかの判定を行う。
【００４３】
そして、全ての終点について走査を行った場合には、ステップＳ２８に移行し、次にステップＳ２２で規定した全ての始点について走査を行ったかどうかを判定する。そして、全ての始点について走査を行っていない場合には、ステップＳ２９に移行して始点の位置座標を更新した後、ステップＳ２３に移行し、上記と同様にして終点の位置座標を設定する。そして、以後、順次終点の位置座標を更新して上記と同様に候補点数の総和ＳＣＮＴを算出し必要に応じて変数ＳＣＮＴａｎｓへの登録等を行う。そして、全ての始点を走査したときレーンマーカ検出処理を終了する。
【００４４】
そして、最終的に変数ＳＣＮＴａｎｓの値が零である場合には、レーンマーカは検出できなかったと判断する。また、最終的に変数ＳＣＮＴａｎｓの値が零でない場合には、始点座標（ＸＳａｎｓ，ＹＳ）及び終点座標（ＸＥａｎｓ，ＹＥ）で特定される線分を、レーンマーカとして特定する。
以上の処理によって、自車両左側のレーンマーカの検出処理が終了する。そして、同様にして自車両右側のレーンマーカの検出処理を行うことによって、自車両の走行路の、左右のレーンマーカが検出されることになる。
【００４５】
次に、上記第１の実施の形態を説明する。
今、図３に示すように金属鋲からなるレーンマーカの検出を行うものとすると、撮像画像に対してウィンドウが設定され（ステップＳ１、Ｓ２）、そのウィンドウ内において正エッジ点及び負エッジ点が検出され、このとき、正エッジ点及び負エッジ点間の幅が、レーンマーカに相当する幅を超えるときには、正及び負のエッジ点ペアから除去される（ステップＳ３）。
【００４６】
そして、このようにして検出されたエッジ点ペアで特定される負エッジ点についてレーンマーカに相当する線分を検出するための、走査線の始点範囲が設定され、この始点を基準とする終点の走査範囲が決定されて、始点及び終点によって決定される走査線についてそれぞれを通過する負エッジ点数、つまり候補点数が計測される（ステップＳ２４）。
【００４７】
ここで、図１５に示すように、金属鋲からなるレーンマーカの場合、撮像画像において自車両に近い領域ほど金属鋲に相当する画像は大きくなり逆に自車両から遠いほどその画像は小さくなる。このため、自車両近傍の金属鋲に相当する画像を構成する負エッジ点、つまり、候補点ほどその数が多くなる。また、撮像画像において金属鋲に相当する画像は楕円形をしていることから、候補点画像において候補点は、図１５に示すように、垂直方向に直線状に並ぶことが多く、且つ、自車両近傍に近づくほど直線状に並ぶ候補点数は多くなる。
【００４８】
したがって、図１５に示すように、始点を固定とし、終点つまり自車両に近い側をＸ軸方向に順次ずらして走査線を設定し、この走査線が貫く候補点数を計測した場合、金属鋲の負エッジ点側に相当する位置近傍における走査線が貫く候補点数が最も多くなる。また、車両遠方側つまり始点側は候補点数が少ないが、始点側を固定して走査線を設定するようにしているから、図１５に示すように、始点側の同一の候補点を複数の走査線が貫くことになり、レーンマーカに相当する真の走査線近傍の走査線も、結果的に、真の走査線と同等数の候補点を貫くことになる。つまり、真の走査線を含むこれより左側における複数の走査線が貫く候補点の総数は、これ以外の位置における走査線に比較して格段に増加することになる。図１５の場合には、レーンマーカに相当する線分の位置に、今回設定した走査線Ｌ０が位置し、このときの走査線Ｌ０が貫く候補点数ＣＮＴ（０）は“４”であり、これよりも１つ前の走査線Ｌ１が貫く候補点数ＣＮＴ（１）は“４”、２つ前の走査線Ｌ２が貫く候補点数ＣＮＴ（２）は“４”であり、これらの総和ＳＣＮＴは、“１２”となる。ここで、さらに３つ前の走査線の場合には、この走査線は、走査線Ｌ２が貫く候補点よりもはずれた位置となるから、走査線Ｌ２が貫く候補点数よりも少なくなり、同様に、走査線Ｌ０の次に設定される走査線が貫く候補点数も、走査線Ｌ０が貫く候補点数よりも少なくなるから、３つの走査線それぞれが貫く候補点数の総和ＳＣＮＴは、走査線がＬ０の位置にあるときに最も大きくなる。つまり、レーンマーカの内側エッジに相当する真の走査線とこれよりも過去２回分の走査線における候補点数の総和が最も大きくなる。そして、候補点数の総和ＳＣＮＴが最も大きくなるときの走査線がレーンマーカとして特定されるから、すなわち、走査線Ｌ０がレーンマーカとして特定されることになる。
【００４９】
これに対し、例えば、図１６に示すように、金属鋲と同様の間隔で、水たまり、路面汚れ等のノイズが分布している場合、その負エッジ点の配列が不規則であることから、走査線Ｌ０が貫く候補点数は“４”であり比較的多いものの、これよりも前の過去２回における走査線が貫く補点数は零となり、したがって、その総和ＳＣＮＴは、“４”となる。
【００５０】
このように、撮像画像上では、金属鋲は、遠方では小さく、近傍では大きく撮像されることを利用し、その撮像される形状に応じて走査線を設定しこの走査線が貫く候補点数の分布状況の特徴を利用して、レーンマーカ位置であるかどうかを判定することによって、路面汚れ等のノイズをレーンマーカとして誤検知することなく、真のレーンマーカ位置を的確に検出することができる。
【００５１】
また、白線状のレーンマーカの場合には、前記図９に示すように、負エッジ点は略直線状に分布することになる。したがって、走査線が貫く候補点数は真のレーンマーカ位置において最大となり、これ以外の位置における走査線が貫く候補点数は極端に減少する。したがって、この真のレーンマーカ位置の走査線を含んで各走査線が貫く候補点数の総和ＳＣＮＴが算出されるとき、候補点数の総和ＳＣＮＴが最大となり、すなわち、真のレーンマーカ位置の走査線を含むこれ以後の位置における候補点数の総和ＳＣＮＴがほぼ同等となりこれが最大となる。しかしながら、このとき、撮像画像の左から右方向に走査を行い、各位置における候補点数の総和ＳＣＮＴがＳＣＮＴａｎｓに格納されている総和よりも大きいときにのみＳＣＮＴａｎｓの更新を行うようにしているから、最終的に真のレーンマーカ位置に対応する情報が前記ＳＣＮＴａｎｓとして格納されることになる。よって、白線状のレーンマーカであっても的確に検出することができることになる。
【００５２】
そして、このとき、金属鋲からなるレーンマーカの場合、真のレーンマーカ位置においては各走査線が貫く候補点数は同等となるから、一の走査線が貫く候補点数は白線状のレーンマーカの場合に比較して少ないが、これら走査線がそれぞれ貫く候補点数の総和ＳＣＮＴは、走査線の数だけ倍増することになる。一方、白線状のレーンマーカの場合には、真のレーンマーカの位置に対応する走査線が貫く候補点数は比較的多いが、これに隣接する走査線が貫く候補点数は極端に少なくなるため、これら走査線が貫く候補点数の総和ＳＣＮＴは真のレーンマーカの位置に対応する走査線が貫く候補点数と同等程度となる。したがって、レーンマーカに相当する線分かどうかを判断する場合の判定値として、一の走査線が貫く候補点数を用いた場合、レーンマーカが白線状の場合と金属鋲等の場合とでは、これらの判定値の差が大きいため、一方を優先とすると他方の判定誤差が大きくなってしまい、結果的に判定誤差が大きくなってしまう。しかしながら、上述のように、複数の走査線それぞれが貫く候補点数の総和ＳＣＮＴを判定値として用いるようにしたから、レーンマーカが白線状の場合と金属鋲等の場合とで、これらの判定値の差を小さくすることができ。よって、双方の判定により適したしきい値を設定することができるから、より的確に判別を行うことができ、判定誤差を低減することができる。
【００５３】
したがって、このように、白線状のレーンマーカ或いは金属鋲からなるレーンマーカであっても的確に検出することができるから、レーンマーカの形状に応じてレーンマーカの検出方法を切り替える必要はない。したがって、切り替えに関する処理機能を設ける必要がないから、その分、レーンマーカ検知に伴う演算時間を短縮することができると共に、処理装置２の処理負荷を低減することができる。
【００５４】
ちなみに、前記図１５に示す撮像画像において、従来のように、直線が貫く候補点数を検出し、直線が貫く候補点数が最も多い直線をレーンマーカとして認識するようにした場合、上述のように、真のレーンマーカ位置近傍の複数の直線Ｌ０〜Ｌ２においてこれを貫く候補点数が同数となるため、どの直線が真のレーンマーカに相当するかどうかを判定することができない。また、前記図１６に示すように、水たまりや路面汚れ等のノイズがある場合、候補点が一つの直線（走査線Ｌ０）上に並び、その候補点数が比較的多い場合には、これをレーンマーカとして誤認識してしまう。
【００５５】
しかしながら、上述のように、複数の走査線においてこれを貫く候補点の総和を算出しこの総和が最大となるときの最右端の走査線をレーンマーカとして検知するようにしたから、ノイズ等を誤認識することなく、レーンマーカを的確に検知することができる。
次に、本発明の第２の実施の形態を説明する。
【００５６】
この第２の実施の形態は、上記第１の実施の形態において、処理装置２において、図１１のステップＳ２５でのレーンマーカの検出処理の処理手順が異なること以外は同等であるので同一部には同一符号を付与しその詳細な説明は省略する。
つまり、第２の実施の形態においては、図１７に示すように、図１１のステップＳ２５の処理に代えて、ステップＳ２５ａの処理を行うようになっている。
【００５７】
そして、このステップＳ２５ａにおいては、各走査線それぞれが貫く候補点数ＣＮＴ（０）〜ＣＮＴ（ｋ）がそれぞれ金属鋲検出用しきい値ＣＮＴｔｈ１よりも大きい状態、又は、今回の走査線が貫く候補点数ＣＮＴ（０）が、白線検出用しきい値ＣＮＴｔｈ２よりも大きい状態であり、且つ、上記第１の実施の形態と同様にして算出した候補点数の総和ＳＣＮＴが、変数ＳＣＮＴａｎｓよりも大きいときに、今回設定した走査線をレーンマーカ候補線と判定する。
【００５８】
つまり、候補点数ＣＮＴ（０）〜ＣＮＴ（ｋ）がそれぞれ金属鋲検出用しきい値ＣＮＴｔｈ１よりも大きいかどうかを判定することによって、金属鋲からなるレーンマーカを検出しやすくしている。前記金属鋲検出用しきい値ＣＮＴｔｈ１は、小さくするほど金属鋲を検出しやすくなる反面、ノイズを拾いやすくなるため、これらのトレードオフを考えて設定する。
【００５９】
また、今回の候補点数ＣＮＴ（０）が、白線検出用しきい値ＣＮＴｔｈ２よりも大きいかどうかを判定することによって、白線状のレーンマーカを検出しやすくしている。前記白線検出用しきい値ＣＮＴｔｈ２は、前記金属鋲検出用しきい値ＣＮＴｔｈ１よりも大きな値に設定される。なおこの場合も、白線検出用しきい値ＣＮＴｔｈ２を大きな値に設定するほどノイズを誤認識しなくなる反面、白線をロストしやすくなるため、両者のトレードオフを考えて設定する。
【００６０】
そして、これらの条件を満足するとき、この時点における候補点数の総和ＳＣＮＴを変数ＳＣＮＴａｎｓとして設定し、また、この時点における始点座標及び終点座標のＸ座標を、それぞれ前記始点座標ＸＳａｎｓ及び終点座標ＸＥａｎｓに保存する。
そして、始点及び終点を順次切り替えて走査した後、最終的に、前記変数ＳＣＮＴａｎｓが零であれば、レーンマーカは検出できなかったと判断する。そして変数ＳＣＮＴａｎｓが零でなければ、前記始点座標ＸＳａｎｓ及び終点座標ＸＥａｎｓをそれぞれ始点及び終点のＸ座標とし、始点座標（ＸＳａｎｓ，ＹＳ）及び終点座標（ＸＥａｎｓ，ＹＥ）で特定される線分を、レーンマーカとして検出する。
【００６１】
したがって、路面汚れ、或いは水たまり等によって、図１８に示すように候補点が分散し、例えば、線分Ｌ０が貫く候補点数が“８”、Ｌ１が貫く候補点数が“４”、Ｌ２が貫く候補点数が“０”である場合には、これら複数の走査線それれが貫く候補点数の総和ＳＣＮＴ＝１２となり、そのしきい値ＳＣＮＴｔｈよりも大きくなる場合がある。
【００６２】
ここで、前述のように、金属鋲からなるレーンマーカの場合、一般に、負エッジ点は垂直方向に直線状に並ぶため、真の走査線近傍の走査線においても、真の走査線が貫く候補点数と同等数の候補点を貫くことになる。
したがって、走査線が貫く候補点数が、金属鋲からなるレーンマーカの候補点数に相当するある程度以上ないものはノイズであるとみなすことができるから、金属鋲検出用のしきい値ＣＮＴｔｈ１を適切に設定することによって、走査線が貫く候補点数がしきい値を超えていないものは、ノイズであるとみなすことができる。
【００６３】
よって、走査線毎にその候補点数がしきい値を超えているかどうかをレーンマーカであると判定する条件の一つとすることによって、より高精度にレーンマーカの検出を行うことができる。また、このように走査線が貫く候補点数にしきい値を設けたとしても、上述のように、真のレーンマーカ位置に相当する走査線の場合には、その近傍の走査線における候補点数は同等数となることから、金属鋲をロストすることなく、的確に検出することができる。
【００６４】
また、走査線毎に候補点数にしきい値を設けた場合、白線状のレーンマーカの場合には、候補点は、通常、真のレーンマーカ位置に相当する走査線に沿って位置するため、真の走査線近傍の走査線が貫く候補点数は少なく、しきい値を超えない場合がある。しかしながら、レーンマーカであると判定する条件として、一の走査線が貫く候補点数が、金属鋲検出用しきい値ＣＮＴｔｈ１よりも大きな白線検出用しきい値ＣＮＴｔｈ２を超える、という条件も設けているから、白線であっても確実に検出することができる。また、白線の場合には、候補点はほぼ直線状に位置することになるから、白線検出用しきい値ＣＮＴｔｈ２を、路面汚れ等のノイズは検知せず、白線状のレーンマーカのみを検知可能な値に設定することによって、より高精度に検知することができる。
【００６５】
このように、白線検出用及び金属鋲検出用の判定条件を設けることによって、白線検出用及び金属鋲検出用のレーンマーカ検出のためのロジックを個別に設けた場合と同様に、的確にレーンマーカの検出を行うことができる。
次に、本発明の第３の実施の形態を説明する。
この第３の実施の形態は、上記第１の実施の形態において、図２のステップＳ４で実行されるレーンマーカ検出処理の処理手順が異なること以外は、上記第１の実施の形態と同様であるので、同一部には同一符号を付与しその詳細な説明は省略する。
【００６６】
図１９は、第３の実施の形態におけるレーンマーカ検出処理の処理手順の一例を示すフローチャートである。
この第３の実施の形態においては、まず、ステップＳ２１で、上記第１の実施の形態と同様に、変数ＳＣＮＴａｎｓを初期値零にセットし、また、始点座標（ＸＳａｎｓ，ＹＳａｎｓ）及び終点座標（ＸＥａｎｓ，ＹＥａｎｓ）を零に設定する。また、始点座標（ＸＳ，ＹＳ）及び終点座標（ＸＥ，ＹＥ）のＹ座標ＹＳ及びＹＥを、ＹＥ＞ＹＳを満足するように設定する。
【００６７】
次いで、ステップＳ２２ａに移行し、始点設定を行う。
まず、上記第１の実施の形態と同様に、走査線の始点座標のＸ座標の設定を行う。また、変数ＣＮＴ（ｋ）、ＣＮＴ（ｋ−１）、……、ＣＮＴ（０）をそれぞれ零に設定する。さらに、一時記憶用の変数ＸＳｔｍｐ、ＸＥｔｍｐ、ＳＣＮＴｔｍｐ、走査線の移動過程でレーンマーカ候補の非検出状態が連続したときの連続回数を計測するため連続非検出回数Ｃｏｆｆ、同様に検出状態が連続したときの連続回数を計測するための連続検出回数Ｃｏｎ、また状態変数ＳＴＡＴＥをそれぞれ初期値零に設定する。
【００６８】
次いで、ステップＳ２３に移行し、上記第１の実施の形態と同様にして走査点の終点座標を決定した後、ステップＳ２４に移行し、ステップＳ２２ａで設定した始点座標及びステップＳ２３で設定した終点座標で特定される走査線についてこの走査線が貫く候補点数をカウントした後、ステップＳ２５ｂに移行し、後述の図２０及び図２１に示すフローチャートにしたがって、レーンマーカ候補としてみなすかどうかの判定を行う。そして、以後、上記第１の実施の形態と同様に、走査線の始点及び終点を順次更新し、指定された範囲内での走査を行う。
【００６９】
前記レーンマーカ候補の判定処理は、撮像画像において、一のレーンマーカの周辺には、他のレーンマーカは存在しないことを利用したものであって、レーンマーカ候補線を検出しない状態が連続して所定回数以上継続し、且つ、その後レーンマーカ候補線を検出する状態の連続回数が所定回数以内であり、且つ、その後レーンマーカ候補線を検出しない状態が連続して所定回数以上継続したときに、最後に検出したレーンマーカ候補線をレーンマーカに相当する走査線であると判定するようにしている。
【００７０】
すなわち、図２０に示すように、まず、ステップＳ３１で、上記第１の実施の形態と同様にして、過去ｋ回分の走査線が貫く候補点数の総和ＳＣＮＴを算出する。次いで、ステップＳ３２に移行し、各走査線それぞれが貫く候補点数が金属鋲検出用しきい値ＣＮＴｔｈ１よりも大きいか又は今回の走査線が貫く候補点数が白線検出用しきい値ＣＮＴｔｈ２よりも大きいかどうかを判定する。つまり、レーンマーカ候補線となり得る走査線であるかどうかを判定する。なお、図２０中の記号“＆”はＡＮＤ条件を意味し、記号“｜”はＯＲ条件を表す。
【００７１】
そして、これらの何れも満足しないときにはレーンマーカ候補線ではないと判断してステップＳ３３に移行し、レーンマーカ候補線を検出しない状態が連続した回数を計測するための連続非検出回数Ｃｏｆｆを“１”だけインクリメントし、連続検出回数Ｃｏｎを零にリセットした後、ステップＳ３６に移行する。
一方、前記ステップＳ３２で、各走査線における候補点数が金属鋲検出用しきい値ＣＮＴｔｈ１よりも大きいと判定されるとき、又は今回の走査線が貫く候補点数が白線検出用しきい値ＣＮＴｔｈ２よりも大きいと判定されるときには、この走査線は、レーンマーカとなり得るレーンマーカ候補線であると判断しステップＳ３４に移行する。
【００７２】
そして、ステップＳ３４では、連続検出回数Ｃｏｎを“１”だけインクリメンし、連続非検出回数Ｃｏｆｆを零にセットした後、ステップＳ３５に移行し、この時点における候補点数の総和ＳＣＮＴを変数ＳＣＮＴｔｍｐに格納すると共に、この時点における始点及び終点のＸ座標ＸＳ及びＸＥを変数ＸＳｔｍｐ及びＸＥｔｍｐにそれぞれ格納する。つまり、レーンマーカ候補線を特定する情報を一時的に保管する。そして、ステップＳ３６に移行する。
【００７３】
このステップＳ３６では、状態変数ＳＴＡＴＥが０であるか否かを判断し、ＳＴＡＴＥ＝０でないときには、後述のステップＳ４１に移行し、ＳＴＡＴＥ＝０であるときには、ステップＳ３７に移行し、連続非検出回数Ｃｏｆｆがそのしきい値Ｃｏｆｆｔｈ１よりも大きいかどうかを判断する。そして、Ｃｏｆｆ＞Ｃｏｆｆｔｈ１でないときには、そのまま処理を終了し、Ｃｏｆｆ＞Ｃｏｆｆｔｈ１であるときには、ステップＳ３８に移行し、状態変数ＳＴＡＴＥを“１”に設定した後、処理を終了する。
【００７４】
ここで、状態変数ＳＴＡＴＥは、レーンマーカ候補線の検出状態を表す変数であって、終点の位置座標が最左端に位置する初期状態では“０”、レーンマーカ候補線を連続して検出しない状態がしきい値Ｃｏｆｆｔｈ１を超えて続いた状態を“１”、このＳＴＡＴＥ＝１となった後にレーンマーカ候補線を検出した状態を“２”、このＳＴＡＴＥ＝２となった後にレーンマーカ候補を検出する状態がしきい値Ｃｏｎｔｈ以内継続した後、非検出状態となった状態を“３”、ＳＴＡＴＥ＝３となった後、レーンマーカ候補線を検出しない非検出状態がしきい値Ｃｏｆｆｔｈ２以上継続した状態を“４”とするが、この状態“４”の場合には、レーンマーカ候補線が検出されたものとして状態変数をＳＴＡＴＥ＝０とする。上記以外の状態変化が生じた場合には、ＳＴＡＴＥを全て零とする。
【００７５】
前記ステップＳ４１では、状態変数がＳＴＡＴＥ＝１であるかどうかを判定し、ＳＴＡＴＥ＝１であるときにはステップＳ４２に移行し、連続非検出回数ＣｏｆｆがＣｏｆｆ＝０であるかどうかを判断する。そして、Ｃｏｆｆ＝０であるときには、レーンマーカ候補線を連続して検出しない状態がしきい値Ｃｏｆｆｔｈ１以上継続した後、レーンマーカ候補線を検出する状態となったと判断し、ステップＳ４３に移行して、状態変数をＳＴＡＴＥ＝２に設定した後処理を終了する。一方、ステップＳ４２で、連続非検出回数ＣｏｆｆがＣｏｆｆ＝０でないときには、引き続きレーンマーカ候補線が検出されない状態であると判断し、そのまま処理を終了する。
【００７６】
また、前記ステップＳ４１で、状態変数ＳＴＡＴＥがＳＴＡＴＥ＝１でないときには、図２１のステップＳ５１に移行する。
このステップＳ５１では、状態変数がＳＴＡＴＥ＝２であるかどうか、つまり、レーンマーカ候補線を連続して検出しない状態が継続した後、検出する状態となった状態であるかどうかを判断し、ＳＴＡＴＥ＝２でない場合には、後述のステップＳ６１に移行する。そして、ステップＳ５１でＳＴＡＴＥ＝２である場合には、ステップＳ５２に移行し、連続検出回数ＣｏｎがＣｏｎ＝０であるかどうかを判定する。前記連続検出回数ＣｏｎがＣｏｎ＝０でないときには、引き続きレーンマーカ候補線を検出している状態であると判断し、ステップＳ５３に移行して連続検出回数Ｃｏｎがそのしきい値Ｃｏｎｔｈ１より大きいかどうかを判定する。そして、Ｃｏｎ＞Ｃｏｎｔｈ１であるときには、レーンマーカ候補線を検出する状態がしきい値Ｃｏｎｔｈ１以上継続しており、レーンマーカ候補線は、レーンマーカに相当する線分ではないと判断し、ステップＳ５４に移行して状態変数ＳＴＡＴＥをＳＴＡＴＥ＝０に設定した後処理を終了する。一方、連続検出回数ＣｏｎがＣｏｎ＞Ｃｏｎｔｈ１でないときには、そのまま処理を終了する。
【００７７】
また、前記ステップＳ５２で、連続検出回数Ｃｏｎが“０”であるときには、レーンマーカ候補線を連続して検出している状態からレーンマーカ候補線を検出しない状態となったと判断し、ステップＳ５５に移行して状態変数ＳＴＡＴＥを“３”に設定した後処理を終了する。
そして、前記ステップＳ６１では、連続非検出回数Ｃｏｆｆがそのしきい値Ｃｏｆｆｔｈ２よりも大きいかどうかを判定し、Ｃｏｆｆ＞Ｃｏｆｆｔｈ２であるときには、レーンマーカ候補線を連続して検出しない状態がしきい値Ｃｏｆｆｔｈ２を超えて継続したと判定しステップＳ６２に移行する。そして、変数ＳＣＮＴｔｍｐがＳＣＮＴａｎｓよりも大きいかどうかを判定する。
【００７８】
そして、ＳＣＮＴｔｍｐ＞ＳＣＮＴａｎｓであるときには、ステップＳ６３に移行し、変数ＳＣＮＴｔｍｐの値をＳＣＮＴａｎｓに更新記憶し、また、始点及び終点座標ＸＳｔｍｐ及びＸＥｔｍｐをそれぞれＸＳａｎｓ及びＸＥａｎｓに更新記憶し、さらに、状態変数ＳＴＡＴＥを“０”に設定した後、処理を終了する。
一方、前記ステップＳ６２でＳＣＮＴｔｍｐ＞ＳＣＮＴａｎｓでない場合には、レーンマーカ候補線ではないと判断し、ステップＳ６４に移行し、状態変数ＳＴＡＴＥをＳＴＡＴＥ＝０に設定した後、処理を終了する。
【００７９】
また、前記ステップＳ６１で、連続非検出回数ＣｏｆｆがＣｏｆｆ＞Ｃｏｆｆｔｈ２でないときには、ステップＳ６５に移行し、連続検出回数ＣｏｎがＣｏｎ＞０であるかどうか、つまり、レーンマーカ候補線を検出しない状態からレーンマーカ候補線を検出する状態となったかどうかを判断し、Ｃｏｎ＞０であるときにはステップＳ６６に移行し、状態変数ＳＴＡＴＥを“０”に設定した後処理を終了する。一方、ステップＳ６５で、連続検出回数ＣｏｎがＣｏｎ＞０でないときには引き続きレーンマーカ候補線を検出しない状態が継続していると判断しそのまま処理を終了する。
【００８０】
そして、指定された始点の範囲及び終点の範囲について走査が終わった後、最終的に変数ＳＣＮＴａｎｓに零が格納されている場合には、レーンマーカは存在しないと判断する。また、ＳＣＮＴａｎｓが零でないときには、始点座標及び終点座標ＸＳａｎｓ及びＸＥａｎｓに格納されているＸ座標をそれぞれ始点及び終点の位置座標とし、上記第１の実施の形態と同様に始点座標（ＸＳａｎｓ，ＹＳ）及び終点座標（ＸＥａｎｓ，ＹＥ）を端点とする線分をレーンマーカであると判断する。
【００８１】
つまり、前記変数ＳＣＮＴｔｍｐには、始点を固定とし終点を更新して走査を行った場合に、レーンマーカ候補線であると判定された走査線のうち、最も右側に位置する走査線に対するレーンマーカ候補線の判定を行った場合の候補点数の総和ＳＣＮＴが格納されることになり、また、始点毎に検出された候補点数の総和の最大値ＳＣＮＴｔｍｐのうち、最大のものが最終的にＳＣＮＴａｎｓに格納されることになる。
【００８２】
したがって、この第３の実施の形態においては、例えば前記図１４に示すように、金属鋲からなるレーンマーカの撮像画像においては、始点のＸ座標をＸＳｎとしたとき、走査線の終点のＸ座標が小さい状態、つまり、終点がウィンドウ内の左側に位置する場合には、各走査線それぞれが貫く候補点数が金属鋲検出用しきい値ＣＮＴｔｈ１を超えていないから図２０のステップＳ３２からステップＳ３３に移行して、終点のＸ座標が更新され、初期状態では、状態変数ＳＴＡＴＥは“０”に設定されているから、以後、各走査線それぞれが貫く候補点数がしきい値ＣＮＴｔｈ１を超えていない間は、走査線はレーンマーカ候補線ではないと判断され、終点のＸ座標が更新される毎に、連続非検出回数Ｃｏｆｆが順次インクリメントされる。そして、連続非検出回数Ｃｏｆｆがしきい値Ｃｏｆｆｔｈ１を超えると、ステップＳ３７からステップＳ３８に移行し、状態変数ＳＴＡＴＥが“１”に更新される。
【００８３】
そして、この状態から、各走査線それぞれが貫く候補点数がそれぞれしきい値ＣＮＴｔｈ１を超える状態となると、ステップＳ３２からステップＳ３４に移行し、連続検出回数Ｃｏｎがインクリメントされ、連続非検出回数Ｃｏｆｆが零に設定された後、ステップＳ３５で、このときの各候補点数の総和がＳＣＮＴｔｍｐに格納され、また、この時点における始点及び終点のＸ座標がＸＳｔｍｐ及びＸＥｔｍｐに格納される。
【００８４】
そして、このとき状態変数ＳＴＡＴＥは“１”であるからステップＳ３６からステップＳ４１を経てステップＳ４２に移行し、連続非検出回数Ｃｏｆｆが零であるからステップＳ４３に移行して状態変数ＳＴＡＴＥを“２”に更新する。以後、各走査線それぞれが貫く候補点数がそれぞれしきい値ＣＮＴｔｈ１を超えている間は、ステップＳ３１からステップＳ３２を経てステップＳ３４、Ｓ３５に移行し、連続検出回数Ｃｏｎが順次インクリメントされると共に、そのときの各走査線それぞれ貫く候補点数の総和、始点及び終点の座標が順次更新記憶され、このとき、状態変数ＳＴＡＴＥは“２”であるから、ステップＳ３６からステップＳ４１を経てステップＳ５１に移行し、ステップＳ５２からステップＳ５３に移行し、連続検出Ｃｏｎがしきい値Ｃｏｎｔｈ１を上回らない間は、この処理を繰り返すことになる。
【００８５】
このとき、撮像画像に路面ノイズがない場合には、走査線の始点及び終点が共にレーンマーカの負エッジ点近傍に位置する時点で、各走査線それぞれが貫く候補点数がしきい値ＣＮＴｔｈ１を上回る状態がある程度継続し、その後、走査線位置が負エッジ点近傍からはずれると、各走査線が貫く候補点数がしきい値ＣＮＴｔｈ１を上回らなくなり、また、各走査線が貫く候補点数がしきい値ＣＮＴｔｈ１を上回る状態は、連続検出回数Ｃｏｎがしきい値Ｃｏｎｔｈ１を上回る前に終了する。
【００８６】
そして、各走査線が貫く候補点数がしきい値ＣＮＴｔｈ１を上回らなくなると、ステップＳ３２からステップＳ３３に移行して、連続検出回数Ｃｏｎが零に設定される。このため、図２１のステップＳ５１からステップＳ５２を経てステップＳ５５に移行し、状態変数ＳＴＡＴＥは“３”に更新される。
そして、各走査線が貫く候補点数がしきい値ＣＮＴｔｈ１を上回らない状態が継続する間、ステップＳ３２からステップＳ３３に移行して、連続非検出回数Ｃｏｆｆがインクリメントされ、このとき、状態変数ＳＴＡＴＥは“３”であるから、ステップＳ３６からステップＳ４１、ステップＳ５１を経てステップＳ６１に移行し、連続非検出回数Ｃｏｆｆがしきい値Ｃｏｆｆｔｈ２を超えない間は、順次連続非検出回数Ｃｏｆｆがインクリメントされる。そして、各走査線が貫く候補点数がしきい値ＣＮＴｔｈ１を上回らない状態が継続し連続非検出回数Ｃｏｆｆがしきい値Ｃｏｆｆｔｈ２を超えると、ステップＳ６２に移行し、レーンマーカ候補線であるとして最後に検出した走査線、つまり、図１４の場合には、線分Ｌ０がレーンマーカ候補線として特定され、このときの候補点数の総和ＳＣＮＴ及び始点及び終点のＸ座標ＸＳ、ＸＥがそれぞれＳＣＮＴａｎｓ、ＸＳａｎｓ、ＸＥａｎｓに格納される。
【００８７】
つまり、ウィンドウ内で始点を固定した状態で、終点を走査させた場合に、レーンマーカの候補線が存在しないとみなすことの可能な状態がある程度継続しその後、レーンマーカの候補線が存在するとみなすことの可能な状態がしきい値以内の範囲で継続し、さらに、レーンマーカの候補線が存在しないとみなすことの可能な状態がある程度継続したとき、すなわち、図１４に示すように、ノイズがない状態においてレーンマーカを検出したときの撮像画像におけるレーンマーカ候補線の分布状況と同等であるとき、これがレーンマーカとして特定されることになる。
【００８８】
同様にして、始点のＸ座標を順次更新して各始点位置におけるレーンマーカ候補線の検出を行うが、走査線が貫く候補点数の総和ＳＣＮＴが最大となるのは、真のレーンマーカの負エッジ点列近傍の走査線であり、始点及び終点が共に、負エッジ点列近傍に位置するときの走査線であるから、最終的に、変数ＸＳ及びＳＥに登録されているＸ座標は、走査領域における各走査線のうち候補点数の総和が最大となるもの、つまり、負エッジ点列近傍に位置する走査線のＸ座標となり、これがレーンマーカ候補線として特定されることになる。
【００８９】
一方、例えば、図２２に示すように、負エッジ点が直線状に並ぶ形状の路面汚れが平行に複数存在した場合、これら路面汚れ部分を走査した場合、複数の候補点が同一の線上に位置し、また、連続する複数の走査線において各走査線が貫く候補点数が多くなる。
このため、指定された走査領域において走査線を走査させてレーンマーカ候補線となり得るかどうかを判定した場合、例えば、図２２に示すように、始点のＸ座標をＸＳｎとし、終点座標を順次更新して走査を行った場合、レーンマーカ候補線が検出されない状況がしきい値Ｃｏｆｆｔｈ１を超えて継続し、状態変数ＳＴＡＴＥが“１”となった後、レーンマーカ候補線を検出する状態となって、状態変数ＳＴＡＴＥが“２”に更新される。そして、レーンマーカ候補線を検出している間、順次連続検出回数Ｃｏｎがインクリメントされることになる。
【００９０】
ここで、前述のように、金属鋲からなるレーンマーカは、撮像画像において、遠方ほど小さく、近傍ほど大きな画像となり、遠方ほど一つの金属鋲に対して設定される負エッジ点は少なく、近傍ほど多い。また、負エッジ点は、撮像画像において一般に垂直方向に直線状に並ぶ。
したがって、始点として、レーンマーカの負エッジ点近傍の特定画素を設定し、終点として負エッジ点近傍の特定範囲の画素を設定して走査線を設定したときにのみ、これら走査線が貫く候補点数が多くなり、これ以外の領域では、走査線が貫く候補点数は少なくなる。
【００９１】
これに対し、図２２に示すように、路面汚れが発生している場合、遠方においても候補点数が多いため、始点を固定して終点を走査させた場合、貫く候補点数がしきい値よりも多い走査線が、真のレーンマーカの場合に比較してより多くなり、連続検出回数Ｃｏｎがしきい値Ｃｏｎｔｈ１を超えることになる。
したがって、レーンマーカ候補線として連続して検出されている状態で、連続検出回数がＣｏｎ＞Ｃｏｎｔｈ１となった時点で、図ステップＳ５３からステップＳ５４に移行し、状態変数はＳＴＡＴＥ＝０に設定される。
【００９２】
このため、終点画素を更新した次の走査線においても引き続きレーンマーカ候補線として検知した場合には、ステップＳ３２からステップＳ３４、Ｓ３５、Ｓ３６を経てステップＳ３７に移行することになり、以後、レーンマーカ候補点が検出されない状態が所定期間継続する状態の探索が行われることになる。
したがって、このように、貫く候補点数がしきい値以上の走査線が複数連続するような路面ノイズであっても、連続検出回数Ｃｏｎがしきい値Ｃｏｎｔｈ１を超えて継続するような場合には、これをレーンマーカの候補線として登録しないようにしたから、このようなノイズをレーンマーカとして誤認識することはない。
【００９３】
一方、白線状のレーンマーカである場合には、レーンマーカの負エッジ点の近傍以外に位置する走査線では、この走査線が貫く候補点数は少ないため、複数の走査線における候補点数がしきい値を超えないが、一つの走査線が貫く候補点数が白線検出用しきい値を超えるため、ステップＳ３２の処理でこれがレーンマーカ候補線として検出される。そして、白線状のレーンマーカの場合も、レーンマーカ候補線として連続して検出される回数は少なく、連続検出回数Ｃｏｎはしきい値Ｃｏｎｔｈ１を下回る。したがって、この場合も、レーンマーカ候補線を検出しない状態がある程度継続した後、レーンマーカ候補線を検出する状態となり、このレーンマーカを検出する状態、つまり連続検出回数Ｃｏｎがしきい値Ｃｏｎｔｈ１を超える以前に非検出状態となりこの非検出状態がある程度継続することになる。そして、この場合も、金属鋲のレーンマーカと同様に、走査線の始点及び終点が、レーンマーカの負エッジ点近傍に位置するときにこの走査線が貫く候補点数が最大となるから、最終的に、レーンマーカの負エッジ点近傍に位置する走査線が、レーンマーカ候補線として特定されることになる。
【００９４】
よって、この場合も路面ノイズ等の影響を受けることなく、的確にレーンマーカを検出することができる。
また、例えば、真のレーンマーカのそばに、路面ノイズ等が存在した場合、場合によっては、ステップＳ３２において、一時的に、今回を含めた過去複数分の走査線が貫く候補点数がそれぞれしきい値ＣＮＴｔｈ１を超えるか、或いは、今回の走査線上の候補点数がしきい値ＣＮＴｔｈ２を超えるか何れかの状態になった場合、この路面ノイズをレーンマーカ候補線として誤認識することになる。しかしながら、連続非検出回数及び連続検出回数が前記各条件を満足した場合であっても、状態変数ＳＴＡＴＥが“３”となった後、連続非検出回数Ｃｏｆｆがしきい値Ｃｏｆｆ２を超える以前に再度、レーンマーカ候補線を検出したとき、つまり、レーンマーカ候補線のそばに新たにレーンマーカ候補線を検出した場合には、先に検出したレーンマーカ候補線はノイズである可能性があるから、ステップＳ６１からステップＳ６５を経てステップＳ６６に移行し、状態変数ＳＴＡＴＥを“０”に設定し、レーンマーカとしての登録は行わない。したがって、ノイズである可能性のあるレーンマーカ候補線がレーンマーカとして登録されることを回避することができる。
【００９５】
このように、しきい値ＣＮＴｔｈ１を超える数の候補点を貫く走査線が複数連続するか、或いは、しきい値ＣＮＴｔｈ２を超える数の候補点を貫く走査線が存在するかだけでなく、レーンマーカ候補線の前後の所定範囲には、レーンマーカ候補となり得る線分は存在しないという条件をも満足するときにのみ、これをレーンマーカとして特定するようにしたから、路面ノイズ等をレーンマーカとして誤認識することを回避することができ、より高精度にレーンマーカの検出を行うことができる。
【００９６】
また、この場合も金属鋲及び白線状のレーンマーカに関わらず検出することができるから、上記第１及び第２の実施の形態と同等の作用効果を得ることができる。
なお、上記各実施の形態において、前記レーンマーカ検出処理を繰り返し行うようにし、撮像装置１で撮像される撮像画像に対して逐次レーンマーカを検出するようにしてもよいことはいうまでもない。
【００９７】
また、上記各実施の形態においては、走査線を左側から右側に走査し、ｋ回分の走査線が貫く候補点数の総和ＳＣＮＴがこれよりも前に算出された候補点数の総和ＳＣＮＴよりも大きいときにこれを新たにレーンマーカ候補として登録するようにしているため、候補点数の総和ＳＣＮＴが同数である場合、候補点数の総和ＳＣＮＴが同数となった複数の走査線のうち、最左端に位置する走査線がレーンマーカとして特定されることになるが、必ずしもこれに限るものではなく、候補点数の総和ＳＣＮＴが最大となるときの走査線のうちの何れかをレーンマーカとして特定するようにしてもよい。同様に、ｋ回分の走査線が面向く候補点数がの総和ＳＣＮＴが最大となるときの走査線をレーンマーカとして特定するようにしているため、ｋ回分の走査線のうち最右端の走査線をレーンマーカとして特定するようにしているが、これに限るものではなく、ｋ回分の走査線の中から何れかの走査線を選択しこれをレーンマーカとして特定するようにしてもよい。
【００９８】
また、上記実施の形態においては、自車両前方の走行路を撮像する撮像手段と、当該撮像手段で撮像された撮像画像からレーンマーカの一部とみなすことの可能な候補点を検出する候補点検出手段と、を備え、当該候補点検出手段で検出した候補点に基づいて前記レーンマーカを検出するようにした車線認識装置において、前記撮像画像における自車両遠方側に設定される始点を基準とする直線からなる走査線を、前記始点を走査させると共に前記始点の各位置において前記始点を基準としその終点側を移動させることにより前記撮像画像上で走査させる走査手段と、前記走査線の各走査位置において前記走査線の延長線が貫く前記候補点の数を検出する候補点数検出手段と、同一の始点を有し且つ隣接する複数の走査線を判定用走査線群とし、前記候補点数検出手段の検出結果に基づき、前記判定用走査線群を構成する各走査線の延長線それぞれが貫く候補点数の総和を算出し、当該候補点数の総和がしきい値を上回るときこの判定用走査線群を有効とし、当該判定用走査線群を構成する走査線のうちの何れかを前記レーンマーカに相当するレーンマーカ相当線分として検出するレーンマーカ検出手段と、を備える構成としたから、レーンマーカが白線状或いは金属鋲等で形成される場合であっても的確にレーンマーカの検出を行うことができる。
【００９９】
また、前記走査線は前記判定用走査線群を構成する走査線の終点側が水平方向に略等間隔となるように設定するようにしたから、少ない走査回数で的確に白線状或いは金属鋲等で形成されるレーンマーカを検出することができる。
また、前記レーンマーカ検出手段で検出される前記レーンマーカ相当線分の位置情報に基づいて、前記撮像画像上におけるレーンマーカの消失点座標を検出する消失点検出手段を備え、前記始点は、前記消失点検出手段で検出される消失点の位置座標に基づいて設定するようにしたから、的確な位置に始点を設定することができ、より的確にレーンマーカの検出を行うことができる。
【０１００】
また、前記レーンマーカ検出手段は、前記候補点数の総和が前記しきい値を超える判定用走査線群のうち、前記候補点数の総和が最大となる判定用走査線群を有効とするようにしたから、より的確にレーンマーカの検出を行うことができる。
また、前記レーンマーカ検出手段は、前記候補点数の総和が前記しきい値を上回り、且つ前記判定用走査線群を構成する各走査線に該当する、前記候補点数検出手段で検出される候補点数がそれぞれ予め設定した有効候補点数を上回るときに、前記判定用走査線群を有効とするようにしたから、候補点数の総和が前記しきい値を上回るかどうかだけでなく、判定用走査線群を構成する各走査線についても所定の条件を満足するかどうかをも、判定用走査線群を有効とする条件としたから、例えば、判定用走査線群を構成する各走査線に該当する候補点数は偏っているが、候補点数の総和がしきい値を上回るような路面ノイズを、レーンマーカであると誤判定することを回避することができ、より的確にレーンマーカの検出を行うことができる。
【０１０１】
また、前記レーンマーカ検出手段は、前記候補点数の総和が前記しきい値を上回り且つ前記判定用走査線群を構成する各走査線に該当する、前記候補点数検出手段で検出される候補点数がそれぞれ予め設定した有効候補点数を上回るとき、又は前記候補点数の総和が前記しきい値を上回り且つ前記判定用走査線群を構成する走査線のうちの何れかに該当する前記候補点数が、前記有効候補点数よりも値の大きい白線相当候補点数を上回るときに、前記判定用走査線群を有効とするようにしたから、レーンマーカが金属鋲である場合及び白線状である場合に応じて、前記有効候補点数及び白線相当候補点数をそれぞれ設定することによって、レーンマーカ金属鋲等白線状及び金属鋲等の場合に係わらず、レーンマーカをより的確に検出することができる。
【０１０２】
また、前記レーンマーカ検出手段は、前記候補点数の総和が前記しきい値を上回り且つ前記判定用走査線群を構成する走査線のうちの何れかに該当する前記候補点数が前記白線相当候補点数を上回る走査線のうち、前記候補点数が最大となる走査線を、前記レーンマーカ相当線分として検出するようにしたから、より的確にレーンマーカを検出することができる。
【０１０３】
さらに、前記レーンマーカ検出手段は、前記レーンマーカ相当線分であると判定された一の走査線を含む規定範囲の周辺に、前記レーンマーカ相当線分となり得る他の走査線が存在するかどうかを検出する周辺状況検出手段を備え、当該周辺状況検出手段で、前記レーンマーカ相当線分となり得る他の走査線が存在すると判定されるときには、前記一の走査線は前記レーンマーカ相当線分ではないと判定するようにしたから、路面ノイズ等をレーンマーカとして誤検出することを回避することができる。
【０１０４】
ここで、撮像装置１が撮像手段に対応し、図２のステップＳ３の正負のエッジペアを検出する処理が候補点検出手段に対応し、図２のステップＳ４のレーンマーカ検出処理において、始点及び終点の位置を順次更新して走査線を設定する処理が走査手段に対応し、図１１のステップＳ２５の処理において、候補点数の総和ＳＣＮＴを算出する際に加算する、今回を含む過去ｋ回分の走査線が判定用線分群及び判定用走査線群に対応し、ステップＳ２４の処理が候補点数検出手段に対応し、ステップＳ２５の処理レーンマーカ検出手段に対応し、図１９のステップＳ２５ｂの処理で、始点を同一として走査線を走査させたときに、レーンマーカ候補線とみなすことが可能な走査線であると判断される状態及び判断されない状態が所定の順に現れ且つ所定の期間継続するかどうかを判定する処理が周辺状況検出手段に対応している。
【図面の簡単な説明】
【図１】本発明を適用した、車線認識装置の一例を示す概略構成図である。
【図２】本発明の実施の形態におけるレーンマーカ検出処理の処理手順の一例を示すフローチャートである。
【図３】撮像画像における座標系を説明するための説明図である。
【図４】ウィンドウの設定方法を説明するための説明図である。
【図５】図２のステップＳ３における正負エッジペアの検出処理の処理手順の一例を示すフローチャートである。
【図６】ウィンドウ内の走査方法を説明するための説明図である。
【図７】候補点画像を説明するための説明図である。
【図８】金属鋲からなるレーンマーカの場合の候補点画像の一例である。
【図９】白線状のレーンマーカの場合の候補点画像が一例である。
【図１０】走査線上の候補点の計測方法を説明するための説明図である。
【図１１】図２のステップＳ４におけるレーンマーカの検出処理の処理手順の一例を示すフローチャートである。
【図１２】走査線の始点の設定方法を説明するための説明図である。
【図１３】走査線の終点の設定方法を説明するための説明図である。
【図１４】候補点数の総和ＳＣＮＴを説明するための説明図である。
【図１５】第１の実施の形態の動作説明に供する説明図である。
【図１６】第１の実施の形態の動作説明に供する説明図である。
【図１７】第２の実施の形態におけるレーンマーカの検出処理の処理手順の一例を示すフローチャートである。
【図１８】第２の実施の形態の動作説明に供する説明図である。
【図１９】第３の実施の形態におけるレーンマーカの検出処理の処理手順の一例を示すフローチャートである。
【図２０】図１９のステップＳ２５ｂにおけるレーンマーカの判定処理の処理手順の一例を示すフローチャートである。
【図２１】図２０の続きである。
【図２２】第３の実施の形態の動作説明に供する説明図である。
【図２３】正及び負のエッジ点を説明するための説明図である。
【図２４】金属鋲からなるレーンマーカを撮像した場合の撮像画像の一例である。
【図２５】図２４の撮像画像における正及び負のエッジ点の一例である。
【図２６】図２５のレーンマーカにおける内側エッジ点の一例である。
【図２７】図２５の内側エッジ点に対して直線抽出を行った結果の一例である。
【図２８】金属鋲からなるレーンマーカをパターンマッチングによって検出する場合の一例である。
【図２９】撮像画像において金属鋲が変形する状態を説明するための説明図である。
【符号の説明】
１  撮像装置
２  制御装置
【図１】
2004252827.tif 000003
【図２】
2004252827.tif 000004
【図３】
2004252827.tif 000005
【図４】
2004252827.tif 000006
【図５】
2004252827.tif 000007
【図６】
2004252827.tif 000008
【図７】
2004252827.tif 000009
【図８】
2004252827.tif 000010
【図９】
2004252827.tif 000011
【図１０】
2004252827.tif 000012
【図１１】
2004252827.tif 000013
【図１２】
2004252827.tif 000014
【図１３】
2004252827.tif 000015
【図１４】
2004252827.tif 000016
【図１５】
2004252827.tif 000017
【図１６】
2004252827.tif 000018
【図１７】
2004252827.tif 000019
【図１８】
2004252827.tif 000020
【図１９】
2004252827.tif 000021
【図２０】
2004252827.tif 000022
【図２１】
2004252827.tif 000023
【図２２】
2004252827.tif 000024
【図２３】
2004252827.tif 000025
【図２４】
2004252827.tif 000026
【図２５】
2004252827.tif 000027
【図２６】
2004252827.tif 000028
【図２７】
2004252827.tif 000029
【図２８】
2004252827.tif 000030
【図２９】
2004252827.tif 000031