(57)【要約】【課題】路面汚れ等を誤認識することなく、道路白線の白線候補を高精度に検出する。【解決手段】輝度変化に基づいて正及び負のエッジ点を検出し（ステップＳ１１）、ｙ座標が同一であり且つこれら間の間隔がしきい値以下である正負のエッジ点ペアを検出し、その負エッジ点についてその位置座標をハフ変換し、貫く負エッジ点数がしきい値以上の直線を選択する（ステップＳ１２、Ｓ１３）。選択した直線について、同一直線上に位置する負エッジ点について、これとペアをなす正エッジ点とのエッジ点間隔を検出し、このエッジ点間隔の分散を算出し、この分散値がしきい値以下となる直線を、白線候補として選定する（ステップＳ１４）。【選択図】　　　　　図５
2004145501.tif 000002
【特許請求の範囲】
【請求項１】
車両前方の道路を撮像する撮像手段を有し、
当該撮像手段で撮像した撮像画面において道路白線の白線候補を検出し、当該白線候補に基づいて道路形状を推定するようにした道路白線認識装置において、前記撮像画面における垂直方向位置が同一であり且つ道路白線の左縁に相当する左エッジ点及び右縁に相当する右エッジ点からなるエッジ点ペアを検出し、
検出したエッジ点ペアの位置を特定するためのペア基準点で構成され且つ同一の直線上に位置するペア基準点で構成されるペア基準点列のうち、当該ペア基準点列を構成する各ペア基準点に対応する前記エッジ点ペアの、エッジ点間の間隔の変動状況が許容範囲内にあるペア基準点列を、前記白線候補として選定することを特徴とする道路白線認識装置。
【請求項２】
車両前方の道路を撮像する撮像手段を有し、
当該撮像手段で撮像した撮像画面において道路白線の白線候補を検出し、当該白線候補に基づいて道路形状を推定するようにした道路白線認識装置において、前記撮像画面における垂直方向位置が同一であり且つ道路白線の左縁に相当する左エッジ点及び右縁に相当する右エッジ点からなるエッジ点ペアを検出しこのエッジ点ペアの位置を特定するためのペア基準点の位置情報を検出するエッジ点ペア検出手段と、
当該エッジ点ペアで検出された前記ペア基準点の位置情報に基づいて同一の直線上に位置するペア基準点列を検出する基準点列検出手段と、
当該基準点列検出手段で検出されたペア基準点列を構成する各ペア基準点に対応する前記エッジ点ペアのエッジ点間隔を検出するエッジ点間隔検出手段と、
当該エッジ点間隔検出手段で検出されたエッジ点間隔の変動状況が、予め設定した許容範囲内であるペア基準点列を前記白線候補として選定する白線候補選定手段と、を備えることを特徴とする道路白線認識装置。
【請求項３】
車両前方の道路を撮像する撮像手段を有し、
当該撮像手段で撮像した撮像画面において道路白線の白線候補を検出し、当該白線候補に基づいて道路形状を推定するようにした道路白線認識装置において、前記撮像画面における垂直方向位置が同一であり且つ道路白線の左縁に相当する左エッジ点及び右縁に相当する右エッジ点からなるエッジ点ペアを検出しこのエッジ点ペアの位置を特定するためのペア基準点の位置情報を検出するエッジ点ペア検出手段と、
当該エッジ点ペアで検出された前記ペア基準点の位置情報に基づいて同一の直線上に位置するペア基準点列を検出する基準点列検出手段と、
当該基準点列検出手段で検出されたペア基準点列を構成する各ペア基準点に対応する前記エッジ点ペアのエッジ点間隔を検出するエッジ点間隔検出手段と、
前記エッジ点間隔検出手段で検出された前記エッジ点間隔のばらつきが、予め設定した許容範囲内であるペア基準点列を白線候補として選定する白線候補選定手段と、を備えることを特徴とする道路白線認識装置。
【請求項４】
前記白線候補選定手段は、前記エッジ点間隔の分散を検出し、当該分散に基づいて前記白線候補を選定するようになっていることを特徴とする請求項３記載の道路白線認識装置。
【請求項５】
車両前方の道路を撮像する撮像手段を有し、
当該撮像手段で撮像した撮像画面において道路白線の白線候補を検出し、当該白線候補に基づいて道路形状を推定するようにした道路白線認識装置において、前記撮像画面における垂直方向位置が同一であり且つ道路白線の左縁に相当する左エッジ点及び右縁に相当する右エッジ点からなるエッジ点ペアを検出しこのエッジ点ペアの位置を特定するためのペア基準点の位置情報を検出するエッジ点ペア検出手段と、
当該エッジ点ペアで検出された前記ペア基準点の位置情報に基づいて同一の直線上に位置するペア基準点列を検出する基準点列検出手段と、
当該基準点列検出手段で検出されたペア基準点列を構成する各ペア基準点に対応する前記エッジ点ペアのエッジ点間隔を検出するエッジ点間隔検出手段と、
当該エッジ点間隔検出手段で検出されたエッジ点間隔と、これに対応するエッジ点ペアの前記垂直方向位置とで定義される二次元ベクトルで特定されるベクトル点のうち、同一直線上に位置するベクトル点列を構成するベクトル点に対応する前記ペア基準点列を前記白線候補として選定する白線候補選定手段と、を備えることを特徴とする道路白線認識装置。
【請求項６】
前記白線候補選定手段は、前記ベクトル点列が、これを構成するベクトル点の垂直方向位置が前記撮像画面の下方向となるほど、前記エッジ点間隔が大きくなるように変化するとき、このベクトル点列を前記白線候補として選定することを特徴とする請求項５記載の道路白線認識装置。
【請求項７】
前記エッジ点ペア検出手段は、前記左エッジ点及び前記右エッジ点間の間隔がしきい値以下となるエッジ点の組を、前記エッジ点ペアとして検出するようになっていることを特徴とする請求項２乃至６の何れかに記載の道路白線認識装置。
【請求項８】
前記撮像画面に対して複数の探索領域を設定し、当該探索領域毎に前記白線候補の検出を行い、各探索領域毎に前記白線候補を検出するようになっていることを特徴とする請求項２乃至７の何れかに記載の道路白線認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、道路上の通行区分帯表示用の道路白線を認識するための道路白線認識装置に関する。
【０００２】
【従来の技術】
従来より、自車両前方の道路を撮像手段によって撮像し、撮像した撮像画面において道路白線を認識し、自車両と道路白線との関係を、車両の自動制御又は一部自動制御に用いる技術が提案されている。
前記道路白線を認識する方法としては、例えば、論文“レーンキープシステムにおける白線認識システムの開発”（ＨＯＮＤＡ　Ｒ＆Ｄ　Ｔｅｃｈｎｉｃａｌ　Ｒｅｖｉｅｗ　Ｖｏｌ．１２　Ｎｏ．１（Ａｐｒｉｌ　２０００））が提案されている。
【０００３】
この論文中においては、正のエッジ点及び負のエッジ点が以下の条件を満たして配置されている場合に、この点を、道路白線を構成する点の候補と考えている。つまり、これら正及び負のエッジ点が、所定の距離以内にあること、また、これら正及び負のエッジ点が、画面を左から右に走査したとき「正」→「負」の順に配置されていること、さらに、エッジ点列が直線的に並んでいることも利用している。なお、この直線的に並んでいるエッジ点列を抽出する技術としてハフ変換を利用している。
【０００４】
ここで、正のエッジ点とは、撮像手段で撮像した、図１９に示すような車両前方の撮像画面において、画面を左から右へ走査していった場合に、図２０に白丸で示すように、濃度値（もしくは輝度値とも呼ぶ。）が増加する点のことであり、負のエッジ点は、黒丸で示すように、濃度値が減少する点である。
一般に、道路白線は、アスファルトやコンクリートで作られる路面よりも白線の輝度値が高いため、白線と路面境界とのうち、白線の左側は正のエッジ点、右側は負のエッジ点となる。また、車線に曲率がついている場合でも局所的には直線近似できる場合がほとんどであり、前記正負のエッジ点列は白線と路面との境界に直線的に並んでいる傾向がある。
【０００５】
【非特許文献１】
論文“レーンキープシステムにおける白線認識システムの開発”
（ＨＯＮＤＡ　Ｒ＆Ｄ　Ｔｅｃｈｎｉｃａｌ　Ｒｅｖｉｅｗ　Ｖｏｌ．１２　Ｎｏ．１（Ａｐｒｉｌ　２０００）
【０００６】
【発明が解決しようとする課題】
しかしながら、前述のように、正及び負のエッジ点が所定の距離以内にあることや、画面を左から右に走査したときに、正及び負のエッジ点が正及び負の順に配置されていること等に基づいて、道路白線を構成する点の候補として取り扱うようにした場合、路面上に汚れ等がある場合には、誤認識する場合があるという問題がある。
【０００７】
つまり、例えば、図２１に示すように、撮像画面上に路面汚れがある場合、例えばアスファルトのひび割れを補修したタールが光線の反射の具合により光っている場合等、この路面汚れの輝度がその周囲の路面の輝度よりも高い場合には、図２２に示すように、汚れと路面との左右の境界には正負のエッジが発生する。
そして、この正負のエッジは、撮像画面を左から右に走査したとき「正」→「負」の順に現れる。また、図２２に示すように、正のエッジ点は直線的に並んでいる訳ではないが、路面汚れを構成するエッジ点のうち、直線的に並んでいる点列が存在する場合がある。
【０００８】
ここで、ハフ変換は直線的に並んだ点列を抽出する技術であり、図２２に示すように、直線的に並んでいるわけではないが、いくつかのエッジ点が同一の直線上に存在する場合には、これも直線として抽出してしまう。その結果、路面汚れを道路白線と誤認識してしまうという問題がある。
そこで、この発明は、上記従来の未解決の問題に着目してなされたものであり、路面汚れ等を誤認識することなく、道路白線の白線候補点をより的確に検出することの可能な道路白線認識装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る道路白線認識装置では、撮像手段で撮像した撮像画面において、垂直方向位置が同一であり且つ道路白線の左縁に相当する左エッジ点及び右縁に相当する右エッジ点からなるエッジ点ペアが検出される。そして、このエッジ点ペアの位置を特定するためのペア基準点、例えば、右エッジ点或いは左エッジ点、或いは左右のエッジ点の中央等で構成され、且つ同一の直線上に位置するペア基準点で構成されるペア基準点列について、このペア基準点列を構成する各ペア基準点に対応する前記エッジ点ペアのエッジ点間の間隔の変動状況が検定され、この変動状況が、許容範囲内にあるペア基準点列が、道路白線の白線候補として選定される。
【００１０】
【発明の効果】
本発明による道路白線認識装置によれば、道路白線の左右の縁に相当するエッジ点ペアを検出し、その位置を特定するためのペア基準点が同一の直線上に位置して形成されるペア基準点列のうち、このペア基準点列を構成する各ペア基準点に対応するエッジ点ペアのエッジ点間の間隔の変動状況が許容範囲内にあるものを、白線候補として選定するようにしたから、例えば路面汚れ等、エッジ点間の間隔にばらつきのあるエッジ点ペアからなるエッジ点列が白線候補として誤認識されることを回避することができ、より高精度に白線候補を選定することができる。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
まず、本発明の第１の実施の形態を説明する。
図１は、本発明を適用した道路白線認識装置の一実施形態を示す構成図である。
【００１２】
図１において、ＣＣＤカメラ等で構成される撮像装置１は、例えば、車幅方向中央の、車室内のフロントウィンドウ上部に取り付けられ、車両前部の道路を含む車両の周囲環境を撮像する。
前記撮像装置１で撮像された撮像情報は、処理装置２に入力され、処理装置２は、前記撮像情報をもとに白線候補点の検出を行い、白線候補点の検出結果に基づいて道路モデルを表す道路パラメータを推定する。
【００１３】
図２は、処理装置２で実行される道路白線を検出するための道路白線検出処理の処理手順の一例を示すフローチャートである。なお、この道路白線検出処理は、予め設定した所定周期で実行される。
まず、ステップＳ１で、撮像装置１で撮像した前方画像の撮像情報を読み込み、次いでステップＳ２で、読み込んだ撮像情報からなる撮像画面において、図３に示すように、左右の道路白線に相当する位置に複数のウィンドウを設定する。
図３の場合には、６個のウィンドウを設定している。また、各ウィンドウを識別番号により識別する。
【００１４】
このウィンドウは、道路白線以外の白線を道路白線として誤認識することを回避するために設けたものであり、このウィンドウの中において白線候補を検出する。このようにウィンドウを設定することによって、検出範囲を狭めたことにもなり、演算時間の短縮にも有効である。
なお、このウィンドウの位置は固定でも良いし、また、車線認識を行うシステムの場合には、例えば特開平８−２６１７５６に示すように、前回の車線位置推定結果に基づき合理的に設定しても良い。
【００１５】
次いで、ステップＳ３に移行し、第一番目のウィンドウを処理対象のウィンドウとして設定し、次いで、ステップＳ４に移行し、処理対象として設定したウィンドウ内に存在する白線を検出する。前記白線の位置は、白線の右縁で定義する。すなわち、白線の右縁に存在する負エッジ点列を貫く直線で白線の位置を特定する。
【００１６】
なお、ここでは、負のエッジ点列を貫く直線で白線の位置を特定するようにした場合について説明したが、正のエッジ点列を貫く直線で白線の位置を特定してもよいし、正負の中点でもよい。以下の議論はすべての場合に成り立ち、一般性を失わない。
なお、分流路誘導線と本線車線区分線が存在する場合、図４に示すように、ウィンドウ内で複数の白線が検出されることになる。ここでは、分流路誘導線も白線として扱うが、この分流路誘導線と本線車線区分線との区別は、公知の手順で行うようにすればよい。
【００１７】
このステップＳ４での、ウィンドウ内における白線の検出は、図５のフローチャートに示す手順で行う。
すなわち、まず、ステップＳ１１で、正及び負のエッジペアを抽出する。
具体的には、図６のフローチャートに示すように、まず、ステップＳ２１で図７に示すように、ウィンドウ左上の座標（ｘ０，ｙ０）を走査開始点として設定する。
【００１８】
次いで、ステップＳ２２に移行し、次式（１）に基づいて輝度変化計算を行う。
ｄＩ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）−Ｉ（ｘ−１，ｙ）　　　　　　……（１）
なお、式（１）中の、ｄＩ（ｘ，ｙ）は座標（ｘ、ｙ）での輝度変化、Ｉ（ｘ，ｙ）は座標（ｘ、ｙ）での輝度である。この処理を、走査開始点から順に、ｙ座標は固定したままｘ座標を順次更新して行い、ｙ座標が同一である点すなわち画素について各画素毎に輝度変化を算出する。
【００１９】
次いで、ステップＳ２３に移行し、ステップＳ２２で算出した輝度変化が、予め設定した正の輝度変化のしきい値“＋ｄＩＴＨ”を超える点を、正エッジ点とし、そのｘ座標を正エッジ点座標ｘｐとして所定の記憶領域に記憶する。
なお、前記正の輝度変化のしきい値“＋ｄＩＴＨ”を大きくすると、輝度の低いエッジを採らなくなり、ノイズを拾いにくくなる反面、輝度の低い白線を検出しなくなる。また、逆に“＋ｄＩＴＨ”を小さくすると輝度の低い白線を検出できる反面、ノイズを拾いやすくなる。よって、前記しきい値“＋ｄＩＴＨ”は両者のトレードオフを考えて設定する。
【００２０】
次いで、ステップＳ２４に移行し、負エッジ点の検出を行う。
具体的には、輝度変化が、負の輝度変化のしきい値“−ｄＩＴＨ”以下であるとき、この点を負エッジ点Ｘｍとして特定する。
なお、負の輝度変化のしきい値“−ｄＩＴＨ”は、正エッジ点の場合と同様に、｜−ｄＩＴＨ｜を大きくすると、輝度変化の薄いエッジを採らなくなり、ノイズを拾いにくくなる反面、輝度変化の薄い白線を検出しなくなる。また、逆に｜−ｄＩＴＨ｜を小さくすると、輝度変化の薄い白線を検出することができる反面、ノイズを拾いやすくなる。したがって、この場合も、輝度変化の負側のしきい値“−ｄＩＴＨ”は、両者のトレードオフを考えて設定する。
【００２１】
次いで、ステップＳ２５に移行し、ステップＳ２３で特定した正エッジ点ＸｐとステップＳ２４で特定した負エッジ点Ｘｍとの差、つまり、これら正負のエッジ点間の間隔を算出する。なお、正エッジ点Ｘｐ及び負エッジ点Ｘｍとして複数特定されている場合には、正エッジ点及び負エッジ点の全ての組み合わせ毎にエッジ点間隔を算出する。そして、算出したエッジ点間隔が、次式（２）を満足するとき、この正負のエッジ点ペアは無効と判定し、有効と判定されたエッジ点ペアについてのみ、その負エッジ点を特定する位置座標を、図８（ａ）に示すように、マップに登録すると共に、その正負のエッジ点ペアの間隔を白線幅ｗｄとして登録する。
【００２２】
ｘｍ−ｘｐ＞ｘｄ　　　　　　　　　　　　　　　　　　　　　　……（２）
なお、式（２）中のｘｄは画面上で想定される白線幅最大値である。なお、このｘｄは、固定値でもよく、また、車両近傍に近づく程、つまりｙが大きいほど、ｘｄを大きくしても良い。つまり、車両近傍ほど画像上の白線幅は大きくなるためこれに応じてｘｄを変化させるようにしてもよい。
【００２３】
次いで、ステップＳ２６に移行し、図７に示すように、ウィンドウ内を走査し、全てのｙ座標毎に正及び負エッジペアを抽出したかどうかを判定し、全てについて正負のエッジペアを抽出していない場合には、ステップＳ２７に移行して、ｙ座標を“１”だけインクリメントし、ｘ座標をウィンドウ左端の位置座標に更新して、これを走査開始点として更新した後、ステップＳ２２に戻る。
【００２４】
この処理を繰り返し行い、各ｙ座標毎に、ウィンドウの左から右へ走査し、同一ｙ座標上の正負のエッジ点ペアについてその間隔が所定値ｘｄを超えないものを選択し、これをマップに登録する。これによって、最終的に、図８（ｂ）に示す負エッジ点マップが得られる。例えば、撮像画面において真の道路白線に相当するエッジ点ペアのみが検出された場合には、登録される負エッジ点数は、ウィンドウのｙ座標方向の画素数に相当することになり、また、白線幅ｗｄは、ｙ座標値が大きくなるほど、大きくなる。
【００２５】
なお、ここでは、図６のフローチャートに示すように、正負のエッジ点ｘｍ，ｘｐを検出した後、これら間の間隔に基づいて白線幅検定を行うようにした場合について説明したが、各画素の輝度変化計算を行う毎に、この画素が正エッジ点に該当するか否かの判定、白線幅検定及び、負エッジ点の検出を行うようにしてもよい。
【００２６】
このようにして、正負のエッジペアの抽出が終了したならば、図５に戻り、ステップＳ１２に移行し、ステップＳ１１の処理により得られた図８（ｂ）の負エッジ点マップの１列目つまり負エッジ点のｘ座標と、２列目つまり、負エッジ点のｙ座標を用いて公知のハフ変換処理を行う。
このハフ変換の結果、負エッジ点の座標集合から直線状に並んだ負エッジの点列が抽出される。図９は、ハフ変換の結果を表す一例である。なお、図９中の、ｒ及びｔｈｅｔａは直線の位置及び傾きを示すパラメータである。図１０に示すように、ｒは、得られた直線と直交し且つ原点を通る直交線の、原点及び直線間の距離、ｔｈｅｔａは直交線とｘ軸とがなす角度である。
【００２７】
また、図９のハフ変換の結果においてその３列目の候補点数はｒ及びｔｈｅｔａで特定される直線が貫く負エッジ点の数である。以後、直線の貫く点をその直線の構成点、直線の貫く構成点の総数を構成点数と呼ぶ。
このようにしてステップＳ１２でハフ変換処理が終了すると、次にステップＳ１３に移行し、ステップＳ１２のハフ変換処理により得られた図９に示すハフ変換結果に対し、候補点数による検定を行う。具体的には、ハフ変換結果により得られた複数の直線のうち、その候補点数がしきい値以上のものを抽出する。これはノイズを誤認識しないための処理である。なお、しきい値を大きくするとノイズは拾わなくなる反面、長さの短い破線等をロストしやすくなるため、しきい値は、両者のトレードオフを考えて設定する。
【００２８】
次いで、ステップＳ１４に移行し、ステップＳ１３での候補点数による検定の結果抽出された直線に対し、白線幅による検定を行う。つまり、図８（ｂ）の負エッジ点マップに登録された負エッジ点のうち、ステップＳ１３で抽出された直線の構成点である負エッジ点について、これに対応する白線幅の分散を検定する。
【００２９】
具体的には、図１１のフローチャートに示すように、まず、ステップＳ３１で、ステップＳ１３の処理で選定された直線のうち、第１番目の直線を処理対象の直線として選択する。次に、ステップＳ３２に移行し、処理対象の直線を構成する候補点、つまり、負エッジ点を検索する。つまり、図８（ｂ）の負エッジ点マップを参照し、負エッジ点のｘ、ｙ座標に基づいて、処理対象の直線が貫く点（構成点）負エッジ点を特定する。そして、特定したそれぞれの負エッジ点に対し、図８（ｂ）の負エッジ点マップ中に登録されている白線幅を検索し、この白線幅からなる集合ＷＤ＝｛ｗｄｓ１，ｗｄｓ２，……，ｗｄｓｋ｝を得る。
【００３０】
次いで、ステップＳ３３に移行し、白線幅の集合ＷＤの分散ｖｗｄを算出し、このｖｗｄがしきい値以下の場合、この直線のパラメータｒ及びｔｈｅｔａを、例えば図１２（ａ）に示すように、直線を識別する符号、図１２（ａ）の場合ｓ１を付加して所定のテーブルに格納する。
次いで、ステップＳ３４に移行し、ステップＳ１３で抽出された全ての直線について、処理を行ったかどうかを判定し、処理を行っていなければステップＳ３５に移行し、次の直線を処理対象の直線として特定する。そして、ステップＳ３２に移行し、上記と同様に処理を行う。
【００３１】
そして、全ての直線について処理が終了したとき、処理を終了する。
これにより、図１２（ｂ）に示すように、白線幅の分散がしきい値以下である直線を特定するパラメータのテーブルが得られる。例えば、道路白線に応じた真の白線候補線が得られた場合、例えば、実際の道路上に道路白線のみが表示されている場合には、図１２（ｂ）のテーブルに登録される直線は道路白線に相当する１本となり、また、分岐路或いは誘導線等も表示されている道路である場合には、道路白線及び、分岐路或いは誘導線に相当する直線が登録されることになる。
【００３２】
このようにして、図１２（ｂ）示すように一のウィンドウに対する白線候補線が得られたならば、図１１から図５を経て図２に戻り、ステップＳ５に移行する。そして、撮像画面に対して設定した複数のウィンドウ全てについて、上述の処理が終了したかを判定し、全てについて処理が終了していない場合にはステップＳ６に移行し、処理対象のウィンドウを更新した後、ステップＳ４に戻る。
【００３３】
そして、上記と同様にしてウィンドウ内における白線候補線を検出する。この処理を繰り返し行い、図１２（ｂ）に示す、ウィンドウ毎の白線候補線のパラメータテーブルが得られたならば、ステップＳ７に移行し、公知の手順で道路白線を表す道路パラメータを推定する。例えば、各ウィンドウ毎のパラメータテーブルで特定される白線候補線について、特開２０００−３６０３７号公報に記載されているように、ウィンドウ間にわたって白線候補線どうしの関連性を求め、関連性が最も高い白線候補線を道路白線の一部を構成する白線であるとみなし、この白線候補線に基づいて道路白線を表す道路パラメータを推定するようにすればよい。
【００３４】
次に、上記第１の実施の形態の動作を説明する。
処理装置２では、撮像装置１により撮像された自車両前方の撮像画面に対し図２に示す道路白線検出処理を実行し、撮像画面に複数のウィンドウを設定し（ステップＳ１、Ｓ２）、ウィンドウ毎に白線候補線を検出し（ステップＳ３〜Ｓ６）、この白線候補線に基づいて道路白線の道路形状を表す道路パラメータを推定し、道路白線の形状を推定する（ステップＳ７）。
【００３５】
このとき、白線候補線の検出は、図５に示すように、ウィンドウ内において、各画素を左から右に走査して、同一ｙ軸上に位置し、且つしきい値以下の間隔で並んでいる正及び負のエッジ点のペアを検出し、その負エッジ点の位置座標及びこれら正負のエッジ点ペア間の間隔を白線幅ｗｄとして記憶する（ステップＳ１１）。そして、この負エッジ点に対し、ハフ変換を行い（ステップＳ１２）、得られた直線を貫く構成点数がしきい値以上である直線を抽出し（ステップＳ１３）、さらに、そのうち、この直線を貫く負エッジ点に対応する白線幅ｗｄの分散がしきい値以下である直線を選択し、これをウィンドウ内における白線候補線として特定する（ステップＳ１４）。
【００３６】
ここで、例えば、自車両が路面汚れのない道路を走行しており、得られた撮像画面が、例えば図３に示すように、路面汚れのない撮像画面である場合には、真の道路白線の左右のエッジ端が正負のエッジ点として検出され、これが正負のエッジ点間隔がしきい値以下であるエッジ点ペアとして検出されることになる（ステップＳ１１）。そして、ハフ変換により得られる直線は、真の道路白線の右エッジ端に相当する直線となり、この直線を貫く構成点数はしきい値を超え、また、この正負のエッジ点ペア間の間隔はｙ軸値が大きいほど大きくなるものの大きなばらつきが生じることはなく、その分散はしきい値を下回ることから、真の道路白線の右のエッジ端に相当する直線が白線候補線として特定されることになる。
【００３７】
一方、自車両が路面汚れのある道路を走行しており、例えばウィンドウｗｔ　に、図１３に示すように路面汚れが存在した場合、図１３に白丸で示す画素が正エッジ点として検出され、また、黒丸で示す画素が負エッジ点として検出される。そして、ｙ座標が同一の白丸及び黒丸からなるエッジ点ペアのうち、これら間の距離が、白線幅に応じて設定したしきい値よりも小さいもののみが、エッジ点ペアとして選定され、図１４に示す負エッジ点マップが形成される。なお、図１４中の添字“ｔ”はウィンドウｗｔ　におけるエッジ点或いは白線幅であることを表す。
【００３８】
このエッジ点ペア間の距離に対する検定により、そのエッジ点ペア間の距離の点から、道路白線を構成するエッジ点ペアでないと予測されるエッジ点ペアはこの時点で排除されることになる。
次に、図１４で特定される、エッジ点間隔がしきい値以下であるエッジ点ペアの負エッジ点について、ハフ変換を行って負エッジ点列を貫く直線を検出し、そのうち、この直線を貫く構成点数がしきい値以上であるものを選択する（ステップＳ１３）。これによって直線を貫く構成点数が少なく、道路白線のエッジ端とみなすことはできないとされる直線が排除されることになる。
【００３９】
そして、さらに、構成点数がしきい値以上である直線を構成する構成点である負エッジ点と、この負エッジ点とペアをなす正エッジ点間の間隔の分散が、しきい値以下のものを選択する（ステップＳ１４）。つまり、負エッジ点列が直線を構成するものの、これと対をなす正エッジ点列との間隔にばらつきがあるものは排除される。
【００４０】
図１３の路面汚れの場合、図１５に示すように、貫く候補点数がしきい値以上である直線を貫く負エッジ点は、その白線幅にばらつきがあり、真の道路白線を観測して得られる白線幅の分散よりも大きくなる。このため、分散に対するしきい値を適切に設定することにより図１３に示す路面汚れからなるエッジ点列を、道路白線として誤認識することを防止することができる。つまり、路面汚れの白線幅に相当する値は、一般にばらついていると仮定し、このばらつきに基づいて路面汚れを検出するようにすることによって、路面汚れを的確に検出することができ、路面汚れの誤検知防止を行うことができる。
【００４１】
このように、例えば図１３に示すように、負エッジ点列は、直線をなし且つその構成点数が比較的多い場合、その構成点数がしきい値を超える場合には、この負エッジ点列に相当する白線候補線は、ステップＳ１３の候補点数による検定処理において排除されない。しかしながら、図１３に示すように、検出された正エッジ点列及び負エッジ点列は、道路白線ではなく路面汚れのエッジ点であるから、直線を構成する負エッジ点列と、これに対応する正エッジ点列との間の間隔にはばらつきがある。このため、これらの正及び負エッジ点列間の間隔の分散は、しきい値以下とはならないため、このように正負のエッジ点列の間隔にばらつきがある直線は、排除されることになる。
【００４２】
したがって、負エッジ点列を貫く構成点数が多く、また、正及び負のエッジ点間の間隔が所定値以下であっても、この間隔にばらつきがあるときには、これを排除するようにしたから、例えば図１３に示すように、負エッジ点列が直線をなすような路面汚れであっても、これを確実に排除することができる。
したがって、より的確に白線候補線を選定することができ、この白線候補線に基づいて道路パラメータの推定を行うようにしているから、道路形状の推定をより高精度に行うことができる。
【００４３】
なお、上記第１の実施の形態においては、白線幅の分散に基づいて白線候補線となり得る直線を選定するようにした場合について説明したが、これに限るものではなく、例えば、平均値或いは標準偏差等といった、白線幅のばらつきを評価することの可能な評価値を算出し、これに基づいて白線候補線の選定を行うようにしてもよい。
【００４４】
次に、本発明の第２の実施の形態を説明する。
この第２の実施の形態は、上記第１の実施の形態において、図５のステップＳ１４における白線幅による検定の処理手順が異なること以外は同等であるので、同一部には同一符号を付与しその詳細な説明は省略する。
この第２の実施の形態における、白線幅による検定は、図１６に示すように、まず、ステップＳ４１で、ステップＳ１３の処理で選定された直線のうち、第１番目の直線を処理対象の直線として選択する。次に、ステップＳ４２に移行して、ステップＳ１１の処理で得られた図８（ｂ）に示す負エッジ点マップから、選択した直線が貫く負エッジ点を検索し、検索した負エッジ点のｙ座標と白線幅とからなる集合Ｕ＝〔｛ｙｕ１，ｗｄｕ１｝、｛ｙｕ２，ｗｄｕ２｝、……、｛ｙｕｋ，ｗｄｕｋ｝〕を得る。なお、ｙｕｋは負エッジ点のｙ座標、ｗｄｕｋはそのｙ座標を有する負エッジ点に対応する白線幅である。
【００４５】
次いで、ステップＳ４３に移行し、白線幅に対するハフ変換を行う。つまり、ステップＳ４２で得た集合Ｕを、二次元空間の座標とみなし、ハフ変換を施してｙ−ｗｄ空間での直線を検出する。そして、ｙ−ｗｄ空間での構成点数がしきい値以上である直線を抽出する。そして、この抽出した直線のうち、さらに、ｙ座標が大きくなるにしたがって、白線幅ｗｄが大きくなる直線を選択し、この直線のパラメータｒ及びｔｈｅｔａを、前記図１２（ａ）に示すパラメータテーブルと同等のパラメータテーブルに記憶する。
【００４６】
このようにしてハフ変換が終了したならば、ステップＳ４４に移行し、全ての直線について処理を行ったかどうかを判定する。そして、全ての直線について処理を行っていない場合にはステップＳ４５に移行し、次の直線を選択した後、ステップＳ４２に戻り、上記と同様にハフ変換を行いｙ−ｗｄ空間における直線を選択する。
【００４７】
そして、全ての直線について処理が終了したとき、この処理対象のウィンドウにおいて、ｙ−ｗｄ空間での構成点数がしきい値以上であり、且つｙ座標が大きくなるにしたがって、白線幅ｗｄが大きくなる直線が選択され、これがパラメータテーブルに登録されることになる。これによって、一のウィンドウに対する白線候補線の検出が終了する。
【００４８】
そして、図５を経て図２に戻り、以後、上記と同様にして、各ウィンドウ毎に、ｙ−ｗｄ空間での構成点数がしきい値以上であり、且つｙ座標が大きくなるにしたがって、白線幅ｗｄが大きくなる直線が選択されてパラメータテーブルに登録される。そして、全てのウィンドウについて図１２（ｂ）に示すパラメータテーブルと同等のパラメータテーブルが得られたならば、上記第１の実施の形態と同様にして、これらパラメータテーブルに基づいて、道路パラメータの推定を行う。
【００４９】
次に、第２の実施の形態の動作を説明する。
今、例えば図５のステップＳ１３における候補点数による検定の結果得られた直線を構成する負エッジ点及びこれとペアをなす正エッジ点が真の道路白線に相当していれば、負のエッジ点は同一の直線上に存在し且つ白線幅は、ｙ座標が消失点よりも大きい領域ならば、ｙ座標の増加に伴ってこれに比例して増大する。
【００５０】
したがって、ｙ座標及び白線幅からなる二次元のｙ−ｗｄ空間において、ハフ変換を行った場合、図１７に示すように、多数の構成点数を有する直線が得られることになる。
これに対し、例えば、前記図１３に示すように、路面汚れ等を道路白線と誤認識し、正エッジ点及び負エッジ点を検出し、これに基づいて図１４に示す負エッジ点マップが得られた場合、図１５に示すように、その白線幅はばらついていることから、ｙ−ｗｄ空間でのハフ変換の結果得られる直線を貫く構成点数は、図１８に示すように少なくなる（図１７の場合には２つ）。したがって、構成点数がしきい値より小さい直線、つまり、構成点がなす白線幅にばらつきのある直線は、この時点で排除されることになり、すなわち、路面汚れ等、真の道路白線に相当しない直線は排除されることになる。
【００５１】
したがって、この場合も上記第１の実施の形態と同等の作用効果を得ることができると共に、この第２の実施の形態においては、撮像画面上の白線幅は、ｙ座標が増加するにしたがって比例的に増加する点をも考慮して、白線候補線を選択するようにしているから、より信頼性の高い白線候補線を得ることができる。
また、上述のように、撮像画面上の白線幅は、ｙ座標が増加するにしたがって、比例的に増加する。このため、真の白線であっても、白線幅の分散はある程度発生する。この分散は、ピッチ角やヨー角の付き方によっては、その増加率が変化し、仮に増加率が大きい場合には、その分散は大きいものとなる。したがって、第１実施例の分散に基づく、白線及び非白線の判断には、トレードオフが存在することになる。
【００５２】
しかしながら、この第２の実施の形態においては、白線幅をそもそもｙ座標に応じて一次的に変化するものと仮定し、これを考慮して白線候補となり得る直線を抽出するようにしているため、前述のようなトレードオフが発生することはない。よって、路面汚れの誤検知が少なく、かつ、真の白線の非検知が少ない、ロバストな白線検出を実現することができる。
【００５３】
なお、この第２の実施の形態においては、白線幅がｙ座標に応じて変化することを考慮して白線候補線を選定するようにした場合について説明したが、白線候補点幅の変化を考慮せずに、白線幅及びｙ座標値とからなるｙ−ｗｄ空間におけるハフ変換結果に基づいて、得られた直線を貫く負エッジ点数がしきい値以上であるものを白線候補線として選定するようにした場合であっても、上記第１の実施の形態と同等の作用効果を得ることができる。しかしながら、上記第２の実施の形態のように、白線幅がｙ座標に応じて変化することを考慮して白線候補線を選定することによって、さらに信頼性の高い白線候補線を得ることができる。
【００５４】
ここで、撮像装置１が撮像手段に対応し、図５のステップＳ１１の処理において正負のエッジ点ペアを検出しその負エッジ点の位置座標を負エッジ点マップに登録する処理がエッジ点ペア検出手段に対応し、正負のエッジ点ペア間の間隔を負エッジ点マップに登録する処理がエッジ点間隔検出手段に対応し、ステップＳ１２の処理が基準点列検出手段に対応し、ステップＳ１４の処理が白線候補選定手段に対応し、図１１のステップＳ３３の処理が請求項４に記載の白線候補選定手段に対応し、図１６のステップＳ４３の処理が請求項５記載の白線候補選定手段に対応している。
【図面の簡単な説明】
【図１】本発明を適用した、道路白線認識装置の一例を示す概略構成図である。
【図２】本発明の実施の形態における道路白線検出処理の処理手順の一例を示すフローチャートである。
【図３】ウィンドウの設定方法を説明するための説明図である。
【図４】本発明の動作説明に供する説明図である。
【図５】図２のステップＳ４におけるウィンドウ内直線検出の処理手順の一例を示すフローチャートである。
【図６】図５のステップＳ１１における正負エッジペアの抽出の処理手順の一例を示すフローチャートである。
【図７】輝度変化計算時の走査順を説明するための図である。
【図８】負エッジ点マップの一例である。
【図９】ハフ変換結果の一例である。
【図１０】ハフ変換による直線を特定するパラメータの定義を説明するための図である。
【図１１】第１の実施の形態における白線幅による検定の処理手順の一例を示すフローチャートである。
【図１２】パラメータテーブルの一例である。
【図１３】本発明の動作説明に供する説明図である。
【図１４】負エッジ点マップの一例である。
【図１５】本発明の動作説明に供する説明図である。
【図１６】第２の実施の形態における白線幅の検定の処理手順の一例を示すフローチャートである。
【図１７】第２の実施の形態の動作説明に供する説明図である。
【図１８】第２の実施の形態の動作説明に供する説明図である。
【図１９】撮像画面の一例である。
【図２０】正及び負のエッジ点を説明するための図である。
【図２１】路面汚れのある撮像画面の一例である。
【図２２】路面汚れのある撮像画面で検出される正及び負のエッジ点の一例である。
【符号の説明】
１　撮像装置
２　制御装置
【図１】
2004145501.tif 000003
【図２】
2004145501.tif 000004
【図３】
2004145501.tif 000005
【図４】
2004145501.tif 000006
【図５】
2004145501.tif 000007
【図６】
2004145501.tif 000008
【図７】
2004145501.tif 000009
【図８】
2004145501.tif 000010
【図９】
2004145501.tif 000011
【図１０】
2004145501.tif 000012
【図１１】
2004145501.tif 000013
【図１２】
2004145501.tif 000014
【図１３】
2004145501.tif 000015
【図１４】
2004145501.tif 000016
【図１５】
2004145501.tif 000017
【図１６】
2004145501.tif 000018
【図１７】
2004145501.tif 000019
【図１８】
2004145501.tif 000020
【図１９】
2004145501.tif 000021
【図２０】
2004145501.tif 000022
【図２１】
2004145501.tif 000023
【図２２】
2004145501.tif 000024