(57)【特許請求の範囲】
【請求項１】
車両前方の道路を撮像する撮像手段を備え、
当該撮像手段で撮像した撮像画像において道路白線の白線候補点を検出し、当該白線候補点に基づいて前記道路白線を検出するようにした道路白線認識装置において、
前記撮像画像の輝度情報に基づいて前記道路白線の左側エッジ点及び右側エッジ点を検出するエッジ点検出手段と、
前記撮像画像に予め設定した探索領域毎に、前記エッジ点列検出手段で検出した左側エッジ点列及び右側エッジ点列に基づいて前記撮像画像上において前記探索領域内の道路白線を延長させたときに当該道路白線が消失すると予測される地点である道路消失点の座標を検出する道路消失点検出手段と、
前記探索領域毎に、前記エッジ点検出手段で検出した左側エッジ点列及び右側エッジ点列をもとに前記道路消失点検出手段で検出した前記探索領域毎の道路消失点の座標を通る前記道路白線の直線近似式を検出する道路白線近似手段と、
当該道路白線近似手段で近似した各探索領域の直線近似式上の白線候補点に基づいて、前記道路白線を検出する道路白線検出手段と、を備え、
前記道路消失点検出手段は、前記撮像画像上において前記探索領域毎の道路消失点の前記撮像画像における車両前後方向の座標を検出する前後方向座標検出手段と、
前記エッジ点検出手段で検出した左エッジ点列及び右エッジ点列に基づき、前記前後方向座標検出手段で検出した前後方向座標を通る左エッジ直線候補及び右エッジ直線候補を検出するエッジ直線候補検出手段と、
当該エッジ直線候補検出手段で検出した左右のエッジ直線候補に基づいて前記探索領域毎の道路消失点の前記撮像画像における位置座標を特定する位置座標特定手段と、を有し、
当該位置座標特定手段は、前記前後方向座標上の点を前記探索領域毎の道路消失点の候補点とし、前記エッジ点検出手段で検出した左右のエッジ点のうち、前記左エッジ直線候補及び右エッジ直線候補のうちの前記候補点を通る左右のエッジ直線候補に属する左右のエッジ点の総数を検出するエッジ総数検出手段を備え、
前記候補点のうち、前記エッジ総数検出手段の検出結果に基づき、前記左右のエッジ直線候補に属するエッジ点の総数を最大とする候補点を、前記探索領域毎の道路消失点とすることを特徴とする道路白線認識装置。
【請求項２】
前記位置座標特定手段は、前記探索領域毎の道路消失点の予測される位置に応じて、前記候補点となり得る前記前後方向座標上の点の範囲を特定し、
前記エッジ総数検出手段は、特定した範囲内の候補点についてのみ前記エッジ点の総数を検出するようになっていることを特徴とする請求項１記載の道路白線認識装置。
【請求項３】
前記エッジ総数検出手段は、前記左エッジ直線候補に属するエッジ点数及び右エッジ直線候補に属するエッジ点数の何れかがしきい値以下であるとき、前記総数を零とするようになっていることを特徴とする請求項１又は請求項２記載の道路白線認識装置。
【請求項４】
前記道路白線近似手段は、前記エッジ点検出手段で検出した左右のエッジ点列を、前記道路消失点検出手段で検出した前記探索領域毎の道路消失点の位置座標を通る左消失点直線及び右消失点直線に近似する消失点直線近似手段と、
当該消失点直線近似手段で近似した左右の消失点直線に基づいて前記道路白線の直線近似式を検出する直線近似式検出手段と、を備えることを特徴とする請求項１から請求項３の何れか１項に記載の道路白線認識装置。
【請求項５】
車両に発生するピッチ角を検出するピッチ角検出手段を備え、
前記前後方向座標検出手段は、前記ピッチ角検出手段で検出したピッチ角に基づいて前記前後方向座標を検出するようになっていることを特徴とする請求項１から請求項４の何れか１項に記載の道路白線認識装置。
【請求項６】
前記道路白線検出手段は、前記白線候補点に基づいて車両に発生するピッチ角を推定し、
前記ピッチ角検出手段は、前記道路白線検出手段で推定したピッチ角の過去値に基づいて今回のピッチ角を想定し、当該ピッチ角想定値に基づいて前記前後方向座標を検出するようになっていることを特徴とする請求項５記載の道路白線認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、道路上の通行区分帯表示用の道路白線を認識するための道路白線認識装置に関する。
【０００２】
【従来の技術】
従来より、画像によって道路白線を認識し、これに基づいて車線形状や自車両と車線との関係を推定し、これらを車両の自動制御又は一部自動制御に用いたりする技術が提案されている。
例えば、特開２００１−３４７７０号公報、或いは特開平８−２６１７５６号公報等においては、撮像画像から道路白線を構成する白線候補点を検出し、撮像画像における白線候補点の位置座標に基づき道路白線の白線形状や道路白線に対する車両姿勢を推定するようにしている。
【０００３】
前記道路白線の検出には、前記特開２００１−３４７７０号公報に示すように、道路白線と路面との輝度の違いを利用して検出する方法が用いられている。この方法では、道路白線と路面との境界の輝度の差は大きく、この輝度差が道路白線に沿って現れるため、撮像画像において輝度変化の大きい点列を、道路白線と路面との境界線と仮定するようにしている。
【０００４】
図１９は、その一例を示したものである。図１９において、点列の位置を表す座標系は、水平右方向をｘ軸の正、垂直下方向をｙ軸の負としている。そして、図１９においては、道路白線と路面との境界で、且つ、車線内側を白線候補点としている。図１９に示すように、撮像画像には、真の白線候補点以外に、偽の白線候補点すなわちノイズが存在する。このノイズを除去するために、画像処理の代表的手法であるハフ変換が適用されている。
【０００５】
このハフ変換は、座標空間からパラメータ空間へ変換するようにしたものである。例えば、座標｛ｘ，ｙ｝を通過する直線は、パラメータａ及びｂを用いて、次式（１）と表すことができる。
ｘ＝ａ・ｙ＋ｂ                                          ……（１）
したがって、白線候補点の座標を｛ｘ，ｙ｝と仮定した場合、前記パラメータａを定めると、前記（１）式から、パラメータｂを特定することができる。このパラメータ｛ａ，ｂ｝を量子化し、図２０に示すように、横軸をａ、縦軸をｂとする配列においてパラメータ｛ａ，ｂ｝に対応するマスを“１”だけ増加させる。なお、図２０において、配列の空欄は、“０”を意味している。
【０００６】
この作業を、白線候補点全てに対して行うと、その結果、図２１に示す配列を得ることができる。なお、図２１においては、簡略のため空欄としているが、実際には、前記白線候補点に基づいて前記（１）式を満足するパラメータ｛ａ，ｂ｝に応じた値がそれぞれ設定されることになる。
前記図２１に示す配列において、ある要素｛ａr ，ｂr ｝の数Ｚr は、次式（２）を満足する｛ｘ，ｙ｝が貫く直線に属する白線候補点数を表している。
【０００７】
ｘ＝ａr ・ｙ＋ｂr                                       ……（２）
そして、前記配列の要素つまり白線候補点数が、所定値以上のものを、白線候補線とする。これにより、撮像画像上に、複数の直線が現れた場合でも全て検出できることがわかる。また、ノイズがのった白線候補点を貫く候補線は、白線候補点数が少ないため、白線候補線とは判断されない。したがって、ノイズがのった白線候補点は、白線候補線の推定に影響を与えることはない。
【０００８】
このようにして設定される、前記図２１に示す配列を、パラメータａ及びｂの、ａ−ｂ空間という。そして、白線候補点｛ｘ，ｙ｝からａ−ｂ空間へ変換するという意味で、前記ａ−ｂ空間を求めることを、ハフ変換と呼んでいる。
このように、ハフ変換では、データの中にノイズが含まれるものが存在しても、真のデータの候補点数が最大となれば、推定結果に与えないという長所があり、これはすなわち、推定がロバストであるということができる。
【０００９】
しかしながら、演算量が比較的多く、例えば、二次関数に適用した場合、前記図２０或いは図２１の配列は、３次の配列となるため、実質的には、未知数が“２”、すなわち直線までの形状近似が現実的である。
しかし、実際の道路白線は、直線でないことがほとんどである。このため、図２２に示すように、撮像画像に対し複数のウィンドウ（図２２の場合、左右それぞれに５個ずつ計１０個）を設定して道路白線を複数に分割し、各ウィンドウ内で直線近似を行い、各ウィンドウの近似直線上の点の中から白線候補点を選択し、これら各ウィンドウ毎の白線候補点を貫く曲線を求めるようにしている。
【００１０】
また、例えば前記特開平８−２６１７５６号公報においては、図２３に示すように、エッジ点列の特徴を利用して白線検知のロバスト性を向上させている。すなわち、道路白線と路面との境界には、輝度変化の符号が逆であるエッジ対の点列が生じることを利用し、正の符号の点列と、負の符号の点列とが存在し、且つこれらが略平行であることを道路白線の条件とし、この条件を満足するエッジ点列を用いて道路白線の検出を行っている。
【００１１】
【発明が解決しようとする課題】
しかしながら、前記特開２００１−３４７７０号公報においては、複数のウィンドウ内において直線に近似するようにしているため、ウィンドウのｙ方向の長さが小さく、このため、ハフ変換の精度が低下する傾向がある。すなわち、ノイズが直線の傾きに与える影響は、ウィンドウのｙ方向の長さが小さいほど大きいといえる。例えば図２４に示すように検出されたエッジ点列に対してハフ変換を施した場合、図２４（ａ）に示すように、ｙ方向の長さが大きい場合には真の白線候補線を貫く候補点数が多いから、白線候補線を誤認識することはない。
【００１２】
しかしながら、図２４（ｂ）に示すようにｙ方向の長さを小さく設定した場合、ノイズ２つと真の白線候補点１つとの計３つの候補点を貫く直線である偽の直線Ｌ１と、真の白線候補点２つを貫く直線である直線Ｌ２とでは、貫く候補点数の多い偽の直線Ｌ１が誤選択されることになる。これを回避するためには、ウィンドウのｙ方向距離を大きくすることが考えられるが、道路形状が曲線である場合には、直線の近似精度が低下するというトレードオフが発生する。
【００１３】
また、前記特開平８−２６１７５６号公報の場合、例えば、図２５に示すように白線候補点が存在する場合には、正負のエッジ点列は略平行でなくなるため、真の白線候補点をロストしてしまう可能性がある。すなわち、一方でも誤推定すると正負エッジ点列が作る２直線が略平行でないことになり、白線を検知することができなくなる。
【００１４】
そこで、この発明は、上記従来の未解決の問題に着目してなされたものであり、道路白線の検出精度を向上させることの可能な道路白線認識装置を提供することを目的としている。
【００１６】
【課題を解決するための手段】
上記目的を達成するために、本発明の請求項１に係る道路白線認識装置は、車両前方の道路を撮像する撮像手段を備え、当該撮像手段で撮像した撮像画像において道路白線の白線候補点を検出し、当該白線候補点に基づいて前記道路白線を検出するようにした道路白線認識装置において、前記撮像画像の輝度情報に基づいて前記道路白線の左側エッジ点及び右側エッジ点を検出するエッジ点検出手段と、前記撮像画像に予め設定した探索領域毎に、前記エッジ点列検出手段で検出した左側エッジ点列及び右側エッジ点列に基づいて前記撮像画像上において前記探索領域内の道路白線を延長させたときに当該道路白線が消失すると予測される地点である道路消失点の座標を検出する道路消失点検出手段と、前記探索領域毎に、前記エッジ点検出手段で検出した左側エッジ点列及び右側エッジ点列をもとに前記道路消失点検出手段で検出した前記探索領域毎の道路消失点の座標を通る前記道路白線の直線近似式を検出する道路白線近似手段と、当該道路白線近似手段で近似した各探索領域の直線近似式上の白線候補点に基づいて、前記道路白線を検出する道路白線検出手段と、を備え、前記道路消失点検出手段は、前記撮像画像上において前記探索領域毎の道路消失点の前記撮像画像における車両前後方向の座標を検出する前後方向座標検出手段と、前記エッジ点検出手段で検出した左エッジ点列及び右エッジ点列に基づき、前記前後方向座標検出手段で検出した前後方向座標を通る左エッジ直線候補及び右エッジ直線候補を検出するエッジ直線候補検出手段と、当該エッジ直線候補検出手段で検出した左右のエッジ直線候補に基づいて前記探索領域毎の道路消失点の前記撮像画像における位置座標を特定する位置座標特定手段と、を有し、当該位置座標特定手段は、前記前後方向座標上の点を前記探索領域毎の道路消失点の候補点とし、前記エッジ点検出手段で検出した左右のエッジ点のうち、前記左エッジ直線候補及び右エッジ直線候補のうちの前記候補点を通る左右のエッジ直線候補に属する左右のエッジ点の総数を検出するエッジ総数検出手段を備え、前記候補点のうち、前記エッジ総数検出手段の検出結果に基づき、前記左右のエッジ直線候補に属するエッジ点の総数を最大とする候補点を、前記探索領域毎の道路消失点とすることを特徴としている。
【００１９】
また、請求項２に係る道路白線認識装置は、前記位置座標特定手段は、前記探索領域毎の道路消失点の予測される位置に応じて、前記候補点となり得る前記前後方向座標上の点の範囲を特定し、前記エッジ総数検出手段は、特定した範囲内の候補点についてのみ前記エッジ点の総数を検出するようになっていることを特徴としている。
【００２０】
また、請求項３に係る道路白線認識装置は、前記エッジ総数検出手段は、前記左エッジ直線候補に属するエッジ点数及び右エッジ直線候補に属するエッジ点数の何れかがしきい値以下であるとき、前記総数を零とするようになっていることを特徴としている。
また、請求項４に係る道路白線認識装置は、前記道路白線近似手段は、前記エッジ点検出手段で検出した左右のエッジ点列を、前記道路消失点検出手段で検出した前記探索領域毎の道路消失点の位置座標を通る左消失点直線及び右消失点直線に近似する消失点直線近似手段と、当該消失点直線近似手段で近似した左右の消失点直線に基づいて前記道路白線の直線近似式を検出する直線近似式検出手段と、を備えることを特徴としている。
【００２１】
また、請求項５に係る道路白線認識装置は、車両に発生するピッチ角を検出するピッチ角検出手段を備え、前記前後方向座標検出手段は、前記ピッチ角検出手段で検出したピッチ角に基づいて前記前後方向座標を検出するようになっていることを特徴としている。
さらに、請求項６に係る道路白線認識装置は、前記道路白線検出手段は、前記白線候補点に基づいて車両に発生するピッチ角を推定し、前記ピッチ角検出手段は、前記道路白線検出手段で推定したピッチ角の過去値に基づいて今回のピッチ角を想定し、当該ピッチ角想定値に基づいて前記前後方向座標を検出するようになっていることを特徴としている。
【００２３】
【発明の効果】
本発明の請求項１に係る道路白線認識装置によれば、車両前方の撮像画像において道路白線の左側エッジ点列と右側エッジ点列とを検出し、これらに基づいて、撮像画像上で、撮像画像に対して予め設定した探索領域毎にその探索領域内の道路白線を延長させたときこの道路白線が消失すると予測される地点である道路消失点を検出し、前記探索領域毎に、左側エッジ点列及び右側エッジ点列をもとに探索領域毎の道路消失点を通る道路白線の直線近似式を検出し、各探索領域毎に検出した直線近似式上の白線候補点に基づいて道路白線を検出するようにしたから、より多くのエッジ点列に基づいて左右の道路白線を検出することによって、道路白線の検出をより高精度に行うことができる。
【００２５】
また、撮像画像上において探索領域毎の道路消失点の前記撮像画像における車両前後方向における前後方向座標を検出し、道路白線の左エッジ点列及び右エッジ点列に基づき前後方向座標を通る左エッジ直線候補及び右エッジ直線候補を検出し、前後方向座標上の点を探索領域毎の道路消失点の候補点とし、この候補点を通る左右のエッジ直線候補に属する左右のエッジ点の総数を最大とする候補点を、探索領域毎の道路消失点とするようにしたから、ノイズ等による影響を低減し、高精度に道路消失点を特定することができる。
また、請求項２に係る道路白線認識装置によれば、道路消失点の予測される位置に応じて、候補点となり得る前後方向座標上の点の範囲を特定し、この範囲内についてのみ、エッジ点の総数を検出するようにしたから、道路消失点の位置座標検出を効率よく行うことができる。
【００２６】
また、請求項３に係る道路白線認識装置によれば、左エッジ直線候補に属するエッジ点数及び右エッジ直線候補に属するエッジ点数の何れかがしきい値以下であるときには、左右のエッジ点の総数を零とするようにしたから、陰等を道路白線として誤認識することを回避することができる。
また、請求項４に係る道路白線認識装置によれば、左右のエッジ点列を、消失点座標を通る左消失点直線及び右消失点直線に近似し、これら左右の消失点直線に基づいて道路白線の直線近似式を検出するようにしたから、高精度な道路白線の直線近似式を得ることができる。
【００２７】
また、請求項５に係る道路白線認識装置によれば、ピッチ角検出手段で検出したピッチ角に基づいて道路消失点の前後方向座標を検出するようにしたから、容易に前後方向座標を検出することができる。
さらに、請求項６に係る道路白線認識装置によれば、道路白線検出手段によって白線候補点に基づいて道路白線を検出する際に、車両に発生するピッチ角を推定し、この道路白線検出手段で推定したピッチ角の過去値に基づいて今回のピッチ角を想定し、このピッチ角想定値に基づいて道路消失点の前後方向座標を算出するようにしたから、ピッチ角センサ等を設けることなく、容易に前後方向座標を得ることができる。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
まず、第１の実施の形態を説明する。
図１は、本発明を適用した道路白線認識装置の一実施形態を示す構成図である。
【００２９】
図１において、ＣＣＤカメラ等で構成されるカメラ１は、例えば、車幅方向中央の、車室内のフロントウィンドウ上部に取り付けられ、車両前部の道路を含む車両の周囲環境を撮像する。カメラ１で撮像した撮像情報は、処理装置２に入力され、処理装置２は、カメラ１からの撮像情報と、車両のピッチ角を検出するためのピッチ角センサ３の検出情報とに基づいて白線候補点の検出を行い、検出した白線候補点に基づいて道路白線の道路形状や道路白線に対する車両の相対関係を表す道路パラメータを算出する。
【００３０】
図２は、処理装置２で実行される道路白線を検出するための道路白線検出処理の処理手順の一例を示すフローチャートである。なお、この道路白線検出処理は、予め設定した所定周期で実行される。
まず、ステップＳ１で、カメラ１で撮像した前方画像の撮像情報を読み込み、次いでステップＳ２で、読み込んだ撮像情報からなる撮像画像に対し、前述の図２２に示すように、左右の道路白線に相当する位置に複数のウィンドウを設定する。図２２の場合には、１０個のウィンドウを設定している。
【００３１】
このウィンドウは、道路白線以外の白線を道路白線として誤認識することを回避するために設けたものである。なお、図３に示すように、撮像画像においては、例えばその左上座標を基準とし、水平右方向をｘ軸の正方向、垂直下方向をｙ軸の正方向とする。
前記各ウィンドウにおいて、そのｙ方向、つまり画像上下方向のウィンドウ位置は予め設定しておく。例えば、各ウィンドウのｙ方向の中心位置をｙmid とし、その幅ｙｄmid を固定しておく。
【００３２】
一方、前記ウィンドウのｘ方向、つまり画像左右方向のウィンドウ位置は、前回の処理周期における道路白線検出処理の処理結果に基づき得られた道路モデルに基づいて設定する。
ここで、一般に、曲線路を考慮した道路形状は、道路モデルのパラメータを｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ｝とすると、次式（３）で表すことができることが知られている。なお、Ａは、車両の車線に対する横変位、Ｂは道路曲率に相当する値、Ｃは車両の車線に対するヨー角、Ｄはピッチ角、Ｈはカメラ高さである。また、式（３）中の、Ｅ0 は車線幅（すなわち、左側の道路白線の中央と右側の道路白線の中央との間の距離）、ｆはカメラ透視変換定数、｛ｘw ，ｙw ｝は撮像画像上における白線候補点の座標である。また、ｉは左側道路白線の場合には“０”、右側道路白線の場合には“１”を表す。
【００３３】
ｘw ＝(-A+i*E0)*(yw ＋f*D)／H −B*H*f2／(yw ＋f*D)−C*f ……（３）
ここで、ウィンドウのｘ軸方向の中心位置座標をｘmid とすると、この中心位置座標ｘmid は、前記（３）式及び予め設定したｙ軸方向の中心位置座標ｙmid から算出することができる。
なお、ウィンドウのＸ軸方向の幅ｘｄmid は固定値でもよく、また、例えば、特開平８−２６１７５６号公報に記載されているように、前述の道路モデルのパラメータ｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ｝の分散から合理的に設定するようにしてもよい。
【００３４】
次いで、ステップＳ３に移行し、検索対象のウィンドウを設定する。例えば、図２２で設定した各ウィンドウを識別するための識別番号の一番若いもの、図２２の場合ｎ＝１を検索対象のウィンドウとして設定する。
次いで、ステップＳ４に移行し、ピッチ角センサ３の検出信号に基づいてピッチ角を検出する。この第１の実施の形態では、前記ピッチ角センサ３として、各車輪毎に車高センサを設けている。そして、これら車高センサの検出信号に基づいて、次式（４）にしたがって、ピッチ角Ｄ〔ｒａｄ〕を算出する。なお、式中の、Ｖｆは、前輪左右の平均ストローク〔ｍｍ〕、Ｖｒは、後輪左右の平均ストローク〔ｍｍ〕であって、これらはバウンス時を正値とする。また、Ｌは、ホイールベース〔ｍｍ〕であり、arctanはアークタンジェントである。
【００３５】
Ｄ＝arctan｛（Ｖｆ−Ｖｒ）／Ｌ｝                        ……（４）
次いで、ステップＳ５に移行し、図４に示すように撮像画像において左右の白線候補の座標が一致する点である、道路消失点の位置座標を検出する。つまり、前記（３）式において、左側の白線候補と右側の白線候補とが一致することを意味するから、道路消失点のｙ座標ｙｖは、次式（５）を満たすことになる。
【００３６】
ｙｖ＋ｆ＊Ｄ＝０                                        ……（５）
これを変形すると次式（６）となることから、道路消失点のｙ座標ｙｖは、ピッチ角Ｄを用いて算出できることがわかる。
ｙｖ＝−ｆ＊Ｄ                                          ……（６）
よって、この（６）式にしたがって、ステップＳ４で算出したピッチ角Ｄと予め設定されたカメラパラメータとをもとに、道路消失点のｙ座標ｙｖを算出する。
【００３７】
次いで、ステップＳ６に移行し、検索対象のウィンドウにおいて、正負のエッジを検出する。このエッジ検出は、道路白線と路面との輝度変化を利用し、公知の手順でｓｏｂｅｌフィルタを施し、エッジ検出を行う。つまり、右の画素の輝度が左の画素の輝度よりも高い場合、ｓｏｂｅｌフィルタの出力を正とする。そして、出力が正値であり且つ予め設定したしきい値以上の場合、この画素を正エッジ点とし、その位置座標を｛ｘｐ（ｉ）n ，ｙｐ（ｉ）n ｝（ｉ＝１，２，３，……ｉｐ０n ）として保存する。また、出力が負であり且つ予め設定したしきい値以下の場合、その位置座標を｛ｘｎ（ｉ）n ，ｙｎ（ｉ）n ｝（ｉ＝１，２，３，……ｉｎ０n ）として保存する。なお、位置座標中の添え字“n ”はウィンドウの番号を表す。また、“ｘｐ”の“ｐ”は正エッジを意味し、“ｘｎ”の“ｎ”は負エッジを意味する。また、ｉは、エッジ点を識別するための変数であって、ｉｎ０n はエッジ点の数を表す。
【００３８】
一般に、道路白線は路面よりも輝度が高いため、ｓｏｂｅｌフィルタ処理を行うことによって、前述の図２３に示すような正エッジ点列、及び負エッジ点列を得ることができる。
次いで、ステップＳ７に移行し、ステップＳ６で算出した正エッジ点列及び負エッジ点列毎に、それぞれ次式（７）を条件に、後述のハフ変換処理にしたがって、ｘｗn −ｋｐn 平面、及びｘｗn −ｋｎn 平面にハフ変換する。なお、式中のｘｗn はウィンドウ消失点のｘ座標である。
【００３９】
ｘ−ｘｗn ＝ｋ（ｙ−ｙｖ）                              ……（７）
ｋ＝ｋｐn （正エッジ）
ｋ＝ｋｎn （負エッジ）
ここで、前記（７）式は次のようにして設定される。
まず、図５に示すように、各ウィンドウ内において正エッジ点列及び負エッジ点列をそれぞれ直線に近似すると、これら左右の直線の交点を定義することができる。この交点をウィンドウ消失点とすると、このウィンドウ消失点は図５に示すようにウィンドウ毎に異なる。このウィンドウ消失点のｙ座標をｙｗn とすると、このｙ座標ｙｗn は、前述の道路消失点のｙ座標ｙｖと一致する。
【００４０】
すなわち、撮像画像において、エッジ点列は、左の道路白線、及び右の道路白線にそれぞれ２本ずつ、計４本現れるが、これらの符号は撮像画面左から正、負、正、負となる。正負のエッジ点の座標｛ｘ，ｙ｝の満たすべき式は、前記（３）式から、一般に、次式（８）に示すように表される。なお、式中のＷ0 は道路白線の白線幅、ｉは左白線の場合“０”，右白線の場合“１”、ｊは正のエッジ列の場合“−１”，負のエッジ列の場合“１”である。
【００４１】
ｘ＝（−A ＋i*E0＋j*W0/2)*(y＋f*D)／H −B*H*f2／(y＋f*D)−C*f ……（８）
前記（８）式で表される曲線を各ウィンドウ毎に直線近似すると、次式（９）を得ることができる。
ｘ＝（−A ＋i*E0＋j*W0/2)*(y＋f*D)／H −B*H*f2／(y0 ＋f*D)−C*f ……（９）
この（９）式は、前記（８）式右辺の第２項におけるｙをｙ0 に置き換え、ｘをｙの一次式、すなわち、直線に近似している。
【００４２】
ここで、正及び負のエッジ点列の一致する点がウィンドウ消失点であるから、前記（９）式から、ウィンドウ消失点のｙ座標ｙｗn は、次式（１０）で表すことができる。
ｙｗn ＝ｆ＊Ｄ                                        ……（１０）
したがって、前記（６）式と（１０）式とから、図５に示すように、全てのウィンドウにおけるウィンドウ消失点のｙ座標ｙｗn は、道路消失点ｙｖに一致することがわかる。前記（９）式を、ウィンドウ消失点のｘ座標ｘｗn と、道路消失点ｙｖを用いて書き直すと前記（７）式を得ることができる。
【００４３】
そして、このようにして得られた前記（７）式を条件に、まず、正のエッジ点列を、ｘｗn −ｋｐn 平面にハフ変換する。
図６は、ｘｗn −ｋｐn 平面を示したものであり、横軸がｘｗn 縦軸がｋｐn を表す。このｘｗn −ｋｐn 平面は二次元配列であって、ａ行、ｂ列の要素Ｎabは、次式（１１）で表される直線が貫く正エッジ点列の個数を表す。
【００４４】
ｘ−ｘｗn （ｂ）＝ｋｐn （ａ）＊（ｙ−ｙｖ）          ……（１１）
ｘｗn （ｂ）＝ｘｗnmin＋（ｂ−０．５）＊ｘｗnd
ｋｐn （ａ）＝ｋｐnmin＋（ａ−０．５）＊ｋｐnd
なお、（１１）式中の、ｘｗnminはｘｗn の想定される最小値、ｋｐnminはｋｐn の想定される最小値である。また、ｘｗndはｘｗn の分解能、ｋｐndはｋｐn の分解能であって、予め設定された値である。
【００４５】
前記ｘｗn （ｂ）及びｋｐn （ａ）は次のようにして導かれる。
次式（１２）で表される直線を考え、式（１２）中のｘ０及びｋ０が（１３）式で表される条件を満足するものとする。
0003729141.tif 000002
このとき、前記（１２）式の直線は、量子化され、以下の直線と近似することができる。
【００４６】
ｘ１＝ｘｗnmin＋（ｂ−０．５）＊ｘｗnd                ……（１４）
ｋ１＝ｋｐnmin＋（ａ−０．５）＊ｋｐnd
したがって、式（１４）から前記ｘｗn （ｂ）及びｋｐn （ａ）が導かれることになる。
図７は、正エッジ点列をハフ変換する場合の、処理手順の一例を示すフローチャートである。
【００４７】
まず、ステップＳ１０１で、例えば図８（ａ）に示す、ｘｗn −ｋｐn 平面（二次元配列）を用意する。次いで、ステップＳ１０２に移行し、正のエッジ点列の各点を特定するための点番号ｉを初期値ｉ＝０に設定する。
次いで、ステップＳ１０３に移行し、図８（ａ）に示す、ｘｗn −ｋｐn 平面における列を特定するための列番号ｃを初期値ｃ＝０に設定する。前記ｘｗn −ｋｐn 平面における列数Ｃｐn は、前記ｘｗn の想定される範囲をｘｗnmin≦ｘｗn ＜ｘｗnmax、ｘｗn の分解能をｘｗndとしたとき、次式（１５）で表すことができる。なお、前記ｘｗnminは、前記ｘｗn の想定される最小値、前記ｘｗnmaxは、前記ｘｗn の想定される最大値である。
【００４８】
Ｃｐn ＝（ｘｗnmax−ｘｗnmin）／ｘｗnd                ……（１５）
また、前記ｘｗn −ｋｐn 平面における行数Ｒｐn は、前記ｋｐn の想定される範囲を、ｋｐnmin≦ｋｐn ＜ｋｐnmax、ｋｐn の分解能をｋｐndとしたとき、次式（１6 ）で表すことができる。なお、前記ｋｐnminは、前記ｋｐn の想定される最小値、前記ｋｐnmaxは、前記ｋｐn の想定される最大値である。
【００４９】
Ｒｐn ＝（ｋｐnmax−ｋｐnmin）／ｋｐnd                ……（１６）
ここで、前記ｘｗn の想定される範囲は次のように設定される。つまり、図９に太線で示すｘｗn の想定される位置Ｋを中心として、ウィンドウ消失点のｘ座標ｘｗn 及びエッジ点列の近似直線の傾きｋｐn の範囲をそれぞれ任意の固定幅に設定する。この固定幅は大きすぎると演算量が多くなり、また、小さくすると、白線位置が急変した際にロストしてしまうため、これらを考慮して設定する。なお、例えば特開平８−２６１６５６号に記載されているように、道路白線の白線モデルを表す道路パラメータの分散を用いて設定するようにしてもよい。
【００５０】
次いで、ステップＳ１０４に移行し、ｉ＜ｉｐ０n であるかを判定する。つまり、正エッジの全ての点について検索を行ったかどうかを判定し、全てについて検索した場合には処理を終了する。一方、全てについて検索が終了していない場合には、ステップＳ１０５に移行する。
このステップＳ１０５では、ｉ＝ｉ＋１として点番号ｉを更新し、次いで、ステップＳ１０６に移行して、前記ステップＳ５の処理で検出し所定の記憶領域に格納されているエッジ点の位置座標のうち、点番号ｉに対応する正エッジ点の位置座標｛ｘｐ（ｉ）n ，ｙｐ（ｉ）n ｝を、（ｘ，ｙ）とおく。
【００５１】
次いで、ステップＳ１０７に移行し、ｃ＜Ｃｐn であるかどうかを判定する。つまり、前記（１５）式で算出された列数分の列全てについて検索を行ったかどうかを判定し、ｃ＜Ｃｐn でない場合には、全ての列について検索を行ったものとして、前記ステップＳ１０３に戻る。一方、ｃ＜Ｃｐn である場合には、ステップＳ１０８に移行し、列数ｃをｃ＝ｃ＋１に更新する。
【００５２】
次いで、ステップＳ１０９に移行し、ｘ０＝ｘｗn （ｃ）とする。つまり、前記ｘｗn −ｋｐn 平面において、列番号がｃに相当するｘｗn （ｃ）を、ウィンドウ消失点座標候補ｘ０として設定する。
そして、ステップＳ１１０に移行して、正エッジ点列の直線の傾き候補ｋ０を、次式（１７）から算出する。
【００５３】
ｋ０＝（ｘ−ｘ０）／（ｙ−ｙｖ）                    ……（１７）
次いで、ステップＳ１１１に移行し、正エッジ点列の直線の傾き候補ｋ０を、量子化する。つまり、前記（１３）式を満足する整数ａを、前記行数Ｒｐn の範囲で検出し、この整数ａに基づいて前記（１４）式から、ｋ１を算出する。
そして、ステップＳ１１２に移行し、前記図８（ａ）のｘｗn −ｋｐn 平面において、列番号がｃ、行番号がａに該当する要素を１だけインクリメントする。そして、ステップＳ１０７に移行する。
【００５４】
この処理を繰り返し行うことによって、各正エッジ点について、前記ステップＳ１０３で想定した、ｘｗn 及びｋｐn の範囲について順次検索が行われ、ハフ変換が行われる。
そして、全ての正エッジ点について検索が終了した後のｘｗn −ｋｐn 平面において、ノイズのない理想状況で、要素の値が最大値となる行番号ａ及び列番号ｃで特定される要素Ｎabが、前記（７）式における、ｘｗn 及びｋｐn の真値となる。
【００５５】
これによって、正エッジ点列に対するハフ変換処理が終了する。
同様にして、負エッジ点列についてもハフ変換処理を行う。負エッジ点列に対するハフ変換を行う場合には、図７に示すフローチャートにおいて、ステップＳ１０２においてはｘｗn −ｋｎn 平面を用意し、ステップＳ１０４におけるｉｐ０n を負エッジ点の数ｉｎ０n 、ステップＳ１０６における｛ｘｐ（ｉ）n ，ｙｐ（ｉ）n ｝を負エッジ点列の位置座標｛ｘｎ（ｉ）n ，ｙｎ（ｉ）n ｝、ステップＳ１０７におけるＣｐn をｘｗn −ｋｎn 平面における列数Ｃｎn 、ステップＳ１１１におけるｋｐnmin、ｋｐndをｘｗn −ｋｎn 平面におけるｋｎnmin、ｋｎndに置き換えて同様に処理を行えばよい。なお、前記ｘｗn 及びｋｐn の想定される範囲は、正エッジ及び負エッジ共に同じであって、２つの配列の列数は一致している。
【００５６】
図２に戻って、ステップＳ７の処理で、正エッジ点列及び負エッジ点列をハフ変換すると、次に、ステップＳ８に移行し、ｘｗn −ｐベクトルを算出する。具体的には、図１０（ａ）に示すように、ｘｗn −ｋｐn 平面と同じ列数のベクトルを用意し、このベクトルの各列の要素には、ステップＳ７で検出したｘｗn −ｋｐn 平面の同じ列の要素のうちの最大値を設定する。これをｘｗn −ｐベクトルとする。したがって、このｘｗn −ｐベクトルにおいて、そのｂ列目の要素は、点｛ｘｗn （ｂ），ｙｖ｝を通る直線のうち、貫く正エッジ点の最大個数を表すことになる。
【００５７】
次いで、ステップＳ９に移行し、ステップＳ８と同様にして、ｘｗn −ｎベクトルを算出する。すなわち、図１０（ｂ）に示すように、ｘｗn −ｋｎn 平面と同じ列数のベクトルを用意し、このベクトルの各列の要素には、ステップＳ７で検出したｘｗn −ｋｎn 平面の同じ列の要素のうちの最大値を設定する。これをｘｗn −ｎベクトルとする。したがって、このｘｗn −ｎベクトルにおいて、そのｂ列目の要素は、点｛ｘｗn （ｂ），ｙｖ｝を通る直線のうち、貫く負エッジ点の最大個数を表すことになる。
【００５８】
次いで、ステップＳ１０に移行し、ｘｗn −ｐｎベクトルを算出する。具体的には、図１１に示すように、ステップＳ８及びＳ９で算出したｘｗn −ｐベクトル及びｘｗn −ｎベクトルを足し合わせ、これをｘｗn −ｐｎベクトルとする。したがって、このｘｗn −ｐｎベクトルのｂ列目の要素は、点｛ｘｗn （ｂ），ｙｖ｝を通る直線のうち、貫く正及び負のエッジ点の最大個数を表すことになる。
【００５９】
次いで、ステップＳ１１に移行し、ウィンドウ消失点座標ｘｗn を算出する。具体的には、ステップＳ１０で算出したｘｗn −ｐｎベクトルの各要素のうち、最大値を選択する。この最大値が設定された要素をｂmax とすると、ウィンドウ消失点座標ｘｗn は、ｂmax 列に相当するｘｗn （ｂmax ）により表すことができる（ｘｗn ＝ｘｗn （ｂmax ））。
【００６０】
次いで、ステップＳ１２に移行し、正エッジ直線を選定する。具体的には、ｘｗn −ｋｐn 平面のステップＳ１１で選択したｂmax 列の各要素のうち、最大値が設定された要素を選択する。この要素に該当する列番号をａｐmax とすると、正エッジ点列の近似直線は、次式（１８）で表すことができる。
ｘ−ｘｗn （ｂmax ）＝ｋｐn （ａｐmax ）＊（ｙ−ｙｖ）……（１８）
次いで、ステップＳ１３に移行し、今度は、負エッジ直線を選定する。具体的には、ｘｗn −ｋｎn 平面のステップＳ１１で選択したｂmax 列の各要素のうち、最大値が設定された要素を選択する。この要素に該当する列番号をａｎmax とすると、負エッジ点列の近似直線は、次式（１９）で表すことができる。
【００６１】
ｘ−ｘｗn （ｂmax ）＝ｋｎn （ａｎmax ）＊（ｙ−ｙｖ）……（１９）
次いでステップＳ１４に移行し、全てのウィンドウについて処理を行ったかどうかを判定し、全てのウィンドウについて処理を行っていない場合には、ステップＳ１５に移行して処理対象のウィンドウを更新し、ステップＳ５に戻る。
一方、ステップＳ１４で全てのウィンドウに対して処理を行ったと判定される場合には、ステップＳ１６に移行し、カルマンフィルタによる道路モデルの推定を行う。具体的には、まず、各ウィンドウ毎に白線中央を表す直線を検出する。これは、ステップＳ１２で（１８）式に基づき算出した正エッジ点列の近似直線と、ステップＳ１３で（１９）式に基づき算出した負エッジ点列の近似直線とに基づいて、次式（２０）から検出する。
【００６２】
0003729141.tif 000003
この（２０）式に基づき、ウィンドウのｙ方向の中心位置座標ｙmid におけるウィンドウのｘ軸方向の中心位置座標ｘmid を、次式（２１）にしたがって算出し、｛ｘmid ，ｙmid ｝を、白線候補点座標｛ｘw ，ｙw ｝とする。
【００６３】
ｘmid 
0003729141.tif 000004
前記（８）式において、白線中央は、ｊ＝０に相当するから、前記（８）式及び各ウィンドウ毎に検出した各白線候補点座標｛ｘwn，ｙwn｝（ｎ＝１、２、……）から、次式（２２）の拘束条件を得ることができる。
【００６４】
ｘwn
＝(-A+i*E0)*( ｙwn+f*D)/H −B*H*f2/(ｙwn＋f*D)−C*f     ……（２２）
この拘束条件をもとに、例えば公知のカルマンフィルタを用いて道路パラメータ｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ｝の推定を行う。
以上の処理を所定周期で繰り返し行う。
【００６５】
次に、上記第１の実施の形態の動作を説明する。
カメラ１からの画像情報を読み込むと（ステップＳ１）、その撮像画像に対し、前記図３に示すように、予め設定したウィンドウのｙ方向の中心位置ｙmid と、例えば前回の道路パラメータに基づくｘ方向の中心位置ｘmid とを基準として所定幅のウィンドウを複数設定する（ステップＳ２）。
【００６６】
そして、検索対象のウィンドウを設定する（ステップＳ３）。また、ピッチ角センサ３の検出信号に基づいてピッチ角Ｄを検出し（ステップＳ４）、このピッチ角Ｄと予め設定されたカメラパラメータとをもとに、道路消失点のｙ座標ｙｖを算出する（ステップＳ５）。
そして、検索対象のウィンドウについて、正負のエッジ点列を検出し（ステップＳ６）、エッジ点列を前記図７のフローチャートにしたがってハフ変換し、前記図８（ａ）及び（ｂ）に示す各平面における二次元配列を得て、各二次元配列から、ｘｗn −ｐベクトル及びｘｗn −ｎベクトルを得る（ステップＳ７〜Ｓ９）。さらに、これらベクトルを足し合わせ、ｘｗn −ｐｎベクトルを算出し、このｘｗn −ｐｎベクトルの要素のうち、最大となる列数ｂmax に該当する座標ｘｗn （ｂmax ）をウィンドウ消失点座標ｘｗn として検出する（ステップＳ１１）。
【００６７】
そして、このウィンドウ消失点座標ｘｗn と、ｘｗn −ｋｐn 平面における列数ｂmax の要素のうちの最大となる列番号ａｐn 及び、ｘｗn −ｋｎn 平面における列数ｂmax の要素のうちの最大となる列番号ａｎn から、正エッジ点列及び負エッジ点列の近似直線を特定する（ステップＳ１２、Ｓ１３）。
この処理をウィンドウ毎に繰り返し行い、全てのウィンドウについて正負のエッジ点列の近似直線を特定したならば（ステップＳ１４、Ｓ１５）、これら近似直線をもとに、各ウィンドウ毎に、白線中央を示す直線を検出し、これに基づきウィンドウのｙ方向の中心位置座標ｙmid におけるウィンドウのｘ軸方向の中心位置座標ｘmid を算出し、これら｛ｘmid ，ｙmid ｝を、白線候補点座標｛ｘw ，ｙw ｝とする。そして、これら白線候補点座標に基づいて公知の手順で道路パラメータの推定を行う（ステップＳ１６）。
【００６８】
例えば、正エッジ点が図１２（ａ）に示すように検出され、これをハフ変換したｘｗn −ｋｐn 平面からｘｗn −ｐベクトルを得る場合、このｘｗn −ｐベクトルの列ｂの要素は、図１２（ａ）において、点｛ｘｗn （ｂ）、ｙｖ｝を通る直線のうち、貫く正エッジ点の数が最大である直線を貫いている個数を表す。したがって、図１２（ａ）の場合には、｛ｘｗn （ｂ）、ｙｖ｝を通る直線のうち、この直線を貫く正エッジ点数が最大となるものは、ｍ１を貫く正エッジ点は１つ、ｍ２を貫くエッジ点は５つ、ｍ３を貫く正エッジ点は２つであるから、正エッジ点が最大となるものはｍ２でありこれを貫く正エッジ点の個数は、“５”であるからこれがｂ列の要素として設定され、ｘｗn −ｐベクトルは図１２（ｂ）に示すようになる。ｘｗn −ｋｎn 平面からｘｗn −ｎベクトルを得る場合も同様にして設定される。
【００６９】
そして、ｘｗn −ｐベクトル及びｘｗn −ｎベクトルを足し合わせたｘｗn −ｐｎベクトルは、｛ｘｗn （ｂ）、ｙｖ｝を通る直線が貫く正エッジ点が最大となる直線の正エッジ点数及び負エッジ点が最大となる負エッジ点数の和である。したがって、図１３（ａ）に示すように、正エッジ点及び負エッジ点が検出されている場合には、５つの正エッジ点を貫く直線ｍ１１と、４つの負エッジ点を貫く直線ｍ１２とが選択されて、ｘｗn −ｐｎベクトルのｂ列の要素は、“９”として設定されることになる。
【００７０】
このとき、例えば、図１４に示すように、正エッジ点及び負エッジ点が検出され、そのときの、ｘｗn −ｐベクトル及びｘｗn −ｎベクトルが、図１５（ａ）及び（ｂ）に示すように、点｛ｘｗn （ｂ１）、ｙｖ｝を通る直線が貫く正エッジ点が最大となる直線の正エッジ点数は“２”、点｛ｘｗn （ｂ２）、ｙｖ｝を通る直線が貫く正エッジ点が最大となる直線の正エッジ点数は“５”であり、また、点｛ｘｗn （ｂ１）、ｙｖ｝を通る直線が貫く負エッジ点が最大となる直線の負エッジ点数は“４”、点｛ｘｗn （ｂ２）、ｙｖ｝を通る直線が貫く負エッジ点が最大となる直線の負エッジ点数は“３”であったとする。
【００７１】
この場合、ｘｗn −ｐｎベクトルは、図１５（ｃ）のようにそのｂ１の要素は“６”、ｂ２の要素は“８”となる。このとき、その他の列の要素が“６”よりも小さいものとすると、ｘｗn −ｐｎベクトルにおいて、ｂ２列の要素“８”が最大となるから、このｂ２が選択され、ｘｗn （ｂ２）がウィンドウ消失点のｘ座標として特定され、これに基づいて正及び負のエッジ点列の近似直線が算出されこれに基づいてウィンドウ内における道路白線の中央の近似直線が算出されることになる。
【００７２】
ここで、例えば、負エッジ点列のみに基づいてウィンドウ内における道路白線の近似直線を算出する場合、図１５（ｂ）に示すようにｘｗn −ｎベクトルにおいて、要素が最大となるｂ１列が選択されることになる。つまり、真の近似直線は、｛ｘｗn （ｂ２）、ｙｖ｝を通る直線であるにも関わらず、｛ｘｗn （ｂ１）、ｙｖ｝を通る直線が近似直線として選択されてしまうことになる。
【００７３】
このように、何れか一方のエッジ点列に基づいて近似直線を算出する場合、真のエッジ点列以外に負のエッジ点が存在した場合、真の近似直線を貫くエッジ点数が少なくなり、その分他の近似直線を貫くエッジ点数が増加することになるため、近似直線の推定誤差が発生する場合がある。
しかしながら、上記実施の形態においては、負エッジ点列に基づくｘｗn 候補だけでなく、正エッジ点列に基づくｘｗn 候補にも基づいて、正エッジ点列及び負エッジ点列を共に満足するｘｗn 候補を選択するようにしている。通常、ノイズのない理想状況では、両側の候補点数が最大のものが真である。また、ノイズがのった状況であっても、正エッジ点及び負エッジ点の情報は片側だけの場合に比較して多く、誤推定する確率も減少する。したがって、ノイズによる影響を低減することができ、より高精度な近似直線を得ることができる。
【００７４】
また、例えば特開平８−２６１６５６号公報に記載されたように、正側エッジ点列の近似直線と負側エッジ点列の近似直線とを算出し、これらが略平行であることを、白線の条件とするようにした場合には、正エッジ点列の近似直線は前記図１５（ａ）に示すｘｗn −ｐベクトルにおけるｂ２（“５”）に基づき決定され、負エッジ点列の近似直線は前記図１５（ｂ）に示すｘｗn −ｎベクトルにおけるｂ１（“４”）に基づき決定されることになる。したがって、これら正及び負の近似直線は略平行とならないため、このウィンドウについては白線候補点を得ることができなくなる。
【００７５】
しかしながら、上述のように、図１５（ｃ）に基づいて近似直線を算出するようにしているから、略平行でない場合であっても的確に近似直線を得ることができる。
したがって、このように高精度な近似直線を得ることができるから、この近似直線上の白線候補点に基づいて道路形状を推定することによって、道路形状の推定精度をより向上させることができる。
【００７６】
また、上記第１の実施の形態においては、ハフ変換を行う際に、前回の道路パラメータ等に基づいて、ｘｗn の想定される範囲、及びｋｐn の想定される範囲を設定し、この範囲についてのみハフ変換処理を行うようにしているから、演算時間を大幅に短縮することができると共に、あり得ることのない推定を排除することができる。
【００７７】
次に、本発明の第２の実施の形態を説明する。
この第２の実施の形態は、上記第１の実施の形態において、道路白線検出処理の処理手順が異なること以外は同様であるので、同一部には同一符号を付与し、その詳細な説明を省略する。
図１６は、第２の実施の形態における道路白線検出処理の処理手順を示すフローチャートである。
【００７８】
この第２の実施の形態においては、図２に示す上記第１の実施の形態における道路白線検出処理のフローチャートにおいて、ステップＳ８〜ステップＳ１０の処理に変えて、ステップＳ８ａ〜Ｓ１０ａの処理を行っている。なお、１６のフローチャートにおいて、上記第１の実施の形態と同一部には同一符号を付与し、その詳細な説明は省略する。
【００７９】
つまり、ステップＳ８ａでは、上記第１の実施の形態のステップＳ８の処理と同様にして、ステップＳ６で作成したｘｗn −ｋｐn 平面の同じ列の要素のうちの最大値を設定するが、このとき、この最大値が、予め設定したしきい値よりも小さいときには、この要素の値として、零を設定する。
同様に、ステップＳ９ａでは、上記第１の実施の形態のステップＳ９の処理と同様にして、ステップＳ６で作成したｘｗn −ｋｎn 平面の同じ列の要素のうちの最大値を設定するが、このとき、この最大値が、予め設定したしきい値よりも小さいときには、この要素の値として、零を設定する。
【００８０】
なお、前記正のエッジ列におけるしきい値及び負のエッジ列におけるしきい値は、同一値であっても異なる値であってもよく、これらしきい値は、例えば、近似直線であるとみなすことの可能な、この近似直線を貫くエッジ点数に基づいて設定される。
同様に、ステップＳ１０ａでは、上記第１の実施の形態のステップＳ１０の処理と同様にして、ステップＳ８ａ及びＳ９ａで算出したｘｗn −ｐベクトル及びｘｗn −ｎベクトルを足し合わせ、これをｘｗn −ｐｎベクトルとする。このとき、ｘｗn −ｐベクトル及びｘｗn −ｎベクトルの要素が零である列については、その和についても強制的に零にする。
【００８１】
そして、以後上記第１の実施の形態と同様に処理を行う。
つまり、この第２の実施の形態においては、正のエッジ列及び負のエッジ列のｘｗn −ｐベクトル及びｘｗn −ｎベクトルを検出する際に、近似直線であるとみなすために十分なエッジ点数に達していないものを排除し、さらに、ｘｗn −ｐｎベクトルを算出する際に、正のエッジ列において近似直線を得られないもの及び負のエッジ列において近似直線を得られないものについては、ｘｗn 候補点から排除している。したがって、陰等によって片側エッジのみが検出された場合であっても、両方のエッジが検出されない場合にはｘｗn 候補点から排除されるから、誤認識を防止することができる。
【００８２】
したがって、上記第１の実施の形態と同等の作用効果を得ることができると共に、さらに、その近似直線の検出精度を向上させることができるから、この近似直線に基づいて推定される道路形状の推定精度をより向上させることができる。
次に、本発明の第３の実施の形態を説明する。
図１７は、第３の実施の形態における道路白線認識装置の構成図であって、第１の実施の形態における道路白線認識装置において、ピッチ角センサ３を除去したものであって、カメラ１と処理装置２とから構成されている。
【００８３】
そして、処理装置２では、道路白線認識処理を実行する際に、図１８のフローチャートに示すように、ステップＳ４の処理に変えて、ステップＳ４ａの処理を行い、ピッチ角Ｄの推定処理を行うようになっている。
なお、図１８のフローチャートにおいて、上記第１の実施の形態と同一部には同一符号を付与し、その詳細な説明は省略する。
【００８４】
この第３の実施の形態における道路白線認識処理においては、ステップＳ３ａの処理で、ピッチ角の推定を行うようにしている。具体的には、道路白線認識処理時に、ステップＳ１６で道路パラメータとして推定したピッチ角Ｄを、所定の記憶領域に格納し、前回及び前々回処理実行時におけるピッチ角Ｄ（ｔ−１）及びピッチ角Ｄ（ｔー２）を記憶しておく。
【００８５】
そして、ステップＳ４ａで、前回及び前々回のピッチ角Ｄ（ｔ−１）及びピッチ角Ｄ（ｔー２）に基づいて、次式（２３）にしたがって、ステップＳ５の道路消失点ｙ座標算出時に用いるピッチ角Ｄ（０）を算出する。
Ｄ（０）＝ａ１＊Ｄ（ｔ−１）＋ａ２＊Ｄ（ｔ−２）      ……（２３）
上記（２３）式は、ピッチ角Ｄの振る舞いをモデル化したものであり、前記ａ１及びａ２は、例えば、ＡＲ法等を用いて算出すればよい。
【００８６】
なお、前記（２３）式に変えて、例えば次式」（２４）に示すようにさらに高次のモデル化を行うようにしてもよい。
Ｄ（０）
＝ａ１＊Ｄ（ｔ−１）＋ａ２＊Ｄ（ｔ−２）＋ａ３＊Ｄ（ｔ−３）…………（２４）
そして、このようにして推定したピッチ角Ｄ（０）に基づいて、ステップＳ５の処理で道路消失点ｙ座標を算出し、以後上記第１の実施の形態と同様に処理を行う。
【００８７】
したがって、この場合も上記第１の実施の形態と同等の作用効果を得ることができると共に、この第３の実施の形態においては、ピッチ角センサ３を必要としないから、道路白線認識装置の規模の縮小を図ることができると共に、低価格化を図ることができる。
また、前記（２３）式で算出されるピッチ角推定値Ｄ（０）は、真のピッチ角を補償しないが、ピッチングの動きが低周波数域にのみ存在しており、急変しないことから、このピッチ角推定値Ｄ（０）と真のピッチ角との誤差は小さい。したがって、ピッチ角推定値Ｄ（０）に基づいて道路白線の検出を行ったとしても高精度に検出を行うことができる。
【００８８】
なお、上記第３の実施の形態においては、第１の実施の形態に適用した場合について説明したが、第２の実施の形態に適用できることはいうまでもない。
ここで、上記実施の形態において、カメラ１が撮像手段に対応し、図２、図１６、図１８に示す道路白線検出処理のフローチャートにおいて、ステップＳ６の処理がエッジ点検出手段に対応し、ステップＳ５〜ステップＳ１１の処理が道路消失点検出手段に対応し、ステップＳ５の処理が前後方向座標検出手段に対応し、ステップＳ７〜ステップＳ９の処理がエッジ直線候補検出手段に対応し、ステップＳ１０及びＳ１１の処理が位置座標特定手段に対応し、ステップＳ１０の処理がエッジ総数検出手段に対応し、ステップＳ１２〜ステップＳ１６の処理が道路白線検出手段に対応し、ステップＳ１２〜ステップＳ１６の処理が道路白線近似手段に対応し、ステップＳ１２及びステップＳ１３の処理が消失点直線近似手段に対応し、ステップＳ１６の処理で道路白線の中央を通る近似式を検出する処理が直線近似式検出手段に対応し、ピッチ角センサ３又は図１６のステップＳ４の処理がピッチ角検出手段に対応している。
【図面の簡単な説明】
【図１】本発明を適用した、道路白線認識装置の一例を示す概略構成図である。
【図２】第１の実施の形態における道路白線検出処理の処理手順の一例を示すフローチャートである。
【図３】ウィンドウの設定方法を説明するための説明図である。
【図４】道路消失点を説明するための説明図である。
【図５】ウィンドウ消失点を説明するための説明図である。
【図６】ｘｗn −ｋｐn 平面を説明するための説明図である。
【図７】図２のステップＳ６におけるハフ変換処理の処理手順の一例を示すフローチャートである。
【図８】ｘｗn −ｋｐn 平面及びｘｗn −ｋｎn 平面の一例である。
【図９】ｘｗn 及びｋｐn の想定される範囲を説明するための説明図である。
【図１０】ｘｗn −ｐベクトル及びｘｗn −ｎベクトルの算出方法を説明するための説明図である。
【図１１】ｘｗn −ｐｎベクトルの算出方法を説明するための説明図である。
【図１２】本発明の動作説明に供する説明図である。
【図１３】本発明の動作説明に供する説明図である。
【図１４】本発明の動作説明に供する説明図である。
【図１５】本発明の動作説明に供する説明図である。
【図１６】本発明の第２の実施の形態における道路白線検出処理の処理手順の一例を示すフローチャートである。
【図１７】本発明の第３の実施の形態における、道路白線認識装置の一例を示す概略構成図である。
【図１８】第３の実施の形態における道路白線検出処理の処理手順の一例を示すフローチャートである。
【図１９】道路白線と路面との輝度差による道路白線の検出方法を説明するための説明図である。
【図２０】ハフ変換を説明するための説明図である。
【図２１】ハフ変換を説明するための説明図である。
【図２２】撮像画像においてウィンドウを設定した場合の一例である。
【図２３】正エッジ点及び負エッジ点の一例である。
【図２４】従来のエッジ点列の近似直線の検出時の動作説明に供する説明図である。
【図２５】従来のエッジ点列の近似直線の検出時の動作説明に供する説明図である。
【符号の説明】
１  カメラ
２  処理装置
３  ピッチ角センサ
【図１】
0003729141.tif 000005
【図２】
0003729141.tif 000006
【図３】
0003729141.tif 000007
【図４】
0003729141.tif 000008
【図５】
0003729141.tif 000009
【図６】
0003729141.tif 000010
【図７】
0003729141.tif 000011
【図８】
0003729141.tif 000012
【図９】
0003729141.tif 000013
【図１０】
0003729141.tif 000014
【図１１】
0003729141.tif 000015
【図１２】
0003729141.tif 000016
【図１３】
0003729141.tif 000017
【図１４】
0003729141.tif 000018
【図１５】
0003729141.tif 000019
【図１６】
0003729141.tif 000020
【図１７】
0003729141.tif 000021
【図１８】
0003729141.tif 000022
【図１９】
0003729141.tif 000023
【図２０】
0003729141.tif 000024
【図２１】
0003729141.tif 000025
【図２２】
0003729141.tif 000026
【図２３】
0003729141.tif 000027
【図２４】
0003729141.tif 000028
【図２５】
0003729141.tif 000029