(57)【特許請求の範囲】
【請求項１】
車両前方の道路画像を取得する画像取得手段と、取得した道路画像内に道路白線を探索する複数のウインドウを設けるウインドウ設定手段と、各ウインドウそれぞれに設定された輝度のしきい値によって道路白線の候補点を認識する白線候補点選択手段とを備え、この白線候補点の集合から、前記道路画像で認識される道路形状を推定するようにした道路白線認識装置であって、前記道路形状を推定する動作が繰り返し行われる道路白線認識で前回の道路形状推定値から次回のウインドウ内に占めると想定される道路白線の面積を推定する道路面積推定手段と、それぞれのウインドウに対してしきい値以上の輝度を持つ画素の面積が上記道路面積推定手段で推定された道路白線の面積以上となるように上記輝度のしきい値を個々に設定するしきい値設定手段と、を設けたことを特徴とする道路白線認識装置。
【請求項２】
車両前方の道路画像を取得する画像取得手段と、取得した道路画像内に道路白線を探索する複数のウインドウを設けるウインドウ設定手段と、各ウインドウに設定された輝度のしきい値によって道路白線の候補点を認識する白線候補点選択手段とを備え、この白線候補点の集合から、前記道路画像で認識される道路形状を推定するようにした道路白線認識装置であって、前記道路形状を推定する動作が繰り返し行われる道路白線認識で前回の道路形状推定値から次回のウインドウ内に占めると想定される道路白線の面積を推定する道路面積推定手段と、所定のウインドウにおいてしきい値以上の輝度を持つ画素の面積が上記道路面積推定手段で推定された道路白線の面積以上となるように上記輝度のしきい値を設定するしきい値設定手段とを設け、このしきい値を全ウインドウに適用することを特徴とする道路白線認識装置。
【請求項３】
請求項２において、所定のウインドウを、画像取得手段に近い道路白線を透視するウインドウに選定したことを特徴とする道路白線認識装置。
【請求項４】
請求項１〜３のいずれか１つにおいて、道路認識を繰り返し行い、前回の道路形状推定値から次回のウインドウ位置を想定することを特徴とする道路白線認識装置。
【請求項５】
請求項１〜４のいずれか１つにおいて、ウインドウの上下両端が道路白線と重なると想定されるそれぞれの幅を上底および下底として道路白線を台形と見立て、その面積を近似的に求めることを特徴とする道路白線認識装置。
【請求項６】
請求項１〜４のいずれか１つにおいて、ウインドウの上下一方の端が道路白線と重なると想定される幅を１辺として道路白線を平行四辺形と見立て、その面積を近似的に求めることを特徴とする道路白線認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば車両の自動操縦や予防安全運転などのために、車両の進行方向前方の道路を画像として取得して道路白線を認識し、この道路白線から道路形状を推定するようにした道路白線認識装置に関する。
【０００２】
【従来の技術】
この種の画像により道路白線を認識する従来の手法としては、特開平７−２４４７１７号に開示される車両用走行環境認識装置や特開平９−３５０６５号に開示される車載用画像処理装置などがある。前者の特開平７−２４４７１７号ではエッジ検知の問題点を空間積分で克服しようとするものであり、また、後者の特開平９−３５０６５号では時間積分で問題点を克服するものである。更に、これら以外にも取得した画像上に設けられるウインドウの輝度値の平均値をもってそのウインドウのしきい値とし、このしきい値以上の輝度をもって道路白線と見なす手法が知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、かかる従来の白線認識の方法では、特開平７−２４４７１７号の空間積分する場合は結果的に積分の変化を計算するものであり、満足のいくノイズの除去性能に劣り、また、特開平９−３５０６５号の時間積分する場合は道路が時間とともに画像上を移動するため、時間積分の出力画像はぼかし状態となって道路白線の検知性能が劣化することになる。
【０００４】
更に、ウインドウにしきい値を設けて道路白線を検知する手法では、実際の道路白線の輝度と路面の輝度との間にしきい値となる平均値が来ないことが多い。図１５はそのときの累積輝度分布の一例を示し、これは右軸に輝度、縦軸に輝度の分布度数をそれぞれ表し、輝度は右に行くほど高くなって０〜２５５まで変化するとともに、度数は上に行くほど大きくなって１００パーセントまで到達している。同図中輝度Ｖ0に対して度数Ｔ0が対応しているが、これは輝度Ｖ0以上の度数がＴ0パーセントであることを意味する。また、輝度０（黒）以上は全ての輝度を意味するため、縦軸の切片は必ず１００パーセントとなる。
【０００５】
ここで、上記輝度分布の平均輝度をＶave、道路白線輝度をＶref（Ｖave＜Ｖref）とした場合、画面全体は黒っぽく、道路白線の占める部分が少ないことから、輝度の平均が黒寄りに設定されることになる。従って、この場合はＶaveとＶrefとの間に存在する輝度は誤検知の対象となる。
【０００６】
また、これとは逆にＶave＞Ｖrefとなる同様の累積輝度分布を図１６に示すが、これは一部のノイズの輝度が高くて平均輝度を押し上げている場合で、ＶaveとＶrefとの間に存在する輝度は道路白線として認識することができなくなる。
【０００７】
本発明はかかる従来の課題に鑑みて成されたもので、道路白線を探索するために道路画像上に設けた複数のウインドウ内で、道路白線を認識するためのしきい値を路面面積と道路白線面積とを考慮して設定することにより、道路白線を精度良く認識できるようにした道路白線認識装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１に記載の本発明は、車両前方の道路画像を取得する画像取得手段と、取得した道路画像内に道路白線を探索する複数のウインドウを設けるウインドウ設定手段と、各ウインドウそれぞれに設定された輝度のしきい値によって道路白線の候補点を認識する白線候補点選択手段とを備え、この白線候補点の集合から、前記道路画像で認識される道路形状を推定するようにした道路白線認識装置であって、前記道路形状を推定する動作が繰り返し行われる道路白線認識で前回の道路形状推定値から次回のウインドウ内に占めると想定される道路白線の面積を推定する道路面積推定手段と、それぞれのウインドウに対してしきい値以上の輝度を持つ画素の面積が上記道路面積推定手段で推定された道路白線の面積以上となるように上記輝度のしきい値を個々に設定するしきい値設定手段と、を設けたことを要旨とする。
【０００９】
請求項２に記載の本発明は、車両前方の道路画像を取得する画像取得手段と、取得した道路画像内に道路白線を探索する複数のウインドウを設けるウインドウ設定手段と、各ウインドウに設定された輝度のしきい値によって道路白線の候補点を認識する白線候補点選択手段とを備え、この白線候補点の集合から、前記道路画像で認識される道路形状を推定するようにした道路白線認識装置であって、前記道路形状を推定する動作が繰り返し行われる道路白線認識で前回の道路形状推定値から次回のウインドウ内に占めると想定される道路白線の面積を推定する道路面積推定手段と、所定のウインドウにおいてしきい値以上の輝度を持つ画素の面積が上記道路面積推定手段で推定された道路白線の面積以上となるように上記輝度のしきい値を設定するしきい値設定手段とを設け、このしきい値を全ウインドウに適用することを要旨とする。
【００１０】
請求項３に記載の本発明は、請求項２の道路白線認識装置にあって、所定のウインドウを、画像取得手段に近い道路白線を透視するウインドウに選定したことを要旨とする。
【００１１】
請求項４に記載の本発明は、請求項１〜３のいずれか１つの道路白線認識装置にあって、道路認識を繰り返し行い、前回の道路形状推定値から次回のウインドウ位置を想定することを要旨とする。
【００１２】
請求項５に記載の本発明は、請求項１〜４のいずれか１つの道路白線認識装置にあって、ウインドウの上下両端が道路白線と重なると想定されるそれぞれの幅を上底および下底として道路白線を台形と見立て、その面積を近似的に求めることを要旨とする。
【００１３】
請求項６に記載の本発明は、請求項１〜４のいずれか１つの道路白線認識装置にあって、ウインドウの上下一方の端が道路白線と重なると想定される幅を１辺として道路白線を平行四辺形と見立て、その面積を近似的に求めることを要旨とする。
【００１４】
【発明の効果】
請求項１に記載の本発明によれば、道路白線は、車両前方の道路画像上に設けた複数のウインドウ内で探索されるようになっており、各ウインドウに個々に設定されるしきい値以上の輝度（以下、高輝度という）をもって道路白線を判別できる。このとき、各ウインドウの道幅方向の幅は、道路が存在すると想定される画像上の領域を含むように複数個設定しておけばよく、また、上記高輝度の画素は道路白線以外にも道路条件、例えば水の反射やランプおよび太陽光の直射・反射光などによって現れる場合があり、これが疑似白線となって本来の道路白線と混同する要因となる。従って、この疑似白線を含めて上記高輝度の画素を道路白線候補点と見なして取り込んだ上で、この道路白線候補点の連続性などから道路白線を検知することができる。
【００１５】
このとき、それぞれのウインドウでは高輝度を持つ画素の面積、つまり疑似白線を含む道路白線候補点の画素の面積が、ウインドウ内に占めると想定される道路白線の面積以上となるようにそのしきい値が設定されるため、高輝度を持つ画素の集合に道路白線が確実に含まれることになる。そして、このようにしきい値が高輝度を持つ画素の面積と道路白線の面積との対比で決定されるため、ウインドウ内の路面面積が占める割合が大きくなった場合にも、しきい値が黒寄り、つまり低輝度側に設定されるのが防止される。また、ウインドウ内の一部に高輝度のノイズが現れた場合にも、その面積が小さければしきい値にほとんど影響されることは無い。つまり、しきい値はウインドウ内全体の路面面積に対して、そのウインドウ内に占める道路白線面積を考慮して決定されるものであり、これによってウインドウ内の道路白線候補点を確実に認識でき、ひいては、この道路白線候補点から道路白線を精度良く認識することができる。
【００１６】
請求項２に記載の本発明によれば、上記請求項１の道路白線認識装置と同様の手法をもってしきい値が設定されるが、この請求項２の道路白線認識装置の場合は、所定のウインドウで設定したしきい値を共通のしきい値として、複数のウインドウ全てに設定するようになっているため、このしきい値の設定計算が全てのウインドウに対して１回、つまり１画面に付き１回で済むことになる。従って、しきい値を高速で設定できるため道路白線の認識をよりリアルタイムで実行できる。従って、高速処理を要求されるシステムに有利となり、例えば高速走行する車両の走行案内を確実かつ安全に行うことができるようになる。
【００１７】
請求項３に記載の本発明によれば、上記請求項２の道路白線認識装置にあって、所定のウインドウを、画像取得手段に近い道路白線を透視するウインドウに選定したので、この画像取得手段に近いウインドウでは、より遠くにあるウインドウに比較して道路白線が拡大されているため、道路白線面積の変化が抑制されることになる。従って、ノイズがしきい値に影響しづらくなるため、繰り返し行われるしきい値設定をより高速に対応させることができるようになり、高速処理を要求されるシステムで有利となる。
【００１８】
請求項４に記載の本発明よれば、上記請求項１〜３のいずれか１つの道路白線認識装置にあって、道路認識を繰り返し行い、前回の道路形状推定値から次回のウインドウ位置を想定するようにしたので、ウインドウ位置を道路形状に応じてその都度適切に設定できるようになる。従って、ウインドウを固定的に設けた場合は道路の存在しうる領域を全てカバーする必要があるが、その都度設定するウインドウでは道路白線を取得するに十分な面積を確保すればよく、ウインドウの面積を小さくすることができる。つまり、このようにウインドウを小さくすることにより、道路白線以外の疑似白線が取り込まれる確率が少なくなるため、しきい値の設定精度が向上される。
【００１９】
請求項５に記載の本発明によれば、上記請求項１〜４のいずれか１つの道路白線認識装置にあって、ウインドウの上下両端が道路白線と重なると想定されるそれぞれの幅を上底および下底として道路白線を台形と見立て、その面積を近似的に求めるようにしたので、ウインドウの上下高さが既知であるため、道路白線の面積は上記上底と下底の２箇所の長さを求めるのみで高速に演算できるようになる。
【００２０】
請求項６に記載の本発明によれば、請求項１〜４のいずれか１つの道路白線認識装置にあって、ウインドウの上下一方の端が道路白線と重なると想定される幅を１辺として道路白線を平行四辺形と見立て、その面積を近似的に求めるようにしたので、この場合は道路白線が重なるウインドウの上下一方の端の１箇所の長さを求めるのみで道路白線の面積を決定でき、演算の更なる高速化を達成できるようになる。
【００２１】
【発明の実施の形態】
以下、本発明の実施形態を添付図面を参照して詳細に説明する。
【００２２】
図１は本発明にかかる道路白線認識装置１０の一実施形態を示す基本的な構成で、車両前方の道路画像を取得する画像取得手段１４と、取得した道路画像内に道路白線１８を探索する複数のウインドウ２０を設けるウインドウ設定手段１０１と、各ウインドウ２０それぞれに設定されたしきい値ｖnによって道路白線１８の候補点２１を認識する白線候補点選択手段１０２とを備え、この白線候補点２１の集合から道路モデルを推定するようになっており、繰り返し行われる道路白線認識で前回の道路モデル推定値から次回のウインドウ２０内に占めると想定される道路白線１８の面積ｓnを推定する道路面積推定手段１０３と、それぞれのウインドウ２０に対してしきい値ｖn以上の輝度を持つ画素の面積が上記道路面積推定手段１０３で推定された道路白線１８の面積ｓn以上となるように上記しきい値ｖnを個々に設定するしきい値設定手段１０４とを設けて構成される。
【００２３】
図２は上記道路白線認識装置１０を搭載した車両１２の一実施形態を示す概略図で、画像取得手段１４とこの画像取得手段１４で取得した画像信号（以下、単に画像という）を処理するプロセッサ１６とが車両１２に設置される。画像取得手段１４は高感度撮像が可能なＣＣＤカメラなどが好ましく、この画像取得手段（以下、カメラという）１４は室内天井１２ａの前方中央部に前方下方を指向して取り付けられ、フロントガラス１２ｂを通して車両１２前方の道路Ｒ画像を取得するようになっている。上記プロセッサ１６は車両１２の熱や風雨の影響のない適宜箇所に設置され、上記カメラ１４で取得した道路Ｒ画像から道路白線１８を認識して道路モデル（道路形状）を推定する制御が実行される。
【００２４】
図３はプロセッサ１６によって道路モデルを想定するプログラムＰ1を実行するためのフローチャートを示す。即ち、このフローチャートでは前方画像取込処理により車両前方画像を取り込んだ後（ステップＳ１）、ウインドウ設定処理により画像内に複数のウインドウを設ける（ステップＳ２）。次にステップＳ４〜Ｓ７の処理を完了したかどうかを判断（ステップＳ３）した後、道路パラメータ推定処理により道路モデルを想定する（ステップＳ８）ようになっている。
【００２５】
ステップＳ４は画像内に設けられた上記複数のウインドウ全てにステップＳ５〜７の処理が実行されるように順に次のウインドウを選択する。そして、ステップＳ５の白線候補点選択処理によってしきい値より高輝度の画素を取り込んだ後、ステップＳ６の白線候補線算出処理によりステップＳ５で取り込んだ白線候補点の連続性から白線と見なすことができる線を算出し、ステップＳ７の道路座標算出処理では白線候補線とウインドウの上辺との交点座標を求める。また、ステップＳ８の処理後はステップＳ１に戻り、一連のプログラムＰ1が所定時間毎に実行されることになる。
【００２６】
以下、上記プログラムＰ1の処理を各ステップＳ１〜Ｓ８毎に詳述する。
【００２７】
（１）前方画像取込（Ｓ１）
上記カメラ１４によって撮像された画像信号を、プログラムＰ1を処理する所定時間毎に取り込む。
【００２８】
（２）ウインドウ設定（Ｓ２）
ウインドウ２０は、図４に示すように道路白線１８の延長方向に沿って複数が設けられ、前回の画像処理結果によって得られた道路モデルにより、それぞれのウインドウ２０に道路白線１８が取り込まれるように、それぞれの位置が設定される。図中の縦方向は画像座標ｙ軸方向を示し、図中下方がｙプラスである。また、図中の横方向は画像座標ｘ軸方向を示し、図中右方がｘプラスである。図５に示すようにウインドウ２０のｘ方向の幅Ｗは道路が存在すると想定される画像上の領域をカバーするように、各ウインドウ２０（同図では１つのウインドウ２０を例にとって示してある。）が設定される。各ウインドウ２０の上辺２０ａの座標ｙ0と下辺２０ｂの座標ｙ1とは固定とする。また、道路モデルは式１によって得られる（特開平６−２０１８９号参照）。
【００２９】
【数１】
0003731464.tif 000002
パラメータＡ、Ｂ、Ｃ、Ｄ、Ｈはそれぞれ自車両の車線に対する横位置、道路曲率、自車両の車線に対するヨー角、ピッチ角、カメラ高さに相当する。Ｅ0は車線幅（左右白線の内側間の距離）、ｆV、ｆhはカメラ透視変換定数で縦方向、横方向をそれぞれ表す。（ｘ，ｙ）は自車両に対して白線内側の画像上の座標（以下、道路座標という）であり、以下においてｘ，ｙは画像上の座標を意味するものとする。また、ｉは左白線では「０」、右白線では「１」を表す。
【００３０】
また、式１は道路モデルを表す一手法を示したものであり、例えば、Ｅ0を変数にしたもの、Ｈを固定したもの、車線幅を左白線中央と右白線中央の距離とし、（ｘ，ｙ）を白線中央の画像座標として定義することもできる。
【００３１】
ここで、Ｎ番目のウインドウの上辺２０ａのｙ座標をｙnとし、前回のパラメータ推定結果を｛Ａ（−１），Ｂ（−１），Ｃ（−１），Ｄ（−１），Ｈ（−１）｝とすると、式１より今回のウインドウ２０の中心座標ｘestは式２で示される。
【００３２】
【数２】
0003731464.tif 000003
ウインドウ２０のｘ方向の幅は固定値もあれば、特開平８−２６１７５６号に示されるように、パラメータの分散から合理的に設定する方法も提示されている。
【００３３】
（３）すべてのウインドウ完了？（Ｓ３）
ステップＳ３〜Ｓ７のループ内処理を各ウインドウ２０全てに対して実行したかどうかを判断する。
【００３４】
（４）次のウインドウへ（Ｓ４）
ステップＳ３〜Ｓ７のループ内処理が各ウインドウ２０全てに対して実行されない場合に、処理していないウインドウ２０を順次選択する。
【００３５】
（５）白線候補点選択（Ｓ５）
この白線候補点選択を処理するプログラムＰ2は、図６に示すフローチャートによって実行される。即ち、このプログラムＰ2は、道路面積を推定（ステップＳ１０）した後に度数分布を算出（ステップＳ１１）し、これらからしきい値を設定する（ステップＳ１２）とともに、しきい値による選択が行われる（ステップＳ１３）。
【００３６】
ここで、上記プログラムＰ2の処理を各ステップＳ１０〜Ｓ１３毎に詳述する。（５−１）道路面積推定（Ｓ１０）
前回処理の結果から該当するウインドウ２０での道路面積を推定する。N番目となるウインドウ２０の上辺２０ａのｙ座標をｙnとする。道路モデルを表す式１より、このウインドウ２０での予想ｘ座標ｘnは式３で示される。
【００３７】
【数３】
0003731464.tif 000004
Ａは自車両の車線に対する横変位を表す。車両が白線幅だけずれた場合の画像上のずれは、白線幅の画像上での幅を表している。従って、widthを実際の白線の幅（例えば１５cm）とすると、式３より画像上の白線の幅ｗnは式４で示される。この場合、添え字nはN番目を表す。
【００３８】
【数４】
0003731464.tif 000005
道路面積はウインドウ２０の面積で正規化される。即ち、ウインドウ２０面積と一致した場合には、面積＝１００パーセントとする。ウインドウ２０の面積はプログラムＰ1のステップＳ２で既知であり、それをｕnとする。この場合、道路白線１８を上底と下底がウインドウ枠に接した平行四辺形と見なす。つまり、ウインドウ２０の上辺２０ａと下辺２０ｂの一方が道路白線１８と重なると想定される幅を１辺としてこの道路白線１８を平行四辺形と見立て、その面積を近似的に求めるようになっている。この場合の正規化された道路白線面積ｓnは式５で表される。ただし、ｄnはウインドウ２０のｙ方向の幅を表す。
【００３９】
【数５】
0003731464.tif 000006
（５−２）度数分布算出（Ｓ１１）
ウインドウ２０の画素をすべて走査して輝度分布を調べる。ところで、この輝度分布を調べるにあたって、図１５の累積輝度分布によって輝度が０〜２５５まで変化する従来技術を説明したが、このように輝度カウンタを０〜２５５まで別々に用意すると、プロセッサ１６のメモリが膨大となる。このため、本実施形態では図７に示すようにカウンタを１０毎にまとめ、輝度０〜９をカウンタ０として置き換えるとともに、輝度１０から１９をカウンタ１０として順次置き換えてある。この場合、同図ではカウンタを一部省略してある。
【００４０】
（５−３）しきい値設定（Ｓ１２）
図７に示した各カウンタの合計、つまりウインドウ２０の画素数の合計をｂnとすると、道路白線１８上の画素数ｋnは式６によって与えられる。
【００４１】
【数６】
0003731464.tif 000007
また、各輝度のカウンタ数をｃ0〜ｃ25とする。ただし、ｃ1は輝度０〜９の画素のカウンタのように定義する。また、ｃ25だけは２５０〜２５５の画素のカウンタとする。次に、輝度の高い方のカウンタからカウンタ値を累積する変数ｊnを用意し、式７をｍが２５から初めて１づつ下げて繰り返し実行する。そして、その繰り返し最中に（ｊn≧ｋn）の条件が満たされた場合に計算を停止する。
【００４２】
【数７】
0003731464.tif 000008
その繰り返し最中に以下の式８に示す条件が満たされた場合に計算を停止する。
【００４３】
【数８】
0003731464.tif 000009
このときに、始めて道路白線面積がしきい値以上の領域に包含されたことを意味する。そして、計算が中止された時のｍの値をもってしきい値ｖnを式９によって計算する。
【００４４】
【数９】
0003731464.tif 000010
（５−４）しきい値による選択（Ｓ１３）
ウインドウ２０内の画素を再走査し、上記ｖn以上の輝度を白線候補点２１とする。これによって図８に示すように白線候補点２１がウインドウ２０に多数プロットされた集合群として表される。
【００４５】
次に、上記プログラムＰ1に戻って説明を進める。
【００４６】
（６）白線候補線算出（Ｓ６）
ウインドウ２０内にプロットされた白線候補点２１の連続性から白線候補線２２を探索する。この探索にはハフ変換や最小自乗法などを用いることができる。例えば、ハフ変換直線近似では図９に示すようにウインドウ２０内を通過する直線のうち、最も白線候補点２１を多く貫いたものが選択される。
【００４７】
（７）道路座標算出（Ｓ７）
図１０に示すように白線候補線２２とウインドウ２０の上辺２０ａとの交点座標（ｘn，ｙn）を求める。これがそのウインドウ２０での道路座標となり、白線候補線２２の数に応じて道路座標の集合（ｘ0，ｙ0）〜（ｘn0，ｙn0）が得られる。
【００４８】
（８）道路パラメータ推定（Ｓ８）
道路座標の集合（ｘ0，ｙ0）〜（ｘn0，ｙn0）と上記式１の構造に基づいて、道路モデル（Ａ，Ｂ，Ｃ，Ｄ，Ｈ）の推定が行われる。この推定を行う方式の代表的なものとして、最小自乗法やカルマンフィルタを用いることができる。
【００４９】
以下、本実施形態の道路白線認識装置１０の作用を述べる。即ち、この道路白線認識装置１０は、各ウインドウ２０に設定されるしきい値が、カメラ１４によって取得した道路画面内の路面面積と道路白線面積とを考慮に入れて適切に決定され、これにより道路白線１８を精度良く認識できるものであり、これを用いることによって道路モデル（形状）を正確に推定することができる。
【００５０】
即ち、上記道路白線認識装置１０はプログラムＰ1のステップＳ５によって白線候補点２１が選択されるが、この白線候補点２１はプログラムＰ2の道路面積推定（ステップＳ１０）と度数分布算出（ステップＳ１１）とを経て設定されるしきい値ｖnを基準として検出される。このとき、画面に取り込まれる高輝度なものは道路白線１８とは限ることなく、例えば、前方車両の窓の照り返し、ランプ、その他太陽光の直射・反射光などは輝度が高いものである。しかし、ウインドウ２０内に限定した場合、それらが入る確率は大幅に減少する。即ち、ウインドウ２０内で道路白線１８が高輝度を示す可能性が高くなり、よって、所定値以上の輝度を有する画素の集合に道路白線１８が確実に含まれることになる。ここで、上記しきい値ｖnの設定が問題となることは従来に述べた通りであり、これを本発明が解決することにより精度良く道路白線１８を認識できるのである。
【００５１】
即ち、本実施形態では図１１に示すように道路白線１８の最低輝度をＶrefとすると、Ｖref以上の輝度を有する画素の度数はＴrefパーセントとなる。このことは、例えば道路白線１８以上の輝度を持つものが無い場合、ウインドウ２０に占める白線面積がＴrefパーセントであることを意味する。従って、ウインドウ２０内に限定したことにより、白線以上の輝度を持つ画素は存在する可能性が低くなり、また、ウインドウ２０の面積は既知であるため、道路白線１８の面積が判っていれば、図１１を逆に利用して分布がＴrefパーセント以下になる輝度をしきい値ｖnとして設定すればよいことなる。
【００５２】
つまり、従来例として図１５に示した従来の平均手法は黒寄りのしきい値を採るため誤認識を起こすことを既に述べたが、本実施形態の手法では路面（アスファルト）面積と道路白線面積を考慮に入れてしきい値ｖnを設定しているため、いくら路面が占める面積が大きくても、しきい値ｖnが黒寄りに設定されることは無い。
【００５３】
また、従来例として図１６の場合では白寄りのしきい値を採るためロストを起こすが、この場合にあっても本実施形態では、上述したように路面面積と道路白線面積を考慮に入れてしきい値ｖnを設定しているため、一部に高輝度のノイズが現れてもその面積が小さければ影響は出にくくなる。例えば、図１２に示すように１画素の輝度が極端に高いと、平均輝度はそれに応じて変化するが、度数分布は極端に高い輝度の値のみが変わるのであって、白線近傍のしきい値ｖnは変化しない。
【００５４】
更に、本実施形態の道路白線認識装置１０にあっては、プログラムＰ1の処理によって道路認識を繰り返し行い、前回の道路モデル推定値から次回のウインドウ２０位置を想定することができるようになり、ウインドウ２０位置を道路モデルに応じてその都度適切に設定できるようになる。このため、ウインドウ２０を固定的に設けた場合は道路の存在しうる領域を全てカバーする必要があるが、その都度設定するウインドウ２０では道路白線１８を取得するに十分な面積を確保すればよく、ウインドウ２０の面積を小さくことができる。つまり、このようにウインドウ２０を小さくすることにより、道路白線１８以外の疑似白線が取り込まれる確率が少なくなるため、しきい値ｖnの設定精度を向上することができる。
【００５５】
また、本実施形態では道路白線１８の面積を推定するために式４および式５を用いて、道路白線１８の面積を平行四辺形として近似したので、道路白線１８が重なるウインドウ２０の上下一方の端の１箇所の長さを求めるのみで道路白線１８の面積を決定できるため、演算の高速化を達成できる。
【００５６】
ところで、上記実施形態では各ウインドウ２０それぞれに対して道路白線１８を認識するためのしきい値ｖnを設定した場合を開示したが、これに限ることなく全ウインドウ２０に対して共通のしきい値ｖnを設定することができる。即ち、この共通のしきい値ｖnを設定する場合の道路白線認識装置１０は、上記実施形態に示した図１と同様の構成となるが、ただ、しきい値設定手段１０４で設定されるしきい値ｖnが、複数のウインドウ２０のうちの１つのウインドウ２０で実行されることになる。そして、この１つのウインドウ２０で設定されたしきい値ｖnが、その他の全ウインドウ２０に適用されるようになっている。
【００５７】
従って、このように共通のしきい値ｖnを全ウインドウ２０に適用することにより、このしきい値の設定計算が１画面に付き１回で済むことになる。従って、しきい値を高速で設定できるため道路白線１８の認識をよりリアルタイムで実行できるようになり、高速処理を要求されるシステムに有利となり、例えば高速走行する車両の走行案内を確実かつ安全に行うことができるようになる。
【００５８】
また、上記実施形態では道路白線１８の面積を平行四辺形として近似して推定した場合を開示したが、この道路面積の推定は平行四辺形に限ることは無く、例えば、画面に取り込まれる道路白線１８を台形状として捉えることができる。図１３は道路白線１８を台形状として捉える場合の手法を示し、N番目のウインドウ２０の上辺２０ａのｙ座標をｙｕn、下辺２０ｂの同座標をｙｄnとすると、ウインドウ上辺２０ａでの白線の幅ｗｕnは式１０で示される。
【００５９】
【数１０】
0003731464.tif 000011
同様に画像上、ウインドウ下辺２０ｂでの白線の幅ｗｄnは式１１で示される。
【００６０】
【数１１】
0003731464.tif 000012
そして、道路面積をウインドウ２０の面積で正規化する。即ち、ウインドウ２０の面積と一致した場合には面積＝１００パーセントとする。ウインドウ２０の面積はプログラムＰ1で既に設定されており、その面積をｕnとする。そして、道路白線１８の上底および下底がウインドウ枠に接した台形となるように近似すると、正規化された道路白線面積Ｓnは式１２で表される。このとき、ｄnはウインドウ２０のｙ方向の幅を表す。
【００６１】
【数１２】
0003731464.tif 000013
従って、この場合は道路白線１８を画面に現れるより実際に近い形として捉え、より正確な白線面積を求めることができ、ひいては、しきい値の最適化を図ることができる。
【００６２】
図１４は更に他の実施形態を示し、カメラ１４に最も近い道路白線１８を透視するウインドウ２０でしきい値設定し、これを全てのウインドウ２０に適用するようにしたプログラムＰ3である。即ち、このプログラムＰ3は、図２に示したプログラムＰ1のステップＳ５で処理される白線候補点選択に代えて実行され、まずステップＳ２０で探索１番目のウインドウ２０かどうかを判断する。つまり、この１番目のウインドウ２０はカメラ１４に最も近くに設定されたものである。
【００６３】
そして、ウインドウ２０が１番目の場合はステップＳ２１の道路面積推定と、ステップＳ２２の度数分布算出と、ステップＳ２３のしきい値設定とが順に実行される。そして、この設定されたしきい値がステップＳ２４によって選択されて高輝度の画素が画面にプロットされる。一方、ステップＳ２０で２番目以降であると判断した場合は、ステップＳ２１〜２３をジャンプしてステップＳ２４に進み、１番目のウインドウ２０で設定したしきい値によって白線候補点が選択される。
【００６４】
従って、このようにカメラ１４に最も近い一番目のウインドウ２０で設定したしきい値を全ウインドウ２０で用いることにより、より遠くにあるウインドウ２０に比較して道路白線１８が拡大されているため、道路白線面積の変化が抑制されることになる。従って、ノイズがしきい値に影響しづらくなるため、繰り返し行われるしきい値設定をより高速に対応させることができるようになり、高速処理を要求されるシステムで有利となる。
【図面の簡単な説明】
【図１】本発明にかかる道路白線認識装置の一実施形態の基本構造を示す概略構成図である。
【図２】本発明にかかる道路白線認識装置を搭載した車両の一実施形態を示す概略構成図である。
【図３】本発明にかかる道路白線認識装置の一実施形態による画像処理プログラムを実行するためのフローチャートである。
【図４】本発明にかかる道路白線認識装置の一実施形態で画面に設定される複数のウインドウの配列状態を示す説明図である。
【図５】本発明にかかる道路白線認識装置の一実施形態で設定されるウインドウの配置状態を示す説明図である。
【図６】本発明にかかる道路白線認識装置の一実施形態による白線候補点選択を実行するためのフローチャートである。
【図７】本発明にかかる道路白線認識装置の一実施形態で設定されるウインドウの輝度分布を示す説明図である。
【図８】本発明にかかる道路白線認識装置の一実施形態で設定されるウインドウ内の白線候補点のプロット状態を示す説明図である。
【図９】本発明にかかる道路白線認識装置の一実施形態で設定されるウインドウ内の白線候補線の選択状態を示す説明図である。
【図１０】本発明にかかる道路白線認識装置の一実施形態で設定されるウインドウに白線候補線が接する道路座標を示す説明図である。
【図１１】本発明にかかる道路白線認識装置の一実施形態で設定されるウインドウの輝度分布に対するしきい値の選定状態を示す説明図である。
【図１２】本発明にかかる道路白線認識装置の一実施形態で設定されるウインドウの輝度分布に作用する高輝度ノイズの影響を示す説明図である。
【図１３】本発明にかかる道路白線認識装置の他の実施形態で設定されるウインドウに道路白線を台形に近似させた状態を示す説明図である。
【図１４】本発明にかかる道路白線認識装置の他の実施形態による白線候補点選択を実行するためのフローチャートである。
【図１５】従来の道路白線認識により得られる輝度分布に対する平均輝度の位置関係を示す説明図である。
【図１６】従来の道路白線認識により得られる輝度分布に対する平均輝度の他の位置関係を示す説明図である。
【符号の説明】
１０  道路白線認識装置
１２  車両
１４  カメラ（画像取得手段）
１６  プロセッサ
１８  道路白線
２０  ウインドウ
２１  白線候補点
２２  白線候補線
１０１  ウインドウ設定手段
１０２  白線候補点選択手段
１０３  道路面積推定手段
１０４  しきい値設定手段
【図１】
0003731464.tif 000014
【図２】
0003731464.tif 000015
【図３】
0003731464.tif 000016
【図４】
0003731464.tif 000017
【図５】
0003731464.tif 000018
【図６】
0003731464.tif 000019
【図７】
0003731464.tif 000020
【図８】
0003731464.tif 000021
【図９】
0003731464.tif 000022
【図１０】
0003731464.tif 000023
【図１１】
0003731464.tif 000024
【図１２】
0003731464.tif 000025
【図１３】
0003731464.tif 000026
【図１４】
0003731464.tif 000027
【図１５】
0003731464.tif 000028
【図１６】
0003731464.tif 000029