(57)【要約】【課題】道路上における道路補修跡による白線の誤認識を防止する。【解決手段】自車両１２の前方を撮像するカメラ１４により撮像した画像内に路面輝度算出用ウインドウを設定し、この設定した路面輝度算出用ウインドウ内の画像における輝度の平均値または最頻値を路面輝度として算出する。そして、カメラ１４により撮像した画像から、前記算出した路面輝度よりも大きい輝度を有するエッジを抽出し、この抽出したエッジに基いて白線を認識する。【選択図】    図１
2005157731.tif 000002
【特許請求の範囲】
【請求項１】
自車両の前方を撮像する画像取得手段と、
前記画像取得手段により撮像した画像内に、ウインドウを設定するウインドウ設定手段と、
前記ウインドウ設定手段により設定した前記ウインドウ内の画像における輝度の平均値または最頻値を路面輝度として算出する路面輝度算出手段と、
前記画像取得手段により撮像した画像から、前記路面輝度算出手段により算出した前記路面輝度よりも大きい輝度を有するエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段により抽出したエッジに基いて白線を認識する白線認識手段と
を備えたことを特徴とする車線認識装置。
【請求項２】
前記ウインドウ設定手段は、白線を含まないように前記ウインドウを設定することを特徴とする請求項１記載の車線認識装置。
【請求項３】
前記ウインドウに白線が含まれる場合は、前記路面輝度算出手段により前記路面輝度を算出しないことを特徴とする請求項１または２記載の車線認識装置。
【請求項４】
前記エッジ抽出手段は、前記路面輝度よりも大きい輝度を有する前記エッジを抽出するのに、該エッジの輝度が所定幅以上あるエッジを抽出することを特徴とする請求項１ないし３のいずれか記載の車線認識装置。
【請求項５】
前記白線認識手段は、前記エッジ抽出手段により抽出した前記エッジにおいて、輝度が正に変化した後、負に変化した場合に、前記白線と認識することを特徴とする請求項１ないし４のいずれか記載の車線認識装置。
【請求項６】
前記ウインドウ設定手段は、前記画像取得手段により撮像した前記画像内に複数の白線認識用のウインドウを設定し、
前記白線認識手段は、該ウインドウ内のうち隣接する画素の輝度変化に基いて前記白線を認識することを特徴とする請求項１ないし５のいずれか記載の車線認識装置。
【請求項７】
前記白線認識手段は、前記画像取得手段により撮像した前記画像内のうち隣接する画素の輝度変化に基いて複数の白線候補点を抽出し、該白線候補点を直線で結ぶことにより前記白線を認識することを特徴とする請求項１ないし６のいずれか記載の車線認識装置。
【請求項８】
自車両の前方を撮像する画像取得工程と、
前記画像取得工程により撮像した画像内に、ウインドウを設定するウインドウ設定工程と、
前記ウインドウ設定工程により設定した前記ウインドウ内の画像における輝度の平均値または最頻値を路面輝度として算出する路面輝度算出工程と、
前記画像取得工程により撮像した画像から、前記路面輝度算出工程により算出した前記路面輝度よりも大きい輝度を有するエッジを抽出するエッジ抽出工程と、
前記エッジ抽出工程により抽出したエッジに基いて白線を認識する白線認識工程と
を有することを特徴とする車線認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両の前方の道路上の白線を検出して車線を認識する車線認識装置および車線認識方法に関するものである。
【背景技術】
【０００２】
従来、自車両に設けた電子式のカメラで撮像した画像から自車両が走行する道路上の白線を検出し、自車両の車線（走行路）を認識する技術が知られている。  
例えば下記特許文献１における従来装置では、カメラで撮像した画像内にウインドウを設定し、このウインドウ内の輝度変化に基いてエッジを検出し、このエッジに基いて白線を検出している。
【０００３】
【特許文献１】特開平７−７８２３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記従来技術では、カメラで撮像した画像内に設定したウインドウ内の輝度変化に基いてエッジを検出し、このエッジに基いて白線を検出している。このため、検出すべき白線に加えて、工事による道路補修跡も同様の輝度変化を示してしまうことがある。このような場合、この道路補修跡を白線と誤認識してしまう可能性があった。  
本発明は、道路上における道路補修跡による白線の誤認識を防止することができる車線認識装置および車線認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明は、自車両の前方を撮像する画像取得手段と、撮像した画像内に路面輝度算出用のウインドウを設定するウインドウ設定手段と、設定したウインドウ内の画像における輝度の平均値または最頻値を路面輝度として算出する路面輝度算出手段と、撮像した画像から、算出した路面輝度よりも大きい輝度を有するエッジを抽出するエッジ抽出手段と、抽出したエッジに基いて白線を認識する白線認識手段とを備えている。
【発明の効果】
【０００６】
本発明によれば、道路上における道路補修跡による白線の誤認識を防止することができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の実施の形態を添付図面を参照して詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。  
図２は、本発明の実施の形態の車線認識装置を搭載した車両を示す図、図１は、本実施の形態の車線認識装置の基本的な構成を示すブロック図である。  
図２において、１２は自車両、１０は本実施の形態の車線認識装置（道路白線認識装置）、１４は電子式のカメラ、１６は車線認識装置１０の主要部を構成するプロセッサ、１２ａは自車両１２の室内天井、１２ｂは自車両１２のフロントガラス、１７はレーダ、Ｒは道路である。  
図２に示すように、自車両１２の前方の道路画像を取得するカメラ１４と、カメラ１４で取得した画像信号（以下、単に画像と記す）を処理するプロセッサ１６と、自車両１２の前方の立体物を検出するレーダ１７が自車両１２に設置されている。カメラ１４としては、高感度撮像が可能なＣＣＤ（Charge Coupled Device）カメラまたはＣＭＯＳ（Complementaly Metal-Oxide Semiconductor）カメラなどが好ましい。カメラ１４は、自車両１２の室内天井１２ａの前方中央部に前方下方を指向して設置され、フロントガラス１２ｂを通して自車両１２前方の道路Ｒの画像を取得する。プロセッサ１６は、熱や風雨の影響のない自車両１２の適宜の箇所に設置され、カメラ１４で取得した道路Ｒの画像から道路Ｒの白線を認識し、道路Ｒの形状および道路Ｒに対する自車両１２の姿勢を推定する制御が実行される。レーダ１７は、自車両１２の前方に設置され、先行車両との間の車間距離を計測する車間距離検出手段として設置されている。レーダ１７は、レーザ光を前方に掃射し、自車両１２の前方の立体物からの反射光を受光して該立体物の検出を行うものである。なお、レーザ光の代わりに電磁波を掃射するものも適用可能である。
【０００８】
図１において、１５は自車両１２に搭載したカメラ１４により取得した自車両１２の前方の道路Ｒの画像を格納する画像メモリ、１０１は路面輝度測定手段、１０２はウインドウ設定手段、１０３は白線候補点抽出手段、１０４は白線候補線算出手段、１０５は道路パラメータ推定手段である。  
図１に示すように、車線認識装置１０は、画像メモリ１５に格納された道路Ｒの画像と、レーダ１７により取得した自車両１２の前方の立体物の配置に基いて道路パラメータを推定する、例えばマイクロプロセッサを使用したプロセッサ１６とを備えている。  
プロセッサ１６は、路面輝度測定手段１０１と、ウインドウ設定手段１０２と、白線候補点抽出手段１０３と、白線候補線算出手段１０４と、道路パラメータ推定手段１０５とを備えている。そして、これらの手段１０１〜１０５をプログラム制御により実現している。なお言うまでもなく、これらの手段１０１〜１０５は、プロセッサ１６が下記のフローチャート（図３、図４）に従って実行する制御機能を示している。  
路面輝度測定手段１０１は、レーダ１７から先行車両との車間距離情報を得て先行車両と自車両１２との間の路面輝度を測定する。ウインドウ設定手段１０２は、画像メモリ１５に格納された道路Ｒの画像上に、それぞれのウインドウに道路Ｒの白線が含まれるように該白線の延長方向に沿って複数のウインドウを設ける。白線候補点抽出手段１０３は、これらのウインドウ毎の画像を処理して白線候補点を抽出する。白線候補線算出手段１０４は、これらのウインドウ毎に抽出された白線候補点に基いて、白線の可能性が最も高い白線候補線の画像座標および傾きを算出する。道路パラメータ推定手段１０５は、これらの各ウインドウに対して算出された白線候補線の画像座標および傾きと道路モデル式とを用いて、少なくとも自車両１２の車線に対する横変位を含む道路パラメータを推定する。  
道路モデル式として、次に示す式１を用いて前述のように道路Ｒの形状および道路Ｒに対する自車両１２の姿勢を推定する。  
【０００９】
【数１】
2005157731.tif 000003
式１において、道路パラメータＡ，Ｂ，Ｃ，Ｄ，Ｈは、それぞれ、自車両１２の車線に対する横変位（Ａ）、道路曲率（Ｂ）、自車両１２の車線に対するヨー角（Ｃ）、自車両１２のピッチ角（Ｄ）、および道路Ｒの路面からのカメラ１４の高さ（Ｈ）である。  
また、Ｅ０は車線幅（左右の白線の内側間の距離）を示す定数、ｆはカメラ１４のカメラ透視変換定数、ｊは左右の白線を区別するパラメータとし、左白線のとき、ｊ＝０、右白線のときｊ＝１とする。また、（ｘ，ｙ）は、左白線または右白線内端上の任意の点の画像上の座標であり、画像左上を原点に取り、右方向がｘ軸正方向、下方向がｙ軸正方向とする。  
なお、式１は、道路モデルを表す一手法を示したものであり、例えば、Ｅ０を変数にしたもの、Ｈを固定したもの、車線幅を前述のように左右の白線の内側間の距離ではなく、左白線中央と右白線中央との間の距離とし、（ｘ，ｙ）を白線幅の中央位置の画像座標としても定義することができる。
【００１０】
図５（ａ）は、自車両と先行車両に対する本発明に係る路面輝度算出用ウインドウの設定位置関係を示す図、図５（ｂ）、図６は、画面に設定される路面輝度算出用ウインドウの配置を示す図である。図５（ａ）において、１８は道路上の白線、１９は路面、２３は先行車両、２４は路面輝度算出用ウインドウの設定位置、図５（ｂ）において、２５は道路補修跡、２６は路面輝度算出用ウインドウ、図６において、２７は路面１９上に描かれた文字である。  
図８は、画面に設定される複数のウインドウの配列状態を示す図であり、２０は白線認識用のウインドウである。  
図１０は、ウインドウ２０内の白線１８および道路補修跡の状態を示す図で、２５は道路補修跡である。  
図１２は、ウインドウ２０内の白線候補点のプロット状態を示す図であり、２０ａはウインドウ２０の上辺、２０ｂはウインドウ２０の下辺、２１は白線候補点である。  
図１４は、ウインドウ２０内の白線候補線の選択状態を示す図で、２２は白線候補線である。
【００１１】
図３および図４は、プロセッサ１６によって道路パラメータを推定するプログラムのフローチャートである。例えば、自車両１２の走行中に３０［ｍｓｅｃ］毎に処理が繰り返されるものとする。  
次に、図３の各ステップ毎の概略処理を説明する。  
まず、ステップＳ１において、図１のカメラ１４から画像メモリ１５へ自車両１２の前方画像を取り込む。  
次いで、ステップＳ２において、レーダ１７により先行車との相対車間距離を取得する。  
次いで、ステップＳ３において、先行車との相対車間距離を元にして、ステップＳ１において取り込んだ画像に路面輝度算出用のウインドウ２６（図５、図６参照）を設定する。  
次いで、ステップＳ４において、路面輝度算出用のウインドウ２６に基いて路面輝度を算出する。
【００１２】
次いで、ステップＳ５において、ステップＳ１において取り込んだ画像上に複数（ｍ個）の白線認識用のウインドウ２０（図８参照）を設定する。  
次いで、ステップＳ６において、ウインドウ処理番号ｉを初期値の１に設定する。  
次いで、ステップＳ７において、ｉ番目のウインドウ２０（以下、ウインドウｉと記す）の画像データから、水平方向の輝度変化を検出して白線１８の端部の位置を認識するための白線候補点２１（図１２参照）を抽出する。  
次いで、ステップＳ８において、ウインドウ２０内の白線候補点２１の座標位置に基いて、これらの白線候補点２１から最も白線１８の可能性が高い白線候補線２２（図１４参照）を算出する。  
次いで、ステップＳ９において、ウインドウ処理番号ｉを１だけ増加させる。  
次いで、ステップＳ１０において、ｉがウインドウ数（ｍ）を超えているか否かを判定する。  
ステップＳ１０の判定で、ｉがウインドウ数（ｍ）を超えていなければ、次のウインドウ２０を処理すべく、ステップＳ７へ戻る。  
ステップＳ１０の判定で、ｉがウインドウ数（ｍ）を超えていれば、全ウインドウの前処理が終わったので、ステップＳ２０において、道路パラメータの推定処理を行う。
【００１３】
以下、上記プログラムの処理を各ステップ毎にさらに詳細に説明する。  
（１）前方画像の取り込み（Ｓ１）
プロセッサ１６がプログラムを処理する所定時間毎、例えば３０［ｍｓｅｃ］毎に、カメラ１４によって撮像された自車両１２の前方の画像を画像メモリ１５へ取り込む。画像は各画素毎の輝度データとして表される。  
（２）先行車両２３との相対車間距離の取得（Ｓ２）
レーダ１７が一定の処理サイクル（例えば３０［ｍｓｅｃ］）毎に出力する先行車両２３との相対車間距離を取得する。  
（３）路面輝度算出用ウインドウ２６の設定（Ｓ３）
図５（ｂ）に示すように、画像メモリ１５に取り込まれた画像に路面輝度算出用ウインドウ２６を設定する。この路面輝度算出用ウインドウ２６は、上記（２）においてレーダ１７により先行車両２３の位置を取得し、図５（ａ）に示すように、先行車両２３より近傍で、かつ、前回算出した左右の白線１８の推定位置より内側になるように設定する。なお、この路面輝度算出用ウインドウ２６の最適な設定位置、大きさについては実験評価により求める。  
（４）路面輝度の算出（Ｓ４）
上記（３）で設定した路面輝度算出用ウインドウ２６から路面１９の輝度を算出する。図６に示すように、道路補修跡２５および路面１９上の（制限速度、矢印等の）文字２７などの路面１９以外の路面輝度に対する外乱要素が、設定したウインドウ２６内にある場合を考える。  
図７は、図６に示した路面輝度算出用ウインドウ２６内の輝度のヒストグラムの概略を示す図であり、輝度値を横軸に、その輝度値の発生頻度を縦軸にとってある。７１は道路補修跡２５によるピーク、７２は路面１９によるピーク、７３は文字２７によるピーク、７４は路面輝度算出用ウインドウ２６内の画像における輝度の平均値、７４は路面輝度算出用ウインドウ２６内の画像における輝度の最も頻度が高く出現する輝度値である最頻値である。  
この場合、輝度値を横軸に、その輝度値の発生頻度を縦軸にとったヒストグラムは図７に示すようになる。ここで、路面１９の輝度は、平均値７４もしくは最頻値７５で表せられる。このように路面輝度は、路面輝度算出用ウインドウ２６内のヒストグラムをとり、平均値７４もしくは最頻値７５を算出することにより導き出す。なお、輝度の最大値と最小値を除いた平均値を用いてもよい。
【００１４】
（５）複数の白線認識用ウインドウ２０の設定（Ｓ５）
図８に示すように、白線認識用ウインドウ２０は、道路Ｒの白線１８の延長方向に沿って複数（図５の例では、左白線に対して５個、右白線に対して５個）設けられる。前回の画像処理結果によって得られた道路モデルのパラメータにより、それぞれのウインドウ２０に白線１８が取り込まれるように、各ウインドウ２０の位置が設定され、白線１８はこれらのウインドウ２０内で検知される。図５において、縦方向は画像座標ｙ軸方向を示し、図中下方がｙプラスである。また、横方向は画像座標ｘ軸方向を示し、図中右方がｘプラスである。  
ここで、ｎ番目のウインドウ（ｉ＝ｎ）の上辺２０ａ（図６）のｙ座標をｙｎとし、前回のパラメータの推定結果を｛Ａ（−１），Ｂ（−１），Ｃ（−１），Ｄ（−１），Ｈ（−１）｝とすると、式１より今回のウインドウ２０の横方向の中心座標ｘｅｓｔは、式２で示される。  
【００１５】
【数２】
2005157731.tif 000004
ウインドウ２０のｘ方向の幅は固定値としてもよく、また、特開平８−２６１７５６号公報に示されるようにパラメータの分散から合理的に設定することもできる。
【００１６】
（６）ウインドウ処理番号ｉの初期化（Ｓ６）
ステップＳ４からステップＳ７までの処理を全てのウインドウ２０に対して行うためのループ制御パラメータ（すなわち、ウインドウ処理番号）ｉを１に初期化する。  
（７）白線候補点２１の抽出（Ｓ７）
カメラ１４から取り込まれた画像に上記のごとく設定された各白線認識用ウインドウ２０の範囲の画像からソーベル（ｓｏｂｅｌ）フィルタ処理などのエッジ検知（輝度変化検知）処理および輝度評価を利用して、白線候補点２１（図１２）を選択する。  
図９は、エッジ検出処理を説明するための図で、２８は画素（図中の四角はすべて画素）、２９は注目点である。  
このエッジ検知では、図９に示すように、注目点２９の左右の画素２８の輝度を比較し、右（画像座標のｘ値が大きい）の画素２８の輝度が左（画像座標のｘ値が小さい）の画素２８の輝度より大きい場合、フィルタの出力が正であるとする。また、輝度評価は、上記の（４）路面輝度の算出により求めた路面輝度を用いて輝度の判定を行う。  
図１１（ａ）、（ｂ）は、白線１８が満たすべき条件を説明する図で、図１１（ａ）では輝度値を縦軸にとり、（ｂ）ではエッジ強度値を縦軸にとり、（ａ）、（ｂ）ともにｘ値を横軸にとってある。  
今、図１０に示したような左側の白線１８を例に取って説明する。白線の条件は、図１１（ａ）、（ｂ）に示すように、
ａ）左端からスキャンを行っていって、右側にフィルタの出力が負のエッジ判別値を超えるエッジ点がある。ここでエッジ判別値は、カメラ１４の特性および実験評価より一意的に決定されるものを用いてもよいし、画像全体またはウインドウ毎の平均輝度、コントラスト等により、適宜設定されてもよい。  
ｂ）エッジ点の左側に路面輝度より高い輝度（白線１８と考えられる）を有する画素が所定幅以上ある。ここで、路面輝度より高い輝度とは、路面輝度にカメラ１４の特性および実験評価により一意的に決められた値を足したものをしきい値として判定を行う。また、ここで所定幅とは、実際の道路にあると想定される白線幅の最小値から最大値が、カメラ１４で撮像されたときに見える長さの範囲のことをいう。  
ｃ）路面輝度以上を有する画素の終端（左端）には、フィルタの出力が正のエソジ判別値を超えるエッジ点がある。  
これを順に評価してすべての条件を満たしたものを白線候補点２１とする。この作業を白線認識用ウインドウ２０内の全ての画像データに対して行う。これにより、図１２に示すような白線候補点２１が得られる。このように、条件ａ）、ｃ）だけでは道路補修跡２５を除去することは難しいが、条件ｂ）を足すことにより道路補修跡２５を容易に除去することができる。なお、右白線の場合は、上記の説明と逆にして適用するだけである。  
図１３は、白線１８と道路道路補修跡２５を有する道路におけるエッジ強度の変化を示す図で、３１はプラスエッジ、３２はマイナスエッジである。  
カメラ１４で白黒画像を撮像し、エッジ検出により白線１８を認識する場合、自車両１２から向かって左側の白線は、図１３に示すように、例えば左端からスキャンを行っていって、プラスエッジ３１、マイナスエッジ３２の領域があることによって認識している。向かって右側の白線も同様である。例えば２本の並行に近い道路補修跡２５は、左側からスキャンしていくと、白線１８の領域Ａと類似のプラスエッジ３１、マイナスエッジ３２で囲まれた領域Ａ′が存在するために、エッジ画像からだけでは真の白線と見分けがつきにくく、誤認識の可能性がある。本実施の形態では、路面輝度の平均値または最頻値を求め、この輝度よりも大きくて、エッジを有するものを白線１８と判断することで、この誤認識を防止するものである。なお、中心からスキャンを行うことも可能である。  
なお、このエッジ検知は、左右に隣接する画素の輝度の変化より白線候補点２１を抽出するようにしているが、取り込まれた画像のうち上下に隣接する画素の輝度の変化より白線候補点２１を抽出するようにしてもよい。ただし、この場合には、道路の側方に存在する白線１８以外にも、交差点等に存在する停止線からも白線候補点２１を抽出してしまうため、前者に記載した左右に隣接する画素の輝度変化より白線候補点２１を抽出することが好ましい。
【００１７】
（８）白線候補線２２の算出（Ｓ８）
白線認識用ウインドウ２０内から抽出された白線候補点２１の集合から白線候補線２２（図１４）を探索する。この探索には、ハフ変換や最小自乗法などを用いることができる。本実施形態ではハフ変換を用いるものとし、ハフ変換直線近似では図１４に示すようにウインドウ２０内を通過する直線のうち、最も多く白線候補点２１を貫いた白線候補線２２、つまり、白線候補点２１が一番多く載る白線候補線２２を、最も白線１８の可能性が高い白線候補線２２とする。  
このとき、座標（ｘ，ｙ）を通過する直線はパラメータａ，ｂを用いて次の式３として表すことができる。ここで、ａは白線候補線２２の傾き（∂ｘ／∂ｙ）であり、ｂはそのｘ切片である。  
【００１８】
【数３】
2005157731.tif 000005
図１５は、白線候補線２２を探索する際のハフ変換による配列表を示す図、図１６は、ハフ変換を配列要素で示す図である。  
すなわち、白線候補点２１の座標を（ｘ，ｙ）とすると、ａを決めるとｂが式３より計算でき、これにより図１５に示すハフ変換による配列が得られる。この配列の横方向は、一定刻みのａの値であり、縦方向は一定刻みのｂの値である。ここで、配列の空欄は零を意味する。また、「１」が立っている（ａ，ｂ）の組み合わせの中に真値が含まれる。この配列を白線候補点２１の全てに対してそれぞれ作成し、作成した配列を重ね合わせて、各配列要素毎の数を合計することにより図１６に示す配列が得られる。図１６において、配列要素（ａｒ，ｂｒ）の数ｚｒは、式４が貫く白線候補点２１の数を表している。  
【００１９】
【数４】
2005157731.tif 000006
したがって、白線候補点２１を最も多く貫く白線候補線２２が最も白線１８の可能性が高い白線候補線２２であり、そのａ，ｂを求めることが白線候補線２２を算出することになる。すなわち、配列要素の値として最大のｚを持つ配列要素（ａ，ｂ）が白線候補線２２を示すことになる。  
図１７は、ウインドウ２０の上辺２０ａと白線候補線２２との交点との道路座標を示す図である。  
こうして、白線候補線２２が算出されると、次いで、図１７に示すように、ウインドウ処理番号ｎにおける白線候補線２２とウインドウ２０の上辺２０ａとの交点の画像上の座標である道路座標（ｘｎ，ｙｎ）を算出する。ウインドウ２０の上辺２０ａのｙ座標ｙｎは、ウインドウ処理番号ｎに対する固定値である。道路座標のｘ成分ｘｎは、式５で算出される。  
【００２０】
【数５】
2005157731.tif 000007
（９）道路パラメータの推定（Ｓ２０）
前記の式１をｙで微分して式６を得る。  
【００２１】
【数６】
2005157731.tif 000008
そして、式１と式６からＡを消去すると、式７を得る。  
【００２２】
【数７】
2005157731.tif 000009
このとき、Ａは自車両１２の車線に対する横位置のパラメータであり、このＡを消去すると同時に、車線幅を表すＥ０も消去されることになる。つまり、道路幅がいかなるものであれ、式７が成立することになる。  
次に、カルマンフィルタを用いて道路パラメータを推定する場合、式８に示す方程式が与えられることにより、パラメータｚを推定することができる。ただし、同式中のパラメータｙｙの値およびｆの構造はそれぞれ既知とし、一般にｙｙはベクトルとなる。  
【００２３】
【数８】
2005157731.tif 000010
ここで、この式８に相当する観測方程式（仮称）は、前記式１が式９として成立する。  
【００２４】
【数９】
2005157731.tif 000011
この式９は、ｘ＝ｆｚ（Ａ，Ｂ，Ｃ，Ｄ，Ｈ）…（式９’）と表すこともできる。  
式９’は一般に複数列より構成され、これらを線型近似した上で並べることにより次の行列式１０が得られる。
【００２５】
【数１０】
2005157731.tif 000012
この行列式１０中、ｍは、１画面中に設定されたウインドウ２０の数である。この場合、ｚｎは、ｚｎ＝ｘｎとなる。
【００２６】
次に、図４を参照して、道路パラメータ推定処理のサブルーチンＰ３を説明する。  
図３にも示した道路パラメータの推定（Ｓ２０）から、まず、ステップＳ２１において、ウインドウ処理番号パラメータｉを１に初期化する。  
次いで、ステップＳ２２において、式１０のｚｉはｘｉとし、式９’の右辺を線形近似することにより、Ｍｉ１，Ｍｉ２，Ｍｉ３，Ｍｉ４，Ｍｉ５は、それぞれｙの値がｙｉにおけるｄｆｚ／ｄＡ，ｄｆｚ／ｄＢ，ｄｆｚ／ｄＣ，ｄｆｚ／ｄＤ，ｄｆｚ／ｄＨとする。  
次いで、ステップＳ２３において、ウインドウ処理番号ｉを１だけ増加させる。  
次いで、ステップＳ２４において、ウインドウ処理番号ｉがウインドウ数ｍを超えているか否かを判定する。
【００２７】
ステップＳ２４の判定で、ｉがウインドウ数ｍを超えていなければ、次のウインドウ２０を処理すべく、ステップＳ２２へ戻る。  
ステップＳ２４の判定で、ｉがウインドウ数ｍを超えていれば、ステップＳ２５において、カルマンフィルタ処理により、パラメータ（Ａ，Ｂ，Ｃ，Ｄ，Ｈ）を推定し、メインルーチンヘリターンする。
【００２８】
以上のように、本実施の形態による車線認識装置１０および車線認識方法は、自車両１２の前方を撮像するカメラ１４により撮像した画像内に路面輝度算出用ウインドウ２６を設定し、設定した路面輝度算出用ウインドウ２６内の画像における輝度の平均値または最頻値を路面輝度として算出する。そして、カメラ１４により撮像した画像から、前記算出した路面輝度よりも大きい輝度を有するエッジを抽出し、抽出したエッジに基いて白線１８を認識するという構成になっている。設定した路面輝度算出用ウインドウ２６内における輝度の平均値または最頻値は、道路補修前の（道路補修跡２５が無い）道路の路面輝度を示すものとなり、道路補修跡２５の輝度は、一般に道路補修前の路面輝度よりも小さく（暗く、黒く）なる。したがって、路面輝度の平均値または最頻値を求め、この輝度よりも大きくて、エッジを有するものを白線１８と判断することで、道路における道路補修跡２５による誤認識を防止することができる。例えば本発明を車線逸脱防止装置や車線逸脱警報装置に適用した場合には、道路補修跡２５を白線１８と誤認識してしまうと、車線逸脱を防止するためとして誤った操舵を行う可能性があり、車線幅を間違って認識することから誤ったタイミングで警報を出す可能性がある。本実施の形態では、上記のような白線と道路補修跡２５類似のエッジにはさまれた部分の輝度が、算出した路面輝度に近い場合は誤認識と判断し、上記のような誤認識を回避するものであり、車線逸脱の防止においては誤った操舵を行ったり、誤ったタイミングで警報を出す可能性を減少させることができる。
【００２９】
なお、本実施の形態では、路面輝度算出用ウインドウ２６を用いて路面輝度を算出するのは、例えば３０［ｍｓｅｃ］毎等、所定のサイクルごとに行う。したがって、その算出される路面輝度が自車両１２の走行に伴って最新値へと更新されていくことが前提である。例えば交差点の先頭に停止した場合などで前方に停止線がある場合や、カーブの手前にあるカーブ予告線を多く含むような場合に、路面輝度算出用ウインドウ２６が設定されてしまうと、このときの路面輝度を算出してしまう。したがって、この路面輝度を基準に白線１８の認識を行なうと、正確な認識ができないことが考えられる。このような場合は、路面輝度の算出を行なわないようにして、異常値が更新されることを防止する。具体的には例えば以下のような方法で行なう。  
（１）算出した基準となる路面輝度の平均値または最頻度が、過去の路面輝度の平均値±所定値の範囲外となる場合には、算出した基準となる路面輝度を用いず、前回の路面輝度値を用いる。  
（２）ＧＰＳ（Global  Positioning System）システムによるナビゲーションの地図情報により、交差点やカーブであることを検出した場合には、基準となる路面輝度の算出を行なわない。または、路面輝度の算出する間隔を長くする。  
（３）カメラ１４で撮像した画像より、パターンマッチングにより停止線やカーブ予告線が検出された場合には、基準となる路面輝度の算出を行なわない。  
このように、停止線やカーブ予告線等の白線による影響を排除した上で路面輝度を求めることにより、道路補修跡２５による誤認識をより確実に防止できる。  
また、前述のように、レーダ１７により先行車両２３の位置を取得し、図５（ａ）に示すように、先行車両２３より近傍で、かつ、前回算出した左右の白線１８の推定位置より内側になるように設定される路面輝度算出用ウインドウ２６は、該ウインドウ２６内に白線１８が検出された場合は、前回検出した白線１８を含まないように設定される。このように白線１８による影響を排除した上で路面輝度を求めることにより、道路補修跡２５による誤認識をより確実に防止できる。  
また、図１１のｂ）に示したように、路面輝度よりも大きい輝度を有するエッジを抽出するのに、該エッジの輝度が所定幅以上あるエッジを抽出する。また、図１１のｃ）、ａ）に示したように、抽出したエッジにおいて、輝度が正に変化した後、負に変化した場合に、白線１８と認識する。これらにより、白線１８を確実に認識し、道路補修跡２５による誤認識をより確実に防止できる。  
また、カメラ１４により撮像した画像内に複数の白線認識用のウインドウ２０を設定し、このウインドウ２０内のうち隣接する画素の輝度変化に基いて白線１８を認識する。さらに、カメラ１４により撮像した画像内のうち隣接する画素の輝度変化に基いて複数の白線候補点２１を抽出し、これらの白線候補点２１を直線で結ぶことにより白線１８を認識する。これらの構成により、容易かつ確実に白線１８を検出することができる。
【００３０】
なお、本実施の形態における図１、図２のカメラ１４および図３のステップＳ１が、特許請求の範囲の画像取得手段に相当する。本実施の形態における図１のプロセッサ１６および図３のステップＳ２、Ｓ３が、ウインドウ設定手段に相当する。本実施の形態における図１のプロセッサ１６、図１の路面輝度測定手段１０１および図３のステップＳ４が、路面輝度算出手段に相当する。本実施の形態における図１のプロセッサ１６、図１のウインドウ設定手段１０２、白線候補点抽出手段１０３および図３のステップＳ５〜Ｓ７が、エッジ抽出手段に相当する。本実施の形態における図１のプロセッサ１６、図１の白線候補線抽出手段１０４および図３のステップＳ８が、白線認識手段に相当する。  
さらに、以上説明した実施の形態は本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記実施の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施の形態の車線認識装置の基本的な構成を示すブロック図である。
【図２】本発明の実施の形態の車線認識装置を搭載した車両を示す図である。
【図３】本発明の実施の形態による画像処理プログラムを実行するためのフローチャートである。
【図４】本発明の実施の形態による画像処理プログラムにおける道路パラメータの推定サブルーチンを示すフローチャートである。
【図５】（ａ）は本発明の実施の形態において自車両と先行車両に対する路面輝度算出用ウインドウの設定位置関係を示す図、（ｂ）は画面に設定される路面輝度算出用ウインドウの配置を示す図である。
【図６】本発明の実施の形態において画面に設定される路面輝度算出用ウインドウの配置を示す図である。
【図７】図６の路面輝度算出用ウインドウ内部の輝度のヒストグラムの概略図である。
【図８】本発明の実施の形態において画面に設定される複数の白線認識用ウインドウの配列状態を示す図である。
【図９】本発明の実施の形態におけるエッジ検出処理の説明図である。
【図１０】本発明の実施の形態において設定される路面輝度算出用ウインドウ内の白線および道路補修跡の状態を示す図である。
【図１１】本発明の実施の形態において白線が満たすべき条件を説明する図である。
【図１２】本発明の実施の形態において設定されるウインドウ内の白線候補点のプロット状態を示す図である。
【図１３】本発明の実施の形態において白線と道路道路補修跡を有する道路におけるエッジ強度の変化を示す図である。
【図１４】本発明の実施の形態において設定されるウインドウ内の白線候補線の選択状態を示す図である。
【図１５】本発明の実施の形態において実行される白線候補線を探索する際のハフ変換による配列表を示す図である。
【図１６】本発明の実施の形態において実行されるハフ変換を配列要素で示す図である。
【図１７】本発明の実施の形態において設定されるウインドウの上辺と白線候補線との交点との道路座標を示す図である。
【符号の説明】
【００３２】
１０…車線認識装置            １２…自車両
１２ａ…室内天井              １２ｂ…フロントガラス
１４…カメラ                  １６…プロセッサ
１７…レーダ                    Ｒ…道路
１８…白線                    １９…路面
２０…ウインドウ
２０ａ…上辺                  ２０ｂ…下辺
２１…白線候補点              ２２…白線候補線
２３…先行車両                ２４…路面輝度算出用ウインドウの設定位置
２５…道路補修跡              ２６…路面輝度算出用ウインドウ
２７…文字
２８…画素                    ２９…注目点
３１…プラスエッジ            ３２…マイナスエッジ
１０１…路面輝度測定手段      １０２…ウインドウ設定手段
１０３…白線候補点抽出手段    １０４…白線候補線算出手段
１０５…道路パラメータ推定手段
【図１】
2005157731.tif 000013
【図２】
2005157731.tif 000014
【図３】
2005157731.tif 000015
【図４】
2005157731.tif 000016
【図５】
2005157731.tif 000017
【図６】
2005157731.tif 000018
【図７】
2005157731.tif 000019
【図８】
2005157731.tif 000020
【図９】
2005157731.tif 000021
【図１０】
2005157731.tif 000022
【図１１】
2005157731.tif 000023
【図１２】
2005157731.tif 000024
【図１３】
2005157731.tif 000025
【図１４】
2005157731.tif 000026
【図１５】
2005157731.tif 000027
【図１６】
2005157731.tif 000028
【図１７】
2005157731.tif 000029