(57)【要約】【課題】白線の認識精度を低下させることなく、白線を認識する機会を増加させる。【解決手段】自車両１２の前方を撮像するカメラ１４により撮像した画像のうち隣接する画素の輝度変化が第１の所定値以上である場合に、第１の白線候補点を抽出し、第１の白線候補点を含む直線のうち、第１の白線候補点が最も多く載る第１の白線候補線を抽出し、第１の白線候補線に含まれる第１の白線候補点の数が、所定値未満である場合に、第１の所定値よりも小さい第２の所定値を設定する。また、画像のうち隣接する画素の輝度変化が第２の所定値以上である場合に、第２の白線候補点を抽出し、第２の白線候補点を含む直線のうち、第２の白線候補点が最も多く載る第２の白線候補線を抽出する。そして、第２の白線候補線と同一の傾きを有する直線のうち、第１の白線候補点が最も多く載る直線を第３の白線候補線として抽出し、それを白線として認識する。【選択図】    図１
2005157723.tif 000002
【特許請求の範囲】
【請求項１】
自車両の前方を撮像する画像取得手段と、
前記画像取得手段により撮像した画像のうち隣接する画素の輝度変化が第１の所定値以上である場合に、第１の白線候補点を抽出する第１の白線候補点抽出手段と、
前記第１の白線候補点抽出手段により抽出した前記第１の白線候補点を含む直線のうち、前記第１の白線候補点が最も多く載る第１の白線候補線を抽出する第１の白線候補線抽出手段と、
前記第１の白線候補線抽出手段により抽出した前記第１の白線候補線に含まれる前記第１の白線候補点の数が、所定値未満である場合に、前記第１の所定値よりも小さい第２の所定値を設定する第２の所定値設定手段と、
前記画像のうち隣接する画素の輝度変化が前記第２の所定値設定手段により設定した前記第２の所定値以上である場合に、第２の白線候補点を抽出する第２の白線候補点抽出手段と、
前記第２の白線候補点抽出手段により抽出した前記第２の白線候補点を含む直線のうち、前記第２の白線候補点が最も多く載る第２の白線候補線を抽出する第２の白線候補線抽出手段と、
前記第２の白線候補線抽出手段により抽出した前記第２の白線候補線と、前記第１の白線候補点抽出手段により抽出した前記第１の白線候補点もしくは前記第１の白線候補線抽出手段により抽出した前記第１の白線候補線とに基いて第３の白線候補線を抽出する第３の白線候補線抽出手段と、
前記第３の白線候補線を白線として認識する白線認識手段と
を備えたことを特徴とする車線認識装置。
【請求項２】
前記第３の白線候補線抽出手段は、前記第２の白線候補線と同一の傾きを有する直線のうち、前記第１の白線候補点が最も多く載る直線を前記第３の白線候補線として抽出することを特徴とする請求項１記載の車線認識装置。
【請求項３】
前記第１の白線候補線抽出手段により抽出した前記第１の白線候補線を記憶する第１の白線候補線記憶手段を有し、
前記第３の白線候補線抽出手段は、前記第１の白線候補線記憶手段により記憶した前記第１の白線候補線と、前記第２の白線候補線抽出手段により抽出した前記第２の白線候補線とが一致するかどうかを判断し、一致した直線を前記第３の白線候補線として抽出することを特徴とする請求項１記載の車線認識装置。
【請求項４】
前記画像取得手段により撮像した前記画像内に複数のウインドウを設定し、前記ウインドウ内のうち隣接する画素の輝度変化に基いて前記第１の白線候補点、前記第２の白線候補点の少なくとも一方を検出することを特徴とする請求項１記載の車線認識装置。
【請求項５】
自車両の前方を撮像する画像取得工程と、
前記画像取得工程により撮像した画像のうち隣接する画素の輝度変化が第１の所定値以上である場合に、第１の白線候補点を抽出する第１の白線候補点抽出工程と、
前記第１の白線候補点抽出工程により抽出した前記第１の白線候補点を含む直線のうち、前記第１の白線候補点が最も多く載る第１の白線候補線を抽出する第１の白線候補線抽出工程と、
前記第１の白線候補線抽出工程により抽出した前記第１の白線候補線に含まれる前記第１の白線候補点の数が、所定値未満である場合に、前記第１の所定値よりも小さい第２の所定値を設定する第２の所定値設定工程と、
前記画像のうち隣接する画素の輝度変化が前記第２の所定値設定工程により設定した前記第２の所定値以上である場合に、第２の白線候補点を抽出する第２の白線候補点抽出工程と、
前記第２の白線候補点抽出工程により抽出した前記第２の白線候補点を含む直線のうち、前記第２の白線候補点が最も多く載る第２の白線候補線を抽出する第２の白線候補線抽出工程と、
前記第２の白線候補線抽出工程により抽出した前記第２の白線候補線と、前記第１の白線候補点抽出工程により抽出した前記第１の白線候補点もしくは前記第１の白線候補線抽出工程により抽出した前記第１の白線候補線とに基いて第３の白線候補線を抽出する第３の白線候補線抽出工程と、
前記第３の白線候補線を白線として認識する白線認識工程と
を有することを特徴とする車線認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両の前方の道路上の白線を検出して車線を認識する車線認識装置および車線認識方法に関するものである。
【背景技術】
【０００２】
従来、自車両に設けた電子式のカメラで撮像した画像から自車両が走行する道路上の白線を検出し、自車両の車線（走行路）を認識する技術が知られている。  
例えば下記特許文献１における従来技術では、カメラで撮像した画像内にウインドウを設定し、このウインドウ内の輝度変化に基いて複数の白線候補点を抽出し、この抽出された白線候補点を最も多く含む直線を白線として認識するようにしている。
【０００３】
【特許文献１】特開平７−７８２３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１における従来技術においては、上記抽出した白線候補点の数が所定値に満たない場合には、白線を認識できなかったと判断している。このため、白線を認識できる機会が少なくなってしまい、白線の認識精度が低いという問題点があった。
【０００５】
本発明は、白線の認識精度を低下させることなく、白線を認識する機会を増加することができる車線認識装置および車線認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、自車両の前方を撮像する画像取得手段により撮像した画像のうち隣接する画素の輝度変化が第１の所定値以上である場合に、第１の白線候補点を抽出する第１の白線候補点抽出手段と、抽出した第１の白線候補点を含む直線のうち、第１の白線候補点が最も多く載る第１の白線候補線を抽出する第１の白線候補線抽出手段と、抽出した第１の白線候補線に含まれる第１の白線候補点の数が、所定値未満である場合に、第１の所定値よりも小さい第２の所定値を設定する第２の所定値設定手段と、画像のうち隣接する画素の輝度変化が第２の所定値以上である場合に、第２の白線候補点を抽出する第２の白線候補点抽出手段と、抽出した第２の白線候補点を含む直線のうち、第２の白線候補点が最も多く載る第２の白線候補線を抽出する第２の白線候補線抽出手段と、第２の白線候補線と第１の白線候補点もしくは第１の白線候補線とに基いて第３の白線候補線を抽出する第３の白線候補線抽出手段と、第３の白線候補線を白線として認識する白線認識手段とを備えている。
【発明の効果】
【０００７】
本発明によれば、白線の認識精度を低下させることなく、白線を認識する機会を増加させることができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態を添付図面を参照して詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。  
図２は、本発明の実施の形態の車線認識装置を搭載した車両を示す図、図１は、本実施の形態の車線認識装置の基本的な構成を示すブロック図である。  
図２において、１２は自車両、１０は本実施の形態の車線認識装置（道路白線認識装置）、１４は電子式のカメラ、１６は車線認識装置１０の主要部を構成するプロセッサ、１２ａは自車両１２の室内天井、１２ｂは自車両１２のフロントガラス、Ｒは道路である。  
図２に示すように、自車両１２の前方の道路画像を取得するカメラ１４と、カメラ１４で取得した画像信号（以下、単に画像と記す）を処理するプロセッサ１６が自車両１２に設置されている。カメラ１４としては、高感度撮像が可能なＣＣＤ（Charge Coupled Device）カメラまたはＣＭＯＳ（Complementaly Metal-Oxide Semiconductor）カメラなどが好ましい。カメラ１４は、自車両１２の室内天井１２ａの前方中央部に前方下方を指向して設置され、フロントガラス１２ｂを通して自車両１２前方の道路Ｒの画像を取得する。プロセッサ１６は、熱や風雨の影響のない自車両１２の適宜の箇所に設置され、カメラ１４で取得した道路Ｒの画像から道路Ｒの白線を認識し、道路Ｒの形状および道路Ｒに対する自車両１２の姿勢を推定する制御が実行される。
【０００９】
図１において、１５は自車両１２に搭載したカメラ１４により取得した自車両１２の前方の道路Ｒの画像を格納する画像メモリ、１０１はウインドウ設定手段、１０２は白線候補点抽出手段、１０３は白線候補線算出手段、１０４は白線候補点再抽出手段、１０５は白線候補線再算出手段、１０６は道路パラメータ推定手段である。  
図１に示すように、車線認識装置１０は、画像メモリ１５に格納された道路Ｒの画像に基いて道路パラメータを推定する、例えばマイクロプロセッサを使用したプロセッサ１６とを備えている。  
プロセッサ１６は、ウインドウ設定手段１０１と、白線候補点抽出手段１０２と、白線候補線算出手段１０３と、白線候補点再抽出手段１０４と、白線候補線再算出手段１０５と、道路パラメータ推定手段１０６とを備えている。そして、これらの手段１０１〜１０６をプログラム制御により実現している。なお言うまでもなく、これらの手段１０１〜１０６は、プロセッサ１６が下記のフローチャート（図３、図４）に従って実行する制御機能を示している。  
ウインドウ設定手段１０１は、画像メモリ１５に格納された道路Ｒの画像上に、それぞれのウインドウに道路Ｒの白線が含まれるように白線の延長方向に沿って複数のウインドウを設ける。白線候補点抽出手段１０２は、これらのウインドウ毎の画像を処理して白線候補点を抽出する。白線候補線算出手段１０３は、これらのウインドウ毎に抽出された白線候補点に基いて、白線の可能性が最も高い白線候補線の画像座標および傾きを算出する。白線候補点再抽出手段１０４は、これらのウインドウ毎の画像を処理して白線候補点を再抽出する。白線候補線再算出手段１０５は、ウインドウ毎に抽出された白線候補点に基いて白線の可能性が最も高い白線候補線の画像座標および傾きを再算出する。道路パラメータ推定手段１０６は、各ウインドウに対して算出された白線候補線の画像座標および傾きと道路モデル式とを用いて、少なくとも自車両１２の車線に対する横変位を含む道路パラメータを推定する。  
道路モデル式として、次に示す式１を用いて前述のように道路Ｒの形状および道路Ｒに対する自車両１２の姿勢を推定する。  
【００１０】
【数１】
2005157723.tif 000003
式１において、道路パラメータＡ，Ｂ，Ｃ，Ｄ，Ｈは、それぞれ、自車両１２の車線に対する横変位（Ａ）、道路曲率（Ｂ）、自車両１２の車線に対するヨー角（Ｃ）、自車両１２のピッチ角（Ｄ）、および道路Ｒの路面からのカメラ１４の高さ（Ｈ）である。  
また、Ｅ０は車線幅（左右の白線の内側間の距離）を示す定数、ｆはカメラ１４のカメラ透視変換定数、ｊは左右の白線を区別するパラメータとし、左白線のとき、ｊ＝０、右白線のときｊ＝１とする。また、（ｘ，ｙ）は、左白線または右白線内端上の任意の点の画像上の座標であり、画像左上を原点に取り、右方向がｘ軸正方向、下方向がｙ軸正方向とする。  
なお、式１は、道路モデルを表す一手法を示したものであり、例えば、Ｅ０を変数にしたもの、Ｈを固定したもの、車線幅を前述のように左右の白線の内側間の距離ではなく、左白線中央と右白線中央との間の距離とし、（ｘ，ｙ）を白線幅の中央位置の画像座標としても定義することができる。
【００１１】
図５は、画面に設定される複数のウインドウの配列状態を示す図であり、１８は道路の白線、２０はウインドウである。  
図６は、ウインドウ２０内の白線候補点のプロット状態を示す図であり、２０ａはウインドウ２０の上辺、２０ｂはウインドウ２０の下辺、２１は白線候補点である。  
図７は、ウインドウ２０内の白線候補線の選択状態を示す図で、２２は白線候補線である。
【００１２】
図３および図４は、プロセッサ１６によって道路パラメータを推定するプログラムのフローチャートである。例えば、自車両１２の走行中に３０［ｍｓｅｃ］毎に処理が繰り返されるものとする。  
次に、図３の各ステップ毎の概略処理を説明する。  
まず、ステップＳ１において、図１のカメラ１４から画像メモリ１５へ自車両１２の前方画像を取り込む。  
次いで、ステップＳ２において、取り込んだ画像上に複数（ｍ個）の白線検出用のウインドウ２０（図５参照）を設定する。  
次いで、ステップＳ３において、ウインドウ処理番号ｉを初期値の１に設定する。  
次いで、ステップＳ４において、ｉ番目のウインドウ２０（以下、ウインドウｉと記す）の画像データから、水平方向の輝度変化を検出して白線１８の端部の位置を認識するための白線候補点２１（図６参照）を抽出する。  
次いで、ステップＳ５において、ウインドウ２０内の白線候補点２１の座標位置に基いて、これらの白線候補点２１から最も白線１８の可能性が高い白線候補線２２（図７参照）を算出する。  
次いで、ステップＳ６において、白線１８が検出されたかどうかを判定する。  
ステップＳ６の判定で、白線１８が検出された場合は、ステップＳ９へ進む。  ステップＳ６の判定で、白線１８が検出されていない場合は、ステップＳ７において、ウインドウｉの画像データから、水平方向の輝度変化を検出して白線１８の端部の位置を認識するための白線候補点２１（図６参照）を再抽出する。  
次いで、ステップＳ８において、ウインドウ２０内の白線候補点２１の座標位置に基いて、これらの白線候補点２１から最も白線１８の可能性が高い白線候補線２２（図７参照）を再算出する。  
次いで、ステップＳ９において、ウインドウ処理番号ｉを１だけ増加させる。  
次いで、ステップＳ１０において、ｉがウインドウ数（ｍ）を超えているか否かを判定する。  
ステップＳ１０の判定で、ｉがウインドウ数（ｍ）を超えていなければ、次のウインドウ２０を処理すべく、ステップＳ４へ戻る。  
ステップＳ１０の判定で、ｉがウインドウ数（ｍ）を超えていれば、全ウインドウの前処理が終わったので、ステップＳ２０において、道路パラメータの推定処理を行う。
【００１３】
以下、上記プログラムの処理を各ステップ毎にさらに詳細に説明する。  
（１）前方画像の取り込み（Ｓ１）
プロセッサ１６がプログラムを処理する所定時間毎、例えば３０［ｍｓｅｃ］毎に、カメラ１４によって撮像された自車両１２の前方の画像を画像メモリ１５へ取り込む。画像は各画素毎の輝度データとして表される。  
（２）複数のウインドウ２０の設定（Ｓ２）
図５に示すように、ウインドウ２０は、道路Ｒの白線１８の延長方向に沿って複数（図５の例では、左白線に対して５個、右白線に対して５個）設けられる。前回の画像処理結果によって得られた道路モデルのパラメータにより、それぞれのウインドウ２０に白線１８が取り込まれるように、各ウインドウ２０の位置が設定され、白線１８はこれらのウインドウ２０内で検知される。図５において、縦方向は画像座標ｙ軸方向を示し、図中下方がｙプラスである。また、横方向は画像座標ｘ軸方向を示し、図中右方がｘプラスである。  
ここで、ｎ番目のウインドウ（ｉ＝ｎ）の上辺２０ａ（図６）のｙ座標をｙｎとし、前回のパラメータの推定結果を｛Ａ（−１），Ｂ（−１），Ｃ（−１），Ｄ（−１），Ｈ（−１）｝とすると、式１より今回のウインドウ２０の横方向の中心座標ｘｅｓｔは、式２で示される。  
【００１４】
【数２】
2005157723.tif 000004
ウインドウ２０のｘ方向の幅は固定値としてもよく、また、特開平８−２６１７５６号公報に示されるようにパラメータの分散から合理的に設定することもできる。
【００１５】
（３）ウインドウ処理番号ｉの初期化（Ｓ３）
ステップＳ４からステップＳ７までの処理を全てのウインドウ２０に対して行うためのループ制御パラメータ（すなわち、ウインドウ処理番号）ｉを１に初期化する。  
（４）白線候補点２１の抽出（Ｓ４）
カメラ１４から取り込まれた画像に上記のごとく設定された各ウインドウ２０の範囲の画像からソーベル（ｓｏｂｅｌ）フィルタ処理などのエッジ検知（輝度変化検知）処理を利用して、白線候補点２１（図６）を選択する。このエッジ検知では、図６に示すように左（画像座標のｘ値が小さい）の画素の輝度が右（画像座標のｘ値が大きい）の画素の輝度より大きい場合、フィルタの出力が正であるとする。そして、ある程度の幅を有する白線１８の内側端部を白線１８の位置としているので、左白線の場合は、フィルタの出力が正の判別値を超えた点を白線候補点２１とし、右白線の場合は、フィルタの出力が負の判別値を下回った点を白線候補点２１とする。ウインドウ２０内の全ての画像データを走査してフィルタの出力により、上記の判別値を利用して白線候補点２１を抽出する。なお、上記判別値は、画像全体またはウインドウ２０毎の平均輝度、コントラスト等により、適宜設定されてもよい。  
なお、このエッジ検知は、左右に隣接する画素の輝度の変化より白線候補点２１を抽出するようにしているが、取り込まれた画像のうち上下に隣接する画素の輝度の変化より白線候補点２１を抽出するようにしてもよい。ただし、この場合には、道路の側方に存在する白線１８以外にも、交差点等に存在する停止線からも白線候補点２１を抽出してしまうため、前者に記載した左右に隣接する画素の輝度変化より白線候補点２１を抽出することが好ましい。
【００１６】
（５）白線候補線２２の算出（Ｓ５）
ウインドウ２０内から抽出された白線候補点２１の集合から白線候補線２２（図７）を探索する。この探索には、ハフ変換や最小自乗法などを用いることができる。本実施形態ではハフ変換を用いるものとし、ハフ変換直線近似では図７に示すようにウインドウ２０内を通過する直線のうち、最も多く白線候補点２１を貫いた白線候補線２２、つまり、白線候補点２１が一番多く載る白線候補線２２を、最も白線１８の可能性が高い白線候補線２２とする。  
このとき、座標（ｘ，ｙ）を通過する直線はパラメータａ，ｂを用いて次の式３として表すことができる。ここで、ａは白線候補線２２の傾き（∂ｘ／∂ｙ）であり、ｂはそのｘ切片である。  
【００１７】
【数３】
2005157723.tif 000005
図８は、白線候補線２２を探索する際のハフ変換による配列表を示す図、図９は、ハフ変換を配列要素で示す図である。  
すなわち、白線候補点２１の座標を（ｘ，ｙ）とすると、ａを決めるとｂが式３より計算でき、これにより図８に示すハフ変換による配列が得られる。この配列の横方向は、一定刻みのａの値であり、縦方向は一定刻みのｂの値である。ここで、配列の空欄は零を意味する。また、「１」が立っている（ａ，ｂ）の組み合わせの中に真値が含まれる。この配列を白線候補点２１の全てに対してそれぞれ作成し、作成した配列を重ね合わせて、各配列要素毎の数を合計することにより図９に示す配列が得られる。図９において、配列要素（ａｒ，ｂｒ）の数ｚｒは、式４が貫く白線候補点２１の数を表している。  
【００１８】
【数４】
2005157723.tif 000006
したがって、白線候補点２１を最も多く貫く白線候補線２２が最も白線１８の可能性が高い白線候補線２２であり、そのａ，ｂを求めることが白線候補線２２を算出することになる。すなわち、配列要素の値として最大のｚ（以下、ｚｍａｘと記す）を持つ配列要素（ａ，ｂ）が白線候補線２２を示すことになる。ｚｍａｘは、続く（６）白線１８の検出判定にて使用する。  
図１０は、ウインドウ２０の上辺２０ａと白線候補線２２との交点との道路座標を示す図である。  
こうして、白線候補線２２が算出されると、次いで、図１０に示すように、ウインドウ処理番号ｎにおける白線候補線２２とウインドウ２０の上辺２０ａとの交点の画像上の座標である道路座標（ｘｎ，ｙｎ）を算出する。ウインドウ２０の上辺２０ａのｙ座標ｙｎは、ウインドウ処理番号ｎに対する固定値である。道路座標のｘ成分ｘｎは、式５で算出される。  
【００１９】
【数５】
2005157723.tif 000007
図１１は、ウインドウ２０内のかすれた白線１８’の場合の第１の判別値による白線候補点２１のプロット状態を示す図、図１２は、ウインドウ２０内のかすれた白線１８’の場合の第２の判別値による白線候補点２１のプロット状態を示す図である。  
（６）白線１８の検出判定（Ｓ６）
ｚｍａｘは、上記で算出された白線候補線２２がハフ変換において白線候補点２１を何点貫いているかを表しているが、このｚｍａｘが所定値に満たない場合は、白線１８を検出していない可能性が高い。例えば、今回、問題にしている図１１のようなかすれた白線１８’もそうであるが、路面の局所的汚れを誤検出している可能性がある。よって、このｚｍａｘは所定値以上を持つものを白線１８とすべきである。この所定値は、設定しているウインドウ２０の大きさ、カメラ１４の特性をもとに実験値で設定するものである。よって、ｚｍａｘが所定値に達していない場合は、このウインドウｉでは白線を検出していないとする。  
（７）白線候補点２１の再抽出（Ｓ７）
上記（６）白線１８の検出判定で、白線１８が検出できなかったウインドウｉに対して再抽出を行う。使用する画像は同じ画像を用いる。この抽出の際に、上記（４）白線候補点２１の抽出で用いた第１の判別値より低い第２の判別値を用いて、上記（４）白線候補点２１の抽出と同様なエッジ検知（輝度変化検知）処理により白線候補点２１の再抽出を行う。白線１８を対象とした場合は、図１２のような白線候補点２１’が再抽出される。なお、上記第２の判別値は、実験により最適な値を選定する。  
（８）白線候補線２２の再算出（Ｓ８）
ウインドウ２０内から抽出された白線候補点２１および白線候補点２１’の集合から白線候補線２２を探索する。ハフ変換直線近似は、前述したのと同様な方法をとる。手順としては、
ａ）白線候補点２１’に対してハフ変換直線近似を適用し、白線候補点２１’を最も多く貫く仮白線候補線を算出する。  
ｂ）得られた仮白線候補線の傾きを用いて白線候補点２１を最も多く貫く白線候補線２２を算出する。そして、この白線候補線２２を白線１８として認識する。この場合、最も多く白線候補点２１を貫いた候補点数は、上記の（６）白線１８の検出判定で用いた所定値より少ない値でも白線を検出しているとするが、候補点数が所定以下の場合は白線１８を検出できなかったと処理する。
【００２０】
（９）道路パラメータの推定（Ｓ２０）
前記の式１をｙで微分して式６を得る。  
【００２１】
【数６】
2005157723.tif 000008
そして、式１と式６からＡを消去すると、式７を得る。  
【００２２】
【数７】
2005157723.tif 000009
このとき、Ａは自車両１２の車線に対する横位置のパラメータであり、このＡを消去すると同時に、車線幅を表すＥ０も消去されることになる。つまり、道路幅がいかなるものであれ、式７が成立することになる。  
次に、カルマンフィルタを用いて道路パラメータを推定する場合、式８に示す方程式が与えられることにより、パラメータｚを推定することができる。ただし、同式中のパラメータｙｙの値およびｆの構造はそれぞれ既知とし、一般にｙｙはベクトルとなる。  
【００２３】
【数８】
2005157723.tif 000010
ここで、この式８に相当する観測方程式（仮称）は、前記式１が式９として成立する。  
【００２４】
【数９】
2005157723.tif 000011
この式９は、ｘ＝ｆｚ（Ａ，Ｂ，Ｃ，Ｄ，Ｈ）…（式９’）と表すこともできる。  
式９’は一般に複数列より構成され、これらを線型近似した上で並べることにより次の行列式１０が得られる。
【００２５】
【数１０】
2005157723.tif 000012
この行列式１０中、ｍは、１画面中に設定されたウインドウ２０の数である。この場合、ｚｎは、ｚｎ＝ｘｎとなる。
【００２６】
次に、図４を参照して、道路パラメータ推定処理のサブルーチンＰ３を説明する。  
図３にも示した道路パラメータの推定（Ｓ２０）から、まず、ステップＳ２１において、ウインドウ処理番号パラメータｉを１に初期化する。  
次いで、ステップＳ２２において、式１０のｚｉはｘｉとし、式９’の右辺を線形近似することにより、Ｍｉ１，Ｍｉ２，Ｍｉ３，Ｍｉ４，Ｍｉ５は、それぞれｙの値がｙｉにおけるｄｆｚ／ｄＡ，ｄｆｚ／ｄＢ，ｄｆｚ／ｄＣ，ｄｆｚ／ｄＤ，ｄｆｚ／ｄＨとする。  
次いで、ステップＳ２３において、ウインドウ処理番号ｉを１だけ増加させる。  
次いで、ステップＳ２４において、ウインドウ処理番号ｉがウインドウ数ｍを超えているか否かを判定する。
【００２７】
ステップＳ２４の判定で、ｉがウインドウ数ｍを超えていなければ、次のウインドウ２０を処理すべく、ステップＳ２２へ戻る。  
ステップＳ２４の判定で、ｉがウインドウ数ｍを超えていれば、ステップＳ２５において、カルマンフィルタ処理により、パラメータ（Ａ，Ｂ，Ｃ，Ｄ，Ｈ）を推定し、メインルーチンヘリターンする。
【００２８】
以上説明したように、本実施の形態による車線認識装置１０および車線認識方法は、自車両１２の前方を撮像するカメラ１４により撮像した画像の輝度変化が第１の所定値（上記第１の判別値）以上である場合に、第１の白線候補点２１を抽出する。また、抽出した第１の白線候補点２１を含む直線のうち、第１の白線候補点２１が最も多く載る第１の白線候補線（図７の２２参照）を抽出する。また、抽出した第１の白線候補線に含まれる第１の白線候補点２１の数が、所定値未満である場合に、第１の所定値よりも小さい第２の所定値（上記第２の判別値）を設定する。また、画像の輝度変化が第２の所定値以上である場合に、第２の白線候補点２１’を抽出する。また、抽出した第２の白線候補点２１’を含む直線のうち、第２の白線候補点２１’が最も多く載る第２の白線候補線を抽出する。また、第２の白線候補線と第１の白線候補点２１とに基いて第３の白線候補線を抽出する。そして、第３の白線候補線を白線１８として認識するという構成になっている。また、本実施の形態では、第２の白線候補線と同一の傾きを有する直線のうち、第１の白線候補点２１が最も多く載る直線を第３の白線候補線として抽出するようにした。  
例えば白黒画像をカメラ１４で撮像し、エッジ検出により白線１８を認識する場合、前述のようにかすれた白線１８’の場合、部分的には輝度差が十分にあっても、白線１８として認識するだけの白線候補点２１の数が足りないために、白線１８の認識ができない場合がある。また、コンクリート路面に引かれた白線のような路面と白線１８と輝度差の少ない路面においても同様である。このような場合、白線１８の認識率の低下を招く。また、本発明を、認識した白線１８に基いて、車両を２つの白線１８間より逸脱させないようにする装置に対して適用する場合には、道路の一部で車線認識システムが動作しないところがあると、白線１８を再認識できた地点で車線認識システムの設定操作が必要になり、煩雑となる。
【００２９】
本実施の形態では、上記のように最初に抽出した第１の白線候補点２１の数が所定値に満たない場合には、輝度変化のしきい値である第１の所定値を一旦低下させた上で第２の白線候補点２１’を抽出する。そして、その上で第２の白線候補線の傾きを算出する。この第２の白線候補線の傾きに対して、高いしきい値である第１の所定値で抽出した第１の白線候補点２１を含む第３の白線候補線を抽出し、これを白線１８として認識する。このように通常のしきい値で白線候補点２１の数が足りず、白線１８が検出できなかった場合、濃淡の度合いが低い白線と判断し、通常のしきい値とそれより低いしきい値の２種類のしきい値を設定する。低いしきい値でのハフ変換では白線の方向性を決定し、通常のしきい値のハフ変換では、低い設定でのハフ変換の方向を用いて白線１８の境界線を探す。これによって、白線１８の認識精度を低下させることなく、白線１８を認識できる機会を増加できる。なお、かすれた白線１８’以外の場合は、しきい値を低くしても路面輝度のばらつきなどノイズ要素が増えるだけで低いしきい値により見つけた第２の白線候補線の方向に通常のしきい値によるハフ変換が所定の条件を満たすとは考えにくい。よって、かすれた白線１８’のみを安定して検出することが可能となり、白線１８の認識率が上昇し、より多くの道路に対して車線からの逸脱を防止することが可能となる。また、道路の一部で車線認識システムが動作しない部分が減り、利用者の無駄な操作を減らすことができる。  
なお、最初に抽出した第１の白線候補点２１の数が所定値未満である第１の白線候補線と、再度抽出した第２の白線候補線とは、基本的には同一のものとなる。これはかすれた白線１８’のような場合には、しきい値を下げていくと、抽出できる白線候補点２１’は、その白線１８’上に増えていくことになる。したがって、一旦しきい値を下げることで、白線候補点２１’を増加させて、第２の白線候補線の傾きを確認する。その上で再度、数は少ないかもしれないが、第２の白線候補線上に当初のしきい値で白線候補点２１を抽出できたかどうかという確認を行う。この結果、両者が満たされれば、当初抽出した第１の白線候補線を、白線候補点２１の数が本来の数より少ないが白線１８と認めても良いだろうという判断を行なうものである。  
さらに、カメラ１４により撮像した画像内に複数のウインドウ２０を設定し、ウインドウ２０内の輝度変化に基いて第１の白線候補点２１、第２の白線候補点２１’を検出するようになっている。このような構成により、白線１８を容易かつ良好に検出することができる。
【００３０】
なお、本実施の形態においては、第２の白線候補線と同一の傾きを有する直線のうち、第１の白線候補点２１が最も多く載る直線を第３の白線候補線として抽出したが、他の構成を取ることも可能である。すなわち、抽出した第１の白線候補線を記憶装置に記憶しておいて、この記憶した第１の白線候補線と、抽出した第２の白線候補線とが一致するかどうかを判断する。一致した場合に、この一致した直線を第３の白線候補線として抽出し、この第３の白線候補線を白線１８として認識するという構成である。記憶装置は例えばプロセッサ１６内に設けられている。  
なお、本実施の形態における図１、図２のカメラ１４、図３のステップＳ１が、特許請求の範囲の画像取得手段に相当する。本実施の形態における図１のプロセッサ１６、図１の白線候補点抽出手段１０２、図３のステップＳ４が、特許請求の範囲の第１の白線候補点抽出手段に相当する。本実施の形態における図１のプロセッサ１６、図１の白線候補線算出手段１０３、図３のステップＳ５が、特許請求の範囲の第１の白線候補線抽出手段に相当する。本実施の形態における図１のプロセッサ１６、図３のステップＳ６が、特許請求の範囲の第２の所定値設定手段に相当する。本実施の形態における図１のプロセッサ１６、図１の白線候補線点再抽出手段１０４、図３のステップＳ７が、特許請求の範囲の第２の白線候補点抽出手段に相当する。本実施の形態における図１のプロセッサ１６、図１の白線候補線再算出手段１０５、図３のステップＳ８が、特許請求の範囲の第２の白線候補線抽出手段に相当する。本実施の形態における図１のプロセッサ１６、図３のステップＳ８の手順ａ）とｂ）が、特許請求の範囲の第３の白線候補線抽出手段に相当する。ｂ）の仮白線候補線の傾きを用いて白線候補点２１を最も多く貫く白線候補線２２が、特許請求の範囲の第３の白線候補線に相当する。本実施の形態における図１のプロセッサ１６、図３のステップＳ８が、特許請求の範囲の白線認識手段に相当する。  
さらに、以上説明した実施の形態は本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記実施の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施の形態の車線認識装置の基本的な構成を示すブロック図である。
【図２】本発明の実施の形態の車線認識装置を搭載した車両を示す図である。
【図３】本発明の実施の形態による画像処理プログラムを実行するためのフローチャートである。
【図４】本発明の実施の形態による画像処理プログラムにおける道路パラメータの推定サブルーチンを示すフローチャートである。
【図５】本発明の実施の形態において画面に設定される複数のウインドウの配列状態を示す図である。
【図６】本発明の実施の形態において設定されるウインドウ内の白線候補点のプロット状態を示す図である。
【図７】本発明の実施の形態において設定されるウインドウ内の白線候補線の選択状態を示す図である。
【図８】本発明の実施の形態において実行される白線候補線を探索する際のハフ変換による配列表を示す図である。
【図９】本発明の実施の形態において実行されるハフ変換を配列要素で示す図である。
【図１０】本発明の実施の形態において設定されるウインドウの上辺と白線候補線との交点との道路座標を示す図である。
【図１１】本発明の実施の形態において設定されるウインドウ内のかすれた白線の場合の第１の判別値による白線候補点のプロット状態を示す図である。
【図１２】本発明の実施の形態において設定されるウインドウ内のかすれた白線の場合の第２の判別値による白線候補点のプロット状態を示す図である。
【符号の説明】
【００３２】
１０…車線認識装置                  １２…自車両
１２ａ…室内天井                    １２ｂ…フロントガラス
１４…カメラ                      １６…プロセッサ
Ｒ…道路
１８…白線                        ２０…ウインドウ
２０ａ…上辺                      ２０ｂ…下辺
２１…白線候補点                  ２２…白線候補線
１０１…ウインドウ設定手段        １０２…白線候補点抽出手段
１０３…白線候補線算出手段        １０４…白線候補点再抽出手段
１０５…白線候補線再算出手段      １０６…道路パラメータ推定手段
【図１】
2005157723.tif 000013
【図２】
2005157723.tif 000014
【図３】
2005157723.tif 000015
【図４】
2005157723.tif 000016
【図５】
2005157723.tif 000017
【図６】
2005157723.tif 000018
【図７】
2005157723.tif 000019
【図８】
2005157723.tif 000020
【図９】
2005157723.tif 000021
【図１０】
2005157723.tif 000022
【図１１】
2005157723.tif 000023
【図１２】
2005157723.tif 000024