(57)【要約】【課題】  複数のカメラによるレーン認識装置に関し、道路白線情報に基づいて、適切な把握が可能な道路状況と適切な把握が困難な道路状況とを区別して、適切な把握が可能な道路状況についてのみ把握することができるようにする。【解決手段】  道路白線認識手段２により認識された、左カメラ１Ｌの撮影画像に基づく左側道路白線の位置，左カメラ１Ｌの撮影画像に基づく右側道路白線の位置，右カメラ１Ｒの撮影画像に基づく左側道路白線の位置，右１Ｒカメラの撮影画像に基づく右側道路白線の位置、の各情報の認識状況に応じて、走行レーンの特徴を示すパラメータ値を算出するか否かを判定し、パラメータ値の算出が可の場合だけ該算出を実施する演算手段３を設けるように構成する。【選択図】        図１
2005301892.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され該車両の走行するレーンを撮影する左カメラ及び右カメラを含む複数のカメラからなるカメラ装置と、
該走行レーンを規定する左側道路白線及び右側道路白線の位置を、上記の左カメラ及び右カメラの撮影画像からそれぞれ認識しうる道路白線認識手段と、
該道路白線認識手段による、該左カメラの撮影画像に基づく該左側道路白線の位置，該左カメラの撮影画像に基づく該右側道路白線の位置，該右カメラの撮影画像に基づく該左側道路白線の位置，該右カメラの撮影画像に基づく該右側道路白線の位置、の各情報の認識状況に応じて、該走行レーンの特徴を示すパラメータ値を算出するか否かを判定し、該パラメータ値の算出が可の場合だけ該算出を実施する演算手段とをそなえている
ことを特徴とする、複数のカメラによるレーン認識装置。
【請求項２】
該走行レーンの特徴を示すパラメータ値は、該走行レーンの曲率と、該走行レーンのレーン幅と、該走行レーンを構成する路面のピッチ角のうち少なくとも何れかである
ことを特徴とする、請求項１記載の複数のカメラによるレーン認識装置。
【請求項３】
該演算手段は、該左カメラの撮影画像に基づく該左側道路白線の位置，該左カメラの撮影画像に基づく該右側道路白線の位置，該右カメラの撮影画像に基づく該左側道路白線の位置，該右カメラの撮影画像に基づく該右側道路白線の位置、の各情報のうちの少なくとも何れか１つが得られれば、この得られた道路白線の位置情報に基づいて該走行レーンの曲率を算出する
ことを特徴とする、請求項２記載の複数のカメラによるレーン認識装置。
【請求項４】
該演算手段は、該左カメラ及び該右カメラのうちの何れか１つのカメラの撮影画像に基づいて、該左側道路白線及び該右側道路白線の両白線に関する位置情報が得られれば、この得られた位置情報に基づいて該路面のピッチ角を算出する
ことを特徴とする、請求項２又は３記載の複数のカメラによるレーン認識装置。
【請求項５】
該左カメラと該右カメラとが撮影軸心線を平行に配置され、
該演算手段は、該左カメラの撮影画像に基づく該左側道路白線の位置，該左カメラの撮影画像に基づく該右側道路白線の位置，該右カメラの撮影画像に基づく該左側道路白線の位置，該右カメラの撮影画像に基づく該右側道路白線の位置、の各情報のうちの少なくとも何れか２つが得られれば、この得られた位置情報に基づいて該路面のピッチ角を算出する
ことを特徴とする、請求項２又は３記載の複数のカメラによるレーン認識装置。
【請求項６】
該演算手段は、該左カメラ及び該右カメラのうちの何れか１つのカメラの撮影画像に基づいて、該左側道路白線及び該右側道路白線の両白線に関する位置情報が得られれば、この得られた位置情報に基づいて該走行レーンのレーン幅を算出する
ことを特徴とする、請求項２〜５のいずれか１項に記載の複数のカメラによるレーン認識装置。
【請求項７】
該演算手段によって算出された該パラメータ値又は該パラメータ値から導き出せる該走行レーンの特徴を表示する表示手段が備えられている
ことを特徴とする、請求項１〜６の何れか１項に記載の複数のカメラによるレーン認識装置。
【請求項８】
該カメラ装置は、左カメラ及び右カメラからなるステレオ視カメラである
ことを特徴とする、請求項１〜７の何れか１項に記載の複数のカメラによるレーン認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車における走行制御等に用いて好適の、複数のカメラによるレーン認識装置に関するものである。
【背景技術】
【０００２】
近年、自動車（以下、車両という）にカメラを搭載して、車両の走行するレーン（車線）等を認識する装置が種々開発されており、中でも、２台のカメラを左右に対を成して設けたいわゆるステレオカメラを用いて、レーン認識する装置が開発されている。
例えば、特許文献１には、道路上の白線の２次元的な分布を自動車上に設けた２台のテレビカメラによるステレオビジョンでリアルタイムに認識し、これに基づいて車線に対する自動車事態の挙動を測定して、その後の走行位置を予測することにより、自動車自体の不適正な挙動を検出し、自動車の道路からの逸脱等を防止する技術が開示されている。
【特許文献１】特開平２−３０２９００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、自動車搭載したカメラにより走行するレーンを認識するには、走行レーンを規定する道路白線についてカメラ画像から認識する必要があるが、実環境においては、カメラ画像から道路白線を適切に認識できない場合がある。
つまり、実環境においては、カメラで撮影する画像領域内に車両が存在する場合があり、存在する車両の大きさや位置によっては道路白線がこの車両に隠れてしまいカメラで捉えられない場合がある。
【０００４】
また、夜間には、カメラ画像が暗くなることからカメラ画像から道路白線を認識することが困難になることもあり、降雨時にも、走行レーンの路面上に溜まった雨水の反射等によりカメラ画像から道路白線を認識することが困難になることもある。特に、夜間の降雨時には、これらの要因が重なるので、カメラ画像から道路白線を認識することが困難な場合が増える。
【０００５】
また、路面上に積雪等があっても、道路白線を認識することが困難になる。
特に、認識できる状況に応じて、把握できる道路状況内容も異なるものと考えられる。
本発明は、上述の課題に鑑み創案されたもので、複数のカメラを利用して得られる道路白線情報に基づいて、適切な把握が可能な道路状況と適切な把握が困難な道路状況とを区別して、適切な把握が可能な道路状況についてのみ把握することができるようにした、複数のカメラによるレーン認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
このため、本発明の複数のカメラによるレーン認識装置（請求項１）は、車両に搭載され該車両の走行するレーンを撮影する左カメラ及び右カメラを含む複数のカメラからなるカメラ装置と、該走行レーンを規定する左側道路白線及び右側道路白線の位置を、上記の左カメラ及び右カメラの撮影画像からそれぞれ認識しうる道路白線認識手段と、該道路白線認識手段による、該左カメラの撮影画像に基づく該左側道路白線の位置，該左カメラの撮影画像に基づく該右側道路白線の位置，該右カメラの撮影画像に基づく該左側道路白線の位置，該右カメラの撮影画像に基づく該右側道路白線の位置、の各情報の認識状況に応じて、該走行レーンの特徴を示すパラメータ値を算出するか否かを判定し、該パラメータ値の算出が可の場合だけ該算出を実施する演算手段とをそなえていることを特徴としている。
【０００７】
該走行レーンの特徴を示すパラメータ値は、該走行レーンの曲率と、該走行レーンのレーン幅と、該走行レーンを構成する路面のピッチ角のうち少なくとも何れかであることが好ましい（請求項２）。
この場合、該演算手段は、該左カメラの撮影画像に基づく該左側道路白線の位置，該左カメラの撮影画像に基づく該右側道路白線の位置，該右カメラの撮影画像に基づく該左側道路白線の位置，該右カメラの撮影画像に基づく該右側道路白線の位置、の各情報のうちの少なくとも何れか１つが得られれば、この得られた位置情報に基づいて該走行レーンの曲率を算出することが好ましい（請求項３）。
【０００８】
また、該演算手段は、該左カメラ及び該右カメラのうちの何れか１つのカメラの撮影画像に基づいて、該左側道路白線及び該右側道路白線の両白線に関する位置情報が得られれば、この得られた位置情報に基づいて該路面のピッチ角を算出することが好ましい（請求項４）。
該左カメラと該右カメラとが撮影軸心線を平行に配置されている場合には、該演算手段は、該左カメラの撮影画像に基づく該左側道路白線の位置，該左カメラの撮影画像に基づく該右側道路白線の位置，該右カメラの撮影画像に基づく該左側道路白線の位置，該右カメラの撮影画像に基づく該右側道路白線の位置、の各情報のうちの少なくとも何れか２つが得られれば、この得られた位置情報に基づいて該路面のピッチ角を算出することが好ましい（請求項５）。
【０００９】
さらに、該演算手段は、該左カメラ及び該右カメラのうちの何れか１つのカメラの撮影画像に基づいて、該左側道路白線及び該右側道路白線の両白線に関する位置情報が得られれば、この得られた位置情報に基づいて該走行レーンのレーン幅を算出することが好ましい（請求項６）。
また、該演算手段によって算出された該パラメータ値又は該パラメータ値から導き出せる該走行レーンの特徴を表示する表示手段が備えられていることが好ましい（請求項７）。
【００１０】
該カメラ装置は、左カメラ及び右カメラからなるステレオ視カメラであることが好ましい（請求項８）。
【発明の効果】
【００１１】
本発明の複数のカメラによるレーン認識装置によれば、複数のカメラの左カメラ及び右カメラによって車両の走行するレーンを撮影し、道路白線認識手段によって、これらの左カメラ及び右カメラの撮影画像から、該走行レーンを規定する左側道路白線及び右側道路白線の位置を認識する。そして、演算手段によって、道路白線認識手段による、該左カメラの撮影画像に基づく該左側道路白線の位置，該左カメラの撮影画像に基づく該右側道路白線の位置，該右カメラの撮影画像に基づく該左側道路白線の位置，該右カメラの撮影画像に基づく該右側道路白線の位置、の各情報の認識状況に応じて、該走行レーンの特徴を示すパラメータ値を算出する。このため、適切な把握が可能な道路状況パラメータ値についてのみ算出するようにでき、パラメータの種類に応じて可能な限り精度を確保しながら算出することができ、レーン認識に基づいて、車両の走行等にかかる各種対応を適切に実施しうる。
【００１２】
該走行レーンの特徴を示すパラメータ値を該走行レーンの曲率とした場合、この算出した曲率に基づいて車両の操舵についての制御を遅れなく実施することができる。また、該走行レーンの特徴を示すパラメータ値を該走行レーンのレーン幅とした場合、この算出したレーン幅に基づいて車両をレーンキープさせるための制御を遅れなく実施することができる。さらに、該走行レーンの特徴を示すパラメータ値を、該走行レーンを構成する路面のピッチ角とした場合、この算出したピッチ角に基づいて車両の駆動や制動に関する予測制御等を実施することができる。
【００１３】
該演算手段において、該左カメラの撮影画像に基づく該左側道路白線の位置，該左カメラの撮影画像に基づく該右側道路白線の位置，該右カメラの撮影画像に基づく該左側道路白線の位置，該右カメラの撮影画像に基づく該右側道路白線の位置、の各情報のうちの少なくとも何れか１つが得られれば、この得られた位置情報に基づいて該走行レーンの曲率を算出するように構成すれば、該曲率を、算出精度を確保しながら高頻度に算出することができる。
【００１４】
さらに、該演算手段は、該左カメラ及び該右カメラのうちの何れか１つのカメラの撮影画像に基づいて、該左側道路白線及び該右側道路白線の両白線に関する位置情報が得られれば、この得られた位置情報に基づいて該路面のピッチ角を算出するように構成しても、該ピッチ角を、算出精度を確保しながら高頻度に算出することができる。
該左カメラと該右カメラとが撮影軸心線を平行に配置されている場合には、該演算手段は、該左カメラの撮影画像に基づく該左側道路白線の位置，該左カメラの撮影画像に基づく該右側道路白線の位置，該右カメラの撮影画像に基づく該左側道路白線の位置，該右カメラの撮影画像に基づく該右側道路白線の位置、の各情報のうちの少なくとも何れか２つが得られれば、この得られた位置情報に基づいて該路面のピッチ角を算出するように構成すれば、該ピッチ角を、算出精度を確保しながらより高頻度に算出することができる。
【００１５】
該演算手段は、該左カメラ及び該右カメラのうちの何れか１つのカメラの撮影画像に基づいて、該左側道路白線及び該右側道路白線の両白線に関する位置情報が得られれば、この得られた位置情報に基づいて該走行レーンのレーン幅を算出するように構成すれば、該レーン幅を、算出精度を確保しながら高頻度に算出することができる。
また、該演算手段において、該左側道路白線及び該右側道路白線のうちの何れかに関して、該左カメラ及び該右カメラの両カメラの撮影画像に基づいて位置情報が得られれば、この得られた位置情報に基づいて該路面のピッチ角を算出するように構成すれば、該ピッチ角を、算出精度を確保しながら高頻度に算出することができる。
【００１６】
該演算手段によって算出された該パラメータ値又は該パラメータ値から導き出せる該走行レーンの特徴を表示する表示手段を備えれば、ドライバにレーン状況の情報について、精度を確保しながら高頻度に表示できるようになって、ドライバの運転操作に寄与しうる。
【発明を実施するための最良の形態】
【００１７】
以下、図面により、本発明の実施の形態について説明すると、図１〜図９は本発明の一実施形態としての複数のカメラによるレーン認識装置を示すものである。
図１に示すように、本装置は、車両に搭載されて車両前方の車両の走行するレーンを含む道路画像を撮影する左右一対のカメラ（左カメラ１Ｌ及び右カメラ１Ｒ）からなるステレオ視カメラ１と、このステレオ視カメラ１の左右の各カメラ１Ｌ，１Ｒの撮影画像から自社両の走行レーンを規定する左側道路白線及び右側道路白線の位置それぞれ認識しうる道路白線認識装置（道路白線認識手段）２と、この道路白線認識手段２による道路白線位置の各情報の認識状況に応じて、走行レーンの特徴を示すパラメータ値を算出する演算装置（演算手段）３と、演算装置３により算出されたパラメータ値の情報を表示するディスプレイを有する表示装置（表示手段）４とをそなえている。
【００１８】
特に、道路白線認識装置２は、左カメラ１Ｌの撮影画像に基づいて左側道路白線の位置と右側道路白線の位置とを認識する左カメラ対応認識部２Ｌと、右カメラ１Ｒの撮影画像に基づいて左側道路白線の位置と右側道路白線の位置とを認識する右カメラ対応認識部２Ｒとをそなえている。
両カメラ対応認識部２Ｌ，２Ｒは、いずれも、各カメラ１Ｌ，１Ｒからの画像を、所定の周期で図示しない画像メモリに取り込んで、取り込んだ画像に対して白線認識処理を行なう。この際、各カメラ１Ｌ，１Ｒにとって撮影された車両前方の道路画像を示す画像信号は図示しない増幅器を介して所定のレベルに増幅され、さらに、図示しないＡ／Ｄ変換器を介してデジタル信号に変換されて画像メモリに取り込まれる。
【００１９】
各カメラ対応認識部２Ｌ，２Ｒにおける白線認識処理は、例えば、画像内の所定の上下方向領域について、画像の水平方向に走査を行って輝度変化を調べ、白線の両エッジ部分では大きな輝度変化があることから、所定の間隔で一定以上の輝度変化のある個所が存在したら、その部分を白線候補点とする。このような水平方向走査による白線候補点の検出を、所定の上下方向間隔で複数行って、各白線候補点を結んだ線を白線と認識する。もちろん、白線候補点が一本の直線又は曲線の上に所定数以上の白線候補点が乗らなければ、白線とは認識しない。
【００２０】
このようにして、各カメラ対応認識部２Ｌ，２Ｒによる認識対象の白線は、自車両が走行する走行レーンを規定する左右の白線であり、道路白線認識装置２によって得ることが可能な白線の位置情報は、左カメラ１Ｌの撮影位置に対する走行レーンの左側道路白線の位置及び右側道路白線の位置と、右カメラ１Ｒの撮影位置に対する走行レーンの左側道路白線の位置及び右側道路白線の位置とである。
【００２１】
道路白線認識装置２によって走行レーンを規定する左右の白線の位置情報を得ることができたら、演算装置３では、得られた白線位置情報に基づいて、走行レーンの特徴を示すパラメータ値として、走行レーンの曲率ρと、走行レーンのレーン幅Ｗと、走行レーンを構成する路面のピッチ角θPとを算出するようになっている。
もちろん、道路白線認識装置２では、上述のようなのべ４本全ての白線の位置情報を常に得られるわけではなく、実環境においては、白線位置情報の一部のみが得られたり、全く得られなかったりすることもある。
【００２２】
演算装置３では、上記のパラメータ値、即ち、曲率ρ，レーン幅Ｗ，ピッチ角θPの算出にあたり、十分な精度で且つ可能な限り高頻度でこれらのパラメータ値を算出することができるように、上記の白線位置情報の認識状況（どのような情報が得られたか）に応じて、各パラメータ値（曲率ρ，レーン幅Ｗ，ピッチ角θP）について算出を実施するか否かを判定し、算出を実施可とする条件下でのみパラメータ値の算出を実施するようになっている。
【００２３】
具体的には、以下の表１に示すような態様で、パラメータ値の算出を実施する。なお、表１中、○は算出可を示し、×は算出不可を示す。また、（＊１），（＊２）は条件がそろえば算出可を示す。
【００２４】
【表１】
2005301892.tif 000003
また、図２は、左右のカメラ１Ｌ，１Ｒによる左右の白線に関する認識態様を示すものである。図２において、左カメラ１Ｌにより認識される左白線についてはＬＬで、右カメラ１Ｒにより認識される左白線についてはＲＬで、左カメラ１Ｌにより認識される右白線についてはＬＲで、右カメラ１Ｒにより認識される右白線についてはＲＲで示しており、また、一点鎖線は左カメラ１Ｌにより認識されうる白線であって実際には認識されない場合を示し、二点鎖線は右カメラ１Ｒにより認識されうる白線であって実際には認識されない場合を示し、実線は各カメラ１Ｌ，１Ｒにより認識された白線を示している。
【００２５】
図２（ａ）は表１の（ａ）の「いずれかの白線も検出なし」に対応し、図２（ｂ）は表１の（ｂ）の「いずれかの白線を１本のみ検出する」に対応する（この例では、左カメラ１Ｌによる左白線ＬＬのみが認識されている）。図２（ｃ）は表１の（ｃ１）の「左カメラで左白線を検出し右カメラで右白線を検出する」に対応する。図２（ｄ）は表１の（ｄ１）の「左カメラによる左白線ＬＬを検出し右カメラによる右白線ＲＲを検出する」に対応する。図２（ｅ）は表１の（ｅ１）の「左カメラで左白線を検出し左カメラで右白線を検出する」に対応する。また、図２（ｆ）は表１の（ｆ）の「のべ３本の白線を検出する」に対応する（この例では、左カメラ１Ｌによる左白線ＬＬ，右カメラ１Ｒによる左白線ＲＬ，左カメラ１Ｌによる右白線ＬＲの３本が認識されている）。さらに、図２（ｇ）は表１の（ｇ）の「全て（のべ４本）の白線を検出する」に対応する。
【００２６】
表１に示すように、少なくとも左右何れかのカメラ１Ｌ，１Ｒで、走行レーンを規定する左右の白線のいずれかの位置情報を得ることができれば［表１中の（ｂ），（ｃ１），（ｃ２），（ｄ１），（ｄ２），（ｅ１），（ｅ２），（ｆ），（ｇ）の各場合］、曲率ρを算出する。
また、少なくとも左右のカメラ１Ｌ，１Ｒのいずれか一つによって左右の白線の位置情報をいずれも得ることができた場合［表１中の（ｅ１），（ｅ２），（ｆ），（ｇ）の各場合］には、ピッチ角θPを算出する。
【００２７】
同様に、少なくとも左右のカメラ１Ｌ，１Ｒのいずれか一つによって左右の白線の位置情報をいずれも得ることができた場合［表１中の（ｅ１），（ｅ２），（ｆ），（ｇ）の各場合］には、レーン幅Ｗを算出する。
ただし、左カメラ１Ｌと右カメラ１Ｒとが撮影軸心線を平行に配置されている場合には、表１中に（＊１）と記載するように、左カメラ１Ｌの撮影画像に基づく左側道路白線の位置，左カメラ１Ｌの撮影画像に基づく右側道路白線の位置，右カメラ１Ｒの撮影画像に基づく左側道路白線の位置，右カメラ１Ｒの撮影画像に基づく右側道路白線の位置、の各情報のうちの少なくとも何れか２つが得られれば、この得られた位置情報に基づいて路面のピッチ角θPを算出する。
【００２８】
また、左カメラ１Ｌと右カメラ１Ｒとが撮影軸心線を平行に配置され、且つ、左カメラ１Ｌと右カメラ１Ｒとが同高さにあれば、表１中に（＊２）と記載するように、異なるカメラによって、左側道路白線の位置と右側道路白線の位置とが把握できた場合（表１のｃ１，ｃ２）等にも、レーン幅Ｗを算出することが可能になる。
ここで、道路白線認識装置２による白線認識処理、演算装置３による各パラメータ値（曲率ρ，レーン幅Ｗ，ピッチ角θP）の算出（推定）処理の各手法について、図３〜図６のフローチャートを参照して説明する。
【００２９】
図３に示すように、道路白線認識装置２では、左右カメラ１Ｌ，１Ｒにより得られた画像から左右の白線の候補点を抽出し（ステップＡ２）、各白線ＬＬ，ＲＬ，ＬＲ，ＲＲ計４本について、それぞれ所定数（例えば、３点）以上の白線候補点があるか否かを判定する（ステップＡ４）。そして、各白線ＬＬ，ＲＬ，ＬＲ，ＲＲのうち所定数以上の白線候補点があるものについては、最小二乗法を用いて白線を直線近似して画面上での位置を求める（ステップＡ６）。
【００３０】
このようにして、道路白線認識装置２によって白線が求められたら、演算装置３では、各白線ＬＬ，ＲＬ，ＬＲ，ＲＲのいずれが求められたかに応じて、まず、上記のピッチ角算出条件を前提に、ピッチ角θPを算出（推定）し（ステップＡ８）、ここで得られたピッチ角推定値θoutに基づいて図７（ａ）に示す画面視座標（αβ座標）から図７（ｂ）に示す上面視座標（ｘｙ座標）への座標変換を行なう（ステップＡ１０）。これにより得られた上面視座標（ｘｙ座標）に基づいて、上記のレーン幅算出条件を前提に、ステップＡ１２のレーン幅（車線幅）Ｗの算出（推定）が行われ上記の曲率算出条件を前提に、ステップＡ１４の曲率ρの算出（推定）とを行なう。
【００３１】
なお、後述するが、曲率ρを推定する際には、自車両に対する白線のヨー角ずれψs及び自車両から所定距離Ｄ１だけ前方における自車両に対する白線の横ずれｙsを用い、これらの白線のヨー角ずれψs及び横ずれｙsの算出にはピッチ角θPを用い、しかも、前述のように、白線認識にかかる推定条件は、曲率ρを推定する条件よりもピッチ角θPを推定する条件の方が厳しく、曲率ρ推定にあたってピッチ角θPを推定できない場合がある。しかし、ステップＡ１６では、ピッチ角θPの推定条件を満たさない場合であっても、直近で得られたピッチ角推定値θout等を用いて、曲率ρの算出を行なう。
【００３２】
ここで、ステップＡ８のピッチ角θPの算出（推定）について説明すると、このピッチ角θPの推定には、いわゆる、消失点を用いている。つまり、１つのカメラでとらえた互いに平行な左右の白線は無限遠で１点（消失点）に集合するという幾何学的理論を用い、図７（ａ）に示す画面視座標（αβ座標）の上でそれぞれ直線近似された左右の白線に相当する直線を延長した交点を消失点ＰＶとする［図２（ａ）参照］。なお、画面視座標（αβ座標）では、各カメラ１Ｌ，１Ｒから所定距離前方に相当する画面上の水平方向線をα軸に設定している。車両の走行する路面の前後傾斜（ピッチ角）がなければ（ピッチ角が０度）、消失点ＰＶは画面視座標上の所定のβ座標位置（これをβ0とする）にあるが、車両の走行する路面の前後傾斜（ピッチ角）がある場合には、前上がりのピッチ角なら、消失点ＰＶはそのピッチ角に応じて画面視座標上の所定のβ座標位置β0よりも下方になり、前下がりのピッチ角なら、消失点ＰＶはそのピッチ角に応じて画面視座標上の所定のβ座標位置β0よりも上方になる。したがって、認識した白線から得られる画面視座標上の消失点ＰＶのβ座標位置からピッチ角θPを幾何学的に算出することができる。
【００３３】
また、消失点ＰＶは、１つのカメラでとらえた互いに平行な左右の白線に基づくほかに、１つの白線に対して２つのカメラでとらえた白線に基づいても、幾何学的に求めることができる。同一の白線に対して、互いに異なる位置に設置されたカメラ１Ｌ，１Ｒで得た画像は、これらの画像［画面視座標（αβ座標）］を合成すると、同一の白線であっても、カメラ１Ｌ，１Ｒの位置の相違に応じて、画像上では異なる位置に存在する。しかし、これらは無限遠では消失点ＰＶに集まることになるため、このような情報からも消失点ＰＶを求めることができ、さらに、消失点ＰＶからピッチ角θPを幾何学的に算出することができる。
【００３４】
したがって、ステップＡ８のピッチ角θPの算出（推定）にあたっては、図４に示すように、まず、ピッチ角θPの推定条件が成立しているか否かを判定する（ステップＢ２）。ここでは、少なくとも左右のカメラ１Ｌ，１Ｒのいずれか一つによって左右の白線の位置情報をいずれも得ることができた場合［表１中の（ｅ１），（ｅ２），（ｆ），（ｇ）の各場合］、又は、少なくとも一つの白線に対して左右のカメラ１Ｌ，１Ｒから位置情報を得ることができた場合［表１中の（ｄ１），（ｄ２），（ｆ），（ｇ）の各場合］に推定条件が成立していることになる。
【００３５】
ピッチ角θPの推定条件が成立している場合は、ステップＢ４に進んで、タイマの第１カウンタ値ｃｏｕｎｔ１を０にリセットする。この第１カウンタ値ｃｏｕｎｔ１は、ピッチ角θPの推定条件が成立しなくなった場合に、直前の（最新の）ピッチ角推定値θoutに保持する時間としてカウントされる。つまり、ピッチ角θPの推定条件が成立しなくなった場合に、ピッチ角θPをすぐにデフォルト値θ0に戻すのでなく、一定期間（第１カウンタ値ｃｏｕｎｔ１が閾値ｔｈ１に達するまでの期間）はピッチ角θPを直前の（即ち、最新の）推定値θoutに保持した上で、デフォルト値θ0に戻すようにして、ピッチ角θPの推定条件が成立しなくなった場合にも一定期間は最新のピッチ角推定値θoutを出力することで、推定したピッチ角推定値θoutを信頼性があるものと推定される範囲（第１カウンタ値ｃｏｕｎｔ１が閾値ｔｈ１に達するまでの期間であれば、ピッチ角は急変しないものと考えている）で有効に利用し、他のパラメータ値（即ち、曲率ρ）の推定精度を極力高めるようにしているのである。
【００３６】
タイマの第１カウンタ値ｃｏｕｎｔ１を０にリセットしたら、ステップＢ６に進んで、前述のように、消失点座標からピッチ角θorgを算出する。このとき、白線ＬＬ，ＲＬ，ＬＲ，ＲＲのうち３本以上の白線が検出された場合には、消失点ＰＶを算出可能な白線の組み合わせが複数発生するが、この場合には、求められた消失点座標を平均化してピッチ角θorgを算出するか、又は、求められた消失点座標からそれぞれピッチ角θorgを算出して、これらのピッチ角θorgを平均化して求める。これにより推定精度が向上する。
【００３７】
その後、ステップＢ８に進んで、次式のようにローパスフィルタによりフィルタ処理して、ピッチ角推定値θoutを求める。
θout＝Ｋ１・θorg＋（１−Ｋ１）・θout・・・（１）
Ｋ１：フィルタリング係数、０＜Ｋ１＜１
このようなフィルタリング処理によって、外乱等に作用されない安定したピッチ角推定値θoutを得ることができ、このピッチ角推定値θoutに基づいて他のパラメータ値（即ち、曲率ρ）を推定する場合には、推定精度を高めることができ、このピッチ角推定値θoutに基づいて車両を制御する場合に、制御をより適切に実施することができる。
【００３８】
一方、ピッチ角θPの推定条件が成立しなくなった場合には、ステップＢ１０の判断処理を経て、一定期間（第１カウンタ値ｃｏｕｎｔ１が閾値ｔｈ１に達するまでの期間）は、直前の（即ち、最新の）ピッチ角推定値θoutに保持し（ステップＢ１２）、第１カウンタ値ｃｏｕｎｔ１をインクリメントする（ステップＢ１４）。一定期間（第１カウンタ値ｃｏｕｎｔ１が閾値ｔｈ１に達するまでの期間）以上経過したら、ピッチ角をデフォルト値θ0に戻す（ステップＢ１６）。
【００３９】
このように、ピッチ角θPの推定条件が成立しなくなった場合にも、一定期間は直前のピッチ角推定値θoutを保持するので、即座にデフォルト値θ0に戻す場合よりもピッチ角θPの推定精度が高まり易くなる。また、ピッチ角θPの推定条件が一時的（上記一定期間内）に成立しなくなってその後、ピッチ角θPの推定条件が成立するようになった場合にも、一旦デフォルト値θ0に戻すことがないため、ピッチ推定値θoutの急変動がなくなり、このピッチ角推定値θoutに基づいて他のパラメータ値（即ち、曲率ρ）を推定する場合も推定結果が安定し、このピッチ角推定値θoutに基づいて車両を制御する場合にも制御を安定させることができる。
【００４０】
このようにして、ピッチ角推定値θoutが推定されたら、演算装置３では、各カメラ１Ｌ，１Ｒの撮影画像から得られた白線位置について、下式（２）を用いて、図７（ａ）に示す画面視座標（αβ座標）から図７（ｂ）に示す上面視座標（ｙｘ座標）に座標変換する（図３のステップＡ１０）。なお、上面視座標（ｙｘ座標）では、各カメラ１Ｌ，１Ｒ位置を原点として車長方向線をｘ軸に設定し、車幅方向線をｙ軸に設定している。
【００４１】
ｘ＝Ｈ（ｆ・ｃｏｓθout＋β・ｓｉｎθout）／（ｆ・ｓｉｎθout＋β・ｃｏｓθout）
ｙ＝Ｈ・α／（ｆ・ｓｉｎθout＋β・ｃｏｓθout）
・・・（２）  ただし、Ｈは各カメラの取付高さ（左右のカメラは同一高さ）、ｆは各カメラの焦点距離（左右のカメラは同一の焦点距離）である。
【００４２】
このような座標変換によって、図８に示すように、上面視による自車両の前後左右中心位置を原点とし、自車両の前後方向（車長方向）をｘ軸、自車両の左右方向（車幅方向）をｙ軸とした座標上における白線の近似直線位置を認識することができ（図８では左白線のみを示す）、自車両に対する白線（の近似直線）のヨー角ずれψs及び自車両から所定距離Ｄ１だけ前方における自車両に対する白線（の近似直線）の横ずれｙsを幾何学的に算出することができる。
【００４３】
したがって、ステップＡ１２の車線幅（レーン幅）Ｗの算出（推定）にあたっては、図５に示すように、まず、車線幅（レーン幅）Ｗの推定条件が成立しているか否かを判定する（ステップＣ２）。ここでは、少なくとも左右のカメラ１Ｌ，１Ｒのいずれか一つによって左右の白線の位置情報をいずれも得ることができた場合［表１中の（ｅ１），（ｅ２），（ｆ），（ｇ）の各場合］に推定条件が成立していることになる。
【００４４】
車線幅Ｗの推定条件が成立している場合は、ステップＣ４に進んで、タイマの第２カウンタ値ｃｏｕｎｔ２を０にリセットする。この第２カウンタ値ｃｏｕｎｔ２は、車線幅Ｗの推定条件が成立しなくなった場合に、直前の（最新の）車線幅Ｗに保持する時間としてカウントされる。つまり、車線幅Ｗの推定条件が成立しなくなった場合に、車線幅Ｗをすぐにデフォルト値Ｗ0に戻すのでなく、一定期間（第２カウンタ値ｃｏｕｎｔ２が閾値ｔｈ２に達するまでの期間）は車線幅Ｗを直前の（即ち、最新の）推定値Ｗoutに保持した上で、デフォルト値Ｗ0に戻すようにして、車線幅Ｗの推定条件が成立しなくなった場合にも一定期間は最新の車線幅推定値Ｗoutを出力することで、推定した車線幅推定値Ｗoutを信頼性があるものと推定される範囲（第２カウンタ値ｃｏｕｎｔ２が閾値ｔｈ２に達するまでの期間であれば、車線幅は急変しないものと考えている）で有効に利用するようにしているのである。
【００４５】
タイマの第２カウンタ値ｃｏｕｎｔ２を０にリセットしたら、ステップＣ６に進んで、前述のように、自車両に対する左右の両白線（の近似直線）の横ずれｙsを幾何学的に算出して、これらの横ずれｙsを加算することにより、車線幅Ｗorgを算出する。このとき、白線ＬＬ，ＲＬ，ＬＲ，ＲＲのうち３本以上の白線が検出された場合には、少なくとも左右いずれかの白線の横ずれｙsを複数算出可能となるが、複数算出された横ずれｙsを平均化して車線幅Ｗorgを算出する。これにより推定精度が向上する。
【００４６】
その後、ステップＣ８に進んで、次式のようにローパスフィルタによりフィルタ処理して、車線幅推定値Ｗoutを求める。
Ｗout＝Ｋ２・Ｗorg＋（１−Ｋ２）・Ｗout・・・（３）
Ｋ２：フィルタリング係数、０＜Ｋ２＜１
このようなフィルタリング処理によって、外乱等に作用されない安定した車線幅推定値Ｗoutを得ることができ、この車線幅推定値Ｗoutに基づいて他のパラメータ値（即ち、曲率ρ）を推定する場合には、推定精度を高めることができ、この車線幅推定値Ｗoutに基づいて車両を制御する場合には、制御をより適切に実施することができる。
【００４７】
一方、車線幅Ｗの推定条件が成立しなくなった場合には、ステップＣ１０の判断処理を経て、一定期間（第２カウンタ値ｃｏｕｎｔ２が閾値ｔｈ２に達するまでの期間）は、直前の（即ち、最新の）車線幅推定値Ｗoutに保持し（ステップＣ１２）、第２カウンタ値ｃｏｕｎｔ２をインクリメントする（ステップＣ１４）。一定期間（第２カウンタ値ｃｏｕｎｔ２が閾値ｔｈ２に達するまでの期間）以上経過したら、車線幅をデフォルト値Ｗ0に戻す（ステップＣ１６）。
【００４８】
このように、車線幅Ｗの推定条件が成立しなくなった場合にも、一定期間は直前の車線幅推定値Ｗoutを保持するので、即座にデフォルト値Ｗ0に戻す場合よりも車線幅Ｗの推定精度が高まり易くなる。また、車線幅Ｗの推定条件が一時的（上記一定期間内）に成立しなくなってその後、車線幅Ｗの推定条件が成立するようになった場合にも、一旦デフォルト値Ｗ0に戻すことがないため、車線幅推定値Ｗoutの急変動がなくなり、この車線幅推定値Ｗoutに基づいて他のパラメータ値（即ち、曲率ρ）を推定する場合も推定結果が安定し、この車線幅推定値Ｗoutに基づいて車両を制御する場合にも制御を安定させることができる。
【００４９】
このようにして、ピッチ角推定値θout，車線幅推定値Ｗoutが推定されたら、演算装置３では、図９に示すようなオブザーバ５によって、レーン曲率（道路曲率）ρを求める。
このオブザーバ５では、車速検出手段６ａ，ヨーレイト検出手段６ｂによりそれぞれ検出された車速Ｖ，ヨーレイトγsと、演算装置３の上記の算出機能（ヨー角ずれ演算手段）３ａにより算出された自車両に対する白線の近似直線のヨー角ずれψsと、演算装置３の上記の算出機能（横ずれ演算手段）３ｂにより算出された自車両に対する白線の近似直線の横ずれｙsとに基づいて、レーン曲率ρを推定する。このオブザーバ５の状態方程式としては、次式（４）が用いられる。
【００５０】
【数１】
2005301892.tif 000004
なお、上式（４）において、ゲインｌ11〜ｌ32はいずれもオブザーバゲインであり、周波数特性を考慮して数式演算により適正値を設定することができる。
したがって、ステップＡ１４のレーン曲率ρの算出（推定）にあたっては、図６に示すように、まず、レーン曲率ρの推定条件が成立しているか否かを判定する（ステップＤ２）。ここでは、少なくとも左右何れかのカメラ１Ｌ，１Ｒで、走行レーンを規定する左右の白線のいずれかの位置情報を得ることができた場合［表１中の（ｂ），（ｃ１），（ｃ２），（ｄ１），（ｄ２），（ｅ１），（ｅ２），（ｆ），（ｇ）の各場合］に推定条件が成立していることになる。
【００５１】
レーン曲率ρの推定条件が成立している場合は、ステップＤ４に進んで、タイマの第３カウンタ値ｃｏｕｎｔ３を０にリセットする。この第３カウンタ値ｃｏｕｎｔ３は、車線幅Ｗの推定条件が成立しなくなった場合に、直前の（最新の）車線幅Ｗに保持する時間としてカウントされる。つまり、レーン曲率ρの推定条件が成立しなくなった場合に、レーン曲率ρをすぐにデフォルト値ρ0に戻すのでなく、一定期間（第３カウンタ値ｃｏｕｎｔ３が閾値ｔｈ３に達するまでの期間）はレーン曲率ρを直前の（即ち、最新の）推定値ρoutに保持した上で、デフォルト値ρ0に戻すようにして、レーン曲率ρの推定条件が成立しなくなった場合にも一定期間は最新のレーン曲率推定値ρoutを出力することで、推定したレーン曲率推定値ρoutを信頼性があるものと推定される範囲（第３カウンタ値ｃｏｕｎｔ３が閾値ｔｈ３に達するまでの期間であれば、レーン曲率ρは急変しないものと考えている）で有効に利用するようにしているのである。
【００５２】
タイマの第３カウンタ値ｃｏｕｎｔ３を０にリセットしたら、ステップＤ６に進んで、前述のように、ヨー角ずれ演算手段３ａにより自車両に対する白線の近似直線のヨー角ずれψsを算出し、横ずれ演算手段３ｂにより自車両に対する白線の近似直線の横ずれｙsを算出する。そして、ステップＤ８に進んで、オブザーバ５によって、検出された車速Ｖ，ヨーレイトｒs及び算出されたヨー角ずれψs，横ずれｙsの各状態量を入力量としてレーン曲率推定値ρoutを推定する。
【００５３】
一方、レーン曲率ρの推定条件が成立しなくなった場合には、ステップＤ１０の判断処理を経て、一定期間（第３カウンタ値ｃｏｕｎｔ３が閾値ｔｈ３に達するまでの期間）は、直前の（即ち、最新の）レーン曲率推定値ρoutに保持し（ステップＤ１２）、第３カウンタ値ｃｏｕｎｔ３をインクリメントする（ステップＤ１４）。一定期間（第３カウンタ値ｃｏｕｎｔ３が閾値ｔｈ３に達するまでの期間）以上経過したら、レーン曲率ρoutをデフォルト値ρ0に戻す（ステップＤ１６）。
【００５４】
このように、レーン曲率ρの推定条件が成立しなくなった場合にも、一定期間は直前のレーン曲率推定値ρoutを保持するので、即座にデフォルト値ρ0に戻す場合よりもレーン曲率ρの推定精度が高まり易くなる。また、レーン曲率ρの推定条件が一時的（上記一定期間内）に成立しなくなってその後、レーン曲率ρの推定条件が成立するようになった場合にも、一旦デフォルト値ρ0に戻すことがないため、レーン曲率推定値ρoutの急変動がなくなり、このレーン曲率推定値ρoutに基づいて車両を制御する場合にも制御を安定させることができる。
【００５５】
本発明の一実施形態としての複数のカメラによるレーン認識装置は、上述のように構成されているので、演算装置３によって、左カメラ１Ｌの撮影画像に基づく左側道路白線の位置ＬＬ，左カメラ１Ｌの撮影画像に基づく右側道路白線の位置ＬＲ，右カメラ１Ｒの撮影画像に基づく左側道路白線の位置ＲＬ，右カメラ１Ｒの撮影画像に基づく右側道路白線の位置ＲＲ、の各情報の認識状況に応じて、走行レーンの特徴を示すパラメータ値、即ち、曲率ρ，レーン幅Ｗ，ピッチ角θPを算出するので、パラメータの種類に応じて可能な限り精度を確保しながらパラメータ値について確実に算出（推定）できるようになり、レーン認識に基づいて、車両の走行等にかかる各種対応を適切に実施しうる効果がある。
【００５６】
この結果、レーン曲率ρを精度よく高頻度に算出（推定）でき、この算出した曲率ρに基づいて車両の操舵についての制御を遅れなく実施することができる。
また、レーン幅Ｗについても精度よく算出（推定）でき、この算出したレーン幅Ｗに基づいて車両をレーンキープさせるための制御を遅れなく実施することができる。
さらに、路面のピッチ角θPについても精度よく高頻度に算出（推定）でき、この算出したピッチ角θPに基づいて車両の駆動や制動に関する予測制御等を実施することができる。
【００５７】
特に、レーン曲率ρの推定には、路面のピッチ角θPが影響するが、この影響は大きくはないため、ピッチ角θPの最新値が得られなくても、オブザーバ５を用いながら、一定の精度でレーン曲率ρの推定を実施することができ、レーン曲率ρを高頻度に算出（推定）することができ、車両の種々の制御に有効である。
【００５８】
以上、本発明の実施形態を説明したが、本発明はかかる実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
例えば、上記実施形態では、ステレオ視カメラを用いているが、少なくとも、左右のカメラを含んでいればよく、さらに多数のカメラを備えていてもよい。
また、上記実施形態では、算出（推定）する走行レーンの特徴を示すパラメータ値を、走行レーンの曲率と、走行レーンのレーン幅と、走行レーンを構成する路面のピッチ角としているが、これらの何れか一部であってもよく、算出（推定）する走行レーンの特徴を示すパラメータ値としては、これらのうちの一部であってもよく、また、これら以外であってもよい。
【００５９】
さらに、パラメータ値の算出（推定）手法も上記実施形態のものに限定されるものではない。
【図面の簡単な説明】
【００６０】
【図１】本発明の一実施形態にかかるレーン認識装置を示す構成図である。
【図２】本発明の一実施形態にかかる白線認識の態様を（ａ）〜（ｇ）のそれぞれに示す撮影画像の模式図である。
【図３】本発明の一実施形態にかかるレーン認識処理の全体フローを説明するフローチャートである。
【図４】本発明の一実施形態にかかるレーン認識処理のピッチ角推定フローを説明するフローチャートである。
【図５】本発明の一実施形態にかかるレーン認識処理の車線幅推定フローを説明するフローチャートである。
【図６】本発明の一実施形態にかかるレーン認識処理の道路曲率推定フローを説明するフローチャートである。
【図７】本発明の一実施形態にかかる座標変換を説明する図であって、（ａ）は変換前の画面視座標（αβ座標）を示し、（ｂ）は変換後の上面視座標（ｙｘ座標）を示す。
【図８】本発明の一実施形態にかかる自車両に対する白線（の近似直線）のヨー角ずれψs及び横ずれｙsを説明する図である。
【図９】本発明の一実施形態にかかる自車両に対するレーン曲率ρを推定するオブザーバを説明するブロック図である。
【符号の説明】
【００６１】
１  ステレオ視カメラ
１Ｌ  左カメラ
１Ｒ  右カメラ
２  道路白線認識装置（道路白線認識手段）
３  演算装置（演算手段）
３ａ  ヨー角ずれ演算手段
３ｂ  横ずれ演算手段
４  表示装置（表示手段）
６ａ  車速検出手段
６ｂ  ヨーレイト検出手段
【図１】
2005301892.tif 000005
【図２】
2005301892.tif 000006
【図３】
2005301892.tif 000007
【図４】
2005301892.tif 000008
【図５】
2005301892.tif 000009
【図６】
2005301892.tif 000010
【図７】
2005301892.tif 000011
【図８】
2005301892.tif 000012
【図９】
2005301892.tif 000013