(57)【要約】【課題】  合流区間等において意図せず車両が合流車線よりを走行してしまうことに起因して車線逸脱警報が作動し、ドライバに煩わしさ感を与えることを回避する。【解決手段】  自車両前方及び後方を撮像する前方カメラ１、後方カメラ２を設け、それぞれの撮像画像に基づいて左右の車線区分線を検出する。例えば、左右前後の車線区分線を検出している状態から、右前側の車線区分線、右後側の車線区分線の順でロストした後、再度右前側の車線区分線、右後側の車線区分線の順で検出するというパターンで車線区分線の検出状態が遷移したとき、右側の車線が自車両の走行車線に合流する合流区間を走行していると判断し、右側方向への車線逸脱判定用のしきい値Ｙthｒをより値の大きなＹthｒ２に変更し、前後の右側の車線区分線を共に検出する状態となったとき、合流区間を通過し終えたと判断し、所定時間経過後、徐々にしきい値Ｙthｒを通常のＹthｒ１に戻す。【選択図】          図１２
2005182407.tif 000002
【特許請求の範囲】
【請求項１】
走行車線における自車両の走行状態を検出し、当該走行状態に基づいて自車両が車線逸脱傾向にあるかどうかを判断するようにした車線逸脱防止装置において、
前方撮像手段で撮像した自車両前方の撮像画像及び後方撮像手段で撮像した自車両後方の撮像画像に基づき自車両前方の前方走行路状況及び自車両後方の後方走行路状況をそれぞれ検出し、これら前方走行路状況及び後方走行路状況に基づいて走行路の構造を推測し、推測した走行路構造に基づいて前記車線逸脱傾向の判断を行うようにしたことを特徴とする車線逸脱防止装置。
【請求項２】
走行車線における自車両の走行状態を検出し、当該走行状態に基づいて自車両が車線逸脱傾向にあるかどうかを判断する逸脱判断手段を備えた車線逸脱防止装置において、
車両前方の走行路を撮像する前方撮像手段と、
車両後方の走行路を撮像する後方撮像手段と、
前方撮像手段で撮像した前方撮像画像及び前記後方撮像手段で撮像した後方撮像画像に基づいて走行路の構造を推測する走行路構造推測手段と、を備え、
前記逸脱判断手段は、前記走行路構造推測手段での推測結果に基づいて前記車線逸脱傾向の判断を行うようになっていることを特徴とする車線逸脱防止装置。
【請求項３】
前記前方撮像画像及び後方撮像画像に基づき、前方及び後方の左右の車線区分線を検出する車線区分線検出手段を備え、
前記走行路構造推測手段は、前記車線区分線検出手段で検出した前方及び後方の左右の車線区分線の検出状況の変化パターンに基づいて前記走行路の構造を推測するようになっていることを特徴とする請求項２記載の車線逸脱防止装置。
【請求項４】
前記走行路構造推測手段は、前記走行路の構造として、車線の合流区間及び車線の分岐区間の少なくとも何れか一方を検出するようになっていることを特徴とする請求項２又は３記載の車線逸脱防止装置。
【請求項５】
前記逸脱判断手段は、前記走行路構造推測手段での推測結果に基づいて前記車線逸脱傾向にあると判断するための判断条件を変更するようになっていることを特徴とする請求項２から４のいずれか１項に記載の車線逸脱防止装置。
【請求項６】
前記後方撮像手段は自車両近傍の走行路を撮像し、
前記前方撮像手段で撮像した前方撮像画像に基づいて前記逸脱判断手段での判断に用いる自車両の走行状態を推定する走行状態推定手段と、
前記後方撮像手段で撮像した後方撮像画像に基づいて自車両の走行状態を推定する自車近傍車両状態推定手段と、を備え、
前記走行状態推定手段は、前記自車近傍車両状態推定手段で推定した自車両の走行状態を用いて前記前方撮像画像に基づく走行状態の推定を行うようになっていることを特徴とする請求項２から５のいずれか１項に記載の車線逸脱防止装置。
【請求項７】
前記逸脱判断手段で、前記車線逸脱傾向にあることを検出したときに、当該車線逸脱傾向にあることを通知する警報手段及び、車両の運動状態を、車線逸脱を抑制する方向に変化させる逸脱防止制御手段の少なくとも何れか一方を備えることを特徴とする請求項２から６のいずれか１項に記載の車線逸脱防止装置。
【請求項８】
前記車線逸脱傾向にあることを通知するための警報手段及び、車両の運動状態を、車線逸脱を抑制する方向に変化させる逸脱防止制御手段を備え、
前記逸脱判断手段は、前記車線逸脱傾向の度合に応じて車線逸脱傾向にあるかどうかを判断し、前記車線逸脱傾向にあるとき、その車線逸脱傾向の度合に応じて、前記警報手段及び前記逸脱防止制御手段の少なくとも何れか一方を作動させるようになっていることを特徴とする請求項２から７の何れか１項に記載の車線逸脱防止装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両が走行車線から逸脱しそうな傾向にあるかどうかを検出するようにした車線逸脱防止装置に関するものである。
【背景技術】
【０００２】
従来、自車両が走行車線から逸脱しそうな傾向にあるかどうかを検出するようにした車線逸脱防止装置として数々のものが提案されている。
例えば、自車両が走行車線から逸脱しそうな状態にあることを検出したときには、走行車線の基準位置から自車両の走行位置までの横ずれ量に応じてドライバが容易に打ち勝つことの可能な程度の操舵制御トルクを操舵アクチュエータにより出力することで車線逸脱を防止するようにしたもの（例えば、特許文献１参照）、或いは、ドライバの不注意などによって車両が走行車線から逸脱すると判定されるときに、警報を発すること等によってドライバに通知することで、ドライバに注意を促すようにしたもの等が提案されている（例えば、特許文献２参照）。
【０００３】
このような車線逸脱防止装置は、例えば、走行路面上における走行車線の両側部を仕切る各種の境界線を撮像する撮像装置と、この撮像装置で撮像した画像を処理して走行車線内における自車両の道路に対するヨー角を求めるヨー角検出装置と、撮像装置から前方道路曲率を推定する装置と、走行車線に対する自車両のヨー角の方向（正負）とをもとに、自車両が上記境界線を横切って走行車線から逸脱するか、或いはその可能性があると判定されるときに、これをドライバに通知する報知装置等とで構成されている。
【０００４】
したがって、この種の装置によれば、ドライバが無意識のうちに車両が走行車線を逸脱して隣接車線を走行する車両や走行車線外の障害物と接触する可能性が低減され、これによって、車両の走行安全性を向上させるようになっている。
【特許文献１】特開平１１−９６４９７号公報
【特許文献２】特開２００２−１９３０５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来のように、撮像装置を用いて車線からの逸脱を予測するようにした車線逸脱防止装置にあっては、特に高速道路等でよく見られる、分岐或いは合流区間において、検出中の走行車線の車線幅が変化することに起因して、ドライバが車線逸脱ではないと認識しているにも関わらず逸脱警報が発生される場合があり、ドライバに対して煩わしさ感を与える場合があるという問題がある。
そこで、この発明は上記従来の未解決の問題に着目してなされたものであり、走行路の状況に応じて車線逸脱を的確に行い、ドライバに煩わしさ感を与えることを回避することの可能な車線逸脱防止装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る車線逸脱防止装置は、走行車線における自車両の走行状態を検出し、当該走行状態に基づいて自車両が車線逸脱傾向にあるかどうかを検出するが、このとき、前方撮像手段で撮像した自車両前方の撮像画像と、後方撮像手段で撮像した自車両後方の撮像画像とに基づき自車両前方の前方走行路状況及び自車両後方の後方走行路状況をそれぞれ検出し、これら前方走行路状況及び後方走行路状況に基づいて、車線の合流区間を走行している状態、或いは車線の分岐区間を走行している状態等といった、走行路の構造を推測する。そして、この推測した走行路構造を用いて前記車線逸脱傾向の判断を行う。
【発明の効果】
【０００７】
本発明に係る車線逸脱防止装置は、前方撮像手段で撮像した自車両前方の撮像画像と、後方撮像手段で撮像した自車両後方の撮像画像とに基づき自車両前方の前方走行路状況及び自車両後方の後方走行路状況をそれぞれ検出し、これら前方走行路状況及び後方走行路状況に基づいて走行路の構造を推測し、この推測した走行路構造を用いて、自車両が走行車線から逸脱傾向にあるかどうかを検出するようにしたから、走行路の構造に即して車線逸脱判断を行うことができ、より的確に車線逸脱判断を行うことができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態を説明する。
図１は、本発明における車線逸脱防止装置の一例を示す概略構成図である。
図中、１は自車両前方を撮像するための前方カメラ、２は自車両後方を撮像するための後方カメラであって、前方カメラ１及び後方カメラ２は、例えばＣＣＤカメラ等で構成されている。
そして、図２に示すように、前記前方カメラ１は、車室内のフロントウィンドウの上部に配設されている。なお、図２において（ａ）は車線逸脱防止装置を搭載した車両２０の上面図、（ｂ）は側面図である。
【０００９】
そして、前記前方カメラ１は、そのレンズの光軸と車両中心線とのヨー角が零となり、且つ、レンズの光軸と車両中心線とのピッチ角が所定角度αｆとなるように配設され、車両２０の前方の数〔ｍ〕から数十〔ｍ〕先の走行路面を撮像するようになっている。なお、前方カメラ１は、車両の将来の走行軌跡を適切に予測する必要があるため、なるべく車両前方が広く撮像範囲に入るように前方カメラ１の光軸を地面に対して水平に近い角度で取り付けられていることが望ましい。すなわち前方カメラ１のピッチ角η（＝αｆ）が十分小さい値となるように取り付けられていることが望ましい。
【００１０】
一方、前記後方カメラ２は、図２に示すように、車幅方向中央位置であって、車室内のリヤトランク部にレンズの光軸と車両中心線とのヨー角が零となり、且つレンズの光軸と車両中心線とのピッチ角が所定角度となるように配設され、車両２０の後方の数〔ｍ〕以内の走行路面を撮像するようになっている。さらに後方カメラ２は、車両２０の最近傍位置を撮像範囲に含むように取り付けられ、つまり、後方カメラ２の鉛直真下方向が常に撮像されるように配設されている。
【００１１】
そして、これら前方カメラ１及び後方カメラ２で撮像された撮像情報は画像処理装置３に入力され、この画像処理装置３では、前方カメラ１及び後方カメラ２からの撮像情報に基づいて自車両と走行中の走行路上の車線区分線との相対的な位置関係を検出する。具体的には、前方カメラ１及び後方カメラ２の撮像情報それぞれに基づいて走行路上の道路白線、すなわち車線区分線を検出し、道路形状と車両挙動を表す複数のパラメータ（以後、道路パラメータという。）を用いて道路白線の形状を数学的に表した白線モデルと道路白線の検出結果とが一致するように各種道路パラメータを時間と共に更新していくことによって、道路白線を検出して道路形状及び車両挙動を推定する。
【００１２】
ここで、前記道路パラメータとしては、車線中心線に対する自車両の重心点横変位ｙcr、車線中心線に対する自車両のヨー角φｒ、車両のピッチ角η、前方カメラ１又は後方カメラ２の路面からの高さｈ、道路曲率（曲率半径の逆数）ρ、走行車線の車線幅Ｗ等があり、画像処理装置３は、これら道路パラメータを推定し、制御コントローラ１０に出力する。
【００１３】
また、車両の適所には、車速センサ４及び操舵角センサ５が配設され、これらセンサの検出信号は前記制御コントローラ１０に出力される。前記車速センサ４は、図示しない変速機の出力側の回転数や、車輪の回転数を計測すること等により車両の走行速度Ｖを検出する。また、ドライバの操舵状況を検出するための前記操舵角センサ５は、図示しないステアリングホイールと一体に回転するステアリングシャフトの回転変位を直接、又はギヤ機構によって増幅した後、ロータリエンコーダやポテンショメータ等の角度検出機構によって操舵角検出信号として検出する。
【００１４】
そして、前記制御コントローラ１０では、車速センサ４及び操舵角センサ５からの検出信号及び画像処理装置３からの各種道路パラメータをもとに、所定時間経過後の自車両の走行車線からの逸脱傾向を予測し、自車両が車線逸脱する可能性が高いと判定されるときには警報装置６を作動させる。
この警報装置６は、例えばブザーやオーディオ装置等により音声を発することによって聴覚的にドライバに注意を促すもの、また、操舵アクチュエータにより図示しないステアリングシャフトを振動させる等のように触覚的にドライバに注意を促すもの、また、メータ表示装置等のように、警報表示を行うことによって視覚的にドライバに注意を促すもの等で構成されている。
【００１５】
さらに制御コントローラ１０では自車両の車線逸脱傾向の度合が高いと判断される場合や、警報装置６によって警報を発しているにも関わらず、自車両が走行車線を逸脱してしまった場合には、自車両の走行車線からの逸脱を抑制するための逸脱防止制御装置７を駆動制御する。
この逸脱防止制御装置７は、車線逸脱傾向にある自車両の運動状態を修正するための制御装置であって、例えば、ドライバの操舵操作に関わらずステアリングシャフトを回転させることの可能な公知の補助操舵機構、及びこれを制御する制御装置を含んで構成され、制御コントローラ１０からの制御信号に応じて車線逸脱を抑制するために必要な操舵トルクを算出し、この操舵補助トルクを発生するよう補助操舵機構を駆動制御し、ステアリングシャフトの回転角度を調整することによって車両の運動状態を車線からの逸脱量が小さくなる方向に修正するようになっている。
【００１６】
なお、ここでは、ステアリングシャフトを回転制御することによって車線逸脱を防止する方向に制御するようにした場合について説明したが、これに限るものではなく、例えば前記逸脱防止制御装置７を、左右の制動力の配分を調整することの可能な公知の制動力制御回路を含んで構成し、制御コントローラ１０からの制御信号に応じて、左右の制動力配分を調整することで車両にヨーモーメントを発生させ、これによって、車両の運動状態を車線からの逸脱量が小さくなる方向に修正するようにしてもよい。
【００１７】
このように、この車線逸脱防止装置は、所定時間経過後の自車両の車線逸脱傾向の予測結果に基づいて自車両の走行状況を監視し、ドライバの不注意等で車両が走行車線から逸脱しそうな場合には、ドライバに対して視覚上、聴覚上、触覚上の警報を与えて走行車線からの逸脱回避操作を促すと共に、走行車線からの逸脱量が大きくなりすぎないように車両の運動状態を修正して車両の車線逸脱を防止するようにしている。
【００１８】
図３は、前記画像処理装置３で実行される、前方カメラ１からの撮像情報に基づいて道路白線を検出する場合の前方道路白線認識処理の処理手順の一例を示すフローチャートである。なお、画像処理装置３では、この前方道路白線認識処理を予め設定された所定周期で実行する。
この前方道路白線認識処理は、基本的には公知の道路白線認識処理と同様であって、まず、ステップＳ１で道路形状や車両挙動を表す状態変数、つまり前記道路パラメータの初期設定を行う。なお、初期状態では、道路及び白線の形状や車両挙動が不明であるから、各道路パラメータとして、例えばその中央値に相当する値を初期値として設定する。
【００１９】
例えば、車線中心線に対する自車両の重心点横変位、つまり自車両の横変位量ｙcrとしては車線中央を設定し、車線中心線に対する自車両のヨー角φｒとしては零度、車両のピッチ角ηとしては停止状態のαｆ、前方カメラ１の路面からの高さｈとしては前方カメラ１の取り付け時の高さ、道路曲率（曲率半径の逆数）ρとしては直線、走行車線の車線幅Ｗとしては、道路構造令に示される高速道路の車線幅を設定する。
【００２０】
次いで、ステップＳ２に移行し、例えば、図４に示すように、白線候補点を検出するための小領域の大きさの初期設定を行う。ここで、初期状態においては、ステップＳ１の処理で各種道路パラメータに初期値を設定した場合の白線モデルと、実際の撮像画面上の道路白線との間には大きな開きがあると予想されるので、できる限り大きな領域を設定することが望ましい。図４の場合には、左右の白線に対して５個ずつ、計１０個の白線候補点検出領域を設定する場合を表している。
【００２１】
なお、前回の処理までに道路白線が既に検出されている場合には、実際の道路白線と白線モデルとの差は小さいと考えられるので、例えば図５に示すように、白線モデルで特定される道路白線を含むできるだけ小さい領域を、白線候補点検出領域の大きさとして設定する。このように白線候補点検出領域をなるべく小さい領域に設定することで、道路白線以外のものを道路白線として誤検出することを回避し、処理速度を向上させるようになっている。
このようにして白線候補点検出領域を設定したならばステップＳ３に移行し、前方カメラ１により撮像された撮像画像を読み込む。
【００２２】
次いで、ステップＳ４に移行し、ステップＳ３で読み込んだ前方カメラ１からの撮像情報においてその道路画像上に白線候補点の検出領域を設定する。このとき、ステップＳ２で設定した白線候補点検出領域と、ステップＳ１又は後述のステップＳ９で設定した道路パラメータで特定される白線モデルとに基づいて、図６に示すように、前記白線モデルが、白線候補点検出領域の中心となるように道路画像上に白線候補点検出領域を設定する。図６の場合には、左右の道路白線に対して５個ずつ計１０個の白線候補点検出領域を設定している。なお、過去の白線モデルの変化状況から、白線モデルの変化方向にオフセットした位置に白線候補点検出領域を設定するようにしてもよい。
【００２３】
次いで、ステップＳ５に移行し、各白線候補点検出領域において白線候補点の検出を行う。この白線候補点の検出は、まず、前方カメラ１からの入力画像を、ｓｏｂｅｌフィルタ等を通すことにより微分画像を生成する。次に、白線候補点検出領域の上辺上の一点の画素と下辺上の一点の画素とを結んで形成される全ての線分に対して、図７に示すように、その線分上の画素の濃度が規定値以上である画素の数を計測する。
【００２４】
そして、全ての線分の中で、濃度が規定値以上の画素が最も多い線分を検出直線とし、その線分の始点の画素と終点の画素とを白線候補点とする。このとき、検出直線上の濃度の画素数が、白線候補点検出領域の長さに対する所定の割合よりも少ない場合には、白線候補点は検出されなかったものとみなす。つまり、例えば、白線候補点検出領域の長さが１５画素であって、濃度が規定値以上である画素がその半分、つまり、８画素以上検出されれば、白線候補点が検出されたとみなすようにした場合には、濃度が規定値以上である画素数が最も多い線分上における画素数が７画素未満の場合には、この白線候補点検出領域においては、白線候補点は検出されなかったものと判定する。逆に、濃度が規定値以上である画素数が最も多い線分のその画素数が９画素である場合には、白線候補点が検出されたものとみなし、この線分の始点及び終点を白線候補点として設定する。
【００２５】
以上の処理を各白線候補点検出領域に対して実行し、白線候補点検出領域毎に白線候補点を検出する。
なお、前記白線候補点の検出の有無を判断するための、白線候補点検出領域の長さに対する濃度が規定値以上である画素数の割合は、全ての白線候補点検出領域に対して同一としてもよいし、或いは白線候補点検出領域毎に設定するようにしてもよい。
また、上記濃度の規定値も、全ての白線候補点検出領域に対して同一としてもよいし、白線候補点検出領域毎に設定するようにしてもよい。
【００２６】
次いで、ステップＳ６に移行し、左右の道路白線それぞれについて、全ての白線候補点検出領域で検出した白線候補点の点数が規定値以上かどうかを判定し、左右の道路白線それぞれについて、これらが共に規定値以上でない場合は、今回の入力画像からは左右の道路白線を共に検出することができなかったとしてステップＳ７に移行する。そして、道路白線を検出することができたかどうかを表す前右検出フラグＦfr及び前左検出フラグＦflの設定を行い、左右の道路白線それぞれに対する白線候補点の総和がそれぞれ共に規定値以上でない場合には、左右の道路白線を共に検出することができなかったとして前記前右検出フラグＦfr及び前左検出フラグＦflを共に“０”に設定し、何れか一方の道路白線に対する白線候補点の総和が規定値以上である場合には、片方のみ道路白線を検出することができたとして、この道路白線に該当するフラグを“１”、該当しないフラグを“０”に設定する。そして、ステップＳ２に戻る。そして、上述したように白線候補点検出領域を初期設定し、次の入力画像に対して同様に処理を行う。
【００２７】
一方、ステップＳ６で左右の道路白線に対してそれぞれ白線候補点が規定値以上検出された場合にはステップＳ８に移行し、左右の道路白線を共に検出することができたとして、前記前右検出フラグＦfr及び前左検出フラグＦflを、共に“１”に設定した後ステップＳ９に移行する。
このステップＳ９では、図８に示すように、ステップＳ５で白線候補点検出領域毎に検出した白線候補点と、前回の処理で求めた白線モデル上の点とのずれ量を白線候補点毎に算出する。
【００２８】
具体的には、次の手順で算出する。
今、前方カメラ１に固定された実座標系Ｘ（左右方向）、Ｙ（上下方向）、Ｚ（前後方向）上の任意の点を画面座標系ｘ，ｙ上に投影すると、この点は次式（１）で表すことができる。
ｘ＝（−ｆ／Ｚ）・Ｘ
ｙ＝（−ｆ／Ｚ）・Ｙ      ……（１）
ただし、ｆはレンズパラメータであって、レンズの焦点距離に対応した係数である。
【００２９】
今、道路曲率ρがそれほど大きくなく、且つ道路面は平面であると仮定すると、Ｚ〔ｍ〕前方における車両中心線（カメラ中心線）に対する道路白線の座標は、次式（２）で表すことができる。なお、Ｘは横方向、Ｙは上下方向を表す。また、ηはピッチ角である。
なお、ここでは、簡略化のために道路曲率ρ及び道路面は平面であると仮定しているが、白線モデルの次数を大きくすることでより一般的な道路形状であっても成立するようになる。
Ｘ＝０．５×（Ｚ・cosη）2×ρ−Ｚ×cosηφｒ−ｙcr＋（０．５−ｉ）×Ｗ
Ｙ＝Ｚ×tanη−（ｈ／cosη）                                  ……（２）
ただし、ｉは、左白線の場合には、ｉ＝０、右白線の場合にはｉ＝１である。
ここで、前記（１）及び（２）式から白線モデルを撮像画面上に投影した座標値は次式（３）で表される。
ｘ
＝[(ｙcr/ｈ)-(１-２ｉ)・Ｗ/２ｈ]・[ｙ+ｆη]+ｆφｒ-(０．５ｆ2ｈρ)/(ｙ+ｆη）
……（３）
【００３０】
そして、ステップＳ５で検出した白線候補点と、前回の処理で求めた道路パラメータを前記（３）式に代入して得られる撮像画面上に投影された白線モデルとのずれ量を各点毎に算出する。ここで、道路パラメータを、次式（４）とおくと、前記（３）式は次式（５）で表すことができる。
ａ＝ｙcr／ｈ、ｂ＝−０．５×ｆ2ｈρ、ｃ＝ｆφｒ
ｄ＝−ｆη、ｅ＝Ｗ／２ｈ                                    ……（４）
ｘ＝（ａ−ｅ）・（ｙ−ｄ）＋ｂ／（ｙ−ｄ）＋ｃ    （左）
ｘ＝（ａ＋ｅ）・（ｙ−ｄ）＋ｂ／（ｙ−ｄ）＋ｃ    （右）    ……（５）
【００３１】
そして、前記（５）式に基づいて白線候補点毎に白線モデルとのずれ量を算出したならばステップＳ１０に移行し、各白線候補点のずれ量に基づいて各道路パラメータの変動量Δａ〜Δｅを算出する。この変動量の算出は、例えば、特開平８−５３８８号公報に記載されているように、テイラーの定理を用いて最小二乗法により算出する公知の方法を用いることができる。
次いで、ステップＳ１１に移行し、ステップＳ１０で算出した道路パラメータの変動量Δａ〜Δｅを用いて道路パラメータを補正する。例えば、前記（５）式に示す白線モデルの場合には、（６）式にしたがって、道路パラメータａ〜ｅを更新する。
ａ＝ａ＋Δａ、ｂ＝ｂ＋Δｂ、ｃ＝ｃ＋Δｃ、
ｄ＝ｄ＋Δｄ、ｅ＝ｅ＋Δｅ                                ……（６）
【００３２】
そして、このようにして更新した道路パラメータａ〜ｅを新たな白線モデルの道路パラメータとして所定の記憶領域に記憶すると共に、前記（４）式を用いて変数ａ〜ｅを実際の物理量に変換した各道路パラメータも記憶する。
さらに、後述の後方道路白線認識処理において車線幅記憶領域に格納された車線幅Ｗを読み出し、これを前方道路白線認識処理において用いる車線幅Ｗとして更新記憶する。そして、ステップＳ３に戻る。
以上の処理を繰り返し行うことにより、各入力画像に対して道路パラメータの検出が行われ、白線モデルが順次更新されることになる。
【００３３】
図９は、前記画像処理装置３で実行される、後方カメラ２からの撮像情報に基づいて道路白線を検出する場合の後方道路白線認識処理の処理手順の一例を示すフローチャートである。なお、画像処理装置３では、この後方道路白線認識処理を予め設定された所定周期で実行する。
ここで、後方カメラ２は、自車両鉛直真下方向が撮像されるように配置されるから、前記（２）式のＸ座標を表す式において、右辺の第１項を無視することができる撮像範囲となるように配設されていることになる。
【００３４】
したがって、道路白線を後方カメラ２による撮像画面上に投影した場合、その位置座標は、次式（７）で表すことができる。
ｘ＝｛（ｙcr／ｈ）−（１−２ｉ）・Ｗ／２ｈ｝・｛ｙ・cosη＋ｆ・sinη｝
……（７）
また、車両最近傍が常に撮像範囲内となるように後方カメラ２が配設されることから、道路白線を撮像画面上に投影したときの車両最近傍点における道路白線の座標は、次式（８）が成り立つことから、次式（９）で表すことができる。
Ｙ＞−Ｚ／tanη
ｙ＝（−ｆ／Ｚ）・Ｙ＜ｆ／tanη    ……（８）
ｘ＝２ｆ・sinη・｛（ｙcr／ｈ）−（１−２ｉ）・Ｗ／２ｈ｝    ……（９）
【００３５】
この（９）式を、ピッチ角ηを固定値とし、左右の検出点について連立すると、走行車線の車線幅Ｗは次式（１０）で、また、横変位ｙcrは次式（１１）で表すことができる。
Ｗ＝ｈ／（２ｆ・sinη）×（ｘR−ｘL）      ……（１０）
ｙcr＝ｈ／（４ｆ・sinη）×（ｘR＋ｘL）      ……（１１）
したがって、図９の後方道路白線認識処理では、次の手順で処理を行う。
まず、ステップＳ２１で、前記図３の前方道路白線認識処理で算出された、道路形状や車両挙動を表す各種道路パラメータを読み込む。
【００３６】
次いで、ステップＳ２２に移行し、図１０に示すように、白線候補点を検出するための小領域の大きさの初期設定を行う。なお、図１０では、左右の道路白線に対してそれぞれ１つずつ計２個の小領域を設定する。
ここで、初期状態においては、道路パラメータに初期値を設定した白線モデルと、実際の撮像画面上の道路白線との間には大きな開きがあると予想されるので、できる限り大きな領域を設定することが望ましい。また、初期状態時においては、道路白線は検出されていないから、車線幅が広くなっている場合も考慮して、小領域は外側に広く設定する。なお、前回の処理までに道路白線が既に検出されている場合には、実際の道路白線と白線モデルとの差は小さいと考えられるので、例えば図１１に示すように、白線モデルを含むできるだけ小さい領域を、白線候補点検出領域の大きさとして設定する。このように白線候補点検出領域をできるだけ小さい領域に設定することで、道路白線以外のものを道路白線として誤検出することを回避し、処理速度を向上させるようになっている。
【００３７】
このようにして白線候補点検出領域の大きさを設定したならばステップＳ２３に移行し、後方カメラ２により撮像された撮像画像を読み込む。
次いで、ステップＳ２４に移行し、ステップＳ２３で読み込んだ後方カメラ２からの撮像画像においてその撮像画像上に白線候補点の検出領域を設定する。このとき、ステップＳ２２で設定した白線候補点検出領域の大きさに基づいて、図１１に示すように、前記白線モデルが、領域の中心となるように撮像画像上に白線候補点の検出領域を設定する。図１１の場合には、左右の道路白線に１個ずつ計２個の白線候補点検出領域を設定している。なお、過去の白線モデルの変化状況から、白線モデルの変化方向にオフセットした位置に白線候補点検出領域を設定するようにしてもよい。
【００３８】
次いで、ステップＳ２５に移行し、各白線候補点検出領域において白線候補点の検出を行う。この白線候補点の検出は、まず、後方カメラ２からの入力画像を、ｓｏｂｅｌフィルタ等を通すことにより微分画像を生成する。次に、白線候補点検出領域の上辺の画素一点と下辺の画素一点とを結んで形成される全ての線分に対して、前方カメラ１の撮像画像に対する処理と同様に、前記図７に示すように、その線分上の画素の濃度が規定値以上である画素の数を計測する。そして、全ての線分の中で、濃度が規定値以上の画素が最も多い線分を検出直線とし、その線分の始点と終点とを白線候補点とする。このとき、検出直線上の、濃度が規定値以上である画素数が、白線候補点検出領域の長さに対する所定の割合よりも少ない場合には、白線候補点は検出されなかったものとみなす。つまり、例えば、白線候補点検出領域の長さが４０画素であって、濃度が規定値以上である画素がその半分、つまり、２０画素以上検出されれば、白線候補点が検出されたとみなすようにした場合には、濃度が規定値以上である画素数が最も多い線分における、その画素数が２０画素未満の場合には、この白線候補点検出領域においては、白線候補点は検出されなかったものと判定する。逆に、濃度が規定値以上である画素数が最も多い線分において、その画素数が２０画素である場合には、白線候補点が検出されたものとみなし、この線分の始点及び終点を白線候補点として設定する。
【００３９】
以上の処理を各白線候補点検出領域に対して実行し、白線候補点検出領域毎に白線候補点を検出する。
このとき、白線候補点の検出の有無を判断するための、白線候補点検出領域の長さに対する濃度が規定値以上である画素数の割合は、全ての白線候補点検出領域に対して同一としてもよいし、或いは白線候補点検出領域毎に設定するようにしてもよい。また、上記濃度の規定値も、全ての白線候補点検出領域に対して同一としてもよいし、白線候補点検出領域毎に設定するようにしてもよい。
【００４０】
次いで、ステップＳ２６に移行し、左右の道路白線それぞれについて、各白線候補点検出領域で検出した白線候補点の点数の総和が規定値以上かどうかを判定し、左右の道路白線について、その白線候補点の点数の総和が共に規定値以上でない場合には、左右の道路白線を共に検出することができなかったとしてステップＳ２７に移行する。そして、道路白線を検出することができたかどうかを表す後右検出フラグＦrr及び後左検出フラグＦrlの設定を行い、左右の道路白線それぞれに対する白線候補点の総和がそれぞれ共に規定値以上でない場合には、左右の道路白線を共に検出することができなかったとして前記後右検出フラグＦrr及び後左検出フラグＦrlを共に“０”に設定し、何れか一方の道路白線に対する白線候補点の総和が規定値以上である場合には、片方のみ道路白線を検出することができたとして、この道路白線に該当するフラグを“１”、該当しないフラグを“０”に設定する。そして、ステップＳ２２に戻る。そして、上述したように白線候補点検出領域を初期設定し、次の入力画像に対して同様に処理を行う。
【００４１】
一方、ステップＳ２６で白線候補点の点数の総和がそれぞれ規定値以上検出されている場合には、ステップＳ２８に移行し、左右の道路白線を共に検出することができたとして、前記後右検出フラグＦrr及び後左検出フラグＦrlを共に“１”に設定した後、ステップＳ２９に移行する。
このステップＳ２９では、図１１に示すように、検出された各白線候補点を貫く直線と、車両最近傍線、つまり、後方カメラ２では自車両の一部がその撮像範囲に含まれるように配設されているから、自車両の一部分に相当する自車両に最も近い地点を表す直線との交点における位置座標ｘR及びｘLを特定する。そして、これらを用いて前記（１０）式から走行車線の車線幅Ｗを算出すると共に、前記（１１）式から自車両の車線中央からの横変位ｙcrを算出する。
【００４２】
そして、算出した車線幅Ｗに対し、ローパスフィルタ処理を行ってノイズ成分を十分に除去した後、これを車線幅記憶領域に更新記憶する。なお、ここでは、ローパスフィルタ処理を行って逐次車線幅記憶領域に更新記憶するようにした場合について説明したが、これに限るものではなく、例えば、一定時間以上、変動の少ない車線幅が検出された場合にこれを車線幅記憶領域に更新記憶し、また、その更新記憶周期を、前回更新時から所定時間以上経過したときに限定することによって、後方道路白線認識処理においてノイズ等を誤検知した場合であっても、前方道路白線認識処理における道路パラメータの算出に与える影響を小さくすることができ、好適である。
【００４３】
そして、このようにして、車線幅記憶領域への更新記憶を終了したならばステップＳ２３に戻って、上記と同様に処理を行う。
以上の処理を後方カメラ２からの入力画像毎に行うことで、車線幅Ｗ及び横変位ｙcrを順次算出する。
ここで、前記各種道路パラメータは、前方カメラ１や後方カメラ２の取り付け高さ、また、道路幅Ｗ等に基づいて算出するようにしているため、乗員や搭載荷物の重量の変動等によって車両の車高が変化した場合、或いは道路幅Ｗが変化した場合等には、各種道路パラメータの算出を的確に行うことができない場合がある。
【００４４】
しかしながら、上述のように、後方カメラ２の撮像情報に基づいて車線幅Ｗを検出し、これに基づいて道路パラメータを算出するようにしている。そして、この後方カメラ２は、その光軸を水平ではなく、できるだけ車両近傍が撮像範囲となるように下向きに配置し、且つ自車両の一部が撮像範囲内に含まれるように設置したため、撮像方向の略鉛直下方向が撮像されることになる。ここで撮像画像における道路白線を表す直線と車両端に相当する画像との交点の座標は、後方カメラ２の設置角度が、光軸が真下方向となるほど、車両がピッチングしたときの影響を受けにくくなり、車両運動にピッチング運動が伴う場合であっても誤差の少ない車線幅推定値を算出することが可能となる。
【００４５】
また、このとき、後方カメラ２の画像情報に基づいて車線幅Ｗを検出するようにしているから、車重の変動等によって前方カメラ１や後方カメラ２の高さが変動した場合、或いは走行路の車線幅Ｗ自体が変化した場合であっても、高精度に車線幅Ｗを検出することができる。
図１２は、上述のようにして、前記画像処理装置３で検出された前方カメラ１及び後方カメラ２の撮像情報に基づいて検出された各種道路パラメータを用いて制御コントローラ１０で実行される走行状況監視処理の処理手順の一例を示すフローチャートである。
【００４６】
この走行状況監視処理では、まずステップＳ３１で、車速センサ４からの自車両の走行速度Ｖ及び操舵角センサ５からの操舵角δを読み込む。
次いで、ステップＳ３２に移行し、前記画像処理装置３で前方カメラ１の撮像情報に基づいて検出した道路パラメータを読み込む。具体的には、前記後方道路白線認識処理で算出した自車両の横変位ｙcr、さらに、前右検出フラグＦfr、前左検出フラグＦflを読み込む。また、前記前方道路白線認識処理で算出した道路曲率ρ、道路に対する自車両のヨー角φｒを読み込み、さらに、後右検出フラグＦrr、後左検出フラグＦrlを読み込む。
【００４７】
次いで、ステップＳ３３に移行し、ステップＳ３２で読み込んだ各フラグに基づいて、道路状況の推定処理を行う。この道路状況の推定処理は、具体的には、図１３のフローチャートに示す処理手順で処理を行う。
まず、ステップＳ４１で状態変数ＳがＳ＜１であるかどうかを判定する。なお、この状態変数Ｓは初期状態ではＳ＝０に設定されている。
【００４８】
そして、状態変数ＳがＳ＜１である場合には、ステップＳ４２に移行し、前右検出フラグＦfrに基づいて、前方カメラ１の撮像画像から検出される前右側車線区分線をロスト、つまり検出できていない状態であるかどうかを判定する。そして、前記前右検出フラグＦfrが“０”であって、前右側車線区分線を検出していない状態つまりロストした状態である場合には、ステップＳ４２からステップＳ４３に移行し、状態変数ＳをＳ＝１に更新する。そして、後述のステップＳ４７に移行する。
【００４９】
一方、前記ステップＳ４２で前右側車線区分線をロストした状態でない場合、つまり前右検出フラグＦＦfrが“１”であって右側車線区分線を検出することができている場合にはそのままステップＳ４７に移行する。
そして、このステップＳ４７では、右前側車線区分線及び右後側車線区分線を共に検出している状態であるかどうかを判定し、右前側車線区分線及び右後側車線区分線を共に検出している状態である場合にはステップＳ４８に移行し、状態変数ＳをＳ＝０とする。そして、処理を終了する。一方、ステップＳ４７で右前側車線区分線をロストしている場合、又は右後側車線区分線をロストしている場合、つまり、右前側車線区分線及び右後側車線区分線を共に検出していない場合には、そのまま処理を終了する。
【００５０】
そして、前記ステップＳ４１で状態変数ＳがＳ＜１でない場合には、ステップＳ５１に移行し、状態変数ＳがＳ＜２であるかどうかを判定する。そして、状態変数ＳがＳ＜２である場合にはステップＳ５２に移行し、前右検出フラグＦfrに基づき右前側車線区分線をロストした状態であるかどうかを判定する。そして、前右検出フラグＦfrが“０”であって、右前側車線区分線をロストした状態である場合にはステップＳ５３に移行し、次に、後右検出フラグＦrrに基づいて、右後側車線区分線をロストした状態であるかどうかを判定する。そして、後右検出フラグＦrrが“０”であって、右後側車線区分線をロストした状態である場合には、ステップＳ５４に移行し、状態変数ＳをＳ＝２に設定する。そして、ステップＳ４７に移行する。また、前記ステップＳ５３で右後側車線区分線をロストした状態である場合にはそのままステップＳ４７に移行する。
【００５１】
一方、前記ステップＳ５２で、右前側車線区分線をロストしていない場合には、ステップＳ４９に移行し、状態変数ＳをＳ＝５に設定する。そして、処理を終了する。
一方、前記ステップＳ５１で、状態変数ＳがＳ＜２でない場合にはステップＳ５６に移行し、状態変数がＳ＜３であるかどうかを判定する。そして、Ｓ＜３である場合には、ステップＳ５７に移行し、後右検出フラグＦrrに基づいて右後側車線区分線をロストした状態であるかどうかを判定する。そして、右後側車線区分線をロストしていないときには前記ステップＳ４９に移行し、右後側車線区分線をロストした状態である場合には、ステップＳ５８に移行し、次に、前右検出フラグＦfrに基づいて右前側車線区分線をロストした状態であるかどうかを判定する。そして、右前側車線区分線をロストした状態である場合にはそのままステップＳ４７に移行し、右前側車線区分線を検出している場合には、ステップＳ５９に移行し、状態変数ＳをＳ＝３に更新する。
【００５２】
一方、前記ステップＳ５６で、状態変数ＳがＳ＜３でない場合には、ステップＳ６１に移行し、次に、状態変数ＳがＳ＜４であるかどうかを判定する。そして、状態変数ＳがＳ＜４でない場合には、そのまま前記ステップＳ４７に移行し、状態変数ＳがＳ＜４である場合にはステップＳ６２に移行する。このステップＳ６２では、前右検出フラグＦfrに基づいて右前側車線区分線をロストした状態であるかどうかを判定し、右前側車線区分線をロストした状態である場合には、前記ステップＳ４９に移行し、右前側車線区分線を検出している場合には、ステップＳ６３に移行する。このステップＳ６３では、後右検出フラグＦrrに基づいて右後側車線区分線をロストした状態であるかどうかを判定し、右後側車線区分線をロストした状態である場合にはそのままステップＳ４７に移行し、右後側車線区分線を検出している場合にはステップＳ６４に移行し、状態変数ＳをＳ＝４に設定する。そして、ステップＳ４７に移行する。
【００５３】
つまり、状態変数Ｓは、右前側車線区分線及び右後側車線区分線を共に検出している状態である場合にはＳ＝０、この状態から、右前側車線区分線をロストしたとき状態変数はＳ＝１、さらにこの状態から右後側車線区分線をロストしたとき状態変数はＳ＝２、この状態から右前側車線区分線を検出したとき状態変数はＳ＝３、そして、さらに右後側車線区分線を検出したとき状態変数はＳ＝４となる。すなわち、右前側車線区分線及び右後側車線区分線を共に検出している状態から、右前側車線区分線をロストし、右後側車線区分線をロストした後、再度右前側車線区分線、右後側車線区分線の順に検出する状態のパターンで遷移したかどうかを検出している。そして、このパターンで変化しない場合には、状態変数はＳ＝５となる。そして、右側前側車線区分線及び右後側車線区分線を共に検出する状態となったとき状態変数がＳ＝０にリセットされるようになっている。
【００５４】
ここで、右前側車線区分線及び右後側車線区分線の検出状態が前述のようなパターンで遷移する状況は、すなわち、図１４に示すように、自車両の走行車線に対し、右側の車線が合流するようになっている合流区間を走行している場合の遷移パターンとなる。したがって、図１３に示す道路状況推定処理を行うことによって、図１４に示すような合流区間を走行しているかどうかを検出することができる。
【００５５】
なお、図１３では、自車両の走行車線に対し、右側の車線が合流するようになっている合流区間を走行している場合の遷移パターンを検出するようにした場合について説明したが、自車両の走行車線に対し、左側の車線が合流するようになっている合流区間を検出することも可能であって、この場合には、左前側車線区分線及び左後側車線区分線を共に検出している状態から、左前側車線区分線をロストし、左後側車線区分線をロストした後、再度左前側車線区分線、左後側車線区分線の順に検出するパターンで状態が遷移したかどうかを検出するようにすればよい。
【００５６】
このようにして、図１２のステップＳ３３の処理で道路状況推定処理を行ったならばステップＳ３４に移行し、後述の逸脱警報の判定用しきい値を設定する処理を行った後、ステップＳ３５に移行し、ステップＳ３４で設定した逸脱警報の判定用しきい値の設定処理で設定した判定用しきい値に基づいて、後述の逸脱警報処理を行う。
この逸脱警報処理は、図１５に示す手順で行う。
【００５７】
すなわち、まず、ステップＳ７１で、図１６に示すように、逸脱余裕時間Ｔlcが経過した時点における横変位予測値ｙｓを次式（１２）に基づいて算出する。なお、式（１２）中のｙcrは後方道路白線認識処理で算出される自車両の重心点横変位、φｒ及びρは、前方道路白線認識処理で算出される自車両のヨー角及び道路曲率である。なお、（１２）式において車線中央から右方向への横変位予測値ｙｓを正値とする。
【００５８】
【数１】
2005182407.tif 000003
【００５９】
次いで、ステップＳ７２に移行し、前記ステップＳ７１の処理で算出した横変位予測値ｙｓが、前記ステップＳ３４の処理で設定した右側方向へのしきい値Ｙthｒよりも大きいかどうかを判定し、横変位予測値ｙｓがしきい値Ｙthｒよりも大きいときには、車線逸脱の可能性が高いとしてステップＳ７３に移行し警報装置６を作動して、右側方向への車線逸脱を通知するための警報を発生させる。そして、後述のステップＳ８１に移行する。
【００６０】
一方、前記ステップＳ７２で横変位予測値ｙｓがしきい値Ｙthｒ以下であるときには、右側方向への車線逸脱の可能性は低いとしてステップＳ７４に移行し、警報装置６によって、右側方向への車線逸脱警報を発生させている場合にはこれを解除する。
次いでステップＳ７５に移行し、次に、ステップＳ７１で算出した横変位予測値ｙｓが左側方向へのしきい値Ｙthｌよりも小さいかどうかを判定し、横変位予測値ｙｓが左側方向へのしきい値Ｙthｌよりも小さいときにはステップＳ７６に移行し、左側方向への車線逸脱の可能性が高いとして左側方向への車線逸脱警報を発生させる。そしてステップＳ８１に移行する。
【００６１】
一方、前記ステップＳ７５で横変位予測値ｙｓが左側方向へのしきい値Ｙthｌ以上であるときにはステップＳ７７に移行し、左側方向への車線逸脱の可能性が低いとして左側方向への車線逸脱警報を発生させている場合にはこれを解除する。そして処理を終了する。
一方、前記ステップＳ８１では、前記ステップＳ７３又は前記ステップＳ７６で、右側方向又は左側方向への車線逸脱の可能性が高いと判定されていることから、前記逸脱防止制御装置７を駆動するための逸脱防止制御指令値を算出する。この逸脱防止制御指令値は、例えば、次式（１３）をもとに算出する。なお、式（１３）中のＹthは、右側方向へ車線逸脱する傾向にある場合には、Ｙth＝Ｙthｒとし、左側方向へ車線逸脱する傾向にある場合にはＹth＝Ｙthｌとする。
Ｔ＝−Ｋ（ｙｓ−Ｙth）          ……（１３）
【００６２】
つまり、例えば、前記逸脱防止制御装置７がステアリングシャフトを回転制御する操舵補助機構を含んで構成され、例えば右側方向に車線逸脱する傾向にある場合には、前記逸脱防止制御指令値は、横変位予測値ｙｓと右側方向へのしきい値Ｙthｒとの差分に応じた、前記ステアリングシャフトを左側方向に回転制御するための制御信号となる。逆に、左側方向に車線逸脱する傾向にある場合には、前記逸脱防止制御指令値は、横変位予測値ｙｓと左側方向へのしきい値Ｙthｌとの差分に応じた、前記ステアリングシャフトを右側方向に回転制御するための制御信号となる。
【００６３】
なお、前記ステップＳ７１の横変位予測値ｙｓの算出において用いられる逸脱余裕時間Ｔlcは、ドライバが警報に気づいて逸脱回避操舵を開始するまでの所要時間であって、例えば、１．０〔ｓ〕程度要する場合には、Ｔlc＝１．０と設定することで、車両が車線逸脱する１．０〔ｓ〕前に逸脱警報が開始させることになる。したがって、ドライバは余裕を持って操舵回避操作を行うことができ確実な逸脱回避操作をドライバに促すことができるようになっている。
【００６４】
次に、前記ステップＳ３４での逸脱警報の判定用しきい値を修正する処理は、次の手順で行う。
ここで、前述のように、右前方車線区分線及び右後方車線区分線の認識状態が、右前方及び後方車線区分線認識中→右前方車線区分線非認識→右後方車線区分線非認識→右前方車線区分線認識→右後方車線区分線認識のようなパターンで遷移したことが検出された場合、推定される道路状況としては、図１４に示すように合流区間を走行している状態と推定することができる。すなわち、右前方車線区分線が車線幅の拡大なく非認識状態となり、且つその後、右後方車線区分線が非認識になった場合はまさに合流区間を走行中とみなすことができる。
【００６５】
このとき、ドライバ側から走行車線を見ると、見かけ上はとても幅の広い車線を走行中であるように感じられる。このためドライバは無意識のうちに、広がった車線の中央よりを走行させてしまう傾向がある。このため、車線幅が再び元通りの幅まで狭くなる区間に差しかかった場合、ドライバは車線幅が狭まるにつれて元通りの走行軌跡に戻そうとするが、このときの運転操作は幅が狭くなるのにつれて徐々に行われるため、合流区間終了部の車線幅が遷移する区間においては、一旦合流車線側の車線区分線に車両が接近してしまう。このため、実際には、車線逸脱ではないのであるが、車線逸脱傾向にあると判定されて、煩雑な車線逸脱警報が発生されやすくなるという問題点がある。
【００６６】
したがって、車線区分線が非検出と判定された側、つまり、図１４の場合には、右側の前方車線区分線が非検出状態となったとき右側方向への車線逸脱判定用のしきい値Ｙthｒとして、図１７に示すように、右前方の車線区分線が非検出状態となった時点ｔ１で、通常時のしきい値Ｙthｒ１よりも値の大きなしきい値Ｙthｒ２に設定する。また、右側及び左側の前方車線区分線を共に検出することができている場合には、前記車線逸脱判定用のしきい値Ｙthｒとして通常のしきい値Ｙthｒ１を設定する。
【００６７】
ただし、非認識と判定されたのと反対側の車線認識状態、つまり、図１４の場合には左側の前方車線区分線が認識中であり、且つこの認識中の車線区分線から所定距離の範囲内を走行している場合、すなわち、自車両がこれまでの走行車線を維持して走行している場合には、合流区間であっても前述のように自車両が右側寄りに走行することはないから、煩雑な警報が行われることはない。したがって、この場合には車線逸脱判定用のしきい値Ｙthｒは、通常時のしきい値Ｙthｒ１に設定する。
【００６８】
したがって、左右の走行車線が検出されている状態から、右側の前方車線区分線が非検出状態、つまり、図１３の道路状況推定処理において、状態変数ＳがＳ＝１であり、且つ車線中心線に対する自車両の重心点横変位ｙcrに基づいて自車両の走行位置が左側の車線区分線から所定距離以上離れた位置を走行していると判定され、右側寄りを走行していると判定されるときには、車線逸脱判定用のしきい値ＹthｒとしてＹthｒ２を設定する。そして、状態変数ＳがＳ＝１、Ｓ＝２、Ｓ＝３である間は、前記しきい値ＹthｒとしてＹthｒ２を設定する。
【００６９】
そして、図１７に示すように時点ｔ２で右前方の車線区分線を検出する状態となり、時点ｔ３で右後方の車線区分線を検出する状態となって状態変数ＳがＳ＝４となったときには、合流区間を通過し終えたとみなすことができるから、車線逸脱判定用のしきい値Ｙthｒとして通常のＹth１を設定するが、このとき、例えば、図１７に示すように、時点ｔ３で右後方の車線区分線を検出する状態となってから所定時間Δｔが経過するまでの間はこれまでのしきい値Ｙth２を維持し、Δｔが経過した時点ｔ４でしきい値Ｙthｒの減少を開始し、このとき、しきい値Ｙthが所定の傾きでしきい値Ｙthｒ２からＹthｒ１まで減少するように設定する。つまり、合流区間通過後の初期時には、自車両が右側よりから車線中央よりへ移行している状態であるから、しきい値Ｙthｒを所定時間Δｔの間は大きな値Ｙth２に維持し、自車両が車線中央よりへの走行を終了したとみなすことができる時点でしきい値ＹthｒをＹth２から徐々にＹth１に減少させることによって、自車両の走行位置に即してしきい値Ｙthｒを設定し、より的確に車線逸脱判断を行うようにしている。
【００７０】
なお、ここでは、前記図１４に示すように、自車両の走行車線に対し、右側の車線が合流するような合流区間の場合について説明しているため、右側方向への車線逸脱判定用のしきい値Ｙthｒを右側の前後の検出フラグＦfr、Ｆflに基づいて変更するようにした場合について説明したが、自車両の走行車線に対し、左側の車線が合流するような合流区間の場合には、同様にして、左側方向への車線逸脱判定用のしきい値Ｙthｌを左側の前後の検出フラグＦrr、Ｆrlに基づいて変更するようにすればよい。
【００７１】
次に、上記実施の形態の動作を説明する。
前記前方カメラ１の撮像情報は画像処理装置３に入力され、ここで、前記前方道路白線認識処理が実行され、前方撮像画像に対して画像処理が行われ、道路形状及び自車両の走行状態を表す各種道路パラメータが算出されると共に、前方撮像画像に基づいて左右の車線区分線を検出することができたかどうかに基づいて、前右検出フラグＦfr及び前左検出フラグＦflの設定が行われる。
【００７２】
また、後方カメラ２の撮像情報は画像処理装置３に入力され、ここで、前記後方道路白線認識処理が実行され、後方撮像画像に対して画像処理が行われ、走行車線の車線幅Ｗｒ（なお、添字ｒは、後方撮像画像に基づく車線幅であること表す。）及び横変位ｙcrが算出される。また、後方撮像画像から左右の車線区分線を共に検出することができたかどうかに基づいて、後右検出フラグＦrr及び後左検出フラグＦrlの設定が行われる。
【００７３】
ここで、前記各種道路パラメータは、前方カメラ１や後方カメラ２の取り付け高さ、また、車線幅Ｗ等に基づいて算出するようにしているため、乗員や搭載荷物の重量の変動等によって車両の車高が変化した場合、或いは車線幅Ｗが変化した場合等には、各種道路パラメータの算出を的確に行うことができない場合がある。
また、前記後方カメラ２の撮像情報に基づいて車線幅Ｗｒ及び横変位ｙcrを算出するようにしており、この後方カメラ２は、その光軸を水平ではなく、できるだけ車両近傍が撮像範囲となるように下向きに配置し、且つ自車両の一部が撮像範囲内に含まれるように設置したため、撮像方向の略鉛直下方向が撮像されることになる。ここで撮像画像における道路白線を表す直線と車両端に相当する画像との交点の座標は、後方カメラ２の設置角度が、光軸が真下方向となるほど、車両がピッチングしたときの影響を受けにくくなり、車両運動にピッチング運動が伴う場合であっても誤差の少ない車線幅推定値を算出することが可能となる。
【００７４】
そして、このようにして算出した後方撮像画像に基づく車線幅Ｗｒに基づいて前方撮像画像に基づき各種道路パラメータを算出し、このようにして算出した道路パラメータ及び後方撮像画像に基づいて算出した横変位ｙcr、さらに、自車両の走行状態及び各車線検出フラグに基づいて走行状況監視処理を行って車線逸脱の判断を行う。
ここで、今、自車両が、所定間隔で左右の車線区分線が配設されている走行路を走行している状態では、前方カメラ１及び後方カメラ２によって左右の車線区分線が検出されるから、前側の左右の検出フラグＦfr、Ｆflは共に“１”、後側の左右の検出フラグＦrr、Ｆrlは共に“１”に設定される。このため、図１２のステップＳ３３における道路状況推定処理において、図１３のステップＳ４１からＳ４２、Ｓ４７を経てＳ４８に移行し、状態変数ＳはＳ＝０に設定される。
【００７５】
したがって、状態変数ＳがＳ＝０であることから、車線逸脱の判定用しきい値Ｙthｒ、図１７（ａ）に示すように、通常時の値Ｙthｒ１に設定される。また、図１７（ｂ）に示すように、このときの前後の撮像画像に基づいて算出される車線幅Ｗｆ（なお、添字ｆは、前方撮像画像に基づく車線幅であることを表す。）、Ｗｒは略一定となる。また、このとき、車線逸脱の判定用しきい値Ｙthｌも通常の値、例えばＹthｌ１に設定される（ステップＳ３４）。
【００７６】
そして、このときの横変位予測値ｙｓが、前記車線逸脱の判定用のしきい値Ｙthｒ又はＹthｌを超えて車線区分線側の値となり、自車両が車線区分線よりに位置することが検出されるとき、警報を発生する必要があるとして警報装置６によって警報が発生されると共に、逸脱防止制御装置７によってこの車線逸脱を抑制する方向への車両状態の制御が行われる。
【００７７】
この状態から、自車両が図１４に示すような、右側車線が自車両の走行車線に合流する合流区間にさしかかると、自車両からみて右側の車線区分線がより離れた位置に配設されていることから、まず前方カメラ１において、右側の車線区分線を検出することができなくなり、さらに後方カメラ２において右側の車線区分線を検出することができなくなる。したがって、前記ステップＳ３３での道路状況推定処理において、前方カメラ１で右側の車線区分線を検出することができなくなったときに、ステップＳ４２からステップＳ４３に移行して状態変数ＳがＳ＝１となり、さらに、後方カメラ２で右側の車線区分線を検出することができなくなった時点でステップＳ５３からステップＳ５４に移行し状態変数がＳ＝２となる。
【００７８】
そして、自車両が合流区間にさしかかり、右側の車線区分線側に車線幅が広がったために、意図せず自車両の走行位置が右側の車線区分線よりとなり、左側の車線区分線から自車両の走行位置までの距離が許容範囲を超えると、この時点ｔ１で、ステップＳ３４での逸脱判定しきい値の設定処理において、逸脱判定用のしきい値ＹthｒはＹthｒ＝Ｙthｒ２に変更され、状態変数ＳがＳ＝２である間、しきい値ＹthｒはＹthｒ＝Ｙthｒ２に維持される。
【００７９】
したがって、自車両の走行位置が右側の車線区分線よりとなった場合であっても、右側の逸脱判定のしきい値Ｙthｒは通常よりも値の大きなＹthｒ２に維持されるから、自車両の横変位予測値ｙｓが通常のしきい値Ｙthｒ１を上回ったとしても逸脱傾向であると判定されることはない。
また、このとき、しきい値Ｙthｒとしてより大きな値のＹthｒ２に変更するようにしているが、このとき、自車両は図１４に示すように、合流区間を走行しており、右側の車線区分線は通常よりもより遠い位置に配設されているから、より大きなしきい値Ｙthｒ２に基づいて車線逸脱の判断を行うようにしても問題はない。また、横変位予測値ｙｓがしきい値Ｙthｒ２を超えたときには、逸脱傾向にあると判定されて警報が発生されるから、しきい値Ｙthｒを変更した場合であっても的確に車線逸脱を検出することができる。
【００８０】
そして、この合流区間を走行している状態から合流区間の終了地点近傍に達し、右側の車線区分線側の幅が徐々に狭くなり、これに伴って自車両が車線中央よりに移行する状態となると、自車両の前方カメラ１で右側の車線区分線を再検出する状態となった時点で、図１３の道路状況推定処理において、ステップＳ５８からステップＳ５９に移行して状態変数はＳ＝３となり、やがて後方カメラ２で右側の車線区分線を再検出する状態となった時点でステップＳ６３からステップＳ６４に移行し、状態変数はＳ＝４となる。
【００８１】
したがって、このとき、図１７に示すように、前方カメラ１で右側の車線区分線を再検出する状態となった時点ｔ２で、前方撮像画像に基づく車線幅Ｗｆを検出することが可能となり、また、後方カメラ２で右側の車線区分線を再検出する状態となった時点ｔ３で後方撮像画像に基づく車線幅Ｗｒを検出することが可能となり、これら車線幅Ｗｆ、Ｗｒは、合流区間の終了地点で右側の車線区分線側が狭くなるにつれて、徐々に減少し、時点ｔ４で自車両が走行車線の中央近傍を走行する状態に復帰すると、車線幅Ｗｆ及びＷｒは、共に、合流区間通過後の走行車線の車線幅に応じた値を維持する状態となる。
【００８２】
そして、このとき、右側方向への車線逸脱判定用のしきい値Ｙthｒは、状態変数ＳがＳ＝３の間はしきい値Ｙthｒ２を維持し、時点ｔ３で状態変数がＳ＝４となった後、所定時間経過した時点ｔ４で徐々に減少し、しきい値Ｙthｒ１に設定される。
このとき、図１４に示すように、自車両は、合流区間の終了地点近傍を走行しており、自車両の走行位置が車線中心方向に推移している状態であるから、場合によっては、車線中央まで復帰していない状態もありえる。しかしながら、上述のように、この合流区間の終了地点近傍を走行している状態においては、そのしきい値Ｙthｒは、通常のしきい値Ｙthｒ１よりも大きな値に設定されているから、合流区間を通過したことによって自車両が意図せず走行車線の右側よりを走行している状態であっても、逸脱傾向にあると判定されることはない。
【００８３】
そして、図１４に示すように、自車両が車線中央を走行する状態となった後に、しきい値Ｙthｒは通常のしきい値Ｙth１に復帰することになるから、この時点から通常の逸脱判断が行われることになる。したがって、例えば、合流区間を通過し終え通常の車線幅の走行車線を走行しているにも関わらず、自車両が車線中央まで十分復帰することができず、走行車線右側よりを走行しており、横変位予測値ｙｓがそのしきい値Ｙthｒ（＝Ｙthｒ１）よりも大きいときには、逸脱傾向であると判定されて警報が発生されることになる。
【００８４】
ここで、前記合流区間に関わらず、逸脱判定用のしきい値Ｙthｒを一定に維持した場合、ドライバが合流区間を走行していることを認識している上で、意図せず自車両が合流区間において右側の車線区分線よりを走行する状態となった場合には、ドライバが車線逸脱傾向にはないことを認識しているにも関わらず、自車両の横変位予測値ｙｓが、そのしきい値Ｙthｒを上回った時点で警報が発生されることになり、ドライバに煩わしさ感を与えることになる。
【００８５】
しかしながら、上述のように、自車両が合流区間を走行しているかどうかを検出し、合流区間を走行しているときには合流区間における自車両の走行位置に応じて逸脱判定用のしきい値Ｙthｒの値を変更するようにしているから、合流区間の走行に伴って自車両の走行位置が意図せず車線区分線よりにずれることに起因して、逸脱傾向にあると判定されることが回避され、警報が発せられることが回避されるから、ドライバに煩わしさ感を与えることを回避することができる。
【００８６】
また、このとき、左側の車線区分線から所定距離以上離れた位置を走行しているときにのみ、しきい値Ｙthｒをより大きな値（Ｙthｒ２）に変更するようにしているから、自車両が、自車両の走行車線の中央よりを走行しているにも関わらず、不必要にしきい値Ｙthｒを変更してしまい、その後、元の車線幅の車線へ進入した際に逸脱を警報するタイミングが遅れてしまうことを回避することができると共に、例えば実際の車線幅に変化がなかったにも関わらず、何らかの原因によって一時的に右側の車線区分線を検出することができなくなった場合であっても、左側の車線区分線の検出結果より、自車の走行軌跡が大きく右側を通っている状態が認められない限り不必要にしきい値Ｙthｒが大きな値に変更されることがないから、このような場合であっても逸脱を警報するタイミングが遅れてしまうことを回避することができる。
【００８７】
また、前記道路状況推定処理においては、前後の車線区分線が予め設定されたパターンで推移しないときには状態変数をＳ＝５とし、状態変数Ｓに応じてしきい値Ｙthｒの変更を行わないようにしているから、明らかに合流区間を走行していると判定されるときにのみ、車線逸脱の判定用のしきい値Ｙthｒがより大きな値に変更することができる。したがって、合流区間でないにも関わらずしきい値Ｙthｒをより大きな値に変更してしまうことを回避することができ、より的確にしきい値Ｙthｒの変更を行うことができる。
【００８８】
また、このとき、後方カメラ２を搭載することによって、その分画像処理装置３での画像処理の処理負荷が増加することになるが、後方カメラ２は、その撮像範囲が鉛直真下方向となるように配置しているから、走行中の車線がカーブであったとしても撮像画像においては、道路白線を略直線とみなすことができる。したがって撮像画像から道路白線に相当する直線のみを検出するようにすればよいから、その分、演算処理を簡略化することができ、複雑な演算を伴わないから、画像処理装置３での処理負荷が増大することはない。
【００８９】
なお、上記実施の形態においては、後方カメラ２を用いるようにした場合について説明したが、これに限るものではなく、例えば、自車両の左右両側に鉛直真下方向の道路白線を撮像するための側方カメラを設け、この側方カメラの撮像情報に基づいて、左右の道路白線を検出しこれに基づいて車線幅Ｗを算出するようにすることも可能である。しかしながら、この場合には、左右の道路白線を撮像するための側方カメラを２台搭載する必要があり、その分コストの増加を伴うと共に演算負荷の増加を伴うことから、後方カメラ２を用いる方が経済的である。
【００９０】
また、上述のように後方カメラ２を用いるようにした場合、例えば、予め後方への運転支援のために後方を撮像するための後方撮像手段が搭載されている車両の場合には、この後方撮像手段を流用することができるから、その分コスト削減を図ることができる。
なお、ここでは、図１４に基づいて、自車両の走行車線に対して右側の車線が合流する場合について説明したが、自車両の走行車線に対して左側の車線が合流する場合も同様の動作となる。
【００９１】
また、ここでは、図１４に示すように自車両が合流区間を走行する場合について説明したが、これに限るものではなく、例えば、分岐区間であっても同等の動作となる。つまり、例えば走行車線が２つに分岐し、自車両は左側車線を走行する状態においては、合流区間と同様に、分岐区間においても、一時的に車線幅が広くなる状態となり、一時的に右側の車線区分線を検出することができなくなった後、分岐車線に進入した時点で再度右側の車線区分線を検出することができる状態となる。
【００９２】
したがって、この場合も、合流区間と同様に、自車両が右側よりに移行した後、車線中央よりに移行する動向となる場合があるが、この場合も、右側の車線区分線の検出状況に応じて上記と同様に、そのしきい値Ｙthｒが変更されるから、車線逸脱ではないにも関わらず警報が発生されることを回避することができ、合流区間を走行する場合と同等の作用効果を得ることができる。なお、この場合も自車両が右側の分岐車線に進入した場合であっても同等の作用効果を得ることができる。
【００９３】
また、上記実施の形態においては、車線逸脱傾向にあると判断されるときには、警報装置６を作動させると共に逸脱防止制御装置７を作動させ、ドライバに対して車線逸脱を認識させると共にドライバの意思に関わらず強制的に車両状態を車線逸脱を抑制する方向に制御するようにした場合について説明したが、必ずしも、警報装置６及び逸脱防止制御装置７を共に備えている必要はなく、例えば、何れか一方のみ備えている場合であっても適用することができる。また、警報装置６及び逸脱防止制御装置７を共に備えている場合であっても、これらを同時に作動させる必要はなく、例えば、車線逸脱傾向が小さい時点、つまり、推定横変位ｙｓとしきい値との差が比較的小さいときには警報装置６を作動させてドライバに注意を促し、この警報装置６による警報を行っても車線逸脱傾向が回復しないときに逸脱防止制御装置７を作動させるようにすることも可能である。
【００９４】
なお、上記実施の形態において、前方カメラ１が前方撮像手段に対応し、後方カメラ２が後方撮像手段に対応し、図１２の走行状況監視処理が逸脱判断手段に対応し、図１２のステップＳ３３の道路状況推定処理が走行路構造推測手段に対応し、前記図３のステップＳ７、Ｓ８の処理及び図９のステップＳ２７、Ｓ２８の処理が車線区分線検出手段に対応し、図３の前方道路白線認識処理が走行状態推定手段に対応し、図９の後方道路白線認識処理が自車近傍車両状態推定手段に対応し、警報装置６が警報手段に対応し、逸脱防止制御装置７が逸脱防止制御手段に対応している。
【図面の簡単な説明】
【００９５】
【図１】本発明における車線逸脱防止装置の一例を示す概略構成図である。
【図２】前方カメラ１及び後方カメラ２の取り付け位置を説明するための説明図である。
【図３】前方道路白線認識処理の処理手順の一例を示すフローチャートである。
【図４】前方カメラ１の撮像画像に対する、白線候補点検出領域の設定方法を説明するための説明図である。
【図５】前方カメラ１の撮像画像に対する、白線候補点検出領域の設定方法を説明するための説明図である。
【図６】前方カメラ１の撮像画像に対して白線候補点検出領域を設定する際の設定方法を説明するための説明図である。
【図７】白線候補点を検出する際の検出直線の選定方法を説明するための説明図である。
【図８】白線候補点と、前回の処理で求めた白線モデル上の点とのずれ量を説明するための説明図である。
【図９】後方道路白線認識処理の処理手順の一例を示すフローチャートである。
【図１０】後方カメラ２の撮像画像に対する、白線候補点検出領域の設定方法を説明するための説明図である。
【図１１】後方カメラ２の撮像画像に対する、白線候補点検出領域の設定方法を説明するための説明図である。
【図１２】走行状況監視処理の処理手順の一例を示すフローチャートである。
【図１３】図１２の道路状況推定処理の処理手順の一例を示すフローチャートである。
【図１４】本発明の動作説明に供する説明図である。
【図１５】図１２の逸脱警報処理の処理手順の一例を示すフローチャートである。
【図１６】横変位予測値ｙｓを説明するための説明図である。
【図１７】本発明の動作説明に供する説明図である。
【符号の説明】
【００９６】
１  前方カメラ
２  後方カメラ
３  画像処理装置
４  車速センサ
５  操舵角センサ
６  警報装置
７  逸脱防止制御装置
１０  制御コントローラ
【図１】
2005182407.tif 000004
【図２】
2005182407.tif 000005
【図３】
2005182407.tif 000006
【図４】
2005182407.tif 000007
【図５】
2005182407.tif 000008
【図６】
2005182407.tif 000009
【図７】
2005182407.tif 000010
【図８】
2005182407.tif 000011
【図９】
2005182407.tif 000012
【図１０】
2005182407.tif 000013
【図１１】
2005182407.tif 000014
【図１２】
2005182407.tif 000015
【図１３】
2005182407.tif 000016
【図１４】
2005182407.tif 000017
【図１５】
2005182407.tif 000018
【図１６】
2005182407.tif 000019
【図１７】
2005182407.tif 000020