(57)【要約】【課題】  雪道のように白線が見づらい場合でも車両の蛇行を判定することができる車両走行状態判定装置を提供すること。【解決手段】  車両の走行方向路面を撮像するカメラ１１と、このカメラによって撮像された路面画像に基づいて蛇行量を求める蛇行状態検出手段を備えた走行状態判定装置において、前記蛇行状態検出手段は、路面の白線類似部分を判定する白線判定手段１２と、前記路面画像の中央から左右方向に夫々白線と判定された位置を検出する白線位置検出手段１２と、この検出手段で検出された白線と判定された位置を消失点に向かう直線で近似する近似手段１２と、この近似手段で近似された左側直線に基づいて左側境界の蛇行量を算出する左側蛇行量算出判定手段１２と、前記近似手段で近似された右側直線に基づいて右側境界の蛇行量を算出する右側蛇行量判定手段１２と、左側蛇行量算出手段及び右側蛇行量算出手段の算出結果に基づいて車両の蛇行を判定する判定手段１３を具備したことを特徴とする。【選択図】        図３
2005267384.tif 000002
【特許請求の範囲】
【請求項１】
車両の走行方向路面を撮像するカメラと、このカメラによって撮像された路面画像に基づいて蛇行量を求める蛇行状態検出手段を備えた車両走行状態判定装置において、
前記蛇行状態検出手段は、
前記路面の白線類似部分を判定する白線判定手段と、
前記路面画像の中央から左右方向に夫々白線と判定された位置を検出する白線位置検出手段と、
この検出手段で検出された白線と判定された位置を消失点に向かう直線で近似する近似手段と、
この近似手段で近似された左側直線に基づいて左側境界の蛇行量を算出する左側蛇行量算出判定手段と、
前記近似手段で近似された右側直線に基づいて右側境界の蛇行量を算出する右側蛇行量判定手段と、
左側蛇行量算出手段及び右側蛇行量算出手段の算出結果に基づいて車両の蛇行を判定する判定手段を具備したことを特徴とする車両走行状態判定装置。  
【請求項２】
前記蛇行状態検出手段はこのカメラによって撮像された路面画像の手前側の画像データに基づいて蛇行を求めることを特徴とする請求項1記載の車両走行状態判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばドライバが、運転中に覚醒状態を低下させ、居眠りに入りかけたか否かを判定することができる車両走行状態判定装置に関する。
【背景技術】
【０００２】
近年、道路網の発達や余暇の増加などによって自動車を運転する機会が増えてきており、この自動車の運転走行に際して運転者は常に安定した心身の健康が望まれる。しかし、自己の体調不良を自覚しながらもハンドルを握る場合も考えられる。この場合、自動車の運転に際し、長時間や少なく連続して運転すると、運転者に疲労が蓄積して集中力が低下することで、覚醒状態が低下し、眠気を誘う場合がある。
【０００３】
このようなことを防止するために、車両にカメラを搭載し、このカメラにより撮像された前方画像により道路白線を認識して車両の蛇行を判定し、ドライバが居眠り状態に入りかけたか否かを検出し、警報するようにしている（例えば、特許文献１を参照）。
【特許文献１】特許第3039327号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
このような手法では、道路の両側の白線を認識している。
【０００５】
このため、雪道のように白線が見づらかったりする場合には、車両の蛇行を判定することができなかった。
【０００６】
本発明は、上記の点に鑑みてなされたもので、その目的は、雪道のように白線が見づらい場合でも車両の蛇行を判定することができる車両走行状態判定装置を提供することにある。
【課題を解決するための手段】
【０００７】
請求項1記載の発明は、車両の走行方向路面を撮像するカメラと、このカメラによって撮像された路面画像に基づいて蛇行量を求める蛇行状態検出手段を備えた走行状態判定装置において、前記蛇行状態検出手段は、前記路面の白線類似部分を判定する白線判定手段と、前記路面画像の中央から左右方向に夫々白線と判定された位置を検出する白線位置検出手段と、この検出手段で検出された白線と判定された位置を消失点に向かう直線で近似する近似手段と、この近似手段で近似された左側直線に基づいて左側境界の蛇行量を判定する左側蛇行量判定手段と、前記近似手段で近似された右側直線に基づいて右側境界の蛇行量を判定する右側蛇行量判定手段と、左側蛇行量判定手段及び右側蛇行量判定手段の判定結果に基づいて車両の蛇行を判定する判定手段を具備したことを特徴とする。  
請求項２記載の発明は、請求項1記載の前記蛇行状態検出手段はこのカメラによって撮像された路面画像の手前側の画像データに基づいて蛇行を求めることを特徴とする。
【発明の効果】
【０００８】
請求項１記載の発明によれば、雪道のように白線が見づらかったりする場合でも、車両の蛇行を精度よく検出することができる。
【０００９】
請求項２記載の発明によれば、カメラで撮像された前方路上画像に基づいて蛇行量を求めるようにしたので、蛇行と判断する際の精度を向上させることができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の一実施の形態について説明する。図１は車両走行状態判定装置を示すブロック図である。図において、１１はＣＣＤカメラである。このカメラ１１で撮像された車両前方の画像は画像処理装置１２から入力される。この画像処理装置１２はカメラ１１で撮像された画像を処理する画像処理部１２ａと、この画像処理部１２ａで処理された画像データを記憶する画像データ記憶部１２ｂを有する。
【００１１】
この画像処理装置１２は制御部１３に接続されている。この制御部１３はマイクロプロセッサを中心に構成されており、蛇行状態検出手段１４を含む。
【００１２】
なお、カメラ１１は図２に示すように、例えば車両のキャビン内中央上部に取り付けられている。カメラ１１は、車両の走行方向前方の路面１を撮像するもので、その画像を図４に示す。
【００１３】
次に、上記のように構成された本発明の一実施の形態の動作について図３のフローチャートを参照しながら説明する。まず、カメラ１１で撮像された路面画像は画像処理装置１２に入力される。この路面画像は画像処理された後、画像データ記憶部１２ｂへ記憶される（ステップＳ１）。このステップＳ１での画像データ記憶部１２ｂへの記憶処理は、具体的には以下のように行われる。この実施の形態では、路面１の左側には路肩の雪２があり、路面１の右側には不明瞭な白線３が存在している。
【００１４】
まず、カメラ１１で取り込まれる路面画像は、ＣＣＤ上で画像認識される。このＣＣＤは、本実施の形態では５１２画素×５１２画素の大きさとしてある。そして、ＣＣＤの水平方向をｘ軸方向、垂直方向をｙ軸方向とするとき、ｘ軸方向に並んだ各画素群（水平方向画素群）上のグレイ値を算出し、これをｙ軸方向に並んだ水平方向画素群毎に行う。ここで、以下の説明で、ｘ軸方向に並んだ各画素群をｙ１，ｙ２，ｙ３ラインと呼ぶ。
【００１５】
なお、グレイ値とは、白が“０”、黒が“２５５”、中間はその濃淡に応じて決定される値である。例えば、路面１は路肩の雪２や不明瞭な白線３より黒ずんでいるため、路面１部分のグレイ値は、路肩の雪２や不明瞭な白線３より大きくなる。
【００１６】
次に、算出されたグレイ値から、ｘ軸方向におけるエッジを算出する。ここで、エッジとは、算出されたグレイ値の微分値として定義したもので、色調の変化が発生した箇所で検出されることとなる。
【００１７】
そして、エッジの発生した箇所におけるグレイ値の絶対値（グレイ値レベル）を算出し、制御周期毎に所定のメモリへ記憶される。このように撮像された画像はエッジ処理されて画像データ記憶部１２ｂに記憶される。
【００１８】
そして、画像データ記憶部１２ｂに記憶された路面画像のうちの図５の下半分部分に着目する（ステップＳ２）。ここで、ステップＳ２の処理、つまり路面画像のうち下半分部分Ｂの画像に着目するのは、路面画像のうち手前側は画像分解能が高く、精度の良い蛇行判断が可能であるからである。
【００１９】
そして、前述したステップＳ1において算出されている各ｙ１，ｙ２，ライン上でのグレイ値の微分値に基づいて白線類似部分を判定している（白線判定手段）。路肩の雪２と路面１との境や不明瞭な白線３と路面１との境は色調が変化するので、白線類似部分と
検出される。
【００２０】
次に、検査画像の中央から左右方向に夫々白線類似部分と判定された位置が検出される
（ステップＳ３）（白線位置検出手段）。例えば、検査画面の中心位置をＸ０とした場合に、白線判定手段で判定された白線類似部分の位置座標が検出される。例えば、ｙ１ラインの路肩の雪２の路面との境界位置が位置座標（ａ１，ｙ１）、ｙ１ラインの不明瞭な白線３と路面との境界位置が位置座標（ｂ１，ｙ１）として検出される。以下、同様にｙ２ラインの路肩の雪２の路面との境界位置が位置座標（ａ２，ｙ２）、ｙ２ラインの不明瞭な白線３と路面との境界位置が位置座標（ｂ２，ｙ２）として検出される。以下、同様にｙ３ライン以降の路肩の雪２の路面との境界位置が位置座標（ａ３，ｙ３），…，ｙ３ラインの不明瞭な白線３と路面との境界位置が位置座標（ｂ３，ｙ３），…，として検出される。
【００２１】
次に、路肩の雪２の路面との境界位置を示す位置座標（ａ１，ｙ１）、（ａ２，ｙ２）、（ａ３，ｙ３）、…が消失点Ｄに向かう直線Ｌ１（図８）（以下、左側近似直線という）及び不明瞭な白線３と路面との境界位置を示す位置座標（ｂ１，ｙ１）、（ｂ２，ｙ２）、（ｂ３，ｙ３）…が消失点Ｄに向かう直線Ｌ２（図８）（以下、右側近似直線という）が最小２乗法等により求められる（ステップＳ４）（近似手段）。
【００２２】
そして、ステップＳ４で求めた左側近似直線Ｌ１に対してローパスフィルタ処理がなされる（ステップＳ５）。また、ステップＳ４で求めた右側近似直線Ｌ２に対してローパスフィルタ処理がなされる（ステップＳ６）。これは、左側近似直線Ｌ１及び右側近似直線Ｌ２のいねむりによる蛇行のゆれは低周波数であるため、ローパスフィルタ処理を行っている。
【００２３】
そして、前回のサイクル、つまり所定時間前にカメラ１１で撮像された路面画像に基づいて算出された左側近似直線Ｌ１と今回算出された左側近似直線Ｌ１とのずれ量を所定時間経過毎に平均することにより蛇行量を算出する（図９）（左側蛇行量算出手段）（ステップＳ７）。さらに、前回のサイクル、つまり所定時間前にカメラ１１で撮像された路面画像に基づいて算出された右側近似直線Ｌ１と今回算出された右側近似直線Ｌ１とのずれ量を所定時間経過毎に平均することにより蛇行量を算出する（図９）（右側蛇行量算出手段）（ステップＳ８）。もし、運転者がいねむり等をしなければ、車両の蛇行はほとんど無いと考えられるので、蛇行量は零に近くなる。一方、運転者がいねむり等をしていて車両が蛇行している場合には、蛇行量が大きくなる。
【００２４】
そして、左側蛇行量算出手段で検出された蛇行量と右側蛇行量算出手段で検出された蛇行量は平均されて平均蛇行量が算出される（ステップＳ９）。そして、車両蛇行と判断されると、図示しない警報装置を作動させ、運転者に注意をうながす。
【００２５】
なお、このステップＳ９で算出された平均蛇行量が基準レベル以上になったかを判定する判定手段を設け、この判定手段で「ＹＥＳ」と判定された場合に蛇行していると判定するようにしてもよい。
【００２６】
ここで、基準レベルは、運転開始から一定時間経過するまでの蛇行量を平均することにより求められる。つまり、運転開始から一定時間経過するまでは運転者はいねむりをしないと判断し、この一定時間内の蛇行量を平均している。また、基準レベルを実験的に求めるようにしてもよい。
【００２７】
なお、上記した実施の形態では、路面の左路肩に雪２が、路面の右側の白線が不明瞭な場合を一例に取り説明したが、路面の両路肩に雪が存在していたり、路面の両側の白線が不明瞭であっても、同様に蛇行を算出することができる。また、路面のどちらか片方のみに白線類似部分がある路面でも蛇行を算出することができる。
【００２８】
以上のように本発明によれば、カメラで撮像された路面画像から水平方向のグレイ値の微分値をエッジとして算出し、このエッジを白線類似部分と判定し、この判定された白線類似部分に基づいて車両の蛇行量をするようにしたので、路面の白線が見づらい場合でも、
車両の蛇行を精度良く検出することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施の形態に係わる車両走行状態判定装置を説明するためのブロック図。
【図２】同実施の形態に係わる車両走行状態判定装置のカメラの搭載場所を示す図
【図３】同実施の形態の動作を説明するためのフローチャート。
【図４】車両に搭載されたカメラにより撮像された車両前方の映像を示す図。
【図５】カメラで撮像された前方路上画像に基づいて蛇行率を求め、車両に搭載されたカメラにより撮像された車両前方の映像を示す図。
【図６】同実施の形態に係わる車両走行状態判定装置の検出ラインの位置を説明するための図。
【図７】同実施の形態に係わる消失点に向かう直線を示す図。
【図８】同実施の形態に係わる右側境界線及び左側境界線を示す図。
【符号の説明】
【００３０】
１１…ＣＣＤカメラ、１２…画像処理装置、１３…制御部
【図１】
2005267384.tif 000003
【図２】
2005267384.tif 000004
【図３】
2005267384.tif 000005
【図４】
2005267384.tif 000006
【図５】
2005267384.tif 000007
【図６】
2005267384.tif 000008
【図７】
2005267384.tif 000009
【図８】
2005267384.tif 000010