(57)【要約】【課題】自車両単独で視界状況を判定することができる車両用視界状況判定装置を提供する。【解決手段】夜間走行時、ヘッドライトが点灯している状態で、散乱光検出領域ｏｆｆ_ａｒに含まれる各画素ｇｌの輝度勾配を演算し、この輝度勾配に基づいて霧（非霧）を判定する。【選択図】図５
2008033872.tif 000002
【特許請求の範囲】
【請求項１】
車載カメラにより撮像された画像から、車両の外部の視界状況を判定する車両用視界状況判定装置であって、
車両に搭載され、当該車両の外部を照射する照明装置と、
前記照明装置からの照射光が透過する透過空間を撮像範囲に含み、さらに、その透過空間の画像上における背景が、前記照射光によって直接的に照射されていない非照射領域を含む画像を撮像する車載カメラと、
前記照明装置が前記車両の外部を照射しているときに、前記車載カメラによって撮像された画像における前記非照射領域の明度に基づいて、前記車両の外部の視界状況を判定する視界状況判定手段と、を備えることを特徴とする車両用視界状況判定装置。
【請求項２】
前記照明装置は、前記車両のヘッドライトであり、
前記車載カメラは、前記照明装置の搭載位置に対して前記車両の上方に配置され、前記車両の前方の道路を撮像するように搭載されることを特徴とする請求項１記載の車両用視界状況判定装置。
【請求項３】
前記照明装置は、前記車両のナンバープレートランプであり、
前記車載カメラは、前記照明装置の搭載位置に対して前記車両の上方に配置され、前記車両の後方を撮像するように搭載されることを特徴とする請求項１記載の車両用視界状況判定装置。
【請求項４】
前記車載カメラは、前記照明装置の直近の透過空間を撮像範囲に含む画像を撮像することを特徴とする請求項１〜３の何れか１項に記載の車両用視界状況判定装置。
【請求項５】
前記視界状況判定手段は、
前記非照射領域に含まれる１つ以上の画素の明度が高いとき、悪い視界状況であると判定し、
前記非照射領域に含まれる１つ以上の画素の明度が低いとき、良好な視界状況であると判定することを特徴とする請求項１〜４の何れか１項に記載の車両用視界状況判定装置。
【請求項６】
前記視界状況判定手段は、
前記非照射領域に含まれる複数の画素について、前記画像内の外側から内側に向かう各画素の明度の変化割合を示す明度勾配を算出する明度勾配算出手段を備え、
前記明度勾配算出手段の算出した明度勾配に基づいて判定するものであることを特徴とする請求項１〜４の何れか１項に記載の車両用視界状況判定装置。
【請求項７】
前記視界状況判定手段は、
前記明度勾配が負の勾配を示すとき、悪い視界状況であると判定し、
前記明度勾配が正の勾配を示すとき、良好な視界状況であると判定することを特徴とする請求項６記載の車両用視界状況判定装置。
【請求項８】
前記照明装置は、赤外光を照射するものであり、
前記車載カメラは、赤外光を感知する撮像素子を有することを特徴とする請求項１〜７の何れか１項に記載の車両用視界状況判定装置。
【請求項９】
前記車載カメラは、前記透過空間の画像上における背景が、前記車両の車体となるように搭載されることを特徴とする請求項１〜８の何れか１項に記載の車両用視界状況判定装置。
【請求項１０】
前記車両の走行速度を検出する速度検出手段を備え、
前記視界状況判定手段は、前記車両が所定速度以上で走行している場合に判定することを特徴とする請求項１〜９の何れか１項に記載の車両用視界状況判定装置。
【請求項１１】
前記照明装置の作動状態が、前記視界状況判定手段による視界状況の判定に適した状態であるか否かを判定する照明状態判定手段を備え、
前記視界状況判定手段は、前記照明状態判定手段が視界状況の判定に適した状態でないと判定した場合の視界状況の判定結果に比べて、前記照明状態判定手段が視界状況の判定に適した状態であると判定した場合の視界状況の判定結果の信頼度を高めることを特徴とする請求項１〜１０の何れか１項に記載の車両用視界状況判定装置。
【請求項１２】
前記照明装置は、前記照射光の点灯・消灯、光量、光軸方向の少なくとも１つの変更を可能にする照射光可変手段を備え、
前記視界状況判定手段は、前記照射光可変手段が変更する前の前記非照射領域の明度と、前記照射光可変手段が変更した後の前記非照射領域の明度と、の比較結果から判定することを特徴とする請求項１〜４、８〜１０の何れか１項に記載の車両用視界状況判定装置。
【請求項１３】
前記視界状況判定手段は、前記照射光可変手段が変更する前の前記非照射領域の明度と、前記照射光可変手段が変更した後の前記非照射領域の明度と、に所定以上の明度差があるとき、悪い視界状況であると判定することを特徴とする請求項１２記載の車両用視界状況判定装置。
【請求項１４】
前記照明装置の作動状態が、前記視界状況判定手段による視界状況の判定に適した状態であるか否かを判定する照明状態判定手段を備え、
前記照射光可変手段は、前記照明状態判定手段が前記視界状況の判定に適した状態でないと判定した場合に変更することを特徴とする請求項１２又は１３記載の車両用視界状況判定装置。
【請求項１５】
前記照射光可変手段は、前記車両又は前記車両の前方に存在する先行車両の停車時、前記車両の発進後、前記車両の加減速終了後、及び前記車両のターンシグナルランプの点灯終了後の少なくとも何れか１つの車両状態に該当する場合に変更することを特徴とする請求項１４記載の車両用視界状況判定装置。
【請求項１６】
前記照明状態判定手段は、前記車両のヘッドライトが点灯しており、かつ、前記車両フォグランプが消灯している状態である場合に、前記視界状況の判定に適した状態であると判定することを特徴とする請求項１１、１４及び１５記載の車両用視界状況判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載して用いられる車両用視界状況判定装置に関するものである。
【背景技術】
【０００２】
従来より、ＡＣＣ（Adaptive Cruise Control）やレーンキープアシストといった運転支援システムが知られている。これらの運転支援システムに用いられるセンサとしては、例えば、ミリ波レーダやレーザレーダ、車載カメラがあげられる。このうち、車載カメラでは、画像処理により、白線認識といった機能を実現している。一方、車両走行中の外部環境を認識し、ライトやワイパを自動的に最適になるよう駆動して視界確保を支援するシステムも提案されている。
【０００３】
上記のようなシステムにおいては、霧の検出が重要となる。例えば、霧を検出した場合には、フォグランプの点灯、ヘッドライトのハイビームの抑制や光軸を下げるなどして、運転者の視界を改善したり、最高車速を制限したり車間距離警報をより敏感に設定したり、先行車両の存在を表示するディスプレーなども提案されている。
【０００４】
一般に知られている霧センサとしては、空港や道路に設置されるレーザー光を用いた視程計がある。また、道路に設置されたカメラ画像による霧認識も提案されている。それらは道路インフラに頼ることになり、設置されていない路線では使えないことから、車載型の霧センサが望まれる。
【０００５】
車載型の霧センサとしては、特許文献１に記載の技術がある。この特許文献１に記載の技術では、車間距離計測用のレーザレーダの射出光で霧を検出する手法が提案されている。しかし、車両によって、ミリ波レーダと画像センサのみが搭載されていて、レーザレーダの搭載されていないものもある。
【０００６】
そこで、車載カメラを使った画像処理で霧状態を検出するセンサが提案されている（特許文献２、及び特許文献３参照。）。このうち、特許文献２に記載の技術では、カラーカメラで先行車両のテールランプを抽出し、そのにじみ具合から霧であることを判定する。また、特許文献３に記載の技術では、霧状態に限らず、画像処理を用いたカメラセンサの能力を判定するために、標識を認識し、その画像の鮮明度を判定する装置も提案されている。
【特許文献１】特開平８−１２２４３７号公報
【特許文献２】特開平１１−２７８１８２号公報
【特許文献３】特開２００１−８４４８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２の技術は先行車両が存在しなければ霧判定を行うことはできない。また、特許文献３の技術は標識を用いる必要がある。従って、自車両単独で霧などの視界状況を判定することができない問題がある。
【０００８】
本発明は、上記の問題を鑑みてなされたもので、自車両単独で視界状況を判定することができる車両用視界状況判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するためになされた請求項１記載の車両用視界状況判定装置は、車載カメラにより撮像された画像から、車両の外部の視界状況を判定するものであって、
車両に搭載され、当該車両の外部を照射する照明装置と、
照明装置からの照射光が透過する透過空間を撮像範囲に含み、さらに、その透過空間の画像上における背景が、照射光によって直接的に照射されていない非照射領域を含む画像を撮像する車載カメラと、
照明装置が車両の外部を照射しているときに、車載カメラによって撮像された画像における非照射領域の明度に基づいて、車両の外部の視界状況を判定する視界状況判定手段と、を備えることを特徴とする。
【００１０】
このように、本発明は、自車両に搭載される照明装置と車載カメラによって撮像された画像を用いているため、車両の外部の視界状況を自車両単独で判定することができるのである。ここで、請求項１の記載の車両用視界状況判定装置は、上述したように、照明装置からの照射光が透過する透過空間を撮像範囲に含み、さらに、その透過空間の画像上における背景が、照射光によって直接的に照射されていない非照射領域を含む画像を撮像し、この非照射領域の明度に基づいて判定する。
【００１１】
これは、上記非照射領域は、照明装置が照射している場合、車両の外部の環境によって、その明度に違いが生じるからである。具体的に説明すると、例えば、視界状況が良好な場合、この非照射領域には直接的に照明装置からの照射光が照射されていないため、その明度は低い値を示すことが多い。しかしながら、例えば、霧の発生によって視界状況が悪い場合、この非照射領域には直接的に照明装置からの照射光が照射されていないものの、霧の粒子によって照明装置からの照射光が散乱するため、その散乱に起因して、非照射領域の明度は高い値を示すことが多い。このように、本発明は、視界状況が良好な場合と悪い場合とで、非照射領域の明度が異なる点に着目してなされたものである。
【００１２】
請求項２に記載のように、照明装置は、車両のヘッドライトであり、車載カメラは、照明装置の搭載位置に対して車両の上方に配置され、車両の前方の道路を撮像するように搭載されることが好ましい。
【００１３】
例えば、車両が車線区分線（白線）を逸脱しそうな場合に警報を発生させる車線逸脱警報装置や、車線内に維持するようにステアリングに所定の操舵トルクを発生させる車線維持支援装置等では、車両の前方の道路上の白線を検出する車載カメラを用いている。そして、この車載カメラは、一般に、車両のヘッドライトの上方に搭載されている。従って、新たな装置を搭載することなく、既存の装置を用いて、車両の外部の視界状況を判定することが可能となる。
【００１４】
なお、請求項３に記載のように、照明装置は、車両のナンバープレートランプであり、車載カメラは、照明装置の搭載位置に対して車両の上方に配置され、車両の後方を撮像するように搭載されるようにしてもよい。車両が後退する場合に車両の後方画像を撮像する車載カメラの画像を用いて、車両の外部の視界状況を判定することができるようになるからである。
【００１５】
請求項４に記載のように、車載カメラは、照明装置の直近の透過空間を撮像範囲に含む画像を撮像することが好ましい。照明装置の直近の透過空間は、照明装置の遠方の透過空間に比べて距離が近いため、照射光の散乱に伴う非照射領域の明度の違いが顕著に表れるからである。
【００１６】
請求項５に記載の車両用視界状況判定装置によれば、視界状況判定手段は、
非照射領域に含まれる１つ以上の画素の明度が高いとき、悪い視界状況であると判定し、
非照射領域に含まれる１つ以上の画素の明度が低いとき、良好な視界状況であると判定することを特徴とする。
【００１７】
視界状況が良好な場合、非照射領域の明度は全体的に低い値を示すことが多く、一方、視界状況が悪い場合、非照射領域の明度は全体的に高い値を示すことが多い。従って、非照射領域に含まれる１つ以上の画素の明度に基づいて判定できる。
【００１８】
請求項６に記載の車両用視界状況判定装置によれば、
視界状況判定手段は、
非照射領域に含まれる複数の画素について、画像内の外側から内側に向かう各画素の明度の変化割合を示す明度勾配を算出する明度勾配算出手段を備え、
明度勾配算出手段の算出した明度勾配に基づいて判定するものであることを特徴とする。
【００１９】
例えば、車載カメラがヘッドライトの搭載位置に対して車両の上方で、かつ、左右のヘッドライトの中央付近に配置され、車両の前方の道路を撮像するように搭載される場合、車載カメラの撮像した画像内の外側にヘッドライトが位置することになるが、この画像にの非照射領域に含まれる各画素の明度は、視界状況が良好な場合と悪い場合とで、画像内の外側から内側に向かって変化する。
【００２０】
例えば、視界状況が良好な場合、この非照射領域には直接的に照明装置からの照射光が照射されていないため、その明度は低い値を示すことが多いが、画像内の外側から内側に向かって、その明度が徐々に高くなる傾向（正の明度勾配）を示す。
【００２１】
一方、例えば、霧の発生によって視界状況が悪い場合、この非照射領域には直接的に照明装置からの照射光が照射されていないものの、霧の粒子によって照明装置からの照射光が散乱するため、その散乱に起因して、非照射領域の明度は高い値を示すことが多いが、画像内の外側から内側に向かって、その明度が徐々に低くなる傾向（負の明度勾配）を示す。従って、明度勾配に基づいて視界状況を判定することができるのである。
【００２２】
なお、請求項７に記載のように、
視界状況判定手段は、
明度勾配が負の勾配を示すとき、悪い視界状況であると判定し、
明度勾配が正の勾配を示すとき、良好な視界状況であると判定するとよい。
【００２３】
視界状況が良好な場合には正の明度勾配を示し、視界状況が悪い場合には負の明度勾配を示すからである。
【００２４】
請求項８に記載の車両用視界状況判定装置によれば、
照明装置は、赤外光を照射するものであり、
車載カメラは、赤外光を感知する撮像素子を有することを特徴とする。
【００２５】
夜間の走行時に赤外光を車両の前方に向かって照射して、ヘッドランプの照射範囲内外の見えにくい歩行者や他車両、障害物、道路状況などを表示するナイトビューでは、赤外光を感知する撮像素子の車載カメラが用いられている。従って、ナイトビューの搭載された車両では、新たな装置を搭載することなく、既存の装置を用いて、車両の外部の視界状況を判定することが可能となる。
【００２６】
請求項９に記載のように、車載カメラは、透過空間の画像上における背景が、車両の車体となるように搭載されることが好ましい。透過空間の画像上における背景は一様であるほうが、非照射領域の明度に対する影響が小さくなるからである。
【００２７】
請求項１０に記載の車両用視界状況判定装置によれば、
車両の走行速度を検出する速度検出手段を備え、
視界状況判定手段は、車両が所定速度以上で走行している場合に判定することを特徴とする。
【００２８】
例えば、透過空間の画像上における背景が道路である場合、車両の走行速度が極低速（時速数キロメートル程度）であると、道路上の物体（例えば、白線など）が鮮明に撮像されてしまうため、非照射領域の明度に対する影響が大きくなるが、極低速以上の速度であれば、道路上の物体がぼやけて撮像されるため、透過空間の画像上における背景がほぼ一様となり、非照射領域の明度に対する影響が小さくなるからである。
【００２９】
請求項１１に記載の車両用視界状況判定装置によれば、
照明装置の作動状態が、視界状況判定手段による視界状況の判定に適した状態であるか否かを判定する照明状態判定手段を備え、
視界状況判定手段は、照明状態判定手段が視界状況の判定に適した状態でないと判定した場合の視界状況の判定結果に比べて、照明状態判定手段が視界状況の判定に適した状態であると判定した場合の視界状況の判定結果の信頼度を高めることを特徴とする。
【００３０】
これにより、視界状況の判定に適した状態であるか否かによって、視界状況の判定結果の信頼度に差を持たせることができる。その結果、視界状況の判定精度に応じて作動開始タイミングが異なる制御装置が車両に搭載される場合には、その制御装置の応答性を高めることができる。
【００３１】
請求項１２に記載の車両用視界状況判定装置によれば、
照明装置は、照射光の点灯・消灯、光量、光軸方向の少なくとも１つの変更を可能にする照射光可変手段を備え、
視界状況判定手段は、照射光可変手段が変更する前の非照射領域の明度と、照射光可変手段が変更した後の非照射領域の明度と、の比較結果から判定することを特徴とする。
【００３２】
本発明は、視界状況が良好な場合には照射光の点灯・消灯、光量、光軸方向の変更に伴う非照射領域の明度の変化が少ないのに対し、視界状況が悪い場合には照射光の点灯・消灯、光量、光軸方向の変更に伴う非照射領域の明度の変化が顕著に見られる点に着目したものである。
【００３３】
すなわち、上述したように、視界状況判定手段は、照射光可変手段が変更する前の非照射領域の明度と、照射光可変手段が変更した後の非照射領域の明度と、の比較結果から視界状況を判定する。これにより、視界状況の判定精度を向上することができる。
【００３４】
請求項１３に記載の車両用視界状況判定装置によれば、視界状況判定手段は、照射光可変手段が変更する前の非照射領域の明度と、照射光可変手段が変更した後の非照射領域の明度と、に所定以上の明度差があるとき、悪い視界状況であると判定することを特徴とする。
【００３５】
上述したように、視界状況が良好な場合、非照射領域には直接的に照明装置からの照射光が照射されていないため、その明度は低い値を示すことが多いが、加えて、照射光の点灯・消灯、光量、光軸方向の変更に伴う非照射領域の明度の変化が少ない。これに対し、視界状況が悪い場合、非照射領域には散乱光が散乱するため、その明度は高い値を示すことが多く、さらに、照射光の点灯・消灯、光量、光軸方向の変更に伴う非照射領域の明度の変化が顕著に見られる。従って、所定以上の明度差があるときには悪い視界状況であると判定できるのである。
【００３６】
請求項１４に記載の車両用視界状況判定装置では、照明装置の作動状態が、視界状況判定手段による視界状況の判定に適した状態であるか否かを判定する照明状態判定手段を備え、照射光可変手段は、照明状態判定手段が視界状況の判定に適した状態でないと判定した場合に変更することを特徴とする。
【００３７】
これにより、視界状況の判定に適した状態でない場合にも、積極的に、視界状況の判定に適した状態に変更することができるようになる。
【００３８】
請求項１５に記載の車両用視界状況判定装置によれば、照射光可変手段は、車両又は車両の前方に存在する先行車両の停車時、車両の発進後、車両の加減速終了後、及び車両のターンシグナルランプの点灯終了後の少なくとも何れか１つの車両状態に該当する場合に変更することを特徴とする。
【００３９】
このように、照射光可変手段は、車両又は車両の前方に存在する先行車両の停車時、車両の発進後、車両の加減速終了後、及び車両のターンシグナルランプの点灯終了後等タイミングで変更することで、車両前方に運転者の注意を促すべきタイミングであるとともに運転操作への影響が比較的少ないタイミングで、照射光の点灯・消灯、光量、光軸方向を変更することができる。なお、照射光可変手段は、運転操作への影響を極力抑えるために、一時的に照射光の点灯・消灯、光量、光軸方向を変更することが望ましい。
【００４０】
請求項１６に記載のように、照明状態判定手段は、車両のヘッドライトが点灯しており、かつ、車両フォグランプが消灯している状態である場合に、視界状況の判定に適した状態であると判定するとよい。
【００４１】
車両のフォグランプが消灯中でヘッドライトだけが点灯している場合には、非照射領域の背景が暗く、ヘッドライトからの照射光が狭い範囲に照射されている状態となる。そして、この場合の非照射領域の明度は、視界状況の悪い状況と良い状況とで変化が顕著に見られるので、視界状況の判定に適した状態と判定できるのである。
【００４２】
なお、ヘッドライトがハイビームで点灯している場合、ヘッドライトからの光束が充分に強い状態であるので、ロービームで点灯している場合に比べて、より視界状況の判定に適した状態であるといえる。
【発明を実施するための最良の形態】
【００４３】
以下、本発明の車両用視界状況判定装置の実施の形態を、図面に基づいて説明する。
【００４４】
（第１の実施形態）
図１は、本発明が適用された車両用視界状況判定装置１０の構成を示すブロック図である。車両用視界状況判定装置１０は、車載カメラ１２、画像処理ＥＣＵ１４、ヨーレートセンサ１６、ステアリングセンサ１８、車速センサ２２を備えており、それらが車内ＬＡＮ２４によって相互に接続されている。また、この車内ＬＡＮ２４には、運転支援制御ＥＣＵ２６およびライト制御ＥＣＵ２８も接続されている。
【００４５】
車載カメラ１２は、ＣＣＤ等の撮像素子で構成されるＣＣＤカメラである。車載カメラ１２は、図５（ａ）に示すように、何れも図示しない車両のヘッドライトなどの照明装置（以下、前照灯）の搭載位置ＨｄＬｔに対して上方に配置されるもので、例えば、車両の室内のルームミラー近傍に搭載される。
【００４６】
車載カメラ１２は、図５（ａ）に示すような車両前方の道路の画像を連続的に撮像する。図５（ａ）に示すように、車載カメラ１２は、前照灯からの照射光が透過する透過空間を撮像範囲に含み、さらに、図５（ｂ）に示すように、その透過空間の画像上における背景が、前照灯によって直接的に照射されていない非照射領域ｏｆｆ_ａｒを含む画像を撮像する。
【００４７】
すなわち、図５（ｂ）に示すように、上記透過空間の画像上における背景は、前照灯によって直接的に照射されている照射領域ｏｎ＿ａｒと、直接的に照射されていない非照射領域ｏｆｆ_ａｒとに大別できるが、非照射領域ｏｆｆ_ａｒを含む画像を撮影する。車載カメラ１２によって撮像された画像のデータは、画像処理ＥＣＵ１４において処理される。
【００４８】
画像処理ＥＣＵ１４は、図示しない内部にＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータであり、そのＲＡＭには、車載カメラ１２によって連続的に撮像される一定時間分の画像のデータが一時的に記憶される。そして、ＣＰＵは、ＲＯＭに記憶されたプログラムに従って、そのＲＡＭに記憶された画像データに対して図２に示す処理を実行する。このＣＰＵの処理については後述する。
【００４９】
ヨーレートセンサ１６は車両のヨーレートを逐次検出し、ステアリングセンサ１８は、ステアリングの操舵角を逐次検出する。車速センサ２２は、車両の走行速度を検出する。
【００５０】
運転支援制御ＥＣＵ２６は、車両が車線区分線（白線）を逸脱しそうな場合に警報を発生させる車線逸脱警報や、車線内に維持するようにステアリングに所定の操舵トルクを発生させる車線維持支援等の各種制御を行う制御ＥＣＵである。
【００５１】
ライト制御ＥＣＵ２８は、車内ＬＡＮ２４を介して取得する、ヘッドライト点灯スイッチ信号に従って、前照灯の点灯・消灯を制御する制御ＥＣＵである。また、ライト制御ＥＣＵ２８は、走行速度、ヨーレート、操舵角等に応じて、ヘッドライトの配光を制御（アダプティブ・フロント・ライティング・システム，Adaptive Front Lighting System）する。
【００５２】
画像処理ＥＣＵ１４は、車載カメラ１２からの画像のデータを一時的に記憶するとともに、その画像に所定の処理を施して、車両の白線を認識する白線認識処理を実行する。この白線認識処理によって認識された白線の位置情報が運転支援制御ＥＣＵ２６に出力される。
【００５３】
また、本実施形態の画像処理ＥＣＵ１４は、白線認識のために用いられる既存の車載カメラ１２を用いて、新たな装置を搭載することなく、夜間走行時における車両の外部の視界状況を判定する視界状況判定処理を実行する。この視界状況判定処理では、上述したように、図５（ｂ）に示す非照射領域ｏｆｆ_ａｒの明度に基づいて、車両の外部の視界状況を判定する。
【００５４】
これは、上記非照射領域ｏｆｆ_ａｒは、前照灯が点灯している場合、車両の外部の視界状況によって、その明度に違いが生じるからである。具体的に説明すると、例えば、視界状況が良好な場合、この非照射領域ｏｆｆ_ａｒは直接的に前照灯からの照射光が照射されないため、その明度は全体的に低い値を示すことが多い。
【００５５】
しかしながら、図６（ａ）、（ｂ）に示すように、例えば、霧の発生によって視界状況が悪い場合、非照射領域ｏｆｆ_ａｒには直接的に前照灯からの照射光が照射されていないものの、霧の粒子によって前照灯からの照射光が散乱するため、その散乱に起因して、非照射領域ｏｆｆ_ａｒの明度は全体的に高い値を示すことが多い。
【００５６】
このように、本実施形態の車両用視界状況判定装置１０は、視界状況が良好な場合と悪い場合とで、非照射領域ｏｆｆ_ａｒの明度が異なる点に着目したものである。以下、この非照射領域を散乱光検出領域ｏｆｆ_ａｒと呼ぶことにする。
【００５７】
なお、車載カメラ１２は、図５（ｂ）、図６（ｂ）に示すように、前照灯からの照射光が透過する透過空間のうち、前照灯の直近の透過空間を撮像範囲に含む画像を撮像することが好ましい。前照灯の直近の透過空間は、前照灯の遠方の透過空間に比べて距離が近いため、霧の粒子による照射光の散乱に伴う散乱光検出領域ｏｆｆ_ａｒの明度の違いが顕著に表れるからである。
【００５８】
図２は、上記画像処理ＥＣＵ１４の視界状況判定処理を示すフローチャートである。この視界状況判定処理は、所定の周期で実行するものであり、実行中には、車載カメラ１２によって車両前方の画像が連続的に撮像されている。
【００５９】
図２に示すように、上記画像処理ＥＣＵ１４は、まず、ランプ点灯判定処理を実行する。（ステップＳ１００）、次いで、散乱光検出領域画像抽出処理を実行し（ステップＳ２００）、散乱光検出領域における画素毎の輝度を演算し（ステップＳ３００）、その後、視界状況判定処理（ステップＳ４００）を実行する。
【００６０】
ステップＳ１００のランプ点灯判定処理について、図３に示すフローチャートを用いて説明する。図３において、ステップＳ１０１では、車両の前照灯が点灯中であるかどうかを判定する。このステップＳ１０１にて肯定判断した場合には、ステップＳ１０２へ処理を進め、否定判断した場合には、ステップＳ１０４へ処理を進める。
【００６１】
ステップＳ１０２では、車両の走行速度が所定速度以上であるかどうかを判断する。このステップＳ１０２にて肯定判断した場合には、ステップＳ１０３へ処理を進め、否定判断した場合には、ステップＳ１０４へ処理を進める。
【００６２】
ステップＳ１０３では、視界状況判定フラグｆｇに”１”（判定実行）を代入して、本処理を終了する。一方、ステップＳ１０４では、視界状況判定フラグｆｇに”０”（判定禁止）を代入して、本処理を終了する。
【００６３】
このように、ランプ点灯判定処理では、車両の走行速度が所定速度以上である場合に視界状況判定フラグｆｇを”１”（判定実行）とする。これは、上記透過空間の画像上における背景が道路である場合、車両の走行速度が極低速（時速数キロメートル程度）であると、道路上の物体（例えば、白線など）が鮮明に撮像されてしまうため、散乱光検出領域ｏｆｆ_ａｒの明度に対する影響が大きくなるが、極低速以上の速度であれば、道路上の物体がぼやけて撮像されるため、透過空間の画像上における背景がほぼ一様となり、散乱光検出領域ｏｆｆ_ａｒの明度に対する影響が小さくなるからである。
【００６４】
図４は、ステップＳ２００の散乱光検出領域画像抽出処理を示すフローチャートである。図４に示すステップＳ２０１では、視界状況判定フラグｆｇが”１”であるかどうかを判断する。このステップＳ２０１で否定判断した場合には、視界状況の判定が禁止されているため、本処理を終了する。
【００６５】
一方、ステップＳ２０１で肯定判断した場合、ステップＳ２０２では、散乱光検出領域ｏｆｆ＿ａｒの画像データを抽出する。この散乱光検出領域ｏｆｆ＿ａｒの画像上における位置は予め設定されているものである。本実施形態では、図５（ｂ）に示すように、散乱光検出領域ｏｆｆ＿ａｒに含まれる画素のうち、画像内の外側から内側に向かって連なる各画素ｇｌのデータを抽出する。
【００６６】
図２におけるステップＳ３００では、ステップＳ２００で抽出した各画素ｇｌの画素値を輝度値に変換する演算を行う。ステップＳ４００では、図７に示すように、ステップＳ３００にて演算した各画素ｇｌの輝度値を用い、各画素ｇｌの輝度値の変化割合を示す輝度勾配（明度勾配）を算出する。そして、図８に示す霧確率マップに、算出した輝度勾配を当てはめることで、車両の外部が霧（非霧）である確率を推定する。
【００６７】
図７は、画像内の外側から内側に向かう各画素ｇｌを横軸とし、その各画素ｇｌの輝度値を縦軸として表したものである。本実施形態では、前照灯と車載カメラ１２との位置関係は、車載カメラ１２が前照灯の搭載位置に対して車両の上方で、かつ、左右の前照灯の中央付近（ルームミラー近傍）に配置される関係にあるが、このような位置関係の場合、散乱光検出領域ｏｆｆ＿ａｒに含まれる各画素ｇｌの輝度値は、視界状況が良好な場合と悪い場合とで、画像内の外側から内側に向かって変化する。
【００６８】
例えば、視界状況が良好な場合、散乱光検出領域ｏｆｆ＿ａｒには直接的に前照灯からの照射光が照射されていないため、その輝度値は全体的に低い値を示すことが多いが、画像内の外側から内側に向かって、その輝度値が徐々に高くなる傾向（正の輝度勾配）を示す。
【００６９】
一方、例えば、霧の発生によって視界状況が悪い場合、散乱光検出領域ｏｆｆ＿ａｒには直接的に前照灯からの照射光が照射されていないものの、霧の粒子によって前照灯からの照射光が散乱するため、その散乱に起因して、散乱光検出領域ｏｆｆ＿ａｒの輝度値は全体的に高い値を示すことが多いが、画像内の外側から内側に向かって、その輝度値が徐々に低くなる傾向（負の輝度勾配）を示す。
【００７０】
従って、図７に示すように、散乱光検出領域ｏｆｆ＿ａｒに含まれる各画素ｇｌの輝度勾配が負の勾配を示すときには悪い視界状況（霧）であると判定し、輝度勾配が正の勾配を示すときは良好な視界状況（非霧）であると判定することができるのである。
【００７１】
なお、散乱光検出領域ｏｆｆ＿ａｒに含まれる各画素ｇｌの輝度値に異常値が含まれる場合、図７に示すような直線的な特性を示さないことがある。このような場合には、例えば、周知の最小メジアン法を適用して、異常値を除去するようにしてもよい。
【００７２】
視界状況判定処理では、図８に示す霧確率マップに、算出した輝度勾配を当てはめたときの確率を求め、最終的には、例えば、霧６０％（非霧４０％）といったように、霧であるか非霧であるかの確率を示す霧確率情報を車内ＬＡＮ２４に出力する。
【００７３】
そして、車内ＬＡＮ２４に接続される運転支援制御ＥＣＵ２６は、この霧確率情報を用いた制御を実行する。例えば、霧である確率が高い場合には、車線逸脱警報や車線維持支援にて白線認識結果の信頼度を下げたうえで制御を実行する。また、ライト制御ＥＣＵ２８では、例えば、霧である確率が高い場合、ヘッドライトがハイビームである場合にはロービームに切替える制御を実行したり、フォクランプを自動的に点灯させる制御を実行したりする。
【００７４】
また、先行車両との車間距離を目標車間距離に保持する車間距離制御装置が搭載されている車両では、例えば、霧である確率が高い場合、目標車間距離が長くなるように変更したもよい。また、例えば、霧である確率が高い場合に車両の最高速度を制限するようにしてもよい。
【００７５】
このように、本実施形態の車両用視界状況判定装置１０は、車両に搭載される前照灯と車載カメラ１２によって撮像された画像を用いているため、車両の外部の視界状況を自車両単独で判定することができる。
【００７６】
以上、本発明の第１の実施形態を説明したが、本発明は上述の第１実施形態に限定されるものではなく、次の変形例も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。
【００７７】
（変形例１）
例えば、本実施形態では、図３のランプ点灯判定処理に示すように、ヘッドライト（前照灯）が点灯中であることを視界状況判定を実行するうえでの前提条件としているが、ヘッドライトが点灯中であるとき、車両のフォグランプも同時に点灯しているか、若しくは消灯しているかによって、視界状況の判定結果の信頼度が異なる。
【００７８】
すなわち、フォグランプが消灯中でヘッドライトだけが点灯している場合には、非照射領域の背景が暗く、ヘッドライトからの照射光が狭い範囲に照射されている状態となる。そして、この場合の非照射領域の明度は、視界状況の悪い状況と良い状況とで変化が顕著に見られるので、視界状況の判定に適した状態であるといえる。
【００７９】
従って、車両のヘッドライトが点灯しており、かつ、車両フォグランプが消灯している状態である場合に、視界状況の判定に適した状態であると判定し、視界状況の判定に適した状態でないと判定した場合の視界状況判定処理による視界状況の判定結果に比べて、視界状況の判定に適した状態であると判定した場合の視界状況の判定結果の信頼度を高めるようにする。
【００８０】
具体的には、図９に示すランプ点灯判定処理を実行する。図９におけるステップＳ１０１〜ステップＳ１０４は、本実施形態と同様の処理であるので、その説明は省略する。ステップＳ１０５では、視界状況の判定に適した点灯状態（ヘッドライトが点灯しており、かつ、車両フォグランプが消灯している状態）であるか否かを判定する。ここで、肯定判断される場合にはステップＳ１０６にて視界状況判定信頼度ＲＬを”ｈｉｇｈ（高）”とし、否定判断される場合にはステップＳ１０７にて視界状況判定信頼度ＲＬを”Ｌｏｗ（低）”とする。
【００８１】
そして、上述した図２のステップＳ４００の視界状況判定処理において、霧であるか非霧であるかの確率を示す霧確率情報に、視界状況判定信頼度ＲＬを加えて車内ＬＡＮ２４に出力する。
【００８２】
これにより、視界状況の判定に適した状態であるか否かによって、視界状況の判定結果の信頼度に差を持たせることができる。その結果、視界状況の判定精度に応じて作動開始タイミングが異なる制御装置が車両に搭載される場合には、その制御装置の応答性を高めることができる。
【００８３】
なお、ヘッドライトがハイビームで点灯している場合、ヘッドライトからの光束が充分に強い状態であるので、ロービームで点灯している場合に比べて、より視界状況の判定に適した状態であるといえる。
【００８４】
（変形例２）
例えば、本実施形態では、散乱光検出領域ｏｆｆ＿ａｒに含まれる各画素ｇｌの輝度勾配から視界状況を判定しているが、上述したように、視界状況が良好な場合、散乱光検出領域ｏｆｆ＿ａｒの輝度値は全体的に低い値を示すことが多く、視界状況が悪い場合、散乱光検出領域ｏｆｆ＿ａｒの輝度値は全体的に高い値を示すことが多い。
【００８５】
従って、散乱光検出領域ｏｆｆ＿ａｒに含まれる１つ以上の画素の明度に基づいて、視界状況を判定するようにしてもよい。例えば、散乱光検出領域ｏｆｆ＿ａｒに含まれる１つ以上の画素の明度が高いとき、悪い視界状況であると判定し、散乱光検出領域ｏｆｆ＿ａｒに含まれる１つ以上の画素の明度が低いとき、良好な視界状況であると判定するようにしてもよい。これにより、視界状況を判定するための処理の負荷が軽減される。
【００８６】
（変形例３）
また、例えば、車載カメラ１２は、上記透過空間の画像上における背景が、車両の車体となるように搭載されることが好ましい。透過空間の画像上における背景は一様であるほうが、散乱光検出領域ｏｆｆ＿ａｒの輝度値に対する影響が小さくなるからである。
【００８７】
（変形例４）
また、例えば、夜間の走行時に赤外光を車両の前方に向かって照射して、ヘッドランプの照射範囲内外の見えにくい歩行者や他車両、障害物、道路状況などを表示するナイトビューでは、赤外光を感知する撮像素子の車載カメラが用いられている。従って、ナイトビューの搭載された車両では、赤外光を照射する照明装置と赤外光を感知する撮像素子を有する車載カメラを搭載しているので、これらの既存の装置を用いて、新たな装置を搭載することなく、車両の外部の視界状況を判定するようにしてもよい。
【００８８】
（変形例５）
また、車両の後方を撮像する車載カメラが車両のナンバープレートランプの搭載位置に対して上方に配置される場合には、この車載カメラの撮像した画像を用いて、車両の外部の視界状況を判定するようにしてもよい。
【００８９】
（第２の実施形態）
第２の実施形態は、第１の実施形態によるものと共通するところが多いので、以下、共通部分についての詳しい説明は省略し、異なる部分を重点的に説明する。本実施形態の車両用視界状況判定装置１０では、光量や光軸方向を変更することができるヘッドライトやフォグランプを用いて、視界状況の判定に適した状態を積極的に作り出して、視界状況の判定を行う点で異なるものである。以下、図１０及び図１１に示すフローチャートを用いて説明する。
【００９０】
図１０は、本実施形態の画像処理ＥＣＵ１４による視界状況判定処理を示すフローチャートである。なお、図１０におけるステップＳ１００、Ｓ２００、及びＳ３００の処理は、第１の実施形態と同様であるので、その説明は省略する。
【００９１】
図１０のステップＳ１０では、図１１に示すランプ点灯状態変更処理を実行する。図１１のステップＳ１１では、視界状況の判定に適した点灯状態（ヘッドライトが点灯しており、かつ、車両フォグランプが消灯している状態）であるか否かを判定する。ここで、肯定判断される場合には本処理を終了し、否定判断される場合（すなわち、視界状況の判定に適した状態でないと判定した場合）にはステップＳ１２に処理を進める。
【００９２】
ステップＳ１２では、車両状態が所定の状態に該当するかどうかを判断する。ここで、所定の状態とは、車両又は車両の前方に存在する先行車両の停車時、車両の発進後、車両の加減速終了後、及び車両のターンシグナルランプの点灯終了後の車両状態のことであり、これらの車両状態の少なくとも何れか１つの車両状態に該当するかどうかを判断する。このステップＳ１２で肯定判断される場合にはステップＳ１３にてヘッドライトやフォグランプの作動状態を変更し、否定判断される場合には本処理を終了する。
【００９３】
これにより、車両又は車両の前方に存在する先行車両の停車時、車両の発進後、車両の加減速終了後、及び車両のターンシグナルランプの点灯終了後等タイミングで、ヘッドライトやフォグランプの作動状態が変更されるようになる。その結果、車両前方に運転者の注意を促すべきタイミングであるとともに運転操作への影響が比較的少ないタイミングで、ヘッドライトやフォグランプからの照射光の点灯・消灯、光量、光軸方向を変更することができる。
【００９４】
ステップＳ１３では、ヘッドライトやフォグランプの作動状態を変更する。すなわち、上述したように、ヘッドライトやフォグランプからの照射光の点灯・消灯、光量、光軸方向を変更する。このように、視界状況の判定に適した状態でない場合にヘッドライトやフォグランプの作動状態を変更することで、視界状況の判定に適した状態でない場合にも、積極的に、視界状況の判定に適した状態に変更することができるようになる。なお、運転操作への影響を極力抑えるために、一時的に、ヘッドライトやフォグランプからの照射光の照射光の点灯・消灯、光量、光軸方向を変更することが望ましい。
【００９５】
このステップＳ１３では、ヘッドライトのロービームやフォグランプを点灯状態から消灯状態(若しくは、消灯状態から点灯状態)に変更したり、ヘッドライトのロービームやフォグランプの光量を強弱したり、ヘッドライトのロービームやフォグランプの光軸方向を車両の左（右）方向から右（左）方向、若しくは車両の上（下）方向から下（上）方向に変更したりする。
【００９６】
そして、図１０のステップＳ４００における視界状況判定処理では、図１１のランプ点灯状態変更処理においてヘッドライトやフォグランプの作動状態を変更する前の非照射領域の明度と、その作動状態を変更した後の非照射領域の明度とを比較して、車両の外部の視界状況を判定する。すなわち、ヘッドライトやフォグランプの作動状態を変更する前と後に撮像した少なくとも２つ以上の画像から、視界状況を判定する。
【００９７】
これは、視界状況が良好な場合には、ヘッドライトのロービームやフォグランプの点灯・消灯、光量、光軸方向の変更に伴う非照射領域の明度の変化が少ないのに対し、視界状況が悪い場合にはヘッドライトのロービームやフォグランプの点灯・消灯、光量、光軸方向の変更に伴う非照射領域の明度の変化が顕著に見られるからである。
【００９８】
このステップＳ４００では、ヘッドライトやフォグランプの作動状態を変更する前の非照射領域の明度と、ヘッドライトやフォグランプの作動状態を変更した後の非照射領域の明度と、に所定以上の明度差があるとき、悪い視界状況であると判定する。
【００９９】
上述したように、視界状況が良好な場合、非照射領域には直接的に照射光が照射されていないため、その明度は低い値を示すことが多いが、加えて、ヘッドライトのロービームやフォグランプの点灯・消灯、光量、光軸方向の変更に伴う非照射領域の明度の変化が少ない。
【０１００】
これに対し、視界状況が悪い場合、非照射領域には散乱光が散乱するため、その明度は高い値を示すことが多く、さらに、ヘッドライトのロービームやフォグランプの点灯・消灯、光量、光軸方向の変更に伴う非照射領域の明度の変化が顕著に見られる。従って、所定以上の明度差があるときには悪い視界状況であると判定する。これにより、視界状況の判定精度を向上することができるのである。
【０１０１】
以上、本発明の第２の実施形態を説明したが、本発明は上述の第１及び第２実施形態に限定されるものではなく、上述した変形例も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。
【図面の簡単な説明】
【０１０２】
【図１】車両用視界状況判定装置１０の構成を示すブロック図である。
【図２】第１実施形態の視界状況判定処理を示すフローチャートである。
【図３】ランプ点灯判定処理を示すフローチャートである。
【図４】散乱光検出領域画像抽出処理を示すフローチャートである。
【図５】（ａ）、（ｂ）は、視界状況が良好な場合の画像の例を示した図である。
【図６】（ａ）、（ｂ）は、視界状況が悪い場合の画像の例を示した図である。
【図７】輝度勾配（明度勾配）を示す図である。
【図８】霧確率マップを示す図である。
【図９】変形例１におけるランプ点灯判定処理を示すフローチャートである。
【図１０】第２実施形態の視界状況判定処理を示すフローチャートである。
【図１１】第２実施形態のランプ点灯状態変更処理を示すフローチャートである。
【符号の説明】
【０１０３】
１０  車両用視界状況判定装置
１２  車載カメラ
１４  画像処理ＥＣＵ
１６  ヨーレートセンサ
１８  ステアリングセンサ
２２  車速センサ
２４  車内ＬＡＮ
２６  運転支援制御ＥＣＵ
２８  ライト制御ＥＣＵ
【図１】
2008033872.tif 000003
【図２】
2008033872.tif 000004
【図３】
2008033872.tif 000005
【図４】
2008033872.tif 000006
【図５】
2008033872.tif 000007
【図６】
2008033872.tif 000008
【図７】
2008033872.tif 000009
【図８】
2008033872.tif 000010
【図９】
2008033872.tif 000011
【図１０】
2008033872.tif 000012
【図１１】
2008033872.tif 000013