(57)【要約】【課題】  霧がかかった画像であるかどうかを判定するための画像処理の負荷を軽減させつつ、霧判定の精度を確保する。【解決手段】  車載カメラによって撮像された画像内において車両が走行している道路の形状を白線認識等に基づいて決定し（Ｓ１００）、決定した道路の形状に基づいて、画像内において車両から所定の遠方距離にある道路上の領域（遠方道路領域）を決定し、Ｓ３００で画像処理する領域をその遠方道路領域とする。このようにすれば、車載カメラ１２により撮像された画像全体を解析するのに比較して画像処理の負荷が軽減する。また、遠方道路領域は、画像内において車両から所定の遠方距離にある道路上の領域であり、通常、道路は遠方まで続いていることから、その領域には遠方部分が撮像されている可能性が高いので、霧判定の精度が確保される。【選択図】図２
2006349492.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載される車載カメラにより撮像された画像が、霧がかかった画像であるかどうかを判定する画像霧状態判定手段を備えた車載霧判定装置であって、
前記車載カメラによって撮像された画像内において前記車両が走行している道路の形状を決定する道路形状決定手段と、
その道路形状決定手段によって決定された道路の形状に基づいて、前記画像内において前記車両から所定の遠方距離にある道路上の領域である遠方道路領域を決定する遠方道路領域決定手段とを備え、
前記画像霧状態判定手段が判定する画像が、前記遠方道路領域決定手段によって決定された遠方道路領域の画像であることを特徴とする車載霧判定装置。
【請求項２】
前記道路形状決定手段は、
前記車載カメラによって撮像された画像から、道路に沿って設けられている道路上標識を検出することによって、前記車両が走行している道路の形状を決定する第１決定手段、
前記画像内における前方車両の位置を検出して、その検出した前方車両の位置に基づいて前記車両が走行している道路の形状を決定する第２決定手段、
および、操舵角センサによって検出されるステアリングの操舵角およびヨーレートセンサによって検出される前記車両のヨーレートの少なくとも一方に基づいて、前記車両が走行している道路の形状を決定する第３決定手段、のうちの少なくとも２つの決定手段を備え、
前記第１決定手段によって道路の形状が決定可能なときはその第１決定手段を用いて前記車両が走行している道路の形状を決定し、前記第１決定手段によっては道路の形状が決定できないが、前記第２決定手段によって道路の形状が決定可能なときはその第２決定手段を用いて前記車両が走行している道路の形状を決定し、前記第１、第２決定手段によっては道路の形状が決定できないが、前記第３決定手段によって道路の形状が決定できるときはその第３決定手段を用いて前記車両が走行している道路の形状を決定するものである
ことを特徴とする請求項１に記載の車載霧判定装置。
【請求項３】
前記道路形状決定手段によって決定された道路の形状、および、前記画像内において平坦な地面上で前記車両から所定の遠方距離を示す予め記憶された遠方距離線に基づいて、前記車両が走行している道路上において前記車両から所定の遠方距離にある遠方距離点を決定する遠方距離点決定手段をさらに備え、
前記遠方道路領域決定手段は、その遠方距離点決定手段によって決定された遠方距離点を基準として前記遠方道路領域を決定するものであることを特徴とする請求項１または２に記載の車載霧判定装置。
【請求項４】
前記遠方道路領域決定手段は、前記遠方距離点決定手段によって決定された遠方距離点を基準として前記遠方道路領域の外枠を決定し、さらに、その外枠内における道路部分およびその外枠内における前方車両部分の少なくとも一方を除去した領域を、前記遠方道路領域に決定するものであることを特徴とする請求項３に記載の車載霧判定装置。
【請求項５】
前記画像霧状態判定手段は、前記遠方道路領域の画像の輝度のエッジ強度分布に基づいて、霧がかかった画像であるかどうかを判定するものであることを特徴とする請求項１乃至４のいずれかに記載の車載霧判定装置。
【請求項６】
前記画像霧状態判定手段は、前記遠方道路領域の画像の輝度のエッジ強度分布図において、所定の基準強度以下のエッジ強度の割合に基づいて、霧がかかった画像であるかどうかを判定するものであることを特徴とする請求項５に記載の車載霧判定装置。
【請求項７】
請求項１乃至４のいずれかに記載の車載霧判定装置であって、
前記画像霧状態判定手段は、前記遠方道路領域決定手段によって決定された遠方道路領域の画像と、前記画像内において車両近くの路辺を撮像している範囲として予め設定された至近路辺領域の画像とを比較することによって、前記遠方道路領域の画像が、霧がかかった画像であるかどうかを判定するものであることを特徴とする車載霧判定装置。
【請求項８】
前記画像霧状態判定手段は、前記遠方道路領域の画像の輝度のエッジ強度分布図において所定の基準強度以上の割合である強エッジ量を算出するとともに、前記至近路辺領域の画像の輝度のエッジ強度分布図に基づいてしきい値を算出し、前記強エッジ量としきい値との比較に基づいて、霧がかかった画像であるかどうかを判定するものであることを特徴とする請求項７に記載の車載霧判定装置。
【請求項９】
前記画像霧状態判定手段は、前記車載カメラによって撮像された複数の時点における遠方道路領域の画像に基づいて、その画像が霧がかかった画像であるか否かを判定するものであることを特徴とする請求項１乃至８のいずれかに記載の車載霧判定装置。
【請求項１０】
前記画像霧状態判定手段は、前記画像が、霧がかかった画像であるかどうかを繰り返し判定するものであり、且つ、前回の判定において霧がかかった画像であると判定されている場合には、前回の判定で霧がかかった画像でないと判定されている場合よりも、霧がかかった画像であると判定されやすくなっていることを特徴とする請求項１乃至９のいずれかに記載の車載霧判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラによって撮像された画像から霧判定する車載霧判定装置に関する。
【背景技術】
【０００２】
車載カメラの撮像画像を処理して霧判定を行う装置が知られている（たとえば特許文献１）。特許文献１における霧判定の方法は、画像のぼけ具合に基づいており、霧である場合にはぼけた画像となるので、画像のぼけ具合を推定することにより霧判定を行っている。画像のぼけ具合の推定は、まず、画像全体に対して画素毎に微分演算によって輝度のエッジ量を算出して、そのエッジ量に基づいて、画像のぼけ具合を推定している。画像がぼけているほどエッジ量は全体的に小さくなることから、エッジ量に基づいて画像のぼけ具合が推定できるのである。
【０００３】
この特許文献１の装置は、霧判定の結果を白線認識に利用している。車載カメラによって撮像された画像から白線認識を行う場合、霧であると、画像がぼけてしまい白線認識が困難になることから、白線認識に先立って霧判定を行うのである。そして、霧であると判定した場合には、フォグランプを点灯させることも記載されている。
【０００４】
また、特許文献２の装置は、霧のみを判定するものではないが、霧等による視界不良や、フロントガラスの汚れによって画像がぼけると、的確な車外監視（自車と車外の対象物との間の距離の監視など）が困難になるので、画像がぼけているかどうかを判定している。
【０００５】
特許文献２における画像ぼけの判定方法は、画像の中央上部に設定された固定領域の画像について輝度のエッジを算出し、そのエッジが所定値を越えた割合に基づいて、画像のぼけ具合を判定している。
【特許文献１】特許３４４４１９２号公報
【特許文献２】特許３３１２７２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１、２は、いずれも、車載カメラによって撮像された画像がぼけているかを判定することによって、霧判定を行っているのであるが、特許文献１のように、画像全体についてエッジ量を算出することとすると、画像処理の負荷が大きいという問題があった。一方、特許文献２では、エッジを算出するのは画像の中央上部に設定された固定領域のみであるので、画像処理の負荷は特許文献１の場合に比較して少ない。しかし、霧であっても自車から近距離にある物体は、比較的はっきり撮像されることから、その固定領域に自車から近距離に位置する物体が撮像されている場合には、霧判定が精度よく行えないという問題があった。なお、画像の中央上部に設定された固定領域に自車から近距離に位置する物体が撮像される場合としては、たとえば、同じ車線上における先行車が狭い車間距離で走行している場合が考えられるが、それ以外にも、比較的急なカーブを走行中の場合には、固定領域に、比較的近距離に位置する路側の景色が撮像される。
【０００７】
本発明は、この事情に基づいて成されたものであり、その目的とするところは、画像が霧がかかった画像であるかどうかを判定するための画像処理の負荷を軽減させつつ、霧判定の精度を確保することにある。
【課題を解決するための手段】
【０００８】
その目的を達成するための請求項１記載の発明は、車両に搭載される車載カメラにより撮像された画像が、霧がかかった画像であるかどうかを判定する画像霧状態判定手段を備えた車載霧判定装置であって、前記車載カメラによって撮像された画像内において前記車両が走行している道路の形状を決定する道路形状決定手段と、その道路形状決定手段によって決定された道路の形状に基づいて、前記画像内において前記車両から所定の遠方距離にある道路上の領域である遠方道路領域を決定する遠方道路領域決定手段とを備え、前記画像霧状態判定手段が判定する画像が、前記遠方道路領域決定手段によって決定された遠方道路領域の画像であることを特徴とする。
【０００９】
請求項1の発明によれば、画像霧状態判定手段において解析する画像は、車載カメラにより撮像された画像全体ではなく、遠方道路領域決定手段によって決定された遠方道路領域の画像であるので、車載カメラにより撮像された画像全体を解析するのに比較して、画像処理の負荷が軽減する。加えて、霧がかかった画像であるかどうかを解析する領域は、画像内において車両から所定の遠方距離にある道路上の領域である。このように、解析する画像の領域を道路上の領域とすれば、道路は通常、遠方まで続いていることから、その領域には遠方部分が撮像されている可能性が高いので、画像霧状態判定手段における判定が確保される。
【００１０】
ここで、前記道路形状決定手段における道路形状の決定方法としては、次述する第１乃至第３決定手段を単独で用いることもできるが、請求項２のように、それら第１乃至第３決定手段を組み合わせて用いることが好ましい。すなわち、請求項２記載の発明は、請求項１に記載の車載霧判定装置であって、前記道路形状決定手段は、前記車載カメラによって撮像された画像から、道路に沿って設けられている道路上標識を検出することによって、前記車両が走行している道路の形状を決定する第１決定手段、前記画像内における前方車両の位置を検出して、その検出した前方車両の位置に基づいて前記車両が走行している道路の形状を決定する第２決定手段、および、操舵角センサによって検出されるステアリングの操舵角およびヨーレートセンサによって検出される前記車両のヨーレートの少なくとも一方に基づいて、前記車両が走行している道路の形状を決定する第３決定手段、のうちの少なくとも２つの決定手段を備え、前記第１決定手段によって道路の形状が決定可能なときはその第１決定手段を用いて前記車両が走行している道路の形状を決定し、前記第１決定手段によっては道路の形状が決定できないが、前記第２決定手段によって道路の形状が決定可能なときはその第２決定手段を用いて前記車両が走行している道路の形状を決定し、前記第１、第２決定手段によっては道路の形状が決定できないが、前記第３決定手段によって道路の形状が決定できるときはその第３決定手段を用いて前記車両が走行している道路の形状を決定するものであることを特徴とする。
【００１１】
この請求項２記載の発明によれば、第１乃至第３決定手段のうちの一つの手段では道路の形状が決定できない場合であっても、他の決定手段によって道路の形状が決定可能であれば走行中の道路の形状が決定されるので、道路の形状が決定できない可能性が少ない。また、第１乃至第３決定手段を比較すると、第１決定手段は、道路に沿って設けられている道路上標識から道路の形状を決定するものであるので、最も道路の形状を正確に決定することができ、第２決定手段は、実際に前方の道路を走行している車両の位置に基づいて道路の形状を決定するものであることから第１決定手段に次いで正確に道路の形状を決定することができる。従って、上記請求項２記載の発明では、より高い決定精度を有する決定手段を用いて道路の形状を決定するようになっているので、道路の形状を精度よく決定することができる。
【００１２】
また、前記遠方道路領域は、請求項３記載のように、所定の遠方距離点を基準として決定することができる。すなわち、請求項３記載の発明は、請求項１または２に記載の車載霧判定装置において、前記道路形状決定手段によって決定された道路の形状、および、前記画像内において平坦な地面上で前記車両から所定の遠方距離を示す予め記憶された遠方距離線に基づいて、前記車両が走行している道路上において前記車両から所定の遠方距離にある遠方距離点を決定する遠方距離点決定手段をさらに備え、前記遠方道路領域決定手段は、その遠方距離点決定手段によって決定された遠方距離点を基準として前記遠方道路領域を決定するものである。
【００１３】
さらに、好ましくは、前記遠方道路領域決定手段は、請求項４記載のように、前記遠方距離点決定手段によって決定された遠方距離点を基準として前記遠方道路領域の外枠を決定し、さらに、その外枠内における道路部分およびその外枠内における前方車両部分の少なくとも一方を除去した領域を、前記遠方道路領域に決定する。遠方道路領域の外枠内における領域から道路部分を除去するのは、道路部分は、通常、輝度変化があるのは白線の境界のみであるので、道路部分の画像から霧であるかどうかを判定するのは比較的困難であるからである。また、前方車両部分を除去するのは、着目したい遠方背景に対し、前方車両の距離が至近距離である可能性があり、またテールランプの影響により輝度変化が大きく出てしまう可能性もあることから、前方車両部分の画像から霧であるかどうかを判定するのは困難な場合もあるからである。これらの霧であるかどうかを判定するのが比較的困難な部分を除去することにより、除去後の領域に基づく判定精度が向上する。
【００１４】
前記画像霧状態判定手段は、たとえば、請求項５記載のように、前記遠方道路領域の画像の輝度のエッジ強度分布に基づいて、霧がかかった画像であるかどうかを判定することができる。
【００１５】
また、そのようにエッジ強度分布に基づいて霧判定を行う場合、たとえば、請求項６記載のように、前記画像霧状態判定手段は、前記遠方道路領域の画像の輝度のエッジ強度分布図において、所定の基準強度以下のエッジ強度の割合に基づいて、霧がかかった画像であるかどうかを判定することができる。霧がかかっている画像の場合には、エッジ強度が全体的に小さくなることから、基準強度以下のエッジ強度の割合に基づいて霧がかかった画像であるかどうかを判定できるのである。
【００１６】
なお、画像霧状態判定手段における判定の手法としては、画像の輝度のエッジ強度分布に基づく手法以外にも、その画像の輝度の平均値に基づく判定等、他の手法も可能である。画像の輝度の平均値に基づいて霧の判定が可能であるのは、霧である場合には、全体的に明るい画像となるからである。
【００１７】
また、前記画像霧状態判定手段は、前記遠方道路領域決定手段によって決定された遠方道路領域の画像のみを解析することによって、その遠方道路領域の画像が、霧がかかったものであるかどうかを判定してもよい。しかし、この場合、遠方道路領域の画像が、平坦な地形を走行中であるためなどの理由により、霧ではないのにも関らず、霧の場合と同様に、エッジ強度が全体的に小さい画像となったり、全体的に明るい画像となったりすることもある。その場合には、霧ではないのに、誤って霧と判定してしまう恐れもある。
【００１８】
そこで、好ましくは、請求項７記載のように、前記画像霧状態判定手段は、前記遠方道路領域決定手段によって決定された遠方道路領域の画像と、前記画像内において車両近くの路辺を撮像している範囲として予め設定された至近路辺領域の画像とを比較することによって、前記遠方道路領域の画像が、霧がかかった画像であるかどうかを判定するようにする。
【００１９】
このように、画像内の予め設定された至近路辺領域の画像と遠方道路領域の画像とを比較する場合、至近路辺距離の画像は、霧の影響を受けにくく、霧であっても比較的はっきり撮像されるので、霧でない場合には、遠方道路領域の画像は至近路辺領域の画像と同様の輝度あるいは輝度のエッジ強度分布を示す。一方、霧である場合には、遠方道路領域の画像は至近路辺領域の画像とは輝度やそのエッジ強度分布が異なる。従って、遠方道路領域の画像と至近路辺領域の画像とを比較すると、霧判定の精度が向上する。
【００２０】
請求項７記載のように、遠方道路領域の画像と至近路辺領域の画像とを比較して霧判定を行う場合、たとえば、請求項８記載のように、至近路辺領域の画像のエッジ強度分布に基づいて判定のしきい値を定めるようにする。すなわち、請求項８記載の発明は、請求項７に記載の車載霧判定装置において、前記画像霧状態判定手段は、前記遠方道路領域の画像の輝度のエッジ強度分布図において所定の基準強度以上の割合である強エッジ量を算出するとともに、前記至近路辺領域の画像の輝度のエッジ強度分布図に基づいてしきい値を算出し、前記強エッジ量としきい値との比較に基づいて、霧がかかった画像であるかどうかを判定するものである。
【００２１】
また、画像霧状態判定手段は、一時点において撮像された画像のみを用いて霧判定を行ってもよいが、一時点の画像のみを用いる場合、たまたまその画像が誤判定をしてしまうような画像であることもある。そこで、好ましくは、請求項９記載のように、前記車載カメラによって撮像された複数の時点における遠方道路領域の画像に基づいて、その画像が霧がかかった画像であるか否かを判定するようにする。このようにすれば、霧判定の精度が向上する。
【００２２】
また、好ましくは、請求項１０記載のように、前記画像霧状態判定手段は、前記画像が、霧がかかった画像であるかどうかを繰り返し判定するものであり、且つ、前回の判定において霧がかかった画像であると判定されている場合には、前回の判定で霧がかかった画像でないと判定されている場合よりも、霧がかかった画像であると判定されやすくなっているようにする。
【００２３】
霧がかかった画像であるかどうかを繰り返し判定する場合において、前回の判定結果に関係なく同一判定基準を用いるとすると、比較的薄い霧のときは、判定結果が短時間のうちに変動してしまうことも考えられるが、それでは、判定結果をその後の制御（たとえば、フォグランプの自動点灯など）に利用する場合に不都合が生じる。それに対して、請求項１０のようにすれば、比較的薄い霧のときにも、判定結果が変動してしまうことが少なくなるので、判定結果に基づいてさらに制御を行う場合の上記不都合が解消される。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の車載霧判定装置の実施の形態を、図面に基づいて説明する。図１は、本発明が適用された車載霧判定装置１０の構成を示すブロック図である。
【００２５】
車載霧判定装置１０は、車載カメラ１２、画像処理ＥＣＵ１４、ヨーレートセンサ１６、ステアリングセンサ１８、ミリ波レーダ２０、車速センサ２２を備えており、それらが車内ＬＡＮ２４によって相互に接続されている。また、この車内ＬＡＮ２４には、運転支援制御ＥＣＵ２６およびライト制御ＥＣＵ２８も接続されている。
【００２６】
上記車載カメラ１２は、ＣＣＤカメラによって構成されており、その取り付け位置は、車両の内部、たとえば運転席近傍の天井とされている。この車載カメラ１２によって、車両前方の画像が連続的に撮像され、撮像された画像のデータは、画像処理ＥＣＵ１４において処理される。
【００２７】
画像処理ＥＣＵ１４は、図示しない内部にＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータであり、そのＲＡＭには、車載カメラ１２によって連続的に撮像される一定時間分の画像のデータが一時的に記憶される。そして、ＣＰＵは、ＲＯＭに記憶されたプログラムに従って、そのＲＡＭに記憶された画像データに対して図２に示す処理を実行する。このＣＰＵの処理については後述する。
【００２８】
ヨーレートセンサ１６は車両のヨーレートを逐次検出し、ステアリングセンサ１８は、ステアリングの操舵角を逐次検出する。また、ミリ波レーダ２０は、車両前方に向けて所定周波数のミリ波を出力し、且つ、対象物からの反射波を受信する。運転支援ＥＣＵ２６は、前方車両検出手段としても機能しており、上記ミリ波レーダ２０によって受信された反射波に基づいて、前方車両（自車と同一車線において前方を走行している車両）の有無を連続的に判定し、前方車両を検出した場合にはその前方車両との間の距離、相対方位および相対速度を算出する。さらに、算出したそれらの情報に基づいて、車速制御などの運転支援制御を実行する。
【００２９】
ライト制御ＥＣＵ２８は、画像処理ＥＣＵ１４において霧であると判定された場合に、図示しないフォグランプの点灯・消灯の制御を実行する。
【００３０】
図２は、上記画像処理ＥＣＵ１４の制御機能の要部を示すフローチャートである。図２に示す制御は、走行中に所定の周期で実行するものであり、この制御の実行中には、車載カメラ１２によって車両前方の画像が連続的に撮像されている。図３、図４は、車載カメラ１２によって撮像されている画像例である。
【００３１】
図２に示すように、上記画像処理ＥＣＵ１４は、まず、道路形状決定手段に相当する道路形状決定処理を実行し（ステップＳ１００）、次いで、遠方道路領域決定手段に相当する遠方道路領域決定処理を実行し（ステップＳ２００）、その後、画像霧状態判定手段に相当する霧判定画像処理（ステップＳ３００）を実行する。
【００３２】
上記ステップＳ１００の道路形状決定処理は、図５に詳しく示されている。図５において、まず、ステップＳ１１０では、車載カメラ１２によって連続的に撮像される画像に基づいて、道路に沿って設けられている道路上標識である白線を認識する白線認識処理を実行する。この白線認識処理としては、公知の様々な処理手法を用いることができるが、たとえば、車載カメラ１２によって撮像された画像を二値化処理し、二値化処理後の画像から白色部分を抽出することによって白線を認識する。なお、ここにおける白線は、通常の白線認識処理と同様に、白線のみでなく黄線も含むものである。
【００３３】
上記ステップＳ１１０における白線認識処理においては、常に白線が認識できるとは限らず、たとえば、道路に白線が描かれていない等の理由により、白線の認識ができないこともある。そこで、続くステップＳ１２０では、白線が認識できたか否かを判断する。ここでの判断は、続くステップＳ１３０において道路形状を決定できる程度に白線が認識できたかどうかを判断するものであり、両側の白線が認識される必要はなく、また、自車位置から消失点まで連続的に白線が認識できる必要もない。すなわち、ステップＳ１２０では、少なくとも一方の白線が、所定長さ連続して、或いは、断続的に認識できたか否かを判断する。
【００３４】
上記ステップ１２０の判断が肯定された場合には、続くステップＳ１３０において、道路形状を決定する。ここでの道路形状とは、自車から前方に延びる道路の曲がり具合（形状）を示す一本の線であり、たとえば、図３、図４に示す一点鎖線である。なお、図３および図４に示す一点鎖線は、自車が走行している車線の幅方向中心線となっているが、それに代えて、自車が走行している車線の左右いずれか一方の白線をそのまま道路形状としてもよいし、また、車線が複数ある場合には道路全体の幅方向中心線を道路形状としてもよい。上記ステップＳ１１０乃至ステップＳ１３０が第１決定手段に相当する。
【００３５】
一方、ステップＳ１２０の判断が否定された場合には、ステップＳ１４０において、運転支援ＥＣＵ２６において前方車両が検出されているか否かを判断する。この判断が肯定された場合には、運転支援ＥＣＵ２６ではその前方車両との間の距離、相対方位が算出されているので、ステップＳ１５０において、運転支援ＥＣＵ２６において算出されている前方車両との間の距離および相対方位に基づいて、その前方車両の画像内における位置を決定する。
【００３６】
続くステップＳ１６０では、ステアリングセンサ１８からの信号に基づいて操舵角を検出する。そして、ステップＳ１７０では、道路形状を示す線の自車側の端点として予め定められている画像内の所定点（たとえば、画像内におけるボンネットの境界線の車両幅方向中心点）とステップＳ１５０で決定した画像内における前方車両の位置とを、ステップＳ１６０で決定した操舵角を曲率半径とする円弧で連結することによって、道路形状を決定する。上記ステップＳ１４０乃至Ｓ１７０が第２決定手段に相当する。
【００３７】
前述のステップＳ１４０の判断も否定された場合には、第３決定手段に相当するステップＳ１８０乃至Ｓ１９０を実行して道路形状を決定する。まず、ステップＳ１８０では、ステアリングセンサ１８からの信号に基づいて操舵角を検出し、続くステップＳ１９０では、道路形状を示す線の自車側の端点として予め定められている画像内の所定点において、接線が車両前後方向に対して平行となるような円弧を、道路形状を示す線に決定する。なお、前述のステップＳ１６０およびステップＳ１８０のいずれか一方、あるいはその両方において、操舵角を検出することに代えて、ヨーレートセンサ１６からヨーレートを検出してもよい。
【００３８】
上記ステップＳ１３０、Ｓ１７０、Ｓ１９０においてそれぞれ決定される道路形状を比較すると、ステップＳ１３０は道路に沿って設けられている白線に基づいて道路形状を決定するため、最も道路形状を正確に決定することができ、また、ステップＳ１７０は、操舵角に加えて前方車両の位置を用いていることから、操舵角のみに基づいているステップＳ１９０よりも道路形状を正確に決定することができる。その一方で、ステップＳ１３０は白線が認識できない場合には道路形状が決定できず、また、ステップＳ１７０は前方車両が検出されない場合には道路形状が決定できないが、ステップＳ１９０は、確実に道路形状を決定することができる。
【００３９】
このようにして道路形状を決定したら遠方道路領域決定処理（図２のステップＳ２００）を実行する。この遠方道路領域決定処理は、図６に詳しく示す処理である。
【００４０】
図６において、まず、ステップＳ２１０では、自車が走行している道路上において自車から所定の遠方距離にある画像内の遠方距離点を決定する。このステップＳ２１０が遠方距離点決定手段に相当する。上記所定の遠方距離は、ここでは１００ｍに設定されていることとするが、１００ｍに限定されるものではなく、ある程度の濃さの霧の時に画像がぼやける程度に遠方であればよい。
【００４１】
車載カメラ１２は車両に固定されていることから、平坦な地面上のある地点までの実距離と、画像内においてその地点がどこに位置するかは予め決定することができる。従って、画像内において平坦な地面上で自車から１００ｍ先の地点が位置する１００ｍ線は予め決定することができる。図７は、画像内における上記１００ｍ線Lｆを示している。本実施形態では、この１００ｍ線Ｌｆが遠方距離線であり、この１００ｍ線Ｌｆが画像処理ＥＣＵ１４内のＲＯＭあるいは他の記憶装置に記憶されている。そして、ステップＳ２１０では、その１００ｍ線ＬｆとステップＳ１００で決定した道路形状を示す線との交点を、自車が走行している道路上における遠方距離点（すなわち、ここでは１００ｍ先の点）に決定する。
【００４２】
続くステップＳ２２０では、上記ステップＳ２１０で決定した遠方距離点を基準として遠方道路領域の外枠ＯＦを決定する。図３、図４に示されている遠方道路領域の外枠ＯＦは、ステップＳ２１０で決定した遠方距離点が外枠ＯＦの下辺の中心となるようにして設定したものである。また、この外枠ＯＦの大きさは、車載カメラ１２によって撮像される画像全体の大きさに対して十分小さ大きさに設定されている。
【００４３】
なお、図３、図４の例に限らず、上記遠方距離点が遠方道路領域の中心となるように外枠ＯＦの位置を決定してもよい。また、道路形状を、走行車線の幅方向中心線としているか、道路全体の幅方向中心線としているか、走行車線の左右いずれかの白線としているかによって、遠方道路領域の外枠ＯＦに対する遠方距離点の位置を変更してもよい。たとえば、道路形状（を示す線）を走行車線の右側白線としている場合には、遠方道路領域の外枠ＯＦの下辺の右から１／４の点が遠方距離点となるように外枠ＯＦの位置を決定してもよい。
【００４４】
続くステップＳ２３０では、上記ステップＳ２２０で決定した遠方道路領域の外枠ＯＦ内の領域から道路部分を除去する。本実施形態では、図８に示す予め設定された固定の道路部分３０を除去する。この道路部分は、外枠ＯＦの中心Ｏを頂点とし、外枠ＯＦの下辺を底辺とする三角形部分である。
【００４５】
外枠ＯＦ内に実際に撮像されている道路部分は、走行中の道路の幅や、直線道路であるかカーブ形状の道路であるかなどによってその形状が異なることを考えると、このように道路部分３０が固定された領域となっていると、外枠ＯＦ内において実際に撮像されている画像から道路部分を正確に除去することは困難である。しかし、道路形状がどのようなものであっても、遠方道路領域内においては、道路部分は下辺から上方へ向かうに従って狭くなるので、このように除去する道路部分３０を固定しても、大半の道路部分を除去することは可能であり、また、このように道路部分３０を固定することによって演算処理負荷を軽減させることができる。上記ステップＳ２３０で道路部分が除去されると、除去後の領域は、路側部分の割合が相対的に多くなる。
【００４６】
なお、道路部分３０を固定せずに、ステップＳ１００で決定した道路形状に基づいて道路部分を決定することも可能である。この場合には、たとえば、道路形状を示す線と遠方道路領域の外枠ＯＦとが一点でしか交わっていない場合（図３参照）には、消失点を頂点として外枠ＯＦの下辺を底辺とする三角形を道路部分とし、道路形状を示す線と遠方道路領域の外枠ＯＦとが二点で交わっている場合（図４参照）には、その２つの交点のうち外枠ＯＦの下辺ではない部分において交わっている側の交点（またはそれよりも所定座標だけ上側の点）を頂点として、外枠ＯＦの下辺を底辺とする直角三角形を道路部分とすればよい。また、画像処理によって白線を認識してその白線に基づいて道路部分を決定してもよい。
【００４７】
続くステップＳ２４０では、上記ステップＳ２２０で決定した遠方道路領域の外枠ＯＦ内に車両部分があるか否かを判断する。この判断を行うのは、遠方道路領域として決定する画像に、近距離に位置する車両が含まれていると霧判定が困難となることから、そのような近距離に位置する車両を遠方道路領域内の画像から除去するためである。従って、ステップＳ２４０では、運転支援ＥＣＵ２６によって前方車両の存在が検出されているかをまず判断する。そして、前方車両の存在が検出されている場合には、運転支援ＥＣＵ２６によって特定されている前方車両の位置および相対距離に基づいて車両が含まれると考えられる画像処理範囲を決定し、その画像処理範囲に対して、たとえば輝度変化に基づいて車両輪郭線を決定する等の公知の画像処理を実行することにより車両部分を決定し、その決定した車両部分を、上記ステップＳ２２０で決定した遠方道路領域の外枠ＯＦと比較する。
【００４８】
上記ステップＳ２４０の判断が否定された場合には、そのまま図６に示すルーチンを終了する。この場合には、ステップＳ２２０で決定した外枠ＯＦ内の領域から道路部分３０を除去した領域が遠方道路領域となる。一方、ステップＳ２４０の判断が肯定された場合には、ステップＳ２５０において、ステップＳ２２０で決定した外枠ＯＦ内の領域から、前述のステップＳ２４０の判断において決定した車両部分を除去した領域を、遠方道路領域に決定する。
【００４９】
以上のようにして決定した遠方道路領域に対して、ステップＳ３００において霧判定画像処理を実行する。従って、遠方道路領域は、霧判定画像処理が行われる画像処理領域であるということもできる。
【００５０】
ステップＳ３００の霧判定画像処理は図９に詳しく示す処理である。図９において、まず、ステップＳ３１０では、ステップＳ２００で決定した遠方道路領域の画像に対して、輝度値をＸ方向およびＹ方向に連続的に微分処理することにより、エッジ強度の二次元分布図を作成する。そして、ステップＳ３２０では、上記ステップＳ３１０で作成した二次元分布図において、所定のエッジ強度（基準強度）を超えた割合を意味する強エッジ量を算出する。
【００５１】
続くステップＳ３３０では、車速センサ２２から車速を検出し、ステップＳ３４０では、その検出した車速に基づいて、遠方道路領域にあった路辺部分が予め設定された至近路辺領域３２まで移動するのに必要な移動時間を算出する。ここで、至近路辺領域３２は、霧であっても画像がそれほどぼやけない程度に近距離の路辺が撮像される領域として設定された固定の領域であり、たとえば、図３、図４に示すように、車載カメラ１２によって撮像される画像の左右一方の端部であって、その画像の上下方向の中央に位置する所定の大きさの矩形領域である。
【００５２】
上述のように至近路辺領域３２は固定領域であり、また、遠方道路領域は、自車からの距離が定まっているので、遠方道路領域にあった路辺部分の物体が至近路辺領域３２まで移動する移動距離は予め決定しておくことができる。従って、ステップＳ３４０では、この予め決定した移動距離とステップＳ３３０で検出した車速から、遠方道路領域にあった路辺部分が予め設定された至近路辺領域３２まで移動するのに必要な移動時間を算出する。
【００５３】
続くステップＳ３５０では、ステップＳ３１０でエッジ強度の二次元分布図の作成に用いた画像が撮像されてから、上記ステップＳ３４０で算出した移動時間を経過した後の至近路辺領域の画像に対して、輝度のエッジ強度の二次元分布図をステップＳ３１０と同様にして作成する。
【００５４】
そして、続くステップＳ３６０では、上記ステップＳ３５０で作成した二次元分布図に対して、ステップＳ３２０と同様に、強エッジ量を算出し、さらに、ステップＳ３７０において、上記ステップＳ３６０で算出した至近路辺領域の画像の強エッジ量に基づいて、次述するステップＳ３８０において用いるしきい値を決定する。たとえば、上記ステップＳ３６０で算出した強エッジ量に１よりも小さい所定値α（たとえば０．７）を乗じた数値をしきい値に決定する。ただし、前回の霧判定、すなわち、繰り返し実行するこの図９のルーチンを前回実行したときに、後述するステップＳ３９５において霧と判定したか否かによって、上記しきい値を変更するようになっており、たとえば、前回の判定において霧でないと判定している場合には上記所定値αを０．７とするが、前回の判定において霧と判定している場合には上記所定値を０．６とする。
【００５５】
続くステップＳ３８０では、前述のステップＳ３２０で算出した遠方道路領域の画像の強エッジ量を、上記ステップＳ３７０で決定したしきい値と比較して、ステップＳ３２０で算出した強エッジ量が上記しきい値よりも大きい場合には、霧がかかった画像でないと判定し、ステップＳ３２０で算出した強エッジ量が上記しきい値以下の場合には、霧がかかった画像であると判定する。なお、上記しきい値は、前述のように、前回の判定結果に基づいて変更されるようになっているため、前回の判定において霧と判定している場合には、前回の判定において霧でないと判定されている場合よりも、霧と判定されやすい。従って、薄い霧の場合であっても、短い期間内における判定結果の変動が防止される。
【００５６】
そして、続くステップＳ３９０では、初回の霧判定（Ｓ３８０）の実行時を計時開始時点として、最終判定時期となったか否かを判定する。この最終判定時期は、たとえば、1分間に設定されている。この判断が否定された場合には、前述のステップＳ３１０以下を繰り返す。
【００５７】
一方、ステップＳ３９０の判断が肯定された場合には、ステップＳ３９５において、最終的な霧判定を実行する。ここでの最終的な霧判定は、ステップＳ３１０乃至３９０を繰り返すことによってステップＳ３８０で決定した複数の判定結果のうち、霧であると判定している割合が予め設定された所定割合以上であれば、霧であると判定する一方、霧でないと判定している割合が上記所定割合以上であれば、霧でないと判定する。このように、ステップＳ３８０における複数回の判定結果を用いて、最終的な判定を行うようにすれば、たまたま一時点の画像が誤判定をしてしまうような画像であったとしても、最終的な判定としては誤判定を防止できるので、判定の精度が向上する。
【００５８】
なお、上記所定割合が５割とされている場合には、必ず、霧または霧でないと判定することになるが、上記所定割合が５割以外であってもよい。この場合には、霧であるとも、霧でないとも判定されないこともあるが、その場合には、前回の判定結果が維持されることになる。
【００５９】
以上、説明した本実施形態によれば、ステップＳ３００（画像霧状態判定手段）において解析する画像は、車載カメラ１２により撮像された画像全体ではなく、ステップＳ２００（遠方道路領域決定手段）において決定した遠方道路領域画像であるので、車載カメラ１２により撮像された画像全体を解析するのに比較して、画像処理の負荷が軽減する。加えて、霧がかかった画像であるかどうかを解析する遠方道路領域は、画像内において車両から所定の遠方距離にある道路上の領域である。このように、解析する画像の領域を道路上の領域とすれば、通常、道路は遠方まで続いていることから、その領域には遠方部分が撮像されている可能性が高いので、ステップＳ３００（画像霧状態判定手段）における判定が確保される。
【００６０】
また、本実施形態によれば、画像内の予め設定された至近路辺領域３２の画像と、遠方道路領域の画像とを比較して、遠方道路領域の画像が、霧がかかった画像であるかどうかを判定していることから、霧ではないが、平坦な地形を走行中であるために遠方道路領域の画像のみからでは霧と判定されてしまうような場合であっても、誤って霧と判定されてしまうことが防止される。
【００６１】
以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の実施形態も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。
【００６２】
たとえば、前述の実施形態では、道路の形状を決定するための道路上標識として白線を認識していたが、道路上標識としては、白線以外に、白線と同様に車線を区画するために連続的に配置されている突起物（半球状のものや、棒状のものなど）、中央分離帯、路側の側溝、轍等があり、それらを認識して道路の形状を決定してもよい。
【００６３】
また、前述の実施形態では、遠方道路領域にあった路辺部分が至近路辺領域まで移動する移動時間を算出しており、遠方道路領域の画像と比較する至近路辺領域の画像は、遠方道路領域の画像が撮像されてからその移動時間だけ後の時点で撮像された画像とされていたが、遠方道路領域の画像と比較する至近路辺領域の画像として、遠方道路領域の画像と同一時点の画像を用いてもよい。この場合には、同じ部分（風景）を比較することにはならないが、同じ部分を比較しなくても、平坦な地形を走行している場合に生じる可能性のある前述の誤判定を防止することはできる。
【００６４】
また、前述の実施形態では、一時点の遠方道路領域の画像毎に強エッジ量を算出し（Ｓ３２０）、その強エッジ量に基づいて一時点の遠方道路画像毎に霧判定を行い（Ｓ３８０）、その判定結果を複数用いて最終的な判定を行っていたが（Ｓ３９５）、一時点の画像毎に算出した強エッジ量を平均し、その平均した強エッジ量に基づいて一つの判定結果（最終的な判定）を決定してもよい。
【００６５】
また、前述の実施形態では、遠方道路領域の外枠ＯＦから道路部分を除去し、さらに、車両部分がある場合にはその車両部分も除去した領域を遠方道路領域としていたが、道路部分や車両部分を除去する処理は必須ではなく、遠方道路領域の外枠ＯＦ内の画像を全て用いて霧判定を行ってもよいし、道路部分および車両部分のいずれか一方を除去しなくてもよい。
【００６６】
また、前述の実施形態の第２決定手段（Ｓ１４０乃至Ｓ１７０）では、画像内における自車側の所定の端点と前方車両の位置とを、操舵角を曲率半径とする円弧で連結することによって道路形状を決定していたが、ミリ波レーダ２０が車両前後方向線に対して比較的狭い範囲の車両のみを検出するようになっている場合には、自車側の所定の端点と前方車両とを直線で連結して道路形状を決定してもよい。この場合には、ステップＳ１６０（操舵角の検出）は不要となる。なお、前方車両を検出するために、ミリ波レーダ２０に代えて、レーザレーダーを備えていてもよいし、また、画像からテールランプやナンバープレート等の車両に特徴的な形状を検出することによって前方車両を検出するようにしてもよい。
【００６７】
また、前述の実施形態では、遠方道路領域の外枠ＯＦおよび至近路辺領域３２はいずれも矩形であったが、これらは矩形である必要はなく、円形等の他の形状であってもよい。
【図面の簡単な説明】
【００６８】
【図１】本発明が適用された車載霧判定装置１０の構成を示すブロック図である。
【図２】図１の画像処理ＥＣＵ１４が実行する制御機能の要部を示すフローチャートである。
【図３】車載カメラ１２によって撮像されている画像例である。
【図４】車載カメラ１２によって撮像されている画像例である。
【図５】図１のステップＳ１００の道路形状決定処理を詳しく示すフローチャートである。
【図６】図１のステップＳ２００の遠方道路領域決定処理を詳しく示すフローチャートである。
【図７】車載カメラ１２によって撮像される画像内における予め設定された１００ｍ線Lｆを示す図である。
【図８】予め設定された固定の道路部分３０を示す図である。
【図９】図１のステップＳ３００の霧判定画像処理を詳しく示すフローチャートである。
【符号の説明】
【００６９】
１０：車載霧判定装置
１２：車載カメラ
１６：ヨーレートセンサ
１８：ステアリングセンサ
３２：至近路辺領域
Ｌｆ：１００ｍ線（遠方距離線）
ＯＦ：遠方道路領域の外枠
【図１】
2006349492.tif 000003
【図２】
2006349492.tif 000004
【図３】
2006349492.tif 000005
【図４】
2006349492.tif 000006
【図５】
2006349492.tif 000007
【図６】
2006349492.tif 000008
【図７】
2006349492.tif 000009
【図８】
2006349492.tif 000010
【図９】
2006349492.tif 000011