(57)【要約】  車載装置は、カメラレンズを介して車両の周囲環境を撮影するカメラから撮影画像を取得する画像取得部と、撮影画像に基づいてカメラレンズに付着した複数種類の付着物をそれぞれ検知する付着物検知部と、周囲環境に存在する所定の物体像を撮影画像から認識する画像認識部と、付着物検知部による複数種類の付着物の各検知結果に基づいて、複数の検知結果を統合した統合検知結果を算出する検知結果統合部と、統合検知結果に基づいて、画像認識部の動作を制御する動作制御部と、を備える。
2015008566.tif 000002
【特許請求の範囲】
【請求項１】
カメラレンズを介して車両の周囲環境を撮影するカメラから撮影画像を取得する画像取得部と、
前記撮影画像に基づいて前記カメラレンズに付着した複数種類の付着物をそれぞれ検知する付着物検知部と、
前記周囲環境に存在する所定の物体像を前記撮影画像から認識する画像認識部と、
前記付着物検知部による前記複数種類の付着物の各検知結果に基づいて、複数の検知結果を統合した統合検知結果を算出する検知結果統合部と、
前記統合検知結果に基づいて、前記画像認識部の動作を制御する動作制御部と、
を備える車載装置。
【請求項２】
請求項１に記載の車載装置において、
前記検知結果統合部は、前記付着物検知部の各検知結果を同一の座標系にそれぞれ投影し、投影して得られた複数の座標から前記座標系上に合成座標を設定し、
前記動作制御部は、前記合成座標に基づいて、前記画像認識部の動作を制御する車載装置。
【請求項３】
請求項２に記載の車載装置において、
前記座標系は、前記付着物によるレンズ透過率に関する第１の座標軸と、前記カメラレンズに付着した付着物の面積に関する第２の座標軸とを有し、
前記付着物検知部により得られる各検知結果は、前記レンズ透過率と前記付着物の面積であり、それらの２つの検知結果により得られる座標の領域は、前記付着物の種類ごとにそれぞれ設定されている車載装置。
【請求項４】
請求項３に記載の車載装置において、
前記動作制御部は、前記第１の座標軸と前記第２の座標軸のどちらに前記合成座標がより近いかに基づいて、前記画像認識部に行う制御を決定する車載装置。
【請求項５】
請求項３に記載の車載装置において、
前記動作制御部は、前記合成座標が前記第１の座標軸と前記第２の座標軸の範囲内に予め定められた動作決定領域の範囲内の座標であるとき、前記画像認識部による前記所定の物体像の認識を中止させる車載装置。
【請求項６】
請求項３に記載の車載装置において、
前記動作制御部は、前記合成座標が前記第１の座標軸と前記第２の座標軸の範囲内に予め定めた動作決定領域の範囲内の座標であるとき、前記カメラレンズから前記付着物を除去する除去装置を動作させる車載装置。
【請求項７】
請求項１乃至６のいずれか１項に記載の車載装置において、
前記付着物検知部は、前記複数種類の付着物をそれぞれ継続的に検知した時間に応じた信頼度をさらに算出し、
前記検知結果統合部は、前記付着物検知部が算出した各信頼度も用いて前記統合検知結果を算出する車載装置。
【請求項８】
請求項７に記載の車載装置において、
前記車両の周囲の光源環境、前記車両が走行する走行路、天候の少なくともいずれか一つについて前記信頼度が低下する環境を検知する環境検知部と、
前記環境検知部により検知された環境に基づいて、前記付着物検知部が算出した各信頼度をそれぞれ補正する信頼度補正部と、
をさらに備える車載装置。
【請求項９】
請求項１乃至６のいずれか１項に記載の車載装置において、
前記車両の速度またはヨーレートを少なくとも含む走行状態に関する情報を取得する情報検出部と、
前記情報検出部が取得した前記走行状態に関する情報に基づいて、前記複数種類の付着物のうち一部の付着物の検知を前記付着物検知部に停止させる検知停止部と、
をさらに備え、
前記検知結果統合部は、前記複数種類の付着物のうち前記検知停止部により検知が停止されていない付着物の検知結果に基づいて前記統合検知結果を算出する車載装置。
【請求項１０】
請求項９に記載の車載装置において、
前記情報検出部が取得した前記車両の速度に関する情報に基づいて、前記車両が停車していることを判定する停車判定部と、
所定時間以上継続して前記車両が停車していることを前記停車判定部が判定した後に発車するとき、前記付着物検知部の検知結果を初期化する初期化部と、
をさらに備える車載装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載装置に関する。
【背景技術】
【０００２】
車両に設置されたカメラにより車両前方を撮影し、その撮影画像に対して水平方向にエッジ検出を行い、路面に設けられたレーンマーク（区画線）を検出する車載装置が知られている（特許文献１）。この装置では、水平方向に隣接する画素との輝度差の絶対値が閾値を超える画素をエッジ点として抽出し、そのエッジ点の計測数に基づいてレーンマークを認識する。
また、車載カメラレンズの状態に基づいて、移動中にも関わらず撮影画像中に含まれる不動領域を検出することで、レンズに付着した異物等を検知する手法が知られている（特許文献２）。また、複数のカメラの重複撮像領域を利用し、水滴が付着したことを判定する手法が知られている（特許文献３）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】日本国特開２０１０−２４４３８２号公報
【特許文献２】日本国特開２０１２−３８０４８号公報
【特許文献３】日本国特開２０１１−２２３０７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献２，３に記載のように、レンズ汚れを検知する個々の手法は存在するものの、例えば、水滴と泥がまざったような複合汚れの状況において、正しく汚れとして検知し、適切に対応することが困難な場合がある。
【課題を解決するための手段】
【０００５】
本発明の第１の態様によると、車載装置は、カメラレンズを介して車両の周囲環境を撮影するカメラから撮影画像を取得する画像取得部と、撮影画像に基づいてカメラレンズに付着した複数種類の付着物をそれぞれ検知する付着物検知部と、周囲環境に存在する所定の物体像を撮影画像から認識する画像認識部と、付着物検知部による複数種類の付着物の各検知結果に基づいて、複数の検知結果を統合した統合検知結果を算出する検知結果統合部と、統合検知結果に基づいて、画像認識部の動作を制御する動作制御部と、を備える。
本発明の第２の態様によると、第１の態様の車載装置において、検知結果統合部は、付着物検知部の各検知結果を同一の座標系にそれぞれ投影し、投影して得られた複数の座標から座標系上に合成座標を設定し、動作制御部は、合成座標に基づいて、画像認識部の動作を制御することが好ましい。
本発明の第３の態様によると、第２の態様の車載装置において、座標系は、付着物によるレンズ透過率に関する第１の座標軸と、カメラレンズに付着した付着物の面積に関する第２の座標軸とを有し、付着物検知部により得られる各検知結果は、レンズ透過率と付着物の面積であり、それらの２つの検知結果により得られる座標の領域は、付着物検知部の種類ごとにそれぞれ設定されていることが好ましい。
本発明の第４の態様によると、第３の態様の車載装置において、動作制御部は、第１の座標軸と第２の座標軸のどちらに合成座標がより近いかに基づいて、画像認識部に行う制御を決定することが好ましい。
本発明の第５の態様によると、第３の態様の車載装置において、動作制御部は、合成座標が第１の座標軸と第２の座標軸の範囲内に予め定められた動作決定領域の範囲内の座標であるとき、画像認識部による所定の物体像の認識を中止させることが好ましい。
本発明の第６の態様によると、第３の態様の車載装置において、動作制御部は、合成座標が第１の座標軸と第２の座標軸の範囲内に予め定めた動作決定領域の範囲内の座標であるとき、カメラレンズから付着物を除去する除去装置を動作させることが好ましい。
本発明の第７の態様によると、第１乃至６のいずれか一態様の車載装置において、付着物検知部は、複数種類の付着物をそれぞれ継続的に検知した時間に応じた信頼度をさらに算出し、検知結果統合部は、付着物検知部が算出した各信頼度も用いて統合検知結果を算出することが好ましい。
本発明の第８の態様によると、第７の態様の車載装置において、車両の周囲の光源環境、車両が走行する走行路、天候の少なくともいずれか一つについて信頼度が低下する環境を検知する環境検知部と、環境検知部により検知された環境に基づいて、付着物検知部が算出した各信頼度をそれぞれ補正する信頼度補正部と、をさらに備えることが好ましい。
本発明の第９の態様によると、第１乃至６のいずれか一態様の車載装置において、車両の速度またはヨーレートを少なくとも含む走行状態に関する情報を取得する情報検出部と、情報検出部が取得した走行状態に関する情報に基づいて、複数種類の付着物のうち一部の付着物の検知を付着物検知部に停止させる検知停止部と、をさらに備え、検知結果統合部は、複数種類の付着物のうち検知停止部により検知が停止されていない付着物の検知結果に基づいて統合検知結果を算出することが好ましい。
本発明の第１０の態様によると、第９の態様の車載装置において、情報検出部が取得した車両の速度に関する情報に基づいて、車両が停車していることを判定する停車判定部と、所定時間以上継続して車両が停車していることを停車判定部が判定した後に発車するとき、付着物検知部の検知結果を初期化する初期化部と、をさらに備えることが好ましい。
【発明の効果】
【０００６】
本発明によれば、複合汚れの状況においても、正しく汚れとして検知し、画像認識部の動作を適切に制御できる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態による車載装置の構成を示すブロック図である。
【図２】本発明の一実施形態による車載装置の機能ブロック図である。
【図３】水滴検知部の処理の説明に用いる図である。
【図４】白濁検知部の処理の説明に用いる図である。
【図５】投影変換部の処理の説明に用いる図である。
【図６】合成座標設定部の処理の説明に用いる図である。
【図７】動作抑制部の処理の説明に用いる図である。
【図８】環境検知制御部に関する機能ブロック図である。
【図９】光源環境検知部の処理に関するフローチャートである。
【図１０】光源環境検知部の処理領域を図示した図である。
【図１１】走行路環境検知部の処理に関するフローチャートである。
【図１２】天候検知部の処理に関するフローチャートである。
【図１３】環境検知制御部の処理に関するフローチャートである。
【図１４】レーン認識部の処理に関するフローチャートである。
【図１５】レーン認識部の処理の説明に用いる図である。
【図１６】車両認識部の処理に関するフローチャートである。
【図１７】車載装置の動作に関するフローチャートである。
【発明を実施するための形態】
【０００８】
図１は、本発明の一実施形態による車載装置１のブロック構成図である。図１に示す車載装置１は、車両に搭載されるＥＣＵ（Ｅｌｅｃｔｒｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）であって、ＣＰＵとメモリ１０とを備える。メモリ１０には、ＲＯＭとワーキングメモリ、バッファメモリとして利用されるＲＡＭとが含まれ、ＲＯＭには車載装置１のＣＰＵにより実行されるプログラムと詳細を後述する制御マップに関する情報が記憶されている。
【０００９】
車載装置１は、カメラ２ａおよび２ｂと、警報出力部３と、除去制御部４とに接続されている。また、車載装置１は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）に接続されており、カーナビゲーション装置や車載装置１よりも上位のＥＣＵなどから情報を取得することができる。たとえば、車載装置１は、ＣＡＮを介して車両の走行速度、ヨーレート、ワイパの動作状態など、車両に関する情報を取得することができる。
【００１０】
カメラ２ａおよび２ｂは、たとえばボディ、バンパーなどの車両の各部にそれぞれ設置されている。カメラ２ａは、カメラレンズを車両の前方に向けており、車両前方の路面と車両前方に設置されている道路標識とを同時に撮影することができる程度の画角を有する。カメラ２ｂは、カメラレンズを車両の後方に向けており、車両後方の路面と車両後方の風景とを同時に撮影することができる程度の画角を有する。
【００１１】
車載装置１は、カメラ２ａおよび２ｂの撮影画像に対して画像認識処理を実行して、撮影画像に含まれるレーンマーク、他車両、歩行者、道路標識、駐車枠などの画像を認識する。ここで、レーンマークとは、ペイントや道路鋲（ボッツドッツ）などにより形成された車線境界線、車道中央線、車道外側線などを表す。車載装置１は、画像認識処理の結果に基づいて、たとえば車両が走行車線を逸脱しようとしていることや車両が他車両と衝突しようとしていることなどを検出する。
【００１２】
カメラ２ａおよび２ｂの各カメラレンズには、水滴、泥、融雪剤などが付着することがある。特に車両が走行している場合には、路上の水、泥、融雪剤などが車両に跳ね上げられて、カメラレンズに付着しやすい。カメラレンズに付着する水滴は、雨滴などであり不純物を多く含有することが多く、乾燥するとカメラレンズに水滴痕が残ることがある。また、水滴痕や泥水などがカメラレンズに付着することによりカメラレンズが白濁した状態になることがある。以降、カメラレンズに付着した水滴、水滴痕、泥などの異物や、白濁などのカメラレンズの汚れなどを総称して付着物と記載する。
【００１３】
警報出力部３は、車両の運転者に対して警報ランプ、警報ブザー、警報表示画面等による警報を出力する。除去制御部４は、不図示のエアーポンプ、ウォッシャーポンプ、ワイパ駆動部など、カメラ２ａおよび２ｂの各カメラレンズから付着物を除去するための除去装置を制御する。除去制御部４は、車載装置１からの指令に基づいて除去装置を制御して、圧縮空気や洗浄液の噴射動作、レンズ用ワイパによる払拭動作などを実施し、カメラ２ａおよび２ｂの各カメラレンズからの付着物除去を試みる。
【００１４】
図２は、車載装置１の機能ブロック図である。車載装置１は、メモリ１０に記憶されたプログラムを実行することにより、撮影画像取得部１１と情報検出部１２と付着物検知部１３と検知結果統合部１４と動作制御部１５と画像認識部１６と警報制御部１７として機能する。
【００１５】
撮影画像取得部１１は、所定のフレームレートでカメラ２ａおよび２ｂから撮影画像をそれぞれ取得する。撮影画像取得部１１は、フレームごとに取得した各撮影画像を付着物検知部１３と検知結果統合部１４と画像認識部１６とへ出力する。
【００１６】
情報検出部１２は、ＣＡＮを介して、車載装置１よりも上位のＥＣＵなどから自車両の速度、ヨーレート、操舵角、ワイパの動作状態、外気温などの情報を取得する。情報検出部１２は、取得した情報を検知結果統合部１４へ出力する。
【００１７】
付着物検知部１３は、水滴検知部１３１と白濁検知部１３２と水滴痕検知部１３３と泥検知部１３４とを有し、撮影画像取得部１１が出力した撮影画像の中からカメラ２ａおよび２ｂの各カメラレンズに付着した水滴、白濁、水滴痕、泥などの各種付着物をそれぞれ検知する。水滴検知部１３１と白濁検知部１３２と水滴痕検知部１３３と泥検知部１３４は、それぞれの検知結果を検知結果統合部１４へ出力する。水滴検知部１３１と白濁検知部１３２と水滴痕検知部１３３と泥検知部１３４の各々の詳細は後述する。
【００１８】
検知結果統合部１４は、投影変換部１４１と合成座標設定部１４２と環境検知制御部１４３とを有する。検知結果統合部１４は、付着物検知部１３の各検知結果を統合して、カメラ２ａおよび２ｂの各カメラレンズごとに一の汚濁状態に関する情報を決定して、それらの情報をそれぞれ動作制御部１５へ出力する。投影変換部１４１と合成座標設定部１４２と環境検知制御部１４３の詳細については後述する。
【００１９】
動作制御部１５は、検知結果統合部１４から出力されたカメラ２ａおよび２ｂの各々のカメラレンズの汚濁状態に関する情報に基づいて、画像認識部１６の動作を制御する。画像認識部１６は、レーン認識部１６１と車両認識部１６２と歩行者認識部１６３と標識認識部１６４と駐車枠認識部１６５とを有し、撮影画像取得部１１が出力した撮影画像の中からそれぞれレーンマーク、他車両、歩行者、道路標識、駐車枠などの物体像を認識する。
【００２０】
動作制御部１５は、画像認識部１６に対して、各認識対象を認識しやすくする不検知対策と、各認識対象を認識しにくくする誤検知対策とのどちらを実行するのかを決定する。不検知対策と誤検知対策は、それぞれ３段階に分けられている。以降では、不検知対策と誤検知対策の各段階のことを抑制モードと呼ぶ。
【００２１】
第１抑制モードでは、画像認識部１６の認識感度に関係する制御パラメータを調整する。調整する制御パラメータは、画像認識部１６の各部ごとに定められており、後述する。第２抑制モードでは、画像認識部１６の認識感度に関係する制御パラメータを第１抑制モードよりも大幅に調整する制御や、撮影画像のうち付着物が検知されている領域を画像認識部１６の処理領域から除外する制御などを行う。第３抑制モードでは、除去制御部４による付着物の除去や、画像認識部１６による画像認識を断念する制御を行う。
【００２２】
検知結果統合部１４から各カメラレンズについて汚濁状態に関する情報が一つずつ出力されるため、動作制御部１５は画像認識部１６の認識感度の制御を矛盾なく実行することができる。
【００２３】
警報制御部１７は、画像認識部１６の認識結果に基づいて、警報出力部３を用いた警報を行う。たとえば、車両が走行車線を逸脱すると判定されている場合、車両が他車両と衝突するおそれがあると判定されている場合、画像認識部１６による画像認識を断念する場合などには、警報出力部３により警報が出力される。
【００２４】
（水滴検知部１３１）
図３（ａ）および（ｂ）を用いて水滴検知部１３１の動作について説明する。図３（ａ）に示されるように、水滴検知部１３１は、撮影画像３０の画像領域を複数のブロックＢ（ｘ，ｙ）に分割する。各ブロックＢ（ｘ，ｙ）には、撮影画像の複数の画素が含まれている。
【００２５】
水滴検知部１３１は、各ブロックＢ（ｘ，ｙ）ごとに水滴の付着時間を表すスコアＳ１（ｘ，ｙ）を算出する。スコアＳ１（ｘ，ｙ）は、初期値がゼロであって、以下に説明する判定によりそのブロックＢ（ｘ，ｙ）内に水滴が付着していると判定されるたびに所定値増加する。
【００２６】
水滴検知部１３１による各画素ごとのスコア計算は以下のとおりである。図３（ｂ）は、任意の画素３１を着目点とした図である。水滴検知部１３１は、その着目点３１から上方向、右上方向、右下方向、左上方向、左下方向にそれぞれ所定距離（たとえば、３ｐｉｘ）離れた画素を内部参照点３２に設定して、それらの５方向にさらに所定距離（たとえば、３ｐｉｘ）離れた画素を外部参照点３３に設定する。次に、水滴検知部１３１は、各内部参照点３２と各外部参照点３３のそれぞれについて、輝度を算出する。
【００２７】
水滴の中心部は、縁部よりもレンズ効果で明るい可能性が高い。そこで、水滴検知部１３１は、５方向の各々について、内部参照点３２の輝度が外部参照点３３の輝度よりも高いか否かを判定する。換言すると、水滴検知部１３１は、着目点３１が水滴の中心部であるか否かを判定する。水滴検知部１３１は、各方向の内部参照点３２の輝度が同方向の外部参照点３３の輝度よりも高い場合、その着目点３１が属するＢ（ｘ，ｙ）のスコアＳ１（ｘ，ｙ）を所定値、たとえば、１だけ増加させる。
【００２８】
水滴検知部１３１は、撮影画像中の全画素について上述の判定を行った後、後述する環境検知制御部１４３から、各ブロックＢ（ｘ，ｙ）のスコアＳ１（ｘ，ｙ）を初期化してからの経過時間ｔ１を取得する。そして、水滴検知部１３１は、各ブロックＢ（ｘ，ｙ）のスコアＳ１（ｘ，ｙ）をその経過時間ｔ１で除して、スコアＳ１（ｘ，ｙ）の時間平均Ｓ１（ｘ，ｙ）／ｔ１を算出する。水滴検知部１３１は、全ブロックＢ（ｘ，ｙ）の時間平均Ｓ１（ｘ，ｙ）／ｔ１の総和を算出して、それを撮影画像３０中の全ブロック数で除してスコア平均ＡＳ１を算出する。
【００２９】
カメラレンズに水滴が継続的に付着していると、フレームごとにスコア平均ＡＳ１が増加する。換言すると、スコア平均ＡＳ１が大きい場合、カメラレンズに水滴が長時間付着している確率が高い。水滴検知部１３１は、このスコア平均ＡＳ１を利用して、水滴検知部１３１の検知結果の信頼度Ｒ１を生成する。水滴の場合には、雨が付着し易いような走行状況においてもレンズ上の水が流れ落ちる等の影響によりスコアＳ１（ｘ，ｙ）の上下変動が見受けられる。このため、現在のレンズ上の水滴の付着量はスコア平均ＡＳ１を利用する。信頼度Ｒ１については、雨滴の場合には、泥や白濁の場合と違い、どうしてもレンズ状態の変化が激しく、雨天であったとしても一時的にスコアＳ１（ｘ，ｙ）が低下することがある。そこで、スコア平均ＡＳ1がある一定値ＴＡＳ1を超えていた時間のカウントＣＳ1を利用する。水滴検知部１３１は、ある所定期間スコア平均ＡＳ１が一定値ＴＡＳ１を下回ったとしても時間のカウントＣＳ1を保留し、所定期間以上に下回った際には、スコアＳ１（ｘ，ｙ）を減算させる。水滴検知部１３１は、閾値ＡＳ１ＴＨＲを決定し、信頼度Ｒ１＝ＣＳ1／ＡＳ１ＴＨＲを算出する。水滴検知部１３１は、時間のカウントＣＳ1がＡＳ１ＴＨＲを超えた場合には信頼度Ｒ１を１で表現する。信頼度Ｒ１が１に近いほど、検知された水滴の付着が信頼できる。
【００３０】
次に、水滴検知部１３１は、全ブロックＢ（ｘ，ｙ）の中からスコアＳ１（ｘ，ｙ）が所定値以上のブロックを検出して、検出されたブロックの個数Ｎ１を算出する。水滴検知部１３１は、検出されたＮ１個のブロックに含まれる画素について、内部参照点３２と外部参照点３３の輝度差を算出して、それらの画素の輝度差の平均ＡＤ１を算出する。そして、水滴検知部１３１は、信頼度Ｒ１と、スコアＳ１（ｘ，ｙ）が所定値以上のブロックの個数Ｎ１と、輝度差の平均ＡＤ１とを検知結果として検知結果統合部１４へ出力する。
【００３１】
（白濁検知部１３２）
図４を用いて白濁検知部１３２の動作について説明する。図４に示されるように、白濁検知部１３２は、撮影画像中に地平線が写り込む予定の位置に左上検知領域４１と上検知領域４２と右上検知領域４３とを設定する。上検知領域４２は、路面に互いに平行に設けられた２本のレーンマークの消失点が含まれるような位置に設定される。図４では、２本のレーンマーク４６の消失点４７が上検知領域４２の内側に含まれている。左上検知領域４１は上検知領域４２よりも左側に設定され、右上検知領域４３は上検知領域４２よりも右側に設定される。また、白濁検知部１３２は、撮影画像中にレーンマークが写る予定の位置に左下検知領域４４と右下検知領域４５とを設定する。
【００３２】
白濁検知部１３２は、左上検知領域４１と上検知領域４２と右上検知領域４３と左下検知領域４４と右下検知領域４５のそれぞれの領域内の画素に対して、水平方向のエッジ検出処理を行う。左上検知領域４１と上検知領域４２と右上検知領域４３に対するエッジ検出では、地平線などのエッジが検出される。また、左下検知領域４４と右下検知領域４５とに対するエッジ検出では、レーンマーク４６などのエッジが検出される。白濁検知部１３２は、各検知領域４１〜４５に含まれる各画素についてそれぞれエッジ強度を算出する。そして、白濁検知部１３２は、各検知領域４１〜４５ごとにエッジ強度の平均値ＡＥ２を算出して、その平均値ＡＥ２が所定の閾値ε未満か否かを判定する。白濁検知部１３２は、エッジ強度の平均値ＡＥ２が閾値ε未満の検知領域は白濁していると判断する。
【００３３】
白濁検知部１３２は、各検知領域４１〜４５の中でエッジ強度の平均値ＡＥ２が閾値ε未満の検知領域の個数、すなわち白濁していると検知された検知領域の個数Ｎ２を算出する。その後、白濁検知部１３２は、各検知領域４１〜４５が白濁していると継続的に判断された時間ｔ２を算出する。そして、白濁検知部１３２は、各検知領域４１〜４５の時間ｔ２の総和を検知領域の個数、すなわち、５個で除して平均継続時間ｔ３を算出する。白濁検知部１３２は、この平均継続時間ｔ３を、白濁検知部１３２の検知結果の信頼度Ｒ２に変換する。たとえば、白濁検知部１３２は、ある所定期間TTHR3をあらかじめ設定して、Ｒ２=ｔ3／ＴＴＨＲ３を算出する。信頼度Ｒ２は、白濁の平均継続時間ｔ３が長ければ長いほど、信頼度が高く白濁していることを表す。また、ｔ３自体が５個の検知領域４１〜４５の平均白濁継続時間であるため、５個の検知領域４１〜４５の全ての継続時間が長くなるほど、白濁の信頼度も上がる。信頼度Ｒ２は、０から１の数値で表現し、ＴＴＨＲ３＜ｔ３の場合には、全て１として表現し、信頼度高く白濁している様子を示す数値とする。
【００３４】
また、白濁検知部１３２は、白濁していると検知された検知領域に関するエッジ強度の平均値ＡＥ２の総和を検知領域の個数、すなわち、５個で除して、平均エッジ強度ＡＡ２を算出する。白濁検知部１３２は、信頼度Ｒ２と、白濁している検知された検知領域の個数Ｎ２と、平均エッジ強度ＡＡ２とを検知結果として検知結果統合部１４へ出力する。
【００３５】
（水滴痕検知部１３３）
水滴痕検知部１３３の動作について説明する。水滴痕検知部１３３も、水滴検知部１３１と同様に、撮影画像３０の画像領域を図３（ａ）に示されるように複数のブロックＢ（ｘ，ｙ）に分割する。
【００３６】
次に、水滴痕検知部１３３は、撮影画像３０全体に対して水平方向のエッジ検出処理を行い、画素ごとのエッジ強度を生成する。そして、水滴痕検知部１３３は、各ブロックＢ（ｘ，ｙ）ごとにそのブロックＢ（ｘ，ｙ）に含まれる画素のエッジ強度の総和を算出して、そのエッジ強度の総和に基づいた値をブロックＢ（ｘ，ｙ）のスコアＳ３（ｘ，ｙ）に加算する。
【００３７】
水滴痕検知部１３３は、環境検知制御部１４３から、各ブロックＢ（ｘ，ｙ）のスコアＳ３（ｘ，ｙ）が、最適閾値を超えてからの経過時間Ｔ８（ｘ，ｙ）を取得する。そして、水滴痕検知部１３３は、経過時間Ｔ８（ｘ，ｙ）を各画素で抽出し、この平均ＴＡ８を算出することで、これを信頼度に利用する。
【００３８】
水滴痕検知部１３３は、スコアＳ３（ｘ，ｙ）の画面上平均スコアＡＳ３をもって、不透過率に換算する。カメラレンズに水滴痕が継続的に付着していると、スコア平均ＡＳ３が増加する。また、この持続時間を考慮したＴＡ８が長いほど、カメラレンズに水滴痕が長時間付着している確率が高い。水滴痕検知部１３３は、閾値ＡＳ３ＴＨＲを決定し、信頼度Ｒ３＝ＴＡ８／ＡＳ３ＴＨＲを算出する。水滴痕検知部１３３は、画面上での水滴痕としてのスコア平均ＡＳ３が高い場合、及び、ＴＡ８がＡＳ３ＴＨＲを超えた場合には信頼度Ｒ３＝１で表現する。信頼度Ｒ３が１に近いほど、検知された水滴痕の付着が信頼できる。更に、スコア平均ＡＳ３が大きい場合、背景と水滴痕の輝度差が大きいことを示し、背景が見えにくいことを示す。この値が大きいほど、後述する投影変換部１４１における水滴痕範囲５３のマップ上で不透過率が高い値を示すようにスコア変換を行う。
【００３９】
水滴痕検知部１３３は、全ブロックＢ（ｘ，ｙ）の中からスコアＳ３（ｘ，ｙ）が所定値以上のブロックを検出して、検出されたブロックの個数Ｎ３を算出する。このブロック個数Ｎ３が汚れの付着面積に換算される。水滴痕検知部１３３は、画面上の面積を分母として、Ｎ３／画面上の面積［ｐｉｘ］とすることで、その付着面積に変換し利用する。水滴痕検知部１３３は、信頼度Ｒ３と、スコア平均ＡＳ３と、スコアＳ３（ｘ，ｙ）が所定値以上のブロックの個数Ｎ３とを検知結果として検知結果統合部１４へ出力する。
【００４０】
（泥検知部１３４）
泥検知部１３４の動作について説明する。泥検知部１３４も、水滴検知部１３１と同様に、撮影画像３０の画像領域を図３（ａ）に示されるように複数のブロックＢ（ｘ，ｙ）に分割する。
【００４１】
次に、泥検知部１３４は、撮影画像３０の各画素の輝度を検出する。そして、泥検知部１３４は、各ブロックＢ（ｘ，ｙ）ごとにそのブロックＢ（ｘ，ｙ）に含まれる各画素の輝度の総和Ｉｔ（ｘ，ｙ）を算出する。泥検知部１３４は、現フレームの撮影画像について算出したＩｔ（ｘ，ｙ）と前フレームの撮影画像について同様に算出したＩｔ−１（ｘ，ｙ）との差ΔＩ（ｘ，ｙ）を各ブロックＢ（ｘ，ｙ）ごとに算出する。
【００４２】
泥検知部１３４は、このΔＩ（ｘ，ｙ）が小さく、更にＩｔ（ｘ，ｙ）が周囲のブロックと比較して小さなブロックＢ（ｘ，ｙ）を検出して、そのブロックＢ（ｘ，ｙ）に対応するスコアＳ３（ｘ，ｙ）を所定値、たとえば、１増加させる。
【００４３】
泥検知部１３４は、撮影画像中の全画素について上述の判定を行った後、環境検知制御部１４３から、各ブロックＢ（ｘ，ｙ）のスコアＳ４（ｘ，ｙ）のある所定期間ｔ５の間におけるスコア積算値を取得する。そして、泥検知部１３４は、各ブロックＢ（ｘ，ｙ）のスコアＳ４（ｘ，ｙ）を、その所定期間ｔ５で除して、スコアＳ４（ｘ，ｙ）の時間平均Ｓ４（ｘ，ｙ）／ｔ５を算出する。泥検知部１３４は、全ブロックＢ（ｘ，ｙ）の時間平均Ｓ４（ｘ，ｙ）／ｔ５の総和を算出して、それを撮影画像３０中の全ブロック数で除してスコア平均ＡＲＳ４を算出する。スコア平均ＡＲＳ４は、ある所定期間中にレンズに付着した泥の量に近い意味合いを持つ。そのため、泥検知部１３４は、ΔＩ（ｘ，ｙ）の所定期間ｔ５における平均値と、周囲の光源環境から予測した画面上での輝度変化量の予測値とを求め、ＡＳ4＝ΔＩ（ｘ，ｙ）の所定期間ｔ５における平均値／輝度変化量の予測値を求め、これを透過率とする。
【００４４】
カメラレンズに泥が継続的に付着していると、順次に撮像されたフレームごとにスコア平均ＡＲＳ４が増加する。換言すると、スコア平均ＡＲＳ４が大きい場合、カメラレンズに多くの泥が付着している確率が高い。また、透過率を示す指標としては、スコアＡＳ４を利用する。また、信頼度としては、スコアＡＳ４が、閾値ＴＡＳ４より大きくなった時間を利用する。泥検知部１３４は、閾値ＡＳ４ＴＨＲを決定し、信頼度Ｒ4＝ＴＡＳ4／ＡＳ４ＴＨＲを算出する。泥検知部１３４は、ＴＡＳ4がＡＳ４ＴＨＲを超えた場合には信頼度Ｒ４を１で表現する。信頼度Ｒ４が１に近いほど、検知された泥の付着が信頼できる。
【００４５】
泥検知部１３４は、全ブロックＢ（ｘ，ｙ）の中からスコアＳ４（ｘ，ｙ）が所定値以上のブロックを検出して、検出されたブロックの個数Ｎ４を算出する。泥検知部１３４は、信頼度Ｒ４と、スコア平均ＡＳ４と、スコアＳ４（ｘ，ｙ）が所定値以上のブロックの個数Ｎ４とを検知結果として検知結果統合部１４へ出力する。
【００４６】
以上説明したように、この実施形態では、レンズの汚濁の状態を、水滴検知部１３１、白濁検知部１３２、水滴痕検知部１３３、泥検知部１３４によりそれぞれ検知する。したがって、撮像して得られた画像に基づいて白線検知などの動作を精度よく実行するためには、各検知結果を個別に使用して制御動作を補正する方式を採用すると、矛盾する補正が指令された場合に的確な制御動作を実行することが難しい。
そこで、この実施形態では、以下で説明する投影変換部１４１により、複数の検知結果を合成した一つの制御指令を生成し、この制御指令により制御動作を補正する。複数の検知結果に基づいて一つの制御指令を生成するため、本実施形態では、各検知結果を正規化し、各検知結果に共通する物理量として、レンズ透過率とレンズ表面の汚濁物付着面積を算出し、これら２つの物理量に応じた制御指令を求めて制御動作を補正する。
【００４７】
（投影変換部１４１）
投影変換部１４１は、付着物検知部１３の各部の検知結果を、図５に示す座標空間に投影する。図５に示す座標空間は、メモリ１０に制御マップ５０として記憶されている。制御マップ５０は、レンズ汚れの透過率に関する座標軸と、カメラレンズに付着物が付着している付着面積に関する座標軸とを有している。以降、レンズ汚れの透過率に関する座標軸の値をｐ座標、付着面積に関する座標軸の値をｑ座標と呼ぶ。制御マップ５０において、レンズ汚れの透過率は、原点から遠ざかるほど不透過になる。また、付着面積は、原点から遠ざかるほど大きくなる。
【００４８】
また、制御マップ５０には、破線で示す長方形状の水滴範囲５１および泥範囲５４と、実線で示す長方形状の白濁範囲５２および水滴痕範囲５３とが予め設定されている。付着物検知部１３の各部により得られる複数種類の付着物の各検知結果は、レンズ透過率と付着物の面積であり、それらの２つの検知結果により得られる座標の領域は、付着物検知部１３の各部が検知する付着物の種類ごとにそれぞれ設定されている。
【００４９】
投影変換部１４１は、投影関数ｆ１およびｇ１を有する。これらの投影関数ｆ１およびｇ１は、水滴検知部１３１の検知結果を各座標軸上の座標に投影変換する。投影関数ｆ１は、水滴検知部１３１の検知結果の一つである輝度差の平均ＡＤ１がゼロのとき、その輝度差の平均ＡＤ１をｐ＝０に変換する。すなわち、投影関数ｆ１は、輝度差の平均ＡＤ１を付着面積に関する座標軸上に設定する。一方、投影関数ｆ１は、輝度差の平均ＡＤ１がゼロでないとき、その輝度差の平均ＡＤ１を水滴範囲５１の範囲内のｐ座標ｐ１に変換する。ｐ１の値は、ＡＤ１が大きければ大きいほど大きい値となる。
【００５０】
投影関数ｇ１は、水滴検知部１３１の検知結果の一つである個数Ｎ１がゼロのとき、その個数Ｎ１をｑ＝０に変換する。すなわち、投影関数ｇ１は、個数Ｎ１を透過率に関する座標軸上に設定する。一方、投影関数ｇ１は、個数Ｎ１がゼロでないとき、その個数Ｎ１を水滴範囲５１の範囲内のｑ座標ｑ１に変換する。ｑ１の値は、Ｎ１が大きければ大きいほど大きい値となる。
【００５１】
投影変換部１４１は、水滴検知部１３１の検知結果を水滴範囲５１などの範囲内の座標に直接変換するようにしてもよい。すなわち、水滴検知部１３１で得られた検知結果に基づいてレンズ透過率と付着面積を求め、これらの値を、動作マップを定義するＸＹ座標系の予め定めた座標点に直接変換してもよい。
【００５２】
また、投影変換部１４１は、投影関数ｆ２およびｇ２を有する。投影関数ｆ２およびｇ２は、白濁検知部１３２の検知結果を各座標軸上の座標に投影変換する。投影関数ｆ２は、白濁検知部１３２の検知結果の一つである平均エッジ強度ＡＡ２がゼロのとき、その平均エッジ強度ＡＡ２をｐ＝０に変換する。一方、投影関数ｆ２は、平均エッジ強度ＡＡ２がゼロでないとき、その値を白濁範囲５２の範囲内のｐ座標ｐ２に変換する。ｐ２の値は、ＡＡ２が大きければ大きいほど大きい値となる。
【００５３】
投影関数ｇ２は、白濁検知部１３２の検知結果の一つである個数Ｎ２がゼロのときその個数Ｎ２をｑ＝０に変換する。一方、投影関数ｇ２は、個数Ｎ２がゼロでないときその白濁範囲５２の範囲内のｑ座標ｑ２に変換する。ｑ２の値は、Ｎ２が大きければ大きいほど大きい値となる。
【００５４】
投影変換部１４１は、白濁検知部１３２の検知結果を水滴範囲５１の範囲内の座標に直接変換するようにしてもよい。すなわち、白濁検知部１３２で得られた検知結果に基づいてレンズ透過率と付着面積を求め、これらの値を、動作マップを定義するＸＹ座標系の予め定めた座標点に直接変換してもよい。
【００５５】
投影変換部１４１は、水滴痕検知部１３３の検知結果を投影変換する投影関数ｆ３およびｇ３を有する。これらの投影関数ｆ３およびｇ３も、上述した投影関数と同様に、検知結果を各座標軸上の座標に投影変換する。投影関数ｆ３は、水滴痕検知部１３３の検知結果の一つであるスコア平均ＡＳ３がゼロのとき、そのスコア平均ＡＳ３をｐ＝０に変換する。一方、投影関数ｆ３は、そのスコア平均ＡＳ３がゼロでないとき、そのスコア平均ＡＳ３を水滴痕範囲５３の範囲内のｐ座標ｐ３に変換する。ｐ３の値は、ＡＳ３が大きければ大きいほど大きい値となる。
【００５６】
投影関数ｇ３は、水滴痕検知部１３３の検知結果の一つである個数Ｎ３がゼロのとき、その個数Ｎ３をｑ＝０に変換する。一方、投影関数ｇ３は、個数Ｎ３がゼロでないとき、その個数Ｎ３を水滴痕範囲５３の範囲内のｑ座標ｑ３に変換する。ｑ３の値は、Ｎ３が大きければ大きいほど大きい値となる。
【００５７】
投影変換部１４１は、白濁検知部１３２の検知結果を水滴範囲５１の範囲内の座標に直接変換するようにしてもよい。すなわち、白濁検知部１３２で得られた検知結果に基づいてレンズ透過率と付着面積を求め、これらの値を、動作マップを定義するＸＹ座標系の予め定めた座標点に直接変換してもよい。
【００５８】
投影変換部１４１は、泥検知部１３４の検知結果を投影変換する投影関数ｆ４およびｇ４を有する。これらの投影関数ｆ４およびｇ４も、上述した投影関数と同様に、検知結果を各座標軸上の座標に投影変換する。投影関数ｆ４は、泥検知部１３４の検知結果の一つであるスコア平均ＡＳ４がゼロのとき、そのスコア平均ＡＳ４をｐ＝０に変換する。一方、投影関数ｆ４は、そのスコア平均ＡＳ４がゼロでないとき、その値を泥範囲５４の範囲内のｐ座標ｐ４に変換する。ｐ４の値は、ＡＳ４が大きければ大きいほど大きい値となる。
【００５９】
投影関数ｇ４は、泥検知部１３４の検知結果の一つである個数Ｎ４がゼロのとき、その個数Ｎ４をｑ＝０に変換する。一方、投影関数ｇ４は、個数Ｎ４がゼロでないとき、その個数Ｎ４を泥範囲５４の範囲内のｑ座標ｑ４に変換する。ｑ４の値は、Ｎ４が大きければ大きいほど大きい値となる。
【００６０】
投影変換部１４１は、泥検知部１３４の検知結果を水滴範囲５１の範囲内の座標に直接変換するようにしてもよい。すなわち、泥検知部１３４で得られた検知結果に基づいてレンズ透過率と付着面積を求め、これらの値を、動作マップを定義するＸＹ座標系の予め定めた座標点に直接変換してもよい。
【００６１】
（合成座標設定部１４２）
合成座標設定部１４２は、付着物検知部１３の各部の検知結果を投影変換部１４１により投影変換した座標（ｐ１，ｑ１）、座標（ｐ２，ｑ２）、座標（ｐ３，ｑ３）、および座標（ｐ４，ｑ４）を、付着物検知部１３の各部が出力した信頼度Ｒ１、Ｒ２、Ｒ３、およびＲ４に基づいて統合して、一つの合成座標（Ｐ，Ｑ）を算出する。合成座標（Ｐ，Ｑ）を算出するための数式を以下に示す。
Ｐ＝（ｐ１×Ｒ１＋ｐ２×Ｒ２＋ｐ３×Ｒ３＋ｐ４×Ｒ４）／（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）
Ｑ＝（ｑ１×Ｒ１＋ｑ２×Ｒ２＋ｑ３×Ｒ３＋ｑ４×Ｒ４）／（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）
【００６２】
この合成座標（Ｐ，Ｑ）は、カメラレンズの汚濁状態に関する情報として、動作制御部１５に出力される。
【００６３】
図６は、合成座標設定部１４２の動作例を示す図である。図６には、水滴検知部１３１の検知結果を投影変換した座標６１と、白濁検知部１３２の検知結果を投影変換した座標６２と、水滴痕検知部１３３の検知結果を投影変換した座標６３と、泥検知部１３４の検知結果を投影変換した座標６４とが図示されている。図６の例において、信頼度Ｒ１、Ｒ２、Ｒ３、およびＲ４がすべて等しいとすると、合成座標（Ｐ，Ｑ）は、座標６１と座標６２と座標６３と座標６４との中心位置６５に設定される。この中心位置６５は、信頼度に基づいた座標６１と座標６２と座標６３と座標６４の重心である。
【００６４】
（動作制御部１５）
動作制御部１５は、合成座標（Ｐ，Ｑ）に基づいて、画像認識部１６に対して誤検知対策および不検知対策のどちらを実行するのか、それらの対策をどの段階の抑制モードで実行するのかを決定する。
【００６５】
図７に示すように、制御マップ５０には、六つの動作決定領域７１、７２、７３、７４、７５、７６が設定されている。図７には、投影変換部１４１により投影変換される座標のうち最も原点から離れている座標７７が図示されており、その座標７７を中心とする三つの１／４円７８，７９，８０が図示されている。以降、座標７７のことを最悪汚濁点７７と称する。各１／４円７８，７９，８０の半径は、１／４円７８，７９，８０の順に小さくなる。また、図７には、１／４円７８，７９，８０の各々を二等分する線分８１と、透過率に関する座標軸に平行な線分８２と、付着面積に関する座標軸に平行な線分８３とが最悪汚濁点７７から延ばされている。
【００６６】
（誤検知対策）
動作決定領域７１は、付着面積に関する座標軸より透過率に関する座標軸が近い位置に存在し、１／４円７８の円周と１／４円７９の円周と線分８１と線分８３とで囲われた領域である。合成座標（Ｐ，Ｑ）が動作決定領域７１の範囲内の座標であるとき、動作制御部１５は、画像認識部１６に対して誤検知対策用第１抑制モードによる処理の実行指令を出力する。
【００６７】
動作決定領域７３は、付着面積に関する座標軸より透過率に関する座標軸が近い位置に存在し、１／４円７９の円周と１／４円８０の円周と線分８１と線分８３とで囲われた領域である。合成座標（Ｐ，Ｑ）が動作決定領域７３の範囲内の座標であるとき、動作制御部１５は、画像認識部１６に対して誤検知対策用第２抑制モードにより処理の実行指令を出力する。
【００６８】
動作決定領域７５は、付着面積に関する座標軸より透過率に関する座標軸が近い位置に存在し、１／４円８０の円周と線分８１と線分８３とで囲われた領域である。合成座標（Ｐ，Ｑ）が動作決定領域７５の範囲内の座標であるとき、動作制御部１５は、画像認識部１６に対して誤検知対策用第３抑制モードによる処理の実行指令を出力する。
【００６９】
（不検知対策）
動作決定領域７２は、透過率に関する座標軸より付着面積に関する座標軸が近い位置に存在し、１／４円７８の円周と１／４円７９の円周と線分８１と線分８２とで囲われた領域である。合成座標（Ｐ，Ｑ）が動作決定領域７２の範囲内の座標であるとき、動作制御部１５は、画像認識部１６に対して不検知対策である第１抑制モードによる処理の実行指令を出力する。
【００７０】
動作決定領域７４は、透過率に関する座標軸より付着面積に関する座標軸が近い位置に存在し、１／４円７９の円周と１／４円８０の円周と線分８１と線分８２とで囲われた領域である。合成座標（Ｐ，Ｑ）が動作決定領域７４の範囲内の座標であるとき、動作制御部１５は、画像認識部１６に対して不検知対策用第２抑制モードによる処理の実行指令を出力する。
【００７１】
動作決定領域７６は、透過率に関する座標軸より付着面積に関する座標軸が近い位置に存在し、１／４円８０の円周と線分８１と線分８２とで囲われた領域である。合成座標（Ｐ，Ｑ）が動作決定領域７６の範囲内の座標であるとき、動作制御部１５は、画像認識部１６に対して不検知対策用第３抑制モードによる処理の実行指令を出力する。
【００７２】
換言すると、動作制御部１５は、合成座標（Ｐ，Ｑ）が透過率に関する座標軸と付着面積に関する座標軸とのどちらに近いかという点に基づいて、誤検知対策および不検知対策のどちらを実行するのかを決定するとともに、動作制御部１５は、最悪汚濁点７７から合成座標（Ｐ，Ｑ）までの距離に基づいて、それらの対策をどの段階の抑制モードで実行するのかを決定する。
【００７３】
（環境検知制御部１４３）
図８は、環境検知制御部１４３に関する制御ブロック図である。図８に例示されるように、環境検知制御部１４３は、光源環境検知部１４４と走行路環境検知部１４５と天候検知部１４６と時間制御部１４７と検知結果制御部１４８とを備える。
【００７４】
（光源環境検知部１４４）
光源環境検知部１４４は、付着物検知部１３の検知結果の信頼度Ｒ１、Ｒ２、Ｒ３、およびＲ４が低下しやすい光源環境を検知する。たとえば、西日、路面反射光、後続車両のヘッドライトなどがカメラ２ａまたは２ｂに対して逆光状態にある状態を光源環境検知部１４４は検知する。
【００７５】
図９および図１０を用いて光源環境検知部１４４の動作について説明する。図９は、光源環境検知部１４４の処理に関するフローチャートである。ステップＳ４００では、光源環境検知部１４４は、カメラ２ａおよび２ｂから撮影画像を取得する。ステップＳ４１０では、光源環境検知部１４４は、光源環境の検知に用いる処理領域を撮影画像上に設定する。ステップＳ４２０では、光源環境検知部１４４は、ステップＳ４１０で設定した処理領域内に含まれる各画素について輝度を算出して、その輝度のヒストグラムを生成する。
【００７６】
ステップＳ４３０では、光源環境検知部１４４は、ステップＳ４２０で生成されたヒストグラムにおいて、所定輝度値以上の度数の総和が所定の閾値を超えたか否かを判定する。光源環境検知部１４４は、ステップＳ４３０が肯定判定された場合、すなわち所定輝度値以上の度数の総和が所定の閾値を超えた場合、ステップＳ４４０の処理に進む。光源環境検知部１４４は、ステップＳ４３０が否定判定された場合、すなわち所定輝度値以上の度数の総和が所定の閾値を超えなかった場合、ステップＳ４００の処理に進み、次フレームの撮影画像を取得する。
【００７７】
ステップＳ４４０では、光源環境検知部１４４は、ステップＳ４３０が所定時間以上継続して肯定判定されているか否かを判定する。光源環境検知部１４４は、ステップＳ４３０が所定時間以上継続して肯定判定されるまではステップＳ４４０を否定判定して、ステップＳ４００の処理に進み、次フレームの撮影画像を取得する。そして、光源環境検知部１４４は、ステップＳ４３０が所定時間以上継続して肯定判定されたとき、ステップＳ４５０の処理に進む。
【００７８】
ステップＳ４５０では、光源環境検知部１４４は、撮影画像全体から高輝度領域を検出して、付着物検知部１３の検知結果の信頼度Ｒ１、Ｒ２、Ｒ３、およびＲ４を調整する。そして、光源環境検知部１４４は、ステップＳ４００の処理に進み、次フレームの撮影画像を取得する。
【００７９】
図１０は、ステップＳ４１０で設定する処理領域の一例を示す図である。光源環境検知部１４４が設定する処理領域は、光源環境を昼間に検知するか、夜間に検知するかによって変化する。図１０には、撮影画像５００に対して昼間に設定された処理領域５０１が例示されている。処理領域５０１は、空が写り込むように設定される。光源環境検知部１４４は、夜間に処理領域を設定する場合は、処理領域を後続車両のヘッドライトが入る程度に限定する。
【００８０】
（走行路環境検知部１４５）
走行路環境検知部１４５は、付着物検知部１３の検知結果の信頼度Ｒ１、Ｒ２、Ｒ３、およびＲ４が低下しやすい走行路や背景などの環境を検知する。走行路環境検知部１４５は、たとえば、車両が濡れた道路やオフロードなど付着物がカメラレンズに付着しやすい場所を走行していることを検知する。
【００８１】
図１１は、走行路環境検知部１４５の処理に関するフローチャートの一例である。ステップＳ５００では、光源環境検知部１４４は、カメラ２ａおよび２ｂから撮影画像を取得する。ステップＳ５１０では、走行路環境検知部１４５は、レーンマークの位置および形状に関する情報をレーン認識部１６１から取得する。ステップＳ５２０では、走行路環境検知部１４５は、光源環境検知部１４４が検出した高輝度領域に関する情報を取得する。ステップＳ５３０では、走行路環境検知部１４５は、外気温、自車両の速度、ヨーレート、操舵角などの情報を情報検出部１２から取得する。
【００８２】
ステップＳ５４０では、走行路環境検知部１４５は、ステップＳ５１０で取得したレーンマークの位置および形状に関する情報と、ステップＳ５２０で取得した高輝度領域に関する情報と、ステップＳ５３０で検出した外気温、自車両の速度、ヨーレート、操舵角などの情報とに基づいて、自車両が濡れた路面上を走行していることを検知する。たとえば、走行路環境検知部１４５は、レーンマークの位置および形状に関する情報に基づいて路面の画像領域を判断して、その路面の画像領域内から検出された高輝度領域を水たまりや凍結路面と推定して濡れた路面を検知する。また、走行路環境検知部１４５は、自車両の速度に関する情報などに基づいて、自車両が走行中であることを検出する。そして、走行路環境検知部１４５は、外気温に関する情報に基づいて、気温が氷点下の場合は濡れた路面が凍結路面であると判断することにしてもよい。
【００８３】
ステップＳ５５０では、走行路環境検知部１４５は、自車両が走行している間にステップＳ５１０にてレーンマークの位置および形状に関する情報が取得できなかったことと、ステップＳ５００で取得した撮影画像に建築物が少ないことなどに基づいて、オフロードを検知する。そして、走行路環境検知部１４５は、ステップＳ５００の処理に進み、次フレームの撮影画像を取得する。
【００８４】
（天候検知部１４６）
天候検知部１４６は、自車両の周囲の天候に関する情報を取得する。図１２は、天候検知部１４６の処理に関するフローチャートである。ステップＳ６００では、天候検知部１４６は、情報検出部１２からワイパの動作状態、外気温などの情報を取得する。ステップＳ６１０では、天候検知部１４６は、光源環境検知部１４４が検出した高輝度領域に関する情報を取得する。
【００８５】
ステップＳ６２０では、天候検知部１４６は、ステップＳ６００やステップＳ６１０で取得した各種情報に基づいて、自車両の周囲の天候を検知し、検知結果として天候に関する情報を出力する。たとえば、自車両のフロントウィンドウのワイパが所定時間以内に所定回数以上動作している場合は天候が雨天であると判断する。また、たとえば、光源環境検知部１４４が所定時間以内に所定回数以上の頻度で路面から高輝度領域を検知した場合は晴天であると判断する。天候検知部１４６は、天候を判断した後、ステップＳ６００の処理に進む。
【００８６】
（時間制御部１４７）
時間制御部１４７は以下の種々の時間を計時する。
（ａ）画像認識部１６の各部の動作時間
（ｂ）画像認識部１６が各段階の抑制モードにより不検知対策または誤検知対策を開始してからの経過時間
（ｃ）除去制御部４が付着物の除去を開始してからの経過時間
（ｄ）画像認識部１６の各部が画像認識を断念してからの経過時間
（ｅ）付着物検知部１３の検知結果が初期化（リセット）されてからの経過時間ｔ１、ｔ２、ｔ４、およびｔ５、
（ｆ）付着物検知部１３の検知を停止してからの経過時間
【００８７】
付着物検知部１３の各部は、自車両が走行していることを前提にしていることから、自車両の速度が所定速度以下の状態では検知処理を停止させる。付着物検知部１３の検知処理が停止されてから所定時間以上経過すると、付着物検知部１３の各部の検知結果の信頼度は低下する。たとえば、水滴は数時間経過すれば乾いて無くなっている可能性があるため、水滴検知部１３１の検知結果は、水滴検知部１３１を停止させてから数時間経過した後は信頼できない。車載装置１は、時間制御部１４７が計時した経過時間ｔ６が所定時間に到達したとき、水滴検知部１３１の検知結果を初期化する。
【００８８】
（検知結果制御部１４８）
検知結果制御部１４８は、付着物検知部１３の各部の検知結果に対して、補正や初期化などの制御を行う。図１３は、付着物検知部１３の処理に関するフローチャートである。ステップＳ７００では、検知結果制御部１４８は、付着物検知部１３の各部からそれぞれの検知結果を取得する。
【００８９】
ステップＳ７１０では、検知結果制御部１４８は、光源環境検知部１４４、走行路環境検知部１４５、および天候検知部１４６から処理結果を取得する。たとえば、光源環境検知部１４４がステップＳ４５０（図９）で抽出した高輝度領域に関する情報、ステップＳ５４０（図１１）およびステップＳ５５０（図１１）における走行路環境検知部１４５の検知結果、ステップＳ６２０（図１２）において天候検知部１４６が判断した天候に関する情報などを検知結果制御部１４８は取得する。
【００９０】
ステップＳ７２０では、検知結果制御部１４８は、光源環境検知部１４４が高輝度領域を検知していたか否かを判定する。ステップＳ７２０が肯定判定された場合、すなわち光源環境検知部１４４が高輝度領域を検知していた場合、検知結果制御部１４８は、ステップＳ７３０に処理を進めて、付着物検知部１３の各部の検知結果を補正する。光源環境検知部１４４は昼間であれば西日や朝日等による後方からのまぶしい光源、夜間であれば後続車両のヘッドライトのように路面の反射要因にもなり且つまぶしい要因となる光源を抽出し、検知結果制御部１４８は、これらの光源を基にして、ロジックの性質に合わせた信頼度の調整を行う。まず、水滴検知の信頼度Ｒ１に対しては、路面反射領域を間違えて誤検知する可能性があるために、信頼度を通常時のたとえば２／３程度にまで低下させる。次に、白濁検知の場合には、昼間のカメラにとっての逆光となるような西日や後続車のヘッドライトなどの高輝度領域の真後ろの領域を利用しないことで、スコアと信頼度の両方を調整する。ただし、光源が大きい場合には、白濁自体のスコアも上がりやすくなるため、光源領域が所定値以上に大きい場合には、信頼度Ｒ２をたとえば２０％程度低下させて利用する。次に、水滴痕検知の場合には、太陽が差し込む光や路面反射を水滴痕としてとらえてしまうおそれがあるため、計測に利用する時間ＡＳ３ＴＨＲを長く設定し、より長時間水滴痕が検知されていなければ信頼度Ｒ３が大きくならないように調整する。最後に泥検知に関しては、高輝度領域周辺を利用しないように設定する対策を実施するものの、直接信頼度を調整はしない。なぜならば、周囲が明るかったとしても、高輝度ではない領域において極端に輝度変化しないということは、何かしら付着物による影響を受けて背景を観測することができないと予想されるからである。補正後、検知結果制御部１４８は、ステップＳ７４０の処理に進む。ステップＳ７２０が否定判定された場合、検知結果制御部１４８は、ステップＳ７４０の処理に進む。
【００９１】
ステップＳ７４０では、検知結果制御部１４８は、走行路環境検知部１４５が濡れた路面やオフロードを検知していたか否かを判定する。ステップＳ７４０が肯定判定された場合、すなわち濡れた路面またはオフロードが検知されていた場合、検知結果制御部１４８は、ステップＳ７５０に処理を進めて、付着物検知部１３の各部の検知結果を補正する。たとえば、濡れた路面が検知されていた場合は水滴検知部１３１の検知結果の信頼度Ｒ１をたとえば５０％増加させ、オフロードが検知されていた場合は泥検知部１３４の検知結果の信頼度Ｒ４をたとえば５０％増加させる。補正後、検知結果制御部１４８は、ステップＳ７６０の処理に進む。ステップＳ７４０が否定判定された場合、検知結果制御部１４８は、ステップＳ７６０の処理に進む。
【００９２】
ステップＳ７６０では、検知結果制御部１４８は、天候検知部１４６の検知結果に基づいて、付着物検知部１３の各部の検知結果を補正する。たとえば、自車両周辺の天候が雨天の場合は、水滴検知部１３１の検知結果の信頼度Ｒ１を増加させる。また、自車両周辺の天候が雨天から晴天に変化した場合は水滴痕検知部１３３の検知結果の信頼度Ｒ３を増加させる。また、天候検知部１４６の結果が雨天の場合には、検知結果制御部１４８は、水滴検知の信頼度Ｒ１をたとえば５０％増加させ、晴天との判断の場合には２０％低下させる。また、雨天であっても気温が０度以下となるような場合には、雪の跳ね上げなど水滴ではなく、背景が透けないような雪などが付着する可能性がある。このような場合には、水滴よりも泥、水滴痕として検知する。このため、０度以下の場合には、雨天と判断した場合には、水滴検知、泥検知、水滴痕検知の信頼度をそれぞれ５０％増加させる。
【００９３】
ステップＳ７７０では、検知結果制御部１４８は、付着物検知部１３の各部の検知結果を初期化するか否かを判定する。ステップＳ７７０は、たとえば、光源環境検知部１４４が高輝度領域を検知してから所定時間以上経過したときや、自車両が所定時間以上継続して停車していると判定され、その後に発車するとき（具体的には、自車両の走行速度が所定速度、たとえば、時速１０ｋｍ以下で所定時間継続した後に所定速度以上になったとき）などに肯定判定される。検知結果制御部１４８は、ステップＳ７７０を肯定判定された場合はステップＳ７８０の処理に進み、付着物検知部１３の各検知結果を初期化して、ステップＳ７９０に処理を進める。検知結果制御部１４８は、ステップＳ７７０が否定判定された場合はステップＳ７９０の処理に進む。
【００９４】
ステップＳ７９０では、検知結果制御部１４８は、車両の速度が所定速度、たとえば、時速１０ｋｍ以下であるかを判定する。検知結果制御部１４８は、ステップＳ７９０が肯定判定された場合、すなわち車両の速度が所定速度以下である場合、ステップＳ８１０の処理に進む。検知結果制御部１４８は、ステップＳ７９０が否定判定された場合、ステップＳ８００の処理に進む。
【００９５】
ステップＳ８００では、検知結果制御部１４８は、車両のヨーレートが所定値以上であるかを判定する。検知結果制御部１４８は、ステップＳ８００が肯定判定された場合、すなわち車両のヨーレートが所定値以上である場合、ステップＳ８１０の処理に進む。検知結果制御部１４８は、ステップＳ８００が否定判定された場合、ステップＳ８２０の処理に進む。
【００９６】
ステップＳ８１０では、検知結果制御部１４８は、水滴検知部１３１と泥検知部１３４による付着物の検知を停止させる。ステップＳ８２０では、検知結果制御部１４８は、補正等を施した付着物検知部１３の各検知結果を投影変換部１４１へ出力する。なお、ステップＳ８１０において、水滴検知部１３１および泥検知部１３４の検知結果を停止させた場合は、その検知結果を出力しない。この場合、投影変換部１４１は出力された検知結果のみを制御マップ５０へ投影し、合成座標設定部１４２はその投影結果の成分のみを用いて合成座標（Ｐ，Ｑ）を設定する。
【００９７】
（レーン認識部１６１）
図１４および図１５を用いて、誤検知対策も不検知対策も実行していない場合のレーン認識部１６１の動作について説明する。
【００９８】
図１４は、レーン認識部１６１の処理に関するフローチャートである。ステップＳ１０では、レーン認識部１６１は、カメラ２ａおよび２ｂから撮影画像を取得する。ステップＳ２０では、レーン認識部１６１は、ステップＳ１０で取得した撮影画像から、路面上で自車両の走行車線の左右に描かれたレーンマークに対応する特徴点を抽出する。レーン認識部１６１は、たとえば撮影画像内の所定部分に抽出領域を設定して、その抽出領域内で輝度変化が所定の閾値以上であるエッジ点を特徴点として抽出する。
【００９９】
図１５には、撮影画像から抽出された特徴点の一例が図示されている。図１５に示す撮影画像９０は、路面が撮影されている路面画像領域９２と、背景が撮影されている背景画像領域９３とに分けられている。図１４のステップＳ２０において、レーン認識部１６１は、図１５に示すように、この撮影画像９０に対して、自車両の右側の車線区画線の内側に対応する抽出領域９４と、自車両の左側の車線区画線の内側に対応する抽出領域９５とを設定する。そして、これらの抽出領域９４および９５の中で隣接する各画素の輝度をそれぞれ比較することでエッジ点を検出し、特徴点９６として抽出する。これにより、左右のレーンマークの内側の輪郭線に沿って、特徴点９６がそれぞれ複数ずつ抽出される。
【０１００】
図１４のステップＳ３０では、レーン認識部１６１は、ステップＳ２０で抽出した特徴点の中から同一直線上に所定個数Ｍｔｈ個以上並んでいる特徴点群を、レーンマークとして認識する。図１５の例では、抽出領域９４および９５の中でそれぞれ１１個の特徴点９６が同一直線状に並んでいる。たとえば、所定個数Ｍｔｈが５個であれば、図１５に例示された抽出領域９４および９５の中の特徴点群をそれぞれレーンマークとして認識する。レーン認識部１６１は、ステップＳ３０で認識されたレーンマークに関する情報を警報制御部１７などへ出力する。
【０１０１】
ステップＳ４０では、レーン認識部１６１は、ステップＳ３０でレーンマークとして認識された特徴点群に含まれる特徴点の個数の時間平均を算出する。たとえば、レーン認識部１６１は、以前のフレームにおいてレーンマークとして認識された各特徴点群に含まれる特徴点の個数についてそれぞれ履歴をメモリ１０に記憶しておき、その履歴を用いて特徴点の個数の時間平均を算出する。
【０１０２】
ステップＳ５０では、レーン認識部１６１は、ステップＳ４０で算出された特徴点の個数の時間平均に基づいて、レーンマークの視認性を表す指標ｖを算出する。ステップＳ６０では、レーン認識部１６１は、レーンマークの視認性を表す指標ｖが所定の閾値Ｖｔｈ未満か否かを判定する。ステップＳ６０が肯定判定された場合、すなわち指標ｖが所定の閾値Ｖｔｈ未満の場合、レーン認識部１６１は、ステップＳ７０の処理に進む。一方、ステップＳ６０が否定判定された場合、すなわち指標ｖが所定の閾値Ｖｔｈ以上の場合、レーン認識部１６１は、ステップＳ１０の処理に進み、カメラ２ａおよび２ｂから次フレームの撮影画像を取得する。
【０１０３】
ステップＳ７０では、レーン認識部１６１は、警報出力部３から警報を出力しないように警報制御部１７に対して指令を出力して、その後ステップＳ１０の処理に進む。レーン認識部１６１は、ステップＳ１０にてカメラ２ａおよび２ｂから次フレームの撮影画像を取得する。
【０１０４】
第１抑制モードの誤検知対策では、動作制御部１５は、所定個数Ｍｔｈの設定値を大きくする。これにより、ステップＳ３０において、レーン認識部１６１が同一直線上に並んだ特徴点群をレーンマークとして認識しにくくなる。また、閾値Ｖｔｈの設定値を大きくして、誤った警報が出力されにくくする。所定個数Ｍｔｈの設定値や、閾値Ｖｔｈの設定値は、合成座標（Ｐ，Ｑ）の位置に基づいて変化させてよい。
【０１０５】
第１抑制モードの不検知対策では、動作制御部１５は、所定個数Ｍｔｈの設定値を小さくする。これにより、ステップＳ３０において、レーン認識部１６１が同一直線上に並んだ特徴点群をレーンマークとして認識しやすくなる。また、閾値Ｖｔｈの設定値を小さくして、警報制御部１７が警報出力部３を用いて警報を出力しやすくする。所定個数Ｍｔｈの設定値や、閾値Ｖｔｈの設定値は、合成座標（Ｐ，Ｑ）の位置に基づいて変化させてもよい。
【０１０６】
第２抑制モードの誤検知対策では、動作制御部１５は、第１抑制モードよりも所定個数Ｍｔｈの設定値をさらに大きくする。これにより、レーン認識部１６１が同一直線上に並んだ特徴点群をレーンマークとしてさらに認識しにくくなる。また、車載装置１は、ステップＳ２０における特徴点抽出処理の対象とする画像領域の中から付着物が検知された領域を除外、またはステップＳ２０において抽出された特徴点の中から付着物が検知された領域から抽出された特徴点を除外する。
【０１０７】
第２抑制モードの不検知対策では、動作制御部１５は、第１抑制モードよりも所定個数Ｍｔｈの設定値をさらに小さくする。これにより、レーン認識部１６１が同一直線上に並んだ特徴点群をレーンマークとしてさらに認識しやすくなる。
【０１０８】
第３抑制モードの誤検知対策および第３抑制モードの不検知対策では、動作制御部１５は、除去制御部４に対してカメラレンズから付着物を除去する指令を出力する。除去制御部４による付着物除去動作を行ってもカメラレンズの汚濁状態が改善しない場合、動作制御部１５は、レーン認識部１６１によるレーン認識を断念する。
【０１０９】
なお、駐車枠認識部１６５が駐車枠を認識するための処理は、図１４を用いて説明したレーン認識部１６１がレーンマークを認識するための処理と同様である。そして、駐車枠認識部１６５が各抑制モードの誤検知対策および不検知対策において実施する対策は、レーン認識部１６１が各抑制モードの誤検知対策および不検知対策において実施した対策と同様の対策でよい。
【０１１０】
（車両認識部１６２）
図１６を用いて、誤検知対策も不検知対策も実行していない場合の車両認識部１６２の動作について説明する。図１６は、車両認識部１６２の処理に関するフローチャートである。
【０１１１】
ステップＳ１１０では、車両認識部１６２は、カメラ２ａおよび２ｂから撮影画像を取得する。ステップＳ１２０では、車両認識部１６２は、ステップＳ１１０で取得した撮影画像に対してエッジ検出処理を実行し、所定の輝度差の閾値Ｉｔｈを基準にして二値化したエッジ画像を生成する。ステップＳ１３０では、車両認識部１６２は、ステップＳ１２０で生成したエッジ画像に対してパターン認識処理を実行し、他車両と推定される画像を検出する。
【０１１２】
ステップＳ１４０では、車両認識部１６２は、ステップＳ１３０において所定フレーム数Ｆｔｈ以上連続して他車両と推定される画像が検出されたか否かを判定する。ステップＳ１４０が否定判定された場合、すなわち所定フレーム数Ｆｔｈ以上連続して他車両と推定される画像が検出されていない場合、車両認識部１６２はステップＳ１１０の処理に進み次フレームの撮影画像を取得する。ステップＳ１４０が肯定判定された場合、すなわち所定フレーム数Ｆｔｈ以上連続して他車両と推定される画像が検出された場合、車両認識部１６２はステップＳ１５０の処理に進む。ステップＳ１５０では、車両認識部１６２は、所定フレーム数Ｆｔｈ以上連続して他車両と推定された画像を、他車両として認識する。その後、車両認識部１６２はステップＳ１１０の処理に進み次フレームの撮影画像を取得する。
【０１１３】
第１抑制モードの誤検知対策では、動作制御部１５は、所定フレーム数Ｆｔｈの設定値を大きくする。所定フレーム数Ｆｔｈの設定値を大きくすることで、車両認識部１６２はステップＳ１２０において他車両と推定された画像を他車両と認識しにくくなるため、他車両を誤検知することが低減される。所定フレーム数Ｆｔｈの設定値は、合成座標（Ｐ，Ｑ）の位置に基づいて変化させてもよい。
【０１１４】
第１抑制モードの不検知対策では、動作制御部１５は、所定の輝度差の閾値Ｉｔｈの設定値を小さくする。所定の輝度差の閾値Ｉｔｈの設定値を小さくすることで、他車両のエッジが検出されやすくなるため、車両認識部１６２が他車両を不検知することが低減される。所定の輝度差の閾値Ｉｔｈの設定値は、合成座標（Ｐ，Ｑ）の位置に基づいて変化させてもよい。
【０１１５】
第２抑制モードの誤検知対策では、動作制御部１５は、ステップＳ１２０やステップＳ１３０の処理対象とする画像領域の中から付着物が検知された領域を除外する。また、動作制御部１５は、車両認識部１６２が検知対象とする他車両を自車両にとって危険性の高い車両に絞り、その他の車両を検知対象から除外する。たとえばカメラ２ａの撮影画像からは自車両の走行車線を走行する前方の他車両のみを検知対象とする。また、たとえばカメラ２ｂの撮影画像からは自車両の走行車線を走行し、自車両に接近してくる他車両のみを検知対象にする。
【０１１６】
第２抑制モードの不検知対策では、動作制御部１５は、第１抑制モードよりも所定の輝度差の閾値Ｉｔｈの設定値をさらに小さくする。または、車両認識部１６２は、撮影画像のコントラストが低い場合でも他車両の特徴量を検出可能な他の車両認識方法を用いる。
【０１１７】
第３抑制モードの誤検知対策および第３抑制モードの不検知対策では、動作制御部１５は、除去制御部４に対してカメラレンズから付着物を除去する指令を出力する。除去制御部４による付着物除去動作を行ってもカメラレンズの汚濁状態が改善しない場合、動作制御部１５は、車両認識部１６２による他車両の認識を断念する。
【０１１８】
なお、歩行者認識部１６３および標識認識部１６４がそれぞれ歩行者や道路標識を認識するための処理は、図１６を用いて説明した車両認識部１６２が他車両を認識するための処理と同様である。そして、歩行者認識部１６３および標識認識部１６４が各抑制モードの誤検知対策および不検知対策において実施する対策は、車両認識部１６２が各抑制モードの誤検知対策および不検知対策において実施した対策と同様の対策でよい。
【０１１９】
（全体フロー）
図１７は、車載装置１の処理内容を示すフローチャートである。
ステップＳ９００では、車載装置１は、撮影画像取得部１１を用いて、カメラ２ａおよび２ｂから撮影画像を取得する。ステップＳ９１０では、車載装置１は、付着物検知部１３を用いて、カメラ２ａおよび２ｂのカメラレンズにそれぞれ付着した各種付着物を検知して、検知結果を出力させる。
【０１２０】
ステップＳ９２０では、車載装置１は、検知結果制御部１４８を用いて、ステップＳ９１０で出力された検知結果に対して補正や初期化などの制御を行う。ステップＳ９３０では、車載装置１は、投影変換部１４１を用いて、ステップＳ９２０における制御後の付着物検知部１３の各検知結果を、制御マップ５０上の座標に投影させる。
【０１２１】
ステップＳ９４０では、車載装置１は、合成座標設定部１４２を用いて、ステップＳ８４０において投影変換された座標を統合して合成座標（Ｐ，Ｑ）を算出する。ステップＳ９５０では、車載装置１は、動作制御部１５を用いて、合成座標（Ｐ，Ｑ）に基づいて誤検知対策と不検知対策とのどちらを実施するのかを決定するとともに抑制モードを決定する。
【０１２２】
ステップＳ９６０では、車載装置１は、ステップＳ９５０で決定した対策を行った上で画像認識部１６の各部を用いて、画像認識処理をそれぞれ実行する。ステップＳ９７０では、車載装置１は、ステップＳ９６０で実行された画像認識処理の認識結果に基づいて、警報制御部１７を制御する。その後、車載装置１は、ステップＳ９００の処理に進む。
【０１２３】
以上説明した実施の形態によれば、次のような作用効果を奏する。
（１）車載装置１は、カメラレンズを介して車両の周囲環境を撮影するカメラから取得した撮影画像に基づいて、たとえば、水滴検知部１３１、白濁検知部１３２、水滴痕検知部１３３、泥検知部１３４により、レンズの汚濁の状態に応じた複数種類の付着物をそれぞれ検知する付着物検知部１３と、車両の周囲環境に存在する所定の物体像を撮影画像から認識する画像認識部１６と、付着物検知部１３による複数種類の付着物の各検知結果に基づいて、複数の検知結果を統合した統合検知結果を算出する検知結果統合部１４と、統合検知結果に基づいて、画像認識部１６の動作を制御する動作制御部１５とを備える。したがって、複数の検知結果によって画像認識部１６が矛盾した動作を行うことが防止される。
【０１２４】
（２）検知結果統合部１４は、付着物検知部１３の各検知結果を同一の座標系にそれぞれ投影して、各検知結果に対応する複数の座標を合成し、上記座標系上に合成座標（Ｐ，Ｑ）を設定する。動作制御部１５は、設定された合成座標に基づいて、画像認識部１６の動作を制御する。すなわち、検知結果統合部１４により、複数の検知結果を合成した一つの合成座標を設定し、この合成座標に基づいて画像認識部１６の動作を制御する。したがって、複数の検知結果による矛盾した動作制御が防止される。
【０１２５】
（３）座標系は、付着物によるレンズ透過率に関する第１の座標軸と、カメラレンズに付着した付着物の面積に関する第２の座標軸とを有する。付着物検知部１３により得られる各検知結果は、レンズ透過率と付着物の面積であり、それらの２つの検知結果により得られる座標の領域は、付着物の種類ごとにそれぞれ設定されている。たとえば水滴範囲５１と白濁範囲５２と水滴痕範囲５３と泥範囲５４である。したがって、レンズ汚濁の状況に応じて、画像認識部１６での画像認識動作を的確に制御することができる。
レンズ汚れの透過率は画像認識部１６の各部の誤検知に強く関係する項目であり、付着面積は画像認識部１６の各部の不検知に強く関係する項目である。誤検知と不検知のそれぞれに関係する項目を座標軸に選択することにより、合成座標（Ｐ，Ｑ）を用いて精度よく画像認識部１６の制御を行うことができる。
【０１２６】
（４）動作制御部１５は、第１の座標軸と第２の座標軸のどちらに合成座標がより近いかに基づいて、画像認識部１６で行う制御を決定する。たとえば、動作制御部１５は、透過率に関する座標軸と付着面積に関する座標軸のどちらに合成座標（Ｐ，Ｑ）がより近い動作決定領域にあるかによって、画像認識部１６に行う制御が不検知対策なのか誤検知対策なのかが決定される。このように制御を切り分けることで、誤検知対策と不検知対策の両方を同時に行うような矛盾が発生しない。
【０１２７】
（５）動作制御部１５は、合成座標が、カメラレンズの汚濁が所定以上であることを表す座標領域にあるとき、画像認識部１６による所定の物体像の認識を中止させる。あるいは、動作制御部１５は、合成座標が、カメラレンズの汚濁が所定以上であることを表す座標領域にあるとき、カメラレンズから複数種類の付着物を除去する除去装置を動作させる。
たとえば、動作制御部１５は、合成座標（Ｐ，Ｑ）が動作決定領域７５および動作決定領域７６にあるとき、抑制モードを第３抑制モードに決定して画像認識部１６によるレーンマークの認識を中止（断念、ギブアップ）させたり、除去制御部４に対してカメラレンズから付着物を除去させる。これにより、画像認識部１６による誤検知や不検知を低減することができる。
【０１２８】
（６）付着物検知部１３は、複数種類の付着物をそれぞれ継続的に検知した時間に応じた信頼度をさらに算出し、検知結果統合部１４は、付着物検知部１３が算出した各信頼度も用いて統合検知結果を算出する。
たとえば、付着物検知部１３の各部は、それぞれに対応する付着物を継続的に検知した時間に応じて信頼度を算出する。たとえば、水滴検知部１３１は、カメラレンズに水滴が継続的に付着していると、フレームごとに増加するスコア平均ＡＳ１に基づいて信頼度Ｒ１を算出する。白濁検知部１３２は、平均継続時間ｔ３に基づいて信頼度Ｒ２を算出する。水滴痕検知部１３３は、カメラレンズに水滴痕が継続的に付着していると、フレームごとに増加するスコア平均ＡＳ３に基づいて信頼度Ｒ３を算出する。泥検知部１３４は、カメラレンズに泥が継続的に付着していると、フレームごとに増加するスコア平均ＡＳ４に基づいて信頼度Ｒ４を算出する。そして、合成座標設定部１４２は、付着物検知部１３の各部がそれぞれ算出した信頼度Ｒ１、Ｒ２、Ｒ３、Ｒ４に基づいて、合成座標（Ｐ，Ｑ）を設定する。このように信頼度Ｒ１、Ｒ２、Ｒ３、Ｒ４を用いて合成座標（Ｐ，Ｑ）を設定することにより、合成座標（Ｐ，Ｑ）を用いてカメラレンズの汚濁状態を精度よく表現することができる。
【０１２９】
（７）車載装置１は、車両の周囲の光源環境、車両が走行する走行路、天候の少なくともいずれか一つについて信頼度が低下する環境を検知する環境検知部と、環境検知部により検知された環境に基づいて、付着物検知部１３が算出した各信頼度をそれぞれ補正する信頼度補正部として機能する、環境検知制御部１４３を備える。
たとえば、車載装置１は、環境検知部としての光源環境検知部１４４、走行路環境検知部１４５および天候検知部１４６と、信頼度補正部としての検知結果制御部１４８とを備える環境検知制御部１４３を有する。そして、環境検知制御部１４３は、その光源環境検知部１４４と走行路環境検知部１４５と天候検知部１４６の検知結果に基づいて、検知結果制御部１４８により、付着物検知部１３の各部がそれぞれ算出した各信頼度を補正する（図１３のステップＳ７３０、ステップＳ７５０）。これにより、車両やカメラが付着物検知部１３の検知結果の信頼度Ｒ１、Ｒ２、Ｒ３、およびＲ４が低下しやすい環境にある場合であっても、合成座標（Ｐ，Ｑ）を用いてカメラレンズの汚濁状態を精度よく表現することができる。
【０１３０】
（８）車載装置１は、車両の速度またはヨーレートを少なくとも含む走行状態に関する情報を取得する情報検出部１２と、情報検出部１２が取得した走行状態に関する情報に基づいて、複数種類の付着物のうち一部の付着物の検知を付着物検知部に停止させる検知停止部として機能する環境検知制御部１４３とをさらに備える。そして、検知結果統合部１４は、複数種類の付着物のうち検知が停止されていない付着物の検知結果に基づいて統合検知結果を算出する。
たとえば、車載装置１において、環境検知制御部１４３は、情報検出部１２が取得した走行状態に関する情報に基づいて、水滴検知部１３１と泥検知部１３４によるそれぞれの付着物の検知を停止させる（図１３のステップＳ８１０）。そして、合成座標設定部１４２は、付着物検知部１３のうち付着物の検知が停止されていない白濁検知部１３２と水滴痕検知部１３３によるそれぞれの付着物の検知結果に基づいて合成座標（Ｐ，Ｑ）を設定する。このようにすることで、合成座標設定部１４２は、車両の走行状態による合成座標（Ｐ，Ｑ）の精度の低下を抑制することができる。
【０１３１】
（９）車載装置１は、情報検出部１２が取得した車両の速度に関する情報に基づいて、車両が停車していることを判定する停車判定部と、所定時間以上継続して車両が停車していることを停車判定部が判定した後に発車するとき、付着物検知部１３の検知結果を初期化する初期化部として機能する、環境検知制御部１４３を備える。
たとえば、環境検知制御部１４３は、情報検出部１２から取得した車両の速度に関する情報に基づいて、検知結果制御部１４８により、車両が停車していることを判定し（図１３のステップＳ７７０）、所定時間以上継続して車両が停車（時速１０ｋｍ以下）した後に発車（時速１０ｋｍ以上）するとき、付着物検知部１３の各検知結果を初期化する（ステップＳ７８０）。これにより、合成座標（Ｐ，Ｑ）の精度を確保することができる。
【０１３２】
以上で説明した実施の形態は、以下のように変形して実施できる。
【０１３３】
カメラ２ａおよび２ｂは、車両の前方または後方の路面を撮影するようにしたが、車両の左側方または右側方の路面をさらに撮影してもよい。また、車両の周囲の路面を撮影できる限り、カメラの設置位置および撮影範囲をどのように設定しても構わない。
【０１３４】
上記の実施の形態では、付着物検知部１３の各部は、毎フレームごとに付着物を検知して検知結果を出力することにした。しかし、処理負荷低減のために、各フレームにおいて画像認識部１６の各部を実行した後の残り時間で付着物検知部１３の一部を実行することにしてもよい。
【０１３５】
環境検知制御部１４３は、光源環境検知部１４４と走行路環境検知部１４５と天候検知部１４６と時間制御部１４７と検知結果制御部１４８とを備えることにしたが、光源環境検知部１４４と走行路環境検知部１４５と天候検知部１４６についてはそれらのうちいずれか少なくとも一つを備えていればよい。
【０１３６】
制御マップ５０は、透過率に関する座標軸と付着面積に関する座標軸とを有することとしたが、制御マップ５０に有する座標軸はこの組み合わせだけに限定されない。画像認識部１６の各部の誤検知に強く関係する第１項目に関する座標軸と、画像認識部１６の各部の不検知に強く関係する第２項目に関する座標軸との組み合わせであれば他の項目に関する座標軸の組み合わせでもよい。また、制御マップ５０の座標軸は２本でなくてもよい。たとえば、信頼度に関する軸などをさらに有していてもよい。
【０１３７】
水滴検知部１３１と白濁検知部１３２と水滴痕検知部１３３と泥検知部１３４の検知結果の信頼度を算出する方法は、上記に示した方法だけに限定しない。
【０１３８】
以上説明した実施の形態や変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。また、以上説明した実施の形態や変形例は、発明の特徴が損なわれない限り、組み合わせて実施することができる。
【０１３９】
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１３年第１４９７４７号（２０１３年７月１８日出願）
【符号の説明】
【０１４０】
１  車載装置
２ａ，２ｂ  カメラ
１０  メモリ
１１  撮影画像取得部
１２  情報検出部
１３  付着物検知部
１４  検知結果統合部
１５  動作制御部
１６  画像認識部
１７  警報制御部
５０  制御マップ
５１  水滴範囲
５２  白濁範囲
５３  水滴痕範囲
５４  泥範囲
７１，７２，７３，７４，７５，７６  動作決定領域
７７  最悪汚濁点
１３１  水滴検知部
１３２  白濁検知部
１３３  水滴痕検知部
１３４  泥検知部
１４１  投影変換部
１４２  合成座標設定部
１４３  環境検知制御部
１４４  光源環境検知部
１４５  走行路環境検知部
１４６  天候検知部
１４７  時間制御部
１４８  検知結果制御部
１６１  レーン認識部
１６２  車両認識部
１６３  歩行者認識部
１６４  標識認識部
１６５  駐車枠認識部
【図１】
2015008566.tif 000003
【図２】
2015008566.tif 000004
【図３】
2015008566.tif 000005
【図４】
2015008566.tif 000006
【図５】
2015008566.tif 000007
【図６】
2015008566.tif 000008
【図７】
2015008566.tif 000009
【図８】
2015008566.tif 000010
【図９】
2015008566.tif 000011
【図１０】
2015008566.tif 000012
【図１１】
2015008566.tif 000013
【図１２】
2015008566.tif 000014
【図１３】
2015008566.tif 000015
【図１４】
2015008566.tif 000016
【図１５】
2015008566.tif 000017
【図１６】
2015008566.tif 000018
【図１７】
2015008566.tif 000019
【国際調査報告】
2015008566.tif 000020
2015008566.tif 000021
2015008566.tif 000022
2015008566.tif 000023