(57)【特許請求の範囲】
【請求項１】
ガラスに対して光を照射する光源と、
前記光源から照射された光の前記ガラスからの反射光を含む撮像領域からの光を撮像する撮像部と、
前記撮像領域の一部からの光を入射して、前記ガラスに付着した物体の検知のための物体検知用フィルタと、
前記撮像領域のうち前記物体検知用フィルタが存在しない第１領域を撮像するための第１露光量と、前記第１露光量と異なる露光量であって、前記撮像領域のうち前記物体検知用フィルタが存在する第２領域を撮像するための第２露光量とを決定する露光制御部と、
前記撮像部で撮像された撮像画像を解析する画像解析部と、を備え、
前記撮像部は、前記第１露光量での前記撮像領域の撮像と、決定された前記第２露光量での前記撮像領域の撮像とを切り換えること、
を特徴とする画像処理装置。
【請求項２】
前記露光制御部は、前記第１露光量を、前記第１領域の光量に基づいて決定すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記露光制御部は、前記第２露光量を、前記光源の発光強度に基づいて決定すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記撮像部は、前記第１露光量による撮像を所定の第１回数ごとに連続して行い、前記第２露光量による撮像を所定の第２回数ごとに連続して行うことを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
【請求項５】
前記第２回数は、前記第１回数より少ないことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像解析部は、さらに、前記撮像画像を解析して前記ガラス上の物体を検出し、
前記撮像部は、前記物体が検出された場合に、前記第１回数に対する前記第２回数の割合を増加することを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
前記物体は雨滴であり、
前記画像処理装置は、
前記ガラス上の前記雨滴を除去するワイパーと、
前記ワイパーの駆動を制御するワイパー制御部と、をさらに備え、
前記撮像部は、前記ワイパーの駆動に同期して、前記第２露光量での撮像を行うことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記撮像部は、前記撮像部で受光した光量に基づいて晴天か否かを判断し、晴天である場合には、前記第１回数に対する前記第２回数の割合を減少することを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
前記撮像部で受光した光量に基づいて前記光源の発光強度を変更する光源制御部
をさらに備えたことを特徴とする請求項４〜７のいずれか一つに記載の画像処理装置。
【請求項１０】
前記撮像画像の画素値の分散に関する値に基づいて雨量を算出する雨量算出部
をさらに備えたことを特徴とする請求項７〜９のいずれか一つに記載の画像処理装置。
【請求項１１】
前記雨量算出部は、さらに、所定の閾値以下の前記撮像画像の輝度値を除いて前記分散に関する値を求め、前記分散に関する値に基づいて雨量を算出することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記光源からの前記光の照射を制御する光源制御部をさらに備え、
前記撮像部は、前記第２領域の撮像において、前記光源から前記光を照射しない消灯状態での第１撮像と、前記光源から前記光を照射した点灯状態での第２撮像とを切り替えて行うことを特徴とする請求項６に記載の画像処理装置。
【請求項１３】
前記撮像部は、前記第１撮像と、前記第２撮像とを連続して交互に行うことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記撮像部は、前記第１撮像と前記第２撮像とを、同一の露光量である前記第２露光量で行うことを特徴とする請求項１２または１３に記載の画像処理装置。
【請求項１５】
前記物体は雨滴であり、
前記画像処理装置は、
前記第２撮像により得られる第２撮像画像の画素値から、前記第１撮像により得られる第１撮像画像の画素値を減算し、減算した値に基づいて雨量を検出する雨量検出部、
をさらに備えたことを特徴とする請求項１２〜１４のいずれか一つに記載の画像処理装置。
【請求項１６】
前記雨量検出部は、画素ごとに、前記第２撮像画像の画素値から前記第１撮像画像の画素値を減算することを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記雨量検出部は、前記第２撮像画像の画素の画素値の総和から、前記第１撮像画像の画素の画素値の総和を減算し、減算した総和値に基づいて雨量を検出することを特徴とする請求項１５に記載の画像処理装置。
【請求項１８】
前記雨量検出部は、前記減算した総和値に非線形特性を付与した値に基づいて、前記雨量を検出することを特徴とする請求項１７に記載の画像処理装置。
【請求項１９】
前記雨量検出部は、画素ごとに前記第２撮像画像の画素値から前記第１撮像画像の画素値を減算した値に非線形特性を付与した値の総和を求め、前記総和に基づいて前記雨量を検出することを特徴とする請求項１６に記載の画像処理装置。
【請求項２０】
前記光源から照射された光を前記ガラスで全反射させて前記撮像部に反射光を導入させる光学素子、
をさらに備えたことを特徴とする請求項１〜１９のいずれか一つに記載の画像処理装置。
【請求項２１】
前記雨量検出部は、算出した雨量を、所定の閾値と比較して、段階的なレベルに振り分けて出力することを特徴とする請求項１５〜２０のいずれか一つに記載の画像処理装置。
【請求項２２】
画像処理装置で実行される撮像方法であって、
前記画像処理装置は、
ガラスに対して光を照射する光源と、
撮像領域の一部からの光を入射して、前記ガラスに付着した物体の検知のための物体検知用フィルタと、を備え、
前記光源から照射された光の前記ガラスからの反射光を含む撮像領域からの光を撮像する撮像ステップと、
前記撮像領域のうち前記物体検知用フィルタが存在しない第１領域を撮像するための第１露光量と、前記第１露光量と異なる露光量であって、前記撮像領域のうち前記物体検知用フィルタが存在する第２領域を撮像するための第２露光量とを決定する露光制御ステップと、
前記撮像ステップで撮像された撮像画像を解析する画像解析ステップと、を含み、
前記撮像ステップは、前記第１露光量での前記撮像領域の撮像と、決定された前記第２露光量での前記撮像領域の撮像とを切り換えること、
を特徴とする撮像方法。
【請求項２３】
コンピュータに実行させるためのプログラムであって、
前記コンピュータは、
ガラスに対して光を照射する光源と、
撮像領域の一部からの光を入射して、前記ガラスに付着した物体の検知のための物体検知用フィルタと、を備え、
前記光源から照射された光の前記ガラスからの反射光を含む撮像領域からの光を撮像する撮像ステップと、
前記撮像領域のうち前記物体検知用フィルタが存在しない第１領域を撮像するための第１露光量と、前記第１露光量と異なる露光量であって、前記撮像領域のうち前記物体検知用フィルタが存在する第２領域を撮像するための第２露光量とを決定する露光制御ステップと、
前記撮像ステップで撮像された撮像画像を解析する画像解析ステップと、を前記コンピュータに実行させ、
前記撮像ステップは、前記第１露光量での前記撮像領域の撮像と、決定された前記第２露光量での前記撮像領域の撮像とを切り換えること、
を特徴とするプログラム。
【請求項２４】
車両であって、
ガラスに対して光を照射する光源と、
前記光源から照射された光の前記ガラスからの反射光を含む撮像領域からの光を撮像する撮像部と、
前記撮像領域の一部からの光を入射して、前記ガラスに付着した物体の検知のための物体検知用フィルタと、
前記撮像領域のうち前記物体検知用フィルタが存在しない第１領域を撮像するための第１露光量と、前記第１露光量と異なる露光量であって、前記撮像領域のうち前記物体検知用フィルタが存在する第２領域を撮像するための第２露光量とを決定する露光制御部と、
前記撮像部で撮像された撮像画像を解析する画像解析部と、
前記撮像画像の解析結果に基づいて、前記車両の動作を制御する制御部と、を備え、
前記撮像部は、前記第１露光量での前記撮像領域の撮像と、決定された前記第２露光量での前記撮像領域の撮像とを切り換えること、
を特徴とする車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像方法、プログラムおよび車両に関する。
【背景技術】
【０００２】
車走行時のワイパー制御の自動化のために、フロントガラスに付着した雨滴を検出する技術や、照明と、照明光の波長のみを透過させる光学フィルタを用いて、例えば車線などの検出等のセンシング用途のカメラによって、フロントガラスに付着した雨滴も同時に検出する技術が従来から知られている。
【０００３】
例えば、特許文献１には、センシング用途のカメラと雨滴を検出するためのカメラとを兼用させる目的で、画像処理装置と光源と光学フィルタとを備え、光源から光を照射してフロントガラスの外側の雨滴を撮像して、刻々と変わる外光に追従するため、用意した照明の強度を変化させる構成を備えた画像処理システムが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような従来技術のように、センシング用途のカメラと、雨滴を検出するためのカメラを兼用させた技術では、刻々と変わる外光に追従し、光学フィルタ部分の露光も合わせる必要があったため、予め用意した照明の強度を変化させる必要があった。このため、非常に強力な照明が必要となり、消費電力が増大するという問題がある。
【０００５】
また、従来技術では、車外に強力な光を投射しなければならず、安全性をより確保することが求められている。
【０００６】
本発明は、上記に鑑みてなされたものであって、センシング用途と物体検出用途の撮像部を兼用する場合であっても、消費電力を削減することができ、かつ安全性をより向上させることができる画像処理装置、撮像方法、プログラムおよび車両を提供することを主な目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、ガラスに対して光を照射する光源と、前記光源から照射された光の前記ガラスからの反射光を含む撮像領域からの光を撮像する撮像部と、前記撮像領域の一部からの光を入射して、前記ガラスに付着した物体の検知のための物体検知用フィルタと、前記撮像領域のうち前記物体検知用フィルタが存在しない第１領域を撮像するための第１露光量と、前記第１露光量と異なる露光量であって、前記撮像領域のうち前記物体検知用フィルタが存在する第２領域を撮像するための第２露光量とを決定する露光制御部と、前記撮像部で撮像された撮像画像を解析する画像解析部と、を備え、前記撮像部は、前記第１露光量での前記撮像領域の撮像と、決定された前記第２露光量での前記撮像領域の撮像とを切り換えること、を特徴とする。
【０００８】
また、本発明にかかる撮像方法は、画像処理装置で実行される撮像方法であって、前記画像処理装置は、ガラスに対して光を照射する光源と、撮像領域の一部からの光を入射して、前記ガラスに付着した物体の検知のための物体検知用フィルタと、を備え、前記光源から照射された光の前記ガラスからの反射光を含む撮像領域からの光を撮像する撮像ステップと、前記撮像領域のうち前記物体検知用フィルタが存在しない第１領域を撮像するための第１露光量と、前記第１露光量と異なる露光量であって、前記撮像領域のうち前記物体検知用フィルタが存在する第２領域を撮像するための第２露光量とを決定する露光制御ステップと、前記撮像ステップで撮像された撮像画像を解析する画像解析ステップと、を含み、前記撮像ステップは、前記第１露光量での前記撮像領域の撮像と、決定された前記第２露光量での前記撮像領域の撮像とを切り換えること、を特徴とする。
【０００９】
また、本発明にかかるプログラムは、コンピュータに実行させるためのプログラムであって、前記コンピュータは、ガラスに対して光を照射する光源と、撮像領域の一部からの光を入射して、前記ガラスに付着した物体の検知のための物体検知用フィルタと、を備え、前記光源から照射された光の前記ガラスからの反射光を含む撮像領域からの光を撮像する撮像ステップと、前記撮像領域のうち前記物体検知用フィルタが存在しない第１領域を撮像するための第１露光量と、前記第１露光量と異なる露光量であって、前記撮像領域のうち前記物体検知用フィルタが存在する第２領域を撮像するための第２露光量とを決定する露光制御ステップと、前記撮像ステップで撮像された撮像画像を解析する画像解析ステップと、を前記コンピュータに実行させ、前記撮像ステップは、前記第１露光量での前記撮像領域の撮像と、決定された前記第２露光量での前記撮像領域の撮像とを切り換えること、を特徴とする。
【００１０】
また、本発明にかかる車両は、ガラスに対して光を照射する光源と、前記光源から照射された光の前記ガラスからの反射光を含む撮像領域からの光を撮像する撮像部と、前記撮像領域の一部からの光を入射して、前記ガラスに付着した物体の検知のための物体検知用フィルタと、前記撮像領域のうち前記物体検知用フィルタが存在しない第１領域を撮像するための第１露光量と、前記第１露光量と異なる露光量であって、前記撮像領域のうち前記物体検知用フィルタが存在する第２領域を撮像するための第２露光量とを決定する露光制御部と、前記撮像部で撮像された撮像画像を解析する画像解析部と、前記撮像画像の解析結果に基づいて、前記車両の動作を制御する制御部と、を備え、前記撮像部は、前記第１露光量での前記撮像領域の撮像と、決定された前記第２露光量での前記撮像領域の撮像とを切り換えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、センシング用途と物体検出用途の撮像部を兼用する場合であっても、消費電力を削減することができ、かつ安全性をより向上させることができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施の形態の車載機器制御システムの概略構成を示す模式図である。
【図２】図２は、実施の形態の撮像ユニットの概略構成を示す模式図である。
【図３】図３は、実施の形態の撮像ユニットに設けられる撮像装置の概略構成を示す説明図である。
【図４】図４は、実施の形態の自車両のフロントガラスの外壁面上の雨滴に撮像レンズの焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。
【図５】図５は、実施の形態の無限遠に焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。
【図６】図６は、雨滴検出用の撮像画像データに適用可能なカットフィルタのフィルタ特性を示すグラフである。
【図７】図７は、雨滴検出用の撮像画像データに適用可能なバンドパスフィルタのフィルタ特性を示すグラフである。
【図８−１】図８−１は、光学フィルタの側面図である。
【図８−２】図８−２は、実施の形態の撮像装置の光学フィルタに設けられる前段フィルタの正面図である。
【図９】図９は、実施の形態の撮像装置の撮像画像データの画像例を示す説明図である。
【図１０】図１０は、実施の形態の撮像装置の詳細を示す説明図である。
【図１１】図１１は、実施の形態の撮像装置の光学フィルタと画像センサとを光透過方向に対して直交する方向から見たときの模式拡大図である。
【図１２】図１２は、異物検出を説明するための図である。
【図１３】図１３は、雨滴が付着している状態の実験結果を示す図である。
【図１４】図１４は、雨滴が付着していない状態の実験結果を示す図である。
【図１５】図１５は、実施の形態１の露光制御処理の手順を示すフローチャートである。
【図１６】図１６は、光源の発光強度と露光量との関係図である。
【図１７】図１７は、実施の形態２の制御処理の手順を示すフローチャートである。
【図１８】図１８は、実施の形態３の制御処理の手順を示すフローチャートである。
【図１９】図１９は、雨滴など異物があった場合の雨滴検出用フィルタ有領域の撮像画像の例を示す図である。
【図２０】図２０は、実施の形態５の露光制御処理の手順を示すフローチャートである。
【図２１】図２１は、変形例３の撮像ユニットの光学系の構成図である。
【図２２】図２２は、変形例３の光学系による撮像画像の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照して、画像処理装置、撮像方法、プログラムおよび車両の実施の形態を詳細に説明する。なお、本発明に係る画像処理装置は、車載機器制御システムに限らず、例えば、撮像画像に基づいて物体検出を行う物体検出装置を搭載したその他のシステムにも適用できる。
【００１４】
（実施の形態１）
図１は、実施の形態１における車載機器制御システムの概略構成を示す模式図である。車載機器制御システムは、自動車などの自車両１００に搭載された撮像装置で撮像した自車両進行方向前方領域（撮像領域）の撮像画像データを利用して、ヘッドランプの配光制御、ワイパーの駆動制御、その他の車載機器の制御を行うものである。
【００１５】
本実施の形態の車載機器制御システムは、図１に示すように、撮像装置（図１では不図示。図２参照。）を有する撮像ユニット１０１と、露光制御ユニット１０９と、画像解析ユニット１０２と、車両走行制御ユニット１０８と、ワイパー制御ユニット１０６と、ヘッドランプ制御ユニット１０３とを主に備えている。ここで、車両走行制御ユニット１０８、ワイパー制御ユニット１０６、ヘッドランプ制御ユニット１０３は、自車両１００の動作を制御する制御部として機能する。
【００１６】
本実施形態の車載機器制御システムに設けられる撮像装置は、撮像ユニット１０１に設けられており、走行する自車両１００の進行方向前方領域を撮像領域として撮像するものであり、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像装置で撮像された撮像画像データは、画像解析ユニット１０２に入力される。
【００１７】
露光制御ユニット１０９は、撮像ユニット１０１の撮像装置の露光制御を行う。撮像領域のうち、後述する雨滴検知用フィルタが存在しない第１領域を撮像するための第１露光量と、第１露光量と異なる露光量であって、撮像領域のうち雨滴検知用フィルタが存在する第２領域を撮像するための第２露光量とを決定する。撮像装置は、この露光制御ユニット１０１で決定された第１露光量での撮像領域の撮像と、決定された第２露光量での撮像領域の撮像とを切り換える。
【００１８】
画像解析ユニット１０２は、撮像装置から送信されてくる撮像画像データを解析し、撮像画像データに自車両１００の前方に存在する他車両の位置、方角、距離を算出したり、フロントガラス１０５に付着する雨滴や異物などの付着物を検出したり、撮像領域内に存在する路面上の白線（区画線）等の検出対象物を検出したり、雨量を算出したりする。他車両の検出では、他車両のテールランプを識別することで自車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両１００とは反対方向へ進行する対向車両を検出する。
【００１９】
画像解析ユニット１０２の算出結果は、ヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した距離データから、自車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。
【００２０】
画像解析ユニット１０２の算出結果は、ワイパー制御ユニット１０６にも送られる。ワイパー制御ユニット１０６は、ワイパー１０７を制御して、自車両１００のフロントガラス１０５に付着した雨滴や異物などの付着物を除去する。ワイパー制御ユニット１０６は、画像解析ユニット１０２が検出した異物検出結果を受けて、ワイパー１０７を制御する制御信号を生成する。ワイパー制御ユニット１０６により生成された制御信号がワイパー１０７に送られると、自車両１００の運転者の視界を確保するべく、ワイパー１０７を稼動させる。
【００２１】
また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した白線検出結果に基づいて、白線によって区画されている車線領域から自車両１００が外れている場合等に、自車両１００の運転者へ警告を報知したり、自車両１００のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
【００２２】
図２は、撮像ユニット１０１の概略構成を示す模式図である。図３は、撮像ユニット１０１に設けられる撮像装置２００の概略構成を示す説明図である。撮像ユニット１０１は、撮像装置２００と、光源２０２と、これらを収容する撮像ケース２０１とから構成されている。撮像ユニット１０１は自車両１００のフロントガラス１０５の内壁面側に設置される。撮像装置２００は、図３に示すように、撮像レンズ２０４と、光学フィルタ２０５と、画像センサ２０６とから構成されている。光源２０２は、フロントガラス１０５に向けて光を照射し、その光がフロントガラス１０５の外壁面で反射したときにその反射光が撮像装置２００へ入射するように配置されている。
【００２３】
本実施形態において、光源２０２は、フロントガラス１０５の外壁面に付着した付着物（以下、付着物が雨滴である場合を例に挙げて説明する。）を検出するためのものである。フロントガラス１０５の外壁面に雨滴２０３が付着している場合、光源２０２から照射された光は、フロントガラス１０５の外壁面と外気との界面で反射し、その反射光が撮像装置２００へ入射する。そこで、撮像装置２００の撮像画像データから、フロントガラス１０５に付着する雨滴２０３の検出を行う。
【００２４】
また、本実施形態において、撮像ユニット１０１は、図２に示すとおり、撮像装置２００や光源２０２を、フロントガラス１０５とともに撮像ケース２０１で覆っている。このように撮像ケース２０１で覆うことにより、フロントガラス１０５の内壁面が曇るような状況であっても、撮像ユニット１０１で覆われたフロントガラス１０５が曇ってしまう事態を抑制できる。よって、フロントガラス１０５の曇りによって画像解析ユニット１０２が誤解析するような事態を抑制でき、画像解析ユニット１０２の解析結果に基づく各種制御動作を適切に行うことができる。
【００２５】
ただし、フロントガラス１０５の曇りを撮像装置２００の撮像画像データから検出して、例えば自車両１００の空調設備を制御する場合には、撮像装置２００に対向するフロントガラス１０５の部分が他の部分と同じ状況となるように、撮像ケース２０１の一部に空気の流れる通路を形成してもよい。
【００２６】
ここで、本実施形態では、撮像レンズ２０４の焦点位置は、無限遠又は無限遠とフロントガラス１０５との間に設定している。これにより、フロントガラス１０５上に付着した雨滴２０３の検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像装置２００の撮像画像データから適切な情報を取得することができる。
【００２７】
例えば、フロントガラス１０５上に付着した雨滴２０３の検出を行う場合、撮像画像データ上の雨滴画像の形状は円形状であることが多いので、撮像画像データ上の雨滴候補画像が円形状であるかどうかを判断してその雨滴候補画像が雨滴画像であると識別する形状認識処理を行う。このような形状認識処理を行う場合、フロントガラス１０５の外壁面上の雨滴２０３に撮像レンズ２０４の焦点が合っているよりも、上述したように無限遠又は無限遠とフロントガラス１０５との間に焦点が合っている方が、多少ピンボケして、雨滴の形状認識率（円形状）が高くなり、雨滴検出性能が高い。
【００２８】
図４は、フロントガラス１０５の外壁面上の雨滴２０３に撮像レンズ２０４の焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。図５は、無限遠に焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。フロントガラス１０５の外壁面上の雨滴２０３に撮像レンズ２０４の焦点が合っている場合、図４に示すように、雨滴に映り込んだ背景画像２０３ａまでが撮像される。このような背景画像２０３ａは雨滴２０３の誤検出の原因となる。また、図４に示すように雨滴の一部２０３ｂだけ弓状等に輝度が大きくなる場合があり、その大輝度部分の形状すなわち雨滴画像の形状は太陽光の方向や街灯の位置などによって変化する。このような種々変化する雨滴画像の形状を形状認識処理で対応するためには処理負荷が大きく、また認識精度の低下を招く。
【００２９】
これに対し、無限遠に焦点が合っている場合には、図５に示すように、多少のピンボケが発生する。そのため、背景画像２０３ａの映り込みが撮像画像データに反映されず、雨滴２０３の誤検出が軽減される。また、多少のピンボケが発生することで、太陽光の方向や街灯の位置などによって雨滴画像の形状が変化する度合いが小さくなり、雨滴画像の形状は常に略円形状となる。よって、雨滴２０３の形状認識処理の負荷が小さく、また認識精度も高い。
【００３０】
ただし、無限遠に焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、画像センサ２０６上のテールランプの光を受光する受光素子が１個程度になることがある。この場合、詳しくは後述するが、テールランプの光がテールランプ色（赤色）を受光する赤色用受光素子に受光されないおそれがあり、その際にはテールランプを認識できず、先行車両の検出ができない。このような不具合を回避しようとする場合には、撮像レンズ２０４の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する受光素子の数を増やすことができ、テールランプの認識精度が上がり先行車両の検出精度が向上する。
【００３１】
撮像ユニット１０１の光源２０２には、発光ダイオード（ＬＥＤ）や半導体レーザ（ＬＤ）などを用いることができる。また、光源２０２の発光波長は、例えば可視光や赤外光を用いることができる。ただし、光源２０２の光で対向車両の運転者や歩行者等を眩惑するのを回避する場合には、可視光よりも波長が長くて画像センサ２０６の受光感度がおよぶ範囲の波長、例えば８００ｎｍ以上１０００ｎｍ以下の赤外光領域の波長を選択するのが好ましい。本実施形態の光源２０２は、赤外光領域の波長を有する光を照射するものである。
【００３２】
ここで、フロントガラス１０５で反射した光源２０２からの赤外波長光を撮像装置２００で撮像する際、撮像装置２００の画像センサ２０６では、光源２０２からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源２０２からの赤外波長光をこのような大光量の外乱光と区別するためには、光源２０２の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源２０２を用いることは困難である場合が多い。
【００３３】
そこで、本実施形態においては、例えば、図６に示すように光源２０２の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、図７に示すように透過率のピークが光源２０２の発光波長とほぼ一致したバンドパスフィルタを介して、光源２０２からの光を画像センサ２０６で受光するように構成する。これにより、光源２０２の発光波長以外の光を除去して受光できるので、画像センサ２０６で受光される光源２０２からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源２０２でなくても、光源２０２からの光を外乱交と区別することが可能となる。
【００３４】
ただし、本実施形態においては、撮像画像データから、フロントガラス１０５上の雨滴２０３を検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源２０２が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を画像センサ２０６で受光できず、これらの検出に支障をきたす。そこで、本実施形態では、撮像画像データの画像領域を、フロントガラス１０５上の雨滴２０３を検出するための雨滴検出用画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両検出用画像領域とに区分し、雨滴検出用画像領域に対応する部分についてのみ光源２０２が照射する赤外波長光以外の波長帯を除去するフィルタ（以下、「雨滴検出用フィルタ」という場合もある。）を、光学フィルタ２０５に配置している。すなわち、雨滴検出用画像領域は、撮像領域のうち、雨滴検出用フィルタが存在する領域（以下、「雨滴検出用フィルタ有領域」という場合もある。）を撮像した撮像画像データの領域である。また、車両検出用画像領域は、撮像領域のうち、雨滴検出用フィルタが存在しない領域（以下、「雨滴検出用フィルタ無領域」という場合もある。）を撮像した撮像画像データの領域である。
【００３５】
ここで、雨滴検出用フィルタ無領域が第１領域に相当し、雨滴検出用フィルタ有領域が第２領域に相当する。
【００３６】
図８−１は、光学フィルタ２０５の側面図である。本実施形態の光学フィルタ２０５は、図８−１に示すように、基板２２１の撮像レンズ２０４側２０５ａの面には、赤外光および可視光相当を透過する分光フィルタ層２２４が形成されている。また、基板２２１の画像センサ６０側２０５ｂの面には、偏光フィルタ層２２２、ＳＯＧ（Ｓｐｉｎ  Ｏｎ  Ｇｌａｓｓ）層２２３、雨滴検出用フィルタである赤外光透過フィルタ２１２が順に形成されている。
【００３７】
このようにフィルタ層を光学フィルタ２０５の基板２２１の両面に形成することにより、光学フィルタ２０５の反りを抑制することが可能となる。基板２２１の片側面の面にだけ多層膜を形成すると応力がかかり、反りが生じる。しかしながら、図８−１のように基板２２１の両面に多層膜を形成した場合は、応力の効果が相殺されるため、反りを抑制することができる。
【００３８】
ここで、基板２２１は、可視光域に対して透明な材料、例えば、ガラス、サファイア、水晶などで構成することができる。本実施の形態では、ガラス、特に、安価で、また耐久性もある石英（屈折率１．４６）やテンパックスガラス（屈折率１．５１）を基板２２１の材料として用いる。
【００３９】
また、基板２２１の光学フィルタ２０５ａ側の面に形成された分光フィルタ層２２４は、波長範囲４００ｎｍ〜６７０ｎｍのいわゆる可視光領域と、波長範囲９４０〜９７０ｎｍの赤外光領域の双方を透過するフィルタである。なお、可視光領域は車両周辺情報を検出するのに用い、赤外光領域は雨滴を検出するために用いる。また、分光フィルタ層２２４は、波長７００〜９４０ｎｍの範囲の光を透過しない（透過率５％以下が望ましい）。これは、この波長範囲を取り込んだ場合、得られる画像データは全体的に赤くなってしまい、テールランプの赤色を示す部分などを抽出することが困難となることがある。そこで、赤外光をカットする特性をもつフィルタを形成してやれば、外乱となる他の色の光を除去できるため、例えばテールランプの検出精度を向上させることができる。
【００４０】
また、光学フィルタ２０５ｂ側の面に形成された偏光フィルタ層２２２は、Ｓ偏光成分をカットし、Ｐ偏光成分のみを透過するフィルタである。この偏光フィルタ層２２２により、外乱要因や不要反射光（映りこみ光）をカットすることができる。
【００４１】
本実施の形態では、偏光フィルタ層２２２は、ワイヤグリッド偏光子で形成されている。ワイヤグリッドは、アルミなどの金属で構成された導電体線が特定のピッチで格子状に配列してなるものであり、そのピッチが入射光（例えば、可視光の波長４００ｎｍから８００ｎｍ）に比べてかなり小さいピッチ（例えば、２分の１以下）であれば、導電体線に対して平行に振動する電場ベクトル成分の光をほとんど反射し、導電体線に対して垂直な電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。
【００４２】
なお、ワイヤグリッド偏光子においては、金属ワイヤ断面積が増加すると、消光比が増加すること、更に周期幅に対する所定の幅以上の金属ワイヤでは透過率が減少する。また、金属ワイヤの長手方向に直交する断面形状がテーパ形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。ワイヤグリッドの断面構造（不図示）において溝方向の偏光方向の光が入射したときは遮光し、溝と直交する方向の偏光方向の光が入射したときは透過する。
【００４３】
本実施の形態では、偏光フィルタ層２２２の偏光子として、ワイヤグリッド構造を用いているため、以下のような利点がある。すなわち、ワイヤグリッド構造は、よく知られる半導体プロセス、すなわちアルミ薄膜を蒸着した後にパターニングを行いメタルエッチングなどの手法によりワイヤグリッドのサブ波長凹凸構造を形成すればよい。よって、撮像素子の画素サイズ相当（数ミクロンレベル）で偏光子の方向を調整することが可能であるため、本実施例のような画素単位で透過偏光軸が選択できる。また、ワイヤグリッド構造は上述のとおり、アルミなどの金属で作製されるため、耐熱性に優れ、車載用途には好適である。
【００４４】
本実施の形態のＳＯＧ層２２３は、使用帯域の光に透明な基板と、基板上で直線状に延びたワイヤグリッドの凸部は使用帯域の光の波長よりも小さいピッチで配列されている。そのアルミ凸部の間には基板２２１よりも屈折率の低いか同等の無機材料が充填された充填部が形成されてなる。この充填部はワイヤグリッド構造の凸部も覆うように形成されてなる。
【００４５】
ＳＯＧ層２２３の形成材料としては、偏光フィルタ層２２２の偏光子の偏光特性を劣化させないために、その屈折率が空気の屈折率＝１に極力近い低屈折率材料であることが好ましい。例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましく、ポーラスシリカ（ＳｉＯ2）、ポーラスフッ化マグネシウム（ＭｇＦ）、ポーラスアルミナ（Ａｌ2Ｏ3）などが挙げられる。また、これらの低屈折率の程度はセラミックス中の空孔の数や大きさ（ポーラス度）によって決まるものである。このうち、特に、基板２２１の主成分がシリカの水晶やガラスからなる場合にはポーラスシリカ（ｎ＝１．２２〜１．２６）であれば、基板２２１よりも屈折率が小さくなり好適である。
【００４６】
ＳＯＧ層２２３の形成方法としては、無機系塗布膜（ＳＯＧ：Ｓpin  Ｏn  Ｇlass）生成方法を用いる。すなわち、シラノール［Ｓｉ(ＯＨ)4］をアルコールに溶かした溶剤を基板上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させるような経緯で形成される。
【００４７】
ＳＯＧ層２２３を用いることにより、偏光フィルタ層２２２がサブ波長サイズのワイヤグリッド構造であるため、ＳＯＧ層２２３の上に形成される赤外光透過フィルタ２１２に比べ強度的には弱い。とくに光学フィルタ２０５は、画像センサ２０６に密着配置することが望まれるため、そのハンドリングにおいては光学フィルタ２０５と画像センサ２０６の撮像素子面が接触する可能性もあるが、強度的に弱い偏光フィルタ層２２２はＳＯＧ層２２３で保護されているため、ワイヤグリッド構造を損傷することなく光学フィル２０５タを実装することができる。なお分光フィルタ層２２４もＳＯＧ層２２３で保護することも可能である。
【００４８】
また、ＳＯＧ層２２３を設けることにより、ワイヤグリッド部への異物進入も抑制できる。ワイヤグリッドの凸部の高さは一般に使用波長の半分以下で構成される。一方、分光フィルタは使用波長同等から数倍の高さとなり、かつ厚みを増すほど遮断波長での透過率特性を急峻に出来る。そして、ＳＯＧ層２２３は厚さが増すほど、その上面の平坦性確保が難しくなるとともに、充填領域の均質性が損なわれるなどの理由により、厚くするのは適切ではない。本実施の形態では偏光フィルタ層２２２をＳＯＧ層２２３で覆ったのちに赤外光透過フォルタ２１２を形成しているため、ＳＯＧ層２２３を安定的に形成することができる。またＳＯＧ層２２３の上面に形成する赤外光透過フォルタ２１２もその特性を最適に形成することが可能である。
【００４９】
図８−２は、光学フィルタ２０５の画像センサ６０側の正面図である。図９は、撮像画像データの画像例を示す説明図である。図８−２に示すように、車両検出用画像領域２１３である撮像画像中央部（撮像領域の高さ２／４に相当する部分）に対応する箇所に配置される領域２１１と、雨滴検出用画像領域２１４である撮像画像上部（撮像領域高さ１／４に相当する部分）及び撮像画像下部（撮像領域高さ１／４に相当する部分）に対応する箇所に配置される赤外光透過フィルタ２１２とに、領域分割されている。赤外光透過フィルタ２１２には、図６に示したカットフィルタや図７に示したバンドパスフィルタを用いる。
【００５０】
対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の画像は、主に撮像画像上部に存在することが多く、撮像画像下部には自車両前方の直近路面の画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別に必要な情報は撮像画像上部に集中しており、その識別において撮像画像下部の情報はあまり重要でない。よって、単一の撮像画像データから、対向車両や先行車両あるいは白線の検出と雨滴の検出とを両立して行う場合には、図９に示すように、撮像画像下部と上部を雨滴検出用画像領域２１４とし、残りの撮像画像中央部を車両検出用画像領域２１３とし、これに対応して赤外光透過フィルタ２１２を設けるのが好適である。
【００５１】
撮像装置２００の撮像方向を下方へ傾けていくと、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態では、撮像画像下部に対応する箇所に図６に示したカットフィルタや図７に示したバンドパスフィルタが配置されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。
【００５２】
なお、本実施形態では、撮像レンズ２０４の特性により、撮像領域内の光景と画像センサ２０６上の像とでは天地が逆になる。よって、撮像画像下部を雨滴検出用画像領域２１４とする場合には、光学フィルタ２０５の前段フィルタ２１０の上部を図６に示したカットフィルタや図７に示したバンドパスフィルタで構成することになる。
【００５３】
ここで、先行車両を検出する際には、撮像画像上のテールランプを識別することで先行車両の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、また街灯などの外乱光も多く存在するため、単なる輝度データのみからテールランプを高精度に検出するのは困難である。そのため、テールランプの識別には分光情報を利用し、赤色光の受光量に基づいてテールランプを識別することが必要となる。そこで、本実施形態では、後述するように、光学フィルタ２０５の後段フィルタ２２０に、テールランプの色に合わせた赤色フィルタあるいはシアンフィルタ（テールランプの色の波長帯のみを透過させるフィルタ）を配置し、赤色光の受光量を検知できるようにしている。
【００５４】
ただし、本実施形態の画像センサ２０６を構成する各受光素子は、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を画像センサ２０６で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなってしまう。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。そこで、本実施形態では、光学フィルタ２０５の前段フィルタ２１０において、車両検出用画像領域２１３に対応する箇所を赤外光カットフィルタ領域２１１としている。これにより、テールランプの識別に用いる撮像画像データ部分から赤外波長帯が除外されるので、テールランプの識別精度が向上する。
【００５５】
図１０は、本実施形態における撮像装置２００の詳細を示す説明図である。この撮像装置２００は、主に、撮像レンズ２０４と、光学フィルタ２０５と、２次元配置された画素アレイを有する画像センサ２０６を含んだセンサ基板２０７と、センサ基板２０７から出力されるアナログ電気信号（画像センサ２０６上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部２０８とから構成されている。被写体（検出対象物）を含む撮像領域からの光は、撮像レンズ２０４を通り、光学フィルタ２０５を透過して、画像センサ２０６でその光強度に応じた電気信号に変換される。信号処理部２０８では、画像センサ２０６から出力される電気信号（アナログ信号）が入力されると、その電気信号から、撮像画像データとして、画像センサ２０６上における各画素の明るさ（輝度）を示すデジタル信号を、画像の水平・垂直同期信号とともに後段のユニットへ出力する。
【００５６】
図１１は、光学フィルタ２０５と画像センサ２０６とを光透過方向に対して直交する方向から見たときの模式拡大図である。画像センサ２０６は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などを用いた受光素子であり、画素ごとにフォトダイオード２０６Ａを用いている。フォトダイオード２０６Ａは、画素ごとに２次元的にアレイ配置されており、フォトダイオード２０６Ａの集光効率を上げるために、各フォトダイオード２０６Ａの入射側にはマイクロレンズ２０６Ｂが設けられている。この画像センサ２０６がワイヤボンディングなどの手法によりＰＷＢ（Ｐｒｉｎｔｅｄ  Ｗｉｒｉｎｇ  Ｂｏａｒｄ）に接合されてセンサ基板２０７が形成されている。
【００５７】
光学フィルタ２０５と画像センサ２０６はＵＶ接着剤で接合してもよいし、撮影に用いる有効画素範囲外をスペーサなどで支持した状態で有効画素外の四辺領域でＵＶ接着や熱圧着してやればよい。光学フィルタ２０５と画像センサ２０６を密着接合することにより、雨滴検出用領域と車両検出用領域の境界が明確になり、雨滴有無の判別精度が上げられる。
【００５８】
また、図９に示す画像領域で、画面上部あるいは画面下部のいずれか一方にのみ雨滴検出領域を設けた場合、光学フィルタ２０５と画像センサ２０６を平行に接着することは困難であり、傾斜して接着してしまう。傾斜して接着されてしまうと、領域上部と領域下部とで光路長が変化してしまい車両周辺情報、例えば白線検知を行う場合には白線座標の読み誤りなど認識精度の劣化原因となる。このため、本実施の形態では、図９に示すように、雨滴検出用領域を撮像画像の上部と下部とし、これに対応して赤外光透過フィルタ２１２を設けているので、光学フィルタ２０５と画像センサ２０６を平行に接着することが容易となり、この結果、雨滴検出の精度を向上させることができる。
【００５９】
次に、本実施の形態による、ワイパー１０７やウォッシャー（不図示）を制御するための異物検出が可能である。ここで、異物とは、雨滴であるが、この他、鳥の糞、隣接車両からの跳ねてきた路面上の水しぶきを含めることもできる。
【００６０】
図１２は、異物検出を説明するための図である。光源２０２は、そのフロントガラスの外側面の正反射光が撮像レンズの光軸と略一致するように配置される。撮像装置２００が受光する光線について、図中の光線Ａ〜Ｅの標記を用いて説明する。
【００６１】
光線Ａ：光源２０２から出射してフロントガラスを通過した光線Ａは、フロントガラス１０５の撮像装置２００から見て外側に雨滴が付着していない場合はそのまま外部に漏れる。なお、光源２０２としてはアイセーフ帯の波長・光量の光源を選択されるとともに、図１２に示すように上側に向けて光を出力することにより安全性がより図られている。
【００６２】
光線Ｂ：光源２０２からの出射光のうち、その一部はフロントガラス１０５に入射するときにその表面で反射される。一般にその偏光成分は、Ｓ偏光成分であることが知られている。このような光は、本来の雨滴検出にとっては不要光となり誤検出の原因となるが、本実施の形態では、光学フィルタ２０５の偏光フィルタ層２２２によりＳ偏光成分をカットされるようになっているため不要光を除去することが可能である。
【００６３】
光線Ｃ：光源２０２からの出射光のうち、フロントガラス１０５の内側表面で反射されずにフロントガラス１０５内を透過した光線Ｃの成分はＰ偏光成分がＳ偏光成分に比べて多くなる。このフロントガラス１０５内に入射した光は、フロントガラス１０５の外側に雨滴が付着している場合には雨滴内部で多重反射して撮像装置２００側に向けて再度フロントガラス内を透過して、撮像装置の光学フィルタ２０５に到達する。そして、分光フィルタ層２２４を透過し、続く偏光フィルタ層２２２ではＰ偏光成分が透過するようにワイヤグリッド構造の溝方向が形成されているため、ここをも通過し、このとき雨滴検出領域には光源２０２の波長に合わせた赤外光透過フィルタ２１２が形成されているが、光線Ｃはここを透過し、画像センサ２０６に到達し、雨滴がフロントガラス１０５面に付着していることを認識することができる。
【００６４】
光線Ｄ：光源２０２ではなく、フロントガラス１０５の外側から入射し撮像装置２００に到達する光のうち、雨滴検出領域に到達する光線Ｄは赤外光透過フィルタでその多くがカットされる。このように雨滴検出領域はフロントガラス１０５外側の外乱光もカットされる構成となっている。
【００６５】
光線Ｅ：雨滴検出領域以外の領域、すなわち赤外光透過フォルタ２１２が存在しない領域を通過する光線Ｅは、可視域および赤外光のみ透過するとともに、Ｐ偏光成分のみとなり不要光がカットされた状態で画像センサ２０６に到達し、各種アプリケーション用の信号として検出される。
【００６６】
光源２０２は、雨滴と空気の境界面のいずれかの面での反射光が撮像されるように、フロントガラス１０５への入射角度が設定される。雨滴からの反射光が最も強くなるレイアウトは、図１２に示すように、フロントガラス１０５面の法線に対して撮像装置２００の光軸と略反対側の位置に設置された場合、および撮像装置２００の光軸とほぼ同じ光軸となるように配置した場合であり、反射光が最も小さいのはフロントガラス１０５の法線と光源の光軸がほぼ一致した場合である。
【００６７】
なお、光源２０２は、赤外光透過フィルタ２１２の領域にのみ照射するように配置することができる。これにより、車両検出用領域からのノイズ成分を回避することができる。また、光源２０２を複数設けてもよい。この場合は、偏光フィルタ層２２２の各領域の偏光子パタンは、複数の光源２０２のうち偏光子パタンへの入射光量が最も大きい光源がフロントガラス１０５へ向かって出射する光の光軸と、撮像レンズの光軸との２つの光軸で形成される面に対して平行な偏光成分のみを透過するように設定される。
【００６８】
光源２０２の発光方法としては、連続発光（ＣＷ発光ともいう）の他、特定のタイミングでパルス発光してもよい。発光のタイミングと撮影のタイミングを同期することにより、外乱光による影響をより減少させることができる。また、複数の光源２０２を設置した場合には、複数の光源２０２を同時に発光させてもよいし、順次発光させてもよい。順次発光させた場合は、その発光のタイミングと撮影のタイミングを同期することにより、外乱光による影響をより減少させることができる。
【００６９】
ここで、発明者が撮影した実験結果を図１３、図１４に示す。画像領域の下部と上部は雨滴検出用領域となっている。図１３は雨滴が付着している状態の実験結果を示す図である。図１４は雨滴が付着していない状態の実験結果を示す図である。
【００７０】
画像中の「ｄｅｔｅｃｔｉｏｎ  ａｒｅａ」と記載されている部分が雨滴検出用領域であり、この領域に雨滴付着時は光源２０２からのＬＥＤ光が入射し、図１４に示すように、雨滴が付着していないときは、ＬＥＤ光は検出されない。雨滴が付着されている場合には、「Ｒａｉｎ  ｄｅｔｅｃｔｅｄ」と表示されるように雨滴を認識している。また付着していないときは「Ｒａｉｎ  ｎｏｔ  ｄｅｔｅｃｔｅｄ」ということで認識していない状態を示している。この認識処理は，ＬＥＤ受光量の閾値調整により容易に行うことができる。なお、閾値は一意に定める必要はなく、撮像装置２００の車両検出用領域の露光調整情報などをもとに最適値を算出するように構成してもよい。
【００７１】
次に、本実施の形態による露光制御処理について説明する。図１５は、実施の形態１の露光制御処理の手順を示すフローチャートである。まず、露光制御ユニット１０９は、赤外光透過フィルタ２１２が存在しない領域２１１である雨滴検出用フィルタ無領域（車両検出用画像領域２１３に相当）を撮像するための第１露光量を決定する（ステップＳ１１）。
【００７２】
この第１露光量は、雨滴検出用フィルタ無領域（車両検出用画像領域２１３）の撮像に適した露光量である。
【００７３】
ここで、露光制御ユニット１０９は、第１露光量を、雨滴検出用フィルタ無領域の光量により決定する。言い換えれば、自動露光制御（ＡＥ：Ａｕｔｏ  Ｅｘｐｌｏｓｕｒｅ）における測定範囲を雨滴検出用フィルタ無領域に設定することにより、第１露光量を決定する。露光量は具体的には露光時間で決定される。
【００７４】
すなわち、遠方の画像を撮影する場合は、雨滴検出用フィルタ無領域の部分を検出しながら自動露光調整を行う。赤外光透過フィルタ２１２の存在しない領域２１１は、周辺の光量変化が大きい。撮像装置２００が撮影する車両周辺の照度は昼間の数万ルクスから夜間の１ルクス以下まで変化する。このため、その撮影シーンに応じて露光時間を調整する必要があり、これに対しては公知の自動露光制御を行う。なお、本実施の形態では、被写体は路面周辺にあるため、路面領域の画像をもとに露光制御を行うのが好ましい。
【００７５】
次に、露光制御ユニット１０９は、赤外光透過フィルタ２１２が存在する領域である雨滴検出用フィルタ有領域（雨滴検出用画像領域２１４に相当）を撮像するための第２露光量を決定する（ステップＳ１２）。
【００７６】
この第２露光量は、雨滴検出用フィルタ有領域（雨滴検出用画像領域２１４）の撮像に適した露光量である。かかる雨滴検出用フィルタ有領域は、光源２０２の異物からの反射光のみを取り込むように設定されているため、周辺環境による光量の変化は小さい。このため、外光の状況によらない固定の露光時間で撮影することも可能である。
【００７７】
図１６は、光源２０２の発光強度と露光量との関係図である。図１６に示すように、発光強度が大きくなるに従って、露光量は小さくなる（露光時間が短くなる）。本実施の形態では、露光制御ユニット１０９は、光源の発光強度に相当する駆動電流から図１６の関係に従って、第２露光量を変化させて決定する。
【００７８】
上述のように、雨滴検出用フィルタ無領域に適した第１露光量で撮像を行うことは、結果、雨滴検出用フィルタ無領域の撮像を行うことになる。雨滴検出用フィルタ有領域に適した第２露光量で撮像を行うことは、結果、雨滴検出用フィルタ有領域の撮像を行うことになる。従って、これ以降は、雨滴検出用フィルタ無領域に適した第１露光量での撮像を「雨滴検出用フィルタ無領域の撮像」といい、雨滴検出用フィルタ有領域に適した第２露光量での撮像を「雨滴検出用フィルタ有領域の撮像」という場合がある。
【００７９】
次に、露光制御ユニット１０９は、第１露光量での連続撮像回数ｎを決定する（ステップＳ１３）。また、露光制御ユニット１０９は、第２露光量での連続撮像回数ｍを決定する（ステップＳ１４）。ここで、第２露光量での連続撮像回数ｍは、第１露光量での連続撮像回数ｎよ小さい回数とする。例えば、ｎ＝３０、ｍ＝１等である。
【００８０】
そして、撮像装置２００は，第１露光量での撮像をｎ回連続して実行する（ステップＳ１５）。そして、画像解析ユニット１０２は、撮像画像の解析を行って（ステップＳ１６）、ヘッドランプ制御ユニット１０３，車両走行ユニット１０８等による各種制御を行う（ステップＳ１７）。
【００８１】
次に、撮像装置２００は、第２露光量での撮像をｍ回連続して実行する（ステップＳ１８）。そして、画像解析ユニット１０２は、撮像画像の解析を行って（ステップＳ１９）、ワイパー制御ユニット１０６等による各種制御を行う（ステップＳ２０）。
【００８２】
そして、所定の終了指示（ユーザによる終了指示など）があるまで、ステップＳ１５からＳ２０までの処理を繰り返し実行する（ステップＳ２１：Ｎｏ）。
【００８３】
例えば、ｎ＝３０、ｍ＝１の場合には、撮像装置２００は、第１露光量での雨滴検出用フィルタ無領域に適した撮像を連続して３０回行い、その後、第２露光量での雨滴検出用フィルタ有領域に適した撮像を１回行い、その後、第１露光量での雨滴検出用フィルタ無領域に適した撮像を連続して３０回行う等のように切り換える。
【００８４】
雨滴検出用フィルタ無領域の画像は、画像解析ユニット１０２で、例えば、白線検出や車両検出等の認識処理に用いられる。これらの認識処理は、入力される画像フレーム間の情報も用いるため、決められた時間間隔、または規則で撮影したフレームが画像解析ユニット１０２に入力される必要がある。
【００８５】
また、ワイパーを駆動させるか否かのために行う雨滴検出は、例えば、車線逸脱や前方車間距離の検出などと比較しては、短時間で状況が変わることはなく、また安全性としても優先度は低い。
【００８６】
このため、雨滴検出用フィルタ有領域の撮像画像は、雨滴検出用フィルタ無領域の撮像画像に一定間隔で挿入するように、雨滴検出用フィルタ有領域の連続撮像回数ｍは、雨滴検出用フィルタ無領域の連続撮像回数ｎより小さく決定している。
【００８７】
このように本実施の形態では、撮像装置２００で、車両検出用の撮像画像と雨滴検出用の撮像画像とを兼用して撮像しているが、雨滴検出用フィルタ無領域の撮像画像の連続撮像と、雨滴検出用フィルタ有領域の連続撮像を切り換えて行って、画像解析を行っているので、消費電力を削減することができ、かつ安全性をより向上させることができる。
【００８８】
（実施の形態２）
実施の形態２の車載機器制御システムは、雨滴が検出された場合、雨滴検出用フィルタ有領域の撮像画像の挿入周期を短くする、すなわち、雨滴検出用フィルタ無領域の連続撮像回数に対する雨滴検出用フィルタ有領域の連続撮像回数の割合を増加させるものである。具体的には、雨滴が検出された場合、撮像装置２００は、雨滴検出用フィルタ無領域の連続撮像回数ｎを減少し、かつ雨滴検出用フィルタ有領域の連続撮像回数ｍを変更しないか、あるいは、雨滴検出用フィルタ無領域の連続撮像回数ｎを変更せず、かつ雨滴検出用フィルタ有領域の連続撮像回数ｍを増加させる。
【００８９】
本実施の形態の車載機器制御システムの概略構成、撮像ユニット１０１、撮像装置２００の概略構成はいずれも実施の形態１と同様である。
【００９０】
雨が急に大量に降ってくるということはまれなため、雨滴を検出していない状態では、雨滴検出用フィルタ有領域を撮影するためのフレームの頻度は少なくしておいてよい。しかし、一旦、雨滴が検出された場合には、雨量の変化を細かく見る方が望ましいので、その場合には、撮像装置２００は、雨滴検出用フィルタ有領域を撮影するためのフレームの頻度を増加している。
【００９１】
例えば、雨滴検出用フィルタ無領域の撮像ｘ１２０回→雨滴検出用フィルタ有領域の撮像ｘ１回→雨滴検出用フィルタ無領域の撮像ｘ１２０回→雨滴検出用フィルタ有領域の撮像ｘ１回→雨滴検出用フィルタ無領域の撮像ｘ１２０回→・・・のような切り換えが通常時の場合を考える。この場合に、一回雨滴が検出された場合には以下のように、細かく見るように頻度を変更する。
【００９２】
雨滴検出用フィルタ無領域の撮像ｘ３０回→雨滴検出用フィルタ有領域の撮像ｘ１回→雨滴検出用フィルタ無領域の撮像ｘ３０回→雨滴検出用フィルタ有領域の撮像ｘ１→雨滴検出用フィルタ無領域の撮像ｘ３０回→・・・。
【００９３】
また、本実施の形態では、雨滴が検出された場合、ワイパー制御ユニット１０６は、ワイパーを雨滴量に応じた速度で駆動する。そして、撮像装置２００は、ワイパー制御ユニット１０６によるワイパーの駆動周期に同期して、雨滴検出用フィルタ有領域の撮像、すなわち第２露光量での撮像を行う。
【００９４】
すなわち、ワイパーが駆動した後に、雨滴が拭かれるため、雨滴が検出できなくなる。このため、雨滴検出用フィルタ有領域は、ワイパーが拭き終わったタイミングで撮像する。これにより、不必要な雨滴検出用の撮像画像を増加させる必要がなくなり、車両や白線検出用の撮像画像のフレーム数を増加させることができる。なお、一定時間、雨滴が検出されない状態が継続した場合には、雨滴検出用フィルタ有領域の撮像頻度を、通常時の頻度に戻すことが好ましい。
【００９５】
図１７は、実施の形態２の制御処理の手順を示すフローチャートである。画像解析ユニット１０２は、雨滴検出用フィルタ有領域の撮像画像から雨滴の検出を行う（ステップＳ３１）。そして、雨滴が検出された場合（ステップＳ３２：Ｙｅｓ）、撮像装置２００は、雨滴検出用フィルタ無領域の連続撮像回数ｎに対する雨滴検出用フィルタ有領域の連続撮像回数ｍの割合を増加する（ステップＳ３３）。
【００９６】
次に、ワイパー制御ユニット１０６は、雨滴量に応じてワイパーの駆動速度を決定し（ステップＳ３４）、これに基づきワイパーが駆動される。
【００９７】
次に、撮像装置２００は、雨滴検出用フィルタ有領域に適した第２露光量での撮像のタイミングを、上述したワイパー駆動に同期したタイミングに決定する（ステップＳ３５）。これにより、雨滴検出用フィルタ有領域は、ワイパーが拭き終わったタイミングで撮像される。
【００９８】
このように本実施の形態では、雨滴が検出された場合、雨滴検出用フィルタ無領域の連続撮像回数ｎに対する雨滴検出用フィルタ有領域の連続撮像回数ｍの割合を増加させることで、雨滴検出用フィルタ有領域の撮像画像の挿入周期を短くしているので、雨量の変化を高精度で把握することができる。
【００９９】
また、本実施の形態では、雨滴検出用フィルタ有領域を、ワイパーが拭き終わったタイミングで撮像しているので、不必要な雨滴検出用の撮像画像を増加させる必要がなくなり、車両や白線検出用の撮像画像のフレーム数を増加させることができる。
【０１００】
（実施の形態３）
自動露光を行っている雨滴検出用フィルタ無領域において、第１露光量（露光時間）を取得することで、車両周囲の光量を測定することができる。第１露光量が少ない（露光時間が短い）場合には、周囲は明るい状況ということで、天候が晴れていることが推測できる。晴天の場合には、雨が降ってくる可能性は低いため、雨滴検出用フィルタ有領域の撮像頻度を下げることが望ましい。
【０１０１】
このため、本実施の形態では、雨滴検出用フィルタ無領域の第１露光量から晴天であると判断した場合に、雨滴検出用フィルタ無領域の連続撮像回数ｎに対する雨滴検出用フィルタ有領域の連続撮像回数ｍの割合を減少させることで、雨滴検出用フィルタ有領域の撮像画像の挿入周期を長くする。
【０１０２】
本実施の形態の車載機器制御システムの概略構成、撮像ユニット１０１、撮像装置２００の概略構成はいずれも実施の形態１と同様である。
【０１０３】
本実施の形態では、具体的には、撮像装置２００は、雨滴検出用フィルタ無領域の連続撮像回数ｎを増加し、かつ雨滴検出用フィルタ有領域の連続撮像回数ｍを変更しないか、あるいは、雨滴検出用フィルタ無領域の連続撮像回数ｎを変更せず、かつ雨滴検出用フィルタ有領域の連続撮像回数ｍを減少させる。
【０１０４】
また、本実施の形態では、撮像ユニット１０１内の光源制御部（不図示）が第１露光量に応じて光源２０２の発光強度を変更している。基本的に本実施の形態では、光量を変化させる必要はないが、あまりに強い外光の場合には、以下のように発光強度を変更する。
【０１０５】
光量が変化した場合（例えば、光量として、０．５ｌｕｘ〜１０万ｌｕｘ程度まで）には、雨滴検出用フィルタ有領域については、外光の影響を受け、異物が付着していない部分の背景が変化してしまい、最悪の場合、全領域飽和してしまい、異物の検出ができなくなることが考えられる。
【０１０６】
この場合には、撮像ユニット１０１の光源制御部は、雨滴検出用フィルタ有領域の赤外光透過フィルタ２１２を透過してきた外光よりも、強い光で光源２０２より投射する必要があり、雨滴検出用フィルタ無領域の部分の露光量より、どのくらいの光量が雨滴検出用フィルタ有領域にバックグラウンドして入ってくるかを算出し、その量に応じて光源のパワーを変更すると良い。
【０１０７】
また、この場合には、変更した光源の発光強度に合わせて、雨滴検出用フィルタ無領域の第１露光量を変更するよう構成してもよい。
【０１０８】
逆に、夜間には、外光がほとんど入ってこないため、光源２０２の発光強度は小さくても良い。この場合にも、撮像ユニット１０１の光源制御部は、雨滴検出用フィルタ無領域の部分の第１露光量より、どのくらいの光量が雨滴検出用フィルタ有領域にバックグラウンドして入ってくるかを算出し、その量に応じて光源２０２の発光強度を変更することにより、発光強度を小さくすることができ、低消費電力化を実現することができる。
【０１０９】
図１８は、実施の形態３の制御処理の手順を示すフローチャートである。まず、撮像ユニット１０１は、第１露光量から光量を上述のように測定する（ステップＳ４１）。そして、撮像ユニット１０１は、晴天か否かを判断し（ステップＳ４２）、晴天である場合には（ステップＳ４２：Ｙｅｓ）、雨滴検出用フィルタ無領域の連続撮像回数ｎに対する雨滴検出用フィルタ有領域の連続撮像回数ｍの割合を減少させる（ステップＳ４３）。
【０１１０】
次に、撮像ユニット１０１の光源制御部は、光量に応じて光源２０２の発光強度を上述のとおりに変更する（ステップＳ４４）。
【０１１１】
このように本実施の形態では、晴天である場合には、雨滴検出用フィルタ無領域の連続撮像回数ｎに対する雨滴検出用フィルタ有領域の連続撮像回数ｍの割合を減少させることで、雨滴検出用フィルタ有領域の撮像画像の挿入周期を長くしているので、晴天の場合に雨滴検出用フィルタ有領域の撮像頻度を下げ、消費電力の削減を図ることができる。
【０１１２】
また、本実施の形態では、第１露光量に応じて光源２０２の発光強度を変更しているので、消費電力のさらなる削減を図ることができる。
【０１１３】
（実施の形態４）
本実施の形態では、上述の実施の形態に加えて、画像解析ユニット１０２において雨滴を検出した場合に、雨滴検出用フィルタ有領域の撮像画像の画素値の分散に関する値を指標として、雨量の測定を行う。
【０１１４】
本実施の形態の車載機器制御システムの概略構成、撮像ユニット１０１、撮像装置２００の概略構成はいずれも実施の形態１と同様である。
【０１１５】
雨滴検出用フィルタ有領域の画像は、雨滴など異物があった場合には反射光が発生することにより、図１９に示す撮像画像が得られる。図１９の例では、ＳＷＳカメラ撮影画像の輝度の標準偏差値を計算すると、それぞれ、左の画像から、２０，２７，３９となり、雨量と相関することがわかる。
【０１１６】
このため、本実施の形態では、画像解析ユニット１０２の雨量算出部（不図示）は、雨滴検出用フィルタ有領域の撮像画像から、輝度の標準偏差値等の分散に関する値を算出して、この分散に関する値に基づき、雨量の測定を行っている。なお、分散に関する値には、分散そのものも含まれる。
【０１１７】
なお、単純に反射光量を雨量の指標としても良いが、その場合には光源２０２の発光強度の変動の影響を大きく受けてしまうことになる。このため、反射光の分散に関する値より雨量の指標を得ると良い。例えば、雨粒がある場合には、雨滴検出用フィルタ有領域の画像に濃淡が現れるため、分散値は大きくなる。また、雨量が大きくなるほど多数の雨粒や、大きな雨粒がつくため、分散値が大きくなる。
【０１１８】
このように本実施の形態では、画像解析ユニット１０２の雨量算出部が、雨滴検出用フィルタ有領域の撮像画像の画素値の分散に関する値を指標として、雨量の測定を行っているので、雨量測定の高精度化を図ることができる。
【０１１９】
また、本実施の形態では、画像解析ユニット１０２の雨量算出部が、雨滴検出用フィルタ有領域の撮像画像の画素値のうち、所定の閾値以下の輝度値を除いて分散に関する値を算出するように画像解析ユニット１０２を構成してもよい。
【０１２０】
雨滴検出用フィルタ有領域においても、赤外光透過フィルタ２１２で遮断しきれなかったわずかな外光は、バックグラウンドとして雨滴検出用フィルタ有領域の画像に現れてくることになる。その影響をなくすため、分散を算出する前に、雨滴検出用フィルタ有領域の画像の所定の閾値以下の輝度値を分散の関する値の算出から除外することが好ましい。
【０１２１】
例えば、標準偏差値を計算する前に、１２８の値を各ピクセル毎に減じた（減じた結果が０以下になる場合は０とした）後に標準偏差値を計算すると、図１９のそれぞれ左の画像から標準偏差は６，１６，２９となり、より雨量との相関が大きいことがわかる。
【０１２２】
従って、これにより、雨量測定のさらなる高精度化を図ることができるという利点がある。
【０１２３】
（実施の形態５）
本実施の形態では、雨滴検出用フィルタ有領域を光源２０２からの照射光の照射、非照射を制御しながら撮像し、得られた撮像画像から雨量を検出する。
【０１２４】
本実施の形態の車載機器制御システムの概略構成、撮像ユニット１０１、撮像装置２００の概略構成はいずれも実施の形態１と同様である。
【０１２５】
雨滴検出用フィルタ有領域（第２領域）においても、外光には光源２０２と同一波長の光が含まれるためたとえ光源２０２を消灯した場合（すなわち、光を照射しない場合）にも雨滴検出用フィルタより漏れだした外光が画像センサ２０６に混入してしまう。この雨滴検出用フィルタ有領域への外光混入により、外光の強度によって得られる輝度値が雨量によらず変化してしまうため、雨滴検出の精度が劣化する。
【０１２６】
このため、本実施の形態では、撮像装置２００による雨滴検出用フィルタ有領域の撮像において、光源２０２を点灯した状態（すなわち、光を照射した状態）と光源２０２を消灯した状態（すなわち、光を照射しない状態）の撮像画像を２枚連続で撮影し、画像解析ユニット１０２により、漏れた外光をキャンセルする処理を行う。
【０１２７】
本実施の形態では、撮像ユニット１０１内に光源制御部（不図示）が設けられており、この光源制御部が光源２０２からの光の照射を制御して、光源２０２を消灯したり点灯したりする。
【０１２８】
撮像装置２００は、雨滴検出用フィルタ有領域（第２領域）の撮像において、光源２０２から光を照射しない消灯状態での第１撮像と、光源２０２から光を照射した点灯状態での第２撮像とを切り替えて行う。
【０１２９】
車両が走行し、漏れこんでいる外光が逐次変化することを考慮すると、その２つの撮像画像間の時間は短いほど良いので、光源２０２を点灯した状態と光源２０２を消灯した状態の撮像画像は連続したフレームとすることが好ましい。このため、より具体的には、撮像装置２００は、第１撮像と、第２撮像とを連続して交互に行っている。
【０１３０】
また、第１撮像画像と第２撮像画像は同一の露光量で撮像された場合に、画像解析ユニット１０２により最も外光のキャンセル処理の精度を向上させることができるため、撮像装置２００は、第１撮像と第２撮像とを、同一露光量である第２露光量で行っている。
【０１３１】
また、画像解析ユニット１０２には、フロントガラス１０５に付着した雨滴の雨量を検出する雨滴検出部（不図示）が設けられている。雨滴検出部は、点灯状態での第２撮像により得られる第２撮像画像の画素値から、第１撮像により得られる第１撮像画像の画素値を減算することにより、外光のキャンセル処理を行う。
【０１３２】
より具体的には、雨滴検出部は、点灯状態での第２撮像による第２撮像画像の画素の画素値の総和から、消灯状態での第１撮像による第１撮像画像の画素の画素値の総和を減算して外光のキャンセル処理を行い、この減算した総和値を雨量の指標として用いて雨量を検出する。
【０１３３】
本実施の形態では、実施の形態１で図４、５を用いて説明したように、フロントガラス１０５の外壁面上に撮像レンズ２０４の焦点が合っていないため、フロントガラス１０５の外壁面に付着した一粒の雨滴は面積によらず、得られる撮像画像はほぼ一定の大きさの円となる。しかしながら、雨滴の面積と得られる撮像画像の輝度値は相関があるため、その輝度値より一粒の雨滴の大きさを推定することが可能である。
【０１３４】
また、フロントガラス１０５に多数の雨粒が付着している場合には、撮像画像上でその大きさに応じた輝度値を有する多数の円が得られる。このため、本実施の形態では、雨滴が付着した面の面積に相関を持つ値として、雨滴検出用フィルタ有領域の撮像画像の範囲の輝度値の和、すなわち雨滴検出用フィルタ有領域の撮像画像の画素値の総和を雨量の指標としている。
【０１３５】
この場合、雨滴検出部は、第２撮像画像の輝度値から第１撮像画像の輝度値を画素ごとに減算することにより外光のキャンセル処理を行うことも可能である。この場合には、画素ごとに減算するために、消灯状態の撮像画像の画素値をすべて記憶しておく必要があり、雨滴検出用フィルタ有領域の画素数だけメモリの記憶容量が必要になり、装置も高価となる。
【０１３６】
これに対して、消灯状態での第１撮像画像の画素値（輝度値）の総和をメモリ等に記憶しておき、雨滴検出部が、光源２０２の点灯状態での第２撮像画像の画素値（輝度値）の総和から、光源２０２の消灯状態での第１撮像画像の画素値（輝度値）の総和を減算することにより、それぞれの撮像画像の画素値の総和の演算ですむため、画素毎に減算を行う場合と比較して、フレームバッファが必要なくなり、メモリの記憶容量を削減することができる。
【０１３７】
次に、本実施の形態による露光制御処理について説明する。図２０は、実施の形態５の露光制御処理の手順を示すフローチャートである。まず、第１露光量の決定から第２露光量での連続撮像回数ｍの決定までの処理（ステップＳ５１〜Ｓ５４）については、実施の形態１の露光制御処理におけるステップＳ１１からＳ１４までの処理と同様に行われる。
【０１３８】
そして、実施の形態１と同様に、撮像装置２００は、雨滴検出用フィルタ無領域の第１露光量での撮像をｎ回連続して実行する（ステップＳ５５）。そして、画像解析ユニット１０２は、撮像画像の解析を行って（ステップＳ５６）、ヘッドランプ制御ユニット１０３，車両走行制御ユニット１０８等による各種制御を行う（ステップＳ５７）。
【０１３９】
次に、撮像装置２００は、光源２０２を消灯した状態で第２露光量で雨滴検出用フィルタ有領域の撮像を１回実行する（ステップＳ５８）。さらに、撮像装置２００は、光源２０２を点灯した状態で第２露光量で雨滴検出用フィルタ有領域の撮像を１回実行する（ステップＳ５９）。
【０１４０】
次に、画像解析ユニット１０２の雨滴検出部は、上述した手法により、外光のキャンセル処理を行った上で、雨滴検出を行う（ステップＳ６０）。このようなステップＳ５８からＳ６０までの処理は、ｍ／２回繰り返し実行される。そして、ワイパー制御ユニット１０６等による各種制御を行う（ステップＳ６１）。
【０１４１】
そして、所定の終了指示（ユーザによる終了指示など）があるまで、ステップＳ５５からＳ６１までの処理を繰り返し実行する（ステップＳ６２：Ｎｏ）。
【０１４２】
例えば、ｎ＝３０、ｍ＝２の場合には、撮像装置２００は、第１露光量での雨滴検出用フィルタ無領域に適した撮像を連続して３０回行う。その後、撮像装置２００は、光源２０２を消灯した状態で第２露光量で雨滴検出用フィルタ有領域の撮像を１回行い、これに連続して、撮像装置２００は、光源２０２を点灯した状態で第２露光量で雨滴検出用フィルタ有領域の撮像を１回行う。その後、撮像装置２００は、第１露光量での雨滴検出用フィルタ無領域に適した撮像を連続して３０回行う。そして、撮像装置２００は、光源２０２を消灯した状態で第２露光量で雨滴検出用フィルタ有領域の撮像を１回行い、これに連続して、撮像装置２００は、光源２０２を点灯した状態で第２露光量で雨滴検出用フィルタ有領域の撮像を１回行う等のように切り換える。なお、雨滴検出用フィルタ無領域の撮像頻度を、増加してもよい。
【０１４３】
このように本実施の形態では、光源２０２を消灯した状態で第２露光量で雨滴検出用フィルタ有領域の撮像を１回行い、これに連続して、撮像装置２００は、光源２０２を点灯した状態で第２露光量で雨滴検出用フィルタ有領域の撮像を１回行って、外光のキャンセル処理を行って雨滴検出を実行しているので、外光の影響を削減して雨滴検出を高精度に実現することができる。
【０１４４】
なお、光源２０２の消灯状態での撮像と、光源２０２の点灯状態での撮像とはいずれを先に行ってもよい。
【０１４５】
以上、実施の形態１〜５について説明したが、上記実施の形態に多様な変更または改良を加えることができる。
【０１４６】
（変形例１）
雨量検出部を、光源２０２の点灯状態での第２撮像画像の画素値（輝度値）の総和から、光源２０２の消灯状態での第１撮像画像の画素値（輝度値）の総和を減算した値、すなわち、減算した総和値に非線形特性を付与し、この非線形特性を付与し値に基づいて雨量を検出するように構成してもよい。
【０１４７】
上記減算した総和値により雨量を検出する場合には、大きな雨滴一粒よりも、同じ面積の小さな多数の粒の雨滴の方が大きい雨量として検出される。このため、本変形例では、上記減算した総和値に非線形成分を付与することにより、より正確な雨量の指標とすることができる。
【０１４８】
非線形特性の付与の一例としては、以下の式により、雨量の指標を算出する手法があげられるが、これに限定されるものではない。
【０１４９】
ｒａｉｎ＿ａｍｏｕｎｔ＝ｅｘｐ（ｓｕｍ（ｉｍｇ（ｘ，ｙ）×ｃｏｅｆｆ１−１）
【０１５０】
ここで、ｒａｉｎ＿ａｍｏｕｎｔ：雨量指標
ｉｍｇ（ｘ，ｙ）：雨滴検出用フィルタ有領域の輝度値
ｓｕｍ（）：雨滴検出用フィルタ有領域の画素値の総和演算子
ｃｏｅｆｆ１：係数
【０１５１】
係数ｃｏｅｆｆ１は、実験より適切な値を求めることができる。
【０１５２】
（変形例２）
雨滴検出部が、画素ごとに、点灯状態での第２撮像画像の画素値から消灯状態での第１撮像画像の画素値を減算することより、外光のキャンセル処理を行う場合には、雨量検出部を、画素ごとに第２撮像画像の画素値から第１撮像画像の画素値を減算した値に非線形特性を付与し、この非線形特性を付与した値の総和値を求め、求めた総和値に基づいて雨量を検出するように構成してもよい。これにより、より正確に雨量の検出を行うことができる。
【０１５３】
非線形特性の付与の一例としては、以下の式により、雨量の指標を算出する手法があげられるが、これに限定されるものではない。
【０１５４】
ｒａｉｎ＿ａｍｏｕｎｔ＝ｓｕｍ（ｅｘｐ（ｉｍｇ（ｘ，ｙ）＊ｃｏｅｆｆ２−１））
ここで、ｒａｉｎ＿ａｍｏｕｎｔ：雨量指標
ｉｍｇ（ｘ，ｙ）：雨滴検出用フィルタ有領域の輝度値
ｓｕｍ（）：雨滴検出用フィルタ有領域の画素値の総和演算子
ｃｏｅｆｆ２：係数
【０１５５】
係数ｃｏｅｆｆ２は、実験より適切な値を求めることができる。
【０１５６】
（変形例３）
実施の形態１〜５では、撮像ユニット１０１の光学系は、図２に示すものを用いていた。この変形例３では、全反射光学系を撮像ユニット１０１に用いている。図２１は、変形例３の撮像ユニット１０１の光学系の構成図である。
【０１５７】
本実施の形態の撮像ユニット１０１では、光源２０２から出射した光は、図２１の光路で示されるように、フロントガラス１０５の車内側の面に設けられた反射偏向部材２１０１に入射することにより、フロントガラス１０５の外壁面で全反射して撮像レンズ２０４１に入射し、センサ基板２０４２の画像センサ２０で受光される。
【０１５８】
図２１に示すような全反射の光学系を用いた場合、実施の形態１〜５の撮像ユニット１０１の光学系と比較して、取得される撮像画像が反転する。図２２は、変形例３の光学系による撮像画像の一例を示す図である。図２２の例からわかるように、実施の形態４における図１９に示した例の撮像画像を反転したものとなっている。すなわち、雨滴が付着したところが暗くなり、雨滴がついていないところが明るくなる。
【０１５９】
実施の形態１〜５の撮像ユニット１０１の光学系では、雨量が多いほど処理結果の値も大きくなるが、全反射を用いた本変形例の光学系では反対に、雨量が多いほど処理結果の値が小さくなる。ただし、撮像画像の解析処理については実施の形態１〜５の処理と同様に行われる。
【０１６０】
また、本変形例の雨量検出部の処理結果である雨量を、ワイパー制御などでより扱いやすい形とするため、雨量を閾値と比較して、例えば、以下に基づいて雨量を段階的なレベルで、ワイパー制御ユニット１０６に送出するように、雨量検出部を構成してもよい。
【０１６１】
雨量        ワイパー制御ユニットへの出力    意味
０−０．１          ０                      雨なし
０．１−０．３      １                      小雨
０．３−０．５      ２                      雨
０．５−０．７      ３                      大雨
０．７−１．０      ４                      非常に強い雨
【０１６２】
これにより、ワイパー制御ユニット１０６で受信するのは、０から４の５段階となり、意味づけがされた扱いやすい情報となる。また、そのままの雨量の値を伝達する場合と比較して、データ量も少なくなり効率的なものとなる。
【０１６３】
上記実施の形態の車載機器制御システムで実行される各処理はハードウェアで実現することができる他、プログラムで実現することもできる。この場合、上記実施の形態の車載機器制御システムで実行される各処理プログラムは、ＲＯＭ等に予め組み込まれて提供される。
【０１６４】
上記実施の形態の車載機器制御システムで実行される各処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【０１６５】
さらに、上記実施の形態の車載機器制御システムで実行される各処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上記実施の形態の車載機器制御システムで実行される各処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【０１６６】
上記実施の形態の車載機器制御システムで実行される各処理プログラムは、上述した各部または各ユニットを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭから各処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部または各ユニットが主記憶装置上に生成されるようになっている。
【符号の説明】
【０１６７】
１００  自車両
１０１  撮像ユニット
１０２  画像解析ユニット
１０３  ヘッドランプ制御ユニット
１０４  ヘッドランプ
１０５  フロントガラス
１０６  ワイパー制御ユニット
１０７  ワイパー
１０８  車両走行制御ユニット
２００  撮像装置
２０１  撮像ケース
２０２  光源
２０３  雨滴
２０４  撮像レンズ
２０５  光学フィルタ
２０６  画像センサ
２０６Ａ  フォトダイオード（受光素子）
２１１  雨滴検出用フィルタ無領域
２１２  赤外光透過フィルタ領域（雨滴検出用フィルタ有領域）
２１３  車両検出用画像領域
２１４  雨滴検出用画像領域
２２１  基板
２２２  偏光フィルタ層
２２３  ＳＯＧ
【先行技術文献】
【特許文献】
【０１６８】
【特許文献１】特開２００５−１９５５６６号公報
【図１】
0005561333.tif 000002
【図２】
0005561333.tif 000003
【図３】
0005561333.tif 000004
【図６】
0005561333.tif 000005
【図７】
0005561333.tif 000006
【図８−１】
0005561333.tif 000007
【図８−２】
0005561333.tif 000008
【図９】
0005561333.tif 000009
【図１０】
0005561333.tif 000010
【図１１】
0005561333.tif 000011
【図１２】
0005561333.tif 000012
【図１５】
0005561333.tif 000013
【図１６】
0005561333.tif 000014
【図１７】
0005561333.tif 000015
【図１８】
0005561333.tif 000016
【図２０】
0005561333.tif 000017
【図２１】
0005561333.tif 000018
【図４】
0005561333.tif 000019
【図５】
0005561333.tif 000020
【図１３】
0005561333.tif 000021
【図１４】
0005561333.tif 000022
【図１９】
0005561333.tif 000023
【図２２】
0005561333.tif 000024