(57)【特許請求の範囲】
【請求項１】
透明部材に向けて光を照射する光源と、
上記光源から照射された光が上記透明部材に付着する付着物で反射した反射光を、受光素子が２次元配置された撮像画素アレイで構成された画像センサにより受光し、該透明部材に付着する付着物の画像を所定の撮像周波数で連続撮像する撮像装置と、
該撮像装置が撮像した画像に基づいて上記付着物を検出する付着物検出処理手段とを有する付着物検出装置において、
上記光源は、上記撮像周波数とは異なる駆動周波数で強弱する光を照射するものであり、
上記撮像装置は、上記反射光を選択して透過させる光学フィルタを通じて上記反射光を上記画像センサで受光するものであり、
上記付着物検出処理手段は、上記撮像周波数と上記駆動周波数との違いによって生じる画像上のビートを検出し、ビートが検出された画像領域を、付着物が映し出された付着物画像領域であると判別することを特徴とする付着物検出装置。
【請求項２】
請求項１の付着物検出装置において、
上記駆動周波数及び上記撮像周波数の一方が他方の整数倍から外れるように設定されていることを特徴とする付着物検出装置。
【請求項３】
請求項１又は２の付着物検出装置において、
上記光源は、特定波長帯の光を照射するものであり、
上記光学フィルタは、上記特定波長帯を選択して透過させる光学フィルタを含むことを特徴とする付着物検出装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の付着物検出装置において、
上記光学フィルタは、特定の偏光成分を選択して透過させる光学フィルタを含むことを特徴とする付着物検出装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の付着物検出装置において、
上記付着物検出処理手段は、互いに異なる時期に撮像された複数の画像を比較して上記ビートを検出することを特徴とする付着物検出装置。
【請求項６】
請求項５の付着物検出装置において、
上記付着物検出処理手段は、互いに異なる時期に撮像された複数の画像間の差分情報に基づいて上記ビートを検出することを特徴とする付着物検出装置。
【請求項７】
請求項５又は６の付着物検出装置において、
上記撮像装置は、上記画像センサ上の１又は２以上の画像ライン単位で画像データを所定の信号取得周波数で取得して上記付着物の画像を撮像するものであり、
上記付着物検出処理手段は、撮像画像を複数の領域に区分して得られる単位画像領域ごとに上記複数の画像間の画素値を比較することで上記ビートを検出するものであり、
上記単位画像領域における上記画像ラインの配列方向の大きさを画像ライン数に換算した値が、上記信号取得周波数と上記駆動周波数との違いによって生じるビートの周期を画像ライン数に換算した値よりも小さく設定されていることを特徴とする付着物検出装置。
【請求項８】
請求項１乃至７のいずれか１項に記載の付着物検出装置において、
上記付着物検出処理手段により上記付着物が検出されない状況から該付着物が検出される状況へ変化したとき、上記撮像装置の撮像周波数を増やす制御を行う撮像周波数変更手段を有することを特徴とする付着物検出装置。
【請求項９】
請求項１乃至８のいずれか１項に記載の付着物検出装置において、
上記付着物検出処理手段により上記付着物が検出されたときに、上記画像センサからの画像データが飽和値を示しているかどうかを判断し、その判断結果に基づいて上記光源の光照射強度を調整する光照射強度調整手段を有することを特徴とする付着物検出装置。
【請求項１０】
光源から透明部材に向けて光を照射し、該透明部材に付着する付着物で反射した反射光を、受光素子が２次元配置された撮像画素アレイで構成された画像センサにより受光して、該付着物の画像を所定の撮像周波数で連続撮像し、撮像した画像に基づいて該付着物を検出する付着物検出方法において、
上記光源として、上記撮像周波数とは異なる駆動周波数で強弱する光を照射するものを用い、
上記反射光を選択して透過させる光学フィルタを通じて上記反射光を上記画像センサで受光して、上記撮像周波数と上記駆動周波数との違いによって生じる画像上のビートを検出し、ビートが検出された画像領域を、付着物が映し出された画像領域であると判別することを特徴とする付着物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フロントガラス等の板状透明部材上に付着する雨滴等の付着物を撮像し、その撮像画像に基づいて付着物の検出を行う付着物検出装置及び付着物検出方法に関するものである。
【背景技術】
【０００２】
特許文献１には、車両、船舶、航空機等に用いられるガラス或いは一般建造物の窓ガラス等の各種のウィンドウガラスの表面に付着する雨滴等の液滴及び曇りや塵などの異物（付着物）を検出する画像処理システム（付着物検出装置）が開示されている。この画像処理システムでは、自動車の室内に設置された光源から自車のフロントガラス（板状透明部材）に光を照射し、フロントガラスに照射した光の反射光を撮像素子で受光して画像を撮像する。そして、撮像した画像を解析してフロントガラスに雨滴等の異物が付着しているか否を判別する。具体的には、光源を点灯したときの撮像画像の画像信号に対し、ラプラシアンフィルタ等を用いてエッジ検出処理を行い、雨滴の画像領域と雨滴でない画像領域の境界を強調したエッジ画像を作成する。そして、このエッジ画像に対して一般化ハフ変換を行って円形である画像領域を検出し、検出した円形領域の個数を数え、その個数を雨量に変換して雨量を求める。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
撮像素子には、雨滴からの反射光以外にも、対向車両のヘッドライトからの光などの各種外乱光が入力される。上記特許文献１に記載の画像処理システムのような従来の付着物検出装置では、このような外乱光が撮像素子に入力された場合に、雨滴からの反射光と外乱光とを十分に区別して処理することができず、外乱光を雨滴からの反射光であると誤検出してしまう頻度が高いという問題があった。
【０００４】
本発明は、上記問題に鑑みなされたものであり、その目的とするところは、透明部材上に付着する雨滴等の付着物からの反射光と外乱光との識別精度を高めて、外乱光を付着物からの反射光であると誤検出してしまう頻度が低い付着物検出装置及び付着物検出方法を提供することである。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明は、透明部材に向けて光を照射する光源と、上記光源から照射された光が上記透明部材に付着する付着物で反射した反射光を、受光素子が２次元配置された撮像画素アレイで構成された画像センサにより受光し、該透明部材に付着する付着物の画像を所定の撮像周波数で連続撮像する撮像装置と、該撮像装置が撮像した画像に基づいて上記付着物を検出する付着物検出処理手段とを有する付着物検出装置において、上記光源は、上記撮像周波数とは異なる駆動周波数で強弱する光を照射するものであり、上記撮像装置は、上記反射光を選択して透過させる光学フィルタを通じて上記反射光を上記画像センサで受光するものであり、上記付着物検出処理手段は、上記撮像周波数と上記駆動周波数との違いによって生じる画像上のビートを検出し、ビートが検出された画像領域を、付着物が映し出された付着物画像領域であると判別することを特徴とする。
【０００６】
本発明においては、所定の駆動周波数で駆動する光源から、この駆動周波数に応じて強弱する光が付着物に照射され、その反射光が撮像装置の画像センサに受光される。一方、撮像装置は、所定の撮像周波数で撮像画像を連続撮像する。本発明では、光源の駆動周波数と撮像装置の撮像周波数とが相違するように設定されているので、その相違によって、撮像画像上にはビート（うなり）が現れる。一方、光源から照射された光ではない外乱光は、一般に、光源から照射される光のような短い周期で強弱する光ではなく、撮像装置の撮像周波数との間でビートを発生させることはない。本発明では、このような付着物からの反射光と外乱光との違いを利用し、付着物検出処理において、撮像画像上に生じるビートを検出し、ビートが検出された画像領域を、付着物が映し出された付着物画像領域であると判別する。よって、付着物からの反射光を外乱光と高い精度で区別して識別することができる。
【発明の効果】
【０００７】
本発明によれば、透明部材上に付着する雨滴等の付着物からの反射光と外乱光との識別精度を高めて、外乱光を付着物からの反射光であると誤検出してしまう頻度が低いという
優れた効果が得られる。
【図面の簡単な説明】
【０００８】
【図１】実施形態における車載機器制御システムの概略構成を示す模式図である。
【図２】同車載機器制御システムにおける撮像ユニットの概略構成を示す模式図である。
【図３】同撮像ユニットに設けられる撮像装置の概略構成を示す説明図である。
【図４】自車両のフロントガラスの外壁面上の雨滴に撮像レンズの焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。
【図５】無限遠に焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。
【図６】雨滴検出用の撮像画像データに適用可能なカットフィルタのフィルタ特性を示すグラフである。
【図７】雨滴検出用の撮像画像データに適用可能なバンドパスフィルタのフィルタ特性を示すグラフである。
【図８】同撮像装置の光学フィルタに設けられる前段フィルタの正面図である。
【図９】同撮像装置の撮像画像データの画像例を示す説明図である。
【図１０】同撮像装置の詳細を示す説明図である。
【図１１】同撮像装置の光学フィルタと画像センサとを光透過方向に対して直交する方向から見たときの模式拡大図である。
【図１２】同光学フィルタの偏光フィルタ層と分光フィルタ層の領域分割パターンを示す説明図である。
【図１３】構成例１における光学フィルタの層構成を模式的に示す断面図である。
【図１４】同光学フィルタの車両検出用フィルタ部を透過して画像センサ上の各フォトダイオードで受光される受光量に対応した情報（各撮像画素の情報）の内容を示す説明図である。
【図１５】（ａ）は、図１４に示す符号Ａ−Ａで切断した光学フィルタの車両検出用フィルタ部及び画像センサを模式的に表した断面図である。（ｂ）は、図１４に示す符号Ｂ−Ｂで切断した光学フィルタの車両検出用フィルタ部及び画像センサを模式的に表した断面図である。
【図１６】同光学フィルタの雨滴検出用フィルタ部を透過して画像センサ上の各フォトダイオードで受光される受光量に対応した情報（各撮像画素の情報）の内容を示す説明図である。
【図１７】（ａ）は、図１６に示す符号Ａ−Ａで切断した光学フィルタの雨滴検出用フィルタ部及び画像センサを模式的に表した断面図である。（ｂ）は、図１６に示す符号Ｂ−Ｂで切断した光学フィルタの雨滴検出用フィルタ部及び画像センサを模式的に表した断面図である。
【図１８】雨滴検出に関わる各種光線についての説明図である。
【図１９】光学フィルタの雨滴検出用フィルタ部における偏光フィルタ層の各地点でワイヤーグリッド構造の金属ワイヤー長手方向が異なる例を示す説明図である。
【図２０】実施形態における車両検出処理の流れを示すフローチャートである。
【図２１】ブリュースタ角での反射光の偏光状態を示す説明図である。
【図２２】（ａ）は、フロントガラスの外壁面に雨滴が付着しているときの撮像画像を示す説明図である。（ｂ）は、フロントガラスの外壁面に雨滴が付着していないときの撮像画像を示す説明図である。
【図２３】実施形態の雨滴検出処理（ローリングシャッタ方式）における駆動周波数（光源周期）と撮像装置の撮像周波数（撮像フレーム周期）との関係を示す説明図である。
【図２４】（ａ）は、雨滴検出用画像領域に雨滴が映し出された様子を示す説明図である。（ｂ）は、雨滴が映し出された画像領域内の拡大図である。
【図２５】グローバルシャッタ方式における駆動周波数（光源周期）と撮像装置の撮像周波数（撮像フレーム周期）との関係を示す説明図である。
【図２６】（ａ）は、グローバルシャッタ方式における雨滴検出用画像領域に映し出された雨滴の画像領域内を拡大した拡大図である。（ｂ）は、（ａ）に示した雨滴画像領域に対応した次の撮像画像における雨滴画像領域内を拡大した拡大図である。
【図２７】（ａ）は、光源駆動周波数が５０Ｈｚである場合に、連続撮影した撮像画像における雨滴を映し出した画像領域の画素値の平均値の変化を示すグラフである。（ｂ）は、光源駆動周波数が６０Ｈｚである場合に、連続撮影した撮像画像における雨滴を映し出した画像領域の画素値の平均値の変化を示すグラフである。（ｃ）は、光源駆動周波数が０Ｈｚである場合（すなわち強弱のない光を照射した場合）に、連続撮影した撮像画像における雨滴を映し出した画像領域の画素値の平均値の変化を示すグラフである。
【図２８】実施形態における雨滴検出処理の流れを示すフローチャートである。
【図２９】（ａ）は、ローリングシャッタ方式における雨滴検出用画像領域に映し出された雨滴の画像領域内を拡大した拡大図である。（ｂ）は、（ａ）に示した雨滴画像領域に対応した次の撮像画像における雨滴画像領域内を拡大した拡大図である。
【発明を実施するための形態】
【０００９】
以下、本発明に係る撮像装置を、車載機器制御システムに用いる一実施形態について説明する。
なお、本発明に係る撮像装置は、車載機器制御システムに限らず、例えば、撮像画像に基づいて物体検出を行う物体検出装置を搭載したその他のシステムにも適用できる。
【００１０】
図１は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、自動車などの自車両１００に搭載された撮像装置で撮像した自車両進行方向前方領域（撮像領域）の撮像画像データを利用して、ヘッドランプの配光制御、ワイパーの駆動制御、その他の車載機器の制御を行うものである。
【００１１】
本実施形態の車載機器制御システムに設けられる撮像装置は、撮像ユニット１０１に設けられており、走行する自車両１００の進行方向前方領域を撮像領域として撮像するものであり、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像装置で撮像された撮像画像データは、画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像装置から送信されてくる撮像画像データを解析し、撮像画像データに自車両１００の前方に存在する他車両の位置、方角、距離を算出したり、フロントガラス１０５に付着する雨滴や異物などの付着物を検出したり、撮像領域内に存在する路面上の白線（区画線）等の検出対象物を検出したりする。他車両の検出では、他車両のテールランプを識別することで自車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両１００とは反対方向へ進行する対向車両を検出する。
【００１２】
画像解析ユニット１０２の算出結果は、ヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した距離データから、自車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。
【００１３】
画像解析ユニット１０２の算出結果は、ワイパー制御ユニット１０６にも送られる。ワイパー制御ユニット１０６は、ワイパー１０７を制御して、自車両１００のフロントガラス１０５に付着した雨滴や異物などの付着物を除去する。ワイパー制御ユニット１０６は、画像解析ユニット１０２が検出した異物検出結果を受けて、ワイパー１０７を制御する制御信号を生成する。ワイパー制御ユニット１０６により生成された制御信号がワイパー１０７に送られると、自車両１００の運転者の視界を確保するべく、ワイパー１０７を稼動させる。
【００１４】
また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した白線検出結果に基づいて、白線によって区画されている車線領域から自車両１００が外れている場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
【００１５】
図２は、撮像ユニット１０１の概略構成を示す模式図である。
図３は、撮像ユニット１０１に設けられる撮像装置２００の概略構成を示す説明図である。
撮像ユニット１０１は、撮像装置２００と、光源２０２と、これらを収容する撮像ケース２０１とから構成されている。撮像ユニット１０１は自車両１００のフロントガラス１０５の内壁面側に設置される。撮像装置２００は、図３に示すように、撮像レンズ２０４と、光学フィルタ２０５と、画像センサ２０６とから構成されている。光源２０２は、フロントガラス１０５に向けて光を照射し、その光がフロントガラス１０５の外壁面で反射したときにその反射光が撮像装置２００へ入射するように配置されている。
【００１６】
本実施形態において、光源２０２は、フロントガラス１０５の外壁面に付着した付着物（以下、付着物が雨滴である場合を例に挙げて説明する。）を検出するためのものである。フロントガラス１０５の外壁面に雨滴２０３が付着していない場合、光源２０２から照射された光は、フロントガラス１０５の外壁面と外気との界面で反射し、その反射光が撮像装置２００へ入射する。一方、図２に示すように、フロントガラス１０５の外壁面に雨滴２０３が付着している場合、フロントガラス１０５の外壁面と雨滴２０３との間における屈折率差は、フロントガラス１０５の外壁面と外気との間の屈折率差よりも小さくなる。そのため、光源２０２から照射された光は、その界面を透過し、撮像装置２００には入射しない。この違いによって、撮像装置２００の撮像画像データから、フロントガラス１０５に付着する雨滴２０３の検出を行う。
【００１７】
また、本実施形態において、撮像ユニット１０１は、図２に示すとおり、撮像装置２００や光源２０２を、フロントガラス１０５とともに撮像ケース２０１で覆っている。このように撮像ケース２０１で覆うことにより、フロントガラス１０５の内壁面が曇るような状況であっても、撮像ユニット１０１で覆われたフロントガラス１０５が曇ってしまう事態を抑制できる。よって、フロントガラスの曇りによって画像解析ユニット１０２が誤解析するような事態を抑制でき、画像解析ユニット１０２の解析結果に基づく各種制御動作を適切に行うことができる。
【００１８】
ただし、フロントガラス１０５の曇りを撮像装置２００の撮像画像データから検出して、例えば自車両１００の空調設備を制御する場合には、撮像装置２００に対向するフロントガラス１０５の部分が他の部分と同じ状況となるように、撮像ケース２０１の一部に空気の流れる通路を形成してもよい。
【００１９】
ここで、本実施形態では、撮像レンズ２０４の焦点位置は、無限遠又は無限遠とフロントガラス１０５との間に設定している。これにより、フロントガラス１０５上に付着した雨滴２０３の検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像装置２００の撮像画像データから適切な情報を取得することができる。
【００２０】
例えば、フロントガラス１０５上に付着した雨滴２０３の検出を行う場合、撮像画像データ上の雨滴画像の形状は円形状であることが多いので、撮像画像データ上の雨滴候補画像が円形状であるかどうかを判断してその雨滴候補画像が雨滴画像であると識別する形状認識処理を行う。このような形状認識処理を行う場合、フロントガラス１０５の外壁面上の雨滴２０３に撮像レンズ２０４の焦点が合っているよりも、上述したように無限遠又は無限遠とフロントガラス１０５との間に焦点が合っている方が、多少ピンボケして、雨滴の形状認識率（円形状）が高くなり、雨滴検出性能が高い。
【００２１】
図４は、フロントガラス１０５の外壁面上の雨滴２０３に撮像レンズ２０４の焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。
図５は、無限遠に焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。
フロントガラス１０５の外壁面上の雨滴２０３に撮像レンズ２０４の焦点が合っている場合、図４に示すように、雨滴に映り込んだ背景画像２０３ａまでが撮像される。このような背景画像２０３ａは雨滴２０３の誤検出の原因となる。また、図４に示すように雨滴の一部２０３ｂだけ弓状等に輝度が大きくなる場合があり、その大輝度部分の形状すなわち雨滴画像の形状は太陽光の方向や街灯の位置などによって変化する。このような種々変化する雨滴画像の形状を形状認識処理で対応するためには処理負荷が大きく、また認識精度の低下を招く。
【００２２】
これに対し、無限遠に焦点が合っている場合には、図５に示すように、多少のピンボケが発生する。そのため、背景画像２０３ａの映り込みが撮像画像データに反映されず、雨滴２０３の誤検出が軽減される。また、多少のピンボケが発生することで、太陽光の方向や街灯の位置などによって雨滴画像の形状が変化する度合いが小さくなり。雨滴画像の形状は常に略円形状となる。よって、雨滴２０３の形状認識処理の負荷が小さく、また認識精度も高い。
【００２３】
ただし、無限遠に焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、画像センサ２０６上のテールランプの光を受光する受光素子が１個程度になることがある。この場合、詳しくは後述するが、テールランプの光がテールランプ色（赤色）を受光する赤色用受光素子に受光されないおそれがあり、その際にはテールランプを認識できず、先行車両の検出ができない。このような不具合を回避しようとする場合には、撮像レンズ２０４の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する受光素子の数を増やすことができ、テールランプの認識精度が上がり先行車両の検出精度が向上する。
【００２４】
撮像ユニット１０１の光源２０２には、発光ダイオード（ＬＥＤ）や半導体レーザ（ＬＤ）などを用いることができる。また、光源２０２の発光波長は、例えば可視光や赤外光を用いることができる。ただし、光源２０２の光で対向車両の運転者や歩行者等を眩惑するのを回避する場合には、可視光よりも波長が長くて画像センサ２０６の受光感度がおよぶ範囲の波長、例えば８００ｎｍ以上１０００ｎｍ以下の赤外光領域の波長を選択するのが好ましい。本実施形態の光源２０２は、赤外光領域の波長を有する光を照射するものである。
【００２５】
ここで、フロントガラス１０５で反射した光源２０２からの赤外波長光を撮像装置２００で撮像する際、撮像装置２００の画像センサ２０６では、光源２０２からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源２０２からの赤外波長光をこのような大光量の外乱光と区別するためには、光源２０２の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源２０２を用いることは困難である場合が多い。
【００２６】
そこで、本実施形態においては、例えば、図６に示すように光源２０２の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、図７に示すように透過率のピークが光源２０２の発光波長とほぼ一致したバンドパスフィルタを介して、光源２０２からの光を画像センサ２０６で受光するように構成する。これにより、光源２０２の発光波長以外の光を除去して受光できるので、画像センサ２０６で受光される光源２０２からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源２０２でなくても、光源２０２からの光を外乱交と区別することが可能となる。
【００２７】
ただし、本実施形態においては、撮像画像データから、フロントガラス１０５上の雨滴２０３を検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源２０２が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を画像センサ２０６で受光できず、これらの検出に支障をきたす。そこで、本実施形態では、撮像画像データの画像領域を、フロントガラス１０５上の雨滴２０３を検出するための雨滴検出用画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両検出用画像領域とに区分し、雨滴検出用画像領域に対応する部分についてのみ光源２０２が照射する赤外波長光以外の波長帯を除去するフィルタを、光学フィルタ２０５に配置している。
【００２８】
図８は、光学フィルタ２０５に設けられる前段フィルタ２１０の正面図である。
図９は、撮像画像データの画像例を示す説明図である。
本実施形態の光学フィルタ２０５は、図３に示したように、前段フィルタ２１０と後段フィルタ２２０とを光透過方向に重ね合わせた構造となっている。前段フィルタ２１０は、図８に示すように、車両検出用画像領域２１３である撮像画像上部２／３に対応する箇所に配置される赤外光カットフィルタ領域２１１と、雨滴検出用画像領域２１４である撮像画像下部１／３に対応する箇所に配置される赤外光透過フィルタ領域２１２とに、領域分割されている。赤外光透過フィルタ領域２１２には、図６に示したカットフィルタや図７に示したバンドパスフィルタを用いる。
【００２９】
対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の画像は、主に撮像画像上部に存在することが多く、撮像画像下部には自車両前方の直近路面の画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別に必要な情報は撮像画像上部に集中しており、その識別において撮像画像下部の情報はあまり重要でない。よって、単一の撮像画像データから、対向車両や先行車両あるいは白線の検出と雨滴の検出とを両立して行う場合には、図９に示すように、撮像画像下部を雨滴検出用画像領域２１４とし、残りの撮像画像上部を車両検出用画像領域２１３とし、これに対応して前段フィルタ２１０を領域分割するのが好適である。
【００３０】
撮像装置２００の撮像方向を下方へ傾けていくと、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態では、撮像画像下部に対応する箇所に図６に示したカットフィルタや図７に示したバンドパスフィルタが配置されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。
【００３１】
なお、本実施形態では、撮像レンズ２０４の特性により、撮像領域内の光景と画像センサ２０６上の像とでは天地が逆になる。よって、撮像画像下部を雨滴検出用画像領域２１４とする場合には、光学フィルタ２０５の前段フィルタ２１０の上部を図６に示したカットフィルタや図７に示したバンドパスフィルタで構成することになる。
【００３２】
ここで、先行車両を検出する際には、撮像画像上のテールランプを識別することで先行車両の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、また街灯などの外乱光も多く存在するため、単なる輝度データのみからテールランプを高精度に検出するのは困難である。そのため、テールランプの識別には分光情報を利用し、赤色光の受光量に基づいてテールランプを識別することが必要となる。そこで、本実施形態では、後述するように、光学フィルタ２０５の後段フィルタ２２０に、テールランプの色に合わせた赤色フィルタあるいはシアンフィルタ（テールランプの色の波長帯のみを透過させるフィルタ）を配置し、赤色光の受光量を検知できるようにしている。
【００３３】
ただし、本実施形態の画像センサ２０６を構成する各受光素子は、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を画像センサ２０６で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなってしまう。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。そこで、本実施形態では、光学フィルタ２０５の前段フィルタ２１０において、車両検出用画像領域２１３に対応する箇所を赤外光カットフィルタ領域２１１としている。これにより、テールランプの識別に用いる撮像画像データ部分から赤外波長帯が除外されるので、テールランプの識別精度が向上する。
【００３４】
図１０は、本実施形態における撮像装置２００の詳細を示す説明図である。
この撮像装置２００は、主に、撮像レンズ２０４と、光学フィルタ２０５と、２次元配置された画素アレイを有する画像センサ２０６を含んだセンサ基板２０７と、センサ基板２０７から出力されるアナログ電気信号（画像センサ２０６上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部２０８とから構成されている。被写体（検出対象物）を含む撮像領域からの光は、撮像レンズ２０４を通り、光学フィルタ２０５を透過して、画像センサ２０６でその光強度に応じた電気信号に変換される。信号処理部２０８では、画像センサ２０６から出力される電気信号（アナログ信号）が入力されると、その電気信号から、撮像画像データとして、画像センサ２０６上における各画素の明るさ（輝度）を示すデジタル信号を、画像の水平・垂直同期信号とともに後段のユニットへ出力する。
【００３５】
図１１は、光学フィルタ２０５と画像センサ２０６とを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ２０６は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その受光素子にはフォトダイオード２０６Ａを用いている。フォトダイオード２０６Ａは、画素ごとに２次元的にアレイ配置されており、フォトダイオード２０６Ａの集光効率を上げるために、各フォトダイオード２０６Ａの入射側にはマイクロレンズ２０６Ｂが設けられている。この画像センサ２０６がワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板２０７が形成されている。
【００３６】
画像センサ２０６のマイクロレンズ２０６Ｂ側の面には、光学フィルタ２０５が近接配置されている。光学フィルタ２０５の後段フィルタ２２０は、図１１に示すように、透明なフィルタ基板２２１上に偏光フィルタ層２２２と分光フィルタ層２２３を順次形成して積層構造としたものである。偏光フィルタ層２２２と分光フィルタ層２２３は、いずれも、画像センサ２０６上における１つのフォトダイオード２０６Ａに対応するように領域分割されている。
【００３７】
光学フィルタ２０５と画像センサ２０６との間に空隙がある構成としてもよいが、光学フィルタ２０５を画像センサ２０６に密着させる構成とした方が、光学フィルタ２０５の偏光フィルタ層２２２と分光フィルタ層２２３の各領域の境界と画像センサ２０６上のフォトダイオード２０６Ａ間の境界とを一致させやすくなる。光学フィルタ２０５と画像センサ２０６は、例えば、ＵＶ接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素外の四辺領域をＵＶ接着や熱圧着してもよい。
【００３８】
図１２は、本実施形態に係る光学フィルタ２０５の偏光フィルタ層２２２と分光フィルタ層２２３の領域分割パターンを示す説明図である。
偏光フィルタ層２２２と分光フィルタ層２２３は、それぞれ、第１領域及び第２領域という２種類の領域が、画像センサ２０６上の１つのフォトダイオード２０６Ａに対応して配置されたものである。これにより、画像センサ２０６上の各フォトダイオード２０６Ａによって受光される受光量は、受光する光が透過した偏光フィルタ層２２２と分光フィルタ層２２３の領域の種類に応じて、偏光情報や分光情報等として取得することができる。
【００３９】
なお、本実施形態では、画像センサ２０６はモノクロ画像用の撮像素子を前提にして説明するが、画像センサ２０６をカラー用撮像素子で構成してもよい。カラー用撮像素子で構成する場合、カラー用撮像素子の各撮像画素に付属するカラーフィルタの特性に応じて、偏光フィルタ層２２２と分光フィルタ層２２３の各領域の光透過特性を調整してやればよい。
【００４０】
ここで、本実施形態における光学フィルタ２０５の一例について説明する。
図１３は、本実施形態における光学フィルタ２０５の層構成を模式的に示す断面図である。
本実施形態における光学フィルタ２０５の後段フィルタ２２０は、車両検出用画像領域２１３に対応する車両検出用フィルタ部２２０Ａと、雨滴検出用画像領域２１４に対応する雨滴検出用フィルタ部２２０Ｂとで、その層構成が異なっている。具体的には、車両検出用フィルタ部２２０Ａは分光フィルタ層２２３を備えているのに対し、雨滴検出用フィルタ部２２０Ｂは分光フィルタ層２２３を備えていない。また、車両検出用フィルタ部２２０Ａと雨滴検出用フィルタ部２２０Ｂとでは、その偏光フィルタ層２２２，２２５の構成が異なっている。
【００４１】
図１４は、本実施形態における光学フィルタ２０５の車両検出用フィルタ部２２０Ａを透過して画像センサ２０６上の各フォトダイオード２０６Ａで受光される受光量に対応した情報（各撮像画素の情報）の内容を示す説明図である。
図１５（ａ）は、図１４に示す符号Ａ−Ａで切断した光学フィルタ２０５の車両検出用フィルタ部２２０Ａ及び画像センサ２０６を模式的に表した断面図である。
図１５（ｂ）は、図１４に示す符号Ｂ−Ｂで切断した光学フィルタ２０５の車両検出用フィルタ部２２０Ａ及び画像センサ２０６を模式的に表した断面図である。
【００４２】
本実施形態における光学フィルタ２０５の車両検出用フィルタ部２２０Ａは、図１５（ａ）及び（ｂ）に示すように、透明なフィルタ基板２２１の上に偏光フィルタ層２２２を形成した後、その上に分光フィルタ層２２３を形成して積層構造としたものである。そして、偏光フィルタ層２２２は、ワイヤーグリッド構造を有するものであり、その積層方向上面（図１５中下側面）は凹凸面となる。このような凹凸面上にそのまま分光フィルタ層２２３を形成しようとすると、分光フィルタ層２２３がその凹凸面に沿って形成され、分光フィルタ層２２３の層厚ムラが生じて本来の分光性能が得られない場合がある。そこで、本実施形態の光学フィルタ２０５は、偏光フィルタ層２２２の積層方向上面側を充填材で充填して平坦化した後、その上に分光フィルタ層２２３を形成している。
【００４３】
充填材としては、この充填材によって凹凸面が平坦化される偏光フィルタ層２２２の機能を妨げない材料であればよいので、本実施形態では偏光機能を有しない材料のものを用いる。また、充填材による平坦化処理は、例えば、スピンオングラス法によって充填材を塗布する方法が好適に採用できるが、これに限られるものではない。
【００４４】
本実施形態において、偏光フィルタ層２２２の第１領域は、画像センサ２０６の撮像画素の縦列（鉛直方向）に平行に振動する鉛直偏光成分のみを選択して透過させる鉛直偏光領域であり、偏光フィルタ層２２２の第２領域は、画像センサ２０６の撮像画素の横列（水平方向）に平行に振動する水平偏光成分のみを選択して透過させる水平偏光領域である。
また、分光フィルタ層２２３の第１領域は、偏光フィルタ層２２２を透過可能な使用波長帯域に含まれる赤色波長帯（特定波長帯）の光のみを選択して透過させる赤色分光領域であり、分光フィルタ層２２３の第２領域は、波長選択を行わずに光を透過させる非分光領域である。そして、本実施形態においては、図１４に一点鎖線で囲ったように、隣接する縦２つ横２つの合計４つの撮像画素（符号ａ、ｂ、ｅ、ｆの４撮像画素）によって撮像画像データの１画像画素が構成される。
【００４５】
図１４に示す撮像画素ａでは、光学フィルタ２０５の偏光フィルタ層２２２における鉛直偏光領域（第１領域）と分光フィルタ層２２３の赤色分光領域（第１領域）を透過した光が受光される。したがって、撮像画素ａは、鉛直偏光成分（図１４中符号Ｐで示す。）の赤色波長帯（図１４中符号Ｒで示す。）の光Ｐ／Ｒを受光することになる。
また、図１４に示す撮像画素ｂでは、光学フィルタ２０５の偏光フィルタ層２２２における鉛直偏光領域（第１領域）と分光フィルタ層２２３の非分光領域（第２領域）を透過した光が受光される。したがって、撮像画素ｂは、鉛直偏光成分Ｐにおける非分光（図１４中符号Ｃで示す。）の光Ｐ／Ｃを受光することになる。
また、図１４に示す撮像画素ｅでは、光学フィルタ２０５の偏光フィルタ層２２２における水平偏光領域（第２領域）と分光フィルタ層２２３の非分光領域（第２領域）を透過した光が受光される。したがって、撮像画素ｅは、水平偏光成分（図１４中符号Ｓで示す。）における非分光Ｃの光Ｓ／Ｃを受光することになる。
図１４に示す撮像画素ｆでは、光学フィルタ２０５の偏光フィルタ層２２２における鉛直偏光領域（第１領域）と分光フィルタ層２２３の赤色分光領域（第１領域）を透過した光が受光される。したがって、撮像画素ｆは、撮像画素ａと同様、鉛直偏光成分Ｐにおける赤色波長帯Ｒの光Ｐ／Ｒを受光することになる。
【００４６】
以上の構成により、本実施形態によれば、撮像画素ａおよび撮像画素ｆの出力信号から赤色光の鉛直偏光成分画像についての一画像画素が得られ、撮像画素ｂの出力信号から非分光の鉛直偏光成分画像についての一画像画素が得られ、撮像画素ｅの出力信号から非分光の水平偏光成分画像についての一画像画素が得られる。よって、本実施形態によれば、一度の撮像動作により、赤色光の鉛直偏光成分画像、非分光の鉛直偏光成分画像、非分光の水平偏光成分画像という３種類の撮像画像データを得ることができる。
【００４７】
なお、これらの撮像画像データでは、その画像画素の数が撮像画素数よりも少なくなるが、より高解像度の画像を得る際には一般に知られる画像補間技術を用いてもよい。例えば、より高い解像度である赤色光の鉛直偏光成分画像を得ようとする場合、撮像画素ａと撮像画素ｆに対応する画像画素についてはこれらの撮像画素ａ，ｆで受光した赤色光の鉛直偏光成分Ｐの情報をそのまま使用し、撮像画素ｂに対応する画像画素については、例えばその周囲を取り囲む撮像画素ａ，ｃ，ｆ，ｊの平均値を当該画像画素の赤色光の鉛直偏光成分の情報として使用する。
また、より高い解像度である非分光の水平偏光成分画像を得ようとする場合、撮像画素ｅに対応する画像画素についてはこの撮像画素ｅで受光した非分光の水平偏光成分Ｓの情報をそのまま使用し、撮像画素ａ，ｂ，ｆに対応する画像画素については、その周囲で非分光の水平偏光成分を受光する撮像画素ｅや撮像画素ｇなどの平均値を使用したり、撮像画素ｅと同じ値を使用したりしてもよい。
【００４８】
このようにして得られる赤色光の鉛直偏光成分画像は、例えば、テールランプの識別に使用することができる。赤色光の鉛直偏光成分画像は、水平偏光成分Ｓがカットされているので、路面に反射した赤色光や自車両１００の室内におけるダッシュボードなどからの赤色光（映りこみ光）等のように水平偏光成分Ｓの強い赤色光による外乱要因が抑制された赤色画像を得ることができる。よって、赤色光の鉛直偏光成分画像をテールランプの識別に使用することで、テールランプの認識率が向上する。
【００４９】
また、非分光の鉛直偏光成分画像は、例えば、白線や対向車両のヘッドランプの識別に使用することができる。非分光の水平偏光成分画像は、水平偏光成分Ｓがカットされているので、路面に反射したヘッドランプや街灯等の白色光や自車両１００の室内におけるダッシュボードなどからの白色光（映りこみ光）等のように水平偏光成分Ｓの強い白色光による外乱要因が抑制された非分光画像を得ることができる。よって、非分光の鉛直偏光成分画像を白線や対向車両のヘッドランプの識別に使用することで、その認識率が向上する。特に、雨路において、路面を覆った水面からの反射光は水平偏光成分Ｓが多いことが一般に知られている。よって、非分光の鉛直偏光成分画像を白線の識別に使用することで、雨路における水面下の白線を適切に識別することが可能となり、認識率が向上する。
【００５０】
また、非分光の鉛直偏光成分画像と非分光の水平偏光成分画像との間で各画素値を比較した指標値を画素値とした比較画像を用いれば、後述するように、撮像領域内の金属物体、路面の乾湿状態、撮像領域内の立体物、雨路における白線の高精度な識別が可能となる。ここで用いる比較画像としては、例えば、非分光の鉛直偏光成分画像と非分光の水平偏光成分画像との間の画素値の差分値を画素値とした差分画像、これらの画像間の画素値の比率を画素値とした比率画像、あるいは、これらの画像間の画素値の合計に対するこれらの画像間の画素値の差分値の比率（差分偏光度）を画素値とした差分偏光度画像などを使用することができる。
【００５１】
図１６は、本実施形態における光学フィルタ２０５の雨滴検出用フィルタ部２２０Ｂを透過して画像センサ２０６上の各フォトダイオード２０６Ａで受光される受光量に対応した情報（各撮像画素の情報）の内容を示す説明図である。
図１７（ａ）は、図１６に示す符号Ａ−Ａで切断した光学フィルタ２０５の雨滴検出用フィルタ部２２０Ｂ及び画像センサ２０６を模式的に表した断面図である。
図１７（ｂ）は、図１６に示す符号Ｂ−Ｂで切断した光学フィルタ２０５の雨滴検出用フィルタ部２２０Ｂ及び画像センサ２０６を模式的に表した断面図である。
【００５２】
本実施形態における光学フィルタ２０５の雨滴検出用フィルタ部２２０Ｂは、図１７（ａ）及び（ｂ）に示すように、上記車両検出用フィルタ部２２０Ａと共通のフィルタ基板２２１の上にワイヤーグリッド構造の偏光フィルタ層２２５が形成されている。この偏光フィルタ層２２５は、上記車両検出用フィルタ部２２０Ａの偏光フィルタ層２２２とともに、積層方向上面側が充填材によって充填されて平坦化されている。ただし、雨滴検出用フィルタ部２２０Ｂは、上記車両検出用フィルタ部２２０Ａとは異なり、分光フィルタ層２２３は積層されていない。
【００５３】
本実施形態においては、自車両１００の室内側の風景がフロントガラス１０５の内壁面に映り込むことがある。この映り込みは、フロントガラス１０５の内壁面で正反射した光によるものである。この映り込みは、正反射光であるのでその光強度が比較的大きい外乱光である。よって、この映り込みが雨滴と一緒に雨滴検出用画像領域２１４に映し出されると、雨滴の検出精度が低下する。また、光源２０２からの光がフロントガラス１０５の内壁面で正反射した正反射光も、雨滴と一緒に雨滴検出用画像領域２１４に映し出されると、外乱光となって雨滴の検出精度を低下させる。
【００５４】
このような雨滴の検出精度を低下させる外乱光は、フロントガラス１０５の内壁面で正反射した正反射光であるので、その偏光成分のほとんどは光源入射面に対して偏光方向が垂直な偏光成分、すなわち、画像センサ２０６の撮像画素の横列（水平方向）に平行に振動する水平偏光成分Ｓである。そこで、本実施形態の光学フィルタ２０５の雨滴検出用フィルタ部２２０Ｂにおける偏光フィルタ層２２５は、フロントガラス１０５に向かう光源２０２からの光の光軸と撮像レンズ２０４の光軸とを含む仮想面（光源入射面）に対して偏光方向が平行である偏光成分、すなわち、画像センサ２０６の撮像画素の縦列（鉛直方向）に平行に振動する鉛直偏光成分Ｐのみを透過するように透過軸が設定されている。
【００５５】
これにより、雨滴検出用フィルタ部２２０Ｂの偏光フィルタ層２２５を透過する光は、鉛直偏光成分Ｐのみとなり、フロントガラス１０５の内壁面の映り込みや、フロントガラス１０５の内壁面で正反射した光源２０２からの正反射光などの外乱光の大部分を占める水平偏光成分Ｓをカットすることができる。その結果、雨滴検出用画像領域２１４は、外乱光による影響の少ない鉛直偏光成分Ｐによる鉛直偏光画像となり、その雨滴検出用画像領域２１４の撮像画像データに基づく雨滴の検出精度が向上する。
【００５６】
本実施形態では、前段フィルタ２１０を構成する赤外光カットフィルタ領域２１１と赤外光透過フィルタ領域２１２とが、それぞれ層構成の異なる多層膜によって形成されている。このような前段フィルタ２１０の製造方法としては、赤外光カットフィルタ領域２１１の部分をマスクで隠しながら赤外光透過フィルタ領域２１２の部分を真空蒸着などにより成膜した後、今度は赤外光透過フィルタ領域２１２の部分をマスクで隠しながら赤外光カットフィルタ領域２１１の部分を真空蒸着などにより成膜するという方法が挙げられる。
【００５７】
また、本実施形態において、車両検出用フィルタ部２２０Ａの偏光フィルタ層２２２と、雨滴検出用フィルタ部２２０Ｂの偏光フィルタ層２２５とは、いずれも、２次元方向に領域分割されたワイヤーグリッド構造であるが、前者の偏光フィルタ層２２２は透過軸が互いに直交する２種類の領域（鉛直偏光領域及び水平偏光領域）が撮像画素単位で領域分割されたものであり、後者の偏光フィルタ層２２５は鉛直偏光成分Ｐのみを透過させる透過軸をもつ１種類の領域が撮像画素単位で領域分割されたものである。このような異なる構成をもつ偏光フィルタ層２２２，２２５を同一のフィルタ基板２２１上に形成する場合、例えば、ワイヤーグリッド構造の金属ワイヤーのパターニングを行うテンプレート（型に相当するもの）の溝方向の調整により、各領域の金属ワイヤーの長手方向の調整は容易である。
【００５８】
なお、本実施形態では、赤外光カットフィルタ領域２１１を光学フィルタ２０５に設けず、例えば、撮像レンズ２０４に赤外光カットフィルタ領域２１１を設けてもよい。この場合、光学フィルタ２０５の作製が容易となる。
また、赤外光カットフィルタ領域２１１に代えて、後段フィルタ２２０の雨滴検出用フィルタ部２２０Ｂに鉛直偏光成分Ｐのみを透過させる分光フィルタ層を形成してもよい。この場合、前段フィルタ２１０には赤外光カットフィルタ領域２１１を形成する必要はない。
【００５９】
図１８は、雨滴検出に関わる各種光線についての説明図である。
光源２０２は、フロントガラス１０５の外壁面での正反射光が撮像レンズ２０４の光軸と略一致するように配置されている。
【００６０】
図１８中の光線Ａは、光源２０２から出射してフロントガラス１０５を通過する光線である。フロントガラス１０５の外壁面に雨滴２０３が付着していない場合、光源２０２からフロントガラス１０５に向けて照射された光は、光線Ａのように、フロントガラス１０５を透過してそのまま自車両１００の外部に漏れ出る。そのため、光源２０２としては、その光が人間の目に当たることを考慮して、アイセーフ帯の波長・光量の光源を選択するのが好ましい。また、図１８に示すように、光源２０２からフロントガラス１０５に向けて照射された光が鉛直方向上方に向かうように構成すると、その光が人間の目に当たる可能性が少なくなるので、より好ましい。
【００６１】
図１８中の光線Ｂは、光源２０２からの出射光がフロントガラス１０５の内壁面で正反射して撮像装置２００へ入射する光線である。光源２０２からフロントガラス１０５へ向かう光の一部はフロントガラス１０５の内壁面で正反射する。この正反射光（光線Ｂ）の偏光成分は、一般に、その入射面に対して直交する方向（図１８の紙面に対して垂直な方向）に振動するＳ偏光成分（水平偏光成分Ｓ）が支配的であることが知られている。光源２０２から照射されてフロントガラス１０５の内壁面で正反射した正反射光（光線Ｂ）は、フロントガラス１０５の外壁面に付着する雨滴２０３の有無によって変動しないので、雨滴検出に不要な光であるばかりか、雨滴検出の検出精度を低下させる外乱光となる。本実施形態では、光線Ｂ（水平偏光成分Ｓ）が雨滴検出用フィルタ部２２０Ｂの偏光フィルタ層２２５によってカットされるので、この光線Ｂによって雨滴検出精度が低下することを抑制できる。
【００６２】
図１８中の光線Ｃは、光源２０２からの出射光がフロントガラス１０５の内壁面を透過し、その後、フロントガラス１０５の外壁面に付着する雨滴で反射して撮像装置２００へ入射する光線である。光源２０２からフロントガラス１０５へ向かう光の一部はフロントガラス１０５の内壁面を透過するが、その透過光は水平偏光成分Ｓよりも鉛直偏光成分Ｐの方が多い。そして、フロントガラス１０５の外壁面上に雨滴２０３が付着している場合、フロントガラス１０５の内壁面を透過した光は、上記光線Ａのように外部へ漏れ出ずに、雨滴内部で多重反射して撮像装置２００側に向けて再度フロントガラス１０５内を透過し、撮像装置２００に入射する。このとき、撮像装置２００の光学フィルタ２０５における前段フィルタ２１０の赤外光透過フィルタ領域２１２は、光源２０２の発光波長（赤外光）を透過させるように構成されているので、光線Ｃは赤外光透過フィルタ領域２１２を通過する。また、続く後段フィルタ２２０の雨滴検出用フィルタ部２２０Ｂの偏光フィルタ層２２５は、鉛直偏光成分Ｐを透過するようにワイヤーグリッド構造の金属ワイヤーの長手方向が形成されているため、光線Ｃは偏光フィルタ層２２５も透過する。よって、光線Ｃは、画像センサ２０６に到達し、その受光量によって雨滴の検出が行われる。
【００６３】
図１８中の光線Ｄは、フロントガラス１０５の外部からフロントガラス１０５を透過して撮像装置２００の雨滴検出用フィルタ部２２０Ｂに向かって入射してくる光線である。この光線Ｄも雨滴検出時の外乱光となり得るが、本実施形態では、その光線Ｄの大部分が、光学フィルタ２０５における前段フィルタ２１０の赤外光透過フィルタ領域２１２によってカットされる。よって、この光線Ｄによって雨滴検出精度が低下することも抑制できる。
【００６４】
図１８中の光線Ｅは、フロントガラス１０５の外部からフロントガラス１０５を透過して撮像装置２００の車両検出用フィルタ部２２０Ａに向かって入射してくる光線である。この光線Ｅは、光学フィルタ２０５における前段フィルタ２１０の赤外光カットフィルタ領域２１１によって赤外光帯域がカットされ、可視域の光のみが撮像される。この撮像画像は、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の検出などに利用される。
【００６５】
なお、本実施形態では、光源２０２が１つである場合について説明したが、光源２０２は複数配置してもよい。その場合、雨滴検出用フィルタ部２２０Ｂの偏光フィルタ層２２５は、その透過軸方向が互いに異なる複数の偏光フィルタ領域を、撮像素子単位で、撮像画素の２次元配列方向へ繰り返されるように領域分割したものを用いる。そして、各偏光フィルタ領域は、複数の光源２０２のうち当該偏光フィルタ領域への入射光量が最も多い光源からの光の光軸と撮像レンズ２０４の光軸とを含む仮想面に対して偏光方向が平行である偏光成分のみを透過するように透過軸を設定する。
【００６６】
また、光源２０２が１つである場合でも複数である場合でも、フロントガラス１０５の内壁面で正反射した外乱光を適切に除去できる偏光フィルタ層２２５の透過軸方向は、偏光フィルタ層２２５の各地点に入射してくる外乱光のフロントガラス内壁面上の反射地点に応じて変わる。自動車のフロントガラス１０５は、空力特性向上のために、前方に向かって下方へ傾斜しているだけでなく、左右方向において中央部から両端部に向けて後方へ大きく湾曲しているためである。このような場合、撮像画像の雨滴検出用画像領域２１４において、画像中央部では外乱光を適切にカットできても、画像端部では外乱光を適切にカットできないという事態が起こり得る。
【００６７】
図１９は、偏光フィルタ層２２５の各地点（ポイント１〜３）で、ワイヤーグリッド構造の金属ワイヤー長手方向が異なる例を示す説明図である。
このような構成とすることにより、撮像画像の雨滴検出用画像領域２１４の全域で外乱光を適切にカットすることが可能となる。
【００６８】
なお、本実施形態の光学フィルタ２０５は、図１４に示したように領域分割された偏光フィルタ層２２２及び分光フィルタ層２２３を有する後段フィルタ２２０が、前段フィルタ２１０よりも画像センサ２０６側に設けられているが、前段フィルタ２１０を後段フィルタ２２０よりも画像センサ２０６側に設けてもよい。
【００６９】
次に、本実施形態における先行車両及び対向車両の検出処理の流れについて説明する。
図２０は、本実施形態における車両検出処理の流れを示すフローチャートである。
本実施形態の車両検出処理では、撮像装置２００が撮像した画像データに対して画像処理を施し、検出対象物であると思われる画像領域を抽出する。そして、その画像領域に映し出されている光源体の種類が２種類の検出対象物のいずれであるかを識別することで、先行車両、対向車両の検出を行う。
【００７０】
まず、ステップＳ１では、撮像装置２００の画像センサ２０６によって撮像された自車両前方の画像データをメモリに取り込む。この画像データは、上述したように、画像センサ２０６の各撮像画素における輝度を示す信号を含む。次に、ステップＳ２では、自車両の挙動に関する情報を図示しない車両挙動センサから取り込む。
【００７１】
ステップＳ３では、メモリに取り込まれた画像データから検出対象物（先行車両のテールランプ及び対向車両のベッドランプ）であると思われる輝度の高い画像領域（高輝度画像領域）を抽出する。この高輝度画像領域は、画像データにおいて、所定の閾値輝度よりも高い輝度を有する明るい領域となり、複数存在する場合が多いが、それらのすべてを抽出する。よって、この段階では、雨路面からの照り返し光を映し出す画像領域も、高輝度画像領域として抽出される。
【００７２】
高輝度画像領域抽出処理では、まず、ステップＳ３１において、画像センサ２０６上の各撮像画素の輝度値を所定の閾値輝度と比較することにより２値化処理を行う。具体的には、所定の閾値輝度以上の輝度を有する画素に「１」、そうでない画素に「０」を割り振ることで、２値化画像を作成する。次に、ステップＳ３２において、この２値化画像において、「１」が割り振られた画素が近接している場合には、それらを１つの高輝度画像領域として認識するラベリング処理を実施する。これによって、輝度値の高い近接した複数の画素の集合が、１つの高輝度画像領域として抽出される。
【００７３】
上述した高輝度画像領域抽出処理の後に実行されるステップＳ４では、抽出された各高輝度画像領域に対応する撮像領域内の物体と自車両との距離を算出する。この距離算出処理では、車両のランプは左右１対のペアランプであることを利用して距離を検出するペアランプ距離算出処理と、遠距離になるとペアランプを構成する左右のランプを区別して認識できなくなって当該ペアランプが単一ランプとして認識される場合の単一ランプ距離算出処理とを実行する。
【００７４】
まず、ペアランプ距離算出処理のために、ステップＳ４１では、ランプのペアを作成する処理であるペアランプ作成処理を行う。ペアとなる左右一対のランプは、撮像装置２００が撮像した画像データにおいて、近接しつつほぼ同じ高さとなる位置にあり、高輝度画像領域の面積がほぼ同じで、かつ高輝度画像領域の形が同じであるとの条件を満たす。したがって、このような条件を満たす高輝度画像領域同士をペアランプとする。ペアをとることのできない高輝度画像領域は単一ランプとみなされる。ペアランプが作成された場合には、ステップＳ４２のペアランプ距離算出処理によって、そのペアランプまでの距離を算出する。車両の左右ヘッドランプ間の距離及び左右テールランプ間の距離は、一定値ｗ０（例えば１．５ｍ程度）で近似することができる。一方、撮像装置２００における焦点距離ｆは既知であるため、撮像装置２００の画像センサ２０６上の左右ランプ距離ｗ１を算出することにより、ペアランプまでの実際の距離ｘは、単純な比例計算（ｘ＝ｆ・ｗ０／ｗ１）により求めることができる。なお、先行車両や対向車両までの距離検出は、レーザレーダやミリ波レーダなどの専用の距離センサを用いてもよい。
【００７５】
ステップＳ５では、鉛直偏光成分Ｐの赤色画像と鉛直偏光成分Ｐの白色画像との比率（赤色輝度比率）を分光情報として用い、この分光情報から、ペアランプとされた２つの高輝度画像領域が、ヘッドランプからの光によるものなのか、テールランプからの光によるものなのかを識別するランプ種類識別処理を行う。このランプ種類識別処理では、まずステップＳ５１において、ペアランプとされた高輝度画像領域について、画像センサ２０６上の撮像画素ａ，ｆに対応した画素データと画像センサ２０６上の撮像画素ｂに対応した画素データとの比率を画素値とした赤色比画像を作成する。そして、ステップＳ５２において、その赤色比画像の画素値を所定の閾値と比較し、所定の閾値以上である高輝度画像領域についてはテールランプからの光によるテールランプ画像領域であるとし、所定の閾値未満である高輝度画像領域についてはヘッドランプからの光によるヘッドランプ画像領域であるとするランプ種別処理を行う。
【００７６】
続いて、ステップＳ６では、テールランプ画像領域及びヘッドランプ画像領域として識別された各画像領域について、差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を偏光情報として用いて、テールランプ又はヘッドランプからの直接光か雨路面等の鏡面部で反射して受光された照り返し光かを識別する照り返し識別処理を行う。この照り返し識別処理では、まずステップＳ６１において、テールランプ画像領域について差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を算出し、その差分偏光度を画素値とした差分偏光度画像を作成する。また、同様に、ヘッドランプ画像領域についても差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を算出し、その差分偏光度を画素値とした差分偏光度画像を作成する。そして、ステップＳ６２において、それぞれの差分偏光度画像の画素値を所定の閾値と比較し、所定の閾値以上であるテールランプ画像領域及びヘッドランプ画像領域については、照り返し光によるものであると判断し、それらの画像領域は先行車両のテールランプを映し出したものではない又は対向車両のヘッドランプを映し出したものではないとして、除外する処理を行う。この除外処理を行った後に残るテールランプ画像領域及びヘッドランプ画像領域は、先行車両のテールランプを映し出したものである、あるいは、対向車両のヘッドランプを映し出したものであると識別される。
【００７７】
なお、レインセンサなどを車両に搭載しておき、当該レインセンサにより雨天時であることを確認した場合にのみ、上述した照り返し識別処理Ｓ６を実行するようにしてもよい。また、運転者（ドライバー）がワイパーを稼働している場合にのみ、上述した照り返し識別処理Ｓ６を実行するようにしてもよい。要するに、雨路面からの照り返しが想定される雨天時のみに上述した照り返し識別処理Ｓ６を実行するようにしてもよい。
【００７８】
以上のような車両検出処理により検出した先行車両及び対向車両の検出結果は、本実施形態では自車両の車載機器であるヘッドランプの配光制御に用いられる。具体的には、車両検出処理によりテールランプが検出されてその先行車両のバックミラーに自車両のヘッドランプ照明光が入射する距離範囲内に近づいた場合に、その先行車両に自車両のヘッドランプ照明光が当たらないように、自車両のヘッドランプの一部を遮光したり、自車両のヘッドランプの光照射方向を上下方向又は左右方向へずらしたりする制御を行う。また、車両検出処理によりベッドランプが検出されて、その対向車両の運転者に自車両のヘッドランプ照明光が当たる距離範囲内に近づいた場合に、その対向車両に自車両のヘッドランプ照明光が当たらないように、自車両のヘッドランプの一部を遮光したり、自車両のヘッドランプの光照射方向を上下方向又は左右方向へずらしたりする制御を行う。
【００７９】
〔白線検出処理〕
以下、本実施形態における白線検出処理について説明する。
本実施形態では、自車両が走行可能領域から逸脱するのを防止する目的で、検出対象物としての白線（区画線）を検出する処理を行う。ここでいう白線とは、実線、破線、点線、二重線等の道路を区画するあらゆる白線を含む。なお、黄色線等の白色以外の色の区画線などについても同様に検出可能である。
【００８０】
本実施形態における白線検出処理では、撮像ユニット１０１から取得することができる情報のうち、白色成分（非分光）の鉛直偏光成分Ｐの偏光情報を用いる。なお、この白色成分の鉛直偏光成分にシアン光の鉛直偏光成分を含めても良い。一般に、白線やアスファルト面は、可視光領域においてフラットな分光輝度特性を有することが知られている。一方、シアン光は可視光領域内の広帯域を含んでいるため、アスファルトや白線を撮像するには好適である。よって、上記構成例２における光学フィルタ２０５を用い、白色成分の鉛直偏光成分にシアン光の鉛直偏光成分を含めることで、使用する撮像画素数が増えるため、結果的に解像度が上がり、遠方の白線も検出することが可能となる。
【００８１】
本実施形態の白線検出処理において、多くの道路では、黒色に近い色の路面上に白線が形成されており、白色成分（非分光）の鉛直偏光成分Ｐの画像において白線部分の輝度は路面上の他部分より十分に大きい。そのため、路面部分のうち輝度が所定値以上である部分を白線として判定することにより、白線を検出することができる。特に、本実施形態では、使用する白色成分（非分光）の鉛直偏光成分Ｐの画像は、水平偏光成分Ｓがカットされているので、雨路からの照り返し光などを抑制した画像を取得することが可能となる。よって、夜間における雨路などからヘッドランプの照り返し光等の外乱光を白線と誤認識することなく、白線検出を行うことが可能である。
【００８２】
また、本実施形態における白線検出処理において、撮像ユニット１０１から取得することができる情報のうち、白色成分（非分光）の水平偏光成分Ｓと鉛直偏光成分Ｐとの比較による偏光情報、例えば、白色成分（非分光）の水平偏光成分Ｓと鉛直偏光成分Ｐの差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を用いてもよい。白線からの反射光は、通常、拡散反射成分が支配的であるため、その反射光の鉛直偏光成分Ｐと水平偏光成分Ｓとはほぼ同等となり、差分偏光度はゼロに近い値を示す。一方、白線が形成されていないアスファルト面部分は、乾燥状態のときには、散乱反射成分が支配的となる特性を示し、その差分偏光度は正の値を示す。また、白線が形成されていないアスファルト面部分は、湿潤状態のときには、鏡面反射成分が支配的となり、その差分偏光度は更に大きな値を示す。したがって、得られた路面部分の偏光差分値が所定閾値よりも小さい部分を白線と判定することができる。
【００８３】
〔フロントガラス上の雨滴検出処理〕
以下、本実施形態における雨滴検出処理について説明する。
本実施形態では、ワイパー１０７の駆動制御やウォッシャー液の吐出制御を行う目的で、検出対象物としての雨滴を検出する処理を行う。なお、ここでは、フロントガラス上に付着した付着物が雨滴である場合を例に挙げて説明するが、鳥の糞、隣接車両からの跳ねてきた路面上の水しぶきなどの付着物についても同様である。
【００８４】
本実施形態における雨滴検出処理では、撮像ユニット１０１から取得することができる情報のうち、前段フィルタ２１０の赤外光透過フィルタ領域２１２及び後段フィルタ２２０の雨滴検出用フィルタ部２２０Ｂにおける偏光フィルタ層２２５を透過した光を受光する雨滴検出用画像領域２１４の鉛直偏光成分Ｐの偏光情報を用いる。
【００８５】
図２１は、ブリュースタ角での反射光の偏光状態を示す説明図である。
一般に、ガラスなどで平坦面に光が入射するとき、水平偏光成分Ｓの反射率は入射角に対して単調増加するのに対し、鉛直偏光成分Ｐの反射率は特定角度（ブリュースタ角θＢ）でゼロとなり、鉛直偏光成分Ｐは、図２１に示すように反射せずに透過光のみとなる。したがって、光源２０２が、鉛直偏光成分Ｐの光のみをブリュースタ角θＢの入射角をもって車両室内側からフロントガラス１０５に向けて照射するように構成することで、フロントガラス１０５の内壁面（室内側の面）での反射光は発生せず、フロントガラス１０５の外壁面（車外側の面）に鉛直偏光成分Ｐの光が照射される。フロントガラス１０５の内壁面での反射光が存在すると、その反射光が撮像装置２００への外乱光となり、雨滴検出率の低減要因となる。
【００８６】
光源２０２からフロントガラス１０５へ入射させる光を鉛直偏光成分Ｐのみとするためには、光源２０２として例えば発光ダイオード（ＬＥＤ）を用いる場合、その光源２０２とフロントガラス１０５との間に、鉛直偏光成分Ｐのみを透過させる偏光子を配置するのがよい。また、光源２０２として半導体レーザ（ＬＤ）を用いる場合、ＬＤは特定偏光成分の光のみを発光させることができるので、鉛直偏光成分Ｐのみの光がフロントガラス１０５に入射するようにＬＤの軸を合わせてもよい。
【００８７】
図２２（ａ）は、フロントガラス１０５の外壁面に雨滴が付着しているときの撮像画像を示す説明図である。
図２２（ｂ）は、フロントガラス１０５の外壁面に雨滴が付着していないときの撮像画像を示す説明図である。
図２２（ａ）及び（ｂ）の撮像画像は、図中下部の領域が雨滴検出用画像領域２１４であり、残りが車両検出用画像領域２１３である。雨滴検出用画像領域２１４には、雨滴が付着しているときは図２２（ａ）に示すように光源２０２からの光が映し出され、雨滴が付着していないときは図２２（ｂ）に示すように光源２０２からの光が映し出されない。したがって、この雨滴検出用画像領域２１４における雨滴画像の認識処理は、光源２０２からの光の受光量の閾値調整により容易に行うことができる。なお、閾値は固定値である必要はなく、撮像装置２００が搭載される自車両周辺の状況変化等に応じて適宜変更するようにしてもよい。例えば、撮像装置２００の露光調整情報などをもとに最適値を算出して、閾値を変更してもよい。
【００８８】
本実施形態においては、光学フィルタ２０５における前段フィルタ２１０の赤外光透過フィルタ領域２１２によって、フロントガラス１０５の外部からフロントガラス１０５を透過して撮像装置２００の雨滴検出用フィルタ部２２０Ｂに向かって入射してくる可視光等の赤外光以外の光がカットされる。これにより、フロントガラス１０５の外部から入射してくる外乱光が減り、そのような外乱光による雨滴検出精度の低下を抑制している。
さらに、本実施形態においては、雨滴検出用フィルタ部２２０Ｂの偏光フィルタ層２２５を透過する光は、鉛直偏光成分Ｐのみとなり、フロントガラス１０５の内壁面の映り込みや、フロントガラス１０５の内壁面で正反射した光源２０２からの正反射光などの外乱光の大部分を占める水平偏光成分Ｓもカットされる。これにより、そのような外乱光による雨滴検出精度の低下も抑制されている。
【００８９】
しかしながら、このようにして光学フィルタ２０５の赤外光透過フィルタ領域２１２や偏光フィルタ層２２５により外乱光をカットしても、フロントガラス１０５の外部から入射してくる赤外光などの外乱光によって雨滴検出精度が低下する場合がある。そこで、本実施形態では、光学フィルタ２０５ではカットできない外乱光と雨滴からの反射光とを区別するために、以下のような画像処理を実施する。
【００９０】
具体的な雨滴検出処理を説明する前に、本実施形態において、光学フィルタ２０５ではカットできない外乱光と雨滴からの反射光とを区別することができるメカニズムについて説明する。
図２３は、本実施形態における光源２０２の駆動周波数（光源周期）と、撮像装置２００が撮像画像を連続撮像するときの撮像周波数（撮像フレーム周期）との関係を示す説明図である。
本実施形態の光源２０２は、所定の駆動周波数（本実施形態では一例として１００Ｈｚであるとする。）で駆動し、この駆動周波数に応じて強弱する光が照射される。一方、本実施形態の撮像装置２００は、所定の撮像周波数（本実施形態では一例として３０Ｈｚであるとする。）で撮像画像を連続撮像し、その撮像周波数に対応する撮像フレーム周期（３３．３ｍｓ）ごとに１枚ずつ撮像画像を得ることができる。
【００９１】
本実施形態において、光源２０２の駆動周波数（以下「光源駆動周波数」という。）と撮像装置２００の撮像周波数との関係は、一方が他方の整数倍から外れるように設定されている。そのため、図２３に示すように、前回の撮像開始時と最新の撮像開始時とでは、光源２０２から照射される光の強度が異なる。その結果、光源２０２から照射される光の反射光は、同一地点（雨滴）で反射したものであっても、前回の撮像画像と最新の撮像画像との間で異なった受光量で撮像装置２００の画像センサに受光される。一方、光源２０２から照射された光ではない外乱光は、通常、光源２０２から照射される光のような短い周期で強弱する光ではない。そのため、このような外乱光は、前回の撮像画像と最新の撮像画像との間で、撮像装置２００の画像センサに受光される受光量に差がない。
【００９２】
したがって、このような雨滴からの反射光と外乱光との違いにより、これらを区別することができる。具体的には、前回の撮像画像と最新の撮像画像との間で受光量に違いがあれば、その画像領域は雨滴を映し出した領域であり、前回の撮像画像と最新の撮像画像との間で受光量に違いがない画像領域は、一定量の光を受光している領域であっても、雨滴を映し出していない領域であると判別できる。
【００９３】
ここで、本実施形態の撮像装置２００は、ローリングシャッタ方式を採用しており、画像センサ上の水平方向に延びる画像ライン単位で、所定の信号取得周波数で画像データを取得する。そのため、単一の撮像画像中において、雨滴を映し出した画像領域（光源２０２からの光が雨滴で反射した反射光を受光した領域）には、図２４（ｂ）に示すように、画像ラインの配列方向（鉛直方向）に、信号取得周波数と光源駆動周波数との違いによって生じるビートの周期で、受光量の強弱を表わす濃淡の縞模様が現れる。このとき、前回の撮像画像と最新の撮像画像との間で受光量の違いを判断する検出単位領域について、画像センサの撮像画素の縦列方向（鉛直方向）における長さ（画像ライン数）を、上述した縞模様の周期に対応した画像ライン数に一致するように設定した場合、前回の撮像画像と最新の撮像画像との間で検出単位領域内の受光量の総量あるいは平均値が同じとなる。この場合、前回の撮像画像と最新の撮像画像との間で受光量の違いを検出するための処理が複雑化する。よって、図２４（ｂ）に示すように、検出単位領域における撮像画素縦列方向の長さ（画像ライン数）が、縞模様の周期を画像ライン数に換算した値よりも小さくなるように、検出単位領域を設定するのが好ましい。
【００９４】
なお、ローリングシャッタ方式を採用した場合、上述したように、単一の撮像画像中に、信号取得周波数と光源駆動周波数との違いによって生じるビートの周期で、受光量の強弱を表わす濃淡の縞模様が現れる。よって、このビートを検出すれば、単一の撮像画像だけでも、雨滴を映し出している領域を判別することが可能である。
【００９５】
なお、本実施形態の撮像装置２００としては、ローリングシャッタ方式ではなく、図２５に示すようなグローバルシャッタ方式を採用してもよい。この場合、ローリングシャッタ方式のように単一撮像画像中に濃淡の縞模様が現れることはないが、光源駆動周波数と撮像周波数との関係が互いの整数倍から外れる設定であれば、図２６（ａ）及び（ｂ）に示すように、雨滴を映し出した画像領域（光源２０２からの光が雨滴で反射した反射光を受光した領域）では、前回の撮像画像と最新の撮像画像との間で受光量の違いが現れる。
【００９６】
図２７（ａ）は、光源駆動周波数が５０Ｈｚである場合に、連続撮影した撮像画像における雨滴を映し出した画像領域の画素値の平均値の変化を示すグラフである。
図２７（ｂ）は、光源駆動周波数が６０Ｈｚである場合に、連続撮影した撮像画像における雨滴を映し出した画像領域の画素値の平均値の変化を示すグラフである。
図２７（ｃ）は、光源駆動周波数が０Ｈｚである場合（すなわち、強弱のない光を照射した場合）に、連続撮影した撮像画像における雨滴を映し出した画像領域の画素値の平均値の変化を示すグラフである。
【００９７】
図２７（ａ）に示すように光源駆動周波数が５０Ｈｚである場合、撮像周波数（３０Ｈｚ）との差が比較的小さいので、画素値の平均値の変化周期が短い。一方、図２７（ｂ）に示すように光源駆動周波数が６０Ｈｚである場合、撮像周波数（３０Ｈｚ）との差が比較的大きいので、画素値の平均値の変化周期が長くなっている。比較データとして、図２７（ｃ）に示すように光源駆動周波数が０Ｈｚである場合すなわち強弱のない光を照射した場合には、画像上にビートが生じないので、画素値の平均値に変化が現れない。
【００９８】
以下、本実施形態における雨滴検出処理の内容について具体的に説明する。
図２８は、本実施形態における雨滴検出処理の流れを示すフローチャートである。
撮像ユニット１０１の撮像装置２００から撮像画像データが入力されると、画像解析ユニット１０２は、フレーム数データのカウント値を１つ加算した後（Ｓ７１）、付着物検出処理手段として機能して、雨滴検出用画像領域２１４を複数の領域に区分して得られる単位画像領域（検出単位領域）ごとに、その検出単位領域内の画素値の平均値（以下「画素平均値」という。）を算出する（Ｓ７２）。
【００９９】
画像解析ユニット１０２には、所定の撮像周波数（３０Ｈｚ）で連続撮像される雨滴検出用画像領域２１４の画像データが順次入力されてくる。画像解析ユニット１０２は、少なくとも最新の撮像画像（雨滴検出用画像領域２１４の画像）の画像データと、前回又はそれ以前に撮像された撮像画像の画像データとを、所定の画像メモリに記憶する。本実施形態では、図２９（ｂ）に示すような最新の撮像画像データと図２９（ａ）に示すような前回の撮像画像データとを画像メモリに記憶し、これらの撮像画像データ間で比較処理を行う。
【０１００】
具体的には、上記ステップＳ７２で算出した画素平均値について、検出単位領域ごとに、最新の撮像画像データと前回の撮像画像データとの間で差分値を算出する（Ｓ７３）。そして、検出単位領域ごとに算出した各差分値の累積値が所定の閾値を超えているか否かを判断し（Ｓ７４）、当該閾値を超えていると判断されたら雨滴付着画像数データのカウント値を１つ加算する（Ｓ７５）。当該閾値を超えていなと判断されたら雨滴付着画像数データのカウント値は加算しない。
【０１０１】
１０個の撮像画像データについて上述したステップＳ７１〜Ｓ７５の処理を繰り返し行い、フレーム数データのカウント値が１０に達したら（Ｓ７６のＹｅｓ）、次に、雨滴付着画像数データのカウント値が所定の雨滴検出閾値（本実施形態では一例として「８」であるとする。）を超えているか否かを判断する（Ｓ７７）。その結果、雨滴付着画像数データのカウント値が所定の雨滴検出閾値を超えていると判断した場合には、雨滴検出カウントデータのカウント値を１つ加算する（Ｓ７８）。その後、フレーム数データと雨滴付着画像数データのカウント値をゼロにリセットして（Ｓ７９）、次の雨滴検出処理に移行する。
【０１０２】
このように、本実施形態では、連続して撮像される１０枚の撮像画像単位で雨滴検出処理が繰り返し行われ、各雨滴検出処理での雨滴の有無の検出結果が雨滴検出カウントデータにカウントされていく。ワイパー制御ユニット１０６は、例えば、この雨滴検出カウントデータが所定の条件（連続して１０個カウントされた場合など）を満たしたときに、ワイパー１０７の駆動制御やウォッシャー液の吐出制御を行う。
【０１０３】
なお、雨滴検出カウントデータのカウント値がゼロの状態から１が加算された場合、撮像装置２００の撮像周波数を増やす制御を行ってもよい。これにより、雨滴が最初に検出されるまでは、撮像装置２００を相対的に低い撮像周波数で撮像させ、軽い処理負荷で継続処理させることができる。一方、雨滴が最初に検出されたときは、雨の降り始めである可能性が高く、その後は雨滴が付着する可能性が高い状況にあるといえる。よって、雨滴が最初に検出されてから撮像周波数を増やすことで、雨滴が付着する可能性が高い状況において、より短い時間でより多くの雨滴検出処理を繰り返すことができるようになり、雨滴の有無をより早期のうちに把握できるようになる。
【０１０４】
また、雨滴検出用画像領域２１４に雨滴画像領域が映し出されたときの画像センサからの画像データが飽和値を示している場合には、光源２０２の光照射強度を下げるように調整するのが好ましい。これにより、雨滴からの反射光の検出精度を落とすことなく、ノイズ成分を減らすことができ、雨滴の検出精度が向上する。
【０１０５】
本実施形態における雨滴検出処理の効果を確認するため、単に雨滴検出用画像領域２１４に所定の閾値を超える受光量が検出された画像領域を雨滴画像領域として検出するという比較例と比較した効果確認試験について説明する。
本効果確認試験は、フロントガラスに雨滴が付着している状態と雨滴が付着していない状態のそれぞれについて、実際に車道を走行して雨滴検出処理を行ったものである。この効果確認試験では、１０００枚の撮像画像を連続して撮像し、１０枚の撮像画像を一検出単位として、最大１００回の雨滴の有無を検出した。なお、比較例においては、１０枚の撮像画像中に８枚の撮像画像で閾値を超える受光量が検出されたときに雨滴が付着していると判断するようにしている。
【０１０６】
下記の表１は、対向車のヘッドランプからの外乱光がない昼間に行った効果確認試験の結果を示すものである。
表１からわかるように、本実施形態と比較例のいずれも、フロントガラスに雨滴が付着している状況では、１００回中１００回とも雨滴が付着していると検出できている。一方、フロントガラスに雨滴が付着していない状況を比較してみると、比較例は、１００回中５回誤検出しているのに対し、本実施形態では、１００回中１回しか誤検出していない。
【０１０７】
下記の表２は、対向車のヘッドランプからの外乱光が入射する夜間に行った効果確認試験の結果を示すものである。
表２からわかるように、本実施形態と比較例のいずれも、フロントガラスに雨滴が付着している状況では、１００回中１００回とも雨滴が付着していると検出できている。一方、フロントガラスに雨滴が付着していない状況を比較してみると、比較例は、１００回中８回誤検出しているのに対し、本実施形態では、１００回中２回しか誤検出していない。
【０１０８】
このように、本実施形態によれば、昼間でも、対向車のヘッドランプからの外乱光が入射する分だけ昼間よりも雨滴検出精度が落ちやすい夜間でも、比較例に対して高い雨滴検出精度を得ることができる。
【０１０９】
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
フロントガラス１０５等の透明部材に向けて光を照射する光源２０２と、上記光源から照射された光が上記透明部材に付着する雨滴等の付着物で反射した反射光を、受光素子２０６Ａが２次元配置された撮像画素アレイで構成された画像センサ２０６により受光し、該透明部材に付着する付着物の画像を所定の撮像周波数で連続撮像する撮像装置２００と、該撮像装置が撮像した画像に基づいて上記付着物を検出する画像解析ユニット１０２等の付着物検出処理手段とを有する付着物検出装置において、上記光源は、上記撮像周波数とは異なる駆動周波数で強弱する光を照射するものであり、上記撮像装置は、上記反射光を選択して透過させる光学フィルタ２０５を通じて上記反射光を上記画像センサで受光するものであり、上記付着物検出処理手段は、上記撮像周波数（３０Ｈｚ）と上記駆動周波数（１００Ｈｚ）との違いによって生じる画像上のビートを検出し、ビートが検出された画像領域を、付着物が映し出された付着物画像領域であると判別することを特徴とする。
これによれば、光源の駆動周波数と撮像装置の撮像周波数との相違によって、光源から照射されて付着物で反射した反射光の画像領域については撮像画像上でビート（うなり）が生じる。一方、光源から照射された光ではない外乱光は、一般に、光源から照射される光のような短い周期で強弱する光ではなく、撮像装置の撮像周波数との間でビートを発生させることはない。したがって、このような付着物からの反射光と外乱光との違いを利用して、付着物からの反射光を外乱光と高い精度で区別して識別することができる。
【０１１０】
（態様Ｂ）
上記態様Ａにおいて、上記駆動周波数及び上記撮像周波数の一方が他方の整数倍から外れるように設定されていることを特徴とする。
これによれば、安定してビートを生じさせることができる。
【０１１１】
（態様Ｃ）
上記態様Ａ又はＢにおいて、上記光源は、赤外光等の特定波長帯の光を照射するものであり、上記光学フィルタは、上記特定波長帯を選択して透過させる赤外光透過フィルタ領域２１２等の光学フィルタを含むことを特徴とする。
これによれば、付着物からの反射光の波長帯（光源が照射する特定波長帯）から外れた波長帯の外乱光を光学フィルタで事前にカットできるので、付着物からの反射光と外乱光との識別精度をより高めることができる。
【０１１２】
（態様Ｄ）
上記態様Ａ〜Ｃのいずれかの態様において、上記光学フィルタは、鉛直偏光成分Ｐ等の特定の偏光成分を選択して透過させる偏光フィルタ層２２５等の光学フィルタを含むことを特徴とする。
これによれば、フロントガラス１０５の内壁面の映り込みや、フロントガラス１０５の内壁面で正反射した光源からの正反射光などの外乱光の大部分を占める水平偏光成分Ｓを事前にカットすることができるので、付着物からの反射光と外乱光との識別精度をより高めることができる。
【０１１３】
（態様Ｅ）
上記態様Ａ〜Ｄのいずれかの態様において、上記付着物検出処理手段は、互いに異なる時期に撮像された複数の画像を比較して上記ビートを検出することを特徴とする。
これによれば、１枚の画像では上記ビートを精度よく検出できない場合であっても、当該複数の画像を比較することで、上記ビートを精度よく検出することができる。
【０１１４】
（態様Ｆ）
上記態様Ｅにおいて、上記付着物検出処理手段は、互いに異なる時期に撮像された複数の画像間の差分情報に基づいて上記ビートを検出することを特徴とする。
これによれば、簡易な演算処理で、上記ビートを精度よく検出することができる。
【０１１５】
（態様Ｇ）
上記態様Ｅ又はＦにおいて、上記撮像装置は、上記画像センサ上の１又は２以上の画像ライン単位で画像データを所定の信号取得周波数で取得して上記付着物の画像を撮像するローリングシャッタ方式を採用するものであり、上記付着物検出処理手段は、撮像画像を複数の領域に区分して得られる単位画像領域ごとに上記複数の画像間の画素値を比較することで上記ビートを検出するものであり、上記単位画像領域における上記画像ラインの配列方向の大きさを画像ライン数に換算した値が、上記信号取得周波数と上記駆動周波数との違いによって生じるビートの周期を画像ライン数に換算した値よりも小さく設定されていることを特徴とする。
これによれば、ローリングシャッタ方式を採用する撮像装置において、互いに異なる時期に撮像された複数の画像を比較する際、当該複数の画像間の差異を大きくとることができる。
【０１１６】
（態様Ｈ）
上記態様Ａ〜Ｇのいずれかの態様において、上記付着物検出処理手段により上記付着物が検出されない状況から該付着物が検出される状況へ変化したとき、上記撮像装置の撮像周波数を増やす制御を行う撮像周波数変更手段を有することを特徴とする。
これによれば、付着物が検出されない状況では、撮像装置を相対的に低い撮像周波数で撮像させることで処理負荷を軽減する一方、付着物が検出された後の状況では、より短い時間でより多くの雨滴検出処理を繰り返し、雨滴の有無をより早期のうちに把握することができる。
【０１１７】
（態様Ｉ）
上記態様Ａ〜Ｈのいずれかの態様において、上記付着物検出処理手段により上記付着物が検出されたときに、上記画像センサからの画像データが飽和値を示しているかどうかを判断し、その判断結果に基づいて上記光源の光照射強度を調整する光照射強度調整手段を有することを特徴とする。
これによれば、雨滴からの反射光の検出精度を落とすことなく、ノイズ成分を減らすことができ、雨滴の検出精度が向上する。
【０１１８】
（態様Ｊ）
光源から透明部材に向けて光を照射し、該透明部材に付着する付着物で反射した反射光を、受光素子が２次元配置された撮像画素アレイで構成された画像センサにより受光して、該付着物の画像を所定の撮像周波数で連続撮像し、撮像した画像に基づいて該付着物を検出する付着物検出方法において、上記光源として、上記撮像周波数とは異なる駆動周波数で強弱する光を照射するものを用い、上記反射光を選択して透過させる光学フィルタを通じて上記反射光を上記画像センサで受光して、上記撮像周波数と上記駆動周波数との違いによって生じる画像上のビートを検出し、ビートが検出された画像領域を、付着物が映し出された画像領域であると判別することを特徴とする。
これによれば、上記態様Ａと同様、ビートの発生の有無の違いにより、付着物からの反射光を外乱光と高い精度で区別して識別することができる。
【符号の説明】
【０１１９】
１００  自車両
１０１  撮像ユニット
１０２  画像解析ユニット
１０３  ヘッドランプ制御ユニット
１０４  ヘッドランプ
１０５  フロントガラス
１０６  ワイパー制御ユニット
１０７  ワイパー
１０８  車両走行制御ユニット
２００  撮像装置
２０１  撮像ケース
２０２  光源
２０３  雨滴
２０４  撮像レンズ
２０５  光学フィルタ
２０６  画像センサ
２０６Ａ  フォトダイオード（受光素子）
２１０  前段フィルタ
２１１  赤外光カットフィルタ領域
２１２  赤外光透過フィルタ領域
２１３  車両検出用画像領域
２１４  雨滴検出用画像領域
２２０  後段フィルタ
２２０Ａ  車両検出用フィルタ部
２２０Ｂ  雨滴検出用フィルタ部
２２１  フィルタ基板
２２２，２２５  偏光フィルタ層
２２３  分光フィルタ層
【先行技術文献】
【特許文献】
【０１２０】
【特許文献１】特許第４３２６９９９号公報
【図１】
0005846485.tif 000002
【図２】
0005846485.tif 000003
【図３】
0005846485.tif 000004
【図６】
0005846485.tif 000005
【図７】
0005846485.tif 000006
【図８】
0005846485.tif 000007
【図９】
0005846485.tif 000008
【図１０】
0005846485.tif 000009
【図１１】
0005846485.tif 000010
【図１２】
0005846485.tif 000011
【図１３】
0005846485.tif 000012
【図１４】
0005846485.tif 000013
【図１５】
0005846485.tif 000014
【図１６】
0005846485.tif 000015
【図１７】
0005846485.tif 000016
【図１８】
0005846485.tif 000017
【図１９】
0005846485.tif 000018
【図２０】
0005846485.tif 000019
【図２１】
0005846485.tif 000020
【図２３】
0005846485.tif 000021
【図２５】
0005846485.tif 000022
【図２７】
0005846485.tif 000023
【図２８】
0005846485.tif 000024
【図４】
0005846485.tif 000025
【図５】
0005846485.tif 000026
【図２２】
0005846485.tif 000027
【図２４】
0005846485.tif 000028
【図２６】
0005846485.tif 000029
【図２９】
0005846485.tif 000030