(57)【要約】【課題】検出対象物の誤検出や検出漏れを抑制することを課題とする。【解決手段】光源光の照射、非照射を周期的に繰り返す光源２０２による光源光の照明時に受光手段２０６により受光される照明時受光量に基づいて該光源光の照明範囲内における検出対象物を検出する物体検出装置において、前記光源による光源光の非照明時に前記受光手段により受光される非照明時受光量と、該非照明時受光量に対応する非照明時の直前の照明時よりも前期間における照明時受光量、及び、該非照明時受光量に対応する非照明時の直後の照明時よりも後期間における照明時受光量の少なくとも一方の照明時受光量とを用いて、前記照明範囲内における検出対象物の存在状況を検出するための所定の条件を満たすか否かを判断する検出処理を実行する検出処理手段１０２Ａを有する。【選択図】図２
2017003531.tif 000002
【特許請求の範囲】
【請求項１】
光源光の照射、非照射を周期的に繰り返す光源による光源光の照明時に受光手段により受光される照明時受光量に基づいて該光源光の照明範囲内における検出対象物を検出する物体検出装置において、
前記光源による光源光の非照明時に前記受光手段により受光される非照明時受光量と、該非照明時受光量に対応する非照明時の直前の照明時よりも前期間における照明時受光量、及び、該非照明時受光量に対応する非照明時の直後の照明時よりも後期間における照明時受光量の少なくとも一方の照明時受光量とを用いて、前記照明範囲内における検出対象物の存在状況を検出するための所定の条件を満たすか否かを判断する検出処理を実行する検出処理手段を有することを特徴とする物体検出装置。
【請求項２】
請求項１に記載の物体検出装置において、
前記検出処理手段は、前記非照明時受光量の時間変化を示す非照明時変化量と、前記前期間における照明時受光量の時間変化を示す照明時変化量、及び、前記後期間における照明時受光量の時間変化を示す照明時変化量のうちの少なくとも一方の照明時変化量とを用いて、前記所定の条件を満たすか否かを判断する検出処理を実行することを特徴とする物体検出装置。
【請求項３】
請求項１又は２に記載の物体検出装置において、
前記非照明時受光量及び前記少なくとも一方の照明時受光量のうちの少なくとも一方の受光量を記憶する記憶手段を有し、
前記検出処理手段は、前記記憶手段に記憶された前記少なくとも一方の受光量を用いて、前記所定の条件を満たすか否かを判断する検出処理を実行することを特徴とする物体検出装置。
【請求項４】
請求項２に記載の物体検出装置において、
前記非照明時変化量及び前記少なくとも一方の照明時変化量のうちの少なくとも一方の変化量を記憶する記憶手段を有し、
前記検出処理手段は、前記記憶手段に記憶された前記少なくとも一方の変化量を用いて、前記所定の条件を満たすか否かを判断する検出処理を実行することを特徴とする物体検出装置。
【請求項５】
請求項１又は２に記載の物体検出装置において、
前記所定の条件は、前記非照明時受光量を用いずに前記照明時受光量を用いて前記照明範囲内における検出対象物の存在状況を判断するための第１条件と、前記非照明時受光量を用いて該第１条件の判断結果を前記検出処理の処理結果とするか否かを判断するための第２条件とを含み、
前記少なくとも一方の照明時受光量を用いた前記第１条件の判断結果、及び、前記非照明時受光量を用いた前記第２条件の判断結果のうちの少なくとも一方の判断結果を記憶する記憶手段を有し、
前記検出処理手段は、前記記憶手段に記憶された前記少なくとも一方の判断結果を用いて、前記所定の条件を満たすか否かを判断する検出処理を実行することを特徴とする物体検出装置。
【請求項６】
請求項１乃至５のいずれか１項に記載の物体検出装置において、
前記検出対象物は、前記光源の光源光が照射される光透過性部材上に付着する付着物であることを特徴とする物体検出装置。
【請求項７】
請求項１乃至６のいずれか１項に記載の物体検出装置において、
前記検出処理手段は、前記非照明時受光量が所定の不実行条件を満たすとき、該非照明時受光量に対応する非照明時を含む所定の時間範囲内の照明時受光量を用いた前記検出処理の結果に代えて、該照明時受光量を用いずに決定した結果を該検出処理の結果として用いることを特徴とする物体検出装置。
【請求項８】
請求項１乃至７のいずれか１項に記載の物体検出装置と、
前記物体検出装置における前記検出処理の結果に基づいて、前記検出対象物を除去する物体除去手段の動作を制御する制御手段とを有することを特徴とする物体除去動作制御システム。
【請求項９】
光源光の照射、非照射を周期的に繰り返す光源による光源光の照明時に受光手段により受光される照明時受光量に基づいて該光源光の照明範囲内における検出対象物を検出する物体検出方法において、
前記光源による光源光の非照明時に前記受光手段により受光される非照明時受光量と、該非照明時受光量に対応する非照明時の直前の照明時よりも前期間における照明時受光量、及び、該非照明時受光量に対応する非照明時の直後の照明時よりも後期間における照明時受光量の少なくとも一方の照明時受光量とを用いて、前記照明範囲内における検出対象物の存在状況を検出するための所定の条件を満たすか否かを判断することを特徴とする物体検出方法。
【請求項１０】
請求項１乃至７のいずれか１項に記載の物体検出装置のコンピュータを機能させる物体検出用プログラムであって、
前記コンピュータを前記検出処理手段として機能させることを特徴とする物体検出用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出装置、物体除去動作制御システム、物体検出方法及び物体検出用プログラムに関するものである。
【背景技術】
【０００２】
従来、光源からの光源光で照明される照明範囲内の検出対象物を画像センサ等の受光手段を用いて撮像して検出対象物を検出するための検出処理を実行する物体検出装置が知られている。
【０００３】
例えば、特許文献１には、光源が照射した光源光によって照明された自動車のフロントガラス（光透過性部材）からの反射光を画像センサの雨滴検出領域で受光して撮像し、フロントガラス上に付着している雨滴を検出するための雨滴検出処理を実行する雨滴検出装置が開示されている。この雨滴検出装置は、雨滴の検出精度を低下させる光源光以外の外乱光の影響を抑制するため、光源光の点灯（照射）、消灯（非照射）を周期的に繰り返し、光源の点灯時に撮像した点灯時画像と光源の消灯時に撮像した消灯時画像との差分情報を用いて雨滴検出処理を行う。そして、この雨滴検出処理で雨滴が検出された場合、ワイパーを作動させるなどの制御を実施する。特許文献１によれば、消灯時画像は外乱光のみを映し出すものであるため、点灯時画像から消灯時画像を差し引いて得られる差分情報は、点灯時画像から外乱光成分を除外したものとなる。このような差分情報を用いて雨滴検出処理を行うことにより、外乱光の影響を抑制した雨滴検出処理が可能となるとされている。
【０００４】
また、前記差分情報を用いて雨滴検出処理を行う場合、わずかの時間経過で大きく外乱光が変化する状況だと、点灯時画像と消灯時画像との間で外乱光成分が異なってしまう。その結果、前記差分情報が、点灯時画像から外乱光成分を適切に除外したものにはならず、雨滴検出処理において、雨滴の誤検出あるいは雨滴の検出漏れが引き起こされ得る。そのため、特許文献１に開示の雨滴検出装置では、点灯時画像の前後で撮像される２つの消灯時画像間における差分値を算出し、この消灯時画像差分値が閾値を超えている場合には、わずかの時間経過で大きく外乱光が変化する状況であると判断し、前記差分情報を用いた雨滴検出処理を中止する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に、画像センサには、自動露光補正機能やレベル補正機能などの自動補正機能が備わっており、このような自動補正機能が実施されると、画像センサの受光量が同じであっても、画像センサの出力値が変化する。したがって、雨滴の付着状態が全く同じであっても、自動補正機能によって、点灯時画像についての画像センサの出力値は異なるものとなる。ところが、消灯時画像の出力値については、自動補正機能によってもほぼ変化しない場合がある。そのため、特許文献１に開示の雨滴検出装置では、雨滴の付着状態が全く同じであっても、自動補正機能によって、点灯時画像と消灯時画像との差分情報が変化してしまい、雨滴の誤検出あるいは雨滴の検出漏れを引き起こすおそれがある。しかも、このときには、点灯時画像の前後で撮像される２つの消灯時画像間における差分値はほぼゼロであるため、雨滴検出処理が中止されることもない。
【０００６】
この課題は、差分情報を用いて検出対象物の存在状況を検出する場合に限らず、少なくとも照明時受光量を用いて検出対象物の存在状況を検出する際に、外乱光や自動補正機能による誤検出や検出漏れを非照明時受光量によって把握して検出処理を中止するなどの対処を行う場合には、同様に生じ得る。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明は、光源光の照射、非照射を周期的に繰り返す光源による光源光の照明時に受光手段により受光される照明時受光量に基づいて該光源光の照明範囲内における検出対象物を検出する物体検出装置において、前記光源による光源光の非照明時に前記受光手段により受光される非照明時受光量と、該非照明時受光量に対応する非照明時の直前の照明時よりも前期間における照明時受光量、及び、該非照明時受光量に対応する非照明時の直後の照明時よりも後期間における照明時受光量の少なくとも一方の照明時受光量とを用いて、前記照明範囲内における検出対象物の存在状況を検出するための所定の条件を満たすか否かを判断する検出処理を実行する検出処理手段を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、検出対象物の誤検出や検出漏れを抑制することが可能となるという優れた効果が奏される。
【図面の簡単な説明】
【０００９】
【図１】実施形態１における車載機器制御システムの概略構成を示す模式図である。
【図２】同車載機器制御システムにおける撮像部と画像解析ユニットとの概略構成を示す説明図である。
【図３】同撮像ユニットの光学系を説明するための説明図である。
【図４】同撮像ユニットの概略構成を模式的に示した斜視図である。
【図５】（ａ）は、水平面に対するフロントガラスの傾斜角度が２２°である車両に取り付けた状態の撮像ユニットを示す側面図である。（ｂ）は、同図（ａ）の状態において雨滴が付着していない場合の撮像ユニットの光学系を示す説明図である。（ｃ）は、同図（ａ）の状態において雨滴が付着している場合の撮像ユニットの光学系を示す説明図である。
【図６】同撮像ユニットの反射偏向プリズムを示す斜視図である。
【図７】雨滴検出用の撮像画像データに適用可能なカットフィルタのフィルタ特性を示すグラフである。
【図８】雨滴検出用の撮像画像データに適用可能なバンドパスフィルタのフィルタ特性を示すグラフである。
【図９】同撮像部の光学フィルタに設けられる前段フィルタの正面図である。
【図１０】同撮像部の撮像画像データの画像例を示す説明図である。
【図１１】同撮像部の光学フィルタと画像センサとを光透過方向に対して直交する方向から見たときの模式拡大図である。
【図１２】同光学フィルタの偏光フィルタ層と分光フィルタ層の領域分割パターンを示す説明図である。
【図１３】実施形態１における雨滴検出処理の説明図である。
【図１４】実施形態１における撮像フレームと雨滴検出との関係を示す説明図である。
【図１５】実施形態１における雨滴検出処理の流れを示すフローチャートである。
【図１６】点灯時に画像センサから出力される出力信号がブラックレベル補正機能により変動した例を示すグラフである。
【図１７】消灯時に画像センサから出力される出力信号がブラックレベル補正機能により変動した例を示すグラフである。
【図１８】変形例１における雨滴検出処理の一例を示すフローチャートである。
【図１９】実施形態２における雨滴検出に関わる各種光線についての説明図である。
【図２０】実施形態２における雨滴検出処理の流れを示すフローチャートである。
【図２１】変形例２における雨滴検出処理の流れを示すフローチャートである。
【図２２】変形例３における雨滴検出処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１０】
〔実施形態１〕
以下、本発明に係る物体検出装置を、移動体である自動車等の車両に搭載される対象機器を制御する移動体機器制御システムとしての車載機器制御システムに用いられる付着物検出装置に適用した一実施形態（以下、本実施形態を「実施形態１」という。）について説明する。
なお、本発明に係る物体検出装置は、検出対象物の検出結果を利用して各種処理や制御を実行するシステムにおいて広く利用することができ、自動車以外の車両、船舶、航空機などの他の移動体に搭載される種々の移動体搭載機器の制御システム、あるいは、移動体に搭載される機器ではないＦＡ（factory automation）等の処理装置の制御システムなどにも利用することができる。
【００１１】
図１は、本実施形態１における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、自動車などの自車両１００に搭載された撮像部により、自車両周囲（特に進行方向前方領域）を撮像領域として撮像した撮像画像データを利用して、ヘッドランプの配光制御、ワイパーの駆動制御、その他の車載機器の制御を行うものである。
【００１２】
本実施形態１の車載機器制御システムに設けられる撮像部は、撮像ユニット１０１に設けられており、走行する自車両１００の進行方向前方領域を撮像領域として撮像するものであり、例えば、自車両１００のフロントガラス１０５のルームミラー付近に設置される。撮像ユニット１０１の撮像部で撮像された撮像画像データは、画像解析ユニット１０２に入力される。画像解析ユニット１０２は、ＣＰＵやＲＡＭ等により構成され、撮像部から送信されてくる撮像画像データを解析し、撮像画像データに自車両１００の前方に存在する他車両の位置（方角や距離）を算出したり、フロントガラス１０５に付着する雨滴や異物などの付着物（検出対象物）を検出したり、撮像領域内に存在する路面上の白線（区画線）等を検出したりする。他車両の検出では、他車両のテールランプを識別することで自車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両１００とは反対方向へ進行する対向車両を検出する。
【００１３】
画像解析ユニット１０２の算出結果は、ヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した他車両の位置データから、自車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。
【００１４】
画像解析ユニット１０２の算出結果は、ワイパー制御ユニット１０６にも送られる。ワイパー制御ユニット１０６は、物体除去手段としてのワイパー１０７を制御して、自車両１００のフロントガラス１０５に付着した雨滴や異物などの付着物（検出対象物）を除去する。ワイパー制御ユニット１０６は、画像解析ユニット１０２が検出した付着物検出結果を受けて、ワイパー１０７を制御する制御信号を生成する。ワイパー制御ユニット１０６により生成された制御信号がワイパー１０７に送られると、自車両１００の運転者の視界を確保するべく、ワイパー１０７を稼動させる。
【００１５】
また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した白線検出結果に基づいて、白線によって区画されている車線領域から自車両１００が外れている場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。また、車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した他車両の位置データに基づいて、先行車両との距離が近接した場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
【００１６】
図２は、撮像ユニット１０１に設けられる撮像部２００と付着物検出装置を構成する画像解析ユニット１０２との概略構成を示す説明図である。
撮像部２００は、主に、撮像レンズ２０４と、光学フィルタ２０５と、受光素子が２次元配置された受光手段としての画像センサ２０６を含んだセンサ基板２０７と、センサ基板２０７から出力されるアナログ電気信号（画像センサ２０６上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部２０８とから構成されている。また、本実施形態１においては、センサ基板２０７上に光源装置としての光源部２０２が実装されている。この光源部２０２は、光透過性部材としてのフロントガラス１０５の内壁面（一方の面）側に配置され、外壁面（他方の面）に付着した付着物（以下、付着物が主に雨滴である場合を例に挙げて説明する。）を検出するためのものである。
【００１７】
本実施形態１では、撮像レンズ２０４の光軸が水平方向に一致するように撮像ユニット１０１を配置するが、これに限定されることはなく、水平方向（図２中のＸ方向）を基準とした特定方向に向けるような例であってもよい。撮像レンズ２０４は、例えば、複数のレンズで構成され、焦点がフロントガラス１０５の位置よりも遠方に設定されるものを用いる。撮像レンズ２０４の焦点位置は、例えば、無限遠又は無限遠とフロントガラス１０５との間に設定することができる。
【００１８】
画像センサ２０６は、センサ面を保護するカバーガラスを透過した光を受光する２次元配置された複数の受光素子で構成され、受光素子（撮像画素）ごとに入射光を光電変換する機能を有する。後述の図等では画像センサ２０６の各画素を簡略化して描いているが、実際には画像センサ２０６は２次元配置された数十万個程度の画素で構成されている。画像センサ２０６としては、例えば、全撮像画素を同時露光（グローバルシャッター）して各撮像画素の信号を読み出すＣＣＤ（Charge Coupled Device）や、ライン露光（ローリングシャッター）で露光された各撮像画素の信号を読み出すＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その受光素子にはフォトダイオードを用いることができる。
【００１９】
信号処理部２０８は、画像センサ２０６で光電変換され、センサ基板２０７から出力されるアナログ電気信号（画像センサ２０６の各受光素子への入射光量）をデジタル電気信号に変換した撮像画像データを生成して出力する機能を有する。信号処理部２０８は、画像解析ユニット１０２と電気的に接続されている。信号処理部２０８は、センサ基板２０７を経由して画像センサ２０６から電気信号（アナログ信号）が入力されると、入力された電気信号から、画像センサ２０６上における各撮像画素の明るさ（輝度）を示すデジタル信号（撮像画像データ）を生成する。そして、この撮像画像データを、画像の水平・垂直同期信号とともに、後段の画像解析ユニット１０２へ出力する。
【００２０】
本実施形態の画像センサ２０６は、レベル補正機能の一種であるダーク補正を行うための複数のオプティカルブラック（光が入射しないように構成された受光素子）を、有効撮像画素の領域外に備えている。オプティカルブラックの出力信号は、信号処理部２０８に送られ、暗電流のノイズ量の測定に使用される。詳しくは、信号処理部２０８は、ゼロ基準設定手段として機能し、例えばオプティカルブラックからの出力信号の平均レベルに所定のマージン分を上乗せした信号レベルを、撮像画像データのゼロ基準（画素値ゼロ）に設定する。これにより、センサ基板２０７から出力されるアナログ電気信号は、全体的に信号レベルが下げられ、ゼロ基準に対応する信号レベル以下のものはゼロ値とされる。ゼロ基準に対応する信号レベルを超えるアナログ電気信号は、当該ゼロ基準の信号レベルと最大信号レベルとの間を所定の階調数で分割したデジタル値のデジタル電気信号に変換される。これにより、画像センサ２０６の受光素子を流れる暗電流が原因で、全く光を受光していない受光素子が光を受光しているものと誤検知してしまう事態を回避することができる。
【００２１】
また、画像解析ユニット１０２は、撮像ユニット１０１の撮像動作を制御する機能や、撮像ユニット１０１から送信される撮像画像データを解析する機能を有する。画像解析ユニット１０２は、露光量制御手段としての露光量制御部１０２Ｃによって、撮像ユニット１０１から送信された撮像画像データから、画像センサ２０６の撮像対象（自車両前方領域に存在する他車両等の物体）ごとの最適な露光量を算出し、画像センサ２０６の撮像対象ごとに最適な露光量（本実施形態１では露光時間）を設定する自動露光補正機能を有する。また、画像解析ユニット１０２は、信号処理部２０８からの画像信号の取得と連動しながら、光源制御手段としての光源制御部１０２Ｂによって、光源部２０２の発光タイミングなどを制御する機能を有する。また、画像解析ユニット１０２は、撮像ユニット１０１から送信されてくる撮像画像データから、路面状態や道路標識などに関する情報を検出する機能を有する。また、画像解析ユニット１０２は、撮像ユニット１０１から送信されてくる撮像画像データから、自車両の前方に存在する他車両の位置や方角、距離等を算出する機能を有する。
【００２２】
また、画像解析ユニット１０２は、検出処理部１０２Ａによって、フロントガラス１０５の状態（雨滴の付着、凍結、曇りなど）を検出する機能を有する。検出処理部１０２Ａは、雨滴の付着を検出する場合、撮像ユニット１０１から送信された撮像画像データを用い、その撮像画像データの輝度値（画素値）に応じてフロントガラス１０５上の雨滴量を算出する。また、画像解析ユニット１０２は、詳しくは後述するが、撮像ユニット１０１から送信されてくる撮像画像データあるいは当該撮像画像データを用いた各種処理の結果などを一時的に記憶するための記憶部１０２Ｄを備えている。
【００２３】
図３は、本実施形態１における撮像ユニット１０１の光学系を説明するための説明図である。
本実施形態１の光源部２０２は、フロントガラス１０５上に付着した付着物（雨滴、凍結、曇り等）を検出するための光源光（照明光）を照射するものである。本実施形態１の光源部２０２は、その光源としてのＬＥＤを複数備え、各ＬＥＤから照射される光源光をコリメータレンズ等の光学系を通じて外部へ出射する構成となっている。このように光源を複数具備することにより、光源が１つである場合と比較して、フロントガラス１０５上の付着物を検出するための検出領域が広がり、フロントガラス１０５の付着物の検出精度が向上する。
【００２４】
本実施形態１では、ＬＥＤを画像センサ２０６と同じセンサ基板２０７上に実装しているので、これらを別々の基板上に実装する場合よりも基板枚数を減らすことができ、低コストを実現できる。また、ＬＥＤの配置方法は、図３中のＹ方向に沿って１列又は複数列に配置することで、後述するとおり、車両前方領域の画像が映し出される画像領域の下側に映し出されるフロントガラス画像を撮像するための照明を均一化することが可能となる。本実施形態１では、光源部２０２を、画像センサ２０６と同じセンサ基板２０７上に実装しているが、画像センサ２０６とは別基板上に実装してもよい。
【００２５】
光源部２０２は、光源部２０２が照射する光の光軸方向と撮像レンズ２０４の光軸方向とが予め所定の角度を有するように、センサ基板２０７上に配置されている。また、光源部２０２は、光源部２０２が照射する光によって照明されるフロントガラス１０５上において、その照明範囲が撮像レンズ２０４の画角範囲内（視野角の範囲内）となるように、配置されている。光源部２０２の発光波長としては、対向車の運転者や歩行者を眩惑しないように、可視光を避けることが好ましく、例えば、可視光よりも波長が長く、画像センサ２０６の受光感度が及ぶ波長範囲（例えば８００〜１０００ｎｍ程度の赤外光波長範囲）を用いる。光源部２０２の発光タイミングなどの駆動制御は、信号処理部２０８からの画像信号の取得と連動しながら、画像解析ユニット１０２の光源制御部１０２Ｂによって行われる。
【００２６】
本実施形態１の撮像ユニット１０１には、図３に示すように、光源部２０２からの光を反射させてフロントガラス１０５へ導く反射面２３１を備えた反射偏向プリズム２３０が設けられている。反射偏向プリズム２３０は、光源部２０２からの光を適切にフロントガラス１０５の内部に導くために、その一面がフロントガラス１０５の内壁面に密着するように配置されている。具体的には、反射偏向プリズム２３０に入射する光源部２０２からの光の入射角が所定範囲内で変化しても、光源部２０２から照射されて反射偏向プリズム２３０の反射面２３１で正反射した光のうち、フロントガラス１０５の外壁面上における雨滴（検出対象物）が付着していない非付着箇所で正反射した正反射光が、画像センサ２０６に受光される関係が維持されるように、反射偏向プリズム２３０がフロントガラス１０５の内壁面に取り付けられる。
【００２７】
反射偏向プリズム２３０をフロントガラス１０５の内壁面に取り付ける際、これらの間に、透光性材料からなるジェルやシール材などの充填材を介在させて密着性を高めるのが好ましい。これにより、反射偏向プリズム２３０とフロントガラス１０５との間に空気層や気泡などが介在しないようにでき、これらの間で曇りが生じにくいようにしている。また、充填材の屈折率は、反射偏向プリズム２３０とフロントガラス１０５の中間屈折率であることが好ましい。これにより、充填材と反射偏向プリズム２３０との間、及び、充填材とフロントガラス１０５との間でのフレネル反射ロスを軽減できるからである。ここでいうフレネル反射とは、屈折率の異なる材料間で発生する反射のことである。
【００２８】
反射偏向プリズム２３０は、図３に示すように、光源部２０２からの入射光を反射面２３１で一回だけ正反射して、これをフロントガラス１０５の内壁面に向けて折り返す。折り返した光は、フロントガラス１０５の外壁面に対して入射角θ（θ≧約４２°）となるように構成されている。この適切な入射角θは、空気とフロントガラス１０５の外壁面との間の屈折率差に起因して、フロントガラス１０５の内部においてその外壁面で全反射を起こす臨界角である。したがって、本実施形態１では、フロントガラス１０５の外壁面に雨滴等の付着物が付着していない場合には、反射偏向プリズム２３０の反射面で折り返された光は、フロントガラス１０５の外壁面を透過することなく、すべて反射される。
【００２９】
一方、フロントガラス１０５の外壁面上に空気（屈折率１）とは異なる雨滴（屈折率１．３８）などの付着物が付着すると、この全反射条件が崩れ、雨滴が付着している箇所では光がフロントガラス１０５の外壁面を透過する。したがって、フロントガラス１０５の外壁面に雨滴が付着していない非付着箇所については、その反射光が画像センサ２０６に受光されて高輝度な画像部分となる一方、雨滴が付着している付着箇所については、その反射光の光量が減り、画像センサ２０６に受光される光量が少なくなるので、低輝度な画像部分となる。したがって、撮像画像上においては、雨滴付着箇所と非雨滴付着箇所とのコントラストが得られる。
【００３０】
図４は、本実施形態１の撮像ユニット１０１の概略構成を模式的に示した斜視図である。
本実施形態１の撮像ユニット１０１は、反射偏向プリズム２３０を固定支持し、フロントガラス１０５の内壁面に固定配置される第一支持部材としての第一モジュール１０１Ａと、画像センサ２０６及びＬＥＤ２１１が実装されたセンサ基板２０７、導光体２１５、撮像レンズ２０４を固定支持する第二支持部材としての第二モジュール１０１Ｂとから構成されている。
【００３１】
これらのモジュール１０１Ａ，１０１Ｂは、回転連結機構２４０によって回動可能に連結されている。この回転連結機構２４０は、フロントガラス１０５の傾斜方向及び鉛直方向のいずれにも直交する方向（図３中紙面前後方向）に延びる回転軸２４１を有し、この回転軸２４１を中心にして、第一モジュール１０１Ａと第二モジュール１０１Ｂとを相対回転させることができる。このように回動可能な構成としているのは、傾斜角度が異なるフロントガラス１０５に対して第一モジュール１０１Ａが固定配置される場合でも、第二モジュール１０１Ｂの撮像部２００の撮像方向を目標とする特定方向（本実施形態１では水平方向）に向けることができるようにするためである。
【００３２】
図５（ａ）は、水平面に対するフロントガラス１０５の傾斜角度θｇが２２°である車両に取り付けた状態の撮像ユニット１０１を示す側面図である。図５（ｂ）は、図５（ａ）の状態において雨滴が付着していない場合の撮像ユニット１０１の光学系を示す説明図である。図５（ｃ）は、図５（ａ）の状態において雨滴が付着している場合の撮像ユニット１０１の光学系を示す説明図である。
【００３３】
光源部２０２からの光Ｌ１は、反射偏向プリズム２３０の反射面２３１で正反射され、その反射光Ｌ２はフロントガラス１０５の内壁面を透過する。フロントガラス１０５の外壁面に雨滴が付着していない場合は、その反射光Ｌ２は外壁面では全反射し、この反射光Ｌ３はフロントガラス１０５の内壁面を透過して撮像レンズ２０４に向けて光は進む。一方、フロントガラス１０５の外壁面に雨滴２０３が付着している場合、反射偏向プリズム２３０の反射面２３１で正反射した反射光Ｌ２は、その外壁面を透過する。このような系において、フロントガラス１０５の角度θｇが変わると、第二モジュール１０１Ｂの姿勢を維持したまま（撮像方向を水平方向に固定したまま）、フロントガラス１０５の内壁面に固定される第二モジュール１０１Ｂの姿勢が変化し、反射偏向プリズム２３０がフロントガラス１０５と一体になって図中Ｙ軸回りに回転することになる。
【００３４】
ここで、本実施形態１における反射偏向プリズム２３０の反射面２３１とフロントガラス１０５の外壁面との配置関係は、回転連結機構２４０の回転調整範囲内において、常に、フロントガラス１０５の外壁面での全反射光Ｌ３が、フロントガラス状態変化検出用の画像センサ２０６の受光領域（以下「付着物検出用受光領域」という。）に受光される関係となっている。したがって、フロントガラス１０５の角度θｇが変わっても、フロントガラス１０５の外壁面での全反射光Ｌ３が画像センサ２０６の付着物検出用受光領域に受光され、適切な雨滴検出を実現できる。
【００３５】
特に、本実施形態１における配置関係は、回転連結機構２４０の回転調整範囲内において実質的にコーナーキューブの原理が成立するような関係となっている。そのため、フロントガラス１０５の角度θｇが変わっても、フロントガラス１０５の外壁面での全反射光Ｌ３の光軸方向と水平面とのなす角度θは実質的に一定である。よって、画像センサ２０６の付着物検出用受光領域内におけるフロントガラス１０５の外壁面での全反射光Ｌ３の光軸が通過する箇所の変動を小さく抑えることができ、より適切な雨滴検出を実現できる。
【００３６】
反射偏向プリズム２３０の反射面２３１とフロントガラス１０５の外壁面との配置関係が互いに垂直な関係であればコーナーキューブの原理が成立するが、回転連結機構２４０の回転調整範囲内において実質的にコーナーキューブの原理が成立するのであれば、反射偏向プリズム２３０の反射面２３１とフロントガラス１０５の外壁面との配置関係は互いに垂直な関係である場合に限られない。反射偏向プリズム２３０の反射面２３１とフロントガラス１０５の外壁面との配置関係が互いに垂直な関係でなくても、反射偏向プリズム２３０の他の面（被入射面や出射面）の角度を調整することにより、フロントガラス１０５の傾斜角度θｇが変わっても、撮像レンズへ向かう全反射光Ｌ３の光軸の角度θを略一定に保持することが可能である。
【００３７】
図６は、本実施形態１の反射偏向プリズム２３０を示す斜視図である。
反射偏向プリズム２３０は、光源部２０２からの光が入射する被入射面２３３と、被入射面２３３から入射した光Ｌ１を反射させる反射面２３１と、フロントガラス１０５の内壁面と密着する密着面２３２と、フロントガラス１０５の外壁面で反射した反射光Ｌ３を撮像部２００に向けて出射する出射面２３４とを備えている。本実施形態１では、被入射面２３３と出射面２３４とは互いに平行な面となるように構成されているが、両者を非平行な面としてもよい。
【００３８】
反射偏向プリズム２３０の材料は、少なくとも光源部２０２からの光を透過させる材料であればよく、ガラスやプラスチックなどを用いることができる。本実施形態１の光源部２０２からの光は赤外光であるため、反射偏向プリズム２３０の材料としては、可視光を吸収するような黒色系の材料を用いてもよい。可視光を吸収する材料を用いることにより、反射偏向プリズム２３０にＬＥＤからの光（赤外光）以外の光（車外からの可視光など）が入射するのを抑制できる。
【００３９】
また、反射偏向プリズム２３０は、回転連結機構２４０の回転調整範囲内において、その反射面２３１で光源部２０２からの光を全反射させる全反射条件が満たされるように形成される。また、回転連結機構２４０の回転調整範囲内において反射面２３１で全反射させる条件を満たすことが難しい場合には、反射偏向プリズム２３０の反射面２３１に、アルミニウムなどの膜を蒸着させるなどして、反射ミラーを形成してもよい。
【００４０】
また、本実施形態１では、反射面２３１が平面であるが、反射面を凹面としたものでもよい。このような凹面状の反射面を用いることで、反射面に入射してくる拡散光束を平行化することができる。このことにより、フロントガラス１０５上での照度低下を抑制することが可能となる。
【００４１】
ここで、フロントガラス１０５の外壁面で反射した光源部２０２からの赤外波長光を撮像部２００で撮像する際、撮像部２００の画像センサ２０６では、光源部２０２からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源部２０２からの赤外波長光をこのような大光量の外乱光と区別するためには、光源部２０２の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源部２０２を用いることは困難である場合が多い。
【００４２】
そこで、本実施形態１においては、例えば、図７に示すように光源部２０２の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、図８に示すように透過率のピークが光源部２０２の発光波長とほぼ一致したバンドパスフィルタを介して、光源部２０２からの光を画像センサ２０６で受光するように構成する。これにより、光源部２０２の発光波長以外の光を除去して受光できるので、画像センサ２０６で受光される光源部２０２からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源部２０２でなくても、光源部２０２からの光を外乱光と区別することが可能となる。
【００４３】
ただし、本実施形態１においては、撮像画像データから、フロントガラス１０５上の雨滴２０３を検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源部２０２が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を画像センサ２０６で受光できず、これらの検出に支障をきたす。そこで、本実施形態１では、撮像画像データの画像領域を、フロントガラス１０５上の雨滴２０３を検出するための雨滴検出用画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両検出用画像領域とに区分し、雨滴検出用画像領域に対応する部分についてのみ光源部２０２が照射する赤外波長光以外の波長帯を除去するフィルタを、光学フィルタ２０５に配置している。
【００４４】
図９は、光学フィルタ２０５に設けられる前段フィルタ２１０の正面図である。
図１０は、撮像画像データの画像例を示す説明図である。
本実施形態１の光学フィルタ２０５は、前段フィルタ２１０と後段フィルタ２２０とを光透過方向に重ね合わせた構造となっている。前段フィルタ２１０は、図９に示すように、車両検出用画像領域２１３である撮像画像上部２／３に対応する箇所に配置される赤外光カットフィルタ領域２１１と、雨滴検出用画像領域２１４である撮像画像下部１／３に対応する箇所に配置される赤外光透過フィルタ領域２１２とに、領域分割されている。赤外光透過フィルタ領域２１２には、図７に示したカットフィルタや図８に示したバンドパスフィルタを用いる。
【００４５】
対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の画像は、主に撮像画像中央部から上部に存在することが多く、撮像画像下部には自車両前方の直近路面の画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別に必要な情報は撮像画像上部に集中しており、その識別において撮像画像下部の情報はあまり重要でない。よって、単一の撮像画像データから、対向車両や先行車両あるいは白線の検出と雨滴の検出とを両立して行う場合には、図１０に示すように、撮像画像下部を雨滴検出用画像領域２１４とし、残りの撮像画像上部を車両検出用画像領域２１３とし、これに対応して前段フィルタ２１０を領域分割するのが好適である。
【００４６】
なお、本実施形態１では、撮像画像中における車両検出用画像領域２１３の下部に雨滴検出用画像領域２１４を設けた例であるが、車両検出用画像領域２１３の上部に雨滴検出用画像領域２１４を設けたり、車両検出用画像領域２１３の上部と下部の両方に雨滴検出用画像領域２１４を設けたりしてもよい。
【００４７】
撮像部２００の撮像方向を下方へ傾けていくと、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態１では、撮像画像下部に対応する箇所に図７に示したカットフィルタや図８に示したバンドパスフィルタが配置されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。
【００４８】
なお、本実施形態１では、撮像レンズ２０４の特性により、撮像領域内の光景と画像センサ２０６上の像とでは天地が逆になる。よって、撮像画像下部を雨滴検出用画像領域２１４とする場合には、光学フィルタ２０５の前段フィルタ２１０の上部を図７に示したカットフィルタや図８に示したバンドパスフィルタで構成することになる。
【００４９】
ここで、先行車両を検出する際には、撮像画像上のテールランプを識別することで先行車両の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、また街灯などの外乱光も多く存在するため、単なる輝度データのみからテールランプを高精度に検出するのは困難である。そのため、テールランプの識別には分光情報を利用し、赤色光の受光量に基づいてテールランプを識別することが必要となる。そこで、本実施形態１では、後述するように、光学フィルタ２０５の後段フィルタ２２０に、テールランプの色に合わせた赤色フィルタあるいはシアンフィルタ（テールランプの色の波長帯のみを透過させるフィルタ）を配置し、赤色光の受光量を検知できるようにしている。
【００５０】
ただし、本実施形態１の画像センサ２０６を構成する各受光素子は、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を画像センサ２０６で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなってしまう。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。そこで、本実施形態１では、光学フィルタ２０５の前段フィルタ２１０において、車両検出用画像領域２１３に対応する箇所を赤外光カットフィルタ領域２１１としている。これにより、テールランプの識別に用いる撮像画像データ部分から赤外波長帯が除外されるので、テールランプの識別精度が向上する。
【００５１】
図１１は、車両検出用画像領域２１３に対応する部分の光学フィルタ２０５と画像センサ２０６とを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ２０６は、上述したようにＣＣＤやＣＭＯＳなどを用いたイメージセンサであり、その受光素子にはフォトダイオード２０６Ａを用いている。フォトダイオード２０６Ａは、画素ごとに２次元的にアレイ配置されており、フォトダイオード２０６Ａの集光効率を上げるために、各フォトダイオード２０６Ａの入射側にはマイクロレンズ２０６Ｂが設けられている。この画像センサ２０６がワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板２０７が形成されている。
【００５２】
画像センサ２０６のマイクロレンズ２０６Ｂ側の面には、光学フィルタ２０５が近接配置されている。車両検出用画像領域２１３に対応する部分における光学フィルタ２０５の後段フィルタ２２０は、図１１に示すように、透明なフィルタ基板２２１上に偏光フィルタ層２２２と分光フィルタ層２２３を順次形成して積層構造としたものである。偏光フィルタ層２２２と分光フィルタ層２２３は、いずれも、画像センサ２０６上における１つのフォトダイオード２０６Ａに対応するように領域分割されている。
【００５３】
光学フィルタ２０５と画像センサ２０６との間に空隙がある構成としてもよいが、光学フィルタ２０５を画像センサ２０６に密着させる構成とした方が、光学フィルタ２０５の偏光フィルタ層２２２と分光フィルタ層２２３の各領域の境界と画像センサ２０６上のフォトダイオード２０６Ａ間の境界とを一致させやすくなる。光学フィルタ２０５と画像センサ２０６は、例えば、ＵＶ接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素外の四辺領域をＵＶ接着や熱圧着してもよい。
【００５４】
図１２は、車両検出用画像領域２１３に対応する部分における光学フィルタ２０５の偏光フィルタ層２２２と分光フィルタ層２２３の領域分割パターンを示す説明図である。
偏光フィルタ層２２２と分光フィルタ層２２３は、それぞれ、第１領域及び第２領域という２種類の領域が、画像センサ２０６上の１つのフォトダイオード２０６Ａに対応して配置されたものである。これにより、画像センサ２０６上の各フォトダイオード２０６Ａによって受光される受光量は、受光する光が透過した偏光フィルタ層２２２と分光フィルタ層２２３の領域の種類に応じて、偏光情報や分光情報等として取得することができる。その結果、本実施形態１によれば、車両検出用画像領域２１３において、一度の撮像動作により、赤色光の鉛直偏光成分画像、非分光の鉛直偏光成分画像、非分光の水平偏光成分画像という３種類の撮像画像データを得ることができる。
【００５５】
このようにして得られる赤色光の鉛直偏光成分画像は、例えば、テールランプの識別に使用することができる。赤色光の鉛直偏光成分画像は、水平偏光成分Ｓがカットされているので、路面に反射した赤色光や自車両１００の室内におけるダッシュボードなどからの赤色光（映りこみ光）等のように水平偏光成分Ｓの強い赤色光による外乱要因が抑制された赤色画像を得ることができる。よって、赤色光の鉛直偏光成分画像をテールランプの識別に使用することで、テールランプの認識率が向上する。
【００５６】
また、非分光の鉛直偏光成分画像は、例えば、白線や対向車両のヘッドランプの識別に使用することができる。非分光の水平偏光成分画像は、水平偏光成分Ｓがカットされているので、路面に反射したヘッドランプや街灯等の白色光や自車両１００の室内におけるダッシュボードなどからの白色光（映りこみ光）等のように水平偏光成分Ｓの強い白色光による外乱要因が抑制された非分光画像を得ることができる。よって、非分光の鉛直偏光成分画像を白線や対向車両のヘッドランプの識別に使用することで、その認識率が向上する。特に、雨路において、路面を覆った水面からの反射光は水平偏光成分Ｓが多いことが一般に知られている。よって、非分光の鉛直偏光成分画像を白線の識別に使用することで、雨路における水面下の白線を適切に識別することが可能となり、認識率が向上する。
【００５７】
また、非分光の鉛直偏光成分画像と非分光の水平偏光成分画像との間で各画素値を比較した指標値を画素値とした比較画像を用いれば、撮像領域内の金属物体、路面の乾湿状態、撮像領域内の立体物、雨路における白線の高精度な識別が可能となる。ここで用いる比較画像としては、例えば、非分光の鉛直偏光成分画像と非分光の水平偏光成分画像との間の画素値の差分値を画素値とした差分画像、これらの画像間の画素値の比率を画素値とした比率画像、あるいは、これらの画像間の画素値の合計に対するこれらの画像間の画素値の差分値の比率（差分偏光度）を画素値とした差分偏光度画像などを使用することができる。
【００５８】
一方、雨滴検出用画像領域２１４については、光学フィルタ２０５の前段フィルタ２１０における赤外光透過フィルタ領域２１２により、可視光領域がカットされ、光源部２０２の発光波長である赤外光領域を含む波長帯の画像が撮像される。
【００５９】
〔フロントガラス上の雨滴検出処理〕
以下、本実施形態１における雨滴検出処理について説明する。
本実施形態１では、ワイパー１０７の駆動制御やウォッシャー液の吐出制御を行う目的で、検出対象物としての付着物である雨滴を検出する処理を行う。なお、ここでは、フロントガラス上に付着した付着物が雨滴である場合を例に挙げて説明するが、鳥の糞、隣接車両からの跳ねてきた路面上の水しぶきなどの付着物についても同様である。
【００６０】
本実施形態１では、上述したとおり、光源部２０２から照射されて反射偏向プリズム２３０からフロントガラス１０５の内壁面に入射した照明光（赤外光）は、フロントガラス１０５の外壁面上に雨滴が付着していない非付着箇所では、フロントガラス１０５の外壁面で正反射する。この正反射光は、画像センサ２０６に受光されて雨滴検出用画像領域２１４に映し出される。一方、フロントガラス１０５の外壁面上に雨滴が付着している付着箇所では、照明光がフロントガラス１０５の外壁面を透過し、その透過光が画像センサ２０６に受光されることはない。したがって、撮像画像データの雨滴検出用画像領域２１４は、フロントガラス１０５の外壁面に雨滴が付着していない非付着箇所は高輝度な画像部分（高い画素値）となる一方、雨滴が付着している付着箇所は低輝度な画像部分（低い画素値）となる。このような違いから、雨滴の有無だけでなく、雨滴の量も把握することが可能である。
【００６１】
図１３は、本実施形態１における雨滴検出処理の説明図である。
本実施形態１の雨滴検出処理では、撮像ユニット１０１から取得した撮像画像データの雨滴検出用画像領域２１４の情報を用い、雨滴が増加したと判断したらワイパー１０７を駆動させる。詳しくは、雨滴検出用画像領域２１４を例えば図１３に示すように画像横方向に８区分（ｘ＝１〜８）に分割し、各雨滴検出区分ｘ内の合計輝度値ｙ（ｘ，ｔａ）を算出する。なお、「ｔａ」は、点灯時撮像フレームの撮像タイミングである。そして、各雨滴検出区分ｘの合計輝度値ｙ（ｘ，ｔａ）に基づいて雨滴検出条件を判断し、雨滴検出条件を満たしたら、雨滴が付着していない状況から雨滴が付着した（雨滴が増加した）と判断してワイパー１０７を駆動させる。逆に、各雨滴検出区分ｘの合計輝度値ｙ（ｘ，ｔａ）に基づいて雨滴の不検出条件を判断し、雨滴の不検出条件を満たしたら、ワイパー１０７の駆動を停止させる。なお、ワイパー１０７の駆動を開始させる条件や停止させる条件は、これに限らず適宜設定できる。例えば、閾値は固定値である必要はなく、撮像部２００が搭載される自車両周辺の状況変化等に応じて適宜変更するようにしてもよい。また、開始条件と停止条件の閾値は同じ値でも異なる値でもよい。
【００６２】
図１４は、本実施形態１における撮像フレームと雨滴検出との関係を示す説明図である。
一般には、撮像領域内に存在する路面上の白線（区画線）や他車両等の識別対象物を検出するための撮像フレーム（センシング用フレーム）と、雨滴を検出するための撮像フレーム（雨滴検出用フレーム）とが、異なる撮像フレームであることが多い。しかしながら、この場合、雨滴検出用フレームの前後のセンシング用フレームの間で時間が空くことになるため、前のセンシング用フレームの撮像時点から後のセンシング用フレームの撮像時点までの間に、識別対象物を識別するための画像を取得できない時間が存在し、識別対象物の認識精度が低下するなどの不具合を引き起こす。そこで、本実施形態１においては、図１４に示すように、識別対象物を検出するための画像（車両検出用画像領域）と雨滴２０３を検出するための雨滴検出用画像領域とを有する画像を、単一の撮像フレームｆｒａｍｅ２，４，６，８，１０，１２で得ることができる。この場合、雨滴を検出するための専用の撮像フレーム（雨滴検出用フレーム）が不要であるため、上述した不具合が生じることはない。
【００６３】
ここで、本実施形態１では、好適な車両検出用画像領域（例えばコントラストの高い画像領域）を得るために、撮像領域の状況（明るさ等）に応じて露光量を変更する自動露光補正機能による自動露光制御（ＡＥＣ）を実施している。具体的には、画像解析ユニット１０２の露光量制御部１０２Ｃにより、前撮像フレームにおける撮像画像中央部（車両検出用画像領域２１３内の画素）の輝度値に合わせて、次の撮像フレームの露光時間（露光量）を変更する自動露光制御（ＡＥＣ）を行う。
【００６４】
このような自動露光制御が実施されると、フロントガラス上の雨滴付着状況が全く同じ状況であっても、その露光時間の変更によって雨滴検出用画像領域の輝度やコントラストが変わるおそれがある。この場合、輝度やコントラスト等が異なる雨滴検出用画像領域２１４が得られる結果、雨滴量の適切な検出ができなくなり、ワイパー１０７の誤動作などの問題が生じ得る。そこで、本実施形態１では、光源部２０２からの光照射期間外で自動露光制御により露光期間が変更されるように設定している。この場合、その露光期間が変更されても画像センサ２０６による光源光の受光時間は光照射期間で一定であるため、雨滴量の適切な検出が可能であり、ワイパー１０７の誤動作などの問題を抑制できる。
【００６５】
本実施形態１では、上述したとおり、フロントガラス上に雨滴が付着することにより光源部２０２からの光源光の画像センサ２０６による受光量が減少し、雨滴検出用画像領域の輝度値が低下することを利用して、フロントガラス上の雨滴を検出する。具体的には、各雨滴検出区分ｘ内の合計輝度値ｙ（ｘ，ｔａ）と直前の合計輝度値ｙ（ｘ，ｔａ−１）との差分（以下「点灯時差分」という。）ｅｙ（ｘ，ｔａ）を雨滴変動成分とし、この雨滴変動成分から雨滴が付着したことを把握することができる。
【００６６】
本実施形態１において、点灯時差分ｅｙ（ｘ，ｔａ）＝ｙ（ｘ，ｔａ）−ｙ（ｘ，ｔａ−１）は、連続する２つの点灯時撮像フレームｆｒａｍｅ２，４，６，８，１０，１２（ｔａ＝１，２，３，４，５，６）を撮像するのに要する時間内における合計輝度値の変化量（照明時変化量）を示すものである。この点灯時差分ｅｙ（ｘ，ｔａ）を変動させる要因は、雨滴の付着あるいはワイパー１０７による雨滴の除去によって雨滴の付着量が変動したことによる要因（雨滴変動成分）のほか、画像センサ２０６に入射する外乱光の光量変化による要因（外乱光変動成分）と、この外乱光変動成分以外の要因（非外乱光変動成分）とが含まれ得る。これらの外乱光変動成分や非外乱光変動成分が点灯時差分ｅｙ（ｘ，ｔａ）の中に含まれていると、この点灯時差分を雨滴変動成分であるとして取り扱うと、雨滴の誤検出を招き、ワイパー１０７の誤動作などの問題を引き起こすおそれがある。
【００６７】
ここで、非外乱光変動成分として考えられるのは、主に、画像センサ２０６のブラックレベル補正機能によるＢＬＣ変動成分、レンズ、ミラー、プリズム等の光学部材の光学特性や光源の発光量などが温度変化によって変動して雨滴検出用画像領域の輝度値を変動させる温度変動成分、これらの光学部材の光学特性や光源の発光量などが経時劣化によって変動して雨滴検出用画像領域の輝度値を変動させる経時劣化変動成分などが挙げられる。ただし、温度変動成分や経時劣化変動成分は、その変動が非常に緩やかなものであり、これらの変動成分によって点灯時差分ｅｙ（ｘ，ｔａ）の中に有意な変化をもたらす期間は、当該点灯時差分ｅｙ（ｘ，ｔａ）を観測する変化観測期間（本実施形態１では、連続する２つの点灯時撮像フレームを撮像するのに要する時間）に比べて長いものである。したがって、点灯時差分ｅｙ（ｘ，ｔａ）を変動させる非外乱光変動成分からは、温度変動成分や経時劣化変動成分を除外して考えることができる。
そうすると、点灯時差分ｅｙ（ｘ，ｔａ）を変動させる要因（変動成分）は、雨滴変動成分を除くと、外乱光変動成分と、非外乱光変動成分のＢＬＣ変動成分だけであると考えることができる。
【００６８】
そこで、本実施形態１では、各雨滴検出区分ｘ内の合計輝度値の変化量（照明時変化量）を示す点灯時差分ｅｙ（ｘ，ｔａ）のなかに、外乱光変動成分やＢＬＣ変動成分が含まれているか否かを判定し、外乱光変動成分やＢＬＣ変動成分が含まれていない場合の点灯時差分ｅｙ（ｘ，ｔａ）を雨滴変動成分として取り扱う。これにより、外乱光変動成分や非外乱光変動成分の影響を受けずに、雨滴を適切に検出することができ、ワイパー１０７の誤動作などの問題を引き起こすことを回避できる。
【００６９】
ここで、外乱光変動成分については、例えば、次のようにして得ることができる。すなわち、本実施形態１では、図１４に示したように、一撮像フレームごとに、光源部２０２の点灯と消灯とを交互に繰り返して撮像している。具体的には、奇数の撮像フレームｆｒａｍｅ１，３，５，７，９，１１では、光源部２０２が消灯した状態で撮像された撮像画像データ（消灯時画像データ）を撮像し、偶数の撮像フレームｆｒａｍｅ２，４，６，８，１０，１２では、光源部２０２が点灯した状態で撮像された撮像画像データ（点灯時画像データ）を撮像する。
【００７０】
このとき、消灯時の撮像フレームｆｒａｍｅ１，３，５，７，９，１１（ｔｂ＝１，２，３，４，５，６）により得られる雨滴検出用画像領域の消灯時画像データは、光源部２０２からの光源光以外の外乱光のみが撮像された画像データである。なお、「ｔｂ」は、消灯時撮像フレームの撮像タイミングである。よって、直前の消灯時撮像フレームにおける各雨滴検出区分ｘ内の輝度値総和ｄ（ｘ，ｔｂ）を、それぞれ、点灯時の撮像フレームから得られる雨滴検出用画像領域の各雨滴検出区分ｘ内の合計輝度値ｙ（ｘ，ｔａ）に含まれる外乱光成分として把握することが可能である。したがって、本実施形態１では、消灯時撮像フレームにおける各雨滴検出区分ｘ内の輝度値総和ｄ（ｘ，ｔｂ）とその直前の輝度値総和ｄ（ｘ，ｔｂ−１）との差分（以下「消灯時差分」という。）ｅｄ（ｘ，ｔｂ）を外乱光変動成分とする。
【００７１】
図１５は、本実施形態１における雨滴検出処理の流れを示すフローチャートである。
画像解析ユニット１０２の光源制御部１０２Ｂは、信号処理部２０８からの画像信号の取得と連動しながら、光源部２０２の発光タイミングを制御し、まず、消灯時撮像フレームｆｒａｍｅ１，３（ｔｂ＝１，２）と点灯時撮像フレームｆｒａｍｅ２，４（ｔａ＝１，２）とを撮像する（Ｓ１）。次に、画像解析ユニット１０２の検出処理部１０２Ａは、点灯時撮像フレームｆｒａｍｅ２，４における雨滴検出用画像領域の各雨滴検出区分ｘ内の合計輝度値ｙ（ｘ，ｔａ＝１），ｙ（ｘ，ｔａ＝２）を算出する（Ｓ２）。そして、各雨滴検出区分ｘについての点灯時差分ｅｙ（ｘ，ｔａ＝２）＝ｙ（ｘ，ｔａ＝２）−ｙ（ｘ，ｔａ＝１）を算出する（Ｓ３）。
【００７２】
点灯時差分ｅｙ（ｘ，ｔａ＝２）の算出にあたり、画像解析ユニット１０２の検出処理部１０２Ａは、まず、点灯時撮像フレームｆｒａｍｅ２（ｔａ＝１）の撮像画像データを撮像ユニット１０１から取得する。検出処理部１０２Ａでは、この取得した撮像画像データから点灯時撮像フレームｆｒａｍｅ２の合計輝度値ｙ（ｘ，ｔａ＝１）を算出したら、記憶部１０２Ｄに一時的に記憶したり、その出力を遅延させたりする。その後、画像解析ユニット１０２の検出処理部１０２Ａは、次の点灯時撮像フレームｆｒａｍｅ４の撮像画像データを撮像ユニット１０１から取得して合計輝度値ｙ（ｘ，ｔａ＝２）を算出したら、一時記憶され又は遅延された前回の合計輝度値ｙ（ｘ，ｔａ＝１）を用いて、点灯時差分ｅｙ（ｘ，ｔａ＝２）を算出する。
【００７３】
次に、検出処理部１０２Ａは、このようにして算出した各雨滴検出区分ｘの点灯時差分ｅｙ（ｘ，ｔａ＝２）がそれぞれ第一差分閾値Ｅｙ未満であるか否かを判断し、点灯時差分ｅｙ（ｘ，ｔａ＝２）が第一差分閾値Ｅｙ未満である雨滴検出区分ｘの数を求める（Ｓ４）。このときの第一差分閾値Ｅｙは、雨滴の付着あるいはワイパー１０７による雨滴の除去によって雨滴の付着量が変動したときの点灯時差分ｅｙ（ｘ，ｔａ＝２）の変動量を検出できる適切な値に適宜設定される。なお、本実施形態１では、雨滴が付着すると合計輝度値が小さくなるので、雨滴が付着したときの点灯時差分ｅｙ（ｘ，ｔａ）＝ｙ（ｘ，ｔａ）−ｙ（ｘ，ｔａ−１）は負の値をとるので、第一差分閾値Ｅｙは負の値で適宜設定される。
【００７４】
なお、ここでは、各雨滴検出区分ｘ内の合計輝度値ｙ（ｘ，ｔａ）の変化量（照明時変化量）を、今回の点灯時撮像フレームの合計輝度値ｙ（ｘ，ｔａ）から、その直前の点灯時撮像フレームの合計輝度値ｙ（ｘ，ｔａ−１）を差し引いた点灯時差分ｅｙ（ｘ，ｔａ）を用いているが、これに限られない。
【００７５】
例えば、直前の点灯時撮像フレームの合計輝度値ｙ（ｘ，ｔａ−１）から今回の点灯時撮像フレームの合計輝度値ｙ（ｘ，ｔａ）を差し引いたものでもよい。この場合、本実施形態１のように雨滴が付着すると合計輝度値が小さくなるケースでは、雨滴が付着したときの点灯時差分ｅｙ（ｘ，ｔａ）＝ｙ（ｘ，ｔａ−１）−ｙ（ｘ，ｔａ）は正の値をとるので、第一差分閾値Ｅｙは正の値で適宜設定される。このとき、処理ステップＳ４では、各雨滴検出区分ｘの点灯時差分ｅｙ（ｘ，ｔａ）がそれぞれ第一差分閾値Ｅｙ以上である雨滴検出区分ｘの数を求めることになる。
【００７６】
また、例えば、直前の点灯時撮像フレームの合計輝度値ｙ（ｘ，ｔａ−１）と今回の点灯時撮像フレームの合計輝度値ｙ（ｘ，ｔａ）との差分の絶対値であってもよい。この場合、本実施形態１のように雨滴が付着すると合計輝度値が小さくなるケースでは、雨滴が付着したときの点灯時差分ｅｙ（ｘ，ｔａ）＝｜ｙ（ｘ，ｔａ）−ｙ（ｘ，ｔａ−１）｜は、正の値をとるので、第一差分閾値Ｅｙは正の値で適宜設定される。このとき、処理ステップＳ４では、各雨滴検出区分ｘの点灯時差分ｅｙ（ｘ，ｔａ）がそれぞれ第一差分閾値Ｅｙ以上である雨滴検出区分ｘの数を求めることになる。
【００７７】
なお、各雨滴検出区分ｘ内の合計輝度値ｙ（ｘ，ｔａ）の変化量（照明時変化量）を観測する変化観測期間も適宜設定できるので、連続する２つの撮像フレーム間における差分に限らず、２つ以上の離れた撮像フレーム間における差分を用いてもよい。
【００７８】
また、各雨滴検出区分ｘ内の合計輝度値ｙ（ｘ，ｔａ）の変化量（照明時変化量）は、例えば、時間的に近接する複数の合計輝度値の平均値や中央値などを用いて、時間方向に平滑化した値を利用してもよい。このように時間方向に平滑化することで、短時間に生じるパルス状のノイズを緩和したり、信号の時間的な揺らぎに起因して偶発的に照明時変化量が極端に大きくなるリスクを低減したりすることができる。
【００７９】
画像解析ユニット１０２の検出処理部１０２Ａは、点灯時差分ｅｙ（ｘ，ｔａ＝２）が第一差分閾値Ｅｙ未満である雨滴検出区分ｘの数を求めたら、求めた区分数が第一判定閾値Ｆ１を超えているか否かを判定する（Ｓ５）。この第一判定閾値Ｆ１も適宜設定することができる。求めた区分数が第一判定閾値Ｆ１以下である場合には（Ｓ５のＮｏ）、雨滴は検出されなかったとして、雨滴不検出の処理結果が画像解析ユニット１０２からワイパー制御ユニット１０６へ出力される（Ｓ１２）。これにより、ワイパー制御ユニット１０６は、ワイパー１０７の駆動を停止させるなどの制御を実施する。
【００８０】
一方、求めた区分数が第一判定閾値Ｆ１を超えている場合（Ｓ５のＹｅｓ）、雨滴の付着によって雨滴の付着量が増加したことにより点灯時差分ｅｙ（ｘ，ｔａ＝２）が変動した可能性が高い。ただし、この点灯時差分ｅｙ（ｘ，ｔａ＝２）の変動が、その点灯時差分ｅｙ（ｘ，ｔａ＝２）を算出した変化観測期間（連続する２つの点灯時撮像フレームｆｒａｍｅ２，４を撮像するのに要する時間）内に外乱光の光量が変化したことによって生じた可能性や、ブラックレベル補正機能（ＢＬＣ）による可能性もある。そこで、本実施形態１では、次に、第一差分閾値Ｅｙ未満であると判断された点灯時差分ｅｙ（ｘ，ｔａ＝２）のなかに、外乱光変動成分やＢＬＣ変動成分が含まれているか否かを判定するための処理を実施する。
【００８１】
具体的には、画像解析ユニット１０２の検出処理部１０２Ａは、まず、消灯時撮像フレームｆｒａｍｅ１，３における雨滴検出用画像領域の各雨滴検出区分ｘ内の輝度値総和ｄ（ｘ，ｔｂ＝１），ｄ（ｘ，ｔｂ＝２）を算出する（Ｓ６）。そして、各雨滴検出区分ｘについての消灯時差分ｅｄ（ｘ，ｔｂ＝２）＝ｄ（ｘ，ｔｂ＝２）−ｄ（ｘ，ｔｂ＝１）を算出する（Ｓ７）。この消灯時差分ｅｄ（ｘ，ｔｂ＝２）の算出方法は、点灯時差分ｅｙ（ｘ，ｔａ＝２）の算出方法と同様である。
【００８２】
次に、検出処理部１０２Ａは、このようにして算出した各雨滴検出区分ｘの消灯時差分ｅｄ（ｘ，ｔｂ＝２）がそれぞれ第二差分閾値Ｅｄ未満であるか否かを判断し、消灯時差分ｅｄ（ｘ，ｔｂ＝２）が第二差分閾値Ｅｄ未満である雨滴検出区分ｘの数を求める（Ｓ８）。ここで、雨滴変動成分として誤認され得る外乱光変動成分は消灯時差分ｅｄ（ｘ，ｔｂ）＝ｄ（ｘ，ｔｂ）−ｄ（ｘ，ｔｂ−１）が負の値をとる場合なので、第二差分閾値Ｅｄは負の値で適宜設定される。なお、第二差分閾値Ｅｄ未満であるか否かを判断については、上述した処理ステップＳ４において点灯時差分ｅｙ（ｘ，ｔａ＝２）が第一差分閾値Ｅｙ未満であると判断した雨滴検出区分ｘのみを対象に行うようにしても良い。
【００８３】
また、ここでは、各雨滴検出区分ｘ内の輝度値総和ｄ（ｘ，ｔｂ）の変化量（非照明時変化量）を、今回の消灯時撮像フレームの輝度値総和ｄ（ｘ，ｔｂ）から、その直前の消灯時撮像フレームの輝度値総和ｄ（ｘ，ｔｂ−１）を差し引いた消灯時差分ｅｄ（ｘ，ｔｂ）を用いているが、これに限られない。
【００８４】
例えば、直前の消灯時撮像フレームの輝度値総和ｄ（ｘ，ｔｂ−１）から今回の消灯時撮像フレームの輝度値総和ｄ（ｘ，ｔｂ）を差し引いたものでもよい。この場合、本実施形態１のように雨滴が付着すると合計輝度値が小さくなるケースにおいて雨滴変動成分として誤認され得る外乱光の光量減少時には、消灯時差分ｅｄ（ｘ，ｔｂ）＝ｄ（ｘ，ｔｂ−１）−ｄ（ｘ，ｔｂ）が正の値をとるので、第二差分閾値Ｅｄは正の値で適宜設定される。このとき、処理ステップＳ８では、各雨滴検出区分ｘの消灯時差分ｅｄ（ｘ，ｔｂ）がそれぞれ第二差分閾値Ｅｄ以上である雨滴検出区分ｘの数を求めることになる。
【００８５】
また、例えば、直前の消灯時撮像フレームの輝度値総和ｄ（ｘ，ｔｂ−１）と今回の消灯時撮像フレームの輝度値総和ｄ（ｘ，ｔｂ）との差分の絶対値であってもよい。この場合、本実施形態１のように雨滴が付着すると合計輝度値が小さくなるケースにおいて雨滴変動成分として誤認され得る外乱光の光量減少時には、消灯時差分ｅｄ（ｘ，ｔｂ）＝｜ｄ（ｘ，ｔｂ）−ｄ（ｘ，ｔｂ−１）｜は、正の値をとるので、第二差分閾値Ｅｄは正の値で適宜設定される。このとき、処理ステップＳ８では、各雨滴検出区分ｘの消灯時差分ｅｄ（ｘ，ｔｂ）がそれぞれ第二差分閾値Ｅｄ以上である雨滴検出区分ｘの数を求めることになる。
【００８６】
なお、各雨滴検出区分ｘ内の輝度値総和ｄ（ｘ，ｔｂ）の変化量（非照明時変化量）を算出する期間も適宜設定できるので、連続する２つの撮像フレーム間における差分に限らず、２つ以上の離れた撮像フレーム間における差分を用いてもよい。
【００８７】
また、消灯時差分ｅｄ（ｘ，ｔｂ）を算出する期間は、上述した点灯時差分ｅｙ（ｘ，ｔａ）を算出する変化観測期間と一致している必要はないが、この変化観測期間に近い期間に設定することが望ましい。例えば、点灯時差分ｅｙ（ｘ，ｔａ＝２）に対応する消灯時差分として、例えば、ｅｄ（ｘ，ｔｂ＝３）−ｅｄ（ｘ，ｔｂ＝２）や、ｅｄ（ｘ，ｔｂ＝３）−ｅｄ（ｘ，ｔｂ＝１）などを用いてもよい。
【００８８】
画像解析ユニット１０２の検出処理部１０２Ａは、消灯時差分ｅｄ（ｘ，ｔｂ＝２）が第二差分閾値Ｅｄ未満である雨滴検出区分ｘの数を求めたら、求めた区分数が第二判定閾値Ｆ２を超えているか否かを判定し、その判定結果（消灯時判定結果Ｈｔｂ）を、画像解析ユニット１０２の記憶部１０２Ｄに一時的に記憶する（Ｓ９）。なお、この第二判定閾値Ｆ２も適宜設定することができる。
【００８９】
その後、画像解析ユニット１０２の検出処理部１０２Ａは、記憶部１０２Ｄから、過去の消灯時判定結果Ｈｔｂ−２を読み出し（Ｓ１０）、その消灯時判定結果Ｈｔｂ−２において、過去の処理ステップＳ８で求めた区分数（すなわち、消灯時差分ｅｄ（ｘ，ｔｂ−２）＜第二差分閾値Ｅｄを満たす区分数）が第二判定閾値Ｆ２以下であることを示している場合には（Ｓ１１のＮｏ）、上述した第一差分閾値Ｅｙ未満である点灯時差分ｅｙ（ｘ，ｔａ＝２）は、外乱光の光量変化に起因したものではなく、また、ブラックレベル補正機能に起因したものでもなく、雨滴の付着によって雨滴の付着量が増加したことに起因したものであると判断する。よって、雨滴が検出されたものとして、雨滴検出の処理結果が画像解析ユニット１０２からワイパー制御ユニット１０６へ出力される（Ｓ１３）。これにより、ワイパー制御ユニット１０６は、ワイパー１０７の駆動を開始するなどの制御を実施する。
【００９０】
一方、記憶部１０２Ｄから読み出した過去の消灯時判定結果Ｈｔｂ−２において、過去の処理ステップＳ８で求めた区分数が第二判定閾値Ｆ２を超えていることを示している場合には（Ｓ１１のＹｅｓ）、上述した第一差分閾値Ｅｙ未満である点灯時差分ｅｙ（ｘ，ｔａ＝２）は、外乱光の光量変化に起因したもの又はブラックレベル補正機能に起因したものである可能性が高い。よって、雨滴は検出されなかったとして、雨滴不検出の処理結果が画像解析ユニット１０２からワイパー制御ユニット１０６へ出力される（Ｓ１２）。これにより、ワイパー制御ユニット１０６は、ワイパー１０７の駆動を停止させるなどの制御を実施する。
【００９１】
ここで、本実施形態では、今回の処理ステップＳ８で求めた区分数が第二判定閾値Ｆ２を超えているか否かの判定結果を用いず、過去の処理ステップＳ８（ここでは２回前の処理ステップＳ８）で求めた区分数が第二判定閾値Ｆ２を超えているか否かの判定結果を用いている。これは、ブラックレベル補正機能によるＢＬＣ変動成分を適切に把握するためである。以下、詳しく説明する。
【００９２】
図１６は、点灯時に画像センサ２０６から出力される出力信号（雨滴検出用画像領域の輝度値）がブラックレベル補正機能により変動した例を示すグラフである。
逆行などの強い外乱光が画像センサ２０６に入力すると、ブラックレベル補正機能が発揮される。これにより、画像センサ２０６から出力される出力信号は、画像センサ２０６が実際に受光する受光量が一定であっても、ブラックレベル補正機能によるレベル補正後の目標値に向けて徐々に変化する。図１６に示す例では、時刻ｔ１にレベル補正が開始されて、画像センサ２０６の点灯時の出力信号はＶｏｎ１から徐々に低下し、レベル補正が完了する時刻ｔ３で目標値であるＶｏｎ２となる。この例では、時刻ｔ４までレベル補正が継続されるので、時刻ｔ３から時刻ｔ４までの間、点灯時の出力信号はＶｏｎ２で一定となる。その後、時刻ｔ４にレベル補正が終了すると、画像センサ２０６の点灯時の出力信号はＶｏｎ２から徐々に上昇し、レベル補正の終了が完了する時刻ｔ６で目標値であるＶｏｎ１に戻る。
【００９３】
この例において、時刻ｔ１から時刻ｔ３までの間においては、点灯時の合計輝度値ｙ（ｘ，ｔａ）が徐々に低下することになるため、例えば雨滴が付着していないのに、第一差分閾値Ｅｙ未満である点灯時差分ｅｙ（ｘ，ｔａ）の区分数が第一判定閾値Ｆ１を超えるという雨滴検出条件を満たし、雨滴が検出されたという雨滴検出の結果が誤ってワイパー制御ユニットへ出力されてしまうおそれがある。逆に、雨滴が付着したのに、第一差分閾値Ｅｙ未満である点灯時差分ｅｙ（ｘ，ｔａ）の区分数が第一判定閾値Ｆ１を超えるという雨滴検出条件を満たさず、雨滴が検出されていないという雨滴不検出の結果が誤ってワイパー制御ユニットへ出力されてしまうおそれがある。
【００９４】
図１７は、消灯時に画像センサ２０６から出力される出力信号（雨滴検出用画像領域の輝度値）がブラックレベル補正機能により変動した例を示すグラフである。
消灯時における画像センサ２０６の出力信号は、外乱光の入射等によって、わずかながらも出力値Ｖｏｆｆ１を持つ。図１７に示す例も、図１６の例と同じタイミングでブラックレベル補正機能によるレベル補正が行われている。そのため、時刻ｔ１にレベル補正が開始されることで、消灯時における画像センサ２０６の出力信号はＶｏｆｆ１から徐々に低下する。ところが、消灯時における画像センサ２０６の出力信号はもともとの値が低いことから、点灯時における画像センサ２０６の出力信号についてのレベル補正が完了する時刻ｔ３になる前の時刻ｔ２の時点で底打ちしてゼロになり、その後は、ゼロで一定となる。一方、消灯時における画像センサ２０６の出力信号は、時刻ｔ４にレベル補正が終了しても、すぐには上昇せず、時刻ｔ４よりも後の時刻ｔ５の時点になってゼロから上昇し始める。そして、レベル補正の終了が完了する時刻ｔ６で目標値であるＶｏｆｆ１に戻る。
【００９５】
仮に、ブラックレベル補正機能によるレベル補正による消灯時の出力信号の変動が点灯時の出力信号と同じ変動を示す場合、すなわち、消灯時の出力信号も、レベル補正が完了する時刻ｔ３まで低下し続け、また、レベル補正の終了する時刻ｔ４から上昇を開始すれば、当該消灯時の出力信号の変動から、当該消灯時の直前又は直後の点灯時の出力信号にもレベル補正による変動が生じていることを把握できる。よって、今回の処理ステップＳ８で求めた区分数が第二判定閾値Ｆ２を超えているか否かの判定結果から、今回の処理ステップＳ５の判定結果（すなわち、今回の点灯時差分ｅｙ（ｘ，ｔａ）の区分数が第一判定閾値Ｆ１を超えるという雨滴検出条件を満たすか否かの判定結果）がレベル補正の誤差を含んでいるかどうかを適切に把握することは可能である。
【００９６】
しかしながら、図１７に示すように、ブラックレベル補正機能によるレベル補正による消灯時の出力信号の変動は点灯時の出力信号と同じ変動を示さない。すなわち、消灯時の出力信号は、レベル補正が完了する時刻ｔ３よりも前の時刻ｔ２の時点でゼロになってしまい、その後はゼロのまま一定値をとる。そのため、時刻ｔ２から時刻ｔ３までの間は、雨滴が付着していないのに、レベル補正により点灯時の合計輝度値ｙ（ｘ，ｔａ）については徐々に低下するので、第一差分閾値Ｅｙ未満である点灯時差分ｅｙ（ｘ，ｔａ）の区分数が第一判定閾値Ｆ１を超えるという雨滴検出条件を満たす一方（Ｓ５のＹｅｓ）、消灯時の輝度値総和ｄ（ｘ，ｔｂ）についてはレベル補正中でもゼロで一定になっている。よって、第二差分閾値Ｅｄ未満である消灯時差分ｅｄ（ｘ，ｔｂ）の区分数が第二判定閾値Ｆ２以下であるという消灯時判定結果Ｈｔｂが出され、処理ステップＳ５の判断結果は、外乱光やレベル補正の影響を受けていないと判断される結果、雨滴が検出されたという雨滴検出の結果が誤ってワイパー制御ユニットへ出力されてしまう。
【００９７】
これに対し、本実施形態においては、処理ステップＳ５の判断結果が外乱光やブラックレベル補正機能によるレベル補正の影響を受けているか否かの判断は、過去（２回前）の処理ステップＳ６〜Ｓ８によって判定された消灯時判定結果Ｈｔｂ−２を読み出して（Ｓ１０）、その消灯時判定結果Ｈｔｂ−２を用いて行う（Ｓ１１）。これにより、時刻ｔ２から時刻ｔ３までの間における処理ステップＳ５の判断結果については、時刻ｔ１から時刻ｔ２までの間における消灯時の輝度値総和ｄ（ｘ，ｔｂ−２）、すなわち、レベル補正により徐々に低下している消灯時の輝度値総和ｄ（ｘ，ｔｂ−２）を用いることができる。その結果、この消灯時の輝度値総和ｄ（ｘ，ｔｂ−２）から算出される消灯時差分ｅｄ（ｘ，ｔｂ−２）が第二差分閾値Ｅｄ未満である区分数が第二判定閾値Ｆ２を超えているという消灯時判定結果Ｈｔｂ−２が出されることになる。その結果、処理ステップＳ５の判断結果は、外乱光やレベル補正の影響を受けていると判断され、雨滴が検出されていないという雨滴不検出の結果が正しくワイパー制御ユニットへ出力される。
【００９８】
以上、本実施形態１よれば、ブラックレベル補正機能によるレベル補正の影響によって、実際には雨滴量が増加していないのに（雨が降っていないのに）、雨滴が検出されたという雨滴検出の結果が誤ってワイパー制御ユニットへ出力され、ワイパーが誤って動作してしまう事態を回避できる。      
【００９９】
なお、本実施形態１では、今回の点灯時の合計輝度値に基づく判断結果（Ｓ５）についてのレベル補正の影響を過去の消灯時判定結果Ｈｔｂ−２を用いて判断しているが、過去の点灯時の合計輝度値に基づく判断結果についてのレベル補正の影響を、今回の消灯時判定結果Ｈｔｂを用いて判断してもよい。この場合、実際には雨滴量が減少していないのに、雨滴が検出されていないという雨滴不検出の結果が誤って出力されるような事態を回避できる。
【０１００】
詳しくは、図１６に示すように、時刻ｔ４から時刻ｔ５までの間は、雨滴量が減少していなくても、レベル補正によって点灯時の合計輝度値ｙ（ｘ，ｔａ）が徐々に上昇する一方、消灯時の出力信号は、図１７に示すように、時刻ｔ４よりも後の時刻ｔ５の時点まではゼロのまま一定であり、時刻ｔ５になってゼロから上昇し始める。そのため、時刻ｔ４から時刻ｔ５までの間の点灯時の合計輝度値ｙ（ｘ，ｔａ）についてのレベル補正の影響は、時刻ｔ４から時刻ｔ５までの間の消灯時の輝度値総和ｄ（ｘ，ｔｂ）を用いて判断することができない。このとき、過去の点灯時の合計輝度値に基づく判断結果についてのレベル補正の影響を、今回の消灯時判定結果Ｈｔｂを用いて判断するようにすれば、時刻ｔ４から時刻ｔ５までの間の点灯時の合計輝度値ｙ（ｘ，ｔａ−２）についてのレベル補正の影響を、時刻ｔ５から時刻ｔ６までの間の消灯時の輝度値総和ｄ（ｘ，ｔｂ）を用いて判断することが可能となる。時刻ｔ５から時刻ｔ６までの間の消灯時の輝度値総和ｄ（ｘ，ｔｂ）は、レベル補正により徐々に上昇するので、時刻ｔ４から時刻ｔ５までの間の点灯時の合計輝度値ｙ（ｘ，ｔａ−２）についてのレベル補正の影響を適切に判断することができる。
【０１０１】
また、本実施形態では、点灯時の合計輝度値に基づく判断結果は今回の処理時のものを用いているが、過去の処理時のものを用いてもよい。この場合、点灯時の合計輝度値に基づく点灯時判定結果Ｈｔａと消灯時の輝度値総和に基づく消灯時判定結果Ｈｔｂの両方とも一時的に記憶部１０２Ｄへ記憶しておき、後の処理時においては、点灯時判定結果Ｈｔａ−１と消灯時の輝度値総和に基づく消灯時判定結果Ｈｔｂ−３を読み出して用いればよい。
【０１０２】
また、本実施形態では、時刻ｔ６直後の期間において、処理ステップＳ５の判断結果が外乱光やレベル補正の影響を受けているか否かの判断が、時刻ｔ５から時刻ｔ６までの間における消灯時の輝度値総和、すなわち、レベル補正により徐々に低下している消灯時の輝度値総和が用いられる。そのため、当該処理ステップＳ５の判断結果は、レベル補正の影響を受けていないものであるが、外乱光やレベル補正の影響を受けていると判断され、実際には雨滴量が増加している場合でも、雨滴が検出されていないという雨滴不検出の結果がワイパー制御ユニットへ出力されることになる。ただし、この場合でも、しばらくして時刻ｔ６以降の消灯時の輝度値総和を用いて消灯時判定がなされることで、雨滴が検出されたという雨滴検出の結果がワイパー制御ユニットへ出力されることになる。すなわち、雨滴量が増加し始めてから少し遅れてワイパーが動作することにはなるだけで、実質的な弊害は少ない。
【０１０３】
また、本実施形態では、画像センサ２０６のブラックレベル補正機能によるレベル補正に起因した誤検出又は検出漏れを抑制する例について説明したが、画像センサ２０６の自動露光補正機能などの他の原因によって、消灯時の輝度値総和は一定なのに点灯時の合計輝度値に変動が生じ、これにより誤検出又は検出漏れが生じ得る場合には、そのような誤検出又は検出漏れも同様に抑制することが可能である。したがって、画像のダイナミックレンジを有効活用するために行われる明度補正やコントラスト補正などによるレベル補正であっても同様である。
【０１０４】
以上は、点灯時撮像フレームｆｒａｍｅ４（ｔａ＝２）の撮像完了後に実施される雨滴検出処理であるが、この雨滴検出処理が完了したら、次に、点灯時撮像フレームｆｒａｍｅ６（ｔａ＝３）の撮像完了後に同様の雨滴検出処理が繰り返し実施される。なお、このときの点灯時差分はｅｙ（ｘ，ｔａ＝３）＝ｙ（ｘ，ｔａ＝３）−ｙ（ｘ，ｔａ＝２）であり、消灯時差分はｅｄ（ｘ，ｔｂ＝３）＝ｄ（ｘ，ｔｂ＝３）−ｄ（ｘ，ｔｂ＝２）である。このようにして、雨滴検出処理は、雨滴の付着を検出する機能が有効になっている間は、繰り返し実施される。ただし、雨滴検出処理の実施タイミングは、任意に設定でき、点灯時撮像フレームｆｒａｍｅ６（ｔａ＝３）の撮像完了後に、毎回、雨滴検出処理を実施するのではなく、例えば、点灯時撮像フレームｆｒａｍｅ６（ｔａ＝３）の撮像が２回以上の行われるたびに雨滴検出処理を実施するようにしてもよい。
【０１０５】
また、本実施形態１において、雨滴の検出条件として、点灯時差分ｅｙ（ｘ，ｔａ）が第一差分閾値Ｅｙ未満である雨滴検出区分ｘの数が第一判定閾値Ｆ１を超えているという条件を含んでいるが、雨滴の検出条件には、この条件に代えて又はこの条件に加えて、他の条件を採用してもよい。例えば、全雨滴検出区分ｘの点灯時差分ｅｙ（ｘ，ｔａ）の平均値や分散値を導出し、その導出値が所定の閾値を上回る又は下回るという条件を採用してもよい。この条件は、局所的に生じるノイズに対する耐性を高めることができる点で有効である。
【０１０６】
また、各雨滴検出区分ｘ内の合計輝度値ｙ（ｘ，ｔａ）の変化量（照明時変化量）として、各雨滴検出区分ｘ内の今回の合計輝度値ｙ（ｘ，ｔａ）と直前の合計輝度値ｙ（ｘ，ｔａ−１）との差分である点灯時差分ｅｙ（ｘ，ｔａ）とは別のパラメータを用いた条件を採用してもよい。
例えば、各雨滴検出区分ｘ内における個々の画素について今回の画素値と直前の画素値間の画素別差分値を導出し、その画素別差分値が所定の閾値を上回る又は下回る画素の個数を、点灯時差分ｅｙ（ｘ，ｔａ）に代わるパラメータとして用いてもよい。この場合、各雨滴検出区分ｘ内において局所的に雨滴が付着した場合でも、雨滴を適切に検出することが可能となる点で有効である。
【０１０７】
また、例えば、各雨滴検出区分ｘ内における画素別差分値の平均値や分散値を導出し、その導出値が所定の閾値を上回る又は下回るという条件を採用してもよい。この条件は、各雨滴検出区分ｘ内において局所的に生じるノイズに対する耐性を高めることができる点で有効である。ただし、画素別差分値は、局所的に正負が逆転した結果が得られる場合があり、単に画素別差分値の平均値等から雨滴検出条件を判断すると、雨滴変動成分が不当に小さく評価されるおそれがある。したがって、例えば、各雨滴検出区分ｘ内における画素別差分値の絶対値の合計が所定の閾値を上回るという条件を採用してもよい。
【０１０８】
なお、雨滴は、空間的なばらつきをもって付着することから、各雨滴検出区分ｘ内における画素別差分値も同様に空間的なばらつきが生じる。よって、各雨滴検出区分ｘ内における画素別差分値の分散値からも、雨滴検出条件を判断することができる。また、後述する実施形態２のように、雨滴によって光源光が屈折されたり反射されたりする場合、光源光が画像センサ２０６上に局所的に集光され、各雨滴検出区分ｘ内における画素別差分値が局所的に上昇する場合がある。これを雨滴検出条件に反映させてもよい。
【０１０９】
また、本実施形態１では、雨滴が検出されたか否かの判断を行う例であるが、点灯時差分ｅｙ（ｘ，ｔａ）に基づいて単位時間当たりに付着する雨滴量を推定し、推定した雨滴量を雨滴検出の結果として出力してもよい。この場合、例えば、ワイパー制御ユニット１０６は、画像解析ユニット１０２から取得した雨滴量に応じてワイパー１０７の動作速度（Low, High, Intervalなどの動作モード）を選択する制御を実行することが可能となる。
【０１１０】
〔変形例１〕
次に、本実施形態１の一変形例（以下、本変形例を「変形例１」という。）について説明する。
上述した実施形態１では、点灯時における各雨滴検出区分ｘの合計輝度値ｙ（ｘ，ｔａ）の変化量（照明時変化量）である点灯時差分ｅｙ（ｘ，ｔａ）が雨滴検出条件を満たすか否かを判断しているが（Ｓ３〜Ｓ５）、本変形例１では、このような点灯時差分ｅｙ（ｘ，ｔａ）を算出せず、点灯時における各雨滴検出区分ｘの合計輝度値ｙ（ｘ，ｔａ）が雨滴検出条件を満たすか否かを判断する。
【０１１１】
図１８は、本変形例１における雨滴検出処理の流れを示すフローチャートである。
画像解析ユニット１０２の検出処理部１０２Ａは、雨滴検出用画像領域の各雨滴検出区分ｘ内の合計輝度値ｙ（ｘ，ｔａ＝１）を算出したら（Ｓ１，Ｓ２）、算出した各雨滴検出区分ｘの合計輝度値ｙ（ｘ，ｔａ＝１）がそれぞれ第三差分閾値Ｅｙ’未満であるか否かを判断し、合計輝度値ｙ（ｘ，ｔａ＝１）が第三差分閾値Ｅｙ’未満である雨滴検出区分ｘの数を求める（Ｓ３１）。上述したとおり、合計輝度値ｙ（ｘ，ｔａ）の値は雨滴の付着量が増えるほど小さくなることを考慮して、第三差分閾値Ｅｙ’は、雨滴が所定量以上付着したことを検出できる適切な値に適宜設定される。
【０１１２】
画像解析ユニット１０２の検出処理部１０２Ａは、合計輝度値ｙ（ｘ，ｔａ＝１）が第三差分閾値Ｅｙ’未満である雨滴検出区分ｘの数を求めたら、求めた区分数が第三判定閾値Ｆ１’を超えているか否かを判定する（Ｓ３２）。この第三判定閾値Ｆ１’も適宜設定することができる。求めた区分数が第三判定閾値Ｆ１’以下である場合には（Ｓ３２のＮｏ）、雨滴は検出されなかったとして、雨滴不検出の処理結果が画像解析ユニット１０２からワイパー制御ユニット１０６へ出力される（Ｓ１２）。これにより、ワイパー制御ユニット１０６は、ワイパー１０７の駆動を停止させるなどの制御を実施する。
【０１１３】
一方、求めた区分数が第三判定閾値Ｆ１’を超えている場合（Ｓ３２のＹｅｓ）、雨滴が所定量以上付着したことにより合計輝度値ｙ（ｘ，ｔａ＝１）が第三差分閾値Ｅｙ’未満の値をとった可能性が高い。ただし、この合計輝度値ｙ（ｘ，ｔａ＝１）の値が、外乱光による可能性又はブラックレベル補正機能（ＢＬＣ）による可能性もある。そこで、本変形例１でも、上述した実施形態１と同様に、第三差分閾値Ｅｙ’未満であると判断された合計輝度値ｙ（ｘ，ｔａ＝１）に、外乱光成分やＢＬＣ成分が含まれているか否かを判定するための処理を実施する。
【０１１４】
具体的には、画像解析ユニット１０２の検出処理部１０２Ａは、まず、雨滴検出用画像領域の各雨滴検出区分ｘ内の輝度値総和ｄ（ｘ，ｔｂ＝０），ｄ（ｘ，ｔｂ＝１）を算出し（Ｓ６）、各雨滴検出区分ｘについての消灯時差分ｅｄ（ｘ，ｔｂ＝１）＝ｄ（ｘ，ｔｂ＝１）−ｄ（ｘ，ｔｂ＝０）を算出する（Ｓ７）。そして、算出した各雨滴検出区分ｘの消灯時差分ｅｄ（ｘ，ｔｂ＝１）がそれぞれ第二差分閾値Ｅｄ未満であるか否かを判断し、消灯時差分ｅｄ（ｘ，ｔｂ＝１）が第二差分閾値Ｅｄ未満である雨滴検出区分ｘの数を求める（Ｓ８）。
【０１１５】
画像解析ユニット１０２の検出処理部１０２Ａは、消灯時差分ｅｄ（ｘ，ｔｂ＝１）が第二差分閾値Ｅｄ未満である雨滴検出区分ｘの数を求めたら、求めた区分数が第二判定閾値Ｆ２を超えているか否かを判定し、その判定結果（消灯時判定結果Ｈｔｂ）を、画像解析ユニット１０２の記憶部１０２Ｄに一時的に記憶する（Ｓ９）。その後、画像解析ユニット１０２の検出処理部１０２Ａは、記憶部１０２Ｄから、過去の消灯時判定結果Ｈｔｂ−２を読み出し（Ｓ１０）、その消灯時判定結果Ｈｔｂ−２において、過去の処理ステップＳ８で求めた区分数（すなわち、消灯時差分ｅｄ（ｘ，ｔｂ−２）＜第二差分閾値Ｅｄを満たす区分数）が第二判定閾値Ｆ２以下であることを示している場合には（Ｓ１１のＮｏ）、上述した第三差分閾値Ｅｙ’未満である合計輝度値ｙ（ｘ，ｔａ＝１）は、外乱光やブラックレベル補正機能の影響を受けておらず、雨滴が所定量以上付着したことに起因したものであると判断する。よって、雨滴が検出されたものとして、雨滴検出の処理結果が画像解析ユニット１０２からワイパー制御ユニット１０６へ出力される（Ｓ１３）。これにより、ワイパー制御ユニット１０６は、ワイパー１０７の駆動を開始するなどの制御を実施する。
【０１１６】
一方、記憶部１０２Ｄから読み出した過去の消灯時判定結果Ｈｔｂ−２において、過去の処理ステップＳ８で求めた区分数が第二判定閾値Ｆ２を超えていることを示している場合には（Ｓ１１のＹｅｓ）、上述した第三差分閾値Ｅｙ’未満である合計輝度値ｙ（ｘ，ｔａ＝１）は、外乱光やブラックレベル補正機能に起因したものである可能性が高い。よって、雨滴は検出されなかったとして、雨滴不検出の処理結果が画像解析ユニット１０２からワイパー制御ユニット１０６へ出力される（Ｓ１２）。これにより、ワイパー制御ユニット１０６は、ワイパー１０７の駆動を停止させるなどの制御を実施する。
【０１１７】
なお、本変形例１において、今回の処理ステップＳ８で求めた区分数が第二判定閾値Ｆ２を超えているか否かの判定結果を用いず、過去の処理ステップＳ８（ここでは２回前の処理ステップＳ８）で求めた区分数が第二判定閾値Ｆ２を超えているか否かの判定結果を用いている理由は、上述した実施形態１と同様である。
【０１１８】
本変形例１によれば、各雨滴検出区分ｘ内の合計輝度値ｙ（ｘ，ｔａ）の変化量（照明時変化量）を算出する必要がないことから、処理ステップを簡略化できるというメリットがある。ただし、点灯時における各雨滴検出区分ｘの合計輝度値ｙ（ｘ，ｔａ）を変動させる成分として、上述したように、レンズ、ミラー、プリズム等の光学部材の光学特性や光源の発光量などが温度変化によって変動して雨滴検出用画像領域の輝度値を変動させる温度変動成分や、これらの光学部材の光学特性や光源の発光量などが経時劣化によって変動して雨滴検出用画像領域の輝度値を変動させる経時劣化変動成分なども存在する。上述した実施形態１のように、点灯時差分ｅｙ（ｘ，ｔａ）を算出し、これを用いて雨滴検出条件を判断すれば、これらの温度変動成分や経時劣化変動成分の影響を除外できるが、本変形例１では、これらの温度変動成分や経時劣化変動成分の影響を受けることになるため、これらの温度変動成分や経時劣化変動成分の影響が大きいシステムにおいては、上述した実施形態１の方が高精度な雨滴検出が可能である。
【０１１９】
〔実施形態２〕
次に、本発明に係る物体検出装置を、上述した実施形態１と同様、車載機器制御システムに用いられる付着物検出装置に適用した他の実施形態（以下、本実施形態を「実施形態２」という。）について説明する。
上述した実施形態１においては、反射偏向プリズム２３０を用い、雨滴の付着箇所では照明光がフロントガラス外壁面を透過し、雨滴の非付着箇所では照明光がフロントガラス外壁面で反射して画像センサ２０６に受光される構成であった。これに対し、本実施形態２は、雨滴の非付着箇所では照明光がフロントガラス外壁面を透過し、雨滴の付着箇所ではフロントガラス外壁面を透過した照明光が雨滴で反射して画像センサ２０６に受光される構成である。具体的には、図１９に示すような構成である。
【０１２０】
なお、図１９の例では、光源部２０２から出射した照明光が直接フロントガラス１０５の内壁面に入射する構成となっているが、ミラー等の光路変更部材を介する構成としてもよい。この場合、上述した実施形態１と同様に、センサ基板２０７上に光源装置としての光源部２０２を実装することが可能となる。
【０１２１】
図１９中の光線Ａは、光源部２０２から出射してフロントガラス１０５を通過する光線である。フロントガラス１０５の外壁面に雨滴２０３が付着していない場合、光源部２０２からフロントガラス１０５に向けて照射された光は、光線Ａのように、フロントガラス１０５を透過してそのまま自車両１００の外部に漏れ出る。
【０１２２】
図１９中の光線Ｂは、光源部２０２からの出射光がフロントガラス１０５の内壁面で正反射して撮像部２００へ入射する光線である。光源部２０２からフロントガラス１０５へ向かう光の一部はフロントガラス１０５の内壁面で正反射する。この正反射光（光線Ｂ）の偏光成分は、一般に、その入射面に対して直交する方向（図１９の紙面に対して垂直な方向）に振動するＳ偏光成分（水平偏光成分Ｓ）が支配的であることが知られている。光源部２０２から照射されてフロントガラス１０５の内壁面で正反射した正反射光（光線Ｂ）は、フロントガラス１０５の外壁面に付着する雨滴２０３の有無によって変動しないので、雨滴検出に不要な光であるばかりか、雨滴検出の検出精度を低下させる外乱光となる。本実施形態２では、この光線Ｂ（水平偏光成分Ｓ）をカットする偏光フィルタ層を光学フィルタ２０５に設け、この光線Ｂによって雨滴検出精度が低下することを抑制している。
【０１２３】
図１９中の光線Ｃは、光源部２０２からの出射光がフロントガラス１０５の内壁面を透過し、その後、フロントガラス１０５の外壁面に付着する雨滴で反射して撮像部２００へ入射する光線である。光源部２０２からフロントガラス１０５へ向かう光の一部はフロントガラス１０５の内壁面を透過するが、その透過光は水平偏光成分Ｓよりも鉛直偏光成分Ｐの方が多い。そして、フロントガラス１０５の外壁面上に雨滴２０３が付着している場合、フロントガラス１０５の内壁面を透過した光は、前記光線Ａのように外部へ漏れ出ずに、雨滴内部で多重反射して撮像部２００側に向けて再度フロントガラス１０５内を透過し、撮像部２００に入射する。このとき、撮像部２００の光学フィルタ２０５における前段フィルタ２１０の赤外光透過フィルタ領域２１２は、光源部２０２の発光波長（赤外光）を透過させるように構成されているので、光線Ｃは赤外光透過フィルタ領域２１２を通過する。また、上述した光線Ｂ（水平偏光成分Ｓ）をカットする偏光フィルタ層は、鉛直偏光成分Ｐを透過するようにワイヤーグリッド構造の金属ワイヤーの長手方向が形成されているため、光線Ｃは当該偏光フィルタ層も透過する。よって、光線Ｃは、画像センサ２０６に到達し、その受光量によって雨滴の検出が行われる。
【０１２４】
図１９中の光線Ｄは、フロントガラス１０５の外部からフロントガラス１０５を透過して撮像部２００に向かって入射してくる光線である。この光線Ｄも雨滴検出時の外乱光となり得るが、本実施形態２では、その光線Ｄの大部分が、光学フィルタ２０５における前段フィルタ２１０の赤外光透過フィルタ領域２１２によってカットされる。よって、この光線Ｄによって雨滴検出精度が低下することも抑制できる。
【０１２５】
図１９中の光線Ｅは、フロントガラス１０５の外部からフロントガラス１０５を透過して撮像部２００に向かって入射してくる光線である。この光線Ｅは、光学フィルタ２０５における前段フィルタ２１０の赤外光カットフィルタ領域２１１によって赤外光帯域がカットされ、可視域の光のみが撮像される。この撮像画像は、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の検出などに利用される。
【０１２６】
本実施形態２においては、雨滴によって屈折されたり反射されたりした光源光が画像センサ２０６に入射するため、撮像画像データの雨滴検出用画像領域２１４は、フロントガラス１０５の外壁面に雨滴が付着していない非付着箇所は低輝度な画像部分（低い画素値）となる一方、雨滴が付着している付着箇所は高輝度な画像部分（高い画素値）となる点で、上述した実施形態１とは異なるが、このような違いを考慮して各種閾値等を設定することで、上述した実施形態１と同様の処理を実現できる。
【０１２７】
図２０は、本実施形態２における雨滴検出処理の流れを示すフローチャートである。
なお、以下の説明では、上述した実施形態１と同様の部分についての説明は省略し、上述した実施形態１とは異なる部分を中心に説明する。
画像解析ユニット１０２の検出処理部１０２Ａは、まず、各雨滴検出区分ｘについての点灯時差分ｅｙ（ｘ，ｔａ＝２）を算出する（Ｓ１〜Ｓ３）。そして、算出した各雨滴検出区分ｘの点灯時差分ｅｙ（ｘ，ｔａ＝２）がそれぞれ第一差分閾値Ｅｙ未満であるか否かを判断し、点灯時差分ｅｙ（ｘ，ｔａ＝２）が第一差分閾値Ｅｙ未満である雨滴検出区分ｘの数を求める（Ｓ４）。
【０１２８】
ただし、本実施形態２のように雨滴が付着すると合計輝度値が大きくなるケースでは、雨滴が付着したときの点灯時差分ｅｙ（ｘ，ｔａ）＝ｙ（ｘ，ｔａ）−ｙ（ｘ，ｔａ−１）は正の値をとるので、第一差分閾値Ｅｙは正の値で適宜設定される。このとき、処理ステップＳ４では、各雨滴検出区分ｘの点灯時差分ｅｙ（ｘ，ｔａ）がそれぞれ第一差分閾値Ｅｙ以上である雨滴検出区分ｘの数を求めることになる。
【０１２９】
また、例えば、各雨滴検出区分ｘ内の合計輝度値ｙ（ｘ，ｔａ）の変化量（照明時変化量）として、例えば、直前の点灯時撮像フレームの合計輝度値ｙ（ｘ，ｔａ−１）から今回の点灯時撮像フレームの合計輝度値ｙ（ｘ，ｔａ）を差し引いたものを用いる場合、本実施形態２のように雨滴が付着すると合計輝度値が大きくなるケースでは、雨滴が付着したときの点灯時差分ｅｙ（ｘ，ｔａ）＝ｙ（ｘ，ｔａ−１）−ｙ（ｘ，ｔａ）は負の値をとるので、第一差分閾値Ｅｙは負の値で適宜設定される。このとき、処理ステップＳ４では、各雨滴検出区分ｘの点灯時差分ｅｙ（ｘ，ｔａ）がそれぞれ第一差分閾値Ｅｙ未満である雨滴検出区分ｘの数を求めることになる。
【０１３０】
また、例えば、各雨滴検出区分ｘ内の合計輝度値ｙ（ｘ，ｔａ）の変化量（照明時変化量）として、直前の点灯時撮像フレームの合計輝度値ｙ（ｘ，ｔａ−１）と今回の点灯時撮像フレームの合計輝度値ｙ（ｘ，ｔａ）との差分の絶対値を用いる場合、本実施形態２のように雨滴が付着すると合計輝度値が大きくなるケースでも、雨滴が付着したときの点灯時差分ｅｙ（ｘ，ｔａ）＝｜ｙ（ｘ，ｔａ）−ｙ（ｘ，ｔａ−１）｜は、正の値をとるので、第一差分閾値Ｅｙは正の値で適宜設定される。このとき、処理ステップＳ４では、各雨滴検出区分ｘの点灯時差分ｅｙ（ｘ，ｔａ）がそれぞれ第一差分閾値Ｅｙ以上である雨滴検出区分ｘの数を求めることになる。
【０１３１】
画像解析ユニット１０２の検出処理部１０２Ａは、点灯時差分ｅｙ（ｘ，ｔａ＝２）が第一差分閾値Ｅｙ未満である雨滴検出区分ｘの数を求めたら、求めた区分数が第一判定閾値Ｆ１を超えているか否かを判定し、その判定結果（点灯時判定結果Ｈｔａ）を、画像解析ユニット１０２の記憶部１０２Ｄに一時的に記憶する（Ｓ２１）。
【０１３２】
その後、画像解析ユニット１０２の検出処理部１０２Ａは、記憶部１０２Ｄから、過去の点灯時判定結果Ｈｔａ−２を読み出し（Ｓ２２）、その点灯時判定結果Ｈｔａ−２において、過去の処理ステップＳ４で求めた区分数（すなわち、点灯時差分ｅｙ（ｘ，ｔａ−２）が第一差分閾値Ｅｙ未満である区分数）が第三判定閾値Ｆ１’以下であることを示している場合には（Ｓ２３のＮｏ）、雨滴は検出されなかったとして、雨滴不検出の処理結果が画像解析ユニット１０２からワイパー制御ユニット１０６へ出力される（Ｓ１２）。これにより、ワイパー制御ユニット１０６は、ワイパー１０７の駆動を停止させるなどの制御を実施する。
【０１３３】
一方、記憶部１０２Ｄから読み出した過去の点灯時判定結果Ｈｔａ−２において、過去の処理ステップＳ４で求めた区分数が第三判定閾値Ｆ１’を超えていることを示している場合には（Ｓ２３のＹｅｓ）、雨滴の付着によって雨滴の付着量が増加したことにより点灯時差分ｅｙ（ｘ，ｔａ−２）が変動した可能性が高い。ただし、この点灯時差分ｅｙ（ｘ，ｔａ−２）の変動が、外乱光やブラックレベル補正機能（ＢＬＣ）のレベル補正に起因したものである可能性もある。そこで、本実施形態２では、次に、当該点灯時差分ｅｙ（ｘ，ｔａ−２）のなかに、外乱光変動成分やＢＬＣ変動成分が含まれているか否かを判定するための処理を実施する。
【０１３４】
具体的には、画像解析ユニット１０２の検出処理部１０２Ａは、まず、消灯時撮像フレームｆｒａｍｅ１，３における雨滴検出用画像領域の各雨滴検出区分ｘ内の輝度値総和ｄ（ｘ，ｔｂ＝１），ｄ（ｘ，ｔｂ＝２）を算出する（Ｓ６）。そして、各雨滴検出区分ｘについての消灯時差分ｅｄ（ｘ，ｔｂ＝２）＝ｄ（ｘ，ｔｂ＝２）−ｄ（ｘ，ｔｂ＝１）を算出する（Ｓ７）。そして、検出処理部１０２Ａは、算出した各雨滴検出区分ｘの消灯時差分ｅｄ（ｘ，ｔｂ＝２）がそれぞれ第二差分閾値Ｅｄ以上であるか否かを判断し、消灯時差分ｅｄ（ｘ，ｔｂ＝２）が第二差分閾値Ｅｄ未満である雨滴検出区分ｘの数を求める（Ｓ８）。
【０１３５】
本実施形態２のように雨滴が付着すると合計輝度値が大きくなるケースでは、雨滴変動成分として誤認され得る外乱光変動成分やＢＬＣ変動成分は、光量が増加する場合である。この場合、各雨滴検出区分ｘ内の輝度値総和ｄ（ｘ，ｔｂ）の変化量（非照明時変化量）として、消灯時差分ｅｄ（ｘ，ｔｂ）＝ｄ（ｘ，ｔｂ）−ｄ（ｘ，ｔｂ−１）を用いるとき、この消灯時差分ｅｄ（ｘ，ｔｂ）は正の値をとるので、第二差分閾値Ｅｄは正の値で適宜設定される。したがって、処理ステップＳ８では、各雨滴検出区分ｘの消灯時差分ｅｄ（ｘ，ｔｂ）がそれぞれ第二差分閾値Ｅｄ以上である雨滴検出区分ｘの数を求めることになる。
【０１３６】
また、例えば、各雨滴検出区分ｘ内の輝度値総和ｄ（ｘ，ｔｂ）の変化量（非照明時変化量）として、直前の消灯時撮像フレームの輝度値総和ｄ（ｘ，ｔｂ−１）から今回の消灯時撮像フレームの輝度値総和ｄ（ｘ，ｔｂ）を差し引いたものを用いる場合、本実施形態２のように雨滴が付着すると合計輝度値が大きくなるケースにおいて雨滴変動成分として誤認され得る外乱光やレベル補正による光量増加時には、消灯時差分ｅｄ（ｘ，ｔｂ）＝ｄ（ｘ，ｔｂ−１）−ｄ（ｘ，ｔｂ）は負の値をとるので、第二差分閾値Ｅｄは負の値で適宜設定される。このとき、処理ステップＳ８では、各雨滴検出区分ｘの消灯時差分ｅｄ（ｘ，ｔｂ）がそれぞれ第二差分閾値Ｅｄ未満である雨滴検出区分ｘの数を求めることになる。
【０１３７】
また、例えば、各雨滴検出区分ｘ内の輝度値総和ｄ（ｘ，ｔｂ）の変化量（非照明時変化量）として、直前の消灯時撮像フレームの輝度値総和ｄ（ｘ，ｔｂ−１）と今回の消灯時撮像フレームの輝度値総和ｄ（ｘ，ｔｂ）との差分の絶対値を用いる場合、本実施形態２のように雨滴が付着すると合計輝度値が大きくなるケースにおいて雨滴変動成分として誤認され得る外乱光やレベル補正による光量増加時でも、消灯時差分ｅｄ（ｘ，ｔｂ）＝｜ｄ（ｘ，ｔｂ）−ｄ（ｘ，ｔｂ−１）｜は、正の値をとるので、第二差分閾値Ｅｄは正の値で適宜設定される。このとき、処理ステップＳ８では、各雨滴検出区分ｘの消灯時差分ｅｄ（ｘ，ｔｂ）がそれぞれ第二差分閾値Ｅｄ以上である雨滴検出区分ｘの数を求めることになる。
【０１３８】
その後、本実施形態２では、求めた区分数が第二判定閾値Ｆ２を超えているか否かを判定する（Ｓ２４）。求めた区分数が第二判定閾値Ｆ２以下である場合には（Ｓ２４のＮｏ）、上述した第一差分閾値Ｅｙ以上である点灯時差分ｅｙ（ｘ，ｔａ−２）は、外乱光の光量変化に起因したものではなく、また、ブラックレベル補正機能に起因したものでもなく、雨滴の付着によって雨滴の付着量が増加したことに起因したものであると判断する。よって、雨滴が検出されたものとして、雨滴検出の処理結果が画像解析ユニット１０２からワイパー制御ユニット１０６へ出力される（Ｓ１３）。これにより、ワイパー制御ユニット１０６は、ワイパー１０７の駆動を開始するなどの制御を実施する。
【０１３９】
一方、求めた区分数が第二判定閾値Ｆ２を超えている場合（Ｓ２４のＹｅｓ）、上述した点灯時差分ｅｙ（ｘ，ｔａ−２）は、外乱光の光量変化に起因したもの又はブラックレベル補正機能に起因したものである可能性が高い。よって、雨滴は検出されなかったとして、雨滴不検出の処理結果が画像解析ユニット１０２からワイパー制御ユニット１０６へ出力される（Ｓ１２）。これにより、ワイパー制御ユニット１０６は、ワイパー１０７の駆動を停止させるなどの制御を実施する。
【０１４０】
ここで、本実施形態では、今回の処理ステップＳ４で求めた区分数が第一判定閾値Ｆ１を超えているか否かの判定結果を用いず、過去の処理ステップＳ４（ここでは２回前の処理ステップＳ４）で求めた区分数が第一判定閾値Ｆ１を超えているか否かの判定結果を用いている。これは、ブラックレベル補正機能によるＢＬＣ変動成分を適切に把握するためである。以下、詳しく説明する。
【０１４１】
上述した実施形態１で説明したとおり、図１６及び図１７に示すように、ブラックレベル補正機能によるレベル補正時における消灯時の出力信号の変動は、点灯時の出力信号と同じ変動を示さない。すなわち、消灯時の出力信号は、図１７に示すように、レベル補正の終了する時刻ｔ４よりも後の時刻ｔ５の時点まではゼロのまま一定であり、時刻ｔ５になってゼロから上昇し始める。そのため、時刻ｔ４から時刻ｔ５までの間は、雨滴量に変化がないのに、レベル補正により点灯時の合計輝度値ｙ（ｘ，ｔａ）については徐々に上昇するので、第一差分閾値Ｅｙ以上である点灯時差分ｅｙ（ｘ，ｔａ）の区分数が第一判定閾値Ｆ１を超えるという雨滴検出条件を満たすと誤って判断される。一方で、消灯時の輝度値総和ｄ（ｘ，ｔｂ）については、時刻ｔ４から時刻ｔ５までの間はゼロで一定になっているので、第二差分閾値Ｅｄ未満である消灯時差分ｅｄ（ｘ，ｔｂ）の区分数が第二判定閾値Ｆ２以下であると判定される。その結果、当該点灯時の合計輝度値ｙ（ｘ，ｔａ）に基づいて雨滴検出条件を満たすと誤って判断された判断結果は、外乱光やレベル補正の影響を受けていないと判断されてしまい、雨滴が検出されたという雨滴検出の結果が誤ってワイパー制御ユニットへ出力されてしまう。
【０１４２】
これに対し、本実施形態２においては、過去の処理ステップＳ４で算出された区分数が第一判定閾値Ｆ１を超えているか否かの点灯時判定結果Ｈｔａ−２を用い、その点灯時判定結果Ｈｔａ−２が外乱光やレベル補正の影響を受けているか否かは、その２回後（今回）の処理ステップＳ８によって算出される区分数が第二判定閾値Ｆ２を超えているか否かによって判断される。これにより、時刻ｔ４から時刻ｔ５までの間における点灯時判定結果Ｈｔａ−２については、時刻ｔ５から時刻ｔ６までの間における消灯時の輝度値総和ｄ（ｘ，ｔｂ）、すなわち、レベル補正により徐々に上昇している消灯時の輝度値総和ｄ（ｘ，ｔｂ）を用いることができる。その結果、この消灯時の輝度値総和ｄ（ｘ，ｔｂ）から算出される消灯時差分ｅｄ（ｘ，ｔｂ）が第二差分閾値Ｅｄ未満である区分数が第二判定閾値Ｆ２を超えていると判断されることになる。よって、時刻ｔ４から時刻ｔ５までの間における点灯時判定結果Ｈｔａ−２は、外乱光やレベル補正の影響を受けていると判断され、雨滴が検出されていないという雨滴不検出の結果が正しくワイパー制御ユニットへ出力される。
【０１４３】
〔変形例２〕
次に、本実施形態２の一変形例（以下、本変形例を「変形例２」という。）について説明する。
上述した実施形態２では、点灯時における各雨滴検出区分ｘの合計輝度値ｙ（ｘ，ｔａ）の変化量（照明時変化量）である点灯時差分ｅｙ（ｘ，ｔａ）が雨滴検出条件を満たすか否かを判断しているが（Ｓ３〜Ｓ５）、本変形例２では、このような点灯時差分ｅｙ（ｘ，ｔａ）を算出せず、点灯時における各雨滴検出区分ｘの合計輝度値ｙ（ｘ，ｔａ）が雨滴検出条件を満たすか否かを判断する。
【０１４４】
図２１は、本変形例２における雨滴検出処理の流れを示すフローチャートである。
画像解析ユニット１０２の検出処理部１０２Ａは、雨滴検出用画像領域の各雨滴検出区分ｘ内の合計輝度値ｙ（ｘ，ｔａ＝１）を算出したら（Ｓ１，Ｓ２）、算出した各雨滴検出区分ｘの合計輝度値ｙ（ｘ，ｔａ＝１）がそれぞれ第四差分閾値Ｅｙ’’以上であるか否かを判断し、合計輝度値ｙ（ｘ，ｔａ＝１）が第四差分閾値Ｅｙ’’以上である雨滴検出区分ｘの数を求める（Ｓ４１）。上述したとおり、合計輝度値ｙ（ｘ，ｔａ）の値は雨滴の付着量が増えるほど大きくなることを考慮して、第四差分閾値Ｅｙ’’は、雨滴が所定量以上付着したことを検出できる適切な値に適宜設定される。
【０１４５】
画像解析ユニット１０２の検出処理部１０２Ａは、合計輝度値ｙ（ｘ，ｔａ＝１）が第四差分閾値Ｅｙ’’以上である雨滴検出区分ｘの数を求めたら、求めた区分数が第三判定閾値Ｆ１’を超えているか否かを判定し、その判定結果（点灯時判定結果Ｈｔａ’）を、画像解析ユニット１０２の記憶部１０２Ｄに一時的に記憶する（Ｓ４２）。
【０１４６】
その後、画像解析ユニット１０２の検出処理部１０２Ａは、記憶部１０２Ｄから、過去の点灯時判定結果Ｈｔａ−２’を読み出し（Ｓ４３）、その点灯時判定結果Ｈｔａ−２’において、過去の処理ステップＳ４１で求めた区分数（すなわち、合計輝度値ｙ（ｘ，ｔａ＝１）が第四差分閾値Ｅｙ’’以上である区分数）が第三判定閾値Ｆ１’以下であることを示している場合には（Ｓ４４のＮｏ）、雨滴は検出されなかったとして、雨滴不検出の処理結果が画像解析ユニット１０２からワイパー制御ユニット１０６へ出力される（Ｓ１２）。これにより、ワイパー制御ユニット１０６は、ワイパー１０７の駆動を停止させるなどの制御を実施する。
【０１４７】
一方、記憶部１０２Ｄから読み出した過去の点灯時判定結果Ｈｔａ−２’において、過去の処理ステップＳ４１で求めた区分数が第三判定閾値Ｆ１’を超えていることを示している場合には（Ｓ４４のＹｅｓ）、雨滴が所定量以上付着したことにより合計輝度値ｙ（ｘ，ｔａ＝１）が第四差分閾値Ｅｙ’’以上の値をとった可能性が高い。ただし、この合計輝度値ｙ（ｘ，ｔａ＝１）の値が、外乱光による可能性又はブラックレベル補正機能（ＢＬＣ）による可能性もある。そこで、本変形例２でも、上述した実施形態２と同様に、第四差分閾値Ｅｙ’’以上であると判断された合計輝度値ｙ（ｘ，ｔａ＝１）に、外乱光成分やＢＬＣ成分が含まれているか否かを判定するための処理を実施する。
【０１４８】
〔変形例３〕
次に、上述した実施形態１や２の他の変形例（以下、本変形例を「変形例３」という。）について説明する。
また、上述した実施形態１や２（各種変形例を含む）では、レベル補正による影響がなくても、点灯時差分ｅｙ（ｘ，ｔａ）や点灯時の合計輝度値ｙ（ｘ，ｔａ）が外乱光の影響を受けて雨滴の誤検出や検出漏れの結果を示してしまうおそれがある。詳しくは、上述した実施形態１を例に挙げて説明すると、例えば、実際には雨滴量が増加していないにもかかわらず、外乱光の光量変化の影響で、点灯時差分ｅｙ（ｘ，ｔａ）が第一差分閾値Ｅｙ未満である区分数が第一判定閾値Ｆ１を超える場合がある。この場合でも、過去の消灯時差分ｅｄ（ｘ，ｔｂ−２）も外乱光の光量変化の影響で第二差分閾値Ｅｄ未満になり、過去の消灯時判定結果Ｈｔｂ−２が雨滴不検出の結果を示すものであれば、誤って雨滴検出の結果が出力されるような事態を防止できる。しかしながら、点灯時差分ｅｙ（ｘ，ｔａ）と消灯時差分ｅｄ（ｘ，ｔｂ−２）との間には時間差があるため、その時間差により外乱光の光量変化が異なってしまう場合がある。この場合、外乱光の光量変化の影響で、点灯時差分ｅｙ（ｘ，ｔａ）が第一差分閾値Ｅｙ未満である区分数が第一判定閾値Ｆ１を超えているときに、過去の消灯時差分ｅｄ（ｘ，ｔｂ−２）は第二差分閾値Ｅｄ未満にならず、過去の消灯時判定結果Ｈｔｂ−２が雨滴検出の結果を示すものとなって、誤って雨滴検出の結果が出力されてしまう。
そこで、本変形例３では、このような外乱光の影響による雨滴の誤検出や検出漏れを生じるのを安定して防止するために、以下のような検出処理を行う。
【０１４９】
図２２は、本変形例３における雨滴検出処理の流れを示すフローチャートである。
画像解析ユニット１０２の検出処理部１０２Ａは、まず、消灯時撮像フレームにおける雨滴検出用画像領域の各雨滴検出区分ｘ内の輝度値総和ｄ（ｘ，ｔｂ＝１），ｄ（ｘ，ｔｂ＝２）を算出し（Ｓ１，Ｓ６）、各雨滴検出区分ｘについての消灯時差分ｅｄ（ｘ，ｔｂ＝２）を算出する（Ｓ７）。そして、検出処理部１０２Ａは、このようにして算出した各雨滴検出区分ｘの消灯時差分ｅｄ（ｘ，ｔｂ＝２）がそれぞれ第二差分閾値Ｅｄ未満であるか否かを判断し、消灯時差分ｅｄ（ｘ，ｔｂ＝２）が第二差分閾値Ｅｄ未満である雨滴検出区分ｘの数を求める（Ｓ８）。
【０１５０】
次に、画像解析ユニット１０２の検出処理部１０２Ａは、求めた区分数が第二判定閾値Ｆ２を超えているか否かを判定し（Ｓ５１）、求めた区分数が第二判定閾値Ｆ２を超えている場合には（Ｓ５１のＮｏ）、予め決められた一定期間が経過するまでの間、雨滴不検出の結果をワイパー制御ユニット１０６へ出力する（Ｓ５２，Ｓ５３，Ｓ１２）。したがって、求めた区分数が第二判定閾値Ｆ２以下である場合でも（Ｓ５１のＹｅｓ）、求めた区分数が第二判定閾値Ｆ２を超えていると判定されてから一定期間が経過するまでは、雨滴不検出の結果がワイパー制御ユニット１０６へ出力される（Ｓ５３，Ｓ１２）。
【０１５１】
一方、一定期間が経過した後、求めた区分数が第二判定閾値Ｆ２以下であると判定された場合には（Ｓ５１のＮｏ，Ｓ５３のＮｏ）、次に、検出処理部１０２Ａは、点灯時撮像フレームにおける雨滴検出用画像領域の各雨滴検出区分ｘ内の合計輝度値ｙ（ｘ，ｔａ＝１），ｙ（ｘ，ｔａ＝２）を算出し（Ｓ２）、各雨滴検出区分ｘについての点灯時差分ｅｙ（ｘ，ｔａ＝２）を算出する（Ｓ３）。その後、検出処理部１０２Ａは、算出した各雨滴検出区分ｘの点灯時差分ｅｙ（ｘ，ｔａ＝２）がそれぞれ第一差分閾値Ｅｙ未満であるか否かを判断し、点灯時差分ｅｙ（ｘ，ｔａ＝２）が第一差分閾値Ｅｙ未満である雨滴検出区分ｘの数を求める（Ｓ４）。
【０１５２】
画像解析ユニット１０２の検出処理部１０２Ａは、点灯時差分ｅｙ（ｘ，ｔａ＝２）が第一差分閾値Ｅｙ未満である雨滴検出区分ｘの数を求めたら、求めた区分数が第一判定閾値Ｆ１を超えているか否かを判定し、その判定結果（点灯時判定結果Ｈｔａ）を、画像解析ユニット１０２の記憶部１０２Ｄに一時的に記憶する（Ｓ５４）。
【０１５３】
その後、画像解析ユニット１０２の検出処理部１０２Ａは、記憶部１０２Ｄから、過去の点灯時判定結果Ｈｔａ−２を読み出し（Ｓ５５）、その点灯時判定結果Ｈｔａ−２において、過去の処理ステップＳ４で求めた区分数（すなわち、点灯時差分ｅｙ（ｘ，ｔａ−２）が第一差分閾値Ｅｙ未満である区分数）が第一判定閾値Ｆ１以下であることを示している場合には（Ｓ５６のＮｏ）、雨滴は検出されなかったとして、雨滴不検出の処理結果が画像解析ユニット１０２からワイパー制御ユニット１０６へ出力される（Ｓ１２）。
【０１５４】
一方、記憶部１０２Ｄから読み出した過去の点灯時判定結果Ｈｔａ−２において、過去の処理ステップＳ４で求めた区分数が第一判定閾値Ｆ１を超えていることを示している場合には（Ｓ５６のＹｅｓ）、この点灯時差分ｅｙ（ｘ，ｔａ−２）は、外乱光の光量変化に起因したものではなく、また、ブラックレベル補正機能に起因したものでもなく、雨滴の付着によって雨滴の付着量が増加したことに起因したものであると判断する。よって、雨滴が検出されたものとして、雨滴検出の処理結果が画像解析ユニット１０２からワイパー制御ユニット１０６へ出力される（Ｓ１３）。
【０１５５】
本変形例３によれば、今回の処理で消灯時差分ｅｄ（ｘ，ｔｂ）が第二差分閾値Ｅｄ未満である区分数が第二判定閾値Ｆ２を超えていると判定された場合（Ｓ５１のＹｅｓ）、その後の一定期間の間は、常に、雨滴不検出の結果がワイパー制御ユニット１０６へ出力される（Ｓ５２，Ｓ５３，Ｓ１２）。その結果、過去（２回前）の処理から今回の処理以降の処理までの間における点灯時差分ｅｙ（ｘ，ｔａ）についての判定結果（点灯時差分ｅｙ（ｘ，ｔａ）が第一差分閾値Ｅｙ未満である区分数が第一判定閾値Ｆ１を超えているか否かの判定結果）に関わらず、常に、雨滴不検出の結果がワイパー制御ユニット１０６へ出力される。これにより、外乱光の光量変化の影響で、点灯時差分ｅｙ（ｘ，ｔａ）が第一差分閾値Ｅｙ未満である区分数が第一判定閾値Ｆ１を超えているときに、時間差の影響で、対応する消灯時差分ｅｄ（ｘ，ｔｂ−２）が第二差分閾値Ｅｄ未満にならずに誤って雨滴検出の結果が出力されてしまう事態を回避することができる。
【０１５６】
なお、本変形例３では、今回の処理で消灯時差分ｅｄ（ｘ，ｔｂ）が第二差分閾値Ｅｄ未満である区分数が第二判定閾値Ｆ２を超えていると判定された場合（Ｓ５１のＹｅｓ）、その前後の処理における点灯時差分ｅｙ（ｘ，ｔａ）についての判定結果が無効になる例であるが、これに限らず、その前の処理の点灯時差分ｅｙ（ｘ，ｔａ）についての判定結果のみを無効にしてもよいし、その後の処理の点灯時差分ｅｙ（ｘ，ｔａ）についての判定結果のみを無効にしてもよい。
【０１５７】
上述した実施形態１や２（各種変形例を含む）では、記憶部１０２Ｄに記憶させる情報が判定結果Ｈｔｂ，Ｈｔａ’，Ｈｔａの情報であるが、これらの判定結果を導出するために用いるパラメータ（点灯時の合計輝度値、点灯時差分、消灯時の輝度値総和、消灯時差分等）の情報を記憶しておき、過去のパラメータを読み出して判定処理を行った判定結果を用いるようにしてもよい。
【０１５８】
また、過去の処理において、当該過去の処理における点灯時の合計輝度値や点灯時差分についての判定結果と、当該過去の処理における消灯時の輝度値総和や消灯時差分についての判定結果とを用いて、最終的にワイパー制御ユニットへ出力する結果を一時的に導出して記憶部１０２Ｄに記憶しておき、今回の処理における消灯時の輝度値総和や消灯時差分についての判定結果を用いて、記憶部１０２Ｄに記憶された当該過去の処理時におけるワイパー制御ユニットへ出力する結果を更新して、ワイパー制御ユニットへ出力するようにしてもよい。
【０１５９】
上述した実施形態１や２（各種変形例を含む）では、受光手段が画像センサであり、二次元データ（撮像画像データ）から得られる点灯時の合計輝度値（照明時受光量）あるいは点灯時差分（照明時変化量）や消灯時の輝度値総和（非照明時受光量）あるいは消灯時差分（非照明時変化量）を雨滴検出条件を判断するパラメータとして用いているが、これに限られない。例えば、複数の受光素子（光電変換素子）を一列に配置したセンサを用い、一次元データからこれらのパラメータを算出して雨滴検出条件の判断に用いてもよい。また、１つの受光素子（光電変換素子）から得られる出力値（受光量）からこれらのパラメータを算出して雨滴検出条件の判断に用いてもよい。
【０１６０】
また、１つの受光素子から得られる出力値（受光量）ごとに、照明時受光量あるいは照明時変化量や非照明時受光量あるいは非照明時変化量等のパラメータを算出してもよいし、複数の受光素子から得られる出力値（受光量）を合成した値を用いてこれらのパラメータを算出してもよい。具体例としては、受光手段により得た二次元データをある範囲で積算した値を用いてこれらのパラメータを算出したり、受光手段により得た二次元データを縦方向又は横方向に積算した値を用いてこれらのパラメータを算出したり、受光手段により得た一次元データをすべて積算した値を用いてこれらのパラメータを算出したりしてもよい。このように、複数の受光素子から得られる出力値（受光量）を合成した値を用いてこれらのパラメータを算出する場合、個々の受光素子に生じるノイズの影響を緩和したり、データ数の削減により計算量や記憶容量を削減したりすることができる。
【０１６１】
また、上述した実施形態１や２（各種変形例を含む）では、雨滴検出用画像領域を車両検出用画像領域と一緒に撮像する例であるが、雨滴検出用画像領域のみを撮像する例（雨滴検出専用の装置）であってもよい。
また、上述した実施形態１や２（各種変形例を含む）では、車両のフロントガラス（ウィンドシールド）上に付着した雨滴を検出対象物として検出する例について説明したが、本発明に係る物体検出装置はこれに限定されることはなく、広く利用可能である。例えば、監視カメラのレンズやカバーあるいは建築物の窓などの光透過性部材に付着する雨滴を検出対象物として検出するものであってもよい。なお、光透過性部材の材質はガラスだけでなく、プラスチックなど透明または半透明の様々なものが利用可能である。
また、検出対象物は、雨滴に限られず、フロントガラスなどの光透過性部材上に付着する付着物にも限られない。
また、検出処理の処理結果は、ワイパー１０７の動作を制御する場合に限らず、風による吹き払いや熱による乾燥などによって雨滴を除去する除去手段の制御、あるいは、除去手段ではない何らかの装置の制御に利用してもよい。
【０１６２】
また、上述した実施形態１や２（各種変形例を含む。ただし変形例）において、点灯時差分や点灯時の合計輝度値を用いた判定処理と、消灯時差分を用いた判定処理との順序を逆にしてもよい。例えば、上述した実施形態１では、点灯時差分ｅｙ（ｘ，ｔａ）が第一差分閾値Ｅｙ未満である区分数が第一判定閾値Ｆ１を超えるか否かの判定処理を先に行った後に、過去の消灯時差分ｅｄ（ｘ，ｔｂ−２）が第二差分閾値Ｅｄ未満である区分数が第二判定閾値Ｆ２を超えているか否かの判定処理を行っているが、これらの判定処理の順序を逆にしてもよい。
【０１６３】
以上に説明したものは一例であり、次の態様毎に特有の効果を奏する。
（態様Ａ）
光源光の照射、非照射を周期的に繰り返す光源部２０２等の光源による光源光の照明時に画像センサ２０６等の受光手段により受光される照明時受光量に基づいて該光源光の照明範囲内における雨滴等の検出対象物を検出する物体検出装置において、前記光源による光源光の非照明時に前記受光手段により受光される輝度値総和ｄ（ｘ，ｔｂ）等の非照明時受光量と、該非照明時受光量に対応する非照明時の直前の照明時よりも前期間における合計輝度値ｙ（ｘ，ｔａ−２）等の照明時受光量、及び、該非照明時受光量に対応する非照明時の直後の照明時よりも後期間における合計輝度値ｙ（ｘ，ｔａ＋２）等の照明時受光量の少なくとも一方の照明時受光量とを用いて、前記照明範囲内における検出対象物の存在状況を検出するための所定の条件を満たすか否かを判断する検出処理を実行する検出処理部１０２Ａ等の検出処理手段を有することを特徴とする。
本態様では、光源光の照明範囲内における検出対象物の存在状況を検出するための所定の条件を満たすか否かを判断する検出処理において、非照明時受光量と照明時受光量とを用いる。照明時受光量は、照明範囲内における検出対象物の存在状況に応じて変動するので、照明時受光量から照明範囲内における検出対象物の存在状況を検出することが可能である。照明範囲内における検出対象物の存在状況は、従来の物体検出装置の検出処理結果を利用した各種制御（ワイパーの駆動制御など）と同等の制御を実施することが可能である。
照明時受光量を変動させる主な要因は、照明範囲内における検出対象物の存在状況の変化（検出対象物の増加又は減少）による要因のほか、受光手段に入射する外乱光による誤差要因と、外乱光以外の誤差要因（受光手段に備わっている自動補正機能など）がある。これらの誤差要因によって誤検出や検出漏れが発生し得るかどうかについては、光源光の非照射時に受光手段により受光される非照明時受光量から把握することが可能である。非照明時受光量は、検出対象物の存在状況が変化しても変動しないため、非照明時受光量が変動する時は外乱光等の誤差要因で照明時受光量にも変動が生じていると考えられるためである。従来、外乱光等の誤差要因を把握するための非照明時受光量は、その照明時受光量に出来るだけ近い時期に得られたものを用いる。なぜなら、両者の時期が離れているほど、その時間差の間に誤差要因の状況が変化する可能性が高まるので、非照明時受光量から照明時受光量の誤差要因を適切に把握することが困難になると考えられていたからである。そのため、通常、照明時受光量は、その照明時受光量の誤差要因を把握するための非照明時受光量に対応した非照明時の直前又は直後の照明時のものが用いられる。
ところが、このように照明時受光量の照明時がその照明時受光量の誤差要因を把握するための非照明時受光量の非照明時の直前又は直後であると、受光手段に備わっている自動補正機能による誤差要因を適切に把握できない場合があり、検出対象物の誤検出や検出漏れを引き起こすことが判明した。
詳しく説明すると、受光手段に備わっている自動露光補正機能やブラックレベル補正機能などの自動補正機能が発揮されると、実際の受光量が一定であっても、受光手段から出力される受光量（出力値）は自動補正機能による補正後の目標値に向けて徐々に変化する。受光手段から出力される受光量（出力値）が自動補正機能による補正後の目標値に向けて徐々に低下する場合、もともと出力値が高い照明時受光量は、目標値になるまでの時間中ずっと目標値に向けて低下し続ける。しかしながら、非照明時受光量は、もともと出力値が低いため、自動補正機能による目標値になるまでの時間の途中で底打ちしてしまい、それ以降は一定値を維持するようになる場合がある。通常、受光手段から出力される受光量（出力値）が自動補正機能による目標値になるまでには一定の時間を要するので、その時間の長さは、光源光の照射、非照射の繰り返し周期よりも長い。したがって、自動補正機能による目標値になるまでの時間の途中で非照明時受光量が一定値になったときに、その非照明時受光量の直前又は直後の照明時受光量が自動補正機能により低下し続けるという状況が起こり得る。この状況、すなわち、照明時受光量は低下しているが非照明時受光量は低下していない（一定である）という状況は、自動補正機能が発揮されていないときに検出対象物の存在状況に変化があったときの状況と同じである。よって、照明時受光量が、その照明時受光量の誤差要因を把握するための非照明時受光量の直前又は直後のものであると、当該照明時受光量が自動補正機能によって変動していることを当該非照明時受光量から適切に把握することができない場合がある。
そこで、本態様では、照明時受光量として、その照明時受光量の誤差要因を把握するための非照明時受光量の直前又は直後の照明時受光量ではなく、当該非照明時受光量の直前よりも前期間における照明時受光量又は非照明時受光量の直後よりも後期間における照明時受光量を用いる。この場合、自動補正機能による目標値になるまでの時間の途中で非照明時受光量が底打ちしたり飽和したりして、それ以降は一定値を維持するような状況になった場合、一定値になった非照明時受光量の直前又は直後における照明時受光量の誤差要因は、当該一定値になった非照明時受光量よりも更に前の照明時受光量又は更に後の非照明時受光量によって判断されることになる。よって、照明時受光量として、その照明時受光量の誤差要因を把握するための非照明時受光量の直前よりも前の適切な期間における照明時受光量又は非照明時受光量の直後よりも後の適切な期間における照明時受光量に設定することで、当該一定値になった非照明時受光量の直前又は直後の照明時受光量の誤差要因については、自動補正機能によって変動しているときの非照明時受光量を用いて判断することができる。その結果、照明時受光量として、その照明時受光量の誤差要因を把握するための非照明時受光量の直前又は直後の照明時受光量を用いた場合に生じ得る検出対象物の誤検出あるいは検出漏れを抑制できる。
【０１６４】
（態様Ｂ）
前記態様Ａにおいて、前記検出処理手段は、前記非照明時受光量の時間変化を示す消灯時差分ｅｄ（ｘ，ｔｂ）等の非照明時変化量と、前記前期間における照明時受光量の時間変化を示す点灯時差分ｅｙ（ｘ，ｔａ−２）等の照明時変化量、及び、前記後期間における照明時受光量の時間変化を示す点灯時差分ｅｙ（ｘ，ｔａ＋２）等の照明時変化量のうちの少なくとも一方の照明時変化量とを用いて、前記所定の条件を満たすか否かを判断する検出処理を実行することを特徴とする。
これによれば、レンズ、ミラー、プリズム等の光学部材の光学特性や光源の発光量などが温度変化によって変動して雨滴検出用画像領域の輝度値を変動させる温度変動や、これらの光学部材の光学特性や光源の発光量などが経時劣化によって変動して雨滴検出用画像領域の輝度値を変動させる経時劣化変動などの影響を除外して、検出対象物を適切に検出することが可能となる。
【０１６５】
（態様Ｃ）
前記態様Ａ又はＢにおいて、前記非照明時受光量及び前記少なくとも一方の照明時受光量のうちの少なくとも一方の受光量を記憶する記憶部１０２Ｄ等の記憶手段を有し、前記検出処理手段は、前記記憶手段に記憶された前記少なくとも一方の受光量を用いて、前記所定の条件を満たすか否かを判断する検出処理を実行することを特徴とする。
これによれば、照明時受光量として、その照明時受光量の誤差要因を把握するための非照明時受光量の直前又は直後の照明時受光量ではなく、当該非照明時受光量の直前よりも前期間における照明時受光量又は非照明時受光量の直後よりも後期間における照明時受光量を用いる処理を、容易に実現できる。
【０１６６】
（態様Ｄ）
前記態様Ｂにおいて、前記非照明時変化量及び前記少なくとも一方の照明時変化量のうちの少なくとも一方の変化量を記憶する記憶部１０２Ｄ等の記憶手段を有し、前記検出処理手段は、前記記憶手段に記憶された前記少なくとも一方の変化量を用いて、前記所定の条件を満たすか否かを判断する検出処理を実行することを特徴とする。
これによれば、照明時変化量として、その照明時変化量の誤差要因を把握するための非照明時変化量の直前又は直後の照明時変化量ではなく、当該非照明時変化量の直前よりも前期間における照明時変化量又は非照明時変化量の直後よりも後期間における照明時変化量を用いる処理を、容易に実現できる。
【０１６７】
（態様Ｅ）
前記態様Ａ又はＢにおいて、前記所定の条件は、前記非照明時受光量を用いずに前記照明時受光量を用いて前記照明範囲内における検出対象物の存在状況を判断するための第１条件と、前記非照明時受光量を用いて該第１条件の判断結果を前記検出処理の処理結果とするか否かを判断するための第２条件とを含み、前記少なくとも一方の照明時受光量を用いた前記第１条件の判断結果（点灯時判定結果Ｈｔａ，Ｈｔａ’等）、及び、前記非照明時受光量を用いた前記第２条件の判断結果（消灯時判定結果Ｈｔｂ等）のうちの少なくとも一方の判断結果を記憶する記憶部１０２Ｄ等の記憶手段を有し、前記検出処理手段は、前記記憶手段に記憶された前記少なくとも一方の判断結果を用いて、前記所定の条件を満たすか否かを判断する検出処理を実行することを特徴とする。
これによれば、照明時受光量として、その照明時受光量の誤差要因を把握するための非照明時受光量の直前又は直後の照明時受光量ではなく、当該非照明時受光量の直前よりも前期間における照明時受光量又は非照明時受光量の直後よりも後期間における照明時受光量を用いる処理を、容易に実現できる。
【０１６８】
（態様Ｆ）
前記態様Ａ〜Ｅのいずれかの態様において、前記検出対象物は、前記光源の光源光が照射されるフロントガラス１０５等の光透過性部材上に付着する雨滴等の付着物であることを特徴とする。
これによれば、光透過性部材上に付着する付着物を適切に検出することができる。
【０１６９】
（態様Ｇ）
前記態様Ａ〜Ｆのいずれかの態様において、前記検出処理手段は、前記非照明時受光量が所定の不実行条件を満たすとき、該非照明時受光量に対応する非照明時を含む所定の時間範囲内の照明時受光量を用いた前記検出処理の結果に代えて、該照明時受光量を用いずに決定した結果を該検出処理の結果として用いることを特徴とする。
これによれば、上述した変形例３で説明したとおり、検出処理に用いる非照明時受光量と照明時受光量との時間差の影響（その時間差の間の外乱光の変化等）を抑制することが可能となる。
【０１７０】
（態様Ｈ）
前記態様Ａ〜Ｇのいずれかの態様に係る物体検出装置と、前記物体検出装置における前記検出処理の結果に基づいて、前記検出対象物を除去するワイパー１０７等の物体除去手段の動作を制御するワイパー制御ユニット１０６等の制御手段とを有することを特徴とする物体除去動作制御システム。
これによれば、物体除去手段の動作を適切に制御することが可能となる。
【０１７１】
（態様Ｉ）
光源光の照射、非照射を周期的に繰り返す光源による光源光の照明時に受光手段により受光される照明時受光量に基づいて該光源光の照明範囲内における検出対象物を検出する物体検出方法において、前記光源による光源光の非照明時に前記受光手段により受光される非照明時受光量と、該非照明時受光量に対応する非照明時の直前の照明時よりも前期間における照明時受光量、及び、該非照明時受光量に対応する非照明時の直後の照明時よりも後期間における照明時受光量の少なくとも一方の照明時受光量とを用いて、前記照明範囲内における検出対象物の存在状況を検出するための所定の条件を満たすか否かを判断することを特徴とする。
これによれば、照明時受光量として、その照明時受光量の誤差要因を把握するための非照明時受光量の直前又は直後の照明時受光量を用いた場合に生じ得る検出対象物の誤検出あるいは検出漏れを抑制できる。
【０１７２】
（態様Ｊ）
前記態様Ａ〜Ｇのいずれかの態様に係る物体検出装置のコンピュータを機能させる物体検出用プログラムであって、前記コンピュータを前記検出処理手段として機能させることを特徴とする。
これによれば、照明時受光量として、その照明時受光量の誤差要因を把握するための非照明時受光量の直前又は直後の照明時受光量を用いた場合に生じ得る検出対象物の誤検出あるいは検出漏れを抑制できる。
なお、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。
【符号の説明】
【０１７３】
１００  自車両
１０１  撮像ユニット
１０２  画像解析ユニット
１０２Ａ  検出処理部
１０２Ｂ  光源制御部
１０２Ｃ  露光量制御部
１０２Ｄ  記憶部
１０５  フロントガラス
１０６  ワイパー制御ユニット
１０７  ワイパー
１０８  車両走行制御ユニット
２００  撮像部
２０２  光源部
２０３  雨滴
２０４  撮像レンズ
２０５  光学フィルタ
２０６  画像センサ
２０７  センサ基板
２０８  信号処理部
２３０  反射偏向プリズム
【先行技術文献】
【特許文献】
【０１７４】
【特許文献１】特開２０１３−１１７５１４号公報
【図１】
2017003531.tif 000003
【図２】
2017003531.tif 000004
【図３】
2017003531.tif 000005
【図４】
2017003531.tif 000006
【図５】
2017003531.tif 000007
【図６】
2017003531.tif 000008
【図７】
2017003531.tif 000009
【図８】
2017003531.tif 000010
【図９】
2017003531.tif 000011
【図１０】
2017003531.tif 000012
【図１１】
2017003531.tif 000013
【図１２】
2017003531.tif 000014
【図１３】
2017003531.tif 000015
【図１４】
2017003531.tif 000016
【図１５】
2017003531.tif 000017
【図１６】
2017003531.tif 000018
【図１７】
2017003531.tif 000019
【図１８】
2017003531.tif 000020
【図１９】
2017003531.tif 000021
【図２０】
2017003531.tif 000022
【図２１】
2017003531.tif 000023
【図２２】
2017003531.tif 000024