(57)【要約】【課題】付着物画像領域と撮像領域画像領域とを含む画像を撮像する際、撮像領域画像領域及び付着物画像領域の両方について適切な画像を得る。【解決手段】光源装置２０２から光透過性部材に向けて照射された光源光を画像センサ２０６の一部分で受光するとともに所定の撮像領域からの光を該画像センサの他の部分で受光することにより、該光透過性部材に付着した付着物を映し出す付着物画像領域と該撮像領域を映し出す撮像領域画像領域とを含む画像を撮像する撮像装置において、露光量制御手段１０２Ｃにより変化する露光量に応じて、変化後の露光量での露光期間中に前記画像センサの前記一部分で受光される光源光の光量を変化させる光源光制御を実行する光源光制御手段１０２Ｂとを有する。【選択図】図２
2016146583.tif 000002
【特許請求の範囲】
【請求項１】
光源装置から光透過性部材に向けて照射された光源光を画像センサの一部分で受光するとともに所定の撮像領域からの光を該画像センサの他の部分で受光することにより、該光透過性部材に付着した付着物を映し出す付着物画像領域と該撮像領域を映し出す撮像領域画像領域とを含む画像を撮像する撮像装置において、
所定の露光条件に従って露光量を変化させる露光量制御手段と、
前記露光量制御手段により変化する露光量に応じて、変化後の露光量での露光期間中に前記画像センサの前記一部分で受光される光源光の光量を変化させる光源光制御を実行する光源光制御手段とを有することを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記光源光制御手段は、前記露光量制御手段により露光量が多くなる場合には前記画像センサの前記一部分で受光される光源光の光量が少なくなり、該露光量制御手段により露光量が少なくなる場合には該画像センサの該一部分で受光される光源光の光量が多くなるように、前記光源光制御を実行することを特徴とする撮像装置。
【請求項３】
請求項１又は２に記載の撮像装置において、
前記光源光制御手段は、前記光源装置を制御することにより、前記光源光制御を実行することを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記光源光制御手段は、前記露光期間中に前記光源装置が照射する光源光の光量が所定範囲内に維持されるように、前記光源光制御を実行することを特徴とする撮像装置。
【請求項５】
請求項３又は４に記載の撮像装置において、
前記光源光制御手段は、前記露光期間中に前記光源装置が照射する光源光の強度を制御することにより、前記光源光制御を実行することを特徴とする撮像装置。
【請求項６】
請求項３乃至５のいずれか１項に記載の撮像装置において、
前記光源光制御手段は、前記露光期間中に前記光源装置が照射する光源光の照射時間割合を制御することにより、前記光源光制御を実行することを特徴とする撮像装置。
【請求項７】
請求項１乃至６のいずれか１項に記載の撮像装置において、
前記露光量制御手段は、前記露光量として前記画像センサの露光時間を変化させるものであり、
前記光源光制御手段は、前記露光量制御手段により露光期間が光源光の照射期間よりも短くなる場合には前記光源光制御を実行するが、前記露光量制御手段により露光期間が光源光の照射期間以上になる場合には前記光源光制御を実行しないことを特徴とする撮像装置。
【請求項８】
撮像装置で撮像した画像の付着物画像領域に基づいて、移動体に搭載された所定の機器を制御する移動体機器制御手段を備えた移動体機器制御システムにおいて、
前記撮像装置として、請求項１乃至７のいずれか１項に記載の撮像装置を用いることを特徴とする移動体機器制御システム。
【請求項９】
光源装置から光透過性部材に向けて照射された光源光を画像センサの一部分で受光するとともに所定の撮像領域からの光を該画像センサの他の部分で受光することにより、該光透過性部材に付着した付着物を映し出す付着物画像領域と該撮像領域を映し出す撮像領域画像領域とを含む画像を撮像する撮像装置のコンピュータを機能させるためのプログラムであって、
所定の露光条件に従って露光量を変化させる露光量制御手段、及び、
前記露光量制御手段により変化する露光量に応じて、変化後の露光量での露光期間中に前記画像センサの前記一部分で受光される光源光の光量を変化させる光源光制御を実行する光源光制御手段として、前記コンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、移動体機器制御システム及びプログラムに関するものである。
【背景技術】
【０００２】
従来、自車両前方の撮像領域内に存在する物体を認識するためのセンシング用の撮像領域画像と自車両のフロントガラスに付着している雨滴等の付着物を検出するための付着物画像とを単一の画像センサで撮像する撮像装置が知られている。
【０００３】
例えば、特許文献１には、前記センシング用の画像を取得するための撮像フレーム（センシング用フレーム）を３０回連続して撮像するたびに前記付着物検出用の画像を取得するための撮像フレーム（付着物検出用フレーム）を１回撮像することを繰り返す撮像装置が開示されている。この撮像装置では、付着物検出用フレームを撮像する際、フロントガラスに向けて光源装置から光源光を照射し、その反射光を受光することで、付着物が付着している箇所と付着物が付着していない箇所とのコントラストをもつ付着物検出用フレームを得る。この撮像装置は、センシング用フレームについては、撮像領域の明るさ等に応じて自動露光制御により露光量を自動調整しながら撮像する。一方、付着物検出用フレームについては、光源装置から照射される光源光の光量が一定であることから、固定露光量で撮像する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、連続撮像されるセンシング用フレーム間に付着物検出用フレームの撮像を行う撮像装置においては、付着物検出用フレームの前後のセンシング用フレームの間で時間が空くことになる。そのため、前のセンシング用フレームの撮像時点から後のセンシング用フレームの撮像時点までの間に、センシング用の画像を取得できない時間が存在し、物体の認識精度が低下するなどの不具合を引き起こす。
【０００５】
一方、単一の画像センサでセンシング用の画像と付着物画像とを得る方法としては、光源装置からフロントガラスに向けて照射された光源光の反射光を画像センサの一部分で受光するとともに、自車両前方の撮像領域からの光を当該画像センサの他の部分で受光するという方法が考えられる。この方法によれば、単一の撮像フレームで、フロントガラスに付着した付着物を映し出す付着物検出用の画像領域（付着物画像領域）と自車両前方の撮像領域を映し出すセンシング用の画像領域（撮像領域画像領域）とが含まれた画像を得ることができる。この場合、付着物画像を得るための撮像フレーム（付着物検出用フレーム）が不要であるため、上述した不具合が生じることはない。
【０００６】
センシングに好適なセンシング用画像領域（例えばコントラストの高い画像領域）を得るためには、撮像領域の明るさ等に応じて露光量を変更する自動露光制御を実施することが望まれる。しかしながら、露光量が変更されてしまうと、画像センサで受光される光源光の受光量が変化してしまう結果、付着物が付着している状況が全く同じ状況であっても、輝度やコントラスト等が異なる付着物画像が得られてしまい、付着物の誤検知などの不具合が起こり得る。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明は、光源装置から光透過性部材に向けて照射された光源光を画像センサの一部分で受光するとともに所定の撮像領域からの光を該画像センサの他の部分で受光することにより、該光透過性部材に付着した付着物を映し出す付着物画像領域と該撮像領域を映し出す撮像領域画像領域とを含む画像を撮像する撮像装置において、所定の露光条件に従って露光量を変化させる露光量制御手段と、前記露光量制御手段により変化する露光量に応じて、変化後の露光量での露光期間中に前記画像センサの前記一部分で受光される光源光の光量を変化させる光源光制御を実行する光源光制御手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、付着物画像領域と撮像領域画像領域とを含む画像を撮像する場合でも、撮像領域の状況に応じた露光量に変化させて適切な撮像領域画像領域を得るとともに、露光量変化に起因する輝度やコントラスト等の変化が少ない適切な付着物画像領域を得ることができるという優れた効果が奏される。
【図面の簡単な説明】
【０００９】
【図１】実施形態における車載機器制御システムの概略構成を示す模式図である。
【図２】同車載機器制御システムにおける撮像ユニットを備えた付着物検出装置の概略構成を示す模式図である。
【図３】同撮像ユニットの光学系を説明するための説明図である。
【図４】同撮像ユニットの概略構成を模式的に示した斜視図である。
【図５】（ａ）は、水平面に対するフロントガラスの傾斜角度が２２°である車両に取り付けた状態の撮像ユニットを示す側面図である。（ｂ）は、同図（ａ）の状態において雨滴が付着していない場合の撮像ユニットの光学系を示す説明図である。（ｃ）は、同図（ａ）の状態において雨滴が付着している場合の撮像ユニットの光学系を示す説明図である。
【図６】同撮像ユニットの反射偏向プリズムを示す斜視図である。
【図７】雨滴検出用の撮像画像データに適用可能なカットフィルタのフィルタ特性を示すグラフである。
【図８】雨滴検出用の撮像画像データに適用可能なバンドパスフィルタのフィルタ特性を示すグラフである。
【図９】同撮像部の光学フィルタに設けられる前段フィルタの正面図である。
【図１０】同撮像部の撮像画像データの画像例を示す説明図である。
【図１１】同撮像部の光学フィルタと画像センサとを光透過方向に対して直交する方向から見たときの模式拡大図である。
【図１２】同光学フィルタの偏光フィルタ層と分光フィルタ層の領域分割パターンを示す説明図である。
【図１３】実施形態における光学フィルタの層構成を模式的に示す断面図である。
【図１４】同光学フィルタの車両検出用フィルタ部を透過して画像センサ上の各フォトダイオードで受光される受光量に対応した情報（各撮像画素の情報）の内容を示す説明図である。
【図１５】（ａ）は、図１４に示す符号Ａ−Ａで切断した光学フィルタの車両検出用フィルタ部及び画像センサを模式的に表した断面図である。（ｂ）は、図１４に示す符号Ｂ−Ｂで切断した光学フィルタの車両検出用フィルタ部及び画像センサを模式的に表した断面図である。
【図１６】同光学フィルタの雨滴検出用フィルタ部を透過して画像センサ上の各フォトダイオードで受光される受光量に対応した情報（各撮像画素の情報）の内容を示す説明図である。
【図１７】（ａ）は、図１６に示す符号Ａ−Ａで切断した光学フィルタの雨滴検出用フィルタ部及び画像センサを模式的に表した断面図である。（ｂ）は、図１６に示す符号Ｂ−Ｂで切断した光学フィルタの雨滴検出用フィルタ部及び画像センサを模式的に表した断面図である。
【図１８】実施形態における車両検出処理の流れを示すフローチャートである。
【図１９】実施形態における雨滴検出処理の説明図である。
【図２０】従来の撮像フレームと雨滴検出との関係を示す説明図である。
【図２１】実施形態における撮像フレームと雨滴検出との関係を示す説明図である。
【図２２】光源部からの光照射期間内で自動露光制御により露光期間が変更される例を示す説明図である。
【図２３】光源部からの光照射期間外で自動露光制御により露光期間が変更される例を示す説明図である。
【図２４】実施形態における露光時間と光源パワーとの関係を示す説明図である。
【図２５】変形例における雨滴検出に関わる各種光線についての説明図である。
【発明を実施するための形態】
【００１０】
以下、本発明に係る撮像装置を、移動体である自動車等の車両に搭載される対象機器を制御する移動体機器制御システムとしての車載機器制御システムに用いる一実施形態について説明する。
【００１１】
図１は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、自動車などの自車両１００に搭載された撮像部により、自車両周囲（特に進行方向前方領域）を撮像領域として撮像した撮像画像データを利用して、ヘッドランプの配光制御、ワイパーの駆動制御、その他の車載機器の制御を行うものである。
【００１２】
本実施形態の車載機器制御システムに設けられる撮像部は、撮像ユニット１０１に設けられており、走行する自車両１００の進行方向前方領域を撮像領域として撮像するものであり、例えば、自車両１００のフロントガラス１０５のルームミラー付近に設置される。撮像ユニット１０１の撮像部で撮像された撮像画像データは、画像解析ユニット１０２に入力される。画像解析ユニット１０２は、処理実行手段としてのＣＰＵやＲＡＭ等により構成され、撮像部から送信されてくる撮像画像データを解析し、撮像画像データに自車両１００の前方に存在する他車両の位置（方角や距離）を算出したり、フロントガラス１０５に付着する雨滴や異物などの付着物を検出したり、撮像領域内に存在する路面上の白線（区画線）等の検出対象物を検出したりする。他車両の検出では、他車両のテールランプを識別することで自車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両１００とは反対方向へ進行する対向車両を検出する。
【００１３】
画像解析ユニット１０２の算出結果は、ヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した他車両の位置データから、自車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。
【００１４】
画像解析ユニット１０２の算出結果は、ワイパー制御ユニット１０６にも送られる。ワイパー制御ユニット１０６は、ワイパー１０７を制御して、自車両１００のフロントガラス１０５に付着した雨滴や異物などの付着物を除去する。ワイパー制御ユニット１０６は、画像解析ユニット１０２が検出した付着物検出結果を受けて、ワイパー１０７を制御する制御信号を生成する。ワイパー制御ユニット１０６により生成された制御信号がワイパー１０７に送られると、自車両１００の運転者の視界を確保するべく、ワイパー１０７を稼動させる。
【００１５】
また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した白線検出結果に基づいて、白線によって区画されている車線領域から自車両１００が外れている場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。また、車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した他車両の位置データに基づいて、先行車両との距離が近接した場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
【００１６】
図２は、撮像ユニット１０１に設けられる撮像部２００を含む付着物検出装置の概略構成を示す説明図である。
撮像部２００は、主に、撮像レンズ２０４と、光学フィルタ２０５と、受光素子が２次元配置された画像センサ２０６を含んだセンサ基板２０７と、センサ基板２０７から出力されるアナログ電気信号（画像センサ２０６上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部２０８と、内部メモリ２０９とから構成されている。また、本実施形態においては、センサ基板２０７上に光源装置としての光源部２０２が実装されている。この光源部２０２は、フロントガラス１０５の内壁面（一方の面）側に配置され、外壁面（他方の面）に付着した付着物（以下、検出対象物が主に雨滴である場合を例に挙げて説明する。）を検出するためのものである。
【００１７】
本実施形態では、撮像レンズ２０４の光軸が水平方向に一致するように撮像ユニット１０１を配置するが、これに限定されることはなく、水平方向（図２中のＸ方向）を基準とした特定方向に向けるような例であってもよい。撮像レンズ２０４は、例えば、複数のレンズで構成され、焦点がフロントガラス１０５の位置よりも遠方に設定されるものを用いる。撮像レンズ２０４の焦点位置は、例えば、無限遠又は無限遠とフロントガラス１０５との間に設定することができる。
【００１８】
画像センサ２０６は、センサ面を保護するカバーガラスを透過した光を受光する２次元配置された複数の受光素子で構成され、受光素子（撮像画素）ごとに入射光を光電変換する機能を有する。後述の図等では画像センサ２０６の各画素を簡略化して描いているが、実際には画像センサ２０６は２次元配置された数十万個程度の画素で構成されている。画像センサ２０６としては、例えば、全撮像画素を同時露光（グローバルシャッター）して各撮像画素の信号を読み出すＣＣＤ（Charge Coupled Device）や、ライン露光（ローリングシャッター）で露光された各撮像画素の信号を読み出すＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その受光素子にはフォトダイオードを用いることができる。
【００１９】
信号処理部２０８は、画像センサ２０６で光電変換され、センサ基板２０７から出力されるアナログ電気信号（画像センサ２０６の各受光素子への入射光量）をデジタル電気信号に変換した撮像画像データを生成して出力する機能を有する。信号処理部２０８は、画像解析ユニット１０２と電気的に接続されている。信号処理部２０８は、センサ基板２０７を経由して画像センサ２０６から電気信号（アナログ信号）が入力されると、入力された電気信号から、画像センサ２０６上における各撮像画素の明るさ（輝度）を示すデジタル信号（撮像画像データ）を生成する。そして、この撮像画像データを、画像の水平・垂直同期信号とともに、後段の画像解析ユニット１０２へ出力する。
【００２０】
本実施形態の画像センサ２０６は、ダーク補正（ブラックレベルコントロール：ＢＬＣ）を行うための複数のオプティカルブラック（光が入射しないように構成された受光素子）を、有効撮像画素の領域外に備えている。オプティカルブラックの出力信号は、信号処理部２０８に送られ、暗電流のノイズ量の測定に使用される。詳しくは、信号処理部２０８は、ゼロ基準設定手段として機能し、例えばオプティカルブラックからの出力信号の平均レベルに所定のマージン分を上乗せした信号レベルを、撮像画像データのゼロ基準（画素値ゼロ）に設定する。これにより、センサ基板２０７から出力されるアナログ電気信号のうち、ゼロ基準に対応する信号レベル以下のものはゼロ値とされる。
【００２１】
また、ゼロ基準に対応する信号レベルを超えるアナログ電気信号は、当該ゼロ基準の信号レベルと最大信号レベルとの間を所定の階調数で分割したデジタル値のデジタル電気信号に変換される。これにより、画像センサ２０６の受光素子を流れる暗電流が原因で、全く光を受光していない受光素子が光を受光しているものと誤検知してしまう事態を回避することができる。
【００２２】
また、画像解析ユニット１０２は、撮像ユニット１０１の撮像動作を制御する機能や、撮像ユニット１０１から送信される撮像画像データを解析する機能を有する。画像解析ユニット１０２は、露光量制御手段としての露光量制御部１０２Ｃによって、撮像ユニット１０１から送信された撮像画像データから、画像センサ２０６の撮像対象（自車両前方領域に存在する他車両等の物体）ごとの最適な露光量を算出し、画像センサ２０６の撮像対象ごとに最適な露光量（本実施形態では露光時間）を設定する機能を有する。また、画像解析ユニット１０２は、露光量調整と連動しながら、光源光制御手段としての光量調整部１０２Ｂによって、光源部２０２が照射する光の量を調整する機能を有する。また、画像解析ユニット１０２は、撮像ユニット１０１から送信されてくる撮像画像データから、路面状態や道路標識などに関する情報を検出する機能を有する。また、画像解析ユニット１０２は、検出処理部１０２Ａによって、フロントガラス１０５の状態（雨滴の付着、凍結、曇りなど）を検出する機能を有する。また、画像解析ユニット１０２は、撮像ユニット１０１から送信されてくる撮像画像データから、自車両の前方に存在する他車両の位置や方角、距離等を算出する機能を有する。
【００２３】
図３は、本実施形態における撮像ユニット１０１の光学系を説明するための説明図である。
本実施形態の光源部２０２は、フロントガラス１０５上に付着した付着物（雨滴、凍結、曇り等）を検出するための光源光（照明光）を照射するものである。本実施形態の光源部２０２は、その光源としてのＬＥＤを複数備えた構成となっている。このように光源を複数具備することにより、光源が１つである場合と比較して、フロントガラス１０５上の付着物を検出するための検出領域が広がり、フロントガラス１０５の付着物の検出精度が向上する。
【００２４】
本実施形態では、ＬＥＤを画像センサ２０６と同じセンサ基板２０７上に実装しているので、これらを別々の基板上に実装する場合よりも基板枚数を減らすことができ、低コストを実現できる。また、ＬＥＤの配置方法は、図３中のＹ方向に沿って１列又は複数列に配置することで、後述するとおり、車両前方領域の画像が映し出される画像領域の下側に映し出されるフロントガラス画像を撮像するための照明を均一化することが可能となる。本実施形態では、光源部２０２を、画像センサ２０６と同じセンサ基板２０７上に実装しているが、画像センサ２０６とは別基板上に実装してもよい。
【００２５】
光源部２０２は、光源部２０２が照射する光の光軸方向と撮像レンズ２０４の光軸方向とが予め所定の角度を有するように、センサ基板２０７上に配置されている。また、光源部２０２は、光源部２０２が照射する光によって照明されるフロントガラス１０５上において、その照明範囲が撮像レンズ２０４の画角範囲内（視野角の範囲内）となるように、配置されている。光源部２０２の発光波長としては、対向車の運転者や歩行者を眩惑しないように、可視光を避けることが好ましく、例えば、可視光よりも波長が長く、画像センサ２０６の受光感度が及ぶ波長範囲（例えば８００〜１０００ｎｍ程度の赤外光波長範囲）を用いる。光源部２０２の発光タイミングなどの駆動制御は、信号処理部２０８からの画像信号の取得と連動しながら、画像解析ユニット１０２を通じて行われる。
【００２６】
本実施形態の撮像ユニット１０１には、図３に示すように、光源部２０２からの光を反射させてフロントガラス１０５へ導く反射面２３１を備えた光学部材としての反射偏向プリズム２３０が設けられている。反射偏向プリズム２３０は、光源部２０２からの光を適切にフロントガラス１０５の内部に導くために、その一面がフロントガラス１０５の内壁面に密着するように配置されている。具体的には、反射偏向プリズム２３０に入射する光源部２０２からの光の入射角が所定範囲内で変化しても、光源部２０２から照射されて反射偏向プリズム２３０の反射面２３１で正反射した光のうち、フロントガラス１０５の外壁面上における雨滴（検出対象物）が付着していない非付着箇所で正反射した正反射光が、画像センサ２０６に受光される関係が維持されるように、反射偏向プリズム２３０がフロントガラス１０５の内壁面に取り付けられる。
【００２７】
反射偏向プリズム２３０をフロントガラス１０５の内壁面に取り付ける際、これらの間に、透光性材料からなるジェルやシール材などの充填材を介在させて密着性を高めるのが好ましい。これにより、反射偏向プリズム２３０とフロントガラス１０５との間に空気層や気泡などが介在しないようにでき、これらの間で曇りが生じにくいようにしている。また、充填材の屈折率は、反射偏向プリズム２３０とフロントガラス１０５の中間屈折率であることが好ましい。これにより、充填材と反射偏向プリズム２３０との間、及び、充填材とフロントガラス１０５との間でのフレネル反射ロスを軽減できるからである。ここでいうフレネル反射とは、屈折率の異なる材料間で発生する反射のことである。
【００２８】
反射偏向プリズム２３０は、図３に示すように、光源部２０２からの入射光を反射面２３１で一回だけ正反射して、これをフロントガラス１０５の内壁面に向けて折り返す。折り返した光は、フロントガラス１０５の外壁面に対して入射角θ（θ≧約４２°）となるように構成されている。この適切な入射角θは、空気とフロントガラス１０５の外壁面との間の屈折率差に起因して、フロントガラス１０５の内部においてその外壁面で全反射を起こす臨界角である。したがって、本実施形態では、フロントガラス１０５の外壁面に雨滴等の付着物が付着していない場合には、反射偏向プリズム２３０の反射面で折り返された光は、フロントガラス１０５の外壁面を透過することなく、すべて反射される。
【００２９】
一方、フロントガラス１０５の外壁面上に空気（屈折率１）とは異なる雨滴（屈折率１．３８）などの付着物が付着すると、この全反射条件が崩れ、雨滴が付着している箇所では光がフロントガラス１０５の外壁面を透過する。したがって、フロントガラス１０５の外壁面に雨滴が付着していない非付着箇所については、その反射光が画像センサ２０６に受光されて高輝度な画像部分となる一方、雨滴が付着している付着箇所については、その反射光の光量が減り、画像センサ２０６に受光される光量が少なくなるので、低輝度な画像部分となる。したがって、撮像画像上においては、雨滴付着箇所と非雨滴付着箇所とのコントラストが得られる。
【００３０】
図４は、本実施形態の撮像ユニット１０１の概略構成を模式的に示した斜視図である。
本実施形態の撮像ユニット１０１は、反射偏向プリズム２３０を固定支持し、フロントガラス１０５の内壁面に固定配置される第一支持部材としての第一モジュール１０１Ａと、画像センサ２０６及びＬＥＤ２１１が実装されたセンサ基板２０７、導光体２１５、撮像レンズ２０４を固定支持する第二支持部材としての第二モジュール１０１Ｂとから構成されている。
【００３１】
これらのモジュール１０１Ａ，１０１Ｂは、回転連結機構２４０によって回動可能に連結されている。この回転連結機構２４０は、フロントガラス１０５の傾斜方向及び鉛直方向のいずれにも直交する方向（図３中紙面前後方向）に延びる回転軸２４１を有し、この回転軸２４１を中心にして、第一モジュール１０１Ａと第二モジュール１０１Ｂとを相対回転させることができる。このように回動可能な構成としているのは、傾斜角度が異なるフロントガラス１０５に対して第一モジュール１０１Ａが固定配置される場合でも、第二モジュール１０１Ｂの撮像部２００の撮像方向を目標とする特定方向（本実施形態では水平方向）に向けることができるようにするためである。
【００３２】
図５（ａ）は、水平面に対するフロントガラス１０５の傾斜角度θｇが２２°である車両に取り付けた状態の撮像ユニット１０１を示す側面図である。図５（ｂ）は、図５（ａ）の状態において雨滴が付着していない場合の撮像ユニット１０１の光学系を示す説明図である。図５（ｃ）は、図５（ａ）の状態において雨滴が付着している場合の撮像ユニット１０１の光学系を示す説明図である。
【００３３】
光源部２０２からの光Ｌ１は、反射偏向プリズム２３０の反射面２３１で正反射され、その反射光Ｌ２はフロントガラス１０５の内壁面を透過する。フロントガラス１０５の外壁面に雨滴が付着していない場合は、その反射光Ｌ２は外壁面では全反射し、この反射光Ｌ３はフロントガラス１０５の内壁面を透過して撮像レンズ２０４に向けて光は進む。一方、フロントガラス１０５の外壁面に雨滴２０３が付着している場合、反射偏向プリズム２３０の反射面２３１で正反射した反射光Ｌ２は、その外壁面を透過する。このような系において、フロントガラス１０５の角度θｇが変わると、第二モジュール１０１Ｂの姿勢を維持したまま（撮像方向を水平方向に固定したまま）、フロントガラス１０５の内壁面に固定される第二モジュール１０１Ｂの姿勢が変化し、反射偏向プリズム２３０がフロントガラス１０５と一体になって図中Ｙ軸回りに回転することになる。
【００３４】
ここで、本実施形態における反射偏向プリズム２３０の反射面２３１とフロントガラス１０５の外壁面との配置関係は、回転連結機構２４０の回転調整範囲内において、常に、フロントガラス１０５の外壁面での全反射光Ｌ３が、フロントガラス状態変化検出用の画像センサ２０６の受光領域（以下「付着物検出用受光領域」という。）に受光される関係となっている。したがって、フロントガラス１０５の角度θｇが変わっても、フロントガラス１０５の外壁面での全反射光Ｌ３が画像センサ２０６の付着物検出用受光領域に受光され、適切な雨滴検出を実現できる。
【００３５】
特に、本実施形態における配置関係は、回転連結機構２４０の回転調整範囲内において実質的にコーナーキューブの原理が成立するような関係となっている。そのため、フロントガラス１０５の角度θｇが変わっても、フロントガラス１０５の外壁面での全反射光Ｌ３の光軸方向と水平面とのなす角度θは実質的に一定である。よって、画像センサ２０６の付着物検出用受光領域内におけるフロントガラス１０５の外壁面での全反射光Ｌ３の光軸が通過する箇所の変動を小さく抑えることができ、より適切な雨滴検出を実現できる。
【００３６】
反射偏向プリズム２３０の反射面２３１とフロントガラス１０５の外壁面との配置関係が互いに垂直な関係であればコーナーキューブの原理が成立するが、回転連結機構２４０の回転調整範囲内において実質的にコーナーキューブの原理が成立するのであれば、反射偏向プリズム２３０の反射面２３１とフロントガラス１０５の外壁面との配置関係は互いに垂直な関係である場合に限られない。反射偏向プリズム２３０の反射面２３１とフロントガラス１０５の外壁面との配置関係が互いに垂直な関係でなくても、反射偏向プリズム２３０の他の面（被入射面や出射面）の角度を調整することにより、フロントガラス１０５の傾斜角度θｇが変わっても、撮像レンズへ向かう全反射光Ｌ３の光軸の角度θを略一定に保持することが可能である。
【００３７】
図６は、本実施形態の反射偏向プリズム２３０を示す斜視図である。
反射偏向プリズム２３０は、光源部２０２からの光が入射する被入射面２３３と、被入射面２３３から入射した光Ｌ１を反射させる反射面２３１と、フロントガラス１０５の内壁面と密着する密着面２３２と、フロントガラス１０５の外壁面で反射した反射光Ｌ３を撮像部２００に向けて出射する出射面２３４とを備えている。本実施形態では、被入射面２３３と出射面２３４とは互いに平行な面となるように構成されているが、両者を非平行な面としてもよい。
【００３８】
反射偏向プリズム２３０の材料は、少なくとも光源部２０２からの光を透過させる材料であればよく、ガラスやプラスチックなどを用いることができる。本実施形態の光源部２０２からの光は赤外光であるため、反射偏向プリズム２３０の材料としては、可視光を吸収するような黒色系の材料を用いてもよい。可視光を吸収する材料を用いることにより、反射偏向プリズム２３０にＬＥＤからの光（赤外光）以外の光（車外からの可視光など）が入射するのを抑制できる。
【００３９】
また、反射偏向プリズム２３０は、回転連結機構２４０の回転調整範囲内において、その反射面２３１で光源部２０２からの光を全反射させる全反射条件が満たされるように形成される。また、回転連結機構２４０の回転調整範囲内において反射面２３１で全反射させる条件を満たすことが難しい場合には、反射偏向プリズム２３０の反射面２３１に、アルミニウムなどの膜を蒸着させるなどして、反射ミラーを形成してもよい。
【００４０】
また、本実施形態では、反射面２３１が平面であるが、反射面を凹面としたものでもよい。このような凹面状の反射面２２５を用いることで、反射面２２５に入射してくる拡散光束を平行化することができる。このことにより、フロントガラス１０５上での照度低下を抑制することが可能となる。
【００４１】
ここで、フロントガラス１０５の外壁面で反射した光源部２０２からの赤外波長光を撮像部２００で撮像する際、撮像部２００の画像センサ２０６では、光源部２０２からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源部２０２からの赤外波長光をこのような大光量の外乱光と区別するためには、光源部２０２の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源部２０２を用いることは困難である場合が多い。
【００４２】
そこで、本実施形態においては、例えば、図７に示すように光源部２０２の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、図８に示すように透過率のピークが光源部２０２の発光波長とほぼ一致したバンドパスフィルタを介して、光源部２０２からの光を画像センサ２０６で受光するように構成する。これにより、光源部２０２の発光波長以外の光を除去して受光できるので、画像センサ２０６で受光される光源部２０２からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源部２０２でなくても、光源部２０２からの光を外乱光と区別することが可能となる。
【００４３】
ただし、本実施形態においては、撮像画像データから、フロントガラス１０５上の雨滴２０３を検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源部２０２が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を画像センサ２０６で受光できず、これらの検出に支障をきたす。そこで、本実施形態では、撮像画像データの画像領域を、フロントガラス１０５上の雨滴２０３を検出するための雨滴検出用画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両検出用画像領域とに区分し、雨滴検出用画像領域に対応する部分についてのみ光源部２０２が照射する赤外波長光以外の波長帯を除去するフィルタを、光学フィルタ２０５に配置している。
【００４４】
図９は、光学フィルタ２０５に設けられる前段フィルタ２１０の正面図である。
図１０は、撮像画像データの画像例を示す説明図である。
本実施形態の光学フィルタ２０５は、前段フィルタ２１０と後段フィルタ２２０とを光透過方向に重ね合わせた構造となっている。前段フィルタ２１０は、図９に示すように、車両検出用画像領域２１３である撮像画像上部２／３に対応する箇所に配置される赤外光カットフィルタ領域２１１と、雨滴検出用画像領域２１４である撮像画像下部１／３に対応する箇所に配置される赤外光透過フィルタ領域２１２とに、領域分割されている。赤外光透過フィルタ領域２１２には、図７に示したカットフィルタや図８に示したバンドパスフィルタを用いる。
【００４５】
対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の画像は、主に撮像画像中央部から上部に存在することが多く、撮像画像下部には自車両前方の直近路面の画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別に必要な情報は撮像画像上部に集中しており、その識別において撮像画像下部の情報はあまり重要でない。よって、単一の撮像画像データから、対向車両や先行車両あるいは白線の検出と雨滴の検出とを両立して行う場合には、図１０に示すように、撮像画像下部を雨滴検出用画像領域２１４とし、残りの撮像画像上部を車両検出用画像領域２１３とし、これに対応して前段フィルタ２１０を領域分割するのが好適である。
【００４６】
なお、本実施形態では、撮像画像中における車両検出用画像領域２１３の下部に雨滴検出用画像領域２１４を設けた例であるが、車両検出用画像領域２１３の上部に雨滴検出用画像領域２１４を設けたり、車両検出用画像領域２１３の上部と下部の両方に雨滴検出用画像領域２１４を設けたりしてもよい。
【００４７】
撮像部２００の撮像方向を下方へ傾けていくと、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態では、撮像画像下部に対応する箇所に図７に示したカットフィルタや図８に示したバンドパスフィルタが配置されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。
【００４８】
なお、本実施形態では、撮像レンズ２０４の特性により、撮像領域内の光景と画像センサ２０６上の像とでは天地が逆になる。よって、撮像画像下部を雨滴検出用画像領域２１４とする場合には、光学フィルタ２０５の前段フィルタ２１０の上部を図７に示したカットフィルタや図８に示したバンドパスフィルタで構成することになる。
【００４９】
ここで、先行車両を検出する際には、撮像画像上のテールランプを識別することで先行車両の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、また街灯などの外乱光も多く存在するため、単なる輝度データのみからテールランプを高精度に検出するのは困難である。そのため、テールランプの識別には分光情報を利用し、赤色光の受光量に基づいてテールランプを識別することが必要となる。そこで、本実施形態では、後述するように、光学フィルタ２０５の後段フィルタ２２０に、テールランプの色に合わせた赤色フィルタあるいはシアンフィルタ（テールランプの色の波長帯のみを透過させるフィルタ）を配置し、赤色光の受光量を検知できるようにしている。
【００５０】
ただし、本実施形態の画像センサ２０６を構成する各受光素子は、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を画像センサ２０６で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなってしまう。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。そこで、本実施形態では、光学フィルタ２０５の前段フィルタ２１０において、車両検出用画像領域２１３に対応する箇所を赤外光カットフィルタ領域２１１としている。これにより、テールランプの識別に用いる撮像画像データ部分から赤外波長帯が除外されるので、テールランプの識別精度が向上する。
【００５１】
図１１は、光学フィルタ２０５と画像センサ２０６とを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ２０６は、上述したようにＣＣＤやＣＭＯＳなどを用いたイメージセンサであり、その受光素子にはフォトダイオード２０６Ａを用いている。フォトダイオード２０６Ａは、画素ごとに２次元的にアレイ配置されており、フォトダイオード２０６Ａの集光効率を上げるために、各フォトダイオード２０６Ａの入射側にはマイクロレンズ２０６Ｂが設けられている。この画像センサ２０６がワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板２０７が形成されている。
【００５２】
画像センサ２０６のマイクロレンズ２０６Ｂ側の面には、光学フィルタ２０５が近接配置されている。光学フィルタ２０５の後段フィルタ２２０は、図１１に示すように、透明なフィルタ基板２２１上に偏光フィルタ層２２２と分光フィルタ層２２３を順次形成して積層構造としたものである。偏光フィルタ層２２２と分光フィルタ層２２３は、いずれも、画像センサ２０６上における１つのフォトダイオード２０６Ａに対応するように領域分割されている。
【００５３】
光学フィルタ２０５と画像センサ２０６との間に空隙がある構成としてもよいが、光学フィルタ２０５を画像センサ２０６に密着させる構成とした方が、光学フィルタ２０５の偏光フィルタ層２２２と分光フィルタ層２２３の各領域の境界と画像センサ２０６上のフォトダイオード２０６Ａ間の境界とを一致させやすくなる。光学フィルタ２０５と画像センサ２０６は、例えば、ＵＶ接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素外の四辺領域をＵＶ接着や熱圧着してもよい。
【００５４】
図１２は、本実施形態に係る光学フィルタ２０５の偏光フィルタ層２２２と分光フィルタ層２２３の領域分割パターンを示す説明図である。
偏光フィルタ層２２２と分光フィルタ層２２３は、それぞれ、第１領域及び第２領域という２種類の領域が、画像センサ２０６上の１つのフォトダイオード２０６Ａに対応して配置されたものである。これにより、画像センサ２０６上の各フォトダイオード２０６Ａによって受光される受光量は、受光する光が透過した偏光フィルタ層２２２と分光フィルタ層２２３の領域の種類に応じて、偏光情報や分光情報等として取得することができる。
【００５５】
なお、本実施形態では、画像センサ２０６はモノクロ画像用の撮像素子を前提にして説明するが、画像センサ２０６をカラー用撮像素子で構成してもよい。カラー用撮像素子で構成する場合、カラー用撮像素子の各撮像画素に付属するカラーフィルタの特性に応じて、偏光フィルタ層２２２と分光フィルタ層２２３の各領域の光透過特性を調整してやればよい。
【００５６】
ここで、本実施形態における光学フィルタ２０５の一例について説明する。
図１３は、本実施形態における光学フィルタ２０５の層構成を模式的に示す断面図である。
本実施形態における光学フィルタ２０５の後段フィルタ２２０は、車両検出用画像領域２１３に対応する車両検出用フィルタ部２２０Ａと、雨滴検出用画像領域２１４に対応する雨滴検出用フィルタ部２２０Ｂとで、その層構成が異なっている。具体的には、車両検出用フィルタ部２２０Ａは分光フィルタ層２２３を備えているのに対し、雨滴検出用フィルタ部２２０Ｂは分光フィルタ層２２３を備えていない。また、車両検出用フィルタ部２２０Ａと雨滴検出用フィルタ部２２０Ｂとでは、その偏光フィルタ層２２２，２２５の構成が異なっている。
【００５７】
図１４は、本実施形態における光学フィルタ２０５の車両検出用フィルタ部２２０Ａを透過して画像センサ２０６上の各フォトダイオード２０６Ａで受光される受光量に対応した情報（各撮像画素の情報）の内容を示す説明図である。
図１５（ａ）は、図１４に示す符号Ａ−Ａで切断した光学フィルタ２０５の車両検出用フィルタ部２２０Ａ及び画像センサ２０６を模式的に表した断面図である。
図１５（ｂ）は、図１４に示す符号Ｂ−Ｂで切断した光学フィルタ２０５の車両検出用フィルタ部２２０Ａ及び画像センサ２０６を模式的に表した断面図である。
【００５８】
本実施形態における光学フィルタ２０５の車両検出用フィルタ部２２０Ａは、図１５（ａ）及び（ｂ）に示すように、透明なフィルタ基板２２１の上に偏光フィルタ層２２２を形成した後、その上に分光フィルタ層２２３を形成して積層構造としたものである。そして、偏光フィルタ層２２２は、ワイヤーグリッド構造を有するものであり、その積層方向上面（図１５中下側面）は凹凸面となる。このような凹凸面上にそのまま分光フィルタ層２２３を形成しようとすると、分光フィルタ層２２３がその凹凸面に沿って形成され、分光フィルタ層２２３の層厚ムラが生じて本来の分光性能が得られない場合がある。そこで、本実施形態の光学フィルタ２０５は、偏光フィルタ層２２２の積層方向上面側を充填材で充填して平坦化した後、その上に分光フィルタ層２２３を形成している。
【００５９】
充填材としては、この充填材によって凹凸面が平坦化される偏光フィルタ層２２２の機能を妨げない材料であればよいので、本実施形態では偏光機能を有しない材料のものを用いる。また、充填材による平坦化処理は、例えば、スピンオングラス法によって充填材を塗布する方法が好適に採用できるが、これに限られるものではない。
【００６０】
本実施形態において、偏光フィルタ層２２２の第１領域は、画像センサ２０６の撮像画素の縦列（鉛直方向）に平行に振動する鉛直偏光成分のみを選択して透過させる鉛直偏光領域であり、偏光フィルタ層２２２の第２領域は、画像センサ２０６の撮像画素の横列（水平方向）に平行に振動する水平偏光成分のみを選択して透過させる水平偏光領域である。
また、分光フィルタ層２２３の第１領域は、偏光フィルタ層２２２を透過可能な使用波長帯域に含まれる赤色波長帯（特定波長帯）の光のみを選択して透過させる赤色分光領域であり、分光フィルタ層２２３の第２領域は、波長選択を行わずに光を透過させる非分光領域である。そして、本実施形態においては、図１４に一点鎖線で囲ったように、隣接する縦２つ横２つの合計４つの撮像画素（符号ａ、ｂ、ｅ、ｆの４撮像画素）によって撮像画像データの１画像画素が構成される。
【００６１】
図１４に示す撮像画素ａでは、光学フィルタ２０５の偏光フィルタ層２２２における鉛直偏光領域（第１領域）と分光フィルタ層２２３の赤色分光領域（第１領域）を透過した光が受光される。したがって、撮像画素ａは、鉛直偏光成分（図１４中符号Ｐで示す。）の赤色波長帯（図１４中符号Ｒで示す。）の光Ｐ／Ｒを受光することになる。
また、図１４に示す撮像画素ｂでは、光学フィルタ２０５の偏光フィルタ層２２２における鉛直偏光領域（第１領域）と分光フィルタ層２２３の非分光領域（第２領域）を透過した光が受光される。したがって、撮像画素ｂは、鉛直偏光成分Ｐにおける非分光（図１４中符号Ｃで示す。）の光Ｐ／Ｃを受光することになる。
また、図１４に示す撮像画素ｅでは、光学フィルタ２０５の偏光フィルタ層２２２における水平偏光領域（第２領域）と分光フィルタ層２２３の非分光領域（第２領域）を透過した光が受光される。したがって、撮像画素ｅは、水平偏光成分（図１４中符号Ｓで示す。）における非分光Ｃの光Ｓ／Ｃを受光することになる。
図１４に示す撮像画素ｆでは、光学フィルタ２０５の偏光フィルタ層２２２における鉛直偏光領域（第１領域）と分光フィルタ層２２３の赤色分光領域（第１領域）を透過した光が受光される。したがって、撮像画素ｆは、撮像画素ａと同様、鉛直偏光成分Ｐにおける赤色波長帯Ｒの光Ｐ／Ｒを受光することになる。
【００６２】
以上の構成により、本実施形態によれば、撮像画素ａおよび撮像画素ｆの出力信号から赤色光の鉛直偏光成分画像についての一画像画素が得られ、撮像画素ｂの出力信号から非分光の鉛直偏光成分画像についての一画像画素が得られ、撮像画素ｅの出力信号から非分光の水平偏光成分画像についての一画像画素が得られる。よって、本実施形態によれば、一度の撮像動作により、赤色光の鉛直偏光成分画像、非分光の鉛直偏光成分画像、非分光の水平偏光成分画像という３種類の撮像画像データを得ることができる。
【００６３】
なお、これらの撮像画像データでは、その画像画素の数が撮像画素数よりも少なくなるが、より高解像度の画像を得る際には一般に知られる画像補間技術を用いてもよい。例えば、より高い解像度である赤色光の鉛直偏光成分画像を得ようとする場合、撮像画素ａと撮像画素ｆに対応する画像画素についてはこれらの撮像画素ａ，ｆで受光した赤色光の鉛直偏光成分Ｐの情報をそのまま使用し、撮像画素ｂに対応する画像画素については、例えばその周囲を取り囲む撮像画素ａ，ｃ，ｆ，ｊの平均値を当該画像画素の赤色光の鉛直偏光成分の情報として使用する。
また、より高い解像度である非分光の水平偏光成分画像を得ようとする場合、撮像画素ｅに対応する画像画素についてはこの撮像画素ｅで受光した非分光の水平偏光成分Ｓの情報をそのまま使用し、撮像画素ａ，ｂ，ｆに対応する画像画素については、その周囲で非分光の水平偏光成分を受光する撮像画素ｅや撮像画素ｇなどの平均値を使用したり、撮像画素ｅと同じ値を使用したりしてもよい。
【００６４】
このようにして得られる赤色光の鉛直偏光成分画像は、例えば、テールランプの識別に使用することができる。赤色光の鉛直偏光成分画像は、水平偏光成分Ｓがカットされているので、路面に反射した赤色光や自車両１００の室内におけるダッシュボードなどからの赤色光（映りこみ光）等のように水平偏光成分Ｓの強い赤色光による外乱要因が抑制された赤色画像を得ることができる。よって、赤色光の鉛直偏光成分画像をテールランプの識別に使用することで、テールランプの認識率が向上する。
【００６５】
また、非分光の鉛直偏光成分画像は、例えば、白線や対向車両のヘッドランプの識別に使用することができる。非分光の水平偏光成分画像は、水平偏光成分Ｓがカットされているので、路面に反射したヘッドランプや街灯等の白色光や自車両１００の室内におけるダッシュボードなどからの白色光（映りこみ光）等のように水平偏光成分Ｓの強い白色光による外乱要因が抑制された非分光画像を得ることができる。よって、非分光の鉛直偏光成分画像を白線や対向車両のヘッドランプの識別に使用することで、その認識率が向上する。特に、雨路において、路面を覆った水面からの反射光は水平偏光成分Ｓが多いことが一般に知られている。よって、非分光の鉛直偏光成分画像を白線の識別に使用することで、雨路における水面下の白線を適切に識別することが可能となり、認識率が向上する。
【００６６】
また、非分光の鉛直偏光成分画像と非分光の水平偏光成分画像との間で各画素値を比較した指標値を画素値とした比較画像を用いれば、後述するように、撮像領域内の金属物体、路面の乾湿状態、撮像領域内の立体物、雨路における白線の高精度な識別が可能となる。ここで用いる比較画像としては、例えば、非分光の鉛直偏光成分画像と非分光の水平偏光成分画像との間の画素値の差分値を画素値とした差分画像、これらの画像間の画素値の比率を画素値とした比率画像、あるいは、これらの画像間の画素値の合計に対するこれらの画像間の画素値の差分値の比率（差分偏光度）を画素値とした差分偏光度画像などを使用することができる。
【００６７】
図１６は、本実施形態における光学フィルタ２０５の雨滴検出用フィルタ部２２０Ｂを透過して画像センサ２０６上の各フォトダイオード２０６Ａで受光される受光量に対応した情報（各撮像画素の情報）の内容を示す説明図である。
図１７（ａ）は、図１６に示す符号Ａ−Ａで切断した光学フィルタ２０５の雨滴検出用フィルタ部２２０Ｂ及び画像センサ２０６を模式的に表した断面図である。
図１７（ｂ）は、図１６に示す符号Ｂ−Ｂで切断した光学フィルタ２０５の雨滴検出用フィルタ部２２０Ｂ及び画像センサ２０６を模式的に表した断面図である。
【００６８】
本実施形態における光学フィルタ２０５の雨滴検出用フィルタ部２２０Ｂは、図１７（ａ）及び（ｂ）に示すように、前記車両検出用フィルタ部２２０Ａと共通のフィルタ基板２２１の上にワイヤーグリッド構造の偏光フィルタ層２２５が形成されている。この偏光フィルタ層２２５は、前記車両検出用フィルタ部２２０Ａの偏光フィルタ層２２２とともに、積層方向上面側が充填材によって充填されて平坦化されている。ただし、雨滴検出用フィルタ部２２０Ｂは、前記車両検出用フィルタ部２２０Ａとは異なり、分光フィルタ層２２３は積層されていない。
【００６９】
本実施形態においては、自車両１００の室内側の風景がフロントガラス１０５の内壁面に映り込むことがある。この映り込みは、フロントガラス１０５の内壁面で正反射した光によるものである。この映り込みは、正反射光であるのでその光強度が比較的大きい外乱光である。よって、この映り込みが雨滴と一緒に雨滴検出用画像領域２１４に映し出されると、雨滴の検出精度が低下する。また、光源部２０２からの光がフロントガラス１０５の内壁面で正反射した正反射光も、雨滴と一緒に雨滴検出用画像領域２１４に映し出されると、外乱光となって雨滴の検出精度を低下させる。
【００７０】
このような雨滴の検出精度を低下させる外乱光は、フロントガラス１０５の内壁面で正反射した正反射光であるので、その偏光成分のほとんどは光源入射面に対して偏光方向が垂直な偏光成分、すなわち、画像センサ２０６の撮像画素の横列（水平方向）に平行に振動する水平偏光成分Ｓである。そこで、本実施形態の光学フィルタ２０５の雨滴検出用フィルタ部２２０Ｂにおける偏光フィルタ層２２５は、フロントガラス１０５に向かう光源部２０２からの光の光軸と撮像レンズ２０４の光軸とを含む仮想面（光源入射面）に対して偏光方向が平行である偏光成分、すなわち、画像センサ２０６の撮像画素の縦列（鉛直方向）に平行に振動する鉛直偏光成分Ｐのみを透過するように透過軸が設定されている。
【００７１】
これにより、雨滴検出用フィルタ部２２０Ｂの偏光フィルタ層２２５を透過する光は、鉛直偏光成分Ｐのみとなり、フロントガラス１０５の内壁面の映り込みや、フロントガラス１０５の内壁面で正反射した光源部２０２からの正反射光などの外乱光の大部分を占める水平偏光成分Ｓをカットすることができる。その結果、雨滴検出用画像領域２１４は、外乱光による影響の少ない鉛直偏光成分Ｐによる鉛直偏光画像となり、その雨滴検出用画像領域２１４の撮像画像データに基づく雨滴の検出精度が向上する。
【００７２】
本実施形態では、前段フィルタ２１０を構成する赤外光カットフィルタ領域２１１と赤外光透過フィルタ領域２１２とが、それぞれ層構成の異なる多層膜によって形成されている。このような前段フィルタ２１０の製造方法としては、赤外光カットフィルタ領域２１１の部分をマスクで隠しながら赤外光透過フィルタ領域２１２の部分を真空蒸着などにより成膜した後、今度は赤外光透過フィルタ領域２１２の部分をマスクで隠しながら赤外光カットフィルタ領域２１１の部分を真空蒸着などにより成膜するという方法が挙げられる。
【００７３】
また、本実施形態において、車両検出用フィルタ部２２０Ａの偏光フィルタ層２２２と、雨滴検出用フィルタ部２２０Ｂの偏光フィルタ層２２５とは、いずれも、２次元方向に領域分割されたワイヤーグリッド構造であるが、前者の偏光フィルタ層２２２は透過軸が互いに直交する２種類の領域（鉛直偏光領域及び水平偏光領域）が撮像画素単位で領域分割されたものであり、後者の偏光フィルタ層２２５は鉛直偏光成分Ｐのみを透過させる透過軸をもつ１種類の領域が撮像画素単位で領域分割されたものである。このような異なる構成をもつ偏光フィルタ層２２２，２２５を同一のフィルタ基板２２１上に形成する場合、例えば、ワイヤーグリッド構造の金属ワイヤーのパターニングを行うテンプレート（型に相当するもの）の溝方向の調整により、各領域の金属ワイヤーの長手方向の調整は容易である。
【００７４】
なお、本実施形態では、赤外光カットフィルタ領域２１１を光学フィルタ２０５に設けず、例えば、撮像レンズ２０４に赤外光カットフィルタ領域２１１を設けてもよい。この場合、光学フィルタ２０５の作製が容易となる。
また、赤外光カットフィルタ領域２１１に代えて、後段フィルタ２２０の雨滴検出用フィルタ部２２０Ｂに鉛直偏光成分Ｐのみを透過させる分光フィルタ層を形成してもよい。この場合、前段フィルタ２１０には赤外光カットフィルタ領域２１１を形成する必要はない。
また、偏光フィルタ層は、必ずしも設ける必要はない。
また、本実施形態の光学フィルタ２０５は、図１４に示したように領域分割された偏光フィルタ層２２２及び分光フィルタ層２２３を有する後段フィルタ２２０が、前段フィルタ２１０よりも画像センサ２０６側に設けられているが、前段フィルタ２１０を後段フィルタ２２０よりも画像センサ２０６側に設けてもよい。
【００７５】
〔ヘッドランプの配光制御〕
以下、本実施形態におけるヘッドランプの配光制御について説明する。
本実施形態におけるヘッドランプの配光制御は、撮像部２００で撮像された撮像画像データを解析して車両のテールランプとヘッドランプを識別し、識別したテールランプから先行車両を検出するとともに、識別したヘッドランプから対向車両を検出する。そして、先行車両や対向車両の運転者の目に自車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。
【００７６】
本実施形態のヘッドランプ配光制御では、撮像ユニット１０１から取得することができる情報のうち、撮像領域内の各地点（光源体）から発せられる光の強さ（明るさ情報）、ヘッドランプやテールランプなどの光源体（他車両）と自車両との距離（距離情報）、各光源体から発せられる光の赤色成分と白色成分（非分光）との比較による分光情報、白色成分の水平偏光成分と鉛直偏光成分との比較による偏光情報、水平偏光成分がカットされた白色成分の鉛直偏光成分情報、水平偏光成分がカットされた赤色成分の鉛直偏光成分情報を用いる。
【００７７】
明るさ情報について説明すると、夜間に、先行車両や対向車両が自車両から同じ距離に存在する場合、撮像部２００によってそれらの先行車両及び対向車両を撮像すると、撮像画像データ上では検出対象物の１つである対向車両のヘッドランプが最も明るく映し出され、検出対象物の１つである先行車両のテールランプはそれよりも暗く映し出される。また、リフレクタが撮像画像データに映し出されている場合、リフレクタは自ら発光する光源ではなく、自車両のヘッドランプを反射することによって明るく映し出されるものに過ぎないので、先行車両のテールランプよりもさらに暗くなる。一方、対向車両のヘッドランプ、先行車両のテールランプ及びリフレクタからの光は、距離が遠くなるにつれて、それを受光する画像センサ２０６上ではだんだん暗く観測される。よって、撮像画像データから得られる明るさ（輝度情報）を用いることで  ２種類の検出対象物（ヘッドランプとテールランプ）及びリフレクタの一次的な識別が可能である。
【００７８】
また、距離情報について説明すると、ヘッドランプやテールランプは、そのほとんどが左右一対のペアランプの構成であるため、この構成の特徴を利用してヘッドランプやテールランプ（すなわち他車両）と自車両との距離を求めることが可能である。ペアとなる左右一対のランプは、撮像部２００が撮像した撮像画像データ上では、互いに近接して同じ高さ方向位置に映し出され、当該ランプを映し出すランプ画像領域の広さはほぼ同じで、かつ、当該ランプ画像領域の形状もほぼ同じである。よって、これらの特徴を条件とすれば、その条件を満たすランプ画像領域同士をペアランプであると識別できる。なお、遠距離になるとペアランプを構成する左右のランプを区別して認識できなくなり、単一ランプとして認識される。
【００７９】
このような方法でペアランプを識別できた場合、そのペアランプ構成であるヘッドランプやテールランプの光源までの距離を算出することが可能である。すなわち、車両の左右ヘッドランプ間の距離及び左右テールランプ間の距離は、一定値ｗ０（例えば１．５ｍ程度）で近似することができる。一方、撮像部２００における撮像レンズ２０４の焦点距離ｆは既知であるため、撮像部２００の画像センサ２０６上における左右ランプにそれぞれ対応した２つのランプ画像領域間の距離ｗ１を撮像画像データから算出することにより、そのペアランプ構成であるヘッドランプやテールランプの光源と自車両までの距離ｘは、単純な比例計算（ｘ＝ｆ×ｗ０／ｗ１）により求めることができる。また、このようにして算出される距離ｘが適正範囲であれば、その算出に用いた２つのランプ画像領域は他車両のヘッドランプとテールランプであると識別することができる。よって、この距離情報を用いることで、検出対象物であるヘッドランプとテールランプの識別精度が向上する。
【００８０】
また、分光情報について説明すると、本実施形態では、上述したとおり、撮像部２００で撮像した撮像画像データから、赤色光（鉛直偏光成分）Ｐ／Ｒを受光する画像センサ２０６上の撮像画素ａ，ｃ，ｆ，ｈ等に対応した画素データのみを抽出することで、撮像領域内の赤色成分だけを映し出した赤色画像を生成することができる。よって、赤色画像において所定輝度以上の輝度を有する画像領域が存在する場合、その画像領域はテールランプを映し出したテールランプ画像領域であると識別することが可能である。
【００８１】
また、撮像部２００で撮像した撮像画像データから、白色光（非分光）の鉛直偏光成分Ｐ／Ｃを受光する画像センサ２０６上の撮像画素ｂ，ｄ等に対応した画素データのみを抽出することで、撮像領域内のモノクロ輝度画像（鉛直偏光成分）を生成することができる。よって、赤色画像上の画像領域と、この画像領域に対応したモノクロ輝度画像上の画像領域との間の輝度比率（赤色輝度比率）を算出することもできる。この赤色輝度比率を用いれば、撮像領域内に存在する物体（光源体）からの光に含まれる相対的な赤色成分の比率を把握することができる。テールランプの赤色輝度比率は、ヘッドランプや他のほとんどの光源よりも十分に高い値をとるので、この赤色輝度比率を用いればテールランプの識別精度が向上する。
【００８２】
また、偏光情報について説明すると、本実施形態では、上述したとおり、撮像部２００で撮像した撮像画像データから、白色光（非分光）の鉛直偏光成分Ｐ／Ｃを受光する画像センサ２０６上の撮像画素ｂ，ｄ等に対応した画素データと、白色光（非分光）の水平偏光成分Ｓ／Ｃとを受光する画像センサ２０６上の撮像画素ｅ，ｇ等に対応した画素データとを抽出し、画像画素ごとに、これらの画像データ間の画素値（輝度）を比較した比較画像を得ることができる。具体的には、例えば、白色光（非分光）の鉛直偏光成分Ｐと白色光（非分光）の水平偏光成分Ｓとの差分値（Ｓ−Ｐ）を画素値とした差分画像を、比較画像として得ることができる。このような比較画像によれば、ヘッドランプから撮像部２００へ直接入射する直接光の画像領域（ヘッドランプ画像領域）と、ヘッドランプから雨路の水面で反射してから撮像部２００へ入射する間接光の画像領域とのコントラストを大きくとることができ、ヘッドランプの識別精度が向上する。
【００８３】
特に、比較画像としては、白色光（非分光）の鉛直偏光成分Ｐと白色光（非分光）の水平偏光成分Ｓとの比率（Ｓ／Ｐ）を画素値とした比率画像や、差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を画素値とした差分偏光度画像などが好適に使用できる。一般に、水面などの水平な鏡面で反射した光は、水平偏光成分が常に強くなることが知られており、とくに水平偏光成分Ｓと鉛直偏光成分Ｐとの比率（Ｓ／Ｐ）や差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））をとった場合、その比率や差分偏光度は特定角度（ブリュースター角度）において最大となることが知られている。雨路では、散乱面であるアスファルト面に水が張られて鏡面に近い状態となるため、路面からのヘッドランプ反射光は水平偏光成分Ｓの方が強くなる。よって、路面からのヘッドランプ反射光の画像領域は、比率画像や差分偏光度画像においては、その画素値（輝度）が大きいものとなる。一方、ヘッドランプからの直接光は基本的には無偏光なので、比率画像や差分偏光度画像においては、その画素値（輝度）が小さいものとなる。この違いにより、ヘッドランプからの直接光と同じ程度の光量をもつ雨路面からのヘッドランプ反射光を適切に除外でき、ヘッドランプからの直接光をこのようなヘッドランプ反射光と区別して識別することができる。
【００８４】
次に、本実施形態における先行車両及び対向車両の検出処理の流れについて説明する。
図１８は、本実施形態における車両検出処理の流れを示すフローチャートである。
本実施形態の車両検出処理では、撮像部２００が撮像した画像データに対して画像処理を施し、検出対象物であると思われる画像領域を抽出する。そして、その画像領域に映し出されている光源体の種類が２種類の検出対象物のいずれであるかを識別することで、先行車両、対向車両の検出を行う。
【００８５】
まず、ステップＳ１では、撮像部２００の画像センサ２０６によって撮像された自車両前方の画像データをメモリに取り込む。この画像データは、上述したように、画像センサ２０６の各撮像画素における輝度を示す信号を含む。次に、ステップＳ２では、自車両の挙動に関する情報を車両挙動センサから取り込む。
【００８６】
ステップＳ３では、メモリに取り込まれた画像データから検出対象物（先行車両のテールランプ及び対向車両のベッドランプ）であると思われる輝度の高い画像領域（高輝度画像領域）を抽出する。この高輝度画像領域は、画像データにおいて、所定の閾値輝度よりも高い輝度を有する明るい領域となり、複数存在する場合が多いが、それらのすべてを抽出する。よって、この段階では、雨路面からの照り返し光を映し出す画像領域も、高輝度画像領域として抽出される。
【００８７】
高輝度画像領域抽出処理では、まず、ステップＳ３１において、画像センサ２０６上の各撮像画素の輝度値を所定の閾値輝度と比較することにより２値化処理を行う。具体的には、所定の閾値輝度以上の輝度を有する画素に「１」、そうでない画素に「０」を割り振ることで、２値化画像を作成する。次に、ステップＳ３２において、この２値化画像において、「１」が割り振られた画素が近接している場合には、それらを１つの高輝度画像領域として認識するラベリング処理を実施する。これによって、輝度値の高い近接した複数の画素の集合が、１つの高輝度画像領域として抽出される。
【００８８】
上述した高輝度画像領域抽出処理の後に実行されるステップＳ４では、抽出された各高輝度画像領域に対応する撮像領域内の物体と自車両との距離を算出する。この距離算出処理では、車両のランプは左右１対のペアランプであることを利用して距離を検出するペアランプ距離算出処理と、遠距離になるとペアランプを構成する左右のランプを区別して認識できなくなって当該ペアランプが単一ランプとして認識される場合の単一ランプ距離算出処理とを実行する。
【００８９】
まず、ペアランプ距離算出処理のために、ステップＳ４１では、ランプのペアを作成する処理であるペアランプ作成処理を行う。ペアとなる左右一対のランプは、撮像部２００が撮像した画像データにおいて、近接しつつほぼ同じ高さとなる位置にあり、高輝度画像領域の面積がほぼ同じで、かつ高輝度画像領域の形が同じであるとの条件を満たす。したがって、このような条件を満たす高輝度画像領域同士をペアランプとする。ペアをとることのできない高輝度画像領域は単一ランプとみなされる。ペアランプが作成された場合には、ステップＳ４２のペアランプ距離算出処理によって、そのペアランプまでの距離を算出する。車両の左右ヘッドランプ間の距離及び左右テールランプ間の距離は、一定値ｗ０（例えば１．５ｍ程度）で近似することができる。一方、撮像部２００における焦点距離ｆは既知であるため、撮像部２００の画像センサ２０６上の左右ランプ距離ｗ１を算出することにより、ペアランプまでの実際の距離ｘは、単純な比例計算（ｘ＝ｆ・ｗ０／ｗ１）により求めることができる。なお、先行車両や対向車両までの距離検出は、レーザレーダやミリ波レーダなどの専用の距離センサを用いてもよい。
【００９０】
ステップＳ５では、鉛直偏光成分Ｐの赤色画像と鉛直偏光成分Ｐの白色画像との比率（赤色輝度比率）を分光情報として用い、この分光情報から、ペアランプとされた２つの高輝度画像領域が、ヘッドランプからの光によるものなのか、テールランプからの光によるものなのかを識別するランプ種類識別処理を行う。このランプ種類識別処理では、まずステップＳ５１において、ペアランプとされた高輝度画像領域について、画像センサ２０６上の撮像画素ａ，ｆに対応した画素データと画像センサ２０６上の撮像画素ｂに対応した画素データとの比率を画素値とした赤色比画像を作成する。そして、ステップＳ５２において、その赤色比画像の画素値を所定の閾値と比較し、所定の閾値以上である高輝度画像領域についてはテールランプからの光によるテールランプ画像領域であるとし、所定の閾値未満である高輝度画像領域についてはヘッドランプからの光によるヘッドランプ画像領域であるとするランプ種別処理を行う。
【００９１】
続いて、ステップＳ６では、テールランプ画像領域及びヘッドランプ画像領域として識別された各画像領域について、差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を偏光情報として用いて、テールランプ又はヘッドランプからの直接光か雨路面等の鏡面部で反射して受光された照り返し光かを識別する照り返し識別処理を行う。この照り返し識別処理では、まずステップＳ６１において、テールランプ画像領域について差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を算出し、その差分偏光度を画素値とした差分偏光度画像を作成する。また、同様に、ヘッドランプ画像領域についても差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を算出し、その差分偏光度を画素値とした差分偏光度画像を作成する。そして、ステップＳ６２において、それぞれの差分偏光度画像の画素値を所定の閾値と比較し、所定の閾値以上であるテールランプ画像領域及びヘッドランプ画像領域については、照り返し光によるものであると判断し、それらの画像領域は先行車両のテールランプを映し出したものではない又は対向車両のヘッドランプを映し出したものではないとして、除外する処理を行う。この除外処理を行った後に残るテールランプ画像領域及びヘッドランプ画像領域は、先行車両のテールランプを映し出したものである、あるいは、対向車両のヘッドランプを映し出したものであると識別される。
【００９２】
なお、レインセンサなどを車両に搭載しておき、当該レインセンサにより雨天時であることを確認した場合にのみ、上述した照り返し識別処理Ｓ６を実行するようにしてもよい。また、運転者（ドライバー）がワイパーを稼働している場合にのみ、上述した照り返し識別処理Ｓ６を実行するようにしてもよい。要するに、雨路面からの照り返しが想定される雨天時のみに上述した照り返し識別処理Ｓ６を実行するようにしてもよい。
【００９３】
以上のような車両検出処理により検出した先行車両及び対向車両の検出結果は、本実施形態では自車両の車載機器であるヘッドランプの配光制御に用いられる。具体的には、車両検出処理によりテールランプが検出されてその先行車両のバックミラーに自車両のヘッドランプ照明光が入射する距離範囲内に近づいた場合に、その先行車両に自車両のヘッドランプ照明光が当たらないように、自車両のヘッドランプの一部を遮光したり、自車両のヘッドランプの光照射方向を上下方向又は左右方向へずらしたりする制御を行う。また、車両検出処理によりベッドランプが検出されて、その対向車両の運転者に自車両のヘッドランプ照明光が当たる距離範囲内に近づいた場合に、その対向車両に自車両のヘッドランプ照明光が当たらないように、自車両のヘッドランプの一部を遮光したり、自車両のヘッドランプの光照射方向を上下方向又は左右方向へずらしたりする制御を行う。
【００９４】
〔白線検出処理〕
以下、本実施形態における白線検出処理について説明する。
本実施形態では、自車両が走行可能領域から逸脱するのを防止する目的で、検出対象物としての白線（区画線）を検出する処理を行う。ここでいう白線とは、実線、破線、点線、二重線等の道路を区画するあらゆる白線を含む。なお、黄色線等の白色以外の色の区画線などについても同様に検出可能である。
【００９５】
本実施形態における白線検出処理では、撮像ユニット１０１から取得することができる情報のうち、白色成分（非分光）の鉛直偏光成分Ｐの偏光情報を用いる。なお、この白色成分の鉛直偏光成分にシアン光の鉛直偏光成分を含めても良い。一般に、白線やアスファルト面は、可視光領域においてフラットな分光輝度特性を有することが知られている。一方、シアン光は可視光領域内の広帯域を含んでいるため、アスファルトや白線を撮像するには好適である。よって、前記構成例２における光学フィルタ２０５を用い、白色成分の鉛直偏光成分にシアン光の鉛直偏光成分を含めることで、使用する撮像画素数が増えるため、結果的に解像度が上がり、遠方の白線も検出することが可能となる。
【００９６】
本実施形態の白線検出処理において、多くの道路では、黒色に近い色の路面上に白線が形成されており、白色成分（非分光）の鉛直偏光成分Ｐの画像において白線部分の輝度は路面上の他部分より十分に大きい。そのため、路面部分のうち輝度が所定値以上である部分を白線として判定することにより、白線を検出することができる。特に、本実施形態では、使用する白色成分（非分光）の鉛直偏光成分Ｐの画像は、水平偏光成分Ｓがカットされているので、雨路からの照り返し光などを抑制した画像を取得することが可能となる。よって、夜間における雨路などからヘッドランプの照り返し光等の外乱光を白線と誤認識することなく、白線検出を行うことが可能である。
【００９７】
また、本実施形態における白線検出処理において、撮像ユニット１０１から取得することができる情報のうち、白色成分（非分光）の水平偏光成分Ｓと鉛直偏光成分Ｐとの比較による偏光情報、例えば、白色成分（非分光）の水平偏光成分Ｓと鉛直偏光成分Ｐの差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を用いてもよい。白線からの反射光は、通常、拡散反射成分が支配的であるため、その反射光の鉛直偏光成分Ｐと水平偏光成分Ｓとはほぼ同等となり、差分偏光度はゼロに近い値を示す。一方、白線が形成されていないアスファルト面部分は、乾燥状態のときには散乱反射成分が支配的となる特性を示し、その差分偏光度は正の値を示す。また、白線が形成されていないアスファルト面部分は、湿潤状態のときには、鏡面反射成分が支配的となり、その差分偏光度は更に大きな値を示す。したがって、得られた路面部分の偏光差分値が所定閾値よりも小さい部分を白線と判定することができる。
【００９８】
〔フロントガラス上の雨滴検出処理〕
以下、本実施形態における雨滴検出処理について説明する。
本実施形態では、ワイパー１０７の駆動制御やウォッシャー液の吐出制御を行う目的で、付着物としての雨滴を検出する処理を行う。なお、ここでは、フロントガラス上に付着した付着物が雨滴である場合を例に挙げて説明するが、鳥の糞、隣接車両からの跳ねてきた路面上の水しぶきなどの付着物についても同様である。
【００９９】
本実施形態における雨滴検出処理では、撮像ユニット１０１から取得することができる情報のうち、前段フィルタ２１０の赤外光透過フィルタ領域２１２及び後段フィルタ２２０の雨滴検出用フィルタ部２２０Ｂにおける偏光フィルタ層２２５を透過した光を受光する雨滴検出用画像領域２１４の鉛直偏光成分Ｐの偏光情報を用いる。そのため、光源部２０２からフロントガラス１０５へ入射させる光は鉛直偏光成分Ｐを多く含むようにする必要がある。そのためには、例えば光源部２０２の光源として発光ダイオード（ＬＥＤ）を用いる場合、その光源部２０２とフロントガラス１０５との間に、鉛直偏光成分Ｐのみを透過させる偏光子を配置するのがよい。また、光源部２０２の光源として半導体レーザ（ＬＤ）を用いる場合、ＬＤは特定偏光成分の光のみを発光させることができるので、鉛直偏光成分Ｐのみの光がフロントガラス１０５に入射するようにＬＤの軸を合わせてもよい。
【０１００】
本実施形態では、上述したとおり、光源部２０２から照射されて反射偏向プリズム２３０からフロントガラス１０５の内壁面に入射した照明光（赤外光）は、フロントガラス１０５の外壁面上に雨滴が付着していない非付着箇所では、フロントガラス１０５の外壁面で正反射する。この正反射光は、画像センサ２０６に受光されて雨滴検出用画像領域２１４に映し出される。一方、フロントガラス１０５の外壁面上に雨滴が付着している付着箇所では、照明光がフロントガラス１０５の外壁面を透過し、その透過光が画像センサ２０６に受光されることはない。したがって、撮像画像データの雨滴検出用画像領域２１４は、フロントガラス１０５の外壁面に雨滴が付着していない非付着箇所は高輝度な画像部分（高い画素値）となる一方、雨滴が付着している付着箇所は低輝度な画像部分（低い画素値）となる。このような違いから、雨滴の有無だけでなく、雨滴の量も把握することが可能である。
【０１０１】
図１９は、本実施形態における雨滴検出処理の説明図である。
本実施形態の雨滴検出処理では、撮像ユニット１０１から取得した撮像画像データの雨滴検出用画像領域２１４の情報を用い、雨滴量が一定量を超えたと判断したらワイパー１０７を駆動させる。詳しくは、雨滴検出用画像領域２１４を例えば図１９に示すように画像横方向に８区分に分割し、各区分内の合計画素値ＩＬ１〜ＩＬ８を算出する。そして、いずれかの区分の合計画素値ＩＬ１〜ＩＬ８が予め決められた閾値ＩＬｔｈを下回ったら、雨滴量が一定量を超えたと判断してワイパー１０７を駆動させる。逆に、いずれかの区分の合計画素値ＩＬ１〜ＩＬ８が予め決められた閾値ＩＬｔｈ以上になったら、ワイパー１０７の駆動を停止させる。なお、ワイパー１０７の駆動を開始させる条件や停止させる条件は、これに限らず適宜設定できる。例えば、閾値は固定値である必要はなく、撮像部２００が搭載される自車両周辺の状況変化等に応じて適宜変更するようにしてもよい。また、開始条件と停止条件の閾値は同じ値でも異なる値でもよい。
【０１０２】
図２０は、従来の撮像フレームと雨滴検出との関係を示す説明図である。
図２１は、本実施形態における撮像フレームと雨滴検出との関係を示す説明図である。
従来は、図２０に示すように、撮像領域内に存在する路面上の白線（区画線）や他車両等の検出対象物を検出するための撮像フレーム（センシング用フレーム）ｆｒａｍｅ１〜４，６〜９，１１〜１４と、雨滴を検出するための撮像フレーム（雨滴検出用フレーム）ｆｒａｍｅ５，１０とが、異なる撮像フレームであった。この場合、雨滴検出用フレームの前後のセンシング用フレームの間で時間が空くことになるため、前のセンシング用フレームの撮像時点から後のセンシング用フレームの撮像時点までの間に、検出対象物を検出するための画像を取得できない時間が存在し、検出対象物の認識精度が低下するなどの不具合を引き起こす。
【０１０３】
これに対し、本実施形態においては、図２１に示すように、検出対象物を検出するための画像（車両検出用画像領域）と雨滴２０３を検出するための雨滴検出用画像領域とを有する画像を、単一の撮像フレームｆｒａｍｅ２，４，６，８，１０，１２で得ることができる。この場合、雨滴を検出するための専用の撮像フレーム（雨滴検出用フレーム）が不要であるため、上述した不具合が生じることはない。
【０１０４】
ここで、本実施形態では、好適な車両検出用画像領域（例えばコントラストの高い画像領域）を得るために、撮像領域の状況（明るさ等）に応じて露光量を変更する自動露光制御（ＡＥＣ）を実施している。具体的には、前撮像フレームにおける撮像画像中央部（車両検出用画像領域２１３内の画素）の輝度値に合わせて、次の撮像フレームの露光時間（露光量）を変更する自動露光制御（ＡＥＣ）を行う。
【０１０５】
ところが、このような自動露光制御が実施されると、フロントガラス上の雨滴付着状況が全く同じ状況であっても、その露光時間の変更によって雨滴検出用画像領域の輝度やコントラストが変わってしまう。そのため、本実施形態の雨滴検出処理において、雨滴検出用画像領域２１４の情報から検出される雨滴量を適切に判断できなくなり、例えばワイパー１０７の誤動作などの問題が生じ得る。
【０１０６】
例えば、図２２に示すように、光源部２０２からの光照射期間内で自動露光制御により露光期間が変更されると、その露光期間の長短によって画像センサ２０６による光源光の受光時間（フロントガラス上の非雨滴付着箇所からの光源光の反射光を受光する時間）が変わる。この場合、フロントガラスに付着する雨滴量が同じであっても、画像センサ２０６に受光される光源光の受光量が変わり、輝度やコントラスト等が異なる雨滴検出用画像領域２１４が得られる結果、雨滴量の適切な検出ができなくなる。
【０１０７】
一方で、図２３に示すように、光源部２０２からの光照射期間外で自動露光制御により露光期間が変更される場合には、その露光期間が変更されても画像センサ２０６による光源光の受光時間は光照射期間で一定である。しかしながら、この場合でも、画像センサ２０６内の信号処理等（例えば上述したダーク補正）が原因で、露光期間が変更されたときに、画像センサ２０６による光源光の受光時間が一定であっても、画像センサ２０６のセンサ基板２０７から出力されるアナログ電気信号が変わることがある。そのため、この場合も、フロントガラスに付着する雨滴量が同じであっても、輝度やコントラスト等が異なる雨滴検出用画像領域２１４が得られる結果、雨滴量の適切な検出ができなくなる。
【０１０８】
そこで、本実施形態においては、自動露光制御により変化する露光時間に応じて、変化後の露光時間での露光期間中に画像センサ２０６の雨滴検出用画像領域に対応する部分で受光される光源光の光量を変化させる光源光制御を実行する。具体的には、画像解析ユニット１０２の光量調整部１０２Ｂが光源光制御手段として機能する。光量調整部１０２Ｂは、画像解析ユニット１０２の露光量制御部１０２Ｃで算出された露光時間を取得し、その露光時間に応じて、当該露光時間が設定される撮像フレーム時に点灯させる光源部２０２の強度を変更するＰＷ制御を実施する。このＰＷ制御では、例えば、光源部２０２に設けられる各ＬＥＤ等の光源のパワーを変更する。
【０１０９】
なお、本実施形態では、画像センサ２０６の雨滴検出用画像領域に対応する部分で受光される光源光の光量を変化させる光源光制御として、光源部２０２の強度を変更するＰＷ制御を採用しているが、他の制御であってもよい。例えば、光源部２０２に設けられる複数のＬＥＤの点灯数を変更する制御であってもよい。また、例えば、露光期間中に光源部２０２が照射する光源光の照射時間割合を制御するＰＷＭ制御であってもよい。また、光源部２０２を制御するのではなく、光源部２０２から照射された光源光を透過させる光透過部材の光透過量を制御して、画像センサ２０６の雨滴検出用画像領域に対応する部分で受光される光源光の光量を変化させてもよい。
【０１１０】
図２４は、本実施形態における露光時間と光源パワーとの関係を示す説明図である。
本実施形態における光量調整部１０２Ｂは、露光量制御部１０２Ｃにより露光時間が長くなれば光源部２０２の強度（光源パワー）を低くし、露光量制御部１０２Ｃにより露光時間が短くなれば光源部２０２の強度を高くする。このとき、露光期間中に光源部２０２が照射する光源光の光量が所定範囲内に維持されるように光源部２０２の強度を制御するのが好ましい。具体的には、例えば、露光期間中に光源部２０２が照射する光源光の時間積分値が目標値となるように光源部２０２の強度（光源パワー）を制御する。これによれば、露光時間の変更による雨滴検出用画像領域の輝度やコントラストの変化を所定範囲内に抑えることができ、雨滴量の適切な検出が可能となる。
【０１１１】
以上のＰＷ制御は、図２３に示したように光源部２０２からの光照射期間外で自動露光制御により露光期間が変更される場合には実行せず、図２２に示したように光源部２０２からの光照射期間内で自動露光制御により露光期間が変更される場合にだけ実行するようにしてもよい。図２３に示したように光源部２０２からの光照射期間外で自動露光制御により露光期間が変更されるときには、上述したように、その露光期間が変更されても画像センサ２０６による光源光の受光時間が一定であるため、露光時間の変更による雨滴検出用画像領域の輝度やコントラストの変化が十分に小さい場合があるからである。
【０１１２】
なお、光源部２０２で照明しているときの照明時画像と、光源部２０２を消灯したときの消灯時画像とを撮像して、その差分画像（比較画像）から上述した雨滴検出処理を行ってもよい。外乱光のうち、太陽光などは多少時間が経過しても大きな変化がないが、自車両１００の走行中の対向車のヘッドライトなどは、わずかの時間経過で大きな変化が生じる場合がある。この場合、差分画像を得るための２つのフレームの時間的な間隔が開いていると、その間に外乱光の大きさが変わってしまい、差分画像を生成した際に、うまく外乱光をキャンセルできない可能性がある。このようなことを防ぐために、差分画像を得るための２つのフレームは連続するフレームであることが好ましい。また、雨滴を検出するための２フレームの撮像時で露光時間が変わってしまうと、それぞれのフレームに含まれる外乱光の受光量が変わってしまい、差分画像によって外乱光を適切にキャンセルできないおそれがある。よって、雨滴を検出するための２フレームについては、例えば、露光時間が同じなるように露光制御を行うのがよい。
【０１１３】
〔変形例〕
次に、本実施形態の一変形例について説明する。
上述した実施形態においては、反射偏向プリズム２３０を用い、雨滴の付着箇所では照明光がフロントガラス外壁面を透過し、雨滴の非付着箇所では照明光がフロントガラス外壁面で反射して画像センサ２０６に受光される構成であった。これに対し、本変形例は、雨滴の非付着箇所では照明光がフロントガラス外壁面を透過し、雨滴の付着箇所ではフロントガラス外壁面を透過した照明光が雨滴で反射して画像センサ２０６に受光される構成である。具体的には、図２５に示すような構成である。
【０１１４】
なお、図２５の例では、光源部２０２から出射した照明光が直接フロントガラス１０５の内壁面に入射する構成となっているが、ミラー等の光路変更部材を介する構成としてもよい。この場合、上述した実施形態と同様に、センサ基板２０７上に光源装置としての光源部２０２を実装することが可能となる。
【０１１５】
図２５中の光線Ａは、光源部２０２から出射してフロントガラス１０５を通過する光線である。フロントガラス１０５の外壁面に雨滴２０３が付着していない場合、光源部２０２からフロントガラス１０５に向けて照射された光は、光線Ａのように、フロントガラス１０５を透過してそのまま自車両１００の外部に漏れ出る。
【０１１６】
図２５中の光線Ｂは、光源部２０２からの出射光がフロントガラス１０５の内壁面で正反射して撮像部２００へ入射する光線である。光源部２０２からフロントガラス１０５へ向かう光の一部はフロントガラス１０５の内壁面で正反射する。この正反射光（光線Ｂ）の偏光成分は、一般に、その入射面に対して直交する方向（図２５の紙面に対して垂直な方向）に振動するＳ偏光成分（水平偏光成分Ｓ）が支配的であることが知られている。光源部２０２から照射されてフロントガラス１０５の内壁面で正反射した正反射光（光線Ｂ）は、フロントガラス１０５の外壁面に付着する雨滴２０３の有無によって変動しないので、雨滴検出に不要な光であるばかりか、雨滴検出の検出精度を低下させる外乱光となる。本変形例では、光線Ｂ（水平偏光成分Ｓ）が雨滴検出用フィルタ部２２０Ｂの偏光フィルタ層２２５によってカットされるので、この光線Ｂによって雨滴検出精度が低下することを抑制できる。
【０１１７】
図２５中の光線Ｃは、光源部２０２からの出射光がフロントガラス１０５の内壁面を透過し、その後、フロントガラス１０５の外壁面に付着する雨滴で反射して撮像部２００へ入射する光線である。光源部２０２からフロントガラス１０５へ向かう光の一部はフロントガラス１０５の内壁面を透過するが、その透過光は水平偏光成分Ｓよりも鉛直偏光成分Ｐの方が多い。そして、フロントガラス１０５の外壁面上に雨滴２０３が付着している場合、フロントガラス１０５の内壁面を透過した光は、前記光線Ａのように外部へ漏れ出ずに、雨滴内部で多重反射して撮像部２００側に向けて再度フロントガラス１０５内を透過し、撮像部２００に入射する。このとき、撮像部２００の光学フィルタ２０５における前段フィルタ２１０の赤外光透過フィルタ領域２１２は、光源部２０２の発光波長（赤外光）を透過させるように構成されているので、光線Ｃは赤外光透過フィルタ領域２１２を通過する。また、続く後段フィルタ２２０の雨滴検出用フィルタ部２２０Ｂの偏光フィルタ層２２５は、鉛直偏光成分Ｐを透過するようにワイヤーグリッド構造の金属ワイヤーの長手方向が形成されているため、光線Ｃは偏光フィルタ層２２５も透過する。よって、光線Ｃは、画像センサ２０６に到達し、その受光量によって雨滴の検出が行われる。
【０１１８】
図２５中の光線Ｄは、フロントガラス１０５の外部からフロントガラス１０５を透過して撮像部２００の雨滴検出用フィルタ部２２０Ｂに向かって入射してくる光線である。この光線Ｄも雨滴検出時の外乱光となり得るが、本変形例では、その光線Ｄの大部分が、光学フィルタ２０５における前段フィルタ２１０の赤外光透過フィルタ領域２１２によってカットされる。よって、この光線Ｄによって雨滴検出精度が低下することも抑制できる。
【０１１９】
図２５中の光線Ｅは、フロントガラス１０５の外部からフロントガラス１０５を透過して撮像部２００の車両検出用フィルタ部２２０Ａに向かって入射してくる光線である。この光線Ｅは、光学フィルタ２０５における前段フィルタ２１０の赤外光カットフィルタ領域２１１によって赤外光帯域がカットされ、可視域の光のみが撮像される。この撮像画像は、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の検出などに利用される。
【０１２０】
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
光源部２０２等の光源装置からフロントガラス１０５等の光透過性部材に向けて照射された光源光を画像センサ２０６の一部分で受光するとともに所定の撮像領域からの光を該画像センサ２０６の他の部分で受光することにより、該光透過性部材に付着した雨滴２０３等の付着物を映し出す雨滴検出用画像領域２１４等の付着物画像領域と該撮像領域を映し出す車両検出用画像領域２１３等の撮像領域画像領域とを含む画像を撮像する撮像ユニット１０１及び画像解析ユニット１０２等からなる撮像装置において、所定の露光条件に従って露光時間等の露光量を変化させる露光量制御部１０２Ｃ等の露光量制御手段と、前記露光量制御手段により変化する露光量に応じて、変化後の露光量での露光期間中に前記画像センサの前記一部分で受光される光源光の光量を変化させる光源光制御を実行する光量調整部１０２Ｂ等の光源光制御手段とを有することを特徴とする。
これによれば、露光量制御手段により露光量が変更されたときに、付着物画像領域に対応する画像センサ部分で受光される光源光の光量を光源光制御手段により変化させることができる。付着物画像領域に対応する画像センサ部分で受光される光源光の光量を変化させると、付着物画像領域の輝度やコントラスト等を変化させることができる。よって、露光量制御手段により変更される露光量に応じて光源光制御手段により光源光の光量を変化させることで、露光量が変更されることに起因した付着物画像領域の輝度やコントラスト等の変化を抑制することができる。したがって、付着物画像領域と撮像領域画像領域とを含む画像を撮像する場合でも、撮像領域の状況に応じて露光量に変化させて適切な撮像領域画像領域を得るとともに、露光量変化に起因する輝度やコントラスト等の変化が抑制された適切な付着物画像領域を得ることができる。
【０１２１】
（態様Ｂ）
前記態様Ａにおいて、前記光源光制御手段は、前記露光量制御手段により露光量が多くなる場合には前記画像センサの前記一部分で受光される光源光の光量が少なくなり、該露光量制御手段により露光量が少なくなる場合には該画像センサの該一部分で受光される光源光の光量が多くなるように、前記光源光制御を実行することを特徴とする。
これによれば、露光量変化に起因する輝度やコントラスト等の変化が抑制された付着物画像領域を容易に得ることができる。
【０１２２】
（態様Ｃ）
前記態様Ａ又はＢにおいて、前記光源光制御手段は、前記光源装置を制御することにより、前記光源光制御を実行することを特徴とする。
これによれば、露光量が変更されたときに付着物画像領域の輝度やコントラスト等が変化するのを抑制できるように、付着物画像領域に対応する画像センサ部分で受光される光源光の光量を変化させる光源光制御を容易に実現することができる。
【０１２３】
（態様Ｄ）
前記態様Ｃにおいて、前記光源光制御手段は、前記露光期間中に前記光源装置が照射する光源光の光量が所定範囲内に維持されるように、前記光源光制御を実行することを特徴とする。
これによれば、露光量変化に起因する輝度やコントラスト等の変化が一定範囲内に抑制された適切な付着物画像領域を得ることができる。
【０１２４】
（態様Ｅ）
前記態様Ｃ又はＤにおいて、前記光源光制御手段は、前記露光期間中に前記光源装置が照射する光源光の強度を制御することにより、前記光源光制御を実行することを特徴とする。
これによれば、上述したＰＷ制御のように、露光期間中に付着物画像領域に対応する画像センサ部分で受光される光源光の光量を容易に変化させることができる。
【０１２５】
（態様Ｆ）
前記態様Ｃ〜Ｅのいずれかの態様において、前記光源光制御手段は、前記露光期間中に前記光源装置が照射する光源光の照射時間割合を制御することにより、前記光源光制御を実行することを特徴とする。
これによれば、上述したＰＷＭ制御のように、露光期間中に付着物画像領域に対応する画像センサ部分で受光される光源光の光量を容易に変化させることができる。
【０１２６】
（態様Ｇ）
前記態様Ａ〜Ｆのいずれかの態様において、前記露光量制御手段は、前記露光量として前記画像センサの露光時間を変化させるものであり、前記光源光制御手段は、前記露光量制御手段により露光期間が光源光の照射期間よりも短くなる場合には前記光源光制御を実行するが、前記露光量制御手段により露光期間が光源光の照射期間以上になる場合には前記光源光制御を実行しないことを特徴とする。
これによれば、露光量制御手段により露光期間が光源光の照射期間以上になる場合（図２３に示すような場合）には、上述したように、その露光期間が変更されても画像センサによる光源光の受光時間が一定であるため、露光時間の変更による雨滴検出用画像領域の輝度やコントラストの変化が十分に小さい場合がある。このような場合に光源光制御を実行しないことにより、不要な光源光制御の実行を抑制できる。
【０１２７】
（態様Ｈ）
撮像装置で撮像した画像の付着物画像領域に基づいて、自車両１００等の移動体に搭載されたワイパー等の所定の機器を制御するワイパー制御ユニット１０６等の移動体機器制御手段とを備えた車載機器制御システム等の移動体機器制御システムにおいて、前記撮像装置として、前記態様Ａ〜Ｇのいずれかの態様に係る撮像装置を用いることを特徴とする。
これによれば、付着物画像領域と撮像領域画像領域とを含む画像を撮像する場合でも、撮像領域の状況に応じて露光量に変化させて適切な撮像領域画像領域を得るとともに、露光量変化に起因する輝度やコントラスト等の変化が抑制された適切な付着物画像領域を得ることができるので、付着物画像領域に基づく機器制御を高精度に行うことが可能となる。
【０１２８】
（態様Ｉ）
光源装置から光透過性部材に向けて照射された光源光を画像センサの一部分で受光するとともに所定の撮像領域からの光を該画像センサの他の部分で受光することにより、該光透過性部材に付着した付着物を映し出す付着物画像領域と該撮像領域を映し出す撮像領域画像領域とを含む画像を撮像する撮像装置のコンピュータを機能させるためのプログラムであって、所定の露光条件に従って露光量を変化させる露光量制御手段、及び、前記露光量制御手段により変化する露光量に応じて、変化後の露光量での露光期間中に前記画像センサの前記一部分で受光される光源光の光量を変化させる光源光制御を実行する光源光制御手段として、前記コンピュータを機能させることを特徴とする。
これによれば、付着物画像領域と撮像領域画像領域とを含む画像を撮像する場合でも、撮像領域の状況に応じて露光量に変化させて適切な撮像領域画像領域を得るとともに、露光量変化に起因する輝度やコントラスト等の変化が抑制された適切な付着物画像領域を得ることができる。
なお、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。
【符号の説明】
【０１２９】
１００  自車両
１０１  撮像ユニット
１０２  画像解析ユニット
１０２Ａ  検出処理部
１０２Ｂ  光量調整部
１０２Ｃ  露光量制御部
１０３  ヘッドランプ制御ユニット
１０４  ヘッドランプ
１０５  フロントガラス
１０６  ワイパー制御ユニット
１０７  ワイパー
１０８  車両走行制御ユニット
２００  撮像部
２０２  光源部
２０３  雨滴
２０４  撮像レンズ
２０５  光学フィルタ
２０６  画像センサ
２０７  センサ基板
２０８  信号処理部
２１３  車両検出用画像領域
２１４  雨滴検出用画像領域
２３０  反射偏向プリズム
【先行技術文献】
【特許文献】
【０１３０】
【特許文献１】特開２０１０−１４４９４号公報
【図１】
2016146583.tif 000003
【図２】
2016146583.tif 000004
【図３】
2016146583.tif 000005
【図４】
2016146583.tif 000006
【図５】
2016146583.tif 000007
【図６】
2016146583.tif 000008
【図７】
2016146583.tif 000009
【図８】
2016146583.tif 000010
【図９】
2016146583.tif 000011
【図１０】
2016146583.tif 000012
【図１１】
2016146583.tif 000013
【図１２】
2016146583.tif 000014
【図１３】
2016146583.tif 000015
【図１４】
2016146583.tif 000016
【図１５】
2016146583.tif 000017
【図１６】
2016146583.tif 000018
【図１７】
2016146583.tif 000019
【図１８】
2016146583.tif 000020
【図１９】
2016146583.tif 000021
【図２０】
2016146583.tif 000022
【図２１】
2016146583.tif 000023
【図２２】
2016146583.tif 000024
【図２３】
2016146583.tif 000025
【図２４】
2016146583.tif 000026
【図２５】
2016146583.tif 000027