(57)【特許請求の範囲】
【請求項１】
複数の画素からなる画素アレイを有する撮像素子、及び、該撮像素子の前段に配置される光学フィルタを有し、路面を含む車両周辺情報を撮像する撮像手段と、
前記撮像手段の撮像結果を解析する画像解析手段と、を備え、
前記光学フィルタは、
入射光を透過させる基板と、
有効撮像領域の所定領域に配置され、前記入射光の少なくとも水平偏光成分及び垂直偏光成分を含む複数の偏光成分をそれぞれ前記画素アレイの各画素に入射させるための偏光子が形成された第１の偏光フィルタ層と、を有し、
前記画像解析手段は、前記所定領域の各画素の画素値から水平偏光成分画像及び垂直偏光成分画像を生成し、該水平偏光成分画像の各画素の画素値、及び、該垂直偏光成分画像の各画素の画素値の差分に基づいた値にゲイン値を乗じて偏光度画像を生成し、当該偏光度画像に基づいて路面状態を判別するとともに、前記所定領域以外の前記有効撮像領域を透過した前記入射光の撮像結果に基づいて標識認識を行い、
前記有効撮像領域の周辺部の前記ゲイン値が、前記有効撮像領域の中心部の前記ゲイン値に比べて大きいことを特徴とする画像処理システム。
【請求項２】
前記第１の偏光フィルタ層は、前記入射光の水平偏光成分を透過させる偏光子と、前記入射光の垂直偏光成分を透過させる偏光子とが、ストライプ状のパターンとして交互に形成されてなることを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記光学フィルタの前段に配置され、前記入射光を水平偏光成分と垂直偏光成分に分離する偏光分離手段をさらに備え、
前記偏光分離手段は、前記水平偏光成分及び垂直偏光成分のいずれか一方を直進させるとともに、他方を所定のシフト量だけ光路シフトさせるものであり、
前記所定のシフト量は、前記ストライプ状のパターンのピッチに対応していることを特徴とする請求項２に記載の画像処理システム。
【請求項４】
前記光学フィルタの前記基板が、前記入射光を水平偏光成分と垂直偏光成分に分離し、前記水平偏光成分及び垂直偏光成分のいずれか一方を直進させるとともに、他方を所定のシフト量だけ光路シフトさせる偏光分離機能を有する複屈折材料からなり、
前記所定のシフト量は、前記ストライプ状のパターンのピッチに対応していることを特徴とする請求項２に記載の画像処理システム。
【請求項５】
前記光学フィルタが、前記所定領域以外の前記有効撮像領域に配置され、前記入射光の水平偏光成分のみを前記画素アレイの各画素に入射させるための偏光子が形成された第２の偏光フィルタ層をさらに有することを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理システム。
【請求項６】
前記光学フィルタは、
前記基板の前記撮像素子と反対側の面における前記有効撮像領域の全面に形成され、波長λ１〜λ２、及び、λ３〜λ４（λ１＜λ２＜λ３＜λ４）の範囲の波長成分の光を選択的に透過させる第１の分光フィルタ層をさらに有することを特徴とする請求項１から請求項５のいずれか一項に記載の画像処理システム。
【請求項７】
前記光学フィルタは、
前記基板の前記撮像素子側の面における前記有効撮像領域の前記所定領域に形成され、波長λ３〜λ４の範囲の波長成分の光を選択的に透過させる第２の分光フィルタ層をさらに有することを特徴とする請求項６に記載の画像処理システム。
【請求項８】
前記撮像手段が前記有効撮像領域の前記所定領域用のフレームを撮像する際の露光量と、前記撮像手段が前記所定領域以外の前記有効撮像領域用のフレームを撮像する際の露光量とが異なることを特徴とする請求項１から請求項７のいずれか一項に記載の画像処理システム。
【請求項９】
前記撮像手段は、被写体に向けて光を照射する１以上の発光部からなる光源をさらに有し、
各前記発光部の発光波長は、前記波長λ３〜λ４の範囲に含まれ、
前記画像解析手段が、前記光源から照射されて前記被写体で反射された光に基づいて前記被写体の形状情報を取得することを特徴とする請求項７または請求項８に記載の画像処理システム。
【請求項１０】
前記画像解析手段は、前記水平偏光成分画像の各画素の画素値をＩ（Ｐ）と、前記垂直偏光成分画像の各画素の画素値をＩ（Ｓ）とした場合、α×（Ｉ（Ｐ）−Ｉ（Ｓ））／（Ｉ（Ｐ）＋Ｉ（Ｓ））  （ここでαは定数）の画像情報を算出するものであって、前記有効撮像領域の周辺部のαを前記有効撮像領域の中心部に比べて大きくすることを特徴とする請求項１から請求項９のいずれか一項に記載の画像処理システム。
【請求項１１】
前記第１の偏光フィルタ層の前記偏光子が、前記入射光の前記水平偏光成分及び前記垂直偏光成分に対して４５度の角度をなす偏光成分を透過させ、
前記画像解析手段が、前記水平偏光成分、前記垂直偏光成分、及び前記４５度の角度をなす偏光成分に基づいて路面状態を判別することを特徴とする請求項１から請求項１０のいずれか一項に記載の画像処理システム。
【請求項１２】
請求項１から請求項１１のいずれか一項に記載の画像処理システムと、
前記画像処理システムが備える前記画像解析手段により生成された前記偏光度画像に基づいて、車両の走行を支援する走行支援制御を行う車両走行制御手段と、を備えることを特徴とする車両。
【請求項１３】
前記画像処理システムが備える前記第１及び第２の分光フィルタ層の透過波長λ３〜λ４の範囲に、車両のヘッドランプの投光波長帯の少なくとも一部が含まれることを特徴とする請求項１２に記載の車両。
【請求項１４】
前記画像解析手段は、前記ヘッドランプまたは前記光源が、前記撮像手段による前記有効撮像領域の前記所定領域用の第１フレームの撮像の際に点灯し、第２フレームの撮像の際に消灯するように制御するとともに、前記第１フレームと、前記第２フレームの差分情報に基づいて路面状態を検出することを特徴とする請求項１３に記載の車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、路面の状態（乾燥状態または凍結状態）を検出し、運転者へ注意を促す目的等に利用する画像処理システム及びそれを備えた車両に関する。
【背景技術】
【０００２】
従来から、路面を撮像した偏光画像に基づいて、路面状態が乾燥状態または凍結状態にあるか否かを検出する方法が提案されている（例えば、特許文献１参照）。
【０００３】
特許文献１に開示された路面状態検出装置は、路面を撮像する撮像手段と、該撮像手段の前面に配置され偏光面を水平・垂直方向に可変可能な偏光手段と、を備え、路面を撮像した水平偏光画像及び垂直偏光画像に対してフーリエ変換を行ってパワースペクトル画像を生成し、このパワースペクトル画像中の周波数成分の分布より特徴を算出し、算出した特徴値が設定された値より大か否かによって、路面の凍結、湿潤及び乾燥を判定して出力するようになっている。
【０００４】
しかしながら、特許文献１に開示された路面状態検出装置は、水平偏光画像及び垂直偏光画像を撮像する際に、フィルタ変換部により垂直偏光フィルタと水平偏光フィルタを順次セットする構成であり、リアルタイムの画像撮像には適していない。
【０００５】
このフィルタ変換部の詳細は特許文献１に記載されていないが、一般的なモータなどのメカニカルな機構や、液晶などの切換機構であることが想定される。これらの機構は、自動車等の車両に搭載される場合には、耐熱性や耐振動性の点で課題がある。
【０００６】
そこで、このような課題に対応した撮像装置が提案された（例えば、特許文献２参照）。特許文献２によれば、１つの画像センサで水平偏光画像と垂直偏光画像の撮像が可能である。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
近年は、路上の標識などの撮像を行い、運転者に注意を喚起するための撮像装置が要望されている。なお、路上の標識は、各種情報提示をなすものであるが、その大きさが小さいものもある。そのため、標識の情報を検出するには撮像装置において十分な解像度が必要となる。
【０００８】
しかしながら、特許文献２に開示されたような従来の撮像装置は、水平偏光透過用の偏光子と垂直偏光透過用の偏光子が撮像領域内に形成されており、標識を認識するための画素数が撮像領域内全体の画素数の半分以下になってしまうという課題があった。
【０００９】
本発明は、このような従来の課題を解決するためになされたものであって、偏光画像を用いて路面状態を検出するとともに、輝度画像の解像度を確保して精度の高い標識検出を行うことが可能な画像処理システム及びそれを備えた車両を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明に係る画像処理システムは、複数の画素からなる画素アレイを有する撮像素子、及び、該撮像素子の前段に配置される光学フィルタを有し、路面を含む車両周辺情報を撮像する撮像手段と、前記撮像手段の撮像結果を解析する画像解析手段と、を備え、前記光学フィルタは、入射光を透過させる基板と、有効撮像領域の所定領域に配置され、前記入射光の少なくとも水平偏光成分及び垂直偏光成分を含む複数の偏光成分をそれぞれ前記画素アレイの各画素に入射させるための偏光子が形成された第１の偏光フィルタ層と、を有し、前記画像解析手段は、前記所定領域の各画素の画素値から水平偏光成分画像及び垂直偏光成分画像を生成し、該水平偏光成分画像の各画素の画素値、及び、該垂直偏光成分画像の各画素の画素値の差分に基づいた値にゲイン値を乗じて偏光度画像を生成し、当該偏光度画像に基づいて路面状態を判別するとともに、前記所定領域以外の前記有効撮像領域を透過した前記入射光の撮像結果に基づいて標識認識を行い、前記有効撮像領域の周辺部の前記ゲイン値が、前記有効撮像領域の中心部の前記ゲイン値に比べて大きいことを特徴とする。
【００１１】
この構成により、有効撮像領域の所定領域にのみ偏光子が配置されるため、偏光画像を用いて路面状態を検出するとともに、輝度画像の解像度を確保して精度の高い標識検出を行うことができる。
【発明の効果】
【００１２】
本発明は、偏光画像を用いて路面状態を検出するとともに、輝度画像の解像度を確保して精度の高い標識検出を行うことが可能な画像処理システム及びそれを備えた車両を提供するものである。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る画像処理システムを備える車載機器制御システムの概略構成を示す模式図
【図２】本発明に係る画像処理システムが備える撮像ユニットの概略構成を示す模式図
【図３】光学フィルタ、撮像素子、及びセンサ基板の光透過方向に沿った断面模式図
【図４】光学フィルタをセンサ基板側から見た正面模式図、及び、撮像素子を撮像レンズ側から見た正面模式図
【図５】光学フィルタの偏光フィルタ層と、撮像素子の画素との対応を例示する模式図
【図６】路面状態が湿潤状態である場合と乾燥状態である場合の反射光の変化を説明するための説明図
【図７】光強度Ｉの入射光に対する反射光の水平偏光成分と垂直偏光成分の入射角依存性を示すグラフ
【図８】板氷が置かれたコンクリート面を撮像した輝度画像及び偏光度画像を示す説明図
【図９】影の中の障害物を撮像した輝度画像及び偏光度画像を示す説明図
【図１０】車両の内部に搭載された画像処理システムにより標識検出が行われる様子を示す模式図
【図１１】露光制御の手順を示すフローチャート
【図１２】第１の分光フィルタ層の分光特性を示すグラフ
【図１３】偏光フィルタ層を構成するワイヤグリッド構造の拡大図
【図１４】第２の実施形態における偏光子のパターンを示す模式図
【図１５】偏光子アレイの各領域と撮像素子の各画素との対応関係を簡略化して示す説明図
【図１６】偏光子アレイ及び撮像素子に特定偏光の光が入射する状況を説明するための説明図
【図１７】第３の実施形態における偏光分離手段と、偏光フィルタ層及び画素との対応関係を簡略化して示す模式図
【図１８】偏光分離手段の有無による偏光度画像の違いを説明するための説明図
【図１９】第４の実施形態における光学フィルタの構造を示す光透過方向に沿った断面模式図
【図２０】第４の実施形態における光学フィルタをセンサ基板側から見た正面模式図
【図２１】第４の実施形態における光学フィルタの偏光フィルタ層と、撮像素子の画素との対応を例示する模式図
【図２２】第５の実施形態における撮像素子及び光学フィルタの構造を示す光透過方向に沿った断面模式図
【図２３】第５の実施形態における光学フィルタをセンサ基板側から見た正面模式図
【図２４】第５の実施形態における光学フィルタの偏光フィルタ層と、撮像素子の画素との対応を例示する模式図
【図２５】カラーフィルタの分光特性を示すグラフ
【図２６】第２の分光フィルタ層の分光特性を示すグラフ
【図２７】第６の実施形態における光学フィルタの構造を示す光透過方向に沿った断面模式図
【図２８】第６の実施形態における光学フィルタをセンサ基板側から見た正面模式図
【図２９】撮像ユニットの近傍に路面照射用の光源が配置された構成を示す模式図
【図３０】光源の出射光路中に配置される回折格子の構成を示す斜視図
【図３１】複数の出射光の基準パターン、及び、それらの反射光の撮像パターンを示す説明図
【発明を実施するための形態】
【００１４】
以下、本発明に係る画像処理システム及びそれを備えた車両の実施形態について図面を用いて説明する。なお、各図面上の各構成の寸法比は、実際の寸法比と必ずしも一致していない。
【００１５】
（第１の実施形態）
図１は、本発明に係る画像処理システム１１０を備える車載機器制御システムの概略構成を示す模式図である。本車載機器制御システムは、自動車などの車両１００に搭載された撮像ユニット１０１で撮像した、車両１００の進行方向前方領域または進行方向後方領域の撮像画像データを利用して、ヘッドランプ１０４の配光制御、フロントガラス（透明部材）１０５に付着した異物を除去するためのワイパー１０７の駆動制御、その他の車載機器の制御を行うものである。
【００１６】
図１に示した車載機器制御システムは、撮像ユニット１０１と、画像解析ユニット（画像解析手段）１０２と、ヘッドランプ制御ユニット１０３と、ワイパー制御ユニット１０６と、車両走行制御ユニット１０８と、を主に備える。
【００１７】
本実施形態の画像処理システム１１０は、撮像ユニット１０１及び画像解析ユニット１０２を含む。画像解析ユニット１０２は、撮像ユニット１０１を制御する機能を有するとともに、撮像ユニット１０１から送信されてくる撮像画像データを解析する機能を有する。
【００１８】
画像解析ユニット１０２は、撮像ユニット１０１から送信されてくる撮像画像データを解析し、フロントガラス１０５に付着する雨滴などの異物を検出したり、撮像画像データに車両１００の前方に存在する他車両の位置、方角、距離を算出したり、撮像領域内に存在する路面上の白線（区画線）や標識等の検出対象物を検出したりする。
【００１９】
なお、以降では、車両１００の前方または後方の他車両の位置、方角、距離、路面上の白線（区画線）、路面状態、並びに、標識等の情報を車両周辺情報とも呼ぶ。他車両の検出では、画像解析ユニット１０２は、前方の車両周辺情報を撮像した撮像画像データから、他車両のテールランプを識別することで車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで車両１００とは反対方向へ進行する対向車両を検出する。
【００２０】
画像解析ユニット１０２の算出結果は、ヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した距離データから、車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビーム及びロービームの切り換えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。
【００２１】
画像解析ユニット１０２の算出結果は、ワイパー制御ユニット１０６にも送られる。ワイパー制御ユニット１０６は、ワイパー１０７を制御して、車両１００のフロントガラス１０５に付着した雨滴などの付着物を除去する。ワイパー制御ユニット１０６は、画像解析ユニット１０２が検出した異物検出結果を受けて、ワイパー１０７を制御する制御信号を生成する。ワイパー制御ユニット１０６により生成された制御信号がワイパー１０７に送られると、車両１００の運転者の視界を確保するべく、ワイパー１０７を稼動させる。
【００２２】
また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、例えば画像解析ユニット１０２が検出した白線検出結果に基づいて、白線によって区画されている車線領域から車両１００が外れている場合等に、車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
【００２３】
また、車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した標識検出結果（後述する）と車両走行状態との差異に基づいて、例えば車両１００が制限速度に近い速度で走行している場合に運転者に注意を喚起したり、車両１００が制限速度を超えて走行している場合に車両１００の速度制御を行ったりする。
【００２４】
図２は、撮像ユニット１０１の概略構成を示す模式図である。撮像ユニット１０１は、車両１００の外部からフロントガラス１０５を透過した光を集光する撮像レンズ２０４と、撮像レンズ２０４によって集光された光を画素ごとに光電変換することにより撮像する撮像素子２０６と、撮像レンズ２０４と撮像素子２０６との間に配置される光学フィルタ２０５と、撮像素子２０６が搭載されるセンサ基板２０７と、センサ基板２０７から出力されるアナログ電気信号（撮像素子２０６上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データとして出力する信号処理部２０８と、から構成されている。
【００２５】
なお、撮像レンズ２０４、光学フィルタ２０５、撮像素子２０６、センサ基板２０７は、フロントガラス１０５側からこの順に配置される。また、信号処理部２０８は、画像解析ユニット１０２と電気的に接続されている。なお、図２は、撮像素子２０６と信号処理部２０８とが独立に設けられた例を示しているが、撮像ユニット１０１の構成はこれに限定されない。例えば、撮像素子２０６としてその各画素にＡ／Ｄ変換部を備えたものを用いる場合には、それらのＡ／Ｄ変換部が信号処理部２０８となる。即ち、この場合には、信号処理部２０８は撮像素子２０６に内蔵されることとなる。
【００２６】
撮像レンズ２０４は、例えば、複数のレンズから構成されており、焦点位置は、無限遠、または、無限遠とフロントガラス１０５の外壁面との間に設定されている。
【００２７】
被写体（検出対象物）を含む撮像領域からの入射光は、撮像レンズ２０４を通り、光学フィルタ２０５を透過して、撮像素子２０６でその光強度に応じた電気信号に光電変換される。センサ基板２０７を経由して撮像素子２０６から出力される電気信号（アナログ信号）は信号処理部２０８に入力される。そして、信号処理部２０８は、撮像素子２０６上における各画素の明るさ（輝度情報）及び色情報を含むデジタル信号（撮像画像データ）を、画像の水平・垂直同期信号とともに後段の画像解析ユニット１０２へ出力する。
【００２８】
既に述べたように、本実施形態では、撮像レンズ２０４の焦点位置は、無限遠、または、無限遠とフロントガラス１０５の外壁面との間に設定されている。これにより、先行車両や対向車両の検出や白線の検出を行う場合に、撮像ユニット１０１の撮像画像データから適切な情報を取得することができる。
【００２９】
ただし、無限遠に焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、撮像素子２０６上のテールランプの光を受光する受光素子が１個程度になることがある。この場合、テールランプの光がテールランプ色（赤色）を受光する赤色用受光素子に受光されない恐れがあり、その際にはテールランプを認識できず、先行車両の検出ができない。このような不具合を回避しようとする場合には、撮像レンズ２０４の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する受光素子の数を増やすことができ、テールランプの認識精度が上がり先行車両の検出精度が向上する。
【００３０】
図３は、本実施形態における光学フィルタ２０５Ａ、撮像素子２０６、及び、センサ基板２０７の光透過方向に沿った断面模式図である。また、図４（ａ）は、光学フィルタ２０５Ａをセンサ基板２０７側から見た正面模式図であり、図４（ｂ）は、撮像素子２０６を撮像レンズ２０４側から見た正面模式図である。なお、図３及び４では撮像素子２０６の各画素を簡略化して描いているが、実際には撮像素子２０６は２次元配置された数十万個程度の画素で構成されている。
【００３１】
光学フィルタ２０５Ａは、図３に示すように、使用帯域（本実施形態では可視光領域と赤外光領域）の入射光に対して透明な基板２２０と、基板２２０の撮像レンズ２０４側の面における有効撮像領域（撮像素子２０６を構成する全画素に対応する領域）の全面に形成され、波長λ１〜λ２、及び、λ３〜λ４（λ１＜λ２＜λ３＜λ４）の範囲の波長成分の光を選択的に透過させる分光フィルタ層（第１の分光フィルタ層）２２１と、基板２２０の撮像素子２０６側の面に形成される偏光フィルタ層（第１の偏光フィルタ層）２２３と、偏光フィルタ層２２３上に充填される充填材２２４と、を有し、充填材２２４の撮像素子２０６側の面が撮像素子２０６に近接配置されてなる。
【００３２】
光学フィルタ２０５Ａへの入射光のうち、分光フィルタ層２２１及び偏光フィルタ層２２３を透過した光は、撮像素子２０６の有効撮像領域の所定領域（図４の下部領域２１１）に入射する。また、光学フィルタ２０５Ａへの入射光のうち、分光フィルタ層２２１を透過し偏光フィルタ層２２３を透過しない光は、撮像素子２０６の下部領域２１１以外の有効撮像領域（図４の上部領域２１２）に入射する。
【００３３】
撮像素子２０６は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、２次元配列された複数の画素からなる画素アレイを有する。
【００３４】
撮像素子２０６の各画素には、光学フィルタ２０５Ａ側から入射した光を撮像するフォトダイオード等の受光素子が配置されている。受光素子の集光効率を上げるために、撮像素子２０６の入射側には、各画素に対応してマイクロレンズ（不図示）が設けられているとよい。このように構成された撮像素子２０６はワイヤボンディングなどの手法によりＰＷＢ（Printed Wiring Board）に接合されてセンサ基板２０７に搭載される。
【００３５】
図５は、光学フィルタ２０５Ａの偏光フィルタ層２２３と、撮像素子２０６の画素との対応を例示する模式図である。図５は、入射光の垂直偏光成分Ｓを透過させる偏光子と、入射光の水平偏光成分Ｐを透過させる偏光子とが、１画素単位で市松状に配置された例を示している。しかしながら、偏光子の配置パターンはこれに限定されるものではなく、２画素以上の複数の画素を単位としたパターンであってもよく、後述するようなストライプ状のパターンが例として挙げられる。
【００３６】
偏光フィルタ層２２３には、撮像素子２０６の各画素に対応した偏光子が下部領域２１１（図４参照）に領域分割形成されている。偏光子は、入射光の少なくとも水平偏光成分Ｐ及び垂直偏光成分Ｓを含む複数の偏光成分をそれぞれ撮像素子２０６の各画素に入射させるようになっている。
【００３７】
なお、偏光フィルタ層２２３が配置された下部領域２１１における画素では、偏光子の配置パターンに応じて透過光量のムラを帯びた画像が撮像されるが、これらの画像は後述のように差分画像（偏光度画像）に変換されることにより各種情報検知に使われる。一方、偏光フィルタ層２２３が配置されていない上部領域２１２における画素からは、ムラなく解像度の高い画像形成が可能である。
【００３８】
画像解析ユニット１０２は、下部領域２１１の各画素から水平偏光成分Ｐ及び垂直偏光成分Ｓを取得し、公知の画像補間処理（例えば、隣接する画素の画素値の平均を取る）を行うことにより、水平偏光成分画像と垂直偏光成分画像の２種類の画像を生成する。
【００３９】
さらに、画像解析ユニット１０２は、水平偏光成分画像の画素値をＩ（Ｐ）、垂直偏光成分画像の画素値をＩ（Ｓ）として、下記の式（１）から画素ごとに偏光度を求めることにより、輝度情報に依存しない偏光度画像を生成する。
偏光度＝（Ｉ（Ｐ）−Ｉ（Ｓ））／（Ｉ（Ｐ）＋Ｉ（Ｓ））                  （１）
【００４０】
偏光度画像は、車両１００の横滑りなどを防止するために、路面の乾燥・湿潤・凍結などの路面状態を検出するのに使用する。ここで、路面状態に応じた反射光の変化に関して説明する。
【００４１】
本実施形態において画像解析ユニット１０２が行う路面状態の判別処理では、撮像ユニット１０１から取得することができる情報のうち、下部領域２１１に入射した白色成分（非分光）の水平偏光成分Ｐと垂直偏光成分Ｓとの比較による偏光情報が用いられる。
【００４２】
図６（ａ）及び（ｂ）は、路面状態が湿潤状態である場合と乾燥状態である場合の反射光の変化を説明するための説明図である。
【００４３】
図６（ａ）に示すように、湿潤状態にある路面は、路面の凹凸部分に水が溜まることによって鏡面に近い状態となる。そのため、湿潤状態の路面における反射光は、次のような偏光特性を示す。即ち、反射光の水平偏光成分Ｐ及び垂直偏光成分Ｓの反射率をそれぞれＲｐ、Ｒｓとすると、光強度Ｉの入射光に対する反射光の水平偏光成分Ｉｐと垂直偏光成分Ｉｓは、下記の式（２）及び（３）より算出でき、その入射角依存性は、図７に示すようなものとなる。
Ｉｐ＝Ｒｐ×Ｉ                                                        （２）
Ｉｓ＝Ｒｓ×Ｉ                                                        （３）
【００４４】
図７から分かるように、鏡面における反射光の水平偏光成分Ｉｐの反射率Ｒｐは、入射角がブリュースタ角（５３．１度）に等しいときにゼロとなり、水平偏光成分Ｉｐの反射光強度はゼロとなる。また、鏡面における反射光の垂直偏光成分Ｉｓの反射率Ｒｓは、入射角の増大に伴って漸増する特性を示すので、垂直偏光成分Ｉｓの反射光強度も入射角の増大に伴って漸増する。
【００４５】
一方、図６（ｂ）に示すように、乾燥状態の路面は、その表面が粗面であるため、乱反射が支配的となり、反射光は偏光特性を示さず、各偏光成分の反射率Ｒｐ、Ｒｓの差は小さくなる。
【００４６】
このような路面からの反射光の偏光特性の違いにより、路面状態が湿潤状態であるか乾燥状態であるかを判別することが可能である。具体的には、画像解析ユニット１０２は、路面の乾湿状態の判別に当たって下記の式（４）に示す偏光比Ｈを用いる。この偏光比Ｈは、例えば、路面を映し出す画像領域について、白色光（非分光）の垂直偏光成分Ｓと白色光（非分光）の水平偏光成分Ｐとの比率（Ｓ／Ｐ）を算出し、その平均値等から求めることができる。偏光比Ｈは、下記の式（４）に示すように入射光強度Ｉに依存しないパラメータであるため、撮像領域内の輝度変動の影響を受けることなく、安定して路面の乾湿状態判別に用いることができる。
Ｈ＝Ｉｓ／Ｉｐ＝Ｒｓ／Ｒｐ                                              （４）
【００４７】
式（４）は、式（１）に示した偏光度の関数として下記の式（５）のように表すこともできる。なお、ここでは、Ｉｓを偏光度画像の画素値Ｉ（Ｓ）、Ｉｐを偏光度画像の画素値Ｉ（Ｐ）と見なしている。
Ｈ＝（１−偏光度）／（１＋偏光度）                                      （５）
【００４８】
このようにして求まる偏光比Ｈが所定の閾値を超えている場合には、画像解析ユニット１０２は、路面状態が湿潤状態にあると判別し、所定の閾値以下である場合には路面状態が乾燥状態にあると判別する。路面が乾燥している場合、垂直偏光成分Ｓと水平偏光成分Ｐはほぼ等しいので、偏光比Ｈは１前後の値となる。一方、路面が完全に濡れている場合、垂直偏光成分Ｓは水平偏光成分Ｐよりもかなり大きい値をとるので偏光比Ｈは大きな値となり、また、路面が僅かだけ濡れているような場合、偏光比Ｈはこれらの中間値となる。
【００４９】
以上のような路面状態の乾湿状態の判別処理の判別結果は、本実施形態では、車両１００の運転者への警告や、車両１００のハンドルやブレーキを制御するなどの走行支援制御に利用される。具体的には、路面状態が湿潤状態であることが判別された場合、その判別結果は車両走行制御ユニット１０８に送られ、例えば、車両１００の自動ブレーキシステムの制御に利用することで交通事故の低減効果等を期待できる。また、例えば、車両１００のカーナビゲーションシステムのＣＲＴ画面などに路面が滑りやすいことを警告する情報を報知して、運転者に注意を喚起してもよい。
【００５０】
ところで、凍結路面、特にブラックアイスと呼ばれるアスファルトの表層が凍結するような場合では通常の輝度画像からは凍結領域を判別しにくい。これに対して、偏光度画像では凍結領域がクリアに表現される。コンクリート面上の板氷を撮像した輝度画像及び偏光度画像を図８に示す。
【００５１】
図８（ａ）に示すように、輝度画像では板氷がどこにあるのかが判別しにくいのに対して、図８（ｂ）の偏光度画像ではその所在（図中の楕円で囲った部分）に板氷を確認することができる。板氷のないコンクリート部分では光が散乱（乱反射）するため、偏光度は略ゼロである。これに対して、板氷のあるコンクリート部分では、板氷内部で光が散乱するが、板氷の内部から空気界面を透過する偏光成分としてはＰ偏光成分が支配的である。このため、図８（ｂ）において、板氷部分と乾燥したコンクリート部分で差異が明瞭に見える。
【００５２】
偏光情報を用いることで路面状態以外の情報、例えば輝度画像では検出しにくい影の中の障害物を検出することもできる。図９は、影の中の障害物の撮像結果を示す説明図である。なお便宜上、図９の撮像結果は、有効撮像領域全域に偏光フィルタ層が配置された撮像装置によるものである。
【００５３】
図９（ａ）の輝度画像に対して、図９（ｂ）の偏光度画像では道路脇に停車した車両を認識できる。偏光度画像とは、既に示した式（１）の演算により生成されるものであり、輝度情報に依存しないとともに、物体の角度情報や材質の違いを表現できるため、輝度画像では見えにくい昼間の影の中の障害物などを検出するのに適している。即ち、本実施形態においては、画像解析ユニット１０２がこのような偏光度画像を用いることで、障害物検知を精度良く行うことができる。
【００５４】
本実施形態においては、撮像ユニット１０１は車両１００の前方の車両周辺情報を撮像するだけでなく、例えば後方の車両周辺情報を撮像するものであってもよい。近年、各種車両に搭載されているリアビューカメラとして撮像ユニット１０１を配置して偏光度画像を撮像することにより、自車両の影に隠れた障害物などを検出することが可能である。
【００５５】
なお、撮像ユニット１０１をリアビューカメラとして使用する場合、その撮像レンズ２０４としては、画角９０度以上の広角レンズを用いることが望ましい。一般に、広角レンズを用いると、周辺画像の入射角が画像中心部に比べて大きくなる（例えば２０度）。このように入射角が大きくなると、偏光フィルタ層２２３の偏光子が形成された領域において、入射光の透過率が低下する。
【００５６】
そこで、広角レンズを用いる場合には、画像解析ユニット１０２が偏光度を算出する際に、撮像領域に応じた所定のゲインαを式（１）の偏光度に乗じるようにすればよい。即ち、式（１）の代わりに、下記の式（６）の演算式を用いるとよい。
偏光度＝α×（Ｉ（Ｐ）−Ｉ（Ｓ））／（Ｉ（Ｐ）＋Ｉ（Ｓ））            （６）
【００５７】
例えば、ゲインαは、有効撮像領域の中心部においてはα＝１、周辺部では透過率劣化に応じてα＝１．１などであるとよい。これにより、画像中心部と画像周辺部での偏光度差のない画像が撮像可能となる。
【００５８】
さらに、画像解析ユニット１０２は、公知のエッジ抽出を輝度画像と偏光度画像に対して行い、エッジ抽出後の輝度画像と偏光度画像を重ね合わせることにより、輝度画像のみの場合に比べ、障害物検出の性能を上げることができる。
【００５９】
なお、本実施形態の画像処理システム１１０は、下部領域２１１において路面状態などの情報を含む偏光度画像を撮像可能であるだけでなく、偏光制限を受けない上部領域２１２において輝度画像を撮像できるようになっている。上部領域２１２は、例えば路面より上側の領域に相当し、標識などの検出に使用できる。上部領域２１２は、偏光子が配置された下部領域２１１に比べ解像度を高く、また光量を大きく取ることができる。
【００６０】
図１０は、車両１００の内部に搭載された画像処理システム１１０（撮像ユニット１０１のみ図示）により標識検出が行われる様子を示す模式図である。撮像ユニット１０１は、車両１００の前方に位置する道路標識（例えば、車両進入禁止などの規制標識）３００を撮像して、画像解析ユニット１０２を介して音声やディスプレイの画像表示によりドライバに注意を喚起する。
【００６１】
なお、標識検出の対象となる道路標識の種類は複数であってもよい。例えば、画像処理システム１１０は、予め各種道路標識情報を画像解析ユニット１０２のメモリに格納しておき、撮像ユニット１０１を用いて取得した各種道路標識情報とメモリに格納された各種道路標識情報とを比較する構成であってもよい。さらに、画像処理システム１１０は、取得した各種道路標識情報を認識し、認識した各種道路標識情報を音声合成信号に変換して、運転者に各種道路標識情報を音声で通知する構成であってもよい。
【００６２】
ところで、偏光子が配置された下部領域２１１は、偏光制限を受けない上部領域２１２と比較して透過光量が約半分になる。そこで、下部領域２１１を透過した光に基づいて生成される偏光度画像と、上部領域２１２を透過した光に基づいて生成される輝度画像とで、撮像の際の露光量を変えることが好ましい。
【００６３】
具体的には、画像解析ユニット１０２の自動露光調整により、撮像ユニット１０１が、下部領域２１１において第１の露光量（露光時間）で偏光度画像用の画像フレームを撮像するとともに、上部領域２１２において第２の露光量（露光時間）で輝度画像用の画像フレームを撮像する構成であるとよい。例えば、画像解析ユニット１０２が、撮像素子２０６の各画素が入射光を電気信号に変換する時間を制御することにより、露光量（露光時間）を変える構成とすればよい。
【００６４】
即ち、下部領域２１１については、画像解析ユニット１０２が、下部領域２１１を透過する光の光量を検出しながら自動露光調整を行うことにより、撮像ユニット１０１は第１の露光量（露光時間）で路面状態を撮像する。上部領域２１２においては、画像解析ユニット１０２が、上部領域２１２を透過する光の光量を検出しながら自動露光調整を行うことにより、撮像ユニット１０１は第２の露光量（露光時間）で標識の画像を撮像する。これにより、それぞれの画像について、最適な露光量で画像を撮像することが可能となる。
【００６５】
なお、上部領域２１２は光量変化が大きい。具体的には、車両周辺の照度は昼間の数万ルクスから夜間の１ルクス以下まで変化するため、その撮像シーンに応じて露光時間を調整する必要がある。これに対しては、画像解析ユニット１０２が公知の自動露光制御を行えばよい。
【００６６】
一方、下部領域２１１については、上部領域２１２の露光時間の半分の固定露光時間で撮像する（露光量を固定として撮像する）ことも可能である。これにより、露光制御時間の短縮、露光制御の簡素化などを実現できる。
【００６７】
図１１は、本実施形態における露光制御の手順を示すフローチャートである。まず、画像解析ユニット１０２は、偏光子が配置されていない上部領域２１２に対して露光調整を行う。そして、撮像ユニット１０１は、画像解析ユニット１０２による露光調整で設定された第２の露光量で、輝度画像用の画像フレームの撮像を行う（ステップＳ１２０）。
【００６８】
次に、画像解析ユニット１０２は、ステップＳ１２０で撮像された輝度画像用の画像フレームの解析を行って（ステップＳ１２１）、車両走行制御ユニット１０８等に各種制御を行わせるための指示信号を送出する（ステップＳ１２２）。
【００６９】
次に、画像解析ユニット１０２は、偏光子が配置されている下部領域２１１に対して露光調整を行う。そして、撮像ユニット１０１は、画像解析ユニット１０２による露光調整で設定された第１の露光量で、偏光度画像用の画像フレームの撮像を行う（ステップＳ１２３）。
【００７０】
次に、画像解析ユニット１０２は、ステップＳ１２３で撮像された偏光度画像用の画像フレームの解析を行う（ステップＳ１２４）。そして、画像解析ユニット１０２は、ステップＳ１２４での解析結果に基づいて、車両走行制御ユニット１０８等に各種制御を行わせるための指示信号を送出する（ステップＳ１２５）。
【００７１】
そして、画像解析ユニット１０２は、所定の終了指示（車両１００の運転者による終了指示など）があるまで、ステップＳ１２０〜Ｓ１２５の処理を繰り返し実行する（ステップＳ１２６）。
【００７２】
以降では、光学フィルタ２０５Ａが有する分光フィルタ層２２１の分光特性について説明する。図１２は、分光フィルタ層２２１の分光特性を示すグラフである。分光フィルタ層２２１は、図１２に示すように波長範囲４００ｎｍ〜６７０ｎｍ（ここでは、λ１＝４００ｎｍ、λ２＝６７０ｎｍ）のいわゆる可視光領域の入射光と、波長範囲９４０ｎｍ〜１０００ｎｍ（ここでは、λ３＝９４０ｎｍ、λ４＝１０００ｎｍ）の赤外光領域の入射光を透過させ、波長範囲６７０ｎｍ〜９４０ｎｍの入射光をカットする透過率特性を有する。波長範囲４００ｎｍ〜６７０ｎｍ及び波長範囲９４０〜１０００ｎｍの透過率は３０％以上であることが好ましく、９０％以上であることがより好ましい。波長範囲６７０ｎｍ〜９４０ｎｍの透過率は２０％以下であることが好ましく、５％以下であることがより好ましい。
【００７３】
可視光領域の入射光は車両周辺情報の検出に用いられ、赤外光領域の入射光は夜間時の路面状態の検出や障害物の検出に用いられる。波長範囲６７０ｎｍ〜９４０ｎｍの入射光を透過させない理由は、この波長範囲の入射光を撮像素子２０６が取り込んだ場合、得られる撮像画像データが全体的に赤くなってしまい、赤色標識の赤色を示す部分等を抽出することや、テールランプに対応する赤色の画像部分を識別することが困難となる場合があるからである。
【００７４】
そこで、図１２に示すような赤外光領域の大部分の波長範囲（６７０ｎｍ〜９４０ｎｍ）をカットする特性をもつ分光フィルタ層２２１を有効撮像領域全体に形成すれば、外乱光を除去できるため、例えば日本での一時停止標識など赤色を含む標識の検出精度や、テールランプの識別精度を向上させることができる。なお、波長範囲９４０〜１０００ｎｍ、及び、波長範囲４００ｎｍ〜６７０ｎｍは、本発明に係る波長範囲の代表的な一例である。
【００７５】
ところで、撮像ユニット１０１の撮像方向を下方へ傾けていくと、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態では、有効撮像領域全体に波長範囲６７０ｎｍ〜９４０ｎｍの光を遮断する分光フィルタ層２２１が形成されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。
【００７６】
なお、既に述べたように、光学フィルタ２０５Ａは、撮像素子２０６の撮像レンズ２０４側の面に近接配置されている。これは、光学フィルタ２０５Ａと撮像素子２０６が離れるほど、隣接する画素間で光学的なクロストークが生じやすくなるためである。従って、光学フィルタ２０５Ａと撮像素子２０６との隙間は２μｍ以下となるように接着などの方法により密着接合されることが望ましい。これにより、光学フィルタ２０５Ａの下部領域２１１と上部領域２１２の境界と、撮像素子２０６の画素の境界とを一致させやすくなる。
【００７７】
光学フィルタ２０５Ａと撮像素子２０６は、例えば、ＵＶ接着剤で接合されてもよいし、有効撮像領域外でスペーサにより支持された状態で有効撮像領域外の四辺領域をＵＶ接着や熱圧着されてもよい。
【００７８】
以降では、光学フィルタ２０５Ａの各部詳細について説明する。基板２２０は、使用波長帯域（本実施形態では可視光領域と赤外光領域）の光を透過可能な透明な材料、例えば、ガラス、サファイア、水晶などで構成されている。本実施形態では、ガラス、特に、安価でかつ耐久性もある石英ガラス（屈折率１．４６）やテンパックスガラス（屈折率１．５１）を好適に用いることができる。
【００７９】
基板２２０上に形成される偏光フィルタ層２２３は、図１３に示すようなワイヤグリッド構造で形成された偏光子で構成され、撮像素子２０６側の面は凹凸面である。ワイヤグリッド構造は、アルミニウムなどの金属で構成された特定方向に延びる金属ワイヤ（導電体線）を特定のピッチで配列した構造である。ワイヤグリッド構造のワイヤピッチを、入射光の波長帯（例えば、４００ｎｍ〜８００ｎｍ）に比べて十分に小さいピッチ（例えば１／２以下）とすることで、金属ワイヤの長手方向に対して平行に振動する電場ベクトル成分の光をほとんど反射し、金属ワイヤの長手方向に対して直交する方向に振動する電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。
【００８０】
ワイヤグリッド構造の偏光子は、一般に、金属ワイヤの断面積が増加すると、消光比が増加し、更に周期幅に対する所定の幅以上の金属ワイヤでは透過率が減少する。また、金属ワイヤの長手方向に直交する断面形状がテーパ形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。
【００８１】
本実施形態では、偏光フィルタ層２２３がワイヤグリッド構造で形成されていることにより、以下のような効果を有する。ワイヤグリッド構造は、広く知られた半導体製造プロセスを利用して形成することができる。具体的には、基板２２０上にアルミニウム薄膜を蒸着した後、パターニングを行い、メタルエッチングなどの手法によってワイヤグリッドのサブ波長凹凸構造を形成すればよい。このような製造プロセスにより、撮像素子２０６の撮像画素サイズ相当（数μｍレベル）で金属ワイヤの長手方向、即ち偏光方向（偏光軸）を調整することが可能となる。よって、本実施形態のように、撮像画素単位で金属ワイヤの長手方向、即ち偏光方向（偏光軸）を異ならせた偏光フィルタ層２２３を作成することができる。
【００８２】
また、ワイヤグリッド構造は、アルミニウムなどの金属材料によって作製されるため、耐熱性に優れ、高温になりやすい車両室内などの高温環境下においても好適に使用できるという利点もある。
【００８３】
上述のように、偏光フィルタ層２２３の偏光子はサブ波長サイズのワイヤグリッド構造であり、機械的強度が弱く、わずかな外力によって金属ワイヤが損傷してしまう。本実施形態の光学フィルタ２０５Ａは、撮像素子２０６に密着配置することが望まれるため、その製造段階において光学フィルタ２０５Ａと撮像素子２０６とが接触する可能性がある。また、光学フィルタ２０５Ａと撮像素子２０６は平行に配置されることが望ましく、間に平坦化層が形成されていることが望ましい。
【００８４】
充填材２２４は、偏光フィルタ層２２３の積層方向上面を平坦化するために用いられ、偏光フィルタ層２２３の金属ワイヤ間の凹部に充填される。この充填材２２４としては、基板２２０よりも屈折率が低いか、または同等の屈折率を有する無機材料を好適に利用できる。なお、本実施形態における充填材２２４は、偏光フィルタ層２２３の金属ワイヤ部分の積層方向上面も覆うように形成される。
【００８５】
充填材２２４は、偏光フィルタ層２２３の偏光特性を劣化させないように、その屈折率が空気の屈折率（屈折率＝１）に極力近い低屈折率材料からなることが好ましい。具体的な材料としては、例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましく、具体的には、ポーラスシリカ（ＳｉＯ2）、ポーラスフッ化マグネシウム（ＭｇＦ）、ポーラスアルミナ（Ａｌ2Ｏ3）などが挙げられる。また、これらの低屈折率の程度は、セラミックス中の空孔の数や大きさ（ポーラス度）によって決まる。基板２２０の主成分がシリカの水晶やガラスからなる場合には、ポーラスシリカ（ｎ＝１．２２〜１．２６）が好適に使用できる。
【００８６】
充填材２２４の形成方法としては、例えば、無機系塗布膜（ＳＯＧ：Spin On Glass）法を好適に用いることができる。具体的には、シラノール（Ｓｉ（ＯＨ）4）をアルコールに溶かした溶剤を、基板２２０上に形成された偏光フィルタ層２２３上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させるような経緯で充填材２２４が形成される。
【００８７】
以上述べたように、本実施形態では、偏光フィルタ層２２３の積層方向上面、即ち撮像素子２０６側の面が充填材２２４によって覆われているので、撮像素子２０６と接触した際にワイヤグリッド構造が損傷するような事態が抑制される。
【００８８】
また、本実施形態のように充填材２２４を偏光フィルタ層２２３のワイヤグリッド構造における金属ワイヤ間の凹部へ充填することで、その凹部への異物進入を防止することができる。
【００８９】
本実施形態の分光フィルタ層２２１は、高屈折率の薄膜と低屈折率の薄膜とを交互に多層重ねた多層膜構造で作製されている。このような多層膜構造を採用すれば、光の干渉を利用することで分光透過率の設定自由度が高くなり、また、薄膜を多層重ねることで特定波長（例えば赤色以外の波長帯域帯）に対して１００％近い反射率を実現することも可能である。
【００９０】
以上説明したように、本実施形態の画像処理システムにおいては、偏光フィルタ層が有効撮像領域の下部のみに配置される。偏光フィルタ層の配置がこのように限定されることにより、本実施形態の画像処理システム及びそれを備えた車両は、有効撮像領域の下部に対応する路面からの光の偏光情報を得られるとともに、路面より上側の領域、即ち道路標識などに対しては解像度及び光量を損ずることなく画像を撮像することができる。
【００９１】
（第２の実施形態）
本発明に係る画像処理システム及びそれを備えた車両の第２の実施形態を図面を参照しながら説明する。なお、既に説明した実施形態と同様の構成及び動作については適宜説明を省略する。
【００９２】
本実施形態では、偏光フィルタ層の領域分割方法を変更した例を示す。本実施形態における偏光フィルタ層は、入射光の水平偏光成分Ｐを透過させる偏光子と、入射光の垂直偏光成分Ｓを透過させる偏光子とが、ストライプ状のパターンとして交互に形成されてなる。
【００９３】
図１４は、第１の実施形態の図５に示した光学フィルタ２０５Ａの偏光フィルタ層２２３と、撮像素子２０６の画素との対応を例示する模式図に関して、偏光子のパターンの他の例を示すものである。即ち、図１４は、入射光の水平偏光成分Ｐを透過させる偏光子が幅１画素で縦方向（Ｚ方向）に連なって配置されるとともに、入射光の垂直偏光成分Ｓを透過させる偏光子が幅１画素で縦方向に連なって配置されて、ストライプ状の偏光子パターンが形成される例を示している。
【００９４】
本実施形態では、偏光フィルタ層２２３をストライプ状のパターンに形成することにより、第１の実施形態における市松状のパターンに比べ、撮像素子２０６の各画素と光学フィルタ２０５Ａの偏光フィルタ層２２３が形成された部分との位置ズレ精度を緩和できる。
【００９５】
即ち、第１の実施形態のような市松状のパターンの場合、撮像素子２０６の各画素と光学フィルタ２０５Ａの偏光フィルタ層２２３が形成された部分とを一致させるためには、Ｙ方向及びＺ方向それぞれについて位置調整を精密に行う必要がある。これに対して、本実施形態のようなストライプ状のパターンでは、撮像素子２０６の各画素と光学フィルタ２０５Ａの偏光フィルタ層２２３が形成された部分とを一致させるためには、Ｙ方向の位置調整のみ精密に行えばよい。これにより、光学フィルタ２０５Ａと撮像素子２０６とを接着する工程において、組立時間の短縮や組付装置の簡素化が可能となる。
【００９６】
なお、車両進行時の路面状態が変化する位置や距離情報を検知する目的においては、進行方向の画像解像度が十分に取れることが望ましく、ストライプ状のパターンのピッチの方向は水平方向（Ｙ方向）であるとよい。
【００９７】
（第３の実施形態）
本発明に係る画像処理システム及びそれを備えた車両の第３の実施形態を図面を参照しながら説明する。なお、既に説明した実施形態と同様の構成及び動作については適宜説明を省略する。
【００９８】
本実施形態においては、偏光分離手段２３０が、撮像レンズ２０４と光学フィルタ２０５Ａとの間（光学フィルタ２０５Ａの前段）に配置される。偏光分離手段２３０は、入射光を水平偏光成分Ｐと垂直偏光成分Ｓの光に分離するようになっている。さらに、偏光分離手段２３０は、入射光の水平偏光成分Ｐ及び垂直偏光成分Ｓのいずれか一方を直進させるとともに、他方を所定のシフト量だけ光路シフトさせる機能を有している。
【００９９】
以下、図１５及び１６を用いて、上記のような偏光分離手段を有しない撮像装置全般における偏光成分画像情報の精度の問題について説明する。図１５は、偏光子アレイの各領域（ｆ０、ｆ１、ｆ２、ｆ３、ｆ４、ｆ５）と撮像素子の各画素（ｃ０、ｃ１、ｃ２、ｃ３、ｃ４、ｃ５）との対応関係を簡略化して示す説明図である。図１５に示すように、位置Ａの水平偏光成分Ｐと位置Ｂの垂直偏光成分Ｓから第１の偏光成分画像情報（偏光成分画像の１画素に相当）が生成され、位置Ｃの水平偏光成分Ｐと位置Ｄの垂直偏光成分Ｓから第２の偏光成分画像情報（偏光成分画像の１画素に相当）が生成される。このようにして、複数の偏光成分画像情報から偏光成分画像が取得される。
【０１００】
次に、図１６を用いて、偏光子アレイ及び撮像素子に特定偏光の光が入射する状況を考察する。図１６（ａ）は、２つの画素（受光素子）ｃ１、ｃ２と、それらに対応し互いに直交した偏光成分を各々透過させる偏光子ｆ１、ｆ２を示している。入射光は偏光子アレイを透過して各画素に入射し、各画素で電気信号（画素値）に変換される。ここでは説明を簡略化するため、偏光子ｆ１、ｆ２は、２つの画素ｃ１、ｃ２をそれぞれ完全に覆い、また、直交する偏光成分のうち一方のみを完全に透過させ、もう一方は完全に遮断するものと仮定する。また、位置Ａ、Ｂともに無偏光で同じ光強度の光が入射しているものとする。
【０１０１】
図１６（ｂ）は、図１６（ａ）の構成において各画素が出力する画素値を表している。横軸は位置を、縦軸は入射光の光強度に対する画素値を示しており、この画素値から偏光成分画像情報が生成される。図１６（ａ）、（ｂ）の例では、位置Ａと位置Ｂの画素値が同じであるため、偏光成分画像情報としては無偏光（偏光度がゼロ）として情報出力される。
【０１０２】
図１６（ｃ）及び（ｄ）は、同じ撮像素子に対して、別の偏光特性を有する光が入射した場合の様子を示している。図１６（ｃ）は、位置Ａに無偏光の光が入射し、位置ＢにＳ偏光の光が入射している例を示す。ここで、偏光子アレイを通過する前の無偏光の光の強度は、Ｓ偏光の光の強度の２倍としている。このように位置ＢにＳ偏光の光が入射しているにも関わらず、図１６（ｄ）に示すように位置Ａと位置Ｂの画素値は等しくなるため、偏光成分画像情報としては無偏光（偏光度がゼロ）として情報出力される。即ち、偏光子アレイを通過する前の光の偏光特性の情報と異なる結果が偏光成分画像情報として出力されることとなる。
【０１０３】
ここでは、異なる偏光特性の光が入射しているにも関わらず、画素値の分布が全く同じ形を示すことが重要である。このように、撮像素子から出力される各画素の画素値が同一の場合は、後段の偏光成分画像情報を得る信号処理において、元々の入射光が図１６（ａ）に示すものであったのか、図１６（ｃ）に示すものであったのかを区別することができない。
【０１０４】
そこで、一般的には近傍領域には同じ偏光状態の光が入射する可能性が高いため、図１６（ａ）、（ｃ）の例のどちらかに限定して推測する場合が多い。その結果、偏光状態が切り変わりやすい水平垂直形状などのエッジ部分は偏光成分画像情報の精度が悪くなるといった問題がある。このような現象は、入射光の各成分を異なる位置の画素（受光素子）に入射させるための領域分割型フィルタを備えた撮像装置全般における根本的な問題である。
【０１０５】
このように、偏光成分画像の画素解像度と被写体の模様の空間周波数との間にずれがあると、偏光成分画像中にモアレが発生する。本実施形態においては、このようなモアレを改善する方法として、光学フィルタ２０５Ａの前段に光学ローパスフィルタとしての偏光分離手段２３０を設けている。
【０１０６】
図１７は、偏光分離手段２３０と、後段の光学フィルタ２０５Ａの偏光フィルタ層２２３、及び、撮像素子２０６の画素との対応関係を簡略化して示す模式図である。図１７に示す例においては、偏光分離手段２３０は、入射光の水平偏光成分Ｐを直進させるとともに、垂直偏光成分Ｓを水平偏光成分Ｐの直進光路に対して所定のシフト量δだけ光路シフトさせる機能を有している。
【０１０７】
偏光分離手段２３０の材料としては、方解石や水晶を用いた複屈折板を使用できる。シフト量δは、第２の実施形態で述べた偏光フィルタ層２２３のストライプ状のパターンのピッチと一致しているとよい。シフト量δは、上記材料の光学軸の方向と厚みｔにより調整可能である。
【０１０８】
図１８は、偏光分離手段の有無による偏光度画像の違いを説明するための説明図である。偏光分離手段を有しない撮像装置による撮像結果（図１８（ａ））においては、図中の楕円で囲った部分にモアレが発生している。これに対して、偏光分離手段２３０を有する本実施形態の画像処理システムによる撮像結果（図１８（ｂ））においては、モアレが抑制されていることが分かる。
【０１０９】
また、偏光分離手段２３０は、偏光フィルタ層２２３の偏光子が形成された下部領域２１１（図４参照）のみに設けられてもよいし、有効撮像領域全体に設けられてもよい。しかしながら、偏光分離手段２３０の厚みｔは１ｍｍ程度であるため、偏光分離手段２３０が偏光フィルタ層２２３の偏光子が形成された下部領域２１１のみに配置された場合には、上部領域２１２と下部領域２１１とで画像のピント位置がずれる問題がある。従って、偏光フィルタ層２２３は有効撮像領域全域を覆うように形成されることが望ましい。この場合には、偏光分離手段２３０と偏光フィルタ層２２３との位置調整に高い精度が要求されないなどの効果も得られる。
【０１１０】
なお、上述のように、偏光分離手段２３０を撮像レンズ２０４と光学フィルタ２０５Ａとの間に配置するのではなく、基板２２０に偏光分離手段２３０の機能を持たせてもよい。即ち、基板２２０は、入射光を水平偏光成分Ｐと垂直偏光成分Ｓに分離し、水平偏光成分Ｐ及び垂直偏光成分Ｓのいずれか一方を直進させるとともに、他方を所定のシフト量だけ光路シフトさせる複屈折材料からなっていてもよい。また、上記所定のシフト量は、ストライプ状のパターンのピッチに対応している。
【０１１１】
このように、基板２２０に偏光分離機能を持たせることにより、別途偏光分離手段２３０を備える構成と比較して、材料低減を図ることができる。
【０１１２】
以上説明したように、本実施形態の画像処理システム及びそれを備えた車両は、偏光分離機能を有することにより、偏光状態が切り変わりやすい水平垂直形状などのエッジ部分においても偏光成分画像情報の検出精度を向上させることができる。
【０１１３】
（第４の実施形態）
本発明に係る画像処理システム及びそれを備えた車両の第４の実施形態を図面を参照しながら説明する。なお、既に説明した実施形態と同様の構成及び動作については適宜説明を省略する。
【０１１４】
第１〜３の実施形態では、偏光フィルタ層が路面を撮像する領域に形成された場合について説明してきたが、これに限定されるものではなく、偏光フィルタ層は標識検出を行う領域に形成されていてもよい。
【０１１５】
図１９は、光学フィルタの構造の他の例を示す光透過方向に沿った断面模式図である。また、図２０は、本実施形態における光学フィルタ２０５Ｂをセンサ基板２０７側から見た正面模式図である。
【０１１６】
即ち、図１９及び２０に示すように、光学フィルタ２０５Ｂは、上部領域２１２（図４参照）に配置された偏光フィルタ層２２５（第２の偏光フィルタ層）をさらに有する。光学フィルタ２０５Ｂへの入射光のうち、偏光フィルタ層２２３を透過した光は、撮像素子２０６の下部領域２１１に入射する。一方、光学フィルタ２０５Ｂへの入射光のうち、偏光フィルタ層２２５を透過した光は、撮像素子２０６の上部領域２１２に入射する。
【０１１７】
図２１は、光学フィルタ２０５Ｂの偏光フィルタ層２２５と、撮像素子２０６の画素との対応を例示する模式図である。即ち、図２１は、入射光の水平偏光成分Ｐのみを撮像素子２０６の各画素に入射させるための偏光子が偏光フィルタ層２２５の全体に形成された例を示している。
【０１１８】
一般に、撮像装置を車両内に設置して車両外の画像を撮像しようとする場合、ダッシュボードやボンネットなどで反射された不要光が撮像画像データ中に重畳される場合がある。これらはノイズ光として、本来の標識検出などの認識率を低減させる要因となりうるが、このような不要光の偏光成分の大部分はＳ偏光成分である。従って、Ｓ偏光成分を抑制することでこれらの不要光を軽減することができる。
【０１１９】
この点を考慮して、本実施形態の画像処理システム及びそれを備えた車両は、偏光フィルタ層２２５として、入射光の水平偏光成分Ｐのみを透過させる偏光子領域を形成しているため、これらの不要光の影響を受けずに標識検出を行うことができる。
【０１２０】
なお、図１９に示すように、２つの偏光フィルタ層２２３、２２５が有効撮像領域全体に形成されることにより、充填材２２４の平坦性をより出しやすくなる。また、充填材２２４を介さずに２つの偏光フィルタ層２２３、２２５を直接撮像素子に接着することも可能である。つまり、偏光フィルタ層が下部領域２１１のみに形成されている場合（第１〜３の実施形態）は、充填材２２４なしには平行度を保ちながらの光学フィルタ２０５Ａと撮像素子２０６との接着は困難であったが、偏光フィルタ層が有効撮像領域全体に設けられた本実施形態の構成であれば、充填材２２４がなくても平行度を保ちながらの光学フィルタ２０５Ｂと撮像素子２０６との接着が可能となり、充填材２２４を塗布する工程が省ける。
【０１２１】
（第５の実施形態）
本発明に係る画像処理システム及びそれを備えた車両の第５の実施形態を図面を参照しながら説明する。なお、既に説明した実施形態と同様の構成及び動作については適宜説明を省略する。
【０１２２】
第１〜４の実施形態では、撮像素子がいわゆるモノクロセンサである場合について説明してきたが、これに限定されるものではなく、撮像素子はカラーセンサであってもよい。また、本実施形態では、光学フィルタにおける分光フィルタ層の他の構成例を示す。
【０１２３】
図２２は、撮像素子及び光学フィルタの構造の他の例を示す光透過方向に沿った断面模式図である。図２３は、本実施形態における光学フィルタ２０５Ｃをセンサ基板２０７側から見た正面模式図である。
【０１２４】
本実施形態における撮像素子２０６'は、２次元配列された複数の画素からなる画素アレイ２０６ａの表面にカラーフィルタ２０６ｂが形成されたカラーセンサである。カラーフィルタ２０６ｂは、赤色波長帯域（λ＝５５０〜６５０ｎｍ）の光を主に透過させるフィルタと、緑色波長帯域（λ＝５００〜５５０ｎｍ）の光を主に透過させるフィルタと、青色波長帯域（λ＝４５０〜５００ｎｍ）の光を主に透過させるフィルタが、画素アレイ２０６ａの各画素に対応して配置されたベイヤー配列の構成を有している。
【０１２５】
図２４は、光学フィルタ２０５Ｃの偏光フィルタ層２２３と、本実施形態における撮像素子２０６'の画素との対応を例示する模式図である。以降では、赤色波長帯域用のフィルタに対応する撮像素子２０６'の画素をＲ画素、緑色波長帯域用のフィルタに対応する撮像素子２０６'の画素をＧ画素、青色波長帯域用のフィルタに対応する撮像素子２０６'の画素をＢ画素と記す。縦横に隣接する４画素（Ｒ画素１つ、Ｇ画素２つ、Ｂ画素１つ）は１つの画素グループを形成している。
【０１２６】
偏光フィルタ層２２３には、各画素グループに含まれる２つのＧ画素の一方に入射光の水平偏光成分Ｐを入射させるための偏光子、及び、２つのＧ画素の他方に入射光の垂直偏光成分Ｓを入射させるための偏光子が形成されているとよい。例えば、図２４に示したようなストライプ状の偏光子パターンを用いればよい。
【０１２７】
光学フィルタ２０５Ｃは、図３等に示した光学フィルタ２０５Ａの構成に加えて、基板２２０の撮像素子２０６'側の面における下部領域２１１に、偏光フィルタ層２２３及び充填材２２４を介して形成され、波長λ３〜λ４の範囲の波長成分の光を選択的に透過させる分光フィルタ層２２２（第２の分光フィルタ層）を有し、分光フィルタ層２２２の撮像素子２０６'側の面が撮像素子２０６'に近接配置されてなる。
【０１２８】
つまり、光学フィルタ２０５Ｃは、分光フィルタ層２２１と分光フィルタ層２２２とが光透過方向に重ね合わせられた構造となっている。
【０１２９】
ここで、カラーセンサに用いられるカラーフィルタの分光特性は、一般に図２５のような特性を示す。図２５においては、Ｒ画素の分光特性は実線、Ｇ画素の分光特性は破線、Ｂ画素の分光特性は一点鎖線で示されている。即ち、８００ｎｍよりも短波長に関しては、Ｒ画素、Ｇ画素、及びＢ画素の各画素で分光特性が異なる。
【０１３０】
これに対して、上記の光学フィルタ２０５Ｃが有する分光フィルタ層２２２の分光特性は図２６に示すようなものであるとよい。即ち、分光フィルタ層２２２は、例えば波長範囲９４０ｎｍ〜１０００ｎｍの近赤外光領域を透過帯域とする（波長９４０ｎｍよりも短波長側の光をカットする）分光特性を有するものであるとよい。
【０１３１】
波長範囲９４０ｎｍ〜１０００ｎｍの近赤外光領域は、図２５に示したカラーフィルタの分光特性において３色全ての画素（Ｒ画素、Ｇ画素、及びＢ画素）の分光特性がほぼ一致する波長帯である。
【０１３２】
従って、本実施形態の画像処理システム及びそれを備えた車両は、分光フィルタ層２２２が形成された領域において、輝度情報の差異がほとんどない３色の画素を用いて、安定的かつ解像度の高い偏光度画像を生成することができる。さらに、本実施形態では、カラーセンサを用いることで、赤色や黄色や青色などの各種情報が含まれた標識の認識精度を上げることが可能となる。
【０１３３】
次に、分光フィルタ層２２２の構造や作製方法について説明する。分光フィルタ層２２２は、分光フィルタ層２２１と同様に、高屈折率の薄膜と低屈折率の薄膜とを交互に多層重ねた多層膜構造として作製可能である。
【０１３４】
本実施形態においては、撮像画像データの使用波長範囲が略可視光波長帯から赤外光波長帯であるため、当該使用波長範囲に感度を有する撮像素子２０６'を採用している。分光フィルタ層２２２は、赤外光の一部のみを透過させればよいので、分光フィルタ層２２２の多層膜部分の透過波長範囲を例えば９００ｎｍ以上に設定し、それ以外の波長帯は反射するカットフィルタ（図２６参照）を形成すればよい。
【０１３５】
このようなカットフィルタは、光学フィルタ２０５Ｃの積層方向下側から順に、「基板／（０．１２５Ｌ  ０．２５Ｈ  ０．１２５Ｌ）ｐ／媒質Ａ」のような構成の多層膜を作製することで得られる。ここでいう「基板」は、上述した充填材２２４を意味する。また、「０．１２５Ｌ」は、低屈折率材料（例えばＳｉＯ2）の膜厚標記方法でｎｄ／λを１Ｌとしたものであり、従って「０．１２５Ｌ」の膜は、１／８波長の光路長となるような膜厚をもつ低屈折率材料の膜である。なお、「ｎ」は屈折率であり、「ｄ」は厚みであり、「λ」はカットオフ波長である。
【０１３６】
同様に、「０．２５Ｈ」は、高屈折率材料（例えばＴｉＯ2）の膜厚標記方法でｎｄ／λを１Ｈとしたものであり、従って「０．２５Ｈ」の膜は、１／４波長の光路長となるような膜厚をもつ高屈折率材料の膜である。また、「ｐ」は、かっこ内に示す膜の組み合わせを繰り返す（積層する）回数を示し、「ｐ」が多いほどリップルなどの影響を抑制できる。また、媒質Ａは、空気あるいは撮像素子２０６'との密着接合のための樹脂や接着剤を意図するものである。
【０１３７】
また、分光フィルタ層２２２において、赤外光波長帯のみを透過する多層膜構造としては、透過波長範囲が９４０〜９７０ｎｍの範囲であるバンドパスフィルタであってもよい。このようなバンドパスフィルタは、例えば、「基板／（０．１２５Ｌ  ０．５Ｍ  ０．１２５Ｌ）ｐ（０．１２５Ｌ  ０．５Ｈ  ０．１２５Ｌ）ｑ（０．１２５Ｌ  ０．５Ｍ  ０．１２５Ｌ）ｒ／媒質Ａ」のような構成の多層膜を作製することで得られる。なお、高屈折率材料として二酸化チタン（ＴｉＯ2）、低屈折率材料として二酸化珪素（ＳｉＯ2）等を使用すれば、対候性の高い分光フィルタ層２２２を実現できる。
【０１３８】
分光フィルタ層２２２の作製方法の一例について説明すると、まず、基板２２０及び偏光フィルタ層２２３上に形成された充填材２２４上に、上述した多層膜を形成する。このような多層膜を形成する方法としては、周知の蒸着等の方法を用いればよい。続いて、非分光領域（例えば、撮像素子２０６'の上側領域）に対応する箇所について多層膜を除去する。
【０１３９】
この除去方法としては、一般的なリフトオフ加工法を利用すればよい。リフトオフ加工法では、目的とするパターンとは逆のパターンを、金属やフォトレジスト等で事前に充填材２２４の層上に形成しておき、その上に多層膜を形成してから、非分光領域に対応する箇所の多層膜を当該金属やフォトレジストと一緒に除去する。
【０１４０】
本実施形態では、分光フィルタ層２２２として多層膜構造を採用しているので、分光特性の設定自由度が高いという利点がある。
【０１４１】
なお、本実施形態では、充填材２２４の上に積層される分光フィルタ層２２２については充填材２２４のような保護層を設けていない。これは、本発明者らの実験によれば、撮像素子２０６'に分光フィルタ層２２２が接触しても、撮像画像に影響を及ぼすような損傷が発生しなかったため、低コスト化を優先して保護層を省略したものである。
【０１４２】
また、偏光フィルタ層２２３の金属ワイヤ（凸部）の高さは一般に使用波長の半分以下と低い一方、分光フィルタ層２２２の高さは、高さ（厚み）を増すほど遮断波長での透過率特性を急峻にできるため、使用波長と同等から数倍程度の高さとしている。
【０１４３】
充填材２２４の厚みが増すほど、その上面の平坦性を確保することが困難になり、光学フィルタ２０５Ｃの特性に影響を与えるので、充填材２２４を厚くするにも限度がある。そのため、本実施形態では、分光フィルタ層２２２を充填材で覆っていない。
【０１４４】
即ち、本実施形態では、偏光フィルタ層２２３を充填材２２４で覆った後に分光フィルタ層２２２を形成しているため、充填材２２４の層を安定的に形成できる。また、充填材２２４の層の上面に形成される分光フィルタ層２２２もその特性を最適に形成することが可能である。
【０１４５】
（第６の実施形態）
本発明に係る画像処理システム及びそれを備えた車両の第６の実施形態を図面を参照しながら説明する。なお、既に説明した実施形態と同様の構成及び動作については適宜説明を省略する。本実施形態では、光学フィルタにおける分光フィルタ層の他の構成例を示す。
【０１４６】
図２７は、光学フィルタの構造の他の例を示す光透過方向に沿った断面模式図である。また、図２８は、本実施形態における光学フィルタ２０５Ｄをセンサ基板２０７側から見た正面模式図である。
【０１４７】
光学フィルタ２０５Ｄは、第５の実施形態の図２２等に示した光学フィルタ２０５Ｃの構成に加えて、基板２２０の撮像素子２０６（または２０６'）側の面における有効撮像領域外に、充填材２２４を介して形成された分光フィルタ層２２６（第３の分光フィルタ層）を有し、分光フィルタ層２２２及び分光フィルタ層２２６の撮像素子２０６（または２０６'）側の面が撮像素子２０６（または２０６'）に近接配置されてなる。
【０１４８】
この構成により、本実施形態の画像処理システム及びそれを備えた車両は、光学フィルタと撮像素子との接合が平行かつ安定的に行えるという効果を有する。
【０１４９】
（第７の実施形態）
本発明に係る画像処理システム及びそれを備えた車両の第７の実施形態を図面を参照しながら説明する。なお、既に説明した実施形態と同様の構成及び動作については適宜説明を省略する。
【０１５０】
本実施形態では、ヘッドランプ１０４（図１参照）として、ハロゲンランプや近赤外帯に波長帯域を持つ発光ダイオード（ＬＥＤ）、特に分光フィルタ層２２２の透過帯に発光波長を有するものを用いる。これにより、夜間においても偏光フィルタ層２２３および分光フィルタ層２２２を通過した画像を撮像することにより路面状態を検出することができる。
【０１５１】
なお、光源はヘッドランプ１０４に限定されるものではなく、例えば、図２９に示すように、撮像ユニット１０１の近傍に、発光ダイオード（ＬＥＤ）や半導体レーザ（ＬＤ）などの路面照射用の光源２０２が設置されてもよい。図２９は、車両１００内に固定されるカバー２１０内に、撮像ユニット１０１と、車両１００のフロントガラス１０５の内壁面１０５ａ側からフロントガラス１０５に向けて光を照射する光源２０２が収容された例を示している。
【０１５２】
ヘッドランプ１０４の投光波長及び光源２０２の発光波長としては、その中心波長およびバンド幅が、分光フィルタ層２２２の波長範囲λ３〜λ４に含まれる波長を選択してやればよい。即ち、例えば９５０ｎｍ±５ｎｍの半導体レーザなどを用いればよい。一般に、半導体レーザは温度によって発光波長が長波長側にシフトする特性を有するが、図２６に示したようなカットフィルタを用いれば、発光波長の変動もカバーすることが可能である。
【０１５３】
ところで、特許文献３には、レーザ光を路面に照射するレーザ装置と、そのレーザ光の路面からの反射光を撮像するカメラと、カメラの前段に配置され、偏光面を回転可能な偏光板と、を備え、複数の偏光情報から路面状態を検出するシステムが開示されている。
【０１５４】
これに対して、本発明は、第５の実施形態における光学フィルタ２０５Ｃを用いることにより、偏光板を回転させることなくリアルタイムに水平偏光成分画像及び垂直偏光成分画像を取得できるため、車両１００を走行させながらの路面状態検出が可能となる。
【０１５５】
また、偏光フィルタ層２２３に斜め４５度方向の偏光子（不図示）も設けることにより、特許文献３に開示されたような３つの偏光状態（偏光角０度、４５度、９０度）の情報も検出することが可能となる。この場合には、画像解析ユニット１０２は、水平偏光成分画像及び垂直偏光成分画像に加えて偏光角４５度の偏光成分画像を生成し、これら３種の画像に基づいて路面状態を判別することになる。
【０１５６】
なお、光学フィルタが分光フィルタ層２２２を有しているとしても、分光フィルタ層２２２のバンドパス領域を透過する外乱光も存在するため、外乱光の影響を完全に除去することはできない。例えば、夜間は対向車のヘッドランプに含まれる赤外波長成分が外乱光として撮像ユニット１０１に入ることがある。
【０１５７】
本実施形態においては、このような誤検知を防ぐために、画像解析ユニット１０２が以下に述べる画像処理と光源の制御を行う。画像解析ユニット１０２は、ヘッドランプ１０４（または光源２０２）と電気的に接続されており、ヘッドランプ１０４（または光源２０２）の点灯を撮像ユニット１０１の露光のタイミングと同期させるように制御する。
【０１５８】
ここで、路面状態を検出するための画像フレームは最低でも２フレーム使用する。また、標識検出の情報を元に車両１００の制御を行う用途では、上部領域２１２の輝度値に合わせた自動露光制御（ＡＥＣ：Auto Exposure Control）を行うことが一般的であるが、上記の少なくとも２フレームについては路面状態の検出に最適な露光制御を行う。
【０１５９】
例えば、撮像ユニット１０１は、２フレームのうちの第１フレームでは、ヘッドランプ１０４（または光源２０２）が点灯した状態で画像を取り込み、２フレームのうちの第２フレームでは、ヘッドランプ１０４（または光源２０２）が消灯した状態で画像を取り込むように制御される。なお、路面状態検出用の第１フレームの露光のタイミング以外ではヘッドランプ１０４（または光源２０２）は常に消灯させておけば、消費電力を抑えることもできる。
【０１６０】
ヘッドランプ１０４（または光源２０２）が点灯した状態で撮像されたフレームの輝度値をＹａ、ヘッドランプ１０４（または光源２０２）が消灯した状態で撮像されたフレームの輝度値をＹｂとすると、輝度値Ｙａには路面からの反射光と外乱光が含まれ、輝度値Ｙｂには外乱光のみが含まれる。ここで、画像解析ユニット１０２は、路面状態検出用の下部領域２１１における各画素について、下記の式（７）により、外乱光の影響を取り除いた輝度値Ｙｒを算出する。
Ｙｒ＝Ｙａ−Ｙｂ                                                        （７）
【０１６１】
即ち、輝度値Ｙｒで得られる差分画像は、路面からの反射光によって得られた光のみを検知したものになる。また、外乱光が全くない場合には、ヘッドランプ１０４（または光源２０２）が消灯した状態で撮像されたフレームは、下部領域２１１において輝度値がほぼゼロとなる。つまり、光源２０２を点灯させたフレームと差分画像はほぼ同じ画像になる。
【０１６２】
外乱光がある場合でも、差分画像は外乱光がない場合と同じように、路面で反射した光のみが画像として得られる。画像解析ユニット１０２は、この差分画像を基にして路面状態検知の画像処理をすることで、外乱光の影響を排除して路面状態を検知することができる。
【０１６３】
なお、光源２０２としては、単一光線を照射するものに限定されるものではなく、複数の発光部を有していてもよい。この複数の発光部は、複数の別個の光源からなっていてもよく、あるいは、単一の光源の出射光を複数本に分割する構成からなっていてもよい。分割方法としては、光源２０２の発光波長程度のピッチを有する回折格子を、光源２０２の出射光路中に配置する方法が挙げられる。これにより、出射光を０次、±１次、・・・の複数本に分割できる。
【０１６４】
また、図３０に示すように、ピッチ方向を直交させた２枚の回折格子２３１、２３２を光源２０２の出射光路中に配置する構成であれば、出射光をＮ×Ｎ本に分割することができる。
【０１６５】
図３１は、光源２０２から出力される複数の出射光の基準パターン（図３１（ａ））と、それらの出射光が物体（被写体）に照射され、物体からの反射光が撮像ユニット１０１で撮像された場合の撮像パターン（図３１（ｂ））を示す説明図である。
【０１６６】
図３１（ｂ）に示すように、光源２０２からの複数の出射光が物体により反射されると、その物体の位置に対応した箇所の撮像パターンのスポット（黒丸）の間隔が、基準パターンのスポット（白丸）と比較して乱れることが分かる。画像解析ユニット１０２は、このような撮像パターンの基準パターンからのずれを検出することにより、物体の形状情報などを取得することができる。つまり、この構成により、路面上の障害物検知を行うことが可能となる。
【符号の説明】
【０１６７】
１００  車両
１０１  撮像ユニット（撮像手段）
１０２  画像解析ユニット（画像解析手段）
１０３  ヘッドランプ制御ユニット
１０４  ヘッドランプ
１０５  フロントガラス（透明部材）
１０５ａ  内壁面
１０６  ワイパー制御ユニット
１０７  ワイパー
１０８  車両走行制御ユニット
１１０  画像処理システム
２０２  光源
２０４  撮像レンズ
２０５、２０５Ａ〜２０５Ｄ  光学フィルタ
２０６、２０６'  撮像素子
２０６ａ  画素アレイ
２０６ｂ  カラーフィルタ
２０７  センサ基板
２０８  信号処理部
２１０  カバー
２１１  下部領域
２１２  上部領域
２２０  基板
２２１  分光フィルタ層（第１の分光フィルタ層）
２２２  分光フィルタ層（第２の分光フィルタ層）
２２３  偏光フィルタ層（第１の偏光フィルタ層）
２２４  充填材
２２５  偏光フィルタ層（第２の偏光フィルタ層）
２２６  分光フィルタ層（第３の分光フィルタ層）
２３０  偏光分離手段
２３１、２３２  回折格子
【先行技術文献】
【特許文献】
【０１６８】
【特許文献１】特許第２７０７４２６号明細書
【特許文献２】特開２００７−８６７２０号公報
【特許文献３】特開２００７−３１６０４９号公報
【図１】
0005899957.tif 000002
【図２】
0005899957.tif 000003
【図３】
0005899957.tif 000004
【図４】
0005899957.tif 000005
【図５】
0005899957.tif 000006
【図６】
0005899957.tif 000007
【図７】
0005899957.tif 000008
【図１０】
0005899957.tif 000009
【図１１】
0005899957.tif 000010
【図１２】
0005899957.tif 000011
【図１４】
0005899957.tif 000012
【図１５】
0005899957.tif 000013
【図１６】
0005899957.tif 000014
【図１７】
0005899957.tif 000015
【図１９】
0005899957.tif 000016
【図２０】
0005899957.tif 000017
【図２１】
0005899957.tif 000018
【図２２】
0005899957.tif 000019
【図２３】
0005899957.tif 000020
【図２４】
0005899957.tif 000021
【図２５】
0005899957.tif 000022
【図２６】
0005899957.tif 000023
【図２７】
0005899957.tif 000024
【図２８】
0005899957.tif 000025
【図２９】
0005899957.tif 000026
【図３０】
0005899957.tif 000027
【図３１】
0005899957.tif 000028
【図８】
0005899957.tif 000029
【図９】
0005899957.tif 000030
【図１３】
0005899957.tif 000031
【図１８】
0005899957.tif 000032