(57)【要約】【課題】車両のフロントガラスのような透明部材を介して撮像装置により取得した偏光画像から、撮像装置への入射光が透明部材を透過する前に有する偏光成分の強度に対応する正確な偏光情報を取得する。【解決手段】不図示のフロントガラスを介して撮像装置（偏光カメラ）１０で取得された偏光画像Ｉ０はフロントガラス補正部２０に入力される。フロントガラス補正部２０は、フロントガラスを透過したことで減衰したＳ偏光成分又はＰ偏光成分を、撮像装置１０に入射する光線と撮影装置１０の光軸とのなす角度に応じて補正することで、Ｐ／Ｓ（偏光比）を一定にした偏光画像Ｉ１を生成する。【選択図】図１
2015144421.tif 000002
【特許請求の範囲】
【請求項１】
透明部材を介して撮像装置により取得した偏光画像に含まれる偏光成分情報を補正する補正手段を有し、
前記補正手段は、前記偏光画像を構成する画素に対して、該画素の画像上の位置、及び、該画像上の位置と該画像上の位置への入射光に含まれる偏光成分の強度と前記透明部材の傾斜角度との対応関係に基づいて、前記偏光画像に含まれる偏光成分情報の強度が、前記入射光が前記透明部材を透過する前に有する偏光成分の強度と対応するように、前記偏光成分情報の強度を補正する、画像処理装置。
【請求項２】
請求項１に記載された画像処理装置において、
前記補正手段は、Ｓ偏光成分情報を補正する、画像処理装置。
【請求項３】
請求項１に記載された画像処理装置において、
前記補正手段は、Ｐ偏光成分情報を補正する、画像処理装置。
【請求項４】
請求項１に記載された画像処理装置において、
前記偏光画像を構成する画素の前記偏光画像上の位置を示す画素位置情報を生成する画素位置情報生成手段と、該画像上の位置と該画像上の位置への入射光に含まれる偏光成分の強度と前記透明部材の傾斜角度との対応関係を示す補正用パラメータを保持する補正用パラメータ記憶手段とを有し、
前記補正手段は、前記画素位置情報及び補正用パラメータに基づいて、前記偏光成分情報の強度を補正する、画像処理装置。
【請求項５】
請求項４に記載された画像処理装置において、
前記補正用パラメータ記憶手段は、前記透明部材の傾斜角度の複数の値に対応する複数の補正用パラメータを保持する、画像処理装置。
【請求項６】
請求項１〜５のいずれかに記載された画像処理装置において、
前記補正手段により補正された偏光画像から輝度画像を生成する輝度画像生成手段と、前記補正手段により補正された偏光画像から偏光情報を生成する偏光情報生成手段と、前記輝度画像に前記偏光情報を重畳する輝度偏光重畳手段と、該輝度偏光重畳手段の出力に基づいて、前記撮像装置の撮像領域内に存在する物体を認識する画像認識手段とを有する画像処理装置。
【請求項７】
偏光画像の取得機能を有する撮像装置と、請求項１〜６のいずれかに記載された画像処理装置とを有する画像処理システム。
【請求項８】
請求項６に記載された画像処理装置と、該画像処理装置における画像認識手段の認識結果に基づいて、移動体を制御する移動体制御手段とを有する移動体制御装置。
【請求項９】
透明部材を介して撮像装置により偏光画像を取得するステップと、該偏光画像に含まれる偏光成分情報を補正する補正ステップとを有し、
該補正ステップは、前記偏光画像を構成する画素に対して、該画素の画像上の位置、及び、該画像上の位置と該画像上の位置への入射光に含まれる偏光成分の強度と前記透明部材の傾斜角度との対応関係に基づいて、前記偏光画像に含まれる偏光成分情報の強度が、前記入射光が前記透明部材を透過する前に有する偏光成分の強度と対応するように、前記偏光成分情報の強度を補正する、画像処理方法。
【請求項１０】
コンピュータを請求項１〜６のいずれかに記載された画像処理装置における各手段として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の撮像領域を撮像して取得した偏光画像を処理することで、撮像領域に存在する物体を検出する画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム、並びにその検出結果を利用して、車両やロボットなどの移動体を制御する移動体制御装置に関する。
【背景技術】
【０００２】
カメラ装置の撮像素子上に領域分割した偏光フィルタを配置し、画素毎に取得する光の偏光方向（Ｐ偏光、Ｓ偏光）を変えることで、偏光成分情報としてＰ偏光成分の強度に対応するＰ偏光成分情報を含むＰ偏光画像、及び偏光成分情報としてＳ偏光成分の強度に対応するＳ偏光成分情報を含むＳ偏光画像を取得し、それらの偏光画像からＳＤＯＰ（Sub Degree of Polarization：差分偏光度）などの偏光情報を取得することで、輝度情報だけでは識別できない物体の識別を可能にした立体物識別装置が知られている（特許文献１）。
【０００３】
また、特許文献１には、立体物識別装置の識別結果を利用するアプリケーションとして、車内にカメラ装置を設置し、車両のフロントガラス越しに撮像した路面状況などの偏光画像の偏光情報を処理することで、車両が走行レーンを外れた場合にドライバーに警告を出すシステムも記載されている。
【０００４】
さらに、特許文献１には、フロントガラスの角度がカメラ装置の光軸に対して斜めであることに起因して発生するフロントガラスの透過光に含まれる偏光成分の減衰を電気的に補正することも記載されている。即ち、取得したＰ偏光画像に含まれるＰ偏光成分情報及びＳ偏光画像に含まれるＳ偏光成分情報をそれぞれ一定量ずつ増強する（Ｓ偏光成分情報を約２倍し、Ｐ偏光成分情報を約１／０．９倍する。）ことも記載されている。
【０００５】
また、別の方法としては、例えば、フロントガラスとカメラ装置との間に、Ｐ偏光成分及びＳ偏光成分それぞれの減衰量をキャンセルする光学素子を配置することも記載されている。
【０００６】
しかしながら、この減衰率の補正方法では、入射光の角度に対する偏光の依存性を考慮せず、カメラ装置の画面全体に対する均一な補正を行っているため、補正効果が低い。即ち、フロントガラスを透過し、カメラ装置に入射した入射光に含まれる偏光成分の強度がカメラ装置の光軸に対する入射光の角度の変化に応じて変化することを考慮せず、入射光の角度と無関係に均一な補正を行っているため、補正効果が低い。その結果、正確な偏光情報を取得できないという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、このような問題を解決するためになされたものであり、その目的は、車両のフロントガラスのような透明部材を介して撮像装置により取得した偏光画像から、撮像装置への入射光が透明部材を透過する前に有する偏光成分の強度に対応する比較的正確な偏光情報を取得できるようにすることである。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、透明部材を介して撮像装置により取得した偏光画像に含まれる偏光成分情報を補正する補正手段を有し、前記補正手段は、前記偏光画像を構成する画素に対して、該画素の画像上の位置、及び、該画像上の位置と該画像上の位置への入射光に含まれる偏光成分の強度と前記透明部材の傾斜角度との対応関係に基づいて、前記偏光画像に含まれる偏光成分情報の強度が、前記入射光が前記透明部材を透過する前に有する偏光成分の強度と対応するように、前記偏光成分情報の強度を補正する、画像処理装置である。
【発明の効果】
【０００９】
本発明によれば、車両のフロントガラスのような透明部材を介して撮像装置により取得した偏光画像から、撮像装置への入射光が透明部材を透過する前に有する偏光成分の強度に対応する比較的正確な偏光情報を取得することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る画像処理装置を含む移動体制御装置の概略構成を示すブロック図である。
【図２】図１におけるフロントガラス補正部、輝度偏光重畳部、画像処理／画像認識部、及び車両制御部を実現するハードウェアであるコンピュータシステムの一例を示すブロック図である。
【図３】図１における撮像装置に設けられている光学フィルタの正面図である。
【図４】図１における撮像装置に設けられている光学フィルタ、撮像素子及び基板の断面図である。
【図５】図１におけるフロントガラス補正部の一例の機能ブロック図である。
【図６】フロントガラスを透過し、図１における撮像装置の光軸に水平に入射する光線について説明するための図である。
【図７】フロントガラスを透過し、図１における撮像装置の光軸に斜めに入射する光線について説明するための図である。
【図８】図７におけるフロントガラスの表面と光軸とのなす角度が２１°、フロントガラスの屈折率が１．４の場合の透過率、ＳＤＯＰ、Ｐ／Ｓ、及びθi1を示す図である。
【図９】図７におけるフロントガラスの表面と光軸とのなす角度が３０°、フロントガラスの屈折率が１．４の場合の透過率、ＳＤＯＰ、Ｐ／Ｓ、及びθi1を示す図である。
【図１０】物体による反射のモデルを説明するための図である。
【図１１】図１における輝度偏光重畳部の一例の機能ブロック図である。
【図１２】フロントガラスを通さずに図１における撮像装置により撮像し、かつフロントガラス補正部を動作させずに生成した輝度画像及び偏光重畳画像の例を示す図である。
【図１３】フロントガラス越しに図１における撮像装置により撮像し、かつフロントガラス補正部を動作させずに生成した輝度画像及び偏光重畳画像の例を示す図である。
【図１４】フロントガラス越しに図１における撮像装置により撮像し、かつフロントガラス補正部を動作させて生成した輝度画像及び偏光重畳画像の例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について図面を参照して説明する。
〈移動体制御装置の概略構成〉
図１は、本発明の実施形態に係る画像処理装置を含む移動体制御装置の概略構成を示すブロック図である。
【００１２】
この移動体制御装置は、撮像装置１０、フロントガラス補正部２０、輝度偏光重畳部３０、画像処理／画像認識部４０、及び車両制御部５０を備えている。ここで、フロントガラス補正部２０、輝度偏光重畳部３０、及び画像処理／画像認識部４０が画像処理装置を構成する。また、この画像処理装置と撮像装置１０とが画像処理システムを構成し、この画像処理装置と車両制御部５０とが移動体制御装置を構成する。
【００１３】
この移動体制御装置は移動体としての車両に搭載され、透明部材としてのフロントガラスの前方の撮像領域に存在する人や他の車両などを検出したとき、減速や停止制御を行うものである。ただし、本発明に係る移動体制御装置は、車両以外の移動体、例えばロボットの制御に適用することもできる。
【００１４】
撮像装置１０は、偏光カメラと呼ばれる偏光画像の取得機能を有するものであり、撮像レンズと、撮像素子と、光学フィルタとを内蔵しており、フロントガラスの前方の撮像領域からの入射光を撮像素子上に結像させ、電気信号に変換することで、撮像領域の画像Ｉ０を取得する。ここで、画像Ｉ０は画素毎にＰ偏光成分情報を含むＰ偏光画像と、画素毎にＳ偏光成分情報を含むＳ偏光画像とからなる。Ｐ偏光画像及びＳ偏光画像を取得するための手段の詳細については後述する。
【００１５】
画像Ｉ０は、本発明に係る補正手段に対応するフロントガラス補正部２０に入力され、Ｐ偏光成分情報又はＳ偏光成分情報の少なくとも一方の強度が撮像装置１０の光軸に対する入射光の角度に応じて補正される。これにより、フロントガラスを透過したことで減衰した光線中のＳ偏光成分に対応するＳ偏光成分情報の強度と、Ｐ偏光成分に対応するＰ偏光成分情報の強度の比率を、撮像装置１０の光軸に対する入射光の角度によらずに一定にした画像Ｉ１を生成する。フロントガラス補正部２０の詳細については後述する。
【００１６】
画像Ｉ１は輝度偏光重畳部３０に入力される。輝度偏光重畳部３０は、画像Ｉ１から輝度画像及びＳＤＯＰなどの偏光情報を生成し、さらに輝度画像に偏光情報を重畳して画像Ｉ２を生成する。輝度偏光重畳部３０の詳細については後述する。
【００１７】
画像Ｉ２は画像処理／画像認識部４０に入力される。画像処理／画像認識部４０は、画像Ｉ２に含まれている輝度情報及び偏光情報を用いて、認識物体の抽出処理などの処理を行う。ここで、画像Ｉ２は偏光情報を輝度画像に重畳したものであるため、車両や白線等の画像認識処理は、通常の輝度画像に対するものと同等のものでよい。つまり、新たに偏光画像用に画像処理や画像認識処理を開発する必要がなく、本構成を用いることで、認識率の向上や、誤検知の低減を図ることができる。
【００１８】
画像処理／画像認識部４０による認識結果は車両制御部５０へ送出される。車両制御部５０は、入力された認識結果に基づいて、車両のブレーキやステアリング操作の補助などの車両制御を行う。
【００１９】
〈画像処理装置及び車両制御部のハードウェア構成〉
図２は、図１におけるフロントガラス補正部２０、輝度偏光重畳部３０、画像処理／画像認識部４０、及び車両制御部５０を実現するハードウェアであるコンピュータシステムの一例を示すブロック図である。
【００２０】
このコンピュータシステム２００は、バス２１０と、それぞれがバス２１０に接続された各種の制御及び処理を行うＣＰＵ２２０、ＲＯＭ２３０、ＲＡＭ２４０、ＨＤＤ（ハードディスク）２５０、及びＩ／Ｏ２６０を備えている。Ｉ／Ｏ２６０には撮像装置１０が接続される。
【００２１】
ＲＡＭ２４０は、ＣＰＵ２２０の作業領域として利用される。ＲＯＭ２３０（書き換え可能なものも含む）は、各種制御プログラムやテーブル、パラメータなどの固定情報の記録領域として利用される。
【００２２】
フロントガラス補正部２０、輝度偏光重畳部３０、画像処理／画像認識部４０、及び車両制御部５０を実現する画像処理プログラムは、図示されていない光学ドライブ装置にＤＶＤ−ＲＯＭなどの記録媒体をセットすることで、ＨＤＤ２５０に一旦保存された後に必要なときにＲＡＭ２４０にロードされる。処理の対象となる偏光画像はＩ／Ｏ２６０に撮像装置１０を介して入力される。
【００２３】
〈Ｐ偏光画像及びＳ偏光画像の取得〉
次に撮像装置１０においてＰ偏光画像及びＳ偏光画像を取得する手段について説明する。図３は、図１における撮像装置１０に設けられている光学フィルタの正面図であり、図４は、図１における撮像装置１０に設けられている光学フィルタ、撮像素子及び基板の断面図である。
【００２４】
光学フィルタ１３において、フィルタ基板１３１は、撮像レンズ（図示せず）を介して光学フィルタ１３に入射する入射光を透過させる透明な基板である。フィルタ基板１３１の撮像素子１２側の面には、偏光フィルタ層１３２が形成されている。偏光フィルタ層１３２を覆うように、更に充填層１３３が形成されている。
【００２５】
光学フィルタ１３に入射した光のうち、偏光フィルタ層１３２を透過した光は、基板ＳＴ上の撮像素子１２の画素領域に入射する。偏光フィルタ層１３２には撮像素子１２の画素サイズに対応した偏光子によりＳＷＳ（サブ波長構造）の領域分割偏光フィルタが形成されている。
【００２６】
ここでは、偏光子としてはＳ偏光成分透過領域ＰＯＬ１とＰ偏光成分透過領域ＰＯＬ２が横方向（行方向）に短冊状に交互に形成されている。このため、撮像素子１２の縦方向に並ぶ画素ＰＣ１、ＰＣ２はＳ偏光成分透過領域ＰＯＬ１に対向し、画像ＰＣ１、ＰＣ２の右隣に縦方向（列方向）に並ぶ画素ＰＣ３、ＰＣ４はＰ偏光成分透過領域ＰＯＬ２に対向する。
【００２７】
従って、画素ＰＣ１、ＰＣ２の光電変換出力はＳ偏光成分情報を含み、Ｐ偏光成分情報を含まない。また、画素ＰＣ３、ＰＣ４の光電変換出力はＰ偏光成分情報を含み、Ｓ偏光成分情報を含まない。
【００２８】
そこで、画素ＰＣ１、ＰＣ２のＰ偏光成分情報については、その両側の２個の画素のＰ偏光成分情報の平均値、即ち画素ＰＣ３、ＰＣ４の右隣の２個の画素の光電変換出力と、画素ＰＣ１、ＰＣ２の２列左の画素の光電変換出力の平均値を用いる。同様に、画素ＰＣ３、ＰＣ４のＳ偏光成分情報については、その両側の２個の画素のＳ偏光成分情報の平均値、即ち画素ＰＣ１、ＰＣ２の左隣の２個の画素の光電変換出力と、画素ＰＣ３、ＰＣ４の２列右の２個の画素の光電変換出力の平均値を用いる。他の画素についても同様に処理する。
【００２９】
このように処理することで、撮像素子１２の画素毎に、Ｐ偏光成分情報を含む光電変換出力であるＰ偏光画像、及びＳ偏光成分情報を含む光電変換出力であるＳ偏光画像を取得することができる。
【００３０】
なお、Ｓ偏光成分情報を含み、Ｐ偏光成分情報を含まない画素ＰＣ１、ＰＣ２などの光電変換出力、Ｐ偏光成分情報を含み、Ｓ偏光成分情報を含まない画素ＰＣ３、ＰＣ４などの光電変換出力から差分偏光画像を形成することにより、各種情報検知に利用することができる。
【００３１】
ここでは、撮像素子としてはモノクロセンサを想定しているが、これに限定されるものでなく、カラーセンサであってもよい。
【００３２】
〈フロントガラス補正部の構成〉
図５は、図１におけるフロントガラス補正部の一例の機能ブロック図である。図示のように、フロントガラス補正部２０は、増幅部２１、及び増幅率算出部２２を備えている。
【００３３】
画素位置情報生成部１５は撮像装置１０内に設けられており、増幅部２１に入力されるＳ偏光画像Ｉ０Ｓを構成する画素の画像上の位置を表す画素位置情報を生成して、増幅率算出部２２に送出する。補正用パラメータ記憶手段としてのパラメータ記憶部２３０ａはＲＯＭ２３０内に設けられており、その内部に予め設定され、保持されている補正用パラメータが増幅率算出部２２により読み出される。なお、画素位置情報生成部１５をコンピュータシステム２００内に設けることもできる。
【００３４】
増幅率算出部２２は、画素位置情報及び補正用パラメータを参照して増幅部２１の増幅率を算出し、増幅部２１に設定する。Ｓ偏光画像Ｉ０Ｓは増幅部２１に入力され、Ｓ偏光成分情報の強度が増幅率算出部２２により設定された所定の増幅率で増幅されてＳ偏光画像Ｉ１Ｓとされ、出力される。Ｐ偏光画像Ｉ０ＰはそのままＰ偏光画像Ｉ１Ｐとして出力される。なお、後述するようにＰ偏光画像を所定の減衰率で減衰させるようにしてＳ偏光画像をそのまま出力させるようにしてもよいし、Ｐ偏光画像とＳ偏光画像の両方を処理してもよい。
【００３５】
パラメータ記憶部２３０ａに保持されている補正用パラメータは、Ｓ偏光画像Ｉ０Ｓを構成する画素のＳ偏光画像Ｉ０Ｓ上の位置（この位置は撮像装置１０の光軸に対する入射光の角度に対応する。）及びフロントガラスの傾斜角度などに応じて予め設定されたものである。これらのパラメータの詳細、及び増幅率算出部２２における算出アルゴリズムの詳細については後述する。
【００３６】
〈フロントガラスが偏光成分に与える影響〉
次にフロントガラスが偏光成分に与える影響について説明する。ここでは、フロントガラスの偏光に与える影響の理論モデルを構築し、それにより影響を考える。この理論モデルはフレネル反射を用いたものであり、多重反射は考慮していない。
【００３７】
図６は、フロントガラスを透過し、撮像装置１０の光軸に水平に入射する光線（撮像装置１０の縦方向の画角の中央への入射光）について説明するための図であり、図７は、フロントガラスを透過し、撮像装置１０の光軸に斜めに入射する光線（撮像装置１０の縦方向の画角の中央以外への入射光）について説明するための図である。
【００３８】
図６において、フロントガラス６０の屈折率をｎ、フロントガラス６０の傾斜角度（水平面からの角度）をθf、撮像装置１０の光軸に水平に入射する光線７１の第１の表面６１に対する入射角度をθi1、空気面への入射角度（第２の表面６２からの出射角度）をθi2とする。
【００３９】
各角度には下記の式〔１〕、式〔２〕の関係がある。
θi1＝（π／２）−θf  …式〔１〕
sinθi2＝（１／ｎ）sinθi1  …式〔２〕
【００４０】
第１の表面６１におけるＳ偏光成分、Ｐ偏光成分の反射率Ｒ1S、Ｒ1Pは、それぞれ下記の式〔３〕、式〔４〕で表される。
Ｒ1S＝｛（cosθi1−ｎcosθi2）／（cosθi1＋ｎcosθi2）｝２  …式〔３〕
Ｒ1P＝｛（cosθi2−ｎcosθi1）／（cosθi1＋ｎcosθi2）｝２  …式〔４〕
【００４１】
また、第２の表面６２におけるＳ偏光成分、Ｐ偏光成分の反射率Ｒ2S、Ｒ2Pは、それぞれ下記の式〔５〕、式〔６〕で表される。
Ｒ2S＝｛（ｎcosθi2−cosθi1）／（ｎcosθi2＋cosθi1）｝２  …式〔５〕
Ｒ2P＝｛（ｎcosθi1−cosθi2）／（ｎcosθi2＋cosθi1）｝２  …式〔６〕
【００４２】
干渉がないとすると、ここまでの反射率の式から、第１の表面６１、第２の表面６２の両方を考慮したフロントガラス６０全体のＳ偏光成分、Ｐ偏光成分の透過率ＴS、ＴPは、それぞれ下記の式〔７〕、式〔８〕で表される。
ＴS＝（１−Ｒ1S）（１−Ｒ2S）  …式〔７〕
ＴP＝（１−Ｒ1P）（１−Ｒ2P）  …式〔８〕
【００４３】
図７の場合は、下記の式〔９〕の関係を有する入射角度θＳを用い、上記の式〔２〕〜〔８〕を用いて計算すればよい。
θi1＝（π／２）−θｆ＋θＳ  …式〔９〕
【００４４】
〈理論モデルによる計算結果〉
上記の理論モデルによる計算結果について説明する。
図８は、θf＝２１°、ｎ＝１．４の場合の透過率Ｔ（ＴS、ＴP）、ＳＤＯＰ、Ｐ／Ｓ、及びθi1を示す図である。このθfの値はフロントガラス６０の傾斜角度がかなり浅い（フロントガラス６０が寝ている）車種を想定している。ここで、Ｐ／Ｓ（偏光比）はＳ偏光成分の強度に対するＰ偏光成分の強度の比である。また、各図のグラフにおける横軸の“Field angle”は、撮像装置１０の縦方向の画角（光軸からの傾き）であり、プラスが上向き（画面上部に対応）、マイナスが下向き（画面下部に対応）である。
【００４５】
図８Ｃに示すように、Ｐ／Ｓは画面上部と画面下部とで、略２．２から略１．３まで大きく変わっており、偏光情報については微妙な差を検出する必要があることを考えると、その差は非常に大きい。その理由は、フロントガラス６０への入射角度θi1が６０〜８０°近くになっており（図８Ｄ）、非常に浅い角度で入射しているため、Ｓ偏光成分の反射率が大きいためである。
【００４６】
このことから、画面上の縦方向位置、つまり光線の入射角度でフロントガラス６０による偏光成分の強度への影響は大きく変わるため、画面全体に対する均一な補正を行う従来技術では、補正効果が全く足りないことが判る。
【００４７】
次にθf＝３０°、ｎ＝１．４の場合の透過率Ｔ（ＴS、ＴP）、ＳＤＯＰ、Ｐ／Ｓ、及びθi1を図９に示す。このθfの値はフロントガラス６０が比較的起きている（傾斜角度が比較的深い）セダンなどを想定している。この場合、フロントガラス６０への入射角度θi1が５０〜７０°（図９Ｄ）で図８Ｄよりも少し深くなっているため、図９Ｃに示すＰ／Ｓの変化量は図８Ｃに示すＰ／Ｓの変化量より小さいものの、大きく変わっていることは共通している。
【００４８】
〈偏光成分情報の強度補正〉
そこで、フロントガラス補正部２０における増幅部２１では、図８Ｃ及び図９Ｃに示すＰ／Ｓの値、即ちフロントガラスを透過した光線中のＳ偏光成分の強度に対するＰ偏光成分の強度の比が“Field angle”の値に無関係に一定となるように、Ｓ偏光成分の強度を上げる。本実施形態では、図８Ｃ、図９Ｃにおける「偏光比（Ｐ／Ｓ）−画角（Field angle）」特性曲線におけるＰ／Ｓの値分を“Field angle”の値に応じてＳ偏光画像Ｉ０Ｓに乗算することで、“Field angle”の値に無関係に“Ｐ／Ｓ＝１”にするように処理する。なお、ここではＰ／Ｓの値として１を例示したが、固定値であればどのような値でもよい。
【００４９】
より簡単にするには、「偏光比（Ｐ／Ｓ）−画角（Field angle）」特性曲線を一次関数で近似（線形近似）し、下記の式〔１０〕を用いて、Ｓ偏光画像Ｉ０Ｓを補正すればよい。
Ｉ１Ｓ（ｘ，ｙ）＝Ｉ０Ｓ（ｘ，ｙ）・｛ｄｓ・（ｙ／ｙｍａｘ）＋ｃｓ｝  …式〔１０〕
【００５０】
ここで、Ｉ０Ｓ（ｘ，ｙ）、Ｉ１Ｓ（ｘ，ｙ）は、それぞれＳ偏光画像Ｉ０Ｓ、Ｉ１Ｓの画面座標（ｘ，ｙ）の位置の画素におけるＳ偏光成分情報の強度である。この画面座標（ｘ，ｙ）の原点は画面の左上端である。また、ｄｓとｃｓは一次関数の傾き及びｙ切片を決めるパラメータであり、ｙｍａｘは画面下端のｙ座標である。従って、（ｙ／ｙｍａｘ）は画面の上端で０となり、下端で１となるように、撮像装置１０の画角（Field angle）を変換したものであり、Ｓ偏光画像の画素位置情報と撮像装置１０の光軸に対する入射光の角度の対応関係を示す補正用パラメータである。すなわち、ｄｓとｃｓはフロントガラスの種類ごとに固有に定められる値であり、実験等により求められる。ｙｍａｘは、｛ｄｓ・（ｙ／ｙｍａｘ）＋ｃｓ｝の値が０〜１の範囲となるよう定められる。最大値を１とすれば０〜１の範囲となるが、前述のように固定値とすれば、それに応じた値となる。
【００５１】
フロントガラス補正部２０における増幅率算出部２２は、式〔１０〕における｛ｄｓ・（ｙ／ｙｍａｘ）＋ｃｓ｝の値を増幅率として算出し、増幅部２１に設定する。ここで、ｙｍａｘは既知であり、予めパラメータ記憶部２３０ａに保持されている。ｙは画素位置情報として入力される。また、ｄｓとｃｓは、予め設定され、パラメータ記憶部２３０ａに保持されている。例えばθf＝２１°の場合、図８Ｃより、ｄｓ≒０．８（２．２−１．４）、ｃｓ≒１．４が設定値となる。また、θf＝３０°の場合、図９Ｃより、ｄｓ≒０．４（１．６−１．２）、ｃｓ≒１．２が設定値となる。
【００５２】
なお、Ｓ偏光画像Ｉ０Ｓを増幅する代わりに、下記の式〔１１〕を用いて、Ｐ偏光画像Ｉ０Ｐを減衰させてもよい。
Ｉ１Ｐ（ｘ，ｙ）＝Ｉ０Ｐ（ｘ，ｙ）・｛ｄＰ・（ｙ／ｙｍａｘ）＋ｃＰ｝  …式〔１１〕
【００５３】
また、線形近似を行わず、上記のｄｓ又は式〔１１〕におけるｄＰをｙの関数とする補正テーブルを用いてもよい。また、パラメータ記憶部２３０ａに、フロントガラスの角度θfに応じて複数組のｄｓやｃｓを設定しておくことで、フロントガラスの角度θfの異なる場合に対応することができる。同様に、撮像装置１０の縦方向の画素数や画角に応じて、複数組のｄｓやｃｓを設定しておくことで、撮像装置１０の縦方向の画素数や画角が異なる場合に対応することができる。
【００５４】
このように、本実施形態における偏光成分情報の強度補正では、偏光画像を構成する画素に対して、その画素の偏光画像上の位置と、その位置への入射光に含まれる偏光成分の強度とフロントガラス６０の傾斜角度との対応関係に基づいて、偏光画像に含まれる偏光成分情報の強度が、前記入射光がフロントガラス６０を透過する前に有する偏光成分の強度と対応するように、偏光成分情報の強度を補正することになる。
【００５５】
〈輝度画像に対する偏光情報の重畳〉
次に輝度偏光重畳部３０における処理である輝度画像に対する偏光情報の重畳について説明するが、その前段階として偏光に関する説明を行う。
【００５６】
物体表面の反射特性は、双方向反射分布関数(Bi-directional Reflectance Distribution Function  以下「ＢＲＤＦ」と表記する)により表現される。
物体表面上の「ある点におけるＢＲＤＦ」は入射方向と反射方向の双方向に依存し、照明方向からの入射光の強さに対する、観測方向への反射光の強さの比として定義される。
【００５７】
「偏光現象」を記述する反射モデルは、種々提案されている。以下では、鏡面反射成分として「Torrance Sparrowモデル」を用い、拡散反射成分として「Lambertモデル」を用いる。
【００５８】
図１０は、物体ＯＢによる反射のモデルを示している。この図において、Ｎは物体ＯＢの反射位置における「外向き法線ベクトル」を表す。Ｌは、前記反射位置から光源へ向かうベクトルで「光源ベクトル」と呼ぶ。Ｖは、前記反射位置から観察位置へ向かうベクトルで「視線方向ベクトル」と呼ぶ。Ｈは、光源ベクトルＬと視線方向ベクトルＶとの成す角を２等分する方向のベクトルで簡単に「２等分方向ベクトル」と呼ぶ。前記の各ベクトル：Ｎ、Ｌ、Ｖ、Ｈは「同一平面」上に位置する。この同一平面内で、角：ψ、θＬ、α、θｉ、及びθを、図示のように定める。
【００５９】
物体ＯＢによる「Ｓ偏光ＢＲＤＦ：ρＳ(ψ，θ)」は、以下の式〔１２〕により与えられ、「Ｐ偏光ＢＲＤＦ：ρＰ(ψ，θ)」は、以下の式〔１３〕により与えられる。
ρＳ(ψ，θ)＝ｋＳＲＳ(θｉ)Ｄ＋ｋｄcosθＬ  …式〔１２〕
ρＰ(ψ，θ)＝ｋＰＲＰ(θｉ)Ｄ＋ｋｄcosθＬ  …式〔１３〕
【００６０】
式〔１２〕、式〔１３〕における右辺の第１項が鏡面反射モデル項(Torrance Sparrowモデル)、第２項が拡散反射モデル項(Lambertモデル)である。また、ｋＳはＳ偏光の鏡面反射係数、ｋＰはＰ偏光の鏡面反射係数を表し、ｋｄは拡散反射係数を表す。
【００６１】
また、ＲＳ(θｉ)、ＲＰ(θｉ)は、それぞれＳ偏光、Ｐ偏光に対する「フレネル反射率」であり、以下の式〔１４〕、〔１５〕により与えられる。
ＲＳ(θｉ)＝{(ｎ１cosθｉ−ｎ２cosθｉ’)/(ｎ１cosθｉ＋ｎ２cosθｉ’)}２  …式〔１４〕
ＲＰ(θｉ)＝{(ｎ１cosθｉ’−ｎ２cosθｉ)/(ｎ１cosθｉ’＋ｎ２cosθｉ)}２  …式〔１５〕
ここで、ｎ１、ｎ２は、それぞれ空気及び物体ＯＢの屈折率である。
【００６２】
また、角：θｉ’は、角：θｉ及び屈折率：ｎ１、ｎ２と以下の式〔１６〕の関係にある。
sinθｉ’＝（ｎ１/ｎ２）sinθｉ  …式〔１６〕
【００６３】
従って、θｉ’は下記の式〔１７〕で与えられる。
θｉ’＝sin−１｛（ｎ１/ｎ２）sinθｉ｝  …式〔１７〕
【００６４】
上記フレネル反射率の項により、反射モデルの挙動として偏光依存性が反映される。
【００６５】
上記の式〔１２〕、〔１３〕におけるＤは、反射位置における微小面積の「法線分布項」であり、以下の式〔１８〕で表される。
Ｄ＝exp(−α２/２ａ２)   …式〔１８〕
ここで、αは分布関数の中心座標値であり、図１０における角度パラメータ：αに対応している。また、ａは分布関数における標準偏差である。なお、「ａ」は微小面積の「角度分布に関するパラメータ」である。また、法線分布項：Ｄは、正規分布を表すガウス分布となっている。
【００６６】
次に、輝度画像に重畳される偏光情報につき説明する。偏光情報には種々のものが考えられるが、以下では偏光情報として、「偏光度」、「差分偏光度（ＳＤＯＰ）」及び「偏光比」について説明する。
【００６７】
「偏光度（Degree of polarization）」は、偏光現象に関する周知のストークスパラメータ：Ｓ０、Ｓ１、Ｓ２、Ｓ３を用いて定義される量であり、以下「ＤＯＰ」と略記する。
ＤＯＰは、ストークスパラメータ：Ｓ０〜Ｓ３を用いて、以下の式〔１９〕により定義される。
ＤＯＰ＝｛√（Ｓ１２＋Ｓ２２＋Ｓ３２）｝／Ｓ０  …式〔１９〕
【００６８】
「差分偏光度（ＳＤＯＰ）」は、ストークスパラメータ：Ｓ０、Ｓ１を用いて以下の式〔２０〕により定義される量である。
ＳＤＯＰ＝Ｓ１/Ｓ０＝{Ｉ(０，φ)−Ｉ(９０，φ)}/{Ｉ(０，φ)＋Ｉ(９０，φ)}  …式〔２０〕
ここで、Ｉ(０，φ)は、軸角度を０度としたときの偏光子を通した光強度、Ｉ(９０，φ)は軸角度を９０度としたときの偏光子を通した光強度である。
【００６９】
先に説明した「領域分割偏光フィルタ」の例では、Ｉ(０，φ)はＳ偏光成分透過領域ＰＯＬ１の透過光を受光した画素の受光強度であり、Ｉ(９０，φ)はＰ偏光成分透過領域の透過光を受光した画素の受光強度である。
【００７０】
ストークスパラメータ：Ｓ２＝Ｓ３＝０の場合には、以下の式〔２１〕の関係が成り立つ。
ＤＯＰ＝｜ＳＤＯＰ｜  …式〔２１〕
そこで、この場合のＳＤＯＰも「偏光度」と呼ぶことにする。
【００７１】
「偏光比（Ｐ／Ｓ）」は上記Ｉ(０，φ)とＩ(９０，φ)との比であり、以下の式〔２２〕により定義される。
偏光比＝Ｉ(０，φ)／Ｉ(９０，φ)  …式〔２２〕
【００７２】
なお、偏光比は、上記のように「Ｉ(０，φ)とＩ(９０，φ)との比」であるので、上記の式〔２２〕に代えて、以下の式〔２３〕で表してもよい。
偏光比＝Ｉ(９０，φ)／Ｉ(０，φ)   …式〔２３〕
【００７３】
輝度偏光重畳部３０において、上記のように定義される３種の偏光情報：ＤＯＰ、ＳＤＯＰ、偏光比の任意のものを輝度情報に重畳することにより、前述の出力画像Ｉ２を得ることができる。
【００７４】
輝度情報は、以下のように求めることができる。
図１における撮像装置１０に設けられた偏光フィルタ層１３２は「領域分割偏光フィルタ」である。即ち、偏光フィルタ層１３２には、Ｐ偏光成分を透過させる偏光フィルタ素子と、Ｓ偏光成分を透過させる偏光フィルタ素子が２次元的に配列されている。
【００７５】
そこで、撮像素子１２の撮像領域を２次元ｘ、ｙ座標（前述した画面座標）で表し、位置：（ｘ、ｙ）の画素が受光したＳ偏光成分、Ｐ偏光成分の強度をそれぞれＩＳ(ｘ、ｙ)、ＩＰ(ｘ、ｙ)とする。
【００７６】
そうすると、輝度画像：Ｉbright（ｘ，ｙ）は、容易に理解されるように以下の式〔２４〕で表すことができる。
Ｉbright（ｘ，ｙ）＝｛ＩＳ(ｘ、ｙ)＋ＩＰ(ｘ、ｙ)｝／２  …式〔２４〕
【００７７】
従って、重畳の演算を仮に［ＳＰＩ］と表すと、
輝度情報と偏光情報の重畳は、以下の式〔２５〕で表すことができる。
Ｉbright（ｘ，ｙ）［ＳＰＩ］（偏光情報）  …式〔２５〕
偏光情報としては、前述のＤＯＰ、ＳＤＯＰ、偏光比の何れを用いてもよい。
【００７８】
重畳の演算としては、種々のものが考えられるが、その中で簡単なものは、線形和により行う方法と、積演算により行う方法である。
線形和により行う方法は、下記の式〔２６〕により表される。
Ｉbright（ｘ，ｙ）［ＳＰＩ］（偏光情報）＝Ｉbright（ｘ，ｙ）＋Ｋ×（偏光情報）  …式〔２６〕
また、積演算により行う方法は、下記の式〔２７〕により表される。
Ｉbright（ｘ，ｙ）［ＳＰＩ］（偏光情報）＝Ｉbright（ｘ，ｙ）×Ｋ×（偏光情報）  …式〔２７〕
【００７９】
ここで、偏光情報は、各ピクセルの輝度の変化として輝度画像に重畳される。従って、式〔２６〕、〔２７〕の右辺において、加算もしくは掛け合わせられる画素は等しい座標（ｘ，ｙ）を持つ。なお、式〔２６〕、〔２７〕において、右辺のＫは、重畳の程度を表す定数であり、具体的な重畳の条件に応じて、適宜に設定可能である。
【００８０】
図１０を用いて説明した反射モデルでは、反射光の偏光状態は、物体ＯＢの材質(屈折率、表面状態、内部散乱係数）、光源と物体の角度、物体と観測点の角度を変数として表せる。即ち、上記偏光状態は、以下の式〔２８〕により表すことができる。
偏光状態＝Ｆ（光源状態、材質、角度）  …式〔２８〕
ここで、Ｆは関数であることを表す。
【００８１】
この式において、各変数は以下のとおりである。また、光源状態・材質・角度のうち、どれか２つが決まれば残りの１つが定まる、という関係となっている。
光源状態＝ψの角度分布  
材質＝ｋＳ、ｋＰ，ｋｄ，ｎ２等  
角度=θ
【００８２】
図１０を用いて説明した反射モデルでは、物体ＯＢの表面での「正反射によるスペキュラ光」を表す項（Ｒｓ、Ｒｐの項）が偏光状態を特徴付ける重要な量となっている。観察対象である物体ＯＢに対して、撮像装置１０と光源が同じ角度にあるような場合には、スペキュラ光は殆ど戻って来ず、その結果「偏光情報が得られない」ことが分かる。
【００８３】
光源の状態をコントロールできない場合には、このような困難があるため、光源の条件を固定できない車載用途などへの応用を考えた場合には以下のことを考えていく必要がある。
【００８４】
偏光状態は式〔２８〕で示したような関係にあるため、照射光を投射しない車載カメラでは、光源状態に依存して「偏光画像の持つ偏光情報」が変化する。即ち、例えば「路面と白線など異なる材質のもの」を区別する場合にも光源の状態によって、偏光情報（例えばＳＤＯＰ）は変化してしまう。なお、偏光情報は、角度によっても変化するが「路面上の同じ角度のもの」を見る場合であれば、角度による偏光情報の変化は無視することができる。
【００８５】
輝度情報に偏光情報を重畳した出力画像Ｉ２を用いて「画像認識」を行なう場合、物体を特徴付ける何らかの「特徴量」を用いて認識を行う必要がある。この場合、物体による偏光状態を単独で特徴量とする場合には「光源状態の影響」を受けてしまう。
【００８６】
そのため、光源状態によらない「偏光状態を活かした特徴量」を用いる必要がある。前述の式〔１２〕、〔１３〕によれば、光源の高度（図１０の角：ψ、即ち、角：θＬにより定まる。）によりＳ偏光成分とＰ偏光成分の反射強度の大きさは変化する。しかし、反射強度の大きさは常に、Ｐ偏光の方がＳ偏光よりも大きい。また、Ｓ偏光成分とＰ偏光成分の「反射強度の差」は、表面反射が大きい（即ち、内部散乱が小さい）ものほど大きい。
【００８７】
また、車載用のものの場合における実使用状況では「順光の場合には撮像されるものの略全てが順光照明を受ける」と考えられる。また「逆光の場合には撮像されるものの略全てが逆光照明を受ける」と考えられる。
【００８８】
この点を考慮すると、種々の物体が撮像された状態において、平均としては、前述のＳＤＯＰ(差分偏光度)などの偏光情報は「順光と逆光で値に偏りが生じる」と考えられる。
【００８９】
このような点を考慮して、前記「特徴量」は以下のような方針で選択するのがよいと考えられる。
【００９０】
イ：
順光と逆光など光源の状態の影響を「画面全体のＳＤＯＰなど偏光情報のオフセット」を除去することにより、大まかにキャンセルする。
【００９１】
ロ：
順光状態、即ち、撮像部と物体のなす角度と、光源と物体のなす角度が近い場合にはそもそも「偏光情報が小さく」なる。
従って、このような場合には「偏光情報が無い」とし、偏光情報を利用可能な場合にのみ、偏光情報を特徴量に付加する。
これは換言すれば、偏光情報を利用できる場合には、偏光情報の重畳により「通常の輝度画像」よりも画像認識を良好に行える」ことを意味する。
【００９２】
ハ：
前述の式〔１２〕、〔１３〕によれば、順光による撮像では、Ｉ(０，φ)はＩ（９０，φ）に等しく「ＳＤＯＰ＝０」となるはずであるが、実際の実測結果では０にならない。そして、反射物体の材質によってもＳＤＯＰに差がある。
この点を鑑みて、順光時と逆光時で「ＳＤＯＰが特徴量に寄与する係数」を調整できるようにする。また、順光とそれ以外の判断には画面全体のＳＤＯＰ(偏光度)を使用する。
【００９３】
ニ：
通常の輝度情報を用いたアルゴリズムを使用できるように「輝度に近い特徴量」とする。即ち、大まかに言えば、偏光度として、絶対量ではなく「相対量のみ」を見る。そして、光源の状態によらず、物体の表面反射の大小（散乱の大小）という情報を、使える状況に応じて輝度情報に付加した特徴量とする。
【００９４】
ＳＤＯＰ(偏光度)は、光源の角度：ψによって大きく変化する。しかし、ある角度で見たときに材質ＡとＢでの大小関係がＡ＞Ｂとなっている場合には、他の角度でもＡ＞Ｂとなっている場合が多い。
【００９５】
ＳＤＯＰは、撮像される物体の材質のＫｄと「Ｋｄの大きさ」に大きく依存する。例えば、材質ＡのＳＤＯＰを基準として０にオフセットさせると、材質ＢのＳＤＯＰがプラス側となるかマイナス側となるかは光源の角度によらない場合が多い。
【００９６】
この点に鑑みると、画面全体のＳＤＯＰのオフセットを除去することにより、光源の角度によらず「材質ごとの相対関係のみ」を取り出すことができる。
【００９７】
また、前記の式〔１２〕、〔１３〕による反射モデル理論では、順光状態になるとＳＤＯＰは０に近づく。このため、偏光情報としてＳＤＯＰを用いると、光源の状態が順光状態に近づくにつれ、つまり偏光情報が使えなくなるにつれて「偏光の特徴量への寄与」がなくなる。
【００９８】
しかし、実際の実験結果では材質により、順光時もＳＤＯＰの値にばらつきがある。順光時のＳＤＯＰの値のばらつきの大小関係は「逆光時の大小関係」と異なるので、順光時はそれを検出して、偏光情報が特徴量に寄与する係数を変化させ得るようにする。
【００９９】
また、さまざまな材質において「光源角度：ψに応じてＳＤＯＰが変化する傾向」は互いに似通っている。そこで、撮像画面全体が「同じ角度からの光源光」を受けていると仮定し、画面全体のＳＤＯＰの値を利用して、順光か逆光であるかを判断する。
【０１００】
上記の方針を鑑み、画像認識に用いる上記「特徴量」を以下のごとくに定める。
まず、偏光情報を加味した特徴量(出力画像)：Ｉbright_por(ｘ，ｙ)を以下の式〔２９〕のように定める。
【０１０１】
【数１】
2015144421.tif 000003
【０１０２】
式〔２９〕における「ＳＤＯＰ(ｘ、ｙ)」は、次式〔３０〕で定義される。
ＳＤＯＰ(ｘ，ｙ)＝{ＩＳ(ｘ、ｙ)−ＩＰ(ｘ、ｙ)}/{ＩＳ(ｘ、ｙ)＋ＩＰ(ｘ、ｙ)}  …式〔３０〕
【０１０３】
〈輝度偏光重畳部の構成及び動作〉
図１１は、以上説明した式〔２５〕の処理を実行する輝度偏光重畳部の一例の機能ブロック図である。
【０１０４】
図示のように、輝度偏光重畳部３０は、情報生成部３１、オフセット除去部３２、重畳部３３、及び順光逆光判断部３４を備えている。
情報生成部３１は、入力された画像Ｉ１から輝度画像及び偏光情報を生成する。ここで、輝度画像は式〔２４〕を用いて生成される。また、偏光情報としてのＳＤＯＰは式〔３０〕により生成される。本実施形態では、これらの式におけるＩＳ(ｘ、ｙ)、ＩＰ(ｘ、ｙ)は、それぞれ、「〈偏光成分情報の強度補正〉」で述べたＩ１Ｓ（ｘ，ｙ）、Ｉ１Ｐ（ｘ，ｙ）である。
【０１０５】
輝度画像はそのまま重畳部３３に入力される。一方、偏光情報はオフセット除去部３２に入力される。順光逆光判断部３４の機能については後述する。
【０１０６】
オフセット除去部３２は、入力される偏光情報（ＳＤＯＰ）に対して、上記の式〔２９〕の右辺第２項の「括弧内の第２項」の演算を行う。そして、その演算結果を、入力した偏光情報（ＳＤＯＰ）から減算する。
【０１０７】
式〔２９〕の右辺の括弧内の第２項は、画像上の、Ｘ，Ｙで定まる「ある領域範囲」内における「ＳＤＯＰの平均」を与える。Ｘ，Ｙで定まる「領域範囲」は、その選び方に任意性がある。
【０１０８】
ここでは、前述の如く「光源の状態の影響を、画面全体を用いてキャンセル」することを考え、Ｘ、Ｙで定まる画像領域は「画面全体から空の領域」を除いた領域とする。このように演算される画像領域における平均は「オフセット」であり、このオフセットを減算する演算がオフセット除去部３２において実行される。
【０１０９】
このように、オフセットを除去された偏光情報は重畳部３３に入力され、輝度情報と重畳される。この重畳は、式〔２９〕の右辺に示すように、輝度情報：Ｉbright（ｘ，ｙ）に対して、オフセットを除去された「式〔２９〕の右辺括弧内の量」の線形和を取ることにより行われる。
【０１１０】
このとき、式〔２９〕の右辺第２項の括弧の前にある係数：ｋが括弧内の量に掛け合わされて加算される。この係数：ｋは、以下の式〔３１〕、〔３２〕のように定められる。
【０１１１】
【数２】
2015144421.tif 000004
【０１１２】
【数３】
2015144421.tif 000005
【０１１３】
この式〔３１〕、〔３２〕の演算は、順光逆光判断部３４において行われる。ここで、ｋ１とｋ２は「偏光情報重畳係数」である。また、「ＴＨ」は「閾値」であり、「順光状態を認識できる」ように設定される。
【０１１４】
即ち、順光逆光判断部３４は、前述の「オフセット」が閾値：ＴＨより小さいときは、光源の状態が順光状態であると判断し、偏光情報重畳係数：ｋをｋ２に設定する。また、「オフセット」が閾値：ＴＨより大きいときは、光源の状態が順光状態でないと判断し、偏光重畳係数：ｋをｋ１に設定する。
【０１１５】
なお、オフセットの算出における平均演算を行う「Ｘ，Ｙによる画像領域」としては、空の領域も含めた画面全面としてもよい。しかし、空（そら）は「太陽の位置により偏光状態が異なる」ので、空の領域は除いた方が良い結果が得られる。
【０１１６】
なお、例えば道路の「路面上の白線」を検出する用途に関しては、順光以外の場合には白線の表面反射は路面よりも小さく、ＳＤＯＰは白線の方が小さくなる。従って、この場合には「偏光情報重畳係数：ｋ１を負とする」ことにより、白線とアスファルト（白線よりも輝度が低い）の輝度の差をより際立たせることができる。
【０１１７】
また、順光の場合には「白線とアスファルトのＳＤＯＰの関係」が反転するため、「偏光情報重畳係数：ｋ２は正の値とするか、０とする」ことが望ましい。ｋ２を０にした場合には「偏光情報の重畳が行なわれない」ことになる。
【０１１８】
以上の説明では、偏光情報としてＳＤＯＰを用いたが、前述のＤＯＰや偏光比を、上記数１における偏光情報として用いることができることはいうまでもない。
【０１１９】
なお、これら偏光情報を得るのに「減算や除算」が用いられるため、ノイズが増幅されやすい。従って、得られた「ＳＤＯＰなどの偏光情報」をあらわす画像に、加重平均やメディアンフィルタまたは「εフィルタ」などのノイズリダクション処理を行うことが好ましい。
【０１２０】
また、例えば、取得した偏光画像に「飽和している領域」がある場合も考えられる。即ち、ＩＳ(ｘ、ｙ)やＩＰ(ｘ、ｙ)が「表現できる最大値や最小値に飽和」していた場合には、偏光情報を演算により正常に得ることができない。
【０１２１】
このような場合には「該当領域に関する重畳を行わない」ように、ｋの値を０にするか、もしくは演算不能として「一定の定数を出力」することが好ましい。
【０１２２】
次に本発明の効果を確認するために撮影した実写画像について、図１２〜図１４を用いて説明する。ここで、図１２は、フロントガラスを通さずに撮像装置１０により撮像し、かつフロントガラス補正部２０を動作させずに生成した輝度画像及び偏光重畳画像の例を示す図である。また、図１３は、フロントガラス越しに撮像装置１０により撮像し、かつフロントガラス補正部２０を動作させずに生成した輝度画像及び偏光重畳画像の例を示す図である。また、図１４は、フロントガラス越しに撮像装置１０により撮像し、かつフロントガラス補正部２０を動作させて生成した偏光重畳画像の例を示す図である。各画像を取得した場所は同じであり、時刻もほぼ同じである。場所は駐車場である。この駐車場の前方には樹木があり、その前方の右側には集合住宅がある。画像の取得時の天候は小雨であり、路面は濡れていた。また、駐車場に２台の車両が駐車していた。
【０１２３】
図１２Ａは輝度画像であり、図１２Ｂは偏光重畳画像である。輝度画像と偏光重畳画像とを比較すると、輝度画像では駐車場の路面は概ね非常に明るく、その前方の樹木は非常に暗く、集合住宅は少し暗いのに対し、偏光重畳画像では路面は概ねかなり暗く、その前方の樹木や集合住宅は少し明るい。つまり、輝度画像、偏光重畳画像とも、路面とそれ以外の部分とのコントラストが高いため、路面領域の抽出は容易である。
【０１２４】
図１３Ａは輝度画像であり、図１３Ｂは偏光重畳画像である。図１３Ａに示す輝度画像では、図１２Ａに示す輝度画像と比べると、路面もそれ以外の部分も暗くなるものの、路面とそれ以外の部分とのコントラストにより、路面領域の抽出は容易である。しかし、図１３Ｂに示す偏光重畳画像では、路面とそれ以外の部分とがほぼ同じ暗さとなるため、路面とそれ以外に部分とのコントラストが低くなり、路面領域の抽出が困難となる。
【０１２５】
図１４Ａは補正アルゴリズムのパラメータｄｓ＝０．２の場合の偏光重畳画像であり、図１４Ｂはｄｓ＝１．０の場合の偏光重畳画像である。いずれもｃｓは１．２とした。ｄｓ＝０．２の場合の方が改善効果は大きいが、いずれの場合も、図１３Ｂに示すフロントガラス越しの偏光重畳画像と比較して、図１２Ｂに示すフロントガラスなしの偏光重畳画像に近い明るさの画像が得られており、路面とその他の部分とのコントラストが向上していることが判る。
【０１２６】
なお、上記の実施形態では、Ｓ偏光画像とＰ偏光画像の平均から輝度画像を取得する処理を輝度偏光重畳部３０内の情報生成部３１で行っているが、この処理を撮像装置１０内、若しくは撮像装置１０とフロントガラス補正部２０との間で行うように構成することもできる。
また、上記の実施形態では、フロントガラス補正部２０の補正対象をＳ偏光画像又はＰ偏光画像としているが、補正対象を輝度画像に重畳する前の偏光情報（ＳＤＯＰ、ＤＯＰ）とすることもできる。
また、上記の実施形態では、Ｓ偏光成分を含み、Ｐ偏光成分を含まない画素についてのＰ偏光成分の取得処理、及び、Ｐ偏光成分を含み、Ｓ偏光成分を含まない画素についてのＰ偏光成分の取得処理を撮像装置１０内で行っているが、この処理を撮像装置１０とフロントガラス補正部２０との間で行うように構成することもできる。
また、フロントガラス補正部２０、輝度偏光重畳部３０、画像処理／画像認識部４０、及び車両制御部５０を撮像装置１０内に設けることもできる。
また、上記の実施形態では、撮像装置１０として、サブ波長構造の領域分割偏光フィルタを備えるものを採用しているが、撮像装置１０は偏光画像を取得可能であればよいので、例えば特許文献１に記載されている各種偏光カメラ（カメラ前面に偏光子を配置しておき、偏光子を回転させながら複数枚の偏光角が異なる画像を取得するようなカメラなど）を採用することができる。
また、本実施形態では、基本的にはフロントガラスは横方向には平坦であるとの前提で、画像上の縦方向位置（ｙ座標）のみを考慮した補正を行っている。しかし、実際のフロントガラスは横方向にも若干湾曲しているため、画像上の横方向位置（ｘ座標）をも考慮した補正を行うことで、より精度の高い偏光情報を取得することができる。
【符号の説明】
【０１２７】
１０…撮像装置、１５…画素位置情報生成部、２０…フロントガラス補正部、２１…増幅部、２２…増幅率算出部、３０…輝度偏光重畳部、３１…情報生成部、４０…画像処理／画像認識部、５０…車両制御部、６０…フロントガラス、２００…コンピュータシステム、２３０ａ…パラメータ記憶部。
【先行技術文献】
【特許文献】
【０１２８】
【特許文献１】特開２０１１−１５０６８７号公報
【図１】
2015144421.tif 000006
【図２】
2015144421.tif 000007
【図３】
2015144421.tif 000008
【図４】
2015144421.tif 000009
【図５】
2015144421.tif 000010
【図６】
2015144421.tif 000011
【図７】
2015144421.tif 000012
【図８】
2015144421.tif 000013
【図９】
2015144421.tif 000014
【図１０】
2015144421.tif 000015
【図１１】
2015144421.tif 000016
【図１２】
2015144421.tif 000017
【図１３】
2015144421.tif 000018
【図１４】
2015144421.tif 000019