(57)【要約】【課題】輝度画像に関する処理を用いて偏光情報を利用できる新規な画像処理システムの実現を課題とする。【解決手段】画像処理システムは、偏光情報を有する画像ＩＭＰの前記偏光情報を、各ピクセルの輝度の変化として輝度画像に重畳する輝度偏光重畳部２０を有し、該輝度偏光重畳部により重畳された画像を、出力画像ＩＭＯとして出力する機能を持つ。【選択図】図１
2015109625.tif 000002
【特許請求の範囲】
【請求項１】
偏光情報を有する画像の前記偏光情報を、各ピクセルの輝度の変化として輝度画像に重畳する輝度偏光重畳部を有し、該輝度偏光重畳部により重畳された画像を出力画像として出力する機能を持つ画像処理システム。
【請求項２】
請求項１記載の画像処理システムにおいて、
輝度偏光重畳部により重畳処理を受ける偏光情報を有する画像を撮像する撮像部を有する画像処理システム。
【請求項３】
請求項１または２記載の画像処理システムにおいて、
輝度偏光重畳部が、偏光情報と輝度画像の線形和として重畳を行うものである画像処理システム。
【請求項４】
請求項１または２記載の画像処理システムにおいて、
輝度偏光重畳部が、偏光情報と輝度画像の積として重畳を行うものである画像処理システム。
【請求項５】
請求項１〜４の何れか１項に記載の画像処理システムにおいて、
輝度偏光重畳部により輝度画像に重畳される偏光情報が偏光度または差分偏光度または偏光比である画像処理システム。
【請求項６】
請求項１〜５の何れか１項に記載の画像処理システムにおいて、
輝度偏光重畳部により重畳処理を受ける偏光情報を有する画像を撮像する撮像部を有し、この撮像部の撮像における光源の状況を推定して判断する光源状況判断手段を有し、
前記輝度偏光重畳部は、前記光源情報判断手段の出力に応じて、輝度画像への偏光情報の重畳方法を変化させる画像処理システム。
【請求項７】
請求項１〜７の何れか１項に記載の画像処理システムにおいて、
偏光情報を有する画像の、所定範囲にける偏光情報の平均値を、前記偏光情報から減算してオフセットを除去する偏光情報オフセット除去手段を有し、
該偏光情報オフセット除去手段によりオフセットを除去された偏光情報を輝度画像に重畳する画像処理システム。
【請求項８】
請求項７記載の画像処理システムにおいて、
偏光情報の平均値を求める所定範囲が、偏光情報を有する画像の全面である画像処理システム。
【請求項９】
請求項７記載の画像処理システムにおいて、
偏光情報の平均値を求める所定範囲が、偏光情報を有する画像の全面から、空の領域を除いた領域である画像処理システム。
【請求項１０】
請求項１〜９の何れか１項に記載の画像処理システムにおいて、
偏光情報を有する画像の撮像が、順光状態で行われたか逆光状態で行われたかを、撮像された前記画像の情報により推定し、判断する順光逆光判断手段を有する画像処理システム。
【請求項１１】
請求項１０記載の画像処理システムにおいて、
順光逆光判断手段は、撮像された偏光情報を有する画像の偏光度または差分偏光度により、撮像が順光状態で行われたか逆光状態で行われたかを判断する画像処理システム。
【請求項１２】
請求項１０記載の画像処理システムにおいて、
順光逆光判断手段は、撮像された偏光情報を有する画像の画面全体の偏光比の平均値により、撮像が順光状態で行われたか逆光状態で行われたかを判断する画像処理システム。
【請求項１３】
請求項１０〜１２の何れか１項に記載の画像処理システムにおいて、
順光逆光判断手段が、順光状態と判断したとき、輝度画像への偏光情報の重畳量を変化させる画像処理システム。
【請求項１４】
請求項１〜１３の何れか１項に記載の画像処理システムにおいて、
輝度偏光重畳部は、偏光情報を有する画像の各領域の値に基いて、輝度画像に基く値を出力するか、固定値を出力するか判断する画像処理システム。
【請求項１５】
請求項１〜１４の何れか１項に記載の画像処理システムにおいて、
輝度画像における飽和した領域を判断する飽和領域判断手段を有し、  
輝度偏光重畳部は、飽和している領域に関しては、重畳方法を変更する画像処理システム。
【請求項１６】
請求項１５記載の画像処理システムにおいて、
輝度偏光重畳部は、飽和している領域に関しては偏光情報の重畳量を０とする画像処理システム。
【請求項１７】
請求項１５記載の画像処理システムにおいて、
輝度偏光重畳部は、飽和している領域に関しては、出力画像の該当領域に対して定数を出力する画像処理システム。
【請求項１８】
請求項１５〜１７の何れか１項に記載の画像処理システムにおいて、
飽和領域判断手段が、輝度画像における飽和した領域とともに、飽和に近い領域と該領域における飽和に近い度合いを判断する機能を有し、
前記飽和に近い領域では、前記飽和に近い度合いに応じて、輝度画像と偏光情報の重畳における割合を、飽和に近いほど輝度画像の割合が大きくなるように変化させる画像処理システム。
【請求項１９】
請求項１〜１８の何れか１項に記載の画像処理システムにおいて、
輝度偏光重畳部により重畳処理を受ける偏光情報を有する画像を撮像する撮像部を有し、前記輝度偏光重畳部は、撮像部により撮像された画像の位置に応じて、輝度画像への偏光情報の重畳方法を変化させる画像処理システム。
【請求項２０】
請求項１〜１９の何れか１項に記載の画像処理システムにおいて、
輝度偏光重畳部により重畳処理を受ける偏光情報を有する画像を撮像する撮像部を有し、前記撮像部は、撮像素子上に領域分割された偏光フィルタを有する画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理システム、詳しくは偏光情報を含む画像の処理を行う画像処理システムに関する。
【背景技術】
【０００２】
偏光情報を画像処理に利用することが知られている(特許文献１〜４等)。
【０００３】
例えば、カメラ等の撮像装置において、撮像素子上に「領域分割した偏光フィルタ」を配置し、ピクセルが取得する光の偏光方向を変えて撮像を行うことが知られている。
【０００４】
また、得られた輝度情報は輝度画像として、偏光情報は色情報として「１枚の絵」を出力する方法も知られている。
【０００５】
例えば、特許文献１には、偏光フィルタを用いて「偏光情報を有する画像」を取得し、偏光情報の法線ベクトルを矢印の向きとして出力する方法が記載されている。
【０００６】
特許文献１はまた、偏光角度に可視光線スペクトルを対応させて規定し、偏光角度に対応して「色分けして各画素を再構築する方法」が開示されている。
【０００７】
特許文献１記載の方法では、出力される画像において偏光情報が「矢印や色」で表現されているため、偏光情報の利用の際に「通常の輝度画像に関する処理」を利用出来ない。
【０００８】
例えば、車載カメラ等で「路面上の白線の認識」に偏光情報を有する画像を利用しようとしても「輝度を用いた白線認識のアルゴリズム」による処理を行うことができない。
【０００９】
即ち、「色として表現された偏光情報用に用いる白線認識処理」を新たに開発する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
この発明は、上述した事情に鑑みてなされたものであって、輝度画像に関する処理を用いて偏光情報を利用できる新規な画像処理システムの実現を課題とする。
【課題を解決するための手段】
【００１１】
この発明の画像処理システムは、偏光情報を有する画像の前記偏光情報を、各ピクセルの輝度の変化として輝度画像に重畳する輝度偏光重畳部を有し、該輝度偏光重畳部により重畳された画像を出力画像として出力する機能を持つ。
【発明の効果】
【００１２】
この発明の画像処理システムによれば、偏光情報が、各ピクセルの輝度の変化として輝度画像に重畳されて出力画像として出力される。
【００１３】
従って、出力される出力画像は、輝度画像に関する通常の画像処理が可能である。
【図面の簡単な説明】
【００１４】
【図１】画像処理システムの実施の１形態を説明するための図である。
【図２】物体による反射のモデルを説明するための図である。
【図３】画像処理システムの実施の別形態を説明するための図である。
【図４】同一撮像対象の輝度画像と輝度偏光重畳画像の１例を示す図である。
【図５】同一撮像対象の輝度画像と輝度偏光重畳画像の別例を示す図である。
【図６】同一撮像対象の輝度画像と輝度偏光重畳画像の他の例を示す図である。
【図７】輝度画像の飽和の程度を求めるフロー図である。
【図８】画像処理システムを車両の制御に利用する場合を説明するための図である。
【図９】画像処理システムのハードウエアの１例を説明するための図である。
【発明を実施するための形態】
【００１５】
以下、発明の実施の形態を説明する。  
図１（ａ）は、画像処理システムの実施の１形態を説明するための概念図である。
【００１６】
図１（ａ）において、符号１０で示す部分は「撮像部」、符号２０で示す部分は「輝度偏光重畳部」であり、符号３０で示す部分は「画像処理／画像認識部」である。
【００１７】
これら撮像部１０、輝度偏光重畳部２０、画像処理／画像認識部３０のうちで、この発明の画像処理システムに必要不可欠なのは輝度偏光重畳部２０である。
【００１８】
即ち、輝度偏光重畳部２０は、単独で、この発明の画像処理システムを構成できる。
【００１９】
撮像部１０は、この発明の画像処理システムとは別体で、輝度偏光重畳部２０に組み合わせられるものであっても良いし、画像処理システムの一部を構成しても良い。
【００２０】
同様に、画像処理／画像認識部３０も、この発明の画像処理システムとは別体でもよく、画像処理システムの一部を構成するものであってもよい。
【００２１】
撮像部１０は、輝度偏光重畳部２０により重畳処理を受ける「偏光情報を有する画像」を撮像する部分である。図１（ａ）で符号ＩＭＰは「偏光情報を有する画像」を示す。
【００２２】
以下、この画像ＩＭＰを「偏光画像ＩＭＰ」と呼ぶ。
【００２３】
撮像部１０は、画像処理システムとは独立した所謂「偏光カメラ」を用いることができる。この場合には、偏光カメラの「撮像画像」として偏光画像ＩＭＰが得られる。
【００２４】
図１（ａ）、（ｂ）と（ｃ）を参照して撮像部１０の構成の１例を説明する。
【００２５】
撮像部１０は、図１（ａ）に示すように、結像レンズ１１と撮像素子１２と、光学フィルタ１３とを有している。
【００２６】
図１（ｃ）は、撮像素子１２と、光学フィルタ１３を、横方向から見た状態を示す。
【００２７】
撮像素子１２は、基板ＳＴ上にピクセルが２次元配列したものである。説明中の例では、ピクセルの配列は正方行列配置となっている。
【００２８】
光学フィルタ１３は、偏光フィルタ１３２を、透明基板１３１と充填層１３３で挟持した構成となっている。
【００２９】
図１（ｃ）では、離れたように描かれている光学フィルタ１３と撮像素子１２とは互いに密着している。
【００３０】
即ち、偏光フィルタ１３２と撮像素子１２の近接部に充填層１３３が「接着剤」として充填されて両者を一体化しているのである。
【００３１】
偏光フィルタ１３２は、偏光方向の異なる複数種の偏光フィルタ素子を撮像素子１２のピクセルに併せて２次元的に配列してなる所謂「領域分割偏光フィルタ」である。
【００３２】
図１（ｂ）において、隣接する４つのピクセルＰＣ１、ＰＣ２、ＰＣ３、ＰＣ４に対応して、偏光フィルタ素子ＰＯＬ１、ＰＯＬ２、ＰＯＬ３、ＰＯＬ４が重ね合わされている。
【００３３】
偏光フィルタ１３２に用いられた偏光フィルタ素子の種類は、Ｐ偏光を透過させるものと、Ｓ偏光を透過させるものの２種類である。
【００３４】
これら２種の偏光フィルタ素子は、図１（ｂ）における撮像素子１２のピクセル配列の縦方向（２次元行列配列の列方向）を長手方向とする短冊状である。
【００３５】
これら短冊状の偏光フィルタ素子は、横方向（行方向）へ交互に配列されている。
【００３６】
図１（ｂ）のように、ピクセルＰＣ１とＰＣ２が配列する縦方向には、Ｓ偏光を透過させる偏光フィルタ素子ＰＯＬ１、ＰＯＬ２が配列されてこれらピクセルに対応する。
【００３７】
また、ピクセルＰＣ３とＰＣ４が配列する縦方向には、Ｐ偏光を透過させる偏光フィルタ素子ＰＯＬ３、ＰＯＬ４が配列してこれらピクセルに対応する。
【００３８】
撮像部１０により撮像された被写体の像は偏光フィルタ１３２上に結像し、各偏光フィルタ素子を透過することによりＰあるいはＳ偏光となって撮像素子１２に受光される。
【００３９】
このようにして、撮像素子１２により、ピクセルごとに、Ｐ偏光の像もしくはＳ偏光の像が撮像される。
【００４０】
このように撮像された画像が「偏光情報を有する画像」であり、図１に示すように、偏光画像ＩＭＰとして出力される。  
偏光画像ＩＭＰは、画像の情報としては「輝度画像と偏光情報」とを有している。
【００４１】
偏光画像ＩＭＰは、輝度偏光重畳部２０に入力する。  
輝度偏光重畳部２０は、実体としてはＣＰＵやマイクロコンピュータとして構成され、後述するアルゴリズムに従うプログラム演算により輝度画像と偏光情報の重畳を行う。
【００４２】
前述の如く、偏光画像ＩＭＰは、画像の情報として「輝度画像と偏光情報」を有しており、偏光画像ＩＭＰから「輝度画像」と「偏光情報」を抽出する。
【００４３】
そして、このように抽出される偏光情報を輝度画像に重畳する。即ち、偏光画像ＩＭＰの偏光情報を「各ピクセルの輝度の変化として輝度画像に重畳」する。
【００４４】
このようにして輝度画像と偏光情報を重畳された後、図１（ａ）に示す出力画像ＩＭＯとして出力される。  
輝度画像と偏光情報を重畳された画像を「輝度偏光重畳画像」と言う。
【００４５】
出力画像ＩＭＯは「従来から知られている通常の輝度画像処理」、例えば、車載用途の場合で言えば「ＬＤＷやＡＨＢに関する処理が可能」である。
【００４６】
このように従来の輝度画像処理が可能である出力画像ＩＭＯは、図１（ａ）の例では、画像処理／画像認識部３０に入力される。
【００４７】
画像処理／画像認識部３０は、出力画像ＩＭＯの入力を受けて、所望の画像処理や画像認識の処理を行う。
【００４８】
例えば、図１（ａ）の画像処理システムが「車両制御用」に車載される場合であれば、画像処理／画像認識部３０により認識物体の抽出処理などの処理が行われる。
【００４９】
そして、その結果を受けた車両制御手段により例えば、車両のブレーキやハンドル操作のアシストなどの車両制御が行われる。
【００５０】
出力画像ＩＭＯは「従来から行われている輝度画像処理」により画像処理できるので、「偏光画像用に画像処理や画像認識処理を新たに開発」する必要は無い。
【００５１】
図１の画像処理システムを用いることにより、認識率の向上や、誤検知の低減を図ることが出来る。
【００５２】
撮像部１０につき、若干付言する。図１に示す撮像部１０は、偏光フィルタ１３２を有するものである。  
偏光フィルタ１３２は「Ｐ偏光を透過させる偏光フィルタ素子と、Ｓ偏光を透過させる偏光フィルタ素子」の２次元的な配列による「領域分割偏光フィルタ」である。
【００５３】
「撮像部」は、このような構成のものに限定されるものではない。
【００５４】
例えば、特許文献１に記載された「複数の偏光方向の偏光子を組み合わせた偏光子プレートを結像レンズの前に配し、回転しつつ撮像を行う構成のもの」でもよい。
【００５５】
また、２個の撮像カメラの一方に「Ｓ偏光を透過させる偏光フィルタ」、他方に「Ｐ偏光を透過させる偏光フィルタ」を組み合わせたものでもよい。
【００５６】
即ち、一方のカメラでは「Ｓ偏光情報をもつ画像情報」、他方のカメラでは「Ｐ偏光情報をもつ画像情報」を撮像し、各カメラの画像情報を合わせて偏光画像とするのである。
【００５７】
このように、種々の撮像部で取得される「偏光画像」に対して、この発明の「偏光情報の輝度画像への重畳」による画像処理を実施することができる。
【００５８】
なお、上に説明した偏光フィルタ１３２は、例えば「サブ波長構造（ＳＷＳ）」により構成することができる。
【００５９】
また、撮像素子１２として、上の例では「モノクロのイメージセンサ」が想定されているが、これに限らず、カラーイメージセンサを用いることもできる。
【００６０】
撮像素子１２の、偏光フィルタ１３２が形成されている領域では、Ｐ、Ｓの各領域のＰ、Ｓの偏光画像が撮像される。
【００６１】
これらＰ、Ｓの偏光画像は後述するように「偏光情報を有する画像、及び、輝度画像」として各種情報検知に使われる。
【００６２】
以下には、偏光情報とその輝度画像への重畳の基本を説明する。
【００６３】
物体表面の反射特性は、双方向反射分布関数(Bi-directional Reflectance Distribution Function  以下「ＢＲＤＦ」と表記する)により表現される。  
物体表面上の「ある点におけるＢＲＤＦ」は入射方向と反射方向の双方向に依存し、照明方向からの入射光の強さに対する、観測方向への反射光の強さの比として定義される。
【００６４】
「偏光現象」を記述する反射モデルは、種々提案されている。
【００６５】
以下では、鏡面反射成分として「Torrance Sparrowモデル」を用い、拡散反射成分として「Lambertモデル」を用いる。
【００６６】
図２は、物体ＯＢによる反射のモデルを示している。図２において「Ｎ」は物体ＯＢの反射位置における「外向き法線ベクトル」を表す。
【００６７】
「Ｌ」は、前記反射位置から光源へ向かうベクトルで「光源ベクトル」と呼ぶ。「Ｖ」は、前記反射位置から観察位置へ向かうベクトルで「視線方向ベクトル」と呼ぶ。
【００６８】
「Ｈ」は、光源ベクトル：Ｌと視線方向ベクトル：Ｖとの成す角を２等分する方向のベクトルで簡単に「２等分方向ベクトル」と呼ぶ。
【００６９】
前記の各ベクトル：Ｎ、Ｌ、Ｖ、Ｈは「同一平面」上に位置する。
【００７０】
この同一平面内で、角：ψ、θＬ、α、θｉ、及びθを、図の如くに定める。
【００７１】
物体ＯＢによる「Ｓ偏光ＢＲＤＦ：ρＳ(ψ，θ)」は、以下のように与えられる。  
ρＳ(ψ，θ)＝ｋＳＲＳ(θｉ)Ｄ＋ｋｄｃｏｓθＬ    （Ａ）
同様に、「Ｐ偏光ＢＲＤＦ：ρＰ(ψ，θ)」は、以下のように与えられる。  
ρＰ(ψ，θ)＝ｋＰＲＰ(θｉ)Ｄ＋ｋｄｃｏｓθＬ    （Ｂ）
式（Ａ）、（Ｂ）における右辺の第１項が鏡面反射モデル項(Torrance Sparrowモデル)、第２項が拡散反射モデル項(Lambertモデル)である。
【００７２】
これらの式（Ａ）、（Ｂ）において、「ｋＳ」はＳ偏光の鏡面反射係数、「ｋＰ」はＰ偏光の鏡面反射係数を表し、「ｋｄ」は拡散反射係数を表す。
【００７３】
また、「ＲＳ(θｉ)およびＲＰ(θｉ)」は、それぞれＳ偏光、Ｐ偏光に対する「フレネル反射率」であり、以下の式により与えられる。
【００７４】
ＲＳ(θｉ)  
＝{(ｎ１ｃｏｓθｉ−ｎ２ｃｏｓθｉ’)/(ｎ１ｃｏｓθｉ＋ｎ２ｃｏｓθｉ’)}２
ＲＰ(θｉ)  
＝{(ｎ１ｃｏｓθｉ’−ｎ２ｃｏｓθｉ)/(ｎ１ｃｏｓθｉ’＋ｎ２ｃｏｓθｉ)}２
ここに、ｎ１、ｎ２は、それぞれ空気および物体ＯＢの屈折率である。
【００７５】
また、角：θｉ’は、角：θｉおよび屈折率：ｎ１、ｎ２と以下の関係にある。
【００７６】
ｓｉｎθｉ’＝（ｎ１/ｎ２）ｓｉｎθｉ      。
【００７７】
従って、
θｉ’＝ａｒｃｓｉｎ｛（ｎ１/ｎ２）ｓｉｎθｉ｝      。
である。
【００７８】
上記フレネル反射率の項により、反射モデルの挙動として偏光依存性が反映される。
【００７９】
上記の式（Ａ）、（Ｂ）における「Ｄ」は、反射位置における微小面積の「法線分布項」である。
【００８０】
法線分布項：Ｄは、以下のように表される。
【００８１】
Ｄ＝ｅｘｐ(−α２/２ａ２)    
ここに、「α」は分布関数の中心座標値であり、図２における角度パラメータ：αに対応している。また、「ａ」は分布関数における標準偏差である。
【００８２】
なお、「ａ」は微小面積の「角度分布に関するパラメータ」である。法線分布項：Ｄは、正規分布を表すガウス分布となっている。
【００８３】
次に、輝度画像に重畳される偏光情報につき説明する。偏光情報には種々のものが考えられるが、以下には次の３種類の偏光情報を説明する。
【００８４】
これら３種類の偏光情報は「偏光度」、「差分偏光度」および「偏光比」である。
【００８５】
「偏光度（Degree of polarization）」は、偏光現象に関する周知のストークスパラメータ：Ｓ０、Ｓ１、Ｓ２、Ｓ３を用いて定義される量であり、以下において「ＤＯＰ」と略記する。
【００８６】
ＤＯＰは、ストークスパラメータ：Ｓ０〜Ｓ３を用いて、以下の式により定義される。
【００８７】
ＤＯＰ＝｛√（Ｓ１２＋Ｓ２２＋Ｓ３２）｝／Ｓ０          。
【００８８】
「差分偏光度（Ｓｕｂ−DOP）」は、ストークスパラメータ：Ｓ０、Ｓ１を用いて以下のように定義される量であり、以下「ＳＤＯＰ」と略記する。
【００８９】
ＳＤＯＰ＝Ｓ１/Ｓ０＝{Ｉ(０，φ)−Ｉ(９０，φ)}/{Ｉ(０，φ)＋Ｉ(９０，φ)}
ここに、Ｉ(０，φ)は、軸角度を０度としたときの「偏光フィルタを通した光強度」であり、Ｉ(９０，φ)は軸角度を９０度としたときの偏光フィルタを通した光強度である。
【００９０】
先に説明した「領域分割偏光フィルタ」の例では、Ｉ(０，φ)はＳ成分透過光を受光したピクセルの受光強度である。
【００９１】
また、Ｉ(９０，φ)はＰ成分透過光を受光したピクセルの受光強度である。
【００９２】
ストークスパラメータ：Ｓ２＝Ｓ３＝０の場合には、以下の関係がなりたつ。  
ＤＯＰ＝｜ＳＤＯＰ｜  
それで、この場合のＳＤＯＰも「偏光度」と呼ぶことにする。
【００９３】
「偏光比」は上記Ｉ(０，φ)とＩ(９０，φ)との比であり、以下のように定義される。
【００９４】
偏光比＝Ｉ(０，φ)／Ｉ(９０，φ)    
偏光比は、上記の如く「Ｉ(０，φ)とＩ(９０，φ)との比」であるので、上記のものに代えて、以下のように表示しても良い。
【００９５】
偏光比＝Ｉ(９０，φ)／Ｉ(０，φ)    
そこで、上記の如く定義される３種の偏光情報：ＤＯＰ、ＳＤＯＰ、偏光比の任意のものを輝度画像に重畳することにより、前述の出力画像ＩＭＯを得ることができる。
【００９６】
「輝度画像」は、以下のように求めることができる。
【００９７】
上に説明した実施の形態では撮像部１０における偏光フィルタ１３２は「領域分割偏光フィルタ」である。
【００９８】
即ち、偏光フィルタ１３２には、Ｐ偏光を透過させる偏光フィルタ素子と、Ｓ偏光を透過させる偏光フィルタ素子」の２次元的に配列されている。
【００９９】
そこで、撮像素子１２の撮像領域を２次元ｘ、ｙ座標で表し、位置：（ｘ、ｙ）のピクセルが受光したＳ、Ｐ偏光の強度をそれぞれ「ＩＳ(ｘ、ｙ)、ＩＰ(ｘ、ｙ)」とする。
【０１００】
これらの強度を用いると、輝度画像：Ｉbright（ｘ，ｙ）は、容易に理解されるように以下の式（Ｃ）で表すことができる。
【０１０１】
Ｉbright（ｘ，ｙ）＝｛ＩＳ(ｘ、ｙ)＋ＩＰ(ｘ、ｙ)｝／２          （Ｃ）
従って、「重畳の演算」を仮に記号：［ＳＰＩ］と表すと、輝度画像と偏光情報の重畳は、以下のように表すことができる。
【０１０２】
Ｉbright（ｘ，ｙ）［ＳＰＩ］（偏光情報）  
偏光情報としては、前述の「ＤＯＰ、ＳＤＯＰ、偏光比」の何れを用いても良い。  
重畳の演算は、種々のものが考えられるが、その中で簡単なものは以下の２種である。
【０１０３】
即ち、そのひとつは「線形和」により行う方法であり、次のように表される。
【０１０４】
Ｉbright（ｘ，ｙ）［ＳＰＩ］（偏光情報）  
＝Ｉbright（ｘ，ｙ）＋{Ｋ×（偏光情報）}  
他は「積演算」により行う方法であり、次のように表される。
【０１０５】
Ｉbright（ｘ，ｙ）［ＳＰＩ］（偏光情報）  
＝Ｉbright（ｘ，ｙ）×{Ｋ×（偏光情報）}  
なお、偏光情報は「各ピクセルの輝度の変化として輝度画像に重畳」される。
【０１０６】
従って、上の重畳の演算の各式の右辺において、加算もしくは掛け合わせられるピクセルは等しい座標（ｘ，ｙ）を持つ。
【０１０７】
上記の重畳の式において、右辺の「Ｋ」は、重畳の程度を表す定数であり、具体的な重畳の条件に応じて、適宜に設定可能である。
【０１０８】
図１に実施の形態を示した画像処理システムは以下の如く構成されている。
【０１０９】
即ち、偏光情報を有する画像ＩＭＰの偏光情報を、各ピクセルの輝度の変化として輝度画像に重畳する輝度偏光重畳部２０を有する。
【０１１０】
そして、輝度偏光重畳部２０により重畳された出力画像ＩＭＯを出力する機能を持つ。
【０１１１】
また、図１に示した画像処理システムは、輝度偏光重畳部２０により重畳処理を受ける偏光情報を有する画像ＩＭＰを撮像する撮像部１０を有する。
【０１１２】
輝度偏光重畳部２０による偏光情報と輝度画像の重畳は、これらの線形和として行うことも、これらの積として行うこともできる。
【０１１３】
重畳される偏光情報は、偏光度（ＤＯＰ）であることも差分偏光度（ＳＤＯＰ）であることも「偏光比」であることもできる。
【０１１４】
なお、輝度画像への重畳に先立って、偏光情報のノイズを除去するノイズリダクション手段を有することができる。
【０１１５】
上に説明した反射のモデルでは、反射光の偏光状態は、物体ＯＢの材質(屈折率、表面状態、内部散乱係数）、光源と物体の角度、物体と観測点の角度を変数として表せる。
【０１１６】
即ち、上記偏光状態は、以下の式（Ｄ）により表すことができる。
【０１１７】
偏光状態＝Ｆ（光源状態、材質、角度）                          （Ｄ）
Ｆは関数であることを表す。
【０１１８】
この式において、各変数は以下のとおりである。
【０１１９】
光源状態＝ψの角度分布  
材質＝ｋＳ、ｋＰ、ｋｄ、ｎ２等  
角度＝θ  
式（Ｄ）は、左辺の「偏光情報」と右辺の「光源材料、材質、角度」を関係付けるものである。
【０１２０】
従って、右辺の「光源状態・材質・角度」は、これらのうちの任意の２つが決まれば残りの１つが定まるという関係となっている。
【０１２１】
上に、図１に即しての説明では「光源状態は不変」であることを前提としている。
【０１２２】
従って「照明状態が不変である室内」での撮像により得られる偏光画像の重畳に対して、上記実施の形態は有効である。
【０１２３】
上に説明した反射モデルでは、物体ＯＢの表面での「正反射によるスペキュラ光」を表す項（Ｒｓ、Ｒｐの項）が偏光状態を特徴付ける重要な量となっている。
【０１２４】
観察対象である物体ＯＢに対して、撮像部１０と光源が同じ角度にあるような場合には、スペキュラ光は殆ど戻って来ず、その結果「偏光情報が得られない」ことが分かる。
【０１２５】
光源の状態をコントロールできない場合には、このような困難があるため、光源の条件を固定できない車載用途などへの応用を考えた場合には以下の如き考察が必要である。
【０１２６】
偏光状態は式（Ｄ）で示したような関係にあるため、照射光を投射しない車載カメラでは、光源状態に依存して「偏光画像の持つ偏光情報」が変化する。  
例えば「路面と白線など異なる材質のもの」を区別する場合にも、光源の状態によって、偏光情報（例えばＳＤＯＰ）は変化してしまう。
【０１２７】
また、偏光情報は、角度によっても変化するが「車両の定位置に撮像部を固定して、路面上の同じ角度のもの」を撮像する場合であれば、角度による偏光情報の変化は無視することができる。
【０１２８】
輝度画像に偏光情報を重畳した出力画像ＩＭＯを用いて「物体の認識」を行なう場合、物体を特徴付ける何らかの「特徴量」を用いて認識を行う必要がある。
【０１２９】
この場合、物体による偏光状態を単独で特徴量とする場合には、特徴量が「光源状態の影響」を受けてしまうことになる。
【０１３０】
このような場合には、光源状態によらない「偏光状態を活かした特徴量」を用いる必要がある。
【０１３１】
前述の式（Ａ）、（Ｂ）によれば、光源の高度（図２における、角：ψ、あるいは、角：θＬにより定まる。）により、Ｓ偏光とＰ偏光の反射強度の大きさは変化する。
【０１３２】
しかし、反射強度の大きさは常に、Ｐ偏光の方がＳ偏光よりも大きい。
【０１３３】
また、Ｓ偏光とＰ偏光の「反射強度の差」は、表面反射が大きい（即ち、内部散乱が小さい）ものほど大きい。
【０１３４】
説明中の車載用のものの場合における実使用状況では「順光の場合には撮像されるものの略全てが順光照明を受ける」と考えられる。
【０１３５】
また「逆光の場合には撮像されるものの略全てが逆光照明を受ける」と考えられる。
【０１３６】
この点を考慮すると、種々の物体が撮像された状態において、前述のＳＤＯＰ(差分偏光度)等の偏光情報は、平均としては「順光と逆光で値に偏りが生じる」と考えられる。
【０１３７】
このような事情を考慮すると、前記「特徴量」は以下の如き方針で選択するのが良いと考えられる。
【０１３８】
イ．順光と逆光など光源の状態の影響を「画面全体のＳＤＯＰなど偏光情報におけるオフセット」を除去することにより、大まかにキャンセルする。
【０１３９】
「オフセット」は、偏光情報における上記「順光と逆光で値に生じる偏り」である。
【０１４０】
ロ．順光状態、即ち、撮像部と物体のなす角度と、光源と物体のなす角度が近い場合にはそもそも「偏光情報が小さく」なる。
【０１４１】
従って、このような場合には「偏光情報が無い」とし、偏光情報を利用可能な場合にのみ、偏光情報を特徴量に付加するようにする。
【０１４２】
このようにすると、偏光情報を利用できる場合には、偏光情報の重畳により「通常の輝度画像よりも画像認識を良好に行う」ことができる。
【０１４３】
ハ．前述の式（Ａ）、（Ｂ）によれば、順光による撮像では、Ｉ(０，φ)はＩ（９０，φ）に等しく「ＳＤＯＰ＝０」と成るはずであるが、実際の実測結果では０にならない。
【０１４４】
また、反射物体の材質によってもＳＤＯＰに差がある。
【０１４５】
この点を鑑みて、順光時と逆光時で「ＳＤＯＰを特徴量に寄与させる係数」を調整できるようにする。  
また「順光か順光以外かの判断」には画面全体のＳＤＯＰ(偏光度)を使用する。
【０１４６】
ニ．通常の輝度情報を用いたアルゴリズムを使用できるように「輝度に近い特徴量」とする。
【０１４７】
即ち、大まかに言えば、偏光度として、絶対量ではなく「相対量のみ」を見る。
【０１４８】
そして、光源の状態によらず「物体の表面反射の大小（散乱の大小）という情報」を、使える状況に応じて輝度情報に付加した特徴量とする。
【０１４９】
ＳＤＯＰ(偏光度)は、光源の角度：ψによって大きく変化する。
【０１５０】
しかし、図２における角：θｉやθLについて、ある角度：θｉ1、θL1で見たときに材質ＡとＢでのＳＤＯＰの大小関係がＡ＞Ｂとなっている場合には、他の角度：θｉ2、θL2で見た場合にもＳＤＯＰの大小関係がＡ＞Ｂとなっている場合が多い。
【０１５１】
以下に「ある角度で見たときに材質Ａと材質ＢでのＳＤＯＰの大小関係がＡ＞Ｂとなっていた場合に、他の角度でもＡ＞Ｂとなっている条件」を説明する。
【０１５２】
材質を表すパラメータとしては、前述のｋｐ、ｋｓ、ｋｄ、ｎ２、ａ等が挙げられる。
【０１５３】
従って、これらのパラメータが変化した場合に、ＳＤＯＰの値の変化の向き（増加する向きか、減少する向きか）が、角度によらない条件を導出する。
【０１５４】
上述の如く、「ＳＤＯＰ」は以下のように表すことができる。
【０１５５】
ＳＤＯＰ＝Ｓ１/Ｓ０＝{Ｉ(０，φ)−Ｉ(９０，φ)}/{Ｉ(０，φ)＋Ｉ(９０，φ)}
この式を、前述の、ｎ１、ｎ２、θｉ、θｉ’、θＬ、ｋｓ、ｋｄ、α、ａを用いて表すと、以下のようになる。
【０１５６】
ＳＤＯＰ 
＝[ks{(n1cosθi-n2cosθｉ’)/(n1cosθi-n2cosθｉ’)}exp{(-α2)/2a2}+kdcosθL 
-ks{(n1cosθi-n2cosθｉ’)/(n1cosθi+n2cosθｉ’)}exp{(-α2)/2a2}-kdcosθL]
/[ks{(n1cosθi-n2cosθｉ’)/(n1cosθi-n2cosθｉ’)}exp{(-α2)/2a2}+kdcosθL 
+ks{(n1cosθi-n2cosθｉ’)/(n1cosθi+n2cosθｉ’)}exp{(-α2)/2a2}-kdcosθL]
（４−１）
なお、説明の簡単のため、「幾何減衰項」は無視している。
【０１５７】
次に、光線が「空気中から入射」するものとし、前述のフレネル反射率：
ＲＳ(θｉ)  
＝{(ｎ１ｃｏｓθｉ−ｎ２ｃｏｓθｉ’)/(ｎ１ｃｏｓθｉ＋ｎ２ｃｏｓθｉ’)}２
ＲＰ(θｉ)  
＝{(ｎ１ｃｏｓθｉ’−ｎ２ｃｏｓθｉ)/(ｎ１ｃｏｓθｉ’＋ｎ２ｃｏｓθｉ)}２
において、ｎ１＝１とし、このときのフレネル反射率をＲＳについて「ＲＳ(ｎ２)」とし、ＲＰについて「ＲＰ(ｎ２)」とする。
【０１５８】
すると、これらは以下の如くになる。
【０１５９】
ＲＳ(ｎ２)  
＝{(ｃｏｓθｉ−ｎ２ｃｏｓθｉ’)/(ｃｏｓθｉ＋ｎ２ｃｏｓθｉ’)}２
ＲＰ(ｎ２)  
＝{(ｃｏｓθｉ’−ｎ２ｃｏｓθｉ)/(ｃｏｓθｉ’＋ｎ２ｃｏｓθｉ)}２
これらＲＳ(ｎ２)、ＲＰ(ｎ２)を用いると、上記（４−１）式は、以下のようになる。
【０１６０】
ＳＤＯＰ 
＝[ks・exp{(-α2)/2a2}・{ＲＳ(ｎ２)-ＲＰ(ｎ２)} 
/[ks・exp{(-α2)/2a2}・{ＲＳ(ｎ２)+ＲＰ(ｎ２)}+2kdcosθL]  
（４−２）
この式（４−２）が、上に説明したモデルにおける「ＳＤＯＰの理論式」である。
【０１６１】
ここで「鏡面反射成分と拡散成分の比」を示すパラメータ：ｋ＝kｓ/kdを導入する。このパラメータ：ｋを用いると、式（４−２）は、以下のようになる。
【０１６２】
ＳＤＯＰ 
＝[k・exp{(-α2)/2a2}・{ＲＳ(ｎ２)-ＲＰ(ｎ２)} 
/[k・exp{(-α2)/2a2}・{ＲＳ(ｎ２)+ＲＰ(ｎ２)}+2cosθL]  
（４−３）
式（４−３）には、反射物体の材質に関連したパラメータとして、ｋ、ｎ2、ａが含まれている。これらのパラメータの変化によるＳＤＯＰの変化の様子を見る。
【０１６３】
この目的のために、先ず式（４−３）を、パラメータ：ｋにより偏微分する。
【０１６４】
なお、説明中のパラメータ：ｋは、後述の「偏光情報重畳係数：ｋ」とは異なるものであることを付記しておく。
【０１６５】
ここで、簡略化のために、以下の記号を導入する。
【０１６６】
ｆ1＝exp{(-α2)/2a2}・{ＲＳ(ｎ２)-ＲＰ(ｎ２)}
ｇ1＝2cosθL 
ｈ1＝exp{(-α2)/2a2}・{ＲＳ(ｎ２)+ＲＰ(ｎ２)}                    。
【０１６７】
これらを用いると、式（４−３）は、以下のように書ける。
【０１６８】
ＳＤＯＰ 
＝k・ｆ1/[k・h1+g1]  
従って、ＳＤＯＰのｋによる偏微分：
∂｛ＳＤＯＰ｝／∂ｋ
＝∂｛k・ｆ1/[k・ｈ1+ｇ1]｝／∂ｋ  
＝(h1/f1)[(g1/f1)/{(g1/f1)+k}2]
（４−４）
となる。
【０１６９】
角：θLは、−２/π≦θL≦２/πの範囲にあるから、上記ｆ1、ｇ1、ｈ1は何れも、θLの変動範囲内において、正の値のみをとり得る。
【０１７０】
従って、式（４−４）は、
∂｛ＳＤＯＰ｝／∂ｋ≧０
となる。
【０１７１】
次に、ＳＤＯＰをパラメータ：ａにより偏微分する。  
式の表現を簡単にするため、ここでも、以下の記号を導入する。
【０１７２】
ｆ2＝ｋ{ＲＳ(ｎ２)-ＲＰ(ｎ２)}
ｇ2＝ｋ{ＲＳ(ｎ２)+ＲＰ(ｎ２)}
ｈ2＝2cosθL                                      。
【０１７３】
そうすると、
∂（ＳＤＯＰ）/∂ａ＝
＝∂｛exp{(-α2)/2a2}/［exp{(-α2)/2a2}+h2］｝/∂ａ  
＝（ｆ2/ｇ2）[(h2/g2)α2exp{(-α2)/2a2}/｛ａ3{exp{(-α2)/2a2}+(h2/g2)}]
（４−５）
この場合にも、ｆ2、ｇ2、ｈ2は、正の値のみをとり得る。また、「ａ」は分布関数における標準偏差であるから、正である。
【０１７４】
従って、式（４−５）の右辺も常に正である。
【０１７５】
同様に、ＳＤＯＰをパラメータ：ａにより偏微分する。
【０１７６】
この場合にも、式の表現を簡単にするため、ここでも、以下の記号を導入する。
【０１７７】
ｆ3＝ｋ・exp{(-α2)/2a2}  
ｇ3＝2cosθL 
そうすると、
∂（ＳＤＯＰ）/∂ｎ2 
＝∂[{ｆ3{ＲＳ(ｎ２)-ＲＰ(ｎ２)}｝/{ｆ3{ＲＳ(ｎ２)+ＲＰ(ｎ２)}+g2}]/∂ｎ2
＝[{(g3/f3)+2ＲＰ(ｎ２)}{∂ＲＳ(ｎ２)/∂ｎ2}-{(g3/f3)+2ＲS(n２)}{∂ＲP(ｎ２)/∂ｎ2}]
/[ＲS(n２)+ＲP(ｎ２)+(g3/f3)]  
（４−６）
G3/f3＞＞2ＲＰ(ｎ２)で且つ、G3/f3＞＞2ＲＳ(ｎ２)の場合を考えると、式（４−６）の分子は、以下のようになる。
【０１７８】
[{(g3/f3)・∂ＲＳ(ｎ２)/∂ｎ2}-{(g3/f3)・∂ＲP(ｎ２)/∂ｎ2}]    
また、∂ＲＳ(ｎ２)/∂ｎ2と∂ＲP(ｎ２)/∂ｎ2との間には、
∂ＲＳ(ｎ２)/∂ｎ2＞∂ＲP(ｎ２)/∂ｎ2
の関係が成り立つと考えられる。
【０１７９】
従って、G3/f3＞＞2ＲＰ(ｎ２)で且つ、G3/f3＞＞2ＲＳ(ｎ２)の場合には、∂(ＳＤＯＰ)/∂ｎ2は常に正となる。
【０１８０】
ここで、
ｇ3/ｆ3＝2cosθL/ｋ・exp{(-α2)/2a2}＝2kdcosθL/ｋS・exp{(-α2)/2a2}
であり、分子は「拡散反射成分」、分母はスペキュラ成分（マイクロファセットによる分布も含む）を示している。
【０１８１】
また、ＲＰ(ｎ２)≦１、ＲＳ(ｎ２)≦１であることを考慮すると、スペキュラ成分に対して、拡散成分が一定量以上ある場合には、上記近似が成り立つ。
【０１８２】
即ち、∂（ＳＤＯＰ）/∂ｎ2≧０である。
【０１８３】
即ち、スペキュラ成分に対して、拡散成分が一定量以上ある場合、ＳＤＯＰは、パラメータ：ｋ、ａ、ｎ2の変化に対して、これらによる偏部分係数が正である。
【０１８４】
従って、パラメータ：ｋ、ａ、ｎ2の変化に対してＳＤＯＰの変化は、単調であり、角：θｉやθLに依らない。
【０１８５】
一般に「表面が鏡面以外の物体」では「スペキュラ成分に対して拡散成分が大き」く、この条件を満たしている物体が多い。
【０１８６】
従って、ある角度：θｉ1、θL1で見たときに材質ＡとＢでのＳＤＯＰの大小関係がＡ＞Ｂとなっている場合には、他の角度：θｉ2、θL2で見た場合にもＳＤＯＰの大小関係がＡ＞Ｂとなっている場合が多い。
【０１８７】
ＳＤＯＰは、撮像される物体の材質のｋｄと「ｋｄの大きさ」に大きく依存する。  
例えば、材質ＡのＳＤＯＰを基準として０にオフセットさせると、材質ＢのＳＤＯＰがプラス側となるかマイナス側となるかは光源の角度によらない場合が多い。  
この点を鑑みると、画面全体のＳＤＯＰのオフセットを除去することにより、光源の角度によらず「材質ごとの相対関係のみ」を取り出すことができる。
【０１８８】
また、前記式（Ａ）、（Ｂ）による反射モデル理論では、撮像状況が順光状態に近いほどＳＤＯＰは０に近づく。
【０１８９】
このため、偏光情報としてＳＤＯＰを用いると、光源の状態が順光状態に近づくにつれ、理論上はＳＤＯＰが小さくなって「偏光の特徴量への寄与」がなくなる。
【０１９０】
しかし、実際の実験結果では材質により、順光時にもＳＤＯＰの値にばらつきがある。
【０１９１】
順光時のＳＤＯＰの値のばらつきの大小関係は「逆光時の大小関係」と異なるので、順光時はそれを検出して、偏光情報を特徴量に寄与させる係数を変化させ得るようにする。
【０１９２】
また、「光源角度：ψに応じてＳＤＯＰが変化する傾向」は、撮像対象である物体が材質的に異なっていても、互いに似通っている。
【０１９３】
そこで、撮像画面全体が「同じ角度からの光源光」を受けていると仮定し、画面全体のＳＤＯＰの値を利用して、順光か逆光であるかを判断する。
【０１９４】
上記の方針を鑑み、画像認識に用いる上記「特徴量」を以下の如くに定める。
【０１９５】
図１に即して説明した偏光フィルタ１３を有する撮像部１０により得られる輝度画像：Ｉbright（ｘ，ｙ）は前述の式（Ｃ）で表される。
【０１９６】
この輝度画像：Ｉbright（ｘ，ｙ）の「Ｓ偏光輝度画像：ＩＳ(ｘ，ｙ)」、「Ｐ偏光輝度画像：ＩＰ(ｘ，ｙ)」は前述の通りである。
【０１９７】
まず、偏光情報を加味した特徴量(出力画像)：Ｉbright_por(ｘ，ｙ)を以下の「数１」の如く定める。
【０１９８】
【数１】
2015109625.tif 000003
【０１９９】
数１において「ＳＤＯＰ(ｘ、ｙ)」は、次式で定義される。
【０２００】
ＳＤＯＰ(ｘ，ｙ)  
＝{ＩＳ(ｘ、ｙ)−ＩＰ(ｘ、ｙ)}/{ＩＳ(ｘ、ｙ)＋ＩＰ(ｘ、ｙ)}        。
【０２０１】
図３に、この場合の情報処理を行う場合の輝度偏光重畳部２０の構成例を説明図として示す。  
なお、繁雑を避けるため、輝度偏光重畳部には図１におけると同じく符号２０を付してある。
【０２０２】
図示されない撮像部（図１における撮像部１０と同様のもので良い。）から得られる偏光画像ＩＭＰは、輝度偏光重畳部２０の分離部２１に入力する。
【０２０３】
分離部２１は、入力される偏光画像ＩＭＰを、輝度画像と偏光情報に分離する。
【０２０４】
輝度画像は前述した式（Ｃ）で表される画像情報であり、重畳部２３に入力する。
【０２０５】
一方、分離部２１により分離された偏光情報は、前述した「ＤＯＰ、ＳＤＯＰ、偏光比の何れか」であるが、ここでは「ＳＤＯＰ」であるとする。
【０２０６】
偏光情報である「ＳＤＯＰ」は、オフセット除去部２２に入力するとともに、順光逆光判断部２４に入力する。
【０２０７】
「順光逆光判断部２４」の機能については後述する。
【０２０８】
オフセット除去部２２は、入力される偏光情報（ＳＤＯＰ）に対して、上記「数１」の右辺第２項の「括弧内の第２項」の演算を行う。
【０２０９】
そして、その演算結果を、入力した偏光情報（ＳＤＯＰ）から減算する。
【０２１０】
数１の右辺の「括弧内の第２項」は、画像上の、Ｘ，Ｙで定まる「ある領域範囲」内における「ＳＤＯＰの平均」を与える。
【０２１１】
Ｘ，Ｙで定まる「領域範囲」は、その選び方に任意性がある。
【０２１２】
説明中の例では、前述の如く「光源の状態の影響を、画面全体を用いてキャンセル」することを考える。
【０２１３】
そして、Ｘ、Ｙで定まる画像領域は「画面全体から空（そら）の領域」を除いた領域とする。
【０２１４】
このような画像領域に対して上記の如く演算されるＳＤＯＰの平均が「オフセット」であり、このオフセットを減算する演算がオフセット除去部２２において実行される。
【０２１５】
このようにして「オフセットを除去された偏光情報」は、重畳部２３に入力して輝度画像と重畳される。なお、以下において「輝度画像」を「輝度情報」と言うこともある。
【０２１６】
この重畳は、数１の右辺に示すように、輝度画像：Ｉbright（ｘ，ｙ）に対して、オフセットを除去された「数１右辺の括弧内の量」の線形和を取ることにより行われる。
【０２１７】
このとき、数１右辺第２項の括弧の前にある係数：ｋが「括弧内の量」に掛け合わされて加算される。この係数：ｋを「偏光情報重畳係数」と称する。
【０２１８】
偏光情報重畳係数：ｋは、照明状態が「順光」であるか「順光以外」であるかに応じて、以下の数２、数３のように定められる。
【０２１９】
【数２】
2015109625.tif 000004
【０２２０】
【数３】
2015109625.tif 000005
【０２２１】
数２、数３の「ｋの値」を決定する演算は、「順光逆光判断手段」である順光逆光判断部２４において行われる。
【０２２２】
ここで、ｋ１とｋ２は「偏光情報重畳係数」である。  
「ＴＨ」は「閾値」であり、「順光状態を認識できる」ように設定される。
【０２２３】
前述の如く、式（Ａ）、（Ｂ）による反射モデル理論では、撮像状況が順光状態に近いほどＳＤＯＰは０に近づく。
【０２２４】
従って、前記「所定の画像領域内でのＳＤＯＰの平均値」であるオフセット量も、撮像
状況が順光状態に近いほど小さくなると考えられる。
【０２２５】
そこで、閾値：ＴＨとオフセット量の大小関係を判定し、オフセット量が閾値：ＴＨより小さいときは、光源の状態（撮像状況）が順光状態であると判断する。
【０２２６】
また、オフセット量が、閾値：ＴＨより大きいときは、光源の状態が逆光等の「順光状態でない」と判断する。
【０２２７】
即ち、順光逆光判断部２４は、前述の「オフセット」が、閾値：ＴＨより小さいときは、光源の状態が順光状態であると判断し、偏光情報重畳係数：ｋをｋ２に設定する。
【０２２８】
また、「オフセット」が、閾値：ＴＨより大きいときは、光源の状態が順光状態でないと判断し、偏光情報重畳係数：ｋをｋ１に設定する。
【０２２９】
なお、オフセットの算出における平均演算を行う「Ｘ，Ｙによる画像領域」としては、空（そら）の領域も含めた画面全面としても良い。
【０２３０】
しかし、空（そら）は「太陽の位置により偏光状態が異なる」ので、空の領域は除いた方が良い結果が得られる。
【０２３１】
なお、例えば道路の「路面上の白線」を検出する用途に利用する場合、順光以外の場合には白線の表面反射は路面よりも小さく、ＳＤＯＰは白線の方が小さくなる。  
従って、この場合には「偏光情報重畳係数：ｋ１を負とする」ことにより、白線とアスファルト（白線よりも輝度が低い）の輝度の差を「より際立たせる」ことが出来る。
【０２３２】
また、順光の場合には「白線とアスファルトのＳＤＯＰの関係」が反転するため、「偏光情報重畳係数：ｋ２は正の値とするか、０とする」ことが望ましい。  
ｋ２を０にした場合には「偏光情報の重畳が行なわれない」ことになる。
【０２３３】
上には、偏光情報としてＳＤＯＰを用いたが、前述のＤＯＰや偏光比を、上記数１〜数３における「ＳＤＯＰ」に代えて用いることができることはいうまでも無い。
【０２３４】
これらの偏光情報を得るのに「減算や除算」が用いられるため、ノイズが増幅されやすい。  
従って、得られた「ＳＤＯＰなどの偏光情報」をあらわす画像に、加重平均やメディアンフィルタまたは「εフィルタ」などのノイズリダクション処理を行うことが好ましい。
【０２３５】
また、例えば、取得した偏光画像に「飽和している領域」がある場合も考えられる。
【０２３６】
撮像素子の各ピクセルが出力する出力値は、受光する光量が一定量を超えると、受光する光量が増大しても、出力値は一定となって変化しない。
【０２３７】
従って、ＩＳ(ｘ、ｙ)やＩＰ(ｘ、ｙ)が「表現できる最大値以上や最小値以下」となる場合には、偏光情報を演算により正常に得ることができない。
【０２３８】
このような場合には「該当領域に関する重畳を行わない」ように、偏光情報重畳係数：ｋの値を０にするか、もしくは演算不能として「一定の定数を出力」するのが好ましい。
【０２３９】
なお、図３に示す実施の形態において、順光逆光判断部２４を省略し、数１の右辺の括弧に乗ぜられる偏光情報重畳係数：ｋを固定することもできる。
【０２４０】
この場合の実施の形態（画像処理システム）は、偏光情報を有する画像ＩＭＰの偏光情報を、各ピクセルの輝度の変化として輝度画像に重畳する輝度偏光重畳部２０を有する。
【０２４１】
そして、輝度偏光重畳部２０により重畳された画像を出力画像ＩＭＯとして出力する機能を持つ。
【０２４２】
輝度偏光重畳部２０は、偏光情報を有する画像ＩＭＰの偏光情報の、画像上の所定範囲における平均値をオフセット量として、偏光情報から減算する。
【０２４３】
これによりオフセットが除去された出力画像ＩＭＯが得られる。
【０２４４】
画像処理システムのこのような実施の形態によれば、順光と逆光などの光源の状態の影響を「画面全体の偏光情報のオフセットの除去」により、大まかにキャンセルできる。
【０２４５】
従って、光源依存性を有効に低減させて偏光情報を利用できる。
【０２４６】
上に説明した実施の形態では、オフセット除去部２２は、偏光情報を有する画像の差分偏光度（ＳＤＯＰ）を偏光情報として、数１〜数３の演算に従う画像処理を行う。
【０２４７】
しかし上にも述べたように、オフセット量を演算する偏光情報としては、差分偏光度に限らず偏光度（ＤＯＰ）や「偏光比」を用いることもできる。
【０２４８】
また、オフセット除去部２２は、偏光情報を有する画像の偏光情報の平均値を演算する「所定範囲」を、画像の全面から空（そら）の領域を除いた領域としている。
【０２４９】
しかしこれに限らず、上記「所定範囲」として「偏光情報を有する画像の全面」を用いても良い。
【０２５０】
上に実施の形態を説明した画像処理システムはまた、「順光逆光判断手段」として順光逆光判断部２４を有する。
【０２５１】
順光逆光判断部２４は、偏光情報を有する画像の偏光情報を用いて、撮像状態が順光状態であるか逆光状態であるかを判断している。
【０２５２】
そして、上に説明した実施の形態では、順光逆光判断部２４は差分偏光度（ＳＤＯＰ）の平均値を用いて、撮像状態が順光状態であるか逆光状態であるかを判断している。
【０２５３】
しかしこれに限らず、偏光度（ＤＯＰ）の平均値や偏光比の平均値を用いて、撮像状態が順光状態であるか逆光状態であるかを判断してもよい。
【０２５４】
また、順光逆光判断部２４は、撮影状態を順光状態と判断したとき、輝度画像への偏光情報の重畳量（ｋ）を変化させる。
【０２５５】
この場合、順光逆光判断部２４が、撮影状態を順光状態と判断したとき、輝度画像への偏光情報の重畳量を０とすることもできる。
【０２５６】
また、偏光画像に、ノイズリダクション処理を施した結果により、上記各演算を行うことが好ましいことは先に述べたとおりである。
【０２５７】
以下に具体例を挙げる。
【０２５８】
「具体例１」
図４は、輝度画像：Ｉbright(ｘ，ｙ)と、輝度偏光重畳画像：Ｉbright_por(ｘ，ｙ)を示す。
【０２５９】
これらは、数１を用いて演算されたものであり、偏光情報重畳係数：ｋを演算する数２、数３における閾値：ＴＨは「ＴＨ＝−∞」としている。
【０２６０】
数２、数３により演算される係数：ｋ１、ｋ２は、それぞれ、ｋ１＝−３００、ｋ２＝０としている。
【０２６１】
即ち、閾値：ＴＨが−∞と設定されたことにより、偏光情報（ＳＤＯＰ）の如何なる平均値も閾値を超えるものであり、閾値：ＴＨよりも小さくなる平均値は存在しない。
【０２６２】
従って、ｋ２＝０である。
【０２６３】
換言すれば、具体例１では、撮像状態が「順光状態であるか順光以外の状態であるか」の判断は行われない。
【０２６４】
図４（ｂ）は、このときの輝度画像：Ｉbright(ｘ，ｙ)を示す。また、同図（ａ）は、輝度偏光重畳画像：Ｉbright_por(ｘ，ｙ)を示す。
【０２６５】
輝度偏光重畳画像：Ｉbright_por(ｘ，ｙ)の演算では「順光とそれ以外の判別」は行わず、係数：ｋ１（順光以外の場合）、Ｋ２（順光の場合）は、それぞれ一定である。
【０２６６】
上記の如く、ｋ１＝−３００、ｋ２＝０であるので、数１における偏光情報重畳係数：ｋをｋ１として、常に同じ量の偏光度（ＳＤＯＰ）が輝度画像に重畳される。
【０２６７】
図４（ｂ）の輝度画像：Ｉbright(ｘ，ｙ)では路面上の「白線」は見えていない。
【０２６８】
しかし、同図（ａ）に示す輝度偏光重畳画像：Ｉbright_por(ｘ，ｙ)では「白線」がはっきりと見えており、白線の画像認識可能な画像となっている。
【０２６９】
また、路肩部の「アスファルトと雪の境界部」もはっきりと取得できている。
【０２７０】
図４（ａ）のように、輝度画像に偏光情報を重畳することにより、路端のコントラスト、陰影部のコントラストが向上し、路面湿潤による不要反射が除去されている。
【０２７１】
また「肉眼では見えないブラックアイスのような不可視対象」も検出されている。
【０２７２】
従って、通常の撮像装置と比較して、より過酷な状況でも対応が可能である。  
出力される輝度偏光重畳画像に対する「白線認識などの後段のアルゴリズム」は、従来の「輝度画像に対するアルゴリズム」を変更することなく使用出来る。
【０２７３】
上の例では「偏光情報と輝度画像の線形和（数１）」として輝度偏光重畳画像を生成したが、「偏光情報と輝度画像との積」として輝度偏光重畳画像を生成する方法もある。
【０２７４】
この場合の１例として、例えば、偏光情報として前述のＳＤＯＰ(ｘ，ｙ)を用いるとすれば、重畳の演算は、次の数４のようになる。
【０２７５】
そして、偏光を加味した特徴量(画像)である偏光輝度重畳画像：Ｉbright-por(ｘ，ｙ)を得る。
【０２７６】
【数４】
2015109625.tif 000006
【０２７７】
即ち、数４の右辺の鍵括弧内の量が「偏光情報」として、輝度偏光重畳係数：ｋを用いて、輝度画像：Ｉbright(ｘ，ｙ)に重畳される。
【０２７８】
演算はピクセルごとに行われ、ＳＤＯＰ(ｘ、ｙ)とＩbright(ｘ，ｙ)の「同じ座標のピクセル」で積演算が実効される。
【０２７９】
輝度偏光重畳係数：ｋは、以下のように、Ｘ、Ｙによる画像領域内の「偏光比の平均値に対して、順光時と順光時以外の時を区別できる閾値：ＴＨ」を設定する。
【０２８０】
そして、この閾値を用いて、以下の数５、数６に従ってｋを設定する。
【０２８１】
【数５】
2015109625.tif 000007
【０２８２】
【数６】
2015109625.tif 000008
【０２８３】
この例では、ＳＤＯＰではなく「偏光比の平均値」の大小により順光か「順光以外(逆光の場合等)」か、を判断している。
【０２８４】
撮像状況はまた、昼間と夜間で「光源の状態」が異なる。
【０２８５】
即ち、昼間は太陽光線による照明状態であり、夜間は車のヘッドライトや街灯による照明となっている。  
この点を考慮すると、輝度偏光重畳係数：ｋ１、ｋ２の値は「昼間と夜間で変更する」ことが好ましい。
【０２８６】
昼間と夜間の判別は、ヘッドライトのスイッチのオン・オフの情報や、自動露光調整を行っている場合には、露光量から周囲の明るさを検知して行うことが出来る。  
加えて「直射日光下か曇りか」など天候状態によっても、ｋ１、ｋ２の値を切り替えると、より良い効果が得られる。  
直射日光下では対象物の照度が高いため、自動露光調整を行っている場合には、その露光量から検知して「直射日光下であるか曇りでの照明であるか」を判断出来る。
【０２８７】
図３、図４に即して説明した実施の形態では、輝度偏光重畳部２０により重畳処理を受ける偏光情報を有する画像を撮像する撮像部（図３に図示されず）を有する。
【０２８８】
そして、この撮像部の撮像における「光源の状況を推定して判断」する光源状況判断手段２４を有する。
【０２８９】
輝度偏光重畳部２０は、光源情報判断手段２４の出力に応じて、輝度画像への偏光情報の重畳方法を変化させる。
【０２９０】
また、撮像部の撮像時期が昼間であるか夜間であるかを推定して判断する「昼夜判断手段」を有することができる。
【０２９１】
輝度偏光重畳部は、昼夜判断手段の出力に応じて、輝度画像への偏光情報の重畳方法を変化させることができる。
【０２９２】
昼夜判断手段は「ヘッドライトのスイッチのオン・オフの情報」を取得する手段や、自動露光調整を行う場合には、露光量から周囲の明るさを検知する手段を用い得る。  
また、直射日光下か曇りかなど天候によっても、輝度偏光重畳係数：ｋ１、ｋ２の値を切り替えて重畳方法を変化させることができる。
【０２９３】
この場合の「光源情報判断手段」としては、自動露光調整における露光量から検知して判断する手段とすることができる。
【０２９４】
また、図３、図４に示す実施の形態の画像処理システムは、「偏光情報オフセット除去手段」としてオフセット除去部２２を有する。
【０２９５】
オフセットの除去は、偏光情報を有する画像の「所定範囲にける偏光情報の平均値」を偏光情報から減算してオフセットを除去する。
【０２９６】
そして「オフセットを除去された偏光情報」が輝度画像に重畳される。
【０２９７】
偏光情報オフセット除去手段は、偏光情報を有する画像の偏光度または差分偏光度の画像上の所定範囲の平均値を、偏光度または差分偏光度から除算するものである。
【０２９８】
「偏光情報の平均値を求める所定範囲」は、偏光情報を有する画像の全面であることも、「偏光情報を有する画像の全面から、空の領域を除いた領域」であることもできる。
【０２９９】
また、偏光情報を有する画像の撮像が行われた状態が順光状態か逆光状態であるかを、撮像された画像の情報により推定し判断する順光逆光判断手段を有することができる。
【０３００】
この「順光逆光判断手段」は、撮像された偏光情報を有する画像の偏光度または差分偏光度により、撮像状態を判断することができる(前記数２、数３)。
【０３０１】
順光逆光判断手段はまた、偏光情報を有する画像の「画面全体の偏光比の平均値」により、撮像が順光状態で行われたか逆光状態で行われたかを判断できる(数５、数６)。
【０３０２】
さらに、上述の如く、順光逆光判断手段が、順光状態と判断したとき、輝度画像への偏光情報の重畳量を０とすることが好ましい。
【０３０３】
順光逆光判断手段が、順光状態と判断したとき、輝度画像への偏光情報の重畳量を変化させることができる。
【０３０４】
また、以下の実施形態のように、輝度偏光重畳部は、偏光情報を有する画像の各領域の値に基づいて、輝度画像に基づく値を出力するか、固定値を出力するか判断できる。
【０３０５】
この実施形態では、上に説明したのとは異なるアルゴリズムで、偏光情報の輝度画像への重畳を行う。
【０３０６】
各種の物体認識処理を行う際に「認識物体以外の不必要な物体の除去」を行うことが出来ると誤認識を減らすことが出来る。
【０３０７】
このようにすれば、物体認識処理の性能向上や「処理量の低減」が可能である。
【０３０８】
この場合の「輝度偏光重畳のアルゴリズム」は、「ＳＤＯＰなど偏光情報の値の範囲が、所定の範囲のみの輝度画像を出力」するものになる。
【０３０９】
偏光情報としてＳＤＯＰ(ｘ，ｙ)を用いて、この方法を行うための式を以下に示す。
【０３１０】
Ｉbright_por(ｘ、ｙ)＝ｋ・Ｉbright(ｘ，ｙ)             （Ｅ）
ｋ＝ｋ１  ｉｆ  ＳＤＯＰ(ｘ，ｙ)≧ＴＨ                （Ｆ）
ｋ＝ｋ２  ｉｆ  ＳＤＯＰ(ｘ，ｙ)＜ＴＨ                （Ｇ）
式（Ｅ）〜（Ｇ）のＳＤＯＰ(ｘ，ｙ)、Ｉbright_por(ｘ、ｙ)、Ｉbright(ｘ，ｙ)は上に定義された通りである。
【０３１１】
閾値：ＴＨを「偏光情報を用いて検出物体以外の物体を出力画像から除外」するように設定し、ＳＤＯＰ(ｘ，ｙ)とＴＨの大小関係により偏光情報重畳係数：ｋを切り替える。
【０３１２】
なお、光源の状態の影響を除去するため、予め「偏光情報オフセット除去手段」を用いて、先に数１に即して説明した「オフセットの減算」を行った結果を用いても良い。
【０３１３】
このようにオフセットの減算を行った後の偏光情報を用いて、上記式（Ｅ）〜（Ｇ）の演算を行うと「光源の角度の影響」を受けにくくなる。
【０３１４】
従って、たとえば屋外での撮像の際に「太陽の位置の影響」を低減出来る。
【０３１５】
式（Ｅ）〜（Ｇ）の演算では、偏光情報としてＳＤＯＰを用いたが、もちろん前述したＤＯＰや偏光比を用いても良い。
【０３１６】
また、ＳＤＯＰなど「偏光情報をあらわす画像」に加重平均やメディアンフィルタやεフィルタなどのノイズリダクション処理をかけた結果で上記演算を行うのが好ましい。
【０３１７】
また「取得した画像に飽和している領域」がある場合、当該領域に関して「重畳をやめる」べくｋの値を０にするか、演算不能として一定の定数を出力することが好ましい。
【０３１８】
以下に、直上に説明した実施形態の具体的な例を示す。  
「具体例２」
具体例２は、上の演算式（Ｅ）〜（Ｇ）で、ｋ１＝０、ｋ２＝１、ＴＨ＝０．１５としたときのものである。
【０３１９】
即ち、この例では、ＳＤＯＰが閾値：ＴＨよりも小さくなるピクセルでは「輝度画像そのもの」を出力する。  
ＳＤＯＰが閾値：ＴＨよりも大きくなるピクセルでは「偏光情報の重畳」を行わない。
【０３２０】
この例は、道路上における「車両数をカウントする場合」を想定したものである。
【０３２１】
得られた輝度画像と、輝度偏光重畳画像を、図５に示す。
【０３２２】
図５（ａ）は輝度偏光重畳画像、（ｂ）は輝度画像である。
【０３２３】
図５（ｂ）に示す輝度画像では、車両のライトと、路面によるその反射光が「車両検出の邪魔」になる。
【０３２４】
これら「車両のライトや、路面によるその反射光」は、逆光であり、これらの撮像対象に対する偏光画像では「ＳＤＯＰ」が大きい。
【０３２５】
従って、ＳＤＯＰが閾値：ＴＨを超えるほどに大きいピクセル部分では、輝度画像の出力を０とする。
【０３２６】
また、ＳＤＯＰが閾値：ＴＨより小さいピクセルの場合は、ｋ２＝１として「輝度画像そのもの」を出力する。
【０３２７】
このように「ＳＤＯＰが一定の範囲（ＴＨ＜０．１５）のピクセル」で、輝度画像に輝度偏光重畳係数：ｋ２（＝１）を積演算する。
【０３２８】
即ち、閾値：ＴＨを適切な定数に設定することにより「偏光情報を用いて検出物体以外の物体」を出力画像から除外することが出来る。  
輝度偏光重畳画像である図５（ａ）では、輝度画像におけるライトや路面によるその反射光がＳＰＯＤを用いる演算により良好に除去されている。
【０３２９】
このように「ＳＤＯＰが一定の範囲（ＴＨ＜０．１５）のみ」で、輝度画像に対する演算（式Ｅ）を行えば、「認識アルゴリズムにかける前」に不要な検出物体を排除できる。
【０３３０】
これにより「認識物体の誤認識」を減らすことが出来る。
【０３３１】
別の具体例を示す。
【０３３２】
「具体例３」
具体例３は、演算式（Ｅ）〜（Ｇ）における演算パラメータとして、ｋ１＝０、ｋ２＝５、ＴＨ＝０．０５とした場合であり、この場合の画像を図６に示す。
【０３３３】
即ち、この例では、閾値：ＴＨを０．０５と低く設定し、閾値：ＴＨを越えるＳＤＯＰのピクセルに対しては、輝度情報に乗算する輝度偏光重畳係数：ｋ１を０とする。
【０３３４】
また、閾値：ＴＨを越えないＳＤＯＰのピクセルに対しては、輝度情報に乗算する輝度偏光重畳係数：ｋ２を５と大きく設定する。
【０３３５】
図６（ａ）は輝度偏光重畳画像、（ｂ）は輝度画像である。
【０３３６】
図６（ｂ）の輝度画像では「背景も含めて検出対象の車両以外に多数のもの」が写っている。  
また、車両の塗装が白か黒に拘わらず「検出対称としては同じ」であるのに、輝度画像では、像として大きく異なっている。
【０３３７】
即ち、輝度画像における手前側の「黒っぽい色の車両」は、輝度が小さく「物体認識が難しく」なりやすい。
【０３３８】
このような輝度画像の「輝度」をそのまま検出用の特徴量として用いると、検出の精度を上げることが困難である。
【０３３９】
図６（ｂ）の輝度画像を見れば明らかなように、撮像状況は逆光でない。従って、偏光情報であるＳＤＯＰは、車両の塗装の色に拘わらず小さい。
【０３４０】
従って、このようにＳＤＯＰが小さくなるピクセルでは、輝度画像の情報を輝度偏光重畳係数：ｋ２（＝５）で強調することにより「輝度の大きい画像」として表現できる。
【０３４１】
図６（ａ）に示す「輝度偏光重畳画像」では、ＳＤＯＰを用いる輝度偏光重畳により、「車両以外の多くの部分」を削除できている。  
そして、黒い車両と白い車両は共に「同じように白く写って」おり、輝度偏光重畳画像における輝度値をそのまま「検出用の特徴量」として使用出来る。
【０３４２】
また、車両の検出に用いられる際に、輝度偏光重畳部は、車両からの反射光以外の光が除去されるように、輝度画像に基づく値を出力するか、固定値を出力するか判断できる。
【０３４３】
直上に説明した例では、輝度偏光重畳部は、偏光情報を有する画像の各領域の値に基き、輝度画像に基く値を出力するか、固定値を出力するかを判断(式（Ｆ）、（Ｇ）)する。
【０３４４】
また、各領域の差分偏光度(ＳＤＯＰ)の値に基づいて、輝度画像に基づく値を出力するか、固定値を出力するかを判断する。
【０３４５】
しかしこれに限らず、偏光度（ＤＯＰ）や偏光比に基づいて、輝度画像に基く値を出力するか、固定値を出力するか判断することもできる。
【０３４６】
具体例３のように、輝度偏光重畳部が「ライトの照り返し光が除去されるように輝度画像に基く値」を出力するか、固定値を出力するか判断できる。
【０３４７】
また、車両の検出に用いられる際に、輝度偏光重畳部は、車両からの反射光以外の光が除去されるように、輝度画像に基く輝度を出力するか、固定値を出力するか判断できる。
【０３４８】
上に説明した実施の各形態では「輝度画像における飽和した領域を判断する飽和領域判断手段」を有することができる。
【０３４９】
この場合、輝度偏光重畳部は、飽和している領域に関しては重畳方法を変更することができ、飽和している領域に関しては偏光情報の重畳量を０とすることができる。
【０３５０】
あるいは、輝度偏光重畳部は、飽和している領域に関しては「出力画像の該当領域に対して定数を出力する」ことができる。
【０３５１】
図１に即して説明した撮像部１０は、撮像素子１２上に領域分割された偏光フィルタ１３２を有する。
【０３５２】
従って、上記実施の各形態により「偏光情報を有する画像に対し、偏光情報を各ピクセルの輝度の変化として輝度画像に重畳し、重畳された画像を出力画像として出力する画像処理方法」を実施できる。
【０３５３】
上には、撮像素子への入射光が撮像素子の撮影可能範囲を超える場合（ピクセルの出力値が飽和する場合）には、輝度画像に偏光情報の重畳しない場合を説明した。
【０３５４】
しかし、偏光画像から得られる輝度画像には、飽和した領域のみならず「飽和してはいないが、飽和に近い領域」も存在する。
【０３５５】
このような「飽和に近い領域」の輝度画像に対して、偏光情報を重畳してしまうと、適正な輝度偏光重畳画像が得られなくなることが考えられる。
【０３５６】
このような状況に対処するには、上記「飽和してはいないが、飽和に近い領域」に対する以下の対応が有効である。
【０３５７】
即ち、飽和に近い領域とともに、その領域が「飽和に近い度合い」を判断する。
【０３５８】
そして、飽和に近い領域では「飽和に近い度合いに応じて、輝度画像と偏光情報の重畳における割合を、飽和に近いほど輝度画像の割合が大きくなるように変化」させる。
【０３５９】
前述の如く、輝度画像：Ｉbright（ｘ，ｙ）は、次式（Ｃ）によって与えられる。
【０３６０】
Ｉbright（ｘ，ｙ）＝｛ＩＳ(ｘ、ｙ)＋ＩＰ(ｘ、ｙ)｝／２          （Ｃ）
即ち、輝度画像：Ｉbright（ｘ，ｙ）は、位置（ｘ、ｙ）で特定される画素の輝度で特定される。
【０３６１】
そこで、個々の画素ごとに、Ｉbright（ｘ，ｙ）が、飽和しているか、飽和に近い状態であるかを判断し、さらに、飽和に近い度合いを判断する。
【０３６２】
説明の簡単のため、位置（ｘ、ｙ）における画素の輝度：Ｉbright（ｘ，ｙ）が飽和しているときの値を「１」とし、Ｉbright（ｘ，ｙ）が０と１の間で変化するものとする。
【０３６３】
そして「Ｉbright（ｘ，ｙ）≧０．９５」の領域を「飽和に極く近い領域」とする。  
また「Ｉbright（ｘ，ｙ）≧０．８５」の領域を「飽和に近い領域」とする。  
さらに「Ｉbright（ｘ，ｙ）＜０．８５」の領域を「飽和していない領域」とする。
【０３６４】
図７に従って説明すると、スタート後、先ずステップ：Ｓ１で「その画素」即ち、（ｘ，ｙ）の位置の画素」が、飽和しているか否かが判断される。
【０３６５】
「Ｉbright（ｘ，ｙ）＝１」であれば、その画素は飽和している。
【０３６６】
もし飽和しているならば、ステップＳ３に進み、この場合「その画素においては偏光情報の重畳」は行わない。
【０３６７】
飽和していない場合には、ステップ：Ｓ２に進み、「その画素」が「飽和に極く近い領域が否か」が判断される。
【０３６８】
「１＞Ｉbright（ｘ，ｙ）≧０．９５」であれば、「飽和に極く近い領域」であり、この場合にも、ステップ３に進み、この領域（画素）でも「偏光情報の重畳」は行わない。
【０３６９】
「Ｉbright（ｘ，ｙ）＜０．９５」であれば、ステップ４に進み、その画素が「飽和に近い領域であるか否か」が判断される。
【０３７０】
「Ｉbright（ｘ，ｙ）＜０．８５」であれば、その画素は「飽和に近い領域でない」と判断され、ステップＳ５に進み、「偏光情報の重畳」を行う。
【０３７１】
「０．９５＞Ｉbright（ｘ，ｙ）≧０．８５」であれば、その画素は「飽和に近い領域である」と判断される。
【０３７２】
この場合は、ステップＳ６に進み、偏光情報の重畳の割合を変化させる。
【０３７３】
即ち、Ｉbright（ｘ，ｙ）の値が、上限の０．９５に近づくほど、輝度画像の割合が大きくなるように、重畳の割合を変化させる。
【０３７４】
「重畳の割合」を、演算式により変化させる場合の１例を説明する。
【０３７５】
先ず、その画素が「飽和に近い領域」でないと判断された場合には、上記の如く、偏光情報の重畳を行なう。
【０３７６】
即ち、この場合の当該画素における輝度偏光画像としての出力：Ｏｕｔｐｕｔ(ｘ、ｙ)は、数１の右辺で与えられる「Ｉbright_por(ｘ、ｙ)」である。
【０３７７】
また、その画素が「飽和している領域」もしくは「飽和に極近い領域」である場合には、上記の如く「偏光情報の重畳」は行なわない。
【０３７８】
従って、この場合の当該画素における出力：Ｏｕｔｐｕｔ(ｘ、ｙ)は「Ｉbright（ｘ，ｙ）」である。
【０３７９】
その画素が「飽和に近い領域」である場合には、Ｉbright（ｘ，ｙ）の値が、上限の０．９５に近づくほど、輝度画像の割合が大きくなるように、重畳の割合を変化させる。
【０３８０】
これを行うのに、例えば、次の関数：ratio(ｘ，ｙ)を定義する。
【０３８１】
Ratio(ｘ，ｙ)＝{Ｉbright(ｘ，ｙ)−ａ}／ｂ    。
【０３８２】
そして、出力：Ｏｕｔｐｕｔ(ｘ、ｙ)は、以下の如くに演算して決定する。
【０３８３】
Ｏｕｔｐｕｔ(ｘ、ｙ)
＝ratio(ｘ，ｙ)・Ｉbright(ｘ，ｙ)＋{１−ratio(ｘ，ｙ）}・Ｉbright_por(ｘ、ｙ)
上記のａとｂは「画素の輝度により飽和を定義する定数」である。
【０３８４】
「ａ、ｂ」が大きいほど、飽和の程度は小さく、「ａ、ｂ」が小さいほど飽和の程度は大きい。
【０３８５】
「０．９５＞Ｉbright（ｘ，ｙ）≧０．８５」の範囲内にあるＩbright（ｘ，ｙ）に応じて「ａ、ｂ」を設定して、上記の如く「重畳の割合」を変化させる。
【０３８６】
上記のように画素ごとに「飽和の程度（飽和しているか、飽和に極近いか、飽和に近いか）」を判断する機能は、飽和領域判断手段により判断させることができる。
【０３８７】
この機能は、図１における輝度偏光重畳部２０に持たせることができる。
【０３８８】
先には、数１における偏光情報重畳係数：ｋを、順光時と逆光時で切り替えるなど、環境に応じて変化させる場合を説明した。  
しかし、環境以外にも「被写体の種類に応じて偏光情報重畳係数：ｋを変更する」ことが好ましい場合もある。
【０３８９】
例えば、車載カメラ等では、路面や信号機の検知が重要である。
【０３９０】
路面のように「白線など偏光依存性がある物体」は、多少ノイズが増加しても偏光情報重畳係数：ｋを大きくしたい。
【０３９１】
反面、信号機のように偏光依存性がない物体に関しては、なるべくノイズを減らしたいため、偏光情報重畳係数：ｋを小さくしたい。
【０３９２】
その手段の１つとして「各被写体が典型的に存在する画面上の位置」に応じて偏光情報重畳係数：ｋを変更することが考えられる。  
上述の、路面と信号機の場合を例に取ると、撮像部により撮像される画像において、路面は「画像の下部」にあることが一般である。
【０３９３】
従って、例えば、路面が存在する「画像下部」では偏光情報重畳係数：ｋを大きく設定し、それ以外の画面上部では、偏光情報重畳係数：ｋを小さく設定する。
【０３９４】
このようにすると、必要な路面領域では偏光情報を有効に活用でき、偏光情報が意味を持たない他の領域では、偏光情報を用いず輝度画像をそのまま活かすようにできる。
【０３９５】
このようにすることにより「ノイズの少ない画像」を取得することが出来る。
【０３９６】
この例では、撮像画像の上部と下部で偏向情報重畳係数：ｋを変更する場合を例示したが、勿論、偏向情報重畳係数：ｋを変更する領域は上記の場合に限られない。
【０３９７】
また、画像上で「偏光情報重畳係数：ｋを連続的に変更する」ことにより、変更の境目の不連続点の影響を避けることができる。  
図８は、画像処理システム１００を車両５００に搭載し、車両制御を行う実施の１形態を示す図である。
【０３９８】
画像処理システム１００は、上に説明した「撮像部・輝度偏光重畳部・画像処理／画像認識部」を有しており、上に説明した如くして、画像認識を行う。
【０３９９】
画像処理システム１００の撮像部は、車両５００の定位置に設けられて、道路状況の撮像を行う。
【０４００】
撮像部により撮像された輝度情報は、前述の如くして偏光情報の重畳を行われ、その結果に基づき画像処理／画像認識部が所定の認識作業を行う。
【０４０１】
画像処理／画像認識部による認識結果は、機器制御手段としての車両制御部２００へ送出される。  
車両制御部２００は、入力された認識結果に基づいて、車両５００のブレーキやステアリング操作の補助などの車両制御を行う。
【０４０２】
なお、「画像処理／画像認識部」は、画像処理システムに組み込んでも良いし、画像処理システムとは別体としてもよい。
【０４０３】
「画像処理／画像認識部」を画像処理システムと別体とする場合、画像処理・画像認識部は、画像処理システムからの信号ＩＭＯをうけて必要な画像処理／画像認識を行い、その結果を車両制御部２００に向けて出力するようにすればよい。
【０４０４】
図８は、撮像処理システムを車両制御に利用する場合を示しているが、撮像処理システムの利用は、これに限らず、車両以外の移動体（移動ロボット、船舶、航空機等）やＦＡ(ファクトリオートメーション)向けのロボット、農業システム等にも適用可能である。
【０４０５】
図９は、画像処理システムを実現するハードウェアであるコンピュータシステムの１例を示すブロック図である。
【０４０６】
コンピュータシステム１０００は、バス１１０と、ＣＰＵ１２０、ＲＯＭ１３０、ＲＡＭ１４０、ＨＤＤ（ハードディスク）１５０、及びＩ／Ｏ１６０を備えている。
【０４０７】
ＣＰＵ１２０、ＲＯＭ１３０、ＲＡＭ１４０、ＨＤＤ１５０、Ｉ／Ｏ１６０は何れもバス１１０に接続され、バス１１０を通じて情報のやり取りを行う。
【０４０８】
Ｉ／Ｏ１６０には、図１に符号１０で示す撮像部が接続される。
【０４０９】
ＲＡＭ１４０は、ＣＰＵ１２０の作業領域として用いられる。
【０４１０】
ＲＯＭ１３０（書き換え可能なものも含む）は、各種制御プログラムやテーブル、パラメータなどの固定情報の記録領域として用いられる。
【０４１１】
上に説明した輝度偏光重畳部２０や、画像処理／画像認識部３０、車両制御部２００の機能を実現する「画像処理プログラム」は、図示されない光学ドライブ装置にＤＶＤ−ＲＯＭなどの記録媒体をセットして、ＨＤＤ２５０に一旦保存され、必要に応じてＲＡＭ１４０にロードされる。
【０４１２】
画像処理の対象となる画像はＩ／Ｏ１６０に撮像部１０から入力される。
【０４１３】
以上のように、この発明に依れば、以下の如き「画像処理システム」、「画像処理方法」を提供できる。
【０４１４】
[１−１]  
偏光情報を有する画像の前記偏光情報を、各ピクセルの輝度の変化として輝度画像に重畳する輝度偏光重畳部を有し、該輝度偏光重畳部により重畳された画像を出力画像として出力する機能を持つ画像処理システム。
【０４１５】
[１−２]  
１−１の画像処理システムにおいて、輝度偏光重畳部により重畳処理を受ける偏光情報を有する画像を撮像する撮像部を有する画像処理システム。
【０４１６】
[１−３]  
１−１または１−２の画像処理システムにおいて、輝度偏光重畳部が、偏光情報と輝度画像の線形和として重畳を行うものである画像処理システム。
【０４１７】
[１−４]  
１−１または１−２の画像処理システムにおいて、輝度偏光重畳部が、偏光情報と輝度画像の積として重畳を行うものである画像処理システム。
【０４１８】
[１−５]  
１−１〜１−４の何れか１つの画像処理システムにおいて、輝度偏光重畳部により輝度画像に重畳される偏光情報が偏光度または差分偏光度である画像処理システム。
【０４１９】
[１−６]  
１−１〜１−４の何れか１つの画像処理システムにおいて、輝度偏光重畳部により輝度画像に重畳される偏光情報が偏光比である画像処理システム。
【０４２０】
[１−７]  
１−１〜１−６の何れか１つの画像処理システムにおいて、輝度画像への重畳に先立って、偏光情報のノイズを除去するノイズリダクション手段を有する画像処理システム。
【０４２１】
[１−８]  
１−１〜１−７の何れか１つの画像処理システムにおいて、輝度偏光重畳部により重畳処理を受ける偏光情報を有する画像を撮像する撮像部を有し、この撮像部の撮像における光源の状況を推定して判断する光源状況判断手段を有し、前記輝度偏光重畳部は、前記光源情報判断手段の出力に応じて、輝度画像への偏光情報の重畳方法を変化させる画像処理システム。
【０４２２】
[１−９]  
１−１〜１−８の何れか１つの画像処理システムにおいて、輝度偏光重畳部により重畳処理を受ける偏光情報を有する画像を撮像する撮像部を有し、この撮像部の撮像の時期が昼間であるか夜間であるかを推定して判断する昼夜判断手段を有し、前記輝度偏光重畳部は、前記昼夜判断手段の出力に応じて、輝度画像への偏光情報の重畳方法を変化させる画像処理システム。
【０４２３】
[１−１０]  
１−１〜１−１０の何れか１つの画像処理システムにおいて、偏光情報を有する画像の、所定範囲にける偏光情報の平均値を、前記偏光情報から減算してオフセットを除去する偏光情報オフセット除去手段を有し、該偏光情報オフセット除去手段によりオフセットを除去された偏光情報を輝度画像に重畳する画像処理システム。
【０４２４】
[１−１１]  
１−１０の画像処理システムにおいて、偏光情報オフセット除去手段は、偏光情報を有する画像の偏光度または差分偏光度の画像上の所定範囲の平均値を、偏光度または差分偏光度から除算する画像処理システム。
【０４２５】
[１−１２]  
１−１０または１−１１の画像処理システムにおいて、偏光情報の平均値を求める所定範囲が、偏光情報を有する画像の全面である画像処理システム。
【０４２６】
[１−１３]  
１−１０または１−１１の画像処理システムにおいて、偏光情報の平均値を求める所定範囲が、偏光情報を有する画像の全面から、空の領域を除いた領域である画像処理システム。
【０４２７】
[１−１４]  
１−１〜１−１３の何れか１つの画像処理システムにおいて、偏光情報を有する画像の撮像が、順光状態で行われたか逆光状態で行われたかを、撮像された前記画像の情報により推定し、判断する順光逆光判断手段を有する画像処理システム。
【０４２８】
[１−１５]  
１−１４の画像処理システムにおいて、順光逆光判断手段は、撮像された偏光情報を有する画像の偏光度または差分偏光度により、撮像が順光状態で行われたか逆光状態で行われたかを判断する画像処理システム。
【０４２９】
[１−１６]  
１−１４の画像処理システムにおいて、順光逆光判断手段は、撮像された偏光情報を有する画像の画面全体の偏光比の平均値により、撮像が順光状態で行われたか逆光状態で行われたかを判断する画像処理システム。
【０４３０】
[１−１７]  
１−１４〜１−１６の何れか１つの画像処理システムにおいて、順光逆光判断手段が順光状態と判断したとき、輝度画像への偏光情報の重畳量を０とする画像処理システム。
【０４３１】
[１−１８]  
１−１４〜１−１６の何れか１つの画像処理システムにおいて、順光逆光判断手段が順光状態と判断したとき、輝度画像への偏光情報の重畳量を変化させる画像処理システム。
【０４３２】
[１−１９]  
１−１〜１−１８の何れか１つの画像処理システムにおいて、輝度偏光重畳部は、偏光情報を有する画像の各領域の値に基いて、輝度画像に基く値を出力するか、固定値を出力するか判断する画像処理システム。
【０４３３】
[１−２０]  
１−１９の画像処理システムにおいて、輝度偏光重畳部は、各領域の偏光度の値に基いて、輝度画像に基く値を出力するか、固定値を出力するか判断する画像処理システム。
【０４３４】
[１−２１]  
１−１９の画像処理システムにおいて、輝度偏光重畳部は、各領域の差分偏光度の値に基き、輝度画像に基く値を出力するか、固定値を出力するか判断する画像処理システム。
【０４３５】
[１−２２]  
１−１９の画像処理システムにおいて、輝度偏光重畳部は、各領域の偏光比の値に基いて、輝度画像に基く値を出力するか、固定値を出力するか判断する画像処理システム。
【０４３６】
[１−２３]
１−１９の画像処理システムにおいて、輝度偏光重畳部は、ライトの照り返し光が除去されるように輝度画像に基く値を出力するか、固定値を出力するか判断する画像処理システム。
【０４３７】
[１−２４]  
１−１９の画像処理システムにおいて、車両の検出に用いられ、輝度偏光重畳部は、車両からの反射光以外の光が除去されるように輝度画像に基く値を出力するか、固定値を出力するか判断する画像処理システム。
【０４３８】
[１−２５]  
１−１〜１−２４の何れか１つの画像処理システムにおいて、輝度画像における飽和した領域を判断する飽和領域判断手段を有し、輝度偏光重畳部は、飽和している領域に関しては重畳方法を変更する画像処理システム。
【０４３９】
[１−２６]  
１−２５の画像処理システムにおいて、輝度偏光重畳部は、飽和している領域に関しては偏光情報の重畳量を０とする画像処理システム。
【０４４０】
[１−２７]  
１−２５の画像処理システムにおいて、輝度偏光重畳部は、飽和している領域に関しては、出力画像の該当領域に対して定数を出力する画像処理システム。
【０４４１】
[１−２８]  
１−２５〜１−２７の何れか１つの画像処理システムにおいて、飽和領域判断手段が、輝度画像における飽和した領域とともに、飽和に近い領域と該領域における飽和に近い度合いを判断する機能を有し、前記飽和に近い領域では、前記飽和に近い度合いに応じて、輝度画像と偏光情報の重畳における割合を、飽和に近いほど輝度画像の割合が大きくなるように変化させる画像処理システム。
【０４４２】
[１−２９]  
１−１〜１−２８の何れか１つの画像処理システムにおいて、輝度偏光重畳部により重畳処理を受ける偏光情報を有する画像を撮像する撮像部を有し、前記輝度偏光重畳部は、撮像部により撮像された画像の位置に応じて、輝度画像への偏光情報の重畳方法を変化させる画像処理システム。
【０４４３】
[１−３０]  
１−１〜１−２９の何れか１つの画像処理システムにおいて、輝度偏光重畳部により重畳処理を受ける偏光情報を有する画像を撮像する撮像部を有し、前記撮像部は、撮像素子上に領域分割された偏光フィルタを有する画像処理システム。
【０４４４】
[１−３１]  
偏光情報を有する画像に対し、前記偏光情報を各ピクセルの輝度の変化として輝度画像に重畳し、重畳された画像を出力画像として出力する画像処理方法であって、前記１−１〜１−３０の何れか１つの画像処理システムを用いて行う画像処理方法。
【０４４５】
[２−１]  
偏光情報を有する画像の前記偏光情報を、各ピクセルの輝度の変化として輝度画像に重畳する輝度偏光重畳部を有し、該輝度偏光重畳部により重畳された画像を出力画像として出力する機能を持つ画像処理システムにおいて、輝度偏光重畳部が、偏光情報を有する画像の前記偏光情報の、画像上の所定範囲における平均値をオフセット量として、偏光情報から減算することによりオフセットを除去するオフセット除去部を有する画像処理システム。
【０４４６】
[２−２]  
２−１の画像処理システムにおいて、オフセット除去部は、偏光情報を有する画像の偏光度または差分偏光度を偏光情報とし、前記画像上の所定範囲における前記偏光情報の平均値をオフセット量として、前記偏光情報から減算する画像処理システム。
【０４４７】
[２−３]  
２−１の画像処理システムにおいて、オフセット除去部は、偏光情報を有する画像の偏光比を偏光情報とし、前記画像上の所定範囲における前記偏光情報の平均値をオフセット量として、前記偏光情報から減算する画像処理システム。
【０４４８】
[２−４]  
２−１〜２−３の任意の１つの画像処理システムにおいて、オフセット除去部は、偏光情報を有する画像の全面を所定範囲として、前記偏光情報の平均値をオフセット量とする画像処理システム。
【０４４９】
[２−５]  
２−１〜２−３の任意の１つの画像処理システムにおいて、オフセット除去部は、偏光情報を有する画像の、全面から空の領域を除いた領域を所定範囲として、前記偏光情報の平均値をオフセット量とする画像処理システム。
【０４５０】
[２−６]    
２−１〜２−６の任意の１つの画像処理システムにおいて、偏光情報を有する画像の偏光情報を用いて、撮像状態が順光状態であるか逆光状態であるかを判断する順光逆光判断手段を有する画像処理システム。
【０４５１】
[２−７]  
２−６の画像処理システムにおいて、順光逆光判断手段は、偏光度または差分偏光度の平均値を用いて、撮像状態が順光状態であるか逆光状態であるかを判断する画像処理システム。
【０４５２】
[２−８]  
２−６の画像処理システムにおいて、順光逆光判断手段は、偏光比の平均値を用いて、撮像状態が順光状態であるか逆光状態であるかを判断する画像処理システム。
【０４５３】
[２−９]  
２−６〜２−８の任意の１つの画像処理システムにおいて、順光逆光判断手段が、撮影状態を順光状態と判断したとき、輝度画像への偏光情報の重畳量を変化させる画像処理システム。
【０４５４】
[２−１０]  
２−９の画像処理システムにおいて、順光逆光判断手段が、撮影状態を順光状態と判断したとき、輝度画像への偏光情報の重畳量を０とする画像処理システム。
【０４５５】
[２−１１]  
２−１〜２−１０の任意の１つの画像処理システムにおいて、輝度偏光重畳部により重畳処理を受ける偏光情報を有する画像を撮像する撮像部を有し、前記撮像部は、撮像素子上に領域分割された偏光フィルタを有する画像処理システム。
【０４５６】
[２−１１]  
偏光情報を有する画像に対し、前記偏光情報を各ピクセルの輝度の変化として輝度画像に重畳し、重畳された画像を出力画像として出力する画像処理方法であって、２−１〜２−１１の任意の１つの画像処理システムを用いて行う画像処理方法。
【０４５７】
また、これらの画像処理システムや画像処理方法を用いて、上述の「車両制御」等を行う機器制御システムや機器制御方法を実現できる。
【符号の説明】
【０４５８】
１０      撮像部  
１２      撮像素子  
１３      偏光フィルタ  
２０      輝度偏光重畳部  
３０      画像処理／画像認識部  
ＩＭＰ    偏光画像（偏光情報を有する画像）
ＩＭＯ    輝度画像に対する処理が可能な出力画像
【先行技術文献】
【特許文献】
【０４５９】
【特許文献１】特開２０１１−２９９０３号公報
【特許文献２】特許第４５６３５１３号公報
【特許文献３】特開２０１２−１８５６０２号公報
【特許文献４】特開２００２−２８６８６２号公報
【図１】
2015109625.tif 000009
【図２】
2015109625.tif 000010
【図３】
2015109625.tif 000011
【図４】
2015109625.tif 000012
【図５】
2015109625.tif 000013
【図６】
2015109625.tif 000014
【図７】
2015109625.tif 000015
【図８】
2015109625.tif 000016
【図９】
2015109625.tif 000017