(57)【特許請求の範囲】
【請求項１】
所定の光学成分を選択的に透過させる選択フィルタ領域を周期的に配列した光学フィルタを通じて、受光素子が２次元配置された受光素子アレイにより撮像領域からの光を受光し、該受光素子アレイ上の１つの受光素子又は２つ以上の受光素子に対応する単位画素ごとの受光量に応じた画像信号値を含む画像信号を出力する撮像手段と、
該撮像手段から出力された画像信号に対応する単位画素の画素値を、所定の演算パラメータを用いて、該単位画素の画像信号値と該単位画素周辺に位置する周辺画素の画像信号値とから構成される画像信号値群から算出する画素値算出手段とを備えた撮像装置において、
上記画像信号値群を構成する画像信号値に基づき、該画像信号値群を構成する画像信号の中に、所定の値範囲を外れているという異常判定条件を満たす画像信号値が含まれているか否かを判定する異常信号値判定手段を有し、
上記画素値算出手段は、上記画像信号値群を構成する画像信号値の中に上記異常判定条件を満たす画像信号値が含まれていると上記異常信号値判定手段が判定した場合には、上記所定の演算パラメータを用いずに、異常な値であることを示す異常指示値を、該画像信号値群に対応する単位画素の画素値とする処理を実行することを特徴とする撮像装置。
【請求項２】
請求項１の撮像装置において、
上記異常判定条件は、受光量が所定の黒つぶれ閾値以下である場合に対応した画像信号値であるという条件及び受光量が所定の飽和閾値以上である場合に対応した画像信号値であるという条件の少なくとも一方を含むことを特徴とする撮像装置。
【請求項３】
請求項１又は２の撮像装置において、
上記画素値算出手段は、上記異常指示値として、上記所定の演算パラメータを用いて算出され得る画素値の数値範囲から外れた値であって、該数値範囲の上限値に隣接する値又は該数値範囲の下限値に隣接する値を用いることを特徴とする撮像装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の撮像装置において、
上記選択フィルタ領域は、所定の偏光成分を選択的に透過させる偏光フィルタで構成されていることを特徴とする撮像装置。
【請求項５】
撮像手段が撮像した撮像画像の画素値に基づいて撮像領域内に存在する検出対象物の識別処理を行う物体識別処理手段を有する物体識別装置において、
上記撮像手段として、請求項１乃至４のいずれか１項に記載の撮像装置を用い、上記撮像画像の画素値として上記単位画素の画素値を出力するものであり、
上記物体識別処理手段は、上記異常指示値を示す画素値を除外した残りの画素値に基づいて上記識別処理を行うことを特徴とする物体識別装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１種類又は２種類以上の偏光フィルタ部や色分解フィルタ部を周期的に配列した光学フィルタを通じて撮像領域からの光を受光素子アレイで受光し、これにより得た画像信号から撮像画像の画像情報の画素値を算出する撮像装置及びこれを用いた物体識別装置に関するものである。
【背景技術】
【０００２】
この種の撮像装置としては、所定の撮像領域をデジタルカメラ等の撮像手段を用いて撮像し、その画像信号から、所望の波長帯域のみを抽出した画像情報や、所望の偏光成分のみを抽出した画像情報などを生成するものが知られている。このような撮像装置は、例えば、光学フィルタを通じて入射する撮像領域からの光を、多数の受光素子を２次元配置された受光素子アレイを用いて受光し、各受光素子で受光した光量に応じて受光素子アレイから出力される画像信号から、撮像領域の画像情報を生成する。特許文献１には、光学フィルタとして、例えば、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の色分解フィルタ部が所定の配置パターンに従って配列されたカラーフィルタを用いた撮像装置が記載されている。また、特許文献２には、２種類（縦偏光成分と横偏光成分）の偏光フィルタ部が周期的に配置された光学フィルタを通じて入射する撮像領域からの光を受光素子アレイで受光する撮像装置が記載されている。このような撮像装置によれば、１回の撮像動作で、互いに異なる複数の光学成分それぞれを抽出した画像情報（例えば、Ｒ、Ｇ、Ｂそれぞれの画像情報や、縦偏光成分及び横偏光成分それぞれの画像情報）を得ることができる。
【０００３】
このような互いに異なる複数の光学成分から生成される光学成分抽出画像は、撮像領域内の物体を識別する物体識別処理に利用することで、単なる輝度情報のみからなる画像情報（モノクロ画像情報）で物体識別処理を行う場合よりも、高い精度での物体識別を可能とする点で有用である。そのため、このような撮像装置は、近年、例えば、車載カメラとして用いられ、自車の進行方向前方領域（撮像領域）を撮像して得られる撮像画像に基づく物体検出処理を行って先行車両や対向車両などの物体を検出し、自車の運転者（ドライバー）の運転負荷を軽減させる運転者支援システムへ利用されている。また、例えば、ロボット制御などに用いられる物体識別装置のための撮像装置など、その他の分野でも幅広く利用されることが期待されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明者らは、このような光学成分抽出画像をフレームレート３０ｆｐｓでリアルタイム映像出力することを可能とする撮像装置を開発し、その開発にあたっては、次のような課題に直面した。以下の説明では、縦偏光成分及び横偏光成分それぞれの光学成分抽出画像を得る撮像装置について説明するが、Ｒ、Ｇ、Ｂ等の互いに波長成分が異なる画像情報を得る撮像装置においても同様である。
【０００５】
このような撮像装置を開発するにあたっては、受光素子アレイから出力される画像信号から縦偏光成分及び横偏光成分を抽出して光学成分抽出画像を生成するという画像処理を、フレームレート３０ｆｐｓでのリアルタイム映像出力を可能とする短い時間内で完了することが要求される。現状において、この要求を満たす画像処理を可能とするには、現実的には、所定の画像処理プログラムを汎用ＣＰＵに実行させて当該画像処理を実現するソフトウェア処理ではなく、ＦＰＧＡ（Field Programmable Gate Array）等の専用ハードウェアを用いて当該画像処理を実現するハードウェア処理を採用することが必要となる。
【０００６】
ここで、受光素子アレイから出力される画像信号から光学成分抽出画像を生成する画像処理の一例について説明する。
図３１は、光学フィルタの偏光フィルタと受光素子アレイの受光素子との対応関係を示す説明図である。
この図において、縦横に並ぶ各正方形がそれぞれ受光素子を示し、受光素子の並び方向に対して斜めに延びるハッチング領域が縦偏光成分をカットする縦偏光フィルタの領域を示し、ハッチング領域以外の領域が横偏光成分をカットする横偏光フィルタの領域を示す。図示の例の光学フィルタは、縦偏光フィルタの帯及び横偏光フィルタの帯が交互に配置され、その帯の長手方向が受光素子の並び方向に対して斜めになるように、縦偏光フィルタの帯及び横偏光フィルタが配置されたものである。
【０００７】
受光素子アレイ上の１つの受光素子に対応する注目画素（図中の画素番号５）の縦偏光成分Ｖと横偏光成分Ｈは、例えば、当該注目画素５の受光量に対応した画像信号値Ｉ５だけでなく、その注目画素５の周囲を取り囲む８つの周辺画素１〜４，６〜９の受光量に対応した画像信号値Ｉ１〜Ｉ４，Ｉ６〜Ｉ９も用いて、下記の数１に示す式より求められる。下記の数１に示す式において、画像信号値Ｉ１〜Ｉ９から注目画素５の縦偏光成分Ｖと横偏光成分Ｈを算出するためのＡ１〜Ａ１８の要素をもつ係数行列（演算パラメータ）を、以下、疑似逆行列パラメータと称する。
【数１】
0005867806.tif 000002
【０００８】
この疑似逆行列パラメータは、以下のようにして予め求めておくことができる。
まず、図３１に示した光学フィルタを通じて受光素子アレイ全体に、ほぼ一様な光強度Ｖで１００％縦偏光のサンプル光を照射し、そのときに各受光素子（その受光素子の画素番号をｉとする。）で受光する受光量に応じたサンプル縦偏光強度ａｖｉを取得する。また、同様に、光学フィルタを通じて受光素子アレイ全体に、ほぼ一様な光強度Ｈで１００％横偏光のサンプル光を照射し、そのときに各受光素子で受光する受光量に応じたサンプル横偏光強度ａｈｉを取得する。このようにして得られる各受光素子のサンプル縦偏光強度ａｖｉ及びサンプル横偏光強度ａｈｉは、それぞれ、その受光素子で受光される縦偏光成分及び横偏光成分の感度に比例していると考えることができる。よって、光学フィルタを透過して各受光素子ｉで受光する光の強度をＩｉとすると、Ｉｉ＝ａｖｉ×Ｖ＋ａｈｉ×Ｈが成り立つ。そして、注目画素５を中心とした３×３画素の合計９つの画素１〜９に対して入射する光が同じであると仮定し、これらの画素１〜９について下記の数２に示す行列式を得る。この行列式において、ａｖ１〜９及びａｈ１〜９を要素とした感度行列パラメータについての逆行列を求める。この逆行列が上述した疑似逆行列パラメータとなる。ただし、ハードウェア処理に最適化するために、このようにして求まる疑似逆行列パラメータを多少変形してもよい。
【数２】
0005867806.tif 000003
【０００９】
ここでは、縦偏光フィルタと横偏光フィルタとが交互に配置された光学フィルタを例に挙げたが、縦偏光フィルタとフィルタ無し（光をそのまま透過させる領域）とが交互に配置された光学フィルタや、横偏光フィルタとフィルタ無しとが交互に配置された光学フィルタであっても、上述した手順と同様の方法で、疑似逆行列パラメータを求めることができる。ただし、このような光学フィルタを用いる場合、実際の撮像時には、受光素子アレイが横偏光成分及び縦偏光成分のいずれか一方を受光しない。そのため、偏光フィルタを通過して受光される偏光成分の画像信号値とフィルタ無しを通過して受光される非偏光の画像信号値とを用いて、受光しない偏光成分を求める必要がある。この場合、例えば、非偏光の受光量が縦偏光成分の受光量と横偏光成分の受光量との合算値に近似することを利用して、疑似逆行列パラメータを生成すればよい。
【００１０】
このように、注目画素の画素値を、疑似逆行列パラメータ等の演算パラメータを用いて、当該注目画素５の画像信号値Ｉ５と該注目画素周辺に位置する周辺画素１〜４，６〜９の画像信号値Ｉ１〜Ｉ４，Ｉ６〜Ｉ９とから構成される画像信号値群から算出する場合、その画像信号値群に異常な値が含まれていると、当該注目画素の画素値として正常な値を算出することができない。例えば、画像信号値がゼロである画素（いわゆる受光量がゼロで黒つぶれが生じている画素）や、画像信号値が上限値である画素（いわゆる受光量が飽和している画素）は、通常の撮像領域内からの光を受光する場合には存在し得ない場合が多く、その画素値は異常な画素値であることが多い。このような異常な画素値が注目画素を算出するための画像信号値群の中に含まれていると、注目画素の画素値として、本来の画素値から外れた異常な値が算出される。撮像画像中に異常な値を示す画素値が含まれている場合、撮像画像の画素値を用いた後段の情報処理にそのまま利用されると、その処理結果に異常を来すという問題があった。例えば、撮像画像の画素値に基づいて物体の識別を行う物体識別処理であれば、物体識別率が低下したり、物体の誤識別を生じさせたりする。
【００１１】
本発明は、上記問題に鑑みなされたものであり、その目的とするところは、撮像画像の画素値に基づいた後段の情報処理で異常な処理結果が生じるのを回避することが可能な撮像装置及びこれを用いた物体識別装置を提供することである。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明は、所定の光学成分を選択的に透過させる選択フィルタ領域を周期的に配列した光学フィルタを通じて、受光素子が２次元配置された受光素子アレイにより撮像領域からの光を受光し、該受光素子アレイ上の１つの受光素子又は２つ以上の受光素子に対応する単位画素ごとの受光量に応じた画像信号値を含む画像信号を出力する撮像手段と、該撮像手段から出力された画像信号に対応する単位画素の画素値を、所定の演算パラメータを用いて、該単位画素の画像信号値と該単位画素周辺に位置する周辺画素の画像信号値とから構成される画像信号値群から算出する画素値算出手段とを備えた撮像装置において、上記画像信号値群を構成する画像信号値に基づき、該画像信号値群を構成する画像信号の中に、所定の値範囲を外れているという異常判定条件を満たす画像信号値が含まれているか否かを判定する異常信号値判定手段を有し、上記画素値算出手段は、上記画像信号値群を構成する画像信号値の中に上記異常判定条件を満たす画像信号値が含まれていると上記異常信号値判定手段が判定した場合には、上記所定の演算パラメータを用いずに、異常な値であることを示す異常指示値を、該画像信号値群に対応する単位画素の画素値とする処理を実行することを特徴とするものである。
【００１３】
本発明においては、単位画素の画素値を所定の演算パラメータを用いて算出する際に参照される画像信号値群を構成する画像信号値の中に、所定の値範囲を外れているという異常判定条件を満たす画像信号値が含まれていると上記異常信号値判定手段により判定された場合、当該画素値については、異常な値であることを示す異常指示値が割り当てられる。したがって、撮像画像の画素値を用いた後段の情報処理において、当該単位画素の画素値が異常判定条件を満たす異常な画像信号値に基づく異常な値であることを把握することができる。その結果、後段の情報処理では、当該単位画素の画素値を異常な値として取り扱うことができるので、異常な値を示す単位画素の画素値をそのまま正常な画素値として処理してしまうことによる処理結果の異常を回避することが可能となる。
【発明の効果】
【００１４】
以上、本発明によれば、撮像画像の画素値に基づいた後段の情報処理で異常な処理結果が生じるのを回避することが可能となるという優れた効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】実施形態に係る運転者支援システムの機能ブロック図である。
【図２】同運転者支援システムにおける車両検出処理の概要を示すフローチャートである。
【図３】路面及び立体物を判別するための処理の流れを示すフローチャートである。
【図４】高速道路を走行している車両に搭載した偏光カメラにより撮像して得た差分偏光度画像を示したものである。
【図５】同差分偏光度画像について路面及び立体物の判別処理を施した後の画像を示したものである。
【図６】立体物領域であると判定された領域の中から車両候補領域を決定するためのフローチャートである。
【図７】同運転者支援システムに利用可能な偏光カメラの概略構成を示す説明図である。
【図８】同偏光カメラの光学フィルタと画像センサとを示す断面拡大図である。
【図９】同光学フィルタの偏光フィルタと画像センサ上の画素との対応関係を示す説明図である。
【図１０】同画像センサ上の受光素子を単位処理領域ごとに区分する方法を説明するための説明図である。
【図１１】一の単位処理領域における４種類の共通単位画素の分布を示す説明図である。
【図１２】（ａ）は、第１共通単位画素を注目画素として画像処理を行う際に用いられる３×３画素内の共通単位画素分布を示す説明図である。（ｂ）は、第２共通単位画素を注目画素として画像処理を行う際に用いられる３×３画素内の共通単位画素分布を示す説明図である。（ｃ）は、第３共通単位画素を注目画素として画像処理を行う際に用いられる３×３画素内の共通単位画素分布を示す説明図である。（ｄ）は、第４共通単位画素を注目画素として画像処理を行う際に用いられる３×３画素内の共通単位画素分布を示す説明図である。
【図１３】同画像センサ上の受光素子を単位処理領域ごとに区分した模式図を用いて、擬似逆行列パラメータが記憶されている単位処理領域と擬似逆行列パラメータが記憶されていない単位処理領域の分布の一例を示した説明図である。
【図１４】すべての画素について予め個別に用意しておいた疑似逆行列パラメータ（疑似逆行列パラメータの全データ量＝約２６Ｍバイト）を用いて得た差分偏光度画像の一例を示すものである。
【図１５】同じ疑似逆行列パラメータを使い回すとともに上述した補間処理を行って得た差分偏光度画像（疑似逆行列パラメータの全データ量＝約０．０２５Ｍバイト））の一例を示すものである。
【図１６】変形例１に係る光学フィルタと画像センサ上の画素との対応関係を示す説明図である。
【図１７】変形例１における一の単位処理領域に存在する６種類の共通単位画素の分布を示す説明図である。
【図１８】変形例２に係る光学フィルタと画像センサ上の画素との対応関係を示す説明図である。
【図１９】変形例２における一の単位処理領域に存在する１２種類の共通単位画素の分布を示す説明図である。
【図２０】実施例に係る偏光カメラの概略構成を示すブロック図である。
【図２１】同偏光カメラに設けられた差分偏光度画像生成部の内部構成を示すブロック図である。
【図２２】同差分偏光度画像生成部に設けられたＢＲＡＭアドレス計算部の出力タイミングチャートである。
【図２３】同差分偏光度画像生成部に設けられた係数生成部の内部構成図である。
【図２４】実施例における単位処理領域の区分を示す説明図である。
【図２５】擬似逆行列パラメータが格納される擬似逆行列パラメータ格納用ＢＲＡＭのアドレスマップである。
【図２６】同差分偏光度画像生成部に設けられた偏光分離処理部の内部構成図である。
【図２７】同差分偏光度画像生成部に設けられた差分偏光度計算部の内部構成図である。
【図２８】同差分偏光度画像生成部に設けられた差分偏光度画像計算部の内部構成図である。
【図２９】擬似逆行列パラメータが格納されたＳＰＩフラッシュメモリのアドレスマップである。
【図３０】同ＳＰＩフラッシュメモリのセクター２４に格納される疑似逆行列パラメータのアドレスマップである。
【図３１】光学フィルタの偏光フィルタと受光素子アレイの受光素子との対応関係を示す説明図である。
【発明を実施するための形態】
【００１６】
以下、本発明に係る撮像装置を、自車の運転者（ドライバー）の運転負荷を軽減させるための運転者支援システムに適用した一実施形態について説明する。
まず、本運転者支援システムにおける概略構成及び動作概要を説明する。
図１は、本実施形態に係る運転者支援システムの機能ブロック図である。
図２は、本実施形態の運転者支援システムにおける車両検出処理の概要を示すフローチャートである。
図示しない車両に搭載された撮像装置としての偏光カメラ１０により、車両が走行する路面（移動面）を含む自車周囲の風景を撮影する（Ｓ１）。これにより、偏光カメラ１０の受光素子１つに対応した単位画素（以下、単に「画素」という。）ごとの縦偏光強度及び横偏光強度を得る（Ｓ２）。本実施形態では、このようにして得られる各画素の縦偏光強度及び横偏光強度から、単位画素ごとに、差分偏光度を算出する（Ｓ３）。この差分偏光度から、各画素の差分偏光度を画素値とした差分偏光度画像を生成することができる。ここで、「縦偏光強度」とは、自車両に設置された撮像装置内の受光素子アレイの縦列（鉛直方向の列）に平行な偏光方向をもった偏光の光強度を意味し、「横偏光強度」とは、自車両に設置された撮像装置内の受光素子アレイの横列（水平方向の列）に平行な偏光方向をもった偏光の光強度を意味する。
【００１７】
差分偏光度は、下記の式（３）に示す計算式から求められる。すなわち、差分偏光度は、横偏光強度と縦偏光強度との合計値（輝度合計値）に対する横偏光強度と縦偏光強度との差分値（輝度差分値）の比率である。また、差分偏光度は、輝度合計値に対するＰ偏向強度の比率（横差分偏光度）と、輝度合計値に対するＳ偏向強度の比率（縦差分偏光度）との差分値であると言い換えることもできる。本実施形態では、横偏光強度から縦偏光強度を差し引く場合について説明するが、縦偏光強度から横偏光強度を差し引くようにしてもよい。
差分偏光度＝（横偏光強度−縦偏光強度）／（横偏光強度＋縦偏光強度）  ・・（３）
【００１８】
本実施形態では、偏光カメラ１０から差分偏光度画像のデータが出力され、この差分偏光度画像のデータが路面・立体物判別部２１に入力される。路面・立体物判別部２１は、偏光カメラ１０から出力された差分偏光度画像について、路面を映し出した画像領域と立体物を映し出した画像領域とを判別する（Ｓ４）。
図３は、路面及び立体物を判別するための処理の流れを示すフローチャートである。
路面・立体物判別部２１は、偏光カメラ１０から差分偏光度画像のデータを受け取ったら、まず、差分偏光度画像を２値化するための閾値を設定し（Ｓ４１）、その閾値を用いて差分偏光度画像を２値化する（Ｓ４２）。具体的には、所定の閾値以上の差分偏光度を有する画素に「１」、そうでない画素に「０」を割り振ることで、２値化画像を作成する。その後、この２値化画像において、「１」が割り振られた画素が近接している場合には、それらを１つの画像領域として認識するラベリング処理を実施する（Ｓ４３）。これによって、差分偏光度の高い近接した複数の画素の集合が１つの高差分偏光度領域として抽出される。このようにして抽出した各高差分偏光度領域を、図示しない路面特徴データ記憶手段としての記憶部内に記憶されている路面の特徴データと照らし合わせ、路面の特徴データに合致した高差分偏光度領域を路面領域として抽出する（Ｓ４４）。そして、このようにして抽出した路面領域の形状を、路面形状パターンと照らし合わせて推定し（Ｓ４５）、路面領域の両端すなわち路端ラインを特定する。その後、抽出した路面領域以外の残りの画像領域を、立体物を映し出した立体物領域として抽出する（Ｓ４６）。
【００１９】
図４は、高速道路を走行している車両に搭載した偏光カメラ１０により撮像して得た差分偏光度画像を示したものである。
図５は、この差分偏光度画像について路面及び立体物の判別処理を施した後の画像を示したものである。
図５に示す画像中の黒塗り部分の画像領域が路面領域として抽出された箇所である。また、図５に示す画像中の点線で示すラインが路端ラインである。
【００２０】
車両候補領域決定部２２は、車両の窓ガラスからの光が有する差分偏光度の特徴を利用して、上記Ｓ４６において立体物領域であると判定された領域の中から、車両候補領域を決定する（Ｓ５）。
図６は、立体物領域であると判定された領域の中から車両候補領域を決定するためのフローチャートである。
車両候補領域決定部２２は、路面・立体物判別部２１において判定された各立体物領域に対して、その差分偏光度が所定の閾値以上であるか否か（所定の数値範囲内であるか否か）を判断し、差分偏光度が所定の閾値以上である立体物領域を検知する（Ｓ５１）。次に、このようにして検知した立体物領域の面積が、車両の窓ガラスに対応する面積範囲内であるか否かをチェックする（Ｓ５２）。そして、このチェックを通った立体物領域に対し、車両の窓ガラスに対応する形状を有するかどうかをチェックして、このチェックも通った立体物領域を、車両後方領域として決定する（Ｓ５３）。
【００２１】
車両識別部２３は、車両特徴量パターン記憶部２４に記憶された車両特徴量パターンによるバターンマッチング手法により、上記車両候補領域決定部２２が決定した車両候補領域が車両領域であるか否かを識別する。このバターンマッチング手法は、公知のものを広く利用できる。
【００２２】
本実施形態では、例えば、ＣＲＴや液晶等で構成される車内の情報報知手段である表示部（ディスプレイ）２５に、モノクロ画像処理部で算出した輝度データを用いて生成されるモノクロ輝度画像（フロントビュー画像）を表示し、その画像中の他車を映し出している領域を示す情報を、運転者にとって有益な情報として報知するために、運転者が見やすい表示形態で表示する。これによれば、例えば、運転者が目視で他車を認識することが困難な状況下であっても、運転者は表示部のフロントビュー画像を見ることで、自車と他車との相対位置関係を把握することができ、他車に衝突することなく安全に走行することが容易になる。
【００２３】
また、本実施形態の車両制御部２６は、例えば、車両識別部２３により識別された車両領域の位置情報から、自車と他車との相対位置関係を把握する処理を行い、自車が他車に近づいて走行していないかどうかを判断し、他車に近づいたときに警報音等を発する処理を行う。あるいは、他車に近づいたときに、自動ブレーキ機能を実行して、自車の走行速度を落とすような処理を行ってもよい。
【００２４】
以下、本発明の特徴部分である偏光カメラ１０の構成及び動作について詳述する。
図７は、本実施形態における偏光カメラ１０の概略構成を示す説明図である。
この偏光カメラ１０は、主に、撮像レンズ１と、光学フィルタ２と、受光素子が２次元配置された受光素子アレイを有する画像センサ４が搭載されたセンサ基板３と、センサ基板３から出力されるアナログ電気信号（画像センサ４上の各受光素子が受光した受光量）をデジタル電気信号に変換するＡ／Ｄ変換部５と、Ａ／Ｄ変換部５から出力されるデジタル電気信号（画素データ）に対して画像処理を行って差分偏光度画像のデータを生成して出力する信号処理部６とから構成されている。被写体（被検物）を含む撮像領域からの光は、撮像レンズ１を通り、光学フィルタ２を透過して、画像センサ４でその光強度に応じた電気信号に変換される。Ａ／Ｄ変換部５では、画像センサ４から出力される電気信号（アナログ信号）が入力されると、その電気信号から、画素データとして、画像センサ４上における各画素の受光量を示すデジタル信号を、画像の垂直同期信号及び水平同期信号とともに信号処理部６へ出力する。
【００２５】
図８は、光学フィルタ２と画像センサ４とを示す断面拡大図である。
画像センサ４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal  Oxide Semiconductor）などを用いたイメージセンサであり、その受光素子にはフォトダイオード４ａを用いている。フォトダイオード４ａは、画素ごとに２次元的にアレイ配置されており、フォトダイオード４ａの集光効率を上げるために、各フォトダイオード４ａの入射側にはマイクロレンズ４ｂが設けられている。この画像センサ４がワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板３が形成されている。撮像する画像の波長範囲は略可視光であるため、画像センサ４としては、可視光の範囲に感度を有するものを選択すればよい。本実施形態の画像センサ４は、互いに直交する縦方向及び横方向に等間隔で配列された４８０×７５２の受光素子（フォトダイオード４ａ）を有効画素とする構成であり、１個のフォトダイオード４ａを単位画素とする。
【００２６】
画像センサ４のマイクロレンズ４ｂ側の面には、光学フィルタ２が近接配置されている。光学フィルタ２の画像センサ４側の面には、図９に示すように、光をそのまま透過する非選択フィルタ領域である透過領域２ａと、横偏光成分のみを選択的に透過させる選択フィルタ領域としての横偏光フィルタ領域２ｂとが、画像センサ４の縦方向（図中ｙ方向）及び横方向（図中ｘ方向）のいずれにも傾斜するように交互配置されたストライプ状の領域分割パターンを有している。具体的には、画像センサ４の縦方向における画素間隔（フォトダイオード４ａの中心間距離）をｎとし、横方向における画素間隔をｍとしたとき、透過領域２ａ及び横偏光フィルタ領域２ｂの縦方向長さＮが下記の式（１）を満たし、透過領域２ａ及び横偏光フィルタ領域２ｂの横方向長さＭが下記の式（２）を満たすように、光学フィルタ２が構成されている。本実施形態の光学フィルタ２は、図９に示すように、Ａ＝１、Ｂ＝２の例（すなわち、Ｂ／Ａ＝２の例）である。
Ｎ  ＝  Ａ  ×  ｎ  ・・・（１）
Ｍ  ＝  Ｂ  ×  ｍ  ・・・（２）
【００２７】
本実施形態においては、図９に示すように、光学フィルタ２に備わった２種類のフィルタ領域（透過領域２ａと横偏光フィルタ領域２ｂ）を透過した各光の１画素内における受光面積の比率が互いに等しい４種類の共通単位画素が周期的に存在するように構成される。
具体的に説明すると、第１共通単位画素は、図９に示す画素番号１の画素のように、当該画素の右上隅の小領域で横偏光フィルタ領域２ｂを透過した横偏光成分を受光するとともに、残りの大領域で透過領域２ａを透過した非偏光の光を受光するパターンの画素である。
第２共通単位画素は、図９に示す画素番号２の画素のように、当該画素の左下隅の小領域で透過領域２ａを透過した非偏光の光を受光するとともに、残りの大領域で横偏光フィルタ領域２ｂを透過した横偏光成分を受光するパターンの画素である。
第３共通単位画素は、図９に示す画素番号３の画素のように、当該画素の右上隅の小領域で透過領域２ａを透過した非偏光の光を受光するとともに、残りの大領域で横偏光フィルタ領域２ｂを透過した横偏光成分を受光するパターンの画素である。
第４共通単位画素は、図９に示す画素番号５の画素のように、当該画素の左下隅の小領域で横偏光フィルタ領域２ｂを透過した横偏光成分を受光するとともに、残りの大領域で透過領域２ａを透過した非偏光の光を受光するパターンの画素である。
【００２８】
本実施形態の偏光カメラ１０の信号処理部６では、Ａ／Ｄ変換部５から出力される画素データと疑似逆行列パラメータとを用いて、注目画素（図９中の画素番号５）の縦偏光成分Ｖと横偏光成分Ｈを、下記の数３に示す式より算出する。すなわち、本実施形態では、注目画素５の縦偏光成分Ｖと横偏光成分Ｈを、当該注目画素５の画素データＩ５だけでなく、その注目画素５の周囲を取り囲む８つの周辺画素１〜４，６〜９の画素データＩ１〜Ｉ４，Ｉ６〜Ｉ９も用いて算出する。この算出に必要な疑似逆行列パラメータは、予め求めておいて後述するパラメータ記憶手段としてのＳＰＩフラッシュメモリに格納されているものを用いる。
【数３】
0005867806.tif 000004
【００２９】
本実施形態の信号処理部６が実行する画像処理においては、画像センサ４の有効画素（４８０×７５２）について、図１０に示すように、縦を３０等分し、横を４７等分して、１６×１６画素で構成される１４１０個の単位処理領域に区分して、注目画素５の縦偏光成分Ｖと横偏光成分Ｈを上記数３に示す式より算出する演算処理を行う。このように区分すると、各単位処理領域には、上述した４種類の共通単位画素それぞれについて、同一種類の共通単位画素が２つ以上存在する。
【００３０】
一の単位処理領域における４種類の共通単位画素の分布は、図１１に示す。
また、４種類の共通単位画素それぞれを注目画素とした場合において、その画像処理に用いられる３×３画素内における４種類の共通単位画素の分布は、図１２（ａ）〜（ｄ）に示す。
４種類の共通単位画素について、第１共通単位画素を丸付き数字１で示し、第２共通単位画素を丸付き数字２で示し、第３共通単位画素を丸付き数字３で示し、第４共通単位画素を丸付き数字４で示すと、図９に示すように構成された光学フィルタ２の場合、各単位処理領域内の共通単位画素分布は、図１１に示すようになる。このような分布においては、上述したように、第１共通単位画素を注目画素とした画像処理に用いられる３×３画素内における４種類の共通単位画素の分布は、当該単位処理領域内のどの第１共通単位画素についても、図１２（ａ）のようになる。すなわち、第１共通単位画素を注目画素とした場合、その３×３画素の共通単位画素分布は一意に決まる。第２共通単位画素、第３共通単位画素、第４共通単位画素についても、同様に、一意に決まる。
【００３１】
上述したとおり、受光面積比率が同じである同一種類の共通単位画素については、画像センサ４上で近接している画素同士であれば、その画像処理で用いる疑似逆行列パラメータ（演算パラメータ）が互いに近似する。特に、受光面積比率だけでなく、透過領域２ａ及び横偏光フィルタ領域２ｂを透過した各光の画素内における受光位置までも同じであるものを同一種類の共通単位画素とすれば、疑似逆行列パラメータの近似性はより高まる。よって、互いに近接して位置する同一種類の共通単位画素の疑似逆行列パラメータとして、同じ疑似逆行列パラメータを使い回しても、その演算誤差は許容範囲内に収めることができる。
【００３２】
そこで、本実施形態においては、画像センサ４上における４８０×７５２の有効画素を、互いに隣接する１６×１６画素で構成された１４１０個の単位処理領域に区分することとしている。この区分数は、許容する演算誤差に応じて適宜設定されるものである。すなわち、同一種類の共通単位画素であっても、互いの距離が遠くなればなるほど近似性が低下するので、同じ疑似逆行列パラメータを使い回す同一種類の共通単位画素の範囲を、演算誤差が許容範囲に収まるほどの近似性が得られる距離に位置する範囲内に制限するように、その区分数を設定する。
【００３３】
この区分数を多くすればするほど、同じ疑似逆行列パラメータを使い回す同一種類の共通単位画素に対応する本来の疑似逆行列パラメータの近似性が高いので、より小さな演算誤差で済むが、必要となる疑似逆行列パラメータの数（データ量）は増えることになる。
具体例を挙げると、本実施形態の場合、１つの疑似逆行列パラメータの要素数が１８個で、その１要素あたりのデータ量が４バイトであるので、疑似逆行列パラメータ１個あたりのデータ量は７２バイトである。本実施形態のように１４１０個の単位処理領域に区分する場合、各単位処理領域それぞれで４つの疑似逆行列パラメータを使い回すことになるので、全体で４×１４１０＝５６４０個の疑似逆行列パラメータが必要となる。したがって、疑似逆行列パラメータの全データ量は４０６０８０バイト（約０．４Ｍバイト）となる。これに対し、１つの単位処理領域が８×８画素で構成されるように区分すると、その区分数は５６４０個となり、全体で４×５６４０＝２２５６０個の疑似逆行列パラメータが必要となる。この場合、疑似逆行列パラメータの全データ量は１６２４３２０バイト（約１．６Ｍバイト）となる。
逆に、演算誤差に余裕がある場合には、区分数を減らして、同じ疑似逆行列パラメータを使い回す同一種類の共通単位画素の数を増やし、疑似逆行列パラメータの数（データ量）を更に減らすようにしてもよい。
【００３４】
本実施形態においては、疑似逆行列パラメータの１要素あたりのデータ量を例えば１バイトに減らしてもよい。この場合、疑似逆行列パラメータの全データ量は、更に１０１５２０バイト（約０．１Ｍバイト）にまで低減することができる。
特に、本実施形態においては、各単位処理領域で使い回す４種類の擬似逆行列パラメータは、その単位処理領域を構成する１６×１６画素のすべてについて求めた擬似逆行列パラメータの和をとり、その絶対値が一番大きい要素の絶対値が１２７となるように規格化してもよい。この規格化すると、疑似逆行列パラメータの１要素あたりのデータ量が１バイトとなるが、このようにデータ量を減らしても、計算精度の良好な差分偏光度が算出できる。
【００３５】
また、本実施形態においては、疑似逆行列パラメータの全データ量を更に低減するために、ＳＰＩフラッシュメモリには、上述した１４１０個の単位処理領域のうち一部の単位処理領域については擬似逆行列パラメータを記憶しない。そして、ＳＰＩフラッシュメモリに擬似逆行列パラメータが記憶されていない単位処理領域（特定単位処理領域）については、ＳＰＩフラッシュメモリに擬似逆行列パラメータが記憶されている単位処理領域の擬似逆行列パラメータを用いて補間処理を行い、この補間処理によって生成された算出擬似逆行列パラメータを用いて画像処理を行う。
【００３６】
図１３は、画像センサ上の受光素子を単位処理領域ごとに区分した模式図を用いて、擬似逆行列パラメータが記憶されている単位処理領域と擬似逆行列パラメータが記憶されていない単位処理領域の分布の一例を示した説明図である。
本実施形態では、図１３の太線で区画したように、１４１０個の単位処理領域を２×２の４領域で１ユニットとなるように分割する。そして、１ユニットにつき１領域の割合で、擬似逆行列パラメータをＳＰＩフラッシュメモリに記憶する。これにより、擬似逆行列パラメータがＳＰＩフラッシュメモリに記憶されない単位処理領域については、擬似逆行列パラメータがＳＰＩフラッシュメモリに記憶されている少なくとも２つの単位処理領域の間に位置することになる。
【００３７】
ここで、本発明者が鋭意研究したところ、画像センサ４上で近接している単位処理領域同士は、各領域で用いる疑似逆行列パラメータ（演算パラメータ）がその並び方向に沿って一定の関係（線形に近い関係）にあるという知見を得た。よって、この関係を利用することで、互いに離間した２つの単位処理領域の間に位置する単位処理領域（特定単位処理領域）の疑似逆行列パラメータは、当該２つの単位処理領域の疑似逆行列パラメータから高精度に生成することが可能である。そして、このように生成される疑似逆行列パラメータを用いて、当該特定単位処理領域についての演算誤差は許容範囲内に収めることができる。
【００３８】
そこで、本実施形態においては、ＳＰＩフラッシュメモリに擬似逆行列パラメータが記憶されている単位処理領域については、ＳＰＩフラッシュメモリ内の擬似逆行列パラメータを用いて縦偏光成分Ｖと横偏光成分Ｈを算出する一方、ＳＰＩフラッシュメモリに擬似逆行列パラメータが記憶されていない単位処理領域については、補間処理により生成した擬似逆行列パラメータを用いて縦偏光成分Ｖと横偏光成分Ｈを算出する。
【００３９】
具体的には、図１３に示すように、単位処理領域Ａについては当該領域Ａに対応する擬似逆行列パラメータをＳＰＩフラッシュメモリから読み出して利用する。一方、単位処理領域Ａと単位処理領域Ｂとの間に位置する単位処理領域αについては、信号処理部６において、これらの領域Ａ，Ｂの擬似逆行列パラメータをＳＰＩフラッシュメモリから読み出し、その２つの擬似逆行列パラメータを用いた補間処理を行って、補間擬似逆行列パラメータを生成する。そして、その補間擬似逆行列パラメータを用いて単位処理領域αの画素の縦偏光成分Ｖと横偏光成分Ｈを算出する。また、単位処理領域Ａと単位処理領域Ｅとの間に位置する単位処理領域βについては、信号処理部６において、これらの領域Ａ，Ｅの擬似逆行列パラメータをＳＰＩフラッシュメモリから読み出し、その２つの擬似逆行列パラメータを用いた補間処理を行って、補間擬似逆行列パラメータを生成する。そして、その補間擬似逆行列パラメータを用いて単位処理領域βの画素の縦偏光成分Ｖと横偏光成分Ｈを算出する。また、単位処理領域Ａと単位処理領域Ｆとの間あるいは単位処理領域Ｂと単位処理領域Ｅとの間に位置する単位処理領域γについては、信号処理部６において、これらの領域Ａ，Ｆあるいは領域Ｂ，Ｅの擬似逆行列パラメータをＳＰＩフラッシュメモリから読み出し、その２つの擬似逆行列パラメータを用いた補間処理を行って、補間擬似逆行列パラメータを生成する。そして、その補間擬似逆行列パラメータを用いて単位処理領域γの画素の縦偏光成分Ｖと横偏光成分Ｈを算出する。
【００４０】
補間処理の方法は、互いに離間した２つの単位処理領域の疑似逆行列パラメータとこれらの間に位置する特定単位処理領域の本来の疑似逆行列パラメータとの間における一定の関係に応じて適宜選択されるが、本実施形態では線形補間処理が好ましい。線形補間処理をＦＰＧＡ等を用いてハードウェア処理する場合、ビットシフトだけで済むように工夫するのが好ましい。そのため、本実施形態では、上述したように２×２の４領域につき１領域の割合で疑似逆行列パラメータをＳＰＩフラッシュメモリに記憶するようにしているが、１６領域につき１領域、６４領域につき１領域の割合とすることも可能である。ただし、補間処理の精度上、本実施形態のように２×２の４領域につき１領域の割合で疑似逆行列パラメータをＳＰＩフラッシュメモリに記憶するのが好ましい。
【００４１】
すべての画素について個別に疑似逆行列パラメータを用意する場合には、全疑似逆行列パラメータのデータ量が約２６Ｍバイトにもなり、疑似逆行列パラメータを格納しておくメモリとして、２６Ｍバイト以上の大容量メモリが必要であったところ、本実施形態によれば、同じ疑似逆行列パラメータを使い回すことで全疑似逆行列パラメータのデータ量を約０．４Ｍバイトにまで低減できるとともに、更に、補間処理を用いることでそのデータ量を１／４に低減できる。したがって、本実施形態によれば、全疑似逆行列パラメータのデータ量を約０．１Ｍバイトにまで低減できる。
【００４２】
特に、上述したように、疑似逆行列パラメータの１要素あたりのデータ量を例えば１バイトに減らした場合、同じ疑似逆行列パラメータを使い回すとともに、上述した補間処理を用いることで、全疑似逆行列パラメータのデータ量を約０．０２５Ｍバイトにまで低減することが可能である。すなわち、疑似逆行列パラメータのデータ量として約２６Ｍ倍バイトという大きなデータ量が必要であった場合と比較して、疑似逆行列パラメータのデータ量を０．１％にまで圧縮することが可能となる。
【００４３】
図１４は、すべての画素について予め個別に用意しておいた疑似逆行列パラメータ（疑似逆行列パラメータの全データ量＝約２６Ｍバイト）を用いて得た差分偏光度画像の一例を示すものである。
図１５は、本実施形態のように同じ疑似逆行列パラメータを使い回すとともに上述した補間処理を行って得た差分偏光度画像（疑似逆行列パラメータの全データ量＝約０．０２５Ｍバイト））の一例を示すものである。
これらの図において、差分偏光度は画像中の各画素の輝度によって表現されている。これらの図を比較してわかるように、両者の間には輝度の違いがほとんど見受けられず、差分偏光度の違いはほとんどない。したがって、疑似逆行列パラメータの全データ量を０．１％にまで圧縮しても、高い精度の差分偏光度画像を得ることができる。
【００４４】
本実施形態では、光学フィルタ２の各フィルタ領域２ａ，２ｂの配列パターン（領域分割パターン）が、縦に４８０画素、横に７５２画素の有効画素で構成される画像センサ４に対し、横に２画素分、縦に１画素分の傾きを有するストライプ状のパターンである例について説明したが、横に１画素分、縦に２画素分の傾きを有するストライプ状のパターンであっても同じである。この傾きは、適宜設定され、例えば傾きを１に設定してもよい。
【００４５】
〔変形例１〕
図１６は、各フィルタ領域２ａ，２ｂの傾きが１／３となるように構成された変形例１に係る光学フィルタ２と画像センサ４の画素との対応関係を示す説明図である。
図１７は、本変形例１における一の単位処理領域に存在する６種類の共通単位画素の分布を示す説明図である。
本変形例１の光学フィルタのように各フィルタ領域２ａ，２ｂの傾きが１／３となるように構成されている場合、全体で６種類の共通単位画素が存在することになり、その分布は図１７に示すものを繰り返したものとなる。本変形例１では、共通単位画素の種類が６種類であることを考慮して、一の単位処理領域を６×６画素で構成した。この場合、その区分数はおよそ１００８０個となるので、全体で６×１００８０＝６０４８０個の疑似逆行列パラメータが必要となる。よって、疑似逆行列パラメータ１個あたりのデータ量を１８バイトであるとすると、疑似逆行列パラメータの全データ量は１０８８６４０バイト（約１．１Ｍバイト）となる。
【００４６】
そして、上述した実施形態と同様の補間処理を行うことで、疑似逆行列パラメータの全データ量は更に１／４に圧縮できるので、本変形例によれば、疑似逆行列パラメータの全データ量を約０．２７Ｍバイトにまで低減することができる。
傾きが３である場合も同様である。
【００４７】
〔変形例２〕
図１８は、各フィルタ領域２ａ，２ｂの傾きが２／３となるように構成された変形例２に係る光学フィルタ２と画像センサ４の画素との対応関係を示す説明図である。
図１９は、本変形例２における一の単位処理領域に存在する１２種類の共通単位画素の分布を示す説明図である。
本変形例２の光学フィルタのように各フィルタ領域２ａ，２ｂの傾きが２／３となるように構成されている場合、全体で１２種類の共通単位画素が存在することになる。本変形例２では、共通単位画素の種類が１２種類であることを考慮して、一の単位処理領域を８×８画素で構成した。この場合、その区分数は５６４０個となるので、全体で１２×５６４０＝６７６８０個の疑似逆行列パラメータが必要となる。よって、疑似逆行列パラメータ１個あたりのデータ量を１８バイトであるとすると、疑似逆行列パラメータの全データ量は１２１８２４０バイト（約１．２Ｍバイト）となる。
【００４８】
そして、上述した実施形態と同様の補間処理を行うことで、疑似逆行列パラメータの全データ量は更に１／４に圧縮できるので、本変形例によれば、疑似逆行列パラメータの全データ量を約０．３Ｍバイトにまで低減することができる。
【００４９】
本実施形態（各変形例を含む。以下同じ。）においては、光学フィルタ２に備わった複数種類のフィルタ領域が、光をそのまま透過する透過領域２ａと横偏光成分のみを選択的に透過させる横偏光フィルタ領域２ｂとである場合であったが、これに限られるものではない。例えば、光をそのまま透過する透過領域と縦偏光成分のみを選択的に透過させる縦偏光フィルタ領域とである場合や、縦偏光成分のみを選択的に透過させる縦偏光フィルタ領域と横偏光成分のみを選択的に透過させる横偏光フィルタ領域とである場合でも、同様の演算精度で差分偏光度画像を得ることができる。
また、本実施形態においては、光学フィルタ２に備わった複数種類のフィルタ領域が画像センサ４の縦方向及び横方向のいずれにも傾斜するように構成されたものであったが、画像センサ４の縦方向及び横方向のいずれか一方に平行である構成としてもよい。ただし、この場合には、各フィルタ領域を透過した両方の光が１つの画素内で受光されるように構成する。
【００５０】
〔実施例〕
以下、本発明の実施例について説明する。
図２０は、本実施例に係る偏光カメラ１０の概略構成を示すブロック図である。
画像センサ４から出力される各画素の受光量に応じたアナログ電気信号は、Ａ／Ｄ変換部５でデジタル信号である画素データに変換され、その画素データは垂直同期信号及び水平同期信号とともに信号処理部６へ順次出力する。信号処理部６に順次入力された垂直同期信号及び水平同期信号並びに画素データは、信号処理部６内のラインバッファ部３１に一時的に保持される。このラインバッファ部３１には、少なくとも直前２ライン分の画素データが保持される。そして、ラインバッファ部３１は、保持している直前２ライン分の画素データと信号処理部６に入力されてくる最新の１ライン分の画素データとを含む３ライン分の画素データから、画像処理の対象となる注目画素及びその周辺画素からなる３×３画素分の画素データＩ１〜Ｉ９を選択して、差分偏光度画像生成部５０へ出力する。そして、差分偏光度画像生成部５０は、入力された３×３画素分の画素データＩ１〜Ｉ９と、パラメータ記憶手段としてのＳＰＩフラッシュメモリ３２に格納されていた当該注目画素に対応する擬似逆行列パラメータとを用いて、上記数３に示した式より、当該注目画素で受光した光の縦偏光強度Ｖと横偏光強度Ｈとを算出し、その算出結果から当該注目画素についての差分偏光度を算出する。算出した差分偏光度は、差分偏光度画像のデータ（画素値）として、水平・垂直同期信号とともに後段の機器へと順次出力される。このような画像処理を画像センサ４の有効画素全体について行うことで、各画素についての差分偏光度を画素値とした差分偏光度画像が生成される。
【００５１】
ここで、本実施例における差分偏光度画像生成部５０の構成及び動作について説明する。
図２１は、差分偏光度画像生成部５０の内部構成を示すブロック図である。
この差分偏光度画像生成部５０は、ＦＰＧＡで構成されていて、画素データＩ１〜Ｉ９と擬似逆行列パラメータとから当該画素についての縦偏光強度Ｖと横偏光強度Ｈを算出して、その算出結果から当該画素についての差分偏光度を算出する画像処理をハードウェア処理により実現している。この画像処理で用いるすべての擬似逆行列パラメータは、予めＦＰＧＡ内部に設けられた擬似逆行列パラメータ格納用ＢＲＡＭ（Block-RAM）にロードしておく。
【００５２】
差分偏光度画像生成部５０のＢＲＡＭアドレス計算部５１は、垂直同期信号と水平同期信号を受け取ることで、その画像処理に使用する擬似逆行列パラメータが格納されているＢＲＡＭアドレス値を計算する。本実施例におけるＢＲＡＭアドレス計算部５１の出力タイミングチャートは図２２に示すとおりである。
【００５３】
差分偏光度画像生成部５０の係数生成部５２は、ＢＲＡＭアドレス計算部５１から出力されるＢＲＡＭアドレス値を受け取ったら、そのＢＲＡＭアドレス値に格納されている擬似逆行列パラメータを偏光分離処理部５３へ出力する。本実施例における係数生成部５２の内部構成図を図２３に示す。また、本実施例における単位処理領域の区分を図２４に示す。また、擬似逆行列パラメータが格納される擬似逆行列パラメータ格納用ＢＲＡＭのアドレスマップを図２５に示す。上述した補間処理は、係数生成部５２のパラメータ算出部において実行される。
【００５４】
差分偏光度画像生成部５０の偏光分離処理部５３は、ラインバッファ部３１から出力される９個の画素データＩ１〜Ｉ９と、係数生成部５２から出力される１８個の要素Ａ１〜Ａ１８をもつ擬似逆行列パラメータとを受け取り、上記数３に示した式より、横偏光成分Ｈと縦偏光成分Ｖを算出する。本実施例における偏光分離処理部５３の内部構成を図２６に示す。
【００５５】
差分偏光度画像生成部５０の差分偏光度計算部５４は、偏光分離処理部５３から出力される横偏光成分Ｈと縦偏光成分Ｖを受け取ったら、差分偏光度Ｐ＝（Ｈ−Ｖ）／（Ｈ＋Ｖ）を計算する。通常の場合、差分偏光度Ｐは−１〜１の範囲内の値をとるので、小数部分をビット表現したものが差分偏光度計算部５４から出力されることになる。本実施例における差分偏光度計算部５４の内部構成図を図２７に示す。
【００５６】
差分偏光度画像生成部５０の差分偏光度画像計算部５５は、差分偏光度計算部５４から出力された差分偏光度Ｐを受け取ったら、小数部分をビット表現した差分偏光度Ｐを、差分偏光度画像の画素値へ変換して出力する処理を行う。具体的には、この処理は、−１〜１の範囲内の値を示す差分偏光度Ｐを０〜１０２２の範囲にスケーリングして、スケーリング後の値を差分偏光度画像の画素値として出力する処理である。このとき、差分偏光度Ｐが−１〜１の範囲外である場合、その差分偏光度Ｐは異常な値である可能性が高い。よって、−１〜１の範囲外の値を示す差分偏光度Ｐについては、異常指示値である１０２３を画素値として出力する。本実施例における差分偏光度画像計算部５５の内部構成図を図２８に示す。
【００５７】
また、本実施形態の差分偏光度画像計算部５５は、図２１に示すように、遅延処理部５６を介して画素データＩ１〜Ｉ９（ＲＡＷデータ）を取得する。そして、各画素データＩ１〜Ｉ９のいずれかが、所定の黒つぶれ閾値以下である場合、あるいは、所定の飽和閾値以上である場合には、これらの画素データＩ１〜Ｉ９から算出された差分偏光度Ｐの画素値として、異常指示値である１０２３を出力する。
【００５８】
各画素データＩ１〜Ｉ９のいずれかが、所定の黒つぶれ閾値以下であるか、あるいは、所定の飽和閾値以上であるかを検出する方法としては、例えば、これらの閾値を表すレジスタを用意して、それと各画素データＩ１〜Ｉ９とを比較して判定する方法が好適である。黒つぶれ閾値は、ゼロに近い値が設定されるが、必ずしもゼロである必要はない。同様に、飽和閾値は、Ａ／Ｄ変換部５から出力されるデジタル電気信号（画素データ）の上限値に近い値が設定されるが、必ずしも当該上限値である必要はない。これらの閾値は、適宜変更可能に構成するのが好ましい。
【００５９】
このような処理を行うことで、差分偏光度画像データの各画素値は、正常値については０〜１０２２の範囲を示し、異常値については１０２３を示すものとなる。このような差分偏光度画像データを、路面及び立体物を判別するための処理（後段の情報処理）で使用する際、異常な値が示された画素については、例えば、これを除外して処理したり、これを補正して使用したりして、適切な異常値対応を実行することができる。異常な値が示された画素を補正して使用する方法としては、例えば、差分偏光度画像を２値化処理する際、異常値を示す画素については、その周囲の正常な画素値から「０」又は「１」を割り振る方法が挙げられる。その結果、正常値と異常値とを区別できないまま処理する場合と比較して、路面及び立体物の誤判別などを少なく抑えることができ、路面及び立体物の判定精度を向上させることができる。
【００６０】
次に、本実施例におけるパラメータ制御部４０の構成及び動作について説明する。
本実施例においては、事前にすべての疑似逆行列パラメータを算出しておき、それをＳＰＩフラッシュメモリ３２内に格納してある。本実施例におけるＳＰＩフラッシュメモリ３２のアドレスマップは、図２９及び図３０に示すとおりである。パラメータ制御部４０は、図２０や図２１に示したように、汎用のＣＰＵ４１を備えていて、電源投入時に、ＳＰＩインターフェース４２を通じてＳＰＩフラッシュメモリ３２から擬似逆行列パラメータを読み出し、読み出した全擬似逆行列パラメータを、ＣＰＵバス４３及びＵｓｅｒインターフェース４４を介して、差分偏光度画像生成部５０を構成するＦＰＧＡ内の擬似逆行列パラメータ格納用ＢＲＡＭへ転送する。
【００６１】
次に、電源を投入してから差分偏光度画像を生成するまでの処理フローについて説明する。
電源が投入されると、まず、パラメータ制御部４０のＣＰＵ４１は、ＳＰＩフラッシュメモリ３２内のＦＰＧＡ回路データを、差分偏光度画像生成部５０を構成するＦＰＧＡ内にロードする。その後、ＣＰＵ４１は、擬似逆行列パラメータ転送処理を実行する。この擬似逆行列パラメータ転送処理では、まず、ＣＰＵ４１からＳＰＩインターフェース４２にＲｅａｄ用コマンドを発行する。これにより、ＳＰＩインターフェース４２を介してＳＰＩフラッシュメモリ３２内の擬似逆行列パラメータがＣＰＵ４１に読み込まれる。その後、ＣＰＵ４１はＵｓｅｒインターフェース４４にＷｒｉｔｅ用コマンドを発行する。これにより、Ｕｓｅｒインターフェース４４を介して擬似逆行列パラメータが係数生成部５２内における擬似逆行列パラメータ格納用ＢＲＡＭに書き込まれる。すべての擬似逆行列パラメータが係数生成部５２内の擬似逆行列パラメータ格納用ＢＲＡＭに転送されるまで、上述したＲｅａｄ用コマンドの発行からＷｒｉｔｅ用コマンドの発行までの処理を繰り返し行う。
【００６２】
以上のようにして、ＳＰＩフラッシュメモリ３２内の全擬似逆行列パラメータが係数生成部５２内の擬似逆行列パラメータ格納用ＢＲＡＭに転送されて擬似逆行列パラメータ転送処理が完了したら、差分偏光度画像生成工程に移行する。この差分偏光度画像生成工程では、垂直同期信号と水平同期信号と画素データとが画像センサ４から転送されてくると、まず、垂直同期信号と水平同期信号を参照して、画素ごとに係数生成部５２内の擬似逆行列パラメータ格納用ＢＲＡＭのアドレス値を計算し、そのＢＲＡＭに格納されている擬似逆行列パラメータの要素（１４４ｂｉｔのｂｕｓ信号）を読み出す。そして、読み出した１４４ｂｉｔのｂｕｓ信号を１８要素に分割して、擬似逆行列パラメータの１８要素Ａ１〜Ａ１８を得る。その後、偏光分離処理部５３において、この１８要素の擬似逆行列パラメータを用いて、処理対象となる画素（注目画素）についての横偏光成分Ｈと縦偏光成分Ｖを、当該注目画素及びその周辺画素の画素データＩ１〜Ｉ９から上記数３に示した式より計算する。このようにして算出された横偏光成分Ｈと縦偏光成分Ｖは差分偏光度計算部５４に送られ、差分偏光度計算部５４にて差分偏光度Ｐが算出される。そして、差分偏光度画像計算部５５では、この差分偏光度Ｐを差分偏光度画像の画素値（画像データ）へ変換する処理行う。これにより、差分偏光度画像の１画素についての画像データが得られる。以上のような処理を全画素について行うことで差分偏光度画像が生成される。
【００６３】
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
所定の光学成分を選択的に透過させる選択フィルタ領域を周期的に配列した光学フィルタ２を通じて、フォトダイオード４ａ等の受光素子が２次元配置された画像センサ４等の受光素子アレイにより撮像領域からの光を受光し、該受光素子アレイ上の１つの受光素子又は２つ以上の受光素子に対応する単位画素ごとの受光量に応じた画像信号値を含む画像信号を出力する撮像部等の撮像手段と、該撮像手段から出力された画像信号に対応する単位画素の画素値（０〜１０２２の範囲）を、所定の演算パラメータを用いて、該単位画素の画像信号値と該単位画素周辺に位置する周辺画素の画像信号値とから構成される画像信号値群から算出する信号処理部６等の画素値算出手段とを備えた撮像装置において、上記画像信号値群を構成する画像信号値に基づき、該画像信号値群を構成する画像信号値の中に、所定の値範囲を外れているという異常判定条件を満たす画像信号値が含まれているか否かを判定する差分偏光度画像計算部５５等の異常信号値判定手段を有し、上記画像信号値群を構成する画像信号値の中に上記異常判定条件を満たす画像信号値が含まれていると上記異常信号値判定手段が判定した場合には、上記所定の演算パラメータを用いずに、異常な値であることを示す異常指示値（１０２３）を、該画像信号値群に対応する単位画素の画素値とする処理を実行することを特徴とする。
これによれば、撮像画像の画素値を用いて路面及び立体物を判別する処理等の後段情報処理において、当該画素値が異常値であることを把握することができる。その結果、後段の情報処理では、当該画素値が異常値として取り扱うことができるので、異常値を示す画素値をそのまま正常な画素値として処理してしまうことによる誤判定などの処理結果異常を回避することが可能となる。
【００６４】
（態様Ｂ）
上記態様Ａにおいて、上記異常判定条件は、受光量が所定の黒つぶれ閾値以下である場合に対応した画像信号値であるという条件及び受光量が所定の飽和閾値以上である場合に対応した画像信号値であるという条件の少なくとも一方を含むことを特徴とする。
これによれば、異常値である可能性が高い黒つぶれした画像信号値あるいは飽和した画像信号値を、適切に異常値として取り扱うことができる。
【００６５】
（態様Ｃ）
上記態様Ａ又はＢにおいて、上記画素値算出手段は、上記異常指示値として、上記所定の演算パラメータを用いて算出され得る画素値の数値範囲（０〜１０２２）から外れた値であって、該数値範囲の上限値に隣接する値又は該数値範囲の下限値に隣接する値を用いることを特徴とする。
これによれば、正常値と異常値のデータ処理が容易となる。
【００６６】
（態様Ｄ）
上記態様Ａ〜Ｃのいずれかの態様において、上記選択フィルタ領域は、所定の偏光成分を選択的に透過させる偏光フィルタで構成されていることを特徴とする。
これによれば、受光素子アレイから出力される画像信号から特定の偏光成分を抽出することができる。
【００６７】
（態様Ｅ）
撮像手段が撮像した撮像画像の画素値に基づいて撮像領域内に存在する検出対象物の識別処理を行う物体識別処理手段を有する物体識別装置において、上記撮像手段として、上記態様Ａ〜Ｄのいずれかの態様に係る撮像装置を用い、上記撮像画像の画素値として上記単位画素の画素値を出力するものであり、上記物体識別処理手段は、上記異常指示値を示す画素値を除外した残りの画素値に基づいて上記識別処理を行うことを特徴とする。
これによれば、異常値を示す画素による識別処理の異常を回避することができる。
【００６８】
以上の説明では、光学フィルタ２の選択フィルタ領域を、所定の偏光成分を選択的に透過させる偏光フィルタで構成して、互いに異なる２つの偏光成分から差分偏光度画像を生成する場合について説明したが、光学フィルタ２の選択フィルタ領域を、特定の波長成分を選択的に透過させる分光フィルタで構成して、互いに異なる複数の波長成分から例えば色分解画像を生成する場合でも、本発明を同様に適用できる。
また、本実施形態に係る運転者支援システムは、そのシステム全体が車両に搭載されているが、必ずしもシステム全体が車両に搭載されている必要はない。したがって、例えば、偏光カメラ１０のみを自車に搭載して、残りのシステム構成要素を自車とは別の場所に遠隔配置するようにしてもよい。この場合、車両の走行状態を運転者以外の者が客観的に把握するシステムとすることもできる。
また、本発明に係る撮像装置は、本実施形態に限らず、幅広い分野に応用することができる。
【符号の説明】
【００６９】
１  撮像レンズ
２  光学フィルタ
２ａ  透過領域
２ｂ  横偏光フィルタ領域
４  画像センサ
４ａ  フォトダイオード（受光素子）
５  Ａ／Ｄ変換部
６  信号処理部
１０  偏光カメラ
３１  ラインバッファ部
３２  ＳＰＩフラッシュメモリ
４０  パラメータ制御部
４１  ＣＰＵ
５０  差分偏光度画像生成部
５１  アドレス計算部
５２  係数生成部
５３  偏光分離処理部
５４  差分偏光度計算部
５５  差分偏光度画像計算部
【先行技術文献】
【特許文献】
【００７０】
【特許文献１】特開２００７−０８６７２０号公報
【特許文献２】特許３７７１０５４号公報
【図１】
0005867806.tif 000005
【図２】
0005867806.tif 000006
【図３】
0005867806.tif 000007
【図６】
0005867806.tif 000008
【図７】
0005867806.tif 000009
【図８】
0005867806.tif 000010
【図９】
0005867806.tif 000011
【図１０】
0005867806.tif 000012
【図１１】
0005867806.tif 000013
【図１２】
0005867806.tif 000014
【図１３】
0005867806.tif 000015
【図１６】
0005867806.tif 000016
【図１７】
0005867806.tif 000017
【図１８】
0005867806.tif 000018
【図１９】
0005867806.tif 000019
【図２０】
0005867806.tif 000020
【図２１】
0005867806.tif 000021
【図２２】
0005867806.tif 000022
【図２３】
0005867806.tif 000023
【図２４】
0005867806.tif 000024
【図２５】
0005867806.tif 000025
【図２６】
0005867806.tif 000026
【図２７】
0005867806.tif 000027
【図２８】
0005867806.tif 000028
【図２９】
0005867806.tif 000029
【図３０】
0005867806.tif 000030
【図３１】
0005867806.tif 000031
【図４】
0005867806.tif 000032
【図５】
0005867806.tif 000033
【図１４】
0005867806.tif 000034
【図１５】
0005867806.tif 000035