(57)【特許請求の範囲】
【請求項１】
異なる偏光状態を有する偏光部材を備えた撮像装置により、光透過性および光反射性を有する光学部材を通して被写体を撮像して生成した異なる偏光状態に対応する画像情報を処理する画像処理装置であって、
前記異なる偏光状態に対応する画像情報を用いて、前記異なる偏光状態に対応する画像情報における前記光学部材での反射光に対応する成分を制御する画像処理手段を有し、
前記画像処理手段は、前記光学部材での透過光と反射光との混合光の強度を表す第１の情報を取得する第１の手段と、前記画像情報から、前記光学部材での反射光の強度に比例する第２の情報を取得する第２の手段と、前記第１の情報および第２の情報から、前記反射光の強度の推定値を取得する第３の手段と、前記推定値に基づいて、前記第１の情報の値を制御する第４の手段と、を有する画像処理装置。
【請求項２】
請求項１に記載された画像処理装置において、
前記画像処理手段は、前記反射光に対応する成分を低減させる、画像処理装置。
【請求項３】
請求項１に記載された画像処理装置において、
前記画像処理手段は、前記反射光に対応する成分を増加させる、画像処理装置。
【請求項４】
請求項１乃至３のいずれかに記載された画像処理装置において、
前記第３の手段は、画像の所定の領域内の前記第１の情報の値の平均値および前記第２の情報の値の平均値に基づいて前記反射光の強度の推定値を算出する、画像処理装置。
【請求項５】
請求項１乃至４のいずれかに記載された画像処理装置において、
前記異なる偏光状態は、偏光なしと、偏光ありであり、
前記第２の情報は、偏光なしの画素の画素値から、前記撮像装置が無偏光の光を受光したときの偏光なしの画素の画素値と偏光ありの画像の画素値の比の値である係数に偏光ありの画素の画素値を乗算した値を減算した値である、画像処理装置。
【請求項６】
異なる偏光状態を有する偏光部材を備えた撮像装置により、光透過性および光反射性を有する光学部材を通して被写体を撮像して生成した異なる偏光状態に対応する画像情報を処理する画像処理方法であって、
前記異なる偏光状態に対応する画像情報を用いて制御情報を生成するステップと、
前記制御情報を用いて、前記異なる偏光状態に対応する画像情報における前記光学部材での反射光に対応する成分を制御するステップと、
を有し、
前記制御情報を生成するステップは、前記光学部材での透過光と反射光との混合光の強度を表す第１の情報を取得する第１のステップと、前記画像情報から、前記光学部材での反射光の強度に比例する第２の情報を取得する第２のステップと、前記第１の情報および第２の情報から、前記反射光の強度の推定値を取得する第３のステップと、を有し、
前記制御するステップは、前記推定値に基づいて、前記第１の情報の値を制御する第４のステップを有する画像処理方法。
【請求項７】
異なる偏光状態を有する偏光部材を備えた撮像部と、
前記撮像部が、光透過性および光反射性を有する光学部材を通して被写体を撮像して異なる偏光状態に対応する画像情報を生成したとき、前記画像情報を用いて、画像情報における前記光学部材での反射光に対応する成分を制御する画像処理手段と、
を有し、
前記画像処理手段は、前記光学部材での透過光と反射光との混合光の強度を表す第１の情報を取得する第１の手段と、前記画像情報から、前記光学部材での反射光の強度に比例する第２の情報を取得する第２の手段と、前記第１の情報および第２の情報から、前記反射光の強度の推定値を取得する第３の手段と、前記推定値に基づいて、前記第１の情報の値を制御する第４の手段と、を有する撮像システム。
【請求項８】
異なる偏光状態を有する偏光部材を備えた撮像部と、
前記撮像部が、光透過性および光反射性を有する光学部材を通して被写体を撮像して異なる偏光状態に対応する画像情報を生成したとき、前記画像情報を用いて、画像情報における前記光学部材での反射光に対応する成分を制御する画像処理手段と、
前記画像処理手段の出力を保存する保存手段と、
を有し、
前記画像処理手段は、前記光学部材での透過光と反射光との混合光の強度を表す第１の情報を取得する第１の手段と、前記画像情報から、前記光学部材での反射光の強度に比例する第２の情報を取得する第２の手段と、前記第１の情報および第２の情報から、前記反射光の強度の推定値を取得する第３の手段と、前記推定値に基づいて、前記第１の情報の値を制御する第４の手段と、を有する画像処理システム。
【請求項９】
コンピュータを請求項１乃至５のいずれかに記載された画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、撮像システム、画像処理システム、およびプログラムに関する。
【背景技術】
【０００２】
従来から、一般道や高速道における通行車両を監視する目的で、車両の交通監視システムがある。公知の交通監視システムとして、主に車両のナンバーや車両内の運転者などの人物を、監視カメラを使って取得するシステムが知られている。
【０００３】
すなわち、例えば特許文献１には、車両内の運転者を特定するため、車両のフロントガラスを通して（フロントガラス越しに）被写体としての運転者の画像を取得するとき、例えば太陽光により照射される光の成分のうち、フロントガラスでの反射成分と運転手の顔での反射成分とを偏光フィルタを利用して切り分け、フロントガラスからの反射成分を除去することにより、運転手の顔からの反射成分の画像を取得するシステムが記載されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載されているシステムは、フロントガラスでの反射成分の除去性能が反射成分の偏光状態に依存する。すなわち、反射成分が偏光していない場合や、反射成分の偏光方向と偏光フィルタの偏光方向とが同じ場合には、反射成分を除去できないという問題がある。
【０００５】
図１３を用いて説明する。
図１３Ａは偏光フィルタを設けない場合のフロントガラスでの反射光（偏光有）、フロントガラスでの透過光（偏光無）、およびカメラでの検出光の関係を示している。この場合、検出光の強度は反射光と透過光の混合光の強度、すなわち２種類の光の強度の和となる。
【０００６】
図１３Ｂは特定の偏光軸を持つ偏光フィルタを設けることで、フロントガラスでの反射光が完全に除去された理想的な場合のフロントガラスでの反射光、フロントガラスでの透過光、およびカメラでの検出光の関係を示している。この場合、検出光の強度は理想的には透過光の強度の１／２となる。
【０００７】
図１３Ｃは特定の偏光軸を持つ偏光フィルタを設けても、フロントガラスでの反射光の一部しか除去されない場合のフロントガラスでの反射光、フロントガラスでの透過光、およびカメラでの検出光の関係を示している。この場合、検出光の強度は透過光の強度の１／２（理想値）と除去されなかった反射光の強度（残差）との和となる。
【０００８】
本発明は、このような問題を解決するためになされたものであり、その目的は、車両のフロントガラスのような光透過性および光反射性を有する光学部材を通して被写体の画像を取得するとき、前記光学部材での反射成分の偏光状態にかかわらず、反射成分の強度を制御できるようにすることである。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、異なる偏光状態を有する偏光部材を備えた撮像装置により、光透過性および光反射性を有する光学部材を通して被写体を撮像して生成した異なる偏光状態に対応する画像情報を処理する画像処理装置であって、前記異なる偏光状態に対応する画像情報を用いて、前記異なる偏光状態に対応する画像情報における前記光学部材での反射光に対応する成分を制御する画像処理手段を有し、前記画像処理手段は、前記光学部材での透過光と反射光との混合光の強度を表す第１の情報を取得する第１の手段と、前記画像情報から、前記光学部材での反射光の強度に比例する第２の情報を取得する第２の手段と、前記第１の情報および第２の情報から、前記反射光の強度の推定値を取得する第３の手段と、前記推定値に基づいて、前記第１の情報の値を制御する第４の手段と、を有する画像処理装置である。
【発明の効果】
【００１０】
本発明によれば、光透過性および光反射性を有する光学部材を通して被写体の画像を取得するとき、前記光学部材での反射成分の偏光状態にかかわらず、反射成分の強度を制御することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る画像処理システムの設置環境について説明するための図である。
【図２】本発明の実施形態に係る画像処理システムに入射する光線の経路について模式的に説明するための図である。
【図３】本発明の実施形態に係る情報処理システムの概略構成を示す図である。
【図４】本発明の実施形態に係る偏光カメラのハードウェア構成を示すブロック図である。
【図５】本発明の実施形態に係る映像サーバーのハードウェア構成を示すブロック図である。
【図６】図４におけるイメージセンサの構成例を示す図である。
【図７】図６における偏光フィルタとカラーフィルタとの対応関係の例を示す図である。
【図８】本発明の第１の実施形態に係る偏光カメラの構成を示すブロック図である。
【図９】図８における反射成分推定部の処理を示すフローチャートである。
【図１０】図８における反射成分推定部の入力情報について説明するための図である。
【図１１】本発明の第２の実施形態に係る偏光カメラの構成を示すブロック図である。
【図１２】本発明の実施形態に係る情報処理システムの概略動作を示すフローチャートである。
【図１３】偏光フィルタによりフロントガラスでの反射成分を除去する場合の問題点について説明するための図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照して説明する。
〈画像処理システムの設置環境〉
図１は、本発明の実施形態に係る画像処理システムの設置環境について説明するための図であり、図２は、本発明の実施形態に係る画像処理システムに入射する光線の経路について模式的に説明するための図である。
【００１３】
図１に示すように、第１の画像処理システム１−１乃至第ｎ（ｎは２以上の整数）の画像処理システム１−ｎ（各画像処理システムを区別しないときは画像処理システム１という）が側道３に設置されている。各画像処理システム１−１乃至１−ｎは、所定の高さに保持されたキャビンと呼ばれる窓付きのケースに収納されている。
【００１４】
図２に示すように、画像処理システム１には、太陽から出射し、車両４のフロントガラス（光透過性および光反射性を有する光学部材）で反射した光（以下、太陽光のフロントガラスでの反射光）と、太陽から出射し、車両４のフロントガラスを透過し、車両４の内部の運転者（被写体）で反射し、再度フロントガラスを透過した光（以下、太陽光の対象部での反射光）と、太陽から出射し、まだら雲などの雲により散乱され、車両４のフロントガラスで反射した光（以下、雲による散乱光の照り返し光）が入射する。
【００１５】
なお、図示を省略したが、照り返し光としては、雲による散乱光の照り返し光以外に、周辺に存在する建物による散乱光や木漏れ日などの照り返し光が入射することもある。以下、これらの照り返し光を環境による照り返し光という。
【００１６】
ここで、太陽光のフロントガラスでの反射光は、縦方向の矢印が示すように、ある方向の偏光成分が多い光である。雲による散乱光の照り返し光も同じ方向の偏光成分が多い光である。また、太陽光の対象部での反射光は、縦方向の矢印および横方向の矢印が示すように無偏光である。
【００１７】
画像処理システム１は、入射光を所定の偏光フィルタに通し、電気信号に変換して、後述する所定の画像処理を施すことにより、太陽光のフロントガラスでの反射光の成分および環境による照り返し光の成分を低減し、車両４の内部の可視化画像を生成し、ネットワーク経由でデータセンターへ送信する。
【００１８】
〈情報処理システムの概略構成〉
図３は、本発明の実施形態に係る情報処理システムの概略構成を示す図である。
図示のように、この情報処システムは、第１の画像処理システム１−１、第２の画像処理システム１−２、・・・第ｎの画像処理システム１−ｎと、各画像処理システムとインターネットなどのネットワーク５を介して接続されるデータセンター６により構成される。
【００１９】
第１の画像処理システム１−１は、偏光カメラ１００−１および映像サーバー２００−１を備えている。偏光カメラ１００−１は、入射光を所定の偏光フィルタに通し、電気信号に変換して、後述する所定の画像処理を施すことにより、太陽光のフロントガラスでの反射光の成分および環境による照り返し光の成分を低減し、車両４の内部の可視化画像を生成し、映像サーバー２００−１へ出力する。映像サーバー２００−１は、偏光カメラ１００−１から出力された可視化画像を格納した後、データセンター６へ送信する。データセンター６は、映像サーバー２００−１から送信された可視化画像を受信し、認識処理等を行う。
【００２０】
第２の画像処理システム１−２乃至第ｎの画像処理システム１−ｎも同様に構成されており、同様に動作する。なお、以下の説明では、各画像処理システムに偏光カメラ、映像サーバーを区別しない場合、偏光カメラ１００、映像サーバー２００とする。
【００２１】
〈偏光カメラのハードウェア構成〉
図４は、偏光カメラのハードウェア構成を示すブロック図である。
図示のように、偏光カメラ１００は、撮像装置としての撮像部１０１、および信号処理基板１７０を備えている。
【００２２】
撮像部１０１は、イメージセンサ１５０と、センサコントローラ１６０を備えている。イメージセンサ１５０は、入射光を電気信号に変換し、センサコントローラ１６０へ出力する。センサコントローラ１６０は、イメージセンサ１５０の露光制御、読み出し制御、信号処理基板１７０との通信、画像データの送信の役割を担う。
【００２３】
信号処理基板１７０は、ＦＰＧＡ１７１、ＣＰＵ１７２、ＲＯＭ（書き換え可能なものも含む）１７３、ＲＡＭ１７４、シリアルＩ／Ｆ（インタフェース）１７５、データバス１７６、およびシリアルバス１７７を備えている。
【００２４】
センサコントローラ１６０から出力される画像データは、データバス１７６を介してＲＡＭ１７４に転送される。ＦＰＧＡ１７１は、ＲＡＭ１７４に記憶されている画像データに対してリアルタイム性が要求される処理を実行し、ＲＡＭ１７４に書き戻す。ＣＰＵ１７２は、ＲＡＭ１７４を作業エリアとしてＲＯＭ１７３に格納されているコンピュータプログラムを実行することにより、信号処理基板１７０全体の動作の制御、画像処理などを行う。また、ＣＰＵ１７２は、画像処理を受けた画像データ（ここでは、車両内部の可視化画像）をシリアルＩ／Ｆ１７５を介して映像サーバー２００へ送信する。また、ＦＰＧＡ１７１あるいはＣＰＵ１７２は、イメージセンサ１５０の露光制御値変更、画像読み出しパラメータ変更などの各種設定データの送受信を行う。
【００２５】
〈映像サーバーのハードウェア構成〉
図５は、映像サーバーのハードウェア構成を示すブロック図である。
図示のように、映像サーバー２００は、バス２１０と、バス２１０に接続されたＣＰＵ２２０、ＲＯＭ２３０、ＲＡＭ２４０、ＨＤＤ（ハードディスク）２５０、シリアルＩ／Ｆ２６０、およびネットワークＩ／Ｆ２７０を備えている。
【００２６】
ＣＰＵ２２０は、ＲＡＭ２４０を作業エリアとしてＲＯＭ２３０に格納されているコンピュータプログラムを実行することにより、映像サーバー２００全体の動作の制御を行う。シリアルＩ／Ｆ２６０は撮像部１０１のシリアルＩ／Ｆ１７５から送信された画像データ（車両内部の可視化画像）を受信する。ＨＤＤ２５０はシリアルＩ／Ｆ２６０により受信された画像データを保存する。ネットワークＩ／Ｆ２７０はネットワーク５を介してデータセンター６と通信を行うことで、車両内部の可視化画像をデータセンター６へ送信する。
【００２７】
〈イメージセンサの構成〉
図６は、図４におけるイメージセンサの構成例を示す図である。ここで、図６Ａは、偏光部材としての偏光フィルタ層がレンズの前方に配置されている構成例であり、図６Ｂは、偏光フィルタ層がレンズの後方に配置されている構成例である。
【００２８】
図６Ａに示すイメージセンサでは、偏光フィルタ層１５１、マイクロレンズ１５２、カラーフィルタ層１５３、受光素子１５４の順に配置されている。また、図６Ｂに示すイメージセンサでは、マイクロレンズ１５２、偏光フィルタ層１５１、カラーフィルタ層１５３、受光素子１５４の順に配置されている。
【００２９】
カラーフィルタ層１５３を構成するカラーフィルタは個別の画素で色が異なる。一般には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３種類からなり、２画素のＧと、１画素ずつのＲおよびＢからなる４画素で単一のマトリックスを構成し、このマトリックスが水平方向および垂直方向に周期的に並んでいる。
【００３０】
偏光フィルタ層１５１には、カラーフィルタの画素パターンに合わせて偏光フィルタの画素パターンが設定されている。この画素パターン同士の対応関係については後述する。
【００３１】
なお、偏光フィルタ層１５１の位置は、図６Ａおよび図６Ｂに示す位置に限るものではなく、各画素に対して個別に機能するように設定されていれば、どこに配置してもかまわない。
【００３２】
〈偏光フィルタとカラーフィルタとの対応関係〉
図７は、図６における偏光フィルタ層の画素パターンとカラーフィルタ層の画素パターンとの対応関係の例を示す図である。ここでは、偏光フィルタの単一のマトリックスと、カラーフィルタの単一のマトリックスとの対応関係の例として図７Ａ乃至図７Ｆに示す６つの例を挙げた。以下、これらの図におけるマトリックスの左上、右上、左下、右下の画素をPix1、Pix2、Pix3、Pix4として説明する。
【００３３】
図７Ａに示す第１の例では、Pix1、Pix2、Pix3、Pix4に対して、カラーフィルタ層１５３のＲ（赤色フィルタ画素）、Ｇ（緑色フィルタ画素）、Ｇ、Ｂ（青色フィルタ画素）と、偏光フィルタ層１５１のＣ、Ｃ、Ｖ、Ｃが対応付けられている。ここで、Ｃ（Clear）は全偏光成分を透過させる画素（偏光フィルタを備えていない画素）である。また、Ｖ（Vertical）は垂直方向の電界成分を透過させる画素（特定方向軸の偏光フィルタを備えている画素）である。なお、後述するＨ（Horizontal）は水平方向の電界成分を透過させる画素（特定方向軸の偏光フィルタを備えている画素）である。
【００３４】
この図に示す画素配置では、Pix1、Pix2、Pix4にて輝度カラー画像情報とする。また、Pix2、Pix3から偏光画像を生成する。すなわち、例えば、Pix3（Ｇ画素、かつＶ画素）をそのまま用いたり、Pix2とPix3との差分画素を用いたりすることもできる。差分信号として、下記の式〔１〕が成り立つ。
「（Ｇ画素、かつＨ画素）の輝度値」＝「Pix2（Ｇ画素、かつＣ画素）の輝度値」−「Pix3（Ｇ画素、かつＶ画素）の輝度値」  …式〔１〕
【００３５】
ここで、輝度カラー画像とは、Ｒ、Ｇ、Ｂ３色の成分から演算・生成される画像とする。また、偏光画像とは、垂直方向もしくは水平方向の電界振動成分を透過させる（偏光軸を持つ）画素により生成される画像のことである。また、輝度カラー画像、偏光画像の出力を行う際には、上記の演算に加えて、単一マトリックスの隣接マトリックス画素を用いた補間処理なども行う。
【００３６】
図７Ｂに示す第２の例では、Pix1、Pix2、Pix3、Pix4に対して、カラーフィルタ層１５３のＲ、Ｇ、Ｇ、Ｂと、偏光フィルタ層１５１のＣ、Ｃ、Ｈ、Ｃが対応付けられている。すなわち、第１の例におけるＶをＨに変更したものである。前述した差分の式が成立することから、Ｈ画素、Ｖ画素のどちらを配置しても偏光画像を得ることができる。
【００３７】
図７Ｃに示す第３の例では、Pix1、Pix2、Pix3、Pix4に対して、カラーフィルタ層１５３のＲ、Ｇ、Ｇ、Ｂと、偏光フィルタ層１５１のＣ、Ｖ、Ｈ、Ｃが対応付けられている。偏光画像はPix2、Pix3から生成される。輝度カラー画像については、Pix1、Pix4からそれぞれＲ成分、Ｂ成分が生成され、「Pix2＋Pix3」からＧ成分が生成される。これは前述の式の差分（Ｈ＝Ｃ−Ｖ、すなわちＣ＝Ｖ＋Ｈ）が成立するとの考えに基づく。
【００３８】
図７Ｄに示す第４の例では、Pix1、Pix2、Pix3、Pix4に対して、カラーフィルタ層１５３のＲ、Ｇ、Ｇ、Ｂと、偏光フィルタ層１５１のＣ、Ｈ、Ｖ、Ｃが対応付けられている。
【００３９】
第３の例、第４の例では、画像全体の輝度成分が均一化され、ダイナミックレンジを向上させる効果がある。被写体にもよるが、一般にＧ画素はＲ画素、Ｂ画素よりも高輝度となり、撮影条件により飽和しやすくなる。同じくＧ画素に偏光フィルタＶ、Ｈを合わせた場合に対し、偏光フィルタＣを合わせた場合も概ね２倍程度高輝度となり、第１の例および第２の例では、４画素のうち、Pix2のＧ画素が周囲画素に対し輝度が高い状態となる。これに対し、第３の例、第４の例のパターンとすることで、単一マトリックスを構成する４画素のなかで輝度の均一化を図ることができる。
【００４０】
図７Ｅに示す第５の例では、Pix1、Pix2、Pix3、Pix4に対して、カラーフィルタ層１５３のＲ、Ｇ、Ｇ、Ｂと、偏光フィルタ層１５１のＶ、Ｖ、Ｈ、Ｖが対応付けられている。また、図７Ｆに示す第６の例では、Pix1、Pix2、Pix3、Pix4に対して、カラーフィルタ層１５３のＲ、Ｇ、Ｇ、Ｂと、偏光フィルタ層１５１のＨ、Ｈ、Ｖ、Ｈが対応付けられている。
【００４１】
一般に、偏光フィルタを設置した画素は周囲画素と比較し低輝度となる。例えば第１の例について、偏光画像の生成に用いるPix3に対し、周囲画素のPix1,2,4の輝度が高くなる。
【００４２】
このパターン構成では、高輝度のPix1,2,4から、低輝度のPix3へより多くの光成分が混入しクロストークが発生し、Pix3が本来とるべき信号値に対して誤差成分が多く乗ることになる。この現象は、図６Ａで示したような偏光フィルタ層１５１が受光素子１５４からより遠方に配置されている構成の場合に特に顕著である。
【００４３】
これを抑制するために、偏光画素Pix3に対し、上記周囲画素Pix1,2,4の輝度値を相対的に低下させる構成とすることが有効である。第５の例、第６の例に示したような、Pix1,2,4についても偏光フィルタＶもしくはＨを設置することで、この効果を得ることができる。
【００４４】
〈第１の実施形態に係る偏光カメラ〉
図８は、本発明の第１の実施形態に係る偏光カメラの構成を示すブロック図である。
この偏光カメラは、撮像部１０１、第１の手段としての輝度画像生成部１０２、偏光画像生成部１０３、第２の手段および第３の手段としての反射成分推定部１０４、ならびに第４の手段としての反射成分除去処理部１０５を備えている。
【００４５】
ここで、撮像部１０１は図４における撮像部１０１である。また、その他の部分が画像処理装置を構成している。この画像処理装置はＦＰＧＡ１７１、ＣＰＵ１７２、ＲＯＭ１７３、およびＲＡＭ１７４により構成される。
【００４６】
撮像部１０１には、車両内部からのフロントガラスを透過した光（透過光）およびフロントガラスでの反射光の混合光が入射する。輝度画像生成部１０２、偏光画像生成部１０３は、図７を参照して説明した演算により、それぞれ輝度画像、偏光画像を生成する。
【００４７】
反射成分推定部１０４は、輝度画像生成部１０２で生成された輝度画像および偏光画像生成部１０３で生成された偏光画像に基づいて、フロントガラスでの反射光成分を推定する。反射成分推定部１０４の詳細については後述する。反射成分除去処理部１０５は、輝度画像から反射光成分の推定値を除去することにより、車両内部の可視化画像を生成する。
【００４８】
〈反射成分推定部の処理〉
図９は、図８における反射成分推定部の処理を示すフローチャートであり、図１０は、図８における反射成分推定部の入力情報について説明するための図である。
【００４９】
図９に示すように、まず輝度画像生成部１０２で生成された輝度画像の輝度値Ｉの統計量を算出する（ステップＳ１）。算出する統計量としては、画面全体や画面の所定領域内の平均値、標準偏差値などが挙げられる。
【００５０】
次に第１の情報としての輝度値Ｉと、偏光画像生成部１０３で生成された偏光画像の画素値Ｐに予め測定して係数Ｋ１を乗算した値であるＫ１＊Ｐとの差分値Δ（＝Ｉ−Ｋ１＊Ｐ）の統計量を算出する（ステップＳ２）。
【００５１】
ここで、輝度値Ｉと偏光画像の画素値Ｐについて図１０を用いて説明する。
図１０Ａは、強度ａの反射光（偏光有）と、強度ｂの透過光（偏光無）を受光したＣ画素の輝度値を表している。この場合、上記輝度値Ｉに相当するＣ画素の画素値は「ａ＋ｂ」となる。
【００５２】
図１０Ｂは、強度ａの反射光（偏光有）と、強度ｂの透過光（偏光無）を受光したＶ画素およびＨ画素の画素値を表している。この場合、上記画素値Ｐに相当するＶ画素およびＨ画素の画素値は「ａ/Ｋ０＋ｂ／Ｋ１」となる。ここで、Ｋ０、Ｋ１は係数であり、Ｋ１は理想的には２、Ｋ０は反射光（偏光有）全体に対する垂直方向以外または水平方向以外の偏光成分の比率により異なる。本実施形態では、Ｋ１は、自然光のような無偏光の光を予め撮像部１０１に入射させたとき（図１０Ａ、図１０Ｂでａ＝０とき）の「Ｉ／Ｐ」の値を係数Ｋ１としている。
【００５３】
また図１０Ａ、Ｂより、下記の式〔２〕が得られるので、Δの値は反射光の強度ａに比例することが分かる。Δが本発明に係る第２の情報に相当する。
Δ（＝Ｉ−Ｋ１＊Ｐ）＝｛（ａ＋ｂ）−Ｋ１（ａ/Ｋ０＋ｂ／Ｋ１）｝＝｛１−（Ｋ１／Ｋ０）｝ａ  …式〔２〕
【００５４】
次に、ステップＳ１で算出した輝度値Ｉの統計量と、ステップＳ２で算出したΔの統計量とから、係数Ｋ２を求め（ステップＳ３）、Δに係数Ｋ２をかけることで、反射成分の強度Ｋ２＊Δを算出する（ステップＳ４）。Ｋ２＊Δが本発明に制御情報および第３の情報に相当する。
【００５５】
ここで、係数Ｋ２は、「Ｋ２＝Ｉの統計量／Δの統計量」として算出する。このとき採用する統計量としては、Ｋ２の値が「Ｉの平均値／Δの平均値」よりも小さくなるように選択する。すなわち、Δを平均値とした場合は、Ｉを平均値より小さな値（例えば「平均値−３σ」（σは標準偏差値））とする。その理由を説明する。Ｉの信号の平均値±３σをとることで、信号が正規分布していると仮定すると、９９．７％の信号が含まれる。つまり、Ｉの信号の平均値−３σが信号の下限値で平均値−３σをΔの平均値で割ったＫ２を基に、反射成分除去処理部１０５における処理「Ｉ−Ｋ２＊Δ」を行うことにより、殆どの輝度画像から反射光の成分を低減した情報が得られる。なお、Ｋ２の値を「Ｉの平均値／Δの平均値」とした場合、Ｋ２の値が「ａの平均値／Δの平均値」よりも大きくなるため、「Ｉ−Ｋ２＊Δ」により、輝度画像の低輝度部分の情報が失われる。
【００５６】
このように、本発明の第１の実施形態に係る偏光カメラによれば、車両のフロントガラスでの反射成分の偏光状態にかかわらず、反射成分の強度を表す情報を取得し、反射成分を除去することができる。
【００５７】
〈第２の実施形態に係る偏光カメラ〉
図１１は、本発明の第２の実施形態に係る偏光カメラの構成を示すブロック図である。この図において、図８（第１の実施形態）と同一の部分または対応する部分には、図８と同じ参照符号が付されている。これらの部分については、必要な場合を除き、その説明を省略する。
【００５８】
この偏光カメラは、本発明に係る第４の手段として、第１の実施形態に係る偏光カメラの反射成分除去処理部１０５に代わりに反射成分増強処理部１０６を設けたものである。反射成分増強処理部１０６は、輝度画像の輝度値Ｉに反射成分推定値Ｋ２＊Δを加えることで、反射成分を増加させる。
【００５９】
この結果、反射成分増強処理部１０６の出力は、フロントガラス内の被写体が見えにくい不可視画像となる。したがって、この偏光カメラは、撮像された人物のプライバシーを保護する場合（例えば、データセンター６では、この偏光カメラで取得した画像を運転者の特定には使用せず、別途第１の実施形態に係るカメラで取得した可視画像を運転者を特定するために警察に提供する場合や、レストランなどを外部から撮像する際に内部の人を識別できないようにする場合）に有用である。
【００６０】
〈情報処理システムの概略動作〉
図１２は、本発明の実施形態に係る情報処理システムの概略動作を示すフローチャートである。
【００６１】
偏光カメラ１００では、ＣＰＵ１７２が、撮像部１０１からの画像から、車両が撮影しているか否かを判定する（ステップＳ１１）。この判定は、例えば前フレームの背景画像に対する変化に基づいて判定する。
【００６２】
車両が撮影されていない間は監視を続け（ステップＳ１１：NO→ステップＳ１１）、車両が撮影されていたら（ステップＳ１：YES）、画像処理を開始する（ステップＳ１２）。この画像処理は、前述した第１または第２の実施形態に係る偏光カメラ（図８または図１０）における画像処理のどちらでもよい。
【００６３】
次に、偏光カメラ１００は、画像処理により生成された可視化画像を映像サーバー２００へ出力し（ステップＳ１３）、車両が撮影されているか否かの判定処理（ステップＳ１１）に戻る。以後、偏光カメラ１００は、ステップＳ１１からＳ１３を繰り返す。
【００６４】
映像サーバー２００は、可視化画像を画像格納部としてのＨＤＤ２５０に格納し（ステップＳ１４）、可視化画像をデータセンター６へ送信する（ステップＳ１５）。データセンター６では、可視化画像を受信し、画像を確認する（ステップＳ１６）。
【００６５】
なお、本発明は上記の実施形態に限定されるものではなく、例えば下記（１）乃至（６）のような変形が可能である。
（１）「Ｉの値／Δの値」の平均値Ｋ３および標準偏差値σを算出し、「Ｋ３−３σ」を係数Ｋ２とする。
（２）画面全体のΔの値を算出し、そのヒストグラムを求め、頻度がある値を超える画素を抽出することで、画面で反射光の強度の高い複数の領域を抽出する。そして、それらの領域に対して、それぞれ反射光成分低減処理を行い、それぞれの領域に最適なＫ２を算出し、反射光成分を低減する。これにより、１台の偏光カメラで同時に撮像している複数の車両の内部の可視化画像を同時に取得することができる。
（３）図８および図１１における「Ｉ」に代えて「Ｈ（Horizontal）＋Ｖ（Vertical）」を用い、「Ｐ」に代えて「Ｈ」または「Ｖ」を用いることで、輝度信号と特定の偏光信号だけでなく、水平方向、垂直方向の偏光フィルタで得られた信号にも適応できる。
（４）用途に応じて、反射成分除去処理、反射成分増強処理の切替または選択が可能な構成とする。
（５）偏光カメラを２つ用意して所定の基線長を有するステレオカメラとする。ステレオカメラでは、偏光カメラで実現するが画像処理の他に、距離画像の生成も可能である。車両が撮像される、画像処理システムから車両までの距離画像が取得できるため、画像処理開始開始(図１２のステップＳ２)のタイミングの設定に柔軟に対応することができる。
（６）偏光カメラ１００の信号処理基板１７０を偏光カメラ１００とは別のコントローラに設け、偏光カメラとコントローラとが協働する撮像システムとする。
【符号の説明】
【００６６】
１，１−１乃至１−ｎ…画像処理システム、６…データセンター、１００，１００−１…偏光カメラ、１０１…撮像部、１０２…輝度画像生成部、１０３…偏光画像生成部、１０４…反射成分推定部、１０５…反射成分除去処理部、１０６…反射成分増強処理部、２００，２００−１…映像サーバー。
【先行技術文献】
【特許文献】
【００６７】
【特許文献１】特開２０１１−１６５００５号公報
【図１】
0006447121.tif 000002
【図２】
0006447121.tif 000003
【図３】
0006447121.tif 000004
【図４】
0006447121.tif 000005
【図５】
0006447121.tif 000006
【図６】
0006447121.tif 000007
【図７】
0006447121.tif 000008
【図８】
0006447121.tif 000009
【図９】
0006447121.tif 000010
【図１０】
0006447121.tif 000011
【図１１】
0006447121.tif 000012
【図１２】
0006447121.tif 000013
【図１３】
0006447121.tif 000014