(57)【要約】【課題】光透過性および光反射性を有する光学部材を通して被写体の画像を取得するとき、太陽光および環境（雲、建物、木漏れ日など）による反射成分の除去を簡単な構成で実現する。【解決手段】撮像部１０１には、車両内部からのフロントガラスを透過した光およびフロントガラスで反射した光の混合光が入射する。偏光画像生成部１０２、輝度画像生成部１０３は、それぞれ偏光画像、輝度画像を生成する。混合画像生成部１０４は、偏光画像と輝度画像を混合して混合画像を生成する。２次元フーリエ変換部１０５は、混合画像を２次元フーリエ変換する。照り返し成分低減処理部１０６は、混合画像の２次元フーリエ変換信号から、照り返し画像のフーリエ成分保持部１０７に保持されているデータを減算することにより、照り返し成分の低減処理を実行する。【選択図】図８
2016126459.tif 000002
【特許請求の範囲】
【請求項１】
光透過性および光反射性を有する光学部材を通して被写体を撮像して生成した画像を処理する画像処理装置であって、
前記画像に含まれている、前記光学部材での反射光の成分を低減する反射成分低減処理部を有する、画像処理装置。
【請求項２】
請求項１に記載された画像処理装置において、
予め取得された前記光学部材で反射した反射光に対応する成分を保持する反射成分保持部を有し、
前記反射成分低減処理部は、前記反射成分保持部に保持されている情報を用いて、前記反射光の成分を低減する、画像処理装置。
【請求項３】
請求項２に記載された画像処理装置において、
前記反射光に対応する成分は、環境による照り返し成分を含む、画像処理装置。
【請求項４】
請求項３に記載された画像処理装置において、
前記反射光に対応する成分は、前記光学部材に見立てた部材を環境による照り返しがあるときに撮像して取得したものである、画像処理装置。
【請求項５】
請求項１乃至４のいずれかに記載された画像処理装置において、
前記画像は、少なくとも偏光成分を含む画像である、画像処理装置。
【請求項６】
請求項２乃至５のいずれかに記載された画像処理装置において、
前記画像をフーリエ成分に変換する変換部を備え、前記反射成分保持部は前記反射光に対応するフーリエ成分を保持し、前記反射成分低減処理部は、前記変換部の出力から前記反射光に対応するフーリエ成分を除去する、画像処理装置。
【請求項７】
請求項１乃至６のいずれかに記載された画像処理装置において、
前記画像に含まれている被写体成分を増幅する被写体成分増幅処理部を有する、画像処理装置。
【請求項８】
被写体を撮像して画像を生成する撮像部と、
前記撮像部が光透過性および光反射性を有する光学部材を通して前記被写体を撮像したとき、前記画像に含まれている、前記光学部材での反射光の成分を低減する反射成分低減処理部と、
を有する撮像システム。
【請求項９】
被写体を撮像して画像を生成する撮像部と、
前記撮像部が光透過性および光反射性を有する光学部材を通して前記被写体を撮像したとき、前記画像に含まれている、前記光学部材での反射光の成分を低減する反射成分低減処理部と、
前記反射成分低減処理部で処理された画像を格納する画像格納部と、
を有する画像処理システム。
【請求項１０】
コンピュータを請求項１乃至７のいずれかに記載された画像処理装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像システム、画像処理システム、およびプログラムに関する。
【背景技術】
【０００２】
従来から、一般道や高速道における通行車両を監視する目的で、車両の交通監視システムがある。公知の交通監視システムとして、主に車両のナンバーや車両内の運転者などの人物を、監視カメラを使って取得するシステムが知られている。
【０００３】
すなわち、例えば特許文献１には、車両内の運転者を特定するため、車両のフロントガラスを通して（フロントガラス越しに）被写体としての運転者の画像を取得するとき、例えば太陽光により照射される光の成分のうち、フロントガラスでの反射成分（照り返し成分）と運転手の顔での反射成分とを偏光フィルタを利用して切り分け、フロントガラスでの反射成分を除去することにより、運転手の顔からの反射成分の画像を取得するシステムが記載されている。また、特許文献１には、フロントガラスでの反射成分として、太陽光だけでなく、雲の映り込みの影響を低減することも記載されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載されているシステムは、フロントガラス角度測定手段、車両位置測定手段、複数のカメラ、および撮像制御手段が必要であるため、ハードウェアおよびソフトウェアの規模が大きく、コストが高いという問題がある。
【０００５】
本発明は、このような問題を解決するためになされたものであり、その目的は、車両のフロントガラスのような光透過性および光反射性を有する光学部材を通して被写体の画像を取得するとき、太陽光および環境（雲、建物、木漏れ日など）による反射成分の除去を簡単な構成で実現することである。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、光透過性および光反射性を有する光学部材を通して被写体を撮像して生成した画像を処理する画像処理装置であって、前記画像に含まれている、前記光学部材での反射光の成分を低減する反射成分低減処理部を有する、画像処理装置である。
【発明の効果】
【０００７】
本発明によれば、光透過性および光反射性を有する光学部材を通して被写体の画像を取得するとき、太陽光および環境（雲、建物、木漏れ日など）による反射成分の除去を簡単な構成で実現することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る画像処理システムの設置環境について説明するための図である。
【図２】本発明の実施形態に係る画像処理システムに入射する光線の経路について模式的に説明するための図である。
【図３】本発明の実施形態に係る情報処理システムの概略構成を示す図である。
【図４】本発明の実施形態に係る偏光カメラのハードウェア構成を示すブロック図である。
【図５】本発明の実施形態に係る映像サーバーのハードウェア構成を示すブロック図である。
【図６】図４におけるイメージセンサの構成例を示す図である。
【図７】図６における偏光フィルタ層の画素パターンとカラーフィルタ層の画素パターンの対応関係の例を示す図である。
【図８】本発明の第１の実施形態に係る偏光カメラの構成を示すブロック図である。
【図９】本発明の第２の実施形態に係る偏光カメラの構成を示すブロック図である。
【図１０】本発明の第３の実施形態に係る偏光カメラの構成を示すブロック図である。
【図１１】本発明の第４の実施形態に係る偏光カメラの構成を示すブロック図である。
【図１２】本発明の第５の実施形態に係る偏光カメラの構成を示すブロック図である。
【図１３】本発明の実施形態に係る情報処理システムの概略動作を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照して説明する。
〈画像処理システムの設置環境〉
図１は、本発明の実施形態に係る画像処理システムの設置環境について説明するための図であり、図２は、本発明の実施形態に係る画像処理システムに入射する光線の経路について模式的に説明するための図である。
【００１０】
図１に示すように、第１の画像処理システム１−１乃至第ｎ（ｎは２以上の整数）の画像処理システム１−ｎ（各画像処理システムを区別しないときは画像処理システム１という）が側道３に設置されている。各画像処理システム１−１乃至１−ｎは、所定の高さに保持されたキャビンと呼ばれる窓付きのケースに収納されている。
【００１１】
図２に示すように、画像処理システム１には、太陽から出射し、車両４のフロントガラス（光透過性および光反射性を有する光学部材）で反射した光（以下、太陽光のフロントガラスでの反射光）と、太陽から出射し、車両４のフロントガラスを透過し、車両４の内部の運転者（被写体）で反射し、再度フロントガラスを透過した光（以下、太陽光の対象部での反射光）と、太陽から出射し、まだら雲などの雲により散乱され、車両４のフロントガラスで反射した光（以下、雲による散乱光の照り返し光）が入射する。
【００１２】
なお、図示を省略したが、照り返し光としては、雲による散乱光の照り返し光以外に、周辺に存在する建物による散乱光や木漏れ日などの照り返し光が入射することもある。以下、これらの照り返し光を環境による照り返し光という。
【００１３】
ここで、太陽光のフロントガラスでの反射光は、縦方向の矢印が示すように、ある方向の偏光成分が多い光である。雲による散乱光の照り返し光も同じ方向の偏光成分が多い光である。また、太陽光の対象部での反射光は、縦方向の矢印および横方向の矢印が示すように無偏光である。
【００１４】
画像処理システム１は、入射光を所定の偏光フィルタに通し、電気信号に変換して、後述する所定の画像処理を施すことにより、太陽光のフロントガラスでの反射光の成分および環境による照り返し光の成分を低減し、車両４の内部の可視化画像を生成し、ネットワーク経由でデータセンターへ送信する。
【００１５】
〈情報処理システムの概略構成〉
図３は、本発明の実施形態に係る情報処理システムの概略構成を示す図である。
図示のように、この情報処システムは、第１の画像処理システム１−１、第２の画像処理システム１−２、・・・第ｎの画像処理システム１−ｎと、各画像処理システムとインターネットなどのネットワーク５を介して接続されるデータセンター６により構成される。
【００１６】
第１の画像処理システム１−１は、偏光カメラ１００−１および映像サーバー２００−１を備えている。偏光カメラ１００−１は、入射光を所定の偏光フィルタに通し、電気信号に変換して、後述する所定の画像処理を施すことにより、太陽光のフロントガラスでの反射光の成分および環境による照り返し光の成分を低減し、車両４の内部の可視化画像を生成し、映像サーバー２００−１へ出力する。映像サーバー２００−１は、偏光カメラ１００−１から出力された可視化画像を格納した後、データセンター６へ送信する。データセンター６は、映像サーバー２００−１から送信された可視化画像を受信し、認識処理等を行う。
【００１７】
第２の画像処理システム１−２乃至第ｎの画像処理システム１−ｎも同様に構成されており、同様に動作する。なお、以下の説明では、各画像処理システムに偏光カメラ、映像サーバーを区別しない場合、偏光カメラ１００、映像サーバー２００とする。
【００１８】
〈偏光カメラのハードウェア構成〉
図４は、偏光カメラのハードウェア構成を示すブロック図である。
図示のように、偏光カメラ１００は、撮像部１０１と信号処理基板１７０を備えている。
【００１９】
撮像部１０１は、イメージセンサ１５０と、センサコントローラ１６０を備えている。イメージセンサ１５０は、入射光を電気信号に変換し、センサコントローラ１６０へ出力する。センサコントローラ１６０は、イメージセンサ１５０の露光制御、読み出し制御、信号処理基板１７０との通信、画像データの送信の役割を担う。
【００２０】
信号処理基板１７０は、ＦＰＧＡ１７１、ＣＰＵ１７２、ＲＯＭ（書き換え可能なものも含む）１７３、ＲＡＭ１７４、シリアルＩ／Ｆ（インタフェース）１７５、データバス１７６、およびシリアルバス１７７を備えている。
【００２１】
センサコントローラ１６０から出力される画像データは、データバス１７６を介してＲＡＭ１７４に転送される。ＦＰＧＡ１７１は、ＲＡＭ１７４に記憶されている画像データに対してリアルタイム性が要求される処理を実行し、ＲＡＭ１７４に書き戻す。ＣＰＵ１７２は、ＲＡＭ１７４を作業エリアとしてＲＯＭ１７３に格納されているコンピュータプログラムを実行することにより、信号処理基板１７０全体の動作の制御、画像処理などを行う。また、ＣＰＵ１７２は、画像処理を受けた画像データ（ここでは、車両内部の可視化画像）をシリアルＩ／Ｆ１７５を介して映像サーバー２００へ送信する。また、ＦＰＧＡ１７１あるいはＣＰＵ１７２は、イメージセンサ１５０の露光制御値変更、画像読み出しパラメータ変更などの各種設定データの送受信を行う。
【００２２】
〈映像サーバーのハードウェア構成〉
図５は、映像サーバーのハードウェア構成を示すブロック図である。
図示のように、映像サーバー２００は、バス２１０と、バス２１０に接続されたＣＰＵ２２０、ＲＯＭ２３０、ＲＡＭ２４０、ＨＤＤ（ハードディスク）２５０、シリアルＩ／Ｆ２６０、およびネットワークＩ／Ｆ２７０を備えている。
【００２３】
ＣＰＵ２２０は、ＲＡＭ２４０を作業エリアとしてＲＯＭ２３０に格納されているコンピュータプログラムを実行することにより、映像サーバー２００全体の動作の制御を行う。シリアルＩ／Ｆ２６０は撮像部１０１のシリアルＩ／Ｆ１７５から送信された画像データ（車両内部の可視化画像）を受信する。ＨＤＤ２５０はシリアルＩ／Ｆ２６０により受信された画像データを保存する。ネットワークＩ／Ｆ２７０はネットワーク５を介してデータセンター６と通信を行うことで、車両内部の可視化画像をデータセンター６へ送信する。
【００２４】
〈イメージセンサの構成〉
図６は、図４におけるイメージセンサの構成例を示す図である。ここで、図６Ａは、偏光フィルタ層がレンズの前方に配置されている構成例であり、図６Ｂは、偏光フィルタ層がレンズの後方に配置されている構成例である。
【００２５】
図６Ａに示すイメージセンサでは、偏光フィルタ層１５１、マイクロレンズ１５２、カラーフィルタ層１５３、受光素子１５４の順に配置されている。また、図６Ｂに示すイメージセンサでは、マイクロレンズ１５２、偏光フィルタ層１５１、カラーフィルタ層１５３、受光素子１５４の順に配置されている。
【００２６】
カラーフィルタ層１５３を構成するカラーフィルタは個別の画素で色が異なる。一般には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３種類からなり、２画素のＧと、１画素ずつのＲおよびＢからなる４画素で単一のマトリックスを構成し、このマトリックスが水平方向および垂直方向に周期的に並んでいる。
【００２７】
偏光フィルタ層１５１には、カラーフィルタの画素パターンに合わせて偏光フィルタの画素パターンが設定されている。この画素パターン同士の対応関係については後述する。
【００２８】
なお、偏光フィルタ層１５１の位置は、図６Ａおよび図６Ｂに示す位置に限るものではなく、各画素に対して個別に機能するように設定されていれば、どこに配置してもかまわない。
【００２９】
〈偏光フィルタとカラーフィルタとの対応関係〉
図７は、図６における偏光フィルタ層の画素パターンとカラーフィルタ層の画素パターンとの対応関係の例を示す図である。ここでは、偏光フィルタの単一のマトリックスと、カラーフィルタの単一のマトリックスとの対応関係の例として図７Ａ乃至図７Ｆに示す６つの例を挙げた。以下、これらの図におけるマトリックスの左上、右上、左下、右下の画素をPix1、Pix2、Pix3、Pix4として説明する。
【００３０】
図７Ａに示す第１の例では、Pix1、Pix2、Pix3、Pix4に対して、カラーフィルタ層１５３のＲ（赤色フィルタ画素）、Ｇ（緑色フィルタ画素）、Ｇ、Ｂ（青色フィルタ画素）と、偏光フィルタ層１５１のＣ、Ｃ、Ｖ、Ｃが対応付けられている。ここで、Ｃ（Clear）は全偏光成分を透過させる画素（偏光フィルタを備えていない画素）である。また、Ｖ（Vertical）は垂直方向の電界成分を透過させる画素（特定方向軸の偏光フィルタを備えている画素）である。なお、後述するＨ（Horizontal）は水平方向の電界成分を透過させる画素（特定方向軸の偏光フィルタを備えている画素）である。
【００３１】
この図に示す画素配置では、Pix1、Pix2、Pix4にて輝度カラー画像情報とする。また、Pix2、Pix3から偏光画像を生成する。すなわち、例えば、Pix3（Ｇ画素、かつＶ画素）をそのまま用いたり、Pix2とPix3との差分画素を用いたりすることもできる。差分信号として、下記の式〔１〕が成り立つ。
「（Ｇ画素、かつＨ画素）の輝度値」＝「Pix2（Ｇ画素、かつＣ画素）の輝度値」−「Pix3（Ｇ画素、かつＶ画素）の輝度値」  …式〔１〕
【００３２】
ここで、輝度カラー画像とは、Ｒ、Ｇ、Ｂ３色の成分から演算・生成される画像とする。また、偏光画像とは、垂直方向もしくは水平方向の電界振動成分を透過させる（偏光軸を持つ）画素により生成される画像のことである。また、輝度カラー画像、偏光画像の出力を行う際には、上記の演算に加えて、単一マトリックスの隣接マトリックス画素を用いた補間処理なども行う。
【００３３】
図７Ｂに示す第２の例では、Pix1、Pix2、Pix3、Pix4に対して、カラーフィルタ層１５３のＲ、Ｇ、Ｇ、Ｂと、偏光フィルタ層１５１のＣ、Ｃ、Ｈ、Ｃが対応付けられている。すなわち、第１の例におけるＶをＨに変更したものである。前述した差分の式が成立することから、Ｈ画素、Ｖ画素のどちらを配置しても偏光画像を得ることができる。
【００３４】
図７Ｃに示す第３の例では、Pix1、Pix2、Pix3、Pix4に対して、カラーフィルタ層１５３のＲ、Ｇ、Ｇ、Ｂと、偏光フィルタ層１５１のＣ、Ｖ、Ｈ、Ｃが対応付けられている。偏光画像はPix2、Pix3から生成される。輝度カラー画像については、Pix1、Pix4からそれぞれＲ成分、Ｂ成分が生成され、「Pix2＋Pix3」からＧ成分が生成される。これは前述の式の差分（Ｈ＝Ｃ−Ｖ、すなわちＣ＝Ｖ＋Ｈ）が成立するとの考えに基づく。
【００３５】
図７Ｄに示す第４の例では、Pix1、Pix2、Pix3、Pix4に対して、カラーフィルタ層１５３のＲ、Ｇ、Ｇ、Ｂと、偏光フィルタ層１５１のＣ、Ｈ、Ｖ、Ｃが対応付けられている。
【００３６】
第３の例、第４の例では、画像全体の輝度成分が均一化され、ダイナミックレンジを向上させる効果がある。被写体にもよるが、一般にＧ画素はＲ画素、Ｂ画素よりも高輝度となり、撮影条件により飽和しやすくなる。同じくＧ画素に偏光フィルタＶ、Ｈを合わせた場合に対し、偏光フィルタＣを合わせた場合も概ね２倍程度高輝度となり、第１の例および第２の例では、４画素のうち、Pix2のＧ画素が周囲画素に対し輝度が高い状態となる。これに対し、第３の例、第４の例のパターンとすることで、単一マトリックスを構成する４画素のなかで輝度の均一化を図ることができる。
【００３７】
図７Ｅに示す第５の例では、Pix1、Pix2、Pix3、Pix4に対して、カラーフィルタ層１５３のＲ、Ｇ、Ｇ、Ｂと、偏光フィルタ層１５１のＶ、Ｖ、Ｈ、Ｖが対応付けられている。また、図７Ｆに示す第６の例では、Pix1、Pix2、Pix3、Pix4に対して、カラーフィルタ層１５３のＲ、Ｇ、Ｇ、Ｂと、偏光フィルタ層１５１のＨ、Ｈ、Ｖ、Ｈが対応付けられている。
【００３８】
一般に、偏光フィルタを設置した画素は周囲画素と比較し低輝度となる。例えば第１の例について、偏光画像の生成に用いるPix3に対し、周囲画素のPix1,2,4の輝度が高くなる。
【００３９】
このパターン構成では、高輝度のPix1,2,4から、低輝度のPix3 へより多くの光成分が混入しクロストークが発生し、Pix3が本来とるべき信号値に対して誤差成分が多く乗ることになる。この現象は、図６Ａで示したような偏光フィルタ層１５１が受光素子１５４からより遠方に配置されている構成の場合に特に顕著である。
【００４０】
これを抑制するために、偏光画素Pix3に対し、上記周囲画素Pix1,2,4の輝度値を相対的に低下させる構成とすることが有効である。第５の例、第６の例に示したような、Pix1,2,4についても偏光フィルタＶもしくはＨを設置することで、この効果を得ることができる。
【００４１】
〈第１の実施形態に係る偏光カメラ〉
図８は、本発明の第１の実施形態に係る偏光カメラの構成を示すブロック図である。
この偏光カメラは、撮像部１０１、偏光画像生成部１０２、輝度画像生成部１０３、混合画像生成部１０４、２次元フーリエ変換部１０５、反射成分低減処理部としての照り返し成分低減処理部１０６、反射成分保持部としての照り返し画像のフーリエ成分保持部１０７、および２次元逆フーリエ変換部１０８を備えている。
【００４２】
ここで、撮像部１０１は図４における撮像部１０１である。また、その他の部分が画像処理装置を構成している。この画像処理装置を構成する各部のうち、照り返し画像のフーリエ成分保持部１０７はＲＯＭ１７３により構成され、その他の部分はＦＰＧＡ１７１、ＣＰＵ１７２、およびＲＡＭ１７４により構成される。
【００４３】
撮像部１０１には、車両内部からのフロントガラスを透過した光およびフロントガラスで反射した光の混合光が入射する。偏光画像生成部１０２、輝度画像生成部１０３は、図７を参照して説明した演算により、それぞれ偏光画像、輝度画像を生成する。混合画像生成部１０４は、偏光画像と輝度画像を混合して混合画像を生成する。
【００４４】
２次元フーリエ変換部１０５は、混合画像を２次元フーリエ変換し、フーリエ成分（２次元フーリエ変換成分）からなる２次元フーリエ変換信号を生成する。照り返し成分低減処理部１０６は、混合画像の２次元フーリエ変換信号から、照り返し画像のフーリエ成分保持部１０７に保持されているフーリエ成分を差し引く、または除算することにより、照り返し成分の低減処理を実行する。
【００４５】
ここで、照り返し画像のフーリエ成分保持部１０７は、車両４のフロントガラスに見立てた部材（様々な車種の車両のフロントガラス）を予めこの偏光カメラで撮影して取得した環境（多種類のまだら雲、建物、木漏れ日など）による照り返し画像のフーリエ成分や、その平均値などを保持しており、例えば現在の時刻や天候などに応じて、最適のフーリエ成分を利用することで、照り返し成分を効果的に除去することができる。
【００４６】
２次元逆フーリエ変換部１０８は、照り返し成分が低減された２次元フーリエ変換信号を逆フーリエ変換することで、照り返し成分が低減された混合画像を車両内部の可視可画像として、映像サーバーへ出力する。
【００４７】
〈第２の実施形態に係る偏光カメラ〉
図９は、本発明の第２の実施形態に係る偏光カメラの構成を示すブロック図である。この図において、図８（第１の実施形態に係る偏光カメラ）と同一の部分または対応する部分には図８と同じ参照符号が付されている。これらの部分については、必要な場合を除き、その説明を省略する。
【００４８】
この偏光カメラは、図８における照り返し成分低減処理部１０６に代えて顔成分増幅および照り返し成分低減処理部１０９を設け、かつ顔画像のフーリエ成分保持部１１０を付加したものである。ここで、顔成分増幅および照り返し成分低減処理部１０９において、顔成分を増幅する部分が被写体成分増幅処理部に対応する。
【００４９】
顔画像のフーリエ成分保持部１１０は、予めこの偏光カメラで多種の顔を撮影して取得した平均的な顔画像などのフーリエ成分を保持している。顔成分増幅および照り返し成分低減処理部１０９は、２次元フーリエ変換部１０５の出力である混合画像の２次元フーリエ変換信号に顔画像のフーリエ成分を加える、または乗算することにより顔成分を増幅する。また、顔成分増幅および照り返し成分低減処理部１０９は、第１の実施形態に係る偏光カメラと同様、混合画像の２次元フーリエ変換信号から、照り返し画像のフーリエ成分保持部１０７に保持されているフーリエ成分を差し引くことにより、照り返し成分を低減させる。
【００５０】
２次元逆フーリエ変換部１０８は、顔成分が増幅され、かつ照り返し成分が低減された２次元フーリエ変換信号を逆フーリエ変換することで、顔成分が増幅され、かつ照り返し成分が低減された混合画像を車両内部の可視可画像として、映像サーバーへ出力する。
【００５１】
〈第３の実施形態に係る偏光カメラ〉
図１０は、本発明の第３の実施形態に係る偏光カメラの構成を示すブロック図である。この図において、図９（第２の実施形態に係る偏光カメラ）と同一の部分または対応する部分には図９と同じ参照符号が付されている。これらの部分については、必要な場合を除き、その説明を省略する。
【００５２】
この偏光カメラは、図９における顔画像のフーリエ成分保持部１１０を除去し、人の顔が良好に撮像できている顔画像のフーリエ成分を他の画像処理システムである第ｋ（ｋは自然数）の画像処理システム１−ｋから取得するように構成したものでる。
【００５３】
第ｋの画像処理システム１−ｋは、偏光カメラ１００−ｋおよび映像サーバー２００−ｋを備えている。第ｋの画像処理システム１−ｋでは、雲などの照り返しがなく、人の顔が良好に撮像できている顔画像の２次元フーリエ変換成分を取得したものとする。
【００５４】
顔成分増幅および照り返し成分低減処理部１０９は、２次元フーリエ変換部１０５の出力である混合画像の２次元フーリエ変換信号に、第ｋの画像処理システム１−ｋの映像サーバー２００−ｋから送信された人の顔が良好に撮像できている顔画像のフーリエ成分を加えることにより顔成分を増幅する。また、顔成分増幅および照り返し成分低減処理部１０９は、第１の実施形態に係る偏光カメラと同様、混合画像の２次元フーリエ変換信号から、照り返し画像のフーリエ成分保持部１０７に保持されているフーリエ成分を差し引くことにより、照り返し成分を低減させる。
【００５５】
２次元逆フーリエ変換部１０８は、顔成分が増幅され、かつ照り返し成分が低減された２次元フーリエ変換信号を逆フーリエ変換することで、顔成分が増幅され、かつ照り返し成分が低減された混合画像を車両内部の可視可画像として、映像サーバーへ出力する。
【００５６】
〈第４の実施形態に係る偏光カメラ〉
図１１は、本発明の第４の実施形態に係る偏光カメラの構成を示すブロック図である。この図において、図８（第１の実施形態に係る偏光カメラ）と同一の部分または対応する部分には図８と同じ参照符号が付されている。これらの部分については、必要な場合を除き、その説明を省略する。
【００５７】
多種のまだら雲画像の保持部１１１は、予め多種のまだら雲を撮影して取得した多種のまだら雲の画像を保持している。照合部１１２は、混合画像生成部１０４で生成された混合画像と、多種のまだら雲画像の保持部１１１により保持されているまだら雲画像との比較（例えば特徴点のマッチング）により、まだら雲が発生しているか否かを照合する。
【００５８】
照り返し成分低減処理部１１３は、２次元フーリエ変換部１０５、照り返し成分低減処理部１０６、照り返し画像のフーリエ成分保持部１０７、および２次元逆フーリエ変換部１０８を備え、かつ照合部１１２の照合結果により、照り返し成分低減処理を実行するか否かの切替が可能である。すなわち、まだら雲が発生しているときは、照り返し成分低減処理を行い、まだら雲が発生していないときは、照り返し成分低減処理を行わない。
【００５９】
したがって、照り返し成分低減処理部１１３は、まだら雲が発生しているときは、その照り返し成分を低減させた混合画像を、まだら雲が発生していないときは、そのままの混合画像を、車両内部の可視可画像として、映像サーバーへ出力することになる。
【００６０】
〈第５の実施形態に係る偏光カメラ〉
図１２は、本発明の第５の実施形態に係る偏光カメラの構成を示すブロック図である。この図において、図１１（第４の実施形態に係る偏光カメラ）と同一の部分または対応する部分には図１１と同じ参照符号が付されている。これらの部分については、必要な場合を除き、その説明を省略する。
【００６１】
この偏光カメラは、図１１における照り返し成分低減処理部１１３に代えて、顔成分増幅および照り返し成分低減処理部１１４を設けたものである。
【００６２】
顔成分増幅および照り返し成分低減処理部１１４には、第３の実施形態（図１０）と同様に、第ｋの画像処理システム１−ｋの映像サーバー２００−ｋから送信された人の顔が良好に撮像できている顔画像のフーリエ成分が入力される。
【００６３】
顔成分増幅および照り返し成分低減処理部１１４は、２次元フーリエ変換部１０５、照り返し画像のフーリエ成分保持部１０７、顔成分増幅および照り返し成分低減処理部１０９、および２次元逆フーリエ変換部１０８を備え、かつ照合部１１２の照合結果により、照り返し成分低減処理を実行するか否かの切替が可能である。すなわち、まだら雲が発生しているときは、照り返し成分低減処理を行い、まだら雲が発生していないときは、照り返し成分低減処理を行わない。
【００６４】
したがって、顔成分増幅および照り返し成分低減処理部１１４は、まだら雲が発生しているときは、その照り返し成分を低減させ、かつ顔画像を増幅した混合画像を、まだら雲が発生していないときは、顔画像を増幅した混合画像を、車両内部の可視可画像として、映像サーバーへ出力することになる。
【００６５】
〈情報処理システムの概略動作〉
図１３は、本発明の実施形態に係る情報処理システムの概略動作を示すフローチャートである。
【００６６】
偏光カメラ１００では、ＣＰＵ１７２が、撮像部１０１からの画像から、車両が撮影しているか否かを判定する（ステップＳ１）。この判定は、例えば前フレームの背景画像に対する変化に基づいて判定する。
【００６７】
車両が撮影されていない間は監視を続け（ステップＳ１：NO→ステップＳ１）、車両が撮影されていたら（ステップＳ１：YES）、画像処理を開始する（ステップＳ２）。この画像処理は、前述した第１乃至第５の実施形態に係る偏光カメラ（図８乃至図１２）における画像処理のどれでもよい。
【００６８】
次に、偏光カメラ１００は、画像処理により生成された車両内部の可視化画像を映像サーバー２００へ出力し（ステップＳ３）、車両が撮影されているか否かの判定処理（ステップＳ１）に戻る。以後、偏光カメラ１００は、ステップＳ１からＳ３を繰り返す。
【００６９】
映像サーバー２００は、可視化画像を画像格納部としてのＨＤＤ２５０に格納し（ステップＳ４）、可視化画像をデータセンター６へ送信する（ステップＳ５）。データセンター６では、可視化画像を受信し、画像を確認する（ステップＳ６）。
【００７０】
なお、以上説明した各実施形態に係る偏光カメラ（図８乃至図１２）では、偏光画像と輝度画像との混合画像に対して、照り返し成分の低減処理などを行っているが、偏光画像に対して、この処理を行ってもよい。
【００７１】
また、以上説明した画像処理システム１は、１つの偏光カメラ１００を備えるものであるが、偏光カメラを２つ用意して所定の基線長を有するステレオカメラとしてもよい。ステレオカメラでは、偏光カメラで実現するが画像処理の他に、距離画像の生成も可能である。車両が撮像される、画像処理システムから車両までの距離画像が取得できるため、画像処理開始開始(図１３のステップＳ２)のタイミングの設定に柔軟に対応することができる。
【００７２】
また、以上説明した情報処理システムでは、各画像処理システム１−１乃至１−ｎがそれぞれ偏光カメラに対応する映像サーバーを備えているが、１つの映像サーバーを複数の偏光カメラに対応させてもよい。また、偏光カメラ１００の信号処理基板１７０を偏光カメラ１００とは別のコントローラに設け、偏光カメラとコントローラとが協働する撮像システムとしてもよい。
【符号の説明】
【００７３】
１，１−１乃至１−ｎ…画像処理システム、６…データセンター、１００…偏光カメラ、１０１…撮像部、１０２…偏光画像生成部、１０３…輝度画像生成部、１０４…混合画像生成部、１０５…２次元フーリエ変換部、１０６，１１３…照り返し成分低減処理部、１０７…、照り返し画像のフーリエ成分保持部、１０８…２次元逆フーリエ変換部、１０９，１１４…顔成分増幅および照り返し成分低減処理部、２００…映像サーバー。
【先行技術文献】
【特許文献】
【００７４】
【特許文献１】特開２０１１−１６５００５号公報
【図１】
2016126459.tif 000003
【図２】
2016126459.tif 000004
【図３】
2016126459.tif 000005
【図４】
2016126459.tif 000006
【図５】
2016126459.tif 000007
【図６】
2016126459.tif 000008
【図７】
2016126459.tif 000009
【図８】
2016126459.tif 000010
【図９】
2016126459.tif 000011
【図１０】
2016126459.tif 000012
【図１１】
2016126459.tif 000013
【図１２】
2016126459.tif 000014
【図１３】
2016126459.tif 000015