(57)【要約】【課題】低い処理負荷で車両の搭乗者のプライバシーを保護した画像を作成し、ユーザに提供することのできる画像処理装置を提供する。【解決手段】同一の撮像対象範囲の互いに偏光方向の異なる複数の偏光画像を取得する偏光画像取得部と、撮像対象範囲の拡散反射成分を含む輝度画像を取得する輝度画像取得部と、偏光画像取得部が取得した複数の偏光画像に基づいて、画素毎に、偏光の度合いを示す偏光度を算出する偏光度算出部と、偏光度算出部が算出した偏光度に基づいて、該偏光度が所定の条件を満たす画素であるマスク対象画素を抽出する画素抽出部と、以下の第１処理および第２処理のいずれかを実行する処理実行部とを備える。第１処理は、輝度画像のマスク対象画素の画素値を、所定の画素値に置換することにより得られるマスク画像の出力処理である。第２処理は、輝度画像と、マスク対象画素の画素位置との出力処理である。【選択図】図４
2019004204.tif 000002
【特許請求の範囲】
【請求項１】
同一の撮像対象範囲の互いに偏光方向の異なる複数の偏光画像を取得する偏光画像取得部と、
前記撮像対象範囲の拡散反射成分を含む輝度画像を取得する輝度画像取得部と、
前記偏光画像取得部が取得した前記複数の偏光画像に基づいて、画素毎に、偏光の度合いを示す偏光度を算出する偏光度算出部と、
前記偏光度算出部が算出した前記偏光度に基づいて、該偏光度が所定の条件を満たす画素であるマスク対象画素を抽出する画素抽出部と、
以下の第１処理および第２処理のいずれかを実行する処理実行部と
を備える画像処理装置。
第１処理：前記輝度画像の前記マスク対象画素の画素値を、所定の画素値に置換することにより得られるマスク画像の出力処理
第２処理：前記輝度画像と、前記マスク対象画素の画素位置との出力処理
【請求項２】
前記処理実行部は、前記第１処理の実行時に、さらに、前記輝度画像の前記マスク対象画素における画素値を出力する
請求項１に記載の画像処理装置。
【請求項３】
請求項２に記載の画像処理装置から、前記第１処理または前記第２処理による出力情報を取得する出力情報取得部と、
前記出力情報取得部が取得した前記出力情報に基づいて、前記マスク画像および前記輝度画像の少なくとも一方を出力する画像出力部と
を備える画像出力装置。
【請求項４】
前記画像出力部は、所定の権限を有するユーザに対してのみ、前記マスク対象画素に対応する前記輝度画像を表示可能に出力する
請求項３に記載の画像出力装置。
【請求項５】
さらに、
所定の事象を検知する事象検知部を備え、
前記画像出力部は、前記事象検知部が検知した前記事象に基づいて、前記マスク画像、および前記マスク対象画素に対応する前記輝度画像の一方を選択して出力する
請求項３または請求項４に記載の画像出力装置。
【請求項６】
コンピュータを、
同一の撮像対象範囲の互いに偏光方向の異なる複数の偏光画像を取得する偏光画像取得部と、
前記撮像対象範囲の拡散反射成分を含む輝度画像を取得する輝度画像取得部と、
前記偏光画像取得部が取得した前記複数の偏光画像に基づいて、画素毎に、偏光の度合いを示す偏光度を算出する偏光度算出部と、
前記偏光度算出部が算出した前記偏光度に基づいて、該偏光度が所定の条件を満たす画素であるマスク対象画素を抽出する画素抽出部と、
以下の第１処理および第２処理のいずれかを実行する処理実行部と
して機能させるためのコンピュータプログラム。
第１処理：前記輝度画像の前記マスク対象画素の画素値を、所定の画素値に置換することにより得られるマスク画像の出力処理
第２処理：前記輝度画像と、前記マスク対象画素の画素位置との出力処理
【請求項７】
コンピュータを、
請求項２に記載の画像処理装置から、前記第１処理または前記第２処理による出力情報を取得する出力情報取得部と、
前記出力情報取得部が取得した前記出力情報に基づいて、前記マスク画像および前記輝度画像の少なくとも一方を出力する画像出力部と
して機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像出力装置およびコンピュータプログラムに関する。
【背景技術】
【０００２】
一般道路または高速道路を走行する車両を監視する目的や、車両のナンバープレートを読み取る目的で、道路上には多数の監視カメラが設置されている。このため、車両の運転者や同乗者などの搭乗者が監視カメラの被写体になる機会が多く存在する。
【０００３】
一方、監視カメラの管理者等は、監視カメラで撮像された車両の画像を確認することが可能であるが、ナンバープレートや車種などの車両情報を取得する上では、車両の搭乗者の情報（特に、搭乗者の画像）は不要であり、管理者等から搭乗者のプライバシーを保護する必要がある。プライバシーを保護するには、搭乗者が映っているフロントガラスの領域をマスクした画像を、管理者等に提供する必要がある。このため、画像中からフロントガラス領域を正確に抽出する必要がある。
【０００４】
従来、車両を撮像した画像から、フロントガラス領域を抽出する方法が各種提案されている。
【０００５】
例えば、特許文献１には、車両を撮像した画像から、ボディ領域を検出し、ボディ領域に接する四角形領域のうち、最も上に位置する四角形領域をフロントガラス領域として抽出する方法が開示されている。
【０００６】
また、特許文献２には、車両の進行方向と垂直な複数の特徴ラインおよび各特徴ラインの高さを検出し、各特徴ラインの高さに基づいて、フロントガラスの上端位置および下端位置を特定し、上端位置および下端位置で挟まれる領域をフロントガラス領域として抽出する方法が開示されている。
【０００７】
なお、フロントガラスによる反射光成分を除去することにより、搭乗者を視認しやすくする方法も各種提案されている。
【０００８】
例えば、特許文献３には、偏光フィルタ越しに撮像された偏光画像と、偏光フィルタを用いずに撮像された通常の輝度画像とを混合した混合画像を周波数分析することにより、フロントガラスによる反射光成分を除去する方法が開示されている。
【０００９】
また、特許文献４には、環境情報に応じて偏光カメラの撮像条件を調整することにより、フロントガラスによる反射光成分を除去する方法が開示されている。
【００１０】
さらに、特許文献５には、偏光フィルタ越しに撮像された偏光画像と、偏光フィルタを用いずに撮像された通常の輝度画像とを統計処理することにより、フロントガラスによる反射光成分を除去する方法が開示されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００４−７０８３４号公報
【特許文献２】特開２００７−２６５０１２号公報
【特許文献３】特開２０１６−１２６４５９号公報
【特許文献４】特開２０１６−１２７３１２号公報
【特許文献５】特開２０１６−１２７３６５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献１および２に開示の方法によれば、フロントガラス領域を特定するために複雑な画像処理が必要になる場合もある。１枚の画像中には複数の車両が含まれる。また、動画像の場合には、動画像を構成する複数の画像を画像処理しなければならない。このため、動画像中の各車両について複雑な画像処理を行うのは処理負荷が高い。
【００１３】
また、特許文献３〜５に開示の方法では、フロントガラスによる反射光成分を除去することで、搭乗者を視認しやすくしているため、車両の搭乗者のプライバシーを保護することができない。
【００１４】
本発明は、このような事情に鑑みてなされたものであり、低い処理負荷で車両の搭乗者のプライバシーを保護した画像を作成し、適切な方法でユーザに提供することのできる画像処理装置、画像出力装置およびコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
（１）上記目的を達成するために、本発明の一実施態様に係る画像処理装置は、同一の撮像対象範囲の互いに偏光方向の異なる複数の偏光画像を取得する偏光画像取得部と、前記撮像対象範囲の拡散反射成分を含む輝度画像を取得する輝度画像取得部と、前記偏光画像取得部が取得した前記複数の偏光画像に基づいて、画素毎に、偏光の度合いを示す偏光度を算出する偏光度算出部と、前記偏光度算出部が算出した前記偏光度に基づいて、該偏光度が所定の条件を満たす画素であるマスク対象画素を抽出する画素抽出部と、以下の第１処理および第２処理のいずれかを実行する処理実行部とを備える。
第１処理：前記輝度画像の前記マスク対象画素の画素値を、所定の画素値に置換することにより得られるマスク画像の出力処理
第２処理：前記輝度画像と、前記マスク対象画素の画素位置との出力処理
【００１６】
（３）本発明の他の実施態様に係る画像出力装置は、上述の画像処理装置から、前記第１処理または前記第２処理による出力情報を取得する出力情報取得部と、前記出力情報取得部が取得した前記出力情報に基づいて、前記マスク画像および前記輝度画像の少なくとも一方を出力する画像出力部とを備える。
【００１７】
（６）本発明の他の実施態様に係るコンピュータプログラムは、コンピュータを、同一の撮像対象範囲の互いに偏光方向の異なる複数の偏光画像を取得する偏光画像取得部と、前記撮像対象範囲の拡散反射成分を含む輝度画像を取得する輝度画像取得部と、前記偏光画像取得部が取得した前記複数の偏光画像に基づいて、画素毎に、偏光の度合いを示す偏光度を算出する偏光度算出部と、前記偏光度算出部が算出した前記偏光度に基づいて、該偏光度が所定の条件を満たす画素であるマスク対象画素を抽出する画素抽出部と、以下の第１処理および第２処理のいずれかを実行する処理実行部として機能させる。
第１処理：前記輝度画像の前記マスク対象画素の画素値を、所定の画素値に置換することにより得られるマスク画像の出力処理
第２処理：前記輝度画像と、前記マスク対象画素の画素位置との出力処理
【００１８】
（７）本発明の他の実施態様に係るコンピュータプログラムは、コンピュータを、上述の画像処理装置から、前記第１処理または前記第２処理による出力情報を取得する出力情報取得部と、前記出力情報取得部が取得した前記出力情報に基づいて、前記マスク画像および前記輝度画像の少なくとも一方を出力する画像出力部として機能させる。
【００１９】
なお、本発明は、画像処理装置または画像出力装置の一部又は全部を実現する半導体集積回路として実現したり、画像処理装置または画像出力装置を含むシステムとして実現したりすることもできる。
【発明の効果】
【００２０】
本発明によると、低い処理負荷で車両の搭乗者のプライバシーを保護した画像を作成し、適切な方法でユーザに提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態１に係る車両監視システムの構成を示す図である。
【図２】イメージセンサの撮像素子の前面に設けられる偏光フィルタ層の一例を示す図である。
【図３】画像処理装置が作成する画像を模式的に示した図である。
【図４】本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図５】１画素について、横軸を偏光角θ（ｒａｄ）、縦軸を画素値Ｅ（θ）とするグラフである。
【図６Ａ】輝度画像取得部により作成される輝度画像の一例を示す図である。
【図６Ｂ】偏光度算出部が算出した偏光度Ｄを画素値とする偏光度画像の一例を示す図である。
【図７】本発明の実施の形態１に係る画像出力装置の構成を示すブロック図である。
【図８】画像出力装置の記憶装置に記憶されているアクセス権情報の一例を示す図である。
【図９】本発明の実施の形態１に係る画像処理装置が実行する処理の処理手順の一例を示すフローチャートである。
【図１０】本発明の実施の形態１に係る画像出力装置が実行する処理の処理手順の一例を示すフローチャートである。
【図１１】本発明の実施の形態２に係る画像処理装置が実行する処理の処理手順の一例を示すフローチャートである。
【図１２】本発明の実施の形態２に係る画像出力装置が実行する処理の処理手順の一例を示すフローチャートである。
【図１３】イメージセンサの撮像素子の前面に設けられる偏光フィルタ層の一例を示す図である。
【発明を実施するための形態】
【００２２】
［本願発明の実施形態の概要］
最初に本発明の実施形態の概要を列記して説明する。
（１）本発明の一実施形態に係る画像処理装置は、同一の撮像対象範囲の互いに偏光方向の異なる複数の偏光画像を取得する偏光画像取得部と、前記撮像対象範囲の拡散反射成分を含む輝度画像を取得する輝度画像取得部と、前記偏光画像取得部が取得した前記複数の偏光画像に基づいて、画素毎に、偏光の度合いを示す偏光度を算出する偏光度算出部と、前記偏光度算出部が算出した前記偏光度に基づいて、該偏光度が所定の条件を満たす画素であるマスク対象画素を抽出する画素抽出部と、以下の第１処理および第２処理のいずれかを実行する処理実行部とを備える。
第１処理：前記輝度画像の前記マスク対象画素の画素値を、所定の画素値に置換することにより得られるマスク画像の出力処理
第２処理：前記輝度画像と、前記マスク対象画素の画素位置との出力処理
【００２３】
この構成によると、画素ごとに偏光度が算出され、算出された偏光度に基づいて、マスク対象画素が抽出される。フロントガラスによる反射光は鏡面反射光であり、偏光度が強いため、フロントガラスの部分をマスク対象画素として抽出することができる。また、処理実行部が実行する第１処理では、輝度画像中のマスク対象画素を所定の画素値に置換することによりマスク画像が作成される。また、処理実行部が実行する第２処理では、輝度画像とマスク対象画素の画素位置とが出力されるため、これらの出力情報を受け取った装置は、輝度画像中のマスク対象画素を所定の画素値に置換することによりマスク画像を作成することができる。つまり、第１処理および第２処理のいずれにおいても、複雑な画像処理を行わずに、フロントガラスの部分を所定の画素値に置換したマスク画像を作成することができる。このため、低い処理負荷で車両の搭乗者のプライバシーを保護した画像を作成し、適切な方法でユーザに提供することができる。
【００２４】
（２）好ましくは、前記処理実行部は、前記第１処理の実行時に、さらに、前記輝度画像の前記マスク対象画素における画素値を出力する。
【００２５】
この構成によると、マスク画像とともに、輝度画像のマスク対象画素における画素値が出力される。このため、これらの出力情報を受け取った装置は、マスク画像のマスク対象画素の画素値を、輝度画像のマスク対象画素における画素値で置換することにより、輝度画像を生成することができる。
【００２６】
（３）本発明の他の実施形態に係る画像出力装置は、上記（２）に示した画像処理装置から、前記第１処理または前記第２処理による出力情報を取得する出力情報取得部と、前記出力情報取得部が取得した前記出力情報に基づいて、前記マスク画像および前記輝度画像の少なくとも一方を出力する画像出力部とを備える。
【００２７】
この構成によると、上記（２）に示した画像処理装置が出力する出力情報に基づいて、マスク画像および輝度画像の少なくとも一方を出力することができる。このため、選択的にマスク画像または輝度画像を表示または配信することが可能となる。
【００２８】
（４）好ましくは、前記画像出力部は、所定の権限を有するユーザに対してのみ、前記マスク対象画素に対応する前記輝度画像を表示可能に出力する。
【００２９】
この構成によると、所定の権限を有するユーザのみがマスク対象画素に対応する輝度画像を見ることができ、所定の権限を持たないユーザはマスク対象画素に対応する輝度画像を見ることができない。このため、所定の権限を持たないユーザから、車両の搭乗者のプライバシーを保護することができる。
【００３０】
（５）好ましくは、上述の画像出力装置は、さらに、所定の事象を検知する事象検知部を備え、前記画像出力部は、前記事象検知部が検知した前記事象に基づいて、前記マスク画像、および前記マスク対象画素に対応する前記輝度画像の一方を選択して出力する。
【００３１】
この構成によると、例えば、交通事故発生などの事象を検知した場合に、マスク画像または、マスク対象画素に対応する輝度画像を選択的に表示または配信することができる。なお、ユーザによるマスク画像または、マスク対象画素に対応する輝度画像の選択を、事象として検知した場合にも、同様の処理を行うことができる。
【００３２】
（６）本発明の他の実施形態に係るコンピュータプログラムは、コンピュータを、同一の撮像対象範囲の互いに偏光方向の異なる複数の偏光画像を取得する偏光画像取得部と、前記撮像対象範囲の拡散反射成分を含む輝度画像を取得する輝度画像取得部と、前記偏光画像取得部が取得した前記複数の偏光画像に基づいて、画素毎に、偏光の度合いを示す偏光度を算出する偏光度算出部と、前記偏光度算出部が算出した前記偏光度に基づいて、該偏光度が所定の条件を満たす画素であるマスク対象画素を抽出する画素抽出部と、以下の第１処理および第２処理のいずれかを実行する処理実行部として機能させる。
第１処理：前記輝度画像の前記マスク対象画素の画素値を、所定の画素値に置換することにより得られるマスク画像の出力処理
第２処理：前記輝度画像と、前記マスク対象画素の画素位置との出力処理
【００３３】
この構成によると、コンピュータを上述の画像処理装置として機能させることができる。このため、上述の画像処理装置と同様の作用および効果を奏することができる。
【００３４】
（７）本発明の他の実施形態に係るコンピュータプログラムは、コンピュータを、上記（２）に示した画像処理装置から、前記第１処理または前記第２処理による出力情報を取得する出力情報取得部と、前記出力情報取得部が取得した前記出力情報に基づいて、前記マスク画像および前記輝度画像の少なくとも一方を出力する画像出力部として機能させる。
【００３５】
この構成によると、コンピュータを上述の画像出力装置として機能させることができる。このため、上述の画像出力装置と同様の作用および効果を奏することができる。 
【００３６】
［本願発明の実施形態の詳細］
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
【００３７】
（実施の形態１）
［車両監視システムの全体構成］
図１は、本発明の実施の形態１に係る車両監視システム１の構成を示す図である。
【００３８】
車両監視システム１は、道路２を走行する車両３を監視するためのシステムであり、イメージセンサ１０と、画像処理装置２０と、画像出力装置３０と、画像表示装置４０とを備える。
【００３９】
イメージセンサ１０の撮像素子の前面には偏光フィルタ層が設けられており、イメージセンサ１０は、入射光を偏光フィルタ層を通過させ、撮像素子で電気信号に変換することにより、被写体の画像を出力する。イメージセンサ１０が出力する画像を偏光画像と言う。なお、イメージセンサ１０が出力する偏光画像は静止画像および動画像のいずれであってもよい。
【００４０】
図２は、イメージセンサ１０の撮像素子の前面に設けられる偏光フィルタ層の一例を示す図である。
【００４１】
図２に示す偏光フィルタ層１１Ａは、２×２画素の撮像素子の組ごとに、該組の前面に設けられ、第１偏光フィルタ１２Ａと、第２偏光フィルタ１２Ｂと、第３偏光フィルタ１２Ｃと、第４偏光フィルタ１２Ｄとを含む。
【００４２】
第１偏光フィルタ１２Ａは、偏光角０（ｒａｄ）の直線偏光を通過させるフィルタである。第２偏光フィルタ１２Ｂは、偏光角π／４（ｒａｄ）の直線偏光を通過させるフィルタである。第３偏光フィルタ１２Ｃは、偏光角π／２（ｒａｄ）の直線偏光を通過させるフィルタである。第４偏光フィルタ１２Ｄは、偏光角３π／４（ｒａｄ）の直線偏光を通過させるフィルタである。
【００４３】
このようにイメージセンサ１０を構成することにより、イメージセンサ１０は、撮像対象範囲が同一であって、偏光角（ｒａｄ）が０、π／４、π／２および３π／４の４枚の偏光画像を出力することができる。ただし、偏光画像のサイズは、撮像素子の画素数の１／４になる。例えば、撮像素子の画素数が２０００×２０００画素の場合には、各偏光画像のサイズは１０００×１０００画素になる。
【００４４】
なお、各偏光フィルタの偏光角は上述したものに限定されるものではない。また、偏光フィルタ層のサイズは２×２画素に限定されるものではなく、それより大きくてもよい。
【００４５】
また、イメージセンサ１０がカラーカメラの場合には、偏光フィルタ層１１Ａは、同一色成分（赤、緑または青）の２×２画素の撮像素子の前面に配置される。つまり、１つの偏光フィルタ層１１Ａに含まれる第１偏光フィルタ１２Ａ〜第４偏光フィルタ１２Ｄは、同じ色成分の撮像素子の前面に配置される。
【００４６】
図１に示すように、イメージセンサ１０は、道路２を走行する車両３を正面から撮像可能な位置に設置される。つまり、車両３の搭乗者の顔が撮像可能な位置に配置される。ただし、イメージセンサ１０が配置される位置は車両３の正面に限定されるものではなく、車両３の搭乗者を撮像可能な位置であれば、その他の位置であってもよい。例えば、イメージセンサ１０は、車両３の前方側方から車両３を撮像可能な位置に配置されていてもよいし、車両３の後方側方または後方から車両３を撮像可能な位置に配置されていてもよい。
【００４７】
図３は、画像処理装置２０が作成する画像を模式的に示した図である。
図１に示す画像処理装置２０は、イメージセンサ１０から４枚の偏光画像を受信し、４枚の偏光画像に基づいて、図３の（Ａ）に示すような拡散反射成分（拡散反射の輝度成分）を含む輝度画像を作成する。輝度画像の作成方法については後述するが、輝度画像には車両の搭乗者が映っているものとする。画像処理装置２０は、輝度画像のうち、フロントガラス領域１０１のように、鏡面反射成分（鏡面反射の輝度成分）を多く含むために偏光の度合いが高い画素値をマスク対象画素として抽出する。ただし、マスク対象画素はマスク対象画素領域１０１内の画素に限定されるものではなく、車両３を側方や後方から撮像している場合には、サイドガラス領域内の画素やリアガラス領域内の画素がマスク対象画素として抽出される。
【００４８】
画像処理装置２０は、輝度画像のマスク対象画素の画素値を輝度画像の画素値とは異なる他の画素値で置換することにより、図３の（Ｂ）に示すようなマスク画像を作成する。画像処理装置２０は、マスク画像と、図３の（Ｃ）に示すような輝度画像のマスク対象画素における画素値（以下、「マスク対象画素値」という）とを、ネットワーク５０を介して画像出力装置３０に送信する。
【００４９】
画像出力装置３０は、画像処理装置２０から、画像処理装置２０が出力する出力情報、つまり、マスク画像およびマスク対象画素値を受信する。画像出力装置３０は、受信したマスク画像（図３の（Ｂ））にマスク対象画素値（図３の（Ｃ））を上書きすることにより、輝度画像（図３の（Ａ））を作成する。画像出力装置３０は、画像出力装置３０を利用するユーザのアクセス権または検知した事象に基づいて、マスク画像および輝度画像の少なくともいずれか一方を画像表示装置４０に出力したり、ネットワーク５０を介して他の装置に出力する。これにより、画像表示装置４０にマスク画像または輝度画像を表示させたり、他の装置にマスク画像または輝度画像を配信したりする。
【００５０】
［画像処理装置２０の構成］
図４は、本発明の実施の形態１に係る画像処理装置２０の構成を示すブロック図である。
【００５１】
画像処理装置２０は、偏光画像取得部２１と、輝度画像取得部２２と、偏光度算出部２３と、画素抽出部２４と、処理実行部２５とを備える。
【００５２】
偏光画像取得部２１は、イメージセンサ１０から、同一の撮像対象範囲の互いに偏光方向の異なる複数の偏光画像を取得する。例えば、偏光画像取得部２１は、イメージセンサ１０が道路２を撮像することにより得られる、撮像対象範囲が同一の、偏光角（ｒａｄ）が０、π／４、π／２および３π／４の４枚の偏光画像を取得する。
【００５３】
偏光度算出部２３は、偏光画像取得部２１が取得した複数の偏光画像に基づいて、画素毎に、偏光の度合いを示す偏光度を算出する。
【００５４】
図５は、偏光度算出部２３による偏光度の算出方法について説明するための図である。
【００５５】
図５は、１画素について、横軸を偏光角θ（ｒａｄ）、縦軸を画素値Ｅ（θ）とするグラフである。つまり、図５は、同一の入射光について、偏光角θを変化させた場合の偏光角θと、偏光角θの直線偏光の画素値との関係を示している。画素値Ｅ（θ）は、周期がπの正弦波である。偏光画像取得部２１は、Ｎ個の偏光角θ１、θ２、θ３、…、θＮの偏光画像を取得しているものとする（上述の例ではＮ＝４）。
偏光角θの偏光画像の画素値Ｅ（θ）は、以下の式１で表すことができる。
Ｅ（θ）＝Ｅｍｉｎ＋（Ｅｍａｘ−Ｅｍｉｎ）ｓｉｎ（２θ＋φ）…（式１）
ただし、Ｅｍｉｎ：Ｅ（θ）の最小値
Ｅｍａｘ：Ｅ（θ）の最大値
φ：位相角
【００５６】
式１のうち、独立した変数はＥｍｉｎ，Ｅｍａｘおよびφの３つである。このため、３つの偏光角θについて画素値Ｅ（θ）が既知であれば、変数Ｅｍｉｎ，Ｅｍａｘおよびφの値を決定することができる。
【００５７】
なお、偏光画像取得部２１は、１つの画素について、θ＝０、π／４、π／２および３π／４の４つの偏光角について画素値Ｅ（θ）を取得している。このため、偏光度算出部２３は、最小二乗法などを用いて、画素ごとに、変数Ｅｍｉｎ，Ｅｍａｘおよびφの値を決定することができる。
【００５８】
偏光度算出部２３は、画素ごとに、式２に従い偏光度Ｄを算出する。
Ｄ＝（１−Ｅｍｉｎ／Ｅｍａｘ）    …（式２）
拡散反射光の画素値を示す正弦波は、振幅が小さいため、ＥｍａｘとＥｍｉｎの値が近似する。このため、偏光度Ｄの値は０に近くなる。これに対して、車両３のフロントガラスで太陽光等が反射した鏡面反射光の画素値を示す正弦波は、振幅が大きいため、ＥｍａｘとＥｍｉｎの値が大きく異なる。このため、偏光度Ｄの値は１に近くなる。つまり、偏光度Ｄが大きい画素ほど、鏡面反射成分の画素値を多く含んだ画素と考えることができる。
【００５９】
図６Ａは、後述する輝度画像取得部２２により作成される輝度画像の一例を示す図である。図６Ｂは、偏光度算出部２３が算出した偏光度Ｄを画素値とする偏光度画像の一例を示す図である。図６Ａに示す輝度画像は拡散反射成分を含む画像であり、偏光フィルタを用いずに撮像された通常の画像と類似する。図６Ｂに示す偏光度画像は、偏光度Ｄが大きい画素ほど画素値が大きく、白い色を有する。図６Ｂに示す偏光度画像から分かるように、車両のフロントガラス領域が白っぽく映っていることより、フロントガラス領域の偏光度Ｄが大きいことが分かる。
【００６０】
画素抽出部２４は、偏光度算出部２３が算出した偏光度Ｄに基づいて、偏光度Ｄが所定の条件を満たす画素であるマスク対象画素を抽出する。具体的には、画素抽出部２４は、偏光度Ｄが予め定められた偏光度閾値ＴＨＤよりも大きい画素をマスク対象画素として抽出する。
【００６１】
輝度画像取得部２２は、偏光画像取得部２１が取得した４枚の偏光画像に基づいて、拡散反射成分を含む輝度画像（図３の（Ａ））を取得する。例えば、輝度画像取得部２２は、画素ごとに、４枚の偏光画像の画素値の平均値を輝度画像の画素値として算出することにより、輝度画像を取得してもよい。これにより、拡散反射成分および鏡面反射成分を含む画像を取得することができる。また、輝度画像取得部２２は、画素ごとに、偏光度算出部２３が算出したＥｍｉｎに基づいて、Ｅｍｉｎ／２を輝度画像の画素値として算出してもよい。Ｅｍｉｎ／２は鏡面反射成分を除いた拡散反射成分のみを示す画素値である。このため、輝度画像取得部２２は、拡散反射成分のみからなる輝度画像を作成することができる。
【００６２】
処理実行部２５は、輝度画像のマスク対象画素の画素値を、所定の画素値に置換することによりマスク画像（図３の（Ｂ））を作成する。例えば、処理実行部２５は、マスク対象画素の画素値を、予め定められた固定値に置換することによりマスク画像を作成してもよい。
【００６３】
また、処理実行部２５は、マスク対象画素の画素値を、偏光度Ｄに応じた画素値に置換することによりマスク画像を作成してもよい。例えば、マスク対象画素の画素値を図６Ｂに示したような偏光度画像のマスク対象画素の画素値に置換することにより、マスク画像を作成してもよい。
【００６４】
さらに、処理実行部２５は、マスク対象画素の画素値を、輝度画像をモザイク処理したモザイク画像の画素値に置換することによりマスク画像を作成してもよい。
【００６５】
処理実行部２５は、マスク画像と、マスク対象画素値（図３の（Ｃ））とを、ネットワーク５０を介して画像出力装置３０に送信する。なお、処理実行部２５は、マスク対象画素値を送信する際には、輝度画像におけるマスク対象画素値の画素位置の情報も合わせて送信する。マスク対象画素の画素位置は、例えば、画像のｘ座標およびｙ座標により示される。
【００６６】
［画像出力装置３０の構成］
図７は、本発明の実施の形態１に係る画像出力装置３０の構成を示すブロック図である。
【００６７】
画像出力装置３０は、出力情報取得部３１と、記憶装置３２と、画像出力部３３と、事象検知部３４とを備える。
【００６８】
出力情報取得部３１は、ネットワーク５０を介して、画像処理装置２０から、マスク画像とマスク対象画素値とを取得する。
【００６９】
記憶装置３２は、画像出力装置３０を利用するユーザごとに、輝度画像へのアクセス権を示したアクセス権情報を記憶している。
【００７０】
図８は、画像出力装置３０の記憶装置３２に記憶されているアクセス権情報の一例を示す図である。アクセス権情報は、ユーザＩＤおよびアクセス権（権限）の有無を示す情報である。例えば、図８のアクセス権情報は、ユーザＩＤ「Ｕ００１」のユーザは輝度画像へのアクセス権が有ることを示し、ユーザＩＤ「Ｕ００２」のユーザは輝度画像へのアクセス権が無いことを示している。
【００７１】
画像出力部３３は、記憶装置３２に記憶されているアクセス権情報と、出力情報取得部３１が取得したマスク画像およびマスク対象画素値とに基づいて、マスク画像または輝度画像を、画像表示装置４０に出力したり、またはネットワーク５０を介して他の装置に出力する。
【００７２】
例えば、画像出力部３３は、画像出力装置３０のログイン情報から画像出力装置３０を使用しているユーザのユーザＩＤを特定し、ユーザＩＤのアクセス権をアクセス権情報から取得する。ユーザＩＤ「Ｕ００１」のユーザが画像出力装置３０を使用している場合には、該ユーザは輝度画像へのアクセス権が有る。このため、画像出力部３３は、マスク画像（図３の（Ｂ））にマスク対象画素値（図３の（Ｃ））を上書きすることにより、輝度画像（図３の（Ａ））を作成し、作成した輝度画像を画像表示装置４０に出力する。
【００７３】
一方、ユーザＩＤ「Ｕ００２」のユーザが画像出力装置３０を使用している場合には、該ユーザは輝度画像へのアクセス権が無い。このため、画像出力部３３は、マスク画像を画像表示装置４０に出力する。画像表示装置４０は画像出力部３３から出力された画像を表示する。
【００７４】
事象検知部３４は、所定の事象を検知する。例えば、事象検知部３４は、交通管制センター等のサーバに接続され、サーバから交通状況を定期的に取得することにより、交通事故発生などの事象を検知する。また、事象検知部３４は、ユーザによるマスク画像または輝度画像の選択を、事象として検知することもできる。例えば、所定の権限を有するユーザがキーボード等を操作して、出力する画像の種類を選択すると、事象検知部３４は、当該選択を事象として検知することができる。
【００７５】
画像出力部３３は、検知した事象に応じて、マスク画像および輝度画像の少なくとも一方を画像表示装置４０に出力したり、またはネットワーク５０を介して他の装置に出力する。例えば、事象検知部３４が交通事故発生の事象を検知した場合には、画像出力部３３は、マスク画像を、ネットワーク５０を介してテレビ局等のサーバに配信する。テレビ局は、受信したマスク画像をそのままニュース等で放送することもできる。
【００７６】
［画像処理装置２０の処理手順］
図９は、本発明の実施の形態１に係る画像処理装置２０が実行する処理の処理手順の一例を示すフローチャートである。
【００７７】
偏光画像取得部２１は、イメージセンサ１０が道路２を撮像することにより得られる、撮像対象範囲が同一であって、偏光角（ｒａｄ）が０、π／４、π／２および３π／４の４枚の偏光画像を、イメージセンサ１０から取得する（Ｓ１）。
【００７８】
偏光度算出部２３は、偏光画像取得部２１が取得した４枚の偏光画像に基づいて、画素毎に、偏光度Ｄを算出する（Ｓ２）。
【００７９】
画素抽出部２４は、偏光度Ｄが予め定められた偏光度閾値ＴＨＤよりも大きい画素をマスク対象画素として抽出する（Ｓ３）。
【００８０】
輝度画像取得部２２は、画素ごとに、４枚の偏光画像の画素値の平均値を輝度画像の画素値として算出することにより、輝度画像（図３の（Ａ））を取得する（Ｓ４）。
【００８１】
処理実行部２５は、輝度画像のマスク対象画素の画素値を、固定値「０」に置換することによりマスク画像（図３の（Ｂ））を作成する（Ｓ５）。
【００８２】
処理実行部２５は、マスク画像と、マスク対象画素値（図３の（Ｃ））とを、ネットワーク５０を介して画像出力装置３０に送信する（Ｓ６）。
【００８３】
［画像出力装置３０の処理手順］
図１０は、本発明の実施の形態１に係る画像出力装置３０が実行する処理の処理手順の一例を示すフローチャートである。
【００８４】
出力情報取得部３１は、ネットワーク５０を介して、画像処理装置２０から、マスク画像とマスク対象画素値とを取得する（Ｓ１１）。
事象検知部３４は、事象を検知したか否かを判断する（Ｓ１２）。
【００８５】
事象検知部３４は、事象を検知した場合には（Ｓ１２でＹＥＳ）、検知した事象が車両の搭乗者のプライバシーの保護が必要な事象か否かを判断する（Ｓ１３）。例えば、検知した事象が交通事故発生の事象である場合には、事象検知部３４は、当該事象をプライバシー保護が必要な事象であると判断する。また、所定の権限を有するユーザによるマスク画像の選択を事象として検知した場合にも、事象検知部３４は、当該事象をプライバシーの保護が必要な事象であると判断する。一方、所定の権限を有するユーザによる輝度画像の選択を事象として検知した場合には、事象検知部３４は、当該事象をプライバシーの保護が不要な事象であると判断する。
【００８６】
検知した事象がプライバシーの保護が必要な事象であると判断された場合には（Ｓ１３でＹＥＳ）、画像出力部３３は、マスク画像を画像表示装置４０に出力する（Ｓ１４）。これにより、画像表示装置４０はマスク画像を表示する。よって、ユーザは、搭乗者の画像を見ることができず、搭乗者のプライバシーを保護することができる。
【００８７】
検知した事象がプライバシーの保護が不要な事象であると判断された場合には（Ｓ１３でＮＯ）、画像出力部３３は、マスク画像およびマスク対象画素値から輝度画像を生成し（Ｓ１５）、生成した輝度画像を画像表示装置４０に出力する（Ｓ１６）。これにより、画像表示装置４０は輝度画像を表示することができ、ユーザは、搭乗者の画像を見ることができる。
【００８８】
事象検知部３４が、事象を検知していない場合には（Ｓ１２でＮＯ）、画像出力部３３は、記憶装置３２に記憶されているアクセス権情報に基づいて、ログイン中のユーザが輝度画像へのアクセス権が有るか否かを判断する（Ｓ１７）。
【００８９】
ユーザの輝度画像へのアクセス権が有る場合には（Ｓ１７でＹＥＳ）、画像出力部３３は、ステップＳ１５およびＳ１６の処理を実行することにより、画像表示装置４０に輝度画像を出力する。これにより、アクセス権を有するユーザは、搭乗者の画像を見ることができる。
【００９０】
ユーザの輝度画像へのアクセス権が無い場合には（Ｓ１７でＮＯ）、画像出力部３３は、ステップＳ１４の処理を実行することにより、画像表示装置４０にマスク画像を出力する。これにより、アクセス権を持たないユーザは、搭乗者の画像を見ることができず、搭乗者のプライバシーを保護することができる。
【００９１】
図１０に示した画像出力装置３０の処理手順において、事象の検知がない場合に（Ｓ１２でＮＯ）、アクセス権の有無を判定することとしているが（Ｓ１７）、アクセス権の有無の判定処理（Ｓ１７）を先に実行し、その後に、事象検知処理（Ｓ１２）を実行するようにしてもよい。例えば、アクセス権が有ると判定された場合に、事象検知処理を実行することで、アクセス権が有っても、プライバシーの保護の必要性のある事象を検知した場合には、画像出力部３３は、マスク画像を出力するようにしてもよい。
【００９２】
［実施の形態１の効果等］
以上説明したように、本発明の実施の形態１によると、画素ごとに偏光度が算出され、算出された偏光度に基づいて、マスク対象画素が抽出される。フロントガラスによる反射光は鏡面反射光であり、偏光度が強いため、フロントガラスの部分をマスク対象画素として抽出することができる。また、画像処理装置２０は、輝度画像中のマスク対象画素を所定の画素値に置換することによりマスク画像を作成する。このため、複雑な画像処理を行わずに、フロントガラスの部分を所定の画素値に置換したマスク画像を作成することができる。これにより、低い処理負荷で車両の搭乗者のプライバシーを保護した画像を作成し、適切な方法でユーザに提供することができる。
【００９３】
また、処理実行部２５は、マスク画像とともに、マスク対象画素値を出力する。このため、これらの出力情報を受け取った画像出力装置３０は、マスク画像のマスク対象画素の画素値を、マスク対象画素値で置換することにより、輝度画像を生成することができる。
【００９４】
また、画像出力装置３０は、選択的にマスク画像または輝度画像を表示または配信することができる。特に、画像出力装置３０は、所定の権限を有するユーザに対してのみ、輝度画像を表示可能に出力する。このため、所定の権限を有するユーザのみがマスク対象画素に対応する輝度画像を見ることができ、所定の権限を持たないユーザはマスク対象画素に対応する輝度画像を見ることができない。このため、所定の権限を持たないユーザから、車両の搭乗者のプライバシーを保護することができる。
【００９５】
また、画像出力装置３０は、交通事故発生などの事象を検知した場合に、マスク画像または輝度画像を選択的に表示または配信することができる。なお、ユーザによるマスク画像または輝度画像の選択を、事象として検知した場合にも、同様の処理を行うことができる。
【００９６】
（実施の形態２）
実施の形態１では、画像処理装置２０は、マスク画像とマスク対象画素値とを画像出力装置３０に対して出力することとしたが、画像処理装置２０は、これらの代わりに、輝度画像と、マスク対象画素の画素位置とを出力するようにしてもよい。
【００９７】
以下では、実施の形態１と異なる点を中心に説明し、実施の形態１と同様の部分については説明を繰り返さない。
【００９８】
実施の形態２に係る車両監視システムの構成は、図１に示した実施の形態１に係る車両監視システム１の構成と同様である。
【００９９】
実施の形態２に係る画像処理装置の構成は、図４に示した実施の形態１に係る画像表示装置４０の構成と同様である。ただし、処理実行部２５が実行する処理が実施の形態１と異なる。
【０１００】
図４のカッコ内に示すように、画像処理装置２０を構成する処理実行部２５は、輝度画像取得部２２が作成した輝度画像と、画素抽出部２４が抽出したマスク対象画素の画素位置とを、ネットワーク５０を介して画像出力装置３０に送信する。マスク対象画素の画素位置は、例えば、画像のｘ座標およびｙ座標により示される。
【０１０１】
実施の形態２に係る画像出力装置の構成は、図７に示した実施の形態１に係る画像出力装置３０の構成と同様である。ただし、出力情報取得部３１が取得する情報および画像出力部３３が実行する処理が実施の形態１と異なる。
【０１０２】
図７のカッコ内に示すように、画像出力装置３０を構成する出力情報取得部３１は、ネットワーク５０を介して、画像処理装置２０から、輝度画像と、マスク対象画素の画素位置とを取得する。
【０１０３】
画像出力部３３は、実施の形態１と同様に、アクセス権情報または事象検知部３４が検知した事象に基づいて、マスク画像または輝度画像を、画像表示装置４０に出力するか、またはネットワーク５０を介して他の装置に出力する。ただし、マスク画像および輝度画像の取得方法が実施の形態１とは異なる。
【０１０４】
つまり、画像出力部３３は、画像処理装置２０から取得した輝度画像（図３の（Ａ））のうち、画像処理装置２０から取得したマスク対象画素の画素位置の画素値を、所定の画素値（例えば、固定値「０」）に置換することにより、マスク画像（図３の（Ｂ））を作成する。なお、画像出力部３３は、上述したように、画像処理装置２０から輝度画像を取得する。
【０１０５】
図１１は、本発明の実施の形態２に係る画像処理装置２０が実行する処理の処理手順の一例を示すフローチャートである。
【０１０６】
画像処理装置２０は、ステップＳ１〜Ｓ４の処理を実行することにより、マスク対象画素の抽出と、輝度画像の取得とを行う。ステップＳ１〜Ｓ４の処理は、図９に示したステップＳ１〜Ｓ４の処理と同様であるため、その詳細な説明はここでは繰り返さない。
【０１０７】
処理実行部２５は、ステップＳ４の処理で作成した輝度画像（図３の（Ａ））と、ステップＳ３の処理で抽出したマスク対象画素の画素位置とを、ネットワーク５０を介して画像出力装置３０に送信する（Ｓ７）。
【０１０８】
図１２は、本発明の実施の形態２に係る画像出力装置３０が実行する処理の処理手順の一例を示すフローチャートである。
【０１０９】
出力情報取得部３１は、ネットワーク５０を介して、画像処理装置２０から輝度画像と、マスク対象画素の画素位置とを取得する（Ｓ２１）。
その後、事象検知部３４による事象検知処理（Ｓ１２）が行われる。
【０１１０】
事象検知部３４が搭乗者のプライバシーの保護が必要な事象を検知した場合には（Ｓ１２でＹＥＳ、Ｓ１３でＹＥＳ）、画像出力部３３は、輝度画像およびマスク対象画素の画素位置から、マスク画像を生成し（Ｓ２２）、生成したマスク画像を画像表示装置４０に出力する（Ｓ２３）。マスク画像の生成の方法は、上述した通りである。
【０１１１】
一方、事象検知部３４が搭乗者のプライバシーの保護が不要な事象を検知した場合には（Ｓ１２でＹＥＳ、Ｓ１３でＮＯ）、画像出力部３３は、出力情報取得部３１が取得した輝度画像を画像表示装置４０に出力する（Ｓ２４）。
【０１１２】
事象検知部３４が、事象を検知していない場合には（Ｓ１２でＮＯ）、画像出力部３３は、記憶装置３２に記憶されているアクセス権情報に基づいて、ログイン中のユーザが輝度画像へのアクセス権が有るか否かを判断する（Ｓ１７）。
【０１１３】
ユーザの輝度画像へのアクセス権が有る場合には（Ｓ１７でＹＥＳ）、画像出力部３３は、ステップＳ２４の処理を実行することにより、画像表示装置４０に輝度画像を出力する。
【０１１４】
ユーザの輝度画像へのアクセス権が無い場合には（Ｓ１７でＮＯ）、画像出力部３３は、ステップＳ２２およびＳ２３の処理を実行することにより、画像表示装置４０にマスク画像を出力する。
【０１１５】
以上説明したように、本発明の実施の形態２によると、画素ごとに偏光度が算出され、算出された偏光度に基づいて、マスク対象画素が抽出される。フロントガラスによる反射光は鏡面反射光であり、偏光度が強いため、フロントガラスの部分をマスク対象画素として抽出することができる。また、画像処理装置２０は、輝度画像とマスク対象画素の画素位置とを画像出力装置３０に出力する。このため、これらの出力情報を受け取った画像出力装置３０は、輝度画像中のマスク対象画素を所定の画素値に置換することによりマスク画像を作成することができる。よって、複雑な画像処理を行わずに、フロントガラスの部分を所定の画素値に置換したマスク画像を作成することができる。これにより、低い処理負荷で車両の搭乗者のプライバシーを保護した画像を作成し、適切な方法でユーザに提供することができる。
【０１１６】
（変形例）
図２に示した偏光フィルタ層１１Ａは、第１偏光フィルタ１２Ａ〜第４偏光フィルタ１２Ｄの４種類の偏光フィルタを含むこととしたが、偏光フィルタ層が３種類の偏光フィルタと、１種類の透過フィルタとを含んでいてもよい。図１３は、イメージセンサ１０の撮像素子の前面に設けられる偏光フィルタ層の一例を示す図である。図１３に示す偏光フィルタ層１１Ｂは、２×２画素の撮像素子の組ごとに、該組の前面に設けられ、第１偏光フィルタ１２Ａと、第２偏光フィルタ１２Ｂと、第３偏光フィルタ１２Ｃと透過フィルタ１３Ｄとを含む。
【０１１７】
イメージセンサ１０は、第１偏光フィルタ１２Ａ〜第３偏光フィルタ１２Ｃを通過した光を撮像することにより３種類の偏光画像を取得することができる。また、イメージセンサ１０は、透過フィルタ１３Ｄを通過した光を撮像することにより輝度画像を取得することができる。イメージセンサ１０は、３種類の偏光画像と、１種類の輝度画像とを画像処理装置２０に出力する。
【０１１８】
偏光画像取得部２１は、３種類の偏光画像をイメージセンサ１０から取得し、偏光度算出部２３は、３種類の偏光画像から偏光度を算出する。輝度画像取得部２２は、輝度画像をイメージセンサ１０から輝度画像を取得する。
【０１１９】
偏光フィルタ層１１Ａをこのように構成することにより、輝度画像取得部２２の処理を簡略化することができる。
【０１２０】
［付記］
以上、本発明の実施の形態に係る車両監視システム１について説明したが、本発明は、これらの実施の形態に限定されるものではない。
【０１２１】
上述の実施の形態では、画像処理装置２０は、１台のイメージセンサ１０から複数の偏光画像を取得したが、画像処理装置２０は、複数台のイメージセンサ１０から複数の偏光画像を取得してもよい。例えば、イメージセンサ１０の代わりに、レンズの前面に偏光角０（rad）の偏光フィルタが配置された第１イメージセンサと、レンズの前面に偏光角π／４（rad）の偏光フィルタが配置された第２イメージセンサと、レンズの前面に偏光角π／２（rad）の偏光フィルタが配置された第３イメージセンサと、レンズの前面に偏光角３π／４（rad）の偏光フィルタが配置された第４イメージセンサとを用いてもよい。各イメージセンサは、撮像対象範囲が同一になるように配置および較正されており、画像処理装置２０は、各イメージセンサから、それぞれ偏光画像を取得してもよい。これにより、画像サイズが縮小されていない偏光画像を取得することができる。
【０１２２】
また、上述の画像処理装置２０は、マスク画像および輝度画像を作成し、作成したマスク画像および輝度画像を画像出力装置３０に出力してもよい。画像出力装置３０は、ユーザの輝度画像へのアクセス権または事象検知部３４が検知した事象に基づいて、画像処理装置２０から受信したマスク画像または輝度画像を出力してもよい。
【０１２３】
また、上記の画像処理装置２０の構成がイメージセンサ１０の内部に備えられていてもよい。
【０１２４】
なお、本開示は、以下の付記１〜付記４として実現することもできる。
［付記１］
同一の撮像対象範囲の互いに偏光方向の異なる複数の偏光画像を取得する偏光画像取得部と、
上記撮像対象範囲の拡散反射成分を含む輝度画像を取得する輝度画像取得部と、
上記偏光画像取得部が取得した上記複数の偏光画像に基づいて、画素毎に、偏光の度合いを示す偏光度を算出する偏光度算出部と、
上記偏光度算出部が算出した上記偏光度に基づいて、該偏光度が所定の条件を満たす画素であるマスク対象画素を抽出する画素抽出部と、
以下の第１処理および第２処理のいずれかを実行する処理実行部とを備え、
上記輝度画像取得部は、上記偏光画像取得部が取得した上記複数の偏光画像に基づいて、上記輝度画像を取得する、画像処理装置。
第１処理：上記輝度画像の上記マスク対象画素の画素値を、所定の画素値に置換することにより得られるマスク画像の出力処理
第２処理：上記輝度画像と、上記マスク対象画素の画素位置との出力処理
【０１２５】
［付記２］
上記輝度画像取得部は、上記偏光画像取得部が取得した上記複数の偏光画像の画素値を平均化した平均画像を、上記輝度画像として取得する
付記１に記載の画像処理装置。
【０１２６】
［付記３］
上記輝度画像取得部は、上記偏光画像取得部が取得した上記複数の偏光画像に基づいて、画素ごとに、偏光角を変化させた場合の画素値の最小値を算出し、算出した上記最小値に基づいた値を当該画素の画素値とする画像を、上記輝度画像として取得する
付記２に記載の画像処理装置。
【０１２７】
［付記４］
同一の撮像対象範囲の互いに偏光方向の異なる複数の偏光画像を取得する偏光画像取得部と、
上記撮像対象範囲の拡散反射成分を含む輝度画像を取得する輝度画像取得部と、
上記偏光画像取得部が取得した上記複数の偏光画像に基づいて、画素毎に、偏光の度合いを示す偏光度を算出する偏光度算出部と、
上記偏光度算出部が算出した上記偏光度に基づいて、該偏光度が所定の条件を満たす画素であるマスク対象画素を抽出する画素抽出部と、
以下の第１処理および第２処理のいずれかを実行する処理実行部とを備え、
上記偏光度算出部は、上記偏光画像取得部が取得した上記複数の偏光画像に基づいて、画素ごとに、偏光角を変化させた場合の画素値の最大値および最小値を算出し、算出した上記最大値および上記最小値の比率に基づいて、上記偏光度を算出する、画像処理装置。
第１処理：上記輝度画像の上記マスク対象画素の画素値を、所定の画素値に置換することにより得られるマスク画像の出力処理
第２処理：上記輝度画像と、上記マスク対象画素の画素位置との出力処理
【０１２８】
また、上記の画像処理装置２０および画像出力装置３０は、具体的には、マイクロプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されてもよい。ＲＡＭまたはＨＤＤには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。
【０１２９】
さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩから構成されているとしてもよい。システムＬＳＩは、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１３０】
また、本発明は、上記に示す方法であるとしてもよい。また、本発明は、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよい。コンピュータプログラムは、コンピュータ読取可能な非一時的な記録媒体、例えば、ＨＤＤ、ＣＤ−ＲＯＭ、半導体メモリ等に記憶させることにより流通させてもよいし、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、上記各装置は、複数のコンピュータにより実現されてもよい。
さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
【０１３１】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１３２】
１        車両監視システム
２        道路
３        車両
１０      イメージセンサ
１１Ａ    偏光フィルタ層
１１Ｂ    偏光フィルタ層
１２Ａ    第１偏光フィルタ
１２Ｂ    第２偏光フィルタ
１２Ｃ    第３偏光フィルタ
１２Ｄ    第４偏光フィルタ
１３Ｄ    透過フィルタ
２０      画像処理装置
２１      偏光画像取得部
２２      輝度画像取得部
２３      偏光度算出部
２４      画素抽出部
２５      処理実行部
３０      画像出力装置
３１      出力情報取得部
３２      記憶装置
３３      画像出力部
３４      事象検知部
４０      画像表示装置
５０      ネットワーク
【図１】
2019004204.tif 000003
【図２】
2019004204.tif 000004
【図３】
2019004204.tif 000005
【図４】
2019004204.tif 000006
【図５】
2019004204.tif 000007
【図６Ａ】
2019004204.tif 000008
【図６Ｂ】
2019004204.tif 000009
【図７】
2019004204.tif 000010
【図８】
2019004204.tif 000011
【図９】
2019004204.tif 000012
【図１０】
2019004204.tif 000013
【図１１】
2019004204.tif 000014
【図１２】
2019004204.tif 000015
【図１３】
2019004204.tif 000016