(57)【要約】  偏光撮像部２１は、複数の偏光成分毎の画素からなる偏光画像を生成する。デモザイク部４１は、偏光画像の注目画素の画素信号と注目画素の近傍に位置する同一偏光成分毎の画素の画素信号を用いて偏光成分毎の画素信号を算出する。例えば、注目画素の近傍に位置する画素の画素信号を同一偏光成分毎に用いて、偏光成分毎に低周波成分を算出する。また、偏光画像の偏光成分の低周波数成分と注目画素の画素信号との関係を示す成分情報を取得する。さらに、偏光成分毎の低周波成分と成分情報に基づき、注目画素における偏光成分毎の画素信号を算出する。偏光画像の画素毎に偏光成分毎の画素信号が得られるので、解像度の高い法線情報や無偏光画像を取得できる。
2017081925.tif 000002
【特許請求の範囲】
【請求項１】
複数の偏光成分毎の画素からなる偏光画像の注目画素の画素信号と前記注目画素の近傍に位置する同一偏光成分毎の画素の画素信号を用いて、前記注目画素における前記偏光画像の偏光成分と異なる前記偏光成分毎の画素信号を算出するデモザイク部を
を備える画像処理装置。
【請求項２】
前記デモザイク部は、前記注目画素の近傍に位置する画素の画素信号を同一偏光成分毎に用いて算出された前記偏光成分毎の低周波成分と、前記偏光画像の偏光成分の低周波数成分と前記注目画素の画素信号との関係を示す成分情報に基づき、前記注目画素における偏光成分毎の画素信号を算出する
請求項１に記載の画像処理装置。
【請求項３】
前記注目画素の近傍に位置する同一偏光成分の画素の画素信号を用いて２次元フィルタ処理を行い、前記低周波成分を算出する低周波成分算出部をさらに有する
請求項２に記載の画像処理装置。
【請求項４】
前記デモザイク部は、前記偏光画像の各画素を前記注目画素として、偏光成分毎の偏光画像を生成する
請求項１に記載の画像処理装置。
【請求項５】
前記デモザイク部で算出した前記複数の偏光成分毎の画素信号を用いて法線情報を取得する法線情報取得部をさらに有する
請求項１に記載の画像処理装置。
【請求項６】
前記法線情報取得部は、前記複数の偏光成分毎の画素信号を用いて偏光特性モデルへのフィッティングを行い、フィッティング後の偏光特性モデルから法線情報を取得する
請求項５に記載の画像処理装置。
【請求項７】
前記複数の偏光成分毎の画素からなる偏光画像はカラー偏光画像であり、
前記デモザイク部は、前記注目画素の近傍に位置する同一偏光成分毎の画素の画素信号を色成分毎に用いて、前記注目画素における前記偏光成分毎の画素信号を色成分毎に算出する
請求項１に記載の画像処理装置。
【請求項８】
前記デモザイク部で算出された前記注目画素の画素信号を用いて法線情報を取得する法線情報取得部をさらに有する
請求項７に記載の画像処理装置。
【請求項９】
前記法線情報取得部は、前記デモザイク部で算出した前記色成分毎の画素信号を前記偏光成分毎に用いて偏光成分毎の輝度を算出して、算出した偏光成分毎の輝度に基づいて法線情報を取得する
請求項８に記載の画像処理装置。
【請求項１０】
前記カラー偏光画像のホワイトバランス調整を行うホワイトバランス調整部をさらに備え、
前記デモザイク部は、前記ホワイトバランス調整が行われたカラー偏光画像を用いて、前記複数の偏光成分毎の画素信号を色成分毎に算出し、
前記法線情報取得部は、前記デモザイク部で算出した前記色成分毎の画素信号を前記偏光成分毎に用いて偏光成分毎の色差を算出して、算出した偏光成分毎の色差に基づいて法線情報を取得する
請求項８に記載の画像処理装置。
【請求項１１】
前記複数の偏光成分毎の画素信号から無偏光画像の画素信号を生成する無偏光画像取得部をさらに有する
請求項１に記載の画像処理装置。
【請求項１２】
前記無偏光画像取得部は、前記複数の偏光成分毎の画素信号を平均化して前記無偏光画像の画素信号を算出する
請求項１１に記載の画像処理装置。
【請求項１３】
前記複数の偏光成分毎の画素からなる偏光画像はカラー偏光画像であり、
前記デモザイク部は、前記注目画素の近傍に位置する同一偏光成分毎の画素の画素信号を色成分毎に用いて、前記注目画素における前記偏光成分毎の画素信号を色成分毎に算出し、
前記無偏光画像取得部は、前記デモザイク部で算出された前記偏光成分毎の画素信号を色成分毎に用いて前記無偏光画像の画素信号を色成分毎に算出する
請求項１１に記載の画像処理装置。
【請求項１４】
補正画素情報を記憶した補正画素情報記憶部をさらに備え、
前記デモザイク部は、前記複数の偏光成分の偏光特性モデルに基づき、前記補正画素情報で示された補正画素の画素信号を、偏光成分が異なる周辺画素の画素信号を用いて算出する
請求項１に記載の画像処理装置。
【請求項１５】
前記補正画素情報は、入射光に応じた画素信号を得ることができない画素の位置情報を有する
請求項１４に記載の画像処理装置。
【請求項１６】
複数の偏光成分毎の画素からなる偏光画像の注目画素の画素信号と前記注目画素の近傍に位置する同一偏光成分毎の画素の画素信号を用いて、前記注目画素における前記偏光画像の偏光成分と異なる前記偏光成分毎の画素信号を算出すること
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、複数の偏光成分毎の画素からなる偏光画像から解像度の高い情報を取得できるようにする。
【背景技術】
【０００２】
従来、被写体の３次元形状等を求めるために偏光情報を取得することが行われている。例えば特許文献１では、撮像装置にカラーモザイクフィルタを有する撮像素子と、カラーモザイクフィルタの同一色画素内において異なる角度の透過偏波面を有する偏光子を設けて、カラー情報および偏光情報を示す信号を生成することが行われている。また、カラー情報および偏光情報を示す信号を用いて、同一色画素内の複数の偏光子単位を透過した光の輝度を平均化してカラー輝度情報を取得する処理が行われている。また、同一色画素内の複数の偏光子単位を透過した光の輝度と偏光子単位の透過偏波面の角度との関係を正弦関数で近似して偏光情報を取得する処理が行われている。特許文献２では、ベイヤー型カラーモザイクフィルタを有する撮像素子の緑色画素に対して４種類の偏光子を設けてカラー情報および偏光情報を生成している。また、４種類の偏光子を設けた緑色画素を用いて、赤色画素や青色画素の位置の偏光情報を取得することが行われている。さらに、生成した信号から、相互に透過偏波面の角度が異なり、かつ隣接する３つの偏光子単位で形成される三角形領域を画素単位としてカラー輝度画像を生成するカラーモザイク補間処理等も行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４２３５２５２号公報
【特許文献２】特許第４５００３６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、引用文献１では、透過偏波面の方向が相互に異なる４種類の偏光子単位がＲ、Ｇ、Ｂの各同一色の画素内に配置された構成とされている。したがって、光の輝度を平均化することによってカラー輝度情報を取得する処理、および正弦関数の近似によって偏光情報を取得する処理を行った場合、得られるカラー輝度情報と偏光情報は解像度の低下した情報となってしまう。【０００５】
また、引用文献２では、カラーモザイクフィルタとしてベイヤー型を用いなければければならず、さらに、４種類の偏光子を設けた緑色画素を利用して偏光情報を生成する構成であることから、被写体光における緑色成分が少ないと偏光情報を取得することができない。【０００６】
そこで、この技術では、複数の偏光成分毎の画素からなる偏光画像から解像度の高い情報を取得できる画像処理装置と画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この技術の第１の側面は、
複数の偏光成分毎の画素からなる偏光画像の注目画素の画素信号と前記注目画素の近傍に位置する同一偏光成分毎の画素の画素信号を用いて、前記注目画素における前記偏光画像の偏光成分と異なる前記偏光成分毎の画素信号を算出するデモザイク部を備える画像処理装置にある。【０００８】
この技術において、複数の偏光成分毎の画素からなる偏光画像の注目画素では、偏光成分毎の画素信号が算出される。例えばデモザイク部は、注目画素の近傍に位置する画素の画素信号を同一偏光成分毎に用いて２次元フィルタ処理を行い、偏光成分毎に低周波成分を算出する。さらに、デモザイク部は、算出した偏光成分毎の低周波成分と、偏光画像の偏光成分の低周波数成分と注目画素の画素信号との関係を示す成分情報に基づき、注目画素における偏光成分毎の画素信号を算出する。デモザイク部は、偏光画像の各画素を注目画素として、偏光成分毎の偏光画像を生成する。また、複数の偏光成分毎の画素からなる偏光画像がカラー偏光画像である場合、デモザイク部は、注目画素の近傍に位置する同一偏光成分毎の画素の画素信号を色成分毎に用いて、偏光成分毎の画素信号を色成分毎に算出する。【０００９】
また、画像処理装置は、デモザイク部で算出した複数の偏光成分毎の画素信号を用いて法線情報を取得する法線情報取得部を有している。偏光画像がカラー偏光画像である場合、法線情報取得部は、デモザイク部で算出した色成分毎の画素信号を偏光成分毎に用いて偏光成分毎の輝度を算出して、算出した偏光成分毎の輝度に基づいて法線情報を取得する。さらに、カラー偏光画像のホワイトバランス調整を行い、法線情報取得部は、ホワイトバランス調整後のカラー偏光画像を用いてデモザイク部で算出した色成分毎の画素信号を偏光成分毎に用いて偏光成分毎の色差を算出して、算出した偏光成分毎の色差に基づいて法線情報を取得する。法線情報取得部は、複数の偏光成分毎の輝度または色差を用いて偏光特性モデルへのフィッティングを行い、フィッティング後の偏光特性モデルから法線情報を取得する。【００１０】
また、画像処理装置は、デモザイク部で算出した複数の偏光成分毎の画素信号から無偏光画像の画素信号を生成する無偏光画像取得部を有している。偏光画像がカラー偏光画像である場合、無偏光画像取得部は、デモザイク部で算出された偏光成分毎の画素信号を色成分毎に用いて無偏光画像の画素信号を色成分毎に算出する。無偏光画像取得部は、複数の偏光成分毎の画素信号を平均化して無偏光画像の画素信号を算出する。【００１１】
さらに、画像処理装置は、入射光に応じた画素信号を得ることができない補正画素の位置情報を有した補正画素情報を記憶した補正画素情報記憶部を備えており、デモザイク部は、複数の偏光成分の偏光特性モデルに基づき、補正画素情報で示された補正画素の画素信号を、偏光成分が異なる周辺画素の画素信号を用いて算出する。【００１２】
この技術の第２の側面は、
複数の偏光成分毎の画素からなる偏光画像の注目画素の画素信号と前記注目画素の近傍に位置する同一偏光成分毎の画素の画素信号を用いて、前記注目画素における前記偏光画像の偏光成分と異なる前記偏光成分毎の画素信号を算出すること
を含む画像処理方法にある。
【発明の効果】
【００１３】
この技術によれば、複数の偏光成分毎の画素からなる偏光画像の注目画素の画素信号と注目画素の近傍に位置する同一偏光成分毎の画素の画素信号を用いて、注目画素における偏光画像の偏光成分と異なる偏光成分毎の画素信号を算出するデモザイク処理が行われる。このため、複数の偏光成分の画素信号を画素毎に得られるようになり、解像度の高い情報例えば画素毎に法線情報や無偏光画像の画素信号を容易に取得できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１４】
【図１】第１の実施の形態の構成を例示した図である。
【図２】偏光撮像部の構成を例示した図である。
【図３】偏光成分を示す図である。
【図４】デモザイク部の構成を例示した図である。
【図５】低域フィルタ処理を説明するための図である。
【図６】偏光成分間の相関を示す図である。
【図７】偏光成分毎の偏光画像を示す図である。
【図８】被写体の形状と偏光画像の関係を説明するための図である。
【図９】輝度と偏光角との関係を例示した図である。
【図１０】偏光度と天頂角の関係を例示した図である。
【図１１】法線情報の取得状況を示した図である。
【図１２】第１の実施の形態の動作を示すフローチャートである。
【図１３】デモザイク処理を示すフローチャートである。
【図１４】第２の実施の形態の構成を例示した図である。
【図１５】偏光撮像部の構成を例示した図である。
【図１６】偏光成分を示す図である。
【図１７】デモザイク部の構成を例示した図である。
【図１８】低域フィルタ処理を説明するための図である。
【図１９】色成分毎に生成された偏光成分毎の偏光画像を示す図である。
【図２０】色毎の無偏光画像を示す図である。
【図２１】第２の実施の形態の動作を示すフローチャートである。
【図２２】第３の実施の形態の構成を例示した図である。
【図２３】第３の実施の形態の動作を示すフローチャートである。
【図２４】第４の実施の形態の構成を例示した図である。
【図２５】デモザイク／信号補正部の構成を例示した図である。
【図２６】低域フィルタ処理を説明するための図である。
【図２７】フィッティング曲線と各偏光成分の画素信号の関係を示す図である。
【図２８】第４の実施の形態の動作を示すフローチャートである。
【図２９】デモザイク／信号補正処理を示すフローチャートである。
【図３０】カラーモザイクフィルタと偏光フィルタのパターンを例示した図である。
【図３１】車両制御システムの概略構成を例示したブロック図である。
【図３２】偏光撮像部の設置例を示した図である。
【発明を実施するための形態】
【００１５】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．他の実施の形態
６．適用例
【００１６】
＜１．第１の実施の形態＞
図１は、本技術の画像処理装置の第１の実施の形態の構成を例示している。画像処理装置１１は、偏光撮像部２１、デモザイク部４１、無偏光画像取得部５１、法線情報取得部６１を有している。
【００１７】
偏光撮像部２１は、複数の偏光成分毎の画素からなる偏光画像の画像信号を生成する。図２は、偏光撮像部の構成を例示している。偏光撮像部２１は、イメージセンサ２１０の入射面に、３方向以上の偏光方向の画素構成とされた偏光フィルタ２１１を配置した構成とされている。なお、図２では、各画素が異なる４種類の偏光方向（偏光方向を矢印で示す）の何れかの画素となる偏光フィルタ２１１をイメージセンサ２１０の前面に配置した場合を例示している。偏光撮像部２１は、生成した偏光画像の画像信号をデモザイク部４１へ出力する。以下、図３に示すように、４つの偏光方向をＣ１偏光成分〜Ｃ４偏光成分として説明する。
【００１８】
デモザイク部４１は、偏光撮像部２１で生成された複数の偏光成分毎の画素からなる偏光画像の画像信号を用いてデモザイク処理を行い、偏光成分毎の画像信号を生成する。デモザイク処理では、偏光画像の注目画素の画素信号と注目画素の近傍に位置する同一偏光成分毎の画素の画素信号を用いて、注目画素における偏光画像の偏光成分と異なる偏光成分毎の画素信号を算出する。図４は、デモザイク部の構成を例示している。デモザイク部４１は、低周波成分算出部４１１と成分情報取得部４１２および信号算出部４１３を有している。
【００１９】
低周波成分算出部４１１は、偏光撮像部２１で生成された偏光画像における注目画素の近傍に位置する画素の画素信号を同一偏光成分毎に用いて、偏光成分毎に低周波成分を算出する。低周波成分算出部４１１は、偏光成分毎に注目画素の近傍に位置する同一偏光成分の画素の画素信号を用いて２次元フィルタ処理を行い、偏光成分毎に低周波成分を算出する。図５は、低域フィルタ処理を説明するための図である。低周波成分算出部４１１は、例えば２次元の重み付きフィルタを用いて低周波成分を算出する。図５の（ａ）は２次元フィルタで用いられる画素、図５の（ｂ）はフィルタ係数を例示している。低周波成分算出部４１１は、５×５タップの２次元フィルタを用いて、斜線で示す注目画素の偏光成分毎の低周波成分を算出する。なお、図５の（ａ）では、注目画素がＣ３偏光成分の画素である場合を例示している。
【００２０】
低周波成分算出部４１１は、偏光成分毎に低周波成分を算出する場合、５×５タップ内において同一偏光成分の画素の画素信号と画素に対応するフィルタ係数を用いて、注目画素における偏光成分毎の低周波成分を算出する。具体的には、偏光成分毎に、同一偏光成分の画素の信号と画素に対応するフィルタ係数との乗算を行い、乗算結果の重み付き和を重みの総和で除算することで低周波成分を算出する。
【００２１】
図５の（ａ）に示すように、注目画素(ｘ＝２，ｙ＝２)がＣ３偏光成分である場合、低周波成分算出部４１１は、式（１）を用いてＣ３偏光成分の低周波成分Ｃ３LPFを算出する。なお、以下に示す式においてＳＣｎ(x,y)は座標(ｘ，ｙ)におけるＣｎ偏光成分の画素信号を示している。低周波成分算出部４１１は、注目画素におけるＣ３偏光成分の低周波成分ＳＣ３LPFだけでなく、式（２）を用いて注目画素におけるＣ１偏光成分の低周波成分ＳＣ１LPFを算出する。さらに、低周波成分算出部４１１は、式（３）を用いて注目画素におけるＣ２偏光成分の低周波成分ＳＣ２LPFを算出し、式（４）を用いて注目画素におけるＣ４偏光成分の低周波成分ＳＣ４LPFを算出する。
ＳＣ３LPF  ＝((１＊ＳＣ３(0,0)＋６＊ＳＣ３(2,0)＋１＊ＳＣ３(4,0)
＋６＊ＳＣ３(0,2)＋３６＊ＳＣ３(2,2)＋６＊ＳＣ３(4,2)
＋１＊ＳＣ３(0,4)＋６＊ＳＣ３(2,4)＋１＊ＳＣ３(4,4))／６４
・・・（１）
ＳＣ１LPF  ＝((１６＊ＳＣ１(1,1)＋１６＊ＳＣ１(3,1)＋１６＊ＳＣ１(1,3)
＋１６＊ＳＣ１(3,3))／６４
・・・（２）
ＳＣ２LPF  ＝((４＊ＳＣ２(1,0)＋４＊ＳＣ２(3,0)＋２４＊ＳＣ２(1,2)
＋２４＊ＳＣ２(3,2)＋４＊ＳＣ２(1,4)＋４＊ＳＣ２(3,4))／６４
・・・（３）
ＳＣ４LPF  ＝((４＊ＳＣ４(0,1)＋２４＊ＳＣ４(2,1)＋４＊ＳＣ４(4,1)
＋４＊ＳＣ４(0,3)＋２４＊ＳＣ４(2,3)＋４＊ＳＣ４(4,3)／６４
・・・（４）
【００２２】
低周波成分算出部４１１は、偏光撮像部２１で生成された偏光画像における各画素を注目画素として上述の処理を行うことで、各画素について低周波成分ＳＣ１LPF〜低周波成分ＳＣ４LPFを算出して、成分情報取得部４１２と信号算出部４１３へ出力する。
【００２３】
成分情報取得部４１２は、偏光画像における注目画素について低周波成分算出部４１１で算出した偏光画像の偏光成分の低周波数成分と注目画素の画素信号との関係を示す成分情報を取得する。成分情報取得部４１２は、例えば注目画素の低周波数成分に高周波成分を加えて注目画素の画素信号とするゲイン（以下「高域加算ゲイン」という）を成分情報とする。成分情報取得部４１２は、注目画素が例えば図５の（ａ）に示す座標(２，２)の画素であってＣ３偏光成分である場合、式（５）を用いて高域加算ゲインＳＣhpgを算出する。
ＳＣhpg  ＝  ＳＣ３(2,2)／ＳＣ３LPF    ・・・（５）
【００２４】
同様に、成分情報取得部４１２は、注目画素が座標(３，２)の画素であってＣ２偏光成分である場合、式（６）を用いて高域加算ゲインＳＣhpgを算出する。
ＳＣhpg  ＝  ＳＣ２(3,2)／ＳＣ２LPF    ・・・（６）
【００２５】
成分情報取得部４１２は、偏光撮像部２１で生成された偏光画像における各画素を注目画素として、各画素位置で高域加算ゲインＳＣhpgを算出して、算出した高域加算ゲインＳＣhpgを信号算出部４１３へ出力する。
【００２６】
信号算出部４１３は、低周波成分算出部４１１で算出した偏光成分毎の低周波成分と、成分情報取得部４１２で取得された成分情報に基づき、注目画素における偏光成分毎の画素信号を算出する。信号算出部４１３は、注目画素における偏光画像の偏光成分の低周波数成分と画素信号の関係を、注目画素における他の偏光成分の低周波数成分と他の偏光成分の画素信号との関係に適用する。すなわち、信号算出部４１３は、成分情報取得部４１２で算出された注目画素の高域加算ゲインと低周波成分算出部４１１で算出された注目画素の偏光成分毎の低周波成分から、注目画素における偏光成分毎の画素信号を算出する。図６は、偏光成分間の関係を示している。信号算出部４１３は、偏光画像における注目画素の画素信号ＳＣｘと低周波成分ＳＣｘLPFの関係を、注目画素における他の偏光成分の画素信号ＳＣｎ（ｎ≠ｘ）と低周波成分ＳＣｎLPFとの関係に適用して画素信号ＳＣｎを算出する。すなわち、信号算出部４１３は、式（７）に基づき高域加算ゲインＳＣhpgと低周波成分ＳＣｎLPFから画素信号ＳＣｎを算出する。
ＳＣｎ  ＝  ＳＣｎLPF＊ＳＣhpg    ・・・（７）
【００２７】
ここで、注目画素が図５の（ａ）における座標(２，２)である場合について説明する。この場合、信号算出部４１３は、Ｃ３偏光成分の画素信号ＳＣ３と低周波成分ＳＣ３LPFの関係をＣ１偏光成分の画素信号ＳＣ１と低周波成分ＳＣ１LPFの関係に適用して、式（８）に基づき、Ｃ１偏光成分の画素信号ＳＣ１を算出する。
ＳＣ１  ＝ＳＣ１LPF＊ＳＣhpg
＝ＳＣ１LPF＊(ＳＣ３(2,2)／ＳＣ３LPF）
＝（１６＊ＳＣ１(1,1)＋１６＊ＳＣ１(3,1)＋１６＊ＳＣ１(1,3)
＋１６＊ＳＣ１(3,3))＊ＳＣ３(2,2)／(１＊ＳＣ３(0,0)
＋６＊ＳＣ３(2,0)＋１＊ＳＣ３(4,0)＋６＊ＳＣ３(0,2)
＋３６＊ＳＣ３(2,2)＋６＊ＳＣ３(4,2)＋１＊ＳＣ３(0,4)
＋６＊ＳＣ３(2,4)＋１＊ＳＣ３(4,4))
・・・（８）
【００２８】
同様に、信号算出部４１３は、Ｃ３偏光成分の画素信号ＳＣ３と低周波成分ＳＣ３LPFの関係を、Ｃ２偏光成分の画素信号ＳＣ２と低周波成分ＳＣ２LPFの関係やＣ４偏光成分の画素信号ＳＣ４と低周波成分ＳＣ４LPFの関係に適用する。すなわち、信号算出部４１３は、式（９）（１０）に基づき、注目画素におけるＣ２偏光成分の画素信号ＳＣ２とＣ４偏光成分の画素信号ＳＣ４を算出する。
ＳＣ２  ＝ＳＣ２LPF＊ＳＣhpg
＝ＳＣ２LPF＊(ＳＣ３(2,2)／ＳＣ３LPF）      ・・・（９）
ＳＣ４  ＝ＳＣ４LPF＊ＳＣhpg
＝ＳＣ４LPF＊(ＳＣ３(2,2)／ＳＣ３LPF）      ・・・（１０）
【００２９】
また、信号算出部４１３は、偏光撮像部２１で生成された偏光画像における各画素を注目画素として同様な処理を行い、図７のように偏光成分毎の偏光画像を生成して無偏光画像取得部５１と法線情報取得部６１へ出力する。
【００３０】
無偏光画像取得部５１は、デモザイク部４１で生成された偏光成分毎の偏光画像から、無偏光画像を生成する。無偏光画像取得部５１は、画素毎に式（１１）に基づき偏光成分の平均化して画素信号を算出することでグレースケールの無偏光画像を生成する。
ＳＣ(x,y)  ＝（ＳＣ１(x,y)＋ＳＣ２(x,y)＋ＳＣ３(x,y)＋ＳＣ４(x,y)）／４
・・・（１１）
【００３１】
法線情報取得部６１は、デモザイク部４１で生成された偏光成分毎の偏光画像に基づいて法線情報、例えば方位角や天頂角，法線画像を取得する。
【００３２】
ここで、被写体の形状と偏光画像の関係について図８を用いて説明する。例えば図８に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、カメラＣＭは偏光板ＰＬを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光板ＰＬの偏光方向に応じて被写体ＯＢの輝度が変化する。なお、説明を容易とするため、例えば偏光板ＰＬを回転して撮像を行うことで、複数の偏光画像を取得して、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板ＰＬの平面上としたとき、偏光板ＰＬを回転させたときのｘ軸に対するｙ軸方向の角度を偏光角υとする。
【００３３】
偏光板ＰＬは、１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、最大輝度Ｉmaxが観測されたときの偏光角υを方位角αとする。このような定義を行うと、偏光板ＰＬを回転させたときに観測される輝度Ｉは式（１２）のように表すことができる。なお、図９は、輝度と偏光角との関係を例示している。また、この例は拡散反射の偏光特性モデルを示しており、鏡面反射の場合は方位角が偏光角に比べて９０度ずれる。
【００３４】
【数１】
2017081925.tif 000003
【００３５】
輝度と偏光角の関係を示す偏光特性モデル式である式（１２）は、偏光角υが偏光画像の生成時に明らかであり、最大輝度Ｉmaxと最小輝度Ｉminおよび方位角αが変数となる。したがって、偏光方向が３方向以上の偏光画像の輝度を用いて、式（１２）に示す偏光特性モデル式へのフィッティングを行うことにより、フィッティング後の偏光特性モデル式に基づき、最大輝度となる偏光角である方位角αを判別することができる。
【００３６】
また、物体表面の法線を極座標系で表現して、法線を方位角αと天頂角θとする。なお、天頂角θはｚ軸から法線に向かう角度、方位角αは、上述のようにｘ軸に対するｙ軸方向の角度とする。ここで、偏光板ＰＬを回したときに最小輝度Ｉminと最大輝度Ｉmaxが得られたとき、式（１３）に基づき偏光度ρを算出できる。
【００３７】
【数２】
2017081925.tif 000004
【００３８】
偏光度と天頂角の関係は、拡散反射の場合、フレネルの式から例えば図１０に示す特性を有することが知られている。したがって、図１０に示す特性から偏光度ρに基づき天頂角θを判別できる。なお、図１０に示す特性は例示であって、被写体の屈折率等に依存して特性は変化する。例えば屈折率が大きくなるに伴い偏光度が大きくなる。
【００３９】
法線情報取得部６１は、このようにして方位角αと天頂角θを画素毎に算出して、算出した方位角αと天頂角θを画素毎の法線情報とする。したがって、法線情報取得部６１では、画素位置毎に法線情報を取得できる。図１１は、法線情報の取得状況を示している。なお、黒丸は法線情報を取得できる画素を示している。従来の方法では、図１１の（ｂ）に示すように、２×２画素単位毎に法線情報が取得される。しかし、法線情報取得部６１では、図１１の（ａ）に示すように、画素位置毎に法線情報を取得できるようになる。また、法線情報取得部６１は、方位角と天頂角を画像化して法線情報としてもよい。例えば法線情報取得部６１は、法線情報を２チャンネル画像として、方位角と天頂角の角度をそれぞれ輝度として表すようにする。
【００４０】
図１２は、第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１で画像処理装置１１は偏光画像を取得する。画像処理装置１１は、複数の偏光成分毎の画素からなる偏光画像を取得してステップＳＴ２に進む。
【００４１】
ステップＳＴ２で画像処理装置１１はデモザイク処理を行う。画像処理装置１１は、ステップＳＴ１で取得した偏光画像に対してデモザイク処理を行い、偏光成分毎に偏光画像を生成してステップＳＴ３に進む。
【００４２】
図１３は、デモザイク処理を示すフローチャートである。ステップＳＴ２０１で画像処理装置１１は低周波成分を算出する。画像処理装置１１は、同じ偏光成分の画素信号を用いて例えば２次元フィルタ処理を行い、注目画素における偏光成分毎の低周波成分を算出してステップＳＴ２０２に進む。
【００４３】
ステップＳＴ２０２で画像処理装置１１は成分情報を取得する。画像処理装置１１は、
注目画素における偏光画像の偏光成分の低周波数成分と注目画素の画素信号との関係を示す成分情報を取得してステップＳＴ２０３に進む。
【００４４】
ステップＳＴ２０３で画像処理装置１１は異なる偏光成分の信号を算出する。画像処理装置１１は、ステップＳＴ２０２で取得した成分情報とステップＳＴ２０１で算出した偏光成分毎の低周波成分に基づき、注目画素における偏光成分毎の画素信号を生成する。また、画像処理装置１１は、ステップＳＴ２０１〜ステップＳＴ２０３の処理をステップＳＴ１で取得した偏光画像の画素毎に行い、画素毎に偏光成分を示している偏光画像を偏光成分毎に生成して図１２のステップＳＴ３に進む。
【００４５】
ステップＳＴ３で画像処理装置１１は無偏光画像取得処理を行う。画像処理装置１１は、ステップＳＴ２でデモザイク処理を行うことにより得た偏光成分毎の偏光画像を用いて、画素毎に例えば偏光成分の平均化を行い、平均化された画素信号を当該画素の画素信号とすることで無偏光画像を取得してステップＳＴ４に進む。
【００４６】
ステップＳＴ４で画像処理装置１１は法線情報取得処理を行う。画像処理装置１１は、ステップＳＴ２でデモザイク処理を行うことにより得た偏光成分毎の偏光画像を用いて、画素毎に偏光特性モデル式へのフィッティングを行い、フィッティング後の偏光特性モデル式に基づき方位角や天頂角を取得して法線情報とする。また、方位角と天頂角を画像化して法線情報としてもよい。
【００４７】
このように、第１の実施の形態によれば、複数の偏光成分毎の画素からなる偏光画像の画素毎に偏光成分毎の画素信号が算出されて、解像度の劣化を生じることなく各偏光成分の偏光画像をデモザイク部で生成できる。また、デモザイク部で生成した各偏光成分の偏光画像を用いることで、解像度の劣化を生じることなく無偏光画像を生成できる。さらに、複数偏光成分の画素信号を画素毎に算出できることから法線情報を画素毎に取得できるようになる。
【００４８】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。上述の第１の実施の形態では、偏光撮像部２１で白黒偏光画像を生成する場合について説明したが、第２の実施の形態ではカラー偏光画像を生成する場合について説明する。
【００４９】
図１４は、本技術の画像処理装置の第２の実施の形態の構成を例示している。画像処理装置１２は、偏光撮像部２２、デモザイク部４２、カラー無偏光画像取得部５２、法線情報取得部６２を有している。
【００５０】
偏光撮像部２２は、複数の偏光成分毎の画素からなるカラー偏光画像の画像信号を生成する。図１５は、偏光撮像部の構成を例示している。偏光撮像部２２は、イメージセンサ２１０の入射面に、３方向以上の偏光方向の画素構成とされた偏光フィルタ２１１を配置した構成とされている。なお、図１５では、各画素が異なる４種類の偏光方向（偏光方向を矢印で示す）の何れかの画素となる偏光フィルタ２１１をイメージセンサ２１０の前面に配置した場合を例示している。また、偏光フィルタ２１１の入射面側またはイメージセンサ側には、カラーモザイクフィルタ２１２が設けられている。カラーモザイクフィルタ２１２は、２×２画素を１つの色成分単位として、２×２色成分単位を１つの赤色成分単位と青色成分単位および２つの緑色成分単位で構成して繰り返し設けた配列とされている。偏光撮像部２２は、生成したカラー偏光画像の画像信号をデモザイク部４２へ出力する。以下、図１６に示すように、赤色成分の４つの偏光方向をＲ１偏光成分〜Ｒ４偏光成分、青色成分の４つの偏光方向をＢ１偏光成分〜Ｂ４偏光成分、緑色成分の４つの偏光方向をＧ１偏光成分〜Ｇ４偏光成分として説明する。
【００５１】
デモザイク部４２は、偏光撮像部２２で生成された複数の偏光成分毎の画素からなるカラー偏光画像の画像信号を用いてデモザイク処理を行い、偏光成分毎の画像信号を色成分毎に生成する。デモザイク処理では、偏光画像の注目画素の画素信号と注目画素の近傍に位置する同一偏光成分毎の画素の画素信号を色成分毎に用いて、注目画素における偏光成分毎の画素信号を色成分毎に算出する。図１７は、デモザイク部の構成を例示している。デモザイク部４２は、低周波成分算出部４２１と成分情報取得部４２２および信号算出部４２３を有している。
【００５２】
低周波成分算出部４２１は、偏光撮像部２２で生成されたカラー偏光画像における注目画素の近傍に位置する画素の画素信号を色成分毎および同一偏光成分毎に用いて、偏光成分毎に低周波成分を色成分毎に算出する。低周波成分算出部４２１は、偏光成分毎に注目画素の近傍に位置する同一偏光成分の画素の画素信号を色成分毎に用いて２次元フィルタ処理を行い、偏光成分毎の低周波成分を色成分毎に算出する。図１８は、低域フィルタ処理を説明するための図である。低周波成分算出部４２１は、例えば２次元の重み付きフィルタを用いて低周波成分を算出する。図１８の（ａ）は２次元フィルタで用いられる画素、図１８の（ｂ）はフィルタ係数を例示している。低周波成分算出部４２１は、例えば９×９タップの２次元フィルタを用いて、二重線の枠で示す注目画素における偏光成分毎の低周波成分を色成分毎に算出する。なお、図１８の（ａ）では、注目画素がＲ３偏光成分の画素である場合を例示している。
【００５３】
低周波成分算出部４２１は、偏光成分毎の低周波成分を色成分毎に算出する場合、９×９タップ内において同一の偏光成分および色成分の画素の画素信号と画素に対応するフィルタ係数を用いて、注目画素における偏光成分毎の低周波成分を色成分毎に算出する。具体的には、偏光成分毎に、同一の色成分および偏光成分の画素の信号と画素に対応するフィルタ係数との乗算を行い、乗算結果の重み付き和を重みの総和で除算することで低周波成分を算出する。
【００５４】
図１８の（ａ）に示すように、注目画素(ｘ＝４，ｙ＝４)がＲ３偏光成分である場合、低周波成分算出部４２１は、式（１４）を用いてＲ３偏光成分の低周波成分Ｒ３LPFを算出する。なお、以下に示す式においてＳＲｎ(x,y)は座標(ｘ，ｙ)におけるＲｎ偏光成分の画素信号、ＳＧｎ(x,y)は座標(ｘ，ｙ)におけるＧｎ偏光成分の画素信号、ＳＢｎ(x,y)は座標(ｘ，ｙ)におけるＢｎ偏光成分の画素信号を示している。
【００５５】
低周波成分算出部４２１は、注目画素におけるＲ３偏光成分の低周波成分ＳＲ３LPFだけでなく、式（１５）を用いて注目画素におけるＲ１偏光成分の低周波成分ＳＲ１LPFを算出する。さらに、低周波成分算出部４２１は、式（１６）を用いて注目画素におけるＲ２偏光成分の低周波成分ＳＲ２LPFを算出し、式（１７）を用いて注目画素におけるＲ４偏光成分の低周波成分ＳＲ４LPFを算出する。
ＳＲ３LPF  ＝  (１＊ＳＲ３(0,0)＋１４＊ＳＲ３(4,0)＋１＊ＳＲ３(8,0)
＋１４＊ＳＲ３(0,4)＋１９６＊ＳＲ３(4,4)＋１４＊ＳＲ３(8,4)
＋１＊ＳＲ３(0,8)＋１４＊ＳＲ３(4,8)＋１＊ＳＲ３(8,8))／２５６
・・・（１４）
ＳＲ１LPF  ＝  (１６＊ＳＲ１(1,1)＋４８＊ＳＲ１(5,1)＋４８＊ＳＲ１(1,5)
＋１４４＊ＳＲ１(5,5))／２５６
・・・（１５）
ＳＲ２LPF  ＝  (４＊ＳＲ２(1,0)＋１２＊ＳＲ２(5,0)＋５６＊ＳＲ２(1,4)
＋１６８＊ＳＲ２(5,4)＋４＊ＳＲ２(1,8)
＋１２＊ＳＲ２(5,8))／２５６
・・・（１６）
ＳＲ４LPF  ＝  (４＊ＳＲ４(0,1)＋５６＊ＳＲ４(4,1)＋４＊ＳＲ４(8,1)
＋１２＊ＳＲ４(0,5)＋１６８＊ＳＲ４(4,5)
＋１２＊ＳＲ４(8,5))／２５６
・・・（１７）
【００５６】
また、低周波成分算出部４２１は、注目画素における赤色成分だけでなく緑色成分および青色成分についても偏光成分毎の低周波成分を算出する。例えば注目画素におけるＧ３偏光成分の低周波成分ＳＧ３LPFは式（１８）、注目画素におけるＢ３偏光成分の低周波成分ＳＢ３LPFは式（１９）を用いて算出する。また、低周波成分算出部４２１は、緑色成分および青色成分の他の偏光成分についても同様にして低周波成分を算出する。
ＳＧ３LPF  ＝  (８＊ＳＧ３(2,0)＋８＊ＳＧ３(6,0)＋８＊ＳＧ３(0,2)
＋１１２＊ＳＧ３(4,2)＋８＊ＳＧ３(8,2)＋１１２＊ＳＧ３(2,4)
＋１１２＊ＳＧ３(6,4)＋８＊ＳＧ３(0,6)＋１１２＊ＳＧ３(4,6)
＋８＊ＳＧ３(8,6)＋８＊ＳＧ３(2,8)＋８＊ＳＧ３(6,8))／５１２
・・・（１８）
ＳＢ３LPF  ＝  (６４＊ＳＢ３(2,2)＋６４＊ＳＢ３(6,2)＋６４＊ＳＢ３(2,6)
＋６４＊ＳＢ３(6,6))／２５６
・・・（１９）
【００５７】
低周波成分算出部４２１は、偏光撮像部２２で生成された偏光画像における各画素を注目画素として上述の処理を行い、各画素について低周波成分ＳＲ１LPF〜ＳＲ４LPF，ＳＧ１LPF〜ＳＧ４LPF，ＳＢ１LPF〜ＳＢ４LPFを算出する。低周波成分算出部４２１は、算出した低周波成分を成分情報取得部４２２と信号算出部４２３へ出力する。
【００５８】
成分情報取得部４２２は、上述の成分情報取得部４１２と同様に、偏光画像における注目画素について低周波成分算出部４２１で算出した偏光画像の偏光成分の低周波数成分と注目画素の画素信号との関係を示す成分情報を取得する。成分情報取得部４２２は、例えば注目画素の低周波数成分に高周波成分を加えて注目画素の画素信号とする高域加算ゲインを成分情報とする。成分情報取得部４２２は、注目画素が例えば図１８の（ａ）に示す座標(４，４)の画素である場合、式（２０）を用いて高域加算ゲインＳＤhpgを算出する。
ＳＤhpg  ＝  ＳＲ３(4,4)／ＳＲ３LPF    ・・・（２０）
【００５９】
同様に、成分情報取得部４２２は、注目画素が座標(３，４)の画素である場合、式（２１）を用いて高域加算ゲインＳＤhpgを算出する。
ＳＤhpg  ＝  ＳＧ２(3,4)／ＳＧ２LPF    ・・・（２１）
【００６０】
成分情報取得部４２２は、偏光撮像部２２で生成されたカラー偏光画像における各画素を注目画素として、各画素位置で高域加算ゲインＳＣhpgを算出して、算出した高域加算ゲインＳＣhpgを信号算出部４２３へ出力する。
【００６１】
信号算出部４２３は、低周波成分算出部４２１で算出した偏光成分毎および色成分毎の低周波成分と、成分情報取得部４２２で取得された成分情報に基づき、注目画素における偏光成分毎の画素信号を色成分毎に算出する。
【００６２】
信号算出部４２３は、注目画素における偏光画像の偏光成分の低周波数成分と画素信号の関係を、注目画素における他の偏光成分の低周波数成分と他の偏光成分の画素信号との関係に適用して、注目画素における偏光成分毎の画素信号を算出する。さらに、信号算出部４２３は、注目画素における偏光画像の偏光成分の低周波数成分と画素信号の関係を用いて、注目画素における偏光成分毎の画素信号の算出を色成分毎に行う。信号算出部４２３は、式（２２）〜（２４）に基づき高域加算ゲインＳＤhpgと低周波成分ＳＲｎLPF（ＳＧｎLPF，ＳＢｎLPF）から画素信号ＳＲｎ（ＳＧｎ，ＳＢｎ）を算出する。
ＳＲｎ  ＝ＳＲｎLPF＊ＳＤhpg    ・・・（２２）
ＳＧｎ  ＝ＳＧｎLPF＊ＳＤhpg    ・・・（２３）
ＳＢｎ  ＝ＳＢｎLPF＊ＳＤhpg    ・・・（２４）
【００６３】
例えば、注目画素が図１８の（ａ）における座標(４，４)である場合、信号算出部４２３は、式（２５）に基づき、注目画素におけるＧ２偏光成分の画素信号ＳＧ２を算出する。
ＳＧ２  ＝ＳＧ２LPF＊ＳＤhpg
＝ＳＧ２LPF＊(ＳＲ３(4,4)／ＳＲ３LPF）
＝(１２＊Ｇ２(3,0)＋４＊Ｇ２(7,0)＋３２＊Ｇ２(1,2)＋９６＊Ｇ２(5,2)
＋１６８＊Ｇ２(3,4)＋５６＊Ｇ２(7,4)＋３２＊Ｇ２(1,6)
＋９６＊Ｇ２(5,6)＋１２＊Ｇ２(3,8)
＋４＊Ｇ２(7,8))／５１２＊Ｒ３(2,2)/(１＊Ｒ３(0,0)
＋１４＊Ｒ３(4,0)＋１＊Ｒ３(8,0)＋１４＊Ｒ３(0,4)
＋１９６＊Ｒ３(4,4)＋１４＊Ｒ３(8,4)＋１＊Ｒ３(0,8)
＋１４＊Ｒ３(4,8)＋１＊Ｒ３(8,8))＊２５６
・・・（２５）
【００６４】
また、信号算出部４２３は、偏光撮像部２２で生成されたカラー偏光画像における各画素を注目画素として同様な処理を行い、図１９のように偏光成分毎の偏光画像を色成分毎に生成して無偏光画像取得部５２と法線情報取得部６２へ出力する。
【００６５】
カラー無偏光画像取得部５２は、デモザイク部４２で色成分毎に生成された偏光成分毎の偏光画像から、無偏光画像を生成する。カラー無偏光画像取得部５２は、画素毎に式（２６）〜（２８）の演算を行い、異なる４つの偏光成分の画素信号を平均して無偏光の画素信号を色成分毎に算出して、図２０に示すように色成分毎の無偏光画像を生成する。
ＳＲ(x,y)  ＝（ＳＲ１(x,y)＋ＳＲ２(x,y)＋ＳＲ３(x,y)＋ＳＲ４(x,y)）／４
・・・（２６）
ＳＧ(x,y)  ＝（ＳＧ１(x,y)＋ＳＧ２(x,y)＋ＳＧ３(x,y)＋ＳＧ４(x,y)）／４
・・・（２７）
ＳＢ(x,y)  ＝（ＳＢ１(x,y)＋ＳＢ２(x,y)＋ＳＢ３(x,y)＋ＳＢ４(x,y)）／４
・・・（２８）
【００６６】
法線情報取得部６２は、デモザイク部４２で生成された偏光成分毎のカラー偏光画像に基づいて法線情報を取得する。
【００６７】
デモザイク部４２では偏光成分毎および色成分毎のカラー偏光画像が生成されている。したがって、法線情報取得部６２は、デモザイク部４２で生成されたカラー偏光画像の画素(x,y)に対して式（２９）の演算を偏光成分毎に行い、偏光成分毎に輝度Ｉを算出する。
Ｉ(x,y)  ＝  Ｒ(x,y)＋２＊Ｇ(x,y)＋Ｂ(x,y)      ・・・（２９）
【００６８】
法線情報取得部６２は、偏光成分毎に算出した輝度を用いて第１の実施の形態の法線情報取得部６１と同様な処理を行い、法線情報を取得する。
【００６９】
図２１は、第２の実施の形態の動作を示すフローチャートである。ステップＳＴ１１で画像処理装置１２はカラー偏光画像を取得する。画像処理装置１２は、３方向以上の偏光成分の画素信号からなるカラー偏光画像を取得してステップＳＴ１２に進む。
【００７０】
ステップＳＴ１２で画像処理装置１２はデモザイク処理を行う。画像処理装置１２は、ステップＳＴ１２で取得したカラー偏光画像に対してデモザイク処理を行い、偏光成分毎に偏光画像を色成分毎に生成してステップＳＴ１３に進む。
【００７１】
ステップＳＴ１３で画像処理装置１２はカラー無偏光画像取得処理を行う。画像処理装置１２は、ステップＳＴ１２のデモザイク処理によって得た偏光成分毎の各色の画像を用いて、画素毎に偏光成分の平均信号を色成分毎に算出して、算出した平均信号を当該画素の画素信号とする。画像処理装置１２は、このような処理を行い無偏光の色成分毎の画像を取得してステップＳＴ１４に進む。
【００７２】
ステップＳＴ１４で画像処理装置１２は法線情報取得処理を行う。画像処理装置１２は、ステップＳＴ１２でデモザイク処理を行うことにより得た色成分毎であって偏光成分毎の画像を用いて、画素毎に同じ偏光成分の色成分毎の画素信号を用いて輝度を偏光成分毎に算出する。また、画素毎に、各偏光成分の輝度を用いてモデル式へのフィッティングを行い、輝度と偏光角の関係を示すモデル式に基づき方位角や天頂角を取得して法線情報とする。また、方位角と天頂角を画像化して法線情報としてもよい。
【００７３】
このように、第２の実施の形態によれば、複数の偏光成分毎の画素からなるカラーモザイクのカラー偏光画像の画素毎に、偏光成分毎の画素信号が色成分毎に算出されて、解像度の劣化を生じることなく各偏光成分の偏光画像を色成分毎にデモザイク部で生成できる。また、複数の偏光成分の色成分毎の画素信号が画素毎に生成されるので、解像度の劣化を生じることなく色成分毎の無偏光画像を得られるようになる。さらに、デモザイク部では、複数偏光成分および色成分毎の画素信号を画素毎に算出できることから法線情報を画素毎に取得できるようになる。
【００７４】
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態では、第３の実施の形態と同様にカラー偏光画像を生成する。また、第３の実施の形態では色差を用いて法線情報を取得する場合について説明する。
【００７５】
図２２は、本技術の画像処理装置の第３の実施の形態の構成を例示している。画像処理装置１３は、偏光撮像部２２、ホワイトバランス調整部３１、デモザイク部４２、カラー無偏光画像取得部５２、法線情報取得部６３を有している。
【００７６】
偏光撮像部２２は、第２の実施の形態と同様に構成されており、複数の偏光成分毎の画素からなるカラー偏光画像の画像信号を生成する。偏光撮像部２２は、生成したカラー偏光画像の画像信号をホワイトバランス調整部３１へ出力する。
【００７７】
ホワイトバランス調整部３１は、偏光撮像部２２で生成されたカラー偏光画像に対してホワイトバランス調整を行う。ホワイトバランス調整部３１は、偏光撮像部２２で例えば白い被写体を撮像したとき、この白い被写体を示す画像信号が白色を示す信号となるように、色成分毎の利得調整を式（３０）〜（３２）に基づいて行う。なお、利得Ｒgain，Ｇgain，Ｂgainは、光源に応じて設定される。
ＳＲ  ＝  Ｒgain＊ＳＲ  ・・・（３０）
ＳＧ  ＝  Ｇgain＊ＳＧ  ・・・（３１）
ＳＢ  ＝  Ｂgain＊ＳＢ  ・・・（３２）
【００７８】
ホワイトバランス調整部３１は、ホワイトバランス調整後のカラー偏光画像の画像信号をデモザイク部４２へ出力する。
【００７９】
デモザイク部４２は、ホワイトバランス調整部３１でホワイトバランス調整が行われたカラー偏光画像の画像信号を用いて第２の実施の形態と同様にデモザイク処理を行い、偏光成分毎の画像信号を色成分毎に生成する。デモザイク部４２は、図１９のように偏光成分毎の偏光画像を色成分毎に生成してカラー無偏光画像取得部５２と法線情報取得部６３へ出力する。
【００８０】
カラー無偏光画像取得部５２は、デモザイク部４２で色成分毎に生成された偏光成分毎の偏光画像から、無偏光画像を生成する。カラー無偏光画像取得部５２は第２の実施の形態と同様に、異なる偏光成分の画素信号を色成分毎に平均する処理を画素毎に行い、色成分毎の無偏光画像を生成する。
【００８１】
法線情報取得部６３は、デモザイク部４２で生成された偏光成分毎および色成分毎のカラー偏光画像に基づいて法線情報を取得する。デモザイク部４２では偏光成分毎および色成分毎のカラー偏光画像が生成されている。したがって、法線情報取得部６３は、デモザイク部４２で生成されたカラー偏光画像の画素(x,y)に対して式（３３）の演算を偏光成分毎に行い、偏光成分毎の色差Ｉ’を算出する。
【００８２】
【数３】
2017081925.tif 000005
2017081925.tif 000006
【００８３】
法線情報取得部６２は、偏光成分毎に算出した色差Ｉ’を用いて第２の実施の形態の法線情報取得部６２と同様に式（３４）の偏光特性モデル式へのフィッティングを行い、フィッティング後の偏光特性モデル式に基づき法線情報を取得する。
【００８４】
【数４】
2017081925.tif 000007
2017081925.tif 000008
【００８５】
図２３は、第３の実施の形態の動作を示すフローチャートである。ステップＳＴ２１で画像処理装置１３はカラー偏光画像を取得する。画像処理装置１３は、３方向以上の偏光成分の画素信号からなるカラー偏光画像を取得してステップＳＴ２２に進む。
【００８６】
ステップＳＴ２２で画像処理装置１３はホワイトバランス調整を行う。画像処理装置１３は、白色の被写体を白色として表示できるように、各色の画素信号の利得を調整してステップＳＴ２３に進む。
【００８７】
ステップＳＴ２３で画像処理装置１３はデモザイク処理を行う。画像処理装置１３は、ステップＳＴ２２でホワイトバランス調整が行われたカラー偏光画像に対してデモザイク処理を行い、偏光成分毎の偏光画像を色成分毎に生成してステップＳＴ２４に進む。
【００８８】
ステップＳＴ２４で画像処理装置１３はカラー無偏光画像取得処理を行う。画像処理装置１３は、ステップＳＴ２３でデモザイク処理によって得た偏光成分毎の各色の画像を用いて、画素毎に偏光成分の平均信号を色成分毎に算出して、算出した平均信号を当該画素の画素信号とする。画像処理装置１３は、このような処理を行い無偏光の色成分毎の画像を取得してステップＳＴ２５に進む。
【００８９】
ステップＳＴ２５で画像処理装置１３は法線情報取得処理を行う。画像処理装置１３は、ステップＳＴ２３でデモザイク処理を行うことにより得た色成分毎および偏光成分毎の画像を用いて、画素毎に同じ偏光成分の色成分毎の画素信号を用いて色差を偏光成分毎に算出する。また、画素毎に、各偏光成分の色差を用いてモデル式へのフィッティングを行い、輝度と偏光角の関係を示すモデル式に基づき方位角や天頂角を取得して法線情報とする。また、方位角と天頂角を画像化して法線情報としてもよい。
【００９０】
このように、第３の実施の形態では、複数の偏光成分毎の画素からなるカラーモザイクのカラー偏光画像の画素毎に、偏光成分毎の画素信号が色成分毎に算出されて、解像度の劣化を生じることなく各偏光成分の偏光画像を色成分毎にデモザイク部で生成できる。また、複数の偏光成分の色成分毎の画素信号が画素毎に生成されるので、解像度の劣化を生じることなく色成分毎の無偏光画像を得られるようになる。さらに、デモザイク部では、複数偏光成分および色成分毎の画素信号を画素毎に算出できることから法線情報を画素毎に取得できるようになる。また、色差に基づいて法線情報が取得されるので、偏光画像の輝度から法線情報を正しく取得することが困難な場合でも、精度よく法線情報を取得できる。さらに、デモザイク部では、ホワイトバランス調整後のカラー偏光画像を用いてデモザイク処理が行われていることから、照明光の色等の影響のない法線情報を取得できる。
【００９１】
＜４．第４の実施の形態＞
次に、第４の実施の形態について説明する。イメージセンサでは、入射光に応じた画素信号を得ることができない画素、例えば画素信号が入射光に応じた信号レベルよりも小さい欠陥画素、画素信号が入射光にかかわらず飽和している飽和画素が生じている場合がある。また、イメージセンサでは、像面位相差ＡＦ用の画素（以下「ＺＡＦ画素」という）が設けられて、入射光に応じて他の画素で得られる画素信号と同等な画素信号を得ることができない場合もある。
【００９２】
そこで、第４の実施の形態では、欠陥画素や飽和画素，ＺＡＦ画素のように、入射光に応じた画素信号を得ることができない画素を補正画素として、補正画素について信号レベルの補正処理を行う場合について説明する。
【００９３】
図２４は、本技術の画像処理装置の第４の実施の形態の構成を例示している。画像処理装置１３は、偏光撮像部２２、デモザイク／信号補正部４３、カラー無偏光画像取得部５２、法線情報取得部６２（６３）を有している。
【００９４】
偏光撮像部２２は、第２の実施の形態と同様に構成されており、複数の偏光成分毎の画素からなるカラー偏光画像の画像信号を生成する。偏光撮像部２２は、生成したカラー偏光画像の画像信号をホワイトバランス調整部３１へ出力する。
【００９５】
ホワイトバランス調整部３１は、偏光撮像部２２で生成されたカラー偏光画像に対して第３の実施の形態と同様にホワイトバランス調整を行い、ホワイトバランス調整後の画像信号をデモザイク／信号補正部４３へ出力する。
【００９６】
デモザイク／信号補正部４３は、ホワイトバランス調整部３１からのカラー偏光画像の画像信号を用いて、デモザイク処理と画素信号補正処理を行い、偏光成分毎の画像信号を色成分毎に生成する。図２５は、デモザイク／信号補正部の構成を例示している。デモザイク／信号補正部４３は、補正画素情報記憶部４３０と低周波成分算出部４３１と成分情報取得部４３２および信号算出部４３３を有している。
【００９７】
補正画素情報記憶部４３０は、被写体に応じた画素信号を得ることができない補正画素の位置情報を有する補正画素情報を記憶している。例えば補正画素情報記憶部４３０には、イメージセンサの製造工程であらかじめＺＡＦ画素の位置情報が記憶される。また、補正画素情報記憶部４３０には、例えば製造工程で全画面が白や黒の被写体を撮像することで検出した欠陥画素や飽和画素の位置情報が記憶される。なお、欠陥画素や飽和画素の位置情報は、製造工程で検出して記憶する場合に限られない。例えばユーザが偏光撮像部２２のキャリブレーションを行い、全画面が白や黒の被写体を撮像することで新たに検出した欠陥画素や飽和画素の位置情報を追加して記憶できる構成であってもよい。補正画素情報記憶部４３０は、記憶している補正画素情報を低周波成分算出部４３１と成分情報取得部４３２へ出力する。
【００９８】
低周波成分算出部４３１は、ホワイトバランス調整部３１でホワイトバランス調整が行われたカラー偏光画像における注目画素の近傍に位置する画素の画素信号を色成分毎および同一偏光成分毎に用いて、偏光成分毎に低周波成分を色成分毎に算出する。低周波成分算出部４３１は、偏光成分毎に注目画素の近傍に位置する同一偏光成分の画素の画素信号を色成分毎に用いて２次元フィルタ処理を行い、偏光成分毎の低周波成分を色成分毎に算出する。さらに、低周波成分算出部４３１は、補正画像情報で示された補正画素を用いないようにして低域フィルタ処理を行う。図２６は、低域フィルタ処理を説明するための図である。低周波成分算出部４３１は、例えば２次元の重み付きフィルタを用いて低周波成分を算出する。図２６の（ａ）は２次元フィルタで用いられる画素、図２６の（ｂ）はフィルタ係数を例示している。低周波成分算出部４３１は、例えば９×９タップの２次元フィルタを用いて、二重線の枠で示す注目画素における偏光成分毎の低周波成分を色成分毎に算出する。なお、図２６の（ａ）では、注目画素がＲ３偏光成分の画素である場合を例示している。また、図２６の（ａ）において、斜線の記載がない画素(０，１)，(１，６)，(２，２)，(４，４)，(４，８)，(６，４)，(７，７)，(８，３)は、補正画素情報記憶部４３０からの補正画素情報によって示された補正画素であることを示している。
【００９９】
低周波成分算出部４３１は、偏光成分毎の低周波成分を色成分毎に算出する場合、９×９タップ内において同一の偏光成分および色成分の画素の画素信号と画素に対応するフィルタ係数を用いて、注目画素における偏光成分毎の低周波成分を色成分毎に算出する。具体的には、偏光成分毎に、同一の色成分および偏光成分の画素の信号と画素に対応するフィルタ係数との乗算を行い、乗算結果の重み付き和を重みの総和で除算することで低周波成分を算出する。
【０１００】
図２６の（ａ）に示すように、注目画素(ｘ＝４，ｙ＝４)がＲ３偏光成分であり、この注目画素が補正画素である場合、低周波成分算出部４３１は、補正画素を用いることなくフィルタ処理を行う。具体的には式（３５）を用いてＲ３偏光成分の低周波成分Ｒ３LPFを算出する。また、低周波成分算出部４３１は、注目画素におけるＲ３偏光成分の低周波成分ＳＲ３LPFだけでなく、式（３６）を用いて注目画素におけるＲ１偏光成分の低周波成分ＳＲ１LPFを算出する。さらに、低周波成分算出部４３１は、式（３７）を用いて注目画素におけるＲ２偏光成分の低周波成分ＳＲ２LPFを算出し、式（３８）を用いて注目画素におけるＲ４偏光成分の低周波成分ＳＲ４LPFを算出する。
ＳＲ３LPF  ＝(１＊ＳＲ３(0,0)＋１４＊ＳＲ３(4,0)＋１＊ＳＲ３(8,0)
＋１４＊ＳＲ３(0,4)＋１４＊ＳＲ３(8,4)＋１＊ＳＲ３(0,8)
＋１＊ＳＲ３(8,8))／４６
・・・（３５）
ＳＲ１LPF  ＝(１６＊ＳＲ１(1,1)＋４８＊ＳＲ１(5,1)＋４８＊ＳＲ１(1,5)
＋１４４＊ＳＲ１(5,5))／２５６
・・・（３６）
ＳＲ２LPF  ＝(４＊ＳＲ２(1,0)＋１２＊ＳＲ２(5,0)＋５６＊ＳＲ２(1,4)
＋１６８＊ＳＲ２(5,4)＋４＊ＳＲ２(1,8)
＋１２＊ＳＲ２(5,8))／２５６
・・・（３７）
ＳＲ４LPF  ＝(５６＊ＳＲ４(4,1)＋４＊ＳＲ４(8,1)＋１２＊ＳＲ４(0,5)
＋１６８＊ＳＲ４(4,5)＋１２＊ＳＲ４(8,5))／２５２
・・・（３８）
【０１０１】
さらに、低周波成分算出部４３１は、注目画素における赤色成分だけでなく緑色成分および青色成分についても補正画素を用いることなくフィルタ処理を行い、偏光成分毎の低周波成分を算出する。例えば注目画素におけるＧ３偏光成分の低周波成分ＳＧ３LPFは式（３９）、注目画素におけるＢ３偏光成分の低周波成分ＳＢ３LPFは式（４０）を用いて算出する。また、他の偏光成分についても同様にして低周波成分を算出する。
ＳＧ３LPF  ＝(８＊ＳＧ３(2,0)＋８＊ＳＧ３(6,0)＋８＊ＳＧ３(0,2)
＋１１２＊ＳＧ３(4,2)＋８＊ＳＧ３(8,2)＋１１２＊ＳＧ３(2,4)
＋８＊ＳＧ３(0,6)＋１１２＊ＳＧ３(4,6)＋８＊ＳＧ３(8,6)
＋８＊ＳＧ３(2,8)＋８＊ＳＧ３(6,8))／４００
・・・（３９）
ＳＢ３LPF  ＝(６４＊ＳＢ３(6,2)＋６４＊ＳＢ３(2,6)
＋６４＊ＳＢ３(6,6))／１９２
・・・（４０）
【０１０２】
低周波成分算出部４３１は、偏光撮像部２２で生成された偏光画像における各画素を注目画素として上述の処理を行うことで、各画素について低周波成分ＳＲ１LPF〜ＳＲ４LPF，ＳＧ１LPF〜ＳＧ４LPF，ＳＢ１LPF〜ＳＢ４LPFを算出する。低周波成分算出部４３１は、算出した低周波成分を成分情報取得部４３２と信号算出部４３３へ出力する。
【０１０３】
成分情報取得部４３２は、第１の実施の形態の成分情報取得部４１２と同様に、偏光画像における注目画素について低周波成分算出部４３１で算出した偏光画像の偏光成分の低周波数成分と注目画素の画素信号との関係を示す成分情報を取得する。成分情報取得部４３２は、例えば注目画素の低周波数成分に高周波成分を加えて注目画素の画素信号とする高域加算ゲインを成分情報とする。成分情報取得部４３２は、注目画素が例えば図２６の（ａ）に示す座標(４，４)の画素で補正画素である場合、偏光特性モデル式として近似できる偏光成分特有の性質を利用して、座標(４，４)のＲ３偏光成分を算出する。
【０１０４】
ここで、偏光方向が例えば０°，４５°，９０°，１３５°である場合、偏光特性モデルの曲線と各偏光成分の画素信号は図２７に示す関係となり式（４１）の関係を満たす。
ＳＲ１＋ＳＲ３  ＝  ＳＲ２＋ＳＲ４              ・・・（４１）
【０１０５】
したがって、成分情報取得部４３２は、式（４２）に基づいて座標(４，４)のＲ３偏光成分の画素信号ＳＲ３を算出して、この算出結果を用いて式（４３）に基づき高域加算ゲインＳＤhpgを算出する。
ＳＲ３(4,4)  ＝ＳＲ２(5,4)＋ＳＲ４(4,5)−ＳＲ１(5,5)
・・・（４２）
ＳＤhpg      ＝ＳＲ３(4,4)／ＳＲ３LPF            ・・・（４３）
【０１０６】
このように、成分情報取得部４３２は、注目画素が補正画素である場合、偏光成分の性質を利用して偏光成分の画素信号を算出して、算出した画素信号を用いて高域加算ゲインを算出する。また、成分情報取得部４３２は、注目画素が補正画素でない場合、第２および第３の実施の形態の成分情報取得部４２２と同様にして高域加算ゲインＳＤhpgを算出する。
【０１０７】
成分情報取得部４３２は、偏光撮像部２２で生成されたカラー偏光画像における各画素を注目画素として、注目画素が補正画素であるか否かにかかわらず高域加算ゲインＳＤhpgを算出して、算出した高域加算ゲインＳＤhpgを信号算出部４３３へ出力
信号算出部４３３は、低周波成分算出部４３１で算出した偏光成分毎および色成分毎の低周波成分と、成分情報取得部４３２で取得された成分情報に基づき、注目画素における偏光成分毎の画素信号を色成分毎に算出する。
【０１０８】
信号算出部４３３は、注目画素における偏光画像の偏光成分の低周波数成分と画素信号の関係を、注目画素における他の偏光成分の低周波数成分と他の偏光成分の画素信号との関係に適用して、注目画素における偏光成分毎の画素信号を算出する。さらに、信号算出部４２３は、注目画素における偏光画像の偏光成分の低周波数成分と画素信号の関係を用いて、注目画素における偏光成分毎の画素信号の算出を色成分毎に行う。
【０１０９】
また、信号算出部４３３は、偏光撮像部２２で生成されたカラー偏光画像における各画素を注目画素として同様な処理を行い、図１９のように偏光成分毎の偏光画像を色成分毎に生成して無偏光画像取得部５２と法線情報取得部６２（６３）へ出力する。
【０１１０】
カラー無偏光画像取得部５２は、デモザイク／信号補正部４３で色成分毎に生成された偏光成分毎の偏光画像から、無偏光画像を生成する。カラー無偏光画像取得部５２は第２の実施の形態と同様に、異なる４つの偏光成分の画素信号を色成分毎に平均して色成分毎の画素信号を算出することで、色成分毎の無偏光画像を取得する。
【０１１１】
法線情報取得部６２（６３）は、デモザイク／信号補正部４３で生成された偏光成分毎の偏光画像に基づいて法線情報を取得する。法線情報取得部６２（６３）は、例えば式（２９）に基づき輝度（または式（３３）に基づき色差）を算出して、算出した輝度（色差）を用いて、第２(第３）の実施の形態と同様な処理を行い、法線情報を取得する。
【０１１２】
図２８は、第４の実施の形態の動作を示すフローチャートである。ステップＳＴ３１で画像処理装置１４はカラー偏光画像を取得する。画像処理装置１４は、３方向以上の偏光成分の画素信号からなるカラー偏光画像を取得してステップＳＴ３２に進む。
【０１１３】
ステップＳＴ３２で画像処理装置１４はホワイトバランス調整を行う。画像処理装置１４は、白色の被写体を白色として表示できるように、各色の画素信号の利得を調整してステップＳＴ３３に進む。
【０１１４】
ステップＳＴ３３で画像処理装置１４はデモザイク／画素補正処理を行う。画像処理装置１４は、ステップＳＴ３２でホワイトバランス調整が行われたカラー偏光画像に対してデモザイク処理および信号補正処理を行い、複数の偏光成分の偏光画像を色成分毎に生成する。
【０１１５】
図２９は、デモザイク／信号補正処理を示すフローチャートである。ステップＳＴ３３１で画像処理装置１４は補正画素情報を取得する。画像処理装置１４は、欠陥画素等のように信号の補正が必要な画素の位置を含む補正画素情報を取得してステップＳＴ３３２に進む。
【０１１６】
ステップＳＴ３３２で画像処理装置１４は低周波成分を算出する。画像処理装置１４は、同じ偏光成分の画素信号を用いて例えば２次元フィルタ処理を行い、注目画素における偏光成分毎の低周波成分を算出する。また、画像処理装置１４は、補正画素情報で示された補正画素を用いることなく２次元フィルタ処理を行いステップＳＴ３３３に進む。
【０１１７】
ステップＳＴ３３３で画像処理装置１４は成分情報を取得する。画像処理装置１４は、注目画素における偏光画像の偏光成分の低周波数成分と注目画素の画素信号との関係を示す成分情報を取得する。また、画像処理装置１４は、注目画素が入射光に応じた画素信号を得ることができない画素であることが補正画素情報で示された場合、偏光成分特有の性質を利用して注目画素の画素信号を算出する。画像処理装置１４は、注目画素の色成分と等しく偏光成分が異なる近傍画素の画素信号を用いて偏光特性モデル式における位相と画素信号の関係から、注目画素の画素信号を算出してステップＳＴ３３４に進む。
【０１１８】
ステップＳＴ３３４で画像処理装置１４は異なる偏光成分の信号を算出する。画像処理装置１４は、ステップＳＴ３３３で取得した成分情報とステップＳＴ３３２で算出した偏光成分毎の低周波成分に基づき、注目画素における偏光成分毎の画素信号を生成する。また、画像処理装置１４は、ステップＳＴ３３２〜ステップＳＴ３３４の処理をステップＳＴ３１で取得した偏光画像の画素毎に行い、画素毎に偏光成分を示している偏光画像を偏光成分毎に生成して図２７のステップＳＴ３４に進む。
【０１１９】
ステップＳＴ３４で画像処理装置１４はカラー無偏光画像取得処理を行う。画像処理装置１３は、ステップＳＴ３３でデモザイク／信号補正処理を行うことにより得た偏光成分毎の各色成分の画像を用いて、画素毎に偏光成分の平均信号を色成分毎に算出して当該画素の画素信号とする。画像処理装置１４は、このような処理を行い無偏光の色成分毎の画像を取得してステップＳＴ３５に進む。
【０１２０】
ステップＳＴ３５で画像処理装置１４は法線情報取得処理を行う。画像処理装置１４は、ステップＳＴ３３でデモザイク／信号補正処理を行うことにより得た色成分毎の偏光成分毎の画像を用いて、画素毎に同じ偏光成分の色成分毎の画素信号を用いて輝度または色差を偏光成分毎に算出する。また、画素毎に、各偏光成分の輝度または色差を用いて偏光特性モデル式へのフィッティングを行い、フィッティング後の偏光特性モデル式に基づき方位角や天頂角を取得して法線情報とする。また、方位角と天頂角を画像化して法線情報としてもよい。
【０１２１】
このように第４の実施の形態では、複数の偏光成分毎の画素からなるカラーモザイクのカラー偏光画像の画素毎に、偏光成分毎の画素信号が色成分毎に算出されて、解像度の劣化を生じることなく各偏光成分の偏光画像を色成分毎にデモザイク／信号補正部で生成できる。また、複数の偏光成分の色成分毎の画素信号が画素毎に生成されるので、解像度の劣化を生じることなく色成分毎の無偏光画像を得られるようになる。さらに、デモザイク部では、複数偏光成分および色成分毎の画素信号を画素毎に算出できることから法線情報を画素毎に取得できるようになる。さらに、欠陥画素や飽和画素が生じて入射光に応じた画素信号を得られない場合、欠陥画素や飽和画素の位置における入射光に応じた画素信号が算出される。また、フォーカス調整のためのＺＡＦ画素が設けられて、ＺＡＦ画素では入射光に応じて他の画素で得られる画素信号と同等の画像信号を得られない場合、ＺＡＦ画素の位置における入射光に応じた画素信号が算出される。したがって、デモザイク／信号補正部で生成した複数の偏光成分の色成分毎の偏光画像を用いることで、欠陥画素や飽和画素およびＺＡＦ画素の影響を少なくして法線情報を取得できるようになる。また、デモザイク／信号補正部で生成した複数の偏光成分の色成分毎の偏光画像を用いることで、欠陥画素等の影響が除去された色成分毎の無偏光画像を得られるようになる。
【０１２２】
＜５．他の実施の形態＞
ところで、上述の実施の形態では、２×２画素を１つの色成分単位として繰り返した配列のカラーモザイクフィルタと、２×２画素の色成分単位を異なる４方向の偏光方向の画素で構成する偏光フィルタとを用いる場合について説明した。しかし、カラーモザイクフィルタや偏光フィルタは、他の構成であってもよい。図３０は、本技術の画像処理装置で利用可能なカラーモザイクフィルタと偏光フィルタを例示している。なお、図３０の（ａ）〜（ｆ）はカラーパターン、図３０の（ｇ），（ｈ）は偏光パターンを例示している。
【０１２３】
カラーパターンは、図３０の（ａ）に示す２×２画素を１つの色成分単位として繰り返した配列に限らず、図３０の（ｂ）に示すＢａｙｅｒ配列であってもよい。また、図３０の（ｃ）に示すように２×２画素を１つの色成分単位として繰り返した配列に白色画素を混載した構成であってもよく、図３０の（ｄ）に示すようにＢａｙｅｒ配列に白色画素を混載した構成であってもよい。さらに、夜間等でも高感度な撮像を可能するため、図３０の（ｅ）に示すように例えばＢａｙｅｒ配列に赤外（ＩＲ）画素を混在した構成であってもよい。また、図３０の（ｆ）に示すように全てを白色画素とすれば、第１の実施の形態と同様な処理が可能となる。なお、Ｂａｙｅｒ配列では、２×２画素を１つの色成分単位として繰り返した配列に比べて各色成分の画素の配列が均等となることから、この配列に比べて２次元フィルタを小さくしてもよい。
【０１２４】
偏光パターンは、図３０の（ｇ）に示すように２×２画素の画素単位を異なる４方向の偏光方向の画素で構成してもよく、図３０の（ｈ）に示すように２×２画素の画素単位を偏光単位として、２×２偏光単位を異なる４つの偏光方向で構成してもよい。
【０１２５】
カラーパターンと偏光パターンは、色成分毎に４つの偏光成分が得られるように組み合わせて用いる。例えば、カラーモザイクフィルタが図３０の（ａ），（ｃ）の場合、図３０の（ｇ）に示す偏光パターンを用いる。また、カラーモザイクフィルタが図３０の（ｂ），（ｄ），（ｅ）の場合、図３０の（ｈ）に示す偏光パターンを用いる。さらに、カラーモザイクフィルタが図３０の（ａ），（ｃ）の場合、左右および上下方向に１画素分だけ位相をずらして図３０の（ｈ）に示す偏光パターンを用いるようにしてもよい。
【０１２６】
また、ホワイトバランス調整部は、第３および第４の実施の形態の構成に限らず第２の実施の形態の構成に設けて、ホワイトバランス調整後のカラー偏光画像の画像信号を用いてデモザイク処理を行うようにしてもよい。
【０１２７】
また、上述の第１乃至第４の実施の形態で示したフローチャートの処理は、ステップ順に処理を行う順序処理に限らず、画像取得処理と法線情報取得処理を並列して行うようにしてもよい。また、パイプライン処理によって、偏光画像を例えばフレーム単位で順次取得するに伴い、無偏光画像と法線情報が取得されるように構成してもよい。さらに、上述の第１乃至第４の実施の形態では、画像処理装置に偏光撮像部を含む構成を示しているが、偏光撮像部は画像処理装置と別個に設けられた構成であってもよい。
【０１２８】
＜６．適用例＞
次に、画像処理装置（画像処理方法）の適用例について説明する。図３１は、この技術の画像処理装置を用いた車両制御システムの概略構成を例示したブロック図である。車両制御システム９０は、通信ネットワーク９２０を介して接続された複数の制御部や検出部を備える。図３１に示した例では、車両制御システム９０は、駆動系制御部９３１、ボディ系制御部９３２、バッテリ制御部９３３、車外情報検出部９３４、無線通信部９３５および統合制御部９４０を備える。通信ネットワーク９２０は、例えば、ＣＡＮ（Controller  Area  Network）、ＬＩＮ（Local  Interconnect  Network）、ＬＡＮ（Local  Area  Network）またはＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。また、統合制御部９４０には、入力部９５１、音声出力部９５２、表示部９５３が接続されている。
【０１２９】
各制御部は、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラムまたは各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。
【０１３０】
駆動系制御部９３１は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御部９３１は、内燃機関または駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構として機能する。また、駆動系制御部９３１は、車両の制動力を発生させる制動装置等の制御装置としての機能、ＡＢＳ（Antilock  Brake  System）またはＥＳＣ（Electronic  Stability  Control）等の制御装置としての機能を有してもよい。
【０１３１】
駆動系制御部９３１には、車両状態検出部９３１１が接続される。車両状態検出部９３１１には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数または走行速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御部９３１は、車両状態検出部９３１１から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置またはブレーキ装置等を制御する。
【０１３２】
ボディ系制御部９３２は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御部９３２は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカーまたはフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御部９３２には、鍵を代替する携帯機から発信される電波または各種スイッチの信号が入力され得る。ボディ系制御部９３２は、これらの電波または信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１３３】
バッテリ制御部９３３は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池９３３１を制御する。例えば、バッテリ制御部９３３には、二次電池９３３１を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧またはバッテリの残存容量等の情報が入力される。バッテリ制御部９３３は、これらの信号を用いて演算処理を行い、二次電池９３３１の温度調節制御またはバッテリ装置に備えられた冷却装置等の制御を行う。
【０１３４】
車外情報検出部９３４は、車両制御システム９０を搭載した車両の外部の情報を検出する。車外情報検出部９３４には、この技術の画像処理装置１１（１２，１３，１４）を利用する。
【０１３５】
図３２は、偏光撮像部の設置例を示した図である。画像処理装置１１（１２，１３，１４）の偏光撮像部２１（２２）は、例えば、車両８０のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる偏光撮像部２１-Ａおよび車室内のフロントガラスの上部に備えられる偏光撮像部２１-Ｂは、主として車両８０の前方の画像を取得する。サイドミラーに備えられる偏光撮像部２１-Ｃ，２１-Ｄは、主として車両８０の側方の画像を取得する。リアバンパまたはバックドアに備えられる偏光撮像部２１-Ｅは、主として車両８０の後方の画像を取得する。また、図３２では、それぞれの偏光撮像部２１-Ａ乃至２１-Ｅの撮影範囲の一例を示している。撮像範囲ＡＲ-ａは、フロントノーズに設けられた偏光撮像部２１-Ａの撮像範囲を示し、撮像範囲ＡＲ-ｃ，ＡＲ-ｄは、それぞれサイドミラーに設けられた偏光撮像部２１-Ｃ，２１-Ｄの撮像範囲を示し、撮像範囲ＡＲ-ｅは、リアバンパまたはバックドアに設けられた偏光撮像部２１-Ｅの撮像範囲を示す。
【０１３６】
図３１に戻り、車外情報検出部９３４は、車両の周辺領域を撮像して偏光画像を取得する。また、車外情報検出部９３４は、取得した偏光画像から被写体の偏光特性を取得する。さらに、車外情報検出部９３４は、取得した偏光特性を利用して、車両制御等に利用可能な情報の生成等を行う。
【０１３７】
無線通信部９３５は、ＤＳＲＣ（登録商標）（Dedicated Short Range Communication）等の無線通信網を介して車外、例えば他車両や道路状況等を管理する管理センタと通信を行い、受信した情報を統合制御部９４０に出力する。また、無線通信部９３５は車外情報検出部９３４で取得した偏光特性等を他車両や管理センタ等へ送信する。なお、無線通信部９３５は、無線ＬＡＮの無線通信網、３Ｇ，ＬＴＥ，４Ｇなどの携帯電話用の無線通信網等の無線通信網を介して管理センタとの通信を行ってもよい。また、無線通信部９３５は、全地球測位システム（GNSS：Global Navigation Satellite System）の信号等を受信して測位を行い、測位結果を統合制御部９４０へ出力してもよい。
【０１３８】
統合制御部９４０には、入力部９５１、音声出力部９５２、表示部９５３が接続されている。入力部９５１は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチまたはレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部９５１は、搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御部９４０に出力する。
【０１３９】
音声出力部９５２は、統合制御部９４０からの音声信号に基づいた音声を出力することで、車両の搭乗者に対して聴覚的に情報を通知する。表示部９５３は、統合制御部９４０からの画像信号に基づいて画像表示を行い、車両の搭乗者に対して視覚的に情報を通知する。
【０１４０】
統合制御部９４０は、ＣＰＵ(Central Processing Unit)，ＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read  Only  Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random  Access  Memory）は、各種パラメータ、演算結果またはセンサ信号等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、入力部９５１からの入力信号および通信ネットワーク９２０を介した各制御部や車外情報検出部および無線通信部との通信によって取得した情報、およびＲＡＭに記憶されている情報等に応じて車両制御システム９０内の動作全般を制御する。また、統合制御部９４０は、車両の搭乗者に対して、聴覚的に通知する情報を示す音声信号を生成して音声出力部９５２へ出力して、視覚的に情報を通知する画像信号を生成して表示部９５３へ出力する。また、統合制御部９４０は、無線通信部９３５を用いて他車両や管理センタ等の車外に存在する様々な機器と通信を行う。また、統合制御部９４０は、ＲＯＭまたはＲＡＭに記憶されている地図情報と無線通信部９３５から取得した測位結果に基づき、車両の走行支援を行う。
【０１４１】
なお、図３１に示した例において、通信ネットワーク９２０を介して接続された少なくとも二つの制御部が一つの制御部として一体化されてもよい。あるいは、個々の制御部が、複数の制御部により構成されてもよい。さらに、車両制御システム９０が、図示されていない別の制御部を備えてもよい。また、上記の説明において、何れかの制御部が担う機能の一部または全部を、他の制御部に持たせてもよい。つまり、通信ネットワーク９２０を介して情報の送受信がされるようになっていれば、所定の演算処理が、何れかの制御部で行われるようになってもよい。
【０１４２】
このような車両制御システムにおいて、本技術の画像処理装置を例えば車外情報検出部に適用した場合、車外情報検出部では、解像度の高い法線情報や無偏光画像を取得することが可能となる。このため、車外情報検出部で取得された法線情報や無偏光画像を用いて、障害物の検出等を精度よく行うことができるようになり、より安全な走行を可能とする車両制御システムを構築できる。
【０１４３】
また、上述の画像処理装置は、撮像装置や撮像機能を有した電子機器等であってもよい。さらに、明細書中において説明した一連の処理は、ハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１４４】
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）にあらかじめ記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０１４５】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１４６】
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
【０１４７】
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１）  複数の偏光成分毎の画素からなる偏光画像の注目画素の画素信号と前記注目画素の近傍に位置する同一偏光成分毎の画素の画素信号を用いて、前記注目画素における前記偏光画像の偏光成分と異なる前記偏光成分毎の画素信号を算出するデモザイク部を備える画像処理装置。
（２）  前記デモザイク部は、前記注目画素の近傍に位置する画素の画素信号を同一偏光成分毎に用いて算出された前記偏光成分毎の低周波成分と、前記偏光画像の偏光成分の低周波数成分と前記注目画素の画素信号との関係を示す成分情報に基づき、前記注目画素における偏光成分毎の画素信号を算出する（１）に記載の画像処理装置。
（３）  前記注目画素の近傍に位置する同一偏光成分の画素の画素信号を用いて２次元フィルタ処理を行い、前記低周波成分を算出する低周波成分算出部をさらに有する（２）に記載の画像処理装置。
（４）  前記デモザイク部は、前記偏光画像の各画素を前記注目画素として、偏光成分毎の偏光画像を生成する（１）乃至（３）の何れかに記載の画像処理装置。
（５）  前記デモザイク部で算出した前記複数の偏光成分毎の画素信号を用いて法線情報を取得する法線情報取得部をさらに有する（１）乃至（４）の何れかに記載の画像処理装置。
（６）  前記法線情報取得部は、前記複数の偏光成分毎の画素信号を用いて偏光特性モデルへのフィッティングを行い、フィッティング後の偏光特性モデルから法線情報を取得する（５）に記載の画像処理装置。
（７）  前記複数の偏光成分毎の画素からなる偏光画像はカラー偏光画像であり、
前記デモザイク部は、前記注目画素の近傍に位置する同一偏光成分毎の画素の画素信号を色成分毎に用いて、前記注目画素における前記偏光成分毎の画素信号を色成分毎に算出する（１）乃至（４）の何れかに記載の画像処理装置。
（８）  前記デモザイク部で算出された前記注目画素の画素信号を用いて法線情報を取得する法線情報取得部をさらに有する（７）に記載の画像処理装置。
（９）  前記法線情報取得部は、前記デモザイク部で算出した前記色成分毎の画素信号を前記偏光成分毎に用いて偏光成分毎の輝度を算出して、算出した偏光成分毎の輝度に基づいて法線情報を取得する（８）に記載の画像処理装置。
（１０）  前記カラー偏光画像のホワイトバランス調整を行うホワイトバランス調整部をさらに備え、
前記デモザイク部は、前記ホワイトバランス調整が行われたカラー偏光画像を用いて、前記複数の偏光成分毎の画素信号を色成分毎に算出し、
前記法線情報取得部は、前記デモザイク部で算出した前記色成分毎の画素信号を前記偏光成分毎に用いて偏光成分毎の色差を算出して、算出した偏光成分毎の色差に基づいて法線情報を取得する（８）に記載の画像処理装置。
（１１）  前記複数の偏光成分毎の画素信号から無偏光画像の画素信号を生成する無偏光画像取得部をさらに有する（１）乃至（６）の何れかに記載の画像処理装置。
（１２）  前記無偏光画像取得部は、前記複数の偏光成分毎の画素信号を平均化して前記無偏光画像の画素信号を算出する（１１）に記載の画像処理装置。
（１３）  前記複数の偏光成分毎の画素からなる偏光画像はカラー偏光画像であり、
前記デモザイク部は、前記注目画素の近傍に位置する同一偏光成分毎の画素の画素信号を色成分毎に用いて、前記注目画素における前記偏光成分毎の画素信号を色成分毎に算出し、
前記無偏光画像取得部は、前記デモザイク部で算出された前記偏光成分毎の画素信号を色成分毎に用いて前記無偏光画像の画素信号を色成分毎に算出する（７）乃至（１２）の何れかに記載の画像処理装置。
（１４）  補正画素情報を記憶した補正画素情報記憶部をさらに備え、
前記デモザイク部は、前記複数の偏光成分の偏光特性モデルに基づき、前記補正画素情報で示された補正画素の画素信号を、偏光成分が異なる周辺画素の画素信号を用いて算出する（１）乃至（１３）の何れかに記載の画像処理装置。
（１５）  前記補正画素情報は、入射光に応じた画素信号を得ることができない画素の位置情報を有する（１４）に記載の画像処理装置。
【産業上の利用可能性】
【０１４８】
この技術の画像処理装置と画像処理方法では、複数の偏光成分毎の画素からなる偏光画像の注目画素の画素信号と注目画素の近傍に位置する同一偏光成分毎の画素の画素信号を用いて、注目画素における偏光画像の偏光成分と異なる偏光成分毎の画素信号を算出するデモザイク処理が行われる。このため、複数の偏光成分の画素信号を画素毎に得られるようになり、解像度の高い情報例えば画素毎に法線情報や無偏光画像の画素信号を容易に取得できるようになる。したがって、法線情報や無偏光画像の利用を用いて制御等を行う機器、例えば車両制御システム等に適している。
【符号の説明】
【０１４９】
１１，１２，１３，１４・・・画像処理装置
２１，２２・・・偏光撮像部
３１・・・ホワイトバランス調整部
４１，４２・・・デモザイク部
４３・・・デモザイク／信号補正部
５１・・・無偏光画像取得部
５２・・・カラー無偏光画像取得部
６１，６２，６３・・・法線情報取得部
２１０・・・イメージセンサ
２１１・・・偏光フィルタ
２１２・・・カラーモザイクフィルタ
４１１，４２１，４３１・・・低周波成分算出部
４１２，４２２，４３２・・・成分情報取得部
４１３，４２３，４３３・・・信号算出部
４３０・・・ 補正画素情報記憶部
【図１】
2017081925.tif 000009
【図２】
2017081925.tif 000010
【図３】
2017081925.tif 000011
【図４】
2017081925.tif 000012
【図５】
2017081925.tif 000013
【図６】
2017081925.tif 000014
【図７】
2017081925.tif 000015
【図８】
2017081925.tif 000016
【図９】
2017081925.tif 000017
【図１０】
2017081925.tif 000018
【図１１】
2017081925.tif 000019
【図１２】
2017081925.tif 000020
【図１３】
2017081925.tif 000021
【図１４】
2017081925.tif 000022
【図１５】
2017081925.tif 000023
【図１６】
2017081925.tif 000024
【図１７】
2017081925.tif 000025
【図１８】
2017081925.tif 000026
【図１９】
2017081925.tif 000027
【図２０】
2017081925.tif 000028
【図２１】
2017081925.tif 000029
【図２２】
2017081925.tif 000030
【図２３】
2017081925.tif 000031
【図２４】
2017081925.tif 000032
【図２５】
2017081925.tif 000033
【図２６】
2017081925.tif 000034
【図２７】
2017081925.tif 000035
【図２８】
2017081925.tif 000036
【図２９】
2017081925.tif 000037
【図３０】
2017081925.tif 000038
【図３１】
2017081925.tif 000039
【図３２】
2017081925.tif 000040
【国際調査報告】
2017081925.tif 000041
2017081925.tif 000042
2017081925.tif 000043
2017081925.tif 000044