(57)【要約】  偏光撮像部２０は、複数偏光方向の偏光画素を有する偏光画像を取得する。情報圧縮部４０は、偏光画像における少なくとも複数の偏光方向の基準偏光画素の偏光画像情報に基づいて基準画像情報を設定して、偏光画像における基準偏光画素とは異なる偏光画素毎の偏光画像情報と基準画像情報との差分情報を生成する。また、情報圧縮部４０は、複数の偏光方向の偏光画素毎に生成された差分情報の情報量を削減して、基準画像情報と情報量が削減された差分情報を含む圧縮画像情報を生成する。情報復号部７０は記録媒体５０または伝送路６０を介して取得した圧縮画像情報に対して、情報圧縮部４０の圧縮処理に対応した復号処理を行い偏光画像を生成して、偏光画像利用部８０へ出力する。
2020054152.tif 000002
【特許請求の範囲】
【請求項１】
複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い、圧縮画像情報を生成する情報圧縮部
を備える画像処理装置。
【請求項２】
前記情報圧縮部は、前記偏光画像における基準偏光画素の偏光画像情報に基づいて基準画像情報を設定して、前記偏光画像における前記基準偏光画素とは異なる偏光画素毎の偏光画像情報と前記基準画像情報との差分情報の生成を行い、偏光画素毎に生成された前記差分情報の情報量を削減して、前記基準画像情報と前記情報量が削減された差分情報を含む前記圧縮画像情報を生成する
請求項１に記載の画像処理装置。
【請求項３】
前記基準画像情報は、色毎および偏光方向毎の前記基準偏光画素の輝度値を示す情報を含み、
前記差分情報は、前記基準偏光画素の輝度値と同色かつ同偏光方向であって前記基準偏光画素と異なる偏光画素の輝度値と差を示す情報を含む
請求項２に記載の画像処理装置。
【請求項４】
前記情報圧縮部は、偏光の性質に基づいて前記基準画像情報と前記差分情報の生成を行う
請求項２に記載の画像処理装置。
【請求項５】
前記基準画像情報は、複数偏光方向の前記基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報と、平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の前記基準偏光画素の輝度値である基準輝度値を示す情報を含み、
前記差分情報は、前記基準偏光画素と異なる偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の前記基準平均輝度値との差を示す情報と、前記基準偏光画素と異なる偏光画素の輝度値と同色かつ同偏光方向である基準輝度値と差を示す情報を含む
請求項４に記載の画像処理装置。
【請求項６】
前記基準画像情報は、複数偏光方向の前記基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含み、
前記差分情報は、前記基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の前記基準平均輝度値との差を示す情報と、前記基準偏光画素と異なる偏光画素の画素ブロックにおける輝度値の比率と隣接する画素ブロックにおける偏光画素の輝度値の比率との差を示す情報を含む
請求項４に記載の画像処理装置。
【請求項７】
前記基準画像情報は、複数偏光方向の前記基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含み、
前記差分情報は、前記基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の前記基準平均輝度値との差を示す情報と、前記基準偏光画素と異なる複数偏光方向の偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含み、
前記予測値は、前記基準偏光画素と異なる偏光画素の画素ブロックで算出された平均輝度値と、前記画素ブロックに隣接する画素ブロックにおける偏光画素の輝度値の比率に基づいて偏光方向毎に算出した
請求項４に記載の画像処理装置。
【請求項８】
前記偏光画像は無偏光である通常画素を有し、
前記基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報と、前記平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の基準偏光画素の輝度値である基準輝度値を示す情報を含み、
前記差分情報は、前記基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、前記基準偏光画素と異なる偏光画素であって同偏光方向の偏光画素の輝度値と同偏光方向の基準輝度値との差を示す情報を含む
請求項４に記載の画像処理装置。
【請求項９】
前記偏光画像は無偏光である通常画素を有し、
前記基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含み、
前記差分情報は、前記基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、前記基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける前記指定偏光画素の輝度値の比率と隣接する画素ブロックにおける前記指定偏光画素の輝度値の比率との差を示す情報を含む
請求項４に記載の画像処理装置。
【請求項１０】
前記偏光画像は無偏光の通常画素を有し、
前記基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含み、
前記差分情報は、前記基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、前記基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける前記指定偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含み、
前記予測値は、前記基準通常画素とは異なる通常画素の輝度値と、前記画素ブロックに隣接する画素ブロックにおける前記指定偏光画素の輝度値の比率に基づいて偏光方向毎に算出した
請求項４に記載の画像処理装置。
【請求項１１】
前記複数偏光方向の偏光画素を有する偏光画像の取得に関する特性情報を記憶する特性情報記憶部をさらに備え、
前記情報圧縮部は前記特性情報記憶部に記憶されている特性情報を用いて前記圧縮画像情報の生成を行う
請求項２に記載の画像処理装置。
【請求項１２】
前記特性情報は、前記偏光画像を取得した偏光撮像部の消光比または透過軸透過率を示し、
前記情報圧縮部は、前記消光比または前記透過軸透過率を用いて前記偏光画像の補正を行い、補正後の前記偏光画像を用いて前記圧縮画像情報を生成する
請求項１１に記載の画像処理装置。
【請求項１３】
前記特性情報は、前記偏光画像の取得に用いた偏光照明光の偏光方向を示しており、
前記情報圧縮部は、前記偏光照明光の偏光方向に基づいて前記基準画像情報と前記差分情報の生成を行う
請求項１１に記載の画像処理装置。
【請求項１４】
前記情報圧縮部は、前記基準画像情報よりも前記差分情報のビット幅を少なくすることで前記差分情報の情報量を削減する
請求項２に記載の画像処理装置。
【請求項１５】
複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い、圧縮画像情報を情報圧縮部で生成すること
を含む画像処理方法。
【請求項１６】
偏光画像の圧縮処理をコンピュータで実行させるプログラムであって、
複数偏光方向の偏光画素を有する前記偏光画像を取得する手順と、
前記偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い、圧縮画像情報を生成する手順と
を前記コンピュータで実行させるプログラム。
【請求項１７】
情報圧縮部によって、複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行うことにより生成された圧縮画像情報の復号処理を行い、前記偏光画像を生成する情報復号部
を備える画像処理装置。
【請求項１８】
前記圧縮画像情報は、前記偏光画像における基準偏光画素の偏光画像情報に基づいて基準画像情報を設定して、前記偏光画像における前記基準偏光画素とは異なる偏光画素毎の偏光画像情報と前記基準画像情報との差分情報の生成を行い、偏光画素毎に生成された前記差分情報の情報量を削減して、前記基準画像情報と前記情報量が削減された差分情報を含み、
前記情報復号部は、前記基準画像情報と前記差分情報に基づいて前記偏光画像の画素毎の輝度値を生成する。
請求項１７に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法およびプログラムに関し、偏光画像の情報量を削減できるようにする。
【背景技術】
【０００２】
従来、撮像部と偏光フィルタを用いて偏光画像を取得することが行われている。例えば、特許文献１では、偏光方向が異なる画素を含む画素構成の撮像部によって偏光画像を取得することが行われている。【０００３】
また、複数の偏光方向の偏光画像から被写体の法線情報を取得することが行われている。例えば、非特許文献１や非特許文献２では、複数の偏光方向の偏光画像をモデル式にあてはめることによって法線情報の算出が行われている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１１４３０７号公報
【非特許文献】
【０００５】
【非特許文献１】Lawrence B.Wolff and Terrance E.Boult :"Constraining Object Features Using a Polarization Reflectance Model",IEEE Transaction on pattern analysis and machine intelligence,Vol.13,No.7,July 1991
【非特許文献２】Gary A. Atkinson and Edwin R. Hancock :"Recovery of surface orientation from diffuse polarization",IEEE Transactions of Image Processing, Vol.15, Issue.6, pp.1653-1664, 2006
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、無偏光である通常画像では例えば隣接する画素間の相関を利用して圧縮処理が行われている。しかし、偏光画像で隣接する画素間の偏光方向が異なると画素間の相関が低くなり、通常画像と同様な圧縮処理では情報量を効率よく削減することができない。【０００７】
そこで、この技術では、偏光画像に適した圧縮処理や復号処理を行うことができる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
この技術の第１の側面は、
複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い、圧縮画像情報を生成する情報圧縮部
を備える画像処理装置にある。【０００９】
この技術において、情報圧縮部は、複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の基準偏光画素の偏光画像情報に基づいて基準画像情報を設定して、偏光画像における基準偏光画素とは異なる偏光画素毎の偏光画像情報と基準画像情報との差分情報を生成する。また、情報圧縮部は、複数の偏光方向の偏光画素毎に生成された差分情報の情報量を削減して、基準画像情報と情報量が削減された差分情報を含む圧縮画像情報を生成する。例えば、情報圧縮部は、前記基準画像情報よりも前記差分情報のビット幅を少なくすることで前記差分情報の情報量を削減する。【００１０】
情報圧縮部で生成する基準画像情報は、色毎および偏光方向毎の基準偏光画素の輝度値を示す情報を含み、差分情報は、基準偏光画素の輝度値と同色かつ同偏光方向であって基準偏光画素と異なる偏光画素の輝度値と差を示す情報を含む。【００１１】
また、情報圧縮部は、偏光の性質に基づいて基準画像情報と差分情報の生成を行う。例えば、情報圧縮部で生成する基準画像情報は、基準画像情報は、複数偏光方向の基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報と、平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の基準偏光画素の輝度値である基準輝度値を示す情報を含み、差分情報は、基準偏光画素と異なる偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の基準平均輝度値との差を示す情報と、基準偏光画素と異なる偏光画素の輝度値と同色かつ同偏光方向である基準輝度値と差を示す情報を含むようにしてもよい。【００１２】
また、情報圧縮部で生成する基準画像情報は、複数偏光方向の基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含み、差分情報は、基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の基準平均輝度値との差を示す情報と、基準偏光画素と異なる偏光画素の画素ブロックにおける輝度値の比率と隣接する画素ブロックにおける偏光画素の輝度値の比率との差を示す情報を含むようにしてもよい。【００１３】
また、情報圧縮部で生成する基準画像情報は、複数偏光方向の基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含み、差分情報は、基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の基準平均輝度値との差を示す情報と、基準偏光画素と異なる複数偏光方向の偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含むようにしてもよい。この場合、予測値は、基準偏光画素と異なる偏光画素の画素ブロックで算出された平均輝度値と、画素ブロックに隣接する画素ブロックにおける偏光画素の輝度値の比率に基づいて偏光方向毎に算出する。【００１４】
また、偏光画像は無偏光である通常画素を有する場合、情報圧縮部で生成する基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報と、平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の基準偏光画素の輝度値である偏光基準輝度値を示す情報を含み、差分情報は、基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、基準偏光画素と異なる偏光画素であって同偏光方向の偏光画素の輝度値と同偏光方向の偏光基準輝度値との差を示す情報を含むようにしてもよい。【００１５】
また、偏光画像は無偏光である通常画素を有する場合、情報圧縮部で生成する基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含み、差分情報は、基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける指定偏光画素の輝度値の比率と隣接する画素ブロックにおける指定偏光画素の輝度値の比率との差を示す情報を含むようにしてもよい。【００１６】
また、偏光画像は無偏光の通常画素を有する場合、情報圧縮部で生成する基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含み、差分情報は、基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける指定偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含むようにしてもよい。この場合、予測値は、基準通常画素とは異なる通常画素の輝度値と、画素ブロックに隣接する画素ブロックにおける指定偏光画素の輝度値の比率に基づいて偏光方向毎に算出する。【００１７】
さらに、画像処理装置は、複数偏光方向の偏光画素を有する偏光画像の取得に関する特性情報を記憶する特性情報記憶部をさらに備え、情報圧縮部は特性情報記憶部に記憶されている特性情報を用いて圧縮画像情報の生成を行うようにしてもよい。【００１８】
特性情報によって、偏光画像を取得した偏光撮像部の消光比または透過軸透過率が示される場合、情報圧縮部は、消光比または透過軸透過率を用いて偏光画像の補正を行い、補正後の偏光画像を用いて圧縮画像情報を生成する。【００１９】
また、特性情報によって、偏光画像の取得に用いた偏光照明光の偏光方向が示される場合、情報圧縮部は、偏光照明光の偏光方向に基づいて基準画像情報と差分情報の生成を行う。【００２０】
この技術の第２の側面は、
複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い、圧縮画像情報を情報圧縮部で生成すること
を含む画像処理方法にある。【００２１】
この技術の第３の側面は、
偏光画像の圧縮処理をコンピュータで実行させるプログラムであって、
複数偏光方向の偏光画素を有する前記偏光画像を取得する手順と、
前記偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い、圧縮画像情報を生成する手順と
を前記コンピュータで実行させるプログラムにある。【００２２】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。【００２３】
この技術の第４の側面は、
情報圧縮部によって、複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行うことにより生成された圧縮画像情報の復号処理を行い、前記偏光画像を生成する情報復号部
を備える画像処理装置にある。
【図面の簡単な説明】
【００２４】
【図１】偏光画像の取得について説明するための図である。
【図２】輝度と偏光角との関係を例示した図である。
【図３】偏光画像処理システムの第１の構成を例示した図である。
【図４】偏光撮像部の構成を例示した図である。
【図５】イメージセンサの偏光フィルタとカラーフィルタを例示した図である。
【図６】第１の構成における情報圧縮部の第１の動作を例示したフローチャートである。
【図７】第１の構成における情報圧縮部の第１の動作を説明するための図である。
【図８】第１の構成における情報復号部の第１の動作を例示したフローチャートである。
【図９】第１の構成における情報圧縮部の第２の動作を例示したフローチャートである。
【図１０】第１の構成における情報圧縮部の第２の動作を説明するための図である。
【図１１】第１の構成における情報復号部の第２の動作を例示したフローチャートである。
【図１２】第１の構成における情報圧縮部の第３の動作を例示したフローチャートである。
【図１３】第１の構成における情報圧縮部の第３の動作を説明するための図である。
【図１４】第１の構成における情報復号部の第３の動作を例示したフローチャートである。
【図１５】第１の構成における情報圧縮部の第４の動作を例示したフローチャートである。
【図１６】第１の構成における情報復号部の第４の動作を例示したフローチャートである。
【図１７】第１の構成における情報圧縮部の第５の動作を例示したフローチャートである。
【図１８】第１の構成における情報圧縮部の第５の動作を説明するための図である。
【図１９】第１の構成における情報復号部の第５の動作を例示したフローチャートである。
【図２０】第１の構成における情報圧縮部の第６の動作を例示したフローチャートである。
【図２１】第１の構成における情報圧縮部の第６の動作を説明するための図である。
【図２２】第１の構成における情報復号部の第６の動作を例示したフローチャートである。
【図２３】第１の構成における情報圧縮部の第７の動作を例示したフローチャートである。
【図２４】第１の構成における情報復号部の第７の動作を例示したすフローチャートである。
【図２５】偏光画像処理システムの第２の構成を例示した図である。
【図２６】消光比を説明するための図である。
【図２７】透過軸透過率を説明するための図である。
【図２８】第２の構成における情報圧縮部の第２の動作を例示したフローチャートである。
【図２９】第２の構成における情報圧縮部の第２の動作を説明するための図である。
【図３０】第２の構成における情報復号部の動作を例示したフローチャートである。
【発明を実施するための形態】
【００２５】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．偏光画像の取得について
２．偏光画像処理システムの第１の構成
３．第１の構成における圧縮処理と復号処理について
３−１．第１の構成における情報圧縮部と情報復号部の第１の動作
３−２．第１の構成における情報圧縮部と情報復号部の第２の動作
３−３．第１の構成における情報圧縮部と情報復号部の第３の動作
３−４．第１の構成における情報圧縮部と情報復号部の第４の動作
３−５．第１の構成における情報圧縮部と情報復号部の第５の動作
３−６．第１の構成における情報圧縮部と情報復号部の第６の動作
３−７．第１の構成における情報圧縮部と情報復号部の第７の動作
４．偏光画像処理システムの第２の構成
５．第２の構成における圧縮処理と復号処理について
５−１．第２の構成における情報圧縮部の第１の動作
５−２．第２の構成における情報圧縮部の第２の動作
６．圧縮処理の他の動作
７．応用例
【００２６】
＜１．偏光画像の取得について＞
図１は、偏光画像の取得について説明するための図である。例えば図１に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、撮像部ＣＭは偏光子ＰＬを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光子ＰＬの偏光方向に応じて被写体ＯＢの輝度が変化する。なお、説明を容易とするため、例えば偏光方向を回転したとき、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光子の平面上としたとき、偏光子の偏光方向を回転させたときのｘ軸に対するｙ軸方向の角度を偏光角υpolとする。偏光子の偏光方向は、ｚ軸方向を軸として１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、偏光方向を回転させたときに観測される輝度Ｉは式（１）のように表すことができる。なお、図２は、輝度と偏光角との関係を例示している。
【００２７】
【数１】
2020054152.tif 000003
【００２８】
式（１）では、偏光角υpolが偏光画像の生成時に明らかであり、最大輝度Ｉmaxと最小輝度Ｉminおよび方位角φが変数となる。したがって、偏光方向が３方向以上の偏光画像の輝度を用いて、式（１）に示す偏光モデル式へのフィッティングを行うことにより、輝度と偏光角の関係を示す偏光モデル式に基づいて、所望の方位角φの輝度を推定できる。
【００２９】
また、偏光方向が０度であるときの輝度値を「Ｉ0」、偏光方向が４５度であるときの輝度値を「Ｉ45」、偏光方向が９０度であるときの輝度値を「Ｉ90」、偏光方向が１３５度であるときの輝度値を「Ｉ135」とすると、平均輝度値Ｉmeanと各偏光方向の輝度値は式（２）の関係が成り立つ。
【００３０】
【数２】
2020054152.tif 000004
【００３１】
＜２．偏光画像処理システムの第１の構成＞
図３は、本技術の画像処理装置を用いた偏光画像処理システムの第１の構成を例示している。偏光画像処理システム１０は、偏光撮像部２０、情報圧縮部４０を有している。また、偏光画像処理システム１０では、情報復号部７０と偏光情報利用部８０を設けてもよい。偏光画像処理システム１０では、情報圧縮部４０で生成された偏光圧縮情報を記録媒体５０あるいは伝送路６０を介して、情報復号部７０へ供給する。
【００３２】
偏光撮像部２０は、偏光方向が異なる複数の偏光画像を取得する。図４は、偏光撮像部の構成を例示している。偏光撮像部２０は、イメージセンサ２０１の入射光面には、複数の偏光方向の画素構成とされた偏光フィルタ２０２が配置されており、イメージセンサ２０１は偏光画像を取得する。また、イメージセンサ２０１の入射光面には、偏光フィルタ２０２と色成分毎の画素構成とされたカラーフィルタ２０３が配置されており、イメージセンサ２０１でカラー偏光画像を取得しても良い。
【００３３】
図５は、イメージセンサの偏光フィルタとカラーフィルタを例示している。図５の（ａ），（ｂ）は偏光フィルタの偏光パターンを例示している。偏光フィルタは、被写体光から直線偏光光を取り出せればよく、例えばワイヤーグリッドやフォトニック液晶等を用いる。図５の（ａ）は、１画素を偏光成分単位として、例えば式（１）に示す偏光モデル式へのフィッティングを行うことができるように複数偏光方向（例えば０度，４５度，９０度，１３５度の４方向）の画素を設けた場合を例示している。また、図５の（ｂ）は、２×２画素単位を偏光成分単位とした場合を例示している。なお、偏光フィルタの偏光パターンは、図５の（ａ）や図５の（ｂ）に示す配置に限らず、偏光成分単位に無偏光の画素を設けてもよい。
【００３４】
図５の（ｃ）〜（ｇ）はカラーフィルタと偏光フィルタの組み合わせを例示している。図５の（ｃ）は、図５の（ａ）に示す偏光フィルタと、２×２画素を１つの色成分単位として例えば赤と青と緑（ＲＧＢ）の色成分をＢａｙｅｒ配列としたカラーフィルタを用いた場合を例示している。また、図５の（ｄ）は、図５の（ｂ）に示す偏光フィルタと、１×１画素を１つの色成分単位として例えば赤と青と緑（ＲＧＢ）の色成分をＢａｙｅｒ配列としたカラーフィルタを用いた場合を例示している。図５の（ｅ）は、図５の（ｂ）に示す偏光フィルタと、１×１画素を１つの色成分単位として例えば赤と青と緑（ＲＧＢ）の色成分をＢａｙｅｒ配列としたカラーフィルタを用いて、２×２画素の画素領域が同色で４つの偏光方向の画素を含む場合を例示している。図５の（ｅ）は、図５の（ｂ）に示す偏光フィルタと、１×１画素を１つの色成分単位として例えば赤と青と緑（ＲＧＢ）の色成分をＢａｙｅｒ配列としたカラーフィルタを用いて、２×２画素の画素領域が同色で４つの偏光方向の画素を含む場合を例示している。図５の（ｆ）は、２×２画素単位を偏光成分単位として、水平方向の偏光成分単位の偏光方向が９０度の角度差を有しており、垂直方向の偏光成分単位の偏光方向が４５度の角度差で水平方向に１画素分の位置差を有している。図５の（ｇ）は、２×２画素単位を偏光成分単位として、垂直方向の偏光成分単位の偏光方向が９０度の角度差を有しており、水平方向の偏光成分単位の偏光方向が４５度の角度差で垂直方向に１画素分の位置差を有している。
【００３５】
図５の（ｈ）（ｉ）は、白色画素（Ｗ画素）が設けられている場合を例示している。図５の（ｈ）は偏光成分単位が２×２画素単位であり、１つの偏光成分単位は赤と青と緑と白の画素で構成した場合を例示している。また、図５の（ｉ）は偏光成分単位が２×２画素単位であり、１つの偏光成分単位は赤と青と緑と白の画素であり、偏光成分単位が隣接する２×２画素の領域が４つの偏光方向の画素で構成される場合を例示している。また、図示せずも、偏光成分単位に無偏光の画素を含む偏光フィルタとカラーフィルタを組み合わせて用いてもよい。
【００３６】
式（１）に示す偏光モデル式へのフィッティングは、３偏光方向以上の偏光画像、例えば異なる４つの偏光方向の偏光画像を用いる場合に限らず、無偏光画像と２偏光方向の偏光画像を用いてもよい。偏光画素の感度は理想的には無偏光である通常画素の（１／２）倍であり、偏光画素の平均輝度値は通常画素の輝度値Ｉnpに対して１／２倍となる。また、偏光方向を４５度間隔で４方向とした場合、例えば図２に示すように偏光方向を０度，４５度，９０度，１３５度とすると式（６）が成り立つ。ここで、偏光撮像部２０の画素が通常画素と偏光方向が０度の偏光画素と４５度の偏光画素で構成されている場合、偏光方向が９０度であるときの輝度値Ｉ90と偏光方向が１３５度であるときの輝度値Ｉ135は、式（７）（８）に基づいて算出できる。
（Ｉ45＋Ｉ135）／２＝（Ｉ0＋Ｉ90）／２＝Ｉnp／２    ・・・（６）
Ｉ90＝Ｉnp−Ｉ0      ・・・（７）
Ｉ135＝Ｉnp−Ｉ45    ・・・（８）
【００３７】
情報圧縮部４０は、偏光撮像部２０で取得された複数偏光方向の画素を有する偏光画像の圧縮処理を行う。情報圧縮部４０は、取得された偏光画像における選択した少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い圧縮画像情報を生成する。情報圧縮部４０は、生成した圧縮画像情報を記録媒体５０あるいは伝送路６０を介して情報復号部７０へ出力する。なお、情報圧縮部４０の動作の詳細については後述する。
【００３８】
情報復号部７０は、情報圧縮部４０の圧縮処理に対応した復号処理を行い、記録媒体５０あるいは伝送路６０を介して取得した圧縮画像情報から圧縮処理前の偏光画像を生成する。情報復号部７０は、生成した偏光画像を偏光情報利用部８０へ出力する。
【００３９】
偏光情報利用部８０は、情報復号部７０で生成された偏光画像に基づき被写体の法線方向や反射成分の検出等を行い、高精度のデプスマップの生成や被写体認識処理、鏡面反射成分の除去、ＶＲ（Virtual Reality）環境の生成等を行う。
【００４０】
＜３．第１の構成における圧縮処理と復号処理について＞
次に情報圧縮部で行われる圧縮処理と情報復号部で行われる復号処理について説明する。情報圧縮部は、偏光画像における基準偏光画素の偏光画像情報に基づいて基準画像情報を設定して、偏光画像における基準偏光画素とは異なり選択した偏光画素毎の偏光画像情報と基準画像情報との差分を示す差分情報の生成を行い、偏光画素毎に生成された差分情報の情報量を削減して、基準画像情報と情報量が削減された差分情報を含む圧縮画像情報を生成する。また、情報復号部は、情報圧縮部で生成された圧縮画像情報の基準画像情報と差分情報に基づいて情報圧縮部の圧縮処理に対応する復号処理を行い偏光画像の画素毎の輝度値を生成する。なお、情報圧縮部４０と情報復号部７０で行われる処理は、可逆圧縮あるいは不可逆圧縮のいずれであってもよい。
【００４１】
＜３−１．第１の構成における情報圧縮部と情報復号部の第１の動作＞
情報圧縮部と情報復号部の第１の動作では、色毎および偏光方向毎の基準偏光画素の輝度値を示す情報を含む基準画像情報と、基準偏光画素の輝度値と同色かつ同偏光方向であって基準偏光画素と異なる偏光画素の輝度値と差を示す情報を含む差分情報を生成して、偏光画素毎に生成された差分情報の情報量を削減する。
【００４２】
図６は、第１の構成における情報圧縮部の第１の動作を例示したフローチャートである。ステップＳＴ１で情報圧縮部は偏光画像を取得する。情報圧縮部４０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ２に進む。
【００４３】
ステップＳＴ２で情報圧縮部は基準値の設定と差分値の算出を行う。情報圧縮部４０は、偏光画像において同色同偏光画素毎に基準偏光画素を設定して、基準偏光画素の輝度値を基準輝度値に設定する。また、情報圧縮部４０は、基準偏光画素よりも画素順が後である偏光画素の輝度値と同色同偏光の基準輝度値との差分値を算出する。例えば情報圧縮部４０は、異なる色および異なる偏光方向毎に最初の画素を基準偏光画素として基準輝度値を設定する。また、その後の偏光画素の輝度値と同色同偏光の基準輝度値との差分値を算出してステップＳＴ３に進む。
【００４４】
ステップＳＴ３で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、基準値のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ４に進む。
【００４５】
ステップＳＴ４で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ２で設定した基準値を基準画像情報、ステップＳＴ３で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
【００４６】
図７は、第１の構成における情報圧縮部の第１の動作を説明するための図である。なお、図７の（ａ）は偏光撮像部で取得された偏光画像が白黒偏光画像の場合、図７の（ｂ）は偏光撮像部で取得された偏光画像がカラー偏光画像である場合を例示している。
【００４７】
図７の（ａ）において、情報圧縮部４０は、偏光画素Ｐ(0,0)の偏光方向が０度の最初の画素であることから、偏光画素Ｐ(0,0)を基準偏光画素として輝度値を基準輝度値とする。次に、情報圧縮部４０は、偏光画素Ｐ(1,0)の偏光方向が１３５度の最初の画素であることから、偏光画素Ｐ(1,0)を基準偏光画素として輝度値を基準輝度値とする。情報圧縮部４０は、偏光画素Ｐ(2,0)が０度の偏光方向の２番目の画素であることから、偏光画素Ｐ(2,0)の輝度値と同偏光の基準輝度値との差分値を算出する。また、情報圧縮部４０は、偏光画素Ｐ(3,0)が１３５度の偏光方向の２番目の画素であることから、偏光画素Ｐ(3,0)の輝度値と同偏光の基準輝度値との差分値を算出する。以下同様にして、情報圧縮部４０は、１ライン目の画素について基準偏光画素の輝度値を基準輝度値として、基準偏光画素とは異なる偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。
【００４８】
次に、情報圧縮部４０は、偏光画素Ｐ(0,1)の偏光方向が４５度の最初の画素であることから、偏光画素Ｐ(0,1)を基準偏光画素として輝度値を基準輝度値とする。次に、情報圧縮部４０は、偏光画素Ｐ(1,1)の偏光方向が９０度の最初の画素であることから、偏光画素Ｐ(1,1)を基準偏光画素として輝度値を基準輝度値とする。情報圧縮部４０は、その後の水平方向の偏光画素について、偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。
【００４９】
また、情報圧縮部４０は、偏光画素Ｐ(0,2)の偏光方向が０度の偏光画素であり、０度の偏光方向ついては基準輝度値が設定されていることから、偏光画素Ｐ(0,2)の輝度値と同偏光の基準輝度値との差分値を算出する。情報圧縮部４０は、以下同様に差分値を算出して、４つの偏光方向毎の基準偏光画素の輝度値である基準輝度値がｍビットである場合、他の偏光画素について算出した差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。
【００５０】
また、図７の（ｂ）の場合、図７の（ａ）を用いて説明した処理を色毎に行う。例えば情報圧縮部４０は、２×２画素の偏光方向が互いに異なる緑色画素ブロックＢＧ(0,0)の各偏光画素を基準偏光画素として輝度値を基準輝度値に設定する。また、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)，ＢＧ(1,0)，ＢＧ(0,1)，ＢＧ(1,1)について、偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。以下同様にして、情報圧縮部４０は、緑色偏光画素と赤色偏光画素と青色偏光画素について基準値の設定と差分値の算出を行う。さらに、情報圧縮部４０は、４つの偏光方向毎の基準偏光画素の輝度値である基準輝度値がｍビットである場合、他の偏光画素について算出した差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報はカラー偏光画像よりも情報量（データ量）を削減できる。
【００５１】
図８は、第１の構成における情報復号部の第１の動作を例示したフローチャートである。ステップＳＴ１１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４０で生成された圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ１２に進む。
【００５２】
ステップＳＴ１２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された差分値と、この差分値と同色同偏光である基準輝度値を加算して、偏光画素の輝度値を復号する。
【００５３】
このような、第１の動作によれば、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。
【００５４】
＜３−２．第１の構成における情報圧縮部と情報復号部の第２の動作＞
情報圧縮部の第２の動作では、上述の式（２）に示す偏光の性質に基づいた圧縮処理を行う。すなわち、情報圧縮部は、平均輝度値と平均輝度値の算出が可能な２つの偏光方向の組み合わせ（例えば０度と９０度の組、および４５度と１３５度の組）において、予め指定された偏光方向の偏光画素（指定偏光画素）の偏光画素、例えば偏光方向が０度と１３５度である指定偏光画素の輝度値と平均輝度値を用いれば、他方の偏光方向の偏光画素（従属偏光画素）である偏光方向が４５度と９０度の従属偏光画素の輝度値を算出できる。
【００５５】
したがって、情報圧縮部の第２の動作で生成する基準画像情報は、複数偏光方向の基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報と、平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の基準偏光画素の輝度値である基準輝度値を示す情報を含むようにして、差分情報は、基準偏光画素と異なる偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の基準平均輝度値との差を示す情報と、基準偏光画素と異なる偏光画素の輝度値と同色かつ同偏光方向である基準輝度値と差を示す情報を含むようにする。
【００５６】
図９は、第１の構成における情報圧縮部の第２の動作を例示したフローチャートである。ステップＳＴ２１で情報圧縮部は偏光画像を取得する。情報圧縮部４０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ２２に進む。
【００５７】
ステップＳＴ２２で情報圧縮部は平均輝度値を算出する。情報圧縮部４０は、近傍に位置する同色で異なる偏光方向の偏光画素の輝度値に基づき平均輝度値を色毎に算出してステップＳＴ２３に進む。
【００５８】
ステップＳＴ２３で情報圧縮部は基準値の設定と差分値の算出を行う。情報圧縮部４０は、１つの平均輝度値の算出に用いる同色で異なる偏光方向の偏光画素を基準偏光画素として色毎に設定して、基準偏光画素の輝度値を用いて色毎に算出した平均輝度値を基準平均輝度値に設定する。また、情報圧縮部４０は、指定偏光画素を基準偏光画素として色毎に設定して、色毎の基準偏光画素の輝度値を基準輝度値に設定する。さらに、情報圧縮部４０は、基準偏光画素よりも画素順が後である偏光画素の輝度値を用いて算出した平均輝度値と同色の基準輝度値との差分値、および基準偏光画素よりも画素順が後である偏光画素の輝度値と同色同偏光の基準輝度値との差分値を算出してステップＳＴ２４に進む。
【００５９】
ステップＳＴ２４で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、基準値（基準平均輝度値と基準輝度値）のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ２５に進む。
【００６０】
ステップＳＴ２５で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ２３で設定した基準値を基準画像情報、ステップＳＴ２４で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
【００６１】
図１０は、第１の構成における情報圧縮部の第２の動作を説明するための図である。なお、図１０の（ａ）は偏光撮像部で取得された偏光画像が白黒偏光画像の場合、図１０の（ｂ）（ｃ）は偏光撮像部で取得された偏光画像がカラー偏光画像である場合を例示している。
【００６２】
図１０の（ａ）において、情報圧縮部４０は、０度と９０度の組、および４５度と１３５度の組において、０度と１３５度の偏光画素を指定偏光画素として、最初の指定偏光画素である偏光画素Ｐ(0,0),Ｐ(1,0)の輝度値を基準輝度値とする。情報圧縮部４０は、偏光画素Ｐ(2,0)が０度の偏光方向の２番目の画素であることから偏光画素Ｐ(2,0)の輝度値と同偏光の基準輝度値との差分値を算出する。また、情報圧縮部４０は、偏光画素Ｐ(3,0)が１３５度の偏光方向の２番目の画素であることから偏光画素Ｐ(3,0)の輝度値と同偏光の基準輝度値との差分値を算出する。以下同様にして、情報圧縮部４０は、１ライン目の画素について、基準偏光画素と異なる指定偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。
【００６３】
次に、２ライン目の画素を用いると、画素ブロックＢ(0,0)を構成する偏光画素Ｐ(0,0)，Ｐ(1,0)，Ｐ(0,1)，Ｐ(1,1)の輝度値を用いて最初の平均輝度値を算出できることから、偏光画素Ｐ(0,0)，Ｐ(1,0)，Ｐ(0,1)，Ｐ(1,1)を基準偏光画素として、算出した平均輝度値を基準平均輝度値とする。また、画素ブロックＢ(1,0)を構成する偏光画素Ｐ(2,0)，Ｐ(3,0)，Ｐ(2,1)，Ｐ(3,1)の輝度値を用いて平均輝度値を算出できることから、Ｐ(2,0)，Ｐ(3,0)，Ｐ(2,1)，Ｐ(3,1)の輝度値を用いて算出した平均輝度値と基準平均輝度値との差分値を算出する。なお、２ライン目の偏光画素Ｐ(0,1)，Ｐ(1,1)，Ｐ(2,1)，Ｐ(3,1)は従属偏光画素であることから、情報圧縮部４０は、差分値の算出を行わない。
【００６４】
以下同様の処理を行い、情報圧縮部４０は、基準偏光画素とは偏光画素であって異なる４つの偏光方向の偏光画素の輝度値に基づいて算出した平均輝度値と基準平均輝度値との差分値、および指定偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。さらに、情報圧縮部４０は、基準平均輝度値と指定偏光画素の基準輝度値がｍビットである場合、算出した差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。また、従属偏光画素に関する情報は圧縮画像情報に含まれないので、効率よく情報量を削減できる。
【００６５】
また、図１０の（ｂ）の場合、図１０の（ａ）を用いて説明した処理を色毎に行う。例えば情報圧縮部４０は、２×２画素の偏光方向が互いに異なる緑色画素ブロックＢＧ(0,0)の各偏光画素を基準偏光画素として、緑色画素ブロックＢＧ(0,0)の輝度値を用いて算出した平均輝度値を基準平均輝度値に設定する。また、情報圧縮部４０は、緑色画素ブロックＢＧ(0,0)における０度の偏光画素と１３５度の偏光画素の輝度値をそれぞれ基準輝度値に設定する。また、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)，ＢＧ(0,1)，ＢＧ(1,1)について、平均輝度値を算出して基準平均輝度値との差分値を算出する。さらに、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)，ＢＧ(0,1)，ＢＧ(1,1)における偏光方向が０度と１３５度の偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。以下同様にして、情報圧縮部４０は、緑色偏光画素と赤色偏光画素と青色偏光画素について、平均輝度値と偏光方向が０度と１３５度の偏光画素と輝度値に対する基準輝度値の設定と差分値の算出を行う。さらに、情報圧縮部４０は、基準平均輝度値と指定偏光画素の基準輝度値がｍビットである場合、算出した差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。また、従属偏光画素に関する情報は圧縮画像情報に含まれないので、効率よく情報量を削減できる。
【００６６】
また、図１０の（ｃ）の場合、情報圧縮部４０は、偏光画素Ｐ(0,0)，Ｐ(2,0)，Ｐ(0,2)，Ｐ(2,2)の輝度値を用いて緑色偏光画素の最初の平均輝度値を算出できることから、偏光画素Ｐ(0,0)，Ｐ(2,0)，Ｐ(0,2)，Ｐ(2,2)を基準偏光画素として、算出した平均輝度値を基準平均輝度値とする。また、偏光方向が０度である偏光画素Ｐ(0,0)と偏光方向が１３５度である偏光画素Ｐ(2,0)を基準偏光画素として輝度値を基準とする。その後、水平方向および垂直方向に１画素離れている同色かつ偏光方向が異なる４つの偏光画素の画素値から算出された平均輝度値と基準平均輝度値との差分値および偏光方向が０度と１３５度である指定偏光画素の輝度値と対応する偏光方向の基準輝度値との差分値を算出する。また、赤色偏光画素および青色偏光画素についても同様にして、平均輝度値と偏光方向が０度と１３５度の指定偏光画素と輝度値に対する基準値（基準平均輝度値と基準輝度値）の設定と差分値の算出を行う。さらに、情報圧縮部４０は、平均輝度値の基準値と指定偏光画素の基準値がｍビットである場合、算出した差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。また、従属偏光画素に関する情報は圧縮画像情報に含まれないので、効率よく情報量を削減できる。
【００６７】
また、図１０の（ｄ）に示すように、４つの偏光方向の偏光画素（例えば偏光画素Ｐ(0,0)，Ｐ(1,0)，Ｐ(2,0)，Ｐ(3,0)）を画素ブロックとして、画素ブロックをライン方向に並べた画素配置とすれば、ライン毎に平均輝度値の差分値および視点偏光画素の差分値を算出できるようになる。
【００６８】
図１１は、第１の構成における情報復号部の第２の動作を例示したフローチャートである。ステップＳＴ３１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４０で生成された圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ３２に進む。
【００６９】
ステップＳＴ３２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された差分値と、この差分値と同色同偏光である基準値（基準偏光輝度値と基準輝度値）を加算して、平均輝度値と指定偏光画素の輝度値を復号してステップＳＴ３３に進む。
【００７０】
ステップＳＴ３３で情報復号部は従属偏光画素の輝度値を算出する。情報復号部７０は、ステップＳＴ３２で得られた平均輝度値と指定偏光画素の輝度値から従属偏光画素の輝度値を算出する。
【００７１】
このような、第２の動作によれば、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。また、従属偏光画素に関する情報は圧縮画像情報に含まれないので、効率よく情報量を削減できる。
【００７２】
＜３−３．第１の構成における情報圧縮部と情報復号部の第３の動作＞
情報圧縮部の第３の動作では、偏光画像において平均輝度値は色毎に異なるが、偏光方向毎の輝度値の比率は色によって大きく変化することがないことから、この偏光の性質に基づいた圧縮処理を行う。
【００７３】
しあがって、情報圧縮部の第３の動作で生成する基準画像情報は、複数偏光方向の基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含むようにして、差分情報は、基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の基準平均輝度値との差を示す情報と、基準偏光画素と異なる偏光画素の画素ブロックにおける輝度値の比率と隣接する画素ブロックにおける偏光画素の輝度値の比率との差を示す情報を含むようにする。
【００７４】
図１２は、第１の構成における情報圧縮部の第３の動作を例示したフローチャートである。ステップＳＴ４１で情報圧縮部は偏光画像を取得する。情報圧縮部４０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ４２に進む。
【００７５】
ステップＳＴ４２で情報圧縮部は平均輝度値を算出する。情報圧縮部４０は、近傍に位置する同色で異なる偏光方向の偏光画素の輝度値に基づき平均輝度値を色毎に算出してステップＳＴ４３に進む。
【００７６】
ステップＳＴ４３で情報圧縮部は偏光方向毎の輝度値の比率を算出する。情報圧縮部４０は、平均輝度値の算出に用いた複数偏光方向の偏光画像の輝度値から、偏光方向毎に輝度値の比率を算出してステップＳＴ４４に進む。
【００７７】
ステップＳＴ４４で情報圧縮部は基準値の設定と差分値の算出を行う。情報圧縮部４０は、１つの平均輝度値の算出に用いる同色で異なる偏光方向の偏光画素を基準偏光画素として色毎に設定して、基準偏光画素の輝度値を用いて色毎に算出した平均輝度値を基準平均輝度値に設定する。その後、情報圧縮部４０は、基準偏光画素よりも画素順が後である偏光画素の輝度値を用いて算出した平均輝度値と同色の基準平均輝度値との差分値を算出する。また、情報圧縮部４０は、基準平均輝度値との差分値が算出された平均輝度値の算出に用いた複数偏光方向の画素ブロックに隣接する画素ブロックの比率を用いて、平均輝度値の算出に用いた複数偏光方向の画素ブロックの比率と隣接する画素ブロックの比率の差分値を偏光方向毎に算出してステップＳＴ４５に進む。
【００７８】
ステップＳＴ４５で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、基準値のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ４６に進む。
【００７９】
ステップＳＴ４６で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ４４で設定した基準値を基準画像情報、ステップＳＴ４５で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
【００８０】
図１３は、第１の構成における情報圧縮部の第３の動作を説明するための図である。例えば、情報圧縮部４０は、２×２画素の偏光方向が互いに異なる緑色画素ブロックＢＧ(0,0)の各偏光画素を基準偏光画素として、緑色画素ブロックＢＧ(0,0)の輝度値を用いて算出した平均輝度値を基準平均輝度値に設定する。その後、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の平均輝度値と基準平均輝度値との差分値を算出する。
【００８１】
また、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)に隣接する青色画素ブロックＢＢ(0,0)の偏光画素の輝度値の比率を算出する。例えば偏光方向が０度である青色偏光画素の輝度値を「ＩＢ0」、偏光方向が４５度，９０度，１３５度である各青色偏光画素の輝度値を「ＩＢ45」，「ＩＢ90」，「ＩＢ135」とする。この場合、偏光方向が０度である青色偏光画素の輝度値の比率ｒＢ0は「ｒＢ0＝ＩＢ0／（ＩＢ0＋ＩＢ45＋ＩＢ90＋ＩＢ135）」となる。また、偏光方向が４５度，９０度，１３５度である各青色偏光画素の輝度値の比率ｒＢ45，ｒＢ90，ｒＢ135を算出する。なお、上述のように算出した偏光方向毎の輝度値の比率は、比率の和が「１」となるように正規化された値である。
【００８２】
情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の偏光画素の輝度値の比率ｒＧ0，ｒＧ45，ｒＧ90，ｒＧ135を算出して、青色画素ブロックＢＢ(0,0)の比率との差分値を偏光方向毎に算出する。
【００８３】
以下同様の処理を行い、情報圧縮部４０は、基準偏光画素とは異なる偏光画素であって異なる４つの偏光方向の偏光画素の輝度値に基づいて算出した平均輝度値と基準平均輝度値との差分値、および４つの偏光方向の偏光画素の輝度値の比率と隣接する画素ブロックの比率との差分値を算出する。また、赤色画素ブロックと青色画素ブロックについても同様な処理を行う。
【００８４】
情報圧縮部４０は、基準平均輝度値がｍビットである場合、算出した平均輝度値の差分値をｎビット（ｎ＜ｍビット）にビット幅を削減する。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないことから、比率の差分値は小さく、比率の差分値をｍビットあるいはｎビットよりも少ないビット幅とすることで差分情報の情報量をさらに削減できる。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。
【００８５】
なお、図１３では、偏光画素が赤色と緑色と青色である場合を例示しているが、白色の偏光画素が含まれている場合も上述の処理と同様に圧縮処理を行えばよい。
【００８６】
図１４は、第１の構成における情報復号部の第３の動作を例示したフローチャートである。ステップＳＴ５１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４０で生成された圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ５２に進む。
【００８７】
ステップＳＴ５２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された平均輝度値の差分値と基準平均輝度値を加算して、平均輝度値を算出する。また、情報復号部７０は、差分情報で示された比率の差分値と隣接偏光ブロックの比率を偏光方向毎に加算して、平均輝度値を算出した画素ブロックにおける偏光画素の輝度値の比率を復号してステップＳＴ５３に進む。
【００８８】
ステップＳＴ５３で情報復号部は輝度値を算出する。情報復号部７０は、ステップＳＴ５２で得られた平均輝度値と偏光方向毎の輝度値の比率から平均輝度値を算出した画素ブロックにおける偏光方向毎の偏光画素の輝度値を算出する。
【００８９】
このような、第３の動作によれば、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないという偏光の特性を利用して差分情報を生成したことから、差分情報の情報量を効率よく削減できる。
【００９０】
＜３−４．第１の構成における情報圧縮部と情報復号部の第４の動作＞  
上述の情報圧縮部の第３の動作では、偏光方向毎の輝度値の比率と基準値との差分値を算出したが、平均輝度値と隣接する画素ブロックの輝度値の比率に基づき予測値を算出して、予測値との差分値を差分情報として用いることもできる。
【００９１】
したがって、情報圧縮部の第４の動作で生成する基準画像情報は、複数偏光方向の基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含むようにして、差分情報は、基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の基準平均輝度値との差を示す情報と、基準偏光画素と異なる複数偏光方向の偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含むようにして、予測値は、基準偏光画素と異なる偏光画素の画素ブロックで算出された平均輝度値と、画素ブロックに隣接する画素ブロックにおける偏光画素の輝度値の比率に基づいて偏光方向毎に算出する。
【００９２】
図１５は、第１の構成における情報圧縮部の第４の動作を例示したフローチャートである。ステップＳＴ６１で情報圧縮部は偏光画像を取得する。情報圧縮部４０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ６２に進む。
【００９３】
ステップＳＴ６２で情報圧縮部は平均輝度値を算出する。情報圧縮部４０は、近傍に位置する同色で異なる偏光方向の偏光画素の輝度値に基づき平均輝度値を色毎に算出してステップＳＴ６３に進む。
【００９４】
ステップＳＴ６３で情報圧縮部は偏光方向毎の輝度値の比率を算出する。情報圧縮部４０は、平均輝度値の算出に用いた複数偏光方向の偏光画像の輝度値から、偏光方向毎に輝度値の比率を算出してステップＳＴ６４に進む。
【００９５】
ステップＳＴ６４で情報圧縮部は予測値を算出する。情報圧縮部４０は、画素ブロックの平均輝度値と、隣接する画素ブロックの輝度値の比率に基づき、偏光方向毎に予測値を算出してステップＳＴ６５に進む。
【００９６】
ステップＳＴ６５で情報圧縮部は基準値の設定と差分値の算出を行う。情報圧縮部４０は、１つの平均輝度値の算出に用いる同色で異なる偏光方向の偏光画素を基準偏光画素として色毎に設定して、基準偏光画素の輝度値を用いて色毎に算出した平均輝度値を基準平均輝度値に設定する。その後、情報圧縮部４０は、基準偏光画素よりも画素順が後である偏光画素の輝度値を用いて算出した平均輝度値と同色の基準平均輝度値との差分値を算出する。また、情報圧縮部４０は、基準平均輝度値との差分値が算出された平均輝度値と、この平均値の算出に用いた複数偏光方向の画素ブロックに隣接する画素ブロックの比率を用いて、予測値を算出する。さらに、情報圧縮部４０は、平均輝度値の算出に用いた複数偏光方向の画素ブロックの輝度値と予測値との差分値を偏光方向毎に算出してステップＳＴ６６に進む。
【００９７】
ステップＳＴ６６で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、基準平均輝度値のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ６６に進む。
【００９８】
ステップＳＴ６７で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ６５で設定した基準値を基準画像情報、ステップＳＴ６６で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
【００９９】
次に、情報圧縮部の第４の動作を、図１３を用いて説明する。例えば、情報圧縮部４０は、２×２画素の偏光方向が互いに異なる緑色画素ブロックＢＧ(0,0)の各偏光画素を基準偏光画素として、緑色画素ブロックＢＧ(0,0)の輝度値を用いて算出した平均輝度値を基準平均輝度値に設定する。その後、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の平均輝度値と基準平均輝度値との差分値を算出する。
【０１００】
また、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)に隣接する青色画素ブロックＢＢ(0,0)の偏光画素の輝度値の比率を算出とする。例えば偏光方向が０度である青色偏光画素の輝度値を「ＩＢ0」、偏光方向が４５度，９０度，１３５度である各青色偏光画素の輝度値を「ＩＢ45」，「ＩＢ90」，「ＩＢ135」とする。この場合、偏光方向が０度である青色偏光画素の輝度値の比率ｒＢ0は「ｒＢ0＝ＩＢ0／（ＩＢ0＋ＩＢ45＋ＩＢ90＋ＩＢ135）」となる。また、偏光方向が４５度，９０度，１３５度である各青色偏光画素の輝度値の比率ｒＢ45，ｒＢ90，ｒＢ135を算出して、比率ｒＢ0，ｒＢ45，ｒＢ90，ｒＢ135を予測値の算出に用いる比率とする。なお、上述のように算出した偏光方向毎の輝度値の比率は、比率の和が「１」となるように正規化された値である。
【０１０１】
情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の平均輝度値ＩＧmeanと隣接する青色画素ブロックＢＢ(0,0)の比率ｒＢ0を用いて、偏光方向が０度の予測値ＩＧｄ0を算出する。この場合、偏光方向が０度である偏光画素の予測値ＩＧｄ0は「ＩＧｄ0＝４×ＩＧmean×ｒＢ0」となる。同様に、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の平均輝度値ＩＧmeanと隣接する青色画素ブロックＢＢ(0,0)の比率ｒＢ45，ｒＢ90，ｒＢ135を用いて、偏光方向毎の予測値ＩＧｄ45，ＩＧｄ90，ＩＧｄ135を算出する。
【０１０２】
さらに、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の偏光画素の輝度値と同偏光の予測値との差分値を偏光方向毎に算出する。
【０１０３】
以下同様の処理を行い、情報圧縮部４０は、基準偏光画素とは異なる４つの偏光方向の偏光画素の輝度値に基づいて算出した平均輝度値と基準平均輝度値との差分値、および４つの偏光方向の偏光画素の輝度値と同偏光の予測値との差分値を算出する。また、赤色画素ブロックと青色画素ブロックについても同様な処理を行う。
【０１０４】
情報圧縮部４０は、基準平均輝度値がｍビットである場合、算出した平均輝度値の差分値をｎビット（ｎ＜ｍビット）にビット幅を削減する。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないことから、比率を用いて算出した予測値と輝度値との差分値は小さく、予測値と輝度値との差分値をｍビットあるいはｎビットよりも少ないビット幅とすることで差分情報の情報量をさらに削減できる。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。
【０１０５】
なお、図１３では、偏光画素が赤色と緑色と青色である場合を例示しているが、白色の偏光画素が含まれている場合も上述の処理と同様に圧縮処理を行えばよい。
【０１０６】
図１６は、第１の構成における情報復号部の第４の動作を例示したフローチャートである。ステップＳＴ７１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４０で生成された圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ７２に進む。
【０１０７】
ステップＳＴ７２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された差分値と、この差分値と同色同偏光である基準値（基準平均輝度値）を加算して平均輝度値を復号してステップＳＴ７３に進む。
【０１０８】
ステップＳＴ７３で情報復号部は予測値を算出する。情報復号部７０は、ステップＳＴ７２で得られた平均輝度値と隣接する画素ブロックの輝度値の比率から予測値を偏光方向毎に算出してステップＳＴ７４進む。
【０１０９】
ステップＳＴ７４で情報復号部は輝度値を算出する。情報復号部７０は、ステップＳＴ５２で得られた差分値とステップＳＴ７３で算出された予測値を偏光方向毎に加算して、平均輝度を算出した画素ブロックにおける偏光方向毎の偏光画素の輝度値を算出する。
【０１１０】
このような、第４の動作によれば、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないという偏光の特性を利用して差分情報を生成したことから、差分情報の情報量を効率よく削減できる。
【０１１１】
＜３−５．第１の構成における情報圧縮部と情報復号部の第５の動作＞
次に、第５の動作では、偏光撮像部２０で取得された偏光画像に偏光画素と通常画素が含まれる場合について説明する。
【０１１２】
通常画素の輝度値は、平均輝度値の２倍の値を示す。このため、通常画素と指定偏光画素の輝度値を用いて基準値の設定と差分値の算出を行い、従属偏光画素の輝度値は、復号時に通常画素と指定偏光画素の輝度値から算出する。
【０１１３】
したがって、情報圧縮部の第５の動作で生成する基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報と、平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の基準偏光画素の輝度値である基準輝度値を示す情報を含むようにして、差分情報は、基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、基準偏光画素と異なる偏光画素であって同偏光方向の偏光画素の輝度値と同偏光方向の基準輝度値との差を示す情報を含むようにする。
【０１１４】
図１７は、第１の構成における情報圧縮部の第５の動作を例示したフローチャートである。ステップＳＴ８１で情報圧縮部は偏光画素と通常画素からなる偏光画像を取得する。情報圧縮部４０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ８２に進む。
【０１１５】
ステップＳＴ８２で情報圧縮部は偏光画素と通常画素に対する基準値の設定と差分値の算出を行う。情報圧縮部４０は、偏光画像において同色同偏光画素毎に基準偏光画素を設定して、基準偏光画素の輝度値を基準輝度値に設定する。また、通常画素の色毎に基準通常画素を設定して、基準通常画素の輝度値を無偏光基準輝度値に設定する。情報圧縮部４０は、基準偏光画素よりも画素順が後である偏光画素の輝度値と同色同偏光の基準輝度値との差分値を算出する。例えば情報圧縮部４０は、異なる色および異なる偏光方向毎に最初の画素を基準偏光画素として基準輝度値を設定する。また、その後の偏光画素の輝度値と同色同偏光の基準輝度値との差分値を算出する。さらに、情報圧縮部４０は、基準通常画素よりも画素順が後である通常画素の輝度値と同色の無偏光基準輝度値との差分値を算出する。例えば情報圧縮部４０は、色毎に最初の通常画素を基準通常画素として無偏光基準輝度値を設定する。また、その後の通常画素の輝度値と同色の無偏光基準輝度値との差分値を算出してステップＳＴ８３に進む。
【０１１６】
ステップＳＴ８３で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、基準値（基準輝度値と無偏光基準輝度値）のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ８４に進む。
【０１１７】
ステップＳＴ８４で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ８２で設定した基準値を基準画像情報、ステップＳＴ８３で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
【０１１８】
図１８は、第１の構成における情報圧縮部の第５の動作を説明するための図である。なお、図１８の（ａ）は偏光撮像部で取得された偏光画像が白黒偏光画像の場合、図１８の（ｂ）は偏光撮像部で取得された偏光画像がカラー偏光画像である場合を例示している。この偏光画像では、偏光画素が上述の指定偏光画素、例えば偏光方向が０度と１３５度である偏光画素である。なお、従属偏光画素である偏光方向が４５度と９０度の偏光画素の輝度値は、後述するように復号処理で算出可能である。
【０１１９】
図１８の（ａ）において、情報圧縮部４０は、偏光画素Ｐ(0,0)の偏光方向が０度の最初の画素であることから、偏光画素Ｐ(0,0)を基準偏光画素として輝度値を基準輝度値とする。次に、情報圧縮部４０は、通常画素Ｐ(1,0)が最初の通常画素であることから、通常画素Ｐ(1,0)を基準通常画素として輝度値を無偏光基準輝度値とする。情報圧縮部４０は、偏光画素Ｐ(2,0)が０度の偏光方向の２番目の画素であることから、偏光画素Ｐ(2,0)の輝度値と同偏光の基準輝度値との差分値を算出する。また、情報圧縮部４０は、通常画素Ｐ(3,0)が２番目の通常画素であることから、通常画素Ｐ(3,0)の輝度値と基準通常画素の無偏光基準輝度値との差分値を算出する。以下同様にして、情報圧縮部４０は、１ライン目の画素について基準偏光画素と基準通常画素の輝度値を基準値（基準輝度値と無偏光基準輝度値）として設定して、基準偏光画素とは異なる偏光画素の輝度値と同偏光の基準輝度値との差分値、および基準通常画素とは異なる通常画素の輝度値と無偏光基準輝度値との差分値を算出する。
【０１２０】
次に、情報圧縮部４０は、通常画素Ｐ(0,1)の輝度値と基準通常画素の輝度値との差分値を算出する。なお、図１８の（ａ）では２×２画素が画素配列の基準単位とされていることから、通常画素Ｐ(0,1)を基準通常画素として輝度値を無偏光基準輝度値としてもよい。情報圧縮部４０は、偏光画素Ｐ(1,1)の偏光方向が１３５度の最初の画素であることから、偏光画素Ｐ(1,1)を基準偏光画素として輝度値を基準輝度値とする。情報圧縮部４０は、その後の水平方向の偏光画素と通常画素について、偏光画素の輝度値と同偏光の基準輝度値との差分値および通常画素の輝度値と無偏光基準輝度値との差分値を算出する。なお、通常画素Ｐ(0,1)を基準通常画素とした場合、通常画素Ｐ(0,1)の輝度値を無偏光基準輝度値として用いて差分値を算出してもよい。
【０１２１】
以下同様に、情報圧縮部４０は差分値を算出して、２つの偏光方向毎の基準偏光画素の輝度値および基準通常画素の輝度値を示す基準値（基準輝度値と無偏光基準輝度値）がｍビットである場合、差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。
【０１２２】
また、図１８の（ｂ）の場合、図１８の（ａ）を用いて説明した処理を色毎に行う。例えば情報圧縮部４０は、２×２画素の緑色画素ブロックＢＧ(0,0)の２つの偏光画素（例えば偏光方向が０度と１３５度の偏光画素）を基準偏光画素として輝度値を基準輝度値に設定する。また、緑色画素ブロックＢＧ(0,0)の２つの通常画素を基準通常画素として輝度値を無偏光基準輝度値に設定する。その後、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)，ＢＧ(1,0)，ＢＧ(0,1)，ＢＧ(1,1)について、偏光画素の輝度値と同偏光の基準輝度値との差分値と、通常画素の輝度値とブロック内の同位置の無偏光基準輝度値との差分値を算出する。以下同様にして、情報圧縮部４０は、緑色偏光画素と赤色偏光画素と青色偏光画素について基準値の設定と差分値の算出を行う。さらに、情報圧縮部４０は、基準偏光画素と基準通常画素の輝度値である基準値（基準輝度値と無偏光基準輝度値）がｍビットである場合、差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報はカラー偏光画像よりも情報量（データ量）を削減できる。
【０１２３】
図１９は、第１の構成における情報復号部の第５の動作を例示したフローチャートである。ステップＳＴ９１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４０で生成された圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ９２に進む。
【０１２４】
ステップＳＴ９２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された偏光画素の差分値と、この差分値と同色同偏光である基準輝度値を加算して、偏光画素の輝度値を復号する。また、差分情報で示された通常画素の差分値と無偏光基準輝度値を加算して、通常画素の輝度値を復号してステップＳＴ９３に進む。
【０１２５】
ステップＳＴ９３で情報復号部は従属偏光画素の輝度値を算出する。情報復号部７０は、ステップＳＴ９２で得られた通常画素と偏光画素の輝度値に基づき従属偏光画素の輝度値を算出する。すなわち、上述の式（６）の関係に基づいて、通常画素の輝度値Ｉnpと偏光方向が０度の偏光画素の輝度値Ｉ0と偏光方向が１３５度の偏光画素の輝度値Ｉ135から偏光方向が４５度と９０度の偏光画素の輝度値Ｉ45，Ｉ90を算出する。
【０１２６】
このような、第５の動作によれば、偏光画像に通常画素が含まれていても、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。
【０１２７】
＜３−６．第１の構成における情報圧縮部と情報復号部の第６の動作＞
情報圧縮部の第６の動作では、偏光撮像部２０で取得された偏光画像に偏光画素と通常画素が含まれており、偏光画像において通常画素の輝度値は色毎に異なるが、偏光方向毎の輝度値の比率は色によって大きく変化することがないという偏光の性質に基づいた圧縮処理を行う。
【０１２８】
すなわち、情報圧縮部の第６の動作で生成する基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含むようにして、差分情報は、基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける指定偏光画素の輝度値の比率と隣接する画素ブロックにおける指定偏光画素の輝度値の比率との差を示す情報を含むようにする。
【０１２９】
図２０は、第１の構成における情報圧縮部の第６の動作を例示したフローチャートである。ステップＳＴ１０１で情報圧縮部は偏光画像を取得する。情報圧縮部４０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ１０２に進む。
【０１３０】
ステップＳＴ１０２で情報圧縮部は偏光方向毎の輝度値の比率を算出する。情報圧縮部４０は、偏光方向毎の偏光画像の輝度値から、偏光方向毎に輝度値の比率を算出してステップＳＴ１０３に進む。
【０１３１】
ステップＳＴ１０３で情報圧縮部は基準値の設定と差分値の算出を行う。情報圧縮部４０は、通常画素を基準通常画素として色毎に設定して、基準通常画素の輝度値を基準輝度値として設定する。その後、情報圧縮部４０は、基準通常画素よりも画素順が後である通常画素の輝度値と同色の無偏光基準輝度値との差分値を算出する。また、情報圧縮部４０は、通常画素と複数偏光方向の偏光画素からなる画素ブロックに隣接する画素ブロックの比率を用いて、画素ブロックの比率と隣接する画素ブロックの比率の差分値を偏光方向毎に算出してステップＳＴ１０４に進む。
【０１３２】
ステップＳＴ１０４で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、基準値のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ１０５に進む。
【０１３３】
ステップＳＴ１０５で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ１０３で設定した基準値を基準画像情報、ステップＳＴ１０４で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
【０１３４】
図２１は、第１の構成における情報圧縮部の第６の動作を説明するための図である。例えば、情報圧縮部４０は、偏光方向が異なる２つの偏光方向の指定偏光画素と２つの通常画素で構成された２×２画素の緑色画素ブロックＢＧ(0,0)において、通常画素を基準通常画素として輝度値を無偏光基準輝度値に設定する。その後、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の通常画素の輝度値とブロック内で等しい位置の無偏光基準輝度値との差分値を算出する。
【０１３５】
また、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)に隣接する青色画素ブロックＢＢ(0,0)の偏光画素の輝度値の比率を算出する。例えば偏光方向が０度である青色偏光画素の輝度値を「ＩＢ0」、偏光方向が１３５度である青色偏光画素の輝度値を「ＩＢ135」とする。この場合、偏光方向が０度である青色偏光画素の輝度値の比率ｒＢ0は「ｒＢ0＝ＩＢ0／（ＩＢ0＋ＩＢ135）」となる。また、偏光方向が１３５度である青色偏光画素の輝度値の比率ｒＢ135を算出する。なお、上述のように算出した偏光方向毎の輝度値の比率は、比率の和が「１」となるように正規化された値である。
【０１３６】
情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の偏光画素の輝度値の比率ｒＧ0，ｒＧ135を算出して、青色画素ブロックＢＢ(0,0)の比率との差分値を偏光方向毎に算出する。
【０１３７】
以下同様の処理を行い、情報圧縮部４０は、基準通常画素とは異なる通常画素の輝度値とブロック内で等しい位置の無偏光基準輝度値との差分値、および２つの偏光方向の偏光画素の輝度値の比率と隣接する画素ブロックの比率との差分値を算出する。また、赤色画素ブロックと青色画素ブロックについても同様な処理を行う。
【０１３８】
情報圧縮部４０は、無偏光基準輝度値がｍビットである場合、算出した輝度値の差分値をｎビット（ｎ＜ｍビット）にビット幅を削減する。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないことから、比率の差分値は小さく、比率の差分値をｍビットあるいはｎビットよりも少ないビット幅とすることで差分情報の情報量をさらに削減できる。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。
【０１３９】
なお、図２１では、偏光画素が赤色と緑色と青色である場合を例示しているが、白色の偏光画素が含まれている場合も上述の処理と同様に圧縮処理を行えばよい。
【０１４０】
図２２は、第１の構成における情報復号部の第６の動作を例示したフローチャートである。ステップＳＴ１１１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４０で生成された圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ１１２に進む。
【０１４１】
ステップＳＴ１１２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された通常画素の差分値と、この通常画素の差分値とブロック内で等しい位置の無偏光基準輝度値を加算して通常画素の輝度値とする。また、情報復号部７０は、差分情報で示された比率の差分値と隣接偏光ブロックの比率を偏光方向毎に加算して、輝度値が算出された通常画素を含む画素ブロックにおける偏光画素の輝度値の比率を復号してステップＳＴ１１３に進む。
【０１４２】
ステップＳＴ１１３で情報復号部は輝度値を算出する。情報復号部７０は、ステップＳＴ１１２で得られた通常画素の輝度値と偏光方向毎の輝度値の比率から２つの偏光方向の指定偏光画素の輝度値を算出する。さらに、情報復号部７０は通常画素の輝度値と指定偏光画素の輝度値に基づいて従属偏光画素の輝度値を算出する。
【０１４３】
このような、第６の動作によれば、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないという偏光の特性を利用して差分情報を生成したことから、差分情報の情報量を効率よく削減できる。また、偏光画像に従属偏光画素の輝度値が含まれていなくとも、圧縮画像情報の復号処理を行えば、従属偏光画素の輝度値を算出できる。
【０１４４】
＜３−７．第１の構成における情報圧縮部と情報復号部の第７の動作＞  
上述の情報圧縮部の第６の動作では、輝度値と比率について差分値を算出したが、第７の動作では、基準通常画素とは異なる通常画素の輝度値と、画素ブロックに隣接する画素ブロックにおける指定偏光画素の輝度値の比率に基づいて偏光方向毎に予測値を算出して、予測値との差分値を差分情報として用いる。
【０１４５】
すなわち、情報圧縮部の第７の動作で生成する基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含むようにして、差分情報は、基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける指定偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含むようにして、予測値は、基準通常画素とは異なる通常画素の輝度値と、画素ブロックに隣接する画素ブロックにおける指定偏光画素の輝度値の比率に基づいて偏光方向毎に算出する。
【０１４６】
図２３は、第１の構成における情報圧縮部の第７の動作を例示したフローチャートである。ステップＳＴ１２１で情報圧縮部は偏光画像を取得する。情報圧縮部４０は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ１２２に進む。
【０１４７】
ステップＳＴ１２２で情報圧縮部は偏光方向毎の輝度値の比率を算出する。情報圧縮部４０は、偏光方向毎の偏光画像の輝度値から、偏光方向毎に輝度値の比率を算出してステップＳＴ１２３に進む。
【０１４８】
ステップＳＴ１２３で情報圧縮部は予測値を算出する。情報圧縮部４０は、画素ブロックの通常画素の輝度値と、隣接する画素ブロックの輝度値の比率に基づき、偏光方向毎に予測値を算出してステップＳＴ１２４に進む。
【０１４９】
ステップＳＴ１２４で情報圧縮部は基準値の設定と差分値の算出を行う。情報圧縮部４０は、基準通常画素を色毎に設定して基準通常画素の輝度値を無偏光基準輝度値に設定する。その後、情報圧縮部４０は、基準通常画素よりも画素順が後である通常画素の輝度値とブロック内で同じ位置の無偏光基準輝度値との差分値を算出する。また、情報圧縮部４０は、無偏光基準輝度値との差分値が算出された通常画素の輝度値と、この通常画素を含む画素ブロックに隣接する画素ブロックの比率を用いて、予測値を算出する。さらに、情報圧縮部４０は、画素ブロック内の偏光画素の輝度値と予測値との差分値を偏光方向毎に算出してステップＳＴ１２５に進む。
【０１５０】
ステップＳＴ１２５で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、無偏光基準輝度値のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ１２６に進む。
【０１５１】
ステップＳＴ１２６で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ１２４で設定した基準値を基準画像情報、ステップＳＴ１２５で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
【０１５２】
次に、情報圧縮部の第７の動作を、図２１を用いて説明する。例えば、情報圧縮部４０は、偏光方向が異なる２つの偏光方向の指定偏光画素と２つの通常画素で構成された２×２画素の緑色画素ブロックＢＧ(0,0)において、通常画素を基準通常画素として輝度値を無偏光基準輝度値に設定する。その後、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の通常画素の輝度値とブロック内で等しい位置の無偏光基準輝度値との差分値を算出する。
【０１５３】
また、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)に隣接する青色画素ブロックＢＢ(0,0)の偏光画素の輝度値の比率を算出する。例えば偏光方向が０度である青色偏光画素の輝度値を「ＩＢ0」、偏光方向が１３５度である青色偏光画素の輝度値を「ＩＢ135」とする。この場合、偏光方向が０度である青色偏光画素の輝度値の比率ｒＢ0は「ｒＢ0＝ＩＢ0／（ＩＢ0＋ＩＢ135）」となる。また、偏光方向が１３５度である青色偏光画素の輝度値の比率ｒＢ135を算出する。なお、上述のように算出した偏光方向毎の輝度値の比率は、比率の和が「１」となるように正規化された値である。
【０１５４】
情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の通常画素の輝度値ＩＧnpと青色画素ブロックＢＢ(0,0)の比率ｒＢ0を用いて、偏光方向が０度の予測値ＩＧｄ0を算出する。この場合、偏光方向が０度である偏光画素の予測値ＩＧｄ0は「ＩＧｄ0＝ＩＧnp×ｒＢ0」となる。同様に、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)の通常画素の輝度値ＩＧnpと隣接する青色画素ブロックＢＢ(0,0)の比率ｒＢ135を用いて、偏光方向が１３５度の予測値ＩＧｄ135を算出する。情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)における偏光方向が０度の偏光画素の輝度値と同偏光の予測値との差分値と、偏光方向が１３５度の偏光画素の輝度値と同偏光の予測値との差分値を算出する。
【０１５５】
以下同様の処理を行い、情報圧縮部４０は、基準通常画素とは異なる通常画素の輝度値とブロック内で等しい位置の無偏光基準輝度値との差分値、および２つの偏光方向の偏光画素の輝度値と予測値との差分値を算出する。また、赤色画素ブロックと青色画素ブロックについても同様な処理を行う。
【０１５６】
情報圧縮部４０は、無偏光基準輝度値がｍビットである場合、算出した輝度値の差分値をｎビット（ｎ＜ｍビット）にビット幅を削減する。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないことから、比率を用いて算出した予測値と輝度値との差分値は小さく、予測値と輝度値との差分値をｍビットあるいはｎビットよりも少ないビット幅とすることで差分情報の情報量をさらに削減できる。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。
【０１５７】
なお、図２１では、偏光画素が赤色と緑色と青色である場合を例示しているが、白色の偏光画素が含まれている場合も上述の処理と同様に圧縮処理を行えばよい。
【０１５８】
図２４は、第１の構成における情報復号部の第７の動作を例示したフローチャートである。ステップＳＴ１３１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４０で生成された圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ１３２に進む。
【０１５９】
ステップＳＴ１３２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された通常画素の差分値と、この通常画素の差分値とブロック内で等しい位置の無偏光基準輝度値を加算して通常画素の輝度値とする。また、予測値に対する差分値を取得してステップＳＴ１３３に進む。
【０１６０】
ステップＳＴ１３３で情報復号部は予測値を算出する。情報復号部７０は、ステップＳＴ１３２で得られた通常画素の輝度被と隣接する画素ブロックにおける偏光画素の輝度値の比率から予測値を偏光方向毎に算出してステップＳＴ１３４進む。
【０１６１】
ステップＳＴ１３４で情報復号部は輝度値を算出する。情報復号部７０は、ステップＳＴ１３２で得られた予測値との差分値とステップＳＴ１３３で算出された予測値を偏光方向毎に加算して、画素ブロックにおける２つの偏光方向の指定偏光画素の輝度値を算出する。さらに、情報復号部７０は通常画素の輝度値と指定偏光画素の輝度値に基づいて従属偏光画素の輝度値を算出する。
【０１６２】
このような、第７の動作によれば、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。また、偏光方向毎の輝度値の比率は色によって大きく変化することがないという偏光の特性を利用して差分情報を生成したことから、差分情報の情報量を効率よく削減できる。また、偏光画像に従属偏光画素の輝度値が含まれていなくとも、圧縮画像情報の復号処理を行えば、従属偏光画素の輝度値を算出できる。
【０１６３】
＜４．偏光画像処理システムの第２の構成＞
図２５は、本技術の画像処理装置を用いた偏光画像処理システムの第２の構成を例示している。偏光画像処理システム１０ａは、偏光撮像部２０、特性情報記憶部３０、情報圧縮部４５を有している。また、偏光画像処理システム１０ａでは、情報復号部７５と偏光情報利用部８０を設けてもよい。偏光画像処理システム１０ａでは、情報圧縮部４５で生成された偏光圧縮情報を記録媒体５０あるいは伝送路６０を介して、情報復号部７５へ供給する。
【０１６４】
偏光撮像部２０は、偏光画像処理システムの第１の構成と同様に、偏光方向が異なる複数の偏光画像を取得して、情報圧縮部４５へ出力する。
【０１６５】
図２５に示す特性情報記憶部３０は、偏光画像の取得に関する特性情報を記憶している。特性情報は、例えば偏光撮像部２０の偏光分解性能情報を含む。偏光分解性能情報は、例えば消光比や透過軸透過率に関する情報である。また、特性情報は、偏光撮像部２０の画素配置情報、すなわち各色や偏光方向がどのようなパターンで配置されているかを示す情報を含むようにしてもよい。また、特性情報には、偏光画像の取得に用いた偏光照明光の偏光方向を示す偏光照明情報を含むようにしてもよい。
【０１６６】
図２６は、消光比を説明するための図である。イメージセンサ２０１に対して偏光フィルタ２０２が設けられており、図２６の（ａ）に示すように偏光フィルタ２０２で透過する光の偏光方向Ｆaに平行な完全直線偏光の光Ｌpを照射したときにイメージセンサ２０１で得られる輝度値を輝度値Ｉpとする。また、図２６の（ｂ）に示すように、偏光フィルタ２０２で透過する光の偏光方向Ｆaに垂直な完全直線偏光の光Ｌvを照射したときにイメージセンサ２０１で得られる輝度値を輝度値Ｉvとする。この輝度値Ｉpと輝度値Ｉvの比率「Ｉp:Ｉv」を消光比という。消光比は、理想的には「Ｉp:Ｉv＝１：０」であるが実際のデバイスにおいては多少劣化が発生する。したがって消光比を「Ｅr：１」で表すようにして、値Ｅrを消光比に関する情報として特性情報に含める。なお、一般的な偏光板においてはＥｒ＝１００〜１００００である。
【０１６７】
図２７は、透過軸透過率を説明するための図である。イメージセンサ２０１に対して偏光フィルタ２０２が設けられており、図２７の（ａ）に示すように偏光フィルタ２０２で透過する光の偏光方向Ｆaに平行な完全直線偏光の光Ｌpを照射したときにイメージセンサ２０１で得られる輝度値を輝度値Ｉsとする。また、偏光フィルタ２０２が設けられていないイメージセンサ２０１に対して、図２７の（ｂ）に示すように上述の完全直線偏光の光Ｌpを照射したときにイメージセンサ２０１で得られる輝度値を輝度値Ｉqとする。この輝度値Ｉsと輝度値Ｉqの比率「Ｅt＝Ｉs／Ｉq」を透過軸透過率という。透過軸透過率は偏光素子を設けたことでどれくらい感度が落ちたかを表す指標であり、透過軸透過率Ｅtを特性情報に含める。なお、透過軸透過率は理想的には「Ｅt＝１」である。
【０１６８】
情報圧縮部４５は、偏光撮像部２０で取得された偏光画像の圧縮処理を行う。情報圧縮部４５は、特性情報記憶部３０に記憶されている特性情報を用いて偏光画像の圧縮処理を行い、圧縮画像情報を生成する。情報圧縮部４５は、生成した圧縮画像情報を記録媒体５０あるいは伝送路６０を介して情報復号部７５へ出力する。
【０１６９】
情報復号部７５は、情報圧縮部４５の圧縮処理に対応した復号処理を行い、記録媒体５０あるいは伝送路６０を介して取得した圧縮画像情報から圧縮処理前の偏光画像を生成する。情報復号部７５は、生成した偏光画像を偏光情報利用部８０へ出力する。
【０１７０】
偏光情報利用部８０は、情報復号部７５で生成された偏光画像に基づき被写体の法線方向や反射成分の検出等を行い、高精度のデプスマップの生成や被写体認識処理、鏡面反射成分の除去、ＶＲ（Virtual Reality）環境の生成等を行う。
【０１７１】
＜５．第２の構成における圧縮処理と復号処理について＞
次に情報圧縮部４５で行われる圧縮処理と情報復号部で行われる復号処理について説明する。情報圧縮部４５では、特性情報記憶部３０に記憶されて特性情報を用いて圧縮処理を行う。また、情報復号部７５は、情報圧縮部４５で用いた圧縮処理に対応した復号処理を行う。なお、情報圧縮部４５と情報復号部７５で行われる処理は、可逆圧縮あるいは不可逆圧縮のいずれであってもよい。
【０１７２】
＜５−１．第２の構成における情報圧縮部の第１の動作＞
情報圧縮部４５の第１の動作では、例えば消光比や透過軸透過率を用いて圧縮処理を行う。
【０１７３】
情報圧縮部４５は、偏光撮像部２０から偏光画像と特性情報記憶部３０から消光比や透過軸透過率を取得して、消光比や透過軸透過率に基づき偏光画像の輝度値を補正する。さらに、情報圧縮部４５は、輝度値が補正された偏光画像を用いて上述の情報圧縮部４０と同様な処理を行い、圧縮画像情報を生成する。
【０１７４】
ここで、観測輝度値を「Ｉv」、理想輝度値を「Ｉp」、消光比をＥr、透過軸透過率をＥtとする。偏光方向が０度の場合には式（９）が成立する。また、偏光方向が４５度，９０度，１３５度の場合には式（１０）（１１）（１２）が成立する。
【０１７５】
【数３】
2020054152.tif 000005
【０１７６】
また、通常画素が設けられている場合、通常画素の観測輝度値Ｉnpvとすると偏光方向が０度，４５度である場合、式（１３）（１４）が成立して、観測輝度値Ｉnpvは式（１５）の関係となる。
【０１７７】
【数４】
2020054152.tif 000006
【０１７８】
したがって、情報圧縮部４５は、特性情報記憶部３０に記憶されている消光比や透過軸透過率を用いて、偏光撮像部２０で取得された偏光画像の輝度値を理想輝度値に補正することができる。
【０１７９】
このように、特性情報に基づいて偏光画像の補正を行えば、偏光撮像部２０の特性の違いによる影響を除去することが可能となり、精度の高い偏光画像の圧縮処理を行うことができるようになる。
【０１８０】
＜５−２．第２の構成における情報圧縮部の第２の動作＞
次に、特性情報記憶部に照明の偏光情報が記憶されている場合について説明する。この場合、情報圧縮部４５は上述の情報圧縮部の第５の動作乃至第７の動作で示した偏光画素と通常画素を有する偏光画像を用いることが望ましい。なお、偏光照明照射は、内視鏡や工場用途など光源状態を自分で制御して体内や物体の検査などに用いられる。
【０１８１】
完全直線偏光の偏光照明光を用いた場合、偏光方向が偏光照明光に平行な偏光画素と通常画素の輝度値との関係は、透過軸透過率で示される。したがって、透過軸透過率に応じて偏光画素の輝度値を調整すれば、偏光方向が偏光照明光に平行な偏光画素と通常画素の輝度値を同じような値にできる。したがって、隣接する偏光方向が偏光照明光に平行な偏光画素と通常画素とのいずれか一方の画素に関する基準値と差分値のみを圧縮画像情報に用いて、復号時には一方の画素に関する基準値と差分値を他方の画素に関する基準値と差分値として用いるようにすることで圧縮効率を向上させる。
【０１８２】
図２８は、第２の構成における情報圧縮部の第２の動作を例示したフローチャートである。なお、説明を容易とするため、透過軸透過率は「Ｅｔ＝１」であり、偏光方向が偏光照明光に平行な偏光画素と通常画素の輝度値は等しいとする。また、以下の説明では、偏光方向が偏光照明光に平行な偏光画素と通常画素のいずれか一方の画素として、偏光画素を用いた場合を示している。
【０１８３】
ステップＳＴ１４１で情報圧縮部は特性情報を取得する。情報圧縮部４５は、特性情報記憶部３０から偏光照明情報を取得してステップＳＴ１４２に進む。
【０１８４】
ステップＳＴ１４２で情報圧縮部は偏光画像を取得する。情報圧縮部４５は、偏光撮像部２０で生成された偏光画像を取得してステップＳＴ１４３に進む。
【０１８５】
ステップＳＴ１４３で情報圧縮部は基準値の設定と差分値の算出を行う。情報圧縮部４５は、偏光画像において同色同偏光画素毎に基準偏光画素を設定して、基準偏光画素の輝度値を基準輝度値に設定する。また、情報圧縮部４０は、基準偏光画素よりも画素順が後である偏光画素の輝度値と同色同偏光の基準輝度値との差分値を算出してステップＳＴ１４４に進む。
【０１８６】
ステップＳＴ１４４で情報圧縮部は差分値の情報量を削減する。情報圧縮部４０は、基準輝度値のビット幅よりも差分値のビット幅を少なくして、ステップＳＴ１４５に進む。
【０１８７】
ステップＳＴ１４５で情報圧縮部は圧縮画像情報を生成する。情報圧縮部４０はステップＳＴ１４３で設定した基準値を基準画像情報、ステップＳＴ１４４で情報量を削減した差分値を差分情報として、基準画像情報と差分情報を含む圧縮画像情報を生成する。
【０１８８】
図２９は、第２の構成における情報圧縮部の第２の動作を説明するための図である。なお、図２９の（ａ）は偏光撮像部で取得された偏光画像が白黒偏光画像の場合、図２９の（ｂ）は偏光撮像部で取得された偏光画像がカラー偏光画像である場合を例示している。
【０１８９】
図２９の（ａ）において、情報圧縮部４０は、偏光画素Ｐ(0,0)の偏光方向が０度の最初の画素であることから、偏光画素Ｐ(0,0)を基準偏光画素として輝度値を基準輝度値とする。次に、情報圧縮部４０は、偏光方向が偏光照明光に平行な偏光画素と通常画素の輝度値が等しいことから、通常画素Ｐ(1,0)をスキップする。なお、図では、スキップする画素を「ＳＫ」で示している。
【０１９０】
情報圧縮部４０は、偏光画素Ｐ(2,0)が０度の偏光方向の２番目の画素であることから偏光画素Ｐ(2,0)の輝度値と同偏光の基準輝度値との差分値を算出する。また、情報圧縮部４０は、通常画素Ｐ(3,0)をスキップする。以下同様に通常画素はスキップして、情報圧縮部４０は、１ライン目の画素について基準偏光画素の輝度値を基準輝度値として設定して、基準偏光画素とは異なる偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。
【０１９１】
次に、情報圧縮部４０は、偏光画素Ｐ(1,1)の偏光方向が１３５度の最初の画素であることから、偏光画素Ｐ(1,1)を基準偏光画素として輝度値を基準輝度値とする。情報圧縮部４０は、その後の水平方向の偏光画素について、偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。
【０１９２】
以下同様に、情報圧縮部４０は差分値を算出して、２つの偏光方向毎の基準偏光画素の輝度値がｍビットである場合、差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報は偏光画像よりも情報量（データ量）を削減できる。なお、上述の処理は、通常画素について基準値の設定と差分値の算出を行い、偏光方向が偏光照明光に平行な偏光画素をスキップしてもよく、圧縮画像情報には通常画素（または偏光方向が偏光照明光に平行な偏光画素）の輝度値に関する情報が含まれないことから情報量を効率よく削減できる。
【０１９３】
また、図２９の（ｂ）の場合、図２９の（ａ）を用いて説明した処理を色毎に行う。例えば情報圧縮部４０は、２×２画素の緑色画素ブロックＢＧ(0,0)の２つの偏光画素（例えば偏光方向が０度と１３５度の偏光画素）を基準偏光画素として輝度値を基準輝度値に設定する。また、緑色画素ブロックＢＧ(0,0)の２つの通常画素を基準通常画素として輝度値を基準輝度値に設定する。その後、情報圧縮部４０は、緑色画素ブロックＢＧ(1,0)，ＢＧ(1,0)，ＢＧ(0,1)，ＢＧ(1,1)について、偏光画素の輝度値と同偏光の基準輝度値との差分値を算出する。また、緑色画素ブロック内の通常画素はスキップする。以下同様にして、情報圧縮部４０は、緑色偏光画素と赤色偏光画素と青色偏光画素について基準値の設定と差分値の算出を行う。なお、赤色偏光画素と青色偏光画素についてはスキップする画素であることを示す表示「ＳＫ」を省略している。
【０１９４】
情報圧縮部４０は、基準偏光画素の輝度値である基準輝度値がｍビットである場合、差分値をｎビット（ｎ＜ｍビット）にビット幅を削減することで差分情報の情報量を削減する。したがって、基準画像情報と差分情報を含む圧縮画像情報はカラー偏光画像よりも情報量（データ量）を削減できる。なお、上述の処理は、通常画素について基準値の設定と差分値の算出を行い、偏光方向が偏光照明光に平行な偏光画素をスキップしてもよく、圧縮画像情報には通常画素（または偏光方向が偏光照明光に平行な偏光画素）の輝度値に関する情報が含まれないことから情報量を効率よく削減できる。
【０１９５】
図３０は、第２の構成における情報復号部の動作を例示したフローチャートである。なお、図３０は図２８の処理で生成された圧縮画像情報の復号処理を示している。
【０１９６】
ステップＳＴ１５１で情報復号部は圧縮画像情報を取得する。情報復号部７０は、情報圧縮部４５で圧縮画像情報を記録媒体５０あるいは伝送路６０を介して取得してステップＳＴ１５２に進む。
【０１９７】
ステップＳＴ１５２で情報復号部は差分情報の復号を行う。情報復号部７０は、差分情報で示された偏光画素の差分値と、この差分値と同色同偏光である基準輝度値を加算して、偏光画素の輝度値を復号する。また、情報復号部７０は、偏光方向が偏光照明光に平行な偏光画素の輝度値を、隣接する通常画素の輝度値としてステップＳＴ１５３に進む。
【０１９８】
ステップＳＴ１５３で情報復号部は従属偏光画素の輝度値を算出する。情報復号部７０は、ステップＳＴ１５２で得られた通常画素と偏光画素の輝度値に基づき従属偏光画素の輝度値を算出する。すなわち、上述の式（６）の関係に基づいて、２×２画素の画像ブロック毎に、通常画素の輝度値Ｉnpと偏光方向が０度の偏光画素の輝度値Ｉ0と偏光方向が１３５度の偏光画素の輝度値Ｉ135から偏光方向が４５度と９０度の偏光画素の輝度値Ｉ45，Ｉ90を算出する。
【０１９９】
ところで、透過軸透過率が「Ｅｔ＝１」でない場合、偏光方向が偏光照明光に平行な偏光画素と通常画素の輝度値は異なる。しかし、透過軸透過率Ｅｔに基づき、偏光方向が偏光照明光に平行な偏光画素の輝度値を通常画素の輝度値に調整可能であることから、輝度値の調整を行った場合には調整率等を示す調整情報を圧縮画像情報に含めるようにする。また、情報復号部７０は、調整情報に基づき偏光方向が偏光照明光に平行な偏光画素の輝度値を調整前の輝度値に戻すようにすればよい。
【０２００】
このような、第２の構成における第２の動作によれば、偏光画像に通常画素が含まれていても、偏光画像の情報量を効率よく削減できるようになる。また、情報量（データ量）を削減できることから、偏光画像の受け渡しを効率よく行うことができるようになる。また、特性情報を利用して圧縮効率をさらに向上させることが可能となる。
【０２０１】
＜６．圧縮処理の他の動作＞
ところで、上述の動作において、色毎および偏光方向毎の最初の画素を基準偏光画素に設定する動作では、差分値の算出に用いる基準輝度値を、前回差分値を算出した同色同偏光画素の画素値としてもよい。例えば最初の画素を基準画素に設定して、その後の同色同偏光の偏光画素について差分値を算出した場合、差分値を算出した偏光画素の画素値を次の差分値の算出における基準輝度値とする。このように基準輝度値を更新すれば、近傍の同色同偏光の偏光画素間で差分値が算出されるので、最初に設定した基準画素からの距離が大きいことで差分値が大きくなってしまうことを防止できる。なお、このように基準輝度値を更新する場合、最初の基準輝度値と差分値を用いて順次偏光画素の画素値を復号できることから、最初の基準輝度値のみを基準画像情報に含めればよい。また、基準平均輝度値や無偏光基準輝度値も同様に更新して、最初の基準平均輝度値や無偏光基準輝度値のみを基準画像情報に含めてもよい。また、基準偏光画素や基準通常画素は、所定領域毎あるいは被写体認識結果に基づいた領域毎に設定してもよい。
【０２０２】
また、上述の情報圧縮部の動作は、フローチャートの処理順序に限られない。例えば偏光画像に対してフローチャートの１つのステップの処理が完了する前に、次のステップの処理が可能であるときは、偏光画像に対するステップの処理が完了する前に、次のステップの処理を行うようにしてもよい。
【０２０３】
また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また付加的な効果があってもよい。
【０２０４】
＜７．応用例＞
本開示に係る技術は、様々な分野へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等の何れかの種類の移動体に搭載される装置として実現されてもよい。また、工場における生産工程で用いられる機器や建設分野で用いられる機器に搭載される装置として実現されてもよい。このような分野に適用すれば、偏光情報に基づき精度よく法線情報の生成や反射成分の分離等を行うことができる。したがって、周辺環境を３次元で精度よく把握できるようになり、運転者や作業者の疲労を軽減できる。また、自動運転等をより安全に行うことが可能となる。
【０２０５】
本開示に係る技術は、医療分野へ適用することもできる。例えば、手術を行う際に術部の撮像画を利用する場合に適用すれば、術部の三次元形状や反射のない画像を精度よく得られるようになり、術者の疲労軽減や安全に且つより確実に手術を行うことが可能になる。
【０２０６】
さらに、偏光情報のデータ量を削減して伝送できることから、遠隔地でも周辺環境や術部の確認を三次元で行うことが容易となる。また、偏光情報を効率よく記録できるようになる。
【０２０７】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０２０８】
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０２０９】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２１０】
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
【０２１１】
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１）  複数偏光方向の偏光画素を有する偏光画像における少なくとも複数の偏光方向の偏光画素毎の偏光画像情報に対して情報量の削減を行い、圧縮画像情報を生成する情報圧縮部
を備える画像処理装置。
（２）  前記情報圧縮部は、前記偏光画像における基準偏光画素の偏光画像情報に基づいて基準画像情報を設定して、前記偏光画像における前記基準偏光画素とは異なる偏光画素毎の偏光画像情報と前記基準画像情報との差分情報の生成を行い、偏光画素毎に生成された前記差分情報の情報量を削減して、前記基準画像情報と前記情報量が削減された差分情報を含む前記圧縮画像情報を生成する（１）に記載の画像処理装置。
（３）  前記基準画像情報は、色毎および偏光方向毎の前記基準偏光画素の輝度値を示す情報を含み、
前記差分情報は、前記基準偏光画素の輝度値と同色かつ同偏光方向であって前記基準偏光画素と異なる偏光画素の輝度値と差を示す情報を含む（２）に記載の画像処理装置。
（４）  前記情報圧縮部は、偏光の性質に基づいて前記基準画像情報と前記差分情報の生成を行う（２）に記載の画像処理装置。
（５）  前記基準画像情報は、複数偏光方向の前記基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報と、平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の前記基準偏光画素の輝度値である基準輝度値を示す情報を含み、
前記差分情報は、前記基準偏光画素と異なる偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の前記基準平均輝度値との差を示す情報と、前記基準偏光画素と異なる偏光画素の輝度値と同色かつ同偏光方向である基準輝度値と差を示す情報を含む（４）に記載の画像処理装置。
（６）  前記基準画像情報は、複数偏光方向の前記基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含み、
前記差分情報は、前記基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の前記基準平均輝度値との差を示す情報と、前記基準偏光画素と異なる偏光画素の画素ブロックにおける輝度値の比率と隣接する画素ブロックにおける偏光画素の輝度値の比率との差を示す情報を含む（４）に記載の画像処理装置。
（７）  前記基準画像情報は、複数偏光方向の前記基準偏光画素の輝度値を用いて色毎に算出した基準平均輝度値を示す情報を含み、
前記差分情報は、前記基準偏光画素と異なる複数偏光方向の偏光画素の輝度値を用いて色毎に算出した平均輝度値と同色の前記基準平均輝度値との差を示す情報と、前記基準偏光画素と異なる複数偏光方向の偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含み、
前記予測値は、前記基準偏光画素と異なる偏光画素の画素ブロックで算出された平均輝度値と、前記画素ブロックに隣接する画素ブロックにおける偏光画素の輝度値の比率に基づいて偏光方向毎に算出した（４）に記載の画像処理装置。
（８）  前記偏光画像は無偏光である通常画素を有し、
前記基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報と、前記平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の基準偏光画素の輝度値である基準輝度値を示す情報を含み、
前記差分情報は、前記基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、前記基準偏光画素と異なる偏光画素であって同偏光方向の偏光画素の輝度値と同偏光方向の基準輝度値との差を示す情報を含む（４）に記載の画像処理装置。
（９）  前記偏光画像は無偏光である通常画素を有し、
前記基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含み、
前記差分情報は、前記基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、前記基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける前記指定偏光画素の輝度値の比率と隣接する画素ブロックにおける前記指定偏光画素の輝度値の比率との差を示す情報を含む（４）に記載の画像処理装置。
（１０）  前記偏光画像は無偏光の通常画素を有し、
前記基準画像情報は、色毎の基準通常画素の輝度値である無偏光基準輝度値を示す情報を含み、
前記差分情報は、前記基準通常画素とは異なる通常画素の輝度値と同色の無偏光基準輝度値との差と、前記基準通常画素とは異なる通常画素と平均輝度値の算出が可能な偏光方向の偏光画素の組み合わせから予め指定された偏光方向の指定偏光画素を含む画素ブロックにおける前記指定偏光画素の輝度値と同偏光方向の予測値との差分を示す情報を含み、
前記予測値は、前記基準通常画素とは異なる通常画素の輝度値と、前記画素ブロックに隣接する画素ブロックにおける前記指定偏光画素の輝度値の比率に基づいて偏光方向毎に算出した（４）に記載の画像処理装置。
（１１）  前記複数偏光方向の偏光画素を有する偏光画像の取得に関する特性情報を記憶する特性情報記憶部をさらに備え、
前記情報圧縮部は前記特性情報記憶部に記憶されている特性情報を用いて前記圧縮画像情報の生成を行う（２）乃至（１０）のいずれかに記載の画像処理装置。
（１２）  前記特性情報は、前記偏光画像を取得した偏光撮像部の消光比または透過軸透過率を示し、
前記情報圧縮部は、前記消光比または前記透過軸透過率を用いて前記偏光画像の補正を行い、補正後の前記偏光画像を用いて前記圧縮画像情報を生成する（１１）に記載の画像処理装置。
（１３）  前記特性情報は、前記偏光画像の取得に用いた偏光照明光の偏光方向を示しており、
前記情報圧縮部は、前記偏光照明光の偏光方向に基づいて前記基準画像情報と前記差分情報の生成を行う（１１）または（１２）に記載の画像処理装置。
（１４）  前記情報圧縮部は、前記基準画像情報よりも前記差分情報のビット幅を少なくすることで前記差分情報の情報量を削減する（２）乃至（１３）のいずれかに記載の画像処理装置。
【符号の説明】
【０２１２】
１０，１０ａ・・・偏光画像処理システム
２０・・・偏光撮像部
３０・・・特性情報記憶部
４０，４５・・・情報圧縮部
５０・・・記録媒体
６０・・・伝送路
７０，７５・・・情報復号部
８０・・・偏光情報利用部
２０１・・・イメージセンサ
２０２・・・偏光フィルタ
２０３・・・カラーフィルタ
【図１】
2020054152.tif 000007
【図２】
2020054152.tif 000008
【図３】
2020054152.tif 000009
【図４】
2020054152.tif 000010
【図５】
2020054152.tif 000011
【図６】
2020054152.tif 000012
【図７】
2020054152.tif 000013
【図８】
2020054152.tif 000014
【図９】
2020054152.tif 000015
【図１０】
2020054152.tif 000016
【図１１】
2020054152.tif 000017
【図１２】
2020054152.tif 000018
【図１３】
2020054152.tif 000019
【図１４】
2020054152.tif 000020
【図１５】
2020054152.tif 000021
【図１６】
2020054152.tif 000022
【図１７】
2020054152.tif 000023
【図１８】
2020054152.tif 000024
【図１９】
2020054152.tif 000025
【図２０】
2020054152.tif 000026
【図２１】
2020054152.tif 000027
【図２２】
2020054152.tif 000028
【図２３】
2020054152.tif 000029
【図２４】
2020054152.tif 000030
【図２５】
2020054152.tif 000031
【図２６】
2020054152.tif 000032
【図２７】
2020054152.tif 000033
【図２８】
2020054152.tif 000034
【図２９】
2020054152.tif 000035
【図３０】
2020054152.tif 000036
【国際調査報告】
2020054152.tif 000037
2020054152.tif 000038
2020054152.tif 000039
2020054152.tif 000040