(57)【要約】  情報生成部３０は偏光撮像部２０から、偏光方向が少なくとも３以上の方向（ｍ≧３）である観測値を取得する。ノイズ量算出部３５-1は、第１偏光方向の観測値に基づいてノイズ量を算出する。同様に、ノイズ量算出部３５-2〜３５-mは、第２乃至第ｍ偏光方向の観測値に基づいてノイズ量を算出する。偏光モデル推定部３６は、偏光方向毎の観測値とノイズ量算出部３５-1〜３５-mで算出されたノイズ量を用いて偏光モデルを推定する。したがって、ノイズに対してロバストな偏光モデルを算出できる。
2019235019.tif 000002
【特許請求の範囲】
【請求項１】
複数偏光方向毎の観測値に基づいてノイズ量を算出するノイズ量算出部と、
前記観測値と前記ノイズ量算出部で算出されたノイズ量を用いて偏光モデルを推定する偏光モデル推定部と
を備える情報生成装置。
【請求項２】
前記ノイズ量算出部は観測値と分散の関係を示すノイズ分散モデルを用いて前記ノイズ量を算出する
請求項１に記載の情報生成装置。
【請求項３】
前記ノイズ量算出部は前記観測値に応じた分散を前記ノイズ量とする
請求項２に記載の情報生成装置。
【請求項４】
前記ノイズ分散モデルはノイズ量算出部に予め記憶されている
請求項２に記載の情報生成装置。
【請求項５】
撮像画像から複数の観測領域を検出して、観測領域の複数の観測値と平均観測値から分散を求めて、複数の前記観測領域における平均観測値と分散からノイズ分散モデルを生成するノイズ分散モデル推定部をさらに備え、
前記ノイズ量算出部は、前記ノイズ分散モデル推定部で推定されたノイズ分散モデルを用いて前記ノイズ量を算出する
請求項２に記載の情報生成装置。
【請求項６】
前記ノイズ分散モデル推定部は、前記撮像画像における平坦領域を前記観測領域とする
請求項５に記載の情報生成装置。
【請求項７】
前記ノイズ分散モデル推定部は、前記撮像画像における静止領域を前記観測領域とする
請求項５に記載の情報生成装置。
【請求項８】
飽和状態である観測値を検出する飽和検出部をさらに備え、
前記偏光モデル推定部は、前記飽和状態である観測値を除いて前記偏光モデルを推定する
請求項１に記載の情報生成装置。
【請求項９】
前記ノイズ量算出部は、前記飽和検出部で飽和状態である観測値のノイズ量を所定値として、
前記偏光モデル推定部は、前記ノイズ量が所定値とされたことにより前記飽和状態である観測値を除いて前記偏光モデルを推定する
請求項８に記載の情報生成装置。
【請求項１０】
複数の駆動モード毎に取得された前記複数偏光方向毎の観測値を揃えるレベル補正を行うレベル補正部をさらに備え、
前記ノイズ量算出部は、前記レベル補正部で補正された観測値と前記レベル補正で用いた補正ゲインと前記ノイズ分散モデルを用いてノイズ量を算出して、
前記偏光モデル推定部は、前記レベル補正部で補正された観測値と前記ノイズ量算出部で算出されたノイズ量を用いて偏光モデルを推定する
請求項１に記載の情報生成装置。
【請求項１１】
前記複数の駆動モードは、感度または露光時間が異なる駆動モードである
請求項１０に記載の情報生成装置。
【請求項１２】
前記複数偏光方向毎の観測値は偏光方向が３以上である観測値である
請求項１に記載の情報生成装置。
【請求項１３】
前記複数偏光方向毎の観測値を取得する偏光撮像部をさらに備える
請求項１に記載の情報生成装置。
【請求項１４】
前記偏光撮像部はノイズ分散モデルを記憶しており、
前記ノイズ量算出部は前記偏光撮像部に記憶されたノイズ分散モデルを用いて前記ノイズ量を算出する
請求項１３に記載の情報生成装置。
【請求項１５】
複数偏光方向毎の観測値に基づいてノイズ量をノイズ量算出部で算出することと、
前記観測値と前記ノイズ量算出部で算出されたノイズ量を用いて偏光モデルを偏光モデル推定部で推定することと
を含む情報生成方法。
【請求項１６】
複数偏光方向毎の観測値に基づく情報の生成をコンピュータで実行させるプログラムであって、
前記複数偏光方向毎の観測値に基づいてノイズ量を算出する手順と、
前記観測値と前記算出したノイズ量を用いて偏光モデルを推定する手順と
を前記コンピュータで実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、情報生成装置と情報生成方法およびプログラムに関し、ノイズに対してロバストな偏光モデルを算出する。
【背景技術】
【０００２】
従来、偏光を利用して反射成分等を分離する際に、偏光子を透過した透過光の強度を、偏光モデルであるコサインカーブにフィッティングさせることが行われている。例えば特許文献１では、フィッティング後のコサインカーブに基づいて無偏光成分と反射成分である偏光成分に分離することが行われている。また、特許文献２では、低感度偏光画像に基づいて低感度偏光モデルの算出を行い、低感度偏光モデルと同じ位相成分をもつ高感度偏光モデルを高感度偏光画像における飽和を生じていない画像から算出して被写体の偏光特性を高感度に求めることが行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４９７４５４３号公報
【特許文献２】国際公開第２０１７／０８５９９３号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、高感度偏光画像における飽和を生じていない画像から高感度偏光モデルを算出する場合、最小二乗法による関数フィッティングでは、観測値のばらつきが同じ分散の正規分布に従う場合にフィッティングの精度は良好となることが知られている。このため、例えば輝度に応じて分散が変化するイメージセンサのショットノイズが偏光画像に含まれると、算出した偏光モデルの精度が低下してしまう。【０００５】
そこで、本技術では、ノイズに対してロバストな偏光モデルを算出できる情報生成装置と情報生成方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
この技術の第１の側面は、
複数偏光方向毎の観測値に基づいてノイズ量を算出するノイズ量算出部と、
前記観測値と前記ノイズ量算出部で算出されたノイズ量を用いて偏光モデルを推定する偏光モデル推定部と
を備える情報生成装置にある。【０００７】
この技術においては、複数偏光方向毎の観測値と分散との関係を示すノイズ分散モデルを用いて観測値に応じた分散をノイズ量として算出する。ノイズ分散モデルは、予め記憶されてもよく、撮像画像から複数の観測領域例えば平坦領域あるいは静止領域を検出して、観測領域の複数の観測値と平均観測値から分散を求めて、複数の観測領域における平均観測値と分散から生成してもよい。情報生成装置は、観測値と算出されたノイズ量を用いて偏光モデルを推定する、あるいは飽和状態である観測値を検出して、飽和状態である観測値を用いることなく偏光モデルを推定する。【０００８】
また、感度または露光時間が異なる複数の駆動モード毎に取得された複数偏光方向毎の観測値を揃えるレベル補正を行い、補正された観測値とレベル補正で用いた補正ゲインとノイズ分散モデルを用いてノイズ量を算出する。さらに、補正された観測値と算出されたノイズ量を用いて偏光モデルを推定してもよい。【０００９】
複数偏光方向毎の観測値は偏光方向が３以上である観測値を用いる。また、複数偏光方向毎の観測値を取得する偏光撮像部を備えてもよい。また、偏光撮像部はノイズ分散モデルを記憶して、ノイズ量算出部は偏光撮像部に記憶されたノイズ分散モデルを用いてノイズ量を算出してもよい。【００１０】
この技術の第２の側面は、
複数偏光方向毎の観測値に基づいてノイズ量をノイズ量算出部で算出することと、
前記観測値と前記ノイズ量算出部で算出されたノイズ量を用いて偏光モデルを偏光モデル推定部で推定することと
を含む情報生成方法にある。【００１１】
この技術の第３の側面は、
複数偏光方向毎の観測値に基づく情報の生成をコンピュータで実行させるプログラムであって、
前記複数偏光方向毎の観測値に基づいてノイズ量を算出する手順と、
前記観測値と前記算出したノイズ量を用いて偏光モデルを推定する手順と
を前記コンピュータで実行させるプログラムにある。【００１２】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【発明の効果】
【００１３】
この技術によれば、複数偏光方向毎の観測値に基づいてノイズ量を算出して、観測値と算出したノイズ量を用いて偏光モデルが推定される。このため、ノイズに対してロバストな偏光モデルを算出できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１４】
【図１】情報生成システムの構成を例示した図である。
【図２】偏光撮像部の構成を例示した図である。
【図３】情報生成部の第１の実施の形態の構成を例示した図である。
【図４】第１の実施の形態の動作を示すフローチャートである。
【図５】同じ輝度となるべき領域毎の観測値を例示した図である。
【図６】情報生成部の第２の実施の形態の構成を例示した図である。
【図７】第２の実施の形態の動作を示すフローチャートである。
【図８】情報生成部の第３の実施の形態の構成を例示した図である。
【図９】ノイズ分散モデル推定部の動作を例示した図である。
【図１０】第３の実施の形態の動作を示すフローチャートである。
【図１１】第４の実施の形態におけるノイズ分散モデル推定部の動作を例示した図である。
【図１２】第４の実施の形態の動作を示すフローチャートである。
【図１３】情報生成部の第５の実施の形態の構成を例示した図である。
【図１４】レベル補正部の動作を例示した図である。
【図１５】第５の実施の形態の動作を示すフローチャートである。
【図１６】情報生成部の第６の実施の形態の構成を例示した図である。
【図１７】第６の実施の形態の動作を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．情報生成システムについて
２．偏光撮像部について
２−１．偏光画像のノイズについて
３．情報生成部について
３−１．第１の実施の形態
３−２．ノイズ分散モデルの係数について
３−３．第２の実施の形態
３−４．第３の実施の形態
３−５．第４の実施の形態
３−６．第５の実施の形態
３−７．第６の実施の形態
３−８．他の実施の形態
４．偏光モデルから得られる情報について
５．応用例
【００１６】
＜１．情報生成システムについて＞
偏光素子を回転させながらのシーンを観測すると、偏光素子の方向に応じて観測値（輝度）が変化する。ここで、偏光素子の回転角度（偏光角）を「υ」とすると、この観測値の変化は、式（１）に示す偏光モデルで表すことができる。
Ｉ（υ）＝Ａｓｉｎ（２υ）＋Ｂｃｏｓ（２υ）＋Ｃ    ・・・（１）
【００１７】
図１は、情報生成システムの構成を例示している。情報生成システム１０は偏光撮像部２０と情報生成部３０を有している。偏光撮像部２０は所望の被写体の偏光画像を取得して、情報生成部３０は偏光撮像部２０で取得された偏光画像に基づき所望の被写体について偏光モデルの推定を行い、式（１）のパラメータＡ，Ｂ，Ｃを算出する。
【００１８】
＜２．偏光撮像部について＞
偏光撮像部２０は、複数偏光方向毎の観測値を取得する。図２は、偏光撮像部の構成を例示している。偏光撮像部２０は、例えば図２の（ａ）に示すように、イメージセンサ２０１に複数の偏光方向の画素構成とされた偏光フィルタ２０２を配置した構成として偏光画像を取得する。なお、図２の（ａ）では、各画素が異なる４種類の偏光方向（偏光方向を矢印で示す）のいずれかの画素となる偏光フィルタ２０２をイメージセンサ２０１の前面に配置した場合を例示している。このように偏光撮像部を構成すれば、２×２画素のブロック単位で、複数偏光方向毎の観測値を取得できる。また、等しい偏光方向の画素値を用いて補間処理を行い、異なる偏光方向の画素位置の観測値を算出すれば、画素毎に複数偏光方向毎の観測値を取得できる。また、偏光撮像部２０は、例えば図２の（ｂ）に示すように、イメージセンサ２０１の前面に偏光撮像部２０のレンズ光軸を回転軸として偏光板２０５を矢印で示すように回転可能に設けて、偏光板２０５の複数の回転位置毎に撮像を行うことで複数の偏光方向毎の偏光画像を取得してもよい。このように偏光撮像部を構成すれば、動きを生じていない被写体について、画素に複数偏光方向毎の観測値を取得できる。また、図示せずも、複数の撮像部の前に互いに偏光方向が異なる偏光板を設けた構成として、順次同じ位置から複数の撮像部で撮像を行うことで、偏光方向が異なる複数の偏光画像を生成してもよい。
【００１９】
＜２−１．偏光画像のノイズについて＞
偏光撮像部２０は、上述のようにイメージセンサを用いて構成されており、イメージセンサで発生するノイズは、固定パターンノイズとランダムノイズに分類される。固定パターンノイズは、撮影のタイミングによらず画像上の決まった位置に発生するノイズである。固定パターンノイズは、フォトダイオードの増幅回路の特性におけるばらつきに起因して生じる。ランダムノイズは、主に光ショットノイズと熱ノイズによって生じる。光ショットノイズは、イメージセンサのフォトダイオードに到達する光子の数が統計的に揺らぐことで発生する。光ショットノイズは、ポアソン分布でモデル化されるが、輝度がある程度大きい領域では正規分布として表される。熱ノイズは、増幅回路内の抵抗中の自由電子が熱運動によって不規則に振動することで生じるノイズであり正規分布で表される。
【００２０】
したがって、観測されるイメージセンサのランダムノイズは、主に光ショットノイズの正規分布と熱ノイズの正規分布を加算した分布として観測される。すなわち、イメージセンサで生じるノイズは、標準偏差σ（ｉ）、分散σ2（ｉ）、分布の平均値ｉをパラメータとする式（２）に示す正規分布で表すものとする。なお、イメージセンサを用いて輝度を観測する場合、分布の平均値ｉが真の輝度値に相当する。
【００２１】
【数１】
2019235019.tif 000003
【００２２】
また、ショットノイズによる分散は輝度値に対して線形に増加することが知られており、本発明では２つの係数ｃ０，ｃ１を用いて、分散σ2（ｉ）を式（３）に示すパラメトリックなノイズ分散モデルとして表す。なお、ノイズ分散モデルの係数ｃ０は熱ノイズの分布の分散に相当し、係数ｃ１と観測値ｉの乗算結果はショットノイズの分布の分散に相当する。また、ノイズ分散モデルの係数ｃ０，ｃ１の値は、イメージセンサの駆動パラメータ（例えば利得や露光時間）に応じて変化する。なお、駆動パラメータを切り替えて行われる各撮像動作を駆動モードともいう。
σ2（ｉ）＝ｃ０＋ｃ１・ｉ    ・・・（３）
【００２３】
＜３．情報生成部について＞
情報生成部３０は、ノイズ量算出部と偏光モデル推定部を少なくとも有している。ノイズ量算出部は、偏光撮像部２０で取得された複数偏光方向毎の観測値の分散を算出する。本技術では、ノイズによって観測値の分散が生じたと見なして、観測値の分散すなわちノイズの分散をノイズ量として算出する。偏光モデル推定部は、観測値とノイズ量算出部で算出されたノイズ量を用いて、偏光撮像部で取得された観測値との差が少ない偏光モデルを偏光画素の組であるブロック単位あるいは画素単位で推定する。具体的に偏光モデル推定部は、偏光撮像部２０で取得された偏光画像に基づき、イメージセンサで発生するノイズ量を、ノイズ分散モデルを用いて算出して、偏光画像とノイズ量に基づき偏光モデルの推定を行い、式（１）のパラメータＡ，Ｂ，Ｃを算出する。情報生成部３０は、３つのパラメータＡ，Ｂ，Ｃを算出することから、少なくとも３以上の偏光方向（偏光方向には無偏光を含めてもよい）の観測値を用いる。また、情報生成部３０は、３以上の偏光方向の観測値と分散を用いてパラメータを算出する。
【００２４】
＜３−１．第１の実施の形態＞
図３は、情報生成部の第１の実施の形態の構成を例示している。情報生成部３０は、ノイズ量算出部３５-1〜３５-mと偏光モデル推定部３６を有している。ノイズ量算出部３５-1〜３５-mは、パラメータの算出に用いる画素値を生成する偏光撮像部の第１偏光輝度取得部２０１-1〜第ｍ偏光輝度取得部２０１-m毎に設けられている。例えば、偏光撮像部２０が図２の（ａ）に示す構成であり、２×２画素の二次元領域内の偏光方向が異なる４つの画素の観測値（輝度値）を用いてパラメータを算出する場合、偏光方向が異なる４つの画素が第１偏光輝度取得部２０１-1〜第４偏光輝度取得部２０１-4に相当する。また、偏光撮像部２０が図２の（ｂ）に示す構成であり、画素毎に偏光方向が異なる４つ方向の観測値を用いてパラメータを算出する場合、偏光板の偏光方向が異なる４つ回転位置毎の画素が第１偏光輝度取得部２０１-1〜第４偏光輝度取得部２０１-4となる。
【００２５】
ノイズ量算出部３５-1〜３５-mは、ノイズの分散をノイズ量として算出する。ノイズ分散モデルの係数ｃ０，ｃ１の値は、予めノイズ量算出部３５-1〜３５-mに記憶されており、ノイズ量算出部３５-1〜３５-mは、画素毎の観測値を平均値ｉとして式（３）に基づき分散を算出して偏光モデル推定部３６へ出力する。なお、ノイズ分散モデルの係数ｃ０，ｃ１の詳細については後述する。
【００２６】
偏光モデル推定部３６は、偏光撮像部２０で取得された観測値（輝度値）と、ノイズ量算出部３５-1〜３５-mで算出されたノイズ量を用いて、例えばノイズ量に応じて重み付けがなされた偏光モデルと偏光撮像部で取得された観測値との差が最小となるように偏光モデルのパラメータＡ，Ｂ，Ｃを算出する。具体的には、重み付け最小二乗法を用いた式（４）の演算を行い、二乗誤差が最小となるようにパラメータＡ，Ｂ，Ｃを算出する。式（５）は式（４）で用いられる行列Ｆを示している。式（６）は式（４）で用いられる行列Ｉを示しており、行列Ｉは偏光撮像部２０で取得された観測値を示している。また、式（７）は式（４）で用いられる行列Ｗを示しており、行列Ｗでは分散の逆数が対角成分とされており、分散の逆数に応じた重み付けが行われる。なお、「ＦＴ」は行列Ｆの転置行列、（）−１は逆行列であることを示している。
【００２７】
【数２】
2019235019.tif 000004
【００２８】
図４は、第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１で情報生成部は偏光画像を取得する。情報生成部３０は偏光撮像部２０で生成された複数偏光方向の観測値を示す偏光画像を取得してステップＳＴ２に進む。
【００２９】
ステップＳＴ２で情報生成部はノイズ量を算出する。情報生成部３０は予め設定されている係数ｃ０，ｃ１と観測値を用いて式（３）に基づきノイズ量を算出してステップＳＴ３に進む。
【００３０】
ステップＳＴ３で情報生成部はパラメータを算出する。情報生成部３０は、ステップＳＴ１で取得した偏光画像の観測値とステップＳＴ２で算出したノイズ量を用いて例えば最小二乗法により偏光モデルのパラメータを算出する。
【００３１】
このように、第１の実施の形態によれば、イメージセンサに発生するノイズに対してロバストな偏光モデルを推定できるようになる。
【００３２】
＜３−２．ノイズ分散モデルの係数について＞
次に、ノイズ量算出部３５-1〜３５-mで用いる係数ｃ０，ｃ１について説明する。ノイズ分散モデル推定部は、イメージセンサを所定の駆動モードとして取得された様々な輝度をもつチャートの偏光撮像画を用いてノイズ分散モデルの推定を行い、ノイズ分散モデルの係数ｃ０，ｃ１を算出する。
【００３３】
ノイズ分散モデル推定部は、例えばチャート内で同じ輝度となるべき領域の平均観測値と、領域内の各観測値から、観測値のばらつきを測定する。図５は、同じ輝度となるべき領域毎の観測値を例示している。図５の（ａ）はイメージセンサ２０１で撮像されるチャートＭＫを例示しており、チャートＭＫは例えば輝度の異なる４つの領域Ｐa1〜Ｐa4を有している。図５の（ｂ）は、チャートの領域毎の観測値を領域Ｐa1〜Ｐa4の平均値ｉa1〜ｉa4毎に示している。ノイズによる観測値のばらつきが正規分布に従うと仮定する場合、実際の観測値を中心としたときに、ばらつきのおよそ９９％が正規分布の標準偏差σの３倍以内に収まるという性質をもつ。この性質から、観測値がどれほどの標準偏差でばらつきを生じているか見積もることが可能である。図５の（ｃ）は、領域Ｐa1〜Ｐa4の平均値ｉa1〜ｉa4毎に分散を示している。ノイズ分散モデル推定部は、領域Ｐa1〜Ｐa4の平均値ｉa1〜ｉa4と領域Ｐa1〜Ｐa4の分散との対応関係を直線に当てはめる線形回帰を行い、式（３）に示すノイズ分散モデルの係数ｃ０，ｃ１を算出する。
【００３４】
＜３−３．第２の実施の形態＞
図６は、情報生成部の第２の実施の形態の構成を例示している。情報生成部３０は、第１の実施の形態に対して、さらに飽和検出部３１-1〜３１-mを設けた構成とされている。飽和検出部３１-1〜３１-mは、ノイズ量算出部３５-1〜３５-mと同様に、パラメータの算出に用いる画素値を生成する偏光撮像部の第１偏光輝度取得部２０１-1〜第ｍ偏光輝度取得部２０１-m毎に設けられている。
【００３５】
飽和検出部３１-1〜３１-mは飽和状態である観測値を検出する。飽和検出部３１-1〜３１-mは観測値とイメージセンサの最大出力値を比較して、最大出力値である観測値を飽和状態である画素（飽和画素という）と判別する。飽和検出部３１-1は検出した飽和画素を示す飽和画素情報をノイズ量算出部３５-1へ出力する。同様に、飽和検出部３１-2〜３１-mは検出した飽和画素を示す飽和画素情報をノイズ量算出部３５-2〜３５-mへ出力する。
【００３６】
ノイズ量算出部３５-1〜３５-mは、飽和画素情報と画素毎の観測値に基づき分散を算出する。ノイズ量算出部３５-1〜３５-mは、偏光モデル推定部３６で飽和状態である観測値を除いて偏光モデルを推定するように、例えば飽和画素情報で飽和画素と判別された画素の分散を所定値とする。具体的には、飽和画素と判別された画素の分散を無限大として、式（７）に示す行列Ｗにおける分散の逆数を「０」とすることで、飽和状態である観測値を除いて偏光モデルの推定が行われるようにする。
【００３７】
偏光モデル推定部３６は、偏光撮像部２０で取得された観測値（輝度値）と、ノイズ量算出部３５-1〜３５-mで算出されたノイズ量を用いて、式（４）の演算を行い、最小二乗法により偏光モデルのパラメータＡ，Ｂ，Ｃを算出する。
【００３８】
図７は、第２の実施の形態の動作を示すフローチャートである。ステップＳＴ１１で情報生成部は偏光画像を取得する。情報生成部３０は偏光撮像部２０で生成された複数偏光方向の観測値を示す偏光画像を取得してステップＳＴ１２に進む。
【００３９】
ステップＳＴ１２で情報生成部は飽和画素を検出する。情報生成部３０は観測値がイメージセンサの最大出力値である画素を飽和画素としてステップＳＴ１３に進む。
【００４０】
ステップＳＴ１３で情報生成部はノイズ量を算出する。情報生成部３０は、ステップＳＴ１２の飽和画素の検出結果に基づき、非飽和画素の分散は予め設定されている係数ｃ０，ｃ１と観測値の平均値ｉを用いて式（２）に基づき算出して、飽和画素の分散は無限大とする。情報生成部は飽和画素と非飽和画素の分散をノイズ量として算出してステップＳＴ１４に進む。
【００４１】
ステップＳＴ１４で情報生成部はパラメータを算出する。情報生成部３０は、ステップＳＴ１１で取得した偏光画像の観測値とステップＳＴ１３で算出したノイズ量を用いて例えば最小二乗法により偏光モデルのパラメータを算出する。
【００４２】
このように、第２の実施の形態によれば、第１の実施の形態と同様に、イメージセンサに発生するノイズに対してロバストな偏光モデルを推定できるようになる。さらに、第２の実施の形態によれば、偏光モデルの推定で飽和画素が除外されるので、精度よく偏光モデルを推定できるようになる。
【００４３】
＜３−４．第３の実施の形態＞
次に、第３の実施の形態では、ノイズ分散モデルを推定することで、予め係数ｃ０，ｃ１を算出する処理を不要とする。ノイズ分散モデルは、偏光撮像部２０で取得された偏光画像から複数の観測領域を検出して、観測領域の複数の観測値と平均観測値から分散を求めて、複数の観測領域における平均観測値と分散との関係に基づいて推定する。
【００４４】
図８は、情報生成部の第３の実施の形態の構成を例示している。情報生成部３０は、ノイズ分散モデル推定部３３とノイズ量算出部３５-1〜３５-mと偏光モデル推定部３６を有している。ノイズ量算出部３５-1〜３５-mは、パラメータの算出に用いる観測値を生成する偏光撮像部の第１偏光輝度取得部２０１-1〜第ｍ偏光輝度取得部２０１-m毎に設けられている。
【００４５】
ノイズ分散モデル推定部３３は、第１偏光輝度取得部２０１-1〜第ｍ偏光輝度取得部２０１-mで取得された観測値に基づきノイズ分散モデルを推定する。ノイズ分散モデル推定部３３は、第１偏光輝度取得部２０１-1〜第ｍ偏光輝度取得部２０１-mで取得された観測値に基づき、テクスチャのない平坦領域（例えば観測値の差が予め設定された閾値以内である二次元方向の領域）を複数検出して、平坦領域毎に観測値の平均値と分散を算出する。平坦領域は、例えば観測値の差が予め設定された閾値以内である領域とする。さらに、ノイズ分散モデル推定部３３は、複数の平坦領域の平均値と分散の対応関係を直線に当てはめる線形回帰を行い、式（３）に示すノイズ分散モデルの係数ｃ０，ｃ１を算出する。ノイズ分散モデル推定部３３は、算出した係数ｃ０，ｃ１をノイズ量算出部３５-1〜３５-mへ出力する。なお、ノイズ分散モデル推定部３３は、イメージセンサを異なる駆動モードとして取得された観測値を用いてノイズ分散モデルを推定すれば、１つの駆動モードの場合よりも平均値の変化が大きくなりノイズ分散モデルの推定を精度よく行うことができるようになる。
【００４６】
図９は、第３の実施の形態におけるノイズ分散モデル推定部の動作を例示している。ノイズ分散モデル推定部３３は、複数偏光方向の偏光画像から平坦領域を検出する。図９の（ａ）は、偏光画像から検出された例えば４つの平坦領域Ｐb1〜Ｐb4を例示している。図９の（ｂ）は、観測値を平坦領域Ｐb１〜Ｐb４の平均値ｉb1〜ｉb4毎に示している。なお、平坦領域の平均値は、１つの駆動モードに限らず、複数の駆動モード毎の平均値を用いれば、平均値の分布を広くできる。図９の（ｃ）は、平坦領域Ｐb1〜Ｐb4の平均値ｉb1〜ｉb4毎に分散を示している。ノイズ分散モデル推定部３３は、図９の（ｃ）に示すように、平坦領域Ｐb1〜Ｐb4の平均値ｉb1〜ｉb4と平坦領域Ｐb1〜Ｐb4の分散との対応関係を直線に当てはめる線形回帰を行い、式（３）に示すノイズ分散モデルの係数ｃ０，ｃ１を算出する。
【００４７】
ノイズ量算出部３５-1〜３５-mは、ノイズ量としてノイズの分散を算出する。ノイズ量算出部３５-1〜３５-mは、画素毎の観測値を式（３）における平均値ｉとして、ノイズ分散モデル推定部３３で算出された係数ｃ０，ｃ１を用いて式（３）に基づき分散を算出する。ノイズ量算出部３５-1〜３５-mは、算出した分散をノイズ量として偏光モデル推定部３６へ出力する。
【００４８】
偏光モデル推定部３６は、偏光撮像部２０で取得された観測値と、ノイズ量算出部３５-1〜３５-mで算出されたノイズ量を用いて、第１の実施の形態と同様に最小二乗法により偏光モデルのパラメータＡ，Ｂ，Ｃを算出する。
【００４９】
図１０は、第３の実施の形態の動作を示すフローチャートである。ステップＳＴ２１で情報生成部は偏光画像を取得する。情報生成部３０は偏光撮像部２０で生成された複数偏光方向の観測値を示す偏光画像を取得してステップＳＴ２２に進む。
【００５０】
ステップＳＴ２２で情報生成部は平坦領域を検出する。情報生成部３０は偏光画像からテクスチャのない複数の平坦領域を検出してステップＳＴ２３に進む。
【００５１】
ステップＳＴ２３で情報生成部はノイズ分散モデルを推定する。情報生成部３０はステップＳＴ２２で検出した複数の平坦領域毎に観測値の平均と分散を算出して線形回帰を行い、式（３）に示すノイズ分散モデルの係数ｃ０，ｃ１を算出してステップＳＴ２４に進む。
【００５２】
ステップＳＴ２４で情報生成部はノイズ量を算出する。情報生成部３０はステップＳＴ２２で算出した係数ｃ０，ｃ１と観測値を用いて式（３）に基づき分散を算出してノイズ量としてステップＳＴ２５に進む。
【００５３】
ステップＳＴ２５で情報生成部はパラメータを算出する。情報生成部３０は、ステップＳＴ２１で取得した偏光画像の観測値とステップＳＴ２３で算出したノイズ量を用いて例えば最小二乗法により偏光モデルのパラメータを算出する。
【００５４】
このように、第３の実施の形態によれば、ノイズ分散モデルのパラメータが予め記憶されていなくとも、ノイズ分散モデルを推定して、第１の実施の形態と同様に、イメージセンサに発生するノイズに対してロバストな偏光モデルを推定できるようになる。
【００５５】
＜３−５．第４の実施の形態＞
次に、第４の実施の形態について説明する。第３の実施の形態では、複数の観測領域として複数の平坦領域を検出して、平坦領域の観測値を用いてノイズ分散モデルを推定したが、第４の実施の形態では、時間方向の複数の偏光画像に基づき複数の静止領域を観測領域として検出する。
【００５６】
情報生成部の第４の実施の形態は、第３の実施の形態と同様に構成されており、ノイズ分散モデル推定部３３の動作が第３の実施の形態と異なる。
【００５７】
ノイズ分散モデル推定部３３は、第１偏光輝度取得部２０１-1〜第ｍ偏光輝度取得部２０１-mで取得された例えば複数フレーム分の観測値とイメージセンサの駆動モードに基づきノイズ分散モデルを推定する。ノイズ分散モデル推定部３３は、第１偏光輝度取得部２０１-1〜第ｍ偏光輝度取得部２０１-mで取得された例えば複数フレーム分の観測値に基づき、動きを生じていない静止領域（例えば同じ位置の観測値の時間方向の差が予め設定された閾値内の領域）を複数検出して、静止領域毎に観測値の平均値と分散を算出する。さらに、ノイズ分散モデル推定部３３は、複数の静止領域の平均値と分散の対応関係を直線に当てはめる線形回帰を行い、式（３）に示すノイズ分散モデルの係数ｃ０，ｃ１を算出する。ノイズ分散モデル推定部３３は、算出した係数ｃ０，ｃ１をノイズ量算出部３５-1〜３５-mへ出力する。
【００５８】
図１１は、第４の実施の形態におけるノイズ分散モデル推定部の動作を例示している。図１１の（ａ）は、複数フレームの偏光画像群を示している。ノイズ分散モデル推定部３３は、偏光画像群から、静止領域を検出する。図１１の（ａ）時刻ｔ１と時刻ｔ２の偏光画像を例示しており、ノイズ分散モデル推定部３３では、例えば４つの静止領域Ｐc1〜Ｐc4が検出されたとする。図１１の（ｂ）は、観測値を静止領域Ｐc1〜Ｐc4の平均値ｉc1〜ｉc４毎に示している。図１１の（ｃ）は、静止領域Ｐc1〜Ｐc4の平均値ｉc1〜ｉc4毎に分散を示している。ノイズ分散モデル生成部３３は、図１１の（ｃ）に示すように、静止領域Ｐc1〜Ｐc4の平均値ｉc1〜ｉc4と静止領域Ｐc1〜Ｐc4の分散との対応関係を直線に当てはめる線形回帰を行い、式（３）に示すノイズ分散モデルの係数ｃ０，ｃ１を算出する。
【００５９】
ノイズ量算出部３５-1〜３５-mは、ノイズ量としてノイズの分散を算出する。ノイズ量算出部３５-1〜３５-mは、画素毎の観測値を式（３）における平均値ｉとして、ノイズ分散モデル推定部３３で算出された係数ｃ０，ｃ１を用いて式（３）に基づき分散を算出する。ノイズ量算出部３５-1〜３５-mは、算出した分散をノイズ量として偏光モデル推定部３６へ出力する。
【００６０】
偏光モデル推定部３６は、偏光撮像部２０で取得された観測値と、ノイズ量算出部３５-1〜３５-mで算出されたノイズ量を用いて、第１の実施の形態と同様に最小二乗法により偏光モデルのパラメータＡ，Ｂ，Ｃを算出する。
【００６１】
図１２は、第４の実施の形態の動作を示すフローチャートである。ステップＳＴ３１で情報生成部は複数フレームの偏光画像を取得する。情報生成部３０は偏光撮像部２０で生成された複数フレームの偏光画像を取得してステップＳＴ３２に進む。
【００６２】
ステップＳＴ３２で情報生成部は静止領域を検出する。情報生成部３０はステップＳＴ３１で取得した複数フレームの偏光画像から複数の静止領域を検出してステップＳＴ３３に進む。
【００６３】
ステップＳＴ３３で情報生成部はノイズ分散モデルを推定する。情報生成部３０はステップＳＴ３２で検出された複数の静止領域毎に観測値の平均と分散を算出して線形回帰を行い、式（３）に示すノイズ分散モデルの係数ｃ０，ｃ１を算出してステップＳＴ３４に進む。
【００６４】
ステップＳＴ３４で情報生成部はノイズ量を算出する。情報生成部３０はステップＳＴ３３で算出した係数ｃ０，ｃ１と観測値を用いて式（３）に基づき分散を算出してノイズ量としてステップＳＴ３５に進む。
【００６５】
ステップＳＴ３５で情報生成部はパラメータを算出する。情報生成部３０は、ステップＳＴ３１で取得した偏光画像の観測値とステップＳＴ３３で算出したノイズ量を用いて例えば最小二乗法により偏光モデルのパラメータを算出する。
【００６６】
このように、第４の実施の形態によれば、第３の実施の形態と同様に、ノイズ分散モデルのパラメータが予め記憶されていなくとも、ノイズ分散モデルを推定して、イメージセンサに発生するノイズに対してロバストな偏光モデルを推定できるようになる。
【００６７】
＜３−６．第５の実施の形態＞
次に、第５の実施の形態では、第１乃至第４の実施の形態よりも高いダイナミックレンジで偏光モデルを推定する。第５の実施の形態の偏光撮像部２０では、駆動モードを切り替えて複数の駆動モードで撮像を行うことにより複数駆動モードの偏光画像を取得する。情報生成部３０は、偏光撮像部２０で取得された複数モードの偏光画像に基づき、観測値および観測値の感度に基づいて偏光モデルを推定する。
【００６８】
偏光撮像部２０は、感度あるいは露光時間の変更が可能な構成とされており、感度あるいは露光時間を変更する毎に偏光画像を取得する。偏光撮像部２０が図２の（ａ）に示す構成である場合、例えば複数の異なる駆動モードで撮像を行い複数の偏光画像を取得してもよく、画素毎に露光時間を変更可能として、１回の撮像で複数の異なる露光時間の観測値を含む偏光画像を取得してもよい。また、画素毎に光の減衰量が異なる減光フィルタを設けて、１回の撮像で複数の異なる感度の観測値を含む偏光画像を取得してもよい。また、偏光撮像部２０が図２の（ｂ）に示す構成である場合、例えば偏光板の偏光方向を所望の複数の方向として偏光画像を取得する動作を、複数の異なる駆動モードで行う。なお、偏光撮像部２０は、感度あるいは露光時間が異なる複数の偏光画像を取得できればよく、上述の構成に限られない。
【００６９】
図１３は情報生成部の第５の実施の形態の構成を例示している。なお、図１３では、偏光撮像部２０として、ｍ種類の偏光方向の観測値を取得する画素群を、ｎ種類の駆動モード毎に設けて、第１駆動モード〜第ｎ駆動モードのそれぞれで第１偏光方向υ1〜第ｍ偏光方向υmの観測値を取得する場合を示している。また、第１駆動モードで第１偏光方向である観測値を「ｉ1,1」、第１駆動モードで第２偏光方向である観測値を「ｉ1,2」・・・第ｎ駆動モードで第ｍ偏光方向である観測値を「ｉn,m」とする。
【００７０】
情報生成部３０は、レベル補正部３２-1,1〜３２-1,m，・・・，３２-n,1〜３２-n,mとノイズ量算出部３５-1,1〜３５-1,m，・・・，３５-n,1〜３５-n,mと偏光モデル推定部３６を有している。
【００７１】
レベル補正部３２-1,1〜３２-1,m，・・・，３２-n,1〜３２-n,mは、複数の動作モード毎に取得された複数偏光方向毎の観測値を揃えるレベル補正を行う。例えば、レベル補正部３２-1,1は、取得された偏光画像の感度や露光時間に応じた利得で観測値を補正して、補正後の観測値をノイズ量算出部３５-1,1と偏光モデル推定部３６へ出力する。同様に、レベル補正部３２-2,1〜３２-2,m，・・・，３２-n,1〜３２-n,mは、取得された偏光画像の感度や露光時間に応じた利得で観測値を補正して、補正後の観測値をノイズ量算出部３５-2,1〜３５-2,m，・・・，３５-n,1〜３５-n,mと偏光モデル推定部３６へ出力する。レベル補正部３２-1,1〜３２-1,m，・・・，３２-n,1〜３２-n,mは、偏光方向毎に観測値が感度や露光時間によらず等しくなるように利得を設定する。
【００７２】
図１４は、レベル補正部の動作を例示している、なお、図１４は、例えば偏光方向数ｍである場合のレベル補正部３２-1,1〜３２-1,m，３２-n,1〜３２-n,mの動作を示している。例えば、レベル補正部３２-1,1は、偏光撮像部２０における第１感度の偏光輝度取得部で取得された偏光方向υ1の観測値「ｉ1,1」をｒ1倍する。同様に、レベル補正部３２-1,2〜３２-1,mは、第１感度の偏光輝度取得部で取得された偏光方向υ2〜υmの観測値「ｉ1,2，ｉ1,3，・・・，ｉ1,m」をｒ1倍する。また、レベル補正部３２-n,1は、偏光撮像部２０における第ｎ感度の偏光輝度取得部で取得された偏光方向υ1の観測値「ｉn,1」をｒn倍する。同様に、レベル補正部３２-n,2〜３２-n,mは、第ｎ感度の偏光輝度取得部で取得された偏光方向υ2〜υmの観測値「ｉn,2，ｉn,3，・・・，ｉn,m」をｒn倍する。したがって、レベル補正後の観測値は、「ｒ1×ｉ1,1＝ｒn×ｉn,1」「ｒ1×ｉ1,2＝ｒn×ｉn,2」「ｒ1×ｉ1,3＝ｒn×ｉn,3」・・・「ｒ1×ｉ1,m＝ｒn×ｉn,m」となる。
【００７３】
ノイズ量算出部３５-1,1〜３５-1,m，・・・，３５-n,1〜３５-n,mは、ノイズの分散をノイズ量として算出する。ノイズ量算出部３５-1,1〜３５-1,m，・・・，３５-n,1〜３５-n,mは、観測値ｉが観測値「ｒ×ｉ」に補正された場合、分散は「ｒ2×σ2（ｉ）」とする。ノイズ量算出部３５-1,1〜３５-1,m，・・・，３５-n,1〜３５-n,mは、算出した分散をノイズ量として偏光モデル推定部３６へ出力する。
【００７４】
偏光モデル推定部３６は、偏光撮像部２０で取得された観測値のレベル補正後の観測値と、ノイズ量算出部３５-1,1〜３５-1,m，・・・，３５-n,1〜３５-n,mで算出されたノイズ量を用いて、式（８）に基づき偏光モデルのパラメータＡ，Ｂ，Ｃを算出する。式（９）は式（８）で用いられる行列Ｆを示している。式（１０）は式（８）で用いられる行列Ｉを示しており、行列Ｉは偏光撮像部２０で取得された観測値を示している。また、式（１１）は式（８）で用いられる行列Ｗを示しており、行列Ｗは分散の逆数を示す対角行列である。
【００７５】
【数３】
2019235019.tif 000005
【００７６】
図１５は、第５の実施の形態の動作を示すフローチャートである。ステップＳＴ４１で情報生成部は複数駆動モードの偏光画像を取得する。情報生成部３０は偏光撮像部２０で生成された複数駆動モードの偏光画像を取得してステップＳＴ４２に進む。
【００７７】
ステップＳＴ４２で情報生成部はレベル補正を行う。情報生成部３０はステップＳＴ４１で取得された偏光画像のレベル補正を行い、複数駆動モードの偏光画像の観測値が同じ画素位置で等しくなるようにレベル補正を行いステップＳＴ４３に進む。
【００７８】
ステップＳＴ４３で情報生成部はノイズ量を算出する。情報生成部３０は予め設定されている係数ｃ０，ｃ１と、ステップＳＴ４２で補正された観測値を用いて式（３）に基づきノイズの分散を算出してノイズ量としてステップＳＴ４４に進む。
【００７９】
ステップＳＴ４４で情報生成部はパラメータを算出する。情報生成部３０は、ステップＳＴ４２で補正された観測値とステップＳＴ４３で算出したノイズ量を用いて例えば最小二乗法により偏光モデルのパラメータを算出する。
【００８０】
このように、第５の実施の形態によれば、複数の異なる駆動モードで取得した偏光画像から、最もノイズが抑制された高ダイナミックレンジな偏光モデルを推定することが可能となる。
【００８１】
＜３−７．第６の実施の形態＞
次に、第６の実施の形態では、飽和画素を用いることなく第１乃至第４の実施の形態よりも高いダイナミックレンジで偏光モデルを推定する。第６の実施の形態の偏光撮像部２０では、駆動モードを切り替えて複数の駆動モードで撮像を行うことにより複数駆動モードの偏光画像を取得する。情報生成部３０は、偏光撮像部２０で取得された複数駆動モード毎の偏光画像に基づき、飽和画素を用いることなく偏光モデルを推定する。
【００８２】
偏光撮像部２０は、第５の実施の形態と同様に感度あるいは露光時間の変更が可能な構成とされており、感度あるいは露光時間を変更する毎に偏光画像を取得して、取得した偏光画像を情報生成部３０へ出力する。
【００８３】
図１６は情報生成部の第６の実施の形態の構成を例示している。なお、偏光撮像部２０では、第１駆動モード〜第ｎ駆動モードのそれぞれで第１偏光方向υ1〜第ｍ偏光方向υmの観測値を取得する場合を示している。また、第１駆動モードで第１偏光方向である観測値を「ｉ1,1」、第１駆動モードで第２偏光方向である観測値を「ｉ1,2」・・・第ｎ駆動モードで第ｍ偏光方向である観測値を「ｉn,m」とする。
【００８４】
情報生成部３０は、飽和検出部３１-1,1〜３１-1,m，・・・，３１-n,1〜３１-n,m、レベル補正部３２-1,1〜３２-1,m，・・・，３２-n,1〜３２-n,mとノイズ量算出部３５-1,1〜３５-1,m，・・・，３５-n,1〜３５-n,mと偏光モデル推定部３６を有している。
【００８５】
飽和検出部３１-1,1は、第１駆動モードで第１偏光方向の観測値が飽和状態であるか判別して、判別結果をノイズ量算出部３５-1,1へ出力する。飽和検出部３１-1,2は、第１駆動モードで第２偏光方向の観測値が飽和状態であるか判別して、判別結果をノイズ量算出部３５-1,2へ出力する。飽和検出部３１-1,3〜３１-1,m，・・・，３１-n,1〜３１-n,mも同様に飽和画素の判別を行い、判別結果をノイズ量算出部３５-1,3〜３５-1,m，・・・，３５-n,1〜３５-n,mへ出力する。
【００８６】
レベル補正部３２-1,1は、取得された偏光画像の感度や露光時間に応じた利得で観測値を補正して、補正後の観測値をノイズ量算出部３５-1,1と偏光モデル推定部３６へ出力する。同様に、レベル補正部３２-1,2〜３２-1,m，・・・，３２-n,1〜３２-n,mも同様に、取得された偏光画像の感度や露光時間に応じた利得で観測値を補正して、補正後の観測値をノイズ量算出部３５-1,2〜３５-1,m，・・・，３５-n,1〜３５-n,mと偏光モデル推定部３６へ出力する。レベル補正部３２-1,1〜３２-1,m，・・・，３２-n,1〜３２-n,mは、偏光方向毎に観測値が感度や露光時間によらず等しくなるように利得を設定する。
【００８７】
ノイズ量算出部３５-1,1〜３５-1,m，・・・，３５-n,1〜３５-n,mは、ノイズ量としてノイズの分散を算出する。ノイズ量算出部３５-1,1〜３５-1,m，・・・，３５-n,1〜３５-n,mは、観測値ｉが観測値ｒ×ｉに補正された場合、分散は「ｒ2×σ2（ｉ）」とする。また、ノイズ量算出部３５-1,1は、飽和検出部３１-1,1で飽和画素と判別された場合、分散を無限大とする。同様に、ノイズ量算出部３５-1,2〜３５-1,m，・・・，３５-n,1〜３５-n,mは、飽和検出部３１-1,2〜３１-1,m，・・・，３１-n,1〜３１-n,mで飽和画素と判別された場合、分散を無限大とする。ノイズ量算出部３５-1,1〜３５-1,m，・・・，３５-n,1〜３５-n,mは、算出した分散をノイズ量として偏光モデル推定部３６へ出力する。
【００８８】
偏光モデル推定部３６は、偏光撮像部２０で取得された観測値のレベル補正後の観測値と、ノイズ量算出部３５-1,1〜３５-1,m，・・・，３５-n,1〜３５-n,mで算出されたノイズ量を用いて偏光モデルのパラメータＡ，Ｂ，Ｃを算出する。
【００８９】
図１７は、第６の実施の形態の動作を示すフローチャートである。ステップＳＴ５１で情報生成部は複数駆動モードの偏光画像を取得する。情報生成部３０は偏光撮像部２０で生成された複数駆動モードの偏光画像を取得してステップＳＴ５２に進む。
【００９０】
ステップＳＴ５２で情報生成部は飽和画素を検出する。情報生成部３０は観測値がイメージセンサの最大出力値である画素を飽和画素としてステップＳＴ５３に進む。
【００９１】
ステップＳＴ５３で情報生成部はレベル補正を行う。情報生成部３０はステップＳＴ５１で取得された偏光画像のレベル補正を行い、複数駆動モードの偏光画像の観測値が同じ画素位置で等しくなるようにレベル補正を行いステップＳＴ５４に進む。
【００９２】
ステップＳＴ５４で情報生成部はノイズ量を算出する。情報生成部３０は予め設定されている係数ｃ０，ｃ１と、ステップＳＴ５３で補正された観測値を用いて式（３）に基づき分散を算出してノイズ量とする。また、情報生成部３０はステップＳＴ５２で検出された飽和画素の分散を無限大としてステップＳＴ５５に進む。
【００９３】
ステップＳＴ５５で情報生成部はパラメータを算出する。情報生成部３０は、ステップＳＴ５３で補正された観測値とステップＳＴ５４で算出したノイズ量を用いて例えば最小二乗法により偏光モデルのパラメータを算出する。
【００９４】
このように、第６の実施の形態によれば、第５の実施の形態と同様に、複数の異なる駆動モードで取得した偏光画像から、最もノイズが抑制された高ダイナミックレンジな偏光モデルを推定できる。さらに、第６の実施の形態によれば、偏光モデルの推定で飽和画素が除外されるので、精度よく偏光モデルを推定できるようになる。なお、レベル補正部の利得が高く補正後の観測値が飽和状態となる場合、飽和状態となる画素を飽和画素として、偏光モデルの推定で除外してもよい。
【００９５】
＜３−８．他の実施の形態＞
偏光撮像部２０と情報処理部３０は、個別に設ける場合に限らず、偏光撮像部２０と情報処理部３０を一体に構成して、偏光撮像部２０と情報処理部３０の一方に他方の構成を含めてもよい。
【００９６】
また、上述の実施の形態では、ノイズ量算出部に予めノイズ分散モデルの係数ｃ０，ｃ１が記憶されている場合、あるいはノイズ分散モデル推定部でノイズ分散モデルの係数ｃ０，ｃ１を算出する場合について説明したが、情報生成部３０は、偏光撮像部２０からノイズ分散モデルの係数ｃ０，ｃ１を取得してもよい。例えば、偏光撮像部２０と情報処理部３０が個別に設けられる場合、偏光撮像部２０の製造時にノイズ分散モデルの推定を行い、係数ｃ０，ｃ１を記憶する。また、偏光撮像部２０は、観測値を出力する際に、ノイズ分散モデルの係数ｃ０，ｃ１を付属情報として出力する。情報生成部３０は、観測値から法線モデルを推定する際に、観測値の付属情報として示されたノイズ分散モデルの係数ｃ０，ｃ１を用いてノイズ量を算出する。このような構成を用いれば、異なる偏光撮像部２０を切り替えて用いる場合でも、ノイズに対してロバストな法線モデルを容易に推定できるようになる。
【００９７】
また、第５の実施の形態では駆動モード毎および偏光方向毎にレベル補正部とノイズ量算出部を設けており、第６の実施の形態では駆動モード毎および偏光方向毎に飽和検出部とレベル補正部とノイズ量算出部を設けているが、例えば駆動モードを変えて撮像を複数回行って偏光画像が取得される場合、偏光方向毎のレベル補正部とノイズ量算出部および飽和検出部を１つの駆動モード分だけ設けて、順次駆動モード毎に処理を行い、偏光モデル推定部は各駆動モードの観測値やノイズ量を用いて法線モデルを推定してもよい。このような構成とすれば、情報生成部を簡易な構成とすることができる。
【００９８】
＜４．偏光モデルから得られる情報について＞
次に、偏光モデルから得られる情報について例示する。式（１）に示す偏光モデル式は、座標系を替えると式（１２）となる。式（１２）における偏光度ρは式（１３）、方位角φは式（１４）に基づいて算出される。なお、偏光度ρは偏光モデル式の振幅を示しており、方位角φは偏光モデル式の位相を示している。
【００９９】
【数４】
2019235019.tif 000006
【０１００】
偏光度と被写体の屈折率が明らかであれば天頂角θを算出できることが知られている（例えば国際公開第２０１６／０８８４８３号）。したがって、方位角φと天頂角θを示す法線情報を、偏光モデル式を用いて生成できる。また、パラメータＣは観測値の平均を示しており、偏光度ρは偏光モデル式の振幅を示している。したがって、平均値から最大振幅を減算することで拡散反射成分を算出できる。さらに、観測値から拡散反射成分を減算することで鏡面反射成分を算出できる。すなわち、本開示に係る技術を用いてノイズに対してロバストな偏光モデルを推定することで、ノイズに対してロバストな法線情報の生成や反射成分の算出を行えることから、例えば従来よりも高いＳ／Ｎ比の反射抑制画像を得ることや、従来よりも高精度に被写体の面方向を推定することができる。さらに、従来よりも高いＳ／Ｎ比である任意偏光方向画像（疑似PLフィルタ画像）を得ることができる。
【０１０１】
＜５．応用例＞
本開示に係る技術は、様々な分野へ適用することができる。例えば、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置に適用してもよい。また、工場における生産工程で用いられる機器や建設分野で用いられる機器に搭載される装置に適用してもよい。このような分野に適用すれば、推定した偏光モデルに基づき例えば法線情報を生成することで、周辺環境を３次元で精度よく把握できるようになり、運転者や作業者の疲労を軽減できる。また、自動運転等をより安全に行うことが可能となる。
【０１０２】
本開示に係る技術は、医療分野へ適用することもできる。例えば、推定した偏光モデルに基づき法線情報の生成や鏡面反射成分の除去等を行えば、術部の三次元形状や反射のない画像を精度よく得られるようになり、術者の疲労軽減や安全に且つより確実に手術を行うことが可能になる。また、本開示に係る技術は、パブリックサービス等の分野にも適用できる。例えば被写体の画像を書籍や雑誌等に掲載する際に、推定した偏光モデルに基づき不要な反射成分等を被写体の画像から精度よく除去することが可能となる。
【０１０３】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１０４】
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０１０５】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１０６】
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
【０１０７】
また、本技術の情報生成装置は以下のような構成も取ることができる。
（１）  複数偏光方向毎の観測値に基づいてノイズ量を算出するノイズ量算出部と、
前記観測値と前記ノイズ量算出部で算出されたノイズ量を用いて偏光モデルを推定する偏光モデル推定部と
を備える情報生成装置。
（２）  前記ノイズ量算出部は、観測値と分散の関係を示すノイズ分散モデルを用いて前記ノイズ量を算出する（１）に記載の情報生成装置。
（３）  前記ノイズ量算出部は、前記観測値に応じた分散を前記ノイズ量とする（２）に記載の情報生成装置。
（４）  前記ノイズ分散モデルはノイズ量算出部に予め記憶されている（２）乃至（３）のいずれかに記載の情報生成装置。
（５）  撮像画像から複数の観測領域を検出して、観測領域の複数の観測値と平均観測値から分散を求めて、複数の前記観測領域における平均観測値と分散からノイズ分散モデルを推定するノイズ分散モデル推定部をさらに備え、
前記ノイズ量算出部は、前記ノイズ分散モデル推定部で推定されたノイズ分散モデルを用いて前記ノイズ量を算出する（２）乃至（３）のいずれかに記載の情報生成装置。
（６）  前記ノイズ分散モデル推定部は、前記撮像画像における平坦領域を前記観測領域とする（５）に記載の情報生成装置。
（７）  前記ノイズ分散モデル推定部は、前記撮像画像における静止領域を前記観測領域とする（５）に記載の情報生成装置。
（８）  飽和状態である観測値を検出する飽和検出部をさらに備え、
前記偏光モデル推定部は、前記飽和状態である観測値を除いて前記偏光モデルを推定する（１）乃至（７）のいずれかに記載の情報生成装置。
（９）  前記ノイズ量算出部は、前記飽和検出部で飽和状態である観測値のノイズ量を所定値として、
前記偏光モデル推定部は、前記ノイズ量が所定値とされたことにより前記飽和状態である観測値を除いて前記偏光モデルを推定する（８）に記載の情報生成装置。
（１０）  複数の駆動モード毎に取得された前記複数偏光方向毎の観測値を揃えるレベル補正を行うレベル補正部をさらに備え、
前記ノイズ量算出部は、前記レベル補正部で補正された観測値と前記レベル補正で用いた補正ゲインと前記ノイズ分散モデルを用いてノイズ量を算出して、
前記偏光モデル推定部は、前記レベル補正部で補正された観測値と前記ノイズ量算出部で算出されたノイズ量を用いて偏光モデルを推定する（１）乃至（９）のいずれかに記載の情報生成装置。
（１１）  前記複数の駆動モードは、感度または露光時間が異なる駆動モードである（１０）に記載の情報生成装置。
（１２）  前記複数偏光方向毎の観測値は偏光方向が３以上である観測値である（１）乃至（１１）のいずれかに記載の情報生成装置。
（１３）  前記複数偏光方向毎の観測値を取得する偏光撮像部をさらに備える（１）乃至（１２）のいずれかにに記載の情報生成装置。
（１４）  前記偏光撮像部はノイズ分散モデルを記憶しており、
前記ノイズ量算出部は前記偏光撮像部に記憶されたノイズ分散モデルを用いて前記ノイズ量を算出する（１３）に記載の情報生成装置。
【産業上の利用可能性】
【０１０８】
この技術の情報生成装置と情報生成方法およびプログラムでは、複数偏光方向毎の観測値に基づいてノイズ量を算出して、観測値と算出したノイズ量を用いて偏光モデルが推定される。このため、ノイズに対してロバストな偏光モデルを算出できるようになる。したがって、偏光モデルに基づき算出された法線情報や反射成分等を用いる機器に適している。
【符号の説明】
【０１０９】
１０・・・情報生成システム
２０・・・偏光撮像部
３０・・・情報生成部
３１-1〜３１-m，３１-1,1〜３１-n,m・・・飽和検出部
３２-1,1〜３２-n,m・・・レベル補正部
３３・・・ノイズ分散モデル推定部
３５-1〜３５-m，３５-1,1〜３５-n,m・・・ノイズ量算出部
３６・・・偏光モデル推定部
２０１・・・イメージセンサ
２０２・・・偏光フィルタ
２０５・・・偏光板
【図１】
2019235019.tif 000007
【図２】
2019235019.tif 000008
【図３】
2019235019.tif 000009
【図４】
2019235019.tif 000010
【図５】
2019235019.tif 000011
【図６】
2019235019.tif 000012
【図７】
2019235019.tif 000013
【図８】
2019235019.tif 000014
【図９】
2019235019.tif 000015
【図１０】
2019235019.tif 000016
【図１１】
2019235019.tif 000017
【図１２】
2019235019.tif 000018
【図１３】
2019235019.tif 000019
【図１４】
2019235019.tif 000020
【図１５】
2019235019.tif 000021
【図１６】
2019235019.tif 000022
【図１７】
2019235019.tif 000023
【国際調査報告】
2019235019.tif 000024
2019235019.tif 000025
2019235019.tif 000026
2019235019.tif 000027