(57)【要約】【課題】偏光画像の撮影機構を容易に導入して精度のよい情報処理を行えるようにする。【解決手段】偏光画像処理装置１６０の偏光画像取得部１６２は、複数方向の偏光画像のデータを取得する。法線情報取得部１６４の演算部１６６は、偏光画像に基づき被写体表面の法線情報を取得する。補正部１６８は、演算部１６６が法線情報を取得するいずれかの段階で、偏光画像を撮影した装置の樹脂レンズに起因した偏光状態の面内分布成分を除外するように、パラメータに補正を施す。情報処理部１７２は法線情報を用いて情報処理を行う。データ出力部１７４は法線情報または情報処理の結果を出力する。【選択図】図１２
2018067896.tif 000002
【特許請求の範囲】
【請求項１】
偏光画像のデータを取得する偏光画像取得部と、
前記偏光画像を用いて被写体に係る情報を取得する被写体情報取得部と、
前記被写体に係る情報を出力するデータ出力部と、
を備え、
前記被写体情報取得部は、前記偏光画像の撮影に用いた樹脂レンズによって、被写体によらず発生する偏光状態の面内分布の成分が除外されるように、所定のパラメータを補正する補正部を含むことを特徴とする偏光画像処理装置。
【請求項２】
前記補正部は、前記樹脂レンズに対応づけてあらかじめ生成された、前記所定のパラメータへ作用させるべき補正値を画像平面に対応づけた２次元マップを参照し、画像平面上で得られた前記所定のパラメータを、対応する位置の補正値を作用させることにより補正することを特徴とする請求項１に記載の偏光画像処理装置。
【請求項３】
前記被写体情報取得部は、複数方向の前記偏光画像を用いて、被写体の法線情報を画素ごとに取得し、
前記補正部は、前記偏光画像から法線情報を取得するまでのいずれかの段階で算出されたパラメータを補正することを特徴とする請求項１または２に記載の偏光画像処理装置
【請求項４】
前記補正部は、前記偏光画像を撮影した装置の製造時に、法線分布が既知の被写体を撮影した偏光画像から取得した法線分布の誤差に基づき生成された前記２次元マップを、補正に用いることを特徴とする請求項２に記載の偏光画像処理装置。
【請求項５】
偏光画像を撮影し前記偏光画像取得部にそのデータを供給する撮像素子をさらに備えたことを特徴とする請求項１から４のいずれかに記載の偏光画像処理装置。
【請求項６】
前記撮像素子の撮像面に被写体の像を結像させる撮像光学系をさらに備え、
前記撮像光学系は、厚さの最大値と最小値の差を基準の厚さで規格化した値が所定のしきい値以下となる樹脂レンズを含むことを特徴とする請求項５に記載の偏光画像処理装置。
【請求項７】
前記被写体に係る情報を用いて情報処理を行う情報処理部をさらに備え、
前記データ出力部は、前記情報処理の結果を出力することを特徴とする請求項１から４のいずれかに記載の偏光画像処理装置。
【請求項８】
偏光画像のデータを取得するステップと、
前記偏光画像を用いて被写体に係る情報を取得するステップと、
前記被写体に係る情報を出力するステップと、
を含み、
前記被写体に係る情報を取得するステップは、前記偏光画像の撮影に用いた樹脂レンズによって、被写体によらず発生する偏光状態の面内分布の成分が除外されるように、所定のパラメータを補正するステップを含むことを特徴とする、偏光画像処理装置による偏光画像処理方法。
【請求項９】
偏光画像のデータを取得する機能と、
前記偏光画像を用いて被写体に係る情報を取得する機能と、
前記被写体に係る情報を出力する機能と、
をコンピュータに実現させ、
前記被写体に係る情報を取得する機能において、前記偏光画像の撮影に用いた樹脂レンズによって、被写体によらず発生する偏光状態の面内分布の成分が除外されるように、所定のパラメータを補正する機能をコンピュータに実現させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮影により被写空間の状態に係る情報を取得する偏光画像処理装置と、それに用いる偏光画像処理方法に関する。
【背景技術】
【０００２】
偏光フィルタをセンサ上に搭載することにより被写体の偏光情報を取得する偏光カメラが実用化されている。偏光カメラを用いることにより、被写体の面方位の情報を得て物体を識別したり透明な物の存在を検知したりできるため、製造ラインにおける検品装置や車載カメラなどに利用されている（例えば特許文献１、２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−８００６５号公報
【特許文献２】特開２０１４−５７２３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のように偏光カメラは、現状では導入される分野が限られている。一方で、偏光によって得られる実物体の情報は、電子ゲームなど、より汎用的な情報処理においても有用と考えられる。そのような汎用性を追求した場合、目的とする情報を精度よく取得しつつ使い勝手を良好にしていくことが望まれる。
【０００５】
本発明はこうした課題に鑑みてなされたものであり、その目的は、偏光画像の撮影機構を容易に導入して精度のよい情報処理を行うことのできる技術を提供することにある。
【課題を解決するための手段】
【０００６】
本発明のある態様は偏光画像処理装置に関する。この偏光画像処理装置は、偏光画像のデータを取得する偏光画像取得部と、偏光画像を用いて被写体に係る情報を取得する被写体情報取得部と、被写体に係る情報を出力するデータ出力部と、を備え、被写体情報取得部は、偏光画像の撮影に用いた樹脂レンズによって、被写体によらず発生する偏光状態の面内分布の成分が除外されるように、所定のパラメータを補正する補正部を含むことを特徴とする。
【０００７】
本発明の別の態様は偏光画像処理方法に関する。この偏光画像処理方法は、偏光画像のデータを取得するステップと、偏光画像を用いて被写体に係る情報を取得するステップと、被写体に係る情報を出力するステップと、を含み、被写体に係る情報を取得するステップは、偏光画像の撮影に用いた樹脂レンズによって、被写体によらず発生する偏光状態の面内分布の成分が除外されるように、所定のパラメータを補正するステップを含むことを特徴とする。
【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によると、偏光画像の撮影機構を容易に導入して精度のよい情報処理を行える。
【図面の簡単な説明】
【００１０】
【図１】本実施の形態における撮像装置の構成を概念的に示す図である。
【図２】本実施の形態の撮像装置が備える撮像素子の構造例を示す図である。
【図３】偏光画像から取得した法線分布を、レンズの素材で比較した例を示す図である。
【図４】偏光度画像を、レンズの素材で比較した例を示す図である。
【図５】本実施の形態における樹脂レンズの成形過程と成形後の状態を模式的に示す図である。
【図６】本実施の形態において２枚のレンズを、主軸を直交させるように組み付けた様子を例示する図である。
【図７】本実施の形態においてレンズを５枚としたときの組み付け例を示す図である。
【図８】本実施の形態において主軸が直交するような向きでレンズを組み付けることによる効果を示す図である。
【図９】本実施の形態において偏光画像から算出された法線の方位角および天頂角の誤差を示す図である。
【図１０】偏光状態が変化することによって発生する法線画像の面内分布を例示する図である。
【図１１】本実施の形態におけるレンズを透過する光の経路を模式的に示す図である。
【図１２】本実施の形態において偏光状態の面内分布を補正しつつ法線情報を取得する機能を有する偏光画像処理装置の機能ブロックの構成を示す図である。
【発明を実施するための形態】
【００１１】
図１は、本実施の形態における撮像装置の構成を概念的に示す図である。撮像装置１２は単体でデジタルカメラとして実現してもよいし、携帯端末やゲームのコントローラ等、撮影以外の機能を有する装置の一部としてもよい。例えばユーザが頭部に装着することにより眼前に画像を表示させるヘッドマウントディスプレイの一部としてもよい。この場合、撮像装置１２が、ユーザの視線に対応する視野で周囲の様子を撮影することにより、撮影画像をそのまま表示させたり、視野や実物体の位置に基づく画像を描画してＶＲ（仮想現実）やＡＲ（拡張現実）を実現したりできる。
【００１２】
撮像装置１２は、レンズ１０ａ〜１０ｅからなるレンズユニットを含む結像光学系１８、撮像素子アレイ２０、および画像処理部２２を含む。結像光学系１８は被写体の像を撮像素子アレイ２０の撮像面に結像させる。なお同図は、光軸ａに対し垂直方向からレンズ１０ａ〜１０ｅの側面を見た様子を示している。図示するように、凹面や凸面を有する様々な形状の複数のレンズ１０ａ〜１０ｅを組み合わせることにより、撮像素子アレイ２０の撮像面への主光線の入射角度を光軸ａに平行にできるとともに、撮影画像の画質を向上させたりモジュールを低背化させたりすることができる。
【００１３】
このようなレンズの構成は、一般的な携帯端末などでも実用化されている。同図では５枚のレンズ１０ａ〜１０ｅを示しているが、レンズの枚数はそれに限らず、個々の形状も特に限定されない。なおレンズユニットは実際には、図示しない鏡筒に固定して組み付けられてなり、撮像装置１２の筐体に装着されることにより結像光学系１８として機能する。撮像素子アレイ２０は撮像素子の２次元配列を含み、検出した光の強さを電荷に変換して画像処理部２２に出力する。本実施の形態における撮像素子は少なくとも、複数方向の偏光成分の輝度を検出する構造を有する。
【００１４】
画像処理部２２は、撮像素子アレイ２０により検出された光の輝度の２次元分布を用いて画像処理を行い、偏光の方向ごとに偏光画像を生成したり、それを解析して被写体表面の法線に係る情報を生成したりする。画像処理部２２はさらに、複数方向の偏光画像を平均化して自然光（非偏光）の輝度画像やカラー画像を生成してもよい。画像処理部２２は、そのようにして生成した撮影画像のデータを記憶するためのメモリも備える。
【００１５】
なお撮像装置１２にはさらに、ユーザによる操作手段と、操作内容に応じて撮影動作や撮影条件の調整動作などを実行する機構が設けられていてよい。また撮像装置１２は、ゲーム機やパーソナルコンピュータなど外部の装置と、有線または無線により通信を確立し、生成したデータを送信したりデータ送信要求などの制御信号を受信したりする機構を有していてよい。ただしこれらの機構は一般的な撮像装置と同様でよいため説明は省略する。
【００１６】
図２は撮像装置１２が備える撮像素子の構造例を示している。なお同図は素子断面の機能的な構造を模式的に示しており、層間絶縁膜や配線などの詳細な構造は省略している。撮像素子１１０はマイクロレンズ層１１２、偏光子層１１４、カラーフィルタ層１１６、および光検出層１１８を含む。偏光子層１１４は、複数の線状の導体部材を入射光の波長より小さい間隔でストライプ状に配列させた偏光子を含む。マイクロレンズ層１１２により集光された光が偏光子層１１４に入射すると、偏光子のラインと平行な方向の偏光成分は反射され、垂直な偏光成分のみが透過する。
【００１７】
透過した偏光成分を光検出層１１８で検出することにより偏光輝度が取得される。光検出層１１８は一般的なＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子構造を有する。偏光子層１１４は、光検出層１１８における電荷の読み取り単位、すなわち画素単位、あるいはそれより大きな単位で主軸角度が異なるような偏光子の配列を含む。同図右側には、偏光子層１１４を上面から見たときの偏光子配列１２０を例示している。
【００１８】
同図において網掛けされたラインが偏光子を構成する導体（ワイヤ）である。なお点線の矩形はそれぞれ一主軸角度の偏光子の領域を表しており、点線自体は実際に形成されるものではない。図示する例では、４通りの主軸角度の偏光子が２行２列の４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに配置されている。図中、対角線上にある偏光子はその主軸角度が直交しており、隣り合う偏光子は４５°の差を有する。すなわち４５°おきの４つの主軸角度の偏光子を設けている。
【００１９】
各偏光子はワイヤの方向に直交する方向の偏光成分を透過する。これにより、下に設けた光検出層１１８においては、４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに対応する各領域で、４５°おきの４方向の偏光成分の輝度を得ることができる。このような４つの主軸角度の偏光子配列をさらに縦方向、横方向に所定数、配列させ、電荷読み出しのタイミングを制御する周辺回路を接続することにより、４種類の偏光輝度を２次元分布として取得するイメージセンサを実現できる。
【００２０】
同図に示す撮像素子１１０では、偏光子層１１４と光検出層１１８の間にカラーフィルタ層１１６を設けている。カラーフィルタ層１１６は、赤、緑、青の光をそれぞれ透過するフィルタの配列を含む。これにより、上下に位置する偏光子層１１４における偏光子の主軸角度とカラーフィルタ層１１６におけるフィルタの色の組み合わせに応じて、偏光輝度が色別に得られる。
【００２１】
すなわち同一色かつ同一方向の偏光の輝度が画像平面上で離散的に得られる。画像処理部２２がそれらを適宜補間することにより、方向と色の組み合わせごとに偏光画像が得られる。また、同一色の４方向の偏光輝度を用いて偏光特性を取得し法線情報を生成したり、当該４方向の偏光輝度の平均値をその位置における色の輝度とした非偏光のカラー画像を生成したりできる。
【００２２】
図示するようなワイヤグリッド型偏光子を用いた画像取得技術については、例えば特開２０１２−８００６５号公報などに、カラー偏光画像を取得する技術については例えば国際公開ＪＰ２００８−００１１３６号などに、それぞれ開示されている。ただし本実施の形態における撮像装置１２の素子構造は図示するものに限らない。例えば偏光子はワイヤグリッド型に限らず、線二色性偏光子など実用化されているもののいずれでもよい。
【００２３】
次に、図２で示した素子構造により取得した複数方向の偏光輝度を用いて被写体の法線情報を生成する手法について説明する。当該手法については、例えば、Gary Atkinson and Edwin R. Hancock, "Recovery of Surface Orientation from Diffuse Polarization", IEEE Transactions on Image Processing, June 2006, 15(6), pp.1653-1664、特開２００９−５８５３３号公報などに開示されている。以下、概要を説明する。まず偏光子を介して観察される光の輝度は、偏光子の主軸角度θｐｏｌに対し次の式のように変化する。
【００２４】
【数１】
2018067896.tif 000003
【００２５】
ここでＩｍａｘ、Ｉｍｉｎはそれぞれ、輝度の最大値、最小値であり、φは偏光位相である。上述のとおり４通りの主軸角度θｐｏｌに対し偏光画像を取得した場合、同じ位置にある画素の輝度Ｉは、各主軸角度θｐｏｌに対し式１を満たすことになる。したがって、それらの座標（Ｉ，θｐｏｌ）を通る曲線を、最小二乗法等を用いて余弦関数に近似することにより、Ｉｍａｘ、Ｉｍｉｎ、φを求めることができる。そのように求めたＩｍａｘ、Ｉｍｉｎを用いて、次の式により偏光度ρが求められる。
【００２６】
【数２】
2018067896.tif 000004
【００２７】
対象物表面の法線は、光の入射面（拡散反射の場合は出射面）の角度を表す方位角αと、当該面上での角度を表す天頂角θで表現できる。また二色性反射モデルによれば、反射光のスペクトルは、鏡面反射と拡散反射のスペクトルの線形和で表される。ここで鏡面反射は物体の表面で正反射する光であり、拡散反射は物体を構成する色素粒子により散乱された光である。上述の方位角αは、鏡面反射の場合は式１において最小輝度Ｉｍｉｎを与える主軸角度であり、拡散反射の場合は式１において最大輝度Ｉｍａｘを与える主軸角度である。
【００２８】
天頂角θは、鏡面反射の場合の偏光度ρｓ、拡散反射の場合の偏光度ρｄと、それぞれ次のような関係にある。
【００２９】
【数３】
2018067896.tif 000005
【００３０】
ここでｎは対象物の屈折率である。式２で得られる偏光度ρを式３のρｓ、ρｄのどちらかに代入することにより天頂角θが得られる。こうして得られた方位角α、天頂角θにより、法線ベクトル（ｐｘ，ｐｙ，ｐｚ）は次のように得られる。
【００３１】
【数４】
2018067896.tif 000006
【００３２】
このように偏光画像の各画素が表す輝度Ｉと偏光子の主軸角度θｐｏｌとの関係から、当該画素に写る対象物の法線ベクトルが求められ、像全体として法線ベクトル分布を得ることができる。例えばゲームのコントローラなど対象物を限定できる態様においては、その色や材質に基づき鏡面反射と拡散反射のうち適切なモデルを採用することにより、より高い精度で法線を求めることができる。一方、鏡面反射と拡散反射を分離する手法が様々に提案されているため、そのような技術を適用してより厳密に法線を求めてもよい。
【００３３】
これまで述べた態様において、撮像装置１２の結像光学系１８に用いるレンズ１０ａ〜１０ｅを樹脂レンズとすることを考える。樹脂レンズはガラスレンズと比較し、大量生産が容易であり、装置の軽量化、低コスト化も実現できる。そのため撮像装置１２の使い勝手が改善され利用範囲の拡大も期待できる。その一方、樹脂レンズを用いた場合、内部で生じる複屈折が解析結果に看過できない影響を与え得る。
【００３４】
図３は、偏光画像から取得した法線分布を、レンズの素材で比較した例を示している。なお同図に示す画像は、式４で表される法線ベクトルの各要素を、ＲＧＢの画素値として表した法線画像をグレースケールで示したものである。以後に示す法線画像も同様である。同じ条件で撮影しても、（ａ）に示すガラスレンズの場合に比べ、（ｂ）に示す樹脂レンズの場合、法線画像に多くのノイズ成分が含まれ、被写体である球体と背景の差がより小さくなっている。（ｂ）のようなノイズの多さは、ガラスレンズを用いた場合では、照度を１／１０程度とした撮影条件での結果に匹敵する。
【００３５】
図４は、図３で示した法線画像を取得する際に中間パラメータとして得られた偏光度ρを、輝度の値として画像平面上に表した偏光度画像を示している。（ａ）に示すガラスレンズの場合、球体の輪郭と背景とで偏光度ρが明確に変化しているのに対し、（ｂ）に示す樹脂レンズの場合、球体の輪郭が不鮮明である。このような偏光度ρを用いて法線を算出した結果、図３で示したような法線画像の不鮮明さを生じさせていると考えられる。
【００３６】
このように偏光画像の撮影に樹脂レンズを導入した場合、照度など撮影条件の変化に対する情報処理精度の頑健性が、ガラスレンズの場合と比較して低くなる可能性がある。その一因として、上述のとおり樹脂レンズ内部で発生する複屈折が考えられる。複屈折は、物質を透過する光の振動方向によって屈折率が異なる現象を言う。レンズで複屈折が発生すると、撮像素子アレイ２０に入射する光の偏光状態は、被写体における反射光が有する本来の偏光状態と異なってしまう。その結果、被写体の形状が正しく認識されず、その後の情報処理にも悪影響を与えることが考えられる。
【００３７】
そこで本実施の形態では、容易に導入できる手法により、樹脂レンズを用いて偏光画像を撮影しても、結果への影響が少なくなるようにする。具体的には、光軸、すなわちレンズの中心軸に垂直な平面におけるレンズの向きを最適化して撮像装置１２に組み付ける。また、偏光画像から法線の情報を算出するまでのいずれかの段階で、レンズ起因で発生する偏光状態の面内分布の成分が除外されるように、取得したパラメータを補正する。これら２つの手法は、組み合わせてもよいし、どちらか一方を独立に導入してもよい。
【００３８】
図５は樹脂レンズの成形過程と成形後の状態を模式的に示している。樹脂レンズは一般に、金型を用いた射出成形によって生産される。（ａ）は金型を側面から見た状態を表している。レンズの成形過程において溶融樹脂材料は、射出成形機のノズルから白抜き矢印で示すように射出され、金型のランナー１３０およびゲート１３２を経て、レンズの設計形状に則った空洞を有するキャビティ１３４内に充填される。樹脂材料が冷却硬化したら、ゲート１３２に対応する矢印Ｃの部分で切断し、適宜アニール処理などが施されることによりレンズの成形品が出来上がる。
【００３９】
（ｂ）はそのように成形された樹脂レンズを上方から見た形状を示している。樹脂レンズはレンズ部１３８とゲート部１３６を含む。レンズ部１３８は入射光を撮像面に合焦させるいわゆるレンズであり、図１に示した各レンズ１０ａ〜１０ｅのように、厚み方向に、設計に応じた様々な形状を有する。ゲート部１３６は、（ａ）に示した金型のゲート１３２で成型され、切断されて残った部分である。樹脂レンズの複屈折は、このような成形過程において、キャビティ１３４に射出される際の樹脂材料の流動、硬化時の温度分布、切断時の応力などに起因して、樹脂材料が光学異方性を持つことにより発生する。
【００４０】
これらの原因を踏まえると、樹脂レンズは、金型におけるゲート１３２、ひいてはゲート部１３６に対し一定した方向に、光学異方性の主軸を有していると考えられる。例えば（ｂ）のレンズ部１３８において矢印Ａで示したように、樹脂材料の射出方向であるゲート部１３６を通る径方向に樹脂材料の分子が配向し、屈折率に異方性が生じることが考えられる。このような物質に入射した光の電場が分子の長軸に平行なときの屈折率をｎｅ、垂直なときの屈折率をｎｏとすると、その差により発生する光の位相差Γは次のように表される。
【００４１】
【数５】
2018067896.tif 000007
【００４２】
ここでλは入射光の波長、ｄはレンズの厚さである。本実施の形態では、主軸が直交するような向きで、レンズ鏡筒内に固定するように複数のレンズを組み付けることにより、１つのレンズで発生した位相差Γが別のレンズで相殺されるようにする。位相差Γの相殺は次のような計算によって裏付けられる。すなわち入射光の偏光方向と樹脂レンズの主軸がなす角度をθとすると、樹脂レンズによって偏光状態に作用するジョーンズ行列Ｊは次のように与えられる。
【００４３】
【数６】
2018067896.tif 000008
【００４４】
ジョーンズ行列Ｊ１とＪ２を特性として有する２つのレンズを重ねて配置した際、入射光の偏光状態に作用するジョーンズ行列Ｊｍは、
Ｊｍ＝Ｊ１・Ｊ２
となる。ここで主軸を直交させると、入射光の偏光方向と各レンズの主軸がなす角度をθ１、θ２として、θ２＝θ１＋π／２となるため、ジョーンズ行列Ｊｍは次のようになる。
【００４５】
【数７】
2018067896.tif 000009
【００４６】
２つのレンズで生じる位相差Γ１とΓ２の差を（２ｍ＋１）π（ｍは整数）となるようにすれば、式７は単位行列となり、入射光と同じ偏光状態の出射光が得られることになる。上述のとおり、レンズにおけるゲート部１３６の位置と樹脂材料の主軸の方向は、レンズによらず同様の関係を有すると考えられる。これを利用すれば、ゲート部１３６を目印として、複数のレンズを主軸が直交するように組み付けることが容易にできる。
【００４７】
図６は、２枚のレンズを、主軸を直交させるように組み付けた様子を例示する図である。（ａ）の斜視図において、光は図の上側から入射して下側へ出射するとしている。このとき上側のレンズのゲート部１３６ａを通る径Ａａと、下側のレンズのゲート部１３６ｂを通る径Ａｂとが直交するように、ゲート部１３６ａ、１３６ｂの向きを調整して組み付ける。すなわち（ｂ）に示すように、光軸と平行な方向から俯瞰したとき、レンズの中心とゲート部１３６ａ、１３６ｂを結ぶ直線のなす角度が９０度となるようにする。
【００４８】
図示する例は、主軸を直交させるためにゲート部１３６ａ、１３６ｂを目印としたが、成形時の流動方向を特定できれば、目印とする対象はゲート部に限らない。例えばレンズの周辺部位を意図的に非対称な形状としたりマークを付けたりして目印としてよい。また、樹脂材料の流動方向以外に主軸の方向を決定づける因子があれば、それに応じて適宜、目印を設け、当該主軸を直交させるようにレンズを組み付ければ同様の効果が得られる。主軸の方向を厳密に測定する場合も同様である。
【００４９】
なお上述のように樹脂材料の流動による分子の配向を考慮すると、径Ａａ、Ａｂはレンズの光学異方性の主軸と一致する可能性が高い。そのため図示するように複数のレンズで位相差を相殺させるのに代えて、一軸性材料のレンズカバーやフィルタを導入し、その主軸がレンズの主軸と直交するように取り付けてもよい。あるいは次に述べるリタデーションを考慮し、複数のレンズに、レンズカバーあるいはフィルタを組み合わせてもよい。
【００５０】
図６では２枚のレンズを重ねた例を示したが、図１で示した５枚のレンズなど、３枚以上のレンズを重ね合わせる場合、それらを透過した光の偏光状態を、元の入射光の偏光状態と等しくする必要がある。このため、次に定義されるようなリタデーション値Ｒに基づきレンズの向きを決定する。
【００５１】
【数８】
2018067896.tif 000010
【００５２】
リタデーション値Ｒは、式５で表される位相差Γの大きさを決定づけるパラメータであり、一般的な装置により計測が可能である。そこでレンズの組み付け時にリタデーション値を計測し、その結果に基づき各レンズの向きを決定する。具体的には、リタデーションの合計値が同程度、例えば合計値の差が所定のしきい値以下となるようにレンズを２つのグループに分け、同じグループに属するレンズはゲート部が同じ位置になるようにする。
【００５３】
さらに図６に示すように、２つのグループのレンズの中心からゲート部へ向かう直線のなす角度が９０度となるようにすれば、入射光の位相差Γが最終的に相殺され、２枚のレンズを組み合わせた場合と同等の効果が得られる。なおここでいう「グループ」は１枚のレンズのみで構成されていてもよい。
【００５４】
図７は、レンズを５枚としたときの組み付け例を示す図である。この例では、上から順にＬ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５のレンズのリタデーションがそれぞれ、３、５、２、７、９であることを表している。ここで、白抜きで示したレンズＬ１、Ｌ３、Ｌ４と、網掛けで示したレンズＬ２、Ｌ５とで、それぞれグループを構成すると、リタデーションの合計値は前者のグループが１２、後者のグループが１４と、およそ等しくなる。したがって図示するように、前者のグループでゲート部１３６ｃ、１３６ｅ、１３６ｆの位置を一致させ、後者のグループでゲート部１３６ｄ、１３６ｇの位置を一致させる。
【００５５】
そしてゲート部を通る径のなす角度が２つのグループで直交するような向きでレンズを組み付ければ、各レンズで発生した位相差Γが相殺され、Ｌ５から出射する光の偏光状態を、Ｌ１から入射した光と同等に戻すことができる。図８は、主軸が直交するような向きでレンズを組み付けることによる効果を示している。詳細には本実施の形態と同様の状態として、図５で示したように、ゲート部１３６に対する矢印Ａの方向をレンズの主軸と仮定し、それと直交するような主軸の向きで一軸性のフィルムを重ね、偏光画像を撮影した（適用後）。
【００５６】
そして当該偏光画像から得られる法線画像を、フィルムのない状態での結果（適用前）と比較した。なお撮影条件として、１ルクスから９０ルクスまで照度を変化させた。図示するように本実施の形態を適用することにより、全体的にノイズの影響が小さくなり、球体の輪郭が鮮明になることがわかる。
【００５７】
図９は図８と同じ状況において、偏光画像から算出された法線の方位角および天頂角の誤差を示している。図示するように本実施の形態を適用することにより、特に方位角において、照度によらず誤差を顕著に抑制することができる。この結果から、樹脂レンズを用いた場合であっても、レンズの向きを相対的に調整するという容易な手法で、偏光画像を用いた情報の取得精度を格段に向上させられることがわかる。
【００５８】
これまで述べた態様は、画像全体でのノイズを減らし法線の取得精度を改善させる手法であった。次に、レンズに起因する偏光状態の面内分布を、法線情報の取得に至る過程で是正し、法線情報をより精度よく取得する手法について説明する。図１０は偏光状態が変化することによって発生する法線画像の面内分布を例示している。（ａ）、（ｂ）、（ｃ）に示す画像はいずれも、実際に撮影した偏光画像から取得した法線画像であるが、それぞれ右側の疑似的な画像平面に丸印で示すように、レンズ中心の位置を異ならせている。
【００５９】
各法線画像を見ると、レンズ中心を原点とし横軸および縦軸を境界とする４象限で、法線分布の傾向が異なっていることが、輝度の明暗で表れている。法線画像の右側には当該４象限の境界も示している。図示するように、レンズの中心を変化させると４象限の境界もそれに応じて変化することから、この現象は被写体によらないレンズ起因であることがわかる。また図示は省略するが、レンズを回転させても４象限の境界に変化はなかった。このことから、レンズ中心に対する同心円のパラメータが関係していることがわかる。
【００６０】
図１１は、図１に示したレンズ１０ｅを透過する光の経路を模式的に示している。同図（ａ）に示すように、レンズ内を通る光の経路長がレンズの中心（経路長１５０）と周辺（例えば経路長１５２）で異なることが、法線分布の傾向の差をもたらす一因と考えられる。すなわち光の経路長に相当するパラメータｄが同心円状に変化することにより、式５で表される位相差Γに面内分布が生じ、偏光状態、ひいては法線の特性を画像平面で異ならせていると考えられる。
【００６１】
このような現象を改善するため、光の経路長の差の影響が少なくなるようにレンズの形状を最適化することが考えられる。例えば同図（ｂ）に示すように、レンズの光軸方向の厚さを全体的に増加させる。するとレンズの厚さから見て表面の凹凸が相対的に小さくなり、その影響を抑えることができる。具体的には、レンズの厚さの最大値と最小値をそれぞれＤｍａｘ、Ｄｍｉｎとしたとき、それらの差を、最大値に対する割合として規格化した値、
ΔＤｒ＝（Ｄｍａｘ−Ｄｍｉｎ）／Ｄｍａｘ
が所定のしきい値以下となるようにする。
【００６２】
ここでしきい値は、図１０で示したような法線の面内分布が、許容できる程度に抑制され、かつレンズユニットのサイズが許容範囲に収まるような最適値を決定しておく。なお上式の分母はレンズの厚さを示す基準値であればよく、厚さの最小値Ｄｍｉｎなどでもよい。このようにすると、レンズを透過する光の経路長の差の、レンズの厚さに対する割合（例えば（Ｒｓ−Ｄｍｉｎ）／Ｄｍａｘ）が小さくなり、レンズ両面の凹凸に起因した位相差の面内分布の影響を抑えることができる。
【００６３】
レンズを厚くすると、複数のレンズ構成としたときのレンズ同士の間隔が広がるが、これにより、同じ結像状態を得るためのレンズ表面の曲率を小さくできる。結果的に凹凸自体を緩やかにでき、位相差の面内分布の抑制にさらに寄与することになる。またレンズ全体を厚くすることにより、射出成形過程に起因する光学異方性の発生を抑制する効果も得られる。すなわち金型の凹凸形状によって流動中の樹脂材料へ加えられる応力を抑えられ、レンズ全体で分子の状態が均一化される結果、局所的な複屈折の発生を抑えられる。
【００６４】
このようなレンズ形状上のアプローチのほか、本実施の形態では上述のとおり、法線画像を取得するまでのいずれかの段階で、レンズ起因の面内分布を解消するように補正処理を施すことを考える。この補正処理は、レンズ形状の最適化とは独立に導入可能であり、それぞれに法線情報取得の処理精度を向上させる効果がある。当然、双方を組み合わせることにより、より高い精度で法線情報を得られることになる。
【００６５】
図１２は、偏光状態の面内分布を補正しつつ法線情報を取得する機能を有する偏光画像処理装置の機能ブロックの構成を示す。同図に示す各機能ブロックは、ハードウェア的には、撮像素子、各種演算回路、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit)、マイクロプロセッサ、各種メモリなどの構成で実現でき、ソフトウェア的には、メモリ、記憶装置、記録媒体から読み出されたプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００６６】
偏光画像処理装置１６０は、図１で示した撮像装置１２における画像処理部２２の一部としてもよいし、偏光画像のデータを取得し、それから得られる被写体の法線情報を利用してゲームなどの情報処理を行う情報処理装置として実現してもよい。偏光画像処理装置１６０は、偏光画像のデータを取得する偏光画像取得部１６２、偏光画像から法線情報を取得する法線情報取得部１６４、法線情報に基づき情報処理を行う情報処理部１７２、および出力すべきデータを外部の装置へ出力するデータ出力部１７４を含む。
【００６７】
偏光画像取得部１６２は複数方向の偏光画像のデータを取得する。偏光画像処理装置１６０を撮像装置１２の一部とする場合、偏光画像取得部１６２は、図１で示した結像光学系１８、撮像素子アレイ２０、および、撮像素子アレイ２０から出力される輝度データを適宜補間して方向ごとの偏光画像のデータを生成する機構を含む。偏光画像処理装置１６０をゲーム機などの情報処理装置とする場合、偏光画像取得部１６２は撮像装置１２と通信を確立して偏光画像のデータを取得する。法線情報取得部１６４は、複数方向の偏光画像の対応する画素の輝度変化に基づき、上述のような原理で画素ごとに法線を求める。
【００６８】
詳細には法線情報取得部１６４は、偏光画像から被写体の法線に係る情報を取得する演算部１６６、および、法線情報の取得過程で算出されるパラメータのいずれかに対し、レンズ起因の面内分布を是正する補正を施す補正部１６８を含む。演算部１６６は式１〜４に従い、法線画像など被写体表面の法線に係る情報を取得する。実際には式１を次式のように表し、その係数ａ、ｂ、ｃを算出することで、演算処理を効率化してもよい。
【００６９】
【数９】
2018067896.tif 000011
【００７０】
主軸角度θｐｏｌがそれぞれ０°、４５°、９０°、１３５°のときの輝度をＩ０、Ｉ４５、Ｉ９０、Ｉ１３５とすると、式９の係数ａ、ｂ、ｃは次のように求めることができる。
【００７１】
【数１０】
2018067896.tif 000012
【００７２】
式１０の係数ａ、ｂ、ｃを用いて、偏光度ρおよび偏光位相φは次のように求められる。
【００７３】
【数１１】
2018067896.tif 000013
【００７４】
偏光度ρや偏光位相φに基づき、式３や式４を用いて法線の方位角および天頂角や、法線ベクトルなどの法線情報を、画素ごとに求めることができる。求めた値を適宜、画像平面上にマッピングすることにより法線画像のデータを取得できる。
【００７５】
補正部１６８は、演算部１６６が算出するパラメータのいずれかについて、レンズに起因する面内分布が小さくなるように補正を施す。そのため補正部１６８は、内部のメモリなどに補正用データ１７０を保持する。補正用データ１７０は例えば、補正対象のパラメータに作用させる補正値を画素ごと、または領域ごとに決定し、画像平面上に２次元マップとして表したデータなどである。ここで補正値は、補正対象のパラメータによってスカラー、ベクトル、行列のいずれでもよい。
【００７６】
式１０、１１を用いて法線情報を求める場合、係数ａ、ｂ、ｃや偏光度ρなどの中間パラメータを補正対象としてもよい。または最終結果として得られた法線の方位角や天頂角、あるいは法線ベクトルに補正を施してもよい。すなわちレンズに起因した面内分布が小さくなるような補正であれば、補正対象のパラメータや補正の具体的な計算手法は限定されない。例えば図１０で例示したようなレンズ中心を原点とする４象限のそれぞれで、法線の角度に均一な誤差が観測される場合、各象限に対し、当該角度の誤差を設定する。
【００７７】
そして補正部１６８は、演算部１６６が算出した法線の方位角や天頂角に、設定された角度誤差を加算することで補正する。あるいは法線ベクトルに対し、設定された値だけ回転をかけるように行列演算を施す。そのような設定値は、例えば撮像装置の製造時などに、平板など法線分布が一様な対象物を視野全体にわたるように設置して偏光画像を撮影し、それから得られる法線画像と本来の法線分布を比較することにより決定できる。
【００７８】
この設定手法によれば、光の経路長以外のレンズ固有の特性、例えば樹脂材料の凝固順や硬化時の温度分布などに起因する面内分布も是正できる。あるいは光路長などに基づき位相差の面内分布を特定し、理論上で補正値を決定してもよい。
【００７９】
このようにして決定した補正用データ１７０は、基本的にはレンズ特有のものであるため、撮像装置１２の出荷時にメモリに記憶させておき、運用時の補正に利用する。偏光画像処理装置１６０をゲーム機などの情報処理装置とする場合は、処理開始時などに撮像装置１２から補正用データ１７０を読み出す。補正部１６８は、補正対象のパラメータが算出される都度、演算部１６６から算出結果を取得して補正を施し、必要に応じて演算部１６６へ戻すことでその後の処理を続行させる。
【００８０】
法線情報取得部１６４が取得した法線の情報は、情報処理部１７２またはデータ出力部１７４に供給する。偏光画像処理装置１６０を撮像装置１２の一部とする場合、データ出力部１７４はゲーム機など情報処理装置と通信を確立し、法線の情報を送信する。偏光画像処理装置１６０をゲーム機などの情報処理装置とする場合、情報処理部１７２は法線の情報を用いてゲームなどの情報処理を実施し、その結果として出力すべき画像や音声のデータをデータ出力部１７４に供給する。この場合、データ出力部１７４は、表示装置などと通信を確立し、出力すべきデータを送信する。
【００８１】
以上述べた本実施の形態によれば、偏光画像を撮影する撮像装置に樹脂レンズを導入することにより、装置の軽量化、低背化を実現し、ゲーム機や携帯端末などへの導入障壁を低くすることで汎用性を高める。このときレンズの成形過程を踏まえて、光軸周りの向きを最適化してレンズを組み付ける。具体的にはゲート部など、成形過程において樹脂材料の流動方向に対する位置が固定化している部位を目印として、当該流動などに起因する光学異方性の主軸が直交するように複数のレンズを組み付ける。
【００８２】
３枚以上のレンズを用いる場合は、リタデーション値の合計がおよそ同等となるようにレンズを２グループに分け、グループごとに方向を一致させるとともに、グループ相互で主軸が直交するような向きでレンズを組み付ける。このようにすることで、レンズ内で発生する複屈折による位相差を相殺し、撮像装置への入射光と同等の偏光状態の光を撮像素子に入射させることができる。結果として法線情報、ひいてはそれを用いた情報処理の精度を良好に保ちつつ、樹脂レンズ導入による上述したような効果を得ることができる。
【００８３】
また一軸性材料のフィルタやレンズカバーを導入し、レンズのゲート部を拠り所として主軸が直交するように組み付けることによっても同じ効果が得られるため、レンズの枚数やリタデーション値による制限を受けずに容易な導入が可能である。さらに、レンズ表面の凹凸に起因して偏光状態に面内分布が発生することに着目し、レンズの形状を最適化する。具体的には凹凸の影響が小さくなる程度にレンズの厚みを増やす。これにより透過光の経路長差による面内位相差を小さくできるとともに、表面の曲率を小さくしたり射出成形時の応力による樹脂材料の不均一性を小さくしたりでき、相乗効果的に面内分布を抑えることができる。
【００８４】
さらに偏光状態の面内分布を、偏光画像から法線情報を取得するいずれかの段階で補正する。撮像装置の製造時に補正に用いるデータを２次元マップなどの形式で作成しておくことにより、運用時において容易な補正が可能となり、レンズの設計や樹脂の成形具合などに依存した処理精度への影響を少なくできる。
【００８５】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００８６】
１０ａ  レンズ、  １２  撮像装置、  １８  結像光学系、  ２０  撮像素子アレイ、  ２２  画像処理部、  １１０  撮像素子、  １１４  偏光子層、  １１６  カラーフィルタ層、  １１８  光検出層、  １３６  ゲート部、  １３８  レンズ部、  １６０  偏光画像処理装置、  １６２  偏光画像取得部、  １６４  法線情報取得部、  １６６  演算部、  １６８  補正部、  １７０  補正用データ、  １７２  情報処理部、  １７４  データ出力部。
【図１】
2018067896.tif 000014
【図２】
2018067896.tif 000015
【図３】
2018067896.tif 000016
【図４】
2018067896.tif 000017
【図５】
2018067896.tif 000018
【図６】
2018067896.tif 000019
【図７】
2018067896.tif 000020
【図８】
2018067896.tif 000021
【図９】
2018067896.tif 000022
【図１０】
2018067896.tif 000023
【図１１】
2018067896.tif 000024
【図１２】
2018067896.tif 000025