(57)【特許請求の範囲】
【請求項１】
被写体を撮像することで取得された撮像画像を用いて前記被写体の表面における法線情報を生成する法線情報生成装置であって、
前記撮像画像として、前記被写体に対する光源位置が互いに異なる複数の第１の画像と偏光状態が互いに異なる３以上の第２の画像とを取得する画像取得手段と、
前記複数の第１の画像から取得した前記光源位置に応じて変化する輝度情報と前記第２の画像から取得した偏光情報のうち少なくとも一方に応じて、前記被写体の表面の領域分割を行う分割手段と、
前記領域分割により分割された分割領域ごとに、前記光源位置に応じた前記輝度情報の変化に関する情報と前記偏光情報のうち前記法線情報の生成に用いる情報を選択して該生成を行う生成手段とを有することを特徴とする法線情報生成装置。
【請求項２】
前記生成手段は、前記光源位置に応じた輝度情報の変化に関する情報を用いて前記法線情報を生成する場合に、反射特性モデルを用いて該生成を行い、
該法線情報生成装置は、前記輝度情報と前記反射特性モデルとのずれ量を取得するずれ取得手段を有し、
前記領域分割部は、前記ずれ量に基づいて前記領域分割を行うことを特徴とする請求項１に記載の法線情報生成装置。
【請求項３】
前記ずれ取得手段は、前記ずれ量を、前記輝度情報と、前記反射特性モデルを用いて算出される輝度値との比較結果を用いて取得することを特徴とする請求項２に記載の法線情報生成装置。
【請求項４】
前記ずれ取得手段は、前記ずれ量を、前記輝度情報と、前記反射特性モデルに当てはめたモデルのパラメタを用いて取得することを特徴とする請求項２に記載の法線情報生成装置。
【請求項５】
前記ずれ取得手段は、前記ずれ量を、前記輝度情報から求めた前記表面に対する複数の法線の候補のばらつきを用いて算出することを特徴とする請求項２に記載の法線情報生成装置。
【請求項６】
前記反射特性モデルは、ランバートモデルであることを特徴とする請求項２から５のいずれか一項に記載の法線情報生成装置。
【請求項７】
前記生成手段は、前記ずれ量が第１のずれ量より小さい少なくとも１つの前記分割領域に対して、前記反射特性モデルを用いた前記法線情報の生成を行うことを特徴とする請求項２から６のいずれか一項に記載の法線情報生成装置。
【請求項８】
前記生成手段は、前記ずれ量が第２のずれ量より大きい少なくとも１つの前記分割領域に対して、前記偏光情報を用いた前記法線情報の生成を行うことを特徴とする請求項２から７のいずれか一項に記載の法線情報生成装置。
【請求項９】
前記偏光情報を用いて前記法線情報を生成する際に、前記偏光情報を用いた前記法線情報の生成の信頼度を取得する信頼度取得手段を有し、
前記分割手段は、前記信頼度に基づいて前記領域分割を行うことを特徴とする請求項１から８のいずれか一項に記載の法線情報生成装置。
【請求項１０】
前記信頼度取得手段は、前記信頼度を前記偏光情報のうちの偏光度の情報を用いて取得することを特徴とする請求項９に記載の法線情報生成装置。
【請求項１１】
前記信頼度取得手段は、前記信頼度を前記偏光情報のうちの偏光に対する輝度の最大値と最小値の差分を用いて取得することを特徴とする請求項９に記載の法線情報生成装置。
【請求項１２】
前記信頼度取得手段は、前記信頼度を前記偏光情報のうちの偏光方位の情報を用いて取得することを特徴とする請求項９に記載の法線情報生成装置。
【請求項１３】
前記生成手段は、前記信頼度が第１の信頼度より高い少なくとも１つの前記分割領域に対して、前記偏光情報を用いて前記法線情報の生成を行うことを特徴とする請求項９から１２のいずれか一項に記載の法線情報生成装置。
【請求項１４】
前記生成手段は、前記信頼度が第２の信頼度よりも低い少なくとも１つの前記分割領域に対して、前記光源位置に応じた輝度情報の変化に関する情報を用いて前記法線情報の生成を行うことを特徴とする請求項９から１３のいずれか一項に記載の法線情報生成装置。
【請求項１５】
被写体を撮像して撮像画像を取得する撮像手段と、
請求項１から１４のいずれか一項に記載の法線情報生成装置とを有することを特徴とする撮像装置。
【請求項１６】
前記被写体を照明する投光手段と、
前記投光手段の複数の投光位置を設定可能な機構とを有することを特徴とする請求項１５に記載の撮像装置。
【請求項１７】
前記撮像手段は、前記撮像画像として、互いに視差を有する複数の視差画像を取得することを特徴とする請求項１５または１６に記載の撮像装置。
【請求項１８】
前記撮像手段は、撮像光学系と撮像素子とを有し、
前記撮像光学系の瞳のうち互いに異なる領域を通過した複数の光束を前記撮像素子における互いに異なる画素に導くことを特徴とする請求項１５から１７のいずれか一項に記載の撮像装置。
【請求項１９】
前記撮像手段は、撮像光学系と撮像素子とを有し、
前記撮像素子は、前記撮像光学系の瞳のうち互いに異なる領域からの光束を光電変換する複数の画素対と、該画素対ごとに設けられたマイクロレンズとを含むことを特徴とする請求項１５から１７のいずれか一項に記載の撮像装置。
【請求項２０】
前記視差画像として、少なくとも１つの視点位置で前記光源位置が互いに異なる複数の前記第１の画像を取得し、少なくとも２つの視点位置のそれぞれで前記偏光状態が互いに異なる３以上の前記第２の画像を取得することを特徴とする請求項１７から１９のいずれか一項に記載の撮像装置。
【請求項２１】
被写体を撮像することで得られた撮像画像を用いて前記被写体の表面における法線情報を生成する法線情報生成方法であって、
前記撮像画像として、前記被写体に対する光源位置が互いに異なる複数の第１の画像と偏光状態が互いに異なる３以上の第２の画像とを取得し、
前記複数の第１の画像から取得した前記光源位置に応じて変化する輝度情報と前記第２の画像から取得した偏光情報のうち少なくとも一方に応じて、前記被写体の表面の領域分割を行い、
前記領域分割により分割された分割領域ごとに、前記光源位置に応じた前記輝度情報の変化に関する情報と前記偏光情報のうち前記法線情報の生成に用いる情報を選択して該生成を行うことを特徴とする法線情報生成方法。
【請求項２２】
コンピュータに、被写体を撮像することで得られた撮像画像を用いて前記被写体の表面における法線情報を生成する画像処理を行わせるコンピュータプログラムであって、
前記コンピュータに、
前記撮像画像として、前記被写体に対する光源位置が互いに異なる複数の第１の画像と偏光状態が互いに異なる３以上の第２の画像とを取得させ、
前記複数の第１の画像から取得した前記光源位置に応じて変化する輝度情報と前記第２の画像から取得した偏光情報のうち少なくとも一方に応じて、前記被写体の表面の領域分割を行わせ、
前記領域分割により分割された分割領域ごとに、前記光源位置に応じた前記輝度情報の変化に関する情報と前記偏光情報のうち前記法線情報の生成に用いる情報を選択して該生成を行わせることを特徴とする法線情報生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の表面の法線情報を生成する技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置により被写体を撮像して画像を取得する際に、通常の輝度情報を取得するのみならず、被写体の形状の情報、特に面法線の情報を取得する方法が知られている。被写体に関する多くの物理情報を取得しておくことで、撮像後の画像処理において物理モデルに基づく画像生成を行うことができる。例えば、被写体の見えを変更した画像を生成することが可能となる。被写体の見えは、被写体の形状情報、反射率情報および被写体を照らす光源情報等の要素で決定されるが、形状情報としては３次元形状ではなく面法線情報を用いることが特に有効である。光源からの光が被写体により反射される際の反射光の物理的な振る舞いは、局所的な面法線に依存するからである。
【０００３】
面法線情報を取得する方法としては、レーザ光を用いた三角測量や２眼ステレオ等の方法で距離情報を取得し、該距離情報から求めた三次元形状を面法線情報に変換する方法がある。ただし、これらの方法では、装置が大がかりになり、求めた法線情報の精度も不十分である。また、レーザ光を用いる方法では、光沢のある物体や透明物体に適応できないという問題もある。
【０００４】
直接に面法線情報を取得する方法として、照度差ステレオ法と偏光情報から推定する方法が知られている。照度差ステレオ法（非特許文献１参照）は、被写体の面法線と光源方向に基づいた反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性とから面法線を決定する方法である。被写体の反射特性としては、ランバートの余弦則に従うランバート反射モデルが用いられることが多い。
【０００５】
一般に、物体の反射光は、鏡面反射光の成分と拡散反射光の成分とからなる。鏡面反射光とは物体表面で正反射した光であり、物体表面（界面）においてフレネルの式に従うフレネル反射した光である。拡散反射光とは被写体の表面を透過した後に物体内部で散乱されて戻る光をいう。特に鏡面反射成分は、上述のランバートの余弦則では表せず、撮像装置で観測される被写体からの反射光に鏡面反射成分が含まれていると、照度差ステレオ法では面法線が正確に求まらない。光源からの光が当たらない陰影部においても仮定した反射モデルからのずれが生じ、被写体の面法線情報を正確に取得することができない。また、表面の粗い被写体などでは拡散反射成分もランバートの余弦則からずれを生じる。例えば、特許文献１には、４以上の光源を使用して得られた複数の面法線候補から、真の面法線を求める方法が開示されている。特許文献２には、光源から放射される偏光または光源位置を変化させた場合の偏光状態から拡散反射領域を分割し、拡散反射領域に対して照度差ステレオ法を用いる方法が開示されている。
【０００６】
偏光情報から推定する方法では、偏光情報として偏光度と偏光方位を用いる方法が知られている。特許文献３には、視点位置の異なる複数の偏光画像から被写体の面法線情報を取得する方法が開示されている。特許文献３では、視点位置ごとに偏光方位情報から面法線の１自由度を推定することで被写体の面法線情報を推定する。また、１視点からの情報しか得られないオクルージョン領域では、被写体のエッジ部であることを拘束条件として面法線情報を取得する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−１２２１５８号公報
【特許文献２】特許第４４３５８６５号公報
【特許文献３】特許第４４３５８６７号公報
【非特許文献】
【０００８】
【非特許文献１】松下康之、“照度差ステレオ”、情報処理学会研究報告、Ｖｏｌ．２０１１−ＣＶＩＭ−１７７，Ｎｏ．２９、ｐｐ．１−１２、２０１１
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１にて開示された方法では、拡散反射の少ない鏡面被写体に対して、被写体の面法線情報を取得できない。また、光源からの光が当たらない陰影部が生じる場合に、３以上の光源条件で投光した光で拡散反射成分を観測できないと誤った面法線情報を取得してしまう。しかし、一般の被写体に対して常に３以上の光源条件で拡散反射成分を取得するためにはより多くの光源条件で撮像する必要があり、困難である。また、拡散反射光がランバートの余弦則に従わない場合は、正しい面法線を推定できない。
【００１０】
さらに、特許文献２にて開示された方法では、拡散反射領域のみで照度差ステレオ法を適用するため、鏡面反射領域では面法線情報を取得できない。また、拡散反射光がランバートの余弦則に従わない場合は、正しい面法線を推定できない。
【００１１】
また、特許文献３にて開示された方法では、偏光度が小さい領域での面法線情報を求めることができない。偏光度が大きくなるような視点位置から撮像しようとすると、一般の被写体では撮像装置が大がかりになり、好ましくない。
【００１２】
本発明は、一般の被写体に対してロバストに面法線情報を取得可能な法線情報生成装置および法線情報生成方法等を提供する。
【課題を解決するための手段】
【００１３】
本発明の一側面としての法線情報生成装置は、被写体を撮像することで取得された撮像画像を用いて被写体の表面における法線情報を生成する。該法線情報生成装置は、撮像画像として、被写体に対する光源位置が互いに異なる複数の第１の画像と偏光状態が互いに異なる３以上の第２の画像とを取得する画像取得手段と、複数の第１の画像から取得した光源位置に応じて変化する輝度情報と第２の画像から取得した偏光情報のうち少なくとも一方に応じて、被写体の表面の領域分割を行う分割手段と、領域分割により分割された分割領域ごとに、光源位置に応じた輝度情報の変化に関する情報と偏光情報のうち法線情報の生成に用いる情報を選択して該生成を行う生成手段とを有することを特徴とする。
【００１４】
なお、被写体を撮像して撮像画像を取得する撮像手段と、上記法線情報生成装置とを有する撮像装置も、本発明の他の一側面を構成する。
【００１５】
またも本発明の他の一側面としての法線情報生成方法は、被写体を撮像することで得られた撮像画像を用いて被写体の表面における法線情報を生成するために用いられる。該方法は、撮像画像として、被写体に対する光源位置が互いに異なる複数の第１の画像と偏光状態が互いに異なる３以上の第２の画像とを取得し、複数の第１の画像から取得した光源位置に応じて変化する輝度情報と第２の画像から取得した偏光情報のうち少なくとも一方に応じて、被写体の表面の領域分割を行い、領域分割により分割された分割領域ごとに、光源位置に応じた輝度情報の変化に関する情報と偏光情報のうち法線情報の生成に用いる情報を選択して該生成を行うことを特徴とする。
【００１６】
また、本発明の他の一側面としての法線情報生成プログラムは、コンピュータに、被写体を撮像することで得られた撮像画像を用いて被写体の表面における法線情報を生成する画像処理を行わせるコンピュータプログラムである。該プログラムは、コンピュータに、撮像画像として、被写体に対する光源位置が互いに異なる複数の第１の画像と偏光状態が互いに異なる３以上の第２の画像とを取得させ、複数の第１の画像から取得した光源位置に応じて変化する輝度情報と第２の画像から取得した偏光情報のうち少なくとも一方に応じて、被写体の表面の領域分割を行わせ、領域分割により分割された分割領域ごとに、光源位置に応じた輝度情報の変化に関する情報と偏光情報のうち法線情報の生成に用いる情報を選択して該生成を行わせることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、被写体の表面を領域分割して得られた分割領域ごとに、光源位置に応じた輝度情報の変化に関する情報と偏光情報のうち法線情報の生成に用いる情報を選択するので、一般の被写体に対してロバストな法線情報の生成を行うことができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施例１である撮像装置で行う法線情報の推定処理を示すフローチャート。
【図２】実施例１の撮像装置の基本構成を示すブロック図。
【図３】実施例１における取得画像の模式図。
【図４】本発明の実施例２である撮像装置で行う法線情報の推定処理を示すフローチャート。
【図５】本発明の実施例３である撮像装置で行う法線情報の推定処理を示すフローチャート。
【図６】実施例３の撮像装置の撮像部における撮像素子と撮像光学系の瞳との関係を示す図。
【図７】上記画像取得部を模式的に示す図。
【図８】実施例３の他の撮像の例を示す図。
【図９】実施例３のさらに他の撮像の例を示す図。
【図１０】本発明の実施例４である撮像装置で行う画像処理を示すフローチャート。
【図１１】本発明の実施例５である撮像装置で行う画像処理を示すフローチャート。
【図１２】偏光情報の取得方法を示す図。
【図１３】偏光方位と入射面との関係を示す図。
【図１４】偏光度と視線と面法線とのなす角の関係を示す図。
【図１５】（a）鏡面反射成分の偏光度と、（b）拡散反射成分の偏光度を示す図。
【図１６】簡略化されたTorrance-Sparrowモデルを示す図。
【図１７】パターン偏光子を配置した撮像素子の模式図。
【図１８】本発明の実施例６である法線情報生成装置を示す図。
【発明を実施するための形態】
【００１９】
以下、本発明の実施例について図面を参照しながら説明する。
【００２０】
ただし、具体的な実施例の説明に先立って、各実施例に共通する事項について説明する。
【００２１】
まず、「偏光情報」について説明する。一般に光の偏光状態は４つのパラメタで表現でき、例えばストークスパラメタがある。このストークスパラメタのように光の偏光状態を示す情報を各実施例では偏光情報という。また、後に説明する偏光度や偏光方位、または偏光状態の測定誤差等、偏光情報から２次的に決まる量も偏光情報に含まれる。
【００２２】
一般に偏光情報を取得するには、独立な4つの偏光成分を測定すればよい。しかし、自然界においては、円偏光成分が現れることは少なく、被写体の偏光情報としては直線偏光成分のみで十分な場合も多い。つまり、無偏光と円偏光を区別しないで取得することとなる。この場合、少なくとも３つの異なる直線偏光成分の強度や輝度を取得すればよい。
【００２３】
偏光子を透過した光は偏光主軸方向に偏光した直線偏光光となるため、偏光主軸角の異なる３以上の条件下で偏光子を透過した光の強度や輝度を測定すればよい。
【００２４】
図１２には、偏光情報の取得方法を示している。図１２中の１２１〜１２４は偏光主軸角が０度、４５度、９０度、１３５度の４つの偏光子をそれぞれ透過した光の輝度であり、正弦関数カーブに従って変化する。この関係は、反射光の輝度をＩとし、偏光子の主軸角νとして、次のように表される。
【００２５】
【数１】
0006456156.tif 000002
【００２６】
このときの定数Ａ，Ｂ，Ｃを定めることで偏光情報を知ることができる。Ａ，Ｂ，Ｃは正の定数であり、Ｂは余弦関数の周期性から０°から１８０°までの値で表すことができる。
【００２７】
偏光子の主軸角３つに対して輝度を測定した場合、未知の定数もＡ，Ｂ，Ｃの３つであり、Ａ，Ｂ，Ｃを一意に求めることができる。
【００２８】
一方、４以上の偏光条件で輝度を測定した場合はフィッティングでＡ，Ｂ，Ｃを求める。フィッティングの方法としては、ｉ番目の条件から得られる観測値（νｉ，Ｉｉ）と（１）式で表される理論値との差分を評価関数として用いればよく、最小二乗法等の既知の方法でフィッティングすることができる。
【００２９】
なお、撮像装置の撮像部（撮像光学系および撮像素子）を用いた撮像により輝度を取得する場合は、実際の光の輝度値と撮像部を介して得られた出力信号とがリニアになるように、出力信号を補正することが望ましい。
【００３０】
以上の方法により求めたＡ，Ｂ，Ｃのパラメタから以下の様々な偏光情報が得られる。
・偏光主軸角に対する輝度の振幅Ａ
・偏光主軸角に対する平均輝度値Ｉａｖｅ
Ｉａｖｅ＝Ｃ    （２）
・偏光の最大輝度Ｉｍａｘ
Ｉｍａｘ＝Ａ＋Ｃ    （３）
・偏光の最小輝度Ｉｍｉｎ（輝度値の非偏光成分）
Ｉｍｉｎ＝Ｃ−Ａ    （４）
・偏光方位ψ（偏光輝度が最大となる偏光子の位相角）
ψ＝Ｂ  （５）
・偏光度ρ
ρ＝（Ｉｍａｘ−Ｉｍｉｎ）／（Ｉｍａｘ＋Ｉｍｉｎ）＝Ａ／Ｃ  （６）
・偏光推定誤差Ｅｐ
【００３１】
【数２】
0006456156.tif 000003
【００３２】
ここで、Ｉｍ，ｉはｉ番目の異なる偏光状態における輝度である。
【００３３】
次に、偏光情報から被写体の面法線情報を取得する方法について説明する。被写体の単位面法線ベクトルは２自由度を有する。上述の偏光情報からはその２自由度が満たす条件式を得ることができる。
【００３４】
図１３に示すように、偏光方位からは入射面または射出面の角度情報が得られる。被写体からの反射光が偏光する主な理由は、ｓ偏光とｐ偏光に対するフレネル反射率が異なるためである。鏡面反射成分ではｓ偏光で反射率が大きくなるため、偏光方位は入射面と直交する。なお、鏡面反射では入射面と射出面が等しい。
【００３５】
一方、拡散反射成分では、物体内部で散乱した光が外へ出てくるときの透過率がｐ偏光で大きくなり、偏光方位が射出面と一致する。すなわち、撮像装置の視線方向ベクトルに直交する面内で、面法線の方位角φが満たす下記の条件式が得られる。
【００３６】
φ＝ψ＋π／２       （鏡面反射成分）
φ＝ψ        （拡散反射成分）     （８）
ただし、φは１８０度の不定性を持つ。
【００３７】
図１４に示すように、偏光度からは面法線と撮像装置の視線方向ベクトルがなす角が求まる。図１５（ａ）に鏡面反射成分の偏光度の入射角依存性を、図１５（ｂ）に拡散反射成分の偏光度の射出角依存性を示す。鏡面反射成分では、入射角は被写体の面法線と撮像装置の視線方向ベクトルがなす角に等しいが、１つの偏光度に対して２つの入射角をとり得る。つまり、解の候補が２つに絞られる。拡散反射成分では、偏光度と射出角が１対１の関係にある。被写体の面法線と撮像装置の視線方向ベクトルがなす角は射出角そのものであるため、偏光度から求まる。
【００３８】
以上のように、偏光情報から被写体の面法線が満たす条件を得ることができる。この条件を複数組み合わせることで、面法線を推定により生成することができる。例えば、特許文献３にて開示されているように、互いに異なる複数視点から見た偏光方位から被写体の面法線を推定できる。２以上の視点の各々に対して入射面が求まると、その入射面の交線が面法線となる。実際には測定誤差があるため、面法線推定に用いる視点条件の組み合わせを変えながら、それぞれの方法で求まった面法線の平均方向として面法線を決定するとよい。また、異なる視点からみた入射面が一致する場合は面法線が一意に定まらない。このような場合は、さらに異なる視点に対応した偏光方位が必要となる。
【００３９】
他にも、単視点からの偏光方位と偏光度を組み合わせても面法線を推定できる。例えば拡散反射成分が観測されている場合、偏光方位から面法線の方位角が決まり、偏光度から面法線の天頂角が１つ求まる。このとき方位角がφとφ＋１８０°の不定性を持つため、面法線の解が２つ得られる。観測された反射光が鏡面反射成分の場合は、偏光度から面法線の天頂角が２つ求まる。この場合は方位角の不定性と合わせて面法線の解の候補が４つ求まる。観測された反射光が拡散反射成分と鏡面反射成分かその混合かを特定しない場合は、偏光方位と入射面の関係に９０°の不定性が生じ、さらに解の候補が増える。このように解の候補が複数求まる場合は、後述の方法で解を選択するとよい。
【００４０】
また、面法線を推定する際には、既存の鏡面反射分離手法を用いてもよい。例えば、特許文献２や特許文献３にて開示された手法や、「L. B. Wolff,Constraining Object Features Using a Polarization Reflectance Model,IEEE Trans. Patt. Anal. Mach. Intell.,Vol.13,No.7,pp.635-657(1991)」、「G. J. Klinker,The Measurement of Highlights in Color Images,IJCV,Vol.2,No.1,pp.7-32(1988)」にて提案された手段を用いることができる。これにより、面法線ベクトルの解の候補を減らすことができ、より高精度に面法線情報を取得することができる。
【００４１】
光源位置による輝度情報の変化から被写体の面法線情報を取得する方法としては、照度差ステレオ法を用いるとよい。照度差ステレオ法は、被写体の面法線と光源方向に基づいた反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線を決定する方法である。仮定する反射特性はある面法線と光源位置が与えられたときに反射率が一意に定まればよいが、被写体の反射特性が未知の場合はランバートの余弦則に従うランバート反射モデルで近似すればよい。また、鏡面反射成分は、図１６に示した光源ベクトルｓと視線方向ベクトルｖの２等分線と面法線ｎのなす角に反射率が依存する。したがって、前述した反射特性は視線方向にも基づく特性としてもよい。照度差ステレオ法に用いる輝度情報は、既知の光源が点灯している場合と消灯している場合のそれぞれの画像を撮像し、これらの差分をとることで環境光等、既知の光源以外の光源による影響を除いてもよい。以下では、ランバート反射モデルを仮定した場合を説明する。
【００４２】
反射光の輝度をｉとし、物体のランバート拡散反射率をρｄとし、入射光の強さをＥとし、物体から光源への方向を示す単位ベクトル(光源方向ベクトル)をｓとし、物体の単位面法線ベクトルをｎとする。このとき、ランバートの余弦則から、
【００４３】
【数３】
0006456156.tif 000004
【００４４】
と表せる。ここで異なるＭ個（Ｍ≧３）の光源方向ｓ１，ｓ２，・・・，ｓＭで得られた輝度値をｉ１，ｉ２，・・・ｉＭとすると（９）式から以下のように表せる。
【００４５】
【数４】
0006456156.tif 000005
【００４６】
ここで、左辺はＭ行１列の輝度ベクトルであり、右辺の［ｓ１Ｔ、・・・ｓＭＴ］はＭ行３列の光源方向を示す入射光行列Ｓである。また、ｎは３行１列の単位面法線ベクトルである。Ｍ＝３の場合は入射光行列Ｓの逆行列を左から乗じることで、Ｅρｄｎが以下のように求まる。
【００４７】
【数５】
0006456156.tif 000006
【００４８】
左辺のベクトルのノルムがＥとρｄの積であり、正規化したベクトルが物体の面法線ベクトルとして求まる。ここから分かるように、Ｅとρｄは積の形でのみ条件式に現れるので、Ｅρｄで１つの変数として見ると、式（１１）は、単位面法線ベクトルの２自由度と合わせて未知の３変数を決定する連立方程式とみなせる。よって、３つの光源条件で輝度情報を取得することで方程式が３つ得られ、解を決定することができる。なお、入射光行列Ｓが正則でない場合は逆行列が存在しないため、光源方向ｓ１〜ｓ３をＳが正則となるように選択する必要がある。つまり、ｓ３をｓ１とｓ２に対して線形独立に選ぶことが望ましい。
【００４９】
一方、Ｍ＞３の場合は求める未知変数より多い条件式が得られる。このときは任意に選択した３つの条件式から上記と同様の方法で面法線ベクトルを求めることができる。４つ以上の条件式を用いる場合は入射光行列Ｓが正方行列ではなくなるため、例えばMoore-Penrose疑似逆行列を使って近似解を求めればよい。また、行列計算を用いなくとも、既知のフィッティング手法や最適化手法によって解を求めてもよい。被写体の反射特性をランバート反射モデル以外のモデルで仮定した場合は条件式が単位面法線ベクトルｎの各成分に対する線形方程式でなくなることがある。その場合でも、３つの未知変数に対して３つ以上の方程式が得られ、既知のフィッティング手法や最適化手法を用いることができる。また、Ｍ＞３の場合には３以上Ｍ−１以下の条件式の組み合わせが複数得られるため、複数の面法線候補を求めることもできる。この場合は、特許文献１にて開示された方法や後述の方法によって解を選択するとよい。
【００５０】
また、面法線ベクトルを求める際に、光源条件の異なる輝度情報と偏光情報を組み合わせて用いてもよい。例えば、（１０）式でＭ＝２の場合、未知変数よりも条件式が少ないために面法線を決定することはできないが、面法線の成分が満たすべき関係式を求めることはできる。得られる２つの条件式の各辺同士で除算することでＥρｄの項を消去した場合は、ｎの成分のみの関係式とすることが可能である。前述したように、ｎは２つの自由度を持つため、残りの１自由度を別の条件から決定すればよい。別の条件式は、例えば上述した偏光方位や偏光度などの偏光情報を利用することで得ることができる。
【００５１】
また、偏光情報と光源位置に応じた輝度情報の変化のそれぞれから面法線情報を取得してもよい。この場合、それぞれで取得した面法線が真の解の候補となる。このとき、後述する方法によって複数の解候補から解を選択するとよい。
【００５２】
面法線ベクトルの解の候補が複数求まる場合には、さらに別の条件から解を選択するとよい。例えば、面法線ベクトルの連続性を条件として用いることができる。面法線を撮像装置の１画素ごとに算出する場合、画素（ｘ，ｙ）での面法線ｎ（ｘ，ｙ）として、ｎ（ｘ−１，ｙ）が既知であれば、評価関数としての、
【００５３】
【数６】
0006456156.tif 000007
【００５４】
が最小となる解を選択するとよい。ｎ（ｘ＋１，ｙ）やｎ（ｘ，ｙ±１）も既知であれば、
【００５５】
【数７】
0006456156.tif 000008
【００５６】
が最小となるような解を選択するとよい。既知の面法線がなく、全画素位置で面法線の不定性があるとすれば、全画素での総和である、
【００５７】
【数８】
0006456156.tif 000009
【００５８】
が最小となるように解を選択してもよい。上記は一例であり、最近傍以外の画素での面法線情報を用いたり、注目する画素位置からの距離に応じて重みをつけた評価関数としたりしてもよい。
【００５９】
複数候補から解を選択する場合には、奥行き情報を利用してもよい。奥行き情報は前述のレーザ光を用いた三角測量や２眼ステレオなどの方法で取得できる。奥行き情報から求めた三次元形状を面法線情報へ変換することで面法線ベクトルが算出できる。前述したように、この方法で求めた面法線ベクトルは精度が十分ではない。しかし、複数の面法線ベクトルの解候補が既に求まっている場合、１つの解に決定するための参考情報とすることができる。すなわち、複数の面法線ベクトルの解候補のうち、奥行き情報により求めた面法線ベクトルに最も近い候補を選択するとよい。
【００６０】
また、偏光度を利用してもよい。図１５から分かるように、偏光度が小さいとき、鏡面反射成分では入射角が０°または９０°付近、拡散反射成分では射出角が０°付近である。このため、例えば偏光度が０．１より小さい場合は、面法線ベクトルの複数の候補のうち、視線方向に近い候補を選択することができる。鏡面反射の場合は視線方向または視線方向の垂直方向に最も近い候補を選択してもよい。
【００６１】
また、任意の光源位置での輝度情報を用いてもよい。ランバート反射モデルに代表される拡散反射モデルでは、面法線ベクトルと光源方向が近いほど反射光の輝度が大きくなる。このため、複数の光源方向での輝度値から、輝度が大きい方向により近くなるような面法線ベクトルを選択することができる。また、鏡面反射モデルでは、物体からカメラへの方向の単位ベクトル（カメラの視線ベクトル）をｖとして、
【００６２】
【数９】
0006456156.tif 000010
【００６３】
が滑らかな表面では成り立つため、光源方向ベクトルｓとカメラの視線ベクトルｖとが既知であれば、面法線ｎを算出できる。表面に粗さがある一般の場合は鏡面反射も射出角の広がりを持つが、平滑面として求めた解の付近に広がるため、複数の解候補から最も平滑面に対する解に近い候補を選択することができる。
【００６４】
また、複数の解候補の平均によって真の解を決めてもよい。
【００６５】
実施例では、被写体を撮像することによって得られた撮像画像を用いて被写体の表面における法線情報を生成する。画像取得部（画像取得手段）は、被写体に対する光源位置が互いに異なる複数の撮像画像としての輝度情報画像（第１の画像）と、偏光状態が互いに異なる３以上の撮像画像としての偏光画像（第２の画像）とを取得する。領域分割部（分割手段）は、複数の輝度情報画像から取得した被写体に対する光源位置に応じて変化する輝度情報と、３以上の偏光画像から取得した偏光情報の少なくとも一方に応じて被写体の表面（撮像により取得された被写体画像：第３の画像）の領域分割を行う。第３の画像は、第１の画像または第２の画像であってもよく、第１の画像および第２の画像とは異なる視点からの画像であってもよい。また、第３の画像は必ずしも２次元画像である必要はなく、例えば被写体の３Ｄモデルを第３の画像として、３Ｄモデル上での領域分割を行ってもよい。第１の画像、第２の画像およびその他の画像等の複数の画像間で、各画像上の領域が被写体の同一点として対応がとれる場合は、後述するように各領域間で対応付けた領域分割を行うことができる。
【００６６】
そして、法線推定部（生成手段）は、領域分割により分割された分割領域ごとに、光源位置に応じた輝度情報の変化に関する情報と偏光情報のうち法線情報の生成（推定）に用いる情報を選択して該生成を行う。
【００６７】
光源位置が互いに異なる複数の撮像画像を取得することで、前述した方法によって、光源位置に応じた輝度情報の変化に関する情報（以下、単に光源位置に応じた輝度情報の変化という）から被写体の面法線情報を取得することができる。また、偏光状態が異なる３以上の偏光画像を取得することで、前述の方法によって、偏光情報から被写体の面法線情報を取得することができる。ここで、法線情報とは、面法線の１自由度の候補を少なくとも１つ以上決定する情報や、面法線の複数の解候補から真の解を選択するための情報や、求めた面法線の妥当性に関する情報である。
【００６８】
各分割領域に対応する法線情報を推定により生成する際に、光源位置に応じた輝度情報の変化と偏光情報の少なくとも一方を用いて推定を行う。このように、被写体上で分割された領域ごとに異なる方法で法線を推定することで、一般の被写体に対してロバストに面法線情報を取得することができる。
【００６９】
実施例において、さらに光源位置に応じた輝度情報の変化を用いて法線情報を推定する際には、反射特性モデルを用いて法線情報を推定し、輝度情報と反射特性モデルとのずれ量を算出（取得）するモデルずれ量算出部（ずれ取得手段）を有する構成とするとよい。そして、該ずれ量に基づいて領域分割を行うとよい。
【００７０】
照度差ステレオ法では、光源位置に応じた輝度情報の変化を用いて法線情報を推定する際に、反射特性モデルを用いる。ここで、反射特性モデルとは、被写体の面法線と光源方向ベクトルの関係に対してある角度方向への反射率を一意に定めるものである。また、前述したように、反射特性モデルを、視線方向にも基づく特性を有するものとしてもよい。反射特性モデルとしては、例えば被写体の反射率を被写体の面法線と光源方向ベクトルのなす角の関数として定めればよい。よく使われるモデルとしては、前述のランバートモデル以外に、Phongモデル、Torrance-Sparrowモデル、Cook-Torranceモデル、Oren-Nayerモデル等がある。法線情報を推定する際に、画像取得部で得られた輝度情報とこの反射特性モデルとのずれ量を算出するとよい。このずれ量から得られた法線情報の妥当性を判定することができる。このずれ量に基づいて領域分割を行うことで、法線情報を推定するための領域分割を適切に行うことができる。
【００７１】
なお、上記ずれ量は、輝度情報と、反射特性モデルを用いて算出される輝度値との比較結果を用いて算出してもよい。
【００７２】
また、上記ずれ量は、輝度情報と、反射特性モデルに当てはめたモデルのパラメタを用いて算出してもよい。
【００７３】
さらに、上記ずれ量は、輝度情報から求めた被写体の表面に対する複数の法線の候補のばらつきを用いて算出してもよい。
【００７４】
反射特性モデルは、ランバートモデルとしてもよい。拡散反射成分は、ランバートモデルに従うことが多く、反射特性モデルにランバートモデルを用いることで、鏡面反射の少ない被写体の一部では比較的良好に法線情報を推定できる。また、輝度が面法線ベクトルと光源方向ベクトルの内積で決まるため、行列演算によって簡易な計算で高速に法線情報を推定することができる。
【００７５】
さらに、上記ずれ量が閾値としての第１のずれ量より小さい少なくとも１つの分割領域において、反射特性モデルを用いた法線情報の推定を行うとよい。ずれ量に対して閾値を設定することで、ずれ量が閾値より小さい領域では反射特性モデルを用いた法線情報の推定の妥当性が高いと判定できる。このような領域では、反射特性モデルを用いることで、ロバストに法線情報の推定を行うことができる。
【００７６】
また、上記ずれ量が閾値としての第２のずれ量より大きい少なくとも１つの分割領域において、偏光情報を用いた法線情報の推定を行うとよい。ずれ量に対して閾値を設定することで、ずれ量が閾値より大きい領域では反射特性モデルを用いた法線情報の推定の妥当性が低いと判定できる。このような領域では、偏光情報を用いることで、ロバストに法線情報の推定を行うことができる。なお、第１のずれ量と第２のずれ量とは異なるずれ量であってもよいし、同じずれ量であってもよい。
【００７７】
また、偏光情報を用いて法線情報を推定する際に、偏光情報を用いた法線情報の推定の信頼度を算出（取得）する信頼度算出部（信頼度取得手段）を有し、領域分割部は該信頼度に基づいて領域分割を行うとよい。法線情報を推定する際に、偏光情報を用いた法線情報の推定の信頼度を算出することで、偏光情報から得られた法線情報の妥当性を判定することができる。この信頼度に基づいて領域分割を行うことで、法線情報を推定するための領域分割を適切に行うことができる。
【００７８】
また、信頼度算出部は、信頼度を偏光情報のうちの偏光度の情報を用いて算出してもよい。
【００７９】
また、信頼度算出部は、信頼度を偏光情報のうちの偏光に対する輝度の最大値と最小値の差分を用いて算出してもよい。
【００８０】
さらに、信頼度算出部は、信頼度を偏光情報のうちの偏光方位情報を用いて算出してもよい。
【００８１】
そして、信頼度が閾値としての第１の信頼度よりも高い少なくとも１つの分割領域において、偏光情報を用いた法線情報の推定を行うとよい。信頼度に対して閾値を設定することで、信頼度が閾値より高い領域では偏光情報を用いた法線情報の推定の妥当性が高いと判定できる。このような領域では、偏光情報を用いた法線情報の推定を行うことで、ロバストに法線情報の推定を行うことができる。閾値は実験的に決定すればよく、例えば偏光度を信頼度とする場合は、０．１を閾値とすればよい。
【００８２】
また、信頼度が閾値としての第２の信頼度よりも小さい少なくとも１つの分割領域において、光源位置に応じた輝度情報の変化を用いた法線情報の推定を行うとよい。信頼度に対して閾値を設定することで、信頼度が閾値より低い領域では偏光情報を用いた法線情報の推定の妥当性が低いと判定できる。このような領域では、光源位置に応じた輝度情報の変化を用いた法線情報の推定を行うことで、ロバストに法線情報の推定を行うことができる。なお、第１の信頼度と第２の信頼度とは異なる信頼度であってもよいし、同じ信頼度であってもよい。
【００８３】
被写体を撮像する撮像部（撮像手段）と上記法線情報生成装置とを有する撮像装置を構成してもよい。この場合に、撮像装置は、被写体を照明する投光部（投光手段）と、該投光部の複数の投光位置を設定可能な機構とを有する構成としてもよい。
また、撮像装置は、互いに視差を有する複数の視差画像を取得してもよい。光源位置に応じた輝度情報の変化や偏光情報を異なる視点からも得ることで、単視点からの情報よりも多くの法線情報を得ることができる。
【００８４】
また、撮像部は、撮像光学系と撮像素子とを有し、撮像光学系の瞳のうち互いに異なる領域を通過した複数の光束を撮像素子における互いに異なる画素に導いて光電変換を行う構成を有してもよい。撮像光学系を瞳のうち互いに異なる領域を通過した複数の光束を撮像素子における互いに異なる画素に導くことで、異なる視点からの情報を取得することができる。
【００８５】
また、撮像部は、撮像光学系と撮像素子を有し、撮像光学系の瞳のうちそれぞれ異なる領域からの光束を光電変換する複数の画素対と、該画素対ごとに１つずつ設けられたマイクロレンズとを含む撮像素子とを有していてもよい。
【００８６】
また、視差画像として、少なくとも１つの視点位置で光源位置が互いに異なる複数の撮像画像を取得し、少なくとも２つの視点位置のそれぞれで偏光状態が互いに異なる３以上の偏光画像を取得してもよい。
【実施例１】
【００８７】
図２には、本発明の実施例１である撮像装置の基本構成を示す。絞り１０１ａを含む撮像光学系１０１は、不図示の被写体からの光を撮像素子１０２上に結像させる。撮像素子１０２はＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成される。撮像光学系１０１と撮像素子１０２とにより撮像部が構成される。
【００８８】
撮像素子１０２での光電変換により生成されたアナログ電気信号は、Ａ／Ｄコンバータ１０３でデジタル信号に変換されて法線情報生成装置としての画像処理部１０４に入力される。画像処理部１０４は、デジタル信号に対して一般に行われる画像処理と併せて、被写体の法線情報を推定する処理を行う。
画像処理部１０４は、反射特性モデルを用いた法線情報の推定に際して反射特性モデルとのずれ量を算出するモデルずれ量算出部１０４ａと、偏光情報を用いた法線情報の推定に際して偏光情報から推定した法線の信頼度を算出する信頼度算出部１０４ｂとを有する。また、画像処理部１０４は、取得した画像を領域分割する領域分割部１０４ｃと法線情報を推定する法線推定部１０４ｄとを有する。
【００８９】
画像処理部１０４で処理された出力画像は、半導体メモリや光ディスク等の画像記録媒体１０８に保存される。また、出力画像を表示部１０５に表示してもよい。
【００９０】
情報入力部１０９は、使用者が所望の撮像条件（絞り値、露出時間、投光条件等）を選択して入力する情報を検知してシステムコントローラ１１０にデータを供給する。撮像制御部１０６は、システムコントローラからの情報に基づいて、撮像光学系１０１の不図示のフォーカスレンズを移動させ、投光部１１１、撮像光学系の絞り値、露出時間、撮像素子１０２を制御することで必要な画像を取得する。状態検知部１０７は、システムコントローラ１１０の制御指示に応じて現在の撮像条件情報を取得する。なお、撮像光学系１０１は、撮像素子１０２と一体であってもよいし、一眼レフカメラのように交換式の撮像光学系であってもよい。
【００９１】
図１のフローチャートには、上述した法線情報の推定処理の手順が示されている。この処理は、システムコントローラ１１０および画像処理部１０４が、コンピュータプログラムとしての法線情報生成プログラムに従って実行する。このことは、後述する他の実施例でも同じである。
【００９２】
ステップＳ１０１では、システムコントローラ１１０が、撮像光学系１０１および撮像素子１０２により構成される撮像部を制御して複数の光源位置での被写体の撮像を行う。また、システムコントローラは投光部１１１を制御し、さらに光源強度の制御および光源位置の設定を行う。光源位置の設定は、単一の投光部の位置を変更してもよいし、複数の投光部を有する機構としてもよい。
【００９３】
ステップＳ１０２では、システムコントローラ１１０が、画像処理部１０４に、撮像素子１０２から出力されてＡ／Ｄコンバータ１０３にてＡ／Ｄ変換されたデジタル信号を用いて、法線情報を推定させる。ここで、画像処理部１０４では視差画像生成のために、通常の現像処理や各種の画像補正処理を行ってもよい。法線情報の推定は、法線推定部Ｓ１０４ｄが上述の照度差ステレオ法により、光源位置に応じた輝度情報の変化を用いて行う。
【００９４】
ステップＳ１０３では、モデルずれ量算出部１０４ａが、ステップＳ１０２で推定された法線情報を用いて反射特性モデルからのずれ量を算出する。
【００９５】
モデルずれ量算出部１０４ａが行う処理について詳しく説明する。被写体の法線候補が推定されると、光源方向が既知であれば、法線方向と光源方向から反射特性モデルに基づく被写体の反射率を算出できる。そこで、各光源位置での輝度情報の関係が反射特性モデルより得られる。このため、撮像部を通して得られた被写体の輝度値と反射特性モデルにより得られた輝度値との差分を画素ごとに取得し、二乗平均平方根（ＲＭＳ）を求めることで、実測と反射特性モデルのずれ量を得ることができる。
【００９６】
なお、被写体にあたる光源強度が分からない場合は各光源位置での輝度情報の絶対値が分からないため、それぞれの輝度値を撮像装置の検出できる最大輝度などの適当な値で規格化するとよい。ランバートモデルの場合は、照度差ステレオ法で得られたＥρｄの値で規格化してもよい。この場合、光源方向ベクトルｓと面法線ｎの内積であるｓ・ｎが規格化された輝度情報に相当する。この場合、画素ごとの光源強度や反射率の違いがキャンセルされるため、求めたずれ量は各画素に共通の指標とすることができる。
【００９７】
また、ずれ量を輝度情報と前記反射特性モデルにあてはめた場合のモデルのパラメタを用いて算出してもよい。前述のランバートモデルで法線推定を行った場合を例に取ると、同じ材質の被写体に対しては光源強度とランバート反射率の積Ｅρｄはほぼ一定になると考えられる。よって同じ材質の複数の被写体上の点で算出されたＥρｄの平均値やメディアンからの当該画素における差分をずれ量として用いることができる。また、被写体を照らす光源強度が既知である場合は直接ρｄを用いるとよい。この場合、場所によって照射される光源強度が異なることによる誤差を除くことができる。被写体上の同じ材質の領域を判定するには、Graph-Cut法、watershed法およびmean-shift法等の既存の領域分割手法を用いればよい。また、単に近傍の画素を同じ材質と仮定してもよい。被写体の材質が既知であれば、既知のρｄとの差分をとってもよい。
【００９８】
他の反射特性モデルで法線推定を行った場合も同様である。例えば簡略化されたTorrance-Sparrowモデルでは、図１６に示すように、反射係数Ｋと、射出角θｒと、表面粗さσと、光源方向ｓと視線方向ｖの２等分線方向と面法線方向ｎのなす角αとを用いて、
【００９９】
【数１０】
0006456156.tif 000011
【０１００】
と表される。反射係数Ｋと表面粗さσは被写体の材質で決まる量であり、同じ材質では一定の値を示すと考えられるから、ρｄの代わりにこれらを用いてずれ量を算出することもできる。
【０１０１】
また、ずれ量は輝度情報から求めた複数の面法線候補のばらつきを用いて算出してもよい。被写体の面法線の変化に対して十分細かいピッチで面法線を取得しているとすれば、画素ごとの面法線方向は近傍の画素間で近い値をとる。そこで、例えば（１２）式の評価基準で画素間の面法線方向のずれ量を定めることで、得られた面法線候補の推定精度を判定することができる。
【０１０２】
以上のように、ずれ量の算出としては様々な方法があり、上述した方法のうちいずれを用いてもよく、また上述した方法に限定されない。
【０１０３】
ステップＳ１０４では、領域分割部１０４ｃが、ステップＳ１０３で算出されたずれ量に基づいて被写体画像（つまりは被写体の表面）の領域分割を行う。
【０１０４】
ずれ量に基づいて領域分割する際の領域分割部１０４ｃでの処理について詳しく説明する。領域分割部１０４ｃは、ステップＳ１０３で得られたずれ量ｅに対して閾値ｔｈを設定する。このとき、ずれ量ｅと閾値（第１および第２のずれ量）ｔｈとを比較した結果から、以下の式に基づいて領域分割を行う。
ｅ≦ｔｈ      （１７）
ｔｈ＜ｅ      （１８）
（１７）式を満たす画素では実測値と反射特性モデルとのずれ量が小さいため、該画素により構成される分割領域をモデル適合度大領域とする。一方、（１８）式を満たす画素では実測値と反射特性モデルのずれ量が大きいため、該画素により構成される分割領域をモデル適合度小領域とする。閾値は実験的に決めればよく、例えば実測値と反射特性モデルに基づく輝度値を実測値の最大値が１になるように規格化し、それらの差分の最大値をずれ量ｅとした場合は閾値ｔｈは０．１とすればよい。
【０１０５】
また、閾値を以下のように複数設定してもよい。閾値（第１および第２のずれ量）ｔｈ１，ｔｈ２を用いて、
ｅ≦ｔｈ１    （１９）
ｔｈ１＜ｅ≦ｔｈ２    （２０）
ｔｈ２＜ｅ    （２１）
（１９）式を満たす画素では実測値と反射特性モデルのずれ量が小さいため、該画素により構成される分割領域をモデル適合度大領域とする。また、（２０）式を満たす画素により構成される分割領域をモデル適合度中領域とする。さらに、（２１）式を満たす画素では実測値と反射特性モデルとのずれ量が大きいため、該画素により構成される分割領域をモデル適合度小領域とする。
【０１０６】
ずれ量の算出は、取得した各光源位置の輝度情報の一部を用いて行えばよい。一般に、ずれ量が大きくなる場合として、被写体の物理的な反射特性が用いた反射特性モデルに合わない場合がある。他にも、光源からの光が遮蔽されて当たらない陰影部や拡散反射成分の観測を想定した反射特性モデルに対して、鏡面反射成分や相互反射成分が観測されてしまう場合がある。このような場合、被写体の物理的な反射特性はモデルに合っていても、観測される輝度情報としてはモデルに合わないということになる。反射特性モデルからのずれ量が大きくなると照度差ステレオ法では正しい面法線が得られなくなるため、どちらの場合でも照度差ステレオ法で求めた法線情報の妥当性をずれ量に基づいて判定できる。
【０１０７】
ただし、後者の場合は、陰影部や想定以外の反射成分が観測された光源位置の輝度情報を除外してずれ量を算出することで、モデルに合う場合がある。したがって、光源位置の輝度情報が法線推定に十分な数より多くある場合は、上述のような不適当な光源位置の輝度情報を除外してずれ量を算出するとよい。ある輝度情報を取得した際の光源位置が不適当であるかは、既存の陰影部や鏡面反射部の抽出法を用いればよく、例えば輝度情報の閾値処理をすればよい。陰影部や鏡面反射部を抽出した結果、法線推定に使用できる光源位置の輝度情報が不足する場合はずれ量を最大値に設定する等の方法で、モデル適合度が小さい領域としてもよい。
【０１０８】
ステップＳ１０５では、画像処理部１０４が、ステップＳ１０１と並行して、偏光状態が異なる３以上の偏光画像を取得する。ここで偏光画像とは、被写体からの反射光のうち一部の偏光成分のみの輝度情報を取得した画像のことである。図１には図示していないが、輝度情報とは異なる撮像光学系および撮像素子を用いて偏光画像を取得することができる。偏光画像の取得方法としては、撮像光学系の前後もしくは撮像光学系中に偏光子を挿入し、偏光子の主軸角方向を変えながら撮像を行えばよい。また、偏光画像の取得方法として、撮像素子の前にパターン偏光子を配置する方法もある（特開２００７−８６７２０号公報参照）。
【０１０９】
撮像素子の前にパターン偏光子を配置した様子を図１７に示す。パターン偏光子は、入射光のうち特定の偏光成分のみを撮像素子の画素に入射させるように配置される。図中では、４種類の偏光子１７１〜１７４を配置しており、例えば透過軸が４５度ずつ異なる偏光子が用いられる。４種類の偏光子１７１〜１７４が１組となるように配置され、近傍の画素では同じ被写体上の点からの反射光を観測していると近似することで、偏光子の主軸角方向を変えながら撮像するのと同様の偏光情報を取得することができる。
【０１１０】
ステップＳ１０６では、画像処理部１０４が、ステップＳ１０５で得られた偏光画像から上述した方法によって偏光情報を算出する。ここで得られる平均輝度値Ｉａｖｅは、被写体からの反射光の輝度値に等しいため、ステップＳ１０１で用いる輝度情報としてこのＩａｖｅを用いることができる。この場合、ステップＳ１０５において輝度情報と偏光画像を同一の撮像装置で同時に取得することができる。
【０１１１】
ステップＳ１０７では、信頼度算出部１０４ｂが、ステップＳ１０６で得られた偏光情報を用いて信頼度を算出する。一般には偏光度が大きいほど偏光情報を精度良く推定できるため、信頼度算出部１０４ｂは信頼度として、偏光度を用いることができる。
【０１１２】
また、信頼度算出部１０４ｂは、偏光に対する輝度の最大値Ｉｍａｘと最小値Ｉｍｉｎの差分を用いて信頼度を算出してもよい。より簡易には、得られた３以上の偏光画像における対応画素の輝度値の最大値と最小値の差分としてもよい。偏光情報の推定精度は取得部のノイズや相互反射光、環境光等の外乱に影響される。偏光に対する輝度の最大値と最小値の差分が大きいほどこれらの外乱の影響を受け難くなるため、この差分値を信頼度として用いることができる。
【０１１３】
ステップＳ１０８では、領域分割部１０４ｃが、ステップＳ１０７で得られた信頼度に基づいて被写体画像の領域分割を行う。
【０１１４】
ここで、信頼度に基づいて領域分割する際の領域分割部１０４ｃの処理について詳しく説明する。領域分割部１０４ｃは、ステップＳ１０７で得られた信頼度ｒに対して閾値ｔｈを設定する。このとき信頼度ｒと閾値（第１および第２の信頼度）ｔｈとを比較した結果から、以下の式に基づいて領域分割を行う。
ｒ≦ｔｈ  （２２）
ｔｈ＜ｒ    （２３）
（２２）式を満たす画素により構成される分割領域を低信頼度領域とし、（２３）式を満たす画素により構成される分割領域を高信頼度領域とする。閾値は実験的に決めればよく、例えば偏光度を信頼度ｒとして用いた場合には閾値ｔｈは０．１とすればよい。また、閾値は以下のように複数設定してもよい。閾値（第１および第２の信頼度）ｔｈ１，ｔｈ２を用いて、
ｒ≦ｔｈ１    （２４）
ｔｈ１＜ｒ≦ｔｈ２  （２５）
ｔｈ２＜ｒ    （２６）
（２４）式を満たす画素により構成される分割領域を低信頼度領域とし、（２５）式を満たす画素により構成される分割領域を中信頼度領域とし、（２６）式を満たす画素により構成される分割領域を高信頼度領域とする。
【０１１５】
なお、信頼度の算出は、取得した偏光度情報の少なくとも一部を用いて行えばよい。
【０１１６】
ステップＳ１０９では、画像処理部１０４は、ずれ量に基づいて領域分割された分割領域と、信頼度に基づいて領域分割された分割領域との対応を取得する。輝度情報と偏光情報が同じ撮像装置で取得された場合は、同じ位置の画素同士が対応する。輝度情報と偏光情報が互いに異なる視点位置で取得された場合は、既存のブロックマッチング法等による対応点抽出を行い、ずれ量と信頼度を被写体の同一点として関係付ける。
【０１１７】
ステップＳ１１０では、法線推定部１０４ｄが、ステップＳ１０４，Ｓ１０８，Ｓ１０９での領域分割により分割された分割領域ごとに法線情報の推定に用いる情報を選択して該推定を行う。ある被写体上の点（画素）がモデル適合度大領域でかつ低信頼度領域の場合は、光源位置に応じた輝度情報の変化から法線情報を推定する。また、ある被写体上の点がモデル適合度小領域で、かつ高信頼度領域の場合は、偏光情報から法線情報を推定する。同様にして、モデル適合度の大きい領域では照度差ステレオ法から、信頼度の高い領域では偏光情報から、それぞれ法線情報を推定する。モデル適合度大領域かつ高信頼度領域では、いずれか一方の手法で法線情報を推定すればよい。もちろん、それぞれの手法で推定した法線情報の平均値を用いてもよい。また、モデル適合度小領域かつ低信頼度領域でも、いずれか一方の手法で法線情報を推定してもよいし、各手法の平均値を用いてもよいし、周囲の画素の法線情報から補間してもよい。なお、光源位置に応じた輝度情報の変化からの法線情報の推定および偏光情報からの法線推定は、上述した方法で行えばよい。
【０１１８】
図３には、球状の被写体を、図示した光源位置で撮像した場合に得られる撮像画像を示す。撮像画像には、鏡面反射部３０１、光が当たらない陰部３０２や影部３０３が存在する。また、カメラに向かって正対する面では拡散反射成分の偏光度が低くなるため、低偏光度部３０４が存在する。同様に、光源位置が互いに異なる複数の画像（輝度情報）、さらに少なくとも１つの光源位置で偏光状態の異なる偏光画像を３以上用いることで法線情報を推定する。
【０１１９】
陰部３０２や影部３０３があると、その光源位置での輝度情報が得られないため、輝度情報に不足が生じ、照度差ステレオ法で法線を推定するのは困難となることがある。一方このような場合においても、偏光情報による法線推定はパッシブな手法であるため、法線情報が推定できる。また、鏡面反射部３０１が存在する場合も、鏡面反射成分は角度に対する輝度変化が大きいこと等から、照度差ステレオ法では精度よく法線を推定できない場合がある。
【０１２０】
しかし、鏡面反射成分は拡散反射成分よりも偏光度が大きい傾向にあるため、偏光情報から法線推定を行うことで精度良く法線情報を取得できる。また、反射特性モデルが想定できない被写体では照度差ステレオ法は使えないが、偏光情報を用いて法線情報が推定できる。一方、カメラに向かって正対する面では低偏光度となるために偏光情報から法線推定を行うことが難しいが、影ができにくいために照度差ステレオ法には有利な条件となる。その他の場合に、偏光度を用いて法線を推定しようとすると、被写体の屈折率を知る必要があるが、照度差ステレオ法では精度良く法線情報を推定できる。このように、光源位置に応じた輝度情報の変化または偏光情報を用いて法線情報を推定する場合に、一方を用いては推定し難い分割領域について、他方を用いた推定で補うことができる。したがって、被写体上のある点に対して上述のように領域分割に基づいて法線情報を推定することで、一般のより広範囲の被写体に対してロバストな法線情報の推定を行うことができる。
【実施例２】
【０１２１】
次に、図４を用いて、本発明の実施例２である撮像装置における法線情報の推定処理について説明する。本実施例は、領域分割の際にずれ量と信頼度の両方を同時に用いる点で実施例１と異なる。なお、本実施例における撮像装置の基本構成は、実施例１の撮像装置と共通である。
【０１２２】
図４において、ステップＳ２０１〜Ｓ２０３は、実施例１（図１）のステップＳ１０１〜Ｓ１０３と同じである。また、ステップＳ２０４〜Ｓ２０６は、ステップＳ１０５〜Ｓ１０７と同じである。さらに、ステップＳ２０７では、画像処理部１０４は、ステップＳ１０９と同様に、輝度情報と偏光画像を取得する際に用いられた撮像装置や撮像条件が異なる場合に、ステップＳ２０３で算出したずれ量ｅとステップＳ２０６で算出した信頼度ｒとの対応を取得する。
【０１２３】
ステップＳ２０８では、領域分割部１０４ｃは、ステップＳ２０３で算出したずれ量ｅとステップＳ２０６で算出した信頼度ｒとに基づいて領域分割を行う。具体的には、領域分割部１０４ｃは、画素ごとのずれ量ｅを実測した輝度値と反射特性モデルと推定した法線から算出される輝度値の差分のＲＭＳで定め、信頼度ｒを偏光度とする。このとき領域分割部１０４ｃは、以下の式に基づいて領域分割を行う。
ｋ（１−ｒ）≦ｅ  （２７）
ｋ（１−ｒ）＞ｅ  （２８）
ここで、ｋはずれ量と信頼度のスケールを合わせるための定数であり、実験的に決めればよい。（２７）式を満たす画素により構成される分割領域をモデル適合度小領域かつ高信頼度領域とし、（２８）式を満たす画素により構成される分割領域をモデル適合度大領域かつ低信頼度領域とする。
【０１２４】
ステップＳ２０９では、法線推定部１０４ｄは、ステップＳ２０８での領域分割により分割された分割領域ごとに法線情報の推定に用いる情報を選択して該推定を行う。ある被写体上の点（画素）がモデル適合度大領域かつ低信頼度領域である場合は、光源位置に応じた輝度情報の変化から法線情報を推定する。逆に、ある被写体上の点がモデル適合度小領域かつ高信頼度領域の場合は、偏光情報から法線情報を推定する。なお、光源位置に応じた輝度情報の変化からの法線情報の推定と、偏光情報からの法線情報の推定は上述した方法で行えばよい。ずれ量および信頼度の算出方法は、上記方法に限られない。
【実施例３】
【０１２５】
次に、図５を用いて、本発明の実施例３である撮像装置における法線情報の推定処理について説明する。本実施例は、互いに視差を有する複数の視差画像を取得する点で実施例１と異なる。なお、本実施例における撮像装置の基本構成は、実施例１の撮像装置と共通である。
【０１２６】
図５において、ステップＳ３０１〜Ｓ３０３は、実施例１（図１）のステップＳ１０１〜Ｓ１０３と同じである。ステップＳ３０４〜Ｓ３０６およびステップＳ３０７〜Ｓ３０９は、処理の内容はステップＳ１０５〜Ｓ１０７と同じであるが、それぞれ互いに異なる第１の視点と第２の視点からの撮像により取得された画像に対して処理を行う。また、ステップＳ３１２〜Ｓ３１４は、実施例２（図４）のステップＳ２０７〜Ｓ２０９と同じである。
【０１２７】
ステップＳ３１０では、画像処理部１０４は、第１の視点と第２の視点との対応を取得する。具体的には、第１および第２の視点からの偏光画像、偏光情報および信頼度の少なくとも１つに基づいて、ステップＳ１０９と同様に既存のブロックマッチング法等の対応点抽出手法を用いて第１および第２の視点のデータを被写体の同一点に対応付ける。被写体の同一点に対応付けられた２点を対応点という。
【０１２８】
ステップＳ３１１では、信頼度算出部１０４ｂは、ステップＳ３０５，Ｓ３０８で取得された偏光情報とステップＳ３０６，Ｓ３０９で算出された信頼度とを用いて第１および第２の視点における偏光情報を総合した信頼度を算出する。
【０１２９】
ここで、ステップＳ３０５およびＳ３０８で取得された偏光情報を用いて信頼度を算出する場合について説明する。前述したように異なる複数視点から見た偏光方位から被写体の面法線を推定できる。このとき、２視点から見た入射面のなす角が垂直に近いほど面法線の推定精度が良い。そこで、各視点から見た入射面のなす角を信頼度として用いることができる。この入射面は式（８）で決まるため、各視点での拡散反射成分または鏡面反射成分のうち支配的な成分が共通する場合は、偏光方位のなす角を信頼度として用いることができる。例えば、鏡面反射が無視できる石膏や拡散反射が無視できる金属光沢面では一方の成分だけが支配的だとしてもよい。
【０１３０】
次に、ステップＳ３０６およびＳ３０９で算出された信頼度を用いて信頼度を算出する場合について説明する。ここでは、第１の偏光情報を用いて算出された第１の信頼度と第２の偏光情報を用いて算出された第２の信頼度をステップＳ３１０で得られた対応点間で比較して、大きい方を用いればよい。ステップＳ３１４で偏光情報を用いた法線情報の推定を行う場合には、信頼度のより大きい視点で得られた偏光情報を用いて推定するとよい。
【０１３１】
本実施例で用いる複数の視差画像を取得する撮像部は、撮像光学系１０１の瞳のうちそれぞれ異なる領域を通過した複数の光束を撮像素子１０２における互いに異なる受光部（画素）に導いて光電変換を行わせる。
【０１３２】
図６には、本実施例の撮像部における撮像素子１０２の受光部と撮像光学系１０１の瞳との関係を示す。図６において、ＭＬはマイクロレンズであり、ＣＦはカラーフィルタである。ＥＸＰは撮像光学系１０１の射出瞳を示している。Ｇ１，Ｇ２は受光部（以下、それぞれ、Ｇ１画素およびＧ２画素という）であり、１つのＧ１画素と１つのＧ２画素とが互いに対をなしている。撮像素子１０２には、Ｇ１画素とＧ２画素の対（画素対）が複数配列されている。対のＧ１画素とＧ２画素は、共通の（つまりは画素対ごとに１つずつ設けられた）マイクロレンズＭＬを介して射出瞳ＥＸＰと共役な関係を有する。撮像素子１０２に配列された複数のＧ１画素をまとめてＧ１画素群ともいい、同様に撮像素子１０２に配列された複数のＧ２画素をまとめてＧ２画素群ともいう。
【０１３３】
図７には、図６に示したマイクロレンズＭＬの代わりに、射出瞳ＥＸＰの位置に薄肉レンズがあると仮定した場合の撮像部を模式的に示している。Ｇ１画素は射出瞳ＥＸＰのうちＰ１領域を通過した光束を受光し、Ｇ２画素は射出瞳ＥＸＰのうちＰ２領域を通過した光束を受光する。ＯＳＰは撮像している物点である。物点ＯＳＰには必ずしも物体が存在している必要は無く、この点を通った光束はそれが通過する瞳内での領域（位置）に応じてＧ１画素またはＧ２画素に入射する。瞳内の互いに異なる領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、各マイクロレンズＭＬに対して設けられたＧ１およびＧ２画素のうち、Ｇ１画素からの出力信号を用いて生成された画像とＧ２画素からの出力信号を用いて生成された画像とが、互いに視差を有する複数（ここでは一対）の視差画像となる。以下の説明において、瞳内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを、瞳分割ともいう。
【０１３４】
また、図６および図７において、射出瞳ＥＸＰの位置がずれる等して、上述した共役関係が完全ではなくなったりＰ１領域とＰ２領域とが部分的にオーバーラップしたりしても、得られた複数の画像を視差画像として扱うことができる。
【０１３５】
さらに別の例として、図８に示すような複数のカメラを用いて同一被写体を撮像する場合も視差画像が得られる。Ｃ１，Ｃ２，Ｃ３は実際には別々の撮像装置であるが、大きな瞳を３つに分割して撮像する一体の撮像装置と見なすことができる。
【０１３６】
また、図９に示すように、１つの撮像装置に複数の撮像光学系ＯＳｊ（ｊ＝１，２，３，…）を設けることで瞳分割を行うこともできる。
【実施例４】
【０１３７】
次に、図１０を用いて、本発明の実施例４である撮像装置における法線情報の推定処理について説明する。本実施例は、光源位置に応じた輝度情報に基づく領域分割を行った後に偏光画像に関する処理を行う点で実施例１とは異なる。なお、本実施例における撮像装置の基本構成は、実施例１の撮像装置と共通である。
【０１３８】
ステップＳ４０１〜Ｓ４０４およびＳ４０６は、実施例１（図１）におけるステップＳ１０１〜Ｓ１０５と同じである。また、ステップＳ４１１はステップＳ１１０と同じである。ステップＳ４０７では、ステップＳ１０９と同様に、輝度情報と偏光画像を取得する際に用いられた撮像装置や撮像条件が異なる場合に、ずれ量に基づいて領域分割された分割領域と、信頼度に基づいて領域分割された分割領域との対応を取得する。
【０１３９】
ステップＳ４０５では、画像処理部１０４は、ステップＳ４０４での領域分割により分割された分割領域にモデル適合度大領域ではない領域があるか否かを判定する。モデル適合度大領域ではない領域がある場合ステップＳ４０６に進み、なければステップＳ４１１に進む。
【０１４０】
ステップＳ４０８〜Ｓ４１０では、画像処理部１０４は、ステップＳ１０６〜Ｓ１０８と同じ処理を行うが、ステップＳ４０４でモデル適合度大領域ではない領域とされた分割領域に対してのみ処理を行う。
【０１４１】
本実施例では、モデル適合度大領域に対しては偏光情報に関する処理を行わないので、実施例１に比べて処理を高速化することができる。特に、前述したような光源位置に応じた輝度情報の変化から法線情報の推定がし難い分割領域が少ないほど、処理をより高速化することができる。
【実施例５】
【０１４２】
次に、図１１を用いて、本発明の実施例５である撮像装置における法線情報の推定処理について説明する。本実施例は、偏光情報に基づく領域分割を行った後に光源位置による輝度情報に関する処理を行う点で、実施例１とは異なる。なお、本実施例における撮像装置の基本構成は、実施例１の撮像装置と共通である。
【０１４３】
ステップＳ５０１〜Ｓ５０４およびＳ５０６は、実施例１（図１）のステップＳ１０５〜Ｓ１０８およびＳ１０１と同じである。また、ステップＳ５１１はステップＳ１１０と同じである。ステップＳ５０７では、ステップＳ１０９と同様に、輝度情報と偏光画像を取得する際に用いられた撮像装置や撮像条件が異なる場合に、ずれ量に基づいて領域分割された分割領域と、信頼度に基づいて領域分割された分割領域との対応を取得する。
【０１４４】
ステップＳ５０５では、画像処理部１０４は、ステップＳ５０４での領域分割により分割された分割領域に信頼度大領域ではない領域があるか否かを判定する。信頼度大領域ではない領域がある場合ステップＳ５０６に進み、なければステップＳ５１１に進む。
【０１４５】
ステップＳ５０８〜Ｓ５１０では、画像処理部１０４は、ステップＳ１０２〜Ｓ１０４と同じ処理を行うが、ステップＳ５０１で信頼度大領域ではない領域とされた分割領域に対してのみ処理を行う。
【０１４６】
本実施例では、信頼度大領域に対しては光源位置による輝度情報に関する処理を行わないので、実施例１に比べて処理を高速化することができる。特に、前述したような偏光情報による法線情報の推定がし難い分割領域が少ないほど、処理をより高速化することができる。
【０１４７】
なお、ステップＳ５０６の輝度情報の取得は、ステップＳ５０１で同時に行ってもよい。
【実施例６】
【０１４８】
実施例１〜５では、画像処理部１０４を搭載した撮像装置について説明したが、実施例１〜５にて説明した法線情報の推定処理（法線情報生成方法）は、パーソナルコンピュータにインストールされる法線情報生成プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の法線情報生成装置に相当する。
【０１４９】
図１８に示すように、パーソナルコンピュータ１４０２は、撮像装置１４０１による撮像により生成された画像（輝度情報画像、偏光画像および被写体画像）をケーブル通信、ワイヤレス通信および半導体メモリや光ディスク等の記録媒体を介して取り込む。そして、パーソナルコンピュータ１４０２は、法線情報生成プログラムに従って、実施例１〜５と同様に法線情報の推定処理を行い、その結果を出力する。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１５０】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【０１５１】
１０４  画像処理部
１０４ａ  モデルずれ算出部
１０４ｂ  信頼度算出部
１０４ｃ  領域分割部
１０４ｄ  法線推定部
【図１】
0006456156.tif 000012
【図２】
0006456156.tif 000013
【図３】
0006456156.tif 000014
【図４】
0006456156.tif 000015
【図５】
0006456156.tif 000016
【図６】
0006456156.tif 000017
【図７】
0006456156.tif 000018
【図８】
0006456156.tif 000019
【図９】
0006456156.tif 000020
【図１０】
0006456156.tif 000021
【図１１】
0006456156.tif 000022
【図１２】
0006456156.tif 000023
【図１３】
0006456156.tif 000024
【図１４】
0006456156.tif 000025
【図１５】
0006456156.tif 000026
【図１６】
0006456156.tif 000027
【図１７】
0006456156.tif 000028
【図１８】
0006456156.tif 000029