(57)【要約】  被写体を撮像することによって、被写体の表面における精度の高い法線情報を生成する。  法線情報生成装置は、被写体を撮像することによって被写体の表面における法線情報をパッシブに生成する。法線情報生成装置は、各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、視点位置の異なる複数の偏光画像に基づいて、被写体の法線方向ベクトルを推定する法線情報生成部とを有している。
2009147814.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像することによって前記被写体の表面における法線情報をパッシブに生成する画像処理装置であって、
各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、
視点位置の異なる前記複数の偏光画像に基づいて、被写体の法線方向ベクトルを推定する法線情報生成部と
を有する、画像処理装置。
【請求項２】
前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光光の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、
視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、
前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、
前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、前記領域分割部で分割された各領域に対応する、被写体の表面での法線１自由度をそれぞれ推定する法線１自由度推定部と
をさらに備え、前記法線情報生成部は、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、法線方向ベクトルを推定する、請求項１に記載の画像処理装置。
【請求項３】
前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、
視点位置の異なる前記複数の偏光画像のいずれかに含まれる特徴点を特定し、前記特徴点に基づいて他の前記複数の偏光画像を探索することにより、前記複数の偏光画像の各々の間で対応付けられた特徴点を特定し、各特徴点に基づいて、前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、
前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、
前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、前記領域分割部で分割された各領域に対応する、被写体の表面での法線１自由度をそれぞれ推定する法線１自由度推定部と
をさらに備え、前記法線情報生成部は、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、法線方向ベクトルを推定する、請求項１に記載の画像処理装置。
【請求項４】
前記偏光情報取得部は、偏光情報として、偏光度、偏光位相、偏光推定誤差、偏光最大輝度値、偏光最小輝度値の少なくとも１つを生成する、請求項３に記載の画像処理装置。
【請求項５】
前記領域分割部は、前記被写体の表面を、拡散反射領域および鏡面反射領域のいずれかに分割する、請求項４に記載の画像処理装置。
【請求項６】
前記領域分割部は、前記被写体の表面を、拡散反射領域、鏡面反射領域および陰影領域のいずれかに分割する、請求項４に記載の画像処理装置。
【請求項７】
前記領域分割部は、前記被写体の表面を、拡散反射領域、鏡面反射領域、アタッチト・シャドウ領域およびキャスト・シャドウ領域のいずれかに分割する、請求項４に記載の画像処理装置。
【請求項８】
前記領域分割部は、前記被写体の表面を、拡散反射領域、鏡面反射領域、ステレオ未対応領域およびオクルージョン領域のいずれかに分割する、請求項４に記載の画像処理装置。
【請求項９】
前記法線１自由度推定部は、前記拡散反射領域については、前記対応関係において輝度が最大となる偏光主軸角度を、当該領域に対応する前記被写体の出射面の法線情報として生成する、請求項５から８のいずれかに記載の画像処理装置。
【請求項１０】
前記法線１自由度推定部は、前記ステレオ未対応領域およびオクルージョン領域については、法線方向ベクトルが光軸に直交する平面上に存在することに基づいて、法線方向ベクトルを生成する、請求項８に記載の画像処理装置。
【請求項１１】
前記法線１自由度推定部は、前記鏡面反射領域およびアタッチト・シャドウ領域については、前記対応関係において輝度が最小となる偏光主軸角度を、当該領域に対応する前記被写体の入射面の法線情報として生成する、請求項５から８のいずれかに記載の画像処理装置。
【請求項１２】
前記法線情報生成部は、視点位置の異なる複数の偏光画像において、前記法線１自由度推定部が推定した入射面または出射面の交線を求めることによって、法線方向ベクトルを生成する、請求項９または請求項１１に記載の画像処理装置。
【請求項１３】
前記法線情報生成部は、生成された法線方向ベクトルと視線方向の相対関係を評価することによって、生成された法線方向ベクトルの不定性を除去する、請求項１２に記載の画像処理装置。
【請求項１４】
前記ステレオ対応取得部は、前記偏光情報取得部が取得した偏光最小輝度値を利用してステレオ画像の対応を取得する、請求項４に記載の画像処理装置。
【請求項１５】
前記法線情報生成部は、オクルージョン領域については、法線方向ベクトルは視線ベクトルと直交することを利用し、前記法線１自由度推定部で推定した入射面または出射面上において、視線ベクトルと直交するベクトルを法線方向ベクトルとして生成する、請求項８に記載の画像処理装置。
【請求項１６】
被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置であって、
各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、
前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、
視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、
前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、鏡面反射成分を仮定した処理と拡散反射成分を仮定した処理とを切り替えることにより、対応する被写体の表面での複数の法線１自由度候補を推定する法線１自由度推定部と、
前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、複数の法線方向ベクトル候補を生成する法線情報生成部と、
前記法線情報生成部によって生成された複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択する最適法線選択部と
を備えた、画像処理装置。
【請求項１７】
前記法線情報生成部は、法線方向ベクトルの連続性、鏡面反射成分と拡散反射成分の空間的な連続性、偏光情報、遮蔽エッジ近傍領域の法線方向ベクトル、法線情報および奥行情報の少なくとも１つに基づいて、最適な法線方向ベクトルを選択する、請求項１６に記載の画像処理装置。
【請求項１８】
前記法線情報生成部が生成した前記法線方向ベクトルの信頼性を推定し、前記信頼性の低さに応じて前記法線方向ベクトルを廃棄する信頼性推定部をさらに備えた、請求項３に記載の画像処理装置。
【請求項１９】
前記法線情報生成部は、信頼性の低さに応じて、前記法線方向ベクトルを、奥行情報に基づいて求めた法線方向ベクトルに置き換える、請求項１８に記載の画像処理装置。
【請求項２０】
前記法線情報生成部は、信頼性の低さに応じて、前記法線方向ベクトルを、近傍の法線方向ベクトルから補間処理を行なうことによって求めた法線方向ベクトルに置き換える、請求項１８に記載の画像処理装置。
【請求項２１】
前記信頼性推定部は、前記偏光情報取得部が取得した偏光情報、前記領域分割部の領域分割結果、前記法線１自由度推定部が推定した法線１自由度情報、および、前記法線情報生成部が生成した法線方向ベクトルの少なくとも１つに基づいて、法線方向ベクトルの信頼性を推定する、請求項１８に記載の画像処理装置。
【請求項２２】
前記信頼性推定部は、視点位置の異なる複数の偏光画像において、前記法線１自由度推定部が推定した法線１自由度情報である入射面または出射面のなす角度の大きさに応じて、推定する法線方向ベクトルの信頼性の大きさを変える、請求項２１に記載の画像処理装置。
【請求項２３】
前記領域分割部は、前記被写体の表面を陰影領域として領域分割を行ない、
前記信頼性推定部は、前記領域分割部が陰影領域として領域分割した領域における法線方向ベクトルの信頼性を相対的により低く推定する、請求項２１に記載の画像処理装置。
【請求項２４】
前記領域分割部は、前記被写体の表面をキャスト・シャドウ領域として領域分割を行ない、
前記信頼性推定部は、前記領域分割部がキャスト・シャドウ領域として領域分割した領域における法線方向ベクトルの信頼性を相対的により低く推定する、請求項２１に記載の画像処理装置。
【請求項２５】
前記信頼性推定部は、前記偏光情報取得部が取得した偏光情報、および、前記領域分割部の領域分割結果から法線情報を計算し、計算された法線情報と前記法線情報生成部が生成した法線方向ベクトルとを比較し、その差に応じて、法線方向ベクトルの信頼性を変える、請求項２１に記載の画像処理装置。
【請求項２６】
被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置であって、
各視点位置において偏光方向が異なる複数の偏光光を受け、被写体の視点位置の異なる３つ以上の複数の偏光画像を取得するステレオ偏光画像撮像部と、
前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、
視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、
前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、
前記偏光情報に基づいて、前記領域分割部によって分割された領域ごとに処理を切り替えることにより、対応する被写体の表面での法線１自由度を推定する法線１自由度推定部と、
前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、複数の法線方向ベクトルを推定する法線情報生成部と、
前記法線情報生成部によって生成された前記複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択する最適法線選択部
を備えた、画像処理装置。
【請求項２７】
前記法線情報生成部は、視点位置の異なる前記３つ以上の複数の偏光画像から、２つの偏光画像ごとに複数の法線方向ベクトル候補を生成する、請求項２６に記載の画像処理装置。
【請求項２８】
前記最適法線選択部は、前記ステレオ偏光画像撮像部が撮像した偏光画像、前記偏光情報取得部が取得した偏光情報、前記領域分割部の領域分割結果、前記法線１自由度推定部が推定した法線１自由度情報、および、前記法線情報生成部が生成した法線方向ベクトルの少なくとも１つに基づいて、前記複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択する、請求項２７に記載の画像処理装置。
【請求項２９】
前記最適法線選択部は、視点位置の異なる前記３つ以上の複数の偏光画像において、前記法線１自由度推定部が推定した法線１自由度情報である入射面または出射面のなす角度が最も大きい法線方向ベクトル候補を、最適な法線方向ベクトルとして推定する、請求項２８に記載の画像処理装置。
【請求項３０】
前記最適法線選択部は、前記信頼性推定部が推定した偏光度情報および前記領域分割部の領域分割結果に基づいて法線情報を計算し、計算された法線情報と前記法線情報生成部が生成した法線方向ベクトルとを比較し、その差が最小となる法線方向ベクトル候補を最適な法線方向ベクトルとして推定する、請求項２８に記載の画像処理装置。
【請求項３１】
被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置であって、
各視点位置において偏光方向が異なる複数の偏光光を受け、被写体の視点位置の異なる３つ以上の複数の偏光画像を取得するステレオ偏光画像撮像部と、
前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、
視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、
前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、
前記偏光情報に基づいて、前記領域分割部によって分割された領域ごとに処理を切り替えることにより、対応する被写体の表面での法線１自由度を推定する法線１自由度推定部と、
前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、複数の法線方向ベクトルを推定する法線情報生成部と、
を備えた、画像処理装置。
【請求項３２】
前記法線情報生成部は、前記法線１自由度推定部で推定した複数の入射面または出射面とのなす角が最大となる方向ベクトルを法線情報ベクトルとして生成する、請求項３１に記載の画像処理装置。
【請求項３３】
前記法線情報生成部は、法線方向ベクトルの連続性、鏡面反射成分と拡散反射成分の空間的な連続性、偏光情報、遮蔽エッジ近傍領域の法線方向ベクトル、法線情報および奥行情報の少なくとも１つの情報を拘束条件として利用することにより、法線方向ベクトルを選択する、請求項３２に記載の画像処理装置。
【請求項３４】
前記ステレオ偏光画像撮像部は、偏光主軸角度が異なる複数の偏光子を透過した前記被写体からの光を、前記各視点位置において偏光方向が異なる複数の偏光光として受ける、請求項１に記載の画像処理装置。
【請求項３５】
前記ステレオ偏光画像撮像部は、回転によって偏光主軸角度が可変である偏光子を回転させることにより、前記偏光子を透過した前記被写体からの光を、前記各視点位置において偏光方向が異なる複数の偏光光として受ける、請求項１に記載の画像処理装置。
【請求項３６】
被写体を撮像することによって前記被写体の表面における法線情報を生成する法線情報生成方法であって、
各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステップと、
前記複数の偏光光に関する偏光情報を生成するステップであって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成するステップと、
視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステップと、
前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、鏡面反射成分を仮定した処理と拡散反射成分を仮定した処理とを切り替えることにより、対応する被写体の表面での複数の法線１自由度候補を推定するステップと、
前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割するステップと、
前記偏光情報に基づいて、前記領域分割部によって分割された領域ごとに処理を切り替えることにより、対応する被写体の表面での法線１自由度を推定するステップと、
推定された前記法線１自由度、および、前記複数の偏光画像の画素ごとの対応関係に基づいて、複数の法線方向ベクトルを推定するステップと、
生成された前記複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択するステップと
を包含する、情報処理方法。
【請求項３７】
被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置のためのコンピュータプログラムであって、請求項３６に記載の方法に包含される各ステップを前記画像処理装置のコンピュータに実行させる、コンピュータプログラム。
【請求項３８】
複数の異なる視点位置で被写体を撮像することによって前記被写体の撮影時とは異なる任意視点位置からみた画像を合成する視点変換画像生成装置であって、
複数の異なる視点位置の各々において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、
視点位置の異なる前記複数の偏光画像に基づいて、被写体の法線方向ベクトルを法線情報として推定する法線情報生成部と、
前記法線情報から前記被写体の３次元形状を復元する形状復元部と、
前記３次元形状に基づいて、撮影された前記被写体の画像の視点位置を変換する視点変換部と
を備えた、視点変換画像生成装置。
【請求項３９】
所定の反射モデルによって、視点変換された画像から鏡面反射画像を生成する鏡面反射画像生成部と、
複数の画像を合成して１枚の画像を生成する合成部と、
画像を提示する提示部と
をさらに備え、
前記視点変換部は、前記被写体の画像から拡散反射成分と鏡面反射成分とを分離して得られる拡散反射画像および前記法線情報生成部から得られる法線画像の両方を視点変換し、
前記鏡面反射画像生成部は、視点変換された前記法線画像から鏡面反射画像を生成し、
前記合成部は、視点変換された前記拡散反射画像および生成された前記鏡面反射画像を合成し、
前記提示部は、合成された画像を提示する、請求項３８に記載の視点変換画像生成装置。
【請求項４０】
視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部をさらに備え、
前記形状復元部は、前記法線情報生成部から得られる法線画像および前記ステレオ対応取得部から得られる前記複数の偏光画像間で対応する画素の特徴点に対応する３次元位置を用いて、前記被写体の３次元形状を復元する、請求項３８に記載の視点変換画像生成装置。
【請求項４１】
視点変換された２次元画像を、観察者の視点位置に応じて逐次２次元画面に表示する提示部を有する、請求項３８に記載の視点変換画像生成装置。
【請求項４２】
観察者の視点位置における２種類の視差画像を生成することにより、多視点で立体表示を行う提示部を有する、請求項３８に記載の視点変換画像生成装置。
【請求項４３】
被写体を撮像することによって前記被写体の形状を復元する画像生成装置であって、
各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、
視点位置の異なる前記複数の偏光画像に基づいて、被写体の法線方向ベクトルを法線情報として推定する法線情報生成部と、
前記法線情報から前記被写体の３次元形状を復元する形状復元部と
を備えた画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像することによって被写体の表面における法線情報を生成する技術に関し、特に、複数視点から撮像した、偏光画像から法線情報を生成する技術に関する。さらに本発明は、生成した法線情報を利用して、被写体を撮影した時の視点位置とは異なる視点位置から見た画像を生成する技術に関する。
【背景技術】
【０００２】
カメラ付き携帯電話やデジタルカメラ、デジタルムービーカメラなどは将来、ＨＤＴＶ並みに高精細化すると言われており、付加価値を求めて小型化も進行中である。しかし、光学系や撮像素子が小型化すると、感度やレンズ回折限界などの基本的な画像撮像の限界の問題が発生し、将来的には高精細化も限界に到達すると考えられる。その場合、不足する取得された被写体の画像情報に加えてコンピュータグラフィックスで画像生成に利用される各種物理特性に関係する情報量の付与を行なうことで画質を向上することが有効になる。そのためには、従来の２次元画像処理の枠を超え、被写体の３次元形状情報や、被写体を照明する光源の情報など、画像生成過程における物理情報を取得しなくてはならない。【０００３】
形状情報の入力には、レーザ光やＬＥＤ光源を投光するレンジファインダや、２眼ステレオなどの距離計測システムが必要である。しかし、このような距離計測システムは大掛かりになる上に、たとえばカメラと被写体との距離がせいぜい数ｍ程度までしかデータを取得できないという制約や、対象被写体が固形物で明るい拡散物体に限られるなどの制約がある。これでは、子供の運動会などの遠距離の屋外シーン撮像や、髪の毛や衣服が重要な人物撮像には利用できない。【０００４】
また、これらの手法は３次元形状情報として奥行情報を取得する。しかし、画像生成過程における物理情報としては奥行情報ではなく、法線情報が非常に有効である。もちろん、これらの手法から求めた奥行情報から法線情報を取得することは広く行なわれているが（例えば、非特許文献１）、こうして求められた法線情報は精度が十分でないことが知られている（例えば、非特許文献２）。【０００５】
つまり、屋外シーンや一般被写体において上記目的を達成するためには、完全にパッシブ（受動的）に法線情報を直接、センシング（計測）する方法が必要である。【０００６】
法線情報を直接計測する手法としては、Ｐｈｏｔｏｍｅｔｒｉｃ  ＳｔｅｒｅｏなどのいわゆるＳｈａｐｅ  Ｆｒｏｍ  Ｓｈａｄｉｎｇ法と偏光を利用した手法が知られている。しかし、前者は、光源位置が既知であるか、光源位置を変動させる必要があるため、アクティブなセンシング方法となり、パッシブなセンシング方法ということはできない。【０００７】
偏光を利用した手法として、例えば、特許文献１では、被写体照明には特別な仮定をせず（ランダム偏光：非偏光照明）、カメラのレンズ前に装着した偏光板を回転させながら鏡面反射成分を観測する方法で被写体の局所的な法線情報を生成する方法が開示されている。被写体の表面法線は２つの自由度を有するが、これらは光の入射と反射の光線を包含する入射面と、入射面内での入射角という２つの角度を求めることにより法線を決定している。鏡面反射成分の入射面の情報は、偏光板を回転させて変化する輝度の最小値となる角度から求めている。【０００８】
また、非特許文献３では、被写体照明には特別な仮定をせず（ランダム偏光：非偏光照明）、カメラのレンズ前に装着した偏光板を回転させながら拡散反射成分を観測する方法で、被写体の法線情報のうち、光の入射と反射の光線を包含する出射面の角度１自由度を求めている。拡散反射成分の出射面の情報は、偏光板を回転させて変化する輝度の最大値となる角度から求めている。【０００９】
また、非特許文献４では、非特許文献３と同様の手法で角度１自由度を求め、さらに偏光度を直接、利用することで法線方向ベクトルを求めている。【００１０】
さらに、非特許文献５では、偏光情報とＳｈａｐｅ  Ｆｒｏｍ  Ｓｈａｄｉｎｇ法を組み合わせることにより、テクスチャがない被写体に対しても、法線情報の計測を行なっている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】ＵＳＰ５，０２８，１３８号公報
【非特許文献】
【００１２】
【非特許文献１】H. Hoppe, T. DeRose, T. Duchamp, J. McDonald, and W. Stuetzle, "Surface reconstruction from unorganized points," Computer Graphics (SIGGRAPH  '92 Proceedings), pp.71-78, 1992.
【非特許文献２】肥後智昭，宮崎大輔，池内克史，"陰影からの形状と反射パラメータの同時推定"，画像の認識・理解シンポジウム (MIRU2007)，pp.1093-1098，2007
【非特許文献３】Ondfej Drbohlav and Sara Radim，"Using polarization to determine intrinsic surface properties"，Proc. SPIE Vol.3826，pp.253-263，1999
【非特許文献４】G. A. Atkinson and E. R. Hancock, "Recovery of surface orientation from diffuse polarization," IEEE Transactions of Image Processing, Vol.15, No.6, pp.1653-1664, 2006
【非特許文献５】Gary A. Atkinson and Edwin R. Hancock，"Shape Estimation Using Polarization and Shading from Two Views"，IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.29，Iss.11，pp.2001-2017，2007
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、上述したいずれの文献も、問題点を抱えている。具体的には以下のとおりである。【００１４】
上記特許文献１の技術では、鏡面反射成分のみを対象にしているため、特殊な光源を利用しない限り、被写体全体の法線情報を取得することはできない。【００１５】
また、非特許文献２の技術では、光源位置を変えた非常に多くの画像を必要とするため、パッシブな手法ではない。【００１６】
また、非特許文献３の技術では、拡散反射成分の法線１自由度のみを対象にしており、鏡面反射成分のような反射特性の異なる領域では正確に法線情報を求めることができないという問題がある。また、非特許文献３の技術では、鏡面反射成分の影響を除去するため、光源をカメラ近傍に設置している。そのため、やはり特殊な光源が必要となり、パッシブな手法とは言いがたい。【００１７】
さらに、非特許文献４では、偏光度から直接、法線方向ベクトルを求めている。しかし、偏光度情報は多重反射などの影響を非常に受けやすいため、適用できる被写体の材質や形状、さらに撮影環境が大幅に限定されてしまう。【００１８】
また、非特許文献５では、被写体を回転テーブルに設置して撮影を行なうため、やはりパッシブな手法ではない。【００１９】
また、近年のカメラでは高ダイナミックレンジ化が進んでいる。そのため、鏡面反射成分による偏光と拡散反射成分による偏光が同時に取得されるため、両者の領域に対して法線情報を取得する手法が必要である。
【課題を解決するための手段】
【００２０】
本発明による画像処理装置は、被写体を撮像することによって前記被写体の表面における法線情報をパッシブに生成する画像処理装置であって、各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、視点位置の異なる前記複数の偏光画像に基づいて、被写体の法線方向ベクトルを推定する法線情報生成部とを有している。【００２１】
前記画像処理装置は、前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光光の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、前記領域分割部で分割された各領域に対応する、被写体の表面での法線１自由度をそれぞれ推定する法線１自由度推定部とをさらに備え、前記法線情報生成部は、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、法線方向ベクトルを推定してもよい。【００２２】
前記画像処理装置は、前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、視点位置の異なる前記複数の偏光画像のいずれかに含まれる特徴点を特定し、前記特徴点に基づいて他の前記複数の偏光画像を探索することにより、前記複数の偏光画像の各々の間で対応付けられた特徴点を特定し、各特徴点に基づいて、前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、前記領域分割部で分割された各領域に対応する、被写体の表面での法線１自由度をそれぞれ推定する法線１自由度推定部とをさらに備え、前記法線情報生成部は、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、法線方向ベクトルを推定してもよい。【００２３】
前記偏光情報取得部は、偏光情報として、偏光度、偏光位相、偏光推定誤差、偏光最大輝度値、偏光最小輝度値の少なくとも１つを生成してもよい。【００２４】
前記領域分割部は、前記被写体の表面を、拡散反射領域および鏡面反射領域のいずれかに分割してもよい。【００２５】
前記領域分割部は、前記被写体の表面を、拡散反射領域、鏡面反射領域および陰影領域のいずれかに分割してもよい。【００２６】
前記領域分割部は、前記被写体の表面を、拡散反射領域、鏡面反射領域、アタッチト・シャドウ領域およびキャスト・シャドウ領域のいずれかに分割してもよい。【００２７】
前記領域分割部は、前記被写体の表面を、拡散反射領域、鏡面反射領域、ステレオ未対応領域およびオクルージョン領域のいずれかに分割してもよい。【００２８】
前記法線１自由度推定部は、前記拡散反射領域については、前記対応関係において輝度が最大となる偏光主軸角度を、当該領域に対応する前記被写体の出射面の法線情報として生成してもよい。【００２９】
前記法線１自由度推定部は、前記ステレオ未対応領域およびオクルージョン領域については、法線方向ベクトルが光軸に直交する平面上に存在することに基づいて、法線方向ベクトルを生成してもよい。【００３０】
前記法線１自由度推定部は、前記鏡面反射領域およびアタッチト・シャドウ領域については、前記対応関係において輝度が最小となる偏光主軸角度を、当該領域に対応する前記被写体の入射面の法線情報として生成してもよい。【００３１】
前記法線情報生成部は、視点位置の異なる複数の偏光画像において、前記法線１自由度推定部が推定した入射面または出射面の交線を求めることによって、法線方向ベクトルを生成してもよい。【００３２】
前記法線情報生成部は、生成された法線方向ベクトルと視線方向の相対関係を評価することによって、生成された法線方向ベクトルの不定性を除去してもよい。【００３３】
前記ステレオ対応取得部は、前記偏光情報取得部が取得した偏光最小輝度値を利用してステレオ画像の対応を取得してもよい。【００３４】
前記法線情報生成部は、オクルージョン領域については、法線方向ベクトルは視線ベクトルと直交することを利用し、前記法線１自由度推定部で推定した入射面または出射面上において、視線ベクトルと直交するベクトルを法線方向ベクトルとして生成してもよい。【００３５】
本発明による他の画像処理装置は、被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置であって、各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、鏡面反射成分を仮定した処理と拡散反射成分を仮定した処理とを切り替えることにより、対応する被写体の表面での複数の法線１自由度候補を推定する法線１自由度推定部と、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、複数の法線方向ベクトル候補を生成する法線情報生成部と、前記法線情報生成部によって生成された複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択する最適法線選択部とを備えている。【００３６】
前記法線情報生成部は、法線方向ベクトルの連続性、鏡面反射成分と拡散反射成分の空間的な連続性、偏光情報、遮蔽エッジ近傍領域の法線方向ベクトル、法線情報および奥行情報の少なくとも１つに基づいて、最適な法線方向ベクトルを選択してもよい。【００３７】
前記画像処理装置は、前記法線情報生成部が生成した前記法線方向ベクトルの信頼性を推定し、前記信頼性の低さに応じて前記法線方向ベクトルを廃棄する信頼性推定部をさらに備えていてもよい。【００３８】
前記法線情報生成部は、信頼性の低さに応じて、前記法線方向ベクトルを、奥行情報に基づいて求めた法線方向ベクトルに置き換えてもよい。【００３９】
前記法線情報生成部は、信頼性の低さに応じて、前記法線方向ベクトルを、近傍の法線方向ベクトルから補間処理を行なうことによって求めた法線方向ベクトルに置き換えてもよい。【００４０】
前記信頼性推定部は、前記偏光情報取得部が取得した偏光情報、前記領域分割部の領域分割結果、前記法線１自由度推定部が推定した法線１自由度情報、および、前記法線情報生成部が生成した法線方向ベクトルの少なくとも１つに基づいて、法線方向ベクトルの信頼性を推定してもよい。【００４１】
前記信頼性推定部は、視点位置の異なる複数の偏光画像において、前記法線１自由度推定部が推定した法線１自由度情報である入射面または出射面のなす角度の大きさに応じて、推定する法線方向ベクトルの信頼性の大きさを変えてもよい。【００４２】
前記領域分割部は、前記被写体の表面を陰影領域として領域分割を行ない、前記信頼性推定部は、前記領域分割部が陰影領域として領域分割した領域における法線方向ベクトルの信頼性を相対的により低く推定してもよい。【００４３】
前記領域分割部は、前記被写体の表面をキャスト・シャドウ領域として領域分割を行ない、前記信頼性推定部は、前記領域分割部がキャスト・シャドウ領域として領域分割した領域における法線方向ベクトルの信頼性を相対的により低く推定してもよい。【００４４】
前記信頼性推定部は、前記偏光情報取得部が取得した偏光情報、および、前記領域分割部の領域分割結果から法線情報を計算し、計算された法線情報と前記法線情報生成部が生成した法線方向ベクトルとを比較し、その差に応じて、法線方向ベクトルの信頼性を変えてもよい。【００４５】
本発明によるさらに他の画像処理装置は、被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置であって、各視点位置において偏光方向が異なる複数の偏光光を受け、被写体の視点位置の異なる３つ以上の複数の偏光画像を取得するステレオ偏光画像撮像部と、前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、前記偏光情報に基づいて、前記領域分割部によって分割された領域ごとに処理を切り替えることにより、対応する被写体の表面での法線１自由度を推定する法線１自由度推定部と、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、複数の法線方向ベクトルを推定する法線情報生成部と、前記法線情報生成部によって生成された前記複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択する最適法線選択部とを備えている。【００４６】
前記法線情報生成部は、視点位置の異なる前記３つ以上の複数の偏光画像から、２つの偏光画像ごとに複数の法線方向ベクトル候補を生成してもよい。【００４７】
前記最適法線選択部は、前記ステレオ偏光画像撮像部が撮像した偏光画像、前記偏光情報取得部が取得した偏光情報、前記領域分割部の領域分割結果、前記法線１自由度推定部が推定した法線１自由度情報、および、前記法線情報生成部が生成した法線方向ベクトルの少なくとも１つに基づいて、前記複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択してもよい。【００４８】
前記最適法線選択部は、視点位置の異なる前記３つ以上の複数の偏光画像において、前記法線１自由度推定部が推定した法線１自由度情報である入射面または出射面のなす角度が最も大きい法線方向ベクトル候補を、最適な法線方向ベクトルとして推定してもよい。【００４９】
前記最適法線選択部は、前記信頼性推定部が推定した偏光度情報および前記領域分割部の領域分割結果に基づいて法線情報を計算し、計算された法線情報と前記法線情報生成部が生成した法線方向ベクトルとを比較し、その差が最小となる法線方向ベクトル候補を最適な法線方向ベクトルとして推定してもよい。【００５０】
本発明によるさらに他の画像処理装置は、被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置であって、各視点位置において偏光方向が異なる複数の偏光光を受け、被写体の視点位置の異なる３つ以上の複数の偏光画像を取得するステレオ偏光画像撮像部と、前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、前記偏光情報に基づいて、前記領域分割部によって分割された領域ごとに処理を切り替えることにより、対応する被写体の表面での法線１自由度を推定する法線１自由度推定部と、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、複数の法線方向ベクトルを推定する法線情報生成部とを備えている。【００５１】
前記法線情報生成部は、前記法線１自由度推定部で推定した複数の入射面または出射面とのなす角が最大となる方向ベクトルを法線情報ベクトルとして生成してもよい。【００５２】
前記法線情報生成部は、法線方向ベクトルの連続性、鏡面反射成分と拡散反射成分の空間的な連続性、偏光情報、遮蔽エッジ近傍領域の法線方向ベクトル、法線情報および奥行情報の少なくとも１つの情報を拘束条件として利用することにより、法線方向ベクトルを選択してもよい。【００５３】
前記ステレオ偏光画像撮像部は、偏光主軸角度が異なる複数の偏光子を透過した前記被写体からの光を、前記各視点位置において偏光方向が異なる複数の偏光光として受けてもよい。【００５４】
前記ステレオ偏光画像撮像部は、回転によって偏光主軸角度が可変である偏光子を回転させることにより、前記偏光子を透過した前記被写体からの光を、前記各視点位置において偏光方向が異なる複数の偏光光として受けてもよい。【００５５】
本発明による画像処理方法は、被写体を撮像することによって前記被写体の表面における法線情報を生成する法線情報生成方法であって、各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステップと、前記複数の偏光光に関する偏光情報を生成するステップであって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成するステップと、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステップと、前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、鏡面反射成分を仮定した処理と拡散反射成分を仮定した処理とを切り替えることにより、対応する被写体の表面での複数の法線１自由度候補を推定するステップと、前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割するステップと、前記偏光情報に基づいて、前記領域分割部によって分割された領域ごとに処理を切り替えることにより、対応する被写体の表面での法線１自由度を推定するステップと、推定された前記法線１自由度、および、前記複数の偏光画像の画素ごとの対応関係に基づいて、複数の法線方向ベクトルを推定するステップと、生成された前記複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択するステップとを包含する。【００５６】
本発明によるコンピュータプログラムは、被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置のためのコンピュータプログラムであって、上述の方法に包含される各ステップを前記画像処理装置のコンピュータに実行させる。【００５７】
本発明による視点変換画像生成装置は、複数の異なる視点位置で被写体を撮像することによって前記被写体の撮影時とは異なる任意視点位置からみた画像を合成する視点変換画像生成装置であって、複数の異なる視点位置の各々において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、視点位置の異なる前記複数の偏光画像に基づいて、被写体の法線方向ベクトルを法線情報として推定する法線情報生成部と、前記法線情報から前記被写体の３次元形状を復元する形状復元部と、前記３次元形状に基づいて、撮影された前記被写体の画像の視点位置を変換する視点変換部とを備えている。【００５８】
前記視点変換画像生成装置は、所定の反射モデルによって、視点変換された画像から鏡面反射画像を生成する鏡面反射画像生成部と、複数の画像を合成して１枚の画像を生成する合成部と、画像を提示する提示部とをさらに備え、前記視点変換部は、前記被写体の画像から拡散反射成分と鏡面反射成分とを分離して得られる拡散反射画像および前記法線情報生成部から得られる法線画像の両方を視点変換し、前記鏡面反射画像生成部は、視点変換された前記法線画像から鏡面反射画像を生成し、前記合成部は、視点変換された前記拡散反射画像および生成された前記鏡面反射画像を合成し、前記提示部は、合成された画像を提示してもよい。【００５９】
前記視点変換画像生成装置は、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部をさらに備え、前記形状復元部は、前記法線情報生成部から得られる法線画像および前記ステレオ対応取得部から得られる前記複数の偏光画像間で対応する画素の特徴点に対応する３次元位置を用いて、前記被写体の３次元形状を復元してもよい。【００６０】
前記視点変換画像生成装置は、視点変換された２次元画像を、観察者の視点位置に応じて逐次２次元画面に表示する提示部を有していてもよい。【００６１】
前記視点変換画像生成装置は、観察者の視点位置における２種類の視差画像を生成することにより、多視点で立体表示を行う提示部を有していてもよい。【００６２】
本発明による画像生成装置は、被写体を撮像することによって前記被写体の形状を復元する画像生成装置であって、各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、視点位置の異なる前記複数の偏光画像に基づいて、被写体の法線方向ベクトルを法線情報として推定する法線情報生成部と、前記法線情報から前記被写体の３次元形状を復元する形状復元部とを備えている。
【発明の効果】
【００６３】
本発明によれば、被写体の偏光情報を利用することで、鏡面反射領域と拡散反射領域の領域分割が行われ、領域ごとに法線情報が生成される。これにより、広い領域についてパッシブに精度の高い法線情報を生成（または推定）できる。
【図面の簡単な説明】
【００６４】
【図１】画像処理装置５００の構成を示す図である。
【図２】３次元形状情報を取得する方法を比較した図である。
【図３】画像処理装置５００による処理の流れを示すフローチャートである。
【図４】本発明の第１および第２の実施形態に係る法線情報生成装置の構成を示す機能ブロック図である。
【図５】本発明の第１および第２および第３および第４および第５の実施形態に係る法線情報生成装置が搭載されたカメラの構成例を示す図である。
【図６】本発明におけるパターン偏光子と撮像装置における撮像素子の関係を示した模式図である。
【図７】本発明の第１の実施形態に係る法線情報生成装置による処理の流れを示すフローチャートである。
【図８】本発明におけるパターン偏光子の配列状態を説明するための模式図である。
【図９】本発明における正弦関数輝度変化と観測輝度点を説明するための模式図である。
【図１０】本願発明者らによる撮影時のカメラ２００と被写体の位置関係、および、カメラ２００内のパターン偏光子２０１および２０１−２の位置関係を示す図である。
【図１１】（ａ）〜（ｄ）は、球体である地球儀の被写体を撮影した画像と、その画像から求めた偏光度ρ１と偏光位相φｍａｘ１、偏光推定誤差Ｅ１の図である。
【図１２】（ａ）〜（ｄ）は、球体である地球儀の被写体を撮影した画像と、その画像から求めた偏光度ρ１と偏光位相φｍａｘ１、偏光推定誤差Ｅ１の模式図である。
【図１３】（ａ）〜（ｄ）は、図１１（ａ）〜（ｄ）に示す画像と、図１２（ａ）〜（ｄ）に示す各領域との対応関係を示す図である。
【図１４】（ａ）〜（ｄ）は、発泡スチロール製の頭部模型の被写体を撮影した画像と、その画像から求めた偏光度ρ１と偏光位相φｍａｘ１、偏光推定誤差Ｅ１の図である。
【図１５】本発明の第１の実施形態に係るステレオ対応取得部による処理の流れを示すフローチャートである。
【図１６】（ａ）および（ｂ）は、本発明の第１の実施形態に係るステレオ対応取得部による対応点間の補間処理を説明するための模式図である。
【図１７】被写体の屈折率ｎ＝１．１，１．３，１．５，２．０の場合における鏡面反射成分の入射角に対する偏光度を示したグラフである。
【図１８】被写体の屈折率ｎ＝１．１，１．３，１．５，２．０の場合における拡散反射成分の出射角に対する偏光度を示したグラフである。
【図１９】法線方向ベクトル、視線ベクトル、光源方向ベクトルの関係を説明するための模式図である。
【図２０】本発明の第１の実施形態に係る領域分割部における領域分割基準を表した模式図である。
【図２１】本発明の第１の実施形態に係る領域分割部における別の領域分割基準を表した模式図である。
【図２２】本発明におけるパターン偏光子の別の配列状態を説明するための模式図である。
【図２３】本発明の第１の実施形態に係る法線情報生成部における法線方向ベクトル推定処理を説明するための模式図である。
【図２４】（ａ）〜（ｄ）は、球体である地球儀の被写体をステレオ偏光画像撮像部で撮影した画像と、そのステレオ偏光画像から求めた偏光位相φｍａｘの図である。
【図２５】（ａ）〜（ｄ）は、球体である地球儀の被写体をステレオ偏光画像撮像部で撮影した画像と、そのステレオ偏光画像から求めた偏光位相φｍａｘの模式図である。
【図２６】（ａ）〜（ｄ）は、図２４（ａ）〜（ｄ）に示す画像と、図２５（ａ）〜（ｄ）に示す各領域との対応関係を示す図である。
【図２７】（ａ）〜（ｃ）は、本発明の第１の実施形態に係る法線情報生成装置によって推定された法線方向ベクトル、および、本発明の第６の実施形態に係る法線情報生成装置によって推定された法線方向ベクトル候補を可視化した法線画像の図である。
【図２８】（ａ）〜（ｃ）は、本発明の第１の実施形態に係る法線情報生成装置によって推定された法線方向ベクトル、および、本発明の第６の実施形態に係る法線情報生成装置によって推定された法線方向ベクトル候補を可視化した法線画像の模式図である。
【図２９】（ａ）〜（ｃ）はそれぞれ、図２７（ａ）〜（ｃ）に示す画像と、図２８（ａ）〜（ｃ）に示す各領域との対応関係を示す図である。
【図３０】座標系のｘ，ｙ，ｚ方向を説明するための模式図である。
【図３１】本発明の第２の実施形態に係る法線情報生成装置による処理の流れを示すフローチャートである。
【図３２】本発明の第２の実施形態に係る法線情報生成装置による処理の流れを示すフローチャートである。
【図３３】本発明の第２の実施形態に係る領域分割部による処理の流れを示すフローチャートである。
【図３４】オクルージョン領域である未対応領域と法線方向の関係を説明するための模式図である。
【図３５】本発明の第３の実施形態に係る法線情報生成装置の構成を示す機能ブロック図である。
【図３６】本発明の第３の実施形態に係る法線情報生成部において、鏡面反射成分や拡散反射成分の空間的な連続性を拘束条件として利用するための状態遷移図である。
【図３７】本発明の第３の実施形態に係る法線情報生成装置による処理の流れを示すフローチャートである。
【図３８】本発明の第４および第５の実施形態に係る法線情報生成装置の構成を示す機能ブロック図である。
【図３９】法線方向ベクトル推定の信頼性を説明するための模式図である。
【図４０】本発明の第４の実施形態に係る法線情報生成装置による処理の流れを示すフローチャートである。
【図４１】本発明の第４の実施形態に係る法線情報生成装置による処理の流れを示すフローチャートである。
【図４２】入出射面角の計算方法を説明するための模式図である。
【図４３】本発明の第４の実施形態に係る法線情報生成装置の構成を示す別の機能ブロック図である。
【図４４】本発明の第４の実施形態に係る領域分割部による処理の流れを示す別のフローチャートである。
【図４５】本発明の第４の実施形態に係る領域分割部による処理の流れを示す別のフローチャートである。
【図４６】本発明の第５の実施形態に係る法線情報生成装置の構成を示す別の機能ブロック図である。
【図４７】本発明の第５の実施形態に係る領域分割部における領域分割基準を表した模式図である。
【図４８】本発明の第５の実施形態に係る法線情報生成装置による処理の流れを示す別のフローチャートである。
【図４９】本発明の第５の実施形態に係る法線情報生成装置による処理の流れを示す別のフローチャートである。
【図５０】ａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗという陰影の分類を説明するための模式図である。
【図５１】ａｔｔａｃｈｅｄ  ｓｈａｄｏｗ領域における多重反射光の入射を説明するための模式図である。
【図５２】ｃａｓｔ  ｓｈａｄｏｗ領域における多重反射光の入射を説明するための模式図である。
【図５３】本発明の第５の実施形態に係る領域分割部における、陰影領域と分割された領域に対する領域分割基準を表した模式図である。
【図５４】本発明の第５の実施形態に係る領域分割部による処理の流れを示すフローチャートである。
【図５５】本発明の第５の実施形態に係る領域分割部における、陰影領域と分割された領域に対する別の領域分割基準を表した模式図である。
【図５６】本発明の第５の実施形態に係る領域分割部による処理の流れを示す別のフローチャートである。
【図５７】本発明の第５の実施形態に係る法線情報生成装置による処理の流れを示す別のフローチャートである。
【図５８】本発明の第６の実施形態に係る法線情報生成装置の構成を示す機能ブロック図である。
【図５９】本発明の第６の実施形態に係る法線情報生成装置による処理の流れを示すフローチャートである。
【図６０】本発明の第６の実施形態に係る法線情報生成装置による処理の流れを示すフローチャートである。
【図６１】本発明の第６および第７の実施形態に係る法線情報生成装置が搭載されたカメラの構成例を示す図である。
【図６２】本願発明者らによる撮影時のカメラ２００と被写体との位置関係、および、カメラ２００内のパターン偏光子２０１、２０１−２および２０１−３の位置関係を示す図である。
【図６３】（ａ）〜（ｄ）は、球体である地球儀の被写体をステレオ偏光画像撮像部で撮影した画像と、そのステレオ偏光画像から求めた偏光位相φｍａｘを示す図である。
【図６４】（ａ）および（ｂ）はそれぞれ、図６３（ｃ）および（ｄ）に示す画像に対応する領域を示す図である。
【図６５】（ａ）〜（ｃ）は、本発明の第６の実施形態に係る法線情報生成装置によって推定された法線方向ベクトル候補を可視化した法線画像の図である。
【図６６】（ａ）〜（ｃ）は、本発明の第６の実施形態に係る法線情報生成装置によって推定された法線方向ベクトル候補を可視化した法線画像の模式図である。
【図６７】（ａ）〜（ｃ）はそれぞれ、図６５（ａ）〜（ｃ）に示す画像と、図６６（ａ）〜（ｃ）に示す各領域との対応関係を示す図である。
【図６８】（ａ）〜（ｄ）は、本発明の第６の実施形態に係る最適法線選択部によって選択された法線方向ベクトルおよび最適法線選択結果を可視化した法線画像の図である。
【図６９】（ａ）〜（ｄ）は、本発明の第６の実施形態に係る最適法線選択部によって選択された法線方向ベクトルおよび最適法線選択結果を可視化した法線画像の模式図である。
【図７０】（ａ）〜（ｄ）はそれぞれ、図６８（ａ）〜（ｄ）に示す画像と、図６９（ａ）〜（ｄ）に示す各領域との対応関係を示す図である。
【図７１】本発明の第６の実施形態に係る法線情報生成装置の構成を示す別の機能ブロック図である。
【図７２】本発明の第６の実施形態に係る最適法線選択部および法線情報生成部による処理の流れを示す別のフローチャートである。
【図７３】本発明の第７の実施形態に係る法線情報生成装置の構成を示す別の機能ブロック図である。
【図７４】本発明の第７の実施形態に係る法線情報生成装置による処理の流れを示すフローチャートである。
【図７５】本発明の第８の実施形態に係る視点変換画像生成装置を示すブロック図である。
【図７６】形状復元部の動作を示すフローチャートである。
【図７７】勾配と法線ベクトルＮの幾何学的関係を示す図である。
【図７８】勾配（ｐ，ｑ）の具体的な積分手法を説明する図である。
【図７９】法線画像から奥行き画像が生成される過程を示す図である。
【図８０】ステレオ視からの制御点によって奥行き画像の復元を制御する説明図である。
【図８１】形状復元部の各ステップでの処理結果を示す図である。
【図８２】ＤＳ分離部の処理を示す図である。
【図８３】３Ｄ形状データ構造を示す図である。
【図８４】視点変換処理を説明するフローチャートである。
【図８５】視点変換処理を説明する模式図である。
【図８６】鏡面反射モデルを説明する図である。
【図８７】生成された視点変換画像の結果例を示す図である。
【図８８】合成された視点の幾何学的関係（２Ｄディスプレイの場合）を示す図である。
【図８９】合成された視点の幾何学的関係（３Ｄディスプレイの場合）を示す図である。
【発明を実施するための形態】
【００６５】
添付の図面を参照しながら、本発明による法線情報生成装置および法線情報生成装置を備えた画像処理装置の実施形態を説明する。
【００６６】
以下に説明する各実施形態は、主として本発明による法線情報生成装置に関している。各実施形態の説明に先立って、まず法線情報生成装置を備えた画像処理装置の構成および動作を説明する。
【００６７】
図１は、本発明による画像処理装置５００の構成を示す。画像処理装置５００は、法線情報生成装置５０１と、画像撮像部５０２と、ＤＢ５０３と、画像処理部５０４と、提示部５０５とを備えている。
【００６８】
法線情報生成装置５０１は、後述の第１から第７の実施形態のいずれかにかかる法線情報生成装置である。法線情報生成装置５０１は、被写体の表面における法線情報を生成して出力する。この情報は、法線情報生成装置５０１によって推定された、画像内の法線方向ベクトルを示している。本明細書においては、法線情報生成装置５０１が法線情報（法線方向ベクトル）を生成することを「法線情報（法線方向ベクトル）を推定する」ということがある。
【００６９】
なお、法線情報生成装置５０１は１つの筐体に収められていてもよいし、または、画像撮像部５０２、ＤＢ５０３および画像処理部５０４とともに１つの筐体に収められていてもよい。前者の場合は、後述する画像撮像部５０２（カメラ）、提示部５０５（ディスプレイ）等の他の構成要素とともに、１つの画像処理システムとして実現されてもよい。
【００７０】
画像撮像部５０２は、たとえばカメラであり、被写体を撮像する。後述する各実施形態による各法線情報生成装置は画像撮像部を有しているため、当該画像撮像部を利用することにより、法線情報生成装置とは別に画像撮像部５０２を設ける必要はなく、省略してもよい。
【００７１】
ＤＢ５０３は、被写体情報等を保持している。提示部５０５は、たとえばディスプレイであり、画像処理部５０４で作成された画像をユーザに提示する。
【００７２】
画像処理部５０４は、画像撮像部５０２によって撮像された画像情報と、法線情報生成装置５０１によって推定された法線方向ベクトル情報と、前記ＤＢ５０３に保持されている被写体情報とを利用して、画像処理を行なう。
【００７３】
例えば、画像処理部５０４は、モデルベースの画像合成と呼ばれている手法を利用して画像処理を行なっても構わない。この手法は、被写体の法線情報やテクスチャ情報を取得し、さらに、光源情報、カメラ情報などを利用することで、自由な視点位置の画像や、任意の光源環境の画像を合成するものである。そのため、デジタルアーカイブや拡張現実の分野において、インタラクティブな画像提示方法として利用されている（例えば、Y. Sato, M. D. Wheeler, and K. Ikeuchi, "Object shape and reflectance modeling from observation", SIGGRAPH 97, pp.379-387, 1997）。法線情報生成装置５０１として、本実施形態の法線情報生成装置を利用することで、高精度なモデルベースの画像合成が可能である。
【００７４】
または、画像処理部５０４は、モデルベースの画像の高解像度化処理を行なっても構わない。学習を利用した画像処理において、学習時と画像合成時の視点位置や光源環境の変化が大きな問題とされていた。しかし、モデルベースの手法を導入することで、この問題を解決し、高精度な高解像度化処理が可能である。このような画像処理装置５００は、例えば、特許第４０８２７１４号公報などを利用すればよい。
【００７５】
または、画像処理部５０４は、ＦＡ（ファクトリー・オートメーション）などで広く利用されている、被写体の表面検査などに利用される画像処理を行なっても構わない。これは、理想的な表面法線方向と実際の表面法線方向を比較することで、被写体表面の傷などを検出する技術である。
【００７６】
図２は、画像処理装置５００が３次元形状情報を取得する手法を比較した図である。法線情報生成装置５０１は、３次元形状情報を構成する情報のうちの法線情報をパッシブに生成する。従来の偏光法等はアクティブに法線情報を求めるものであり、パッシブに生成する本発明とは相違する。３次元形状情報を構成する奥行情報については、本発明の対象ではないため、説明は省略する。
【００７７】
図３は、画像処理装置５００による処理の流れを示すフローチャートである。各ステップＳ６０１〜Ｓ６０５を囲む破線に対して付された参照符号５０１〜５０５は、上述の画像処理装置５００の構成要素の参照符号に対応しており、各構成要素が実行する処理であることを示している。
【００７８】
まず、画像撮像部５０２は、被写体表面の撮像を行なう（ステップＳ６０１）。法線情報生成装置５０１は、各実施形態に関連して後述されるいずれかの手法を利用することで、被写体表面の法線方向ベクトルｎｅを推定する（ステップＳ６０２）。
【００７９】
画像処理部５０４は、ＤＢ５０３に保持されている、被写体表面の理想法線方向ベクトルｎｉを取得する（ステップＳ６０３）。被写体表面の理想法線方向ベクトルｎｉは、例えば、被写体のＣＡＤ情報から作成した、形状情報として実現すればよい。ここで、ステップＳ６０１、ステップＳ６０２、ステップＳ６０３の順序は任意であり、順次実行してもよいし、もちろん、並列的に実行しても構わない。
【００８０】
画像処理部５０４は、法線情報生成装置５０１によって推定された被写体表面の法線方向ベクトルｎｅと、ＤＢ５０３に保持されていた被写体表面の理想法線方向ベクトルｎｉを比較することで、異常法線を検出する（ステップＳ６０４）。
【００８１】
この処理を具体的に説明すると、まず画像処理部５０４は、画像撮像部５０２で撮像された画像情報を利用して、理想法線方向ベクトルｎｉの形状情報の位置合わせを行なう。その後、画像処理部５０４は、法線方向ベクトルｎｅと理想法線方向ベクトルｎｉの差分を検出し、差分値が大きい法線方向ベクトルｎeを異常法線として検出する。画像情報を利用した形状情報の位置合わせは、公知の技術を利用すればよい。
【００８２】
提示部５０５は、画像撮像部５０２で撮像された被写体の画像に対し、画像処理部５０４によって検出された異常法線に対応する画素を強調し、ユーザに提示する（ステップＳ６０５）。このような画素の強調は、例えば、異常法線に対応する画素を赤い色で表示するなどの処理を行なえばよい。
【００８３】
なお、法線情報を利用して異常法線を検出する上述の処理は一例である。得られた法線情報を被写体の画像情報とともに利用することにより、画像生成に利用される各種物理特性に関係する情報量の付与を行なうことも可能である。これにより、被写体の画像情報のみを利用して表示されたコンピュータグラフィックスよりも高品質なコンピュータグラフィックスを提供することが可能になる。
【００８４】
以下、法線情報生成装置の各実施形態を説明する。
【００８５】
（第１の実施形態）
まず、本発明の第１の実施の形態による法線情報生成装置の概要を説明する。
【００８６】
図４は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００は、被写体を撮像することによって被写体の表面における法線情報を生成する。
【００８７】
法線情報生成装置１００は、ステレオ偏光画像撮像部１０１を構成する偏光画像撮像部１０２および１０２−２、偏光情報取得部１０３および１０３−２、ステレオ対応取得部１０４、領域分割部１０５および１０５−２、法線１自由度推定部１０６および１０６−２、法線情報生成部１０７および出力部１２０を備えている。
【００８８】
このうち、第２の偏光画像撮像部１０２−２、第２の偏光情報取得部１０３−２、第２の領域分割部１０５−２、第２の法線１自由度推定部１０６−２の処理は、第１の偏光画像撮像部１０２、第１の偏光情報取得部１０３、第１の領域分割部１０５、第１の法線１自由度推定部１０６の処理と同等である。よって、以下の説明において、多くの場合、簡略化のために後者のみを用いて説明する。
【００８９】
ステレオ偏光画像撮像部１０１は複数の偏光画像撮像部１０２からなり、視点の異なる複数の偏光画像を取得する。
【００９０】
偏光画像撮像部１０２は、偏光主軸角度が異なる複数の偏光子を透過してくる光を受けることで、被写体の偏光画像を取得する。
【００９１】
偏光情報取得部１０３は、偏光画像撮像部１０２によって取得された偏光画像から、当該偏光画像を構成する画像領域のそれぞれについて、複数の偏光子の偏光主軸角度と複数の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。
【００９２】
ステレオ対応取得部１０４は、ステレオ偏光画像撮像部１０１が取得した複数の偏光画像において画素ごとの対応関係を推定する。
【００９３】
領域分割部１０５は、ステレオ偏光画像の輝度情報および偏光情報取得部１０３で生成されたステレオ偏光画像における偏光情報の少なくとも一方の情報における類似性（共通性）を利用して、偏光画像を、光学的に共通する領域ごとに分割する。具体的には、領域分割部１０５は、画像の輝度や偏光情報を利用して、当該画像領域を鏡面反射領域または拡散反射領域として領域分割を行なう。
【００９４】
法線１自由度推定部１０６は、偏光情報取得部１０３で生成された偏光情報を用いて、領域分割部１０５で分割された領域ごとに異なった処理を行なうことで、対応する被写体の表面での法線１自由度を推定する。
【００９５】
法線情報生成部１０７は、法線１自由度推定部１０６、１０６−２で推定された複数の法線１自由度を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトルを生成する。
【００９６】
出力部１２０は、法線情報を出力する出力端子である。または、出力部１２０は、後述の図１１等に示される画像等とともに法線情報に基づく法線の画像を出力するディスプレイであってもよい。後者の場合には、出力部１２０は提示部５０５（図１）に対応する。
【００９７】
図５は、本実施の形態における法線情報生成装置１００が搭載されたカメラ２００のハードウェア構成例を示している。図６は、図５に示されたパターン偏光子２０１と撮像素子２０２との関係を示した模式図である。このカメラ２００は、法線情報を生成する機能を備える撮像装置であり、複数のパターン偏光子２０１および２０１−２、複数の撮像素子２０２および２０２−２、メモリ２０３およびＣＰＵ２０４を備える。
【００９８】
パターン偏光子２０１、２０１−２は、図６に示されるように、偏光主軸角度Ψｉ＝０°、４５°、９０°、１３５°の４種類の偏光子を１組として２次元状に配置された偏光子の集まりである。図６において、パターン偏光子２０１、撮像素子２０２のみを示したが、これはパターン偏光子２０１−２、撮像素子２０２−２の場合も同様である。そのため、以下の説明では簡略化のためにパターン偏光子２０１、撮像素子２０２のみに関して詳述する。
【００９９】
撮像素子２０２は、図６に示されるように、パターン偏光子２０１を構成する個々の偏光子を透過した光を受ける２次元状に配置された画素（受光素子）の集まりである。パターン偏光子２０１は、撮像素子２０２の撮像面に平行に設置されることが望ましい。なお、パターン偏光子２０１における４個（４種類）の偏光子と、撮像素子２０２における対応する４個の画素とから、撮像単位２０５が構成される。この撮像単位２０５によって得られる画像は、偏光情報取得部１０３、領域分割部１０５、法線１自由度推定部１０６、ステレオ対応取得部１０４および法線情報生成部１０７における各処理の単位（「単位画像」）である。つまり、法線情報生成装置１００は、撮像単位２０５によって得られる単位画像（以下、「画素」ともいう。）ごとに、偏光情報の生成、領域分割および法線情報の生成を行なう。
【０１００】
メモリ２０３は、ＣＰＵ２０４の作業領域としてのＲＡＭおよびプログラム等が格納されたＲＯＭを含む。
【０１０１】
ＣＰＵ２０４は、メモリ２０３に格納されたプログラムを実行し、メモリ２０３にアクセスしたり、撮像素子２０２および２０２−２を制御するプロセッサである。
【０１０２】
なお、図４に示された偏光画像撮像部１０２は、図５に示されたパターン偏光子２０１および撮像素子２０２によって実現される。同様に、図４に示された偏光画像撮像部１０２−２は、図５に示されたパターン偏光子２０１−２および撮像素子２０２−２によって実現される。
【０１０３】
図４に示された偏光情報取得部１０３および１０３−２、ステレオ対応取得部１０４、領域分割部１０５および１０５−２、法線１自由度推定部１０６および１０６−２および法線情報生成部１０７は、図５に示されたＣＰＵ２０４がメモリ２０３に格納されたプログラムを実行することによって実現される。
【０１０４】
たとえば、添付の図面のうちのフローチャートを用いて説明する制御処理はコンピュータに実行されるプログラムによって実現され得る。そのようなコンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。法線情報生成装置、および、画像処理装置を構成する全部または一部の構成要素は、コンピュータプログラムを実行する汎用のプロセッサ（半導体回路）として実現される。または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現される。
【０１０５】
また、メモリ２０３は、偏光画像撮像部１０２および１０２−２で取得された偏光画像、偏光情報取得部１０３および１０３−２で生成された偏光情報、ステレオ対応取得部１０４で取得されたステレオ画像対応情報、領域分割部１０５および１０５−２で分割された領域分割情報、法線１自由度推定部１０６および１０６−２で推定された法線１自由度情報、法線情報生成部１０７で生成された法線情報、および、一時的に発生する各種パラメータ等を格納する作業領域としても使用される。
【０１０６】
図７は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。
【０１０７】
まず、第１の偏光画像撮像部１０２は、第１のパターン偏光子２０１を通して被写体からの光を撮像素子で受けることで被写体を撮像し、偏光情報を含んだ画像である第１の偏光画像を取得する（ステップＳ１０１）。第１の偏光情報取得部１０３は、第１の偏光画像撮像部１０２が撮像した第１の偏光画像輝度変化を利用して、第１の偏光情報を生成（取得）する（ステップＳ１０２）。次に、第２の偏光画像撮像部１０２−２は、第２のパターン偏光子２０１−２を通して被写体からの光を撮像素子で受けることで、偏光情報を含んだ画像である第２の偏光画像を取得する（ステップＳ１０３）。第２の偏光情報取得部１０３−２は、第２の偏光画像撮像部１０２−２が撮像した第２の偏光画像の輝度変化を利用して、第２の偏光情報を生成（取得）する（ステップＳ１０４）。
【０１０８】
ここで、ステップＳ１０１〜ステップＳ１０２と、ステップＳ１０３〜ステップＳ１０４の順序は任意であり、並列的に実行してもよい。もちろん、順次実行しても構わない。
【０１０９】
ステレオ対応取得部１０４は、ステレオ偏光画像撮像部１０１が取得した第１の偏光画像、第２の偏光画像において画素ごとの対応関係を推定する（ステップＳ１０５）。第１の領域分割部１０５および第２の領域分割部１０５−２は、第１の偏光情報取得部１０３および第２の偏光情報取得部１０３−２が生成した第１の偏光情報および第２の偏光情報、および／または、第１の偏光画像撮像部１０２および第２の偏光画像撮像部１０２−２が取得した第１の輝度情報および第２の輝度情報を利用し、第１の偏光画像および第２の偏光画像を拡散反射成分領域および鏡面反射成分領域に領域分割する（ステップＳ１０６）。
【０１１０】
第１の法線１自由度推定部１０６は、偏光情報取得部１０３で生成された偏光情報を用いて、第１の領域分割部１０５で分割された領域ごとに異なった処理を行なうことにより、対応する被写体の表面での法線１自由度を推定する（ステップＳ１０７）。第２の法線１自由度推定部１０６−２は、偏光情報取得部１０３−２で生成された偏光情報を用いて、第２の領域分割部１０５−２で分割された領域ごとに異なった処理を行なうことにより、対応する被写体の表面での法線１自由度を推定する（ステップＳ１０８）。ここで、ステップＳ１０７と、ステップＳ１０８の順序は任意であり、並列的に実行してもよいし、もちろん、順次実行しても構わない。法線情報生成部１０７は、法線１自由度推定部１０６、１０６−２で推定された法線１自由度を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトルを推定する（ステップＳ１０９）。
【０１１１】
次に、本実施の形態における法線情報生成装置１００の各構成要素の詳細な機能を説明する。
【０１１２】
ステレオ偏光画像撮像部１０１は複数の偏光画像撮像部１０２からなり、視点の異なる複数の偏光画像を取得する。また、第１の撮像素子２０２と第２の撮像素子２０２−２はキャリブレーション処理が行なわれており、その内部パラメータや外部パラメータは既知である。このようなキャリブレーションは、例えば、Ｔｓａｉの手法（Ｒｏｇｅｒ  Ｙ．Ｔｓａｉ，"Ａｎ Ｅｆｆｉｃｉｅｎｔ ａｎｄ Ａｃｃｕｒａｔｅ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ  Ｔｅｃｈｎｉｑｕｅ  ｆｏｒ  ３Ｄ  Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ"， Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  Ｍｉａｍｉ  Ｂｅａｃｈ，ＦＬ，1986, pp.364-374）など、既存の手法を利用すればよい。
【０１１３】
もちろん、このようなキャリブレーションは、パターン偏光子やレンズなどを含んだ状態で行なわれている。
【０１１４】
次に、偏光画像撮像部１０２および１０２−２の詳細な機能を説明する。偏光画像撮像部１０２は、被写体からの光をパターン偏光子２０１を通して撮像素子２０２で受光することで、偏光情報を含んだ偏光画像を取得する。図８は、図６に示された撮像単位２０５を入射光方向から眺めた模式図である。本図において、各偏光子（各画素）内の直線は、各画素上に設置された微小偏光板の偏光主軸方向を示している。すなわち、この撮像単位２０５は、偏光軸の回転角（Ψｉ＝０°、４５°、９０°、１３５°）の４種類の偏光方向を有する画素を持つ。パターン偏光子は、ＴＭ波が透過、ＴＥ波が反射（透過せず）という偏光特性を示す。そのため、撮像素子前方に偏光子を配置し、その偏光子を回転させながら撮像した、特許文献１と同様の画像を取得することができる。
【０１１５】
このような特性は、例えば、『川嶋、佐藤、川上、長嶋、太田、青木、"パターン化偏光子を用いた偏光イメージングデバイスと利用技術の開発"、電子情報通信学会２００６年総合全国大会、Ｎｏ．Ｄ−１１−５２、Ｐ５２、２００６』に記載されたフォトニック結晶を用いて作成することができる。フォトニック結晶の場合、表面に形成された溝に平行な振動面を持つ光がＴＥ波、垂直な振動面を持つ光がＴＭ波となる。
【０１１６】
この偏光画像の撮像に際しては、輝度のダイナミックレンジとビット数は、なるべく大きいこと（例えば１６ビット）が望ましい。
【０１１７】
次に、偏光情報取得部１０３および１０３−２の詳細な機能を説明する。偏光情報取得部１０３は、偏光画像撮像部１０２が取得した偏光画像を利用して、偏光情報を生成する。
【０１１８】
偏光子を透過した光の輝度は、偏光子の偏光主軸角によって変化することが知られている。図９は、異なる偏光主軸角度Ψｉ＝０°、４５°、９０°、１３５°の４種類の偏光子を透過した光の輝度４０１〜４０４が１本の正弦関数カーブを形成する様子を示す。つまり、この正弦関数カーブは、図８の点２０６における偏光特性を示している。なお、偏光主軸角度の０°と１８０°（π）は同一である。また、この正弦関数カーブを求める際、撮影ガンマ＝１となるカメラを用いるか、リニアリティ補正により撮影ガンマ＝１となるように補正することが望ましい。この４点は、１本の正弦関数カーブ上にちょうど乗るように描かれているが、実際には、多数の観測点から１８０度周期の正弦関数が最適値として１本決定されるのが好ましい。
【０１１９】
この偏光情報取得部１０３は、偏光情報として、このカーブの振幅と位相情報を生成する。具体的には、パターン偏光子２０１の主軸角Φに対する反射光輝度Ｉを以下のように近似する。
【数１】
2009147814.tif 000003
【０１２０】
ここで図９に示すように、数１におけるＡ、Ｂ、Ｃは定数であり、それぞれ、偏光子による輝度の変動カーブの振幅、位相、平均値を表現している。ところで、数１は以下のように展開できる。
【数２】
2009147814.tif 000004
ただし、
【数３】
2009147814.tif 000005
【数４】
2009147814.tif 000006
【０１２１】
つまり、４画素のサンプル（Φi Ii）において、以下の数５を最小にするＡ、Ｂ、Ｃを求めれば正弦関数数１の近似ができる。ただし、Iiは、偏光板回転角Φi時の観測輝度を示している。またＮはサンプル数であり、ここでは、４である。
【数５】
2009147814.tif 000007
【０１２２】
以上の処理により、正弦関数近似のＡ、Ｂ、Ｃの３パラメータが確定する。こうして求めたパラメータを利用して、偏光情報取得部１０３は、偏光情報として、以下の少なくとも１つの情報を取得する。
偏光度ρ
【数６】
2009147814.tif 000008
偏光位相φｍａｘ（０≦φｍａｘ≦π［ｒａｄ］）
【数７】
2009147814.tif 000009
偏光推定誤差Ｅ
【数８】
2009147814.tif 000010
偏光最大輝度値Ｉｍａｘ
【数９】
2009147814.tif 000011
偏光最小輝度値Ｉｍｉｎ
【数１０】
2009147814.tif 000012
【０１２３】
上述の各用語の定義は以下の通りである。
・偏光度ρ：光がどれだけ偏光しているかを表す指標；
・偏光位相φｍａｘ：偏光主軸角度に依存して変化する輝度が最大となる角度；
・偏光推定誤差Ｅ：４画素のサンプルについて観測された輝度と近似によって得られた上述の正弦関数から定まる輝度との差の合計；
・偏光最大輝度値Ｉｍａｘ：パターン偏光子の主軸角Φを変化させた際にとりうる最大輝度値；
・偏光最小輝度値Ｉｍｉｎ：パターン偏光子の主軸角Φを変化させた際にとりうる最小輝度値。非偏光成分。
【０１２４】
以下、上述の偏光情報に基づいて法線情報生成装置１００が生成した画像例を説明する。画像例では、球体である地球儀を被写体としている。図１０は、本願発明者らによる撮影時のカメラ２００と被写体との位置関係、および、カメラ２００内のパターン偏光子２０１および２０１−２との位置関係を示している。カメラ２００から被写体までは１６０ｃｍであり、パターン偏光子２０１および２０１−２の間隔、または、撮像素子２０２および２０２−２の間隔は５０ｃｍで ある。
【０１２５】
図１１は、球体である地球儀に対して、第１の偏光画像から求めた、偏光度ρ１、偏光位相φｍａｘ１および偏光推定誤差Ｅ１を画像として表示した図である。この図において、図１１（ａ）は被写体である地球儀の画像、図１１（ｂ）は図１１（ａ）の被写体に対する偏光度ρ１、図１１（ｃ）は図１１（ａ）の被写体に対する偏光位相φｍａｘ１（０°が黒、１８０°が白）、図１１（ｄ）は図１１（ａ）の被写体に対する偏光推定誤差Ｅ１を示している。
【０１２６】
また、図１２（ａ）〜（ｄ）は、図１１（ａ）〜（ｄ）の各々を模式的に示した図（濃淡を明瞭化した図）である。図１３（ａ）〜（ｄ）は、図１１（ａ）〜（ｄ）に示す画像と、図１２（ａ）〜（ｄ）に示す各領域（たとえば（ａ）においては領域Ａ０１とＢ０１）との対応関係を示している。図１１（ａ）〜（ｄ）および図１３（ａ）〜（ｄ）においては、領域の色が白いほど輝度値が大きい。また、図１４は、同様の処理を発泡スチロール製の頭部模型に対して行なった結果を示している。
【０１２７】
これらの画像によれば、遮蔽エッジ付近で偏光度が大きいこと、被写体の影に覆われていない領域では偏光位相が１８０°周期で球体の周囲を時計回りに単調増加していることがわかる。この偏光位相は、回転させて変化する輝度の最大値となる角度であり、被写体が拡散反射であった場合の出射面の情報である。
【０１２８】
次に、ステレオ対応取得部１０４を説明する。ステレオ対応取得部１０４は、ステレオ偏光画像撮像部１０１が取得した複数の偏光画像において画素ごとの対応関係を特定する。ただし「特定する」という意味は確定的に定めることを意味するのではなく、一応確からしいという意味において定めることを意味する。したがって、対応関係を「推定する」と言うこともできる。これは、例えば、輝度情報を利用した画像処理により検出することができる。この「特定する」という語と「推定する」という語の関係については、ステレオ対応取得部１０４のみならず、法線１自由度推定部１０６、１０６−２等についても同様である。
【０１２９】
図１５は、本実施の形態におけるステレオ対応取得部１０４による処理の流れを示すフローチャートである。このフローチャートは、ステップＳ１０５に相当する。まず、複数画像において、特徴点の抽出を行なう（ステップＳ２０１）。求まった特徴点を利用して、複数画像間の対応付けを行なう（ステップＳ２０２）。しかし、このままでは特徴点が検出された、画像上の疎な画素のみしか対応付けがなされない。そこで、ステップＳ２０２で対応付けされた特徴点間の補間処理を行なうことにより、画像全体での密な対応付けを行なう（ステップＳ２０３）。以下、それぞれの処理を詳述する。
【０１３０】
ステップＳ２０１において、複数画像において、特徴点の抽出を行なう。この処理は、複数画像間の画素の対応付けを行なうために、特徴点と呼ばれる「対応付けしやすい点」を検出し、その特徴点の特徴と最もよく一致した点を複数画像間で探索することにより、複数画像間の画素の対応付けを行なうものである。
【０１３１】
特徴点検出法としては、ＨａｒｒｉｓオペレーターやＫＬＴ（Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ）  Ｆｅａｔｕｒｅ  Ｔｒａｃｋｅｒなどさまざまな方法が知られているが、ここではＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）オペレーターを利用する（David G. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004参照）。
【０１３２】
ＳＩＦＴはスケールおよび回転に対して不変の特徴量として知られている。その処理は、Ｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎ処理を利用してスケール不変のキーポイントを抽出し、さらに画像の勾配方向ヒストグラムからオリエンテーションを算出し、オリエンテーションで正規化した特徴量を抽出するものである（詳しくは、藤吉弘亘，"Ｇｒａｄｉｅｎｔベースの特徴抽出 − ＳＩＦＴとＨＯＧ − "，情報処理学会 研究報告 ＣＶＩＭ 160, pp.211-224, 2007参照）。ここでは、偏光画像撮像部１０２と１０２−２で撮像された第１の偏光画像と第２の偏光画像のそれぞれにおいて、キーポイントを抽出し、オリエンテーションで正規化した特徴量を抽出する。
【０１３３】
ステップＳ２０２において、第１の偏光画像と第２の偏光画像において、ステップＳ２０１で求めた特徴点の対応付けを行なう。これは、ステップＳ２０１で求めたキーポイントごとに、特徴量のユークリッド距離が最小となるキーポイントを別の画像から検出することで実現する。こうして対応付けられたキーポイントが対応点となる。もちろん、対応付けを行なう際、ステレオ画像の対応付けで広く用いられている、エピポーラ拘束を利用しても構わない。
【０１３４】
ステップＳ２０３において、ステップＳ２０２で対応付けされた特徴点間の補間処理を行なうことにより、画像全体での密な対応付けを行なう。この処理を説明する。まず、対応付けられた特徴点および対応点を利用し、第１の偏光画像と第２の偏光画像に対して、ドロネー三角形分割を行なう。こうして分割された三角形ごとに、対応点の補間処理を行なう。
【０１３５】
図１６はこの処理を説明するための模式図である。図１６（ａ）において、点Ｐ０、Ｐ１、Ｐ２はＳＩＦＴにより検出された第１の画像での特徴点の画像上での座標値によって特定される点であり、また、ドロネー三角形分割により分割された三角形の３頂点である。また、図１６（ｂ）において、点Ｐ'０、Ｐ'１、Ｐ'２はそれぞれ特徴点Ｐ０、Ｐ１、Ｐ２に対応した第２の画像での対応点である。ここで、第１の偏光画像における三角形Ｐ０―Ｐ１―Ｐ２内の点Ｐｘにおける対応点を補間処理により求める。まず、以下の関係を満たす変数ａ，ｂを求める。
【数１１】
2009147814.tif 000013
【０１３６】
ただし、変数０≦ａ≦１，０≦ｂ≦１である。このとき、Ｐｘにおける対応点Ｐ'ｘは、次式で表される。
【数１２】
2009147814.tif 000014
【０１３７】
この処理を、必要なすべての画素に対して行なう。上述の数１１および数１２によれば、図１６（ａ）および（ｂ）に示す三角形の辺上の点を補間することができる。そしてさらに、補間された１点と当該三角形の２つの頂点、補間された２点と当該三角形の１つの頂点、または、補間された３点によって形成される各三角形に対して、上記数１１および数１２を適用すれば、補間により、当該三角形の内部の全ての点を求めることができる。そしてドロネー三角形分割により分割された全ての三角形に対して同様の処理を行うと、第１の画像および第２の画像の全ての点を補間により求めることができる。この結果、第１の画像と第２の画像の間で、画像全体での密な対応付けを行なうことができる。なお、ステップＳ２０３において、補間処理は画像上での座標を利用して行なったが、対応点から求めた３次元座標上で処理を行なうようにしても構わない。
【０１３８】
以上の処理は、偏光画像を利用して対応付けを行なったが、もちろん、偏光情報取得部１０３および１０３−２で取得した、偏光最大輝度値Ｉｍａｘや偏光最小輝度値Ｉｍｉｎ、または偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの平均値や重み付け和（例えば、Ｉｍａｘ＋２・ＩｍｉｎやＩｍａｘ＋Ｉｍｉｎ）などを利用するようにしても構わない。特に、偏光最小輝度値Ｉｍｉｎを利用した場合、視点移動による影響が大きい鏡面反射成分の影響を小さくすることができるため、非常に有効である。また、Ｉｍａｘ＋Ｉｍｉｎは、偏光子を設置しなかった場合に撮像される画像と等価の画像である。そのため、この値を利用して画像処理を行なうことで、通常の偏光を利用しない場合と同様の処理を行なうことができる。もちろん、ステレオ対応点取得部１０４は、特徴点を利用するのではなく、画像処理のステレオ対応点取得処理において広く利用されている、ブロックマッチング法や、勾配法を利用するようにしてもかまわない。
【０１３９】
次に、領域分割部１０５の詳細な機能を説明する。領域分割部１０５は、偏光情報取得部１０３が生成した偏光情報および／または偏光画像撮像部１０２が取得した輝度情報を利用し、画像を拡散反射領域、鏡面反射領域に領域分割する。
【０１４０】
ここで、拡散反射と鏡面反射を説明する。被写体表面の反射特性は、「てかり」である鏡面反射成分と、マットな反射成分である拡散反射成分との和として表現されることが知られている。拡散反射成分は、被写体を照射する光源がいずれの方向に存在しても観測されるが、鏡面反射成分は、被写体の法線方向と視線方向に対し、ほぼ正反射方向に光源が存在する場合にのみ観測される方向依存性の強い成分である。これは、偏光特性に関しても成り立つ。
【０１４１】
図１７および図１８は、それぞれ、被写体の屈折率ｎ＝１．１、１．３、１．５、２．０の場合における鏡面反射成分および拡散反射成分の偏光度を示したグラフである（例えば、「Ｌ．Ｂ．  Ｗｏｌｆｆ  ａｎｄ  Ｔ．  Ｅ．  Ｂｏｕｌｔ、  "Ｃｏｎｓｔｒａｉｎｉｎｇ  ｏｂｊｅｃｔ  ｆｅａｔｕｒｅｓ  ｕｓｉｎｇ  ａ  ｐｏｌａｒｉｚａｔｉｏｎ  ｒｅｆｌｅｃｔａｎｃｅ  ｍｏｄｅｌ"、  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ、  Ｖｏｌ．１３、Ｎｏ．７、ｐｐ．６３５−６５７、 １９９１」参照）。図１７の横軸は入射角、縦軸は鏡面反射成分の偏光度を示している。また、図１８の横軸は出射角、縦軸は拡散反射成分の偏光度を示している。これらの図によれば、鏡面反射成分の偏光度は出射角に依存しないが、拡散反射成分の偏光度は出射角に依存することが理解される。よって、カメラを移動させて出射角を変化させた場合、鏡面反射成分では偏光度は変わらないが、拡散反射成分では偏光度が変化することがわかる。
【０１４２】
また、拡散反射成分の輝度値Ｉｄは、以下のＬａｍｂｅｒｔｉａｎモデルに従うことが知られている。
【数１３】
2009147814.tif 000015
【０１４３】
ただし、ρｄは参照点の拡散反射率（アルベド）、ｎは参照点の法線方向ベクトル、Ｉｐは点光源強度、Ｌは光源の方向ベクトル、θは入射角（法線方向ベクトルと光源方向ベクトルのなす角）を表す。ベクトルの長さは１に正規化されている。
【０１４４】
この式から、カメラを移動させることで出射角を変更した場合、拡散反射成分では輝度値が変化しないことがわかる。
【０１４５】
一方、鏡面反射成分の輝度値Ｉｓは、以下の数１４〜数２２に示したＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルに従うことが知られている。
【数１４】
2009147814.tif 000016
【数１５】
2009147814.tif 000017
【数１６】
2009147814.tif 000018
【数１７】
2009147814.tif 000019
【数１８】
2009147814.tif 000020
【数１９】
2009147814.tif 000021
【数２０】
2009147814.tif 000022
【数２１】
2009147814.tif 000023
【数２２】
2009147814.tif 000024
【０１４６】
ここで、Ｅｉは入射照度、ρｓ，λは波長λにおける鏡面反射成分の双方向反射率、ｎは被写体の法線方向ベクトル、Ｖは視線ベクトル、Ｌは光源方向ベクトル、Ｈは視線ベクトルと照明方向ベクトルの中間ベクトル、βは中間ベクトルＨと法線方向ベクトルｎの角度を表す（図１９参照）。また、Ｆλはフレネル方程式から求められる誘電体表面からの反射光の比であるフレネル係数、Ｄはマイクロファセット分布関数、Ｇは物体表面の凸凹による遮光の影響を表す幾何減衰率である。さらに、ｎλは被写体の屈折率、ｍは被写体表面の粗さを示す係数、Ｉｊは入射光の放射輝度である。また、Ｋｓは鏡面反射成分の係数である。これら式から、カメラを移動させることで出射角を変更した場合、鏡面反射成分では輝度値が変化することがわかる。
【０１４７】
ところで、ステレオ対応取得部１０４により、すべての画素の対応点が既知である。以上のことから、ステレオ画像（第１の画像、第２の画像）における鏡面反射成分と拡散反射成分は、以下のように分割できる。
【数２３】
2009147814.tif 000025
【０１４８】
ここで、Ｉｃ１は偏光情報取得部１０３で取得した、偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの和Ｉｍａｘ＋Ｉｍｉｎを示している。また、Ｉｃ２は偏光情報取得部１０３−２で取得した、偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの和Ｉｍａｘ＋Ｉｍｉｎを示している。ここで、Ｉｍａｘ＋Ｉｍｉｎは、パターン偏光子２０１が存在しない場合に撮像素子２０２で観測される輝度値である。また、Ｔｈｄは本来のＬａｍｂｅｒｔｉａｎモデルからどれだけ離れているかを示す閾値であり、ＴｈＩは鏡面反射成分と拡散反射成分を輝度情報で判断するための閾値である。このような閾値は、実験的に決定すればよい。
【０１４９】
図２０は上記領域分割基準を表した模式図である。図２０に示す４つの領域、すなわちＤＤ、ＳＤ、ＤＳ、ＳＳの各領域は、以下の成分を有するものとして分類される。
・ＤＤ領域：第１の画像、第２の画像ともに拡散反射成分。
・ＳＤ領域：第１の画像は鏡面反射成分、第２の画像は拡散反射成分。
・ＤＳ領域：第１の画像は拡散反射成分、第２の画像は鏡面反射成分。
・ＳＳ領域：第１の画像、第２の画像ともに鏡面反射成分。
【０１５０】
もちろん、このような領域分割は図２０に限ったものではなく、例えば、ＳＳ領域を除いた図２１のような領域分割基準を利用しても構わない。これは、上薬がかかった陶器のように、被写体の表面が非常に滑らかであり、鏡面反射成分が正反射領域近傍の限られた領域でのみ観測される場合に有効である。この場合、第１の画像と第２の画像におけるその対応点の両画像において鏡面反射が観測される場合は非常に少ない。
【０１５１】
このときのステレオ画像（第１の画像、第２の画像）における鏡面反射成分と拡散反射成分は、以下のように分割すればよい。
【数２４】
2009147814.tif 000026
【０１５２】
もちろん、領域分割部１０５は、画像のすべての画素を拡散反射成分または鏡面反射成分に分割し、処理を行なうようにしても構わない。例えば、被写体が石膏のような被写体の場合には、すべての画素が拡散反射成分であることは妥当である。また、例えば、被写体が光沢のある金属の場合には、すべての画素が鏡面反射成分であることは妥当である。
【０１５３】
もちろん、領域分割部１０５は、偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの重み付け和Ｉｍａｘ＋Ｉｍｉｎを利用するのではなく、偏光最大輝度値Ｉｍａｘや偏光最小輝度値Ｉｍｉｎ、または偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの平均値などをＩｃ１，Ｉｃ２として利用するようにしても構わない。例えば、偏光最小輝度値Ｉｍｉｎを利用する場合、てかり成分の影響を少なくすることができる。もちろん、偏光画像撮像部１０２において、パターン偏光子２０１を含まない輝度値が観測できる場合、その輝度値を利用するようにしても構わない。これは、図２２に示したように、パターン偏光子２０１において、偏光子を含まない画素を設けることで実現できる。
【０１５４】
次に、法線１自由度推定部１０６の詳細な機能を説明する。法線１自由度推定部１０６は、領域分割部１０５で分割された領域ごとに、偏光情報取得部１０３で生成された偏光情報を用いて、対応する被写体の表面での法線１自由度を推定する。法線１自由度とは、前述の入射面または出射面の角度情報である。
【０１５５】
前述の通り、鏡面反射成分の入射面の情報は、偏光板を回転させて変化する輝度の最小値となる角度から求められる。つまり、次式で与えられる。
【数２５】
2009147814.tif 000027
ただし、φｍａｘは数７で求まる、偏光位相である。
【０１５６】
一方、拡散反射成分の出射面の情報は、偏光板を回転させて変化する輝度の最大値となる角度から求められる。つまり、法線１自由度情報は以下のように与えられる。
【数２６】
2009147814.tif 000028
【０１５７】
こうして求まる、入射面または出射面の角度情報である法線１自由度情報φｎは、φｎまたは（φｎ＋π）という１８０度の不定性を持つ。
【０１５８】
次に、法線情報生成部１０７の詳細な機能を説明する。法線情報生成部１０７は、法線１自由度推定部１０６、１０６−２で推定された法線１自由度φｎ１，φｎ２を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することにより、法線方向ベクトルを生成する。
【０１５９】
図２３はこの処理を説明するための模式図である。この図において、点Ｐは参照点であり、撮像素子２０２によって撮像された第１の画像の点Ｐに対応する画素と、撮像素子２０２−２によって撮像された第２の画像の点Ｐに対応する画素は、ステレオ対応取得部１０４によって既知である。また、第１の画像、第２の画像のそれぞれ対応する画素において、法線１自由度推定部１０６、１０６−２によって求められた法線１自由度は、φｎ１，φｎ２である。
【０１６０】
撮像素子２０２、２０２−２はキャリブレーション済みであるため、相互の位置関係は既知である。そのため、入出射面Ｓ１、Ｓ２が計算できる。ここで、入出射面は参照点の入射面または出射面であり、入出射面Ｓ１とは、撮像素子２０２の焦点位置と数２５、数２６で求まる法線１自由度φｎ１の偏光主軸方向を通る平面、入出射面Ｓ２は、撮像素子２０２−２の焦点位置と数２５、数２６で求まる法線１自由度φｎ２の偏光主軸方向を通る平面である。
【０１６１】
つまり、参照点の法線方向ベクトルｎは、入出射面Ｓ１、Ｓ２どちらにも含まれる。そのため、参照点の法線方向ベクトルｎは、これら２平面の交線として求められる。
【０１６２】
しかし、法線１自由度情報φｎは、１８０度の不定性を持つため、こうして求められた法線方向ベクトルｎは、ｎ（ｎｘ，  ｎｙ，  ｎｚ）とｎ’（−ｎｘ，  −ｎｙ，  −ｎｚ）という１８０度の不定性を有する。この不定性を除去するために、参照点Ｐの法線方向ベクトルｎと視線ベクトルＶを利用する。具体的には、以下の関係式を満たす法線方向ベクトルを選択する。
【数２７】
2009147814.tif 000029
【０１６３】
数２７を満たさない場合、参照点Ｐは撮像素子２０２と反対方向を向いていることになり、参照点Ｐは撮像されないはずである。そのため、このような法線方向ベクトルは排除することができ、結果的に法線情報生成部１０７は不定性を排除することができる。
【０１６４】
さらに、上記方法で求めた法線方向ベクトルに対し、空間的なフィルタリング処理を行なうことにより、法線情報生成部１０７で生じたノイズを除去するようにしても構わない。このような空間的なフィルタリング処理は、例えば、法線方向を量子化し、各画素の近傍の法線方向ベクトルのヒストグラムを作成し、その最頻値近傍の法線方向ベクトルのみで平均化処理を行なえばよい。
【０１６５】
図２４〜図２８は、本実施の形態における法線情報生成装置１００による法線方向ベクトルを推定した結果を示している。図２４（ａ）は、地球儀を被写体とし、偏光情報取得部１０３によって取得された偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの和（Ｉｍａｘ＋Ｉｍｉｎ）、図２４（ｂ）は、地球儀を被写体とし、偏光情報取得部１０３によって取得された偏光位相φｍａｘ１（０°が黒、１８０°が白）、図２４（ｃ）は、地球儀を被写体とし、偏光情報取得部１０３−２によって取得された偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの和（Ｉｍａｘ＋Ｉｍｉｎ）、図２４（ｄ）は、地球儀を被写体とし、偏光情報取得部１０３−２によって取得された偏光位相φｍａｘ２（０°が黒、１８０°が白）を表している。また、第２の撮像素子２０２−２は、第１の撮像素子２０２の右側に配置されている。また、図２５（ａ）〜（ｄ）は、図２４の各図を模式的に示した図（濃淡を明瞭化した図）である。図２６（ａ）〜（ｄ）はそれぞれ、図２４（ａ）〜（ｄ）に示す画像と、図２５（ａ）〜（ｄ）に示す各領域（たとえば（ａ）においては領域Ａ１１とＢ１１）との対応関係を示している。図２４（ａ）〜（ｄ）および図２６（ａ）〜（ｄ）においては、領域の色が白いほど輝度値が大きい。
【０１６６】
図２７（ａ）〜（ｃ）は図２４（ｂ）と図２４（ｄ）の偏光位相を利用して、法線情報生成部１０７が推定した法線方向ベクトルを可視化した法線画像を表している。法線方向ベクトルの各成分は−１から１の範囲の値をもつため、法線画像では、法線方向ベクトルの各成分の０を灰色、負の方向に黒く、正の方向に白くなるような表現をしている。また、背景は黒色で示している。
【０１６７】
図２７（ａ）は法線方向ベクトルのｘ成分の法線画像を示している。また、図２７（ｂ）は法線方向ベクトルのｙ成分の法線画像を示している。また、図２７（ｃ）は法線方向ベクトルのｚ成分の法線画像を示している。
【０１６８】
また、図２８（ａ）〜（ｃ）は、図２７（ａ）〜（ｃ）の各図を模式的に示した図（濃淡を明瞭化した図）である。図２９（ａ）〜（ｃ）はそれぞれ、図２７（ａ）〜（ｃ）に示す画像と、図２８（ａ）〜（ｃ）に示す各領域との対応関係を示している。
【０１６９】
法線方向ベクトルのｘ，ｙ，ｚ成分は、図３０に示すように、カメラ右方向にｘ方向、カメラ下方向にｙ方向、カメラ光軸方向にｚ方向である。図２７（ａ），図２８(ａ)より、ｘ成分法線画像では、画像中央部を除き、左側が黒く、右側につれて色が白くなり、定性的に正しい法線が取得されていることがわかる。また、図２７（ｂ）、図２８(ｂ)より、ｙ成分法線画像では、上側が黒く、下に行くにつれて色が白くなり、定性的に正しい法線が取得されていることがわかる。さらに、図２７（ｃ），図２８(ｃ)より、ｚ成分法線画像では、中央部が黒く、遮蔽エッジ近傍が灰色になっており、定性的に正しい法線が取得されていることがわかる。
【０１７０】
以上のように、鏡面反射領域と拡散反射領域の領域分割を行ない、被写体の偏光情報を利用することで、被写体の偏光情報を利用して、分割された領域ごとに異なった処理を行なうことにより、広い領域についてパッシブに高精度な法線情報が推定できる。
【０１７１】
なお、本実施の形態では、パターン偏光子２０１にフォトニック結晶が用いられたが、フィルム型の偏光素子、あるいはワイヤーグリッド型やその他の原理による偏光素子であってもよい。また、パターン偏光子を利用せずに、撮像素子２０２の前方に装着した偏光板を回転させながら撮像することで、時系列的に偏光主軸の異なる輝度を取得するようにしても構わない。この方法は、例えば、特開平１１−２１１４３３号公報に開示されている。このような場合、個々の撮像素子２０２、２０２−２の前方にそれぞれ偏光子を配置するようにすればよい。もちろん、複数の撮像素子２０２、２０２−２を覆うような偏光子を１枚のみ利用するようにしても構わない。
【０１７２】
なお、本実施の形態では、偏光情報取得部１０３を第１の偏光画像撮像部１０２と第２の偏光画像撮像部１０２−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０１７３】
また、本実施の形態では、領域分割部１０５を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０１７４】
また、本実施の形態では、法線１自由度推定部１０６を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０１７５】
また、領域分割部１０５において、領域を鏡面反射成分領域か拡散反射成分領域かに分割するために、ステレオ画像間の輝度差を利用したが、もちろん、個々の画像のみから行なうようにしても構わない。このような処理は、既知の手法、例えば、画像の色情報を利用する方法を利用すればよい（例えば、Ｓ．Ｋ．Ｎａｙａｒ，  Ｘ．Ｓ．Ｆａｎｇ，  ａｎｄ  Ｔ．Ｂｏｕｌｔ，"Ｓｅｐａｒａｔｉｏｎ  ｏｆ  ｒｅｆｌｅｃｔｉｏｎ  ｃｏｍｐｏｎｅｎｔｓ  ｕｓｉｎｇ  ｃｏｌｏｒ  ａｎｄ  ｐｏｌａｒｉｚａｔｉｏｎ", Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ (ＩＪＣＶ)， Vol.21, No.3, pp.163-186, 1997参照）。
【０１７６】
以上のように、鏡面反射領域と拡散反射領域の領域分割を行ない、被写体の偏光情報を利用して、分割された領域ごとに異なった処理を行なうことにより、広い領域についてパッシブに高精度な法線情報が推定できる。
【０１７７】
（第２の実施形態）
次に、本発明の第２の実施の形態における法線情報生成装置を説明する。本実施の形態における法線情報生成装置は、ステレオ対応が求まらないオクルージョン領域に対して、別の法線情報生成処理を行なうものである。
【０１７８】
本実施の形態における法線情報生成装置は、実施形態１にかかる法線情報生成装置１００（図１）の構成と同じである。第１の実施形態との違いは領域分割部１０５と法線情報生成部１０７である。領域分割部１０５は、ステレオ対応取得部１０４で対応が求まらない領域に対し、未対応領域として領域分割し、法線情報生成部１０７は未対応領域のみ別の法線情報生成処理を行なう。遮蔽の影響により、ステレオ対応取得部１０４で対応が求まらない領域はオクルージョン領域と呼ばれ、ステレオ法では３次元形状情報が取得できない領域として知られている。しかし、本実施形態の法線取得方法では、領域分割部１０５によってオクルージョン領域を検出し、法線１自由度推定部１０６によって求めた法線１自由度情報を利用することにより、オクルージョン領域においても法線方向ベクトルの推定が可能である。この処理を説明する。
【０１７９】
図３１、３２は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図３１，３２において、図７と共通のステップには図７と同一の符号を付しており、その詳細な説明を省略する。
【０１８０】
まず、領域分割部１０５は、ステレオ対応取得部１０４で対応が求まらない領域に対し、未対応領域として領域分割を行なう（ステップＳ１２１）。
【０１８１】
図３３は、本実施の形態における領域分割部１０５による処理の流れを示したフローチャートである。このフローチャートは、図３１におけるステップＳ１２１に相当する。
【０１８２】
まず、領域分割部１０５は、ステレオ対応取得部１０４の結果を利用し、参照画素が別画像と対応付けられているかを判断する（ステップＳ３０１）。参照画素が別画像と対応付けられていなかった場合（ステップＳ３０１でＮｏ）、領域分割部１０５は、参照画素はオクルージョンを起こしていると判断し、未対応領域として領域分割する（ステップＳ３０２）。一方、参照画素が別画像と対応付けられていた場合（ステップＳ３０１でＹｅｓ）、領域分割部１０５は、前述の通り、図２０の領域分割基準に基づき、領域分割を行なう（ステップＳ３０３）。
【０１８３】
法線情報生成部１０７は、領域分割部１０５の領域分割結果に基づいて、法線情報を生成する処理を切り替える（ステップＳ１２２）。領域が未対応領域でなかった場合（ステップＳ１２２でＮｏ）、法線情報生成部１０７は、第１の実施例と同様の手法により、法線情報を生成する（ステップＳ１０７〜Ｓ１０９）。一方、領域が未対応領域であった場合（ステップＳ１２２でＹｅｓ）、法線情報生成部１０７は、未対応領域が遮蔽エッジ近傍の領域であることを利用して法線情報を取得する。具体的には、まず法線１自由度推定部１０６によって法線１自由度情報を推定する（ステップＳ１２３）こうして求めた法線１自由度情報と、遮蔽エッジ近傍の領域であることを利用し、近傍画素の法線情報から、未対応領域の法線方向ベクトルを推定する（ステップＳ１２４）。
【０１８４】
図３４はオクルージョン領域である未対応領域と法線方向の関係を説明するための模式図である。この図において、撮像素子２０２と２０２−２は球体の被写体３０１を撮像している。この場合、各撮像素子によって未対応となる領域は、領域３０２および領域３０３である。領域３０２は撮像素子２０２−２からは観測されず、領域３０３は撮像素子２０２からは観測されない。そのため、領域３０２は撮像素子２０２、つまり第１の画像における未対応領域、領域３０３は撮像素子２０２−２、つまり第２の画像における未対応領域となる。未対応領域３０２、３０３はいずれかの画像ではオクルージョンが生じるということから、遮蔽エッジ近傍の領域であることがわかる。
【０１８５】
遮蔽エッジ境界では、法線方向ベクトルが、図３０のｘ−ｙ平面上、つまり、光軸に直交する平面上に存在する。そのため、法線情報生成部１０７は、未対応領域の法線第２自由度はｘ−ｙ平面上であると仮定し、法線方向ベクトルを取得する。このとき、法線１自由度情報φｎは、１８０度の不定性を持つため、法線方向ベクトルｎは、n(nx, ny, ０)とn' (-nx, -ny, ０)という１８０度の不定性を有する。この不定性を除去するために、未対応領域近傍の法線方向ベクトルの連続性を利用する。具体的には、法線方向ベクトル候補 (nx, ny, ０)と(-nx, -ny, ０)それぞれに対して未対応領域近傍の法線方向ベクトルとの連続性を計算し、より連続性が保たれる法線方向ベクトル候補を法線方向ベクトルとして決定すればよい。具体的には、近傍の法線方向ベクトルとの内積値を計算し、その値が大きくなる法線方向ベクトル候補を法線方向ベクトルとして決定する。この処理により、図３４において破線の矢印として示す法線方向ベクトルが特定される。
【０１８６】
また、法線１自由度推定部１０６によって法線１自由度情報を求めるためには、拡散反射成分または鏡面反射成分としての領域分割も必要である。これは、近傍領域の領域分割結果を利用すればよい。もちろん、遮蔽領域では鏡面反射が生じないと仮定し、拡散反射成分として処理を行なっても構わない。
【０１８７】
本実施の形態における法線情報生成装置１００が搭載されたカメラは、実施形態１にかかるカメラ２００（図５）と同じである。よって、詳細な説明は省略する。
【０１８８】
以上のように、本実施形態の法線取得方法では、領域分割部１０５によってオクルージョン領域を検出し、法線１自由度推定部１０６によって求めた法線１自由度情報を利用することで、従来手法では困難であった、オクルージョン領域においても法線方向ベクトルの推定が可能である。
【０１８９】
なお、本実施の形態では、パターン偏光子２０１にフォトニック結晶が用いられたが、フィルム型の偏光素子、あるいはワイヤーグリッド型やその他の原理による偏光素子であってもよい。また、パターン偏光子を利用せずに、撮像素子２０２の前方に装着した偏光板を回転させながら撮像することで、時系列的に偏光主軸の異なる輝度を取得するようにしても構わない。この方法は、例えば、特開平１１−２１１４３３号公報に開示されている。このような場合、個々の撮像素子２０２、２０２−２の前方にそれぞれ偏光子を配置するようにすればよい。もちろん、複数の撮像素子２０２、２０２−２を覆うような偏光子を１枚のみ利用するようにしても構わない。
【０１９０】
なお、本実施の形態では、偏光情報取得部１０３を第１の偏光画像撮像部１０２と第２の偏光画像撮像部１０２−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０１９１】
また、本実施の形態では、領域分割部１０５を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０１９２】
また、本実施の形態では、法線１自由度推定部１０６を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０１９３】
また、領域分割部１０５において、鏡面反射成分と拡散反射成分の領域分割を行なうために、ステレオ画像間の輝度差を利用したが、もちろん、個々の画像の みから行なうようにしても構わない。このような処理は、既知の手法、例えば、画像の色情報を利用する方法を利用すればよい（例えば、Ｓ．Ｋ．Ｎａｙａｒ，  Ｘ．Ｓ．Ｆａｎｇ，  ａｎｄ  Ｔ．Ｂｏｕｌｔ，"Ｓｅｐａｒａｔｉｏｎ  ｏｆ  ｒｅｆｌｅｃｔｉｏｎ  ｃｏｍｐｏｎｅｎｔｓ  ｕｓｉｎｇ  ｃｏｌｏｒ  ａｎｄ  ｐｏｌａｒｉｚａｔｉｏｎ", Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ (ＩＪＣＶ)， Vol.21, No.3, pp.163-186, 1997参照）。
【０１９４】
以上のように、鏡面反射領域と拡散反射領域の領域分割を行ない、被写体の偏光情報を利用して、分割された領域ごとに異なった処理を行なうことにより、広い領域についてパッシブに高精度な法線情報が推定できる。
【０１９５】
（第３の実施形態）
次に、本発明の第３の実施の形態における法線情報生成装置を説明する。
【０１９６】
図３５は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００は、領域分割部１０５を持たず、代わりに、法線情報生成部１１７によって、複数の法線方向ベクトル候補を生成し、最適法線選択部１０８によって、複数の法線方向ベクトル候補の妥当性を評価することで、法線方向ベクトルを推定する。なお、第１の実施形態における法線情報生成装置１００と同一の構成要素には、図４と同一の符号を付し、その説明を省略する。
【０１９７】
法線１自由度推定部１１６は、画素ごとに、偏光情報取得部１０３で生成された偏光情報を用いて、対応する被写体の表面での法線１自由度を推定する。この際、法線１自由度の求め方は前述のように画素が拡散反射成分か鏡面反射成分かで異なる。そこで、法線１自由度推定部１１６は、画素が拡散反射成分である場合の法線１自由度候補φｎｄと、画素が鏡面反射成分である場合の法線１自由度候補φｎｓの両方を、法線１自由度候補として推定する。具体的には、前述の通り、以下の式に基づいて、法線１自由度候補φｎｄ、φｎｓを推定する。
【数２８】
2009147814.tif 000030
【数２９】
2009147814.tif 000031
【０１９８】
ただし、φｍａｘは数７で求まる、偏光位相である。ここで、数２８で示したφｎｄは数２６で示した画素が拡散反射成分であると仮定した場合の出射面の情報、数２９で示したφｎｓは数２５で示した画素が鏡面反射成分であると仮定した場合の入射面の情報である。
【０１９９】
法線情報生成部１１７は、第１の法線１自由度推定部１１６で推定された法線１自由度候補φｎｄ１，φｎｓ１と、第２の法線１自由度推定部１１６−２で推定された法線１自由度候補φｎｄ２，φｎｓ２を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することにより、法線方向ベクトルを推定する。各撮像素子２０２、２０２−２から、それぞれ２つの法線１自由度候補が求められているため、４通り（「φｎｄ１―φｎｄ２」「φｎｄ１―φｎｓ２」「φｎｓ１―φｎｄ２」「φｎｓ１―φｎｓ２」）の組み合わせから、４つの法線方向ベクトル候補ｎｃ１〜ｎｃ４が求まる。
【０２００】
最適法線選択部１０８は、法線情報生成部１１７が生成した４つの法線方向ベクトル候補から、最適なものを選択し、法線方向ベクトルｎとして推定する。この処理を説明する。
【０２０１】
最適法線選択部１０８は、複数候補から画像全体として最適な法線方向ベクトルを推定するために、法線方向ベクトルの連続性を利用する。これは、以下の評価関数Ｅｖ（ｎ）が最小となる法線方向ベクトル候補を、画像全体で選択すればよい。
【数３０】
2009147814.tif 000032
【０２０２】
ここで、ｎ（ｘ，ｙ）は画素（ｘ，ｙ）での法線方向ベクトル、ｗｘ，ｗｙはそれぞれ画像の幅と高さである。もちろん、このような最小化処理は、拘束条件を利用することで、さらに正確な法線方向ベクトルを取得することが可能である。
【０２０３】
最適な法線方向ベクトル候補を選択するための拘束条件を説明する。まず、複数カメラ間での鏡面反射成分と拡散反射成分の空間的な連続性を説明する。前述のように、鏡面反射成分は、撮像素子の位置（出射角）や、被写体の法線方向ベクトルの影響を受けやすい。また、図１７および１８で示した鏡面反射成分と拡散反射成分の偏光度、および、数１３、数１４〜数２２に示したＬａｍｂｅｒｔｉａｎモデル、Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルから、鏡面反射成分や拡散反射成分の輝度情報や偏光情報は、撮像素子の移動や参照点の移動に対して、連続的な変化を行なうことがわかる。そのため、参照点Ｐに対して、第１の偏光画像、第２の偏光画像ともに拡散反射成分であった場合、その近傍点Ｐ"において、第１の偏光画像、第２の偏光画像ともに鏡面反射成分であることは非常に少ないと考えられる。つまり、参照点の空間的な変動に対して、各偏光画像の対応点の鏡面反射成分、拡散反射成分は連続的に変化する。最適法線選択部１０８は、この知見を拘束条件として利用する。この拘束条件は、被写体の広い領域で利用可能であるため、非常に有効である。さらにこの拘束条件は、光源が複数存在する場合にも有効である。本実施形態においては、隣接する画素同士に上述の拘束条件を適用している。
【０２０４】
図３６はこの連続性を拘束条件として利用するための状態遷移図を示す。この図において、状態６０１は、第１の偏光画像では拡散反射成分、第２の偏光画像も拡散反射成分と仮定し、法線方向ベクトルを生成することを示している。また、状態６０２は、第１の偏光画像は拡散反射成分、第２の偏光画像は鏡面反射成分と仮定し、法線方向ベクトルを生成することを、状態６０３は、第１の偏光画像は鏡面反射成分、第２の偏光画像は拡散反射成分と仮定し、法線方向ベクトルを生成することを、状態６０４は、第１の偏光画像では鏡面反射成分、第２の偏光画像も鏡面反射成分と仮定し、法線方向ベクトルを生成することを示している。
【０２０５】
各偏光画像の対応点の鏡面反射成分、拡散反射成分は連続的に変化するため、参照点が６０１、つまり第１の偏光画像では拡散反射成分、第２の偏光画像も拡散反射成分と仮定して法線方向ベクトルが生成された場合、その近傍では、６０４、つまり第１の偏光画像では鏡面反射成分、第２の偏光画像も鏡面反射成分と仮定して法線方向ベクトルが生成されることはありえない。また、参照点が６０２、つまり第１の偏光画像では拡散反射成分、第２の偏光画像では鏡面反射成分と仮定して法線方向ベクトルが生成された場合、その近傍では、６０３、つまり第１の偏光画像では鏡面反射成分、第２の偏光画像は拡散反射成分と仮定して法線方向ベクトルが生成されることはありえない。したがって、最適法線選択部１０８は、以下の評価関数Ｅｖ２が最小となる法線方向ベクトル候補を、画像全体で選択することにより、法線方向ベクトルｎを選択する。
【数３１】
2009147814.tif 000033
【０２０６】
ただし、Ｅｖ１は次式で与えられる、図３６の状態遷移図による拘束条件であり、Ｃ２は拘束条件の重み係数である。
【数３２】
2009147814.tif 000034
【０２０７】
このような重み係数は、実験的に決定すればよく、例えば、Ｃ２＝２．０とすればよい。数３１は、図３６の状態遷移図に従わない場合、数３０の評価関数が大きな値となるような評価関数である。
【０２０８】
このように、各偏光画像の対応点の鏡面反射成分、拡散反射成分は連続性を拘束条件として利用することで、最適な法線方向ベクトルを選択することができる。
【０２０９】
また、別の拘束条件として、第１の偏光情報取得部１０３および第２の偏光情報取得部１０３−２が取得した、偏光情報を利用するようにしても構わない。この処理を説明する。
【０２１０】
図１８より、拡散反射成分の偏光度は、出射角が小さい場合に０に近づく。そのため、偏光度が十分に小さな領域では、法線方向ベクトルｎが視線ベクトルＶに十分近いと考えられる。そのため、偏光度が十分に小さな領域では、４つの法線方向ベクトル候補ｎｃ１〜ｎｃ４の中から、最も視線ベクトルに近い候補を法線方向ベクトルｎとして選択すればよい。これは、例えば、閾値処理を行ない、偏光度がたとえば、０．０５より小さな領域に対して行なえばよい。もちろん、法線情報生成部１１７は、偏光度が十分に小さい領域では、法線１自由度推定部１１６が取得した法線１自由度情報を利用せず、法線方向ベクトルｎは視線ベクトルＶと等しいとするようにしても構わない。これは、偏光度が十分に小さな領域では、数５による偏光情報の取得処理が不安定になるため、法線１自由度推定部１１６が取得した法線１自由度情報は推定精度が低くなると考えられるためである。この拘束条件は、偏光度が低い領域に対して有効である。
【０２１１】
もちろん、別の拘束条件として、前述の遮蔽エッジ領域の法線方向ベクトルを利用しても構わない。前述のように、遮蔽エッジ近傍では、法線方向ベクトルｎが図３０のｘ−ｙ平面に近づく。そのため、最適法線選択部１０８は、４つの法線方向ベクトル候補ｎｃ１〜ｎｃ４の中から、最もｘ−ｙ平面に近い候補を法線方向ベクトルｎとして選択すればよい。この拘束条件は、遮蔽エッジ領域では非常に有効である。
【０２１２】
また、偏光情報を利用した別の拘束条件として、偏光度情報を利用しても構わない。図１８に示したように、拡散反射成分においては、偏光度は出射角と屈折率により一意に決定される。そこで、被写体の屈折率が既知の場合、推定された法線方向ベクトルと図１８から求めた、推定された偏光度ρｅと、偏光情報取得部１０３によって求められた、計測された偏光度ρを比較し、その差が小さくなるという拘束を利用すればよい。また、図３０で示したように、光軸がｚ方向であることに着目すると、出射角θｅは法線方向ベクトルｎ（ｎｘ， ｎｙ， ｎｚ）を利用して、次式の関係から計算できる。
【数３３】
2009147814.tif 000035
【０２１３】
この拘束条件は、法線１自由度推定部１１６によって、法線１自由度候補がφｎｄと推定された場合のみ利用できる。
【０２１４】
もちろん、光源方向が既知の場合（例えば、法線情報生成装置１００がフラッシュ機構を有し、フラッシュを投光しながら撮像を行なう場合）、図１７に示した、鏡面反射成分の偏光度を利用しても構わない。図１７に示したように、鏡面反射成分においては、偏光度は入射角と屈折率により一意に決定される。そこで、被写体の屈折率と光源方向ベクトルＬが既知の場合、推定された法線方向ベクトルと図１７から求めた、推定された偏光度と、偏光情報取得部１０３によって求められた、計測された偏光度を比較し、その差が小さくなるという拘束を利用すればよい。この場合、前述の拡散反射成分を仮定した場合との拘束条件と組み合わせることにより、法線方向ベクトル候補ｎｃ１〜ｎｃ４の評価を行なうことが可能である。このような偏光度情報を利用した拘束条件は、正確な偏光度情報が取得できる場合に有効である。これは、求まった偏光度が高い場合や、多重反射が生じない、被写体が凸形状の場合である。
【０２１５】
もちろん、法線方向ベクトル候補ｎｃ１〜ｎｃ４と、計測された偏光度ρから図１７および１８を用いて求めた偏光度由来法線方向ベクトルを比較し、その差が小さくなるという拘束条件を利用しても構わない。この場合、図１７からは２つの偏光度由来法線方向ベクトルが求まるため、法線方向ベクトル候補ｎｃ１〜ｎｃ４と各偏光度由来法線方向ベクトルとの差分値において、より小さい差分値を小さくするという拘束条件を利用すればよい。このような偏光度情報を利用した拘束条件は、正確な偏光度情報が取得できる場合に有効である。これは、求まった偏光度が高い場合や、多重反射が生じない、被写体が凸形状の場合である。
【０２１６】
もちろん、別の拘束条件として、奥行情報を利用するようにしても構わない。このような奥行情報は、ステレオ対応取得部１０４で求めた画像間での対応関係を利用して求められる。前述のように、第１の撮像素子２０２と第２の撮像素子２０２−２はキャリブレーション処理が行なわれており、その内部パラメータや外部パラメータは既知である。そのため、ステレオ対応取得部１０４が取得したステレオ対応情報から、被写体の奥行情報を求めることができる。さらに、求まった奥行情報から法線方向を求めることができる。これは、例えば非特許文献１の技術を利用すればよい。具体的には、以下の処理を行なう。
【０２１７】
まず、参照点Ｐ近傍に存在する、ｎ点の近傍点の３次元位置座標を（Ｘｉ，Ｙｉ，Ｚｉ）とする。ただし、ｉは１≦ｉ≦ｎである。これらの点は、ステレオ対応取得部１０４が求めた対応情報と、第１の撮像素子２０２、第２の撮像素子２０２−２の内部パラメータと外部パラメータを利用することで取得する。次に、近傍ｎ点の共分散行列Ｃを次式で計算する。
【数３４】
2009147814.tif 000036
【０２１８】
ただし、（Ｘａ，Ｙａ，Ｚａ）は近傍ｎ点の重心位置座標である。このとき、参照点Ｐの奥行由来法線方向ベクトルｎｄは、共分散行列Ｃの最小固有値に対応する固有ベクトルとして求められる。
【０２１９】
前述のように、こうして求められた奥行由来法線方向ベクトルｎｄは十分な精度ではない。しかし、概略の法線としては利用可能である。そこで、最適法線選択部１０８は、４つの法線方向ベクトル候補ｎｃ１〜ｎｃ４の中から、最も奥行由来法線方向ベクトルｎｄに近い候補を法線方向ベクトルｎとして選択する。
【０２２０】
このような奥行情報を利用した拘束条件は、被写体の広い領域で利用可能であるため、非常に有効である。
【０２２１】
最適法線選択部１０８は、以上の拘束条件の少なくとも１つを利用しながら、画像全体での法線方向ベクトルの連続性を利用することで、最適な法線方向ベクトルを求める。
【０２２２】
図３７は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図３７において、図７と共通のステップには図７と同一の符号を付しており、その詳細な説明を省略する。
【０２２３】
まず、第１の偏光画像撮像部１０２は、第１のパターン偏光子２０１を通して被写体を第１の撮像素子２０２で受光することで、偏光情報を含んだ画像である第１の偏光画像を取得する（ステップＳ１０１）。第１の偏光情報取得部１０３は、第１の偏光画像撮像部１０２が撮像した第１の偏光画像の輝度変化を利用して、第１の偏光情報を生成する（ステップＳ１０２）。第１の法線１自由度推定部１１６は、偏光情報取得部１０３で生成された偏光情報を用いて、画素ごとに、対応する被写体の表面での法線１自由度候補φｎｄ１、φｎｓ１を推定する（ステップＳ１１７）。次に、第２の偏光画像撮像部１０２−２は、第２のパターン偏光子２０１−２を通して被写体を第２の撮像素子２０２−２で受光することで、偏光情報を含んだ画像である第２の偏光画像を取得する（ステップＳ１０３）。第２の偏光情報取得部１０３−２は、第２の偏光画像撮像部１０２−２が撮像した第２の偏光画像の輝度変化を利用して、第２の偏光情報を生成する（ステップＳ１０４）。第２の法線１自由度推定部１１６−２は、偏光情報取得部１０３−２で生成された偏光情報を用いて、画素ごとに、対応する被写体の表面での法線１自由度候補φｎｄ２、φｎｓ２を推定する（ステップＳ１１８）。ここで、ステップＳ１０１〜ステップＳ１０２およびステップ１１７と、ステップＳ１０３〜ステップＳ１０４およびステップ１１８の順序は任意であり、並列的に実行してもよいし、もちろん、順次実行しても構わない。ステレオ対応取得部１０４は、偏光画像撮像部１０２（１０２−２）で求まった偏光画像、偏光情報取得部１０３（１０３−２）で求まった偏光情報の少なくとも１つを利用して、ステレオ偏光画像撮像部１０１が取得した複数の偏光画像において画素ごとの対応関係を推定する（ステップＳ１０５）。第１の法線１自由度推定部１１６で推定された法線１自由度候補φｎｄ１，φｎｓ１と、第２の法線１自由度推定部１１６−２で推定された法線１自由度候補φｎｄ２，φｎｓ２を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトル候補ｎｃ１〜ｎｃ４を推定する（ステップＳ１１９）。最適法線選択部１０８は、法線方向ベクトルの連続性などを利用して、法線方向ベクトル候補ｎｃ１〜ｎｃ４から最適な法線方向ベクトルｎを選択する（ステップＳ１２０）。
【０２２４】
本実施の形態における法線情報生成装置１００が搭載されたカメラは、実施形態１にかかるカメラ２００（図５）と同じである。よって、詳細な説明は省略する。
【０２２５】
なお、本実施の形態では、偏光情報取得部１０３を第１の偏光画像撮像部１０２と第２の偏光画像撮像部１０２−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０２２６】
また、本実施の形態では、法線１自由度推定部１１６を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０２２７】
以上のように、被写体の偏光情報を利用し、鏡面反射成分と拡散反射成分双方を仮定した法線１自由度候補を最適に統合することで、画素ごとに法線情報が生成されるため、広い領域についてパッシブに高精度な法線情報が推定できる。
【０２２８】
（第４の実施形態）
次に、本発明の第４の実施の形態における法線情報生成装置を説明する。
【０２２９】
図３８は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００は、信頼性推定部１０９を有し、法線情報生成部１２７が正確に法線情報を推定できる領域と、信頼性が低い領域を推定する。法線情報生成部１２７は、信頼性推定部１０９が推定した信頼性結果により法線情報推定処理を切り替えることにより、法線方向ベクトルを推定する。なお、第１の実施形態における法線情報生成装置１００と同一の構成要素には、図４と同一の符号を付し、その説明を省略する。
【０２３０】
信頼性推定部１０９は、法線情報生成部１２７が推定する法線方向ベクトルの信頼性を評価する。これは、第１の法線１自由度推定部１０６と第２の法線１自由度推定部１０６−２で推定された法線１自由度情報から推定するようにすればよい。
【０２３１】
図３９は、推定した法線方向ベクトルの信頼性を説明するための模式図である。図２３に示したように、第１の実施形態の法線情報生成部１０７は、各偏光画像から求められた入出射面Ｓ１、Ｓ２の交線として、法線方向ベクトルｎを求める。しかし、以下の条件を満たす場合、入出射面Ｓ１、Ｓ２の交線は一意に求まらず、法線方向ベクトルｎは不定となる。
【０２３２】
［法線方向ベクトルｎの推定が不定となる条件］
参照点Ｐの法線方向ベクトルが以下の３点を通る平面上に存在。
・撮像素子２０２の焦点位置。
・撮像素子２０２−２の焦点位置。
・参照点Ｐ。
【０２３３】
上記の条件下では、入出射面Ｓ１、Ｓ２は同一平面Ｓ１２となり、その交線として法線方向ベクトルを一意に求めることはできない。そこで、信頼性推定部１０９は、入出射面Ｓ１と入出射面Ｓ２のなす入出射面角を計算し、入出射面角が大きい場合には信頼性があると判断し、入出射面角が小さい場合には信頼性がないと判断する。
【０２３４】
法線情報生成部１２７は、信頼性推定部１０９が推定した信頼性情報によって、法線方向ベクトル推定処理を切り替える。
【０２３５】
図４０、図４１は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図４０、図４１において、図７と共通のステップには図７と同一の符号を付しており、その詳細な説明を省略する。
【０２３６】
信頼性推定部１０９は、第１の法線１自由度推定部１０６が推定した入出射面Ｓ１と第２の法線１自由度推定部１０６−２が推定した入出射面Ｓ２とのなす角度として、入出射面角φｓを計算する（ステップＳ１３０）。ここで、入出射面角φｓの値域は［０，π］である。
【０２３７】
入出射面角の計算方法を説明する。図４２は入出射面角の計算方法を説明するための模式図である。第１の撮像素子２０２のカメラ座標系Ｃ１をｘｃ１−ｙｃ１−ｚｃ１とし、第２の撮像素子２０２−２のカメラ座標系Ｃ２をｘｃ２−ｙｃ２−ｚｃ２とする。また、いずれの座標系も図３０同様、カメラ左右方向にｘ方向、カメラ上下方向にｙ方向、カメラ光軸方向にｚ方向である。また、カメラ座標系Ｃ２からカメラ座標系Ｃ１への変換を表す回転行列をＲｃ２−ｃ１とする。さらに法線１自由度φｎや偏光位相φｍａｘは−ｙｃ方向が０（ｒａｄ）、ｘｃ方向がπ／２（ｒａｄ）となるように設定する。このとき、第１の法線１自由度推定部１０６で求まった法線１自由度をφｎ１、第２の法線１自由度推定部１０６−２で求まった法線１自由度をφｎ２とすると、入出射面角φｓは次式で求まる。
【数３５】
2009147814.tif 000037
【０２３８】
ここで、ｍｉｎ［Ａ，Ｂ］はＡとＢの最小値を選択する演算子であり、前述の通り、φｎ１，φｎ２が１８０度の不定性を有することに起因する。また、Ｃｏｓ-1（ｘ）は、−１≦ｘ≦１の場合、［０，π］の範囲をとる。また、数３５において、ｎφ１，ｎφ２は入出射面Ｓ１，Ｓ２の法線方向ベクトルである。ここで、φｎ１，φｎ２は面の傾き角であることに注意すると、ｎφ１，ｎφ２は次式で表される。
【数３６】
2009147814.tif 000038
【数３７】
2009147814.tif 000039
【０２３９】
信頼性推定部１０９は、入出射面角φｓの大きさを評価する（ステップＳ１３１）。すなわち、信頼性推定部１０９は、入出射面角φｓの大きさと閾値Ｔｈφｓとを比較する。その結果、入出射面角φｓの大きさが閾値Ｔｈφｓより大きかった場合（ステップＳ１３１でＹｅｓ）、前述の通り、法線情報生成部１２７は、法線１自由度推定部１０６、１０６−２で推定された法線１自由度を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトルを推定し（ステップＳ１０９）、処理を終了する。一方、入出射面角φｓの大きさが閾値Ｔｈφｓ以下であった場合（ステップＳ１３１でＮｏ）、信頼性推定部１０９は、法線１自由度情報に信頼性がないと判断し、法線情報生成部１２７は、法線１自由度推定部１０６、１０６−２を統合することによる法線方向ベクトルの推定を行なわない。法線情報生成部１２７は、このような領域では、近傍の求まっている法線方向ベクトルを利用して、例えば、補間処理を行なうことで、法線方向ベクトルを取得する（ステップＳ１３２）。
【０２４０】
また、入出射面角φｓの閾値Ｔｈφｓは実験的に決定すればよく、例えば、３（ｄｅｇ）を設定すればよい。
【０２４１】
もちろん、法線情報生成部１２７は、ステップＳ１３２において、近傍の法線方向ベクトルを利用して法線方向ベクトルを取得するのではなく、例えば、前述の奥行由来法線方向ベクトルｎｄを利用するようにしても構わない。
【０２４２】
もちろん、信頼性推定部１２９は、例えば、偏光情報取得部１０３が推定した偏光情報から信頼性を評価するようにしても構わない。ここでは、偏光情報取得部１０３が推定した偏光情報と法線情報生成部１４７が生成した法線方向ベクトルｎを比較することにより、信頼性を評価する処理を説明する。
【０２４３】
図４３は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。第１の実施形態における法線情報生成装置１００と同一の構成要素には、図４と同一の符号を付し、その説明を省略する。
【０２４４】
本実施形態における法線情報生成装置１００における法線情報生成部１４７は、まず、第１の実施形態の法線情報生成部１０７と同様の処理を行ない、法線方向ベクトルｎを推定する。信頼性推定部１２９は、法線情報生成部１４７が生成した法線方向ベクトルｎを偏光情報取得部１０３が推定した偏光情報と比較することで、法線方向ベクトルｎの信頼性を評価する。法線情報生成部１４７は、信頼性推定部１２９によって信頼性がないと評価された法線方向ベクトルｎを廃棄し、近傍の求まっている法線方向ベクトルを利用して、例えば、補間処理を行なうことで、法線方向ベクトルを取得する。
【０２４５】
ここでは、偏光情報として偏光度ρを利用することで、信頼性を評価する方法を説明する。まず、前述のように、光源方向および被写体の屈折率が既知の場合を考える。領域分割部１０５によって、画素が鏡面反射成分または拡散反射成分と領域分割されていることに着目すると、前述の図１７、１８より、法線方向ベクトルｎから偏光度ρｅを推定できる。つまり、画素が鏡面反射成分の場合、参照点の法線方向ベクトル方向ｎおよび光源方向より、入射角が求まる。図１７より、入射角と被写体の屈折率が既知であれば、偏光度ρｅが推定できる。一方、画素が拡散反射成分の場合、参照点の法線方向ベクトル方向ｎおよび数３３より、出射角が求まる。図１８より、出射角と被写体の屈折率が既知であれば、偏光度ρｅが推定できる。ここで、領域分割部１０５の領域分割結果、および法線情報生成部１４７の法線方向ベクトルｎ推定結果が正しければ、偏光情報取得部１０３で求めた偏光度ρと推定された偏光度ρｅは十分に近い値となる。そこで、信頼性推定部１２９は、ρとρｅの差分値を計算し、その差分値が大きい場合は信頼性が低い、差分値が小さい場合は信頼性が高いと判断する。
【０２４６】
図４４および４５は、本実施の形態における領域分割部１０５による処理の流れを示したフローチャートである。なお、図４４および４５において、図７および図４１と共通のステップには図７および図４１と同一の符号を付しており、その詳細な説明を省略する。
【０２４７】
まず、法線情報生成装置１００は、第１の実施形態と同様の処理を行ない、法線方向ベクトルｎを推定する（ステップＳ１０１〜Ｓ１０９）。信頼性推定部１２９は、前述のように、前記法線方向ベクトルｎと図１７および１８を利用することで、偏光度ρｅを推定する（ステップＳ１３５）。信頼性推定部１２９は、偏光情報取得部１０３で求めた偏光度ρと推定された偏光度ρｅを比較することで、信頼性を評価する（ステップＳ１３６）。ここで、偏光情報取得部１０３で求めた偏光度ρと推定された偏光度ρｅが十分に近かった場合（ステップＳ１３６でＹｅｓ）、信頼性推定部１２９は、法線方向ベクトルｎは十分に信頼性が高いと判断し、処理を終了する。一方、偏光情報取得部１０３で求めた偏光度ρと推定された偏光度ρｅが大きく異なった場合（ステップＳ１３６でＮｏ）、信頼性推定部１２９は、法線方向ベクトルｎに信頼性がないと判断し、法線情報生成部１４７は、法線１自由度推定部１０６、１０６−２を統合することによる法線方向ベクトルの推定を行なわない。法線情報生成部１４７は、このような領域では、近傍の求まっている法線方向ベクトルを利用して、例えば、補間処理を行なうことで、法線方向ベクトルを取得する（ステップＳ１３２）。
【０２４８】
本実施の形態における法線情報生成装置１００が搭載されたカメラは、実施形態１にかかるカメラ２００（図５）と同じである。よって、詳細な説明は省略する。
【０２４９】
以上のように、被写体の偏光情報を利用し、鏡面反射成分と拡散反射成分双方を仮定した法線１自由度候補を信頼性を利用して最適に統合することで、画素ごとに法線情報が生成されるため、広い領域についてパッシブに高精度な法線情報が推定できる。
【０２５０】
（第５の実施形態）
次に、本発明の第５の実施の形態における法線情報生成装置を説明する。第４の実施形態における法線情報生成装置との違いは、法線方向ベクトルから信頼性を評価するのではなく、領域分割部における領域分割結果から信頼性を評価することである。
【０２５１】
本実施形態による法線情報生成装置の処理は、図３８に示す第４の実施形態による法線情報生成装置の処理と同じである。本実施の形態における法線情報生成装置における信頼性推定部１０９は、法線情報生成部１２７が推定する法線方向ベクトルから信頼性を評価するのではなく、領域分割部１０５の領域分割結果から信頼性を評価する。ここでは、陰影領域を利用する処理を説明する。
【０２５２】
陰影領域では、光線が複雑になり、偏光情報の信頼性が失われる。そこで、本実施形態の法線情報生成装置１００では、領域分割部１１５によって、陰影領域を領域分割し、信頼性推定部１０９は陰影領域を信頼性が低い領域と判断する。
【０２５３】
図４６は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００における第１の領域分割部１１５および第２の領域分割部１１５−２は、画像を鏡面反射成分領域、拡散反射成分領域および陰影領域に分割する。信頼性推定部１１９は、第１の領域分割部１１５および第２の領域分割部１１５−２によって取得した領域分割結果に基づき、法線情報生成部１３７が正確に法線情報を推定できる領域と、信頼性が低い領域を推定する。法線情報生成部１３７は、信頼性推定部１１９が推定した信頼性結果により法線情報推定処理を切り替えることにより、法線方向ベクトルを推定する。なお、第１の実施形態における法線情報生成装置１００と同一の構成要素には、図４と同一の符号を付し、その説明を省略する。
【０２５４】
領域分割部１１５は、偏光情報取得部１０３が生成した偏光情報および／または偏光画像撮像部１０２が取得した輝度情報を利用し、画像を拡散反射領域、鏡面反射領域および陰影領域に領域分割する。ここで、陰影領域は輝度値が低いことと、カメラの移動に対して陰影は不変であることに着目する。すると、ステレオカメラにおける鏡面反射成分領域、拡散反射成分領域および陰影領域は、以下のように分割できる。
【数３８】
2009147814.tif 000040
【０２５５】
ここで、Ｔは本来のＬａｍｂｅｒｔｉａｎモデルからどれだけ離れているかを示す閾値であり、Ｔｈｓは陰影の閾値である。本来、陰影の輝度値は０になるはずであるが、暗電流や環境光などの影響により、０にならない。このような閾値は、実験的に決定すればよい。
【０２５６】
図４７は上記領域分割基準を表した模式図である。
【０２５７】
もちろん、領域分割部１０５は、画像の輝度値を利用するのではなく偏光情報取得部１０３および１０３−２で取得した、偏光最大輝度値Ｉｍａｘや偏光最小輝度値Ｉｍｉｎ、または偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの平均値や重み付け和（例えば、Ｉｍａｘ＋2・ＩｍｉｎやＩｍａｘ＋Ｉｍｉｎ）などをＩｃ１，Ｉｃ２として利用するようにしても構わない。前述のように、偏光最小輝度値Ｉｍｉｎを利用する場合、てかり成分の影響を少なくすることができる。また、Ｉｍａｘ＋Ｉｍｉｎは、偏光子を設置しなかった場合に撮像される画像と等価の画像である。そのため、この平均値を利用して画像処理を行なうことで、通常の偏光を利用しない場合と同様の処理を行なうことができる。
【０２５８】
信頼性推定部１１９は、法線情報生成部１３７が推定する法線方向ベクトルの信頼性を評価する。これは、領域分割部１１５で分割された領域が陰影領域であるか、そうでないかを判断すればよい。
【０２５９】
法線情報生成部１３７は、信頼性推定部１１９が推定した信頼性情報によって、法線方向ベクトルの推定処理を切り替える。
【０２６０】
図４８および４９は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図４８および４９において、図４０および４１と共通のステップには図４０および４１と同一の符号を付しており、その詳細な説明を省略する。
【０２６１】
領域分割部１１５は、第１の偏光情報取得部１０３および第２の偏光情報取得部１０３−２が生成した第１の偏光情報、第２の偏光情報、および／または、第１の偏光画像撮像部１０２および第２の偏光画像撮像部１０２−２が取得した第１の輝度情報、第２の輝度情報を利用することで、図４７の領域分割基準に基づき、第１の画像、第２の画像を拡散反射領域、鏡面反射領域および陰影領域に領域分割する（ステップＳ１１６）。
【０２６２】
信頼性推定部１１９は、領域分割部１１５が分割した領域分割結果が陰影領域かそうでないかを判断することで、推定された法線方向ベクトルの信頼性を判断する（ステップＳ１３３）。その結果、参照画素が陰影領域でなかった場合（ステップＳ１３３でＮｏ）、前述の通り、法線情報生成部１３７は、法線１自由度推定部１０６、１０６−２で推定された法線１自由度を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトルを推定し（ステップＳ１０９）、処理を終了する。参照画素が陰影領域であった場合（ステップＳ１３３でＹｅｓ）、信頼性推定部１１９は、法線１自由度情報に信頼性がないと判断し、法線情報生成部１３７は、法線１自由度推定部１０６、１０６−２を統合することによる法線方向ベクトルの推定を行なわない。法線情報生成部１３７は、このような領域では、近傍の求まっている法線方向ベクトルを利用して、例えば、補間処理を行なうことで、法線方向ベクトルを取得する（ステップＳ１３２）。
【０２６３】
また、偏光情報を利用することで、陰影領域をさらにアタッチト・シャドウ（ａｔｔａｃｈｅｄ  ｓｈａｄｏｗ）領域とキャスト・シャドウ（ｃａｓｔ  ｓｈａｄｏｗ）領域に分割するようにしても構わない。ａｔｔａｃｈｅｄ  ｓｈａｄｏｗ領域は「陰領域」とも呼ばれ、ｃａｓｔ  ｓｈａｄｏｗ領域は「影領域」とも呼ばれる。ｃａｓｔ  ｓｈａｄｏｗ領域では、光線が複雑になり、偏光情報の信頼性が失われる。一方、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗ領域では、鏡面反射成分に近い偏光特性を示す。
【０２６４】
そこで、本実施形態の法線情報生成装置１００では、領域分割部によって、陰影領域をａｔｔａｃｈｅｄ  ｓｈａｄｏｗ領域とｃａｓｔ  ｓｈａｄｏｗ領域に領域分割し、信頼性推定部１０９はｃａｓｔ  ｓｈａｄｏｗ領域を信頼性が低い領域と判断する。この処理を詳述する。
【０２６５】
まず、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗを説明する。図５０はａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗという陰影の分類を説明するための模式図である。ここで、ある面３０５におかれた被写体３０１が、光源３０４に照らされている。この図において、符号３０６と３０７はどちらも陰影を示している。符号３０６は被写体３０１の法線が光源３０４を向いていないために生じるａｔｔａｃｈｅｄ  ｓｈａｄｏｗであり、符号３０７は３０５において、遮蔽物である被写体３０１によって光が遮蔽されることによって生じるｃａｓｔ  ｓｈａｄｏｗである。
【０２６６】
次に、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗの偏光特性の違いを説明する。まず、地上で撮像されるほとんどの撮像シーンでは成り立つ、以下の条件１が満たされた撮像シーンにおいて、撮像が行なわれると想定する。
【０２６７】
条件１：「被写体が存在する撮像シーンには、近傍に広い面を有する物体が存在し、ある広い面から被写体に関して反対方向には光源が存在する」
【０２６８】
これは、例えば以下のような撮像シーンでは成り立つ。
１．  屋内シーンにおいて、被写体であるボールが机の上に置かれている。また、このボールは天井に設置された蛍光灯で照らされている。
２．  屋内シーンにおいて、被写体である人物が、床面に置かれた椅子に座っている。また、この人物は、窓から差し込んでくる太陽光で照らされている。
３．  屋外シーンにおいて、被写体である自動車が、道路上を走行している。この被写体は、太陽光で照らされている。
【０２６９】
また、壁や建物も広い面を有するため、地上で撮像されるほとんどの撮像シーンではこの条件が成り立つ。
【０２７０】
この条件１が成り立つ場合において、まずａｔｔａｃｈｅｄ  ｓｈａｄｏｗを考える。図５０で示したように、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗは被写体の法線が光源と反対方向を向いているために生じる陰影である。ここで、条件１より、光源と反対方向には広い面が存在していることと、陰影領域には実際には多数の回り込み光（多重反射光）が存在していることを考慮すると、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗには、さまざまな方向から多重反射光が入射していると考えられる。つまり、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗが生じている画素の法線に対して、正反射となる多重反射光が存在すると考えられる。図５１はこの様子を示した模式図である。
【０２７１】
ところで、被写体表面の反射特性は、てかりである鏡面反射成分と、マットな反射成分である拡散反射成分の和として表現されることが知られている。拡散反射成分は、被写体に投光する光源がいずれの方向に存在しても観測されるが、鏡面反射成分は、被写体の法線方向と視線方向に対し、ほぼ正反射方向に光源が存在する場合にのみ観測される、方向依存性の強い成分である。これは、偏光特性に関しても成り立つ。
【０２７２】
被写体が、てかりである鏡面反射を生じる物体の場合、すべての方向から光が投光された場合、被写体は正反射成分である鏡面反射による影響を強く受けることが知られている（例えば、透明物体に関しては、斉藤めぐみ，佐藤洋一，池内克史，柏木寛，"ハイライトの偏光解析にもとづく透明物体の表面形状測定"，電子情報通信学会論文誌D-II，Vol. J82-D-II，No.9，pp.1383-1390，1999）。そのため、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗは鏡面反射の偏光特性を持つ。
【０２７３】
鏡面反射成分と拡散反射成分の偏光度を示した、前述の図１７および１８から、すべての方向から光が入射された場合、拡散反射成分に比べ鏡面反射成分の偏光度が高くなることがわかる。このことからも、偏光特性としても鏡面反射成分が支配的になると推測される。
【０２７４】
また、出射角が９０°に近い、遮蔽エッジなどを除外した場合、図１７および１８からわかるように、鏡面反射成分の偏光度は拡散反射成分に比べて高い。そのため、鏡面反射成分の反射特性を示すａｔｔａｃｈｅｄ  ｓｈａｄｏｗは、相対的に偏光度が高くなる。
【０２７５】
次に、ｃａｓｔ  ｓｈａｄｏｗについて考える。図５０で示したように、ｃａｓｔ  ｓｈａｄｏｗは何らかの遮蔽物によって光が遮蔽されることによって生じる陰影である。ここで、条件１を考慮すると、ｃａｓｔ  ｓｈａｄｏｗは、広い面と近い法線方向を持った面に生じやすくなる。そのため、多重反射光はａｔｔａｃｈｅｄ  ｓｈａｄｏｗに比べて限られた方向からしか入射しない。このことから、正反射方向に光源が存在する可能性は低いと考えられる。図５２はこの様子を示した模式図である。
【０２７６】
さらに、図１８で示したように、拡散反射成分の偏光度は相対的に低い。このことから、ｃａｓｔ  ｓｈａｄｏｗの偏光成分は比較的小さくなることがわかる。陰影領域では、輝度そのものが小さくなるため、小さな偏光成分を推定することは非常に困難である。そのため、ｃａｓｔ  ｓｈａｄｏｗの偏光推定誤差は非常に大きくなる。
【０２７７】
以上のことをまとめると、陰影領域の偏光特性は、以下のように分類される。
○ａｔｔａｃｈｅｄ  ｓｈａｄｏｗ
・偏光度が高く、偏光推定誤差が小さい。
・多くの場合、鏡面反射特性を示す。
○ｃａｓｔ  ｓｈａｄｏｗ
・偏光度が低く、偏光推定誤差が大きい。
・多くの場合、拡散反射特性を示す。
【０２７８】
この分類基準を利用することで、陰影をａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗに分割する。
【０２７９】
図５３は、図４７の画像分類基準において、陰影領域と分割された領域に対する陰影領域分割基準を示している。また、図５４は、陰影領域と分割された領域に対する、領域分割部１１５の処理の流れを示すフローチャートである。
【０２８０】
画素が陰影領域であると判断された場合、領域分割部１１５は、偏光情報取得部１０３で取得された偏光度ρの大きさを評価する（ステップＳ１４１）。すなわち、領域分割部１１５は、偏光度ρの大きさと閾値Ｔｈρとを比較する。その結果、偏光度ρの大きさが閾値Ｔｈρ以上であった場合（ステップＳ１４１でＮｏ）、領域分割部１１５は画素をａｔｔａｃｈｅｄ  ｓｈａｄｏｗと判断し（ステップＳ１４２）、処理を終了する。一方、偏光度ρの大きさが閾値Ｔｈρより小さかった場合（ステップＳ１４１でＹｅｓ）、領域分割部１１５は画素をｃａｓｔ  ｓｈａｄｏｗと判断し（ステップＳ１４３）、処理を終了する。このときの偏光度の閾値Ｔｈρは、被写体の屈折率や被写体の法線方向、光源方向、視線方向などから設定するようにしても構わない。図１７および１８に示したように、被写体の鏡面反射成分偏光度や拡散反射成分偏光度は屈折率と入射角、出射角が求まれば一意に決定できる。そのため、図１７および１８で求まる鏡面反射成分偏光度や拡散反射成分偏光度をＴｈρとして利用すればよい。また、被写体の屈折率や被写体の法線方向、光源方向、視線方向などの情報が得られない場合、拡散反射成分偏光度がとりうる最大値をもとに閾値Ｔｈρとして決定しても構わない。例えば、屈折率２．０以上の被写体は存在しないと仮定すると、図１８より拡散反射成分偏光度の最大値は０．６程度と考えられるので、閾値Ｔｈρとして、０．８程度を設定すればよい。
【０２８１】
もちろん、偏光度の閾値Ｔｈρを実験的に決定するようにしても構わない。
【０２８２】
以上のように、図４７および５３の領域分割基準を用いることにより、領域分割部１１５は、画像を拡散反射領域、鏡面反射領域、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗおよびｃａｓｔ  ｓｈａｄｏｗに分割する。
【０２８３】
もちろん、陰影領域をａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗに分割する基準は、偏光推定誤差情報に限ったものではなく、例えば、偏光度情報であっても構わない。この処理を詳述する。
【０２８４】
図５５は、図４７の画像分類基準において、陰影領域と分割された領域に対する陰影領域分割基準を示している。また、図５６は、陰影領域と分割された領域に対する、領域分割部１１５の処理の流れを示すフローチャートである。
【０２８５】
画素が陰影領域であると判断された場合、領域分割部１１５は、偏光情報取得部１０３で取得された偏光推定誤差Ｅの大きさを評価する（ステップＳ１４１）。すなわち、領域分割部１１５は、偏光推定誤差Ｅの大きさと閾値Ｔｈ＿Ｅｒｒとを比較する。その結果、偏光推定誤差Ｅの大きさが閾値Ｔｈ＿Ｅｒｒ以下であった場合（ステップＳ１４４でＮｏ）、領域分割部１１５は画素をａｔｔａｃｈｅｄ  ｓｈａｄｏｗと判断し（ステップＳ１４２）、処理を終了する。一方、偏光推定誤差Ｅの大きさが閾値Ｔｈ＿Ｅｒｒより大きかった場合（ステップＳ１４４でＹｅｓ）、領域分割部１１５は画素をｃａｓｔ  ｓｈａｄｏｗと判断し（ステップＳ１４３）、処理を終了する。このときの閾値Ｔｈ＿Ｅｒｒは撮像画像の輝度値や（数１）の振幅成分Ａ、バイアス成分Cを基準に決定すればよい。例えば、振幅成分Ａを基準に閾値Ｔｈ＿Ｅｒｒを決定する場合、以下のように決定すればよい。
【数３９】
2009147814.tif 000041
【０２８６】
この式は、偏光推定誤差Ｅが振幅成分Ａに対してどの程度、異なっているかを示している。ここで、Ｔｈ＿Ｅは適当な正の定数であり、実験的に決定すればよく、例えば、０．３を設定すればよい。また、Ｎは前述のサンプル数である。
【０２８７】
以上のように、図４７および５５の領域分割基準を用いることにより、領域分割部１１５は、画像を拡散反射領域、鏡面反射領域、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗおよびｃａｓｔ  ｓｈａｄｏｗに分割する。
【０２８８】
法線１自由度推定部１０６は、前述のように、領域分割部１１５で分割された領域ごとに、偏光情報取得部１０３で生成された偏光情報を用いて、対応する被写体の表面での法線１自由度を推定する。このとき、領域分割部１１５において、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗと分割された画素は、鏡面反射成分として、 法線１自由度情報φｎを数２５によって計算する。
【０２８９】
信頼性推定部１１９は、法線情報生成部１３７が推定する法線方向ベクトルの信頼性を評価する。これは、領域分割部１１５で分割された領域がｃａｓｔ  ｓｈａｄｏｗであるか、そうでないかを判断すればよい。
【０２９０】
法線情報生成部１３７は、信頼性推定部１１９が推定した信頼性情報によって、法線方向ベクトルの推定処理を切り替える。
【０２９１】
図４８および５７は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図５７において、図４９と共通のステップには図４９と同一の符号を付しており、その詳細な説明を省略する。
【０２９２】
信頼性推定部１１９は、領域分割部１１５が分割した領域分割結果がｃａｓｔ  ｓｈａｄｏｗかそうでないかを判断することで、推定された法線方向ベクトルの信頼性を判断する（ステップＳ１３４）。その結果、参照画素がｃａｓｔ  ｓｈａｄｏｗ領域でなかった場合（ステップＳ１３４でＮｏ）、前述の通り、法線情報生成部１３７は、法線１自由度推定部１０６、１０６−２で推定された法線１自由度を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトルを推定し（ステップＳ１０９）、処理を終了する。参照画素がｃａｓｔ  ｓｈａｄｏｗであった場合（ステップＳ１３４でＹｅｓ）、信頼性推定部１１９は、法線１自由度情報に信頼性がないと判断し、法線情報生成部１３７は、法線１自由度推定部１０６、１０６−２を統合することによる法線方向ベクトルの推定を行なわない。法線情報生成部１３７は、このような領域では、近傍の求まっている法線方向ベクトルを利用して、例えば、補間処理を行なうことで、法線方向ベクトルを取得する（ステップＳ１３２）。
【０２９３】
本実施の形態における法線情報生成装置１００が搭載されたカメラは、実施形態１にかかるカメラ２００（図５）と同じである。よって、詳細な説明は省略する。
【０２９４】
もちろん、信頼性推定部１０９は、陰影領域を利用するのではなく、例えば、多重反射領域を利用するようにしても構わない。多重反射領域では、光線が複雑 になり、偏光情報の信頼性が失われる。そこで、本実施形態の法線情報生成装置１００では、領域分割部１１５によって、多重反射領域を領域分割し、信頼性推 定部１０９は多重反射領域を信頼性が低い領域と判断する。
【０２９５】
領域分割部１１５によって、多重反射領域を領域分割するためには、例えば、色情報を利用すればよい。一般に、拡散反射成分の色ベクトルは物体色に等しく、鏡面反射成分の色ベクトルは光源色に等しい。ここでは、多重反射として２次反射を考える。２次反射とは、光源からの光が、領域Ａで反射し、その反射光がさらに領域Ｂを照射し、その領域Ｂを観測している状態を示す。この場合、領域Ａで拡散反射、領域Ｂで鏡面反射が生じている場合、領域Ｂで観測される色ベクトルは、領域Ａの物体色ベクトルと等しくなる。ここで、非偏光成分の色ベクトルは、物体色ベクトルとほぼ等しいと仮定する。このとき、領域Ｂで観測された偏光成分の色ベクトルが、領域Ｂの非偏光成分の色ベクトルとも異なり、さらに光源色ベクトルとも異なる場合、領域Ｂでは多重反射が生じていると判断することができる。
【０２９６】
以上のように、被写体の偏光情報を利用し、鏡面反射成分と拡散反射成分双方を仮定した法線１自由度候補を信頼性を利用して最適に統合することで、画素ごとに法線情報が生成されるため、広い領域についてパッシブに高精度な法線情報が推定できる。
【０２９７】
（第６の実施形態）
次に、本発明の第６の実施の形態における法線情報生成装置を説明する。
【０２９８】
図５８は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００は、３眼以上のステレオ偏光画像撮像部１１１を有し、視点の異なる３枚以上の偏光画像（第１の偏光画像、第２の偏光画像、第３の偏光画像）を取得する。そのため、法線情報生成部１５７は、例えば、第１の偏光画像と第２の偏光画像から法線方向ベクトル候補ｎ１２を、第１の偏光画像と第３の偏光画像から法線方向ベクトル候補ｎ１３を、第２の偏光画像と第３の偏光画像から法線方向ベクトル候補ｎ２３を生成する。こうして求めた複数の法線方向ベクトル候補に対し、最適法線選択部１１８は、その妥当性を評価することで、法線方向ベクトルを選択する。２眼のみのステレオ偏光画像撮像部１０１を利用した場合、前述のように、カメラと参照点の３次元配置および参照点の法線方向ベクトルの関係によっては、法線方向ベクトルｎの推定が不定となる場合が存在する。本実施形態の法線情報生成装置１００は、３眼以上のステレオ偏光画像撮像部１１１を利用することで、この問題を解決するものである。なお、第１の実施形態における法線情報生成装置１００と同一の構成要素には、図４と同一の符号を付し、その説明を省略する。
【０２９９】
ステレオ対応取得部１１４は、３眼以上のステレオ偏光画像撮像部１１１が取得した３視点以上の第１の偏光画像、第２の偏光画像および第３の偏光画像において画素ごとの対応関係を推定する。これは、前述の図１５で示した処理を、３視点以上の偏光画像に関して行なえばよい。
【０３００】
第１の領域分割部１０５、第２の領域分割部１０５−２および第３の領域分割部１０５−３は、第１の偏光情報取得部１０３、第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３が生成した第１の偏光情報、第２の偏光情報および第３の偏光情報や第１の偏光画像撮像部１０２、第２の偏光画像撮像部１０２−２および第３の偏光画像撮像部１０２−３が取得した第１の輝度情報、第２の輝度情報および第３の輝度情報を利用し、第１の画像、第２の画像および第３の画像を拡散反射領域および鏡面反射領域に領域分割する。これは、前述の領域分割処理を、第１の画像と第２の画像、および／または、第１の画像と第３の画像、および／または、第２の画像と第３の画像に対して、順次または並列的に、行なうようにすればよい。
【０３０１】
法線情報生成部１５７は、法線１自由度推定部１０６、１０６−２および１０６−３で推定された法線１自由度を、ステレオ対応取得部１１４で取得された画像の対応関係を利用して統合することで、複数の法線方向ベクトル候補を推定する。本実施形態に基づく法線情報生成装置１００は、３眼以上のステレオ偏光画像撮像部１１１を有する。そのため、例えば、第１の偏光画像と第２の偏光画像から法線方向ベクトル候補ｎ１２を、第１の偏光画像と第３の偏光画像から法線方向ベクトル候補ｎ１３を、第２の偏光画像と第３の偏光画像から法線方向ベクトル候補ｎ２３を生成する。
【０３０２】
最適法線選択部１１８は、３つの法線方向ベクトル候補ｎ１２、ｎ１３およびｎ２３から、最適なものを選択することで、法線方向ベクトルｎを推定する。最適法線選択部１１８は、複数の法線方向ベクトル候補から、最適なものを選択するために、法線１自由度推定部１０６で推定された法線１自由度情報を利用する。この処理を説明する。
【０３０３】
前述のように、以下の条件を満たす場合、２眼のステレオ偏光画像から求めた入出射面Ｓ１、Ｓ２の交線は一意に求まらず、法線方向ベクトルｎは不定となってしまう。
【０３０４】
［法線方向ベクトルｎの推定が不定となる条件］
参照点Ｐの法線方向ベクトルが以下の３点を通る平面上に存在。
・撮像素子２０２の焦点位置。
・撮像素子２０２−２の焦点位置。
・参照点Ｐ。
【０３０５】
そこで、最適法線選択部１１８は、まず、第１の偏光画像から求めた入出射面Ｓ１と第２の偏光画像から求めた入出射面Ｓ２および第３の偏光画像から求めた入出射面Ｓ３のそれぞれのなす入出射面角を前述の数３５にしたがって計算する。ここで、入出射面Ｓ１と入出射面Ｓ２から求めた入出射面角をφｓ１２、入出射面Ｓ１と入出射面Ｓ３から求めた入出射面角をφｓ１３、入出射面Ｓ２と入出射面Ｓ３から求めた入出射面角をφｓ２３とする。こうして求めた入出射面角φｓ１２、φｓ１３およびφｓ２３において、最も値が大きいカメラ組を選択する。こうして選択されたカメラ組から法線方向ベクトルｎを前述のように取得する。こうして取得された法線方向ベクトルｎは、上記推定が不定となる条件に最も合わない、つまり、最も信頼性の高い法線方向ベクトルであると判断できる。
【０３０６】
図５９および６０は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図５９および６０において、図７と共通のステップには図７と同一の符号を付しており、その詳細な説明を省略する。
【０３０７】
まず、第１の偏光画像撮像部１０２は、第１のパターン偏光子２０１を通して被写体を第１の撮像素子２０２で受光することで、偏光情報を含んだ画像である第１の偏光画像を取得する（ステップＳ１０１）。第１の偏光情報取得部１０３は、第１の偏光画像撮像部１０２が撮像した第１の偏光画像の輝度変化を利用して、第１の偏光情報を生成する（ステップＳ１０２）。第２の偏光画像撮像部１０２−２は、第２のパターン偏光子２０１−２を通して被写体を第２の撮像素子２０２−２で受光することで、偏光情報を含んだ画像である第２の偏光画像を取得する（ステップＳ１０３）。第２の偏光情報取得部１０３−２は、第２の偏光画像撮像部１０２−２が撮像した第２の偏光画像の輝度変化を利用して、第２の偏光情報を生成する（ステップＳ１０４）。第３の偏光画像撮像部１０２−３は、第３のパターン偏光子２０１−３を通して被写体を第３の撮像素子２０２−３で受光することで、偏光情報を含んだ画像である第３の偏光画像を取得する（ステップＳ４０１）。第３の偏光情報取得部１０３−３は、第３の偏光画像撮像部１０２−３が撮像した第３の偏光画像の輝度変化を利用して、第３の偏光情報を生成する（ステップＳ４０２）。ここで、ステップＳ１０１〜ステップＳ１０２と、ステップＳ１０３〜ステップＳ１０４と、ステップＳ４０１〜ステップＳ４０２の順序は任意であり、並列的に実行してもよいし、もちろん、順次実行しても構わない。ステレオ対応取得部１１４は、ステレオ偏光画像撮像部１１１が取得した第１の偏光画像、第２の偏光画像および第３の偏光画像において画素ごとの対応関係を推定する（ステップＳ４０３）。第１の領域分割部１０５、第２の領域分割部１０５−２および第３の領域分割部１０５−３は、第１の偏光情報取得部１０３、第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３が生成した第１の偏光情報、第２の偏光情報および第３の偏光情報、および／または、第１の偏光画像撮像部１０２、第２の偏光画像撮像部１０２−２および第３の偏光画像撮像部１０２−３が取得した第１の輝度情報、第２の輝度情報および第３の輝度情報を利用し、第１の画像、第２の画像および第３の画像を拡散反射領域および鏡面反射領域に領域分割する（ステップＳ４０４）。第１の法線１自由度推定部１０６は、偏光情報取得部１０３で生成された第１の偏光情報を用いて、第１の領域分割部１０５で分割された領域ごとに異なった処理を行なうことにより、対応する被写体の表面での法線１自由度情報として入出射面Ｓ１を推定する（ステップＳ１０７）。第２の法線１自由度推定部１０６−２は、偏光情報取得部１０３−２で生成された第２の偏光情報を用いて、第２の領域分割部１０５−２で分割された領域ごとに異なった処理を行なうことにより、対応する被写体の表面での法線１自由度情報として入出射面Ｓ２を推定する（ステップＳ１０８）。第３の法線１自由度推定部１０６−３は、偏光情報取得部１０３−３で生成された第３の偏光情報を用いて、第３の領域分割部１０５−３で分割された領域ごとに異なった処理を行なうことにより、対応する被写体の表面での法線１自由度情報として入出射面Ｓ３を推定する（ステップＳ４０５）。ここで、ステップＳ１０７と、ステップＳ１０８と、ステップＳ４０５の順序は任意であり、並列的に実行してもよいし、もちろん、順次実行しても構わない。法線情報生成部１５７は、法線１自由度推定部１０６、１０６−２および１０６−３で推定された法線１自由度情報を、ステレオ対応取得部１１４で取得された画像の対応関係を利用して統合することで、３つの法線方向ベクトル候補ｎ１２、ｎ１３およびｎ２３を推定する（ステップＳ４０６）。最適法線選択部１１８は、３つの法線方向ベクトル候補ｎ１２、ｎ１３およびｎ２３から、前述の入出射面角情報を利用することで、最適なものを選択し、選択された法線方向ベクトル候補を法線方向ベクトルｎとして選択する（ステップＳ４０７）。
【０３０８】
もちろん、法線情報生成部１５７は、３つの法線方向ベクトル候補ｎ１２、ｎ１３およびｎ２３を推定するのではなく、２つの法線方向ベクトル候補ｎ１２およびｎ１３のみを推定するようにしても構わない。
【０３０９】
また、図６１は、本実施の形態における法線情報生成装置１００が搭載されたカメラ２００のハードウェア構成例を示している。このカメラ２００は、法線情報を生成する機能を備える撮像装置であり、３つ以上のパターン偏光子（第１のパターン偏光子２０１、第２のパターン偏光子２０１−２および第３のパターン偏光子２０１−３）、３つ以上の撮像素子（第１の撮像素子２０２、第２の撮像素子２０２−２および第３の撮像素子２０２−３）、メモリ２０３およびＣＰＵ２０４を備える。なお、図６１において、図５と共通の構成要素には図５と同一の符号を付しており、新しい構成要素は存在しないため、その詳細な説明を省略する。
【０３１０】
図２７、６５および６８は本実施形態における法線情報生成部１５７によって推定した法線方向ベクトルを可視化した法線画像を示している。前述のように、法線方向ベクトルの各成分は-1から１の範囲の値をもつため、法線画像では、法線方向ベクトルの各成分の０を灰色、負の方向に黒く、正の方向に白くなるような表現をしている。また、背景は黒色で示している。図２７は、撮像素子を水平方向に配置した、図２４（ｂ）と図２４（ｄ）の偏光位相を利用して、法線情報生成部１５７が推定した法線方向ベクトル候補ｎ１２を可視化した法線画像を表している。
【０３１１】
図２７（ａ）は法線方向ベクトル候補ｎ１２のｘ成分の法線画像を示している。また、図２７（ｂ）は法線方向ベクトル候補ｎ１２のｙ成分の法線画像を示している。また、図２７（ｃ）は法線方向ベクトル候補ｎ１２のｚ成分の法線画像を示している。また、図２８は、図２７の各図を模式的に示した図（濃淡を明瞭化した図）である。
【０３１２】
以下、本実施の形態による法線情報生成装置１００を利用した画像生成例を説明する。例では、球体である地球儀を被写体としている。図６２は、本願発明者らによる撮影時のカメラ２００と被写体との位置関係、および、カメラ２００内のパターン偏光子２０１、２０１−２および２０１−３との位置関係を示している。カメラ２００から被写体までは１６０ｃｍであり、パターン偏光子２０１および２０１−２の間隔、および、パターン偏光子２０１および２０１−３の間隔は５０ｃｍである。パターン偏光子間の間隔は、撮像素子の間隔とほぼ同じである。
【０３１３】
図６３（ａ）は、地球儀を被写体とし、偏光情報取得部１０３−３（偏光情報取得部１０３の上方より撮像）によって取得された偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの和（Ｉｍａｘ＋Ｉｍｉｎ）、図６３（ｂ）は、地球儀を被写体とし、偏光情報取得部１０３−３によって取得された偏光位相φｍａｘ３（０°が黒、１８０°が白）を表している。また、図６３（ｃ）および図６３（ｄ）は、図６３（ａ）および図６３（ｂ）を模式的に示した図（濃淡を明瞭化した図）である。図６４（ａ）および（ｂ）はそれぞれ、図６３（ｃ）および（ｄ）に示す画像に対応する領域を示している。
【０３１４】
図６５（ａ）〜（ｃ）は、撮像素子を垂直方向に配置した、図２４（ｂ）と図６３（ｂ）の偏光位相を利用して、法線情報生成部１５７が推定した法線方向ベクトル候補ｎ１３を可視化した法線画像を表している。図６５（ａ）は法線方向ベクトル候補ｎ１３のｘ成分の法線画像を示している。また、図６５（ｂ）は法線方向ベクトル候補ｎ１３のｙ成分の法線画像を示している。また、図６５（ｃ）は法線方向ベクトル候補ｎ１３のｚ成分の法線画像を示している。
【０３１５】
また、図６６（ａ）〜（ｃ）は、図６５（ａ）〜（ｃ）の各図を模式的に示した図（濃淡を明瞭化した図）である。図６７（ａ）〜（ｃ）はそれぞれ、図６５（ａ）〜（ｃ）に示す画像と、図６６（ａ）〜（ｃ）に示す各領域との対応関係を示している。
【０３１６】
図６８（ａ）〜（ｄ）は、本実施形態における最適法線選択部１１８によって選択された最適な法線方向ベクトルｎを可視化した法線画像を表している。図６８（ａ）は法線方向ベクトルｎのｘ成分の法線画像を示している。また、図６８（ｂ）は法線方向ベクトルｎのｙ成分の法線画像を示している。図６８（ｃ）は法線方向ベクトル候補ｎのｚ成分の法線画像を示している。また、図６８（ｄ）は最適法線選択部１１８が法線方向ベクトル候補ｎ１２と法線方向ベクトルｎ１３のいずれを選択したかを画素ごとに示した模式図である。この図において、法線方向ベクトル候補ｎ１２が選択された画素は白く、法線方向ベクトル候補ｎ１３が選択された画素は黒くなるような表現をしている。また、背景は灰色で示している。
【０３１７】
また、図６９（ａ）〜（ｄ）は、図６８（ａ）〜（ｄ）の各図を模式的に示した図（濃淡を明瞭化した図）である。図７０（ａ）〜（ｄ）はそれぞれ、図６８（ａ）〜（ｄ）に示す画像と、図６９（ａ）〜（ｄ）に示す各領域との対応関係を示している。
【０３１８】
被写体が球体であるため、撮像素子を水平に並べた法線方向ベクトル候補ｎ１２を示した図２７では、球体の画面中央部水平領域において、ｘ成分法線画像が乱れていることがわかる（図２８（ａ）および図２９（ａ）における領域Ｇ３１）。この領域は、前述の「法線方向ベクトルｎの推定が不定となる条件」を満たす領域である。一方、撮像素子を垂直に並べた法線方向ベクトル候補ｎ１３を示した図６５では、球体の画面中央部垂直領域において、ｙ成分法線画像が乱れていることがわかる（図６６（ｂ）および図６７（ｂ）における領域Ｇ４２）。この領域も、前述の「法線方向ベクトルｎの推定が不定となる条件」を満たす領域である。一方、図６８（ｄ）より、最適法線選択部１１８は、画面中央部水平領域においては法線方向ベクトル候補ｎ１３を、画面中央部垂直領域においては法線方向ベクトル候補ｎ１２を選択しているため、「法線方向ベクトルｎの推定が不定となる条件」を回避していることがわかる。そのため、生成された法線方向ベクトルｎは、安定して推定されていることがわかる（図６８（ａ）〜（ｃ）参照）。
【０３１９】
以上のように、鏡面反射領域と拡散反射領域の領域分割を行ない、被写体の偏光情報を利用することで、被写体の偏光情報を利用して、分割された領域ごとに異なった処理を行なうことにより、広い領域についてパッシブに高精度な法線情報が推定できる。
【０３２０】
もちろん、最適法線選択部１１８は、複数の法線方向ベクトル候補から、最適なものを選択するために、偏光情報取得部１０３で取得した偏光情報を利用しても構わない。これは、例えば偏光度ρを利用するようにすればよい。これは、３つの偏光画像（第１の偏光画像、第２の偏光画像、および第３の偏光画像）から求めた偏光度ρ１、ρ２およびρ３の大きさを比較し、その上位２つに対応する画像を利用して求めた法線方向ベクトル候補を法線方向ベクトルｎとして選択すればよい。これは、偏光度が低い場合には、偏光情報の信頼性がなくなるためである。偏光度が低い場合、偏光情報として偏光位相情報φｍａｘを取得することは非常に困難である。偏光度を利用した法線方向ベクトルの選択を行なうことで、上記の状態を回避でき、問題を解決することが可能である。
【０３２１】
もちろん、最適法線選択部１１８は、複数の法線方向ベクトル候補から、最適なものを選択するために、偏光情報取得部１０３で取得した偏光推定誤差Ｅを利用しても構わない。これは、３つの偏光画像（第１の偏光画像、第２の偏光画像、および第３の偏光画像）から求めた偏光推定誤差Ｅ１、Ｅ２およびＥ３の大きさを比較し、その下位２つに対応する画像を利用して求めた法線方向ベクトル候補を法線方向ベクトルｎとして選択すればよい。これは、偏光推定誤差Ｅが大きい場合には、偏光情報の信頼性がなくなるためである。偏光推定誤差を利用した法線方向ベクトルの選択を行なうことで、信頼性高く推定された偏光位相情報のみを利用して、法線方向ベクトルを生成することが可能である。
【０３２２】
もちろん、最適法線選択部１１８は、複数の法線方向ベクトル候補から、最適なものを選択するために、偏光画像撮像部１０２で取得した偏光画像を利用しても構わない。これは、３つの偏光画像（第１の偏光画像、第２の偏光画像、および第３の偏光画像）の参照画素の輝度値の大きさを比較し、その上位２つに対応する画像を利用して求めた法線方向ベクトル候補を法線方向ベクトルｎとして選択すればよい。これは、偏光画像の輝度値が低い場合には、輝度分解能が小さくなるため、偏光情報の信頼性が低くなると考えられるためである。偏光画像を利用した法線方向ベクトルの選択を行なうことで、信頼性高く推定された偏光位相情報のみを利用して、法線方向ベクトルを生成することが可能である。
【０３２３】
もちろん、法線情報生成部１５７は、複数の法線方向ベクトル候補を生成するのではなく、最適法線選択部１１８が選択した最適な法線方向ベクトルｎのみを生成するようにしても構わない。
【０３２４】
図７１は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。なお、すべての構成要素は図５８と同一のため、図５８と同一の符号を付し、その説明を省略する。
【０３２５】
図７２は、本実施形態における最適法線選択部１１８および法線情報生成部１５７の処理の流れを示すフローチャートである。
【０３２６】
まず、最適法線選択部１１８は、入出射面Ｓ１（第１の偏光画像より取得）と入出射面Ｓ２（第２の偏光画像より取得）から、入出射面角φｓ１２を数３５によって計算し、これを法線推定信頼度Ｃｏ＿１−２とする（ステップＳ５０１）。つぎに、最適法線選択部１１８は、入出射面Ｓ１（第１の偏光画像より取得）と入出射面Ｓ３（第３の偏光画像より取得）から、入出射面角φｓ１３を数３５によって計算し、これを法線推定信頼度Ｃｏ＿１−３とする（ステップＳ５０２）。また、最適法線選択部１１８は、入出射面Ｓ２（第２の偏光画像より取得）と入出射面Ｓ３（第３の偏光画像より取得）から、入出射面角φｓ２３を数３５によって計算し、これを法線推定信頼度Ｃｏ＿２−３とする（ステップＳ５０３）。ここで、最適法線選択部１１８は、法線推定信頼度Ｃｏ＿１−２、Ｃｏ＿１−３およびＣｏ＿２−３の大きさを比較する（ステップＳ５０４）。まず、Ｃｏ＿１−２がＣｏ＿１−３以上であり、かつ、Ｃｏ＿１−２がＣｏ＿２−３以上である場合（ステップＳ５０４でＹｅｓ）、法線情報生成部１５７は、入出射面Ｓ１（第１の偏光画像より取得）と入出射面Ｓ２（第２の偏光画像より取得）から、法線方向ベクトルｎを推定し（ステップＳ５０５）、処理を終了する。また、Ｃｏ＿１−２がＣｏ＿１−３より小さい、またはＣｏ＿１−２がＣｏ＿２−３より小さかった場合（ステップＳ５０４でＮｏ）、最適法線選択部１１８は法線信頼度Ｃｏ＿１−３およびＣｏ＿２−３の大きさを比較する（ステップＳ５０６）。Ｃｏ＿１−３がＣｏ＿２−３以上であった場合（ステップＳ５０６でＹｅｓ）、法線情報生成部１５７は、入出射面Ｓ１（第１の偏光画像より取得）と入出射面Ｓ３（第３の偏光画像より取得）から、法線方向ベクトルｎを推定し（ステップＳ５０７）、処理を終了する。また、Ｃｏ＿２−３がＣｏ＿１−３より大きかった場合（ステップＳ５０６でＮｏ）、法線情報生成部１５７は、入出射面Ｓ２（第２の偏光画像より取得）と入出射面Ｓ３（第３の偏光画像より取得）から、法線方向ベクトルｎを推定し（ステップＳ５０８）、処理を終了する。
【０３２７】
以上の説明は、撮像素子２０２が３個の場合を説明したが、もちろん４個以上の撮像素子を利用しても構わない。
【０３２８】
なお、本実施の形態では、偏光情報取得部１０３を第１の偏光画像撮像部１０２と第２の偏光画像撮像部１０２−２および第３の偏光画像撮像部１０２−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０３２９】
また、本実施の形態では、領域分割部１０５を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０３３０】
また、本実施の形態では、法線１自由度推定部１０６を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０３３１】
以上のように、鏡面反射領域と拡散反射領域の領域分割を行ない、被写体の偏光情報を利用することで、被写体の偏光情報を利用して、分割された領域ごとに異なった処理を行なうことにより、広い領域についてパッシブに高精度な法線情報が推定できる。
【０３３２】
（第７の実施形態）
次に、本発明の第７の実施の形態における法線情報生成装置を説明する。
【０３３３】
図７３は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００において法線情報生成部１６７は、３つ以上の視点から求まった法線１自由度情報を利用して、法線方向ベクトルを推定する。なお、第６の実施形態における法線情報生成装置１００と同一の構成要素には、図７１と同一の符号を付し、その説明を省略する。
【０３３４】
法線情報生成部１６７は、法線１自由度推定部１０６、１０６−２および１０６−３で推定された法線１自由度を、ステレオ対応取得部１１４で取得された画像の対応関係を利用して統合することで、一つの法線方向ベクトルｎを推定する。これは、例えば、３つの入出射面Ｓ１、Ｓ２およびＳ３の法線方向と推定すべき法線方向ベクトルｎのなす角が最大（９０度）になるような法線方向ベクトルｎを生成すればよい。この処理を説明する。
【０３３５】
まず、生成すべき法線方向ベクトルをｎとし、これは第１の撮像素子２０２でのカメラ座標系Ｃ１で表現されているとする。また、第２の撮像素子２０２−２でのカメラ座標系Ｃ２における法線方向ベクトルをｎ＿Ｃ２、第３の撮像素子２０２−３でのカメラ座標系Ｃ３における法線方向ベクトルをｎ＿Ｃ３とする。このとき、各カメラ座標上での法線方向ベクトルは、次式で表される。
【数４０】
2009147814.tif 000042
【数４１】
2009147814.tif 000043
【０３３６】
ただし、Ｒｃ１−ｃ２はカメラ座標系Ｃ１からカメラ座標系Ｃ２への変換を表す回転行列、Ｒｃ１−ｃ３はカメラ座標系Ｃ１からカメラ座標系Ｃ３への変換を表す回転行列である。ここで、各撮像素子での法線１自由度をφｎ１、φｎ２およびφｎ３とすると、法線方向ベクトルｎは、以下の評価関数Ｅｖ３を最小化する法線方向ベクトルｎとして求められる。
【数４２】
2009147814.tif 000044
【０３３７】
図７４は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図７４において、図５９と共通のステップには図５９と同一の符号を付しており、その詳細な説明を省略する。
【０３３８】
法線情報生成部１５７は、入出射面Ｓ１（第１の偏光画像より取得）と入出射面Ｓ２（第２の偏光画像より取得）および入出射面Ｓ３（第３の偏光画像より取得）から、前述の数４２を最小化することで、法線方向ベクトルｎを推定し（ステップＳ４０８）、処理を終了する。
【０３３９】
もちろん、法線情報生成部１５７は、数４２を最小化することで、法線方向ベクトルｎを推定する際、前述の拘束条件をさらに評価関数Ｅｖ３に導入することで、大域的に安定した法線を求めるようにしても構わない。このような拘束条件としては、前述のように、例えば、法線方向ベクトルの連続性、鏡面反射成分と拡散反射成分の空間的な連続性、偏光情報、遮蔽エッジ近傍領域の法線方向ベクトル、法線情報および奥行情報の少なくとも１つの情報を拘束条件など利用すればよい。例えば、法線方向ベクトルの連続性と鏡面反射成分と拡散反射成分の空間的な連続性を拘束条件として利用する場合、法線方向ベクトルｎは、以下の評価関数Ｅｖ４を最小化する法線方向ベクトルｎとして求められる。
【数４３】
2009147814.tif 000045
【０３４０】
ただし、Ｃ１およびＣ２は拘束条件の重み係数である。
【０３４１】
以上の説明は、撮像素子２０２が３個の場合を説明したが、もちろん４個以上の撮像素子を利用しても構わない。
【０３４２】
また、数４２、数４３で示した評価関数を、法線方向ベクトルｎを推定するために用いるのではなく、例えば、ステレオ対応取得部１１４や領域分割部１０５が利用するようにしても構わない。領域分割部１０５が参照点を鏡面反射成分または拡散反射成分に分割する場合には、以下の処理を行なえばよい。まず、第１の法線１自由度推定部１０６、第２の法線１自由度推定部１０６−２および第３の法線１自由度推定部１０６−３は、参照点および対応点の法線１自由度候補（φ１ｎｄ、φ１ｎｓ）、（φ２ｎｄ、φ２ｎｓ）および（φ３ｎｄ、φ３ｎｓ）を求める。ここで、φ１ｎｄ、φ１ｎｓはそれぞれ、撮像素子２０２で撮像された第１の偏光画像に対して、拡散反射成分を仮定した場合の法線１自由度候補、鏡面反射成分を仮定した場合の法線１自由度候補である。上記の法線１自由度候補すべての組み合わせ（φ１ｎｄ―φ２ｎｄ―φ３ｎｄ、φ１ｎｄ―φ２ｎｄ―φ３ｎｓ、φ１ｎｄ―φ２ｎｓ―φ３ｎｄ、φ１ｎｄ―φ２ｎｓ―φ３ｎｓ、φ１ｎｓ―φ２ｎｄ―φ３ｎｄ、φ１ｎｓ―φ２ｎｄ―φ３ｎｓ、φ１ｎｓ―φ２ｎｓ―φ３ｎｄ、φ１ｎｓ―φ２ｎｓ―φ３ｎｓ）８通りにおいて、それぞれ数４２を最小にする法線方向ベクトル候補とその際の評価関数の値を計算する。領域分割部１０５、こうして求めた評価関数を最小にする組み合わせを領域分割結果として選択すればよい。もちろん、法線情報生成部１５７は、評価関数を最小とする組み合わせにおける法線方向ベクトル候補を法線方向ベクトルｎとして生成すればよい。
【０３４３】
また、例えば、ステレオ対応点取得部１１４では、複数画像間での対応点を求める際、数４２や数４３が最小となる対応点を、例えば、エピポーラ線上を探索しながら検出するようにすればよい。
【０３４４】
本実施の形態における法線情報生成装置１００が搭載されたカメラは、実施形態１にかかるカメラ２００（図６１）と同じである。よって、詳細な説明は省略する。
【０３４５】
なお、本実施の形態では、偏光情報取得部１０３を第１の偏光画像撮像部１０２と第２の偏光画像撮像部１０２−２および第３の偏光画像撮像部１０２−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０３４６】
また、本実施の形態では、領域分割部１０５を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０３４７】
また、本実施の形態では、法線１自由度推定部１０６を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０３４８】
以上のように、被写体の偏光情報を利用し、鏡面反射成分と拡散反射成分双方を仮定した法線１自由度候補を最適に統合することで、画素ごとに法線情報が生成されるため、広い領域についてパッシブに高精度な法線情報が推定される。
【０３４９】
なお、法線情報生成装置も画像を処理している点において画像処理装置と呼んでもよい。ただし、その画像処理装置は、図１に示す画像処理装置とは異なる機能を有するものであることに留意されたい。
【０３５０】
（第８の実施形態）
以下、本発明の第８の実施の形態による視点変換画像生成装置を説明する。
【０３５１】
上述したいずれかの実施形態にかかる法線情報生成装置によれば、被写体の法線情報を得ることができる。本実施形態による視点変換画像生成装置は、この法線情報を利用して視点変換された画像（以下「視点変換画像」という。）を生成する。ここで、「視点変換」とは、被写体を撮影した時の視点位置とは異なる視点位置から見た画像を生成する処理をいう。視点変換することにより、同じ被写体を異なる方向から見た画像を得ることができる。
【０３５２】
視点変換の実現方法としては、従来多眼カメラを用いて多視点画像を撮像し、それを補間する画像ベースの方法、および、被写体の3次元幾何モデルを取得してそれにテクスチャを貼り付けるモデルベースの方法がある。しかしながら、前者の方法は、高精細化のためには使用するカメラ数が相当数に増えてしまうこと、基本的には補間を用いるためカメラ群が存在しない任意視点からの視点変換が不可能であるという欠点がある。また、後者の方法では、被写体の高品質な3次元モデルの取得が困難という欠点がある。
【０３５３】
一方、本発明に係る法線情報生成装置は、ステレオ偏光画像を用いることにより被写体法線を画素ベースで取得できる。このように画素ベースで法線が取得できる利点は、陰影から法線を復元する、いわゆるＳｈａｐｅＦｒｏｍＳｈａｄｉｎｇの手法を除けば偏光を用いる手法は唯一の方法であるといってもよく、これを元に形状を復元することにより高精度な3次元モデルを生成し、モデルベースの視点変換を実施することが可能である。
【０３５４】
本発明によれば、ステレオ偏光撮影という2眼カメラ系のみの撮像によって、実質的には多眼カメラで撮影したのと同等の多視点画像を生成し、さらに立体視画像を生成することなどが可能となる。その結果、医療内視鏡分野やＩＴＳ分野、監視分野、さらには３Ｄムービーやｅ−ｃｏｍｍｅｒｃｅなどの分野まで応用範囲が広い技術に応用が可能となる。
【０３５５】
図７５は、本実施の形態における視点変換画像生成装置７００のブロック図を示す。視点変換画像生成装置７００は、上述の第１から第７のいずれかの実施形態による法線情報生成装置１００を含んでいる。視点変換画像生成装置７００は、被写体から法線情報を抽出し、その情報を元にして被写体形状を復元し、さらに視点を変換した画像や光源を変換した画像を合成して提示する。
【０３５６】
法線情報生成装置１００は、ステレオ偏光画像撮像部１０１、ステレオ対応取得部１０４、および、法線情報生成部１０７を備えており、被写体の法線の情報を取得する。この処理の詳細は既に説明したため省略する。なお、以下の説明では、実施形態２で説明した技術内容によってステレオ視のオクルージョンにより法線が得られない領域を含めて被写体全域の法線の情報が取得されているものとする。
【０３５７】
光源情報取得部７５０１では、撮影環境での光源情報を取得する。光源情報は最も簡単なモデルでは光源ベクトルＬ（２自由度）を仮定することができ、その取得には鏡面球を使う方法などを使うことができる。この方法は、たとえば、Mark W.Powell, Sudeep Sarker, and Dmity Goldgof:“A Simple Strategy for Calibratng the Geometry of Light Sources"、IEEE  Transactin on pattern analysis and machine intelligence,Vol.23, No.9, septermber 2001,pp.1023-1026に記載されている。
【０３５８】
光源情報変換部７５０２は、撮影時の光源ベクトルを自由に変化させ、異なる光源ベクトルを利用して、光源を変動させた画像を合成する。ただし本実施形態では光源変動は主たる機能ではなく、視点変換により光源が相対的に変化する効果を再現するために行うものである。
【０３５９】
視線情報取得部７５０３は、カメラパラメータを使ってカメラの視点ベクトルを取得する。カメラパラメータは、カメラの世界座標での位置と向きという外部パラメータ、および、焦点距離やレンズ中心、レンズ歪などの内部パラメータからなる。これらのパラメータの取得は、ステレオ偏光画像撮像部の校正時に既出のＴｓａｉの手法などを使って実現されている。よって、詳細は省略する。
【０３６０】
輝度画像変換部７５０４は、偏光画像を輝度画像に変換する。偏光画像撮像部が図８のような各画素上に設置された微小偏光板で構成されている場合、偏光軸の回転角（Ψｉ＝０°、４５°、９０°、１３５°）の４種類の偏光方向を有する画素から得られる各輝度値は偏光情報を取得するために使われるが、これらを平均した値は偏光情報無しの輝度値となる。輝度画像変換部７５０４は、この平均処理により輝度画像を生成する。
【０３６１】
形状復元部７５０５は、法線情報生成部１０７にて得られた被写体の法線情報と、ステレオ対応取得部１０４にて得られたステレオ対応からの被写体表面上にある離散的な特徴点の３次元座標とを用いて被写体形状を復元する。
【０３６２】
法線情報生成装置１００が出力するのは、法線画像である。これは、（ｘ，ｙ）の２次元平面に３成分を有するベクトルである法線が分布する画像であり、確かに被写体の３Ｄ形状の一部を表現しているため、光源が変化した場合の画像生成には十分である。しかし視点変換を行う場合には被写体形状自身が変化し３Ｄ形状が変わるため、法線画像から形状復元を行う必要がある。以下、暗室内で撮影された地球儀の形状を復元する例を挙げて具体的に説明する。
【０３６３】
図７６は、形状復元部７５０５の処理を示すフローチャートである。
【０３６４】
ステップＳ７６０１では、形状復元部７５０５は、被写体マスク画像を作成する。これは被写体である地球儀の遮蔽エッジを確定し背景との分離を行うものである。任意のシーンにおいて背景と被写体の分離を行うことは困難である。しかしながら、適当なしきい値を設定して画像の輝度で２値化することにより被写体が分離できる。本実施形態では、このようにして得られた画像を被写体マスク画像として採用する。
【０３６５】
ステップＳ７６０２では、形状復元部７５０５は、遮蔽エッジから順次勾配を積分して初期表面を生成する。以降、法線の表現には２自由度の勾配（ｐ，ｑ）空間を用いる。
【０３６６】
図７７は、勾配が法線ベクトルＮから平行投影を仮定して得られる様子を示している。カメラ座標系をｘｙｚとすると、ｘｙ座標系が画面内に存在するとき、視点はＺ方向負向きに位置する。そこで、Ｎが接ベクトルｒｘ、ｒｙの外積の符号を変えたもので視点に向いているとすれば以下のような関係式として法線から勾配が得られる。
【数４４】
2009147814.tif 000046
【０３６７】
図７８を用いて、勾配（ｐ，ｑ）の具体的な積分を説明する。被写体内部はマスク画像で表現されるが、これを遮蔽エッジからの距離変換によって遮蔽エッジから次第に中心部へ向かって数値が大きくなるように順序付けしておく。初期設定としてＺをゼロクリアした後、積分該当画素について、距離が多くなる方向を求める（図７８（Ａ））。そして、その方向が周囲の斜め方向の場合（図７８（Ｂ））と周囲の上下左右の方向の場合（図７８（Ｂ））によって場合分けし、各々の場合に即して勾配（ｐ，ｑ）の順次演算を行う。この結果、地球儀の周囲から順次内側に向かって形状が復元される。この形状は撮像面上の画素座標系である奥行き画像Ｚ（ｙ，ｘ）で表される。
【０３６８】
図７９は、法線画像（Ｎｘ，Ｎｙ，Ｎｚ）、およびマスク画像を入力して上記積分の結果、奥行き画像として表面が生成される過程を示す図である。このようにして初期表面が生成される。
【０３６９】
ステップＳ７６０３では初期表面で求められる表面の形状精度は球の形状から程遠いため、再度勾配（ｐ、ｑ）を有する表面として形状を更新する。この方法では以下の積分を大域的に評価して最小化するZを求める。
【数４５】
2009147814.tif 000047
この変分問題はＬａｎｇｒａｎｇｅ−Ｅｕｌｅｒ方程式に帰着する（Ｐｏｉｓｓｏｎ方程式）。
【数４６】
2009147814.tif 000048
【０３７０】
この式を離散化し、以下の逐次的な処理で最適解を求める。繰り返し処理は１３０Ｘ１３０画素の法線画像について１０００回程度実施する。
【数４７】
2009147814.tif 000049
【０３７１】
ステップＳ７６０４（図７６）では、形状復元部７５０５は、ステレオ対応点を制御点として導入する。本発明によれば偏光からの法線情報に加えて、２眼、または３眼ステレオ視によって求められた特徴点(以降「制御点」)の３次元位置情報を用いて被写体表面の形状を制御することができる。
【０３７２】
図８０は、この様子を示しており、最もZ値が小さい（カメラに近い）制御点を基準点と考え、その画素座標点を対応する奥行き画像に対応させる変換を行うことにより、全制御点を一様に透視投影で上記の焦点面上の奥行き画像に埋め込む。
【０３７３】
ステップＳ７６０５では、制御点拘束付きの最適化を行う。ここまでの処理で滑らかだが歪んだ表面上に制御点が不連続に埋め込まれている状態となっているため再度、勾配の拘束を使って逐次的に表面を更新する。このような制御点拘束付きの最適化処理としては、Ｗｅｉｇｈｔｅｄ  Ｌｅａｓｔ  Ｓｑｕａｒｅｓ  （ＷＬＳ）という方法を用いる。この方法は、論文：Itsik Horovitz and Nahum Kiryati Tel Aviv University：“Depth from Gradient Fields and Control Points:Bias Correction in Photometric Stereo",Image and Vision Computing Vol.22,pp.681-694,2004に記載されている。
【０３７４】
この方法では、対象画素から最も近い制御点からの影響を距離の逆数の重み関数として設定し、距離が近い場合には重みを大きく、距離が遠い場合には重みを小さくする。
【０３７５】
具体的には
【数４８】
2009147814.tif 000050
を最小化する。これをＺｉｊで微分してゼロとおく最小２乗法を用いると
【数４９】
2009147814.tif 000051
となる。したがって、以下の式を繰り返し法で解くこととなる。
【数５０】
2009147814.tif 000052
重み関数の関数形は任意であるが、今回は、
【数５１】
2009147814.tif 000053
を用いる。ここでRは対象画素から最も近い制御点までの画像上の距離である。
【０３７６】
制御点の拘束条件を具体的に実現するため繰り返し毎に、制御点を再度設定しなおしている。これをしないと繰り返しの後で得られる表面はほとんど制御点を反映しないものになってしまう。
【０３７７】
ステップＳ７６０６（図７６）では、形状復元部７５０５は、「滑らかさ」優先形状復元を行う。この理由は以下のとおりである。ステップＳ７６０５までの処理により、形状が復元される。よって、拡散反射成分の視点変換は一応実現できている。しかしながら、表面を詳しく検討すると
・全体的に凹凸が激しい
・特に地球儀中央部の鏡面反射の偏光状態を拡散反射の偏光とみなしている部分の再現が特によくない。
という課題がある。拡散反射成分再現には、このような形状誤差は遮蔽エッジ部分を除きそれほど影響はない。しかし、鏡面反射のモデル化をする場合は極めて高精度で滑らかな曲面が必要であることが分かっているため、この形状誤差は問題となる。これに対し滑らかさ優先で復元した形状を微分し滑らかな法線を得る手法をとり、勾配空間（ｐ，ｑ）を用いた形状復元において、法線の影響を受ける項の重みを係数Wを使って制御することとした。具体的にはＷ＝０．５で生成した表面を用いて、鏡面反射再現には、こちらの形状を用いている。
【数５２】
2009147814.tif 000054
【０３７８】
ステップＳ７６０７では、形状復元部７５０５は、復元された奥行き画像からカメラ座標系の３次元空間内で表現された表面形状に変換する。
【０３７９】
図８１は、上述の各処理によって形状が順次再現されていく様子を示す。この例は、地球儀の奥行き画像の複数の水平方向のプロファイルを示している。
【０３８０】
図８１の（１）は法線を周囲から積分することで初期表面を作成した結果である。この結果にはかなりノイズが含まれている。図８１の（２）は勾配空間を用いて形状を最適化した結果である。この結果でも、曲線がまだ交差しているなど歪みが存在する。図８１の（３）ではステレオ制御点を導入して表面に拘束条件を課している。図８１の（４）では（３）で導入されたステレオ制御点を通り、かつ法線からの勾配空間の条件を両立する表面を最適化して表面形状を生成している。やや歪みはあるものの正しい３次元位置に局面が生成されていることが理解される。図８１の（５）は滑らかさ優先の条件で生成された表面を示し正確な形状からのずれはある。しかしながら、滑らかさは増加していることがわかる。
【０３８１】
ＤＳ分離部７５０６（図７５）では、表面輝度を拡散反射成分と鏡面反分に分離する。これは異なる視点から被写体を観察すると、表面の反射輝度のうち、拡散反射成分（ランバート反射）は不変だが、鏡面反射成分は視点に従って移動したり輝度が大きく変化する現象を再現するためである。本発明では、ステレオ視の２視点を使う方法を採用した。この原理は図８２に示すとおりであり以下のようになる。
（１）Ｃａｍ１とＣａｍ２という２視点位置から被写体を見た画像８２０１，８２０２を取得する。
（２）Ｃａｍ２画像を視点変換して画像８２０３を生成する。画像８２０３は、Ｃａｍ１の視点位置からみたＣａｍ２の画像である（図８２では、「Ｃａｍ２画像＠Ｃａｍ１視点」と記載している。
（３）８２０１と８２０３の同じ撮像画素座標どうしを比較して、輝度が小さいほうを拡散反射成分として拡散反射成分画像８２０４を生成する。
【０３８２】
視点変換部７５０６では、カメラパラメータを用いてＣａｍ１またはＣａｍ２の拡散反射画像の成分のみを自在視点変換する。この処理は３Ｄ形状データ構造を前提としている。以下ではまず３Ｄ形状データ構造を説明する。
【０３８３】
図８３は、形状復元部７５０５にて復元された被写体３Ｄ形状データ構造を示す。形状復元部７５０５は、３Ｄ形状データ構造を、画素ベースの３Ｄ位置座標（カメラ座標系）のデータ形式に作り変えて記憶する。具体的にはカメラ１において撮像座標系（Ｘ，Ｙ）の２Ｄ画素座標系に対して３Ｄ位置座標（Ｘｃ１，Ｙｃ１，Ｚｃ１）がテキスト形式にて格納される。この構造はカメラ視点から見える部分のみしかモデル化できない。しかしながら、最もシンプルな形での視点変換を実現できる。
【０３８４】
被写体以外の背景部分には３Ｄ位置座標（−１，−１，−１）が埋め込まれる。
【０３８５】
図８４は、この３Ｄ形状データ構造とカメラパラメータを用いて、視点変換を行う処理を説明するフローチャートである。なお、このフローチャートでは、視点変換を行う対象であるＣａｍ１画像が、拡散反射画像の場合と法線画像の場合の両方の説明をしていることに注意されたい。これは、図７５における視点変換部７５０７に、拡散反射画像と法線画像の２種の画像が入力されている構成に示されている。
【０３８６】
まず、ステップＳ８４０１では、視点変換部７５０７は、Ｃａｍ１画像とＣａｍ１座標系での３Ｄ形状データを取得する。
【０３８７】
ステップＳ８４０２では、視点変換部７５０７は、上記の３Ｄ形状データに格納されている３Ｄ位置座標をＣａｍ１座標系から世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）に変換する。この変換はカメラパラメータを用いることで可能となる。
【０３８８】
ステップＳ８４０３では、視点変換部７５０７は、求めるべき新視点の画像上の画素位置（Ｉｎｅｗ，Ｊｎｅｗ）を取得して実際の処理を開始する。
【０３８９】
ステップＳ８４０４では、視点変換部７５０７は、同じくカメラパラメータを用いて画素位置（Ｉｎｅｗ，Ｊｎｅｗ）に相当するカメラの視線と世界座標系の３Ｄ形状データとの最も近い点（Ｘ’ｗ，Ｙ’ｗ，Ｚ’ｗ）を探索処理する。
【０３９０】
ステップＳ８４０５では、視点変換部７５０７は、求めた世界座標系に対応する元のＣａｍ１画像の画素値を求める。ステップＳ８４０６では、視点変換部７５０７は、Ｃａｍ１画像が拡散反射画像であるか法線画像であるかを判定する。画像が拡散反射画像であると判定されたときは、処理はステップＳ８４０７に進む。画像が法線画像であると判定されたときは処理はステップＳ８４０８に進む。
【０３９１】
ステップＳ８４０７では、視点変換部７５０７は、Ｃａｍ１画素値である（ＲＧＢ）値をそのまま新視点の画像の画素位置（Ｉｎｅｗ，Ｊｎｅｗ）に格納する。これは拡散反射画像では、視点変換ではその輝度値が不変であるという性質によるものであり、ここでカラー画像でない場合にはモノクロ画素値を格納することになる。その後、処理はステップＳ８４０９に進む。
【０３９２】
ステップＳ８４０８では、視点変換部７５０７は、カメラパラメータを用いて法線ベクトル成分を新視点へ座標系変換して同様に画素位置（Ｉｎｅｗ，Ｊｎｅｗ）に格納して新視点での法線画像を生成する。その後、処理はステップＳ８４０９に進む。
【０３９３】
ステップＳ８４０９では、すべての画素が生成されたかどうかを調べる。すべての画素が生成されていない場合には、ステップＳ８４０３に戻って処理を繰り返す。
【０３９４】
図８５は、図８４のフローチャートにしたがって行われた処理の結果を示す。この図では、Ｃａｍ１画像からＣａｍＮの新視点画像が生成される処理の様子が対応付けて示されている。対応関係８５０１は、Ｃａｍ１画像の座標（Ｉ１，Ｊ１）と新視点画像であるＣａｍＮ画像の座標(Ｉｎｅｗ，Ｊｎｅｗ)との画像面上での関係を説明している。対応関係８５０２は、Ｃａｍ１画像が拡散反射画像の場合において、上記の２つの画素位置において（ＲＧＢ）のカラー画素値がそのまま格納されることを示している。対応関係８５０３は、Ｃａｍ１画像が法線画像の場合において、２つの画素位置でその画素値である法線ベクトルの成分（Ｎ１ｘ、Ｎ１ｙ，Ｎ１ｚ）が座標変換されて（Ｎｎｅｗｘ，Ｎｎｅｗｙ，Ｎｎｅｗｚ）となって格納されることを示している。
【０３９５】
鏡面反射画像生成部７５０８（図７５）では、拡散反射画像の視点変換画像同様に視点変換された鏡面反射画像を物理的に生成して合成する。ここまでの処理によると、既に被写体から実際の鏡面反射成分を除去した拡散反射画像に対して視点変換が実施できている。本処理は、ここに光源、視点、被写体法線の幾何的関係と表面反射特性を用いる物理反射モデルを使って鏡面反射を再現することを目的として行われる。この処理は、本手法のようなモデルベースの視点変換独自機能といえる。
【０３９６】
鏡面反射に視点変換を実施するためには、まず新視点のカメラ座標系において法線画像と光源ベクトルを得る必要がある。法線画像についてはすでに視点変換部７５０７において処理が行われている。よって、鏡面反射画像生成部７５０８は、あとは光源ベクトルをカメラパラメータを用いて座標変換すればよい。
【０３９７】
次に、鏡面反射画像生成部７５０８は、物理反射モデルを利用して法線ベクトル、視線ベクトル、光源ベクトルと表面反射特性から反射輝度値を求めていく。
【０３９８】
利用したモデルは以下の式で表現されるクック−トランスモデルである。これは法線ベクトルＮ、視点ベクトルＶ、ハーフベクトルと法線のなす角αを用いると以下のように分布関数Ｄがベックマン関数で表現される。このモデルにはトランス−スパローモデルなど別の鏡面反射モデルを使ってもかまわない。
【数５３】
2009147814.tif 000055
【０３９９】
図８６は、この幾何学的関係を示す。図８６は、光源ベクトルＬと視線ベクトルＶとの２等分ベクトルであるＨと、法線ベクトルＮとの間の角度αを説明している。このα＝０となる角度にて式５３のＤが最大値をとり、輝度が最大となる。表面の反射特性を表現するのは、粗さ係数ｍと輝度重み係数Ｋであるが、これらは実際に撮影する場合に被写体から取得してもよいし、以前の実験で同じ被写体（地球儀）について最適化されたパラメータを使ってもよい。ここでは以前の実験で同じ被写体について求めておいた値（ｍ＝０．０８３，  ｋ＝６４１５．７９５）を用いる。なお、このパラメータは、反射パラメータデータベース７５０９に格納されているものとする。
【０４００】
最後に、ＤＳ合成部７５１０は、以上の処理で生成された視点変換された拡散反射画像と、おなじく視点変換された鏡面反射画像とを加算して視点変換画像を完成する。
【０４０１】
２Ｄ／３Ｄ提示部７５１１は、たとえば、生成された自在視点変換画像を表示するディスプレイである。ディスプレイは、２Ｄ（平面）ディスプレイであってもよいし、３Ｄ（立体）ディスプレイの場合がある。
【０４０２】
２Ｄディスプレイの場合には、ユーザがジョイステックや視点入力装置などの既知のインタフェースにて視点位置を指示すると、２Ｄ／３Ｄ提示部７５１１は、その視点位置に即した２Ｄ画像を表示を行う。
【０４０３】
３Ｄ（立体）ディスプレイは、眼鏡有り立体視の固定視点ディスプレイおよび裸眼の多視点立体ディスプレイの両方を含んでいる。前者の場合には、２Ｄディスプレイの場合と同じインタフェースにて自在に視点が変わった立体画像を観察できる。後者の場合には、観察者は自在に視点を動かして立体像を観察できる。そこで、観察者がある視点で見た場合、その左右眼の２枚の視点画像を合成してその方向に提示することにより自在視点での立体視が可能になる。
【０４０４】
図８７は、視点変換画像の表示例を示す。画像８７０１、８７０２はそれぞれ、偏光撮像された左右の入力画像を示す。画像８７０３、８７０４、８７０５は、左の入力画像８７０１を用いて任意視点へ合成された画像を示しており、それぞれ、入力画像の中間視点画像、左４５度への視点移動画像、右４５度への視点移動画像を示す。観察者の視点移動に伴って鏡面反射部分の位置が変わって再現されており、リアリティが向上する利点が得られていることがわかる。
【０４０５】
図８８は、２Ｄディスプレイの場合の実カメラ視点と合成された仮想的な視点の幾何学的関係を示す。実カメラの配置で撮影された左画像と右画像の入力画像に対して、その左画像から、３点の仮想視点８８０１、８８０２、８８０３での画像が生成されており、それらが図８７の画像に対応している。
【０４０６】
図８９は、同じ視点変換が３Ｄディスプレイで提示される場合の視点の幾何学的関係を示す。各仮想視点８８０１、８８０２、８８０３にて観察者の左眼と右眼に相当する２種類の仮想視点画像の対がさらに生成される。これらの画像は、既存の多視点３Ｄ（立体）ディスプレイに表示することができる。これによって観察者は自在に視線を動かしながら、多視点から被写体の立体像を観察できる。
【産業上の利用可能性】
【０４０７】
本発明に係る法線情報生成装置は、被写体を撮像することによって被写体の表面における法線情報を生成する法線情報生成装置として、例えば、被写体の３次元形状情報を生成する装置や、その情報を利用して画像を高精細化する装置として、具体的には、デジタルスチルカメラ、デジタルムービーカメラ、監視カメラ などに有用である。特に、光学系や撮像素子の小型化によって画像の解像度が問題となるカメラ付き携帯電話、デジタルカメラ、デジタルムービーカメラなどの携帯型撮像装置が普及してきた今日における実用的意義は極めて高い。【０４０８】
また、本発明に係わる視点変換画像生成装置は、上記の法線情報生成装置の出力である法線画像を用いて被写体の形状を復元し、任意視点からの合成画像を生成することができるため、医療内視鏡分野やＩＴＳ分野、監視分野、さらには３Ｄムービーやｅ−ｃｏｍｍｅｒｃｅなどの分野まで応用範囲が広い技術に応用が可能である。
【符号の説明】
【０４０９】
１０１  ステレオ偏光画像撮像部
１０２  偏光画像撮像部
１０３  偏光情報取得部
１０４  ステレオ対応取得部
１０５  領域分割部
１０６  法線１自由度推定部
１０７  法線情報生成部
１０８  最適法線選択部
１０９  信頼性推定部
【図１】
2009147814.tif 000056
【図２】
2009147814.tif 000057
【図３】
2009147814.tif 000058
【図４】
2009147814.tif 000059
【図５】
2009147814.tif 000060
【図６】
2009147814.tif 000061
【図７】
2009147814.tif 000062
【図８】
2009147814.tif 000063
【図９】
2009147814.tif 000064
【図１０】
2009147814.tif 000065
【図１１】
2009147814.tif 000066
【図１２】
2009147814.tif 000067
【図１３】
2009147814.tif 000068
【図１４】
2009147814.tif 000069
【図１５】
2009147814.tif 000070
【図１６】
2009147814.tif 000071
【図１７】
2009147814.tif 000072
【図１８】
2009147814.tif 000073
【図１９】
2009147814.tif 000074
【図２０】
2009147814.tif 000075
【図２１】
2009147814.tif 000076
【図２２】
2009147814.tif 000077
【図２３】
2009147814.tif 000078
【図２４】
2009147814.tif 000079
【図２５】
2009147814.tif 000080
【図２６】
2009147814.tif 000081
【図２７】
2009147814.tif 000082
【図２８】
2009147814.tif 000083
【図２９】
2009147814.tif 000084
【図３０】
2009147814.tif 000085
【図３１】
2009147814.tif 000086
【図３２】
2009147814.tif 000087
【図３３】
2009147814.tif 000088
【図３４】
2009147814.tif 000089
【図３５】
2009147814.tif 000090
【図３６】
2009147814.tif 000091
【図３７】
2009147814.tif 000092
【図３８】
2009147814.tif 000093
【図３９】
2009147814.tif 000094
【図４０】
2009147814.tif 000095
【図４１】
2009147814.tif 000096
【図４２】
2009147814.tif 000097
【図４３】
2009147814.tif 000098
【図４４】
2009147814.tif 000099
【図４５】
2009147814.tif 000100
【図４６】
2009147814.tif 000101
【図４７】
2009147814.tif 000102
【図４８】
2009147814.tif 000103
【図４９】
2009147814.tif 000104
【図５０】
2009147814.tif 000105
【図５１】
2009147814.tif 000106
【図５２】
2009147814.tif 000107
【図５３】
2009147814.tif 000108
【図５４】
2009147814.tif 000109
【図５５】
2009147814.tif 000110
【図５６】
2009147814.tif 000111
【図５７】
2009147814.tif 000112
【図５８】
2009147814.tif 000113
【図５９】
2009147814.tif 000114
【図６０】
2009147814.tif 000115
【図６１】
2009147814.tif 000116
【図６２】
2009147814.tif 000117
【図６３】
2009147814.tif 000118
【図６４】
2009147814.tif 000119
【図６５】
2009147814.tif 000120
【図６６】
2009147814.tif 000121
【図６７】
2009147814.tif 000122
【図６８】
2009147814.tif 000123
【図６９】
2009147814.tif 000124
【図７０】
2009147814.tif 000125
【図７１】
2009147814.tif 000126
【図７２】
2009147814.tif 000127
【図７３】
2009147814.tif 000128
【図７４】
2009147814.tif 000129
【図７５】
2009147814.tif 000130
【図７６】
2009147814.tif 000131
【図７７】
2009147814.tif 000132
【図７８】
2009147814.tif 000133
【図７９】
2009147814.tif 000134
【図８０】
2009147814.tif 000135
【図８１】
2009147814.tif 000136
【図８２】
2009147814.tif 000137
【図８３】
2009147814.tif 000138
【図８４】
2009147814.tif 000139
【図８５】
2009147814.tif 000140
【図８６】
2009147814.tif 000141
【図８７】
2009147814.tif 000142
【図８８】
2009147814.tif 000143
【図８９】
2009147814.tif 000144
【手続補正書】
【提出日】平成21年10月2日(2009.10.2)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像することによって被写体の表面における法線情報を生成する技術に関し、特に、複数視点から撮像した、偏光画像から法線情報を生成する技術に関する。さらに本発明は、生成した法線情報を利用して、被写体を撮影した時の視点位置とは異なる視点位置から見た画像を生成する技術に関する。
【背景技術】
【０００２】
カメラ付き携帯電話やデジタルカメラ、デジタルムービーカメラなどは将来、ＨＤＴＶ並みに高精細化すると言われており、付加価値を求めて小型化も進行中である。しかし、光学系や撮像素子が小型化すると、感度やレンズ回折限界などの基本的な画像撮像の限界の問題が発生し、将来的には高精細化も限界に到達すると考えられる。その場合、不足する取得された被写体の画像情報に加えてコンピュータグラフィックスで画像生成に利用される各種物理特性に関係する情報量の付与を行なうことで画質を向上することが有効になる。そのためには、従来の２次元画像処理の枠を超え、被写体の３次元形状情報や、被写体を照明する光源の情報など、画像生成過程における物理情報を取得しなくてはならない。
【０００３】
形状情報の入力には、レーザ光やＬＥＤ光源を投光するレンジファインダや、２眼ステレオなどの距離計測システムが必要である。しかし、このような距離計測システムは大掛かりになる上に、たとえばカメラと被写体との距離がせいぜい数ｍ程度までしかデータを取得できないという制約や、対象被写体が固形物で明るい拡散物体に限られるなどの制約がある。これでは、子供の運動会などの遠距離の屋外シーン撮像や、髪の毛や衣服が重要な人物撮像には利用できない。
【０００４】
また、これらの手法は３次元形状情報として奥行情報を取得する。しかし、画像生成過程における物理情報としては奥行情報ではなく、法線情報が非常に有効である。もちろん、これらの手法から求めた奥行情報から法線情報を取得することは広く行なわれているが（例えば、非特許文献１）、こうして求められた法線情報は精度が十分でないことが知られている（例えば、非特許文献２）。
【０００５】
つまり、屋外シーンや一般被写体において上記目的を達成するためには、完全にパッシブ（受動的）に法線情報を直接、センシング（計測）する方法が必要である。
【０００６】
法線情報を直接計測する手法としては、Ｐｈｏｔｏｍｅｔｒｉｃ  ＳｔｅｒｅｏなどのいわゆるＳｈａｐｅ  Ｆｒｏｍ  Ｓｈａｄｉｎｇ法と偏光を利用した手法が知られている。しかし、前者は、光源位置が既知であるか、光源位置を変動させる必要があるため、アクティブなセンシング方法となり、パッシブなセンシング方法ということはできない。
【０００７】
偏光を利用した手法として、例えば、特許文献１では、被写体照明には特別な仮定をせず（ランダム偏光：非偏光照明）、カメラのレンズ前に装着した偏光板を回転させながら鏡面反射成分を観測する方法で被写体の局所的な法線情報を生成する方法が開示されている。被写体の表面法線は２つの自由度を有するが、これらは光の入射と反射の光線を包含する入射面と、入射面内での入射角という２つの角度を求めることにより法線を決定している。鏡面反射成分の入射面の情報は、偏光板を回転させて変化する輝度の最小値となる角度から求めている。
【０００８】
また、非特許文献３では、被写体照明には特別な仮定をせず（ランダム偏光：非偏光照明）、カメラのレンズ前に装着した偏光板を回転させながら拡散反射成分を観測する方法で、被写体の法線情報のうち、光の入射と反射の光線を包含する出射面の角度１自由度を求めている。拡散反射成分の出射面の情報は、偏光板を回転させて変化する輝度の最大値となる角度から求めている。
【０００９】
また、非特許文献４では、非特許文献３と同様の手法で角度１自由度を求め、さらに偏光度を直接、利用することで法線方向ベクトルを求めている。
【００１０】
さらに、非特許文献５では、偏光情報とＳｈａｐｅ  Ｆｒｏｍ  Ｓｈａｄｉｎｇ法を組み合わせることにより、テクスチャがない被写体に対しても、法線情報の計測を行なっている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】ＵＳＰ５，０２８，１３８号公報
【非特許文献】
【００１２】
【非特許文献１】H. Hoppe, T. DeRose, T. Duchamp, J. McDonald, and W. Stuetzle, "Surface reconstruction from unorganized points," Computer Graphics (SIGGRAPH  '92 Proceedings), pp.71-78, 1992.
【非特許文献２】肥後智昭，宮崎大輔，池内克史，"陰影からの形状と反射パラメータの同時推定"，画像の認識・理解シンポジウム (MIRU2007)，pp.1093-1098，2007
【非特許文献３】Ondfej Drbohlav and Sara Radim，"Using polarization to determine intrinsic surface properties"，Proc. SPIE Vol.3826，pp.253-263，1999
【非特許文献４】G. A. Atkinson and E. R. Hancock, "Recovery of surface orientation from diffuse polarization," IEEE Transactions of Image Processing, Vol.15, No.6, pp.1653-1664, 2006
【非特許文献５】Gary A. Atkinson and Edwin R. Hancock，"Shape Estimation Using Polarization and Shading from Two Views"，IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.29，Iss.11，pp.2001-2017，2007
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、上述したいずれの文献も、問題点を抱えている。具体的には以下のとおりである。
【００１４】
上記特許文献１の技術では、鏡面反射成分のみを対象にしているため、特殊な光源を利用しない限り、被写体全体の法線情報を取得することはできない。
【００１５】
また、非特許文献２の技術では、光源位置を変えた非常に多くの画像を必要とするため、パッシブな手法ではない。
【００１６】
また、非特許文献３の技術では、拡散反射成分の法線１自由度のみを対象にしており、鏡面反射成分のような反射特性の異なる領域では正確に法線情報を求めることができないという問題がある。また、非特許文献３の技術では、鏡面反射成分の影響を除去するため、光源をカメラ近傍に設置している。そのため、やはり特殊な光源が必要となり、パッシブな手法とは言いがたい。
【００１７】
さらに、非特許文献４では、偏光度から直接、法線方向ベクトルを求めている。しかし、偏光度情報は多重反射などの影響を非常に受けやすいため、適用できる被写体の材質や形状、さらに撮影環境が大幅に限定されてしまう。
【００１８】
また、非特許文献５では、被写体を回転テーブルに設置して撮影を行なうため、やはりパッシブな手法ではない。
【００１９】
また、近年のカメラでは高ダイナミックレンジ化が進んでいる。そのため、鏡面反射成分による偏光と拡散反射成分による偏光が同時に取得されるため、両者の領域に対して法線情報を取得する手法が必要である。
【課題を解決するための手段】
【００２０】
本発明による画像処理装置は、被写体を撮像することによって前記被写体の表面における法線情報をパッシブに生成する画像処理装置であって、各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、視点位置の異なる前記複数の偏光画像に基づいて、被写体の法線方向ベクトルを推定する法線情報生成部とを有している。
【００２１】
前記画像処理装置は、前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光光の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、前記領域分割部で分割された各領域に対応する、被写体の表面での法線１自由度をそれぞれ推定する法線１自由度推定部とをさらに備え、前記法線情報生成部は、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、法線方向ベクトルを推定してもよい。
【００２２】
前記画像処理装置は、前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、視点位置の異なる前記複数の偏光画像のいずれかに含まれる特徴点を特定し、前記特徴点に基づいて他の前記複数の偏光画像を探索することにより、前記複数の偏光画像の各々の間で対応付けられた特徴点を特定し、各特徴点に基づいて、前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、前記領域分割部で分割された各領域に対応する、被写体の表面での法線１自由度をそれぞれ推定する法線１自由度推定部とをさらに備え、前記法線情報生成部は、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、法線方向ベクトルを推定してもよい。
【００２３】
前記偏光情報取得部は、偏光情報として、偏光度、偏光位相、偏光推定誤差、偏光最大輝度値、偏光最小輝度値の少なくとも１つを生成してもよい。
【００２４】
前記領域分割部は、前記被写体の表面を、拡散反射領域および鏡面反射領域のいずれかに分割してもよい。
【００２５】
前記領域分割部は、前記被写体の表面を、拡散反射領域、鏡面反射領域および陰影領域のいずれかに分割してもよい。
【００２６】
前記領域分割部は、前記被写体の表面を、拡散反射領域、鏡面反射領域、アタッチト・シャドウ領域およびキャスト・シャドウ領域のいずれかに分割してもよい。
【００２７】
前記領域分割部は、前記被写体の表面を、拡散反射領域、鏡面反射領域、ステレオ未対応領域およびオクルージョン領域のいずれかに分割してもよい。
【００２８】
前記法線１自由度推定部は、前記拡散反射領域については、前記対応関係において輝度が最大となる偏光主軸角度を、当該領域に対応する前記被写体の出射面の法線情報として生成してもよい。
【００２９】
前記法線１自由度推定部は、前記ステレオ未対応領域およびオクルージョン領域については、法線方向ベクトルが光軸に直交する平面上に存在することに基づいて、法線方向ベクトルを生成してもよい。
【００３０】
前記法線１自由度推定部は、前記鏡面反射領域およびアタッチト・シャドウ領域については、前記対応関係において輝度が最小となる偏光主軸角度を、当該領域に対応する前記被写体の入射面の法線情報として生成してもよい。
【００３１】
前記法線情報生成部は、視点位置の異なる複数の偏光画像において、前記法線１自由度推定部が推定した入射面または出射面の交線を求めることによって、法線方向ベクトルを生成してもよい。
【００３２】
前記法線情報生成部は、生成された法線方向ベクトルと視線方向の相対関係を評価することによって、生成された法線方向ベクトルの不定性を除去してもよい。
【００３３】
前記ステレオ対応取得部は、前記偏光情報取得部が取得した偏光最小輝度値を利用してステレオ画像の対応を取得してもよい。
【００３４】
前記法線情報生成部は、オクルージョン領域については、法線方向ベクトルは視線ベクトルと直交することを利用し、前記法線１自由度推定部で推定した入射面または出射面上において、視線ベクトルと直交するベクトルを法線方向ベクトルとして生成してもよい。
【００３５】
本発明による他の画像処理装置は、被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置であって、各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、鏡面反射成分を仮定した処理と拡散反射成分を仮定した処理とを切り替えることにより、対応する被写体の表面での複数の法線１自由度候補を推定する法線１自由度推定部と、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、複数の法線方向ベクトル候補を生成する法線情報生成部と、前記法線情報生成部によって生成された複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択する最適法線選択部とを備えている。
【００３６】
前記法線情報生成部は、法線方向ベクトルの連続性、鏡面反射成分と拡散反射成分の空間的な連続性、偏光情報、遮蔽エッジ近傍領域の法線方向ベクトル、法線情報および奥行情報の少なくとも１つに基づいて、最適な法線方向ベクトルを選択してもよい。
【００３７】
前記画像処理装置は、前記法線情報生成部が生成した前記法線方向ベクトルの信頼性を推定し、前記信頼性の低さに応じて前記法線方向ベクトルを廃棄する信頼性推定部をさらに備えていてもよい。
【００３８】
前記法線情報生成部は、信頼性の低さに応じて、前記法線方向ベクトルを、奥行情報に基づいて求めた法線方向ベクトルに置き換えてもよい。
【００３９】
前記法線情報生成部は、信頼性の低さに応じて、前記法線方向ベクトルを、近傍の法線方向ベクトルから補間処理を行なうことによって求めた法線方向ベクトルに置き換えてもよい。
【００４０】
前記信頼性推定部は、前記偏光情報取得部が取得した偏光情報、前記領域分割部の領域分割結果、前記法線１自由度推定部が推定した法線１自由度情報、および、前記法線情報生成部が生成した法線方向ベクトルの少なくとも１つに基づいて、法線方向ベクトルの信頼性を推定してもよい。
【００４１】
前記信頼性推定部は、視点位置の異なる複数の偏光画像において、前記法線１自由度推定部が推定した法線１自由度情報である入射面または出射面のなす角度の大きさに応じて、推定する法線方向ベクトルの信頼性の大きさを変えてもよい。
【００４２】
前記領域分割部は、前記被写体の表面を陰影領域として領域分割を行ない、前記信頼性推定部は、前記領域分割部が陰影領域として領域分割した領域における法線方向ベクトルの信頼性を相対的により低く推定してもよい。
【００４３】
前記領域分割部は、前記被写体の表面をキャスト・シャドウ領域として領域分割を行ない、前記信頼性推定部は、前記領域分割部がキャスト・シャドウ領域として領域分割した領域における法線方向ベクトルの信頼性を相対的により低く推定してもよい。
【００４４】
前記信頼性推定部は、前記偏光情報取得部が取得した偏光情報、および、前記領域分割部の領域分割結果から法線情報を計算し、計算された法線情報と前記法線情報生成部が生成した法線方向ベクトルとを比較し、その差に応じて、法線方向ベクトルの信頼性を変えてもよい。
【００４５】
本発明によるさらに他の画像処理装置は、被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置であって、各視点位置において偏光方向が異なる複数の偏光光を受け、被写体の視点位置の異なる３つ以上の複数の偏光画像を取得するステレオ偏光画像撮像部と、前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、前記偏光情報に基づいて、前記領域分割部によって分割された領域ごとに処理を切り替えることにより、対応する被写体の表面での法線１自由度を推定する法線１自由度推定部と、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、複数の法線方向ベクトルを推定する法線情報生成部と、前記法線情報生成部によって生成された前記複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択する最適法線選択部とを備えている。
【００４６】
前記法線情報生成部は、視点位置の異なる前記３つ以上の複数の偏光画像から、２つの偏光画像ごとに複数の法線方向ベクトル候補を生成してもよい。
【００４７】
前記最適法線選択部は、前記ステレオ偏光画像撮像部が撮像した偏光画像、前記偏光情報取得部が取得した偏光情報、前記領域分割部の領域分割結果、前記法線１自由度推定部が推定した法線１自由度情報、および、前記法線情報生成部が生成した法線方向ベクトルの少なくとも１つに基づいて、前記複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択してもよい。
【００４８】
前記最適法線選択部は、視点位置の異なる前記３つ以上の複数の偏光画像において、前記法線１自由度推定部が推定した法線１自由度情報である入射面または出射面のなす角度が最も大きい法線方向ベクトル候補を、最適な法線方向ベクトルとして推定してもよい。
【００４９】
前記最適法線選択部は、前記信頼性推定部が推定した偏光度情報および前記領域分割部の領域分割結果に基づいて法線情報を計算し、計算された法線情報と前記法線情報生成部が生成した法線方向ベクトルとを比較し、その差が最小となる法線方向ベクトル候補を最適な法線方向ベクトルとして推定してもよい。
【００５０】
本発明によるさらに他の画像処理装置は、被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置であって、各視点位置において偏光方向が異なる複数の偏光光を受け、被写体の視点位置の異なる３つ以上の複数の偏光画像を取得するステレオ偏光画像撮像部と、前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、前記偏光情報に基づいて、前記領域分割部によって分割された領域ごとに処理を切り替えることにより、対応する被写体の表面での法線１自由度を推定する法線１自由度推定部と、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、複数の法線方向ベクトルを推定する法線情報生成部とを備えている。
【００５１】
前記法線情報生成部は、前記法線１自由度推定部で推定した複数の入射面または出射面とのなす角が最大となる方向ベクトルを法線情報ベクトルとして生成してもよい。
【００５２】
前記法線情報生成部は、法線方向ベクトルの連続性、鏡面反射成分と拡散反射成分の空間的な連続性、偏光情報、遮蔽エッジ近傍領域の法線方向ベクトル、法線情報および奥行情報の少なくとも１つの情報を拘束条件として利用することにより、法線方向ベクトルを選択してもよい。
【００５３】
前記ステレオ偏光画像撮像部は、偏光主軸角度が異なる複数の偏光子を透過した前記被写体からの光を、前記各視点位置において偏光方向が異なる複数の偏光光として受けてもよい。
【００５４】
前記ステレオ偏光画像撮像部は、回転によって偏光主軸角度が可変である偏光子を回転させることにより、前記偏光子を透過した前記被写体からの光を、前記各視点位置において偏光方向が異なる複数の偏光光として受けてもよい。
【００５５】
本発明による画像処理方法は、被写体を撮像することによって前記被写体の表面における法線情報を生成する法線情報生成方法であって、各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステップと、前記複数の偏光光に関する偏光情報を生成するステップであって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成するステップと、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステップと、前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、鏡面反射成分を仮定した処理と拡散反射成分を仮定した処理とを切り替えることにより、対応する被写体の表面での複数の法線１自由度候補を推定するステップと、前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割するステップと、前記偏光情報に基づいて、前記領域分割部によって分割された領域ごとに処理を切り替えることにより、対応する被写体の表面での法線１自由度を推定するステップと、推定された前記法線１自由度、および、前記複数の偏光画像の画素ごとの対応関係に基づいて、複数の法線方向ベクトルを推定するステップと、生成された前記複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択するステップとを包含する。
【００５６】
本発明によるコンピュータプログラムは、被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置のためのコンピュータプログラムであって、上述の方法に包含される各ステップを前記画像処理装置のコンピュータに実行させる。
【００５７】
本発明による視点変換画像生成装置は、複数の異なる視点位置で被写体を撮像することによって前記被写体の撮影時とは異なる任意視点位置からみた画像を合成する視点変換画像生成装置であって、複数の異なる視点位置の各々において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、視点位置の異なる前記複数の偏光画像に基づいて、被写体の法線方向ベクトルを法線情報として推定する法線情報生成部と、前記法線情報から前記被写体の３次元形状を復元する形状復元部と、前記３次元形状に基づいて、撮影された前記被写体の画像の視点位置を変換する視点変換部とを備えている。
【００５８】
前記視点変換画像生成装置は、所定の反射モデルによって、視点変換された画像から鏡面反射画像を生成する鏡面反射画像生成部と、複数の画像を合成して１枚の画像を生成する合成部と、画像を提示する提示部とをさらに備え、前記視点変換部は、前記被写体の画像から拡散反射成分と鏡面反射成分とを分離して得られる拡散反射画像および前記法線情報生成部から得られる法線画像の両方を視点変換し、前記鏡面反射画像生成部は、視点変換された前記法線画像から鏡面反射画像を生成し、前記合成部は、視点変換された前記拡散反射画像および生成された前記鏡面反射画像を合成し、前記提示部は、合成された画像を提示してもよい。
【００５９】
前記視点変換画像生成装置は、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部をさらに備え、前記形状復元部は、前記法線情報生成部から得られる法線画像および前記ステレオ対応取得部から得られる前記複数の偏光画像間で対応する画素の特徴点に対応する３次元位置を用いて、前記被写体の３次元形状を復元してもよい。
【００６０】
前記視点変換画像生成装置は、視点変換された２次元画像を、観察者の視点位置に応じて逐次２次元画面に表示する提示部を有していてもよい。
【００６１】
前記視点変換画像生成装置は、観察者の視点位置における２種類の視差画像を生成することにより、多視点で立体表示を行う提示部を有していてもよい。
【００６２】
本発明による画像生成装置は、被写体を撮像することによって前記被写体の形状を復元する画像生成装置であって、各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、視点位置の異なる前記複数の偏光画像に基づいて、被写体の法線方向ベクトルを法線情報として推定する法線情報生成部と、前記法線情報から前記被写体の３次元形状を復元する形状復元部とを備えている。
【発明の効果】
【００６３】
本発明によれば、被写体の偏光情報を利用することで、鏡面反射領域と拡散反射領域の領域分割が行われ、領域ごとに法線情報が生成される。これにより、広い領域についてパッシブに精度の高い法線情報を生成（または推定）できる。
【図面の簡単な説明】
【００６４】
【図１】画像処理装置５００の構成を示す図である。
【図２】３次元形状情報を取得する方法を比較した図である。
【図３】画像処理装置５００による処理の流れを示すフローチャートである。
【図４】本発明の第１および第２の実施形態に係る法線情報生成装置の構成を示す機能ブロック図である。
【図５】本発明の第１および第２および第３および第４および第５の実施形態に係る法線情報生成装置が搭載されたカメラの構成例を示す図である。
【図６】本発明におけるパターン偏光子と撮像装置における撮像素子の関係を示した模式図である。
【図７】本発明の第１の実施形態に係る法線情報生成装置による処理の流れを示すフローチャートである。
【図８】本発明におけるパターン偏光子の配列状態を説明するための模式図である。
【図９】本発明における正弦関数輝度変化と観測輝度点を説明するための模式図である。
【図１０】本願発明者らによる撮影時のカメラ２００と被写体の位置関係、および、カメラ２００内のパターン偏光子２０１および２０１−２の位置関係を示す図である。
【図１１】（ａ）〜（ｄ）は、球体である地球儀の被写体を撮影した画像と、その画像から求めた偏光度ρ１と偏光位相φｍａｘ１、偏光推定誤差Ｅ１の図である。
【図１２】（ａ）〜（ｄ）は、球体である地球儀の被写体を撮影した画像と、その画像から求めた偏光度ρ１と偏光位相φｍａｘ１、偏光推定誤差Ｅ１の模式図である。
【図１３】（ａ）〜（ｄ）は、図１１（ａ）〜（ｄ）に示す画像と、図１２（ａ）〜（ｄ）に示す各領域との対応関係を示す図である。
【図１４】（ａ）〜（ｄ）は、発泡スチロール製の頭部模型の被写体を撮影した画像と、その画像から求めた偏光度ρ１と偏光位相φｍａｘ１、偏光推定誤差Ｅ１の図である。
【図１５】本発明の第１の実施形態に係るステレオ対応取得部による処理の流れを示すフローチャートである。
【図１６】（ａ）および（ｂ）は、本発明の第１の実施形態に係るステレオ対応取得部による対応点間の補間処理を説明するための模式図である。
【図１７】被写体の屈折率ｎ＝１．１，１．３，１．５，２．０の場合における鏡面反射成分の入射角に対する偏光度を示したグラフである。
【図１８】被写体の屈折率ｎ＝１．１，１．３，１．５，２．０の場合における拡散反射成分の出射角に対する偏光度を示したグラフである。
【図１９】法線方向ベクトル、視線ベクトル、光源方向ベクトルの関係を説明するための模式図である。
【図２０】本発明の第１の実施形態に係る領域分割部における領域分割基準を表した模式図である。
【図２１】本発明の第１の実施形態に係る領域分割部における別の領域分割基準を表した模式図である。
【図２２】本発明におけるパターン偏光子の別の配列状態を説明するための模式図である。
【図２３】本発明の第１の実施形態に係る法線情報生成部における法線方向ベクトル推定処理を説明するための模式図である。
【図２４】（ａ）〜（ｄ）は、球体である地球儀の被写体をステレオ偏光画像撮像部で撮影した画像と、そのステレオ偏光画像から求めた偏光位相φｍａｘの図である。
【図２５】（ａ）〜（ｄ）は、球体である地球儀の被写体をステレオ偏光画像撮像部で撮影した画像と、そのステレオ偏光画像から求めた偏光位相φｍａｘの模式図である。
【図２６】（ａ）〜（ｄ）は、図２４（ａ）〜（ｄ）に示す画像と、図２５（ａ）〜（ｄ）に示す各領域との対応関係を示す図である。
【図２７】（ａ）〜（ｃ）は、本発明の第１の実施形態に係る法線情報生成装置によって推定された法線方向ベクトル、および、本発明の第６の実施形態に係る法線情報生成装置によって推定された法線方向ベクトル候補を可視化した法線画像の図である。
【図２８】（ａ）〜（ｃ）は、本発明の第１の実施形態に係る法線情報生成装置によって推定された法線方向ベクトル、および、本発明の第６の実施形態に係る法線情報生成装置によって推定された法線方向ベクトル候補を可視化した法線画像の模式図である。
【図２９】（ａ）〜（ｃ）はそれぞれ、図２７（ａ）〜（ｃ）に示す画像と、図２８（ａ）〜（ｃ）に示す各領域との対応関係を示す図である。
【図３０】座標系のｘ，ｙ，ｚ方向を説明するための模式図である。
【図３１】本発明の第２の実施形態に係る法線情報生成装置による処理の流れを示すフローチャートである。
【図３２】本発明の第２の実施形態に係る法線情報生成装置による処理の流れを示すフローチャートである。
【図３３】本発明の第２の実施形態に係る領域分割部による処理の流れを示すフローチャートである。
【図３４】オクルージョン領域である未対応領域と法線方向の関係を説明するための模式図である。
【図３５】本発明の第３の実施形態に係る法線情報生成装置の構成を示す機能ブロック図である。
【図３６】本発明の第３の実施形態に係る法線情報生成部において、鏡面反射成分や拡散反射成分の空間的な連続性を拘束条件として利用するための状態遷移図である。
【図３７】本発明の第３の実施形態に係る法線情報生成装置による処理の流れを示すフローチャートである。
【図３８】本発明の第４および第５の実施形態に係る法線情報生成装置の構成を示す機能ブロック図である。
【図３９】法線方向ベクトル推定の信頼性を説明するための模式図である。
【図４０】本発明の第４の実施形態に係る法線情報生成装置による処理の流れを示すフローチャートである。
【図４１】本発明の第４の実施形態に係る法線情報生成装置による処理の流れを示すフローチャートである。
【図４２】入出射面角の計算方法を説明するための模式図である。
【図４３】本発明の第４の実施形態に係る法線情報生成装置の構成を示す別の機能ブロック図である。
【図４４】本発明の第４の実施形態に係る領域分割部による処理の流れを示す別のフローチャートである。
【図４５】本発明の第４の実施形態に係る領域分割部による処理の流れを示す別のフローチャートである。
【図４６】本発明の第５の実施形態に係る法線情報生成装置の構成を示す別の機能ブロック図である。
【図４７】本発明の第５の実施形態に係る領域分割部における領域分割基準を表した模式図である。
【図４８】本発明の第５の実施形態に係る法線情報生成装置による処理の流れを示す別のフローチャートである。
【図４９】本発明の第５の実施形態に係る法線情報生成装置による処理の流れを示す別のフローチャートである。
【図５０】ａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗという陰影の分類を説明するための模式図である。
【図５１】ａｔｔａｃｈｅｄ  ｓｈａｄｏｗ領域における多重反射光の入射を説明するための模式図である。
【図５２】ｃａｓｔ  ｓｈａｄｏｗ領域における多重反射光の入射を説明するための模式図である。
【図５３】本発明の第５の実施形態に係る領域分割部における、陰影領域と分割された領域に対する領域分割基準を表した模式図である。
【図５４】本発明の第５の実施形態に係る領域分割部による処理の流れを示すフローチャートである。
【図５５】本発明の第５の実施形態に係る領域分割部における、陰影領域と分割された領域に対する別の領域分割基準を表した模式図である。
【図５６】本発明の第５の実施形態に係る領域分割部による処理の流れを示す別のフローチャートである。
【図５７】本発明の第５の実施形態に係る法線情報生成装置による処理の流れを示す別のフローチャートである。
【図５８】本発明の第６の実施形態に係る法線情報生成装置の構成を示す機能ブロック図である。
【図５９】本発明の第６の実施形態に係る法線情報生成装置による処理の流れを示すフローチャートである。
【図６０】本発明の第６の実施形態に係る法線情報生成装置による処理の流れを示すフローチャートである。
【図６１】本発明の第６および第７の実施形態に係る法線情報生成装置が搭載されたカメラの構成例を示す図である。
【図６２】本願発明者らによる撮影時のカメラ２００と被写体との位置関係、および、カメラ２００内のパターン偏光子２０１、２０１−２および２０１−３の位置関係を示す図である。
【図６３】（ａ）〜（ｄ）は、球体である地球儀の被写体をステレオ偏光画像撮像部で撮影した画像と、そのステレオ偏光画像から求めた偏光位相φｍａｘを示す図である。
【図６４】（ａ）および（ｂ）はそれぞれ、図６３（ｃ）および（ｄ）に示す画像に対応する領域を示す図である。
【図６５】（ａ）〜（ｃ）は、本発明の第６の実施形態に係る法線情報生成装置によって推定された法線方向ベクトル候補を可視化した法線画像の図である。
【図６６】（ａ）〜（ｃ）は、本発明の第６の実施形態に係る法線情報生成装置によって推定された法線方向ベクトル候補を可視化した法線画像の模式図である。
【図６７】（ａ）〜（ｃ）はそれぞれ、図６５（ａ）〜（ｃ）に示す画像と、図６６（ａ）〜（ｃ）に示す各領域との対応関係を示す図である。
【図６８】（ａ）〜（ｄ）は、本発明の第６の実施形態に係る最適法線選択部によって選択された法線方向ベクトルおよび最適法線選択結果を可視化した法線画像の図である。
【図６９】（ａ）〜（ｄ）は、本発明の第６の実施形態に係る最適法線選択部によって選択された法線方向ベクトルおよび最適法線選択結果を可視化した法線画像の模式図である。
【図７０】（ａ）〜（ｄ）はそれぞれ、図６８（ａ）〜（ｄ）に示す画像と、図６９（ａ）〜（ｄ）に示す各領域との対応関係を示す図である。
【図７１】本発明の第６の実施形態に係る法線情報生成装置の構成を示す別の機能ブロック図である。
【図７２】本発明の第６の実施形態に係る最適法線選択部および法線情報生成部による処理の流れを示す別のフローチャートである。
【図７３】本発明の第７の実施形態に係る法線情報生成装置の構成を示す別の機能ブロック図である。
【図７４】本発明の第７の実施形態に係る法線情報生成装置による処理の流れを示すフローチャートである。
【図７５】本発明の第８の実施形態に係る視点変換画像生成装置を示すブロック図である。
【図７６】形状復元部の動作を示すフローチャートである。
【図７７】勾配と法線ベクトルＮの幾何学的関係を示す図である。
【図７８】勾配（ｐ，ｑ）の具体的な積分手法を説明する図である。
【図７９】法線画像から奥行き画像が生成される過程を示す図である。
【図８０】ステレオ視からの制御点によって奥行き画像の復元を制御する説明図である。
【図８１】形状復元部の各ステップでの処理結果を示す図である。
【図８２】ＤＳ分離部の処理を示す図である。
【図８３】３Ｄ形状データ構造を示す図である。
【図８４】視点変換処理を説明するフローチャートである。
【図８５】視点変換処理を説明する模式図である。
【図８６】鏡面反射モデルを説明する図である。
【図８７】生成された視点変換画像の結果例を示す図である。
【図８８】合成された視点の幾何学的関係（２Ｄディスプレイの場合）を示す図である。
【図８９】合成された視点の幾何学的関係（３Ｄディスプレイの場合）を示す図である。
【発明を実施するための形態】
【００６５】
添付の図面を参照しながら、本発明による法線情報生成装置および法線情報生成装置を備えた画像処理装置の実施形態を説明する。
【００６６】
以下に説明する各実施形態は、主として本発明による法線情報生成装置に関している。各実施形態の説明に先立って、まず法線情報生成装置を備えた画像処理装置の構成および動作を説明する。
【００６７】
図１は、本発明による画像処理装置５００の構成を示す。画像処理装置５００は、法線情報生成装置５０１と、画像撮像部５０２と、ＤＢ５０３と、画像処理部５０４と、提示部５０５とを備えている。
【００６８】
法線情報生成装置５０１は、後述の第１から第７の実施形態のいずれかにかかる法線情報生成装置である。法線情報生成装置５０１は、被写体の表面における法線情報を生成して出力する。この情報は、法線情報生成装置５０１によって推定された、画像内の法線方向ベクトルを示している。本明細書においては、法線情報生成装置５０１が法線情報（法線方向ベクトル）を生成することを「法線情報（法線方向ベクトル）を推定する」ということがある。
【００６９】
なお、法線情報生成装置５０１は１つの筐体に収められていてもよいし、または、画像撮像部５０２、ＤＢ５０３および画像処理部５０４とともに１つの筐体に収められていてもよい。前者の場合は、後述する画像撮像部５０２（カメラ）、提示部５０５（ディスプレイ）等の他の構成要素とともに、１つの画像処理システムとして実現されてもよい。
【００７０】
画像撮像部５０２は、たとえばカメラであり、被写体を撮像する。後述する各実施形態による各法線情報生成装置は画像撮像部を有しているため、当該画像撮像部を利用することにより、法線情報生成装置とは別に画像撮像部５０２を設ける必要はなく、省略してもよい。
【００７１】
ＤＢ５０３は、被写体情報等を保持している。提示部５０５は、たとえばディスプレイであり、画像処理部５０４で作成された画像をユーザに提示する。
【００７２】
画像処理部５０４は、画像撮像部５０２によって撮像された画像情報と、法線情報生成装置５０１によって推定された法線方向ベクトル情報と、前記ＤＢ５０３に保持されている被写体情報とを利用して、画像処理を行なう。
【００７３】
例えば、画像処理部５０４は、モデルベースの画像合成と呼ばれている手法を利用して画像処理を行なっても構わない。この手法は、被写体の法線情報やテクスチャ情報を取得し、さらに、光源情報、カメラ情報などを利用することで、自由な視点位置の画像や、任意の光源環境の画像を合成するものである。そのため、デジタルアーカイブや拡張現実の分野において、インタラクティブな画像提示方法として利用されている（例えば、Y. Sato, M. D. Wheeler, and K. Ikeuchi, "Object shape and reflectance modeling from observation", SIGGRAPH 97, pp.379-387, 1997）。法線情報生成装置５０１として、本実施形態の法線情報生成装置を利用することで、高精度なモデルベースの画像合成が可能である。
【００７４】
または、画像処理部５０４は、モデルベースの画像の高解像度化処理を行なっても構わない。学習を利用した画像処理において、学習時と画像合成時の視点位置や光源環境の変化が大きな問題とされていた。しかし、モデルベースの手法を導入することで、この問題を解決し、高精度な高解像度化処理が可能である。このような画像処理装置５００は、例えば、特許第４０８２７１４号公報などを利用すればよい。
【００７５】
または、画像処理部５０４は、ＦＡ（ファクトリー・オートメーション）などで広く利用されている、被写体の表面検査などに利用される画像処理を行なっても構わない。これは、理想的な表面法線方向と実際の表面法線方向を比較することで、被写体表面の傷などを検出する技術である。
【００７６】
図２は、画像処理装置５００が３次元形状情報を取得する手法を比較した図である。法線情報生成装置５０１は、３次元形状情報を構成する情報のうちの法線情報をパッシブに生成する。従来の偏光法等はアクティブに法線情報を求めるものであり、パッシブに生成する本発明とは相違する。３次元形状情報を構成する奥行情報については、本発明の対象ではないため、説明は省略する。
【００７７】
図３は、画像処理装置５００による処理の流れを示すフローチャートである。各ステップＳ６０１〜Ｓ６０５を囲む破線に対して付された参照符号５０１〜５０５は、上述の画像処理装置５００の構成要素の参照符号に対応しており、各構成要素が実行する処理であることを示している。
【００７８】
まず、画像撮像部５０２は、被写体表面の撮像を行なう（ステップＳ６０１）。法線情報生成装置５０１は、各実施形態に関連して後述されるいずれかの手法を利用することで、被写体表面の法線方向ベクトルｎｅを推定する（ステップＳ６０２）。
【００７９】
画像処理部５０４は、ＤＢ５０３に保持されている、被写体表面の理想法線方向ベクトルｎｉを取得する（ステップＳ６０３）。被写体表面の理想法線方向ベクトルｎｉは、例えば、被写体のＣＡＤ情報から作成した、形状情報として実現すればよい。ここで、ステップＳ６０１、ステップＳ６０２、ステップＳ６０３の順序は任意であり、順次実行してもよいし、もちろん、並列的に実行しても構わない。
【００８０】
画像処理部５０４は、法線情報生成装置５０１によって推定された被写体表面の法線方向ベクトルｎｅと、ＤＢ５０３に保持されていた被写体表面の理想法線方向ベクトルｎｉを比較することで、異常法線を検出する（ステップＳ６０４）。
【００８１】
この処理を具体的に説明すると、まず画像処理部５０４は、画像撮像部５０２で撮像された画像情報を利用して、理想法線方向ベクトルｎｉの形状情報の位置合わせを行なう。その後、画像処理部５０４は、法線方向ベクトルｎｅと理想法線方向ベクトルｎｉの差分を検出し、差分値が大きい法線方向ベクトルｎeを異常法線として検出する。画像情報を利用した形状情報の位置合わせは、公知の技術を利用すればよい。
【００８２】
提示部５０５は、画像撮像部５０２で撮像された被写体の画像に対し、画像処理部５０４によって検出された異常法線に対応する画素を強調し、ユーザに提示する（ステップＳ６０５）。このような画素の強調は、例えば、異常法線に対応する画素を赤い色で表示するなどの処理を行なえばよい。
【００８３】
なお、法線情報を利用して異常法線を検出する上述の処理は一例である。得られた法線情報を被写体の画像情報とともに利用することにより、画像生成に利用される各種物理特性に関係する情報量の付与を行なうことも可能である。これにより、被写体の画像情報のみを利用して表示されたコンピュータグラフィックスよりも高品質なコンピュータグラフィックスを提供することが可能になる。
【００８４】
以下、法線情報生成装置の各実施形態を説明する。
【００８５】
（第１の実施形態）
まず、本発明の第１の実施の形態による法線情報生成装置の概要を説明する。
【００８６】
図４は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００は、被写体を撮像することによって被写体の表面における法線情報を生成する。
【００８７】
法線情報生成装置１００は、ステレオ偏光画像撮像部１０１を構成する偏光画像撮像部１０２および１０２−２、偏光情報取得部１０３および１０３−２、ステレオ対応取得部１０４、領域分割部１０５および１０５−２、法線１自由度推定部１０６および１０６−２、法線情報生成部１０７および出力部１２０を備えている。
【００８８】
このうち、第２の偏光画像撮像部１０２−２、第２の偏光情報取得部１０３−２、第２の領域分割部１０５−２、第２の法線１自由度推定部１０６−２の処理は、第１の偏光画像撮像部１０２、第１の偏光情報取得部１０３、第１の領域分割部１０５、第１の法線１自由度推定部１０６の処理と同等である。よって、以下の説明において、多くの場合、簡略化のために後者のみを用いて説明する。
【００８９】
ステレオ偏光画像撮像部１０１は複数の偏光画像撮像部１０２からなり、視点の異なる複数の偏光画像を取得する。
【００９０】
偏光画像撮像部１０２は、偏光主軸角度が異なる複数の偏光子を透過してくる光を受けることで、被写体の偏光画像を取得する。
【００９１】
偏光情報取得部１０３は、偏光画像撮像部１０２によって取得された偏光画像から、当該偏光画像を構成する画像領域のそれぞれについて、複数の偏光子の偏光主軸角度と複数の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。
【００９２】
ステレオ対応取得部１０４は、ステレオ偏光画像撮像部１０１が取得した複数の偏光画像において画素ごとの対応関係を推定する。
【００９３】
領域分割部１０５は、ステレオ偏光画像の輝度情報および偏光情報取得部１０３で生成されたステレオ偏光画像における偏光情報の少なくとも一方の情報における類似性（共通性）を利用して、偏光画像を、光学的に共通する領域ごとに分割する。具体的には、領域分割部１０５は、画像の輝度や偏光情報を利用して、当該画像領域を鏡面反射領域または拡散反射領域として領域分割を行なう。
【００９４】
法線１自由度推定部１０６は、偏光情報取得部１０３で生成された偏光情報を用いて、領域分割部１０５で分割された領域ごとに異なった処理を行なうことで、対応する被写体の表面での法線１自由度を推定する。
【００９５】
法線情報生成部１０７は、法線１自由度推定部１０６、１０６−２で推定された複数の法線１自由度を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトルを生成する。
【００９６】
出力部１２０は、法線情報を出力する出力端子である。または、出力部１２０は、後述の図１１等に示される画像等とともに法線情報に基づく法線の画像を出力するディスプレイであってもよい。後者の場合には、出力部１２０は提示部５０５（図１）に対応する。
【００９７】
図５は、本実施の形態における法線情報生成装置１００が搭載されたカメラ２００のハードウェア構成例を示している。図６は、図５に示されたパターン偏光子２０１と撮像素子２０２との関係を示した模式図である。このカメラ２００は、法線情報を生成する機能を備える撮像装置であり、複数のパターン偏光子２０１および２０１−２、複数の撮像素子２０２および２０２−２、メモリ２０３およびＣＰＵ２０４を備える。
【００９８】
パターン偏光子２０１、２０１−２は、図６に示されるように、偏光主軸角度Ψｉ＝０°、４５°、９０°、１３５°の４種類の偏光子を１組として２次元状に配置された偏光子の集まりである。図６において、パターン偏光子２０１、撮像素子２０２のみを示したが、これはパターン偏光子２０１−２、撮像素子２０２−２の場合も同様である。そのため、以下の説明では簡略化のためにパターン偏光子２０１、撮像素子２０２のみに関して詳述する。
【００９９】
撮像素子２０２は、図６に示されるように、パターン偏光子２０１を構成する個々の偏光子を透過した光を受ける２次元状に配置された画素（受光素子）の集まりである。パターン偏光子２０１は、撮像素子２０２の撮像面に平行に設置されることが望ましい。なお、パターン偏光子２０１における４個（４種類）の偏光子と、撮像素子２０２における対応する４個の画素とから、撮像単位２０５が構成される。この撮像単位２０５によって得られる画像は、偏光情報取得部１０３、領域分割部１０５、法線１自由度推定部１０６、ステレオ対応取得部１０４および法線情報生成部１０７における各処理の単位（「単位画像」）である。つまり、法線情報生成装置１００は、撮像単位２０５によって得られる単位画像（以下、「画素」ともいう。）ごとに、偏光情報の生成、領域分割および法線情報の生成を行なう。
【０１００】
メモリ２０３は、ＣＰＵ２０４の作業領域としてのＲＡＭおよびプログラム等が格納されたＲＯＭを含む。
【０１０１】
ＣＰＵ２０４は、メモリ２０３に格納されたプログラムを実行し、メモリ２０３にアクセスしたり、撮像素子２０２および２０２−２を制御するプロセッサである。
【０１０２】
なお、図４に示された偏光画像撮像部１０２は、図５に示されたパターン偏光子２０１および撮像素子２０２によって実現される。同様に、図４に示された偏光画像撮像部１０２−２は、図５に示されたパターン偏光子２０１−２および撮像素子２０２−２によって実現される。
【０１０３】
図４に示された偏光情報取得部１０３および１０３−２、ステレオ対応取得部１０４、領域分割部１０５および１０５−２、法線１自由度推定部１０６および１０６−２および法線情報生成部１０７は、図５に示されたＣＰＵ２０４がメモリ２０３に格納されたプログラムを実行することによって実現される。
【０１０４】
たとえば、添付の図面のうちのフローチャートを用いて説明する制御処理はコンピュータに実行されるプログラムによって実現され得る。そのようなコンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。法線情報生成装置、および、画像処理装置を構成する全部または一部の構成要素は、コンピュータプログラムを実行する汎用のプロセッサ（半導体回路）として実現される。または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現される。
【０１０５】
また、メモリ２０３は、偏光画像撮像部１０２および１０２−２で取得された偏光画像、偏光情報取得部１０３および１０３−２で生成された偏光情報、ステレオ対応取得部１０４で取得されたステレオ画像対応情報、領域分割部１０５および１０５−２で分割された領域分割情報、法線１自由度推定部１０６および１０６−２で推定された法線１自由度情報、法線情報生成部１０７で生成された法線情報、および、一時的に発生する各種パラメータ等を格納する作業領域としても使用される。
【０１０６】
図７は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。
【０１０７】
まず、第１の偏光画像撮像部１０２は、第１のパターン偏光子２０１を通して被写体からの光を撮像素子で受けることで被写体を撮像し、偏光情報を含んだ画像である第１の偏光画像を取得する（ステップＳ１０１）。第１の偏光情報取得部１０３は、第１の偏光画像撮像部１０２が撮像した第１の偏光画像輝度変化を利用して、第１の偏光情報を生成（取得）する（ステップＳ１０２）。次に、第２の偏光画像撮像部１０２−２は、第２のパターン偏光子２０１−２を通して被写体からの光を撮像素子で受けることで、偏光情報を含んだ画像である第２の偏光画像を取得する（ステップＳ１０３）。第２の偏光情報取得部１０３−２は、第２の偏光画像撮像部１０２−２が撮像した第２の偏光画像の輝度変化を利用して、第２の偏光情報を生成（取得）する（ステップＳ１０４）。
【０１０８】
ここで、ステップＳ１０１〜ステップＳ１０２と、ステップＳ１０３〜ステップＳ１０４の順序は任意であり、並列的に実行してもよい。もちろん、順次実行しても構わない。
【０１０９】
ステレオ対応取得部１０４は、ステレオ偏光画像撮像部１０１が取得した第１の偏光画像、第２の偏光画像において画素ごとの対応関係を推定する（ステップＳ１０５）。第１の領域分割部１０５および第２の領域分割部１０５−２は、第１の偏光情報取得部１０３および第２の偏光情報取得部１０３−２が生成した第１の偏光情報および第２の偏光情報、および／または、第１の偏光画像撮像部１０２および第２の偏光画像撮像部１０２−２が取得した第１の輝度情報および第２の輝度情報を利用し、第１の偏光画像および第２の偏光画像を拡散反射成分領域および鏡面反射成分領域に領域分割する（ステップＳ１０６）。
【０１１０】
第１の法線１自由度推定部１０６は、偏光情報取得部１０３で生成された偏光情報を用いて、第１の領域分割部１０５で分割された領域ごとに異なった処理を行なうことにより、対応する被写体の表面での法線１自由度を推定する（ステップＳ１０７）。第２の法線１自由度推定部１０６−２は、偏光情報取得部１０３−２で生成された偏光情報を用いて、第２の領域分割部１０５−２で分割された領域ごとに異なった処理を行なうことにより、対応する被写体の表面での法線１自由度を推定する（ステップＳ１０８）。ここで、ステップＳ１０７と、ステップＳ１０８の順序は任意であり、並列的に実行してもよいし、もちろん、順次実行しても構わない。法線情報生成部１０７は、法線１自由度推定部１０６、１０６−２で推定された法線１自由度を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトルを推定する（ステップＳ１０９）。
【０１１１】
次に、本実施の形態における法線情報生成装置１００の各構成要素の詳細な機能を説明する。
【０１１２】
ステレオ偏光画像撮像部１０１は複数の偏光画像撮像部１０２からなり、視点の異なる複数の偏光画像を取得する。また、第１の撮像素子２０２と第２の撮像素子２０２−２はキャリブレーション処理が行なわれており、その内部パラメータや外部パラメータは既知である。このようなキャリブレーションは、例えば、Ｔｓａｉの手法（Ｒｏｇｅｒ  Ｙ．Ｔｓａｉ，"Ａｎ Ｅｆｆｉｃｉｅｎｔ ａｎｄ Ａｃｃｕｒａｔｅ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ  Ｔｅｃｈｎｉｑｕｅ  ｆｏｒ  ３Ｄ  Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ"， Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  Ｍｉａｍｉ  Ｂｅａｃｈ，ＦＬ，1986, pp.364-374）など、既存の手法を利用すればよい。
【０１１３】
もちろん、このようなキャリブレーションは、パターン偏光子やレンズなどを含んだ状態で行なわれている。
【０１１４】
次に、偏光画像撮像部１０２および１０２−２の詳細な機能を説明する。偏光画像撮像部１０２は、被写体からの光をパターン偏光子２０１を通して撮像素子２０２で受光することで、偏光情報を含んだ偏光画像を取得する。図８は、図６に示された撮像単位２０５を入射光方向から眺めた模式図である。本図において、各偏光子（各画素）内の直線は、各画素上に設置された微小偏光板の偏光主軸方向を示している。すなわち、この撮像単位２０５は、偏光軸の回転角（Ψｉ＝０°、４５°、９０°、１３５°）の４種類の偏光方向を有する画素を持つ。パターン偏光子は、ＴＭ波が透過、ＴＥ波が反射（透過せず）という偏光特性を示す。そのため、撮像素子前方に偏光子を配置し、その偏光子を回転させながら撮像した、特許文献１と同様の画像を取得することができる。
【０１１５】
このような特性は、例えば、『川嶋、佐藤、川上、長嶋、太田、青木、"パターン化偏光子を用いた偏光イメージングデバイスと利用技術の開発"、電子情報通信学会２００６年総合全国大会、Ｎｏ．Ｄ−１１−５２、Ｐ５２、２００６』に記載されたフォトニック結晶を用いて作成することができる。フォトニック結晶の場合、表面に形成された溝に平行な振動面を持つ光がＴＥ波、垂直な振動面を持つ光がＴＭ波となる。
【０１１６】
この偏光画像の撮像に際しては、輝度のダイナミックレンジとビット数は、なるべく大きいこと（例えば１６ビット）が望ましい。
【０１１７】
次に、偏光情報取得部１０３および１０３−２の詳細な機能を説明する。偏光情報取得部１０３は、偏光画像撮像部１０２が取得した偏光画像を利用して、偏光情報を生成する。
【０１１８】
偏光子を透過した光の輝度は、偏光子の偏光主軸角によって変化することが知られている。図９は、異なる偏光主軸角度Ψｉ＝０°、４５°、９０°、１３５°の４種類の偏光子を透過した光の輝度４０１〜４０４が１本の正弦関数カーブを形成する様子を示す。つまり、この正弦関数カーブは、図８の点２０６における偏光特性を示している。なお、偏光主軸角度の０°と１８０°（π）は同一である。また、この正弦関数カーブを求める際、撮影ガンマ＝１となるカメラを用いるか、リニアリティ補正により撮影ガンマ＝１となるように補正することが望ましい。この４点は、１本の正弦関数カーブ上にちょうど乗るように描かれているが、実際には、多数の観測点から１８０度周期の正弦関数が最適値として１本決定されるのが好ましい。
【０１１９】
この偏光情報取得部１０３は、偏光情報として、このカーブの振幅と位相情報を生成する。具体的には、パターン偏光子２０１の主軸角Φに対する反射光輝度Ｉを以下のように近似する。
【数１】
2009147814.tif 000145
【０１２０】
ここで図９に示すように、数１におけるＡ、Ｂ、Ｃは定数であり、それぞれ、偏光子による輝度の変動カーブの振幅、位相、平均値を表現している。ところで、数１は以下のように展開できる。
【数２】
2009147814.tif 000146
ただし、
【数３】
2009147814.tif 000147
【数４】
2009147814.tif 000148
【０１２１】
つまり、４画素のサンプル（Φi Ii）において、以下の数５を最小にするＡ、Ｂ、Ｃを求めれば正弦関数数１の近似ができる。ただし、Iiは、偏光板回転角Φi時の観測輝度を示している。またＮはサンプル数であり、ここでは、４である。
【数５】
2009147814.tif 000149
【０１２２】
以上の処理により、正弦関数近似のＡ、Ｂ、Ｃの３パラメータが確定する。こうして求めたパラメータを利用して、偏光情報取得部１０３は、偏光情報として、以下の少なくとも１つの情報を取得する。
偏光度ρ
【数６】
2009147814.tif 000150
偏光位相φｍａｘ（０≦φｍａｘ≦π［ｒａｄ］）
【数７】
2009147814.tif 000151
偏光推定誤差Ｅ
【数８】
2009147814.tif 000152
偏光最大輝度値Ｉｍａｘ
【数９】
2009147814.tif 000153
偏光最小輝度値Ｉｍｉｎ
【数１０】
2009147814.tif 000154
【０１２３】
上述の各用語の定義は以下の通りである。
・偏光度ρ：光がどれだけ偏光しているかを表す指標；
・偏光位相φｍａｘ：偏光主軸角度に依存して変化する輝度が最大となる角度；
・偏光推定誤差Ｅ：４画素のサンプルについて観測された輝度と近似によって得られた上述の正弦関数から定まる輝度との差の合計；
・偏光最大輝度値Ｉｍａｘ：パターン偏光子の主軸角Φを変化させた際にとりうる最大輝度値；
・偏光最小輝度値Ｉｍｉｎ：パターン偏光子の主軸角Φを変化させた際にとりうる最小輝度値。非偏光成分。
【０１２４】
以下、上述の偏光情報に基づいて法線情報生成装置１００が生成した画像例を説明する。画像例では、球体である地球儀を被写体としている。図１０は、本願発明者らによる撮影時のカメラ２００と被写体との位置関係、および、カメラ２００内のパターン偏光子２０１および２０１−２との位置関係を示している。カメラ２００から被写体までは１６０ｃｍであり、パターン偏光子２０１および２０１−２の間隔、または、撮像素子２０２および２０２−２の間隔は５０ｃｍで ある。
【０１２５】
図１１は、球体である地球儀に対して、第１の偏光画像から求めた、偏光度ρ１、偏光位相φｍａｘ１および偏光推定誤差Ｅ１を画像として表示した図である。この図において、図１１（ａ）は被写体である地球儀の画像、図１１（ｂ）は図１１（ａ）の被写体に対する偏光度ρ１、図１１（ｃ）は図１１（ａ）の被写体に対する偏光位相φｍａｘ１（０°が黒、１８０°が白）、図１１（ｄ）は図１１（ａ）の被写体に対する偏光推定誤差Ｅ１を示している。
【０１２６】
また、図１２（ａ）〜（ｄ）は、図１１（ａ）〜（ｄ）の各々を模式的に示した図（濃淡を明瞭化した図）である。図１３（ａ）〜（ｄ）は、図１１（ａ）〜（ｄ）に示す画像と、図１２（ａ）〜（ｄ）に示す各領域（たとえば（ａ）においては領域Ａ０１とＢ０１）との対応関係を示している。図１１（ａ）〜（ｄ）および図１３（ａ）〜（ｄ）においては、領域の色が白いほど輝度値が大きい。また、図１４は、同様の処理を発泡スチロール製の頭部模型に対して行なった結果を示している。
【０１２７】
これらの画像によれば、遮蔽エッジ付近で偏光度が大きいこと、被写体の影に覆われていない領域では偏光位相が１８０°周期で球体の周囲を時計回りに単調増加していることがわかる。この偏光位相は、回転させて変化する輝度の最大値となる角度であり、被写体が拡散反射であった場合の出射面の情報である。
【０１２８】
次に、ステレオ対応取得部１０４を説明する。ステレオ対応取得部１０４は、ステレオ偏光画像撮像部１０１が取得した複数の偏光画像において画素ごとの対応関係を特定する。ただし「特定する」という意味は確定的に定めることを意味するのではなく、一応確からしいという意味において定めることを意味する。したがって、対応関係を「推定する」と言うこともできる。これは、例えば、輝度情報を利用した画像処理により検出することができる。この「特定する」という語と「推定する」という語の関係については、ステレオ対応取得部１０４のみならず、法線１自由度推定部１０６、１０６−２等についても同様である。
【０１２９】
図１５は、本実施の形態におけるステレオ対応取得部１０４による処理の流れを示すフローチャートである。このフローチャートは、ステップＳ１０５に相当する。まず、複数画像において、特徴点の抽出を行なう（ステップＳ２０１）。求まった特徴点を利用して、複数画像間の対応付けを行なう（ステップＳ２０２）。しかし、このままでは特徴点が検出された、画像上の疎な画素のみしか対応付けがなされない。そこで、ステップＳ２０２で対応付けされた特徴点間の補間処理を行なうことにより、画像全体での密な対応付けを行なう（ステップＳ２０３）。以下、それぞれの処理を詳述する。
【０１３０】
ステップＳ２０１において、複数画像において、特徴点の抽出を行なう。この処理は、複数画像間の画素の対応付けを行なうために、特徴点と呼ばれる「対応付けしやすい点」を検出し、その特徴点の特徴と最もよく一致した点を複数画像間で探索することにより、複数画像間の画素の対応付けを行なうものである。
【０１３１】
特徴点検出法としては、ＨａｒｒｉｓオペレーターやＫＬＴ（Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ）  Ｆｅａｔｕｒｅ  Ｔｒａｃｋｅｒなどさまざまな方法が知られているが、ここではＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）オペレーターを利用する（David G. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004参照）。
【０１３２】
ＳＩＦＴはスケールおよび回転に対して不変の特徴量として知られている。その処理は、Ｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎ処理を利用してスケール不変のキーポイントを抽出し、さらに画像の勾配方向ヒストグラムからオリエンテーションを算出し、オリエンテーションで正規化した特徴量を抽出するものである（詳しくは、藤吉弘亘，"Ｇｒａｄｉｅｎｔベースの特徴抽出 − ＳＩＦＴとＨＯＧ − "，情報処理学会 研究報告 ＣＶＩＭ 160, pp.211-224, 2007参照）。ここでは、偏光画像撮像部１０２と１０２−２で撮像された第１の偏光画像と第２の偏光画像のそれぞれにおいて、キーポイントを抽出し、オリエンテーションで正規化した特徴量を抽出する。
【０１３３】
ステップＳ２０２において、第１の偏光画像と第２の偏光画像において、ステップＳ２０１で求めた特徴点の対応付けを行なう。これは、ステップＳ２０１で求めたキーポイントごとに、特徴量のユークリッド距離が最小となるキーポイントを別の画像から検出することで実現する。こうして対応付けられたキーポイントが対応点となる。もちろん、対応付けを行なう際、ステレオ画像の対応付けで広く用いられている、エピポーラ拘束を利用しても構わない。
【０１３４】
ステップＳ２０３において、ステップＳ２０２で対応付けされた特徴点間の補間処理を行なうことにより、画像全体での密な対応付けを行なう。この処理を説明する。まず、対応付けられた特徴点および対応点を利用し、第１の偏光画像と第２の偏光画像に対して、ドロネー三角形分割を行なう。こうして分割された三角形ごとに、対応点の補間処理を行なう。
【０１３５】
図１６はこの処理を説明するための模式図である。図１６（ａ）において、点Ｐ０、Ｐ１、Ｐ２はＳＩＦＴにより検出された第１の画像での特徴点の画像上での座標値によって特定される点であり、また、ドロネー三角形分割により分割された三角形の３頂点である。また、図１６（ｂ）において、点Ｐ'０、Ｐ'１、Ｐ'２はそれぞれ特徴点Ｐ０、Ｐ１、Ｐ２に対応した第２の画像での対応点である。ここで、第１の偏光画像における三角形Ｐ０―Ｐ１―Ｐ２内の点Ｐｘにおける対応点を補間処理により求める。まず、以下の関係を満たす変数ａ，ｂを求める。
【数１１】
2009147814.tif 000155
【０１３６】
ただし、変数０≦ａ≦１，０≦ｂ≦１である。このとき、Ｐｘにおける対応点Ｐ'ｘは、次式で表される。
【数１２】
2009147814.tif 000156
【０１３７】
この処理を、必要なすべての画素に対して行なう。上述の数１１および数１２によれば、図１６（ａ）および（ｂ）に示す三角形の辺上の点を補間することができる。そしてさらに、補間された１点と当該三角形の２つの頂点、補間された２点と当該三角形の１つの頂点、または、補間された３点によって形成される各三角形に対して、上記数１１および数１２を適用すれば、補間により、当該三角形の内部の全ての点を求めることができる。そしてドロネー三角形分割により分割された全ての三角形に対して同様の処理を行うと、第１の画像および第２の画像の全ての点を補間により求めることができる。この結果、第１の画像と第２の画像の間で、画像全体での密な対応付けを行なうことができる。なお、ステップＳ２０３において、補間処理は画像上での座標を利用して行なったが、対応点から求めた３次元座標上で処理を行なうようにしても構わない。
【０１３８】
以上の処理は、偏光画像を利用して対応付けを行なったが、もちろん、偏光情報取得部１０３および１０３−２で取得した、偏光最大輝度値Ｉｍａｘや偏光最小輝度値Ｉｍｉｎ、または偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの平均値や重み付け和（例えば、Ｉｍａｘ＋２・ＩｍｉｎやＩｍａｘ＋Ｉｍｉｎ）などを利用するようにしても構わない。特に、偏光最小輝度値Ｉｍｉｎを利用した場合、視点移動による影響が大きい鏡面反射成分の影響を小さくすることができるため、非常に有効である。また、Ｉｍａｘ＋Ｉｍｉｎは、偏光子を設置しなかった場合に撮像される画像と等価の画像である。そのため、この値を利用して画像処理を行なうことで、通常の偏光を利用しない場合と同様の処理を行なうことができる。もちろん、ステレオ対応点取得部１０４は、特徴点を利用するのではなく、画像処理のステレオ対応点取得処理において広く利用されている、ブロックマッチング法や、勾配法を利用するようにしてもかまわない。
【０１３９】
次に、領域分割部１０５の詳細な機能を説明する。領域分割部１０５は、偏光情報取得部１０３が生成した偏光情報および／または偏光画像撮像部１０２が取得した輝度情報を利用し、画像を拡散反射領域、鏡面反射領域に領域分割する。
【０１４０】
ここで、拡散反射と鏡面反射を説明する。被写体表面の反射特性は、「てかり」である鏡面反射成分と、マットな反射成分である拡散反射成分との和として表現されることが知られている。拡散反射成分は、被写体を照射する光源がいずれの方向に存在しても観測されるが、鏡面反射成分は、被写体の法線方向と視線方向に対し、ほぼ正反射方向に光源が存在する場合にのみ観測される方向依存性の強い成分である。これは、偏光特性に関しても成り立つ。
【０１４１】
図１７および図１８は、それぞれ、被写体の屈折率ｎ＝１．１、１．３、１．５、２．０の場合における鏡面反射成分および拡散反射成分の偏光度を示したグラフである（例えば、「Ｌ．Ｂ．  Ｗｏｌｆｆ  ａｎｄ  Ｔ．  Ｅ．  Ｂｏｕｌｔ、  "Ｃｏｎｓｔｒａｉｎｉｎｇ  ｏｂｊｅｃｔ  ｆｅａｔｕｒｅｓ  ｕｓｉｎｇ  ａ  ｐｏｌａｒｉｚａｔｉｏｎ  ｒｅｆｌｅｃｔａｎｃｅ  ｍｏｄｅｌ"、  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ、  Ｖｏｌ．１３、Ｎｏ．７、ｐｐ．６３５−６５７、 １９９１」参照）。図１７の横軸は入射角、縦軸は鏡面反射成分の偏光度を示している。また、図１８の横軸は出射角、縦軸は拡散反射成分の偏光度を示している。これらの図によれば、鏡面反射成分の偏光度は出射角に依存しないが、拡散反射成分の偏光度は出射角に依存することが理解される。よって、カメラを移動させて出射角を変化させた場合、鏡面反射成分では偏光度は変わらないが、拡散反射成分では偏光度が変化することがわかる。
【０１４２】
また、拡散反射成分の輝度値Ｉｄは、以下のＬａｍｂｅｒｔｉａｎモデルに従うことが知られている。
【数１３】
2009147814.tif 000157
【０１４３】
ただし、ρｄは参照点の拡散反射率（アルベド）、ｎは参照点の法線方向ベクトル、Ｉｐは点光源強度、Ｌは光源の方向ベクトル、θは入射角（法線方向ベクトルと光源方向ベクトルのなす角）を表す。ベクトルの長さは１に正規化されている。
【０１４４】
この式から、カメラを移動させることで出射角を変更した場合、拡散反射成分では輝度値が変化しないことがわかる。
【０１４５】
一方、鏡面反射成分の輝度値Ｉｓは、以下の数１４〜数２２に示したＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルに従うことが知られている。
【数１４】
2009147814.tif 000158
【数１５】
2009147814.tif 000159
【数１６】
2009147814.tif 000160
【数１７】
2009147814.tif 000161
【数１８】
2009147814.tif 000162
【数１９】
2009147814.tif 000163
【数２０】
2009147814.tif 000164
【数２１】
2009147814.tif 000165
【数２２】
2009147814.tif 000166
【０１４６】
ここで、Ｅｉは入射照度、ρｓ，λは波長λにおける鏡面反射成分の双方向反射率、ｎは被写体の法線方向ベクトル、Ｖは視線ベクトル、Ｌは光源方向ベクトル、Ｈは視線ベクトルと照明方向ベクトルの中間ベクトル、βは中間ベクトルＨと法線方向ベクトルｎの角度を表す（図１９参照）。また、Ｆλはフレネル方程式から求められる誘電体表面からの反射光の比であるフレネル係数、Ｄはマイクロファセット分布関数、Ｇは物体表面の凸凹による遮光の影響を表す幾何減衰率である。さらに、ｎλは被写体の屈折率、ｍは被写体表面の粗さを示す係数、Ｉｊは入射光の放射輝度である。また、Ｋｓは鏡面反射成分の係数である。これら式から、カメラを移動させることで出射角を変更した場合、鏡面反射成分では輝度値が変化することがわかる。
【０１４７】
ところで、ステレオ対応取得部１０４により、すべての画素の対応点が既知である。以上のことから、ステレオ画像（第１の画像、第２の画像）における鏡面反射成分と拡散反射成分は、以下のように分割できる。
【数２３】
2009147814.tif 000167
【０１４８】
ここで、Ｉｃ１は偏光情報取得部１０３で取得した、偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの和Ｉｍａｘ＋Ｉｍｉｎを示している。また、Ｉｃ２は偏光情報取得部１０３−２で取得した、偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの和Ｉｍａｘ＋Ｉｍｉｎを示している。ここで、Ｉｍａｘ＋Ｉｍｉｎは、パターン偏光子２０１が存在しない場合に撮像素子２０２で観測される輝度値である。また、Ｔｈｄは本来のＬａｍｂｅｒｔｉａｎモデルからどれだけ離れているかを示す閾値であり、ＴｈＩは鏡面反射成分と拡散反射成分を輝度情報で判断するための閾値である。このような閾値は、実験的に決定すればよい。
【０１４９】
図２０は上記領域分割基準を表した模式図である。図２０に示す４つの領域、すなわちＤＤ、ＳＤ、ＤＳ、ＳＳの各領域は、以下の成分を有するものとして分類される。
・ＤＤ領域：第１の画像、第２の画像ともに拡散反射成分。
・ＳＤ領域：第１の画像は鏡面反射成分、第２の画像は拡散反射成分。
・ＤＳ領域：第１の画像は拡散反射成分、第２の画像は鏡面反射成分。
・ＳＳ領域：第１の画像、第２の画像ともに鏡面反射成分。
【０１５０】
もちろん、このような領域分割は図２０に限ったものではなく、例えば、ＳＳ領域を除いた図２１のような領域分割基準を利用しても構わない。これは、上薬がかかった陶器のように、被写体の表面が非常に滑らかであり、鏡面反射成分が正反射領域近傍の限られた領域でのみ観測される場合に有効である。この場合、第１の画像と第２の画像におけるその対応点の両画像において鏡面反射が観測される場合は非常に少ない。
【０１５１】
このときのステレオ画像（第１の画像、第２の画像）における鏡面反射成分と拡散反射成分は、以下のように分割すればよい。
【数２４】
2009147814.tif 000168
【０１５２】
もちろん、領域分割部１０５は、画像のすべての画素を拡散反射成分または鏡面反射成分に分割し、処理を行なうようにしても構わない。例えば、被写体が石膏のような被写体の場合には、すべての画素が拡散反射成分であることは妥当である。また、例えば、被写体が光沢のある金属の場合には、すべての画素が鏡面反射成分であることは妥当である。
【０１５３】
もちろん、領域分割部１０５は、偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの重み付け和Ｉｍａｘ＋Ｉｍｉｎを利用するのではなく、偏光最大輝度値Ｉｍａｘや偏光最小輝度値Ｉｍｉｎ、または偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの平均値などをＩｃ１，Ｉｃ２として利用するようにしても構わない。例えば、偏光最小輝度値Ｉｍｉｎを利用する場合、てかり成分の影響を少なくすることができる。もちろん、偏光画像撮像部１０２において、パターン偏光子２０１を含まない輝度値が観測できる場合、その輝度値を利用するようにしても構わない。これは、図２２に示したように、パターン偏光子２０１において、偏光子を含まない画素を設けることで実現できる。
【０１５４】
次に、法線１自由度推定部１０６の詳細な機能を説明する。法線１自由度推定部１０６は、領域分割部１０５で分割された領域ごとに、偏光情報取得部１０３で生成された偏光情報を用いて、対応する被写体の表面での法線１自由度を推定する。法線１自由度とは、前述の入射面または出射面の角度情報である。
【０１５５】
前述の通り、鏡面反射成分の入射面の情報は、偏光板を回転させて変化する輝度の最小値となる角度から求められる。つまり、次式で与えられる。
【数２５】
2009147814.tif 000169
ただし、φｍａｘは数７で求まる、偏光位相である。
【０１５６】
一方、拡散反射成分の出射面の情報は、偏光板を回転させて変化する輝度の最大値となる角度から求められる。つまり、法線１自由度情報は以下のように与えられる。
【数２６】
2009147814.tif 000170
【０１５７】
こうして求まる、入射面または出射面の角度情報である法線１自由度情報φｎは、φｎまたは（φｎ＋π）という１８０度の不定性を持つ。
【０１５８】
次に、法線情報生成部１０７の詳細な機能を説明する。法線情報生成部１０７は、法線１自由度推定部１０６、１０６−２で推定された法線１自由度φｎ１，φｎ２を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することにより、法線方向ベクトルを生成する。
【０１５９】
図２３はこの処理を説明するための模式図である。この図において、点Ｐは参照点であり、撮像素子２０２によって撮像された第１の画像の点Ｐに対応する画素と、撮像素子２０２−２によって撮像された第２の画像の点Ｐに対応する画素は、ステレオ対応取得部１０４によって既知である。また、第１の画像、第２の画像のそれぞれ対応する画素において、法線１自由度推定部１０６、１０６−２によって求められた法線１自由度は、φｎ１，φｎ２である。
【０１６０】
撮像素子２０２、２０２−２はキャリブレーション済みであるため、相互の位置関係は既知である。そのため、入出射面Ｓ１、Ｓ２が計算できる。ここで、入出射面は参照点の入射面または出射面であり、入出射面Ｓ１とは、撮像素子２０２の焦点位置と数２５、数２６で求まる法線１自由度φｎ１の偏光主軸方向を通る平面、入出射面Ｓ２は、撮像素子２０２−２の焦点位置と数２５、数２６で求まる法線１自由度φｎ２の偏光主軸方向を通る平面である。
【０１６１】
つまり、参照点の法線方向ベクトルｎは、入出射面Ｓ１、Ｓ２どちらにも含まれる。そのため、参照点の法線方向ベクトルｎは、これら２平面の交線として求められる。
【０１６２】
しかし、法線１自由度情報φｎは、１８０度の不定性を持つため、こうして求められた法線方向ベクトルｎは、ｎ（ｎｘ，  ｎｙ，  ｎｚ）とｎ’（−ｎｘ，  −ｎｙ，  −ｎｚ）という１８０度の不定性を有する。この不定性を除去するために、参照点Ｐの法線方向ベクトルｎと視線ベクトルＶを利用する。具体的には、以下の関係式を満たす法線方向ベクトルを選択する。
【数２７】
2009147814.tif 000171
【０１６３】
数２７を満たさない場合、参照点Ｐは撮像素子２０２と反対方向を向いていることになり、参照点Ｐは撮像されないはずである。そのため、このような法線方向ベクトルは排除することができ、結果的に法線情報生成部１０７は不定性を排除することができる。
【０１６４】
さらに、上記方法で求めた法線方向ベクトルに対し、空間的なフィルタリング処理を行なうことにより、法線情報生成部１０７で生じたノイズを除去するようにしても構わない。このような空間的なフィルタリング処理は、例えば、法線方向を量子化し、各画素の近傍の法線方向ベクトルのヒストグラムを作成し、その最頻値近傍の法線方向ベクトルのみで平均化処理を行なえばよい。
【０１６５】
図２４〜図２８は、本実施の形態における法線情報生成装置１００による法線方向ベクトルを推定した結果を示している。図２４（ａ）は、地球儀を被写体とし、偏光情報取得部１０３によって取得された偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの和（Ｉｍａｘ＋Ｉｍｉｎ）、図２４（ｂ）は、地球儀を被写体とし、偏光情報取得部１０３によって取得された偏光位相φｍａｘ１（０°が黒、１８０°が白）、図２４（ｃ）は、地球儀を被写体とし、偏光情報取得部１０３−２によって取得された偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの和（Ｉｍａｘ＋Ｉｍｉｎ）、図２４（ｄ）は、地球儀を被写体とし、偏光情報取得部１０３−２によって取得された偏光位相φｍａｘ２（０°が黒、１８０°が白）を表している。また、第２の撮像素子２０２−２は、第１の撮像素子２０２の右側に配置されている。また、図２５（ａ）〜（ｄ）は、図２４の各図を模式的に示した図（濃淡を明瞭化した図）である。図２６（ａ）〜（ｄ）はそれぞれ、図２４（ａ）〜（ｄ）に示す画像と、図２５（ａ）〜（ｄ）に示す各領域（たとえば（ａ）においては領域Ａ１１とＢ１１）との対応関係を示している。図２４（ａ）〜（ｄ）および図２６（ａ）〜（ｄ）においては、領域の色が白いほど輝度値が大きい。
【０１６６】
図２７（ａ）〜（ｃ）は図２４（ｂ）と図２４（ｄ）の偏光位相を利用して、法線情報生成部１０７が推定した法線方向ベクトルを可視化した法線画像を表している。法線方向ベクトルの各成分は−１から１の範囲の値をもつため、法線画像では、法線方向ベクトルの各成分の０を灰色、負の方向に黒く、正の方向に白くなるような表現をしている。また、背景は黒色で示している。
【０１６７】
図２７（ａ）は法線方向ベクトルのｘ成分の法線画像を示している。また、図２７（ｂ）は法線方向ベクトルのｙ成分の法線画像を示している。また、図２７（ｃ）は法線方向ベクトルのｚ成分の法線画像を示している。
【０１６８】
また、図２８（ａ）〜（ｃ）は、図２７（ａ）〜（ｃ）の各図を模式的に示した図（濃淡を明瞭化した図）である。図２９（ａ）〜（ｃ）はそれぞれ、図２７（ａ）〜（ｃ）に示す画像と、図２８（ａ）〜（ｃ）に示す各領域との対応関係を示している。
【０１６９】
法線方向ベクトルのｘ，ｙ，ｚ成分は、図３０に示すように、カメラ右方向にｘ方向、カメラ下方向にｙ方向、カメラ光軸方向にｚ方向である。図２７（ａ），図２８(ａ)より、ｘ成分法線画像では、画像中央部を除き、左側が黒く、右側につれて色が白くなり、定性的に正しい法線が取得されていることがわかる。また、図２７（ｂ）、図２８(ｂ)より、ｙ成分法線画像では、上側が黒く、下に行くにつれて色が白くなり、定性的に正しい法線が取得されていることがわかる。さらに、図２７（ｃ），図２８(ｃ)より、ｚ成分法線画像では、中央部が黒く、遮蔽エッジ近傍が灰色になっており、定性的に正しい法線が取得されていることがわかる。
【０１７０】
以上のように、鏡面反射領域と拡散反射領域の領域分割を行ない、被写体の偏光情報を利用することで、被写体の偏光情報を利用して、分割された領域ごとに異なった処理を行なうことにより、広い領域についてパッシブに高精度な法線情報が推定できる。
【０１７１】
なお、本実施の形態では、パターン偏光子２０１にフォトニック結晶が用いられたが、フィルム型の偏光素子、あるいはワイヤーグリッド型やその他の原理による偏光素子であってもよい。また、パターン偏光子を利用せずに、撮像素子２０２の前方に装着した偏光板を回転させながら撮像することで、時系列的に偏光主軸の異なる輝度を取得するようにしても構わない。この方法は、例えば、特開平１１−２１１４３３号公報に開示されている。このような場合、個々の撮像素子２０２、２０２−２の前方にそれぞれ偏光子を配置するようにすればよい。もちろん、複数の撮像素子２０２、２０２−２を覆うような偏光子を１枚のみ利用するようにしても構わない。
【０１７２】
なお、本実施の形態では、偏光情報取得部１０３を第１の偏光画像撮像部１０２と第２の偏光画像撮像部１０２−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０１７３】
また、本実施の形態では、領域分割部１０５を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０１７４】
また、本実施の形態では、法線１自由度推定部１０６を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０１７５】
また、領域分割部１０５において、領域を鏡面反射成分領域か拡散反射成分領域かに分割するために、ステレオ画像間の輝度差を利用したが、もちろん、個々の画像のみから行なうようにしても構わない。このような処理は、既知の手法、例えば、画像の色情報を利用する方法を利用すればよい（例えば、Ｓ．Ｋ．Ｎａｙａｒ，  Ｘ．Ｓ．Ｆａｎｇ，  ａｎｄ  Ｔ．Ｂｏｕｌｔ，"Ｓｅｐａｒａｔｉｏｎ  ｏｆ  ｒｅｆｌｅｃｔｉｏｎ  ｃｏｍｐｏｎｅｎｔｓ  ｕｓｉｎｇ  ｃｏｌｏｒ  ａｎｄ  ｐｏｌａｒｉｚａｔｉｏｎ", Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ (ＩＪＣＶ)， Vol.21, No.3, pp.163-186, 1997参照）。
【０１７６】
以上のように、鏡面反射領域と拡散反射領域の領域分割を行ない、被写体の偏光情報を利用して、分割された領域ごとに異なった処理を行なうことにより、広い領域についてパッシブに高精度な法線情報が推定できる。
【０１７７】
（第２の実施形態）
次に、本発明の第２の実施の形態における法線情報生成装置を説明する。本実施の形態における法線情報生成装置は、ステレオ対応が求まらないオクルージョン領域に対して、別の法線情報生成処理を行なうものである。
【０１７８】
本実施の形態における法線情報生成装置は、実施形態１にかかる法線情報生成装置１００（図１）の構成と同じである。第１の実施形態との違いは領域分割部１０５と法線情報生成部１０７である。領域分割部１０５は、ステレオ対応取得部１０４で対応が求まらない領域に対し、未対応領域として領域分割し、法線情報生成部１０７は未対応領域のみ別の法線情報生成処理を行なう。遮蔽の影響により、ステレオ対応取得部１０４で対応が求まらない領域はオクルージョン領域と呼ばれ、ステレオ法では３次元形状情報が取得できない領域として知られている。しかし、本実施形態の法線取得方法では、領域分割部１０５によってオクルージョン領域を検出し、法線１自由度推定部１０６によって求めた法線１自由度情報を利用することにより、オクルージョン領域においても法線方向ベクトルの推定が可能である。この処理を説明する。
【０１７９】
図３１、３２は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図３１，３２において、図７と共通のステップには図７と同一の符号を付しており、その詳細な説明を省略する。
【０１８０】
まず、領域分割部１０５は、ステレオ対応取得部１０４で対応が求まらない領域に対し、未対応領域として領域分割を行なう（ステップＳ１２１）。
【０１８１】
図３３は、本実施の形態における領域分割部１０５による処理の流れを示したフローチャートである。このフローチャートは、図３１におけるステップＳ１２１に相当する。
【０１８２】
まず、領域分割部１０５は、ステレオ対応取得部１０４の結果を利用し、参照画素が別画像と対応付けられているかを判断する（ステップＳ３０１）。参照画素が別画像と対応付けられていなかった場合（ステップＳ３０１でＮｏ）、領域分割部１０５は、参照画素はオクルージョンを起こしていると判断し、未対応領域として領域分割する（ステップＳ３０２）。一方、参照画素が別画像と対応付けられていた場合（ステップＳ３０１でＹｅｓ）、領域分割部１０５は、前述の通り、図２０の領域分割基準に基づき、領域分割を行なう（ステップＳ３０３）。
【０１８３】
法線情報生成部１０７は、領域分割部１０５の領域分割結果に基づいて、法線情報を生成する処理を切り替える（ステップＳ１２２）。領域が未対応領域でなかった場合（ステップＳ１２２でＮｏ）、法線情報生成部１０７は、第１の実施例と同様の手法により、法線情報を生成する（ステップＳ１０７〜Ｓ１０９）。一方、領域が未対応領域であった場合（ステップＳ１２２でＹｅｓ）、法線情報生成部１０７は、未対応領域が遮蔽エッジ近傍の領域であることを利用して法線情報を取得する。具体的には、まず法線１自由度推定部１０６によって法線１自由度情報を推定する（ステップＳ１２３）こうして求めた法線１自由度情報と、遮蔽エッジ近傍の領域であることを利用し、近傍画素の法線情報から、未対応領域の法線方向ベクトルを推定する（ステップＳ１２４）。
【０１８４】
図３４はオクルージョン領域である未対応領域と法線方向の関係を説明するための模式図である。この図において、撮像素子２０２と２０２−２は球体の被写体３０１を撮像している。この場合、各撮像素子によって未対応となる領域は、領域３０２および領域３０３である。領域３０２は撮像素子２０２−２からは観測されず、領域３０３は撮像素子２０２からは観測されない。そのため、領域３０２は撮像素子２０２、つまり第１の画像における未対応領域、領域３０３は撮像素子２０２−２、つまり第２の画像における未対応領域となる。未対応領域３０２、３０３はいずれかの画像ではオクルージョンが生じるということから、遮蔽エッジ近傍の領域であることがわかる。
【０１８５】
遮蔽エッジ境界では、法線方向ベクトルが、図３０のｘ−ｙ平面上、つまり、光軸に直交する平面上に存在する。そのため、法線情報生成部１０７は、未対応領域の法線第２自由度はｘ−ｙ平面上であると仮定し、法線方向ベクトルを取得する。このとき、法線１自由度情報φｎは、１８０度の不定性を持つため、法線方向ベクトルｎは、n(nx, ny, ０)とn' (-nx, -ny, ０)という１８０度の不定性を有する。この不定性を除去するために、未対応領域近傍の法線方向ベクトルの連続性を利用する。具体的には、法線方向ベクトル候補 (nx, ny, ０)と(-nx, -ny, ０)それぞれに対して未対応領域近傍の法線方向ベクトルとの連続性を計算し、より連続性が保たれる法線方向ベクトル候補を法線方向ベクトルとして決定すればよい。具体的には、近傍の法線方向ベクトルとの内積値を計算し、その値が大きくなる法線方向ベクトル候補を法線方向ベクトルとして決定する。この処理により、図３４において破線の矢印として示す法線方向ベクトルが特定される。
【０１８６】
また、法線１自由度推定部１０６によって法線１自由度情報を求めるためには、拡散反射成分または鏡面反射成分としての領域分割も必要である。これは、近傍領域の領域分割結果を利用すればよい。もちろん、遮蔽領域では鏡面反射が生じないと仮定し、拡散反射成分として処理を行なっても構わない。
【０１８７】
本実施の形態における法線情報生成装置１００が搭載されたカメラは、実施形態１にかかるカメラ２００（図５）と同じである。よって、詳細な説明は省略する。
【０１８８】
以上のように、本実施形態の法線取得方法では、領域分割部１０５によってオクルージョン領域を検出し、法線１自由度推定部１０６によって求めた法線１自由度情報を利用することで、従来手法では困難であった、オクルージョン領域においても法線方向ベクトルの推定が可能である。
【０１８９】
なお、本実施の形態では、パターン偏光子２０１にフォトニック結晶が用いられたが、フィルム型の偏光素子、あるいはワイヤーグリッド型やその他の原理による偏光素子であってもよい。また、パターン偏光子を利用せずに、撮像素子２０２の前方に装着した偏光板を回転させながら撮像することで、時系列的に偏光主軸の異なる輝度を取得するようにしても構わない。この方法は、例えば、特開平１１−２１１４３３号公報に開示されている。このような場合、個々の撮像素子２０２、２０２−２の前方にそれぞれ偏光子を配置するようにすればよい。もちろん、複数の撮像素子２０２、２０２−２を覆うような偏光子を１枚のみ利用するようにしても構わない。
【０１９０】
なお、本実施の形態では、偏光情報取得部１０３を第１の偏光画像撮像部１０２と第２の偏光画像撮像部１０２−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０１９１】
また、本実施の形態では、領域分割部１０５を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０１９２】
また、本実施の形態では、法線１自由度推定部１０６を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０１９３】
また、領域分割部１０５において、鏡面反射成分と拡散反射成分の領域分割を行なうために、ステレオ画像間の輝度差を利用したが、もちろん、個々の画像の みから行なうようにしても構わない。このような処理は、既知の手法、例えば、画像の色情報を利用する方法を利用すればよい（例えば、Ｓ．Ｋ．Ｎａｙａｒ，  Ｘ．Ｓ．Ｆａｎｇ，  ａｎｄ  Ｔ．Ｂｏｕｌｔ，"Ｓｅｐａｒａｔｉｏｎ  ｏｆ  ｒｅｆｌｅｃｔｉｏｎ  ｃｏｍｐｏｎｅｎｔｓ  ｕｓｉｎｇ  ｃｏｌｏｒ  ａｎｄ  ｐｏｌａｒｉｚａｔｉｏｎ", Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ (ＩＪＣＶ)， Vol.21, No.3, pp.163-186, 1997参照）。
【０１９４】
以上のように、鏡面反射領域と拡散反射領域の領域分割を行ない、被写体の偏光情報を利用して、分割された領域ごとに異なった処理を行なうことにより、広い領域についてパッシブに高精度な法線情報が推定できる。
【０１９５】
（第３の実施形態）
次に、本発明の第３の実施の形態における法線情報生成装置を説明する。
【０１９６】
図３５は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００は、領域分割部１０５を持たず、代わりに、法線情報生成部１１７によって、複数の法線方向ベクトル候補を生成し、最適法線選択部１０８によって、複数の法線方向ベクトル候補の妥当性を評価することで、法線方向ベクトルを推定する。なお、第１の実施形態における法線情報生成装置１００と同一の構成要素には、図４と同一の符号を付し、その説明を省略する。
【０１９７】
法線１自由度推定部１１６は、画素ごとに、偏光情報取得部１０３で生成された偏光情報を用いて、対応する被写体の表面での法線１自由度を推定する。この際、法線１自由度の求め方は前述のように画素が拡散反射成分か鏡面反射成分かで異なる。そこで、法線１自由度推定部１１６は、画素が拡散反射成分である場合の法線１自由度候補φｎｄと、画素が鏡面反射成分である場合の法線１自由度候補φｎｓの両方を、法線１自由度候補として推定する。具体的には、前述の通り、以下の式に基づいて、法線１自由度候補φｎｄ、φｎｓを推定する。
【数２８】
2009147814.tif 000172
【数２９】
2009147814.tif 000173
【０１９８】
ただし、φｍａｘは数７で求まる、偏光位相である。ここで、数２８で示したφｎｄは数２６で示した画素が拡散反射成分であると仮定した場合の出射面の情報、数２９で示したφｎｓは数２５で示した画素が鏡面反射成分であると仮定した場合の入射面の情報である。
【０１９９】
法線情報生成部１１７は、第１の法線１自由度推定部１１６で推定された法線１自由度候補φｎｄ１，φｎｓ１と、第２の法線１自由度推定部１１６−２で推定された法線１自由度候補φｎｄ２，φｎｓ２を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することにより、法線方向ベクトルを推定する。各撮像素子２０２、２０２−２から、それぞれ２つの法線１自由度候補が求められているため、４通り（「φｎｄ１―φｎｄ２」「φｎｄ１―φｎｓ２」「φｎｓ１―φｎｄ２」「φｎｓ１―φｎｓ２」）の組み合わせから、４つの法線方向ベクトル候補ｎｃ１〜ｎｃ４が求まる。
【０２００】
最適法線選択部１０８は、法線情報生成部１１７が生成した４つの法線方向ベクトル候補から、最適なものを選択し、法線方向ベクトルｎとして推定する。この処理を説明する。
【０２０１】
最適法線選択部１０８は、複数候補から画像全体として最適な法線方向ベクトルを推定するために、法線方向ベクトルの連続性を利用する。これは、以下の評価関数Ｅｖ（ｎ）が最小となる法線方向ベクトル候補を、画像全体で選択すればよい。
【数３０】
2009147814.tif 000174
【０２０２】
ここで、ｎ（ｘ，ｙ）は画素（ｘ，ｙ）での法線方向ベクトル、ｗｘ，ｗｙはそれぞれ画像の幅と高さである。もちろん、このような最小化処理は、拘束条件を利用することで、さらに正確な法線方向ベクトルを取得することが可能である。
【０２０３】
最適な法線方向ベクトル候補を選択するための拘束条件を説明する。まず、複数カメラ間での鏡面反射成分と拡散反射成分の空間的な連続性を説明する。前述のように、鏡面反射成分は、撮像素子の位置（出射角）や、被写体の法線方向ベクトルの影響を受けやすい。また、図１７および１８で示した鏡面反射成分と拡散反射成分の偏光度、および、数１３、数１４〜数２２に示したＬａｍｂｅｒｔｉａｎモデル、Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルから、鏡面反射成分や拡散反射成分の輝度情報や偏光情報は、撮像素子の移動や参照点の移動に対して、連続的な変化を行なうことがわかる。そのため、参照点Ｐに対して、第１の偏光画像、第２の偏光画像ともに拡散反射成分であった場合、その近傍点Ｐ"において、第１の偏光画像、第２の偏光画像ともに鏡面反射成分であることは非常に少ないと考えられる。つまり、参照点の空間的な変動に対して、各偏光画像の対応点の鏡面反射成分、拡散反射成分は連続的に変化する。最適法線選択部１０８は、この知見を拘束条件として利用する。この拘束条件は、被写体の広い領域で利用可能であるため、非常に有効である。さらにこの拘束条件は、光源が複数存在する場合にも有効である。本実施形態においては、隣接する画素同士に上述の拘束条件を適用している。
【０２０４】
図３６はこの連続性を拘束条件として利用するための状態遷移図を示す。この図において、状態６０１は、第１の偏光画像では拡散反射成分、第２の偏光画像も拡散反射成分と仮定し、法線方向ベクトルを生成することを示している。また、状態６０２は、第１の偏光画像は拡散反射成分、第２の偏光画像は鏡面反射成分と仮定し、法線方向ベクトルを生成することを、状態６０３は、第１の偏光画像は鏡面反射成分、第２の偏光画像は拡散反射成分と仮定し、法線方向ベクトルを生成することを、状態６０４は、第１の偏光画像では鏡面反射成分、第２の偏光画像も鏡面反射成分と仮定し、法線方向ベクトルを生成することを示している。
【０２０５】
各偏光画像の対応点の鏡面反射成分、拡散反射成分は連続的に変化するため、参照点が６０１、つまり第１の偏光画像では拡散反射成分、第２の偏光画像も拡散反射成分と仮定して法線方向ベクトルが生成された場合、その近傍では、６０４、つまり第１の偏光画像では鏡面反射成分、第２の偏光画像も鏡面反射成分と仮定して法線方向ベクトルが生成されることはありえない。また、参照点が６０２、つまり第１の偏光画像では拡散反射成分、第２の偏光画像では鏡面反射成分と仮定して法線方向ベクトルが生成された場合、その近傍では、６０３、つまり第１の偏光画像では鏡面反射成分、第２の偏光画像は拡散反射成分と仮定して法線方向ベクトルが生成されることはありえない。したがって、最適法線選択部１０８は、以下の評価関数Ｅｖ２が最小となる法線方向ベクトル候補を、画像全体で選択することにより、法線方向ベクトルｎを選択する。
【数３１】
2009147814.tif 000175
【０２０６】
ただし、Ｅｖ１は次式で与えられる、図３６の状態遷移図による拘束条件であり、Ｃ２は拘束条件の重み係数である。
【数３２】
2009147814.tif 000176
【０２０７】
このような重み係数は、実験的に決定すればよく、例えば、Ｃ２＝２．０とすればよい。数３１は、図３６の状態遷移図に従わない場合、数３０の評価関数が大きな値となるような評価関数である。
【０２０８】
このように、各偏光画像の対応点の鏡面反射成分、拡散反射成分は連続性を拘束条件として利用することで、最適な法線方向ベクトルを選択することができる。
【０２０９】
また、別の拘束条件として、第１の偏光情報取得部１０３および第２の偏光情報取得部１０３−２が取得した、偏光情報を利用するようにしても構わない。この処理を説明する。
【０２１０】
図１８より、拡散反射成分の偏光度は、出射角が小さい場合に０に近づく。そのため、偏光度が十分に小さな領域では、法線方向ベクトルｎが視線ベクトルＶに十分近いと考えられる。そのため、偏光度が十分に小さな領域では、４つの法線方向ベクトル候補ｎｃ１〜ｎｃ４の中から、最も視線ベクトルに近い候補を法線方向ベクトルｎとして選択すればよい。これは、例えば、閾値処理を行ない、偏光度がたとえば、０．０５より小さな領域に対して行なえばよい。もちろん、法線情報生成部１１７は、偏光度が十分に小さい領域では、法線１自由度推定部１１６が取得した法線１自由度情報を利用せず、法線方向ベクトルｎは視線ベクトルＶと等しいとするようにしても構わない。これは、偏光度が十分に小さな領域では、数５による偏光情報の取得処理が不安定になるため、法線１自由度推定部１１６が取得した法線１自由度情報は推定精度が低くなると考えられるためである。この拘束条件は、偏光度が低い領域に対して有効である。
【０２１１】
もちろん、別の拘束条件として、前述の遮蔽エッジ領域の法線方向ベクトルを利用しても構わない。前述のように、遮蔽エッジ近傍では、法線方向ベクトルｎが図３０のｘ−ｙ平面に近づく。そのため、最適法線選択部１０８は、４つの法線方向ベクトル候補ｎｃ１〜ｎｃ４の中から、最もｘ−ｙ平面に近い候補を法線方向ベクトルｎとして選択すればよい。この拘束条件は、遮蔽エッジ領域では非常に有効である。
【０２１２】
また、偏光情報を利用した別の拘束条件として、偏光度情報を利用しても構わない。図１８に示したように、拡散反射成分においては、偏光度は出射角と屈折率により一意に決定される。そこで、被写体の屈折率が既知の場合、推定された法線方向ベクトルと図１８から求めた、推定された偏光度ρｅと、偏光情報取得部１０３によって求められた、計測された偏光度ρを比較し、その差が小さくなるという拘束を利用すればよい。また、図３０で示したように、光軸がｚ方向であることに着目すると、出射角θｅは法線方向ベクトルｎ（ｎｘ， ｎｙ， ｎｚ）を利用して、次式の関係から計算できる。
【数３３】
2009147814.tif 000177
【０２１３】
この拘束条件は、法線１自由度推定部１１６によって、法線１自由度候補がφｎｄと推定された場合のみ利用できる。
【０２１４】
もちろん、光源方向が既知の場合（例えば、法線情報生成装置１００がフラッシュ機構を有し、フラッシュを投光しながら撮像を行なう場合）、図１７に示した、鏡面反射成分の偏光度を利用しても構わない。図１７に示したように、鏡面反射成分においては、偏光度は入射角と屈折率により一意に決定される。そこで、被写体の屈折率と光源方向ベクトルＬが既知の場合、推定された法線方向ベクトルと図１７から求めた、推定された偏光度と、偏光情報取得部１０３によって求められた、計測された偏光度を比較し、その差が小さくなるという拘束を利用すればよい。この場合、前述の拡散反射成分を仮定した場合との拘束条件と組み合わせることにより、法線方向ベクトル候補ｎｃ１〜ｎｃ４の評価を行なうことが可能である。このような偏光度情報を利用した拘束条件は、正確な偏光度情報が取得できる場合に有効である。これは、求まった偏光度が高い場合や、多重反射が生じない、被写体が凸形状の場合である。
【０２１５】
もちろん、法線方向ベクトル候補ｎｃ１〜ｎｃ４と、計測された偏光度ρから図１７および１８を用いて求めた偏光度由来法線方向ベクトルを比較し、その差が小さくなるという拘束条件を利用しても構わない。この場合、図１７からは２つの偏光度由来法線方向ベクトルが求まるため、法線方向ベクトル候補ｎｃ１〜ｎｃ４と各偏光度由来法線方向ベクトルとの差分値において、より小さい差分値を小さくするという拘束条件を利用すればよい。このような偏光度情報を利用した拘束条件は、正確な偏光度情報が取得できる場合に有効である。これは、求まった偏光度が高い場合や、多重反射が生じない、被写体が凸形状の場合である。
【０２１６】
もちろん、別の拘束条件として、奥行情報を利用するようにしても構わない。このような奥行情報は、ステレオ対応取得部１０４で求めた画像間での対応関係を利用して求められる。前述のように、第１の撮像素子２０２と第２の撮像素子２０２−２はキャリブレーション処理が行なわれており、その内部パラメータや外部パラメータは既知である。そのため、ステレオ対応取得部１０４が取得したステレオ対応情報から、被写体の奥行情報を求めることができる。さらに、求まった奥行情報から法線方向を求めることができる。これは、例えば非特許文献１の技術を利用すればよい。具体的には、以下の処理を行なう。
【０２１７】
まず、参照点Ｐ近傍に存在する、ｎ点の近傍点の３次元位置座標を（Ｘｉ，Ｙｉ，Ｚｉ）とする。ただし、ｉは１≦ｉ≦ｎである。これらの点は、ステレオ対応取得部１０４が求めた対応情報と、第１の撮像素子２０２、第２の撮像素子２０２−２の内部パラメータと外部パラメータを利用することで取得する。次に、近傍ｎ点の共分散行列Ｃを次式で計算する。
【数３４】
2009147814.tif 000178
【０２１８】
ただし、（Ｘａ，Ｙａ，Ｚａ）は近傍ｎ点の重心位置座標である。このとき、参照点Ｐの奥行由来法線方向ベクトルｎｄは、共分散行列Ｃの最小固有値に対応する固有ベクトルとして求められる。
【０２１９】
前述のように、こうして求められた奥行由来法線方向ベクトルｎｄは十分な精度ではない。しかし、概略の法線としては利用可能である。そこで、最適法線選択部１０８は、４つの法線方向ベクトル候補ｎｃ１〜ｎｃ４の中から、最も奥行由来法線方向ベクトルｎｄに近い候補を法線方向ベクトルｎとして選択する。
【０２２０】
このような奥行情報を利用した拘束条件は、被写体の広い領域で利用可能であるため、非常に有効である。
【０２２１】
最適法線選択部１０８は、以上の拘束条件の少なくとも１つを利用しながら、画像全体での法線方向ベクトルの連続性を利用することで、最適な法線方向ベクトルを求める。
【０２２２】
図３７は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図３７において、図７と共通のステップには図７と同一の符号を付しており、その詳細な説明を省略する。
【０２２３】
まず、第１の偏光画像撮像部１０２は、第１のパターン偏光子２０１を通して被写体を第１の撮像素子２０２で受光することで、偏光情報を含んだ画像である第１の偏光画像を取得する（ステップＳ１０１）。第１の偏光情報取得部１０３は、第１の偏光画像撮像部１０２が撮像した第１の偏光画像の輝度変化を利用して、第１の偏光情報を生成する（ステップＳ１０２）。第１の法線１自由度推定部１１６は、偏光情報取得部１０３で生成された偏光情報を用いて、画素ごとに、対応する被写体の表面での法線１自由度候補φｎｄ１、φｎｓ１を推定する（ステップＳ１１７）。次に、第２の偏光画像撮像部１０２−２は、第２のパターン偏光子２０１−２を通して被写体を第２の撮像素子２０２−２で受光することで、偏光情報を含んだ画像である第２の偏光画像を取得する（ステップＳ１０３）。第２の偏光情報取得部１０３−２は、第２の偏光画像撮像部１０２−２が撮像した第２の偏光画像の輝度変化を利用して、第２の偏光情報を生成する（ステップＳ１０４）。第２の法線１自由度推定部１１６−２は、偏光情報取得部１０３−２で生成された偏光情報を用いて、画素ごとに、対応する被写体の表面での法線１自由度候補φｎｄ２、φｎｓ２を推定する（ステップＳ１１８）。ここで、ステップＳ１０１〜ステップＳ１０２およびステップ１１７と、ステップＳ１０３〜ステップＳ１０４およびステップ１１８の順序は任意であり、並列的に実行してもよいし、もちろん、順次実行しても構わない。ステレオ対応取得部１０４は、偏光画像撮像部１０２（１０２−２）で求まった偏光画像、偏光情報取得部１０３（１０３−２）で求まった偏光情報の少なくとも１つを利用して、ステレオ偏光画像撮像部１０１が取得した複数の偏光画像において画素ごとの対応関係を推定する（ステップＳ１０５）。第１の法線１自由度推定部１１６で推定された法線１自由度候補φｎｄ１，φｎｓ１と、第２の法線１自由度推定部１１６−２で推定された法線１自由度候補φｎｄ２，φｎｓ２を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトル候補ｎｃ１〜ｎｃ４を推定する（ステップＳ１１９）。最適法線選択部１０８は、法線方向ベクトルの連続性などを利用して、法線方向ベクトル候補ｎｃ１〜ｎｃ４から最適な法線方向ベクトルｎを選択する（ステップＳ１２０）。
【０２２４】
本実施の形態における法線情報生成装置１００が搭載されたカメラは、実施形態１にかかるカメラ２００（図５）と同じである。よって、詳細な説明は省略する。
【０２２５】
なお、本実施の形態では、偏光情報取得部１０３を第１の偏光画像撮像部１０２と第２の偏光画像撮像部１０２−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０２２６】
また、本実施の形態では、法線１自由度推定部１１６を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０２２７】
以上のように、被写体の偏光情報を利用し、鏡面反射成分と拡散反射成分双方を仮定した法線１自由度候補を最適に統合することで、画素ごとに法線情報が生成されるため、広い領域についてパッシブに高精度な法線情報が推定できる。
【０２２８】
（第４の実施形態）
次に、本発明の第４の実施の形態における法線情報生成装置を説明する。
【０２２９】
図３８は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００は、信頼性推定部１０９を有し、法線情報生成部１２７が正確に法線情報を推定できる領域と、信頼性が低い領域を推定する。法線情報生成部１２７は、信頼性推定部１０９が推定した信頼性結果により法線情報推定処理を切り替えることにより、法線方向ベクトルを推定する。なお、第１の実施形態における法線情報生成装置１００と同一の構成要素には、図４と同一の符号を付し、その説明を省略する。
【０２３０】
信頼性推定部１０９は、法線情報生成部１２７が推定する法線方向ベクトルの信頼性を評価する。これは、第１の法線１自由度推定部１０６と第２の法線１自由度推定部１０６−２で推定された法線１自由度情報から推定するようにすればよい。
【０２３１】
図３９は、推定した法線方向ベクトルの信頼性を説明するための模式図である。図２３に示したように、第１の実施形態の法線情報生成部１０７は、各偏光画像から求められた入出射面Ｓ１、Ｓ２の交線として、法線方向ベクトルｎを求める。しかし、以下の条件を満たす場合、入出射面Ｓ１、Ｓ２の交線は一意に求まらず、法線方向ベクトルｎは不定となる。
【０２３２】
［法線方向ベクトルｎの推定が不定となる条件］
参照点Ｐの法線方向ベクトルが以下の３点を通る平面上に存在。
・撮像素子２０２の焦点位置。
・撮像素子２０２−２の焦点位置。
・参照点Ｐ。
【０２３３】
上記の条件下では、入出射面Ｓ１、Ｓ２は同一平面Ｓ１２となり、その交線として法線方向ベクトルを一意に求めることはできない。そこで、信頼性推定部１０９は、入出射面Ｓ１と入出射面Ｓ２のなす入出射面角を計算し、入出射面角が大きい場合には信頼性があると判断し、入出射面角が小さい場合には信頼性がないと判断する。
【０２３４】
法線情報生成部１２７は、信頼性推定部１０９が推定した信頼性情報によって、法線方向ベクトル推定処理を切り替える。
【０２３５】
図４０、図４１は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図４０、図４１において、図７と共通のステップには図７と同一の符号を付しており、その詳細な説明を省略する。
【０２３６】
信頼性推定部１０９は、第１の法線１自由度推定部１０６が推定した入出射面Ｓ１と第２の法線１自由度推定部１０６−２が推定した入出射面Ｓ２とのなす角度として、入出射面角φｓを計算する（ステップＳ１３０）。ここで、入出射面角φｓの値域は［０，π］である。
【０２３７】
入出射面角の計算方法を説明する。図４２は入出射面角の計算方法を説明するための模式図である。第１の撮像素子２０２のカメラ座標系Ｃ１をｘｃ１−ｙｃ１−ｚｃ１とし、第２の撮像素子２０２−２のカメラ座標系Ｃ２をｘｃ２−ｙｃ２−ｚｃ２とする。また、いずれの座標系も図３０同様、カメラ左右方向にｘ方向、カメラ上下方向にｙ方向、カメラ光軸方向にｚ方向である。また、カメラ座標系Ｃ２からカメラ座標系Ｃ１への変換を表す回転行列をＲｃ２−ｃ１とする。さらに法線１自由度φｎや偏光位相φｍａｘは−ｙｃ方向が０（ｒａｄ）、ｘｃ方向がπ／２（ｒａｄ）となるように設定する。このとき、第１の法線１自由度推定部１０６で求まった法線１自由度をφｎ１、第２の法線１自由度推定部１０６−２で求まった法線１自由度をφｎ２とすると、入出射面角φｓは次式で求まる。
【数３５】
2009147814.tif 000179
【０２３８】
ここで、ｍｉｎ［Ａ，Ｂ］はＡとＢの最小値を選択する演算子であり、前述の通り、φｎ１，φｎ２が１８０度の不定性を有することに起因する。また、Ｃｏｓ-1（ｘ）は、−１≦ｘ≦１の場合、［０，π］の範囲をとる。また、数３５において、ｎφ１，ｎφ２は入出射面Ｓ１，Ｓ２の法線方向ベクトルである。ここで、φｎ１，φｎ２は面の傾き角であることに注意すると、ｎφ１，ｎφ２は次式で表される。
【数３６】
2009147814.tif 000180
【数３７】
2009147814.tif 000181
【０２３９】
信頼性推定部１０９は、入出射面角φｓの大きさを評価する（ステップＳ１３１）。すなわち、信頼性推定部１０９は、入出射面角φｓの大きさと閾値Ｔｈφｓとを比較する。その結果、入出射面角φｓの大きさが閾値Ｔｈφｓより大きかった場合（ステップＳ１３１でＹｅｓ）、前述の通り、法線情報生成部１２７は、法線１自由度推定部１０６、１０６−２で推定された法線１自由度を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトルを推定し（ステップＳ１０９）、処理を終了する。一方、入出射面角φｓの大きさが閾値Ｔｈφｓ以下であった場合（ステップＳ１３１でＮｏ）、信頼性推定部１０９は、法線１自由度情報に信頼性がないと判断し、法線情報生成部１２７は、法線１自由度推定部１０６、１０６−２を統合することによる法線方向ベクトルの推定を行なわない。法線情報生成部１２７は、このような領域では、近傍の求まっている法線方向ベクトルを利用して、例えば、補間処理を行なうことで、法線方向ベクトルを取得する（ステップＳ１３２）。
【０２４０】
また、入出射面角φｓの閾値Ｔｈφｓは実験的に決定すればよく、例えば、３（ｄｅｇ）を設定すればよい。
【０２４１】
もちろん、法線情報生成部１２７は、ステップＳ１３２において、近傍の法線方向ベクトルを利用して法線方向ベクトルを取得するのではなく、例えば、前述の奥行由来法線方向ベクトルｎｄを利用するようにしても構わない。
【０２４２】
もちろん、信頼性推定部１２９は、例えば、偏光情報取得部１０３が推定した偏光情報から信頼性を評価するようにしても構わない。ここでは、偏光情報取得部１０３が推定した偏光情報と法線情報生成部１４７が生成した法線方向ベクトルｎを比較することにより、信頼性を評価する処理を説明する。
【０２４３】
図４３は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。第１の実施形態における法線情報生成装置１００と同一の構成要素には、図４と同一の符号を付し、その説明を省略する。
【０２４４】
本実施形態における法線情報生成装置１００における法線情報生成部１４７は、まず、第１の実施形態の法線情報生成部１０７と同様の処理を行ない、法線方向ベクトルｎを推定する。信頼性推定部１２９は、法線情報生成部１４７が生成した法線方向ベクトルｎを偏光情報取得部１０３が推定した偏光情報と比較することで、法線方向ベクトルｎの信頼性を評価する。法線情報生成部１４７は、信頼性推定部１２９によって信頼性がないと評価された法線方向ベクトルｎを廃棄し、近傍の求まっている法線方向ベクトルを利用して、例えば、補間処理を行なうことで、法線方向ベクトルを取得する。
【０２４５】
ここでは、偏光情報として偏光度ρを利用することで、信頼性を評価する方法を説明する。まず、前述のように、光源方向および被写体の屈折率が既知の場合を考える。領域分割部１０５によって、画素が鏡面反射成分または拡散反射成分と領域分割されていることに着目すると、前述の図１７、１８より、法線方向ベクトルｎから偏光度ρｅを推定できる。つまり、画素が鏡面反射成分の場合、参照点の法線方向ベクトル方向ｎおよび光源方向より、入射角が求まる。図１７より、入射角と被写体の屈折率が既知であれば、偏光度ρｅが推定できる。一方、画素が拡散反射成分の場合、参照点の法線方向ベクトル方向ｎおよび数３３より、出射角が求まる。図１８より、出射角と被写体の屈折率が既知であれば、偏光度ρｅが推定できる。ここで、領域分割部１０５の領域分割結果、および法線情報生成部１４７の法線方向ベクトルｎ推定結果が正しければ、偏光情報取得部１０３で求めた偏光度ρと推定された偏光度ρｅは十分に近い値となる。そこで、信頼性推定部１２９は、ρとρｅの差分値を計算し、その差分値が大きい場合は信頼性が低い、差分値が小さい場合は信頼性が高いと判断する。
【０２４６】
図４４および４５は、本実施の形態における領域分割部１０５による処理の流れを示したフローチャートである。なお、図４４および４５において、図７および図４１と共通のステップには図７および図４１と同一の符号を付しており、その詳細な説明を省略する。
【０２４７】
まず、法線情報生成装置１００は、第１の実施形態と同様の処理を行ない、法線方向ベクトルｎを推定する（ステップＳ１０１〜Ｓ１０９）。信頼性推定部１２９は、前述のように、前記法線方向ベクトルｎと図１７および１８を利用することで、偏光度ρｅを推定する（ステップＳ１３５）。信頼性推定部１２９は、偏光情報取得部１０３で求めた偏光度ρと推定された偏光度ρｅを比較することで、信頼性を評価する（ステップＳ１３６）。ここで、偏光情報取得部１０３で求めた偏光度ρと推定された偏光度ρｅが十分に近かった場合（ステップＳ１３６でＹｅｓ）、信頼性推定部１２９は、法線方向ベクトルｎは十分に信頼性が高いと判断し、処理を終了する。一方、偏光情報取得部１０３で求めた偏光度ρと推定された偏光度ρｅが大きく異なった場合（ステップＳ１３６でＮｏ）、信頼性推定部１２９は、法線方向ベクトルｎに信頼性がないと判断し、法線情報生成部１４７は、法線１自由度推定部１０６、１０６−２を統合することによる法線方向ベクトルの推定を行なわない。法線情報生成部１４７は、このような領域では、近傍の求まっている法線方向ベクトルを利用して、例えば、補間処理を行なうことで、法線方向ベクトルを取得する（ステップＳ１３２）。
【０２４８】
本実施の形態における法線情報生成装置１００が搭載されたカメラは、実施形態１にかかるカメラ２００（図５）と同じである。よって、詳細な説明は省略する。
【０２４９】
以上のように、被写体の偏光情報を利用し、鏡面反射成分と拡散反射成分双方を仮定した法線１自由度候補を信頼性を利用して最適に統合することで、画素ごとに法線情報が生成されるため、広い領域についてパッシブに高精度な法線情報が推定できる。
【０２５０】
（第５の実施形態）
次に、本発明の第５の実施の形態における法線情報生成装置を説明する。第４の実施形態における法線情報生成装置との違いは、法線方向ベクトルから信頼性を評価するのではなく、領域分割部における領域分割結果から信頼性を評価することである。
【０２５１】
本実施形態による法線情報生成装置の処理は、図３８に示す第４の実施形態による法線情報生成装置の処理と同じである。本実施の形態における法線情報生成装置における信頼性推定部１０９は、法線情報生成部１２７が推定する法線方向ベクトルから信頼性を評価するのではなく、領域分割部１０５の領域分割結果から信頼性を評価する。ここでは、陰影領域を利用する処理を説明する。
【０２５２】
陰影領域では、光線が複雑になり、偏光情報の信頼性が失われる。そこで、本実施形態の法線情報生成装置１００では、領域分割部１１５によって、陰影領域を領域分割し、信頼性推定部１０９は陰影領域を信頼性が低い領域と判断する。
【０２５３】
図４６は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００における第１の領域分割部１１５および第２の領域分割部１１５−２は、画像を鏡面反射成分領域、拡散反射成分領域および陰影領域に分割する。信頼性推定部１１９は、第１の領域分割部１１５および第２の領域分割部１１５−２によって取得した領域分割結果に基づき、法線情報生成部１３７が正確に法線情報を推定できる領域と、信頼性が低い領域を推定する。法線情報生成部１３７は、信頼性推定部１１９が推定した信頼性結果により法線情報推定処理を切り替えることにより、法線方向ベクトルを推定する。なお、第１の実施形態における法線情報生成装置１００と同一の構成要素には、図４と同一の符号を付し、その説明を省略する。
【０２５４】
領域分割部１１５は、偏光情報取得部１０３が生成した偏光情報および／または偏光画像撮像部１０２が取得した輝度情報を利用し、画像を拡散反射領域、鏡面反射領域および陰影領域に領域分割する。ここで、陰影領域は輝度値が低いことと、カメラの移動に対して陰影は不変であることに着目する。すると、ステレオカメラにおける鏡面反射成分領域、拡散反射成分領域および陰影領域は、以下のように分割できる。
【数３８】
2009147814.tif 000182
【０２５５】
ここで、Ｔは本来のＬａｍｂｅｒｔｉａｎモデルからどれだけ離れているかを示す閾値であり、Ｔｈｓは陰影の閾値である。本来、陰影の輝度値は０になるはずであるが、暗電流や環境光などの影響により、０にならない。このような閾値は、実験的に決定すればよい。
【０２５６】
図４７は上記領域分割基準を表した模式図である。
【０２５７】
もちろん、領域分割部１０５は、画像の輝度値を利用するのではなく偏光情報取得部１０３および１０３−２で取得した、偏光最大輝度値Ｉｍａｘや偏光最小輝度値Ｉｍｉｎ、または偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの平均値や重み付け和（例えば、Ｉｍａｘ＋2・ＩｍｉｎやＩｍａｘ＋Ｉｍｉｎ）などをＩｃ１，Ｉｃ２として利用するようにしても構わない。前述のように、偏光最小輝度値Ｉｍｉｎを利用する場合、てかり成分の影響を少なくすることができる。また、Ｉｍａｘ＋Ｉｍｉｎは、偏光子を設置しなかった場合に撮像される画像と等価の画像である。そのため、この平均値を利用して画像処理を行なうことで、通常の偏光を利用しない場合と同様の処理を行なうことができる。
【０２５８】
信頼性推定部１１９は、法線情報生成部１３７が推定する法線方向ベクトルの信頼性を評価する。これは、領域分割部１１５で分割された領域が陰影領域であるか、そうでないかを判断すればよい。
【０２５９】
法線情報生成部１３７は、信頼性推定部１１９が推定した信頼性情報によって、法線方向ベクトルの推定処理を切り替える。
【０２６０】
図４８および４９は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図４８および４９において、図４０および４１と共通のステップには図４０および４１と同一の符号を付しており、その詳細な説明を省略する。
【０２６１】
領域分割部１１５は、第１の偏光情報取得部１０３および第２の偏光情報取得部１０３−２が生成した第１の偏光情報、第２の偏光情報、および／または、第１の偏光画像撮像部１０２および第２の偏光画像撮像部１０２−２が取得した第１の輝度情報、第２の輝度情報を利用することで、図４７の領域分割基準に基づき、第１の画像、第２の画像を拡散反射領域、鏡面反射領域および陰影領域に領域分割する（ステップＳ１１６）。
【０２６２】
信頼性推定部１１９は、領域分割部１１５が分割した領域分割結果が陰影領域かそうでないかを判断することで、推定された法線方向ベクトルの信頼性を判断する（ステップＳ１３３）。その結果、参照画素が陰影領域でなかった場合（ステップＳ１３３でＮｏ）、前述の通り、法線情報生成部１３７は、法線１自由度推定部１０６、１０６−２で推定された法線１自由度を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトルを推定し（ステップＳ１０９）、処理を終了する。参照画素が陰影領域であった場合（ステップＳ１３３でＹｅｓ）、信頼性推定部１１９は、法線１自由度情報に信頼性がないと判断し、法線情報生成部１３７は、法線１自由度推定部１０６、１０６−２を統合することによる法線方向ベクトルの推定を行なわない。法線情報生成部１３７は、このような領域では、近傍の求まっている法線方向ベクトルを利用して、例えば、補間処理を行なうことで、法線方向ベクトルを取得する（ステップＳ１３２）。
【０２６３】
また、偏光情報を利用することで、陰影領域をさらにアタッチト・シャドウ（ａｔｔａｃｈｅｄ  ｓｈａｄｏｗ）領域とキャスト・シャドウ（ｃａｓｔ  ｓｈａｄｏｗ）領域に分割するようにしても構わない。ａｔｔａｃｈｅｄ  ｓｈａｄｏｗ領域は「陰領域」とも呼ばれ、ｃａｓｔ  ｓｈａｄｏｗ領域は「影領域」とも呼ばれる。ｃａｓｔ  ｓｈａｄｏｗ領域では、光線が複雑になり、偏光情報の信頼性が失われる。一方、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗ領域では、鏡面反射成分に近い偏光特性を示す。
【０２６４】
そこで、本実施形態の法線情報生成装置１００では、領域分割部によって、陰影領域をａｔｔａｃｈｅｄ  ｓｈａｄｏｗ領域とｃａｓｔ  ｓｈａｄｏｗ領域に領域分割し、信頼性推定部１０９はｃａｓｔ  ｓｈａｄｏｗ領域を信頼性が低い領域と判断する。この処理を詳述する。
【０２６５】
まず、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗを説明する。図５０はａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗという陰影の分類を説明するための模式図である。ここで、ある面３０５におかれた被写体３０１が、光源３０４に照らされている。この図において、符号３０６と３０７はどちらも陰影を示している。符号３０６は被写体３０１の法線が光源３０４を向いていないために生じるａｔｔａｃｈｅｄ  ｓｈａｄｏｗであり、符号３０７は３０５において、遮蔽物である被写体３０１によって光が遮蔽されることによって生じるｃａｓｔ  ｓｈａｄｏｗである。
【０２６６】
次に、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗの偏光特性の違いを説明する。まず、地上で撮像されるほとんどの撮像シーンでは成り立つ、以下の条件１が満たされた撮像シーンにおいて、撮像が行なわれると想定する。
【０２６７】
条件１：「被写体が存在する撮像シーンには、近傍に広い面を有する物体が存在し、ある広い面から被写体に関して反対方向には光源が存在する」
【０２６８】
これは、例えば以下のような撮像シーンでは成り立つ。
１．  屋内シーンにおいて、被写体であるボールが机の上に置かれている。また、このボールは天井に設置された蛍光灯で照らされている。
２．  屋内シーンにおいて、被写体である人物が、床面に置かれた椅子に座っている。また、この人物は、窓から差し込んでくる太陽光で照らされている。
３．  屋外シーンにおいて、被写体である自動車が、道路上を走行している。この被写体は、太陽光で照らされている。
【０２６９】
また、壁や建物も広い面を有するため、地上で撮像されるほとんどの撮像シーンではこの条件が成り立つ。
【０２７０】
この条件１が成り立つ場合において、まずａｔｔａｃｈｅｄ  ｓｈａｄｏｗを考える。図５０で示したように、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗは被写体の法線が光源と反対方向を向いているために生じる陰影である。ここで、条件１より、光源と反対方向には広い面が存在していることと、陰影領域には実際には多数の回り込み光（多重反射光）が存在していることを考慮すると、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗには、さまざまな方向から多重反射光が入射していると考えられる。つまり、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗが生じている画素の法線に対して、正反射となる多重反射光が存在すると考えられる。図５１はこの様子を示した模式図である。
【０２７１】
ところで、被写体表面の反射特性は、てかりである鏡面反射成分と、マットな反射成分である拡散反射成分の和として表現されることが知られている。拡散反射成分は、被写体に投光する光源がいずれの方向に存在しても観測されるが、鏡面反射成分は、被写体の法線方向と視線方向に対し、ほぼ正反射方向に光源が存在する場合にのみ観測される、方向依存性の強い成分である。これは、偏光特性に関しても成り立つ。
【０２７２】
被写体が、てかりである鏡面反射を生じる物体の場合、すべての方向から光が投光された場合、被写体は正反射成分である鏡面反射による影響を強く受けることが知られている（例えば、透明物体に関しては、斉藤めぐみ，佐藤洋一，池内克史，柏木寛，"ハイライトの偏光解析にもとづく透明物体の表面形状測定"，電子情報通信学会論文誌D-II，Vol. J82-D-II，No.9，pp.1383-1390，1999）。そのため、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗは鏡面反射の偏光特性を持つ。
【０２７３】
鏡面反射成分と拡散反射成分の偏光度を示した、前述の図１７および１８から、すべての方向から光が入射された場合、拡散反射成分に比べ鏡面反射成分の偏光度が高くなることがわかる。このことからも、偏光特性としても鏡面反射成分が支配的になると推測される。
【０２７４】
また、出射角が９０°に近い、遮蔽エッジなどを除外した場合、図１７および１８からわかるように、鏡面反射成分の偏光度は拡散反射成分に比べて高い。そのため、鏡面反射成分の反射特性を示すａｔｔａｃｈｅｄ  ｓｈａｄｏｗは、相対的に偏光度が高くなる。
【０２７５】
次に、ｃａｓｔ  ｓｈａｄｏｗについて考える。図５０で示したように、ｃａｓｔ  ｓｈａｄｏｗは何らかの遮蔽物によって光が遮蔽されることによって生じる陰影である。ここで、条件１を考慮すると、ｃａｓｔ  ｓｈａｄｏｗは、広い面と近い法線方向を持った面に生じやすくなる。そのため、多重反射光はａｔｔａｃｈｅｄ  ｓｈａｄｏｗに比べて限られた方向からしか入射しない。このことから、正反射方向に光源が存在する可能性は低いと考えられる。図５２はこの様子を示した模式図である。
【０２７６】
さらに、図１８で示したように、拡散反射成分の偏光度は相対的に低い。このことから、ｃａｓｔ  ｓｈａｄｏｗの偏光成分は比較的小さくなることがわかる。陰影領域では、輝度そのものが小さくなるため、小さな偏光成分を推定することは非常に困難である。そのため、ｃａｓｔ  ｓｈａｄｏｗの偏光推定誤差は非常に大きくなる。
【０２７７】
以上のことをまとめると、陰影領域の偏光特性は、以下のように分類される。
○ａｔｔａｃｈｅｄ  ｓｈａｄｏｗ
・偏光度が高く、偏光推定誤差が小さい。
・多くの場合、鏡面反射特性を示す。
○ｃａｓｔ  ｓｈａｄｏｗ
・偏光度が低く、偏光推定誤差が大きい。
・多くの場合、拡散反射特性を示す。
【０２７８】
この分類基準を利用することで、陰影をａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗに分割する。
【０２７９】
図５３は、図４７の画像分類基準において、陰影領域と分割された領域に対する陰影領域分割基準を示している。また、図５４は、陰影領域と分割された領域に対する、領域分割部１１５の処理の流れを示すフローチャートである。
【０２８０】
画素が陰影領域であると判断された場合、領域分割部１１５は、偏光情報取得部１０３で取得された偏光度ρの大きさを評価する（ステップＳ１４１）。すなわち、領域分割部１１５は、偏光度ρの大きさと閾値Ｔｈρとを比較する。その結果、偏光度ρの大きさが閾値Ｔｈρ以上であった場合（ステップＳ１４１でＮｏ）、領域分割部１１５は画素をａｔｔａｃｈｅｄ  ｓｈａｄｏｗと判断し（ステップＳ１４２）、処理を終了する。一方、偏光度ρの大きさが閾値Ｔｈρより小さかった場合（ステップＳ１４１でＹｅｓ）、領域分割部１１５は画素をｃａｓｔ  ｓｈａｄｏｗと判断し（ステップＳ１４３）、処理を終了する。このときの偏光度の閾値Ｔｈρは、被写体の屈折率や被写体の法線方向、光源方向、視線方向などから設定するようにしても構わない。図１７および１８に示したように、被写体の鏡面反射成分偏光度や拡散反射成分偏光度は屈折率と入射角、出射角が求まれば一意に決定できる。そのため、図１７および１８で求まる鏡面反射成分偏光度や拡散反射成分偏光度をＴｈρとして利用すればよい。また、被写体の屈折率や被写体の法線方向、光源方向、視線方向などの情報が得られない場合、拡散反射成分偏光度がとりうる最大値をもとに閾値Ｔｈρとして決定しても構わない。例えば、屈折率２．０以上の被写体は存在しないと仮定すると、図１８より拡散反射成分偏光度の最大値は０．６程度と考えられるので、閾値Ｔｈρとして、０．８程度を設定すればよい。
【０２８１】
もちろん、偏光度の閾値Ｔｈρを実験的に決定するようにしても構わない。
【０２８２】
以上のように、図４７および５３の領域分割基準を用いることにより、領域分割部１１５は、画像を拡散反射領域、鏡面反射領域、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗおよびｃａｓｔ  ｓｈａｄｏｗに分割する。
【０２８３】
もちろん、陰影領域をａｔｔａｃｈｅｄ  ｓｈａｄｏｗとｃａｓｔ  ｓｈａｄｏｗに分割する基準は、偏光推定誤差情報に限ったものではなく、例えば、偏光度情報であっても構わない。この処理を詳述する。
【０２８４】
図５５は、図４７の画像分類基準において、陰影領域と分割された領域に対する陰影領域分割基準を示している。また、図５６は、陰影領域と分割された領域に対する、領域分割部１１５の処理の流れを示すフローチャートである。
【０２８５】
画素が陰影領域であると判断された場合、領域分割部１１５は、偏光情報取得部１０３で取得された偏光推定誤差Ｅの大きさを評価する（ステップＳ１４１）。すなわち、領域分割部１１５は、偏光推定誤差Ｅの大きさと閾値Ｔｈ＿Ｅｒｒとを比較する。その結果、偏光推定誤差Ｅの大きさが閾値Ｔｈ＿Ｅｒｒ以下であった場合（ステップＳ１４４でＮｏ）、領域分割部１１５は画素をａｔｔａｃｈｅｄ  ｓｈａｄｏｗと判断し（ステップＳ１４２）、処理を終了する。一方、偏光推定誤差Ｅの大きさが閾値Ｔｈ＿Ｅｒｒより大きかった場合（ステップＳ１４４でＹｅｓ）、領域分割部１１５は画素をｃａｓｔ  ｓｈａｄｏｗと判断し（ステップＳ１４３）、処理を終了する。このときの閾値Ｔｈ＿Ｅｒｒは撮像画像の輝度値や（数１）の振幅成分Ａ、バイアス成分Cを基準に決定すればよい。例えば、振幅成分Ａを基準に閾値Ｔｈ＿Ｅｒｒを決定する場合、以下のように決定すればよい。
【数３９】
2009147814.tif 000183
【０２８６】
この式は、偏光推定誤差Ｅが振幅成分Ａに対してどの程度、異なっているかを示している。ここで、Ｔｈ＿Ｅは適当な正の定数であり、実験的に決定すればよく、例えば、０．３を設定すればよい。また、Ｎは前述のサンプル数である。
【０２８７】
以上のように、図４７および５５の領域分割基準を用いることにより、領域分割部１１５は、画像を拡散反射領域、鏡面反射領域、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗおよびｃａｓｔ  ｓｈａｄｏｗに分割する。
【０２８８】
法線１自由度推定部１０６は、前述のように、領域分割部１１５で分割された領域ごとに、偏光情報取得部１０３で生成された偏光情報を用いて、対応する被写体の表面での法線１自由度を推定する。このとき、領域分割部１１５において、ａｔｔａｃｈｅｄ  ｓｈａｄｏｗと分割された画素は、鏡面反射成分として、 法線１自由度情報φｎを数２５によって計算する。
【０２８９】
信頼性推定部１１９は、法線情報生成部１３７が推定する法線方向ベクトルの信頼性を評価する。これは、領域分割部１１５で分割された領域がｃａｓｔ  ｓｈａｄｏｗであるか、そうでないかを判断すればよい。
【０２９０】
法線情報生成部１３７は、信頼性推定部１１９が推定した信頼性情報によって、法線方向ベクトルの推定処理を切り替える。
【０２９１】
図４８および５７は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図５７において、図４９と共通のステップには図４９と同一の符号を付しており、その詳細な説明を省略する。
【０２９２】
信頼性推定部１１９は、領域分割部１１５が分割した領域分割結果がｃａｓｔ  ｓｈａｄｏｗかそうでないかを判断することで、推定された法線方向ベクトルの信頼性を判断する（ステップＳ１３４）。その結果、参照画素がｃａｓｔ  ｓｈａｄｏｗ領域でなかった場合（ステップＳ１３４でＮｏ）、前述の通り、法線情報生成部１３７は、法線１自由度推定部１０６、１０６−２で推定された法線１自由度を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトルを推定し（ステップＳ１０９）、処理を終了する。参照画素がｃａｓｔ  ｓｈａｄｏｗであった場合（ステップＳ１３４でＹｅｓ）、信頼性推定部１１９は、法線１自由度情報に信頼性がないと判断し、法線情報生成部１３７は、法線１自由度推定部１０６、１０６−２を統合することによる法線方向ベクトルの推定を行なわない。法線情報生成部１３７は、このような領域では、近傍の求まっている法線方向ベクトルを利用して、例えば、補間処理を行なうことで、法線方向ベクトルを取得する（ステップＳ１３２）。
【０２９３】
本実施の形態における法線情報生成装置１００が搭載されたカメラは、実施形態１にかかるカメラ２００（図５）と同じである。よって、詳細な説明は省略する。
【０２９４】
もちろん、信頼性推定部１０９は、陰影領域を利用するのではなく、例えば、多重反射領域を利用するようにしても構わない。多重反射領域では、光線が複雑 になり、偏光情報の信頼性が失われる。そこで、本実施形態の法線情報生成装置１００では、領域分割部１１５によって、多重反射領域を領域分割し、信頼性推 定部１０９は多重反射領域を信頼性が低い領域と判断する。
【０２９５】
領域分割部１１５によって、多重反射領域を領域分割するためには、例えば、色情報を利用すればよい。一般に、拡散反射成分の色ベクトルは物体色に等しく、鏡面反射成分の色ベクトルは光源色に等しい。ここでは、多重反射として２次反射を考える。２次反射とは、光源からの光が、領域Ａで反射し、その反射光がさらに領域Ｂを照射し、その領域Ｂを観測している状態を示す。この場合、領域Ａで拡散反射、領域Ｂで鏡面反射が生じている場合、領域Ｂで観測される色ベクトルは、領域Ａの物体色ベクトルと等しくなる。ここで、非偏光成分の色ベクトルは、物体色ベクトルとほぼ等しいと仮定する。このとき、領域Ｂで観測された偏光成分の色ベクトルが、領域Ｂの非偏光成分の色ベクトルとも異なり、さらに光源色ベクトルとも異なる場合、領域Ｂでは多重反射が生じていると判断することができる。
【０２９６】
以上のように、被写体の偏光情報を利用し、鏡面反射成分と拡散反射成分双方を仮定した法線１自由度候補を信頼性を利用して最適に統合することで、画素ごとに法線情報が生成されるため、広い領域についてパッシブに高精度な法線情報が推定できる。
【０２９７】
（第６の実施形態）
次に、本発明の第６の実施の形態における法線情報生成装置を説明する。
【０２９８】
図５８は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００は、３眼以上のステレオ偏光画像撮像部１１１を有し、視点の異なる３枚以上の偏光画像（第１の偏光画像、第２の偏光画像、第３の偏光画像）を取得する。そのため、法線情報生成部１５７は、例えば、第１の偏光画像と第２の偏光画像から法線方向ベクトル候補ｎ１２を、第１の偏光画像と第３の偏光画像から法線方向ベクトル候補ｎ１３を、第２の偏光画像と第３の偏光画像から法線方向ベクトル候補ｎ２３を生成する。こうして求めた複数の法線方向ベクトル候補に対し、最適法線選択部１１８は、その妥当性を評価することで、法線方向ベクトルを選択する。２眼のみのステレオ偏光画像撮像部１０１を利用した場合、前述のように、カメラと参照点の３次元配置および参照点の法線方向ベクトルの関係によっては、法線方向ベクトルｎの推定が不定となる場合が存在する。本実施形態の法線情報生成装置１００は、３眼以上のステレオ偏光画像撮像部１１１を利用することで、この問題を解決するものである。なお、第１の実施形態における法線情報生成装置１００と同一の構成要素には、図４と同一の符号を付し、その説明を省略する。
【０２９９】
ステレオ対応取得部１１４は、３眼以上のステレオ偏光画像撮像部１１１が取得した３視点以上の第１の偏光画像、第２の偏光画像および第３の偏光画像において画素ごとの対応関係を推定する。これは、前述の図１５で示した処理を、３視点以上の偏光画像に関して行なえばよい。
【０３００】
第１の領域分割部１０５、第２の領域分割部１０５−２および第３の領域分割部１０５−３は、第１の偏光情報取得部１０３、第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３が生成した第１の偏光情報、第２の偏光情報および第３の偏光情報や第１の偏光画像撮像部１０２、第２の偏光画像撮像部１０２−２および第３の偏光画像撮像部１０２−３が取得した第１の輝度情報、第２の輝度情報および第３の輝度情報を利用し、第１の画像、第２の画像および第３の画像を拡散反射領域および鏡面反射領域に領域分割する。これは、前述の領域分割処理を、第１の画像と第２の画像、および／または、第１の画像と第３の画像、および／または、第２の画像と第３の画像に対して、順次または並列的に、行なうようにすればよい。
【０３０１】
法線情報生成部１５７は、法線１自由度推定部１０６、１０６−２および１０６−３で推定された法線１自由度を、ステレオ対応取得部１１４で取得された画像の対応関係を利用して統合することで、複数の法線方向ベクトル候補を推定する。本実施形態に基づく法線情報生成装置１００は、３眼以上のステレオ偏光画像撮像部１１１を有する。そのため、例えば、第１の偏光画像と第２の偏光画像から法線方向ベクトル候補ｎ１２を、第１の偏光画像と第３の偏光画像から法線方向ベクトル候補ｎ１３を、第２の偏光画像と第３の偏光画像から法線方向ベクトル候補ｎ２３を生成する。
【０３０２】
最適法線選択部１１８は、３つの法線方向ベクトル候補ｎ１２、ｎ１３およびｎ２３から、最適なものを選択することで、法線方向ベクトルｎを推定する。最適法線選択部１１８は、複数の法線方向ベクトル候補から、最適なものを選択するために、法線１自由度推定部１０６で推定された法線１自由度情報を利用する。この処理を説明する。
【０３０３】
前述のように、以下の条件を満たす場合、２眼のステレオ偏光画像から求めた入出射面Ｓ１、Ｓ２の交線は一意に求まらず、法線方向ベクトルｎは不定となってしまう。
【０３０４】
［法線方向ベクトルｎの推定が不定となる条件］
参照点Ｐの法線方向ベクトルが以下の３点を通る平面上に存在。
・撮像素子２０２の焦点位置。
・撮像素子２０２−２の焦点位置。
・参照点Ｐ。
【０３０５】
そこで、最適法線選択部１１８は、まず、第１の偏光画像から求めた入出射面Ｓ１と第２の偏光画像から求めた入出射面Ｓ２および第３の偏光画像から求めた入出射面Ｓ３のそれぞれのなす入出射面角を前述の数３５にしたがって計算する。ここで、入出射面Ｓ１と入出射面Ｓ２から求めた入出射面角をφｓ１２、入出射面Ｓ１と入出射面Ｓ３から求めた入出射面角をφｓ１３、入出射面Ｓ２と入出射面Ｓ３から求めた入出射面角をφｓ２３とする。こうして求めた入出射面角φｓ１２、φｓ１３およびφｓ２３において、最も値が大きいカメラ組を選択する。こうして選択されたカメラ組から法線方向ベクトルｎを前述のように取得する。こうして取得された法線方向ベクトルｎは、上記推定が不定となる条件に最も合わない、つまり、最も信頼性の高い法線方向ベクトルであると判断できる。
【０３０６】
図５９および６０は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図５９および６０において、図７と共通のステップには図７と同一の符号を付しており、その詳細な説明を省略する。
【０３０７】
まず、第１の偏光画像撮像部１０２は、第１のパターン偏光子２０１を通して被写体を第１の撮像素子２０２で受光することで、偏光情報を含んだ画像である第１の偏光画像を取得する（ステップＳ１０１）。第１の偏光情報取得部１０３は、第１の偏光画像撮像部１０２が撮像した第１の偏光画像の輝度変化を利用して、第１の偏光情報を生成する（ステップＳ１０２）。第２の偏光画像撮像部１０２−２は、第２のパターン偏光子２０１−２を通して被写体を第２の撮像素子２０２−２で受光することで、偏光情報を含んだ画像である第２の偏光画像を取得する（ステップＳ１０３）。第２の偏光情報取得部１０３−２は、第２の偏光画像撮像部１０２−２が撮像した第２の偏光画像の輝度変化を利用して、第２の偏光情報を生成する（ステップＳ１０４）。第３の偏光画像撮像部１０２−３は、第３のパターン偏光子２０１−３を通して被写体を第３の撮像素子２０２−３で受光することで、偏光情報を含んだ画像である第３の偏光画像を取得する（ステップＳ４０１）。第３の偏光情報取得部１０３−３は、第３の偏光画像撮像部１０２−３が撮像した第３の偏光画像の輝度変化を利用して、第３の偏光情報を生成する（ステップＳ４０２）。ここで、ステップＳ１０１〜ステップＳ１０２と、ステップＳ１０３〜ステップＳ１０４と、ステップＳ４０１〜ステップＳ４０２の順序は任意であり、並列的に実行してもよいし、もちろん、順次実行しても構わない。ステレオ対応取得部１１４は、ステレオ偏光画像撮像部１１１が取得した第１の偏光画像、第２の偏光画像および第３の偏光画像において画素ごとの対応関係を推定する（ステップＳ４０３）。第１の領域分割部１０５、第２の領域分割部１０５−２および第３の領域分割部１０５−３は、第１の偏光情報取得部１０３、第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３が生成した第１の偏光情報、第２の偏光情報および第３の偏光情報、および／または、第１の偏光画像撮像部１０２、第２の偏光画像撮像部１０２−２および第３の偏光画像撮像部１０２−３が取得した第１の輝度情報、第２の輝度情報および第３の輝度情報を利用し、第１の画像、第２の画像および第３の画像を拡散反射領域および鏡面反射領域に領域分割する（ステップＳ４０４）。第１の法線１自由度推定部１０６は、偏光情報取得部１０３で生成された第１の偏光情報を用いて、第１の領域分割部１０５で分割された領域ごとに異なった処理を行なうことにより、対応する被写体の表面での法線１自由度情報として入出射面Ｓ１を推定する（ステップＳ１０７）。第２の法線１自由度推定部１０６−２は、偏光情報取得部１０３−２で生成された第２の偏光情報を用いて、第２の領域分割部１０５−２で分割された領域ごとに異なった処理を行なうことにより、対応する被写体の表面での法線１自由度情報として入出射面Ｓ２を推定する（ステップＳ１０８）。第３の法線１自由度推定部１０６−３は、偏光情報取得部１０３−３で生成された第３の偏光情報を用いて、第３の領域分割部１０５−３で分割された領域ごとに異なった処理を行なうことにより、対応する被写体の表面での法線１自由度情報として入出射面Ｓ３を推定する（ステップＳ４０５）。ここで、ステップＳ１０７と、ステップＳ１０８と、ステップＳ４０５の順序は任意であり、並列的に実行してもよいし、もちろん、順次実行しても構わない。法線情報生成部１５７は、法線１自由度推定部１０６、１０６−２および１０６−３で推定された法線１自由度情報を、ステレオ対応取得部１１４で取得された画像の対応関係を利用して統合することで、３つの法線方向ベクトル候補ｎ１２、ｎ１３およびｎ２３を推定する（ステップＳ４０６）。最適法線選択部１１８は、３つの法線方向ベクトル候補ｎ１２、ｎ１３およびｎ２３から、前述の入出射面角情報を利用することで、最適なものを選択し、選択された法線方向ベクトル候補を法線方向ベクトルｎとして選択する（ステップＳ４０７）。
【０３０８】
もちろん、法線情報生成部１５７は、３つの法線方向ベクトル候補ｎ１２、ｎ１３およびｎ２３を推定するのではなく、２つの法線方向ベクトル候補ｎ１２およびｎ１３のみを推定するようにしても構わない。
【０３０９】
また、図６１は、本実施の形態における法線情報生成装置１００が搭載されたカメラ２００のハードウェア構成例を示している。このカメラ２００は、法線情報を生成する機能を備える撮像装置であり、３つ以上のパターン偏光子（第１のパターン偏光子２０１、第２のパターン偏光子２０１−２および第３のパターン偏光子２０１−３）、３つ以上の撮像素子（第１の撮像素子２０２、第２の撮像素子２０２−２および第３の撮像素子２０２−３）、メモリ２０３およびＣＰＵ２０４を備える。なお、図６１において、図５と共通の構成要素には図５と同一の符号を付しており、新しい構成要素は存在しないため、その詳細な説明を省略する。
【０３１０】
図２７、６５および６８は本実施形態における法線情報生成部１５７によって推定した法線方向ベクトルを可視化した法線画像を示している。前述のように、法線方向ベクトルの各成分は-1から１の範囲の値をもつため、法線画像では、法線方向ベクトルの各成分の０を灰色、負の方向に黒く、正の方向に白くなるような表現をしている。また、背景は黒色で示している。図２７は、撮像素子を水平方向に配置した、図２４（ｂ）と図２４（ｄ）の偏光位相を利用して、法線情報生成部１５７が推定した法線方向ベクトル候補ｎ１２を可視化した法線画像を表している。
【０３１１】
図２７（ａ）は法線方向ベクトル候補ｎ１２のｘ成分の法線画像を示している。また、図２７（ｂ）は法線方向ベクトル候補ｎ１２のｙ成分の法線画像を示している。また、図２７（ｃ）は法線方向ベクトル候補ｎ１２のｚ成分の法線画像を示している。また、図２８は、図２７の各図を模式的に示した図（濃淡を明瞭化した図）である。
【０３１２】
以下、本実施の形態による法線情報生成装置１００を利用した画像生成例を説明する。例では、球体である地球儀を被写体としている。図６２は、本願発明者らによる撮影時のカメラ２００と被写体との位置関係、および、カメラ２００内のパターン偏光子２０１、２０１−２および２０１−３との位置関係を示している。カメラ２００から被写体までは１６０ｃｍであり、パターン偏光子２０１および２０１−２の間隔、および、パターン偏光子２０１および２０１−３の間隔は５０ｃｍである。パターン偏光子間の間隔は、撮像素子の間隔とほぼ同じである。
【０３１３】
図６３（ａ）は、地球儀を被写体とし、偏光情報取得部１０３−３（偏光情報取得部１０３の上方より撮像）によって取得された偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの和（Ｉｍａｘ＋Ｉｍｉｎ）、図６３（ｂ）は、地球儀を被写体とし、偏光情報取得部１０３−３によって取得された偏光位相φｍａｘ３（０°が黒、１８０°が白）を表している。また、図６３（ｃ）および図６３（ｄ）は、図６３（ａ）および図６３（ｂ）を模式的に示した図（濃淡を明瞭化した図）である。図６４（ａ）および（ｂ）はそれぞれ、図６３（ｃ）および（ｄ）に示す画像に対応する領域を示している。
【０３１４】
図６５（ａ）〜（ｃ）は、撮像素子を垂直方向に配置した、図２４（ｂ）と図６３（ｂ）の偏光位相を利用して、法線情報生成部１５７が推定した法線方向ベクトル候補ｎ１３を可視化した法線画像を表している。図６５（ａ）は法線方向ベクトル候補ｎ１３のｘ成分の法線画像を示している。また、図６５（ｂ）は法線方向ベクトル候補ｎ１３のｙ成分の法線画像を示している。また、図６５（ｃ）は法線方向ベクトル候補ｎ１３のｚ成分の法線画像を示している。
【０３１５】
また、図６６（ａ）〜（ｃ）は、図６５（ａ）〜（ｃ）の各図を模式的に示した図（濃淡を明瞭化した図）である。図６７（ａ）〜（ｃ）はそれぞれ、図６５（ａ）〜（ｃ）に示す画像と、図６６（ａ）〜（ｃ）に示す各領域との対応関係を示している。
【０３１６】
図６８（ａ）〜（ｄ）は、本実施形態における最適法線選択部１１８によって選択された最適な法線方向ベクトルｎを可視化した法線画像を表している。図６８（ａ）は法線方向ベクトルｎのｘ成分の法線画像を示している。また、図６８（ｂ）は法線方向ベクトルｎのｙ成分の法線画像を示している。図６８（ｃ）は法線方向ベクトル候補ｎのｚ成分の法線画像を示している。また、図６８（ｄ）は最適法線選択部１１８が法線方向ベクトル候補ｎ１２と法線方向ベクトルｎ１３のいずれを選択したかを画素ごとに示した模式図である。この図において、法線方向ベクトル候補ｎ１２が選択された画素は白く、法線方向ベクトル候補ｎ１３が選択された画素は黒くなるような表現をしている。また、背景は灰色で示している。
【０３１７】
また、図６９（ａ）〜（ｄ）は、図６８（ａ）〜（ｄ）の各図を模式的に示した図（濃淡を明瞭化した図）である。図７０（ａ）〜（ｄ）はそれぞれ、図６８（ａ）〜（ｄ）に示す画像と、図６９（ａ）〜（ｄ）に示す各領域との対応関係を示している。
【０３１８】
被写体が球体であるため、撮像素子を水平に並べた法線方向ベクトル候補ｎ１２を示した図２７では、球体の画面中央部水平領域において、ｘ成分法線画像が乱れていることがわかる（図２８（ａ）および図２９（ａ）における領域Ｇ３１）。この領域は、前述の「法線方向ベクトルｎの推定が不定となる条件」を満たす領域である。一方、撮像素子を垂直に並べた法線方向ベクトル候補ｎ１３を示した図６５では、球体の画面中央部垂直領域において、ｙ成分法線画像が乱れていることがわかる（図６６（ｂ）および図６７（ｂ）における領域Ｇ４２）。この領域も、前述の「法線方向ベクトルｎの推定が不定となる条件」を満たす領域である。一方、図６８（ｄ）より、最適法線選択部１１８は、画面中央部水平領域においては法線方向ベクトル候補ｎ１３を、画面中央部垂直領域においては法線方向ベクトル候補ｎ１２を選択しているため、「法線方向ベクトルｎの推定が不定となる条件」を回避していることがわかる。そのため、生成された法線方向ベクトルｎは、安定して推定されていることがわかる（図６８（ａ）〜（ｃ）参照）。
【０３１９】
以上のように、鏡面反射領域と拡散反射領域の領域分割を行ない、被写体の偏光情報を利用することで、被写体の偏光情報を利用して、分割された領域ごとに異なった処理を行なうことにより、広い領域についてパッシブに高精度な法線情報が推定できる。
【０３２０】
もちろん、最適法線選択部１１８は、複数の法線方向ベクトル候補から、最適なものを選択するために、偏光情報取得部１０３で取得した偏光情報を利用しても構わない。これは、例えば偏光度ρを利用するようにすればよい。これは、３つの偏光画像（第１の偏光画像、第２の偏光画像、および第３の偏光画像）から求めた偏光度ρ１、ρ２およびρ３の大きさを比較し、その上位２つに対応する画像を利用して求めた法線方向ベクトル候補を法線方向ベクトルｎとして選択すればよい。これは、偏光度が低い場合には、偏光情報の信頼性がなくなるためである。偏光度が低い場合、偏光情報として偏光位相情報φｍａｘを取得することは非常に困難である。偏光度を利用した法線方向ベクトルの選択を行なうことで、上記の状態を回避でき、問題を解決することが可能である。
【０３２１】
もちろん、最適法線選択部１１８は、複数の法線方向ベクトル候補から、最適なものを選択するために、偏光情報取得部１０３で取得した偏光推定誤差Ｅを利用しても構わない。これは、３つの偏光画像（第１の偏光画像、第２の偏光画像、および第３の偏光画像）から求めた偏光推定誤差Ｅ１、Ｅ２およびＥ３の大きさを比較し、その下位２つに対応する画像を利用して求めた法線方向ベクトル候補を法線方向ベクトルｎとして選択すればよい。これは、偏光推定誤差Ｅが大きい場合には、偏光情報の信頼性がなくなるためである。偏光推定誤差を利用した法線方向ベクトルの選択を行なうことで、信頼性高く推定された偏光位相情報のみを利用して、法線方向ベクトルを生成することが可能である。
【０３２２】
もちろん、最適法線選択部１１８は、複数の法線方向ベクトル候補から、最適なものを選択するために、偏光画像撮像部１０２で取得した偏光画像を利用しても構わない。これは、３つの偏光画像（第１の偏光画像、第２の偏光画像、および第３の偏光画像）の参照画素の輝度値の大きさを比較し、その上位２つに対応する画像を利用して求めた法線方向ベクトル候補を法線方向ベクトルｎとして選択すればよい。これは、偏光画像の輝度値が低い場合には、輝度分解能が小さくなるため、偏光情報の信頼性が低くなると考えられるためである。偏光画像を利用した法線方向ベクトルの選択を行なうことで、信頼性高く推定された偏光位相情報のみを利用して、法線方向ベクトルを生成することが可能である。
【０３２３】
もちろん、法線情報生成部１５７は、複数の法線方向ベクトル候補を生成するのではなく、最適法線選択部１１８が選択した最適な法線方向ベクトルｎのみを生成するようにしても構わない。
【０３２４】
図７１は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。なお、すべての構成要素は図５８と同一のため、図５８と同一の符号を付し、その説明を省略する。
【０３２５】
図７２は、本実施形態における最適法線選択部１１８および法線情報生成部１５７の処理の流れを示すフローチャートである。
【０３２６】
まず、最適法線選択部１１８は、入出射面Ｓ１（第１の偏光画像より取得）と入出射面Ｓ２（第２の偏光画像より取得）から、入出射面角φｓ１２を数３５によって計算し、これを法線推定信頼度Ｃｏ＿１−２とする（ステップＳ５０１）。つぎに、最適法線選択部１１８は、入出射面Ｓ１（第１の偏光画像より取得）と入出射面Ｓ３（第３の偏光画像より取得）から、入出射面角φｓ１３を数３５によって計算し、これを法線推定信頼度Ｃｏ＿１−３とする（ステップＳ５０２）。また、最適法線選択部１１８は、入出射面Ｓ２（第２の偏光画像より取得）と入出射面Ｓ３（第３の偏光画像より取得）から、入出射面角φｓ２３を数３５によって計算し、これを法線推定信頼度Ｃｏ＿２−３とする（ステップＳ５０３）。ここで、最適法線選択部１１８は、法線推定信頼度Ｃｏ＿１−２、Ｃｏ＿１−３およびＣｏ＿２−３の大きさを比較する（ステップＳ５０４）。まず、Ｃｏ＿１−２がＣｏ＿１−３以上であり、かつ、Ｃｏ＿１−２がＣｏ＿２−３以上である場合（ステップＳ５０４でＹｅｓ）、法線情報生成部１５７は、入出射面Ｓ１（第１の偏光画像より取得）と入出射面Ｓ２（第２の偏光画像より取得）から、法線方向ベクトルｎを推定し（ステップＳ５０５）、処理を終了する。また、Ｃｏ＿１−２がＣｏ＿１−３より小さい、またはＣｏ＿１−２がＣｏ＿２−３より小さかった場合（ステップＳ５０４でＮｏ）、最適法線選択部１１８は法線信頼度Ｃｏ＿１−３およびＣｏ＿２−３の大きさを比較する（ステップＳ５０６）。Ｃｏ＿１−３がＣｏ＿２−３以上であった場合（ステップＳ５０６でＹｅｓ）、法線情報生成部１５７は、入出射面Ｓ１（第１の偏光画像より取得）と入出射面Ｓ３（第３の偏光画像より取得）から、法線方向ベクトルｎを推定し（ステップＳ５０７）、処理を終了する。また、Ｃｏ＿２−３がＣｏ＿１−３より大きかった場合（ステップＳ５０６でＮｏ）、法線情報生成部１５７は、入出射面Ｓ２（第２の偏光画像より取得）と入出射面Ｓ３（第３の偏光画像より取得）から、法線方向ベクトルｎを推定し（ステップＳ５０８）、処理を終了する。
【０３２７】
以上の説明は、撮像素子２０２が３個の場合を説明したが、もちろん４個以上の撮像素子を利用しても構わない。
【０３２８】
なお、本実施の形態では、偏光情報取得部１０３を第１の偏光画像撮像部１０２と第２の偏光画像撮像部１０２−２および第３の偏光画像撮像部１０２−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０３２９】
また、本実施の形態では、領域分割部１０５を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０３３０】
また、本実施の形態では、法線１自由度推定部１０６を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０３３１】
以上のように、鏡面反射領域と拡散反射領域の領域分割を行ない、被写体の偏光情報を利用することで、被写体の偏光情報を利用して、分割された領域ごとに異なった処理を行なうことにより、広い領域についてパッシブに高精度な法線情報が推定できる。
【０３３２】
（第７の実施形態）
次に、本発明の第７の実施の形態における法線情報生成装置を説明する。
【０３３３】
図７３は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００において法線情報生成部１６７は、３つ以上の視点から求まった法線１自由度情報を利用して、法線方向ベクトルを推定する。なお、第６の実施形態における法線情報生成装置１００と同一の構成要素には、図７１と同一の符号を付し、その説明を省略する。
【０３３４】
法線情報生成部１６７は、法線１自由度推定部１０６、１０６−２および１０６−３で推定された法線１自由度を、ステレオ対応取得部１１４で取得された画像の対応関係を利用して統合することで、一つの法線方向ベクトルｎを推定する。これは、例えば、３つの入出射面Ｓ１、Ｓ２およびＳ３の法線方向と推定すべき法線方向ベクトルｎのなす角が最大（９０度）になるような法線方向ベクトルｎを生成すればよい。この処理を説明する。
【０３３５】
まず、生成すべき法線方向ベクトルをｎとし、これは第１の撮像素子２０２でのカメラ座標系Ｃ１で表現されているとする。また、第２の撮像素子２０２−２でのカメラ座標系Ｃ２における法線方向ベクトルをｎ＿Ｃ２、第３の撮像素子２０２−３でのカメラ座標系Ｃ３における法線方向ベクトルをｎ＿Ｃ３とする。このとき、各カメラ座標上での法線方向ベクトルは、次式で表される。
【数４０】
2009147814.tif 000184
【数４１】
2009147814.tif 000185
【０３３６】
ただし、Ｒｃ１−ｃ２はカメラ座標系Ｃ１からカメラ座標系Ｃ２への変換を表す回転行列、Ｒｃ１−ｃ３はカメラ座標系Ｃ１からカメラ座標系Ｃ３への変換を表す回転行列である。ここで、各撮像素子での法線１自由度をφｎ１、φｎ２およびφｎ３とすると、法線方向ベクトルｎは、以下の評価関数Ｅｖ３を最小化する法線方向ベクトルｎとして求められる。
【数４２】
2009147814.tif 000186
【０３３７】
図７４は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図７４において、図５９と共通のステップには図５９と同一の符号を付しており、その詳細な説明を省略する。
【０３３８】
法線情報生成部１５７は、入出射面Ｓ１（第１の偏光画像より取得）と入出射面Ｓ２（第２の偏光画像より取得）および入出射面Ｓ３（第３の偏光画像より取得）から、前述の数４２を最小化することで、法線方向ベクトルｎを推定し（ステップＳ４０８）、処理を終了する。
【０３３９】
もちろん、法線情報生成部１５７は、数４２を最小化することで、法線方向ベクトルｎを推定する際、前述の拘束条件をさらに評価関数Ｅｖ３に導入することで、大域的に安定した法線を求めるようにしても構わない。このような拘束条件としては、前述のように、例えば、法線方向ベクトルの連続性、鏡面反射成分と拡散反射成分の空間的な連続性、偏光情報、遮蔽エッジ近傍領域の法線方向ベクトル、法線情報および奥行情報の少なくとも１つの情報を拘束条件など利用すればよい。例えば、法線方向ベクトルの連続性と鏡面反射成分と拡散反射成分の空間的な連続性を拘束条件として利用する場合、法線方向ベクトルｎは、以下の評価関数Ｅｖ４を最小化する法線方向ベクトルｎとして求められる。
【数４３】
2009147814.tif 000187
【０３４０】
ただし、Ｃ１およびＣ２は拘束条件の重み係数である。
【０３４１】
以上の説明は、撮像素子２０２が３個の場合を説明したが、もちろん４個以上の撮像素子を利用しても構わない。
【０３４２】
また、数４２、数４３で示した評価関数を、法線方向ベクトルｎを推定するために用いるのではなく、例えば、ステレオ対応取得部１１４や領域分割部１０５が利用するようにしても構わない。領域分割部１０５が参照点を鏡面反射成分または拡散反射成分に分割する場合には、以下の処理を行なえばよい。まず、第１の法線１自由度推定部１０６、第２の法線１自由度推定部１０６−２および第３の法線１自由度推定部１０６−３は、参照点および対応点の法線１自由度候補（φ１ｎｄ、φ１ｎｓ）、（φ２ｎｄ、φ２ｎｓ）および（φ３ｎｄ、φ３ｎｓ）を求める。ここで、φ１ｎｄ、φ１ｎｓはそれぞれ、撮像素子２０２で撮像された第１の偏光画像に対して、拡散反射成分を仮定した場合の法線１自由度候補、鏡面反射成分を仮定した場合の法線１自由度候補である。上記の法線１自由度候補すべての組み合わせ（φ１ｎｄ―φ２ｎｄ―φ３ｎｄ、φ１ｎｄ―φ２ｎｄ―φ３ｎｓ、φ１ｎｄ―φ２ｎｓ―φ３ｎｄ、φ１ｎｄ―φ２ｎｓ―φ３ｎｓ、φ１ｎｓ―φ２ｎｄ―φ３ｎｄ、φ１ｎｓ―φ２ｎｄ―φ３ｎｓ、φ１ｎｓ―φ２ｎｓ―φ３ｎｄ、φ１ｎｓ―φ２ｎｓ―φ３ｎｓ）８通りにおいて、それぞれ数４２を最小にする法線方向ベクトル候補とその際の評価関数の値を計算する。領域分割部１０５、こうして求めた評価関数を最小にする組み合わせを領域分割結果として選択すればよい。もちろん、法線情報生成部１５７は、評価関数を最小とする組み合わせにおける法線方向ベクトル候補を法線方向ベクトルｎとして生成すればよい。
【０３４３】
また、例えば、ステレオ対応点取得部１１４では、複数画像間での対応点を求める際、数４２や数４３が最小となる対応点を、例えば、エピポーラ線上を探索しながら検出するようにすればよい。
【０３４４】
本実施の形態における法線情報生成装置１００が搭載されたカメラは、実施形態１にかかるカメラ２００（図６１）と同じである。よって、詳細な説明は省略する。
【０３４５】
なお、本実施の形態では、偏光情報取得部１０３を第１の偏光画像撮像部１０２と第２の偏光画像撮像部１０２−２および第３の偏光画像撮像部１０２−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０３４６】
また、本実施の形態では、領域分割部１０５を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０３４７】
また、本実施の形態では、法線１自由度推定部１０６を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
【０３４８】
以上のように、被写体の偏光情報を利用し、鏡面反射成分と拡散反射成分双方を仮定した法線１自由度候補を最適に統合することで、画素ごとに法線情報が生成されるため、広い領域についてパッシブに高精度な法線情報が推定される。
【０３４９】
なお、法線情報生成装置も画像を処理している点において画像処理装置と呼んでもよい。ただし、その画像処理装置は、図１に示す画像処理装置とは異なる機能を有するものであることに留意されたい。
【０３５０】
（第８の実施形態）
以下、本発明の第８の実施の形態による視点変換画像生成装置を説明する。
【０３５１】
上述したいずれかの実施形態にかかる法線情報生成装置によれば、被写体の法線情報を得ることができる。本実施形態による視点変換画像生成装置は、この法線情報を利用して視点変換された画像（以下「視点変換画像」という。）を生成する。ここで、「視点変換」とは、被写体を撮影した時の視点位置とは異なる視点位置から見た画像を生成する処理をいう。視点変換することにより、同じ被写体を異なる方向から見た画像を得ることができる。
【０３５２】
視点変換の実現方法としては、従来多眼カメラを用いて多視点画像を撮像し、それを補間する画像ベースの方法、および、被写体の3次元幾何モデルを取得してそれにテクスチャを貼り付けるモデルベースの方法がある。しかしながら、前者の方法は、高精細化のためには使用するカメラ数が相当数に増えてしまうこと、基本的には補間を用いるためカメラ群が存在しない任意視点からの視点変換が不可能であるという欠点がある。また、後者の方法では、被写体の高品質な3次元モデルの取得が困難という欠点がある。
【０３５３】
一方、本発明に係る法線情報生成装置は、ステレオ偏光画像を用いることにより被写体法線を画素ベースで取得できる。このように画素ベースで法線が取得できる利点は、陰影から法線を復元する、いわゆるＳｈａｐｅＦｒｏｍＳｈａｄｉｎｇの手法を除けば偏光を用いる手法は唯一の方法であるといってもよく、これを元に形状を復元することにより高精度な3次元モデルを生成し、モデルベースの視点変換を実施することが可能である。
【０３５４】
本発明によれば、ステレオ偏光撮影という2眼カメラ系のみの撮像によって、実質的には多眼カメラで撮影したのと同等の多視点画像を生成し、さらに立体視画像を生成することなどが可能となる。その結果、医療内視鏡分野やＩＴＳ分野、監視分野、さらには３Ｄムービーやｅ−ｃｏｍｍｅｒｃｅなどの分野まで応用範囲が広い技術に応用が可能となる。
【０３５５】
図７５は、本実施の形態における視点変換画像生成装置７００のブロック図を示す。視点変換画像生成装置７００は、上述の第１から第７のいずれかの実施形態による法線情報生成装置１００を含んでいる。視点変換画像生成装置７００は、被写体から法線情報を抽出し、その情報を元にして被写体形状を復元し、さらに視点を変換した画像や光源を変換した画像を合成して提示する。
【０３５６】
法線情報生成装置１００は、ステレオ偏光画像撮像部１０１、ステレオ対応取得部１０４、および、法線情報生成部１０７を備えており、被写体の法線の情報を取得する。この処理の詳細は既に説明したため省略する。なお、以下の説明では、実施形態２で説明した技術内容によってステレオ視のオクルージョンにより法線が得られない領域を含めて被写体全域の法線の情報が取得されているものとする。
【０３５７】
光源情報取得部７５０１では、撮影環境での光源情報を取得する。光源情報は最も簡単なモデルでは光源ベクトルＬ（２自由度）を仮定することができ、その取得には鏡面球を使う方法などを使うことができる。この方法は、たとえば、Mark W.Powell, Sudeep Sarker, and Dmity Goldgof:“A Simple Strategy for Calibratng the Geometry of Light Sources"、IEEE  Transactin on pattern analysis and machine intelligence,Vol.23, No.9, septermber 2001,pp.1023-1026に記載されている。
【０３５８】
光源情報変換部７５０２は、撮影時の光源ベクトルを自由に変化させ、異なる光源ベクトルを利用して、光源を変動させた画像を合成する。ただし本実施形態では光源変動は主たる機能ではなく、視点変換により光源が相対的に変化する効果を再現するために行うものである。
【０３５９】
視線情報取得部７５０３は、カメラパラメータを使ってカメラの視点ベクトルを取得する。カメラパラメータは、カメラの世界座標での位置と向きという外部パラメータ、および、焦点距離やレンズ中心、レンズ歪などの内部パラメータからなる。これらのパラメータの取得は、ステレオ偏光画像撮像部の校正時に既出のＴｓａｉの手法などを使って実現されている。よって、詳細は省略する。
【０３６０】
輝度画像変換部７５０４は、偏光画像を輝度画像に変換する。偏光画像撮像部が図８のような各画素上に設置された微小偏光板で構成されている場合、偏光軸の回転角（Ψｉ＝０°、４５°、９０°、１３５°）の４種類の偏光方向を有する画素から得られる各輝度値は偏光情報を取得するために使われるが、これらを平均した値は偏光情報無しの輝度値となる。輝度画像変換部７５０４は、この平均処理により輝度画像を生成する。
【０３６１】
形状復元部７５０５は、法線情報生成部１０７にて得られた被写体の法線情報と、ステレオ対応取得部１０４にて得られたステレオ対応からの被写体表面上にある離散的な特徴点の３次元座標とを用いて被写体形状を復元する。
【０３６２】
法線情報生成装置１００が出力するのは、法線画像である。これは、（ｘ，ｙ）の２次元平面に３成分を有するベクトルである法線が分布する画像であり、確かに被写体の３Ｄ形状の一部を表現しているため、光源が変化した場合の画像生成には十分である。しかし視点変換を行う場合には被写体形状自身が変化し３Ｄ形状が変わるため、法線画像から形状復元を行う必要がある。以下、暗室内で撮影された地球儀の形状を復元する例を挙げて具体的に説明する。
【０３６３】
図７６は、形状復元部７５０５の処理を示すフローチャートである。
【０３６４】
ステップＳ７６０１では、形状復元部７５０５は、被写体マスク画像を作成する。これは被写体である地球儀の遮蔽エッジを確定し背景との分離を行うものである。任意のシーンにおいて背景と被写体の分離を行うことは困難である。しかしながら、適当なしきい値を設定して画像の輝度で２値化することにより被写体が分離できる。本実施形態では、このようにして得られた画像を被写体マスク画像として採用する。
【０３６５】
ステップＳ７６０２では、形状復元部７５０５は、遮蔽エッジから順次勾配を積分して初期表面を生成する。以降、法線の表現には２自由度の勾配（ｐ，ｑ）空間を用いる。
【０３６６】
図７７は、勾配が法線ベクトルＮから平行投影を仮定して得られる様子を示している。カメラ座標系をｘｙｚとすると、ｘｙ座標系が画面内に存在するとき、視点はＺ方向負向きに位置する。そこで、Ｎが接ベクトルｒｘ、ｒｙの外積の符号を変えたもので視点に向いているとすれば以下のような関係式として法線から勾配が得られる。
【数４４】
2009147814.tif 000188
【０３６７】
図７８を用いて、勾配（ｐ，ｑ）の具体的な積分を説明する。被写体内部はマスク画像で表現されるが、これを遮蔽エッジからの距離変換によって遮蔽エッジから次第に中心部へ向かって数値が大きくなるように順序付けしておく。初期設定としてＺをゼロクリアした後、積分該当画素について、距離が多くなる方向を求める（図７８（Ａ））。そして、その方向が周囲の斜め方向の場合（図７８（Ｂ））と周囲の上下左右の方向の場合（図７８（Ｂ））によって場合分けし、各々の場合に即して勾配（ｐ，ｑ）の順次演算を行う。この結果、地球儀の周囲から順次内側に向かって形状が復元される。この形状は撮像面上の画素座標系である奥行き画像Ｚ（ｙ，ｘ）で表される。
【０３６８】
図７９は、法線画像（Ｎｘ，Ｎｙ，Ｎｚ）、およびマスク画像を入力して上記積分の結果、奥行き画像として表面が生成される過程を示す図である。このようにして初期表面が生成される。
【０３６９】
ステップＳ７６０３では初期表面で求められる表面の形状精度は球の形状から程遠いため、再度勾配（ｐ、ｑ）を有する表面として形状を更新する。この方法では以下の積分を大域的に評価して最小化するZを求める。
【数４５】
2009147814.tif 000189
この変分問題はＬａｎｇｒａｎｇｅ−Ｅｕｌｅｒ方程式に帰着する（Ｐｏｉｓｓｏｎ方程式）。
【数４６】
2009147814.tif 000190
【０３７０】
この式を離散化し、以下の逐次的な処理で最適解を求める。繰り返し処理は１３０Ｘ１３０画素の法線画像について１０００回程度実施する。
【数４７】
2009147814.tif 000191
【０３７１】
ステップＳ７６０４（図７６）では、形状復元部７５０５は、ステレオ対応点を制御点として導入する。本発明によれば偏光からの法線情報に加えて、２眼、または３眼ステレオ視によって求められた特徴点(以降「制御点」)の３次元位置情報を用いて被写体表面の形状を制御することができる。
【０３７２】
図８０は、この様子を示しており、最もZ値が小さい（カメラに近い）制御点を基準点と考え、その画素座標点を対応する奥行き画像に対応させる変換を行うことにより、全制御点を一様に透視投影で上記の焦点面上の奥行き画像に埋め込む。
【０３７３】
ステップＳ７６０５では、制御点拘束付きの最適化を行う。ここまでの処理で滑らかだが歪んだ表面上に制御点が不連続に埋め込まれている状態となっているため再度、勾配の拘束を使って逐次的に表面を更新する。このような制御点拘束付きの最適化処理としては、Ｗｅｉｇｈｔｅｄ  Ｌｅａｓｔ  Ｓｑｕａｒｅｓ  （ＷＬＳ）という方法を用いる。この方法は、論文：Itsik Horovitz and Nahum Kiryati Tel Aviv University：“Depth from Gradient Fields and Control Points:Bias Correction in Photometric Stereo",Image and Vision Computing Vol.22,pp.681-694,2004に記載されている。
【０３７４】
この方法では、対象画素から最も近い制御点からの影響を距離の逆数の重み関数として設定し、距離が近い場合には重みを大きく、距離が遠い場合には重みを小さくする。
【０３７５】
具体的には
【数４８】
2009147814.tif 000192
を最小化する。これをＺｉｊで微分してゼロとおく最小２乗法を用いると
【数４９】
2009147814.tif 000193
となる。したがって、以下の式を繰り返し法で解くこととなる。
【数５０】
2009147814.tif 000194
重み関数の関数形は任意であるが、今回は、
【数５１】
2009147814.tif 000195
を用いる。ここでRは対象画素から最も近い制御点までの画像上の距離である。
【０３７６】
制御点の拘束条件を具体的に実現するため繰り返し毎に、制御点を再度設定しなおしている。これをしないと繰り返しの後で得られる表面はほとんど制御点を反映しないものになってしまう。
【０３７７】
ステップＳ７６０６（図７６）では、形状復元部７５０５は、「滑らかさ」優先形状復元を行う。この理由は以下のとおりである。ステップＳ７６０５までの処理により、形状が復元される。よって、拡散反射成分の視点変換は一応実現できている。しかしながら、表面を詳しく検討すると
・全体的に凹凸が激しい
・特に地球儀中央部の鏡面反射の偏光状態を拡散反射の偏光とみなしている部分の再現が特によくない。
という課題がある。拡散反射成分再現には、このような形状誤差は遮蔽エッジ部分を除きそれほど影響はない。しかし、鏡面反射のモデル化をする場合は極めて高精度で滑らかな曲面が必要であることが分かっているため、この形状誤差は問題となる。これに対し滑らかさ優先で復元した形状を微分し滑らかな法線を得る手法をとり、勾配空間（ｐ，ｑ）を用いた形状復元において、法線の影響を受ける項の重みを係数Wを使って制御することとした。具体的にはＷ＝０．５で生成した表面を用いて、鏡面反射再現には、こちらの形状を用いている。
【数５２】
2009147814.tif 000196
【０３７８】
ステップＳ７６０７では、形状復元部７５０５は、復元された奥行き画像からカメラ座標系の３次元空間内で表現された表面形状に変換する。
【０３７９】
図８１は、上述の各処理によって形状が順次再現されていく様子を示す。この例は、地球儀の奥行き画像の複数の水平方向のプロファイルを示している。
【０３８０】
図８１の（１）は法線を周囲から積分することで初期表面を作成した結果である。この結果にはかなりノイズが含まれている。図８１の（２）は勾配空間を用いて形状を最適化した結果である。この結果でも、曲線がまだ交差しているなど歪みが存在する。図８１の（３）ではステレオ制御点を導入して表面に拘束条件を課している。図８１の（４）では（３）で導入されたステレオ制御点を通り、かつ法線からの勾配空間の条件を両立する表面を最適化して表面形状を生成している。やや歪みはあるものの正しい３次元位置に局面が生成されていることが理解される。図８１の（５）は滑らかさ優先の条件で生成された表面を示し正確な形状からのずれはある。しかしながら、滑らかさは増加していることがわかる。
【０３８１】
ＤＳ分離部７５０６（図７５）では、表面輝度を拡散反射成分と鏡面反分に分離する。これは異なる視点から被写体を観察すると、表面の反射輝度のうち、拡散反射成分（ランバート反射）は不変だが、鏡面反射成分は視点に従って移動したり輝度が大きく変化する現象を再現するためである。本発明では、ステレオ視の２視点を使う方法を採用した。この原理は図８２に示すとおりであり以下のようになる。
（１）Ｃａｍ１とＣａｍ２という２視点位置から被写体を見た画像８２０１，８２０２を取得する。
（２）Ｃａｍ２画像を視点変換して画像８２０３を生成する。画像８２０３は、Ｃａｍ１の視点位置からみたＣａｍ２の画像である（図８２では、「Ｃａｍ２画像＠Ｃａｍ１視点」と記載している。
（３）８２０１と８２０３の同じ撮像画素座標どうしを比較して、輝度が小さいほうを拡散反射成分として拡散反射成分画像８２０４を生成する。
【０３８２】
視点変換部７５０６では、カメラパラメータを用いてＣａｍ１またはＣａｍ２の拡散反射画像の成分のみを自在視点変換する。この処理は３Ｄ形状データ構造を前提としている。以下ではまず３Ｄ形状データ構造を説明する。
【０３８３】
図８３は、形状復元部７５０５にて復元された被写体３Ｄ形状データ構造を示す。形状復元部７５０５は、３Ｄ形状データ構造を、画素ベースの３Ｄ位置座標（カメラ座標系）のデータ形式に作り変えて記憶する。具体的にはカメラ１において撮像座標系（Ｘ，Ｙ）の２Ｄ画素座標系に対して３Ｄ位置座標（Ｘｃ１，Ｙｃ１，Ｚｃ１）がテキスト形式にて格納される。この構造はカメラ視点から見える部分のみしかモデル化できない。しかしながら、最もシンプルな形での視点変換を実現できる。
【０３８４】
被写体以外の背景部分には３Ｄ位置座標（−１，−１，−１）が埋め込まれる。
【０３８５】
図８４は、この３Ｄ形状データ構造とカメラパラメータを用いて、視点変換を行う処理を説明するフローチャートである。なお、このフローチャートでは、視点変換を行う対象であるＣａｍ１画像が、拡散反射画像の場合と法線画像の場合の両方の説明をしていることに注意されたい。これは、図７５における視点変換部７５０７に、拡散反射画像と法線画像の２種の画像が入力されている構成に示されている。
【０３８６】
まず、ステップＳ８４０１では、視点変換部７５０７は、Ｃａｍ１画像とＣａｍ１座標系での３Ｄ形状データを取得する。
【０３８７】
ステップＳ８４０２では、視点変換部７５０７は、上記の３Ｄ形状データに格納されている３Ｄ位置座標をＣａｍ１座標系から世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）に変換する。この変換はカメラパラメータを用いることで可能となる。
【０３８８】
ステップＳ８４０３では、視点変換部７５０７は、求めるべき新視点の画像上の画素位置（Ｉｎｅｗ，Ｊｎｅｗ）を取得して実際の処理を開始する。
【０３８９】
ステップＳ８４０４では、視点変換部７５０７は、同じくカメラパラメータを用いて画素位置（Ｉｎｅｗ，Ｊｎｅｗ）に相当するカメラの視線と世界座標系の３Ｄ形状データとの最も近い点（Ｘ’ｗ，Ｙ’ｗ，Ｚ’ｗ）を探索処理する。
【０３９０】
ステップＳ８４０５では、視点変換部７５０７は、求めた世界座標系に対応する元のＣａｍ１画像の画素値を求める。ステップＳ８４０６では、視点変換部７５０７は、Ｃａｍ１画像が拡散反射画像であるか法線画像であるかを判定する。画像が拡散反射画像であると判定されたときは、処理はステップＳ８４０７に進む。画像が法線画像であると判定されたときは処理はステップＳ８４０８に進む。
【０３９１】
ステップＳ８４０７では、視点変換部７５０７は、Ｃａｍ１画素値である（ＲＧＢ）値をそのまま新視点の画像の画素位置（Ｉｎｅｗ，Ｊｎｅｗ）に格納する。これは拡散反射画像では、視点変換ではその輝度値が不変であるという性質によるものであり、ここでカラー画像でない場合にはモノクロ画素値を格納することになる。その後、処理はステップＳ８４０９に進む。
【０３９２】
ステップＳ８４０８では、視点変換部７５０７は、カメラパラメータを用いて法線ベクトル成分を新視点へ座標系変換して同様に画素位置（Ｉｎｅｗ，Ｊｎｅｗ）に格納して新視点での法線画像を生成する。その後、処理はステップＳ８４０９に進む。
【０３９３】
ステップＳ８４０９では、すべての画素が生成されたかどうかを調べる。すべての画素が生成されていない場合には、ステップＳ８４０３に戻って処理を繰り返す。
【０３９４】
図８５は、図８４のフローチャートにしたがって行われた処理の結果を示す。この図では、Ｃａｍ１画像からＣａｍＮの新視点画像が生成される処理の様子が対応付けて示されている。対応関係８５０１は、Ｃａｍ１画像の座標（Ｉ１，Ｊ１）と新視点画像であるＣａｍＮ画像の座標(Ｉｎｅｗ，Ｊｎｅｗ)との画像面上での関係を説明している。対応関係８５０２は、Ｃａｍ１画像が拡散反射画像の場合において、上記の２つの画素位置において（ＲＧＢ）のカラー画素値がそのまま格納されることを示している。対応関係８５０３は、Ｃａｍ１画像が法線画像の場合において、２つの画素位置でその画素値である法線ベクトルの成分（Ｎ１ｘ、Ｎ１ｙ，Ｎ１ｚ）が座標変換されて（Ｎｎｅｗｘ，Ｎｎｅｗｙ，Ｎｎｅｗｚ）となって格納されることを示している。
【０３９５】
鏡面反射画像生成部７５０８（図７５）では、拡散反射画像の視点変換画像同様に視点変換された鏡面反射画像を物理的に生成して合成する。ここまでの処理によると、既に被写体から実際の鏡面反射成分を除去した拡散反射画像に対して視点変換が実施できている。本処理は、ここに光源、視点、被写体法線の幾何的関係と表面反射特性を用いる物理反射モデルを使って鏡面反射を再現することを目的として行われる。この処理は、本手法のようなモデルベースの視点変換独自機能といえる。
【０３９６】
鏡面反射に視点変換を実施するためには、まず新視点のカメラ座標系において法線画像と光源ベクトルを得る必要がある。法線画像についてはすでに視点変換部７５０７において処理が行われている。よって、鏡面反射画像生成部７５０８は、あとは光源ベクトルをカメラパラメータを用いて座標変換すればよい。
【０３９７】
次に、鏡面反射画像生成部７５０８は、物理反射モデルを利用して法線ベクトル、視線ベクトル、光源ベクトルと表面反射特性から反射輝度値を求めていく。
【０３９８】
利用したモデルは以下の式で表現されるクック−トランスモデルである。これは法線ベクトルＮ、視点ベクトルＶ、ハーフベクトルと法線のなす角αを用いると以下のように分布関数Ｄがベックマン関数で表現される。このモデルにはトランス−スパローモデルなど別の鏡面反射モデルを使ってもかまわない。
【数５３】
2009147814.tif 000197
【０３９９】
図８６は、この幾何学的関係を示す。図８６は、光源ベクトルＬと視線ベクトルＶとの２等分ベクトルであるＨと、法線ベクトルＮとの間の角度αを説明している。このα＝０となる角度にて式５３のＤが最大値をとり、輝度が最大となる。表面の反射特性を表現するのは、粗さ係数ｍと輝度重み係数Ｋであるが、これらは実際に撮影する場合に被写体から取得してもよいし、以前の実験で同じ被写体（地球儀）について最適化されたパラメータを使ってもよい。ここでは以前の実験で同じ被写体について求めておいた値（ｍ＝０．０８３，  ｋ＝６４１５．７９５）を用いる。なお、このパラメータは、反射パラメータデータベース７５０９に格納されているものとする。
【０４００】
最後に、ＤＳ合成部７５１０は、以上の処理で生成された視点変換された拡散反射画像と、おなじく視点変換された鏡面反射画像とを加算して視点変換画像を完成する。
【０４０１】
２Ｄ／３Ｄ提示部７５１１は、たとえば、生成された自在視点変換画像を表示するディスプレイである。ディスプレイは、２Ｄ（平面）ディスプレイであってもよいし、３Ｄ（立体）ディスプレイの場合がある。
【０４０２】
２Ｄディスプレイの場合には、ユーザがジョイステックや視点入力装置などの既知のインタフェースにて視点位置を指示すると、２Ｄ／３Ｄ提示部７５１１は、その視点位置に即した２Ｄ画像を表示を行う。
【０４０３】
３Ｄ（立体）ディスプレイは、眼鏡有り立体視の固定視点ディスプレイおよび裸眼の多視点立体ディスプレイの両方を含んでいる。前者の場合には、２Ｄディスプレイの場合と同じインタフェースにて自在に視点が変わった立体画像を観察できる。後者の場合には、観察者は自在に視点を動かして立体像を観察できる。そこで、観察者がある視点で見た場合、その左右眼の２枚の視点画像を合成してその方向に提示することにより自在視点での立体視が可能になる。
【０４０４】
図８７は、視点変換画像の表示例を示す。画像８７０１、８７０２はそれぞれ、偏光撮像された左右の入力画像を示す。画像８７０３、８７０４、８７０５は、左の入力画像８７０１を用いて任意視点へ合成された画像を示しており、それぞれ、入力画像の中間視点画像、左４５度への視点移動画像、右４５度への視点移動画像を示す。観察者の視点移動に伴って鏡面反射部分の位置が変わって再現されており、リアリティが向上する利点が得られていることがわかる。
【０４０５】
図８８は、２Ｄディスプレイの場合の実カメラ視点と合成された仮想的な視点の幾何学的関係を示す。実カメラの配置で撮影された左画像と右画像の入力画像に対して、その左画像から、３点の仮想視点８８０１、８８０２、８８０３での画像が生成されており、それらが図８７の画像に対応している。
【０４０６】
図８９は、同じ視点変換が３Ｄディスプレイで提示される場合の視点の幾何学的関係を示す。各仮想視点８８０１、８８０２、８８０３にて観察者の左眼と右眼に相当する２種類の仮想視点画像の対がさらに生成される。これらの画像は、既存の多視点３Ｄ（立体）ディスプレイに表示することができる。これによって観察者は自在に視線を動かしながら、多視点から被写体の立体像を観察できる。
【産業上の利用可能性】
【０４０７】
本発明に係る法線情報生成装置は、被写体を撮像することによって被写体の表面における法線情報を生成する法線情報生成装置として、例えば、被写体の３次元形状情報を生成する装置や、その情報を利用して画像を高精細化する装置として、具体的には、デジタルスチルカメラ、デジタルムービーカメラ、監視カメラ などに有用である。特に、光学系や撮像素子の小型化によって画像の解像度が問題となるカメラ付き携帯電話、デジタルカメラ、デジタルムービーカメラなどの携帯型撮像装置が普及してきた今日における実用的意義は極めて高い。
【０４０８】
また、本発明に係わる視点変換画像生成装置は、上記の法線情報生成装置の出力である法線画像を用いて被写体の形状を復元し、任意視点からの合成画像を生成することができるため、医療内視鏡分野やＩＴＳ分野、監視分野、さらには３Ｄムービーやｅ−ｃｏｍｍｅｒｃｅなどの分野まで応用範囲が広い技術に応用が可能である。
【符号の説明】
【０４０９】
１０１  ステレオ偏光画像撮像部
１０２  偏光画像撮像部
１０３  偏光情報取得部
１０４  ステレオ対応取得部
１０５  領域分割部
１０６  法線１自由度推定部
１０７  法線情報生成部
１０８  最適法線選択部
１０９  信頼性推定部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体を撮像することによって前記被写体の表面における法線情報をパッシブに生成する画像処理装置であって、
各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、
視点位置の異なる前記複数の偏光画像に基づいて、被写体の法線方向ベクトルを推定する法線情報生成部と
を有し、
前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光光の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、
視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、
前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、
前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、前記領域分割部で分割された各領域に対応する、被写体の表面での法線１自由度をそれぞれ推定する法線１自由度推定部と
をさらに備え、前記法線情報生成部は、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、法線方向ベクトルを推定する、画像処理装置。
【請求項２】
前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、
視点位置の異なる前記複数の偏光画像のいずれかに含まれる特徴点を特定し、前記特徴点に基づいて他の前記複数の偏光画像を探索することにより、前記複数の偏光画像の各々の間で対応付けられた特徴点を特定し、各特徴点に基づいて、前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、
前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、
前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、前記領域分割部で分割された各領域に対応する、被写体の表面での法線１自由度をそれぞれ推定する法線１自由度推定部と
をさらに備え、前記法線情報生成部は、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、法線方向ベクトルを推定する、請求項１に記載の画像処理装置。
【請求項３】
前記偏光情報取得部は、偏光情報として、偏光度、偏光位相、偏光推定誤差、偏光最大輝度値、偏光最小輝度値の少なくとも１つを生成する、請求項２に記載の画像処理装置。
【請求項４】
前記領域分割部は、前記被写体の表面を、拡散反射領域および鏡面反射領域のいずれかに分割する、請求項３に記載の画像処理装置。
【請求項５】
前記領域分割部は、前記被写体の表面を、拡散反射領域、鏡面反射領域および陰影領域のいずれかに分割する、請求項３に記載の画像処理装置。
【請求項６】
前記領域分割部は、前記被写体の表面を、拡散反射領域、鏡面反射領域、アタッチト・シャドウ領域およびキャスト・シャドウ領域のいずれかに分割する、請求項３に記載の画像処理装置。
【請求項７】
前記領域分割部は、前記被写体の表面を、拡散反射領域、鏡面反射領域、ステレオ未対応領域およびオクルージョン領域のいずれかに分割する、請求項３に記載の画像処理装置。
【請求項８】
前記法線１自由度推定部は、前記拡散反射領域については、前記対応関係において輝度が最大となる偏光主軸角度を、当該領域に対応する前記被写体の出射面の法線情報として生成する、請求項４から７のいずれかに記載の画像処理装置。
【請求項９】
前記法線１自由度推定部は、前記ステレオ未対応領域およびオクルージョン領域については、法線方向ベクトルが光軸に直交する平面上に存在することに基づいて、法線方向ベクトルを生成する、請求項７に記載の画像処理装置。
【請求項１０】
前記法線１自由度推定部は、前記鏡面反射領域およびアタッチト・シャドウ領域については、前記対応関係において輝度が最小となる偏光主軸角度を、当該領域に対応する前記被写体の入射面の法線情報として生成する、請求項４から７のいずれかに記載の画像処理装置。
【請求項１１】
前記法線情報生成部は、視点位置の異なる複数の偏光画像において、前記法線１自由度推定部が推定した入射面または出射面の交線を求めることによって、法線方向ベクトルを生成する、請求項８または請求項１０に記載の画像処理装置。
【請求項１２】
前記法線情報生成部は、生成された法線方向ベクトルと視線方向の相対関係を評価することによって、生成された法線方向ベクトルの不定性を除去する、請求項１１に記載の画像処理装置。
【請求項１３】
前記ステレオ対応取得部は、前記偏光情報取得部が取得した偏光最小輝度値を利用してステレオ画像の対応を取得する、請求項３に記載の画像処理装置。
【請求項１４】
前記法線情報生成部は、オクルージョン領域については、法線方向ベクトルは視線ベクトルと直交することを利用し、前記法線１自由度推定部で推定した入射面または出射面上において、視線ベクトルと直交するベクトルを法線方向ベクトルとして生成する、請求項７に記載の画像処理装置。
【請求項１５】
被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置であって、
各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、
前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、
視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、
前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、鏡面反射成分を仮定した処理と拡散反射成分を仮定した処理とを切り替えることにより、対応する被写体の表面での複数の法線１自由度候補を推定する法線１自由度推定部と、
前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、複数の法線方向ベクトル候補を生成する法線情報生成部と、
前記法線情報生成部によって生成された複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択する最適法線選択部と
を備えた、画像処理装置。
【請求項１６】
前記法線情報生成部は、法線方向ベクトルの連続性、鏡面反射成分と拡散反射成分の空間的な連続性、偏光情報、遮蔽エッジ近傍領域の法線方向ベクトル、法線情報および奥行情報の少なくとも１つに基づいて、最適な法線方向ベクトルを選択する、請求項１５に記載の画像処理装置。
【請求項１７】
前記法線情報生成部が生成した前記法線方向ベクトルの信頼性を推定し、前記信頼性の低さに応じて前記法線方向ベクトルを廃棄する信頼性推定部をさらに備えた、請求項２に記載の画像処理装置。
【請求項１８】
前記法線情報生成部は、信頼性の低さに応じて、前記法線方向ベクトルを、奥行情報に基づいて求めた法線方向ベクトルに置き換える、請求項１７に記載の画像処理装置。
【請求項１９】
前記法線情報生成部は、信頼性の低さに応じて、前記法線方向ベクトルを、近傍の法線方向ベクトルから補間処理を行なうことによって求めた法線方向ベクトルに置き換える、請求項１７に記載の画像処理装置。
【請求項２０】
前記信頼性推定部は、前記偏光情報取得部が取得した偏光情報、前記領域分割部の領域分割結果、前記法線１自由度推定部が推定した法線１自由度情報、および、前記法線情報生成部が生成した法線方向ベクトルの少なくとも１つに基づいて、法線方向ベクトルの信頼性を推定する、請求項１７に記載の画像処理装置。
【請求項２１】
前記信頼性推定部は、視点位置の異なる複数の偏光画像において、前記法線１自由度推定部が推定した法線１自由度情報である入射面または出射面のなす角度の大きさに応じて、推定する法線方向ベクトルの信頼性の大きさを変える、請求項２０に記載の画像処理装置。
【請求項２２】
前記領域分割部は、前記被写体の表面を陰影領域として領域分割を行ない、
前記信頼性推定部は、前記領域分割部が陰影領域として領域分割した領域における法線方向ベクトルの信頼性を相対的により低く推定する、請求項２０に記載の画像処理装置。
【請求項２３】
前記領域分割部は、前記被写体の表面をキャスト・シャドウ領域として領域分割を行ない、
前記信頼性推定部は、前記領域分割部がキャスト・シャドウ領域として領域分割した領域における法線方向ベクトルの信頼性を相対的により低く推定する、請求項２０に記載の画像処理装置。
【請求項２４】
前記信頼性推定部は、前記偏光情報取得部が取得した偏光情報、および、前記領域分割部の領域分割結果から法線情報を計算し、計算された法線情報と前記法線情報生成部が生成した法線方向ベクトルとを比較し、その差に応じて、法線方向ベクトルの信頼性を変える、請求項２０に記載の画像処理装置。
【請求項２５】
被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置であって、
各視点位置において偏光方向が異なる複数の偏光光を受け、被写体の視点位置の異なる３つ以上の複数の偏光画像を取得するステレオ偏光画像撮像部と、
前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、
視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、
前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、
前記偏光情報に基づいて、前記領域分割部によって分割された領域ごとに処理を切り替えることにより、対応する被写体の表面での法線１自由度を推定する法線１自由度推定部と、
前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、複数の法線方向ベクトルを推定する法線情報生成部と、
前記法線情報生成部によって生成された前記複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択する最適法線選択部
を備えた、画像処理装置。
【請求項２６】
前記法線情報生成部は、視点位置の異なる前記３つ以上の複数の偏光画像から、２つの偏光画像ごとに複数の法線方向ベクトル候補を生成する、請求項２５に記載の画像処理装置。
【請求項２７】
前記最適法線選択部は、前記ステレオ偏光画像撮像部が撮像した偏光画像、前記偏光情報取得部が取得した偏光情報、前記領域分割部の領域分割結果、前記法線１自由度推定部が推定した法線１自由度情報、および、前記法線情報生成部が生成した法線方向ベクトルの少なくとも１つに基づいて、前記複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択する、請求項２６に記載の画像処理装置。
【請求項２８】
前記最適法線選択部は、視点位置の異なる前記３つ以上の複数の偏光画像において、前記法線１自由度推定部が推定した法線１自由度情報である入射面または出射面のなす角度が最も大きい法線方向ベクトル候補を、最適な法線方向ベクトルとして推定する、請求項２７に記載の画像処理装置。
【請求項２９】
前記最適法線選択部は、前記信頼性推定部が推定した偏光度情報および前記領域分割部の領域分割結果に基づいて法線情報を計算し、計算された法線情報と前記法線情報生成部が生成した法線方向ベクトルとを比較し、その差が最小となる法線方向ベクトル候補を最適な法線方向ベクトルとして推定する、請求項２７に記載の画像処理装置。
【請求項３０】
被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置であって、
各視点位置において偏光方向が異なる複数の偏光光を受け、被写体の視点位置の異なる３つ以上の複数の偏光画像を取得するステレオ偏光画像撮像部と、
前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、
視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、
前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、
前記偏光情報に基づいて、前記領域分割部によって分割された領域ごとに処理を切り替えることにより、対応する被写体の表面での法線１自由度を推定する法線１自由度推定部と、
前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、複数の法線方向ベクトルを推定する法線情報生成部と、
を備えた、画像処理装置。
【請求項３１】
前記法線情報生成部は、前記法線１自由度推定部で推定した複数の入射面または出射面とのなす角が最大となる方向ベクトルを法線情報ベクトルとして生成する、請求項３０に記載の画像処理装置。
【請求項３２】
前記法線情報生成部は、法線方向ベクトルの連続性、鏡面反射成分と拡散反射成分の空間的な連続性、偏光情報、遮蔽エッジ近傍領域の法線方向ベクトル、法線情報および奥行情報の少なくとも１つの情報を拘束条件として利用することにより、法線方向ベクトルを選択する、請求項３１に記載の画像処理装置。
【請求項３３】
前記ステレオ偏光画像撮像部は、偏光主軸角度が異なる複数の偏光子を透過した前記被写体からの光を、前記各視点位置において偏光方向が異なる複数の偏光光として受ける、請求項１に記載の画像処理装置。
【請求項３４】
前記ステレオ偏光画像撮像部は、回転によって偏光主軸角度が可変である偏光子を回転させることにより、前記偏光子を透過した前記被写体からの光を、前記各視点位置において偏光方向が異なる複数の偏光光として受ける、請求項１に記載の画像処理装置。
【請求項３５】
被写体を撮像することによって前記被写体の表面における法線情報を生成する法線情報生成方法であって、
各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステップと、
前記複数の偏光光に関する偏光情報を生成するステップであって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成するステップと、
視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステップと、
前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、鏡面反射成分を仮定した処理と拡散反射成分を仮定した処理とを切り替えることにより、対応する被写体の表面での複数の法線１自由度候補を推定するステップと、
前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割するステップと、
前記偏光情報に基づいて、前記領域分割部によって分割された領域ごとに処理を切り替えることにより、対応する被写体の表面での法線１自由度を推定するステップと、
推定された前記法線１自由度、および、前記複数の偏光画像の画素ごとの対応関係に基づいて、複数の法線方向ベクトルを推定するステップと、
生成された前記複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択するステップと
を包含する、情報処理方法。
【請求項３６】
被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置のためのコンピュータプログラムであって、請求項３５に記載の方法に包含される各ステップを前記画像処理装置のコンピュータに実行させる、コンピュータプログラム。
【請求項３７】
複数の異なる視点位置で被写体を撮像することによって前記被写体の撮影時とは異なる任意視点位置からみた画像を合成する視点変換画像生成装置であって、
複数の異なる視点位置の各々において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、
視点位置の異なる前記複数の偏光画像に基づいて、被写体の法線方向ベクトルを法線情報として推定する法線情報生成部と、
前記法線情報から前記被写体の３次元形状を復元する形状復元部と、
前記３次元形状に基づいて、撮影された前記被写体の画像の視点位置を変換する視点変換部と
を備え、
所定の反射モデルによって、視点変換された画像から鏡面反射画像を生成する鏡面反射画像生成部と、
複数の画像を合成して１枚の画像を生成する合成部と、
画像を提示する提示部と
をさらに備え、
前記視点変換部は、前記被写体の画像から拡散反射成分と鏡面反射成分とを分離して得られる拡散反射画像および前記法線情報生成部から得られる法線画像の両方を視点変換し、
前記鏡面反射画像生成部は、視点変換された前記法線画像から鏡面反射画像を生成し、
前記合成部は、視点変換された前記拡散反射画像および生成された前記鏡面反射画像を合成し、
前記提示部は、合成された画像を提示する、視点変換画像生成装置。
【請求項３８】
視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部をさらに備え、
前記形状復元部は、前記法線情報生成部から得られる法線画像および前記ステレオ対応取得部から得られる前記複数の偏光画像間で対応する画素の特徴点に対応する３次元位置を用いて、前記被写体の３次元形状を復元する、請求項３７に記載の視点変換画像生成装置。
【請求項３９】
視点変換された２次元画像を、観察者の視点位置に応じて逐次２次元画面に表示する提示部を有する、請求項３７に記載の視点変換画像生成装置。
【請求項４０】
観察者の視点位置における２種類の視差画像を生成することにより、多視点で立体表示を行う提示部を有する、請求項３７に記載の視点変換画像生成装置。
【請求項４１】
被写体を撮像することによって前記被写体の形状を復元する画像生成装置であって、
各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、
視点位置の異なる前記複数の偏光画像に基づいて、被写体の法線方向ベクトルを法線情報として推定する法線情報生成部と、
前記法線情報から前記被写体の３次元形状を復元する形状復元部と
を備え、
前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光光の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、
視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、
前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、
前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、前記領域分割部で分割された各領域に対応する、被写体の表面での法線１自由度をそれぞれ推定する法線１自由度推定部と
をさらに備え、前記法線情報生成部は、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、法線方向ベクトルを推定する、画像生成装置。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009147814.tif 000198
【図２】
2009147814.tif 000199
【図３】
2009147814.tif 000200
【図４】
2009147814.tif 000201
【図５】
2009147814.tif 000202
【図６】
2009147814.tif 000203
【図７】
2009147814.tif 000204
【図８】
2009147814.tif 000205
【図９】
2009147814.tif 000206
【図１０】
2009147814.tif 000207
【図１１】
2009147814.tif 000208
【図１２】
2009147814.tif 000209
【図１３】
2009147814.tif 000210
【図１４】
2009147814.tif 000211
【図１５】
2009147814.tif 000212
【図１６】
2009147814.tif 000213
【図１７】
2009147814.tif 000214
【図１８】
2009147814.tif 000215
【図１９】
2009147814.tif 000216
【図２０】
2009147814.tif 000217
【図２１】
2009147814.tif 000218
【図２２】
2009147814.tif 000219
【図２３】
2009147814.tif 000220
【図２４】
2009147814.tif 000221
【図２５】
2009147814.tif 000222
【図２６】
2009147814.tif 000223
【図２７】
2009147814.tif 000224
【図２８】
2009147814.tif 000225
【図２９】
2009147814.tif 000226
【図３０】
2009147814.tif 000227
【図３１】
2009147814.tif 000228
【図３２】
2009147814.tif 000229
【図３３】
2009147814.tif 000230
【図３４】
2009147814.tif 000231
【図３５】
2009147814.tif 000232
【図３６】
2009147814.tif 000233
【図３７】
2009147814.tif 000234
【図３８】
2009147814.tif 000235
【図３９】
2009147814.tif 000236
【図４０】
2009147814.tif 000237
【図４１】
2009147814.tif 000238
【図４２】
2009147814.tif 000239
【図４３】
2009147814.tif 000240
【図４４】
2009147814.tif 000241
【図４５】
2009147814.tif 000242
【図４６】
2009147814.tif 000243
【図４７】
2009147814.tif 000244
【図４８】
2009147814.tif 000245
【図４９】
2009147814.tif 000246
【図５０】
2009147814.tif 000247
【図５１】
2009147814.tif 000248
【図５２】
2009147814.tif 000249
【図５３】
2009147814.tif 000250
【図５４】
2009147814.tif 000251
【図５５】
2009147814.tif 000252
【図５６】
2009147814.tif 000253
【図５７】
2009147814.tif 000254
【図５８】
2009147814.tif 000255
【図５９】
2009147814.tif 000256
【図６０】
2009147814.tif 000257
【図６１】
2009147814.tif 000258
【図６２】
2009147814.tif 000259
【図６３】
2009147814.tif 000260
【図６４】
2009147814.tif 000261
【図６５】
2009147814.tif 000262
【図６６】
2009147814.tif 000263
【図６７】
2009147814.tif 000264
【図６８】
2009147814.tif 000265
【図６９】
2009147814.tif 000266
【図７０】
2009147814.tif 000267
【図７１】
2009147814.tif 000268
【図７２】
2009147814.tif 000269
【図７３】
2009147814.tif 000270
【図７４】
2009147814.tif 000271
【図７５】
2009147814.tif 000272
【図７６】
2009147814.tif 000273
【図７７】
2009147814.tif 000274
【図７８】
2009147814.tif 000275
【図７９】
2009147814.tif 000276
【図８０】
2009147814.tif 000277
【図８１】
2009147814.tif 000278
【図８２】
2009147814.tif 000279
【図８３】
2009147814.tif 000280
【図８４】
2009147814.tif 000281
【図８５】
2009147814.tif 000282
【図８６】
2009147814.tif 000283
【図８７】
2009147814.tif 000284
【図８８】
2009147814.tif 000285
【図８９】
2009147814.tif 000286
【国際調査報告】
2009147814.tif 000287
2009147814.tif 000288