(57)【要約】  情報処理装置は、複数方位の偏光画像における対象物の像のうち鏡面反射率が異なる範囲に複数のサンプリング点を決定し（Ｓ１０、Ｓ１２）、当該サンプリング点の偏光輝度を抽出して、偏光方位に対する輝度の変化を導出することにより、輝度が最大となる方位を位相角として取得する（Ｓ１４）。そして鏡面反射率の変化に対する位相角の変化の特性を評価することにより、被写体の表面粗さを特定する（Ｓ１６、Ｓ１８）。さらに表面粗さに応じた処理を実施し出力データを生成、出力する（Ｓ２０）。
2019123625.tif 000002
【特許請求の範囲】
【請求項１】
複数の方位の偏光画像のデータを取得する画像取得部と、
前記偏光画像を用いて、被写体の像を表す偏光輝度の、方位に対する変化を導出したうえ、偏光輝度の最大値が得られる方位を位相角として取得する位相角取得部と、
鏡面反射率の変化に対する前記位相角の特性を所定の基準で評価することにより、前記被写体の表面粗さを取得する表面粗さ取得部と、
前記表面粗さに応じたデータを生成し出力する出力データ生成部と、
を備えたことを特徴とする情報処理装置。
【請求項２】
前記表面粗さ取得部は、前記位相角の特性として、前記鏡面反射率の変化に対する前記位相角の変化の緩急を表すパラメータを評価することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記位相角取得部は、前記被写体の像のうち鏡面反射率が異なる複数の位置における前記位相角を取得し、
前記表面粗さ取得部は、前記複数の位置における鏡面反射率を取得したうえ、当該鏡面反射率に対する前記位相角の変化を表すことにより、前記特性を評価することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記位相角取得部は、前記被写体の像のうち鏡面反射率が単調に変化する範囲における前記位相角を取得し、
前記表面粗さ取得部は、前記範囲内の位置に対する前記位相角の変化を表すことにより、前記位相角の特性を評価することを特徴とする請求項１または２に記載の情報処理装置。
【請求項５】
前記表面粗さ取得部は、前記被写体の表面の法線ベクトルの分布に基づき、前記位置に対する前記位相角の変化を調整したうえで、前記特性を評価することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記位相角取得部は、前記被写体の像のうち所定値以上の輝度の差を有する範囲における前記位相角を取得し、
前記表面粗さ取得部は、輝度に対する前記位相角の変化を表すことにより、前記位相角の特性を評価することを特徴とする請求項１または２に記載の情報処理装置。
【請求項７】
前記画像取得部は、被写体の鏡面反射率が変化する状態を撮影した前記偏光画像の動画のデータを取得し、
前記位相角取得部は、前記被写体の像のうち鏡面反射率が単調に変化する位置における前記位相角を、前記動画の複数の画像フレームから取得し、
前記表面粗さ取得部は、時間に対する前記位相角の変化を表すことにより、前記位相角の特性を評価することを特徴とする請求項１または２に記載の情報処理装置。
【請求項８】
前記表面粗さ取得部は、前記位相角の特性を表すパラメータと表面粗さとを対応づけたルックアップテーブルを参照し、前記偏光画像に基づき得られた前記パラメータの値に基づき、被写体の表面粗さを取得することを特徴とする請求項１から７のいずれかに記載の情報処理装置。
【請求項９】
前記表面粗さ取得部は、前記位相角の特性を表すパラメータの基準値と、前記偏光画像に基づき得られた前記パラメータの値とを比較することにより、基準からの相対的な表面粗さを取得することを特徴とする請求項１から７のいずれかに記載の情報処理装置。
【請求項１０】
被写体の前記表面粗さと、当該被写体の像の輝度分布に基づき、光源の状態に係る情報を取得する空間情報取得部をさらに備えたことを特徴とする請求項１から９のいずれかに記載の情報処理装置。
【請求項１１】
前記表面粗さ取得部が生成した、前記鏡面反射率の変化に対する前記位相角の変化に係る情報を用いて、前記被写体の像におけるある位置の前記位相角に基づき、当該位置の前記鏡面反射率を取得する空間情報取得部をさらに備えたことを特徴とする請求項１から９のいずれかに記載の情報処理装置。
【請求項１２】
複数の方位の偏光画像のデータを取得するステップと、
前記偏光画像を用いて、被写体の像を表す偏光輝度の、方位に対する変化を導出したうえ、偏光輝度の最大値が得られる方位を位相角として取得するステップと、
鏡面反射率の変化に対する前記位相角の特性を所定の基準で評価することにより、前記被写体の表面粗さを取得するステップと、
前記表面粗さに応じたデータを生成し出力するステップと、
を含むことを特徴とする、情報処理装置による表面粗さ取得方法。
【請求項１３】
複数の方位の偏光画像のデータを取得する機能と、
前記偏光画像を用いて、被写体の像を表す偏光輝度の、方位に対する変化を導出したうえ、偏光輝度の最大値が得られる方位を位相角として取得する機能と、
鏡面反射率の変化に対する前記位相角の特性を所定の基準で評価することにより、前記被写体の表面粗さを取得する機能と、
前記表面粗さに応じたデータを生成し出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像を利用して対象物や被写空間の状態を認識する情報処理装置および対象物認識方法に関する。
【背景技術】
【０００２】
ユーザの頭部など体の一部をビデオカメラで撮影し、目、口、手などの所定の領域を抽出して別の画像で置換した表示画像を利用するゲームが知られている（例えば、特許文献１参照）。また、ビデオカメラで撮影された口や手の動きをアプリケーションの操作指示として受け取るユーザインタフェースシステムも知られている。このように、実世界を撮影して対象物の状態を検知したり、それに基づく情報処理を実施したりする技術は、電子コンテンツのみならず、監視カメラ、自動運転システム、製造ラインにおける検品装置、自動制御ロボットなど幅広い分野で導入されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】欧州特許出願公開第０９９９５１８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮影画像における被写体の像の様子は、周囲の明るさや物の有無などによる光の状態によって変わり得る。例えば同じ被写体でも、その像の色や輝度分布が大きく変化したり、輪郭が明確に得られないことにより形状も認識しづらかったりすることがある。同様の原理で、ある対象物の像が本来の色や形を表しているのか、光の加減で偶然、得られた姿なのかを撮影画像のみから区別するのが難しい場合がある。その結果、対象物を誤認し後段の情報処理の精度を悪化させることが考えられる。そのため、撮影画像を用いて対象物の状態をより正確に認識できる技術が求められている。【０００５】
本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影画像を用いて対象物の状態を精度よく取得できる技術を提供することにある。
【課題を解決するための手段】
【０００６】
本発明のある態様は情報処理装置に関する。この情報処理装置は、複数の方位の偏光画像のデータを取得する画像取得部と、偏光画像を用いて、被写体の像を表す偏光輝度の、方位に対する変化を導出したうえ、偏光輝度の最大値が得られる方位を位相角として取得する位相角取得部と、鏡面反射率の変化に対する位相角の特性を所定の基準で評価することにより、被写体の表面粗さを取得する表面粗さ取得部と、表面粗さに応じたデータを生成し出力する出力データ生成部と、を備えたことを特徴とする。【０００７】
本発明のさらに別の態様は表面粗さ取得方法に関する。この表面粗さ取得方法は、複数の方位の偏光画像のデータを取得するステップと、偏光画像を用いて、被写体の像を表す偏光輝度の、方位に対する変化を導出したうえ、偏光輝度の最大値が得られる方位を位相角として取得するステップと、鏡面反射率の変化に対する位相角の特性を所定の基準で評価することにより、被写体の表面粗さを取得するステップと、表面粗さに応じたデータを生成し出力するステップと、を含むことを特徴とする。【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によると、撮影画像を用いて対象物の状態を精度よく取得できる。
【図面の簡単な説明】
【００１０】
【図１】本実施の形態における情報処理システムの構成例を示す図である。
【図２】本実施の形態における被写体の球体の像を例示する図である。
【図３】本実施の形態で利用する偏光画像の撮影環境を模式的に示す図である。
【図４】入射角に対する偏光方向の変化を鏡面反射と拡散反射で比較する図である。
【図５】本実施の形態で用いるパラメータの定義を説明するための図である。
【図６】本実施の形態における、偏光方位に対する輝度の変化を例示する図である。
【図７】本実施の形態における位相角の変化を、実際の撮影画像から取得した結果を例示する図である。
【図８】本実施の形態においてｓ偏光のみを観測することを仮定した場合の、透過軸の角度と輝度の関係を示す図である。
【図９】図８の仮定に対し観測する光にｐ偏光が混ざっている場合の、透過軸の角度と輝度の関係を示す図である。
【図１０】本実施の形態において、観測する光に含まれるｓ偏光とｐ偏光の大小関係と、透過軸の角度と輝度の関係との対応を示す図である。
【図１１】本実施の形態において、ｓ偏光、ｐ偏光の向きが、それぞれｘ軸、ｙ軸からずれているときの、透過軸の角度に対する輝度の変化をシミュレーションにより求めた結果を示す図である。
【図１２】本実施の形態において表面粗さと偏光状態をモデル化した様子を示す図である。
【図１３】本実施の形態において、微小平面の法線ベクトルの方向を正規分布としたときの、位相角との関係を説明するための図である。
【図１４】本実施の形態において、被写体表面を法線方向の異なる微小平面の集合体としてモデル化したときの、鏡面反射率に対する位相角の変化をシミュレーションにより求めた結果を示す図である。
【図１５】本実施の形態において、拡散反射率を変化させたときの、鏡面反射率に対する位相の変化を示す図である。
【図１６】本実施の形態において、鏡面反射光におけるｓ偏光とｐ偏光の比率を変化させたときの、鏡面反射率に対する位相角の変化を示す図である。
【図１７】本実施の形態における情報処理装置の内部回路構成を示す図である。
【図１８】本実施の形態における情報処理装置の機能ブロックの構成を示す図である。
【図１９】本実施の形態において撮像装置に導入できる、偏光子層を備える撮像素子の構造例を示す図である。
【図２０】本実施の形態における被写体表面の位置と鏡面反射率の関係を例示する図である。
【図２１】図２０と異なる形状の被写体の表面の位置と鏡面反射率の関係を例示する図である。
【図２２】図２０、２１のような撮影環境で、位相角を位置の関数として表した様子を模式的に示す図である。
【図２３】本実施の形態において用いる位相角の鏡面反射率に対する変化と、それに対応する表面粗さを有するオブジェクトを描画した例を示す図である。
【図２４】本実施の形態において、情報処理装置が撮影画像から対象物の表面粗さを含む情報を取得し必要なデータを出力する処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
図１は、本実施の形態における情報処理システムの構成例を示している。この情報処理システムは、被写体８を撮影する撮像装置１２、その撮影画像のデータを取得し所定の情報処理を行う情報処理装置１０、および情報処理の結果を出力する表示装置１６を含む。情報処理システムにはさらに、情報処理装置１０に対する操作をユーザから受け付ける入力装置が含まれていてもよい。情報処理装置１０はさらに、インターネットなどのネットワークに接続することでサーバなど外部の装置と通信可能としてもよい。
【００１２】
情報処理装置１０と撮像装置１２および表示装置１６とは、有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。また情報処理装置１０、撮像装置１２、表示装置１６のいずれか２つ以上を組み合わせて一体的な装置としてもよい。例えばそれらを装備したカメラや携帯端末などで情報処理システムを実現してもよい。あるいは表示装置１６を、ユーザが頭部に装着することで眼前に画像を表示させるヘッドマウントディスプレイとし、当該ヘッドマウントディスプレイに、ユーザの視線に対応する画像を撮影するように撮像装置１２を設けてもよい。いずれにしろ情報処理装置１０、撮像装置１２、表示装置１６の外観形状は図示するものに限らない。
【００１３】
このようなシステムにおいて情報処理装置１０は、撮像装置１２が撮影した画像のデータを順次取得し、被写体の表面粗さの特定を含む画像解析をおこなったうえ、その結果に基づき情報処理を行い、表示画像や音声のデータを生成して表示装置１６に出力する。ここで情報処理装置１０が画像解析の結果として実施する情報処理の内容は特に限定されない。例えば被写体８に含まれる所定の対象物をゲームのコントローラとし、その動きをユーザ操作として認識することで、電子ゲームや任意の情報処理を進捗させてもよい。
【００１４】
あるいは撮影画像上でコントローラを仮想オブジェクトに置換して表示画像としたり、被写体とインタラクションする仮想オブジェクトを描画したりしてもよい。実世界を仮想オブジェクトとしてモデル化することにより、ユーザの視線に対応する視野で描画した仮想世界をヘッドマウントディスプレイに表示させてもよい。
【００１５】
このような技術においては、被写体８やその周囲の状況をできるだけ正確に特定することが望ましい。例えば被写空間に、対象物と形状が類似する別の物体が存在する場合、それらの像を区別して認識する必要がある。ところが周囲の明るさ、光源の状態、対象物の色、模様、形状など様々な要因によって、撮影画像における像の表れ方や抽出のしやすさが変化するため、一般的な撮影画像に基づく簡易な処理では精度が安定しないことが考えられる。
【００１６】
図２は被写体８の球体の像を例示している。（ａ）の像は、球体の像の中央部分で局所的に高い輝度が得られている。このような画像は、鏡面反射しやすい材質の球体に対し、図面の手前側から比較的指向性の高い光を照射した場合などに得られる。すなわち球体の中央部分は鏡面反射が支配的であり、輪郭近傍は拡散反射が支配的と考えられる。ここで鏡面反射は光源から照射され被写体表面で正反射した光であり、拡散反射は被写体内部に到達し色素粒子により散乱されて表面に表れた光である。二色性反射モデルによれば、撮像装置１２で観測される光は、それらの反射光のうち撮像面方向の成分の和で表される。
【００１７】
一方、（ｂ）の像は中央部分における輝度が（ａ）より低く、輪郭に向けての輝度の変化が緩やかである。（ｃ）の像は、中央部分における輝度がさらに低く、輪郭近傍の輝度と大きな差がない。（ａ）の像に対する（ｂ）や（ｃ）の像の変化は、光源の面積が増えることによって生じ得る。その一方、同様の変化は、球体表面の粗さが大きくなることによっても生じ得る。ここで「粗さ」とは、物体表面におけるマイクロメートル程度の凹凸による高さや面方位のばらつきのことであり、ばらつきが大きいほど粗さが大きいとする。表面粗さは部材加工技術などの分野で一般的に用いられるパラメータである。
【００１８】
図示するような像の差が、光源によるものか被写体そのものによるものかを区別できないと、同じ被写体であるのに光源の変化によって別の物と認識したり、表面粗さの異なる別の物を対象物と誤認したりすることが考えられる。また、表面が粗いことにより鏡面反射光が表面で散乱しているのか、拡散反射しやすい材質によって光が内部で散乱しているのかも区別がつきにくい。このため、材質によって対象物の像を区別したり、反射モデルを適用して実物体に対応する仮想オブジェクトを描画したりする場合にも問題が生じ得る。対象物や撮像面が動く場合は特に、反射光の状態が変化することにより見た目が次々変化し、後段の処理の精度にも看過できない影響を与え得る。そこで本実施の形態では偏光画像を用いて、光の状態に影響されないパラメータとして被写体の表面粗さを特定する。
【００１９】
図３は、本実施の形態で利用する偏光画像の撮影環境を模式的に示している。撮像装置１２は、直線偏光板７０を介して被写体７２を含む空間を撮影する。より詳細には撮像装置１２は、光源７４から照射された光が被写体７２を反射してなる鏡面反射成分と、被写体７２内部で散乱されてなる拡散反射成分で構成される反射光のうち、直線偏光板７０によって定まる方向に振動する偏光を観測する。鏡面反射の場合、被写体７２の表面のうち観測点ａにおける法線ベクトルｎと光源７４から点ａに到達する光線のなす角度θを入射角、当該光線と法線ベクトルｎを含む面７６を入射面と呼ぶ。拡散反射の場合は被写体７２内部から点ａへ到達する光線と法線ベクトルｎのなす角度θ’が入射角、当該光線と法線ベクトルｎを含む面７６が入射面となる。
【００２０】
直線偏光板７０は、観測点ａから撮像装置１２へ到達する反射光のうち、ある方向に振動する直線偏光のみを透過する。以後、透過させる偏光の振動方向を直線偏光板７０の透過軸と呼ぶ。直線偏光板７０を面に垂直な軸周りに回転させれば、透過軸を任意の方向にとることができる。仮に撮像装置１２へ到達する光が無偏光であれば、直線偏光板７０を回転させても、観測される輝度は一定となる。一方、一般的な反射光は部分偏光により、透過軸の方向に対し観測される輝度に変化が生じる。また鏡面反射と拡散反射の割合や入射角によって、輝度の変化の様子が異なる。
【００２１】
図４は、入射角に対する偏光方向の変化を鏡面反射と拡散反射で比較している。ここで「ｓ偏光」は入射面に垂直な方向に振動する成分、「ｐ偏光」は入射面に平行な方向に振動する成分である。鏡面反射および拡散反射の双方において、ｓ偏光とｐ偏光の割合は入射角に依存する。また鏡面反射の光は、入射角にかかわらずｓ偏光が支配的である。このため、直線偏光板７０の透過軸が入射面と垂直な状態において観測輝度が最大となり、当該透過軸が入射面と平行な状態において観測輝度が最小となる。
【００２２】
拡散反射の光はその逆であり、直線偏光板７０の透過軸が入射面と平行な状態において観測輝度が最大となり、当該透過軸が入射面と垂直な状態において観測輝度が最小となる。したがって、様々な透過軸の方向で偏光画像を撮影することにより得られる輝度の変化は、鏡面反射成分と拡散反射成分の含有比や、入射角度の情報を含んでいることになる。本実施の形態でもこのような偏光の輝度の変化を利用する。
【００２３】
図５は、本実施の形態で用いるパラメータの定義を説明するための図である。図３と同様、被写体７２上の観測点ａから直線偏光板７０を介して撮像装置１２に到達する光線８２によって、仮想的な画像平面８０上の位置ｂに観測点ａの像が形成される。ここで画像平面８０に図示するように、結像する位置ｂを原点とし、撮像装置１２から見て水平右向きをｘ軸、垂直上向きをｙ軸とし、直線偏光板７０の透過軸とｘ軸のなす角度を偏光方位φとする。上述のとおり、位置ｂにおいて観測される輝度Ｉの、偏光方位φの変化に対する振る舞いは、鏡面反射成分および拡散反射成分の割合と入射角θによって決定する。またｓ偏光、ｐ偏光はそれぞれ、入射面７６に対し垂直方向、水平方向に振動する光である。
【００２４】
図６は、偏光方位φに対する輝度Ｉの変化を例示している。同図上段は撮像装置１２に到達する光が鏡面反射のみの場合、下段は拡散反射のみの場合であり、どちらも１８０°周期の正弦波の形状を有する。一方、鏡面反射の輝度Ｉが最大値Ｉｍａｘをとるときの偏光方位ψｓは、拡散反射の輝度Ｉが最大値Ｉｍａｘをとるときの偏光方位ψｄと９０°の差がある。これは図４で示したように、鏡面反射においてはｓ偏光が、拡散反射においてはｐ偏光が支配的なことに起因する。ｓ偏光が入射面に垂直、ｐ偏光が入射面に水平であることに鑑みれば、鏡面反射において輝度が最小となる偏光方位（ψｓ−９０°）、あるいは拡散反射において輝度が最大となる偏光方位ψｄが、入射面の画像平面上での角度を表す。当該角度は一般に方位角と呼ばれる。
【００２５】
以後、鏡面反射、拡散反射の含有比によらず、観測される偏光の輝度が最大となるときの偏光方位を位相角ψと呼ぶ。図６で示す輝度Ｉの変化は、次の式で表すことができる。
【００２６】
【数１】
2019123625.tif 000003
【００２７】
図７は、実際の撮影画像において位相角ψの変化を取得した結果を例示している。同図上段は円筒形の被写体の撮影画像９０を表し、下段は当該画像平面上のライン９２における位相角ψの変化９４を表している。位相角ψは、透過軸の角度を異ならせて撮影した複数の偏光画像から、ライン９２を構成する画素の輝度を抽出し、図６で示したような偏光方位に対する輝度の変化を取得することによって得られる。
【００２８】
このとき輝度の観測値は離散的な偏光方位に対してのみ得られるため、最小二乗法などにより式１の形式の関数に近似する。撮影画像９０において、被写体の像のうち矢印で示された部分は局所的に輝度が高くなっており、鏡面反射が支配的と考えられる。円筒形のため方位角を水平方向（０°）とすると、鏡面反射光の位相角ψは理論上、９０°となり、下段に示した位相角ψの変化９４においてもその値が得られている。一方、拡散反射成分が支配的と考えられるその他の部分でも、位相角ψが０°となる領域が存在しない。本発明者はこのような位相角ψの変化が、反射成分の割合とともに被写体表面の粗さによってもたらされることに想到した。次にその原理を説明する。
【００２９】
図８は、ｓ偏光のみを観測することを仮定した場合の、透過軸の角度と輝度の関係を示している。（ａ）は透過軸８６を有する直線偏光板７０を、ｘｙ平面で回転させる様子を示している。なお同図では方位角をｙ軸方向とし、それに垂直なｓ偏光の振動方向をｘ軸としている。以後の説明も同様である。撮像装置１２に到達する光がｓ偏光のみの場合、透過軸８６がｘ軸の方向にあるとき輝度が最大、ｙ軸の方向にあるとき輝度が最小となる。ｘ軸に対する透過軸８６の角度をθ、入射するｓ偏光の電場成分をＥｓ、偏光板を透過する電場成分をＥｐｒｏｊとして一般化すると、次の関係が成り立つ。
Ｅｐｒｏｊ＝Ｅｓｃｏｓθ
したがって観測される輝度Ｉは角度θに対し次のような変化を示す。
Ｉ＝Ｅｐｒｏｊ２＝Ｅｓ２ｃｏｓ２θ
【００３０】
図の（ｂ）は、最大値を１．０として正規化した輝度Ｉをｘ＝Ｉｃｏｓθ，ｙ＝Ｉｓｉｎθの２次元平面に表したグラフである。例えば透過軸がθ＝０°、すなわちｘ軸（ｙ＝０）と一致するとき、輝度Ｉは最大値１．０をとり、透過軸がθ＝９０°、すなわちｙ軸（ｘ＝０）と一致するとき、輝度Ｉは最小値０となる。図９は、図８の仮定に対し観測する光にｐ偏光が混ざっている場合の、透過軸の角度と輝度の関係を示している。（ａ）は図８の（ａ）と同様の図であり、ｘ軸をｓ偏光の振動方向、透過軸８６とｘ軸のなす角度をθとしている。ただし入射する光として、電場成分Ｅｓのｓ偏光に加え、電場成分Ｅｐのｐ偏光も含まれるとする。この場合、偏光板を透過して観測される輝度Ｉは角度θに対し次のように変化する。
Ｉ＝Ｅｓ２ｃｏｓ２θ＋Ｅｐ２ｓｉｎ２θ
【００３１】
図の（ｂ）はこの場合の輝度Ｉを、図８の（ｂ）と同様の形式で示している。ただしＥｓ：Ｅｐ＝０．８：０．２としているため、輝度Ｉの最大値は０．８となる。図８の場合と比較すると、透過軸がθ＝９０°、すなわちｙ軸（ｘ＝０）と一致するときは、ｐ偏光の存在により輝度Ｉが０にならない点が異なっている。一方で、輝度Ｉが最大となるのは図８の場合と同様、透過軸がθ＝０°、すなわちｘ軸（ｙ＝０）と一致するときである。つまり鏡面反射のようにｓ偏光が優位な場合、ｐ偏光が混じっていても輝度が最大となる透過軸の角度、すなわち位相角ψは０°のまま変化しない。
【００３２】
図１０は、観測する光に含まれるｓ偏光とｐ偏光の大小関係と、透過軸の角度と輝度の関係との対応を示している。左端はｓ偏光がｐ偏光より大きいときの輝度の変化であり、図９の（ｂ）と対応する。中央はｓ偏光とｐ偏光の割合が等しいとき、右端はｐ偏光がｓ偏光より大きいときの輝度の変化である。上述したように、ｓ偏光の割合が大きいときは位相角ψ＝０°である一方、割合が逆転すると位相角ψ＝９０°になる。すなわち上記理論によれば、ｓ偏光とｐ偏光の割合が等しい状態を境界として、位相角ψは０°と９０°のどちらかとなり中間値をとることはない。
【００３３】
なおここでの位相角ψは、ｓ偏光の振動方向をｘ軸としていることに留意する。一方、図７で示した実測結果では、位相角ψがなだらかに変化している。この現象を説明するために、被写体表面の粗さのパラメータを導入する。すなわちこれまで述べた例は、図５で示したように、鏡面反射成分が入射光からの正反射方向に一様に反射することを想定していた。一方、表面に粗さがある、すなわち表面に微細な凹凸がある場合、微小面積で法線ベクトルの向きが変化する結果、鏡面反射成分の反射方向が一様とならず分布をもつようになる。
【００３４】
そのためこれまで述べたように表面全体としてｓ偏光がｘ軸と一致するような被写体の方位角であったとしても、マイクロメートルレベルで詳細に見ると、ｓ偏光の向きがｘ軸からずれている場合があると考えられる。図１１は、ｓ偏光、ｐ偏光の向きが、それぞれｘ軸、ｙ軸からずれているときの、透過軸の角度に対する輝度の変化をシミュレーションにより求めた結果を示している。ただしＥｓ：Ｅｐ＝０．８：０．２としている。同図上段は図８の（ａ）と同様、透過軸８６を有する直線偏光板７０をｘｙ平面で回転させる様子を示している。ここで図示するように方位角、すなわちｐ偏光の振動方向の、ｙ軸を基準とした角度をαとする。
【００３５】
下段に示す輝度の変化のうち、左端に示すα＝０°のときは、ｓ偏光の振動方向がｘ軸に一致する。これは図９の（ｂ）に示した例に他ならない。したがって透過軸８６がｘ軸と一致するときに輝度が最大値をとる。すなわち位相角ψ＝０°である。一方、右端に示すα＝９０°のときは、ｓ偏光の振動方向がｙ軸に一致する。このため透過軸８６がｙ軸と一致するときに輝度が最大値をとる。なおこの状況は結果として、ｙ軸方向に振動するｐ偏光にｓ偏光が多少混ざっている、図１０の右端の状態と同じである。この場合の位相角ψ＝９０°である。
【００３６】
α＝３０°や６０°の場合でも、輝度が最大となるときの透過軸は、ｘ軸に対してその分の傾斜を持つ。図示するようにｙ軸を基準として方位角αを定義した場合、ｓ偏光の割合が多い光の、ｘ軸を基準とする位相角ψは、方位角αと等しくなる。方位角は被写体表面の法線ベクトルの向きに依存するため、結果として位相角ψは、法線ベクトルに依存して変化するといえる。図１２は、表面粗さと偏光状態をモデル化した様子を示している。図示するように、被写体の表面に微細な凹凸がある場合、直線偏光板７０を介して撮像装置１２により観測される光は、異なる法線方向を有する微小平面９６からの反射光を重ね合わせたものになる。
【００３７】
したがって偏光の位相もそれらの重ね合わせとなる。図１３は、微小平面の法線ベクトルの方向を正規分布としたときの、位相角ψとの関係を説明するための図である。同図において、ｓ偏光の中心値を０°とすると、法線ベクトルの方向が正規分布となることにより、ｓ偏光の偏光方位も０°を中心とする正規分布となる。またｐ偏光の偏光方位は９０°を中心とする正規分布となる。鏡面反射率が支配的な場合、図示するようにｓ偏光の割合がｐ偏光より顕著に大きくなるため、それらを重ね合わせても０°の偏光方位の成分が最大となる。結果として位相角ψは０°である。
【００３８】
拡散反射が支配的な場合は、ｐ偏光の割合がｓ偏光より顕著に大きくなるため、それらを重ね合わせても９０°の偏光方位の成分が最大となる。結果として位相角ψは９０°となる。一方、鏡面反射と拡散反射が同程度に混じり合っていると、ｓ偏光とｐ偏光の成分比も同程度になる。これらを重ね合わせると、成分が最大となる偏光方位は０°と９０°の間に生じる可能性が高くなる。その結果、位相角ψが０°から９０°の中間値をとることになる。
【００３９】
図１４は、被写体表面を法線方向の異なる微小平面の集合体としてモデル化したときの、鏡面反射率Ｒｓに対する位相角ψの変化をシミュレーションにより求めた結果を示している。ここで微小平面の数を４００００個とし、それらの微小平面の方位角はｙ軸を中心に標準偏差（９０＊σ）°で正規分布しているとする。ここでσは方位角のばらつきの度合い、ひいては表面の粗さを表す。また鏡面反射光におけるｓ偏光とｐ偏光の比を０．７：０．３、拡散反射光におけるｓ偏光とｐ偏光の比を０．３：０．７、拡散反射率Ｒｄは０．５で一定としている。
【００４０】
上記条件によれば、σ＝０、すなわち表面が完全に滑らかな状態においては、鏡面反射率Ｒｓが０．５のときを境にｓ偏光とｐ偏光の割合が逆転するとともに、それらの方向が一定しているため、上述のとおり位相角ψも急に変化する。具体的には鏡面反射率Ｒｓが０．５より小さいときはｐ偏光の割合が大きいため位相角ψは９０°に、鏡面反射率Ｒｓが０．５より大きいときはｓ偏光の割合が大きいため位相角ψは０°になる。一方、σが０以外の値をとると、法線ベクトルの角度分布によって、図１３に示したようにｓ偏光、ｐ偏光の偏光方位も分布をもつ。これにより、ｓ偏光とｐ偏光の大小関係が逆転する過渡期において、それらの重ね合わせによる位相角ψが中間値を持つようになる。また、σが大きいほど位相角ψの変化が緩やかになる。
【００４１】
図１５は、図１４と略同条件で、拡散反射率Ｒｄを変化させたときの、鏡面反射率Ｒｓに対する位相角ψの変化を示している。ここでσ＝０．６０とし、図の左から右に向かうほど拡散反射率Ｒｄを大きくしている。拡散反射率Ｒｄが大きくなるに従い、ｓ偏光とｐ偏光の割合が逆転するときの鏡面反射率Ｒｓが大きくなるため、位相角ψが変化する範囲もシフトするが、σが等しければその変化の割合は同じである。
【００４２】
図１６は、図１４とほぼ同条件で、鏡面反射光におけるｓ偏光とｐ偏光の比率を変化させたときの、鏡面反射率Ｒｓに対する位相角ψの変化を示している。ここでσ＝０．６０としている。なお同図では鏡面反射光におけるｓ偏光とｐ偏光の比をｓ：ｐとして示しているが、同時に拡散反射成分におけるｓ偏光とｐ偏光の比は１−ｓ：１−ｐで変化する。同図右下にあるように、ｓ：ｐ＝０．５：０．５のときは鏡面反射率によらずｓ偏光とｐ偏光が等しくなる無偏光の状態となるため位相角ψは存在しない。
【００４３】
それ以外の状態では、ｓ：ｐの比によらず、位相角ψは鏡面反射率に対し同じように変化する。すなわち同図左下に示すように、ｓ偏光とｐ偏光にわずかでも差があれば、ひいては偏光度が低くても、評価に値する位相角ψの変化が得られる。また図４に示したように、ｓ偏光とｐ偏光の比は、被写体への入射角に依存して変化する。したがって同図に示す結果から、位相角ψの変化は入射角に依存しないことになる。以上のことから、鏡面反射率の増加に対し位相角ψが９０°から０°へ至るまでの変化の仕方は、偏光度、入射角、拡散反射率と独立に、表面の粗さを表していることがわかる。そこで本実施の形態における情報処理装置１０は、当該変化の仕方を所定の基準に基づき評価することで、被写体の表面粗さを特定する。
【００４４】
図１７は、情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、表示装置１６へデータを出力する出力部３６、撮像装置１２や図示しない入力装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。
【００４５】
ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、図示しないフレームバッファに表示画像のデータを格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。
【００４６】
図１８は、本実施の形態の情報処理装置１０の機能ブロックの構成を示している。同図においてさまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、図１７で示したＣＰＵ２３、ＧＰＵ２４、メインメモリ２６等の各主回路で構成することができ、ソフトウェア的には、記録媒体駆動部４０により駆動される記録媒体や記憶部３４からメインメモリ２６にロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００４７】
情報処理装置１０は、撮像装置１２から撮影画像のデータを取得する画像取得部５０、取得した画像のデータを格納する画像データ記憶部５２、撮影画像に写る被写体の表面粗さ特定を含む画像解析を行う画像解析部５４、および、解析結果を利用して出力すべきデータを生成する出力データ生成部５６を含む。
【００４８】
画像取得部５０は図１７の入力部３８、ＣＰＵ２３などで実現され、撮像装置１２から偏光画像を含む撮影画像のデータを取得する。このとき偏光画像として、少なくとも３方向の透過軸に対応する３方位の偏光画像のデータを取得する。偏光画像は、図３に示すように撮像装置１２の前面に配置した直線偏光板７０を回転させ、所定の方向で停止させる都度、撮像してもよいし、後述するように、撮像素子に複数方向の偏光子を含む偏光子層を設けたイメージセンサを導入して撮像してもよい。この場合、一度の撮影で複数方位の偏光画像を取得できる。
【００４９】
表示装置１６への表示に撮影画像を用いる場合など、情報処理の目的や画像解析の内容によっては、画像取得部５０はさらに、一般的なカラーの撮影画像のデータも取得してよい。また、取得する撮影画像は動画でもよいし静止画でもよい。  画像取得部５０は取得した撮影画像のデータを画像データ記憶部５２に逐次格納する。画像解析部５４は図１６のＣＰＵ２３、ＧＰＵ２４などで実現され、画像データ記憶部５２に格納されたデータを用いて、被写体の表面粗さの取得を含む画像解析を行う。
【００５０】
より詳細には画像解析部５４は、位相取得部５８、表面粗さ取得部６０、および空間情報取得部６２を含む。位相取得部５８は、複数方位の偏光画像の対応する画素ごとに輝度を抽出し、偏光方位に対する輝度の変化を導出する。偏光画像がφ１、φ２、φ３の３方位あれば、それらの座標（φ１，Ｉ１）、（φ２，Ｉ２）、（φ３，Ｉ３）の３点を通る曲線を、最小二乗法等を用いて式１の関数に近似することにより、図６に示すような連続した関数が得られる。このうち最大輝度Ｉｍａｘが得られるときの方位φが位相角ψである。なお偏光画像は３方位に限定されず、４方位以上の偏光画像を用いて４点以上の座標から曲線近似してもよい。
【００５１】
この処理を画素ごとに繰り返すと、画像平面に対し位相角ψをマッピングした位相角画像が得られる。ただし対象物の表面粗さを取得する目的においては、対象物の像、あるいは対象物の像のうち鏡面反射率が変化する位置のみで位相角ψが得られればよい。対象物の像の領域は、既存のフィルタリング処理によりエッジ抽出や輪郭抽出を行った結果を利用してもよいし、動画の場合は前フレームからの追跡結果を利用してもよい。また鏡面反射率は撮像面と被写体表面の傾斜の関係に依存するため、偏光画像を用いて法線ベクトルを求めることにより、鏡面反射率が変化する位置を特定してもよい。偏光画像から法線ベクトルの分布を取得する手法は一般に知られている。
【００５２】
その結果、図１４から図１６において例示したように、鏡面反射率Ｒｓに対する位相角ψの変化が得られる。ただし横軸は、鏡面反射率と１対１対応するパラメータであればよく、被写体の像における特定のライン上の位置と鏡面反射率が比例関係にあれば、横軸は当該位置でもよい。あるいは、基準の粗さに対する相対的な粗さを求めればよいのであれば、当該基準の粗さを取得したのと同じパラメータを横軸にとることで、比較によって粗さを同定できる。
【００５３】
さらに上述の原理によれば、ｐ偏光とｓ偏光の割合の変化により位相角ψの変化が生じるため、そのような変化が得られれば、横軸は鏡面反射率やそれに準ずるパラメータでなくてもよい。仮に鏡面反射率が一定で拡散反射率が変化するような状況があれば、横軸を拡散反射率とすることもできる。表面粗さ取得部６０は、そのようにして得た位相角ψの変化を、所定の評価基準に照らすことにより表面粗さを取得する。例えば鏡面反射率Ｒｓに対する位相角ψの傾き（１次微分）を算出し、その最大値を取得する。
【００５４】
図１４に示すように位相角ψの変化が緩やかで、傾きの最大値が小さいほど表面の粗さが大きいといえる。あるいは位相角ψの傾きがしきい値以上となる鏡面反射率Ｒｓの幅を評価してもよい。この場合、幅が大きいほど表面の粗さが大きいといえる。あるいは鏡面反射率Ｒｓに対する位相角ψの２次微分を算出してもよい。２次微分は位相角ψが９０°あるいは０°から逸脱し始める範囲における曲率を表す。この場合、２次微分値の最大値が小さいほど位相角ψの変化が緩やかであるため表面の粗さが大きいといえる。
【００５５】
そのほか、位相角ψの変化の緩やかさを評価する基準や、緩やかさを示す指標として、様々に考えられることは当業者には理解されるところである。表面粗さ取得部６０は、あらかじめ測定した実際の表面粗さと位相角ψの評価結果とを対応づけたルックアップテーブルを内部で保持しておき、撮影画像から得た評価結果に基づいて参照することにより、表面粗さの絶対値を取得してもよい。表面粗さを表すパラメータとしては様々なものが実用化されており、そのいずれで定義してもよい。あるいは上述のとおり、基準となる評価結果との比較によって、相対的な粗さを取得するのみでもよい。
【００５６】
空間情報取得部６２は、得られた表面粗さの情報に基づき被写体の状態を検出したり被写体を認識したりする。または特定の粗さの被写体の像を他と分離する。あるいは表面粗さが判明すれば、図２で示したような像の輝度分布から光源の大きさや位置が判明するため、その情報を用いてさらなる画像解析を行ってもよい。例えば表面粗さを取得しなかった別の被写体について、光源の位置や大きさに基づき、その輝度分布から表面粗さを求めることができる。光源の位置や大きさを想定して、被写体を模した仮想モデルを描画したうえ撮影画像上の像と比較することにより、被写体の材質を求めたり、適切な反射モデルを適用して精度よく法線ベクトルを求めたりすることもできる。
【００５７】
ただし特定の被写体の表面粗さのみを取得すれば目的を達する場合、空間情報取得部６２の機能は省略してもよい。出力データ生成部５６は、図１６のＣＰＵ２３、ＧＰＵ２４、出力部３６などで実現し、画像解析部５４が特定した情報に基づき所定の情報処理を実施して、表示画像や音声など出力すべきデータを生成、出力する。上述したようにここで実施する情報処理の内容は特に限定されない。例えば表面粗さに基づき被写体の像を特定し、実空間における各種物体の位置を認識できれば、車載カメラに用いたり、ロボットの自動制御に用いたりできる。
【００５８】
またユーザの手やコントローラを認識することにより、その動きをコマンドに変換して対応する情報処理を行ったり、それらを仮想オブジェクトに置換した画像や、それらとインタラクションする仮想オブジェクトを描画した画像を生成したりすることもできる。あるいは工場の製造ラインに導入することにより、表面加工の粗さや傷の検出にも利用できる。また金属製品や樹脂製品を定常的に監視するシステムに導入すれば、酸化や経年劣化によって表面が粗くなったことを検知でき、交換や修理の契機とすることができる。
【００５９】
さらに人の顔面をモニターするシステムに利用すれば、肌の粗さに基づき年齢を推定できるほか、汗をかいたことで肌の粗さが小さくなることを利用して、体感温度や緊張の度合いを推定することもできる。このように表面粗さに基づく情報処理は様々に考えられ、出力データ生成部５６はそのいずれを実施してもよい。あるいは単に、画像解析部５４の表面粗さ取得部６０が取得した、表面粗さのデータのみを出力してもよい。
【００６０】
図１９は、本実施の形態において撮像装置１２に導入できる、偏光子層を備える撮像素子の構造例を示している。なお同図は素子断面の機能的な構造を模式的に示しており、層間絶縁膜や配線などの詳細な構造は省略している。撮像素子１１０はマイクロレンズ層１１２、ワイヤグリッド型偏光子層１１４、カラーフィルター層１１６、および光検出層１１８を含む。ワイヤグリッド型偏光子層１１４は、複数の線状の導体部材を入射光の波長より小さい間隔でストライプ状に配列させた偏光子を含む。マイクロレンズ層１１２により集光された光がワイヤグリッド型偏光子層１１４に入射すると、偏光子のラインと平行な方位の偏光成分は反射され、垂直な偏光成分のみが透過する。
【００６１】
透過した偏光成分を光検出層１１８で検出することにより偏光画像が取得される。光検出層１１８は一般的なＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子構造を有する。ワイヤグリッド型偏光子層１１４は、光検出層１１８における電荷の読み取り単位、すなわち画素単位、あるいはそれより大きな単位で透過軸が異なるような偏光子の配列を含む。同図右側には、ワイヤグリッド型偏光子層１１４を上面から見たときの偏光子配列１２０を例示している。
【００６２】
同図において網掛けされたラインが偏光子を構成する導体（ワイヤ）である。なお点線の矩形はそれぞれ１方向の透過軸の偏光子の領域を表しており、点線自体は実際に形成されるものではない。図示する例では、４方向の透過軸の偏光子が２行２列の４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに配置されている。図中、対角線上にある偏光子はその透過軸が直交しており、隣り合う偏光子は４５°の差を有する。すなわち４５°おきの４方向の偏光子を設けている。
【００６３】
これが直線偏光板７０の代わりとなり、下に設けた光検出層１１８においては、４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに対応する各領域で、４５°おきの４方位の偏光情報を得ることができる。このような偏光子配列をさらに縦方向、横方向に所定数、配列させ、電荷読み出しのタイミングを制御する周辺回路を接続することにより、４方位の偏光情報を２次元データとして同時に取得するイメージセンサを実現できる。
【００６４】
同図に示す撮像素子１１０では、ワイヤグリッド型偏光子層１１４と光検出層１１８の間にカラーフィルター層１１６を設けている。カラーフィルター層１１６は、例えば各画素に対応させて赤、緑、青の光をそれぞれ透過するフィルタの配列を含む。これにより、上下に位置するワイヤグリッド型偏光子層１１４における偏光子の透過軸の方向とカラーフィルター層１１６におけるフィルタの色の組み合わせに応じて、偏光情報が色別に得られる。すなわち同一方位かつ同一色の偏光情報が画像平面上で離散的に得られるため、それを適宜補間することにより、方位ごとおよび色ごとの偏光画像が得られる。
【００６５】
また同一色の偏光画像同士を演算することにより、無偏光のカラー画像を再現することもできる。ワイヤグリッド型偏光子を用いた画像取得技術については、例えば特開２０１２−８００６５号公報などにも開示されている。ただし本実施の形態では基本的に偏光輝度画像を用いるため、その他の用途でカラー画像が必要なければカラーフィルター層１１６を省略することもできる。また偏光子はワイヤグリッド型に限らず、線二色性偏光子などを用いることもできる。
【００６６】
図２０は、被写体表面の位置と鏡面反射率の関係を例示している。図示するような平面状の被写体９８を撮像装置１２で撮影する場合、被写体９８上の位置によって、撮像装置１２の撮像面への仰角が異なる。すなわち図示する状態では、撮像面から遠いほど仰角が浅くなる。すると図示するように、撮像面から離れた位置ｃｆでの鏡面反射として観測される光の入射角θｆは、撮像面に近い位置ｃｎでの鏡面反射として観測される光の入射角θｎより大きくなる。被写体９８の屈折率を一定とすれば、反射率は入射角が大きいほど大きくなることが知られている（フレネル反射）。したがって、位置ｃｎから位置ｃｆを結ぶライン上で鏡面反射率は単調に変化する。ひいては、ライン上の位置に対する位相角ψの変化は、鏡面反射率に対する位相角ψの変化と同等となる。
【００６７】
図２１は、図２０と異なる形状の被写体の表面の位置と鏡面反射率の関係を例示している。この例で被写体１００は、凸状の曲面形状を有する。これを撮像装置１２で撮影する場合、被写体１００の表面上の各位置から撮像面への仰角は、図２０で示した平面形状の場合と比較し変化が大きくなる。すなわち鏡面反射として観測される光の、撮像面に近い位置ｃｎへの入射角θｎと遠い位置ｃｆへの入射角θｆの差が平面形状の場合より大きくなるため、フレネル反射を考えると反射率の差も大きくなる。
【００６８】
図２２は、図２０、２１のような撮影環境で、位相角ψを位置の関数として表した様子を模式的に示している。すなわち上段の撮影画像１０２における、被写体の像１０４上の位置ｃｎからｃｆまでの位相角ψの変化を下段に表している。被写体の形状は平面あるいは曲面である。図２０のケースのように、被写体表面での反射率の変化が緩やかな場合、（ａ）に示すように位相角ψの変化も緩やかになる。図２１のケースのように被写体表面での反射率の変化が急激であると、横軸のスケールが縮小された結果、例え表面粗さが等しくても（ｂ）に示すように位相角ψの変化が急になる。
【００６９】
したがって位相角ψを画像上の同じ範囲で求め、その傾きなどから表面粗さを導出する場合、被写体の形状に差があるときはそれを考慮する必要がある。例えば複数方位の偏光画像から同じ範囲における法線ベクトルの分布を求め、それに基づき横軸のスケールを調整する。あるいは法線ベクトル以外に、被写体の屈折率や光源の位置が判明している場合、鏡面反射率を計算によって求めることができるため、横軸を厳密に鏡面反射率として位相角ψを表してもよい。
【００７０】
ただし製造ラインにおけるベルトコンベア上の製品など、同じ形状の被写体を同じ方向から撮影するような状況においては、形状の差による影響がないため、横軸を位置とすることで相対的な表面粗さを容易に求めることができる。あるいは曲面であっても法線ベクトルの変化が小さい平面と見なすことができるような微小領域を対象として、位相角ψの変化を取得することにより、形状による影響を最小限に抑えてもよい。この場合、様々な形状の被写体の撮影画像を用いて表面粗さを計算し、より誤差の小さい範囲（例えばｃｎからｃｆの長さ）を求めればよい。
【００７１】
また図７に示すように、単色の被写体の像において輝度の大きい部分は鏡面反射率が高く、それ以外の領域では拡散反射率が高い。したがって、被写体の像のうち輝度の差が所定値以上となる範囲で位相角ψを求め、横軸を輝度として位相角ψを表しても、同様に表面粗さを求めることができる。ここで用いる輝度は、一般的なカラー撮影画像の対応する位置の輝度でもよいし、複数方位の偏光輝度の平均値でもよい。このように、鏡面反射率（あるいは場合によってはｓ偏光とｐ偏光の成分比）と相関を有するパラメータであれば本実施の形態は同様に適用できるため、撮影環境、被写体の特性、求められる精度など、状況に応じてより負荷の小さいパラメータを採用すればよい。
【００７２】
なお図２０、図２１は、ある時刻の撮影画像から被写体上の複数の位置の偏光輝度をサンプリングすることにより、その時刻における表面粗さを取得することを想定している。一方、本実施の形態は鏡面反射率の変化に対する位相角の変化が得られれば実現できることから、サンプリング対象を異なる時刻の撮影画像としてもよい。例えば被写体上のある位置の鏡面反射率が時間軸方向に変化するように、光源あるいは撮像装置１２を動かしながら動画撮影する。そのようにして得た一連の画像フレームから、同じ位置の偏光輝度をサンプリングすれば、これまでと同様の位相角の変化を取得できる。この場合、鏡面反射率の変化が生じれば動かす対象は限定されない。また鏡面反射率が単調に変化するようにすれば、横軸を時間として表した位相角の変化によっても、同様の評価で表面粗さを取得できる。
【００７３】
図２３は、位相角ψの鏡面反射率Ｒｓに対する変化と、それに対応する表面粗さを有するオブジェクトを描画した例を示している。照明環境など表面粗さ以外の条件は等しいとする。（ａ）に示す表面粗さの小さい例（σ＝０．１０）では、被写体である円筒の像の一部に、鏡面反射による輝度の高い領域が見られる。（ｂ）に示す中程度の表面粗さ（σ＝０．５０）では、（ａ）の像より鏡面反射による輝度が小さくなる。（ｃ）に示す表面粗さの大きい例（σ＝０．８０）では、鏡面反射による高輝度領域はほぼ判別できない。
【００７４】
（ａ）から（ｂ）や（ｃ）への変化は、照明の面積が広がるなどしても起こり得るが、位相角ψの解析によって、表面粗さの変化によるものであることがわかる。また、上段に示した、位相角ψの鏡面反射率Ｒｓに対する変化を一旦作成できれば、位相角ψから鏡面反射率Ｒｓを逆に辿ることができる。これにより、同じ被写体の像表面の任意の位置における位相角ψから鏡面反射率Ｒｓ、ひいては鏡面反射と拡散反射の割合を特定できるため、適切な反射モデルで仮想オブジェクトを描画したり、法線ベクトルを正確に求めたりすることができる。
【００７５】
次に、これまで述べた構成によって実現される、情報処理装置１０の動作について説明する。図２４は情報処理装置１０が撮影画像から対象物の表面粗さを含む情報を取得し必要なデータを出力する処理手順を示すフローチャートである。このフローチャートは、情報処理装置１０と通信を確立した撮像装置１２が、対象物の偏光画像を撮影している状態において開始される。まず画像取得部５０は撮像装置１２から、撮影画像として少なくとも３方位の偏光画像を取得する。
【００７６】
次に画像解析部５４の位相取得部５８は、偏光画像における対象物の像の領域を特定し、そのうち位相角ψを求めるサンプリング点を、所定の規則に基づき決定する（Ｓ１２）。サンプリング点の分布範囲は、例えば図２２で示したｃｎからｃｆまでのラインであるが、必ずしも線状でなくてもよい。すなわち鏡面反射率が異なる複数の箇所であれば、ある２次元領域の離散的な位置でもよく、互いの位置関係は限定されない。このようなサンプリング点を決定するため、画像解析部５４は、偏光画像を用いて対象物の法線ベクトルを求めたり、輝度分布を取得したりしてもよい。あるいは、撮像装置１２とは独立した各種センサの測定値により鏡面反射率や拡散反射率を取得し、その分布に基づきサンプリング点を決定してもよい。
【００７７】
次に位相取得部５８は、複数の方位の偏光画像のうちサンプリング点にある画素の輝度を抽出し、偏光方位に対する輝度の変化を導出することにより、輝度が最大となる方位を位相角ψとして取得する（Ｓ１４）。この処理を、Ｓ１２で決定した位置の全てに対し実施することにより、複数の鏡面反射率に対する位相角ψが得られる。次に表面粗さ取得部６０は、横軸を鏡面反射率、あるいはそれと相関関係を有するパラメータとして位相角ψの変化を取得する（Ｓ１６）。任意の形状の物を対象とし、画像上の位置を横軸として位相角ψを表す場合は、上述のとおり法線ベクトルの分布などに基づき位置のパラメータを正規化する。
【００７８】
この処理は、各位置を鏡面反射率に換算し、当該反射率を横軸にすることと等価である。当然、鏡面反射率が別途得られている場合は、それを横軸とすればよい。次に表面粗さ取得部６０は、位相角ψの変化を所定の基準に照らすことにより、対象物の表面粗さを特定する（Ｓ１８）。具体的には上述のとおり、位相角ψの変化の１次微分、２次微分、位相角ψが９０°から０°へ至るまでの鏡面反射率の範囲などを利用できる。定性的には、それらの基準により位相角ψの変化が緩やかであることがいえる場合は表面粗さが大きく、変化が急であることがいえる場合は表面粗さが小さい。
【００７９】
表面粗さ取得部６０は上述のとおり、変化の緩急を表すパラメータと、表面粗さの絶対値とを対応づけたルックアップテーブルを内部のメモリに保持し、得られたパラメータに基づき表面粗さの絶対値を取得してもよい。あるいは、基準となる表面粗さに対応する、変化の緩急を表すパラメータを１つ記憶しておき、得られたパラメータと基準値との大小関係により、基準の表面粗さより粗いか否かを特定するのみでもよい。画像解析部５４の空間情報取得部６２や出力データ生成部５６は、特定された表面粗さを用いて画像平面からその像の領域を特定したり、光源の位置や面積、その他の対象物の状態等を取得したりして適宜情報処理を実施し、出力データを生成、出力する（Ｓ２０）。
【００８０】
上述のとおり表面粗さのデータそのものを出力データとしてもよい。撮影画像を動画とし、ユーザ操作などにより処理を停止させる必要がない期間は（Ｓ２２のＮ）、後続の画像フレームに対しＳ１０〜Ｓ２０の処理を繰り返す。ただし一旦、表面粗さを特定したら、その後は該当する像の輪郭を追跡することにより目的を達する場合などは、適宜処理を省略する。あるいは表示のフレームレートより低いレートで、定期的に表面粗さの確認を行ってもよい。これにより追跡処理の誤認を修正することができる。ユーザ操作などにより処理を停止させる必要が生じたら全ての処理を終了させる（Ｓ２２のＹ）。
【００８１】
以上述べた本実施の形態によれば、偏光画像を利用して被写体表面の粗さを取得する。具体的には、偏光輝度が最大になるときの偏光方位を位相角として取得し、鏡面反射率あるいはそれと相関のあるパラメータに対する変化を求める。そして位相角の変化の緩急を所定の基準により評価することで、相対的または絶対値として表面粗さを特定する。これにより、特定の粗さを有する対象物の像を、光の状態によらず正確に抽出できるため、対象物の状態検知、認識、像の分離、およびそれらを利用した情報処理を安定した精度で行える。
【００８２】
また表面粗さが判明することにより、像の輝度分布などから光源の状態を特定できる。これにより、撮影画像に描画する仮想オブジェクトに適切なシェーディングを施すなど、精度の高い画像表現を実現できる。また、表面粗さを得るのに用いる位相角ψの変化の情報を逆に辿ることにより、位相角ψから鏡面反射率や鏡面反射と拡散反射の割合を求めることができる。これを利用すれば、実物体を模した仮想オブジェクトをより正確に描画したり、対象物の法線ベクトルの分布を精度よく求めたりすることもできる。
【００８３】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００８４】
１０  情報処理装置、  １２  撮像装置、  １６  表示装置、  ２３  ＣＰＵ、  ２４  ＧＰＵ、  ２６  メインメモリ、  ５０  画像取得部、  ５２  画像データ記憶部、  ５４  画像解析部、  ５６  出力データ生成部、  ５８  位相取得部、  ６０  表面粗さ取得部、  ６２  空間情報取得部。
【産業上の利用可能性】
【００８５】
以上のように本発明は、ゲーム装置、携帯端末、監視カメラシステム、車載カメラシステム、検品装置など各種情報処理装置に利用可能である。
【図１】
2019123625.tif 000004
【図２】
2019123625.tif 000005
【図３】
2019123625.tif 000006
【図４】
2019123625.tif 000007
【図５】
2019123625.tif 000008
【図６】
2019123625.tif 000009
【図７】
2019123625.tif 000010
【図８】
2019123625.tif 000011
【図９】
2019123625.tif 000012
【図１０】
2019123625.tif 000013
【図１１】
2019123625.tif 000014
【図１２】
2019123625.tif 000015
【図１３】
2019123625.tif 000016
【図１４】
2019123625.tif 000017
【図１５】
2019123625.tif 000018
【図１６】
2019123625.tif 000019
【図１７】
2019123625.tif 000020
【図１８】
2019123625.tif 000021
【図１９】
2019123625.tif 000022
【図２０】
2019123625.tif 000023
【図２１】
2019123625.tif 000024
【図２２】
2019123625.tif 000025
【図２３】
2019123625.tif 000026
【図２４】
2019123625.tif 000027
【国際調査報告】
2019123625.tif 000028
2019123625.tif 000029