(57)【特許請求の範囲】
【請求項１】
撮像装置が異なる視点からそれぞれ撮影した複数方位の偏光画像のデータを取得する撮影画像取得部と、
前記撮像装置の位置および姿勢に係る情報を視点の情報として取得する撮像装置情報取得部と、
被写体上の着目点を表す着目画素の偏光輝度を用いて、観測される光の、前記着目点における入射面を視点ごとに取得したうえ、視点の位置関係に基づき統合することで、ワールド座標系における着目点の状態情報を取得し出力する着目点情報取得部と、
第１の視点に対し得られた前記入射面に基づき、視点が移動すべき方向を決定し、当該入射面に対し所定の条件を満たしたときの移動後の視点を、次に前記入射面を導出する第２の視点として決定する視点制御部と、
を備えたことを特徴とする情報処理装置。
【請求項２】
前記視点制御部は、前記視点が移動すべき方向を画像として表示装置に表し、それに従う撮像装置の移動をユーザに指示することで視点を誘導することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記視点制御部は、撮像装置の視野内の像を前記表示装置に表示させ、前記視点が移動すべき方向を示す図形を重畳表示させることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記視点制御部は、前記第１の視点から撮影された画像における前記着目画素に対し、前記視点が移動すべき方向に存在する、前記被写体の特徴点を検出し、当該特徴点に向かう方向に視点を移動させるように誘導することを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記視点制御部は、前記第１の視点から撮影された画像における前記着目画素に対し、前記視点が移動すべき方向に所定の間隔を有する位置に目印をつけるようにユーザに指示したうえ、当該目印に向かう方向に視点を移動させるように誘導することを特徴とする請求項２に記載の情報処理装置。
【請求項６】
前記視点制御部は、前記第１の視点から撮影された画像における前記着目画素に対し、前記視点が移動すべき方向に所定の間隔を有する位置に、光線照射デバイスからの光を照射し、照射されたパターンに向かう方向に視点を移動させるように誘導することを特徴とする請求項２に記載の情報処理装置。
【請求項７】
前記着目点情報取得部は、視点ごとに取得した前記入射面の交線を、前記着目点の法線ベクトルとして取得することを特徴とする請求項１から６のいずれかに記載の情報処理装置。
【請求項８】
前記着目点情報取得部は、各視点から前記着目点への視線ベクトルの交点を、前記着目点の位置座標として取得することを特徴とする請求項１から７のいずれかに記載の情報処理装置。
【請求項９】
前記撮影画像取得部は、視点を移動させながら撮影された、各フレームに複数方位の偏光の情報を含む動画像のデータを取得し、
前記視点制御部は、前記第２の視点から得られたフレームを、前記入射面を取得するのに用いる偏光画像として決定することを特徴とする請求項１から８のいずれかに記載の情報処理装置。
【請求項１０】
前記撮影画像取得部は、異なる視点からそれぞれ撮影された静止画の偏光画像のデータを取得し、
前記視点制御部は、移動後の視点が前記条件を満たしたとき、シャッターを操作するようにユーザに指示することを特徴とする請求項１から８のいずれかに記載の情報処理装置。
【請求項１１】
前記着目点情報取得部は、視点を移動させたときの前記着目画素の偏光度の変化の割合が最大となる視点の移動方向と前記着目点を含む面を、当該移動方向のいずれかの点を視点とする前記入射面として取得し、
前記視点制御部はさらに、前記入射面を取得するために視点が移動すべき方向を決定することを特徴とする請求項１から１０のいずれかに記載の情報処理装置。
【請求項１２】
前記視点制御部は、移動後の視点が前記条件を満たしたか否かを、前記第１の視点に対し得られた前記入射面からの距離または当該入射面に対する角度に基づき判定することを特徴とする請求項１から１１のいずれかに記載の情報処理装置。
【請求項１３】
撮像装置が異なる視点からそれぞれ撮影した複数方位の偏光画像のデータを取得するステップと、
前記撮像装置の位置および姿勢に係る情報を視点の情報として取得するステップと、
被写体上の着目点を表す着目画素の偏光輝度を用いて、観測される光の、前記着目点における入射面を視点ごとに取得したうえ、視点の位置関係に基づき統合することで、ワールド座標系における着目点の状態情報を取得するステップと、
第１の視点に対し得られた前記入射面に基づき、視点が移動すべき方向を決定し、当該入射面に対し所定の条件を満たしたときの移動後の視点を、次に前記入射面を導出する第２の視点として決定するステップと、
前記着目点の状態情報を出力するステップと、
を含むことを特徴とする情報処理装置による被写体情報取得方法。
【請求項１４】
撮像装置が異なる視点からそれぞれ撮影した複数方位の偏光画像のデータを取得する機能と、
前記撮像装置の位置および姿勢に係る情報を視点の情報として取得する機能と、
被写体上の着目点を表す着目画素の偏光輝度を用いて、観測される光の、前記着目点における入射面を視点ごとに取得したうえ、視点の位置関係に基づき統合することで、ワールド座標系における着目点の状態情報を取得する機能と、
第１の視点に対し得られた前記入射面に基づき、視点が移動すべき方向を決定し、当該入射面に対し所定の条件を満たしたときの移動後の視点を、次に前記入射面を導出する第２の視点として決定する機能と、
前記着目点の状態情報を出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像を利用して被写体の状態を取得する情報処理装置および被写体情報取得方法に関する。
【背景技術】
【０００２】
従来、撮影画像を解析することにより、被写空間にある物体を認識したり、位置や姿勢を検出したりする技術は、ゲームなどの電子コンテンツ、物体や空間のモデリング、監視カメラなど様々な分野で利用されている。撮影画像における被写体の２次元の情報から位置や姿勢など３次元の情報を得る技術として様々な手法が研究されており、例えば偏光画像を用いて物体表面の法線を求める技術が提案されている（例えば非特許文献１、２参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Jeremy Riviere, et al. "Polarization imaging reflectometry in the wild", Technical Report 2016/8, Department of Computing. Imperial College London, ISSN 1469-4174, May 2016.
【非特許文献２】Zhaopeng Cui, et al. "Polarimetric Multi-View Stereo", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
偏光を利用した画像解析は一般に、偏光方位に対する輝度の変化に着目するため、周囲の明るさや被写体表面の特徴点の有無などに対し高い頑健性を有する。一方で、観測される光には鏡面反射と拡散反射という反射の態様が異なる光が含まれるため、用いるモデルの適性によっては演算の精度が悪化し得る。【０００５】
そのため、ステレオカメラや赤外線照射により別途求めた被写体までの距離情報と組み合わせて補助的に用いたり、反射の態様が既知の材質を対象としたりするなど、適用シーンが限定されやすい。材質や法線など未知のパラメータを仮定して観測される光を計算し、実際の観測結果に合致するようにそれらのパラメータを導出するインバースレンダリングといった手法も提案されているが、処理の負荷が大きく、特に応答性が求められる状況においては不利となる。【０００６】
本発明はこうした課題に鑑みてなされたものであり、その目的は、偏光画像を用いて被写体の情報を容易に取得できる技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様は情報処理装置に関する。この情報処理装置は、撮像装置が異なる視点からそれぞれ撮影した複数方位の偏光画像のデータを取得する撮影画像取得部と、撮像装置の位置および姿勢に係る情報を視点の情報として取得する撮像装置情報取得部と、被写体上の着目点を表す着目画素の偏光輝度を用いて、観測される光の、着目点における入射面を視点ごとに取得したうえ、視点の位置関係に基づき統合することで、ワールド座標系における着目点の状態情報を取得し出力する着目点情報取得部と、第１の視点に対し得られた入射面に基づき、視点が移動すべき方向を決定し、当該入射面に対し所定の条件を満たしたときの移動後の視点を、次に入射面を導出する第２の視点として決定する視点制御部と、を備えたことを特徴とする。【０００８】
本発明の別の態様は被写体情報取得方法に関する。この被写体情報取得方法は情報処理装置が、撮像装置が異なる視点からそれぞれ撮影した複数方位の偏光画像のデータを取得するステップと、撮像装置の位置および姿勢に係る情報を視点の情報として取得するステップと、被写体上の着目点を表す着目画素の偏光輝度を用いて、観測される光の、着目点における入射面を視点ごとに取得したうえ、視点の位置関係に基づき統合することで、ワールド座標系における着目点の状態情報を取得するステップと、第１の視点に対し得られた入射面に基づき、視点が移動すべき方向を決定し、当該入射面に対し所定の条件を満たしたときの移動後の視点を、次に入射面を導出する第２の視点として決定するステップと、着目点の状態情報を出力するステップと、を含むことを特徴とする。【０００９】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によると、偏光画像を用いて被写体の位置や姿勢の情報を容易に取得できる。
【図面の簡単な説明】
【００１１】
【図１】本実施の形態における情報処理システムの構成例を示す図である。
【図２】本実施の形態で利用する偏光画像の撮影環境を模式的に示す図である。
【図３】本実施の形態で利用する偏光方位に対する輝度の変化を例示する図である。
【図４】法線ベクトルの天頂角に対する偏光度の変化を、鏡面反射と拡散反射で比較する図である。
【図５】本実施の形態の撮像装置に導入できる、偏光子層を備える撮像素子の構造例を示す図である。
【図６】本実施の形態における情報処理装置の内部回路構成を示す図である。
【図７】本実施の形態における情報処理装置の機能ブロックの構成を示す図である。
【図８】本実施の形態において、情報処理装置が偏光画像を用いて被写体の状態情報を取得する処理手順を示すフローチャートである。
【図９】本実施の形態における撮像装置の視点、被写体上の着目点、および撮影画像上の着目画素の位置関係を模式的に示す図である。
【図１０】本実施の形態において、複数の視点に対応する入射面から着目点の法線を取得する様子を模式的に示す図である。
【図１１】本実施の形態において、視点制御部が撮像装置の視点を誘導するために、出力データ生成部を介して表示装置に表示させる画面の例を示す図である。
【図１２】図８のＳ２２において着目点情報取得部が被写体の状態情報を取得する処理手順を示すフローチャートである。
【図１３】本実施の形態において、第２の視点の画像平面に第１の視点からの視線ベクトルを射影した様子を模式的に示す図である。
【図１４】図１２のＳ４０において、天頂角と偏光度の関係を利用して法線ベクトルの信頼度を評価する手法を説明するための図である。
【図１５】図１２のＳ４０において、天頂角と偏光度の関係を利用して法線ベクトルの信頼度を評価する手法の別の例を説明するための図である。
【図１６】本実施の形態において偏光度を法線ベクトルの信頼度評価に利用する妥当性を説明するための図である。
【図１７】本実施の形態において天頂角θに対する偏光度の変化に基づき入射面を特定する手法を説明するための図である。
【発明を実施するための形態】
【００１２】
図１は、本実施の形態における情報処理システムの構成例を示している。この情報処理システムは、被写体８を撮影する撮像装置１２、その撮影画像のデータを取得し所定の情報処理を行う情報処理装置１０、および情報処理の結果を出力する表示装置１６を含む。情報処理システムにはさらに、情報処理装置１０に対する操作をユーザから受け付ける入力装置が含まれていてもよい。情報処理装置１０はさらに、インターネットなどのネットワークに接続することでサーバなど外部の装置と通信可能としてもよい。
【００１３】
情報処理装置１０と撮像装置１２および表示装置１６とは、有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。また情報処理装置１０、撮像装置１２、表示装置１６のいずれか２つ以上を組み合わせて一体的な装置としてもよい。例えばそれらを装備したカメラや携帯端末などで情報処理システムを実現してもよい。カメラの場合、表示装置１６は電子ファインダーとしてもよい。あるいは表示装置１６を、ユーザが頭部に装着することで眼前に画像を表示させるヘッドマウントディスプレイとし、当該ヘッドマウントディスプレイに、ユーザの視線に対応する画像を撮影するように撮像装置１２を設けてもよい。いずれにしろ情報処理装置１０、撮像装置１２、表示装置１６の外観形状は図示するものに限らない。
【００１４】
このようなシステムにおいて情報処理装置１０は、撮像装置１２が撮影した偏光画像のデータを取得し、被写体８上の着目点の法線および３次元空間での位置の少なくともいずれかを特定する。そして、その結果に基づき画像や音声のデータを生成し表示装置１６に出力する。被写体８上の着目点は１つでもよいし複数でもよい。たとえば被写体８上に所定値以上の密度で着目点を設定し、それぞれの位置を求めれば、被写体８の形状を特定することができる。
【００１５】
そのうえで、いずれかの着目点における法線を所定の頻度で求めれば、当該被写体８の姿勢の変化を取得できる。当然、全ての着目点について位置を取得しつづければ、被写体８の姿勢の変化や移動先を取得できる。以後、着目点の法線および位置、被写体の形状および姿勢を「被写体の状態情報」と総称する場合がある。偏光画像を用いて取得した被写体の状態情報に基づき、情報処理装置１０が出力するデータの内容は限定されない。
【００１６】
例えば得られた状態情報自体を表すデータを出力してもよいし、それらを統合し被写空間の環境マップを生成し出力してもよい。あるいはそのような状態情報を利用して別途情報処理を実施し、その結果を画像や音声として出力してもよい。例えば被写体８に含まれる所定の対象物をゲームのコントローラとし、その動きをユーザ操作として認識することで、電子ゲームや任意の情報処理を進捗させてもよい。
【００１７】
あるいは被写体８を含む被写空間を仮想オブジェクトに置換して仮想世界を表したり、被写体８とインタラクションする仮想オブジェクトを撮影画像上に描画したりしてもよい。実世界を仮想オブジェクトとしてモデル化することにより、ユーザの視線に対応する視野で描画した仮想世界をヘッドマウントディスプレイに表示させてもよい。偏光画像を用いて取得した被写体の状態情報を一旦、記憶装置などに格納しておき、後のタイミングで別の情報処理に利用してもよい。表示画像として自然光の撮影画像を用いる場合、撮像装置１２は自然光の画像も撮影し、情報処理装置１０に供給する。
【００１８】
図２は、本実施の形態で利用する偏光画像の撮影環境を模式的に示している。撮像装置１２は、直線偏光板７０を介して被写体７２を含む空間を撮影する。より詳細には撮像装置１２は、光源７４から照射された光が被写体７２を反射してなる鏡面反射成分と、被写体７２内部で散乱されてなる拡散反射成分で構成される反射光のうち、直線偏光板７０を透過した偏光を観測する。
【００１９】
ここで直線偏光板７０は、被写体７２から撮像装置１２へ到達する反射光のうち、ある方向（「偏光方位」と呼ぶ）に振動する直線偏光のみを透過する。直線偏光板７０を面に垂直な軸周りに回転させれば、偏光方位を任意の方向にとることができる。仮に撮像装置１２へ到達する光が無偏光であれば、直線偏光板７０を回転させても、観測される輝度は一定となる。一方、一般的な反射光は部分偏光により、偏光方位に対し観測される輝度に変化が生じる。
【００２０】
被写体７２上の着目点ａの像として観測される光は、その位置での被写体７２の法線ベクトルｎを含む入射面７６内での反射光である。鏡面反射は入射面７６に垂直な方向に振動する、いわゆるｓ偏光が支配的であり、拡散反射は入射面７６に平行な方向に振動する、いわゆるｐ偏光が支配的であることが知られている。またｓ偏光とｐ偏光の割合は、入射面７６において、法線ベクトルｎと観測される光線のなす角度θ（「天頂角」と呼ぶ）に依存する。
【００２１】
このため偏光の度合いすなわち偏光度や偏光位相は、撮像装置１２の視点と着目点ａでの法線ベクトルｎとの関係により定まる入射面７６および天頂角θと、鏡面反射および拡散反射の割合に依存して変化する。還元すれば、鏡面反射と拡散反射の割合を想定したうえで、直線偏光板７０を回転させ、偏光方位に対する輝度の変化を取得することにより、撮像装置１２から見た法線ベクトルｎを推定することができる。なお以後の説明で「入射面を求める」とは、入射面の角度を撮影画像平面あるいは３次元空間で求めることを意味する。また撮像装置１２の「視点」とは、撮像装置１２のレンズ中心の位置に加え、レンズの方向も含み得る。
【００２２】
図３は、偏光方位φに対する輝度Ｉの変化を例示している。同図上段は鏡面反射が支配的な場合、下段は拡散反射が支配的な場合であり、どちらも１８０°周期の正弦波の形状を有する。一方、鏡面反射の輝度Ｉが最大値Ｉｍａｘをとるときの偏光方位ψｓと、拡散反射の輝度Ｉが最大値Ｉｍａｘをとるときの偏光方位ψｄには９０°の差がある。これは上述したように、鏡面反射においてはｓ偏光が、拡散反射においてはｐ偏光が支配的なことに起因する。
【００２３】
ｓ偏光が入射面に垂直、ｐ偏光が入射面に平行な振動であることに鑑みれば、鏡面反射において輝度が最小となる偏光方位（ψｓ−９０°）、あるいは拡散反射において輝度が最大となる偏光方位ψｄが、入射面の角度を表す。法線ベクトルｎは常に入射面に含まれるため、当該角度は、法線ベクトルｎを撮影画像平面に射影したベクトルの角度を表す。この角度は一般的に、法線ベクトルｎの方位角と呼ばれる。当該方位角に加え、入射面での天頂角を求めることにより、撮像装置１２から見た３次元空間での法線ベクトルが一意に定まる。以後、観測される偏光の輝度が最大となるときの偏光方位を位相角ψと呼ぶ。図３で示す輝度Ｉの変化は、位相角ψを用いて次の式で表すことができる。
【００２４】
【数１】
0006933776.tif 000002
【００２５】
直線偏光板７０を回転させ複数の偏光方位φに対し観測される輝度を、最小二乗法等を用いて式１の形式に近似することにより、Ｉｍａｘ、Ｉｍｉｎ、ψを求めることができる。そのうちＩｍａｘ、Ｉｍｉｎを用いて、次の式により偏光度ρが求められる。
【００２６】
【数２】
0006933776.tif 000003
【００２７】
図４は、法線ベクトルの天頂角に対する偏光度の変化を、鏡面反射と拡散反射で比較している。上段に示す鏡面反射の場合、偏光度は最大で１．０までの値をとるのに対し、下段に示す拡散反射の偏光度は、最大でも０．４程度である。上述のとおり位相角ψに対する入射面の角度は、鏡面反射と拡散反射のどちらが支配的であるかによって９０°異なる。すなわち偏光方位に対する輝度の変化を式１のように表し位相角ψを求めても、入射面には９０°の不定性が生じる。
【００２８】
そこで本実施の形態では、偏光度に対ししきい値Ｔｈρを設定し、それ以上の偏光度を有する点を選択して着目点とすることにより、鏡面反射モデルに基づき法線ベクトルを特定する。すなわち偏光度がしきい値Ｔｈρ以上の偏光の輝度の、偏光方位に対する振る舞いを式１の形式に近似し、当該輝度が最小となる偏光方位（ψ−９０°）を入射面の角度とする。なお鏡面反射光の偏光度ρｓは、天頂角θと被写体の屈折率ηの関数として次の式で表せる。
【００２９】
【数３】
0006933776.tif 000004
【００３０】
図示した偏光度は、屈折率ηが１．６の場合を代表的に表している。一般的な人工物の屈折率はおよそ１．５〜１．６程度で大きく変化しないため、しきい値Ｔｈρを被写体によらず一定としても差し支えない。ただし被写体の材質に応じてしきい値Ｔｈρを厳密に設定してもよい。また本実施の形態では後述するように、天頂角に対する鏡面反射の偏光度の変化を、推定した法線ベクトルの信頼度の評価においても利用する。この場合も、屈折率ηに対し偏光度の傾向が大きく変化しないことを利用し、被写体によらず同様の演算で評価を行うことができる。一方で、被写体の材質によって偏光度を厳密に求め、それを評価に用いてもよい。
【００３１】
式３の関係を利用すると、入射面内での法線ベクトルの角度すなわち天頂角θを、偏光度ρから導出できることになる。しかしながらこのようにして得た法線ベクトルの方位角および天頂角は、撮像装置１２の視点を基準としたものに過ぎない。また当該情報のみから、着目点のワールド座標系での位置座標を得ることはできない。そのため偏光画像を用いた解析は一般に、別の測定系を用いて求めた、撮像装置１２から被写体までの距離値の補間や、位置が判明している被写体の姿勢の変化の特定などに、補助的に利用されることが多い。
【００３２】
一方、本実施の形態では、撮像装置１２の視点を自由に変化させ、そのうち少なくとも２視点からの偏光画像を解析することにより、同じ着目点に対し入射面を複数取得する。そして当該視点ごとの入射面の情報を、視点の位置関係に基づき統合することで、ワールド座標系における着目点の状態情報を取得する。具体的には、どの入射面にも法線ベクトルが含まれていることから、少なくとも２つの入射面の交線から、ワールド座標系での法線ベクトルを求める。
【００３３】
ここで、法線ベクトルと視点の位置関係による定まる天頂角と偏光度との関係に基づき、得られた法線ベクトルの信頼度を評価する。さらに１つの着目点が当該２視点からどの方向にあるかを特定することで、着目点のワールド座標系での位置座標を取得する。結果として、偏光画像のみを用いて被写体の状態情報をワールド座標系で取得できる。
【００３４】
なお本実施の形態において、偏光輝度を観測する手段は直線偏光板に限らない。例えば撮像素子構造の一部として偏光子の層を設けてもよい。図５は、本実施の形態の撮像装置１２に導入できる、偏光子層を備える撮像素子の構造例を示している。なお同図は素子断面の機能的な構造を模式的に示しており、層間絶縁膜や配線などの詳細な構造は省略している。撮像素子１１０はマイクロレンズ層１１２、ワイヤグリッド型偏光子層１１４、カラーフィルター層１１６、および光検出層１１８を含む。
【００３５】
ワイヤグリッド型偏光子層１１４は、複数の線状の導体部材を入射光の波長より小さい間隔でストライプ状に配列させた偏光子を含む。マイクロレンズ層１１２により集光された光がワイヤグリッド型偏光子層１１４に入射すると、偏光子のラインと平行な方位の偏光成分は反射され、垂直な偏光成分のみが透過する。透過した偏光成分を光検出層１１８で検出することにより偏光画像が取得される。光検出層１１８は一般的なＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子構造を有する。
【００３６】
ワイヤグリッド型偏光子層１１４は、光検出層１１８における電荷の読み取り単位、すなわち画素単位、あるいはそれより大きな単位で透過する偏光方位が異なるような偏光子の配列を含む。同図右側には、ワイヤグリッド型偏光子層１１４を上面から見たときの偏光子配列１２０を例示している。同図において網掛けされたラインが偏光子を構成する導体（ワイヤ）である。なお点線の矩形はそれぞれ１方向の偏光子の領域を表しており、点線自体は実際に形成されるものではない。
【００３７】
図示する例では、４方向の偏光子が２行２列の４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに配置されている。図中、対角線上にある偏光子はその透過方向が直交しており、隣り合う偏光子は４５°の差を有する。すなわち４５°おきの４方向の偏光子を設けている。これが直線偏光板７０の代わりとなり、下に設けた光検出層１１８においては、４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに対応する各領域で、４５°おきの４方位の偏光情報を得ることができる。このような偏光子配列をさらに縦方向、横方向に所定数、配列させ、電荷読み出しのタイミングを制御する周辺回路を接続することにより、４方位の偏光情報を２次元データとして同時に取得するイメージセンサを実現できる。
【００３８】
同図に示す撮像素子１１０では、ワイヤグリッド型偏光子層１１４と光検出層１１８の間にカラーフィルター層１１６を設けている。カラーフィルター層１１６は、例えば各画素に対応させて赤、緑、青の光をそれぞれ透過するフィルタの配列を含む。これにより、上下に位置するワイヤグリッド型偏光子層１１４における偏光子の方向とカラーフィルター層１１６におけるフィルタの色の組み合わせに応じて、偏光情報が色別に得られる。すなわち同一方位かつ同一色の偏光情報が画像平面上で離散的に得られるため、それを適宜補間することにより、方位ごとおよび色ごとの偏光画像が得られる。
【００３９】
また同一色の偏光画像同士を演算することにより、無偏光のカラー画像を再現することもできる。ワイヤグリッド型偏光子を用いた画像取得技術については、例えば特開２０１２−８００６５号公報などにも開示されている。ただし本実施の形態では基本的に偏光輝度画像を用いるため、その他の用途でカラー画像が必要なければカラーフィルター層１１６を省略することもできる。また偏光子はワイヤグリッド型に限らず、線二色性偏光子などを用いることもできる。
【００４０】
偏光輝度の方位依存性を式１の形式に近似する場合、同じ着目点に対し少なくとも３方位の偏光輝度が必要となる。図示する撮像素子によれば、被写体上の略同一の位置に対し４方位の偏光輝度が同時に得られるためこの条件を満たすが、直線偏光板７０と比較し方位の自由度が少なく、場合によっては近似式が大きな誤差を含み得る。しかしながら本実施の形態では、上述のとおり偏光度がしきい値Ｔｈρ以上の点を処理対処とする。つまりＩｍａｘとＩｍｉｎの差が大きい点のみを演算の対象とすることにより、限定的な方位の偏光でも近似式が誤差を含みにくく、位相角ψ、ひいては被写体の状態情報を、精度よく求めることができる。
【００４１】
図６は、情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、表示装置１６へデータを出力する出力部３６、撮像装置１２や図示しない入力装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。
【００４２】
ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、図示しないフレームバッファに表示画像のデータを格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。
【００４３】
図７は、本実施の形態の情報処理装置１０の機能ブロックの構成を示している。同図においてさまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、図６で示したＣＰＵ２３、ＧＰＵ２４、メインメモリ２６等の各種回路で構成することができ、ソフトウェア的には、記録媒体駆動部４０により駆動される記録媒体や記憶部３４からメインメモリ２６にロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００４４】
情報処理装置１０は、撮像装置１２から撮影画像のデータを取得する撮影画像取得部５０、取得した画像のデータを格納する画像データ記憶部５２、撮像装置１２の位置および姿勢の情報を取得する撮像装置情報取得部５３、撮影画像に基づき被写体の法線や形状に係る情報を取得する被写体情報取得部５４、および、被写体の状態情報に基づき出力すべきデータを生成する出力データ生成部５６を含む。
【００４５】
撮影画像取得部５０は図６の入力部３８、ＣＰＵ２３などで実現され、撮像装置１２から、複数の視点から撮影された偏光画像を含む画像のデータを取得する。このとき偏光画像として、１視点当たり少なくとも３方位の偏光輝度の画像を取得する。上述のとおり複数方向の偏光子を含む偏光子層を設けたイメージセンサを導入した場合は特に、複数方位の情報を含む偏光画像を画像フレームとする動画像データを取得してもよい。このとき、連続して視点を移動させつつ撮影された動画像のデータを取得してもよい。
【００４６】
または２つ以上の視点で個別に撮影された静止画のデータを取得してもよい。あるいは撮像装置１２を、異なる視点が得られるように固定された複数のカメラとし、各カメラが撮影した静止画や動画のデータを取得してもよい。表示装置１６への表示に撮影画像を用いる場合など、情報処理の目的や画像解析の内容によっては、撮影画像取得部５０はさらに、一般的なカラーの撮影画像のデータも取得してよい。撮影画像取得部５０は、取得した撮影画像のデータを画像データ記憶部５２に格納する。
【００４７】
なお１つの画像フレームが複数方位の偏光情報を含む場合、撮影画像取得部５０は、偏光方位ごとに画素値を分離し、適宜補間することにより複数方位の偏光画像を生成したうえ画像データ記憶部５２に格納する。撮像装置情報取得部５３は図６の入力部３８、ＣＰＵ２３などで実現され、少なくとも偏光画像が撮影されたタイミングにおける、実空間での撮像装置１２の位置および姿勢を取得する。典型的には撮像装置１２が備えるモーションセンサが計測する、加速度、角速度などの計測値に基づき、撮像装置１２の位置および姿勢を所定の時間ステップで導出する。
【００４８】
あるいは撮影画像取得部５０が取得した撮影画像に基づき、ＳＬＡＭ（Simultaneous Localization and Mapping）などの画像解析技術により撮像装置１２の位置や姿勢を導出してもよい。これらの技術は広く知られているため説明は省略する。被写体情報取得部５４は図６のＣＰＵ２３、ＧＰＵ２４などで実現され、画像データ記憶部５２に格納された偏光画像のデータおよび、撮像装置情報取得部５３が取得した撮像装置１２の位置および姿勢の情報を用いて、被写体上の着目点の法線ベクトルおよび位置座標を、ワールド座標系において取得する。被写体情報取得部５４は、着目点の集合体を被写体の表面とすることで、被写体の形状や姿勢も取得してよい。
【００４９】
より詳細には被写体情報取得部５４は、視点制御部６０および着目点情報取得部６４を含む。視点制御部６０は、撮像装置１２の位置および姿勢の情報を用いて、偏光画像が好適な視点から撮影されるように制御する。ユーザが把持したり装着したりして撮像装置１２を動かす態様においては、ある視点において撮影された偏光画像を基準として定めたうえ、以降の撮影における視点の移動方向をユーザに通知する。通知は出力データ生成部５６を介して表示装置１６に画像として表示させたり、音声として出力させたりすることで行う。
【００５０】
本実施の形態では上述のとおり、複数の視点に対し得られた入射面や着目点までの視線を利用して、法線や位置座標をワールド座標系で導出する。このとき、一方の視点の入射面に対し他方の視点が離れているほど、算出結果が誤差を含みにくくなる。したがって視点制御部６０は、着目点が視野から外れないことを条件に、前の視点に対する入射面から離れる方向に、ひいては入射面が９０°に近づく方向に、視点を誘導する。そして適切な視点が得られた時点で撮影された偏光画像を解析対象とする。このとき視点制御部６０がシャッタータイミングを通知することにより、ユーザが静止画を撮影してもよいし、一連の動画像データから、適切な視点における画像フレームを視点制御部６０が抽出してもよい。
【００５１】
なお本実施の形態はユーザが撮像装置１２を動かす態様に限定されず、上述のとおり複数の撮像装置を適切な視点で固定しておいてもよい。あるいは撮像装置１２に、視点制御部６０が位置や姿勢を制御可能な機構を設けてもよい。ただし本実施の形態は、２視点など少ない視点から撮影された画像を用いて被写体の状態情報を取得できるため、ユーザが撮像装置１２を動かす態様としても、大きな手間にはならないうえ導入コストも抑えられる。以後、基準となる偏光画像を撮影したときの視点を「第１の視点」、それに対し解析上、適切な位置関係を有する視点を「第２の視点」と呼ぶ。ただし第２の視点は１つでもよいし２つ以上でもよい。
【００５２】
着目点情報取得部６４は、第１の視点から撮影された偏光画像に対し着目画素を設定し、当該着目画素における偏光輝度の方位依存性に基づき入射面を取得する。ここで「着目画素」とは、３次元空間での被写体上の着目点を画像平面に射影してなる画素である。すなわちこの処理は、被写体上で着目点を設定し、当該着目点における、第１の視点に対する入射面を決定することに他ならない。着目画素としては上述のとおり、偏光度がしきい値以上の画素を選択する。得られた入射面は、視点制御部６０において第２の視点の制御にも用いられる。
【００５３】
着目点情報取得部６４はさらに、第２の視点から撮影された偏光画像に対し、被写体上の同じ着目点を表す画素における入射面を取得する。ここで第２の視点から撮影された偏光画像において、第１の視点の画像を用いて設定したのと同じ着目点を表す画素の位置は、明確な特徴点などがない限り未知である。そこで着目点情報取得部６４は、第１の視点から着目点への視線ベクトルを第２の視点の画像平面に射影し、その直線上で被写体の法線ベクトルを取得していく。そして、天頂角と偏光度の関係を利用して各法線ベクトルの信頼度を評価することで、同じ着目点を表す画素を特定する。
【００５４】
これにより、第２の視点から撮影された画像平面における、対応する着目画素の特定と、着目点における法線ベクトルの取得を同時に行える。なおこれらの処理は、複数の着目点に対し並列に実施してもよい。着目点情報取得部６４は、そのようにして得られた法線ベクトルを所定の基準でさらに評価し、信頼度を付与してもよい。信頼度が所定のしきい値を下回る場合、当該法線ベクトルは出力結果から除外してもよい。あるいは各法線ベクトルに信頼度を対応づけて出力してもよい。
【００５５】
さらに着目点情報取得部６４は必要に応じて、各視点から画像平面上の着目画素への視線を延長し、その交点を着目点の位置座標として取得する。この場合も、対応する法線ベクトルに対し取得した信頼度に基づき出力対象をスクリーニングしたり、信頼度を対応づけたうえで出力したりする。
【００５６】
出力データ生成部５６は、図６のＣＰＵ２３、ＧＰＵ２４、出力部３６などで実現し、被写体情報取得部５４が取得した被写体の状態情報、あるいはそれに基づき所定の情報処理を実施した結果を表すデータを生成、出力する。例えば被写空間に存在する実物体を仮想オブジェクトに置換したり実物体とインタラクションする仮想オブジェクトを描画したりする場合、出力データ生成部５６は、そのような運用の初期処理として、実空間をモデル化した環境マップを作成し出力する。このときの出力先はメインメモリ２６などの記憶装置でもよい。
【００５７】
あるいは被写体情報取得部５４の出力データを利用してゲームなど所定の情報処理を実施し、その結果を表す表示画像や音声のデータを表示装置１６に出力してもよい。このとき出力データ生成部５６は、画像データ記憶部５２に格納された自然光の撮影画像などを適宜利用してよい。実物体の法線や形状を利用して実現できる情報処理が様々に考えられることは、当業者には理解されるところである。
【００５８】
次に、以上の構成によって実現できる情報処理装置１０の動作について説明する。図８は、情報処理装置１０が偏光画像を用いて被写体の状態情報を取得する処理手順を示すフローチャートである。このフローチャートは、撮像装置１２をユーザが動かして視点を移動させる態様を想定している。また、情報処理装置１０が撮像装置１２と通信を確立して、撮像装置情報取得部５３がその位置や姿勢に係る情報を、撮影画像取得部５０が撮影画像のデータを、逐次取得するのと並行して進捗する。
【００５９】
被写体情報取得部５４の視点制御部６０はまず、第１の視点の画像のデータを取得する（Ｓ１０）。このとき上述のとおり、ある視点から撮影された静止画をそのまま第１の視点の画像としてもよいし、連続して変化する視点から撮影された動画像のうち、視点制御部６０が抽出した画像フレームを第１の視点の画像としてもよい。
【００６０】
続いて着目点情報取得部６４は、第１の視点の偏光画像に対し着目画素を設定する（Ｓ１２）。具体的には偏光画像の画素ごとに、偏光輝度の変化を式１に近似したうえ、式２により得られる偏光度の値が、しきい値Ｔｈρ以上の画素を着目画素として選択する。なおそのような画素を全て着目画素とする趣旨ではなく、対象物の像の領域のみを対象としてもよいし、そのうち所定の間隔おきの画素のみを対象としてもよい。あるいは１つの画素のみを着目画素としてもよい。着目画素を１つ設定する場合、しきい値判定の代わりに最大の偏光度が得られた画素を選択してもよい。
【００６１】
さらに着目点情報取得部６４は、式１の近似により得られる位相角ψから、第１の視点に対する入射面（基準の入射面）を着目画素ごとに求める（Ｓ１４）。偏光度が大きい画素を着目画素としたことにより、入射面の角度は鏡面反射モデルを適用しψ−９０°として得られる。ワールド座標系における第１の視点の情報、すなわち撮像装置１２の位置および姿勢の情報を用いることにより、当該視点に対しψ−９０°を有する平面を、ワールド座標系において定義できる。
【００６２】
次に視点制御部６０は、第２の視点が適切に得られるように、撮像装置１２の視点を誘導する（Ｓ１６）。ここで適切な視点とは上述のとおり、Ｓ１２で設定した着目画素が表す、被写体上の着目点が視野に入っており、かつ入射面同士のなす角度が十分な視点である。ただしこの時点では、着目点やその像の位置が未知のため、第２の視点に対する入射面を厳密に得ることはできない。そこで例えば、入射面同士のなす角度を、第１の視点における入射面に対する、光軸のなす角度で近似する。
【００６３】
２つの視点に対応する２つの入射面から法線ベクトルを求める場合、入射面のなす角度は９０°に近いことが望ましい。一方、３つ以上の視点にそれぞれ対応する入射面から法線ベクトルを求める場合は、最大角度をなす２つの入射面の角度が９０°に近く、当該角度をおよそ均等に分割した角度でその他の入射面が得られることが望ましい。したがって、解析に用いる撮影画像の視点の数に応じて、光軸の角度に適切なしきい値を設定しておく。あるいは単に、視点の位置を用いて適性を判定してもよい。この場合は例えば、第１の視点における入射面からの距離がしきい値以上のとき、適切な視点と判定する。
【００６４】
視点が適切とされる条件を満たしていない間は（Ｓ１８のＮ）、視点制御部６０は視点の誘導を継続する（Ｓ１６）。条件を満たした時点で（Ｓ１８のＹ）、視点制御部６０はそのとき撮影された偏光画像を第２の視点の画像とする（Ｓ２０）。なお３つ以上の視点から撮影された画像を用いる場合は、Ｓ１６〜Ｓ２０の処理を繰り返す。処理に用いる偏光画像の視点の数は、求められる精度、情報処理装置１０の処理性能、処理に許容される時間などに基づき適切に設定しておく。
【００６５】
次に着目点情報取得部６４は、第２の視点から撮影された偏光画像を用いて、同じ着目点における入射面を取得したうえ、第１の視点に対する入射面との交線を求めることにより、着目点の法線ベクトルを導出する。さらに、各視点から着目点へ向かう視線ベクトルの交点を求めることにより、着目点の位置座標を導出する（Ｓ２２）。この処理において、法線ベクトルを導出した際の状況や周囲の結果との整合性などに応じて法線ベクトルの信頼度を評価し、適宜スクリーニングしたり信頼度を付与したりする。
【００６６】
着目点情報取得部６４は被写体上の着目点ごとに、ワールド座標系での法線ベクトルや位置座標、それに対する信頼度を適宜対応づけ、出力データ生成部５６に供給する。出力データ生成部５６はその結果自体を表すデータ、あるいはそれを利用してゲームや画像描画などの処理を実施してなる出力データを生成し出力する（Ｓ２４）。被写体の状態情報を利用して情報処理を実施する場合、着目点ごとのデータの信頼度を利用して、情報処理に用いる値をスクリーニングしたり、信頼度を重みとして、処理結果に与える影響を調整したりできる。
【００６７】
図９は、撮像装置１２の視点、被写体上の着目点、および撮影画像上の着目画素の位置関係を模式的に示している。本実施の形態で想定する一般的な中心射影方式の撮像装置１２によれば、被写体７２上の着目点ａの像は、撮像装置１２の視点８４と着目点ａを結ぶ直線Ｌと撮影画像の平面８０の交点ｂに射影される。ここで撮影画像の平面８０は、視点８４から光軸Ｏの方向に焦点距離ｆだけ離れた位置における、光軸に垂直な平面であり、そのサイズは撮像装置１２の視野角によって定まる。本実施の形態では焦点距離ｆや視野角など撮像装置１２の内部パラメータがあらかじめ取得されているものとする。
【００６８】
撮像装置情報取得部５３が撮像装置１２の位置および姿勢を取得することにより、視点８４の位置座標と光軸Ｏの向きは既知となる。したがって撮影画像の平面８０はワールド座標系で定義できる。上述した射影の関係に鑑みれば、被写体上の着目点ａの位置座標が未知であっても、撮影画像の平面８０において射影される点、すなわち着目画素ｂの位置座標を与えることにより、着目点ａが存在し得る直線Ｌがワールド座標系において一意に定まる。以後、撮像装置１２の視点８４から着目点ａへ向かうベクトルを視線ベクトルと呼ぶ。
【００６９】
一方、偏光輝度の方位依存性に基づいて、式１および式２から、位相角ψと偏光度ρが、平面８０上の画素ごとに求められる。偏光度ρが所定のしきい値より大きい点を着目画素ｂとして選択すれば、鏡面反射モデルを適用して位相角ψから入射面８５の角度ψ−９０°が求められる。当該入射面８５は、視線ベクトルＬと、着目点ａにおける法線ベクトルｎを含む平面である。撮影画像の平面８０がグローバル座標系で得られていることにより、入射面８５もワールド座標系で定義される。
【００７０】
図１０は、複数の視点に対応する入射面から着目点の法線を取得する様子を模式的に示している。ここで撮像装置１２ａ、１２ｂの視点をそれぞれ、第１の視点、第２の視点とする。まず第１の視点において、被写体７２上の着目点ａに対し得られる入射面８６ａは、着目点ａへ向かう視線ベクトルＬ１と着目点ａの法線ベクトルｎを含む。ここで撮像装置１２を第２の視点へ移動させ、同じように入射面８６ｂを求めれば、法線ベクトルｎは、入射面８６ａ、８６ｂの交線と一致する。またそのときの視線ベクトルＬ２と第１の視点からの視線ベクトルＬ１の交点は着目点ａと一致する。
【００７１】
ここで、２つの視点に対応する視線ベクトルＬ１とＬ２の角度が大きいほど、より厳密には、第２の視点に対する視線ベクトルＬ２と、第１の視点の入射面８６ａとのなす角度が９０°に近いほどノイズ耐性が向上し、結果として着目点ａの法線ベクトルｎや位置座標の精度が高くなる。そこで視点制御部６０は上述のとおり、適切な視点の移動方向やレンズが向く方向に係る情報をユーザに提示する。
【００７２】
図１１は、視点制御部６０が撮像装置１２の視点を誘導するために、出力データ生成部５６を介して表示装置１６に表示させる画面の例を示している。（ａ）、（ｂ）、（ｃ）、（ｄ）に示す矩形はいずれも、第１の視点で撮影されたタイミングにおいて表示される画面を示しており、ベースとして第１の視点での撮影画像が表されている。この例では、球形の被写体９０が撮影されている。また同図においては、被写体９０の像上に着目画素９２が設定されている様子も示しているが、実際には表示させなくてもよい。
【００７３】
視点制御部６０は上述のとおり、第１の視点の撮影画像に設定された着目画素９２が視野から外れないように、かつ入射面同士のなす角度が９０°に近づくように、視点を誘導する。（ａ）の例では、着目画素９２を囲む丸印９６と、それを始点として左右に向かう矢印９４ａ、９４ｂを、撮影画像に重畳表示させている。ここで矢印の方向は、第１の視点における入射面から離れる方向であり、図示するような左右の向きとは限らない。矢印９４ａ、９４ｂを重畳表示させた状態で、例えば「丸印を画面中央付近に収めながら、カメラをどちらかの矢印の方向に移動させて下さい」といったガイダンスを、文字列あるいは音声で示す。
【００７４】
これに従いユーザが、撮像装置１２をどちらかの方向に移動させている期間、撮像装置１２が捉えている被写空間の様子と、重畳表示させた矢印等を、継続して表示させる。例えば着目画素を示す丸印９６を、撮像装置１２の視点の移動と逆方向に移動させることにより、被写体９０に貼り付いているように見せてもよい。視点の移動は、撮像装置情報取得部５３が取得する、撮像装置１２の位置および姿勢の情報に基づき特定できる。適切な視点に近づくのに伴い、対応する方向の矢印を短くするなどして、その旨がわかるようにしてもよい。
【００７５】
（ｂ）の例では、被写体に実際にある模様９８などの特徴点を利用する。すなわち着目画素９２を設定したら、その近傍のうち適切な視点への移動方向において、ユーザが視認できる大きさおよび、周囲との色の差が十分な特徴点を検出する。抽出には一般的なエッジ検出技術やパターンマッチング技術を利用できる。そして例えば「黄色い星形の模様が正面中央に来るようにカメラを移動させて下さい」といったガイダンスを、文字列あるいは音声で示すことにより、視点が検出した特徴点へ向かうように誘導する。
【００７６】
特徴点近傍に、それを指す矢印などを重畳表示させてもよい。これに従いユーザが撮像装置１２を移動させている期間、撮像装置１２が捉えている被写空間の様子を継続して表示させる。これによりユーザは、実際のアングルを確認しながら視点を調整できる。
【００７７】
（ｃ）の例では、被写体にその場で目印をつけ、それを特徴点とする。すなわち着目画素９２を設定したら、適切な視点への移動方向に所定長だけ離れた位置を指す図形を重畳表示させたうえ、被写体表面のその位置に目印をつけるように文字列あるいは音声で指示する。図示する例では「ここにシールを貼ってください」という文字列を表す吹き出し１００を重畳表示している。被写体に一時的に目印をつけるために、周囲との判別が容易な色、形状、サイズの紙やシールなど、被写体の形状への影響が小さい薄い物体を別途準備しておく。被写体の材質によっては、後から消すことができるペンなどで、被写体に直接目印を書き込むようにしてもよい。
【００７８】
この態様においても、目印がつけられた時点で「シールが正面中央に来るようにカメラを移動させて下さい」といったガイダンスを、文字列あるいは音声で示すことにより、視点が目印へ向かうように誘導する。そしてユーザが撮像装置１２を移動させている期間、撮像装置１２が捉えている被写空間の様子を継続して表示させる。なお図示する例は一カ所にシールを貼らせる指示であるが、適切な視点への２つの移動方向のどちらをも明示することにより、目印をつけるのに都合のよい方をユーザが選択できるようにしてもよい。
【００７９】
（ｄ）の例では、視点制御部６０が制御可能なレーザーポインタなどの光線照射デバイス１０２を実空間に準備しておき、適切な視点への移動方向に所定長だけ離れた位置に光線を照射する。これにより被写体上に照射パターン１０４が形成される。そのうえで、例えば「照射パターンが正面中央に来るようにカメラを移動させて下さい」といったガイダンスを、文字列あるいは音声で示すことにより、視点が照射パターン１０４へ向かうように誘導する。このケースでは、視点制御部６０が照射デバイスのオン／オフおよび照射位置の調整を実施する。あるいは撮像装置１２側に照射デバイスを設け、視点制御部６０がこれを制御してもよい。
【００８０】
このような視点の誘導により適切な視点からの偏光画像が撮影されたら、着目点情報取得部６４は図１０で示したように、複数視点からの偏光画像における、被写体上の同じ着目点を表す着目画素について、偏光輝度の方位依存性に基づき入射面を求める。ここで被写体上の着目点の位置が未知の場合、第２の視点の撮影画像における当該着目点の像、すなわち着目画素がどこにあるかはわかならい。そこで着目点情報取得部６４は、法線ベクトルの導出を繰り返すことにより、第２の視点からの撮影画像上で正しい着目画素を探索する。
【００８１】
図１２は、図８のＳ２２において着目点情報取得部６４が被写体の状態情報を取得する処理手順を示すフローチャートである。まず着目点情報取得部６４は、第１の視点から着目点への視線ベクトルＬ１を、第２の視点の撮影画像平面に射影する。図９で示したように、第１の視点８４の撮影画像の平面８０に対し着目画素ｂを設定することにより、その視線ベクトルＬは３次元空間で一意に定まる。一方、図１０で示したように、第２の視点に対する画像平面８０ｂは、そのときの撮像装置１２ｂの位置及び姿勢から求められる。結果として、第１の視点からの視線ベクトルＬ１を、第２の視点の画像平面８０ｂに直線として表すことができる。
【００８２】
図１３は、第２の視点の画像平面に第１の視点からの視線ベクトルＬ１を射影した様子を模式的に示している。上述のとおり被写体上の着目点は、第１の視点からの視線ベクトルＬ１上のいずれかの位置にある。そこで着目点情報取得部６４は、第２の視点の画像平面８０ｂに視線ベクトルＬ１を射影した直線上で、正しい着目画素を探索する。
【００８３】
同図においては、視線ベクトルＬ１を表す直線上の画素ｐ１、ｐ２、ｐ３、ｐ４について、偏光輝度の方位依存性から位相角ψ１、ψ２、ψ３、ψ４が求められる様子を、角度方向の矢印で示している。基本的にはこれらの画素を着目画素と仮定した場合に得られる法線ベクトルの信頼度を評価することにより、最も確からしい法線ベクトルが得られる画素を着目画素、当該法線ベクトルを着目点の法線ベクトルとする。
【００８４】
図１２に戻り、着目点情報取得部６４は、視線ベクトルＬ１を射影した直線上のある画素を対象と設定し（Ｓ３２）、その位置の偏光輝度に基づき式１、２により偏光度ρを求める（Ｓ３４）。図８のＳ１２において、第１の視点の画像に対し着目画素を設定した際、鏡面反射が支配的な画素を選択している。偏光度は天頂角に依存するため、第２の視点を主に方位角方向に変化させた場合、第２の視点の画像における着目画素でも偏光度が所定値以上であると考えられる。したがって偏光度ρがしきい値より小さい画素は、対応する画素ではないとしてそれ以上の計算を行わない（Ｓ３６のＮ）。
【００８５】
この場合、射影した直線上で次の画素を対象に設定し直し、同様に偏光度を評価する（Ｓ３２〜Ｓ３６）。なお「次の画素」とは射影した直線上で隣接する画素でもよいし、図１３に示すように、所定間隔を有する画素でもよい。またＳ３６における判定基準として用いるしきい値は、図８のＳ１２において第１の視点の画像に対し着目画素を設定した際に用いたしきい値と同じでもよいし、異なっていてもよい。
【００８６】
偏光度がしきい値以上であれば（Ｓ３６のＹ）、式１により位相角ψを求め、鏡面反射モデルにより入射面の角度を計算したうえ、第１の視点に対し得られている入射面との交線を求めることにより、図１０で示すように法線ベクトルｎを推定する（Ｓ３８）。ただしこの段階では、着目点の入射面が正しく得られているかはわからない。そこで、得られた法線ベクトルの信頼度を、偏光度と天頂角の関係に基づき評価する（Ｓ４０）。
【００８７】
具体的には、推定された法線ベクトルにより定まる天頂角から理論上得られる偏光度と、式１、式２から実際に求めた偏光度を比較し、矛盾がないと結論づけられれば、推定された法線ベクトルは正しいと判定する（Ｓ４０のＹ）。この場合、着目点情報取得部６４は、当該法線ベクトルに対し信頼度を算出したうえ（Ｓ４２）、それらを対応づけてメインメモリなどに記録する（Ｓ４４）。ここで「信頼度」は、Ｓ４０の判定処理において求められる、理論上の偏光度と実際の偏光度との差が小さいほど大きな値となる関数としてもよいし、偏光度とは別の観点から新たに算出してもよい。
【００８８】
例えば同じ被写体上に着目点を複数、設定する場合は、所定範囲の着目点に対し得られている法線ベクトルの分散に基づき信頼度を算出する。あるいは、法線ベクトルにより定まる天頂角θと式２により定まる偏光度ρを式３に代入して被写体の屈折率ηを求め、その分散に基づき信頼度を算出する。どちらの場合も、新たに得られた法線ベクトルによる分散の増加量を導出し、増加量が大きいほど値が小さくなる関数で信頼度を算出することが考えられる。
【００８９】
一方、Ｓ４０において、理論上の偏光度と実際に得られた偏光度にしきい値以上の差があるなど矛盾があることが結論づけられたら（Ｓ４０のＮ）、推定した法線ベクトルは正しいものではないとして、射影した直線上で次の画素を対象に設定し直し同様の処理を繰り返す（Ｓ３２〜Ｓ４０）。なお第２の視点が適切でなかった場合など、射影した直線上の全ての画素で偏光度に矛盾がある場合は、その時点で処理を終了してよい（図示せず）。以上の処理によれば、被写体上の着目点に対応する、第２の視点の画像平面における真の着目画素と、当該着目点の法線ベクトルを、着目点のワールド座標系における位置と関わりなく、同時に求めることができる。
【００９０】
なお図１２に示したフローチャートでは、１つの着目点につき、ある画素で信頼度の高い法線ベクトルが得られたら、それを記録して処理を終了させている。このようにすることで処理に要する時間を節約できる。一方、視線ベクトルＬ１を画像平面に射影してなる直線上の対象画素の全てに対し、Ｓ３４からＳ４０、あるいはＳ４２までの処理を実施して、最も高い信頼度を示す法線ベクトルを選択して記録対象としてもよい。
【００９１】
この場合、視線ベクトルＬ１を射影した直線上で、所定間隔でサンプリングした画素のうち、信頼度が最大、あるいはしきい値以上の画素を抽出し、その箇所を中心とする所定範囲内の画素をより高い密度でサンプリングして、再度、信頼度を評価してもよい。サンプリングする画素の密度を変化させて処理を繰り返す回数は固定としてもよいし、信頼度の分布を統計処理し、前の回より高い信頼度が得られる確率が所定値以上となる回数を適応的に決定してもよい。この場合も、処理を通じて最も高い信頼度を示す法線ベクトルを選択して記録する。
【００９２】
また上記説明においては、２視点からの入射面の交線のうち、信頼度の高い線を法線ベクトルとして選択した。上述のようにこのとき同時に、第２の視点の画像における正しい着目画素が決定する。これを利用すれば、第２の視点から当該着目画素を通り被写体上の着目点へ向かう、第２の視線ベクトルＬ２を特定できる。そこで図１０に示すように、第１の視点の視線ベクトルＬ１との交点を求めることにより、被写体上の着目点ａのワールド座標系における位置座標をさらに求め、Ｓ４４においてメインメモリなどに記録してもよい。この態様においては、Ｓ４２で算出する信頼度として、当該位置座標の分散を利用してもよい。この場合も、新たに得られた位置座標による分散の増加量を導出し、増加量が大きいほど値が小さくなる関数で信頼度を算出すればよい。
【００９３】
また、Ｎ個（Ｎは２以上の自然数）の視点からの撮影画像を用いる場合、図示するフローチャートがＮ−１回繰り返されることになる。この場合、基本的には１つの着目点に対しＮ−１個の法線ベクトルが得られるため、そのうち最も高い信頼度を有する法線ベクトルや、それらの平均ベクトル、あるいは統計処理により推定されるベクトルなどを、最終的な法線ベクトルとする。
【００９４】
ただし視点によっては、Ｓ４０において、視線ベクトルＬ１を射影した直線上の全ての画素で偏光度に矛盾があると判定され、法線ベクトルが得られないことが考えられる。そこでこの状況をＳ４２における信頼度の算出に利用してもよい。すなわち得られるべき法線ベクトルの数Ｎ−１に対する、実際に得られた法線ベクトルの数の割合を信頼度とする。なおこれまで述べたいくつかの信頼度は、そのうち１つを選択して用いてもよいし、複数を組み合わせて多角的な観点から算出してもよい。
【００９５】
図１４は、図１２のＳ４０において、天頂角と偏光度の関係を利用して法線ベクトルの信頼度を評価する手法を説明するための図である。まず（ａ）において点線で示したグラフ１３８ａは、図４の（ａ）で示した、鏡面反射光の天頂角と偏光度の関係を示している。観測した光が全て鏡面反射の場合はグラフ１３８ａのような変化となるが、実際には多くの場合、拡散反射成分が含まれるため、グラフ１３８ｂにように、グラフ１３８ａの偏光度に所定割合λ（０＜λ＜１）を乗算した変化となる。
【００９６】
そこで、推定した法線ベクトルと第１の視点の視線ベクトルＬ１により定まる天頂角θ１を用いて、まず割合λを次のように計算する。
λ＝ρｏｂ＿１／ρｔｈ＿１
ここでρｔｈ＿１は鏡面反射のみの場合の天頂角θ１における偏光度、ρｏｂ＿１は第１の視点の偏光画像から式１、２により計算された実際の偏光度である。つまりグラフ１３８ｂで表される、被写体上の同じ着目点からの光の偏光度ρｏｂは、割合λと鏡面反射のみの偏光度の関数ρｔｈ（θ）を用いて次のような関数で表せる。
ρｏｂ（θ）＝λ＊ρｔｈ（θ）
【００９７】
図の（ｂ）には、偏光度ρｏｂ（θ）のグラフ１３８ｂを再掲している。正しい着目点の法線ベクトルであれば、第２の視点で観測される光の偏光度もグラフ１３８ｂを満たすはずである。第２の視点での天頂角をθ２とすると、その場合の偏光度ρｅｓｔ＿２は理論上、次のようになる。
ρｅｓｔ＿２＝λ＊ρｔｈ（θ２）
一方、第２の視点の偏光画像から、式１、２により計算された実際の偏光度ρｏｂ＿２が別途得られる。これらの差Δρ＝｜ρｏｂ＿２−ρｅｓｔ＿２｜が所定のしきい値より小さければ、偏光度が矛盾しない、しきい値以上であれば偏光度が矛盾する、と判定する。
【００９８】
上述のとおり着目点情報取得部６４は、偏光度が矛盾しない法線ベクトルが得られた時点で、当該法線ベクトルを真値と結論づけてもよいし、Δρが小さいほど大きくなる関数を法線ベクトルの信頼度として算出して法線ベクトルに対応づけておき、後のタイミングで信頼度が最大の法線ベクトルを選択してもよい。また、選択した法線ベクトルに対し、当該信頼度を対応づけてメインメモリなどに記録してもよい。
【００９９】
図１５は、図１２のＳ４０において、天頂角と偏光度の関係を利用して法線ベクトルの信頼度を評価する手法の別の例を説明するための図である。この例では、第１、第２の視点に対する法線ベクトルの天頂角θ１、θ２の大小関係と、偏光度の大小関係を利用する。すなわち推定された法線ベクトルに対し、第１の視点で求められた天頂角θ１によって、偏光度を表すグラフ１３８ｂ上の位置座標（θ１，ρｏｂ＿１）は一意に定まる。偏光度のグラフ１３８ｂは、極大点を境に単調増加領域Ａと単調減少領域Ｂに分けられる。
【０１００】
したがって天頂角θがどちらの領域にあるかによって、天頂角θの増加とともに偏光度ρが増加するか減少するかを特定できる。図示するように位置座標（θ１，ρｏｂ＿１）が単調増加領域Ａにある場合、第２の視点に対する天頂角θ２がθ１より小さければ、それに対する偏光度ρｅｓｔ＿２は、第１の視点の偏光度ρｏｂ＿１より小さいはずである。これに反し図示するように、第２の視点の偏光画像から式１、２により計算された実際の偏光度ρｏｂ＿２が、ρｏｂ＿１より大きい場合、推定された法線ベクトルの信頼度が低いといえる。
【０１０１】
この手法によれば、図１４で示したような偏光度の関数を厳密に求めることなく、天頂角および偏光度の大小関係から法線ベクトルの信頼度を評価することができる。ここで、天頂角の変化に対し偏光度が正しく増加あるいは減少しているか、のみを評価基準としてもよいし、さらに偏光度の増減量を評価してもよい。前者の定性的な評価は、観測系のノイズが多く天頂角や偏光度などの値の精度が比較的低い場合に適しており、当該誤差を踏まえた評価を行える。後者の定量的な評価は、天頂角や偏光度などの値の精度が比較的高い場合に適しており、厳密な評価を行える。
【０１０２】
ただし後者の手法は図１４で示したのと同様に、天頂角に対する偏光度の関数を、拡散反射成分を考慮して求めておく必要がある。そのうえで、天頂角θ１からθ２へ変化したときの本来の偏光度の変化量Δρｅｓｔ、実際の偏光度の変化量Δρｏｂを次のように定義する。
Δρｅｓｔ＝ρｅｓｔ＿２−ρｏｂ＿１
Δρｏｂ＝ρｏｂ＿２−ρｏｂ＿１
【０１０３】
そして両者の差分ｄ＝｜Δρｏｂ−Δρｅｓｔ｜を用いて、信頼度ｒを次のように求める。
ｒ＝ｍａｘ（０，１−ｄ／ｃ）
ここで１／ｃは固定の係数である。この信頼度ｒは、差分ｄが０のとき１、０＜ｄ＜ｃで線形に減少しｃ以上で０となる関数である。したがってｃは信頼度を０とするときの差分ｄのしきい値として、あらかじめ適切な値を与えておく。
【０１０４】
図１６は、本実施の形態で偏光度を法線ベクトルの信頼度評価に利用する妥当性を説明するための図である。本実施の形態では第１の視点から画像を撮影したうえ、着目点ａにおける入射面から離れる方向に、かつ着目点ａが視野から外れないように、第２の視点を誘導する。このことは、着目点ａを頂点、天頂角を半頂角、法線ベクトルｎを軸とする円錐１４０の底面の円周に近い軌跡で視点が移動することを意味する。
【０１０５】
すなわち視点を大きく移動させるとしても天頂角θは大きく変化しない。結果として、移動後の視点から被写体上の同じ位置の偏光を観測すると、その偏光度は大きく変化しない。そのためしきい値より大きい偏光度の着目点を選択することは、鏡面反射モデルを適用できる効果とともに、視点が動いても同じ着目点を表す画素を効率的に抽出できるという効果がある。また天頂角θが大きく変化しないことから、図１５で示したように、視点が移動してもその偏光度は、単調増加する領域あるいは単調減少する領域に収まっている可能性が高い。したがってその偏光度の大小関係や差分に基づき、法線ベクトルの信頼度を適正に評価できることになる。
【０１０６】
これまで述べた態様によれば、被写体表面に模様などの特徴点がなくとも、偏光画像のみからその法線ベクトルと位置座標を特定できる。一方、特徴点の存在する箇所を着目点として選択すると、各視点の撮影画像において当該着目点が表れる位置を特定できるため、処理を簡略化できる。すなわち図１３で示したように、第１の視点における視線ベクトルを射影してなる直線上で着目画素を探索する必要なく、特徴点の像から正確な着目画素を特定できる。したがって第２の視点の撮影画像のうち当該着目画素に対し入射面を求めれば、第１、第２の視点の入射面の交線から法線ベクトルを求められる。
【０１０７】
同様に、第１、第２の視線ベクトルの交点から、ワールド座標系における着目点の位置座標を求められる。この態様では上述のとおり法線ベクトルの信頼度に基づき着目画素を探索する必要がないため、法線ベクトルを求めることなく直接、着目点の位置座標を求めることもできる。
【０１０８】
これまでの態様では基本的に、各視点における入射面の角度を、式１の位相角ψから求めた。一方、図１４で示したように、偏光度が天頂角θのみに依存することを利用して入射面を求めてもよい。図１７は、天頂角θに対する偏光度の変化に基づき入射面を特定する手法を説明するための図である。上述したように、被写体７２上の着目点ａの像は、撮像装置１２の視点が変化しても判明するとする。
【０１０９】
ここで、第１の視点に対する入射面１４２ａを決定するため、天頂角θａの変化の割合が最も大きい方向を探索する。すなわち撮像装置１２ａの位置や姿勢を様々に変化させ、視線ベクトルの単位角度の変化に対する偏光度の変化量が最も大きくなる方向を取得する。このときの視点の移動方向と着目点ａを含む面が入射面１４２ａとなる。換言すれば入射面１４２ａは、当該移動方向に視点が変化しても変化しないため、この場合の「第１の視点」は、当該移動方向のうちの１点を選択すればよい。第２の視点についても同様に、撮像装置１２ｂを様々に変化させ、偏光度の変化の割合が最も大きいときの視点の移動方向と着目点ａを含む面が入射面１４２ｂとなる。
【０１１０】
この場合、撮像装置１２を左右上下など２次元の方向に移動させる必要があるが、視点制御部６０が、図１１で示したような画像や音声によってユーザに移動方向を提示して、視点を誘導すればよい。なお式１によっても入射面を取得し、偏光度の変化の割合から求めた入射面の結果と統合してもよい。例えば両者の平均を真の入射面の角度としてもよい。また入射面ごとに、それを導出する手法を異ならせてもよい。例えば第１の視点については位相角ψから入射面を求め、それ以外の視点については偏光度の変化の割合から入射面を求めるなどでもよい。
【０１１１】
またこれまで述べた態様は、しきい値以上の偏光度を有する着目画素を対象とすることで、鏡面反射モデルを適用した。一方、図４に示すように、天頂角θの変化に対する偏光度の振る舞いの違いを利用すると、拡散反射が支配的な光についても本実施の形態を適用できる。例えば図１７のように天頂角θが変化するように視点を移動させたとき、どの方向の移動でも偏光度の変化の割合が所定値以上にならない場合、拡散反射が支配的な光を観測していると考えられる。
【０１１２】
これは図４に示すように、ほぼ全ての天頂角の範囲で、偏光度の変化の割合は鏡面反射の方が高くなるためである。このような場合は、拡散反射モデルを適用して入射面を導出する。すなわち式１において位相角ψの角度に入射面があるとする。それ以外の処理は、鏡面反射について上述したのと同様でよい。
【０１１３】
以上述べた本実施の形態によれば、偏光画像を用いた画像解析において、偏光度がしきい値上の画素を着目画素として処理対象とすることにより、以後の演算を、鏡面反射モデルを導入して行える。また、偏光輝度の方位に対する振幅が大きい画素が選択されることから、位相角を精度よく求められる。結果として、当該着目画素が表す被写体上の着目点に対する入射面の角度を精度よく取得できる。
【０１１４】
また、ある視点に対し得られた入射面を基準として、適切な方向に視点を移動させ、被写体上の同じ着目点を撮影することで、入射面を複数取得し、その交線から着目点の法線ベクトルをワールド座標系で取得する。基準となる第１の視点に対し、法線の精度が得られるように視点の移動方向を決定できるため、少ない撮影回数で効率的に法線を求められる。また移動方向が明確なため、画像や音声での簡単な指示により、ユーザが手動で視点を移動させても、大きな手間をかけることなく容易に撮影が完了する。
【０１１５】
また、第１の視点から着目点までの視線ベクトルを第２の視点の画像平面に射影し、その直線上で、信頼度が高い法線ベクトルが得られる位置を探索する。さらに、第２の視点から当該位置への視線ベクトルと、第１の視点から着目点までの視線ベクトルとの交点により着目点の位置座標をワールド座標系で取得する。これにより、被写体上の着目点に特徴点がなくても、また、当該着目点の位置が未知であっても、ワールド座標系での被写体の状態情報を得ることができる。
【０１１６】
本実施の形態は全体として、被写体の法線ベクトルの天頂角と偏光度の関係を利用しているため、撮影環境の明るさや、視点位置および影などによる見た目の輝度の変化に対し高い頑健性で被写体の情報を得ることができる。また偏光度が高い領域、すなわちｐ偏光の反射率が０となるブルースター角近傍に対し詳細な情報が得られることにより、ブルースター角をパラメータとして画像解析を行う、非特許文献１などの技術との親和性がよく、さらなる画像解析への応用が可能である。
【０１１７】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０１１８】
１０  情報処理装置、  １２  撮像装置、  １６  表示装置、  ２３  ＣＰＵ、  ２４  ＧＰＵ、  ２６  メインメモリ、  ５０  撮影画像取得部、  ５２  画像データ記憶部、  ５３  撮像装置情報取得部、  ５４  被写体情報取得部、  ５６  出力データ生成部、  ６０  視点制御部、  ６４  着目点情報取得部。
【産業上の利用可能性】
【０１１９】
以上のように本発明は、ゲーム装置、携帯端末、監視カメラシステム、車載カメラシステム、検品装置など各種情報処理装置に利用可能である。
【図１】
0006933776.tif 000005
【図２】
0006933776.tif 000006
【図３】
0006933776.tif 000007
【図４】
0006933776.tif 000008
【図５】
0006933776.tif 000009
【図６】
0006933776.tif 000010
【図７】
0006933776.tif 000011
【図８】
0006933776.tif 000012
【図９】
0006933776.tif 000013
【図１０】
0006933776.tif 000014
【図１１】
0006933776.tif 000015
【図１２】
0006933776.tif 000016
【図１３】
0006933776.tif 000017
【図１４】
0006933776.tif 000018
【図１５】
0006933776.tif 000019
【図１６】
0006933776.tif 000020
【図１７】
0006933776.tif 000021