(57)【特許請求の範囲】
【請求項１】
被写体の撮影画像に基づき実空間における被写体の位置および姿勢と、それに対する撮像面の位置および姿勢を取得する空間情報取得部と、
前記撮影画像に含まれる光源の像を特定し、それに基づき実空間における光源の位置を取得する光源位置特定部と、
前記被写体の位置および姿勢、前記撮像面の位置および姿勢、および前記光源の位置と、前記撮影画像上の像の輝度の関係が所定の反射モデルを満たす前記被写体の反射特性を求め、当該反射特性に対応する被写体の材質を特定する材質特定部と、
特定された材質に応じたデータを出力する出力データ生成部と、
を備えたことを特徴とする情報処理装置。
【請求項２】
前記材質特定部は、前記撮影画像として複数方位の偏光画像のそれぞれについて前記関係が前記所定の反射モデルを満たす前記被写体の反射特性を求め、それらに基づき、当該被写体の材質を特定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
材質候補と、反射光における鏡面反射成分および拡散反射成分の割合とを対応づけた材質モデル記憶部をさらに備え、
前記材質特定部は、前記材質候補のうち、対応する前記割合を仮定して得られる偏光輝度の方位に対する変化と、撮影された偏光画像が表す偏光輝度の方位に対する変化との差分が最も小さくなる材質を、前記被写体の材質として特定することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記光源位置特定部は、前記撮影画像において所定のしきい値以上の輝度を有する光源の像の候補のうち、偏光画像から取得した偏光度が所定のしきい値以下の像を光源の像と判定し、その結果を利用して当該光源の実空間における位置を取得することを特徴とする請求項１から３のいずれかに記載の情報処理装置。
【請求項５】
前記光源位置特定部は、前記偏光度が所定のしきい値より高い前記光源の像の候補が、光源からの反射による像か液晶ディスプレイの像かを、当該像における偏光度の分布に基づき判定することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
材質候補と反射特性を対応づけた材質モデルを格納する材質モデル記憶部をさらに備え、
前記材質特定部は、レンダリング方程式を解くことにより反射特性を表すデータを取得し、前記材質モデルを参照することにより、最も差分の小さい反射特性に対応づけられた材質を、前記被写体の材質として特定することを特徴とする請求項１または２に記載の情報処理装置。
【請求項７】
材質候補と反射特性を対応づけた材質モデルを格納する材質モデル記憶部をさらに備え、
前記材質特定部は、前記材質候補ごとに、対応する反射特性をレンダリング方程式に適用して画像を描画し、前記撮影画像との差分が最も小さい画像が得られる材質を、前記被写体の材質として特定することを特徴とする請求項１または２に記載の情報処理装置。
【請求項８】
被写体の撮影画像に基づき実空間における被写体の位置および姿勢と、それに対する撮像面の位置および姿勢を取得するステップと、
前記撮影画像に含まれる光源の像を特定し、それに基づき実空間における光源の位置を取得するステップと、
前記被写体の位置および姿勢、前記撮像面の位置および姿勢、および前記光源の位置と、前記撮影画像上の像の輝度の関係が所定の反射モデルを満たす前記被写体の反射特性を求め、当該反射特性に対応する被写体の材質を特定するステップと、
特定された材質に応じたデータを出力するステップと、
を含むことを特徴とする、情報処理装置による材質特定方法。
【請求項９】
被写体の撮影画像に基づき実空間における被写体の位置および姿勢と、それに対する撮像面の位置および姿勢を取得する機能と、
前記撮影画像に含まれる光源の像を特定し、それに基づき実空間における光源の位置を取得する機能と、
前記被写体の位置および姿勢、前記撮像面の位置および姿勢、および前記光源の位置と、前記撮影画像上の像の輝度の関係が所定の反射モデルを満たす前記被写体の反射特性を求め、当該反射特性に対応する被写体の材質を特定する機能と、
特定された材質に応じたデータを出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像を利用して対象物の状態を認識する情報処理装置および対象物の材質特定方法に関する。
【背景技術】
【０００２】
ユーザの頭部など体の一部をビデオカメラで撮影し、目、口、手などの所定の領域を抽出して別の画像で置換した表示画像を利用するゲームが知られている（例えば、特許文献１参照）。また、ビデオカメラで撮影された口や手の動きをアプリケーションの操作指示として受け取るユーザインタフェースシステムも知られている。このように、実世界を撮影しその動きに反応する仮想世界を表示させたり、何らかの情報処理に利用したりする技術は、小型の携帯端末からレジャー施設まで、規模によらず幅広い分野で利用されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】欧州特許出願公開第０９９９５１８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
対象物の位置や姿勢を撮影画像から取得する画像解析においては、対象物の外観や位置、撮影環境などに起因して処理の精度が不安定になりやすいという課題がある。例えば撮影画像から対象物の像を抽出したりマッチングしたりするのに特徴点を利用する一般的な技術では、元来対象物に特徴点が少なかったり、対象物がカメラから離れた位置に存在し見かけ上のサイズが小さかったりすることで処理精度が悪化する。処理精度に頑健性を求めるほど、空間的、時間的に処理の粒度を細かくしたり、アルゴリズムが複雑化したりして処理の負荷が増加する。【０００５】
本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影画像を用いて効率的かつ精度よく対象物の状態を取得できる技術を提供することにある。
【課題を解決するための手段】
【０００６】
本発明のある態様は情報処理装置に関する。この情報処理装置は、被写体の撮影画像に基づき実空間における被写体の位置および姿勢と、それに対する撮像面の位置および姿勢を取得する空間情報取得部と、撮影画像に基づき実空間における光源の位置を取得する光源位置特定部と、被写体の位置および姿勢、撮像面の位置および姿勢、および光源の位置を用いて撮影画像に所定の反射モデルを適用したときの被写体の反射特性に基づき、当該被写体の材質を特定する材質特定部と、特定された材質に応じたデータを出力する出力データ生成部と、を備えたことを特徴とする。【０００７】
本発明のさらに別の態様は材質特定方法に関する。この材質特定方法は、被写体の撮影画像に基づき実空間における被写体の位置および姿勢と、それに対する撮像面の位置および姿勢を取得するステップと、撮影画像に基づき実空間における光源の位置を取得するステップと、被写体の位置および姿勢、撮像面の位置および姿勢、および光源の位置を用いて撮影画像に所定の反射モデルを適用したときの被写体の反射特性に基づき、当該被写体の材質を特定するステップと、特定された材質に応じたデータを出力するステップと、を含むことを特徴とする。【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によると、撮影画像を用いて効率的かつ精度よく対象物の状態を取得できる。
【図面の簡単な説明】
【００１０】
【図１】本実施の形態における情報処理システムの構成例を示す図である。
【図２】本実施の形態における撮像装置が備える撮像素子の構造例を示す図である。
【図３】入射角に対する偏光度の変化を、鏡面反射した光と拡散反射した光で比較した図である。
【図４】本実施の形態における撮像装置の機能ブロックの構成を示す図である。
【図５】本実施の形態における情報処理装置の内部回路構成を示す図である。
【図６】本実施の形態における情報処理装置の機能ブロックの構成を示す図である。
【図７】本実施の形態における反射モデル利用部の機能ブロックをより詳細に示す図である。
【図８】本実施の形態における光源位置特定部が偏光度により光源の位置を特定する処理を説明するための図である。
【図９】本実施の形態において液晶ディスプレイがある室内の偏光度画像を例示する図である。
【図１０】本実施の形態における材質特定部のうち反射モデル利用部が材質を特定し、その結果に基づき出力データを生成、出力する処理手順を示すフローチャートである。
【図１１】図１０のＳ１６において光源位置特定部６４が光源の位置を特定する処理手順をより詳細に示すフローチャートである。
【図１２】本実施の形態において赤外線照射下での人の手を撮影した画像を例示する図である。
【図１３】本実施の形態において広い視野で撮影した偏光画像から生成した偏光度画像を例示する図である。
【図１４】本実施の形態において４方位の偏光画像から算出した法線ベクトルを画素値として示した法線画像を示す図である。
【図１５】本実施の形態の情報処理装置において、材質特定部のうち参照光画像利用部が材質を特定し、その結果に基づき出力データを生成、出力する処理手順を示すフローチャートである。
【図１６】本実施の形態の情報処理装置において、材質特定部の反射モデル利用部および参照光画像利用部の双方が材質を特定し、その結果に基づき出力データを生成、出力する処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
図１は、本実施の形態における情報処理システムの構成例を示している。この情報処理システムは、被写体８を所定のフレームレートで撮影する撮像装置１２、その撮影画像のデータを取得し所定の情報処理を行う情報処理装置１０、および情報処理の結果を出力する表示装置１６を含む。情報処理システムにはさらに、情報処理装置１０に対する操作をユーザから受け付ける入力装置が含まれていてもよい。情報処理装置１０はさらに、インターネットなどのネットワークに接続することでサーバなど外部の装置と通信可能としてもよい。
【００１２】
情報処理装置１０と撮像装置１２および表示装置１６とは、有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。また情報処理装置１０、撮像装置１２、表示装置１６のいずれか２つ以上を組み合わせて一体的な装置としてもよい。例えばそれらを装備したカメラや携帯端末などで情報処理システムを実現してもよい。あるいは表示装置１６を、ユーザが頭部に装着することで眼前に画像を表示させるヘッドマウントディスプレイとし、当該ヘッドマウントディスプレイに、ユーザの視線に対応する画像を撮影するように撮像装置１２を設けてもよい。いずれにしろ情報処理装置１０、撮像装置１２、表示装置１６の外観形状は図示するものに限らない。
【００１３】
このようなシステムにおいて情報処理装置１０は、撮像装置１２が所定のフレームレートで撮影した画像のデータを順次取得し、当該画像における被写体８の像を抽出する。そして抽出結果に基づき情報処理を実施し、表示画像や音声のデータを生成して表示装置１６に出力する。ここで像の抽出結果に基づき情報処理装置１０が実施する情報処理の内容は特に限定されない。例えば被写体８に含まれる所定の対象物をゲームのコントローラとし、ユーザが把持して動かすことでゲームに対する操作がなされるようにしてもよい。
【００１４】
この場合、ゲーム世界を表す画像がコントローラの動きに応じて変化したり、ユーザを写した撮影画像上でコントローラが仮想オブジェクトに置換された画像を表示させたりすることができる。あるいはヘッドマウントディスプレイを装着したユーザの視線に対応する視野で、ユーザの手とインタラクションする仮想オブジェクトを表した画像を当該ヘッドマウントディスプレイに表示させることもできる。または単に、撮影画像から抽出した特定の対象物の像の領域を所定の画像に置換したり、当該領域のみに加工を施したりしてもよい。さらに当該領域に限定して、より詳細に画像解析を行ってもよい。
【００１５】
このような技術においては、被写体８やそれに含まれる特定の対象物の像を、撮影画像から正確に抽出することが求められる。例えば被写空間に、像を抽出したい対象物と形状が類似する別の物体が存在する場合、それらの像を区別して認識する必要がある。ところが被写空間の照度、照明器具の配置、対象物表面の色や模様など様々な要因によって、画像上の像の表れ方が変化するため、一般的な色や輝度に基づく抽出手法では精度が安定しないことがあり得る。
【００１６】
そこで本実施の形態では、材質による偏光特性の違いに着目し、偏光画像における像とその元となる被写体とを材質に基づき対応づける。これにより、周囲の状況に依存した見かけ上の変化の影響を受けにくい像抽出技術を実現できる。材質の特定は、被写体の像の抽出以外にも有用である。例えば撮影画像に対象物の一部のみが写っていたとしても、その材質が判明することにより当該対象物が視野内に存在することを認識できる。また材質によって実空間にある物を識別できるため、工場などでの物品検査、ロボットの動作制御などにも利用できる。情報処理装置１０はそれらのいずれを実施してもよい。このような態様を実現するため、撮像装置１２は少なくとも被写空間の偏光画像を撮影する。
【００１７】
図２は、撮像装置１２が備える撮像素子の構造例を示している。なお同図は素子断面の機能的な構造を模式的に示しており、層間絶縁膜や配線などの詳細な構造は省略している。撮像素子１１０はマイクロレンズ層１１２、ワイヤグリッド型偏光子層１１４、カラーフィルター層１１６、および光検出層１１８を含む。ワイヤグリッド型偏光子層１１４は、複数の線状の導体部材を入射光の波長より小さい間隔でストライプ状に配列させた偏光子を含む。マイクロレンズ層１１２により集光された光がワイヤグリッド型偏光子層１１４に入射すると、偏光子のラインと平行な方位の偏光成分は反射され、垂直な偏光成分のみが透過する。
【００１８】
透過した偏光成分を光検出層１１８で検出することにより偏光画像が取得される。光検出層１１８は一般的なＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子構造を有する。ワイヤグリッド型偏光子層１１４は、光検出層１１８における電荷の読み取り単位、すなわち画素単位、あるいはそれより大きな単位で主軸角度が異なるような偏光子の配列を含む。同図右側には、ワイヤグリッド型偏光子層１１４を上面から見たときの偏光子配列１２０を例示している。
【００１９】
同図において網掛けされたラインが偏光子を構成する導体（ワイヤ）である。なお点線の矩形はそれぞれ一主軸角度の偏光子の領域を表しており、点線自体は実際に形成されるものではない。図示する例では、４通りの主軸角度の偏光子が２行２列の４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに配置されている。図中、対角線上にある偏光子はその主軸角度が直交しており、隣り合う偏光子は４５°の差を有する。すなわち４５°おきの４つの主軸角度の偏光子を設けている。
【００２０】
各偏光子はワイヤの方向に直交する方向の偏光成分を透過する。これにより、下に設けた光検出層１１８においては、４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに対応する各領域で、４５°おきの４方位の偏光情報を得ることができる。このような４つの主軸角度の偏光子配列をさらに縦方向、横方向に所定数、配列させ、電荷読み出しのタイミングを制御する周辺回路を接続することにより、４種類の偏光情報を２次元データとして同時に取得するイメージセンサを実現できる。
【００２１】
同図に示す撮像素子１１０では、ワイヤグリッド型偏光子層１１４と光検出層１１８の間にカラーフィルター層１１６を設けている。カラーフィルター層１１６は、例えば各画素に対応させて赤、緑、青の光をそれぞれ透過するフィルタの配列を含む。これにより、上下に位置するワイヤグリッド型偏光子層１１４における偏光子の主軸角度とカラーフィルター層１１６におけるフィルタの色の組み合わせに応じて、偏光情報が色別に得られる。すなわち同一方位かつ同一色の偏光情報が画像平面上で離散的に得られるため、それを適宜補間することにより、方位ごとおよび色ごとの偏光画像が得られる。
【００２２】
また同一色の偏光画像同士を演算することにより、無偏光のカラー画像を再現することもできる。ワイヤグリッド型偏光子を用いた画像取得技術については、例えば特開２０１２−８００６５号公報などにも開示されている。ただし本実施の形態における撮像装置１２の素子構造は図示するものに限らない。例えば本実施の形態では基本的に偏光輝度画像を用いるため、その他の用途でカラー画像が必要なければカラーフィルター層１１６を省略することもできる。また偏光子はワイヤグリッド型に限らず、線二色性偏光子など実用化されているもののいずれでもよい。あるいは一般的なカメラの前面に主軸角度が変更可能な偏光板を配置した構造としてもよい。
【００２３】
本実施の形態では、複数方位の偏光画像から偏光度の分布を求め、材質の特定に利用する。偏光輝度の方位に対する振る舞いは、被写体表面の姿勢と材質に依存して変化することが知られており、偏光度は当該振る舞いを表す指標と捉えることができる。ここで偏光子を介して観察される光の輝度は、偏光子の主軸角度θｐｏｌに対し次の式のように変化する。
【００２４】
【数１】
0006799154.tif 000002
【００２５】
ここでＩｍａｘ、Ｉｍｉｎはそれぞれ、観測される輝度の最大値、最小値であり、φは偏光位相である。上述のとおり４通りの主軸角度θｐｏｌに対し偏光画像を取得した場合、同じ位置にある画素の輝度Ｉは、各主軸角度θｐｏｌに対し式１を満たすことになる。したがって、それらの座標（Ｉ，θｐｏｌ）を通る曲線を、最小二乗法等を用いて余弦関数に近似することにより、Ｉｍａｘ、Ｉｍｉｎ、φを求めることができる。そのように求めたＩｍａｘ、Ｉｍｉｎを用いて、次の式により偏光度ρが求められる。
【００２６】
【数２】
0006799154.tif 000003
【００２７】
偏光度ρが１のとき、観測される光は完全偏光（直線偏光）、すなわちある１方向に振動している。偏光度ρが０のときは、非偏光であり光は等方的に振動している。その他、振動の偏り具合によって、偏光度ρが０から１の間で変化する。ところで二色性反射モデルによれば、反射光のスペクトルは、鏡面反射と拡散反射のスペクトルの線形和で表される。ここで鏡面反射は物体の表面で正反射する光であり、拡散反射は物体を構成する色素粒子により散乱された光である。反射した光に含まれる鏡面反射成分と拡散反射成分の割合は、反射する物体の材質にも依存する。
【００２８】
図３は、入射角に対する偏光度の変化を、鏡面反射した光と拡散反射した光で比較している。なお反射する物体の屈折率ｎは１．４および１．６としている。（ａ）に示す鏡面反射光と比較し、（ｂ）に示す拡散反射光は、入射角の大部分の範囲において偏光度が格段に小さい。すなわち拡散反射が支配的となるような材質の被写体の像は、偏光度が低く表れる可能性が高い。この特性を利用すれば、所定の材質を有する被写体の像を偏光度に基づき抽出できる。また一般的に光源からの直接光は等方的、すなわち偏光度が低いことが知られている。この特性を利用することにより、光源からの光と、それが鏡面反射した光とを偏光度によって区別でき、後述する反射モデルを利用した材質特定における光源の設定に活用できる。
【００２９】
図４は、撮像装置１２の機能ブロックの構成を示している。なお図４および後述する図６、７に示す各機能ブロックは、ハードウェア的には、マイクロコンピュータ、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit)、各種メモリ、データバス、各種センサなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、演算機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００３０】
撮像装置１２は、自然光画像取得部７０、偏光画像取得部７２、および参照光照射部７４を含む。自然光画像取得部７０はＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子アレイを含み、それにより所定のフレームレートで撮影された自然光（無偏光）の画像データを出力する。当該データは情報処理装置１０において、被写空間における光源の位置を特定したり、被写空間と撮像面の位置や姿勢の相対関係を特定したりするのに用いられる。
【００３１】
撮像装置１２は好適には魚眼カメラとすることにより、天井照明など室内の光源を撮影できるようにする。ただし通常のレンズによってもカメラの視野に光源が入るような環境においては、魚眼レンズは必須ではない。あるいは被写空間における光源の位置を事前に取得していれば、光源が撮影画像に写っていなくてもよい。また被写空間と撮像面の位置や姿勢の相対関係を特定するため、自然光画像取得部７０は好適には、所定距離を有する左右の視点から被写空間を撮影するステレオカメラとする。なお情報処理装置１０の処理内容によっては、自然光画像取得部７０はカラー情報を含まない輝度画像のデータのみを出力してもよい。
【００３２】
偏光画像取得部７２は、図２で例示したように４方位の偏光を検出する撮像素子のアレイを含み、それにより所定のフレームレートで撮影された、４方位の偏光画像のデータを出力する。なお４方位の偏光の検出値を平均することにより無偏光の輝度画像を生成できるため、偏光画像取得部７２が自然光画像取得部７０を兼ねていてもよい。このとき偏光画像から無偏光の輝度画像を生成する機構を偏光画像取得部７２に設けてもよいし、情報処理装置１０に設けてもよい。また偏光画像取得部７２をステレオカメラとしてもよいし、自然光画像取得部７０および偏光画像取得部７２によりステレオカメラを構成してもよい。
【００３３】
参照光照射部７４は、所定の波長帯の参照光を被写空間に照射する。ここで参照光は、検出したい材質によって吸収されやすい波長帯を選択する。本実施の形態では、被写体表面で一旦吸収され、それが内部で乱反射して放出される拡散反射を、照射する光の波長帯を適切に選択することにより意図的に作り出す。そして拡散反射の偏光度が低いことを利用して、偏光度に基づき検出対象の材質を有する被写体の像を特定する。代表的には、赤外線を照射することにより、手など皮膚が露出した人の部位の像を特定する。以後、参照光を赤外線として説明するが、波長帯をこれに限定する趣旨ではない。
【００３４】
参照光照射部７４は赤外線を定常的に照射してもよいし、必要なタイミングでのみ照射してもよい。偏光画像取得部７２が、赤外線を照射したタイミングを偏光画像取得部７２に通知することにより、偏光画像取得部７２は、赤外線照射下の偏光画像のデータにその旨の情報を付加するなどして、赤外線を照射していない期間のデータと区別して出力する。なお赤外線を照射し、その反射光が検出されるまでの時間から被写体の距離を導出する技術はＴＯＦ（Time Of Flight）として知られている。本実施の形態では上述のとおり、赤外線を被写体の材質特定に利用するが、当該赤外線の波長帯を検出する赤外線カメラを別途設け、ＴＯＦにより被写体の距離を同時に取得してもよい。
【００３５】
通信部７８は情報処理装置１０と通信を確立し、自然光画像取得部７０が出力した自然光の撮影画像のデータおよび、偏光画像取得部７２が出力した４方位の偏光画像のデータを情報処理装置１０に順次出力する。また通信部７８は、情報処理装置１０から必要なデータの種類や赤外線照射のタイミングに係る情報を取得し、自然光画像取得部７０、偏光画像取得部７２、および参照光照射部７４に適宜通知する。
【００３６】
図５は情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、表示装置１６へデータを出力する出力部３６、撮像装置１２や図示しない入力装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。
【００３７】
ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、図示しないフレームバッファに表示画像のデータを格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。
【００３８】
図６は、本実施の形態の情報処理装置１０の機能ブロックの構成を示している。情報処理装置１０は、撮像装置１２から撮影画像のデータを取得する撮影画像取得部５０、取得した画像のデータを格納する画像データ記憶部５２、撮影画像に写る被写体の材質を特定する材質特定部５４、および、材質の特定結果に基づき情報処理を実施し、出力すべきデータを生成する出力データ生成部５６を含む。
【００３９】
撮影画像取得部５０は図５の入力部３８、ＣＰＵ２３などで実現され、撮像装置１２から偏光画像など撮影画像のデータを所定のレートで取得する。また撮影画像取得部５０は、材質特定部５４による特定結果などに応じて、必要な撮影画像の種類や赤外線の照射タイミングに係る要求を撮像装置１２に送信する。画像データ記憶部５２はメインメモリ２６で実現され、撮影画像取得部５０が取得した撮影画像のデータを順次格納する。このとき撮影画像取得部５０は必要に応じて、自然光画像あるいは偏光画像から輝度画像を生成するなど、後段の処理に必要な画像データも生成し格納してよい。
【００４０】
材質特定部５４は図５のＣＰＵ２３、ＧＰＵ２４などで実現され、画像データ記憶部５２に格納されたデータを用いて、撮影画像に写る被写体の材質を所定のレートで取得する。より詳細には材質特定部５４は、反射モデル利用部５８および参照光画像利用部６０を含み、それぞれが異なる手法で被写体の材質を特定する。両者は独立した機能のため、材質特定部５４としてどちらか一方を設けてもよいし、双方を設けて材質特定の精度を高めてもよい。
【００４１】
反射モデル利用部５８は、コンピュータグラフィクス描画において一般的に利用されるレンダリング方程式の逆問題を解くことにより材質を特定する。つまり撮影画像として観測された輝度が得られるために、光源からの光が被写体表面でどのように反射しているべきか、という観点から被写体の材質を特定する。そのため反射モデル利用部５８は、実空間における被写体、撮像装置１２の撮像面、および光源の位置関係を取得する。そして当該位置関係と撮影画像の各画素が表す輝度に基づき被写体表面での反射特性を導出し、そのような反射特性が得られる材質を特定する。詳細は後に述べる。
【００４２】
一方、参照光画像利用部６０は、赤外線照射時に撮影された偏光画像から偏光度の分布を取得し、そのうち偏光度が所定のしきい値より小さい領域を抽出する。上述のとおり赤外線を吸収しやすい被写体の場合、その表面からの反射光は拡散反射成分が支配的となる。拡散反射は鏡面反射より偏光度が格段に小さいため、赤外線の照射時に低い偏光度を示す像は、赤外線の吸収率が高い材質であると推定できる。この原理により、例えば人体のうち手などの皮膚が露出した部位の像を特定できる。具体例は後に示す。
【００４３】
出力データ生成部５６は図５のＣＰＵ２３、ＧＰＵ２４、出力部３６などで実現し、材質特定部５４が特定した、像と材質との関係に基づき、所定の情報処理を実施して、表示画像や音声など出力すべきデータを生成する。上述したようにここで実施する情報処理の内容は特に限定されない。画像に写る被写体の材質が判明することにより、例えば人の手やコントローラなど材質が既知の物体の動きを求め、それを入力情報として電子ゲームを進捗させることができる。あるいは出力データ生成部５６は、画像データ記憶部５２から自然光の撮影画像のデータを読み出し、特定の材質の対象物と接するように仮想オブジェクトを描画することにより拡張現実を実現してもよい。
【００４４】
本実施の形態では材質を介して精度よく対称物の像を特定できるため、対象物の距離を求めたり、形状や位置の変化を特定したりすることを、その像のみに限定して効率的に行える。あるいは画像データ記憶部５２に格納された４方位の偏光画像を用いて、対称物表面の法線ベクトル分布を求めてもよい。偏光画像から被写体の法線ベクトルを求める手法は広く知られている。すなわち対象物表面の法線は、光の入射面（拡散反射の場合は出射面）の角度を表す方位角αと、当該面上での角度を表す天頂角θで表現できる。方位角αは、鏡面反射の場合は式１において最小輝度Ｉｍｉｎを与える主軸角度であり、拡散反射の場合は式１において最大輝度Ｉｍａｘを与える主軸角度である。また天頂角θは、鏡面反射の場合の偏光度ρｓ、拡散反射の場合の偏光度ρｄと、それぞれ次のような関係にある。
【００４５】
【数３】
0006799154.tif 000004
【００４６】
ここでｎは物体の屈折率である。式２で得られる偏光度ρを式３のρｓ、ρｄのどちらかに代入することにより天頂角θが得られる。こうして得られた方位角α、天頂角θにより、法線ベクトル（ｐｘ，ｐｙ，ｐｚ）は次のように得られる。
【００４７】
【数４】
0006799154.tif 000005
【００４８】
これにより対称物の全体的な動きのみならず、微妙な角度変化や面の境界などを高精度に取得でき、ゲームを多様化させたり拡張現実の精度を向上させたりできる。出力データ生成部５６は、そのような処理を経て生成した表示画像などの出力データを表示装置１６に送信する。
【００４９】
図７は、反射モデル利用部５８の機能ブロックをより詳細に示している。反射モデル利用部５８は、空間情報取得部６２、光源位置特定部６４、材質特定部６６、および材質モデル記憶部６８を含む。空間情報取得部６２は撮影画像を用いて、３次元実空間を構成する被写体と、撮像装置１２の撮像面との位置関係を取得する。この情報は、コンピュータグラフィクスにおいてワールド座標系にオブジェクトを配置し、カメラ座標系を設定する処理に対応する。
【００５０】
そのため空間情報取得部６２は、撮影されたステレオ画像における対応点を求め、三角測量の原理により撮像面から各被写体までの距離を求める。そして撮影画像の画素を距離に応じた３次元空間の位置に逆射影することにより、被写体の面と撮像面との位置関係を取得できる。撮像装置１２をヘッドマウントディスプレイに搭載する場合、３次元空間に対し撮像面が動くことになる。このような場合、撮影された画像を用いて周囲の物体の構成（環境地図）を取得したり、それらに対する撮像面の位置や姿勢を推定したりするＳＬＡＭ（Simultaneous Localization and Mapping）の技術を導入する。空間情報取得部６２はさらに、４方位の偏光画像を用いて上述のように法線ベクトルを求め、被写体の姿勢を厳密に特定してもよい。
【００５１】
光源位置特定部６４は、３次元実空間における光源の位置を特定する。魚眼レンズ等により光源が視野に入るように撮影すれば、基本的には空間情報取得部６２と同様にして、光源の位置も求めることができる。ただし撮影環境によっては、鏡面反射が支配的な光沢のある材質の存在により、そこでの反射が光源と同等の輝度で観測される場合がある。この場合、反射が生じた位置を光源と誤認し、材質の特定精度が悪化することが考えられる。
【００５２】
そこで光源位置特定部６４は、上述のとおり偏光度を利用して、光源の像とその反射光の像とを区別する。光源と誤認しやすい高い輝度の反射は鏡面反射成分が大きいため、偏光度を比較すれば、光源からの等方性の光との区別が容易にできる。つまり撮影画像における光源の像候補の偏光度を確認し、所定のしきい値より高い偏光度を示す像は光源でないと判定して候補から除外する。
【００５３】
また被写空間に液晶ディスプレイがある場合、画面からの発光は偏光度が高くなる。そこで光源位置特定部６４はさらに、上述のとおり偏光度の高さによって除外した光の像のうち、液晶ディスプレイの像と、鏡面反射成分が大きい反射光の像とを区別する。後者は、照明などの光源が鏡面反射してなる領域の中心から離れるほど偏光度が減衰するのに対し、発光ディスプレイは比較的大きな面積を有する画面全体で均一な偏光度となる。したがって光源位置特定部６４は、偏光度の空間分布に基づきそれらの像を区別する。
【００５４】
材質特定部６６は、撮影画像が示す輝度の情報と、空間情報取得部６２および光源位置特定部６４が取得した、被写体、撮像面、および光源の３次元空間における位置関係に基づき、反射モデルを用いて方程式を立てることにより、被写体の材質を特定する。一般的なコンピュータグラフィクスでは、ワールド座標系において、反射特性が設定されたオブジェクトを配置し、光源とカメラ座標系を設定することにより、オブジェクト表面からの反射光の輝度分布を計算する。このとき、次のレンダリング方程式によって、オブジェクト表面上の点ｒにおいて方向ωへ放射される光の輝度Ｌ（ｒ，ω）を求める。
【００５５】
【数５】
0006799154.tif 000006
【００５６】
ここでＬｅ（ｒ，ω）は点ｒにおいて物体自体が発する光の輝度である。ｆｒ（ｒ，ω，ωｉ）は、点ｒにおける光の反射特性を表す双方向性反射率分布関数（ＢＲＤＦ：Bidirectional reflection distribution function）であり、入射方向ωｉの入射光の輝度Ｌｉ（ｒ，ωｉ）に対する、方向ωへの反射光の輝度Ｌ（ｒ，ω）の比率を表す。この関数は材質に依存する。またΘは、点ｒにおける被写体表面の法線の方向と光の反射方向ωとがなす角、Ｓｉは点ｒにおける光の入射方向ωｉの範囲である。結果として輝度Ｌ（ｒ，ω）、ひいては点ｒを表す撮影画像上の像の輝度は、点ｒにおける法線と、光源および撮像面との位置関係、および被写体の材質によって決定される。
【００５７】
式５の関係を利用し、撮影画像が表す像の輝度値を左辺に与えれば、右辺に含まれるいずれかのパラメータを求めることができる。この手法は、グラフィクス描画の逆問題としてインバースレンダリングと呼ばれる。関数ｆｒは実際には、被写体の材質を均一としても、入射光および反射光それぞれの方位角および天頂角を含む４次元の関数であるため、それを簡潔に表現するために様々なモデルが提案されている。（例えば“インバースレンダリング：画像からの光学情報の復元”,佐藤洋一, http://www.mtl.t.u-tokyo.ac.jp/~katsu-t/ssii05-ysato.pdf参照）。
【００５８】
本実施の形態では、被写体として想定される材質と、関数ｆｒあるいはそれを所定のモデルで近似したデータ（反射特性）とを対応づけた材質モデルを事前に生成し、材質モデル記憶部６８に格納しておく。あらかじめ様々な材質の物体を撮影することで、材質ごとに関数ｆｒの代替パラメータを反射特性の実値データとして取得してもよい。材質特定部６６は、空間情報取得部６２および光源位置特定部６４が求めた情報と、撮影画像における像の輝度値から、式５を逆に解くことにより反射特性を求め、それをインデックスとして材質モデルを参照する。
【００５９】
そして最も適合する材質を、像の元となる被写体の材質として選択する。空間情報取得部６２により像と被写体との関係が判明しているため、被写体の材質を求めるためには上記処理を像単位で行えばよい。上述のとおりレンダリング方程式を簡略化するためのモデルとして様々なものが提案されているため、実際に想定される被写空間の環境や情報処理装置１０の処理性能などに応じて適切なモデルを選択する。なお本実施の形態で材質を特定する対象は発光体以外のため、式３の第１項は省略できる。
【００６０】
また上記処理では自然光の撮影画像における輝度を用いているが、本実施の形態では４方位の偏光画像も取得するため、それらを利用してもよい。すなわち材質ごと、偏光方位ごとに、関数ｆｒに対応するパラメータを取得し材質モデル記憶部６８に格納しておく。そして実際に得られた４方位の偏光画像の輝度から式５を用いて取得した、各方位の反射特性に最も近い反射特性を示す材質を特定する。例えば式５における反射光の輝度Ｌ（ｒ，ω）は、輝度Ｌｉ（ｒ，ωｉ）の入射光が拡散反射した成分と鏡面反射した成分の和として次のようなモデルで表すことができる。
【００６１】
【数６】
0006799154.tif 000007
【００６２】
上式はＰｈｏｎｇのモデルとしてコンピュータグラフィクスの分野で広く知られている。ただし環境光の成分は省略している。ここでｋｄは拡散反射率、ｋｓは鏡面反射率、ｈは材質固有の光沢の度合いを表すパラメータである。これらのパラメータは材質に依存する。またβは、物体表面の位置ｒにおける法線ベクトルと光源方向へのベクトルのなす角度であり、空間情報取得部６２および光源位置特定部６４が取得した、被写体および光源の３次元空間における位置関係に基づき求められる。右辺の第１項の拡散反射成分、第２項の鏡面反射成分の輝度をそれぞれｉｄ、ｉｓとすると、偏光子の主軸角度θｐｏｌに対する拡散反射成分および鏡面反射成分の偏光輝度Ｉｄ（θｐｏｌ）、Ｉｓ（θｐｏｌ）は次のように表される。
【００６３】
【数７】
0006799154.tif 000008
【００６４】
ここでρｄ、ρｓは式３で表される拡散反射成分の偏光度、鏡面反射成分の偏光度であり、空間情報取得部６２および光源位置特定部６４が取得した、被写体および光源の３次元空間における位置関係を既知とすると、屈折率ｎ、ひいては材質依存の値となる。式７を同じ主軸角度θｐｏｌ＝０°、１５°、３０°、４５°同士で足し合わせると、対応する方位の偏光の輝度Ｌ（ｒ，ω，θｐｏｌ）が求められる。したがって材質ごとにパラメータｋｄ、ｋｓ、ｈ、ｎを準備しておくことにより、入射方向ωｉの入射光の輝度Ｌｉ（ｒ，ωｉ）に対する、方向ωへの反射光の偏光の輝度Ｌ（ｒ，ω，θｐｏｌ）の比率、すなわち関数ｆｒが偏光方位ごとに得られることになる。
【００６５】
そこで式５の方程式を偏光方位ごとに立てて得られた関数ｆｒと、材質モデル記憶部６８に格納されたパラメータｋｄ、ｋｓ、ｈ、ｎおよび３次元空間における光源と被写体との位置関係から材質ごと、偏光方位ごとに得られる関数ｆｒとを比較し、最も適合する材質を選択する。この場合、比較する関数ｆｒは４つになるため、方位ごとに差分を求め、その合計が最も小さい材質を選択する。あるいは先に材質を仮定して式５により偏光輝度を各方位について求め、実際の偏光画像に最も近い材質を選択してもよい。いずれにしろ４方位の偏光の輝度を利用することにより、偏光成分の割合の観点からより高い精度で材質を求められる。
【００６６】
また式５で表されるモデル以外のモデルを適用して、同様の原理により材質を推定してもよい。例えば材質モデルとして、反射光に含まれる拡散反射成分と鏡面反射成分の割合γを、候補となる材質に対応づけて格納しておく。ここでγは上述の角度βと反射方向の角度ωの関数である。上述のとおり反射光のスペクトルはそれらの反射成分の線形和である。したがって光源の位置、被写体と撮像面の位置および姿勢に基づきγの値を決定することにより、撮像面の各画素に入射する光の偏光特性、すなわち方位に対する偏光輝度の変化を取得できる。その結果を、実際の偏光画像を用いて式１から取得した偏光輝度の変化と比較し、差分が最も小さくなる材質を、真の材質として特定してもよい。なお光源や撮像装置の位置を様々に変化させて偏光画像を取得することにより、材質ごと、偏光方位ごとに関数ｆｒやγを実値データとして求めておき、それを材質モデル記憶部６８に格納してもよい。
【００６７】
図８は、光源位置特定部６４が偏光度により光源の位置を特定する処理を説明するための図である。（ａ）は照明のある室内を撮影した自然光の輝度画像を示している。この例では２つのフロアスタンド照明の像８０ａ、８０ｂのほか、床からの反射光の像８２ａ、８２ｂが高い輝度で表れている。特に光沢のある床やテーブルなどでは、図示するように照明と同程度の輝度で反射光が撮影されることがあり得る。
【００６８】
この画像を元に３次元空間における光源位置を設定し、上述のようにレンダリング方程式に当てはめた場合、反射光を光源と誤認した結果、正しい材質を特定できなくなることが考えられる。材質特定処理に限らず、実際の光源を反映するように仮想オブジェクトを描画する場合や、光源の位置に基づき画像解析を行う場合など、様々な情報処理において、光源と反射光を区別できるようにすることが処理の精度向上に有効である。
【００６９】
（ｂ）は（ａ）に対応する偏光画像を基に生成した偏光度画像を示している。ここで偏光度画像は、式２により算出した偏光度を画素値とする画像であり、同図では偏光度が高いほど大きい輝度で表している。図示するように、床からの反射光は鏡面反射成分が支配的なため、拡散反射成分が支配的なフロアスタンド照明からの直接光の像８３ａ、８３ｂと比較し、その像８４ａ、８４ｂの偏光度は格段に大きい。なお反射光の像８４ａ、８４ｂの中心部分は、偏光度が画素値として設定できる上限を超えたことによって黒くなっている。
【００７０】
このように、自然光の輝度画像では光源との判別が難しい反射光の像であっても、偏光度を利用することにより、反射光であることを容易に特定できる。背の低いロボットに搭載したカメラでは、視点が床に近いため床からの反射光が視野に入りやすい。このような視野で撮影された画像を用いてＳＬＡＭにより自己位置を特定する場合、実際の照明と床での反射とを誤認識することにより、誤った環境地図が作成されたり処理が破綻したりすることが考えられる。本実施の形態を適用し反射光を光源と区別して認識できるようにすれば、ロボット制御も精度よく行える。
【００７１】
図９は、液晶ディスプレイがある室内の偏光度画像を例示している。図示するように液晶ディスプレイによる発光も、その像８６の偏光度が高くなるため、図８で示したのと同様に光源との区別が容易になる。また液晶ディスプレイの場合、面全体で偏光度が変化せず背景との境界が顕著に表れているのに対し、図８の（ｂ）で示した、床からの反射光の像８４ａ、８４ｂの場合、偏光度は中心を最大値として周辺に向かうほどなだらかに減衰している。このような偏光度の空間分布の差を利用すれば、反射光と液晶ディスプレイとを区別できる。
【００７２】
次に、情報処理装置１０の動作を説明する。図１０は、材質特定部５４のうち反射モデル利用部５８が材質を特定し、その結果に基づき出力データを生成、出力する処理手順を示すフローチャートである。このフローチャートは、情報処理装置１０に対しユーザが処理の開始を要求し、それに応じて撮像装置１２が対象物の撮影を開始したときに開始される。
【００７３】
まず撮影画像取得部５０は、撮像装置１２から撮影画像のデータを取得して画像データ記憶部５２に格納する（Ｓ１０）。当該データには複数の方位の偏光画像と自然光の輝度画像が含まれる。またステレオカメラが撮影した、左右の視点からのステレオ画像も含まれる。ステレオ画像は自然光の撮影画像でもよいし、偏光画像でもよい。なおＴＯＦの機構を導入した場合、ステレオ画像の代わりに距離画像を取得してもよい。また自然光の輝度画像は、情報処理装置１０が偏光画像同士を演算することにより生成してもよい。
【００７４】
次に反射モデル利用部５８の空間情報取得部６２は、撮影画像に含まれるステレオ画像を用いて、３次元空間における各被写体と撮像面との位置関係に係る空間情報を取得する（Ｓ１２）。一方、光源位置特定部６４は、４方位の偏光画像を用いて、図８の（ｂ）や図９に示すような偏光度分布を取得する（Ｓ１４）。そして輝度値画像から所定のしきい値以上の輝度を示す領域を光源候補として抽出したうえ、偏光度に基づき真の光源の像を特定し、その距離をステレオ画像により求めることにより、Ｓ１２で取得した３次元空間における光源の位置を取得する（Ｓ１６）。
【００７５】
次に材質特定部６６は、３次元空間における被写体、撮像面、光源の位置や姿勢の関係と、輝度画像における各画素の輝度値とを式５で表されるレンダリング方程式に当てはめることにより、関数ｆｒあるいはそれを所定のモデルで近似したデータを導出する（Ｓ１８）。そして材質モデル記憶部６８から、導出したデータに対応づけられた、あるいはそれに最も近い材質を選択することで、像の材質を特定する（Ｓ２０）。上述のとおりＳ１８、Ｓ２０の処理は像単位で行ってよい。あるいは画素単位など像より小さい単位で行い、それらの結果を統合して最も確からしい材質を選択してもよい。
【００７６】
Ｓ２０の処理の代わりに、関数ｆｒあるいはそれを所定のモデルで近似したデータを最初に仮定して式５に当てはめ、一般的な描画処理と同様に画像を描画し、実際の撮影画像と比較することで、仮定が適切であったかどうかを判定してもよい。この場合、仮定するデータは、材質候補に対応づけて材質モデル記憶部６８に格納されたものを用いればよい。全ての材質を仮定して描画した画像をそれぞれ、撮影画像と比較し、最も小さい差分が得られた材質を最終的な特定結果とする。
【００７７】
続いて出力データ生成部５６は、得られた材質に基づき所定の処理を実施し、表示画像や音声の出力データを生成して表示装置１６に出力する（Ｓ２２）。ここでなされる処理は上述のとおり特に限定されない。すなわち、所定の材質を有する被写体の像を抽出し、その位置や動きを特定したり、その像の領域に対しさらなる画像解析を行ったりしてゲーム画面などを描画してもよい。あるいは単に撮像装置の視野にある物体を材質に基づき認識したり、物品検査に用いたりしてその結果を表すデータを生成、出力してもよい。また所定の材質の物体に近づいたり掴んだりする制御信号をロボットに出力してもよい。
【００７８】
ユーザ操作などにより処理を停止させる必要がない期間は（Ｓ２４のＮ）、後続の画像フレームに対しＳ１０〜Ｓ２２の処理を繰り返す。ユーザ操作などにより処理を停止させる必要が生じたら全ての処理を終了させる（Ｓ２４のＹ）。
【００７９】
図１１は、図１０のＳ１６において光源位置特定部６４が光源の位置を特定する処理手順をより詳細に示すフローチャートである。光源位置特定部６４はまず、輝度画像から所定のしきい値以上の輝度値を有する像を、光源の像の候補として抽出する（Ｓ６０）。そして偏光度画像における対応する領域の偏光度を確認していく。光源の像の候補の偏光度が所定のしきい値以下であるとき（Ｓ６２のＹ）、当該像は真の光源の像であると判定する（Ｓ６４）。偏光度がしきい値を超え（Ｓ６２のＮ）、像の外側へ向かうほど偏光度が減衰するような分布であるとき（Ｓ６６のＹ）、当該像は反射光の像であると判定する（Ｓ６８）。
【００８０】
例えば像を構成する画素を、水平方向や垂直方向に走査して偏光度の１次元分布を取得し、その形状に基づき減衰しているか否かを判定する。あるいは像を構成する画素の偏光度のヒストグラムや分散を取得し、所定以上の分散が確認されたら減衰していると判定する。その他、判定には様々な基準を設けられることは、当業者には理解されるところである。偏光度が減衰していない、すなわち偏光度が像全体で一律と見なせる場合（Ｓ６６のＮ）、当該像は液晶ディスプレイの像であると判定する（Ｓ７０）。
【００８１】
Ｓ６０で抽出した光源の像の候補全てに判定がなされていないうちは、各像に対しＳ６２〜Ｓ７０の判定処理を繰り返す（Ｓ７２のＮ）。全ての像に対し判定し終えたら（Ｓ７２のＹ）、ステレオ画像の対応する像の視差に基づき３次元空間における位置を取得する（Ｓ７４）。なおここで位置を取得する対象は、後段に行う処理によって、光源、光源からの光が反射している箇所、および液晶ディスプレイの全てでもよいし、光源のみ、光源と液晶ディスプレイのみ、などのいずれでもよい。
【００８２】
次に材質特定部５４の参照光画像利用部６０の機能について説明する。上述のとおり参照光画像利用部６０は、赤外線照射下での偏光画像を利用して、赤外線を吸収しやすい被写体、例えば人の皮膚が露出した部分の像を特定する。波長７００〜９００ｎｍ程度の近赤外光は生体組織を透過しやすいことで知られ、生体組織のイメージングに利用される。一方、Ｘ線や超音波と比較し生体組織に散乱されやすい特性を持つ。そのため照射した赤外線の反射光を観測した場合、その光は皮膚表面を透過し生体組織で乱反射した、拡散反射成分が支配的な光と考えられる。
【００８３】
図１２は、赤外線照射下での人の手の撮影画像を例示している。赤外線の波長は８５０ｎｍの近赤外領域である。（ａ）に示す輝度画像では、手の領域で高い輝度が得られる一方、手の内部からの反射光により血管が認識される。（ｂ）に示す偏光度画像では、背景領域と比較し手の領域で一様に画素値が小さく偏光度が低い。すなわち偏光度の低さによって、背景領域との区別が可能なことがわかる。このような偏光度の差は、表面での光の吸収度合いに依存するため、照明の当たり具体などによって輝度画像での区別が困難な場合も、安定して手の像を抽出できる。
【００８４】
図１３は、広い視野で撮影した偏光画像から生成した偏光度画像を例示している。（ａ）に示すように被写体たる人物が何も持っていない場合、図１２と同様に、周囲にある他の被写体の像と比較し、手の領域の偏光度が一様に小さくなるため、精度よくその像を抽出できる。（ｂ）や（ｃ）に示すように飲料ボトルなどを持っている場合であっても、ボトルの像の部分のみ偏光度が高くなることから、手の像との区別を正確にできる。
【００８５】
これにより例えば、飲料ボトルの像の部分のみを切り取って別の画像に置き換えたり、人物が何かを持っていることを認識したりできる。特に人が仮想オブジェクトを手で操作するような拡張現実を実現する場合、手の像の領域を他と区別して特定できることは重要である。手は通常、肌を露出させている可能性が高いため、赤外線の吸収と偏光度を利用した本実施の形態の特定対象としても都合がよい。ただし上述のとおり、対象物に吸収されやすい波長帯の光を利用すれば、その他の材質の物でも同様の処理で正確な特定が可能である。
【００８６】
図１４は、図１３の（ａ）で例示した画像の手の領域について、４方位の偏光画像から算出した法線ベクトルを画素値として示した法線画像を示している。法線ベクトルの算出は出力データ生成部５６が行うが、材質特定部５４の参照光画像利用部６０が手の像の領域を抽出することにより、当該領域のみを法線ベクトルの算出対象とすることができ処理効率がよい。同図では、矢印の分布で例示するように、手のひらの法線が正確に導出できていることがわかる。したがって上述の拡張現実や、手によるジェスチャ認識などを精度よく行える。
【００８７】
参照光画像利用部６０は赤外線照射下での撮影画像を利用する。そのため赤外線を照射しその反射光を検出するまでの時間から、被写体までの距離を計測するＴＯＦの技術と組み合わせることができる。被写体が半透明の場合、透過した光が被写体内部で散乱して反射する光が、表面で反射した光より遅れて観測されるため、計測される距離が実際より長くなる場合がある。この特性を利用して、計測される距離の歪みから被写体の材質を分類する技術が提案されている（“ToFカメラの距離計測歪みを手掛かりとした半透明物体の分類”, 岩口ら，研究報告コンピュータビジョンとイメージメディア, 2016,CVIM-203, Vol 12, P.1-7参照）。
【００８８】
この技術は被写体の材質によって内部での光の散乱の強さが変化し、距離の計測値に生じる歪みも材質に依存することを利用している。同じ状況下で偏光画像を撮影し、偏光度を評価すると、同じ原理で偏光度が材質により変化する。図１３で示した例でも、飲料ボトルの領域では特有の偏光度が得られている。したがって、上述のとおり偏光度に１つのしきい値を設定し人の皮膚の領域を抽出する代わりに、材質ごとに想定される偏光度の範囲を対応づけておくことで、被写体の材質を分類することもできる。また、ＴＯＦカメラによる計測値の歪みに基づく材料分類と、偏光度に基づく材料分類とを同時に行い、材質特定の精度を向上させることもできる。
【００８９】
さらに、ＴＯＦによって生成された距離画像のうち、赤外線の吸収によって誤差が生じている領域を、偏光度の低さで判定することができる。例えば偏光度が所定値以下の領域は対応する被写体表面で赤外線が吸収されているとし、そこで得られた距離値を所定の割合だけ縮小するように修正する。偏光度と距離値の誤差との双方が赤外線の吸収率の影響を受けることから、あらかじめ偏光度と誤差との相関関係を取得しておけば、偏光度に基づき、距離値を正確に修正することもできる。
【００９０】
図１５は、情報処理装置１０において、材質特定部５４のうち参照光画像利用部６０が材質を特定し、その結果に基づき出力データを生成、出力する処理手順を示すフローチャートである。このフローチャートは、情報処理装置１０に対しユーザが処理の開始を要求し、それに応じて撮像装置１２が対象物の撮影を開始したときに開始される。
【００９１】
まず撮影画像取得部５０は、撮像装置１２から撮影画像のデータを取得して画像データ記憶部５２に格納する（Ｓ３０）。この処理は図１０のＳ１０と同様である。ただし少なくとも偏光画像は、赤外線など所定の波長帯の参照光を照射したときの撮影画像である。次に参照光画像利用部６０は、４方位の偏光画像を用いて画素ごとに偏光度を計算し、それを画素値とした偏光度画像を生成する（Ｓ３２）。
【００９２】
次に参照光画像利用部６０は、偏光度画像において偏光度が所定範囲の領域を、所定の材質を有する対象物の像として抽出する（Ｓ３４）。例えば手の場合、偏光度が所定のしきい値より小さい領域を抽出する。材質の異なる２種類以上の対象物の像を特定する場合は、それぞれに設定された範囲の偏光度を示す領域を抽出する。なお抽出した領域についてパターンマッチングを行うなどして、明らかに対象物と異なる像を抽出結果から除外してもよい。
【００９３】
続いて出力データ生成部５６は、得られた材質に基づき所定の処理を実施し、表示画像や音声の出力データを生成して表示装置１６に出力する（Ｓ３６）。この処理は図１０のＳ２２と同様でよい。ただし上述のように、ＴＯＦによって計測された距離値を修正したり、ＴＯＦを利用して推定された材質とＳ３４の処理による結果とを統合したりして、所定の材質を有する被写体の像を最終的に決定する処理を含めてもよい。ユーザ操作などにより処理を停止させる必要がない期間は（Ｓ３８のＮ）、後続の画像フレームに対しＳ３０〜Ｓ３６の処理を繰り返す。ユーザ操作などにより処理を停止させる必要が生じたら全ての処理を終了させる（Ｓ３８のＹ）。
【００９４】
図１６は、情報処理装置１０において、材質特定部５４の反射モデル利用部５８および参照光画像利用部６０の双方が材質を特定し、その結果に基づき出力データを生成、出力する処理手順を示すフローチャートである。このフローチャートは、情報処理装置１０に対しユーザが処理の開始を要求し、それに応じて撮像装置１２が対象物の撮影を開始したときに開始される。
【００９５】
まず撮影画像取得部５０は、撮像装置１２から撮影画像のデータを取得して画像データ記憶部５２に格納する（Ｓ４０）。この処理は図１０のＳ１０と同様である。ただしこの場合、撮影画像取得部５０は、参照光照射の開始および停止を所定のタイミングで撮像装置１２に要求する。従って取得する撮影画像は参照光照射下のものの場合と、それ以外のものの場合がある。撮影画像取得部５０は、撮像装置１２から送信された撮影画像の付加データを参照してそれらを区別し、画像データ記憶部５２に格納する。なお図１５で示した処理手順においても、撮影画像取得部５０からの要求により撮像装置１２は参照光を短期間のみ照射するようにし、その期間に後段の処理を行ってもよい。
【００９６】
次に材質特定部５４の反射モデル利用部５８は、撮影画像に反射モデルを適用することにより、像の元となる被写体の材質を特定する（Ｓ４２）。この処理は詳細には、図１０のＳ１２〜Ｓ２０の処理と同様である。得られた撮影画像が参照光の照射下で撮影されたものでなければ（Ｓ４４のＮ）、出力データ生成部５６は、得られた材質に基づき所定の処理を実施し、表示画像や音声の出力データを生成して表示装置１６に出力する（Ｓ５０）。この処理も、図１０のＳ２２の処理と同様でよい。
【００９７】
ユーザ操作などにより処理を停止させる必要がない期間は（Ｓ５２のＮ）、後続の画像フレームに対しＳ４０、Ｓ４２、Ｓ５０の処理を繰り返す。基本的にはこのようなループを継続し、所定のタイミングで参照光が照射されたら（Ｓ４４のＹ）、材質特定部５４の参照光画像利用部６０は、その偏光画像から得られた偏光度に基づき、所定の材質を有する被写体の像を特定する（Ｓ４６）。ここで参照光の照射を開始するタイミングは、所定の時間間隔でもよいし、Ｓ４２において人の皮膚など所定の材質が特定された時点でもよい。
【００９８】
参照光画像利用部６０は、Ｓ４６で自らが特定した結果と、Ｓ４２で反射モデル利用部５８が特定した結果を統合する（Ｓ４８）。ここで参照光画像利用部６０が行う処理は、反射モデル利用部５８による材質特定結果を修正したり、後続のフレームにおいて反射モデル利用部５８による材質特定処理の精度を向上させたりする役割を有する。例えばＳ４２で手の像として抽出された領域を、参照光照射下の偏光度による結果と比較することにより、当該領域が真に手の像であるか否かを判定し、後者であれば結果から除外する。またＳ４２で特定した領域が位置ずれを起こしていたらそれを修正して最終結果とする。
【００９９】
さらに、Ｓ４６で特定した領域に係る情報を反射モデル利用部５８に出力してもよい。これにより人の手など特定の対象物の像のおよその位置が判明するため、反射モデル利用部５８は当該領域に処理対象を限定して、効率的に反射モデルによる材質特定を行える。参照光の照射を一時的かつ所定の短時間で終了させることにより、消費電力を増大させずに、材質特定の精度を向上させることができる。ユーザ操作などにより処理を停止させる必要が生じたら全ての処理を終了させる（Ｓ５２のＹ）。
【０１００】
以上述べた本実施の形態によれば、撮影画像に写る被写体の材質を、反射モデルおよび参照光照射下の偏光度の少なくともいずれかにより特定する。前者の場合、撮影画像における輝度と、ステレオ画像などから被写空間における被写体の位置や姿勢、それに対する撮像面の位置や姿勢、および光源の位置を用いて、レンダリング方程式の逆問題を解くことにより、反射特性を取得し、それに対応する材質を特定する。この際、撮影画像における光源の像と、それからの反射光の像とを区別するため、偏光度によるしきい値判定を行う。
【０１０１】
これにより、光源の像の位置を誤認することなく、正確にレンダリング方程式を立てることができ、被写体の材質を高精度に特定することができる。また、レンダリング方程式で得られる輝度値を、偏光画像の輝度とし、実際に得られた複数方位の偏光画像と比較することで、自然光の輝度を用いた場合より多くのパラメータから材質を特定でき、より精度を向上させることができる。
【０１０２】
また、特定の材質で吸収されやすい波長帯の参照光を被写空間に照射し、その偏光度をしきい値判定することにより、当該材質を有する被写体の像を特定する。この手法は、表面で一旦吸収された光が内部で散乱し、拡散反射が支配的になる状況を意図的に作り出すものであり、照度や光源など被写空間の環境に対する頑健性が高い。したがって単独の処理でも所定の材質の対象物の像を高精度に特定できるとともに、上述の反射モデルを用いた材質特定処理と組み合わせることにより、処理の効率を上げたり、より精度を向上させたりすることができる。結果として、材質を介して対象物の像を正確に抽出したり、視野にある物を認識したりすることが高精度に行え、対象物の状態を導出したりそれを用いて情報処理を行ったりすることも精度よくできるようになる。
【０１０３】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０１０４】
１０  情報処理装置、  １２  撮像装置、  １６  表示装置、  ２３  ＣＰＵ、  ２４  ＧＰＵ、  ２６  メインメモリ、  ５０  撮影画像取得部、  ５２  画像データ記憶部、  ５４  材質特定部、  ５６  出力データ生成部、  ５８  反射モデル利用部、  ６０  参照光画像利用部、  ６２  空間情報取得部、  ６４  光源位置特定部、  ６６  材質特定部、  ６８  材質モデル記憶部、  ７０  自然光画像取得部、  ７２  偏光画像取得部、  ７４  参照光照射部、  ７８  通信部。
【産業上の利用可能性】
【０１０５】
以上のように本発明は、ゲーム装置、携帯端末、パーソナルコンピュータ、ロボット、検品装置など各種情報処理装置と、それを含むシステムなどに利用可能である。
【図１】
0006799154.tif 000009
【図２】
0006799154.tif 000010
【図３】
0006799154.tif 000011
【図４】
0006799154.tif 000012
【図５】
0006799154.tif 000013
【図６】
0006799154.tif 000014
【図７】
0006799154.tif 000015
【図８】
0006799154.tif 000016
【図９】
0006799154.tif 000017
【図１０】
0006799154.tif 000018
【図１１】
0006799154.tif 000019
【図１２】
0006799154.tif 000020
【図１３】
0006799154.tif 000021
【図１４】
0006799154.tif 000022
【図１５】
0006799154.tif 000023
【図１６】
0006799154.tif 000024