(57)【要約】三次元空間内の対象物について、当該対象物を構成する複数の単位要素それぞれの空間内における位置の情報を含む単位要素情報を取得し、当該単位要素情報を用いて、複数の単位要素が配置された仮想空間の様子を示す空間画像を描画し、描画された空間画像に対して二次元画像を対象とした姿勢推定処理を実行した結果に基づいて、対象物の三次元空間内における姿勢を特定する情報処理装置である。
2019150431.tif 000002
【特許請求の範囲】
【請求項１】
三次元空間内の対象物について、当該対象物を構成する複数の単位要素それぞれの空間内における位置の情報を含む単位要素情報を取得する単位要素情報取得部と、
前記単位要素情報を用いて、前記複数の単位要素が配置された仮想空間の様子を示す空間画像を描画する空間画像描画部と、
前記描画された空間画像に対して二次元画像を対象とした姿勢推定処理を実行した結果に基づいて、前記対象物の三次元空間内における姿勢を特定する姿勢特定部と、
を含むことを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置において、
前記空間画像描画部は、前記単位要素情報に基づいて決定した描画条件に従って前記空間画像を描画する
ことを特徴とする情報処理装置。
【請求項３】
請求項２に記載の情報処理装置において、
前記空間画像描画部は、前記単位要素情報に基づいて決定した視点位置、及び視線方向から前記複数の単位要素を見た空間画像を描画する
ことを特徴とする情報処理装置。
【請求項４】
請求項３に記載の情報処理装置において、
前記対象物は人であって、
前記空間画像描画部は、前記人の正面方向に前記視点位置を配置する
ことを特徴とする情報処理装置。
【請求項５】
請求項４に記載の情報処理装置において、
前記空間画像描画部は、前記人の顔の位置を特定することによって、前記人の正面方向を特定する
ことを特徴とする情報処理装置。
【請求項６】
請求項４に記載の情報処理装置において、
前記空間画像描画部は、前記複数の単位要素の分布に基づいて、前記人の正面方向を特定する
ことを特徴とする情報処理装置。
【請求項７】
請求項２から６のいずれか一項に記載の情報処理装置において、
前記空間画像描画部は、同じ単位要素情報を用いて、複数の描画条件に従って複数の空間画像を描画し、
前記姿勢特定部は、前記複数の空間画像に基づいて、前記対象物の姿勢を特定する
ことを特徴とする情報処理装置。
【請求項８】
請求項２から６のいずれか一項に記載の情報処理装置において、
前記空間画像描画部は、初回に描画した前記空間画像を用いて前記姿勢特定部が前記対象物の姿勢を特定した後、当該特定の結果に応じて、初回の描画条件とは異なる描画条件に従って前記空間画像を再描画し、
前記姿勢特定部は、前記再描画された空間画像に基づいて、前記対象物の姿勢を特定する
ことを特徴とする情報処理装置。
【請求項９】
請求項２から８のいずれか一項に記載の情報処理装置において、
前記描画条件は、前記仮想空間内に配置する単位要素を特定の単位要素に制限する制限条件を含み、
前記空間画像描画部は、前記描画条件に従って特定された一部の単位要素を配置した仮想空間の様子を示す空間画像を描画する
ことを特徴とする情報処理装置。
【請求項１０】
請求項２から９のいずれか一項に記載の情報処理装置において、
前記描画条件は、前記仮想空間内に配置する光源に関する条件を含み、
前記空間画像描画部は、前記描画条件に従って光源が配置された仮想空間の様子を示す空間画像を描画する
ことを特徴とする情報処理装置。
【請求項１１】
請求項２から１０のいずれか一項に記載の情報処理装置において、
前記空間画像描画部は、前記対象物の位置を検出可能なセンサーの検出結果を用いて、前記描画条件を決定する
ことを特徴とする情報処理装置。
【請求項１２】
三次元空間内の対象物について、当該対象物を構成する複数の単位要素それぞれの空間内における位置の情報を含む単位要素情報を取得するステップと、
前記単位要素情報を用いて、前記複数の単位要素が配置された仮想空間の様子を示す空間画像を描画するステップと、
前記描画された空間画像に対して二次元画像を対象とした姿勢推定処理を実行した結果に基づいて、前記対象物の三次元空間内における姿勢を特定するステップと、
を含むことを特徴とする情報処理方法。
【請求項１３】
三次元空間内の対象物について、当該対象物を構成する複数の単位要素それぞれの空間内における位置の情報を含む単位要素情報を取得するステップと、
前記単位要素情報を用いて、前記複数の単位要素が配置された仮想空間の様子を示す空間画像を描画するステップと、
前記描画された空間画像に対して二次元画像を対象とした姿勢推定処理を実行した結果に基づいて、前記対象物の三次元空間内における姿勢を特定するステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元空間内における物体の姿勢を特定する情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
三次元の仮想空間を構築し、その内部の様子をユーザーに提示する技術が知られている。このような技術において、仮想空間内の物体は、ポリゴンメッシュなどの面要素の集合によって表現される。あるいは、ボクセルやポイントクラウドなどと呼ばれる体積要素を仮想空間に積み重ねることによって表現される場合もある。さらに、現実空間に存在する人などの物体を仮想空間内で再現するために、現実空間の物体に対して、その表面を構成する面要素や体積要素などの単位要素ごとに、その現実空間内における位置を特定するセンサー技術が知られている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
仮想空間内において物体同士の相互作用等の処理を行う場合、その物体の姿勢を特定したい場合がある。例えば人の身体を表現するオブジェクトが仮想空間内に配置される場合に、その人の頭部や腕、胴体、脚などがそれぞれどの位置にあり、どのようなポーズをとっているのか知りたいことがある。しかしながら、面要素や体積要素といった単位要素の集合によって物体が表現されている場合、個々の単位要素の位置情報からその物体の全体形状や姿勢を特定することは、必ずしも容易でない。【０００４】
本発明は上記実情を考慮してなされたものであって、その目的の一つは、物体を構成する単位要素の情報を用いてその物体の姿勢を効果的に特定することのできる情報処理装置、情報処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
本発明に係る情報処理装置は、三次元空間内の対象物について、当該対象物を構成する複数の単位要素それぞれの空間内における位置の情報を含む単位要素情報を取得する単位要素情報取得部と、前記単位要素情報を用いて、前記複数の単位要素が配置された仮想空間の様子を示す空間画像を描画する空間画像描画部と、前記描画された空間画像に対して二次元画像を対象とした姿勢推定処理を実行した結果に基づいて、前記対象物の三次元空間内における姿勢を特定する姿勢特定部と、を含むことを特徴とする。【０００６】
本発明に係る情報処理方法は、三次元空間内の対象物について、当該対象物を構成する複数の単位要素それぞれの空間内における位置の情報を含む単位要素情報を取得するステップと、前記単位要素情報を用いて、前記複数の単位要素が配置された仮想空間の様子を示す空間画像を描画するステップと、前記描画された空間画像に対して二次元画像を対象とした姿勢推定処理を実行した結果に基づいて、前記対象物の三次元空間内における姿勢を特定するステップと、を含むことを特徴とする。【０００７】
本発明に係るプログラムは、三次元空間内の対象物について、当該対象物を構成する複数の単位要素それぞれの空間内における位置の情報を含む単位要素情報を取得するステップと、前記単位要素情報を用いて、前記複数の単位要素が配置された仮想空間の様子を示す空間画像を描画するステップと、前記描画された空間画像に対して二次元画像を対象とした姿勢推定処理を実行した結果に基づいて、前記対象物の三次元空間内における姿勢を特定するステップと、をコンピュータに実行させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る情報処理装置を含む情報処理システムの全体概要図である。
【図２】情報処理システムを利用するユーザーの様子を示す図である。
【図３】本発明の実施の形態に係る情報処理装置の機能を示す機能ブロック図である。
【図４】本発明の実施の形態に係る情報処理装置によって推定される骨格モデルの一例を示す図である。
【図５】本発明の実施の形態に係る情報処理装置が設定する視点位置と対象物との位置関係の一例を説明する図である。
【図６】複数回の描画処理、及び姿勢特定処理を実行する具体例について説明する図である。
【図７】本発明の実施の形態に係る情報処理装置が実行する処理の流れの一例を示すフロー図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面に基づき詳細に説明する。
【００１０】
図１は、本発明の一実施形態に係る情報処理装置を含む情報処理システム1の全体構成を示す構成ブロック図である。また、図２は、本情報処理システム１を利用するユーザーの様子の一例を示す図である。情報処理システム１は、ユーザーの身体を表すオブジェクトが配置された仮想空間を構築する。
【００１１】
情報処理システム１は、図１に示すように、情報処理装置１０と、１又は複数の物体センサー１４と、を含んで構成されている。情報処理装置１０は、パーソナルコンピュータや家庭用ゲーム機などの情報処理装置であって、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成されている。
【００１２】
制御部１１は、少なくとも一つのプロセッサーを含んで構成され、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。インタフェース部１３は、物体センサー１４から情報を受信するための通信インタフェースである。情報処理装置１０は、インタフェース部１３を介して無線又は有線で複数の物体センサー１４と通信接続される。
【００１３】
物体センサー１４は、現実空間の様子を観測して、処理対象となる物体（以下、対象物Ｏという）を構成する複数の単位要素それぞれの位置を特定するための情報を取得する。本実施形態では、対象物Ｏは人（情報処理装置１０のユーザー）であるものとする。また、単位要素とは、対象物Ｏの少なくとも表面を所定の基準で細分して得られる個々の要素であって、平板状の面要素、又は３次元的な形状を有する体積要素であってよい。この単位要素の集合によって対象物Ｏの全体形状が表現される。単位要素は、対象物Ｏの形状を再現するために、対象物Ｏ全体の大きさに対して十分小さく、比較的単純な形状を有するものとする。ただし、各単位要素は、完全に同じ形状や同じサイズを有しておらずともよい。本実施形態では、単位要素は所定の形状（例えば立方体形状）を有する体積要素（ポイントクラウド）であるものとする。
【００１４】
具体的に本実施形態では、物体センサー１４は距離画像センサーであって、対象物Ｏを含む現実空間を測定範囲とし、測定範囲内を分割して得られる複数の単位領域ごとに、当該単位領域に存在する物体までの距離を計測する。また、本実施形態では、図２に示すように、対象物Ｏの周囲を取り囲むように複数の物体センサー１４が配置されている。これら複数の物体センサー１４で計測される情報を統合することによって、死角をなくし、対象物Ｏの全体形状を特定することができる。なお、距離画像センサーは各種の方式で対象物Ｏまでの距離を計測するものであってよい。例えば距離画像センサーは、視差を利用して対象物Ｏまでの距離を計測するステレオカメラであってもよいし、ＴＯＦ方式で距離を計測するセンサーであってもよい。あるいは、赤外線等のパターンを対象物Ｏに照射し、対象物Ｏ表面に照射されたパターンの大きさや分布に基づいて対象物Ｏまでの距離を計測するセンサーであってもよい。また、本実施形態において物体センサー１４は、可視光を対象とするイメージセンサーを含み、対象物Ｏの表面を構成する各単位要素の色を特定してもよい。
【００１５】
以下、本実施形態において情報処理装置１０が実現する機能について説明する。図３に示すように、情報処理装置１０は機能的に、単位要素情報取得部２１と、空間画像描画部２２と、姿勢特定部２３と、を含んで構成されている。これらの機能は、制御部１１が記憶部１２に格納されたプログラムを実行することによって実現できる。このプログラムは、インターネット等の通信回線を経由して情報処理装置１０に提供されてもよいし、光ディスク等、コンピュータで読み取り可能で非一時的な情報記憶媒体に格納されて提供されてもよい。
【００１６】
単位要素情報取得部２１は、物体センサー１４の計測結果を用いて、対象物Ｏを構成する複数の単位要素に関する情報（以下、単位要素情報という）を取得する。単位要素情報には、対象物Ｏの表面を構成する複数の単位要素それぞれの位置、及び色を示す情報が含まれるものとする。前述したように、本実施形態ではユーザーの外周を囲むように複数の物体センサー１４が配置されているので、この単位要素情報によって、前後左右任意の方向から見た対象物Ｏの外観を特定することができる。
【００１７】
空間画像描画部２２は、単位要素情報取得部２１が取得した単位要素情報を用いて、複数の単位要素が配置された仮想空間内の様子を示す空間画像Ｉを描画する。具体的に、まず空間画像描画部２２は、単位要素情報を用いて、複数の単位要素を仮想空間内に配置する。次に空間画像描画部２２は、配置された単位要素の位置情報に基づいて、描画条件を決定する。この描画条件には、少なくとも空間画像Ｉを描画する際における仮想空間内における視点位置ＶＰ、及び視線方向ＶＤの情報が含まれるものとする。続いて空間画像描画部２２は、決定された描画条件に従って、単位要素が配置された仮想空間内の様子を描画する。この描画処理は、一般的な仮想オブジェクトが配置された仮想空間内の様子を示す画像のレンダリング処理と同様の処理であってよい。これにより、現実空間と対応する姿勢、及び外観を有するユーザーの姿を含んだ二次元の空間画像Ｉが生成される。
【００１８】
ここで、空間画像描画部２２が空間画像Ｉを描画する際における仮想空間内の視点位置ＶＰは、現実空間における物体センサー１４の配置位置と対応している必要はなく、後述するように各種の条件に基づいて任意に設定された位置であってよい。すなわち、空間画像描画部２２は、単位要素情報を用いることによって、現実には撮影できていない位置から対象物Ｏをカメラで撮影した場合に得られる撮影画像に近い空間画像Ｉを描画することができる。
【００１９】
さらに空間画像描画部２２は、空間画像Ｉとともに、空間画像Ｉを描画した際の視点位置ＶＰから対象物Ｏまでの距離の情報を含んだ距離画像（デプスマップ）Ｄを生成する。この距離画像Ｄは、空間画像Ｉと同様の視野範囲を対象として、その内部を分割して得られる単位領域ごとに、視点位置ＶＰから当該単位領域に写っている単位要素までの距離の情報を含んでいる。すなわち、空間画像描画部２２は、空間画像Ｉと同様に、視点位置ＶＰに対応する現実空間内の位置に実際には距離画像センサーが配置されていないにも拘わらず、その位置に距離画像センサーが配置された場合に取得可能な距離画像Ｄを生成することができる。
【００２０】
姿勢特定部２３は、空間画像描画部２２が描画した空間画像Ｉ、及び距離画像Ｄを用いて、対象物Ｏの姿勢を特定する。ここで姿勢の特定とは、対象物Ｏを構成する各部位の位置関係を特定することを指しており、対象物Ｏが人型の場合には、その顔や腕、脚などの部位の位置を特定したり、主要な関節等の位置を含んだ骨格モデルを特定したりすることを含んでよい。
【００２１】
写真画像等の二次元画像に関しては、その画像内に写っている人物について、機械学習等を用いて比較的精度よく姿勢を推定することのできる推定エンジンが存在する。そこで姿勢特定部２３は、まず空間画像描画部２２が描画した二次元の空間画像Ｉに対してこのような推定エンジンを適用した姿勢推定処理を実行することによって、空間画像Ｉ内にける対象物Ｏの姿勢を推定する。この推定結果は、空間画像Ｉ内における人の頭部や腰、肘、膝、手先や足先などの位置（以下、関節位置という）の情報を含んだ二次元的な骨格モデルであってよい。図４は、このように空間画像Ｉに対して推定エンジンを適用して得られる骨格モデルの一例を示している。ここで利用する推定エンジンは、入力データ、及び出力データのいずれも二次元のデータなので、三次元の単位要素情報の集合に対して直接機械学習等による推定処理を適用する場合と比較して、取り扱うデータ量や処理負荷を小さくすることができる。
【００２２】
さらに姿勢特定部２３は、この推定エンジンによって得られた姿勢推定結果に基づいて、三次元空間内における対象物Ｏの姿勢を特定する。具体的に姿勢特定部２３は、空間画像Ｉ内の各関節位置が、三次元の仮想空間内でどの位置に存在するかを、空間画像描画部２２が生成した距離画像Ｄを用いて特定する。すなわち、各関節位置に対応する距離画像Ｄ内の位置に設定された視点位置ＶＰからの距離の情報を参照することによって、各関節位置の三次元空間内における位置が決定される。このようにして姿勢特定部２３は、二次元画像を対象とした推定エンジンの推定結果を利用して、対象物Ｏの三次元の骨格モデルを特定することができる。
【００２３】
姿勢特定部２３によって特定された対象物Ｏの姿勢の情報は、仮想空間内における対象物Ｏやその他のオブジェクトの挙動を決定するために利用される。例えば空間画像描画部２２は、姿勢特定部２３によって特定された骨格モデルのデータを参照して、仮想空間内に配置されているその他のオブジェクトと対象物Ｏとの間の相互作用が発生するか否かを判定する。この場合におけるその他のオブジェクトは、予め用意された仮想的なオブジェクトであってもよいし、現実空間に存在する対象物Ｏ以外の物体を認識した結果に基づいて仮想空間に配置されるオブジェクトであってもよい。
【００２４】
また、空間画像描画部２２は、姿勢特定部２３の特定結果を参照して、単位要素によって構成される対象物Ｏを予め用意されたオブジェクトに置換してもよい。例えば情報処理装置１０の記憶部１２内には、予めポリゴンメッシュ等によってユーザーの外観を表すオブジェクトのモデルデータが格納されていることとする。空間画像描画部２２は、姿勢特定部２３によって特定された姿勢と、予め格納されているモデルデータとを用いて、実際のユーザーの姿勢と同じ姿勢に変化させたオブジェクトを仮想空間内に配置する。こうすれば、現実のユーザーと同じ姿勢をとる、高精細な人型のオブジェクトを仮想空間内に配置することができる。
【００２５】
以下、空間画像描画部２２が空間画像Ｉを描画する際の描画条件の決定方法のいくつかの具体例について、説明する。前述したように、空間画像描画部２２が描画した空間画像Ｉは、推定エンジンによる対象物Ｏの姿勢推定に用いられる。そのため空間画像描画部２２は、この推定エンジンによる推定結果の精度を高めることができるように描画条件を決定することが望ましい。
【００２６】
描画条件の決定方法の第１の具体例として、物体センサー１４の検出結果や単位要素情報に基づいて視点位置ＶＰ、及び視線方向ＶＤを決定する方法について、説明する。空間画像描画部２２は、対象物Ｏの全体が空間画像Ｉに含まれるように、視点位置ＶＰ、及び視線方向ＶＤを決定することが望ましい。具体的に空間画像描画部２２は、対象物Ｏを構成する単位要素が視野範囲内に収まるように、視点位置ＶＰの地面からの高さや位置などを決定する。
【００２７】
また、空間画像描画部２２は、対象物Ｏの正面と相対する位置に視点位置ＶＰを配置することが望ましい。対象物Ｏがユーザーの場合、物体センサー１４に含まれるイメージセンサーが撮影した画像データに対して顔認識処理を実行するなどして、現実空間内におけるユーザーの顔の位置、及び向きを特定することができる。そこで空間画像描画部２２は、特定された顔の正面方向に視点位置ＶＰを配置することで、たとえユーザーが物体センサー１４の方を向いておらずとも、そのユーザーを正面から見た空間画像Ｉを描画することができる。
【００２８】
また、空間画像描画部２２は、対象物Ｏを構成する単位要素の分布を解析することによって、対象物Ｏの正面方向を特定してもよい。具体的に、例えば空間画像描画部２２は、対象物Ｏを上方から見た際の単位要素の分布に対して主成分分析を行うことによって、対象物Ｏの正面方向を特定する。図５はこの場合の視点位置ＶＰ及び視線方向ＶＤと対象物Ｏとの位置関係を示す図であって、対象物Ｏを天頂方向から見た様子を示している。図中において対象物Ｏと重なる破線は、単位要素の分布に基づいて決定される体平面を示している。この体平面と交差する向きに視線方向ＶＤを設定することにより、対象物Ｏを正面から見た空間画像Ｉを描画することができる。
【００２９】
第２の具体例として、仮想空間内に配置する単位要素を所与の制限条件に従って制限する例について、説明する。物体センサー１４によって検出される単位要素の中には、対象物Ｏの周囲に背景として存在している他の物体を構成するものが含まれる場合がある。このような単位要素が空間画像Ｉ内に含まれると、推定エンジンによる推定の精度が悪くなる場合がある。そこで空間画像描画部２２は、単位要素の分布や各単位要素の配置位置に基づいて対象物Ｏを構成する単位要素を特定して、対象物Ｏを構成するものと特定された単位要素だけを仮想空間内に配置し、それ以外の単位要素の配置を制限することとしてもよい。これにより、背景や障害物を排除し、対象物Ｏだけが写っている空間画像Ｉを描画することができる。
【００３０】
また、空間画像描画部２２は、空間内の領域を対象として、空間画像Ｉを描画する対象とする単位要素を制限してもよい。すなわち、空間画像描画部２２は、特定の空間領域に存在する単位要素のみを仮想空間内に配置して、空間画像Ｉを描画する。これにより、対象物Ｏが注目する領域に存在する場合のみ姿勢の特定を行うことができる。
【００３１】
また、対象物Ｏの全体ではなく、一部だけを姿勢特定の対象としたい場合、空間画像描画部２２は、姿勢特定の対象としたい部分が存在すると想定される領域にある単位要素だけを仮想空間に配置して、空間画像Ｉを描画してもよい。具体例として、ユーザーの上半身のみを姿勢特定の対象としたい場合、所定の高さ以上の高さに存在する単位要素だけを仮想空間に配置して、空間画像Ｉを描画してもよい。また、顔認識によってユーザーの顔の位置が特定される場合、その位置を基準として単位要素を配置する対象とする領域を決定してもよい。また、空間画像描画部２２は、特定の領域を特定の色を持つ単位要素や、法線が特定の方向を向いている面を構成する単位要素などを、描画対象や描画対象から除外する対象として限定してもよい。
【００３２】
第３の具体例として、空間画像Ｉを描画する際の色やライティングに関する条件を変化させる例について、説明する。例えば空間画像描画部２２は、単位要素が有する色の明度が暗過ぎる場合など、所定の条件を満たす場合に、各色の明度を明るく変化させたり、グレースケールに変化させたりするなど、色を変化させる補正処理を実行してもよい。
【００３３】
また、空間画像描画部２２は、空間画像Ｉを描画する際に仮想空間内に設定する光源の数や位置、光の色などを、視点位置ＶＰや視線方向ＶＤと同様に、単位要素の分布や対象物Ｏの正面方向の推定結果等に基づいて決定してもよい。具体的に、例えば空間画像描画部２２は、ユーザーの正面から光が当たるように光源を仮想空間内に配置して、空間画像Ｉを描画してもよい。また、空間画像描画部２２は、セルフシャドウやキャストシャドウなど、空間画像Ｉ内に現れる影の内容を、推定エンジンによる推定の精度を高めるように変更してもよい。
【００３４】
第４の具体例として、物体センサー１４以外のセンサー等によって得られる情報を用いて描画条件を決定する例について、説明する。例えば、対象物Ｏであるユーザーが、その位置や向きの変化を検出可能なトラッキングデバイスを装着していることがある。このようなトラッキングデバイスとしては、モーションセンサーを備え、その検出結果から自身の移動方向等を検出可能なデバイスなど、各種のものが知られている。空間画像描画部２２は、このようなトラッキングデバイスによる検出結果を利用して、ユーザーの身体の位置や向きを特定することができる。そして、特定された身体の位置及び向きに応じて、ユーザーの正面に相対するように視点位置ＶＰ及び視線方向ＶＤを設定する。これにより、ユーザーを正面から見た空間画像Ｉを描画することができる。また、空間画像描画部２２は、このようなデバイスの検出結果に基づいて、単位要素を配置する領域を決定し、決定された領域内に存在する単位要素のみを仮想空間内に配置することとしてもよい。
【００３５】
第５の具体例として、同じ単位要素情報から複数の空間画像Ｉを描画する例について、説明する。この例では、異なる描画条件で複数の空間画像Ｉが描画され、描画された複数の空間画像Ｉのそれぞれに対して推定エンジンによる姿勢の推定が行われる。
【００３６】
例えば空間画像描画部２２は、互いに離れた位置に複数の視点位置ＶＰを設定し、そのそれぞれから対象物Ｏを見た様子を示す空間画像Ｉを描画する。ここで設定される複数の視点位置ＶＰは、例えば対象物Ｏを中心に互いに同じ角度ずつ離れた位置に設定されてもよい。次に姿勢特定部２３が、描画された複数の空間画像Ｉのそれぞれに対して、推定エンジンを用いて姿勢の特定処理を実行する。そして、複数の姿勢特定結果を統合して、対象物Ｏの姿勢を特定する。この場合の姿勢特定結果の統合処理とは、例えば、同じ間接位置について、複数の姿勢特定結果のそれぞれで得られる位置座標の代表値を算出することによって、各間接位置の位置座標を決定する処理である。
【００３７】
第６の具体例として、同じ単位要素情報を用いて、複数回にわたって空間画像Ｉを描画し、姿勢特定を行う例について、説明する。この例では、空間画像描画部２２は、まずこれまで説明したような方法によって最初の描画条件を決定し、決定した描画条件に従って空間画像Ｉを描画する。すなわち、第５の具体例とは異なり、最初に描画されるのは１個の空間画像Ｉだけである。そして、描画された空間画像Ｉに基づいて対象物Ｏの姿勢の特定が成功すれば、空間画像描画部２２はあらためて空間画像Ｉを描画する必要はなく、そのまま姿勢の特定処理が終了する。
【００３８】
これに対して、初回の姿勢特定処理に問題があると判定された場合、空間画像描画部２２は描画条件を初回のものとは変更して、初回と同じ単位要素情報を用いて２個目の空間画像Ｉを描画する再描画処理を実行する。例えば空間画像描画部２２は、初回の姿勢特定処理で特定に失敗した関節位置が存在する場合に、再描画処理を行う。このとき空間画像描画部２２は、失敗した関節位置を特定しやすいように、再描画処理を行う際の視点位置ＶＰ及び視線方向ＶＤを初回のものから変化させる。
【００３９】
図６は、以上説明した描画条件の変更内容の一例を説明する図であって、図６（ａ）は初回に描画された空間画像Ｉの具体例を示している。この例では、ユーザーの正面方向に視点位置ＶＰが設定されているが、ユーザーが正面に向かって右手を伸ばしているため、右肘が隠れており、図６（ａ）の空間画像Ｉに対する姿勢特定処理では右肘の関節位置が特定できなかったものとする。このとき空間画像描画部２２は、初回とは視点位置ＶＰ及び視線方向ＶＤを変化させて再描画処理を実行する。図６（ｂ）は２個目の空間画像Ｉの例を示しており、図６（ｃ）は初回と２回目の描画処理時における視点位置ＶＰ及び視線方向ＶＤの位置関係を示している。なお、図６（ｃ）はユーザーを天頂方向から見た図であって、ＶＰ１及びＶＤ１が初回の描画処理時における視点位置ＶＰ及び視線方向ＶＤを、ＶＰ２及びＶＤ２が２回目の再描画処理時における視点位置ＶＰ及び視線方向ＶＤを、それぞれ示している。この図の例では再描画処理において視点位置ＶＰ及び視線方向ＶＤが平面視において反時計回りに４５度回転しており、右肘が見えやすくなっている。
【００４０】
以上の説明では、特定に失敗した関節位置が存在する場合に再描画処理を実行することとしたが、空間画像描画部２２はこれ以外の場合にも再描画処理を実行してよい。例えば空間画像描画部２２は、初回の姿勢特定処理で特定された関節位置の中に、人体の構造上不自然な位置にある関節位置が存在する場合に、再描画処理を実行することとする。本実施形態では、二次元の空間画像Ｉを対象とする推定エンジンによる推定結果と距離画像Ｄとを用いて三次元の仮想空間内における関節位置を特定している。そのため、空間画像Ｉ内では不自然な位置ではないと推定エンジンが判定した場合であっても、距離画像Ｄによる距離情報と整合せず、不自然な位置に人体の部位が存在すると推定されてしまう場合があり得る。このような場合に再描画処理を実行することで、姿勢特定の精度を高めることができる。
【００４１】
なお、以上説明したような再描画処理を実行し、その結果得られる空間画像Ｉを用いて姿勢特定処理が再実行された場合、姿勢特定部２３は、初回の姿勢特定処理において特定に失敗した関節位置や、不自然な位置にあると推定された関節位置についてのみ、２回目の姿勢特定処理の結果得られる位置情報で置き換えてもよい。あるいは、前述した第５の具体例と同様に、複数回の姿勢特定処理によって得られる姿勢特定結果を統合して、対象物Ｏの姿勢を決定してもよい。
【００４２】
また、空間画像描画部２２は、再描画処理を実行する際には、初回の姿勢特定処理の結果を参照して新たな描画条件を決定することとする。例えば初回の姿勢特定処理が実行されると、その結果としてユーザーの顔がどちらを向いているか、どの方向がユーザーの身体の正面方向かを特定することができる。そこで、初回の描画処理時における視点位置ＶＰ及び視線方向ＶＤがユーザーの正面から大きくずれていると判定された場合、空間画像描画部２２は、初回の姿勢特定処理によって特定されたユーザーの正面方向に応じて再描画処理時の視点位置ＶＰ及び視線方向ＶＤを決定してもよい。
【００４３】
ここで、再描画処理が実行される場合において制御部１１が実行する処理の流れの一例について、図７のフロー図を用いて説明する。
【００４４】
まず単位要素情報取得部２１が、物体センサー１４の検出結果を用いて対象物Ｏの姿勢を特定するために必要な単位要素情報を取得する（Ｓ１）。続いて空間画像描画部２２が、Ｓ１で取得された単位要素情報を用いて対象物Ｏを構成する単位要素を仮想空間内に配置する（Ｓ２）。そして、初回の描画条件を決定し（Ｓ３）、決定された描画条件に従って空間画像Ｉ、及び距離画像Ｄを描画する（Ｓ４）。
【００４５】
次に姿勢特定部２３が、Ｓ４で描画された空間画像Ｉに対して推定エンジンを適用し、推定結果として二次元の骨格モデルを算出する（Ｓ５）。そして、算出された骨格モデルとＳ４で描画された距離画像Ｄとに基づいて、三次元の骨格モデルを算出する（Ｓ６）。その後、姿勢特定部２３は、姿勢特定処理の再実行を行うべきか否かを判定する（Ｓ７）。前述したように特定に失敗した関節位置が存在するなど、Ｓ６で算出された骨格モデルの精度が十分でないと判断される要因がある場合、姿勢特定部２３は再実行を行うべきと判定する。その場合、空間画像描画部２２は、Ｓ６で算出された骨格モデルの情報に基づいて、再描画処理のための新たな描画条件を決定する（Ｓ８）。その後空間画像描画部２２は、再描画処理を実行して新たな空間画像Ｉ、及び距離画像Ｄを描画する（Ｓ９）。続いて姿勢特定部２３は、再描画処理によって得られた新たな空間画像Ｉに基づいて前述したＳ５と同様にして二次元の骨格モデルを算出し（Ｓ１０）、Ｓ６と同様にして三次元の骨格モデルを算出する（Ｓ１１）。その後、Ｓ６、及びＳ１１で算出された三次元の骨格モデルを統合して、対象物Ｏの姿勢を特定する（Ｓ１２）。
【００４６】
なお、ここでは再描画処理は一度しか行わないこととしたが、二回目の姿勢特定処理の結果得られる骨格モデルにも問題があると判定される場合、三回目以降の描画処理、及び姿勢特定処理を実行することとしてもよい。
【００４７】
また、姿勢特定部２３は、空間画像描画部２２が描画した空間画像Ｉに限らず、イメージセンサーによって直接撮影された撮影画像も、姿勢特定処理に利用してもよい。例えば姿勢特定部２３は、撮影画像と空間画像Ｉの双方に対して姿勢特定処理を実行し、その結果得られる複数の骨格モデルを統合して対象物Ｏの姿勢を特定してもよい。また、初回は撮影画像を用いて姿勢特定処理を実行し、一部の関節位置の特定に失敗した場合など所定の条件を満たした場合に、空間画像描画部２２が描画した空間画像Ｉを用いて姿勢特定処理を実行してもよい。
【００４８】
また、空間画像描画部２２は、以上説明した複数の具体例を任意に組み合わせて描画条件を決定してもよい。例えば空間画像描画部２２は、主成分分析の結果と、トラッキングデバイスの測定結果の双方を用いて視点位置ＶＰ及び視線方向ＶＤを決定してもよい。また、それぞれの結果に基づいて決定される描画条件に従って複数の空間画像Ｉを描画し、それぞれの空間画像Ｉを用いて姿勢特定処理を実行した結果を統合してもよい。
【００４９】
以上説明した本実施形態に係る情報処理装置１０によれば、単位要素情報を用いて描画した空間画像Ｉに対して姿勢特定処理を実行することにより、二次元画像を対象とした推定エンジンを利用して三次元空間内における対象物Ｏの姿勢を特定することができる。また、描画条件を任意に決定することで、現実には撮影できない視点からの画像や、周囲の物体を排除した画像など、姿勢特定に適した空間画像Ｉを描画することができる。
【００５０】
なお、本発明の実施の形態は、以上説明した物に限られない。例えば以上の説明では、単位要素は立体的な形状を有する体積要素であることとしたが、ポリゴンメッシュ等の平板的な面要素であってもよい。また、以上の説明では対象物Ｏは人であることとしたが、人形等の人を模した形状を有する物体や、動物などの複数の可動部位を有する物体を対象としてその姿勢を特定することとしてもよい。
【００５１】
また、以上の説明では現実に存在する対象物Ｏを対象とした物体センサー１４の検出結果を用いてリアルタイムで単位要素情報を取得することとした。これにより、ユーザー等の現在の姿勢をリアルタイムで特定し、その動きを仮想空間内で再現したりすることができる。しかしながら本発明の実施の形態はこのようなものに限られず、過去に記録された単位要素情報を取得して、姿勢特定処理を実行してもよい。また、仮想空間内におけるオブジェクトを表すポリゴンメッシュ等の単位要素の情報を取得して、姿勢特定処理を実行してもよい。
【符号の説明】
【００５２】
１  情報処理システム、１０  情報処理装置、１１  制御部、１２  記憶部、１３  インタフェース部、１４  物体センサー、２１  単位要素情報取得部、２２  空間画像描画部、２３  姿勢特定部。
【図１】
2019150431.tif 000003
【図２】
2019150431.tif 000004
【図３】
2019150431.tif 000005
【図４】
2019150431.tif 000006
【図５】
2019150431.tif 000007
【図６】
2019150431.tif 000008
【図７】
2019150431.tif 000009
【国際調査報告】
2019150431.tif 000010
2019150431.tif 000011
2019150431.tif 000012