(57)【要約】【課題】深度情報を必須とせずに実空間の状態を推定することが可能な情報処理装置、情報処理方法およびプログラムを提案する。【解決手段】実空間を撮像する撮像部の位置および角度を示す姿勢情報を取得する取得部と、前記撮像部により撮像された撮像画像と前記実空間について予め取得された三次元形状および輝度分布が表す仮想空間とを前記撮像画像を撮像した際に前記取得部により取得された前記姿勢情報に基づいて比較することにより前記実空間の状態を推定する推定部と、を備える情報処理装置。【選択図】図１
2015114905.tif 000002
【特許請求の範囲】
【請求項１】
実空間を撮像する撮像部の位置および角度を示す姿勢情報を取得する取得部と、
前記撮像部により撮像された撮像画像と前記実空間について予め取得された三次元形状および輝度分布が表す仮想空間とを前記撮像画像を撮像した際に前記取得部により取得された前記姿勢情報に基づいて比較することにより前記実空間の状態を推定する推定部と、
を備える情報処理装置。
【請求項２】
前記情報処理装置は、
前記仮想空間を前記姿勢情報が示す位置および角度から撮像した仮想画像を生成する生成部をさらに備え、
前記推定部は、前記撮像画像と前記生成部により生成された前記仮想画像との比較結果に基づいて前記実空間の状態を推定する、請求項１に記載の情報処理装置。
【請求項３】
前記推定部は、前記撮像画像と前記仮想画像との輝度差分が閾値以上である領域に、前記三次元形状および前記輝度分布が取得された際には存在しなかった遮蔽物が存在すると判定する、請求項２に記載の情報処理装置。
【請求項４】
前記推定部は、実空間をオブジェクトごとに分割して、前記撮像画像と前記仮想画像との輝度差分が閾値以上である領域が前記オブジェクトの状態が変化したことにより生じたか否かを判定する、請求項２に記載の情報処理装置。
【請求項５】
前記生成部は、前記オブジェクトの状態を変化させながら前記仮想画像を更新し、
前記推定部は、前記撮像画像と前記生成部により更新された前記仮想画像との一致度合に基づいて前記オブジェクトの状態を推定する、請求項４に記載の情報処理装置。
【請求項６】
前記生成部は、前記推定部により過去に推定された前記オブジェクトの状態の変化の傾向に基づいて前記オブジェクトを変化させながら前記仮想画像を更新する、請求項４に記載の情報処理装置。
【請求項７】
前記情報処理装置は、
前記推定部による推定結果に応じたＡＲ画像の表示を行うよう表示部を制御する表示制御部をさらに備える、情報処理装置、請求項１に記載の情報処理装置。
【請求項８】
前記表示制御部は、前記推定部により遮蔽物が存在すると推定された場合、遮蔽物が存在すると推定された領域以外の領域に前記ＡＲ画像を表示する、請求項７に記載の情報処理装置。
【請求項９】
前記表示制御部は、前記推定部により遮蔽物が存在すると推定された場合、オブジェクトのうち前記遮蔽物により遮蔽される領域に予め取得された前記輝度分布を貼り付けた前記ＡＲ画像を表示する、請求項７に記載の情報処理装置。
【請求項１０】
前記表示制御部は、前記推定部によりオブジェクトの状態が変化したと推定された場合、前記変化に応じて更新された前記三次元形状を用いた衝突判定に基づいて前記ＡＲ画像を表示する、請求項７に記載の情報処理装置。
【請求項１１】
実空間を撮像する撮像部の位置および角度を示す姿勢情報を取得することと、
撮像された撮像画像と前記実空間について予め取得された三次元形状および輝度分布が表す仮想空間とを前記撮像画像を撮像した際に取得された前記姿勢情報に基づいて比較することにより前記実空間の状態を推定することと、
を備える、情報処理装置のプロセッサにより実行される情報処理方法。
【請求項１２】
コンピュータを、
実空間を撮像する撮像部の位置および角度を示す姿勢情報を取得する取得部と、
前記撮像部により撮像された撮像画像と前記実空間について予め取得された三次元形状および輝度分布が表す仮想空間とを前記撮像画像を撮像した際に前記取得部により取得された前記姿勢情報に基づいて比較することにより前記実空間の状態を推定する推定部と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、実空間に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Augmented  Reality）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、テキスト、アイコン又はアニメーションなどの様々な形態の仮想オブジェクトを用いて可視化される。仮想オブジェクトは、関連付けられる実物体の位置に応じてＡＲ空間内に配置される。他にも、仮想オブジェクトは、ＡＲ空間内で移動、衝突、または変形といった動作を行うことも可能である。ＡＲ画像を重畳させる対象となる実空間においては、実オブジェクトの移動や新たな実オブジェクトの登場等の状態変化が生じる場合がある。このため、動的な実オブジェクトの状態変化に応じて、適切なＡＲ表示を行うための技術が開発されている。
【０００３】
例えば、下記特許文献１では、深度センサにより取得された実オブジェクトの深度情報に基づいて実オブジェクトの状態を動的に認識することで、実オブジェクトとの前後関係が正しく表現された仮想オブジェクトをＡＲ表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１０１５２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に記載された技術では、実オブジェクトの状態変化を認識するためには、実オブジェクトの深度情報を必須とされていた。しかし、装置構成の簡易化や低コスト化等のためには、深度情報を用いる以外の手法により実空間の状態が推定可能となることが望ましい。そこで、本開示では、深度情報を必須とせずに実空間の状態を推定することが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、実空間を撮像する撮像部の位置および角度を示す姿勢情報を取得する取得部と、前記撮像部により撮像された撮像画像と前記実空間について予め取得された三次元形状および輝度分布が表す仮想空間とを前記撮像画像を撮像した際に前記取得部により取得された前記姿勢情報に基づいて比較することにより前記実空間の状態を推定する推定部と、を備える情報処理装置が提供される。
【０００７】
また、本開示によれば、実空間を撮像する撮像部の位置および角度を示す姿勢情報を取得することと、撮像された撮像画像と前記実空間について予め取得された三次元形状および輝度分布が表す仮想空間とを前記撮像画像を撮像した際に取得された前記姿勢情報に基づいて比較することにより前記実空間の状態を推定することと、
を備える、情報処理装置のプロセッサにより実行される情報処理方法が提供される。
【０００８】
また、本開示によれば、コンピュータを、実空間を撮像する撮像部の位置および角度を示す姿勢情報を取得する取得部と、前記撮像部により撮像された撮像画像と前記実空間について予め取得された三次元形状および輝度分布が表す仮想空間とを前記撮像画像を撮像した際に前記取得部により取得された前記姿勢情報に基づいて比較することにより前記実空間の状態を推定する推定部と、として機能させるためのプログラムが提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、深度情報を必須とせずに実空間の状態を推定することが可能である。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１０】
【図１】本開示の一実施形態に係るＡＲ表示処理の概要を説明するための図である。
【図２】第１の実施形態に係るスマートフォンの構成の一例を示すブロック図である。
【図３】第１の実施形態に係るスマートフォンにおいて実行される事前準備処理の流れの一例を示すフローチャートである。
【図４】第１の実施形態に係るスマートフォンにおいて実行されるＡＲ表示処理の流れの一例を示すフローチャートである。
【図５】第２の実施形態に係るスマートフォンにおいて実行される事前準備処理の流れの一例を示すフローチャートである。
【図６】第２の実施形態に係るスマートフォンにおいて実行されるＡＲ表示処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
なお、説明は以下の順序で行うものとする。
１．概要
２．第１の実施形態
２−１．スマートフォンの構成例
２−２．動作処理
３．第２の実施形態
３−１．スマートフォンの構成例
３−２．動作処理
４．まとめ
【００１３】
＜１．概要＞
本実施形態にかかる情報処理装置は、撮像部により実空間を実時間で撮像したスルー画像に、仮想オブジェクトを示すオブジェクト画像（ＡＲ画像）を重畳表示する。情報処理装置は、実空間の三次元データ並びに撮像部の位置および姿勢を示す姿勢情報を用いることで、仮想オブジェクトを適切な位置に表示したり、仮想オブジェクトと実オブジェクトとの衝突等のインタラクションを表現したりすることが可能である。三次元データとは、実空間における物体の頂点の位置情報、頂点間を繋ぐ線分、および線分により囲まれる表面から成るデータであり、実空間の三次元形状（Surface）を表現する情報である。情報処理装置は、ＡＲ表示処理のための事前準備として、予め三次元データを取得しておく。そして、情報処理装置は、姿勢情報を用いて三次元データが示す三次元形状と実空間との対応を取ることにより、実オブジェクトと仮想オブジェクトとの位置関係を判定したり、衝突判定を行ったりすることが可能となる。
【００１４】
しかし、三次元データがモデリングされた後に、実オブジェクトの位置が移動したり、新たな実オブジェクトが登場したりするような実空間の状態変化が生じた場合、ＡＲ表示処理に様々な不都合が生じ得る。これは、三次元データに更新がされない場合、三次元データが示す三次元形状と実空間とに差異が生じるためである。具体的には、実オブジェクトの位置が移動した場合、仮想オブジェクトとすでに移動して存在しない実オブジェクトとの衝突判定がされるため、例えば仮想オブジェクトが何も存在しないところで跳ね返るような破綻したＡＲ表示がなされ得る。また、仮想オブジェクトと移動後の実オブジェクトとの衝突判定および前後関係の判定がなされないため、例えば仮想オブジェクトが移動後の実オブジェクトをすり抜けるような破綻したＡＲ表示がなされ得る。他にも、新たな実オブジェクトが登場した場合、仮想オブジェクトと新たな実オブジェクトとの衝突判定および前後関係の判定がされないため、例えば新たな実オブジェクトの手前に常にＡＲ画像が表示されるような破綻したＡＲ表示がなされ得る。
【００１５】
ＡＲ画像としてスルー画像が用いられる場合には、さらに不都合が生じ得る。一例として、実オブジェクトの状態を変化させた仮想オブジェクトのＡＲ画像が、スルー画像を用いて生成される例を考える。例えば、実オブジェクトを破壊した破片を示す仮想オブジェクトの表面に、スルー画像における実オブジェクトの対応する領域をテクスチャ（表面画像）として貼り付けることで、ＡＲ画像が生成され得る。ここで、変化の対象となった実オブジェクトと撮像部との間に新たな実オブジェクトが遮蔽物として登場した場合、仮想オブジェクトの表面に新たに登場した実オブジェクトが写り込んだＡＲ画像が生成され得る。以下、図１を参照して、このような遮蔽物が写り込む破綻したＡＲ表示について詳細に説明する。
【００１６】
図１は、本開示の一実施形態に係るＡＲ表示処理の概要を説明するための図である。図１に示すように、ユーザはスマートフォン１を手に持って表示部７を見ており、表示部７の裏面側に配置された撮像部が机に向けられている。また、机には電話機１０が置かれている。図１の符号１００に示すように、スマートフォン１は、机の上の空間を実時間で撮像したスルー画像に、スマートフォン１から射出されたボールを示すＡＲ画像１０１を重畳して表示する。さらに、図１の符号１００に示すように、スマートフォン１は、実オブジェクトである電話機１０の代わりに、電話機１０を破壊した仮想オブジェクトである破片１０２、１０３、１０４を表示している。ここで、スマートフォン１は、破片１０２、１０３、１０４の形状、位置、および姿勢を演算して、その表面にスルー画像に映っている電話機１０の画像をテクスチャとして貼り付けている。
【００１７】
ここで、図１の符号１００は電話機１０と手２００との前後関係が適切に認識されている場合の表示例を示し、符号９００は電話機１０と手２００との前後関係が適切に認識されていない場合の表示例を示している。図１に示すように、実空間においては電話機１０の手前に手２００が位置している。手２００と電話機１０との前後関係が適切に認識されている場合、手２００のような遮蔽物が存在しても、図１の符号１００に示すように、手２００の奥側で破片１０３が表示されることとなる。また、さらに、仮想オブジェクトの表面に遮蔽物が写り込むような破綻したＡＲ表示を避けることが可能となる。
【００１８】
一方で、手２００と電話機１０との前後関係が適切に認識されない場合、手２００のような遮蔽物が存在すると、図１の符号９００に示すように、破綻された表示がされ得る。図１の符号９００に示すように、スマートフォンは、机の上の空間を実時間で撮像したスルー画像に、スマートフォンから射出されたボールを示すＡＲ画像９０１を重畳して表示する。上述したように、スマートフォンは、破片９０２、９０３、９０４の形状、位置、および姿勢を演算して、その表面にスルー画像に映っている電話機１０の画像をテクスチャとして貼り付けている。電話機１０の手前に手２００が位置するため、スルー画像には電話機１０に手２００が重畳して写っている。ここで、手２００と電話機１０との前後関係が適切に認識されていないため、スマートフォンは、電話機１０に重畳した手２００を、電話機１０の表面の模様９１０として、破片９０３に貼り付けてしまう。さらに、スマートフォンは、符号９００に示すように、手２００よりも手前に破片９０３を表示してしまう。
【００１９】
このように、三次元データをモデリングしたときに存在する既存の実オブジェクトと新たに登場した実オブジェクトとの前後関係が適切に認識されない場合、破綻なＡＲ表示がなされ得る。このようなＡＲ表示の破綻を回避するためには、既存の実オブジェクトの移動および新たな実オブジェクトの登場などの実空間の状態を適切に推定することが求められる。
【００２０】
このような事情に関し、上記特許文献１では、深度センサを用いて実オブジェクトの位置を実時間で取得することで、仮想オブジェクトと実オブジェクトとの位置関係を認識してＡＲ表示の破綻を回避している。しかし、装置構成の簡易化や低コスト化等のためには、深度情報を用いる以外の手法により実空間の状態が推定可能となることが望ましい。
【００２１】
そこで、上記事情を一着眼点にして本実施形態に係るスマートフォン１（情報処理装置）を創作するに至った。本実施形態に係るスマートフォン１は、深度情報を必須とせずに実空間の状態を推定することができる。
【００２２】
具体的には、本実施形態に係るスマートフォン１は、実空間に状態変化がなければ撮像されていたであろう仮想画像を生成して、この仮想画像と実際に撮像された実画像とを比較することで、実空間の状態を推定する。詳しくは、まず、事前準備として、スマートフォン１は、実空間の三次元形状を示す三次元データ、および三次元形状の表面上の輝度分布（テクスチャ）を保持しておく。ＡＲ表示処理の際には、スマートフォン１は、スルー画像を撮像する撮像部の位置および角度を実時間で取得して、三次元データおよびテクスチャにより表される仮想空間をその位置その角度から撮像した場合の仮想画像を生成する。この仮想画像は、実空間に状態変化がなければ撮像されていたであろう画像である。そして、スマートフォン１は、この仮想画像と実際に撮像されたスルー画像とを比較して、その差分が生じる領域に状態変化が生じていると推定する。スマートフォン１は、このようにして実空間の状態を推定することができるため、推定した状態に応じた仮想オブジェクトの衝突判定や位置関係の判定が可能となり、破綻したＡＲ表示を行うことを回避することができる。
【００２３】
なお、図１では、本開示の一実施形態に係る情報処理装置がスマートフォン１として実現される例を示したが、本開示に係る技術はこれに限定されない。例えば、情報処理装置は、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）、デジタルカメラ、デジタルビデオカメラ、タブレット端末、携帯電話端末等であってもよい。また、情報処理装置がＨＭＤとして実現される場合、ＨＭＤは、カメラにより撮像されたスルー画像にＡＲ画像を重畳して表示してもよいし、透明または半透明のスルー状態として形成された表示部にＡＲ画像を表示してもよい。
【００２４】
以上、本実施形態に係るＡＲ表示処理の概要を説明した。以下、各実施形態について詳細に説明する。
【００２５】
＜２．第１の実施形態＞
本実施形態は、遮蔽物を検知して遮蔽物に応じたＡＲ表示を行う形態である。まず、図２を参照して、第１の実施形態に係るスマートフォン１の構成を説明する。
【００２６】
［２−１．スマートフォンの構成例］
図２は、第１の実施形態に係るスマートフォン１の構成の一例を示すブロック図である。図２に示すように、スマートフォン１は、撮像部２、姿勢情報取得部３、空間情報取得部４、制御部５、表示制御部６、および表示部７を有する。
【００２７】
（１）撮像部２
撮像部２は、撮像レンズ、絞り、ズームレンズ、およびフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
【００２８】
本実施形態に係る撮像部２は、実空間を撮像して、後述の表示制御部６によるＡＲ画像の生成に用いられる画像を取得する機能を有する。また、撮像部２は、実時間で実空間を撮像したスルー画像を取得する機能を有する。撮像部２は、制御部５および表示制御部６に撮像した画像を出力する。
【００２９】
（２）姿勢情報取得部３
姿勢情報取得部３は、スマートフォン１の位置および角度（姿勢）を示す姿勢情報を取得する取得部としての機能を有する。特に、姿勢情報取得部３は、撮像部２の姿勢情報を取得する。ＡＲ技術において、真に有用な情報をユーザに呈示するためには、コンピュータが実空間の状況を的確に把握することが重要である。そのため、ＡＲ技術の基盤となる実空間の状況の把握を目的とした技術の開発が進められている。そのような技術のひとつとして、例えば、カメラの位置や姿勢とカメラの画像に映る特徴点の位置とを同時に推定可能なＳＬＡＭ（Simultaneous  Localization  And  Mapping）とよばれる技術がある。単眼カメラを用いたＳＬＡＭ技術の基本的な原理は、「Andrew  J.Davison,  “Real-Time  Simultaneous  Localization  and  Mapping  with  a  Single  Camera”,  Proceedings  of  the  9th  IEEE  International  Conference  on  Computer  Vision  Volume  2,  2003,  pp.1403-1410」において説明されている。なお、カメラ画像を用いて視覚的に位置を推定するＳＬＡＭ技術は、特にＶＳＬＡＭ（visual  SLAM）とも称される。ＳＬＡＭ技術においては、環境マップとカメラ画像とを用いて、カメラの位置および姿勢が推定される。環境マップとは、実空間内に存在する物体の三次元位置を表現する情報であり、より具体的には、実空間内に存在する１つ以上の物体の位置および姿勢を表現するデータの集合である。環境マップには、例えば、物体に対応するオブジェクト名称、当該物体に属す特徴点の三次元位置、及び当該物体の形状を構成するポリゴン情報などが含まれ得る。環境マップは、例えば、特徴点の撮像面上の位置から各特徴点の三次元位置を求めることにより構築され得る。姿勢情報取得部３は、例えばＳＬＡＭ技術を用いて、環境マップにおける特徴点と撮像部２により撮像された撮像画像に映る特徴点とのマッチング結果により撮像部２の姿勢情報を取得する。他にも、姿勢情報取得部３は、マーカーを用いた姿勢推定技術や、ＤＴＡＭ（Dense  Tracking  and  Mapping  in  Real-Time）、Ｋｉｎｅｃｔ  Ｆｕｓｉｏｎといった技術により、撮像部２の姿勢情報を取得してもよい。また、姿勢情報取得部３は、加速度センサや角速度（ジャイロ）センサ、地磁気センサにより検知された情報に基づいて、姿勢情報を取得してもよい。姿勢情報取得部３は、取得した姿勢情報を制御部５および表示制御部６に出力する。
【００３０】
（３）空間情報取得部４
空間情報取得部４は、実空間の三次元データおよび三次元データが示す三次元形状の表面上のテクスチャを取得する機能を有する。空間情報取得部４は、撮像部２および姿勢情報取得部３を用いて三次元データおよびテクスチャを生成してもよいし、予め他の端末により生成された三次元データおよびテクスチャを外部から取得してもよい。三次元データは、例えばＣＡＤ（Computer  Assisted  Drafting）データとして実現される。テクスチャは、輝度分布である。ＡＲ表示処理の事前準備として、空間情報取得部４が三次元データおよび輝度分布を事前に取得することを、事前モデリングとも称する。空間情報取得部４は、取得した三次元データおよびテクスチャを制御部５および表示制御部６に出力する。
【００３１】
（４）制御部５
制御部５は、演算処理装置および制御装置として機能し、各種プログラムに従ってスマートフォン１内の動作全般を制御する。制御部５は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、マイクロプロセッサ等の電子回路によって実現される。なお、制御部５は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）を含んでいてもよい。図２に示すように、制御部５は、生成部５１、推定部５２、および仮想オブジェクト生成部５３として機能する。
【００３２】
（４−１）生成部５１
生成部５１は、実空間について予め空間情報取得部４により取得された三次元形状および輝度分布が表す仮想空間を、姿勢情報取得部３により取得された姿勢情報が示す位置および角度から撮像した仮想画像を生成する機能を有する。詳しくは、生成部５１は、空間情報取得部４により予めモデリングされた三次元形状および輝度分布により構成される仮想空間（事前モデル）を、ＡＲ表示する現時刻のカメラ視点／撮像面にあたる２次元平面上に再射影した仮想画像をレンダリングする。言い換えると、仮想画像は、事前モデルを現在のカメラ視点から撮像した場合の輝度分布となる。
【００３３】
（４−２）推定部５２
推定部５２は、撮像部２により撮像された撮像画像と事前モデルとを、撮像画像を撮像した際に姿勢情報取得部３により取得された姿勢情報に基づいて比較することにより、撮像対象の実空間の状態を推定する機能を有する。詳しくは、推定部５２は、スルー画像と生成部５１により生成された仮想画像との比較結果に基づいて、実空間の状態を推定する。この比較は、スルー画像と仮想画像との間に相違があるか否かをピクセル単位で判定することによりなされる。
【００３４】
例えば、推定部５２は、スルー画像と仮想画像との間の相違を、輝度差分により判定する。具体的には、推定部５２は、スルー画像と仮想画像との輝度差分が閾値以上である領域（ピクセル）に、事前モデリングの際には存在しなかった実オブジェクト（遮蔽物）が存在すると判定する。また、推定部５２は、スルー画像と仮想画像との輝度差分が閾値より低い領域には、事前モデリングの際には存在しなかった遮蔽物は存在しないと判定する。なお、推定部５２は、事前モデリングの際に用いられた撮像部とスルー画像を撮像する撮像部２の、露出（Exposure）やホワイトバランス（WhiteBalance）等の撮像条件に基づいて輝度を補正した上で輝度差分を算出してもよい。
【００３５】
（４−３）仮想オブジェクト生成部５３
仮想オブジェクト生成部５３は、仮想オブジェクトを生成する機能を有する。具体的には、仮想オブジェクト生成部５３は、仮想オブジェクトの三次元形状を示す三次元データを生成する。例えば、仮想オブジェクト生成部５３は、図１に示した仮想的なボール１０１の三次元データを生成する。他にも、例えば、仮想オブジェクト生成部５３は、図１に示した実オブジェクトである電話機１０を破壊した破片１０２、１０３、１０４の三次元データを生成する。
【００３６】
（５）表示制御部６
表示制御部６は、姿勢情報取得部３により取得された姿勢情報に基づいて、スルー画像における実オブジェクトおよび仮想オブジェクトの現在位置を動的に決定しながら、スルー画像にＡＲ画像を重畳して表示するよう表示部７を制御する機能を有する。特に、本実施形態に係る表示制御部６は、推定部５２による推定結果に応じたＡＲ画像の表示を行うよう表示部７を制御する機能を有する。
【００３７】
例えば、表示制御部６は、推定部５２により遮蔽物が存在すると推定された場合、遮蔽物が存在すると推定された領域以外の領域にＡＲ画像を表示する。例えば、表示制御部６は、図１に示したように、事前モデリング時には存在しなかった手２００が、撮像部２の撮像方向に遮蔽物として新たに登場した場合に、仮想的なボール１０１を重畳して表示する例を想定する。この場合、表示制御部６は、手の領域２００が存在する領域にはボール１０１を重畳せず、指の隙間の領域にボール１０１を重畳表示する。これにより、表示制御部６は、新たに登場した手２００の後ろにボールが位置するようなＡＲ表示を行うことができ、手２００の手前に常にボールが重畳表示されるような破綻したＡＲ表示を行うことを回避することができる。
【００３８】
また、表示制御部６は、実オブジェクトの状態を変化させた仮想オブジェクトの表面に、スルー画像における実オブジェクトの対応する領域をテクスチャとして貼り付けたＡＲ画像を生成して表示してもよい。例えば、表示制御部６は、図１に示したように、破片１０２、１０３、１０４の現在位置および姿勢を演算して、その表面に、スルー画像における電話機１０の対応する領域の画像をテクスチャとして貼り付ける。ここで、破壊断面や電話機１０の裏側といった不可視領域についてはスルー画像には写っていない。このため、表示制御部６は、この不可視領域に、予め取得されたテクスチャを貼り付けたり、電話機１０の可視部分の画素値に基づいて推定した単一色を着色したり、Inpainting等の画像補間アルゴリズムにより生成したテクスチャを貼り付けてよい。同様に、破片が跳ね飛ばされたり、破片間に隙間が生じたりすることにより、スルー画像においては不可視であった背景が新たに露出し得る。このため、表示制御部６は、この不可視であった背景領域に、予め取得されたテクスチャを貼り付けたり、周辺の背景の画素値に基づいて推定した単一色を着色したり、Inpainting等の画像補間アルゴリズムにより生成したテクスチャを貼り付けてよい。このようにして、表示制御部６は、実オブジェクトの破壊という状態変化を示す仮想オブジェクトを表現することができる。なお、表示制御部６は、破壊の他にも移動または回転等の状態変化を表現することが可能である。
【００３９】
ＡＲ画像にスルー画像が用いられる場合、実空間の状態変化により破綻されたＡＲ表示がなされ得る。例えば、図１を参照して上記説明したように、状態変化の対象となった実オブジェクトと撮像部２との間に新たな実オブジェクトが遮蔽物として登場した場合、仮想オブジェクトの表面に遮蔽物が写り込んだＡＲ画像が表示され得る。そこで、表示制御部６は、推定部５２により遮蔽物が存在すると推定された場合、仮想オブジェクトのうちスルー画像においては遮蔽物により遮蔽される領域に、予め取得されたテクスチャを貼り付けたＡＲ画像を表示する。具体的には、表示制御部６は、スルー画像のうち遮蔽物が含まれる領域をテクスチャとして用いることを避け、予め（遮蔽物が存在しないときに）取得された輝度分布をテクスチャとして用いる。例えば、図１に示す例においては、表示制御部６は、電話機１０の表面９１０に、スルー画像の対応する領域（手２００が写った領域）ではなく、事前モデリング時に取得された対応する領域（電話機１０のみが写った領域）の輝度分布を貼り付ける。これにより、表示制御部６は、図１の符号９００に示した破綻した表示ではなく、符号１００に示した適切な表示を行うことができる。表示制御部６は、仮想オブジェクトのうちスルー画像においては遮蔽物により遮蔽される領域には事前に取得されたテクスチャを貼り付け、遮蔽物により遮蔽されない領域にはスルー画像の対応する領域を貼り付ける。このとき、表示制御部６は、これらの領域の境界部分の周辺ピクセルをブレンディングすることで、合成の境界部が目立たない自然なレンダリングを実現することができる。
【００４０】
（６）表示部７
表示部７は、表示制御部６による制御に基づいて、撮像部２により撮像されたスルー画像にＡＲ画像を合成して表示する。表示部７は、例えばＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）またはＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）、などにより実現される。また、本実施形態に係る情報処理装置がＨＭＤとして実現される場合、表示部７は、透明または半透明のスルー状態として形成され、スルー状態の表示部７に映る実空間にＡＲ画像を表示してもよい。
【００４１】
以上、本実施形態に係るスマートフォン１の構成例を説明した。続いて、図３、図４を参照して、本実施形態に係るスマートフォン１の動作処理を説明する。
【００４２】
［２−２．動作処理］
図３は、第１の実施形態に係るスマートフォン１において実行される事前準備処理の流れの一例を示すフローチャートである。
【００４３】
図３示すように、まず、ステップＳ１０２で、スマートフォン１は、仮想空間モデルを生成する。詳しくは、空間情報取得部４は、実空間の三次元データおよび三次元データが示す三次元形状の表面上のテクスチャを取得する。空間情報取得部４は、撮像部２および姿勢情報取得部３を用いて三次元データおよびテクスチャを生成してもよいし、予め他の端末により生成された三次元データおよびテクスチャを外部から取得してもよい。
【００４４】
以上、スマートフォン１による事前準備処理を説明した。続いて、図４を参照して、スマートフォン１がＡＲ表示を行う際に実時間で実行される処理を説明する。
【００４５】
図４は、第１の実施形態に係るスマートフォン１において実行されるＡＲ表示処理の流れの一例を示すフローチャートである。
【００４６】
図４に示すように、まず、ステップＳ２０２で、スマートフォン１は、視点推定を行う。詳しくは、姿勢情報取得部３は、現時刻における撮像部２の位置および角度を示す姿勢情報を取得する。
【００４７】
次いで、ステップＳ２０４で、スマートフォン１は、仮想画像を生成する。詳しくは、生成部５１は、空間情報取得部４によりモデリング（図３ステップＳ１０２）された三次元形状および輝度分布により構成される仮想空間を、ＡＲ表示する現時刻のカメラ視点／撮像面にあたる２次元平面上に再射影した仮想画像をレンダリングする。
【００４８】
次に、ステップＳ２０６で、スマートフォン１は、スルー画像と仮想画像とを比較する。詳しくは、推定部５２は、スルー画像と仮想画像とのピクセルごとの輝度差分を算出する。
【００４９】
次いで、ステップＳ２０８で、スマートフォン１は、各ピクセルについて遮蔽領域であるか否かを判定する。詳しくは、推定部５２は、スルー画像と仮想画像との輝度差分が閾値以上であるピクセルに、事前モデリングの際には存在しなかった遮蔽物が存在すると判定する。また、推定部５２は、スルー画像と仮想画像との輝度差分が閾値より低いピクセルには、事前モデリングの際には存在しなかった遮蔽物は存在しないと判定する。
【００５０】
遮蔽領域であると判定された場合（Ｓ２０８／ＹＥＳ）、ステップＳ２１０で、スマートフォン１は、その領域にスルー画像を表示する。詳しくは、表示制御部６は、遮蔽物が存在するピクセルに、スルー画像の画素値を使用する。例えば、図１に示した例においては、スマートフォン１は、手２００が存在する領域には、スルー画像に映った手２００をそのまま表示する。
【００５１】
遮蔽領域でないと判定された場合（Ｓ２０８／ＮＯ）、ステップＳ２１２で、スマートフォン１は、その領域にＡＲ画像を表示する。詳しくは、表示制御部６は、遮蔽物が存在しないピクセルであって、仮想オブジェクトが存在する領域に、仮想オブジェクトを示すＡＲ画像を表示する。例えば、図１に示した例においては、表示制御部６は、手の領域２００が存在する領域にはボール１０１を重畳せず、指の隙間の領域にボール１０１を重畳表示する。なお、表示制御部６は、実オブジェクトの状態を変化させた仮想オブジェクトを表示する場合には、仮想オブジェクトのうちスルー画像においては遮蔽物により遮蔽される領域に、予め取得されたテクスチャを貼り付けたＡＲ画像を表示する。また、表示制御部６は、仮想オブジェクトのうちスルー画像においては遮蔽物により遮蔽されない領域に、スルー画像の対応する領域を貼り付けたＡＲ画像を表示する。なお、表示制御部６は、遮蔽領域でないと判定された領域であっても、仮想オブジェクトが存在しない領域には、スルー画像を表示する。
【００５２】
以上、本実施形態に係るスマートフォン１によるＡＲ表示処理を説明した。
【００５３】
＜３．第２の実施形態＞
本実施形態は、モデリングした実空間にあった既存の実オブジェクトの移動を検知および補足して、移動に応じたＡＲ表示を行う形態である。
【００５４】
［３−１．スマートフォンの構成例］
本実施形態に係るスマートフォン１の構成は、図２を参照して上記説明した第１の実施形態に係るスマートフォン１の構成と同様である。以下、本実施形態に係る構成要素が、第１の実施形態に加えて備える機能について詳細に説明する。
【００５５】
（１）推定部５２
本実施形態に係る推定部５２は、実空間において移動または回転等の状態変化をし得るオブジェクトを識別する。詳しくは、推定部５２は、撮像画像の輝度分布の偏りや三次元形状の凹凸に応じて、実空間を、机上の平面、電話機、コップ、紙、または鉛筆といった状態変化し得るオブジェクトごとを分割して識別する。以下では、この分割されたオブジェクトを、対象オブジェクトとも称する。そして、推定部５２は、スルー画像と仮想画像との輝度差分が閾値以上である領域が、対象オブジェクトの状態変化によって生じているか否かを判定することで、実空間の状態を推定する。
【００５６】
例えば、対象オブジェクトの一部の領域で差分が生じている場合、推定部５２は、その一部の領域が遮蔽物により遮蔽されていると推定する。また、対象オブジェクトの全領域で差分が生じている場合、推定部５２は、全領域が遮蔽されている、または対象オブジェクトが事前モデリング時の位置および姿勢から変形または移動している状態であると推定する。
【００５７】
さらに、推定部５２は、対象オブジェクトの全領域で差分が生じている場合、その領域以外に、輝度差分が閾値以上である領域を探索することで、全領域が遮蔽されているのか、または対象オブジェクト自体が移動しているかを、切り分けることができる。詳しくは、推定部５２は、まず、空間情報取得部４により取得された三次元形状および輝度分布から、対象オブジェクトの三次元形状および輝度分布を切り出す。そして、生成部５１は、対象オブジェクトの状態を変化させながら仮想画像を更新して、推定部５２は、スルー画像と更新された仮想画像との一致度合に基づいて対象オブジェクトの状態を推定する。詳しくは、まず、生成部５１は、対象オブジェクトの三次元形状に輝度分布を貼り付けた状態で、対象オブジェクトが取り得る実空間上での位置、姿勢、および形状を示すパラメータを変化させながら仮想画像をレンダリング（更新）する。そして、推定部５２は、レンダリングされる度に仮想画像とスルー画像との比較を行う。実空間という三次元空間でのパラメータ設定およびレンダリングにより、スルー画像という単なる二次元画像平面での移動または回転に留まらない対象オブジェクトの状態変化を仮定して、比較を行うことが可能となる。推定部５２は、パラメータの変化および比較を繰り返しながら、輝度差分が最小または閾値以下となるパラメータを探索して、探索したパラメータ（位置、姿勢、および形状）により規定される対象オブジェクトの状態を実空間の状態として推定する。
【００５８】
また、推定部５２は、過去に推定した対象オブジェクトの移動状態に応じて、対象オブジェクトの移動状態を効率的に補足（トラッキング）することも可能である。具体的には、生成部５１は、推定部５２により過去に推定された対象オブジェクトの状態変化の傾向に基づいて、位置、姿勢、および形状といった状態変化のパラメータを変化させながら、仮想画像をレンダリングする。例えば、生成部５１は、推定部５２により移動したと推定された対象オブジェクトについてのみ、パラメータを変化させながら仮想画像をレンダリングしてもよい。他にも、生成部５１は、推定部５２により推定された対象オブジェクトの移動距離、移動方向および回転角度に基づいて、等速運動、等加速度運動、またはランダム運動等を仮定してパラメータを変化させながら仮想画像をレンダリングしてもよい。生成部５１は、このパラメータ変化に例えばParticle  Filterの手法を適用して取り得る変化量や移動方向を限定してもよい。この場合、推定部５２は、より少ない試行回数でパラメータを推定することができる。
【００５９】
（２）表示制御部６
本実施形態に係る表示制御部６は、推定部５２により対象オブジェクトの状態が変化したと推定された場合に、変化に応じて実空間の三次元形状を更新して、更新された三次元形状を用いた衝突判定に基づいてＡＲ画像を表示する。具体的には、表示制御部６は、推定部５２により推定されたパラメータに応じて、空間情報取得部４により取得された三次元形状を更新して、事前モデリング後に生じた三次元形状と実空間との差異を無くす。そして、表示制御部６は、更新された三次元形状に基づいて仮想オブジェクトと実オブジェクトとの衝突判定および前後関係の判定を行い、ＡＲ画像を表示する。これにより、仮想オブジェクトとすでに移動して存在しない実オブジェクトとの衝突判定がされる事態を防がれ、例えば仮想オブジェクトが何も存在しないところで仮想オブジェクトが跳ね返るような破綻したＡＲ表示が回避される。また、仮想オブジェクトと移動後の実オブジェクトとの衝突判定および前後関係の判定がなされるため、例えば移動後の実オブジェクトをすり抜けるような破綻したＡＲ表示が回避される。
【００６０】
以上説明したように、本実施形態によれば、対象オブジェクトに移動や回転等の状態変化が生じた場合であっても、その状態変化に応じた衝突や遮蔽といった表現が可能となる。このため、例えば本技術は、ユーザが実オブジェクトを手に持って移動させて、仮想オブジェクト（物体またはキャラクター）とインタラクションを図るようなアプリケーションやゲームに適用することが可能となる。
【００６１】
以上、本実施形態に係るスマートフォン１の構成例を説明した。続いて、図５、図６を参照して、本実施形態に係るスマートフォン１の動作処理を説明する。
【００６２】
［３−２．動作処理］
図５は、第２の実施形態に係るスマートフォン１において実行される事前準備処理の流れの一例を示すフローチャートである。
【００６３】
図５示すように、まず、ステップＳ３０２で、スマートフォン１は、第１の実施形態（図３ステップＳ１０２）と同様にして仮想空間モデルを生成する。
【００６４】
次いで、ステップＳ３０４で、スマートフォン１は、オブジェクトを分離する。詳しくは、推定部５２は、撮像画像の輝度分布の偏りや三次元形状の凹凸に応じて、実空間を、机上の平面、電話機、コップ、紙、または鉛筆といった状態変化し得る対象オブジェクトごとを分割して識別する。
【００６５】
以上、スマートフォン１による事前準備処理を説明した。続いて、図６を参照して、スマートフォン１がＡＲ表示を行う際に実時間で実行される処理を説明する。
【００６６】
図６は、第２の実施形態に係るスマートフォン１において実行されるＡＲ表示処理の流れの一例を示すフローチャートである。
【００６７】
図４に示すように、まず、ステップＳ４０２で、スマートフォン１は、第１の実施形態（図４ステップＳ２０２）と同様にして視点推定を行う。
【００６８】
次いで、ステップＳ４０４で、スマートフォン１は、第１の実施形態（図４ステップＳ２０４）と同様にして仮想画像を生成する。
【００６９】
次に、ステップＳ４０６で、スマートフォン１は、第１の実施形態（図４ステップＳ２０６）と同様にしてスルー画像と仮想画像とを比較する。
【００７０】
次いで、ステップＳ４０８で、スマートフォン１は、対象オブジェクトが移動した可能性があるか否かを判定する。詳しくは、まず、推定部５２は、スルー画像と仮想画像との輝度差分が閾値以上であるピクセルを検出する。そして、対象オブジェクトの一部の領域で差分が生じている場合、推定部５２は、その一部の領域が遮蔽物により遮蔽されていると推定する。この場合、推定部５２は、対象オブジェクトは移動した可能性がないと判定する。また、対象オブジェクトの全領域で差分が生じている場合、推定部５２は、全領域が遮蔽されている、または対象オブジェクトが事前モデリング時の位置および姿勢から変形または移動している状態であると推定する。この場合、推定部５２は、対象オブジェクトが移動した可能性があると判定する。
【００７１】
対象オブジェクトが移動した可能性があると判定された場合（Ｓ４０８／ＹＥＳ）、ステップＳ４１０で、スマートフォン１は、対象オブジェクトの三次元情報を変化させながらマッチングして、対象オブジェクトの三次元情報を推定する。詳しくは、生成部５１は、対象オブジェクトの三次元形状に輝度分布を貼り付けた状態で、対象オブジェクトが取り得る実空間上での位置、姿勢、および形状を示すパラメータを変化させながら仮想画像をレンダリングする。そして、推定部５２は、レンダリングされる度に仮想画像とスルー画像との比較を行う。推定部５２は、パラメータの変化および比較を繰り返しながら、輝度差分が最小または閾値以下となるパラメータを探索して、探索したパラメータ（位置、姿勢、および形状）により規定される対象オブジェクトの状態を、実空間の状態として推定する。
【００７２】
次いで、ステップＳ４１２で、スマートフォン１は、対象オブジェクトが移動したか否かを判定する。詳しくは、推定部５２は、輝度差分が閾値以下となるパラメータがある場合に、対象オブジェクトが移動したと判定する。また、推定部５２は、輝度差分が閾値以下となるパラメータがない場合に、対象オブジェクトは移動しておらず、例えば対象オブジェクトの全領域が遮蔽されたと判定する。
【００７３】
対象オブジェクトが移動したと判定された場合（Ｓ４１２／ＹＥＳ）、ステップＳ４１４で、スマートフォン１は、推定した三次元情報を用いた衝突判定に基づいてＡＲ画像を表示する。詳しくは、表示制御部６は、推定部５２により推定されたパラメータに応じて、空間情報取得部４により取得された三次元形状を更新して、事前モデリング後に生じた三次元形状と実空間との差異を無くす。そして、表示制御部６は、更新された三次元形状に基づいて仮想オブジェクトと実オブジェクトとの衝突判定および前後関係の判定を行い、ＡＲ画像を表示する。
【００７４】
対象オブジェクトは移動した可能性がないと判定された場合（Ｓ４０８／ＮＯ）、または対象オブジェクトは移動していないと判定された場合（Ｓ４１２／ＮＯ）、ステップＳ４１６で、スマートフォン１は、事前の三次元情報を用いた衝突判定に基づいてＡＲ画像を表示する。詳しくは、表示制御部６は、空間情報取得部４により取得された三次元形状をそのまま用いて、仮想オブジェクトと実オブジェクトとの衝突判定および前後関係の判定を行い、ＡＲ画像を表示する。
【００７５】
以上、本実施形態に係るスマートフォン１によるＡＲ表示処理を説明した。
【００７６】
＜４．まとめ＞
ここまで、図１〜図６を用いて、本開示に係る技術の実施形態を詳細に説明した。上述した実施形態によれば、深度情報を必須とせずに実空間の状態を推定することが可能である。詳しくは、遮蔽物の登場や実オブジェクトの移動といった、事前モデリング時から実空間に状態変化が生じた場合であっても、スマートフォン１は、仮想画像とスルー画像との比較により状態変化を認識して、状態変化に応じたＡＲ表示を行うことができる。具体的には、スマートフォン１は、遮蔽物が存在する領域を避けて仮想オブジェクトを表示することにより、遮蔽の前後関係に基づく自然且つ破綻のないＡＲ表示や、衝突等の仮想オブジェクトと実オブジェクトとのインタラクションを実現することができる。また、事前モデリング後に実オブジェクトが移動した場合、スマートフォン１は、仮想画像を更新しながらスルー画像と仮想画像とを比較することにより、実オブジェクトの移動を検出および補足することができる。これにより、仮想オブジェクトと実オブジェクトとの各種インタラクションが実現される。
【００７７】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００７８】
例えば、上記実施形態では、撮像部２、姿勢情報取得部３、空間情報取得部４、制御部５、表示制御部６、および表示部７が同一装置内に形成される例を説明したが、本技術はかかる例に限定されない。例えば、撮像部２が外部装置に含まれ、スマートフォン１は外部装置から取得した撮像画像に基づいて、上述したＡＲ表示を行ってもよい。他にも、例えばクラウド上のサーバが空間情報取得部４、制御部５、および表示制御部６を有し、サーバとネットワークを介して接続するクライアント装置が撮像部２、姿勢情報取得部３、および表示部７を有していてもよい。この場合、クライアント装置は、撮像画像および姿勢情報をサーバに送信して、サーバによる各種演算および制御に応じてＡＲ画像を表示してもよい。
【００７９】
また、本開示の第１の実施形態および第２の実施形態は適宜組み合わせることが可能である。
【００８０】
なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、およびソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory  media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。
【００８１】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００８２】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
実空間を撮像する撮像部と、
前記撮像部の位置および角度を示す姿勢情報を取得する取得部と、
前記撮像部により撮像された撮像画像と前記実空間について予め取得された三次元形状および輝度分布が表す仮想空間とを前記撮像画像を撮像した際に前記取得部により取得された前記姿勢情報に基づいて比較することにより前記実空間の状態を推定する推定部と、
を備える情報処理装置。
（２）
前記情報処理装置は、
前記仮想空間を前記姿勢情報が示す位置および角度から撮像した仮想画像を生成する生成部をさらに備え、
前記推定部は、前記撮像画像と前記生成部により生成された前記仮想画像との比較結果に基づいて前記実空間の状態を推定する、前記（１）に記載の情報処理装置。
（３）
前記推定部は、前記撮像画像と前記仮想画像との輝度差分が閾値以上である領域に、前記三次元形状および前記輝度分布が取得された際には存在しなかった遮蔽物が存在すると判定する、前記（２）に記載の情報処理装置。
（４）
前記推定部は、実空間をオブジェクトごとに分割して、前記撮像画像と前記仮想画像との輝度差分が閾値以上である領域が前記オブジェクトの状態が変化したことにより生じたか否かを判定する、前記（２）または（３）に記載の情報処理装置。
（５）
前記生成部は、前記オブジェクトの状態を変化させながら前記仮想画像を更新し、
前記推定部は、前記撮像画像と前記生成部により更新された前記仮想画像との一致度合に基づいて前記オブジェクトの状態を推定する、前記（４）に記載の情報処理装置。
（６）
前記生成部は、前記推定部により過去に推定された前記オブジェクトの状態の変化の傾向に基づいて前記オブジェクトを変化させながら前記仮想画像を更新する、前記（４）または（５）に記載の情報処理装置。
（７）
前記情報処理装置は、
前記推定部による推定結果に応じたＡＲ画像の表示を行うよう表示部を制御する表示制御部をさらに備える、情報処理装置、前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記表示制御部は、前記推定部により遮蔽物が存在すると推定された場合、遮蔽物が存在すると推定された領域以外の領域に前記ＡＲ画像を表示する、前記（７）に記載の情報処理装置。
（９）
前記表示制御部は、前記推定部により遮蔽物が存在すると推定された場合、オブジェクトのうち前記遮蔽物により遮蔽される領域に予め取得された前記輝度分布を貼り付けた前記ＡＲ画像を表示する、前記（７）または（８）に記載の情報処理装置。
（１０）
前記表示制御部は、前記推定部によりオブジェクトの状態が変化したと推定された場合、前記変化に応じて更新された前記三次元形状を用いた衝突判定に基づいて前記ＡＲ画像を表示する、前記（７）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
撮像部により実空間を撮像することと、
撮像部の位置および角度を示す姿勢情報を取得することと、
撮像された撮像画像と前記実空間について予め取得された三次元形状および輝度分布が表す仮想空間とを前記撮像画像を撮像した際に取得された前記姿勢情報に基づいて比較することにより前記実空間の状態を推定することと、
を備える、情報処理装置のプロセッサにより実行される情報処理方法。
（１２）
コンピュータを、
実空間を撮像する撮像部と、
前記撮像部の位置および角度を示す姿勢情報を取得する取得部と、
前記撮像部により撮像された撮像画像と前記実空間について予め取得された三次元形状および輝度分布が表す仮想空間とを前記撮像画像を撮像した際に前記取得部により取得された前記姿勢情報に基づいて比較することにより前記実空間の状態を推定する推定部と、
として機能させるためのプログラム。
【符号の説明】
【００８３】
１    スマートフォン
２    撮像部
３    姿勢情報取得部
４    空間情報取得部
５    制御部
５１    生成部
５２    推定部
５３    仮想オブジェクト生成部
６    表示制御部
７    表示部
１０    電話機
【図１】
2015114905.tif 000003
【図２】
2015114905.tif 000004
【図３】
2015114905.tif 000005
【図４】
2015114905.tif 000006
【図５】
2015114905.tif 000007
【図６】
2015114905.tif 000008