(57)【要約】      （修正有）【課題】実空間における視点と対応する位置で、仮想オブジェクトである付加画像を、実空間画像に重畳してユーザに提示する。【解決手段】実空間モデル構築部１１１は、歴史的建築物やランドマークとなる物体等の現実世界を撮影した画像を多数収集し、各画像において共通する部分をマッチングすることにより３次元モデルを構築する。メタ情報付与部１１３は、実空間モデル構築部１１１により構築された現実世界の３次元モデルに対してメタ情報を付与する。位置姿勢推定部１１５は、実空間モデル構築部１１１により構築された３次元モデルと付加画像とのマッチングを行い、付加画像が取得された位置および視点を推定する。重畳可能領域推定部１１７は、付加画像取得位置および付加画像視点から推定した各付加画像の重畳可能領域を、付加画像登録部１１９へ出力する。記憶部１２０に記録された付加画像が、第２処理部１３０によってユーザに提示される。【選択図】図２
2015228050.tif 000002
【特許請求の範囲】
【請求項１】
現実世界におけるユーザの視点に対応する付加画像を表示し、前記付加画像が取得された現実世界における視点付近にユーザを誘導する処理部を備える、情報処理装置。
【請求項２】
前記処理部は、前記付加画像を前記現実世界の画像に重畳して表示する、請求項１に記載の情報処理装置。
【請求項３】
前記処理部は、前記現実世界の画像に対して前記付加画像が重畳される位置に、重畳可能な付加画像の存在を示す誘導情報を表示する、請求項１に記載の情報処理装置。
【請求項４】
前記処理部は、前記現実世界の画像に対して前記付加画像を重畳可能な重畳可能領域を誘導情報として表示する、請求項１に記載の情報処理装置。
【請求項５】
前記処理部は、端末の位置、姿勢、または画角のうち少なくともいずれかを考慮して前記重畳可能領域を決定する、請求項４に記載の情報処理装置。
【請求項６】
前記処理部は、前記重畳可能領域へ移動するまでの環境情報をメタ情報として表示する、請求項４に記載の情報処理装置。
【請求項７】
前記環境情報は、前記重畳可能領域へ移動するまでの地面の材質またはユーザの通過可否を表す情報である、請求項６に記載の情報処理装置。
【請求項８】
前記処理部は、前記環境情報がユーザの通過可否を表す情報であるとき、前記通過可否に応じて付加情報の表示内容を変化させる、請求項７に記載の情報処理装置。
【請求項９】
前記処理部は、前記重畳可能領域へ移動するまでの道筋を表示する、請求項４に記載の情報処理装置。
【請求項１０】
前記処理部は、端末に表示される地図上にユーザを誘導する誘導情報を表示する、請求項１に記載の情報処理装置。
【請求項１１】
前記処理部は、誘導情報を音声として出力しユーザを誘導する、請求項１に記載の情報処理装置。
【請求項１２】
前記処理部は、前記付加画像を前記現実世界の画像に重畳させたとき、前記付加画像に見切れが生じるとき、画角調整を促す表示を行う、請求項１に記載の情報処理装置。
【請求項１３】
前記処理部は、現実世界の変化により生じた物体が存在するとき、前記付加画像および現実世界の３次元モデルに基づいて、前記物体のない仮想画像を重畳して表示する、請求項１に記載の情報処理装置。
【請求項１４】
前記処理部は、
予め取得された画像に基づき推定された現実世界の３次元モデルに基づいて、現実世界の画像に重畳する前記付加画像を決定し、
現実世界の変化により生じた物体が存在するとき、前記３次元モデルと前記物体とが一致した場合、当該物体を排除した疑似的画像を付加画像として表示する、請求項１に記載の情報処理装置。
【請求項１５】
前記処理部は、位置情報に基づき推定されたモデルに基づいて、現実世界の画像に重畳する前記付加画像を決定する際、位置センサにより検出されたユーザの位置近辺の３次元モデルについてのみ前記付加画像とのマッチング処理を行う、請求項１に記載の情報処理装置。
【請求項１６】
前記処理部は、現実世界の画像に付加画像を重畳して表示する際に、前記現実世界の画像または前記付加画像のうち少なくともいずれか一方の色調を調整する画像処理する、請求項１に記載の情報処理装置。
【請求項１７】
前記処理部は、前記付加画像に対し、重畳する前記現実世界の画像との境界をぼかす画像処理を施す、請求項１に記載の情報処理装置。
【請求項１８】
前記処理部は、前記現実世界の画像に対して前記付加画像を重畳可能な重畳可能領域にユーザが位置したときに、前記画像処理を実行する、請求項１６に記載の情報処理装置。
【請求項１９】
現実世界におけるユーザの視点に対応する付加画像を表示すること、
前記付加画像が取得された現実世界における視点付近にユーザを誘導すること、
を含む、情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
近年、実空間に付加的な情報を重畳してユーザに提示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに提示される情報は、テキストや、アイコン、アニメーション等の様々な形態の仮想オブジェクトとして可視化される。仮想オブジェクトは、当該仮想オブジェクトが関連付けられた実物体の位置に応じて、ＡＲ空間内に配置される。仮想オブジェクトは、一般的には、携帯電話やスマートフォン、タブレット端末等の移動通信端末や、ヘッドマウントディスプレイ（以下、「ＨＭＤ」とする。）や眼鏡型端末等のウェアラブル端末等のディスプレイ上に表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１９３２４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、仮想オブジェクトが実空間と一致する場所の写真や絵画等である場合、ＡＲ空間内に表示された仮想オブジェクトを見る角度によっては実空間との画角が一致せず、現実世界が拡張されたかのような感覚を十分に与えることはできない。このため、このような仮想オブジェクトについては、実空間における視点と対応する位置でユーザに提示することが望ましい。
【課題を解決するための手段】
【０００５】
本開示によれば、現実世界におけるユーザの視点に対応する付加画像を表示し、付加画像が取得された現実世界における視点付近にユーザを誘導する処理部を備える、情報処理装置が提供される。
【０００６】
また、本開示によれば、現実世界におけるユーザの視点に対応する付加画像を表示すること、付加画像が取得された現実世界における視点付近にユーザを誘導することを含む情報処理方法が提供される。
【０００７】
本開示によれば、実空間における視点と対応する位置で仮想オブジェクトである付加画像を見ることができるようにユーザが誘導される。
【発明の効果】
【０００８】
以上説明したように本開示によれば、実空間における視点と対応する位置を考慮してユーザに仮想オブジェクトが提示される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【０００９】
【図１】仮想オブジェクトとしてデバイスを介して提示される付加画像の一例を示す説明図である。
【図２】本開示の第１の実施形態に係る情報処理装置の機能構成を示すブロック図である。
【図３】同実施形態に係る情報処理装置による事前処理の内容を示すフローチャートである。
【図４】同実施形態に係る情報処理装置による付加画像提示処理の内容を示すフローチャートである。
【図５】同実施形態に係る視覚的誘導情報の表示例として、立て看板式のオブジェクトを表示する例を示す説明図である。
【図６】図５のオブジェクトにテキストオブジェクトを付加した例を示す説明図である。
【図７】同実施形態に係る視覚的誘導情報の表示例として、実空間画像に付加画像の内容を立体的に表示した付加画像３次元モデルを表示する例を示す説明図である。
【図８】図５のオブジェクトに加えて重畳可能領域オブジェクトを提示した例を示す説明図である。
【図９】図８のオブジェクト、重畳可能領域オブジェクトに加えて撮影者オブジェクトを提示した例を示す説明図である。
【図１０】実空間画像と付加画像との画角の調整についての説明図である。
【図１１】重畳可能領域オブジェクトとともに航行可能であることを示す航行可能オブジェクトを提示した例を示す説明図である。
【図１２】重畳可能領域オブジェクトとともに凍結時に通行であること、および平年凍結時期を提示した例を示す説明図である。
【図１３】実空間画像から障害物を排除した画像の提示を説明する説明図である。
【図１４】図１３に示した実空間画像から障害物を排除した画像の提示処理を説明する説明図である。
【図１５】本開示の第２の実施形態に係る付加画像提示処理により提示される画像の一例を示す説明図である。
【図１６】同実施形態に係る付加画像提示処理により提示される画像の他の一例を示す説明図である。
【図１７】本開示の実施形態に係る情報処理装置のハードウェア構成を示すハードウェア構成図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１１】
なお、説明は以下の順序で行うものとする。
１．第１の実施の形態
１．１．概要
１．２．機能構成
（１）第１処理部
（２）記憶部
（３）第２処理部
１．３．処理内容
（１）事前処理
（２）付加画像提示処理
２．第２の実施形態
３．ハードウェア構成例
【００１２】
＜１．第１の実施形態＞
［１．１．概要］
まず、図１を参照して、本開示の第１の実施形態に係る情報処理装置により実空間画像とともに提示される仮想オブジェクトの概要について説明する。図１は、仮想オブジェクトとしてデバイス１０を介して提示される付加画像の一例を示す説明図である。
【００１３】
本実施形態に係る情報処理装置は、現実世界でのユーザの位置方向に基づき、その近辺の場所において撮影された過去の写真や描かれた絵画等を付加画像として、実空間画像に重畳して表示する装置である。例えば図１に示すように、ユーザがデバイス１０により実空間を映すと、その位置にて異なる時間に取得された写真や絵画が付加画像として実空間画像に重畳して提示される。
【００１４】
情報処理装置は、例えば、携帯電話やスマートフォン、タブレット端末等の移動通信端末や、ＨＭＤや眼鏡型端末等のウェアラブル端末、デジタルカメラ等の撮像装置等のように、撮像部およびディスプレイを備えるデバイス１００への表示処理を行う。情報処理装置は、デバイス１００に設けられていてもよく、デバイス１００と通信可能な情報処理端末やサーバ等に設けられてもよい。
【００１５】
情報処理装置は、上述の付加画像の提示を行うにあたり、まず、現実世界の複数の画像に基づいて、実空間を表す３次元モデルを構築する。そして、情報処理装置は、取得されたユーザの位置方向に基づき、予め取得されている付加情報と３次元モデルとのマッチング処理を行い、付加画像の視点が実空間と対応するように提示される付加画像の位置姿勢を推定する。さらに、情報処理装置は、ユーザが付加画像を現実世界と対応して見える位置で見ることができるように、推定された付加画像の位置姿勢に基づき、ユーザをその位置まで誘導する。これにより、ユーザは、付加画像を実空間との画角が一致した状態で見ることができ、現実世界が拡張されたかのような感覚を十分に得ることが可能となる。
【００１６】
［１．２．機能構成］
次に、図２に基づいて、本実施形態に係る情報処理装置１００の機能構成を説明する。図２は、本実施形態に係る情報処理装置１００の機能構成を示すブロック図である。本実施形態に係る情報処理装置１００は、図２に示すように、第１処理部１１０と、記憶部１２０と、第２処理部１３０とからなる。
【００１７】
（１）第１処理部
第１処理部１１０は、ユーザの位置情報に基づき付加画像を表示するための事前処理を行う。第１処理部１１０は、基本的にオフラインにて機能する。第１処理部１１０は、図２に示すように、実空間モデル構築部１１１と、メタ情報付与部１１３と、位置姿勢推定部１１５と、重畳可能領域推定部１１７と、付加画像登録部１１９とからなる。
【００１８】
実空間モデル構築部１１１は、現実世界の３次元モデルを構築する。実空間モデル構築部１１１は、歴史的建築物やランドマークとなる物体等の現実世界を撮影した画像を多数収集し、各画像において共通する部分（特徴点）をマッチングすることにより３次元モデルを構築する。この際、３次元モデルの精度を高めるため、現実世界を撮影した画像に加え、赤外線もしくはレーザーセンサ等を用いてモデルを取得してもよく、建物等の設計資料等から得られる３Ｄモデルを使用してもよい。実空間モデル構築部１１１は、現実世界を撮影した新たな画像が取得されると、所定のタイミングで３次元モデルを学習により再構築する。これにより現実世界に一致した３次元モデルを得ることができる。実空間モデル構築部１１１は、構築した３次元モデルを記憶部１２０に記録する。
【００１９】
メタ情報付与部１１３は、実空間モデル構築部１１１により構築された現実世界の３次元モデルに対してメタ情報を付与する。メタ情報としては、例えば、現実世界での通行可否を表す情報や、地表の材質等の環境情報がある。これらのメタ情報は、３次元モデルを構築するための用いた画像に付与されている情報や、ネットワークを介して取得可能な地理情報、交通情報、地図情報等から取得可能である。メタ情報付与部１１３は、メタ情報を現実世界の３次元モデルにおける位置情報と関連付けて記憶部１２０に記録する。なお、メタ情報付与部１１３は、必ずしも情報処理装置１００に設けられなくともよい。
【００２０】
位置姿勢推定部１１５は、実空間画像に重畳される付加画像の視点を推定する。位置姿勢推定部１１５は、実空間モデル構築部１１１により構築された３次元モデルと付加画像とのマッチングを行い、付加画像が取得された位置および視点（以下、それぞれ「付加画像取得位置」、「付加画像視点」ともいう。）を推定する。
【００２１】
重畳可能領域推定部１１７は、付加画像取得位置および付加画像視点に基づいて、重畳可能領域を推定する。重畳可能領域は、現実世界において、付加画像が所定の大きさ、かつ、所定の画角内に見える領域である。重畳可能領域推定部１１７は、付加画像取得位置および付加画像視点から推定した各付加画像の重畳可能領域を、付加画像登録部１１９へ出力する。
【００２２】
付加画像登録部１１９は、付加画像と、付加画像取得位置、付加画像視点および重畳可能領域とを関連付けて記憶部１２０に記録する。付加画像登録部１１９により記憶部１２０に記録された付加画像が、第２処理部１３０によってユーザに提示される。
【００２３】
（２）記憶部
記憶部１２０は、情報処理装置１００により処理される情報を記憶する。記憶部１２０は、例えば、図２に示すように、実空間モデルＤＢ１２１と、付加画像ＤＢ１２３と、位置姿勢インデックスＤＢ１２５とからなる。
【００２４】
実空間モデルＤＢ１２１は、現実世界を撮影した画像に基づき構築された現実世界の３次元モデルを記憶する。３次元モデルは、情報処理装置１００を備える機器自身により撮影された画像や、情報処理装置１００と通信可能なサーバ等が保持する画像に基づき、実空間モデル構築部１１１が学習することにより取得される。実空間モデルＤＢ１２１が記憶する３次元モデルは、実空間モデル構築部１１１により再構築される度に更新される。また、実空間モデルＤＢ１２１には、メタ情報付与部１１３により、３次元モデルの位置情報と関連付けてメタ情報が記録される。
【００２５】
付加画像ＤＢ１２３は、実空間画像に重畳して表示される付加画像を記憶する。付加画像ＤＢ１２３に記憶される付加画像は、予め記憶されていてもよく、情報処理装置１００が通信可能なサーバ等から適宜取得して記憶されたものであってもよい。付加画像ＤＢ１２３が記憶する付加画像は、位置姿勢推定部１１５により利用される。
【００２６】
位置姿勢インデックスＤＢ１２５は、付加画像と、付加画像取得位置、付加画像視点および重畳可能領域とを関連付けて記憶する。位置姿勢インデックスＤＢ１２５は、付加画像ＤＢ１２３が記憶する付加画像に対し、位置姿勢推定部１２５が推定した付加画像取得位置および付加画像視点と、重畳可能領域推定部１１７が推定した重畳可能領域とを記憶する。位置姿勢インデックスＤＢ１２５が記憶する情報は、ユーザの位置情報に応じて実空間画像とともに付加画像を提示するために使用される。
【００２７】
（３）第２処理部
第２処理部１３０は、ユーザの位置情報に応じて、実空間画像とともに付加画像を提示する。第２処理部１３０は、基本的にオンラインにて機能する。第２処理部１３０は、図２に示すように、情報取得部１３１と、モデル探索領域抽出部１３３と、マッチング処理部１３５と、付加画像取得部１３７と、提示処理部１３９とからなる。
【００２８】
情報取得部１３１は、撮像装置２００からユーザの現在位置における現実世界の実空間画像を取得し、各種センサ３００からセンサ情報を取得する。各種センサ３００としては、例えばＧＰＳや赤外線センサ、レーザーセンサ等がある。情報取得部１３１は、取得した実空間画像およびセンサ情報を、モデル探索領域抽出部１３３へ出力する。
【００２９】
モデル探索領域抽出部１３３は、センサ情報に基づいて、３次元モデルにおいて取得された実空間画像とのマッチング処理を行う領域を絞り込む。例えば、モデル探索領域抽出部１３３は、センサ情報のうちＧＰＳにより取得された位置情報に基づきユーザの現在位置を特定し、３次元モデルからユーザの視野内に含まれると考えられる領域を抽出する。モデル探索領域抽出部１３３は、抽出した領域を特定する情報をマッチング処理部１３５へ出力する。なお、モデル探索領域抽出部１３３は、必ずしも情報処理装置１００に設けられなくともよい。
【００３０】
マッチング処理部１３５は、撮像装置２００により取得された実空間画像と、３次元モデルとマッチング処理を行う。この際、マッチング処理部１３５は、実空間モデルＤＢ１２１が記憶する３次元モデルのうちモデル探索領域抽出部１３３により抽出された領域のみを、実空間画像とのマッチング対象としてもよい。これにより、マッチング処理の演算量を低減することができ、処理速度を高めることができる。マッチング処理部１３５は、マッチング処理により３次元モデルと実空間画像とを対応付けると、３次元モデルにおける実空間画像の位置情報および視点情報を、付加画像取得部１３７へ出力する。
【００３１】
付加画像取得部１３７は、現実世界におけるユーザの位置および視点に基づき、実空間画像内に含まれる付加画像を取得する。付加画像取得部１３７は、付加画像取得位置および付加画像視点と、マッチング処理部１３５により特定された実空間画像の位置情報および視点情報とをマッチングし、位置姿勢インデックスＤＢ１２５から実空間画像内に含まれる付加画像を抽出する。この際、付加画像取得部１３７は、抽出された付加画像に関連付けられた付加画像取得位置、付加画像視点および重畳可能領域を取得する。
【００３２】
提示処理部１３９は、付加画像取得部１３７により取得された付加画像に関する情報を実空間画像とともにユーザに提示する処理を行う。提示処理部１３９は、実空間画像とユーザとの相対的な位置関係に応じて、付加情報の提示の仕方を変更する。例えば、ユーザが重畳可能領域内に存在するときには、提示処理部１３９は、実空間画像に付加画像そのものを重畳して提示する。また、ユーザが重畳可能領域内に存在しない場合には、付加画像視点との相対的な位置関係に応じて、ユーザを重畳可能領域内に誘導する情報を実空間画像とともに提示する。提示処理部１３９の処理により、ユーザは、付加画像を実空間画像の視点と一致する場所で見ることが可能となる。
【００３３】
［１．３．処理内容］
次に、本実施形態に係る情報処理装置１００により行われる処理について説明する。本実施形態に係る情報処理装置１００による処理は、オフラインで行われる事前処理と、オンラインで行われる付加画像提示処理とからなる。以下、各処理について順に説明する。
【００３４】
（１）事前処理
まず、図３に基づいて、情報処理装置１００による事前処理について説明する。図３は、本実施形態に係る情報処理装置１００による事前処理の内容を示すフローチャートである。
【００３５】
情報処理装置１００は、実空間画像とともにユーザの位置情報に応じて付加される付加画像を選択できるように、オフラインにて予め現実世界の３次元モデルと付加画像との位置関係を取得する。まず、情報処理部１００は、実空間モデル構築部１１１により、現実世界の３次元モデルを構築する（Ｓ１００）。実空間モデル構築部１１１は、情報処理装置１００を備える機器自身により撮影された画像や、情報処理装置１００と通信可能なサーバ等が保持する画像等、現実世界を撮影した画像を収集し、各画像における特徴点をマッチングして３次元モデルを構築する。この際、３次元モデルの精度を高めるため、現実世界を撮影した画像に加え、各種センサ３００に含まれる赤外線もしくはレーザーセンサ等の検出結果に基づきモデルを取得してもよい。あるいは、実空間モデル構築部１１１は、建物等の設計資料等から得られる３Ｄモデルを使用してもよい。
【００３６】
実空間モデル構築部１１１は、現実世界を撮影した新たな画像が取得されると、所定のタイミングで３次元モデルを学習により再構築する。これにより現実世界に一致した３次元モデルを得ることができる。実空間モデル構築部１１１は、構築した３次元モデルを記憶部１２０に記録する。
【００３７】
次いで、メタ情報付与部１１３により、実空間モデル構築部１１１により構築された現実世界の３次元モデルに対してメタ情報が付与される（Ｓ１１０）。メタ情報は、例えば、現実世界での通行可否を表す情報や、地表の材質等であり、現実世界の３次元モデルにおける位置情報と関連付けられて、３次元モデルとともに実空間モデルＤＢ１２１に記憶される。これにより、３次元モデルにおいて、ユーザが通行できない場所や移動するにあたってボート等の乗り物等を使用する必要がある場所等を情報として把握することができる。
【００３８】
メタ情報が付与された３次元モデルが取得されると、情報処理装置１００は、位置姿勢推定部１１５により、付加画像ＤＢ１２３に記憶された付加画像と３次元モデルとのマッチング処理を行い、付加画像が取得されたときの位置姿勢を推定する（Ｓ１２０）。位置姿勢推定部１１５は、３次元モデルと付加画像とが一致する位置姿勢を特定し、これらが一致したときの位置姿勢を、付加画像が取得された付加画像取得位置および付加画像視点と推定する。
【００３９】
さらに、重畳可能領域推定部１１７により、付加画像取得位置および付加画像視点に基づいて、重畳可能領域が推定される（Ｓ１３０）。現実世界において付加画像が所定の大きさかつ所定の画角内に見える重畳可能領域は、付加画像の視点が実空間と対応するように付加画像がユーザに提示される領域である。この重畳可能領域を用いて、付加画像を適切に見ることのできる位置へユーザを誘導することが可能となる。
【００４０】
ステップＳ１２０およびＳ１３０にて推定された付加画像取得位置、付加画像視点および重畳可能領域は、付加画像登録部１１９により、付加画像とともに位置姿勢インデックスＤＢ１２５に記録される（Ｓ１４０）。
【００４１】
その後、情報処理装置１００は、付加画像ＤＢ１２３が記憶するすべての付加画像に対してステップＳ１２０〜Ｓ１４０の処理を実施したかを判定し（Ｓ１５０）、すべての付加画像に対して上記処理が終了するまで繰り返し処理が行われる。そして、付加画像ＤＢ１２３が記憶するすべての付加画像に対してステップＳ１２０〜Ｓ１４０の処理が終了すると、情報処理装置１００は、図３に示す処理を終了する。
【００４２】
（２）付加画像提示処理
次に、図４に基づいて、情報処理装置１００による付加画像提示処理について説明する。図４は、本実施形態に係る情報処理装置１００による付加画像提示処理の内容を示すフローチャートである。
【００４３】
（Ｓ２００：情報取得）
情報処理装置１００は、オンラインにおいてユーザの位置情報を認識すると、実空間画像とともに付加画像を提示する。このとき、まず、情報処理装置１００は、情報取得部１３１により、撮像装置２００からユーザの現在位置における実空間画像を取得し、各種センサ３００からセンサ情報を取得する（Ｓ２００）。情報取得部１３１は、取得した実空間画像およびセンサ情報を、モデル探索領域抽出部１３３へ出力する。
【００４４】
（Ｓ２１０：モデル探索領域抽出）
次いで、モデル探索領域抽出部１３３により、センサ情報に基づいて、３次元モデルのうち、取得された実空間画像とのマッチング処理を行う領域を絞り込む（Ｓ２１０）。ステップＳ２１０では、例えばＧＰＳにより取得された位置情報に基づきユーザの現在位置を特定し、３次元モデルからユーザの視野内に含まれると考えられる領域を抽出する。これにより、後述のステップＳ２２０において行われる実空間画像と３次元モデルとのマッチング処理の演算量を低減することができ、処理速度を高めることができる。
【００４５】
（Ｓ２２０：実空間画像と３次元モデルとのマッチング）
そして、マッチング処理部１３５により、撮像装置２００により取得された実空間画像と３次元モデルとのマッチング処理が行われる（Ｓ２２０）。この際、マッチング処理部１３５は、３次元モデルのうちステップＳ２１０にて抽出された領域のみを実空間画像とマッチングする対象領域とすることで、処理速度を高めることができる。マッチング処理部１３５は、マッチング処理により３次元モデルと実空間画像とを対応付けると、３次元モデルにおける実空間画像の位置情報および視点情報を、付加画像取得部１３７へ出力する。
【００４６】
（Ｓ２３０：付加画像取得）
その後、付加画像取得部１３７は、現実世界におけるユーザの位置および視点に基づき、実空間画像内に含まれる付加画像を取得する（Ｓ２３０）。付加画像取得部１３７は、付加画像取得位置および付加画像視点と、実空間画像の位置情報および視点情報とをマッチングし、位置姿勢インデックスＤＢ１２５から実空間画像内に含まれる付加画像を抽出する。この際、付加画像取得部１３７は、抽出された付加画像に関連付けられた付加画像取得位置、付加画像視点および重畳可能領域を取得する。
【００４７】
（Ｓ２４０〜Ｓ２７０：付加画像提示）
そして、提示処理部１３９により、付加画像取得部１３７により取得された付加画像に関する情報をどのように実空間画像とともにユーザに提示するかが判定される（Ｓ２４０）。本実施形態では、以下の３つのパターンで付加画像に関する情報の提示の仕方を変える。
（α）ユーザが重畳可能領域内に存在している
（β）ユーザは重畳可能領域外に存在するが、付加画像視点は視野内にある
（γ）ユーザは重畳可能領域外に存在し、付加画像視点も視野外にあるがユーザとの距離は近い
【００４８】
（パターンα）付加画像をそのまま提示
まず、ユーザが重畳可能領域内に存在している場合（α）、提示処理部１３９は、実空間画像とともに付加画像を提示する（Ｓ２５０）。この場合、付加画像をそのまま実空間画像に重畳させても、現実世界を見るユーザの視点位置と付加画像視点とが略一致しているため、ユーザは違和感なくこれらの画像を見ることができる。
【００４９】
ここで、提示処理部１３９により実空間画像に付加画像を重畳して表示させる際、実空間画像と付加画像との色調が大きく異なると、重畳された画像への没入感が小さくなる。そこで、現実世界が拡張されたかのような感覚を高めるため、提示処理部１３９により、実空間画像と付加画像との境界部分の色調を合わせるようにしてもよい。この際、実空間画像を付加画像側の色調に合わせ込むようにしてもよく、付加画像を実空間画像側の色調に合わせ込むようにしてもよい。色調の合わせ込みの処理としては、例えば境界部分の画素の色分布を分析し、境界部分の画素色を調整して、２つの画像の境界線をぼかす処理が行われる。
【００５０】
（パターンβ）視覚的誘導情報による誘導
次に、ユーザは重畳可能領域外に存在するが、付加画像視点は視野内にある場合（β）、提示処理部１３９は、実空間画像とともに視覚的誘導情報を提示して、ユーザを重畳可能領域へ誘導する（Ｓ２６０）。ステップＳ２６０にて提示される視覚的誘導情報は、付加画像を適切な視点位置で見ることができる重畳可能領域へユーザを移動させるために表示される情報である。視覚的誘導情報の表示例を図５〜図８に基づき説明する。
【００５１】
・視覚的誘導情報の表示例
図５に示す視覚的誘導情報の表示例では、付加画像視点の視線方向と略直交するオブジェクト１２を視覚的誘導情報として実空間画像Ｐｒｅａｌに重畳して表示している。提示処理部１３９は、撮像装置２００にて撮像された実空間画像Ｐｒｅａｌ内に付加画像視点が含まれていると、図５上側に示すように、実空間画像Ｐｒｅａｌに付加画像を表すオブジェクト１２を立て看板のように表示する。このとき、オブジェクト１２を付加画像視点の視線方向と略直交するように表示させることで、ユーザは、付加画像の視点を視覚的に認識することができる。
【００５２】
ユーザは、図５上側に示すオブジェクト１２を見て、当該オブジェクト１２の正面に移動する。そして、各種センサ３００によりユーザが付加画像の重畳可能領域内に位置したことが検出されると、提示処理部１３９は、図５下側に示すように、実空間画像Ｐｒｅａｌに付加画像Ｐａｄｄを重畳させて、ユーザに付加画像Ｐａｄｄを提示する。このとき、各画像の視点位置が合っているので、ユーザは重畳された画像を違和感なく認識することができる。例えば、図５に示すように、同一場所における現実世界の様子と過去の様子とを同時に見ることができる。
【００５３】
なお、オブジェクト１２は、付加画像と同一画像であってもよく、付加画像を簡略化した画像であってもよく、単なる板状のオブジェクトであってもよい。あるいは、図６に示すように、オブジェクト１２に、付加画像の内容を説明するテキストオブジェクト１２ａを付加して表示するようにしてもよい。図６に示すようにオブジェクト１２とともにテキストオブジェクト１２ａを表示することで、ユーザは、付加画像を見るために移動しなくともその内容を認識することが可能となる。
【００５４】
また、視覚的誘導情報の他の表示例を図７に示す。図７では、実空間画像Ｐｒｅａｌに付加画像Ｐａｄｄの内容を立体的に表示した付加画像３次元モデル１４を視覚的誘導情報として表示している。付加画像３次元モデル１４は、実空間画像Ｐｒｅａｌ内に存在する地形や建物等のうち、付加画像Ｐａｄｄに含まれる物体を他の物体と区別できるように表したものであり、例えば図７に示すように、色調を変える等して表示してもよい。付加画像３次元モデル１４の表示により、ユーザは、この範囲が含まれる付加画像Ｐａｄｄが存在することを認識できる。
【００５５】
また、提示処理部１３９は、付加画像３次元モデル１４とともに、当該付加画像Ｐａｄｄの重畳可能領域に相当する部分を表す重畳可能領域オブジェクト１５を表示してもよい。重畳可能領域は、付加画像Ｐａｄｄの画角やピッチ、付加画像からの距離に応じて決定される。提示処理部１３９は、例えば重畳可能領域に相当する実空間画像Ｐｒｅａｌの地表部分を、例えば色を付したり枠で囲ったりすることで表した重畳可能領域オブジェクト１５として表示する。図７の例では、付加画像３次元モデル１４の正面に略三角形の重畳可能領域オブジェクト１５が表示されている。
【００５６】
重畳可能領域オブジェクト１５が表示されることで、ユーザは、重畳可能領域オブジェクト１５内に移動することで、付加画像３次元モデル１４で示された範囲が含まれる付加画像Ｐａｄｄを見ることができることを認識できる。なお、重畳可能領域オブジェクト１５は、図８に示すように、上述した立て看板式のオブジェクト１２とともに表示するようにしてもよい。
【００５７】
・メタ情報の利用
上述のように、情報処理装置１００は、オブジェクト１２や付加画像３次元モデル１４、重畳可能領域オブジェクト１５等の視覚的誘導情報を実空間画像Ｐｒｅａｌに重畳して表示することで、付加画像Ｐａｄｄを適切に見ることのできる位置にユーザを誘導できる。ここで、付加画像Ｐａｄｄには、例えば、焦点距離や画角等のカメラ情報がメタ情報として付随している場合がある。そこで、提示処理部１３９は、メタ情報を利用して正確な付加画像Ｐａｄｄの撮影視点を推定し、これを示す仮想のカメラや撮影者を実空間画像Ｐｒｅａｌに重畳して表示するようにしてもよい。
【００５８】
例えば、図９に示すように、図８に示した立て看板式のオブジェクト１２および重畳可能領域オブジェクト１５とともに、オブジェクト１２に対応する付加画像Ｐａｄｄを撮影した撮影者オブジェクト１６を表示させてもよい。このとき、撮影者オブジェクト１６の撮影視点をオブジェクト１２の視点と一致させることで、ユーザは、より正確に重畳可能領域を提示することができる。
【００５９】
また、実空間画像Ｐｒｅａｌと付加画像Ｐａｄｄとでは画角が異なる場合もある。例えば、実空間画像Ｐｒｅａｌの画角θｒｅａｌが付加画像Ｐａｄｄの画角θａｄｄより小さいとき、図１０上側に示すように、付加画像視点において画像の見切れが発生してしまう。そこで、提示処理部１３９は、画像間の画角を、各画像に付与されているカメラ情報から取得し、これらを比較することによって、ユーザに見切れのない画像を提示することも可能である。図１０に示す例では、提示処理部１３９は、実空間画像Ｐｒｅａｌの画角θｒｅａｌに付加画像Ｐａｄｄの画角θａｄｄを合わせるように調整する。これにより、図１０下側に示すように、実空間画像Ｐｒｅａｌと付加画像Ｐａｄｄとの画角が合った、見切れのない状態でユーザに画像が提示される。
【００６０】
あるいは、実空間画像Ｐｒｅａｌの画角θｒｅａｌと付加画像Ｐａｄｄの画角θａｄｄとが異なる場合、提示処理部１３９は、図１０下側のように、実空間画像Ｐｒｅａｌの画角θｒｅａｌの調整を促す画角調整オブジェクト１７ａ、１７ｂを表示させてもよい。例えば、実空間画像Ｐｒｅａｌの画角θｒｅａｌよりも付加画像Ｐａｄｄの画角θａｄｄが大きいとき、撮像装置２００の画角を広げることで、付加画像Ｐａｄｄとの重畳される実空間画像Ｐｒｅａｌの範囲を広げることができる。そこで、各画像の画角が異なる場合、提示処理部１３９は、画角調整オブジェクト１７ａ、１７ｂを表示してユーザに実空間画像Ｐｒｅａｌの画角θｒｅａｌの調整を促し、実空間画像Ｐｒｅａｌと付加画像Ｐａｄｄとが重畳された画像を提示できるようにしてもよい。
【００６１】
なお、図１０に示す画角調整オブジェクト１７ａ、１７ｂは、実空間画像Ｐｒｅａｌの画角θｒｅａｌを広げることが可能なことを通知するような形状のオブジェクトであったが、本技術はかかる例に限定されない。例えば、画角調整オブジェクトは、実空間画像Ｐｒｅａｌと付加画像Ｐａｄｄとの画角の差に応じて、ユーザに対して現在位置から後退するように誘導する内容を示す表示や、撮像装置２００の撮影の向き（視線方向）を変更するように促す内容を示す表示でもよい。
【００６２】
・現実世界の変化への対応
ａ）通行不可部分の提示
また、上述のように、情報処理装置１００により視覚的誘導情報が実空間画像Ｐｒｅａｌに重畳して表示されることで、ユーザは付加画像Ｐａｄｄを適切に見ることのできる位置に誘導されるが、付加画像の取得時から現実世界の状況が変化している場合もある。例えば、建物の増減や地形変化等によって、過去に存在したものが現実世界に存在しなくなったりする。この現実世界の変化には、季節等によるものも含まれる。付加画像の取得時から現実世界の状況が変化していると、ユーザを重畳可能領域へ誘導する情報を表示させても、現実的にユーザが重畳可能領域に辿り着けない場合もある。
【００６３】
そこで、提示処理部１３９は、メタ情報付与部１１３により現実世界の３次元モデルに対して付与された、現実世界での通行可否を表す情報や地表の材質等のメタ情報に基づいて、ユーザの通行できない通行不可情報を実空間画像Ｐｒｅａｌとともに提示してもよい。通行不可情報は、例えば、現実世界の３次元モデルに対して付与されたメタ情報と重畳可能領域とを比較して特定された、重畳可能領域のうち物理的にユーザが通行できない通行不可部分を表す情報である。この通行不可情報に基づき、提示処理部１３９は、重畳可能領域オブジェクト１５を、通行可能部分と通行不可部分とで色分けして表示することで、ユーザに通行できない範囲を認識させることが可能となる。
【００６４】
また、重畳可能領域の通行不可部分のうち、例えば特定の移動手段を利用すれば通行可能な場合や、時期によって通行可能となる場合もある。この場合には、提示処理部１３９は、ユーザの選択に応じて、現実世界の３次元モデルに対して付与されたメタ情報に基づき、通行不可部分を通行できる条件をユーザに提示するようにしてもよい。
【００６５】
例えば図１１に示すように、水面上に重畳可能領域オブジェクト１５が表示されていたとする。３次元モデルでのこの位置に付与されたメタ情報に、重畳可能領域が水面上にあること、航行可能であることが含まれていたとする。提示処理部１３９は、かかるメタ情報に基づき、例えば重畳可能領域オブジェクト１５とともに航行可能であることを示す航行可能オブジェクト１８を示す。航行可能オブジェクト１８には、例えばボート等の航行可能な乗り物を表す画像を用いてもよい。これにより、ユーザは視覚的にボート等によって重畳可能領域まで移動できることを認識することができる。
【００６６】
また、例えば図１２に示すように、水面上に重畳可能領域オブジェクト１５が表示されていたとする。３次元モデルでのこの位置に付与されたメタ情報に、重畳可能領域が水面上にあること、この位置の緯度経度情報が含まれていたとする。このとき、提示処理部１３９は、緯度経度情報より、情報処理装置１００内の記憶部１２０あるいは外部のサーバ等にアクセスして、当該位置における平年の気候情報を取得する。気候情報から、当該位置は冬に凍結することがわかると、提示処理部１３９は、凍結時に通行であること、および平年凍結時期を表示する。これらの情報と合わせて、この位置における凍結時の画像１９を表示してもよい。これにより、ユーザは視覚的に時期によっては重畳可能領域まで移動できることを認識することができる。
【００６７】
この他、提示処理部１３９は、重畳可能領域に辿り着くまでに通行不可の道路や障害物等がある場合には、これらを回避して重畳可能領域に到達するまでの道筋を、実空間画像とともに表示させてもよい。
【００６８】
なお、重畳可能領域全域が通行不可の場合は、提示処理部１３９は、例えば３次元モデルと付加画像とを合成した、付加画像視点における仮想映像を、ユーザの選択により提供するようにしてもよい。
【００６９】
ｂ）視線遮断部分の提示
また、現実世界の変化として建物の増加等、現実世界における付加画像視点からの視線が遮られる場合もある。このとき、提示処理部１３９は、現実世界において視線が遮られている部分に、付加画像および３次元モデルから推定される仮想画像を合成してもよい。例えば図１３上側に示すように、撮像装置２００により取得された実空間画像Ｐｒｅａｌに、構造物２２の一部を遮る障害物２４が含まれていたとする。このとき、提示処理部１３９は、実空間画像Ｐｒｅａｌに含まれている不可視の障害物２４を、付加画像Ｐａｄｄに関連付けられたメタ情報から特定し、当該障害物２４を除いた画像を提示するようにする。これにより、現実世界の変化によって撮影対象を遮断する物体を実空間画像Ｐｒｅａｌから除去した画像をユーザに提供することが可能となる。
【００７０】
かかる処理を、図１４に基づき詳細に説明する。図１４上側に示すように、現実世界において撮像装置２００により取得された実空間画像Ｐｒｅａｌがあるとする。このとき、構造物２２と撮像装置２００との間には障害物２４があり、例えば図１３右上に示すように、構造物２２の一部が障害物２４によって隠れている。
【００７１】
このような実空間画像Ｐｒｅａｌと３次元モデルとのマッチングが行われた際、マッチング処理部１３５は、実空間実空間画像Ｐｒｅａｌが対応する３次元モデルでの範囲に含まれる物体について、視覚に関するメタ情報を取得しておく。視覚に関するメタ情報とは、物体の存在による他の物体の見え方への影響を表す情報であり、例えば、壁という物体について、この壁が透明か否かといったような情報である。視覚に関するメタ情報も、第１処理部１１０のメタ情報付与部１１３によって、現実世界の３次元モデルの位置と関連付けて付与される情報である。
【００７２】
３次元モデルが構築された後、位置姿勢推定部１１５および重畳可能領域推定部１１７により付加画像についての処理が行われ、付加画像登録部１１９により位置姿勢インデックスＤＢ１２５に記録される。このとき、付加画像登録部１１９は、付加画像登録時に、付加画像と構築された３次元モデルとを比較して、不一致となる領域を検出する。付加画像と３次元モデルとに不一致となる領域があると判定したとき、付加画像登録部１１９は、当該不一致領域に含まれる画像と、付加画像の視線方向の先にある複数の３次元モデルの表面とを比較する。そして、これらの間で一致するものがあれば、付加画像は障害物２４により遮られていると判定する。
【００７３】
障害物２４により遮られていると判定された付加画像については、付加画像登録部１１９は、３次元モデルの表面のメタ情報に基づき、障害物となっている物体が透明であるか否かを判定する。付加画像登録部１１９は、障害物となっている物体が透明であると判定した場合には、不一致領域の物体を透過視可能とし、そうでない場合は不可視とし、当該判定結果を付加画像とともに位置姿勢インデックスＤＢ１２５に記録する。
【００７４】
この判定結果を付加画像に関連付けておくことで、当該判定結果に基づき、提示処理部１３９は、ユーザが撮像装置２００により取得した実空間画像Ｐｒｅａｌに対し、重畳可能領域内の各視点における不可視領域を推定し、ユーザに提示することが可能となる。そして、提示処理部１３９は、実空間画像Ｐｒｅａｌに不可視の障害物２４が含まれた場合、実空間画像Ｐｒｅａｌから障害物２４を排除し、障害物２４が排除された領域に付加画像および３次元モデルに基づき仮想的に生成した風景を合成して提示する。この際、提示処理部１３９は、図１４下側に示すように、ユーザの視野２６内に含まれる障害物２４のみならず、障害物２４のうちユーザの視野２６外にある部分２４ａも仮想的に排除するようにする。
【００７５】
このように、現実世界の変化により視線が遮られる場合においても、その状況を認識して、障害物２４を排除して表示することも可能である。なお、かかる処理は、ユーザの選択に応じて行うようにしてもよい。
【００７６】
（パターンγ）メタ的誘導情報による誘導
図４の説明に戻り、ステップＳ２４０において、ユーザは重畳可能領域外に存在し、付加画像視点も視野外にあるがユーザとの距離は近いと判定されたとき、提示処理部１３９は、実空間画像とともにメタ的誘導情報を提示して、ユーザを重畳可能領域へ誘導する（Ｓ２７０）。ステップＳ２７０にて提示されるメタ的誘導情報は、例えば、音声によるガイドがあり、音声によってユーザを重畳可能領域まで導く情報がある。具体的には、「右へ２ｍ移動してください」といったような指示内容等がある。
【００７７】
また、付加画像の特徴に応じたメタ的誘導情報を付与することもできる。例えば、付加画像に光源が含まれる場合には、その仮想延長上から投射するような表示としてもよい。具体的には、ユーザの背後に提示可能な付加画像がある場合にはユーザの背後から光がさすような表示がなされる。あるいは、付加画像内に音声を発する物体が含まれる場合には、ユーザに対してその付加画像のある方向から音声を出力するようにしてもよい。音声を発する物体としては、例えば、鐘や、列車や船舶等の汽笛を鳴らすもの、動物等が考えられる。
【００７８】
さらに、メタ的誘導情報として、地図上に重畳可能領域を描画し、当該重畳可能領域までの経路を表示してもよい。このようなメタ的誘導情報を用いることで、ユーザが付加画像の重畳可能領域の近くに存在する場合には、視覚的あるいは聴覚的に付加画像の存在をユーザに通知し、重畳可能領域へユーザを導くことが可能となる。そして、ユーザが重畳可能領域内に位置すると、ステップＳ２５０と同様、実空間画像に付加画像が重畳された画像がユーザに提示される。
【００７９】
以上、本実施形態に係る情報処理装置１００による事前処理および付加画像提示処理について説明した。情報処理装置１００は、まず、実空間を表す３次元モデルを構築するとともに、取得されたユーザの位置方向に基づき、予め取得されている付加情報と３次元モデルとのマッチング処理を行い、付加画像の視点が実空間と対応するように提示される付加画像の位置姿勢および重畳可能領域を推定する。そして、情報処理装置は、ユーザが付加画像を現実世界と対応して見える位置で見ることができるように、推定された付加画像の位置姿勢に基づき、ユーザをその位置まで誘導する。これにより、ユーザは、付加画像を実空間との画角が一致した状態で見ることができ、現実世界が拡張されたかのような感覚を十分に得ることが可能となる。
【００８０】
＜２．第２の実施形態＞
次に、本開示の第２の実施形態に係る情報処理装置１００による付加情報提示処理について説明する。本実施形態では、上述の情報処理装置１００を用いて、特定の場所における３次元モデルを構築し、当該場所に関係のある付加画像を実空間画像に重畳して表示する場合について説明する。すなわち、本実施形態は、基本的な付加画像提示処理は第１の実施形態と同様に行われるものであり、第１の実施形態と比較して、特定の場所に限定して付加画像を表示する点で相違している。
【００８１】
例えば、特定の場所として、自宅等のようなユーザにとって馴染み深い場所を設定し、付加画像として、ユーザや家族の過去の写真を用いる。そうすると、上述の情報処理装置１００の機能により、実空間画像に家族の写真が重畳して表示されるようになり、家族のアルバムを空間上に表示させるような楽しみ方を提供できる。この場合、情報処理装置１００は、例えばユーザが契約しているプロバイダ等のサーバ等に設けてもよく、ユーザが自宅の画像やセンサ情報、過去の写真をサーバに提供することで、自宅の３次元モデルや過去の写真の位置姿勢等が推定される。そして、ユーザが自宅内の所定の位置でデバイス１０により実空間画像を取得すると、当該位置で撮影された写真が、サーバからデバイス１０に提供され、例えば図１５に示すように実空間画像に重畳して表示される。
【００８２】
具体的には、まず、情報処理装置１００は、第１処理部１１０のモデル実空間モデル構築部１１１により、３次元モデルの構築が行われる。例えば、ユーザの自宅の３次元モデルは、例えば、自宅内で撮影された多数の画像や特殊センサによるセンサ情報に基づき構築される。モデル実空間モデル構築部１１１により構築された３次元モデルは、サーバ上に保管される。
【００８３】
また、ユーザが過去の写真をサーバに提供すると、位置姿勢推定部１１５により３次元モデル内での写真の位置姿勢推定が行われる。そして、写真とともに位置姿勢情報が位置姿勢インデックスＤＢ１２５に記録される。
【００８４】
そして、ユーザは、デバイス１０を用いて、自己の位置姿勢を取得する。自己の位置姿勢は、例えばＧＰＳ等の位置センサや画像を用いた環境認識技術置により取得可能である。そして、第２処理部１３０は、ユーザの位置姿勢から構築された自宅の３次元モデルにおける位置を特定し、当該位置にて撮影された写真を位置姿勢インデックスＤＢ１２５から取得してデバイス１０へ送信する。デバイスは、受信した写真を実空間画像に重畳させて、図１５に示すようにユーザに提示する。これにより、ユーザは、自分の過去写真重畳を楽しむことができる。
【００８５】
この際、ユーザが付加画像である過去の写真の重畳可能領域内に存在しない場合であって、デバイス１０により撮影される実空間画像内に写真の視点がある場合には、上記第１の実施形態と同様に、ユーザを当該写真の重畳可能領域へ誘導する表示をしてもよい。例えば図１５に示すように、オブジェクト３０ａ、３０ｂを表示させるようにしてもよい。
【００８６】
また、複数の写真の視点が略同一位置にある場合には、情報処理装置１００は、提示処理部１３９により、任意の１つの写真のみを実空間画像に重畳させて表示させる。なお、重畳可能領域オブジェクトを提示する際は、例えば各写真の平均表示位置や任意の１つの写真の表示位置に応じて、重畳可能領域オブジェクトの提示位置を決定してもよい。
【００８７】
また、複数の写真を閲覧可能であることを表すオブジェクトを、実空間画像に重畳させてユーザに提示してもよい。このオブジェクトが表示されているとき、ユーザはデバイス１０を操作して、他の写真を実空間画像に重畳して表示させることも可能である。この際、複数の写真を時間軸とともに提示してもよい。また、例えば、実空間画像に写真を重畳させて子供の成長記録を表示する場合等において、ソーシャルメディアのタイムスタンプと写真とを関連付けて提示することで、時系列的に写真を提示することも可能である。また、異なる場所で撮影された写真を時系列順に並べ、次の時間における写真の表示位置を提示するようにすると、一連のイベントを提示することも可能となる。
【００８８】
本実施形態に係る技術により、例えば、図１６に示すように、現実世界の実空間画像Ｐｒｅａｌに写っているユーザと、当該実空間画像に重畳された付加画像Ｐａｄｄに写っている子供の頃のユーザとを並べた状態での写真撮影も可能となる。同様に、現実世界のユーザが写っている実空間画像Ｐｒｅａｌにユーザの両親の結婚式の写真を重畳させて、あたかもユーザが両親の結婚式に出席しているかのような写真を取得することも可能となる。
【００８９】
このように、情報処理装置１００を用いて、特定の場所における３次元モデルを構築し、当該場所に関係のある付加画像を実空間画像に重畳して表示することで、様々な楽しみ方ができるようになる。
【００９０】
＜３．ハードウェア構成例＞
最後に、本実施形態に係る情報処理装置１００のハードウェア構成例について説明する。図１７は、本実施形態に係る情報処理装置１００のハードウェア構成を示すハードウェア構成図である。
【００９１】
本実施形態に係る情報処理装置１００は、上述したように、コンピュータ等の処理装置により実現することができる。情報処理装置１００は、図１７に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３と、ホストバス９０４ａとを備える。また、情報処理装置１００は、ブリッジ９０４と、外部バス９０４ｂと、インタフェース９０５と、入力装置９０６と、出力装置９０７と、ストレージ装置９０８と、ドライブ９０９と、接続ポート９１１と、通信装置９１３とを備える。
【００９２】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４ａにより相互に接続されている。
【００９３】
ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【００９４】
入力装置９０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。出力装置９０７は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。
【００９５】
ストレージ装置９０８は、情報処理装置１００の記憶部の一例であり、データ格納用の装置である。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。
【００９６】
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。
【００９７】
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。また、通信装置９１３は、例えば、通信網５に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１３は、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【００９８】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００９９】
例えば、上記実施形態では、ユーザが実空間画像と付加画像とが重畳された画像を見るためのデバイス１０として、携帯電話やスマートフォン、タブレット端末等の移動通信端末を図示したが、本技術はかかる例に限定されない。デバイス１０は、少なくとも撮像部と表示部とを備える端末であればよく、例えば、上述したように、ＨＭＤや眼鏡型端末等のウェアラブル端末等、ユーザが装着して使用するデバイスにも適用可能であり、より自然に重畳された画像をユーザは見ることが可能となる。なお、ＨＭＤについては、外界の画像をカメラにより撮影してユーザに提示するカメラスルー型であってもよく、ディスプレイを介して外界を直接視認できる透過型であってもよい。
【０１００】
また、上記実施形態では、付加画像として写真や画像等を用いる場合について説明したが、本技術はかかる例に限定されない。例えば、絵画等を付加画像として、実空間画像に重畳することも可能である。
【０１０１】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１０２】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
現実世界におけるユーザの視点に対応する付加画像を表示し、前記付加画像が取得された現実世界における視点付近にユーザを誘導する処理部を備える、情報処理装置。
（２）
前記処理部は、前記付加画像を前記現実世界の画像に重畳して表示する、前記（１）に記載の情報処理装置。
（３）
前記処理部は、前記現実世界の画像に対して前記付加画像が重畳される位置に、重畳可能な付加画像の存在を示す誘導情報を表示する、前記（１）または（２）に記載の情報処理装置。
（４）
前記処理部は、前記現実世界の画像に対して前記付加画像を重畳可能な重畳可能領域を誘導情報として表示する、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記処理部は、端末の位置、姿勢、または画角のうち少なくともいずれかを考慮して前記重畳可能領域を決定する、前記（４）に記載の情報処理装置。
（６）
前記処理部は、前記重畳可能領域へ移動するまでの環境情報をメタ情報として表示する、前記（４）または（５）に記載の情報処理装置。
（７）
前記環境情報は、前記重畳可能領域へ移動するまでの地面の材質またはユーザの通過可否を表す情報である、前記（６）に記載の情報処理装置。
（８）
前記処理部は、前記環境情報がユーザの通過可否を表す情報であるとき、前記通過可否に応じて付加情報の表示内容を変化させる、前記（７）に記載の情報処理装置。
（９）
前記処理部は、前記重畳可能領域へ移動するまでの道筋を表示する、前記（４）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記処理部は、端末に表示される地図上にユーザを誘導する誘導情報を表示する、前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記処理部は、誘導情報を音声として出力しユーザを誘導する、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記処理部は、前記付加画像を前記現実世界の画像に重畳させたとき、前記付加画像に見切れが生じるとき、画角調整を促す表示を行う、前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記処理部は、現実世界の変化により生じた物体が存在するとき、前記付加画像および現実世界の３次元モデルに基づいて、前記物体のない仮想画像を重畳して表示する、前記（１）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記処理部は、
予め取得された画像に基づき推定された現実世界の３次元モデルに基づいて、現実世界の画像に重畳する前記付加画像を決定し、
現実世界の変化により生じた物体が存在するとき、前記３次元モデルと前記物体とが一致した場合、当該物体を排除した疑似的画像を付加画像として表示する、前記（１）〜（１２）のいずれか１項に記載の情報処理装置。
（１５）
前記処理部は、位置情報に基づき推定されたモデルに基づいて、現実世界の画像に重畳する前記付加画像を決定する際、位置センサにより検出されたユーザの位置近辺の３次元モデルについてのみ前記付加画像とのマッチング処理を行う、前記（１）〜（１４）のいずれか１項に記載の情報処理装置。
（１６）
前記処理部は、現実世界の画像に付加画像を重畳して表示する際に、前記現実世界の画像または前記付加画像のうち少なくともいずれか一方の色調を調整する画像処理する、前記（１）〜（１５）のいずれか１項に記載の情報処理装置。
（１７）
前記処理部は、前記付加画像に対し、重畳する前記現実世界の画像との境界をぼかす画像処理を施す、前記（１）〜（１６）のいずれか１項に記載の情報処理装置。
（１８）
前記処理部は、前記現実世界の画像に対して前記付加画像を重畳可能な重畳可能領域にユーザが位置したときに、前記画像処理を実行する、前記（１６）または（１７）に記載の情報処理装置。
（１９）
現実世界におけるユーザの視点に対応する付加画像を表示すること、
前記付加画像が取得された現実世界における視点付近にユーザを誘導すること、
を含む、情報処理方法。
【符号の説明】
【０１０３】
１０      デバイス
１００    情報処理装置
１１０    第１処理部
１１１    実空間モデル構築部
１１３    メタ情報付与部
１１５    位置姿勢推定部
１１７    重畳可能領域推定部
１１９    付加画像登録部
１２０    記憶部
１２１    実空間モデルＤＢ
１２３    付加画像ＤＢ
１２５    位置姿勢インデックスＤＢ
１３０    第２処理部
１３１    情報取得部
１３３    モデル探索領域抽出部
１３５    マッチング処理部
１３７    付加画像取得部
１３９    提示処理部
Ｐａｄｄ    付加画像
Ｐｒｅａｌ    実空間画像
【図１】
2015228050.tif 000003
【図２】
2015228050.tif 000004
【図３】
2015228050.tif 000005
【図４】
2015228050.tif 000006
【図５】
2015228050.tif 000007
【図６】
2015228050.tif 000008
【図７】
2015228050.tif 000009
【図８】
2015228050.tif 000010
【図９】
2015228050.tif 000011
【図１０】
2015228050.tif 000012
【図１１】
2015228050.tif 000013
【図１２】
2015228050.tif 000014
【図１３】
2015228050.tif 000015
【図１４】
2015228050.tif 000016
【図１５】
2015228050.tif 000017
【図１６】
2015228050.tif 000018
【図１７】
2015228050.tif 000019