(57)【要約】  実物体を配置する準備モードの際に、予め記録された、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づき、実物体の配置を支援する情報を拡張現実表示する制御と、前記実物体の配置結果情報を、配置した実物体とインタラクションを起こす前記仮想オブジェクトを表示する通常モードの際に参照される配置結果情報データベースに記録する制御と、を行う制御部（１００）を備える、情報処理装置。
2020012955.tif 000002
【特許請求の範囲】
【請求項１】
実物体を配置する準備モードの際に、予め記録された、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づき、実物体の配置を支援する情報を拡張現実表示する制御と、
前記実物体の配置結果情報を、配置した実物体とインタラクションを起こす前記仮想オブジェクトを表示する通常モードの際に参照される配置結果情報データベースに記録する制御と、
を行う制御部を備える、情報処理装置。
【請求項２】
前記制御部は、
前記実物体の配置を支援する情報として、前記実物体の配置を示す情報を表示する、請求項１に記載の情報処理装置。
【請求項３】
前記制御部は、
前記実物体の配置を支援する情報として、実空間における所定の配置場所に、前記実物体の仮想オブジェクトを拡張現実表示する、請求項１に記載の情報処理装置。
【請求項４】
前記制御部は、
前記実物体の配置を支援する情報として、実空間における所定の配置場所に、前記実物体の仮想オブジェクトと、当該実物体とインタラクションを起こす仮想オブジェクトを表示する、請求項１に記載の情報処理装置。
【請求項５】
前記制御部は、
前記実物体の配置を支援する情報として、前記実物体の配置場所までユーザを誘導する表示を行う、請求項１に記載の情報処理装置。
【請求項６】
前記制御部は、前記誘導を開始する際、前記配置場所に設置する前記実物体の準備をユーザに促す通知を行う、請求項５に記載の情報処理装置。
【請求項７】
前記制御部は、
前記実物体の配置を支援する情報として、前記実物体の詳細情報を表示する、請求項１に記載の情報処理装置。
【請求項８】
前記実物体の詳細情報は、前記実物体の名称、３Ｄアセット、サイズ情報、材質情報、重さ情報、インタラクション内容、撮像画像、イラスト画像、またはコメントの少なくともいずれかを含む、請求項７に記載の情報処理装置。
【請求項９】
前記実物体に関する情報は、前記仮想オブジェクトに関連付けて記憶される、請求項１に記載の情報処理装置。
【請求項１０】
前記制御部は、
前記通常モードの際、前記配置結果情報データベースに記憶された前記実物体の前記配置結果情報に応じて、設定された所定の場所において、前記仮想オブジェクトの表示制御を行う、請求項１に記載の情報処理装置。
【請求項１１】
前記制御部は、
前記実物体の前記配置結果情報から、前記準備モードにおいて特定の前記実物体が配置されなかったことを判断すると、前記通常モードの実行を中止する、請求項１０に記載の情報処理装置。
【請求項１２】
前記制御部は、
インタラクションポイントにおいて、前記実物体の前記配置結果情報から、所定の前記実物体が配置されなかったことを確認すると、前記仮想オブジェクトの表示に関し、所定の代替処理を行う、請求項１０に記載の情報処理装置。
【請求項１３】
前記制御部は、
前記代替処理として、前記仮想オブジェクトの表示の中止、または、前記実物体と関わらないインタラクションに変更する、請求項１２に記載の情報処理装置。
【請求項１４】
前記制御部は、
前記代替処理として、所定の配置場所に、前記実物体の仮想オブジェクトを表示した上で、前記仮想オブジェクトによる設定されたインタラクションを実行する、請求項１２に記載の情報処理装置。
【請求項１５】
前記制御部は、
インタラクションポイントにおいて、前記実物体の前記配置結果情報から、所定の実物体と異なる実物体が配置されたことを確認すると、当該異なる実物体に合わせたインタラクションに変更する、請求項１０に記載の情報処理装置。
【請求項１６】
前記制御部は、
前記異なる実物体の材質情報またはサイズ情報の少なくともいずれかに応じて、前記仮想オブジェクトのインタラクションを変化させる、請求項１５に記載の情報処理装置。
【請求項１７】
前記仮想オブジェクトのインタラクションの変化は、前記仮想オブジェクトの動きの変化、または音の変化である、請求項１６に記載の情報処理装置。
【請求項１８】
プロセッサが、
実物体を配置する準備モードの際に、予め記録された、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づき、実物体の配置を支援する情報を拡張現実表示することと、
前記実物体の配置結果情報を、配置した実物体とインタラクションを起こす前記仮想オブジェクトを表示する通常モードの際に参照される配置結果情報データベースに記録することと、
を含む、情報処理方法。
【請求項１９】
コンピュータを、
実物体を配置する準備モードの際に、予め記録された、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づき、実物体の配置を支援する情報を拡張現実表示する制御と、
前記実物体の配置結果情報を、配置した実物体とインタラクションを起こす前記仮想オブジェクトを表示する通常モードの際に参照される配置結果情報データベースに記録する制御と、
を行う制御部として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、実物体に仮想オブジェクトを重畳表示してユーザに情報を提供する技術が存在する。【０００３】
例えば下記特許文献１では、刻々変化する視点で撮像された動画像からオブジェクト（実物体）を認識し、オブジェクトの関連情報を表示した状態を維持する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−９５１４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
実物体に仮想物を重畳表示する場合、実物体と仮想オブジェクトとのインタラクション（例えば仮想オブジェクトが実物体に衝突して音が鳴る、実物体の上に座る、など）を起こすことも可能であるが、このようなユーザ体験を提供するには、予め所定の実物体を所定の場所に配置しておくことが望ましい。所定の実物体が所定の場所に配置されていないにも関わらず、仮想オブジェクトが予め決められたインタラクションを行うと、不自然な動きに見えて違和感が生じる。【０００６】
そこで、本開示では、仮想オブジェクトと関わる実物体の配置を支援し、仮想オブジェクトを表示する際のユーザ体験が損なわれることを防止することが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、実物体を配置する準備モードの際に、予め記録された、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づき、実物体の配置を支援する情報を拡張現実表示する制御と、前記実物体の配置結果情報を、配置した実物体とインタラクションを起こす前記仮想オブジェクトを表示する通常モードの際に参照される配置結果情報データベースに記録する制御と、を行う制御部を備える、情報処理装置を提案する。【０００８】
本開示によれば、プロセッサが、実物体を配置する準備モードの際に、予め記録された、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づき、実物体の配置を支援する情報を拡張現実表示することと、前記実物体の配置結果情報を、配置した実物体とインタラクションを起こす前記仮想オブジェクトを表示する通常モードの際に参照される配置結果情報データベースに記録することと、を含む、情報処理方法を提案する。【０００９】
本開示によれば、コンピュータを、実物体を配置する準備モードの際に、予め記録された、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づき、実物体の配置を支援する情報を拡張現実表示する制御と、前記実物体の配置結果情報を、配置した実物体とインタラクションを起こす前記仮想オブジェクトを表示する通常モードの際に参照される配置結果情報データベースに記録する制御と、を行う制御部として機能させるための、プログラムを提案する。
【発明の効果】
【００１０】
以上説明したように本開示によれば、仮想オブジェクトと関わる実物体の配置を支援し、仮想オブジェクトを表示する際のユーザ体験が損なわれることを防止することが可能である。【００１１】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】本開示の一実施形態による情報処理システムの概要について説明する図である。
【図２】本実施形態による情報処理システムの全体構成の一例を示す図である。
【図３】本実施形態による情報処理端末の構成の一例を示すブロック図である。
【図４】本実施形態による実物体情報の一例を示す図である。
【図５】本実施形態による準備モードにおける動作処理の流れの一例を示すフローチャートである。
【図６】本実施形態による通常モードにおける動作処理の流れの一例を示すフローチャートである。
【図７】本実施形態による実物体が配置されていない場合の代替処理について説明する図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．情報処理装置の構成
３．動作処理
３−１．準備モードにおける動作処理
３−２．通常モードにおける動作処理
４．まとめ
【００１５】
＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。本実施形態による情報処理端末１０は、仮想オブジェクトがインタラクションを起こす実物体の配置を促す情報を拡張現実表示することで、仮想オブジェクトと関わる実物体の配置を支援し、仮想オブジェクトを表示する際のユーザ体験が損なわれることを防止する。
【００１６】
上述したように、実物体と仮想オブジェクトとのインタラクション（例えば仮想オブジェクトが実物体に衝突して音が鳴る、実物体の上に座る、など）を起こす際に、予め所定の実物体が所定の場所に配置されていないと、仮想オブジェクトの状態が不自然なものとなってしまい、ユーザ体験が損なわれてしまう（例えば、何もないところで衝突音がする、不自然に浮いて表示される、など）。
【００１７】
また、特定の場所で行うイベントアプリケーションの場合、イベントアプリケーションに必要な実物体を運営側が配置しなければならないが、開発者の意図する位置や向きで所定の実物体を配置することや、配置状態が正しいものであるかどうかを確認することは難しかった。
【００１８】
そこで、本開示の一実施形態では、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づいて、実物体の配置を促す情報を拡張現実表示する準備モードを提供することで、実物体を用意するユーザ（以下、「設置者」とも称す）に対して、実物体の配置（位置や向き）を、より分かり易く明示することが可能となる。
【００１９】
具体的には、例えば図１に示すように、実空間における所定の位置に、実物体（例えばゴミ箱）を配置する必要がある場合、情報処理端末１０は、実物体の画像４２（仮想オブジェクト）を、所定の配置場所に拡張現実表示する。実物体の画像４２は、準備モード用の３Ｄモデル画像であってもよいし、また、透過性を持たせてもよい。
【００２０】
これにより、ユーザは、実物体の配置場所や向きを直感的に把握することができ、アプリケーション実行時における、実物体の配置や向きが異なる場合の違和感を防止することが可能となる。また、実物大の画像４２が表示されることで、ユーザは、実物体のサイズも直感的に把握することができる。
【００２１】
なお、仮想オブジェクトがインタラクションを起こす実物体に関する情報は、アプリケーションに予め組み込むようにしてもよい。実物体に関する情報（一般名称、形状、材質情報、配置情報等）は、仮想オブジェクトの振る舞い（インタラクション）を実装する際に、開発者により入力され、仮想オブジェクトと関連付けて（例えば仮想オブジェクトのＩＤと共に）アプリケーションに組み込まれる。本明細書において、アプリケーションとは、仮想オブジェクトの拡張現実表示を制御するプログラムと、配置する実物体に関する情報や、仮想オブジェクトの表示データ、インタラクション時の音データ等を含むソフトウェアを意味する。実物体に関する情報は、アプリケーションに組み込むことに限定されず、例えばサーバ２０等に別途データベース（実物体情報データベース）を生成し、適宜、情報処理端末１０から参照するようにしてもよい。
【００２２】
また、情報処理端末１０は、図１に示すように、配置する実物体に関する詳細な情報（例えば、名称、形状、材質、サイズ、色、配置に関する留意事項等）を示す画像４４をさらに表示してもよい。
【００２３】
また、情報処理端末１０は、図１に示すように、配置する実物体とインタラクションを起こす仮想オブジェクト４０をテスト的に表示してもよい。これにより、実際にどこでどのようなインタラクションが発生するのかを把握し、より正確に実物体の配置を行うことができる。また、所定の実物体の代替品を配置する際にも、仮想オブジェクトのインタラクションを確認することで、不自然な状態とならないよう配置することができる。
【００２４】
本実施形態によって、開発者とアプリケーションの実行者（運営者）が異なる場合でも、アプリケーションを実行する環境を容易に設置することができる。アプリケーションの頻繁なアップデートにより使用する実物体が変わる場合も、更新されたアプリケーションに組み込まれた実物体情報や、更新された実物体情報ＤＢを参照することで容易に対応することが可能となる。
【００２５】
次いで、情報処理端末１０は、実物体の配置結果情報を取得する。例えば、ユーザ（設置者）は、実物体の配置が完了すると、画像４４に表示されているチェックボックス４４１にチェックを入れる操作（ジェスチャ操作、音声入力等）を行う。チェックボックス４４１にチェックが入ると、情報処理端末１０は、実物体の配置が完了したことを配置結果情報として記録する。ユーザは、所定の実物体が用意できず代替品を配置した場合は、代替品の材質やサイズ等を入力するようにしてもよい。また、やむを得ず配置場所や向きをずらした場合、どの程度ずらしたかを入力する。また、実物体を配置できなかった場合は、配置できなかったことを入力する。
【００２６】
かかる配置結果情報は、アプリケーションの実行時、より具体的には、仮想オブジェクトを表示する通常モードの際に参照される。情報処理端末１０は、インタラクションポイントにおいて仮想オブジェクトを表示する際、配置結果情報を参照することで実物体の配置状態を把握することができる。これにより、不自然な状態とならないよう適切なインタラクションを実行し、ユーザ体験が損なわれることを防止することが可能となる。
【００２７】
具体的には、情報処理端末１０は、所定の実物体が配置されている場合は既定のインタラクションを実行し、変更がある場合は変更に応じた代替処理を実行する。例えば、情報処理端末１０は、代替品の材質に応じて衝突音を変更したり（例えば通常は金属音だが、実物体の材質が金属ではないものになっていた場合、変更された材質に応じた衝突音に変更する）、代替品のサイズに応じて仮想オブジェクトの表示位置を調整したり、何ら実物体が配置されていない場合はインタラクションを起こさないようにしたりすることで、仮想オブジェクトのインタラクションが不自然な状態となることを回避することができる。
【００２８】
以上、本開示の一実施形態による情報処理システムについて説明した。なお、本実施形態における拡張現実表示の手法は特に限定しない。例えば図１に示すような、メガネ型のＨＭＤ（Head  Mounted  Display）を情報処理端末１０として用いてもよい。メガネ型のＨＭＤは、ユーザ装着時にユーザの眼前に位置するレンズ部分に表示部１２０が設けられている。表示部１２０は、光学透過型ディスプレイにより実現され、ユーザは、実世界を肉眼で視覚しながら同時に仮想物を視認することができる。また、ＨＭＤは、両眼に画像を提示するものに限定されず、片眼のみに画像を提示するものであってもよい。また、ＨＭＤには、図１に示すように、装着時にユーザの視線方向、すなわちユーザの視界を撮像する外向きカメラ１１１が設けられている。また、ＨＭＤには、マイクロホン（以下、「マイク」と示す）やスピーカが設けられていてもよい。
【００２９】
また、ＨＭＤは、メガネ型に限定されず、ヘッドバンド型（頭部の全周を回るバンドで装着されるタイプ。また、側頭部だけでなく頭頂部を通るバンドが設けられる場合もある）や、ヘルメットタイプ（ヘルメットのバイザー部分がディスプレイに相当する）であってもよい。
【００３０】
また、本実施形態による情報処理端末１０は、ビデオシースルー型のＨＭＤであってもよい。ビデオシースルー型のＨＭＤの場合、ユーザ装着時にユーザの眼前に位置する表示部１２０がビデオ透過型ディスプレイにより実現される。ビデオ透過型ディスプレイは、視界をディスプレイで覆う構造であり、実世界と仮想物をリアルタイムに撮影した映像として視覚される。
【００３１】
続いて、このような本実施形態による情報処理システムの全体構成について図２を参照して説明する。図２は、本実施形態による情報処理システムの全体構成の一例を示す図である。
【００３２】
図２に示すように、本実施形態に係る情報処理システムは、情報処理端末１０とサーバ２０とを含む。情報処理端末１０とサーバ２０は、ネットワーク３０を介して接続され、データの送受信が可能となる。
【００３３】
情報処理端末１０は、上述したように、表示部１２０を備え、仮想オブジェクトを拡張現実表示することが可能な表示デバイスである。仮想オブジェクトの表示を行うアプリケーションは、例えばサーバ２０から受信し得る。情報処理端末１０の具体的な構成については、図３を参照して後述する。
【００３４】
サーバ２０は、コンテンツサーバであって、例えば仮想オブジェクトの表示を行うアプリケーションを情報処理端末１０に送信する。また、サーバ２０は、実物体の配置結果情報を蓄積し、必要に応じて情報処理端末１０に送信してもよい。
【００３５】
以上、本実施形態に係る情報処理システムのシステム構成例について説明した。なお、図２を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、本実施形態に係る情報処理端末１０およびサーバ２０が有する機能は、単一の装置により実現されてもよい。本実施形態に係る情報処理システムの構成は、仕様や運用に応じて柔軟に変形可能である。
【００３６】
＜＜２．情報処理端末１０の構成＞＞
図３は、本実施形態による情報処理端末１０の構成の一例を示すブロック図である。図３に示すように、情報処理端末１０は、センサ部１１０、制御部１００、表示部１２０、スピーカ１３０、通信部１４０、操作入力部１５０、および記憶部１６０を有する。
【００３７】
＜２−１．センサ部１１０＞
センサ部１１０は、ユーザまたは周辺環境に関する各種情報を取得（センシング）する機能を有する。情報処理端末１０の制御部１００は、センサ部１１０によりセンシングされた各種情報に基づいて、ヘッドトラッキング、ポジショントラッキング、空間認識、ジェスチャ認識、音声認識等を行うことが可能である。
【００３８】
例えばセンサ部１１０は、外向きカメラ１１１、内向きカメラ１１２、マイク１１３、ジャイロセンサ１１４、加速度センサ１１５、方位センサ１１６、および位置測位部１１７を含んでいてもよい。なおここで挙げるセンサ部１１０の具体例は一例であって、本実施形態はこれに限定されない。例えば、照度センサや生体センサ等を含んでいてもよい。また、各センサは複数あってもよい。
【００３９】
外向きカメラ１１１および内向きカメラ１１２は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を各々有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
【００４０】
外向きカメラ１１１は、ユーザの視界に相当する領域を少なくとも含む画角や向きに設定されることが望ましい。また、外向きカメラ１１１は、複数設けられていてもよい。また、外向きカメラ１１１は、センシングによりデプスマップを取得可能なデプスカメラを含んでもよい。
【００４１】
マイク１１３は、ユーザの音声や周囲の環境音を収音し、音声データとして制御部１００に出力する。
【００４２】
ジャイロセンサ１１４は、例えば３軸ジャイロセンサにより実現され、角速度（回転速度）を検出する。
【００４３】
加速度センサ１１５は、例えば３軸加速度センサにより実現され、移動時の加速度を検出する。
【００４４】
方位センサ１１６は、例えば３軸地磁気センサ（コンパス）により実現され、絶対方向（方位）を検出する。
【００４５】
位置測位部１１７は、情報処理端末１０の自己位置を算出する。例えば位置測位部１１７は、自己位置推定の手法として、いわゆるＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ  ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  ｍａｐｐｉｎｇ）を用いてもよい。
【００４６】
また、位置測位部１１７は、外部からの取得信号に基づいて情報処理端末１０の現在位置を検知してもよい。具体的には、例えば位置測位部１１７は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）測位部により実現され、ＧＰＳ衛星からの電波を受信して、情報処理端末１０が存在している位置を検知してもよい。また、位置測位部１１７は、例えばＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。
【００４７】
＜２−２．制御部１００＞
制御部１００は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理端末１０内の動作全般を制御する。制御部１００は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）を含んでいてもよい。
【００４８】
制御部１００は、ヘッドトラッキング、ポジショントラッキング、空間認識、ジェスチャ認識、音声認識等を行い、アプリケーションに従って適切に仮想オブジェクトを表示し得る。より具体的には、本実施形態による制御部１００は、ユーザ状況認識部１０１、周辺状況認識部１０２、配置情報管理部１０３、モード設定部１０４、および表示制御部１０５として機能する。
【００４９】
（ユーザ状況認識部１０１）
ユーザ状況認識部１０１は、センサ部１１０により取得された各種センシングデータに基づいて、ユーザ状況として、ユーザの位置（例えば室内における位置、自己位置）、姿勢、動き等を認識する。また、ユーザ状況認識部１０１は、ジェスチャや音声の認識を行い得る。また、ユーザ状況認識部１０１は、顔向きの変化や移動等のトラッキング（ヘッドトラッキング、ポジショントラッキング）を行うことも可能である。
【００５０】
（周辺状況認識部１０２）
周辺状況認識部１０２は、センサ部１１０により取得された各種センシングデータに基づいて、周辺状況として、周辺環境における物体認識や空間認識等を行う。
【００５１】
（配置情報管理部１０３）
配置情報管理部１０３は、実物体の配置に関する情報の管理を行う。例えば配置情報管理部１０３は、センサ部１１０により取得された各種センシングデータに基づいて、ユーザによる実物体の配置結果情報を取得し、記憶部１６０に保存する。また、配置情報管理部１０３は、記憶部１６０に蓄積した配置結果情報をサーバ２０に送信してもよい。
【００５２】
（モード設定部１０４）
モード設定部１０４は、アプリケーションの動作モードとして、準備モードまたは通常モードの設定を行う。準備モードとは、仮想オブジェクトがインタラクションを起こす実物体を設置者等が予め配置して準備する際に、実物体の配置に関する情報を拡張現実表示するモードである。通常モードとは、配置された実物体とインタラクションを起こす仮想オブジェクトを表示するモードであって、例えばゲームアプリケーションの場合、プレイヤー（一般ユーザ）が対象となる。モード設定部１０４は、所定の権限を有するユーザ（例えば設置者）により選択された動作モードに設定するようにしてもよい。なお、準備モードと通常モードを同一人物が利用してもよい。
【００５３】
（表示制御部１０５）
表示制御部１０５は、仮想オブジェクトの拡張現実表示制御を行う。具体的には、表示制御部１０５は、アプリケーションに従って、表示部１２０を用いて実空間に仮想オブジェクトを重畳表示する。この際、表示制御部１０５は、ユーザ状況認識部１０１や周辺状況認識部１０２の認識結果に基づいて、仮想オブジェクトがあたかも実空間に実際に存在して見えるよう表示制御し得る。具体的には、表示制御部１０５は、ユーザの頭の動き、姿勢の変化、位置等に合わせて、仮想オブジェクトを変化させる（いわゆるヘッドトラッキング機能や、ポジショントラッキング機能）。
【００５４】
表示制御部１０５は、モード設定部１０４により準備モードが設定された場合は、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づき、実物体の配置を支援する情報を拡張現実表示する。仮想オブジェクトがインタラクションを起こす実物体に関する情報（以下、「実物体情報」とも称す）は、上述したように、仮想オブジェクトの振る舞い（インタラクション）を定義する際に開発者により入力される。仮想オブジェクトの振る舞いに関する情報には、インタラクションポイント（例えば所定のエリア内の基準点からの相対的な位置）の情報が含まれる。また、実物体情報には、一般名称、形状、材質、配置情報等の他、当該実物体がない場合の代替処理が含まれる。ここで、図４に、本実施形態による実物体情報の一例を示す。
【００５５】
図４に示すように、実物体情報のカテゴリは、例えば、関連付けられる仮想オブジェクトのＩＤ、実物体の一般名称、配置情報（位置、向き等）、３Ｄアセット（準備モードで用いる実物体の仮想オブジェクトの一例）、サイズ情報、材質、重さ、色、仮想オブジェクトとのインタラクション内容、実物体の参考画像（イラスト、写真等）、当該実物体が配置されなかった場合の代替処理、または配置に関する開発者からのコメント等が想定される。
【００５６】
配置情報は、例えば、エリア内における所定の基準点からの相対的な位置や向きの情報であってもよい。所定の基準点は、例えば、部屋の入口、窓、所定の家具等であってもよい。特定の場所で実施するイベントアプリケーションの場合、インタラクションを起こす場所（インタラクションポイント）は予め設定され得るため、関連する実物体の配置（位置、向き等）も合わせて設定され得る。
【００５７】
実物体が配置されていない時の代替処理は、例えば、仮想オブジェクトを表示しない、音を出さない、実物体を仮想オブジェクトとして表示する、実物体がなくても仮想オブジェクトを表示する、アプリケーションを起動させない（通常モードのアプリケーションを実行しない）等が挙げられる。
【００５８】
なお、図４に示す実物体情報は一例であって、本実施形態はこれに限定されない。例えば、実物体の周辺の環境情報（周りを明るくする、暗くする、等）を含めてもよい。
【００５９】
また、表示制御部１０５は、モード設定部１０４により通常モードが設定された場合は、配置した実物体とインタラクションを起こす仮想オブジェクトの拡張現実表示を行う。アプリケーションには、インタラクションポイント（エリア指定、エリア内の場所指定）、インタラクション内容、インタラクションを起こす仮想オブジェクトの３Ｄモデル等の表示データ、インタラクション時の効果音データ、およびインタラクションポイントにおける好ましい実物体情報等が組み込まれている。表示制御部１０５は、これらの情報に基づいて、所定の場所（インタラクションポイント）において、仮想オブジェクトを動かす表示制御を行う。この際、表示制御部１０５は、準備モードの際に取得された配置結果情報を参照し、配置結果に合わせて仮想オブジェクトの振る舞いを判断する。すなわち、表示制御部１０５は、配置結果に基づき、必要に応じて代替処理を行うことで、仮想オブジェクトの動きや効果音が不自然なものとならないようにすることができる。
【００６０】
配置結果情報は、記憶部１６０に記憶されていてもよいし、サーバ２０から取得してもよい。配置結果情報には、所定の実物体を規定通りに配置したか否か、といった実物体の配置有無に関する情報のほか、「形状は同じだが材質の異なる実物体を配置した」、「形状と材質は同じだがサイズが小さい実物体を配置した」等の別の実物体（代替品）を配置したという情報も想定される。なお、外向きカメラ１１１を用いて実物体の配置をリアルタイムで認識し、アプリケーションにおいて予め設定された好ましい実物体の配置との相違を取得することも可能である。ただし、認識処理負担が大きく、材質や重さまでの判断や、予め設定された好ましい実物体との相違を正確に把握することが困難な場合、準備モード時に取得した配置結果情報を参照することが、より望ましい。また、リアルタイム認識の場合、実際にその場に行かないと実物体の配置状況がわからないため、通常モードでアプリケーションを起動する際に予め実物体の配置状況を把握できるという点からも、準備モード時に取得した配置結果情報を参照することが好ましい。
【００６１】
なお、仮想オブジェクトのインタラクション制御では、効果音や振動等も併せて出力することも可能である。制御部１００は、仮想オブジェクトのインタラクション時に、所定の効果音をスピーカ１３０から出力する制御も行い得る。また、この際、制御部１００は、配置結果情報を参照し、実際に配置されている実物体の材質等に合わせた効果音を出力するようにしてもよい。
【００６２】
＜２−３．表示部１２０＞
表示部１２０は、仮想オブジェクトの拡張現実表示を行う機能を有する。例えば表示部１２０は、光学透過型ディスプレイにより実現され、例えばホログラム光学技術を用いて表示を行う。また、表示部１２０は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置等により実現されてもよい。また、表示部１２０は、透過型、半透過型、または非透過型であってもよい。また、表示部１２０の光学透過度は、制御部１００により制御されてもよい。
【００６３】
＜２−４．スピーカ１３０＞
スピーカ１３０は、制御部１００の制御に従って、音声信号を再生する。
【００６４】
＜２−５．通信部１４０＞
通信部１４０は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部１４０は、例えば有線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、Ｗｉ−Ｆｉ（登録商標）（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信等の方式で、外部機器と、直接またはネットワークアクセスポイントを介して、無線通信する。
【００６５】
＜２−６．操作入力部１５０＞
操作入力部１５０は、スイッチ、ボタン、またはレバー等の物理的な構造を有する操作部材により実現される。
【００６６】
＜２−７．記憶部１６０＞
記憶部１６０は、上述した制御部１００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）により実現される。
【００６７】
また、記憶部１６０は、空間認識情報（空間マップデータ）、アプリケーション、配置結果情報ＤＢ（データベース）を格納する。配置結果情報ＤＢは、サーバ２０に格納されていてもよい。
【００６８】
以上、本実施形態による情報処理端末１０の構成について具体的に説明した。なお、本実施形態による情報処理端末１０の構成は、図３に示す例に限定されない。例えば、情報処理端末１０は、複数の装置により構成されていてもよい。例えば、本実施形態による情報処理端末１０は、ユーザが装着しているＨＭＤとスマートフォンにより構成されるシステム構成であってもよい。この場合、例えば制御部１００が有する機能がスマートフォンに設けられ、スマートフォンの制御に従って、ＨＭＤで情報提示が行われるようにしてもよい。
【００６９】
また、センサ部１１０の少なくとも一部が、外部センサ（例えば部屋に設置されているカメラ、デプスセンサ、マイク、赤外線センサ、照度センサ等の環境側センサ）であってもよい。
【００７０】
また、情報処理端末１０の制御部１００が有する少なくとも一部の機能が、通信部１４０を介して通信接続される他の装置に存在してもよい。例えば、情報処理端末１０の制御部１００が有する少なくとも一部の機能が、中間サーバまたはインターネット上のクラウドサーバ（サーバ２０）等に設けられていてもよい。
【００７１】
＜＜３．動作処理＞＞
続いて、本実施形態による情報処理システムの動作処理について図面を用いて具体的に説明する。
【００７２】
＜３−１．準備モードにおける動作処理＞
図５は、本実施形態による準備モードにおける動作処理の流れの一例を示すフローチャートである。図５に示すように、まず、情報処理端末１０の制御部１００は、アプリケーションを起動すると（ステップＳ１０３）、動作モードの設定を確認する（ステップＳ１０６）。
【００７３】
次に、準備モードに設定された場合（ステップＳ１０６／準備モード）、表示制御部１０５は、アプリケーションに組み込まれた実物体情報を取得する（ステップＳ１０９）。または、表示制御部１０５は、サーバ２０から実物体情報を取得する。
【００７４】
次いで、表示制御部１０５は、取得した実物体情報に基づいて、準備モード用の３Ｄモデル（準備モードで用いる実物体の仮想オブジェクトの一例であって、必ずしも３Ｄ画像でなくともよい）を生成する（ステップＳ１１２）。このように、実物体情報（実物体パラメータ）から準備モード用の表示を生成することで、アプリケーション毎に指示書を作ることや準備専用のアプリケーションを作る工数を削減することが可能である。
【００７５】
次に、制御部１００は、実物体情報から抽出した配置情報に基づいて、実物体の配置場所にユーザ（設置者）を誘導する制御を開始する（ステップＳ１１５）。具体的には、制御部１００は、ＳＬＡＭ技術等によりユーザの自己位置を判断し、表示部１２０やスピーカ１３０を用いて、所定の配置場所までユーザを誘導する。この際、制御部１００は、配置場所に持っていくべき実物体の情報を誘導開始前にユーザに通知してもよい。例えば制御部１００は、実物体の参考画像を表示すると共に、「このようなゴミ箱を持って部屋の奥まで移動して下さい」等の通知を行ってもよい。また、制御部１００は、誘導中も、配置する実物体の情報を表示していてもよい。
【００７６】
次いで、誘導に従ってユーザが配置場所まで移動すると、表示制御部１０５は、配置する実物体情報を表示する（ステップＳ１１８）。具体的には、図１を参照して説明したように、実物体の仮想オブジェクト（生成した３Ｄモデル）を所定の配置場所に拡張現実表示し、実物体の配置場所を、より分かり易く明示する。この際、表示制御部１０５は、実物体の詳細情報を併せて表示したり、当該実物体とインタラクションを起こす仮想オブジェクトをテスト的に表示したりすることで、さらに実物体の配置を支援することが可能となる。これにより、アプリケーションの内容を知らない設置者でも、アプリケーションに必要な実物体を、開発者が意図する位置、向きで配置することが可能となる。
【００７７】
次に、配置情報管理部１０３は、実物体の配置のフィードバック（本明細書では、配置結果情報と称す）を取得し、配置結果情報ＤＢに記録する（ステップＳ１２１）。配置結果情報ＤＢは、記憶部１６０に格納されていてもよいし、サーバ２０に格納されていてもよい。複数のスタッフにより実物体の配置を行っている場合、その結果（配置結果情報）をネットワーク上で共有できるようにしてもよい。配置結果情報の取得方法は特に限定しないが、例えば図１に示すように、所定の実物体を配置した場合はチェックボックス４４１にチェックを入れるようにしてもよい。配置できなかった場合には、チェックを入れないで終了する、若しくは、配置できなかったことを入力するようにしてもよい。また、「形状は同じだが材質の異なる実物体を配置した」、「形状と材質は同じだがサイズが小さい実物体を配置した」等の別の実物体（代替品）を配置した場合、ユーザ（設置者）は、代替品の情報を入力した上で、チェックボックスにチェックを入れるようにしてもよい。
【００７８】
以上説明したステップＳ１１５〜ステップＳ１１２の処理を、実物体情報に設定された全ての実物体について繰り返す（ステップＳ１２４）。なお、上述したように、複数のスタッフで配置を行っている場合、配置結果情報を共有し、他のスタッフが配置を終えた実物体は誘導対象から適宜除くようにしてもよい。
【００７９】
以上、準備モードの動作処理について具体的に説明した。
【００８０】
＜３−２．通常モードにおける動作処理＞
図６は、本実施形態による通常モードにおける動作処理の流れの一例を示すフローチャートである。図５に示すステップＳ１０６において、通常モードが設定された場合（ステップＳ１０６／通常モード）、図６に示すように、制御部１００は、配置結果情報ＤＢから、必須配置実物体の状況を解析する（ステップＳ１２３）。必須配置実物体とは、アプリケーションのＵＸ（User  Experience）に必須となる実物体であって、予め開発者により設定される。必須配置実物体の情報は、例えばアプリケーションに組み込まれる実物体情報に含まれる。
【００８１】
次に、制御部１００は、アプリケーション実行可否を判断する（ステップＳ１２６）。具体的には、制御部１００は、必須配置実物体が配置されていない場合、通常モードでのアプリケーションの実行不可と判断し、必須配置実物体が配置されている場合、通常モードでのアプリケーションの実行が可能と判断する。
【００８２】
次いで、アプリケーション実行不可と判断された場合（ステップＳ１２６／Ｎｏ）、表示制御部１０５は、実行不可のメッセージをユーザ（プレイヤー）に提示する（ステップＳ１２９）。例えば、「問題が発生しました。スタッフを呼んでください」等の通知を行う。これにより、必須配置実物体が配置されてない状況（すなわちユーザ体験が損なわれる状況）でアプリケーションが開始されてしまうこと（例えば、ゲームが進行すること）を回避することができる。
【００８３】
一方、アプリケーション実行可能と判断された場合（ステップＳ１２６／Ｙｅｓ）、表示制御部１０５は、通常モードでのアプリケーションの実行を開始し（イベントアプリケーションの場合、プレイヤーへのイントロダクション等を開始する）、プレイヤーが所定のインタラクションポイントに到達したか否かを確認する（ステップＳ１３２）。
【００８４】
次に、インタラクションポイントへの到達を確認すると、制御部１００は、配置結果情報ＤＢを参照し、当該インタラクションポイントに所定の実物体が配置されているか否かを確認する（ステップＳ１３５）。
【００８５】
次いで、所定の実物体が配置されている場合（ステップＳ１３５／Ｙｅｓ）、制御部１００は、規定された通常処理（予め定義された仮想オブジェクトのインタラクション）を実行する（ステップＳ１３８）。
【００８６】
一方、所定の実物体が配置されていない場合（ステップＳ１３５／Ｎｏ）、制御部１００は、代替処理フラグ（すなわち、実物体情報に代替処理が登録されているか否か）を確認し（ステップＳ１４１）、代替処理が登録されている場合は、代替処理を実行する（ステップＳ１４４）。代替処理には、実物体が配置されていない場合の代替処理の他、代替品が配置されている場合に代替品に合わせた代替処理も含まれる。
【００８７】
例えば、代替処理として、仮想オブジェクトを表示しない、実物体の映像を３Ｄモデルで生成し、仮想オブジェクトとして表示する、インタラクションを変更する（例えば実物体に関わらないインタラクションに変更）等が挙げられる。実物体に関わらないインタラクションに変更の例としては、例えば実物体から飛び出してくるといった振る舞いを、床や壁から飛び出す振る舞いに変更する等が挙げられる。
【００８８】
これにより、予期せず運営側で実物体の配置ができなかった場合でも、仮想オブジェクトで代替の振る舞いを実行することにより、不自然な状態となってユーザを現実に引き戻してしまうことなく、アプリケーションを提供することができる。
【００８９】
このような本実施形態による情報処理システムは、例えば、現実空間を使った下記のようなＡＲゲームイベントに適用でき、実物体が配置されていない場合は所定の代替処理を行うことで、違和感を防止することができる。
・現実空間のゴミ箱などの小道具と仮想オブジェクト（ゲームキャラクター等）が衝突して音が鳴るインタラクション
・仮想オブジェクトのゲームキャラクターが実空間の説明（実物体である絵画の説明等）を行うインタラクション
・仮想オブジェクトのゲームキャラクターが実空間の「本」や「ポスター」（実物体）を見て、驚く、笑い出す等、あたかもこの場を共有しているように見せるインタラクション・仮想オブジェクトのゲームキャラクターが走り回り、実物体に躓くインタラクション
・仮想オブジェクトのゲームキャラクターがユーザを実物体に誘導し、ユーザが実物体とインタラクションを行うことで（例えば、ボタンを押す、センサに手をかざす、アイテムを手に取る等）ゲームを進行させる場合（実物体が配置されないと先に進めなくなってしまうが、代替処理により（例えばボタンの仮想オブジェクトを表示）、ユーザのインタラクションが行えるようにし、ゲームを進行させることを可能とする）
【００９０】
以上挙げた例のうち、「現実空間のゴミ箱などの小道具と仮想オブジェクト（ゲームキャラクター等）が衝突して音が鳴るインタラクション」について、図７を参照して説明する。図７左に示すように、所定の実物体５０が所定の場所に配置されている場合は、通常処理、すなわち仮想オブジェクト４０（ゲームキャラクター等）が実物体５０と衝突して音が鳴るインタラクションを提示する。一方、所定の実物体５０が配置されていないことが配置結果情報ＤＢを参照して判明した場合、通常処理を行ってしまうと、図７右上に示すように不自然な状態（何も無い場所での衝突動作と音の発生）となってしまう。そこで、図７右下に示すような代替処理を行うことで、違和感を防止することを可能とする。具体的には、実物体の仮想オブジェクト４６を表示したり、衝突音を消したり、その場で滑って転ぶ振る舞い等、仮想オブジェクト４８の動きを実物体に関わらないものに変更したりすることで、実物体が配置されていない場合の違和感を防止することができる。
【００９１】
以上説明したステップＳ１３２〜ステップＳ１４３の処理を、アプリケーションが終了するまで、インタラクションポイント毎に繰り返す（ステップＳ１４６）。
【００９２】
以上、本実施形態による動作処理の一例を説明した。なお図５、図６に示す動作処理は一例であって、本開示は図５、図６に示す例に限定されない。例えば、本開示は、図５、図６に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。例えば図５のステップＳ１１２は、ステップＳ１１５に示す誘導後に行ってもよい。
【００９３】
また、図５、図６に示す全ての処理が必ずしも実行されなくともよい。例えば図５のステップＳ１１５に示す誘導を行わず、配置場所（エリア名等）だけ提示するようにしてもよい。
【００９４】
また、図５、図６に示す全ての処理が必ずしも単一の装置で行われなくともよい。例えば、図５のステップＳ１０９に示す実物体情報の取得や、ステップＳ１１２に示す３Ｄモデルの生成、また、図６のステップＳ１２３に示す必須配置実物体の状況解析は、サーバ２０で行い、他の処理は情報処理端末１０で行うようにしてもよい。
【００９５】
＜＜４．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、仮想オブジェクトと関わる実物体の配置を支援し、仮想オブジェクトを表示する際にユーザ体験を損なうことを防止することができる。
【００９６】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００９７】
例えば、上述した情報処理端末１０、またはサーバ２０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理端末１０、またはサーバ２０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
【００９８】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００９９】
なお、本技術は以下のような構成も取ることができる。
（１）
実物体を配置する準備モードの際に、予め記録された、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づき、実物体の配置を支援する情報を拡張現実表示する制御と、
前記実物体の配置結果情報を、配置した実物体とインタラクションを起こす前記仮想オブジェクトを表示する通常モードの際に参照される配置結果情報データベースに記録する制御と、
を行う制御部を備える、情報処理装置。
（２）
前記制御部は、
前記実物体の配置を支援する情報として、前記実物体の配置を示す情報を表示する、前記（１）に記載の情報処理装置。
（３）
前記制御部は、
前記実物体の配置を支援する情報として、実空間における所定の配置場所に、前記実物体の仮想オブジェクトを拡張現実表示する、前記（１）または（２）に記載の情報処理装置。
（４）
前記制御部は、
前記実物体の配置を支援する情報として、実空間における所定の配置場所に、前記実物体の仮想オブジェクトと、当該実物体とインタラクションを起こす仮想オブジェクトを表示する、前記（１）または（２）に記載の情報処理装置。
（５）
前記制御部は、
前記実物体の配置を支援する情報として、前記実物体の配置場所までユーザを誘導する表示を行う、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記制御部は、前記誘導を開始する際、前記配置場所に設置する前記実物体の準備をユーザに促す通知を行う、前記（５）に記載の情報処理装置。
（７）
前記制御部は、
前記実物体の配置を支援する情報として、前記実物体の詳細情報を表示する、前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記実物体の詳細情報は、前記実物体の名称、３Ｄアセット、サイズ情報、材質情報、重さ情報、インタラクション内容、撮像画像、イラスト画像、またはコメントの少なくともいずれかを含む、前記（７）に記載の情報処理装置。
（９）
前記実物体に関する情報は、前記仮想オブジェクトに関連付けて記憶される、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記制御部は、
前記通常モードの際、前記配置結果情報データベースに記憶された前記実物体の前記配置結果情報に応じて、設定された所定の場所において、前記仮想オブジェクトの表示制御を行う、前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記制御部は、
前記実物体の前記配置結果情報から、前記準備モードにおいて特定の前記実物体が配置されなかったことを判断すると、前記通常モードの実行を中止する、前記（１０）に記載の情報処理装置。
（１２）
前記制御部は、
インタラクションポイントにおいて、前記実物体の前記配置結果情報から、所定の前記実物体が配置されなかったことを確認すると、前記仮想オブジェクトの表示に関し、所定の代替処理を行う、前記（１０）または（１１）に記載の情報処理装置。
（１３）
前記制御部は、
前記代替処理として、前記仮想オブジェクトの表示の中止、または、前記実物体と関わらないインタラクションに変更する、前記（１２）に記載の情報処理装置。
（１４）
前記制御部は、
前記代替処理として、所定の配置場所に、前記実物体の仮想オブジェクトを表示した上で、前記仮想オブジェクトによる設定されたインタラクションを実行する、前記（１２）に記載の情報処理装置。
（１５）
前記制御部は、
インタラクションポイントにおいて、前記実物体の前記配置結果情報から、所定の実物体と異なる実物体が配置されたことを確認すると、当該異なる実物体に合わせたインタラクションに変更する、前記（１０）または（１１）に記載の情報処理装置。
（１６）
前記制御部は、
前記異なる実物体の材質情報またはサイズ情報の少なくともいずれかに応じて、前記仮想オブジェクトのインタラクションを変化させる、前記（１５）に記載の情報処理装置。
（１７）
前記仮想オブジェクトのインタラクションの変化は、前記仮想オブジェクトの動きの変化、または音の変化である、前記（１６）に記載の情報処理装置。
（１８）
プロセッサが、
実物体を配置する準備モードの際に、予め記録された、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づき、実物体の配置を支援する情報を拡張現実表示することと、
前記実物体の配置結果情報を、配置した実物体とインタラクションを起こす前記仮想オブジェクトを表示する通常モードの際に参照される配置結果情報データベースに記録することと、
を含む、情報処理方法。
（１９）
コンピュータを、
実物体を配置する準備モードの際に、予め記録された、仮想オブジェクトがインタラクションを起こす実物体に関する情報に基づき、実物体の配置を支援する情報を拡張現実表示する制御と、
前記実物体の配置結果情報を、配置した実物体とインタラクションを起こす前記仮想オブジェクトを表示する通常モードの際に参照される配置結果情報データベースに記録する制御と、
を行う制御部として機能させるための、プログラム。
【符号の説明】
【０１００】
１０  情報処理端末
１００  制御部
１０１  ユーザ状況認識部
１０２  周辺状況認識部
１０３  配置情報管理部
１０４  モード設定部
１０５  表示制御部
１１０  センサ部
１１１  外向きカメラ
１１２  内向きカメラ
１１３  マイク
１１４  ジャイロセンサ
１１５  加速度センサ
１１６  方位センサ
１１７  位置測位部
１２０  表示部
１３０  スピーカ
１４０  通信部
１５０  操作入力部
１６０  記憶部
２０  サーバ
【図１】
2020012955.tif 000003
【図２】
2020012955.tif 000004
【図３】
2020012955.tif 000005
【図４】
2020012955.tif 000006
【図５】
2020012955.tif 000007
【図６】
2020012955.tif 000008
【図７】
2020012955.tif 000009
【国際調査報告】
2020012955.tif 000010
2020012955.tif 000011
2020012955.tif 000012
2020012955.tif 000013