(57)【要約】【課題】ＡＲ情報の種別に応じて重畳対象物に追従表示するか否かを制御することができる情報処理装置を提供する。【解決手段】情報処理装置２００は、対象物（４００、４０２）を撮像する撮像部２０１、撮像結果（画像情報）に基づいて対象物を重畳対象として決定する関連情報記憶部２０５、特徴点検出部２０６、重畳対象に関連付けられたコンテンツ（ＡＲ情報）の種別を特定する判定部２０３、表示画面上に表示される重畳対象とコンテンツの表示を制御する追従表示切替部２０４を有する。追従表示切替部２０４は、特定したコンテンツの種別に応じてコンテンツの表示モードを重畳対象画像に追従して重畳表示する追従表示、又は、コンテンツを表示画面上の所定の位置に表示する非追従表示に決定する。【選択図】図３
2019003550.tif 000002
【特許請求の範囲】
【請求項１】
対象物を撮像する撮像手段と、
前記撮像手段による撮像結果に基づいて前記対象物を重畳対象として決定する決定手段と、
前記重畳対象に関連付けられたコンテンツの種別を特定する特定手段と、
表示画面上に表示される前記重畳対象と前記コンテンツの表示を制御する制御手段と、を有し、
前記制御手段は、前記特定したコンテンツの種別に応じて、前記コンテンツの表示モードを重畳対象画像に追従して重畳表示する追従表示、又は、当該コンテンツを前記表示画面上の所定の位置に表示する非追従表示に決定することを特徴とする、
情報処理装置。
【請求項２】
前記決定手段は、前記撮像結果から特徴点を検出して、この検出結果に応じて前記重畳対象を特定することを特徴とする、
請求項１に記載の情報処理装置。
【請求項３】
前記制御手段は、前記非追従表示と決定し、且つ、前記コンテンツが前記所定の位置とは異なる位置に表示されている場合には、当該所定の位置に移動するまでの間は当該コンテンツを追従表示することを特徴とする、
請求項１又は２に記載の情報処理装置。
【請求項４】
前記制御手段は、前記特定手段が特定した前記コンテンツの種別が情報閲覧を目的とする種別であれば追従表示に決定し、前記対象物であるデバイスの機器の操作を目的とする種別であれば非追従表示に決定することを特徴とする、
請求項１、２又は３に記載の情報処理装置。
【請求項５】
前記情報閲覧を目的とする種別のコンテンツは、情報表示を目的とした文字情報、画像閲覧を目的とした画像情報、動画視聴を目的とした動画情報、仮想物体の表示を目的とした３次元モデルを含むことを特徴とする、
請求項４に記載の情報処理装置。
【請求項６】
前記デバイスの操作を目的とする種別のコンテンツは、当該デバイスの制御やステータス表示を目的としたＧＵＩを含むことを特徴とする、
請求項４に記載の情報処理装置。
【請求項７】
前記制御手段は、前記非追従表示に決定された第１のコンテンツが前記所定の位置に固定表示された状態において、前記追従表示に決定された第２のコンテンツを表示する場合にはこれに代えて前記表示モードを切り替えるための第３のコンテンツを表示することを特徴とする、
請求項１乃至６いずれか一項に記載の情報処理装置。
【請求項８】
前記制御手段は、前記第３のコンテンツが操作され前記非追従表示が解除された場合、当該第３のコンテンツに代えて前記第２のコンテンツを重畳表示することを特徴とする、
請求項７に記載の情報処理装置。
【請求項９】
前記第３のコンテンツに代えて表示された前記第２のコンテンツは、前記表示モードを切り替えるためのコンテンツとして機能することを特徴とする、
請求項８に記載の情報処理装置。
【請求項１０】
前記情報処理装置の挙動を検出する検出手段を有し、
前記制御手段は、前記検知手段が閾値以上の挙動を検出した場合には前記情報処理装置の表示モードを追従表示に決定することを特徴とする、
請求項１乃至９いずれか一項に記載の情報処理装置。
【請求項１１】
前記検出手段は加速度センサであり、
前記挙動は前記情報処理装置が受けた振動、回転動作であることを特徴とする、
請求項１０に記載の情報処理装置。
【請求項１２】
情報処理装置の制御方法であって、
対象物を撮像する工程と、
前記撮像した結果に基づいて前記対象物を重畳対象として決定する工程と、
前記重畳対象に関連付けられたコンテンツの種別を特定する工程と、
表示画面上に表示される前記重畳対象と前記コンテンツの表示を、前記特定したコンテンツの種別に応じて前記コンテンツの表示モードを重畳対象画像に追従して重畳表示する追従表示、又は、当該コンテンツを前記表示画面上の所定の位置に表示する非追従表示に決定する工程と、を有することを特徴とする、
情報処理装置の制御方法。
【請求項１３】
コンピュータを情報処理装置として動作させるためのコンピュータプログラムであって、
前記コンピュータを、
対象物を撮像する撮像手段、
前記撮像手段による撮像結果に基づいて前記対象物を重畳対象として決定する決定手段、
前記重畳対象に関連付けられたコンテンツの種別を特定する特定手段、
表示画面上に表示される前記重畳対象と前記コンテンツの表示を、前記特定したコンテンツの種別に応じて前記コンテンツの表示モードを重畳対象画像に追従して重畳表示する追従表示、又は、当該コンテンツを前記表示画面上の所定の位置に表示する非追従表示に決定する制御手段、として機能させることを特徴とする、
コンピュータプログラム。
【請求項１４】
請求項１３に記載のコンピュータプログラムをコンピュータが読み取り可能に記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像にＡＲ情報を重畳して表示する技術に関する。
【背景技術】
【０００２】
カメラ等の撮像装置を介して取得した現実空間の画像（以下、自然画像と称す）に対して、映像や３ＤＣＧなどの仮想オブジェクトを重畳表示するＡＲ（Ａｕｇｕｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：拡張現実）と称される技術がある。
ＡＲでは、例えばＧＰＳ(ＧｌｏＢａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ)を介して取得される位置情報を利用し、自然画像に重畳表示する仮想オブジェクトの位置や領域を確定する手法（位置認識型）がある。
また、その他の確定する手法としては、自然画像中に含まれる特定のパターン（マーカー）を利用して行う手法（マーカー型ＡＲ）、自然画像から抽出した特徴点を利用する手法（マーカーレス型ＡＲ）などが知られている。
【０００３】
マーカーレス型ＡＲでは、自然画像に含まれる特定の物体（対象物）に基づいて重畳する仮想オブジェクトの表示位置や角度を定めている。このため、対象物が消失した場合、例えば、対象物が撮像装置の撮像範囲外に移動した場合などでは仮想オブジェクトを重畳することができない。また、マーカー型ＡＲでは、マーカーが撮像画像から消失した場合には仮想オブジェクトを重畳することができない。
【０００４】
このような問題に対し、マーカー型ＡＲでマーカーが画像から消失した場合でも、オブジェクトと撮像装置との相対位置に基づいて、消失前に重畳表示されていた場所に仮想オブジェクトを継続表示する、というものがある（例えば、特許文献１）。
また、現実風景に対して投影した図形と撮影部との位置関係に基づいて現実風景に仮想オブジェクトを重畳する。そして、図形が現実画像から消失した場合には図形が最後に検出された時点の現実風景との位置関係を保持するように仮想オブジェクトを継続表示する、というものがある（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−９２９６４号公報
【特許文献２】特開２０１３−２０６３２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ＡＲ技術を用いた表示機能を有する情報処理装置では、一般的には、撮像装置で認識した対象物上に仮想オブジェクト（ＡＲ情報）を重畳表示する。仮想オブジェクトは、対象物の位置や姿勢に対応した態様、または撮像装置の位置姿勢に対応した態様で表示画面上に重畳表示される。
【０００７】
例えば、機器のメンテナンスを行う場合にＡＲ技術を利用した情報処理装置を使用することがある。その場合、撮像したメンテナンス作業用マニュアルの特定の頁の画像上に作業手順を説明した動画を重畳表示させる手法が採られることがある。また、撮像した機器の画像に作業中の機器操作ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を重畳表示する手法も採られる。
【０００８】
例えば、作業用マニュアルや機器などの重畳対象が情報処理装置の表示画面上において視界外となったときでも特定のＡＲ情報（コンテンツ）を表示させたい場合がある。しかしながら、特許文献１、２に記載された技術では、元々重畳表示されていた場所に重畳表示を継続させる手法であるため、このような場合には対応することができない。また、重畳表示されたＡＲ情報は、追従対象画像が消失した状態でも消えずに表示されている状態となる。このため、例えば本のページをめくる場合のように追従対象画像が次々に更新される場合には不要な情報が表示され続けてしまう、という問題がある。
【０００９】
以上のように、上記各特許文献に記載された技術では、重畳表示を重畳対象の画像上でのみ行いたい場合や、対象となる自然画像が視界外である場合でも重畳表示を継続して行いたい場合などにおいて、適宜切り替えた重畳表示を行うことができない、という課題がある。
【００１０】
本発明は、ＡＲ情報の種別に応じて重畳対象物に追従表示するか否かを制御することができる情報処理装置を提供することを、主たる目的とする。
【課題を解決するための手段】
【００１１】
本発明の情報処理装置は、対象物を撮像する撮像手段と、前記撮像手段による撮像結果に基づいて前記対象物を重畳対象として決定する決定手段と、前記重畳対象に関連付けられたコンテンツの種別を特定する特定手段と、表示画面上に表示される前記重畳対象と前記コンテンツの表示を制御する制御手段と、を有し、前記制御手段は、前記特定したコンテンツの種別に応じて、前記コンテンツの表示モードを重畳対象画像に追従して重畳表示する追従表示、又は、当該コンテンツを前記表示画面上の所定の位置に表示する非追従表示に決定することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、ＡＲ情報の種別に応じて重畳対象物に追従表示するか否かを制御することができる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態に係る情報処理装置を含むシステム構成の一例を示す図。
【図２】情報処理装置のハードウェア構成の一例を示す図。
【図３】情報処理装置とクラウドの機能構成の一例を示すブロック図。
【図４】（ａ）、（ｂ）は、情報処理装置の使用形態の一例を説明するための図。
【図５】（ａ）、（ｂ）、（ｃ）は、情報処理装置が有するＡＲ情報の一例を説明するための図。
【図６】情報処理装置が行う重畳表示制御の処理手順の一例を示すフローチャート。
【図７】図６に示すステップＳ６１１の処理（非追従表示処理）の詳細を説明するフローチャート。
【図８】図６に示すステップＳ６１０の処理（追従表示処理）の詳細を説明するフローチャート。
【図９】第２実施形態に係る情報処理装置の使用形態の一例を説明するための図。
【図１０】（ａ）〜（ｄ）は、タブレットをかざす方向に応じて当該タブレットの表示画面上に重畳表示されるコンテンツの変化の様子を説明するための図。
【図１１】第２実施形態に係る情報処理装置が行う重畳表示制御の処理手順の一例を示すフローチャート。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について図面を参照して詳細に説明する。
なお、以下で説明する実施形態は、本発明を情報処理装置に適用し、これを有するシステムを例に挙げて説明するが、本発明の適用はこの場合に限るものではない。
【００１５】
［第１実施形態］
図１は、本実施形態に係る情報処理装置を含むシステム構成の一例を示す図である。なお、図１に示す複数の情報処理装置２００とクラウド１００はネットワーク３００を介して接続される。
【００１６】
図２は、情報処理装置２００のハードウェア構成の一例を示す図である。
情報処理装置２００は、ＣＰＵ（Central Processing Unit）２２１、ＲＡＭ（Random Access Memory）２２２、ＲＯＭ（Read Only Memory）２２３、入力装置２２４、出力装置２２５、ネットワーク・インタフェース２２６、システムバス２２７を有する。
【００１７】
ＣＰＵ２２１は、ＲＯＭ２２３に記憶されたプログラムやデータをＲＡＭ２２２に読み出し、例えば表示制御などの各種処理を実行する。
入力装置２２４は、例えば物体を識別するためのＲＧＢカメラ、加速度センサなどである。出力装置２２５は、例えば重畳情報を投射するプロジェクタ、表示用のディスプレイ、音声出力用のスピーカーなどである。
ネットワーク・インタフェース２２６は、ネットワーク３００を介して外部の機器との間でデータ等の授受を行う。システムバス２２７は、本装置の各要素を接続し、各要素間における信号の授受を行う。
【００１８】
図３は、情報処理装置２００とクラウド１００の機能構成の一例を示すブロック図である。
クラウド１００は、ネットワークを介して各種情報やソフトウエアプログラムなどを提供可能に構成された装置である。例えば、クラウド１００は、図１に示すように、ネットワーク３００を介して複数の情報処理装置２００と接続される。
クラウド１００は、後述するコンテンツ情報を蓄積し管理するコンテンツ管理部１０１、重畳対象（重畳対象画像）の情報を蓄積し管理する重畳対象管理部１０２、重畳対象画像とＡＲ情報を関連付けて保持するＡＲリンク情報管理部１０３を有する。
【００１９】
情報処理装置２００は、例えば携帯情報端末、タブレット（タブレットデバイス）などである。情報処理装置２００は、撮像部２０１、撮像した画像を認識する認識部２０２、ＡＲ情報の種別を特定する判定部２０３、追従表示切替部２０４、重畳表示するＡＲ情報及び撮像した画像に関する情報を記憶する関連情報記憶部２０５を有する。
【００２０】
また、情報処理装置２００は、撮像した対象画像の特徴点などを検出する特徴点検出部２０６、撮像した対象画像の位置を検出する位置検出部２０７、クラウド１００等との通信を制御する通信部２０８、ＡＲ情報を重畳して表示する重畳表示部２０９を有する。また、情報処理装置２００が振動させられたことなど当該情報処理装置の挙動を検出する加速度検出部２１０を有する。
【００２１】
撮像部２０１は、入力装置２２４の一例であるＲＧＢカメラなどであり、外界の物体を撮像して画像情報を取得する。
認識部２０２は、取得した画像情報に基づいて特徴点検出部２０６が検出した検出結果と、関連情報記憶部２０５に記憶された情報とを比較し、比較結果に応じて既知の物体が撮像部２０１により捉えられているか否かを識別する。
判定部２０３は、関連情報記憶部２０５に記憶された情報に基づいて、重畳表示するコンテンツの種別を特定する。また、判定部２０３は、コンテンツの種別に応じて当該コンテンツの表示モードを決定する。表示モードは、例えば、コンテンツを対象物画像に追従させて表示する追従表示モード、表示画面上の所定の位置に固定表示する非追従表示モードなどである。
【００２２】
追従表示切替部２０４は、決定された重畳表示方法によりコンテンツの重畳表示の制御を行う。また、追従表示切替部２０４は、追従モードフラグ、非追従ＡＲ退避フラグを管理する。
ここで、追従モードフラグとは、コンテンツの重畳表示において追従表示を行う追従表示モードであるか、あるいは非追従表示を行う非追従表示モードであるかを表すフラグである。
また、非追従ＡＲ退避フラグとは、非追従表示されるＡＲ情報を退避（表示画面上における移動）させるか（非追従ＡＲ退避フラグ：ＯＮ）、又は、退避させないか（非追従ＡＲ退避フラグ：ＯＦＦ）を表すフラグである。
【００２３】
関連情報記憶部２０５は、通信部２０８を介して、クラウド１００から各種情報などを取得し、取得した情報等を記憶する。
特徴点検出部２０６は、対象物を撮像した画像（対象物画像）の特徴点を検出して対象物画像の特徴量を算出する。
位置検出部２０７は、判定部２０３で判定した物体の撮像部２０１内における位置情報を検出する。
通信部２０８は、クラウド１００との通信を制御する。
重畳表示部２０９は、出力装置３０５の一つであり、追従表示切替部２０４で選択された追従表示方法によって生成した表示情報を出力する。
【００２４】
図４は、情報処理装置２００の使用形態の一例を説明するための図である。
なお、ここでは情報処理装置２００の一例としてタブレット４０３を用いて機器のメンテナンスを行う場合を例に挙げて説明する。また、メンテナンス対象の機器は図４に示すネットワークカメラ４００であるとする。建物壁４０１は、ネットワークカメラ４００が設置されている場所を示している。マニュアル４０２には、ネットワークカメラ４００のメンテナンス方法が文章や図等で説明されているものとする。
【００２５】
タブレット４０３は、マニュアル４０２内に表示された所定の画像をトリガにして、重畳表示されるＡＲ情報（重畳情報）である動画、あるいはネットワークカメラ４００のＧＵＩ情報を表示画面上に表示する。例えば、タブレット４０３による撮像結果に含まれる所定の画像をタッチペンなどを用いてタッチすることで、上記動画やＧＵＩ情報が対象画像上に重畳表示される。作業者４０４は、このタブレット４０３を用いて、以下に説明するように、ネットワークカメラ４００のメンテナンスを行う。
【００２６】
図４（ａ）は、メンテナンス作業の実施前に、作業者４０４がマニュアル４０２を確認している状況を示している（図４（ａ）右側）。
図４（ａ）では、作業者４０４がマニュアル４０２に向けてタブレット４０３をかざして当該タブレット４０３がマニュアル４０２を撮像し、マニュアル画像４０２Ｐがタブレット４０３の表示画面に表示される。そして、タブレット４０３の表示画面に表示されたマニュアル画像４０２Ｐ上に、ネットワークカメラ４００に関するＡＲ情報（例えば、作業のための動画４０２Ｃ）が重畳表示される様子を示している。
【００２７】
図４（ｂ）は、作業者４０４がネットワークカメラ４００のメンテナンス作業を開始した状態を示している。
図４（ｂ）では、作業者４０４がネットワークカメラ４００に向けてタブレット４０３をかざして当該タブレット４０３がネットワークカメラ４００を撮像し、ネットワークカメラ画像４００Ｐがタブレット４０３の表示画面に表示される。そして、タブレット４０３の表示画面に表示されるネットワークカメラ画像４００Ｐ上に、ネットワークカメラ４００を操作するためのＡＲ情報（例えば、ＧＵＩ４００Ｃ）が重畳表示される。
このようにして作業者４０４は、それぞれの場合においてタブレット４０３の表示画面に表示されたＡＲ情報を利用することができる。
【００２８】
図５は、情報処理装置２００が有するＡＲ情報の一例を説明するための図である。
情報処理装置２００が有する情報は、例えばコンテンツ管理部１０１、重畳対象管理部１０２、ＡＲリンク情報管理部１０３を介して保持され管理されるものとする。
なお、関連情報記憶部２０５には、これら各管理部に保持されたＡＲ情報の一部または全部が格納されるものとする。また、これらの情報は、例えばネットワーク３００を介してクラウド１００から取得される。
【００２９】
図５（ａ）は、コンテンツ管理部１０１が管理するＡＲ情報の一例を示す表（テーブル）５００である。
テーブル５００には、コンテンツＩＤ５０１、コンテンツタイプ５０２、コンテンツパス５０３の各情報が格納される。なお、テーブル５００では、行５０４から行５０８それぞれにコンテンツとして登録された情報が存在している。
コンテンツＩＤ５０１は、重畳表示されるＡＲ情報であるコンテンツを一意に特定するための識別子である。
コンテンツタイプ５０２は、重畳表示されるＡＲ情報の種別（コンテンツの種別）を表す情報である。例えば、「文字」、「動画」、「３ＤＣＧ」（３次元モデル）、「デバイス」、「ＨＴＭＬ」等の種別がある。なお、種別が「デバイス」のコンテンツタイプは、デバイス（例えば、前述したネットワークカメラ４００）を操作するためのＧＵＩ情報を意味する。このようなコンテンツタイプは「非追従表示のＡＲ情報」である。
例えば、情報閲覧を目的とする種別のコンテンツは、種別が「文字」である情報表示を目的とした文字情報、ここでは例示していないが種別が「画像」である画像閲覧を目的とした画像情報、種別が「動画」である動画視聴を目的とした動画情報、種別が「３ＤＣＧ」である仮想物体の表示を目的とした３次元モデルを含むコンテンツなどがある。
また、デバイスの操作を目的とする種別のコンテンツは、例えば当該デバイスの制御やステータス表示を目的としたＧＵＩを含むコンテンツなどがある。
コンテンツパス５０３は、各ＡＲ情報への接続パス（ネットワークＩＤ）を表す情報である。
【００３０】
図５（ｂ）は、重畳対象管理部１０２が管理するＡＲ情報（重畳対象の情報、例えば前述したマニュアル画像４０２Ｐやネットワークカメラ画像４００Ｐなど）の一例を表すテーブル５０９である。なお、重畳対象の情報とは、重畳表示を行うためのトリガになる画像に関する情報である。具体的には、例えば撮像部２０１を介して撮像した画像内に写る対象物画像の特徴量などで表される情報である。
テーブル５０９には、重畳対象ＩＤ５１０、重畳対象タイプ５１１、重畳対象パス５１２の各情報が格納される。なお、テーブル５０９では、行５１３から行５１５それぞれに重畳対象として登録された情報が存在している。
重畳対象ＩＤ５１０は、各重畳対象を一意に特定するための識別子である。
重畳対象タイプ５１１は、重畳対象の種別を表す情報である。例えば、「文字」、「画像」、「ロケーション」等の種別がある。
重畳対象パス５１２は、各重畳対象への接続パス（ネットワークＩＤ）を表す情報である。
【００３１】
図５（ｃ）は、ＡＲリンク情報管理部１０３が管理するＡＲ情報（ＡＲリンク情報）の一例を表すテーブル５１６である。
テーブル５１６には、リンクＩＤ５１７、重畳対象ＩＤ５１８、コンテンツＩＤ５１９の各情報が格納される。なお、テーブル５１６では、行５２０から行５２２それぞれにＡＲリンク情報として登録された情報が存在している。
リンクＩＤ５１７は、各ＡＲリンクを一意に特定するための識別子である。
重畳対象ＩＤ５１８は、重畳表示を行うためのトリガになる重畳対象を識別する識別子である。コンテンツＩＤ５１９は、重畳表示するコンテンツを識別する識別子である。
このようにして、重畳表示を行うためのトリガになる重畳対象と重畳表示するコンテンツを関連付けられている。
【００３２】
図６は、情報処理装置２００が行う重畳表示制御の処理手順の一例を示すフローチャートである。
また、図７は、図６に示すステップＳ６１１の処理（非追従表示処理）の詳細を説明するフローチャートであり、図８は、図６に示すステップＳ６１０の処理（追従表示処理）の詳細を説明するフローチャートである。
なお、情報処理装置２００が行う各処理は主としてＣＰＵ２２１により実行される。
【００３３】
ＣＰＵ２２１は、特徴点検出部２０６を介して、撮像部２０１が撮像した対象物画像の特徴量を算出する（Ｓ６０１）。
ＣＰＵ２２１は、関連情報記憶部２０５を参照して、算出した特徴量に基づいて重畳対象を決定する（Ｓ６０２）。
ＣＰＵ２２１は、特定した重畳対象に関連付けられたＡＲリンク情報があるか否かを判別する（Ｓ６０３）。ＡＲリンク情報がある場合（Ｓ６０３：Ｙｅｓ）、ＣＰＵ２２１は、ステップＳ６０４の処理に移行する。また、そうでない場合（Ｓ６０３：Ｎｏ）、ステップＳ６０１の処理に戻る。
【００３４】
ＣＰＵ２２１は、追従表示切替部２０４を介して、追従モードフラグの状態が非追従表示モードであるか否かを判定する（Ｓ６０４）。非追従表示モードである場合（Ｓ６０４：Ｙｅｓ）、ＣＰＵ２２１は、ステップＳ６１１の処理（非追従表示）に移行する。また、そうでない場合（Ｓ６０４：Ｎｏ）、ステップＳ６０５の処理に移行する。
【００３５】
ＣＰＵ２２１は、追従表示切替部２０４を介して、非追従ＡＲ退避フラグがＯＮであるか否か、つまり非追従表示されるＡＲ情報を退避させるか否かを判定する（Ｓ６０５）。ＯＮであると判定した場合（Ｓ６０５：Ｙｅｓ）、ステップＳ６０６の処理に移行する。また、そうでない場合（Ｓ６０５：Ｎｏ）、ステップＳ６０７の処理に移行する。
【００３６】
ＣＰＵ２２１は、表示画面上に表示されたコンテンツ（表示ＡＲ情報）をユーザがタッチしたか否かを判定する（Ｓ６０６）。タッチした場合（Ｓ６０６：Ｙｅｓ）、表示画面上から赤枠（後述する赤枠４０５（図１０参照））の表示を消去し（Ｓ６０８）、ステップＳ６１１の処理（非追従表示）に移行する。
なお、この赤枠は、非追従表示モードを解除して追従表示モードに切り替えるためのタッチスイッチとして機能する、表示モードを切り替えるためのコンテンツでもある。赤枠表示については、ステップＳ６１１の処理（非追従表示）において詳細に説明する。
【００３７】
ＣＰＵ２２１は、ＡＲリンク情報に基づいて、重畳対象に関連付けられたコンテンツタイプが「非追従表示のＡＲ情報」であるか否かを判定する（Ｓ６０７）。例えば、テーブル５００を参照して、重畳対象に関連付けられたコンテンツタイプ（コンテンツＩＤ）が「デバイス」であるか否かを判定する。
非追従表示のＡＲ情報であると判定した場合（Ｓ６０７：Ｙｅｓ）、ＣＰＵ２２１は、ステップＳ６０９の処理に移行する。また、そうでない場合、つまりコンテンツタイプの種別が「デバイス」以外のコンテンツタイプである場合（Ｓ６０７：Ｎｏ）、ステップＳ６１０の処理（追従表示）に移行する。
【００３８】
ＣＰＵ２２１は、非追従のコンテンツタイプの重畳対象画像がタブレット４０３の画面中央に位置するか否かを判定する（Ｓ６０９）。画面中央に位置する場合（Ｓ６０９：Ｙｅｓ）、ＣＰＵ２２１は、ステップＳ６１１の処理（非追従表示）に移行する。また、そうでない場合（Ｓ６０９：Ｎｏ）、ステップＳ６１０の処理（追従表示）に移行する。
ステップＳ６１０の処理により、情報処理装置２００の表示画面に映し出される対象物上にはＡＲ情報（コンテンツ）が重畳して表示されることになる。なお、ステップＳ６１１の処理（非追従表示）、ステップＳ６１０の処理（追従表示）の詳細については後述する。
【００３９】
［非追従表示処理の手順］
図６に示すステップＳ６１１の処理（非追従表示）の詳細について図７を用いて説明する。
ＣＰＵ２２１は、位置検出部２０７を介して、特定した重畳対象（対象物）の位置情報を取得する（Ｓ６１６）。ＣＰＵ２２１は、非追従表示されるＡＲ情報（コンテンツ）を退避させるか否かを判定する（Ｓ６１７）。退避させる場合（Ｓ６１７：Ｙｅｓ）、ＣＰＵ２２１は、ステップＳ６２０の処理に移行する。また、そうでない場合（Ｓ６１７：Ｎｏ）、ステップＳ６１８の処理に移行する。
【００４０】
ＣＰＵ２２１は、ＡＲリンク情報に基づいて、重畳対象に関連付けられたコンテンツタイプが「非追従表示のＡＲ情報」であるか否かを判定する（Ｓ６１８）。非追従表示のＡＲ情報である場合（Ｓ６１８：Ｙｅｓ）、ステップＳ６２０の処理に移行する。また、そうでない場合（Ｓ６１８：Ｎｏ）、ステップＳ６１９の処理に移行する。
例えば、コンテンツタイプが「デバイス」である場合、非追従のＡＲ情報であるためステップＳ６２０の処理に移行することになる。
【００４１】
ＣＰＵ２２１は、ステップＳ６１６の処理において取得した位置情報に応じた表示画面上の位置に赤枠を表示する（Ｓ６１９）。なお、この赤枠はこの位置にコンテンツを重畳表示することが可能であることを表現するものであり、ユーザに対してその旨を通知できる形態であれば他の表示形態であっても良い。例えば、コンテンツタイプが「動画」であれば赤枠が表示される。赤枠表示の詳細については図１０を用いて後述する。
【００４２】
ＣＰＵ２２１は、コンテンツを表示画面上の所定の位置に固定表示する（Ｓ６２０）。具体的には、表示画面中央にコンテンツを重畳表示する。ＣＰＵ２２１は、また、追従表示切替部２０４が保持する追従モードフラグの状態を非追従表示モードにする。
【００４３】
ＣＰＵ２２１は、表示画面上に表示された赤枠をユーザがタッチしたか否かを判定する（Ｓ６２１）。タッチした場合（Ｓ６２１：Ｙｅｓ）、ステップＳ６２２の処理に移行する。また、そうでない場合（Ｓ６２１：Ｎｏ）、ステップＳ６０１の処理に戻る。
【００４４】
ＣＰＵ２２１は、追従表示切替部２０４を介して、非追従表示中のＡＲ情報を退避させ、表示画面中央に重畳表示されているコンテンツを消去する（Ｓ６２２）。
ＣＰＵ２２１は、追従表示切替部２０４が保持する追従モードフラグの状態を非追従表示モードから追従表示モードにする（Ｓ６２３）。
【００４５】
［追従表示処理の手順］
図６に示すステップＳ６１０（追従表示処理）の詳細について図８を用いて説明する。
ＣＰＵ２２１は、位置検出部２０７を介して、特定した重畳対象（対象物）の位置情報を取得する（Ｓ６２４）。ＣＰＵ２２１は、ステップＳ６２４の処理において取得した位置情報に応じた表示画面上の位置にコンテンツ（ＡＲ情報）を表示する（Ｓ６２５）。
【００４６】
このように、本実施形態に係る情報処理装置では、対象物画像の特徴量に関連付けられたコンテンツの種別が「デバイス」でない場合には、撮像部２０１で捉えた対象物画像上にＡＲ情報が重畳表示される。
このため、例えば図４（ａ）に示したマニュアル４０２のページをめくるたびに異なるＡＲ情報を重畳表示することが可能になる。つまり、本のページをめくる場合のように追従対象画像が次々に更新される場合であっても不要な情報の表示を回避することができる。
【００４７】
以上の説明では、情報処理装置２００はネットワーク３００を介してクラウド１００に接続する構成としたが、クラウド１００に代えて、同一のネットワーク内に配置したオンプレミスサーバを用いた構成でも良い。
また、上記の説明では追従のコンテンツタイプの重畳対象画像が画面中央に位置する場合に非追従表示に処理を移行する例を説明したが、処理の移行は中央以外の画面の適宜な場所に位置する場合に行う構成であっても良い。
【００４８】
［第２実施形態］
第１実施形態では、図４に示したように、メンテナンス作業においてユーザがマニュアルを見る場合と、メンテナンス対象を見る場合と２つの場面に基づく処理について説明した。
本実施形態では、ユーザがメンテナンス対象を見つつマニュアルも参照する場合のユースケースについて説明する。なお、第１実施形態において説明した機能構成と同じものは、同一の符号を付すとともにその説明を省略する。
【００４９】
図９は、本実施形態に係る情報処理装置の使用形態の一例を説明するための図である。
なお、ここでは情報処理装置の一例であるタブレット４０３を用いて機器のメンテナンスを行う場合を例に挙げて説明する。また、メンテナンス対象の機器は図９に示すネットワークカメラ４００であるとする。また、図９に示す建物壁４０１は、ネットワークカメラ４００が設置されている場所を示している。また、図９に示すマニュアル４０２には、ネットワークカメラ４００のメンテナンス方法が文章や図等で説明されているものとする。
タブレット４０３は、マニュアル４０２内に表示された所定の画像をトリガにして、重畳表示されるＡＲ情報（重畳情報）である動画、あるいはネットワークカメラ４００のＧＵＩ情報を表示画面上に表示する。また、作業者４０４は、タブレット４０３を用いてネットワークカメラ４００のメンテナンスを行うものとする。
【００５０】
図９は、作業者４０４がメンテナンス作業中にマニュアル４０２も確認している状況を示している。タブレット４０３の表示画面上には、マニュアル画像４０２Ｐおよびネットワークカメラ画像４００Ｐが表示されている。
また、タブレット４０３の表示画面上には、ネットワークカメラ４００に関するＡＲ情報、マニュアル４０２に関するＡＲ情報として、これらに対応するコンテンツ（動画４０２Ｃ、ＧＵＩ４００Ｃ）が重畳表示されている。
【００５１】
図１０は、タブレット４０３をかざす方向に応じて当該タブレット４０３の表示画面上に重畳表示されるコンテンツの変化の様子を説明するための図である。
図１０（ａ）では、タブレット４０３の表示画面上に複数のＡＲ情報が重畳表示されている状態を示している。
この場合、ネットワークカメラ４００に対応するコンテンツタイプとして「デバイス」（ＧＵＩ４００Ｃ）、マニュアル４０２に対応するコンテンツタイプとして「動画」（動画４０２Ｃ）がそれぞれ設定されていることが見て取れる。このように、コンテンツタイプに応じてＧＵＩ４００Ｃや動画４０２Ｃが重畳対象物であるネットワークカメラ画像４００Ｐやマニュアル画像４０２Ｐ上に重畳表示される。
【００５２】
図１０（ｂ）では、タブレット４０３をかざす方向を変えて、ネットワークカメラ４００をタブレット４０３の表示画面中央に移動させたときの表示画面の表示状態を示している。
この場合、マニュアル画像４０２Ｐ上に重畳表示されていた動画４０２Ｃが表示画面上から消失して、これ代えて赤枠４０５が表示される。
なお、赤枠４０５は、この枠内に重畳表示されるＡＲ情報（コンテンツ）が存在することを表している。また、赤枠４０５は、非追従表示モードを解除して追従表示モードに切り替えるためのタッチスイッチとして機能する、表示モードを切り替えるためのコンテンツ（第３のコンテンツ）でもある。
【００５３】
図１０（ｃ）は、図１０（ｂ）に示す表示状態からさらにタブレット４０３をかざす方向を変えて、かざす方向をマニュアル４０２上に移動したときの表示画面の表示状態を示している。
この場合、ネットワークカメラ画像４００Ｐ上に重畳表示されていたＧＵＩ表示４００Ｃは消去されず、ＧＵＩ表示４００Ｃはタブレット４０３の表示画面中央に表示された状態が維持される。
【００５４】
図１０（ｄ）は、図１０（ｃ）に示す表示状態において作業者４０４が赤枠４０５をタッチしたときの表示画面の表示状態を示している。
この場合、ネットワークカメラ画像４００Ｐ上に重畳表示されていたＧＵＩ４００Ｃは表示画面上から消去される。また、マニュアル画像４０２Ｐ上に重畳表示されていた赤枠４０５に代えて、マニュアル４０２に対応するコンテンツとして登録されていた動画４０２Ｃが表示画面上に表示される。
【００５５】
さらに、図１０（ｄ）に示す表示状態において、動画４０２Ｃを作業者４０４がタッチした場合、再び図１０（ｃ）に示す表示状態に戻る。なお、作業者４０４が動画４０２Ｃをタッチすることは、図６に示すステップＳ６０６の処理において「Ｙｅｓ」に相当する。
【００５６】
図１１は、本実施形態に係る情報処理装置が行う重畳表示制御の処理手順の一例を示すフローチャートである。
なお、図６に示す各処理との差異は、ステップＳ６１２〜Ｓ６１５の処理を有する点である。以下、図１０に示す各表示状態と合わせて処理手順について説明する。
【００５７】
図１０（ａ）に示す表示状態は、ＣＰＵ２２１がステップＳ６０１、Ｓ６０２、Ｓ６０３、Ｓ６０４、Ｓ６０５、Ｓ６０７、Ｓ６０９、Ｓ６１１の処理まで順に移行したときに相当する表示状態である。
【００５８】
図１０（ｂ）に示す表示状態は、ステップＳ６０７の処理において「Ｙｅｓ」となりステップＳ６０９に移行し、さらにステップＳ６０９の処理において「Ｙｅｓ」となった場合に相当する表示状態である。
即ち、ネットワークカメラ４００について取得したＡＲリンク情報に示されるコンテンツＩＤはテーブル５００に格納された「デバイス」のコンテンツタイプである。「デバイス」は非追従のＡＲ情報であることからＣＰＵ２２１は、ステップＳ６０９の処理に移行することになる。
そして、ステップＳ６０９の処理において、非追従のＡＲ情報に対応付けられたネットワークカメラ４００がタブレット４０３の表示画面中央に捉えられているため、ＣＰＵ２２１は、ステップＳ６１１の処理（非追従表示処理）の処理に移行することになる。
【００５９】
ＣＰＵ２２１は、加速度検出部２１０を介してタブレット４０３の挙動を検出し、閾値以上の加速度を検出したか否かを判別する（Ｓ６１３）。検出した場合（Ｓ６１３：Ｙｅｓ）、ステップＳ６１４の処理に移行する。また、そうでない場合（Ｓ６１３：Ｎｏ）、ステップＳ６０１の処理に戻る。
なお、加速度を検出することに代えて、振動や回転動作などのタブレット４０３の挙動（センシング情報）を検知するように構成しても良い。
【００６０】
ＣＰＵ２２１は、非追従ＡＲ情報および赤枠表示（赤枠４０５）を消去し（Ｓ６１４）、非追従表示モードを解除し（Ｓ６１５）、ステップＳ６０１の処理に戻ることになる。
例えば、図１０（ｄ）に示す表示状態では、作業者４０４が表示画面上に表示された赤枠４０５をタッチし（Ｓ６２１：Ｙｅｓ）、表示切替用のコンテンツ（赤枠４０５）が表示画面上から消失している。
【００６１】
また、図１０（ｄ）に示す表示状態においてタブレット４０３を振動させない場合、つまり閾値以上の加速度が検知されなければステップＳ６０１の処理に戻る。そして、ステップＳ６０４の処理では、非追従表示モードではないため（Ｓ６０４：Ｎｏ）、ＣＰＵ２２１は、ステップＳ６０５の処理に移行することになる。さらに、ステップＳ６２２の処理において非追従表示されたＡＲ情報の退避を行っているため（Ｓ６０５：Ｙｅｓ）、ＣＰＵ２２１は、ステップＳ６０６の処理に移行することになる。
【００６２】
ステップＳ６０６の処理では、既に表示画面上に表示されたコンテンツ（表示ＡＲ情報）を作業者４０４がタッチした場合（Ｓ６０６：Ｙｅｓ）、ＣＰＵ２２１は、ステップＳ６０８の処理に移行する。また、そうでなければ（Ｓ６０６：Ｎｏ）ステップＳ６０７の処理に移行することになる。
なお、ステップＳ６０６の処理では、既に表示されているＡＲ情報である動画４０２Ｃを作業者４０４がタッチしたときにステップＳ６０８の処理に移行して赤枠表示が消去されることになる。
【００６３】
ＣＰＵ２２１は、非追従表示においてネットワークカメラ４００に関するデバイスタイプのコンテンツ（ＧＵＩ４００Ｃ）を退避させ（Ｓ６１７：Ｙｅｓ）、再度タブレット４０３の表示画面中央にＧＵＩ４００Ｃを重畳表示する（Ｓ６２０）。この場合、図１０（ｂ）、（ｃ）に示す表示状態となる。
【００６４】
このように、図１０（ｃ）に示す表示状態において赤枠４０５をタッチした場合、表示画面の表示状態は、図１０（ｄ）に示す表示状態に遷移する。また、図１０（ｄ）に示す表示状態において動画４０２Ｐをタッチした場合、表示画面の表示状態は、図１０（ｃ）に示す表示状態に遷移する。
【００６５】
図１０（ｃ）または図１０（ｄ）に示す表示状態において、タブレット４０３に閾値以上の加速度を与えた場合（Ｓ６１３：Ｙｅｓ）、ステップＳ６１４の処理において非追従ＡＲ情報および赤枠４０５が表示画面上から消去される。そして、ステップＳ６１５の処理において非追従表示モードが解除され、表示画面の表示状態は、図１０（ａ）に示す表示状態に遷移する。
【００６６】
このように本実施形態に係る情報処理装置では、対象物画像の特徴量に関連付けられたコンテンツの種別が「デバイス」である場合には、撮像部２０１で捉えた対象物が画面内から消えたとしても対応するＡＲ情報を画面中央に継続的に表示することができる。
さらに、画面中央に表示されたＧＵＩの操作途中でマニュアル４０２を参照した場合には、マニュアル画像４０２Ｐ上に表示された赤枠４０５をタッチすることで、これに対応するＡＲ情報を重畳表示することができる。また、このＡＲ情報をタッチすることで、デバイス操作のＧＵＩを表示する表示状態に再び戻すことができる。
【００６７】
例えば、重畳対象物がマニュアル（マニュアル画像）である場合、マニュアル上に表示したいＡＲ情報（解説動画コンテンツ）は重畳対象物の上に表示（追従表示）され、また重畳対象物を隠すとＡＲ情報は画面上から消える。
一方、ＡＲ情報が重畳対象物に重畳して表示する必要のないＧＵＩ（作業中の機器操作用のＧＵＩ）などである場合は、重畳対象物が隠れても表示（非追従表示）され続けることになり、他のＡＲ情報に邪魔されず操作がしやすくなる。また、表示画面上にこれら異なる種別のＡＲ情報が混在した場合であっても、追従表示モードと非追従表示モードを容易に切り替えることができる。
【００６８】
本発明は、上述の実施形態の１以上の機能を実現するコンピュータプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。このようにしてコンピュータを情報処理装置として動作させることができる。
【００６９】
上記説明した実施形態は、本発明をより具体的に説明するためのものであり、本発明の範囲が、これらの例に限定されるものではない。
【図１】
2019003550.tif 000003
【図２】
2019003550.tif 000004
【図３】
2019003550.tif 000005
【図４】
2019003550.tif 000006
【図５】
2019003550.tif 000007
【図６】
2019003550.tif 000008
【図７】
2019003550.tif 000009
【図８】
2019003550.tif 000010
【図９】
2019003550.tif 000011
【図１０】
2019003550.tif 000012
【図１１】
2019003550.tif 000013