(57)【要約】【課題】ユーザが必要とするＡＲ表示情報を表示する情報処理装置、情報処理システムおよび情報処理方法を提供する。【解決手段】表示情報に関連付けられた識別情報に基づいて取得した第１の位置情報と前記表示情報とに基づき、第１の表示画像を表示部に表示させる情報処理装置において、前記撮像画像に含まれる対象物から前記識別情報を抽出する識別情報抽出部と、前記識別情報抽出部によって前記識別情報が抽出された場合に、前記識別情報に関連付けられた前記表示情報を取得する表示情報取得部と、前記識別情報抽出部によって、前記識別情報が抽出された後に取得した前記撮像画像から前記識別情報が抽出されなかった場合に、第２の位置情報と前記表示情報取得部によって取得された前記表示情報とに基づき、第２の表示画像を前記表示部に表示させる表示制御部とを備えることを特徴とする情報処理装置。【選択図】図７
2015222519.tif 000002
【特許請求の範囲】
【請求項１】
表示情報に関連付けられた識別情報に基づいて取得した第１の位置情報と前記表示情報とに基づき、第１の表示画像を表示部に表示させる情報処理装置において、
撮像部によって撮像された撮像画像を取得する画像取得部と、
前記撮像画像に含まれる対象物から前記識別情報を抽出する識別情報抽出部と、
前記識別情報抽出部によって前記識別情報が抽出された場合に、前記識別情報に関連付けられた前記表示情報を取得する表示情報取得部と、
前記識別情報抽出部によって、前記識別情報が抽出された後に取得した前記撮像画像から前記識別情報が抽出されなかった場合に、第２の位置情報と前記表示情報取得部によって取得された前記表示情報とに基づき、第２の表示画像を前記表示部に表示させる表示制御部と
を備えることを特徴とする情報処理装置。
【請求項２】
前記第１の位置情報は、前記識別情報が抽出される前記対象物を基準とする位置情報であり、
前記第２の位置情報は、前記表示部の表示範囲にある特定の位置を示す位置情報である
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記表示制御部は、
前記識別情報抽出部によって前記撮像画像から前記識別情報が抽出されなかった場合、かつ既に取得された前記表示情報がある場合に、
最後に前記識別情報が抽出された前記撮像画像が取得された位置から前記撮像部が移動した移動情報を算出し、
算出された前記移動情報に基づいて、前記第２の位置情報と既に取得された前記表示情報とに基づき、前記第２の表示画像を前記表示部に表示させるか否かを判定する
ことを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記移動情報は、前記撮像部の移動距離または移動角度であることを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記表示制御部は、加速度センサの出力を用いて前記移動情報を算出することを特徴とする請求項３または４に記載の情報処理装置。
【請求項６】
前記表示制御部は、前記移動情報が、予め定められた第１の閾値を超えた場合、前記表示画像を表示させない
ことを特徴とする請求項３乃至５のいずれか一項に記載の情報処理装置。
【請求項７】
前記表示制御部は、前記移動情報が、第１の閾値よりも小さい第２の閾値を超えた場合、前記表示画像を変更する表示画像変更部を更に備える
ことを特徴とする請求項３乃至６のいずれか一項に記載の情報処理装置。
【請求項８】
前記対象物は、Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙマーカーである
ことを特徴とする請求項１乃至７のいずれか一項に記載の情報処理装置。
【請求項９】
表示情報に関連付けられた識別情報に基づいて取得した第１の位置情報と前記表示情報とに基づき、第１の表示画像を表示部に表示させる情報処理システムにおいて、
撮像部と前記表示部を有する表示装置と、
前記識別情報に関連付けられた前記表示情報が格納される記憶装置と
前記撮像部によって撮像された撮像画像を取得する画像取得部と、前記撮像画像に含まれる対象物から前記識別情報を抽出する識別情報抽出部と、前記識別情報抽出部によって前記識別情報が抽出された場合に、前記識別情報に関連付けられた前記表示情報を前記記憶装置から取得する表示情報取得部と、前記識別情報抽出部によって、前記識別情報が抽出された後に取得した前記撮像画像から前記識別情報が抽出されなかった場合に、第２の位置情報と前記表示情報取得部によって取得された前記表示情報とに基づき、第２の表示画像を前記表示部に表示させる表示制御部とを有する情報処理装置と
を備えることを特徴とする情報処理システム。
【請求項１０】
表示情報に関連付けられた識別情報に基づいて取得した第１の位置情報と前記表示情報とに基づき、第１の表示画像を表示部に表示させる情報処理方法において、
撮像部によって撮像された撮像画像を取得し、
前記撮像画像に含まれる対象物から前記識別情報を抽出し、
前記識別情報が抽出された場合に、前記識別情報に関連付けられた前記表示情報を取得し、
前記識別情報が抽出された後に取得した前記撮像画像から前記識別情報が抽出されなかった場合に、第２の位置情報と前記表示情報取得部によって取得された前記表示情報とに基づき、第２の表示画像を前記表示部に表示させる
ことを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、情報処理システムおよび情報処理方法に関する。
【背景技術】
【０００２】
近年、拡張現実感（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ；ＡＲ）技術を用いたシステムが、工場、展示会、美術館など、様々な現場で利用されている。ＡＲ技術は、現実の画像情報にＡＲ表示情報を重ね合わせて表示する技術である。
【０００３】
例えば、工場などでの現場作業を支援する現場作業支援システムとして、ＡＲ技術を利用することが提案されている。現場作業支援システムでは、ＡＲ技術を用いて、現場作業に有用な情報を作業者に提供することにより、現場作業を支援する。
【０００４】
現場作業支援システムでは、操作対象物に設置されたＡＲマーカーを撮像して画像認識することによりＩＤを取得する。当該システムでは、取得したＩＤの情報を基に、作業内容・手順などのＡＲ表示情報を取得し、操作対象物の撮像画像に重ね合わせて表示する。例えば、保守員にはマニュアルを、点検員には計測データの入力フィールドを表示させるなど、操作対象物に応じた情報を利用することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−５１７１１号公報
【特許文献２】特開２０１２−６８９８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
現場作業支援システムは、ＡＲマーカーを撮像するカメラなどの撮像部、ＩＤと関連付けられたＡＲ表示情報を格納するデータベース、ＡＲマーカーから抽出したＩＤから、関連付けられたＡＲ表示情報をデータベースから取得し表示画像を生成する情報処理部、生成された表示画像を表示する表示部を有している。
【０００７】
現場作業支援システムで表示されるＡＲ表示情報は、ＡＲマーカーに関連づけて規定された位置情報を基に表示位置が決定され、表示画像が生成される。例えば、ＡＲマーカーからＡＲマーカー複数個分の距離に配置することが規定され、撮像されたＡＲマーカーの位置から規定された距離離れた位置に配置された表示画像が生成される。
【０００８】
このため、ＡＲ表示情報が含まれる表示画像は、ＡＲマーカーが撮像されている間のみ表示される。
【０００９】
しかしながら、ＡＲ表示情報が含まれる表示画像を表示し続けることが望ましい場合がある。特に、ユーザが操作対象物の作業範囲にいる場合で、操作対象物の方向を向いていない場合である。ユーザは、操作対象物の作業範囲にいるため、ＡＲ表示情報が含まれる表示画像の情報を必要としているが、操作対象物の方向を向いていない場合、つまり、撮像部がＡＲマーカーを撮像していない場合は、ＡＲ表示情報が含まれる表示画像が表示されないため、ＡＲ表示情報を利用することができない。
【００１０】
本発明は、上記の問題点を鑑みたものであり、ユーザが必要とするＡＲ表示情報を表示する情報処理装置、情報処理システムおよび情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
開示の技術の一観点によれば、表示情報に関連付けられた識別情報に基づいて取得した第１の位置情報と前記表示情報とに基づき、第１の表示画像を表示部に表示させる情報処理装置において、撮像部によって撮像された撮像画像を取得する画像取得部と、前記撮像画像に含まれる対象物から前記識別情報を抽出する識別情報抽出部と、前記識別情報抽出部によって前記識別情報が抽出された場合に、前記識別情報に関連付けられた前記表示情報を取得する表示情報取得部と、前記識別情報抽出部によって、前記識別情報が抽出された後に取得した前記撮像画像から前記識別情報が抽出されなかった場合に、第２の位置情報と前記表示情報取得部によって取得された前記表示情報とに基づき、第２の表示画像を前記表示部に表示させる表示制御部とを備えることを特徴とする情報処理装置が提供される。
【発明の効果】
【００１２】
開示の技術の一観点によれば、ユーザが必要とするＡＲ表示情報を表示する情報処理装置、情報処理システムおよび情報処理方法を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、第１の実施形態に係る情報処理システムのハードウェア構成の概略図である。
【図２】図２は、第１の実施形態に係る情報処理システムの機能ブロック図である。
【図３】図３は、第１の実施形態に係る情報処理システムで用いられるＡＲマーカーが有する情報を示す図である。
【図４】図４は、第１の実施形態に係る情報処理システムで用いられるＡＲマーカーに関連付けられたＡＲ表示情報の定義情報を示す図である。
【図５Ａ】図５Ａは、第１の実施形態に係る情報処理システムで用いられるヘッドマウントディスプレイ１００に表示される画面の遷移図である。
【図５Ｂ】図５Ｂは、第１の実施形態に係る情報処理システムで用いられるヘッドマウントディスプレイ１００に表示される画面の遷移図である。
【図５Ｃ】図５Ｃは、第１の実施形態に係る情報処理システムで用いられるヘッドマウントディスプレイ１００に表示される画面の遷移図である。
【図６】図６は、第１の実施形態に係るヘッドマウントディスプレイ１００の処理のフローチャートの一例である。
【図７】図７は、第１の実施形態に係るスマートフォン２００の処理のフローチャートの一例である。
【図８】図８は、第２の実施形態に係るヘッドマウントディスプレイ１００の処理のフローチャートの一例である。
【図９】図９は、検出された加速度情報を示す図である。
【図１０】図１０は、第２の実施形態に係るスマートフォン２００の処理のフローチャートの一例である。
【発明を実施するための形態】
【００１４】
以下に、情報処理装置、情報処理システムおよび情報処理方法の実施例を図面に基づいて詳細に説明する。なお、この実施例は、開示の技術を限定するものではない。
【００１５】
（第１の実施形態）
図１は、第１の実施形態に係る情報処理システムのハードウェア構成の概略図である。第１の実施形態では、情報処理装置として、スマートフォンを用い、表示装置として、ヘッドマウントディスプレイを用い、記憶装置として、サーバ装置を用いて説明する。情報処理装置、表示装置および記憶装置は、スマートフォンとヘッドマウントディスプレイとサーバ装置の組み合わせに限定されない。情報処理装置として、タブレットコンピュータ等を用いてもよい。また、情報処理装置として、情報処理装置、表示装置および記憶装置が一体の装置であってもよい。
【００１６】
［ヘッドマウントディスプレイのハードウェア構成］
図１に示すように、ヘッドマウントディスプレイ１００は、ハードウェアの構成要素として、アンテナ１０に接続される無線通信回路１１と、ＣＰＵ１２と、ＲＯＭ１３と、ＲＡＭ１４と、カメラ１５と、画面を表示するディスプレイ１６と、加速度センサ１７とを有する。これらのハードウェアモジュール（ハードウェアの構成要素）は、例えば、バスにより相互接続される。
【００１７】
ＣＰＵ１２は、ＲＯＭ１３に格納された各種プログラムを読み出して、各種プログラムを実行することで、後述する情報処理を行う制御部１０２として動作する。ＲＯＭ１３は、ＣＰＵ１２により実行される各種プログラムを格納する。各種プログラムとしては、例えば、ヘッドマウントディスプレイ１００が実行するアプリケーションプログラムやＯＳ（Ｏｐｅｒａｔｉｏｎ  Ｓｙｓｔｅｍ）などがあり、これらはヘッドマウントディスプレイ１００の電源が切れてもＲＯＭ１３に保持される。ＲＡＭ１４は、ＣＰＵ１２が、ＲＯＭ１３内のＯＳなどのデータを展開する記憶領域として用いられる。
【００１８】
カメラ１５は、ユーザがヘッドマウントディスプレイ１００を装着した状態で、ユーザの目線に対応した位置に設けられ、操作対象物を撮像する。
【００１９】
ヘッドマウントディスプレイ１００のディスプレイ１６は、透過性を有する。ディスプレイ１６には、ＡＲ表示情報を含む表示画像が表示される。ユーザは、ディスプレイ１６に表示された表示画像を視認しつつ、透過性を有するディスプレイ１６を通して操作対象物などの周囲の様子を視認することができる。
【００２０】
加速度センサ１７は、ヘッドマウントディスプレイ１００が移動する際の加速度を検出する。加速度センサ１７は、第１の実施形態においては必須ではない。
【００２１】
［スマートフォンのハードウェア構成］
スマートフォン２００は、ハードウェアの構成要素として、アンテナ２０に接続される無線通信回路２１と、ＣＰＵ２２と、ＲＯＭ２３と、ＲＡＭ２４とを有する。これらのハードウェアモジュール（ハードウェアの構成要素）は、例えば、バスにより相互接続される。
【００２２】
ＣＰＵ２２は、ＲＯＭ２３に格納された各種プログラムを読み出して、各種プログラムを実行することで、後述する画像取得部２０２、識別情報抽出部２０３、表示情報取得部２０４、表示制御部２０５として動作する。ＲＯＭ２３は、ＣＰＵ２２により実行される各種プログラムを格納する。各種プログラムとしては、例えば、スマートフォン２００が実行するアプリケーションプログラムやＯＳ（Ｏｐｅｒａｔｉｏｎ  Ｓｙｓｔｅｍ）などがあり、これらはスマートフォン２００の電源が切れてもＲＯＭ２３に保持される。ＲＡＭ２４は、ＣＰＵ２２が、ＲＯＭ２３内のＯＳなどのデータを展開する記憶領域として用いられる。
【００２３】
［サーバ装置のハードウェア構成］
サーバ装置３００は、ハードウェアの構成要素として、アンテナ３０に接続される無線通信回路３１と、ＣＰＵ３２と、ＲＯＭ３３と、ＲＡＭ３４とを有する。これらのハードウェアモジュール（ハードウェアの構成要素）は、例えば、バスにより相互接続される。
【００２４】
無線通信回路１１、２１および３１は、外部装置と通信するための手段である。無線通信部は、本実施形態においては、移動通信網等のネットワークに接続するための手段である。サーバ装置３００の通信手段としては、無線通信ではなく、イーサネット（登録商標）に有線接続されてもよい。
【００２５】
ＣＰＵ３２は、ＲＯＭ３３に格納された各種プログラムを読み出して、各種プログラムを実行することで、後述する情報処理を行う制御部３０２として動作する。ＲＯＭ３３は、ＣＰＵ３２により実行される各種プログラムやデータを格納する。各種プログラムとしては、例えば、サーバ装置３００が実行するアプリケーションプログラムやＯＳ（Ｏｐｅｒａｔｉｏｎ  Ｓｙｓｔｅｍ）などがある。ＲＯＭ３３は、ＡＲマーカーに付与された識別情報に対応するＡＲ表示情報およびＡＲ表示情報の定義情報を格納するデータベースを記憶する。データベースについては、後述する。ＲＡＭ３４は、ＣＰＵ３２が、ＲＯＭ３３内のＯＳなどのデータを展開する記憶領域として用いられる。
【００２６】
次に、第１の実施形態に係る情報処理システムの機能ブロックについて説明する。図２は、第１の実施形態に係る情報処理システムの機能ブロック図である。
【００２７】
［ヘッドマウントディスプレイの機能ブロック］
図２に示すように、ヘッドマウントディスプレイ１００は、以下の機能ブロックを有する。ヘッドマウントディスプレイ１００は、無線通信回路１１を用いてスマートフォン２００と無線通信を行う無線通信部１０１と、ＣＰＵ１２がＲＯＭ１３に格納された各種プログラムを実行することで、後述する制御を行う制御部１０２と、ＲＯＭ１３を用いて各種プログラム、撮像画像データを格納する記憶部１０３と、カメラ１５を用いて操作対象物を撮像する撮像部１０５と、ディスプレイ１６に表示画像を表示する表示部１０６と、加速度センサ１７を用いてヘッドマウントディスプレイ１００の移動の加速度を検出する加速度検出部１０７とを有する。撮像部１０５は、連続的に撮像を行う。
【００２８】
加速度検出部１０７は、第１の実施形態においては必須ではない。
【００２９】
［スマートフォンの機能ブロック］
図２に示すように、スマートフォン２００は、以下の機能ブロックを有する。スマートフォン２００は、無線通信回路２１を用いてヘッドマウントディスプレイ１００、サーバ装置３００と無線通信を行う無線通信部２０１と、ＣＰＵ２２がＲＯＭ２３に格納された各種プログラムを実行することで、後述する制御を行う画像取得部２０２、識別情報抽出部２０３、表示情報取得部２０４、表示制御部２０５と、ＲＯＭ２３を用いて各種プログラム、取得した撮像画像、ＡＲ表示情報およびＡＲ表示情報の定義情報を格納する記憶部２０６とを有する。
【００３０】
［サーバ装置の機能ブロック］
図２に示すように、サーバ装置３００は、以下の機能ブロックを有する。サーバ装置３００は、無線通信回路３１を用いて、スマートフォン２００と無線通信を行う無線通信部３０１と、ＣＰＵ３２がＲＯＭ３３に格納された各種プログラムを実行することで、後述する制御を行う制御部３０２と、ＲＯＭ３３を用いて各種プログラム、ＡＲマーカーに付与された識別情報に対応するＡＲ表示情報およびＡＲ表示情報の定義情報を格納するデータベースを記憶するＤＢ（データベース）３０３とを有する。
【００３１】
［情報処理方法］
第１の実施形態に係る情報処理システムでは、撮像部と表示部を有する表示装置であるヘッドマウントディスプレイ１００と、ＡＲマーカーから抽出される識別情報に関連付けられたＡＲ表示情報の定義テーブルを格納する記憶装置であるサーバ装置３００と、情報処理装置であるスマートフォン２００を用いる。
【００３２】
スマートフォン２００の画像取得部２０２は、ヘッドマウントディスプレイ１００の撮像部１０５によって撮像された撮像画像を取得する。識別情報抽出部２０３は、撮像画像に含まれるＡＲマーカーから識別情報を抽出する。
【００３３】
識別情報抽出部２０３は、ＡＲマーカーが含まれる撮像画像からパターンマッチング手法等によって、ＡＲマーカーを特定し、ＡＲマーカー内の模様を解析してマーカーＩＤなどの識別情報を取得する。識別情報抽出部２０３は、ＡＲマーカーの枠の大きさ、ゆがみからヘッドマウントディスプレイ１００とＡＲマーカーとの位置関係を解析する。パターンマッチング手法は、撮像画像内に特定の図形パターンが含まれるか、またどの位置に特定の図形パターンがあるかを特定し、特定された図形パターンを用いて識別情報を抽出する手法である。
【００３４】
表示情報取得部２０４は、識別情報抽出部２０３によって識別情報が抽出された場合に、識別情報と関連付けられたＡＲ表示情報をサーバ装置３００から取得する。
【００３５】
表示制御部２０５は、サーバ装置３００から取得した第１の位置情報であるＡＲ表示情報を配置する位置を示す配置情報を基に、ＡＲ表示情報を含む表示画像をヘッドマウントディスプレイ１００に表示させる。また、表示制御部２０５は、識別情報抽出部２０３によって、一度識別情報が抽出された後に、再度取得した撮像画像にＡＲマーカーが含まれない場合、識別情報が抽出されない。表示制御部２０５は、一度識別情報が抽出された後に取得した撮像画像のいずれかから識別情報が抽出されなかった場合に、前回取得してヘッドマウントディスプレイ１００に表示させたＡＲ表示情報を、第２の位置情報に基づき、ヘッドマウントディスプレイ１００に表示させる。
【００３６】
ここで、第２の位置情報は、ＡＲ表示情報がヘッドマウントディスプレイ１００の表示部内の所定の位置に表示されるような位置情報である。
【００３７】
スマートフォン２００などのスマートデバイスをＡＲマーカーにかざすことで、画像認識し取得したＡＲマーカーのＩＤなどの情報を基に、作業内容・手順などの状況に応じたコンテンツであるＡＲ表示情報を取得することができる。例えば、保守員にはマニュアルを、点検員には計測データの入力フィールドを表示させるなど、現場業務の状況に応じた情報を利用することができる。さらに、本件の情報処理システムを用いることによって、ＡＲマーカーが撮像範囲から外れてしまった場合でも、表示画面内に表示され続けるため、ユーザが作業等に必要とするＡＲ表示情報を継続して利用することができる。
【００３８】
また、サーバ装置３００にて表示するコンテンツや業務情報を一元管理することで、同じＡＲマーカーでも作業内容や利用するユーザに応じて表示するコンテンツを切り替えることもできる。コンテンツをスマートフォン上にキャッシュすることで、作業現場がオフライン環境でも必要な情報を取得することができる。
【００３９】
ここで、第１の実施形態に係る情報処理システムの処理フローを具体的に説明する。まず、図３、図４において、第１の実施形態に係る情報処理システムで用いられるＡＲマーカーが有する情報と、ＡＲマーカーに関連付けられたＡＲ表示情報の定義情報について説明する。図５Ａ、Ｂ、Ｃに、第１の実施形態に係る情報処理システムを用いた場合の、ヘッドマウントディスプレイ１００に表示される画面の遷移を示す。そして、図６において、第１の実施形態に係る情報処理システムの処理フローを説明する。
【００４０】
図３は、第１の実施形態に係る情報処理システムで用いられるＡＲマーカーが有する情報を示す図である。
【００４１】
ＡＲマーカーは、ＡＲ表示情報に関連付けられた識別情報が抽出される対象物として用いられる。ＡＲマーカーは、特定の図形パターンを有する２次元のコードである。ここでは、バルブ装置５００に配置される。ＡＲマーカーは、特定の形の図形を認識することによって識別情報が抽出されるマーカー型と呼ばれるものである。識別情報が抽出される対象物として、特定の図形ではなく、現実の環境に実在する物体や空間そのものを認識することによって識別情報が抽出されるマーカーレス型の対象物を用いてもよい。マーカーレス型の対象物は、操作対象物であるバルブ装置５００であってもよい。この場合、予めバルブ装置５００を撮像した画像から抽出したバルブ装置５００の特徴情報を識別情報として格納しておき、撮像された画像から抽出された特徴情報と予め格納された特徴情報と比較することにより、バルブ装置５００が撮像された画像内に存在するか否か判定し、格納された識別情報にもとづきＡＲ表示情報を取得する。
【００４２】
図３に示すように、ＡＲマーカーは、ＩＤ情報、ＡＲ表示情報の名前、ＡＲマーカーの設置場所、ＡＲマーカーが登録された日時等の情報を有する。スマートフォン２００は、これらの情報をＡＲマーカーから抽出し、サーバ装置からＡＲ表示情報を取得する。
【００４３】
図４は、第１の実施形態に係る情報処理システムで用いられるＡＲマーカーに関連付けられたＡＲ表示情報の定義情報を示す。
【００４４】
ＡＲ表示情報の定義情報とは、ＡＲ表示情報を重畳表示するためにＡＲマーカーに予め関係づけられた情報のことである。定義情報には、ＡＲマーカーのＩＤに対し、ＡＲ表示情報の名前、ＡＲ表示情報を表示画像のどの位置に配置するかの配置情報、マニュアル表示、前回の点検結果などのコンテンツを示す情報を含む。配置情報は、ＡＲマーカーの所定の点を基準として、Ｘ、Ｙ、Ｚ方向に対してどれくらい離間した位置に配置するかを示す情報である。ＡＲマーカーに対し、どのＡＲ表示情報をどれくらいの大きさ、角度で表示するかなどの情報が定義されてもよい。また、ＡＲマーカーが撮像範囲から外れても表示をし続けるか否かの情報を予め設定して、第２の位置情報に基づいて表示を行うか否かの判定に用いてもよい。
【００４５】
図５Ａ、Ｂ、Ｃは、第１の実施形態に係る情報処理システムで用いられるヘッドマウントディスプレイ１００に表示される画面の遷移図である。
【００４６】
図５Ａは、ＡＲマーカー４００が設置された操作対象物であるバルブを有するバルブ装置５００と、当該装置を撮像したヘッドマウントディスプレイ１００のディスプレイ１６を示す。
【００４７】
スマートフォン２００の画像取得部２０２は、ヘッドマウントディスプレイ１００の撮像部１０５によって撮像された撮像画像を取得する。識別情報抽出部２０３は、撮像画像に含まれるＡＲマーカー４００から識別情報を抽出する。表示情報取得部２０４は、識別情報抽出部２０３によって識別情報が抽出された場合に、識別情報と関連付けられたＡＲ表示情報６００をサーバ装置３００から取得する。
【００４８】
表示制御部２０５は、サーバ装置３００から取得した第１の位置情報であるＡＲ表示情報６００を配置する位置を示す配置情報を基に、ＡＲ表示情報６００を含む表示画像をヘッドマウントディスプレイ１００のディスプレイ１６に表示させる。
【００４９】
図中の点線の矢印Ａは、図４に示す定義情報に基づく、ＡＲマーカー４００からＡＲ表示情報６００までの距離を示す。
【００５０】
図５Ｂは、図５Ａの状態から、ユーザが操作対象物であるバルブ装置５００に対して、右に移動した際のディスプレイ１６の表示画面を示す。
【００５１】
ヘッドマウントディスプレイ１００は、カメラ１５のフレームレートなどの所定間隔で撮像する。スマートフォン２００の画像取得部２０２は、ヘッドマウントディスプレイ１００の撮像部１０５によって撮像された撮像画像を再度取得する。識別情報抽出部２０３は、撮像画像に含まれるＡＲマーカー４００から識別情報を抽出する。表示情報取得部２０４は、識別情報抽出部２０３によって識別情報が抽出された場合に、識別情報と関連付けられたＡＲ表示情報６００をサーバ装置３００から取得する。
【００５２】
表示制御部２０５は、サーバ装置３００から取得した第１の位置情報であるＡＲ表示情報６００を配置する位置を示す配置情報を基に、ＡＲ表示情報６００を含む表示画像をヘッドマウントディスプレイ１００のディスプレイ１６に表示させる。
【００５３】
図５Ｃは、図５Ａ、Ｂの状態から、ユーザが操作対象物であるバルブ装置５００に対して、さらに右に移動した際のディスプレイ１６の表示画面を示す。
【００５４】
スマートフォン２００の表示制御部２０５は、識別情報抽出部２０３によって、一度識別情報が抽出された後に、再度取得した撮像画像にＡＲマーカー４００が含まれない場合、識別情報が抽出されない。表示制御部２０５は、識別情報が抽出されなかった場合に、前回取得してヘッドマウントディスプレイ１００に表示させたＡＲ表示情報６００を、第２の位置情報に基づき、ヘッドマウントディスプレイ１００に表示させる。
【００５５】
図中の点線の矢印Ｂは、第２の位置情報に基づく、ＡＲマーカー４００からＡＲ表示情報６００までの距離を示す。第２の位置情報は、ＡＲ表示情報６００がヘッドマウントディスプレイ１００の表示部内の所定の位置に表示されるような位置情報である。
【００５６】
第２の位置情報は、最後にＡＲマーカー４００を取得した際に、ＡＲ表示情報６００が表示された位置を用いてもよいし、表示画面の右寄り、左寄りなど、ユーザが現実の画像を見る際の視認性を確保する位置に表示するよう予め定められてもよい。ＡＲマーカー４００に対し、どのＡＲ表示情報６００をどれくらいの大きさ、角度で表示するかなどの定義情報から、その都度第２の位置情報を決定してもよい。
【００５７】
このように、本件の情報処理システムを用いると、ＡＲマーカーが撮像範囲から外れてしまった場合でも、表示画面内に表示され続けるため、ユーザが作業等に必要とするＡＲ表示情報を継続して利用することができる。
【００５８】
次に、図６、図７を用いて、第１の実施形態に係る情報処理システムの処理フローを説明する。図６は、第１の実施形態に係るヘッドマウントディスプレイ１００の処理のフローチャートの一例である。
【００５９】
ユーザは、操作対象物であるバルブ装置５００を操作する作業を行う際、ヘッドマウントディスプレイ１００を装着して作業を行う。ヘッドマウントディスプレイ１００は頭部に装着される表示装置である。ヘッドマウントディスプレイ１００は、両眼または単眼の眼鏡タイプがある。また、ヘッドマウントディスプレイ１００には、外の様子を視認しつつ、投影されたＡＲ表示画像を視認できる透過型や外の様子を直接視認することはできないが、実際の画像とＡＲ表示情報を重畳して表示することにより、外の様子を確認できる非透過型の装置がある。なお、本件は、ヘッドマウントディスプレイに限定されるものではなく、カメラを搭載したタブレットコンピュータやスマートフォンなどでもよい。
【００６０】
ヘッドマウントディスプレイ１００の制御部１０２は、カメラ１５を用いた撮像部１０５によって撮像された撮像画像を取得する（Ｓ１０１）。制御部１０２は、撮像画像をスマートフォン２００へ送信し（Ｓ１０２）、ディスプレイ１６に表示させる表示画像をスマートフォン２００から受信するまで待機する（Ｓ１０３）。
【００６１】
制御部１０２は、スマートフォン２００から送信された表示画像を無線通信部１０１を介して受信し（Ｓ１０４）、受信した表示画像を表示部１０６に表示させる（Ｓ１０５）。
【００６２】
スマートフォン２００から受信する表示画像には、ＡＲ表示情報およびＡＲ表示情報の定義情報に基づいて生成された表示画像、または、ＡＲ表示情報を含まない表示画像である。ＡＲ表示情報を含まない表示画像は、撮像画像そのままの表示画像である。透過型のヘッドマウントディスプレイを用いる場合は、ＡＲ表示情報を含まない表示画像自体が受信されず、そのまま外の様子を視認することとする。
【００６３】
ヘッドマウントディスプレイ１００がＡＲ表示情報を含む表示画像を受信した場合は、図５Ａ、Ｂ、Ｃのディスプレイ１６内に示したような表示がなされる。
【００６４】
図７は、第１の実施形態に係るスマートフォン２００の処理のフローチャートの一例である。
【００６５】
スマートフォン２００の画像取得部２０２は、無線通信部２０１を介してヘッドマウントディスプレイ１００から送信された撮像画像を取得する（Ｓ２０１）。
【００６６】
識別情報抽出部２０３は、画像取得部２０２によって取得された撮像画像から、図３に示したＡＲマーカーのＩＤなどの識別情報を抽出する（Ｓ２０２）。撮像画像内にＡＲマーカーが含まれる場合、ＡＲマーカーの識別情報が抽出される（Ｓ２０２；Ｙｅｓ）。
【００６７】
表示情報取得部２０４は、識別情報抽出部２０３によって識別情報が抽出された場合に、無線通信部２０１を介して識別情報をサーバ装置３００へ送信し、サーバ装置３００のＤＢ３０３に格納される識別情報に関連付けられたＡＲ表示情報およびＡＲ表示情報の定義情報をサーバ装置３００から受信し取得する（Ｓ２０３）。ここで、サーバ装置３００の制御部３０２は、無線通信部３０１を介して受信した識別情報に基づき、ＤＢ３０３内のＡＲ表示情報およびＡＲ表示情報の定義情報をスマートフォン２００へ送信する（図示せず）。ＡＲ表示情報は、マニュアル表示、前回の点検結果などのコンテンツであり、ＡＲ表示情報の定義情報は、ＡＲマーカーのＩＤに対し、ＡＲ表示情報の名前、ＡＲ表示情報を表示画像のどの位置に配置するかの配置情報、コンテンツをＡＲ表示情報として表示するかを示す情報を含む。
【００６８】
ここで、表示制御部２０５は、取得したＡＲ表示情報を用いて、ヘッドマウントディスプレイ１００に表示させる表示画像を生成する（Ｓ２０４）。表示制御部２０５は、ＡＲ表示情報の定義情報の配置情報に基づいて、ＡＲ表示情報であるコンテンツを表示画像内に配置する。配置情報は、ＡＲマーカーの所定の点を基準として、Ｘ、Ｙ、Ｚ方向に対してどれくらい離間した位置に配置するかを示す情報である。
【００６９】
表示制御部２０５は、生成した表示画像を、無線通信部２０１を介してヘッドマウントディスプレイ１００へ送信し（Ｓ２０５）、画像取得部２０２は、再度撮像画像を取得するのを待機する。
【００７０】
一方、識別情報抽出部２０３によって識別情報が抽出されなかった場合（Ｓ２０２；Ｎｏ）、表示制御部２０５は、既に取得したＡＲ表示情報があるか否かを判定する（Ｓ２０６）。
【００７１】
ＡＲ表示情報があると判定された場合（Ｓ２０６；Ｙｅｓ）、表示制御部２０５は、前回取得してヘッドマウントディスプレイ１００に表示させたＡＲ表示情報を、第２の位置情報に基づき、ヘッドマウントディスプレイに送信する表示画像を生成する（Ｓ２０７）。第２の位置情報は、ＡＲ表示情報がヘッドマウントディスプレイ１００の表示部内の所定の位置に表示されるような位置情報である。第２の位置情報は、最後にＡＲマーカーを取得した際に、ＡＲ表示情報が表示された位置を用いてもよいし、表示画面の右寄り、左寄りなど、ユーザが現実の画像を見る際の視認性を確保する位置に表示するよう予め定められてもよい。ＡＲマーカーに対し、どのＡＲ表示情報をどれくらいの大きさ、角度で表示するかなどの定義情報から、その都度第２の位置情報を決定してもよい。
【００７２】
表示制御部２０５は、生成した表示画像を無線通信部２０１を介してヘッドマウントディスプレイ１００へ送信し（Ｓ２０５）、画像取得部２０２は、再度撮像画像を取得するのを待機する。
【００７３】
また、ＡＲ表示情報がないと判定された場合（Ｓ２０６；Ｎｏ）、表示制御部２０５は、取得した撮像画像を出力し（Ｓ２０８）、無線通信部２０１を介してヘッドマウントディスプレイ１００へ送信する（Ｓ２０５）。この撮像画像は、ＡＲ表示情報を含まない表示画像である。ヘッドマウントディスプレイ１００に、透過型のヘッドマウントディスプレイを用いる場合は、撮像画像を送信せず、表示画像受信の待機を解除する指示を送信し、ヘッドマウントディスプレイ１００に表示画像を表示させない構成としてもよい。この場合、ヘッドマウントディスプレイ１００では、表示画像が受信されず、表示画像受信の待機を解除し、再び撮像画像を取得する。
【００７４】
このように、本件の情報処理システムを用いると、ＡＲマーカーが撮像範囲から外れてしまった場合でも、表示画面内に表示され続けるため、ユーザが作業等に必要とするＡＲ表示情報を継続して利用することができる。
【００７５】
（第２の実施形態）
第２の実施形態に係る情報処理システムについて説明する。第２の実施形態に係る情報処理システムのハードウェア構成、機能ブロックは図１、図２に示したものと同様である。
【００７６】
第２の実施形態では、ユーザが操作対象物に対して作業する範囲内でＡＲ表示情報の表示を維持し続け、作業範囲外へ移動したと判定された場合は、ＡＲ表示情報の表示を解除することにより、ユーザが必要とする作業範囲内でＡＲ表示情報を表示し、不要な場合にはヘッドマウントディスプレイ１００を装着した際の視認性を向上させるものである。
【００７７】
図８、図９、図１０を用いて、第２の実施形態に係る情報処理システムの処理フローを説明する。図８は、第２の実施形態に係るヘッドマウントディスプレイ１００の処理のフローチャートの一例である。
【００７８】
ヘッドマウントディスプレイ１００の制御部１０２は、カメラ１５を用いた撮像部１０５によって撮像された撮像画像を取得する（Ｓ１１１）。制御部１０２は、加速度センサ１７を用いた加速度検出部１０７から加速度情報を取得する（Ｓ１１２）。加速度情報については、図９に示す。制御部１０２は、撮像画像をスマートフォン２００へ送信し（Ｓ１１３）、加速度情報をスマートフォン２００へ送信する（Ｓ１１４）。制御部１０２は、ディスプレイ１６に表示させる表示画像をスマートフォン２００から受信するまで待機する（Ｓ１１５）。
【００７９】
制御部１０２は、スマートフォン２００から送信された表示画像を無線通信部１０１を介して受信し（Ｓ１１６）、受信した表示画像を表示部１０６に表示させる（Ｓ１１７）。
【００８０】
図９は、検出された加速度情報を示す図である。本実施例の加速度センサ１７では、０．２秒毎に加速度を検出している。加速度センサ１７が受ける加速度は、Ｘ軸、Ｙ軸、Ｚ軸方向に分類される。Ｘ軸の数値は、ヘッドマウントディスプレイ１００の右側から受ける加速度を示し、Ｙ軸の数値は、上側から受ける加速度を示し、Ｚ軸の数値は、正面から受ける加速度（ｍ／ｓ２）を示している。図９に示した加速度情報には、検出された時間（ｔｉｍｅ）、Ｘ軸、Ｙ軸、Ｚ軸において受けた加速度を示している。
【００８１】
図１０は、第２の実施形態に係るスマートフォン２００の処理のフローチャートの一例である。
【００８２】
スマートフォン２００の画像取得部２０２は、無線通信部２０１を介してヘッドマウントディスプレイ１００から送信された撮像画像、加速度情報を取得する（Ｓ２１１）。
【００８３】
識別情報抽出部２０３は、画像取得部２０２によって取得された撮像画像から、図３に示したＡＲマーカーのＩＤなどの識別情報を抽出する（Ｓ２１２）。撮像画像内にＡＲマーカーが含まれる場合、ＡＲマーカーの識別情報が抽出される（Ｓ２１２；Ｙｅｓ）。
【００８４】
表示情報取得部２０４は、識別情報抽出部２０３によって識別情報が抽出された場合に、無線通信部２０１を介して識別情報をサーバ装置３００へ送信し、サーバ装置３００のＤＢ３０３に格納される識別情報に関連付けられたＡＲ表示情報およびＡＲ表示情報の定義情報をサーバ装置３００から受信し取得する（Ｓ２１３）。ここで、サーバ装置３００の制御部３０２は、無線通信部３０１を介して受信した識別情報に基づき、ＤＢ３０３内のＡＲ表示情報およびＡＲ表示情報の定義情報をスマートフォン２００へ送信する（図示せず）。ＡＲ表示情報は、マニュアル表示、前回の点検結果などのコンテンツであり、ＡＲ表示情報の定義情報は、ＡＲマーカーのＩＤに対し、ＡＲ表示情報の名前、ＡＲ表示情報を表示画像のどの位置に配置するかの配置情報、コンテンツをＡＲ表示情報として表示するかを示す情報を含む。
【００８５】
ここで、表示制御部２０５は、取得したＡＲ表示情報を用いて、ヘッドマウントディスプレイ１００に表示させる表示画像を生成する（Ｓ２１４）。表示制御部２０５は、ＡＲ表示情報の定義情報の配置情報に基づいて、ＡＲ表示情報であるコンテンツを表示画像内に配置する。配置情報は、ＡＲマーカーの所定の点を基準として、Ｘ、Ｙ、Ｚ方向に対してどれくらい離間した位置に配置するかを示す情報である。
【００８６】
表示制御部２０５は、生成した表示画像を、無線通信部２０１を介してヘッドマウントディスプレイ１００へ送信し（Ｓ２１５）、画像取得部２０２は、再度撮像画像を取得するのを待機する。
【００８７】
一方、識別情報抽出部２０３によって識別情報が抽出されなかった場合（Ｓ２１２；Ｎｏ）、表示制御部２０５は、既に取得したＡＲ表示情報があるか否かを判定する（Ｓ２１６）。
【００８８】
ＡＲ表示情報があると判定された場合（Ｓ２１６；Ｙｅｓ）、
表示制御部２０５は、取得した加速度情報を用いて、ヘッドマウントディスプレイ１００が移動した距離を算出する（Ｓ２１７）。最後に識別情報が抽出できたタイミングから、ヘッドマウントディスプレイ１００が移動した距離を得るため、表示制御部２０５は、最後に識別情報が抽出できたタイミングから、取得し続けた加速度を二重積分してそれらの和を計算することにより移動距離を算出する。
【００８９】
次に、表示制御部２０５は、算出された移動情報である移動距離が予め設定した距離の閾値と比較して、閾値より小さいか否か判定する（Ｓ２１８）。
【００９０】
表示制御部２０５は、取得した加速度情報を用いて、ヘッドマウントディスプレイ１００が移動した角度を算出して、閾値と比較してもよい。表示制御部２０５は、ヘッドマウントディスプレイ１００の移動距離または移動角度などの移動情報と、予め設定した距離とを比較することにより、ＡＲ表示情報６００を用いて表示画像を生成するか否かを判定する。
【００９１】
距離の閾値は、ユーザが作業する際に、同一の対象物に対して作業を行っている間に移動する距離を予め想定し設定される。
【００９２】
算出された移動情報である移動距離が予め設定した距離の閾値と比較して、閾値より小さいと判定された場合（Ｓ２１８；Ｙｅｓ）、表示制御部２０５は、前回取得してヘッドマウントディスプレイ１００に表示させたＡＲ表示情報を、第２の位置情報に基づき、ヘッドマウントディスプレイ１００に送信する表示画像を生成する（Ｓ２１９）。第２の位置情報は、表示情報がヘッドマウントディスプレイ１００の表示部内の所定の位置に表示されるような位置情報である。第２の位置情報は、最後にＡＲマーカーを取得した際に、ＡＲ表示情報が表示された位置を用いてもよいし、表示画面の右寄り、左寄りなど、ユーザが現実の画像を見る際の視認性を確保する位置に表示するよう予め定められてもよい。ＡＲマーカーに対し、どのＡＲ表示情報をどれくらいの大きさ、角度で表示するかなどの定義情報から、その都度第２の位置情報を決定してもよい。
【００９３】
表示制御部２０５は、生成した表示画像を無線通信部２０１を介してヘッドマウントディスプレイ１００へ送信し（Ｓ２１５）、画像取得部２０２は、再度撮像画像を取得するのを待機する。
【００９４】
また、ＡＲ表示情報がないと判定された場合（Ｓ２１６；Ｎｏ）、表示制御部２０５は、取得した撮像画像を出力し（Ｓ２２０）、無線通信部２０１を介してヘッドマウントディスプレイ１００へ送信する（Ｓ２１５）。この撮像画像は、ＡＲ表示情報を含まない表示画像である。ヘッドマウントディスプレイ１００に、透過型のヘッドマウントディスプレイ１００を用いる場合は、撮像画像を送信せず、表示画像受信の待機を解除する指示を送信し、ヘッドマウントディスプレイ１００に表示画像を表示させない構成としてもよい。この場合、ヘッドマウントディスプレイ１００では、表示画像が受信されず、表示画像受信の待機を解除し、再び撮像画像を取得する。
【００９５】
また、算出された移動情報である移動距離が予め設定した距離の閾値と比較して、閾値より小さくないと判定された場合（Ｓ２１８；Ｎｏ）、表示制御部２０５は、取得した撮像画像を出力し（Ｓ２２０）、無線通信部２０１を介してヘッドマウントディスプレイ１００へ送信する（Ｓ２１５）。
【００９６】
第２の実施形態に係る情報処理システムでは、ユーザが操作対象物に対して作業する範囲内でＡＲ表示情報の表示を維持し続け、作業範囲外へ移動したと判定された場合は、ＡＲ表示情報の表示を解除する。これによって、ユーザが必要とする作業範囲内でＡＲ表示情報を表示し、不要な場合にはヘッドマウントディスプレイを装着した際の視認性を向上できる。
【符号の説明】
【００９７】
１０：アンテナ
１１：無線通信回路
１２：ＣＰＵ
１３：ＲＯＭ
１４：ＲＡＭ
１５：カメラ
１６：ディスプレイ
１７：加速度センサ
２０：アンテナ
２１：無線通信回路
２２：ＣＰＵ
２３：ＲＯＭ
２４：ＲＡＭ
３０：アンテナ
３１：無線通信回路
３２：ＣＰＵ
３３：ＲＯＭ
３４：ＲＡＭ
１００：ヘッドマウントディスプレイ
２００：スマートフォン
３００：サーバ装置
４００：ＡＲマーカー
５００：バルブ装置
６００：ＡＲ表示情報
【図１】
2015222519.tif 000003
【図２】
2015222519.tif 000004
【図３】
2015222519.tif 000005
【図４】
2015222519.tif 000006
【図５Ａ】
2015222519.tif 000007
【図５Ｂ】
2015222519.tif 000008
【図５Ｃ】
2015222519.tif 000009
【図６】
2015222519.tif 000010
【図７】
2015222519.tif 000011
【図８】
2015222519.tif 000012
【図９】
2015222519.tif 000013
【図１０】
2015222519.tif 000014