(57)【要約】【課題】オブジェクトデータの表示による消費電力を抑制できる表示制御プログラム、表示制御方法および表示制御装置を提供する。【解決手段】表示制御プログラムは、撮像装置により撮像された撮像画像に複数の基準物が含まれることを検出すると、オブジェクトデータと、該オブジェクトデータの表示順序とを基準物に対応付けて記憶する記憶部を参照して、複数の基準物それぞれに対応付けられたオブジェクトデータおよび表示順序を取得する処理をコンピュータに実行させる。表示制御プログラムは、取得したオブジェクトデータを、取得した表示順序で表示部に順に表示する処理をコンピュータに実行させる。【選択図】図１
2018005091.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮像された撮像画像に複数の基準物が含まれることを検出すると、オブジェクトデータと、該オブジェクトデータの表示順序とを基準物に対応付けて記憶する記憶部を参照して、前記複数の基準物それぞれに対応付けられたオブジェクトデータおよび表示順序を取得し、
取得した前記オブジェクトデータを、取得した前記表示順序で表示部に順に表示する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。
【請求項２】
前記表示する処理は、前記表示部に表示された前記オブジェクトデータのうち、いずれかのオブジェクトデータの選択を受け付けた場合、前記選択を受け付けた前記オブジェクトデータの表示時間を、前記選択を受け付けなかった場合よりも長くする、
ことを特徴とする請求項１に記載の表示制御プログラム。
【請求項３】
前記表示する処理は、前記表示部に表示された前記オブジェクトデータのうち、アラームに関するオブジェクトデータの表示時間を、他のオブジェクトデータの表示時間よりも長くする、
ことを特徴とする請求項１に記載の表示制御プログラム。
【請求項４】
前記表示順序は、アラームに関するオブジェクトデータを優先する、
ことを特徴とする請求項１に記載の表示制御プログラム。
【請求項５】
前記表示順序は、前記オブジェクトデータの編集日時順である、
ことを特徴とする請求項１に記載の表示制御プログラム。
【請求項６】
前記表示する処理は、前記順に表示する前記オブジェクトデータについて、表示対象の前記オブジェクトデータのみ、前記オブジェクトデータの表示に係る情報を算出する、
ことを特徴とする請求項１〜５のいずれか１つに記載の表示制御プログラム。
【請求項７】
前記オブジェクトデータの表示に係る情報は、前記基準物の軸を示すベクトルである、
ことを特徴とする請求項６に記載の表示制御プログラム。
【請求項８】
撮像装置により撮像された撮像画像に複数の基準物が含まれることを検出すると、オブジェクトデータと、該オブジェクトデータの表示順序とを基準物に対応付けて記憶する記憶部を参照して、前記複数の基準物それぞれに対応付けられたオブジェクトデータおよび表示順序を取得し、
取得した前記オブジェクトデータを、取得した前記表示順序で表示部に順に表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。
【請求項９】
撮像装置により撮像された撮像画像に複数の基準物が含まれることを検出すると、オブジェクトデータと、該オブジェクトデータの表示順序とを基準物に対応付けて記憶する記憶部を参照して、前記複数の基準物それぞれに対応付けられたオブジェクトデータおよび表示順序を取得する取得部と、
取得された前記オブジェクトデータを、取得された前記表示順序で表示部に順に表示する表示制御部と、
を有することを特徴とする表示制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御プログラム、表示制御方法および表示制御装置に関する。
【背景技術】
【０００２】
近年、ヘッドマウントディスプレイ（以下、ＨＭＤ（Head  Mounted  Display）ともいう。）等の表示装置を用いて、撮像された画像上にオブジェクトを重畳表示させるＡＲ（Augmented  Reality）技術が提案されている。撮像画像は、例えば、ＨＭＤに設けられた撮像装置で撮像され、ＨＭＤと接続される端末装置に送信される。端末装置では、例えば、連続して取得される撮像画像上にＡＲマーカがあるか否かを画像処理によって認識する。このとき、撮像画像に複数のＡＲマーカが含まれると、端末装置では、全てのＡＲマーカに対して認識処理を実行する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２３７３９３号公報
【特許文献２】特表２０１３−５３０４６２号公報
【特許文献３】特開２０１４−１８６４３４号公報
【特許文献４】特開２０１１−１４５８７９号公報
【特許文献５】特開２０１５−１４６１１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮像画像に含まれる複数のＡＲマーカについて認識処理を実行すると、例えば、ＡＲマーカを検出してからオブジェクトデータの一例であるＡＲコンテンツを撮像画像に重畳表示するまでの処理量が増加する。このため、撮像画像に含まれる複数のＡＲマーカについて認識処理を実行することで、オブジェクトデータを表示するための消費電力も増加することになる。
【０００５】
一つの側面では、本発明は、オブジェクトデータの表示による消費電力を抑制できる表示制御プログラム、表示制御方法および表示制御装置を提供することにある。
【課題を解決するための手段】
【０００６】
一つの態様では、表示制御プログラムは、撮像装置により撮像された撮像画像に複数の基準物が含まれることを検出すると、オブジェクトデータと、該オブジェクトデータの表示順序とを基準物に対応付けて記憶する記憶部を参照して、前記複数の基準物それぞれに対応付けられたオブジェクトデータおよび表示順序を取得する処理をコンピュータに実行させる。表示制御プログラムは、取得した前記オブジェクトデータを、取得した前記表示順序で表示部に順に表示する処理をコンピュータに実行させる。
【発明の効果】
【０００７】
オブジェクトデータの表示による消費電力を抑制できる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施例の表示制御システムの構成の一例を示すブロック図である。
【図２】図２は、撮像画像に複数のＡＲマーカが含まれる場合の表示の一例を示す図である。
【図３】図３は、オブジェクトデータ記憶部の一例を示す図である。
【図４】図４は、複数のＡＲマーカに対応するオブジェクトデータの表示の一例を示す図である。
【図５】図５は、実施例の表示制御処理の一例を示すフローチャートである。
【図６】図６は、マーカ認識処理の一例を示すフローチャートである。
【図７】図７は、表示制御プログラムを実行するコンピュータの一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面に基づいて、本願の開示する表示制御プログラム、表示制御方法および表示制御装置の実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。
【実施例】
【００１０】
図１は、実施例の表示制御システムの構成の一例を示すブロック図である。図１に示す表示制御システム１は、ＨＭＤ１０と、表示制御装置１００と、サーバ２００とを有する。ＨＭＤ１０と表示制御装置１００とは、１対１で無線により接続される。すなわち、ＨＭＤ１０は、表示制御装置１００の表示部の一例として機能する。なお、図１では、ＨＭＤ１０と表示制御装置１００との組について、１組を一例として示したが、ＨＭＤ１０と表示制御装置１００との組の数は限定されず、任意の数のＨＭＤ１０と表示制御装置１００との組を有してもよい。
【００１１】
ＨＭＤ１０と表示制御装置１００との間は、例えば、Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔ（登録商標）等の無線ＬＡＮ（Local  Area  Network）により相互に通信可能に接続される。また、表示制御装置１００とサーバ２００との間は、ネットワークＮを介して相互に通信可能に接続される。かかるネットワークＮには、有線または無線を問わず、インターネットを始め、ＬＡＮやＶＰＮ（Virtual  Private  Network）などの任意の種類の通信網を採用できる。
【００１２】
ＨＭＤ１０は、ユーザが表示制御装置１００とともに装着し、表示制御装置１００から送信される表示画面を表示する。ＨＭＤ１０は、例えば、単眼の透過型のＨＭＤを用いることができる。なお、ＨＭＤ１０は、例えば、両眼用や没入型等の各種のＨＭＤを用いるようにしてもよい。また、ＨＭＤ１０は、撮像装置としてカメラを有し、撮像装置で撮像した撮像画像を表示制御装置１００に送信する。
【００１３】
表示制御装置１００は、ユーザが装着して操作する情報処理装置であり、例えば、タブレット端末やスマートフォン等の移動体通信端末等を用いることができる。表示制御装置１００は、ＨＭＤ１０に設けられた撮像装置により撮像された撮像画像を受信する。表示制御装置１００は、撮像画像を受信すると、撮像画像にオブジェクトデータを重畳表示するための基準物を検出する。なお、表示制御装置１００は、当該表示制御装置１００に設けられた撮像装置により撮像された撮像画像を用いてもよい。また、表示制御装置１００は、オブジェクトデータと、該オブジェクトデータの表示順序とを基準物に対応付けて記憶部に記憶する。表示制御装置１００は、撮像画像に複数の基準物が含まれることを検出すると、当該記憶部を参照して、複数の基準物それぞれに対応付けられたオブジェクトデータおよび表示順序を取得する。表示制御装置１００は、取得したオブジェクトデータを、取得した表示順序で表示部に順に表示する。つまり、表示制御装置１００は、取得したオブジェクトデータを、取得した表示順序で重畳表示する表示画面を、ＨＭＤ１０に送信して表示させる。なお、表示制御装置１００は、当該表示制御装置１００の表示部に、取得したオブジェクトデータを、取得した表示順序で重畳表示する表示画面を表示させてもよい。これにより、表示制御装置１００は、オブジェクトデータの表示による消費電力を抑制できる。
【００１４】
サーバ２００は、例えば、ある工場における設備点検用のＡＲコンテンツをオブジェクトデータとして管理するデータベースを有する。サーバ２００は、表示制御装置１００の求めに応じて、ネットワークＮを介して、オブジェクトデータを表示制御装置１００に送信する。
【００１５】
ここで、図２を用いて撮像画像に複数のＡＲマーカが含まれる場合の表示について説明する。図２は、撮像画像に複数のＡＲマーカが含まれる場合の表示の一例を示す図である。図２の撮像画像２１には、複数のＡＲマーカ２２が含まれている。この場合、従来のオブジェクトデータ（ＡＲコンテンツ）の表示では、表示画面２３に示すように、複数のＡＲマーカ２２のそれぞれに対して、複数のオブジェクトデータ２４を重畳表示するので、ＡＲマーカ２２の認識処理における処理量および処理時間が増加する。また、従来のオブジェクトデータ２４の表示では、表示画面２３に示すように、複数のオブジェクトデータ２４が重なってしまい、視認性が低下する場合がある。本発明では、オブジェクトデータを予め定めた表示順序で表示することで、ＡＲマーカの認識処理の処理量および処理時間の低減、ならびに、視認性の向上を図る。
【００１６】
次に、ＨＭＤ１０の構成について説明する。図１に示すように、ＨＭＤ１０は、通信部１１と、カメラ１２と、表示部１３と、記憶部１４と、制御部１５とを有する。なお、ＨＭＤ１０は、図１に示す機能部以外にも、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
【００１７】
通信部１１は、例えば、無線ＬＡＮ等の通信モジュール等によって実現される。通信部１１は、例えば、Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔ（登録商標）により表示制御装置１００と無線で接続され、表示制御装置１００との間で情報の通信を司る通信インタフェースである。通信部１１は、表示制御装置１００から表示画面を受信する。通信部１１は、受信した表示画面を制御部１５に出力する。また、通信部１１は、制御部１５から入力された撮像画像を表示制御装置１００に送信する。
【００１８】
カメラ１２は、オブジェクトデータの一例であるＡＲコンテンツが対応付けられる基準物、つまりＡＲマーカを撮像する撮像装置である。なお、以下の説明では、基準物について、ＡＲマーカ、または、単にマーカと表現する場合がある。また、オブジェクトデータについて、ＡＲコンテンツと表現する場合がある。カメラ１２は、例えば、撮像素子としてＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサまたはＣＣＤ（Charge  Coupled  Device）イメージセンサ等を用いて、画像を撮像する。カメラ１２は、撮像素子が受光した光を光電変換しＡ／Ｄ（Analog／Digital）変換を行って撮像画像を生成する。カメラ１２は、生成した撮像画像を制御部１５に出力する。
【００１９】
表示部１３は、各種情報を表示するための表示デバイスである。表示部１３は、例えば、ハーフミラーに映像が投影され、ユーザが映像とともに外部の風景を透過して見ることができる透過型のＨＭＤの表示素子に相当する。なお、表示部１３は、没入型、ビデオ透過型、網膜投影型等のＨＭＤに対応する表示素子でもよい。
【００２０】
記憶部１４は、例えば、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子等の記憶装置によって実現される。記憶部１４は、制御部１５での処理に用いる情報を記憶する。
【００２１】
制御部１５は、例えば、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１５は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路により実現されるようにしてもよい。制御部１５は、以下に説明する情報処理の機能や作用を実現または実行する。
【００２２】
制御部１５は、カメラ１２で撮像された撮像画像が入力されると、入力された撮像画像を、通信部１１を介して、表示制御装置１００に送信する。なお、制御部１５は、カメラ１２から撮像画像が順次入力されると、表示制御装置１００への撮像画像の送信を継続して行う。また、制御部１５は、通信部１１を介して、表示制御装置１００から受信した表示画面を、表示部１３に表示させる。
【００２３】
続いて、表示制御装置１００の構成について説明する。図１に示すように、表示制御装置１００は、第１通信部１１０と、第２通信部１１１と、表示操作部１１２と、記憶部１２０と、制御部１３０とを有する。なお、表示制御装置１００は、図１に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。例えば、表示制御装置１００は、図示しない撮像装置を有してもよい。
【００２４】
第１通信部１１０は、例えば、無線ＬＡＮ等の通信モジュール等によって実現される。第１通信部１１０は、例えば、Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔ（登録商標）によりＨＭＤ１０と無線で接続され、ＨＭＤ１０との間で情報の通信を司る通信インタフェースである。第１通信部１１０は、ＨＭＤ１０から撮像画像を受信する。第１通信部１１０は、受信した撮像画像を制御部１３０に出力する。また、第１通信部１１０は、制御部１３０から入力された表示画面をＨＭＤ１０に送信する。
【００２５】
第２通信部１１１は、例えば、第３世代移動通信システム、ＬＴＥ（Long  Term  Evolution）等の携帯電話回線および無線ＬＡＮ等の通信モジュール等によって実現される。第２通信部１１１は、ネットワークＮを介してサーバ２００と無線で接続され、サーバ２００との間で情報の通信を司る通信インタフェースである。第２通信部１１１は、制御部１３０から入力されたデータ取得指示を、ネットワークＮを介して、サーバ２００に送信する。また、第２通信部１１１は、データ取得指示に応じたオブジェクトデータを、ネットワークＮを介して、サーバ２００から受信する。第２通信部１１１は、受信したオブジェクトデータを制御部１３０に出力する。
【００２６】
表示操作部１１２は、各種情報を表示するための表示デバイス、および、ユーザから各種操作を受け付ける入力デバイスである。例えば、表示操作部１１２は、表示デバイスとして液晶ディスプレイ等によって実現される。また、例えば、表示操作部１１２は、入力デバイスとして、タッチパネル等によって実現される。つまり、表示操作部１１２は、表示デバイスと入力デバイスとが一体化される。表示操作部１１２は、ユーザによって入力された操作を操作情報として制御部１３０に出力する。なお、表示操作部１１２は、ＨＭＤ１０と同様の画面を表示してもよいし、ＨＭＤ１０と異なる画面を表示してもよい。
【００２７】
記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部１２０は、オブジェクトデータ記憶部１２１を有する。また、記憶部１２０は、制御部１３０での処理に用いる情報を記憶する。
【００２８】
オブジェクトデータ記憶部１２１は、サーバ２００から取得したオブジェクトデータを記憶する。図３は、オブジェクトデータ記憶部の一例を示す図である。図３に示すように、オブジェクトデータ記憶部１２１は、「マーカＩＤ（Identifier）」、「オブジェクトＩＤ」、「オブジェクトデータ」、「表示順序」といった項目を有する。オブジェクトデータ記憶部１２１は、例えばオブジェクトデータごとに１レコードとして記憶する。
【００２９】
「マーカＩＤ」は、オブジェクトデータに対応付けられたＡＲマーカを識別する識別子である。「オブジェクトＩＤ」は、オブジェクトデータ、つまりＡＲコンテンツを識別する識別子である。「オブジェクトデータ」は、サーバ２００から取得したオブジェクトデータを示す情報である。「オブジェクトデータ」は、例えば、オブジェクトデータ、つまりＡＲコンテンツを構成するデータファイルである。「表示順序」は、オブジェクトデータに対応付けられている表示順序を示す情報である。「表示順序」は、例えば、複数のＡＲマーカが撮像画像内にある場合に、当該撮像画像内にあるＡＲマーカに対応付けられたオブジェクトデータの表示順序を決定するための情報である。
【００３０】
制御部１３０は、例えば、ＣＰＵやＭＰＵ等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されるようにしてもよい。制御部１３０は、検出部１３１と、取得部１３２と、表示制御部１３３とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【００３１】
検出部１３１は、第１通信部１１０を介して、ＨＭＤ１０から撮像画像を受信して取得する。なお、検出部１３１は、表示制御装置１００の図示しない撮像装置から撮像画像を取得してもよい。検出部１３１は、取得した撮像画像からＡＲマーカの矩形抽出およびＩＤ検出を実行する。すなわち、検出部１３１は、まず、撮像画像からＡＲマーカの矩形を抽出する。検出部１３１は、次に、抽出した矩形からマーカＩＤを検出する。検出部１３１は、マーカＩＤを検出すると、検出したマーカＩＤを取得部１３２に出力する。なお、検出部１３１は、撮像画像から複数のマーカＩＤを検出した場合には、複数のマーカＩＤを取得部１３２に出力する。また、検出部１３１は、撮像画像を表示制御部１３３に出力する。
【００３２】
取得部１３２は、検出部１３１からマーカＩＤが入力されると、オブジェクトデータ記憶部１２１を参照し、マーカＩＤに対応付けられたオブジェクトデータと、当該オブジェクトデータの表示順序とを取得する。言い換えると、取得部１３２は、撮像装置により撮像された撮像画像に複数の基準物が含まれることを検出すると、オブジェクトデータと、該オブジェクトデータの表示順序とを基準物に対応付けて記憶するオブジェクトデータ記憶部１２１を参照する。取得部１３２は、オブジェクトデータ記憶部１２１を参照して、複数の基準物それぞれに対応付けられたオブジェクトデータおよび表示順序を取得する。取得部１３２は、マーカＩＤと、オブジェクトデータと、表示順序とを表示制御部１３３に出力する。
【００３３】
表示制御部１３３は、ＡＲミドルウェアを用いたアプリケーションを起動する。表示制御部１３３は、アプリケーションを起動すると、第１通信部１１０を介して、ＨＭＤ１０に対してアプリケーションの表示画面の送信を開始する。なお、表示制御部１３３は、表示操作部１１２にアプリケーションの表示画面を表示させてもよい。
【００３４】
表示制御部１３３は、次に、第２通信部１１１およびネットワークＮを介して、データ取得指示をサーバ２００に送信する。表示制御部１３３は、第２通信部１１１およびネットワークＮを介して、サーバ２００からデータ取得指示に対応するオブジェクトデータを受信して取得すると、取得したオブジェクトデータをオブジェクトデータ記憶部１２１に記憶する。なお、受信したオブジェクトデータには、例えば、図３に示す「オブジェクトＩＤ」、「オブジェクトデータ」および「表示順序」が含まれる。
【００３５】
表示制御部１３３は、取得部１３２からマーカＩＤと、オブジェクトデータと、表示順序とが入力されると、初回認識か否か、つまり、撮像画像についてＡＲマーカの非認識状態から認識状態になったか否かを判定する。表示制御部１３３は、初回認識である場合には、表示順序に基づいて、表示対象のオブジェクトデータのマーカＩＤを設定する。すなわち、表示制御部１３３は、複数のマーカＩＤと、オブジェクトデータと、表示順序とが入力された場合、表示順序が最も若いマーカＩＤを、表示対象のオブジェクトデータのマーカＩＤとして設定する。なお、初回認識でない場合には、いずれかの表示対象のオブジェクトデータのマーカＩＤが設定されている状態である。すなわち、表示制御部１３３は、いずれかのＡＲマーカを認識していれば、表示中のオブジェクトデータに対応するマーカＩＤを保持する。また、表示制御部１３３は、撮像画像中に、ＡＲマーカが１つも含まれなくなった場合には、マーカＩＤの設定をリセットする。
【００３６】
表示制御部１３３は、入力されたマーカＩＤ、つまり撮像画像から検出されたマーカＩＤに対応するオブジェクトデータが表示対象か否かを判定する。すなわち、表示制御部１３３は、複数のマーカＩＤが入力された場合、いずれのマーカＩＤに対応するオブジェクトデータが表示対象か否かを判定する。表示制御部１３３は、検出されたマーカＩＤに対応するオブジェクトデータが表示対象である場合には、検出部１３１から入力された撮像画像の当該マーカＩＤのＡＲマーカに対して、移動・回転行列を算出する。
【００３７】
表示制御部１３３は、検出されたマーカＩＤに対応するオブジェクトデータが表示対象でない場合には、検出部１３１から入力された撮像画像の当該マーカＩＤのＡＲマーカに対して、移動・回転行列を算出しない。すなわち、表示制御部１３３は、撮像画像に含まれる複数のＡＲマーカのうち、表示対象のオブジェクトデータに対応するＡＲマーカについて移動・回転行列を算出し、表示対象でないオブジェクトデータに対応するＡＲマーカについて移動・回転行列を算出しない。
【００３８】
言い換えると、表示制御部１３３は、順に表示するオブジェクトデータについて、表示対象のオブジェクトデータのみ、オブジェクトデータの表示に係る情報を算出する。なお、オブジェクトデータの表示に係る情報は、基準物の軸を示すベクトルである。すなわち、オブジェクトデータの表示に係る情報は、ＡＲマーカがどれくらい傾いているのか、また、大きさはどれくらいかを示す移動・回転行列である。
【００３９】
表示制御部１３３は、表示対象のオブジェクトデータを撮像画像に重畳表示して表示画面を生成する。表示制御部１３３は、生成した表示画面を、第１通信部１１０を介して、ＨＭＤ１０に送信して表示させる。言い換えると、表示制御部１３３は、撮像画像に複数のＡＲマーカが含まれる場合に、それぞれのＡＲマーカに対応するオブジェクトデータを、表示順序の順番に撮像画像に重畳表示して表示画面を生成し、ＨＭＤ１０に送信して表示させる。なお、表示制御部１３３は、表示操作部１１２に生成した表示画面を表示させてもよい。また、表示制御部１３３は、表示順序が最後まで到達した場合には、先頭に戻って表示順序に従って、オブジェクトデータを繰り返し表示する。
【００４０】
表示制御部１３３は、ユーザからオブジェクトデータを選択する操作があったか否かを判定する。なお、選択する操作は、例えば、表示操作部１１２から入力されてもよいし、図示しないマイクにより音声入力されてもよい。表示制御部１３３は、選択する操作があった場合には、選択されたオブジェクトデータに対応するマーカＩＤを表示対象として固定するように設定する。なお、表示制御部１３３は、選択されたオブジェクトデータについて、選択されなかったオブジェクトデータよりも表示時間を長くするようにしてもよい。言い換えると、表示制御部１３３は、ＨＭＤ１０の表示部１３に表示されたオブジェクトデータのうち、いずれかのオブジェクトデータの選択を受け付けた場合、選択を受け付けたオブジェクトデータの表示時間を、選択を受け付けなかった場合よりも長くする。
【００４１】
また、表示制御部１３３は、ＨＭＤ１０の表示部１３に表示されたオブジェクトデータのうち、アラームに関するオブジェクトデータの表示時間を、他のオブジェクトデータの表示時間よりも長くするようにしてもよい。さらに、表示制御部１３３は、表示順序について、アラームに関するオブジェクトデータを優先するようにしてもよい。また、表示制御部１３３は、表示順序について、オブジェクトデータの編集日時順としてもよい。
【００４２】
表示制御部１３３は、選択する操作がない場合には、表示順序に応じて、マーカＩＤを変更して設定する。表示制御部１３３は、例えば、従前の設定されたマーカＩＤが表示順序「１」番であれば、表示順序「２」番のオブジェクトデータに対応するマーカＩＤに変更して設定する。
【００４３】
表示制御部１３３は、マーカＩＤを固定する設定を解除する操作があったか否かを判定する。表示制御部１３３は、解除する操作があった場合には、マーカＩＤを固定する設定を解除する。表示制御部１３３は、解除する操作がない場合には、固定されたマーカＩＤがある場合はそのままとする。
【００４４】
表示制御部１３３は、例えばユーザからの操作により、アプリケーションを終了するか否かを判定する。表示制御部１３３は、アプリケーションを終了する場合には、表示制御装置１００の各部およびＨＭＤ１０に対してアプリケーションの終了を通知する。表示制御部１３３は、アプリケーションを終了しない場合には、引き続き、ＡＲマーカの認識およびオブジェクトデータの重畳表示を継続する。
【００４５】
ここで、図４を用いて複数のＡＲマーカに対応するオブジェクトデータの表示について説明する。図４は、複数のＡＲマーカに対応するオブジェクトデータの表示の一例を示す図である。図４に示すように、撮像画像３１には、複数のＡＲマーカ３２，３３，３４が含まれているとする。また、表示順序は、ＡＲマーカ３２が「１」番、ＡＲマーカ３３が「２」番、ＡＲマーカ３４が「３」番とする。このとき、表示制御装置１００は、表示画面４１に示すように、まず、表示順序が「１」番であるＡＲマーカ３２に対応するオブジェクトデータ４２ａ，４２ｂを表示させる。なお、表示画面４１では、ＡＲマーカ３３，３４に対応するオブジェクトデータは表示させない。
【００４６】
次に、表示制御装置１００は、表示画面４３に示すように、表示順序が「２」番であるＡＲマーカ３３に対応するオブジェクトデータ４４ａ，４４ｂ，４４ｃ，４４ｄを表示させる。また、表示画面４３では、ＡＲマーカ３２，３４に対応するオブジェクトデータは表示させない。
【００４７】
続いて、表示制御装置１００は、表示画面４５に示すように、表示順序が「３」番であるＡＲマーカ３４に対応するオブジェクトデータ４６ａ，４６ｂを表示させる。また、表示画面４５では、ＡＲマーカ３２，３３に対応するオブジェクトデータは表示させない。表示制御装置１００は、所定の時間間隔で、表示画面４１，４３，４５を順番に切り替える。なお、所定の時間間隔は、例えば、撮像画像の動画像のフレームレートに合わせて、５〜３０フレーム／秒、すなわち、３３ｍｓ〜２００ｍｓとすることができる。また、所定の時間間隔は、ユーザが認識できるように、例えば、１秒間隔といった時間間隔としてもよい。
【００４８】
また、表示制御装置１００は、認識しているＡＲマーカの数が途中で増加した場合には、増加したＡＲマーカのマーカＩＤを表示順序に追加する。例えば、認識中のマーカＩＤが「Ｍ００１」、「Ｍ００２」、「Ｍ００３」であり、表示順序が番号の若い順、表示中のオブジェクトデータのマーカＩＤが「Ｍ００２」であるとする。このとき、新たなＡＲマーカのマーカＩＤ「Ｍ００４」が認識されると、表示順序の最後に「Ｍ００４」を追加する。また、表示中であるマーカＩＤ「Ｍ００２」に対応するオブジェクトデータは、当初の表示時間、そのまま表示が継続され、その後、マーカＩＤ「Ｍ００３」、「Ｍ００４」に対応するオブジェクトデータへと表示が切り替えられる。
【００４９】
さらに、表示制御装置１００は、認識しているＡＲマーカの数が途中で減少した場合には、減少したＡＲマーカのマーカＩＤを表示順序から削除する。上記の例では、表示制御装置１００は、例えば、ノイズの発生やカメラ１２の方向の変化により、マーカＩＤ「Ｍ００２」のＡＲマーカが認識できなくなると、表示中のオブジェクトデータを、マーカＩＤ「Ｍ００２」から「Ｍ００３」に対応するオブジェクトデータに変更する。また、表示制御装置１００は、表示順序から「Ｍ００２」を削除して、「Ｍ００１」、「Ｍ００３」の表示順序とする。これにより、表示制御装置１００は、オブジェクトデータの表示処理のリセットを抑制することができる。すなわち、表示制御装置１００は、頻繁に認識しているマーカＩＤが変更となることに合わせて表示順序をリセットしないので、表示順序が後のオブジェクトデータについて表示頻度が低下することを抑制できる。
【００５０】
次に、実施例の表示制御システム１の動作について説明する。図５は、実施例の表示制御処理の一例を示すフローチャートである。
【００５１】
表示制御装置１００の表示制御部１３３は、ＡＲミドルウェアを用いたアプリケーションを起動する（ステップＳ１）。表示制御部１３３は、アプリケーションを起動すると、ＨＭＤ１０に対してアプリケーションの表示画面の送信を開始する。
【００５２】
表示制御部１３３は、次に、データ取得指示をサーバ２００に送信する。表示制御部１３３は、サーバ２００からデータ取得指示に対応するオブジェクトデータを受信して取得すると、取得したオブジェクトデータをオブジェクトデータ記憶部１２１に記憶する（ステップＳ２）。
【００５３】
ＨＭＤ１０は、カメラ１２で撮像された撮像画像について、表示制御装置１００への送信を開始する。また、表示制御装置１００は、撮像画像を含む表示画面のＨＭＤ１０への送信を開始する。
【００５４】
表示制御装置１００は、マーカ認識処理を実行する（ステップＳ３）。ここで、図６を用いてマーカ認識処理について説明する。図６は、マーカ認識処理の一例を示すフローチャートである。
【００５５】
表示制御装置１００の検出部１３１は、ＨＭＤ１０から撮像画像を受信して取得する（ステップＳ３１）。検出部１３１は、取得した撮像画像からＡＲマーカの矩形抽出およびＩＤ検出を実行する（ステップＳ３２）。検出部１３１は、マーカＩＤを検出すると、検出したマーカＩＤを取得部１３２に出力する。また、検出部１３１は、撮像画像を表示制御部１３３に出力する。
【００５６】
取得部１３２は、検出部１３１からマーカＩＤが入力されると、オブジェクトデータ記憶部１２１を参照し、マーカＩＤに対応付けられたオブジェクトデータと、当該オブジェクトデータの表示順序とを取得する。取得部１３２は、マーカＩＤと、オブジェクトデータと、表示順序とを表示制御部１３３に出力する。
【００５７】
表示制御部１３３は、取得部１３２からマーカＩＤと、オブジェクトデータと、表示順序とが入力されると、初回認識か否かを判定する（ステップＳ３３）。表示制御部１３３は、初回認識である場合には（ステップＳ３３：肯定）、表示順序に基づいて、表示対象のオブジェクトデータのマーカＩＤを設定し（ステップＳ３４）、ステップＳ３５に進む。表示制御部１３３は、初回認識でない場合には（ステップＳ３３：否定）、既に設定されているマーカＩＤを維持してステップＳ３５に進む。
【００５８】
表示制御部１３３は、撮像画像から検出されたマーカＩＤに対応するオブジェクトデータが表示対象か否かを判定する（ステップＳ３５）。表示制御部１３３は、検出されたマーカＩＤに対応するオブジェクトデータが表示対象である場合には（ステップＳ３５：肯定）、当該マーカＩＤのＡＲマーカに対して、移動・回転行列を算出し（ステップＳ３６）、元の処理に戻る。表示制御部１３３は、検出されたマーカＩＤに対応するオブジェクトデータが表示対象でない場合には（ステップＳ３５：否定）、当該マーカＩＤのＡＲマーカに対して、移動・回転行列を算出せずに、元の処理に戻る。なお、ステップＳ３５の判定は、撮像画像に含まれるＡＲマーカの各々に対して行われる。
【００５９】
図５の説明に戻って、表示制御部１３３は、表示対象のオブジェクトデータを撮像画像に重畳表示して表示画面を生成する（ステップＳ４）。表示制御部１３３は、生成した表示画面を、ＨＭＤ１０に送信して表示させる。
【００６０】
表示制御部１３３は、ユーザからオブジェクトデータを選択する操作があったか否かを判定する（ステップＳ５）。表示制御部１３３は、選択する操作があった場合には（ステップＳ５：肯定）、選択されたオブジェクトデータに対応するマーカＩＤを表示対象として固定するように設定する（ステップＳ６）。表示制御部１３３は、選択する操作がない場合には（ステップＳ５：否定）、表示順序に応じて、マーカＩＤを変更して設定する（ステップＳ７）。
【００６１】
表示制御部１３３は、マーカＩＤを固定する設定を解除する操作があったか否かを判定する（ステップＳ８）。表示制御部１３３は、解除する操作があった場合には（ステップＳ８：肯定）、マーカＩＤを固定する設定を解除し（ステップＳ９）、ステップＳ１０に進む。表示制御部１３３は、解除する操作がない場合には（ステップＳ８：否定）、固定されたマーカＩＤがある場合はそのまま維持して、ステップＳ１０に進む。
【００６２】
表示制御部１３３は、アプリケーションを終了するか否かを判定する（ステップＳ１０）。表示制御部１３３は、アプリケーションを終了しない場合には（ステップＳ１０：否定）、ステップＳ３に戻る。表示制御部１３３は、アプリケーションを終了する場合には（ステップＳ１０：肯定）、アプリケーションを終了し（ステップＳ１１）、表示制御処理を終了する。これにより、表示制御装置１００は、オブジェクトデータの表示による消費電力を抑制できる。
【００６３】
なお、上記実施例では、ＨＭＤ１０のカメラ１２で撮像された撮像画像に基づいて、表示画面をＨＭＤ１０の表示部１３に表示させたが、これに限定されない。例えば、表示制御装置１００に撮像装置を設けて、当該撮像装置で撮像された撮像画像に基づいて、表示画面を表示操作部１１２に表示させてもよい。すなわち、表示制御装置１００単体で表示制御処理を行ってもよい。
【００６４】
言い換えると、上記実施例では、表示制御装置１００とＨＭＤ１０とをユーザが装着する形態として説明したが、これに限定されない。例えば、ＨＭＤ１０を用いずに、例えばスマートフォンである表示制御装置１００の表示操作部１１２に表示画面を表示するようにしてもよい。
【００６５】
このように、表示制御装置１００は、ＨＭＤ１０の撮像装置であるカメラ１２により撮像された撮像画像に複数の基準物が含まれることを検出する。また、表示制御装置１００は、オブジェクトデータと、該オブジェクトデータの表示順序とを基準物に対応付けてオブジェクトデータ記憶部１２１に記憶する。また、表示制御装置１００は、撮像画像に複数の基準物が含まれることを検出すると、オブジェクトデータ記憶部１２１を参照して、複数の基準物それぞれに対応付けられたオブジェクトデータおよび表示順序を取得する。また、表示制御装置１００は、取得したオブジェクトデータを、取得した表示順序でＨＭＤ１０の表示部１３に順に表示する。その結果、オブジェクトデータの表示による消費電力を抑制できる。
【００６６】
また、表示制御装置１００は、表示部１３に表示されたオブジェクトデータのうち、いずれかのオブジェクトデータの選択を受け付けた場合、選択を受け付けたオブジェクトデータの表示時間を、選択を受け付けなかった場合よりも長くする。その結果、ユーザが着目しているコンテンツの表示状態を継続することができる。
【００６７】
また、表示制御装置１００は、表示部１３に表示されたオブジェクトデータのうち、アラームに関するオブジェクトデータの表示時間を、他のオブジェクトデータの表示時間よりも長くする。その結果、ユーザにアラームに関する情報を伝達しやすくなる。
【００６８】
また、表示制御装置１００は、表示順序について、アラームに関するオブジェクトデータを優先する。その結果、ユーザにアラームに関する情報を伝達しやすくなる。
【００６９】
また、表示制御装置１００では、表示順序は、オブジェクトデータの編集日時順である。その結果、オブジェクトデータを編集順に表示することができる。
【００７０】
また、表示制御装置１００は、順に表示するオブジェクトデータについて、表示対象のオブジェクトデータのみ、オブジェクトデータの表示に係る情報を算出する。その結果、オブジェクトデータの表示による消費電力を抑制できる。
【００７１】
また、表示制御装置１００では、オブジェクトデータの表示に係る情報は、基準物の軸を示すベクトルである。その結果、ベクトルの計算を抑制できるので、オブジェクトデータの表示による消費電力を抑制できる。
【００７２】
なお、上記実施例では、表示順序について、番号の若い順としたが、これに限定されない。例えば、番号の大きい順としてもよいし、ユーザが事前設定した順序にしてもよい。
【００７３】
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、検出部１３１と取得部１３２とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。
【００７４】
さらに、各装置で行われる各種処理機能は、ＣＰＵ（又はＭＰＵ、ＭＣＵ（Micro  Controller  Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。
【００７５】
ところで、上記の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図７は、表示制御プログラムを実行するコンピュータの一例を示す図である。
【００７６】
図７に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、データ入力を受け付ける入力装置３０２と、モニタ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読み取る媒体読取装置３０４と、各種装置と接続するためのインタフェース装置３０５と、他の情報処理装置等と有線または無線により接続するための通信装置３０６とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０７と、フラッシュメモリ３０８とを有する。また、各装置３０１〜３０８は、バス３０９に接続される。
【００７７】
フラッシュメモリ３０８には、図１に示した検出部１３１、取得部１３２および表示制御部１３３の各処理部と同様の機能を有する表示制御プログラムが記憶される。また、フラッシュメモリ３０８には、オブジェクトデータ記憶部１２１、および、表示制御プログラムを実現するための各種データが記憶される。入力装置３０２は、例えば、コンピュータ３００のユーザから操作情報等の各種情報の入力を受け付ける。モニタ３０３は、例えば、コンピュータ３００のユーザに対して表示画面等の各種画面を表示する。インタフェース装置３０５は、例えばヘッドホン等が接続される。通信装置３０６は、例えば、図１に示した第１通信部１１０および第２通信部１１１と同様の機能を有しＨＭＤ１０およびネットワークＮと接続され、ＨＭＤ１０およびサーバ２００と各種情報をやりとりする。
【００７８】
ＣＰＵ３０１は、フラッシュメモリ３０８に記憶された各プログラムを読み出して、ＲＡＭ３０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ３００を図１に示した検出部１３１、取得部１３２および表示制御部１３３として機能させることができる。
【００７９】
なお、上記の表示制御プログラムは、必ずしもフラッシュメモリ３０８に記憶されている必要はない。例えば、コンピュータ３００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ３００が読み出して実行するようにしてもよい。コンピュータ３００が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal  Serial  Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこの表示制御プログラムを記憶させておき、コンピュータ３００がこれらから表示制御プログラムを読み出して実行するようにしてもよい。
【００８０】
以上、本実施例を含む実施の形態に関し、さらに以下の付記を開示する。
【００８１】
（付記１）撮像装置により撮像された撮像画像に複数の基準物が含まれることを検出すると、オブジェクトデータと、該オブジェクトデータの表示順序とを基準物に対応付けて記憶する記憶部を参照して、前記複数の基準物それぞれに対応付けられたオブジェクトデータおよび表示順序を取得し、
取得した前記オブジェクトデータを、取得した前記表示順序で表示部に順に表示する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。
【００８２】
（付記２）前記表示する処理は、前記表示部に表示された前記オブジェクトデータのうち、いずれかのオブジェクトデータの選択を受け付けた場合、前記選択を受け付けた前記オブジェクトデータの表示時間を、前記選択を受け付けなかった場合よりも長くする、
ことを特徴とする付記１に記載の表示制御プログラム。
【００８３】
（付記３）前記表示する処理は、前記表示部に表示された前記オブジェクトデータのうち、アラームに関するオブジェクトデータの表示時間を、他のオブジェクトデータの表示時間よりも長くする、
ことを特徴とする付記１に記載の表示制御プログラム。
【００８４】
（付記４）前記表示順序は、アラームに関するオブジェクトデータを優先する、
ことを特徴とする付記１に記載の表示制御プログラム。
【００８５】
（付記５）前記表示順序は、前記オブジェクトデータの編集日時順である、
ことを特徴とする付記１に記載の表示制御プログラム。
【００８６】
（付記６）前記表示する処理は、前記順に表示する前記オブジェクトデータについて、表示対象の前記オブジェクトデータのみ、前記オブジェクトデータの表示に係る情報を算出する、
ことを特徴とする付記１〜５のいずれか１つに記載の表示制御プログラム。
【００８７】
（付記７）前記オブジェクトデータの表示に係る情報は、前記基準物の軸を示すベクトルである、
ことを特徴とする付記６に記載の表示制御プログラム。
【００８８】
（付記８）撮像装置により撮像された撮像画像に複数の基準物が含まれることを検出すると、オブジェクトデータと、該オブジェクトデータの表示順序とを基準物に対応付けて記憶する記憶部を参照して、前記複数の基準物それぞれに対応付けられたオブジェクトデータおよび表示順序を取得し、
取得した前記オブジェクトデータを、取得した前記表示順序で表示部に順に表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。
【００８９】
（付記９）前記表示する処理は、前記表示部に表示された前記オブジェクトデータのうち、いずれかのオブジェクトデータの選択を受け付けた場合、前記選択を受け付けた前記オブジェクトデータの表示時間を、前記選択を受け付けなかった場合よりも長くする、
ことを特徴とする付記８に記載の表示制御方法。
【００９０】
（付記１０）前記表示する処理は、前記表示部に表示された前記オブジェクトデータのうち、アラームに関するオブジェクトデータの表示時間を、他のオブジェクトデータの表示時間よりも長くする、
ことを特徴とする付記８に記載の表示制御方法。
【００９１】
（付記１１）前記表示順序は、アラームに関するオブジェクトデータを優先する、
ことを特徴とする付記８に記載の表示制御方法。
【００９２】
（付記１２）前記表示順序は、前記オブジェクトデータの編集日時順である、
ことを特徴とする付記８に記載の表示制御方法。
【００９３】
（付記１３）前記表示する処理は、前記順に表示する前記オブジェクトデータについて、表示対象の前記オブジェクトデータのみ、前記オブジェクトデータの表示に係る情報を算出する、
ことを特徴とする付記８〜１２のいずれか１つに記載の表示制御方法。
【００９４】
（付記１４）前記オブジェクトデータの表示に係る情報は、前記基準物の軸を示すベクトルである、
ことを特徴とする付記１３に記載の表示制御方法。
【００９５】
（付記１５）撮像装置により撮像された撮像画像に複数の基準物が含まれることを検出すると、オブジェクトデータと、該オブジェクトデータの表示順序とを基準物に対応付けて記憶する記憶部を参照して、前記複数の基準物それぞれに対応付けられたオブジェクトデータおよび表示順序を取得する取得部と、
取得された前記オブジェクトデータを、取得された前記表示順序で表示部に順に表示する表示制御部と、
を有することを特徴とする表示制御装置。
【００９６】
（付記１６）前記表示制御部は、前記表示部に表示された前記オブジェクトデータのうち、いずれかのオブジェクトデータの選択を受け付けた場合、前記選択を受け付けた前記オブジェクトデータの表示時間を、前記選択を受け付けなかった場合よりも長くする、
ことを特徴とする付記１５に記載の表示制御装置。
【００９７】
（付記１７）前記表示制御部は、前記表示部に表示された前記オブジェクトデータのうち、アラームに関するオブジェクトデータの表示時間を、他のオブジェクトデータの表示時間よりも長くする、
ことを特徴とする付記１５に記載の表示制御装置。
【００９８】
（付記１８）前記表示順序は、アラームに関するオブジェクトデータを優先する、
ことを特徴とする付記１５に記載の表示制御装置。
【００９９】
（付記１９）前記表示順序は、前記オブジェクトデータの編集日時順である、
ことを特徴とする付記１５に記載の表示制御装置。
【０１００】
（付記２０）前記表示制御部は、前記順に表示する前記オブジェクトデータについて、表示対象の前記オブジェクトデータのみ、前記オブジェクトデータの表示に係る情報を算出する、
ことを特徴とする付記１５〜１９のいずれか１つに記載の表示制御装置。
【０１０１】
（付記２１）前記オブジェクトデータの表示に係る情報は、前記基準物の軸を示すベクトルである、
ことを特徴とする付記２０に記載の表示制御装置。
【符号の説明】
【０１０２】
１  表示制御システム
１０  ＨＭＤ
１１  通信部
１２  カメラ
１３  表示部
１４  記憶部
１５  制御部
１００  表示制御装置
１１０  第１通信部
１１１  第２通信部
１１２  表示操作部
１２０  記憶部
１２１  オブジェクトデータ記憶部
１３０  制御部
１３１  検出部
１３２  取得部
１３３  表示制御部
２００  サーバ
Ｎ  ネットワーク
【図１】
2018005091.tif 000003
【図２】
2018005091.tif 000004
【図３】
2018005091.tif 000005
【図４】
2018005091.tif 000006
【図５】
2018005091.tif 000007
【図６】
2018005091.tif 000008
【図７】
2018005091.tif 000009