(57)【要約】【課題】端末装置への画像送信に要する消費電力を低減できる制御プログラム、制御方法および制御装置を提供する。【解決手段】制御プログラムは、撮像装置により撮像された撮像画像を取得する処理をコンピュータに実行させる。制御プログラムは、取得した撮像画像に基準物が含まれるか否かを判定する処理をコンピュータに実行させる。制御プログラムは、取得した撮像画像に基準物が含まれる場合、該撮像画像を端末装置に送信する処理をコンピュータに実行させる。制御プログラムは、送信した撮像画像に基準物に応じた重畳用データが重畳された画像を受信すると、受信した画像を表示部に表示する処理をコンピュータに実行させる。【選択図】図１
2018078475.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮像された撮像画像を取得し、
取得した前記撮像画像に基準物が含まれるか否かを判定し、
取得した前記撮像画像に前記基準物が含まれる場合、該撮像画像を端末装置に送信し、
送信した前記撮像画像に前記基準物に応じた重畳用データが重畳された画像を受信すると、受信した前記画像を表示部に表示する、
処理をコンピュータに実行させることを特徴とする制御プログラム。
【請求項２】
前記送信する処理は、取得した前記撮像画像に前記基準物が含まれない場合、取得した前記撮像画像の前記端末装置への送信を抑制する、
ことを特徴とする請求項１に記載の制御プログラム。
【請求項３】
前記送信する処理は、さらに、前記撮像画像に前記基準物が含まれることを示す情報を前記端末装置に送信する、
ことを特徴とする請求項１または２に記載の制御プログラム。
【請求項４】
前記判定する処理は、取得した前記撮像画像に所定の形状が含まれるか否かを判定することで、取得した前記撮像画像に前記基準物が含まれるか否かを判定する、
ことを特徴とする請求項１〜３のいずれか１つに記載の制御プログラム。
【請求項５】
撮像装置により撮像された撮像画像を順次取得し、取得した前記撮像画像を端末装置に送信する処理をコンピュータに実行させる制御プログラムにおいて、
取得した前記撮像画像に基準物が含まれるか否かを判定し、
取得した前記撮像画像に前記基準物が含まれない場合、前記端末装置への画像送信を抑制する、
処理をコンピュータに実行させることを特徴とする制御プログラム。
【請求項６】
前記抑制する処理は、取得した前記撮像画像に前記基準物が含まれない場合、前記端末装置への画像送信頻度を、前記基準物が含まれる場合よりも低下させる、
ことを特徴とする請求項５に記載の制御プログラム。
【請求項７】
前記判定する処理は、取得した前記撮像画像に所定の形状が含まれるか否かを判定することで、取得した前記撮像画像に前記基準物が含まれるか否かを判定する、
ことを特徴とする請求項５または６に記載の制御プログラム。
【請求項８】
撮像装置により撮像された撮像画像を取得し、
取得した前記撮像画像に基準物が含まれるか否かを判定し、
取得した前記撮像画像に前記基準物が含まれる場合、該撮像画像を端末装置に送信し、
送信した前記撮像画像に前記基準物に応じた重畳用データが重畳された画像を受信すると、受信した前記画像を表示部に表示する、
処理をコンピュータが実行することを特徴とする制御方法。
【請求項９】
撮像装置により撮像された撮像画像を順次取得し、取得した前記撮像画像を端末装置に送信する処理をコンピュータが実行する制御方法において、
取得した前記撮像画像に基準物が含まれるか否かを判定し、
取得した前記撮像画像に前記基準物が含まれない場合、前記端末装置への画像送信を抑制する、
処理をコンピュータが実行することを特徴とする制御方法。
【請求項１０】
撮像装置により撮像された撮像画像を取得する取得部と、
取得した前記撮像画像に基準物が含まれるか否かを判定する判定部と、
取得した前記撮像画像に前記基準物が含まれる場合、該撮像画像を端末装置に送信する送信制御部と、
送信した前記撮像画像に前記基準物に応じた重畳用データが重畳された画像を受信すると、受信した前記画像を表示部に表示する表示制御部と、
を有することを特徴とする制御装置。
【請求項１１】
撮像装置により撮像された撮像画像を順次取得し、取得した前記撮像画像を端末装置に送信する制御装置において、
取得した前記撮像画像に基準物が含まれるか否かを判定する判定部と、
取得した前記撮像画像に前記基準物が含まれない場合、前記端末装置への画像送信を抑制する送信制御部と、
を有することを特徴とする制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御プログラム、制御方法および制御装置に関する。
【背景技術】
【０００２】
近年、ヘッドマウントディスプレイ（以下、ＨＭＤ（Head  Mounted  Display）ともいう。）等の表示装置を用いて、撮像された画像上にオブジェクトを重畳表示させるＡＲ（Augmented  Reality）技術が提案されている。撮像画像は、例えば、ＨＭＤに設けられた撮像装置で撮像され、ＨＭＤと接続される端末装置に送信される。端末装置では、例えば、連続して取得される撮像画像上にＡＲマーカがあるか否かを画像処理によって認識する。端末装置は、画像処理の結果に基づいて、例えば、ＡＲコンテンツ等のオブジェクトを撮像画像に重畳した重畳画像を生成し、ヘッドマウントディスプレイに送信して表示させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−０８２５２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、例えば、ある作業場所から他の作業場所への移動中やＡＲマーカがない場所での作業等のように、ＨＭＤで撮像される撮像画像を見なくてもよい場合がある。この場合、撮像画像上にＡＲマーカが含まれる可能性は低いため、ＨＭＤから端末装置に撮像画像を送信しなくてもよいと考えられる。このため、ＨＭＤから端末装置に対して、ＡＲマーカが含まれない撮像画像を、ＡＲマーカが含まれる撮像画像と同様に送信することで、画像処理に関する余計な電力を消費してしまう場合がある。
【０００５】
一つの側面では、本発明は、端末装置への画像送信に要する消費電力を低減できる制御プログラム、制御方法および制御装置を提供することにある。
【課題を解決するための手段】
【０００６】
一つの態様では、制御プログラムは、撮像装置により撮像された撮像画像を取得する処理をコンピュータに実行させる。制御プログラムは、取得した前記撮像画像に基準物が含まれるか否かを判定する処理をコンピュータに実行させる。制御プログラムは、取得した前記撮像画像に前記基準物が含まれる場合、該撮像画像を端末装置に送信する処理をコンピュータに実行させる。制御プログラムは、送信した前記撮像画像に前記基準物に応じた重畳用データが重畳された画像を受信すると、受信した前記画像を表示部に表示する処理をコンピュータに実行させる。
【発明の効果】
【０００７】
端末装置への画像送信に要する消費電力を低減できる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施例１の制御システムの構成の一例を示すブロック図である。
【図２】図２は、ＨＭＤのハードウェア構成の一例を示す図である。
【図３】図３は、オブジェクトデータ記憶部の一例を示す図である。
【図４】図４は、実施例１の制御処理の一例を示すシーケンス図である。
【図５】図５は、実施例２の制御システムの構成の一例を示すブロック図である。
【図６】図６は、実施例２の制御処理の一例を示すシーケンス図である。
【発明を実施するための形態】
【０００９】
以下、図面に基づいて、本願の開示する制御プログラム、制御方法および制御装置の実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。
【実施例１】
【００１０】
図１は、実施例の制御システムの構成の一例を示すブロック図である。図１に示す制御システム１は、ＨＭＤ１０と、端末装置１００とを有する。ＨＭＤ１０と端末装置１００とは、例えば１対１で無線により接続される。すなわち、ＨＭＤ１０は、端末装置１００の表示部の一例として機能する。なお、図１では、ＨＭＤ１０と端末装置１００との組について、１組を一例として示したが、ＨＭＤ１０と端末装置１００との組の数は限定されず、任意の数のＨＭＤ１０と端末装置１００との組を有してもよい。
【００１１】
ＨＭＤ１０と端末装置１００との間は、例えば、Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔ（登録商標）等の無線ＬＡＮ（Local  Area  Network）により相互に通信可能に接続される。なお、ＨＭＤ１０と端末装置１００との間は、有線で接続されるようにしてもよい。
【００１２】
ＨＭＤ１０は、ユーザが端末装置１００とともに装着し、端末装置１００から送信される表示画面を表示する。ＨＭＤ１０は、例えば、単眼の透過型のＨＭＤを用いることができる。なお、ＨＭＤ１０は、例えば、両眼用や没入型等の各種のＨＭＤを用いるようにしてもよい。また、ＨＭＤ１０は、撮像装置の一例であるカメラを有する。
【００１３】
ＨＭＤ１０は、撮像装置により撮像された撮像画像を取得する。ＨＭＤ１０は、取得した撮像画像に基準物が含まれるか否かを判定する。ＨＭＤ１０は、取得した撮像画像に基準物が含まれる場合、撮像画像を端末装置１００に送信する。ＨＭＤ１０は、送信した撮像画像に基準物に応じた重畳用データが重畳された画像を受信すると、受信した画像を表示部に表示する。これにより、ＨＭＤ１０は、端末装置１００への画像送信に要する消費電力を低減できる。
【００１４】
また、ＨＭＤ１０は、撮像装置により撮像された撮像画像を順次取得し、取得した撮像画像を端末装置１００に送信する。この場合において、ＨＭＤ１０は、取得した撮像画像に基準物が含まれるか否かを判定する。ＨＭＤ１０は、取得した撮像画像に基準物が含まれない場合、端末装置１００への画像送信を抑制する。これにより、ＨＭＤ１０は、端末装置１００への画像送信に要する消費電力を低減できる。
【００１５】
端末装置１００は、ユーザが装着して操作する情報処理装置であり、例えば、タブレット端末やスマートフォン等の移動体通信端末等を用いることができる。端末装置１００は、例えば、ＨＭＤ１０から画像データを受信すると、受信した画像データをデコードする。また、端末装置１００は、ＨＭＤ１０から受信した画像データに対してＡＲマーカの認識処理およびＡＲコンテンツの重畳表示処理を行って重畳画像を生成する。端末装置１００は、生成した重畳画像をＨＭＤ１０に送信して表示させる。
【００１６】
次に、ＨＭＤ１０の構成について説明する。図１に示すように、ＨＭＤ１０は、通信部１１と、カメラ１２と、表示部１３と、記憶部１４と、制御部１５とを有する。なお、ＨＭＤ１０は、図１に示す機能部以外にも、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
【００１７】
通信部１１は、例えば、無線ＬＡＮ等の通信モジュール等によって実現される。通信部１１は、例えば、Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔ（登録商標）により端末装置１００と無線で接続され、端末装置１００との間で情報の通信を司る通信インタフェースである。通信部１１は、制御部１５から入力された撮像画像に対応する画像データを端末装置１００に送信する。また、通信部１１は、端末装置１００から重畳画像に対応する画像データを受信する。通信部１１は、受信した画像データを制御部１５に出力する。
【００１８】
カメラ１２は、ＡＲコンテンツが対応付けられる所定の形状、つまりＡＲマーカを撮像する撮像装置である。カメラ１２は、例えば、撮像素子としてＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサまたはＣＣＤ（Charge  Coupled  Device）イメージセンサ等を用いて、画像を撮像する。カメラ１２は、撮像素子が受光した光を光電変換しＡ／Ｄ（Analog／Digital）変換を行って撮像画像を生成する。カメラ１２は、生成した撮像画像を制御部１５に出力する。
【００１９】
表示部１３は、各種情報を表示するための表示デバイスである。表示部１３は、例えば、ハーフミラーに映像が投影され、ユーザが映像とともに外部の風景を透過して見ることができる透過型のＨＭＤの表示素子に相当する。なお、表示部１３は、没入型、ビデオ透過型、網膜投影型等のＨＭＤに対応する表示素子でもよい。
【００２０】
記憶部１４は、例えば、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子等の記憶装置によって実現される。記憶部１４は、制御部１５での処理に用いる情報を記憶する。
【００２１】
制御部１５は、例えば、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１５は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路により実現されるようにしてもよい。
【００２２】
ここで、図２を用いてＨＭＤ１０のハードウェア構成について説明する。図２は、ＨＭＤのハードウェア構成の一例を示す図である。図２に示すように、ＨＭＤ１０は、制御部１５の一例であるプロセッサ１５ａに、無線部１１ａと、表示部１３と、記憶部１４と、キー入力部３１と、オーディオ部３２と、画像処理部３５と、センサ制御部３７とが、例えば図示しないバスを介して接続される。
【００２３】
無線部１１ａは、通信部１１の一例である。記憶部１４は、例えば、ＲＯＭ（Read  Only  Memory）１４ａとＲＡＭ１４ｂとを有する。キー入力部３１は、例えばＨＭＤ１０の電源ボタンであるが、他の機能を有するボタンを含んでもよい。オーディオ部３２には、スピーカ３３およびマイク３４が接続される。オーディオ部３２は、例えば音声の入出力を制御する。画像処理部３５には、カメラ１２が接続される。画像処理部３５は、例えば、カメラ１２から入力されるピント、露光、ゲイン、ＢＶ（Brightness  Value）値および色温度等の情報に基づいてカメラ１２を制御し、カメラ１２から入力される撮像画像に対して画像処理を実行する。センサ制御部３７には、例えば、加速度センサ、地磁気センサ等の各種センサ３６が接続される。センサ制御部３７は、各種センサ３６を制御する。
【００２４】
図１の説明に戻って、制御部１５は、取得部１６と、判定部１７と、変換部１８と、送信制御部１９と、受信制御部２０とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１５の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【００２５】
取得部１６は、カメラ１２から入力された撮像画像を取得する。すなわち、取得部１６は、撮像装置により撮像された撮像画像を順次取得する。取得部１６は、取得した撮像画像を判定部１７に出力する。また、取得部１６は、例えばキー入力部３１から電源オフとする信号が入力されるか否か、つまり、処理を終了するか否かを判定する。取得部１６は、処理を終了しない場合には、引き続き、カメラ１２から入力された撮像画像を取得する。取得部１６は、処理を終了する場合には、ＨＭＤ１０の各部に対してシャットダウン処理を実行する。
【００２６】
判定部１７は、取得部１６から撮像画像が入力されると、入力された撮像画像にＡＲマーカの形状が含まれるか否かを判定する。すなわち、判定部１７は、入力された撮像画像に基準物が含まれるか否かを判定する。また、ＡＲマーカの形状は、所定の形状の一例であり、例えば矩形である。判定部１７は、撮像画像にＡＲマーカの形状が含まれると判定した場合には、撮像画像を変換部１８に出力する。判定部１７は、撮像画像にＡＲマーカの形状が含まれないと判定した場合には、撮像画像を変換部１８に出力せずに、次の撮像画像の入力を待機する。
【００２７】
変換部１８は、取得した撮像画像に対してエンコードを実行し、受信した画像データに対してデコードを実行するエンコーダ／デコーダである。変換部１８は、判定部１７から撮像画像が入力されると、入力された撮像画像に対してエンコードを実行する。このとき、変換部１８は、例えば、送信制御部１９から端末装置１００に対して送信されるフレームレート（送信レート）に合わせたフレームレートでエンコードを実行する。なお、変換部１８は、送信制御部１９から端末装置１００に対して送信されるフレームレートと異なるフレームレートでエンコードを実行してもよい。変換部１８は、例えば、解像度が７２０×４８０の撮像画像に対して、Ｈ．２６４のＭＰ（Main  Profile）、Ｌｅｖｅｌ３を用いて、ビットレートを１０Ｍｂｐｓ（bit  per  second）、フレームレートを３０ｆｐｓ（frame  per  second）としてエンコードを実行する。変換部１８は、撮像画像に対してエンコードを実行して得られた画像データを送信制御部１９に出力する。
【００２８】
変換部１８は、受信制御部２０から受信した画像データが入力されると、入力された画像データに対してデコードを実行し、デコードした画像データを表示部１３に出力して表示させる。受信した画像データは、例えば、Ｍｉｒａｃａｓｔ（登録商標）で用いられるＨ．２６４によってデコードされる。
【００２９】
送信制御部１９は、変換部１８から画像データが入力されると、入力された画像データを、通信部１１を介して端末装置１００に送信する。送信制御部１９は、例えば、フレームレートを３０ｆｐｓとして画像データを端末装置１００に送信する。すなわち、送信制御部１９は、取得した撮像画像に基準物が含まれる場合、撮像画像を端末装置１００に送信する。また、送信制御部１９は、取得した撮像画像に基準物が含まれない場合、取得した撮像画像の端末装置１００への送信を抑制する。さらに、送信制御部１９は、撮像画像に基準物が含まれることを示す情報を画像データとともに端末装置１００に送信するようにしてもよい。
【００３０】
受信制御部２０は、例えば、通信部１１を介して、Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔ（登録商標）を用いたＭｉｒａｃａｓｔ（登録商標）によって、端末装置１００から画像データを受信する。画像データは、ＡＲコンテンツが重畳された重畳画像に対応する画像データである。受信制御部２０は、受信した画像データを変換部１８に出力する。すなわち、変換部１８および受信制御部２０は、送信した撮像画像に基準物に応じた重畳用データが重畳された画像を受信すると、受信した画像を表示部１３に表示する表示制御部の一例である。
【００３１】
続いて、端末装置１００の構成について説明する。図１に示すように、端末装置１００は、通信部１１０と、表示操作部１１１と、記憶部１２０と、制御部１３０とを有する。なお、端末装置１００は、図１に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
【００３２】
通信部１１０は、例えば、無線ＬＡＮ等の通信モジュール等によって実現される。通信部１１０は、例えば、Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔ（登録商標）によりＨＭＤ１０と無線で接続され、ＨＭＤ１０との間で情報の通信を司る通信インタフェースである。通信部１１０は、ＨＭＤ１０から撮像画像に対応する画像データを受信する。通信部１１０は、受信した画像データを制御部１３０に出力する。また、通信部１１０は、制御部１３０から入力された重畳画像に対応する画像データをＨＭＤ１０に送信する。
【００３３】
表示操作部１１１は、各種情報を表示するための表示デバイス、および、ユーザから各種操作を受け付ける入力デバイスである。例えば、表示操作部１１１は、表示デバイスとして液晶ディスプレイ等によって実現される。また、例えば、表示操作部１１１は、入力デバイスとして、タッチパネル等によって実現される。つまり、表示操作部１１１は、表示デバイスと入力デバイスとが一体化される。表示操作部１１１は、ユーザによって入力された操作を操作情報として制御部１３０に出力する。なお、表示操作部１１１は、ＨＭＤ１０と同様の画面を表示してもよいし、ＨＭＤ１０と異なる画面を表示してもよい。
【００３４】
記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部１２０は、オブジェクトデータ記憶部１２１を有する。また、記憶部１２０は、制御部１３０での処理に用いる情報を記憶する。
【００３５】
オブジェクトデータ記憶部１２１は、オブジェクトデータを記憶する。図３は、オブジェクトデータ記憶部の一例を示す図である。図３に示すように、オブジェクトデータ記憶部１２１は、「オブジェクトＩＤ（Identifier）」、「オブジェクトデータ」といった項目を有する。オブジェクトデータ記憶部１２１は、例えばオブジェクトデータごとに１レコードとして記憶する。なお、オブジェクトデータ記憶部１２１は、他の項目、例えば、位置情報をオブジェクトデータと対応付けて記憶するようにしてもよい。
【００３６】
「オブジェクトＩＤ」は、オブジェクトデータ、つまりＡＲコンテンツを識別する識別子である。「オブジェクトデータ」は、オブジェクトデータを示す情報である。「オブジェクトデータ」は、例えば、オブジェクトデータ、つまりＡＲコンテンツを構成するデータファイルである。
【００３７】
制御部１３０は、例えば、ＣＰＵやＭＰＵ等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されるようにしてもよい。制御部１３０は、受信制御部１３１と、変換部１３２と、ＡＲ処理部１３３と、送信制御部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【００３８】
受信制御部１３１は、通信部１１０を介して、ＨＭＤ１０から画像データ、つまり、撮像画像に対応する画像データを受信すると、受信した画像データを変換部１３２に出力する。なお、受信制御部１３１は、ＨＭＤ１０から撮像画像に基準物が含まれることを示す情報を画像データとともに受信する場合には、当該情報が対応付けられている画像データに対してのみＡＲマーカ認識処理を実行するように、ＡＲ処理部１３３に指示する。
【００３９】
変換部１３２は、受信制御部１３１から受信した画像データが入力されると、入力された画像データに対してデコードを実行し、デコードした画像データをＡＲ処理部１３３に出力する。受信した画像データは、例えば、Ｈ．２６４によってデコードされる。
【００４０】
変換部１３２は、ＡＲ処理部１３３から重畳画像に対応する画像データが入力されると、入力された画像データに対して、Ｍｉｒａｃａｓｔ（登録商標）を用いて送信可能なように、エンコードを実行する。変換部１３２は、例えば、Ｈ．２６４を用いてエンコードを実行する。変換部１３２は、エンコード済みの画像データを送信制御部１３４に出力する。
【００４１】
ＡＲ処理部１３３は、変換部１３２からデコードした画像データが入力されると、入力された画像データに対して、ＡＲマーカ認識処理を実行する。ＡＲ処理部１３３は、オブジェクトデータ記憶部１２１を参照して、認識したＡＲマーカに対応するオブジェクトデータ、つまりＡＲコンテンツを画像データに重畳して重畳画像を生成する。すなわち、ＡＲ処理部１３３は、入力された画像データに、基準物に応じた重畳用データを重畳して重畳画像を生成する。ＡＲ処理部１３３は、生成した重畳画像に対応する画像データを変換部１３２に出力する。
【００４２】
送信制御部１３４は、変換部１３２からエンコード済みの画像データが入力されると、通信部１１０を介して、入力された画像データをＨＭＤ１０に送信する。すなわち、送信制御部１３４は、例えばＷｉ−Ｆｉ  Ｄｉｒｅｃｔ（登録商標）を用いたＭｉｒａｃａｓｔ（登録商標）によって、重畳画像に対応する画像データをＨＭＤ１０に送信する。
【００４３】
次に、実施例の制御システム１の動作について説明する。図４は、実施例の制御処理の一例を示すシーケンス図である。
【００４４】
制御システム１のＨＭＤ１０は、例えばユーザにより電源が投入されると、カメラ１２を起動する（ステップＳ１）。カメラ１２は、起動すると、撮像画像の制御部１５への出力を開始する。ＨＭＤ１０の取得部１６は、カメラ１２から入力された撮像画像の取得を開始する（ステップＳ２）。取得部１６は、取得した撮像画像を判定部１７に出力する。
【００４５】
判定部１７は、取得部１６から撮像画像が入力されると、入力された撮像画像にＡＲマーカの形状が含まれるか否かを判定する（ステップＳ３）。判定部１７は、撮像画像にＡＲマーカの形状が含まれると判定した場合には（ステップＳ３：肯定）、撮像画像を変換部１８に出力する。
【００４６】
変換部１８は、判定部１７から撮像画像が入力されると、入力された撮像画像に対してエンコードを実行する（ステップＳ４）。変換部１８は、撮像画像に対してエンコードを実行して得られた画像データを送信制御部１９に出力する。送信制御部１９は、変換部１８から画像データが入力されると、入力された画像データを端末装置１００に送信する（ステップＳ５）。
【００４７】
判定部１７は、撮像画像にＡＲマーカの形状が含まれないと判定した場合には（ステップＳ３：否定）、撮像画像を変換部１８に出力せずに、すなわち、エンコードを実行せずに（ステップＳ６）、ステップＳ２に戻る。
【００４８】
端末装置１００の受信制御部１３１は、ＨＭＤ１０から画像データを受信すると（ステップＳ７）、受信した画像データを変換部１３２に出力する。
【００４９】
変換部１３２は、受信制御部１３１から受信した画像データが入力されると、入力された画像データに対してデコードを実行し（ステップＳ８）、デコードした画像データをＡＲ処理部１３３に出力する。
【００５０】
ＡＲ処理部１３３は、変換部１３２からデコードした画像データが入力されると、入力された画像データについて、ＡＲマーカに対する処理を実行する（ステップＳ９）。すなわち、ＡＲ処理部１３３は、オブジェクトデータ記憶部１２１を参照して、ＡＲコンテンツを画像データに重畳して重畳画像を生成する。ＡＲ処理部１３３は、生成した重畳画像に対応する画像データを変換部１３２に出力する。
【００５１】
変換部１３２は、ＡＲ処理部１３３から重畳画像に対応する画像データが入力されると、入力された画像データに対するエンコードを実行する（ステップＳ１０）。変換部１３２は、エンコード済みの画像データを送信制御部１３４に出力する。
【００５２】
送信制御部１３４は、変換部１３２からエンコード済みの画像データが入力されると、入力された画像データをＨＭＤ１０に送信する（ステップＳ１１）。
【００５３】
ＨＭＤ１０の受信制御部２０は、端末装置１００から画像データを受信する（ステップＳ１２）。受信制御部２０は、受信した画像データを変換部１８に出力する。
【００５４】
変換部１８は、受信制御部２０から受信した画像データが入力されると、入力された画像データに対してデコードを実行し、デコードした画像データを表示部１３に出力して表示させる（ステップＳ１３）。
【００５５】
取得部１６は、処理を終了するか否かを判定する（ステップＳ１４）。取得部１６は、処理を終了しない場合には（ステップＳ１４：否定）、ステップＳ２に戻る。取得部１６は、処理を終了する場合には（ステップＳ１４：肯定）、ＨＭＤ１０の各部に対してシャットダウン処理を実行し、制御処理を終了する。これにより、ＨＭＤ１０は、端末装置１００への画像送信に要する消費電力を低減できる。
【００５６】
このように、ＨＭＤ１０は、撮像装置であるカメラ１２により撮像された撮像画像を取得する。また、ＨＭＤ１０は、取得した撮像画像に基準物が含まれるか否かを判定する。また、ＨＭＤ１０は、取得した撮像画像に基準物が含まれる場合、撮像画像を端末装置１００に送信する。また、ＨＭＤ１０は、送信した撮像画像に基準物に応じた重畳用データが重畳された画像を受信すると、受信した画像を表示部１３に表示する。その結果、端末装置１００への画像送信に要する消費電力を低減できる。
【００５７】
また、ＨＭＤ１０は、取得した撮像画像に基準物が含まれない場合、取得した撮像画像の端末装置１００への送信を抑制する。その結果、端末装置１００への画像送信に要する消費電力を低減できる。
【００５８】
また、ＨＭＤ１０は、さらに、撮像画像に基準物が含まれることを示す情報を端末装置１００に送信する。その結果、端末装置１００において、ＡＲマーカが含まれない撮像画像に対する認識処理を省略できる。
【００５９】
また、ＨＭＤ１０は、取得した撮像画像に所定の形状が含まれるか否かを判定することで、取得した撮像画像に基準物が含まれるか否かを判定する。その結果、基準物の認識処理の負荷を低減できる。
【実施例２】
【００６０】
上記実施例１では、撮像画像に基準物が含まれない場合に、撮像画像の端末装置１００への送信を抑制したが、撮像画像の送信頻度を低下させるようにしてもよく、この場合の実施の形態につき、実施例２として説明する。図５は、実施例２の制御システムの構成の一例を示すブロック図である。図５に示す制御システム２は、ＨＭＤ５０と、端末装置２００とを有する。なお、実施例１の制御システム１と同一の構成には同一符号を付すことで、その重複する構成および動作の説明については省略する。
【００６１】
実施例２のＨＭＤ５０は、実施例１のＨＭＤ１０と比較して、制御部１５に代えて制御部５５を有する。また、制御部５５は、実施例１の制御部１５と比較して、判定部１７および送信制御部１９に代えて、判定部５７および送信制御部５９を有する。
【００６２】
判定部５７は、取得部１６から撮像画像が入力されると、前回の画像データの送信から所定時間経過したか否かを判定する。ここで、所定時間は、例えば１０秒とすることができる。判定部５７は、前回の画像データの送信から所定時間経過したと判定した場合には、入力された撮像画像を変換部１８に出力する。この場合、判定部５７は、ＡＲマーカ検出情報を生成せずに、つまり、ＡＲマーカ検出情報を撮像画像に対応付けずに、撮像画像を変換部１８に出力する。
【００６３】
判定部５７は、前回の画像データの送信から所定時間経過していないと判定した場合には、入力された撮像画像にＡＲマーカの形状が含まれるか否かを判定する。すなわち、判定部５７は、入力された撮像画像に基準物が含まれるか否かを判定する。また、ＡＲマーカの形状は、所定の形状の一例であり、例えば矩形である。判定部５７は、撮像画像にＡＲマーカの形状が含まれると判定した場合には、撮像画像に基準物が含まれることを示す情報としてＡＲマーカ検出情報を生成し、生成したＡＲマーカ検出情報を撮像画像に対応付けて撮像画像とともに変換部１８に出力する。判定部５７は、撮像画像にＡＲマーカの形状が含まれないと判定した場合には、撮像画像を変換部１８に出力せずに、次の撮像画像の入力を待機する。
【００６４】
送信制御部５９は、変換部１８からＡＲマーカ検出情報が対応付けられた画像データが入力されると、入力された画像データを、通信部１１を介して端末装置２００に送信する。このとき、送信制御部５９は、ＡＲマーカ検出情報を画像データに対応付けて、通信部１１を介して端末装置２００に送信する。また、送信制御部５９は、例えば、フレームレートを３０ｆｐｓとして画像データを端末装置２００に送信する。
【００６５】
送信制御部５９は、変換部１８からＡＲマーカ検出情報が対応付けられていない画像データが入力されると、入力された画像データを、通信部１１を介して端末装置２００に送信する。このとき、送信制御部５９は、例えば、判定部５７における前回の画像データの送信から所定時間経過したか否かの判定に用いた所定時間の間隔で、入力された画像データを、通信部１１を介して端末装置２００に送信する。すなわち、送信制御部５９は、取得した撮像画像に基準物が含まれない場合、端末装置２００への画像送信を抑制する。言い換えると、送信制御部５９は、取得した撮像画像に基準物が含まれない場合、端末装置２００への画像送信頻度を、基準物が含まれる場合よりも低下させる。
【００６６】
実施例２の端末装置２００は、実施例１の端末装置１００と比較して、制御部１３０に代えて制御部２３０を有する。また、制御部２３０は、実施例１の制御部１３０と比較して、受信制御部１３１およびＡＲ処理部１３３に代えて、受信制御部２３１およびＡＲ処理部２３３を有する。
【００６７】
受信制御部２３１は、通信部１１０を介して、ＨＭＤ５０から画像データ、つまり、撮像画像に対応する画像データを受信すると、受信した画像データを変換部１３２に出力する。また、受信制御部２３１は、受信した画像データにＡＲマーカ検出情報が対応付けられている場合には、受信した画像データからＡＲマーカ検出情報を抽出してＡＲ処理部２３３に出力する。
【００６８】
ＡＲ処理部２３３は、変換部１３２からデコードした画像データが入力されると、受信制御部２３１から、画像データに対応するＡＲマーカ検出情報が入力されたか否かを判定する。つまり、ＡＲ処理部２３３は、ＨＭＤ５０側でＡＲマーカを検出したか否かを判定する。ＡＲ処理部２３３は、ＨＭＤ５０側でＡＲマーカを検出したと判定した場合には、画像データに対して、ＡＲマーカ認識処理を実行する。ＡＲ処理部２３３は、オブジェクトデータ記憶部１２１を参照して、認識したＡＲマーカに対応するオブジェクトデータ、つまりＡＲコンテンツを画像データに重畳して重畳画像を生成する。ＡＲ処理部２３３は、生成した重畳画像に対応する画像データを変換部１３２に出力する。
【００６９】
ＡＲ処理部２３３は、ＨＭＤ５０側でＡＲマーカを検出していないと判定した場合には、入力された画像データを、そのまま変換部１３２に出力する。すなわち、ＡＲ処理部２３３は、受信した画像データに対応する画像データを変換部１３２に出力する。
【００７０】
次に、実施例２の制御システム２の動作について説明する。図６は、実施例２の制御処理の一例を示すシーケンス図である。以下の説明では、ステップＳ１，Ｓ２，Ｓ３〜Ｓ６，Ｓ８，Ｓ９〜Ｓ１４の処理は、実施例１と同様であるので、その説明を省略する。
【００７１】
ＨＭＤ５０は、ステップＳ２の処理に続いて、次の処理を実行する。判定部５７は、取得部１６から撮像画像が入力されると、前回の画像データの送信から所定時間経過したか否かを判定する（ステップＳ５１）。判定部５７は、前回の画像データの送信から所定時間経過したと判定した場合には（ステップＳ５１：肯定）、入力された撮像画像を変換部１８に出力し、ステップＳ４に進む。判定部５７は、前回の画像データの送信から所定時間経過していないと判定した場合には、ステップＳ３に進む。
【００７２】
端末装置２００は、ステップＳ５の処理に続いて、次の処理を実行する。受信制御部２３１は、ＨＭＤ５０から画像データを受信すると（ステップＳ５２）、受信した画像データを変換部１３２に出力し、ステップＳ８に進む。このとき、受信制御部２３１は、受信した画像データにＡＲマーカ検出情報が対応付けられている場合には、受信した画像データからＡＲマーカ検出情報を抽出してＡＲ処理部２３３に出力する。
【００７３】
端末装置２００は、ステップＳ８の処理に続いて、次の処理を実行する。ＡＲ処理部２３３は、変換部１３２からデコードした画像データが入力されると、ＨＭＤ５０側でＡＲマーカを検出したか否かを判定する（ステップＳ５３）。ＡＲ処理部２３３は、ＨＭＤ５０側でＡＲマーカを検出したと判定した場合には（ステップＳ５３：肯定）、ステップＳ９に進む。ＡＲ処理部２３３は、ＨＭＤ５０側でＡＲマーカを検出していないと判定した場合には（ステップＳ５３：否定）、受信した画像データに対応する画像データを変換部１３２に出力し、ステップＳ１０に進む。これにより、ＨＭＤ５０は、端末装置２００への画像送信に要する消費電力を低減できる。
【００７４】
このように、ＨＭＤ５０は、撮像装置であるカメラ１２により撮像された撮像画像を順次取得し、取得した撮像画像を端末装置２００に送信する。この場合において、ＨＭＤ５０は、取得した撮像画像に基準物が含まれるか否かを判定する。また、ＨＭＤ５０は、取得した撮像画像に基準物が含まれない場合、端末装置２００への画像送信を抑制する。その結果、端末装置２００への画像送信に要する消費電力を低減できる。
【００７５】
また、ＨＭＤ５０は、取得した撮像画像に基準物が含まれない場合、端末装置２００への画像送信頻度を、基準物が含まれる場合よりも低下させる。その結果、端末装置２００への画像送信に要する消費電力を低減できる。
【００７６】
また、ＨＭＤ５０は、取得した撮像画像に所定の形状が含まれるか否かを判定することで、取得した撮像画像に基準物が含まれるか否かを判定する。その結果、基準物の認識処理の負荷を低減できる。
【００７７】
なお、上記実施例２では、撮像画像に基準物、つまりＡＲマーカの形状が含まれない場合に、画像データの送信頻度を低下させたが、これに限定されない。例えば、撮像画像に基準物が含まれない場合に、画像データのビットレートを低下させてもよい。
【００７８】
また、上記実施例２では、ＨＭＤ５０からＡＲマーカ検出情報を送信したが、これに限定されない。例えば、端末装置２００は、受信した画像データのビットレートやフレームレートを検出し、検出したビットレートやフレームレートに応じて、ＡＲマーカ認識処理や重畳画像の生成を行うようにしてもよい。これにより、ＨＭＤ５０からＡＲマーカ検出情報が送信されなくても、端末装置２００はＡＲマーカに関する処理を実行するか否かを判定できる。
【００７９】
また、上記実施例２では、ＨＭＤ５０が前回の画像データの送信から所定時間経過後に、撮像画像に基準物、つまりＡＲマーカの形状が含まれるか否かに関わらず、画像データを送信したが、これに限定されない。例えば、ＨＭＤ５０は、所定時間経過後の代わりに、ＨＭＤ５０のユーザが所定距離移動した場合に、撮像画像に基準物（ＡＲマーカの形状）が含まれるか否かに関わらず、画像データを送信するようにしてもよい。なお、所定距離は、例えば、５ｍといった値を用いることができる。
【００８０】
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、変換部１８と送信制御部１９と受信制御部２０とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。
【００８１】
さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro  Controller  Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。
【００８２】
なお、上記実施例で説明したＨＭＤ１０または５０は、制御プログラムを読み込んで実行することで、図１または図５等で説明した処理と同様の機能を実行することができる。例えば、ＨＭＤ１０は、取得部１６、判定部１７、変換部１８、送信制御部１９、受信制御部２０と同様の処理を実行するプロセスを実行することで、上記実施例１と同様の処理を実行することができる。また、例えば、ＨＭＤ５０は、取得部１６、判定部５７、変換部１８、送信制御部５９、受信制御部２０と同様の処理を実行するプロセスを実行することで、上記実施例２と同様の処理を実行することができる。
【００８３】
これらのプログラムは、インターネットなどのネットワークを介して配布することができる。また、これらのプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。
【００８４】
以上、上記実施例を含む実施の形態に関し、さらに以下の付記を開示する。
【００８５】
（付記１）撮像装置により撮像された撮像画像を取得し、
取得した前記撮像画像に基準物が含まれるか否かを判定し、
取得した前記撮像画像に前記基準物が含まれる場合、該撮像画像を端末装置に送信し、
送信した前記撮像画像に前記基準物に応じた重畳用データが重畳された画像を受信すると、受信した前記画像を表示部に表示する、
処理をコンピュータに実行させることを特徴とする制御プログラム。
【００８６】
（付記２）前記送信する処理は、取得した前記撮像画像に前記基準物が含まれない場合、取得した前記撮像画像の前記端末装置への送信を抑制する、
ことを特徴とする付記１に記載の制御プログラム。
【００８７】
（付記３）前記送信する処理は、さらに、前記撮像画像に前記基準物が含まれることを示す情報を前記端末装置に送信する、
ことを特徴とする付記１または２に記載の制御プログラム。
【００８８】
（付記４）前記判定する処理は、取得した前記撮像画像に所定の形状が含まれるか否かを判定することで、取得した前記撮像画像に前記基準物が含まれるか否かを判定する、
ことを特徴とする付記１〜３のいずれか１つに記載の制御プログラム。
【００８９】
（付記５）撮像装置により撮像された撮像画像を順次取得し、取得した前記撮像画像を端末装置に送信する処理をコンピュータに実行させる制御プログラムにおいて、
取得した前記撮像画像に基準物が含まれるか否かを判定し、
取得した前記撮像画像に前記基準物が含まれない場合、前記端末装置への画像送信を抑制する、
処理をコンピュータに実行させることを特徴とする制御プログラム。
【００９０】
（付記６）前記抑制する処理は、取得した前記撮像画像に前記基準物が含まれない場合、前記端末装置への画像送信頻度を、前記基準物が含まれる場合よりも低下させる、
ことを特徴とする付記５に記載の制御プログラム。
【００９１】
（付記７）前記判定する処理は、取得した前記撮像画像に所定の形状が含まれるか否かを判定することで、取得した前記撮像画像に前記基準物が含まれるか否かを判定する、
ことを特徴とする付記５または６に記載の制御プログラム。
【００９２】
（付記８）撮像装置により撮像された撮像画像を取得し、
取得した前記撮像画像に基準物が含まれるか否かを判定し、
取得した前記撮像画像に前記基準物が含まれる場合、該撮像画像を端末装置に送信し、
送信した前記撮像画像に前記基準物に応じた重畳用データが重畳された画像を受信すると、受信した前記画像を表示部に表示する、
処理をコンピュータが実行することを特徴とする制御方法。
【００９３】
（付記９）前記送信する処理は、取得した前記撮像画像に前記基準物が含まれない場合、取得した前記撮像画像の前記端末装置への送信を抑制する、
ことを特徴とする付記８に記載の制御方法。
【００９４】
（付記１０）前記送信する処理は、さらに、前記撮像画像に前記基準物が含まれることを示す情報を前記端末装置に送信する、
ことを特徴とする付記８または９に記載の制御方法。
【００９５】
（付記１１）前記判定する処理は、取得した前記撮像画像に所定の形状が含まれるか否かを判定することで、取得した前記撮像画像に前記基準物が含まれるか否かを判定する、
ことを特徴とする付記８〜１０のいずれか１つに記載の制御方法。
【００９６】
（付記１２）撮像装置により撮像された撮像画像を順次取得し、取得した前記撮像画像を端末装置に送信する処理をコンピュータが実行する制御方法において、
取得した前記撮像画像に基準物が含まれるか否かを判定し、
取得した前記撮像画像に前記基準物が含まれない場合、前記端末装置への画像送信を抑制する、
処理をコンピュータが実行することを特徴とする制御方法。
【００９７】
（付記１３）前記抑制する処理は、取得した前記撮像画像に前記基準物が含まれない場合、前記端末装置への画像送信頻度を、前記基準物が含まれる場合よりも低下させる、
ことを特徴とする付記１２に記載の制御方法。
【００９８】
（付記１４）前記判定する処理は、取得した前記撮像画像に所定の形状が含まれるか否かを判定することで、取得した前記撮像画像に前記基準物が含まれるか否かを判定する、
ことを特徴とする付記１２または１３に記載の制御方法。
【００９９】
（付記１５）撮像装置により撮像された撮像画像を取得する取得部と、
取得した前記撮像画像に基準物が含まれるか否かを判定する判定部と、
取得した前記撮像画像に前記基準物が含まれる場合、該撮像画像を端末装置に送信する送信制御部と、
送信した前記撮像画像に前記基準物に応じた重畳用データが重畳された画像を受信すると、受信した前記画像を表示部に表示する表示制御部と、
を有することを特徴とする制御装置。
【０１００】
（付記１６）前記送信する処理は、取得した前記撮像画像に前記基準物が含まれない場合、取得した前記撮像画像の前記端末装置への送信を抑制する、
ことを特徴とする付記１５に記載の制御装置。
【０１０１】
（付記１７）前記送信する処理は、さらに、前記撮像画像に前記基準物が含まれることを示す情報を前記端末装置に送信する、
ことを特徴とする付記１５または１６に記載の制御装置。
【０１０２】
（付記１８）前記判定する処理は、取得した前記撮像画像に所定の形状が含まれるか否かを判定することで、取得した前記撮像画像に前記基準物が含まれるか否かを判定する、
ことを特徴とする付記１５〜１７のいずれか１つに記載の制御装置。
【０１０３】
（付記１９）撮像装置により撮像された撮像画像を順次取得し、取得した前記撮像画像を端末装置に送信する制御装置において、
取得した前記撮像画像に基準物が含まれるか否かを判定する判定部と、
取得した前記撮像画像に前記基準物が含まれない場合、前記端末装置への画像送信を抑制する送信制御部と、
を有することを特徴とする制御装置。
【０１０４】
（付記２０）前記抑制する処理は、取得した前記撮像画像に前記基準物が含まれない場合、前記端末装置への画像送信頻度を、前記基準物が含まれる場合よりも低下させる、
ことを特徴とする付記１９に記載の制御装置。
【０１０５】
（付記２１）前記判定する処理は、取得した前記撮像画像に所定の形状が含まれるか否かを判定することで、取得した前記撮像画像に前記基準物が含まれるか否かを判定する、
ことを特徴とする付記１９または２０に記載の制御装置。
【符号の説明】
【０１０６】
１，２  制御システム
１０，５０  ＨＭＤ
１１  通信部
１２  カメラ
１３  表示部
１４  記憶部
１５，５５  制御部
１６  取得部
１７，５７  判定部
１８  変換部
１９，５９  送信制御部
２０  受信制御部
１００，２００  端末装置
１１０  通信部
１１１  表示操作部
１２０  記憶部
１２１  オブジェクトデータ記憶部
１３０，２３０  制御部
１３１，２３１  受信制御部
１３２  変換部
１３３，２３３  ＡＲ処理部
１３４  送信制御部
【図１】
2018078475.tif 000003
【図２】
2018078475.tif 000004
【図３】
2018078475.tif 000005
【図４】
2018078475.tif 000006
【図５】
2018078475.tif 000007
【図６】
2018078475.tif 000008