(57)【要約】      （修正有）【課題】ヘッドマウントディスプレイから端末装置への画像送信負荷を軽減できるヘッドマウントディスプレイ、送信制御プログラムおよび送信制御方法を提供する。【解決手段】ヘッドマウントディスプレイ１０は、撮像装置１２により撮像された撮像画像を順次取得し、取得した撮像画像を特定の送信レートで端末装置１００に送信する。ヘッドマウントディスプレイ１０は、判定部１７と、送信制御部１９とを備える。判定部１７は、取得した撮像画像に所定の形状が含まれるか否かを判定する。送信制御部１９は、所定の形状が含まれる場合、送信レートを高める制御を行う。【選択図】図１
2017228942.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮像された撮像画像を順次取得し、取得した前記撮像画像を特定の送信レートで端末装置に送信するヘッドマウントディスプレイにおいて、
取得した前記撮像画像に所定の形状が含まれるか否かを判定する判定部と、
前記所定の形状が含まれる場合、前記送信レートを高める制御を行う送信制御部と、
を備えることを特徴とするヘッドマウントディスプレイ。
【請求項２】
前記送信制御部は、前記所定の形状が含まれない場合、前記送信レートを低くする制御を行う、
ことを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
撮像装置により撮像された撮像画像を取得する取得部と、
取得した前記撮像画像に所定の形状が含まれるか否かを判定する判定部と、
前記所定の形状が含まれる場合、取得した前記撮像画像に応じた第１のデータ量の画像データを端末装置に送信し、前記所定の形状が含まれない場合、取得した前記撮像画像に応じた、前記第１のデータ量よりも少ない第２のデータ量の画像データを前記端末装置に送信する送信制御部と、
を備えることを特徴とするヘッドマウントディスプレイ。
【請求項４】
前記送信制御部は、前記第１のデータ量の画像データ、または、前記第２のデータ量の画像データに、前記所定の形状が含まれるか否かの判定結果を付加して、前記第１のデータ量の画像データ、または、前記第２のデータ量の画像データを前記端末装置に送信する、
ことを特徴とする請求項３に記載のヘッドマウントディスプレイ。
【請求項５】
撮像装置により撮像された撮像画像を順次取得し、取得した前記撮像画像を特定の送信レートで端末装置に送信する処理をコンピュータに実行させる送信制御プログラムにおいて、
取得した前記撮像画像に所定の形状が含まれるか否かを判定し、
前記所定の形状が含まれる場合、前記送信レートを高める制御を行う、
処理をコンピュータに実行させることを特徴とする送信制御プログラム。
【請求項６】
撮像装置により撮像された撮像画像を取得し、
取得した前記撮像画像に所定の形状が含まれるか否かを判定し、
前記所定の形状が含まれる場合、取得した前記撮像画像に応じた第１のデータ量の画像データを端末装置に送信し、前記所定の形状が含まれない場合、取得した前記撮像画像に応じた、前記第１のデータ量よりも少ない第２のデータ量の画像データを前記端末装置に送信する、
処理をコンピュータに実行させることを特徴とする送信制御プログラム。
【請求項７】
撮像装置により撮像された撮像画像を順次取得し、取得した前記撮像画像を特定の送信レートで端末装置に送信する処理をコンピュータが実行する送信制御方法において、
取得した前記撮像画像に所定の形状が含まれるか否かを判定し、
前記所定の形状が含まれる場合、前記送信レートを高める制御を行う、
処理をコンピュータが実行することを特徴とする送信制御方法。
【請求項８】
撮像装置により撮像された撮像画像を取得し、
取得した前記撮像画像に所定の形状が含まれるか否かを判定し、
前記所定の形状が含まれる場合、取得した前記撮像画像に応じた第１のデータ量の画像データを端末装置に送信し、前記所定の形状が含まれない場合、取得した前記撮像画像に応じた、前記第１のデータ量よりも少ない第２のデータ量の画像データを前記端末装置に送信する、
処理をコンピュータが実行することを特徴とする送信制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイ、送信制御プログラムおよび送信制御方法に関する。
【背景技術】
【０００２】
近年、ヘッドマウントディスプレイ（以下、ＨＭＤ（Head  Mounted  Display）ともいう。）等の表示装置を用いて、撮像された画像上にオブジェクトを重畳表示させるＡＲ（Augmented  Reality）技術が提案されている。撮像画像は、例えば、ＨＭＤに設けられた撮像装置で撮像され、ＨＭＤと接続される端末装置に送信される。端末装置では、例えば、連続して取得される撮像画像上にＡＲマーカがあるか否かを画像処理によって認識する。端末装置は、画像処理の結果に基づいて、例えば、ＡＲコンテンツ等のオブジェクトを撮像画像に重畳した重畳画像を生成し、ヘッドマウントディスプレイに送信して表示させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１２２７０７号公報
【特許文献２】特開２０１５−１４６１１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ＨＭＤで撮像される撮像画像には、ＡＲマーカが含まれない撮像画像が含まれる場合がある。ＡＲマーカが含まれない撮像画像は、ユーザが注視する必要がない画像と考えられ、高画質や高フレームレートが求められない場合がある。このため、ＨＭＤから端末装置に対して、ＡＲマーカが含まれない撮像画像を、ＡＲマーカが含まれる撮像画像と同様に送信することで、画像処理に関する余計な電力を消費してしまう場合がある。
【０００５】
一つの側面では、本発明は、ヘッドマウントディスプレイから端末装置への画像送信負荷を軽減できるヘッドマウントディスプレイ、送信制御プログラムおよび送信制御方法を提供することにある。
【課題を解決するための手段】
【０００６】
一つの態様では、ヘッドマウントディスプレイは、撮像装置により撮像された撮像画像を順次取得し、取得した前記撮像画像を特定の送信レートで端末装置に送信する。ヘッドマウントディスプレイは、判定部と、送信制御部とを備える。判定部は、取得した前記撮像画像に所定の形状が含まれるか否かを判定する。送信制御部は、前記所定の形状が含まれる場合、前記送信レートを高める制御を行う。
【発明の効果】
【０００７】
ヘッドマウントディスプレイから端末装置への画像送信負荷を軽減できる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施例の送信制御システムの構成の一例を示すブロック図である。
【図２】図２は、ＨＭＤのハードウェア構成の一例を示す図である。
【図３】図３は、オブジェクトデータ記憶部の一例を示す図である。
【図４】図４は、実施例の送信制御処理の一例を示すシーケンス図である。
【発明を実施するための形態】
【０００９】
以下、図面に基づいて、本願の開示するヘッドマウントディスプレイ、送信制御プログラムおよび送信制御方法の実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。
【実施例】
【００１０】
図１は、実施例の送信制御システムの構成の一例を示すブロック図である。図１に示す送信制御システム１は、ＨＭＤ１０と、端末装置１００とを有する。ＨＭＤ１０と端末装置１００とは、例えば１対１で無線により接続される。すなわち、ＨＭＤ１０は、端末装置１００の表示部の一例として機能する。なお、図１では、ＨＭＤ１０と端末装置１００との組について、１組を一例として示したが、ＨＭＤ１０と端末装置１００との組の数は限定されず、任意の数のＨＭＤ１０と端末装置１００との組を有してもよい。
【００１１】
ＨＭＤ１０と端末装置１００との間は、例えば、Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔ（登録商標）等の無線ＬＡＮ（Local  Area  Network）により相互に通信可能に接続される。なお、ＨＭＤ１０と端末装置１００との間は、有線で接続されるようにしてもよい。
【００１２】
ＨＭＤ１０は、ユーザが端末装置１００とともに装着し、端末装置１００から送信される表示画面を表示する。ＨＭＤ１０は、例えば、単眼の透過型のＨＭＤを用いることができる。なお、ＨＭＤ１０は、例えば、両眼用や没入型等の各種のＨＭＤを用いるようにしてもよい。また、ＨＭＤ１０は、撮像装置の一例であるカメラを有する。
【００１３】
ＨＭＤ１０は、撮像装置により撮像された撮像画像を順次取得し、取得した撮像画像を特定の送信レートで端末装置１００に送信する。この場合において、ＨＭＤ１０は、取得した撮像画像に所定の形状が含まれるか否かを判定する。ＨＭＤ１０は、所定の形状が含まれる場合、送信レートを高める制御を行う。すなわち、ＨＭＤ１０は、取得した撮像画像に所定の形状が含まれるか否かに応じて、撮像画像のフレームレートを変更して端末装置１００に送信する。これにより、ＨＭＤ１０は、ＨＭＤ１０から端末装置１００への画像送信負荷を軽減できる。
【００１４】
また、ＨＭＤ１０は、撮像装置により撮像された撮像画像を取得する。ＨＭＤ１０は、取得した撮像画像に所定の形状が含まれるか否かを判定する。ＨＭＤ１０は、所定の形状が含まれる場合、取得した撮像画像に応じた第１のデータ量の画像データを端末装置１００に送信する。ＨＭＤ１０は、所定の形状が含まれない場合、取得した撮像画像に応じた、第１のデータ量よりも少ない第２のデータ量の画像データを端末装置１００に送信する。すなわち、ＨＭＤ１０は、取得した撮像画像に所定の形状が含まれるか否かに応じて、ビットレートを変更してエンコードした画像データを端末装置１００に送信する。これにより、ＨＭＤ１０は、ＨＭＤ１０から端末装置１００への画像送信負荷を軽減できる。
【００１５】
端末装置１００は、ユーザが装着して操作する情報処理装置であり、例えば、タブレット端末やスマートフォン等の移動体通信端末等を用いることができる。端末装置１００は、例えば、ＨＭＤ１０から画像データを受信すると、受信した画像データをデコードする。また、端末装置１００は、ＨＭＤ１０から画像データに対応付けて送信されるＡＲマーカ検出情報を受信すると、対応する画像データに対してＡＲマーカの認識処理およびＡＲコンテンツの重畳表示処理を行って重畳画像を生成する。端末装置１００は、生成した重畳画像をＨＭＤ１０に送信して表示させる。なお、端末装置１００は、画像データにＡＲマーカ検出情報が対応付けられていない場合には、受信した画像データを、そのままＨＭＤ１０に送信して表示させる。
【００１６】
次に、ＨＭＤ１０の構成について説明する。図１に示すように、ＨＭＤ１０は、通信部１１と、カメラ１２と、表示部１３と、記憶部１４と、制御部１５とを有する。なお、ＨＭＤ１０は、図１に示す機能部以外にも、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
【００１７】
通信部１１は、例えば、無線ＬＡＮ等の通信モジュール等によって実現される。通信部１１は、例えば、Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔ（登録商標）により端末装置１００と無線で接続され、端末装置１００との間で情報の通信を司る通信インタフェースである。通信部１１は、制御部１５から入力された撮像画像に対応する画像データを端末装置１００に送信する。また、通信部１１は、端末装置１００から重畳画像に対応する画像データ、または、端末装置１００が受信した画像データに対応する画像データを受信する。通信部１１は、受信した画像データを制御部１５に出力する。
【００１８】
カメラ１２は、ＡＲコンテンツが対応付けられる所定の形状、つまりＡＲマーカを撮像する撮像装置である。カメラ１２は、例えば、撮像素子としてＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサまたはＣＣＤ（Charge  Coupled  Device）イメージセンサ等を用いて、画像を撮像する。カメラ１２は、撮像素子が受光した光を光電変換しＡ／Ｄ（Analog／Digital）変換を行って撮像画像を生成する。カメラ１２は、生成した撮像画像を制御部１５に出力する。
【００１９】
表示部１３は、各種情報を表示するための表示デバイスである。表示部１３は、例えば、ハーフミラーに映像が投影され、ユーザが映像とともに外部の風景を透過して見ることができる透過型のＨＭＤの表示素子に相当する。なお、表示部１３は、没入型、ビデオ透過型、網膜投影型等のＨＭＤに対応する表示素子でもよい。
【００２０】
記憶部１４は、例えば、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子等の記憶装置によって実現される。記憶部１４は、制御部１５での処理に用いる情報を記憶する。
【００２１】
制御部１５は、例えば、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１５は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路により実現されるようにしてもよい。
【００２２】
ここで、図２を用いてＨＭＤ１０のハードウェア構成について説明する。図２は、ＨＭＤのハードウェア構成の一例を示す図である。図２に示すように、ＨＭＤ１０は、制御部１５の一例であるプロセッサ１５ａに、無線部１１ａと、表示部１３と、記憶部１４と、キー入力部３１と、オーディオ部３２と、画像処理部３５と、センサ制御部３７とが、例えば図示しないバスを介して接続される。
【００２３】
無線部１１ａは、通信部１１の一例である。記憶部１４は、例えば、ＲＯＭ（Read  Only  Memory）１４ａとＲＡＭ１４ｂとを有する。キー入力部３１は、例えばＨＭＤ１０の電源ボタンであるが、他の機能を有するボタンを含んでもよい。オーディオ部３２には、スピーカ３３およびマイク３４が接続される。オーディオ部３２は、例えば音声の入出力を制御する。画像処理部３５には、カメラ１２が接続される。画像処理部３５は、例えば、カメラ１２から入力されるピント、露光、ゲイン、ＢＶ（Brightness  Value）値および色温度等の情報に基づいてカメラ１２を制御し、カメラ１２から入力される撮像画像に対して画像処理を実行する。センサ制御部３７には、例えば、加速度センサ、地磁気センサ等の各種センサ３６が接続される。センサ制御部３７は、各種センサ３６を制御する。
【００２４】
図１の説明に戻って、制御部１５は、取得部１６と、判定部１７と、変換部１８と、送信制御部１９と、受信制御部２０とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１５の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【００２５】
取得部１６は、カメラ１２から入力された撮像画像を取得する。すなわち、取得部１６は、撮像装置により撮像された撮像画像を順次取得する。取得部１６は、取得した撮像画像を判定部１７に出力する。また、取得部１６は、例えばキー入力部３１から電源オフとする信号が入力されるか否か、つまり、処理を終了するか否かを判定する。取得部１６は、処理を終了しない場合には、引き続き、カメラ１２から入力された撮像画像を取得する。取得部１６は、処理を終了する場合には、ＨＭＤ１０の各部に対してシャットダウン処理を実行する。
【００２６】
判定部１７は、取得部１６から撮像画像が入力されると、入力された撮像画像に所定の形状が含まれるか否かを判定する。ここで、所定の形状は、ＡＲマーカの形状であり、例えば矩形である。判定部１７は、撮像画像に所定の形状が含まれると判定した場合には、ＡＲマーカ検出情報を生成し、生成したＡＲマーカ検出情報を撮像画像に対応付けて撮像画像とともに変換部１８に出力する。判定部１７は、撮像画像に所定の形状が含まれないと判定した場合には、ＡＲマーカ検出情報を生成せずに、つまり、ＡＲマーカ検出情報を撮像画像に対応付けずに、撮像画像を変換部１８に出力する。
【００２７】
変換部１８は、取得した撮像画像に対してエンコードを実行し、受信した画像データに対してデコードを実行するエンコーダ／デコーダである。変換部１８は、判定部１７からＡＲマーカ検出情報が対応付けられた撮像画像が入力されると、入力された撮像画像に対して高ビットレートでエンコードを実行する。また、変換部１８は、例えば、送信制御部１９から端末装置１００に対して送信されるフレームレート（送信レート）に合わせたフレームレートでエンコードを実行する。なお、変換部１８は、送信制御部１９から端末装置１００に対して送信されるフレームレートと異なるフレームレートでエンコードを実行してもよい。変換部１８は、例えば、解像度が７２０×４８０の撮像画像に対して、Ｈ．２６４のＭＰ（Main  Profile）、Ｌｅｖｅｌ３を用いて、ビットレートを１０Ｍｂｐｓ（bit  per  second）、フレームレートを３０ｆｐｓ（frame  per  second）としてエンコードを実行する。変換部１８は、撮像画像に対してエンコードを実行して得られた第１のデータ量の画像データにＡＲマーカ検出情報を対応付けて、第１のデータ量の画像データを送信制御部１９に出力する。
【００２８】
変換部１８は、判定部１７からＡＲマーカ検出情報が対応付けられていない撮像画像が入力されると、入力された撮像画像に対して低ビットレートでエンコードを実行する。また、変換部１８は、高ビットレートの場合と同様に、例えば、送信制御部１９から端末装置１００に対して送信される、ＡＲマーカを検出しない場合のフレームレート（送信レート）に合わせたフレームレートでエンコードを実行する。変換部１８は、例えば、解像度が７２０×４８０の撮像画像に対して、Ｈ．２６４のＭＰ、Ｌｅｖｅｌ２．２を用いて、ビットレートを４Ｍｂｐｓ、フレームレートを１０ｆｐｓとしてエンコードを実行する。変換部１８は、撮像画像に対してエンコードを実行して得られた第１のデータ量よりも少ない第２のデータ量の画像データを、送信制御部１９に出力する。なお、変換部１８は、第２のデータ量の画像データにＡＲマーカを検出していない旨の情報を付加してもよい。
【００２９】
変換部１８は、受信制御部２０から受信した画像データが入力されると、入力された画像データに対してデコードを実行し、デコードした画像データを表示部１３に出力して表示させる。受信した画像データは、例えば、Ｍｉｒａｃａｓｔ（登録商標）で用いられるＨ．２６４によってデコードされる。
【００３０】
送信制御部１９は、変換部１８からＡＲマーカ検出情報が対応付けられた第１のデータ量の画像データが入力されると、入力された第１のデータ量の画像データを、フレームレートを上げて、通信部１１を介して端末装置１００に送信する。送信制御部１９は、例えば、フレームレートを３０ｆｐｓに上げて、第１のデータ量の画像データを端末装置１００に送信する。すなわち、送信制御部１９は、所定の形状が含まれる場合、送信レートを高める制御を行う。また、送信制御部１９は、所定の形状が含まれる場合、取得した撮像画像に応じた第１のデータ量の画像データを端末装置１００に送信する。
【００３１】
送信制御部１９は、変換部１８からＡＲマーカ検出情報が対応付けられていない第２のデータ量の画像データが入力されると、入力された第２のデータ量の画像データを、フレームレートを下げて、通信部１１を介して端末装置１００に送信する。送信制御部１９は、例えば、フレームレートを１０ｆｐｓに下げて、第２のデータ量の画像データを端末装置１００に送信する。すなわち、送信制御部１９は、所定の形状が含まれない場合、送信レートを低くする制御を行う。また、送信制御部１９は、所定の形状が含まれない場合、取得した撮像画像に応じた、第１のデータ量よりも少ない第２のデータ量の画像データを端末装置１００に送信する。なお、第１のデータ量の画像データおよび第２のデータ量の画像データは、撮像画像に対応する画像データである。
【００３２】
なお、送信制御部１９は、第１のデータ量の画像データに対応付けるＡＲマーカ検出情報に代えて、第２のデータ量の画像データにＡＲマーカを検出していない旨の情報を対応付けてもよい。また、送信制御部１９は、第１のデータ量の画像データにＡＲマーカ検出情報を対応付け、第２のデータ量の画像データにＡＲマーカを検出していない旨の情報を対応付けてもよい。すなわち、送信制御部１９は、第１のデータ量の画像データ、または、第２のデータ量の画像データに、所定の形状が含まれるか否かの判定結果を付加して、第１のデータ量の画像データ、または、第２のデータ量の画像データを端末装置１００に送信してもよい。
【００３３】
受信制御部２０は、例えば、通信部１１を介して、Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔ（登録商標）を用いたＭｉｒａｃａｓｔ（登録商標）によって、端末装置１００から画像データを受信する。画像データは、ＡＲコンテンツが重畳された重畳画像に対応する画像データ、または、端末装置１００が受信した画像データに対応する画像データである。受信制御部２０は、受信した画像データを変換部１８に出力する。
【００３４】
続いて、端末装置１００の構成について説明する。図１に示すように、端末装置１００は、通信部１１０と、表示操作部１１１と、記憶部１２０と、制御部１３０とを有する。なお、端末装置１００は、図１に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
【００３５】
通信部１１０は、例えば、無線ＬＡＮ等の通信モジュール等によって実現される。通信部１１０は、例えば、Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔ（登録商標）によりＨＭＤ１０と無線で接続され、ＨＭＤ１０との間で情報の通信を司る通信インタフェースである。通信部１１０は、ＨＭＤ１０から撮像画像に対応する画像データを受信する。通信部１１０は、受信した画像データを制御部１３０に出力する。また、通信部１１０は、制御部１３０から入力された重畳画像に対応する画像データ、または、受信した画像データに対応する画像データをＨＭＤ１０に送信する。
【００３６】
表示操作部１１１は、各種情報を表示するための表示デバイス、および、ユーザから各種操作を受け付ける入力デバイスである。例えば、表示操作部１１１は、表示デバイスとして液晶ディスプレイ等によって実現される。また、例えば、表示操作部１１１は、入力デバイスとして、タッチパネル等によって実現される。つまり、表示操作部１１１は、表示デバイスと入力デバイスとが一体化される。表示操作部１１１は、ユーザによって入力された操作を操作情報として制御部１３０に出力する。なお、表示操作部１１１は、ＨＭＤ１０と同様の画面を表示してもよいし、ＨＭＤ１０と異なる画面を表示してもよい。
【００３７】
記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部１２０は、オブジェクトデータ記憶部１２１を有する。また、記憶部１２０は、制御部１３０での処理に用いる情報を記憶する。
【００３８】
オブジェクトデータ記憶部１２１は、オブジェクトデータを記憶する。図３は、オブジェクトデータ記憶部の一例を示す図である。図３に示すように、オブジェクトデータ記憶部１２１は、「オブジェクトＩＤ（Identifier）」、「オブジェクトデータ」といった項目を有する。オブジェクトデータ記憶部１２１は、例えばオブジェクトデータごとに１レコードとして記憶する。なお、オブジェクトデータ記憶部１２１は、他の項目、例えば、位置情報をオブジェクトデータと対応付けて記憶するようにしてもよい。
【００３９】
「オブジェクトＩＤ」は、オブジェクトデータ、つまりＡＲコンテンツを識別する識別子である。「オブジェクトデータ」は、オブジェクトデータを示す情報である。「オブジェクトデータ」は、例えば、オブジェクトデータ、つまりＡＲコンテンツを構成するデータファイルである。
【００４０】
制御部１３０は、例えば、ＣＰＵやＭＰＵ等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されるようにしてもよい。制御部１３０は、受信制御部１３１と、変換部１３２と、ＡＲ処理部１３３と、送信制御部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【００４１】
受信制御部１３１は、通信部１１０を介して、ＨＭＤ１０から画像データ、つまり、撮像画像に対応する画像データを受信すると、受信した画像データを変換部１３２に出力する。また、受信制御部１３１は、受信した画像データにＡＲマーカ検出情報が対応付けられている場合には、受信した画像データからＡＲマーカ検出情報を抽出してＡＲ処理部１３３に出力する。
【００４２】
変換部１３２は、受信制御部１３１から受信した画像データが入力されると、入力された画像データに対してデコードを実行し、デコードした画像データをＡＲ処理部１３３に出力する。受信した画像データは、例えば、Ｈ．２６４によってデコードされる。
【００４３】
変換部１３２は、ＡＲ処理部１３３から重畳画像に対応する画像データ、または、受信した画像データに対応する画像データが入力されると、入力された画像データに対して、Ｍｉｒａｃａｓｔ（登録商標）を用いて送信可能なように、エンコードを実行する。変換部１３２は、例えば、Ｈ．２６４を用いてエンコードを実行する。変換部１３２は、エンコード済みの画像データを送信制御部１３４に出力する。
【００４４】
ＡＲ処理部１３３は、変換部１３２からデコードした画像データが入力されると、受信制御部１３１から、画像データに対応するＡＲマーカ検出情報が入力されたか否かを判定する。つまり、ＡＲ処理部１３３は、ＨＭＤ１０側でＡＲマーカを検出したか否かを判定する。ＡＲ処理部１３３は、ＨＭＤ１０側でＡＲマーカを検出したと判定した場合には、画像データに対して、ＡＲマーカ認識処理を実行する。ＡＲ処理部１３３は、オブジェクトデータ記憶部１２１を参照して、認識したＡＲマーカに対応するオブジェクトデータ、つまりＡＲコンテンツを画像データに重畳して重畳画像を生成する。ＡＲ処理部１３３は、生成した重畳画像に対応する画像データを変換部１３２に出力する。
【００４５】
ＡＲ処理部１３３は、ＨＭＤ１０側でＡＲマーカを検出していないと判定した場合には、入力された画像データを、そのまま変換部１３２に出力する。すなわち、ＡＲ処理部１３３は、受信した画像データに対応する画像データを変換部１３２に出力する。
【００４６】
送信制御部１３４は、変換部１３２からエンコード済みの画像データが入力されると、通信部１１０を介して、入力された画像データをＨＭＤ１０に送信する。すなわち、送信制御部１３４は、例えばＷｉ−Ｆｉ  Ｄｉｒｅｃｔ（登録商標）を用いたＭｉｒａｃａｓｔ（登録商標）によって、重畳画像に対応する画像データ、または、受信した画像データに対応する画像データをＨＭＤ１０に送信する。
【００４７】
次に、実施例の送信制御システム１の動作について説明する。図４は、実施例の送信制御処理の一例を示すシーケンス図である。
【００４８】
送信制御システム１のＨＭＤ１０は、例えばユーザにより電源が投入されると、カメラ１２を起動する（ステップＳ１）。カメラ１２は、起動すると、撮像画像の制御部１５への出力を開始する。ＨＭＤ１０の取得部１６は、カメラ１２から入力された撮像画像の取得を開始する（ステップＳ２）。取得部１６は、取得した撮像画像を判定部１７に出力する。
【００４９】
判定部１７は、取得部１６から撮像画像が入力されると、入力された撮像画像にＡＲマーカの形状が含まれるか否かを判定する（ステップＳ３）。判定部１７は、撮像画像にＡＲマーカの形状が含まれると判定した場合には（ステップＳ３：肯定）、ＡＲマーカ検出情報を生成し、生成したＡＲマーカ検出情報を撮像画像に対応付けて撮像画像とともに変換部１８に出力する。
【００５０】
変換部１８は、判定部１７からＡＲマーカ検出情報が対応付けられた撮像画像が入力されると、入力された撮像画像に対して高ビットレートでエンコードを実行する（ステップＳ４）。変換部１８は、撮像画像に対してエンコードを実行して得られた第１のデータ量の画像データにＡＲマーカ検出情報を対応付けて、第１のデータ量の画像データを送信制御部１９に出力する。
【００５１】
送信制御部１９は、変換部１８からＡＲマーカ検出情報が対応付けられた第１のデータ量の画像データが入力されると、フレームレートを上げて、入力された第１のデータ量の画像データを端末装置１００に送信する（ステップＳ５）。
【００５２】
判定部１７は、撮像画像にＡＲマーカの形状が含まれないと判定した場合には（ステップＳ３：否定）、ＡＲマーカ検出情報を撮像画像に対応付けずに、撮像画像を変換部１８に出力する。
【００５３】
変換部１８は、判定部１７からＡＲマーカ検出情報が対応付けられていない撮像画像が入力されると、入力された撮像画像に対して低ビットレートでエンコードを実行する（ステップＳ６）。変換部１８は、撮像画像に対してエンコードを実行して得られた第２のデータ量の画像データを、送信制御部１９に出力する。
【００５４】
送信制御部１９は、変換部１８からＡＲマーカ検出情報が対応付けられていない第２のデータ量の画像データが入力されると、フレームレートを下げて、入力された第２のデータ量の画像データを端末装置１００に送信する（ステップＳ７）。
【００５５】
端末装置１００の受信制御部１３１は、ＨＭＤ１０から画像データを受信すると（ステップＳ８）、受信した画像データを変換部１３２に出力する。また、受信制御部１３１は、受信した画像データにＡＲマーカ検出情報が対応付けられている場合には、受信した画像データからＡＲマーカ検出情報を取り出してＡＲ処理部１３３に出力する。
【００５６】
変換部１３２は、受信制御部１３１から受信した画像データが入力されると、入力された画像データに対してデコードを実行し（ステップＳ９）、デコードした画像データをＡＲ処理部１３３に出力する。
【００５７】
ＡＲ処理部１３３は、変換部１３２からデコードした画像データが入力されると、ＨＭＤ１０側でＡＲマーカを検出したか否かを判定する（ステップＳ１０）。ＡＲ処理部１３３は、ＨＭＤ１０側でＡＲマーカを検出したと判定した場合には（ステップＳ１０：肯定）、画像データについて、ＡＲマーカに対する処理を実行する（ステップＳ１１）。すなわち、ＡＲ処理部１３３は、オブジェクトデータ記憶部１２１を参照して、ＡＲコンテンツを画像データに重畳して重畳画像を生成する。ＡＲ処理部１３３は、生成した重畳画像に対応する画像データを変換部１３２に出力する。
【００５８】
ＡＲ処理部１３３は、ＨＭＤ１０側でＡＲマーカを検出していないと判定した場合には（ステップＳ１０：否定）、受信した画像データに対応する画像データを変換部１３２に出力する。
【００５９】
変換部１３２は、ＡＲ処理部１３３から重畳画像に対応する画像データ、または、受信した画像データに対応する画像データが入力されると、入力された画像データに対するエンコードを実行する（ステップＳ１２）。変換部１３２は、エンコード済みの画像データを送信制御部１３４に出力する。
【００６０】
送信制御部１３４は、変換部１３２からエンコード済みの画像データが入力されると、入力された画像データをＨＭＤ１０に送信する（ステップＳ１３）。
【００６１】
ＨＭＤ１０の受信制御部２０は、端末装置１００から画像データを受信する（ステップＳ１４）。受信制御部２０は、受信した画像データを変換部１８に出力する。
【００６２】
変換部１８は、受信制御部２０から受信した画像データが入力されると、入力された画像データに対してデコードを実行し、デコードした画像データを表示部１３に出力して表示させる（ステップＳ１５）。
【００６３】
取得部１６は、処理を終了するか否かを判定する（ステップＳ１６）。取得部１６は、処理を終了しない場合には（ステップＳ１６：否定）、ステップＳ２に戻る。取得部１６は、処理を終了する場合には（ステップＳ１６：肯定）、ＨＭＤ１０の各部に対してシャットダウン処理を実行し、送信制御処理を終了する。これにより、ＨＭＤ１０は、ＨＭＤ１０から端末装置１００への画像送信負荷を軽減できる。すなわち、ＨＭＤ１０および端末装置１００は、消費電力を低減できる。
【００６４】
このように、ＨＭＤ１０は、撮像装置であるカメラ１２により撮像された撮像画像を順次取得し、取得した撮像画像を特定の送信レートで端末装置１００に送信する。この場合において、ＨＭＤ１０は、取得した撮像画像に所定の形状が含まれるか否かを判定する。また、ＨＭＤ１０は、所定の形状が含まれる場合、送信レートを高める制御を行う。その結果、ＨＭＤ１０から端末装置１００への画像送信負荷を軽減できる。
【００６５】
また、ＨＭＤ１０は、所定の形状が含まれない場合、送信レートを低くする制御を行う。その結果、ＨＭＤ１０から端末装置１００への画像送信負荷を軽減できる。
【００６６】
また、ＨＭＤ１０は、撮像装置であるカメラ１２により撮像された撮像画像を取得する。また、ＨＭＤ１０は、取得した撮像画像に所定の形状が含まれるか否かを判定する。また、ＨＭＤ１０は、所定の形状が含まれる場合、取得した撮像画像に応じた第１のデータ量の画像データを端末装置１００に送信する。また、ＨＭＤ１０は、所定の形状が含まれない場合、取得した撮像画像に応じた、第１のデータ量よりも少ない第２のデータ量の画像データを端末装置１００に送信する。その結果、ＨＭＤ１０から端末装置１００への画像送信負荷を軽減できる。
【００６７】
また、ＨＭＤ１０は、第１のデータ量の画像データ、または、第２のデータ量の画像データに、所定の形状が含まれるか否かの判定結果を付加して、第１のデータ量の画像データ、または、第２のデータ量の画像データを端末装置１００に送信する。その結果、端末装置１００において、ＡＲマーカが含まれない撮像画像に対する認識処理を省略できる。
【００６８】
なお、上記実施例では、画像データのビットレートと、フレームレートとを増減したが、これに限定されない。例えば、画像データのビットレートのみを増減させてもよいし、フレームレートのみを増減させてもよい。
【００６９】
また、上記実施例では、ＨＭＤ１０からＡＲマーカ検出情報を送信したが、これに限定されない。例えば、端末装置１００は、受信した画像データのビットレートやフレームレートを検出し、検出したビットレートやフレームレートに応じて、ＡＲマーカ認識処理や重畳画像の生成を行うようにしてもよい。これにより、ＨＭＤ１０からＡＲマーカ検出情報が送信されなくても、端末装置１００はＡＲマーカに関する処理を実行するか否かを判定できる。
【００７０】
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、変換部１８と送信制御部１９と受信制御部２０とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。
【００７１】
さらに、各装置で行われる各種処理機能は、ＣＰＵ（又はＭＰＵ、ＭＣＵ（Micro  Controller  Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。
【００７２】
なお、上記実施例で説明したＨＭＤ１０は、送信制御プログラムを読み込んで実行することで、図１等で説明した処理と同様の機能を実行することができる。例えば、ＨＭＤ１０は、取得部１６、判定部１７、変換部１８、送信制御部１９、受信制御部２０と同様の処理を実行するプロセスを実行することで、上記実施例と同様の処理を実行することができる。
【００７３】
これらのプログラムは、インターネットなどのネットワークを介して配布することができる。また、これらのプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。
【００７４】
以上、上記実施例を含む実施の形態に関し、さらに以下の付記を開示する。
【００７５】
（付記１）撮像装置により撮像された撮像画像を順次取得し、取得した前記撮像画像を特定の送信レートで端末装置に送信するヘッドマウントディスプレイにおいて、
取得した前記撮像画像に所定の形状が含まれるか否かを判定する判定部と、
前記所定の形状が含まれる場合、前記送信レートを高める制御を行う送信制御部と、
を備えることを特徴とするヘッドマウントディスプレイ。
【００７６】
（付記２）前記送信制御部は、前記所定の形状が含まれない場合、前記送信レートを低くする制御を行う、
ことを特徴とする付記１に記載のヘッドマウントディスプレイ。
【００７７】
（付記３）撮像装置により撮像された撮像画像を取得する取得部と、
取得した前記撮像画像に所定の形状が含まれるか否かを判定する判定部と、
前記所定の形状が含まれる場合、取得した前記撮像画像に応じた第１のデータ量の画像データを端末装置に送信し、前記所定の形状が含まれない場合、取得した前記撮像画像に応じた、前記第１のデータ量よりも少ない第２のデータ量の画像データを前記端末装置に送信する送信制御部と、
を備えることを特徴とするヘッドマウントディスプレイ。
【００７８】
（付記４）前記送信制御部は、前記第１のデータ量の画像データ、または、前記第２のデータ量の画像データに、前記所定の形状が含まれるか否かの判定結果を付加して、前記第１のデータ量の画像データ、または、前記第２のデータ量の画像データを前記端末装置に送信する、
ことを特徴とする付記３に記載のヘッドマウントディスプレイ。
【００７９】
（付記５）撮像装置により撮像された撮像画像を順次取得し、取得した前記撮像画像を特定の送信レートで端末装置に送信する処理をコンピュータに実行させる送信制御プログラムにおいて、
取得した前記撮像画像に所定の形状が含まれるか否かを判定し、
前記所定の形状が含まれる場合、前記送信レートを高める制御を行う、
処理をコンピュータに実行させることを特徴とする送信制御プログラム。
【００８０】
（付記６）前記制御を行う処理は、前記所定の形状が含まれない場合、前記送信レートを低くする制御を行う、
ことを特徴とする付記５に記載の送信制御プログラム。
【００８１】
（付記７）撮像装置により撮像された撮像画像を取得し、
取得した前記撮像画像に所定の形状が含まれるか否かを判定し、
前記所定の形状が含まれる場合、取得した前記撮像画像に応じた第１のデータ量の画像データを端末装置に送信し、前記所定の形状が含まれない場合、取得した前記撮像画像に応じた、前記第１のデータ量よりも少ない第２のデータ量の画像データを前記端末装置に送信する、
処理をコンピュータに実行させることを特徴とする送信制御プログラム。
【００８２】
（付記８）前記送信する処理は、前記第１のデータ量の画像データ、または、前記第２のデータ量の画像データに、前記所定の形状が含まれるか否かの判定結果を付加して、前記第１のデータ量の画像データ、または、前記第２のデータ量の画像データを前記端末装置に送信する、
ことを特徴とする付記７に記載の送信制御プログラム。
【００８３】
（付記９）撮像装置により撮像された撮像画像を順次取得し、取得した前記撮像画像を特定の送信レートで端末装置に送信する処理をコンピュータが実行する送信制御方法において、
取得した前記撮像画像に所定の形状が含まれるか否かを判定し、
前記所定の形状が含まれる場合、前記送信レートを高める制御を行う、
処理をコンピュータが実行することを特徴とする送信制御方法。
【００８４】
（付記１０）前記制御を行う処理は、前記所定の形状が含まれない場合、前記送信レートを低くする制御を行う、
ことを特徴とする付記９に記載の送信制御方法。
【００８５】
（付記１１）撮像装置により撮像された撮像画像を取得し、
取得した前記撮像画像に所定の形状が含まれるか否かを判定し、
前記所定の形状が含まれる場合、取得した前記撮像画像に応じた第１のデータ量の画像データを端末装置に送信し、前記所定の形状が含まれない場合、取得した前記撮像画像に応じた、前記第１のデータ量よりも少ない第２のデータ量の画像データを前記端末装置に送信する、
処理をコンピュータが実行することを特徴とする送信制御方法。
【００８６】
（付記１２）前記送信する処理は、前記第１のデータ量の画像データ、または、前記第２のデータ量の画像データに、前記所定の形状が含まれるか否かの判定結果を付加して、前記第１のデータ量の画像データ、または、前記第２のデータ量の画像データを前記端末装置に送信する、
ことを特徴とする付記１１に記載の送信制御方法。
【符号の説明】
【００８７】
１  送信制御システム
１０  ＨＭＤ
１１  通信部
１２  カメラ
１３  表示部
１４  記憶部
１５  制御部
１６  取得部
１７  判定部
１８  変換部
１９  送信制御部
２０  受信制御部
１００  端末装置
１１０  通信部
１１１  表示操作部
１２０  記憶部
１２１  オブジェクトデータ記憶部
１３０  制御部
１３１  受信制御部
１３２  変換部
１３３  ＡＲ処理部
１３４  送信制御部
【図１】
2017228942.tif 000003
【図２】
2017228942.tif 000004
【図３】
2017228942.tif 000005
【図４】
2017228942.tif 000006