(57)【要約】  動画像を構成するフレーム画像が適切なタイミングで送信されるよう、それぞれのフレーム画像のフレーム画像サイズを制御できる受信装置、送信装置、制御方法、送信方法及びプログラムを提供する。フレーム画像受信部（６４）は、動画像を構成する第１のフレーム画像を受信する。制御データ更新部（７４）は、第１のフレーム画像よりも後に受信する、動画像を構成する第２のフレーム画像のフレーム画像サイズが、第１のフレーム画像の受信に要した時間に応じたものとなるよう制御する。
2017179230.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する第１のフレーム画像を受信する受信部と、
前記第１のフレーム画像よりも後に受信する、前記動画像を構成する第２のフレーム画像のフレーム画像サイズが、前記第１のフレーム画像の受信に要した時間に応じたものとなるよう制御するフレーム画像サイズ制御部と、
を含むことを特徴とする受信装置。
【請求項２】
前記フレーム画像サイズ制御部は、前記第１のフレーム画像の受信に要した時間が目標時間を超える場合に、前記第２のフレーム画像のフレーム画像サイズが前記第１のフレーム画像のフレーム画像サイズよりも小さくなるよう制御する、
ことを特徴とする請求項１に記載の受信装置。
【請求項３】
前記フレーム画像サイズ制御部は、前記第１のフレーム画像のフレーム画像サイズが所定の下限であり、前記第１のフレーム画像の受信に要した時間が前記目標時間を超える場合に、前記第１のフレーム画像よりも後に受信する、前記動画像を構成するフレーム画像が送信されるフレームレートが小さくなるよう制御する、
ことを特徴とする請求項２に記載の受信装置。
【請求項４】
前記フレーム画像サイズ制御部は、前記第１のフレーム画像の受信に要した時間が前記目標時間よりも短い所定の時間を超えない場合に、前記第２のフレーム画像のフレーム画像サイズが前記第１のフレーム画像のフレーム画像サイズよりも大きくなるよう制御する、
ことを特徴とする請求項２又は３に記載の受信装置。
【請求項５】
前記フレーム画像サイズ制御部は、前記第１のフレーム画像の次のフレーム画像よりも後に受信する、前記第２のフレーム画像のフレーム画像サイズが、前記第１のフレーム画像の受信に要した時間、及び、前記第１のフレーム画像の次のフレーム画像の送信要求の送信から当該送信要求に応じて送信されるモニタパケットの受信までの時間に応じたものとなるよう制御する、
ことを特徴とする請求項１から４のいずれか一項に記載の受信装置。
【請求項６】
前記フレーム画像サイズ制御部は、前記動画像を構成するフレーム画像を受信する度に、当該フレーム画像よりも後に受信する、前記動画像を構成するフレーム画像のフレーム画像サイズが、当該フレーム画像の受信に要した時間に応じたものとなるよう制御する、
ことを特徴とする請求項１から５のいずれか一項に記載の受信装置。
【請求項７】
前記受信部は、前記第１のフレーム画像を第１の通信経路経由で受信し、
前記受信部は、前記第１のフレーム画像のコピーを前記第１の通信経路とは周波数帯が異なる第２の通信経路経由で受信し、
前記フレーム画像サイズ制御部は、前記第１の通信経路又は前記第２の通信経路の一方経由で受信する前記第２のフレーム画像、及び、他方経由で受信する前記第２のフレーム画像のコピーのフレーム画像サイズが、前記第１のフレーム画像又は前記第１のフレーム画像のコピーのうち先に受信した方の受信に要した時間に応じたものとなるよう制御する、
ことを特徴とする請求項１から６のいずれか一項に記載の受信装置。
【請求項８】
前記受信装置はヘッドマウントディスプレイを備え、
前記フレーム画像サイズ制御部は、前記動画像を構成する第２のフレーム画像のフレーム画像サイズが、前記ヘッドマウントディスプレイの姿勢又は位置の変化量に応じたものとなるよう制御する、
ことを特徴とする請求項１から７のいずれか一項に記載の受信装置。
【請求項９】
前記フレーム画像サイズ制御部は、前記動画像を構成する第２のフレーム画像のフレーム画像サイズが、前記受信装置による通信における無線物理層情報に応じたものとなるよう制御する、
ことを特徴とする請求項１から８のいずれか一項に記載の受信装置。
【請求項１０】
動画像を構成する第１のフレーム画像を受信装置に送信する送信部と、
前記第１のフレーム画像の受信に要した時間に応じたフレーム画像サイズの指定を前記受信装置から受信する受信部と、を含み、
前記送信部は、前記指定の受信に応じて、フレーム画像サイズが当該指定に応じたものである、前記動画像を構成する第２のフレーム画像を前記受信装置に送信する、
ことを特徴とする送信装置。
【請求項１１】
動画像を構成する第１のフレーム画像を受信するステップと、
前記第１のフレーム画像よりも後に受信する、前記動画像を構成する第２のフレーム画像のフレーム画像サイズが、前記第１のフレーム画像の受信に要した時間に応じたものとなるよう制御するステップと、
を含むことを特徴とする制御方法。
【請求項１２】
動画像を構成する第１のフレーム画像を受信装置に送信するステップと、
前記第１のフレーム画像の受信に要した時間に応じたフレーム画像サイズの指定を前記受信装置から受信するステップと、を含み、
前記指定の受信に応じて、フレーム画像サイズが当該指定に応じたものである、前記動画像を構成する第２のフレーム画像を前記受信装置に送信するステップと、
を含むことを特徴とする送信方法。
【請求項１３】
動画像を構成する第１のフレーム画像を受信する手順、
前記第１のフレーム画像よりも後に受信する、前記動画像を構成する第２のフレーム画像のフレーム画像サイズが、前記第１のフレーム画像の受信に要した時間に応じたものとなるよう制御する手順、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１４】
動画像を構成する第１のフレーム画像を受信装置に送信する手順、
前記第１のフレーム画像の受信に要した時間に応じたフレーム画像サイズの指定を前記受信装置から受信する手順、
前記指定の受信に応じて、フレーム画像サイズが当該指定に応じたものである、前記動画像を構成する第２のフレーム画像を前記受信装置に送信する手順、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、受信装置、送信装置、制御方法、送信方法及びプログラムに関する。
【背景技術】
【０００２】
通信機能を備えたヘッドマウントディスプレイ（ＨＭＤ）が知られている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
近年、無線通信による動画像の送受信が検討されている。例えばゲームプログラムを実行するゲーム装置が生成する、ゲームのプレイ状況を表す動画像が、ＨＭＤに無線で送信され、ＨＭＤに表示されるようにすることが検討されている。この場合、ＨＭＤに表示される動画像はできるだけ高画質であることが望ましく、従って当該動画像を構成するフレーム画像のフレーム画像サイズはできるだけ大きいことが望ましい。【０００４】
しかし上記のような即時性が求められる無線通信では、操作におけるプレイヤの違和感を低減するために、フレーム画像サイズを小さくしてでもそれぞれのフレーム画像が所期の表示タイミングに遅れないように受信装置に送信されるようにすることが重要となる。【０００５】
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、動画像を構成するフレーム画像が適切なタイミングで送信されるよう、それぞれのフレーム画像のフレーム画像サイズを制御できる受信装置、送信装置、制御方法、送信方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る受信装置は、動画像を構成する第１のフレーム画像を受信する受信部と、前記第１のフレーム画像よりも後に受信する、前記動画像を構成する第２のフレーム画像のフレーム画像サイズが、前記第１のフレーム画像の受信に要した時間に応じたものとなるよう制御するフレーム画像サイズ制御部と、を含む。【０００７】
本発明の一態様では、前記フレーム画像サイズ制御部は、前記第１のフレーム画像の受信に要した時間が目標時間を超える場合に、前記第２のフレーム画像のフレーム画像サイズが前記第１のフレーム画像のフレーム画像サイズよりも小さくなるよう制御する。【０００８】
この態様では、前記フレーム画像サイズ制御部は、前記第１のフレーム画像のフレーム画像サイズが所定の下限であり、前記第１のフレーム画像の受信に要した時間が前記目標時間を超える場合に、前記第１のフレーム画像よりも後に受信する、前記動画像を構成するフレーム画像が送信されるフレームレートが小さくなるよう制御してもよい。【０００９】
また、前記フレーム画像サイズ制御部は、前記第１のフレーム画像の受信に要した時間が前記目標時間よりも短い所定の時間を超えない場合に、前記第２のフレーム画像のフレーム画像サイズが前記第１のフレーム画像のフレーム画像サイズよりも大きくなるよう制御してもよい。【００１０】
また本発明の一態様では、前記フレーム画像サイズ制御部は、前記第１のフレーム画像の次のフレーム画像よりも後に受信する、前記第２のフレーム画像のフレーム画像サイズが、前記第１のフレーム画像の受信に要した時間、及び、前記第１のフレーム画像の次のフレーム画像の送信要求から当該送信要求に応じて送信されるモニタパケットの受信までの時間に応じたものとなるよう制御する。【００１１】
また、本発明の一態様では、前記フレーム画像サイズ制御部は、前記動画像を構成するフレーム画像を受信する度に、当該フレーム画像よりも後に受信する、前記動画像を構成するフレーム画像のフレーム画像サイズが、当該フレーム画像の受信に要した時間に応じたものとなるよう制御する。【００１２】
また、本発明の一態様では、前記受信部は、前記第１のフレーム画像を第１の通信経路経由で受信し、前記受信部は、前記第１のフレーム画像のコピーを前記第１の通信経路とは周波数帯が異なる第２の通信経路経由で受信し、前記フレーム画像サイズ制御部は、前記第１の通信経路又は前記第２の通信経路の一方経由で受信する前記第２のフレーム画像、及び、他方経由で受信する前記第２のフレーム画像のコピーのフレーム画像サイズが、前記第１のフレーム画像又は前記第１のフレーム画像のコピーのうち先に受信した方の受信に要した時間に応じたものとなるよう制御する。【００１３】
また、本発明の一態様では、前記受信装置はヘッドマウントディスプレイを備え、前記フレーム画像サイズ制御部は、前記動画像を構成する第２のフレーム画像のフレーム画像サイズが、前記ヘッドマウントディスプレイの姿勢又は位置の変化量に応じたものとなるよう制御する。【００１４】
また、本発明の一態様では、前記フレーム画像サイズ制御部は、前記動画像を構成する第２のフレーム画像のフレーム画像サイズが、前記受信装置による通信における無線物理層情報に応じたものとなるよう制御する。【００１５】
また、本発明に係る送信装置は、動画像を構成する第１のフレーム画像を受信装置に送信する送信部と、前記第１のフレーム画像の受信に要した時間に応じたフレーム画像サイズの指定を前記受信装置から受信する受信部と、を含み、前記送信部は、前記指定の受信に応じて、フレーム画像サイズが当該指定に応じたものである、前記動画像を構成する第２のフレーム画像を前記受信装置に送信する。【００１６】
また、本発明に係る制御方法は、動画像を構成する第１のフレーム画像を受信するステップと、前記第１のフレーム画像よりも後に受信する、前記動画像を構成する第２のフレーム画像のフレーム画像サイズが、前記第１のフレーム画像の受信に要した時間に応じたものとなるよう制御するステップと、を含む。【００１７】
また、本発明に係る送信方法は、動画像を構成する第１のフレーム画像を受信装置に送信するステップと、前記第１のフレーム画像の受信に要した時間に応じたフレーム画像サイズの指定を前記受信装置から受信するステップと、を含み、前記指定の受信に応じて、フレーム画像サイズが当該指定に応じたものである、前記動画像を構成する第２のフレーム画像を前記受信装置に送信するステップと、を含む。【００１８】
また、本発明に係るプログラムは、動画像を構成する第１のフレーム画像を受信する手順、前記第１のフレーム画像よりも後に受信する、前記動画像を構成する第２のフレーム画像のフレーム画像サイズが、前記第１のフレーム画像の受信に要した時間に応じたものとなるよう制御する手順、をコンピュータに実行させる。【００１９】
また、本発明に係る別のプログラムは、動画像を構成する第１のフレーム画像を受信装置に送信する手順、前記第１のフレーム画像の受信に要した時間に応じたフレーム画像サイズの指定を前記受信装置から受信する手順、前記指定の受信に応じて、フレーム画像サイズが当該指定に応じたものである、前記動画像を構成する第２のフレーム画像を前記受信装置に送信する手順、をコンピュータに実行させる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係る映像表示システムの全体構成の一例を示す図である。
【図２Ａ】本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。
【図２Ｂ】本発明の一実施形態に係るエンタテインメント装置の構成の一例を示す図である。
【図３】フレーム画像の送受信の一例を模式的に示した図である。
【図４】本発明の一実施形態に係るヘッドマウントディスプレイで実装される機能の一例を示す機能ブロック図である。
【図５】本発明の一実施形態に係るエンタテインメント装置で実装される機能の一例を示す機能ブロック図である。
【図６】本発明の一実施形態に係るヘッドマウントディスプレイにおいて行われる処理の流れの一例を示すフロー図である。
【図７Ａ】本発明の一実施形態に係るヘッドマウントディスプレイにおいて行われる処理の流れの一例を示すフロー図である。
【図７Ｂ】本発明の一実施形態に係るヘッドマウントディスプレイにおいて行われる処理の流れの一例を示すフロー図である。
【図８】本発明の一実施形態に係るエンタテインメント装置において行われる処理の流れの一例を示すフロー図である。
【発明を実施するための形態】
【００２１】
以下、本発明の一実施形態について、図面を参照しながら説明する。
【００２２】
図１は、本発明の一実施形態に係る映像表示システム１０の全体構成の一例を示す図である。図２Ａは、本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）１２の構成の一例を示す図である。図２Ｂは、本実施形態に係るエンタテインメント装置１４の構成の一例を示す図である。
【００２３】
図１に示すように、本実施形態に係る映像表示システム１０は、ＨＭＤ１２とエンタテインメント装置１４と中継装置１６とディスプレイ１８とカメラマイクユニット２０とコントローラ２２とを含んでいる。
【００２４】
本実施形態に係るＨＭＤ１２には、例えば図２Ａに示すように、制御部３０、記憶部３２、通信部３４、入出力部３６、表示部３８、センサ部４０、音声出力部４２、エンコーダ・デコーダ部４４が含まれる。
【００２５】
制御部３０は、例えばＨＭＤ１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。
【００２６】
記憶部３２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部３２には、制御部３０によって実行されるプログラムなどが記憶される。
【００２７】
通信部３４は、例えば無線ＬＡＮモジュールなどの通信インタフェースである。また本実施形態では公知の適応変調符号化技術により、無線通信の電波状況に応じて、通信部３４の変調方式や符号化方式を適応的に変化させることができるようになっている。また本実施形態に係る通信部３４は、通信部３４による通信における無線物理層情報を所定のサンプリングレートで制御部３０に出力してもよい。ここで無線物理層情報とは、例えば、通信部３４による通信における、無線通信の電波状況と無線物理層のコントロール信号の通信状態に応じた無線通信の環境を示す情報であってもよい。この場合、無線物理層情報には、例えば、受信信号強度（ＲＳＳＩ）、信号雑音比（ＳＮＲ）、変調符号化方式などといった、無線通信の電波状況に応じて変化する情報や、ＩＥＥＥ  ８０２．１１の規格におけるビーコン送受信期間などといった、無線物理層のコントロール信号の通信状態を表す情報などが含まれていてもよい。
【００２８】
入出力部３６は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポート、ＡＵＸポートなどの入出力ポートである。
【００２９】
表示部３８は、ＨＭＤ１２の前側に配置されている、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイであり、エンタテインメント装置１４が生成する映像などを表示させる。また表示部３８は、ＨＭＤ１２の筐体に収容される。表示部３８は、例えばエンタテインメント装置１４が出力して中継装置１６で中継される映像信号を受信して、当該映像信号が表す映像を出力するようにしてもよい。本実施形態に係る表示部３８は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部３８は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。
【００３０】
センサ部４０は、例えば加速度センサやモーションセンサなどといったセンサである。センサ部４０は、ＨＭＤ１２の回転量、移動量などの計測結果を所定のサンプリングレートで、制御部３０に出力する。
【００３１】
音声出力部４２は、例えばヘッドホンやスピーカ等であり、エンタテインメント装置１４が生成する音声データが表す音声などを出力する。音声出力部４２は、例えばエンタテインメント装置１４が出力して中継装置１６で中継される音声信号を受信して、当該音声信号が表す音声を出力する。
【００３２】
エンコーダ・デコーダ部４４は、例えばコンテンツのデータのエンコードやデコードを行うハードウェアである。エンコーダ・デコーダ部４４は、例えば制御部３０が生成する動画像等のコンテンツのデータ、又は、記憶部３２が記憶している動画像等のコンテンツのデータをエンコードする。またエンコーダ・デコーダ部４４は、例えば通信部３４が受信するコンテンツのデータをデコードする。
【００３３】
本実施形態に係るエンタテインメント装置１４は、例えばゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ−ｒａｙ（登録商標）プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置１４は、例えば記憶されているゲームプログラムの実行や光ディスクに記録されたコンテンツの再生などによって映像や音声を生成する。そして本実施形態に係るエンタテインメント装置１４は、生成される映像を表す映像信号や生成される音声を表す音声信号を、中継装置１６を経由して、ＨＭＤ１２やディスプレイ１８に出力する。
【００３４】
本実施形態に係るエンタテインメント装置１４には、例えば図２Ｂに示すように、制御部５０、記憶部５２、通信部５４、入出力部５６、エンコーダ・デコーダ部５８が含まれる。
【００３５】
制御部５０は、例えばエンタテインメント装置１４にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。本実施形態に係る制御部５０には、ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
【００３６】
記憶部５２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部５２には、制御部５０によって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部５２には、ＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
【００３７】
通信部５４は、例えば無線ＬＡＮモジュールなどの通信インタフェースなどである。
【００３８】
入出力部５６は、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポートなどの入出力ポートである。
【００３９】
エンコーダ・デコーダ部５８は、例えばコンテンツのデータのエンコードやデコードを行うハードウェアである。エンコーダ・デコーダ部５８は、例えば制御部５０が生成する動画像等のコンテンツのデータ、又は、記憶部５２が記憶している動画像等のコンテンツのデータをエンコードする。またエンコーダ・デコーダ部５８は、例えば通信部５４が受信するコンテンツのデータをデコードする。
【００４０】
本実施形態に係る中継装置１６は、エンタテインメント装置１４から出力される映像信号や音声信号を中継してＨＭＤ１２やディスプレイ１８に出力するコンピュータである。
【００４１】
本実施形態に係るディスプレイ１８は、例えば液晶ディスプレイ等であり、エンタテインメント装置１４から出力される映像信号が表す映像などを表示させる。
【００４２】
本実施形態に係るカメラマイクユニット２０は、例えば被写体を撮像した画像をエンタテインメント装置１４に出力するカメラ２０ａ及び周囲の音声を取得して当該音声を音声データに変換してエンタテインメント装置１４に出力するマイク２０ｂを含んでいる。また本実施形態に係るカメラ２０ａはステレオカメラである。
【００４３】
ＨＭＤ１２と中継装置１６とは、例えば、無線通信によるデータの送受信が互いに可能になっている。エンタテインメント装置１４と中継装置１６とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されており、データの送受信が互いに可能になっている。中継装置１６とディスプレイ１８とは、例えば、ＨＤＭＩケーブルなどを介して接続されている。エンタテインメント装置１４とカメラマイクユニット２０とは、例えば、ＡＵＸケーブルなどを介して接続されている。
【００４４】
本実施形態に係るコントローラ２２は、エンタテインメント装置１４に対する操作入力を行うための操作入力装置である。ユーザは、コントローラ２２が備える方向キーやボタンを押下したり、操作スティックを傾けたりすることで、コントローラ２２を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ２２は、操作入力に対応付けられる入力データをエンタテインメント装置１４に出力する。また本実施形態に係るコントローラ２２は、ＵＳＢポートを備えている。そしてコントローラ２２は、ＵＳＢケーブルでエンタテインメント装置１４と接続することで、有線で入力データをエンタテインメント装置１４に出力することができる。また本実施形態に係るコントローラ２２は、無線通信モジュール等を備えており、無線で入力データをエンタテインメント装置１４に出力することができるようにもなっている。
【００４５】
本実施形態では例えば、エンタテインメント装置１４が、エンタテインメント装置１４にインストールされているゲームのプログラムを実行する。そして当該ゲームのプレイ状況に応じてエンタテインメント装置１４が生成する動画像がＨＭＤ１２の表示部３８に表示される。以下、当該動画像をプレイ動画像と呼ぶこととする。
【００４６】
本実施形態に係るプレイ動画像は、複数のフレーム画像から構成される。そして本実施形態では、当該複数のフレーム画像のそれぞれについて、ＨＭＤ１２がエンタテインメント装置１４に送信要求を送信し、当該送信要求に応じてエンタテインメント装置１４が要求されたフレーム画像をＨＭＤ１２に送信する。なお本実施形態では、送信要求の送信もフレーム画像の送信も中継装置１６経由で行われる。
【００４７】
図３は、フレーム画像の送受信の一例を模式的に示した図である。図３には、プレイ動画像を構成する一連のフレーム画像のうちのｎ番目のフレームから（ｎ＋２）番目のフレームまでの連続する３つのフレーム画像についての送受信の一例が模式的に示されている。以下、プレイ動画像を構成するｎ番目、（ｎ＋１）番目、（ｎ＋２）番目のフレーム画像を、それぞれ、フレーム画像（ｎ）、フレーム画像（ｎ＋１）、フレーム画像（ｎ＋２）と表現することとする。
【００４８】
例えばＨＭＤ１２が、フレーム画像の送信要求をエンタテインメント装置１４に送信したとする。するとエンタテインメント装置１４は、送信要求の受信に応じて、要求されたフレーム画像を生成してエンコードする。そしてエンタテインメント装置１４は、通信環境を監視するためのモニタ用のパケットであるモニタパケット、及び、エンコードされたフレーム画像のパケット群であるフレーム画像パケット群をＨＭＤ１２に送信する。
【００４９】
ここで例えば図３に示す、送信要求（ｎ）、送信要求（ｎ＋１）、送信要求（ｎ＋２）は、それぞれ、フレーム画像（ｎ）、フレーム画像（ｎ＋１）、フレーム画像（ｎ＋２）の送信要求を指す。またモニタパケット（ｎ）、モニタパケット（ｎ＋１）、モニタパケット（ｎ＋２）は、それぞれ、送信要求（ｎ）、送信要求（ｎ＋１）、送信要求（ｎ＋２）の受信に応じて送信されるモニタパケットを指す。またフレーム画像パケット群（ｎ）、フレーム画像パケット群（ｎ＋１）、フレーム画像パケット群（ｎ＋２）は、それぞれ、フレーム画像（ｎ）、フレーム画像（ｎ＋１）、フレーム画像（ｎ＋２）のパケット群を指す。
【００５０】
そして本実施形態では例えば、フレーム画像の送信要求の送信から当該送信要求に応じて送信されるモニタパケットの受信までの時間を、当該フレーム画像のモニタラウンドトリップタイムと呼ぶこととする。図３には、フレーム画像（ｎ）、フレーム画像（ｎ＋１）、フレーム画像（ｎ＋２）のモニタラウンドトリップタイムが、それぞれ、ＲＴＴ＿ＭＯＮ（ｎ）、ＲＴＴ＿ＭＯＮ（ｎ＋１）、ＲＴＴ＿ＭＯＮ（ｎ＋２）と示されている。
【００５１】
また例えば、ＨＭＤ１２がフレーム画像の送信要求を送信したタイミングから、当該フレーム画像のフレーム画像パケット群に属する最後のパケットを受信したタイミングまでの時間を、当該フレーム画像のフレーム画像ラウンドトリップタイムと呼ぶこととする。図３には、フレーム画像（ｎ）、フレーム画像（ｎ＋１）、フレーム画像（ｎ＋２）のフレーム画像ラウンドトリップタイムが、それぞれ、ＲＴＴ＿ＦＲＡＮＥ（ｎ）、ＲＴＴ＿ＦＲＡＮＥ（ｎ＋１）、ＲＴＴ＿ＦＲＡＮＥ（ｎ＋２）と示されている。
【００５２】
また例えば、ＨＭＤ１２がフレーム画像の送信要求を送信したタイミングから、次のフレームのフレーム画像の送信要求を送信するまでの時間を、フレーム間隔と呼ぶこととする。例えば、フレーム画像（ｎ）の送信要求を送信したタイミングからフレーム画像（ｎ＋１）の送信要求を送信するまでの時間を、フレームｎにおけるフレーム間隔と呼ぶこととする。また例えば、フレーム画像（ｎ＋１）の送信要求を送信したタイミングからフレーム画像（ｎ＋２）の送信要求を送信するまでの時間を、フレーム（ｎ＋１）におけるフレーム間隔と呼ぶこととする。また例えば、フレーム画像（ｎ＋２）の送信要求を送信したタイミングからフレーム画像（ｎ＋２）の次のフレームのフレーム画像であるフレーム画像（ｎ＋３）の送信要求を送信するまでの時間を、フレーム（ｎ＋２）におけるフレーム間隔と呼ぶこととする。図３には、フレームｎ、フレーム（ｎ＋１）、フレーム（ｎ＋２）におけるフレーム間隔が、それぞれ、ＦＲＡＭＥ＿ＩＮＴ（ｎ）、ＦＲＡＭＥ＿ＩＮＴ（ｎ＋１）、ＦＲＡＭＥ＿ＩＮＴ（ｎ＋２）と示されている。
【００５３】
そして本実施形態に係るＨＭＤ１２は、例えば、第１のフレーム画像よりも後に受信する第２のフレーム画像のフレーム画像サイズが、第１のフレーム画像の受信に要した時間に応じたものとなるよう制御する。ここでは例えばフレーム画像（ｎ）が第１のフレーム画像に相当し、フレーム画像（ｎ＋２）が第２のフレーム画像に相当する。そして本実施形態では、フレーム画像（ｎ＋２）のフレーム画像サイズが、フレーム画像（ｎ）の受信に要した時間（例えば、ＲＴＴ＿ＦＲＡＭＥ（ｎ））に応じたものとなるよう制御される。このようにして本実施形態によれば、適切なタイミングでフレーム画像がＨＭＤ１２に送信されるよう、それぞれのフレーム画像のフレーム画像サイズを制御できることとなる。なおフレーム画像（ｎ）の受信に要した時間は、ＲＴＴ＿ＦＲＡＭＥ（ｎ）に限定されず、例えば、フレーム画像パケット群（ｎ）に属する最初のパケットを受信したタイミングから最後のパケットを受信したタイミングまでの時間であっても構わない。
【００５４】
なお本実施形態では上述のようにフレーム画像（ｎ＋２）のフレーム画像サイズがＲＴＴ＿ＦＲＡＭＥ（ｎ）に応じたものとなるよう制御される。このことは、ＲＴＴ＿ＦＲＡＭＥ（ｎ）に基づくフレーム画像サイズの特定が送信要求（ｎ＋１）の送信に間に合わない場合があることを想定しているためである。そのため送信要求（ｎ＋１）の送信タイミングに余裕がある場合などにおいては、ＨＭＤ１２は、フレーム画像（ｎ＋１）のフレーム画像サイズが、フレーム画像（ｎ）の受信に要した時間に応じたものとなるよう制御してもよい。この場合はフレーム画像（ｎ）が第１のフレーム画像に相当し、フレーム画像（ｎ＋１）が第２のフレーム画像に相当することとなる。
【００５５】
また本実施形態では、センサ部４０により計測される、ＨＭＤ１２の回転量又は移動量に基づいて、ＨＭＤ１２の姿勢又は位置の変化量が特定される。そして受信するフレーム画像のフレーム画像サイズが、ＨＭＤ１２の姿勢又は位置の変化量に応じたものとなるよう制御される。
【００５６】
また本実施形態では、受信するフレーム画像のフレーム画像サイズが、通信部３４が出力する上述の無線物理層情報に応じたものになるよう制御される。
【００５７】
以下、本実施形態に係る映像表示システム１０の機能並びに本実施形態に係る映像表示システム１０で実行される処理についてさらに説明する。
【００５８】
図４は、本実施形態に係るＨＭＤ１２で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るＨＭＤ１２で、図４に示す機能のすべてが実装される必要はなく、また、図４に示す機能以外の機能が実装されていても構わない。
【００５９】
図４に示すように、本実施形態に係るＨＭＤ１２は、機能的には例えば、制御データ記憶部６０、モニタパケット受信部６２、フレーム画像受信部６４、モニタラウンドトリップタイム特定部６６、フレーム画像ラウンドトリップタイム特定部６８、姿勢・位置特定部７０、無線物理層情報特定部７２、制御データ更新部７４、デコード処理実行部７６、フレーム画像表示制御部７８、フレーム画像要求送信部７９、を含んでいる。本実施形態に係るＨＭＤ１２は、動画像を構成するフレーム画像を受信する受信装置としての役割を担うこととなる。
【００６０】
制御データ記憶部６０は、記憶部３２を主として実装される。モニタパケット受信部６２、フレーム画像受信部６４、フレーム画像要求送信部７９は、通信部３４を主として実装される。モニタラウンドトリップタイム特定部６６、フレーム画像ラウンドトリップタイム特定部６８、制御データ更新部７４は、制御部３０を主として実装される。姿勢・位置特定部７０は、制御部３０及びセンサ部４０を主として実装される。無線物理層情報特定部７２は、制御部３０及び通信部３４を主として実装される。デコード処理実行部７６は、エンコーダ・デコーダ部４４を主として実装される。フレーム画像表示制御部７８は、制御部３０及び表示部３８を主として実装される。
【００６１】
以上の機能は、コンピュータであるＨＭＤ１２にインストールされた、以上の機能に対応する指令を含むプログラムを制御部３０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してＨＭＤ１２に供給されてもよい。
【００６２】
図５は、本実施形態に係るエンタテインメント装置１４で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るエンタテインメント装置１４で、図５に示す機能のすべてが実装される必要はなく、また、図５に示す機能以外の機能が実装されていても構わない。
【００６３】
図５に示すように、本実施形態に係るエンタテインメント装置１４は、機能的には例えば、制御データ記憶部８０、フレーム画像要求受信部８２、制御データ更新部８４、モニタパケット送信部８６、フレーム画像生成部８８、エンコード処理実行部９０、フレーム画像送信部９２、を含んでいる。本実施形態に係るエンタテインメント装置１４は、動画像を構成するフレーム画像を送信する送信装置としての役割を担うこととなる。
【００６４】
制御データ記憶部８０は、記憶部５２を主として実装される。フレーム画像要求受信部８２、モニタパケット送信部８６、フレーム画像送信部９２は、通信部５４又は入出力部５６を主として実装される。制御データ更新部８４、フレーム画像生成部８８は、制御部５０を主として実装される。エンコード処理実行部９０は、エンコーダ・デコーダ部５８を主として実装される。
【００６５】
以上の機能は、コンピュータであるエンタテインメント装置１４にインストールされた、以上の機能に対応する指令を含むプログラムを制御部５０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してエンタテインメント装置１４に供給されてもよい。
【００６６】
制御データ記憶部６０は、本実施形態では例えば、エンタテインメント装置１４から送信されるフレーム画像のフレーム画像サイズなどいったフレーム画像の属性を制御するための制御データを記憶する。本実施形態では例えば、制御データ記憶部６０には、フレーム画像のフレーム画像サイズを示すフレーム画像サイズデータが記憶される。なお本実施形態ではフレーム画像サイズデータの値が大きいほどフレーム画像のフレーム画像サイズは大きくなるよう制御されることとする。
【００６７】
モニタパケット受信部６２は、本実施形態では例えば、上述のモニタパケットをエンタテインメント装置１４から中継装置１６経由で受信する。
【００６８】
フレーム画像受信部６４は、本実施形態では例えば、上述のフレーム画像パケット群をエンタテインメント装置１４から中継装置１６経由で受信する。
【００６９】
モニタラウンドトリップタイム特定部６６は、本実施形態では例えば、上述のモニタラウンドトリップタイムを特定する。例えばモニタパケット（ｎ）の受信に応じて、ＲＴＴ＿ＭＯＮ（ｎ）が特定される。
【００７０】
フレーム画像ラウンドトリップタイム特定部６８は、本実施形態では例えば、上述のフレーム画像ラウンドトリップタイムを特定する。例えばフレーム画像パケット群（ｎ）の最後のパケットの受信に応じて、ＲＴＴ＿ＦＲＡＭＥ（ｎ）が特定される。
【００７１】
姿勢・位置特定部７０は、本実施形態では例えば、センサ部４０の計測結果に基づいて、所定のサンプリングレートでＨＭＤ１２の姿勢及び位置の少なくとも一方を特定する。
【００７２】
無線物理層情報特定部７２は、本実施形態では例えば、所定のサンプリングレートで上述の無線物理層情報が示す値を特定する。ここでは例えば、受信信号強度（ＲＳＳＩ）の値、信号雑音比（ＳＮＲ）の値、変調符号化方式の値、ビーコン送受信期間の値などが特定される。
【００７３】
制御データ更新部７４は、本実施形態では例えば、フレーム画像ラウンドトリップタイム特定部６８が特定するフレーム画像ラウンドトリップタイムに基づいて、制御データ記憶部６０に記憶されているフレーム画像サイズデータの値を更新する。制御データ更新部７４は、モニタラウンドトリップタイム特定部６６が特定するモニタラウンドトリップタイムに基づいて、制御データ記憶部６０に記憶されているフレーム画像サイズデータの値を更新してもよい。本実施形態に係る制御データ更新部７４は、例えば、モニタパケット（ｎ＋１）の受信後にＲＴＴ＿ＭＯＮ（ｎ＋１）が特定された際に、ＲＴＴ＿ＦＲＡＭＥ（ｎ）の値及びＲＴＴ＿ＭＯＮ（ｎ＋１）の値に基づいて、フレーム画像サイズデータの値を更新する。このように本実施形態に係る制御データ更新部７４は、第１のフレーム画像よりも後に受信する第２のフレーム画像のフレーム画像サイズが、第１のフレーム画像の受信に要した時間に応じたものとなるよう制御するフレーム画像サイズ制御部としての役割を担うこととなる。
【００７４】
また制御データ更新部７４は、本実施形態では例えば、姿勢・位置特定部７０が特定するＨＭＤ１２の姿勢及び位置の少なくとも一方に基づいて、ＨＭＤ１２の姿勢又は位置の変化量を特定する。そして制御データ更新部７４は、特定されるＨＭＤ１２の姿勢又は位置の変化量に基づいて、制御データ記憶部６０に記憶されているフレーム画像サイズデータの値を更新する。
【００７５】
また制御データ更新部７４は、本実施形態では例えば、無線物理層情報特定部７２が特定する無線物理層情報が示す値に基づいて、制御データ記憶部６０に記憶されているフレーム画像サイズデータの値を更新する。
【００７６】
デコード処理実行部７６は、本実施形態では例えば、受信したフレーム画像パケット群に対してデコード処理を実行して、表示対象となる画像を生成する。
【００７７】
フレーム画像表示制御部７８は、本実施形態では例えば、デコード処理実行部７６によるデコード後の画像を表示部３８に表示させる。
【００７８】
フレーム画像要求送信部７９は、本実施形態では例えば、フレーム画像パケット群の受信に応じて、次のフレームのフレーム画像の送信要求を中継装置１６経由でエンタテインメント装置１４に送信する。そして本実施形態では、フレーム画像要求送信部７９が送信する送信要求には、送信要求に応じて送信されるフレーム画像の識別子であるフレームシーケンス番号、及び、フレーム画像サイズデータが含まれる。当該送信要求に含まれるフレーム画像サイズの値としては、例えば制御データ記憶部６０に記憶されているフレーム画像サイズの値が設定される。
【００７９】
また本実施形態ではフレーム画像要求送信部７９は、上述のフレーム間隔を示すフレーム間隔データを保持する。初期状態では例えば、フレーム間隔データの値として１／１２０秒が設定されている。そして本実施形態では、フレーム画像要求送信部７９は、フレーム間隔データの値が示すフレーム間隔でフレーム画像の送信要求を送信する。図３に示すＦＲＡＭＥ＿ＩＮＴ（ｎ）、ＦＲＡＭＥ＿ＩＮＴ（ｎ＋１）、ＦＲＡＭＥ＿ＩＮＴ（ｎ＋２）は、フレーム画像要求送信部７９が保持しているフレーム間隔データの値に相当する。
【００８０】
制御データ記憶部８０は、本実施形態では例えば、上述した制御データを記憶する。本実施形態では例えば、制御データ記憶部８０には、フレーム画像のフレーム画像サイズを示すフレーム画像サイズデータが記憶される。
【００８１】
フレーム画像要求受信部８２は、本実施形態では例えば、ＨＭＤ１２から送信されるフレーム画像の送信要求を、中継装置１６経由で受信する。この送信要求には、上述のようにフレーム画像サイズデータが含まれている。このようにして本実施形態に係るフレーム画像要求受信部８２は、送信したフレーム画像の受信に要した時間に応じたフレーム画像サイズの指定をＨＭＤ１２から受信する。
【００８２】
制御データ更新部８４は、フレーム画像要求受信部８２が受信する送信要求に含まれるフレーム画像サイズデータに基づいて、制御データ記憶部８０に記憶されているフレーム画像サイズデータの値を更新する。
【００８３】
モニタパケット送信部８６は、本実施形態では例えば、上述のモニタパケットを送信する。モニタパケットには例えば、上述のフレームシーケンス番号及び更新後のフレーム画像サイズデータの値を示すデータが含まれる。
【００８４】
フレーム画像生成部８８は、本実施形態では例えば、フレーム画像要求受信部８２が受信する送信要求に含まれるフレームシーケンス番号により識別されるフレーム画像を生成する。ここで本実施形態では、フレーム画像生成部８８は、制御データ記憶部８０に記憶されているフレーム画像サイズデータが示すフレーム画像サイズとなるようフレーム画像を生成する。
【００８５】
エンコード処理実行部９０は、本実施形態では例えば、フレーム画像生成部８８が生成するフレーム画像をエンコードする処理を実行する。
【００８６】
フレーム画像送信部９２は、本実施形態では例えば、フレーム画像サイズの指定の受信に応じて、フレーム画像サイズが当該指定に応じたものであるフレーム画像をＨＭＤ１２に送信する。フレーム画像送信部９２は、本実施形態では例えば、エンコード処理実行部９０によりエンコードされたフレーム画像を中継装置１６経由でＨＭＤ１２に送信する。フレーム画像送信部９２は、本実施形態では例えば、エンコードされたフレーム画像に相当するフレーム画像パケット群を送信する。
【００８７】
以下、本実施形態に係るＨＭＤ１２において行われる、送信要求の送信から、フレーム画像パケット群の受信までの処理の流れの一例を、図６に示すフロー図を参照しながら説明する。
【００８８】
まず、フレーム画像要求送信部７９が、フレーム画像の送信要求をエンタテインメント装置１４に送信する（Ｓ１０１）。この送信要求には、制御データ記憶部６０に記憶されているフレーム画像サイズデータが含まれている。
【００８９】
そしてモニタパケット受信部６２が、モニタパケットを受信するまで待機する（Ｓ１０２）。
【００９０】
モニタパケット受信部６２がモニタパケットを受信すると、モニタラウンドトリップタイム特定部６６が、モニタラウンドドリップタイムの値を特定する（Ｓ１０３）。
【００９１】
そして制御データ更新部７４が、制御データ記憶部６０に記憶されているフレーム画像サイズデータの値の更新を開始する（Ｓ１０４）。ここでは例えば、前のフレームのフレーム画像ラウンドトリップタイムの値と、Ｓ１０３に示す処理で特定されたモニタラウンドドリップタイムの値と、に基づいて、制御データ記憶部６０に記憶されているフレーム画像サイズデータの値が更新される。
【００９２】
そしてフレーム画像受信部６４が、フレーム画像パケット群に属する最後のパケットを受信するまで待機する（Ｓ１０５）。
【００９３】
フレーム画像受信部６４が、フレーム画像パケット群に属する最後のパケットを受信すると、フレーム画像ラウンドトリップタイム特定部６８が、当該フレームのフレーム画像ラウンドトリップタイムの値を特定する（Ｓ１０６）。
【００９４】
そしてデコード処理実行部７６が、受信したフレーム画像パケット群に相当するフレーム画像をデコードする（Ｓ１０７）。
【００９５】
そしてフレーム画像表示制御部７８が、Ｓ１０７に示す処理でデコードされたフレーム画像を表示部３８に表示させる（Ｓ１０８）。
【００９６】
そしてフレーム画像要求送信部７９が、次のフレーム画像の送信要求の送信タイミングが到来するまで待機する（Ｓ１０９）。ここでは例えば、フレーム画像要求送信部７９は、Ｓ１０１に示す処理で送信要求が送信されてからの時間が、保持しているフレーム間隔データの値が示す時間になるまで待機することとなる。
【００９７】
そして次のフレーム画像の送信要求の送信タイミングが到来すると、次のフレームについてＳ１０１以降に示す処理が実行される。
【００９８】
以上のように本実施形態では、ＨＭＤ１２は、フレーム画像を受信する度に、当該フレーム画像よりも後に受信するフレーム画像のフレーム画像サイズが、当該フレーム画像の受信に要した時間に応じたものとなるよう制御する。こうすればフレーム画像単位でフレーム画像サイズを制御できる。また理想環境では、ＨＭＤ１２とエンタテインメント装置１４との間で、半二重通信による通信が行われる。
【００９９】
次に上述のＳ１０４に示す処理で開始される、制御データ記憶部６０に記憶されているフレーム画像サイズデータの値の更新処理の流れの一例を、図７Ａ及び図７Ｂに示すフロー図を参照しながら説明する。なおここでは、上述のＳ１０１に示す処理で送信要求（ｎ＋１）が送信された場合について説明することとする。なお図７Ａ及び図７Ｂに示す処理は、図６に示す処理とは非同期で実行されてもよい。
【０１００】
まず、制御データ更新部７４は、例えばＲＴＴ＿ＦＲＡＭＥ（ｎ）の値を確認する（Ｓ２０１）。
【０１０１】
ここで、ＲＴＴ＿ＦＲＡＭＥ（ｎ）の値がフレーム画像ラウンドトリップタイムについての所定の目標時間（以下、ＲＴＴ＿ＦＲＡＭＥ＿ＴＡＲＧＥＴと呼ぶ。）を示す値を超えることが確認されたとする。この場合は、制御データ更新部７４は、制御データ記憶部６０に記憶されているフレーム画像サイズデータの値を減少させる（Ｓ２０２）。ここでは例えば、ＲＴＴ＿ＦＲＡＭＥ（ｎ）の値とＲＴＴ＿ＦＲＡＭＥ＿ＴＡＲＧＥＴの値との差に所定の係数を乗じた値だけ、フレーム画像サイズデータの値が減少されるようにしてもよい。なおＲＴＴ＿ＦＲＡＭＥ＿ＴＡＲＧＥＴの値の一例としては、４ミリ秒が挙げられる。
【０１０２】
ＲＴＴ＿ＦＲＡＭＥ（ｎ）の値が、ＲＴＴ＿ＦＲＡＭＥ＿ＴＡＲＧＥＴより短い所定の時間（以下、ＲＴＴ＿ＦＲＡＭＥ＿ＭＡＲＧＩＮと呼ぶ。）を示す値を超えないことが確認されたとする。この場合は、制御データ更新部７４は、制御データ記憶部６０に記憶されているフレーム画像サイズデータの値を増加させる（Ｓ２０３）。ここでは例えば、ＲＴＴ＿ＦＲＡＭＥ＿ＭＡＲＧＩＮの値とＲＴＴ＿ＦＲＡＭＥ（ｎ）との差に所定の係数を乗じた値だけ、フレーム画像サイズデータの値が増加されるようにしてもよい。またＲＴＴ＿ＦＲＡＭＥ＿ＭＡＲＧＩＮの値の一例としては、３ミリ秒が挙げられる。
【０１０３】
このように本実施形態では、フレーム画像（ｎ）の受信に要した時間が目標時間を超える場合がある。この場合に本実施形態では、制御データ更新部７４が、フレーム画像（ｎ＋２）のフレーム画像サイズが、フレーム画像（ｎ）のフレーム画像サイズよりも小さくなるよう制御する。こうすれば、フレーム画像（ｎ）の受信に要した時間が目標時間を超えた際に、フレーム画像が所期の表示タイミングに遅れることなくＨＭＤ１２に送信されるよう当該フレーム画像のフレーム画像サイズが制御されることとなる。
【０１０４】
また本実施形態では、フレーム画像（ｎ）の受信に要した時間が上述の所定の時間を超えない場合がある。この場合には、制御データ更新部７４は、フレーム画像（ｎ＋２）のフレーム画像サイズがフレーム画像（ｎ）のフレーム画像サイズよりも大きくなるよう制御する。こうすれば、フレーム画像を受信する時間に余裕があるような場合には、送信されるフレーム画像のフレーム画像サイズができるだけ大きくなるよう制御されることとなる。
【０１０５】
ＲＴＴ＿ＦＲＡＭＥ（ｎ）の値が、ＲＴＴ＿ＦＲＡＭＥ＿ＭＡＲＧＩＮの値は超えるがＲＴＴ＿ＦＲＡＭＥ＿ＴＡＲＧＥＴの値は超えない場合は、Ｓ２０４に示す処理に進む。
【０１０６】
そして制御データ更新部７４は、ＲＴＴ＿ＭＯＮ（ｎ＋１）がモニタラウンドトリップタイムについての所定の目標時間（以下、ＲＴＴ＿ＭＯＮ＿ＴＡＲＧＥＴと呼ぶ。）を示す値を超えるか否かを確認する（Ｓ２０４）。
【０１０７】
ＲＴＴ＿ＭＯＮ（ｎ＋１）の値がＲＴＴ＿ＭＯＮ＿ＴＡＲＧＥＴの値を超える場合は（Ｓ２０４：Ｙ）、制御データ更新部７４は、制御データ記憶部６０に記憶されているフレーム画像サイズデータの値を減少させる（Ｓ２０５）。ここで例えば、フレーム画像サイズデータの値が所定値だけ減少されてもよい。あるいはフレーム画像サイズデータの値に１より小さな所定の倍率（例えば８０％など）が乗算されるようにしてもよい。
【０１０８】
このように本実施形態では、フレーム画像（ｎ＋１）よりも後に受信する、フレーム画像（ｎ＋２）のフレーム画像サイズが、フレーム画像（ｎ）の受信に要した時間、及び、ＲＴＴ＿ＭＯＮ（ｎ＋１）の値に応じたものとなるよう制御される。また本実施形態では、フレーム画像サイズデータの値が調整された後に、ＲＴＴ＿ＭＯＮ（ｎ＋１）の値によってフレーム画像サイズデータの値がさらに更新されることとなる。こうすれば、フレーム画像（ｎ）の受信に要した時間が早くても、モニタパケット（ｎ＋１）の受信に時間がかかっている場合に、このことをフレーム画像（ｎ＋２）のフレーム画像サイズに反映させることができる。
【０１０９】
そして制御データ更新部７４は、姿勢・位置特定部７０が特定するＨＭＤ１２の姿勢及び位置の少なくとも一方に基づいて、ＨＭＤ１２が所定量以上動いたか否かを判定する（Ｓ２０６）。Ｓ２０４に示す処理においてＲＴＴ＿ＭＯＮ（ｎ＋１）の値がＲＴＴ＿ＭＯＮ＿ＴＡＲＧＥＴの値を超えないことが確認された場合（Ｓ２０４：Ｎ）についても、Ｓ２０６に示す処理が実行される。ここでは例えば、直近の所定時間における移動量あるいは回転量が所定量を超えた場合には、ＨＭＤ１２が所定量以上動いたと判定されるようにしてもよい。
【０１１０】
そしてＨＭＤ１２が所定量以上動いたと判定された場合に（Ｓ２０６：Ｙ）、制御データ更新部７４は、制御データ記憶部６０に記憶されているフレーム画像サイズデータの値を減少させる（Ｓ２０７）。ここで例えば、フレーム画像サイズデータの値が所定値だけ減少されてもよい。あるいはフレーム画像サイズデータの値に１より小さな所定の倍率（例えば８０％など）が乗算されるようにしてもよい。
【０１１１】
そして制御データ更新部７４は、無線物理層情報特定部７２が特定する無線物理層情報の値に基づいて、ＨＭＤ１２による通信の通信環境が悪いか否かを判定する（Ｓ２０８）。Ｓ２０６に示す処理においてＨＭＤ１２が所定量以上動いたと判定されなかった場合についても（Ｓ２０６：Ｎ）、Ｓ２０８に示す処理が実行される。ここでは例えば、受信信号強度の値が所定値以下である場合や、信号雑音比の値が所定値以下である場合に、ＨＭＤ１２による通信の通信環境が悪いと判定されるようにしてもよい。また例えば、通信に用いられている変調符号化方式に対応付けられる最大データレートが所定値以下である場合に、ＨＭＤ１２による通信の通信環境が悪いと判定されるようにしてもよい。
【０１１２】
そしてＨＭＤ１２による通信の通信環境が悪いと判定される場合に（Ｓ２０８：Ｙ）、制御データ更新部７４は、制御データ記憶部６０に記憶されているフレーム画像サイズデータの値を減少させる（Ｓ２０９）。ここで例えば、フレーム画像サイズデータの値が所定値だけ減少されてもよい。あるいはフレーム画像サイズデータの値に１より小さな所定の倍率（例えば８０％など）が乗算されるようにしてもよい。
【０１１３】
そして制御データ更新部７４は、フレーム画像サイズデータの値が所定の下限であり、かつ、ＲＴＴ＿ＦＲＡＭＥ（ｎ）の値がＲＴＴ＿ＦＲＡＭＥ＿ＴＡＲＧＥＴの値を超えるか否かを確認する（Ｓ２１０）。Ｓ２０８に示す処理においてＨＭＤ１２による通信の通信環境が悪いと判定されなかった場合についても（Ｓ２０８：Ｎ）、Ｓ２１０に示す処理が実行される。
【０１１４】
フレーム画像サイズデータの値が所定の下限でない、あるいは、ＲＴＴ＿ＦＲＡＭＥ（ｎ）の値がＲＴＴ＿ＦＲＡＭＥ＿ＴＡＲＧＥＴの値を超えない場合は、（Ｓ２１０：Ｎ）、本処理例に示す処理は終了される。
【０１１５】
フレーム画像サイズデータの値が所定の下限であり、かつ、ＲＴＴ＿ＦＲＡＭＥ（ｎ）の値がＲＴＴ＿ＦＲＡＭＥ＿ＴＡＲＧＥＴの値を超える場合は（Ｓ２１０：Ｙ）、制御データ更新部７４は、フレーム画像要求送信部７９が保持するフレーム間隔データの値を増加させる（Ｓ２１１）。ここでは例えば倍である１／６０秒にフレーム間隔データの値が変更されてもよい。この場合は、以後のフレーム間隔は、１／６０秒となる。なおＳ２１１に示す処理において、フレーム画像サイズデータの値が所定の下限を下回る場合に、制御データ更新部７４が、フレーム画像サイズデータの値を当該所定の下限に更新するようにしてもよい。このすれば、フレーム画像サイズデータの値は所定の下限を下回らないよう制御されることとなる。
【０１１６】
このように本実施形態では、フレーム画像（ｎ）のフレーム画像サイズが所定の下限でありフレーム画像（ｎ）の受信に要した時間が目標時間を超える場合がある。そして本実施形態ではこのような場合に、制御データ更新部７４は、フレーム画像（ｎ）よりも後に受信するフレーム画像が送信されるフレームレートが小さくなるよう制御する。ここでは例えば、フレーム画像（ｎ＋２）以降のフレーム画像が送信されるフレームレートが小さくなるよう制御される。こうすればフレーム画像サイズを所定の下限としてもフレーム画像が適切なタイミングでＨＭＤ１２に送信されない場合に、フレームレートを下げることで操作におけるプレイヤの違和感を低減することができる。
【０１１７】
そして本処理例に示す処理は終了される。
【０１１８】
上述のＳ２１１に示すようにフレーム画像要求送信部７９が保持するフレーム間隔データの値が変更されたとする。この場合に、例えば更新後のフレーム間隔データの値に応じて、ＲＴＴ＿ＦＲＡＭＥ＿ＴＡＲＧＥＴの値や、ＲＴＴ＿ＦＲＡＭＥ＿ＭＡＲＧＩＮの値が変更されてもよい。例えば、フレーム間隔データの値が倍になった場合には、ＲＴＴ＿ＦＲＡＭＥ＿ＴＡＲＧＥＴの値及びＲＴＴ＿ＦＲＡＭＥ＿ＭＡＲＧＩＮの値が倍になるようにしてもよい。
【０１１９】
また例えば、フレーム画像ラウンドトリップタイムの値が初期状態のＲＴＴ＿ＦＲＡＭＥ＿ＭＡＲＧＩＮの値（例えば３ミリ秒）を下回った際に、フレーム画像要求送信部７９が保持するフレーム間隔データの値が減少される（例えば半分にされる）ようにしてもよい。この場合は、以後のフレーム間隔は、１／１２０秒に戻る。
【０１２０】
なお、フレーム画像パケット群（ｎ＋１）の全てをフレーム画像受信部６４が受信しなかったとする。この場合には、制御データ更新部７４は、制御データ記憶部６０に記憶されているフレーム画像サイズデータの値を所定値だけ減少させてもよい。あるいはこの場合には、制御データ更新部７４は、当該フレーム画像サイズデータの値に１より小さな所定の倍率（例えば８０％など）を乗算してもよい。
【０１２１】
また例えば、フレーム画像受信部６４がフレーム画像パケット群（ｎ）の最後のパケットを送信要求（ｎ＋１）の送信タイミングよりも後に受信したとする。この場合には、制御データ更新部７４は、フレーム画像サイズデータの値を所定値だけ減少させてもよい。あるいはこの場合には、制御データ更新部７４は、フレーム画像サイズデータの値に１より小さな所定の倍率（例えば８０％など）を乗算してもよい。
【０１２２】
また例えば、フレーム画像受信部６４がフレーム画像パケット群（ｎ）の最後のパケットを送信要求（ｎ＋１）の送信タイミングよりも後に受信したとする。この場合には、制御データ更新部７４は、フレーム画像サイズデータの値を所定値だけ減少させてもよい。あるいはこの場合には、制御データ更新部７４は、フレーム画像サイズデータの値に１より小さな所定の倍率（例えば８０％など）を乗算してもよい。
【０１２３】
また例えば、フレーム画像受信部６４がフレーム画像パケット群（ｎ）の最後のパケットをモニタパケット（ｎ＋１）の受信タイミングよりも後に受信したとする。この場合には、制御データ更新部７４は、フレーム画像サイズデータの値を所定値だけ減少させてもよい。あるいはこの場合には、制御データ更新部７４は、フレーム画像サイズデータの値に１より小さな所定の倍率（例えば８０％など）を乗算してもよい。またこの場合には、制御データ更新部７４は、さらに次にフレームについてもフレーム画像サイズデータの値を減少させてもよい。
【０１２４】
また例えば、モニタパケット（ｎ＋１）をフレーム画像受信部６４が受信しなかった場合は、制御データ更新部７４は、フレーム画像サイズデータの値を所定値だけ減少させてもよい。あるいは制御データ更新部７４は、フレーム画像サイズデータの値に１より小さな所定の倍率（例えば８０％など）を乗算してもよい。
【０１２５】
次に、本実施形態に係るエンタテインメント装置１４において行われる、送信要求の受信から、フレーム画像パケット群の送信までの処理の流れの一例を、図８に示すフロー図を参照しながら説明する。
【０１２６】
まず、フレーム画像要求受信部８２が、フレーム画像の送信要求をＨＭＤ１２から受信する（Ｓ３０１）。
【０１２７】
そしてモニタパケット送信部８６が、モニタパケットをＨＭＤ１２に送信する（Ｓ３０２）。
【０１２８】
そして制御データ更新部８４が、制御データ記憶部８０に記憶されているフレーム画像サイズデータの値を、Ｓ３０１に示す処理で受信した送信要求に含まれるフレーム画像サイズデータの値に更新する（Ｓ３０３）。
【０１２９】
そしてフレーム画像生成部８８が、制御データ記憶部８０に記憶されているフレーム画像サイズデータが示すフレーム画像サイズとなるようフレーム画像を生成する（Ｓ３０４）。
【０１３０】
そしてエンコード処理実行部９０が、Ｓ３０４に示す処理で生成されるフレーム画像をエンコードする（Ｓ３０５）。
【０１３１】
そしてフレーム画像送信部９２が、Ｓ３０５に示す処理でエンコードされたフレーム画像を複数のパケットに分割したフレーム画像パケット群をＨＭＤ１２に送信する（Ｓ３０６）。そしてＳ３０１に示す処理に戻る。
【０１３２】
本実施形態に係るエンタテインメント装置１４は、上述のように、フレーム画像の送信要求の受信に応じて、モニタパケットとフレーム画像パケット群という、互いに種類が異なる２種類のパケットをＨＭＤ１２に送信する。そして互いに異なる複数種類のパケットの受信タイミングに基づいて、フレーム画像のフレーム画像サイズが制御されることとなる。
【０１３３】
以上、フレーム画像の受信に要する時間に応じてフレーム画像のフレーム画像サイズを制御する例について説明したが、フレーム画像の受信に要する時間に応じて制御されるものはフレーム画像サイズに限定されない。
【０１３４】
例えば、フレーム画像の受信に要する時間に応じてフレーム画像のエンコード方式が制御されてもよい。
【０１３５】
具体的には例えば、制御データ記憶部６０や制御データ記憶部８０が、フレーム画像のエンコード方式を示すエンコード方式データを記憶してもよい。エンコード方式データは例えば、ＧＯＰ（Group Of Picture）、コーデックタイプ（ｈ．２６４、ｈ．２６５、ＪＰＥＧ、ＲＡＷなど）を示していてもよい。
【０１３６】
そしてフレーム画像の送信要求に、エンコード方式データが含まれるようにしてもよい。そしてフレーム画像生成部８８が、当該送信要求に含まれるエンコード方式データが示す方式に従ってフレーム画像をエンコードしてもよい。例えばフレーム画像サイズと同様に、制御データ更新部７４が、ＲＴＴ＿ＦＲＡＭＥ（ｎ）の値及びＲＴＴ＿ＭＯＮ（ｎ＋１）の値に基づいて、制御データ記憶部６０に記憶されているエンコード方式データの値を更新してもよい。また制御データ更新部８４が、受信した送信要求に含まれるエンコード方式データの値に基づいて、制御データ記憶部８０に記憶されているエンコード方式データの値を更新してもよい。このようにして、フレーム画像（ｎ＋２）のエンコード方式が、ＲＴＴ＿ＦＲＡＭＥ（ｎ）及びＲＴＴ＿ＭＯＮ（ｎ＋１）に応じたものとなるよう制御されてもよい。
【０１３７】
例えばフレーム画像レスポンスタイムの値やモニタレスポンスタイムの値が所定値よりも小さい場合は、情報量が大きくなるよう、エンコード方式データの値がＩフレームとＰフレームとを含むエンコード方式を示す値に設定されてもよい。この場合はＩフレームとＰフレームとを含むようフレーム画像がエンコードされてもよい。また例えばフレーム画像レスポンスタイムの値やモニタレスポンスタイムの値が所定値よりも小さい場合は、情報量が小さくなるよう、エンコード方式データの値がＩフレームのみを含むエンコード方式を示す値に設定されてもよい。この場合はＩフレームのみを含むようフレーム画像がエンコードされてもよい。
【０１３８】
また例えばモニタパケット送信部８６が、バッファ数、バッファサイズ、バッファ動作などを示すバッファ制御データを含むモニタパケットをＨＭＤ１２に送信してもよい。そしてＨＭＤ１２が、当該バッファ制御データに基づいて、フレーム画像のバッファを記憶部３２に設定するようにしてもよい。
【０１３９】
また例えば、フレーム画像送信部９２が、フレーム画像を第１の通信経路経由でＨＭＤ１２に送信し、そのコピーを第２の通信経路経由でＨＭＤ１２に送信してもよい。そしてフレーム画像受信部６４が、フレーム画像を第１の通信経路経由で受信し、そのコピーを第２の通信経路経由で受信してもよい。
【０１４０】
ここで第１の通信経路と第２の通信経路は、互いに周波数帯が異なっていてもよい。例えば第１の通信経路が６０ＧＨｚ帯であり、第２の通信経路が５ＧＨｚ帯であってもよい。
【０１４１】
そしてフレーム画像ラウンドトリップタイム特定部６８は、フレーム画像又はそのコピーのうち、先に受信した方の受信に要した時間を特定してもよい。フレーム画像ラウンドトリップタイム特定部６８は、例えば送信要求（ｎ）を送信してからフレーム画像（ｎ）のパケット群に属する最後のパケットを受信したタイミングまでの時間ｔ１を特定してもよい。そしてフレーム画像ラウンドトリップタイム特定部６８は、例えば、送信要求（ｎ）を送信してからフレーム画像（ｎ）のコピーのパケット群に属する最後のパケットを受信したタイミングまでの時間ｔ２を特定してもよい。そしてフレーム画像ラウンドトリップタイム特定部６８は、時間ｔ１又は時間ｔ２のうちの短い方を、フレーム画像ラウンドトリップタイムとして特定してもよい。
【０１４２】
なおフレーム画像ラウンドトリップタイム特定部６８は、最新のフレームシーケンス番号を保持しており、当該フレームシーケンス番号以上のフレームのフレーム画像又はそのコピーを受信したら、最新のフレームシーケンス番号を１だけ増加させてもよい。そして最新のフレームシーケンス番号未満のフレームのフレーム画像又はそのコピーは破棄してもよい。
【０１４３】
そしてこのようにして特定されたフレーム画像ラウンドトリップタイムに応じたフレーム画像サイズとなるよう、上述のようにしてフレーム画像（ｎ＋２）のフレーム画像サイズが制御されてもよい。この場合は、第１の通信経路又は第２の通信経路のいずれか経由で送信されるフレーム画像（ｎ＋２）及びそのコピーのフレーム画像サイズが制御されることとなる。こうすれば複数の通信経路経由でフレーム画像又はそのコピーが送信される場合に、これらのもののうち最も早く受信したものに応じたフレーム画像サイズとなるよう、フレーム画像のフレーム画像サイズが制御されることとなる。なおこの場合に、送信要求（ｎ＋２）は、第１の通信経路経由で送信されても第２の通信経路経由で送信されても構わない。
【０１４４】
また、ＨＭＤ１２が、フレーム画像を受信する度に、当該フレーム画像よりも後に受信するフレーム画像のフレーム画像サイズが、当該フレーム画像の受信に要した時間に応じたものとなるよう制御しなくてもよい。例えばＨＭＤ１２が、所定数のフレーム画像（例えば、３つのフレーム画像）を受信する度に、当該所定数のフレーム画像よりも後に受信するフレーム画像のフレーム画像サイズがこれら所定数のフレーム画像の受信に要した時間に応じたものとなるよう制御してもよい。
【０１４５】
なお、本発明は上述の実施形態に限定されるものではない。
【０１４６】
例えばフレーム画像要求送信部７９が送信するフレーム画像の送信要求に含まれるフレーム画像サイズデータの値は、フレーム画像のフレーム画像サイズ自体を示している必要はない。フレーム画像の送信要求に含まれるフレーム画像サイズデータの値は、例えば、前のフレームのフレーム画像のフレーム画像サイズとの差分を示していてもよい。また例えば、フレーム画像サイズデータの値がビットレートで表現されていてもよい。そしてエンタテインメント装置１４が、フレーム画像サイズデータが示すビットレートに応じたフレーム画像サイズのフレーム画像を生成してＨＭＤ１２に送信するようにしてもよい。
【０１４７】
また例えば、コンテンツのデータのエンコードやデコードがソフトウェアにより実行されるようにしても構わない。
【０１４８】
また本発明は、ＨＭＤ１２とエンタテインメント装置１４とが有線で通信する場合も無線で通信する場合も適用可能である。
【０１４９】
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。
【図１】
2017179230.tif 000003
【図２Ａ】
2017179230.tif 000004
【図２Ｂ】
2017179230.tif 000005
【図３】
2017179230.tif 000006
【図４】
2017179230.tif 000007
【図５】
2017179230.tif 000008
【図６】
2017179230.tif 000009
【図７Ａ】
2017179230.tif 000010
【図７Ｂ】
2017179230.tif 000011
【図８】
2017179230.tif 000012
【国際調査報告】
2017179230.tif 000013
2017179230.tif 000014