(57)【要約】  本技術は、ユーザ体験の質の低下を抑制できるようにする情報処理装置および方法に関する。情報処理装置は、他の情報処理装置に対して、無線通信により送信情報を送信する無線通信部と、他の情報処理装置との間の通信路の遮断の予測結果を示す遮断予測期間情報に基づいて、無線通信部による無線通信、送信情報の符号化、または送信情報に対する加工処理のうちの少なくとも何れか１つを制御する制御部とを備える。本技術はコンテンツ再生システムに適用することができる。
2020153130.tif 000002
【特許請求の範囲】
【請求項１】
他の情報処理装置に対して、無線通信により送信情報を送信する無線通信部と、
前記他の情報処理装置との間の通信路の遮断の予測結果を示す遮断予測期間情報に基づいて、前記無線通信部による前記無線通信、前記送信情報の符号化、または前記送信情報に対する加工処理のうちの少なくとも何れか１つを制御する制御部と
を備える情報処理装置。
【請求項２】
前記制御部は、前記他の情報処理装置との間にある障害物の動線と、前記通信路を使用したときの伝搬経路とに基づいて前記遮断予測期間情報を生成する
請求項１に記載の情報処理装置。
【請求項３】
前記制御部は、前記他の情報処理装置を被写体として含む、互いに異なる時刻の周囲環境画像に基づいて前記動線を求める
請求項２に記載の情報処理装置。
【請求項４】
前記制御部は、前記他の情報処理装置から受信された、前記無線通信部から送信された信号の前記他の情報処理装置への到来角度を示す到来角度情報と、前記他の情報処理装置の向きを示す回転角度情報とに基づいて前記伝搬経路を求める
請求項２に記載の情報処理装置。
【請求項５】
前記制御部は、前記送信情報の送信に使用中の前記通信路を含む複数の前記通信路について前記遮断予測期間情報を生成する
請求項２に記載の情報処理装置。
【請求項６】
前記遮断予測期間情報は、前記通信路の遮断開始時刻と、前記通信路が遮断される遮断継続時間とを示す情報である
請求項１に記載の情報処理装置。
【請求項７】
前記制御部は、前記遮断予測期間情報に基づいて、前記送信情報の送信に使用する前記通信路の切り替えを制御する
請求項１に記載の情報処理装置。
【請求項８】
前記制御部は、使用中の前記通信路の遮断が予測される場合、前記遮断予測期間情報に基づいて、トレーニング期間中に遮断される前記通信路を除外して、１または複数の前記通信路についてトレーニングを実施させ、前記トレーニングが実施された前記通信路のうちの何れかへと前記送信情報の送信に使用する通信路を切り替えさせる
請求項７に記載の情報処理装置。
【請求項９】
前記制御部は、使用中の前記通信路の遮断が予測される場合、前記遮断予測期間情報に基づいて、前記使用中の前記通信路と同じタイミングで遮断される前記通信路を除外して、１または複数の前記通信路についてトレーニングを実施させ、前記トレーニングが実施された前記通信路のうちの何れかへと前記送信情報の送信に使用する通信路を切り替えさせる
請求項７に記載の情報処理装置。
【請求項１０】
前記制御部は、前記送信情報の送信に使用する通信路を、所定の前記通信路から他の前記通信路へと切り替えた場合、前記所定の前記通信路の遮断期間終了後、前記送信情報の送信に使用する通信路を、前記他の前記通信路から前記所定の前記通信路へと切り替えさせる
請求項７に記載の情報処理装置。
【請求項１１】
前記制御部は、前記遮断予測期間情報に基づいて、前記送信情報の符号化方法を変更させる
請求項１に記載の情報処理装置。
【請求項１２】
前記制御部は、使用中の前記通信路の遮断期間を含む期間における符号化方法を、前記送信情報としての映像情報のピクチャをＩピクチャとして符号化する符号化方法に変更させる
請求項１１に記載の情報処理装置。
【請求項１３】
前記制御部は、使用中の前記通信路の遮断期間を含む期間における符号化方法を、前記送信情報としての映像情報のピクチャのうち、他のピクチャを参照するピクチャを、前記遮断期間外のピクチャを参照先とするピクチャとして符号化する符号化方法に変更させる
請求項１１に記載の情報処理装置。
【請求項１４】
前記制御部は、前記送信情報としての映像情報に対する前記加工処理を指示する制御情報を生成し、前記制御情報を前記他の情報処理装置に送信させる
請求項１に記載の情報処理装置。
【請求項１５】
情報処理装置が、
他の情報処理装置に対して、無線通信により送信情報を送信し、
前記他の情報処理装置との間の通信路の遮断の予測結果を示す遮断予測期間情報に基づいて、無線通信部による前記無線通信、前記送信情報の符号化、または前記送信情報に対する加工処理のうちの少なくとも何れか１つを制御する
情報処理方法。
【請求項１６】
他の情報処理装置から無線通信により送信されてきた映像情報を受信する無線通信部と、
前記他の情報処理装置との間の通信路の遮断の予測結果を示す遮断予測期間情報に基づいて、前記映像情報に対する加工処理を制御する制御部と
を備える情報処理装置。
【請求項１７】
前記遮断予測期間情報は、前記他の情報処理装置から受信される
請求項１６に記載の情報処理装置。
【請求項１８】
前記制御部は、前記遮断予測期間情報に基づいて、複数の前記加工処理のなかから１または複数の前記加工処理を選択し、選択した前記加工処理を行わせる
請求項１６に記載の情報処理装置。
【請求項１９】
前記加工処理は、前記映像情報に基づく映像をぼかしていく処理、前記映像に文字メッセージを付加する処理、または前記映像の一部の領域に前記情報処理装置の周囲を被写体とする撮影画像を表示させる処理である
請求項１６に記載の情報処理装置。
【請求項２０】
情報処理装置が、
他の情報処理装置から無線通信により送信されてきた映像情報を受信し、
前記他の情報処理装置との間の通信路の遮断の予測結果を示す遮断予測期間情報に基づいて、前記映像情報に対する加工処理を制御する
情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置および方法に関し、特に、ユーザ体験の質の低下を抑制できるようにした情報処理装置および方法に関する。
【背景技術】
【０００２】
近年、ハイエンドパーソナルコンピュータやゲーム機器などのコンソールでレンダリングし、符号化された映像情報をHMD（Head Mounted Display）へと伝送するVR（Virtual Reality）システムにおいて、通信路（伝送路）をケーブルレス化するワイヤレスなVRシステムが普及しつつある。そのようなVRシステムの多くでは、高伝送レートを実現できるWiGigやWirelessHDなどのようにミリ波帯無線が使用されている。【０００３】
ところで、ミリ波帯の無線信号は、電波損失の関係から通信距離を稼ぐために電波の指向性制御（ビームフォーミング）を行うのが一般的である。【０００４】
しかし、この場合、送信機と受信機の間に人等の障害物があり、通信路が遮断されると、通信環境の悪化により映像情報が正しく伝送されなくなって映像品質の劣化や伝送遅延の増加などが生じ、ユーザ体験の質が低下してしまうことになる。【０００５】
そこで、コンソールに付随するカメラから取得した情報を用いて障害物の位置を検出し、その検出結果に基づいて通信路選択を行うことで、映像情報や音声情報の伝送エラーを抑制する技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開第２０１７／０９９０７７号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の技術では、現時点において障害物により通信路が遮断されているか否かが検出されるため、例えば選択中の通信路が突然遮断された場合など、一時的に通信環境が悪化する状況が生じてしまう。そのため、通信路の遮断期間をより短くすることはできるが、それでも映像品質の劣化や伝送遅延の増加などが生じ、ユーザ体験の質が低下してしまうことになる。【０００８】
本技術は、このような状況に鑑みてなされたものであり、ユーザ体験の質の低下を抑制できるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の第１の側面の情報処理装置は、他の情報処理装置に対して、無線通信により送信情報を送信する無線通信部と、前記他の情報処理装置との間の通信路の遮断の予測結果を示す遮断予測期間情報に基づいて、前記無線通信部による前記無線通信、前記送信情報の符号化、または前記送信情報に対する加工処理のうちの少なくとも何れか１つを制御する制御部とを備える。【００１０】
本技術の第１の側面の情報処理方法は、他の情報処理装置に対して、無線通信により送信情報を送信し、前記他の情報処理装置との間の通信路の遮断の予測結果を示す遮断予測期間情報に基づいて、無線通信部による前記無線通信、前記送信情報の符号化、または前記送信情報に対する加工処理のうちの少なくとも何れか１つを制御するステップを含む。【００１１】
本技術の第１の側面においては、他の情報処理装置に対して、無線通信により送信情報が送信され、前記他の情報処理装置との間の通信路の遮断の予測結果を示す遮断予測期間情報に基づいて、無線通信部による前記無線通信、前記送信情報の符号化、または前記送信情報に対する加工処理のうちの少なくとも何れか１つが制御される。【００１２】
本技術の第２の側面の情報処理装置は、他の情報処理装置から無線通信により送信されてきた映像情報を受信する無線通信部と、前記他の情報処理装置との間の通信路の遮断の予測結果を示す遮断予測期間情報に基づいて、前記映像情報に対する加工処理を制御する制御部とを備える。【００１３】
本技術の第２の側面の情報処理方法は、他の情報処理装置から無線通信により送信されてきた映像情報を受信し、前記他の情報処理装置との間の通信路の遮断の予測結果を示す遮断予測期間情報に基づいて、前記映像情報に対する加工処理を制御するステップを含む。【００１４】
本技術の第２の側面においては、他の情報処理装置から無線通信により送信されてきた映像情報が受信され、前記他の情報処理装置との間の通信路の遮断の予測結果を示す遮断予測期間情報に基づいて、前記映像情報に対する加工処理が制御される。
【図面の簡単な説明】
【００１５】
【図１】コンテンツ再生システムの構成例を示す図である。
【図２】コンソールの構成例を示す図である。
【図３】HMDの構成を示す図である。
【図４】映像情報送信処理を説明するフローチャートである。
【図５】映像再生処理を説明するフローチャートである。
【図６】通信路の遮断について説明する図である。
【図７】通信路の遮断の予測について説明する図である。
【図８】通信制御処理を説明するフローチャートである。
【図９】通信路マッピング処理および推定処理を説明するフローチャートである。
【図１０】通信路のマッピングについて説明する図である。
【図１１】通信路遮断予測テーブル更新処理を説明するフローチャートである。
【図１２】通信路遮断予測テーブルの更新について説明する図である。
【図１３】通信路遮断予測テーブルの例を示す図である。
【図１４】BFトレーニング処理を説明するフローチャートである。
【図１５】BFトレーニングについて説明する図である。
【図１６】符号化方法の制御例について説明する図である。
【図１７】符号化方法の制御例について説明する図である。
【図１８】加工処理の例について説明する図である。
【図１９】表示映像加工処理を説明するフローチャートである。
【図２０】通信路復帰処理を説明するフローチャートである。
【図２１】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００１７】
〈第１の実施の形態〉
〈コンテンツ再生システムの構成例〉
本技術は、障害物の動きから予め通信路が遮断されることを予測し、その予測した遮断開始時刻や遮断継続時間等に基づいて無線通信や符号化、映像表示等に関する制御を行うことで、ユーザ体験の質の低下を抑制できるようにするものである。
【００１８】
なお、以下ではVRコンテンツ（以下、単にコンテンツとも称する）を再生するコンテンツ再生システムに本技術を適用する場合を例として説明を行う。
【００１９】
しかし、本技術は、無線通信により何らかの送信情報の授受を行うシステムであれば、どのようなシステムにも適用可能である。したがって、無線通信により送信情報として授受されるコンテンツは、VRコンテンツに限らず、通常の映像コンテンツや音声のみのコンテンツなど、どのようなものであってもよい。
【００２０】
図１に本技術を適用したコンテンツ再生システムの一実施の形態の構成例を示す。
【００２１】
図１では、コンテンツ再生システムは、同じ室内にあるコンソール１１とHMD１２を有している。
【００２２】
コンソール１１は、送信機として機能する情報処理装置であり、コンテンツを構成する映像情報を生成して、通信相手の装置であるHMD１２へと無線通信により映像情報を伝送（送信）する。
【００２３】
HMD１２は、受信機として機能する情報処理装置であり、通信相手の装置であるコンソール１１から無線通信により送信された映像情報を受信する。
【００２４】
また、HMD１２は、コンテンツを視聴するユーザの頭部に装着され、受信した映像情報に基づいてコンテンツを再生する。すなわち、HMD１２はウェアラブルな再生装置としても機能する。
【００２５】
さらにHMD１２は、コンテンツの再生や映像情報の送受信のために必要となる、各種の制御情報や位置姿勢情報をコンソール１１に対して無線通信により送信する。
【００２６】
ここで、位置姿勢情報とは、実空間におけるHMD１２の位置と姿勢、換言すればHMD１２を装着するユーザの頭部の位置と姿勢を示すIMU（Inertial Measurement Unit）情報である。
【００２７】
なお、映像情報伝送時の無線通信方式と、制御情報や位置姿勢情報の伝送時の無線通信方式とは同じであっても異なっていてもよい。しかし、基本的には高伝送レートを要する映像情報は60GHz帯等を利用する無線通信方式（無線規格）で伝送され、低伝送レートで十分である制御情報や位置姿勢情報はBluetooth（登録商標）等の無線通信方式（無線規格）で伝送されることが多い。
【００２８】
また、ここではコンテンツ再生システムが１つのコンソール１１と、１つのHMD１２とから構成される例について説明するが、コンテンツ再生システムの構成は図１に示す例に限らず、どのような構成とされてもよい。
【００２９】
例えば、接続が確立された複数の通信装置が存在し、それらの各通信装置に対して周囲端末として他の通信装置があればよく、各通信装置の位置関係もどのような関係であってもよい。その他、ここでは受信機として機能する情報処理装置の例としてHMD１２について説明するが、受信機として機能する情報処理装置は、携帯電話機など、他のどのような装置であってもよい。
【００３０】
〈コンソールの構成例〉
続いて、コンテンツ再生システムを構成するコンソール１１とHMD１２の構成について説明する。
【００３１】
例えばコンソール１１は、図２に示すように構成される。
【００３２】
図２に示すコンソール１１はアンテナ２１、制御情報無線通信部２２、制御部２３、映像生成部２４、記憶部２５、エンコーダ部２６、無線通信部２７、アンテナ２８、およびカメラ２９を有している。
【００３３】
制御情報無線通信部２２は、アンテナ２１を用いた低伝送レートでの無線通信を行う。
【００３４】
すなわち、制御情報無線通信部２２は、制御部２３から供給された情報を無線通信によりアンテナ２１から送信したり、無線通信によりHMD１２から送信されてきた情報（無線信号）をアンテナ２１により受信して制御部２３に供給したりする。
【００３５】
ここで、低伝送レートでの無線通信とは、無線通信部２７での無線通信と比較して低い伝送レートでの通信である。
【００３６】
無線信号の受信時には、制御情報無線通信部２２は、アンテナ２１により受信された無線信号をデジタル信号に変換し、得られたデジタル信号から各種の制御情報や位置姿勢情報などを抽出し、制御部２３に供給する。
【００３７】
なお、ここでいう制御情報とは、例えばHMD１２への無線信号の到来角度を示す到来角度情報や、HMD１２の回転角度を示す回転角度情報などである。
【００３８】
制御部２３は、コンソール１１全体の動作を制御する。
【００３９】
例えば制御部２３は、HMD１２から受信され、制御情報無線通信部２２から供給された制御情報や位置姿勢情報に基づいて、HMD１２へと伝送するコンテンツの映像に必要な情報、例えば映像のレンダリングに必要な情報を生成し、映像生成部２４に供給する。
【００４０】
また、例えば制御部２３は、カメラ２９から供給される周囲環境画像や、制御情報無線通信部２２から供給された位置姿勢情報などに基づいて、コンソール１１とHMD１２との間の通信路の遮断の予測に関する遮断予測期間情報を生成し、無線通信部２７やエンコーダ部２６に供給する。
【００４１】
ここで、周囲環境画像は、少なくともHMD１２を被写体として含む、コンソール１１の周囲を被写体とする画像である。
【００４２】
また、遮断予測期間情報は、コンソール１１とHMD１２との間の通信路の未来における遮断（遮蔽）の予測結果を示す情報であり、ここでは遮断予測期間情報として、後述する通信路遮断予測テーブルが生成されることとする。
【００４３】
その他、制御部２３は、通信路遮断予測テーブルに基づいて、無線通信部２７による無線通信、エンコーダ部２６による映像情報の符号化、およびHMD１２での映像情報に対する加工処理のうちの少なくとも何れか１つの処理を制御する。
【００４４】
映像生成部２４は、制御部２３から供給された情報に基づいてレンダリングを行うことでコンテンツの映像を再生するための動画像データである映像情報を生成し、記憶部２５に供給する。
【００４５】
例えばコンソール１１では、映像情報を生成するためのデータとして、互いに異なる視点で撮影された複数の画像データからなる画像データ群が保持されており、映像生成部２４は、画像データ群および位置姿勢情報に基づいてレンダリングを行い、位置姿勢情報に対応する視点位置および視線方向の映像情報を生成する。
【００４６】
記憶部２５は、映像生成部２４から供給された映像情報を、その映像情報の符号化処理が開始されるまでの間、一時的に記憶する。
【００４７】
エンコーダ部２６は、制御部２３の制御に従って、記憶部２５に一時的に記憶されている映像情報を読み出して符号化処理を行い、その結果得られた符号情報を無線通信部２７に供給する。例えばエンコーダ部２６による符号化処理は、通信路遮断予測テーブル（遮断予測期間情報）等に基づいて制御部２３により制御される。
【００４８】
無線通信部２７は、アンテナ２８を用いた高伝送レートでの無線通信を行う。
【００４９】
すなわち、無線通信部２７は、エンコーダ部２６から供給された符号情報を無線通信によりアンテナ２８から送信したり、無線通信によりHMD１２から送信されてきた情報（無線信号）をアンテナ２８により受信して制御部２３に供給したりする。
【００５０】
ここで、高伝送レートでの無線通信とは、制御情報無線通信部２２での無線通信と比較して高い伝送レートでの通信であり、定期的に生成される符号情報を滞留させることなく伝送できる十分な伝送レートでの通信である。
【００５１】
無線信号、すなわち符号情報の送信時には、無線通信部２７は、エンコーダ部２６から供給された符号情報に基づいて、符号情報が格納された無線通信パケットを生成するとともに、生成した無線通信パケットをアナログ信号である無線信号へと変換する。
【００５２】
無線通信部２７は、このようにして得られた無線信号をアンテナ２８を介して電磁波（電波）として放出することで、無線信号をHMD１２へと送信する。
【００５３】
また、無線信号の受信時には、無線通信部２７は、HMD１２により放出された電磁波をアンテナ２８を介して無線信号として受信してデジタル信号に変換し、得られたデジタル信号から抽出された各種の情報を制御部２３へと供給する。
【００５４】
その他、無線通信部２７は、制御部２３の制御に従って、HMD１２との間の通信路の切り替え（選択）や、通信路の切り替えのためのBF（Beam Forming）トレーニング（ビームフォーミングトレーニング）も実施する。
【００５５】
カメラ２９は、コンソール１１の周囲の被写体を撮像し、その結果得られた周囲環境画像を制御部２３に供給する。
【００５６】
このようなカメラ２９は、主に、HMD１２の位置や姿勢、すなわちHMD１２を装着したユーザの位置や姿勢を把握するために設けられている。制御部２３では、カメラ２９で得られた周囲環境画像に基づいて、後述する通信路のマッピングや障害物の動線予測（動向予測）が行われ、通信路遮断予測テーブルが生成される。
【００５７】
なお、ここではカメラ２９がコンソール１１に設けられている例について説明するが、カメラ２９がコンソール１１の外部に設けられているようにしてもよい。
【００５８】
〈HMDの構成例〉
次に、HMD１２の構成例について説明する。例えばHMD１２は、図３に示すように構成される。
【００５９】
図３に示すHMD１２は、アンテナ６１、無線通信部６２、デコーダ部６３、映像生成部６４、記憶部６５、映像表示部６６、制御部６７、慣性計測部６８、サンプラ６９、制御情報無線通信部７０、およびアンテナ７１を有している。
【００６０】
無線通信部６２は、アンテナ６１を用いた高伝送レートでの無線通信を行う。
【００６１】
すなわち、無線通信部６２は、コンソール１１の無線通信部２７により送信された無線信号を受信してデコーダ部６３や制御部６７に供給したり、制御部６７から供給された情報を無線通信によりアンテナ６１から送信したりする。
【００６２】
例えば無線通信部６２は、アンテナ６１により受信した無線信号をデジタル信号に変換し、得られたデジタル信号から符号情報を抽出してデコーダ部６３に供給する。
【００６３】
デコーダ部６３は、無線通信部６２から供給された符号情報を復号し、その結果得られた映像情報を映像生成部６４に供給する。
【００６４】
映像生成部６４は、制御部６７の制御に従って、デコーダ部６３から供給された映像情報に対して必要に応じて加工処理を施し、最終的にユーザに対して提示する映像の映像情報を生成する。例えば映像生成部６４では、コンソール１１との間の通信路での通信状態が悪化すると加工処理が行われる。映像生成部６４は、生成した映像情報を記憶部６５に供給して記憶させる。
【００６５】
記憶部６５は、映像生成部６４から供給された映像情報を、映像表示部６６に供給するまでの間、一時的に記憶する。映像表示部６６は、例えば液晶ディスプレイなどからなり、記憶部６５から供給された映像情報に基づいてコンテンツの映像を表示する。
【００６６】
制御部６７は、HMD１２全体の動作を制御する。
【００６７】
例えば制御部６７は、コンソール１１から受信され、制御情報無線通信部７０から供給された制御情報や、慣性計測部６８から供給される位置姿勢情報等に基づいて、映像生成部６４における映像情報の加工処理を制御する。
【００６８】
このとき、例えば制御部６７が、制御情報として供給された遮断予測期間情報等に基づいて複数の加工処理のなかから１または複数の加工処理を選択し、選択した加工処理を映像生成部６４に実行させるようにしてもよい。
【００６９】
慣性計測部６８は、例えばジャイロセンサなどからなり、HMD１２の動き、特にHMD１２の回転方向を検知（計測）し、その検知結果に基づいて位置姿勢情報を生成して制御部６７やサンプラ６９に供給する。
【００７０】
サンプラ６９は、慣性計測部６８から供給された位置姿勢情報を無線伝送可能な情報量にサンプル化し、制御情報無線通信部７０に供給する。例えばサンプラ６９では、サンプル化の処理として、位置姿勢情報を映像情報のフレームレートに合わせてダウンサンプリングする処理が行われる。
【００７１】
制御情報無線通信部７０は、アンテナ７１を用いた低伝送レートでの無線通信を行う。
【００７２】
すなわち、制御情報無線通信部７０は、サンプラ６９から供給された位置姿勢情報や、制御部６７から供給された到来角度情報や回転角度情報などの制御情報に基づく無線信号を無線通信によりアンテナ７１から送信する。
【００７３】
また、制御情報無線通信部７０は、無線通信によりコンソール１１から送信されてきた情報（無線信号）をアンテナ７１により受信して制御部６７に供給する。
【００７４】
制御情報無線通信部７０により行われる低伝送レートでの無線通信は、コンソール１１の制御情報無線通信部２２との間で行われる通信である。
【００７５】
例えば無線信号の送信時には、制御情報無線通信部７０は、位置姿勢情報や制御情報が格納された無線通信パケットを生成するとともに、生成した無線通信パケットをアナログ信号である無線信号へと変換する。
【００７６】
制御情報無線通信部７０は、このようにして得られた無線信号をアンテナ７１を介して電磁波として放出することで、無線信号をコンソール１１へと送信する。
【００７７】
また、無線信号の受信時には、制御情報無線通信部７０は、コンソール１１により放出された電磁波をアンテナ７１を介して無線信号として受信してデジタル信号へと変換し、得られたデジタル信号から抽出された各種の情報を制御部６７へと供給する。
【００７８】
〈映像情報送信処理の説明〉
続いて、コンソール１１とHMD１２の動作について説明する。
【００７９】
まず、コンソール１１とHMD１２との間で映像情報を授受し、映像情報に基づいてコンテンツを再生するときに行われる処理について説明する。
【００８０】
そのような場合、コンソール１１は映像情報送信処理を行って映像情報を送信し、HMD１２は映像再生処理を行って映像情報に基づくコンテンツを再生する。
【００８１】
以下、図４のフローチャートを参照して、コンソール１１により行われる映像情報送信処理について説明する。この映像情報送信処理は、例えば映像情報のフレームごとに行われる。
【００８２】
ステップＳ１１において映像生成部２４は、制御部２３の制御に従って映像情報を生成し、記憶部２５に供給する。
【００８３】
例えば制御部２３は、HMD１２から受信した位置姿勢情報を映像生成部２４に供給し、映像情報の生成を指示する。すると映像生成部２４は、制御部２３から供給された位置姿勢情報と画像データ群とに基づいてレンダリングを行い、位置姿勢情報に対応する視点位置および視線方向の映像情報を生成する。
【００８４】
ステップＳ１２においてエンコーダ部２６は、制御部２３の制御に従って、記憶部２５に記憶されている映像情報を符号化し、その結果得られた符号情報を無線通信部２７に供給する。
【００８５】
ステップＳ１３において無線通信部２７は、制御部２３の制御に従って、エンコーダ部２６から供給された符号情報を含む無線通信パケットを生成する。
【００８６】
ステップＳ１４において無線通信部２７は、無線通信パケットに基づいてアナログ信号である無線信号を生成し、その無線信号をアンテナ２８によりHMD１２へと送信する。このようにして映像情報、すなわち符号情報に基づく無線信号が送信されると、映像情報送信処理は終了する。
【００８７】
以上のようにしてコンソール１１は、映像情報を生成してHMD１２へと送信する。このようにすることで、HMD１２では映像情報に基づいてコンテンツを再生することができるようになる。
【００８８】
〈映像再生処理の説明〉
映像情報送信処理が行われると、それに応じてHMD１２では映像再生処理が行われる。以下、図５のフローチャートを参照して、HMD１２により行われる映像再生処理について説明する。
【００８９】
ステップＳ４１において無線通信部６２は、図４のステップＳ１４の処理でコンソール１１から送信されてきた無線信号をアンテナ６１により受信し、デコーダ部６３に供給する。すなわち、無線通信部６２は、受信した無線信号から符号情報を抽出し、デコーダ部６３に供給する。
【００９０】
ステップＳ４２においてデコーダ部６３は、無線通信部６２から供給された符号情報を復号し、その結果得られた映像情報を映像生成部６４に供給する。
【００９１】
ステップＳ４３において制御部６７は、映像情報に対する加工処理を行うか否かを判定する。
【００９２】
ステップＳ４３において加工処理を行わないと判定された場合、映像生成部６４は、デコーダ部６３から供給された映像情報をそのまま記憶部６５に供給して記憶させ、その後、処理はステップＳ４５へと進む。
【００９３】
これに対して、ステップＳ４３において加工処理を行うと判定された場合、制御部６７は映像生成部６４に対して加工処理の実行を指示し、その後、処理はステップＳ４４に進む。そして、ステップＳ４４において映像生成部６４は、制御部６７の制御に従って、デコーダ部６３から供給された映像情報に対して加工処理を行い、記憶部６５に供給する。
【００９４】
例えば加工処理を行うか否かは、制御情報無線通信部７０によってコンソール１１から受信され、制御部６７に供給された制御情報に基づいて判定される。
【００９５】
ここで、加工処理を行うかの判定に用いる制御情報は、実行すべき加工処理を指定する指定情報と遮断予測期間情報であってもよいし、遮断予測期間情報のみであってもよい。なお、遮断予測期間情報に限らず、通信路の遮断の予測に関する情報が制御情報とされてもよい。
【００９６】
例えば制御部６７が遮断予測期間情報に基づいて映像情報に対する加工処理を行うか否かを判定する場合には、制御部６７は、遮断予測期間情報に基づいて、映像情報に対してどのような加工処理を施すかも決定（選択）することができる。
【００９７】
ステップＳ４４で行われる加工処理は、通信路の通信状態の悪化により生じるユーザ体験の質の低下を抑制するための処理であり、例えば映像をぼかす処理や、映像情報に基づく映像に対して文字メッセージ等を付加する処理などとされる。
【００９８】
ステップＳ４４の処理が行われたか、またはステップＳ４３において加工処理を行わないと判定された場合、ステップＳ４５において映像表示部６６は、記憶部６５に記憶されている映像情報に基づいてコンテンツの映像を表示し、映像再生処理は終了する。
【００９９】
以上のようにしてHMD１２は、コンソール１１から映像情報を受信してコンテンツを再生する。このとき、適宜、映像情報に対して加工処理を行うことで、通信状態の悪化により映像品質の劣化や伝送遅延が生じてしまう場合でも、ユーザ体験の質の低下を抑制することができる。
【０１００】
〈通信路の遮断について〉
ところで、図４や図５を参照して説明したように、コンソール１１とHMD１２が映像情報の送受信を行っているときに、その映像情報を伝送する通信路が他のユーザ等の障害物によって遮断されてしまうことがある。
【０１０１】
例えば図６に示すように、コンソール１１とHMD１２とが矢印W11により示される、コンソール１１とHMD１２を直線的に結ぶ通信路を利用して映像情報の送受信を行っているとする。
【０１０２】
このような場合に、例えばHMD１２を装着するユーザとは異なる他のユーザ等の障害物OB11が矢印W12の方向に動いているとすると、あるタイミングにおいて矢印W11により示される通信路が障害物OB11によって一時的に遮断されてしまう。
【０１０３】
そうすると、映像情報の送受信の通信環境、すなわちコンソール１１とHMD１２の間の通信路での通信状態が悪化し、場合によってはコンソール１１により送信された映像情報が正しくHMD１２で受信できなくなり、ユーザ体験の質の低下を招いてしまう。
【０１０４】
そこで、コンソール１１では、図７に示すように障害物OB11の動きを予測し、その予測結果に基づいて通信路の遮断を予測するようにした。なお、図７において図６における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１０５】
図７に示す例では、コンソール１１は、矢印W11により示される通信路が障害物OB11によって遮断されてしまうタイミング（時刻）を示す遮断開始時刻と、障害物OB11によって通信路が遮断された状態となる継続時間である遮断継続時間とを求める。換言すれば、遮断開始時刻と遮断継続時間とを示す通信路遮断予測テーブルが、通信路の遮断の予測結果として生成される。
【０１０６】
コンソール１１は、予測により得られた通信路遮断予測テーブルから、矢印W11により示される通信路が障害物OB11によって遮断されてしまう期間（以下、遮断期間と称する）においては、映像情報を伝送する通信路を矢印W11により示される通信路から、矢印W21により示される通信路へと切り替えて通信を行う。
【０１０７】
ここでは矢印W21により示される通信路は、コンソール１１から出力された無線信号が室内の壁等で反射されてHMD１２へと到達する反射経路の通信路となっている。
【０１０８】
コンソール１１では、障害物OB11によって矢印W11により示される通信路が遮断される前に、予め矢印W21により示される通信路へと映像情報の伝送に用いる通信路が切り替えられる。このようにすることで、通信路の遮断が回避されて、映像情報のフレームロス（伝送エラー）による映像品質の劣化や伝送遅延の発生が抑制され、結果としてユーザ体験の質の低下が抑制される。
【０１０９】
その他、コンソール１１では、後述するように通信路遮断予測テーブルに基づいて、エンコーダ部２６による符号化の制御や映像情報の加工処理の制御を行うことでもユーザ体験の質の低下を抑制できるようになっている。
【０１１０】
〈通信制御処理の説明〉
コンソール１１は、図４を参照して説明した映像情報送信処理を行っている間、図７を参照して説明したように、映像情報の伝送に関する制御や符号化の制御、加工処理の制御などを適宜実行する通信制御処理を行う。この通信制御処理は、定期的に行われるようにしてもよいし、任意のタイミングで不定期に行われるようにしてもよい。
【０１１１】
以下、図８のフローチャートを参照して、コンソール１１により行われる通信制御処理について説明する。
【０１１２】
ステップＳ７１においてコンソール１１は通信路マッピング処理を行う。なお、通信路マッピング処理の詳細は後述するが、通信路マッピング処理では周囲環境画像上にHMD１２との間の通信路がマッピングされて、通信路が視覚的に特定される。
【０１１３】
ステップＳ７２においてコンソール１１は、通信路遮断予測テーブル更新処理を行う。なお、通信路遮断予測テーブル更新処理の詳細は後述するが、通信路遮断予測テーブル更新処理では、ステップＳ７１でのマッピング結果に基づいて、通信路遮断予測テーブルが更新される。
【０１１４】
ステップＳ７３において制御部２３は、ステップＳ７２で得られた更新後の通信路遮断予測テーブルに基づいて、使用中の通信路が遮断されるか否かを判定する。
【０１１５】
通信路遮断予測テーブルを用いれば、現在、映像情報の伝送に用いられている通信路について、未来において通信路が遮断されるか否か、つまり遮断開始時刻と、通信路が遮断される遮断継続時間とを特定することができる。換言すれば、通信路が遮断される遮断期間を特定することができる。
【０１１６】
制御部２３は、通信路遮断予測テーブルを用いて、現時刻から、予め定められた所定時間以内に現在使用中の通信路が遮断されると特定された場合には、ステップＳ７３において使用中の通信路が遮断されると判定する。なお、より詳細には、現在使用中の通信路が既に遮断されている場合にも、ステップＳ７３において使用中の通信路が遮断されると判定される。
【０１１７】
ステップＳ７３において使用中の通信路が遮断されないと判定された場合、処理はステップＳ８３へと進む。
【０１１８】
これに対してステップＳ７３において使用中の通信路が遮断されると判定された場合、ステップＳ７４において制御部２３は、通信路遮断予測テーブルに基づいて、使用中の通信路の遮断開始時刻と遮断継続時間を求める。
【０１１９】
ステップＳ７５において制御部２３は、ステップＳ７４で求めた遮断開始時刻に基づいて、使用中の通信路の遮断開始までに十分な時間があるか否かを判定する。
【０１２０】
ここでは、例えば現在時刻から遮断開始時刻までの時間が予め定められた所定の閾値以上である場合に、十分な時間があると判定される。
【０１２１】
なお、ステップＳ７５で用いられる閾値は、例えば現在使用中の通信路とは異なる他の通信路での通信を開始できる状態とするためのビームフォーミングのトレーニングであるBFトレーニングに必要な時間に基づいて定められる。換言すれば、例えばステップＳ７５では遮断開始時刻までにBFトレーニングを行うことができる場合、遮断開始までに十分な時間があると判定される。
【０１２２】
ステップＳ７５において遮断までに十分な時間がないと判定された場合、その後、処理はステップＳ８０へと進む。この場合、BFトレーニングを行う時間がなく、通信路を切り替えることができないので、通信路の切り替えではなく、符号化の制御等によってユーザ体験の質の低下が抑制される。
【０１２３】
一方、ステップＳ７５において遮断までに十分な時間があると判定された場合、つまり通信路を切り替えるのに十分な時間がある場合、処理はステップＳ７６へと進む。
【０１２４】
ステップＳ７６においてコンソール１１はBFトレーニング処理を行う。なお、BFトレーニング処理の詳細は後述するが、BFトレーニング処理では現在使用中の通信路とは異なる１または複数の通信路についてBFトレーニングが行われ、各通信路を利用してHMD１２との通信が可能な状態となるようにされる。
【０１２５】
ここでは、BFトレーニング処理によってBFトレーニングが行われ、HMD１２との通信を開始することが可能な状態となった通信路が、現在使用中の通信路からの切り替え先の候補となる。
【０１２６】
ステップＳ７７において制御部２３は、ステップＳ７６でBFトレーニングが行われた、切り替え先の候補があるか否かを判定する。すなわち、現在使用中の通信路に代えて、使用（利用）可能な他の通信路があるか否かが判定される。
【０１２７】
ステップＳ７７において切り替え先の候補がないと判定された場合、通信路を切り替えることができないので、その後、処理はステップＳ８０へと進む。この場合においても通信路の切り替えではなく、符号化の制御等によってユーザ体験の質の低下が抑制されることになる。
【０１２８】
これに対して、ステップＳ７７において切り替え先の候補があると判定された場合、ステップＳ７８において制御部２３は通信路の切り替えを制御する。
【０１２９】
例えば制御部２３は、ステップＳ７６で得られた切り替え先の候補のうち、最も通信路の状態、つまり通信状態が良好な候補を切り替え先の通信路とし、その通信路を用いた無線通信が行われるように、無線通信部２７に対して通信路の切り替えを指示する。
【０１３０】
すると、無線通信部２７は、制御部２３からの指示に応じてHMD１２へと無線信号を送信するときに用いる通信路を、制御部２３から指定された通信路へと切り替える。
【０１３１】
これにより、例えばその後において行われる図４のステップＳ１４では、遮断が生じない通信路が用いられて映像情報に基づく無線信号がHMD１２へと送信されるようになる。すなわち、切り替えられた通信路の方向へと無線信号に基づく電磁波がアンテナ２８から放射されるようになる。
【０１３２】
なお、各通信路の通信状態は、例えばBFトレーニングの結果や、HMD１２から高伝送レートで送信されてくるフィードバック情報に基づいて特定することが可能である。また、切り替え先の通信路の選択（決定）は、無線通信部２７により行われてもよい。
【０１３３】
ここで、フィードバック情報には、コンソール１１のアンテナ２８により送信された無線信号、すなわちBFトレーニングのためのトレーニングデータや映像情報をHMD１２が受信したときの受信電力やSINR（Signal to Interference Noise Ratio）などの通信状態に関する情報が含まれている。例えば、フィードバック情報に含まれる受信電力が大きくSINRが高い通信路は、通信状態が良好な通信路であるということができる。無線通信部２７は、アンテナ２８によって受信した無線信号からフィードバック情報を抽出し、制御部２３へと供給する。
【０１３４】
ステップＳ７９において制御部２３は、無線通信部２７から供給されたBFトレーニングの結果やフィードバック情報に基づいて、切り替えた通信路の状態が良好であるか否かを判定する。
【０１３５】
ここでは、例えば切り替え後に受信されたフィードバック情報に含まれる受信電力が所定の閾値以上である場合に通信路の状態が良好であると判定されてもよい。また、BFトレーニングの結果と、切り替え後に受信されたフィードバック情報とが比較されて通信路の状態が良好であるかが判定されるようにしてもよい。
【０１３６】
ステップＳ７９において切り替えた通信路の状態が良好ではないと判定された場合、その後、処理はステップＳ８０へと進む。
【０１３７】
この場合、映像品質の劣化や伝送遅延の発生によって、ユーザ体験の質の低下が生じてしまう可能性があるので、通信路の切り替えに加えて符号化の制御等により、さらにユーザ体験の質の低下の抑制が図られる。
【０１３８】
これに対して、ステップＳ７９において切り替えた通信路の状態が良好であると判定された場合、符号化の制御等は不要であるので、処理はステップＳ８３へと進む。
【０１３９】
ステップＳ７５において遮断までに十分な時間がないと判定されたか、ステップＳ７７において切り替え先の候補がないと判定されたか、またはステップＳ７９において切り替えた通信路の状態が良好ではないと判定されると、ステップＳ８０の処理が行われる。
【０１４０】
ステップＳ８０において制御部２３は、エンコーダ部２６における映像情報の符号化方法の制御を行う。
【０１４１】
例えば制御部２３は、エンコーダ部２６を制御して、通信路が遮断される遮断期間と略同じ期間や通信路の状態が良好でない期間において、通常時の符号化方法とは異なる符号化方法での映像情報の符号化を実行させる。
【０１４２】
具体的には、例えば制御部２３は、現時点において使用中の通信路について遮断開始時刻と遮断継続時間を示す情報、すなわち遮断予測期間情報をデコーダ部６３に供給する。なお、遮断予測期間情報として、通信路遮断予測テーブルが供給されてもよい。
【０１４３】
すると、エンコーダ部２６は図４のステップＳ１２において、制御部２３から供給された遮断予測期間情報に基づいて、通常時の符号化方法とは異なる符号化方法により、映像情報を符号化する。
【０１４４】
例えば現在使用中の通信路が遮断される場合には、通信路が遮断される遮断期間を含む期間において、通常時の符号化方法とは異なる符号化方法により符号化が行われる。
【０１４５】
また、例えば現在使用中の通信路が遮断されないが、通信路の状態が良好ではない場合、すなわちステップＳ７９において良好でないと判定された場合には、通信路の状態が良好であると判定されるまで、継続して通常時の符号化方法とは異なる符号化方法により符号化が行われる。
【０１４６】
ここで、通常時の符号化方法とは異なる符号化方法とは、通信路が遮断されるときでも通常時の符号化方法と比較して、ユーザ体験の質の低下を抑制することができる符号化方法とされる。すなわち、通常時の符号化方法とは異なる符号化方法とは、映像情報のフレームが欠落するフレームロス（伝送エラー）が通常の符号化方法よりも少なくなる符号化方法である。
【０１４７】
このように通信路の切り替えによるユーザ体験の質の低下の抑制が困難である場合には、符号化方法を変更するという符号化処理の制御をすることで、ユーザ体験の質の低下を抑制することができる。
【０１４８】
なお、制御部２３またはエンコーダ部２６によって、複数の符号化方法のなかから、変更後の符号化方法が選択されるようにしてもよい。
【０１４９】
ステップＳ８１において制御部２３は、使用中の通信路の遮断期間が短いか否かを判定する。例えば使用中の通信路の遮断継続時間が所定の閾値以下である場合、遮断期間が短いと判定される。
【０１５０】
例えば通信路の切り替えが行われていない場合には、遮断継続時間として、ステップＳ７４で得られた遮断継続時間を用いることができる。また、通信路の切り替えが行われた場合には、ステップＳ７２で得られた通信路遮断予測テーブルから、切り替え後の通信路の遮断継続時間を得ることができる。
【０１５１】
ステップＳ８１において遮断期間が短いと判定された場合、その後、処理はステップＳ８３へと進む。
【０１５２】
これに対して、ステップＳ８１において遮断期間が短くないと判定された場合、ステップＳ８２において制御部２３は、映像情報に対する加工処理の制御を行う。
【０１５３】
例えば遮断期間が長い場合、コンテンツ再生側であるHMD１２において伝送遅延等によって比較的長い時間、映像情報の再生を停止させなければならないことがある。ユーザが指示していないのにも関わらず映像情報の再生が長時間停止された状態となると違和感が生じることになり、ユーザは不満を感じる可能性がある。
【０１５４】
このような場合、例えば図５のステップＳ４３およびステップＳ４４で説明したように、映像をぼかす処理や文字メッセージ等を付加する処理などの加工処理を行うことで、ユーザの不満を軽減させ、ユーザ体験の質の低下を抑制することができる。
【０１５５】
すなわち、例えば映像をぼかす加工を施せば、映像情報が何も表示されない状態であったり、急に画面が暗転したりするよりはユーザの不満を低く抑えることができる。
【０１５６】
また、例えば映像情報の再生開始（再開）までの時間を文字メッセージとしてカウントダウン形式で提示すれば、ユーザはどれくらい待てばよいのかを知ることができるので、ユーザの不満を軽減させることができる。
【０１５７】
そこで制御部２３は、実行すべき加工処理を指定する指定情報と遮断予測期間情報、または遮断予測期間情報を制御情報として生成して制御情報無線通信部２２に供給し、その制御情報をHMD１２へと送信させる処理を加工処理を制御する処理として行う。
【０１５８】
制御情報無線通信部２２は、制御部２３から供給された制御情報に基づく無線信号をアンテナ２１によりHMD１２へと送信する。制御情報無線通信部２２による低伝送レートの通信では、指向性の強い高伝送レートでの通信と比較して伝送エラー等が生じにくい。
【０１５９】
このようにしてHMD１２へと送信される指定情報や遮断予測期間情報などの制御情報は、映像情報に対する加工処理を指示する制御情報であるということができる。
【０１６０】
例えば、制御部２３が指定情報を生成するときには、制御部２３が通信路遮断予測テーブルに基づいて、複数の加工処理のなかから１つの加工処理、またはいくつかの加工処理の組み合わせを実行すべき加工処理として選択する。その他、予め定められた加工処理が実行すべき加工処理とされてもよい。
【０１６１】
ステップＳ８２の処理が行われたか、ステップＳ８１で遮断期間が短いと判定されたか、ステップＳ７９で通信路の状態が良好であると判定されたか、またはステップＳ７３で使用中の通信路が遮断されないと判定された場合、ステップＳ８３の処理が行われる。
【０１６２】
ステップＳ８３において制御部２３は、通信路の切り替えを行ったか否かを判定する。
【０１６３】
例えばステップＳ８３では、過去において、ステップＳ７８の処理が行われて通信路が切り替えられ、切り替え後の通信路がそのまま現時点で使用されている場合、切り替えを行ったと判定される。
【０１６４】
ステップＳ８３において切り替えを行っていないと判定された場合、ステップＳ８４の処理は行われず、通信制御処理は終了する。
【０１６５】
これに対して、ステップＳ８３において切り替えを行ったと判定された場合、ステップＳ８４においてコンソール１１は、通信路復帰処理を行って通信制御処理は終了する。
【０１６６】
なお、通信路復帰処理の詳細は後述するが、通信路復帰処理においては、適宜、現時点において使用中の通信路から、その通信路への切り替え前に使用されていた通信路へと使用する通信路の切り替えが行われる。
【０１６７】
例えばステップＳ７８で通信路の切り替えが行われるのは、そのときに使用中である通信路が未来において遮断されるか、または現時点で既に遮断されているからであり、切り替え時には、より通信状態が良好な通信路へと切り替えが行われる。しかし、遮断が生じなければ、もともとは切り替え後の通信路よりも切り替え前の通信路の方がより通信状態がよいことが多い。
【０１６８】
そこで、通信路復帰処理においては、フィードバック情報やBFトレーニングの結果、通信路遮断予測テーブルに基づいて、現時点において使用中の通信路と、その通信路への切り替え前の通信路とについて通信路の状態が比較され、通信路の復帰を行うか否かが判定される。
【０１６９】
具体的には、例えば切り替え前の通信路が現時点において遮断されておらず、かつ切り替え前の通信路の状態が、現時点で使用中の通信路の状態よりも良好である場合、通信路の復帰を行う、つまり切り替え前の通信路へと通信路を切り替えると判定される。そして、その判定の結果に応じて、適宜、通信路の切り替えが行われる。
【０１７０】
以上のようにしてコンソール１１は、定期的または不定期に通信路遮断予測テーブルを更新して通信路の遮断を予測し、その予測結果に応じて通信路の切り替え制御や、符号化の制御、加工処理の制御、通信路の復帰の制御を行う。このようにすることで、ユーザ体験の質の低下を抑制することができる。
【０１７１】
〈通信路マッピング処理および推定処理の説明〉
続いて、図８を参照して説明した通信制御処理で行われる各処理について、より詳細に説明する。
【０１７２】
まず、図８のステップＳ７１に対応する通信路マッピング処理について説明する。
【０１７３】
例えばコンソール１１において障害物による通信路の遮断を予測するには、実際の通信経路、つまり実際に無線信号としての電波が伝搬する方向（伝搬経路）と、障害物の移動方向（動線）とを特定する必要がある。
【０１７４】
ここで、障害物の移動速度や移動方向は、カメラ２９で得られた互いに異なる複数の時刻の周囲環境画像から求めることが可能であるが、コンソール１１から高伝送レートで送信された無線信号としての電波の伝搬方向は可視化する必要がある。図８のステップＳ７１で行われる通信路マッピング処理では、このような電波の伝搬方向の可視化が行われる。
【０１７５】
以下、図９のフローチャートを参照して、図８のステップＳ７１の処理に対応し、コンソール１１により行われる通信路マッピング処理と、その通信路マッピング処理に対応してHMD１２により行われる推定処理について説明する。
【０１７６】
ステップＳ１１１において無線通信部２７は、制御部２３の制御に従って、アンテナ２８からBFトレーニングのためのトレーニングデータを送信する。
【０１７７】
例えばステップＳ１１１では、無線通信部２７は現在使用中の通信路を含む、使用する通信路の候補となるいくつかの通信路でトレーニングデータを送信する。また、このトレーニングデータは、60GHz帯等を利用する映像情報（符号情報）の送信のためのBFトレーニングにも用いられるようにしてもよい。
【０１７８】
トレーニングデータが送信されると、HMD１２では推定処理が開始される。
【０１７９】
すなわち、ステップＳ１４１において無線通信部６２は、コンソール１１から送信されてきたトレーニングデータをアンテナ６１により受信し、制御部６７に供給する。
【０１８０】
ステップＳ１４２において制御部６７は、ステップＳ１４１でのトレーニングデータの受信タイミング等の受信状況に基づいて、トレーニングデータの到来角度を推定し、その推定結果を示す到来角度情報を生成する。
【０１８１】
ここで、トレーニングデータの到来角度とは、例えばHMD１２の正面方向を基準としたときのトレーニングデータのHMD１２への到来角度φRであり、トレーニングデータとしての無線信号の到来方向と、HMD１２から見た正面方向とのなす角度である。
【０１８２】
例えばアンテナ６１は、複数のアンテナから構成されており、制御部６７は、それらのアンテナでのトレーニングデータの受信タイミング等に基づいて、MUSIC（Multiple Signal Classification）法などによりトレーニングデータの到来角度φRを推定する。なお、到来角度情報は、トレーニングデータが送信された通信路ごとに生成される。
【０１８３】
ステップＳ１４３において制御部６７は、慣性計測部６８から供給された位置姿勢情報に基づいて、所定の基準方向に対するHMD１２の向いている方向である回転角度φHを推定し、その推定結果を示す回転角度情報を生成する。換言すれば、回転角度情報は、コンソール１１に対するHMD１２の向きを示す情報であるといえる。
【０１８４】
例えばここでの基準方向は、コンソール１１とHMD１２とを結ぶ方向などとされ、その基準方向と、HMD１２の正面方向とのなす角度が回転角度φHとされる。
【０１８５】
このようにして到来角度情報と回転角度情報が得られると、制御部６７は、それらの到来角度情報と回転角度情報を、トレーニングデータに対する応答となる制御情報として制御情報無線通信部７０に供給し、コンソール１１への送信を指示する。
【０１８６】
ステップＳ１４４において制御情報無線通信部７０は、制御部６７から供給された到来角度情報および回転角度情報をアンテナ７１によりコンソール１１に送信し、推定処理は終了する。
【０１８７】
なお、これらの到来角度情報および回転角度情報は、無線通信部６２により高伝送レートで送信されるようにしてもよい。また、ステップＳ１４４では、ステップＳ１４１で受信したトレーニングデータに対する応答として、通信路ごとに受信電力やSINRなどもコンソール１１に送信されるようにしてもよい。
【０１８８】
ステップＳ１４４の処理が行われると、コンソール１１ではステップＳ１１２の処理が行われる。
【０１８９】
すなわち、ステップＳ１１２において制御情報無線通信部２２は、HMD１２から送信されてきた到来角度情報および回転角度情報を受信し、制御部２３に供給する。
【０１９０】
ステップＳ１１３において制御部２３は、ステップＳ１１１で送信されたトレーニングデータの発射角度φTを示す発射角度情報を無線通信部２７から取得する。
【０１９１】
発射角度φTは、コンソール１１とHMD１２とを結ぶ方向などの所定の基準方向と、無線信号として送信されたトレーニングデータの送信時、つまり送信直後の伝搬方向とのなす角度である。
【０１９２】
ステップＳ１１４において制御部２３は、カメラ２９から周囲環境画像を取得する。
【０１９３】
ステップＳ１１５において制御部２３は、到来角度情報、回転角度情報、および発射角度情報に基づいて、ステップＳ１１４で取得された周囲環境画像上に、ステップＳ１１１で送信したトレーニングデータの伝搬経路、つまり通信路をマッピングする。
【０１９４】
具体的には、例えば図１０に示すような位置関係でコンソール１１とHMD１２が実空間上にあるとする。なお、ここでは説明を簡単にするため、平面図を用いて説明を行うが、実際には周囲環境画像に対して、水平方向の角度と垂直方向の角度に基づいて３次元での通信路のマッピングが行われる。
【０１９５】
図１０の例では、HMD１２から見て左斜め前方にコンソール１１が位置している。コンソール１１の制御部２３は、例えばコンソール１１とHMD１２とを結ぶ直線L11の方向を基準方向とする。
【０１９６】
そして、制御部２３はコンソール１１を起点とし、直線L11により示される基準方向に対して発射角度情報により示される発射角度φTの方向へと延びる直線L12を周囲環境画像上に描く。
【０１９７】
次に制御部２３はHMD１２を起点とし、直線L11により示される基準方向に対し、到来角度情報により示される到来角度φRと回転角度情報により示される回転角度φHとを加算して得られる角度（φR＋φH）の方向へと延びる直線L13を周囲環境画像上に描く。
【０１９８】
そして、制御部２３は、これらの直線L12と直線L13の交差点（交点）と、周囲環境画像等から得られる周囲の壁の位置とに基づいてトレーニングデータの通信路を求め、最終的に得られた通信路を周囲環境画像上に描く。換言すれば、周囲環境画像上に、その通信路を使用したときのトレーニングデータの伝搬経路がマッピングされる。より詳細には、３次元の実空間を表すデータ上に通信路がマッピングされる。これにより、通信路が可視化されたことになる。
【０１９９】
なお、通信路のマッピングは、トレーニングデータが送信された複数の通信路ごとに行われる。以下、通信路をマッピングすることにより得られた、各通信路、すなわち伝搬経路（通信経路）を示す情報を通信路マッピング情報と称することとする。
【０２００】
その他、通信路のマッピング時には、到来角度φRや回転角度φHにある程度の振れ幅をもたせることで、トレーニングデータとして送信される無線信号のビーム幅を考慮した通信経路を求めることができるようにしてもよい。
【０２０１】
このようにして通信路マッピング情報が得られると、図９の通信路マッピング処理は終了し、その後、処理は図８のステップＳ７２へと進む。
【０２０２】
以上のようにしてHMD１２は、コンソール１１からトレーニングデータを受信し、その受信に応じて到来角度情報および回転角度情報を生成してコンソール１１に送信する。また、コンソール１１は、HMD１２から到来角度情報および回転角度情報を受信し、通信路のマッピングを行う。
【０２０３】
このようにすることで、コンソール１１では複数の通信路で無線信号を送信するときに、それらの無線信号がどのような経路を辿ってHMD１２へと到達するかを特定することができるようになる。
【０２０４】
なお、図９を参照して説明した通信路マッピング処理と推定処理は、コンソール１１とHMD１２の初期設定時に実施するようにしてもよいし、定期的または不定期の任意のタイミングで実施するようにしてもよい。
【０２０５】
〈通信路遮断予測テーブル更新処理の説明〉
図９を参照して説明した通信路マッピング処理が行われると、図８を参照して説明したように通信路遮断予測テーブル更新処理が行われる。
【０２０６】
以下、図１１のフローチャートを参照して、図８のステップＳ７２に対応し、コンソール１１により行われる通信路遮断予測テーブル更新処理について説明する。
【０２０７】
ステップＳ１７１において制御部２３は、カメラ２９から供給された、互いに異なる複数の時刻の周囲環境画像に基づいて、コンソール１１の周囲にある障害物、より詳細にはHMD１２との間の通信路を遮断する障害物となり得るものの動線を計算する。
【０２０８】
例えば制御部２３は、複数の周囲環境画像の差分を求めたり、周囲環境画像に対する画像認識を行ったりすることで周囲環境画像から移動物体を障害物として検出する。さらに制御部２３は、その障害物の動きベクトル等を求めることで障害物の動線、つまり障害物の移動方向および移動速度を計算により求める。
【０２０９】
例として、ここでは例えば図１２に示すように、通信路マッピング情報により示されるコンソール１１とHMD１２との間の通信路として、矢印W31乃至矢印W34のそれぞれにより表される通信路A乃至通信路Dがあるとする。
【０２１０】
この例では、周囲環境画像から障害物OB21が検出されており、その障害物OB21の動線として、矢印状の直線L31に表される動線が求められたとする。
【０２１１】
この場合、求められた障害物OB21の動線と、通信路マッピング情報により示される通信路A乃至通信路Dとから、未来の互いに異なるタイミングにおいて、通信路A乃至通信路Dが順番に遮断されるであろうことが予測できる。
【０２１２】
特に、図１２に示す例では、現時点においては通信路Cが映像情報の伝送に使用されており、通信路を切り替える際には、残りの通信路A、通信路B、および通信路Dのなかから切り替え先の通信路が選択されるとする。
【０２１３】
図１１のフローチャートの説明に戻り、ステップＳ１７２において制御部２３は、図８のステップＳ７１で得られた通信路マッピング情報と、ステップＳ１７１で求められた障害物の動線とに基づいて、通信路ごとにそれらの通信路が遮断される遮断期間を求める。
【０２１４】
例えば図１２に示した例では、制御部２３は通信路マッピング情報、すなわち周囲環境画像上にマッピングされた通信路Aと、障害物OB21の動線、すなわち障害物OB21の移動方向および移動速度から、通信路Aがどの時刻からどれだけの時間だけ障害物OB21により遮断されるかを特定（予測）することができる。換言すれば、通信路Aについての遮断開始時刻と遮断継続時間により特定される遮断期間を求めることができる。同様にして、他の通信路B乃至通信路Dについても、通信路ごとに遮断期間を求めることができる。
【０２１５】
図１１の説明に戻り、ステップＳ１７３において制御部２３は、ステップＳ１７２で得られた各通信路の遮断期間に基づいて、保持している通信路遮断予測テーブルを更新する。
【０２１６】
例えば図１２に示した通信路A乃至通信路Dがあり、図１２の直線L31により表される動線が求められた場合、ステップＳ１７３では更新後の通信路遮断予測テーブルとして、図１３に示す通信路遮断予測テーブルが得られる。
【０２１７】
図１３に示す例では、通信路A乃至通信路Dの４つの通信路について、参照ポイントである所定の各時刻ｔ1乃至時刻ｔ8において通信路が遮断されているか否かを示す１ビットのフラグ情報が並べられたテーブルが通信路遮断予測テーブルとされている。
【０２１８】
ここでは、各参照ポイントは、所定の時間後の時刻を表している。例えば時刻ｔ1は、現在時刻からｔ1秒後の時刻を表している。
【０２１９】
また、各欄は対応する通信路が対応する時刻において遮断状態となっているか否かを示すフラグ情報を表している。特に丸印「○」が描かれた欄は、フラグ情報の値が遮断状態となることを示す値であることを表しており、丸印「○」が描かれていない欄（空欄）は、フラグ情報の値が遮断状態となっていないことを示す値であることを表している。
【０２２０】
したがって、例えば通信路Aに注目すると、通信路Aは時刻ｔ1乃至時刻ｔ3において遮断された状態となり、その後の時刻ｔ4乃至時刻ｔ8においては遮断されていない状態であることが分かる。
【０２２１】
なお、ここでは８つの時刻ｔ1乃至時刻ｔ8が参照ポイントとして設定されている例について説明したが、参照ポイントの数をいくつにするかや、隣接する参照ポイント間の時間間隔はどのように設定されてもよい。
【０２２２】
また、遮断予測期間情報は通信路遮断予測テーブルに限らず、例えば各通信路が現時刻を基準として何秒後から何秒後までの間の期間に遮断されることを示す情報など、他のどのような形式の情報とされてもよい。
【０２２３】
図１１のフローチャートの説明に戻り、制御部２３は通信路遮断予測テーブルを更新すると、更新後の通信路遮断予測テーブルを適宜、無線通信部２７やエンコーダ部２６に供給し、通信路遮断予測テーブル更新処理は終了する。通信路遮断予測テーブル更新処理が終了すると、その後、処理は図８のステップＳ７３へと進む。
【０２２４】
なお、無線通信部２７等への通信路遮断予測テーブルの供給は、通信路遮断予測テーブルが更新されたか否かによらず定期的に行われてもよいし、通信路遮断予測テーブルが更新されるたびに行われるようにしてもよい。
【０２２５】
以上のようにしてコンソール１１は、周囲環境画像と通信路マッピング情報に基づいて通信路遮断予測テーブルを更新する。このようにすることで、通信路遮断予測テーブルから、各通信路がどのタイミングでどれだけの時間、遮断されるかを予測することができる。
【０２２６】
このようにして得られた通信路遮断予測テーブルは、上述したステップＳ７３やステップＳ７４、ステップＳ７５、ステップＳ８１などの処理で用いられる。
【０２２７】
例えば図１３に示した通信路遮断予測テーブルが得られた場合には、ステップＳ７３では使用中の通信路Cが時刻ｔ4から時刻ｔ5までの期間において遮断されることを特定することができる。また、ステップＳ７４では、時刻ｔ4が遮断開始時刻であり、時刻ｔ4から時刻ｔ5までの時間が遮断継続時間であることが分かる。
【０２２８】
さらにステップＳ７５では、使用中の通信路Cの遮断が開始されるまでの時間、つまり時刻ｔ1から時刻ｔ4の直前までの時間が、所定の閾値以上であるか否かが判定される。
【０２２９】
なお、制御部２３から無線通信部２７に通信路遮断予測テーブルが供給される場合には、上述した図８のステップＳ７３乃至ステップＳ７９やステップＳ８１、ステップＳ８３などの処理が無線通信部２７により行わるようにしてもよい。そのような場合、各ステップでの判定結果等が、必要に応じて無線通信部２７から制御部２３に供給されるようにすればよい。
【０２３０】
〈BFトレーニング処理の説明〉
続いて、図８のステップＳ７６に対応するBFトレーニング処理について説明する。すなわち、以下、図１４のフローチャートを参照して、図８のステップＳ７６に対応し、コンソール１１により行われるBFトレーニング処理について説明する。
【０２３１】
ステップＳ２０１において無線通信部２７は、制御部２３から供給された通信路遮断予測テーブルにより示される通信路のなかから、使用中の通信路を除く、まだ選択されていない他の通信路を１つ選択する。なお、以下、ステップＳ２０１で選択された通信路を選択通信路とも称することとする。
【０２３２】
ステップＳ２０２において無線通信部２７は、これからBFトレーニングを実施した場合に、そのBFトレーニングの期間中に、ステップＳ２０１で選択した選択通信路が遮断されるか否かを通信路遮断予測テーブルに基づいて判定する。
【０２３３】
ステップＳ２０２において選択通信路が遮断されると判定された場合、処理はステップＳ２０５へと進む。この場合、選択通信路についてはBFトレーニングを適切に行うことができず、切り替え先の通信路として使用することができないので、この選択通信路はBFトレーニングの対象とはされない。
【０２３４】
これに対して、ステップＳ２０２において遮断されないと判定された場合、ステップＳ２０３において無線通信部２７は、通信路遮断予測テーブルに基づいて、選択通信路が使用中の通信路と同じ期間に遮断されるか否かを判定する。
【０２３５】
ここでは、使用中の通信路の遮断期間と、選択通信路の遮断期間とが全く同じでなくても、使用中の通信路が遮断されるタイミングにおいて、選択通信路も遮断される場合、つまり使用中の通信路の遮断期間と、選択通信路の遮断期間の少なくとも一部とが重なる場合、同じ期間に遮断されると判定される。
【０２３６】
ステップＳ２０３において使用中の通信路と同じ期間に遮断されると判定された場合、処理はステップＳ２０５へと進む。この場合、選択通信路は、使用中の通信路と同じ期間に遮断されるため、その使用中の通信路の代わりの切り替え先として用いるのは適切ではないのでBFトレーニングの対象とはされない。
【０２３７】
一方、ステップＳ２０３において使用中の通信路と同じ期間に遮断されないと判定された場合、ステップＳ２０４において無線通信部２７は、選択通信路をBFトレーニングの対象とする。
【０２３８】
ステップＳ２０４の処理が行われたか、ステップＳ２０３において同じ期間に遮断されると判定されたか、またはステップＳ２０２において遮断されると判定された場合、ステップＳ２０５の処理が行われる。
【０２３９】
ステップＳ２０５において無線通信部２７は、通信路遮断予測テーブルにより示される通信路のうち、使用中の通信路以外の全ての通信路について、それらの通信路を選択通信路として処理したか否かを判定する。
【０２４０】
ステップＳ２０５において、まだ全ての通信路について処理していないと判定された場合、処理はステップＳ２０１に戻り、上述した処理が繰り返し行われる。
【０２４１】
これに対してステップＳ２０５において、全ての通信路について処理したと判定された場合、ステップＳ２０６において無線通信部２７は、ステップＳ２０４でBFトレーニングの対象とされた通信路についてBFトレーニングを実施する。
【０２４２】
すなわち、無線通信部２７は、BFトレーニングの対象とされた通信路ごとに、BFトレーニングのためのトレーニングデータを、対象となる通信路を使用してアンテナ２８により送信する。
【０２４３】
また、トレーニングデータの送信に応じてHMD１２からは、各通信路の受信電力やSINRなどが必要に応じて含まれている応答信号が送信されてくるので、無線通信部２７はアンテナ２８により応答信号を受信する。
【０２４４】
無線通信部２７が応答信号を受信するとBFトレーニングが完了し、BFトレーニングが行われた通信路での無線通信が可能な状態となる。
【０２４５】
なお、BFトレーニングの対象とされた通信路が１つもない場合には、ステップＳ２０６の処理は行われない。この場合、切り替え先の候補となる通信路がないので、図８のステップＳ７７では切り替え先の候補がないと判定されることになる。
【０２４６】
ステップＳ２０６の処理が行われるとBFトレーニング処理は終了し、その後、処理は図８のステップＳ７７へと進む。
【０２４７】
以上のようにしてコンソール１１は、通信路遮断予測テーブルにより示される通信路のうち、所定の条件を満たす通信路のみを対象としてBFトレーニングを行う。
【０２４８】
このようにすることで、不要な通信路についてはBFトレーニングが行われないようになるので、その分だけBFトレーニングの処理量を低減させることができるとともに、より迅速にBFトレーニングを完了させることができる。
【０２４９】
ここで、BFトレーニングの対象とする通信路の選択の具体的な例について説明する。
【０２５０】
例えば図１３に示した通信路遮断予測テーブルが得られ、現在使用中の通信路が通信路Cであったとする。
【０２５１】
また、例えば図１５に示すようにBFトレーニングを行おうとすると、そのBFトレーニングの実施に時刻ｔ1から時刻ｔ2の期間、すなわち時刻ｔ1から時刻ｔ3の直前までの期間が必要であるとする。
【０２５２】
このような状態で図１４を参照して説明したBFトレーニング処理が行われる場合、無線通信部２７は、使用中の通信路Cを除く、他の通信路A、通信路B、および通信路Dを順番に選択通信路として処理を行う。
【０２５３】
このとき、通信路Aについては、BFトレーニング期間中にその通信路Aが遮断されるため、BFトレーニングの対象から除外される。すなわち、ステップＳ２０２では、通信路AはBFトレーニングの期間中に遮断されると判定される。
【０２５４】
次に、通信路Bについては、使用中の通信路Cの遮断期間と同じ時刻ｔ4において遮断が発生するため、ステップＳ２０３において、同じ期間（タイミング）に遮断されると判定され、やはりBFトレーニングの対象から除外される。
【０２５５】
さらに、通信路Dについては、BFトレーニング期間中に遮断されず、かつ使用中の通信路Cの遮断期間にも遮断されないので、通信路DはBFトレーニングの対象とされる。
【０２５６】
したがって図１５に示す例では、通信路DについてのみBFトレーニングが行われることになる。換言すれば、現在使用中の通信路Cに対する切り替え先の候補は、通信路Dのみとなる。
【０２５７】
なお、ここでは説明を簡単にするため、通信路が４つである場合について説明したが、実際には最大で100以上の通信路が存在することもある。
【０２５８】
したがって、特に通信路の数が多い場合には、図１４を参照して説明したBFトレーニング処理を行ってBFトレーニングの対象とする通信路を絞り込むことで、BFトレーニングの実施時間を大幅に削減することができる。
【０２５９】
〈符号化方法の制御について〉
図８の通信制御処理で説明したように、使用中の通信路の遮断が予測されるが、遮断までに十分な時間がない場合や切り替え先の候補となる通信路がない場合、切り替え後の通信路の状態が良好ではない場合には、ユーザ体験の質の低下を抑制するためにステップＳ８０において符号化方法の制御が行われる。
【０２６０】
例えば、使用中の通信路が遮断されることが予測され、かつ遮断が開始されるまでにBFトレーニングを実施するのに十分な時間がない場合、通信路が遮断された状態となると、伝送している映像情報についてフレームロスが発生してしまうことがある。そうすると、HMD１２側で正しく映像情報を復号できなくなってしまう能性が高くなり、映像情報の再生が一時的に途切れるなどしてユーザ体験の質の低下の要因となる。
【０２６１】
そこで、図８のステップＳ８０では、ユーザ体験に対するフレームロス等の影響を最小限に抑えることができるように符号化方法が変更される。
【０２６２】
この場合、制御部２３が通信路遮断予測テーブルに基づいて、直接、エンコーダ部２６に符号化方法を変更する期間と、変更後の符号化方法を指定するようにしてもよい。また、エンコーダ部２６が制御部２３からの通信路遮断予測テーブル等に基づいて符号化方法を変更する期間と、変更後の符号化方法を決定するようにしてもよい。
【０２６３】
具体的な例としては、例えば図１６や図１７に示す例が考えられる。
【０２６４】
なお、図１６および図１７において横方向は時間を示しており、図中の各四角形は映像情報の１つのフレーム、すなわちピクチャを表している。特に、文字「Ｉ」が記された四角形はＩピクチャを表しており、文字「Ｐ」が記された四角形はＰピクチャを表している。また、図１６および図１７において図中のＰピクチャから他のピクチャへと向かう矢印は、Ｐピクチャの復号時の参照先を表している。
【０２６５】
例えば図１６に示す例では、少なくとも使用中の通信路が遮断される期間においては、映像情報のフレームがＩピクチャとして符号化される。
【０２６６】
Ｉピクチャはフレーム内符号化、つまりフレーム内予測（イントラ予測）を用いて符号化が行われたフレーム（ピクチャ）であり、Ｉピクチャは、そのフレームの符号情報を正しく受信することができれば、符号情報を復号し、正しくピクチャを得ることができる。
【０２６７】
これに対して、Ｐピクチャはあるポイント、つまり時間的に前のピクチャ（フレーム）を参照する片方向予測、より詳細にはフレーム間予測（インター予測）を用いて符号化が行われたフレーム（ピクチャ）である。Ｐピクチャは、そのフレームの符号情報だけでなく、参照先のフレームの符号情報も正しく受信できないと、復号により正しくピクチャを得ることができない。
【０２６８】
例えば図１６に示す例では、図中、左側から２つ目にあるＰピクチャの復号には、そのＰピクチャの符号情報と、参照先のピクチャである図中、左端にあるＰピクチャの符号情報との両方が必要となる。
【０２６９】
ここで、例えば通常時の符号化方法として、各フレームでＰピクチャまたはＩピクチャが適切に選択されて映像情報の符号化が行われる符号化方法が採用されているとする。すなわち、ある期間において必ずＩピクチャとＰピクチャが含まれる符号化方法が採用されているとする。
【０２７０】
また、現在使用中の通信路について、通信路遮断予測テーブルから、期間T11において通信路が遮断されると予測されているとする。
【０２７１】
この場合、通信路が遮断されている期間T11では、映像情報（符号情報）のフレームの伝送が正しく行われなくなる可能性が高くなる。すなわち、フレームロスが生じる可能性が高くなる。
【０２７２】
そのため、仮に期間T11中にＰピクチャを伝送し続けた場合、１フレームでもフレームロスが生じると、参照先を失った後続フレームまで正しく復号することができなくなってしまうことが生じ得る。換言すれば、１フレーム分しかフレームロスが生じなかったとしても、その影響で複数フレームの期間、正しく復号を行うことができなくなってしまうことがある。
【０２７３】
そこで、図８のステップＳ８０では、少なくとも通信路が遮断される期間T11全体が含まれる期間T12において、映像情報のフレーム（ピクチャ）が全てＩピクチャとして符号化される符号化方法で符号化が行われるように制御される。すなわち、符号化方法が変更される。
【０２７４】
図１６に示す例では、遮断が開始されるフレームから、遮断終了直後のフレームまでの期間、つまり期間T11の開始フレームから、期間T11の終了直後のフレームまでの期間が期間T12とされている。
【０２７５】
そして、この期間T12では通常時とは異なる符号化方法が選択されており、期間T12内のフレームは全てＩピクチャとされている。
【０２７６】
なお、期間T11は通信路遮断予測テーブルから特定することが可能である。また、期間T12は、少なくとも期間T11の一部が含まれていれば、どのように定められてもよく、例えば期間T11そのものが期間T12とされてもよい。
【０２７７】
このように期間T12内のフレームが全てＩピクチャとなるように符号化を行えば、通信路の遮断期間中に１つのフレームロスが生じたとしても、その後のフレームを正しく伝送することができれば、HMD１２側において、フレームロスが生じたフレーム後においては、復号により正しく映像情報のフレームを得ることができる。すなわち、フレームロスの影響を最小限に抑えることが可能である。
【０２７８】
図１６の例では、期間T12中は全てのフレームがＩピクチャとなるので、符号情報の符号量は多くなるが、復号時に他のピクチャを参照しないので映像の品質劣化が生じにくい。
【０２７９】
また、通常時とは異なる符号化方法として、図１７に示す符号化方法も考えられる。なお、図１７において図１６における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２８０】
図１７の例では、通信路の遮断が生じる期間T11を含む期間T12において、通常時とは異なる符号化手法での符号化が行われる。
【０２８１】
具体的には、期間T12においては、映像情報のフレームが全てＰピクチャとして符号化が行われる。このとき、Ｐピクチャの参照先は、必ず期間T11外のピクチャ（ＰピクチャまたはＩピクチャ）とされる。図１７では、期間T12内の全てのＰピクチャの参照先が、期間T11の時間的に前のＰピクチャとなっている。
【０２８２】
例えば通常時の符号化方法においては、Ｐピクチャの参照先は、そのＰピクチャの直前のピクチャとされるものとする。この場合、あるタイミングでＰピクチャのフレームロスが生じると、そのＰピクチャを参照先とするＰピクチャも正しく得ることができなくなる。
【０２８３】
これに対して、期間T12内のＰピクチャの参照先となっているＰピクチャは、通信路の遮断が発生する前のタイミングで伝送されるため、その参照先となるＰピクチャについてフレームロスが生じる可能性は低い。
【０２８４】
したがって、図１７における例においても図１６に示した例と同様に、期間T12において、あるフレーム（Ｐピクチャ）の符号情報を正しく受信することができれば、そのフレームを正しく復号することができる。また、そのフレームがロスしたとしても、そのフレームの影響で他のフレームが正しく復号できなくなってしまうこともない。これにより、フレームロスの影響を最小限に抑えることができる。
【０２８５】
特に、この例では遮断期間中は全てＰピクチャとして符号化されるため、図１６に示した例と比較して符号情報の符号量を少なくすることができる。
【０２８６】
但し、この例では遮断期間が長くなると、参照先のピクチャとの差分が大きくなるので、品質劣化や符号量増加の要因にもなり得る。したがって、図１７に示す符号化方法は、通信路が遮断される期間（遮断継続時間）が短い場合に特に有効である。
【０２８７】
なお、図１７では期間T12内のピクチャが全てＰピクチャとされる例について説明したが、期間T12内のＰピクチャの参照先が全て期間T11前のピクチャであればよく、期間T12内にＩピクチャが含まれていてもよい。
【０２８８】
その他、期間T12内のピクチャがＢピクチャなど、自身よりも時間的に後のピクチャも参照先として参照するピクチャとして符号化されるようにしてもよく、そのような場合には、そのピクチャの参照先となるピクチャが期間T11外のピクチャであればよい。
【０２８９】
さらに、図８のステップＳ８０では、必ず図１６に示した符号化方法が選択されるようにしてもよいし、必ず図１７に示した符号化方法が選択されるようにしてもよいが、それらの符号化方法の何れか一方が選択的に採用されるようにしてもよい。
【０２９０】
そのような場合、制御部２３またはエンコーダ部２６は、例えば通信路の遮断継続時間、つまり遮断期間の長さが所定の長さ以下であるときには図１７に示した符号化方法により符号化を行うようにし、遮断継続時間が所定の長さより長いときには図１６に示した符号化方法により符号化を行うようにするなどしてもよい。
【０２９１】
〈加工処理の制御について〉
さらに、図８の通信制御処理で説明したように、遮断期間が長い場合には、ユーザに提示される映像、すなわち映像情報に対して加工処理が施される。
【０２９２】
加工処理は、例えばユーザに対して通信路が遮断されそうであることや、通信路が遮断されており、復帰までにどれだけの時間が必要であるかなどを通知したり、フレームロス等によって画面が急に暗転してしまうことを防止したりするなどの目的で行われる。
【０２９３】
ここで、図１８を参照して、加工処理の具体的な例について説明する。
【０２９４】
例えば図１８の矢印Q11に示す例では、映像情報に基づく映像VD11の図中、右上側の隅にワーニング（Warning）の表示領域WP11が設けられ、映像情報のフレームロスによる再生停止（中断）となっている状態から再生が再開されるまでの時間、つまり復帰までの時間が文字メッセージとして表示領域WP11の部分に表示される。すなわち、映像VD11に対して文字メッセージが重畳表示されている。
【０２９５】
この例では、表示領域WP11の部分には、文字メッセージ「Warning 復帰まであと〇秒」が表示されており、復帰までの残り時間がユーザに対して提示されている。
【０２９６】
したがって、このような文字メッセージ等を重畳表示させる、つまり映像情報に文字メッセージを付加する加工処理を行えば、ユーザの不満を軽減させ、これによりユーザ体験の質の低下を抑制することができる。
【０２９７】
また、例えばHMD１２が内蔵カメラを有している場合、そのカメラによりHMD１２の周囲を被写体とする撮影画像を撮影し、矢印Q12に示すように、得られた撮影画像を映像VD11の図中、右上側の隅に設けられた表示領域WP12の部分にワイプ画像として重畳表示する加工処理を行うようにしてもよい。
【０２９８】
矢印Q12に示す例では、映像VD11の一部の領域が表示領域WP12とされており、この表示領域WP12の部分にワイプ画像が表示される。なお、表示領域WP12の部分に表示される画像は撮影画像全体であってもよいし、撮影画像の一部の領域であってもよい。
【０２９９】
このようにワイプ画像として撮影画像を表示させることで、HMD１２を装着しているユーザは自身の目の前を横切る障害物等を認識することができるので、ユーザに対して通信路が遮断されそうになっていたり、通信路が遮断された状態となっていたりすることを通知することができる。
【０３００】
特に、映像情報の更新（再生）が長時間止まりそうな場合などに、ユーザに撮影画像を提示して周囲の状況を伝えることができれば、ユーザの不満（ストレス）を軽減させ、ユーザ体験の質の低下を抑制することができるようになる。
【０３０１】
さらに、例えば通信路が遮断されて映像情報に基づく映像が更新されなくなる、つまり意図せず再生が停止した状態となると、表示画面が急に暗転することもあり、そのような場合にはユーザに不満が生じる可能性がある。
【０３０２】
そこで、例えば矢印Q13に示すように再生が停止される直前に表示されていた映像VD11、つまりフレームロスが生じる直前に表示されていた映像VD11から、その映像VD11を徐々にぼかしていくような加工処理を行うようにしてもよい。そうすることで、表示画面が急に暗転する場合と比較してユーザの不満をより小さくすることができ、結果としてユーザ体験の質の低下を抑制することができる。
【０３０３】
図８のステップＳ８２で行われる制御として、矢印Q11に示した文字メッセージを付加する加工処理、矢印Q12に示した撮影画像を重畳表示する加工処理、または矢印Q13に示した映像を少しずつぼかしていく加工処理の何れかの処理が行われてもよいし、それらの処理のいくつかが組み合わせられて行われるようにしてもよい。
【０３０４】
また、加工処理として予め定められたものが行われてもよいし、遮断予測期間情報に基づいてどのような加工処理が行われるかが選択されてもよい。さらに、上述したように加工処理の選択はコンソール１１側で行われてもよいし、HMD１２側で行われるようにしてもよい。
【０３０５】
例えば加工処理の選択がコンソール１１側で行われる場合には、図８のステップＳ８２において制御部２３は、遮断予測期間情報（通信路遮断予測テーブル）に基づいて実行すべき加工処理を選択し、その選択した加工処理を示す指定情報と、遮断予測期間情報とを制御情報として制御情報無線通信部２２に供給し、HMD１２へと送信させる。
【０３０６】
このようにして制御部２３は、制御情報無線通信部２２を制御してHMD１２へと制御情報を送信させることで、HMD１２側での映像情報に対する加工処理を制御する。この場合、HMD１２へと送信される制御情報は、加工処理を指示する制御情報であるといえる。
【０３０７】
一方で、実行すべき加工処理をHMD１２側で選択することもできる。
【０３０８】
そのような場合、図８のステップＳ８２において制御部２３は、加工処理を指示する制御情報として遮断予測期間情報を制御情報無線通信部２２に供給し、HMD１２へと送信させることで、HMD１２側での映像情報に対する加工処理を制御する。
【０３０９】
この場合、例えばHMD１２では図１９に示す表示映像加工処理が行われる。以下、図１９のフローチャートを参照して、HMD１２により行われる表示映像加工処理について説明する。
【０３１０】
なお、この表示映像加工処理は、図５のステップＳ４３およびステップＳ４４の処理に対応し、制御情報無線通信部７０がコンソール１１から送信されてきた制御情報としての遮断予測期間情報を受信し、制御部６７に供給すると開始される。
【０３１１】
ステップＳ２３１において制御部６７は、制御情報無線通信部７０から供給された遮断予測期間情報に基づいて、使用中の通信路の遮断継続時間が予め定められた閾値th1以上であるか否かを判定する。例えば閾値th1は秒単位で定められる。また閾値th1はユーザにより設定されてもよい。
【０３１２】
ステップＳ２３１において遮断継続時間が閾値th1以上でないと判定された場合、すなわち通信路が遮断される時間が短く、映像情報に対する影響が殆どない場合、ステップＳ２３２乃至ステップＳ２３６の処理は行われず、その後、処理はステップＳ２３７へと進む。
【０３１３】
これに対してステップＳ２３１において閾値th1以上であると判定された場合、ステップＳ２３２において制御部６７は、遮断予測期間情報に基づいて、使用中の通信路の遮断継続時間が予め定められた閾値th2未満であるか否かを判定する。
【０３１４】
ここで、閾値th2は閾値th1よりも長い時間（秒数）とされ、例えば閾値th2は映像の復帰までの時間を文字メッセージとしてユーザに提示しても、ユーザがその復帰までの時間を見たときに長いと不快に思うことがないような時間とされる。
【０３１５】
ステップＳ２３２において閾値th2未満であると判定された場合、すなわち通信路の遮断により映像情報の再生にある程度の影響はあるが、その影響の継続時間はそれ程長くない場合、処理はステップＳ２３３へと進む。
【０３１６】
ステップＳ２３３において制御部６７は、映像生成部６４による加工処理を制御し、映像情報に基づく映像に重畳させて文字メッセージを表示させる。
【０３１７】
例えば制御部６７は、遮断予測期間情報に基づいて映像の復帰までの時間を映像生成部６４に通知し、映像情報に対する加工処理の実行を指示する。
【０３１８】
映像生成部６４は、制御部６７から通知された復帰までの時間に基づいて、デコーダ部６３から供給された映像情報に対して文字メッセージを付加する加工処理を行い、その結果得られた加工後の映像情報を記憶部６５に供給する。
【０３１９】
この場合、映像生成部６４は、例えば映像情報に基づく映像に重畳されて、文字メッセージとしての復帰までの時間がカウントダウン形式で表示される映像情報を、加工後の映像情報として生成する。これにより映像表示部６６では、例えば図１８の矢印Q11に示した映像が表示される。
【０３２０】
このように、通信路の遮断継続時間がある程度短い場合には、ユーザに対して復帰までの時間が提示され、ユーザ体験の質の低下が抑制される。ステップＳ２３３の処理が行われると、その後、処理はステップＳ２３７へと進む。
【０３２１】
一方、ステップＳ２３２において閾値th2未満でないと判定された場合、ステップＳ２３４において制御部６７は撮影画像を表示可能であるか否かを判定する。
【０３２２】
例えばステップＳ２３４では、HMD１２が周囲を被写体とする撮影画像を撮影可能なカメラを有しており、そのカメラにより撮影画像を撮影することができる状態である場合、撮影画像を表示可能であると判定される。
【０３２３】
ステップＳ２３４において撮影画像を表示可能でないと判定された場合、その後、処理はステップＳ２３７へと進む。
【０３２４】
これに対して、ステップＳ２３４において撮影画像を表示可能であると判定された場合、ステップＳ２３５において制御部６７は、カメラから供給された撮影画像に基づいて、撮影画像上に障害物が映っているか否か、すなわちHMD１２とコンソール１１の間に通信路の遮断要因となる障害物があるか否かを判定する。ここでは、例えば撮影画像に対する画像認識や、複数の撮影画像間の差分を求める処理などにより、障害物が検出される。
【０３２５】
ステップＳ２３５において障害物が映っていないと判定された場合、その後、処理はステップＳ２３７へと進む。
【０３２６】
一方、ステップＳ２３５において障害物が映っていると判定された場合、ステップＳ２３６において制御部６７は、映像生成部６４による加工処理を制御し、映像情報に基づく映像に撮影画像をワイプ表示させる。
【０３２７】
例えば制御部６７は、カメラから供給された撮影画像を映像生成部６４に供給し、映像情報に対する加工処理の実行を指示する。
【０３２８】
映像生成部６４は、制御部６７から供給された撮影画像に基づいて、デコーダ部６３から供給された映像情報に対して撮影画像をワイプ画像として重畳表示させる加工処理を行い、その結果得られた加工後の映像情報を記憶部６５に供給する。
【０３２９】
この場合、映像表示部６６では、例えば図１８の矢印Q12に示した映像が表示される。このように、通信路の遮断時間がある程度長い場合には、ユーザに対して周囲の状況を提示することで、ユーザ体験の質の低下を抑制することができる。
【０３３０】
特に、撮影画像がワイプ表示されるとユーザは周囲に障害物があると認識することができ、通信路が遮断されないようにユーザが移動すれば、映像の復帰までの時間が短くなる。ステップＳ２３６の処理が行われると、その後、処理はステップＳ２３７へと進む。
【０３３１】
ステップＳ２３１において閾値th1以上でないと判定されたか、ステップＳ２３３の処理が行われたか、ステップＳ２３４において表示可能でないと判定されたか、ステップＳ２３５において障害物が映っていないと判定されたか、またはステップＳ２３６の処理が行われると、その後、ステップＳ２３７の処理が行われる。
【０３３２】
ステップＳ２３７において制御部６７は、無線通信部６２での映像情報の受信状況に基づいて、所定フレーム以上連続して映像情報の表示が更新されなかったか否かを判定する。換言すれば、フレームロスや伝送遅延等により所定フレーム以上、連続して映像情報のフレームを得ることができなかったか否かが判定される。
【０３３３】
ステップＳ２３７において所定フレーム以上連続して表示が更新されなかったと判定されなかった場合、ステップＳ２３８の処理は行われず、表示映像加工処理は終了する。
【０３３４】
これに対して、ステップＳ２３７において所定フレーム以上連続で表示が更新されなかったと判定された場合、その後、処理はステップＳ２３８へと進む。
【０３３５】
ステップＳ２３８において制御部６７は映像生成部６４を制御し、映像情報に基づく映像を徐々にぼかす処理を、映像情報に対する加工処理として行わせる。
【０３３６】
映像生成部６４は、制御部６７の制御に従って、デコーダ部６３から供給された映像情報に対して、映像を徐々にぼかす加工処理を施し、その結果得られた加工後の映像情報を記憶部６５に供給する。
【０３３７】
このとき、例えば図１８の矢印Q13に示したように、最後に受信された映像情報の同じフレームが用いられて、そのフレームの映像が徐々にぼけていくようにされる。
【０３３８】
特に、ステップＳ２３３やステップＳ２３６が行われた場合には、文字メッセージやワイプ画像が表示されつつ徐々にぼけていく映像がステップＳ２３８で得られることになる。
【０３３９】
このように、フレームロス等により所定フレーム以上連続して映像情報の表示を更新できていない場合には、ステップＳ２３３での文字メッセージの表示が行われたかや、ステップＳ２３６でのワイプ表示が行われたかに関わらず、ユーザに提示する映像が少しずつぼけていくように加工処理が行われる。このようにすることで、暗転等の急な表示変化を防止し、ユーザ体験の質の低下を抑制することができる。
【０３４０】
ステップＳ２３８の処理が行われると、その後、表示映像加工処理は終了する。
【０３４１】
以上のようにしてHMD１２は、遮断予測期間情報や映像情報の受信状況に基づいて、適宜、適切な加工処理を選択し、選択した加工処理を映像情報に施す。このようにすることで、状況に応じた加工を映像に施し、ユーザ体験の質の低下を抑制することができる。
【０３４２】
〈通信路復帰処理の説明〉
さらに、通信路の復帰について説明する。
【０３４３】
例えば図１５を参照して説明した例において、通信路Cが使用中であるときに、通信路Dのみについて図１４のステップＳ２０６でBFトレーニングが行われ、その後、図８のステップＳ７８で通信路Dに通信路が切り替えられたとする。
【０３４４】
通常、図１２に示したように見通し経路、つまりコンソール１１とHMD１２とを直線的に結ぶ経路を有する通信路Cから、壁等で電波（電磁波）が反射される反射経路を有する通信路Aや通信路B、通信路Dへと通信路を切り替えると、HMD１２側で受信電力が低下し、通信環境が劣化するおそれがある。
【０３４５】
ところが、一般的には通信路Cの通信環境（通信状態）が悪くなって他の通信路A、通信路B、および通信路Dの何れかに通信路が切り替えられた後、通信路Cの通信状態がよくなったとしても、すぐに通信路の切り替えが行われるとは限らない。例えば定期的にBFトレーニングを行っている場合でも、その間隔によっては次のBFトレーニング開始まで待機しなければならない。一方、もし定期的にBFトレーニングを行っていない場合、その時点で使用中の通信路が遮断されるまでは通信路の切り替えは行われない。
【０３４６】
したがって、通信路Cの遮断が終了したとしてもすぐにはBFトレーニングが行われず、通信路Cの通信状態を把握することができないので、最適とはいえない通信路での通信が継続して行われてしまうことがある。
【０３４７】
一方、図８を参照して説明した通信制御処理では、ステップＳ８４において、使用する通信路を適宜、もとの通信路へと切り替える通信路復帰処理が行われる。
【０３４８】
ここで、図８のステップＳ８４の処理について詳細に説明する。すなわち、以下、図２０のフローチャートを参照して、図８のステップＳ８４に対応し、コンソール１１により行われる通信路復帰処理について説明する。
【０３４９】
ステップＳ２６１において制御部２３は、通信路遮断予測テーブルに基づいて、切り替え前の通信路の遮断期間が終了したか否かを判定する。
【０３５０】
例えば制御部２３では、通信路遮断予測テーブルから通信路の遮断期間が終了する時刻を特定することができるので、その特定結果に基づいて、通信路の切り替え後、切り替え前の通信路への復帰を行うまでの時間を設定することができる。そこで、例えば設定した時間が経過した場合に、ステップＳ２６１において遮断期間が終了したと判定されるようにしてもよい。
【０３５１】
ステップＳ２６１においてまだ遮断期間が終了していないと判定された場合、通信路を切り替える必要はないので通信路復帰処理は終了し、これにより図８の通信制御処理も終了する。
【０３５２】
これに対してステップＳ２６１において遮断期間が終了したと判定された場合、ステップＳ２６２において制御部２３は、切り替え前の通信路の方が使用中の通信路よりも通信状態がよいか否かを判定する。
【０３５３】
例えば図１５に示した例において通信路Cから通信路Dへの切り替えが行われ、現時点において通信路Dが使用中であるとする。
【０３５４】
この場合、制御部２３では、もともと使用していた切り替え前の通信路Cについて、過去のBFトレーニング結果やフィードバック情報から、遮断が生じていない状態における通信路Cの通信状態を把握することができる。同様に、制御部２３では、現在使用中の通信路Dについても通信状態を把握することができる。
【０３５５】
そこで、制御部２３は、使用中の通信路Dの通信状態と、切り替え前の通信路Cの通信状態とを比較し、通信路Dよりも通信路Cの方が通信状態がよい場合に、ステップＳ２６２において切り替え前の通信路Cの方が通信状態がよいと判定する。このとき、例えば受信電力やSINRなどが通信状態を表す指標として比較される。
【０３５６】
ステップＳ２６２において切り替え前の通信路よりも使用中の通信路の方が通信状態がよいと判定された場合、つまり切り替え前の通信路の方が通信状態がよいと判定されなかった場合、通信路の切り替えは不要であるので通信路復帰処理は終了し、これにより図８の通信制御処理も終了する。
【０３５７】
一方、ステップＳ２６２において切り替え前の通信路の方が通信状態がよいと判定された場合、処理はステップＳ２６３へと進む。
【０３５８】
ステップＳ２６３において制御部２３は通信路の切り替えを制御する。これにより、切り替え前の通信路の復帰が実現される。
【０３５９】
例えば制御部２３は、切り替え前の通信路を用いた無線通信が行われるように、無線通信部２７に対して通信路の切り替えを指示する。
【０３６０】
すると、無線通信部２７は、制御部２３からの指示に応じてHMD１２へと無線信号を送信するときに用いる通信路を、制御部２３から指定された通信路へと切り替える。
【０３６１】
これにより、例えばその後において行われる図４のステップＳ１４では、切り替え前の通信路が、新たな使用中の通信路とされて、その通信路が用いられて映像情報に基づく無線信号がHMD１２へと送信されるようになる。すなわち、切り替えられた通信路の方向へと無線信号に基づく電磁波がアンテナ２８から放射されるようになる。
【０３６２】
なお、ステップＳ２６３での通信路の切り替えの直前に、切り替え先となる通信路についてBFトレーニングが行われるようにしてもよい。また、ステップＳ２６１乃至ステップＳ２６３の処理が無線通信部２７により行われるようにしてもよい。
【０３６３】
ステップＳ２６３の処理が行われて通信路が切り替えられると通信路復帰処理は終了し、これにより図８の通信制御処理も終了する。
【０３６４】
以上のようにしてコンソール１１は、通信路の切り替えを実施した後、切り替え前の通信路の遮断期間が終了し、かつ切り替え後の通信路よりも切り替え前の通信路の状態がよりよい場合には、切り替え前の通信路へと通信路の切り替えを行う。
【０３６５】
このようにすることで、より通信状態のよい通信路を使用して通信を行うことができるので、フレームロスにより生じる映像品質の劣化や伝送遅延の発生を抑制し、ユーザ体験の質の低下を抑制することができる。
【０３６６】
しかも、この場合、切り替え前の通信路については、既にBFトレーニングが完了した状態となっているので、切り替え時にBFトレーニングを行うことなく、迅速に切り替え前の通信路に復帰することができる。なお、通信路切り替え前にHMD１２へ通信路を切り替える旨を通知する信号を送信するようにしてもよい。
【０３６７】
以上のように、本技術を適用したコンテンツ再生システムによれば、使用中の通信路が遮断されることを事前に予測し、遮断開始時刻や遮断継続時間に基づいて、高速かつ効率よく通信路の切り替えを行うことができる。
【０３６８】
これにより、通信環境（通信状態）の大幅な劣化を防止することができ、ユーザ体験の質の低下を抑制することができる。
【０３６９】
また、通信路の切り替えを行うことができなかったり、切り替え後の通信路の状態が良好でなかったりする場合でも、フレームロスの影響を低減させる符号化方法の制御や、ユーザの不満（ストレス）を軽減させる映像情報に対する加工処理の制御が行われる。
【０３７０】
コンテンツ再生システムでは、これらの制御によってユーザ体験の質の低下、すなわちVR体験価値の低下を抑制することができる。
【０３７１】
〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０３７２】
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０３７３】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０３７４】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０３７５】
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
【０３７６】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。CPU５０１はマイクロプロセッサ等のプロセッサや処理回路であってもよい。
【０３７７】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０３７８】
コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０３７９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３８０】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３８１】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３８２】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３８３】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３８４】
さらに、本技術は、以下の構成とすることも可能である。
【０３８５】
（１）
他の情報処理装置に対して、無線通信により送信情報を送信する無線通信部と、
前記他の情報処理装置との間の通信路の遮断の予測結果を示す遮断予測期間情報に基づいて、前記無線通信部による前記無線通信、前記送信情報の符号化、または前記送信情報に対する加工処理のうちの少なくとも何れか１つを制御する制御部と
を備える情報処理装置。
（２）
前記制御部は、前記他の情報処理装置との間にある障害物の動線と、前記通信路を使用したときの伝搬経路とに基づいて前記遮断予測期間情報を生成する
（１）に記載の情報処理装置。
（３）
前記制御部は、前記他の情報処理装置を被写体として含む、互いに異なる時刻の周囲環境画像に基づいて前記動線を求める
（２）に記載の情報処理装置。
（４）
前記制御部は、前記他の情報処理装置から受信された、前記無線通信部から送信された信号の前記他の情報処理装置への到来角度を示す到来角度情報と、前記他の情報処理装置の向きを示す回転角度情報とに基づいて前記伝搬経路を求める
（２）または（３）に記載の情報処理装置。
（５）
前記制御部は、前記送信情報の送信に使用中の前記通信路を含む複数の前記通信路について前記遮断予測期間情報を生成する
（２）乃至（４）の何れか一項に記載の情報処理装置。
（６）
前記遮断予測期間情報は、前記通信路の遮断開始時刻と、前記通信路が遮断される遮断継続時間とを示す情報である
（１）乃至（５）の何れか一項に記載の情報処理装置。
（７）
前記制御部は、前記遮断予測期間情報に基づいて、前記送信情報の送信に使用する前記通信路の切り替えを制御する
（１）乃至（６）の何れか一項に記載の情報処理装置。
（８）
前記制御部は、使用中の前記通信路の遮断が予測される場合、前記遮断予測期間情報に基づいて、トレーニング期間中に遮断される前記通信路を除外して、１または複数の前記通信路についてトレーニングを実施させ、前記トレーニングが実施された前記通信路のうちの何れかへと前記送信情報の送信に使用する通信路を切り替えさせる
（７）に記載の情報処理装置。
（９）
前記制御部は、使用中の前記通信路の遮断が予測される場合、前記遮断予測期間情報に基づいて、前記使用中の前記通信路と同じタイミングで遮断される前記通信路を除外して、１または複数の前記通信路についてトレーニングを実施させ、前記トレーニングが実施された前記通信路のうちの何れかへと前記送信情報の送信に使用する通信路を切り替えさせる
（７）または（８）に記載の情報処理装置。
（１０）
前記制御部は、前記送信情報の送信に使用する通信路を、所定の前記通信路から他の前記通信路へと切り替えた場合、前記所定の前記通信路の遮断期間終了後、前記送信情報の送信に使用する通信路を、前記他の前記通信路から前記所定の前記通信路へと切り替えさせる
（７）乃至（９）の何れか一項に記載の情報処理装置。
（１１）
前記制御部は、前記遮断予測期間情報に基づいて、前記送信情報の符号化方法を変更させる
（１）乃至（１０）の何れか一項に記載の情報処理装置。
（１２）
前記制御部は、使用中の前記通信路の遮断期間を含む期間における符号化方法を、前記送信情報としての映像情報のピクチャをＩピクチャとして符号化する符号化方法に変更させる
（１１）に記載の情報処理装置。
（１３）
前記制御部は、使用中の前記通信路の遮断期間を含む期間における符号化方法を、前記送信情報としての映像情報のピクチャのうち、他のピクチャを参照するピクチャを、前記遮断期間外のピクチャを参照先とするピクチャとして符号化する符号化方法に変更させる
（１１）に記載の情報処理装置。
（１４）
前記制御部は、前記送信情報としての映像情報に対する前記加工処理を指示する制御情報を生成し、前記制御情報を前記他の情報処理装置に送信させる
（１）乃至（１３）の何れか一項に記載の情報処理装置。
（１５）
情報処理装置が、
他の情報処理装置に対して、無線通信により送信情報を送信し、
前記他の情報処理装置との間の通信路の遮断の予測結果を示す遮断予測期間情報に基づいて、無線通信部による前記無線通信、前記送信情報の符号化、または前記送信情報に対する加工処理のうちの少なくとも何れか１つを制御する
情報処理方法。
（１６）
他の情報処理装置から無線通信により送信されてきた映像情報を受信する無線通信部と、
前記他の情報処理装置との間の通信路の遮断の予測結果を示す遮断予測期間情報に基づいて、前記映像情報に対する加工処理を制御する制御部と
を備える情報処理装置。
（１７）
前記遮断予測期間情報は、前記他の情報処理装置から受信される
（１６）に記載の情報処理装置。
（１８）
前記制御部は、前記遮断予測期間情報に基づいて、複数の前記加工処理のなかから１または複数の前記加工処理を選択し、選択した前記加工処理を行わせる
（１６）または（１７）に記載の情報処理装置。
（１９）
前記加工処理は、前記映像情報に基づく映像をぼかしていく処理、前記映像に文字メッセージを付加する処理、または前記映像の一部の領域に前記情報処理装置の周囲を被写体とする撮影画像を表示させる処理である
（１６）乃至（１８）の何れか一項に記載の情報処理装置。
（２０）
情報処理装置が、
他の情報処理装置から無線通信により送信されてきた映像情報を受信し、
前記他の情報処理装置との間の通信路の遮断の予測結果を示す遮断予測期間情報に基づいて、前記映像情報に対する加工処理を制御する
情報処理方法。
【符号の説明】
【０３８６】
１１  コンソール，  １２  HMD，  ２３  制御部，  ２６  エンコーダ部，  ２７  無線通信部，  ２８  アンテナ，  ６１  アンテナ，  ６２  無線通信部，  ６４  映像生成部，  ６６  映像表示部，  ６７  制御部，  ６８  慣性計測部
【図１】
2020153130.tif 000003
【図２】
2020153130.tif 000004
【図３】
2020153130.tif 000005
【図４】
2020153130.tif 000006
【図５】
2020153130.tif 000007
【図６】
2020153130.tif 000008
【図７】
2020153130.tif 000009
【図８】
2020153130.tif 000010
【図９】
2020153130.tif 000011
【図１０】
2020153130.tif 000012
【図１１】
2020153130.tif 000013
【図１２】
2020153130.tif 000014
【図１３】
2020153130.tif 000015
【図１４】
2020153130.tif 000016
【図１５】
2020153130.tif 000017
【図１６】
2020153130.tif 000018
【図１７】
2020153130.tif 000019
【図１８】
2020153130.tif 000020
【図１９】
2020153130.tif 000021
【図２０】
2020153130.tif 000022
【図２１】
2020153130.tif 000023
【国際調査報告】
2020153130.tif 000024
2020153130.tif 000025
2020153130.tif 000026
2020153130.tif 000027