(57)【要約】  本技術は、最適な通信路を確保することができるようにする情報処理装置および方法に関する。情報処理装置は、コンテンツデータに基づいてコンテンツを再生する再生装置との間の通信路の遮蔽を検出する遮蔽検出部と、通信路の遮蔽が検出された場合、遮蔽が生じない位置への再生装置の移動量を計算する移動計算部と、移動量に基づいてコンテンツデータの生成を制御する制御部とを備える。本技術はコンソールに適用することができる。
2020116179.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツデータに基づいてコンテンツを再生する再生装置との間の通信路の遮蔽を検出する遮蔽検出部と、
前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記再生装置の移動量を計算する移動計算部と、
前記移動量に基づいて前記コンテンツデータの生成を制御する制御部と
を備える情報処理装置。
【請求項２】
前記制御部は、前記移動量に基づいて、前記コンテンツの仮想空間内におけるユーザの位置を示す位置情報を更新するとともに、更新後の前記位置情報に基づいて前記コンテンツデータの生成を制御する
請求項１に記載の情報処理装置。
【請求項３】
前記コンテンツデータを無線通信により前記再生装置に送信する無線通信部をさらに備える
請求項２に記載の情報処理装置。
【請求項４】
前記制御部は、前記移動量に対応する前記仮想空間内の移動量をΔｘとしたときに、前記位置情報により示される位置を−Δｘだけ移動させることで前記位置情報を更新する
請求項３に記載の情報処理装置。
【請求項５】
所定の分割数をＮとし、前記移動量に対応する前記仮想空間内の移動量をΔｘとしたときに、
前記制御部が前記位置情報により示される位置を−Δｘ／Ｎだけ移動させることで前記位置情報を更新し、更新後の前記位置情報に基づいて前記コンテンツデータの生成を制御する処理と、
前記無線通信部が前記コンテンツデータを前記再生装置に送信する処理と
がＮ回連続して行われる
請求項３に記載の情報処理装置。
【請求項６】
前記移動量に対応する前記仮想空間内の移動量をΔｘとし、予め定められた移動量をδｘとし、処理回数をＭとしたときにδｘ×Ｍ≧｜Δｘ｜が満たされるまで、
前記制御部が前記位置情報により示される位置を、移動量Δｘの方向と反対方向にδｘだけ移動させることで前記位置情報を更新し、更新後の前記位置情報に基づいて前記コンテンツデータの生成を制御する処理と、
前記無線通信部が前記コンテンツデータを前記再生装置に送信する処理と
がＭ回連続して行われる
請求項３に記載の情報処理装置。
【請求項７】
前記再生装置は、前記コンテンツを視聴する前記ユーザに装着される
請求項２に記載の情報処理装置。
【請求項８】
前記コンテンツはVRコンテンツである
請求項７に記載の情報処理装置。
【請求項９】
前記制御部は、更新後の前記位置情報により示される位置に対応する視点の映像情報を前記コンテンツデータとして生成する
請求項２に記載の情報処理装置。
【請求項１０】
前記制御部は、更新後の前記位置情報に基づくレンダリング処理により生成された音声情報を前記コンテンツデータとして生成する
請求項２に記載の情報処理装置。
【請求項１１】
情報処理装置が、
コンテンツデータに基づいてコンテンツを再生する再生装置との間の通信路の遮蔽を検出し、
前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記再生装置の移動量を計算し、
前記移動量に基づいて前記コンテンツデータの生成を制御する
情報処理方法。
【請求項１２】
コンテンツデータに基づいてコンテンツを再生する情報処理装置であって、
前記コンテンツデータを送信してくる他の情報処理装置との間の通信路の遮蔽を検出する遮蔽検出部と、
前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記情報処理装置の移動量を計算する移動計算部と、
無線通信により前記移動量を前記他の情報処理装置に送信する無線通信部と
を備える情報処理装置。
【請求項１３】
前記無線通信部は、前記移動量に基づいて生成された、前記他の情報処理装置から送信されてきた前記コンテンツデータを受信する
請求項１２に記載の情報処理装置。
【請求項１４】
前記コンテンツデータは、前記移動量に応じて更新された、前記コンテンツの仮想空間内におけるユーザの位置を示す位置情報に基づいて生成される
請求項１２に記載の情報処理装置。
【請求項１５】
前記移動量に対応する前記仮想空間内の移動量をΔｘとしたときに、前記位置情報により示される位置が−Δｘだけ移動されるように前記位置情報が更新される
請求項１４に記載の情報処理装置。
【請求項１６】
前記コンテンツデータには、更新後の前記位置情報により示される位置に対応する視点の映像情報が含まれている
請求項１４に記載の情報処理装置。
【請求項１７】
前記コンテンツデータには、更新後の前記位置情報に基づくレンダリング処理により生成された音声情報が含まれている
請求項１４に記載の情報処理装置。
【請求項１８】
前記情報処理装置は、前記コンテンツを視聴するユーザに装着される
請求項１２に記載の情報処理装置。
【請求項１９】
前記コンテンツはVRコンテンツである
請求項１８に記載の情報処理装置。
【請求項２０】
コンテンツデータに基づいてコンテンツを再生する情報処理装置が、
前記コンテンツデータを送信してくる他の情報処理装置との間の通信路の遮蔽を検出し、
前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記情報処理装置の移動量を計算し、
無線通信により前記移動量を前記他の情報処理装置に送信する
情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置および方法に関し、特に、最適な通信路を確保することができるようにした情報処理装置および方法に関する。
【背景技術】
【０００２】
近年、ハイエンドパーソナルコンピュータやゲーム機器などのコンソールでレンダリングされた映像をHMD（Head Mounted Display）へと伝送するVR（Virtual Reality）システムにおいて、通信路（伝送路）をケーブルレス化したものが出現してきた。【０００３】
そのようなVRシステムの多くでは、高伝送レートを実現できるように、従来から用いられているWLAN（Wireless Local Area Network）などにおける場合よりも高い周波数帯域が利用される。具体例としてはWiGigやWirelessHDなどのようなミリ波帯を用いるものや、5G通信を用いるものが知られている。【０００４】
ところで、5G通信やミリ波による通信などといった高周波帯の無線通信はWLANなどの比較的低周波利用のものと比べて信号の直進性が強く、遮蔽に弱いことが知られている。【０００５】
そのため、コンソールなどの送信機と、HMDなどの受信機との間に障害物や人物などによる遮蔽が生じると、通信環境の悪化により映像情報や音声情報が正しく伝わりにくくなる。そうすると、伝送エラーに起因する映像や音声の品質低下、伝送遅延などが生じ、ユーザ体験が低下してしまうことになる。【０００６】
そこで、コンソールに付随するカメラから取得した情報を用いて障害物の位置を検出し、その検出結果に基づいて通信路選択を行うことで、映像情報や音声情報の伝送エラーを抑制する技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】国際公開第２０１７／０９９０７７号
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した技術では最適な通信路を確保することが困難であった。【０００９】
すなわち、本来であれば、なるべく送信機から受信機までを直線で結んだ経路で通信したいが、上述した技術では通信路が遮蔽（遮断）されたときに次善の通信路が選択される。このようにして選択された次善の通信路においては、送信機から受信機までを直線的に結ぶ通信路と比較して伝送エラーや伝送遅延が発生しやすいこともあり、ユーザ体験の低下が生じてしまう場合がある。【００１０】
本技術は、このような状況に鑑みてなされたものであり、最適な通信路を確保することができるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の第１の側面の情報処理装置は、コンテンツデータに基づいてコンテンツを再生する再生装置との間の通信路の遮蔽を検出する遮蔽検出部と、前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記再生装置の移動量を計算する移動計算部と、前記移動量に基づいて前記コンテンツデータの生成を制御する制御部とを備える。【００１２】
本技術の第１の側面の情報処理方法は、コンテンツデータに基づいてコンテンツを再生する再生装置との間の通信路の遮蔽を検出し、前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記再生装置の移動量を計算し、前記移動量に基づいて前記コンテンツデータの生成を制御するステップを含む。【００１３】
本技術の第１の側面においては、コンテンツデータに基づいてコンテンツを再生する再生装置との間の通信路の遮蔽が検出され、前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記再生装置の移動量が計算され、前記移動量に基づいて前記コンテンツデータの生成が制御される。【００１４】
本技術の第２の側面の情報処理装置は、コンテンツデータに基づいてコンテンツを再生する情報処理装置であって、前記コンテンツデータを送信してくる他の情報処理装置との間の通信路の遮蔽を検出する遮蔽検出部と、前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記情報処理装置の移動量を計算する移動計算部と、無線通信により前記移動量を前記他の情報処理装置に送信する無線通信部とを備える。【００１５】
本技術の第２の側面の情報処理方法は、コンテンツデータに基づいてコンテンツを再生する情報処理装置が、前記コンテンツデータを送信してくる他の情報処理装置との間の通信路の遮蔽を検出し、前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記情報処理装置の移動量を計算し、無線通信により前記移動量を前記他の情報処理装置に送信するステップを含む。【００１６】
本技術の第２の側面においては、コンテンツデータに基づいてコンテンツを再生する情報処理装置により、前記コンテンツデータを送信してくる他の情報処理装置との間の通信路の遮蔽が検出され、前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記情報処理装置の移動量が計算され、無線通信により前記移動量が前記他の情報処理装置に送信される。
【図面の簡単な説明】
【００１７】
【図１】通信路の遮蔽と切り替えについて説明する図である。
【図２】最適な通信路の確保について説明する図である。
【図３】最適な通信路の確保について説明する図である。
【図４】VRコンテンツ再生システムの構成例を示す図である。
【図５】コンソールの構成例を示す図である。
【図６】コンテンツ送信処理を説明するフローチャートである。
【図７】HMDの移動量の算出について説明する図である。
【図８】HMDの移動量の算出について説明する図である。
【図９】HMDの構成例を示す図である。
【図１０】コンテンツ再生処理を説明するフローチャートである。
【図１１】移動量送信処理を説明するフローチャートである。
【図１２】HMDの移動量の算出について説明する図である。
【図１３】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００１９】
〈第１の実施の形態〉
〈本技術について〉
本技術は、コンテンツを再生する再生装置と、その再生装置にコンテンツデータを送信する情報処理装置とからなるシステムにおいて、通信路の遮蔽状況に応じて仮想空間内におけるユーザの位置を変更（補正）し、変更後の位置に基づいてコンテンツデータを生成することで最適な通信路を確保できるようにするものである。
【００２０】
本技術は、無線通信によりコンテンツデータの授受を行ってコンテンツを再生するシステムであれば、どのようなシステムにも適用可能であるが、以下では例としてVRコンテンツを再生するVRコンテンツ再生システムに本技術を適用する場合について説明する。
【００２１】
本技術を適用したVRコンテンツ再生システムは、例えば送信機として機能するコンソールと、受信機として機能するHMDとからなる。
【００２２】
VRコンテンツ再生システムでは、VRコンテンツ（以下、単にコンテンツと称する）を再生するためのコンテンツデータが無線通信によりコンソールからHMDへと伝送され、HMDにおいてコンテンツデータに基づくコンテンツの再生が行われる。HMDを装着しているユーザは、HMDにより再生されるコンテンツを視聴する。
【００２３】
その他、HMDからコンソールには、コンテンツにより再現される仮想的な空間内におけるユーザの位置および姿勢を示す位置姿勢情報が必要に応じて伝送される。
【００２４】
ここで、コンテンツデータは、コンテンツの映像を再生（表示）させるための映像情報（ビデオデータ）と、その映像に付随する音声を再生させるための音声情報（オーディオデータ）とからなる。なお、コンテンツは映像と音声の何れか一方のみから構成されてもよい。すなわち、コンテンツデータは映像情報と音声情報の少なくとも何れか一方により構成されていればよい。
【００２５】
また、コンテンツ再生時には映像情報に基づいて仮想的な空間の映像がコンテンツの映像として表示される。以下では、コンソールやHMDが実際に存在する空間を実空間とも称し、コンテンツにより再現される仮想的な空間を仮想空間とも称することとする。
【００２６】
映像情報に基づく映像は、HMDを装着するユーザの仮想空間内における位置および姿勢を示す位置姿勢情報に応じて変化する。換言すれば、映像情報に基づく映像は、仮想空間内にいるユーザが位置姿勢情報により示される位置および姿勢である状態において見ている仮想空間の映像（画像）とされる。また、音声情報に基づく音声は、仮想空間内にいるユーザが位置姿勢情報により示される位置および姿勢である状態において聞いている仮想空間の音である。
【００２７】
仮想空間におけるユーザの位置および姿勢を示す位置姿勢情報は、実空間におけるユーザ（HMD）の位置および姿勢の計測結果から得ることができる。実空間においてユーザが位置や姿勢を変化させると、それに連動して仮想空間におけるユーザの位置や姿勢も変化する。
【００２８】
すなわち、仮想空間の位置姿勢情報は、仮想空間内の基準となる位置を原点とする仮想空間座標系におけるユーザの位置および姿勢を示す情報である。これに対して、HMD側において実際に計測されるのは、実空間内の基準となる位置を原点とする実空間座標系におけるユーザの位置および姿勢を示す情報である。
【００２９】
これらの仮想空間座標系と実空間座標系との対応関係は予め定められているため、実空間におけるユーザの位置および姿勢を示す情報を仮想空間の位置姿勢情報へと変換することが可能である。なお、実空間におけるユーザ（HMD）の位置および姿勢を示す位置姿勢情報がコンソールへと送信され、コンソールにおいて実空間の位置姿勢情報が仮想空間の位置姿勢情報へと変換されてもよい。
【００３０】
また、以下ではコンテンツデータが位置姿勢情報に基づいて生成される例について説明するが、コンテンツデータは、ユーザの姿勢を示す情報は用いずに、仮想空間内におけるユーザの位置を示す位置情報のみから生成されるようにしてもよい。
【００３１】
VRコンテンツ再生システムでは、無線通信によりコンテンツデータを伝送する通信路の遮蔽が検出されると、その検出結果に応じて仮想空間とユーザとの相対的な位置関係が補正されるように、つまり仮想空間内におけるユーザの位置が補正されるように、ユーザの位置姿勢情報が更新される。換言すれば、実際のユーザの動きとは別に仮想空間内におけるユーザの位置が遮蔽の検出結果に応じて移動されるように位置姿勢情報が更新される。
【００３２】
このようにすることで、VRコンテンツ再生システムにおいてはリダイレクションと呼ばれている現象が利用されて、コンソールとHMDとの間の最適な通信路が確保される。リダイレクションとは、人間は視覚をはじめとする五感による情報の影響が大きいため、知覚的な移動量と実際の物理的な移動量は一致しないという現象である。
【００３３】
ここで、本技術によるリダイレクションを利用した最適な通信路の確保について、より具体的に説明する。
【００３４】
例えば図１の矢印Q11に示すように、実空間にコンソール１１とHMD１２とが存在しており、コンソール１１からHMD１２へとコンテンツデータが伝送されるとする。
【００３５】
この場合、コンソール１１とHMD１２とを直線的に結ぶ矢印W11により表される通信路（通信経路）が最適な通信路となり、この通信路によりコンテンツデータを伝送するときに、コンテンツデータの伝送エラーや伝送遅延が最も少なくなるはずである。
【００３６】
しかし、例えば矢印Q12に示すようにコンソール１１とHMD１２との間に遮蔽物１３があると、矢印Q11に示した最適な通信路が遮蔽物１３によって遮蔽されてしまい、通信環境が悪化してしまう。すなわち、伝送エラーや伝送遅延が生じてしまう可能性がある。
【００３７】
そこで、このような通信路の遮蔽が検出された場合には、例えば矢印Q13に示すように遮蔽物１３により遮蔽されない次善の通信路を探索し、その次善の通信路へとコンテンツデータを伝送するための通信路を切り替えることが考えられる。
【００３８】
この例では、矢印W12に示すようにコンソール１１から出力された無線信号が室内の壁等で反射されてHMD１２へと到達する通信路が次善の通信路の探索結果として得られており、この矢印W12に示す通信路への切り替えが行われる。
【００３９】
しかし、矢印W12に示す通信路での伝送では、矢印Q11に示した最適な通信路での伝送と比較すると伝送エラーや伝送遅延が生じる可能性が高い。
【００４０】
したがって、できるだけコンソール１１とHMD１２とを結ぶ直線を経路として有する通信路を確保することが望まれる。
【００４１】
そこで、本技術では受信機であるHMDが自由に移動可能なユーザの頭部に装着されることに着目し、遮蔽物による遮蔽を避けることができる位置へとユーザを無意識に移動させることで、常に最適な通信路を確保することができるようにする。これにより、コンテンツデータの伝送エラーや伝送遅延を抑制し、ユーザ体験の低下を抑制することができるようになる。
【００４２】
具体的には、図２の矢印Q21に示すように、実空間にコンソール１１とHMD１２とが存在しており、コンソール１１からHMD１２へとコンテンツデータが伝送されるとする。なお、図２において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００４３】
この場合、図１における場合と同様に、矢印W11により表される通信路が最適な通信路となる。このような状態から、例えば矢印Q22に示すように遮蔽物１３によって通信路が遮蔽されてしまう状態となるとする。すなわち、遮蔽物１３による通信路の遮蔽が検出されたとする。
【００４４】
すると、本技術では矢印Q23に示すように遮蔽の検出結果に応じて、通信路の遮蔽が生じない位置へのHMD１２の移動量が求められ、その移動量の分だけHMD１２、すなわちユーザが移動するように位置姿勢情報が更新される。ここでは、矢印M11が実空間における移動量を表しており、この移動量に応じて位置姿勢情報が更新される。
【００４５】
そして、更新後の位置姿勢情報に基づいてコンテンツデータが生成され、そのコンテンツデータに基づいてコンテンツが再生されると、HMD１２を装着したユーザは無意識に矢印M11により示される移動量だけ移動する。換言すれば、コンテンツの再生によって、HMD１２を装着したユーザは、特に意識することなく、通信路の遮蔽が生じない適切な位置へと誘導される。
【００４６】
その結果、コンソール１１とHMD１２とを直線的に結ぶ矢印W21により示される通信路は、遮蔽物１３により遮蔽されなくなり、特別な設備等を設けることなく簡単に最適な通信路が確保される。
【００４７】
上述したように、位置姿勢情報を更新することによりユーザを無意識に移動させるのには、リダイレクションと呼ばれる現象が利用されている。
【００４８】
具体的には、例えば図３の矢印Q31に示すように、仮想空間内の道をユーザU11が歩くようなユーザ体験を提供するコンテンツがあるとする。このとき、ユーザU11は道の中央のラインL11に沿って前方に歩いていくように体を動かしており、このタイミングではユーザU11は道の中央のラインL11の位置を歩いている。
【００４９】
そのような状態で図２の矢印Q22に示したように通信路が遮蔽されたとする。この場合、図２の矢印Q23に示した例と同様に、実空間内でユーザU11から見て右側に所定の移動量だけユーザU11が移動すれば通信路が遮蔽されなくなるとすると、その移動量に対応する分だけ位置姿勢情報により示される位置が移動（変更）される。
【００５０】
具体的には、更新前の仮想空間内におけるユーザU11の位置を、実空間内での移動量に対応する仮想空間内での移動量の分だけユーザU11から見て左側に移動させた位置が、更新後の仮想空間内におけるユーザU11の位置となるように位置姿勢情報が更新される。
【００５１】
このようにして位置姿勢情報が更新されると、更新後の位置姿勢情報に基づいてコンテンツデータが生成され、矢印Q32に示す映像がコンテンツの映像として表示される。この例では、仮想空間内においてユーザU11の位置は、矢印Q31に示したタイミングにおける場合よりもわずかに左側にずれている。すなわち、ユーザU11は道の中央のラインL11から図中、左側にずれた位置を歩いている状態となる。
【００５２】
この例では、ユーザU11はラインL11に沿って歩くことにしているので、矢印Q32に示す映像が提示されると、その後、矢印Q33に示すようにユーザは無意識のうちにラインL11へと寄っていくように体を動かす。その結果、仮想空間ではユーザU11は再び道の中央のラインL11の位置を歩くようになり、実空間ではユーザU11は通信路が遮蔽されない位置、すなわち実空間内での移動量により示される移動先の位置まで移動する。
【００５３】
このようにユーザU11が無意識に移動したことにより、実空間では図２の矢印Q23に示した例と同様に、ユーザU11の頭部に装着されているHMD１２と、コンソール１１とを結ぶ直線上に遮蔽物１３が位置しない状態となる。つまり、通信路が遮蔽物１３により遮蔽されない状態となり、これにより最適な通信路が確保されたことになる。
【００５４】
〈VRコンテンツ再生システムの構成例〉
次に、本技術を適用したVRコンテンツ再生システムについて、より具体的に説明する。
【００５５】
図４は、本技術を適用したVRコンテンツ再生システムの一実施の形態の構成例を示す図である。
【００５６】
図４に示すVRコンテンツ再生システムは、同じ室内にあるコンソール５１とHMD５２を有している。
【００５７】
コンソール５１は送信機として機能し、HMD５２に対して無線通信によりコンテンツデータを送信する情報処理装置である。また、HMD５２は受信機として機能し、コンソール５１からコンテンツデータの供給を受けてコンテンツを再生する情報処理装置（再生装置）であり、HMD５２はコンテンツを視聴するユーザの頭部に装着される。これらのコンソール５１およびHMD５２は、図２に示したコンソール１１およびHMD１２に対応する。
【００５８】
コンソール５１からHMD５２へのコンテンツデータの伝送は、例えば60GHzなどの高周波広帯域を利用した無線通信により行われる。また、HMD５２からコンソール５１へは位置姿勢情報（IMU（Inertial Measurement Unit）情報）やその他の制御情報などが無線通信により伝送される。
【００５９】
なお、コンソール５１からHMD５２への情報伝送時の無線通信方式と、HMD５２からコンソール５１への情報伝送時の無線通信方式とは同じであってもよいし異なる無線通信方式であってもよい。
【００６０】
〈コンソールの構成例〉
さらにコンソール５１は、例えば図５に示すように構成される。
【００６１】
図５に示すコンソール５１は、センサ部８１、遮蔽検出部８２、移動計算部８３、制御部８４、生成部８５、記憶部８６、エンコーダ部８７、無線通信部８８、およびアンテナ８９を有している。
【００６２】
センサ部８１は、例えばRGBDセンサや超音波センサ等の距離センサ、カメラなど、コンソール５１とHMD５２との間にある遮蔽物を検出するためのセンサからなり、センサによる周囲のセンシング結果（観測結果）であるセンサ出力情報を出力する。
【００６３】
例えばセンサ部８１がカメラからなる場合、カメラにより撮影されたコンソール５１の周囲の周辺環境画像がセンサ出力情報として出力される。また、例えばセンサ部８１が距離センサからなる場合、距離センサにより測定されたコンソール５１の周囲の物体までの距離を示す距離情報がセンサ出力情報として出力される。なお、以下においては周辺環境画像と距離情報がセンサ出力情報として出力されるものとして説明を続ける。
【００６４】
センサ部８１から出力されるセンサ出力情報は、遮蔽検出部８２、移動計算部８３、および制御部８４に供給される。
【００６５】
遮蔽検出部８２は、センサ部８１から供給されたセンサ出力情報と、制御部８４から供給されたユーザ（HMD５２）の位置姿勢情報とに基づいて、コンソール５１とHMD５２との間の通信路の遮蔽状況、すなわち通信路の遮蔽を検出する。遮蔽検出部８２は、通信路の遮蔽の検出結果を移動計算部８３および制御部８４に供給する。
【００６６】
移動計算部８３は、センサ部８１からのセンサ出力情報や制御部８４からの位置姿勢情報を必要に応じて用いて、遮蔽検出部８２から供給された検出結果に基づいて、通信路の遮蔽の生じない位置へのユーザ（HMD５２）の移動量を計算し、制御部８４に供給する。
【００６７】
移動計算部８３で算出される移動量は、実空間におけるユーザの移動量である。また、より詳細には、この移動量はユーザの移動方向と移動距離を示すものである。
【００６８】
制御部８４は、コンソール５１全体の動作を制御する。
【００６９】
例えば制御部８４は、移動計算部８３から供給された移動量に基づいてコンテンツデータの生成を制御する。具体的には、制御部８４は、供給された移動量に基づいて位置姿勢情報を更新し、更新後の位置姿勢情報に基づいて生成部８５によるコンテンツデータの生成を制御する。これにより位置姿勢情報の更新（補正）がコンテンツに反映される。
【００７０】
また、例えば制御部８４は、エンコーダ部８７によるコンテンツデータの符号化を制御したり、無線通信部８８による無線信号の送受信を制御したりする。
【００７１】
生成部８５は、制御部８４の制御に従ってコンテンツデータを生成し、記憶部８６に供給する。生成部８５では、コンテンツデータを構成する映像情報と音声情報が生成される。
【００７２】
記憶部８６は、生成部８５から供給されたコンテンツデータを一時的に記憶し、エンコーダ部８７へと供給する。エンコーダ部８７は、制御部８４の制御に従って、記憶部８６から供給されたコンテンツデータを符号化（圧縮）し、その結果得られた符号情報を無線通信部８８に供給する。
【００７３】
無線通信部８８は、制御部８４の制御に従って、アンテナ８９によるHMD５２との無線通信を行う。すなわち、例えば無線通信部８８は、エンコーダ部８７から供給された符号情報を無線通信によりアンテナ８９から送信させたり、HMD５２から送信されてきた位置姿勢情報をアンテナ８９により受信し、制御部８４に供給したりする。
【００７４】
〈コンテンツ送信処理の説明〉
続いてコンソール５１の動作について説明する。すなわち、以下、図６のフローチャートを参照して、コンソール５１によるコンテンツ送信処理について説明する。
【００７５】
なお、コンテンツ送信処理時においては、コンソール５１とHMD５２とは、最適な通信路、つまりコンソール５１とHMD５２を直線的に結ぶ通信路により無線通信を行っている状態であるとする。但し、通信路の遮蔽状況によっては、例えば図１の矢印W12に示したように、コンソール５１とHMD５２を直線的に結ぶ通信路ではない、反射等を利用した通信路により無線通信が行われている状態であることもある。また、以下で説明するコンテンツ送信処理は、例えばコンテンツデータのフレームごとに行われる。
【００７６】
ステップＳ１１において無線通信部８８は、HMD５２から送信されてきた位置姿勢情報をアンテナ８９により受信し、制御部８４に供給する。また、制御部８４は、無線通信部８８から供給された位置姿勢情報を遮蔽検出部８２や移動計算部８３に供給する。
【００７７】
一般的にコンソール５１においては、HMD５２から位置姿勢情報を受信しなくても、センサ部８１のセンサ出力情報などから実空間におけるHMD５２（ユーザ）の位置および姿勢を特定可能である。したがって、そのような場合には、ステップＳ１１の処理は行われずに、制御部８４がセンサ出力情報などから位置姿勢情報を生成するようにしてもよい。
【００７８】
ステップＳ１２において遮蔽検出部８２は、センサ部８１からのセンサ出力情報と、制御部８４からの位置姿勢情報とに基づいて通信路の遮蔽状況、すなわち通信路の遮蔽を検出し、その検出結果を移動計算部８３および制御部８４に供給する。
【００７９】
例えば遮蔽検出部８２は、センサ出力情報としての周辺環境画像や距離情報、位置姿勢情報などに基づいて、実空間におけるHMD５２の位置や、コンソール５１とHMD５２の間にある遮蔽物の位置および大きさを特定（検出）することができる。
【００８０】
このとき、例えばコンソール５１とHMD５２との間に遮蔽物が検出された場合には、通信路が遮蔽されているという遮蔽状況が検出されたことになる。つまり、通信路の遮蔽が検出されたことになる。
【００８１】
ステップＳ１３において制御部８４は、遮蔽検出部８２から供給された遮蔽状況の検出結果に基づいて、通信路の遮蔽が検出されたか否かを判定する。
【００８２】
なお、センサ部８１でセンサ出力情報が時系列に得られる場合には、周辺環境画像上において遮蔽物となり得る物体と、その物体の移動方向および移動速度とを検出することが可能である。そのため、遮蔽検出部８２では、未来において通信路が遮蔽されるであろうタイミング（時刻）と、通信路が遮蔽される期間、つまり遮蔽の継続時間とを予測することができる。
【００８３】
したがって、制御部８４では、実際に通信路が遮蔽された場合だけでなく、所定時間後に通信路が遮蔽されると予測される場合においても、ステップＳ１３において遮蔽が検出されたと判定されるようにしてもよい。なお、遮蔽物が移動してくることにより通信路が遮蔽されると予測されるときには、後述のステップＳ１５において、ユーザ（HMD５２）を遮蔽物の移動方向と反対方向に移動させて最適な通信路を確保するような移動量を算出するようにしてもよい。
【００８４】
ステップＳ１３において遮蔽が検出されなかったと判定された場合、制御部８４は、ステップＳ１１で受信された位置姿勢情報を生成部８５に供給してコンテンツデータの生成を指示し、その後、処理はステップＳ１４へと進む。
【００８５】
ステップＳ１４において生成部８５は、制御部８４から供給された位置姿勢情報、すなわちステップＳ１１で受信された位置姿勢情報に応じたコンテンツデータを生成し、記憶部８６に供給する。記憶部８６は、生成部８５から供給されたコンテンツデータを一時的に記憶する。
【００８６】
具体的には、例えば生成部８５はコンテンツデータを生成するためのデータとして、互いに異なる視点で撮影された複数の映像データからなる映像データ群と、複数の各音源（オブジェクト）の音を再生するためのオーディオデータとを保持している。
【００８７】
例えば生成部８５は、映像データ群および位置姿勢情報に基づいてレンダリング処理を行い、位置姿勢情報に対応する視点位置および視線方向の映像情報をコンテンツデータを構成する映像情報として生成する。
【００８８】
また、例えば生成部８５は、オーディオデータおよび位置姿勢情報に基づいて、VBAP（Vector Base Amplitude Panning）およびバイノーラル処理や、パニング処理をレンダリング処理として行い、コンテンツデータを構成する音声情報を生成する。
【００８９】
このようにして得られた音声情報に基づいて音声を再生すれば、位置姿勢情報により示される位置にいるユーザが、仮想空間の予め定められた位置等にある各音源からの音を聞いているかのような音場、すなわち音像定位を再現することができる。
【００９０】
ステップＳ１４の処理が行われてコンテンツデータが生成されると、その後、処理はステップＳ１８へと進む。
【００９１】
これに対して、ステップＳ１３において遮蔽が検出されたと判定された場合、制御部８４は移動計算部８３に移動量の計算を指示し、その後、処理はステップＳ１５へと進む。
【００９２】
ステップＳ１５において移動計算部８３は、制御部８４からの指示に従って、センサ部８１からのセンサ出力情報や制御部８４からの位置姿勢情報を必要に応じて用いながら、遮蔽検出部８２から供給された検出結果に基づいて、実空間におけるユーザの移動量を計算（算出）し、制御部８４に供給する。
【００９３】
例えば遮蔽検出部８２では、通信路の遮蔽状況として、通信路がどの程度の大きさの遮蔽物により遮蔽されているかを検出することが可能である。したがって、移動計算部８３は、コンソール５１とHMD５２と遮蔽物との位置関係や、遮蔽の検出結果に基づいて、HMD５２を実空間におけるどの方向にどれだけ移動させれば通信路の遮蔽が生じなくなるかを特定することができる。すなわち、実空間における通信路の遮蔽が生じない位置へのHMD５２（ユーザ）の移動量、つまり移動方向と移動距離を求めることができる。
【００９４】
ステップＳ１６において制御部８４は、移動計算部８３から供給された移動量に基づいて、仮想空間におけるユーザの位置および姿勢を示す位置姿勢情報を更新する。そして制御部８４は、更新後の位置姿勢情報を生成部８５に供給してコンテンツデータの生成を指示（制御）する。
【００９５】
ステップＳ１７において生成部８５は、制御部８４から供給された更新後の位置姿勢情報に応じたコンテンツデータを生成し、記憶部８６に供給する。また、記憶部８６は、生成部８５から供給されたコンテンツデータを一時的に記憶する。
【００９６】
なお、ステップＳ１７では、ステップＳ１４と同様の処理が行われてコンテンツデータが生成される。すなわち、ステップＳ１７の処理とステップＳ１４の処理とは、位置姿勢情報が更新されたものであるか否かのみが異なり、他の点では同じ処理となっている。
【００９７】
ステップＳ１４またはステップＳ１７の処理が行われてコンテンツデータが生成されると、ステップＳ１８においてエンコーダ部８７は、制御部８４の制御に従って、記憶部８６に記憶されているコンテンツデータを符号化する。エンコーダ部８７は、符号化により得られた符号情報を無線通信部８８に供給する。
【００９８】
ステップＳ１９において無線通信部８８は、制御部８４の制御に従って、エンコーダ部８７から供給された符号情報を無線通信によりアンテナ８９から送信させ、コンテンツ送信処理は終了する。この場合、HMD５２ではコンテンツデータに基づいてコンテンツが再生され、例えば図３を参照して説明したように遮蔽の生じない位置への誘導が行われる。
【００９９】
また、HMD５２ではステップＳ１９で送信されたコンテンツデータ（符号情報）が受信され、受信されたコンテンツデータに基づいてコンテンツが再生される。なお、ステップＳ１９では、通信路の遮蔽状況に応じて、コンソール５１とHMD５２とを直線的に結ぶ通信路により符号情報が送信されることもあるし、例えば図１の矢印W12に示したように、コンソール５１とHMD５２を直線的に結ぶ通信路ではない、反射等を利用した通信路により符号情報が送信されることもある。
【０１００】
ここで、図７および図８を参照して、ステップＳ１５およびステップＳ１６で行われる処理について、より具体的に説明する。
【０１０１】
例えば遮蔽検出部８２においてセンサ出力情報や位置姿勢情報に基づいて、実空間におけるHMD５２の位置および姿勢や遮蔽物の位置および大きさを認識し、その結果、例えば図７に示すように実空間におけるコンソール５１、HMD５２、および遮蔽物OBJ1の位置関係が特定されたとする。
【０１０２】
そのような場合、移動計算部８３では、遮蔽検出部８２で特定された位置関係に基づいて、実空間においてコンソール５１とHMD５２を結ぶ直線が遮蔽物OBJ1と交差しないようなHMD５２の移動先への移動量を示すベクトルΔｘwを求めることができる。すなわち、コンソール５１とHMD５２を直線的に結ぶ通信路が遮蔽物OBJ1により遮蔽されないようにするためのHMD５２の移動先を示すベクトルΔｘwを求めることができる。
【０１０３】
図７に示す例では、実空間座標系は、コンテンツ再生開始時におけるHMD５２の位置を原点とし、互いに直交するＸw軸、Ｙw軸、およびＺw軸を軸とする３次元直交座標系とされている。
【０１０４】
特に、ここではコンテンツ再生開始時における、HMD５２の位置である原点とコンソール５１とを結ぶ方向である図中、上方向がＺw軸方向とされている。また、図７中、右方向がＸw軸方向とされており、さらに図７中、手前方向、つまりHMD５２を装着するユーザから見て上方向がＹw軸方向とされている。
【０１０５】
なお、実空間座標系の原点や軸方向はどのように設定してもよい。さらにＹw軸方向におけるユーザ頭部の位置は、基本的にHMD５２を装着するユーザの身長や座高により定まるため、仮想空間におけるユーザの位置をＹw軸方向にずらしてもユーザがそれに追従することはできない。したがって、ここではＸwＺw平面上でHMD５２を移動させることとするが、例えば無重力空間や水中などの自由な３次元移動が可能なVRコンテンツ再生システムに本技術を適用する場合には、HMD５２をＹw軸方向にも移動させることができる。
【０１０６】
図７に示す例では、矢印M31がHMD５２の移動量を示すベクトルΔｘwを表している。具体的には、矢印M31の始点位置が現時点における実際のHMD５２の位置となっており、矢印M31の終点位置が目標とするHMD５２の移動先の位置、すなわち通信路の遮蔽が生じなくなるHMD５２の位置を示している。
【０１０７】
ここでは現時点における実際のHMD５２の位置が実空間座標系の原点となっており、Ｘw軸方向の移動量がΔｘであり、Ｚw軸方向の移動量が０であるのでベクトルΔｘwはΔｘw＝（Δｘ,０）となる。
【０１０８】
移動計算部８３は、ステップＳ１５において、移動量として矢印M31により表されるベクトルΔｘwを求め、制御部８４に供給する。
【０１０９】
すると、制御部８４は、実空間座標系のベクトルΔｘwを、仮想空間座標系のベクトルΔｘvへと変換する。ベクトルΔｘvは、実空間座標系のベクトルΔｘwにより示される移動量に相当する仮想空間における移動量を示すベクトルである。
【０１１０】
例えば仮想空間座標系が互いに直交するＸv軸、Ｙv軸、およびＺv軸を軸とする３次元直交座標系であり、Ｘv軸、Ｙv軸、およびＺv軸の各軸が実空間座標系のＸw軸、Ｙw軸、およびＺw軸の各軸に対応するとする。
【０１１１】
そのような場合に、例えば図８に示すように仮想空間座標系が実空間座標系に対して回転角度θwvだけ回転しているとする。すなわち、Ｚv軸とＺw軸とのなす角度がθwv度であるとする。
【０１１２】
このような回転角度θwvは既知であるので、制御部８４はベクトルを回転角度θwvだけ回転させる回転行列R(θwv)を用いて次式（１）の計算を行うことで、仮想空間におけるHMD５２の移動量を示すベクトルΔｘvを得ることができる。
【０１１３】
【数１】
2020116179.tif 000003
【０１１４】
式（１）の計算では、回転行列R(θwv)によってベクトルΔｘwがθwv度だけ回転されてベクトルΔｘvとされている。図８では、矢印M41がベクトルΔｘvを表している。
【０１１５】
さらに制御部８４は、実空間におけるベクトルΔｘwにより示される位置にHMD５２（ユーザ）を移動させるために、仮想空間の位置姿勢情報により示される位置をＸvＺv平面上で−Δｘvだけ移動させる。すなわち、制御部８４は現時点における位置姿勢情報に対して、位置姿勢情報により示される位置をＸvＺv平面上で−Δｘvだけ移動させる補正（変更）を行い、その結果得られた位置姿勢情報を更新後の位置姿勢情報とする。
【０１１６】
そして、制御部８４は更新後の位置姿勢情報を生成部８５に供給し、コンテンツデータを生成させる。以上において説明したベクトルΔｘwのベクトルΔｘvへの変換処理と、ベクトルΔｘvに基づく位置姿勢情報の更新処理が上述のステップＳ１６の処理として行われる。
【０１１７】
なお、ここでは位置姿勢情報により示されるユーザの仮想空間における位置（視点位置）を−Δｘvだけ移動させる例について説明した。
【０１１８】
しかし、位置姿勢情報により示される位置を移動させるのではなく、仮想空間自体を現時点の位置からベクトルΔｘvに示される移動量だけ、すなわちΔｘvだけ移動させるようにしてもよい。これは、仮想空間自体をΔｘvだけ移動させることと、仮想空間におけるユーザの位置を−Δｘvだけ移動させることとは等価であるからである。
【０１１９】
仮想空間を移動させる場合、制御部８４は、生成部８５に対して仮想空間をΔｘvだけ移動させたコンテンツデータの生成を指示し、生成部８５は制御部８４の指示に応じてレンダリング処理を行い、仮想空間をΔｘvだけ移動させたコンテンツデータを生成する。
【０１２０】
この場合、仮想空間座標系がΔｘvだけずらされて映像情報や音声情報に関するレンダリング処理が行われるが、結果的に位置姿勢情報により示される位置が−Δｘvだけ移動されることになる。
【０１２１】
以上のようにしてコンソール５１は、通信路の遮蔽が検出された場合には、ユーザ（HMD５２）を移動させる移動量を算出し、その移動量に基づいて位置姿勢情報を更新するとともに更新後の位置姿勢情報に基づいてコンテンツデータを生成する。
【０１２２】
このようにすることで、リダイレクションを利用して無意識にユーザを適切な場所へと誘導することができ、最適な通信路を確保することができる。
【０１２３】
なお、ステップＳ１６では、ステップＳ１５で算出した移動量を示すベクトルΔｘwの分だけ位置姿勢情報を補正（変更）すると説明した。換言すれば、仮想空間においてベクトルΔｘvにより示される移動量の分だけ一度にユーザを移動させる例について説明した。しかし、コンテンツデータの数フレーム分の時間をかけて、つまり何度かに分割して少しずつユーザを移動させるようにしてもよい。
【０１２４】
例えばある時刻ｔにおいて通信路の遮蔽が検出され、仮想空間における移動量を示すベクトルΔｘvが得られたとしても、その分の移動をコンテンツデータに対して次の時刻ｔ’で一度に反映させると、ユーザが急激な位置変化を認識してしまい、ユーザ体験を損ねてしまうおそれがある。そこで、得られたベクトルΔｘvの分だけ一度に移動させるのではなく、例えば予め定められた回数で分割して移動させたり、予め定められた移動量ずつ移動させたりするようにしてもよい。
【０１２５】
例えば移動させる回数Ｎ、すなわち分割数Ｎが予め定められている場合、制御部８４は、ステップＳ１６において仮想空間における移動量をΔｘv／Ｎとして位置姿勢情報を更新する。
【０１２６】
この場合、制御部８４が現時点における位置姿勢情報により示される位置を−Δｘv／Ｎだけ移動させることで位置姿勢情報を更新し、更新後の位置姿勢情報に基づいてコンテンツデータの生成を制御する処理と、無線通信部８８がコンテンツデータを無線通信により送信する処理とがＮ回連続して行われることになる。
【０１２７】
この例では一回の移動量、すなわち、例えば１フレームにおける移動量がΔｘv／Ｎとなるので、Ｎ回の移動後（Ｎフレーム後）にユーザのベクトルΔｘv分の移動が完了することになる。このようにすれば、予め定められた時間内に確実にユーザの移動を完了させ、最適な通信路を確保することができる。
【０１２８】
また、例えば一度の移動量がδｘv（但し、δｘv＞０）と定められているとする。すなわち、一度の移動量δｘvがδｘv＝ｋ［ｍｍ］（例えばｋ＝２）などと定められているとする。
【０１２９】
そのような場合、処理回数をＭとすると、δｘv×Ｍ≧｜Δｘv｜が満たされるまで繰り返し移動量δｘv分ずつ移動が行われる。すなわち、Ｍ回（Ｍフレーム）に分けて移動が行われる。
【０１３０】
具体的には、ステップＳ１６では制御部８４は仮想空間における移動量をδｘvとして位置姿勢情報を更新する。
【０１３１】
したがって、この場合には制御部８４が現時点における位置姿勢情報により示される位置を、ベクトルΔｘvにより示される方向とは反対方向にδｘvだけ移動させることで位置姿勢情報を更新し、更新後の位置姿勢情報に基づいてコンテンツデータの生成を制御する処理と、無線通信部８８がコンテンツデータを無線通信により送信する処理とがＭ回連続して行われることになる。
【０１３２】
このようにすれば、移動完了までの時間はその都度変化するが、ユーザの移動がユーザ体験に及ぼす影響を最小限にするなどのコントロールが可能である。
【０１３３】
〈第２の実施の形態〉
〈HMDの構成例〉
ところで、以上においてはコンソール５１とHMD５２からなるVRコンテンツ再生システムにおいて、コンソール５１側で通信路の遮蔽を検出し、その検出結果に応じて位置姿勢情報を更新する例について説明した。しかし、コンソール５１側ではなく、HMD５２側で通信路の遮蔽の検出や移動量の算出を行うようにしてもよい。
【０１３４】
そのような場合、HMD５２は例えば図９に示すように構成される。
【０１３５】
図９に示すHMD５２はセンサ部１１１、遮蔽検出部１１２、移動計算部１１３、位置姿勢計測部１１４、制御部１１５、アンテナ１１６、無線通信部１１７、デコーダ部１１８、生成部１１９、記憶部１２０、映像表示部１２１、およびスピーカ１２２を有している。
【０１３６】
センサ部１１１は、図５に示したセンサ部８１に対応し、例えばRGBDセンサや超音波センサ等の距離センサ、カメラ、ジャイロセンサなどのセンサからなり、センサで得られたセンサ出力情報を位置姿勢計測部１１４および遮蔽検出部１１２に供給する。
【０１３７】
センサ部１１１から出力されるセンサ出力情報は、例えば周辺環境画像や距離情報、HMD５２の位置や姿勢の変化を示す角速度などとされ、このセンサ出力情報は遮蔽状況の検出だけでなく、HMD５２の位置や姿勢の計測にも用いられる。
【０１３８】
遮蔽検出部１１２は、図５に示した遮蔽検出部８２に対応し、センサ部１１１から供給されたセンサ出力情報、および制御部１１５から供給されたコンソール５１とHMD５２の位置関係、すなわちコンソール５１に対するHMD５２の相対的な位置に基づいて通信路の遮蔽状況を検出する。つまり、コンソール５１とHMD５２との間の通信路の遮蔽が検出される。遮蔽検出部１１２は、通信路の遮蔽の検出結果を移動計算部１１３および制御部１１５に供給する。
【０１３９】
なお、コンソール５１とHMD５２の位置関係は、制御部１１５が位置姿勢計測部１１４から供給された位置姿勢情報から求めるようにしてもよいし、制御部１１５がセンサ部１１１から出力されたセンサ出力情報に基づいて求めるようにしてもよい。その他、無線通信部１１７がアンテナ１１６によりコンソール５１から、コンソール５１とHMD５２の位置関係を示す情報を受信し、制御部１１５に供給してもよい。
【０１４０】
移動計算部１１３は、制御部１１５からの位置姿勢情報や、コンソール５１とHMD５２の位置関係を示す情報を必要に応じて用いて、遮蔽検出部１１２から供給された検出結果に基づいて、実空間におけるユーザの移動量、すなわちベクトルΔｘwを計算（算出）し、制御部１１５に供給する。
【０１４１】
位置姿勢計測部１１４は、センサ部１１１から供給されたセンサ出力情報に基づいてHMD５２の位置および姿勢を計測し、その計測結果から位置姿勢情報を生成して制御部１１５に供給する。
【０１４２】
制御部１１５は、HMD５２全体の動作を制御する。例えば制御部１１５は、無線通信部１１７による無線信号の送受信を制御したり、位置姿勢情報に基づいて生成部１１９によるコンテンツデータの加工を制御したりする。
【０１４３】
無線通信部１１７は、制御部１１５の制御に従って、アンテナ１１６によるコンソール５１との無線通信を行う。すなわち、例えば無線通信部１１７は、制御部１１５から供給された移動量（ベクトルΔｘw）等を無線通信によりアンテナ１１６から送信させたり、コンソール５１から送信されてきた符号情報をアンテナ１１６により受信し、デコーダ部１１８に供給したりする。
【０１４４】
デコーダ部１１８は、無線通信部１１７から供給された符号情報を復号（デコード）し、その結果得られたコンテンツデータを生成部１１９に供給する。
【０１４５】
生成部１１９は、制御部１１５から供給された位置姿勢情報に基づいて、制御部１１５の制御に従って、デコーダ部１１８からのコンテンツデータの映像情報に対する加工処理を行い、加工処理が施された映像情報と、音声情報とからなるコンテンツデータを記憶部１２０に供給する。生成部１１９により行われる加工処理は、例えば位置姿勢情報に応じて仮想空間内のユーザの視点位置等を微調整（補正）する処理である。
【０１４６】
記憶部１２０は生成部１１９から供給されたコンテンツデータを一時的に記憶し、記憶しているコンテンツデータの映像情報を映像表示部１２１に供給するとともに、コンテンツデータの音声情報をスピーカ１２２に供給する。
【０１４７】
映像表示部１２１は、例えば液晶表示パネルなどからなり、記憶部１２０から供給された映像情報に基づいてコンテンツの映像を表示する。スピーカ１２２は記憶部１２０から供給された音声情報に基づいて音を出力し、コンテンツの音声を再生する。
【０１４８】
〈コンテンツ再生処理の説明〉
次に、HMD５２の動作について説明する。
【０１４９】
HMD５２は、コンソール５１から無線通信により符号情報が送信されてくると、それを受信してコンテンツを再生するコンテンツ再生処理を行う。以下、図１０のフローチャートを参照して、HMD５２によるコンテンツ再生処理について説明する。
【０１５０】
ステップＳ４１において無線通信部１１７は、コンソール５１から無線通信により送信されてきた符号情報をアンテナ１１６により受信し、デコーダ部１１８に供給する。
【０１５１】
ステップＳ４２においてデコーダ部１１８は、無線通信部１１７から供給された符号情報を復号し、その結果得られたコンテンツデータを生成部１１９に供給する。
【０１５２】
また、生成部１１９は、適宜、制御部１１５の制御に従って、デコーダ部１１８からのコンテンツデータの映像情報に対する加工処理を行い、加工処理が施された映像情報と、音声情報とからなるコンテンツデータを記憶部１２０に供給する。
【０１５３】
ステップＳ４３において映像表示部１２１およびスピーカ１２２はコンテンツを再生し、コンテンツ再生処理は終了する。
【０１５４】
すなわち、映像表示部１２１は、記憶部１２０から供給された映像情報に基づいてコンテンツの映像を表示する。また、スピーカ１２２は記憶部１２０から供給された音声情報に基づいて音を出力する。これにより、コンテンツの映像と音声が再生される。
【０１５５】
〈移動量送信処理の説明〉
さらに、HMD５２は図１０を参照して説明したコンテンツ再生処理を行いながら、それと並行して通信路の遮蔽を検出し、その検出結果に応じて移動量を送信する移動量送信処理も行う。以下、図１１のフローチャートを参照して、HMD５２による移動量送信処理について説明する。
【０１５６】
ステップＳ７１において遮蔽検出部１１２は、センサ部１１１から供給されたセンサ出力情報、および制御部１１５から供給されたコンソール５１とHMD５２の位置関係に基づいて、HMD５２とコンソール５１とを直線的に結ぶ通信路の遮蔽状況、つまり通信路の遮蔽を検出する。遮蔽検出部１１２は、遮蔽状況の検出結果を移動計算部１１３および制御部１１５に供給する。
【０１５７】
例えばステップＳ７１では、図６のステップＳ１２と同様の処理が行われ、通信路の遮蔽状況が検出される。
【０１５８】
ステップＳ７２において制御部１１５は、遮蔽検出部１１２から供給された遮蔽の検出結果に基づいて、通信路の遮蔽が検出されたか否かを判定する。例えばステップＳ７２では、図６のステップＳ１３と同様の判定処理が行われる。
【０１５９】
ステップＳ７２において遮蔽が検出されなかったと判定された場合、ステップＳ７３およびステップＳ７４の処理は行われず、移動量送信処理は終了する。
【０１６０】
これに対してステップＳ７２において遮蔽が検出されたと判定された場合、制御部１１５は移動計算部１１３に移動量の計算を指示し、その後、処理はステップＳ７３へと進む。
【０１６１】
ステップＳ７３において移動計算部１１３は、制御部１１５からの位置姿勢情報や、コンソール５１とHMD５２の位置関係を示す情報を必要に応じて用いて、遮蔽検出部１１２から供給された検出結果に基づいて実空間におけるユーザの移動量を計算（算出）する。
【０１６２】
すなわち、例えば移動計算部１１３は、図６のステップＳ１５と同様の処理を行って移動量を示すベクトルΔｘwを計算し、制御部１１５に供給する。
【０１６３】
但し、ステップＳ７３では、図１２に示すように移動計算部１１３は、HMD５２から見た遮蔽物OBJ1やコンソール５１の位置関係に基づいて実空間における移動量を示すベクトルΔｘwを計算する。なお、図１２において図７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１６４】
図１２に示す例では、図７に示した例とは逆に、HMD５２から見た遮蔽物OBJ1やコンソール５１の位置関係に基づいてベクトルΔｘwが算出されるが、結果としては同じベクトルΔｘwが得られる。ここでは矢印M31がHMD５２の移動量を示すベクトルΔｘwを表している。
【０１６５】
図１１のフローチャートの説明に戻り、制御部１１５は移動計算部１１３からベクトルΔｘw、すなわち移動量が供給されると、その移動量を示すベクトルΔｘwを無線通信部１１７に供給し、コンソール５１への送信を指示する。
【０１６６】
ステップＳ７４において無線通信部１１７は、制御部１１５から供給された移動量（ベクトルΔｘw）を無線通信によりアンテナ１１６からコンソール５１へと送信し、移動量送信処理は終了する。
【０１６７】
このようにしてベクトルΔｘwが送信されると、コンソール５１の無線通信部８８は、送信されてきたベクトルΔｘwをアンテナ８９により受信し、制御部８４に供給する。
【０１６８】
制御部８４は無線通信部８８から供給されたベクトルΔｘwに基づいてHMD５２の位置姿勢情報を更新し、更新後の位置姿勢情報を生成部８５に供給してコンテンツデータを生成させる。ここで、位置姿勢情報の更新時には図６のステップＳ１６と同様の処理が行われる。すなわち、ベクトルΔｘwが回転行列R(θwv)によりベクトルΔｘvに変換され、そのベクトルΔｘvに基づいて位置姿勢情報が更新される。
【０１６９】
そうすると、次回行われる図１０のステップＳ４１で受信する符号情報から得られるコンテンツデータは、更新後の位置姿勢情報に応じて生成されたものとなり、そのコンテンツデータに基づいてコンテンツを再生すると無意識にユーザが移動することになる。したがって、HMD５２において通信路の遮蔽状況を検出する場合においても最適な通信路が確保される。
【０１７０】
以上のようにしてHMD５２は、通信路の遮蔽が検出された場合には、ユーザ（HMD５２）を移動させる移動量を算出し、その移動量をコンソール５１に送信する。このようにすることで、リダイレクションを利用して無意識にユーザを適切な場所へと誘導することができ、最適な通信路を確保することができる。
【０１７１】
なお、ここでは位置姿勢情報の更新はコンソール５１側で行われると説明したが、HMD５２において位置姿勢情報が更新されるようにしてもよい。
【０１７２】
そのような場合、例えば制御部１１５は、位置姿勢計測部１１４で生成された位置姿勢情報を取得するとともに、移動計算部１１３から供給されたベクトルΔｘwに基づいて、取得した位置姿勢情報を更新する。すなわち、制御部１１５は、ベクトルΔｘwをベクトルΔｘvに変換し、そのベクトルΔｘvに基づいて位置姿勢情報を更新する。
【０１７３】
そして制御部１１５は、更新後の位置姿勢情報を無線通信部１１７に供給し、送信させる。無線通信部１１７は、制御部１１５から供給された更新後の位置姿勢情報を無線通信によりアンテナ１１６で送信する。また、この場合、遮蔽が検出されなかったときには、無線通信部１１７は、制御部１１５から供給された、位置姿勢計測部１１４で生成された位置姿勢情報をそのままアンテナ１１６により送信する。
【０１７４】
〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１７５】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１７６】
コンピュータにおいて、CPU５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０１７７】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０１７８】
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
【０１７９】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０１８０】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１８１】
コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０１８２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１８３】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１８４】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１８５】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１８６】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１８７】
さらに、本技術は、以下の構成とすることも可能である。
【０１８８】
（１）
コンテンツデータに基づいてコンテンツを再生する再生装置との間の通信路の遮蔽を検出する遮蔽検出部と、
前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記再生装置の移動量を計算する移動計算部と、
前記移動量に基づいて前記コンテンツデータの生成を制御する制御部と
を備える情報処理装置。
（２）
前記制御部は、前記移動量に基づいて、前記コンテンツの仮想空間内におけるユーザの位置を示す位置情報を更新するとともに、更新後の前記位置情報に基づいて前記コンテンツデータの生成を制御する
（１）に記載の情報処理装置。
（３）
前記コンテンツデータを無線通信により前記再生装置に送信する無線通信部をさらに備える
（２）に記載の情報処理装置。
（４）
前記制御部は、前記移動量に対応する前記仮想空間内の移動量をΔｘとしたときに、前記位置情報により示される位置を−Δｘだけ移動させることで前記位置情報を更新する
（３）に記載の情報処理装置。
（５）
所定の分割数をＮとし、前記移動量に対応する前記仮想空間内の移動量をΔｘとしたときに、
前記制御部が前記位置情報により示される位置を−Δｘ／Ｎだけ移動させることで前記位置情報を更新し、更新後の前記位置情報に基づいて前記コンテンツデータの生成を制御する処理と、
前記無線通信部が前記コンテンツデータを前記再生装置に送信する処理と
がＮ回連続して行われる
（３）に記載の情報処理装置。
（６）
前記移動量に対応する前記仮想空間内の移動量をΔｘとし、予め定められた移動量をδｘとし、処理回数をＭとしたときにδｘ×Ｍ≧｜Δｘ｜が満たされるまで、
前記制御部が前記位置情報により示される位置を、移動量Δｘの方向と反対方向にδｘだけ移動させることで前記位置情報を更新し、更新後の前記位置情報に基づいて前記コンテンツデータの生成を制御する処理と、
前記無線通信部が前記コンテンツデータを前記再生装置に送信する処理と
がＭ回連続して行われる
（３）に記載の情報処理装置。
（７）
前記再生装置は、前記コンテンツを視聴する前記ユーザに装着される
（２）乃至（６）の何れか一項に記載の情報処理装置。
（８）
前記コンテンツはVRコンテンツである
（７）に記載の情報処理装置。
（９）
前記制御部は、更新後の前記位置情報により示される位置に対応する視点の映像情報を前記コンテンツデータとして生成する
（２）乃至（８）の何れか一項に記載の情報処理装置。
（１０）
前記制御部は、更新後の前記位置情報に基づくレンダリング処理により生成された音声情報を前記コンテンツデータとして生成する
（２）乃至（９）の何れか一項に記載の情報処理装置。
（１１）
情報処理装置が、
コンテンツデータに基づいてコンテンツを再生する再生装置との間の通信路の遮蔽を検出し、
前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記再生装置の移動量を計算し、
前記移動量に基づいて前記コンテンツデータの生成を制御する
情報処理方法。
（１２）
コンテンツデータに基づいてコンテンツを再生する情報処理装置であって、
前記コンテンツデータを送信してくる他の情報処理装置との間の通信路の遮蔽を検出する遮蔽検出部と、
前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記情報処理装置の移動量を計算する移動計算部と、
無線通信により前記移動量を前記他の情報処理装置に送信する無線通信部と
を備える情報処理装置。
（１３）
前記無線通信部は、前記移動量に基づいて生成された、前記他の情報処理装置から送信されてきた前記コンテンツデータを受信する
（１２）に記載の情報処理装置。
（１４）
前記コンテンツデータは、前記移動量に応じて更新された、前記コンテンツの仮想空間内におけるユーザの位置を示す位置情報に基づいて生成される
（１２）に記載の情報処理装置。
（１５）
前記移動量に対応する前記仮想空間内の移動量をΔｘとしたときに、前記位置情報により示される位置が−Δｘだけ移動されるように前記位置情報が更新される
（１４）に記載の情報処理装置。
（１６）
前記コンテンツデータには、更新後の前記位置情報により示される位置に対応する視点の映像情報が含まれている
（１４）または（１５）に記載の情報処理装置。
（１７）
前記コンテンツデータには、更新後の前記位置情報に基づくレンダリング処理により生成された音声情報が含まれている
（１４）乃至（１６）の何れか一項に記載の情報処理装置。
（１８）
前記情報処理装置は、前記コンテンツを視聴するユーザに装着される
（１２）乃至（１７）の何れか一項に記載の情報処理装置。
（１９）
前記コンテンツはVRコンテンツである
（１８）に記載の情報処理装置。
（２０）
コンテンツデータに基づいてコンテンツを再生する情報処理装置が、
前記コンテンツデータを送信してくる他の情報処理装置との間の通信路の遮蔽を検出し、
前記通信路の遮蔽が検出された場合、前記遮蔽が生じない位置への前記情報処理装置の移動量を計算し、
無線通信により前記移動量を前記他の情報処理装置に送信する
情報処理方法。
【符号の説明】
【０１８９】
５１  コンソール，  ５２  HMD，  ８１  センサ部，  ８２  遮蔽検出部，  ８３  移動計算部，  ８４  制御部，  ８５  生成部，  ８７  エンコーダ部，  ８８  無線通信部，  １１１  センサ部，  １１２  遮蔽検出部，  １１３  移動計算部，  １１４  位置姿勢計測部，  １１５  制御部，  １１７  無線通信部，  １２１  映像表示部，  １２２  スピーカ
【図１】
2020116179.tif 000004
【図２】
2020116179.tif 000005
【図３】
2020116179.tif 000006
【図４】
2020116179.tif 000007
【図５】
2020116179.tif 000008
【図６】
2020116179.tif 000009
【図７】
2020116179.tif 000010
【図８】
2020116179.tif 000011
【図９】
2020116179.tif 000012
【図１０】
2020116179.tif 000013
【図１１】
2020116179.tif 000014
【図１２】
2020116179.tif 000015
【図１３】
2020116179.tif 000016
【国際調査報告】
2020116179.tif 000017
2020116179.tif 000018
2020116179.tif 000019
2020116179.tif 000020