(57)【要約】【課題】通信データ量を適切に減らし、ユーザへ違和感の少ない映像を停滞なく提供する。【解決手段】ユーザの頭部に装着されるヘッドマウントディスプレイと、ヘッドマウントディスプレイがユーザに提示する映像を生成する映像生成装置とを含む映像システム。ヘッドマウントディスプレイの映像提示部は映像をユーザに提示し、撮像部はユーザの目を含む画像を撮像し、第一通信部は撮像した画像を映像生成装置へ送信し、映像を映像生成装置より受信する。映像生成装置の第二通信部はヘッドマウントディスプレイから撮像した画像を受信し、ヘッドマウントディスプレイに映像を送信し、注視点取得部は撮像した画像を基に映像上におけるユーザの注視点を取得し、計算部は取得した注視点を基に注視点を基準とする所定の領域を設定して、所定の領域の外については所定の領域用の映像に比べて単位画素数あたりのデータ量の少ない映像を生成する。【選択図】図２
2018141816.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの頭部に装着して使用されるヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイがユーザに提示する映像を生成する映像生成装置とを含む映像システムであって、
前記ヘッドマウントディスプレイは、
前記映像を前記ユーザに提示する映像提示部と、
前記ユーザの目を含む画像を撮像する撮像部と、
前記撮像部が撮像した前記画像を前記映像生成装置へ送信し、前記映像提示部に提示させる前記映像を前記映像生成装置より受信する第一通信部とを備え、
前記映像生成装置は、
前記ヘッドマウントディスプレイから前記撮像部が撮像した前記画像を受信し、前記映像を前記ヘッドマウントディスプレイに送信する第二通信部と、
前記撮像部が撮像した前記画像を基に、前記映像上における前記ユーザの注視点を取得する注視点取得部と、
前記注視点取得部が取得した前記注視点を基にユーザの注視点の動きを取得する注視点移動取得部と、
前記注視点取得部が取得した前記注視点を基に、前記注視点を基準とする長軸及び短軸、又は長辺及び短辺を有する形状となり、かつ、前記注視点移動取得部が取得した前記注視点の動きの方向に応じた長軸又は長辺方向となる所定の領域を設定し、前記所定の領域の外については、前記所定の領域用に計算した映像に比べて単位画素数あたりのデータ量の少ない映像を生成する計算部とを備える映像システム。
【請求項２】
前記映像生成装置は更に、
前記第一通信部と前記第二通信部の間の通信環境を判定する通信判定部を備え、
前記計算部は、前記通信環境が悪い場合には、良い場合と比較して前記映像のデータ量を小さくすることを特徴とする請求項１に記載の映像システム。
【請求項３】
前記通信判定部は、電波強度、通信速度、データ損失率、スループット、ノイズ状況、又はルーターからの物理的距離の少なくともいずれか一つを含む通信パラメータの最新データを含む情報を基に、通信環境を判定することを特徴とする請求項２に記載の映像システム。
【請求項４】
前記計算部は、前記注視点の動きに応じて前記所定の領域の大きさ又は形の少なくとも一方を変えることを特徴とする請求項１から３のいずれか一項に記載の映像システム。
【請求項５】
前記計算部は、前記所定の領域の外では、前記注視点からの距離に応じて前記単位画素数あたりのデータ量を変えた映像を生成することを特徴とする請求項１から４のいずれか一項に記載の映像システム。
【請求項６】
前記計算部は、前記所定の領域の外では、前記注視点からの距離が大きくなるほど前記単位画素数あたりのデータ量を連続的に小さくした映像を生成することを特徴とする請求項１から５のいずれか一項に記載の映像システム。
【請求項７】
前記計算部は、前記単位画素数あたりのデータ量が下限値を下回らないように前記映像を生成することを特徴とする請求項１から６のいずれか一項に記載の映像システム。
【請求項８】
ユーザの頭部に装着して使用されるヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイがユーザに提示する映像を生成する映像生成装置と、
前記映像生成装置に映像を配信する映像配信装置とを含む映像システムであって、
前記ヘッドマウントディスプレイは、
前記映像を前記ユーザに提示する映像提示部と、
前記ユーザの目を含む画像を撮像する撮像部と、
前記撮像部が撮像した前記画像を前記映像生成装置へ送信し、前記映像提示部に提示させる前記映像を前記映像生成装置より受信する第一通信部とを備え、
前記映像生成装置は、
前記ヘッドマウントディスプレイから前記撮像部が撮像した前記画像を受信し、前記映像を前記ヘッドマウントディスプレイに送信する第二通信部と、
前記撮像部が撮像した前記画像を基に、前記映像上における前記ユーザの注視点を取得する注視点取得部と、
前記注視点取得部が取得した前記注視点を基にユーザの注視点の動きを取得する注視点移動取得部と、
前記注視点取得部が取得した前記注視点を前記映像配信装置に送信し、前記注視点に応じて前記映像配信装置から映像を受信する第三通信部とを備え、
前記映像配信装置は、
前記映像生成装置から注視点情報を受信し、前記注視点情報に応じた映像データを前記映像生成装置に送信する第四通信部と、
前記第四通信部が受信した前記注視点情報を基に、前記注視点を基準とする長軸及び短軸、又は長辺及び短辺を有する形状となり、かつ、前記第四通信部が受信した前記注視点の動きの方向に応じた長軸又は長辺方向となる所定の領域を設定し、前記所定の領域の外については、前記所定の領域用に計算した映像に比べて単位画素数あたりのデータ量の少ない映像を生成する配信映像計算部とを備える映像システム。
【請求項９】
前記映像配信装置は更に、
前記第三通信部と前記第四通信部の間の通信環境を判定する第二通信判定部を備え、
前記配信映像計算部は、前記通信環境が悪い場合には、良い場合と比較して前記映像のデータ量を小さくすることを特徴とする請求項８に記載の映像システム。
【請求項１０】
前記第二通信判定部は、電波強度、通信速度、データ損失率、スループット、ノイズ状況、又はルーターからの物理的距離の少なくともいずれか一つを含む通信パラメータの最新データを含む情報を基に、通信環境を判定することを特徴とする請求項９に記載の映像システム。
【請求項１１】
前記配信映像計算部は、前記注視点の動きに応じて前記所定の領域の大きさ又は形の少なくとも一方を変えることを特徴とする請求項８から１０のいずれか一項に記載の映像システム。
【請求項１２】
前記配信映像計算部は、前記所定の領域の外では、前記注視点からの距離に応じて前記単位画素数あたりのデータ量を変えた映像を生成することを特徴とする請求項８から１１のいずれか一項に記載の映像システム。
【請求項１３】
前記配信映像計算部は、前記所定の領域の外では、前記注視点からの距離が大きくなるほど前記単位画素数あたりのデータ量を連続的に小さくした映像を生成することを特徴とする請求項８から１２のいずれか一項に記載の映像システム。
【請求項１４】
前記配信映像計算部は、前記単位画素数あたりのデータ量が下限値を下回らないように前記映像を生成することを特徴とする請求項８から１３のいずれか一項に記載の映像システム。
【請求項１５】
ユーザの頭部に装着して使用されるヘッドマウントディスプレイと、前記ヘッドマウントディスプレイがユーザに提示する映像を生成する映像生成装置とを含む映像システムを実現する映像生成方法であって、
前記ヘッドマウントディスプレイにおいて、前記映像を前記ユーザに提示する映像提示ステップと、
前記ヘッドマウントディスプレイにおいて、前記ユーザの目を含む画像を撮像する撮像ステップと、
前記ヘッドマウントディスプレイにおいて、前記撮像ステップで撮像された前記画像を前記映像生成装置へ送信するステップと、
前記ヘッドマウントディスプレイにおいて、前記映像提示ステップで提示する前記映像を前記映像生成装置より受信するステップと、
前記映像生成装置において、前記ヘッドマウントディスプレイから前記撮像ステップで撮像した前記画像を受信するステップと、
前記映像生成装置において、前記映像を前記ヘッドマウントディスプレイに送信するステップと、
前記映像生成装置において、前記撮像ステップで撮像された前記画像を基に、前記映像上における前記ユーザの注視点を取得する注視点取得ステップと、
前記映像生成装置において、前記注視点取得ステップで取得された前記注視点を基にユーザの注視点の動きを取得する注視点移動取得ステップと、
前記映像生成装置において、前記注視点取得ステップで取得された前記注視点を基に、前記注視点を基準とする長軸及び短軸、又は長辺及び短辺を有する形状となり、かつ、前記注視点移動取得ステップで取得された前記注視点の動きの方向に応じた長軸又は長辺方向となる所定の領域を設定し、前記所定の領域の外については、前記所定の領域用に計算した映像に比べて単位画素数あたりのデータ量の少ない映像を生成する計算ステップとを有する映像生成方法。
【請求項１６】
ユーザの頭部に装着して使用されるヘッドマウントディスプレイと、前記ヘッドマウントディスプレイがユーザに提示する映像を生成する映像生成装置と、前記映像生成装置に映像を配信する映像配信装置とを含む映像システムを実現する映像配信方法であって、
前記ヘッドマウントディスプレイにおいて、前記映像を前記ユーザに提示する映像提示ステップと、
前記ヘッドマウントディスプレイにおいて、前記ユーザの目を含む画像を撮像する撮像ステップと、
前記ヘッドマウントディスプレイにおいて、前記撮像ステップで撮像された前記画像を前記映像生成装置へ送信するステップと、
前記ヘッドマウントディスプレイにおいて、前記映像提示ステップで提示させる前記映像を前記映像生成装置より受信するステップと、
前記映像生成装置において、前記ヘッドマウントディスプレイから前記撮像ステップで撮像した前記画像を受信するステップと、
前記映像生成装置において、前記映像を前記ヘッドマウントディスプレイに送信するステップと、
前記映像生成装置において、前記撮像ステップで撮像された前記画像を基に、前記映像上における前記ユーザの注視点を取得する注視点取得ステップと、
前記映像生成装置において、前記注視点取得ステップで取得された前記注視点を基にユーザの注視点の動きを取得する注視点移動取得ステップと、
前記映像生成装置において、前記注視点取得ステップで取得された前記注視点を前記映像配信装置に送信するステップと、
前記映像生成装置において、前記注視点に応じて前記映像配信装置から映像を受信するステップと、
前記映像配信装置において、前記映像生成装置から注視点情報を受信するステップと、
前記映像配信装置において、前記注視点情報に応じた映像データを前記映像生成装置に送信するステップと、
前記映像配信装置において、受信した前記注視点情報を基に、前記注視点を基準とする長軸及び短軸、又は長辺及び短辺を有する形状となり、かつ、受信した前記注視点の動きの方向に応じた長軸又は長辺方向となる所定の領域を設定し、前記所定の領域の外については、前記所定の領域用に計算した映像に比べて単位画素数あたりのデータ量の少ない映像を生成する配信映像計算ステップとを有する映像配信方法。
【請求項１７】
ユーザの頭部に装着して使用されるヘッドマウントディスプレイに送信する映像を生成する映像生成プログラムであって、
映像生成装置に、
前記ヘッドマウントディスプレイで撮像した前記ユーザの目を含む画像を受信し、前記映像を前記ヘッドマウントディスプレイに送信する通信機能と、
前記通信部が受信した前記画像を基に、前記映像上における前記ユーザの注視点を取得する注視点取得機能と、
前記注視点取得機能で取得した前記注視点を基にユーザの注視点の動きを取得する注視点移動取得機能と、
前記注視点取得機能で取得した前記注視点を基に、前記注視点を基準とする長軸及び短軸、又は長辺及び短辺を有する形状となり、かつ、前記注視点移動取得機能で取得した前記注視点の動きの方向に応じた長軸又は長辺方向となる所定の領域を設定し、前記所定の領域の外については、前記所定の領域用に計算した映像に比べて単位画素数あたりのデータ量の少ない映像を生成する計算機能とを実現させる映像生成プログラム。
【請求項１８】
ユーザの頭部に装着して使用されるヘッドマウントディスプレイに映像を送信する映像生成装置に前記映像を配信する映像配信プログラムであって、
前記映像配信装置に、
前記映像生成装置から注視点情報を受信し、前記注視点情報に応じた映像データを前記映像生成装置に送信する第四通信機能と、
前記第四通信機能で受信した前記注視点情報を基に、前記注視点を基準とする長軸及び短軸、又は長辺及び短辺を有する形状となり、かつ、前記第四通信部が受信した前記注視点の動きの方向に応じた長軸又は長辺方向となる所定の領域を設定し、前記所定の領域の外については、前記所定の領域用に計算した映像に比べて単位画素数あたりのデータ量の少ない映像を生成する配信映像計算機能とを実現させる映像配信プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像システム、映像生成方法、映像配信方法、映像生成プログラム映像配信プログラムに関し、特にヘッドマウントディスプレイと映像生成装置とを備える映像システムに関する。
【背景技術】
【０００２】
ヘッドマウントディスプレイは、ユーザが頭部に装着して使用し、ユーザの目の至近距離に設置された画面に映像を表示する。ユーザはヘッドマウントディスプレイを装着すると表示される映像以外はみないため、仮想空間との一体感を楽しむことができる。上記に関連する技術として、特許文献１には、ユーザの動きを検出し、ユーザの動きに応じた画像をヘッドマウントディスプレイに表示することのできる画像生成装置および画像生成方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２５８６１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記技術を用いれば、ヘッドマウントディスプレイは、ユーザの視線方向に応じた映像を画面に表示することができる。しかし、ほとんどの場合、ヘッドマウントディスプレイが表示する映像は動画である。そのためデータ量が大きく、映像生成装置からヘッドマウントディスプレイにそのままの映像を送信すると、画像の更新が滞って映像がとぎれてしまうことも考えられる。また、最近では高画質のモニタも増え、大容量の映像データを処理することが望まれている。映像データの送受信を考えれば、映像生成装置とヘッドマウントディスプレイとを一体型にしてもよいが、ヘッドマウントディスプレイはユーザが装着して使用するため小型化が望まれ、筐体に組み込むことは難しい。そのため、実際には、映像生成装置とヘッドマウントディスプレイとを無線などで接続するが、映像のデータ量が大きいことにより、ユーザへの映像の提供が停滞する可能性もある。
【０００５】
また、３６０°全天周の映像を含むような動画を映像配信し、ユーザの視線方向に応じた映像をヘッドマウントディスプレイの画面に表示するような場合は、ユーザが見ていない領域のデータを送ることが映像のデータ量の増加につながり、映像の提供が停滞する可能性がある。
【０００６】
本発明はこのような課題に鑑みてなされたものであり、その目的は、ヘッドマウントディスプレイと映像生成装置との間の通信の停滞を抑制することのできる映像システムに関する技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様は、ユーザの頭部に装着して使用されるヘッドマウントディスプレイと、ヘッドマウントディスプレイがユーザに提示する映像を生成する映像生成装置とを含む映像システムである。この映像システムにおいて、ヘッドマウントディスプレイは、映像をユーザに提示する映像提示部と、ユーザの目を含む画像を撮像する撮像部と、撮像部が撮像した画像を映像生成装置へ送信し、映像提示部に提示させる映像を映像生成装置より受信する第一通信部とを備える。映像生成装置は、ヘッドマウントディスプレイから撮像部が撮像した画像を受信し、映像をヘッドマウントディスプレイに送信する第二通信部と、撮像部が撮像した画像を基に、映像上におけるユーザの注視点を取得する注視点取得部と、注視点取得部が取得した注視点を基に、注視点を基準とする所定の領域を設定して、所定の領域の外については、所定の領域用に計算した映像に比べて単位画素数あたりのデータ量の少ない映像を生成する計算部とを備える。
【０００８】
映像生成装置は更に、第一通信部と第二通信部の間の通信環境を判定する第一通信判定部を備え、計算部は、通信環境が悪い場合には、良い場合と比較して映像のデータ量を小さくしてもよい。
【０００９】
第一通信判定部は、電波強度、通信速度、データ損失率、スループット、ノイズ状況、又はルーターからの物理的距離の少なくともいずれか一つを含む通信パラメータの最新データを含む情報を基に、通信環境を判定してもよい。
【００１０】
映像生成装置は更に、注視点取得部が取得した注視点を基にユーザの注視点の動きを取得する注視点移動取得部を備え、計算部は、注視点の動きに応じて所定の領域の大きさ又は形の少なくとも一方を変えてもよい。
【００１１】
計算部は、所定の領域の形状が長軸及び短軸、又は長辺及び短辺を有する形状となるよう設定し、注視点の動きの方向に応じて所定の領域の長軸又は長辺方向を設定してもよい。
【００１２】
計算部は、所定の領域の外では、注視点からの距離に応じて単位画素数あたりのデータ量を変えた映像を生成してもよい。
【００１３】
計算部は、所定の領域の外では、注視点からの距離が大きくなるほど単位画素数あたりのデータ量を連続的に小さくした映像を生成してもよい。
【００１４】
計算部は、単位画素数あたりのデータ量が下限値を下回らないように映像を生成してもよい。
【００１５】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１６】
本発明によると、ヘッドマウントディスプレイを含む映像システムは、通信データ量を適切に減らし、それによりユーザへ違和感の少ない映像を停滞なく提供することができる。
【図面の簡単な説明】
【００１７】
【図１】第１実施の形態に係る映像システムの概観を模式的に示す図である。
【図２】第１実施の形態に係る映像システムの機能構成の例を示すブロック図である。
【図３】第１実施の形態に係る注視点取得部が取得したユーザの注視点の一例を示す図である。
【図４】図４（ａ）−（ｂ）は、計算部が設定する所定の領域の例を示す図である。
【図５】映像表示領域のＸ座標と単位画素数あたりのデータ量との関係を模式的に示す図である。
【図６】第１実施の形態に係る注視点移動取得部が取得した注視点の動きの一例を示す図である。
【図７】図７（ａ）は、映像表示領域のＸ座標と単位画素数あたりのデータ量との関係の別の例を示す模式図である。図７（ｂ）は、映像表示領域のＸ座標と単位画素数あたりのデータ量との関係の別の例を示す模式図である。
【図８】第１実施の形態に係る映像システムに関する処理例を示すシーケンス図である。
【図９】第１実施の形態に係る通信判定に関する処理の一例を示すフローチャートである。
【図１０】第２実施の形態に係る映像システムの機能構成の例を示すブロック図である。
【図１１】第２実施の形態に係る映像システムに関する処理例を示すシーケンス図である。
【図１２】第２実施の形態に係る映像システムの回路構成の例を示す回路構成図である。
【発明を実施するための形態】
【００１８】
以下に、図面を用いて本発明の各実施の形態に係る映像システムについて説明する。以下の説明において、同一の構成については、同一の符号を用いて説明を省略する。
【００１９】
〈第１実施の形態〉
本発明の第１実施の形態の概要を述べる。図１は、第１実施の形態に係る映像システム１の概観を模式的に示す図である。実施の形態に係る映像システム１は、ヘッドマウントディスプレイ１００と映像生成装置２００とを含む。図１に示すように、ヘッドマウントディスプレイ１００は、ユーザ３００の頭部に装着して使用される。
【００２０】
映像生成装置２００は、ヘッドマウントディスプレイ１００がユーザに提示する映像を生成する。限定はしないが、一例として、映像生成装置２００は、据え置き型のゲーム機、携帯ゲーム機、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、タブレット、スマートフォン、ファブレット、ビデオプレイヤ、テレビ等の映像を再生可能な装置である。映像生成装置２００は、ヘッドマウントディスプレイ１００と無線または有線で接続する。図１に示す例では、映像生成装置２００はヘッドマウントディスプレイ１００と無線で接続している。映像生成装置２００とヘッドマウントディスプレイ１００との無線接続は、例えば既知のＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信技術を用いて実現できる。限定はしないが、一例として、ヘッドマウントディスプレイ１００と映像生成装置２００との間における映像の伝送は、Ｍｉｒａｃａｓｔ（登録商標）やＷｉＧｉｇ（登録商標）、ＷＨＤＩ（登録商標）等の規格に則って実行される。
【００２１】
ヘッドマウントディスプレイ１００は、筐体１５０、装着具１６０、およびヘッドフォン１７０を備える。筐体１５０は、画像表示素子などユーザ３００に映像を提示するための画像表示系や、図示しないＷｉ−ＦｉモジュールやＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等の無線伝送モジュールを収容する。装着具１６０は、ヘッドマウントディスプレイ１００をユーザ３００の頭部に装着する。装着具１６０は例えば、ベルトや伸縮性の帯等で実現できる。ユーザ３００が装着具１６０を用いてヘッドマウントディスプレイ１００を装着すると、筐体１５０はユーザ３００の眼を覆う位置に配置される。このため、ユーザ３００がヘッドマウントディスプレイ１００を装着すると、ユーザ３００の視界は筐体１５０によって遮られる。
【００２２】
ヘッドフォン１７０は、映像生成装置２００が再生する映像の音声を出力する。ヘッドフォン１７０はヘッドマウントディスプレイ１００に固定されなくてもよい。ユーザ３００は、装着具１６０を用いてヘッドマウントディスプレイ１００を装着した状態であっても、ヘッドフォン１７０を自由に着脱することができる。
【００２３】
図２は、実施の形態に係る映像システム１の機能構成の例を示すブロック図である。ヘッドマウントディスプレイ１００は、映像提示部１１０、撮像部１２０、および第一通信部１３０を備える。
【００２４】
映像提示部１１０は、ユーザ３００に映像を提示する。映像提示部１１０は例えば、液晶モニタや有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）で実現される。撮像部１２０は、ユーザの目を含む画像を撮像する。撮像部１２０は例えば、筐体１５０が収容するＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ  ｄｅｖｉｃｅ）、又はＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｍｅｔａｌ  ｏｘｉｄｅ  ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサによって実現される。第一通信部１３０は、無線または有線により、映像生成装置２００に接続されており、ヘッドマウントディスプレイ１００と映像生成装置２００との間で情報の伝達を実行する。具体的には第一通信部１３０は、撮像部１２０が撮像した画像を映像生成装置２００へ送信し、映像提示部１１０に提示させる映像を映像生成装置２００より受信する。第一通信部１３０は、例えばＷｉ−ＦｉモジュールやＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等の無線伝送モジュールで実現される。
【００２５】
次に、図２の映像生成装置２００について説明する。映像生成装置２００は、第二通信部２１０、第一通信判定部２２０、注視点取得部２３０、注視点移動取得部２４０、計算部２５０、および記憶部２６０を備える。第二通信部２１０は、無線または有線により、ヘッドマウントディスプレイ１００に接続されている。第二通信部２１０は、ヘッドマウントディスプレイ１００から撮像部１２０が撮像した画像を受信し、ヘッドマウントディスプレイ１００へ映像を送信する。本明細書で「映像」とは、後述する計算部２５０が生成する映像を示す。注視点取得部２３０は、撮像部１２０が撮像した画像を基に、映像上におけるユーザの注視点Ｐを取得する。注視点Ｐの位置は、例えば既知の視線検出技術を用いて取得できる。例えば、注視点取得部２３０は、画像表示位置とユーザの目の基準点及び動点の関係を、予め校正情報として取得しておく。映像再生時には、校正時と同様に撮像部１２０がユーザ３００の目の画像を撮像し、注視点取得部２３０が、画像を基に基準点及び動点の位置情報を取得する。取得した位置情報と、予め取得しておいた校正情報とに基づき、注視点取得部２３０が映像上におけるユーザの注視点Ｐを推定する。ここで「基準点」とは、例えばヘッドマウントディスプレイに対し動きが少ない目頭などの点を示し、「動点」とは、ユーザ３００が見ている位置によって動く、虹彩または瞳孔などを示す。以下「注視点Ｐ」とは、注視点取得部２３０が推定するユーザの注視点を示す。
【００２６】
図３は、実施の形態に係る注視点取得部２３０が取得したユーザ３００の注視点Ｐの一例を示す図である。映像提示部１１０は、映像における三次元のオブジェクトを、実際には、映像表示領域の表示画素により二次元直交座標で表示する。図３では、ヘッドマウントディスプレイ１００の、映像表示領域の横方向及び縦方向をそれぞれＸ軸、Ｙ軸とし、注視点Ｐの座標を（ｘ、ｙ）と表示する。図３に示すように、注視点Ｐの位置は、ユーザが見ている映像上に表示されてもよい。
【００２７】
図２の説明に戻る。計算部２５０は、注視点取得部２３０が取得した注視点Ｐを基に、注視点Ｐを基準とする所定の領域Ａを設定する。また、計算部２５０は、所定の領域Ａの外の外部領域Ｂについては、所定の領域Ａ用に計算した映像に比べて単位画素数あたりのデータ量Ｄの少ない映像を生成する。詳細は後述するが、「単位画素数あたりのデータ量Ｄ」とは、映像生成装置２００が生成してヘッドマウントディスプレイ１００へ送信する映像を、計算部２５０が、所定の領域Ａと外部領域Ｂとでどのように違って処理したかを比較するための指標であって、例えば１画素あたりのデータ量Ｄを表す。
【００２８】
次に、計算部２５０が実行する処理について、図４及び図５を用いて説明する。図４（ａ）−（ｂ）は、計算部２５０が設定する所定の領域Ａの例を示す図である。図４（ａ）を用いて、計算部２５０が、注視点Ｐからの距離がａ以下である領域を所定の領域Ａとして設定する場合について説明する。所定の領域Ａは、閉領域であればよいが、図４（a）では円形、図４（ｂ）では矩形とした場合の例を示す。このように、所定の領域Ａがシンプルな形状であれば、計算部２５０が注視点Ｐの動きに応じて所定の領域Ａを設定するための計算を軽減できる。
【００２９】
一般に、人の目の視力は、中心窩を含む中心視力領域ほど高く、中心窩からはずれると急激に低下する。人の目が詳細までよく見ることができるのは、せいぜい中心窩の中央５°以内の範囲であることが知られている。そのため、計算部２５０は、ヘッドマウントディスプレイ１００の表示画素と、ユーザ３００の目の中心窩との距離を概算し、ユーザ３００の注視点Ｐを基準に中心窩５°の領域に対応する映像表示領域上の範囲を、所定の領域Ａとして設定してもよい。ユーザ３００が見たときの、具体的な所定の領域Ａの大きさは、ヘッドマウントディスプレイ１００の液晶モニタが採用する光学系、及び、先に述べた人の視覚特性など（例えば、中心視力、年齢、視野角など）を鑑みて、実験により定めればよい。
【００３０】
図５は、映像表示領域のＸ座標と単位画素数あたりのデータ量Ｄとの関係を示すグラフを例示する図である。グラフの横軸は映像表示領域のＸ座標に対応し、グラフの縦軸は注視点Ｐを含むＸ軸と平行な線上での、単位画素数あたりのデータ量Ｄを表す。図５は、計算部２５０が、注視点Ｐから距離ａの範囲内を、所定の領域Ａとして設定した一例である。まず、計算部２５０は、記憶部２６０に記憶される映像データの中から、次にユーザに提示すべき映像の映像データを抽出する。計算部２５０は、映像生成装置２００の外部映像データを取得してもよい。計算部２５０は、この映像データを、Ｘ座標が（ｘ−ａ）未満または（ｘ＋ａ）より大きい場所では、単位画素数あたりのデータ量Ｄを小さくする計算を行う。データ量を減らす方法としては、例えば、映像の高周波成分を落として圧縮するなどの既知の方法を用いればよい。これより、全体として通信時のデータ量を小さくした映像が得られる。
【００３１】
映像の高周波成分を落とす方法の一例を説明する。具体的には、計算部２５０は、三次元モデルの映像データから二次元画像のイメージを作り出す過程において採用するサンプリングレートを、所定の領域Ａの内側と外側とで変化させる。計算部２５０は、所定の領域Ａの外側については、所定の領域Ａ内部と比較してサンプリングレートを下げる。また、計算部２５０は、サンプリングしない領域については補間処理により画像を生成する。補間処理は、例えば公知のバイリニアやスプライン補間である。これにより、映像の全領域を高いサンプリングレートで画像形成するときと比べ、画像はぼける。この結果、画像の高周波成分が落ちるため圧縮時のデータ量が小さくなる。さらに、画像形成時のサンプリングレートが下がるので、画像形成を高速化できる。
【００３２】
計算部２５０が生成する映像は、もとの映像から注視領域の付近だけを切り出すことでデータ量を低減させることもできる。この切り出した映像に対して、さらに注視点からの距離に応じてデータ量を低減させることもできる。
【００３３】
計算部２５０が生成する映像は、必ずしも１つの映像である必要はなく、２つ以上の映像を生成してもよい。例えば、注視点の周りの領域を切り出して高画質な映像として、映像全体を低画質な映像として別々の映像として生成し、これらを送信してもよい。
【００３４】
計算部２５０は、注視点情報が取得できない場合に、もとの映像データから注視点を推定してもよい。この場合は、映像データの持つ特徴を用いて、注視点を推定する。例えば、計算部２５０は、人の顔や車と行った物体認識、オブジェクトがどれだけ動いているかという動きベクトル情報、過去に似た特徴量を持つ映像で他のユーザがどの部分を注視したかという情報を用いて、注視点を推定する。
【００３５】
また、計算部２５０は、ヘッドマウントディスプレイ１００の向いている方向や動き情報をジャイロセンサーやカメラなどで検出し、これを取得することで、大まかな注視点を推定するようにしてもよい。
【００３６】
図２の説明に戻る。第一通信判定部２２０は、第一通信部１３０と第二通信部２１０の間の通信環境を判定する。計算部２５０は、通信環境が悪い場合には、良い場合と比較して前記映像のデータ量を小さくしてもよい。
【００３７】
計算部２５０は、通信環境の判定結果に応じて、外部領域Ｂでの単位画素数あたりのデータ量Ｄを減らしてもよい。例えば、通信環境を、良い方からＣ１、Ｃ２、Ｃ３の三つの段階に分け、各々で使用されるデータ圧縮率の値を、Ｅ１、Ｅ２、Ｅ３として、記憶部２６０が記憶する。第一通信判定部２２０は、通信環境がＣ１からＣ３のどれに該当するかを判定する。計算部２５０は、判定結果に応じたデータ圧縮率の値を記憶部２６０から取得し、取得したデータ圧縮率で外部領域Ｂの映像データを圧縮して映像を生成する。
【００３８】
これより、映像生成装置２００からヘッドマウントディスプレイ１００に送信される映像は、通信環境に応じてデータ量が調節されるため、転送時間の遅延などによる映像の停滞を回避できる。また、ユーザ３００の注視点Ｐ付近では画質が変わらないため、データ量を減らした場合であっても、ユーザ３００に与える違和感を抑えられる。また、撮像部１２０が撮像したユーザ３００の注視点Ｐの情報を反映した映像を、遅滞なくユーザへ提供できる。
【００３９】
第一通信判定部２２０は、電波強度、通信速度、データ損失率、スループット、ノイズ状況、又はルーターからの物理的距離の少なくともいずれか一つを含む通信パラメータの最新データを含む情報を基に、通信環境を判定してもよい。
【００４０】
第一通信判定部２２０は、通信パラメータを監視し、通信パラメータに基づいて通信環境が良いか悪いかを判定してもよい。第一通信判定部２２０は、ヘッドマウントディスプレイ１００へ通信状況を問い合わせるメッセージを送信する。そして、例えば第一通信部１３０はこのメッセージを受信し、ヘッドマウントディスプレイ１００側の通信パラメータを取得し、取得した通信パラメータを映像生成装置２００へ送信する。さらに、第二通信部２１０は映像生成装置２００側の通信パラメータを取得する。これにより、第一通信判定部２２０は、ヘッドマウントディスプレイ１００から受信した通信パラメータ及び第二通信部２１０が取得した通信パラメータを基に通信環境が良いか悪いかを判定してもよい。ここで、最新のデータを含む情報とは、例えば、一定数の過去の観測値から移動平均を使って、第一通信判定部２２０が計算により取得した値であってもよい。更に、前述した構成と同様に、通信環境に関連づけて設定したデータ圧縮率を利用すれば、計算部２５０は、その時の通信環境に適したデータ量の映像を生成することができる。そのため、通信環境が悪い、又は変わりやすい場所であっても、ユーザに提示する映像のフレームレートを維持することができ、ユーザが見て違和感のない映像を提供することができる。
【００４１】
注視点移動取得部２４０は、注視点取得部２３０が取得した注視点Ｐを基にユーザ３００の注視点Ｐの動きを取得してもよい。計算部２５０は、注視点移動取得部２４０が取得した注視点Ｐの動きに応じて、所定の領域Ａの大きさ又は形の少なくとも一方を変える。
【００４２】
図６は、実施の形態に係る注視点移動取得部２４０が取得した注視点Ｐの動きの一例を示す図である。図６では、ユーザの注視点ＰがＰ１からＰ２に移動した様子を示す。計算部２５０は、注視点取得部２３０が取得した注視点Ｐと、注視点移動取得部２４０が取得した注視点Ｐの動きを参照して、所定の領域Ａを設定する。図６に示す例では、注視点ＰはＰ２の位置にあり、注視点の動きの方向は矢印で示される。所定の領域Ａは注視点Ｐを中心として配置する必要はない。例えば図６で示すように、計算部２５０は所定の領域Ａの境界を、注視点Ｐ２に対し等距離ではなく、注視点Ｐの動きの進行方向が広く所定の領域Ａ以内となるよう設定してもよい。これより、ヘッドマウントディスプレイ１００は、ユーザ３００に対し、ユーザ３００が視線を向ける方向を含む広い範囲で、画質を維持した映像を提供できる。所定の領域Ａは、前述したとおり、図４（a）および（ｂ）に示すように円形や矩形であってもよい。
【００４３】
また、計算部２５０は、所定の領域Ａの形状が長軸及び短軸、又は長辺及び短辺を有する形状となるよう設定し、注視点Ｐの動きの方向に応じて所定の領域の長軸又は長辺方向を設定してもよい。
【００４４】
図６では、計算部２５０は、所定の領域Ａの形状を楕円として設定している。計算部２５０は、注視点移動取得部２４０が取得した注視点Ｐの動きに基づき、所定の領域Ａの形状を楕円として設定する。計算部２５０は、例えば、注視点Ｐを基準に所定の領域Ａを配置する際に、注視点Ｐの動きの方向が楕円の長軸方向となるよう設定してもよい。ここで注視点Ｐは、楕円の中心である必要はなく、注視点Ｐの動きの進行方向側が広く楕円内となるよう、注視点Ｐと楕円との位置関係を設定してもよい。これより、映像提示部１１０は、注視点Ｐの動きが少ない方向よりもよく動く方向へ、広く画質を維持した映像を表示できる。また、計算部２５０が設定する所定の領域Ａの形状は、長軸及び短軸、又は長辺及び短辺を有するものであればよく、前述した楕円に限定されない。例えば、計算部２５０が、所定の領域Ａの形状を長方形と設定すれば、複数の画素を一ブロックとしてブロック単位で圧縮する圧縮方法を採用する場合に、所定の領域Ａと、所定の領域Ａの境界上に存在するブロックの重複部分の計算を、所定の領域Ａが楕円である場合と比べて簡素化できる。
【００４５】
計算部２５０は、所定の領域Ａの外では、注視点Ｐからの距離に応じて単位画素数あたりのデータ量Ｄを変えた映像を生成してもよい。
【００４６】
図７（ａ）は、映像表示領域のＸ座標と単位画素数あたりのデータ量Ｄとの関係を複数段階に変化させた場合の模式図である。図７（ａ）の下方のグラフは、上方に示す映像表示領域の点鎖線上における、単位画素数あたりのデータ量Ｄの変化を示したものである。図７（ａ）の例では、計算部２５０は、注視点Ｐを基準に所定の領域Ａを設定する。更に、所定の領域Ａの境界に加えＡを囲むように一つ目の外部領域Ｂ１、Ｂ１を囲むように二つ目の外部領域Ｂ２を定義する境界を設ける。二つ目の外部領域Ｂ２の境界の外側をＢ３として定義する。このように外部領域Ｂを複数の領域にわけると、わけない場合に比べて、所定の領域Ａと外部領域Ｂとの境界において生じる画質の差を、より小さくすることができる。これより図７（ａ）で示す映像システム１は、外部領域Ｂを複数領域に分割しない場合と比べて、より人の視覚認識に合わせてデータ量を減らした映像を、ユーザ３００へ提供できる。
【００４７】
計算部２５０は、所定の領域Ａの外では、注視点Ｐからの距離が大きくなるほど単位画素数あたりのデータ量Ｄを連続的に小さくした映像を生成してもよい。
【００４８】
図７（ｂ）は、映像表示領域のＸ座標と単位画素数あたりのデータ量Ｄとの関係を連続的に変化させた場合の模式図である。計算部２５０は、図７（ｂ）の縦軸と横軸との関係を、連続的に変えてグラデーションとして設定している。これにより、単位画素数あたりのデータ量Ｄを変える、領域境界での画質の差が小さくなり、滑らかな画像を得ることができる。
【００４９】
計算部２５０は、単位画素数あたりのデータ量Ｄが下限値ＤＬを下回らないように映像を生成してもよい。
【００５０】
図７（ａ）−（ｂ）の縦軸に、単位画素数あたりのデータ量Ｄに関する下限値ＤＬを示す。一般に、動画においてデータ量を減らす処理を行った場合、画像処理の方法によっては、特に映像上のオブジェクト境界付近において特有の動きを生じることがある。また、一般に、人の目は、周辺視野では視力が低下するが、一方で動きに対して敏感になることが知られている。そのため、計算部２５０は、このような映像を生成しないよう、下限値ＤＬを参照して映像を生成する。これより、映像システム１は、周辺視野領域についても違和感を抑えた映像を、ユーザ３００へ提供することができる。具体的な下限値ＤＬの値については、ヘッドマウントディスプレイ１００の画像表示系、及び、映像生成装置２００が適用する画像処理などを鑑みて、実験により定めればよい。
【００５１】
以下、本実施の形態の使用例について、図８及び図９を参照しながら説明する。図８は、実施の形態に係るヘッドマウントディスプレイ１００及び映像生成装置２００について、メイン処理の流れを説明するシーケンス図である。まず、ユーザ３００がヘッドマウントディスプレイ１００を装着し、映像提示部１１０が提示した映像を視聴する。撮像部１２０は、ユーザ３００の目を含む画像を取得し（Ｓ１０１）、第一通信部１３０が映像生成装置２００へ画像を送信する（Ｓ１０２）。
【００５２】
映像生成装置２００の第二通信部２１０は、ヘッドマウントディスプレイ１００から、目を含む画像を受信する（Ｓ２０１）。注視点取得部２３０は、画像をもとにユーザ３００の注視点Ｐを取得する（Ｓ２０２）。また、第一通信判定部２２０は、通信パラメータを基に通信環境を判定する（Ｓ２０３）。第一通信判定の詳細については後述する。次に、計算部２５０は、第一通信判定部２２０が判定した結果を基にデータの圧縮率を設定する（Ｓ２０４）。計算部２５０は、これからユーザへ表示する映像の映像データを記憶部２６０から取得する（Ｓ２０５）。次に、計算部２５０は、注視点取得部２３０より注視点Ｐの情報を取得し、注視点Ｐを基準に所定の領域Ａを設定する（Ｓ２０６）。計算部２５０は、外部領域Ｂについては、所定の領域Ａ用に計算した映像に比べて単位画素数あたりのデータ量Ｄが少ない映像を生成する（Ｓ２０７）。計算部２５０は、データ量Ｄの少ない映像を生成する際、通信結果を基に設定した圧縮率を参照して、外部領域Ｂでのデータ量Ｄを決定する。次に、第二通信部２１０は、計算部２５０が生成した映像をヘッドマウントディスプレイ１００へ送信する（Ｓ２０８）。ヘッドマウントディスプレイ１００の第一通信部１３０は、生成された映像を受信し（Ｓ１０３）、映像提示部１１０は、この映像をユーザ３００へ提示する（Ｓ１０４）。
【００５３】
図９は、実施の形態に係る第一通信判定に関する処理の一例を示すフローチャートである。第一通信判定部２２０は、例えば、電波強度、通信速度、データ損失率、スループット、ノイズ状況、又はルーターからの物理的距離のうち少なくとも一つを含む通信パラメータの、最新データを取得する（Ｓ２１１）。次に第一通信判定部２２０は、取得した最新データと、所定期間の過去の通信情報とを基に、通信パラメータの平均値を算出する（Ｓ２１２）。次に第一通信判定部２２０は、算出した平均値を基に通信環境を判定する（Ｓ２１３）。映像システム１は、映像を再生する間は、図８及び図９に記載する処理を繰り返す。なお、Ｓ２１３においては、上述したように、ヘッドマウントディスプレイ１００側及び映像生成装置２００側の通信パラメータの最新データに基づいて第一通信判定を行ってもよい。
【００５４】
以上説明したように、実施の形態によれば、ユーザが見ている注視点Ｐ付近の映像の画質を維持したまま、注視点Ｐより離れたところで画質を下げることで、映像生成装置２００がヘッドマウントディスプレイ１００へ送信するデータ量を減らしているため、違和感の少ない映像をユーザに提供できる。また、通信時のデータ量は小さくなるため、通信環境が悪化した場合でも、それに起因するデータ転送の遅延などによる影響を軽減することができる。そのため、本発明の映像システム１は、例えば、ゲーム機、コンピュータ、及び携帯用端末などで使用される、アプリケーション、又はゲームなどの、ユーザ３００とインタラクティブに通信を行って使用する装置において好適である。
【００５５】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００５６】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００５７】
ところで上記では、注視点取得部２３０が映像生成装置２００に実装されている場合について説明した。しかしながら、注視点取得部２３０は映像生成装置２００に実装される場合に限定されない。例えば、注視点取得部２３０はヘッドマウントディスプレイ１００に実装されてもよい。この場合、ヘッドマウントディスプレイ１００に制御機能を持たせ、ヘッドマウントディスプレイ１００の制御機能により、注視点取得部２３０で行う処理を実現するためのプログラム機能を付与してもよい。これにより、ユーザ３００の目を含む画像をヘッドマウントディスプレイ１００から映像生成装置２００に送信することを省略できるため、映像システム１は、通信の帯域を抑制したり、処理の高速化に資することができる。
【００５８】
〈第２実施の形態〉
本発明の第２実施の形態の概要を述べる。図１０は、第２実施の形態に係る映像システム１Ａの機能構成の例を示すブロック図である。映像システム１Ａは、ヘッドマウントディスプレイ１００と映像生成装置２００と映像配信装置４００を含む。
【００５９】
図１０に示すように、ヘッドマウントディスプレイ１００は、映像提示部１１０、撮像部１２０、および第一通信部１３０を備える。このヘッドマウントディスプレイ１００の構成は、図２で示した例と同一である。
【００６０】
映像生成装置２００は、第二通信部２１０、第一通信判定部２２０、注視点取得部２３０、注視点移動取得部２４０、計算部２５０、記憶部２６０、および第三通信部２７０を備える。この映像生成装置２００は、図２で示した例と比較して、第三通信部２７０を備える点で異なる。第三通信部２７０は、無線又は有線により、映像配信装置４００に接続されている。
【００６１】
映像配信装置４００は、第四通信部４１０、第二通信判定部４２０、配信映像計算部４３０、映像データ記憶部４４０、および外部映像入力部４５０を備える。
【００６２】
第四通信部４１０は、無線または有線により、映像生成装置２００と接続されている。第四通信部４１０は、映像生成装置２００へ映像データを配信する。第四通信部４１０は、映像データ以外に、配信中の映像データにおけるユーザの注視点情報を付加してもよい。第四通信部４１０は、映像生成装置２００からのユーザの注視点を受信する。また、第四通信部４１０は、注視点の情報以外に映像生成装置側の通信環境や計算付加等の情報を送信してもよい。
【００６３】
第二通信判定部４２０は、第三通信部２７０と第四通信部４１０の間の通信環境を判定する。
【００６４】
配信映像計算部４３０は、第四通信部４１０が受信した注視点を基に、注視点を受信する基準とする所定の領域を設定して、所定の領域外については、所定の領域用に計算した映像に比べて単位画素数あたりのデータ量の少ない映像を生成する。配信映像計算部４３０は、第二通信判定部４２０で通信環境が悪いと判定される第１の条件に該当する場合には、通信環境が良いと判定される第２の条件に該当する場合と比較し、映像のデータ量を小さくしてもよい。配信映像計算部４３０は、図２を用いて上述した計算部２５０と同様に計算してもよい。
【００６５】
映像データ記憶部４４０は、映像配信に使用する映像データを記憶する。この映像データ記憶部４４０で記憶されるデータは、高解像度のデータである。
【００６６】
外部映像入力部４５０は、撮影装置からの映像や他の映像配信装置からの映像データが入力されるものである。映像撮影装置としては、例えば、３６０°映像を撮影する撮影装置であってもよい。
【００６７】
以下、本実施の形態の使用例について、図１１を参照しながら説明する。図１１は、実施の形態に係るヘッドマウントディスプレイ１００、映像生成装置２００及び映像配信装置４００について、メイン処理の流れを説明するシーケンス図である。図１１において、図８で説明した処理と同一の処理については同一の符号を付して説明する。
【００６８】
まず、ユーザ３００がヘッドマウントディスプレイ１００を装着し、映像提示部１１０が提示した映像を視聴する。撮像部１２０は、ユーザ３００の目を含む画像を取得し（Ｓ１０１）、第一通信部１３０が映像生成装置２００へ画像を送信する（Ｓ１０２）。
【００６９】
映像生成装置２００の第二通信部２１０は、ヘッドマウントディスプレイ１００から、目を含む画像を受信する（Ｓ２０１）。注視点取得部２３０は、画像をもとにユーザ３００の注視点Ｐを取得する（Ｓ２０２）。また、第三通信部２７０は、取得した注視点Ｐを映像配信装置４００に送信する（Ｓ２１１）。
【００７０】
映像配信装置４００の第四通信部４１０は、映像生成装置２００から、注視点Ｐを受信する（Ｓ４０１）。第二通信判定部４２０は、通信パラメータを基に通信環境を判定する（Ｓ４０２）。第二通信判定部４２０における通信判定の詳細については、図９を用いて説明した第一通信判定部４０２における処理と同一であるため、説明を省略述する。次に、配信映像計算部４３０は、第二通信判定部４２０が判定した結果を基にデータの圧縮率を設定する（Ｓ４０３）。配信映像計算部４２０は、これからユーザへ表示する映像の映像データを映像データ記憶部４４０から取得する（Ｓ４０４）。次に、配信映像計算部４３０は、受信した注視点Ｐを基準に所定の領域Ａを設定する（Ｓ４０５）。配信映像計算部４３０は、外部領域Ｂについては、所定の領域Ａ用に計算した映像に比べて単位画素数あたりのデータ量Ｄが少ない映像を生成する（Ｓ４０６）。配信映像計算部４３０は、データ量Ｄの少ない映像を生成する際、通信結果を基に設定した圧縮率を参照して、外部領域Ｂでのデータ量Ｄを決定する。次に、第四通信部４１０は、配信映像計算部４２０が生成した映像を映像配信装置４００へ送信する（Ｓ４０７）。
【００７１】
映像生成装置２００の第三通信部２７０は、映像配信装置４００から、映像を受信する（Ｓ２１２）。また、第二通信部２０１は、受信した映像をヘッドマウントディスプレイ１００に送信する（Ｓ２０８）。
【００７２】
ヘッドマウントディスプレイ１００の第一通信部１３０は、生成された映像を受信し（Ｓ１０３）、映像提示部１１０は、この映像をユーザ３００へ提示する（Ｓ１０４）。
【００７３】
以上説明したように、実施の形態によれば、ユーザが見ている注視点Ｐ付近の映像の画質を維持したまま、注視点Ｐより離れたところで画質を下げることで、映像生成装置２００がヘッドマウントディスプレイ１００へ送信するデータ量を減らしているため、違和感の少ない映像をユーザに提供できる。また、通信時のデータ量は小さくなるため、通信環境が悪化した場合でも、それに起因するデータ転送の遅延などによる影響を軽減することができる。そのため、本発明の映像システム１は、例えば、ゲーム機、コンピュータ、及び携帯用端末などで使用される、アプリケーション、又はゲームなどの、ユーザ３００とインタラクティブに通信を行って使用する装置において好適である。
【００７４】
なお、図１１に示す例では、ヘッドマウントディスプレイ１００から映像生成装置２００へは、映像配信装置４００でデータ量が減らされた映像が送信される一例で説明した。この場合、映像生成装置２００は、計算部２５０及び記憶部２６０を備えなくてもよい。また、映像システム１Ａは、図１１を用いて上述した一例に限定されない。例えば、映像配信装置４００が、注視点取得部２３０及び注視点移動取得部２４０を備え、映像配信装置４００は、映像生成装置２００から目を含む画像を受信し、映像配信装置４００で注視点を取得するようにしてもよい。
【００７５】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００７６】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００７７】
ところで上記では、注視点取得部２３０が映像生成装置２００に実装されている場合について説明した。しかしながら、注視点取得部２３０は映像生成装置２００に実装される場合に限定されない。例えば、注視点取得部２３０はヘッドマウントディスプレイ１００に実装されてもよい。この場合、ヘッドマウントディスプレイ１００に制御機能を持たせ、ヘッドマウントディスプレイ１００の制御機能により、注視点取得部２３０で行う処理を実現するためのプログラム機能を付与してもよい。これにより、ユーザ３００の目を含む画像をヘッドマウントディスプレイ１００から映像生成装置２００に送信することを省略できるため、映像システム１は、通信の帯域を抑制したり、処理の高速化に資することができる。
【符号の説明】
【００７８】
１  映像システム、１００  ヘッドマウントディスプレイ、１１０  映像提示部、１２０  撮像部、１３０  第一通信部、１５０  筐体、１６０  装着具、１７０  ヘッドフォン、２００  映像生成装置、２１０  第二通信部、２２０  通信判定部、２３０  注視点取得部、２４０  注視点移動取得部、２５０  計算部、２６０  記憶部。
【産業上の利用可能性】
【００７９】
本発明は、ヘッドマウントディスプレイ及び映像生成装置を含む映像システムに利用可能である。
【図１】
2018141816.tif 000003
【図２】
2018141816.tif 000004
【図３】
2018141816.tif 000005
【図４】
2018141816.tif 000006
【図５】
2018141816.tif 000007
【図６】
2018141816.tif 000008
【図７】
2018141816.tif 000009
【図８】
2018141816.tif 000010
【図９】
2018141816.tif 000011
【図１０】
2018141816.tif 000012
【図１１】
2018141816.tif 000013
【図１２】
2018141816.tif 000014