(57)【要約】【課題】仮想空間への没入感を損なうことなくコメントが表示される技術を提供する。【解決手段】仮想空間を提供するヘッドマウントデバイスにおける表示を制御するためにコンピュータで実行される方法は、ヘッドマウントデバイスのユーザの操作に応じた映像を表示するための映像信号をヘッドマウントデバイスに送信するステップと、コンピュータと通信可能に接続されている一つ以上の表示端末に映像信号を送信するステップと、映像信号に基づいて一つ以上の表示端末に表示される映像に対して与えられるコメント１０３〜１０６を一つ以上の表示端末から受信するステップと、仮想空間の画像が推移する間も、コメント１０３〜１０６が一定の場所に維持された状態でモニタ１１２にコメント１０３〜１０６を提示させるステップとを含む。【選択図】図１
2018207517.tif 000002
【特許請求の範囲】
【請求項１】
仮想空間を提供するヘッドマウントデバイスにおける表示を制御するためにコンピュータで実行される方法であって、
前記ヘッドマウントデバイスのユーザの操作に応じた映像を表示するための映像信号を前記ヘッドマウントデバイスに送信するステップと、
前記コンピュータと通信可能に接続されている一つ以上の表示端末に前記映像信号を送信するステップと、
前記映像信号に基づいて前記一つ以上の表示端末に表示される映像に対して与えられる視聴者応答を前記一つ以上の表示端末から受信するステップと、
前記ヘッドマウントデバイスに前記視聴者応答を提示させるステップとを含む、方法。
【請求項２】
前記一つ以上の表示端末に前記映像信号を送信するステップは、前記一つ以上の表示端末に二次元の画像を表示するための信号を送信することを含む、請求項１に記載の方法。
【請求項３】
前記視聴者応答を前記一つ以上の表示端末から受信するステップは、前記仮想空間において前記視聴者応答が提示される場所を指定する位置情報を受信するステップを含む、請求項１または２に記載の方法。
【請求項４】
前記視聴者応答を前記一つ以上の表示端末から受信するステップは、複数の表示端末の各々から視聴者応答を受信することを含み、
前記位置情報を受信するステップは、各前記表示端末の位置情報をそれぞれ受信することを含み、
前記モニタに前記視聴者応答を提示させるステップは、各前記位置情報が同じ位置を示している場合に各前記視聴者応答を互いにずらして提示させることを含む、請求項３に記載の方法。
【請求項５】
前記視聴者応答を前記一つ以上の表示端末から受信するステップは、複数の前記視聴者応答を前記一つ以上の表示端末から受信することを含み、
前記視聴者応答を提示させるステップは、複数の前記視聴者応答のうちのいずれかの視聴者応答を他の視聴者応答にオーバーレイ表示することを含む、請求項１〜４のいずれかに記載の方法。
【請求項６】
前記仮想空間に提示された視聴者応答に対して前記ユーザによって入力されるユーザ応答を前記コンピュータから受信するステップと、
前記ユーザ応答を表示するための信号を前記一つ以上の表示端末に送信するステップとをさらに含む、請求項１〜５のいずれかに記載の方法。
【請求項７】
前記仮想空間に提示された視聴者応答を消去するステップをさらに含む、請求項１〜６のいずれかに記載の方法。
【請求項８】
前記視聴者応答を消去するステップは、前記仮想空間に提示される画像の変化に応じてコメントを消去するステップを含む、請求項７に記載の方法。
【請求項９】
前記映像信号と前記視聴者応答とを関連付けて記憶装置に保存するステップをさらに含む、請求項１〜８のいずれかに記載の方法。
【請求項１０】
前記映像信号に基づく映像を再生するステップと、
前記映像の再生に応じて、当該映像信号に関連付けられた視聴者応答を前記仮想空間に提示させるステップとをさらに含む、請求項９に記載の方法。
【請求項１１】
前記ヘッドマウントデバイスのユーザの動きを検出するステップと、
前記動きに連動して、前記仮想空間の視界画像を前記モニタに提示させるステップをさらに含み、
前記視聴者応答を提示させるステップは、前記動きに連動することなく前記視聴者応答を提示させることを含む、請求項１〜１０のいずれかに記載の方法。
【請求項１２】
請求項１〜１１のいずれかに記載の方法をコンピュータに実行させる、プログラム。
【請求項１３】
請求項１２に記載のプログラムを格納したメモリと、
前記プログラムを実行するためのプロセッサとを備える、情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示はヘッドマウントデバイスを用いて仮想空間を提供する技術に関し、より特定的には、仮想空間にコメントを提示する技術に関する。
【背景技術】
【０００２】
動画配信やゲームプログラム等を実行するコンピュータは、実況者のプレイに応じた映像信号を生成する。コンピュータ（または映像信号を受け付けた他の機器）は、ライブ映像を配信サーバに送信する。配信サーバは、当該配信サーバに接続してログインしている一つ以上の他の端末にライブ映像を送信する。配信サーバは、いずれかの端末からコメントの入力を受け付けて、受け付けたコメントを随時他の端末へ送信する。これにより、実況者と視聴者の双方は、実況者がライブ視聴者からのコメントを参照しつつ、プレイの実況をするという相互作用（インタラクション）を楽しむことができる。
【０００３】
動画の配信においてユーザのコメントを表示する技術に関し、例えば、国際公開第２０１６/０３９１５６号（特許文献１）は、「ライブストリーミング配信される動画像を送信する動画像送信装置とは別の端末で当該動画像を配信する動画像配信システムで管理される当該動画像に関する情報を通信する際におけるユーザの手間を軽減できる」技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１６/０３９１５６号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、動画その他の映像が仮想現実空間（「仮想空間」ともいう。）において提供される場合、ヘッドマウントデバイス（Head  Mounted  Device：ＨＭＤ）を装着した実況者が、ＨＭＤに提示される映像を見つつ実況をする場合には、当該実況者は、視聴者のコメントを参照することができない。また、ＨＭＤを用いて動画が配信される場合、コメントを単に表示すると、仮想空間における没入感が損なわれる可能性もある。したがって、コンテンツの視聴者によって入力されたコメントが仮想空間における没入感を損なうことなく当該コンテンツのユーザに提示される技術が必要とされている。
【０００６】
本開示は、上述のような問題点を解決するためになされたものであって、ある局面における目的は、没入感を損なうことなく仮想空間にコメントが提示される技術を提供することである。
【課題を解決するための手段】
【０００７】
ある実施の形態に従うと、仮想空間を提供するヘッドマウントデバイスにおける表示を制御するためにコンピュータで実行される方法が提供される。この方法は、ヘッドマウントデバイスのユーザの操作に応じた映像を表示するための映像信号をヘッドマウントデバイスに送信するステップと、コンピュータと通信可能に接続されている一つ以上の表示端末に映像信号を送信するステップと、映像信号に基づいて一つ以上の表示端末に表示される映像に対して与えられる視聴者応答を一つ以上の表示端末から受信するステップと、ヘッドマウントデバイスに視聴者応答を提示させるステップとを含む。
【０００８】
ある実施の形態に従うと、没入感を損なうことなく仮想空間にコメントが提示される。
この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【０００９】
【図１】仮想空間を提供するモニタ１１２に表示される画面の推移を表わす図である。
【図２】仮想空間に提示される画像に対してコメントを付加するための構成の概略を表わす図である。
【図３】ある実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。
【図４】一局面に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。
【図５】ある実施の形態に従うＨＭＤ１１０に設定されるｕｖｗ視野座標系を概念的に表す図である。
【図６】ある実施の形態に従う仮想空間２を表現する一態様を概念的に表す図である。
【図７】ある実施の形態に従うＨＭＤ１１０を装着するユーザ１９０の頭部を上から表した図である。
【図８】仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を表す図である。
【図９】仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を表す図である。
【図１０】ある実施の形態に従うコントローラ１６０の概略構成を表す図である。
【図１１】右コントローラ８００を把持するユーザ１９０の右手に対応して仮想空間に配置されるハンドオブジェクト８１０の一例を示す図である。
【図１２】ある実施の形態に従うコンピュータ２００をモジュール構成として表わすブロック図である。
【図１３】ある局面にしたがってサーバコンピュータ２０により実現される機能の構成を表わすブロック図である。
【図１４】記憶部１３１０におけるデータの格納の一態様を概念的に表す図である。
【図１５】サーバコンピュータ２０がコンピュータ２００によって実現される場合に実行される処理の一部を表わすフローチャートである。
【図１６】サーバコンピュータ２０がサーバ１５０によって実現される場合に実行される処理の一部を表わすフローチャートである。
【図１７】他ユーザのユーザ端末２０１Ａによって実行される処理の一部を表わすフローチャートである。
【図１８】ユーザ端末２０１Ａのモニタ２１２に表示される画面の一例を表わす図である。
【図１９】モニタ１１２に画像を表示するためのデータの生成の流れを概念的に表す図である。
【図２０】ユーザ１９０によって入力されたコメントが他ユーザのユーザ端末のモニタ２１２に表示される画面の一態様を表わす図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００１１】
［技術思想］
ここに開示される技術思想の概要は、以下の通りである。ここでは、コンテンツの配信者（実況者）が装着したＨＭＤのモニタに、ライブ配信されたコンテンツの視聴者のコメントが提示される場合について説明する。
【００１２】
（Ａ）実況者のプレイに応じて実況者のＨＭＤに提示するための映像信号を生成するコンピュータは、当該映像信号をコンテンツの配信サーバに送信する。
【００１３】
（Ｂ）配信サーバは、接続している（ログインしている）他の端末に対し、実況者のプレイに関する映像信号（例えば、動作やコントローラの操作の結果に応じた映像信号）を配信する。このとき、仮想空間を撮影した視界画像を生成するコンピュータ（例えば、上記コンピュータあるいは配信サーバ）は、仮想空間に配置される仮想カメラの配置を制御して、視界画像を更新する。
【００１４】
（Ｃ）配信サーバに接続している端末は、配信サーバからライブ配信にかかる映像信号を受信して映像を再生するとともに、当該端末のユーザ（視聴者）によるコメントの入力を受け付けて、配信サーバに対し、当該コメントを送信する。
【００１５】
（Ｄ）配信サーバは、ライブ映像の配信者（実況者）の装置（例えば、ＨＭＤが接続されたコンピュータ）を特定し、端末から入力されたコメントを当該実況者の装置へ送信する。
【００１６】
（Ｅ）実況者が装着したＨＭＤのモニタは、配信サーバから受信したコメントを表示する。このとき、コメントは、映像を妨げないような場所、例えば、表示領域の端部、仮想空間に提示されるオブジェクトの向こう側に表示され得る。あるいは、コメントを表示する文字は、透明な文字で表示され得る。また、当該コメントは、一時的に表示され得る。例えば、コメントは、視界画像が切り換わったタイミングで表示され、あるいは、非表示にされる。
【００１７】
図１を参照して、本開示に係る技術思想の実現例について説明する。図１は、仮想空間を提供するモニタ１１２に表示される画面の推移を表わす図である。モニタ１１２は、例えば、ＨＭＤに設けられ、あるいは、ＨＭＤに装着される。モニタ１１２は、ＨＭＤに接続されているコンピュータ又はＨＭＤに内蔵されるコンピュータによって実行されるプログラムに基づいて、オブジェクトとコメントとを提示する。以下、当該プログラムが、仮想空間を走る馬をロープで捕まえるシーンをモニタ１１２に提示している場合について説明する。
【００１８】
［状態Ａ］  ある局面において、モニタ１１２は、馬オブジェクト１０１と、馬オブジェクト１０１を捕まえるためのロープオブジェクト１０２とを表示する。さらに、モニタ１１２は、コメント１０３（“今だ！”）を表示する。コメント１０３は、当該ＨＭＤのユーザ以外の他ユーザが使用するコンピュータから入力される。他ユーザによって使用されるコンピュータは、当該シーンを二次元画像、あるいは、仮想空間における画像のいずれをも表示し得る。
【００１９】
［状態Ｂ］  その後、モニタ１１２のユーザが操作を行ない、ロープオブジェクト１０２を馬オブジェクト１０１に投げた場合、モニタ１１２は、他ユーザによって入力された別のコメント１０４（“届け！”）を表示する。なお、コメント１０３を入力したユーザと、コメント１０４を入力したユーザとは、同一でも別でもよい。ある局面において、コメント１０３は、モニタ１１２に表示されるシーンが切り換わるまで、あるいは、予め定められた時間、表示される。当該シーンが次のシーンに切り換わると、あるいは、予め定められた時間が経過すると、コメント１０３の表示は終了する。
【００２０】
［状態Ｃ］  モニタ１１２のユーザがロープオブジェクト１０２を馬オブジェクト１０１に首尾よく引っかけることができると、モニタ１１２は、コメント１０５（“やった！”）とコメント１０６（“成功！”）とを表示する。この場合も、コメント１０５を入力したユーザと、コメント１０６を入力したユーザとは、同一でも別でもよい。この場合も、状態Ｂの場合と同様に、上述のような条件を含む予め定められた条件が成立すると、コメントの表示は終了する。
【００２１】
複数のコメントが表示される場合、最初のコメントが予め指定された場所に表示され、次のコメントが、最初のコメントから予め設定された間隔だけずれた位置に表示され得る。これにより、ユーザは、各コメントを明確に確認できる。別の局面で、各コメントが順次表示されてもよい。例えば、コンテンツの最後が表示された場合には、各コメントが順次表示され得る。この場合、コンテンツの表示が終了する局面であるため、没入感の阻害という問題も抑制され得る。さらに別の局面において、ＨＭＤが装着されたコンピュータは、モニタ１１２に表示されたコメントに対するコメントの入力をユーザから受け付けて、そのコメントを他の視聴者に送信してもよい。ＨＭＤのユーザと視聴者との間でコメントがやり取りされるので、相互の対話が一層促進され得る。
【００２２】
コメント１０３，１０４，１０５からも明らかなように、各コメントは、仮想空間に提示される馬オブジェクト１０１が移動しても、同じ場所に表示される。これにより、仮想空間における没入感が損なわれることなく、コメントの視認性も維持される。なお、各コメントは、予め定められた一定時間表示された後消去され得る。あるいは、各コメントは、映像のシーンが切り換わった時に、別のコメントに切り替わってもよい。
【００２３】
図２を参照して、本開示に係る技術思想を実現する装置構成について説明する。図２は、仮想空間に提示される画像に対してコメントを付加するための構成の概略を表わす図である。仮想空間は、ＨＭＤ１１０によって提供される。ＨＭＤ１１０は、周知の構成を有するサーバコンピュータ２０に通信可能に接続されている。サーバコンピュータ２０は、一つ以上のユーザ端末２０１Ａ，２０１Ｂ，２０１Ｎ（総称するときは、ユーザ端末２０１という。）と通信可能に接続されている。ユーザ端末２０１は、プロセッサ２１１と、モニタ２１２とを含む。ユーザ端末２０１は、ある局面で、例えば、周知の構成を有するコンピュータ、タブレット端末、スマートフォンその他の情報通信端末である。別の局面で、ユーザ端末２０１は、ＨＭＤ１１０と同様に、当該ユーザのコンピュータと当該コンピュータに接続されたＨＭＤによって実現されてもよい。
【００２４】
ＨＭＤ１１０は、サーバコンピュータ２０から送られた映像信号に基づいて映像をモニタ１１２に表示する。ユーザがコントローラを操作すると、ＨＭＤ１１０は、その操作を表わす情報をサーバコンピュータ２０に送信する。サーバコンピュータ２０は、その情報に基づいてＨＭＤ１１０に提示されている画像に含まれるオブジェクトを移動する等の処理を実行し、処理後の画像を表示するための映像信号をＨＭＤ１１０およびログインしているユーザ端末２０１Ａ，２０１Ｂ，２０１Ｎに表示する。なお、ＨＭＤ１１０に送信される映像信号の形式と、ユーザ端末２０１Ａ，２０１Ｂ，２０１Ｎに送信される映像信号の形式は同一でも異なってもよい。ＨＭＤ１１０に送信される映像信号は、没入感を維持しつつ仮想空間で使用されるための三次元のデータである。他方、ユーザ端末２０１Ａ、２０１Ｂ，２０１Ｃに送信される映像信号は、没入感が求められない場合には、二次元で画像を表示するためのデータであってもよい。
【００２５】
ユーザ端末２０１Ａ，２０１Ｂ，２０１Ｎの各ユーザは、ＨＭＤ１１０のユーザが見ている画像と同じ画像を視認できる。このとき、各ユーザは、タッチパネル、マウス、音声入力装置その他の入力デバイスを用いて、その画像に対するコメントを入力できる。入力されたコメントは、サーバコンピュータ２０に送られる。サーバコンピュータ２０は、そのコメントがＨＭＤ１１０に提示される画像を妨げないように、例えば、視界領域の端に重ねて表示する。あるいは、サーバコンピュータ２０は、そのコメントを透明色で表示する。ＨＭＤ１１０を装着したユーザは、仮想空間に提示される画像を確認しながら、そのコメントを視認できる。
【００２６】
［ＨＭＤシステムの構成］
図３を参照して、ＨＭＤ（Head  Mounted  Device）システム１００の構成について説明する。図３は、ある実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ある局面において、ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。なお、本実施の形態において、ＨＭＤとは、モニタを備える所謂ヘッドマウントディスプレイと、スマートホンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
【００２７】
ＨＭＤシステム１００は、ＨＭＤ１１０と、ＨＭＤセンサ１２０と、コントローラ１６０と、コンピュータ２００とを備える。ＨＭＤ１１０は、モニタ１１２と、注視センサ１４０とを含む。コントローラ１６０は、モーションセンサ１３０を含み得る。
【００２８】
ある局面において、コンピュータ２００は、インターネットその他のネットワーク１９に接続可能であり、ネットワーク１９に接続されているサーバ１５０その他のコンピュータと通信可能である。ユーザ端末２０１Ａ・・・２０１Ｎが、ネットワーク１９に接続されている。
【００２９】
別の局面において、ＨＭＤシステム１００がＨＭＤセンサ１２０を備える代わりに、ＨＭＤ１１０がセンサ１１４を含んでもよい。
【００３０】
サーバ１５０は、プロセッサ１５１と、メモリ１５２と、通信インターフェイス１５３とを含む。サーバ１５０は、周知の構成を有するコンピュータによって実現される。
【００３１】
ＨＭＤ１１０は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、ＨＭＤ１１０は、右目用の画像および左目用の画像をモニタ１１２にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を３次元の画像として認識し得る。
【００３２】
モニタ１１２は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ１１２は、ユーザの両目の前方に位置するようにＨＭＤ１１０の本体に配置されている。したがって、ユーザは、モニタ１１２に表示される３次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、ユーザが選択可能なメニューの画像を含む。ある実施の形態において、モニタ１１２は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機ＥＬ（Electro  Luminescence）モニタとして実現され得る。
【００３３】
ある局面において、モニタ１１２は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ１１２は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ１１２は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
【００３４】
ＨＭＤセンサ１２０は、複数の光源（図示しない）を含む。各光源は例えば、赤外線を発するＬＥＤ（Light  Emitting  Diode）により実現される。ＨＭＤセンサ１２０は、ＨＭＤ１１０の動きを検出するためのポジショントラッキング機能を有する。ＨＭＤセンサ１２０は、この機能を用いて、現実空間内におけるＨＭＤ１１０の位置および傾きを検出する。
【００３５】
なお、別の局面において、ＨＭＤセンサ１２０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ１２０は、カメラから出力されるＨＭＤ１１０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ１１０の位置および傾きを検出することができる。
【００３６】
別の局面において、ＨＭＤ１１０は、位置検出器として、ＨＭＤセンサ１２０の代わりに、センサ１１４を備えてもよい。ＨＭＤ１１０は、センサ１１４を用いて、ＨＭＤ１１０自身の位置および傾きを検出し得る。例えば、センサ１１４が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサ等である場合、ＨＭＤ１１０は、ＨＭＤセンサ１２０の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ１１４が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ１１０の３軸周りの角速度を経時的に検出する。ＨＭＤ１１０は、各角速度に基づいて、ＨＭＤ１１０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ１１０の傾きを算出する。また、ＨＭＤ１１０は、透過型表示装置を備えていても良い。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視野画像は仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。例えば、ＨＭＤ１１０に搭載されたカメラで撮影した画像を視野画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視野画像の一部から現実空間を視認可能にしてもよい。
【００３７】
注視センサ１４０は、ユーザ１９０の右目および左目の視線が向けられる方向（視線方向）を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ１９０の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ１９０の視線方向を検知することができる。
【００３８】
サーバ１５０は、コンピュータ２００にプログラムを送信し得る。別の局面において、サーバ１５０は、他のユーザによって使用されるＨＭＤに仮想現実を提供するための他のコンピュータ２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ２００は、各ユーザの動作に基づく信号を他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。
【００３９】
コントローラ１６０は、ユーザ１９０からコンピュータ２００への命令の入力を受け付ける。ある局面において、コントローラ１６０は、ユーザ１９０によって把持可能に構成される。別の局面において、コントローラ１６０は、ユーザ１９０の身体あるいは衣類の一部に装着可能に構成される。別の局面において、コントローラ１６０は、コンピュータ２００から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の局面において、コントローラ１６０は、仮想現実を提供する空間に配置されるオブジェクトの位置や動きを制御するためにユーザ１９０によって与えられる操作を受け付ける。
【００４０】
モーションセンサ１３０は、ある局面において、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ１３０は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ２００に送られる。モーションセンサ１３０は、例えば、手袋型のコントローラ１６０に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ１６０は、手袋型のようにユーザ１９０の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の局面において、ユーザ１９０に装着されないセンサがユーザ１９０の手の動きを検出してもよい。例えば、ユーザ１９０を撮影するカメラの信号が、ユーザ１９０の動作を表わす信号として、コンピュータ２００に入力されてもよい。モーションセンサ１３０とコンピュータ２００とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）その他の公知の通信手法が用いられる。
【００４１】
［ハードウェア構成］
図４を参照して、本実施の形態に係るコンピュータ２００について説明する。図４は、一局面に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ１０と、メモリ１１と、ストレージ１２と、入出力インターフェイス１３と、通信インターフェイス１４とを備える。各構成要素は、それぞれ、バス１５に接続されている。
【００４２】
プロセッサ１０は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ１１またはストレージ１２に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ１０は、ＣＰＵ（Central  Processing  Unit）、ＭＰＵ（Micro  Processor  Unit）、ＦＰＧＡ（Field-Programmable  Gate  Array）その他のデバイスとして実現される。
【００４３】
メモリ１１は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ１２からロードされる。データは、コンピュータ２００に入力されたデータと、プロセッサ１０によって生成されたデータとを含む。ある局面において、メモリ１１は、ＲＡＭ（Random  Access  Memory）その他の揮発メモリとして実現される。
【００４４】
ストレージ１２は、プログラムおよびデータを永続的に保持する。ストレージ１２は、例えば、ＲＯＭ（Read-Only  Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ１２に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ２００との通信を実現するためのプログラムを含む。ストレージ１２に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
【００４５】
なお、別の局面において、ストレージ１２は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ２００に内蔵されたストレージ１２の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
【００４６】
ある実施の形態において、入出力インターフェイス１３は、ＨＭＤ１１０、ＨＭＤセンサ１２０またはモーションセンサ１３０との間で信号を通信する。ある局面において、入出力インターフェイス１３は、ＵＳＢ（Universal  Serial  Bus）インターフェイス、ＤＶＩ（Digital  Visual  Interface）、ＨＤＭＩ（登録商標）（High-Definition  Multimedia  Interface）その他の端子を用いて実現される。なお、入出力インターフェイス１３は上述のものに限られない。
【００４７】
ある実施の形態において、入出力インターフェイス１３は、さらに、コントローラ１６０と通信し得る。例えば、入出力インターフェイス１３は、モーションセンサ１３０から出力された信号の入力を受ける。別の局面において、入出力インターフェイス１３は、プロセッサ１０から出力された命令を、コントローラ１６０に送る。当該命令は、振動、音声出力、発光等をコントローラ１６０に指示する。コントローラ１６０は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
【００４８】
通信インターフェイス１４は、ネットワーク１９に接続されて、ネットワーク１９に接続されている他のコンピュータ（例えば、サーバ１５０）と通信する。ある局面において、通信インターフェイス１４は、例えば、ＬＡＮ（Local  Area  Network）その他の有線通信インターフェイス、あるいは、ＷｉＦｉ（Wireless  Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near  Field  Communication）その他の無線通信インターフェイスとして実現される。なお、通信インターフェイス１４は上述のものに限られない。
【００４９】
ある局面において、プロセッサ１０は、ストレージ１２にアクセスし、ストレージ１２に格納されている１つ以上のプログラムをメモリ１１にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、コントローラ１６０を用いて仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ１０は、入出力インターフェイス１３を介して、仮想空間を提供するための信号をＨＭＤ１１０に送る。ＨＭＤ１１０は、その信号に基づいてモニタ１１２に映像を表示する。
【００５０】
なお、図４に示される例では、コンピュータ２００は、ＨＭＤ１１０の外部に設けられる構成が示されているが、別の局面において、コンピュータ２００は、ＨＭＤ１１０に内蔵されてもよい。一例として、モニタ１１２を含む携帯型の情報通信端末（例えば、スマートフォン）がコンピュータ２００として機能してもよい。
【００５１】
また、コンピュータ２００は、複数のＨＭＤ１１０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
【００５２】
ある実施の形態において、ＨＭＤシステム１００では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、グローバル座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。
【００５３】
ある局面において、ＨＭＤセンサ１２０は、赤外線センサを含む。赤外線センサが、ＨＭＤ１１０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ１１０の存在を検出する。ＨＭＤセンサ１２０は、さらに、各点の値（グローバル座標系における各座標値）に基づいて、ＨＭＤ１１０を装着したユーザ１９０の動きに応じた、現実空間内におけるＨＭＤ１１０の位置および傾きを検出する。より詳しくは、ＨＭＤセンサ１２０は、経時的に検出された各値を用いて、ＨＭＤ１１０の位置および傾きの時間的変化を検出できる。
【００５４】
グローバル座標系は現実空間の座標系と平行である。したがって、ＨＭＤセンサ１２０によって検出されたＨＭＤ１１０の各傾きは、グローバル座標系におけるＨＭＤ１１０の３軸周りの各傾きに相当する。ＨＭＤセンサ１２０は、グローバル座標系におけるＨＭＤ１１０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ１１０に設定する。ＨＭＤ１１０に設定されるｕｖｗ視野座標系は、ＨＭＤ１１０を装着したユーザ１９０が仮想空間において物体を見る際の視点座標系に対応する。
【００５５】
［ｕｖｗ視野座標系］
図５を参照して、ｕｖｗ視野座標系について説明する。図５は、ある実施の形態に従うＨＭＤ１１０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ１２０は、ＨＭＤ１１０の起動時に、グローバル座標系におけるＨＭＤ１１０の位置および傾きを検出する。プロセッサ１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ１１０に設定する。
【００５６】
図５に示されるように、ＨＭＤ１１０は、ＨＭＤ１１０を装着したユーザの頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ１１０は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、グローバル座標系内においてＨＭＤ１１０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）として設定する。
【００５７】
ある局面において、ＨＭＤ１１０を装着したユーザ１９０が直立し、かつ、正面を視認している場合、プロセッサ１０は、グローバル座標系に平行なｕｖｗ視野座標系をＨＭＤ１１０に設定する。この場合、グローバル座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）に一致する。
【００５８】
ｕｖｗ視野座標系がＨＭＤ１１０に設定された後、ＨＭＤセンサ１２０は、ＨＭＤ１１０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ１１０の傾き（傾きの変化量）を検出できる。この場合、ＨＭＤセンサ１２０は、ＨＭＤ１１０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ１１０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ方向周りのＨＭＤ１１０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー方向周りのＨＭＤ１１０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール方向周りのＨＭＤ１１０の傾き角度を表す。
【００５９】
ＨＭＤセンサ１２０は、検出されたＨＭＤ１１０の傾き角度に基づいて、ＨＭＤ１１０が動いた後のＨＭＤ１１０におけるｕｖｗ視野座標系を、ＨＭＤ１１０に設定する。ＨＭＤ１１０と、ＨＭＤ１１０のｕｖｗ視野座標系との関係は、ＨＭＤ１１０の位置および傾きに関わらず、常に一定である。ＨＭＤ１１０の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるＨＭＤ１１０のｕｖｗ視野座標系の位置および傾きが変化する。
【００６０】
ある局面において、ＨＭＤセンサ１２０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ１１０の現実空間内における位置を、ＨＭＤセンサ１２０に対する相対位置として特定してもよい。また、プロセッサ１０は、特定された相対位置に基づいて、現実空間内（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系の原点を決定してもよい。
【００６１】
［仮想空間］
図６を参照して、仮想空間についてさらに説明する。図６は、ある実施の形態に従う仮想空間２を表現する一態様を概念的に表す図である。仮想空間２は、中心２１の３６０度方向の全体を覆う全天球状の構造を有する。図６では、説明を複雑にしないために、仮想空間２のうちの上半分の天球が例示されている。仮想空間２では各メッシュが規定される。各メッシュの位置は、仮想空間２に規定されるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間２に展開可能なコンテンツ（静止画、動画等）を構成する各部分画像を、仮想空間２において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像２２が展開される仮想空間２をユーザに提供する。
【００６２】
ある局面において、仮想空間２では、中心２１を原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、グローバル座標系に平行である。ＸＹＺ座標系は視点座標系の一種であるため、ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）がグローバル座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）がグローバル座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）がグローバル座標系のｚ軸と平行である。
【００６３】
ＨＭＤ１１０の起動時、すなわちＨＭＤ１１０の初期状態において、仮想カメラ１が、仮想空間２の中心２１に配置される。仮想カメラ１は、現実空間におけるＨＭＤ１１０の動きに連動して、仮想空間２を同様に移動する。これにより、現実空間におけるＨＭＤ１１０の位置および向きの変化が、仮想空間２において同様に再現される。
【００６４】
仮想カメラ１には、ＨＭＤ１１０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間２における仮想カメラ１のｕｖｗ視野座標系は、現実空間（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ１１０の傾きが変化すると、それに応じて、仮想カメラ１の傾きも変化する。また、仮想カメラ１は、ＨＭＤ１１０を装着したユーザの現実空間における移動に連動して、仮想空間２において移動することもできる。
【００６５】
仮想カメラ１の向きは、仮想カメラ１の位置および傾きに応じて決まるので、ユーザが仮想空間画像２２を視認する際に基準となる視線（基準視線５）は、仮想カメラ１の向きに応じて決まる。コンピュータ２００のプロセッサ１０は、基準視線５に基づいて、仮想空間２における視界領域２３を規定する。視界領域２３は、仮想空間２のうち、ＨＭＤ１１０を装着したユーザの視界に対応する。
【００６６】
注視センサ１４０によって検出されるユーザ１９０の視線方向は、ユーザ１９０が物体を視認する際の視点座標系における方向である。ＨＭＤ１１０のｕｖｗ視野座標系は、ユーザ１９０がモニタ１１２を視認する際の視点座標系に等しい。また、仮想カメラ１のｕｖｗ視野座標系は、ＨＭＤ１１０のｕｖｗ視野座標系に連動している。したがって、ある局面に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ１９０の視線方向を、仮想カメラ１のｕｖｗ視野座標系におけるユーザの視線方向とみなすことができる。
【００６７】
［ユーザの視線］
図７を参照して、ユーザの視線方向の決定について説明する。図７は、ある実施の形態に従うＨＭＤ１１０を装着するユーザ１９０の頭部を上から表した図である。
【００６８】
ある局面において、注視センサ１４０は、ユーザ１９０の右目および左目の各視線を検出する。ある局面において、ユーザ１９０が近くを見ている場合、注視センサ１４０は、視線Ｒ１およびＬ１を検出する。別の局面において、ユーザ１９０が遠くを見ている場合、注視センサ１４０は、視線Ｒ２およびＬ２を検出する。この場合、ロール方向ｗに対して視線Ｒ２およびＬ２がなす角度は、ロール方向ｗに対して視線Ｒ１およびＬ１がなす角度よりも小さい。注視センサ１４０は、検出結果をコンピュータ２００に送信する。
【００６９】
コンピュータ２００が、視線の検出結果として、視線Ｒ１およびＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１およびＬ１の交点である注視点Ｎ１を特定する。一方、コンピュータ２００は、視線Ｒ２およびＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２およびＬ２の交点を注視点Ｎ１として特定する。コンピュータ２００は、特定した注視点Ｎ１の位置に基づき、ユーザ１９０の視線方向Ｎ０を特定する。コンピュータ２００は、例えば、ユーザ１９０の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線方向Ｎ０として検出する。視線方向Ｎ０は、ユーザ１９０が両目により実際に視線を向けている方向である。また、視線方向Ｎ０は、視界領域２３に対してユーザ１９０が実際に視線を向けている方向に相当する。
【００７０】
別の局面において、ＨＭＤシステム１００は、ＨＭＤシステム１００を構成するいずれかのパーツに、マイクおよびスピーカを備えてもよい。ユーザは、マイクに発話することにより、仮想空間２に対して、音声による指示を与えることができる。
【００７１】
また、別の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間２においてテレビ番組を表示することができる。
【００７２】
さらに別の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
【００７３】
［視界領域］
図８および図９を参照して、視界領域２３について説明する。図８は、仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を表す図である。図９は、仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を表す図である。
【００７４】
図８に示されるように、ＹＺ断面における視界領域２３は、領域２４を含む。領域２４は、仮想カメラ１の基準視線５と仮想空間２のＹＺ断面とによって定義される。プロセッサ１０は、仮想空間おける基準視線５を中心として極角αを含む範囲を、領域２４として規定する。
【００７５】
図９に示されるように、ＸＺ断面における視界領域２３は、領域２５を含む。領域２５は、基準視線５と仮想空間２のＸＺ断面とによって定義される。プロセッサ１０は、仮想空間２における基準視線５を中心とした方位角βを含む範囲を、領域２５として規定する。
【００７６】
ある局面において、ＨＭＤシステム１００は、コンピュータ２００からの信号に基づいて、視界画像２６をモニタ１１２に表示させることにより、ユーザ１９０に仮想空間を提供する。視界画像２６は、仮想空間画像２２のうち視界領域２３に重畳する部分に相当する。ユーザ１９０が、頭に装着したＨＭＤ１１０を動かすと、その動きに連動して仮想カメラ１も動く。その結果、仮想空間２における視界領域２３の位置が変化する。これにより、モニタ１１２に表示される視界画像２６は、仮想空間画像２２のうち、仮想空間２においてユーザが向いた方向の視界領域２３に重畳する画像に更新される。ユーザは、仮想空間２における所望の方向を視認することができる。
【００７７】
ユーザ１９０は、ＨＭＤ１１０を装着している間、現実世界を視認することなく、仮想空間２に展開される仮想空間画像２２のみを視認できる。そのため、ＨＭＤシステム１００は、仮想空間２への高い没入感覚をユーザに与えることができる。
【００７８】
ある局面において、プロセッサ１０は、ＨＭＤ１１０を装着したユーザ１９０の現実空間における移動に連動して、仮想空間２において仮想カメラ１を移動し得る。この場合、プロセッサ１０は、仮想空間２における仮想カメラ１の位置および向きに基づいて、ＨＭＤ１１０のモニタ１１２に投影される画像領域（すなわち、仮想空間２における視界領域２３）を特定する。
【００７９】
ある実施の形態に従うと、仮想カメラ１は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ１９０が３次元の仮想空間２を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ１が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向（ｗ）がＨＭＤ１１０のロール方向（ｗ）に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
【００８０】
［コントローラ］
図１０を参照して、コントローラ１６０の一例について説明する。図１０は、ある実施の形態に従うコントローラ１６０の概略構成を表す図である。ある局面において、コントローラ１６０は、右コントローラ８００と左コントローラとを含み得る。右コントローラ８００は、ユーザ１９０の右手で操作される。左コントローラは、ユーザ１９０の左手で操作される。ある局面において、右コントローラ８００と左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ１９０は、右コントローラ８００を把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ１６０は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ８００について説明する。
【００８１】
右コントローラ８００は、グリップ３０と、フレーム３１と、天面３２とを備える。グリップ３０は、ユーザ１９０の右手によって把持されるように構成されている。例えば、グリップ３０は、ユーザ１９０の右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。
【００８２】
グリップ３０は、ボタン３３，３４と、モーションセンサ１３０とを含む。ボタン３３は、グリップ３０の側面に配置され、右手の中指による操作を受け付ける。ボタン３４は、グリップ３０の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン３３，３４は、トリガー式のボタンとして構成される。モーションセンサ１３０は、グリップ３０の筐体に内蔵されている。なお、ユーザ１９０の動作がカメラその他の装置によってユーザ１９０の周りから検出可能である場合には、グリップ３０は、モーションセンサ１３０を備えなくてもよい。
【００８３】
フレーム３１は、その円周方向に沿って配置された複数の赤外線ＬＥＤ３５を含む。赤外線ＬＥＤ３５は、コントローラ１６０を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線ＬＥＤ３５から発せられた赤外線は、右コントローラ８００と左コントローラ（図示しない）との各位置や姿勢（傾き、向き）を検出するために使用され得る。図８に示される例では、二列に配置された赤外線ＬＥＤ３５が示されているが、配列の数は図８に示されるものに限られない。一列あるいは３列以上の配列が使用されてもよい。
【００８４】
天面３２は、ボタン３６，３７と、アナログスティック３８とを備える。ボタン３６，３７は、プッシュ式ボタンとして構成される。ボタン３６，３７は、ユーザ１９０の右手の親指による操作を受け付ける。アナログスティック３８は、ある局面において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間２に配置されるオブジェクトを移動するための操作を含む。
【００８５】
ある局面において、右コントローラ８００および左コントローラは、赤外線ＬＥＤ３５その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、右コントローラ８００と左コントローラは、例えば、コンピュータ２００のＵＳＢインターフェイスに接続され得る。この場合、右コントローラ８００および左コントローラは、電池を必要としない。
【００８６】
図１１は、右コントローラ８００を把持するユーザ１９０の右手に対応して仮想空間に配置されるハンドオブジェクト８１０の一例を示す。例えば、ユーザ１９０の右手に対応するハンドオブジェクト８１０に対して、ヨー、ロール、ピッチの各方向が規定される。例えば、入力操作が、右コントローラ８００のボタン３４に対して行なわれると、ハンドオブジェクト８１０の人差し指を握りこんだ状態とし、入力操作がボタン３４に対して行なわれていない場合には、ハンドオブジェクト８１０の人差し指を伸ばした状態とすることもできる。例えば、ハンドオブジェクト８１０において親指と人差し指とが伸びている場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向としてハンドオブジェクト８１０に規定される。
【００８７】
［ＨＭＤ１１０の制御装置］
図１２を参照して、ＨＭＤ１１０の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図１２は、ある実施の形態に従うコンピュータ２００をモジュール構成として表わすブロック図である。以下では、サーバコンピュータ２０によるコメントの付加機能がコンピュータ２００によって実現される場合を説明する。別の局面において、この付加機能は、サーバ１５０によって実現されてもよい。
【００８８】
図１２に示されるように、コンピュータ２００は、表示制御モジュール２２０と、仮想空間制御モジュール２３０と、メモリモジュール２４０と、通信制御モジュール２５０とを備える。表示制御モジュール２２０は、サブモジュールとして、仮想カメラ制御モジュール２２１と、視界領域決定モジュール２２２と、視界画像生成モジュール２２３と、基準視線特定モジュール２２４と、コメント付加モジュール２２５とを含む。仮想空間制御モジュール２３０は、サブモジュールとして、仮想空間定義モジュール２３１と、仮想オブジェクト生成モジュール２３２と、コントローラ管理モジュール２３３とを含む。
【００８９】
ある実施の形態において、表示制御モジュール２２０と仮想空間制御モジュール２３０とは、プロセッサ１０によって実現される。別の実施の形態において、複数のプロセッサ１０が表示制御モジュール２２０と仮想空間制御モジュール２３０として作動してもよい。メモリモジュール２４０は、メモリ１１またはストレージ１２によって実現される。通信制御モジュール２５０は、通信インターフェイス１４によって実現される。
【００９０】
ある局面において、表示制御モジュール２２０は、ＨＭＤ１１０のモニタ１１２における画像表示を制御する。仮想カメラ制御モジュール２２１は、仮想空間２に仮想カメラ１を配置し、仮想カメラ１の挙動、向き等を制御する。視界領域決定モジュール２２２は、ＨＭＤ１１０を装着したユーザの頭の向きに応じて、視界領域２３を規定する。視界画像生成モジュール２２３は、決定された視界領域２３に基づいて、モニタ１１２に表示される視界画像２６を生成する。
【００９１】
基準視線特定モジュール２２４は、注視センサ１４０からの信号に基づいて、ユーザ１９０の視線を特定する。コメント付加モジュール２２５は、サーバ１５０を介して受信したコメントを、視界画像生成モジュール２２３によって生成された視界画像にオーバーラップさせる。
【００９２】
仮想空間制御モジュール２３０は、ユーザ１９０に提供される仮想空間２を制御する。仮想空間定義モジュール２３１は、仮想空間２を表わす仮想空間データを生成することにより、ＨＭＤシステム１００における仮想空間２を規定する。仮想オブジェクト生成モジュール２３２は、仮想空間２に配置される対象物を生成する。対象物は、例えば、山、木その他の背景を構成するオブジェクト、コンピュータ２００によって実現されるプログラムを構成するストーリーに従って提示される動物のオブジェクト（例えば、馬オブジェクト１０１）、動物のオブジェクトを捕まえるためのオブジェクト（例えば、ロープオブジェクト１０２）を含む。
【００９３】
コントローラ管理モジュール２３３は、仮想空間２においてユーザ１９０の動作を受け付けて、その動作に応じてコントローラオブジェクトを制御する。ある実施の形態に従うコントローラオブジェクトは、仮想空間２に配置される他のオブジェクトに対して命令を与えるコントローラとして機能する。ある局面において、コントローラ管理モジュール２３３は、仮想空間２において制御を受け付けるコントローラオブジェクトを仮想空間２に配置するためのデータを生成する。ＨＭＤ１１０がこのデータを受信すると、モニタ１１２は、コントローラオブジェクトを表示し得る。
【００９４】
メモリモジュール２４０は、コンピュータ２００が仮想空間２をユーザ１９０に提供するために使用されるデータを保持している。ある局面において、メモリモジュール２４０は、空間情報２４１と、ユーザ情報２４２と、コンテンツ２４３と、コメント２４４とを保持している。
【００９５】
空間情報２４１は、仮想空間２を提供するために規定された１つ以上のテンプレートを保持している。ユーザ情報２４２は、ＨＭＤ１１０のユーザ１９０の識別情報、ユーザ１９０に関連付けられている権限等を含む。当該権限は、例えば、アプリケーションを提供するウェブサイトにアクセスするためのアカウント情報（ユーザＩＤ、パスワード）等を含む。コンテンツ２４３は、例えば、ＨＭＤ１１０によって提示されるコンテンツを含む。コメント２４４は、ユーザ端末２０１Ａ・・・２０１Ｎのいずれかによって入力されたコメントである。
【００９６】
通信制御モジュール２５０は、ネットワーク１９を介して、サーバ１５０その他の情報通信装置と通信し得る。通信制御モジュール２５０は、無線および有線のいずれであってもよい。
【００９７】
ある局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、例えば、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。別の局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、各処理を実現する回路素子の組み合わせとしても実現され得る。
【００９８】
コンピュータ２００における処理は、ハードウェアと、プロセッサ１０により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール２４０に予め格納されている場合がある。また、ソフトウェアは、ＣＤ−ＲＯＭその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール２５０を介してサーバ１５０その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ１０によって記憶モジュールから読み出され、実行可能なプログラムの形式でＲＡＭに格納される。プロセッサ１０は、そのプログラムを実行する。
【００９９】
コンピュータ２００を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、コンピュータ２００に格納されたプログラムであるともいえる。なお、コンピュータ２００のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【０１００】
なお、データ記録媒体としては、ＣＤ−ＲＯＭ、ＦＤ（Flexible  Disk）、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic  Optical  Disc）／ＭＤ（Mini  Disc）／ＤＶＤ（Digital  Versatile  Disc））、ＩＣ（Integrated  Circuit）カード（メモリカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Electronically  Programmable  Read-Only  Memory）、ＥＥＰＲＯＭ（Electronically  Erasable  Programmable  Read-Only  Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。
【０１０１】
ここでいうプログラムとは、プロセッサ１０により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含み得る。
【０１０２】
［サーバコンピュータの構成］
図１３を参照して、サーバコンピュータ２０の構成についてさらに説明する。図１３は、ある局面にしたがってサーバコンピュータ２０により実現される機能の構成を表わすブロック図である。サーバコンピュータ２０は、記憶部１３１０と、信号受信部１３２０と、映像信号加工部１３３０と、映像信号送信部１３４０と、コメント受信部１３５０と、画像生成部１３６０と、画像送信部１３７０とを備える。
【０１０３】
記憶部１３１０は、サーバコンピュータ２０に入力されるデータやプログラムを保持する。例えば、記憶部１３１０は、ＨＭＤ１１０から送信されたデータ、ユーザ端末２０１Ａ，２０１Ｂ，２０１Ｎのいずれかによって入力されたコメント、ＨＭＤ１１０に表示されているコンテンツの配信先を保持する。記憶部１３１０は、メモリモジュール２４０として、例えば、フラッシュメモリ、ハードディスク装置その他の不揮発性メモリと、ＲＡＭのような揮発性メモリとによって実現され得る。
【０１０４】
信号受信部１３２０は、ＨＭＤ１１０またはコンピュータ２００から送信された映像信号を受信する。信号受信部１３２０は、通信制御モジュール２５０として実現される。
【０１０５】
映像信号加工部１３３０は、信号受信部１３２０によって受信された映像信号の形式をユーザ端末２０１Ａ，２０１Ｂ，２０１Ｎにおける表示に適合した形式の信号に変換する。例えば、ＨＭＤ１１０において三次元画像を表示するための映像信号は、各ユーザ端末２０１において二次元画像を表示するための映像信号に変換される。映像信号加工部１３３０は、表示制御モジュール２２０によって実現される。
【０１０６】
映像信号送信部１３４０は、配信先として記憶部１３１０に登録されているユーザ端末２０１に対して、映像信号加工部１３３０によって生成された映像信号を送信する。ユーザ端末２０１がその映像信号に基づく画像を表示すると、ユーザ端末２０１のユーザは、ＨＭＤ１１０を装着したユーザ１９０が視認している画像を認識できる。ユーザ端末２０１のユーザが画像に対するコメントを入力して送信操作を行なうと、そのコメントはサーバコンピュータ２０に送信される。このとき、コメントが表示される場所を指定する位置情報もサーバコンピュータ２０に送信される。映像信号送信部１３４０は、通信制御モジュール２５０によって実現される。
【０１０７】
コメント受信部１３５０は、ユーザ端末２０１から送信されたコメントと位置情報とを受信する。コメント受信部１３５０は、例えば、通信制御モジュール２５０によって実現される。受信されたコメントおよび位置情報は、記憶部１３１０に保存される。
【０１０８】
画像生成部１３６０は、記憶部１３１０に保存されているコメントおよび位置情報を用いて、ＨＭＤ１１０に提示されるコメント画像を生成する。例えば、ＨＭＤ１１０の向きや位置に関わらずコメントが視界画像の領域の同じ場所に表示されるように、画像生成部１３６０は、コメントの画像を生成する。画像生成部１３６０は、例えば、表示制御モジュール２２０によって、視界画像生成モジュール２２３およびコメント付加モジュール２２５として、実現され得る。
【０１０９】
画像送信部１３７０は、画像生成部１３６０によって生成されたコメント画像をＨＭＤ１１０に送信する。ＨＭＤ１１０は、コンテンツの画像とコメント画像とがオーバーラップした画像を視認できる。このとき、コメント画像の位置は、ＨＭＤ１１０の位置や向きに関わらず予め定めれた一定場所に定められている。
【０１１０】
図１４を参照して、サーバコンピュータ２０のデータ構造について説明する。図１４は、記憶部１３１０におけるデータの格納の一態様を概念的に表す図である。記憶部１３１０は、テーブル１４１０，１４２０，１４３０を保持している。テーブル１４１０は、ユーザＩＤ１４１１と、ユーザ名１４１２と、パスワード１４１３と、最終ログイン日時１４１４とを含む。テーブル１４２０は、ユーザＩＤ１４２１とステータス１４２２とを含む。テーブル１４３０は、ユーザＩＤ１４３１と、コメント日時１４３２と、位置１４３３と、コメント１４３４と、フレーム番号１４３５とを含む。
【０１１１】
テーブル１４１０は、あるコンテンツを共有しているユーザの情報を管理する。より具体的には、ユーザＩＤ１４１１は、配信サイトに登録されているユーザの識別データを表わす。ユーザ名１４１２は、当該ユーザの名前を表わす。パスワード１４１３は、ログインのために必要なパスワードを表わす。最終ログイン日時１４１４は、前回当該ユーザがログインしたに日時を表わす。
【０１１２】
テーブル１４２０は、当該コンテンツに対するユーザの状態を管理する。より具体的には、ユーザＩＤ１４２１は、現在ログインしているユーザの識別データを表わす。ステータス１４２２は、当該ユーザの現在の状態、例えば、コンテンツをプレイしているか否か、当該コンテンツを単に視聴しているか否かを表わす。
【０１１３】
テーブル１４３０は、各ユーザによって入力されたコメントを管理する。より具体的には、ユーザＩＤ１４３１は、コメントを書き込んだユーザを識別する。コメント日時１４３２は、当該コメントが書き込まれた日時を表わす。位置１４３３は、当該コメントが表示される位置を表わす。コメント１４３４は、コメントの内容を表わす。フレーム番号１４３５は、コンテンツを構成するフレームの番号である。フレーム番号１４３５は、コメントが書き込まれた、コンテンツにおける位置情報を表わす。別の局面において、フレーム番号１４３５の代わりに、コンテンツの再生位置を特定する時間情報が当該位置情報として保存されてもよい。当該コンテンツの再生が終了した後に、別の日時に、同じコンテンツの再生が指定された場合に、サーバコンピュータ２０のプロセッサは、テーブル１４３０を参照することにより、そのコンテンツに対して書き込まれたコメントを読み出して、コンテンツと共にコメントを視聴者に提示できる。
【０１１４】
［制御構造］
図１５を参照して、サーバコンピュータ２０の制御構造について説明する。図１５は、サーバコンピュータ２０がコンピュータ２００によって実現される場合に実行される処理の一部を表わすフローチャートである。
【０１１５】
ステップＳ１５１０にて、プロセッサ１０は、通信制御モジュール２５０を介して、動画の配信サイトを提供するサーバ１５０にアクセスし、ログイン情報をサーバ１５０に送信する。
【０１１６】
ステップＳ１５１５にて、プロセッサ１０は、通信制御モジュール２５０を介して、ユーザ１９０によって選択されたコンテンツ（例えば、３６０度動画、ゲームアプリケーション、チャットアプリケーション）の配信要求をサーバ１５０に送信する。サーバ１５０は、その要求に応答して、当該コンテンツを２０に送信する。
【０１１７】
ステップＳ１５２０にて、プロセッサ１０は、通信制御モジュール２５０を介して、動画を表示するための映像信号をサーバ１５０から受信する。
【０１１８】
ステップＳ１５２５にて、プロセッサ１０は、視界画像生成モジュール２２３として、映像信号に基づく視界画像を仮想空間に提示するためのデータ（コンテンツ画像データ）を生成する。
【０１１９】
ステップＳ１５３０にて、プロセッサ１０は、コンテンツ画像データをＨＭＤ１１０に送信する。
【０１２０】
ステップＳ１５３５にて、プロセッサ１０は、コントローラ１６０からの信号に基づいて、ユーザ１９０の操作に応じた信号を受信したことを検知する。
【０１２１】
ステップＳ１５４０にて、プロセッサ１０は、視界画像生成モジュール２２３として、操作に応じたコンテンツ画像データを生成し、生成したコンテンツ画像データをサーバ１５０を介して他ユーザのユーザ端末（たとえば、ユーザ端末２０１Ａ，２０１Ｂ・・・２０１Ｎ）等に送信する。
【０１２２】
ステップＳ１５４５にて、プロセッサ１０は、通信制御モジュール２５０を介して、他ユーザに入力されたコメントとコメントを表示する位置情報とをサーバ１５０から受信する。
【０１２３】
ステップＳ１５５０にて、プロセッサ１０は、コメントをＨＭＤ１１０に表示するためのデータ（コメント画像データ）を生成する。ある局面において、プロセッサ１０は、ＨＭＤ１１０に提示される仮想空間を表示するためのアプリケーションに基づく画像データとは別に、当該コメントをＨＭＤ１１０に表示するためのデータを生成する。
【０１２４】
ステップＳ１５５５にて、プロセッサ１０は、コメント付加モジュール２２５として、コンテンツ画像データとコメント画像データとを用いて、コンテンツとコメントとがオーバーラップされた視界画像データを生成する。
【０１２５】
ステップＳ１５６０にて、プロセッサ１０は、視界画像データをＨＭＤ１１０に出力する。ユーザ１９０は、モニタ１１２に表示されたコメントを認識し得る。
【０１２６】
図１６を参照して、別の局面におけるサーバコンピュータ２０の制御構造について説明する。図１６は、サーバコンピュータ２０がサーバ１５０によって実現される場合に実行される処理の一部を表わすフローチャートである。
【０１２７】
ステップＳ１６１０にて、サーバ１５０のプロセッサ１５１は、コンピュータ２００から送られる信号に基づいて、ＨＭＤ１１０を装着したユーザ１９０のログインを検知し、受信した信号に含まれるユーザＩＤおよびパスワードと、登録情報として予め保持しているユーザＩＤおよびパスワードとを用いて、認証処理を実行する。
【０１２８】
ステップＳ１６２０にて、サーバ１５０のプロセッサ１５１は、ユーザ１９０に指定されたアプリケーションプログラムを記憶装置からＲＡＭにロードする。プロセッサ１５１は、そのロードしたアプリケーションプログラムを実行し、その実行に基づく映像信号をコンピュータ２００に送信する。ＨＭＤ１１０は、その映像信号に基づき仮想空間２にコンテンツを表示する。ユーザ１９０は、そのコンテンツを見ながらコントローラ１６０を操作し得る。捜査情報は、コントローラ１６０からコンピュータ２００に送られ、コンテンツの表示が変わる。
【０１２９】
ステップＳ１６３０にて、サーバ１５０のプロセッサ１５１は、当該ユーザの操作に基づき画像を表示するための映像信号をコンピュータ２００から受信する。
【０１３０】
ステップＳ１６４０にて、サーバ１５０のプロセッサ１５１は、ユーザ端末２０１Ａ等から受信した信号に基づいて、他ユーザによるログインを検知し、ユーザＩＤおよびパスワードを用いて認証処理を実行する。予め登録されている正規のユーザによるログイン要求であることが確認されると、サーバ１５０は、当該ユーザ端末２０１Ａ等によるアクセスを受け付ける。
【０１３１】
ステップＳ１６５０にて、サーバ１５０のプロセッサ１５１は、三次元画像として視認される画像を二次元表示用の画像に変換して、変換により生成された映像信号を他ユーザのユーザ端末２０１Ａ等に送信する。ユーザ端末２０１Ａは、そのモニタに、ユーザ１９０が視聴しているコンテンツと同じコンテンツを表示するので、当該他ユーザもそのコンテンツを楽しむことができる。他ユーザは、そのコンテンツを見ながら、ユーザ１９０に対するコメントを入力装置を用いて入力できる。入力されたコメントは、位置情報と共に、サーバ１５０に送信される。
【０１３２】
ステップＳ１６６０にて、サーバ１５０のプロセッサ１５１は、他ユーザのユーザ端末２０１Ａ，２０１Ｂ・・・２０１Ｎのいずれかからのコメントを受信する。
【０１３３】
ステップＳ１６７０にて、サーバ１５０のプロセッサ１５１は、コメントを視界画像として表示するための映像信号を生成し、生成した映像信号をＨＭＤ１１０を装着したユーザ１９０のコンピュータ２００に送信する。ＨＭＤ１１０のモニタ１１２は、コンテンツの画像にオーバーラップされたコメントを表示し得る。
【０１３４】
図１７を参照して、他ユーザの端末の制御構造について説明する。図１７は、他ユーザのユーザ端末２０１Ａによって実行される処理の一部を表わすフローチャートである。
【０１３５】
ステップＳ１７１０にて、プロセッサ２１１は、他ユーザの操作に基づいて、モニタ２１２に表示されている配信サイトにログインする。ステップＳ１７２０にて、プロセッサ２１１は、他ユーザの操作に基づいて、配信を希望するコンテンツの選択を受け付ける。例えば、他ユーザは、ユーザ１９０が視聴しているコンテンツを選択し得る。ステップＳ１７３０にて、プロセッサ２１１は、コンテンツの配信要求をサーバ１５０に送信する。
【０１３６】
ステップＳ１７４０にて、プロセッサ２１１は、サーバ１５０から映像信号を受信し、その信号に基づく映像をモニタ２１２に表示する。ステップＳ１７５０にて、プロセッサ２１１は、マウス、キーボード、タッチパネル等の入力インターフェイスを介して、映像に対するコメントの入力を受け付ける。
【０１３７】
ステップＳ１７６０にて、プロセッサ２１１は、コメントをサーバ１５０に送信する。サーバ１５０が、このコメントをＨＭＤ１１０が接続されたコンピュータ２００に送信すると、コメントは、モニタ１１２に表示される。
【０１３８】
図１８を参照して、ユーザ端末２０１Ａにおける画面の表示態様について説明する。図１８は、ユーザ端末２０１Ａのモニタ２１２に表示される画面の一例を表わす図である。ある局面において、モニタ２１２は、ユーザ１９０が装着しているＨＭＤ１１０のモニタ１１２に表示されるコンテンツと同じコンテンツを表示する。さらに、モニタ２１２は、プレイ中のユーザがユーザ１９０（＝ユーザ０００１）であることを表わす画像１８１０と、コメントその送信を促す画像１８２０とを表示する。画像１８１０と画像１８２０とは、例えば、ポップアップ画像である。
【０１３９】
例えば、ユーザ端末２０１Ａが、モニタ１１２に表示されているコンテンツの表示を開始すると、モニタ２１２は、予め定められた時間、画像１８１０を表示する。別の局面において、ユーザ１９０がコントローラ１６０を操作すると、その操作に応答して、画像１８１０が表示される。この場合、ユーザ端末２０１Ａを使用する他ユーザは、当該操作に応答してシーンが移り変わると、プレイ中のユーザを知ることができる。
【０１４０】
画像１８２０は、ある局面において、予め定められた時間ごとに表示される。別の局面において、画像１８２０は、画像１８１０と同様に、ユーザ１９０が何らかの操作を行なったタイミングに応答して表示される。この場合、他ユーザは、ユーザ１９０の操作に対するコメントの入力タイミングを逸しにくくなるので、例えば図１に示されるように、他ユーザのコメントも速やかにモニタ１１２に表示される。その結果、ユーザ１９０もタイムリーなコメントを視認しやすくなる。
【０１４１】
図１９を参照して、モニタ１１２におけるコンテンツおよびコメントの表示について説明する。図１９は、モニタ１１２に画像を表示するためのデータの生成の流れを概念的に表す図である。
【０１４２】
状態Ａに示されるように、ある局面において、メモリ１１は、一部のワーク領域に、モニタ１１２にコンテンツを表示するための描画データ１９１０を保持している。コンテンツは、馬オブジェクト１０１およびロープオブジェクト１０２を含む。
【０１４３】
状態Ｂに示されるように、メモリ１１は、上記ワーク領域とは異なる別のワーク領域に、他ユーザによって入力されたコメント１９２１を表示するための描画データ１９２０を保持している。描画データ１９２０は、コメント１９２１がコンピュータ２００において受信された後に生成される。なお、コメント１９２１が表示される場所は、ＨＭＤ１１０の向きや姿勢に関わらず、モニタ１１２の一定の場所に維持される。したがって、例えば、馬オブジェクト１０１が仮想空間２において移動することにより、視線方向（仮想カメラ１の方向）が動いた場合であっても、コメント１９２１は、モニタ１１２の一定位置に表示されることになる。このような表示のための位置関係は、例えば、モニタ１１２の表示領域を絶対位置の座標値とし、コメント１９２１の表示場所を、当該絶対位置の座標値に関連付けて規定することで維持される。
【０１４４】
状態Ｃに示されるように、メモリ１１は、さらに別のワーク領域に、描画データ１９３０を保持する。描画データ１９３０は、描画データ１９１０と描画データ１９２０とを構成することにより生成される。プロセッサ１０は、描画データ１９３０をＨＭＤ１１０に送信すると、モニタ１１２は、図１の状態Ａに示されるような画像を表示する。その他の画像についても同様に、コメントが表示される（図１の状態Ｂ、状態Ｃ）。
【０１４５】
図２０を参照して、ユーザ端末２０１における画面の表示態様について説明する。図２０は、ユーザ１９０によって入力されたコメントが他ユーザのユーザ端末２０１のモニタ２１２に表示される画面の一態様を表わす図である。モニタ２１２は、ＨＭＤ１１０のモニタ１１２に表示されている仮想空間の画像に加えて、画像２０１０と、画像２０２０とを表示する。画像２０１０は、プレイしているユーザ１９０を表わす。画像２０２０は、ユーザ１９０によって入力されたコメントを表わす。例えば、ユーザ１９０がコンテンツを楽しんだ後に応答コメントを入力すると、当該応答コメントは、ユーザ１９０に対してコメントを送った他ユーザに送信される。このように、他ユーザとユーザ１９０との間でコメントが互いに送られることにより、ユーザ１９０と他ユーザとの対話が促進され得る。
【０１４６】
以上より、本開示に係る技術的特徴は、以下のように要約され得る。
（第１構成）  仮想空間２を提供するＨＭＤ１１０における表示を制御するためにサーバコンピュータ２０で実行される方法は、ＨＭＤ１１０のユーザ１９０の操作に応じた映像を表示するための映像信号をＨＭＤ１１０に送信するステップと、サーバコンピュータ２０と通信可能に接続されている一つ以上のユーザ端末２０１Ａ，２０１Ｂ，２０１Ｎ等に映像信号を送信するステップと、映像信号に基づいて一つ以上のユーザ端末２０１Ａ，２０１Ｂ，２０１Ｎ等に表示される映像に対して与えられる視聴者応答（例えば、コメント１０３，１０４，１０５，１０６等）を一つ以上のユーザ端末２０１Ａ，２０１Ｂ，２０１Ｎ等から受信するステップと、ＨＭＤ１１０のモニタ１１２に視聴者応答を提示させるステップとを含む。
【０１４７】
（第２構成）  上記の構成に加えて、一つ以上のユーザ端末２０１Ａ，２０１Ｂ，２０１Ｎ等に映像信号を送信するステップは、一つ以上のユーザ端末２０１Ａ，２０１Ｂ，２０１Ｎ等に二次元の画像を表示するための信号を送信することを含む。
【０１４８】
（第３構成）  上記の構成に加えて、視聴者応答を一つ以上のユーザ端末２０１Ａ，２０１Ｂ，２０１Ｎ等から受信するステップは、仮想空間２において視聴者応答が提示される場所を指定する位置情報を受信するステップを含む。
【０１４９】
（第４構成）  上記の構成に加えて、視聴者応答を一つ以上のユーザ端末２０１Ａ，２０１Ｂ，２０１Ｎ等から受信するステップは、複数のユーザ端末２０１Ａ，２０１Ｂ，２０１Ｎ等の各々から視聴者応答を受信することを含む。位置情報を受信するステップは、各ユーザ端末２０１Ａ，２０１Ｂ，２０１Ｎ等の位置情報をそれぞれ受信することを含む。モニタ１１２に視聴者応答を提示させるステップは、各位置情報が同じ位置を示している場合に各視聴者応答を互いにずらして提示させることを含む。
【０１５０】
（第５構成）  上記のいずれかの構成に加えて、視聴者応答を一つ以上のユーザ端末２０１Ａ，２０１Ｂ，２０１Ｎ等から受信するステップは、複数の視聴者応答を一つ以上のユーザ端末２０１Ａ，２０１Ｂ，２０１Ｎ等から受信することを含む。視聴者応答を提示させるステップは、複数の視聴者応答のうちのいずれかの視聴者応答を他の視聴者応答にオーバーレイ表示することを含む。
【０１５１】
（第６構成）上記方法は、上記のいずれかの構成に加えて、仮想空間２に提示された視聴者応答に対してユーザによって入力されるユーザ応答をサーバコンピュータ２０から受信するステップと、ユーザ応答を表示するための信号を一つ以上のユーザ端末２０１Ａ，２０１Ｂ，２０１Ｎ等に送信するステップとをさらに含む。
【０１５２】
（第７構成）  上記方法は、上記のいずれかの構成に加えて、仮想空間２に提示された視聴者応答を消去するステップをさらに含む。
【０１５３】
（第８構成）  上記のいずれかの構成に加えて、視聴者応答を消去するステップは、仮想空間２に提示される画像の変化に応じてコメントを消去するステップを含む。
【０１５４】
（第９構成）  上記方法は、上記のいずれかの構成に加えて、映像信号と視聴者応答とを関連付けて記憶装置に保存するステップをさらに含む。
【０１５５】
（第１０構成）  上記方法は、上記の第９構成に加えて、映像信号に基づく映像を再生するステップと、映像の再生に応じて、当該映像信号に関連付けられた視聴者応答を仮想空間２に提示させるステップとをさらに含む。
【０１５６】
（第１１構成）  上記方法は、上記のいずれかの構成に加えて、ＨＭＤ１１０のユーザ１９０の動きを検出するステップと、動きに連動して、仮想空間２の視界画像をモニタ１１２に提示させるステップをさらに含む。視聴者応答を提示させるステップは、動きに連動することなく視聴者応答を提示させることを含む。
【０１５７】
以上のようにして、本開示に係る技術によれば、実況者であるユーザ１９０によって他のユーザ端末２０１に提供される映像に対して、ユーザ端末２０１のユーザ（視聴者）がコメントを入力すると、ユーザ１９０のＨＭＤ１１０が表示する映像内にそのコメントが表示される。例えば、表示領域の端部に、あるいは、仮想空間２に提示されるオブジェクトの向こう側に表示される。あるいは、コメントは、ポップアップ表示され得る。別の局面では、コメントは、ゲームその他のコンテンツの画面の上にオーバーレイ表示され得る。このようにコメントが表示されると、ユーザ１９０は、その没入感を阻害されることなく、コメントを確認できる。
【０１５８】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【０１５９】
本開示に係る技術的特徴は、ＨＭＤを用いて仮想空間を提供する技術に適用可能である。
【符号の説明】
【０１６０】
１  仮想カメラ、２  仮想空間、５  基準視線、１０，１５１，２１１  プロセッサ、１１，１５２  メモリ、１２  ストレージ、１３  入出力インターフェイス、１４，１５３  通信インターフェイス、１５  バス、１９  ネットワーク、２０  サーバコンピュータ、２１  中心、２２  仮想空間画像、２３  視界領域、２４，２５  領域、２６  視界画像、３０  グリップ、３１  フレーム、３２  天面、３３，３４，３６，３７  ボタン、３８  アナログスティック、１００  システム、１０１  馬オブジェクト、１０２  ロープオブジェクト、１０３，１０４，１０５，１０６，２４４，１４３４，１９２１  コメント、１１２，２１２  モニタ、１１４，１２０  センサ、１３０  モーションセンサ、１４０  注視センサ、１５０  サーバ、１６０  コントローラ、２００  コンピュータ、２０１，２０１Ａ，２０１Ｂ，２０１Ｎ  ユーザ端末。
【図１】
2018207517.tif 000003
【図２】
2018207517.tif 000004
【図３】
2018207517.tif 000005
【図４】
2018207517.tif 000006
【図５】
2018207517.tif 000007
【図６】
2018207517.tif 000008
【図７】
2018207517.tif 000009
【図８】
2018207517.tif 000010
【図９】
2018207517.tif 000011
【図１０】
2018207517.tif 000012
【図１１】
2018207517.tif 000013
【図１２】
2018207517.tif 000014
【図１３】
2018207517.tif 000015
【図１４】
2018207517.tif 000016
【図１５】
2018207517.tif 000017
【図１６】
2018207517.tif 000018
【図１７】
2018207517.tif 000019
【図１８】
2018207517.tif 000020
【図１９】
2018207517.tif 000021
【図２０】
2018207517.tif 000022