(57)【要約】【課題】情報処理装置、情報処理方法、及びプログラムを提供する。【解決手段】仮想空間における第１のユーザの位置を基準として前記仮想空間に配置された背景画像、及び前記仮想空間における前記第１のユーザと第２のユーザとの間の相対位置関係を維持するように前記仮想空間に配置された前記第２のユーザに関するオブジェクトに基づいて、前記第１のユーザ用の表示を制御する表示制御部を備える、情報処理装置。【選択図】図６
2018216355.tif 000002
【特許請求の範囲】
【請求項１】
仮想空間における第１のユーザの位置を基準として前記仮想空間に配置された背景画像、及び前記仮想空間における前記第１のユーザと第２のユーザとの間の相対位置関係を維持するように前記仮想空間に配置された前記第２のユーザに関するオブジェクトに基づいて、前記第１のユーザ用の表示を制御する表示制御部を備える、情報処理装置。
【請求項２】
前記表示制御部は、前記仮想空間における前記第１のユーザの位置に応じた位置に配置された視点で視界画像を生成し、前記視界画像を表示させる、請求項１に記載の情報処理装置。
【請求項３】
前記背景画像は、前記視点の位置が予め定められた好適視聴位置となるように配置される、請求項２に記載の情報処理装置。
【請求項４】
前記表示制御部は、前記第１のユーザの向きに応じて、前記視点の向きを制御する、請求項２に記載の情報処理装置。
【請求項５】
前記表示制御部は、前記第２のユーザにより発信されるメッセージを表示させる、請求項１に記載の情報処理装置。
【請求項６】
前記第２のユーザにより発信されるメッセージを音響出力させる音響出力制御部をさらに備える、請求項１に記載の情報処理装置。
【請求項７】
前記音響出力制御部は、前記第２のユーザに関するオブジェクトの位置から前記メッセージが聞こえるように音響出力を制御する、請求項６に記載の情報処理装置。
【請求項８】
前記表示制御部は、前記第２のユーザが前記第１のユーザに対して前記メッセージを発信した場合に、前記第２のユーザに関するオブジェクトが強調されるように前記表示を制御する、請求項５に記載の情報処理装置。
【請求項９】
前記表示制御部は、前記第１のユーザに関するオブジェクトにさらに基づいて、前記表示を制御する、請求項１に記載の情報処理装置。
【請求項１０】
前記表示制御部は、ユーザ情報に基づいて、当該ユーザ情報に対応したユーザに関するオブジェクトを制御する、請求項１に記載の情報処理装置。
【請求項１１】
前記ユーザ情報は、前記各ユーザの姿勢に関する姿勢情報を含み、
前記表示制御部は、前記姿勢情報に基づいて、当該姿勢情報に対応したユーザに関するオブジェクトの姿勢を制御する、請求項１０に記載の情報処理装置。
【請求項１２】
前記表示制御部は、前記第２のユーザの姿勢に関する前記姿勢情報が所定の条件を満たす場合に、前記仮想空間に配置された前記背景画像にさらに基づいて、前記第２のユーザに関するオブジェクトの姿勢を制御する、請求項１１に記載の情報処理装置。
【請求項１３】
前記表示制御部は、過去の前記ユーザ情報に基づくオブジェクトを表示させる、請求項１０に記載の情報処理装置。
【請求項１４】
前記表示制御部は、リアルタイムの前記ユーザ情報に基づくオブジェクトと、前記過去の前記ユーザ情報に基づくオブジェクトとが区別されるように、前記表示を制御する、請求項１３に記載の情報処理装置。
【請求項１５】
前記第１のユーザと第２のユーザとの間の前記相対位置関係は、前記過去の前記ユーザ情報に基づいて特定される、請求項１３に記載の情報処理装置。
【請求項１６】
前記第１のユーザと第２のユーザとの間の前記相対位置関係は、前記第１のユーザまたは前記第２のユーザの位置移動に応じて変化する、請求項１に記載の情報処理装置。
【請求項１７】
前記表示制御部は、前記仮想空間における所定の俯瞰位置に配置された視点で俯瞰画像を生成し、前記俯瞰画像を表示させる、請求項１に記載の情報処理装置。
【請求項１８】
前記表示制御部は、前記第１のユーザにより装着された装置の表示を制御する、請求項１に記載の情報処理装置。
【請求項１９】
仮想空間における第１のユーザの位置を基準として前記仮想空間に配置された背景画像、及び前記仮想空間における前記第１のユーザと第２のユーザとの間の相対位置関係を維持するように前記仮想空間に配置された前記第２のユーザに関するオブジェクトに基づいて、前記第１のユーザ用の表示をプロセッサが制御すること、を含む情報処理方法。
【請求項２０】
コンピュータに、
仮想空間における第１のユーザの位置を基準として前記仮想空間に配置された背景画像、及び前記仮想空間における前記第１のユーザと第２のユーザとの間の相対位置関係を維持するように前記仮想空間に配置された前記第２のユーザに関するオブジェクトに基づいて、前記第１のユーザ用の表示を制御する機能を実現させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、上下左右の全方位を撮像する全天球カメラ等により取得された所謂全天球画像（３６０度画像）の表示が行われている（例えば下記特許文献１）。ユーザはこのような画像を視聴することで、例えば、あたかも画像内の空間に自分自身が存在するかのような体験をすることが出来る。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１０５５９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような画像を、他のユーザと仮想的に共有しながら視聴するための技術が望まれていた。
【課題を解決するための手段】
【０００５】
本開示によれば、仮想空間における第１のユーザの位置を基準として前記仮想空間に配置された背景画像、及び前記仮想空間における前記第１のユーザと第２のユーザとの間の相対位置関係を維持するように前記仮想空間に配置された前記第２のユーザに関するオブジェクトに基づいて、前記第１のユーザ用の表示を制御する表示制御部を備える、情報処理装置が提供される。【０００６】
また、本開示によれば、仮想空間における第１のユーザの位置を基準として前記仮想空間に配置された背景画像、及び前記仮想空間における前記第１のユーザと第２のユーザとの間の相対位置関係を維持するように前記仮想空間に配置された前記第２のユーザに関するオブジェクトに基づいて、前記第１のユーザ用の表示を制御すること、を含む情報処理方法が提供される。【０００７】
また、本開示によれば、コンピュータに、仮想空間における第１のユーザの位置を基準として前記仮想空間に配置された背景画像、及び前記仮想空間における前記第１のユーザと第２のユーザとの間の相対位置関係を維持するように前記仮想空間に配置された前記第２のユーザに関するオブジェクトに基づいて、前記第１のユーザ用の表示を制御する機能を実現させるための、プログラムが提供される。
【発明の効果】
【０００８】
以上説明したように本開示によれば、他のユーザと仮想的に共有しながら画像を視聴することが可能である。【０００９】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１０】
【図１】ＨＭＤへの全天球画像の表示における視界領域の特定について説明するための説明図である。
【図２】複数のユーザで全天球画像を仮想的に共有しながら視聴する体験の例を説明するための説明図である。
【図３】全てのアバタと全ての仮想カメラを好適視聴位置に配置した例を説明するための説明図である。
【図４】本開示の一実施形態に係る情報処理システムの構成例を示すブロック図である。
【図５】相対位置管理座標系の具体例を示す説明図である。
【図６】同実施形態に係るＨＭＤ１の構成例を示すブロック図である。
【図７】同実施形態に係る仮想空間におけるアバタ、及び仮想ドーム状スクリーンの配置の一例を示す説明図である。
【図８】同実施形態に係る仮想空間におけるアバタ、及び仮想ドーム状スクリーンの配置の一例を示す説明図である。
【図９】図７に示した仮想カメラＶＣ１を視点として生成された視界画像Ｖ１の一例を示す説明図である。
【図１０】同実施形態に係るＨＭＤ１の動作例を示すフローチャート図である。
【図１１】変形例１を説明するための説明図である。
【図１２】変形例１を説明するための説明図である。
【図１３】変形例１を説明するための説明図である。
【図１４】変形例１を説明するための説明図である。
【図１５】変形例１を説明するための説明図である。
【図１６】変形例２において設定される仮想空間を示す説明図である。
【図１７】変形例３において表示部１７に表示される俯瞰画像Ｖ２の例を示す説明図である。
【図１８】ハードウェア構成例を示す説明図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１３】
なお、説明は以下の順序で行うものとする。
＜＜１．背景＞＞
＜＜２．構成＞＞
＜２−１．全体構成＞
＜２−２．ＨＭＤの構成＞
＜＜３．動作＞＞
＜＜４．変形例＞＞
＜４−１．変形例１＞
＜４−２．変形例２＞
＜４−３．変形例３＞
＜＜５．ハードウェア構成例＞＞
＜＜６．むすび＞＞
【００１４】
＜＜１．背景＞＞
本開示の一実施形態に係る情報処理システムについて説明する前に、まず本実施形態による情報処理システムの創作に至った背景を説明する。
【００１５】
近年、上下左右の全方位を撮像する全天球カメラ等により取得された全天球画像を表示することが行われている。なお、本明細書において、画像とは静止画像に限定されず、動画像を含んだ表現として用いられる。また、全天球画像は撮像により得られる画像に限定されず、コンピュータにより生成された画像（コンピュータグラフィックス）であってもよい。
【００１６】
全天球画像は、例えばプロジェクタによりドーム状（球状、または半球状）のスクリーン（ドーム状スクリーン）に投影されて表示される。係る場合、ドーム状スクリーンの中心位置（球または半球の中心位置）が全天球画像の撮像時のカメラ位置に相当するため、中心位置が好適な視聴位置である。
【００１７】
また、全天球画像をＨＭＤ（Head  Mounted  Display）等のユーザが装着した表示装置に表示させることも可能である。例えば、当該ユーザの動き情報等に応じて特定される、ユーザの視界に相当する画像（以下、視界画像と呼称する）を全天球画像から切り出してＨＭＤに表示させることで、ユーザは視点を変えながら全天球画像を視聴することできる。係る場合、全天球画像から視界画像を切出すため、例えば仮想空間に仮想的なドーム状スクリーン（仮想ドーム状スクリーン）と仮想的なカメラを配置し、仮想カメラにより撮像された画像を視界画像として切出してもよい。
【００１８】
なお、本明細書では、仮想カメラにより撮像される画像を、仮想カメラを視点として生成（レンダリング）される画像と表現する場合がある。また、本明細書では、仮想カメラＶＣ１０の位置、及び向きを、それぞれ視点の位置及び向きと呼称する場合がある。
【００１９】
図１は、ＨＭＤへの全天球画像の表示における視界領域の特定について説明するための説明図である。図１に示す例では、仮想空間に仮想ドーム状スクリーンＶＤ１０が配置され、仮想ドーム状スクリーンＶＤ１０の中心位置に仮想カメラＶＣ１０が配置されている。仮想ドーム状スクリーンＶＤ１０には、全天球画像が仮想的に投影される。なお、以下では仮想空間において仮想ドーム状スクリーンＶＤ１０に全天球画像を仮想的に投影することを、全天球画像を仮想空間に配置すると表現する場合がある。また、図１は簡単のため平面的に図示されているが、仮想ドーム状スクリーンＶＤ１０は、球状、または半球状であってもよい。
【００２０】
図１に示す配置において、仮想ドーム状スクリーンＶＤ１０に仮想的に投影された全天球画像のうち、仮想カメラＶＣ１０を視点として生成された画像を視界画像として特定し、視界画像がＨＭＤに表示される。また、仮想カメラＶＣ１０の向き（視点の向き）は、ＨＭＤを装着したユーザの動き情報に応じて変化してもよく、例えば当該ユーザの向き（例えば顔の向き）に応じて変化してもよい。その結果、仮想カメラＶＣ１０により撮像される、ユーザの視界に相当する領域（以下、視界領域と呼称する）も当該ＨＭＤを装着したユーザの向きに応じて変化する。
【００２１】
また、ＨＭＤで全天球画像視聴する場合においても、図１に示すように仮想ドーム状スクリーンＶＤ１０の中心位置が全天球画像の撮像時のカメラ位置に相当するため、図１に示すように仮想カメラＶＣ１０が配置されることで、ユーザは好適に視聴可能である。以下では、このような仮想ドーム状スクリーンの中心位置を好適視聴位置と呼称する場合がある。
【００２２】
係る構成により、ＨＭＤに表示された全天球画像を視聴する場合であっても、上述した実際のドーム状スクリーンの中心位置で視聴する場合と同様の効果が得られる。また、あたかも全天球画像に囲まれた空間に自分自身が移動したかのような体験を実現することが可能である。
【００２３】
ここで、さらに現実に近い体験として、例えば複数のユーザで全天球画像を仮想的に共有しながら視聴する体験、例えば複数のユーザが全天球画像に囲まれた空間へ移動して、ユーザ同士で会話するような体験が求められると想定される。
【００２４】
係る体験を実現するためには、例えば、各ユーザが装着するＨＭＤに全天球画像と共に、例えば各ユーザを示すオブジェクト（以下、アバタと呼称する）を表示させて、他のユーザの存在を感じさせることが考えられる。また、ユーザの操作や実際の発生に応じて、ユーザに対応するアバタがメッセージを発するような表示や音響出力を行うことで、ユーザ同士の会話を実現することも可能であろう。
【００２５】
図２は、複数のユーザで全天球画像を仮想的に共有しながら視聴する体験の例を説明するための説明図である。図２に示す例では、図１に示した例と同様、仮想空間内に仮想ドーム状スクリーンＶＤ２０が配置され、全天球画像が仮想的に投影される。また、図２に示す例では、仮想ドーム状スクリーンＶＤ２０の内部に、それぞれがユーザを示す複数のアバタＡ２１〜Ａ２３が配置され、各アバタに応じた位置（例えば各アバタの頭部の位置）に仮想カメラＶＣ２１〜ＶＣ２３が配置される。アバタＡ２１〜Ａ２３、及び仮想カメラＶＣ２１〜ＶＣ２３の向きは、各ユーザの向きに応じて変化してもよい。係る構成により、例えば、ユーザが横を向くことで他のユーザのアバタを見ることが可能である。すなわち、全天球画像を背景画像とし、全天球画像の一部の領域と、他のユーザのアバタとが含まれる視界画像が生成され得る。なお、図２には仮想カメラＶＣ２１〜ＶＣ２３が図示されているが、仮想カメラＶＣ２１〜ＶＣ２３は不可視であり、各ユーザに対して提示される視界画像には仮想カメラＶＣ２１〜ＶＣ２３は含まれない。
【００２６】
しかし、図２に示す例では、仮想カメラＶＣ２２のみが仮想ドーム状スクリーンＶＤ２０の中心位置（好適視聴位置）に配置されており、仮想カメラＶＣ２１、及び仮想カメラＶＣ２３は他の位置に配置される。そのため、仮想カメラＶＣ２１、及び仮想カメラＶＣ２３を視点として生成される視界画像において、歪み等が生じる場合があるため、係る視界画像を提示されたユーザは快適に視聴することが困難となる恐れがある。
【００２７】
そこで、全てのアバタと全ての仮想カメラを好適視聴位置に配置することも考えられる。図３は、全てのアバタと全ての仮想カメラを好適視聴位置に配置した例を説明するための説明図である。
【００２８】
図３に示すように、仮想ドーム状スクリーンＶＤ３０の中心位置に全てのアバタＡ３１〜Ａ３３と全ての仮想カメラが配置される場合、好適視聴位置に配置された視点で生成された視界画像を全てのユーザが視聴することが可能である。しかし、全てのユーザのアバタが同一の位置に配置されているため、例えばユーザが横を向いても他のユーザのアバタを見ることが出来ず、全天球画像を共有しているという感覚を十分に得ることが出来なかった。
【００２９】
そこで、上記事情を一着眼点にして本開示の一実施形態を創作するに至った。本実施形態によれば、ユーザ間の相対的な位置関係を維持してアバタを配置すると共に、好適視聴位置に配置された視点で生成された視界画像を各ユーザへ提示することで、快適に視聴可能でありながら、全天球画像を共有しているという感覚を十分に与えることが可能である。以下、このような効果を有する本開示の一実施形態に係る情報処理システムの構成、及び動作について順次説明する。
【００３０】
＜＜２．構成＞＞
＜２−１．全体構成＞
まず、図４を参照して本開示の一実施形態に係る情報処理システムの全体構成を説明する。図４は、本開示の一実施形態に係る情報処理システムの構成例を示すブロック図である。
【００３１】
図４に示すように、本実施形態に係る情報処理システム９は、ＨＭＤ１、配信サーバ２、アバタ管理サーバ３、配信者端末４、及び通信網５を有する。
【００３２】
ＨＭＤ１は、ユーザに装着される情報処理装置である。以下では、ＨＭＤ１を装着しているユーザをＨＭＤ１の装着ユーザと呼称する場合がある。図１に示す例ではユーザＵＡがＨＭＤ１Ａを装着し、ユーザＵＢがＨＭＤ１Ｂを装着しているため、ＨＭＤ１Ａの装着ユーザはユーザＵＡであり、ＨＭＤ１Ｂの装着ユーザはユーザＵＢである。
【００３３】
ＨＭＤ１は、通信網５に接続され、配信サーバ２から全天球画像（背景画像の一例）を受信し、アバタ管理サーバ３から他のユーザを含むユーザに関する情報（ユーザ情報）を受信する。また、ＨＭＤ１は、ＨＭＤ１を装着しているユーザに関する情報をアバタ管理サーバ３へ送信する。
【００３４】
さらに、ＨＭＤ１は、仮想空間に配置された全天球画像（背景画像の一例）と、ユーザ情報に基づいて仮想空間に配置されるアバタとに基づいて、好適視聴位置を視点として生成される視界画像を表示する。ＨＭＤ１のより詳細な構成については図６を参照して後述する。
【００３５】
図４に示すように、配信サーバ２は、画像記憶部２２を有する情報処理装置である。配信サーバ２は、通信網５を介して全天球画像をＨＭＤ１Ａ、及びＨＭＤ１Ｂへ配信（送信）する。例えば、配信サーバ２は、通信網５を介して配信者端末４から受信した全天球画像をＨＭＤ１へ配信してもよいし、画像記憶部２２に記憶された全天球画像をＨＭＤ１へ配信してもよい。
【００３６】
なお、画像記憶部２２は、通信網５を介して配信者端末４から受信した全天球画像を記憶（蓄積）してもよいし、予め用意された全天球画像を記憶していてもよい。また、図４では配信サーバ２が画像記憶部２２を有する例を示しているが、本実施形態は係る例に限定されず、画像記憶部２２は例えば通信網５に接続された他の装置に備えられていてもよい。
【００３７】
図４に示すように、アバタ管理サーバ３は、ユーザ情報記憶部３２を有する。アバタ管理サーバ３は、ＨＭＤ１により取得され、通信網５を介してＨＭＤ１から受信した情報に基づき、ユーザ情報を管理し、例えばユーザ情報記憶部３２に記憶させる。なお、図４ではアバタ管理サーバ３がユーザ情報記憶部３２を有する例を示しているが、本実施形態は係る例に限定されず、ユーザ情報記憶部３２は例えば通信網５に接続された他の装置に備えられていてもよい。
【００３８】
また、アバタ管理サーバ３は、通信網５を介してＨＭＤ１へ、当該ＨＭＤ１の装着ユーザ以外のユーザを含むユーザに関するユーザ情報を送信する。アバタ管理サーバ３は、リアルタイムのユーザ情報をＨＭＤ１へ送信してもよいし、過去のユーザ情報（ユーザ情報の履歴）をＨＭＤ１へ送信してもよい。なお、本明細書において、リアルタイムのユーザ情報とは、現在視聴しているユーザに関する情報を意味し、厳密に現時刻におけるユーザの情報に限定されず、通信による遅延やアバタ管理サーバ３の処理に伴う遅延等の後に取得されたユーザ情報を含み得る。
【００３９】
ユーザ情報は、ＨＭＤ１により取得される、ＨＭＤ１の装着ユーザの行動に関する行動情報と、ユーザ間の相対的な位置関係（相対位置関係）を示す相対位置管理座標系、及びユーザが発信するメッセージを含んでもよい。ユーザ情報は、時系列的にユーザ情報記憶部３２に記憶されてよく、係る構成により、アバタ管理サーバ３は、過去のユーザ情報をＨＭＤ１へ送信することが出来る。
【００４０】
行動情報は、ＨＭＤ１の装着ユーザの姿勢に関する姿勢情報を含んでもよい。例えば、姿勢情報は、装着ユーザの頭部姿勢や腕、手、足の姿勢、及び表情に関する情報を含む。
【００４１】
また、行動情報は、ＨＭＤ１の装着ユーザの位置移動に関する情報を含んでもよい。アバタ管理サーバ３は、例えばユーザの位置移動に関する情報に基づいて相対位置管理座標系を管理する。
【００４２】
相対位置管理座標系は各ＨＭＤ１により管理される仮想空間とは独立に、ユーザ間の相対位置関係を管理するための座標系である。なお、相対位置管理座標系にはユーザ間の相対的な位置だけでなく、ユーザ間の相対的な向きに関する情報も含まれる。また、後述するように、ＨＭＤ１は、相対位置管理座標系に基づいて各ユーザのアバタを配置する。
【００４３】
図５は、相対位置管理座標系の具体例を示す説明図である。図５に示すように、ユーザＵＡの位置と向き、ユーザＵＢの位置と向きが相対位置管理座標系においてアバタ管理サーバ３により管理される。
【００４４】
例えば、アバタ管理サーバ３は、例えばＨＭＤ１から受信した装着ユーザの位置移動に関する情報に応じて相対位置管理座標系を更新してもよい。そのため、例えば、ユーザＵＡ（第１のユーザ）とユーザＵＢ（第２のユーザ）との間の相対位置関係は、ユーザＵＡまたはユーザＵＢの位置移動に応じて変化し得る。
【００４５】
また、アバタ管理サーバ３は、相対位置管理座標系における各ユーザの初期位置、及び初期向きを、例えばユーザ情報記憶部３２に記憶されたユーザ情報、すなわち過去のユーザ情報に基づいて決定してもよい。そのため、例えば、ユーザＵＡ（第１のユーザ）とユーザＵＢ（第２のユーザ）との間の相対位置関係は、過去のユーザ情報に基づいて特定され得る。
【００４６】
例えば、アバタ管理サーバ３は、過去のユーザ情報に基づき、ユーザが前回最後に視聴した際の相対位置管理座標系における位置及び向きを相対位置管理座標系における当該ユーザの初期位置、及び初期向きとして決定してもよい。また、アバタ管理サーバ３は、過去のユーザ情報に基づき、過去の全てのユーザの平均位置、及び平均向きをユーザの初期位置、及び初期向きとして決定してもよい。係る構成により、過去に多くのユーザによる盛り上がりのあった位置、及び向きを、初期位置、及び初期向きとして決定することが可能である。
【００４７】
なお、本実施形態は係る例に限定されず、アバタ管理サーバ３は、相対位置管理座標系における各ユーザの初期位置、及び初期向きを、ランダムに決定してもよいし、予め決められた所定の位置、及び向きを用いて決定してもよい。
【００４８】
ユーザが発信するメッセージは、例えばテキストデータであってもよいし、音声データであってもよい。なお、テキストデータが音声合成技術により音声データに変換されてもよいし、音声データが音声認識技術によりテキストデータに変換されてもよい。
【００４９】
ユーザが発信するメッセージは、ＨＭＤ１からアバタ管理サーバ３へ送信された後、発信対象となるユーザが有するＨＭＤ１へアバタ管理サーバ３から送信される。なお、全てのユーザに対してメッセージを発信することも可能であるし、特定のユーザに対してメッセージを発信することも可能であってよい。なお、アバタ管理サーバ３を介さず、ＨＭＤ１から他のＨＭＤ１へ直接的にメッセージが送信されてもよい。
【００５０】
配信者端末４は、全天球画像を取得し、通信網５を介して配信サーバ２へ送信する。例えば、配信者端末４は、撮像部を有し、当該撮像部による撮像に基づいて全天球画像を取得してもよいし、配信者端末４に接続された不図示の撮像装置による撮像に基づいて全天球画像を取得してもよい。また、配信者端末４は撮像により得られた画像に対し、スティッチング等の画像処理を施すことで全天球画像を取得してもよい。
【００５１】
通信網５は、通信網５に接続されている装置、またはシステムから送信される情報の有線、または無線の伝送路である。例えば、通信網５は、インターネット、電話回線網、衛星通信網等の公衆回線網や、Ethernet（登録商標）を含む各種のＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）等を含んでもよい。また、通信網５は、ＩＰ−ＶＰＮ（Internet  Protocol-Virtual  Private  Network）等の専用回線網を含んでもよい。
【００５２】
＜２−２．ＨＭＤの構成＞
以上、本実施形態に係る情報処理システム９の全体構成を説明した。続いて、図６を参照して、情報処理システム９が有するＨＭＤ１の構成について説明する。図６は、本実施形態に係るＨＭＤ１の構成例を示すブロック図である。
【００５３】
図６に示すようにＨＭＤ１は、センサ部１１、通信部１３、制御部１５、表示部１７、及び音響出力部１９を備える情報処理装置である。
【００５４】
センサ部１１は、ＨＭＤ１の装着ユーザの行動に関する行動情報をセンシングにより取得する。センサ部１１は、例えば加速度センサ、ジャイロセンサ、カメラ、マイク、地磁気センサ、測距センサ、力センサ等を含んでもよい。
【００５５】
例えば、センサ部１１は、装着ユーザの頭部姿勢（顔の向き、頭の角度等）や腕、手、足の姿勢、及び表情に関する姿勢情報を行動情報として取得してもよい。なお、装着ユーザの表情は、ＨＭＤ１の内部に配置されるカメラ（センサ部１１の一例）により取得され得る。また、センサ部１１は、ユーザの発話音声を行動情報として取得してもよい。センサ部１１は、ユーザの位置移動に関する情報を行動情報として取得してもよい。
【００５６】
なお、行動情報は、ＨＭＤ１が有するセンサ部１１により取得される例に限定されず、ＨＭＤ１と接続された外部のセンサや入力装置（コントローラ等）により取得されてもよい。例えば、ＨＭＤ１の外部に配置されたカメラや、装着ユーザが操作する入力装置により、ユーザの位置移動に関する情報が取得されてもよい。また、ＨＭＤ１の外部に配置されたカメラや測距センサにより、ユーザの腕、手、足の姿勢に関する姿勢情報が取得されてもよい。
【００５７】
通信部１３は、ＨＭＤ１による他の装置との間の通信を仲介する通信インタフェースである。通信部１３は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、例えば図４を参照して説明した通信網５を介して、または直接に他の装置との間の通信接続を確立する。例えば、通信部１３は、センサ部１１、またはＨＭＤ１と接続された他のセンサや入力装置により取得されたユーザ情報を、アバタ管理サーバ３へ送信する。また、通信部１３は、配信サーバ２から全天球画像を受信する。さらに、通信部１３は、アバタ管理サーバ３から、他のユーザ（ＨＭＤ１の装着ユーザ以外のユーザ）に関する情報をも含むユーザ情報を受信する。なお、通信部１３がアバタ管理サーバ３から受信するユーザ情報には、他のユーザの行動情報、相対位置管理座標系、及び他のユーザの発信するメッセージが含まれ得る。
【００５８】
また、通信部１３は、ＨＭＤ１の外部のセンサや入力装置から情報を受信し、受信した情報をアバタ管理サーバ３へ送信してもよい。例えば、通信部１３は、外部のセンサや入力装置からユーザの位置移動に関する情報を受信し、アバタ管理サーバ３へ送信してもよい。また、通信部１３は、外部の入力装置からＨＭＤ１のユーザが発信したいメッセージを受信し、アバタ管理サーバ３、または他のＨＭＤ１へ送信してもよい。
【００５９】
制御部１５は、ＨＭＤ１の各構成の動作を制御する。また、制御部１５は、図６に示すように、表示制御部１５１、及び音響出力制御部１５３としても機能する。
【００６０】
表示制御部１５１は、通信部１３により受信された全天球画像（背景画像）とユーザ情報に基づいて、ＨＭＤ１の装着ユーザ（第１のユーザ）用の表示、つまり表示部１７の表示を制御する。
【００６１】
例えば、表示制御部１５１は、仮想空間に全天球画像と各ユーザのアバタ（各ユーザを示すオブジェクト）を配置して、仮想空間における装着ユーザ（第１のユーザ）の位置に応じた位置（例えば頭部位置）に配置された視点で視界画像を生成する。そして、表示制御部１５１は、視界画像を表示部１７に表示させる。
【００６２】
表示制御部１５１は、通信部１３がアバタ管理サーバ３から受信した相対位置管理座標系に基づいて、仮想空間におけるユーザ間の相対位置関係を維持するように各ユーザのアバタを仮想空間に配置する。なお、表示制御部１５１が配置するアバタは、他のユーザのアバタだけでなく、装着ユーザのアバタをも含んでよい。すなわち、表示制御部１５１は、装着ユーザ（第１のユーザ）のアバタにさらに基づいて表示を制御してもよい。係る構成により、装着ユーザは自身のアバタを見ることも可能であり、例えば没入感が向上する。
【００６３】
また、表示制御部１５１は、ユーザ情報に基づいて、当該ユーザ情報に対応したユーザのアバタを制御してもよい。例えば、表示制御部１５１は、各ユーザの姿勢情報に基づいて、各ユーザのアバタの姿勢を制御してもよい。ここで、各ユーザの姿勢情報は、例えば上述した頭部姿勢（顔の向き、頭の角度等）や腕、手、足の姿勢を含み得る。係る構成により、ユーザは他のユーザと全天球画像や仮想空間を共有している感覚をより強く得ることが可能となる。
【００６４】
さらに、表示制御部１５１は、仮想空間における装着ユーザの位置（つまり装着ユーザのアバタの位置）を基準として仮想空間に全天球画像を配置する。なお、仮想空間への全天球画像の配置は、例えば仮想空間に全天球画像を投影するための仮想ドーム状スクリーンを配置することにより行われてもよい。
【００６５】
図７、図８は、仮想空間におけるアバタ、及び仮想ドーム状スクリーンの配置の一例を示す説明図である。なお、図７は、ユーザＵＡが装着するＨＭＤ１Ａの表示制御部１５１により設定される仮想空間について図示したものであり、図８は、ユーザＵＢが装着するＨＭＤ１Ｂの表示制御部１５１により設定される仮想空間について図示したものである。つまり、図７における装着ユーザ（第１のユーザ）はユーザＵＡであり、図８における装着ユーザ（第１のユーザ）はユーザＵＢである。
【００６６】
図７に示すように、ＨＭＤ１Ａの表示制御部１５１は、図５を参照して説明した相対位置管理座標系に基づいて、仮想空間におけるユーザ間の相対位置関係を維持するように、ユーザＵＡのアバタＡＡ及びユーザＵＢのアバタＡＢを配置する。また、ＨＭＤ１Ａの表示制御部１５１は、装着ユーザ（第１のユーザ）であるユーザＵＡの位置（アバタＡＡの位置）を基準として、全天球画像を配置する（つまり仮想ドーム状スクリーンＶＤ１を配置する）。
【００６７】
より具体的には、ＨＭＤ１Ａの表示制御部１５１は、視点となる仮想カメラＶＣ１の位置が予め定められた好適視聴位置となるように全天球画像を配置する。本実施形態において、好適視聴位置は、仮想ドーム状スクリーンＶＤ１の中心位置であるため、仮想空間におけるユーザＵＡの位置に応じて特定される仮想カメラＶＣ１の位置（例えばアバタＡＡの頭部位置）が中心となるように仮想ドーム状スクリーンＶＤ１が配置される。なお、好適視聴位置は、仮想ドーム状スクリーンＶＤ１の中心位置に限定されず、好適視聴位置は適宜設定されてもよい。
【００６８】
また、図８に示すように、ＨＭＤ１Ｂの表示制御部１５１も同様に、図５を参照して説明した相対位置管理座標系に基づいて、仮想空間におけるユーザ間の相対位置関係を維持するように、ユーザＵＡのアバタＡＡ及びユーザＵＢのアバタＡＢを仮想空間に配置する。また、ＨＭＤ１Ｂの表示制御部１５１は、装着ユーザ（第１のユーザ）であるユーザＵＢの位置（アバタＡＢの位置）を基準として、全天球画像を仮想空間に配置する（つまり仮想ドーム状スクリーンＶＤ２を配置する）。
【００６９】
また、ＨＭＤ１Ａの表示制御部１５１と同様、ＨＭＤ１Ｂの表示制御部１５１は、視点となる仮想カメラＶＣ２の位置が予め定められた好適視聴位置となるように全天球画像を仮想空間に配置する。例えば、仮想空間におけるユーザＵＢの位置に応じて特定される仮想カメラＶＣ２の位置（例えばアバタＡＢの頭部位置）が中心となるように仮想ドーム状スクリーンＶＤ２が仮想空間に配置される。
【００７０】
係る構成により、それぞれのユーザが、好適視聴位置を視点として生成された視界画像を視聴することが可能であると共に、他のユーザのアバタを見ることも可能である。
【００７１】
また、表示制御部１５１は、装着ユーザ（第１のユーザ）の向きに応じて、視点の向き（仮想カメラＶＣ１の向き）を制御してもよい。なお、装着ユーザの向きの情報は、センサ部１１から提供されてもよいし、アバタ管理サーバ３から提供されてもよい。
【００７２】
図９は、図７に示した仮想カメラＶＣ１を視点として生成された視界画像Ｖ１の一例を示す説明図である。すなわち、図９の視界画像Ｖ１は、ユーザＵＡが装着するＨＭＤ１Ａに表示される。
【００７３】
図９に示すように、視界画像Ｖ１には、ユーザＵＢのアバタＡＢと、全天球画像Ｅ１０の一部分が含まれる。また、図９に示すように、視界画像Ｖ１には、装着ユーザであるユーザＵＡのアバタＡＡの一部（手）が含まれてもよい。
【００７４】
なお、図７〜図９では装着ユーザ以外の他のユーザが１人のみである例を説明したが、複数の他のユーザがいる場合も同様である。すなわち、仮想空間には複数の他のユーザのアバタが配置され、視界画像には複数の他のユーザのアバタが含まれ得る。
【００７５】
また、表示制御部１５１は、アバタ管理サーバ３から受信される過去のユーザ情報に基づいてアバタを仮想空間に配置させ、表示させてもよい。例えば、全天球画像が動画像である場合、同時刻に視聴しているわけではないが、動画像における再生時刻が同一である過去のユーザ情報に基づいてアバタを仮想空間に配置させ、表示させてもよい。係る構成により、同時に視聴していないユーザのアバタをも表示可能であるため、同時に視聴しているユーザが少ない場合であっても、他のユーザとのより一体感を得ることが可能となる。
【００７６】
なお、表示制御部１５１は、リアルタイムのユーザ情報に基づくアバタ（同時に視聴しているユーザのアバタ）と、過去のユーザ情報に基づくアバタとが区別されるように表示を制御してもよい。例えば、表示制御部１５１は、リアルタイムのユーザ情報に基づくアバタが強調されるように表示を制御してもよい。例えば、表示制御部１５１は、過去のユーザ情報に基づくアバタの透過度を高めることで、リアルタイムのユーザ情報に基づくアバタを強調してもよいし、リアルタイムのユーザ情報に基づくアバタの周囲にエフェクトを表示させることで、リアルタイムのユーザ情報に基づくアバタを強調してもよい。また、表示制御部１５１は、リアルタイムのユーザ情報に基づくアバタが強調されるように表示を制御してもよい。また、表示制御部１５１は、リアルタイムのユーザ情報に基づくアバタ、及び過去のユーザ情報に基づくアバタのいずれか、または両方の付近に区別可能な情報（例えばアイコン）を表示させてもよい。
【００７７】
係る構成により、同時に視聴しているユーザのアバタを容易に区別可能である。後述するように、同時に視聴しているユーザとはコミュニケーションをとることが可能であるため、強調表示により、アバタに対応するユーザとコミュニケーションをとることが可能であるかどうかを判断することが可能である。
【００７８】
また、表示制御部１５１は、ユーザ間のコミュニケーションに関する表示制御を行ってもよい。例えば、表示制御部１５１は、他のユーザ（第２のユーザ）により発信されるメッセージを表示させてもよい。例えば、表示制御部１５１は、メッセージを発信したユーザの位置に応じた位置（例えば当該ユーザのアバタの顔の付近）にメッセージを表示させてもよい。
【００７９】
また、表示制御部１５１は、他のユーザ（第２のユーザ）が装着ユーザ（第１のユーザ）に対してメッセージを発信した場合に、メッセージを発信した他のユーザ（第２のユーザ）のアバタ（以下、メッセージ発信アバタと呼ぶ）が強調されるように表示を制御してもよい。例えば、表示制御部１５１は、メッセージ発信アバタ以外のアバタの透過度を高めることで、メッセージ発信アバタを強調してもよいし、メッセージ発信アバタの周囲にエフェクトを表示させることで、メッセージ発信アバタを強調してもよい。係る構成により、例えば多数のアバタが表示されている場合であっても、メッセージを発信したアバタを容易に認識することが可能である。特に上述したように過去のユーザ情報に基づいてアバタを表示させる場合、多数のアバタが表示されやすくなるため、係る強調表示はより有効となる。
【００８０】
音響出力制御部１５３は、音響出力部１９による音響出力を制御する。例えば、音響出力制御部１５３は、音響出力部１９を制御して、他のユーザ（第２のユーザ）により発信されるメッセージを音響出力させてもよい。また、音響出力制御部１５３は、メッセージを発信した他のユーザ（第２のユーザ）のアバタの位置から当該メッセージが聞こえるように、音響出力部１９による音響出力を制御してもよい。係る構成により、装着ユーザは、あたかも近くに他のユーザが存在しているような感覚をより強く得ることが可能となる。
【００８１】
表示部１７は、表示制御部１５１に制御されてＨＭＤ１の装着ユーザ用の表示を行う。表示部１７は、例えば装着ユーザの両目に対してそれぞれ別の画像を提示することが可能であってもよく、上述したような仮想空間を立体的に視認することが可能であってもよい。
【００８２】
音響出力部１９は、音響出力制御部１５３に制御されて音響出力を行う。音響出力部１９は、例えば複数のスピーカを含んでよく、音響出力部１９は立体的に音響（立体音響）を出力することが可能であってもよい。
【００８３】
＜＜３．動作＞＞
以上、本実施形態に係る情報処理システム９、及びＨＭＤ１の構成例について説明した。続いて、本実施形態に係るＨＭＤ１の動作について図１０を参照して説明する。図１０は本実施形態に係るＨＭＤ１の動作例を示すフローチャート図である。
【００８４】
図１０に示すように、まず、センサ部１１や、ＨＭＤ１に接続されたセンサがセンシングにより装着ユーザの行動に関する行動情報を取得する（Ｓ１０２）。続いて、通信部１３が取得された行動情報をアバタ管理サーバ３へ送信し（Ｓ１０４）、アバタ管理サーバ３から、他のユーザをも含むユーザに関するユーザ情報を受信する（Ｓ１０６）。さらに、通信部１３は、配信サーバ２から全天球画像を受信する（Ｓ１０８）。
【００８５】
続いて、表示制御部１５１がユーザ情報に基づいて、各ユーザのアバタと、全天球画像を仮想空間に配置する（Ｓ１１０）。ここで、他のユーザによるメッセージの発信がある場合（Ｓ１１２においてＹＥＳ）、表示制御部１５１は、メッセージの発信を行ったユーザのアバタ（メッセージ発信アバタ）を強調表示させると共に、メッセージを表示部１７に表示させる（Ｓ１１４）。なお、メッセージは、表示部１７による表示出力に代えて、または加えて、音響出力部１９から音響出力されてもよい。
【００８６】
一方、他のユーザによるメッセージの発信がない場合（Ｓ１１２においてＮＯ）、表示制御部１５１は、全てのアバタを均等に表示させる（Ｓ１１６）。なお、ステップＳ１１４、及びステップＳ１１６において、表示制御部１５１は上述したように仮想空間において好適視聴位置に配置された視点で生成した視界画像を表示させる。
【００８７】
以上、本実施形態に係るＨＭＤ１の動作例について説明した。なお、図１０に示した処理は適宜繰り返されてもよい。
【００８８】
＜＜４．変形例＞＞
以上、本開示の一実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。
【００８９】
＜４−１．変形例１＞
上記実施形態では、表示制御部１５１がユーザのアバタの姿勢を、当該ユーザの姿勢情報に基づいて制御する例を説明したが、本技術は係る例に限定されない。例えば、表示制御部１５１は、他のユーザ（第２のユーザ）の姿勢に関する姿勢情報が所定の条件を満たす場合に、仮想空間に配置された全天球画像にさらに基づいて、当該他のユーザのアバタの姿勢を制御してもよい。係る例について、変形例１として、図１１〜図１５を参照して説明する。図１１〜図１５は変形例１を説明するための説明図である。
【００９０】
まず、ユーザＵＡが装着するＨＭＤ１Ａにより設定される仮想空間について考える。図１１において、装着ユーザ（第１のユーザ）はユーザＵＡであり、仮想カメラＶＣ３はユーザＵＡの位置に応じて配置される。図１１に示すように、ユーザＵＡのアバタＡＡの指ＦＡが指向きＤＡを向いている場合、装着ユーザはドーム状スクリーンＶＤ３に投影された全天球画像の点Ｐ３を指差したいと考えられる。
【００９１】
ここで、本変形例による制御を行わない場合にユーザＵＢが装着するＨＭＤ１Ｂにより設定される仮想空間について考える。図１２において、装着ユーザはユーザＵＢであり、仮想カメラＶＣ４０はユーザＵＢの位置に応じて配置される。図１２に示すように、ユーザＵＡの姿勢に応じてユーザＵＡのアバタＡＡを配置するとアバタＡＡの指ＦＡが図１２のように向きＤＡを向いている。そのため、ユーザＵＢからは、ユーザＵＡがドーム状スクリーンＶＤ４０に投影された全天球画像の点Ｐ４０を指差しているものと認識され、ユーザＵＢのアバタＡＢの視線ＧＢ（つまりユーザＵＢの視線）は点Ｐ４０へ向かう。
【００９２】
しかし、図１１と図１２を比較すると、ユーザＵＢは本来ユーザＵＡが指差したかった点ではなく、他の点を見てしまっていることがわかる。そこで、表示制御部１５１は、他のユーザ（第２のユーザ）が指差しをしていると判定された（所定の条件の一例）場合に、全天球画像にさらに基づいて、当該他のユーザの姿勢を制御してもよい。なお、指だけでなく、物や腕等により、全天球画像のある位置を指している場合も同様である。
【００９３】
例えば、本変形例による表示制御部１５１は、他のユーザの姿勢情報と、配置された全天球画像に基づき、他のユーザが指差さそうとしている位置を当該他のユーザのアバタが指差しているように、当該他のユーザのアバタの姿勢を制御してもよい。なお、他のユーザが指差さそうとしている位置は、例えば当該他のユーザが装着しているＨＭＤにより設定された仮想空間における指向きとドーム状スクリーンの交点により特定することが可能である。
【００９４】
図１３は上述した本変形例による表示制御部１５１の他のユーザのアバタの制御例を示している。なお、図１３において、装着ユーザはユーザＵＢであり、仮想カメラＶＣ４はユーザＵＢの位置に応じて配置される。図１３に示すように、ユーザＵＢのアバタＡＢの視線ＧＢつまりユーザＵＢの視線）はドーム状スクリーンＶＤ４の点Ｐ４へ向かう。ここで点Ｐ４は、図１１に示した点Ｐ３に相当し、ユーザＵＡが指差したかった全天球画像における位置をユーザＵＢが見ることが可能である。
【００９５】
また、表示制御部１５１は、アバタの視線の向き（または顔の向き）についても同様に制御してもよい。図１４は、係る制御を行わない場合に図１３におけるユーザＵＢの姿勢に基づいて、ユーザＵＡが装着するＨＭＤ１Ａにより設定される仮想空間を示している。つまり、図１４において、装着ユーザはユーザＵＡであり、仮想カメラＶＣ５はユーザＵＡの位置に応じて配置される。図１４の例では、ユーザＵＡが指差そうとしているドーム状スクリーンＶＤ５０の点Ｐ５０とユーザＵＢのアバタＡＢの視線ＧＢの先である点Ｐ５１が異なってしまっている。
【００９６】
そこで、本変形例に係る表示制御部１５１は、他のユーザ（第２のユーザ）が全天球画像のある位置に視線を向けていると判定された（所定の条件の一例）場合に、全天球画像にさらに基づいて、当該他のユーザの姿勢を制御してもよい。例えば、図１５に示すように、本変形例に係る表示制御部１５１は、ユーザＵＢのアバタＡＢの視線ＧＢがユーザＵＡが指差そうとしているドーム状スクリーンＶＤ５の点Ｐ５に向かうように、アバタＡＢの姿勢を制御してもよい。なお、図１５は図１４と同様にユーザＵＡが装着するＨＭＤ１Ａにより設定される仮想空間を示している。
【００９７】
以上、説明したように本変形例によれば、ユーザ間で全天球画像の同一の位置を、視線の向きや指差しの向きで共有することが可能である。特に、仮想空間におけるアバタから仮想ドーム状スクリーンまでの距離が近い場合には、図１４のようにユーザ間で視線の向きや指差しの向きの先にある点が異なりやすくなるため、本変形例がより有効となる。
【００９８】
＜４−２．変形例２＞
また、上記実施形態では、仮想空間における視点は装着ユーザの位置に応じた位置（例えば装着ユーザのアバタの頭部位置）である例を説明したが、本技術は係る例に限定されない。例えば、表示制御部１５１は、視点を仮想空間における所定の俯瞰位置に配置してもよい。係る例について、図１６、図１７を参照して変形例２として説明する。
【００９９】
図１６は、本変形例において設定される仮想空間を示す説明図である。なお、図１６において装着ユーザはユーザＵＡであってもよいし、ユーザＵＢであってもよい。
【０１００】
図１６に示すように、仮想カメラＶＣ６は、装着ユーザも俯瞰可能な俯瞰位置に配置され、本変形例に係る表示制御部１５１は、仮想カメラＶＣ６を視点として、俯瞰画像を生成し、表示部１７に表示させてもよい。なお、本変形例においても、視点の位置が好適視聴位置となるようにドーム状スクリーンＶＤ６が配置される。
【０１０１】
なお、視点は、ユーザ操作等に応じて、装着ユーザの位置に応じた位置から俯瞰位置へ移動させられてもよい。
【０１０２】
図１７は、本変形例において表示部１７に表示される俯瞰画像Ｖ２の例を示す説明図である。図１７に示すように俯瞰画像Ｖ２は、装着ユーザのアバタを含め、多数のユーザのアバタＡＡ〜ＡＥが含まれ得るため、複数のアバタの位置関係を俯瞰することが可能である。
【０１０３】
＜４−３．変形例３＞
上記実施形態では、背景画像として全天球画像が用いられる例を説明したが、本技術は係る例に限定されない。背景画像としては多様な画像が用いられ得る。例えば、所謂４Ｋ画像や８Ｋ画像のような高い解像度を有する高解像度画像を背景画像とすることも可能である。
【０１０４】
係る場合、例えば、表示制御部は、仮想空間にアバタを配置すると共に、視点が予め設定された好適視聴位置となるように装着ユーザの位置を基準として高解像度画像を仮想空間に配置し、当該視点で視界画像を生成してもよい。
【０１０５】
また、背景画像はコンピュータによりレンダリング（生成）される画像（コンピュータグラフィックス）であってもよい。係る場合、ユーザの位置移動に関する情報に基づいて、背景画像のレンダリングが行われてもよい。
【０１０６】
＜＜５．ハードウェア構成例＞＞
以上、本開示の実施形態を説明した。最後に、図１８を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図１８は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図１８に示す情報処理装置９００は、例えば、上述したＨＭＤ１、配信サーバ２、アバタ管理サーバ３、配信者端末４を実現し得る。本実施形態に係るＨＭＤ１、配信サーバ２、アバタ管理サーバ３、配信者端末４による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
【０１０７】
図１８に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
【０１０８】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、制御部１５を形成し得る。
【０１０９】
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【０１１０】
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１１１】
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば表示部１７、音響出力部１９を形成し得る。
【０１１２】
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、画像記憶部２２、ユーザ情報記憶部３２を形成し得る。
【０１１３】
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
【０１１４】
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
【０１１５】
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、通信部１３を形成し得る。
【０１１６】
センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。センサ９１５は、例えば、センサ部１１を形成し得る。
【０１１７】
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【０１１８】
以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０１１９】
なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【０１２０】
＜＜６．むすび＞＞
以上説明したように、本開示の実施形態によれば、画像を、他のユーザと仮想的に共有しながら視聴することが可能である。
【０１２１】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１２２】
例えば、上記実施形態では、表示部を備える情報処理装置（ＨＭＤ１）が表示制御処理を行う例を説明したが、本技術は係る例に限定されない。例えば、他の装置が備える表示部に表示させるための画像を生成する機能を表示制御部としての機能と解することも可能である。
【０１２３】
例えば、表示部を備える表示装置と通信網を介して接続された情報処理装置（例えば図４に示した配信サーバ２、またはアバタ管理サーバ３等）が、上述した表示制御部としての機能を有してもよい。係る場合、当該情報処理装置の表示制御部により、背景画像とアバタを含む画像が生成されて表示装置へ送信され、表示装置が受信した画像を表示してもよい。
【０１２４】
なお、表示部を備える表示装置と通信網を介して接続された情報処理装置と、表示装置とが、上述した表示制御部としての機能を分散して備えてもよい。例えば、当該情報処理装置が仮想空間におけるアバタや全天球画像の配置を行うことで表示装置の表示を制御してもよい。係る場合、表示装置は、仮想空間の情報を受信して、センシングされたユーザの向き応じた視点で、視界画像を生成してもよい。
【０１２５】
また、表示部はＨＭＤでなくてもよい。例えば、表示部はユーザが把持したディスプレイ、設置されたディスプレイ、またはプロジェクタにより映像が投影されるスクリーン（ドーム状スクリーンを含む）であってもよい。係る場合には、ディスプレイやプロジェクタが上述した表示制御部としての機能を有してもよいし、ディスプレイやプロジェクタに接続された情報処理装置、または当該情報処理装置と通信網を介して接続された他の情報処理装置が上述した表示制御部としての機能を有してもよい。
【０１２６】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１２７】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
仮想空間における第１のユーザの位置を基準として前記仮想空間に配置された背景画像、及び前記仮想空間における前記第１のユーザと第２のユーザとの間の相対位置関係を維持するように前記仮想空間に配置された前記第２のユーザに関するオブジェクトに基づいて、前記第１のユーザ用の表示を制御する表示制御部を備える、情報処理装置。
（２）
前記表示制御部は、前記仮想空間における前記第１のユーザの位置に応じた位置に配置された視点で視界画像を生成し、前記視界画像を表示させる、前記（１）に記載の情報処理装置。
（３）
前記背景画像は、前記視点の位置が予め定められた好適視聴位置となるように配置される、前記（２）に記載の情報処理装置。
（４）
前記表示制御部は、前記第１のユーザの向きに応じて、前記視点の向きを制御する、前記（２）または（３）に記載の情報処理装置。
（５）
前記表示制御部は、前記第２のユーザにより発信されるメッセージを表示させる、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記第２のユーザにより発信されるメッセージを音響出力させる音響出力制御部をさらに備える、前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記音響出力制御部は、前記第２のユーザに関するオブジェクトの位置から前記メッセージが聞こえるように音響出力を制御する、前記（６）に記載の情報処理装置。
（８）
前記表示制御部は、前記第２のユーザが前記第１のユーザに対して前記メッセージを発信した場合に、前記第２のユーザに関するオブジェクトが強調されるように前記表示を制御する、前記（５）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記表示制御部は、前記第１のユーザに関するオブジェクトにさらに基づいて、前記表示を制御する、前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記表示制御部は、ユーザ情報に基づいて、当該ユーザ情報に対応したユーザに関するオブジェクトを制御する、前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記ユーザ情報は、前記各ユーザの姿勢に関する姿勢情報を含み、
前記表示制御部は、前記姿勢情報に基づいて、当該姿勢情報に対応したユーザに関するオブジェクトの姿勢を制御する、前記（１０）に記載の情報処理装置。
（１２）
前記表示制御部は、前記第２のユーザの姿勢に関する前記姿勢情報が所定の条件を満たす場合に、前記仮想空間に配置された前記背景画像にさらに基づいて、前記第２のユーザに関するオブジェクトの姿勢を制御する、前記（１１）に記載の情報処理装置。
（１３）
前記表示制御部は、過去の前記ユーザ情報に基づくオブジェクトを表示させる、前記（１０）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記表示制御部は、リアルタイムの前記ユーザ情報に基づくオブジェクトと、前記過去の前記ユーザ情報に基づくオブジェクトとが区別されるように、前記表示を制御する、前記（１３）に記載の情報処理装置。
（１５）
前記第１のユーザと第２のユーザとの間の前記相対位置関係は、前記過去の前記ユーザ情報に基づいて特定される、前記（１３）または（１４）に記載の情報処理装置。
（１６）
前記第１のユーザと第２のユーザとの間の前記相対位置関係は、前記第１のユーザまたは前記第２のユーザの位置移動に応じて変化する、前記（１）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記表示制御部は、前記仮想空間における所定の俯瞰位置に配置された視点で俯瞰画像を生成し、前記俯瞰画像を表示させる、前記（１）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記表示制御部は、前記第１のユーザにより装着された装置の表示を制御する、前記（１）〜（１７）のいずれか一項に記載の情報処理装置。
（１９）
仮想空間における第１のユーザの位置を基準として前記仮想空間に配置された背景画像、及び前記仮想空間における前記第１のユーザと第２のユーザとの間の相対位置関係を維持するように前記仮想空間に配置された前記第２のユーザに関するオブジェクトに基づいて、前記第１のユーザ用の表示をプロセッサが制御すること、を含む情報処理方法。
（２０）
コンピュータに、
仮想空間における第１のユーザの位置を基準として前記仮想空間に配置された背景画像、及び前記仮想空間における前記第１のユーザと第２のユーザとの間の相対位置関係を維持するように前記仮想空間に配置された前記第２のユーザに関するオブジェクトに基づいて、前記第１のユーザ用の表示を制御する機能を実現させるための、プログラム。
【符号の説明】
【０１２８】
１  ＨＭＤ
２  配信サーバ
３  アバタ管理サーバ
４  配信者端末
５  通信網
９  情報処理システム
１１  センサ部
１３  通信部
１５  制御部
１７  表示部
１９  音響出力部
２２  画像記憶部
３２  ユーザ情報記憶部
１５１  表示制御部
１５３  音響出力制御部
【図１】
2018216355.tif 000003
【図２】
2018216355.tif 000004
【図３】
2018216355.tif 000005
【図４】
2018216355.tif 000006
【図５】
2018216355.tif 000007
【図６】
2018216355.tif 000008
【図７】
2018216355.tif 000009
【図８】
2018216355.tif 000010
【図９】
2018216355.tif 000011
【図１０】
2018216355.tif 000012
【図１１】
2018216355.tif 000013
【図１２】
2018216355.tif 000014
【図１３】
2018216355.tif 000015
【図１４】
2018216355.tif 000016
【図１５】
2018216355.tif 000017
【図１６】
2018216355.tif 000018
【図１７】
2018216355.tif 000019
【図１８】
2018216355.tif 000020
【国際調査報告】
2018216355.tif 000021
2018216355.tif 000022
2018216355.tif 000023
2018216355.tif 000024