(57)【要約】      （修正有）【課題】複数のパフォーマユーザの端末から配信される仮想現実空間画像を要素として仮想現実空間画像を生成するに際して、画像品質を向上させる方法を提供する。【解決手段】ユーザ端末に表示される仮想現実空間を提供する方法は、他の複数のユーザ端末から送信された入力データに基づいて、当該複数のユーザ端末の各々に対応するキャラクタを制御するステップと、当該仮想現実空間を撮像するステップと、当該撮像された仮想現実空間の画像を生成するステップとを含む。【選択図】図６
2020064534.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ端末に表示される仮想現実空間を提供する方法であって、
他の複数のユーザ端末から送信された入力データに基づいて、当該複数のユーザ端末の各々に対応するキャラクタを制御するステップと、
当該仮想現実空間を撮像するステップと、                                                                                         
当該撮像された仮想現実空間の画像を生成するステップと、
を含む方法。
【請求項２】
さらに、前記撮像された仮想現実空間の画像にポストエフェクト処理を実行するステップを含む、請求項１に記載の方法。
【請求項３】
前記入力データは、前記他の複数のユーザ端末と通信する、ユーザが装着するヘッドマウントディスプレイの姿勢に関する情報を含む、請求項１に記載の方法。
【請求項４】
前記撮像された仮想現実空間の解像度は、前記他の複数のユーザ端末の各々により提供され、前記他の複数の各々により表示される仮想現実空間の画像の解像度より高いことを特徴とする、請求項１に記載の方法。
【請求項５】
さらに、前記撮像された仮想現実空間の画像を、前記ユーザ端末とは異なる装置に配信するステップを含む、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想現実空間の提供方法に関する。詳しくは、ヘッドマウントディスプレイ（以下、「ＨＭＤ」という。）等のウェアラブルデバイスを介して制御されるキャラクタ画像を含む仮想現実空間の提供方法に関する。
【背景技術】
【０００２】
最近、パフォーマユーザ（演者）が、Ｏｃｕｌｕｓ  Ｌｉｆｔ（登録商標）に代表されるようなＨＭＤを頭部に装着して頭部の姿勢を変化させ、また、把持したコントローラの姿勢を変化し、操作することで、仮想現実空間に表示されるキャラクタの姿勢を制御することが可能な技術が提供されている。
【０００３】
このような技術が普及することにより、パフォーマユーザは、基本的に、ＨＭＤと個人ＰＣさえあれば、キャラクタを含む仮想現実空間画像を生成・表示させることが可能となり、また、動画配信サーバにアップロードすることが可能となる。
【０００４】
このように、簡易な方式で、パフォーマユーザ個人が、自ら作成した動画を動画配信サーバにアップロードすることは可能になったものの、一般にユーザ個人のＰＣは性能が高いものではないため、その分動画の品質は低解像度のものとなる。
【０００５】
ここで、ユーザに映像データを配信する際に、配信装置において、全体映像データのうち、ユーザに提示する映像領域である現在提示領域を含む部分映像については高解像度の映像データを配信し、その他の部分映像については低解像度の映像データで配信し、高解像度範囲中の現在注視領域の位置関係から頭部姿勢遷移方向の映像領域の広さを特定することで、広さに応じて送信遅延幅を制御する技術が開示されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１６−１６７６９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１は、高解像度化された仮想現実空間映像を、ＨＭＤを装着するユーザに配信する技術に関するものであり、パフォーマユーザが演じたキャラクタ画像を含む仮想現実空間画像の品質の課題を解決するものではない。特に、バーチャルルームのように、複数のパフォーマユーザから提供されるキャラクタ等を含む仮想現実空間画像を部品として生成される仮想現実空間画像を提供するような場面において、各々のパフォーマユーザの端末から配信される仮想現実空間画像の品質は、その配信時点で決まるため、最終的に生成される仮想現実空間画像を全体的に高品質化することは特許文献１の方法で実現することは難しい。
【０００８】
そこで、本発明は、複数のパフォーマユーザの端末から配信される仮想現実空間画像を要素として仮想現実空間画像を生成するに際して、画像品質を向上させるための方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一の実施形態において、本発明の一の実施形態において、ユーザ端末に表示される仮想現実空間を提供する方法であって、他の複数のユーザ端末から送信された入力データに基づいて、当該複数のユーザ端末の各々に対応するキャラクタを制御するステップと、当該仮想現実空間を撮像するステップと、当該撮像された仮想現実空間の画像を生成するステップとを含む。
【発明の効果】
【００１０】
本発明によれば、複数のパフォーマユーザの端末から配信される仮想現実空間画像を要素として仮想現実空間画像を生成するに際して、画像品質を向上させるための方法を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係るシステム構成図を示す。
【図２】第１の実施形態に係るサーバの機能構成図を示す。
【図３】第１の実施形態に係るパフォーマユーザ端末の機能構成図を示す。
【図４】第１の実施形態に係るＨＭＤの機能構成図を示す。
【図５】第１の実施形態に係るユーザ端末の機能構成図を示す。
【図６】第１の実施形態に係る仮想現実空間の提供方法を説明するフローチャートを示す。
【図７】第１の実施形態に係るパフォーマユーザ端末の制御部及びストレージの詳細を示す。
【図８】第１の実施形態に係るサーバの制御部の詳細を示す。
【図９】第１の実施形態に係るユーザ端末の制御部及びストレージの詳細を示す。
【図１０】第２の実施形態に係るシステム構成図を示す。
【図１１】第２の実施形態に係る仮想現実空間の提供方法を説明するフローチャートを示す。
【図１２】第２の実施形態に係るユーザ端末の制御部及びストレージの詳細を示す。
【００１２】
＜第１実施形態＞
本発明の第１実施形態に係る仮想現実空間の提供方法を、以下の図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００１３】
図１に、本発明の第１の実施形態に係るシステム構成図を示す。図１に示すように、本実施形態に係るシステムは、サーバ１と、サーバ１に、インターネット等のネットワークを介して接続される、パフォーマユーザ端末２Ａとパフォーマユーザ端末２Ｂとを含む。図１には、説明の便宜上パフォーマユーザ端末２Ａ、２Ｂ（以下、ユーザ端末２と総称する）が図示されているが、任意の数のユーザ端末がネットワークに接続可能である。
【００１４】
パフォーマユーザ端末２Ａ、２Ｂに関連付けられるパフォーマユーザは各々、ＨＭＤ３Ａ、３Ｂを頭部に装着し、また、（図示しない）コントローラを把持し、頭部またはコントローラの姿勢を変化させ、また、コントローラの所定の操作部（ボタン等）を操作することで、その入力データを、ＨＭＤ３Ａ、３Ｂに各々有線または無線のネットワークで接続されるユーザ端末２Ａ、２Ｂに送信し、その入力データに基づいて、ユーザ端末２Ａ、２Ｂは各々、仮想現実空間に配置されるアニメキャラクタ等の３Ｄオブジェクトの動きを制御し、その３Ｄオブジェクトが配置された仮想現実空間の画像を生成する。
【００１５】
ユーザ端末４もまた、サーバ１及びユーザ端末２Ａ、２Ｂとネットワークを介して接続される。ユーザ端末４は、通常、パフォーマユーザ端末２Ａ、２Ｂを介して取得する入力データを基に、各々の端末に関連付けられるパフォーマユーザが演じるキャラクタを制御し、キャラクタが含まれる仮想現実空間の画像をその表示部に表示する。すなわち、ユーザ端末４に関連付けられるユーザは、ユーザ端末４に表示される仮想現実空間を通じて、パフォーマユーザ端末２Ａ、２Ｂの各々に関連付けられるパフォーマユーザが演じるキャラクタに会うことができる。
【００１６】
なお、図１において、サーバ１をシステムの構成要素として記載しているが、ユーザ端末４が、ユーザ端末２Ａ、２Ｂと直接または間接に通信する構成であれば良いので、省略することもできる。また、ＨＭＤ３Ａ、３Ｂに替えて、ジャイロセンサや加速度センサ等の各種センサが内蔵され。ユーザの姿勢を検出可能な端末であれば、他のウェアラブルデバイスやスマートフォン等を適用することもできる。また、ＨＭＤ３Ａ、３Ｂに替えて、光学式のモーションキャプチャ技術を適用することもできる。本技術の例として、パフォーマユーザがマーカを備えた全身スーツを装着し、部屋や撮影スタジオ等の一定の空間にマーカをトラッキングする、デジタルカメラ等の複数のトラッカを配置することで、トラッカがマーカの反射を捕捉し、フレーム毎のマーカ位置の変化を分析することで、演者の時系列の動きを空間的表現として構成する方法を適用することができる。この空間的表現を仮想現実空間におけるキャラクタの制御に適用することで、パフォーマユーザの動きをキャラクタの動きとして再現することが可能となる。
【００１７】
図２は、第１実施形態に係るサーバの機能構成図を示す。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
【００１８】
図示されるように、サーバ１は、データベース(図示せず)と接続されシステムの一部を構成する。サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
【００１９】
サーバ１は、少なくとも、制御部１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。
【００２０】
制御部１０は、サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えば制御部１０はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開されたプログラム等を実行して各情報処理を実施する。
【００２１】
メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
【００２２】
ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベース（図示せず）がストレージ１２に構築されていてもよい。
【００２３】
送受信部１３は、サーバ１をネットワークに接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよい。
【００２４】
入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
【００２５】
バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
【００２６】
図３は、第１実施形態に係るパフォーマユーザ端末の機能構成図を示す。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
【００２７】
パフォーマユーザ端末２は、前述の通り、様々な情報端末や汎用コンピュータとすることができるか、以下、スマートフォンを例に説明する。ユーザ端末２は、少なくとも、制御部２０、メモリ２１、ストレージ２２、送受信部２３、入力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。
【００２８】
制御部２０は、ユーザ端末２全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えば制御部２０はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、ストレージ２２に格納されメモリ２１に展開されたプログラム等を実行して各情報処理を実施する。
【００２９】
メモリ２１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ２１は、制御部２０のワークエリア等として使用され、また、ユーザ端末２の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
【００３０】
ストレージ２２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベース（図示せず）がストレージ２２に構築されていてもよい。
【００３１】
送受信部２３は、ユーザ端末２をネットワークに接続する。なお、送受信部２３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよい。
【００３２】
入出力部２４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
【００３３】
バス２５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
【００３４】
パフォーマユーザ端末２は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
【００３５】
図４は、第１の実施形態に係るＨＭＤの機能構成図を示す。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
【００３６】
図４に示すように、ＨＭＤ３は、少なくとも、制御部３０、メモリ３１、ストレージ３２、表示制御部３３、表示部３４、送受信部３５、入出力部３６等を備え、これらはバス４０を通じて相互に電気的に接続される。
【００３７】
制御部３０は、ＨＭＤ３全体の動作を制御し、各要素間におけるデータの送受信の制御、及びゲーム処理に係るアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えば制御部３０はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、ストレージ３２に格納されメモリ３１に展開されたプログラム等を実行して各情報処理を実施する。
【００３８】
メモリ３１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ３１は、プロセッサ３０のワークエリア等として使用され、また、ゲームサーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
【００３９】
ストレージ３２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベース（図示せず）がストレージ３２に構築されていてもよい。
【００４０】
画像制御部３３は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、主に画像処理に係る演算処理を実行する。画像制御部１３は、制御部１０により生成されたコンテンツデータを、各種オブジェクトの画像と合成し、仮想現実空間を構成する仮想現実空間画像を生成する。
【００４１】
表示部３４は、画像制御部３３から入力される画像信号に基づいて仮想現実空間画像を表示する。また、表示部３４は、例えば、ＬＣＤまたは有機ＥＬ等のディスプレイである。表示部３４には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をユーザに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。
【００４２】
送受信部３５は、ＨＭＤ３をネットワークに接続する。なお、送受信部１５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよい。送受信部３５は、（図示しない）コントローラからの指示信号をネットワーク経由で受信する。
【００４３】
入出力部３６は、画像生成装置や表示装置等を外部に設ける場合、画像信号や音信号等を入出力するためのインターフェースである。本実施形態においては、ユーザ端末２との間に接続を確立するためのインターフェースとすることもできる。
【００４４】
さらに、ＨＭＤ３は、センサ３７を備えることができる。センサとしては、ユーザの頭部の向きや傾きといった動きを検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。加速度センサは、加速度（単位時間当たりの速度の変化）を検出する。その中で、加速度センサは、３軸方向（ｘ、ｙ、ｚ方向）の加速度を検出することができる。例えば、ＨＭＤの前後方向をｘ軸、左右方向をｙ軸、上下方向をｚ軸とし、前方方向をｘ軸正方向、左方向をｙ軸正方向、下方向をｚ軸方向とすると、加速度センサ３０は、各方向の加速度を検出するとともに、ｘ軸回りの回転角（ロール角）、ｙ軸回りの回転角（ピッチ角）、ｚ軸回りの回転角（ヨー角）を検出する。
【００４５】
さらに、またはセンサ３７に代えて、ＨＭＤ３は、（図示しない）複数の光源（例えば、赤外光ＬＥＤ、可視光ＬＥＤ）を備えることもでき、ＨＭＤ３の外部（例えば、室内等）に設置されたカメラ（例えば、赤外光カメラ、可視光カメラ）がこれらの光源を検出することで、特定の空間におけるＨＭＤ３の位置、向き、傾きを検出することができる。または、同じ目的で、ＨＭＤ３に、ＨＭＤ３に設置された光源を検出するためのカメラを備えることもできる。
【００４６】
さらに、ＨＭＤ３は、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、ユーザの左目及び右目の視線方向及び注視点を検出するために用いられる。アイトラッキング・センサとしては様々な方式が考えられるが、例えば、左目および右目に弱い赤外光を照射してできる角膜上の反射光の位置を基準点とし、反射光の位置に対する瞳孔の位置により視線方向を検出し、左目及び右目の視線方向の交点を注視点として検出する方法などが考えられる。
【００４７】
さらに、スピーカ３８は、（図示しない）音生成部から入力される楽曲データ等の音信号を出力する。
【００４８】
さらに、マイク３９は、パフォーマユーザの声を集音する。
【００４９】
さらに、バス４０は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
【００５０】
なお、本実施形態のように、画像生成にあたり、ＨＭＤ３は、ユーザ端末２等の外部処理装置との間でデータを送受信することで、外部処理装置にデータを処理させることもできるし、外部処理装置に依存せずに、ＨＭＤ単体として、内蔵されたプログラムを実行する、スタンドアローン型の装置として機能することもできる。
【００５１】
図５は、第１実施形態に係るユーザ端末の機能構成図を示す。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
【００５２】
ユーザ端末４は、前述の通り、様々な情報端末や汎用コンピュータとすることができるか、以下、スマートフォンを例に説明する。ユーザ端末４は、少なくとも、制御部４０、メモリ４１、ストレージ４２、送受信部４３、入力部４４等を備え、これらはバス4７を通じて相互に電気的に接続される。
【００５３】
制御部４０は、ユーザ端末４全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えば制御部２０はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、ストレージ４２に格納されメモリ４１に展開されたプログラム等を実行して各情報処理を実施する。
【００５４】
メモリ４１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ２１は、制御部２０のワークエリア等として使用され、また、ユーザ端末２の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
【００５５】
ストレージ４２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベース（図示せず）がストレージ２２に構築されていてもよい。
【００５６】
送受信部４３は、ユーザ端末２をネットワークに接続する。なお、送受信部２３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよい。
【００５７】
入出力部４４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
【００５８】
画像制御部４５は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、主に画像処理に係る演算処理を実行する。画像制御部４５は、制御部４０により生成されたコンテンツデータを、各種オブジェクトの画像と合成し、仮想現実空間を構成する仮想現実空間画像を生成する。
【００５９】
表示部４６は、画像制御部４５から入力される画像信号に基づいて仮想現実空間画像を表示する。また、表示部３４は、例えば、ＬＣＤまたは有機ＥＬ等のディスプレイである。
【００６０】
バス４７は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
【００６１】
ユーザ端末２は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
【００６２】
図６は、第１の実施形態に係る仮想現実空間の提供方法を説明するフローチャートを示す。図示の通り、パフォーマユーザ端末２、サーバ１及びユーザ端末４において分担して実行され、例えば、ユーザ端末２においては、メモリ２２に展開されるプログラムを制御部２１が実行することで実現され、また、サーバ１及びユーザ端末４においても各々メモリに展開されるプログラムを制御部が実行することで実現される。ここで、パフォーマユーザ端末２については、図１に示すパフォーマユーザ端末２Ａ、２Ｂのように、複数のパフォーマ端末において処理が実行され、かつ、情報をサーバ１が受信することが想定されるが、説明の便宜上、パフォーマユーザ端末２で実行される処理及び情報として説明する。また、図中、パフォーマユーザ端末２は、ＨＭＤ３により処理を実現することもできる。本方法の説明に当たり、パフォーマユーザ端末２、サーバ１及びユーザ端末４の構成を、図７乃至図９を参照しながら説明する。
【００６３】
まず、図７に示す、パフォーマユーザ端末２の制御部２０の入力検出部５１は、ユーザ入力を受信する（Ｓ１０１）。より具体的には、入力検出部５１は、送受信部２３を介して、ＨＭＤ３のセンサ３７または（図示しない）コントローラから検出されるデータ（例えば、加速度、動き、傾き等）（さらに、ＧＰＳ情報等）を受信する。ここで、パフォーマユーザ端末２は、送受信部２３を介して、サーバ１にユーザ入力情報を送信する。また、パフォーマユーザ端末２が、他のパフォーマユーザ端末と直接またはサーバ１を介して接続している場合、他のパフォーマユーザ端末からパフォーマユーザの入力情報を受信する。
【００６４】
続いて、パフォーマユーザ端末２の制御部２０のキャラクタ制御部５２は、ユーザ入力情報を基に、キャラクタ制御を実行する（Ｓ１０２）。より具体的には、キャラクタ制御部５２は、センサ３７等から検出されるデータ（例えば、ＨＭＤ３またはコントローラの加速度、動き、傾き等）を基にＨＭＤ３またはコントローラの位置及び姿勢を算出し、例えば、ＨＭＤ３のセンサ２７から入力されたデータがパフォーマユーザの頭部の向きや傾き（例えば、ユーザの頭部を基準としたｘｙｚ軸まわりの回転角）に関する場合、キャラクタ制御部５２は、キャラクタの３Ｄオブジェクトを構成する頭部の動きを変化させることができる。動きを変化させる具体的な処理として、例えば、ＨＭＤ３のジャイロセンサにより検出されたユーザの頭部の向きや傾き等の動きに関する情報を、オブジェクトの関節の動きや制約を規定したボーン構造における頭部の動きに変換し、ボーン構造における頭部の動きをキャラクタの３Ｄオブジェクトの頭部の動きに適用することで、キャラクタの動きを制御することができる。または、ユーザ入力内容が、ＨＭＤ３のマイク３９から入力された音声である場合、キャラクタ制御部５２は、その声の大きさに応じて、キャラクタの口の大きさを制御したり、キャラクタの顔の各パーツ（例えば、眼、眉、鼻、口等）の動きを制御する表情パラメータをランダムに変更するよう制御することができる。ここで、パフォーマユーザ端末２が、他のパフォーマユーザ端末からパフォーマユーザの入力情報を受信した場合のキャラクタ制御処理も、他のパフォーマユーザに対応するキャラクタに対して同様に行われる。
【００６５】
また、パフォーマユーザ端末２の制御部２０の画像生成部５３は、仮想現実空間画像を生成する（Ｓ１０３）。より具体的には、画像生成部５３は、３Ｄ形状データを所定の空間にマッピングし、キャラクタ画像データから変換されたテクスチャデータを３Ｄ形状にマッピングさせることで、キャラクタの３Ｄオブジェクトを生成する。所定の空間背景画像にキャラクタの３Ｄオブジェクトを重畳することで、仮想現実空間の画像が生成される。同様の方法で、他のパフォーマユーザに対応するキャラクタを仮想現実空間した画像を生成することもでき、仮想現実空間内に配置される仮想カメラの位置及びアングルによって、自パフォーマユーザに対応するキャラクタの視点から、他のパフォーマユーザに対応するキャラクタを含む仮想現実空間を俯瞰した画像を生成するか、または、仮想現実空間内において、自パフォーマユーザに対応するキャラクタ（及び他のパフォーマユーザに対応するキャラクタ）を含む仮想現実空間を俯瞰する画像を生成するか、を制御することができる。
【００６６】
続いて、制御部２０の画像生成部５３は、生成した仮想現実空間の画像データを、入出力部２４を介してＨＭＤ３に送信することで、ＨＭＤ３の表示部３４に表示する処理を実行する（Ｓ１０４）。ここで、前述の通り、自パフォーマユーザに対応するキャラクタ及び／または他のパフォーマユーザに対応するキャラクタを含む画像を表示することもできる。
【００６７】
続いて、図８に示す、サーバ１の制御部１０の入力受信部１０は、パフォーマユーザ端末２からユーザ入力情報を受信する（Ｓ１０５）。前述の通り、ユーザ入力情報として、例えば、ＨＭＤ３のセンサ３７または（図示しない）コントローラから検出されるデータ（例えば、加速度、動き、傾き等）（さらに、ＧＰＳ情報等）等が含まれる。
【００６８】
次に、サーバ１の制御部１０の入力送信部７２は、送受信部１３を介して、受信したユーザ入力情報をユーザ端末４に送信する（Ｓ１０６）。同様に、サーバ１は、例えば、パフォーマユーザ端末２とは異なる他のユーザ端末から受信したユーザ入力情報を、パフォーマユーザ端末２に送信することもできる。このように、本実施形態において、サーバ１は、受信したユーザ入力情報を送信する中継装置として機能し、画像生成及び画像表示は個々のユーザ端末で実行される。
【００６９】
次に、図９に示す、ユーザ端末４の制御部４０のユーザ入力受信部９１は、サーバ１を介して、パフォーマユーザ端末２（及び他のパフォーマユーザ端末と接続する場合は、当該他のパフォーマユーザ端末）からユーザ入力情報を受信する（Ｓ１０７）。
【００７０】
続いて、ユーザ端末４の制御部４０のキャラクタ制御部９２は、ユーザ入力情報を基に、キャラクタ制御を実行する（Ｓ１０８）。キャラクタ制御の方法は、Ｓ１０２においてした説明と同様であるので省略する。
【００７１】
続いて、ユーザ端末４の制御部４０の画像生成部９３は、仮想現実空間画像を生成する（Ｓ１０９）。仮想現実空間画像の生成方法は、Ｓ１０３においてした説明と同様であるので省略するが、画像生成処理については、本制御部４０による処理に替えて、または、協働して、ユーザ端末４の表示制御部４５（例えば、ＧＰＵ）により処理を実行させることができる。これにより、テクスチャマッピングやレンダリング出力を始めとした画像生成に特化したリソースをＧＰＵに持たせることができ、ＣＰＵへの負荷を軽減することができるとともに、ＧＰＵによる処理の高速化を図ることができる。また、ＧＰＵにより高解像度でのレンダリングを実現することができる。
【００７２】
続いて、ユーザ端末４の制御部４０の画像生成部９３は、生成した仮想現実空間の画像データを、ユーザ端末４の表示部４６に表示する処理を実行する（Ｓ１１０）。この時点で、表示される仮想現実空間の画像は、ユーザ端末２により表示される仮想現実空間の画像より高画質の画像となる。
【００７３】
続いて、ユーザ端末４の制御部４０の画像撮像部９４は、表示された仮想現実空間の画像を撮像する（Ｓ１１１）。より具体的には、画像撮像部９４は、仮想現実空間内に配置された仮想カメラ（例えば、一人称視点から仮想現実空間内における複数のパフォーマユーザを俯瞰する仮想カメラ）により仮想現実空間を撮像する。本処理により、高画質で表示された仮想現実空間の画像を捕捉し、また、このような高画質化された画像をストレージ４２の画像記憶部１０１に記憶することができる。
【００７４】
続いて、ユーザ端末４の制御部４０の画像生成部９３は、仮想現実空間の画像に対してポストエフェクト処理を行う（Ｓ１１２）。ポストエフェクトとして、ユーザ端末４のカメラに捕捉した画像全体に対し、色調の補正（カラーグレーディング）、発光処理（ブルーム）効果を付与する。また付与効果は仮想現実空間の背景によってより最適な処理効果を付与する。
【００７５】
そして、ユーザ端末４の制御部４０の画像生成部９３は、表示部４６にポストエフェクト処理を行った画像を表示する処理を行う（Ｓ１１３）。
【００７６】
以上のように本実施形態において、パフォーマユーザ端末とは異なる、高性能なユーザ端末において、複数のパフォーマユーザに対応するキャラクタが配置される仮想現実空間の画像を撮像することで、パフォーマユーザ端末単体で実現される仮想現実空間の画像に比べて高画質な仮想現実空間の画像を生成することが可能となる。
【００７７】
さらに、高性能なユーザ端末において、仮想現実空間画像にポストエフェクト処理を行うことで、さらに高品質な仮想現実空間の画像を生成することが可能となる。
【００７８】
＜第２の実施形態＞
図１０は、第２の実施形態に係るシステム構成図を示す。図１０に示す通り、本実施
形態においては、第１の実施形態に加え、システムにおいて、動画配信サーバ５を有することを特徴とする。すなわち、パフォーマユーザ端末２及びユーザ端末４は、生成した画像を、ネットワークを介して動画配信サーバにアップロードすることで、動画配信サービスを通じて、生成した画像を配信することが可能となる。他のシステム構成は第１の実施形態と同じであるため説明を省略する。
【００７９】
図１１に、第２の実施形態に係る仮想現実空間の提供方法を説明するフローチャートを示す。本処理は、図示の通り、ユーザ端末４において実行され、例えば、ユーザ端末４において、メモリ４２に展開されるプログラムを制御部４１が実行することで実現される。本方法の説明に当たり、ユーザ端末４の構成を、図１２を参照しながら説明する。
【００８０】
図１１に示す仮想現実空間の提供方法について、Ｓ２０１からＳ２０６に係る処理は第１の実施形態により示される処理と同じであるため、説明を省略する。
【００８１】
Ｓ２０６において、ユーザ端末４の制御部４０の画像生成部９４は、ポストエフェクト処理が行われた仮想現実空間の画像を、ストレージ４２の画像記憶部１０１に格納する。
【００８２】
そして、図１２に示す、ユーザ端末４の制御部４０の画像配信部９５は、ポストエフェクト処理が行われた仮想現実空間の画像を動画配信サーバ５に配信（アップロード）する処理を行う（Ｓ２０７）。ここで、画像配信部９５は、動画配信サーバに替えて、コンテンツデリバリーサービスのようなコンテンツを格納するサーバに画像を配信することもできる。配信された画像は、各動画配信サービスを通じて所定のユーザに配信される。
【００８３】
本実施形態において、動画配信サーバ５に配信する画像を、ポストエフェクト前の、高性能ユーザ端末によって撮像された仮想現実空間の画像とすることもできる。
【００８４】
以上のように、本実施形態において、パフォーマユーザ端末とは異なる、高性能なユーザ端末において、複数のパフォーマユーザに対応するキャラクタが配置される仮想現実空間の画像を撮像することで、パフォーマユーザ端末単体で実現される仮想現実空間の画像に比べて高画質な仮想現実空間の画像を生成することが可能となり、かつ、高画質化された画像を動画配信サーバにアップロードすることが可能となるため、高画質化された画像を多数のユーザに共有することができる。さらに、ポストエフェクト処理された画像を動画配信サーバにアップロードすることが可能になるため、さらに高品質な画像を多数のユーザに共有することができる。
【００８５】
上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
【符号の説明】
【００８６】
１  サーバ
２  パフォーマユーザ端末
３  ＨＭＤ
４  ユーザ端末
５  動画配信サーバ
【図１】
2020064534.tif 000003
【図２】
2020064534.tif 000004
【図３】
2020064534.tif 000005
【図４】
2020064534.tif 000006
【図５】
2020064534.tif 000007
【図６】
2020064534.tif 000008
【図７】
2020064534.tif 000009
【図８】
2020064534.tif 000010
【図９】
2020064534.tif 000011
【図１０】
2020064534.tif 000012
【図１１】
2020064534.tif 000013
【図１２】
2020064534.tif 000014