(57)【要約】【課題】仮想空間において、パフォーマとユーザとのインタラクションをより効果的に促進できる方法を提供する。【解決手段】パフォーマユーザ及び視聴ユーザを含む、複数のユーザに対し、当該パフォーマユーザによって演じられるキャラクタを含む所定のコンテンツを有する仮想空間を提供する方法であって、制御装置を介してパフォーマユーザの入力を検出するステップと、前記パフォーマユーザの入力に基づいて、キャラクタの動作及び表情のいずれかを制御するステップと、前記パフォーマユーザの入力に基づいて、キャラクタの画像の一部に変更を加えるステップと、有する。【選択図】図８
2020101902.tif 000002
【特許請求の範囲】
【請求項１】
パフォーマユーザ及び視聴ユーザを含む、複数のユーザに対し、当該パフォーマユーザによって演じられるキャラクタを含む所定のコンテンツを有する仮想空間を提供する方法であって、
制御装置を介してパフォーマユーザの入力を検出するステップと、 
前記パフォーマユーザの入力に基づいて、キャラクタの動作及び表情のいずれかを制御するステップと、
前記パフォーマユーザの入力に基づいて、キャラクタの画像の一部に変更を加えるステップと、有する仮想空間を提供する方法。
【請求項２】
請求項１に記載の仮想空間を提供する方法であって、
前記変更を加えたキャラクタの画像を送信するステップを、更に含む仮想空間を提供する方法。
【請求項３】
請求項１に記載の仮想空間を提供する方法であって、
前記パフォーマユーザの入力は、座標入力装置により座標を入力することを含む、仮想空間を提供する方法。
【請求項４】
請求項１に記載の仮想空間を提供する方法であって、
前記パフォーマユーザの入力は、座標入力装置の表示部に表示される前記キャラクタの画像に描画することを含む、仮想空間を提供する方法。
【請求項５】
請求項１に記載の仮想空間を提供する方法であって、
複数のオブジェクトを提供するステップと、
前記複数のユーザのうち、第１のユーザから、前記複数のオブジェクトのうち一のオブジェクトの選択を受け付けるステップと、
前記一のオブジェクトを仮想空間に配置するステップと、
前記パフォーマユーザの入力は、前記キャラクタと前記一のオブジェクトとを相互に作用させることを含む、仮想空間を提供する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のユーザに対する仮想空間を提供する方法に関する。詳しくは、パフォーマによって演じられるキャラクタを含む所定のコンテンツを有する仮想空間を提供する方法に関する。
【背景技術】
【０００２】
モーションキャプチャは、現実空間におけるパフォーマユーザ（以下、「パフォーマ」）の動きをデジタル的にキャプチャする技術であり、キャプチャした動きは、動画などのコンピュータアニメーションおよびゲーム等におけるキャラクタの動きの表現に利用される。
【０００３】
また、近年、パフォーマが装着したヘッドマウントディスプレイ（以下、「ＨＭＤ」）の動きや、パフォーマが把持するコントローラによる入力を介した、仮想空間におけるキャラクタの制御方法が考案されている。
【０００４】
また、ライブ動画等のコンテンツをユーザに配信するコンテンツ共有サービスが提供されており、このようなコンテンツ共有サービスにおいて、コンテンツの投稿者やパフォーマへの肯定的な評価を表現するためのアイテムの取得や購入を促すための仕組みが開示されている。（例えば、特許文献１）
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−０９０５２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記文献に開示される技術は、ユーザの承認欲求又はユーザ同士の競争意識を芽生えさせるため、ユーザが購入したアイテムの量によってユーザアバタの仮想空間内における表示位置を決定する、という仕組みを提供している。しかしながら、本技術によって、ユーザアバタの表示位置をパフォーマにより近い位置に表示させることで、ユーザの承認欲求を満足させることはできるものの、そこにパフォーマとのインタラクションやコミュニケーションは存在しない。
【０００７】
そこで、本発明は、仮想空間において、パフォーマとユーザとのインタラクションをより効果的に促進できる方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明における一実施形態により提供される、パフォーマユーザ及び視聴ユーザを含む、複数のユーザに対し、当該パフォーマユーザによって演じられるキャラクタを含む所定のコンテンツを有する仮想空間を提供する方法は、制御装置を介してパフォーマユーザの入力を検出するステップと、 前記パフォーマユーザの入力に基づいて、キャラクタの動作及び表情のいずれかを制御するステップと、前記パフォーマユーザの入力に基づいて、キャラクタの画像の一部に変更を加えるステップと、有する。
【発明の効果】
【０００９】
本発明によれば、仮想空間において、パフォーマとユーザとのインタラクションやコミュニケーションをより効果的に促進することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態にかかるヘッドマウントディスプレイ１１０の外観の模式図を示す。
【図２】第１の実施形態にかかるコントローラ２１０の外観の模式図を示す。
【図３】第１の実施形態にかかるＨＭＤシステム３００の構成図を示す。
【図４】第１の実施形態にかかるＨＭＤ１１０の機能構成図を示す。
【図５】第１の実施形態にかかるコントローラ２１０の機能構成図を示す。
【図６】第１の実施形態にかかる画像生成装置３１０の機能構成図を示す。
【図７】第１の実施形態にかかる、仮想空間を提供する方法を示すフローチャートを示す。
【図８】第１の実施形態にかかる、メイキャップ処理を示すフローチャートを示す。
【図９】第１の実施形態にかかる、ユーザに対して提供される仮想空間の一例を示す。
【図１０】第１の実施形態にかかる、ユーザに対して提供される仮想空間の他の一例を示す。
【図１１】第１の実施形態にかかる、パフォーマユーザによるキャラクタ描画の一例を示す。
【図１２】第１の実施形態にかかる、パフォーマユーザによるキャラクタ描画の他の一例を示す。
【図１３】第２の実施形態にかかる、ユーザに仮想空間を提供する方法を示すフローチャートを示す。
【図１４】第２の実施形態にかかる、ユーザに提供される仮想空間の一例を示す。
【図１５】第２の実施形態にかかる、ユーザに提供される仮想空間の他の一例を示す。
【図１６】第２の実施形態において、ユーザに表示される仮想空間のさらに他の一例を示す。
【００１１】
＜実施形態１＞
本発明の一実施形態に係るヘッドマウントディスプレイシステムを制御するプログラムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００１２】
図１は、本実施形態にかかるヘッドマウントディスプレイ（以下：ＨＭＤ）１１０の外観の模式図を示す。ＨＭＤ１１０はパフォーマの頭部に装着され、パフォーマの左右の眼前に配置されるよう表示パネル１２０を備える。表示パネルとしては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、より没入感を提供可能な非透過型の表示パネルを例示する。表示パネル１２０には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をパフォーマに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。
【００１３】
さらに、ＨＭＤ１１０の筐体部１３０は、センサ１４０を備える。センサは、パフォーマの頭部の向きや傾きといった動きを検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。パフォーマの頭部の垂直方向をＹ軸とし、Ｙ軸と直交する軸のうち、表示パネル１２０の中心とパフォーマとを結ぶ、パフォーマの前後方向に相当する軸をＺ軸とし、Ｙ軸及びＺ軸と直交し、パフォーマの左右方向に相当する軸をＸ軸とするとき、センサ１４０は、Ｘ軸まわりの回転角（いわゆる、ピッチ角）、Ｙ軸まわりの回転角（いわゆる、ヨー角）、Ｚ軸まわりの回転角（いわゆる、ロール角）を検出することができる。
【００１４】
さらに、またはセンサ１４０に代えて、ＨＭＤ１１０の筐体部１３０は、複数の光源１５０（例えば、赤外光ＬＥＤ、可視光ＬＥＤ）を備えることもでき、ＨＭＤ１１０の外部（例えば、室内等）に設置されたカメラ（例えば、赤外光カメラ、可視光カメラ）がこれらの光源を検出することで、特定の空間におけるＨＭＤ１１０の位置、向き、傾きを検出することができる。または、同じ目的で、ＨＭＤ１１０に、ＨＭＤ１１０の筐体部１３０に設置された光源を検出するためのカメラを備えることもできる。
【００１５】
さらに、ＨＭＤ１１０の筐体部１３０は、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、パフォーマの左目及び右目の視線方向及び注視点を検出するために用いられる。アイトラッキング・センサとしては様々な方式が考えられるが、例えば、左目および右目に弱い赤外光を照射してできる角膜上の反射光の位置を基準点とし、反射光の位置に対する瞳孔の位置により視線方向を検出し、左目及び右目の視線方向の交点を注視点として検出する方法などが考えられる。
【００１６】
図２は、本実施形態にかかるコントローラ２１０の外観の模式図を示す。コントローラ２１０により、仮想空間内において、パフォーマが所定の入力を行うことをサポートすることができる。コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができる。左手用コントローラ２２０及び右手用コントローラ２３０は、各々操作用トリガーボタン２４０、赤外線ＬＥＤ２５０、センサ２６０、ジョイスティック２７０、メニューボタン２８０を有することができる。
【００１７】
操作用トリガーボタン２４０は、コントローラ２１０のグリップ２３５を把持したときに、中指及び人差し指でトリガーを引くような操作を行うことを想定した位置に２４０ａ、２４０ｂとして配置される。コントローラ２１０の両側面から下方にリング状に形成されるフレーム２４５には、複数の赤外線ＬＥＤ２５０が備えられ、コントローラ外部に備えられるカメラ（図示せず）により、これらの赤外線ＬＥＤの位置を検出することで、特定の空間におけるコントローラ２１０の位置、向き及び傾きを検出することができる。
【００１８】
また、コントローラ２１０は、コントローラ２１０の向きや傾きといった動きを検出するために、センサ２６０を内蔵することができる。センサ２６０として、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、コントローラ２１０の上面には、ジョイスティック２７０及びメニューボタン２８０を備えることができる。ジョイスティック２７０は、基準点を中心に３６０度方向に動かすことができ、コントローラ２１０のグリップ２３５を把持したときに、親指で操作されることが想定される。メニューボタン２８０もまた同様に、親指で操作されることが想定される。さらに、コントローラ２１０は、コントローラ２１０を操作するパフォーマの手に振動を与えるためのバイブレータ（図示せず）を内蔵することもできる。ボタンやジョイスティックを介したパフォーマの入力内容やセンサ等を介したコントローラ２１０の位置、向き及び傾きといった情報を出力するため、また、ホストコンピュータからの情報を受信するために、コントローラ２１０は、入出力部及び通信部を有する。
【００１９】
パフォーマがコントローラ２１０を把持し、各種ボタンやジョイスティックを操作することの有無、及び赤外線ＬＥＤやセンサにより検出される情報によって、システムはパフォーマの手の動きや姿勢を決定し、仮想空間内において擬似的にパフォーマの手を表示させ、動作させることができる。
【００２０】
図３は、本実施形態にかかるＨＭＤシステム３００の構成図を示す。ＨＭＤシステム３００は、例えば、ＨＭＤ１１０、コントローラ２１０及びホストコンピュータとして機能する画像生成装置３１０で構成することができる。さらに、ＨＭＤ１１０やコントローラ２１０の位置、向き及び傾き等を検出するための赤外線カメラ（図示せず）等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。例えば、各々の装置にＵＳＢポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、ＨＤＭＩ（登録商標）、有線ＬＡＮ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）等の有線又は無線により通信を確立することもできる。画像生成装置３１０は、ＰＣ、ゲーム機、携帯通信端末等計算処理機能を有する装置であればよい。また、画像生成装置３１０は、インターネット等のネットワークを介して４０１Ａ、４０１Ｂ、４０１Ｃ等の複数のユーザ端末と接続し、生成した画像をストリーミングまたはダウンロードの形態で送信することができる。ユーザ端末４０１Ａ等は、各々インターネットブラウザを備えるか、適切なビューワを備えることで送信された画像を再生することができる。ここで、画像生成装置３１０は、複数のユーザ端末に対し、直接画像を送信することもできるし、他のコンテンツ配信サーバを介して画像を送信することもできる。また、画像生成装置３１０により実行される処理を、HMD１１０により実行させることで、ネットワークに依存せずにHMD１１０をスタンドアローンで機能する構成とすることもできる。
【００２１】
図４は、本実施形態にかかるＨＭＤ１１０の機能構成図を示す。図１において述べたように、ＨＭＤ１１０は、センサ１４０を備えることができる。センサとしては、パフォーマの頭部の向きや傾きといった動きを検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、パフォーマの左目及び右目の視線方向及び注視点を検出するために用いられる。さらに精度よく、パフォーマの頭部の向きや傾きといった動きを検出したり、パフォーマの頭部の位置を検出したりするために、赤外光や紫外光といったＬＥＤ１５０を備えることもできる。また、ＨＭＤの外景を撮影するためのカメラ１６０を備えることができる。また、パフォーマの発話を集音するためのマイク１７０、音声を出力するためのヘッドフォン１８０を備えることもできる。なお、マイクやヘッドフォンはＨＭＤ１１０とは別個独立した装置として有することもできる。
【００２２】
さらに、ＨＭＤ１１０は、例えば、コントローラ２１０や画像生成装置３１０等の周辺装置との有線による接続を確立するための入出力部１９０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部１１５を備えることができる。センサ１４０により取得されたパフォーマの頭部の向きや傾きといった動きに関する情報は、制御部１２５によって、入出力部１９０及び／又は通信部１１５を介して画像生成装置３１０に送信される。詳細は後述するが、画像生成装置３１０において、パフォーマの頭部の動きに基づいて生成された画像は、入出力部１９０及び／又は通信部１１５を介して受信され、制御部１２５によって表示部１２０に出力される。
【００２３】
図５は、本実施形態にかかるコントローラ２１０の機能構成図を示す。図２において述べたように、コントローラ２１０は、コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができるが、いずれのコントローラにおいても、操作用トリガーボタン２４０、ジョイスティック２７０、メニューボタン２８０といった操作部２４５を備えることができる。また、コントローラ２１０は、コントローラ２１０の向きや傾きといった動きを検出するために、センサ２６０を内蔵することができる。センサ２６０として、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、複数の赤外線ＬＥＤ２５０が備えられ、コントローラ外部に備えられるカメラ（図示せず）により、これらの赤外線ＬＥＤの位置を検出することで、特定の空間におけるコントローラ２１０の位置、向き及び傾きを検出することができる。コントローラ２１０は、例えば、ＨＭＤ１１０や画像生成装置３１０等の周辺装置との有線による接続を確立するための入出力部２５５を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部２６５を備えることができる。パフォーマにより操作部２４５を介して入力された情報及びセンサ２６０によって取得されたコントローラ２１０の向きや傾きといった情報は、入出力部２５５及び／又は通信部２６５を介して画像生成装置３１０に送信される。
【００２４】
図６は、本実施形態にかかる画像生成装置３１０の機能構成図を示す。画像生成装置３１０としては、ＨＭＤ１１０やコントローラ２１０から送信された入力情報やセンサ等により取得されたパフォーマの頭部の動きやコントローラの動きや操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、ＰＣ、ゲーム機及び携帯通信端末等といった装置を使用することができる。画像生成装置３１０は、例えば、ＨＭＤ１１０やコントローラ２１０等の周辺装置との有線による接続を確立するための入出力部３２０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部３３０を備えることができる。入出力部３２０及び／又は通信部３３０を介して、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、パフォーマの頭部の動きやコントローラの動きや操作に関する情報は、制御部３４０において、パフォーマの位置、視線、姿勢等の動作、発話、操作等を含めた入力内容として検出され、パフォーマの入力内容に応じて、記憶部３５０に格納された制御プログラムを実行することで、キャラクタの制御を行い、画像を生成するといった処理がなされる。制御部３４０は、ＣＰＵで構成することもできるが、画像処理に特化したＧＰＵをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置３１０はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。
【００２５】
さらに、画像生成装置３１０の制御部３４０は、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、パフォーマの頭部の動きやパフォーマの発話、また、コントローラの動きや操作に関する情報を検出するユーザ入力検出部６１０と、予め記憶部３５０のキャラクタデータ格納部６６０に格納されたキャラクタに対して、制御プログラム格納部に格納された制御プログラムを実行するキャラクタ制御部６２０と、キャラクタ制御に基づいて画像を生成する画像生成部６３０を有する。ここでキャラクタの動きの制御については、ＨＭＤ１１０やコントローラ２１０を介して検出されたパフォーマ頭部の向きや傾き、手の動きといった情報を、人間の身体の関節の動きや制約に則って作成されたボーン構造の各部の動きに変換し、予め格納されたキャラクタデータに対して、ボーン構造を関連付けることで、ボーン構造の動きを適用させることで実現される。その他、制御部３４０は、他のユーザ端末から、仮想空間に配置するアイテムの選択を受け付けるアイテム受付部６４０を有し、また、キャラクタのテクスチャデータに対し、パフォーマユーザによる操作により修正及び更新を行うキャラクタ描画部６５０を有する。画像生成部６３０によって、図９に示されるような、キャラクタ表示領域及びユーザ表示領域を含む仮想空間が生成される。仮想空間の画面は、ネットワークを経由して、各ユーザ端末の表示部に表示することもできるし、パフォーマが装着するＨＭＤ１１０の表示部１２０に表示することもできる。特にパフォーマが装着するＨＭＤ１１０の表示部１２０に表示される画面は、パフォーマ操作用の、パフォーマにしか表示されない情報を含むことができる。また、仮想空間の画面のほか、パフォーマの操作用の画面を表示部１２０に表示することもできる。
【００２６】
記憶部３５０は、上述のキャラクタデータ格納部６６０に、キャラクタの３Dオブジェクトモデル、テクスチャデータ、アニメーションデータ等のキャラクタの３D描画に関連するデータのほか、キャラクタの属性等キャラクタに関連する情報を格納する。また、制御プログラム格納部６７０は、仮想空間におけるキャラクタの動作や表情を制御するためのプログラム及びキャラクタやユーザアバタ等のコンテンツを含む仮想空間を生成するためのプログラムを格納する。ストリーミングデータ格納部６８０は、画像生成部６３０で生成された画像を格納する。ストリームデータとして格納された仮想空間の画像は、ユーザの要求に応じて、ライブ画像とともに同時配信することができる。記憶部３５０は、アイテムに関するデータを格納するアイテムデータ格納部６８５を有する。さらに、記憶部３５０は、ユーザに関連する情報及びユーザアバタを格納するユーザデータ格納部６９０を有する。本実施形態における画像生成装置の特徴としては、複数のユーザ端末に対して仮想空間となる画像を送信するだけでなく、ユーザ端末からアイテムやコメントを受付けることができる。なお、画像生成装置３１０の全部又は一部の機能を、画像を生成することだけに特化し、別途コンテンツ・サービスサーバを設けて、このコンテンツ・サービスサーバが、ユーザ端末に画像を送信し、また、ユーザ端末からアイテムやコメントを受け付ける等の機能を有することもできる。
【００２７】
図７は、本発明の第１の実施形態にかかる、仮想空間を提供する方法を示すフローチャートを示す。本方法は、例えば、制御プログラム格納部６７０に格納された制御プログラムを画像生成装置３１０の制御部３４０の各部により処理されることで実行される。
【００２８】
まず、制御部３４０の入出力検出部６１０は、パフォーマユーザが演じるキャラクタのパーツを修正するためのユーザ入力を検出する（Ｓ１０１）。ここで、ユーザ入力の形態としていくつか考えられるが、例えば、仮想空間におけるキャラクタを、コントローラにより直接指示することにより、修正したいキャラクタのパーツを指定する方法、または、パフォーマの操作用画面において、キャラクタ・パーツ修正用のメニューを表示し、ユーザがコントローラを使って、修正したいパーツを指定する方法や、パフォーマユーザが、セカンドスクリーンとして座標入力装置（例えば、図１１のペンタブレット７３０、以下、「ペンタブ」という）を使用し、ペンタブのスクリーンにおいて、キャラクタ・パーツ修正の旨の指示と、修正したいパーツを指定する方法等が考えられる。
【００２９】
ここで、図９は、本実施形態にかかる、ユーザ端末に表示される仮想空間１１００の一例を示す図である。図７に示すように、ユーザ端末は、内蔵するウェブブラウザにエンベッドされる画像を表示するためのビューワ等の画像表示部１１１０において、キャラクタ１１２０を含む仮想空間の画像を表示することができる。仮想空間に配置されるキャラクタ１１２０は、演者としてのパフォーマに装着されるＨＭＤ１１０及び／またはコントローラ２１０を介した、パフォーマの頭部の傾きや向きといった動き、パフォーマの発話内容、または、コントローラ２１０の傾きや向きといった動き、コントローラ２１０を介したパフォーマの操作内容といった、ユーザ入力に基づいて、動作することができる。さらに、仮想空間１１１０において、オーディエンスとなる複数のユーザアバタを表示する領域１１３０が設けられており、さらに、仮想空間１１００は、ユーザがコメントを入力し、投稿するコメント入力部１１４０、ユーザがギフトアイテムを選択し、投稿するギフトアイテム選択部１１５０を有する。ユーザによって入力され投稿されたコメントは、例えば、図９において、対応するユーザアバタ位置の近傍に表示される吹き出し等の所定の領域に表示される。
【００３０】
Ｓ１０１において、例えば、図１１において、パフォーマユーザが、ＨＭＤ１１０の表示部１２０に表示される、パフォーマ用操作画面７００において、仮想空間７１０に表示されるキャラクタの一部をコントローラにより指示する等の所定操作をすることにより、修正したいキャラクタのパーツを指定することができる。
【００３１】
図７に戻り、続いて、ユーザ入力を基に、キャラクタ描画部６５０は、修正描画する対象となるキャラクタ・パーツを決定する（Ｓ１０２）。例えば、ユーザが、修正したいキャラクタのパーツをまつ毛である、と指示した場合、キャラクタ描画部６５０は、記憶部３５０のキャラクタデータ格納部６６０に格納される、キャラクタのテクスチャデータを参照し、ユーザが指示したパーツが含まれるテクスチャデータを、表示部１２０のメイキャップ用の領域に表示する。なお、メイキャップ用の表示領域は、図１１に示す、ＨＭＤ１１０の表示部１２０に表示される画面７００に描画作業用領域（例えば、領域７２０）として表示する形態のほか、付属の（図示しない）モニタに表示したり、図１１に示すようなペンタブ７３０の表示部に表示することもできる。パフォーマ操作用画面７００に表示する場合は、仮想空間が表示される領域７１０とは分離された、または、オーバーレイされた領域７２０をメイキャップ用の表示領域とする等パフォーマユーザにとってメイキャップ操作がしやすい態様を適用することができる。
【００３２】
続いて、キャラクタ描画部６５０は、メイキャップ処理を実行する（Ｓ１０３）。メイキャップ処理の詳細は、図８を用いて説明する。
【００３３】
図８は、第１の実施形態にかかる、メイキャップ処理を示すフローチャートを示す。ここで、一例として、図１１に示すように、ユーザが修正したいキャラクタのパーツを含むテクスチャデータが、領域７２０に表示され、ユーザはペンタブ７３０等のコントローラを使用して入力を行うことで、表示されたテクスチャデータを、自由に修正・着色等を行うことができる。
【００３４】
本例においては、図１１の所定の領域７２０に表示されるキャラクタのテクスチャデータに対し、ユーザがペンタブ７３０によりペン入力を行うことで、キャラクタのパーツに修正等を行う処理について説明する。図１１においては、ユーザが睫毛のメイキャップを指示したときに、領域７２０に表示される画面の例であり、図１２は、ユーザがネイルの装飾を指示したときに、領域７２０の表示部に表示される画面の例である。
【００３５】
図８において、まず、入出力検出部６１０は、ユーザ入力を検出する（Ｓ２０１）。例えば、図１１において、ユーザは、描画用領域７２０に表示される、キャラクタの顔の部位のうち、眼の周辺に睫毛を追加したいときに、入力装置としてペンタブ７３０の入力領域にペンを使って入力を行う。入出力検出部６１０は、ユーザによりペンによる描画の入力があった旨を検出する。
【００３６】
次に、キャラクタ描画部６５０は、ペンタブ７３０の入力領域においてペン入力のあった座標を検出する（Ｓ２０２）。ペンタブ７３０の入力領域上の座標は、パフォーマ用操作画面７００における領域７２０上の座標に対応しており、ユーザによる、ペンタブ７３０上の入力内容は、領域７２０におけるテクスチャデータに対する入力として反映される。
【００３７】
次に、キャラクタ描画部６５０は、ユーザの入力内容に基づいて、キャラクタのテクスチャデータに描画処理を行う（Ｓ２０３）。例えば、ユーザが入力した睫毛のイラストをキャラクタのテクスチャデータに追加する描画処理を実行する。ここで、テクスチャの色の補正を行うためのインジケータを表示し、ユーザ要求に応じて、色の補正を行うこともできる。ここで、色の補正とは、明るさ、彩度、色調、鮮明さ、コントラスト等の補正を含む。修正後のキャラクタのテクスチャデータは、適宜記憶部３５０のキャラクタデータ格納部６６０に格納される。
【００３８】
続いて、画像生成部６３０は、修正されたキャラクタを仮想空間内に配置する画像生成処理を行う（Ｓ２０４）。画像生成６３０は、記憶部３５０に格納されたキャラクタデータを基に、３Ｄ形状データを所定の空間にマッピングし、テクスチャデータを３Ｄ形状にマッピングさせることで、キャラクタの３Ｄオブジェクトを生成する。仮想空間の背景画像に、キャラクタの３Ｄオブジェクトが重畳することで仮想空間が生成され、仮想空間がユーザ端末４０１及びＨＭＤ１１０の表示部に表示される。例えば、図１０に示すように、ＨＭＤ１１０の仮想空間７１０に、睫毛が追加されたキャラクタの画像が表示される。同様の仮想空間は、画像生成装置３１０にネットワーク経由で接続する各ユーザ端末４０１に対しても送信される。
【００３９】
以上のように、本実施形態により、ユーザ端末に提供される、キャラクタ画像を含む仮想空間において、リアルタイムにキャラクタ画像を変更する処理を適用することで、キャラクタとの一体感をユーザに提供することができ、よりインタラクティブな空間を提供することができる。
＜第２実施形態＞
【００４０】
図１３は、第２の実施形態にかかる、ユーザに仮想空間を提供する方法を示すフローチャートを示す。本方法は、例えば、制御プログラム格納部６７０に格納された制御プログラムを画像生成装置３１０の制御部３４０の各部により処理されることで実行される。
【００４１】
まず、制御部３４０のアイテム受付部６４０は、複数のユーザ端末４０１のいずれかからアイテムを受け付ける（Ｓ３０１）。例えば、図１４及び図１５に示すように、仮想空間１１００の、ユーザがギフトアイテムを選択し、投稿するギフトアイテム選択部１１５０から、ユーザは、例えば、図１４において、ネイル用の道具を選択することが可能であり、図１５において、メイク道具を選択し、課金ポイントを消費することで、選択したアイテムをキャラクタに対してギフトとして送信することができる。
【００４２】
続いて、画像生成部６３０は、Ｓ１０１においてユーザが選択したアイテムを仮想空間１１００に配置する（Ｓ３０２）。例えば、図１５において、ユーザがメイク用のパレット１１６０とメイク用の筆１１７０を選択したとき、画像生成部６３０は、パレット１１６０と筆１１７０を仮想空間１１１０に配置するよう、画像生成を行う。
【００４３】
続いて、キャラクタ制御部６２０は、パフォーマユーザの動作を検出し、仮想空間内のキャラクタを制御する（Ｓ３０３）。例えば、パフォーマユーザは、仮想空間１１１０内に配置されたパレット１１６０と筆１１７０に対し、キャラクタを介して接触するよう動作する。より具体的には、パフォーマユーザは、パフォーマ用操作画面７００を見ながら、コントローラ２１０を移動させ、所定の操作ボタンを押すことで、画像生成装置３１０の入出力検出部６１０は、コントローラ２１０の動作を検出し、キャラクタ制御部６２０は、対応する動作として、キャラクタ１１２０が仮想空間１１１０内のアイテムを把持するよう制御する。
【００４４】
続いて、キャラクタ描画部６５０は、メイキャップ処理を実行する（Ｓ３０４）。メイキャップ処理の詳細は、第１の実施形態において説明した通りである。ここで、キャラクタ描画部６５０は、キャラクタ１１２０が把持したアイテムに応じて、描画対象となるキャラクタのパーツを自動的に選択し、パフォーマ操作画面７００に対応するテクスチャデータを表示させることもできる。または、キャラクタ描画部６５０は、パフォーマユーザによって演じられるキャラクタ１１２０が、アイテムにより指示したパーツを、描画対象のパーツとして認識し、テクスチャデータを表示することもできる。図１６の例においては、キャラクタ１１２０は、メイク用の筆１１７０をキャラクタの顔部分に近づけるように動作しているので、キャラクタ描画部６５０は、キャラクタの顔を描画対象パーツとして認識することができる。
【００４５】
続いて、画像生成部６３０は、修正されたキャラクタを仮想空間内に配置する画像生成処理を行う（Ｓ３０５）。本画像生成処理についても、第１の実施形態において説明した通りである。図１６の例に示すように、睫毛のメイキャップを施したキャラクタ１１２０の画像が仮想空間にリアルタイムに送信されている。
【００４６】
以上のように、本実施形態により、仮想空間において、ユーザは所望のアイテムをキャラクタに提供し、キャラクタは、提供されたアイテムにより自身のパーツに装飾を施すことができるので、通常のチャットや会話によるコミュニケーションに加えて、新しい形でのコミュニケーションの形を提供することができる。
【００４７】
上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
【符号の説明】
【００４８】
１１０  ヘッドマウントディスプレイ
１１５  通信部
１２０  表示パネル
１２５  制御部
１４０  センサ
１５０  光源
１６０  カメラ
１７０  マイク
１８０  ヘッドフォン
１９０  入出力部
２１０  コントローラ
２２０  左手用コントローラ
２３０  右手用コントローラ
２４０ａ、２４０ｂ  トリガーボタン
２４５  操作部
２５０  赤外線ＬＥＤ
２５５  入出力部
２６０  センサ
２７０  ジョイスティック
２８０  メニューボタン
２９０  フレーム
３１０  画像生成装置
３２０  入出力部
３３０  通信部
３４０  制御部
３５０  記憶部
４０１Ａ、４０１Ｂ、４０１Ｃ  ユーザ端末  
【図１】
2020101902.tif 000003
【図２】
2020101902.tif 000004
【図３】
2020101902.tif 000005
【図４】
2020101902.tif 000006
【図５】
2020101902.tif 000007
【図６】
2020101902.tif 000008
【図７】
2020101902.tif 000009
【図８】
2020101902.tif 000010
【図９】
2020101902.tif 000011
【図１０】
2020101902.tif 000012
【図１１】
2020101902.tif 000013
【図１２】
2020101902.tif 000014
【図１３】
2020101902.tif 000015
【図１４】
2020101902.tif 000016
【図１５】
2020101902.tif 000017
【図１６】
2020101902.tif 000018