(57)【要約】【課題】仮想空間において、パフォーマとユーザとのインタラクションをより効果的に促進できる方法を提供する。【解決手段】パフォーマユーザ及び視聴ユーザを含む、複数のユーザに対し、パフォーマユーザによって演じられるキャラクタを含む所定のコンテンツを有する仮想空間を提供する方法であって、ユーザから所定のアクションを受信し、受信した所定のアクションをユーザ毎の履歴情報として格納し、所定のコンテンツとユーザを識別する情報とを含む仮想空間を生成し、履歴情報を基に生成された情報を表示することを特徴とする仮想空間を提供する。【選択図】図８
2019216249.tif 000002
【特許請求の範囲】
【請求項１】
パフォーマユーザ及び視聴ユーザを含む、複数のユーザに対し、当該パフォーマユーザによって演じられるキャラクタを含む所定のコンテンツを有する仮想空間を提供する方法であって、
ユーザから所定のアクションを受信し、
前記受信した所定のアクションをユーザ毎の履歴情報として格納し、
前記所定のコンテンツと前記ユーザを識別する情報とを含む仮想空間を生成し、
前記履歴情報を基に生成された情報を表示することを特徴とする、仮想空間を提供する方法。
【請求項２】
請求項１に記載の仮想空間を提供する方法であって、
前記アクションに関連する情報は、前記一又は複数のユーザのうち、一部のユーザにのみ提供されることを特徴とする、仮想空間を提供する方法。
【請求項３】
請求項２に記載の仮想空間を提供する方法であって、
前記一部のユーザは、パフォーマユーザであることを特徴とする、仮想空間を提供する方法。
【請求項４】
請求項１に記載の仮想空間を提供する方法であって、
前記所定のアクションは、少なくとも、ユーザの参加、コメント投稿及びユーザによるアイテム購入のいずれかを含むことを特徴とする、仮想空間を提供する方法。
【請求項５】
請求項１に記載の仮想空間を提供する方法であって、
前記ユーザを識別する情報は、ユーザ名であることを特徴とする、仮想空間を提供する方法。
【請求項６】
請求項１に記載の仮想空間を提供する方法であって、
前記ユーザを識別する情報は、ユーザのアバタ画像であることを特徴とする、仮想空間を提供する方法。
【請求項７】
請求項１に記載の仮想空間を提供する方法であって、
前記履歴情報は、ユーザ毎の複数のアクションを所定の期間蓄積した情報であることを特徴とする、仮想空間を提供する方法。
【請求項８】
請求項１に記載の仮想空間を提供する方法であって、
前記キャラクタのアクションと前記所定のアクションとが双方向に作用したときに、前記履歴情報を基に生成された情報を表示することを特徴とする、仮想空間を提供する方法。
【請求項９】
請求項１に記載の仮想空間を提供する方法であって、
前記所定のアクションは、ユーザによるアイテム購入であり、当該ユーザにより購入されたアイテムに、前記履歴情報に基づいて特殊効果を付与することを特徴とする、仮想空間を提供する方法。
前記履歴情報に基づいて、仮想空間を提供する方法。
【請求項１０】
請求項１に記載の仮想空間を提供する方法であって、
前記ユーザが利用するアプリケーションにアクセスし、当該ユーザに関連する情報を、前記履歴情報を基に生成される情報とともに表示することを特徴とする、仮想空間を提供する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のユーザに対する仮想空間を提供する方法に関する。詳しくは、パフォーマによって演じられるキャラクタを含む所定のコンテンツを有する仮想空間を提供する方法に関する。
【背景技術】
【０００２】
モーションキャプチャは、現実空間におけるパフォーマユーザ（以下、「パフォーマ」）の動きをデジタル的にキャプチャする技術であり、キャプチャした動きは、動画などのコンピュータアニメーションおよびゲーム等におけるキャラクタの動きの表現に利用される。【０００３】
また、近年、パフォーマが装着したヘッドマウントディスプレイ（以下、「ＨＭＤ」）の動きや、パフォーマが把持するコントローラによる入力を介した、仮想空間におけるキャラクタの制御方法が考案されている。【０００４】
また、ライブ動画等のコンテンツをユーザに配信するコンテンツ共有サービスが提供されており、このようなコンテンツ共有サービスにおいて、コンテンツの投稿者やパフォーマへの肯定的な評価を表現するためのアイテムの取得や購入を促すための仕組みが開示されている。（例えば、特許文献１）
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−０９０５２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記文献に開示される技術は、ユーザの承認欲求又はユーザ同士の競争意識を芽生えさせるため、ユーザが購入したアイテムの量によってユーザアバタの仮想空間内における表示位置を決定する、という仕組みを提供している。しかしながら、本技術によって、ユーザアバタの表示位置をパフォーマにより近い位置に表示させることで、ユーザの承認欲求を満足させることはできるものの、そこにパフォーマとのインタラクションやコミュニケーションは存在しない。【０００７】
そこで、本発明は、仮想空間において、パフォーマとユーザとのインタラクションをより効果的に促進できる方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明における一実施形態により提供される、パフォーマユーザ及び視聴ユーザを含む、複数のユーザに対し、パフォーマユーザによって演じられるキャラクタを含む所定のコンテンツを有する仮想空間を提供する方法は、ユーザから所定のアクションを受信し、受信した所定のアクションをユーザ毎の履歴情報として格納し、所定のコンテンツとユーザを識別する情報とを含む仮想空間を生成し、履歴情報を基に生成された情報を表示することを特徴とする仮想空間を提供する。
【発明の効果】
【０００９】
本発明によれば、仮想空間において、パフォーマとユーザとのインタラクションやコミュニケーションをより効果的に促進することが可能となる。これにより、ユーザの承認欲求はさらに満たされる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態にかかるヘッドマウントディスプレイ１１０の外観の模式図を示す。
【図２】第１の実施形態にかかるコントローラ２１０の外観の模式図を示す。
【図３】第１の実施形態にかかるＨＭＤシステム３００の構成図を示す。
【図４】第１の実施形態にかかるＨＭＤ１１０の機能構成図を示す。
【図５】第１の実施形態にかかるコントローラ２１０の機能構成図を示す。
【図６】第１の実施形態にかかる画像生成装置３１０の機能構成図を示す。
【図７】第１の実施形態にかかる、ユーザ装置に表示される仮想空間の一例を示す。
【図８】第１の実施形態にかかる、ユーザ装置に表示される仮想空間の他の一例を示す。
【図９】第１の実施形態にかかる、ユーザ装置に表示される仮想空間のさらに他の一例を示す。
【図１０】第１の実施形態にかかる、ユーザ管理テーブルの一例を示す。
【図１１】第１の実施形態にかかる、ユーザギフト履歴管理テーブルの一例を示す。
【図１２】第１の実施形態にかかる、ユーザコメント履歴管理テーブルの一例を示す。
【図１３】第１の実施形態において、ユーザに仮想空間を提供する処理の一例としてのフローチャートを示す。
【図１４】第１の実施形態において、ユーザに仮想空間を提供する処理の他の一例としてのフローチャートを示す。
【図１５】第２の実施形態において、ユーザに仮想空間を提供する処理の一例としてのフローチャートを示す。
【図１６】第２の実施形態において、ユーザに表示される仮想空間の一例を示す。
【図１７】第３の実施形態において、ユーザに仮想空間を提供する処理の一例としてのフローチャートを示す。
【図１８】第３の実施形態において、ユーザに表示される仮想空間の一例を示す。
【図１９】第４の実施形態において、ユーザに表示される仮想空間の一例を示す。
【図２０】第５の実施形態において、パフォーマに表示される仮想空間の一例を示す。
【図２１】第６の実施形態において、ユーザに表示される仮想空間の一例を示す。
【００１１】
＜実施形態１＞
本発明の一実施形態に係るヘッドマウントディスプレイシステムを制御するプログラムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。【００１２】
図１は、本実施形態にかかるヘッドマウントディスプレイ（以下：ＨＭＤ）１１０の外観の模式図を示す。ＨＭＤ１１０はパフォーマの頭部に装着され、パフォーマの左右の眼前に配置されるよう表示パネル１２０を備える。表示パネルとしては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、より没入感を提供可能な非透過型の表示パネルを例示する。表示パネル１２０には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をパフォーマに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。【００１３】
さらに、ＨＭＤ１１０の筐体部１３０は、センサ１４０を備える。センサは、パフォーマの頭部の向きや傾きといった動きを検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。パフォーマの頭部の垂直方向をＹ軸とし、Ｙ軸と直交する軸のうち、表示パネル１２０の中心とパフォーマとを結ぶ、パフォーマの前後方向に相当する軸をＺ軸とし、Ｙ軸及びＺ軸と直交し、パフォーマの左右方向に相当する軸をＸ軸とするとき、センサ１４０は、Ｘ軸まわりの回転角（いわゆる、ピッチ角）、Ｙ軸まわりの回転角（いわゆる、ヨー角）、Ｚ軸まわりの回転角（いわゆる、ロール角）を検出することができる。【００１４】
さらに、またはセンサ１４０に代えて、ＨＭＤ１１０の筐体部１３０は、複数の光源１５０（例えば、赤外光ＬＥＤ、可視光ＬＥＤ）を備えることもでき、ＨＭＤ１１０の外部（例えば、室内等）に設置されたカメラ（例えば、赤外光カメラ、可視光カメラ）がこれらの光源を検出することで、特定の空間におけるＨＭＤ１１０の位置、向き、傾きを検出することができる。または、同じ目的で、ＨＭＤ１１０に、ＨＭＤ１１０の筐体部１３０に設置された光源を検出するためのカメラを備えることもできる。【００１５】
さらに、ＨＭＤ１１０の筐体部１３０は、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、パフォーマの左目及び右目の視線方向及び注視点を検出するために用いられる。アイトラッキング・センサとしては様々な方式が考えられるが、例えば、左目および右目に弱い赤外光を照射してできる角膜上の反射光の位置を基準点とし、反射光の位置に対する瞳孔の位置により視線方向を検出し、左目及び右目の視線方向の交点を注視点として検出する方法などが考えられる。【００１６】
図２は、本実施形態にかかるコントローラ２１０の外観の模式図を示す。コントローラ２１０により、仮想空間内において、パフォーマが所定の入力を行うことをサポートすることができる。コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができる。左手用コントローラ２２０及び右手用コントローラ２３０は、各々操作用トリガーボタン２４０、赤外線ＬＥＤ２５０、センサ２６０、ジョイスティック２７０、メニューボタン２８０を有することができる。【００１７】
操作用トリガーボタン２４０は、コントローラ２１０のグリップ２３５を把持したときに、中指及び人差し指でトリガーを引くような操作を行うことを想定した位置に２４０ａ、２４０ｂとして配置される。コントローラ２１０の両側面から下方にリング状に形成されるフレーム２４５には、複数の赤外線ＬＥＤ２５０が備えられ、コントローラ外部に備えられるカメラ（図示せず）により、これらの赤外線ＬＥＤの位置を検出することで、特定の空間におけるコントローラ２１０の位置、向き及び傾きを検出することができる。【００１８】
また、コントローラ２１０は、コントローラ２１０の向きや傾きといった動きを検出するために、センサ２６０を内蔵することができる。センサ２６０として、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、コントローラ２１０の上面には、ジョイスティック２７０及びメニューボタン２８０を備えることができる。ジョイスティック２７０は、基準点を中心に３６０度方向に動かすことができ、コントローラ２１０のグリップ２３５を把持したときに、親指で操作されることが想定される。メニューボタン２８０もまた同様に、親指で操作されることが想定される。さらに、コントローラ２１０は、コントローラ２１０を操作するパフォーマの手に振動を与えるためのバイブレータ（図示せず）を内蔵することもできる。ボタンやジョイスティックを介したパフォーマの入力内容やセンサ等を介したコントローラ２１０の位置、向き及び傾きといった情報を出力するため、また、ホストコンピュータからの情報を受信するために、コントローラ２１０は、入出力部及び通信部を有する。【００１９】
パフォーマがコントローラ２１０を把持し、各種ボタンやジョイスティックを操作することの有無、及び赤外線ＬＥＤやセンサにより検出される情報によって、システムはパフォーマの手の動きや姿勢を決定し、仮想空間内において擬似的にパフォーマの手を表示させ、動作させることができる。【００２０】
図３は、本実施形態にかかるＨＭＤシステム３００の構成図を示す。ＨＭＤシステム３００は、例えば、ＨＭＤ１１０、コントローラ２１０及びホストコンピュータとして機能する画像生成装置３１０で構成することができる。さらに、ＨＭＤ１１０やコントローラ２１０の位置、向き及び傾き等を検出するための赤外線カメラ（図示せず）等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。例えば、各々の装置にＵＳＢポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、ＨＤＭＩ（登録商標）、有線ＬＡＮ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）等の有線又は無線により通信を確立することもできる。画像生成装置３１０は、ＰＣ、ゲーム機、携帯通信端末等計算処理機能を有する装置であればよい。また、画像生成装置３１０は、インターネット等のネットワークを介して４０１Ａ、４０１Ｂ、４０１Ｃ等の複数のユーザ装置と接続し、生成した画像をストリーミングまたはダウンロードの形態で送信することができる。ユーザ装置４０１Ａ等は、各々インターネットブラウザを備えるか、適切なビューワを備えることで送信された画像を再生することができる。ここで、画像生成装置３１０は、複数のユーザ装置に対し、直接画像を送信することもできるし、他のコンテンツ配信サーバを介して画像を送信することもできる。【００２１】
図４は、本実施形態にかかるＨＭＤ１１０の機能構成図を示す。図１において述べたように、ＨＭＤ１１０は、センサ１４０を備えることができる。センサとしては、パフォーマの頭部の向きや傾きといった動きを検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、パフォーマの左目及び右目の視線方向及び注視点を検出するために用いられる。さらに精度よく、パフォーマの頭部の向きや傾きといった動きを検出したり、パフォーマの頭部の位置を検出したりするために、赤外光や紫外光といったＬＥＤ１５０を備えることもできる。また、ＨＭＤの外景を撮影するためのカメラ１６０を備えることができる。また、パフォーマの発話を集音するためのマイク１７０、音声を出力するためのヘッドフォン１８０を備えることもできる。なお、マイクやヘッドフォンはＨＭＤ１１０とは別個独立した装置として有することもできる。【００２２】
さらに、ＨＭＤ１１０は、例えば、コントローラ２１０や画像生成装置３１０等の周辺装置との有線による接続を確立するための入出力部１９０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部１１５を備えることができる。センサ１４０により取得されたパフォーマの頭部の向きや傾きといった動きに関する情報は、制御部１２５によって、入出力部１９０及び／又は通信部１１５を介して画像生成装置３１０に送信される。詳細は後述するが、画像生成装置３１０において、パフォーマの頭部の動きに基づいて生成された画像は、入出力部１９０及び／又は通信部１１５を介して受信され、制御部１２５によって表示部１２０に出力される。【００２３】
図５は、本実施形態にかかるコントローラ２１０の機能構成図を示す。図２において述べたように、コントローラ２１０は、コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができるが、いずれのコントローラにおいても、操作用トリガーボタン２４０、ジョイスティック２７０、メニューボタン２８０といった操作部２４５を備えることができる。また、コントローラ２１０は、コントローラ２１０の向きや傾きといった動きを検出するために、センサ２６０を内蔵することができる。センサ２６０として、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、複数の赤外線ＬＥＤ２５０が備えられ、コントローラ外部に備えられるカメラ（図示せず）により、これらの赤外線ＬＥＤの位置を検出することで、特定の空間におけるコントローラ２１０の位置、向き及び傾きを検出することができる。コントローラ２１０は、例えば、ＨＭＤ１１０や画像生成装置３１０等の周辺装置との有線による接続を確立するための入出力部２５５を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部２６５を備えることができる。パフォーマにより操作部２４５を介して入力された情報及びセンサ２６０によって取得されたコントローラ２１０の向きや傾きといった情報は、入出力部２５５及び／又は通信部２６５を介して画像生成装置３１０に送信される。【００２４】
図６は、本実施形態にかかる画像生成装置３１０の機能構成図を示す。画像生成装置３１０としては、ＨＭＤ１１０やコントローラ２１０から送信された入力情報やセンサ等により取得されたパフォーマの頭部動きやコントローラの動きや操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、ＰＣ、ゲーム機及び携帯通信端末等といった装置を使用することができる。画像生成装置３１０は、例えば、ＨＭＤ１１０やコントローラ２１０等の周辺装置との有線による接続を確立するための入出力部３２０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部３３０を備えることができる。入出力部３２０及び／又は通信部３３０を介して、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、パフォーマの頭部の動きやコントローラの動きや操作に関する情報は、制御部３４０において、パフォーマの位置、視線、姿勢等の動作、発話、操作等を含めた入力内容として検出され、パフォーマの入力内容に応じて、記憶部３５０に格納された制御プログラムを実行することで、キャラクタの制御を行い、画像を生成するといった処理がなされる。制御部３４０は、ＣＰＵで構成することもできるが、画像処理に特化したＧＰＵをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置３１０はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。【００２５】
さらに、画像生成装置３１０の制御部３４０は、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、パフォーマの頭部の動きやパフォーマの発話、また、コントローラの動きや操作に関する情報を検出するユーザ入力検出部６１０と、予め記憶部３５０のキャラクタデータ格納部６６０に格納されたキャラクタに対して、制御プログラム格納部に格納された制御プログラムを実行するキャラクタ制御部６２０と、キャラクタ制御に基づいて画像を生成する画像生成部６３０を有する。ここでキャラクタの動きの制御については、ＨＭＤ１１０やコントローラ２１０を介して検出されたパフォーマ頭部の向きや傾き、手の動きといった情報を、人間の身体の関節の動きや制約に則って作成されたボーン構造の各部の動きに変換し、予め格納されたキャラクタデータに対して、ボーン構造を関連付けることで、ボーン構造の動きを適用させることで実現される。その他、制御部３４０は、他のユーザ装置から、仮想空間に配置するアイテムの選択を受け付けるアイテム受付部６４０を有し、また、コメントを受け付けるコメント受付部６５０を有する。付加情報生成部６５５は、受け付けたアイテム及びコメントを格納した履歴情報を基に付加情報を生成する。画像生成部６３０によって、図７に示されるような、付加情報や背景画像を含むキャラクタ表示領域及びユーザ表示領域を含む仮想空間が生成される。仮想空間の画面は、ネットワークを経由して、各ユーザ装置の表示部に表示することもできるし、パフォーマが装着するＨＭＤ１１０の表示部１２０に表示することもできる。特にパフォーマが装着するＨＭＤ１１０の表示部１２０に表示される画面は、上述の付加情報をはじめ、パフォーマにしか表示されない情報を含むことができる。また、仮想空間の画面のほか、パフォーマの操作用の画面を表示部１２０に表示することもできる。また、キャラクタ表示領域（図７における画像表示部１１１０に表示される領域）において、キャラクタ画像のフレームレートと背景画像（風景や静物等）のフレームレートとを別速度で設定することができる。例えば、キャラクタ画像のフレームレートを８ｆｐｓ、背景画像のフレームレートを３０ｆｐｓと設定して、キャラクタ画像のフレームレートを相対的に低くすることができる。このように、既存の3DCGではないアニメーションに近いフレームレートにすることでキャラクタ画像の動作を違和感なく見せることができる。【００２６】
記憶部３５０は、上述のキャラクタデータ格納部６６０に、キャラクタのイメージデータのほか、キャラクタの属性等キャラクタに関連する情報を格納する。また、制御プログラム格納部６７０は、仮想空間におけるキャラクタの動作や表情を制御するためのプログラム及びキャラクタやユーザアバタ等のコンテンツを含む仮想空間を生成するためのプログラムを格納する。ストリーミングデータ格納部６８０は、画像生成部６３０で生成された画像を格納する。ストリームデータとして格納された仮想空間の画像は、ユーザの要求に応じて、ライブ画像とともに同時配信することができる。記憶部３５０は、アイテムに関するデータを格納するアイテムデータ格納部６８５を有する。さらに、記憶部３５０は、ユーザに関連する情報及びユーザアバタを格納するユーザデータ格納部６９０を有する。本実施形態における画像生成装置の特徴としては、複数のユーザ装置に対して仮想空間となる画像を送信するだけでなく、ユーザ装置からアイテムやコメントを受付けることができる。なお、画像生成装置３１０の全部又は一部の機能を、画像を生成することだけに特化し、別途コンテンツ・サービスサーバを設けて、このコンテンツ・サービスサーバが、ユーザ装置に画像を送信し、また、ユーザ装置からアイテムやコメントを受け付ける等の機能を有することもできる。【００２７】
図７は、本実施形態にかかる、ユーザ装置に表示される仮想空間１１００の一例を示す図である。図７に示すように、ユーザ装置は、内蔵するウェブブラウザにエンベッドされる画像を表示するためのビューワ等の画像表示部１１１０において、キャラクタ１１２０を含む仮想空間の画像を表示することができる。仮想空間に配置されるキャラクタ１１２０は、演者としてのパフォーマに装着されるＨＭＤ１１０及び／またはコントローラ２１０を介した、パフォーマの頭部の傾きや向きといった動き、パフォーマの発話内容、または、コントローラ２１０の傾きや向きといった動き、コントローラ２１０を介したパフォーマの操作内容といった、ユーザ入力に基づいて、動作することができる。さらに、仮想空間１１１０において、オーディエンスとなる複数のユーザアバタを表示する領域１１３０が設けられており、さらに、仮想空間１１００は、ユーザがコメントを入力し、投稿するコメント入力部１１４０、ユーザがギフトアイテムを選択し、投稿するギフトアイテム選択部１１５０を有する。ユーザによって入力され投稿されたコメントは、例えば、図７において、対応するユーザアバタ位置の近傍に表示される吹き出し等の所定の領域１１６０に表示される。【００２８】
図８及び図１３を用いて、本実施形態における、ユーザに仮想空間を提供する処理の一例を説明する。まず、制御部３４０のアイテム受付部６４０またはコメント受付部６５０は、ユーザ装置から所定のアクション（ギフトアイテムまたはコメントの投稿）を受け付ける（Ｓ１０１）。次に、制御部３４０のアイテム受付部６４０またはコメント受付部６５０は、受け付けたギフトアイテムまたはコメントをユーザデータ格納部６９０に格納する（Ｓ１０２）。より具体的には、図１０に示す、ユーザ管理テーブルに受け付けたアクションを履歴情報として格納し、受け付けたアクションに、ギフトアイテム投稿が含まれる場合は、アイテムを購入するために消費したポイント（ｐｔ）を更新する。履歴情報として、図１１に示す、ユーザギフト履歴管理テーブルを更新することもできる。図１１において、例えば、ユーザＡが、ぬいぐるみをギフトアイテムとして購入した場合、ユーザギフト履歴管理テーブルに、イベント日時、投稿したギフト（ぬいぐるみ）、消費したｐｔ（５０ｐｔ）等の情報を格納することで、テーブルを更新する。また、履歴情報として、図１２に示す、ユーザコメント履歴テーブルを更新することもできる。図１２において、例えば、ユーザＡが、「またきます」とコメント投稿した場合、ユーザコメント履歴管理テーブルに、イベント日時、投稿したコメント内容を格納することで、テーブルを更新する。【００２９】
図１３の説明に戻り、次に、制御部３４０の付加情報生成部６５５は、ユーザデータ格納部６９０に格納された、ユーザ管理テーブル、ユーザギフト履歴管理テーブル、及び／または、ユーザコメント履歴テーブルを参照する（Ｓ１０３）。次に、付加情報生成部６５５は、所定のユーザに関連する付加情報を生成する（Ｓ１０４）。例えば、ユーザから所定のアクションを受け付けたときに、付加情報生成部６５５は、図８に示すように、ユーザＡに対応するユーザアバタに関連付けられた情報を生成する。情報の内容の一例として、「ユーザ名：Ｙｏｓｈｉ」「最新履歴：ｂｏｘ（を投稿）」「消費ｐｔ：１５００」「コメント：またきます」といった情報を生成することができる。画像生成部６３０は、生成された付加情報を、他の仮想空間を構成する要素（例えば、キャラクタやユーザアバタ）とともに、ユーザに提供される画像を生成する（Ｓ１０５）。付加情報は、図８に示すように、ユーザに提供され仮想空間に表示されるユーザアバタの近傍（図８においては、吹き出し１１７０の内部）に表示される。ここで、生成される付加情報は、図８に例示される情報の全部または一部であってもよく、ユーザが何らかのアクションを起こしたことを機として、そのユーザに関連する付加情報を、ユーザに対応するユーザアバタと関連づけて（例えば、ユーザアバタ近傍に）表示することで、パフォーマは、そのユーザに関連する情報をすぐに感知することができ、感謝や労いの言葉をそのユーザにかけることができる。表示される情報量が多いほど、パフォーマはその情報を参照して、ユーザに特別な言葉をかけることができる。または、付加情報として、そのユーザが過去所定の期間（例えば、過去１週間）に渡って行ったコメント及／またはギフトアイテム投稿の履歴を一覧で表示することもできる。これにより、パフォーマは、そのユーザが行った過去のアクションの一つ一つを辿ることができ、コミュニケーションの幅を広めることができる。【００３０】
また、付加情報が表示される範囲は、特定のユーザに限定されない不特定のユーザとすることもできるし、プライバシーの観点から、パフォーマとその対象ユーザのみとすることもできるし、パフォーマのみに表示させることで、パフォーマはユーザに知られることなくそのユーザの情報を参照することができ、そのユーザに特別な演出を提供することができる。【００３１】
次に、図９及び図１４を用いて、本実施形態における、ユーザに仮想空間を提供する処理の他の一例を説明する。まず、制御部３４０の画像生成部６９０は、ユーザにより投稿されたギフトアイテムに対応する画像を生成し（Ｓ２０１）、生成されたギフトアイテムの画像１１８０は、図９の仮想空間１１００において、キャラクタ画像１１２０とともに表示される。続いて、制御部３４０の付加情報生成部６５５は、図９におけるキャラクタ１１２０が、表示されたギフトアイテム１１８０に触れたか否かを決定する（Ｓ２０２）。より具体的には、仮想空間内におけるキャラクタ１１２０の手の座標と、ギフトアイテム１１８０が配置される領域に対応する座標とを比較することで、両者の位置関係を確認する。パフォーマは、例えば、図２のコントローラ２１０を上げ下げする動きを行うことで、制御部３４０の入力検出部６１０は、コントローラ２１０の加速度センサを介してコントローラ２１０の位置の変化を検出し、キャラクタ制御部６２０は、検出された位置の変化に応じて、キャラクタ１１２０の腕を上下させる動きを行うよう制御し、パフォーマは、キャラクタ１１２０の腕の先端の手のひらの位置が、ギフトアイテム１１８０の位置と略一致したタイミングで、コントローラ２１０の所定のボタン（例えば、トリガボタン２４０ｂ）を操作することで、キャラクタ制御部６２０は、キャラクタ１１２０がギフトアイテム１１８０を掴むよう制御することができる。【００３２】
Ｓ２０２において、キャラクタ１１２０が、ギフトアイテム１１８０に触れた、と決定した場合は（Ｓ２０２の「ＹＥＳ」）、付加情報生成部６５５は、まず、ギフトアイテム１１８０を投稿したユーザを特定し、そのユーザのユーザデータを参照する（Ｓ２０３）。Ｓ２０２において、キャラクタ１１２０が、ギフトアイテム１１８０に触れていない、と決定した場合は（Ｓ２０２の「Ｎｏ」）、元の処理に戻り、監視を続ける。キャラクタ１１２０が触れたギフトアイテム１１８０からそのアイテムを投稿したユーザを特定する方法はいくつか考えられるが、例えば、ギフトアイテムの購入履歴情報を参照し、その購入者を特定する方法が挙げられる。購入者であるユーザが特定されると、付加情報生成部６５５は、ユーザデータ格納部６９０に格納された、ユーザ管理テーブル、ユーザギフト履歴管理テーブル、及び／または、ユーザコメント履歴テーブルを参照し、そのユーザに関連する付加情報を生成する（Ｓ２０４）。例えば、そのユーザＩＤが「ユーザＡ」である場合に、図９に示すように、ユーザＡに対応するユーザアバタに関連付けられた情報を生成する。情報の内容の一例として、「ユーザ名：Ｙｏｓｈｉ」「最新履歴：ｂｏｘ（を投稿）」「消費ｐｔ：１５００」「コメント：またきます」といった情報を生成することができる。画像生成部６３０は、生成された付加情報を、他の仮想空間を構成する要素（例えば、キャラクタやユーザアバタ）とともに、ユーザに提供される画像を生成する（Ｓ２０５）。付加情報は、図９に示すように、ユーザに提供され仮想空間に表示されるユーザアバタの近傍（図９においては、吹き出し１１７０の内部）に表示される。その他の態様については、図８及び図１３にて説明した例と同様である。【００３３】
上記図８及び図９において、ユーザが所定のアクションを起こしたこと、または、キャラクタが、ユーザが投稿したギフトアイテムに対して所定のアクションを起こしたことをきっかけとして、そのユーザに関連する情報を表示する、といった例を示したが、その他、パフォーマが装着するＨＭＤ１１０が有する各種センサを介して検出される、仮想空間内におけるパフォーマの視線方向やアイトラッキング・センサを介して検出されるパフォーマの視点に位置するユーザアバタに対応するユーザに関連する情報を表示する、といった態様も考えられる。【００３４】
＜第２実施形態＞
図１５に、第２の実施形態における、ユーザに仮想空間を提供する処理の一例としてのフローチャートを示す。まず、制御部３４０の画像生成部６３０は、ユーザデータ格納部６９０に格納される、所定のユーザのユーザアバタの画像を生成し、表示処理を行う（Ｓ３０１）。続いて、付加情報生成部６５５は、ユーザデータ格納部６９０に格納されたユーザ管理テーブルを参照し、そのユーザのログイン回数や最終ログイン日等の情報を確認することで、そのユーザが始めてサービスにログインまたはそのパフォーマが提供するルーム（そのパフォーマがコンテンツを提供するページ）を閲覧するか、を確認する（Ｓ３０２）。そのユーザが、初めてサービスにログインまたはそのパフォーマがコンテンツを提供するページを閲覧する、と確認された場合は（Ｓ３０２の「ＹＥＳ」）、図１６に示すように、付加情報生成部６５５は、画像生成部そのユーザアバタに対し特殊効果を加える処理を行う（Ｓ３０３）。Ｓ３０２の処理において、そのユーザが、２回目以降のログインまたはページの閲覧者であると確認された場合は（Ｓ３０２の「Ｎｏ」）、元の処理に戻る。Ｓ３０３の処理においては、図１６に示すように、そのユーザが初めてログインした旨を報知する表示１２７０を行うことができる。ここで、特殊効果の例としては、ユーザアバタをハイライトする処理、点滅させる処理、拡大表示する処理等、他のユーザアバタと識別可能にする処理が考えられる。本特殊効果は、パフォーマのみに視認できることとしてよい。【００３５】
＜第３実施形態＞
図１７に、第３の実施形態における、ユーザに仮想空間を提供する処理の一例としてのフローチャートを示す。まず、制御部３４０の画像生成部６３０は、アイテムデータ格納部６８５に格納される、所定のギフトアイテムの画像を生成し、表示処理を行う（Ｓ４０１）。続いて、付加情報生成部６５５は、表示されたギフトアイテムに対し、特殊効果を施すよう画像生成部６３０に指示を行い、画像生成部６３０は、特殊処理を加える処理を行う（Ｓ４０２）。ここで、特殊効果の例としては、ギフトアイテムをハイライトする処理、点滅させる処理、拡大表示する処理等、ギフトアイテムに対するパフォーマの注目を引くための処理が考えられる。本特殊効果は、パフォーマのみに視認できることとしてよい。また、ユーザの履歴情報を参照し、そのユーザが初めてギフトアイテムを購入し投稿した、という情報に基づいて、そのギフトアイテムに特殊効果を与えることができる。【００３６】
付加情報生成部６５５は、パフォーマが、投稿されたギフトアイテムに対し何らかの反応を行ったかを確認する（Ｓ４０３）。例えば、図１８において、パフォーマが、ユーザから投稿された、アイスクリームのギフトアイテムについて何らかのコメント（例えば、「ユーザＡさん、ありがとう」）を読み上げたかを確認する。ここで、確認方法としては、音声認識技術を使って、パフォーマから発話された音声から、対応するギフトアイテムまたは対応するユーザ名に関連する単語を認識する方法や、パフォーマが演じるキャラクタを介してギフトアイテムに対して所定の行動を取ること（例えば、キャラクタがギフトアイテムに触れる）を検出する方法等が考えられる。【００３７】
Ｓ４０３の処理において、パフォーマがギフトアイテムに対して反応したことを検出した場合（Ｓ４０３のＹＥＳ）、付加情報生成部６５５は、ギフトアイテムに対して施された特殊効果を解除する（Ｓ４０４）。これにより、パフォーマは、ユーザが投稿したギフトアイテムに対して、何らかの反応を示したことを感覚的に理解することができ、かつ、未だ反応していないギフトアイテムを確認することができる。Ｓ４０３の処理において、パフォーマがギフトアイテムに対して反応したことを検出しない場合（Ｓ４０３のＹＥＳ）は、そのギフトアイテムに対して、特殊効果を持続させる。本実施形態で開示される発明は、ユーザが投稿したコメントに対しても同様に適用可能である。【００３８】
＜第４実施形態＞
図１９に、第４の実施形態における、ユーザに表示される仮想空間の一例を示す。本実施形態においては、実世界で販売される所定の商品に関連したアイテム画像１４７０を仮想空間１４００のキャラクタ表示領域において表示し、所定の条件を満たしたときに、その商品に関連した情報１４８０を仮想空間内において表示することを実現する。例えば、キャラクタ表示領域に表示されるキャラクタ１４１０とアイテム画像１４７０との位置関係が所定の距離になったとき、または、キャラクタ１４１０とアイテム画像１４７０との間に相互作用があった（例えば、キャラクタがアイテム画像を掴んだ）ときに、商品に関連した情報１４８０を表示することができる。商品に関連した情報１４８０は、例えば、商品名、販売者、価格、その商品を説明する内容等とすることができ、これらの情報は、外部のサーバからアプリケーションプログラムインターフェースを経由して取得することもできるし、事前に画像生成装置３１０に商品関連情報として、商品に関連したアイテム画像１４７０とともに格納しておくことができる。【００３９】
＜第５実施形態＞
図２０に、第５の実施形態において、パフォーマに表示される仮想空間の一例を示す。図２０に示す仮想空間１５００は、パフォーマが装着するＨＭＤ１１０の表示部１２０やモニタ（図示せず）等に表示される。図２０（ａ）に示すように、仮想空間１５００はまた、ユーザ装置４０１に表示される仮想空間を表示するサービス画像表示領域１５５０と、領域１５５０内に表示されるキャラクタ１５１０や所定のオブジェクト（例えば、コメントリスト）１５２０を操作するための操作用画像表示領域１５６０を有する。操作用画像表示領域１５６０には、基本的に、サービス画像表示領域に配置される画像に対応する画像が配置される。例えば、操作用画像用表示領域パフォーマは、キャラクタ手指操作の参照用画像１５４０を参照しながら、コントローラ２１０を操作することでキャラクタ１５１０の手指を動作させる。キャラクタ手指操作の参照用画像１５４０として、コントローラ２１０の位置を介して取得されるパフォーマの手指示画像１５７０の位置の略座標と所定距離ずれた位置に（画面の奥行き方向）、操作用の手の画像１５８０を表示させることができる。図２０（ｂ）に示すように、パフォーマが、操作用の手の画像１５８０を参照しながら、操作用画像表示領域１５６０に表示されるオブジェクト１５３０（コメントリスト）の一部（コメント１５９０）を把持する操作を行うことで、キャラクタ１５１０のオブジェクト（コメント）の把持位置が、上記所定距離ずれた位置に反映されるので、キャラクタがオブジェクトを指先で把持する動作をより自然な形で表現することができる。【００４０】
本実施形態において、図２０（ａ）に示すように、ユーザから投稿されたコメントのリスト１５２０がキャラクタに近傍に表示され、対応するコメントリスト１５３０が、操作用画像表示領域１５６０においても表示される。図２０（ｂ）に示すように、パフォーマは、手指操作の参照用画像１５４０を操作し、コメントの一部（例えば、ユーザ名「ひで」によって投稿されたコメント「ねむい」）１５９０を把持すると、キャラクタ近傍に表示されたコメントリストのうち、対応するコメントがキャラクタによって把持される。さらに、パフォーマがコメント１５９０を把持することに応じて、そのコメントを投稿したユーザ「ひで」に関する付加情報を表示することができる。これにより、パフォーマが、ユーザコメントを読み上げると同時に、そのユーザに関する情報を参照しながら、そのユーザに対する特別な問いかけをすることができる。ここで、付加情報の代わりに、コメントの内容に基づいて、特殊効果を演出として用いることもできる。例えば、図２０（ｂ）において、パフォーマが「りな」から投稿された「おめでとう」というコメントを掴むと、花火やケーキが画面上に表示されるような演出を用いることができる。また、コメントリストの表示方法について、サービス画像表示領域１５５０に表示されるコメントリスト１５２０と、操作用画像表示領域１５６０に表示されるコメントリスト１５３０とを反転表示させることで、視聴ユーザにはコメントリストの内容が理解できないが、パフォーマ（またはパフォーマが演じるキャラクタ１５１０）にはコメントリストの内容が理解できるよう、構成してもよい。【００４１】
図２１に、第６の実施形態において、ユーザに表示される仮想空間の一例を示す。本実施形態において、図２１（ａ）に示す、ユーザからキャラクタ１６１０に投稿されたギフトアイテム１６２０が、図２１（ｂ）に示すように、別のギフトアイテム１６３０に変更される。すなわち、ユーザは事前にギフトアイテムを、図７に示すような購入手段１１５０を経て、ポイントと引き換えに購入しておき、図２１（ａ）において、指定日時に、ギフトアイテムとしてプレゼントボックス１６２０が投稿され（宅配され）、キャラクタ１１２０の動作（ギフトアイテム１６２０への接触等）に応じて、図２１（ｂ）に示すギフトアイテム１６３０（例えば、お茶）として開封される、といった演出を提供することができる。このとき、開封時にギフトアイテム１６３０の内容及び投稿者を示す付加情報１６４０をユーザに対して表示することができる。
【符号の説明】
【００４２】
１１０  ヘッドマウントディスプレイ
１１５  通信部
１２０  表示パネル
１２５  制御部
１４０  センサ
１５０  光源
１６０  カメラ
１７０  マイク
１８０  ヘッドフォン
１９０  入出力部
２１０  コントローラ
２２０  左手用コントローラ
２３０  右手用コントローラ
２４０ａ、２４０ｂ  トリガーボタン
２４５  操作部
２５０  赤外線ＬＥＤ
２５５  入出力部
２６０  センサ
２７０  ジョイスティック
２８０  メニューボタン
２９０  フレーム
３１０  画像生成装置
３２０  入出力部
３３０  通信部
３４０  制御部
３５０  記憶部
４０１Ａ、４０１Ｂ、４０１Ｃ  ユーザ装置  
６１０  ユーザ入力検出部
６２０  キャラクタ制御部
６３０  画像生成部
６４０  アイテム受付部
６５０  コメント受付部
６５５  付加情報生成部
６６０  キャラクタデータ格納部
６７０  制御プログラム格納部
６８０  ストリーミングデータ格納部
６８５  アイテムデータ格納部
６９０  ユーザデータ格納部
１１００  仮想空間
１１１０  画像表示部
１１２０  キャラクタ
１１３０  ユーザ情報表示領域
１１４０  コメント入力部
１１５０  アイテム選択部
１１６０  付加情報表示領域
１１７０  付加情報表示領域
１１８０  ギフトアイテム
１２００  仮想空間
１２７０  付加情報表示領域
１４００  仮想空間
１４１０  キャラクタ
１４７０  ギフトアイテム
１４８０  付加情報表示領域
１５００  仮想空間
１５１０  キャラクタ
１５２０  オブジェクト
１５３０  オブジェクト  
１５４０  キャラクタ手指操作の参照用画像
１５５０  サービス画像表示領域
１５６０  操作用画像表示領域
１５７０  パフォーマの手指示画像
１５８０  操作用の手の画像
１５９０  コメント
１６００  仮想空間
１６１０  キャラクタ
１６２０  ギフトアイテム
１６３０  ギフトアイテム
１６４０  付加情報表示領域
【図１】
2019216249.tif 000003
【図２】
2019216249.tif 000004
【図３】
2019216249.tif 000005
【図４】
2019216249.tif 000006
【図５】
2019216249.tif 000007
【図６】
2019216249.tif 000008
【図７】
2019216249.tif 000009
【図８】
2019216249.tif 000010
【図９】
2019216249.tif 000011
【図１０】
2019216249.tif 000012
【図１１】
2019216249.tif 000013
【図１２】
2019216249.tif 000014
【図１３】
2019216249.tif 000015
【図１４】
2019216249.tif 000016
【図１５】
2019216249.tif 000017
【図１６】
2019216249.tif 000018
【図１７】
2019216249.tif 000019
【図１８】
2019216249.tif 000020
【図１９】
2019216249.tif 000021
【図２０】
2019216249.tif 000022
【図２１】
2019216249.tif 000023
【国際調査報告】
2019216249.tif 000024
2019216249.tif 000025