(57)【要約】【課題】。仮想空間におけるユーザ体験をさらに向上させることが可能な情報処理方法を提供する。【解決手段】情報処理方法は、ユーザの頭部に装着されるＨＭＤ１１０を有するユーザ端末と、ユーザ端末に通信可能に接続されたサーバとを備える情報処理システムにおいてコンピュータによって実行される。情報処理方法は、（ａ）仮想空間を規定する仮想空間データとＨＭＤ１１０の動きに基づいて、ＨＭＤ１１０に表示される視野画像を示す視野画像データを生成するステップと、（ｂ）ユーザの感情を特定するステップと、（ｃ）特定されたユーザの感情に基づいて、仮想空間に関連付けられたコンテンツの評価値を更新するステップと、を含む。【選択図】図１３
2019036239.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの頭部に装着されるヘッドマウントデバイスを有するユーザ端末と、前記ユーザ端末に通信可能に接続されたサーバとを備える情報処理システムにおいてコンピュータによって実行される情報処理方法であって、
（ａ）仮想空間を規定する仮想空間データと前記ヘッドマウントデバイスの動きに基づいて、前記ヘッドマウントデバイスに表示される視野画像を示す視野画像データを生成するステップと、
（ｂ）前記ユーザの感情を特定するステップと、
（ｃ）前記特定されたユーザの感情に基づいて、前記仮想空間に関連付けられたコンテンツの評価値を更新するステップと、
を含む、情報処理方法。
【請求項２】
前記ステップ（ｂ）は、
前記ユーザの顔の表情と、前記ユーザから出力される音声と、前記ユーザの手の動きのうちの少なくとも一つに基づいて、前記ユーザの感情を特定するステップを含む、
請求項１に記載の情報処理方法。
【請求項３】
前記ステップ（ｂ）は、
前記ユーザの感情が第１の感情であるかどうかを判定するステップを含み、
前記ステップ（ｃ）は、
前記特定されたユーザの感情が前記第１の感情である場合に、前記コンテンツの評価値を更新するステップを含む、
請求項１または２に記載の情報処理方法。
【請求項４】
前記仮想空間は、複数のユーザにより視聴され、
前記コンテンツの評価値は、前記複数のユーザのうち前記第１の感情を有するユーザの数に対応する、
請求項３に記載の情報処理方法。
【請求項５】
前記コンテンツの評価値は、前記複数のユーザのうち、前記第１の感情を有すると共に、前記仮想空間の第１の領域に視線を向けているユーザの数に対応する、請求項４に記載の情報処理方法。
【請求項６】
前記ステップ（ｂ）は、
前記ユーザの第１の感情のレベルを特定するステップを含み、
前記ステップ（ｃ）は、
前記特定された第１の感情のレベルに基づいて、前記コンテンツの評価値を更新するステップを含む、
請求項１または２に記載の情報処理方法。
【請求項７】
前記仮想空間は複数のユーザにより視聴され、
前記コンテンツの評価値は、各ユーザの前記第１の感情のレベルの累積値に対応する、請求項６に記載の情報処理方法。
【請求項８】
（ｄ）前記コンテンツの評価値に基づいて、前記仮想空間データの少なくとも一部を更新するステップをさらに含む、請求項１から７のうちいずれか一項に記載の情報処理方法。
【請求項９】
前記ステップ（ｄ）は、
前記コンテンツの評価値が第１の値に達した場合に、前記仮想空間データの少なくとも一部を更新するステップを含む、請求項８に記載の情報処理方法。
【請求項１０】
（ｅ）前記ユーザ端末からの送信要求に応じて、前記サーバに保存された前記コンテンツに関連するデータを前記ユーザ端末に送信するステップをさらに含む、請求項１から７のうちいずれか一項に記載の情報処理方法。
【請求項１１】
前記ステップ（ｅ）は、
前記サーバに保存された前記コンテンツに関連したデータと前記コンテンツの評価値に関する情報を前記ユーザ端末に送信するステップを含み、
（ｆ）前記コンテンツの評価値に関する情報を前記ユーザに提示するステップをさらに含む、請求項１０に記載の情報処理方法。
【請求項１２】
ユーザの頭部に装着されるヘッドマウントデバイスを有するユーザ端末と、前記ユーザ端末に通信可能に接続されたサーバとを備える情報処理システムにおいてコンピュータによって実行される情報処理方法であって、
（ａ）仮想空間を規定する仮想空間データと前記ヘッドマウントデバイスの動きに基づいて、前記ヘッドマウントデバイスに表示される視野画像を示す視野画像データを生成するステップと、
（ｂ）前記ユーザのコミュニケーション行動を特定するステップと、
（ｃ）前記特定されたコミュニケーション行動に基づいて、前記仮想空間に関連付けられたコンテンツの評価値を更新するステップと、
を含む、情報処理方法。
【請求項１３】
請求項１から１２のうちのいずれか一項に記載の情報処理方法をコンピュータに実行させるための情報処理プログラム。
【請求項１４】
ユーザの頭部に装着されるヘッドマウントデバイスを有するユーザ端末と、
前記ユーザ端末に通信可能に接続されたサーバと、
を備え、請求項１から１２のうちのいずれか一項に記載の情報処理方法を実行するように構成された、情報処理システム。
【請求項１５】
プロセッサと、
コンピュータ可読命令を記憶するメモリと、を備えた情報処理装置であって、
前記コンピュータ可読命令が前記プロセッサにより実行されると、前記情報処理装置は、請求項１から１２のうちのいずれか一項に記載の情報処理方法を実行する、情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置に関する。
【背景技術】
【０００２】
ヘッドマウントデバイス（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｅｖｉｃｅ：以下、単にＨＭＤという。）を装着した複数のユーザ間でネットワークを介して仮想空間を共有することが知られている。例えば、非特許文献１は、複数のユーザ間で一つのＶＲ空間を共有した上で、複数ユーザの動作に応じて当該複数ユーザに関連付けられた複数アバターの動作を制御する技術を開示している。特に、非特許文献１では、各アバターの表情を豊かに表現することで、仮想空間内における複数のユーザ間のコミュニケーションを促進させる技術が開示されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】” Facebook Social VR Demo - Oculus Connect 2016”，[online]、平成２８年１０月６日、Road to VR、［平成２９年４月２１日検索］、インターネット＜https://www.youtube.com/watch?v=YuIgyKLPt3s＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、非特許文献１では、ユーザの表情を当該ユーザに関連付けられたアバターの表情に反映させることで、仮想空間内におけるユーザ間のコミュニケーションを促進させることが開示されている一方で、ユーザの感情やユーザのコミュニケーション行動を特定した上で、当該特定されたユーザの感情やコミュニケーション行動を仮想空間におけるユーザ体験に活用することについては何ら検討されていない。特に、ユーザの感情やコニュニケーション行動に基づいて仮想空間のコンテンツを評価することで、仮想空間におけるユーザ体験をさらに改善する余地がある。
【０００５】
本開示は、仮想空間におけるユーザ体験をさらに向上させることが可能な情報処理方法を提供することを目的とする。さらに、本開示は、仮想空間におけるユーザ体験をさらに向上させることが可能な情報処理プログラム、情報処理システム及び情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
ユーザの頭部に装着されるヘッドマウントデバイスを有するユーザ端末と、前記ユーザ端末に通信可能に接続されたサーバとを備える情報処理システムにおいてコンピュータによって実行される情報処理方法であって、
（ａ）仮想空間を規定する仮想空間データと前記ヘッドマウントデバイスの動きに基づいて、前記ヘッドマウントデバイスに表示される視野画像を示す視野画像データを生成するステップと、
（ｂ）前記ユーザの感情を特定するステップと、
（ｃ）前記特定されたユーザの感情に基づいて、前記仮想空間に関連付けられたコンテンツの評価値を更新するステップと、
を含む、情報処理方法。
【発明の効果】
【０００７】
本開示によれば、仮想空間におけるユーザ体験をさらに向上させることできる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態（以下、単に本実施形態という。）に係る仮想空間配信システムを示す概略図である。
【図２】ユーザ端末を示す概略図である。
【図３】ＨＭＤを装着したユーザの頭部を示す図である。
【図４】制御装置のハードウェア構成を示す図である。
【図５】外部コントローラの具体的構成の一例を示す図である。
【図６】視野画像をＨＭＤに表示する処理を示すフローチャートである。
【図７】仮想空間の一例を示すｘｙｚ空間図である。
【図８】状態（ａ）は、図７に示す仮想空間のｙｘ平面図である。状態（ｂ）は、図７に示す仮想空間のｚｘ平面図である。
【図９】ＨＭＤに表示された視野画像の一例を示す図である。
【図１０】図１に示すサーバのハードウェア構成を示す図である。
【図１１】状態（ａ）は、ユーザＡに提供される仮想空間を示す図である。状態（ｂ）は、ユーザＢに提供される仮想空間を示す図である。
【図１２】ユーザ端末間において各アバターの動きを同期させる処理の一例を説明するためのシーケンス図である。
【図１３】第１実施形態に係る情報処理方法を説明するためのユーザＡに提供される仮想空間の一例を示す図である。
【図１４】第１実施形態に係る情報処理方法の一例を説明するためのシーケンス図である。
【図１５】第１実施形態におけるコンテンツ評価テーブルの一例を示す図である。
【図１６】笑ったユーザの数が所定の閾値以上である場合に、ユーザＡに提供される仮想空間の一部が更新される様子を示す図である。
【図１７】第２実施形態に係る情報処理方法の一例を説明するためのシーケンス図である。
【図１８】第２実施形態におけるコンテンツ評価テーブルの一例を示す図である。
【図１９】第３実施形態に係る情報処理方法を説明するためのユーザＤに提供される仮想空間の一例である。
【図２０】第３実施形態に係る情報処理方法を説明するためのシーケンス図である。
【図２１】ユーザＤが装着するＨＭＤに表示された視野画像の一例を示す図である。
【発明を実施するための形態】
【０００９】
［本開示が示す実施形態の説明］
本開示が示す実施形態の概要を説明する。
（１）ユーザの頭部に装着されるヘッドマウントデバイスを有するユーザ端末と、前記ユーザ端末に通信可能に接続されたサーバとを備える情報処理システムにおいてコンピュータによって実行される情報処理方法であって、
（ａ）仮想空間を規定する仮想空間データと前記ヘッドマウントデバイスの動きに基づいて、前記ヘッドマウントデバイスに表示される視野画像を示す視野画像データを生成するステップと、
（ｂ）前記ユーザの感情を特定するステップと、
（ｃ）前記特定されたユーザの感情に基づいて、前記仮想空間に関連付けられたコンテンツの評価値を更新するステップと、
を含む、情報処理方法。
【００１０】
上記方法によれば、ユーザのコンテンツに対するリアルな反応をコンテンツ評価に反映させることができる。従って、仮想空間におけるユーザ体験が向上される。
【００１１】
（２）前記ステップ（ｂ）は、
前記ユーザの顔の表情と、前記ユーザから出力される音声と、前記ユーザの手の動きのうちの少なくとも一つに基づいて、前記ユーザの感情を特定するステップを含む、
項目（１）に記載の情報処理方法。
【００１２】
上記方法によれば、ユーザの顔の表情と、ユーザから出力される音声と、ユーザの手の動きのうちの少なくとも一つを用いることでユーザの感情を正確に特定することができる。
【００１３】
（３）前記ステップ（ｂ）は、
前記ユーザの感情が第１の感情であるかどうかを判定するステップを含み、
前記ステップ（ｃ）は、
前記特定されたユーザの感情が前記第１の感情である場合に、前記コンテンツの評価値を更新するステップを含む、
項目（１）または（２）に記載の情報処理方法。
【００１４】
上記方法によれば、ユーザの第１の感情をコンテンツ評価に反映させることができる。
【００１５】
（４）前記仮想空間は、複数のユーザにより視聴され、
前記コンテンツの評価値は、前記複数のユーザのうち前記第１の感情を有するユーザの数に対応する、
項目（３）に記載の情報処理方法。
【００１６】
上記方法によれば、コンテンツの評価値が第１の感情（例えば、笑いの感情）を有するユーザの数に対応するので、第１の感情を有するユーザの数に基づいてコンテンツを評価することができる。
【００１７】
（５）前記コンテンツの評価値は、前記複数のユーザのうち、前記第１の感情を有すると共に、前記仮想空間の第１の領域に視線を向けているユーザの数に対応する、項目（４）に記載の情報処理方法。
【００１８】
上記方法によれば、第１の感情を有すると共に、仮想空間中の同一の領域（例えば、パフォーマンスを行うアバターが存在する領域）に視線を向けたユーザの数に基づいて、コンテンツを評価することができる。特に、同一の領域に視線を向けたユーザの数がコンテンツ評価に影響を与えるため、より正確にコンテンツを評価することが可能となる。
【００１９】
（６）前記ステップ（ｂ）は、
前記ユーザの第１の感情のレベルを特定するステップを含み、
前記ステップ（ｃ）は、
前記特定された第１の感情のレベルに基づいて、前記コンテンツの評価値を更新するステップを含む、
項目（１）または（２）に記載の情報処理方法。
【００２０】
上記方法によれば、ユーザの第１の感情のレベルをコンテンツ評価にダイレクトに反映させることができるので、より詳細にコンテンツを評価することができる。
【００２１】
（７）前記仮想空間は複数のユーザにより視聴され、
前記コンテンツの評価値は、各ユーザの前記第１の感情のレベルの累積値に対応する、項目（６）に記載の情報処理方法。
【００２２】
上記方法によれば、各ユーザの第１の感情のレベルの累積値に基づいてコンテンツを評価することができるので、より詳細にコンテンツを評価することができる。
【００２３】
（８）（ｄ）前記コンテンツの評価値に基づいて、前記仮想空間データの少なくとも一部を更新するステップをさらに含む、項目（１）から（７）のうちいずれか一項に記載の情報処理方法。
【００２４】
上記方法によれば、例えば、コンテンツ評価値に基づいて、仮想空間のシーンが変更され、又は仮想空間中に所定のオブジェクトを配置することで、仮想空間において所定の演出が実行される。このように、コンテンツの評価値に基づいて仮想空間データの少なくとも一部が更新されるので、仮想空間のエンターテイメント性を向上させることが可能となる。
【００２５】
（９）前記ステップ（ｄ）は、
前記コンテンツの評価値が第１の値に達した場合に、前記仮想空間データの少なくとも一部を更新するステップを含む、項目（８）に記載の情報処理方法。
【００２６】
上記方法によれば、ユーザは、更新された仮想空間を見ることで、コンテンツ評価値が第１の値に達したことを認識することができる。さらに、コンテンツの評価値が第１の値以上である場合に、仮想空間データの少なくとも一部が更新されるので、仮想空間のエンターテイメント性を向上させることが可能となる。
【００２７】
（１０）（ｅ）前記ユーザ端末からの送信要求に応じて、前記サーバに保存された前記コンテンツに関連するデータを前記ユーザ端末に送信するステップをさらに含む、項目（１）から（７）のうちいずれか一項に記載の情報処理方法。
【００２８】
上記方法によれば、ユーザがサーバから配信されたコンテンツを視聴する場合において、コンテンツを視聴するユーザの感情に基づいてコンテンツの評価値が更新される。したがって、ユーザの感情に基づいてコンテンツを評価することができるので、ユーザのリアルな感情（反応）をコンテンツ評価に反映させることができると共に、ユーザによるコンテンツ評価に対する操作の手間を省くことが可能となる。特に、ユーザは、動画配信プラットフォームに設けられた評価ボタン（「イイネ」ボタン等）を押すことでコンテンツを評価する必要がないため、コンテンツ評価に対するユーザ操作の手間を省くことが可能となる。
【００２９】
（１１）前記ステップ（ｅ）は、
前記サーバに保存された前記コンテンツに関連したデータと前記コンテンツの評価値に関する情報を前記ユーザ端末に送信するステップを含み、
（ｆ）前記コンテンツの評価値に関する情報を前記ユーザに提示するステップをさらに含む、項目（１０）に記載の情報処理方法。
【００３０】
上記方法によれば、コンテンツの評価値に関する情報がユーザに提示されることで、ユーザは、視聴するコンテンツに対する他のユーザの評価を知ることができる。
【００３１】
（１２）ユーザの頭部に装着されるヘッドマウントデバイスを有するユーザ端末と、前記ユーザ端末に通信可能に接続されたサーバとを備える情報処理システムにおいてコンピュータによって実行される情報処理方法であって、
（ａ）仮想空間を規定する仮想空間データと前記ヘッドマウントデバイスの動きに基づいて、前記ヘッドマウントデバイスに表示される視野画像を示す視野画像データを生成するステップと、
（ｂ）前記ユーザのコミュニケーション行動を特定するステップと、
（ｃ）前記特定されたコミュニケーション行動に基づいて、前記仮想空間に関連付けられたコンテンツの評価値を更新するステップと、
を含む、情報処理方法。
【００３２】
上記方法によれば、ユーザのコンテンツに対するリアルな反応をコンテンツ評価に反映させることができる。従って、仮想空間におけるユーザ体験が向上される。
【００３３】
（１３）項目（１）から（１２）のうちのいずれか一項に記載の情報処理方法をコンピュータに実行させるための情報処理プログラム。
【００３４】
上記によれば、仮想空間におけるユーザ体験をさらに向上させることが可能な情報処理プログラムを提供することが可能となる。
【００３５】
（１４）ユーザの頭部に装着されるヘッドマウントデバイスを有するユーザ端末と、
前記ユーザ端末に通信可能に接続されたサーバと、
を備え、項目（１）から（１２）のうちのいずれか一項に記載の情報処理方法を実行するように構成された、情報処理システム。
【００３６】
上記によれば、仮想空間におけるユーザ体験をさらに向上させることが可能な情報処理システムを提供することが可能となる。
【００３７】
（１５）プロセッサと、
コンピュータ可読命令を記憶するメモリと、を備えた情報処理装置であって、
前記コンピュータ可読命令が前記プロセッサにより実行されると、前記情報処理装置は、項目（１）から（１２）のうちのいずれか一項に記載の情報処理方法を実行する、情報処理装置。
【００３８】
上記によれば、仮想空間におけるユーザ体験をさらに向上させることが可能な情報処理装置を提供することが可能となる。
【００３９】
［本開示が示す実施形態の詳細］
以下、本開示が示す実施形態について図面を参照しながら説明する。尚、本実施形態の説明において既に説明された要素と同一の参照番号を有する要素については、説明の便宜上、その説明は繰り返さない。
【００４０】
最初に、仮想空間配信システム１００（情報処理システムの一例）の構成の概略について図１を参照して説明する。図１は、仮想空間配信システム１００（以下、単に配信システム１００という。）の概略図である。図１に示すように、配信システム１００は、ヘッドマウントデバイス（ＨＭＤ）１１０を装着したユーザＡによって操作されるユーザ端末１Ａと、ＨＭＤ１１０を装着したユーザＢによって操作されるユーザ端末１Ｂと、サーバ２とを備える。ユーザ端末１Ａ，１Ｂは、インターネット等の通信ネットワーク３を介してサーバ２に通信可能に接続されている。尚、本実施形態において、仮想空間とは、ＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）空間と、ＡＲ（Ａｒｇｕｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）空間と、ＭＲ（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）空間を含むものである。また、以降では、説明の便宜上、各ユーザ端末１Ａ，１Ｂを単にユーザ端末１と総称する場合がある。さらに、各ユーザＡ，Ｂを単にユーザＵと総称する場合がある。また、本実施形態では、ユーザ端末１Ａ，１Ｂは、同一の構成を備えているものとする。
【００４１】
次に、図２を参照してユーザ端末１の構成について説明する。図２は、ユーザ端末１を示す概略図である。図２に示すように、ユーザ端末１は、ユーザＵの頭部に装着されたヘッドマウントデバイス（ＨＭＤ）１１０と、ヘッドフォン１１６と、フェイスカメラ１１７と、マイク１１８と、位置センサ１３０と、外部コントローラ３２０と、制御装置１２０とを備える。
【００４２】
ＨＭＤ１１０は、表示部１１２と、ＨＭＤセンサ１１４と、注視センサ１４０と、フェイスカメラ１１３と、装着センサ１１５とを備えている。表示部１１２は、ＨＭＤ１１０を装着したユーザＵの視界（視野）を完全に覆うように構成された非透過型の表示装置を備えている。これにより、ユーザＵは、表示部１１２に表示された視野画像のみを見ることで仮想空間に没入することができる。尚、表示部１１２は、ユーザＵの左目に画像を提供するように構成された左目用表示部と、ユーザＵの右目に画像を提供するように構成された右目用表示部とから構成されてもよい。また、ＨＭＤ１１０は、透過型の表示装置を備えてもよい。この場合、透過型の表示装置は、その透過率を調整することで、一時的に非透過型の表示装置として構成されてもよい。
【００４３】
ＨＭＤセンサ１１４は、ＨＭＤ１１０の表示部１１２の近傍に搭載される。ＨＭＤセンサ１１４は、地磁気センサ、加速度センサ、傾きセンサ（角速度センサやジャイロセンサ等）のうちの少なくとも１つを含み、ユーザＵの頭部に装着されたＨＭＤ１１０の各種動き（傾き等）を検出することができる。
【００４４】
注視センサ１４０は、ユーザＵの視線を検出するアイトラッキング機能を有する。注視センサ１４０は、例えば、右目用注視センサと、左目用注視センサを備えてもよい。右目用注視センサは、ユーザＵの右目に例えば赤外光を照射して、右目（特に、角膜や虹彩）から反射された反射光を検出することで、右目の眼球の回転角に関する情報を取得してもよい。一方、左目用注視センサは、ユーザＵの左目に例えば赤外光を照射して、左目（特に、角膜や虹彩）から反射された反射光を検出することで、左目の眼球の回転角に関する情報を取得してもよい。
【００４５】
フェイスカメラ１１３は、ＨＭＤ１１０がユーザＵに装着された状態でユーザＵの目（左目と右目）とまゆげ（左まゆげと右まゆげ）が表示された画像（特に、動画像）を取得するように構成されている。フェイスカメラ１１３は、ユーザＵの目とまゆげを撮像可能なようにＨＭＤ１１０の内側の所定箇所に配置されている。フェイスカメラ１１３によって取得される動画像のフレームレートは、ＨＭＤ１１０に表示される視野画像（後述する）のフレームレートよりも大きくてもよい。
【００４６】
装着センサ１１５は、ユーザＵがＨＭＤ１１０を装着しているかどうかを示すためのイベント情報を生成するように構成されている。具体的には、ユーザＵがＨＭＤ１１０を取り外したときに（ＨＭＤ１１０の状態が装着状態から非装着状態に遷移したときに）、装着センサ１１５は、イベント情報を生成した上で、当該イベント情報を制御装置１２０に送信する。
【００４７】
ヘッドフォン１１６（音声出力部）は、ユーザＵの左耳と右耳にそれぞれ装着されている。ヘッドフォン１１６は、制御装置１２０から音声データ（電気信号）を受信し、当該受信した音声データに基づいて音声を出力するように構成されている。マイク１１８（音声入力部）は、ユーザＵから発声された音声を収集し、当該収集された音声に基づいて音声データ（電気信号）を生成するように構成されている。さらに、マイク１１８は、音声データを制御装置１２０に送信するように構成されている。
【００４８】
フェイスカメラ１１７は、ユーザＵの口及びその周辺が表示された画像（特に、動画像）を取得するように構成されている。フェイスカメラ１１７は、ユーザＵの口及びその周辺を撮像可能なようにユーザＵの口に対向する位置に配置されてもよい。また、フェイスカメラ１１７は、ＨＭＤ１１０と連結されていてもよい。フェイスカメラ１１７によって取得される動画像のフレームレートは、ＨＭＤ１１０に表示される視野画像のフレームレートよりも大きくてもよい。
【００４９】
位置センサ１３０は、例えば、ポジション・トラッキング・カメラにより構成され、ＨＭＤ１１０と外部コントローラ３２０の位置を検出するように構成されている。位置センサ１３０は、制御装置１２０に無線又は有線により通信可能に接続されており、ＨＭＤ１１０に設けられた図示しない複数の検知点の位置、傾き又は発光強度に関する情報を検出するように構成されている。さらに、位置センサ１３０は、外部コントローラ３２０に設けられた図示しない複数の検知点の位置、傾き及び／又は発光強度に関する情報を検出するように構成されている。検知点は、例えば、赤外線や可視光を放射する発光部である。また、位置センサ１３０は、赤外線センサや複数の光学カメラを含んでもよい。
【００５０】
外部コントローラ３２０は、ユーザＵの身体の一部（頭部以外の部位であり、本実施形態においてはユーザＵの手）の動きを検知することにより、仮想空間内に表示されるアバターの手の動作を制御するために使用される。外部コントローラ３２０は、ユーザＵの右手によって操作される右手用外部コントローラ３２０Ｒ（以下、単にコントローラ３２０Ｒという。）と、ユーザＵの左手によって操作される左手用外部コントローラ３２０Ｌ（以下、単にコントローラ３２０Ｌという。）と、を有する。コントローラ３２０Ｒは、ユーザＵの右手の位置や右手の手指の動きを示す装置である。また、コントローラ３２０Ｒの動きに応じて仮想空間内に存在するアバターの右手が動く。コントローラ３２０Ｌは、ユーザＵの左手の位置や左手の手指の動きを示す装置である。また、コントローラ３２０Ｌの動きに応じて仮想空間内に存在するアバターの左手が動く。
【００５１】
制御装置１２０は、ＨＭＤ１１０を制御するように構成されたコンピュータである。制御装置１２０は、位置センサ１３０から取得された情報に基づいて、ＨＭＤ１１０の位置情報を特定し、当該特定された位置情報に基づいて、仮想空間における仮想カメラの位置（アバターの位置）と、現実空間におけるＨＭＤ１１０を装着したユーザＵの位置を正確に対応付けることができる。さらに、制御装置１２０は、位置センサ１３０及び／又は外部コントローラ３２０に内蔵されたセンサから取得された情報に基づいて、外部コントローラ３２０の動作を特定し、当該特定された外部コントローラ３２０の動作に基づいて、仮想空間内に表示されるアバターの手の動作と現実空間における外部コントローラ３２０の動作を正確に対応付けることができる。特に、制御装置１２０は、位置センサ１３０及び／又はコントローラ３２０Ｌに内蔵されたセンサから取得された情報に基づいて、コントローラ３２０Ｌの動作を特定し、当該特定されたコントローラ３２０Ｌの動作に基づいて、仮想空間内に表示されるアバターの左手の動作と現実空間におけるコントローラ３２０Ｌの動作（ユーザＵの左手の動作）を正確に対応付けることができる。同様に、制御装置１２０は、位置センサ及び／コントローラ３２０Ｒに内蔵されたセンサから取得された情報に基づいて、コントローラ３２０Ｒの動作を特定し、当該特定されたコントローラ３２０Ｒの動作に基づいて、仮想空間内に表示されるアバターの右手の動作と現実空間におけるコントローラ３２０Ｒの動作（ユーザＵの右手の動作）を正確に対応付けることができる。
【００５２】
また、制御部１２１は、フェイスカメラ１１３，１１７によって取得された動画像に基づいて、ユーザＵの顔の表情（状態）とユーザＵのアバターの顔の表情（状態）を対応付けることができる。ユーザＵの顔の表情とアバターの顔の表情を互いに対応づける処理の詳細については後述する。
【００５３】
また、制御装置１２０は、注視センサ１４０（左目用注視センサと右目用注視センサ）から送信された情報に基づいて、ユーザＵの右目の視線と左目の視線をそれぞれ特定し、当該右目の視線と当該左目の視線の交点である注視点を特定することができる。さらに、制御装置１２０は、特定された注視点に基づいて、ユーザＵの両目の視線（ユーザＵの視線）を特定することができる。ここで、ユーザＵの視線は、ユーザＵの両目の視線であって、ユーザＵの右目と左目を結ぶ線分の中点と注視点を通る直線の方向に一致する。
【００５４】
次に、図３を参照して、ＨＭＤ１１０の位置や傾きに関する情報を取得する方法について説明する。図３は、ＨＭＤ１１０を装着したユーザＵの頭部を示す図である。ＨＭＤ１１０を装着したユーザＵの頭部の動きに連動したＨＭＤ１１０の位置や傾きに関する情報は、位置センサ１３０及び／又はＨＭＤ１１０に搭載されたＨＭＤセンサ１１４により検出可能である。図２に示すように、ＨＭＤ１１０を装着したユーザＵの頭部を中心として、３次元座標（ｕｖｗ座標）が規定される。ユーザＵが直立する垂直方向をｖ軸として規定し、ｖ軸と直交しＨＭＤ１１０の中心を通る方向をｗ軸として規定し、ｖ軸およびｗ軸と直交する方向をｕ軸として規定する。位置センサ１３０及び／又はＨＭＤセンサ１１４は、各ｕｖｗ軸回りの角度（すなわち、ｖ軸を中心とする回転を示すヨー角、ｕ軸を中心とした回転を示すピッチ角、ｗ軸を中心とした回転を示すロール角で決定される傾き）を検出する。制御装置１２０は、検出された各ｕｖｗ軸回りの角度変化に基づいて、仮想カメラの視軸を制御するための角度情報を決定する。
【００５５】
次に、図４を参照することで、制御装置１２０のハードウェア構成について説明する。図４は、制御装置１２０のハードウェア構成を示す図である。図４に示すように、制御装置１２０は、制御部１２１と、記憶部１２３と、Ｉ／Ｏ（入出力）インターフェース１２４と、通信インターフェース１２５と、バス１２６とを備える。制御部１２１と、記憶部１２３と、Ｉ／Ｏインターフェース１２４と、通信インターフェース１２５は、バス１２６を介して互いに通信可能に接続されている。
【００５６】
制御装置１２０は、ＨＭＤ１１０とは別体に、パーソナルコンピュータ、スマートフォン、ファブレット、タブレット又はウェアラブルデバイスとして構成されてもよいし、ＨＭＤ１１０に内蔵されていてもよい。また、制御装置１２０の一部の機能がＨＭＤ１１０に搭載されると共に、制御装置１２０の残りの機能がＨＭＤ１１０とは別体の他の装置に搭載されてもよい。
【００５７】
制御部１２１は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えばＣＰＵ(Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ)、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）及び／又はＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であって、ＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されている。
【００５８】
特に、プロセッサが制御プログラムをＲＡＭ上に展開し、ＲＡＭとの協働で制御プログラムを実行することで、制御部１２１は、制御装置１２０の各種動作を制御してもよい。制御部１２１は、視野画像データに基づいてＨＭＤ１１０の表示部１１２に視野画像を表示する。これにより、ユーザＵは、仮想空間に没入することができる。
【００５９】
記憶部（ストレージ）１２３は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、ＵＳＢフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。記憶部１２３は、本実施形態に係る情報処理方法の少なくとも一部をコンピュータに実行させるための制御プログラムや、複数のユーザによる仮想空間の共有を実現するための制御プログラムを格納してもよい。また、記憶部１２３には、ユーザＵの認証プログラムや各種画像やオブジェクト（例えば、アバター等）に関するデータが格納されてもよい。さらに、記憶部１２３には、各種データを管理するためのテーブルを含むデータベースが構築されてもよい。
【００６０】
Ｉ／Ｏインターフェース１２４は、ＨＭＤ１１０と、位置センサ１３０と、外部コントローラ３２０と、ヘッドフォン１１６と、フェイスカメラ１１７と、マイク１１８とをそれぞれ制御装置１２０に通信可能に接続するように構成されており、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）端子、ＤＶＩ（Ｄｉｇｉｔａｌ  Ｖｉｓｕａｌ  Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ―Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）端子等により構成されている。尚、制御装置１２０は、ＨＭＤ１１０と、位置センサ１３０と、外部コントローラ３２０と、ヘッドフォン１１６と、フェイスカメラ１１７と、マイク１１８とのそれぞれと無線接続されていてもよい。
【００６１】
通信インターフェース１２５は、制御装置１２０をＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）又はインターネット等の通信ネットワーク３に接続させるように構成されている。通信インターフェース１２５は、通信ネットワーク３を介してサーバ２等の外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク３を介して通信するための通信規格に適合するように構成されている。
【００６２】
次に、図５を参照して外部コントローラ３２０の具体的構成の一例について説明する。コントローラ３２０Ｒとコントローラ３２０Ｌは略同一の構成を有するので、以下では、図５を参照してコントローラ３２０Ｒの具体的構成についてのみ説明する。尚、以降の説明では、便宜上、コントローラ３２０Ｌ，３２０Ｒを単に外部コントローラ３２０と総称する場合がある。
【００６３】
図５に示すように、コントローラ３２０Ｒは、操作ボタン３０２と、複数の検知点３０４と、図示しないセンサと、図示しないトランシーバとを備える。検知点３０４とセンサは、どちらか一方のみが設けられていてもよい。操作ボタン３０２は、ユーザＵからの操作入力を受付けるように構成された複数のボタン群により構成されている。操作ボタン３０２は、プッシュ式ボタンと、トリガー式ボタンと、アナログスティックとを含む。プッシュ式ボタンは、親指による押下する動作によって操作されるボタンである。例えば、天面３２２上に２つのプッシュ式ボタン３０２ａ，３０２ｂが設けられている。トリガー式ボタンは、人差し指や中指で引き金を引くような動作によって操作されるボタンである。例えば、グリップ３２４の前面部分にトリガー式ボタン３０２ｅが設けられると共に、グリップ３２４の側面部分にトリガー式ボタン３０２ｆが設けられる。トリガー式ボタン３０２ｅ，３０２ｆは、人差し指と中指によってそれぞれ操作される。アナログスティックは、所定のニュートラル位置から３６０度任意の方向へ傾けて操作されうるスティック型のボタンである。例えば、天面３２２上にアナログスティック３２０ｉが設けられており、親指を用いて操作される。
【００６４】
コントローラ３２０Ｒは、グリップ３２４の両側面から天面３２２とは反対側の方向へ延びて半円状のリングを形成するフレーム３２６を備える。フレーム３２６の外側面には、複数の検知点３０４が埋め込まれている。複数の検知点３０４は、例えば、フレーム３２６の円周方向に沿って一列に並んだ複数の赤外線ＬＥＤである。位置センサ１３０は、複数の検知点３０４の位置、傾き又は発光強度に関する情報を検出した後に、制御装置１２０は、位置センサ１３０によって検出された情報に基づいて、コントローラ３２０Ｒの位置や姿勢（傾き・向き）に関する情報を取得する。
【００６５】
コントローラ３２０Ｒのセンサは、例えば、磁気センサ、角速度センサ、若しくは加速度センサのいずれか、又はこれらの組み合わせであってもよい。センサは、ユーザＵがコントローラ３２０Ｒを動かしたときに、コントローラ３２０Ｒの向きや位置に応じた信号（例えば、磁気、角速度、又は加速度に関する情報を示す信号）を出力する。制御装置１２０は、センサから出力された信号に基づいて、コントローラ３２０Ｒの位置や姿勢に関する情報を取得する。
【００６６】
コントローラ３２０Ｒのトランシーバは、コントローラ３２０Ｒと制御装置１２０との間でデータを送受信するように構成されている。例えば、トランシーバは、ユーザＵの操作入力に対応する操作信号を制御装置１２０に送信してもよい。また、トランシーバは、検知点３０４の発光をコントローラ３２０Ｒに指示する指示信号を制御装置１２０から受信してもよい。さらに、トランシーバは、センサによって検出された値を示す信号を制御装置１２０に送信してもよい。
【００６７】
次に、図６から図９を参照することで視野画像をＨＭＤ１１０に表示するための処理について説明する。図６は、視野画像をＨＭＤ１１０に表示する処理を示すフローチャートである。図７は、仮想空間２００の一例を示すｘｙｚ空間図である。図８の状態（ａ）は、図７に示す仮想空間２００のｙｘ平面図である。図８の状態（ｂ）は、図７に示す仮想空間２００のｚｘ平面図である。図９は、ＨＭＤ１１０に表示された視野画像Ｖの一例を示す図である。
【００６８】
図６に示すように、ステップＳ１において、制御部１２１（図４参照）は、仮想カメラ３００と、各種オブジェクトとを含む仮想空間２００を示す仮想空間データを生成する。図７に示すように、仮想空間２００は、中心位置２１０を中心とした全天球として規定される（図７では、上半分の天球のみが図示されている）。また、仮想空間２００では、中心位置２１０を原点とするｘｙｚ座標系が設定されている。仮想カメラ３００は、ＨＭＤ１１０に表示される視野画像Ｖ（図９参照）を特定するための視軸Ｌを規定している。仮想カメラ３００の視野を定義するｕｖｗ座標系は、現実空間におけるユーザＵの頭部を中心として規定されたｕｖｗ座標系に連動するように決定される。また、ＨＭＤ１１０を装着したユーザＵの現実空間における移動に連動して、制御部１２１は、仮想カメラ３００を仮想空間２００内で移動させてもよい。
【００６９】
次に、ステップＳ２において、制御部１２１は、仮想カメラ３００の視野ＣＶ（図８参照）を特定する。具体的には、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４から送信されたＨＭＤ１１０の状態を示すデータに基づいて、ＨＭＤ１１０の位置や傾きに関する情報を取得する。次に、制御部１２１は、ＨＭＤ１１０の位置や傾きに関する情報に基づいて、仮想空間２００内における仮想カメラ３００の位置や向きを特定する。次に、制御部１２１は、仮想カメラ３００の位置や向きから仮想カメラ３００の視軸Ｌを決定し、決定された視軸Ｌから仮想カメラ３００の視野ＣＶを特定する。ここで、仮想カメラ３００の視野ＣＶは、ＨＭＤ１１０を装着したユーザＵが視認可能な仮想空間２００の一部の領域に相当する（換言すれば、ＨＭＤ１１０に表示される仮想空間２００の一部の領域に相当する）。また、視野ＣＶは、図８の状態（ａ）に示すｘｙ平面において、視軸Ｌを中心とした極角αの角度範囲として設定される第１領域ＣＶａと、図８の状態（ｂ）に示すｘｚ平面において、視軸Ｌを中心とした方位角βの角度範囲として設定される第２領域ＣＶｂとを有する。尚、制御部１２１は、注視センサ１４０から送信されたユーザＵの視線を示すデータに基づいてユーザＵの視線を特定し、特定されたユーザＵの視線とＨＭＤ１１０の位置や傾きに関する情報に基づいて、仮想カメラ３００の向き（仮想カメラの野軸Ｌ）を決定してもよい。また、後述するように、制御部１２１は、ＨＭＤ１１０の位置や傾きに関する情報に基づいて、ユーザＵのアバターの顔の向きを決定してもよい。
【００７０】
このように、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４からのデータに基づいて、仮想カメラ３００の視野ＣＶを特定することができる。ここで、ＨＭＤ１１０を装着したユーザＵが動くと、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４から送信されたＨＭＤ１１０の動きを示すデータに基づいて、仮想カメラ３００の視野ＣＶを更新することができる。つまり、制御部１２１は、ＨＭＤ１１０の動きに応じて、視野ＣＶを更新することができる。同様に、ユーザＵの視線が変化すると、制御部１２１は、注視センサ１４０から送信されたユーザＵの視線を示すデータに基づいて、仮想カメラ３００の視野ＣＶを更新してもよい。つまり、制御部１２１は、ユーザＵの視線の変化に応じて、視野ＣＶを変化させてもよい。
【００７１】
次に、ステップＳ３において、制御部１２１は、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖを示す視野画像データを生成する。具体的には、制御部１２１は、仮想空間２００を規定する仮想空間データと、仮想カメラ３００の視野ＣＶとに基づいて、視野画像データを生成する。
【００７２】
次に、ステップＳ４において、制御部１２１は、視野画像データに基づいて、ＨＭＤ１１０の表示部１１２に視野画像Ｖを表示する（図９参照）。このように、ＨＭＤ１１０を装着しているユーザＵの動きに応じて、仮想カメラ３００の視野ＣＶが変化し、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖが変化するので、ユーザＵは仮想空間２００に没入することができる。
【００７３】
尚、仮想カメラ３００は、左目用仮想カメラと右目用仮想カメラを含んでもよい。この場合、制御部１２１は、仮想空間データと左目用仮想カメラの視野に基づいて、左目用の視野画像を示す左目用視野画像データを生成する。さらに、制御部１２１は、仮想空間データと、右目用仮想カメラの視野に基づいて、右目用の視野画像を示す右目用視野画像データを生成する。その後、制御部１２１は、左目用視野画像データに基づいて、左目用表示部に左目用の視野画像を表示すると共に、右目用視野画像データに基づいて、右目用表示部に右目用の視野画像を表示する。このようにして、ユーザＵは、左目用視野画像と右目用視野画像との間の視差により、視野画像を３次元的に視認することができる。尚、仮想カメラは、後述するように、ユーザによって操作されるアバターの目の位置に配置されてもよい。例えば、左目用仮想カメラは、アバターの左目に配置される一方で、右目用仮想カメラは、アバターの右目に配置されてもよい。
【００７４】
また、図６に示すステップＳ１〜Ｓ４の処理は１フレーム（動画を構成する静止画像）毎に実行されてもよい。例えば、動画のフレームレートが９０ｆｐｓである場合、ステップＳ１〜Ｓ４の処理はΔＴ＝１／９０（秒）間隔で繰り返し実行されてもよい。このように、ステップＳ１〜Ｓ４の処理が所定間隔ごとに繰り返し実行されるため、ＨＭＤ１１０の動作に応じて仮想カメラ３００の視野が更新されると共に、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖが更新される。
【００７５】
次に、図１に示すサーバ２のハードウェア構成について図１０を参照して説明する。図１０は、サーバ２のハードウェア構成を示す図である。図１０に示すように、サーバ２は、制御部２３と、記憶部２２と、通信インターフェース２１と、バス２４とを備える。制御部２３と、記憶部２２と、通信インターフェース２１は、バス２４を介して互いに通信可能に接続されている。制御部２３は、メモリとプロセッサを備えており、メモリは、例えば、ＲＯＭ及びＲＡＭ等から構成されると共に、プロセッサは、例えば、ＣＰＵ、ＭＰＵ及び／又はＧＰＵにより構成される。
【００７６】
記憶部（ストレージ）２２は、例えば、大容量のＨＤＤ等である。記憶部２２は、本実施形態に係る情報処理方法の少なくとも一部をコンピュータに実行させるための制御プログラムや、複数のユーザによる仮想空間の共有を実現させるための制御プログラムを格納してもよい。また、記憶部２２は、各ユーザを管理するためのユーザ管理情報や各種画像やオブジェクト（例えば、アバター等）に関するデータを格納してもよい。通信インターフェース２１は、サーバ２を通信ネットワーク３に接続させるように構成されている。
【００７７】
次に、図１，１１及び１２を参照してユーザ端末１Ａとユーザ端末１Ｂ間において各アバター４Ａ，４Ｂの動きを同期させる処理の一例について説明する。図１１の状態（ａ）は、ユーザＡに提供される仮想空間２００Ａを示す図である。図１１の状態（ｂ）は、ユーザＢに提供される仮想空間２００Ｂを示す図である。図１２は、ユーザ端末１Ａとユーザ端末１Ｂ間において各アバター４Ａ，４Ｂの動きを同期させる処理の一例を説明するためのシーケンス図である。本説明では、前提条件として、図１１に示すように、ユーザ端末１Ａ（ユーザＡ）に関連付けられたアバター４Ａと、ユーザ端末１Ｂ（ユーザＢ）に関連付けられたアバター４Ｂが同一の仮想空間を共有しているものとする。つまり、通信ネットワーク３を介してユーザＡとユーザＢが一つの仮想空間を共有するものとする。
【００７８】
図１１の状態（ａ）に示すように、ユーザＡの仮想空間２００Ａは、アバター４Ａと、アバター４Ｂとを含む。アバター４Ａは、ユーザＡによって操作されると共に、ユーザＡの動作に連動する。アバター４Ａは、ユーザ端末１Ａのコントローラ３２０Ｌの動作（ユーザＡの左手の動作）に連動する左手（アバター４Ａの仮想身体の一部）と、ユーザ端末１Ａのコントローラ３２０Ｒの動作（ユーザＡの右手の動作）に連動する右手と、表情がユーザＡの顔の表情に連動する顔を有する。アバター４Ａの顔は、複数の顔パーツ（例えば、目、まゆげ、口等）を有する。アバター４Ｂは、ユーザＢによって操作されると共に、ユーザＢの動作に連動する。アバター４Ｂは、ユーザＢの左手の動作を示すユーザ端末１Ｂのコントローラ３２０Ｌの動作に連動する左手と、ユーザＢの右手の動作を示すユーザ端末１Ｂのコントローラ３２０Ｒの動作に連動する右手と、表情がユーザＢの顔の表情と連動する顔を有する。アバター４Ｂの顔は、複数の顔パーツ（例えば、目、まゆげ、口等）を有する。
【００７９】
尚、ユーザＡに提供される仮想空間２００Ａでは、アバター４Ａが可視化されない場合も想定される。この場合、仮想空間２００Ａに配置されるアバター４Ａは、少なくともユーザ端末１ＡのＨＭＤ１１０の動きに連動する仮想カメラ３００を含む。
【００８０】
また、ユーザ端末１Ａ，１ＢのＨＭＤ１１０の位置に応じてアバター４Ａ，４Ｂの位置が特定されてもよい。同様に、ユーザ端末１Ａ，１ＢのＨＭＤ１１０の傾きに応じてアバター４Ａ，４Ｂの顔の向きが特定されてもよい。さらに、ユーザ端末１Ａ，１Ｂの外部コントローラ３２０の動作に応じてアバター４Ａ，４Ｂの手の動作が特定されてもよい。特に、ユーザ端末１Ａ，１Ｂのコントローラ３２０Ｌの動作に応じてアバター４Ａ，４Ｂの左手の動作が特定されると共に、ユーザ端末１Ａ，１Ｂのコントローラ３２０Ｒの動作に応じてアバター４Ａ，４Ｂの右手の動作が特定されてもよい。また、ユーザＡ，Ｂの顔の表情（状態）に応じてアバター４Ａ，４Ｂの顔の表情が特定されてもよい。特に、ユーザＡ，Ｂの白目に対する黒目の位置に応じてアバター４Ａ，４Ｂの白目に対する黒目の位置が特定されてもよい。
【００８１】
また、アバター４Ａ，４Ｂの各々の目には、仮想カメラ３００（図７）が配置されてもよい。特に、アバター４Ａ，４Ｂの左目には、左目用仮想カメラが配置されると共に、アバター４Ａ，４Ｂの右目には、右目用仮想カメラが配置されてもよい。尚、以降の説明では、仮想カメラ３００は、アバター４Ａ，４Ｂの目の位置に配置されているものとする。このため、アバター４Ａの視野ＣＶは、アバター４Ａに配置された仮想カメラ３００の視野ＣＶ（図７参照）と一致するものとする。同様に、アバター４Ｂの視野ＣＶは、アバター４Ｂに配置された仮想カメラ３００の視野ＣＶ（図７参照）と一致するものとする。
【００８２】
図１１の状態（ｂ）に示すように、ユーザＢの仮想空間２００Ｂは、アバター４Ａと、アバター４Ｂとを含む。仮想空間２００Ａ内におけるアバター４Ａ，４Ｂの位置は、仮想空間２００Ｂ内におけるアバター４Ａ，４Ｂの位置に対応してもよい。
【００８３】
尚、ユーザＢに提供される仮想空間２００Ｂでは、アバター４Ｂが可視化されない場合も想定される。この場合、仮想空間２００Ｂに配置されるアバター４Ｂは、少なくともユーザ端末１ＢのＨＭＤ１１０の動きに連動する仮想カメラ３００を含む。
【００８４】
次に、図１２を参照すると、ステップＳ１０において、ユーザ端末１Ａの制御部１２１は、ユーザＡの音声データを生成する。例えば、ユーザＡがユーザ端末１Ａのマイク１１８（音声入力部）に音声を入力したときに、マイク１１８は、入力された音声を示す音声データを生成する。その後、マイク１１８は、生成された音声データをＩ／Ｏインターフェース１２４を介して制御部１２１に送信する。
【００８５】
次に、ステップＳ１１において、ユーザ端末１Ａの制御部１２１は、アバター４Ａの制御情報を生成した上で、当該生成したアバター４Ａの制御情報とユーザＡの音声を示す音声データ（ユーザＡの音声データ）をサーバ２に送信する。その後、サーバ２の制御部２３は、ユーザ端末１Ａからアバター４Ａの制御情報とユーザＡの音声データを受信する（ステップＳ１２）。
【００８６】
ここで、アバター４Ａの制御情報は、アバター４Ａの動作を制御するために必要な情報である。アバター４Ａの制御情報は、アバター４Ａの位置に関する情報（位置情報）と、アバター４Ａの顔の向きに関する情報（顔向き情報）と、アバター４Ａの手（左手と右手）の状態に関する情報（手情報）と、アバター４Ａの顔の表情に関する情報（顔情報）とを含んでもよい。
【００８７】
アバター４Ａの顔情報は、複数の顔パーツの状態を示す情報を有する。複数の顔パーツの状態を示す情報は、アバター４Ａの目の状態（白目の形状及び白目に対する黒目の位置等）を示す情報（目情報）と、アバター４Ａのまゆげの情報（まゆげの位置及び形状等）を示す情報（まゆげ情報）と、アバター４Ａの口の状態（口の位置及び形状等）を示す情報（口情報）を有する。
【００８８】
詳細には、アバター４Ａの目情報は、アバター４Ａの左目の状態を示す情報と、アバター４Ａの右目の状態を示す情報を有する。アバター４Ａのまゆげ情報は、アバター４Ａの左まゆげの状態を示す情報と、アバター４Ａの右まゆげの状態を示す情報を有する。
【００８９】
ユーザ端末１Ａの制御部１２１は、ＨＭＤ１１０に搭載されたフェイスカメラ１１３からユーザＡの目（左目と右目）とまゆげ（左まゆげと右まゆげ）を示す画像を取得した上で、当該取得された画像と所定の画像処理アルゴリズムに基づいてユーザＡの目（左目と右目）とまゆげ（左まゆげと右まゆげ）の状態を特定する。次に、制御部１２１は、特定されたユーザＡの目とまゆげの状態に基づいて、アバター４Ａの目（左目と右目）の状態を示す情報とアバター４Ａのまゆげ（左まゆげと右まゆげ）の状態を示す情報をそれぞれ生成する。
【００９０】
同様に、ユーザ端末１Ａの制御部１２１は、フェイスカメラ１１７からユーザＡの口及びその周辺を示す画像を取得した上で、当該取得された画像と所定の画像処理アルゴリズムに基づいてユーザＡの口の状態を特定する。次に、制御部１２１は、特定されたユーザＡの口の状態に基づいて、アバター４Ａの口の状態を示す情報を生成する。
【００９１】
このように、ユーザ端末１Ａの制御部１２１は、ユーザＡの目に対応するアバター４Ａの目情報と、ユーザＡのまゆげに対応するアバター４Ａのまゆげ情報と、ユーザＡの口に対応するアバター４Ａの口情報を生成することができる。
【００９２】
また、制御部１２１は、フェイスカメラ１１３によって撮像された画像と、フェイスカメラ１１７によって撮像された画像と、所定の画像処理アルゴリズムに基づいて、記憶部１２３又はメモリに記憶された複数の種類の顔の表情（例えば、笑顔、悲しい表情、無表情、怒りの表情、驚いた表情、困った表情等）の中からユーザＡの顔の表情（例えば、笑顔）を特定してもよい。その後、制御部１２１は、特定されたユーザＡの顔の表情に基づいて、アバター４Ａの顔の表情（例えば、笑顔）を示す顔情報を生成することが可能となる。この場合、アバター４Ａの複数の種類の顔の表情と、各々が当該複数の種類の顔の表情の一つに関連付けられた複数のアバター４Ａの顔情報を含む表情データが記憶部１２３に保存されてもよい。
【００９３】
例えば、制御部１２１は、アバター４Ａの顔の表情を笑顔として特定した場合、アバター４Ａの顔の表情（笑顔）と表情データに基づいて、アバター４Ａの笑顔を示す顔情報を取得する。ここで、アバター４Ａの笑顔を示す顔情報は、アバター４Ａの顔の表情が笑顔のときのアバター４Ａの目情報、まゆげ情報及び口情報を含む。
【００９４】
次に、ステップＳ１３において、ユーザ端末１Ｂの制御部１２１は、アバター４Ｂの制御情報を生成した上で、当該生成したアバター４Ｂの制御情報をサーバ２に送信する。その後、サーバ２の制御部２３は、ユーザ端末１Ｂからアバター４Ｂの制御情報を受信する（ステップＳ１４）。
【００９５】
ここで、アバター４Ｂの制御情報は、アバター４Ｂの動作を制御するために必要な情報である。アバター４Ｂの制御情報は、アバター４Ｂの位置に関する情報（位置情報）と、アバター４Ｂの顔の向きに関する情報（顔向き情報）と、アバター４Ｂの手（左手と右手）の状態に関する情報（手情報）と、アバター４Ｂの顔の表情に関する情報（顔情報）とを含んでもよい。
【００９６】
アバター４Ｂの顔情報は、複数の顔パーツの状態を示す情報を有する。複数の顔パーツの状態を示す情報は、アバター４Ｂの目の状態（白目の形状及び白目に対する黒目の位置等）を示す情報（目情報）と、アバター４Ｂのまゆげの情報（まゆげの位置及び形状等）を示す情報（まゆげ情報）と、アバター４Ｂの口の状態（口の位置及び形状等）を示す情報（口情報）を有する。アバター４Ｂの顔情報の取得方法は、アバター４Ａの顔情報の取得方法と同様である。
【００９７】
次に、サーバ２は、アバター４Ｂの制御情報をユーザ端末１Ａに送信する一方（ステップＳ１５）、アバター４Ａの制御情報とユーザＡの音声データをユーザ端末１Ｂに送信する（ステップＳ１９）。その後、ユーザ端末１Ａの制御部１２１は、ステップＳ１６において、アバター４Ｂの制御情報を受信した後に、アバター４Ａ，４Ｂの制御情報に基づいて、アバター４Ａ，４Ｂの状態を更新した上で、仮想空間２００Ａ（図１１の状態（ａ）参照）を示す仮想空間データを更新する（ステップＳ１７）。
【００９８】
詳細には、ユーザ端末１Ａの制御部１２１は、アバター４Ａ，４Ｂの位置情報に基づいて、アバター４Ａ，４Ｂの位置を更新する。制御部１２１は、アバター４Ａ，４Ｂの顔向き情報に基づいて、アバター４Ａ，４Ｂの顔の向きを更新する。制御部１２１は、アバター４Ａ，４Ｂの手情報に基づいて、アバター４Ａ，４Ｂの手を更新する。制御部１２１は、アバター４Ａ，４Ｂの顔情報に基づいて、アバター４Ａ，４Ｂの顔の表情を更新する。このように、更新されたアバター４Ａ，４Ｂを含む仮想空間２００Ａを示す仮想空間データが更新される。
【００９９】
その後、ユーザ端末１Ａの制御部１２１は、ＨＭＤ１１０の位置や傾きに応じてアバター４Ａ（仮想カメラ３００）の視野ＣＶを特定した上で、更新された仮想空間データと、アバター４Ａの視野ＣＶとに基づいて、ＨＭＤ１１０に表示される視野画像を更新する（ステップＳ１８）。
【０１００】
一方、ユーザ端末１Ｂの制御部１２１は、ステップＳ２０においてアバター４Ａの制御情報とユーザＡの音声データを受信した後に、アバター４Ａ，４Ｂの制御情報に基づいて、アバター４Ａ，４Ｂの状態を更新した上で、仮想空間２００Ｂ（図１１の状態（ｂ）参照）を示す仮想空間データを更新する（ステップＳ２１）。
【０１０１】
詳細には、ユーザ端末１Ｂの制御部１２１は、アバター４Ａ，４Ｂの位置情報に基づいて、アバター４Ａ，４Ｂの位置を更新する。制御部１２１は、アバター４Ａ，４Ｂの顔向き情報に基づいて、アバター４Ａ，４Ｂの顔の向きを更新する。制御部１２１は、アバター４Ａ，４Ｂの手情報に基づいて、アバター４Ａ，４Ｂの手を更新する。制御部１２１は、アバター４Ａ，４Ｂの顔情報に基づいて、アバター４Ａ，４Ｂの顔の表情を更新する。このように、更新されたアバター４Ａ，４Ｂを含む仮想空間を示す仮想空間データが更新される。
【０１０２】
その後、ユーザ端末１Ｂの制御部１２１は、ＨＭＤ１１０の位置や傾きに応じてアバター４Ｂ（仮想カメラ３００）の視野ＣＶを特定した上で、更新された仮想空間データと、アバター４Ｂの視野ＣＶとに基づいて、ＨＭＤ１１０に表示される視野画像を更新する（ステップＳ２２）。
【０１０３】
その後、ユーザ端末１Ｂの制御部１２１は、受信したユーザＡの音声データと、アバター４Ａの制御情報に含まれるアバター４Ａの位置に関する情報と、アバター４Ｂの位置に関する情報と、所定の音声処理アルゴリズムに基づいてユーザＡの音声データを加工する。その後、制御部１２１は、加工された音声データをヘッドフォン１１６（音声出力部）に送信した上で、ヘッドフォン１１６は、加工された音声データに基づいてユーザＡの音声を出力する（ステップＳ２３）。このように、仮想空間上においてユーザ間（アバター間）の音声会話を実現することができる。
【０１０４】
本実施形態では、ユーザ端末１Ａ，１Ｂがサーバ２にアバター４Ａの制御情報とアバター４Ｂの制御情報をそれぞれ送信した後に、サーバ２がアバター４Ａの制御情報をユーザ端末１Ｂに送信する一方、アバター４Ｂの制御情報をユーザ端末１Ａに送信する。このように、ユーザ端末１Ａとユーザ端末１Ｂ間において各アバター４Ａ，４Ｂの動きを同期制御させることが可能となる。
【０１０５】
（第１実施形態）
次に、第１実施形態に係る情報処理方法について図１３〜図１６を参照して説明する。図１３は、第１実施形態に係る情報処理方法を説明するためのユーザＡに提供される仮想空間２００Ａの一例を示す図である。図１４は、第１実施形態に係る情報処理方法の一例を説明するためのシーケンス図である。図１５は、コンテンツ評価テーブル４００の一例を示す図である。図１６は、笑ったユーザの人数Ｎが所定の閾値Ｎｔｈ以上である場合に、ユーザＡに提供される仮想空間２００Ａの一部が更新される様子を示す図である。
【０１０６】
図１３に示すように、第１実施形態では、ユーザＡに提供される仮想空間２００Ａは、ユーザＡ（ユーザ端末１Ａ）に操作されるアバター４Ａと、ユーザＢ（ユーザ端末１Ｂ）に操作されるアバター４Ｂと、ユーザＣ（ユーザ端末１Ｃ）によって操作されるアバター４Ｃと、図示しない多数のユーザによって操作される多数のアバターを含む。図１に示す仮想空間配信システム１００と同様に、ユーザ端末１Ａ〜１Ｃは、通信ネットワーク３を介してサーバ２に通信可能に接続されている。ユーザ端末１Ａ〜１Ｃは、同一の構成を備えているものとする。仮想空間２００Ａでは、ユーザＣは、アバター４Ｃを通じて、お笑いや一発芸等のパフォーマンスをリアルタイムに行う。一方、ユーザＡ，Ｂは、アバター４Ａ，４Ｂを通じてユーザＣのパフォーマンスをリアルタイムで視聴する観客である。また、図示しない多数のユーザも自身のアバターを通じてユーザＣのパフォーマンスをリアルタイムで視聴する観客である。ユーザＣによってリアルタイムで行われるパフォーマンスは、仮想空間２００Ａに関連付けられたコンテンツＹとする。第１実施形態では、コンテンツＹの評価値は、ユーザＣのパフォーマンスを視聴することで笑ったユーザ（第１の感情を有するユーザ）の人数Ｎに相当する。
【０１０７】
次に、図１４を参照することで、ユーザＡが笑うことで、コンテンツＹの評価値に相当する笑ったユーザの人数Ｎを更新する処理について説明する。図１４に示すように、ステップＳ３０において、ユーザ端末１Ａの制御部１２１は、ユーザＡの感情は笑いの感情（第１の感情）であるかどうかを判定する（つまり、ユーザＡの感情を特定する）。具体的には、ステップＳ３０において、ユーザ端末１Ａの制御部１２１は、ユーザＡの顔の表情と、ユーザＡから出力される音声と、ユーザＡの手の動き（即ち、外部コントローラ３２０の動き）のうちの少なくとも一つに基づいて、ユーザＡの感情を特定する。
【０１０８】
具体的には、制御部１２１は、フェイスカメラ１１３，１１７から取得された動画像に基づいてユーザＡの顔の表情を特定した上で、ユーザＡが笑ったかどうかを判定してもよい。また、制御部１２１は、マイク１１８に入力されるユーザＡの音声を音声解析した上で、ユーザＡが笑ったかどうかを判定してもよい。さらに、制御部１２１は、ユーザＡの手（外部コントローラ３２０）の動きを示す信号を位置センサ１３０及び／又は外部コントローラ３２０に内蔵されたセンサから取得した上で、ユーザＡの手の動きを解析することでユーザＡが笑ったかどうかを判定してもよい。例えば、制御部１２１は、ユーザＡが手を叩いたと判定した場合に、ユーザＡが笑ったかどうかを判定してもよい。制御部１２１は、ユーザＡの顔の表情と、ユーザＡの音声と、ユーザＡの手の動きをそれぞれ特定した上で、これらのユーザＡの状態を総合的に判断することで、ユーザＡが笑ったかどうかを判定してもよい。このように、ユーザＡの顔の表情と、ユーザＡの音声と、ユーザＡの手の動きのうちの少なくとも一つを用いることでユーザＡが笑ったかどうかを正確に特定することが可能となる。
【０１０９】
次に、制御部１２１は、ユーザＡが笑ったと判定した場合（ステップＳ３０でＹＥＳ）、ユーザＡが笑ったことを示す情報をサーバ２に送信する（ステップＳ３１）。一方、制御部１２１は、ユーザＡが笑っていないと判定した場合（ステップＳ３０でＮＯ）、再びステップＳ３０の処理を実行する。その後、サーバ２の制御部２３（図１０参照）は、ユーザＡが笑ったことを示す情報を受信した上で（ステップＳ３２）、記憶部２２に記憶されているコンテンツ評価テーブル４００（図１５参照）を更新する（ステップＳ３３）。
【０１１０】
図１５に示すように、コンテンツ評価テーブル４００は、コンテンツのシーン毎の笑ったユーザの人数Ｎに関する情報を含む。本実施形態では、ユーザＣの最初のパフォーマンスが、コンテンツＹのシーン１に相当する場合、サーバ２の制御部２３は、ユーザＡが笑ったことを示す情報を受信したときに、コンテンツ評価テーブル４００に示す笑ったユーザの人数Ｎを６０人から６１人に更新する。尚、制御部２３は、コンテンツのシーン毎にユーザの人数をカウントしているが、コンテンツ毎にユーザの人数をカウントしてもよい。
【０１１１】
次に、制御部２３は、コンテンツＹの評価値に相当する笑ったユーザの人数Ｎが所定の閾値Ｎｔｈに達したかどうかを判定する（ステップＳ３４）。制御部２３は、笑ったユーザの人数Ｎが所定の閾値Ｎｔｈに達したと判定した場合（ステップＳ３４でＹＥＳ）、仮想空間データの更新を指示する信号を各ユーザ端末に送信する（ステップＳ３５）。一方、ステップＳ３４の判定結果がＮＯである場合、ステップＳ３５の処理は実行されない。尚、ステップＳ３５では、ユーザ端末１Ｃと、コンテンツＹをリアルタイムに視聴している全てのユーザのユーザ端末（例えば、ユーザ端末１Ａ，１Ｂ）に仮想空間データの更新を指示する信号が送信されてもよい。
【０１１２】
その後、ユーザ端末１Ａは、仮想空間データの更新を指示する信号をサーバ２から受信した場合に、仮想空間２００Ａを示す仮想空間データを更新する（ステップＳ３６）。例えば、ステップＳ３６の処理では、図１６に示すように、たらいオブジェクト３５０が仮想空間２００Ａの上空から落ちてくる等の演出が行われてもよい。または、笑ったユーザの人数Ｎが所定の人数Ｎｔｈに達したことを示すオブジェクトが仮想空間２００Ａ上に出現してもよい。また、仮想空間２００Ａの天球面上に表示される背景画像が更新されてもよい。さらに、仮想空間２００Ａのシーンが更新されてもよい。このように、仮想空間２００Ａが更新されることで、仮想空間のエンターテイメント性を向上させることができる。さらに、ユーザＡは、仮想空間２００Ａの変化を視認することで、笑ったユーザの人数Ｎが所定の人数Ｎｔｈに達したことを認識することができる。
【０１１３】
本実施形態によれば、ユーザＡが笑ったかどうかが判定された上で、ユーザＡが笑った場合に、仮想空間２００Ａに関連付けられたコンテンツＹの評価値に相当する笑ったユーザの人数Ｎが更新される。このように、ユーザのコンテンツＹに対するリアルな反応をコンテンツ評価に反映させることができるので、仮想空間におけるユーザ体験が向上されうる。
【０１１４】
尚、第１実施形態では、笑ったユーザの人数Ｎがコンテンツの評価値としてカウントされているが、アバター４Ｃに視線を向けて笑っているユーザの人数Ｎがコンテンツの評価値としてカウントされてもよい。この場合、ステップＳ３０において、ユーザ端末１Ａの制御部１２１は、ユーザＡ（アバター４Ａ）の視線がアバター４Ｃに向いている状態でユーザＡが笑ったかどうかを判定してもよい。例えば、制御部１２１は、注視センサ１４０から送信された情報に基づいてユーザＡの視線情報を取得した上で、ユーザＡの視線情報とアバター４Ｃの位置情報に基づいてユーザＡの視線がアバター４Ｃに向いているかどうかを判定してもよい。このように、アバター４Ｃに視線を向けて笑ったユーザの人数がコンテンツの評価に影響を与えるため、より正確にコンテンツの評価を行うことが可能となる。
【０１１５】
また、サーバ２は、所定の周期でコンテンツ評価テーブル４００に示される笑ったユーザの人数Ｎに関する情報を各ユーザ端末に送信してもよい。この場合、各ユーザ端末の制御部１２１は、笑ったユーザの人数Ｎに関する情報をサーバ２から受信した後に、ＨＭＤ１１０に表示される視野画像Ｖ上に当該情報を表示してもよい。
【０１１６】
（第２実施形態）
次に、図１３、図１７及び図１８を主に参照することで第２実施形態に係る情報処理方法について以下に説明する。図１７は、第２実施形態に係る情報処理方法の一例を説明するためのシーケンス図である。図１８は、第２実施形態におけるコンテンツ評価テーブル４２０の一例を示す図である。第１実施形態では、笑ったユーザの人数Ｎがコンテンツの評価値として採用される一方、第２実施形態では、各ユーザの笑いのレベル（第１の感情のレベル）の累積値がコンテンツの評価値として採用される。
【０１１７】
図１７に示すように、ステップＳ４０において、ユーザ端末１Ａの制御部１２１は、ユーザＡの笑いの感情のレベルを特定する。具体的には、ユーザ端末１Ａの制御部１２１は、ユーザＡの顔の表情と、ユーザＡから出力される音声と、ユーザＡの手の動き（外部コントローラ３２０の動き）のうちの少なくとも一つに基づいて、ユーザＡの笑いの感情のレベルを特定する。例えば、ユーザの笑いの感情のレベルは、４つのレベル（レベル３：大笑い、レベル２：中笑い、レベル１：小笑い、レベル０：笑っていない）に分類されていてもよい。次に、制御部１２１は、ユーザＡの笑いの感情のレベルがレベル０ではない（つまり、ユーザＡが笑っている）場合に（ステップＳ４１でＹＥＳ）、ユーザＡの笑いの感情のレベルを示す情報をサーバ２に送信する（ステップＳ４２）。例えば、ユーザＡが大笑いしている場合、制御部１２１は、ユーザＡの大笑いの感情のレベルに相当するレベル３を示す情報をサーバ２に送信する。一方、ユーザＡが笑っていない（つまり、笑いの感情のレベルがレベル０である）場合に（ステップＳ４１でＮＯ）、ステップＳ４０の処理が再び実行される。
【０１１８】
次に、サーバ２の制御部２３は、ユーザＡの笑いの感情のレベルを示す情報を受信した上で（ステップＳ４３）、記憶部２２に記憶されているコンテンツ評価テーブル４２０（図１８参照）を更新する（ステップＳ４４）。図１８に示すように、コンテンツ評価テーブル４２０は、コンテンツのシーン毎の各ユーザの笑いの感情のレベルの累積値Ｐ（以下、単に「笑いレベルの累積値Ｐ」という。）に関する情報を含む。例えば、本実施形態では、ユーザＣの最初のパフォーマンスが、コンテンツＹのシーン１に相当するものとする。さらに、ユーザＡの笑いの感情のレベルがレベル１の場合、笑いレベルの累積値Ｐに＋１ポイントが追加されるものとする。ユーザＡの笑いの感情のレベルがレベル２の場合、笑いレベルの累積値Ｐに＋２ポイントが追加されるものとする。ユーザＡの笑いの感情のレベルがレベル３の場合、笑いレベルの累積値に＋３ポイントが追加されるものとする。この場合、サーバ２の制御部２３は、ユーザＡの大笑いの感情のレベル（レベル３）を示す情報を受信したときに、コンテンツ評価テーブル４２０に示す笑いレベルの累積値を９７ポイントから１００ポイントに変更する。尚、制御部２３は、コンテンツのシーン毎に笑いレベルの累積値Ｐをカウントしているが、コンテンツ毎に笑いレベルの累積値Ｐをカウントしてもよい。
【０１１９】
次に、制御部２３は、コンテンツＹの評価値に相当する笑いレベルの累積値Ｐが所定の閾値Ｐｔｈに達したかどうかを判定する（ステップＳ４５）。制御部２３は、笑いレベルの累積値Ｐが所定の閾値Ｐｔｈに達したと判定した場合（ステップＳ４５でＹＥＳ）、仮想空間データの更新を指示する信号を各ユーザ端末に送信する（ステップＳ４６）。一方、ステップＳ４５の判定結果がＮＯである場合、ステップＳ４６の処理は実行されない。その後、ユーザ端末１Ａは、仮想空間データの更新を指示する信号をサーバ２から受信した場合に、仮想空間２００Ａを示す仮想空間データを更新する（ステップＳ４７）。
【０１２０】
本実施形態によれば、ユーザＡの笑いの感情のレベルが特定された上で、ユーザＡの笑いの感情のレベルがレベル０でない場合に、コンテンツＹの評価値に相当する笑いレベルの累積値Ｐが更新される。このように、ユーザのコンテンツＹに対するリアルな反応をコンテンツ評価に反映させることができるので、仮想空間におけるユーザ体験が向上されうる。特に、ユーザの笑いの感情のレベルをコンテンツの評価値にダイレクトに反映させることができるので、より詳細にコンテンツを評価することができる。
【０１２１】
尚、第２実施形態では、ユーザＡの視線を考慮せずに、ユーザＡの笑いの感情のレベルに基づいてコンテンツ評価テーブル４２０が更新されているが、ステップＳ４０の処理においてユーザＡの視線の方向が考慮されてもよい。この場合、ステップＳ４０において、ユーザ端末１Ａの制御部１２１は、ユーザＡ（アバター４Ａ）の視線がアバター４Ｃに向いているかどうかを判定すると共に、ユーザＡの笑いの感情のレベルを特定してもよい。例えば、制御部１２１は、ユーザＡの視線がアバター４Ｃに向いていないと判定した場合は、ユーザＡの笑いの感情のレベルを示す情報をサーバ２に送信しなくてもよい。つまり、この場合では、コンテンツ評価テーブル４２０は更新されない。このように、アバター４Ｃに視線を向けて笑ったユーザの人数がコンテンツの評価に影響を与えるため、より正確にコンテンツの評価をすることが可能となる。
【０１２２】
また、サーバ２は、所定の周期でコンテンツ評価テーブル４００に示される笑いレベルの累積値に関する情報を各ユーザ端末に送信してもよい。この場合、各ユーザ端末の制御部１２１は、笑いレベルの累積値に関する情報をサーバ２から受信した後に、ＨＭＤ１１０に表示される視野画像Ｖ上に当該情報を表示してもよい。
【０１２３】
（第３実施形態）
次に、図１９から図２１を参照することで第３実施形態に係る情報処理方法について以下に説明する。図１９は、第３実施形態に係る情報処理方法を説明するためにユーザＤに提供される仮想空間２００Ｄの一例である。図２０は、第３実施形態に係る情報処理方法を説明するためのシーケンス図である。図２１は、ユーザＤが装着するＨＭＤ１１０に表示された視野画像Ｖの一例を示す図である。第１，２実施形態では、仮想空間内において
ユーザＣ（アバター４Ｃ）によって行われるパフォーマンス（コンテンツＹ）をユーザＣ以外の各ユーザがリアルタイムに視聴する場合において、当該パフォーマンス（コンテンツＹ）をユーザの感情（特に、笑いの感情）によって評価する方法について説明を行った。第３実施形態では、ユーザＣによって行われたパフォーマンス（コンテンツＹ）をユーザが動画プラットフォームを通じて視聴する場合に、当該パフォーマンスをユーザの感情（特に、笑いの感情）によって評価する方法について説明を行う。
【０１２４】
図１９に示すように、仮想カメラ３００は、ユーザＤに提供される仮想空間２００Ｄの中心に配置される。仮想カメラ３００は、ユーザＤのＨＭＤ１１０の動きに連動する。図１に示す配信システム１００と同様に、ユーザ端末１Ｄは、通信ネットワーク３を介してサーバ２に通信可能に接続されている。ユーザ端末１Ｄは、上記したユーザ端末１Ａ，１Ｂと同一の構成を備えているものとする。第１実施形態で説明したユーザＣのパフォーマンスを示すコンテンツＹ（映像コンテンツ）の３６０度空間画像が仮想空間２００Ｄの天球面Ｓｄ上に表示される。例えば、コンテンツＹの３６０度空間画像を示す３６０度空間画像データ（以下、単に３６０度空間画像データという。）は、図１３に示す仮想空間２００Ａの所定位置（例えば、中心位置）に配置された撮影用の３６０度カメラオブジェクトを通じて取得することが可能である。３６０度空間画像データは、例えば、サーバ２の制御部２３によって取得されてもよい。サーバ２の制御部２３によって取得された３６０度空間画像データは、サーバ２の記憶部２２に保存されてもよいし、動画プラットフォーム用の別のサーバの記憶部に保存されてもよい。本実施形態では、３６０度空間画像データは、サーバ２の記憶部２２に保存されているものとする。
【０１２５】
図２０に示すように、ステップＳ５０において、ユーザ端末１Ｄの制御部１２１は、コンテンツＹの３６０度空間画像データの視聴を要求するための信号（以下、視聴要求信号という。）をサーバ２に送信する。例えば、制御部１２１は、ユーザＤによる所定の入力操作を通じて、視聴要求信号を生成した上で、通信ネットワーク３を介して当該視聴要求信号をサーバ２に送信する。当該視聴要求信号には、ユーザ端末１ＤのＩＰアドレスに関する情報と、サーバ２のＩＰアドレスに関する情報が含まれていてもよい。
【０１２６】
次に、サーバ２は、ユーザ端末１Ｄから視聴要求信号を受信したときに、記憶部２２に保存されている３６０度空間画像データと、笑ったユーザの人数Ｎに関する情報をユーザ端末１Ｄに送信する（ステップＳ５１）。ここで、サーバ２は、記憶部２２に保存されたコンテンツ評価テーブル４００（図１５参照）を参照することで、笑ったユーザの人数Ｎに関する情報を取得してもよい。ここで、笑ったユーザの人数Ｎとは、コンテンツＹをリアルタイムに視聴することで笑ったユーザの人数ではなく、動画プラットフォームを通じてコンテンツＹを視聴することで笑ったユーザの人数である。
【０１２７】
次に、ユーザ端末１Ｄの制御部１２１は、３６０度空間画像データと、笑ったユーザの人数Ｎに関する情報とをサーバ２から受信した後に、笑ったユーザの人数に関する情報をユーザＤに提示する（ステップＳ５２）。例えば、図２１に示すように、ユーザ端末１ＤのＨＭＤ１１０に表示される視野画像Ｖ上に、笑ったユーザの人数に関する情報が表示されてもよい。また、笑ったユーザの人数に関する情報は、ユーザ端末１Ｄのヘッドフォン１１６を通じてユーザＤに聴覚的に提示されてもよい。このように、コンテンツＹの評価値に関する情報がユーザＤに提示されることで、ユーザＤは、コンテンツＹに対する他のユーザの評価を視聴前に知ることができる。
【０１２８】
次に、ステップＳ５３において、制御部１２１は、サーバ２より受信した３６０度空間画像データに対応する３６０度空間画像を仮想空間２００Ｄの天球面Ｓｄ上に表示する。このようにして、ユーザ端末１Ｄの制御部１２１は、ユーザＣのパフォーマンスを示すコンテンツＹの３６０度空間画像をユーザＤに提示する。特に、制御部１２１は、ＨＭＤ１１０の動きに基づいて仮想カメラ３００の視野を特定した上で、仮想空間２００Ｄを示す仮想空間データと、仮想カメラ３００の視野に基づいて、視野画像データを生成する。その後、制御部１２１は、視野画像データに基づいて、ＨＭＤ１１０に視野画像を表示する。図２１に示すように、ユーザ端末１ＤのＨＭＤ１１０に表示される視野画像Ｖ上に、コンテンツＹ（パフォーマンスを行うアバター４Ｃ）が表示される。尚、サーバ２は、ストリーミング方式で３６０度空間画像データをユーザ端末１Ｄに送信してもよいし、一括ダウンロード形式で３６０度空間画像データをユーザ端末１Ｄに送信してもよい。
【０１２９】
次に、ステップＳ５４において、ユーザ端末１Ｄの制御部１２１は、ユーザＤの感情は笑いの感情（第１の感情）であるかどうかを判定する。具体的には、ステップＳ５４において、制御部１２１は、ユーザＤの顔の表情と、ユーザＤから出力される音声と、ユーザＤの手の動き（即ち、外部コントローラ３２０の動き）のうちの少なくとも一つに基づいて、ユーザＤの感情を特定する。
【０１３０】
制御部１２１は、ユーザＤが笑ったと判定した場合（ステップＳ５４でＹＥＳ）、ユーザＤが笑ったことを示す情報をサーバ２に送信する（ステップＳ５５）。一方、制御部１２１は、ユーザＤが笑っていないと判定した場合（ステップＳ５４でＮＯ）、再びステップＳ５４の処理を実行する。その後、サーバ２の制御部２３は、ユーザＤが笑ったことを示す情報を受信した上で（ステップＳ５６）、記憶部２２に記憶されているコンテンツ評価テーブル４００（図１５参照）を更新する（ステップＳ５７）。
【０１３１】
このように、本実施形態によれば、ユーザＤがサーバ２から配信されたコンテンツＹを視聴する場合において、ユーザＤが笑った場合に、コンテンツＹの評価値に相当する笑ったユーザの人数が更新される。したがって、コンテンツＹを視聴するユーザの感情に基づいてコンテンツＹを評価することができるので、ユーザのリアルな感情（反応）をコンテンツＹの評価に反映させることができる。さらに、コンテンツＹを視聴するユーザは、コンテンツ評価に対する操作入力の間を省くことが可能となる。特に、ユーザは、動画配信プラットフォームに設けられた評価ボタン（「イイネ」ボタン等）を押すことでコンテンツを評価する必要がないため、コンテンツ評価に対するユーザ操作の手間を省くことが可能となる。
【０１３２】
尚、本実施形態では、視聴するコンテンツの評価値として笑ったユーザの人数が採用されているが、各ユーザの笑いのレベルの累積値がコンテンツの評価値として採用されてもよい。さらに、本実施形態では、サーバ２は、コンテンツＹの３６０度空間画像データをユーザ端末１Ｄに送信しているが、コンテンツＹの仮想空間データをユーザ端末１Ｄに送信してもよい。ここで、コンテンツＹの仮想空間データとは、ユーザＣ（アバター４Ｃ）のパフォーマンスが行われている期間における仮想空間を示す仮想空間データである。当該仮想空間データは、サーバ２の制御部２３によって取得されてもよい。サーバ２の制御部２３によって取得された仮想空間データは、サーバ２の記憶部２２に保存されてもよいし、動画プラットフォーム用の別のサーバの記憶部に保存されてもよい。
【０１３３】
また、第１実施形態から第３実施形態の説明では、ユーザの感情が笑いの感情である場合に、サーバ２の記憶部２２に保存されたコンテンツ評価テーブルが更新される。つまり、笑いの感情がコンテンツの評価値として採用されている。一方、ユーザの感情が笑いの感情以外の感情（例えば、悲しみ、怒り、驚き、恐怖等）である場合に、コンテンツ評価テーブルが更新されてもよい。つまり、笑いの感情以外の感情がコンテンツの評価値として採用されてもよい。例えば、視聴者を怖がらせることを目的とするコンテンツの場合、ユーザの恐怖の感情がコンテンツの評価値として採用されてもよい。このように、笑いの感情以外のユーザの感情をコンテンツの評価値として採用することが可能である。
【０１３４】
さらに、ユーザの笑いの感情に代わって、ユーザコミュニケーション行動をコンテンツの評価値として採用してもよい。例えば、図１４に示すステップＳ３０において、ユーザ端末１Ａの制御部１２１は、ユーザＡのコミュニケーション行動を特定する。次に、制御部１２１は、特定されたユーザＡのコミュニケーション行動がユーザＣのパフォーマンス（コンテンツＹ）を評価する行動であると判定した場合に、ユーザＡがコンテンツＹを評価していることを示す情報をサーバ２に送信する。例えば、ユーザＡが「ユーザＣのパフォーマンスは凄いよね！」といった発言や「ちょっとあれ見てよ！」といった発言をユーザＢに対してした場合、ユーザ端末１Ａの制御部１２１は、当該ユーザＡの発言を言語解析することで、ユーザＡのコミュニケーション行動がユーザＣのパフォーマンス（コンテンツＹ）を評価する行動であると判定する。その後、サーバ２の制御部２３は、ユーザＡがコンテンツＹを評価していることを示す情報に基づいて、サーバ２の記憶部２２に保存されたコンテンツ評価テーブルを更新する。ここで、コンテンツ評価テーブルは、コンテンツ毎の評価ポイントに関する情報を含んでいてもよい。コンテンツ評価テーブルに示されるコンテンツＹの評価ポイントがｎである場合、制御部２３は、ユーザＡがコンテンツＹを評価していることを示す情報を受信した後に、コンテンツ評価ポイントをｎ＋１に更新してもよい。
【０１３５】
また、ユーザ端末１の制御部１２１によって実行される各種処理をソフトウェアによって実現するために、各種処理をコンピュータ（プロセッサ）に実行させるための制御プログラムが記憶部１２３又はメモリに予め組み込まれていてもよい。または、制御プログラムは、磁気ディスク（ＨＤＤ、フロッピーディスク）、光ディスク（ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ（ＳＤカード、ＵＳＢメモリ、ＳＳＤ等）等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が制御装置１２０に接続されることで、当該記憶媒体に格納された制御プログラムが、記憶部１２３に組み込まれる。そして、記憶部１２３に組み込まれた制御プログラムがＲＡＭ上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部１２１は各種処理を実行する。
【０１３６】
また、制御プログラムは、通信ネットワーク３上のコンピュータから通信インターフェース１２５を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該制御プログラムが記憶部１２３に組み込まれる。
【０１３７】
以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。
【０１３８】
本実施形態において、仮想空間は、ユーザにＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｇｕｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）及びＭＲ（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）といった、仮想体験を提供するために用いられる。仮想空間がＶＲを提供する場合、仮想空間の背景にはメモリに保存された背景データが使用される。仮想空間がＡＲ又はＭＲを提供する場合、背景には現実空間が使用される。この場合、ＨＭＤ１１０が透過型の表示装置（光学シースルーまたはビデオシースルー型の表示装置）を備えることにより、現実空間が背景として使用され得る。仮想空間がＭＲに適用される場合、オブジェクトは、現実空間によって影響を与えられてもよい。このように、仮想空間が背景や仮想オブジェクトといった仮想シーンを少なくとも一部に含むことにより、ユーザには当該仮想シーンとの相互作用が可能な仮想体験が提供され得る。
【符号の説明】
【０１３９】
１，１Ａ〜１Ｄ：ユーザ端末
２：サーバ
３：通信ネットワーク
４Ａ，４Ｂ，４Ｃ：アバター
２１：通信インターフェース
２２：記憶部
２３：制御部
２４：バス
１００：仮想空間配信システム（配信システム）
１１０：ヘッドマウントデバイス（ＨＭＤ）
１１２：表示部
１１３：フェイスカメラ
１１４：センサ
１１５：装着センサ
１１６：ヘッドフォン
１１７：フェイスカメラ
１１８：マイク
１２０：制御装置
１２１：制御部
１２３：記憶部
１２４：Ｉ／Ｏインターフェース
１２５：通信インターフェース
１２６：バス
１３０：位置センサ
１４０：注視センサ
２００，２００Ａ，２００Ｂ，２００Ｃ，２００Ｄ：仮想空間
２１０：中心位置
３００：仮想カメラ
３０２：操作ボタン
３０２ａ，３０２ｂ：プッシュ式ボタン
３０２ｅ，３０２ｆ：トリガー式ボタン
３０４：検知点
３２０：外部コントローラ
３２０ｉ：アナログスティック
３２０Ｌ：左手用外部コントローラ（コントローラ）
３２０Ｒ：右手用外部コントローラ（コントローラ）
３２２：天面
３２４：グリップ
３２６：フレーム
４００，４２０：コンテンツ評価テーブル
【図１】
2019036239.tif 000003
【図２】
2019036239.tif 000004
【図３】
2019036239.tif 000005
【図４】
2019036239.tif 000006
【図５】
2019036239.tif 000007
【図６】
2019036239.tif 000008
【図７】
2019036239.tif 000009
【図８】
2019036239.tif 000010
【図９】
2019036239.tif 000011
【図１０】
2019036239.tif 000012
【図１１】
2019036239.tif 000013
【図１２】
2019036239.tif 000014
【図１３】
2019036239.tif 000015
【図１４】
2019036239.tif 000016
【図１５】
2019036239.tif 000017
【図１６】
2019036239.tif 000018
【図１７】
2019036239.tif 000019
【図１８】
2019036239.tif 000020
【図１９】
2019036239.tif 000021
【図２０】
2019036239.tif 000022
【図２１】
2019036239.tif 000023