(57)【要約】      （修正有）【課題】仮想空間におけるキャラクタによるジェスチャを交えたコミュニケーションにおいて、ユーザの異なる背景を考慮したコミュニケーション方法を提供する。【解決手段】仮想空間におけるパフォーマユーザが演じるキャラクタの制御方法は、ユーザの入力を受信するステップＳ１０１と、入力内容を基にジェスチャを決定するステップＳ１０２と、特定されたジェスチャが送信先ユーザで表示すべきか判断するステップＳ１０３と、表示すべきでないと判断した場合、キャラクタを制御することを停止するステップＳ１０４と、を有する。【選択図】図８
2020177438.tif 000002
【特許請求の範囲】
【請求項１】
仮想空間において第１のパフォーマユーザと第２のパフォーマユーザが、各々が演じるキャラクタを介して実行するコミュニケーションの制御方法であって、
第１のパフォーマユーザの入力を検出するステップと、
検出された入力に対応するジェスチャを決定するステップと、
前記ジェスチャを第２のパフォーマユーザに対応する端末に表示すべきか判定するステップと、
前記ジェスチャを第２のパフォーマユーザに対応する端末に表示すべきでないと判定することに応じて、前記ジェスチャを表示しない処理を行うステップ、
とを有する制御方法。
【請求項２】
請求項１に記載の制御方法であって、
前記ジェスチャを第２のパフォーマユーザに対応する端末に表示すべきか判定するステップは、前記第２のパフォーマユーザの属性を参照することを含む、制御方法。
【請求項３】
請求項１に記載の制御方法であって、
前記ジェスチャを表示しない処理を行うステップは、前記第１のパフォーマユーザに対応するキャラクタの動作を制御することを停止することを含む、制御方法。
【請求項４】
仮想空間において第１のパフォーマユーザと第２のパフォーマユーザが、各々が演じるキャラクタを介して実行するコミュニケーションの制御方法であって、
第１のパフォーマユーザの入力を検出するステップと、
検出された入力に対応するジェスチャを決定するステップと、
前記ジェスチャを第２のパフォーマユーザに対応する端末に異なる形態で表示すべきか判定するステップと、
前記ジェスチャを第２のパフォーマユーザに対応する端末に異なる形態で表示すべきと判定することに応じて、前記ジェスチャを異なる形態に変換する処理を行うステップ、
とを有することを特徴とする制御方法。
【請求項５】
請求項４に記載の制御方法であって、
前記ジェスチャを第２のパフォーマユーザに対応する端末に異なる形態で表示すべきか判定するステップは、前記第２のパフォーマユーザの属性を参照することを含む、制御方法。
【請求項６】
請求項４に記載の制御方法であって、
前記ジェスチャを異なる形態に変換する処理を行うステップは、前記ジェスチャを、前記第２のパフォーマユーザの属性に対応するジェスチャを行うよう、前記第２のパフォーマユーザに対応するキャラクタの動作を制御することを停止することを含む、制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想空間におけるキャラクタ同士のコミュニケーションの制御方法に関する。
【背景技術】
【０００２】
仮想空間にアバター等のキャラクタを配置して仮想的に会話を行うシステムにおいて、音声によるコミュニケーションを最適化する技術が開示されている。たとえば、特許文献１には、仮想空間における利用者同士の距離に応じて、肉声による会話または無線機等による会話を行っているような効果を演出する開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−２８３９０
【発明の概要】
【発明が解決しようとする課題】
【０００４】
仮想空間における会話の実現とともにヘッドマウントディスプレイ（以下、ＨＭＤという。）やコントローラ等を介したジェスチャによるコミュニケーションも実現可能となり、一方で、様々な背景を有するユーザがキャラクタに扮して同じ仮想空間に同居するようになり、仮想空間におけるコミュニケーションに際して、異なる国籍を有する、または、異なる国に居住するユーザに対する配慮が必要となる。
【０００５】
本発明は、このような背景を鑑みてなされたものであり、仮想空間におけるキャラクタ同士の会話、特にジェスチャを交えたコミュニケーションにおいて、ユーザの異なる背景を考慮したコミュニケーション方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
仮想空間において第１のパフォーマユーザと第２のパフォーマユーザが、各々が演じるキャラクタを介して実行するコミュニケーションの制御方法であって、第１のパフォーマユーザの入力を検出するステップと、検出された入力に対応するジェスチャを決定するステップと、前記ジェスチャを第２のパフォーマユーザに対応する端末に表示すべきか判定するステップと、前記ジェスチャを第２のパフォーマユーザに対応する端末に表示すべきでないと判定することに応じて、前記ジェスチャを表示しない処理を行うステップ、
とを有する。
【０００７】
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
【発明の効果】
【０００８】
本発明によれば、仮想空間におけるキャラクタ同士の会話、特にジェスチャを交えたコミュニケーションにおいて、ユーザの異なる背景を考慮したコミュニケーション方法を提供することを実現できる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態にかかるＨＭＤシステム３００の全体構成例を示す図である。
【図２】第１の実施形態に係るＨＭＤ１１０の外観の模式図である。
【図３】第１の実施形態に係るＨＭＤ１１０の機能構成図である。
【図４】第１の実施形態に係るコントローラ２１０の外観の模式図である。
【図５】第１の実施形態に係るコントローラ２１０の機能構成図である。
【図６】第１の実施形態に係る画像生成装置３１０の機能構成図である。
【図７】第１の実施形態に係るジェスチャ情報の一例である。
【図８】第１の実施形態に係るＨＭＤシステムにおける処理の流れを示す図である。
【図９】第２の実施形態に係るジェスチャ情報の一例である。
【図１０】第２の実施形態に係るＨＭＤシステムにおける処理の流れを示す図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態の内容を列記して説明する。本発明の実施の形態による仮想空間におけるキャラクタの制御方法は、以下のような構成を備える。
［項目１］
仮想空間において第１のパフォーマユーザと第２のパフォーマユーザが、各々が演じるキャラクタを介して実行するコミュニケーションの制御方法であって、
第１のパフォーマユーザの入力を検出するステップと、
検出された入力に対応するジェスチャを決定するステップと、
前記ジェスチャを第２のパフォーマユーザに対応する端末に表示すべきか判定するステップと、
前記ジェスチャを第２のパフォーマユーザに対応する端末に表示すべきでないと判定することに応じて、前記ジェスチャを表示しない処理を行うステップ、
とを有する制御方法。
［項目２］
項目１に記載の制御方法であって、
前記ジェスチャを第２のパフォーマユーザに対応する端末に表示すべきか判定するステップは、前記第２のパフォーマユーザの属性を参照することを含む、制御方法。
［項目３］
項目１に記載の制御方法であって、
前記ジェスチャを表示しない処理を行うステップは、前記第１のパフォーマユーザに対応するキャラクタの動作を制御することを停止することを含む、制御方法。
［項目４］
仮想空間において第１のパフォーマユーザと第２のパフォーマユーザが、各々が演じるキャラクタを介して実行するコミュニケーションの制御方法であって、
第１のパフォーマユーザの入力を検出するステップと、
検出された入力に対応するジェスチャを決定するステップと、
前記ジェスチャを第２のパフォーマユーザに対応する端末に異なる形態で表示すべきか判定するステップと、
前記ジェスチャを第２のパフォーマユーザに対応する端末に異なる形態で表示すべきと判定することに応じて、前記ジェスチャを異なる形態に変換する処理を行うステップ、
とを有することを特徴とする制御方法。
［項目５］
項目４に記載の制御方法であって、
前記ジェスチャを第２のパフォーマユーザに対応する端末に異なる形態で表示すべきか判定するステップは、前記第２のパフォーマユーザの属性を参照することを含む、制御方法。
［項目６］
請求項４に記載の制御方法であって、
前記ジェスチャを異なる形態に変換する処理を行うステップは、前記ジェスチャを、前記第２のパフォーマユーザの属性に対応するジェスチャを行うよう、前記第２のパフォーマユーザに対応するキャラクタの動作を制御することを停止することを含む、制御方法。
【００１１】
（第１の実施形態）
本発明の第１の実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）システム３００の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００１２】
図１は、本実施形態にかかるＨＭＤシステム３００の全体構成例を示す図である。ＨＭＤシステム３００は、たとえば、ユーザが装着するＨＭＤ１１０およびコントローラ２１０、ならびにホストコンピュータとして機能する画像生成装置３１０で構成することができる。図１には、一例として、ユーザＡおよびユーザＢが装着するＨＭＤ１１０およびコントローラ２１０が表示されている。また、ＨＭＤシステム３００は、ＨＭＤ１１０やコントローラ２１０の位置、向き及び傾き等を検出するための赤外線カメラ（図示せず）等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。たとえば、各々の装置にＵＳＢポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、ＨＤＭＩ、有線ＬＡＮ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）等の有線又は無線により通信を確立することもできる。画像生成装置３１０は、ＰＣ、ゲーム機、携帯通信端末等計算処理機能を有する装置であればよい。また、画像生成装置３１０は、生成した画像をストリーミングまたはダウンロードの形態でＨＭＤ１１０に送信することができる。ＨＭＤ１１０は、画像生成装置３１０から送信された画像を再生することができる。画像生成装置３１０は、複数のＨＭＤ１１０に対し、直接画像を送信することもできるし、他のコンテンツサーバを介して画像を送信することもできる。また、一例として、個々の画像生成装置を、各々のユーザが有するＨＭＤ、コントローラと直接またはローカルネットワークを介して接続し、生成した画像を、インターネット等のネットワークを介してサーバに送信し、サーバが他のユーザのＨＭＤに画像を送信することもできる。
【００１３】
図２は、本実施形態に係るヘッドマウントディスプレイ（以下：ＨＭＤ）１１０の外観の模式図である。ＨＭＤ１１０はユーザの頭部に装着され、ユーザの左右の眼前に配置されるよう表示パネル１２０を備える。表示パネルとしては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、より没入感を提供可能な非透過型の表示パネルを例示する。表示パネル１２０には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をユーザに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。
【００１４】
さらに、ＨＭＤ１１０の筐体部１３０は、センサ１４０を備える。センサは、ユーザの頭部の向きや傾きといった動きを検出するために、図示しないが、たとえば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。ユーザの頭部の垂直方向をＹ軸とし、Ｙ軸と直交する軸のうち、表示パネル１２０の中心とユーザとを結ぶ、ユーザの前後方向に相当する軸をＺ軸とし、Ｙ軸及びＺ軸と直交し、ユーザの左右方向に相当する軸をＸ軸とするとき、センサ１４０は、Ｘ軸まわりの回転角（いわゆる、ピッチ角）、Ｙ軸まわりの回転角（いわゆる、ヨー角）、Ｚ軸まわりの回転角（いわゆる、ロール角）を検出することができる。
【００１５】
さらに、センサ１４０に加えて、またはセンサ１４０に代えて、ＨＭＤ１１０の筐体部１３０は、複数の光源１５０（たとえば、赤外光ＬＥＤ、可視光ＬＥＤ）を備えることもでき、ＨＭＤ１１０の外部（たとえば、室内等）に設置されたカメラ（たとえば、赤外光カメラ、可視光カメラ）がこれらの光源を検出することで、特定の空間におけるＨＭＤ１１０の位置、向き、傾きを検出することができる。または、同じ目的で、ＨＭＤ１１０に、ＨＭＤ１１０の筐体部１３０に設置された光源を検出するためのカメラを備えることもできる。
【００１６】
また、ＨＭＤ１１０には光源１５０を設けずに、ＨＭＤ１１０の外部に設置されたカメラによりＨＭＤ１１０の外観を撮影し、その撮影画像を画像解析することにより、ＨＭＤ１１０の位置、向き、傾きを検出することもできる。この場合、ＨＭＤ１１０が外部のカメラからの画像を取得して画像解析を行うようにしてもよいし、ＨＭＤ１１０とは異なるコンピュータが画像解析を行い、解析結果をＨＭＤ１１０に送信するようにしてもよい。
【００１７】
また、ＨＭＤ１１０は、本例のように、サーバや画像処理装置等の外部処理装置とネットワーク連携しながら、アプリケーションを実行し、データを送受信することもできるし、外部処理装置に依存せずに、ＨＭＤ単体として、内蔵されたプログラムを実行する、スタンドアローン型の装置として機能することもできる。
【００１８】
図３は、本実施形態に係るＨＭＤ１１０の機能構成図である。図２において述べたように、ＨＭＤ１１０は、センサ１４０を備えることができる。センサ１４０としては、ユーザの頭部の向きや傾きといった動きを検出するために、図示しないが、たとえば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに精度よく、ユーザの頭部の向きや傾きといった動きを検出したり、ユーザの頭部の位置を検出したりするために、赤外光や紫外光といったＬＥＤ１５０を備えることもできる。また、ＨＭＤの外景を撮影するためのカメラ１６０を備えることができる。また、ユーザの発話を集音するためのマイク１７０、音声を出力するためのヘッドフォン１８０を備えることもできる。なお、マイクやヘッドフォンはＨＭＤ１１０とは別個独立した装置として有することもできる。
【００１９】
さらに、ＨＭＤ１１０は、たとえば、コントローラ２１０や画像生成装置３１０等の周辺装置との有線による接続を確立するための入出力部１９０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部１１５を備えることができる。センサ１４０により取得されたユーザの頭部の向きや傾きといった動きに関する情報は、制御部１２５によって、入出力部１９０および／または通信部１１５を介して画像生成装置３１０に送信される。画像生成装置３１０において、ユーザの頭部の動きに基づいて生成された画像は、入出力部１９０および／または通信部１１５を介して受信され、制御部１２５によって表示部１２０に出力される。
【００２０】
図４は、本実施形態に係るコントローラ２１０の外観の模式図である。ユーザはコントローラ２１０を把持して所定の指示を行う。コントローラ２１０により、仮想空間内において、ユーザが所定の入力を行うことをサポートすることができる。例えば、ユーザは、コントローラを傾けることで、仮想空間内に表示される入力キーボードの所望のキーにカーソルを当て、ボタンを押下することで、テキスト入力を行うことができる。コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができる。左手用コントローラ２２０及び右手用コントローラ２３０は、各々操作用トリガーボタン２４０、赤外線ＬＥＤ２５０、センサ２６０、ジョイスティック２７０、メニューボタン２８０を有することができる。
【００２１】
操作用トリガーボタン２４０は、コントローラ２１０のグリップ２３５を把持したときに、中指及び人差し指でトリガーを引くような操作を行うことを想定した位置に２４０ａ、２４０ｂとして配置される。コントローラ２１０の両側面から下方にリング状に形成されるフレーム２４５には、複数の赤外線ＬＥＤ２５０が備えられ、コントローラ２１０の外部に備えられるカメラ（図示せず）により、これらの赤外線ＬＥＤ２５０の位置を検出することで、特定の空間におけるコントローラ２１０の位置、向き及び傾きを検出することができる。
【００２２】
なお、赤外線ＬＥＤ２５０を省略し、コントローラ２１０の外部に配されるカメラによりコントローラ２１０の外観を撮影し、撮影画像を解析することにより、コントローラ２１０の位置、向き、傾きを検出することもできる。この場合、カメラからの画像をＨＭＤ１１０に送信してＨＭＤ１１０が画像解析を行うようにしてもよいし、ＨＭＤ１１０およびコントローラ２１０とは異なるコンピュータが画像解析を行い、解析結果をＨＭＤ１１０に送信するようにしてもよい。
【００２３】
また、コントローラ２１０は、コントローラ２１０の向きや傾きといった動きを検出するために、センサ２６０を内蔵することができる。センサ２６０として、図示しないが、たとえば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、コントローラ２１０の上面には、ジョイスティック２７０及びメニューボタン２８０を備えることができる。ジョイスティック２７０は、基準点を中心に３６０度方向に動かすことができ、コントローラ２１０のグリップ２３５を把持したときに、親指で操作されることが想定される。メニューボタン２８０もまた同様に、親指で操作されることが想定される。さらに、コントローラ２１０は、コントローラ２１０を操作するユーザの手に振動を与えるためのバイブレータ（図示せず）を内蔵することもできる。ボタンやジョイスティックを介したユーザの入力内容やセンサ等を介したコントローラ２１０の位置、向き及び傾きといった情報を出力するため、また、ホストコンピュータからの情報を受信するために、コントローラ２１０は、入出力部及び通信部を有する。
【００２４】
ユーザがコントローラ２１０を把持し、各種ボタンやジョイスティックを操作することの有無、及び赤外線ＬＥＤやセンサにより検出される情報によって、システムはユーザの手の動きや姿勢を決定し、仮想空間内において擬似的にユーザの手を表示させ、動作させることができる。
【００２５】
なお、本実施形態においては、コントローラを使用した例を説明するが、コントローラを用いずに、ハンドトラッキングやジェスチャ認識等の手法を用いて、ユーザの腕、手及び指の動きをトラッキングして仮想現実空間において各々キャラクタの腕、手及び指の動きとして表示させることができる。
【００２６】
図５は、本実施形態に係るコントローラ２１０の機能構成図である。図４において述べたように、コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができるが、いずれのコントローラにおいても、操作用トリガーボタン２４０、ジョイスティック２７０、メニューボタン２８０といった操作部２４５を備えることができる。
【００２７】
また、コントローラ２１０は、コントローラ２１０の向きや傾きといった動きを検出するために、センサ２６０を内蔵することができる。センサ２６０として、図示しないが、たとえば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。
【００２８】
さらに、複数の赤外線ＬＥＤ２５０が備えられ、コントローラ外部に備えられるカメラ（図示せず）により、これらの赤外線ＬＥＤの位置を検出することで、特定の空間におけるコントローラ２１０の位置、向き及び傾きを検出するようにしてもよい。
【００２９】
コントローラ２１０は、たとえば、ＨＭＤ１１０や画像生成装置３１０等の周辺装置との有線による接続を確立するための入出力部２５５を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部２６５を備えることができる。ユーザにより操作部２４５を介して入力された、例えば、テキスト入力情報及びセンサ２６０によって取得されたコントローラ２１０の向きや傾きといった情報は、入出力部２５５および／または通信部２６５を介して画像生成装置３１０に送信される。
【００３０】
図６は、本実施形態に係る画像生成装置３１０の機能構成図である。画像生成装置３１０としては、ＨＭＤ１１０やコントローラ２１０から送信された、ユーザ入力情報やセンサ等により取得されたユーザの頭部動きやコントローラの動きや操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、ＰＣ、ゲーム機及び携帯通信端末等といった装置を使用することができる。画像生成装置３１０は、たとえば、ＨＭＤ１１０やコントローラ２１０等の周辺装置との有線による接続を確立するための入出力部３２０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部３３０を備えることができる。入出力部３２０および／または通信部３３０を介して、ＨＭＤ１１０および／またはコントローラ２１０から受信された、ユーザの頭部の動きやコントローラの動きや操作に関する情報は、制御部３４０において、ユーザの位置、視線、姿勢等の動作、発話、操作等を含めた入力内容として検出され、ユーザの入力内容に応じて、記憶部３５０に格納された制御プログラムを実行することで、キャラクタの制御を行い、画像を生成するといった処理がなされる。制御部３４０は、ＣＰＵで構成することもできるが、画像処理に特化したＧＰＵをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置３１０はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。
【００３１】
さらに、画像生成装置３１０の制御部３４０は、ＨＭＤ１１０および／またはコントローラ２１０から受信された、ユーザの頭部の動きやユーザの発話、また、コントローラ操作によるテキスト入力情報、及びコントローラの動きや操作に関する情報を検出する入力検出部６１０と、予め記憶部３５０のキャラクタデータ格納部６５０に格納されたキャラクタに対して、制御プログラム格納部に格納された制御プログラムを実行するキャラクタ制御部６２０と、キャラクタ制御に基づいて画像を生成する画像生成部６３０を有する。ここでキャラクタの動きの制御については、ＨＭＤ１１０やコントローラ２１０を介して検出されたユーザ頭部の向きや傾き、手の動きといった情報を、人間の身体の関節の動きや制約に則って作成されたボーン構造の各部の動きに変換し、予め格納されたキャラクタデータに対して、ボーン構造を関連付けることで、ボーン構造の動きを適用させることで実現される。
【００３２】
記憶部３５０は、上述のキャラクタデータ格納部６５０に、キャラクタのイメージデータのほか、キャラクタの属性等キャラクタに関連する情報を格納する。また、制御プログラム格納部６７０は、仮想空間におけるキャラクタの動作や表情を制御するためのプログラムを格納する。ユーザデータ格納部６６０は、仮想現実空間に接続するユーザデータ（例えば、ユーザＩＤ、ユーザ名、ユーザ属性（国籍、居住地、性別、年齢等）の情報を格納する。また、ジェスチャ情報格納部６８０は、ユーザのＨＭＤやコントローラ等を介した動きに対応するジェスチャを特定するための参照用データ、その他図７に詳述するようなデータを格納する。
【００３３】
図７は、本実施形態に係るジェスチャ情報の一例である。本実施形態において、ジェスチャ情報は、個別のジェスチャについて、各国別の受容性に関する情報を含む。例えば、日本において「おいで」をするような、手のひらを下にする手招きのジェスチャは、欧米では反対の意味に捉えられる。また、日本において手の甲を相手方に見せながらピースをするジェスチャは、欧米では相手を挑発する意味と捉えられる。また、日本において親指と人差し指で丸を作り、他の指を立ててする「ＯＫ」のジェスチャは、フランスでは「ゼロ」等の意味となる。ジェスチャ情報として、前述のように、ＨＭＤやコントローラ等を介して取得される（または、ハンドトラッキング等他のジェスチャ認識手法を通じて取得される）ユーザの頭部や手の動きや姿勢の変化を通じて形成されるジェスチャを判別するための参照用データ（例えば、画像データ等）のほか、本図のように、判別されたジェスチャが他国のユーザに受容されるか否かを示す情報が格納される。
【００３４】
図８は、本実施形態に係るＨＭＤシステムにおける処理の流れを示す図である。
【００３５】
画像生成装置３１０の制御部３４０の入力検出部６１０は、ＨＭＤ１１０及び／またはコントローラ２１０からの入力データ、例えば、ユーザの頭部及び／または手の動きや姿勢に関するデータやユーザの発話データを受信する（Ｓ１０１）。
【００３６】
次に、画像生成装置３１０の制御部３４０のキャラクタ制御部６２０は、入力データを基にジェスチャを決定する（Ｓ１０２）。具体的には、入力データを基に、ジェスチャ情報格納部６８０に格納さえたジェスチャ情報を参照することで、ユーザの頭部や手の動きや姿勢の変化を通じて形成されるジェスチャがどのジェスチャに該当するかを特定する。
【００３７】
次に、キャラクタ制御部６２０は、Ｓ１０２で特定されたジェスチャが、そのジェスチャが向けられる送信先ユーザ（複数のユーザで構成される場合はそのいずれかのユーザ）のＨＭＤ上で表示すべきか否か（すなわち、フィルタリングが必要か）を判定する（Ｓ１０３）。具体的には、送信先ユーザの属性を、ユーザデータ格納部６６０に格納されるユーザデータを参照することで特定し、例えば、特定されたジェスチャが、「『おいで』の手招き」であって、送信先ユーザの属性（例えば、国籍が米国）であった場合、「『おいで』の手招き」を米国籍のユーザに送信し、当該ユーザのＨＭＤの表示部に表示すべきか否かを、ジェスチャ情報を参照しながら判定する。
【００３８】
Ｓ１０３において、特定したジェスチャが、送信先ユーザのＨＭＤ上で表示すべきでない（フィルタリングが「要」）と判断した場合、キャラクタ制御部６２０は、入力内容（例えば、「おいで」の手招きをするような動作）を基にキャラクタを制御することを停止するか、または、所定の制御に切り替えるよう処理を行う。
【００３９】
Ｓ１０３において、特定したジェスチャが、送信先ユーザのＨＭＤ上で表示してもよい（フィルタリングが「不要」）と判断した場合、キャラクタ制御部６２０は、入力内容（例えば、「おいで」の手招きをするような動作）に従って、キャラクタを制御し、画像生成部６３０によって生成された画像を送信先ユーザのＨＭＤに送信する。
【００４０】
以上説明したように、本実施形態に係るＨＭＤシステム３００によれば、パフォーマユーザが行ったジェスチャについて、同じ仮想現実空間に接続する他ユーザの背景を考慮し、必要に応じてフィルタリングを適用し、表示しない等の措置を取ることが可能となる。
【００４１】
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【００４２】
たとえば、本実施形態では、ＨＭＤ１１０とコントローラ２１０とがそれぞれ画像生成装置３１０と通信を行うものとしたが、これに限らず、コントローラ２１０からの信号をＨＭＤ１１０に伝達し、ＨＭＤ１１０からコントローラ２１０を介した入力データを画像生成装置３１０に送信するようにしてもよい。また、スマートフォンなどのユーザ端末を介して、ＨＭＤ１１０およびコントローラ２１０からの入力データを送信するようにしてもよい。
【００４３】
また、本実施形態のＨＭＤシステム３００は、ＨＭＤ１１０を利用した仮想現実空間における会話システムを想定していたが、拡張現実空間や複合現実空間でも同様の処理を行うことができる。たとえば、ＨＭＴ１１０の外観をカメラ１６０により撮影し、その撮影画像を背景として、キャラクタ７２０を重畳表示させることもできる。
【００４４】
（第２の実施形態）
以下、本発明の第２の実施形態について説明する。以下、特に言及される内容のほかは、本実施形態において実現される構成及び方法は、第１の実施形態と同等である。
【００４５】
図９は、第２の実施形態に係るジェスチャ情報の一例である。本実施形態において、ジェスチャ情報は、個別のジェスチャについて、各国における対応するジェスチャに関する情報を含む。例えば、日本において「おいで」をするような、手のひらを下にする手招きのジェスチャは、欧米では手のひらを上にして指を動かすジェスチャとなる。ジェスチャ情報として、特定されたジェスチャに対応するジェスチャに関する制御プログラムが格納される。同様に、日本において手の甲を相手方に見せながらピースをするジェスチャは、欧米では手のひらを相手に向けてピースサインをする制御プログラムが格納される。
【００４６】
図１０は、第２の実施形態に係るＨＭＤシステムにおける処理の流れを示す図である。
【００４７】
画像生成装置３１０の制御部３４０の入力検出部６１０は、ＨＭＤ１１０及び／またはコントローラ２１０からの入力データ、例えば、ユーザの頭部及び／または手の動きや姿勢に関するデータやユーザの発話データを受信する（Ｓ２０１）。
【００４８】
次に、画像生成装置３１０の制御部３４０のキャラクタ制御部６２０は、入力データを基にジェスチャを決定する（Ｓ２０２）。具体的には、入力データを基に、ジェスチャ情報格納部６８０に格納さえたジェスチャ情報を参照することで、ユーザの頭部や手の動きや姿勢の変化を通じて形成されるジェスチャがどのジェスチャに該当するかを特定する。
【００４９】
次に、キャラクタ制御部６２０は、Ｓ２０２で特定されたジェスチャを、そのジェスチャが向けられるユーザ（複数のユーザで構成される場合はそのいずれかのユーザ）に対応する端末に異なる形態で表示すべきか（すなわち、ジェスチャの「変換」が必要か）判定する（Ｓ２０３）。具体的には、送信先ユーザの属性を、ユーザデータ格納部６６０に格納されるユーザデータを参照することで特定し、例えば、特定されたジェスチャが、「『おいで』の手招き」であって、送信先ユーザの属性（例えば、国籍が米国）であった場合、「『おいで』の手招き」に対応する米国のジェスチャが存在するか否かを判定する。
【００５０】
Ｓ２０３において、特定したジェスチャが、送信先ユーザのＨＭＤ上で異なる形態で表示すべきである（変換「要」）と判断した場合、キャラクタ制御部６２０は、入力内容（例えば、日本式の「『おいで』の手招き」）を基に、対応するジェスチャ（例えば、日本式の「『おいで』の手招き」に対応する、米国式の手のひらを上にして指を動かす動作）を実行するよう、キャラクタを制御し、画像生成部６３０によって生成された画像を送信先ユーザのＨＭＤに送信する。
【００５１】
Ｓ２０３において、特定したジェスチャが、送信先ユーザのＨＭＤ上で異なる形態で表示しなくてよい（変換「不要」）と判断した場合、キャラクタ制御部６２０は、入力内容（例えば、「おいで」の手招きをするような動作）に従って、キャラクタを制御し、画像生成部６３０によって生成された画像を送信先ユーザのＨＭＤに送信する。
【００５２】
以上説明したように、本実施形態に係るＨＭＤシステム３００によれば、パフォーマユーザが行ったジェスチャについて、同じ仮想現実空間に接続する他ユーザの背景を考慮し、必要に応じて動作を変換し、異なる形態で表示する等の措置を取ることが可能となる。
【００５３】
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【符号の説明】
【００５４】
１１０  ＨＭＤ
１２０  表示パネル
１３０  筐体部
１４０  センサ
１５０  光源
１６０  カメラ
１７０  マイク
１８０  ヘッドフォン
２１０  コントローラ
２２０  左手用コントローラ
２３０  右手用コントローラ
２３５  グリップ
２４０  操作用トリガーボタン
２５０  赤外線ＬＥＤ
２６０  センサ
２７０  ジョイスティック
２８０  メニューボタン
３００  ＨＭＤシステム
３１０  画像生成装置
【図１】
2020177438.tif 000003
【図２】
2020177438.tif 000004
【図３】
2020177438.tif 000005
【図４】
2020177438.tif 000006
【図５】
2020177438.tif 000007
【図６】
2020177438.tif 000008
【図７】
2020177438.tif 000009
【図８】
2020177438.tif 000010
【図９】
2020177438.tif 000011
【図１０】
2020177438.tif 000012