(57)【要約】      （修正有）【課題】仮想空間においてキャラクタを自然に表現する方法を提供する。【解決手段】仮想空間におけるキャラクタの制御方法は、仮想空間内にキャラクタを配置するステップと、ユーザが把持するコントローラを介してユーザの入力を検出するステップと、ユーザの入力に応じてキャラクタの視線を制御するステップと、を有する。【選択図】図８
2020067810.tif 000002
【特許請求の範囲】
【請求項１】
仮想空間におけるキャラクタの制御方法であって、
仮想空間内にキャラクタを配置するステップと、
ユーザが把持するコントローラを介して当該ユーザの入力を検出するステップと、
前記ユーザの入力に応じて前記キャラクタの視線を制御するステップと、
を有することを特徴とする制御方法。
【請求項２】
請求項１に記載の制御方法であって、
前記ユーザの入力は、前記コントローラの傾きおよび向きの少なくともいずれかに関する情報であること、
を特徴とする制御方法。
【請求項３】
請求項１または２に記載の制御方法であって、
前記ユーザの入力に応じて前記キャラクタの表情を制御するステップをさらに有すること、
を特徴とする制御方法。
【請求項４】
請求項３に記載の制御方法であって、
前記キャラクタの表情を制御するステップにおいて、前記コントローラが備えるボタンおよびレバーハンドルの少なくともいずれかの操作に応じて前記表情を制御すること、
を特徴とする制御方法。
【請求項５】
請求項１に記載の制御方法であって、
前記キャラクタの視線を制御するステップにおいて、前記ユーザの頭部および左右の眼球を動かすこと、
を特徴とする制御方法。
【請求項６】
請求項１に記載の制御方法であって、
前記キャラクタの視線を制御するステップにおいて、前記ユーザの頭部は動かさずに前記ユーザの左右の眼球を動かすこと、
を特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想空間におけるキャラクタの制御方法に関する。
【背景技術】
【０００２】
仮想空間にアバター等のキャラクタを配置して仮想的に会話を行うシステムにおいて、キャラクタの動作を自然にするべくキャラクタの視線を変化させることが行われている。たとえば、特許文献１には、アイトラッキングによりユーザの視線にアバターの視線を合わせることが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第６２５７８２６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、実際の人間の目は反応的であり、特許文献１に記載のシステムのようにアイトラッキングを行うと、現実空間におけるユーザの目の反応が仮想空間に反映されてしまい、仮想空間では不自然な動きとなってしまうことがある。
【０００５】
本発明は、このような背景を鑑みてなされたものであり、仮想空間においてキャラクタを自然に表現することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するための本発明の主たる発明は、仮想空間におけるキャラクタの制御方法であって、仮想空間内にキャラクタを配置するステップと、ユーザが把持するコントローラを介して当該ユーザの入力を検出するステップと、前記ユーザの入力に応じて前記キャラクタの視線を制御するステップと、を有することとする。
【０００７】
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
【発明の効果】
【０００８】
本発明によれば、仮想空間においてキャラクタを自然に表現することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態にかかるＨＭＤシステム３００の全体構成例を示す図である。
【図２】本実施形態に係るＨＭＤ１１０の外観の模式図である。
【図３】本実施形態に係るＨＭＤ１１０の機能構成図である。
【図４】本実施形態に係るコントローラ２１０の外観の模式図である。
【図５】本実施形態に係るコントローラ２１０の機能構成図である。
【図６】本実施形態に係る画像生成装置３１０の機能構成図である。
【図７】本実施形態に係るＨＭＤ１１０に表示される仮想空間の一例を示す図である。
【図８】本実施形態に係るＨＭＤシステムにおける処理の流れを示す図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態の内容を列記して説明する。本発明の実施の形態による仮想空間におけるキャラクタの制御方法は、以下のような構成を備える。
［項目１］
仮想空間におけるキャラクタの制御方法であって、
仮想空間内にキャラクタを配置するステップと、
ユーザが把持するコントローラを介して当該ユーザの入力を検出するステップと、
前記ユーザの入力に応じて前記キャラクタの視線を制御するステップと、
を有することを特徴とする制御方法。
［項目２］
項目１に記載の制御方法であって、
前記ユーザの入力は、前記コントローラの傾きおよび向きの少なくともいずれかに関する情報であること、
を特徴とする制御方法。
［項目３］
項目１または２に記載の制御方法であって、
前記ユーザの入力に応じて前記キャラクタの表情を制御するステップをさらに有すること、
を特徴とする制御方法。
［項目４］
項目３に記載の制御方法であって、
前記キャラクタの表情を制御するステップにおいて、前記コントローラが備えるボタンおよびレバーハンドルの少なくともいずれかの操作に応じて前記表情を制御すること、
を特徴とする制御方法。
［項目５］
項目１に記載の制御方法であって、
前記キャラクタの視線を制御するステップにおいて、前記ユーザの頭部および左右の眼球を動かすこと、
を特徴とする制御方法。
［項目６］
項目１に記載の制御方法であって、
前記キャラクタの視線を制御するステップにおいて、前記ユーザの頭部は動かさずに前記ユーザの左右の眼球を動かすこと、
を特徴とする制御方法。
【００１１】
本発明の一実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）システム３００の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００１２】
図１は、本実施形態にかかるＨＭＤシステム３００の全体構成例を示す図である。ＨＭＤシステム３００は、たとえば、ユーザが装着するＨＭＤ１１０およびコントローラ２１０、ならびにホストコンピュータとして機能する画像生成装置３１０で構成することができる。図１には、一例として、ユーザＡおよびがユーザＢが装着するＨＭＤ１１０およびコントローラ２１０が表示されている。また、ＨＭＤシステム３００は、ＨＭＤ１１０やコントローラ２１０の位置、向き及び傾き等を検出するための赤外線カメラ（図示せず）等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。たとえば、各々の装置にＵＳＢポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、ＨＤＭＩ、有線ＬＡＮ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）等の有線又は無線により通信を確立することもできる。画像生成装置３１０は、ＰＣ、ゲーム機、携帯通信端末等計算処理機能を有する装置であればよい。また、画像生成装置３１０は、生成した画像をストリーミングまたはダウンロードの形態でＨＭＤ１１０に送信することができる。ＨＭＤ１１０は、画像生成装置３１０から送信された画像を再生することができる。画像生成装置３１０は、複数のＨＭＤ１１０に対し、直接画像を送信することもできるし、他のコンテンツサーバを介して画像を送信することもできる。
【００１３】
図２は、本実施形態に係るヘッドマウントディスプレイ（以下：ＨＭＤ）１１０の外観の模式図である。ＨＭＤ１１０はユーザの頭部に装着され、ユーザの左右の眼前に配置されるよう表示パネル１２０を備える。表示パネルとしては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、より没入感を提供可能な非透過型の表示パネルを例示する。表示パネル１２０には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をユーザに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。
【００１４】
さらに、ＨＭＤ１１０の筐体部１３０は、センサ１４０を備える。センサは、ユーザの頭部の向きや傾きといった動きを検出するために、図示しないが、たとえば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。ユーザの頭部の垂直方向をＹ軸とし、Ｙ軸と直交する軸のうち、表示パネル１２０の中心とユーザとを結ぶ、ユーザの前後方向に相当する軸をＺ軸とし、Ｙ軸及びＺ軸と直交し、ユーザの左右方向に相当する軸をＸ軸とするとき、センサ１４０は、Ｘ軸まわりの回転角（いわゆる、ピッチ角）、Ｙ軸まわりの回転角（いわゆる、ヨー角）、Ｚ軸まわりの回転角（いわゆる、ロール角）を検出することができる。
【００１５】
さらに、センサ１４０に加えて、またはセンサ１４０に代えて、ＨＭＤ１１０の筐体部１３０は、複数の光源１５０（たとえば、赤外光ＬＥＤ、可視光ＬＥＤ）を備えることもでき、ＨＭＤ１１０の外部（たとえば、室内等）に設置されたカメラ（たとえば、赤外光カメラ、可視光カメラ）がこれらの光源を検出することで、特定の空間におけるＨＭＤ１１０の位置、向き、傾きを検出することができる。または、同じ目的で、ＨＭＤ１１０に、ＨＭＤ１１０の筐体部１３０に設置された光源を検出するためのカメラを備えることもできる。
【００１６】
また、ＨＭＤ１１０には光源１５０を設けずに、ＨＭＤ１１０の外部に設置されたカメラによりＨＭＤ１１０の外観を撮影し、その撮影画像を画像解析することにより、ＨＭＤ１１０の位置、向き、傾きを検出することもできる。この場合、ＨＭＤ１１０が外部のカメラからの画像を取得して画像解析を行うようにしてもよいし、ＨＭＤ１１０とは異なるコンピュータが画像解析を行い、解析結果をＨＭＤ１１０に送信するようにしてもよい。
【００１７】
図３は、本実施形態に係るＨＭＤ１１０の機能構成図である。図２において述べたように、ＨＭＤ１１０は、センサ１４０を備えることができる。センサ１４０としては、ユーザの頭部の向きや傾きといった動きを検出するために、図示しないが、たとえば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに精度よく、ユーザの頭部の向きや傾きといった動きを検出したり、ユーザの頭部の位置を検出したりするために、赤外光や紫外光といったＬＥＤ１５０を備えることもできる。また、ＨＭＤの外景を撮影するためのカメラ１６０を備えることができる。また、ユーザの発話を集音するためのマイク１７０、音声を出力するためのヘッドフォン１８０を備えることもできる。なお、マイクやヘッドフォンはＨＭＤ１１０とは別個独立した装置として有することもできる。
【００１８】
さらに、ＨＭＤ１１０は、たとえば、コントローラ２１０や画像生成装置３１０等の周辺装置との有線による接続を確立するための入出力部１９０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部１１５を備えることができる。センサ１４０により取得されたユーザの頭部の向きや傾きといった動きに関する情報は、制御部１２５によって、入出力部１９０および／または通信部１１５を介して画像生成装置３１０に送信される。画像生成装置３１０において、ユーザの頭部の動きに基づいて生成された画像は、入出力部１９０および／または通信部１１５を介して受信され、制御部１２５によって表示部１２０に出力される。
【００１９】
図４は、ユーザはコントローラ２１０を把持して指示を行う。コントローラ２１０により、仮想空間内において、ユーザが所定の入力を行うことをサポートすることができる。コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができる。左手用コントローラ２２０及び右手用コントローラ２３０は、各々操作用トリガーボタン２４０、赤外線ＬＥＤ２５０、センサ２６０、ジョイスティック２７０、メニューボタン２８０を有することができる。
【００２０】
操作用トリガーボタン２４０は、コントローラ２１０のグリップ２３５を把持したときに、中指及び人差し指でトリガーを引くような操作を行うことを想定した位置に２４０ａ、２４０ｂとして配置される。コントローラ２１０の両側面から下方にリング状に形成されるフレーム２４５には、複数の赤外線ＬＥＤ２５０が備えられ、コントローラ２１０の外部に備えられるカメラ（図示せず）により、これらの赤外線ＬＥＤ２５０の位置を検出することで、特定の空間におけるコントローラ２１０の位置、向き及び傾きを検出することができる。
【００２１】
なお、赤外線ＬＥＤ２５０を省略し、コントローラ２１０の外部に配されるカメラによりコントローラ２１０の外観を撮影し、撮影画像を解析することにより、コントローラ２１０の位置、向き、傾きを検出することもできる。この場合、カメラからの画像をＨＭＤ１１０に送信してＨＭＤ１１０が画像解析を行うようにしてもよいし、ＨＭＤ１１０およびコントローラ２１０とは異なるコンピュータが画像解析を行い、解析結果をＨＭＤ１１０に送信するようにしてもよい。
【００２２】
また、コントローラ２１０は、コントローラ２１０の向きや傾きといった動きを検出するために、センサ２６０を内蔵することができる。センサ２６０として、図示しないが、たとえば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、コントローラ２１０の上面には、ジョイスティック２７０及びメニューボタン２８０を備えることができる。ジョイスティック２７０は、基準点を中心に３６０度方向に動かすことができ、コントローラ２１０のグリップ２３５を把持したときに、親指で操作されることが想定される。メニューボタン２８０もまた同様に、親指で操作されることが想定される。さらに、コントローラ２１０は、コントローラ２１０を操作するユーザの手に振動を与えるためのバイブレータ（図示せず）を内蔵することもできる。ボタンやジョイスティックを介したユーザの入力内容やセンサ等を介したコントローラ２１０の位置、向き及び傾きといった情報を出力するため、また、ホストコンピュータからの情報を受信するために、コントローラ２１０は、入出力部及び通信部を有する。
【００２３】
ユーザがコントローラ２１０を把持し、各種ボタンやジョイスティックを操作することの有無、及び赤外線ＬＥＤやセンサにより検出される情報によって、システムはユーザの手の動きや姿勢を決定し、仮想空間内において擬似的にユーザの手を表示させ、動作させることができる。
【００２４】
図５は、本実施形態に係るコントローラ２１０の機能構成図である。図４において述べたように、コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができるが、いずれのコントローラにおいても、操作用トリガーボタン２４０、ジョイスティック２７０、メニューボタン２８０といった操作部２４５を備えることができる。
【００２５】
また、コントローラ２１０は、コントローラ２１０の向きや傾きといった動きを検出するために、センサ２６０を内蔵することができる。センサ２６０として、図示しないが、たとえば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。
【００２６】
さらに、複数の赤外線ＬＥＤ２５０が備えられ、コントローラ外部に備えられるカメラ（図示せず）により、これらの赤外線ＬＥＤの位置を検出することで、特定の空間におけるコントローラ２１０の位置、向き及び傾きを検出するようにしてもよい。
【００２７】
コントローラ２１０は、たとえば、ＨＭＤ１１０や画像生成装置３１０等の周辺装置との有線による接続を確立するための入出力部２５５を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部２６５を備えることができる。ユーザにより操作部２４５を介して入力された情報及びセンサ２６０によって取得されたコントローラ２１０の向きや傾きといった情報は、入出力部２５５および／または通信部２６５を介して画像生成装置３１０に送信される。
【００２８】
図６は、本実施形態に係る画像生成装置３１０の機能構成図である。画像生成装置３１０としては、ＨＭＤ１１０やコントローラ２１０から送信された、ユーザ入力情報やセンサ等により取得されたユーザの頭部動きやコントローラの動きや操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、ＰＣ、ゲーム機及び携帯通信端末等といった装置を使用することができる。画像生成装置３１０は、たとえば、ＨＭＤ１１０やコントローラ２１０等の周辺装置との有線による接続を確立するための入出力部３２０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部３３０を備えることができる。入出力部３２０および／または通信部３３０を介して、ＨＭＤ１１０および／またはコントローラ２１０から受信された、ユーザの頭部の動きやコントローラの動きや操作に関する情報は、制御部３４０において、ユーザの位置、視線、姿勢等の動作、発話、操作等を含めた入力内容として検出され、ユーザの入力内容に応じて、記憶部３５０に格納された制御プログラムを実行することで、キャラクタの制御を行い、画像を生成するといった処理がなされる。制御部３４０は、ＣＰＵで構成することもできるが、画像処理に特化したＧＰＵをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置３１０はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。
【００２９】
さらに、画像生成装置３１０の制御部３４０は、ＨＭＤ１１０および／またはコントローラ２１０から受信された、ユーザの頭部の動きやユーザの発話、また、コントローラの動きや操作に関する情報を検出する入力検出部６１０と、予め記憶部３５０のキャラクタデータ格納部６５０に格納されたキャラクタに対して、制御プログラム格納部に格納された制御プログラムを実行するキャラクタ制御部６２９と、キャラクタ制御に基づいて画像を生成する画像生成部６３０を有する。ここでキャラクタの動きの制御については、ＨＭＤ１１０やコントローラ２１０を介して検出されたユーザ頭部の向きや傾き、手の動きといった情報を、人間の身体の関節の動きや制約に則って作成されたボーン構造の各部の動きに変換し、予め格納されたキャラクタデータに対して、ボーン構造を関連付けることで、ボーン構造の動きを適用させることで実現される。
【００３０】
記憶部３５０は、上述のキャラクタデータ格納部６５０に、キャラクタのイメージデータのほか、キャラクタの属性等キャラクタに関連する情報を格納する。また、制御プログラム格納部６７０は、仮想空間におけるキャラクタの動作や表情を制御するためのプログラムを格納する。ストリーミングデータ格納部６６０は、画像生成部６３０で生成された画像を格納する。
【００３１】
図７は、本実施形態に係るＨＭＤ１１０に表示される仮想空間の一例を示す図である。本実施形態では、仮想空間においてキャラクタ同士で音声会話を行うことを想定している。図７では、一例として、ユーザＡを表すキャラクタ７２０（Ａ）と、ユーザＡの対話の相手となるユーザＢを表すキャラクタ７２０（Ｂ）とが対面に配置されている仮想空間を示している。ユーザＡとユーザＢとは、キャラクタ７２０（Ａ）および７２０（Ｂ）を介して仮想的に音声会話を行う。なお、音声は、ユーザの生声をそのまま再生するようにしてのよいし、画像生成装置３１０において音声をテキストに変換し、変換したテキストに基づいて合成音声を作成して再生するようにしてもよい。
【００３２】
仮想空間においてキャラクタ７２０は、少なくとも胸部以上の部分が互いに視認可能な状態で配置される。キャラクタ７２０の目７２１は可動式であり、目７２１が動くことで、キャラクタ７２０の視線７２２が設定される。
【００３３】
本実施形態では、キャラクタ７２０の視線７２２は、コントローラ２１０の操作により設定される。本実施形態では、一例として、トリガーボタン２４０を押下しながらコントローラ２１０を傾けることにより、３軸方向のそれぞれの傾きに応じて視線７２２を設定するように制御されるものとしている。
【００３４】
ＨＭＤ１１０の表示パネル１２０には、ユーザの仮想の手（不図示）を仮想空間に表示してもよい。また、仮想の手からは３軸の傾きに応じたレイ（光線）を表示するようにしてもよい。この場合に、レイをポインタとして用いることが可能となり、トリガーボタン２４０を押下した場合には、レイが示す先にキャラクタ７２０の視線７２２を向けるようにすることもできる。さらに、レイが示す先を操作の対象としてもよい。たとえば、仮想空間においてレイが示す先に配置されているオブジェクト（たとえば、図７の例では、机の上に配置されているプリントなど）を操作対象として、その内容を表示パネル１２０に表示させることができる。この場合、ユーザはプリントの内容を読みながら会話を行うことになるところ、仮想空間のキャラクタ７２０の視線７２２が向いている先のオブジェクトに関する話題になるため、自然な雰囲気でキャラクタ７２０に会話をさせることができる。なお、ユーザからの指示の応じて、レイを他のユーザが視認できるように、画像生成装置３１０がレイを作成するようにしてもよい。
【００３５】
また、キャラクタ７２０の各部はＨＭＤ１１０およびコントローラ２１０の操作に連動させることができる。たとえば、ＨＭＤ１１０の向きおよび傾きに応じてキャラクタ７２０の頭部の向きおよび傾きを設定することができる。また、上述したように視線７２２を動かした場合に、その視線７２２に応じて頭部の向きおよび傾きを設定するようにしてもよい。
【００３６】
図８は、本実施形態に係るＨＭＤシステムにおける処理の流れを示す図である。
【００３７】
画像生成装置３１０は、コントローラ２１０からの入力データを受信し（Ｓ３１１）、受信した入力データに基づいてコントローラ２１０の現実空間における位置が動いたか否かを判定し（Ｓ３１２）、位置が動いていた場合には（Ｓ３１２：ＹＥＳ）、現実空間におけるコントローラ２１０の位置に応じて、仮想空間におけるキャラクターの手の位置を変更する（Ｓ３１３）。
【００３８】
次に、画像生成装置３１０は、入力データに基づいてトリガーボタン２４０が押下されているか否かを判断し（Ｓ３１４）、トリガーボタン２４０が押下されている場合には（Ｓ３１４：ＹＥＳ）、コントローラ２１０の３軸の傾きを取得して（Ｓ３１５）、キャラクタ７２０の視線７２２の向きを決定し、視線７２２がこの向きとなるようにキャラクタ７２０の目７２１を動かす（Ｓ３１６）。なお、コントローラ２１０の３軸の傾きは、３軸角速度などを用いた一般的な方法により測定されたデータがコントローラ２１０から画像生成装置３１０に入力データとして送信されているものとする。
【００３９】
トリガーボタン２４０が押下されていない場合（Ｓ３１４：ＮＯ）、メニューボタン２８０が押下されていれば（Ｓ３１７：ＹＥＳ）、画像生成装置３１０は、ジョイスティック２７０の傾斜方向に応じてキャラクタ７２０の表情を変化させる（Ｓ３１８）。キャラクタ７２０の表情は、たとえば、キャラクタデータ格納部６５０に、驚いた表情や悲しい表情、喜びの表情などの感情パターンごとにパラメータを記憶しておき、このパラメータに基づいてキャラクタ７２０の表情を変化させることができる。画像生成装置３１０は、たとえば、ジョイスティック２７０がどちらにも傾斜していない場合には笑顔、ジョイスティック２７０が上方に傾斜していた場合には驚き、下方に傾斜していた場合には悲しみ、左方に傾斜していた場合には苦笑、右方に傾斜していた場合には、恥じらいなど、任意のパターンで傾斜に応じた表情をキャラクタ７２０に設定することができる。
【００４０】
以上説明したように、本実施形態に係るＨＭＤシステム３００によれば、仮想空間におけるキャラクタ７２０の視線方向と表情とをコントローラ２１０を用いて変化させることができる。したがって、ユーザの意図どおりにキャラクタ７２０の表情や視線を制御することができるので、アイトラッキング等により現実空間におけるユーザの目の反応が仮想空間に反映してしまうことによる、仮想空間内での不自然感を低減することが可能となり、仮想空間においてキャラクタを自然に表現することができる。
【００４１】
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【００４２】
たとえば、本実施形態では、ＨＭＤ１１０とコントローラ２１０とがそれぞれ画像生成装置３１０と通信を行うものとしたが、これに限らず、コントローラ２１０からの信号をＨＭＤ１１０に伝達し、ＨＭＤ１１０からコントローラ２１０を介した入力データを画像生成装置３１０に送信するようにしてもよい。また、スマートフォンなどのユーザ端末を介して、ＨＭＤ１１０およびコントローラ２１０からの入力データを送信するようにしてもよい。
【００４３】
また、本実施形態のＨＭＤシステム３００は、ＨＭＤ１１０を利用した仮想現実空間における会話システムを想定していたが、拡張現実空間や複合現実空間でも同様の処理を行うことができる。たとえば、ＨＭＴ１１０の外観をカメラ１６０により撮影し、その撮影画像を背景として、キャラクタ７２０を重畳表示させることもできる。
【００４４】
また、本実施形態では、トリガーボタン２４０を押下しつつコントローラ２１０を傾けることでキャラクタ７２０の視線７２２の方向を変更するものとしたが、これに限らず、トリガーボタン２４０を押下することなく、常にコントローラ２１０の傾きに応じて視線７２２を設定するようにしてもよいし、ジョイスティック２７０およびメニューボタン２８０により視線７２２を変更するモードを選択した場合にのみ視線７２２を制御するようにしてもよい。また、ジョイスティック２７０を用いて視線７２２の方向を指定するようにしてもよい。
【００４５】
また、本実施形態では、メニューボタン２８０を押下した場合にジョイスティック２７０の傾斜方向に応じてキャラクタ７２０の表情を変えるものとしたが、これについても、他の指定方法を採用してもよい。たとえば、コントローラ２１０に複数のメニューボタン２８０を配置し、メニューボタン２８０ごとに表情を割り当てておき、どのメニューボタン２８０を押下したかに応じてキャラクタ７２０の表情を変更するようにすることもできる。
【００４６】
また、本実施形態では、ジョイスティック２７０のどの傾斜方向にどの表情が対応するかは所与であるものとしたが、ユーザが設定できるようにしてもよい。
【００４７】
また、コントローラ２１０は、ジョイスティック２７０に代えてまたはジョイスティック２７０に加えて、タッチパネル（トラックパッド）を備えるようにしてもよい。この場合、画像生成装置３１０は、タッチパネル上での指のスワイプ方向に応じてキャラクタ７２０の表情を変化させることができる。
【符号の説明】
【００４８】
１１０  ＨＭＤ
１２０  表示パネル
１３０  筐体部
１４０  センサ
１５０  光源
１６０  カメラ
１７０  マイク
１８０  ヘッドフォン
２１０  コントローラ
２２０  左手用コントローラ
２３０  右手用コントローラ
２３５  グリップ
２４０  操作用トリガーボタン
２５０  赤外線ＬＥＤ
２６０  センサ
２７０  ジョイスティック
２８０  メニューボタン
３００  ＨＭＤシステム
３１０  画像生成装置
【図１】
2020067810.tif 000003
【図２】
2020067810.tif 000004
【図３】
2020067810.tif 000005
【図４】
2020067810.tif 000006
【図５】
2020067810.tif 000007
【図６】
2020067810.tif 000008
【図７】
2020067810.tif 000009
【図８】
2020067810.tif 000010