(57)【要約】      （修正有）【課題】仮想空間においてキャラクタを自然に表現することができるようにする制御方法を提供する。【解決手段】仮想空間におけるパフォーマユーザが演じるキャラクタの制御方法は、仮想空間内にキャラクタを配置するステップと、ユーザの入力を検出するステップと、入力内容を他フォーマットの出力内容に変換するステップと、出力内容を仮想空間内に出力するステップと、を有する。【選択図】図８
2020113095.tif 000002
【特許請求の範囲】
【請求項１】
仮想空間におけるパフォーマユーザが演じるキャラクタの制御方法であって、
仮想空間内にキャラクタを配置するステップと、
ユーザの入力を検出するステップと、
前記入力内容を他フォーマットの出力内容に変換するステップと、
前記出力内容を仮想空間内に出力するステップと、
を有することを特徴とする制御方法。
【請求項２】
請求項１に記載の制御方法であって、
前記入力内容は、ユーザの音声データであり、前記出力内容は、前記音声データに対応するテキストデータであること、を特徴とする制御方法。
【請求項３】
請求項１に記載の制御方法であって、
前記入力内容はテキストデータであり、前記出力内容は、前記テキストデータに対応する音声データであること、を特徴とする制御方法。
【請求項４】
請求項１に記載の制御方法であって、
前記入力内容は第一の言語に関する音声データであり、前記出力内容は、前記第一の言語に対応する第二の言語に関する音声データであること、を特徴とする制御方法。
【請求項５】
請求項１に記載の制御方法であって、
前記入力内容は音声データであり、前記出力内容は、前記音声データに対する回答に関する音声データであり、前記出力内容は、前記仮想空間内に配置される第二のパフォーマユーザの音声として出力されること、を特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想空間におけるキャラクタの制御方法に関する。
【背景技術】
【０００２】
仮想空間にアバター等のキャラクタを配置して仮想的に会話を行うシステムにおいて、音声によるコミュニケーションを最適化する技術が開示されている。たとえば、特許文献１には、仮想空間における利用者同士の距離に応じて、肉声による会話または無線機等による会話を行っているような効果を演出する開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−２８３９０
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、仮想空間における会話の実現とともに、様々な背景を有する人がキャラクタに扮して同じ仮想空間に同居するようになり、仮想空間におけるコミュニケーションに際して更なる利便性が期待される。
【０００５】
本発明は、このような背景を鑑みてなされたものであり、仮想空間におけるキャラクタ同士の会話において、更なる利便性を有するコミュニケーション方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
仮想空間におけるパフォーマユーザが演じるキャラクタの制御方法であって、仮想空間内にキャラクタを配置するステップと、ユーザの入力を検出するステップと、前記入力内容を他フォーマットの出力内容に変換するステップと、前記出力内容を仮想空間内に出力するステップと、を有することを特徴とする。
【０００７】
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
【発明の効果】
【０００８】
本発明によれば、仮想空間におけるキャラクタ同士の会話において、更なる利便性を有するコミュニケーション方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態にかかるＨＭＤシステム３００の全体構成例を示す図である。
【図２】第１の実施形態に係るＨＭＤ１１０の外観の模式図である。
【図３】第１の実施形態に係るＨＭＤ１１０の機能構成図である。
【図４】第１の実施形態に係るコントローラ２１０の外観の模式図である。
【図５】第１の実施形態に係るコントローラ２１０の機能構成図である。
【図６】第１の実施形態に係る画像生成装置３１０の機能構成図である。
【図７】第１の実施形態に係る本実施形態に係るＨＭＤ１１０に表示される仮想空間の一例である。
【図８】第１の実施形態に係るＨＭＤシステムにおける処理の流れを示す図である。
【図９】第２の実施形態に係る画像生成装置３１０の機能構成図である。
【図１０】第２の実施形態に係るＨＭＤシステムにおける処理の流れを示す図である。
【図１１】第３の実施形態に係る画像生成装置３１０の機能構成図である。
【図１２】第３の実施形態に係るＨＭＤシステムにおける処理の流れを示す図である。
【図１３】第４の実施形態に係る画像生成装置３１０の機能構成図である。
【図１４】第４の実施形態に係るＨＭＤシステムにおける処理の流れを示す図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態の内容を列記して説明する。本発明の実施の形態による仮想空間におけるキャラクタの制御方法は、以下のような構成を備える。
［項目１］
仮想空間におけるパフォーマユーザが演じるキャラクタの制御方法であって、
仮想空間内にキャラクタを配置するステップと、
ユーザの入力を検出するステップと、
前記入力内容を他フォーマットの出力内容に変換するステップと、
前記出力内容を仮想空間内に出力するステップと、
を有することを特徴とする制御方法。
［項目２］
項目１に記載の制御方法であって、
前記入力内容は、ユーザの音声データであり、前記出力内容は、前記音声データに対応するテキストデータであること、を特徴とする制御方法。
［項目３］
項目１に記載の制御方法であって、
前記入力内容はテキストデータであり、前記出力内容は、前記テキストデータに対応する音声データであること、を特徴とする制御方法。
［項目４］
項目１に記載の制御方法であって、
前記入力内容は第一の言語に関する音声データであり、前記出力内容は、前記第一の言語に対応する第二の言語に関する音声データであること、を特徴とする制御方法。
［項目５］
項目１に記載の制御方法であって、
前記入力内容は音声データであり、前記出力内容は、前記音声データに対する回答に関する音声データであり、前記出力内容は、前記仮想空間内に配置される第二のパフォーマユーザの音声として出力されること、を特徴とする制御方法。
【００１１】
（第１の実施形態）
本発明の第１の実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）システム３００の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００１２】
図１は、本実施形態にかかるＨＭＤシステム３００の全体構成例を示す図である。ＨＭＤシステム３００は、たとえば、ユーザが装着するＨＭＤ１１０およびコントローラ２１０、ならびにホストコンピュータとして機能する画像生成装置３１０で構成することができる。図１には、一例として、ユーザＡおよびユーザＢが装着するＨＭＤ１１０およびコントローラ２１０が表示されている。また、ＨＭＤシステム３００は、ＨＭＤ１１０やコントローラ２１０の位置、向き及び傾き等を検出するための赤外線カメラ（図示せず）等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。たとえば、各々の装置にＵＳＢポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、ＨＤＭＩ、有線ＬＡＮ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）等の有線又は無線により通信を確立することもできる。画像生成装置３１０は、ＰＣ、ゲーム機、携帯通信端末等計算処理機能を有する装置であればよい。また、画像生成装置３１０は、生成した画像をストリーミングまたはダウンロードの形態でＨＭＤ１１０に送信することができる。ＨＭＤ１１０は、画像生成装置３１０から送信された画像を再生することができる。画像生成装置３１０は、複数のＨＭＤ１１０に対し、直接画像を送信することもできるし、他のコンテンツサーバを介して画像を送信することもできる。また、一例として、個々の画像生成装置を、各々のユーザが有するＨＭＤ、コントローラと直接またはローカルネットワークを介して接続し、生成した画像を、インターネット等のネットワークを介してサーバに送信し、サーバが他のユーザのＨＭＤに画像を送信することもできる。
【００１３】
図２は、本実施形態に係るヘッドマウントディスプレイ（以下：ＨＭＤ）１１０の外観の模式図である。ＨＭＤ１１０はユーザの頭部に装着され、ユーザの左右の眼前に配置されるよう表示パネル１２０を備える。表示パネルとしては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、より没入感を提供可能な非透過型の表示パネルを例示する。表示パネル１２０には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をユーザに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。
【００１４】
さらに、ＨＭＤ１１０の筐体部１３０は、センサ１４０を備える。センサは、ユーザの頭部の向きや傾きといった動きを検出するために、図示しないが、たとえば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。ユーザの頭部の垂直方向をＹ軸とし、Ｙ軸と直交する軸のうち、表示パネル１２０の中心とユーザとを結ぶ、ユーザの前後方向に相当する軸をＺ軸とし、Ｙ軸及びＺ軸と直交し、ユーザの左右方向に相当する軸をＸ軸とするとき、センサ１４０は、Ｘ軸まわりの回転角（いわゆる、ピッチ角）、Ｙ軸まわりの回転角（いわゆる、ヨー角）、Ｚ軸まわりの回転角（いわゆる、ロール角）を検出することができる。
【００１５】
さらに、センサ１４０に加えて、またはセンサ１４０に代えて、ＨＭＤ１１０の筐体部１３０は、複数の光源１５０（たとえば、赤外光ＬＥＤ、可視光ＬＥＤ）を備えることもでき、ＨＭＤ１１０の外部（たとえば、室内等）に設置されたカメラ（たとえば、赤外光カメラ、可視光カメラ）がこれらの光源を検出することで、特定の空間におけるＨＭＤ１１０の位置、向き、傾きを検出することができる。または、同じ目的で、ＨＭＤ１１０に、ＨＭＤ１１０の筐体部１３０に設置された光源を検出するためのカメラを備えることもできる。
【００１６】
また、ＨＭＤ１１０には光源１５０を設けずに、ＨＭＤ１１０の外部に設置されたカメラによりＨＭＤ１１０の外観を撮影し、その撮影画像を画像解析することにより、ＨＭＤ１１０の位置、向き、傾きを検出することもできる。この場合、ＨＭＤ１１０が外部のカメラからの画像を取得して画像解析を行うようにしてもよいし、ＨＭＤ１１０とは異なるコンピュータが画像解析を行い、解析結果をＨＭＤ１１０に送信するようにしてもよい。
【００１７】
また、ＨＭＤ１１０は、本例のように、サーバや画像処理装置等の外部処理装置とネットワーク連携しながら、アプリケーションを実行し、データを送受信することもできるし、外部処理装置に依存せずに、ＨＭＤ単体として、内蔵されたプログラムを実行する、スタンドアローン型の装置として機能することもできる。
【００１８】
図３は、本実施形態に係るＨＭＤ１１０の機能構成図である。図２において述べたように、ＨＭＤ１１０は、センサ１４０を備えることができる。センサ１４０としては、ユーザの頭部の向きや傾きといった動きを検出するために、図示しないが、たとえば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに精度よく、ユーザの頭部の向きや傾きといった動きを検出したり、ユーザの頭部の位置を検出したりするために、赤外光や紫外光といったＬＥＤ１５０を備えることもできる。また、ＨＭＤの外景を撮影するためのカメラ１６０を備えることができる。また、ユーザの発話を集音するためのマイク１７０、音声を出力するためのヘッドフォン１８０を備えることもできる。なお、マイクやヘッドフォンはＨＭＤ１１０とは別個独立した装置として有することもできる。
【００１９】
さらに、ＨＭＤ１１０は、たとえば、コントローラ２１０や画像生成装置３１０等の周辺装置との有線による接続を確立するための入出力部１９０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部１１５を備えることができる。センサ１４０により取得されたユーザの頭部の向きや傾きといった動きに関する情報は、制御部１２５によって、入出力部１９０および／または通信部１１５を介して画像生成装置３１０に送信される。画像生成装置３１０において、ユーザの頭部の動きに基づいて生成された画像は、入出力部１９０および／または通信部１１５を介して受信され、制御部１２５によって表示部１２０に出力される。
【００２０】
図４は、本実施形態に係るコントローラ２１０の外観の模式図である。ユーザはコントローラ２１０を把持して所定の指示を行う。コントローラ２１０により、仮想空間内において、ユーザが所定の入力を行うことをサポートすることができる。例えば、ユーザは、コントローラを傾けることで、仮想空間内に表示される入力キーボードの所望のキーにカーソルを当て、ボタンを押下することで、テキスト入力を行うことができる。コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができる。左手用コントローラ２２０及び右手用コントローラ２３０は、各々操作用トリガーボタン２４０、赤外線ＬＥＤ２５０、センサ２６０、ジョイスティック２７０、メニューボタン２８０を有することができる。
【００２１】
操作用トリガーボタン２４０は、コントローラ２１０のグリップ２３５を把持したときに、中指及び人差し指でトリガーを引くような操作を行うことを想定した位置に２４０ａ、２４０ｂとして配置される。コントローラ２１０の両側面から下方にリング状に形成されるフレーム２４５には、複数の赤外線ＬＥＤ２５０が備えられ、コントローラ２１０の外部に備えられるカメラ（図示せず）により、これらの赤外線ＬＥＤ２５０の位置を検出することで、特定の空間におけるコントローラ２１０の位置、向き及び傾きを検出することができる。
【００２２】
なお、赤外線ＬＥＤ２５０を省略し、コントローラ２１０の外部に配されるカメラによりコントローラ２１０の外観を撮影し、撮影画像を解析することにより、コントローラ２１０の位置、向き、傾きを検出することもできる。この場合、カメラからの画像をＨＭＤ１１０に送信してＨＭＤ１１０が画像解析を行うようにしてもよいし、ＨＭＤ１１０およびコントローラ２１０とは異なるコンピュータが画像解析を行い、解析結果をＨＭＤ１１０に送信するようにしてもよい。
【００２３】
また、コントローラ２１０は、コントローラ２１０の向きや傾きといった動きを検出するために、センサ２６０を内蔵することができる。センサ２６０として、図示しないが、たとえば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、コントローラ２１０の上面には、ジョイスティック２７０及びメニューボタン２８０を備えることができる。ジョイスティック２７０は、基準点を中心に３６０度方向に動かすことができ、コントローラ２１０のグリップ２３５を把持したときに、親指で操作されることが想定される。メニューボタン２８０もまた同様に、親指で操作されることが想定される。さらに、コントローラ２１０は、コントローラ２１０を操作するユーザの手に振動を与えるためのバイブレータ（図示せず）を内蔵することもできる。ボタンやジョイスティックを介したユーザの入力内容やセンサ等を介したコントローラ２１０の位置、向き及び傾きといった情報を出力するため、また、ホストコンピュータからの情報を受信するために、コントローラ２１０は、入出力部及び通信部を有する。
【００２４】
ユーザがコントローラ２１０を把持し、各種ボタンやジョイスティックを操作することの有無、及び赤外線ＬＥＤやセンサにより検出される情報によって、システムはユーザの手の動きや姿勢を決定し、仮想空間内において擬似的にユーザの手を表示させ、動作させることができる。
【００２５】
図５は、本実施形態に係るコントローラ２１０の機能構成図である。図４において述べたように、コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができるが、いずれのコントローラにおいても、操作用トリガーボタン２４０、ジョイスティック２７０、メニューボタン２８０といった操作部２４５を備えることができる。
【００２６】
また、コントローラ２１０は、コントローラ２１０の向きや傾きといった動きを検出するために、センサ２６０を内蔵することができる。センサ２６０として、図示しないが、たとえば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。
【００２７】
さらに、複数の赤外線ＬＥＤ２５０が備えられ、コントローラ外部に備えられるカメラ（図示せず）により、これらの赤外線ＬＥＤの位置を検出することで、特定の空間におけるコントローラ２１０の位置、向き及び傾きを検出するようにしてもよい。
【００２８】
コントローラ２１０は、たとえば、ＨＭＤ１１０や画像生成装置３１０等の周辺装置との有線による接続を確立するための入出力部２５５を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部２６５を備えることができる。ユーザにより操作部２４５を介して入力された、例えば、テキスト入力情報及びセンサ２６０によって取得されたコントローラ２１０の向きや傾きといった情報は、入出力部２５５および／または通信部２６５を介して画像生成装置３１０に送信される。
【００２９】
図６は、本実施形態に係る画像生成装置３１０の機能構成図である。画像生成装置３１０としては、ＨＭＤ１１０やコントローラ２１０から送信された、ユーザ入力情報やセンサ等により取得されたユーザの頭部動きやコントローラの動きや操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、ＰＣ、ゲーム機及び携帯通信端末等といった装置を使用することができる。画像生成装置３１０は、たとえば、ＨＭＤ１１０やコントローラ２１０等の周辺装置との有線による接続を確立するための入出力部３２０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部３３０を備えることができる。入出力部３２０および／または通信部３３０を介して、ＨＭＤ１１０および／またはコントローラ２１０から受信された、ユーザの頭部の動きやコントローラの動きや操作に関する情報は、制御部３４０において、ユーザの位置、視線、姿勢等の動作、発話、操作等を含めた入力内容として検出され、ユーザの入力内容に応じて、記憶部３５０に格納された制御プログラムを実行することで、キャラクタの制御を行い、画像を生成するといった処理がなされる。制御部３４０は、ＣＰＵで構成することもできるが、画像処理に特化したＧＰＵをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置３１０はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。
【００３０】
さらに、画像生成装置３１０の制御部３４０は、ＨＭＤ１１０および／またはコントローラ２１０から受信された、ユーザの頭部の動きやユーザの発話、また、コントローラ操作によるテキスト入力情報、及びコントローラの動きや操作に関する情報を検出する入力検出部６１０と、予め記憶部３５０のキャラクタデータ格納部６５０に格納されたキャラクタに対して、制御プログラム格納部に格納された制御プログラムを実行するキャラクタ制御部６２０と、キャラクタ制御に基づいて画像を生成する画像生成部６３０を有する。ここでキャラクタの動きの制御については、ＨＭＤ１１０やコントローラ２１０を介して検出されたユーザ頭部の向きや傾き、手の動きといった情報を、人間の身体の関節の動きや制約に則って作成されたボーン構造の各部の動きに変換し、予め格納されたキャラクタデータに対して、ボーン構造を関連付けることで、ボーン構造の動きを適用させることで実現される。また、制御部３４０は、ユーザの発話内容から音声を認識する音声認識部６４０及び認識した音声をテキストに変換するテキスト変換部６５０を有する。
【００３１】
記憶部３５０は、上述のキャラクタデータ格納部６５０に、キャラクタのイメージデータのほか、キャラクタの属性等キャラクタに関連する情報を格納する。また、制御プログラム格納部６７０は、仮想空間におけるキャラクタの動作や表情を制御するためのプログラムを格納する。ストリーミングデータ格納部６６０は、画像生成部６３０で生成された画像を格納する。
【００３２】
図７は、本実施形態に係るＨＭＤ１１０に表示される仮想空間の一例を示す図である。本実施形態では、仮想空間においてキャラクタ同士で音声会話を行うことを想定している。図７では、一例として、ユーザＡを表すキャラクタ７２０（Ａ）と、ユーザＡの対話の相手となるユーザＢを表すキャラクタ７２０（Ｂ）とが対面に配置されている仮想空間を示している。ユーザＡとユーザＢとは、キャラクタ７２０（Ａ）および７２０（Ｂ）を介して仮想的に音声会話を行う。なお、音声は、ユーザの生声をそのまま再生するようにしてのよいし、画像生成装置３１０において音声をテキストに変換し、変換したテキストに基づいて合成音声を作成して再生するようにしてもよい。
【００３３】
仮想空間においてキャラクタ７２０は、少なくとも胸部以上の部分が互いに視認可能な状態で配置される。キャラクタ７２０の目７２１は可動式であり、目７２１が動くことで、キャラクタ７２０の視線７２２が設定される。
【００３４】
本実施形態では、キャラクタ７２０の視線７２２は、コントローラ２１０の操作により設定される。本実施形態では、一例として、トリガーボタン２４０を押下しながらコントローラ２１０を傾けることにより、３軸方向のそれぞれの傾きに応じて視線７２２を設定するように制御されるものとしている。
【００３５】
ＨＭＤ１１０の表示パネル１２０には、ユーザの仮想の手（不図示）を仮想空間に表示してもよい。また、仮想の手からは３軸の傾きに応じたレイ（光線）を表示するようにしてもよい。この場合に、レイをポインタとして用いることが可能となり、トリガーボタン２４０を押下した場合には、レイが示す先にキャラクタ７２０の視線７２２を向けるようにすることもできる。さらに、レイが示す先を操作の対象としてもよい。たとえば、仮想空間においてレイが示す先に配置されているオブジェクト（たとえば、図７の例では、机の上に配置されているプリントなど）を操作対象として、その内容を表示パネル１２０に表示させることができる。この場合、ユーザはプリントの内容を読みながら会話を行うことになるところ、仮想空間のキャラクタ７２０の視線７２２が向いている先のオブジェクトに関する話題になるため、自然な雰囲気でキャラクタ７２０に会話をさせることができる。なお、ユーザからの指示に応じて、レイを他のユーザが視認できるように、画像生成装置３１０がレイを作成するようにしてもよい。
【００３６】
また、キャラクタ７２０の各部はＨＭＤ１１０およびコントローラ２１０の操作に連動させることができる。たとえば、ＨＭＤ１１０の向きおよび傾きに応じてキャラクタ７２０の頭部の向きおよび傾きを設定することができる。また、上述したように視線７２２を動かした場合に、その視線７２２に応じて頭部の向きおよび傾きを設定するようにしてもよい。
【００３７】
図８は、本実施形態に係るＨＭＤシステムにおける処理の流れを示す図である。
【００３８】
画像生成装置３１０の制御部３４０の入力検出部６１０は、ＨＭＤ１１０からの入力データ、例えば、ユーザの発話データを受信する（Ｓ１０１）。音声認識部６４０は、受信した発話データに基づいて音声を認識する。音声認識方法としては、例えば、予め発話データを学習データとして記録しておき、入力された発話データから抽出された特徴と学習データから抽出された特徴を比較して最も近い言語列を音声認識結果として出力する方法や、隠れマルコフモデル等を利用することが考えられる。
【００３９】
次に、画像生成装置３１０の制御部３４０のテキスト変換部６５０は、音声認識結果に基づいて、音声をテキストに変換する（Ｓ１０２）。
【００４０】
次に、画像生成装置３１０の画像生成部６３０は、変換されたテキストを含む画像を生成し、入出力部３２０又は通信部３３０を介して画像をユーザのＨＭＤに送信し、テキストはＨＭＤの表示パネルに出力され表示される（Ｓ１０３）。
【００４１】
以上説明したように、本実施形態に係るＨＭＤシステム３００によれば、仮想空間において、ユーザが発話した音声をテキストに変換し、表示することで、仮想空間内におけるユーザが演じるキャラクタ同士の会話に更なる利便性を提供することができる。
【００４２】
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【００４３】
たとえば、本実施形態では、ＨＭＤ１１０とコントローラ２１０とがそれぞれ画像生成装置３１０と通信を行うものとしたが、これに限らず、コントローラ２１０からの信号をＨＭＤ１１０に伝達し、ＨＭＤ１１０からコントローラ２１０を介した入力データを画像生成装置３１０に送信するようにしてもよい。また、スマートフォンなどのユーザ端末を介して、ＨＭＤ１１０およびコントローラ２１０からの入力データを送信するようにしてもよい。
【００４４】
また、本実施形態のＨＭＤシステム３００は、ＨＭＤ１１０を利用した仮想現実空間における会話システムを想定していたが、拡張現実空間や複合現実空間でも同様の処理を行うことができる。たとえば、ＨＭＴ１１０の外観をカメラ１６０により撮影し、その撮影画像を背景として、キャラクタ７２０を重畳表示させることもできる。
【００４５】
また、本実施形態では、ユーザはコントローラ２１０を介してテキスト入力を行う旨例示したが、これに限らず、例えば、スマートフォンのタッチパネルやキーボードにより直接入力を行う方法やハンドトラッキング手法を利用して仮想空間内のキーボードを操作して入力する方法等も考えられる。
【００４６】
（第２の実施形態）
以下、本発明の第２の実施形態について説明する。以下、特に言及される内容のほかは、本実施形態において実現される構成及び方法は、第１の実施形態と同等である。図９は、第２の実施形態に係る画像生成装置３１０の機能構成図である。本実施形態においては、第１の実施形態の画像生成装置３１０に対し、翻訳機能に関連する翻訳実行部６５５及び翻訳辞書格納部６９０を有する。
【００４７】
図１０は、第２の実施形態に係るＨＭＤシステムにおける処理の流れを示す図である。
【００４８】
画像生成装置３１０の制御部３４０の入力検出部６１０は、ＨＭＤ１１０からの入力データ、例えば、ユーザの発話データを受信する（Ｓ２０１）。音声認識部６４０は、受信した発話データに基づいて音声を認識する。音声認識方法としては、例えば、予め発話データを学習データとして記録しておき、入力された発話データから抽出された特徴と学習データから抽出された特徴を比較して最も近い言語列を音声認識結果として出力する方法や、隠れマルコフモデル等を利用することが考えられる。
【００４９】
次に、画像生成装置３１０の制御部３４０の翻訳実行部６５５は、音声認識結果に基づいて、翻訳辞書格納部６９０を参照し、翻訳を実行する（Ｓ２０２）。翻訳については、例えば、日本語で発話された内容を英語に翻訳したり、翻訳辞書格納部に格納される辞書の書類によっては、英語以外の他言語に翻訳することも可能である。
【００５０】
次に、画像生成装置３１０の画像生成部６３０は、変換された翻訳のテキストを含む画像を生成し、入出力部３２０又は通信部３３０を介して画像をユーザのＨＭＤに送信し、テキストはＨＭＤの表示パネルに出力され表示される（Ｓ２０３）。
【００５１】
以上説明したように、本実施形態に係るＨＭＤシステム３００によれば、仮想空間において、ユーザが発話した音声を他言語に翻訳し、表示することで、仮想空間内におけるユーザが演じるキャラクタ同士の会話に更なる利便性を提供することができる。
【００５２】
（第３の実施形態）
以下、本発明の第３の実施形態について説明する。以下、特に言及される内容のほかは、本実施形態において実現される構成及び方法は、第１の実施形態と同等である。図１１は、第３の実施形態に係る画像生成装置３１０の機能構成図である。本実施形態においては、第１の実施形態の画像生成装置３１０に対し、音声認識部６４０及びテキスト変換部６５０を有する代わりに、入力されたテキストを音声化するための音声合成部６４５を有する。
【００５３】
図１２は、第３の実施形態に係るＨＭＤシステムにおける処理の流れを示す図である。
【００５４】
画像生成装置３１０の制御部３４０の入力検出部６１０は、ＨＭＤ１１０またはコントローラ２１０からの入力データ、例えば、テキストデータを受信する（Ｓ３０１）。
【００５５】
次に、画像生成装置３１０の制御部３４０の音声合成部６４５は、入力されたテキストデータに基づいて、テキストに対応する音声を生成する（Ｓ３０２）。音声合成は、所定のアルゴリズムによって、テキストに対応する音声を（図示しない）音源から抽出することで実現される。
【００５６】
次に、画像生成装置３１０の音声合成部６４５は、生成された音声を、入出力部３２０又は通信部３３０を介して画像とともにユーザのＨＭＤに送信し、音声はＨＭＤのスピーカを通じて出力され、画像は表示パネルに出力され表示される（Ｓ３０３）。
【００５７】
以上説明したように、本実施形態に係るＨＭＤシステム３００によれば、仮想空間において、ユーザが入力したテキストを音声化し、出力することで、仮想空間内におけるユーザが演じるキャラクタ同士の会話に更なる利便性を提供することができる。
【００５８】
（第４の実施形態）
以下、本発明の第４の実施形態について説明する。以下、特に言及される内容のほかは、本実施形態において実現される構成及び方法は、第１の実施形態と同等である。図１３は、第４の実施形態に係る画像生成装置３１０の機能構成図である。本実施形態においては、第１の実施形態の画像生成装置３１０に対し、ユーザの入力内容に対する回答を生成するための回答生成部６８５及び回答について音声を生成するための音声合成部６４５を有する。
【００５９】
図１４は、第４の実施形態に係るＨＭＤシステムにおける処理の流れを示す図である。
【００６０】
画像生成装置３１０の制御部３４０の入力検出部６１０は、ＨＭＤ１１０からの入力データ、例えば、ユーザの発話データを受信する（Ｓ４０１）。音声認識部６４０は、受信した発話データに基づいて音声を認識する。音声認識方法としては、例えば、予め発話データを学習データとして記録しておき、入力された発話データから抽出された特徴と学習データから抽出された特徴を比較して最も近い言語列を音声認識結果として出力する方法や、隠れマルコフモデル等を利用することが考えられる。
【００６１】
次に、画像生成装置３１０の制御部３４０のテキスト変換部６５０は、音声認識結果に基づいて、音声をテキストに変換する（Ｓ４０２）。
【００６２】
次に、画像生成装置３１０の制御部３４０の回答生成部６８５は、変換されたテキストデータに基づいて、ユーザに対する回答を生成する（Ｓ４０３）。ここで、回答生成に際しては、（図示しない）質問／回答テーブルを参照し、質問のテキストデータに対応する回答テキストを抽出する方法、（図示しない）会話テーブルを参照し、所定の発話に対する応答テキストを抽出する方法、または、仮想現実空間におけるユーザ間の会話の履歴をテキストデータとして予め記憶しておき、所定の質問／発話に対応する回答／応答に関する学習モデルを生成し、学習モデルを参照して回答／応答テキストを抽出する方法等が考えられる。
【００６３】
次に、画像生成装置３１０の音声合成６４５は、変換されたテキストに対応する音声を生成する（Ｓ４０４）。
【００６４】
次に、画像生成装置３１０の音声合成部６４５は、生成された音声を、入出力部３２０又は通信部３３０を介して画像とともにユーザのＨＭＤに送信し、音声はＨＭＤのスピーカを通じて出力され、画像は表示パネルに出力され表示される（Ｓ４０５）。
【００６５】
以上説明したように、本実施形態に係るＨＭＤシステム３００によれば、仮想空間において、ユーザ双方が会話をしなくても、一方のユーザの発話内容を基に他方のユーザの回答内容を生成し、会話を楽しむかのような感覚を得られることができる。これにより、仮想空間内におけるユーザが演じるキャラクタ同士の会話に更なる利便性を提供することができる。
【符号の説明】
【００６６】
１１０  ＨＭＤ
１２０  表示パネル
１３０  筐体部
１４０  センサ
１５０  光源
１６０  カメラ
１７０  マイク
１８０  ヘッドフォン
２１０  コントローラ
２２０  左手用コントローラ
２３０  右手用コントローラ
２３５  グリップ
２４０  操作用トリガーボタン
２５０  赤外線ＬＥＤ
２６０  センサ
２７０  ジョイスティック
２８０  メニューボタン
３００  ＨＭＤシステム
３１０  画像生成装置
【図１】
2020113095.tif 000003
【図２】
2020113095.tif 000004
【図３】
2020113095.tif 000005
【図４】
2020113095.tif 000006
【図５】
2020113095.tif 000007
【図６】
2020113095.tif 000008
【図７】
2020113095.tif 000009
【図８】
2020113095.tif 000010
【図９】
2020113095.tif 000011
【図１０】
2020113095.tif 000012
【図１１】
2020113095.tif 000013
【図１２】
2020113095.tif 000014
【図１３】
2020113095.tif 000015
【図１４】
2020113095.tif 000016