(57)【特許請求の範囲】
【請求項１】
ユーザが音入力装置を用いて入力したユーザ音声の情報と、前記ユーザに対応する仮想空間の仮想ユーザの視点位置及び視線方向の情報を取得する入力処理部と、
前記ユーザ音声の測定処理を行う測定処理部と、
前記ユーザ音声の入力に対して、前記ユーザ音声とは異なる応答音声又は応答音の出力処理を行う音処理部と、
前記仮想空間の設定処理を行う仮想空間設定部と、
前記仮想空間において前記仮想ユーザの視点から見える画像を生成して、前記ユーザが装着する頭部装着型表示装置の表示部に表示する処理を行う表示処理部と、
を含み、
前記測定処理部は、
前記ユーザ音声の音量及び長さの測定処理を行い、
前記音処理部は、
前記ユーザ音声の音量及び長さの測定処理の結果に基づく前記応答音声又は前記応答音を、前記仮想空間における前記ユーザのターゲットの音声又は音として出力する処理を行い、
前記音処理部は、
前記仮想空間において前記仮想ユーザが視線方向を向けた前記ターゲットの種類、及び前記仮想空間での前記ターゲットに対する前記仮想ユーザの視線方向の少なくとも１つに応じて、前記応答音声又は前記応答音を変化させる処理を行うことを特徴とするシミュレーションシステム。
【請求項２】
請求項１において、
前記音処理部は、
前記ユーザ音声の入力を受け付けるか否かを、前記音入力装置と前記頭部装着型表示装置との距離、或いは前記音入力装置が前記頭部装着型表示装置の方を向いているか否かに応じて判断することを特徴とするシミュレーションシステム。
【請求項３】
請求項１又は２において、
前記音処理部は、
前記仮想空間において前記仮想ユーザが視線方向を前記ターゲットに向けて注視しているか否かに応じて、前記応答音声又は前記応答音を変化させる処理を行うことを特徴とするシミュレーションシステム。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記音処理部は、
前記頭部装着型表示装置の位置と前記音声入力装置の位置に基づいて前記ユーザの姿勢を検出し、検出された前記ユーザの姿勢に応じて、前記応答音声又は前記応答音を変化させる処理を行うことを特徴とするシミュレーションシステム。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記音処理部は、
前記ユーザ音声の音量及び長さに応じて、前記応答音声又は前記応答音を異ならせる処理を行うことを特徴とするシミュレーションシステム。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記測定処理部は、
前記ユーザ音声の音量が、前記第１〜第Ｎの音量レベルのうちの第ｉの音量レベル（１≦ｉ≦Ｎ）を越えたタイミングから、前記第ｉの音量レベルを下回ったタイミングまでの長さを測定し、
前記音処理部は、
測定された前記長さに応じて、前記応答音声又は前記応答音を異ならせる処理を行うことを特徴とするシミュレーションシステム。
【請求項７】
請求項６において、
前記音処理部は、
前記ユーザ音声の音量が、前記第ｉの音量レベルを越えた場合と、前記第１〜第Ｎの音量レベルのうちの第ｊ（１≦ｉ＜ｊ≦Ｎ）の音量レベルを越えた場合とで、前記応答音声又は前記応答音を異ならせる処理を行うことを特徴とするシミュレーションシステム。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記ターゲットは、ゲームに登場する観客のキャラクタであることを特徴とするシミュレーションシステム。
【請求項９】
請求項１乃至８のいずれかにおいて、
前記測定処理部は、
前記ユーザ音声の特徴量の解析処理を行い、前記音処理部は、前記ユーザ音声の前記特徴量の解析処理の結果に応じて、前記応答音声又は前記応答音を変化させる処理を行うことを特徴とするシミュレーションシステム。
【請求項１０】
請求項１乃至９のいずれかにおいて、
前記音処理部は、
前記ユーザが手に持つ前記音入力装置の位置、方向、前記手の位置、方向、前記ユーザが装着する前記頭部装着型表示装置の位置、方向、前記ユーザの姿勢、及び前記ユーザの視線の少なくとも１つに応じて、前記応答音声又は前記応答音を変化させる処理、或いは前記応答音声又は前記応答音を出力する処理、或いは前記応答音声又は前記応答音を出力させるための前記ユーザ音声の入力を受け付ける処理を行うことを特徴とするシミュレーションシステム。
【請求項１１】
請求項１乃至１０のいずれかにおいて、
前記音処理部は、
前記ユーザの過去のプレイ履歴情報に基づいて、前記応答音声又は前記応答音を変化させる処理を行うことを特徴とするシミュレーションシステム。
【請求項１２】
請求項１乃至１１のいずれかにおいて、
音データを記憶する音データ記憶部を含み、
前記音処理部は、
前記音データ記憶部に記憶される複数の音データの中から使用する音データを選択する処理、或いは複数の音データを組み合わせる処理を行うことで、前記応答音声又は前記応答音の出力処理を行うことを特徴とするシミュレーションシステム。
【請求項１３】
請求項１乃至１２のいずれかにおいて、
前記入力処理部は、
前記ユーザ音声に対する評価処理が行われる評価期間においては、前記応答音声又は前記応答音を出力させるための前記ユーザ音声の入力を受け付けず、前記評価期間以外の期間において、前記応答音声又は前記応答音を出力させるための前記ユーザ音声の入力を受け付けることを特徴とするシミュレーションシステム。
【請求項１４】
請求項１乃至１３のいずれかに記載のシミュレーションシステムと、
前記音入力装置と、
前記頭部装着型表示装置と、
を含むことを特徴とするシミュレーション装置。
【請求項１５】
ユーザが音入力装置を用いて入力したユーザ音声の情報と、前記ユーザに対応する仮想空間の仮想ユーザの視点位置及び視線方向の情報を取得する入力処理部と、
前記ユーザ音声の測定処理を行う測定処理部と、
前記ユーザ音声の入力に対して、前記ユーザ音声とは異なる応答音声又は応答音の出力処理を行う音処理部と、
前記仮想空間の設定処理を行う仮想空間設定部と、
前記仮想空間において前記仮想ユーザの視点から見える画像を生成して、前記ユーザが装着する頭部装着型表示装置の表示部に表示する処理を行う表示処理部として、
コンピュータを機能させ、
前記測定処理部は、
前記ユーザ音声の音量及び長さの測定処理を行い、
前記音処理部は、
前記ユーザ音声の音量及び長さの測定処理の結果に基づく前記応答音声又は前記応答音を、前記仮想空間における前記ユーザのターゲットの音声又は音として出力する処理を行い、
前記音処理部は、
前記仮想空間において前記仮想ユーザが視線方向を向けた前記ターゲットの種類、及び前記仮想空間での前記ターゲットに対する前記仮想ユーザの視線方向の少なくとも１つに応じて、前記応答音声又は前記応答音を変化させる処理を行うことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、シミュレーションシステム、シミュレーション装置及びプログラム等に関する。
【背景技術】
【０００２】
従来より、サッカーゲームや野球ゲームにおいて観客を登場させ、当該観客により、チームに対して声援を行わせるようなゲームシステムが知られている。このようなゲームシステムの従来技術としては、例えば特許文献１に開示される技術がある。また音声入力部を設け、音声入力部により入力された音声を認識することで、キャラクタの動作を指示して、ゲームを進行させるようなゲームシステムが知られている。このようなゲームシステムの従来技術としては、例えば特許文献２に開示される技術がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−４２１６４公報
【特許文献２】特開２００１−２２４８５１公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら特許文献１の従来技術では、ゲーム画像において観客席に観客の画像が表示されるだけであり、ユーザが入力したユーザ音声に対して当該観客が応答するようなシステムについては提案されていない。また特許文献２の従来技術では、ユーザが入力したユーザ音声に基づいてキャラクタの動作を指示できるだけであり、当該キャラクタが、ユーザ音声に対して、応答音声や応答音などで応答することはなかった。
【０００５】
本発明の幾つかの態様によれば、ユーザ音声の入力に対して適切な応答音声又は応答音を出力できるシミュレーションシステム及びプログラム等を提供できる。
【課題を解決するための手段】
【０００６】
本発明の一態様は、ユーザが音入力装置を用いて入力したユーザ音声の情報を取得する入力処理部と、前記ユーザ音声の測定処理を行う測定処理部と、前記ユーザ音声の入力に対して、前記ユーザ音声とは異なる応答音声又は応答音の出力処理を行う音処理部と、を含み、前記測定処理部は、前記ユーザ音声の音量及び長さの測定処理を行い、前記音処理部は、前記ユーザ音声の音量及び長さの測定処理の結果に基づく前記応答音声又は前記応答音の出力処理を行うシミュレーションシステムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【０００７】
本発明の一態様によれば、ユーザが音入力装置を用いてユーザ音声を入力すると、当該ユーザ音声の入力に対して、ユーザ音声とは異なる応答音声又は応答音が出力される。即ち、ユーザ音声の入力に応答して、応答音声又は応答音が出力される。この場合に本発明の一態様では、入力されたユーザ音声の音量及び長さの測定処理が行われ、測定処理の結果に基づく応答音声又は応答音が出力されるようになる。このようにすれば、ユーザ音声の入力に対応して出力される応答音声又は応答音に、当該ユーザ音声の音量及び長さの測定処理の結果を反映させることができる。従って、ユーザ音声の入力に対して適切な応答音声又は応答音を出力できるシミュレーションシステム等の提供が可能になる。
【０００８】
また本発明の一態様では、前記音処理部は、前記ユーザ音声の音量及び長さに応じて、前記応答音声又は前記応答音を異ならせる処理を行ってもよい。
【０００９】
このようにすれば、ユーザ音声の音量や長さに応じて、応答音声又は応答音が異なる音になり、ユーザ音声に対応した、より適切な応答音声又は応答音を出力できるようになる。
【００１０】
また本発明の一態様では、前記測定処理部は、前記ユーザ音声の音量が、前記第１〜第Ｎの音量レベルのうちの第ｉの音量レベル（１≦ｉ≦Ｎ）を越えたタイミングから、前記第ｉの音量レベルを下回ったタイミングまでの長さを測定し、前記音処理部は、測定された前記長さに応じて、前記応答音声又は前記応答音を異ならせる処理を行ってもよい。
【００１１】
このようにすれば、ユーザ音声の音量や長さを、負荷の少ない処理で測定できるようになるため、処理負荷の軽減化を図れる。
【００１２】
また本発明の一態様では、前記音処理部は、前記ユーザ音声の音量が、前記第ｉの音量レベルを越えた場合と、前記第１〜第Ｎの音量レベルのうちの第ｊ（１≦ｉ＜ｊ≦Ｎ）の音量レベルを越えた場合とで、前記応答音声又は前記応答音を異ならせる処理を行ってもよい。
【００１３】
このようにすれば、ユーザ音声の音量が第ｉの音量レベルを越えた場合と第ｊの音量レベルを越えた場合とで、出力される応答音声又は応答音を異ならせることが可能になり、負荷の少ない処理で、適切な応答音声又は応答音を出力できるようになる。
【００１４】
また本発明の一態様では、前記音処理部は、前記応答音声又は前記応答音を、ゲームにおける前記ユーザのターゲットの音声又は音として出力する処理を行ってもよい。
【００１５】
このようにすれば、ユーザが音入力装置を用いてユーザ音声を入力すると、そのユーザ音声の入力に対する応答音声又は応答音を、ゲームにおけるユーザのターゲットの音声又は音として出力できるようになる。
【００１６】
また本発明の一態様では、前記ターゲットは、ゲームに登場する観客のキャラクタであってもよい。
【００１７】
このようにすれば、ゲームに登場する観客の歓声等を応答音声又は応答音として出力できるようになる。
【００１８】
また本発明の一態様では、前記音処理部は、前記ターゲットの種類、前記ターゲットと前記ユーザとの位置関係、及び前記ターゲットに対する前記ユーザの視線方向の少なくとも１つに応じて、前記応答音声又は前記応答音を変化させる処理を行ってもよい。
【００１９】
このようにすれば、ターゲットの種類やターゲットとの位置関係やターゲットに対するユーザの視線方向に応じて、応答音声又は応答音が変化するようになり、ユーザ音声の入力に対して、より適切な応答音声又は応答音を出力できるようになる。
【００２０】
また本発明の一態様では、前記測定処理部は、前記ユーザ音声の特徴量の解析処理を行い、前記音処理部は、前記ユーザ音声の前記特徴量の解析処理の結果に応じて、前記応答音声又は前記応答音を変化させる処理を行ってもよい。
【００２１】
このようにすれば、ユーザ音声の入力に対して、ユーザ音声の特徴を反映させた応答音声又は応答音を出力できるようになる。
【００２２】
また本発明の一態様では、前記音処理部は、前記ユーザが手に持つ前記音入力装置の位置、方向、前記手の位置、方向、前記ユーザが装着する頭部装着型表示装置の位置、方向、前記ユーザの姿勢、及び前記ユーザの視線の少なくとも１つに応じて、前記応答音声又は前記応答音を変化させる処理、或いは前記応答音声又は前記応答音を出力する処理、或いは前記応答音声又は前記応答音を出力させるための前記ユーザ音声の入力を受け付ける処理を行ってもよい。
【００２３】
このようにすれば、音入力装置の位置や方向、手の位置や方向、頭部装着型表示装置の位置や方向、ユーザの姿勢、或いはユーザの視線などに応じて、応答音声又は応答音を様々に変化させたり、応答音声又は応答音の出力タイミング等を制御したり、ユーザ音声の入力を受け付けるか否かの判断を行ったりすることなどが可能になる。
【００２４】
また本発明の一態様では、前記音処理部は、前記ユーザの過去のプレイ履歴情報に基づいて、前記応答音声又は前記応答音を変化させる処理を行ってもよい。
【００２５】
このようにすれば、プレーヤの過去のプレイ履歴を反映させた応答音声又は応答音を出力できるようになる。
【００２６】
また本発明の一態様では、音データを記憶する音データ記憶部を含み、前記音処理部は、前記音データ記憶部に記憶される複数の音データの中から使用する音データを選択する処理、或いは複数の音データを組み合わせる処理を行うことで、前記応答音声又は前記応答音の出力処理を行ってもよい。
【００２７】
このようにすれば、複数の音データの中からの音データの選択処理や、音データを組み合わせる処理により、適切な応答音声又は応答音を出力できるようになる。
【００２８】
また本発明の一態様では、前記入力処理部は、前記ユーザ音声に対する評価処理が行われる評価期間以外の期間において、前記応答音声又は前記応答音を出力させるための前記ユーザ音声の入力を受け付けてもよい。
【００２９】
このようにすれば、応答音声又は応答音を出力させるユーザ音声の入力が、ユーザ音声に対する評価処理に対して悪影響を及ぼす事態等を防止することが可能になる。
【００３０】
また本発明の他の態様は、ユーザが音入力装置を用いて入力したユーザ音声の情報を取得する入力処理部と、前記ユーザ音声の入力に対して、前記ユーザ音声とは異なる応答音声又は応答音の出力処理を行う音処理部と、を含み、前記入力処理部は、前記ユーザ音声に対する評価処理が行われる評価期間以外の期間において、前記応答音声又は前記応答音を出力させるための前記ユーザ音声の入力を受け付けるシミュレーションシステムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【００３１】
本発明の他の態様によれば、ユーザが音入力装置を用いてユーザ音声を入力すると、当該ユーザ音声の入力に対して、ユーザ音声とは異なる応答音声又は応答音が出力される。この場合に本発明の一態様では、ユーザ音声に対する評価処理が行われる評価期間以外の期間で、このような応答音声又は応答音を出力させるユーザ音声の入力が受け付けられる。従って、当該ユーザ音声の入力が、ユーザ音声に対する評価処理に対して悪影響を及ぼす事態等を防止できるようになる。
【図面の簡単な説明】
【００３２】
【図１】本実施形態のシミュレーションシステムの構成例を示すブロック図。
【図２】図２（Ａ）、図２（Ｂ）は本実施形態に用いられるＨＭＤの一例。
【図３】図３（Ａ）、図３（Ｂ）は本実施形態に用いられるＨＭＤの他の例。
【図４】プレイエリアである個室の説明図。
【図５】プレイエリアである個室の説明図。
【図６】本実施形態により生成されるゲーム画像の例。
【図７】本実施形態により生成されるゲーム画像の例。
【図８】ステージでのユーザ（仮想ユーザ）の移動についての説明図。
【図９】ユーザ音声の入力に対して応答音声、応答音で応答させる手法の説明図。
【図１０】ユーザ音声の音量及び長さに応じて応答音声、応答音を異ならせる手法の説明図。
【図１１】図１１（Ａ）、図１１（Ｂ）はユーザ音声の音量及び長さに応じて応答音声、応答音を異ならせる処理の具体例。
【図１２】応答音声、応答音の出力タイミングについての説明図。
【図１３】図１３（Ａ）、図１３（Ｂ）はターゲットである観客の種類に応じて応答音声、応答音を変化させる手法の説明図。
【図１４】図１４（Ａ）、図１４（Ｂ）は観客とユーザの位置関係に応じて応答音声、応答音を変化させる手法の説明図。
【図１５】観客に対するユーザの視線方向に応じて応答音声、応答音を変化させる手法の説明図。
【図１６】図１６（Ａ）、図１６（Ｂ）はユーザ音声の特徴量の解析処理の結果に応じて応答音声、応答音を変化させる手法の説明図。
【図１７】マイク（手）の位置、方向、ＨＭＤの位置、方向、ユーザの姿勢、ユーザの視線に応じて応答音声、応答音を変化させる手法の説明図。
【図１８】図１８（Ａ）、図１８（Ｂ）はユーザのプレイ履歴に応じて応答音声、応答音を変化させる手法の説明図。
【図１９】図１９（Ａ）、図１９（Ｂ）は音データの選択処理や音データの組合わせ処理による応答音声、応答音の出力処理の説明図。
【図２０】図２０（Ａ）、図２０（Ｂ）はユーザの歌の評価処理についての説明図。
【図２１】歌の評価期間以外の期間において、Ｃ＆Ｒ用のユーザ音声入力を受け付ける手法の説明図。
【図２２】本実施形態の処理例を示すフローチャート。
【発明を実施するための形態】
【００３３】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００３４】
１．構成
図１に本実施形態のシミュレーションシステム（ゲームシステム、映像表示システム、シミュレーション装置）の構成例を示す。なお、本実施形態のシミュレーションシステムは図１の構成に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００３５】
入力装置１６０は、ユーザが種々の入力情報を入力するための装置である。この入力装置１６０は、音入力装置１６１、振動デバイス１６４を含むことができる。また入力装置１６０は、ユーザがゲームの操作情報を入力するためのゲームコントローラの機能を有していてもよい。ゲームコントローラは、例えば操作ボタン、方向指示キー、ジョイスティック又はレバー等により実現される。この場合にゲームコントローラと音入力装置１６１は、一体の筐体で実現してもよいし、別体の筐体で実現してもよい。
【００３６】
音入力装置１６１は、ユーザが音情報を入力するための装置である。音入力装置１６１により、例えばユーザの歌声や呼び声や掛け声などのユーザ音声を入力できる。この音入力装置１６１は例えば図２（Ａ）で説明するマイク１６２などにより実現できる。なお音入力装置１６１の形状は図２（Ａ）のような形状のマイク１６２には限定されず、例えばヘッドバンドを有するヘッドセット型マイクや小型マイクなどの種々のタイプのものを用いることができる。また音入力装置１６１は、楽器或いは楽器を模した装置における音の入力装置（ピックアップマイク等）であってもよい。楽器としては、弦楽器（ギター）、打楽器（ドラム、太鼓）、或いは鍵盤楽器（ピアノ、キーボード）などがある。
【００３７】
振動デバイス１６４（振動発生部）は、警告等のための振動を発生するデバイスであり、例えば振動モータ（バイブレータ）などにより実現される。振動モータは、例えば、偏芯した錘を回転させることで振動を発生する。具体的には駆動軸の両端に偏心した錘を取り付けてモータ自体が揺れるようにする。なお振動デバイス１６４は、振動モータには限定されず、例えばピエゾ素子などにより実現されるものであってもよい。
【００３８】
記憶部１７０は各種の情報を記憶する。記憶部１７０は、処理部１００や通信部１９６などのワーク領域として機能する。ゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。記憶部１７０の機能は、半導体メモリ（ＤＲＡＭ、ＶＲＡＭ）、ＨＤＤ（ハードディスクドライブ）、ＳＤＤ、光ディスク装置などにより実現できる。記憶部１７０は、空間情報記憶部１７２、楽曲情報記憶部１７４、音データ記憶部１７５、パラメータ記憶部１７６、描画バッファ１７８を含む。
【００３９】
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＢＤ、ＣＤ）、ＨＤＤ、或いは半導体メモリ（ＲＯＭ）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（入力装置、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００４０】
頭部装着型表示装置２００（ＨＭＤ）は、ユーザの頭部に装着されて、ユーザの眼前に画像を表示する装置である。ＨＭＤ２００は非透過型であることが望ましいが、透過型であってもよい。またＨＭＤ２００は、いわゆるメガネタイプのＨＭＤであってもよい。
【００４１】
ＨＭＤ２００は、センサ部２１０、表示部２２０、処理部２４０を含む。なおＨＭＤ２００に発光素子を設ける変形実施も可能である。センサ部２１０は、例えばヘッドトラッキングなどのトラッキング処理を実現するためものである。例えばセンサ部２１０を用いたトラッキング処理により、ＨＭＤ２００の位置、方向を特定する。ＨＭＤ２００の位置、方向を特定することで、ユーザの位置、方向を特定できる。ユーザの位置、方向により、ユーザ（プレーヤ）に対応する仮想空間の仮想ユーザ（仮想プレーヤ）の位置、方向が特定される。ユーザの位置、方向は例えばユーザの視点位置、視線方向である。仮想ユーザの位置、方向は例えば仮想ユーザの視点位置、視線方向である。
【００４２】
トラッキング方式としては種々の方式を採用できる。トラッキング方式の一例である第１のトラッキング方式では、後述の図２（Ａ）、図２（Ｂ）で詳細に説明するように、センサ部２１０として複数の受光素子（フォトダイオード等）を設ける。そして外部に設けられた発光素子（ＬＥＤ等）からの光（レーザー等）をこれらの複数の受光素子により受光することで、現実世界の３次元空間でのＨＭＤ２００（ユーザの頭部）の位置、方向を特定する、第２のトラッキング方式では、後述の図３（Ａ）、図３（Ｂ）で詳細に説明するように、複数の発光素子（ＬＥＤ）をＨＭＤ２００に設ける。そして、これらの複数の発光素子からの光を、外部に設けられた撮像部で撮像することで、ＨＭＤ２００の位置、方向を特定する。第３のトラッキング方式では、センサ部２１０としてモーションセンサを設け、このモーションセンサを用いてＨＭＤ２００の位置、方向を特定する。モーションセンサは例えば加速度センサやジャイロセンサなどにより実現できる。例えば３軸の加速度センサと３軸のジャイロセンサを用いた６軸のモーションセンサを用いることで、現実世界の３次元空間でのＨＭＤ２００の位置、方向を特定できる。なお、第１のトラッキング方式と第２のトラッキング方式の組合わせ、或いは第１のトラッキング方式と第３のトラッキング方式の組合わせなどにより、ＨＭＤ２００の位置、方向を特定してもよい。
【００４３】
ＨＭＤ２００の表示部２２０は例えば液晶ディスプレイ（ＬＣＤ）や有機ＥＬディスプレイなどにより実現できる。例えばＨＭＤ２００には、表示部２２０として、ユーザの左目の前に配置される第１のディスプレイと、右目の前に配置される第２のディスプレイが設けられており、例えば立体視表示が可能になっている。立体視表示を行う場合には、例えば視差が異なる左目用画像と右目用画像を生成し、第１のディスプレイに左目用画像を表示し、第２のディスプレイに右目用画像を表示すればよい。
【００４４】
ＨＭＤ２００の処理部２４０は、ＨＭＤ２００において必要な各種の処理を行う。例えば処理部２４０は、センサ部２１０の制御処理や表示部２２０の表示制御処理などを行う。また処理部２４０が、３次元音響（立体音響）処理を行って、３次元的な音の方向や距離や広がりの再現を実現してもよい。
【００４５】
音出力部１９２は、本実施形態により生成された音を出力するものであり、例えばスピーカ又はヘッドホン等により実現できる。
【００４６】
Ｉ／Ｆ（インターフェース）部１９４は、携帯型情報記憶媒体１９５とのインターフェース処理を行うものであり、その機能はＩ／Ｆ処理用のＡＳＩＣなどにより実現できる。携帯型情報記憶媒体１９５は、ユーザが各種の情報を保存するためのものであり、電源が非供給になった場合にもこれらの情報の記憶を保持する記憶装置である。携帯型情報記憶媒体１９５は、ＩＣカード（メモリカード）、ＵＳＢメモリ、或いは磁気カードなどにより実現できる。
【００４７】
通信部１９６は、有線や無線のネットワークを介して外部（他の装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
【００４８】
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０、補助記憶装置１９４）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本発明の範囲内に含めることができる。
【００４９】
処理部１００（プロセッサ）は、入力装置１６０からの入力情報やＨＭＤ２００でのトラッキング情報（ＨＭＤの位置、方向、或いは視点位置、視線方向）と、プログラムなどに基づいて、ゲーム処理、ゲーム成績演算処理、表示処理、或いは音処理などを行う。
【００５０】
処理部１００の各部が行う本実施形態の各処理（各機能）はプロセッサ（ハードウェアを含むプロセッサ）により実現できる。例えば本実施形態の各処理は、プログラム等の情報に基づき動作するプロセッサと、プログラム等の情報を記憶するメモリにより実現できる。プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。但し、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Processing Unit）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路であってもよい。メモリ（記憶部１７０）は、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリであってもよいし、レジスターであってもよい。或いはハードディスク装置（ＨＤＤ）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部１００の各部の処理（機能）が実現されることになる。ここでの命令は、プログラムを構成する命令セットでもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
【００５１】
処理部１００は、入力処理部１０２、演算処理部１１０、出力処理部１４０を含む。演算処理部１１０は、ゲーム処理部１１１、ゲーム成績演算部１１８、測定処理部１１９、表示処理部１２０、音処理部１３０を含む。上述したように、これらの各部により実行される本実施形態の各処理は、プロセッサ（或いはプロセッサ及びメモリ）により実現できる。なお、これらの構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００５２】
入力処理部１０２（入力処理のプログラムモジュール）は、入力情報やトラッキング情報を受け付ける処理や、記憶部１７０から情報を読み出す処理や、通信部１９６を介して情報を受信する処理を、入力処理として行う。例えば入力処理部１０２は、入力装置１６０を用いてユーザが入力した入力情報やＨＭＤ２００のセンサ部２１０等により検出されたトラッキング情報（ユーザの位置、方向又は視線の情報等）を取得する処理や、読み出し命令で指定された情報を、記憶部１７０から読み出す処理や、外部装置（サーバ等）からネットワークを介して情報を受信する処理を、入力処理として行う。ここで受信処理は、通信部１９６に情報の受信を指示したり、通信部１９６が受信した情報を取得して記憶部１７０に書き込む処理などである。
【００５３】
演算処理部１１０は、各種の演算処理を行う。例えばゲーム処理、ゲーム成績演算処理、表示処理、或いは音処理などの演算処理を行う。
【００５４】
ゲーム処理部１１１（ゲーム処理のプログラムモジュール）はユーザがゲームをプレイするための種々のゲーム処理を行う。ゲーム処理部１１１は、ゲーム進行処理部１１２、評価処理部１１３、キャラクタ処理部１１４、パラメータ処理部１１５、オブジェクト空間設定部１１６、仮想カメラ制御部１１７を含む。
【００５５】
ゲーム進行処理部１１２は、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などを行う。評価処理部１１３は、ユーザのゲームプレイの評価処理を行う。例えば音楽ゲームでのユーザの演奏や、ゲーム操作についての評価処理を行う。音楽ゲームに使用される楽曲情報は楽曲情報記憶部１７４に記憶される。
【００５６】
キャラクタ処理部１１４は、キャラクタに関する種々の処理を行う。例えばオブジェクト空間（仮想空間、ゲーム空間）においてキャラクタを移動させる処理や、キャラクタを動作させる処理を行う。例えばキャラクタを動作させる処理は、モーションデータを用いたモーション処理（モーション再生等）により実現できる。パラメータ処理部１１５は、ゲームに使用される種々のパラメータ（ゲームパラメータ）の演算処理を行う。例えばパラメータの値を増減させる処理を行う。パラメータの情報はパラメータ記憶部１７６に記憶される。
【００５７】
オブジェクト空間設定部１１６は、複数のオブジェクトが配置されるオブジェクト空間（広義には仮想空間）の設定処理を行う。例えば、キャラクタ（人、動物、ロボット等）、マップ（地形）、建物、観客席、コース（道路）、樹木、壁、水面などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０の空間情報記憶部１７２には、オブジェクト空間での複数のオブジェクト（パーツオブジェクト）の位置、回転角度（方向）等の情報が空間情報として記憶される。オブジェクト空間設定部１１６は、例えば各フレーム毎にこの空間情報を更新する処理などを行う。
【００５８】
仮想カメラ制御部１１７は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点、基準仮想カメラ）の制御処理を行う。具体的には、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。この仮想カメラはユーザの視点に相当する。立体視表示の場合は、左目用の第１の視点（左目用の第１の仮想カメラ）と、右目用の第２の視点（右目用の第２の仮想カメラ）が設定される。
【００５９】
ゲーム成績演算部１１８はユーザのゲーム成績を演算する処理を行う。例えばユーザのゲームプレイにより獲得された得点、ポイントなどのゲーム成績の演算処理を行う。
【００６０】
測定処理部１１９は音に関する種々の測定処理を行う。例えば音入力装置１６１により入力されたユーザ音声の測定処理を行う。
【００６１】
表示処理部１２０（表示処理のプログラムモジュール）は、ゲーム画像の表示処理を行う。例えば処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、ＨＭＤ２００の表示部２２０に表示する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７８（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において仮想カメラ（所与の視点。左目用、右目用の第１、第２の視点）から見える画像が生成される。なお、表示処理部１２０で行われる描画処理は、頂点シェーダ処理やピクセルシェーダ処理等により実現することができる。
【００６２】
音処理部１３０（音処理のプログラムモジュール）は、処理部１００で行われる種々の処理の結果に基づいて音処理を行う。具体的には、楽曲（音楽、ＢＧＭ）、効果音、又は音声などのゲーム音を生成し、ゲーム音を音出力部１９２に出力させる。ゲーム中に出力（再生）される音のデータは音データ記憶部１７５に記憶される。なお音処理部１３０の音処理の一部（例えば３次元音響処理）を、ＨＭＤ２００の処理部２４０により実現してもよい。
【００６３】
出力処理部１４０は各種の情報の出力処理を行う。例えば出力処理部１４０は、記憶部１７０に情報を書き込む処理や、通信部１９６を介して情報を送信する処理を、出力処理として行う。例えば出力処理部１４０は、書き込み命令で指定された情報を、記憶部１７０に書き込む処理や、外部の装置（サーバ等）に対してネットワークを介して情報を送信する処理を行う。送信処理は、通信部１９６に情報の送信を指示したり、送信する情報を通信部１９６に指示する処理などである。
【００６４】
例えば本実施形態では、ゲーム処理部１１１は、複数のオブジェクトが配置される仮想空間（ゲーム空間）において、ユーザがプレイするゲームの処理を行う。例えばオブジェクト空間である仮想空間には、キャラクタ等の複数のオブジェクトが配置されており、ゲーム処理部１１１は、この仮想空間でのゲームを実現するための種々のゲーム処理（ゲーム進行処理、キャラクタ処理、オブジェクト空間設定処理、或いは仮想カメラ制御処理等）を実行する。そして表示処理部１２０は、仮想空間において所与の視点（左目用、右目用の第１、第２の視点）から見えるゲーム画像を、ＨＭＤ２００の表示部２２０（第１、第２のディスプレイ）に表示する処理を行う。即ち、仮想空間であるオブジェクト空間において、仮想ユーザ（ユーザ）の視点（仮想カメラ）から見えるゲーム画像を表示する処理を行う。
【００６５】
例えばＨＭＤ２００を装着した現実世界のユーザが、後述の図４、図５の個室のプレイエリアにおいて移動したり、移動方向が変化したり、首を振ったり、しゃがんだりして、その位置、方向が変化すると、ユーザに対応する仮想空間の仮想ユーザの位置、方向も変化する。現実世界でのユーザの位置、方向は、ＨＭＤ２００のトラッキング処理により特定できるため、仮想空間での仮想ユーザの位置、方向も特定できる。ユーザ、仮想ユーザの位置、方向は、例えばユーザ、仮想ユーザの視点位置、視線方向でもある。仮想ユーザがキャラクタとして表示されない場合には、ＨＭＤ２００の表示画像は一人称視点の画像となり、仮想ユーザがキャラクタとして表示される場合には表示画像は三人称視点の画像になる。
【００６６】
なお、プレイエリア（行動エリア）は、例えばユーザが移動可能な範囲として設定されるエリアであり、例えばユーザがゲームプレイ等の行動を行うエリア（フィールド、スペース）として予め規定されているエリアである。このプレイエリア（広義には移動可能範囲）は、例えばユーザの位置情報等のトラッキングが可能な範囲を内包するエリアである。プレイエリアは、例えば周囲が壁で囲まれたエリアであってもよいが、オープンスペースのエリアであってもよい。
【００６７】
そして本実施形態では入力処理部１０２は、ユーザが音入力装置１６１を用いて入力したユーザ音声の情報を取得する。一例としては、音入力装置１６１により入力されたアナログの音声信号に対して、Ａ／Ｄ変換を行い、デジタルのユーザ音声の情報として取得する。
【００６８】
測定処理部１１９は、取得されたユーザ音声の測定処理を行う。例えばユーザ音声の波形に対して各種の測定処理を行う。また音処理部１３０は、ユーザ音声の入力に対して、ユーザ音声とは異なる応答音声又は応答音の出力処理を行う。例えば音データ記憶部１７５に記憶される複数の音データ（音データファイル）からの音データの選択処理や、音データの組合わせ処理などを行って、ユーザ音声とは異なる応答音声又は応答音を生成（合成）し、音出力部１９２（スピーカ等）により出力させる。
【００６９】
そして本実施形態ではユーザ音声の音量及び長さの測定処理を行う。例えばユーザ音声の信号波形が所定の音量レベル（音圧）を越えたか否かを測定することで、ユーザ音声の音量を測定する。またユーザ音声の信号波形が所定の音量レベルを越えた長さを測定することで、ユーザ音声の長さ（音声の尺）を測定する。そして音処理部１３０は、ユーザ音声の音量及び長さの測定処理の結果に基づく応答音声又は応答音の出力処理を行う。この応答音声又は応答音の出力処理や変化処理等は応答音処理部１３２が行う。
【００７０】
例えば音処理部１３０は、ユーザ音声の音量及び長さの測定処理の結果が第１の測定結果である場合には、当該ユーザ音声の入力に対応して、第１の応答音声又は第１の応答音を音出力部１９２に出力させる。一方、ユーザ音声の音量及び長さの測定処理の結果が第２の測定結果である場合には、当該ユーザ音声の入力に対応して、第２の応答音声又は第２の応答音を音出力部１９２に出力させる。同様にユーザ音声の音量及び長さの測定処理の結果が第Ｋ（Ｋは２以上の整数）の測定結果である場合には、当該ユーザ音声の入力に対応して、第Ｋの応答音声又は第Ｋの応答音を音出力部１９２に出力させる。
【００７１】
例えば音処理部１３０は、ユーザ音声の音量及び長さに応じて、応答音声又は応答音を異ならせる処理を行う。即ち、ユーザ音声の入力に対して出力する応答音声又は応答音を、当該ユーザ音声の音量や長さに応じて異ならせる。例えばユーザ音声の音量をＬＶ（ｍ）とし、ユーザ音声の長さをＴＬ（ｎ）とする（ｍ、ｎは２以上の整数）。この場合に、例えばＲＳ（ｍ，ｎ）＝ＲＳ（ＬＶ（ｍ），ＴＬ（ｎ））と表されるような応答音声又は応答音を出力する。例えば音量、長さがＬＶ（１）、ＴＬ（１）である場合には、応答音声又は応答音としてＲＳ（１，１）を出力し、音量、長さがＬＶ（２）、ＴＬ（１）である場合には、応答音声又は応答音としてＲＳ（２，１）を出力する。そしてＲＳ（１，１）とＲＳ（２，１）は、異なる応答音声又は応答音となっている。また音量、長さがＬＶ（１）、ＴＬ（２）である場合には、応答音声又は応答音としてＲＳ（１，２）を出力し、音量、長さがＬＶ（２）、ＴＬ（２）である場合には、応答音声又は応答音としてＲＳ（２，２）を出力する。そしてＲＳ（１，２）とＲＳ（２，２）は異なる応答音声又は応答音となっている。またＲＳ（１，１）、ＲＳ（２，１）、ＲＳ（１，２）、ＲＳ（２，２）も、各々、互いに異なる応答音声又は応答音となっている。
【００７２】
なお応答音声又は応答音が異なるとは、例えば応答音声又は応答音の種類（音データ、波形、属性等）、音量（強さ）、高さ（ピッチ）、或いは音色等が異なることである。
【００７３】
より具体的には測定処理部１１９は、ユーザ音声の音量が、第１〜第Ｎの音量レベルのうちの第ｉの音量レベル（１≦ｉ≦Ｎ）を越えたタイミングから、第ｉの音量レベルを下回ったタイミングまでの長さを測定する。例えばユーザ音声の信号波形において音量が上昇し、第ｉの音量レベルを越えたタイミングをＴＭ１とする。その後、ユーザ音声の信号波形において音量が減少し、第ｉの音量レベルを下回ったタイミングをＴＭ２とする。この場合にＴＭ２−ＴＭ１を、ユーザ音声の長さＴ＝ＴＭ２−ＴＭ１として測定する。そして音処理部１３０は、測定された長さＴ＝ＴＭ２−ＴＭ１に応じて、応答音声又は応答音を異ならせる処理を行う。即ち、測定された長さがＴ＝Ｔ１である場合とＴ＝Ｔ２（Ｔ１とＴ２は異なる長さ）とで、応答音声又は応答音を異ならせる。
【００７４】
また音処理部１３０は、ユーザ音声の音量が、第ｉの音量レベルを越えた場合と、第１〜第Ｎの音量レベルのうちの第ｊ（１≦ｉ＜ｊ≦Ｎ）の音量レベルを越えた場合とで、応答音声又は応答音を異ならせる処理を行う。例えばユーザ音声の音量が第ｉの音量を超えた場合に、第１の応答音声又は第１の応答音が出力されたとする。この場合にユーザ音声の音量が更に大きくなって第ｊの音量レベルを越えた場合には、第１の応答音声又は第１の応答音とは異なる第２の応答音声又は第２の応答音を出力する。この場合に第１の応答音声又は第１の応答音と、第２の応答音声又は第２の応答音の両方を出力してもよいし、第２の応答音声又は第２の応答音だけを出力してもよい。また応答音声又は応答音が歓声、掛け声又は拍手などである場合に、第２の応答音声又は第２の応答音は、第１の応答音声又は第１の応答音に比べて、より盛り上がって熱狂度が増したような歓声、掛け声又は拍手になる。
【００７５】
また音処理部１３０は、応答音声又は応答音を、ゲームにおけるユーザのターゲットの音声又は音として出力する処理を行う。ここでターゲットは、ユーザのゲームプレイの対象となるものであり、例えばゲームに登場するキャラクタなどである。この場合、応答音声は、キャラクタが発声する音声であり、応答音はキャラクタの動作により生じる動作音などである。なおターゲットは、ゲームに登場するキャラクタ以外の物体（動かない物体）などであってもよい。
【００７６】
例えばターゲットは、ゲームに登場する観客のキャラクタである。例えば音楽ゲーム、演奏ゲーム又はスポーツゲームなどにおける観客のキャラクタである。この場合、応答音声は歓声、掛け声、呼び声などの音声であり、応答音は拍手、口笛、足踏み音などである。或いは、ターゲットであるキャラクタは、対戦ゲームにおける対戦相手キャラクタや、ユーザの協力キャラクタなどであってもよい。
【００７７】
また音処理部１３０は、ターゲットの種類、ターゲットとユーザとの位置関係、及びターゲットに対するユーザの視線方向の少なくとも１つに応じて、応答音声又は応答音を変化させる処理を行う。例えばユーザ音声の入力に対して、ターゲットの応答音声又は応答音が出力される場合に、当該ターゲットの種類に応じて応答音声又は応答音を異ならせる。ターゲットの種類は、例えば性別（男、女）、年齢層（子供、大人等）、性格（熱狂タイプ、冷静タイプ等）、又は属性（火、土、水等）などに応じたターゲット（キャラクタ）の分類の違いである。ターゲットとユーザとの位置関係は、例えばターゲットの位置及び方向の少なくとも一方とユーザの位置及び方向の少なくとも一方の関係を表すものである。ターゲットに対するユーザの視線方向は、例えばターゲットの位置に対してユーザの視線方向がどのような方向になっているかである。
【００７８】
なお、ターゲットは、仮想空間（オブジェクト空間）における場所（例えば観客席における席）を表すものであってもよい。この場合には、仮想空間の各場所（ターゲット）に関連づけて属性データ（制御データ）を記憶しておき、ユーザの視線方向が、その場所（ターゲット）の方を向いていると判断した場合には、当該場所に関連づけられた属性データ（場所の属性を表すデータ）を用いて、応答音声又は応答音を変化させる処理を行う。この属性データは例えば空間情報記憶部１７２に記憶しておくことができる。
【００７９】
また応答音声又は応答音を変化させる処理は、例えば応答音声又は応答音にエフェクトをかけるなどして加工する処理、応答音声又は応答音に対して異なる音声又は音を合成する処理、或いは応答音声又は応答音を生成する音データの組合わせや種類や数を変更する処理などである。
【００８０】
また測定処理部１１９は、ユーザ音声の特徴量の解析処理を行う。そして音処理部１３０は、ユーザ音声の特徴量の解析処理の結果に応じて、応答音声又は応答音を変化させる処理を行う。ユーザ音声の特徴量は、例えばユーザ音声の音の大きさ、高さ、音色又は種類に関する特徴量である。ユーザ音声の特徴量の解析処理は、例えば周波数解析処理などにより実現できる。例えばユーザ音声のデータに対して所定区間（数十ｍｓ）ごとに周波数分析を行い、音声の周波数成分情報である音響スペクトルを求め、この音響スペクトルを手がかりとしてユーザ音声の特徴量の解析処理を行う。そして解析処理の結果に応じて、応答音声又は応答音を変化させる。例えばユーザ音声の特徴量の解析処理の結果から、ユーザの性別や年齢層が判別された場合には、判別された性別や年齢層に応じて、応答音声又は応答音を変化させる。例えばユーザが男性である場合には、男性用の応答音声又は応答音を出力し、ユーザが女性である場合には、女性用の応答音声又は応答音を出力する。ユーザが大人である場合には、大人用の応答音声又は応答音を出力し、ユーザが子供である場合には、子供用の応答音声又は応答音を出力する。
【００８１】
また音処理部１３０は、ユーザが手に持つ音入力装置１６１の位置、方向（或いは手の位置、方向）、ユーザが装着するＨＭＤ２００の位置、方向、ユーザの姿勢、及びユーザの視線の少なくとも１つに応じて、応答音声又は応答音を変化させる処理、或いは応答音声又は応答音を出力する処理、或いは応答音声又は応答音を出力させるためのユーザ音声の入力を受け付ける処理を行う。例えば音処理部１３０は、音入力装置１６１（又はそれを持つ手）がどのような位置にあり、或いはどのような方向を向いているかに応じて、応答音声又は応答音を変化させたり、応答音声又は応答音の出力制御（出力タイミングの制御等）を行ったり、ユーザ音声の入力を受け付けるか否かを判断する。またＨＭＤ２００がどのような位置にあり、或いはどのような方向を向いているかに応じて、応答音声又は応答音を変化させたり、応答音声又は応答音の出力制御を行ったり、ユーザ音声の入力を受け付けるか否かを判断する。或いはユーザの姿勢や視線の状態を検出し、その検出結果に応じて、応答音声又は応答音を変化させたり、応答音声又は応答音の出力制御を行ったり、ユーザ音声の入力を受け付けるか否かを判断する。
【００８２】
また音処理部１３０は、ユーザの過去のプレイ履歴情報に基づいて、応答音声又は応答音を変化させる処理を行う。例えばユーザの過去のプレイ履歴の情報を記憶部１７０に記憶しておく。そして、ユーザが音入力装置１６１によりユーザ音声を入力した場合に、このプレイ履歴の情報を記憶部１７０から読み出し、プレイ履歴の情報に応じて、応答音声又は応答音を変化させる。例えば頻繁にゲームプレイを行っているユーザがユーザ音声を入力した場合と、希にしかゲームプレイを行っていないユーザがユーザ音声を入力した場合とで、出力される応答音声又は応答音を異ならせる。
【００８３】
また本実施形態のシミュレーションシステムは、図１に示すように音データを記憶する音データ記憶部１７５を含む。この音データ記憶部１７５には、応答音声又は応答音を出力するための複数の音データ（音データファイル）が記憶されている。この場合に音処理部１３０は、音データ記憶部１７５に記憶される複数の音データの中から使用する音データを選択する処理、或いは複数の音データを組み合わせる処理を行うことで、応答音声又は応答音の出力処理を行う。例えば応答音声又は応答音を異ならせる処理（変化させる処理）を、複数の音データの中から選択する音データを異なることで実現したり、音データ組合わせを異ならせることで実現する。
【００８４】
また入力処理部１０２は、ユーザ音声に対する評価処理が行われる評価期間以外の期間において、応答音声又は応答音を出力させるためのユーザ音声の入力を受け付ける。ユーザ音声に対する評価処理は、ユーザ音声が歌声である場合に、歌唱力に対する評価処理である。そして、歌唱力に対する評価処理が行われる評価期間は、例えば歌唱中の期間であり、評価期間以外の期間は、例えば前奏の期間や間奏の期間などである。ユーザの歌唱中に、その歌声に反応して、応答音声又は応答音が出力されてしまうのは望ましくない。このため、歌唱中の期間では、当該応答音声又は応答音の出力は行わず、歌唱中の期間以外の前奏期間や間奏期間などにおいて、当該応答音声又は応答音の出力を行うようにする。
【００８５】
２．本実施形態の手法
次に本実施形態の手法について具体的に説明する。なお、以下では本実施形態の手法が適用されるゲームが、歌の演奏を行う音楽ゲーム（ライブステージのゲーム、カラオケゲーム等）である場合を主に例にとり説明する。しかしながら、本実施形態の手法が適用されるゲームは、これに限定されず、例えば弦楽器（ギター等）、打楽器（ドラム、太鼓等）、或いは鍵盤楽器（キーボード、ピアノ）等の楽器を演奏する音楽ゲーム（リズムや演奏の上手さを競うゲーム）などであってもよい。また本実施形態の手法は、異性キャラクタ等とのコミュニケーションゲーム（人間関係シミュレーションゲーム）、トークバトルなどを行う会話ゲーム（法廷闘争ゲーム、掛け合い漫才ゲーム）、戦闘ゲーム、ＲＰＧゲーム、ロボットゲーム、カードゲーム、スポーツゲーム、或いはアクションゲーム等の種々のゲームや、映像コンテンツや音楽コンテンツの再生にも適用可能である。
【００８６】
２．１  ＨＭＤ、プレイエリア
図２（Ａ）に本実施形態のシミュレーションシステムに用いられるＨＭＤ２００の一例を示す。図２（Ａ）に示すようにＨＭＤ２００には複数の受光素子２０１、２０２、２０３（フォトダイオード）が設けられている。受光素子２０１、２０２はＨＭＤ２００の前面側に設けられ、受光素子２０３はＨＭＤ２００の右側面に設けられている。またＨＭＤの左側面、上面等にも不図示の受光素子が設けられている。
【００８７】
またユーザＰＬは、左手、右手で入力装置１６０−１、１６０−２を持っている。入力装置１６０−１、１６０−２には、ＨＭＤ２００と同様に複数の受光素子（不図示）が設けられている。また入力装置１６０−１にはマイク１６２（広義には音入力装置）が設けられており、ユーザＰＬは歌の演奏ゲームにおいてマイク１６２に口を向けて歌うことになる。また入力装置１６０−１、１６０−２はゲームコントローラとしても機能し、不図示の操作ボタン、方向指示キー等が設けられている。なおユーザが持つ入力装置１６０の個数は１個であってもよい。
【００８８】
またＨＭＤ２００には、ヘッドバンド２６０等が設けられており、ユーザＰＬは、より良い装着感で安定的に頭部にＨＭＤ２００を装着できるようになっている。そしてユーザＰＬは、ゲームコントローラとして機能する入力装置１６０−１、１６０−２を操作したり、頭部の頷き動作や首振り動作を行うことで、操作情報を入力し、ゲームプレイを楽しむ。頷き動作や首振り動作は、ＨＭＤ２００のセンサ部２１０等により検出できる。
【００８９】
図２（Ｂ）に示すように、ユーザＰＬのプレイエリアにはベースステーション２８０、２８４が設置されている。ベースステーション２８０には発光素子２８１、２８２が設けられ、ベースステーション２８４には発光素子２８５、２８６が設けられている。発光素子２８１、２８２、２８５、２８６は、例えばレーザー（赤外線レーザー等）を出射するＬＥＤにより実現される。ベースステーション２８０、２８４は、これら発光素子２８１、２８２、２８５、２８６を用いて、例えばレーザーを放射状に出射する。そして図２（Ａ）のＨＭＤ２００に設けられた受光素子２０１〜２０３等が、ベースステーション２８０、２８４からのレーザーを受光することで、ＨＭＤ２００のトラッキングが実現され、ユーザＰＬの頭の位置や向く方向（広義にはユーザの位置や方向）を検出できるようになる。また入力装置１６０−１、１６０−２に設けられた不図示の受光素子が、ベースステーション２８０、２８４からのレーザーを受光することで、入力装置１６０−１、１６０−２のトラッキングが実現され、入力装置１６０−１、１６０−２の位置や方向を検出できるようになる。これにより、例えばゲーム画像に、入力装置１６０−１に対応するマイクの画像等を表示することが可能になる。
【００９０】
図３（Ａ）にＨＭＤ２００の他の例を示す。図３（Ａ）では、ＨＭＤ２００に対して複数の発光素子２３１〜２３６が設けられている。これらの発光素子２３１〜２３６は例えばＬＥＤなどにより実現される。発光素子２３１〜２３４は、ＨＭＤ２００の前面側に設けられ、発光素子２３５や不図示の発光素子２３６は、背面側に設けられる。これらの発光素子２３１〜２３６は、例えば可視光の帯域の光を出射（発光）する。具体的には発光素子２３１〜２３６は、互いに異なる色の光を出射する。そして図３（Ｂ）に示す撮像部１５０をユーザＰＬの前方側に設置し、この撮像部１５０により、これらの発光素子２３１〜２３６の光を撮像する。即ち、撮像部１５０の撮像画像には、これらの発光素子２３１〜２３６のスポット光が映る。そして、この撮像画像の画像処理を行うことで、ユーザＰＬの頭部（ＨＭＤ）のトラッキングを実現する。即ちユーザＰＬの頭部の３次元位置や向く方向（ユーザの位置、方向）を検出する。
【００９１】
例えば図３（Ｂ）に示すように撮像部１５０には第１、第２のカメラ１５１、１５２が設けられており、これらの第１、第２のカメラ１５１、１５２の第１、第２の撮像画像を用いることで、ユーザＰＬの頭部の奥行き方向での位置等が検出可能になる。またＨＭＤ２００に設けられたモーションセンサのモーション検出情報に基づいて、ユーザＰＬの頭部の回転角度（視線）も検出可能になっている。従って、このようなＨＭＤ２００を用いることで、ユーザＰＬが、周囲の３６０度の全方向うちのどの方向を向いた場合にも、それに対応する仮想空間（仮想３次元空間）での画像（ユーザの視点に対応する仮想カメラから見える画像）を、ＨＭＤ２００の表示部２２０に表示することが可能になる。なお、発光素子２３１〜２３６として、可視光ではなく赤外線のＬＥＤを用いてもよい。また、例えばデプスカメラ等を用いるなどの他の手法で、ユーザの頭部の位置や動き等を検出するようにしてもよい。
【００９２】
なお、ユーザの視点位置、視線方向（ユーザの位置、方向）を検出するトラッキング処理の手法は、図２（Ａ）〜図３（Ｂ）で説明した手法には限定されない。例えばＨＭＤ２００に設けられたモーションセンサ等を用いて、ＨＭＤ２００の単体でトラッキング処理を実現してもよい。即ち、図２（Ｂ）のベースステーション２８０、２８４、図３（Ｂ）の撮像部１５０などの外部装置を設けることなく、トラッキング処理を実現する。或いは、公知のアイトラッキング、フェイストラッキング又はヘッドトラッキングなどの種々の視点トラッキング手法により、ユーザの視点位置、視線方向などの視点情報等を検出してもよい。
【００９３】
図４、図５に本実施形態のゲームが実現されるプレイエリアの一例を示す。このプレイエリアは、ボックス状の防音の個室により実現される。図４、図５に示すようにボックスの個室は、壁３０１、３０２、３０３、３０４、天井３０５、ドア３０６を有する。壁３０１、３０２、３０３、３０４、天井３０５の内側にはクッション材としても機能する防音材３１１、３１２、３１３、３１４、３１５が設けられている。また天井３０５には前述のベースステーション２８０、２８４や照明器具２９０、２９２が設置されている。
【００９４】
ユーザＰＬの前側にはフロントスピーカ３３０、３３１、センタースピーカ３３２が設置され、後ろ側にはリアスピーカ３３３、３３４、ウーハー３３５が設置される。これらのスピーカによりサラウンド音響が実現される。そしてウーハー３３５が収容されている収容ボックス内に、巻き取り装置５０が収容されている。この巻き取り装置５０は回転リール６２を有しており、ケーブル２０は、収容ボックス（棚）に設けられたケーブル通過口５２を通って、回転リール６２により巻き取られる。
【００９５】
ユーザＰＬは図５のドア３０６を開けて個室内に入り、ゲームをプレイする。この個室内の空間がユーザＰＬのプレイエリア（プレイ空間、実空間）になる。そして図５に示すように、ボックスの個室のプレイエリアには、ユーザＰＬの移動範囲（移動可能範囲）として想定されるエリアＡＲが設定される。このエリアＡＲ内では、ステーション２８０、２８４等を用いたユーザＰＬの位置、方向（視点位置、視線方向）のトラッキングが可能になっている。一方、エリアＡＲの境界ＢＤを越えた位置では、確実なトラッキングを実現できない。またユーザＰＬがエリアＡＲの境界ＢＤを越えると、壁３０１、３０２、３０３、３０４にぶつかるおそれがあり、安全面の上で望ましくない。エリアＡＲの設定は、例えばゲーム装置のイニシャライズ設定などにより、その範囲を設定可能になっている。
【００９６】
そして図４、図５に示すように、ユーザＰＬは腰ベルト３０を装着している。腰ベルト３０には収容部３２が取り付けられており、この収容部３２内にケーブル２０の中継点ＲＰが設けられる。ケーブル２０は、ＨＭＤ２００から中継点ＲＰを経由して巻き取り装置５０により巻き取られる。ケーブル部分２１とケーブル部分２２の間のポイントが中継点ＲＰになる。なおケーブル２０には、ユーザＰＬが基準位置に立っている際にケーブル２０を弛ませるためのストッパー２６が設けられている。
【００９７】
２．２  ゲームの概要
次に、本実施形態の手法により実現されるゲームの概要について説明する。本実施形態により実現されるゲームは、本物のライブステージのような臨場感の中、バンドのボーカルになりきって、ボーカル演奏を行う音楽ゲームである。ユーザは、大観衆を目前にして歌うという、かつてない高揚感を感じつつ、自分のファンからの歓声を全身に浴びる強烈な快感を得ることができる。ＨＭＤと大出力のサラウンドスピーカーにより、まるで本物のライブステージに出演し、自分のファンに囲まれて歌っているかのような、臨場感を得ることができる。
【００９８】
ステージの周りの観客は、ユーザのボーカル演奏やステージアクションに反応して、派手な声援や様々なアクションをインタラクティブに返してくる。ＨＭＤによる、まるでその場に立っているかのような臨場感のライブステージの上で、表情まで見える最前列のファンをはじめ、会場を埋める満員の観客の前で、バンドメンバーの演奏と共に、自分の歌とライブパフォーマンスを行って、観客の期待に応える。
【００９９】
ユーザは共有スペースに設けられた受け付けスペースで、入室時間の予約やプレイ設定を行い、図４、図５に示すようにクッション材（防音材）が貼られた安全な個室内で、ライブ出演体験を楽しむ。
【０１００】
ユーザは、ステージ出演前のプレイ設定において、コンサート出演モードを選択する。その後、歌う曲の選択を行い、出演ステージを選択する。そして図２（Ａ）、図２（Ｂ）等で説明したＨＭＤ２００、入力装置１６０−１、１６０−２などのデバイスや、腰ベルト３０を装着する。店舗のオペレータが、注意事項等を説明し、ユーザのデバイス等の装着や調整を補助する。プレイエリアである個室空間のキャリブレーション（イニシャライズ）は、オペレータが事前に行う。
【０１０１】
図２（Ａ）の入力装置１６０−１は、マイク＆ゲームコントローラになっている。ＶＲ（バーチャルリアリティ）空間内では、ユーザ（仮想ユーザ）の腕や手は描画されないが、ユーザが手で持っている入力装置１６０−１等の位置がセンシングされ、同じ位置にマイク画像が描画され、ユーザの動きに応じてマイク画像が動くようになる。
【０１０２】
ユーザは、ＶＲ空間のスタンバイルームで、ボーカルのキー調整を行う。スタンバイルームは、ステージの下の待機スペースである。ＶＲ空間においてユーザが立っているスペースは大きなリフトになっていて、本番時にはステージ上にせり上がる。
【０１０３】
リフトが上昇しステージが近づいて来るのに合わせて、遠くから聞こえていたホールの歓声や掛け声が徐々に大きくなり、迫力を増し、且つ、生々しく変化する。ステージ上にユーザが出現すると、ユーザに向けて前方から逆光のスポットライトが当てられ、ユーザの登場で最高潮に達した大歓声が起こる。
【０１０４】
ライブの本番ではユーザは、思う存分、ステージでの熱唱を楽しむ。図６、図７は、ステージ上のユーザのＨＭＤ２００に表示されるゲーム画像（ＶＲ空間での画像）の例である。図６、図７に示すようにユーザの目の前には満員の観客が映し出される。図６はユーザが正面を向いた場合のゲーム画像であり、図７は、ユーザが右方向を向いた場合のゲーム画像である。
【０１０５】
図６、図７に示すように、ＨＭＤ２００を用いる本実施形態のゲーム装置では、ユーザの全周囲の方向に亘って、仮想空間であるＶＲ空間の世界が広がる。例えばＨＭＤ２００を装着したユーザが前方向を向けば、図６のゲーム画像がＨＭＤ２００に表示され、右方向を向けば、図７のゲーム画像が表示される。後ろ方向を向けば、演奏バンドなどの画像が表示される。従って、多数の観客が歓声を上げる巨大なコンサートホールにおいて、ボーカル演奏しているかのような仮想現実感をユーザに与えることができ、ゲームへの没入度等を格段に向上できる。
【０１０６】
また本実施形態では、曲の抑揚に合わせて観客の動き（アクション）や歓声が変化する。またユーザのアクションに応じるように、観客の動きや歓声が変化する。例えば図６において、ユーザが立つステージの近くの観客ＡＤ１〜ＡＤ７は、例えば多数のポリゴンで構成されるポリゴンモデルのオブジェクトにより表現されている。図７の観客ＡＤ８〜ＡＤ１１も同様である。一方、ステージから遠い位置にいる観客は、ユーザの視線に正対するビルボードポリゴンに描かれた画像により表現されている。
【０１０７】
ポリゴンモデルの観客（ＡＤ１〜ＡＤ１１）は、例えばモーションデータによるモーション再生によりその動きが表現されている。これらの観客は、曲のリズムにのって基本アクション（基本モーション）を行う。観客は、ユーザの声や動きに応じも、インタラクティブにリアクションする。ユーザが、例えば「特定の方向を向いて歌う」、「手を振る」といったアクションを行うことで、その方向の観客のテンションが上がり、基本アクションが、１段階、派手になったり、或いは曲のリズムとは関係ない突発的な盛り上がりアクションを行うようになる。
【０１０８】
図８は、ＶＲ空間においてユーザＰＬ（仮想ユーザ）が立つステージＳＧを、上方から俯瞰した様子を示す図である。ステージＳＧは境界ＢＤＳにより区画されており、ステージＳＧの周りの観客席ＳＥ１、ＳＥ２、ＳＥ３には、図６、図７に示すようにアクションする観客が配置されている。このステージＳＧの境界ＢＤＳは、例えば図５の現実世界のプレイエリアのエリアＡＲの境界ＢＤに対応している。一例としては、図５の現実世界のエリアＡＲの境界ＢＤから例えば所定距離だけ内側に対応する位置に、ＶＲ空間でのステージＳＧの境界ＢＤＳが設定されている。
【０１０９】
本実施形態ではユーザは、観客を盛り上げるためのパフォーマンスを行うことができる。ユーザに向けて何らかのアピールのアクションをしてくる観客が、当該パフォーマンスのターゲットになる。例えば図６では、観客ＡＤ４が、右手を高く上げてユーザに対してアピールのアクションを行っており、この観客ＡＤ４がターゲットになる。また図７ではアピールのアクションを行っている観客ＡＤ１０がターゲットになる。
【０１１０】
これらのアピールする観客に対して、ユーザがアクションを行うことで、これらの観客の熱狂度パラメータ（熱狂度ゲージ）の値が上昇する。そして熱狂度パラメータが最大値になると、これらの観客が、大喜びを表現する熱狂アクションを行うようになる。
【０１１１】
アピールする観客に対してユーザが行う第１のアクションは、そのターゲットの観客の方に視線を向けて歌うアクションである。この第１のアクションが行われるのは、楽曲の歌唱パートと間奏パートのうち、歌唱パートにおいてである。
【０１１２】
アピールする観客に対してユーザが行う第２のアクションは、観客に対して呼びかけなどの発声を行うアクションである。ユーザの呼びかけの発声に対して、観客は声援や掛け声や拍手などで応答する。ユーザは、観客からの声援や掛け声や拍手に合わせて、腕を上げるアクションなどを行う。
【０１１３】
これらの第１、第２のアクションのターゲットとなる観客は、例えばランダムにコンサートホール内で発生する。ユーザの１曲の演奏におけるターゲットの数は所定数に決まっている。ターゲットとなる所定数の全ての観客について、熱狂度パラメータが最大値になり盛り上げに成功すると、全クリアになる。例えばターゲットとなる観客の数が１０人である場合に、これらの１０人の全ての観客の熱狂度パラメータが最大値に達すると、ターゲットの全クリアになる。この場合に、ターゲットのクリア数に応じて、最後のステージエフェクトの種類が変化する。例えば１０人のターゲットの全てをクリアした場合には、最後のステージにおいて最も派手なエフェクトが発生する。また例えば８人のターゲットをクリアした場合には、５人のターゲットをクリアした場合に比べて、より派手なエフェクトが発生する。
【０１１４】
また本実施形態ではユーザの歌唱力が評価される。即ち、ユーザの歌の音程とリズムが検知されて評価される。具体的には、リズムに合わせた発声が出来たかを評価する。例えば、ベース又はドラムの演奏の指定タイミングに合わせて、ユーザが発声できると、ポイントが加算される。また、ロングトーンの上手さや、休符についての正確性なども評価される。また音程の正確性も評価する。即ち、ユーザの歌の音程判定を行い、正解な音程で歌った音程をグラフ的に表示する。なお、ユーザの音量がゼロの状態が一定時間、継続すると、観客の多くは待機モーションに移行し、その間はユーザはポイント加算を得ることができない。
【０１１５】
ユーザの演奏が終了し、ライブステージを通してのユーザの評価結果が一定基準を満たすと、観客はアンコールを求めて来る。そのアンコールに応えることで、ユーザは更に１曲、追加で演奏できるようになる。そしてライブステージの終了時には、フェードアウトする歓声の中で、照明はさらに暗くなり、ブラックアウトして終了する。その後、「お疲れ様でした、ＨＭＤを外してください」といった表示及びガイド音声が流れる。そしてユーザは装備を外して個室から退室し、ゲームプレイの終了となる。
【０１１６】
２．３  ユーザ音声入力に対する応答
本実施形態ではユーザの音声入力に対して、応答音声、応答音を出力して応答する手法を採用している。例えば図６、図７の観客（広義にはターゲット）に対して、ユーザがマイク１６２に音声を入力して呼びかけ（コール）を行うと、観客からの歓声、掛け声、拍手、足踏み音又は口笛などの応答（レスポンス）が返ってくる。即ち、これらの歓声、掛け声、拍手、足踏み音又は口笛などの応答音声、応答音が、図４、図５のスピーカ３３０〜３３４から出力される。なお、以下では、音入力装置１６１が、図２（Ａ）に示すようなハンドマイク形状のマイク１６２である場合を例にとり説明する。
【０１１７】
例えば図９では、ユーザＰＬは、観客ＡＤＡ、ＡＤＢ、ＡＤＣの方に視線ＶＬＰを向けて、「イェーイ」という呼びかけを行っている。即ち、マイク１６２に「イェーイ」というユーザ音声を入力している。このようなユーザ音声の入力が行われると、所与の時間経過後に、図９に示すように観客ＡＤＡ、ＡＤＢ、ＡＤＣが歓声、拍手、口笛などで応答する。このようなコール＆レスポンス（Ｃ＆Ｒ）の手法を採用することで、ユーザは、仮想空間の観客を、あたかも本物の人間の観客のように感じることが可能になり、ユーザの仮想現実感を大幅に向上できる。
【０１１８】
この場合に、ユーザからの呼びかけ（コール）に対する観客の応答（レスポンス）が、ワンパターンでバラエティー度のない応答になってしまうと、ユーザは、あたかもロボットを相手に呼びかけを行っているかのような感覚を持ってしまい、仮想現実感が損なわれてしまう。
【０１１９】
一方、ユーザ音声の音声認識処理などを行って、複雑なアルゴリズムの処理により、観客の応答音声や応答音を生成しようとすると、処理負荷が過大になってしまい、シミュレーションシステムが行う他の処理（画像生成処理等）に悪影響を与えてしまう。
【０１２０】
そこで本実施形態では、マイク１６２（広義には音入力装置）により入力されたユーザ音声の音量や長さの測定処理を行う。そして、ユーザ音声の音量や長さの測定処理の結果に基づく応答音声、応答音を出力する手法を採用している。
【０１２１】
図９を例にとれば、ユーザＰＬがマイク１６２を用いて呼びかけの音声（「イェーイ」）を入力すると、この呼びかけの音声の音量や長さが測定される。そして、呼びかけの音声の音量に応じて、観客ＡＤＡ〜ＡＤＣの歓声、拍手等の応答音声、応答音を異ならせる。また呼びかけの音声の長さに応じて、観客ＡＤＡ〜ＡＤＣの歓声、拍手等の応答音声、応答音を異ならせる。例えば応答音声、応答音の種類、音量（強さ）、音の高さ又は音色などを異ならせる。例えば図１の音データ記憶部１７５の複数の音データの中から選択される音データや、音データの組合わせを、呼びかけの音声の音量や長さに応じて異ならせる。例えば呼びかけ音声の音量に応じて、異なる音データを選択したり、異なる組合わせの音データを使用する。また呼びかけ音声の長さに応じて、異なる音データを選択したり、異なる組合わせの音データを使用する。
【０１２２】
図１０は、ユーザ音声の音量、長さに応じて、応答音声、応答音を異ならせる手法について説明する図である。なお図１０のＲＳ１１〜ＲＳ３５の各応答音声、応答音は、音データ記憶部１７５の複数の音データから選択された音データ、或いは音データの組合わせにより実現される。
【０１２３】
例えばマイク１６２に入力されたユーザ音声の音量がＬＶ１である場合（ＬＶ１を越えた場合又は０〜ＬＶ１である場合）には、ユーザ音声の長さ（尺）に応じて、ＲＳ１１、ＲＳ１２、ＲＳ１３、ＲＳ１４、ＲＳ１５のいずかの応答音声、応答音（音データ又は音データの組合わせ）が選択されて出力される。例えばユーザ音声の長さがＴ１である場合（Ｔ１を越えた場合又は０〜Ｔ１である場合）には、ＲＳ１１の応答音声、応答音が出力される。ユーザ音声の長さがＴ２である場合（Ｔ２を越えた場合又はＴ１〜Ｔ２である場合）には、ＲＳ１２の応答音声、応答音が出力される。同様にユーザ音声の長さがＴ３、Ｔ４、Ｔ５である場合には、各々、ＲＳ１３、ＲＳ１４、ＲＳ１５の応答音声、応答音が出力される。
【０１２４】
またマイク１６２に入力されたユーザ音声の音量がＬＶ２である場合（ＬＶ２を越えた場合又はＬＶ１〜ＬＶ２である場合）には、ユーザ音声の長さに応じて、ＲＳ２１、ＲＳ２２、ＲＳ２３、ＲＳ２４、ＲＳ２５のいずかの応答音声、応答音が選択されて出力される。例えばユーザ音声の長さがＴ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５である場合には、各々、ＲＳ２１、ＲＳ２２、ＲＳ２３、ＲＳ２４、ＲＳ２５の応答音声、応答音が出力される。
【０１２５】
またマイク１６２に入力されたユーザ音声の音量がＬＶ３である場合（ＬＶ３を越えた場合又はＬＶ２〜ＬＶ３である場合）には、ユーザ音声の長さに応じて、ＲＳ３１、ＲＳ３２、ＲＳ３３、ＲＳ３４、ＲＳ３５のいずかの応答音声、応答音が選択されて出力される。例えばユーザ音声の長さがＴ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５である場合には、各々、ＲＳ３１、ＲＳ３２、ＲＳ３３、ＲＳ３４、ＲＳ３５の応答音声、応答音が出力される。
【０１２６】
このような手法を採用すれば、例えば図９において、ユーザＰＬが入力した呼びかけの音声の音量、長さが異なると、それに応じて観客ＡＤＡ〜ＡＤＣの歓声、掛け声、拍手、口笛等が異なった音になる。
【０１２７】
例えば呼びかけの音声の音量が小さい場合には、歓声、掛け声が低い音声になったり、歓声、掛け声の音量が小さくなる。また拍手や口笛が混ざる割合も少なくなる。一方、呼びかけの音声の音量が大きい場合には、歓声、掛け声が高い音声（高周波成分が入った音）になったり、歓声、掛け声の音量が大きくなる。また拍手や口笛が混ざる割合も多くなる。
【０１２８】
また呼びかけの音声の長さが短い場合には、歓声、掛け声の長さも短くなる。また拍手や口笛は混ざらなかったり、後半に少しだけ拍手や口笛の音がする。一方、呼びかけの音声の長さが長い場合には、歓声、掛け声の長さも長くなる。また歓声、掛け声の音の高さを上げたり、音量を上げてもよい。また呼びかけの音声の長さが長い場合には、多くの拍手や口笛が混ざるようになり、これに加えて足踏み音が混ざったり、アンコールの声などが混ざるようになる。
【０１２９】
このように本実施形態では、ユーザ音声の音量、長さに応じて、応答音声、応答音が異なった音になる。従って、あたかも本物の人間の観客が、歓声や拍手などを行っているかのような感覚を、ユーザに与えることができ、ユーザの仮想現実感を向上できる。即ち、観客の歓声や拍手による応答が、ワンパターンではなく、多様で変化に満ちているため、ロボットを相手にしているような感覚をユーザに与えることがなく、バーチャルリアリティへのユーザの没入度を増すことができる。
【０１３０】
図１１（Ａ）、図１１（Ｂ）は、ユーザ音声の音量、長さに応じて、応答音声、応答音を異ならせ処理の具体例を示す図である。
【０１３１】
図１１（Ａ）において、Ａ１はユーザ音声の波形である。そして図１１（Ａ）では、ユーザ音声の音量が、音量レベルＬＶ１（第１〜第Ｎの音量レベルのうちの第ｉの音量レベル）を越えたタイミングから、音量レベルＬＶ１を下回ったタイミングまでの長さＴＬ１を測定する。そして測定された長さＴＬ１に応じて、応答音声、応答音を異ならせる。例えば長さＴＬ１が長い場合と、短い場合とで、応答音声、応答音を異ならせる。
【０１３２】
またユーザ音声の音量が、音量レベルＬＶ２（第１〜第Ｎの音量レベルのうちの第ｊの音量レベル）を越えたタイミングから、音量レベルＬＶ２を下回ったタイミングまでの長さＴＬ２を測定する。そして測定された長さＴＬ２に応じて、応答音声、応答音を異ならせる。例えば長さＴＬ２が長い場合と、短い場合とで、応答音声、応答音を異ならせる。この場合にユーザ音声の音量が、音量レベルＬＶ１（第ｉの音量レベル）を越えた場合と、音量レベルＬＶ２（第ｊの音量レベル）を越えた場合とで、応答音声、応答音を異ならせる。
【０１３３】
またユーザ音声の音量が、音量レベルＬＶ３を越えたタイミングから、音量レベルＬＶ３を下回ったタイミングまでの長さＴＬ３を測定する。そして測定された長さＴＬ３に応じて、応答音声、応答音を異ならせる。例えば長さＴＬ３が長い場合と、短い場合とで、応答音声、応答音を異ならせる。この場合にユーザ音声の音量が、音量レベルＬＶ１、ＬＶ２を越えた場合と、音量レベルＬＶ３を越えた場合とで、応答音声、応答音を異ならせる。
【０１３４】
図１１（Ｂ）では、図１１（Ａ）とはユーザ音声の信号波形が異なっている。例えば音量レベルＬＶ１、ＬＶ２、ＬＶ３での音声の長さＴＬ１、ＴＬ２、ＴＬ３が、図１１（Ａ）と図１１（Ｂ）とでは異なっている。例えば図１１（Ｂ）では、音量レベルＬＶ３での長さＴＬ３が図１１（Ａ）よりもかなり短くなっている。従って、出力される応答音声、応答音も異なった音になる。図１１（Ｂ）のように後ろ盛り上がりタイプのユーザ音声が入力されると、その音量が音量レベルＬＶ３に到達するまでの時間が遅れるため、それに対応する応答音声、応答音も遅れるようになる。
【０１３５】
例えば図１１（Ａ）、図１１（Ｂ）において、ユーザ音声の音量が音量レベルＬＶ１の場合には、歓声、掛け声は低い声となり、歓声、掛け声の音量も比較的小さくなる。そして長さＴＬ１が長くなると、例えば後半に拍手等が混ざるようになる。
【０１３６】
またユーザ音声の音量が音量レベルＬＶ２の場合には、歓声、掛け声は、音量レベルＬＶ１の場合に比べて、比較的高い音（高周波成分が混ざった音）になると共に音量も大きくなる。そして長さＴＬ２が長くなると、例えば後半に拍手に加えて口笛などが混ざるようになる。
【０１３７】
またユーザ音声の音量が音量レベルＬＶ３の場合には、歓声、掛け声は、音量レベルＬＶ１、ＬＶ２の場合に比べて、更に高い音（高周波成分が更に混ざった音）になると共に、音量も更に大きくなる。そして長さＴＬ３が長くなると、例えば後半に拍手、口笛に加えて、足踏み音やアンコールの声が混ざるようになる。
【０１３８】
例えばユーザ音声の音量が大きい場合には、ボーカルであるユーザは、観客を盛り上げるために大きな声で呼びかけており、観客の歓声等もその熱意に応えるように、より高周波成分の混ざった音になったり、音量も大きくなる。またユーザ音声の音の長さが長い場合には、ボーカルであるユーザが、何らかのメッセージを伝えようとしていると考えられ、それに応えるように観客が拍手をしたり、口笛を吹いたり、足踏みを行う。こうすることで、ユーザと観客との間で、声によるやり取りや駆け引きが生まれ、あたかも本物の人間の観客を相手に演奏を行っているかのような仮想現実感を、ユーザに与えることが可能になる。
【０１３９】
なお音量レベルＬＶ２を越えた場合には、音量レベルＬＶ１用、ＬＶ２用の応答音声、応答音の両方を出力するようにしてもよい。同様に音量レベルＬＶ３を越えた場合には、音量レベルＬＶ１、ＬＶ２、ＬＶ３用の応答音声、応答音の全てを出力するようにしてもよい。
【０１４０】
図１２は応答音声、応答音の出力タイミングについて説明する図である。例えば図１２ではユーザ音声の音量が音量レベルＬＶ１を越えている。この場合には所与の時間ＴＤ１を経過後に、音量レベルＬＶ１及び長さＴＬ１に応じた応答音声、応答音であるＲＳ＝ＲＳ（ＬＶ１、ＴＬ１）を出力する。時間ＴＤ１は例えば１秒程度の時間である。
【０１４１】
即ち、ユーザからの呼びかけに対して、観客が直ぐに歓声等の応答音声、応答音を返してしまうと、あたかもロボットが歓声等を行っているように聞こえてしまう。そこで図１２のように、ユーザからの呼びかけから遅延時間であるＴＤ１の経過後に、観客が応答するようにしている。このように、応答に間を持たせることで、あたかも本物の人間の観客が応答しているかのような感覚を、ユーザに与えることができ、仮想現実感の向上を図れる。
【０１４２】
なお、ユーザ音声の音量、長さに応じて、応答音声、応答音を異ならせる処理としては種々の変形実施が可能である。
【０１４３】
例えば図１１（Ａ）においてユーザ音声の音量が音量レベルＬＶ１である場合には、この音量レベルＬＶ１に対応する音データのファイルを選択する。そして、この音データの再生時間を、図１１（Ａ）の長さＴＬ１に応じて変化させてもよい。例えば音データによる再生音を、長さＴＬ１に応じた時間が経過したタイミングで、フェイドアウトする。例えば長さＴＬ１が短い場合には、音データの再生音がフェイドアウトするタイミングを早くし、長さＴＬ１が長い場合には、フェイドアウトするタイミングを遅くする。同様に、ユーザ音声の音量が音量レベルＬＶ２、ＬＶ３である場合にも、音量レベルＬＶ２、ＬＶ３に対応する音データのファイルを選択し、長さＴＬ２、ＴＬ３に応じて、当該音データのファイルの再生時間を変化させる。即ち、長さＴＬ２、ＴＬ３に応じた長さでフェイドアウトするようにする。
【０１４４】
或いは、ユーザ音声の長さ（ＴＬ１、ＴＬ２、ＴＬ３）に基づいて、マイク１６２を使って喋っているユーザの話の内容を推測し、それに応じた応答音声、応答音の音データのファイルを差し替えるようにしてもよい。例えばユーザ音声の長さに応じた複数個（例えば５個）の音データのファイルを用意しておき、ユーザ音声の長さに応じて、使用する音データのファイルを差し替える。
【０１４５】
例えばユーザ音声の長さが極めて短い場合（例えば０．１秒程度）には、ユーザが、あまり意味のない呼びかけ（掛け声）を行っていると推測し、観客の応答もそれに対応する応答にする。例えば観客が短い歓声で応えるだけにする。一方、ユーザ音声の長さが長い場合（例えば１秒〜２秒以上）には、ユーザが、何か意味のある言葉を観客に話しかけていると推測する。そして観客の応答に笑い声を混ぜたり、ユーザの話しかけに賛同するような声を混ぜる。例えばユーザが静かな口調で長い時間、話している場合（ユーザ音声の音量が小さく長い音である場合）には、例えば「次のアルバムが出ます」などの話をしていると推測し、観客に喜んでいる感じの応答を行わせる。このようにすることで、より人間味の溢れる観客の応答が可能になる。
【０１４６】
また本実施形態では、ユーザ音声の入力に対する応答音声、応答音は、ゲームにおけるユーザのターゲットの音声、音として出力される。具体的にはゲームに登場する観客のキャラクタの音声、音として出力される。この場合に本実施形態では、観客（ターゲット）の種類、観客とユーザとの位置関係、或いは観客に対するユーザの視線方向に応じて、応答音声、応答音を変化させる。
【０１４７】
例えば図１３（Ａ）では、ユーザＰＬは、男性の観客ＡＤＸに対して呼びかけを行っている。この場合に観客ＡＤＸの応答音声、応答音は、男性の観客用の応答音声、応答音になる。例えば男性が通常に使用する種類の歓声（例えば「オー」）が、男性の声で返ってくる。一方、図１３（Ｂ）では、ユーザＰＬは、女性の観客ＡＤＹに対して呼びかけを行っている。この場合に観客ＡＤＹの応答音声、応答音は、女性の観客用の応答音声、応答音になる。例えば女性が通常に使用する種類の歓声（例えば「キャー」）が、女性の声で返ってくる。
【０１４８】
このように本実施形態では、観客（ターゲット）の種類に応じて、応答音声、応答音が変化する。例えば観客が男性であるか女性であるかに応じて、応答音声、応答音が変化する。この場合に観客（ターゲット）の種類としては種々のものを想定でき、例えば観客が大人であるか子供であるかに応じて、応答音声、応答音が変化させてもよい。
【０１４９】
また図１４（Ａ）では、ユーザＰＬ（仮想ユーザ）と観客ＡＤＡ〜ＡＤＣとの距離が遠い。この場合には観客ＡＤＡ〜ＡＤＣの歓声、拍手等の応答音声、応答音の音量を小さくする。一方、図１４（Ｂ）では、ユーザＰＬと観客ＡＤＡ〜ＡＤＣとの距離が近い。この場合には観客ＡＤＡ〜ＡＤＣの歓声、拍手等の応答音声、応答音の音量を大きくする。
【０１５０】
このように本実施形態では、観客（ターゲット）とユーザとの位置関係に応じて、応答音声、応答音を変化させている。即ち、図１４（Ａ）での観客ＡＤＡ〜ＡＤＣとユーザＰＬの位置関係と、図１４（Ｂ）での観客ＡＤＡ〜ＡＤＣとユーザＰＬの位置関係は異なるため、応答音声、応答音の音量が変化している。この場合に応答音声、応答音の音の種類、音の高さ又は音色等を、位置関係に応じて変化させてもよい。
【０１５１】
また図１５では、ユーザＰＬの視線ＶＬＰが、正面側の観客ＡＤＡ〜ＡＤＣの方を向いており、右側の観客ＡＤＤ〜ＡＤＦの方には向いていない。このような状態で、ユーザＰＬが呼びかけの音声を入力すると、ユーザＰＬが視線ＶＬＰを向けている観客ＡＤＡ〜ＡＤＣの応答音声、応答音の音量は大きくなる。一方、ユーザＰＬが視線ＶＬＰを向けていない観客ＡＤＤ〜ＡＤＦの応答音声、応答音の音量は小さくなる。
【０１５２】
このように本実施形態では、観客（ターゲット）に対するユーザの視線方向に応じて、応答音声、応答音を変化させている。
【０１５３】
なお、図１５では、観客に対するユーザの視線方向に応じて、応答音声、応答音の音量を変化させているが、応答音声、応答音の音の種類、音の高さ又は音色等を変化させてもよい。
【０１５４】
またターゲットは、仮想空間（オブジェクト空間）における場所を表すものであってもよい。例えばターゲットは、音楽ゲームやスポーツゲームにおける観客席の各席などの場所（スポット）であってもよい。この場合には、例えば席などの場所に関連づけて属性データ（制御データ）を記憶しておく。そして、熱狂的なファンの席（例えば最前列の席）に対しては第１の属性データ、ティーンエージャーなどの若者でノリが良い客の席（例えば二階席）には第２の属性データ、業界関係者用で殆ど反応が期待できない席には第３の属性データを関連づけておく。そして、ユーザの視線方向が、これらの各席の方を向いていると判断した場合には、その席に関連づけられた属性データに基づいて、応答音声、応答音を変化させて出力する。例えば、熱狂的なファンの席（第１の属性データ）の方にユーザの視線方向が向いていた場合には、熱狂的な歓声、拍手等の応答音声、応答音を出力する。ノリが良い客の席（第２の属性データ）の方に視線方向が向いていた場合には、ノリの良い歓声、拍手等の応答音声、応答音を出力する。
【０１５５】
また図１６（Ａ）では、マイク１６２に入力されたユーザ音声の特徴量の解析処理が行われている。即ち、ユーザ音声の特徴を検出している。そして本実施形態では、ユーザ音声の特徴量の解析処理の結果に応じて応答音声、応答音を変化させる。即ち、ユーザ音声の特徴（性別、年齢層等）に応じて、応答音声、応答音を変化させる。特徴量の解析処理は、ユーザ音声の音の大きさ、高さ、音色又は種類に関する特徴量を抽出して解析する処理である。これは、例えば周波数解析処理により音響スペクトルなどを求めることで実現される。
【０１５６】
そして例えば図１６（Ａ）の特徴量解析により、ユーザの性別が男性であると判別されたとする。この場合には図１６（Ｂ）に示すように、男性の歓声の比率がＲＡとなり、女性の歓声の比率がＲＣとなるように、男性の声と女性の声が混ざった歓声を、観客の応答音声、応答音として出力する。ユーザの性別が男性であるため、例えば男性の歓声の比率ＲＡを低くし、女性の歓声の比率ＲＣを高くする。
【０１５７】
また図１６（Ａ）の特徴量解析により、ユーザの性別が女性であると判別されたとする。この場合には図１６（Ｂ）に示すように、男性の歓声の比率がＲＢとなり、女性の歓声の比率がＲＤとなるように、男性の声と女性の声が混ざった歓声を、観客の応答音声、応答音として出力する。ユーザの性別が女性であるため、例えば男性の歓声の比率ＲＢを高くし、女性の歓声の比率ＲＤを低くする。
【０１５８】
例えば図１６（Ａ）の特徴量解析により、ユーザの年齢層を判別してもよい。そしてユーザの年齢層が若年層である場合には、若年層用の歓声を、観客の応答音声、応答音として出力する。一方、ユーザの年齢層が高齢層である場合には、高齢層用の歓声を、観客の応答音声、応答音として出力する。
【０１５９】
このようにユーザの音声の特徴を解析し、それに応じた応答音声、応答音を出力すれば、観客の歓声等に、ユーザの性別、年齢層等の特徴が反映されるようになるため、ユーザの仮想現実感を更に向上できる。なお、ユーザ音声の特徴を抽出し、その特徴に応じた加工処理を応答音声、応答音に施すようにしてもよい。例えばユーザ音声における母音の並びだけを抽出し、その母音の並びと同じような母音の並びとなるように、歓声等の応答音声、応答音を加工する。即ち、いわゆるボコーダー（ｖｏｃｏｄｅｒ）のような加工処理を行う。このようにすれば、ユーザ音声の特徴を、より直接的に歓声等に反映させることが可能になる。
【０１６０】
また本実施形態では、ユーザが手に持つマイク１６２の位置、方向（或いは手の位置、方向）、ユーザが装着するＨＭＤ２００の位置、方向、ユーザの姿勢、或いはユーザの視線などに応じて、応答音声、応答音を変化させる処理を行ったり、或いは応答音声、応答音を出力する処理を行ったり、或いは応答音声、応答音を出力させるためのユーザ音声の入力を受け付ける処理を行うようにしてもよい。
【０１６１】
例えば本実施形態のゲームでは、図６、図７で説明したように、ユーザＰＬが観客に対して様々なアクションを行い、そのアクションの結果が評価される。例えば図１７ではユーザＰＬは、視線ＶＬＰを観客ＡＤの方に向けると共に、マイク１６２を観客ＡＤの方に向けるアクションを行っている。そしてマイク１６２に向かって歓声や掛け声を出すように促している。ユーザＰＬがこのようなアクションを行うことで、観客ＡＤの熱狂度パラメータ（盛り上がり度パラメータ）が上昇して、ユーザＰＬのパフォーマンスが高く評価されるようになる。
【０１６２】
例えば図１７において、マイク１６２、ＨＭＤ２００の位置、方向（位置及び方向の少なくとも一方）は、図２（Ａ）、図２（Ｂ）等で説明したマイク１６２、ＨＭＤ２００のトラッキング処理等により検出できる。例えば図２（Ａ）において入力装置１６０−１の位置、方向を検出することで、マイク１６２の位置、方向を検出できる。なおマイク１６２を持つユーザＰＬの手の位置、方向を検出して、マイク１６２の位置、方向を検出してもよい。またＨＭＤ２００の位置、方向を検出することで、図１７の視線ＶＬＰの方向や、ユーザの視線ＶＬＰの注視対象などを検出できる。
【０１６３】
ユーザＰＬの姿勢は、図２（Ａ）のＨＭＤ２００の第１の位置と、入力装置１６０−１の第２の位置と、入力装置の１６０−２の第３の位置に基づいて検出できる。即ち、これらの第１、第２、第３の位置に基づいて、ユーザの概略的な姿勢の状態を検出できる。なお、ユーザの姿勢を検出するモーションセンサを設けて、当該モーションセンサに基づいてユーザの姿勢を検出してもよい。例えばモーションセンサである撮像センサ（カラー画像センサ、デプスセンサ等）により取得されたカラー画像とデプス情報に基づいて、ユーザのスケルトンの形状を推定して、ユーザの姿勢を検出してもよい。
【０１６４】
そして図１７において、ユーザＰＬが視線ＶＬＰ（ＨＭＤ２００の視線）を観客ＡＤに向けて注視しているか否かに応じて、観客ＡＤの歓声、拍手等の応答音声、応答音を変化させる。またユーザＰＬが、マイク１６２の方向（指向方向）を観客ＡＤに向けているか否かに応じて、観客ＡＤの歓声、拍手等の応答音声、応答音を変化させる。或いは、図１７に示すユーザＰＬのしゃがみ姿勢などのパフォーマンスのための姿勢をとったか否かに応じて、観客ＡＤの歓声、拍手等の応答音声、応答音を変化させる。
【０１６５】
例えば、ユーザＰＬが呼びかけなどの音声をマイク１６２に入力した後に、視線ＶＬＰを観客ＡＤの方に向けたり、マイク１６２を観客ＡＤの方に向けたり、パフォーマンスのための姿勢をとった場合には、観客ＡＤの歓声、掛け声、足踏み音又は拍手等の応答音声、応答音を、より熱狂的に盛り上がった状態を表す応答音声、応答音に変化させる。このようにすれば、ユーザＰＬの視線ＶＬＰの方向や、マイク１６２を向けた方向や、姿勢などに応じて、観客の応答音声、応答音がインタラクティブに変化するようになるため、ユーザＰＬの仮想現実感を更に向上できるようになる。
【０１６６】
また例えば図１２では、ユーザ音声の音量が音量レベルＬＶ１を越えてから所与の時間ＴＤ１の経過後に、応答音声、応答音を出力する制御について説明したが、本実施形態はこれに限定されない。例えば応答音声、応答音の出力制御（出力タイミング制御等）を、マイク１６２やＨＭＤ２００の位置や方向、ユーザの姿勢、或いはユーザの視線に基づいて行うようにしてもよい。例えば図１７においてユーザＰＬが呼びかけなどの音声をマイク１６２に入力した後、マイク１６２を観客ＡＤの方に向けたり、ＨＭＤ２００の方向（ユーザの視線）を観客ＡＤの方に向けたり、或いはユーザが所定の姿勢をとった場合に、観客ＡＤによる歓声、拍手等の応答音声、応答音を出力するようにしてもよい。
【０１６７】
或いは、ユーザ音声の入力を受け付けるか否かを、マイク１６２、ＨＭＤ２００の位置や方向、ユーザの姿勢、或いはユーザの視線などに基づいて判断してもよい。
【０１６８】
例えば図２（Ａ）において、ＨＭＤ２００の位置は、ユーザＰＬの頭部（口）の位置に対応していると考えることができる。従って、マイク１６２とＨＭＤ２００（頭部、口）の距離が近いと判断されたり、マイク１６２の方向（指向方向）がＨＭＤ２００（頭部、口）の方を向いていると判断された場合には、ユーザＰＬがマイク１６２に対して呼びかけなどの音声を入力しようとしていると判断できる。従って、この場合には、ユーザ音声の入力を受け付ける。即ちマイク入力（マイクの入力チャンネル）をオンにする。一方、マイク１６２とＨＭＤ２００の距離が遠い場合や、マイク１６２の方向（指向方向）がＨＭＤ２００の方を向いていない場合には、ユーザＰＬには、呼びかけなどの音声を入力する意思が無いと判断できる。従って、この場合には、ユーザ音声の入力を受け付けず、マイク入力をオフにする。こうようにマイク入力をオフにすることで、マイク１６２の方向（指向方向）が実世界のスピーカの方に向いてしまい、ハウリングなどが発生するのも防止できるようになる
また本実施形態では、ユーザの過去のプレイ履歴の情報に基づいて、応答音声、応答音を変化させてもよい。例えば図１８（Ａ）にプレイ履歴の情報の一例を示す。このプレイ履歴では、ユーザが図６、図７のゲームをプレイした年月日及び時間が記録されている。このプレイ履歴の情報は、図１の記憶部１７０に保存した後、ネットワークを介してサーバシステムに送信することが望ましい。
【０１６９】
そしてユーザが、例えばユーザ情報等が記憶されたＩＣカード（図１の携帯情報記憶媒体１９５）を所持して、シミュレーションシステムのカードリーダなどにタッチ操作すると、ユーザのプレイ履歴の情報がサーバシステムから転送され、図１の記憶部１７０に記憶される。そして、このプレイ履歴の情報を記憶部１７０から読み出し、読み出されたプレイ履歴の情報に基づいて、応答音声、応答音を変化させる処理を行う。
【０１７０】
例えばユーザが、当該シミュレーションシステムでのゲームを、長らくプレイしていないと、プレイ履歴の情報に基づき判断された場合には、図１８（Ｂ）のような応答音声ファイルを選択する。そして観客の歓声の中に、「久しぶり」、「待ってたよ」などの音声がミックスされるように、応答音声、応答音の加工処理を行う。このようにすれば、ユーザの過去のプレイ履歴に応じて、観客の応答音声、応答音が様々に変化するようになり、より人間身が感じられる応答音声、応答音を出力できるようになる。
【０１７１】
図１９（Ａ）は音データ記憶部１７５についての説明図である。図１９（Ａ）に示すように音データ記憶部１７５は、複数の音データＳＤ１、ＳＤ２、ＳＤ３、ＳＤ４・・・を記憶している。そして本実施形態では、音データ記憶部１７５に記憶される複数の音データ（音データファイル）の中から使用する音データを選択する処理を行うことで、応答音声又は応答音の出力処理を実現している。例えばユーザ音声の測定結果に基づいて、複数の音データの中から、測定結果に対応する音データを選択する。例えばユーザ音声の音量や長さが測定された場合に、それに応じた音データを選択し、選択された音データに基づく再生処理を行って、応答音声、応答音として出力する。或いは、観客等のターゲットの種類、ターゲットとユーザとの位置関係、ターゲットに対するユーザの視線方向、ユーザ音声の特徴量の解析結果、マイク１６２の位置、方向、ユーザの姿勢、或いはユーザの視線などに応じて、選択する音データを異ならせてもよい。
【０１７２】
また本実施形態では、図１９（Ｂ）に示すように、音データ記憶部１７５から読み出された複数の音データを組み合わせる処理を行うことで、応答音声、応答音を出力する。例えば複数の音データを組み合わせるミキシング処理を行って、応答音声、応答音として出力する。この場合に、ユーザ音声の測定結果に基づいて、音データの組合わせを変化させて、応答音声、応答音として出力する。例えばユーザ音声の音量や長さが測定された場合に、それに応じた音データの組合わせ処理（ミキシング処理）を行って、応答音声、応答音として出力する。或いは、観客等のターゲットの種類、ターゲットとユーザとの位置関係、ターゲットに対するユーザの視線方向、ユーザ音声の特徴量の解析結果、マイク１６２の位置、方向、ユーザの姿勢、或いはユーザの視線などに応じて、音データの組合わせを変化させて、応答音声、応答音として出力してもよい。
【０１７３】
２．４  ユーザ音声の受け付けタイミング
さて、ユーザにより入力されたユーザ音声に対して、応答音声、応答音を出力する場合、当該ユーザ音声の受け付けタイミングについても考慮する必要がある。
【０１７４】
例えば本実施形態では、マイク１６２により入力されたユーザ音声に対する評価処理を行っている。具体的には、ユーザがマイク１６２を使って歌を唄った場合に、その歌の評価処理（採点処理）を行う。
【０１７５】
例えば図２０（Ａ）に示すように、歌詞や歌の音程表示がユーザに映し出される。この音程表示は、評価処理の基準（お手本）となる音程を、ユーザが視覚的に把握するためのものである。また、この音程表示により、評価処理の基準（お手本）となるリズムについても、ユーザは把握できる。なお、このような音程表示については行わずに、歌詞だけを表示するようにしてもよい。
【０１７６】
そしてユーザが歌を唄った場合に、図２０（Ｂ）に示すような音程、リズムの基準データとの比較処理が行われる。即ち、ユーザがマイク１６２を用いて入力した歌声の情報から、ユーザの歌の音程、リズムのデータを抽出する処理を行う。そして、抽出されたユーザの音程、リズムのデータと、音程、リズムの基準データとの比較処理を行うことで、ユーザの歌（ボーカル演奏）の評価処理を行う。このようにすれば、ユーザの歌の上手さを適正に評価できるようになる。なお、音程、リズムの基準データに加えて、音量の基準データを用意し、ユーザのボーカル音量のコントロールの上手さ（抑揚）についても評価するようにしてもよい。
【０１７７】
そして本実施形態では、このようなユーザの歌声等のユーザ音声に対する評価処理が行われる期間では、応答音声、応答音を出力させるためのユーザ音声の入力、即ち、コール＆レスポンス用のユーザ音声の入力を受け付けないようにする。具体的には図２１に示すように、ユーザが歌唱中であり、ユーザの歌を評価している期間では、Ｃ＆Ｒ用（コール＆レスポンス用）のユーザ音声の入力を受け付けないようにする。そして、このような歌の評価期間以外の期間において、Ｃ＆Ｒ用のユーザ音声の入力を受け付ける。具体的には図２１に示すように、前奏期間や間奏期間において、Ｃ＆Ｒ用のユーザ音声の入力を受け付ける。そして、このようなユーザ音声の入力に対して、図９〜図１９（Ｂ）で説明した手法により、その応答音声、応答音を出力するようにする。
【０１７８】
例えばユーザが歌唱中である歌の評価期間においては、ユーザは、その歌の歌詞を構成する言葉を、マイク１６２に入力することになる。そして、この言葉の音声に反応して、図９等のような歓声等の応答音声、応答音が出力されてしまうと、歌の評価処理の妨げになったり、ユーザの不自然感を招くという問題がある。
【０１７９】
この点、図２１では、ユーザが歌唱中である歌の評価期間では、Ｃ＆Ｒ用のユーザ音声の入力は受け付けられず、それに対応する応答音声、応答音は出力されない。そして、このような評価期間以外の期間においてだけ、Ｃ＆Ｒ用のユーザ音声の入力が受け付けられて、応答音声、応答音が出力される。従って、上記のように応答音声や応答音が歌の評価処理の妨げになったり、ユーザの不自然感を招くという問題の発生を防止できる。
【０１８０】
３．詳細な処理
次に本実施形態の詳細な処理例について図２２のフローチャートを用いて説明する。
【０１８１】
まずＣ＆Ｒ用（コール＆レスポンス用）のユーザ音声入力の受け付け期間か否かを判断する（ステップＳ１）。そして図２１で説明したように、受付期間（前奏期間、間奏期間等）ではない場合には、Ｃ＆Ｒ用のユーザ音声入力を受け付けない。一方、受け付け期間である場合には、当該ユーザ音声入力を受け付けて、ユーザ音声の音量及び長さの測定処理を行う（ステップＳ２）。そして測定処理の結果に基づいて、応答音声又は応答音の音データを選択する処理を行う（ステップＳ３）。即ち、図１０〜図１２で説明したように、ユーザ音声の音量及び長さに応じて、応答音声又は応答音を異ならせる処理を行う。
【０１８２】
次に、観客等のターゲットの情報（位置関係等）、ユーザ音声の特徴量（性別、年齢層等）、マイク１６２やＨＭＤ２００の位置、ユーザの姿勢、ユーザの視線、ユーザのプレイ履歴等に基づいて、応答音声又は応答音の変化処理（加工処理）を実行する（ステップＳ４）。即ち図１３（Ａ）〜図１７で説明したような応答音声又は応答音の変化処理を実行する。そして変化処理後（加工処理後）の応答音声又は応答音を出力する（ステップＳ５）。
【０１８３】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（音入力装置、ターゲット、移動可能範囲等）と共に記載された用語（マイク、観客、プレイエリア等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またユーザ音声の取得処理、ユーザ音声の測定処理、応答音声、応答音の出力処理、応答音声、応答音の変化処理、ユーザ音声入力の受け付け処理や、シミュレーションシステムの構成等も、本実施形態で説明したものに限定されず、これらと均等な手法・処理・構成も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲーム装置、家庭用ゲーム装置、又は多数のユーザが参加する大型アトラクションシステム等の種々のシミュレーションシステムに適用できる。
【符号の説明】
【０１８４】
１００  処理部、１０２  入力処理部、１１０  演算処理部、１１１  ゲーム処理部、
１１２  ゲーム進行処理部、１１３  評価処理部、１１４  キャラクタ処理部、
１１５  パラメータ処理部、１１６  オブジェクト空間設定部、
１１７  仮想カメラ制御部、１１８  ゲーム成績演算部、１１９  測定処理部、
１２０  表示処理部、１３０  音処理部、１３２  応答音処理部、
１４０  出力処理部、１５０  撮像部、１５１、１５２  カメラ、
１６０（１６０−１、１６０−２）  入力装置、１６１  音入力装置、
１６２  マイク、１７０  記憶部、１７２  空間情報記憶部、１７４  楽曲情報記憶部、
１７５  音データ記憶部、１７６  パラメータ記憶部、１７８  描画バッファ、
１８０  情報記憶媒体、１９２  音出力部、１９４  Ｉ／Ｆ部、
１９５  携帯型情報記憶媒体、１９６  通信部、
２００  ＨＭＤ（頭部装着型表示装置）、２０１〜２０３  受光素子、２１０  センサ部、
２２０  表示部、２３１〜２３６  発光素子、２４０  処理部、２６０  ヘッドバンド、
２８０、２８４  ステーション、２８１、２８２、２８５、２８６  発光素子、
２９０、２９２照明器具、３０１〜３０４  壁、３０５  天井、３０６  ドア、
３１１〜３１５  防音材、３３０、３３１  フロントスピーカ、３３２  リアスピーカ、
３３３、３３４、リアスピーカ、３３５  ウーハー、
【図１】
0006515057.tif 000002
【図２】
0006515057.tif 000003
【図３】
0006515057.tif 000004
【図４】
0006515057.tif 000005
【図５】
0006515057.tif 000006
【図６】
0006515057.tif 000007
【図７】
0006515057.tif 000008
【図８】
0006515057.tif 000009
【図９】
0006515057.tif 000010
【図１０】
0006515057.tif 000011
【図１１】
0006515057.tif 000012
【図１２】
0006515057.tif 000013
【図１３】
0006515057.tif 000014
【図１４】
0006515057.tif 000015
【図１５】
0006515057.tif 000016
【図１６】
0006515057.tif 000017
【図１７】
0006515057.tif 000018
【図１８】
0006515057.tif 000019
【図１９】
0006515057.tif 000020
【図２０】
0006515057.tif 000021
【図２１】
0006515057.tif 000022
【図２２】
0006515057.tif 000023