(57)【要約】【課題】マルチチャンネルスピーカを用いて再生した音場と同等な音場をヘッドホンで再生するゲーム機及びゲーム機用プログラムを提供する。【解決手段】ゲーム機用プログラムを供給する通信インターフェース１５０、ゲームをコントロールするためのコントローラ１２０、ゲーム機用プログラムを制御する制御部であって、コントローラからの制御信号に基づいて画像の視点変更や音源移動を行う手段を含むＣＰＵブロック１００、制御部による視点変更や音源移動に応じた表示映像処理を行うビデオブロック１４０、映像を表示するディスプレイ１８０と、視点と音源との相対位置に応じた再生チャンネルを決定し、決定された再生チャンネルにヘッドホン受聴を想定した音像定位処理を行うサウンドブロック１１０、音声出力を再生するヘッドホン１９０を備え、ヘッドホン再生によりスピーカによるマルチチャンネル再生と同等な音場を提供する。【選択図】        図１
2004215781.tif 000002
【特許請求の範囲】
【請求項１】
ゲーム機用プログラムを供給するゲーム機用プログラム供給手段と、
ゲームをコントロールするためのコントローラと、
前記ゲーム機用プログラムを制御する制御部であって、前記コントローラからの制御信号に基づいて画像の視点変更や音源移動を行う手段を含む制御部と、
前記制御部による視点変更や音源移動に応じた表示映像処理を行う表示映像処理部と、
前記表示映像処理部からの映像を表示する表示部と、
視点と音源との相対位置に応じた再生チャンネルを決定し、決定された再生チャンネルにヘッドホン受聴を想定した音像定位処理を行う音声処理部と、
前記音声処理部からの出力を再生するヘッドホンとを備え、
ヘッドホン再生によりスピーカによるマルチチャンネル再生と同等な音場を提供するよう構成されたゲーム機。
【請求項２】
ゲーム機の制御手段としてのコンピュータに、
視点変更又は音源移動に応じた表示映像処理を行う手順と、
視点と音源との相対位置を算出する手順と、
算出された相対位置に応じた再生チャンネルを決定する手順とを実行させて、
決定された再生チャンネルにヘッドホン受聴を想定した音像定位処理を行い、ヘッドホン再生によりスピーカによるマルチチャンネル再生と同等な音場を提供するためのゲーム機用プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声のマルチチャンネル再生が可能なゲーム機及びゲーム機用プログラムに関する。
【０００２】
【従来の技術】
従来、ゲーム機において、視点が固定した場面で音源の位置を定位させ移動の方向がわかるように２つのスピーカを用いた音像定位処理が行われている（例えば特許文献１参照）。
【０００３】
しかし、ハードウェアの処理能力の向上及び画像処理技術が進むに従って視点の移動や回転が行われるようになり（例えば、特許文献２、特許文献３、特許文献４参照）、視点の変化により音響が不自然にならないように処理することが考えられるようになった（例えば、特許文献５参照）。
【０００４】
また、ゲーム再生場面とユーザのコントロールに応じてゲーム機内でマルチチャンネル音声を生成後、音声圧縮技術により圧縮してビットストリーム化し、外部デコード機器を用いてビットストリームをデコードし、マルチチャンネルのスピーカを用いてゲーム画面とユーザのコントロールに応じた音響を生成するゲーム機及びソフトウェアもある。
【０００５】
【特許文献１】
特許２８８２４４９号公報
【特許文献２】
特開平６−２０５８７９号公報
【特許文献３】
特開平９−１６７２５８号公報
【特許文献４】
特開平９−８３６２６１号公報
【特許文献５】
特開平１０−１３７４４５号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、前述のようなゲーム再生場面とユーザのコントロールに応じたマルチチャンネル音声データをゲーム機内で生成するゲーム機において、臨場感のある音声を再生するためにはマルチチャンネルスピーカが必要であり、簡単にゲーム音声を楽しむことができない。
【０００７】
本発明は上述した点に鑑みてなされたもので、マルチチャンネル音声データをゲーム機内で信号処理することにより、マルチチャンネルスピーカを用いて再生した音場と同等な音場をヘッドホンで提供することを可能にし、ビットストリーム化及び復調用のエンコーダ及びデコーダを必要とせず、臨場感のある音声を楽しむことができるゲーム機及びゲーム機用プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
前記目的を達成するために、本発明に係るゲーム機は、ゲーム機用プログラムを供給するゲーム機用プログラム供給手段と、ゲームをコントロールするためのコントローラと、前記ゲーム機用プログラムを制御する制御部であって、前記コントローラからの制御信号に基づいて画像の視点変更や音源移動を行う手段を含む制御部と、前記制御部による視点変更や音源移動に応じた表示映像処理を行う表示映像処理部と、前記表示映像処理部からの映像を表示する表示部と、視点と音源との相対位置に応じた再生チャンネルを決定し、決定された再生チャンネルにヘッドホン受聴を想定した音像定位処理を行う音声処理部と、前記音声処理部からの出力を再生するヘッドホンとを備え、ヘッドホン再生によりスピーカによるマルチチャンネル再生と同等な音場を提供するものである。
【０００９】
また、本発明に係るゲーム機用プログラムは、ゲーム機の制御手段としてのコンピュータに、視点変更又は音源移動に応じた表示映像処理を行う手順と、視点と音源との相対位置を算出する手順と、算出された相対位置に応じた再生チャンネルを決定する手順とを実行させて、決定された再生チャンネルにヘッドホン受聴を想定した音像定位処理を行い、ヘッドホン再生によりスピーカによるマルチチャンネル再生と同等な音場を提供するものである。
【００１０】
【発明の実施の形態】
本実施の形態は、５．１チャンネルのマルチチャンネルを例として説明する。図１は、本発明を適用した実施の形態に係るゲーム機の全体ブロック図を示す。図１に示すように、本実施の形態に係るゲーム機は、ＣＰＵブロック１００、サウンドブロック１１０、遊戯者がゲームを制御するためのコントローラ（ジョイスティック、ゲームパッドなど）１２０、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのディスク読み出しを行うディスク（ＤＩＳＫ）ドライブ１３０、ゲーム画面の制御を行うビデオブロック１４０、通信インターフェース１５０などがバス１０６により結合されて構成される。
【００１１】
上記構成において、コントローラ１２０により視点の変更や画面の移動が指示されると、ＣＰＵブロック１００では、サブＣＰＵ１０２を経由してメインＣＰＵ用ＲＡＭ１０３にロードされたプログラムが視点変更を検出し、ビデオブロック１４０で視点変更に応じて生成された仮想画面は、映像出力端子１６０より映像信号としてディスプレイ１８０に供給され、画像が表示される。
【００１２】
メインＣＰＵ１０１は、視点と音源との相対位置（方向、距離など）を逐次算出し、その音源を、どのチャンネルから再生する必要があるかを決定する。また、音源が移動する場合は、複数チャンネル間のパンポット制御で実現する。
【００１３】
ゲーム画面に必要な全ての音源について再生チャンネルが決定されると、メインＣＰＵ１０１において、各再生チャンネルにヘッドホン受聴を想定した音像定位処理を行い、最終的に２チャンネルに合成して、ヘッドホン端子１７０に供給され、ヘッドホン１９０で再生される。
【００１４】
このような概念で、ゲーム画面とユーザのコントロールに応じた音像定位をヘッドホン１９０により簡単に聴取可能となる。
【００１５】
通信インターフェース１５０は、インターネットなどのネットワークからゲーム機用プログラムを供給するために設けられている。通信インターフェース１５０から供給されたゲーム機用プログラム及びデータは、メインＣＰＵ用ＲＡＭ１０３、サブＣＰＵ用ＲＡＭ１０４にロードされる。
【００１６】
次に、ヘッドホン１９０による音像定位の具体例を説明する。図２は、５チャンネル（メインＬ、メインＲ、センターＣ、サラウンドＳＬ、サラウンドＳＲ）再生を例とした再生ブロック図である。ここで、メインＬのスピーカを例とし、メインＬのスピーカをヘッドホン１９０で再現する方法を説明する。
【００１７】
メインＬのスピーカと左耳とのインパルス応答をｈｌｌ（ｔ）、右耳とのインパルス応答をｈｌｒ（ｔ）とする。図３は、ｈｌｌ（ｔ）、ｈｌｒ（ｔ）のインパルス応答（ＦＩＲフィルタ）の例を示す。メインＬのスピーカに供給される音声信号をｘｌ（ｔ）とすると、受聴者の両耳で再生される音圧ｐｌ（ｔ）、ｐｒ（ｔ）は次式で表される。
ｐｌ（ｔ）＝ｘｌ（ｔ）×ｈｌｌ（ｔ）
ｐｒ（ｔ）＝ｘｌ（ｔ）×ｈｌｒ（ｔ）          （１）
【００１８】
したがって、あらかじめスピーカと両耳とのインパルス応答ｈｌｌ（ｔ）、ｈｌｒ（ｔ）を用意しておき、スピーカヘの供給される音声信号ｘｌ（ｔ）を２系統に分け、各々のインパルス応答と畳み込み演算処理を行ってヘッドホン１９０を用いて再生すれば、受聴者の両耳には、式（１）の音圧が再現され、あたかも前方左側にスピーカＬが存在するかのように聴くことができる。このブロック図を図４に示す。
【００１９】
他のスピーカについても同様に、各スピーカと両耳とのインパルス応答を用意しておき、供給信号との畳み込み演算処理を行い、各耳毎に演算結果を加算し、ヘッドホン１９０を用いて再生すれば、前方３チャンネル、後方２チャンネルのマルチチャンネルスピーカ再生で生成される音場と同等な音場をヘッドホン１９０受聴で再現することが可能となる。
【００２０】
５．１チャンネルのヘッドホン１９０による音像定位再生のブロック図を図５に示す。なお、ＬＦＥチャンネルは、図５に示すように、ＬチャンネルとＲチャンネルにミックスする。
【００２１】
次に、各スピーカと両耳のインパルス応答の導出について、Ｌチャンネルスピーカを例に説明する。図６に示すように、Ｌチャンネルのスピーカを配置し、聴取位置にダミィヘッド又は実頭（実際の人の頭）を配置する。ダミィヘッド又は実頭の両耳に一対のマイクロホンを設置し、スピーカから測定信号を再生することによってインパルス応答を得ることができる。実際の測定方法としては、インパルス音、ホワイトノイズなどのランダムノイズ音を測定信号とし、パーソナルコンピュータで入出力の同期を制御することによって行う。
【００２２】
ホワイトノイズは連続的で、かつオーディオ再生帯域にわたってエネルギー分布が一定なので、ホワイトノイズを用いることによりＳＮ比が向上する。入力信号（ホワイトノイズ）の周波数応答をＸ（Ｓ）、被測定信号（測定データ）の周波数応答をＹ（Ｓ）、測定位置におけるインパルス応答の周波数応答をＩＲ（Ｓ）とすると、式（２）に示す入出力の関係がある。
Ｙ（Ｓ）＝ＩＲ（Ｓ）・Ｘ（Ｓ）          （２）
したがって、インパルス応答の周波数応答ＩＲ（Ｓ）は、式（３）に示すものとなる。
ＩＲ（Ｓ）＝Ｙ（Ｓ）／Ｘ（Ｓ）          （３）
【００２３】
よって、入力信号と被測定信号をそれぞれフーリエ変換し、式（３）よりインパルス応答の周波数応答ＩＲ（Ｓ）を求めることができる。求められたインパルス応答の周波数応答ＩＲ（Ｓ）をそれぞれ逆フーリエ変換することにより、Ｌチャンネルスピーカと両耳とのインパルス応答を求めることができる。このようにして、算出した各スピーカと両耳とのインパルス応答の例を図７に示す。
【００２４】
これら算出されたインパルス応答は、音像定位処理用データとして、図１に示すゲーム機のサブＣＰＵ用ＲＡＭ１０４にあらかじめ格納しておいてもよいし、ゲームソフトウェアを供給するＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭディスクに格納しておき、メインＣＰＵ用ＲＡＭ１０３に読み込んでもよい。また、通信インターフェース１５０から供給してもよい。
【００２５】
図８は、本発明の実施の形態にかかるゲーム機用プログラムの内容を示すフローチャートである。図８において、視点変更をポーリングし（Ｓ１）、視点変更があれば（Ｓ２でＹｅｓ）、視点変更に応じた表示映像を処理し（Ｓ３）、視点と音源の相対位置（方向、距離など）を算出し（Ｓ４）、算出された相対位置に応じた再生チャンネルの決定を行う（Ｓ５）。次に、ステップＳ２において、Ｎｏであった場合を含めて、移動すべき音源があれば（Ｓ６でＹｅｓ）、音源の移動に応じた表示映像を処理し（Ｓ７）、視点と音源との相対位置（方向、距離など）を算出し（Ｓ８）、算出された相対位置に応じた再生チャンネルの決定を行う（Ｓ９）。次に、終了かどうかを判断する（Ｓ１０）。
【００２６】
なお、上記音像定位処理は、式（１）のようにＦＩＲフィルタで実現しているが、これを基にＩＩＲフィルタを用いて実現しても良く、これに限るものではない。具体的には、本出願人の特許第２９００９８５号を用いることが可能である。ＩＩＲフィルタの実施の形態を図９に示す（特許第２９００９８５号公報の図１参照）。図９は、仮想的な空間に想定する仮想音源（本発明の場合、Ｌ、Ｃ、Ｒ、ＳＬ、ＳＲのスピーカ）から聴取者の左右の耳への伝達関数（インパルス応答）をモデル化した方向感（伝達特性）を合成する方向フィルタ（伝達特性合成手段）を示している。この音響的要素は、時間的要素、周波数的要素、音圧的要素を用い、時間的要素を遅延器、周波数的要素をローパスフィルタ（ＬＰＦ）（ＩＩＲフィルタ）、音圧的要素を乗算器により実現している。
【００２７】
また、音像定位処理は、本実施の形態ではメインＣＰＵ１０１で行っているが、サブＣＰＵ１０２、サウンドブロック１１０のＤＳＰ１１１で行っても構わない。
【００２８】
また、本実施の形態は、５．１チャンネルを例に説明しているが、７．１チャンネルを対象にしても可能であり、チャンネル数Ｍ（Ｍ：２以上）に限定されるものではない。図１０に、７．１チャンネル再生のブロック図、図１１には、７．１チャンネルのヘッドホン１９０による音像定位再生のブロック図を示す。図１０、図１１は、５．１チャンネルの場合の図２、図５にバックサラウンドチャンネルＢＳＬ、ＢＳＲを追加したものであり、これらバックサラウンドチャンネルと両耳とのインパルス応答をそれぞれｈｂｓｌｌ（ｔ）、ｈｂｓｌｒ（ｔ）、ｈｂｓｒｌ（ｔ）、ｈｂｓｒｒ（ｔ）としている。
【００２９】
上述したように、本発明の実施の形態によれば、ゲーム機内で生成された前方３チャンネル、後方２チャンネルなどのマルチチャンネルのゲーム音声を、ヘッドホン受聴を想定した音像定位処理を行うことにより、マルチチャンネルスピーカで再生した音場と等価な音場を２チャンネルのヘッドホンで提供することが可能となる。
【００３０】
また、ヘッドホン受聴のための音像定位処理をゲーム機内で行うためビットストリーム化及び復調するエンコーダ、デコーダを必要としない。したがって、あたかも仮想空間にいるかのような映像を観察し、それに対応する音響も聴くことができるので、臨場感溢れる体感をヘッドホン再生により得ることができる。
【００３１】
【発明の効果】
以上のように、本発明によれば、マルチチャンネル音声データをゲーム機内で信号処理することにより、マルチチャンネルスピーカを用いて再生した音場と同等な音場をヘッドホンで提供することができ、ビットストリーム化及び復調するエンコーダ、デコーダを必要とせず、臨場感のある音声を楽しむことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態におけるゲーム機の全体ブロック図
【図２】本発明の実施の形態に係る５．１チャンネル再生のブロック図
【図３】本発明の実施の形態に係るインパルス応答ｈｌｌ（ｔ）、ｈｌｒ（ｔ）の例を示す説明図
【図４】本発明の実施の形態に係るＬチャンネル信号の処理のブロック図
【図５】本発明の実施の形態に係る５．１チャンネルのヘッドホンによる音像定位再生のブロック図
【図６】本発明の実施の形態に係るスピーカと両耳のインパルス応答の測定ブロック図
【図７】本発明の実施の形態に係る各スピーカと両耳とのインパルス応答の例を示す説明図
【図８】本発明の実施の形態に係るフローチャート
【図９】本発明の実施の形態に係るＩＩＲフィルタ（特許第２９００９８５号公報の図１に相当）の説明図
【図１０】本発明の実施の形態に係る７．１チャンネル再生のブロック図
【図１１】本発明の実施の形態に係る７．１チャンネルのヘッドホンによる音像定位再生のブロック図
【符号の説明】
１００  ＣＰＵブロック
１０１  メインＣＰＵ
１０２  サブＣＰＵ
１０３  メインＣＰＵ用ＲＡＭ
１０４  サブＣＰＵ用ＲＡＭ
１０５  ＲＯＭ
１０６  バス
１１０  サウンドブロック
１１１  ＤＳＰ
１１２  ＤＳＰ用ＲＡＭ
１１３  音源部
１１４  ミキサ
１２０  コントローラ（ゲームパッド、ジョイスティックなど）
１３０  ディスク（ＤＩＳＫ）ドライブ
１４０  ビデオブロック
１５０  通信インターフェース（ネットワーク、モデムなど）
１６０  映像出力端子
１７０  ヘッドホン端子
１８０  ディスプレイ
１９０  ヘッドホン
【図１】
2004215781.tif 000003
【図２】
2004215781.tif 000004
【図３】
2004215781.tif 000005
【図４】
2004215781.tif 000006
【図５】
2004215781.tif 000007
【図６】
2004215781.tif 000008
【図７】
2004215781.tif 000009
【図８】
2004215781.tif 000010
【図９】
2004215781.tif 000011
【図１０】
2004215781.tif 000012
【図１１】
2004215781.tif 000013