(57)【要約】【課題】  従来の音像定位方法では不十分であった、映像内の移動体や視点の移動（変更）に伴って、音源の音像を定位することが可能な音像定位方法及びこれを用いたゲーム機などを提供する。【解決手段】  再生される映像内の移動体の動き及び／又は映像の視点の動きに連動して、音源との相対位置を検出し、音像定位におけるパラメータを逐次変更することによって、移動体及び／又は視点の動きに連動した正確な音像定位を行う。【選択図】        図６
2007050267.tif 000002
【特許請求の範囲】
【請求項１】
ゲームソフトを再生して、その映像を表示する手段と、
前記映像に付随した少なくとも２チャンネルの音声を再生する手段と、
前記映像内の視点対象となる移動体の動きに対応するパラメータを入力するための入力手段と、
前記入力手段により入力されたパラメータに応じて前記移動体と音源との相対位置を算出する算出手段と、
前記算出手段により算出された前記相対位置を用いて、音像定位を行う音像定位処理手段とを、
有するゲーム装置。
【請求項２】
映像及び前記映像に付随した少なくとも２チャンネルの音声を再生する再生装置用の音像定位プログラムの記録された記録媒体であって、
ユーザが入力する前記映像内の視点対象となる移動体の動きに対応するパラメータを受け入れるステップと、
受け入れられたパラメータに応じて前記視点と音源との相対位置を算出する算出ステップと、
算出された前記相対位置を用いて、音像定位を行う音像定位処理ステップを、
有する音像定位方法のプログラムをコンピュータが読み取り可能な形態で記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音像定位方法に関し、特にゲームの映像のように、映像の視点の対象となる移動体の変化に伴う音像定位技術を利用したゲーム装置び音像定位プログラムの記録された記録媒体に関する。
【背景技術】
【０００２】
従来、ゲーム機において、視点が固定した場面で音源の位置を定位させたり移
動の方向がわかるように２つのスピーカを用いた音像定位処理が行われている（
例えば本出願人会社の特許２８８２４４９号）。しかし、ハードウェアの処理能
力の向上及び画像処理技術が進むに従って、視点の移動や回転が行われるように
なり（例えば、特開平６−２０５８７９号公報、特開平９−１６７２５８号公報
、特開平９−８３６２６１号公報）、視点の変化により音響が不自然にならない
ように処理することが考えられるようなった（例えば、特開平１０−１３７４４
５号公報）。
【０００３】
ところが、この特開平ｌ０−１３７４４５号公報では複数の視点のうちいずれ
か一つの視点から空間を観察することにより得られる仮想画像に対応させた音響
を生成することができるが、その手法は波形データの選択と加工あるいは左右音
声のバランスによるものであるから個々の音源をきめこまかく定位させることは
できなかった。また、この手法では画面中を自由に移動させる操作部の操作に応
じて個々のキャラクタが発する音源をきめこまかく定位させることはできなかっ
た。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前述のように、従来ゲームなどでは、固定された映像シーンに対して、移動体
が発する音の音像を任意に定位させることが行われていた。近年、ゲームなどで
は、画面の移動や回転をリアルタイムに自由に制御することが可能となっており
、従来の音像定位方法では不十分となってきた。したがって、本発明は従来の音
像定位方法では不十分であった、映像内の移動体や視点の移動（変更）に伴って
、音源の音像を定位することが可能な音像定位方法及びこれを用いたゲーム機な
どを提供することを目的とする。なお、本発明で「視点」とは３Ｄ（３次元）映
像構成する際の見る位置（カメラ位置）すなわち、野球ゲームにおけるバッター
の目の位置から見た映像におけるバッターの目の位置の他に、ゲームを行うユー
ザの映像（２次元でもよい）、すなわち映像表示画面に対する目の位置の双方を
含む概念である。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明では再生される映像内の視点の対象となる移動体の動きに連動して、音源（発音体）との相対位置（方向、距離など）を検出し、音像定位におけるパラメータを逐次変更することによって、移動体の動きに連動した正確な音像定位を行うようにしている。
【０００６】
すなわち、本発明によれば、ゲームソフトを再生して、その映像を表示する手段と、
前記映像に付随した少なくとも２チャンネルの音声を再生する手段と、
前記映像内の視点対象となる移動体の動きに対応するパラメータを入力するための入力手段と、
前記入力手段により入力されたパラメータに応じて前記移動体と音源との相対位置を算出する算出手段と、
前記算出手段により算出された前記相対位置を用いて、音像定位を行う音像定位処理手段とを、
有するゲーム装置が提供される。
【０００７】
また本発明によれば、映像及び前記映像に付随した少なくとも２チャンネルの音声を再生する再生装置用の音像定位プログラムの記録された記録媒体であって、
ユーザが入力する前記映像内の視点対象となる移動体の動きに対応するパラメータを受け入れるステップと、
受け入れられたパラメータに応じて前記視点と音源との相対位置を算出する算出ステップと、
算出された前記相対位置を用いて、音像定位を行う音像定位処理ステップを、
有する音像定位方法のプログラムをコンピュータが読み取り可能な形態で記録した記録媒体が提供される。
【発明の効果】
【０００８】
以上説明したように本発明によれば、再生される映像内の視点対象となる移動体の動きに連動して、音源（発音体）との相対位置（方向、距離など）を検出し、音像定位におけるパラメータを逐次変更することによって、移動体の動きに連動した正確な音像定位を行うことができる。
【発明を実施するための最良の形態】
【０００９】
以下図面に沿って本発明の実施の形態について説明する。まず実施の形態につ
いて詳述する前に、本発明の概念を示す図ｌに沿って説明する。図１において、
ゲーム機などの制御装置１は、映像出力表示装置２に映像信号を与えて所望の映
像を再生するものであり、映像の視点の制御指示を行うジョイスティック、キー
ボードなどの入力装置３から入力される指令信号に応答し、ＣＰＵ（演算処理装
置）４が所定の動作を行うよう構成されている。音源データ及び定位パラメータ
格納メモリ５にはこれらのデータとパラメータがあらかじめ格納されている。一
対の再生スピーカ６Ｌ、６Ｒは、映像出力表示装置２の左右に配置され左チャン
ネルと右チャンネルの音声を再生する。
【００１０】
今、入力装置３により視点の変更や画面の移動が指示されるとＣＰＵ４により
具現される視点変更指示処理部４Ｂによって視点変更が検出され、ＣＰＵ４によ
り具現される表示映像変更処理部４Ａが視点に応じた画像処理を行い、映像出力
表示装置２に更新された画像を表示する。また、視点変更指示処理部４Ｂは、Ｃ
ＰＵ４により具現される視点と音源との相対位置（方向、距離など）算出部４Ｃ
に相対位置算出を指示する。視点と音源との相対位置算出部４Ｃは入力装置３か
らの入力に応じた視点と音源との相対位置を逐次算出し、ＣＰＵ４により具現さ
れる音像定位処理部４Ｄに相対位置に応じた定位パラメータ（定位フィルタなど
）を設定する。
【００１１】
このような概念で、視点の動きに連動した正確な音像定位が可能となる。次に
音像定位処理部４Ｄの具体例を説明する。図２は一般的な２チャンネル再生フィ
ルタのブロック図である。図２の下に示す一対のスピーカＬ1、Ｌ2の再生システ
ムにおいて、聴取者の左右の耳までのインパルス応答をそれぞれｈl，r1（ｔ）
，ｈl，r2（ｔ）、スピーカＬ1、Ｌ2ヘの入力信号をｘ1（ｔ），ｘ2（ｔ）とす
ると、両耳で再生される音圧ｐl（ｔ），ｐr（ｔ）は次式で表される。
ｐl（ｔ）＝ｘ1（ｔ）＊ｈl1（ｔ）＋ｘ2（ｔ）＊ｈl2（ｔ）
ｐr（ｔ）＝ｘ1（ｔ）＊ｈr1（ｔ）＋ｘ2（ｔ）＊ｈr2（ｔ）      （１）
今、図２に示すように、自由音場内の任意の位置Ｐの単一音源と両耳とのインパ
ルス応答をそれぞれｆl（ｔ），ｆr（ｔ）とし、図２の再生システムでこのｆl
（ｔ），ｆr（ｔ）を再現することを考えると、ｐl（ｔ）＝ｆl（ｔ），ｐr（ｔ
）＝ｆr（ｔ）となるので式（ｌ）は
ｆl（ｔ）＝ｘ1（ｔ）＊ｈl1（ｔ）＋ｘ2（ｔ）＊ｈl2（ｔ）
ｆr（ｔ）＝ｘ1（ｔ）＊ｈr1（ｔ）＋ｘ2（ｔ）＊ｈr2（ｔ）      （２）
となる。
【００１２】
式（２）の両辺をフーリエ変換すると次式が得られる。
Ｆl（ω）＝Ｘ1（ω）Ｈl1（ω）＋Ｘ2（ω）Ｈl2（ω）
Ｆr（ω）＝Ｘ1（ω）Ｈr1（ω）＋Ｘ2（ω）Ｈr2（ω）      （３）
スピーカＬ1、Ｌ2への入力信号は周波数領域で次式のようになる。
【００１３】
【数１】
2007050267.tif 000003
（４）
【００１４】
ここで、
Ｄ（ω）＝Ｈl1（ω）Ｈr2（ω）−Ｈr1（ω）Ｈl2（ω）      （５）
したがって、時間領域の信号はその逆フーリエ変換で得られ、次式で表される。
ｘ1（ｔ）＝［ｆl（ｔ）＊ｈr2（ｔ）−ｆr（ｔ）＊ｈl2（ｔ）］＊ｄ（ｔ）  
ｘ2（ｔ）＝［ｆr（ｔ）＊ｈl1（ｔ）−ｆl（ｔ）＊ｈr1（ｔ）］＊ｄ（ｔ）
（６）
ここで、ｄ（ｔ）はＤ（ω）を逆フーリエ変換したものである。また解が１つ
に決まるためには、すべての周波数領域にわたってＤ（ω）≠０となることが必
要十分な条件である。
【００１５】
式（６）から２チャンネル再生フィルタのブロック図を書くことができ、一例
として図２のようになる。このように定位させたい位置のインパルス応答ｆl（
ｔ）、ｆr（ｔ）及び再生系のインパルス応答ｈl'rl（ｔ），ｈl'r2（ｔ）をあ
らかじめ用意しておけば、図２のブロック図により音源の所定位置Ｐへの定位が
可能となる。したがって、図２のブロック図において定位させたい方向の数だけ
ｆl（ｔ）、ｆr（ｔ）の対を用意しておき（ｆl0（ｔ）．．．．．ｆlm（ｔ），
ｆr0（ｔ）．．．．．ｆrm（ｔ））、方向によってｆlm（ｔ）、ｆrm（ｔ）を切
り替えるようにすれば定位位置を任意に変更することが可能となり、またｆlm（
ｔ）、ｆrm（ｔ）を連続的に変更すれば音源の移動も可能となる。この場合に用
いられる構成のブロック図を図３に示す。そこで音源を複数に拡張させることを
考える。
【００１６】
図３のブロックを複数個用意すれば、複数の音源を任意の位置に定位及び移動
させることができる。この場合に用いられる構成のブロック図を図４に示す。図
４の構成は図３に示す構成を複数個（ｍ個）用意したものである。図４の構成で
はｆlm（ｔ）、ｆrm（ｔ）を切り替えるときに発生する信号の不連続によるノイ
ズを軽減するためにクロスフェード処理を付加してある。クロスフェード処理は
、現在の定位位置の処理と前回の定位位置の処理を並列に行い、この２つの結果
をクロスフェードすることによって実現している。この原理を図５に示す。した
がって、図４のブロックでは、クロスフェード処理のためにｆlm（ｔ）、ｆrm（
ｔ）を処理する部分をそれぞれ２組用意している。この図４に示す構成が本発明
の音像定位方法を実現する図１の概念図の音像定位処理部４Ｄの具体例となる。
図４に示すように各再生フィルタの出力に残響処理などの処理を組み込み、音場
を拡大するようにしてもよい。
【００１７】
図６に本発明の音像定位方法の好ましい実施の形態のフローチャートを示す。
すなわち、このフローチャートは図１に示すＣＰＵ４の動作を示すものである。
図６において、入力装置から入力される視点変更をポーリングし（ステップＳ１
）、視点変更があれば（ステップＳ２でＹｅｓ）、視点変更に応じた表示映像を
処理し（ステップＳ３）、視点と音源の相対位置（方向、距離など）を算出し、
（ステップＳ４）、算出された相対位置に応じた定位パラメータで音像定位処理
を行う（ステップＳ５）。この部分が視点が移動した場合の処理にあたり、この
処理のイメージ図を図７に示す。
【００１８】
次にステップＳ２においてＮｏであった場合を含めて、ユーザが入力装置から
指定した場合などにおける移動すべき音源があれば（ステップＳ６でＹｅｓ）、
音源の移動に応じた表示映像を処理し（ステップＳ７）、視点と音源との相対位
置（方向、距離など）を算出し（ステップＳ８）、算出された相対位置に応じた
定位パラメータで音像定位処理を行う（ステップＳ９）。この部分が音源が移動
した場合の処理にあたり、この処理のイメージ図を図８に示す。次に終了かどう
かを判断する（ステップＳ１０）。終了であれば終了する。終了でなければステ
ップＳ１に戻る。なお、上記音像定位処理は、式（６）のようにＦｌＲフィルタ
で実現しているが、これを基にＩＩＲフィルタを用いて実現してもよく、これに
限るものではない。図６に示すフローチャートに基づいてＣＰＵ４を動作させる
ため、所定のコンピュータプログラムが記録（記憶）媒体に格納されているもの
とする。したがって、かかるコンピュータプログラムも本発明の範囲内にある。
【００１９】
なお、上記相対位置の算出は、視点変更と音源の移動のそれぞれについて別々
に行っているが、同時に行うようにしてもよく、これに限るものではない。
【００２０】
また、上記コンピュータプログラムデータをネットワークを介して伝送する場
合には、符号化側では図９に示すように伝送用にパケット化し（ステップＳ４１
）、次いでこのパケットの情報を含むパケットヘッダを付与し（ステップＳ４２
）、次いでこのパケットをネットワーク上に送り出す（ステップＳ４３）。なお
、（ステップＳ４３では、必要に応じて所定の変調を行う。ネットワークを介し
て送信されたコンピュータプログラムは、ゲーム機に付属するかあるいは、ゲー
ム機とは別個に用意された図示省略の受信装置により受信される。受信装置は所
定の復号装置を有していて、図１０に示すようにヘッダを除去し（ステップＳ５
１）、次いでデータを復元し（ステップＳ５２）、次いでこのデータをメモリに
格納して復号を待つ（ステップＳ５３）。
【００２１】
本発明によれば、視点の動き及び音源の移動に連動して音源定位パラメータを
決定し、このパラメータに基づいた音像定位及び移動が可能となる。また、パン
ポットなどの音量制御ではなく、頭部伝達関数を用いて定位を実現しているので
、正確な音像定位及び移動が可能である。図７に視点変更時の仮想空間と再生環
境のイメージ図を示す。視点を変更した場合、視点と音源の相対位置を検出して
、定位パラメータを決定するので、再生環境では、画面の移動に伴って音源の定
位が移動し、実世界で視点を移動したときと同様の音響の変化を知覚することが
できる。
【００２２】
また、図８に示すように視点は固定されており音源が移動する場合も、音源と
の相対位置を検出して、定位パラメータを決定するので、再生環境でも音源の移
動を知覚することができる。また、これら視点の移動、音源の移動は、同時に行
うことも可能である。したがって、本発明によれば、あたかも仮想空間にいるか
のような画像を観察し、それに対応する音響も聴くことができるので、臨場感溢
れる体感を得ることができる。なお、上記実施の形態は２チャンネルの場合につ
いて説明したが、本発明は２チャンネル以上の複数チャンネルの再生系に容易に
適用可能である。さらに、本発明の音像定位方法を実現するためのコンピュータ
プログラムをパケット化して伝送することにより遠方にいるユーザにコンピュー
タプログラムを伝送することができる。また、パケット化する際に、ゲームプロ
グラムと音像定位方法を実現するためのプログラムを一体にしてパケット化する
ことにより、両者を一度に伝送することもできる。
【図面の簡単な説明】
【００２３】
【図１】本発明音像定位方法を実現する音像定位装置の概念図である。
【図２】２チャンネル再生フィルタのブロック図である。
【図３】図２を定位位置変更可能としたものである。
【図４】音像定位処理部のブロック図である。
【図５】クロスフェード処理概念図である。
【図６】本発明のフローチャートである。
【図７】視点変更時のイメージ図である。
【図８】音源移動時のイメージ図である。
【図９】プログラム伝送方法を示すフローチャートである。
【図１０】プログラム伝送方法を示すフローチャートである。
【符号の説明】
【００２４】
１  制御装置（ゲーム機など）
２  映像出力表示装置（映像を表示する手段）
３  入力装置（ジョイスティック、キーボードなどであり入力手段を構成する
）
４  ＣＰＵ
４Ａ  表示映像変更処理部
４Ｂ  視点変更指示処理部
４Ｃ  視点と音源との相対位置算出部（算出手段）
４Ｄ  音像定位処理部（音像定位処理手段）
５  音源データ／定位パラメータ格納メモリ
６Ｌ  左チャンネル再生スピーカ
６Ｒ  右チャンネル再生スピーカ（左チャンネル再生スピーカと共に２チャン
ネルの音声を再生する手段を構成する）
【図１】
2007050267.tif 000004
【図２】
2007050267.tif 000005
【図３】
2007050267.tif 000006
【図４】
2007050267.tif 000007
【図５】
2007050267.tif 000008
【図６】
2007050267.tif 000009
【図７】
2007050267.tif 000010
【図８】
2007050267.tif 000011
【図９】
2007050267.tif 000012
【図１０】
2007050267.tif 000013