(57)【特許請求の範囲】
【請求項１】
コンピュータ画像情報に含まれるオブジェクトを仮想音源として観測者に聞こえる音を模擬する模擬音発生装置であって、
前記模擬音発生装置は、
前記オブジェクトから発せられる音の情報を記憶するオブジェクトテーブルと、
仮想空間における所定の座標範囲に対応する複数のレイヤ毎に、音伝播媒体の特性情報を記憶する媒体特性テーブルと、
前記媒体特性テーブルに記憶されている前記座標範囲と、前記オブジェクトの座標情報と、前記観測者の座標情報とに基づいて、前記オブジェクトと前記観測者との間に存在する音伝播媒体のレイヤを順に特定するとともに、前記オブジェクトと観測者を結ぶ経路と各レイヤの境界との全ての交点を求め、特定したレイヤ毎の音伝播媒体の特性情報に基づいて、前記オブジェクトに最も近い交点において前記オブジェクトから発せられた音の観測量を求め、求めた観測量と同一の音が観測量を求めた交点から発せられたものとして、前記経路上の次の交点における観測量を求めることを前記観測者に最も近い交点まで繰り返し行い、前記観測者に最も近い交点において求められた観測量と同一の音が前記観測者に最も近い交点から発せられたものとして、前記観測者の位置における音の観測量を求めることにより、前記観測者の位置における前記オブジェクトから発せられる音の観測量を求める模擬音処理部と、
前記観測者の位置における前記オブジェクトから発せられる音の観測量に基づいて発生すべき音を発生する発音部と、
を備えたことを特徴とする模擬音発生装置。
【請求項２】
前記模擬音処理部は、
複数のオブジェクトから発せられた音を重ね合わせて前記観測量を求めることを特徴とする請求項１に記載の模擬音発生装置。
【請求項３】
前記媒体特性テーブルは、前記レイヤ毎に発生するノイズ音の測定量に基づくノイズ成分がさらに記憶されており、
前記模擬音処理部は、
前記媒体特性テーブルを参照して求めた前記オブジェクトと観測者との間で発生するノイズ成分の音を前記オブジェクトから発せられた音に重ね合わせて各レイヤにおける前記観測量を求めることを特徴とする請求項１または２のいずれかに記載の模擬音発生装置。
【請求項４】
オブジェクトから発せられる音の情報を記憶するオブジェクトテーブルと、仮想空間における所定の座標範囲に対応する複数のレイヤ毎に、音伝播媒体の特性情報を記憶する媒体特性テーブルとを備え、コンピュータ画像情報に含まれる前記オブジェクトを仮想音源として観測者に聞こえる音を模擬する模擬音発生装置における模擬音発生方法であって、
前記模擬音発生方法は、
前記媒体特性テーブルに記憶されている前記座標範囲と、前記オブジェクトの座標情報と、前記観測者の座標情報とに基づいて、前記オブジェクトと前記観測者との間に存在する音伝播媒体のレイヤを順に特定するとともに、前記オブジェクトと観測者を結ぶ経路と各レイヤの境界との全ての交点を求め、特定したレイヤ毎の音伝播媒体の特性情報に基づいて、前記オブジェクトに最も近い交点において前記オブジェクトから発せられた音の観測量を求め、求めた観測量と同一の音が観測量を求めた交点から発せられたものとして、前記経路上の次の交点における観測量を求めることを前記観測者に最も近い交点まで繰り返し行い、前記観測者に最も近い交点において求められた観測量と同一の音が前記観測者に最も近い交点から発せられたものとして、前記観測者の位置における音の観測量を求めることにより、前記観測者の位置における前記オブジェクトから発せられる音の観測量を求める模擬音処理過程と、
前記観測者の位置における前記オブジェクトから発せられる音の観測量に基づいて発生すべき音を発生する発音過程と、
を有することを特徴とする模擬音発生方法。
【請求項５】
前記模擬音処理過程は、
複数のオブジェクトから発せられた音を重ね合わせて前記観測量を求めることを特徴とする請求項４に記載の模擬音発生方法。
【請求項６】
前記媒体特性テーブルは、前記レイヤ毎に発生するノイズ音の測定量に基づくノイズ成分がさらに記憶されており、
前記模擬音処理過程は、
前記媒体特性テーブルを参照して求めた前記オブジェクトと観測者との間で発生するノイズ成分の音を前記オブジェクトから発せられた音に重ね合わせて各レイヤにおける前記観測量を求めることを特徴とする請求項４または５のいずれかに記載の模擬音発生方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、パーソナルコンピュータやゲーム機等において、コンピュータグラフィックスに連動して模擬音を発生させる模擬音発生装置及び模擬音発生方法に関する。
【０００２】
【従来の技術】
近年、ビデオゲーム機器やコンピュータシミュレーション機器等において、３次元のコンピュータグラフィックス（以下、ＣＧと称する）技術よってディスプレイ上に表示された対象画像（オブジェクト）を仮想音源とし、この仮想音源から音が発せられているように音像を定位させるサウンドシステムが開発されている。ところで、従来の３次元ＣＧシステムにおいては、少なくとも１つのポリゴンで構成されたオブジェクト各々のデータをオブジェクト毎に３次元オブジェクトデータとして持ち、アイポイントの変更に際しては、上位システムが３次元オブジェクトデータを更新するだけの操作を行い、オブジェクトのスクリーン座標系への変換は、専用のプロセッサが分担することにより、速やかなアイポイントの切換を行うようにしている。オブジェクトを構成するポリゴンは、一般的には三角形であり、シェーディングやテクスチャマッピング等に必要な面の方向の情報を提供すると共に、その大きさが曲面の表示の滑らかさを決定する。
【０００３】
一方、３次元ＣＧに連動するサウンドシステムでは、上位システムが３次元オブジェクトデータからオブジェクトの位置情報を算出し、その算出した位置情報及び音種情報に基づいて、音源処理装置が、指定された音種のモノラルオーディオ信号を生成し、この生成されたモノラルオーディオ信号に対して、遅延処理、フィルタリング、振幅制御等の各処理を施して２チャンネルまたは４チャンネルのステレオサウンドを生成することにより、観測者に聞こえる音を模擬する。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来のサウンドシステムにあっては、所定の遅延処理、フィルタリング、振幅制御を行うのみであったために、音源と観測者との間に存在する音伝播の媒体に応じて観測者における音の聞こえ方を制御することができないという問題がある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、音伝播の媒体特性を考慮して音源及び観測者の移動に伴う音の変化をリアルタイムで忠実に模擬することができる模擬音発生装置及び模擬音発生方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、コンピュータ画像情報に含まれるオブジェクトを仮想音源として観測者に聞こえる音を模擬する模擬音発生装置であって、前記模擬音発生装置は、前記オブジェクトから発せられる音の情報を記憶するオブジェクトテーブルと、仮想空間における所定の座標範囲に対応する複数のレイヤ毎に、音伝播媒体の特性情報を記憶する媒体特性テーブルと、前記媒体特性テーブルに記憶されている前記座標範囲と、前記オブジェクトの座標情報と、前記観測者の座標情報とに基づいて、前記オブジェクトと前記観測者との間に存在する音伝播媒体のレイヤを順に特定するとともに、前記オブジェクトと観測者を結ぶ経路と各レイヤの境界との全ての交点を求め、特定したレイヤ毎の音伝播媒体の特性情報に基づいて、前記オブジェクトに最も近い交点において前記オブジェクトから発せられた音の観測量を求め、求めた観測量と同一の音が観測量を求めた交点から発せられたものとして、前記経路上の次の交点における観測量を求めることを前記観測者に最も近い交点まで繰り返し行い、前記観測者に最も近い交点において求められた観測量と同一の音が前記観測者に最も近い交点から発せられたものとして、前記観測者の位置における音の観測量を求めることにより、前記観測者の位置における前記オブジェクトから発せられる音の観測量を求める模擬音処理部と、前記観測者の位置における前記オブジェクトから発せられる音の観測量に基づいて発生すべき音を発生する発音部とを備えたことを特徴とする。
【０００７】
本発明は、前記模擬音処理部は、複数のオブジェクトから発せられた音を重ね合わせて前記観測量を求めることを特徴とする。
【０００８】
本発明は、前記媒体特性テーブルは、前記レイヤ毎に発生するノイズ音の測定量に基づくノイズ成分がさらに記憶されており、前記模擬音処理部は、前記媒体特性テーブルを参照して求めた前記オブジェクトと観測者との間で発生するノイズ成分の音を前記オブジェクトから発せられた音に重ね合わせて各レイヤにおける前記観測量を求めることを特徴とする。
【０００９】
本発明は、オブジェクトから発せられる音の情報を記憶するオブジェクトテーブルと、仮想空間における所定の座標範囲に対応する複数のレイヤ毎に、音伝播媒体の特性情報を記憶する媒体特性テーブルとを備え、コンピュータ画像情報に含まれる前記オブジェクトを仮想音源として観測者に聞こえる音を模擬する模擬音発生装置における模擬音発生方法であって、前記模擬音発生方法は、前記媒体特性テーブルに記憶されている前記座標範囲と、前記オブジェクトの座標情報と、前記観測者の座標情報とに基づいて、前記オブジェクトと前記観測者との間に存在する音伝播媒体のレイヤを順に特定するとともに、前記オブジェクトと観測者を結ぶ経路と各レイヤの境界との全ての交点を求め、特定したレイヤ毎の音伝播媒体の特性情報に基づいて、前記オブジェクトに最も近い交点において前記オブジェクトから発せられた音の観測量を求め、求めた観測量と同一の音が観測量を求めた交点から発せられたものとして、前記経路上の次の交点における観測量を求めることを前記観測者に最も近い交点まで繰り返し行い、前記観測者に最も近い交点において求められた観測量と同一の音が前記観測者に最も近い交点から発せられたものとして、前記観測者の位置における音の観測量を求めることにより、前記観測者の位置における前記オブジェクトから発せられる音の観測量を求める模擬音処理過程と、前記観測者の位置における前記オブジェクトから発せられる音の観測量に基づいて発生すべき音を発生する発音過程とを有することを特徴とする。
【００１０】
本発明は、前記模擬音処理過程は、複数のオブジェクトから発せられた音を重ね合わせて前記観測量を求めることを特徴とする。
【００１１】
本発明は、前記媒体特性テーブルは、前記レイヤ毎に発生するノイズ音の測定量に基づくノイズ成分がさらに記憶されており、前記模擬音処理過程は、前記媒体特性テーブルを参照して求めた前記オブジェクトと観測者との間で発生するノイズ成分の音を前記オブジェクトから発せられた音に重ね合わせて各レイヤにおける前記観測量を求めることを特徴とする。
【００１２】
【発明の実施の形態】
以下、本発明の一実施形態による模擬音発生装置を図面を参照して説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、ビデオゲームやコンピュータシミュレーションにおいて、人間の視覚に対する画像を発生させる模擬視界発生部である。この模擬視界発生部１は、視界計算部１１、幾何計算部１２、ビデオ信号生成部１３、表示部１４からなる。符号２は、人間の聴覚に対する音を発生させる模擬音発生部である。この模擬音発生部２は、模擬音処理部２１、発音部２２からなる。符号３は、データベースであり、オブジェクトデータや音の情報が記録されている。このデータベースの情報は、ゲームやコンピュータシミュレーションを行う上位のシステムによって、所定の時間間隔（例えば、フレーム更新時間である１／３０［ｓｅｃ］）で必要なデータが読み出される。
【００１３】
符号１１は、データベース３より読み出した画像生成に関するデータを、上位システムから通知されるアイポイントデータに基づいて、アイポイント座標系に変換する視界計算部である。符号１２は、視界計算部１１において求められたアイポイント座標系から画面座標系に変換する幾何計算部である。符号１３は、幾何計算部１２において求められた画面座標系に基づいてビデオ信号を生成するビデオ信号生成部である。符号１４は、ビデオ信号生成部１３において生成されたビデオ信号を表示する表示部でありディスプレイ等から構成される。
【００１４】
符号２１は、データベース３より読み出したオブジェクトが発する音のデータ、オブジェクトと観測者との間に存在する媒体の特性データと、上位システムから通知される音源オブジェクトの座標値、アイポイント（観測者位置に相当する）データに基づいて、観測者の位置における音の観測量を求める模擬音処理部である。符号２２は、模擬音処理部２１において求められた観測量に基づいて発生すべき音を制御して音を発する発音部であり、複数のスピーカを備えている。
【００１５】
次に、図２を参照して、ここで用いる座標系とオブジェクトテーブルについて説明する。オブジェクト及び観測者が存在する空間を仮想空間と称し、このオブジェクト及び観測者の絶対位置を示す座標系をワールド座標系と称する。このワールド座標系のＸ軸、Ｙ軸、Ｚ軸の各軸は互いに直交しており、ここでは、Ｚ軸方向を垂直方向とする。このワールド座標系内に定義されたオブジェクトは、オブジェクト毎にオブジェクトテーブルに記憶され、それぞれオブジェクトを構成する少なくとも１つのポリゴンの座標データ、及びこのオブジェクトが発する音のデータによって定義されている。オブジェクトが発する音のデータは、音の音色、音質、音高、音量等からなる。このオブジェクトのワールド座標値は、ゲームやシミュレーションの進行に伴って、所定の時間間隔で上位システムから与えられる。
【００１６】
次に、図３を参照して、仮想空間の媒体特性テーブルのテーブル構造を説明する。媒体特性テーブルは、オブジェクトのＺ座標値に応じて、レイヤと媒体特性が定義されている。ここでは、Ｚ座標値が「０」である位置を水面とし、オブジェクト座標値が「＋」である場合、空中レイヤとし、媒体特性をｆＡ、ＮＡとする。ここで、ｆＡは空中の音の伝播を示す関数であり、ＮＡは、空中におけるノイズ成分である。同様に、オブジェクトのＺ座標値に応じて、水中レイヤＬ０〜Ｌ４、ｆ０〜ｆ４、及びＮ０〜Ｎ４が定義されている。ｆ０〜ｆ４は、各レイヤに該当する水中の音の伝播を示す関数であり、Ｎ０〜Ｎ４は、各レイヤにおけるノイズ成分である。
【００１７】
次に、図１、４を参照して、模擬音発生装置の動作を説明する。図４は、音源と観測者の位置関係を示す説明図である。ここでは、オブジェクト（音源）及び観測者は水中に存在するものとして説明する。図４において、音源は２つあるものとし、音源Ａの位置をＰＡ０、音源Ｂの位置をＰＢ０、観測者の位置をＰＥと図示する。また、水面から深度Ｄ０までの水温をＴ０とする。以下同様に深度Ｄ０〜深度Ｄ１までの水温をＴ１とし、深度Ｄ３〜深度Ｄ４までの水温をＴ４とする。また、各深度間を深度が浅い順にレイヤＬ０、Ｌ１、Ｌ２、Ｌ３、Ｌ４とする。さらに、同一レイヤ内においては、音の伝播の特性が変化しないものとし、伝播距離によって減衰するものとする。
【００１８】
まず、模擬視界発生部１は、アイポイントデータを受け取った時点で、画像データをデータベース３より読み出して、現時点における画面に表示されるビデオ信号を生成し、表示部１４に表示する。
【００１９】
この動作に同期して、模擬音処理部２１は、アイポイントデータと、音源オブジェクトの位置データを受け取った時点で、音源と観測者を結ぶ経路と各レイヤの境界との交点（ＰＡ１）を求め、この交点（ＰＡ１）における音源から発せられた音の観測量を求める。この計算は、データベース３内に記憶されたオブジェクトテーブル及び媒体特性テーブルから必要なデータを読み出して算出される。
【００２０】
音源Ａから発せられる音のパターンをＡ０、レイヤＬ０の持つ特性をｆ０、ノイズをＮ０とすると、交点ＰＡ１における音源Ａから発せられた音Ａ０の観測量Ａ１は（１）式によって算出される。
Ａ１＝ｆ０（｜ＰＡ１−ＰＡ０｜，Ａ０）＋Ｎ０・・・・・（１）
【００２１】
同様に、交点ＰＡ２における音源Ａから発せられた音Ａ０の観測量Ａ２は（２）式によって算出される。
Ａ２＝ｆ１（｜ＰＡ２−ＰＡ１｜，Ａ１）＋Ｎ１・・・・・（２）
【００２２】
さらに、観測者の位置ＰＥにおける音源Ａから発せられた音Ａ０の観測量ＡＥは（３）式によって算出される。
ＡＥ＝ｆ２（｜ＰＥ−ＰＡ２｜，Ａ２）＋Ｎ２・・・・・・（３）
【００２３】
このように模擬音処理部２１は、音源Ａから発せられた音Ａ０は伝播特性が変化する境界点（ＰＡ１）における観測量Ａ１を求め、この点（ＰＡ１）からさらに観測量Ａ１と同一の音が発せられたものとして次の境界点（ＰＡ２）における観測量Ａ２を求め、この点（ＰＡ２）からさらに観測量Ａ２と同一の音が発せられたものとして、観測点（ＰＥ）における観測量ＡＥを求めることによって、媒体の変化を考慮して音の伝播を求める。
【００２４】
模擬音処理部２１は、同様の手順によって、音源Ｂから発せられた音Ｂ０の観測量ＢＥを算出する。そして、観測者が観測機器を用いてこれらの音を聞く場合、この観測機器の持つ周波数特性をｆｄ、ノイズをＮｄとすると、観測者の位置における観測量ＡＤは（４）式によって算出される。
ＡＤ＝ｆｄ（ＡＥ）＋ｆｄ（ＢＥ）＋Ｎｄ・・・・・・・・（４）
【００２５】
次に、模擬音処理部２１は、算出した観測量ＡＤを発音部２２へ通知する。そして、発音部２２は、通知された観測量ＡＤに基づいて、音を発する。このとき、発音部２２は、ゲーム機またはコンピュータシミュレーションの使用者の位置において聞こえる音が、算出した観測量ＡＤになるように発音部２２に備えられた複数のスピーカによって発音する。このとき、観測者と音源の位置関係に基づいて、使用者と音源定位位置対応付けられて発音される。以上の処理を画像の更新に同期して行うことによって、音源及び観測者の移動に伴う音の変化をリアルタイムで忠実に模擬することができる。また、オブジェクトと観測者（アイポイント）との距離に基づき、知覚される音のみが、使用者に対して発音されるため、より忠実な模擬を行うことができる。さらに、観測者に聞こえる音を求める処理を画面に表示される画像の生成とは別におこなうようにしたため、画面に表示される画像に入らないオブジェクトの音でも知覚される距離にあれば発音することができる。
【００２６】
なお、レイヤ内の音の伝播を示す関数ｆ及びノイズＮは、実際に水中で測定して求めることが可能であるため、この測定値を使用すればよい。また、水深毎の距離による減衰だけでなく、伝播速度、水温、隣接する異なる媒体の状態（例えば、海底の状態）、異なる媒体からの距離（例えば、海底からの距離）等を考慮して音の伝播を示す関数ｆを決定してもよい。
【００２７】
このように、位置情報を持つ音源を使用して、音が伝わる媒体の特性、周囲の条件等をパラメータとして画像の更新レートに同期し、フィルタリングや重ね合わせを計算することによって、ビデオゲーム等に用いられる音を実世界に近いものに模擬することができるためにプレーヤは実世界に近い感覚を得ることが可能となる。
【００２８】
【発明の効果】
以上説明したように、本発明によれば、位置情報を持つ音源を使用して、音が伝わる媒体の特性、周囲の条件等をパラメータとして画像の更新レートに同期し、フィルタリングや重ね合わせを計算することによって、ビデオゲーム等に用いられる音を実世界に近いものに模擬することができるためにプレーヤは実世界に近い感覚を得ることができるという効果が得られる。
【００２９】
また、本発明によれば、複数の音源が存在しても観測者において聞こえる音を忠実に模擬することができるという効果が得られる。
【００３０】
また、本発明によれば、音源と観測者の間で発生するノイズを忠実に模擬することができるという効果が得られる。
【図面の簡単な説明】
【図１】  本発明の一実施形態の構成を示すブロック図である。
【図２】  座標系とオブジェクトデータの構造を示す説明図である。
【図３】  媒体特性テーブルの構造を示す説明図である。
【図４】  音源と観測者の位置関係を示す説明図である。
【符号の説明】
１・・・模擬視界発生部、
２・・・模擬音発生部、
３・・・データベース、
１１・・・視界計算部、
１２・・・幾何計算部、
１３・・・ビデオ信号生成部、
１４・・・表示部、
２１・・・模擬音処理部、
２２・・・発音部。
【図１】
0003899782.tif 000002
【図２】
0003899782.tif 000003
【図３】
0003899782.tif 000004
【図４】
0003899782.tif 000005