(57)【要約】    【課題】システムの安定性を確保し、計算量及び複雑度を減らすことによって、移動通信用端末などのように三次元立体音響の生成のために高価の装備を備えることの難しいモバイルプラットフォームにおいて、仮想三次元立体音響を生成する方法及び装置を提供する。    【解決手段】三次元立体音響生成方法は、一つ以上の入力音響信号に（両耳間における）時間遅延差（ＩＴＤ：Inter-aural Time Delay）を与えて出力する第１段階と、該第１段階の出力信号を主成分重み値（principal component weight）と乗じる第２段階と、該第２段階の結果値を、頭部伝達関数（ＨＲＴＦ：Head Related Transfer Function）から抽出された多数の基本ベクトル（basis vectors）の低次数モデルによってフィルタリングする第３段階と、を含む。【選択図】図４
2006217632.tif 000002
【特許請求の範囲】
【請求項１】
一つ以上の入力音響信号に時間遅延差を与えて出力する第１段階と、
前記第１段階の出力信号を主成分重み値（principal component weight）と乗じる第２段階と、
前記第２段階の結果値を、頭部伝達関数（ＨＲＴＦ：Head Related Transfer Function）から抽出された多数の基本ベクトル（basis vectors）の低次数モデルによってフィルタリングする第３段階と、
を含む三次元立体音響生成方法。
【請求項２】
前記第１段階は、前記一つ以上の入力音響信号の位置に応じた両耳間における時間遅延差（ＩＴＤ：Inter-aural Time Delay）を与えて左側信号及び右側信号を生成することを特徴とする請求項１に記載の三次元立体音響生成方法。
【請求項３】
前記第２段階は、前記左側信号、前記右側信号を、前記一つ以上の入力音響信号の位置の高度角（φ）及び方位角（θ）に対応する左側主成分重み値、右側主成分重み値と、それぞれ乗じることを特徴とする請求項２に記載の三次元立体音響生成方法。
【請求項４】
前記多数の基本ベクトルによってフィルタリングされた各信号を、前記左側信号と前記右側信号とで別々に合算して出力する第４段階をさらに備えることを特徴とする請求項３に記載の三次元立体音響生成方法。
【請求項５】
前記多数の基本ベクトルは、音源の位置とは無関係に決定される特徴を代表する一つの非方向性平均基本ベクトルと、音源の位置によって決定される特徴を代表する複数の方向性基本ベクトルとから構成されることを特徴とする請求項１に記載の三次元立体音響生成方法。
【請求項６】
前記多数の基本ベクトルは、前記頭部伝達関数から主成分分析（ＰＣＡ：Principal Component Analysis）によって抽出されることを特徴とする請求項５に記載の三次元立体音響生成方法。
【請求項７】
前記多数の基本ベクトルは、それぞれＩＩＲ（Infinite Impulse Response）フィルタでモデリングされることを特徴とする請求項５に記載の三次元立体音響生成方法。
【請求項８】
前記ＩＩＲフィルタによるモデリングは、バランスモデル近似技術（balance model approximation technique）によってなされることを特徴とする請求項７に記載の三次元立体音響生成方法。
【請求項９】
一つ以上の入力音響信号に時間遅延差を与えて出力するＩＴＤモジュールと、
前記ＩＴＤモジュールの出力信号を主成分重み値（principal component weight）と乗じる重み付けモジュールと、
前記重み付けモジュールの結果値を、頭部伝達関数（ＨＲＴＦ：Head Related Transfer Function）から抽出された多数の基本ベクトル（basis vectors）の低次数モデルによってフィルタリングするフィルタリングモジュールと、
を備えることを特徴とする三次元立体音響生成装置。
【請求項１０】
前記ＩＴＤモジュールは、前記一つ以上の入力音響信号の位置に応じた両耳間における時間遅延差（ＩＴＤ：Inter-aural Time Delay）を与えて左側信号及び右側信号を生成することを特徴とする請求項９に記載の三次元立体音響生成装置。
【請求項１１】
前記重み付けモジュールは、前記左側信号、前記右側信号を、前記一つ以上の入力音響信号の位置の高度角（φ）及び方位角（θ）に対応する左側主成分重み値、右側主成分重み値と、それぞれ乗じることを特徴とする請求項１０に記載の三次元立体音響生成装置。
【請求項１２】
前記多数の基本ベクトルによってフィルタリングされた各信号を、前記左側信号と前記右側信号とで別々に合算して出力する合算モジュールをさらに備えることを特徴とする請求項１１に記載の三次元立体音響生成装置。
【請求項１３】
前記多数の基本ベクトルは、音源の位置とは無関係に決定される特徴を代表する一つの非方向性平均基本ベクトルと、音源の位置によって決定される特徴を代表する複数の方向性基本ベクトルとから構成されることを特徴とする請求項９に記載の三次元立体音響生成装置。
【請求項１４】
前記多数の基本ベクトルは、前記頭部伝達関数から主成分分析（ＰＣＡ）により抽出されることを特徴とする請求項１３に記載の三次元立体音響生成装置。
【請求項１５】
前記多数の基本ベクトルは、それぞれＩＩＲフィルタでモデリングされることを特徴とする請求項１３に記載の三次元立体音響生成装置。
【請求項１６】
前記ＩＩＲフィルタによるモデリングは、バランスモデル近似技術（balance model approximation technique）によってなされることを特徴とする請求項１５に記載の三次元立体音響生成装置。
【請求項１７】
請求項９〜１６のいずれか一つに記載の三次元立体音響生成装置を備えることを特徴とする移動端末機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元立体音響生成方法、三次元立体音響生成装置及び移動端末機に関し、より詳細には、移動通信用端末機などのように、三次元立体音響の生成（又は再生）のために高価の装備を付加できないモバイルプラットフォーム（mobile platform）において仮想三次元（３Ｄ：three-dimensional）立体音響を生成する技術に関する。
【背景技術】
【０００２】
最近、三次元仮想現実（空間）を必要とするマルチメディアコンテンツ、ＣＤ−ＲＯＭタイトル（CD-ROM title）、ゲーム機、バーチャルリアリティなどのためのマルチメディア装置において、高級（高価）な装備を使用することなく、一対の（すなわち、二つの）スピーカーやヘッドホンだけを用いて三次元音響効果が得られる三次元（立体）バーチャルオーディオ技術（3-D virtual audio technology）に対する研究が活発に行われてきている。ここで、三次元（立体）バーチャルオーディオ技術とは、仮想空間の特定位置に音源を形成し、ヘッドホンやスピーカーを介して、（ユーザーにとって）まるで実際にその仮想音源（virtual sound source）位置から音が聞こえるようにするために方向感、距離感、空間感などを形成することを意味する。
【０００３】
ほとんどの三次元（立体）バーチャルオーディオ技術は、スピーカーやヘッドホンに仮想音効果(バーチャルサウンド効果：virtual sound effect)を与えるために頭部伝達関数（Head Related Transfer Function：ＨＲＴＦ）を用いる。
【０００４】
ここで、仮想音効果とは、まるで三次元仮想空間（3-D virtual space）上の特定位置に音源があるような効果を奏することを意味し、この効果は、モノ(mono)音源からのサウンドストリームを頭部伝達関数（ＨＲＴＦ）でフィルタ処理（フィルタリング）することによって実現される。
【０００５】
頭部伝達関数（ＨＲＴＦ）は、ダミーヘッド（dummy head）を対象として無響室（anechoic chamber）において測定される。すなわち、無響室内でダミーヘッドを中心にして球状に様々な角度で配置した複数のスピーカーから擬似ランダム・バイナリ・シーケンス（pseudo-random binary sequence）を出力（放射）させて、ダミーヘッドの両耳に装着したマイクロホンでその受信信号を測定することで、音響経路（acoustic path）の伝達関数を計算するのである。このような伝達関数を頭部伝達関数（ＨＲＴＦ；Head Related Transfer Function）という。
【０００６】
次に、頭部伝達関数（ＨＲＴＦ）を求める方法についてより具体的に説明する。
【０００７】
まず、ダミーヘッドを中心に高度角（仰角；elevation）と方位角（azimuth）をそれぞれ一定の間隔（例えば、１０゜間隔）に細分する。そして、この細分された角度のグリッド上の各位置にスピーカーを置き、各スピーカーから擬似ランダム・バイナリ・シーケンス（Pseudo-random binary sequences）を出力し、ダミーヘッドの両耳に配置された左、右マイクロホンで到着（受信）信号を測定する。その後、インパルス応答、すなわち、スピーカーからダミーヘッドの両耳までの音響経路の伝達関数（頭部伝達関数）が計算される。この際、測定（算出）されなかった不連続空間の頭部伝達関数は、隣接する（算出された）頭部伝達関数間における補間（interpolation）等により求めることができる。このような方法によって頭部伝達関数データベースが構築される。
【０００８】
前述したように、仮想音効果（virtual sound effect）は、三次元仮想空間上の特定位置に実際に音源があるような効果を奏する（もたらす）ことができる。
【０００９】
三次元（立体）バーチャルオーディオ技術によれば、固定された特定の位置から音（固定音）が知覚される効果、ある位置から他の位置に動く音（移動音）が知覚される効果が得られる。すなわち、固定音（static or positioned sound）の生成は、モノ音源からのオーディオストリームを、これに該当する位置の頭部伝達関数を用いてフィルタリング演算を行うことによってなされる。また、移動音（dynamic or moving sound）の生成は、モノ音源からのオーディオストリームを、音が移動する軌跡上に該当する連続した頭部伝達関数とコンボリューション（畳み込み積分：convolution）とを用いて連続的にフィルタリング演算を行うことによってなされる。
【００１０】
ところで、上記三次元（立体）バーチャルオーディオ技術は、固定音及び移動音を生成するために、大容量の頭部伝達関数データベースを格納する格納空間が必要であるばかりでなく、モノ音源からの信号を頭部伝達関数でフィルタリング演算するのに多くの計算（量）を必要とするので、リアルタイムでこれを行うには、高性能のハードウェア（ＨＷ）及びソフトウェア（ＳＷ）の装備が要求される。
【００１１】
さらに、三次元（立体）バーチャルオーディオ技術を、映画、バーチャルリアリティ、ゲームなどに適用する場合には、多数の移動音（multiple moving sound）に対して仮想三次元立体音響を生成する必要があるため、次のような問題が生じる。
【００１２】
まず、空間上のある地点から他の地点へ移動する音源に対して三次元（立体）バーチャルオーディオ技術を適用するためには、この音源の初期地点に対応するフィルタ、例えばＩＩＲ（Infinite Impulse Response）フィルタから、該移動音源の軌跡（trajectory）上に存在する次の地点に対応するＩＩＲフィルタへのスイッチングが必要である。
【００１３】
一般に、頭部伝達関数のモデリングにおいて、ＩＩＲフィルタは、ＦＩＲ（Finite Impulse Response）フィルタに比べて、要求できる計算複雑度が低い。したがって、三次元（立体）バーチャルオーディオ技術を用いて移動するモノ音源を再生するために、頭部伝達関数を低次数（low-order）のＩＩＲフィルタで直接的に近似化する場合には、モノ音源の初期地点に対応するＩＩＲフィルタから、該モノ音源の軌跡上に存在する次の地点に対応するＩＩＲフィルタへのスイッチングが必要となるのである。
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、音源が初期地点から次の地点へ移動する間に、頭部伝達関数をモデリングするＩＩＲフィルタをスイッチングすると、このＩＩＲフィルタのスイッチングによってシステム全体が不安定になることがあり、しかも、スイッチングに伴って可聴の“クリッキング（clicking）”ノイズが発生することがあった。
【００１５】
また、空間で必要とされる各位置に、一つの頭部伝達関数を対応させるようにすると、空間内で多くの位置を占める音源のそれぞれを生成するためには、これら音源に対応する個数の頭部伝達関数をモデリングしたフィルタが必要となる。すなわち、Ｎ個の音源をシミュレートするためには、Ｎ個のフィルタがリアルタイムで動作（稼動）する必要がある。したがって、仮想音効果を生成するための演算負荷、複雑度（complexity）は、音源の個数に比例して増加する。このため、映画、バーチャルリアリティ、ゲームなどのマルチメディアコンテンツに、多数の移動音による三次元立体音響効果を付与するためには、大容量の格納空間と高いリアルタイム演算（処理）能力と有する高性能ハードウェア及びソフトウェア装備（高価な装備）が要求されるという問題点があった。
【００１６】
本発明は上記の問題点を解決するためになされたものであり、その目的は、三次元立体音響の生成において、システムの安定性を確保しつつ、計算量や複雑度（演算負荷）を減らすことによって、移動通信端末機などのように三次元立体音響の生成のために高価な装備を備えることが難しいモバイルプラットフォームにおいても、仮想三次元立体音響を生成することのできる方法及び装置を提供することにある。
【課題を解決するための手段】
【００１７】
上記目的を達成するため、本発明は、一つ以上の入力音響信号に時間遅延差を与えて出力する第１段階と、前記第１段階の出力信号を主成分重み値（principal component weight）と乗じる第２段階と、前記第２段階の結果値を、頭部伝達関数（ＨＲＴＦ：Head Related Transfer Function）から抽出された多数の基本ベクトル（basis vectors）の低次数モデルによってフィルタリングする第３段階と、を備える三次元音響具現方法を提供する。ここで、前記時間遅延差を、例えば、前記入力音響信号の位置に応じた両耳間の時間遅延差（ＩＴＤ：Inter-aural Time Delay）とすると、前記第１段階は、左側信号（左耳用信号）及び右側信号（右耳用信号）を生成し、出力する。また、この場合、前記第２段階は、前記左側信号、前記右側信号を、前記入力音響信号の位置（高度角（φ）及び方位角（θ））に対応する左側主成分重み値、右側主成分重み値と、それぞれ乗じる。
【００１８】
また、上記目的を達成するため、本発明は、一つ以上の入力音響信号に時間遅延差を与えて出力するＩＴＤモジュールと、このＩＴＤモジュールの出力信号を主成分重み値（principal component weight）と乗じる重み付けモジュールと、この重み付けモジュールの結果値を、頭部伝達関数（ＨＲＴＦ：Head Related Transfer Function）から抽出された多数の基本ベクトル（basis vectors）の低次数モデルによってフィルタリングするフィルタリングモジュールと、を備える三次元立体音響生成装置を提供する。ここで、前記時間遅延差を、例えば、前記入力音響信号の位置に応じた両耳間の時間遅延差（ＩＴＤ：Inter-aural Time Delay）とすると、前記ＩＴＤモジュールは、左側信号（左耳用信号）及び右側信号（右耳用信号）を生成し、出力する。また、この場合、前記重み付けモジュールは、前記左側信号、前記右側信号を、前記入力音響信号の位置（高度角（φ）及び方位角（θ））に対応する左側主成分重み値、右側主成分重み値と、それぞれ乗じる。
【００１９】
また、上記目的を達成するため、本発明は、上記三次元立体音響生成装置（すなわち、ＩＴＤモジュール、重み付けモジュール及びフィルタリングモジュール）を備えた移動端末機を提供する。
【発明の効果】
【００２０】
本発明によれば、三次元立体音響の生成のために高価な装備を備えることの難しい装置（例えば、移動通信端末機等のモバイルプラットフォーム）において、仮想三次元（立体）音響を実現することができ、特に、多数の移動音源（multiple moving sound source）に対して仮想三次元立体音響を生成しなければならない映画、バーチャルリアリティ、ゲームなどで大きな効用が得られる。
【発明を実施するための最良の形態】
【００２１】
以下、添付の図面に基づき、本発明の実施形態に係る三次元立体音響の生成方法及び生成装置について詳細に説明する。
【００２２】
まず、図１を参照して、本発明で提案される多数の移動音の合成（multiple moving-sound synthesis）のためのＨＲＴＦモデリング方法について説明する。
【００２３】
まず、最小位相フィルタ（minimum phase filter）及び両耳の位置差による（両耳間における）時間遅延差（ＩＴＤ；Inter-aural Time Delay）を用いて、全ての且つそれぞれの方向に対する頭部伝達関数（ＨＲＴＦ）がモデリングされる［Ｓ１００］。
【００２４】
その後、統計的特徴抽出手法（statistical feature extraction technique）を用いて、前記モデリングされた頭部伝達関数（ＨＲＴＦ）から基本ベクトル（基本ベクトルセット）が抽出される［Ｓ２００］。ここで、基本ベクトルの抽出は、時間ドメイン（time-domain）で行われる。また、統計的特徴抽出手法の代表としては、主成分分析（ＰＣＡ：Principal Component Analysis）がある。このＰＣＡは、J.Acoust.Soc.Am.120(4) 2211-2218頁 （1997年10月, Zhenyang Wu,Francis H.Y.Chan,and F.K.Lam,"A time domain binaural model based on spatial feature extraction for the head related transfer functions"）に詳細に紹介されており、この文献は本明細書全体に援用する。
【００２５】
上記基本ベクトル（セット）について簡単に説明すると、基本ベクトル（セット）は、一つの非方向平均基本ベクトル（direction-independent mean basis vector）と多数の方向性基本ベクトル（directional basis vector）とを含んで構成される。ここで、非方向性平均基本ベクトルは、モデリングされた全方向の頭部伝達関数の特徴のうち、音源の位置（方向）とは無関係に決定される特徴を代表する基本ベクトルを意味する。一方、方向性基本ベクトルは、音源の位置（方向）によって決定される特徴を代表する基本ベクトルである。
【００２６】
最後に、これら基本ベクトルは、バランスモデル近似技術（balanced model approximation technique）によりＩＩＲフィルタセットとしてモデリングされる［Ｓ３００］。このバランスモデル近似技術については“IEEE Transaction on Signal Processing,vol.40,No.3,March,1992”（B.Beliczynski,I.Kale,and G.D.Cain,"Approximation of FIR by IIR digital filters: an algorithm based on balanced model reduction"）に詳細に紹介されており、この文献は本明細書全体に援用する。なお、このバランスモデル近似技術によって、より低い計算複雑度（少ない演算処理）でも基本ベクトルを正確にモデリングできることがシミュレーションによって確認された。
【００２７】
図２は、ＫＥＭＡＲデータベースから抽出された非方向性平均基本ベクトルの１２８タップ（128-tap）ＦＩＲモデル（実線）と、前述のモデリング方法によって近似化した非方向性平均基本ベクトルの低次数モデル（破線）を示すものであり、図３は、ＫＥＭＡＲデータベースから抽出された第１次方向性基本ベクトル（第１番目の重要な方向性基本ベクトル；the first significant directional basis vector）の１２８タップ（tap）ＦＩＲモデル（実線）と、前述のモデリング方法によって近似化した第１次方向性基本ベクトルの低次数モデル（破線）を示すものである。ここで、非方向性平均ベクトル及び方向性基本ベクトルを近似化するＩＩＲフィルタの次数は１２である。
図２及び図３から、前述のモデリング方法による近似化が非常に正確であることがわかる。なお、ＫＥＭＡＲデータベースは「http://sound.media.mit.edu/KEMAR.html」に公開され、利用可能である。また、ＫＥＭＡＲデータベースについては、J.Acoust.Soc.Am.97(6),pp.3907-3908(Gardner,W.G.,and Martin,K.D.HRTF measurements of a KEMAR)によく説明されており、この文献は本明細書全体に援用する。
【００２８】
以下、図４を参照して、本発明の望ましい実施形態に係る三次元立体音響生成装置の全体システム構造（overall system structure）を説明する。なお、以下で説明される実施形態は、本発明をより具体的に説明するためのもので、本発明の技術的範囲を限定するものではない。
【００２９】
図４を参照すると、本実施形態に係る三次元立体音響生成装置は、一以上の入力音響信号の位置に応じた（両耳間における）時間遅延差（ＩＴＤ：Inter-aural Time Delay）を与えて左側信号（左耳用信号）及び右側信号（右耳用信号）を生成するＩＴＤモジュール（an ITD module）１０と、左側信号、右側信号を、それぞれ前記一以上の入力音響信号の位置の高度角（φ）及び方位角（θ）に対応する左側主成分重み（値）（left principal component weight）、右側主成分重み（値）（right principal component weight）と乗じる重み付けモジュール（a weight applying module）２０と、この重み付けモジュール２０の各結果値を、頭部伝達関数（ＨＲＴＦ：Head Related Transfer Function）から抽出された多数の基本ベクトル（basis vectors）のＩＩＲフィルタモデルでフィルタリングするフィルタリングモジュール（a filtering module）３０と、これら多数の基本ベクトルのＩＩＲフィルタモデルによってフィルタリングされた各信号を合算して出力する第１及び第２合算モジュール（first and second adding modules）４０，５０と、を含んで構成される。
【００３０】
ＩＴＤモジュール１０は、入力される一つ以上のモノ（mono）音響信号（第１〜第ｎ音響信号；Signal #1〜Signal #n）のそれぞれに対応する一つ以上のＩＴＤバッファ（第１〜第ｎＩＴＤバッファ；ITD buffer #1〜ITD buffer #n）を備える。各ＩＴＤバッファは、各音響信号の位置に応じた時間遅延差（ＩＴＤ）を付加して、左耳及び右耳のそれぞれのための左側信号ストリーム（ｘｉＬ）及び右側信号（ｘｉＲ）ストリームを生成する（ｉ＝１，２，・・・，ｎ）。言い換えれば、左側信号ストリーム（ｘｉＬ）及び右側信号ストリーム（ｘｉＲ）の一方は、他方が時間遅延（time delay）された値であり、この時間遅延（差）は、音源（音響信号の位置）が正中面上（on the median plane）にある場合にゼロとなる。
【００３１】
重み付けモジュール２０は、ＩＴＤモジュール１０から出力された多数の左側信号ストリーム、右側信号ストリームを、前記入力音響信号の位置の高度角（φｉ）及び方位角（θｉ）に対応する左側主成分重み値（ｗｊＬ（θｉ，φｉ），ｊ＝１，２，・・・，ｎ）、右側主成分重み値（ｗｊＲ（θｉ，φｉ），ｊ＝１，２，・・・，ｎ））とそれぞれ乗じて下式（１）及び下式（２）を出力する。
【数１】
2006217632.tif 000003
【数２】
2006217632.tif 000004
【００３２】
但し、式（１）、式（２）において、
【数３】
2006217632.tif 000005
【００３３】
【数４】
2006217632.tif 000006
【００３４】
【数５】
2006217632.tif 000007
【００３５】
【数６】
2006217632.tif 000008
である。
【００３６】
フィルタリングモジュール３０は、非方向性平均ベクトルモデルｑａ（ｚ）を用いて上記式（５）及び（６）をフィルタリングする。ここで、ｑａ（ｚ）は、Ｚドメイン（z-domain）での非方向性平均ベクトルモデルの伝達関数である。また、このフィルタリングモジュール３０において、上記式（３）及び（４）は、ｍ個の（最も重要な）方向性基本ベクトルモデル（m most significant directional basis vector models）［ｑｊ（ｚ），ｊ＝１，２、・・・，ｍ］によってそれぞれフィルタリングされる。なお、［ｑｊ（ｚ），ｊ＝１，２、・・・，ｍ］は、ｚドメインにおけるｍ個の（最も重要な）方向性基本ベクトルモデルの伝達関数を表す。この方向性基本ベクトルの個数（ｍ）は、正確性の面では多いほど望ましく、メモリ容量及び演算負担の軽減の面では少ないほど望ましい。ただし、シミュレーションの結果、方向性基本ベクトルの個数（ｍ）が増加しても正確性が大幅に増加しない臨界ポイントが存在することが見出されており、それは、ｍ＝７個程度であった。
【００３７】
時間ドメインの左側サウンドストリーム（上記式（３）、（５）参照）を、ｚドメインでは下式（７）、（８）とする。
【数７】
2006217632.tif 000009
【数８】
2006217632.tif 000010
【００３８】
第１の合算モジュール４０は、フィルタリングモジュール３０によってフィルタリングされた結果値（左側サウンドストリーム）を合算して出力する。なお、かかる第１の合算モジュール４０の出力値ｙＬ（ｚ）は、下式（９）で示される
【数９】
2006217632.tif 000011
【００３９】
時間ドメインの右側サウンドストリーム（上記式（４）、（６）参照）を、ｚドメインでは下式（９）、（１０）とする。
【数１０】
2006217632.tif 000012
【数１１】
2006217632.tif 000013
【００４０】
第２の合算モジュール５０は、フィルタリングモジュール３０によりフィルタリングされた結果値（右側サウンドストリーム）を合算して出力する。この第２の合算モジュール５０の出力値ｙＲ（ｚ）は、下式（１２）で示される。
【数１２】
2006217632.tif 000014
【００４１】
なお、上記式（９）、（１２）は、表記上の単純化のためにｚドメインで表現されているが、実際には、フィルタリング演算が時間ドメインで行われることに注意されたい。前記出力値ｙＬ（ｚ）（または、時間ドメインのｙＬ）及びｙＲ（ｚ）（または、時間ドメインのｙＲ）をアナログ信号に変換してスピーカーまたはヘッドホンから出力することによって、最終的に三次元立体音響が生成される（これにより、ユーザーは三次元立体音響を聞くことができる）。
【００４２】
本実施形態（本発明）においては、入力される音響信号の数にかかわらず、基本ベクトル（basis vectors）の数が特定個数に固定される。したがって、本実施形態では、音源の数が増加するにつれて演算量が幾何級数的に増加してしまう従来技術とは異なり、音源の数が増加しても演算量が大幅に増加することはない。
本実施形態に係る基本ベクトルの低次数ＩＩＲフィルタモデルを使用すると、計算の複雑度（演算負荷）を格段に減らすことができる。特に、比較的高いサンプリング周波数（例えば、ＣＤのサンプリング周波数である４４．１ＫＨｚ）において効果的である（つまり、ＣＤ並みの音質の三次元立体音響をより少ない演算処理で実現できる）。一般に、頭部伝達関数（ＨＲＴＦ）データセットから得た基本ベクトルは非常に高い次数のフィルタとなるので、本実施形態に係る低次数ＩＩＲフィルタモデルを用いた近似化を採用することで、計算複雑度を減らすことができる。また、バランスモデル近似化技術を使用した基本ベクトルのモデリングは、低次数ＩＩＲフィルタを使用した基本ベクトルの、より正確な近似化を可能にする。
【００４３】
以下では本発明の技術的特徴をより容易に理解させるべく、ＰＣ、ＰＤＡまたは移動通信用端末などの装置で駆動可能なゲーム用ソフトウェアにおいて、三次元立体音響の生成（再生）のために、図４に示した実施形態を適用した場合を例に上げて説明する。すなわち、図４の各モジュールをＰＣ、ＰＤＡまたは移動通信用端末などに適用し、これらを用いて三次元立体音響を実現する例について説明する。
【００４４】
ＰＣ、ＰＤＡまたは移動通信用端末のメモリには、ゲーム用ソフトウェアで使われる全ての音響データ、音響信号の位置の高度角（φ）及び方位角（θ）に対応する左側主成分重み（値）及び右側主成分重み（値）、及び、頭部伝達関数（ＨＲＴＦ）から抽出された多数の低次数モデルの基本ベクトルが格納される。前記左側主成分重み（値）及び右側主成分重み（値）については、音響信号の各位置の高度角（φ）及び方位角（θ）と、これに対応する左側主成分重み値及び右側主成分重み値を参照表（ＬＵＴ：Look Up Table）の形式で格納することが望ましい。
【００４５】
前記ゲーム用ソフトウェアのアルゴリズムによって、必要な一つ以上の音響信号がＩＴＤモジュール１０に入力される。このＩＴＤモジュール１０に入力される各音響信号の位置、その位置の高度角（φ）及び方位角（θ）も同様に、前記ゲーム用ソフトウェアのアルゴリズムによって決定される。また、ＩＴＤモジュール１０は、入力された各音響信号の位置に応じて時間遅延差（ＩＴＤ）を与えて左側信号及び右側信号を生成する。移動音（moving sound）の場合には、画面映像データと同期（synchronization）を合わせた各フレーム（frame）別の音響信号によって、その位置及びその高度角（φ）及び方位角（θ）が決定される。
【００４６】
重み付けモジュール２０は、ＩＴＤモジュール１０から出力された多数の左側信号、右側信号のそれぞれを、メモリに格納されている前記入力音響信号の位置の高度角（φ）及び方位角（θ）に対応する左側主成分重み値（ｗｊＬ（θｉ，φｉ））、右側主成分重み値（ｗｊＲ（θｉ，φｉ））と乗じて、その算出結果をそれぞれ出力する（上記式（１）、（２）参照）。
【００４７】
重み付けモジュール２０から出力された値（式（１）、（２））は、フィルタリングモジュール３０に出力され、ＩＩＲフィルタにモデリングされている非方向性ベクトルモデルｑａ（ｚ）及びｍ個の方向性基本ベクトルモデル［ｑｊ（ｚ），ｊ＝１，２、・・・，ｍ］によってそれぞれフィルタリングされる。
【００４８】
このフィルタリングモジュール３０でフィルタリングされた式（１）の結果値は、第１の合算モジュール４０で合算され、左側オーディオ信号ｙＬ（式（９））として出力される。そして、フィルタリングモジュール３０でフィルタリングされた式（２）の結果値は、第２の合算モジュール５０で合算され、右側オーディオ信号ｙＲ（式（１０）として出力される。これら左側及び右側オーディオ信号ｙＬ及びｙＲは、デジタル信号からアナログ信号に変換され、ＰＣ、ＰＤＡまたは移動通信用端末のスピーカーまたはヘッドホンから出力される。このようにして、三次元音響信号が生成される。
【００４９】
本実施形態に係る三次元立体音響の生成方法及び生成装置によれば、以下のような効果が得られる。
まず、多数の移動音に対する三次元立体音響を生成するための演算負荷、計算複雑度（computational complexity）を低減できので、メモリ容量の増加を防止できる。なお、本実施形態のように、各基本ベクトルをモデリングするために１２次のＩＩＲフィルタを使用し、一つの非方向性基本ベクトルと七つの方向性基本ベクトルとを使用する場合、計算の複雑度は下式（１３）で示される。
【００５０】
計算の複雑度＝２×（ＩＩＲフィルタの次数＋１）×（ＩＩＲフィルタの個数または基本ベクトルの個数）＝２×（１２＋１）×（１＋７）
【００５１】
このようなアーキテクチャ（architecture）に新たな音源を追加しても、別のＩＴＤバッファ追加及び主成分重み値を使用したサウンドストリームのスカラー乗算（重み付け）だけで充分である。フィルタリング演算は、別の追加費用を発生させない。そして、本実施形態は、ＩＩＲフィルタを用いて頭部伝達関数をモデリングする代わりに、基本ベクトルのＩＩＲフィルタモデルを用いる。したがって、固定された個数の基本ベクトルフィルタが音源の位置にかかわらずに常に動作（稼動）されるので、フィルタ間のスイッチングが要らない。よって、安定した基本ベクトルのＩＩＲフィルタモデルの合成が、動作中のシステム安定性を十分に保障できる。
【００５２】
以上、具体的な実施形態を挙げて本発明を説明してきたが、本発明は、これら具体的な実施形態によって限定されることなく、本発明の精神及び必須的な特徴を逸脱しない範囲内で種々の改良や変形による実施ができることは当業者にとって自明である。したがって、本発明の範囲は、添付した特許請求の範囲とその均等物の合理的解釈により定められるべきである。
【図面の簡単な説明】
【００５３】
【図１】本発明の好適な実施形態において、頭部伝達関数（ＨＲＴＦ）をモデリングする方法を概略的に示すフローチャートである。
【図２】ＫＥＭＡＲデータベースから抽出された非方向性ベクトルの１２８タップ（128-tap）ＦＩＲモデルと、本発明の実施形態において近似化した非方向性ベクトルの低次数モデルとを示すグラフである。
【図３】ＫＥＭＡＲデータベースから抽出された第１次方向性ベクトルの１２８タップ（tap）ＦＩＲモデルと、本発明の実施形態において近似化した第１次方向性ベクトルの低次数モデルを示すグラフである。
【図４】本発明の一実施形態に係る三次元立体音響生成装置及び生成方法を示すブロック図である。
【符号の説明】
【００５４】
１０  ＩＴＤモジュール［ITD(inter-aural time delay) module］
２０  重み付けモジュール［weight applying module］
３０  フィルタリングモジュール［filtering module］
４０  第１の合算モジュール［first adding module］
５０  第２の合算モジュール［second adding module］
【図１】
2006217632.tif 000015
【図２】
2006217632.tif 000016
【図３】
2006217632.tif 000017
【図４】
2006217632.tif 000018