(57)【要約】四次元空間化音声を作成するようオーディオ音源を処理する方法及び装置を提供する。四次元音声定位を達成するために、仮想音源が、特定の時間期間に渡り三次元空間において経路に沿って移動され得る。一対のスピーカから再生された際に、音声がスピーカの代わりに選択された空間点から発生するように感じられる空間化波形を生成するために、所望の空間点に対応する両耳聴フィルタが音声波形に適用される。空間点に対応する両耳聴フィルタが、複数の予め定義された両耳聴フィルタから選択された最も近い近隣の両耳聴フィルタを補間することによりシミュレートされる。音声波形は、互いに重なり合うデータ・ブロックにおいて、短時間フーリエ変換を用いてデジタル処理され得る。定位音声は、ドップラー・シフト及び空間シミュレーションについて更に処理され得る。【選択図】図１０
2010520671.tif 000002
【特許請求の範囲】
【請求項１】
空間点のための両耳聴フィルタをシミュレートする、コンピュータで実現される方法であって、
複数の予め定義された両耳聴フィルタにアクセスするステップと、
前記複数の予め定義された両耳聴フィルタから、少なくとも２つの最も近い近隣の両耳聴フィルタを選択するステップと、
新しい両耳聴フィルタを得るために、前記最も近い近隣の両耳聴フィルタの間で補間を実行するステップと、
を備える方法。
【請求項２】
請求項１記載の方法であって、個々の予め定義された両耳聴フィルタが単位球面上に配置される方法。
【請求項３】
請求項１記載の方法であって、前記最も近い近隣の両耳聴フィルタが、前記空間点に対し、他の予め定義された両耳聴フィルタよりも空間的に近い位置にある方法。
【請求項４】
請求項３記載の方法であって、個々の最も近い近隣の両耳聴フィルタの前記選択が、少なくとも部分的に、前記最も近い近隣の両耳聴フィルタと前記空間点との間の距離に基づく方法。
【請求項５】
請求項４記載の方法であって、前記距離が最短ピタゴラス距離である方法。
【請求項６】
請求項１記載の方法であって、個々の両耳聴フィルタが、更に、左耳頭部伝達変換関数フィルタ及び右耳頭部伝達変換関数フィルタを有する方法。
【請求項７】
請求項６記載の方法であって、前記左頭部伝達変換関数フィルタが、第一の複数の係数を有するインパルス応答フィルタによって近似された左頭部伝達関数であり、前記右頭部伝達変換関数フィルタが、第二の複数の係数を有するインパルス応答フィルタによって近似された右頭部伝達変換関数である方法。
【請求項８】
請求項６記載の方法であって、前記最も近い近隣の両耳聴フィルタの間で補間を実行する演算が、更に、
それぞれの最も近い近隣の頭部伝達変換関数フィルタについて、両耳間の時間差を決定するステップと、
前記補間に先立って、個々の最も近い近隣の頭部伝達変換関数フィルタの前記両耳間の時間差を取り除くステップと、
新しい両耳間の時間差を得るように、前記最も近い近隣のフィルタの前記両耳間の時間差を補間するステップと、
前記新しい両耳間の時間差を、新しい両耳聴フィルタに組み込むステップと、
を含む方法。
【請求項９】
請求項８記載の方法であって、前記両耳間の時間差が、左の両耳間時間差と、右の両耳間時間差とを含む方法。
【請求項１０】
請求項８記載の方法であって、更に、前記両耳間の時間差を決定する際に、前記空間点の位置を明らかにするステップを含む方法。
【請求項１１】
請求項１記載の方法であって、前記補間が、同期補間、線形補間及び放物線補間からなる組から選択される方法。
【請求項１２】
請求項２記載の方法であって、前記予め定義された両耳聴フィルタが、前記単位円の周りに均一に間隔を空けて配置される方法。
【請求項１３】
請求項１記載の方法であって、前記複数の予め定義された両耳聴フィルタが、７，３３７個の予め定義された両耳聴フィルタを含み、各両耳聴フィルタが単位球面上の離れた場所に配置される方法。
【請求項１４】
請求項２記載の方法であって、前記単位球面が、０から１００単位までの大きさを持ち、０が仮想空間の中心を表し、１００が前記仮想空間の周縁部を表す方法。
【請求項１５】
聞き手に対し相対的に移動する定位音源におけるドップラー・シフトを導入するコンピュータで実現される方法であって、
前記定位音源の前記聞き手に対する相対位置を決定するステップと、
前記定位音源の速度を決定するステップと、
前記定位音源と前記聞き手との間の最大距離に大きさが比例するデータ・バッファを作成するステップと、
音声データのセグメントを前記データ・バッファの第一のタップに送り込むステップと、
前記音声データ・セグメントを前記データ・バッファの第二のタップから取り出すステップと、
を含み、前記データ・バッファが、前記聞き手から前記定位音源までの前記距離に比例する、前記第二のタップから前記第一のタップへの前記音声データ・セグメントにおける遅延を導入する方法。
【請求項１６】
請求項１５記載の方法であって、前記第一のタップの位置が、前記聞き手の位置に対応する方法。
【請求項１７】
請求項１５記載の方法であって、前記第二のタップの位置が、前記音源の位置に対応する方法。
【請求項１８】
請求項１記載の方法であって、更に、
前記新しい両耳聴フィルタの離散フーリエ変換を計算するステップと、
前記周波数が下側カットオフ周波数より低い、又は上側カットオフ周波数より高い場合に、周波数応答を固定振幅に設定するステップと、
前記周波数が下側カットオフ周波数より低い、又は上側カットオフ周波数より高い場合に、位相応答を固定位相に設定するステップと、
を含む方法。
【請求項１９】
デジタル音声ファイルを定位する、コンピュータで実現される方法であって、
仮想音源位置を表す空間点を決定するステップと、
前記空間点に対応する両耳聴フィルタを生成するステップと、
前記音声ファイルを複数の互いに重なり合う音声データ・ブロックに分割するステップであって、それぞれの重なり合いが複数のストライド係数に対応するステップと、
第一の変換された音声データ・ブロックを生成するよう、前記複数の音声データ・ブロックの第一のブロックの離散フーリエ変換を計算するステップと、
第一の変換された定位音声データ・ブロックを生成するよう、前記第一の変換された音声データ・ブロックに、フーリエ変換された両耳聴フィルタを乗じるステップと、
第一の空間化音声波形セグメントを生成するよう、前記第一の変換された定位音声データ・ブロックの逆離散フーリエ変換を計算するステップと、
を含む方法。
【請求項２０】
請求項９記載の方法であって、更に、
第二の変換された音声データ・ブロックを生成するよう、前記複数の音声データ・ブロックの第二のブロックの離散フーリエ変換を計算するステップと、
第二の変換された定位音声データ・ブロックを生成するよう、前記第二の変換された音声データ・ブロックに、前記変換された両耳聴フィルタを乗じるステップと、
第二の空間化音声波形セグメントを生成するよう、前記第二の変換された定位音声データ・ブロックの逆離散フーリエ変換を計算するステップと、
前記第二及び第一の空間化音声波形セグメントの間のクロスフェードをシミュレートするよう、前記ストライド係数を用いて、前記第二の空間化音声波形セグメントと、前記第一の空間化音声波形セグメントとを加算するステップと、
を含む方法。
【請求項２１】
請求項１９記載の方法であって、前記フーリエ変換が、Ｎのフレーム・サイズを有する短時間フーリエ変換である方法。
【請求項２２】
請求項２１記載の方法であって、Ｎが２の累乗である方法。
【請求項２３】
請求項２１記載の方法であって、個々のデータ・ブロックが２０４８個の連続的なデータ・サンプル点を有し、前記両耳聴フィルタが１９２０個の係数を備える方法。
【請求項２４】
請求項２３記載の方法であって、Ｎが４０９６である方法。
【請求項２５】
請求項２４記載の方法であって、前記データ・ブロック及び前記両耳聴フィルタ係数が、変換される前に、Ｎのサイズになるようにそれぞれゼロを付加される方法。
【請求項２６】
請求項１９記載の方法であって、前記データ・ブロックの始まり及び終わりにおいてデータが次第にゼロに近づくよう、前記データ・ブロックに窓関数が適用される方法。
【請求項２７】
請求項２６記載の方法であって、前記窓関数が、ハン窓、ハミング窓、ガウス窓及びカイザー窓からなるグループから選択される方法。
【請求項２８】
請求項１９記載の方法であって、前記ストライド係数が５０％である方法。
【請求項２９】
請求項１９記載の方法であって、前記デジタル音声ファイルが音声フィル・ユニットからの前記出力を含む方法。
【請求項３０】
請求項２０記載の方法であって、更に、前記組み合わされた空間化音声波形セグメントをファイルに保存するステップを含む方法。
【請求項３１】
請求項３０記載の方法であって、前記ファイルが、ｍｐ３オーディオ・フォーマット、ａｉｆオーディオ・フォーマット、ａｕフォーマット、ｗａｖオーディオ・フォーマット、ｗｍａオーディオ・フォーマット、ＣＤオーディオ・フォーマット、ＤＶＤオーディオ・フォーマット、ＨＤオーディオ・フォーマット、及びＶＨＳオーディオ・フォーマットからなるグループから選択されるファイル・フォーマットである方法。
【請求項３２】
請求項１９記載の方法であって、更に、
第二の仮想音源位置を表す第二の空間点を決定するステップと、
前記第二の空間点に対応する第二の両耳聴フィルタを生成するステップと、
第二の変換された音声データ・ブロックを生成するよう、前記複数の音声データ・ブロックの第二のブロックの離散フーリエ変換を計算するステップと、
第二の変換された定位音声データ・ブロックを生成するよう、前記第二の変換された音声データ・ブロックに、前記変換された第二の両耳聴フィルタを乗じるステップと、
第二の空間化音声波形セグメントを生成するよう、前記第二の変換された定位音声データ・ブロックの逆離散フーリエ変換を計算するステップと、
前記第二及び第一の空間化音声波形セグメントの間のクロスフェードをシミュレートするよう、前記ストライド係数を用いて、前記第二の空間化音声波形セグメントと、前記第一の空間化音声波形セグメントとを加算するステップと、
を含む方法。
【請求項３３】
複数チャンネル音声入力信号を定位音声出力信号に変換する信号処理システムであって、
少なくとも１つの信号処理ブロックを備え、該ブロックが、
複数チャンネル音声入力ポートと、
前記複数チャンネル音声入力ポートに動作可能に結合され、モノラル音声信号を出力するよう構成されるダウン・ミキサと、
前記ダウン・ミキサに動作可能に結合される選択器要素であって、前記モノラル信号を、該モノラル信号を定位音声信号に修正するよう構成されるデジタル信号処理装置にルーティングするよう構成される選択器要素と、
複数の出力ポートと、
を備えるシステム。
【請求項３４】
請求項３３記載のシステムであって、更に、前記入力ポート及び前記ダウン・ミキサに動作可能に結合され、前記複数チャンネル入力信号の１つのチャンネルを選択するよう構成される入力選択器を備えるシステム。
【請求項３５】
請求項３３記載のシステムであって、更に、前記選択器要素に動作可能に結合されるモノラル信号入力ポートを備えるシステム。
【請求項３６】
請求項３３記載のシステムであって、前記選択器要素が、更に、少なくとも１つの出力ポートへの、前記デジタル信号処理装置を回避する信号バイパス経路を提供するよう構成されるシステム。
【請求項３７】
音声ファイルの定位に用いられる両耳聴フィルタをホワイトニングする、コンピュータで実現される方法であって、
振幅スペクトル及び位相スペクトルを有する変換された両耳聴フィルタを作成するよう、複数の係数を有する両耳聴フィルタの離散フーリエ変換を計算するステップと、
前記フィルタの振幅スペクトルの相加平均を計算するステップと、
前記フィルタの振幅スペクトルを複数の互いに重なり合う周波数帯域に分割するステップと、
それぞれが複数の周波数帯域群のうちの一つに対応する、複数の平均スペクトル振幅を計算するステップと、
前記複数の周波数帯域の相加平均が前記フィルタ振幅スペクトルの相加平均を近似するよう、前記複数の平均スペクトル振幅を短周期ゲイン係数でスケーリングするステップと、
改善されたスペクトル均衡を有する修正されたフィルタ振幅スペクトルを作成するよう、前記複数のスケーリングされた周波数帯域を、重み付け関数を用いて組み合わせるステップと、
を含む方法。
【請求項３８】
請求項３７記載の方法であって、前記重み付け関数がハン窓関数である方法。
【請求項３９】
空間化音声波形の背景処理を実行する、コンピュータで実現される方法であって、
音源から聞き手への第一の距離ｄ１を決定するステップと、
前記音源の参照音圧レベルが測定される前記第二の音源からの第二の距離ｄ２を決定するステップと、
デシベル単位の減衰係数Ａ＝２０ｌｏｇ１０（ｄ１／ｄ２）を計算するステップと、
前記減衰係数を前記空間化された音声波形に適用するステップと、
を含む方法。
【請求項４０】
請求項３９記載の方法であって、更に、
前記空間化音声波形を、出力タップを有する複数のネストされた全域通過フィルタに送り込むステップと、
前記フィルタリングされた空間化音声波形を前記出力タップから取り出すステップであって、前記出力タップが反響面をシミュレートするステップと、
を含む方法。
【請求項４１】
請求項４０記載の方法であって、前記反響面が、壁、床及び天井からなるグループから選択される方法。
【請求項４２】
請求項４０記載の方法であって、前記出力フィルタ・タップが、前記反響面から前記聞き手に対し反響された際の、前記音源の一次反響時間及び経路長に対応する時間遅延を生成する方法。
【請求項４３】
複数のスピーカから再生された際に改良された音像を有する定位音声信号を生成するようにステレオ入力信号を相関除去する、コンピュータで実現される方法であって、
前記ステレオ信号を左モノラル・チャンネル及び右モノラル・チャンネルに分割するステップと、
中央チャンネルを生成するよう、前記ステレオ信号を帯域通過フィルタを介して入力するステップと、
前記中央チャンネルを前記左モノラル・チャンネルと組み合わせることにより、最も左の側面のチャンネルを生成するステップと、
前記中央チャンネルを前記右モノラル・チャンネルと組み合わせることにより、最も右の側面チャンネルを生成するステップと、
最も左の定位チャンネルを作成するよう、前記最も左の側面のチャンネルを左耳頭部伝達変換関数フィルタで畳み込むステップと、
最も右の定位チャンネルを作成するよう、前記最も右の側面のチャンネルを右耳頭部伝達変換変換フィルタで畳み込むステップと、
前記最も左の定位チャンネルと、減衰された中央チャンネルとを組み合わせるステップと、
前記最も右の定位チャンネルと、減衰された中央チャンネルとを組み合わせるステップと、
を含む方法。
【請求項４４】
請求項４３記載の方法であって、前記帯域通過フィルタが、２ＫＨｚの上側周波数カットオフ値、３００Ｈｚの下側周波数カットオフ値、及び毎オクターブ１２ｄＢのロールオフを有する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２００７年３月１日に出願された、「音声空間化（ａｕｄｉｏ  ｓｐａｔｉａｌｉｚａｔｉｏｎ）及び環境シミュレーション」との名称を有する米国仮特許出願第６０８９２５０８号に基づく優先権を主張する。上記出願の開示内容は、その全文が参照により本明細書に援用される。
【０００２】
本発明は、一般に、音響エンジニアリングに関し、より詳細には、ヘッドフォン、スピーカ又は他の再生装置を介して再生された際に、四次元空間における少なくとも１つの空間座標から発せられる少なくとも１つの音をエミュレートする、音声波形の計算及び生成のためのデジタル信号処理方法及び装置に関する。
【背景技術】
【０００３】
音は、四次元空間の様々な点から発せられる。これらの音を聴く人間は、音が発生する空間点を決定するために、様々な聴覚上の手がかりを利用し得る。人間の脳は、例えば、両耳間の時間遅延（即ち、音が各鼓膜に衝突する間の時間遅延）、聞き手の両耳間における音圧レベルの差、左右の耳に衝突する音の知覚の位相シフトなどの音声定位の手がかりを、迅速且つ効果的に処理し、音の発生点を正確に特定する。一般に、「音声定位の手がかり」は、音声波形に対するスペクトル情報だけではなく、聞き手の両耳間の時間差及び／又はレベル差、音声波形における時間差及び／又はレベル差を意味する（本明細書で用いられる通り、「四次元空間」は、一般に、時間経過に渡る三次元空間、又は時間の関数としての三次元座標移動、及び／又、はパラメータ定義された曲線を意味する。四次元空間は、一般に、例えば方形系では｛ｘ、ｙ、ｚ、ｔ｝、球状系では｛ｒ、θ、Φ、ｔ｝等である四空間座標又は位置ベクトルを用いて定義される。）
【０００４】
音の発生地の三角測量における人間の脳及び聴覚システムの有効性は、２つ又はそれ以上のスピーカによる再生のために音を複製及び空間化しようと試みる音響エンジニア及び他の者に、特別な挑戦を与える。過去のアプローチは、一般に、音声の洗練された事前及び事後処理を採用し、デコーダ・ボードやロジックのような特殊なハードウェアを必要としていた。これらのアプローチの良い例としては、ドルビー研究室のドルビー・デジタル処理、ＤＴＳ、ソニーのＳＤＤＳフォーマット等がある。これらのアプローチは、或る程度の成功を収めたものの、コスト及び労力がかかる。更に、処理された音声の再生は、一般に、比較的高価なオーディオ部材を必要とする。加えて、これらのアプローチは、全ての種類の音声、又は全ての音声アプリケーションに適しているわけではない。
【０００５】
従って、わずか２つのスピーカ又はヘッドフォンから実物通りの音響体験を提供するために、静止及び移動する音源の仮想球（又は、任意の形状又は大きさのシミュレートされた仮想環境）の中心に聞き手を配置する、音声空間化のための新しいアプローチが必要とされている。
【発明の概要】
【課題を解決するための手段】
【０００６】
一般に、本発明の１つの実施の形態は、四次元空間化音声を作成する方法及び装置の形態をとる。幅広い側面において、音声波形を空間化することにより空間化音声を作成する例としての方法は、球座標系又はデカルト座標系において空間点を決定し、空間化波形を生成するように、前記空間点に対応するインパルス応答フィルタを音声波形の第一のセグメントに適用する演算を含む。空間化波形は、前記空間点から発せられる非空間化波形の音声特性をエミュレートする。即ち、位相、振幅、両耳間の時間遅延等は、空間化波形が一対のスピーカから再生される際に、音がスピーカの代わりに選択された空間点から発するように感じられるようになされる。
頭部伝達関数は、様々な境界条件を考慮した、所与の空間点に対する音響特性のモデルである。本実施の形態において、頭部伝達関数は、所与の空間点について、球座標系において計算される。球座標を用いることにより、より正確な変換関数（及びそれにより、より正確なインパルス応答フィルタ）が作成され得る。これは、次に、より精密な音声空間化を可能とする。
理解できるように、本実施の形態は、様々な空間点について音声を空間化するために、複数の頭部伝達変換関数を利用し得、それにより、複数のインパルス応答フィルタを利用し得る（本明細書で用いられるように、「空間点」及び「空間座標」との用語は、相互に置換可能である）。従って、本実施の形態は、音声波形に様々な音響特徴をエミュレートさせることにより、異なる時間において様々な空間点から発するように感じさせることができる。２つの空間点間の円滑な遷移を提供し、それにより円滑な四次元音声体験を提供するために、様々な空間化波形が補間プロセスを通して互いに畳み込まれ得る。
本実施の形態において音声の完全な空間化を達成するために、デコーダ・ボード又はアプリケーション、或いは、ＤＯＬＢＹ又はＤＴＳ処理装置を用いるステレオ装置などといった、何らの特別なハードウェア又は追加のソフトウェアも必要とされないことに注意するべきである。より正確に言えば、空間化された音声波形は、２つ又はそれ以上のスピーカを備え、ロジック処理又は復号化を備え又は備えない、任意のオーディオ・システムによって再生することができ、あらゆる種類の四次元空間化が達成される。
本発明のこれらの及び他の利点及び特徴は、以下の詳細な説明及び特許請求の範囲を閲読することにより明らかになる。
【図面の簡単な説明】
【０００７】
【図１】図１は、例としての方位座標系、及び４つのスピーカの間の「スイートスポット」を占める聞き手のトップダウン図を示す。
【図２】図２は、例としての高度座標系、及び図１に示された聞き手の正面図を示す。
【図３】図３は、図２の例としての高度座標系、及び図１に示された聞き手の側面図を示す。
【図４】図４は、本発明の１つの実施の形態における、ソフトウェア・アーキテクチャの上位レベルの図を示す。
【図５】図５は、本発明の１つの実施の形態における、モノラル又はステレオ信号源に対する信号処理チェーンを示す。
【図６】図６は、本発明の１つの実施の形態における、上位のソフトウェア処理フローのフロー図を示す。
【図７】図７は、どのように仮想音源の３Ｄ位置が設定されるかを示す。
【図８】図８は、既存の予め定義されたＨＲＴＦフィルタから、どのようにして新しいＨＲＴＦフィルタが補間されるかを示す。
【図９】図９は、左右のＨＲＴＦフィルタ係数間における両耳の時間差を示す。
【図１０】図１０は、本発明の１つの実施の形態における、音源定位のためのＤＳＰソフトウェア処理フローを示す。
【図１１】図１１は、ＨＲＴＦフィルタの低周波数及び高周波数のロールオフを示す。
【図１２】図１２は、ＨＲＴＦフィルタの周波数及び位相応答を拡張するために周波数及び位相クランピングがどのように用いられ得るかを示す。
【図１３】図１３は、静止及び移動音源におけるドップラー・シフト効果を示す。
【図１４】図１４は、聞き手と静止音源との間の距離が、いかにして単純な遅延として知覚されるかを示す。
【図１５】図１５は、移動する聞き手位置又は音源位置が、音源の知覚されるピッチをどのように変化させるかを示す。
【図１６】フィード・フォワード及びフィード・バック経路を有する遅延要素として実装される全域通過フィルタのブロック図である。
【図１７】図１７は、定位される仮想音源の周囲にある物質による複数の反響をシミュレートするための全域通過フィルタのネストを示す。
【図１８】図１８は、帯域通過フィルタ・モデル、優先波形（直接入射音）、及び音源から聞き手への初期反響の結果を示す。
【図１９】図１９は、スペクトルの平坦性を高めるよう処理する期間における、ＨＲＴＦフィルタの振幅スペクトルを分割するための、互いに重複するウィンドウの使用を示す。
【図２０】図２０は、ＨＲＴＦフィルタの振幅スペクトルの平坦性を改善するために本発明の１つの実施の形態によって利用される短周期ゲイン係数を示す。
【図２１】図２１は、図２２に示される修正された振幅応答を得るために、図１９の個々のウィンドウを足し合わせる際に、本発明の１つの実施の形態により重み付け関数として利用されるハン窓を示す。
【図２２】図２２は、改善されたスペクトル平坦性を有する修正されたＨＲＴＦフィルタの最終的な振幅スペクトルを示す。
【図２３】図２３は、ステレオ信号の左右のチャンネルが実質的に同じである場合の音源の見かけ上の位置を示す。
【図２４】図２４は、信号が右チャンネルだけに現れる場合の、音源の見かけ上の位置を示す。
【図２５】図２５は、左右チャンネル間におけるサンプルの短周期配分を示す、典型的なステレオ音楽信号のゴニオメータ出力を示す。
【図２６】図２６は、中央信号の帯域通過フィルタリングを用いる本発明の１つの実施の形態における、信号ルーティングを示す。
【図２７】図２７は、長い入力信号が、互いに重なり合うＳＴＦＴフレームを用いてどのようにブロック処理されるかを示す。
【発明を実施するための形態】
【０００８】
１．発明の概要
一般に、本発明の１つの実施の形態は、静止した及び移動する音声の仮想球又は任意の大きさ／形状の仮想空間の中心に聞き手を配置する、音声定位技術を用いる。これは、わずか２つのスピーカ又は一組のヘッドフォンを用いて、聞き手に実物通りの音響体験を提供する。任意の地点における仮想音源の印象は、スピーカ又はヘッドフォンを通して再生され、又は後の再生のためにファイルに格納される、処理された音声の出力ストリームを生成するように、２つのチャンネルのそれぞれに別個のフィルタを適用（「両耳聴（ｂｉｎａｕｒａｌ）フィルタリング」）して、音声信号を左右の耳チャンネルに分割するよう処理することにより、作成され得る。
【０００９】
本発明の１つの実施形態において、音源は、四次元（「４Ｄ」）音声定位を達成するよう処理される。４Ｄ処理は、仮想音源が、三次元（「３Ｄ」）空間の経路に沿って、特定の時間間隔に渡って移動することを可能にする。空間化波形が（典型的には、空間中を「移動する」音源を複製するために）複数の空間座標間を遷移する場合、空間座標間の遷移は、よりリアル且つ正確な体験を作り出すために平滑化され得る。言い換えると、空間化波形は、空間化音声が（たとえ、空間化音声が実際には一つ又はそれ以上のスピーカ、一組のヘッドフォン又は他の再生装置から発せられるとしても）空間内の不連続点の間で急激に変化するのではなく、１つの空間座標から他の空間座標へと円滑に遷移するように見えるように処理され得る。言い換えると、空間化波形に対応する空間化音声は、再生装置が置かれた地点ではなく３Ｄ空間内の或る地点から発せられるように感じられるだけでなく、見かけ上の発生地点が時間経過につれて変化し得る。本実施の形態において、空間化波形は、第一の空間座標から第二の空間座標へと、方向から独立した自由音場、及び／又は拡散音場の両耳聴環境内で畳み込まれ得る。
【００１０】
三次元音声定位（及び、究極には四次元定位）は、所与の３Ｄ座標から発せられる音声について、周波数にわたる位相及び振幅の変化を各耳について数学的にモデル化する、予め定義された頭部伝達関数（「ＨＲＴＦ」）又は頭部伝達インパルス応答（「ＨＲＩＲ」）から導き出された一組のフィルタで、入力音声データをフィルタリングすることにより達成され得る。つまり、各三次元座標は、独自のＨＲＴＦ及び／又はＨＲＩＲを有し得る。予め計算されたＨＲＴＦ又はＨＲＩＲのフィルタを持たない空間座標のために、推定されたＨＲＴＦ又はＨＲＩＲのフィルタが、近隣のＨＲＴＦ、ＨＲＩＲのフィルタから補間され得る。補間については、以下に更に詳細に説明される。ＨＲＴＦ及び／又はＨＲＩＲがどのように導き出されるかは、２００４年３月１６日に出願され、その全文が参照により本明細書に援用される米国特許出願第１０８０２３１９号に記載されている。
【００１１】
ＨＲＴＦは、耳介内の反響又はエコー、或いは耳介の不規則な形状に起因するゆがみ、聞き手の肩及び又は胸部による音の反響、聞き手の鼓膜間の距離、等の様々な生理学的要素を考慮し得る。ＨＲＴＦはそのような要素を組み込んで、空間化音声のより真実且つ正確な再生を生成を生み出し得る。
【００１２】
インパルス応答フィルタ（一般的に有限であるが、代替の実施形態においては無限である）は、ＨＲＴＦの空間特性をエミュレートするよう生成又は計算され得る。簡潔に言えば、インパルス応答フィルタは、ＨＲＴＦの数字／デジタル表現である。
【００１３】
ステレオ波形は、空間化波形を生成する本方法を通して、インパルス応答フィルタ、又はその近似値を適用することにより変換され得る。ステレオ波形上の各点（又は時間間隔によって隔てられた各点）は、空間座標に有効にマッピングされ、該空間座標から対応する音声が発せられる。ステレオ波形は、サンプリングされ、上記のＨＲＴＦを近似する有限インパルス応答フィルタ（「ＦＩＲ」）を適用され得る。参考として、ＦＩＲは、デジタル信号フィルタの一種であり、そこでは、各出力サンプルが、限られた数の過去のサンプルのみを用いて、過去及び現在の入力サンプルの加重和と等しくされる。
【００１４】
ＦＩＲ又はその係数は、一般に、波形を修正して空間化音声を複製する。ＦＩＲの係数が定義されているため、それらの波形に対する音声を空間化するために、追加の左右分聴波形（ステレオ又はモノラルの）が適用され、毎回ＦＩＲを生成する中間ステップが飛ばされ得る。本発明の他の実施の形態は、ＦＩＲフィルタではなく、無限インパルス応答（「ＩＩＲ」）フィルタのような他の種類のインパルス応答フィルタを利用して、ＨＲＴＦを近似してもよい。
【００１５】
本実施の形態は、三次元空間内の或る点における音声を複製するものであり、正確性を向上させ、仮想環境の大きさを縮小させる。本発明の１つの実施の形態は、仮想空間の中心から周縁部まで、０から１００までの相対的な測定単位を用いて、仮想環境として任意のサイズの空間を測定する。本実施の形態は、球座標を用いて、仮想空間内における空間化点の位置を測定する。問題の空間化点は、聞き手に対し相対的であることに注意されたい。つまり、聞き手の頭の中心が、球座標系の原点に相当する。そのため、上記の複製の相対的な精度は、空間の大きさに関係し、聞き手による空間化点の知覚を向上させる。
【００１６】
本発明の１つの例としての実施の形態は、単位球面に配置された、７，３３７個の予め計算されたＨＲＴＦフィルタ・セットの組を用い、各フィルタ・セットは左右のＨＲＴＦフィルタを備える。本明細書で用いられる通り、「単位球面」は、度で目盛りをふられた方位及び高さの球座標系である。空間における他の点は、以下に更に詳細に説明する通り、その点に対応するフィルタ係数を近似的に補間することによりシミュレートされ得る。
２．球座標系
一般に、本実施の形態は、球座標系（即ち、座標として半径ｒ、高度θ、及び方位Φを有する座標系）を用いるが、標準デカルト座標系での入力も受け付ける。デカルト入力は、本発明の特定の実施の形態により、球座標に変換され得る。球座標は、シミュレートされる空間点のマッピング、ＨＲＴＦフィルタ係数の計算、２つの空間点間の畳み込み、及び／又は本明細書に記載された実質的に全ての計算のために利用され得る。一般に、球座標系を使用することにより、ＨＲＴＦフィルタの正確性（及び、それにより再生中の波形の空間正確性）が向上され得る。従って、正確性及び精度の向上といったある種の利点は、様々な空間化演算が球座標系で実行された場合に達成され得る。
【００１７】
更に、特定の実施形態において、球座標の利用は、本明細書に記載された他の処理演算とともに、ＨＲＴＦフィルタを作成し、空間点間で空間音声を畳み込むのに必要な処理時間を最小化することができる。音声／音波は、一般に、球面波のような媒介を通じて伝播されるため、球座標系は、音波の行動をモデル化し、それによって音声を空間化するのに好適である。代替の実施形態は、デカルト座標系を含む別の座標系を利用してもよい。
【００１８】
本明細書において、例としての実施の形態を説明する際に、特定の球座標仕様が利用される。更に、図１及び３にそれぞれ示されるように、ゼロ方位１００、ゼロ高度１０５、及びゼロではない十分な長さの半径が、聞き手の頭の中央正面の点に対応する。上記の通り、「高度」及び「高さ」という用語は、本明細書において、一般に相互交換可能である。本実施形態において、方位は、時計回り方向に増加し、聞き手の真後ろで１８０度になる。方位は０から３５９度の範囲をとる。代替の実施の形態では、図１に示すように、半時計回り方向に方位を増加させてもよい。同様に、高度は、図２に示す通り、９０度（聞き手の頭の真上）から−９０度（聞き手の頭の真下）までの範囲をとり得る。図３は、本実施の形態で利用される高度座標系の側面図を示す。
【００１９】
上記の座標系に関する本明細書における議論では、聞き手が主な、即ち正面の一対のスピーカ１１０、１２０に対面していると仮定されていることに注意しなければならない。従って、図１に示す通り、前のスピーカ位置に対応する方位の半球は、０〜９０度及び２７０から３５９度の範囲をとり、後ろのスピーカ位置に対応する方位の半球は、９０〜２７０度の範囲をとる。聞き手が前のスピーカ１１０、１２０に対し、自らの回転方向の配置を変更した場合でも、座標系は変わらない。言い換えれば、方位及び高度はスピーカに依存しており、聞き手からは独立している。しかしながら、空間化音声が聞き手が装着するヘッドフォンから再生される場合、ヘッドフォンが聞き手と一緒に移動する限りにおいて、参照座標系は聞き手に依存する。本明細書における説明のために、聞き手は一対の前方スピーカ１１０、１２０の比較的中心であって、それらから等距離の位置にいると仮定する。後方の、又は追加の背景スピーカ１３０、１４０は任意である。座標系の原点１６０は、聞き手の頭２５０の中心、即ち図１のスピーカー配置における「スイートスポット」にほぼ対応する。しかし、本実施の形態において任意の球座標表記が利用されてもよいことに注意すべきである。本表記方法は便宜的に提供されるに過ぎず、限定的なものではない。更に、音声波形の空間化、及びスピーカ又は他の再生装置を通した再生時における対応する空間化効果は、聞き手が再生装置に対して「スイートスポット」又は他の任意の位置を占めていることに、必ずしも依存しない。空間化波形は、再生中に仮想音源位置１５０から発せられる空間化音声の空間的幻想を作成するために、標準的な音声再生装置で再生されてもよい。
３．ソフトウェア・アーキテクチャ
図４は、本発明の１つの実施形態について、クライアント・サーバ・ソフトウェア・アーキテクチャを用いるソフトウェア・アーキテクチャの高レベルの図を示す。このようなアーキテクチャは、４Ｄ音声後処理のためのプロフェッショナル音響エンジニア・アプリケーション、２チャンネル・ステレオ出力における複数チャンネル・プレゼンテーション・フォーマット（例えば、５．１オーディオ）をシミュレートするためのプロフェッショナル音響エンジニア・ツール、家庭オーディオ・ミキシング愛好者及び小さな独立スタジオのための、対称的３Ｄ定位後処理を可能とする「プロシューマー（ｐｒｏ−ｓｕｍｅｒ）」（例えば、「プロフェッショナル・コンシューマー」）アプリケーション、及び、予め選択された一組の仮想ステレオ・スピーカ位置を与えられた場合にステレオ・ファイルをリアルタイムに定位する消費者アプリケーションを含むがそれらに限定されない幾つかの異なる形態における本発明の例を示すことを可能とする。これら全てのアプリケーションは、同一の根本的な処理原則、及び、しばしば同一のコードを利用する。
【００２０】
図４に示す通り、１つの例としての実施形態において、幾つかのサーバ側ライブラリが存在する。ホスト・システム・アダプテーション・ライブラリ４００は、ホスト・アプリケーションとサーバ側ライブラリとの間の直接通信を可能とするアダプタ及びインターフェースの集合を提供する。デジタル信号処理ライブラリ４０５は、入力信号を３Ｄ及び４Ｄ定位信号に変形させるフィルタ及び音声処理ソフトウェア・ルーチンを含む。信号再生ライブラリ４１０は、一つ又はそれ以上の処理された音声信号に対し、再生、一時停止、速送り、巻き戻し及び録音等の基本再生機能を提供する。曲線モデリング・ライブラリ４１５は、空間中の静止３Ｄ点を仮想音声源のためにモデル化し、時間経過につれて移動する空間内における動的４Ｄ経路をモデル化する。データ・モデリング・ライブラリ４２０は、一般に楽器デジタル・インターフェース設定、ユーザの好み設定、データ暗号化及びデータ複製防止を含む入力及びシステムのパラメータをモデル化する。一般ユーティリティ・ライブラリ４２５は、座標変形、文字列処理、時間機能及び基本数学機能などの、全てのライブラリに対し共通に利用される機能を提供する。
【００２１】
本発明の様々な実施の形態は、ビデオ・ゲーム・コンソール４３０、ミキシング・コンソール４３５を含む様々なホスト・システム、リアルタイム音声セット・インターフェース４４０、ＴＤＭ音声インターフェース、仮想スタジオ技術インターフェース４４５、及び音声ユニット・インターフェースを含むがそれらに限定されないホスト・ベースのプラグイン、又は（デスクトップ又はラップトップ・コンピュータのような）パソコン装置上で動作するスタンドアロン・アプリケーション、ウェブ・ベース・アプリケーション４５０、仮想サラウンド・アプリケーション４５５、拡張可能ステレオ・アプリケーション４６０、ｉＰｏｄ又は他のＭＰ３再生装置、ＳＤラジオ受信機、携帯電話、ＰＤＡ又は他のハンドヘルドのコンピュータ装置、コンパクトディスク（「ＣＤ」））プレーヤー、デジタル多用途ディスク（「ＤＶＤ」）プレーヤー、他の消費者用及び職業用音声再生又は操作の電子システム又はアプリケーション等において、処理された音声ファイルがスピーカ又はヘッドフォンを通して再生される際に、空間上の任意の場所にあるかのように見える仮想音源を提供するために利用され得る。
【００２２】
つまり、空間化波形は、再生中に仮想音源位置から生じる空間化音声の空間幻想の生成に必要とされる特別な復号化設備を持たない、標準的な音声再生装置によって再生することができる。言い換えれば、ＤＯＬＢＹ、ＬＯＧＩＣ７、ＤＴＳ等の現在の音声仮想化技術と異なり、再生装置は、入力波形の空間化を正確に再生するために、如何なる特別なプログラム又はハードウェアを含む必要がない。同様に、空間化は、ヘッドフォン、２チャンネル・オーディオ、３チャンネル及び４チャンネル・オーディオ、５チャンネル又はそれ以上のチャンネルのオーディオ等を含む、サブウーファー有り又は無しの任意のスピーカ構成から正確に体験され得る。
【００２３】
図５は、モノラル音源５００又はステレオ音源５０５の入力ファイル又はデータ・ストリーム（サウンド・カードのようなプラグイン・カードからの音声信号）に対する信号処理チェーンを示す。信号源は、一般に３Ｄ空間に配置されるため、ステレオのような多チャンネル音源は、デジタル信号プロセッサ（「ＤＳＰ」）５２５によって処理される前に、単一のモノラル・チャンネル５１０にミキシング・ダウンされる。ＤＳＰは、専用ハードウェアに実装されても、又は、汎用コンピュータのＣＰＵに実装されてもよいことに注意されたい。入力チャンネル選択器５１５は、ステレオ・ファイルのいずれか又は両方のチャンネルが処理されることを可能とする。単一のモノラル・チャンネルは、その後、更なる処理のためにＤＳＰ５２５にルーティングされる２つの別個の入力チャンネルに分かれる。
【００２４】
本発明の幾つかの実施の形態は、複数の入力ファイル又はデータ・ストリームを同時に処理することを可能とする。一般に、図５は、同時に処理される幾つかの追加の入力ファイルのために複製される。グローバル・バイパス・スイッチ５２０は、全ての入力ファイルがＤＳＰ５２５をバイパスすることを可能とする。これは、出力の「Ａ／Ｂ」比較（例えば、処理されたフィル又は波形と、未処理のファイル又は波形との比較）に有用である。
【００２５】
更に、個々の独立した入力ファイル又はデータ・ストリームは、ＤＳＰ５２５を通過せずに、左出力５３０、右出力５３５又は中央／低周波数放射出力５４０に直接ルーティングされ得る。これは、例えば、複数の入力ファイル又はデータ・ストリームが同時に処理され、一つ又はそれ以上のファイルがＤＳＰによりって処理されない場合に利用され得る。例えば、左前方及び右前方のチャンネルだけが定位される場合、定位されない中央のチャンネルが状況において必要とされ得るが、これは、ＤＳＰを回避してルーティングされる。更に、極めて低い周波数を有する音声ファイル又はデータ・ストリーム（例えば、一般に２０〜５００Ｈｚの範囲の周波数を有する中央のオーディオ・ファイル又はデータ・ストリーム）は、空間化される必要がないかもしれない。その程度では、ほとんどの聞き手が、一般に、低周波数の発生源を特定することが難しい。そのような周波数を有する波形をＨＲＴＦフィルタを用いて空間化してもよいが、たいていの聞き手が関連する音声定位の手がかりを掴む際に経験する困難は、そのような空間化の有効性を最小化してしまう。そのため、そのような音声ファイル又はデータ・ストリームは、本発明のコンピュータで実現された実施の形態において、必要とされる計算時間及び処理能力を低減するために、ＤＳＰを回避してルーティングされる。
【００２６】
図６は、本発明の１つの実施の形態に対する、高レベルのソフトウェア処理フロー図である。本プロセスは、本実施の形態がソフトウェアを初期化する工程６００から始まる。次に、工程６０５が実行される。工程６０５は、プラグインから、処理されるべき音声ファイル又はデータ・ストリームをインポートする。工程６１０は、音声ファイルが定位される場合にはその仮想音源位置を選択するように、音声ファイルが定位されない場合には経路を選択するように実行される。工程６１５において、処理されるべき更なる入力音声ファイルがあるか否かを決定するチェックが実行される。もう一つの音声ファイルがインポートされる場合、工程６０５が再度実行される。更なる音声ファイルがインポートされない場合、本実施の形態は工程６２０の実行に進む。
【００２７】
工程６２０は、個々の音声入力ファイル又はデータ・ストリームのための再生オプションを構成する。再生オプションには、ループ再生及び処理されるべきチャンネル（左、右、両方等）が含まれ得るが、それらに限定されるものではない。その後、音声ファイル又はデータ・ストリームのための音声経路が作成されるか否かを決定する工程６２５が実行される。音声経路が作成される場合、音声経路データをロードする工程６３０が実行される。音声経路データは、時間経過に渡り音声経路に沿った様々な三次元空間位置における音声の定位に用いられるＨＲＴＦフィルタの組である。音声経路データは、ユーザによってリアルタイムに入力されても、持続性メモリ又は他の適切な記憶手段に格納されてもよい。工程６３０に続いて、本実施の形態は、下記の通りに工程６３５を実行する。しかしながら、本実施の形態が工程６２５において音声経路が作成されないことを決定した場合、工程６３０の代わりに工程６３５がアクセスされる（言い換えると、工程６３０が飛ばされる）。
【００２８】
工程６３５は、処理されている入力信号の音声信号セグメントを再生する。次に、入力音声ファイル又はデータ・ストリームがＤＳＰで処理されるか否かを決定する工程６４０が実行される。ファイル又はストリームがＤＳＰで処理される場合、工程６４５が実行される。ＤＳＰ処理が実行されないことを工程６４０が決定した場合、工程６５０が実行される。
【００２９】
工程６４５は、定位されたステレオ音声出力ファイルを生成するように、音声入力ファイル又はデータ・ストリームのセグメントを、ＤＳＰを用いて処理する。その後、工程６５０が実行され、本実施の形態は、音声ファイル・セグメント又はデータ・ストリームを出力する。つまり、入力音声は、本発明の幾つかの実施の形態において、実質的にリアルタイムに処理される。工程６５５において、本実施の形態は、入力音声ファイル又はデータ・ストリームの終わりが来たか否かを判断する。ファイル又はデータ・ストリームの終わりに到達していない場合、工程６６０が実行される。ファイル又はデータ・ストリームの終わりに到達した場合、処理が停止する。
【００３０】
工程６６０は、入力音声ファイル又はデータ・ストリームの仮想音声位置が４Ｄ音声を作成するために移動されるべきか否かを決定する。初期設定期間において、ユーザが、音源の３Ｄ位置を特定すること、及び、音源がその位置に置かれるべき時間のタイムスタンプと共に、更なる３Ｄ位置を提供し得ることに注意されたい。音源が移動している場合、工程６６５が実行される。そうではない場合、工程６３５が実行される。
【００３１】
工程６５５は、仮想音源のための新しい位置を設定する。次いで、工程６３０が実行される。
工程６２５、６３０、６３５、６４０、６４５、６５０、６５５、６６０及び６６５は、一般に、同時に処理される各入力音声ファイル又はデータ・ストリームに対して並列に実行されることに注意すべきである。つまり、各入力音声ファイル又はデータ・ストリームは、セグメントずつ、他の入力ファイル又はデータ・ストリームと同時に処理される。
４．音源位置の特定及び両耳聴フィルタの補間
図７は、３Ｄ空間における仮想音源の位置を特定するために、本発明の１つの実施の形態により用いられる基本的なプロセスを示す。３Ｄ音声位置の座標を得る工程７００が実行される。ユーザは、一般に、ユーザ・インターフェースを介して３Ｄ音源位置を入力する。代わりに、３Ｄ位置は、ファイル又はハードウェア装置を介して入力されてもよい。３Ｄ音源位置は、方形座標（ｘ、ｙ、ｚ）で特定されても、球座標（ｒ、θ、Φ）で特定されてもよい。次に、音声位置が方形座標で特定されているか否かを決定する工程７０５が実行される。３Ｄ音声位置が方形座標である場合、方形座標を球座標に変換する工程７１０が実行される。次に、更なる処理のために、３Ｄ位置の球座標をゲイン値とともに適切なデータ構造に格納する工程７１５が実行される。ゲイン値は、信号「ボリューム」の独立制御を提供する。１つの実施の形態において、各入力音声信号ストリーム又はファイルに対し、それぞれ異なるゲイン値が利用可能とされる。
【００３２】
先に述べた通り、本発明の１つの実施の形態は、それぞれが単位球面上の離れた場所にある、７，３３７個の予め定義された両耳聴フィルタを格納する。各両耳聴フィルタは、（例えばＦＩＲＬフィルタのようなインパルス応答フィルタによって一般に近似される）ＨＲＴＦＬフィルタと、（例えばＦＩＲＲフィルタのようなインパルス応答フィルタによって一般に近似される）ＨＲＴＦＲフィルタとの２つの成分を合わせたフィルタ・セットを備える。各フィルタ・セットは、単位球面上に配置されたＨＲＩＲ形態におけるフィルタ係数として提供され得る。これらのフィルタ・セットは、様々な実施の形態において、単位球面に均一又は非均一に配布され得る。他の実施の形態は、より多くの又はより少ない両耳聴フィルタ・セットを格納してもよい。工程７１５の後に、工程７２０が実行される。工程７２０は、特定された３Ｄ位置が予め定義された両耳聴ファイルのうちの一つによってカバーされていない場合に、最も近くにあるＮ個の近隣フィルタを選択する。次いで、工程７２５が実行される。工程７２５は、３つの最も近い近隣フィルタの補間により、特定された３Ｄ位置のための新しいフィルタを生成する。他の実施の形態は、より多くの又はより少ない予め定義されたフィルタを用いて新しいフィルタを生成してもよい。
【００３３】
ＨＲＴＦフィルタは波形固有のものではないことを理解すべきである。つまり、各ＨＲＴＦフィルタは、任意の入力波形の任意の部分に対して音声を空間化し、スピーカ又はヘッドフォンを介して再生された際に仮想音源位置から発するように感じられるようになし得る。
【００３４】
図８は、位置８００に置かれる新しいＨＲＴＦフィルタを補間するために利用されるフィルタ・セットであって、単位球面上に置かれ、それぞれがＸによって表記される、幾つかの予め定義されたＨＲＴＦフィルタ・セットを示す。位置８００は、その方位及び高度（０．５、１．５）によって特定される、所望の３Ｄ仮想音源位置である。この位置は、予め定義されたフィルタ・セットのうちの一つによっては、カバーされていない。この例では、３つの最も近くに隣接する予め定義されたフィルタ・セット８０５、８１０、８１５が、位置８００に対応するフィルタ・セットを補間するために利用される。ピタゴラスの距離関数に従って、該所望の位置と単位球面上の全ての格納された位置との間の距離Ｄを最小化することにより、位置８００に対する適切な３つの隣接するフィルタ・セットの選択がなされる。即ち、
【００３５】
【数１】
2010520671.tif 000003
【００３６】
である。ただし、ｅｋ及びａｋは格納された位置ｋの高度及び方位であり、ｅｘ及びａｘは所望の位置ｘの高度及び方位である。
従って、フィルタ・セット８０５、８１０、８１５は、１つの実施の形態により、位置８００に対応する補間されたフィルタ・セットを得るために利用され得る。他の実施の形態は、補間プロセスにおいて、より多くの又はより少ない予め定義されたフィルタを利用してもよい。補間プロセスの正確性は、定位される音源位置の周辺における予め定義されたフィルタのグリッド密度、処理精度（例えば、３２ビット浮動小数点、短精度）、及び利用される補間の種別（例えば、線形、同期、放物線等）に依存する。フィルタ係数が帯域制限信号を表すため、帯域制限補間（同期補間）が新しいフィルタ係数の作成に最適な方法を提供し得る。
【００３７】
補間は、予め定義されたフィルタ係数間の多項式又は帯域制限補間によって行うことができる。１つの実現形態において、２つの最も近い隣接間の補間は、処理時間を最小化するように、一次多項式、即ち線形補間によって実行される。この特定の実現形態において、個々の補間されたフィルタ係数は、
【００３８】
【数２】
2010520671.tif 000004
【００３９】
と設定することにより得られ得る。ただし、ｈｔ（ｄｘ）は位置ｘにおいて補間されたフィルタ係数であり、ｈｔ（ｄｘ＋１）及びｈｔ（ｄｋ）は２つの最も近く隣接する予め定義されたフィルタ係数である。
【００４０】
フィルタ係数を補間する際は、一般に、両耳間時差（「ＩＴＤ」）を考慮しなければならない。各フィルタは、図９に示すように、各耳チャンネルと音源との間の距離に応じた固有の遅延を有する。このＩＴＤは、ＨＲＩＲにおいて、実際のフィルタ係数の前の非ゼロのオフセットとして表れる。従って、既知の地点ｋ及びｋ＋１から、所望の地点ｘにおけるＨＲＩＲに類似するフィルタを作成するのは、一般に難しい。予め定義されたフィルタによりグリッドが密に埋められている場合には、誤差が小さいため、ＩＴＤによってもたらされる遅延は無視することができる。しかしながら、メモリが限られている場合、これは選択肢にならないかもしれない。
【００４１】
メモリが限られている場合、左右フィルタの遅延ＤＲ及びＤＬそれぞれへのＩＴＤ寄与が補間プロセス中に取り除かれるように、左右の各耳チャンネルに対応するＩＴＤ９０５、９１０が推定されなければならない。本発明の１つの実施の形態において、ＩＴＤは、ＨＲＩＲがＨＲＩＲ最大絶対値の５％を超えるところのオフセットを調べることにより、決定される。ＩＴＤは、サンプリング間隔の分解能を超える遅延時間Ｄを有する非整数遅延であるため、この推定は厳密ではない。実際の遅延端数は、ＨＲＩＲのピークに渡る放物線補間を用いてピークの実際位置Ｔを推定することにより決定される。これは、一般に、３つの既知の点に沿った放物線の最大値を見つけることによってなされ、数学的には、
【００４２】
【数３】
2010520671.tif 000005
【００４３】
と表現することができる。ただし、εは分母がゼロではないことを保証するための小さな数値である。
遅延Ｄは、以下の数式により、修正された位相スペクトルを計算することにより、周波数領域における位相スペクトルを用いて、各フィルタから引き出され得る。即ち、
【００４４】
【数４】
2010520671.tif 000006
【００４５】
である。ただし、Ｎは、ＦＥＴのための変形周波数ビンの数である。代替として、ＨＲＩＲは、時間領域において、
ｈ’ｔ＝ｈｔ＋Ｄ
を用いて時間シフトされてもよい。
【００４６】
補間後、左右のチャンネルをそれぞれＤＲ及びＤＬの分だけ遅延させることにより、ＩＴＤが足し戻される。提供される音源の現在位置に従って、遅延も補間される。即ち、各チャンネルに対して、
【００４７】
【数５】
2010520671.tif 000007
【００４８】
であり、α＝ｘ−ｋである。
５．デジタル信号処理及びＨＲＴＦフィルタリング
特定の３Ｄ音声位置に対する両耳聴フィルタ係数が決定されると、定位されたステレオ出力を提供するために、各入力音声ストリームが処理され得る。本発明の１つの実施の形態において、ＤＳＰユニットは、３つの別個のサブ・プロセスに再分解され得る。これらは、両耳聴フィルタリング、ドップラー・シフト処理及び背景処理である。図１０は、本発明の１つの実施の形態における音源定位のための、ＤＳＰソフトウェア処理フローを示す。
【００４９】
まず、ＤＳＰによる更なる処理のために、音声入力チャンネルへの音声データ・ブロックを得る工程１０００が実行される。次いで、両耳聴フィルタリングのためにブロックを処理する工程１００５が実行される。次に、ドップラー・シフトのためにブロックを処理する工程１０１０が実行される。最後に、空間シミュレーションのためにブロックを処理する工程１０１５が実行される。他の実施の形態は、両耳聴フィルタリング１００５、ドップラー・シフト処理１０１０及び空間シミュレーション処理１０１５を、異なる順序で実行してもよい。
【００５０】
両耳聴フィルタリング工程１００５の期間に、特定の３Ｄ位置に対するＨＲＩＲフィルタ・セットを読み込む工程１０２０が実行される。次に、工程１０２５が実行される。工程１０２５は、左右チャンネルに一つずつの、フィルタ・セットの周波数応答を得るために、ＨＲＩＲフィルタ・セットにフーリエ変換を適用する。幾つかの実施の形態は、フィルタ係数を変換状態で格納し読み込むことにより、時間を節約するために、工程１０２５を飛ばしてもよい。次に、工程１０３０が実行される。工程１０３０は、振幅（ｍａｇｎｉｔｕｄｅ）、位相及びホワイトニングについてフィルタを調整する。次いで、工程１０３５が実行される。
【００５１】
工程１０３５において、本実施の形態は、データ・ブロックの周波数領域畳み込みを実行する。この工程の最中に、変換されたデータ・ブロックに、右耳チャンネル及び左耳チャンネルの周波数応答が乗じられる。次いで、工程１０４０が実行される。工程１０４０は、データ・ブロックを時間領域に戻すよう変換するために、データ・ブロックに逆フーリエ変換を行う。
【００５２】
次に、工程１０４５が実行される。工程１０４５は、高周波数調整及び低周波数調整のために音声データ・ブロックを処理する。
音声データ・ブロックの空間シミュレーション処理（工程１０１５）中に、工程１０５０が実行される。工程１０５０は、空間の形状及びサイズについて、音声データ・ブロックを処理する。次に、処理１０５５が実行される。処理１０５５は、壁、床及び天井の素材について、音声データ・ブロックを処理する。次に、工程１０６０が実行される。工程１０６０は、３Ｄ音源位置及び聞き手の耳からの距離を反映するように、音声データ・ブロックを処理する。
【００５３】
人間の耳は、周辺環境や、外耳及び耳介を含む人の聴覚システムと、音声手がかりとの様々な相互作用から、音声手がかりの位置を推定する。異なる位置からの音声は、異なる共鳴及び打消し効果を作り出し、これにより、脳は、音声手がかりの空間内の相対的位置を決定することができる。
【００５４】
音声手がかりと環境、耳及び耳介との相互作用によって作り出される、これらの共鳴及び打消し効果は、本質的に線形の性質を有し、そのため、本発明の様々な実施の形態において計算されるように、線形時不変（「ＬＴＩ」）システムの外部刺激に対する反応として定位された音声を表現することにより捕捉できる。（一般に、本明細書に記載された計算、公式及び他の演算は、本発明の実施の形態により実行されてもよく、一般にそのようになされる。そのため、例えば、例としての実施の形態は、本明細書に開示されたタスク、計算、演算などを実行することができる、適切に構成されたコンピュータ・ハードウェア又はソフトウェアの形態をとり得る。更に、そのようなタスク、公式、演算、計算等（「データ」と総称する）の説明は、そのようなデータの実行、アクセス又はその他の利用を含む、例としての実施の形態の一般的状況のなかで述べられたものであることを理解しなければならない。）
任意の離散ＬＴＩシステムの単一インパルス応答に対する応答は、システムの「インパルス応答」と呼ばれる。そのようなシステムのインパルス応答ｈ（ｔ）が与えられると、任意の入力信号ｓ（ｔ）に対するその応答ｙ（ｔ）は、時間領域における畳み込みと呼ばれるプロセスを介して、実施の形態により構成されることができる。即ち、
【００５５】
【数６】
2010520671.tif 000008
【００５６】
である。ただし、・は畳み込みを示す。しかし、時間領域における畳み込みは、標準的な時間領域畳み込みのための処理時間がフィルタ内のポイントの数によって指数関数的に増加するために、計算量が非常に大きくなる。時間領域における畳み込みは、周波数領域における乗算に対応するするため、長いフィルタに対しては、高速フーリエ変換（「ＦＦＴ」）畳み込みと呼ばれる技術を用いて周波数領域で畳み込みを実行すると、より効果的であり得る。即ち、
【００５７】
【数７】
2010520671.tif 000009
【００５８】
である。ただし、Ｆ−１は逆フーリエ変換であり、Ｓ（ｆ）は入力信号のフーリエ変換であり、Ｈ（ｆ）はシステムのインパルス応答のフーリエ変換である。ＦＦＴ畳み込みに必要とされる時間は、フィルタにおけるポイントの数の対数としてのみ、非常にゆっくりと増加することに注意するべきである。
【００５９】
入力信号ｓ（ｔ）の離散時間型、離散周波数型フーリエ変換は、
【００６０】
【数８】
2010520671.tif 000010
【００６１】
によって与えられる。ただし、ｋは「周波数ビン指数」と呼ばれ、ωは角周波数であり、Ｎはフーリエ変換フレーム（又はウィンドウ）・サイズである。従って、ＦＦＴ畳み込みは、
【００６２】
【数９】
2010520671.tif 000011
【００６３】
と表現され得る。ただし、Ｆ−１は逆フーリエ変換である。よって、実数値の入力信号ｓ（ｔ）のための実施の形態による周波数領域における畳み込みは、２つのＦＦＴ及びＮ／２＋１の複合乗算を要する。長いｈ（ｔ）について、即ち、多数の係数を含むフィルタについては、時間領域畳み込みの代わりにＦＦＴ畳み込みを使用することにより、処理時間のかなりの節約が達成され得る。しかしながら、ＦＦＴ畳み込みが実行される際、ＦＦＴフレーム・サイズは、一般に、循環畳み込みが起きないように十分に長くなければならない。循環畳み込みは、ＦＦＴフレーム・サイズを、畳み込みによって生成される出力セグメントのサイズと同じか、又はそれより大きくすることにより、回避され得る。例えば、長さＮの入力セグメントが長さＭのフィルタによって畳み込みされる場合、生成される出力セグメントの長さはＮ＋Ｍ−１である。従って、Ｎ＋Ｍ−１又はそれより大きいＦＦＴフレーム・サイズが利用され得る。一般に、計算効率及びＦＦＴ実装の容易性のために、２の累乗であるＮ＋Ｍ−１が選択され得る。本発明の１つの実施の形態は、データ・ブロック・サイズＮ＝２０４８と、Ｍ＝１９２０の係数を有するフィルタを使用する。循環畳み込み効果を避けるために、使用されるＦＦＴフレーム・サイズは、３９６７のサイズの出力セグメントを保持し得る４０９６、又は次に大きな２の累乗である。一般に、フィルタ係数及びデータ・ブロックは、いずれも、ＦＦＴフレーム・サイズと同じＮ＋Ｍ−１の大きさになるように、フーリエ変換される前にゼロを付加される。
【００６４】
本発明の幾つかの実施の形態は、実数値をとる入力値に対するＦＦＴ出力の対称性を利用する。フーリエ変換は、複素数演算である。そのため、入力値及び出力値は、実数部及び虚数部を有する。一般に、音声データは通常、実数信号である。実数値をとる入力信号に対して、ＦＦＴの出力は共役対称関数である。つまり、その値の半分は冗長となる。これは、数学的には、
【００６５】
【数１０】
2010520671.tif 000012
【００６６】
と表現できる。この冗長性は、本発明の幾つかの実施の形態により、単一のＦＦＴを用いて２つの実数値を同時に変換するために利用され得る。結果としての変換は、２つの入力信号（１つの信号は純粋な実数であり、もう１つの入力は純粋な虚数である）から生じる２つの対称変換の組み合わせである。実数信号はエルミート対称であり、虚数信号は反エルミート対称である。ｆが０からＮ／２＋１の範囲をとる各周波数ビンｆにおいて、２つの変換Ｔ１及びＴ２を析出するために、ｆ及びーｆにおける実数部及び虚数部の和又は差が、２つの変換Ｔ１及びＴ２を生成するために用いられる。これは、数学的に、
【００６７】
【数１１】
2010520671.tif 000013
【００６８】
と表現できる。ただし、ｒｅ（ｆ）、ｉｍ（ｆ）、ｒｅ（−ｆ）、及びｉｍ（−ｆ）は、周波数ビンｆ及びーｆにおける初期変換の実数部及び虚数部であり、ｒｅＴ１（ｆ）、ｉｍＴ１（ｆ）、ｒｅＴ１（−ｆ）、及びｉｍＴ１（−ｆ）は、周波数ビンｆ及びーｆにおける変換Ｔ１の実数部及び虚数部であり、ｒｅＴ２（ｆ）、ｉｍＴ２（ｆ）、ｒｅＴ２（−ｆ）、及びｉｍＴ２（−ｆ）は、周波数ビンｆ及びーｆにおける変換Ｔ２の実数部及び虚数部である。
【００６９】
ＨＲＴＦフィルタは、その性質のために、一般に、図１１に示すように、高周波数端及び低周波数端の両方において、固有のロールオフを有する。このフィルタのロールオフは、（例えば、声又は単一楽器としての）個々の音声については、たいていの個々の音声は低周波数成分及び高周波数成分をわずかにしか含まないため、目立たないかもしれない。しかしながら、本発明の実施の形態によって全体のミックスが処理される場合、フィルタのロールオフ効果がより目立つことになり得る。本発明の１つの実施の形態は、図１２に示すように、上側カットオフ周波数Ｃｕｐｐｅｒより上の、及び下側カットオフ周波数Ｃｌｏｗｅｒより下の周波数における振幅及び位相の値をクランピングすることにより、フィルタのロールオフを除去する。これは、図１０の工程１０４５である。
【００７０】
クランピング効果は、数学的に、
（ｋ＞Ｃｕｐｐｅｒ）の場合、
【００７１】
【数１２】
2010520671.tif 000014
【００７２】
と表現でき、（ｋ＜Ｃｌｏｗｅｒ）の場合、
【００７３】
【数１３】
2010520671.tif 000015
【００７４】
と表現できる。
クランピングは、効果的なゼロ次ホールド補間である。他の実施の形態は、興味のある最低及び最高周波数帯域における平均の振幅及び位相を利用するなどの別の補間方法を用いて、低周波数及び高周波数の通過帯域を拡大し得る。
【００７５】
本発明の幾つかの実施の形態は、もたらされる定位の量を調整するために、ＨＲＴＦフィルタの振幅及び位相を調整し得る（図１０の工程１０３０）。１つの実施の形態において、定位の量は０〜９の規模で調整可能である。定位の調整は、振幅スペクトルにおけるＨＲＴＦフィルタの効果、及び位相スペクトルにおけるＨＲＴＦフィルタの効果という２つの部分に分けられ得る。
【００７６】
位相スペクトルは、聞き手及びその耳介に到達し、それらと相互作用する音波の、周波数依存の遅延を定義する。位相条件に最大に寄与するのは、一般に、大きな線形位相オフセットをもたらすＩＴＤである。本発明の１つの実施の形態において、ＩＴＤは、
【００７７】
【数１４】
2010520671.tif 000016
【００７８】
のように、位相スペクトルにスカラーαを乗じ、更にオプションとしてオフセットβを加えることにより修正される。
一般に、位相調整を正確に動作させるために、位相は、周波数軸に沿ってアンラップでなければならない。位相のアンラップ処理は、連続周波数ビン間にπラジアンより大きな絶対値跳躍（ａｂｓｏｌｕｔｅ  ｊｕｍｐ）がある場合に、２πの累乗を加算又は減算することにより、ラジアン位相角を補正する。つまり、周波数ビンｋ＝１における位相角が、周波数ビンｋと周波数ビンｋ＝１との間の位相差が最小化されるように、２πの累乗により変更される。
【００７９】
定位された音声信号の振幅スペクトルは、所与の周波数における音波の、任意の近くのフィールド・オブジェクト及び聞き手の頭との共鳴及び打消し効果から、もたらされる。振幅スペクトルは、一般に、幾つかのピーク周波数を含み、該ピークにおいて、音波と聞き手の頭及び耳介との相互作用の結果として共鳴が発生する。これらの共鳴周波数は、頭、外耳及び身体の大きさの相違が小さいために、一般に、全ての聞き手に対してほぼ同じである。共鳴周波数の変化が定位効果に影響し得るように、共鳴周波数の位置は定位効果に影響し得る。
フィルタのスティープネスは、その選択性、分離、又は
【００８０】
【数１５】
2010520671.tif 000017
【００８１】
によって与えられる単位無し係数Ｑによって一般に表現される性質である「品質」を決定する。ただし、λはオクターブでのフィルタの帯域幅である。より高いフィルタ分離は、より明らかな共鳴（より険しいフィルタ傾斜）をもたらし、これは定位効果を向上又は減衰させる。
【００８２】
本発明の１つの実施の形態において、定位効果を調整するために、全ての振幅スペクトル項に非線形演算子が適用される。数学的に、これは、
【００８３】
【数１６】
2010520671.tif 000018
【００８４】
と表現できる。ただし、α＝０から１、β＝０からｎである。
この実施の形態において、αは、振幅スケーリングの強度であり、βは振幅スケーリング指数である。１つの特定の実施の形態においては、β＝２であり、振幅スケーリングが計算効率の良い形態へと減少される。即ち、
【００８５】
【数１７】
2010520671.tif 000019
【００８６】
である。ただし、α＝０から１である。
音声データ・ブロックが両耳聴フィルタリングされた後、本発明の幾つかの実施の形態は、音声データ・ブロックを更に処理して、ドップラー・シフトを打消し又は作成し得る（図１０の工程１０１０）。他の実施の形態は、音声データ・ブロックが両耳聴フィルタリングされる前に、ドップラー・シフトについてデータ・ブロックを処理してもよい。ドップラー・シフトとは、図１３に示されるように、聞き手に対する音源の相対移動の結果として知覚される音源のピッチの変化である。図１３に示す通り、静止音源はピッチを変化させない。しかし、聞き手のほうに向かって移動する音源１３１０は、より高いピッチに知覚され、聞き手から離れるように移動する音源は、より低いピッチに知覚される。音速は毎秒３３４メートルであり、移動音源の速度の数倍であるため、ドップラー・シフトは、ゆっくりと移動する音源についても容易に知覚される。従って、本実施の形態は、聞き手が移動音源の速度及び方向を確定可能とするために、定位プロセスがドップラー・シフトを打ち消すように構成され得る。
【００８７】
ドップラー・シフト効果は、本発明の幾つかの実施の形態により、デジタル信号処理を用いて作成され得る。大きさが、音源と聞き手との間の最大距離と比例するデータ・バッファが作成される。図１４を参照して、音声データ・ブロックは、バッファのインデックス０にあり、仮想音源の位置に相当する「入力タップ」１４００において、バッファに加えられる。「出力タップ」１４１５は、聞き手の位置に対応する。静止仮想音源について、聞き手と仮想音源との距離は、図１４に示すように、単純な遅延として知覚される。
【００８８】
仮想音源が経路に沿って移動する場合、ドップラー・シフト効果は、知覚される音声ピッチを変化させるよう聞き手タップ又は音源タップが移動することによりもたらされ得る。例えば、図１５に示す通り、聞き手のタップ位置１５１５が左に動く場合、即ち、音源１５００の方に向かって動く場合、音波のピーク及び谷は、聞き手位置をより早く打つことになり、これはピッチの増加に相当する。代わりに、聞き手タップ位置１５１５は、知覚されるピッチを減少させるように、音源１５００から遠ざかる方向に動いてもよい。
【００８９】
本実施の形態は、聞き手に対して放射線状だけではなく環状にも移動する音源をシミュレートするために、左右の耳に対するドップラー・シフトを別々に作成し得る。ドップラー・シフトは、音源が聞き手に近づく際に周波数のより高いピッチを作り出すために、また、入力信号がクリティカルにサンプリングされるために、ピッチの増加は、ナイキスト周波数外の周波数をもたらし、それにより、エイリアシングをもたらし得る。エリアシングは、レートＳｒでサンプリングされた信号がナイキスト周波数＝Ｓｒ／２と同じか、それ以上の周波数を含む場合に発生する（例えば、４４．１ｋＨｚでサンプリングされた信号は、２２，０５０Ｈｚのナイキスト周波数を有し、エリアシングを避けるために、２２，０５０Ｈｚより少ない周波数成分を持たなければならない）。ナイキスト周波数より高い周波数は、より低い周波数位置において現れ、望ましくないエリアシング効果をもたらす。本発明の幾つかの実施の形態は、ピッチの任意の変化が、処理された音声信号において他の周波数とエイリアスする周波数を作り出さないように、ドップラー・シフト処理の前に又は最中に、アンチ・エリアシング・フィルタを用い得る。
【００９０】
左右の耳のドップラー・シフトは互いに独立して処理されるため、マルチプロセッサ・システムで実行される本発明の幾つかの実施の形態は、それぞれ耳のために別個のプロセッサを使用して、音声データ・ブロックの全体としての処理時間を最小化し得る。
【００９１】
本発明の幾つかの実施の形態は、音声データ・ブロックにおいて、背景処理を実行し得る（図１０の工程１０１５）。背景処理は、空間特性を打ち消すための反響処理（図１０の工程１０５０及び１０５５）、及び距離処理（図１０の工程１０６０）を含む。
【００９２】
音源のラウドネス（デシベル・レベル）は、音源と聞き手との間の距離の関数である。聞き手への経路の途中で、音波のエネルギーの一部は、摩擦及び損失（空気吸収）のために、熱に変換される。また、３Ｄ空間における波形伝播のため、聞き手と音源が更に離れている場合、音波のエネルギーは、より大きな空間に分散される（距離減衰）。
【００９３】
理想的な環境において、距離ｄ１において測定された参照レベルを有し、音源から距離ｄ２の位置にある聞き手の音圧レベルの減衰Ａ（デシベル単位）は、
【００９４】
【数１８】
2010520671.tif 000020
【００９５】
で表現できる。
この関係は、一般に、何らの干渉物も無い、完全に損失のない大気中における音源にのみ有効である。本発明の１つの実施の形態において、この関係は、距離ｄ２における音源について、減衰係数を計算するために用いられる。
【００９６】
音波は、一般に、環境内の物質と相互作用し、それらにより反響、屈折又は回折させられる。表面による反響は、信号に加えられる離散エコーをもたらし、屈折及び回折は、一般に、より周波数依存的であって、周波数によって異なる時間遅延を生む。そのため、本発明の幾つかの実施の形態は、音源の距離の知覚を向上させるために、周辺環境に関する情報を組み込む。
【００９７】
音波と物質との相互作用をモデル化するために本発明の実施の形態によって利用され得る、レイトレーシングと、くし形及び全域通過フィルタを用いた残響処理とを含む、幾つかの方法がある。レイトレーシングでは、仮想音源の反響が、聞き手の位置から音源へとさかのぼって追跡される。ここでは、プロセスが音波経路をモデル化するため、実際の空間の、現実に近い近似が可能である。
【００９８】
くし形及び全域通過フィルタを用いた残響処理では、一般に、実際の環境はモデル化されない。その代わりに、実際の音響効果が復元される。幅広く利用されている１つの方法において、参照により本明細書に援用されるＭ．Ｒ．シュローダー及びＢ．Ｆ．ローガンによるＩＲＥ  Ｔｒａｎｓａｃｔｉｏｎｓ第Ａｕ−９号第２０９−２１４頁に掲載された１９６１年の論文「色彩無し人工反響（Ｃｏｌｏｒｌｅｓｓ  ａｒｔｉｆｉｃａｉｌ  ｒｅｖｅｒｂｅｒａｔｉｏｎ）」に記載されているように、くし形及び全域通過フィルタを直列又は並列の構成に配置する。
【００９９】
全域通過フィルタ１６００は、図１６に示すように、遅延要素１６０５として、フィードフォワード経路１６１０及びフィードバック経路１６１５を備えて実装され得る。全域通過フィルタの構造において、フィルタｉは、
【０１００】
【数１９】
2010520671.tif 000021
【０１０１】
によって与えられる変換関数を有する。
理想的な全域通過フィルタは、長周期単位振幅応答（そのため全域通過という）により周波数依存の遅延を作り出す。そのため、全域通過フィルタは、長周期位相スペクトルに対してのみ効果を有する。本発明の１つの実施の形態では、定位される仮想音源周辺の物質により加えられる多重反響の音響効果を達成するために、図１７に示すように、全域通過フィルタ１７０５、１７１０がネストされ得る。１つの特別な実施の形態において、１６個のネストされた全域通過フィルタのネットワークが、共有メモリ・ブロック（蓄積バッファ）を横断して実装される。音声チャンネルごとに８個である、追加の１６個の出力タップが、仮想音源及び聞き手の周囲にある壁、天井及び床の存在をシミュレートする。
【０１０２】
蓄積バッファへのタップは、それらの時間遅延が、一次反響時間と、聞き手の２つの耳と仮想音源との空間内における経路長とに対応するように、間隔を空けて置かれ得る。図１８は、全域通過フィルタ・モデル、優先波形（ｐｒｅｆｅｒｅｎｔｉａｌ  ｗａｖｅｆｏｒｍ）１８０５（直接入射音）、及び仮想音源から聞き手までの初期反響１８１０、１８１５、１８２０、１８２５、１８３０の結果を示す。
６．更なる処理の改善
特定の状況下において、ＨＲＴＦフィルタは、特定の周波数を望ましくなく強調するスペクトルの不平衡をひきおこし得る。これは、フィルタの振幅スペクトルに、処理された信号が平板な振幅スペクトルを有する場合に隣接周波数領域間の不平衡を作り出し得る、大きなディップ及びピークがあることにより発生する。
【０１０３】
定位の手がかりを生成するために一般に用いられる小規模のピークに影響することなく、この音の不平衡効果を中和するために、周波数によって異なる全体ゲイン係数がフィルタ振幅スペクトルに適用される。このゲイン係数は、周波数スペクトルにおける変化を平滑化し、一般にその平坦性を最大化して、理想的なフィルタ・スペクトルからの大規模な逸脱を最小化するイコライザとして動作する。
【０１０４】
本発明の１つの実施の形態は、以下のようにゲイン係数を実装し得る。まず、全フィルタ振幅スペクトルの相加平均Ｓ’が、
【０１０５】
【数２０】
2010520671.tif 000022
【０１０６】
のように計算される。
次に、図１９に示すように、振幅スペクトル１９００が、小さな互いに重複するウィンドウ１９０５、１９１０、１９１５、１９２０、１９２５に分割される。各ウィンドウについて、ｊ番目のスペクトル帯域に対応する平均スペクトル振幅が、再び相加平均を用いて計算される。即ち、
【０１０７】
【数２１】
2010520671.tif 000023
【０１０８】
である。ただし、Ｄはｊ番目のウィンドウのサイズである。
振幅スペクトルのウィンドウ領域は、次に、ウィンドウ分割された振幅データ・セットの相加平均が全振幅スペクトルの相加平均と一致するように、短周期ゲイン係数によりスケーリングされる。１つの実施の形態は、図２０に示すように、短周期ゲイン係数２０００を用いる。個々のウィンドウは、重み付け係数Ｗｉを用いて互いに足し戻され、それにより、一般に全ＦＥＴビンにわたり均一に近づく、修正された振幅スペクトルが生じる。このプロセスは、一般に、スペクトルの平坦性を最大化することにより、スペクトルをホワイトニングする。本発明の１つの実施の形態は、図２１に示すように、重み付け関数としてハン窓を用いる。
【０１０９】
最後に、Ｍがフィルタ長である際に、１＜ｊ＜２Ｍ／Ｄ＋１であるｊそれぞれについて、以下の式が評価される。即ち、
【０１１０】
【数２２】
2010520671.tif 000024
【０１１１】
である。
図２２は、改善されたスペクトル均衡を有する修正されたＨＲＴＦフィルタの最終的な振幅スペクトル２２００を示す。
【０１１２】
ＨＲＴＦフィルタの上記のホワイトニングは、一般に、本発明の好ましい実施の形態により、図１０の工程１０３０の期間に実行される。
更に、両耳聴フィルタの効果の一部は、聞き手位置に対して対称的に配置された２つの仮想スピーカを通してステレオ・トラックが再生される場合に、相殺され得る。これは、両耳間レベル差（「ＩＬＤ」）、ＩＴＤ、及びフィルタの位相応答の対称性によるものかもしれない。つまり、左耳フィルタ及び右耳フィルタのＩＬＤ、ＩＴＤ及び位相応答は、一般に、互いの逆数である。
【０１１３】
図２３は、例えば、モノラル信号が２つの仮想スピーカ２３０５、２３１０を通して再生される場合のような、ステレオ信号の左右のチャンネルが実質的に同一である場合に起こり得る状況を示す。設定が聞き手２３１５に対して対称的であるため、
ＩＴＤ Ｌ−Ｒ＝ＩＴＤ  Ｒ−Ｌ、且つ、ＩＴＤ  Ｌ−Ｌ＝ＩＴＤ  Ｒ−Ｒ
となる。ただし、ＩＴＤ  Ｌ−Ｒは左チャンネルから右耳へのＩＴＤであり、ＩＴＤ  Ｒ−Ｌは右チャンネルから左耳へのＩＴＤであり、ＩＴＤ  Ｌ−Ｌは左チャンネルから左耳へのＩＴＤであり、ＩＴＤ  Ｒ−Ｒは右チャンネルから右耳へのＩＴＤである。
【０１１４】
図２３に示すように、２つの対称的に配置された仮想スピーカ２３０５、２３１０で再生されるモノラル信号について、ＩＴＤは、一般に、仮想音源が中心２３２０から来るように感じられるよう、足し合わされる。
【０１１５】
更に、図２４は、信号が右２４０５（又は左２４１０）チャンネルのみに現れる状況を示す。そのような状況では、右（左）フィルタ・セット及びそのＩＴＤ、ＩＬＤ、並びに位相及び振幅応答のみが信号に適用され、該信号は、スピーカ領域の外側にある遠方の右２４１５（遠方の左）の位置から来るかのように感じられる。
【０１１６】
最後に、図２５に示す通り、ステレオ・トラックが処理される際、エネルギーの大半は、一般に、ステレオ領域２５００の中心に配置される。これは、一般に、多くの楽器を含むステレオ・トラックについて、たいていの楽器はステレオ画像の中心にパンされ、楽器のごく一部のみがステレオ画像の側面にあるように感じられることを意味する。
【０１１７】
２つ又はそれ以上のスピーカを通して再生される定位ステレオ信号の定位をより効果的にするために、２つのステレオ・チャンネル間のサンプル分配は、ステレオ画像のエッジにむけてバイアスされ得る。これは、より多くの入力信号が両耳聴フィルタによって定位されるように、２つの入力チャンネルを相関付けないことにより、両チャンネルに共通な全信号を効果的に低減する。
【０１１８】
しかしながら、ステレオ画像の中心部を減衰することにより、他の問題が生じ得る。特に、声及びリード楽器の減衰が引き起こされ、望ましくないカラオケのような効果が生み出され得る。本発明の幾つかの実施の形態は、声及びリード楽器を仮想的に処理されていない状態で残すように中心信号を帯域通過フィルタリングすることにより、これを中和する。
【０１１９】
図２６は、中心信号の帯域通過フィルタリングを用いる本発明の１つの実施の形態に対する、信号ルーティングを示す。これは、本実施の形態において、図５の工程５２５に組み込まれ得る。
【０１２０】
図５に戻って参照し、ＤＳＰ処理モードは、ＤＳＰ信号経路の複数のインスタンスを作り出す複数の入力ファイル又はデータ・ストリームを受け取り得る。個々の単一の経路に対するＤＳＰ処理モードは、一般に、単一のステレオ・ファイル又はデータ・ストリームを入力として受け取り、入力信号を左右のチャンネルに分け、ＤＳＰプロセスのための２つのインスタンスを作成し、１つのインスタンスをモノラル信号としての左チャンネルに、もう１つのインスタンスをモノラル信号としての右チャンネルに割り当てる。図２６は、処理モード内における左インスタンス２６０５及び右インスタンス２６１０を示す。
【０１２１】
図２６の左インスタンス２６０５は、図示された全ての要素を含むが、左チャンネルに提示された信号のみを有する。右インスタンス２６１０は、左インスタンスと同様だが、右チャンネルに提示された信号のみを有する。左インスタンスの場合、信号は加算器２６１５に行く半分と、左減算器２６２０に行く半分とに分けられる。加算器２６１５は、ステレオ信号の中央分配のモノラル信号を生成し、該信号は、特定の周波数範囲が減衰器２６３０への通過を許される帯域通過フィルタ２６２５に入力される。中央分配は、左減算器と組み合わされて、ステレオ信号の最も左の又は左の側面のみを生成し、それは次いで、定位のために左ＨＲＴＦフィルタ２６３５によって処理される。最後に、左に定位された信号が、減衰された中央分配信号と組み合わされる。同様の処理が右インスタンス２６１０について発生する。
【０１２２】
左右のインスタンスは、最終出力に結合され得る。これは、元の信号の中央分配の存在を保持しつつ、遠方の左及び右の音声のより大きな定位をもたらし得る。
１つの実施の形態において、帯域通過フィルタ２６２５は、１２ｄＢ／オクターブのスティープネス、３００Ｈｚの下側周波数カットオフ値、及び２ｋＨｚの上側周波数カットオフ値を有する。一般に、減衰率が２０〜４０％である場合に良好な結果が得られる。他の実施の形態は、帯域制御フィルタの異なる設定、及び／又は異なる減衰率を用い得る。
７．ブロック・ベース処理
一般に、音声入力信号は非常に長くなり得る。そのような長い入力信号は、定位ステレオ出力を生成するよう、時間領域において両耳聴フィルタによって畳み込みされ得る。しかしながら、本発明の幾つかの実施の形態により信号がデジタル処理される際、入力音声信号は、音声データ・ブロックとして処理され得る。様々な実施の形態は、短時間フーリエ変換（「ＳＴＦＴ」）を用いて、音声データ・ブロックを処理し得る。ＳＴＦＴは、時間経過につれて変化する信号のローカル部分の正弦関数の周波数及び位相成分を決定するために用いられるフーリエに関連した変換である。つまり、ＳＴＦＴは、入力音声データの時間領域シーケンスの隣接する断片を分析及び合成するために利用され、それにより、入力音声信号の短周期スペクトル表現を提供することができる。
【０１２３】
ＳＴＦＴ演算は「変換フレーム」と呼ばれるデータの離散的チャンクにおいて動作するため、音声データは、図２７に示され通りブロック同士が相互に重なるように、ブロック２７０５において処理され得る。ＳＴＦＴ変換フレームは、ｋ個のサンプルごとに取得され（ｋ個のサンプルのストライドと呼ぶ）、ｋは変換フレーム・サイズであるＮよりも小さい整数である。これは、隣接の変換フレームが、（Ｎ−ｋ）／Ｎとして定義されるストライド係数によって相互に重複されることをもたらす。幾つかの実施の形態は、ストライド係数を変更してもよい。
【０１２４】
音声信号は、変換ウィンドウのエッジにおいて信号がカットオフされる際に生じるエッジ効果を最小化させるように、相互に重複するブロックにおいて処理され得る。ＳＴＦＴは、変換フレームの内側の信号を、周期的にフレームの外側に拡張されるものとみなす。信号の任意のカットオフは、信号ゆがみを引き起こし得る高周波数過渡電流をもたらす。様々な実施の形態は、データを変換フレームの始まり及び終わりにおいて次第にゼロに近づける窓関数２７１０（逓減関数）を、変換フレームの内側のデータに適用し得る。１つの実施の形態は、ハン窓を逓減関数として利用し得る。
【０１２５】
ハン窓関数は、数学的に、
【０１２６】
【数２３】
2010520671.tif 000025
【０１２７】
と表現される。
他の実施の形態は、例えばハミング、ガウス及びカイザー窓等であるがそれらに限定されない他の適切な窓関数を利用し得る。
【０１２８】
個々の変換フレームからシームレスな出力を作成するために、各変換フレームに逆ＳＴＦＴが適用され得る。処理された変換フレームからの結果は、分析フェーズで用いられたのと同じストライドを用いて足しあわされる。これは、各変換フレームの一部が次のフレームとのクロスフェードを適用するよう格納される、「重複保存」と呼ばれる技術を用いて実行され得る。正しいストライドが使用された場合、個々のフィルタリングされた変換フレームがひと続きにされる場合に、窓関数の効果が相殺される（即ち、一体に加算される）。これは、それぞれにフィルタリングされた変換フレームからのグリッチ無しの出力を生成する。１つの実施の形態において、ＦＥＴ変換フレーム・サイズの５０％に等しいストライドが利用され得る。即ち、４０９６のＦＥＴフレーム・サイズに対して、ストライドは２０４８に設定され得る。この実施の形態において、それぞれ処理されたセグメントが、前のセグメントと５０％ずつ互いに重なり合う。即ち、ＳＴＦＴフレームｉの第二の半分は、ＳＴＦＴフレームｉ＋１の第一の半分に足し合わされて、最終的な出力信号が作られる。これにより、一般に、フレーム間のクロスフェードを達成するために、信号処理期間に格納されるデータが少なくなる。
【０１２９】
一般に、クロスフェードを達成するために少量のデータが格納されるため、入力及び出力信号の間にわずかな待ち時間（遅延）が発生し得る。この遅延は、一般に、２０ｍｓよりはるかに短く、また、全ての処理されたチャンネルについて同じであるため、処理された信号における効果は無視することができる。データは、ライブで処理されるのではなく、ファイルから処理され得るため、そのような遅延は関係ないことにも注意するべきである。
【０１３０】
更に、ブロック・ベースの処理は、毎秒のパラメータ更新の数を制限し得る。本発明の１つの実施の形態では、単一のＨＲＴＦフィルタ・セットを用いて、各変換フレームが処理され得る。そのため、ＳＴＦＴフレームの期間を通し、音源位置の変更は起こらない。隣接する変換フレーム間のクロスフェードは、また、２つの異なる音源位置のレンダリングを平滑にクロスフェードするため、これは一般に目立たない。代わりに、ストライドｋが減らされ得るが、これは一般に、毎秒に処理される変換フレームの数を増加させる。
【０１３１】
最適なパフォーマンスのために、ＳＴＦＴフレーム・サイズは２の累乗にされ得る。ＳＴＦＴのサイズは、音声信号のサンプル・レートを含む幾つかの要素に依存し得る。本発明の１つの実施の形態において、４４．１ｋＨｚでサンプリングされた音声信号に対するＳＴＦＴのフレーム・サイズは、４０９６に設定され得る。これは、周波数領域において畳み込まれた場合に３９６７サンプルのシーケンス長の出力を生じる、２０４８の入力音声データサンプルと、１９２０のフィルタ係数とを受け入れ可能とする。４４．１ｋＨｚより高い又は低い入力音声データのサンプル・レートについて、ＳＴＦＴフレーム・サイズ、入力サンプル・サイズ及びフィルタ係数の数は、より高く又は低く適切に調節され得る。
【０１３２】
１つの実施の形態において、音声ファイル・ユニットが、信号処理システムに入力を提供し得る。音声ファイル・ユニットは、音声ファイルを読み込み、元の音声の音圧レベルに比例して変化するバイナリ・パルス・コード変調（「ＰＣＭ」）データのストリームに変換（復号化）する。最終的な入力データ・ストリームは、ＩＥＥＥ７５４浮動小数点データ・フォーマット（即ち、４４．１ｋＨｚでサンプリングされ、データ値が−０．１から＋０．１の範囲に制限される）であり得る。これは、全処理チェーンに渡る一貫した精度を可能とする。処理される音声ファイルは、一般に不変レートでサンプリングされることに注意するべきである。他の実施の形態は、他のフォーマットでエンコードされ、及び／又は異なるレートでサンプリングされる音声ファイルを利用し得る。また、他の実施の形態は、サウンド・カードのようなプラグイン・カードからのデータの入力音声データ・ストリームを、実質的にリアルタイムで処理し得る。
【０１３３】
上記の通り、１つの実施の形態は、７，３３７個の予め定義されたフィルタを有するＨＲＴＦフィルタ・セットを利用し得る。これらのフィルタは、２４ビットの長さの係数を有し得る。ＨＲＴＦフィルタ・セットは、元の４４．１ｋＨｚ、２４ビットのフォーマットを、異なるサンプリング・レート及び分解能（例えば、８８．２ｋＨｚ、３２ビット）を有する入力音声波形に適用され得る、任意のサンプル・レート及び／又は分解能へと変更する、アップ・サンプリング、ダウン・サンプリング、アップ・リゾルビング、又はダウン・リゾルビングにより、新しいフィルタ・セット（即ち、フィルタの係数）に変更され得る。
【０１３４】
音声データの処理後、ユーザは、出力をファイルに保存し得る。ユーザは、内部でミキシング・ダウンされた単一のステレオ・ファイルに出力を保存しても、各定位トラックを独立のステレオ・ファイルに保存してもよい。ユーザは、また、結果としてのファイル・フォーマットを選択することができる（例えば、＊．ｍｐ３、＊．ａｉｆ、＊．ａｕ、＊．ｗａｖ、＊．ｗｍａ等）。結果としての定位ステレオ出力は、定位ステレオ音声の再生に必要とされる何らの特別な装置なしに、従来のオーディオ装置で再生され得る。更に、一旦格納されたファイルは、ＣＤプレーヤーでの再生のために標準のＣＤオーディオに変換され得る。ＣＤオーディオ・ファイル・フォーマットの一例は、．ＣＤＡフォーマットである。ファイルは、また、ＤＶＤオーディオ、ＨＤオーディオ及びＶＨＳオーディオ・フォーマットを含むがそれらに限定されない他のフォーマットに変換されてもよい。
【０１３５】
方向の音声手がかりを提供する定位ステレオ音声は、聞き手に更に大きな現実感を与える多くの異なるアプリケーションに適用することができる。例えば、定位された２チャンネル・ステレオ音声出力は、５．１のような複数スピーカ設定にチャンネルされ得る。これは、定位されたステレオ・ファイルを、デジデザイン（ＤｅｇｉＤｅｓｉｇｎ）社のプロツール（ＰｒｏＴｏｏｌ）のようなミキシング・ツールにインポートして、最終的な５．１の出力ファイルを生成することによりなされ得る。そのような技術は、時間経過につれて３Ｄ空間を移動する複数音源のリアルな知覚を提供することにより、高解像度の無線、家庭、自動車、商業受信システム、及び携帯音楽システムに応用を見出し得る。出力は、テレビに放送されても、ＤＶＤ音声を改善するために利用されても、映画音声を改善するために利用されてもよい。
【０１３６】
本技術は、また、ビデオゲームの仮想現実空間の現実感と全体としての体験とを向上させるために利用されてもよい。トレッドミルやエアロバイクのような運動器具と組み合わされた仮想映写は、より楽しいトレーニング体験を提供するよう改良され得る。飛行機、自動車及び船のシミュレータのようなシミュレータは、仮想方位付けされた音声を組み込むことにより、更にリアルになり得る。
【０１３７】
ステレオ音源は、はるかに広がりをもって響くようになり、それにより、更に楽しい聴取体験を提供することができる。そのようなステレオ音源は、携帯音楽プレーヤーだけではなく、家庭用及び商業用のステレオ受信機を含み得る。
【０１３８】
本技術は、片耳に部分的な聴覚欠損のある人が、体の聞こえない側からの音声定位を経験することができるように、デジタル補聴器にも組み込まれ得る。片耳の聴覚が完全にない人であっても、聴覚障害が先天的なものでない限り、この経験をすることができるかもしれない。
【０１３９】
本技術は、各発呼者がリアルタイムにはっきりと区別できる仮想空間位置に置かれるように、複数同時通話（即ち、会議）をサポートする携帯電話器、「スマート」フォン、及び他の無線通信装置に組み込まれ得る。つまり、本技術は、携帯電話サービスだけではなく、ヴォイス・オーバーＩＰ及び単純な旧式の電話サービスにも適用され得る。
【０１４０】
更に、本技術は、軍隊及び民間のナビゲーション・システムがユーザにより正確な方向の手がかりを与えることを可能とし得る。そのような改良は、ユーザがより容易に音声位置を確定することを可能とする、より良い方向の音声手がかりを提供することにより、衝突回避システムを利用するパイロット、空中戦の状況における軍事パイロット、及びＧＰＳナビゲーションシステムのユーザを支援し得る。
【０１４１】
本発明の上記の例としての実施の形態の説明から当業者が認識するであろうように、説明された実施の形態の数々の変形が、本発明の趣旨及び範囲を逸脱することなく、なされ得る。例えば、より多い又は少ないＨＲＴＦフィルタ・セットが格納されてもよく、ＨＲＴＦは、ＩＩＲフィルタのような種別のインパルス応答フィルタを用いて近似されてもよく、異なるＳＴＦＴフレーム・サイズ及びストライド長が用いられてもよく、フィルタ係数が異なる方法で（例えば、ＳＱＬデータベースのエントリとして）格納されてもよい。更に、本発明を特定の実施の形態及びプロセスの一般的状況において説明したが、そのような説明は例示に過ぎず、限定ではない。また、本発明の真の範囲は、上記の例によってではなく、以下の特許請求の範囲により特定されるものである。
【符号の説明】
【０１４２】
１００  ゼロ方位
１０５  ゼロ高度
１１０、１２０、１４０、１５０  スピーカ
【図１】
2010520671.tif 000026
【図２】
2010520671.tif 000027
【図３】
2010520671.tif 000028
【図４】
2010520671.tif 000029
【図５】
2010520671.tif 000030
【図６】
2010520671.tif 000031
【図７】
2010520671.tif 000032
【図８】
2010520671.tif 000033
【図９】
2010520671.tif 000034
【図１０】
2010520671.tif 000035
【図１１】
2010520671.tif 000036
【図１２】
2010520671.tif 000037
【図１３】
2010520671.tif 000038
【図１４】
2010520671.tif 000039
【図１５】
2010520671.tif 000040
【図１６】
2010520671.tif 000041
【図１７】
2010520671.tif 000042
【図１８】
2010520671.tif 000043
【図１９】
2010520671.tif 000044
【図２０】
2010520671.tif 000045
【図２１】
2010520671.tif 000046
【図２２】
2010520671.tif 000047
【図２３】
2010520671.tif 000048
【図２４】
2010520671.tif 000049
【図２５】
2010520671.tif 000050
【図２６】
2010520671.tif 000051
【図２７】
2010520671.tif 000052
【国際調査報告】
2010520671.tif 000053