(57)【要約】  実際のスピーカ体験と区別するのが困難なほどリアリズムがある仮想スピーカの音を、聴取者がヘッドフォンを通して体験できる。限られた数の聴取者の頭部位置について、スピーカ音源に対する個人化された室内インパルス応答（ＰＲＩＲ）のセットを取得する。次いで、そのＰＲＩＲを用いて、スピーカ用オーディオ信号を、ヘッドフォン用仮想化出力に変換する。聴取者の頭部位置に基づく変換により、本システムは、聴取者が頭部を動かしても仮想スピーカが動かないように聞こえるように変換を調整できる。
2008512015.tif 000002
【特許請求の範囲】
【請求項１】
一対のヘッドフォンにおいて個人化されたスピーカセット仮想化を行うためのオーディオシステムであって、前記システムは、
スピーカ入力信号を受け取るためのオーディオ入力インターフェースと、
スピーカセットの各スピーカをオーディオ信号で駆動するためのスピーカ出力インターフェースと、
一対のヘッドフォンをオーディオ信号で駆動するためのヘッドフォン出力インターフェースと、
聴取者の各耳の近くに位置させることができる一個以上のマイクロフォンからの応答信号を受け取るためのマイクロフォン入力インターフェースと、
聴取者の頭部の向きを検出するための頭部追跡システムと、
前記スピーカ出力インターフェースに結合した励起信号発生器であって、前記オーディオシステムが個人化測定モードの場合、１又は複数の前記スピーカを駆動して、聴取者の各耳に近い場所でオーディオ応答を発生するために、前記スピーカ出力インターフェースに励起信号を提供するよう構成したものと、
前記マイクロフォン入力インターフェースに結合して、前記オーディオ応答に対する前記マイクロフォン入力インターフェースからの信号を受け取る測定モジュールであって、前記測定モジュールは、前記各オーディオ応答と関係付けられる応答関数を生成するよう構成され、前記各応答関数は、特定のスピーカならびに前記聴取者の特定の耳および頭部の向きと関係付けられるものと、
前記ヘッドフォン出力インターフェースに結合した仮想化器であって、前記オーディオシステムが通常モードの場合、前記仮想化器は、前記スピーカ入力信号を応答関数セットを用いて変換するとともに、前記変換したスピーカ入力信号を前記ヘッドフォン出力インターフェースに提供するよう構成したものと、
を備えるシステム。
【請求項２】
前記ヘッドフォン出力インターフェースに結合した励起信号発生器であって、前記オーディオシステムが個人化されたヘッドフォン等化測定モードの場合、前記ヘッドフォンを駆動して前記聴取者の各耳の近くの場所でオーディオ応答を生成するために、励起信号を前記ヘッドフォン出力インターフェースに提供するよう構成されたものを更に備え、前記オーディオ応答に応じて、前記ヘッドフォンを等化するための応答関数を計算するよう前記測定モジュールが構成されていることを特徴とする請求項１のシステム。
【請求項３】
前記スピーカ出力インターフェースが、マルチチャンネル符号化ビットストリーム出力を備え、前記励起信号が、マルチチャンネルオーディオ符号化法を用いて符号化される請求項１のシステム。
【請求項４】
フィルタ係数セットとして各応答関数を格納するためのメモリを更に備える請求項１のシステム。
【請求項５】
前記スピーカ入力信号が、スピーカとそれぞれが対応する複数のチャンネルを備え、前記仮想化器が、前記聴取者の頭部の向きに基づく応答関数セットを決定し、左耳および右耳の応答関数を用いて各チャンネルを変換し、前記左耳の変換されたチャンネルおよび前記右耳の変換されたチャンネルを別々に加算することにより、前記スピーカ入力信号を変換し、前記ヘッドフォン出力インターフェース用の２チャンネル変換スピーカ入力信号を得る請求項１のシステム。
【請求項６】
前記仮想化器が、所定の応答関数のセットを選択し、前記聴取者の頭部の向きおよび前記所定の応答関数と関係付けられる前記頭部の向きに基づいて、前記選択した所定の応答関数を補間することにより、前記応答関数セットを決定する請求項５のシステム。
【請求項７】
前記仮想化器が、特定スピーカならびに前記聴取者の特定の耳および頭部の向きに関係付けられる前記応答関数のそれぞれを補間することにより、２つ以上の所定の応答関数のセットを補間する請求項６のシステム。
【請求項８】
前記応答関数がインパルス関数であり、各インパルス関数に対する時間遅延を測定し、各インパルス関数から前記時間遅延を除去し、得られたインパルス関数を平均化し、そして前記除去した遅延を前記平均化したインパルス関数に再び組み込む、ことにより、前記仮想化器が２つ以上の応答関数を補間する請求項６のシステム。
【請求項９】
前記聴取者の追跡した頭部の向きに基づいて、かつ前記各インパルス関数と関係付けられる前記向きに基づいて、前記インパルス関数に重み付けすることにより、前記インパルス関数を平均化する請求項８のシステム。
【請求項１０】
前記仮想化器が、メモリに格納した所定の、事前補間した応答関数セットを選択することにより、前記応答関数セットを決定し、前記選択したセットは、前記聴取者の追跡した頭部の向きと最も近く一致する頭部の向きと関係付けられる請求項５のシステム。
【請求項１１】
一つ以上の前記応答関数を調整して、前記対応するスピーカの知覚距離を変更するよう、前記仮想化器を更に構成する請求項１のシステム。
【請求項１２】
応答関数の直接部分および残響部分を識別し、前記残響部分に対する前記直接部分の振幅および位置を変更することにより、前記応答関数を調整する請求項１１のシステム。
【請求項１３】
逆伝達関数を加えて、出力信号に対する前記ヘッドフォンの影響を補償するよう前記仮想化器を更に構成する請求項１のシステム。
【請求項１４】
前記スピーカ入力信号に逆伝達関数および理想的な基準伝達関数を加えるよう前記仮想化器を更に構成し、前記逆伝達関数は、出力信号に対する前記スピーカの影響を補償するよう設計し、前記理想的な基準伝達関数は、忠実度が改良されているスピーカセットの効果を生じるよう設計する請求項１のシステム。
【請求項１５】
ヘッドフォンのための仮想サラウンドサウンドシステムを個人化するためのシステムであって、前記システムは、
聴取者の頭部の向きを決定する頭部追跡システム、
スピーカセットに励起信号を加えるための手段、および、
限られた数の聴取者の頭部の向きについて各耳および各スピーカに対する個人化された室内インパルス応答を取得するための手段、
を備えるシステム。
【請求項１６】
一対のヘッドフォンにおいて個人化されたスピーカセット仮想化を行うためのオーディオシステムであって、前記システムは、
スピーカ入力信号を受け取るためのオーディオ入力インターフェースと、
一対のヘッドフォンをオーディオ信号で駆動するためのヘッドフォン出力インターフェースと、
聴取者の頭部の向きを検出するための頭部追跡システムと、
前記聴取者の頭部の向きに基づいて１セット以上の所定の個人化応答関数を読み取るための応答関数インターフェースであって、前記各所定の個人化応答関数は、特定の頭部の向きについて、特定のスピーカから前記聴取者の特定の耳への変換を指示するものと、
前記ヘッドフォン出力インターフェースと接続する仮想化器であって、前記仮想化器は、前記応答関数インターフェースが読み出した前記個人化応答関数を用いて、前記スピーカ入力信号を変換するとともに、得られた仮想化オーディオ信号を前記ヘッドフォン出力インターフェースに提供するよう構成されたものと、
を備えるシステム。
【請求項１７】
前記応答関数インターフェースが、外部メモリから応答関数を読み出す請求項１６のシステム。
【請求項１８】
前記仮想化器が、前記スピーカ入力信号を、
前記応答関数インターフェースが読み出した前記個人化応答関数に基づいて、前記聴取者の前記頭部の向きに対する応答関数セットを評価するステップ、
前記評価した応答関数を用いて前記スピーカ入力信号を変換するステップ、および、
前記変換したスピーカ入力信号を組合せて、前記仮想化オーディオ信号を生成するステップ、
により変換する請求項１６のシステム。
【請求項１９】
家庭環境にいる聴取者のためのオーディオ仮想化システムを個人化するための方法であって、前記方法は、
聴取位置周囲に配置したスピーカセットを提供するステップと、ここで、前記スピーカセットは、前記聴取位置に向かって音を提供し、
聴取者の頭部の耳の近くにマイクロフォンを固定するステップと、ここで、前記聴取者は前記聴取位置に位置しており、
幾つかの頭部の向きのそれぞれに対して、一つ以上の励起信号で前記スピーカを駆動し、前記各スピーカについて前記聴取者の耳に対するオーディオ応答を生成するステップと、
前記オーディオ応答を前記マイクロフォンで録音するステップと、
前記各録音したオーディオ応答に対して応答関数を生成するステップと、ここで、前記各応答関数は、特定の頭部の向きについて、特定のスピーカから前記聴取者の特定の耳への、前記対応する励起信号の変換を指示するものであり、
を備える方法。
【請求項２０】
前記聴取者の頭部の向きを追跡するステップを更に備える請求項１９の方法。
【請求項２１】
前記聴取者の各耳にマイクロフォンを固定するステップ、および、
特定のスピーカについて、前記聴取者の各耳に対する前記オーディオ応答を同時に録音するステップ、
を更に備える請求項１９の方法。
【請求項２２】
フィルタ係数セットとして前記各応答関数をメモリに格納するステップ、および、
前記各応答関数を頭部の向きおよびスピーカと関係付けるステップ、
を更に備える請求項１９の方法。
【請求項２３】
前記聴取者頭部に一対のヘッドフォンを配置するステップ、
前記ヘッドフォンを一つ以上の励起信号で駆動して、前記聴取者の各耳に対するヘッドフォンオーディオ応答を生成するステップであって、前記ヘッドフォンオーディオ応答は、前記ヘッドフォンおよび前記聴取者に特有のものである、
前記ヘッドフォンオーディオ応答を前記マイクロフォンにより録音するステップ、および、
前記各録音したヘッドフォンオーディオ応答に対するヘッドフォン応答関数を生成するステップであって、前記各ヘッドフォンオーディオ応答関数は、出力信号に対する前記ヘッドフォンの影響を補償するための逆伝達関数を生成するのに使用可能である、
を更に備える請求項１９の方法。
【請求項２４】
スピーカセットを、聴取者のための一対のヘッドフォンに仮想化するための方法であって、前記方法は、
前記スピーカセットに対するオーディオ信号を受け取るステップと、
前記聴取者の頭部の向きを追跡するステップと、
複数の所定の個人化された応答関数に基づいて、前記聴取者の前記頭部の向きに対する応答関数セットを評価するステップと、ここで、前記各所定の個人化された応答関数は、特定の頭部の向きについて、特定のスピーカから前記聴取者の特定の耳への、変換を指示するものであり、
前記評価した応答関数を用いて、前記受け取ったオーディオ信号を変換するステップと、
前記変換したオーディオ信号を組合せて、前記ヘッドフォンに対する仮想化したオーディオ信号を生成するステップと、
前記仮想化オーディオ信号を前記ヘッドフォンに提供するステップと、
を備える方法。
【請求項２５】
前記各応答関数をフィルタ係数として格納するステップを更に備える請求項２４の方法。
【請求項２６】
前記応答関数を評価するステップが、
前記追跡した頭部の向きに基づいて２セット以上の所定の個人化された応答関数を選択するステップ、および、
特定の頭部の向きについての、特定のスピーカ、および前記聴取者の特定の耳のそれぞれと関係付けられる前記所定の個人化応答関数を補間するステップ、
を含む請求項２４の方法。
【請求項２７】
前記所定の個人化された応答関数が、インパルス関数であり、２セット以上の所定の個人化された応答関数を補間する前記ステップは、
前記各インパルス関数に対する時間遅延を測定するステップ、
前記各インパルス関数から前記時間遅延を除去するステップ、
得られたインパルス関数を平均化するステップ、および、
前記除去した遅延を前記平均化したインパルス関数に再び組み込むステップ、
を含む請求項２６の方法。
【請求項２８】
得られたインパルス関数を平均化するステップは、前記追跡した頭部の向きおよび前記各インパルス関数と関係付けられる前記向きに基づいて、前記インパルス関数に重み付けするステップを含む請求項２７の方法。
【請求項２９】
前記応答関数を評価するステップは、
メモリに格納された所定の、事前補間した応答関数セットを選択するステップを含み、当該選択されたセットは、前記追跡した頭部の向きと最も近く一致する頭部の向きに対応付けられたものであることを特徴とする請求項２４の方法。
【請求項３０】
前記受け取ったオーディオ信号は、前記スピーカのそれぞれと対応付けられたチャンネルを備え、前記受け取ったオーディオ信号を変換するステップは、左耳および右耳と関係付けられる評価した応答関数を用いて、前記受け取ったオーディオ信号の各チャンネルを変換するステップを含む請求項２４の方法。
【請求項３１】
前記変換したオーディオ信号を組合せるステップは、前記左耳の変換したチャンネルおよび前記右耳の変換したチャンネルを別々に加算して、前記ヘッドフォンに適した２チャンネル変換オーディオ信号を得るステップを含む請求項３０の方法。
【請求項３２】
前記評価した応答関数の内の一つ以上を調整して、対応するスピーカの知覚距離を変更するするステップ、
を更に含む請求項２４の方法。
【請求項３３】
前記調整するステップは、
前記評価した応答関数の直接部分および残響部分を識別するステップ、および、
前記残響部分に対して前記直接部分の振幅および位置を変更するステップ、
を含む請求項３２の方法。
【請求項３４】
逆伝達関数を加えて、出力信号に対する前記ヘッドフォンの影響を補償するステップ、
を更に含む請求項２４の方法。
【請求項３５】
前記受け取ったオーディオ信号に逆伝達関数を加えるステップであって、前記逆伝達関数は、出力信号に対する前記スピーカの影響を補償するよう設計する、および、
理想的な基準伝達関数を、前記受け取ったオーディオ信号に加えるステップであって、前記理想的な基準伝達関数は、忠実度が改良されているスピーカセットの効果を生じるよう設計する、
を更に含む請求項２４の方法。
【請求項３６】
スピーカセットを、聴取者のための一対のヘッドフォンに仮想化するための方法であって、前記方法は、
前記スピーカセットに対するオーディオ信号を受け取るステップと、
複数の聴取者頭部の向きについて、所定の個人化された応答関数を用いて、前記オーディオ信号を多数セットの予め仮想化されたオーディオ信号に変換するステップと、
前記聴取者の頭部の向きを追跡するステップと、
前記予め仮想化されたオーディオ信号の内の一セット以上、および前記聴取者の追跡した頭部の向きに基づいて、変換したオーディオ信号セットを生成するステップと、
前記聴取者の追跡した頭部の向きに基づいて、前記生成した変換オーディオ信号を遅延させるステップと、
前記遅延させ生成した変換オーディオ信号を組合せて、前記ヘッドフォンに対する仮想化したオーディオ信号を生成するステップと、
前記仮想化したオーディオ信号を前記ヘッドフォンに提供するステップと、
を備える方法。
【請求項３７】
前記変換したオーディオ信号セットを生成するステップは、前記聴取者の追跡した頭部の向きに基づいて、前記予め仮想化されたオーディオ信号の内の一セット以上を補間するステップを含む請求項３６の方法。
【請求項３８】
スピーカセットを、聴取者のための一対のヘッドフォンに仮想化するための方法であって、前記方法は、
前記スピーカセットに対するオーディオ信号を受け取るステップと、
複数の聴取者頭部の向きについて、所定の個人化された応答関数を用いて、前記オーディオ信号を多数セットの予め仮想化されたオーディオ信号に変換するステップと、
前記予め仮想化されたオーディオ信号を組合せて、前記聴取者頭部の向きのそれぞれについて前記ヘッドフォンに対する仮想化オーディオ信号を生成するステップと、
前記聴取者の頭部の向きを追跡するステップと、
前記聴取者の追跡した頭部の向きに基づいて、前記組合せた予め仮想化されたオーディオ信号から導き出した単一のヘッドフォン信号を生成するステップと、
前記導き出した仮想化オーディオ信号を前記ヘッドフォンに提供するステップと、
を備える方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２００４年９月１日出願の英国特許出願第０４１９３４６．２号に基づく優先権を請求し、引用して本明細書にその全内容を組み込む。
【０００２】
本発明は、一般に、ヘッドフォンまたはイヤフォンを通して三次元オーディオを再生する分野に関する。より詳細には、ヘッドフォンまたはイヤフォンを用いて、現実のスピーカ体験との区別が困難なほどのリアリズムがある、家庭用エンターテイメントシステムで用いられるスピーカ等の、オーディオソースの個人化された仮想化処理に関する。
【背景技術】
【０００３】
ヘッドフォンを用いて仮想的なスピーカを生成するという発想は、米国特許第３，９２０，９０４号に記載されているように、当該分野の技術者には周知の一般概念である。要約すると、主として、個人の左右の耳の近傍に配置したマイクロフォンを用いて測定した、対象スピーカに対する個人化室内インパルス応答（ＰＲＩＲ）を取得することにより、スピーカは、任意の個人に対してヘッドフォンまたはイヤフォンにより効果的に仮想化することができる。得られたインパルス応答には、音響再生機器、スピーカ、室内音響、（残響）ならびに頭部伝達関数（ＨＲＴＦ）と呼ばれることが多い対象者の肩、頭部および耳の指向特性、に関する情報が含まれ、数１００ミリ秒のタイムスパンをカバーしているのが普通である。スピーカの仮想音像を生成するには、現実のスピーカを通して通常再生されるであろうオーディオ信号を、測定した左耳および右耳のＰＲＩＲにより畳み込んで（畳み込み積分を行って／コンボリューションして）変更し、個人が装着するステレオヘッドフォンに送る。その個人が個人化測定を行った場所に正確に位置していれば、ヘッドフォンが適切に等化（イコライジング）されていると仮定すると、その個人は、ヘッドフォンからではなく、実際のスピーカから音がくるように知覚する。ヘッドフォンを通して仮想スピーカを投影する処理を本明細書では仮想化処理と呼ぶ。
【０００４】
ヘッドフォンにより投影された仮想スピーカの位置は、個人化された室内インパルス応答（ＰＲＩＲ）測定中に確定される頭部対スピーカの関係と一致する例えば、個人化段階中に測定された実際のスピーカが、その個人の頭部の左前にある場合、対応する仮想スピーカは、左前からくるように聞こえる。この意味は、観ている点からの実スピーカと仮想スピーカとの位置が一致するように、その個人が頭部を向けた場合に、仮想音が実スピーカから放射されるように聞こえ、個人化測定が正確であれば、その個人は仮想音源と実音源とを区別するのがかなり困難となる、ということである。このことの意味合いは、聴取者が家庭用エンターテイメントシステムの各スピーカに対してＰＲＩＲ測定を行えば、彼らは、実際にスピーカをＯＮにしなくても、ヘッドフォンを通してマルチチャンネルスピーカの聴取体験を同時に再現できるはずだ、ということである。
【０００５】
しかし、単純な個人化された仮想音源の錯覚を維持するのは、頭部の動き、特に水平面内の動き、がある場合は困難である。例えば、その個人が仮想スピーカおよび実スピーカを整列させると、仮想錯覚は強くなる。しかし、その個人が頭部を左に振ると、仮想音源はその個人の頭部に対して固定されているので、知覚される仮想音源も頭部とともに左に移動する。頭部の動きが実際のスピーカを移動させることは当然ないので、強い仮想錯覚を保つには、仮想スピーカも同様に固定したままにするように、ヘッドフォンに送るオーディオ信号を操作する必要があることになる。
【０００６】
バイノーラル処理も、米国特許第５，１０５，４６２号および第５，１７３，９４４号に記載されているように、ヘッドフォンではなく、スピーカを用いてスピーカを仮想化するための用途を有する。これらも、米国特許第６，２４３，４７６号に記載されているように、頭部追跡法を用いて仮想錯覚を改良することができる。
【０００７】
米国特許第３，９６２，５４３号は、仮想スピーカの知覚位置を安定化させるために、頭部追跡信号に応じてヘッドフォンに送るバイノーラル信号を操作する、という考え方を記載している最も初期の刊行物の一つである。しかし、これらの開示は、デジタル信号処理理論における最近の進歩より前になされたものであり、これらの方法および装置は、デジタル信号処理（ＤＳＰ）型の実装には概して適用できない。
【０００８】
もっと最近のＤＳＰ式の頭部追跡型仮想器仮想化器が、米国特許第５，６８７，２３９号および第５，７１７，７６７号により開示されている。このシステムは、あまり複雑でない仮想器仮想化器システムで典型的にみられるＨＲＴＦと室内残響とを分割した表現に基づいていて、頭部追跡装置から導いたルックアップアドレスに応じて、ＨＲＴＦインパルスファイルを読み出すメモリールックアップを用いる。頭部追跡に応じた室内残響の変更は行わない。このシステムの背後にある発想の主な点は、ＨＲＴＦインパルスデータファイルが比較的小さく、典型的には６４〜２５６データポイントなので、各耳および各スピーカならびに広範囲にわたる頭部回転角に固有の多数のＨＲＴＦインパルス応答が、典型的なＤＳＰプラットフォームの通常のメモリ格納容量内に格納できる、ということである。
【０００９】
室内残響を修正しない理由は二つある。第１は、頭部回転角度毎の一意の残響インパルス応答を格納しておくには、膨大な格納容量が必要となるからであり、個々の残響インパルス応答毎に、１００００〜２４０００データポイントの長さとなるのが典型的である。第２は、この大きさの室内残響インパルスを畳み込む演算の複雑さが、現在利用可能な信号プロセッサをもってしても、実用的ではないからであろう。この発明者らは、長時間インパルスの畳み込みのための効率的な実装については説明していないので、彼らは室内畳み込みと関係付けられる演算の複雑さを減少させるために、人工的な残響実装に期待したのではないかと思われる。頭部追跡器アドレス別に適応させるのに、その実装法を役立てるのは、定義からして容易ではなかろう。個人化については説明がなく、このシステムではそれに期待していないのは明らかので、この発明者らは、ＨＲＴＦまたは残響処理のいずれかに対しても、このような動作形態を組み込むのにどのようなステップが必要となるかに関する情報を何も提供していない。更に、このシステムは、頭部追跡器の制御による十分滑らかなＨＲＴＦ切り換えを可能にするためには、何百ものＨＲＴＦインパルスファイルを格納する必要があるだろうから、これら全ての測定を、一般大衆の人々が、彼ら自身の家で取り組むと期待できるような実用的な方法で、どのようにして行なうのか、当該分野の技術者には明らかではなかろう。全ての個人化された測定から単一の室内残響特性を決定する方法も明らかではない。更に、室内残響は、頭部追跡器のアドレスに適応しないので、このシステムは、明らかに、実際の室内で実際のスピーカの音を決して再現できないだろうし、従って、リアルな仮想化への適用性は明らかに限定される。
【００１０】
頭部追跡は、頭部の動きを検出するための技法として周知である。多くの手法が示されていて、当該技術では周知である。頭部追跡器は、頭部搭載型、すなわち、ジャイロスコープ式、磁気式、ＧＰＳ型、光式とするか、または頭部から離して、すなわち、ビデオ式、またはその近傍に置くかのいずれかとすることができる。頭部追跡器の目的は、ヘッドフォンを聴いている間の、個人の頭部の向きを連続的に測定することと、この情報を仮想器仮想化器に送信して、変化を検出した時にリアルタイムで仮想処理を修正可能とすることである。頭部追跡データは、有線で仮想器仮想化器に送り返すことができ、または光式もしくはＲＦ送信技法を用いて無線で配送できる。
【００１１】
既存のヘッドフォン仮想器仮想化器システムは、実際のスピーカ体験との直接比較に耐えられるほど十分に高いリアリズムがある仮想音像を投影しない。その理由は、測定法に関係付けられる困難さおよび頭部追跡をそのような仕組みに組み込む方法に関する不確実性ゆえに、従来技術は、一般の人々が使用するのに適したヘッドフォン仮想器仮想化器に、個人化法を直接組み込もうとしていないからである。
【発明の開示】
【００１２】
上記問題に照らして、本発明の実施の形態は、限られた範囲の頭部の動き内で、実スピーカ体験と区別が困難なほどリアリズムがある仮想スピーカの音を、ヘッドフォンを通して個人が体験できる方法および装置を提供する。
【００１３】
本発明の一態様によれば、限られた数の聴取者頭部位置に対するスピーカ音源の個人化された室内インパルス応答（ＰＲＩＲ）を取得するための方法および装置；ここで、ユーザは、家庭用エンターテイメントスピーカシステムに対して通常の聴取位置を取り；ユーザは各耳にマイクロフォンを挿入し；ユーザは、各スピーカについて、限られた数の頭部位置に対する個人化された室内インパルス応答（ＰＲＩＲ）を取得することにより、聴取者頭部の動きの範囲を確定する；全ての個人化された測定頭部位置を決定するための手段；両耳について個人化したヘッドフォンマイクロフォンインパルス応答を測定するための手段；ＰＲＩＲデータ、ヘッドフォンマイクロフォンインパルス応答データおよびＰＲＩＲ頭部位置を格納するための手段；が提供される。
【００１４】
本発明の別の態様によれば、ＰＲＩＲデータ、ヘッドフォンマイクロフォンインパルス応答データおよびＰＲＩＲ頭部位置データを用いて、頭部追跡型仮想器仮想化器を初期化するための方法；ＰＲＩＲを時間整列するための手段；左右の耳についてのヘッドフォン等化インパルス応答を生成する手段；ＰＲＩＲ補間器のために必要な、全ての補間−頭部角度公式、またはルックアップテーブルを生成するための手段；可変遅延バッファのための全ての必要な経路長−頭部角度公式、またはルックアップテーブルを生成するための手段；が提供される。
【００１５】
本発明の更なる態様によれば、リアルタイム個人化頭部追跡型仮想器仮想化器を実装するための方法および装置；頭部追跡器の座標値をサンプリングし、適切なＰＲＩＲ補間器の係数値を生成するための手段；頭部追跡器の座標値を展開して、全ての仮想スピーカについて、適切な両耳間の遅延値を生成するための手段；補間係数を用いて全ての仮想スピーカについて補間した時間整列ＰＲＩＲを生成するための手段；各スピーカチャンネルについてオーディオサンプルのブロックを読み取り、それぞれの左右の補間した時間整列ＰＲＩＲによりそのブロックを畳み込むための手段；前記生成した遅延値と遅延量が一致する可変遅延バッファにそれぞれの左耳および右耳のサンプルを通すことにより、各仮想スピーカに対する両耳間の遅延をもたらすための手段；全ての左耳サンプルを加算するための手段；全ての右耳サンプルを加算するための手段；ヘッドフォン等化フィルタを通して左右耳のサンプルをフィルタ処理するための手段；左右耳のオーディオサンプルをリアルタイムでヘッドフォンＤＡＣに書き込むための手段；が提供される。
【００１６】
本発明の更なる態様によれば、ＰＲＩＲ補間にオフセットを導入するとともに、仮想器仮想化器内で実施される経路長計算を導入することにより、実スピーカの位置と一致させるために仮想スピーカ位置を調節する方法；が提供される。
【００１７】
本発明の更なる態様によれば、ＰＲＩＲデータを修正することにより仮想スピーカの知覚距離を調整する方法が提供される。
【００１８】
本発明の更なる態様によれば、測定範囲外に聴取者頭部の向きがある場合の仮想器仮想化器の振る舞いを修正する方法が提供される。
【００１９】
本発明の更なる態様によれば、仮想器仮想化器内部の個人化および一般室内インパルス応答の混合を可能とする方法が提供される。
【００２０】
本発明の更なる態様によれば、ＰＲＩＲ測定中の信号品質を最大化するために励起信号レベルを自動調整する方法が提供される。
【００２１】
本発明の更なる態様によれば、マルチチャンネル符号化励起ビットストリームを用いて行う個人化測定が可能な方法が提供される。
【００２２】
本発明の更なる態様によれば、個人化測定処理中のユーザ頭部の動きを検出するとともに、インパルス応答測定の精度を改良する方法および装置が提供される。
【００２３】
本発明の更なる態様によれば、仮想化したスピーカの音質を、ＰＲＩＲ測定で用いた実スピーカの音質以上に改良するように、ユーザのエンターテイメントシステムを含むスピーカを等化する方法が提供される。
【００２４】
本発明の更なる態様によれば、サブバンドフィルタバンクを用いる仮想化畳み込み処理を実施し、それをサブバンドＰＲＩＲ補間、およびサブバンド両耳間可変遅延処理、または時間領域の両耳間可変遅延処理のいずれかと組合せるための方法；およびサブバンドＰＲＩＲインパルス長さを調整することにより、畳み込み演算負荷を最適化するための手段；およびサブバンド信号マスキングスレッショールドを有効に利用することにより、畳み込み演算負荷を最適化するための手段；およびサブバンド畳み込みリップルを補償するための手段；および畳み込みの回数が少なくて済むように、スピーカＰＲＩＲの後期反射部分を組合せることにより、サブバンド畳み込みの複雑さを仮想化精度と交換するための手段；が提供される。
【００２５】
本発明の更なる態様によれば、通常のリアルタイム仮想化と比較したときに再生の演算負荷を実質的に減少させるように、事前仮想化信号を生成するための方法；およびそのビットレートおよび／または格納要件を減少させるために事前仮想化信号を符号化するための手段；およびユーザがアップロードするＰＲＩＲデータを用いて、リモートサーバに事前仮想化オーディオを生成し、ユーザ自身のハードウエア上で再生するために事前仮想化オーディオをユーザにダウンロードさせるための手段；が提供される。
【００２６】
本発明の更なる態様によれば、各参加者がアップロードするＰＲＩＲデータを用いて、各参加者の頭部追跡器の制御のもとで仮想処理に影響を与えるリモート仮想化サーバを用いてネットワーク化した個人化仮想遠隔会議を行う方法が提供される。
【００２７】
本発明のこれらのおよび他の特長および利点は、付帯の図面と併せた以下の好ましい実施の形態の詳細な説明から、当該分野の技術者には明らかとなろう。
【００２８】
【００２９】
【００３０】
【００３１】
【００３２】
【００３３】
【００３４】
【００３５】
【００３６】
【００３７】
【００３８】
【００３９】
【００４０】
【００４１】
【００４２】
【００４３】
【００４４】
【００４５】
【００４６】
【００４７】
【００４８】
【００４９】
【００５０】
【００５１】
【００５２】
【００５３】
【００５４】
【００５５】
【００５６】
【００５７】
【００５８】
【００５９】
【００６０】
【００６１】
【００６２】
【００６３】
【００６４】
【００６５】
【００６６】
【００６７】
【００６８】
【００６９】
【００７０】
【００７１】
【００７２】
【００７３】
【００７４】
【００７５】
【００７６】
【００７７】
【発明を実施するための最良の形態】
【００７８】
ヘッドフォンを用いる個人化された頭部追跡型仮想化
本明細書で開示する個人化された頭部追跡型仮想器仮想化器の方法の典型的な応用を図１に示す。この図では、聴取者は映画を観ているが、スピーカを通して映画のサウンドトラックを聴いているのではなく、その代わりにスピーカの仮想音をヘッドフォンを通して聴いている。ＤＶＤプレーヤ８２は、映画ディスクを再生しながら、Ｓ／ＰＤＩＦシリアルインターフェース８３を経由して、符号化（例えば、ドルビーデジタル、ＤＴＳ、ＭＰＥＧ）したマルチチャンネル映画サウンドトラックをリアルタイムで出力する。ビットストリームはオーディオ／ビデオ（ＡＶ）レシーバ８４により復号化され、個々のアナログオーディオトラック（左、右、左サラウンド、右サラウンド、センタおよびサブウーハのスピーカチャンネル）がプリアンプ出力７６を経由して出力され、ヘッドフォン仮想器仮想化器７５に入力される。アナログ入力チャンネルは、デジタル化され７０、デジタルオーディオはリアルタイム個人化頭部追跡型仮想器仮想化器のコアプロセッサ１２３に送られる。
【００７９】
この処理は、各スピーカ信号を、所望の仮想スピーカと聴取者の耳との間の伝達関数を表す１セットの左耳および右耳の個人化された室内インパルス応答（ＰＲＩＲ）によりフィルタ処理し、または畳み込む。全ての入力信号からのフィルタ処理した左耳信号とフィルタ処理した右耳信号とを加算して、アナログに変換して戻した単一ステレオ（左耳および右耳）出力を生成して７２、ヘッドフォン８０を駆動する。各入力信号７６は、それ自体の特定ＰＲＩＲのセットによりフィルタ処理されるので、聴取者７９がヘッドフォン８０を通して聴くと、それぞれが元のスピーカ場所の内の一つからくるように知覚される。仮想器仮想化器プロセッサ１２３は聴取者頭部の動きを補償することもできる。
【００８０】
聴取者７９の頭部角度は、ヘッドフォンに取り付けた頭部追跡器８１により監視し、単純な非同期シリアルインターフェース７３を経由して仮想器仮想化器プロセッサ１２３に周期的に角度を送信する７７。頭部角度情報を用いて、聴取者の代表的な頭部動き範囲をカバーするＰＲＩＲの疎らなセット間を補間し、かつ聴取者の両耳間に存在していたであろう遅延を変化させて、各種スピーカを仮想化する。これらの処理の組合せは、聴取者にとってスピーカが静止して聞こえるように、頭部の動きと逆作用するように、仮想化した音の回転を戻す。
【００８１】
図１は、頭部追跡型仮想器仮想化器のリアルタイム再生モードを示す。聴取者が聴くヘッドフォンを通したスピーカ音の錯覚を明瞭にするために、最初に、幾つかの個人化測定を行う。主な測定は、ユーザがヘッドフォンを通して仮想化したいと思う各スピーカに対して、聴取者が通常ヘッドフォンを使用している時に動かすと考えられる頭部の動きの範囲に対して、個人化された室内インパルス応答、つまりＰＲＩＲ、を取得することに関わる。ＰＲＩＲは、基本的に、スピーカと聴取者の外耳道との間の音響経路の伝達関数を記述する。任意の一本のスピーカに対して、各耳毎にこの伝達関数を測定する必要があり、従って、ＰＲＩＲは左耳と右耳のセットとして存在する。
【００８２】
試験は、聴取者が、スピーカセットアップ環境で通常の聴取位置を取り、耳のそれぞれに小型マイクロフォンを設置し、次いで、特定時間の間、試験スピーカに励起信号を送る。各スピーカについて、かつユーザが取得したいと望む頭部の向き毎にこれを繰り返す。得られた左耳および右耳のＰＲＩＲによりオーディオ信号をフィルタ処理、つまり畳み込みし、フィルタ処理した信号を用いて左耳および右耳ヘッドフォン変換器をそれぞれ駆動すると、聴取者は、その信号が、最初にＰＲＩＲを測定するのに用いたスピーカと同じ場所からくるように知覚する。仮想化処理のリアリズムを改良するには、ヘッドフォン自体が、その変換器と聴取者の外耳道との間に、ある伝達関数を付け加えてしまうのを補償する必要があるかもしれない。従って、二次的な測定を行って、この伝達関数も測定し、それを用いて逆フィルタを作り出す。次いで、逆フィルタを用いて、ＰＲＩＲを修正するか、またはリアルタイムにヘッドフォン信号をフィルタ処理してこの不要な応答を等化する。
【００８３】
図１に示される頭部追跡型ＰＲＩＲフィルタ処理、つまり畳み込み処理１２３を、図２で更に詳細に示す。デジタル化したオーディオ信号４１はＣｈ１に入力され、２個の畳み込み器３４に加えられる。一方の畳み込み器は、左耳の補間したＰＲＩＲ １５ａにより入力信号をフィルタ処理し、他方の畳み込み器は、右耳の補間したＰＲＩＲにより同じ信号をフィルタ処理する。それぞれの畳み込み器の出力は、左耳および右耳のフィルタ処理した信号間の、両耳間遅延差を生じる可変経路長バッファ１７に加えられる。補間ＰＲＩＲ １５ａおよび可変遅延バッファ１７はともに、仮想サウンド段階の回転を戻すよう作用させるために、頭部追跡器８１からフィードバックされた頭部の向き１０に基づいて調整する。Ｃｈ１ ４１について説明した処理は、他の入力信号全てについて別々に実施される。ただし、全ての左耳信号と、全ての右耳信号とを別々に加算５してから、ヘッドフォンに出力する。
個人化された室内インパルス応答（ＰＲＩＲ）取得
【００８４】
本発明の実施の形態の一特長は、ユーザの左耳および右耳の近傍で測定する個人化された室内インパルス応答（本明細書ではＰＲＩＲと称する）データが、簡便な方法で容易に取得できる、ということである。取得した後、ＰＲＩＲデータを処理し、仮想化コンボリューションエンジンで使用するために格納して、実スピーカの錯覚を作り出す。要望があれば、このデータは、取得装置とは無関係な遠隔の互換性のある仮想器仮想化器で用いるように、携帯型格納媒体に書き込むこともでき、自宅外に送信もできる。
【００８５】
個人化された室内インパルス応答を取得するための基本技法は、新しいものではなく、数多くの文献に記述されており、当該分野の技術者には周知である。要約すると、インパルス応答を取得するには、励起信号、例えば、インパルス、スパーク、バルーン破裂、疑似ノイズシーケンス等を、必要な場合は適切な変換器を用いて、対象者頭部が関連する空間の所望の場所で再生し、得られた音波を、対象者の耳の近傍、または好ましくは対象者の外耳道入口、または対象者の外耳道内部のどこか、に配置したマイクロフォンを用いて録音する。
【００８６】
図２０は、対象者７９の片方の外耳道２０９内の小型無指向性エレクトレットマイクロフォンカプセル８７（６ｍｍ径）の配置を示す。対象者の外耳（耳介）の輪郭も示す２１０。図２１は、外耳道内に嵌め込むマイクロフォンプラグの構造をより詳しく示す。マイクロフォンカプセルは、通常はノイズ遮音に用いる変形可能な発泡体の耳栓２１１内に組み込まれ、マイクロフォン２１２の開口端が外側になっている。カプセルは、耳栓内に接着してもよく、またはスリーブ装填具を用いて発泡体を広げ、発泡体をその上に被せて閉じることにより摩擦嵌合してもよい。マイクロフォンカプセル自体の高さに応じて、発泡体の栓２１１は約１０ｍｍの長さにトリミングするのが典型的である。
【００８７】
栓は、圧縮しないときの直径を１０〜１４ｍｍで生産して外耳道の様々な寸法に適合させるのが典型的である。背面にはんだ付けされた信号／電源および接地線８６が、カプセルの外側壁に沿って走り、前面から出て、マイクロフォンアンプに至る。線材は、はんだ接点への損傷を防ぎたい場合は、カプセルの側面に固定できる。マイクロフォンを耳に挿入するには、ユーザは、指の間で内側にカプセルが入った発泡体の栓を転がし、栓の直径が小さくなったら、人差し指を用いてすぐに耳に挿入するだけでよい。発泡体はすぐにゆっくりと膨張し始め、５〜１０秒後には外耳道に快適かつきつく適合する。従って、マイクロフォンプラグは、付加的な助けがなくてもその場所に留まる。プラグを適合させると、マイクロフォンの開口端部の位置は、外耳道入口と揃うのが理想である。線材８６は図２０に示すように突出させるべきであり、試験が終了すると、ユーザはこれを引いて簡単にマイクロフォンプラグを外すことができる。発泡体が耳を封止するので、個人化試験中の励起ノイズに曝されるレベルが低下するという利点もある。
【００８８】
左耳および右耳のマイクロフォンを装着すると、個人化測定を開始できる。測定空間を取り巻く環境の残響特性に応じて、得られるインパルス波形は、数秒内にゼロに減衰するのが普通であり、この時間を越える録音は不要である。取得したインパルス応答の品質は、環境の背景ノイズ、変換器および録音する信号チェーンの品質、ならびに測定処理中に蒙る頭部の動きの程度に、ある程度依存する。残念ながら、インパルス応答信号の忠実度が低いと、このインパルス応答による畳み込みを通じて仮想化される、どの音の品質、またはリアリズムにも直接影響するので、測定品質を最大限まで高めることが好ましい。
【００８９】
この問題に取り組むために、一実施の形態は、取得方法の基本として、個人化された室内インパルス応答測定用の励起信号に、ＭＬＳ、つまり最大長シーケンス（Maximum Length Sequence）として周知である疑似ノイズシーケンスを用いる。上記と同じく、ＭＬＳ技法にも、数多くの文献があり、例えば、Berish J.の「最大長シーケンスのための自己を含む相互相関プログラム」、J. Audio Eng. Soc., vol. 33, No. 11, Nov. 1985で周知である。ＭＬＳ測定は、インパルスまたはスパーク型励起方法に対して、疑似ノイズシーケンスの方がインパルス信号対ノイズ比が高い、という利点を有する。加えて、自動化した方法で順次測定を容易に行うことができるため、測定したインパルス応答に内在する測定環境および装置の背景ノイズを平均化処理により一層抑圧することができる。
【００９０】
ＭＬＳ法では、試験環境の予想残響時間の少なくとも２倍の持続時間をもつ予め計算したバイナリサンプルシーケンスが、ある所望のサンプリングレートでデジタル／アナログ変換器に出力され、励起信号としてリアルタイムでスピーカに送られる。本明細書では以降、このスピーカを励起スピーカと称する。背景ノイズ抑圧が所望レベルに達するのに必要な頻度で、同シーケンスを繰り返すことができる。マイクロフォンは、得られる音波をリアルタイムで収音し、同時に、励起再生と同じサンプリング時間基準を用いて信号をサンプリングし、デジタル化し、そしてメモリに格納する。次いで、録音したサンプルファイルと元のバイナリシーケンスとの相互相関を巡回的に求めて、取り巻く音響環境に対する励起スピーカ位置、およびマイクロフォンが取り付けられている対象者頭部に一意の、平均化した個人化室内インパルス応答を生成する。
【００９１】
理論的には、耳毎に別々にインパルス応答を測定すること、つまり一個のマイクロフォンだけを用いて、耳毎に測定を繰り返すことは可能であるが、それぞれの耳に一個づつマイクロフォンを配置し、励起信号が存在する中で同時に２チャンネルの録音を行うのが便利で、かつ利点がある。この場合、耳毎に録音した各サンプリングオーディオファイルを別々に処理し、２つの一意のインパルス応答を得る。これらのファイルを、左耳ＰＲＩＲ、右耳ＰＲＩＲと称する。
【００９２】
図３は、好適な実施の形態で用いられる個人化された室内インパルス応答を取得する方法を単純化して示す。全てのアナログおよびデジタル変換器、およびタイミング回路は簡単にするために除外してある。最初に、平面図の対象者８９に対して、室内または音響的環境内の所望の位置に、スピーカ８８を配置する。この図では、スピーカは対象者の正面前方に配置されている。対象者は、それぞれの外耳道の近傍に１本づつ、計２本のマイクロフォンを取り付けていて、その出力８６ａおよび８６ｂは、２つのマイクロフォンアンプ９６に接続されている。試験を開始する前に、対象者は、励起スピーカに対して所望の向きに頭部を定め、測定期間中は、その向きをできるだけ維持する。図３の場合、対象者８９は、スピーカ８８を真っ直ぐに見ている。用語「見る」、「見ている」、「観る」または「観ている」の使い方は、本明細書では、対象者の顔に垂直な仮想線が、彼らが見ている点を通過するように、頭部を向けることを意味する。
【００９３】
一実施の形態では、測定は以下のように行われる。ＭＬＳは、９８から繰り返し出力され、スピーカーアンプ１１５および巡回式相互相関プロセッサ９７の両方に入力される。スピーカーアンプは、スピーカ８８を所望のレベルで駆動するので、音波が外に向かって出て行き、対象者８９に取り付けた左右の耳のマイクロフォンに向かって進む。左右のマイクロフォン信号８６ａおよび８６ｂはそれぞれ、マイクロフォンアンプ９６に入力される。増幅した信号は、サンプリングされ、デジタル化され、巡回式相互相関処理ユニット９７に入力される。この信号は、利用可能なデジタル信号処理パワーに応じて、全てのシーケンシャルを再生した後にオフラインで処理するために格納でき、またはそれぞれの完全なＭＬＳブロックが到着したときに、リアルタイム処理することもできる。いずれの方法でも、録音したデジタル信号と、９８からの元のＭＬＳ入力との相互相関を求め、それが終了すると、得られた平均化個人化室内インパルス応答ファイルを、後で使用するためにメモリ９２に格納する。
【００９４】
図７は、図３に示すような励起スピーカを真っ直ぐに見ている向きの頭部により取得され得る、左耳マイクロフォン１７１および右耳マイクロフォン１７２に対する、振幅対時間としてプロットした典型的なインパルス応答の初期部分を示す。図７に示すように、頭部を励起スピーカを向けた状況では、スピーカから左耳および右耳それぞれまでの直接経路長は、ほとんど等しいので、ほぼ一致するインパルスオンセット時間１７４が得られる。
【００９５】
図４は、対象者９０が励起スピーカの左の点を見ている状況で、個人化された室内インパルス応答を取得する例を示していることを除いて、図３と類似している。上記と同様に、頭部の向きを定めると、測定中はこれを変更してはならない。図８は、図４に示すような、頭部が励起スピーカの左を見ている向きの状況で取得され得る、左耳マイクロフォン１７１および右耳マイクロフォン１７２についての、振幅対時間としてプロットした典型的なインパルス応答の初期部分を示す。図８に示すように、頭部が励起音源の左を指している状況では、スピーカから左耳マイクロフォンまでの直接経路長は、スピーカと右耳マイクロフォンとの間の経路長より長くなるので、左耳インパルスオンセット１７３は右耳インパルスオンセット１７４より遅延１７５する。
【００９６】
図５もやはり、対象者９１が励起スピーカの右の点を見ている状況で、個人化室内インパルス応答を取得する例を示していることを除いて、図３と類似している。図６は、図５に示すような、頭部が励起スピーカの右を見ている向きの状況で取得され得る、左耳マイクロフォン１７１および右耳マイクロフォン１７２についての、振幅対時間としてプロットした典型的なインパルス応答の初期部分を示す。図６に示すように、頭部が励起音源の右を指している状況では、スピーカから右耳マイクロフォンまでの直接経路長は、スピーカと左耳マイクロフォンとの間の経路長より長くなるので、右耳インパルスオンセット１７３は左耳インパルスオンセット１７４より遅延１７５する。
【００９７】
図３、図４および図５に示す３回の測定が順調に終了すれば、すなわち、対象者が、それぞれの取得段階の間に頭部の向きを十分正確に維持していれば、３対の個人化された室内インパルス応答、すなわち、測定している対象者の左耳および右耳のＰＲＩＲに対応する各対、つまり、スピーカ８８を直接見ている対、左を見ている対、右を見ている対が、格納領域９２（図３）、９３（図４）および９４（図５）に格納されているはずである。
聴取者頭部の動きの範囲を確定
【００９８】
本明細書で開示するのは、ある人が、通常のリスニングルーム環境内で、自分のスピーカサウンドシステムを用いて行えるよう設計された、個人化された頭部追跡型装置で用いるためのＰＲＩＲデータを取得する方法である。本取得方法が仮定しているのは、最初に、個人化試験を行いたいと要望する対象者が、理想的な聴取位置、すなわち、対象者がスピーカを用いて音楽を聴いたり、または映画を観る場合に普通に取るはずの位置、にいることである。例えば、図３４ａの平面図に示すような、典型的なマルチチャンネルの家庭用エンターテイメントシステムでは、スピーカは、左フロント２００、センターフロント１９６、右フロント１９７、左サラウンド１９９および右サラウンド１９８のように編成される。
【００９９】
多くの家庭用エンターテイメントシステムでは、センターサラウンドスピーカおよびサブウーファが一部を形成する。図３４ａでは、対象者７９は、全てのスピーカから等距離に位置している。家庭用映画システムでは典型的であるが、フロントセンタースピーカは、音と関係付けられる動画を表示するのに用いるテレビ／モニタ／投影スクリーンの上または下または背後に配置される。対象者は次に、前面の視野内およびその周囲のリスニングエリアをカバーする限られた数の頭部の向きに対する各スピーカの個人化測定取得に進む。測定点は、同一水平面上（ヨー成分）または仰角成分（ピッチ成分）、または頭部の動きの３成分、すなわちヨー（左右の揺れ）、ピッチおよびロール成分、を考慮することができる。
【０１００】
本方法は、音楽を聴いているか、または映画を観ているときにユーザが経験する、最大と思われる頭部の動きの範囲を定義する周囲空間を取り巻く各スピーカに対して、疎らな測定値セットを取得することが目的である。例えば、映画を観ている場合、聴取者は、サウンドトラックを聴きながらテレビまたはプロジェクタのスクリーンを観ることができる頭部の向きを維持するのが普通である。従って、映画を観ている過程におけるほとんどの時間に亘って、聴取者頭部の全ての向きをカバーするであろうゾーンとすべく、測定は、スクリーンの左を見ている頭部位置、スクリーンの右を見ている頭部位置、更に、要望に応じて、スクリーンの上や下の点を見ている頭部位置に対して、全てのスピーカについて行うことができる。頭部のロール成分の角度範囲をＰＲＩＲ処理に導入するのも、この種の動きが再生中に予想される場合、可能であろう。
【０１０１】
頭部追跡する仮想器仮想化器が、予想されるユーザ頭部の動き範囲の境界をなす頭部の向きについて測定した室内インパルス応答にアクセスできる場合、頭部追跡器の指示に従って、その範囲内の任意の頭部の向きに対しても、近似インパルス応答を補間により計算できる。本明細書では、仮想化したスピーカの回転をこの方法で戻すために、補間器が十分なＰＲＩＲデータを有する頭部の動きの範囲を、測定の「範囲」または聴取者頭部の動きの「範囲」と称する。仮想器仮想化器の性能は、頭部が、頭部追跡ゾーンの中心点の方を見ている状態で、個人化測定を追加して行うことにより更に強化できる。これは、単に、テレビまたは映画スクリーン上で映画を観ている間の、頭部の自然な向きと思われる真っ直ぐな頭部位置であるのが典型的である。特にフロントスクリーンを観ている間に、異なる頭部ロール角度について測定を行うと、補間式に第３の次元を効果的に追加して更に改良できる。疎らなサンプリング方法の利点は多く、以下が含まれる：
１）対象者が取得すべきＰＲＩＲ測定数を、性能を犠牲にすることなく、比較的少なくできる。聴取者頭部の範囲外の向きは、測定手順に含まれないからである。
２）任意の数のスピーカを本測定処理に適合させることができる。
３）対象者に関するスピーカの空間的位置は任意でよく、測定する必要がない。完全な頭部関連ＰＲＩＲデータセットを、別々のスピーカ毎に測定し、後に補間器が展開してこれらスピーカを仮想化するからである。
４）それぞれのＰＲＩＲデータセットを取得する際に用いる比較的少数の頭部位置のみを、基準の頭部の向きに対して正確に測定するだけで済む。
５）仮想スピーカの空間的位置および残響特性は、測定およびその後の聴取が同一サウンドシステムを用いて行われている限り、聴取者の範囲内の頭部位置では、実スピーカのものと正確に一致する。
６）本方法は、スピーカ提示形式の特性について一切仮定しない。例えば、大規模な家庭用エンターテイメント構成では拡散サラウンド効果チャンネルとして一般的なように、サウンドトラックは２本以上のスピーカで再生されることがある。この場合、同一の励起信号で全ての関係スピーカを駆動するため、個人化測定は、聴取者の範囲内で、このようなスピーカーグループを仮想化するのに必要な全ての情報を自動的に扱う。
【０１０２】
図３１は、テレビ１８２をベースとする家庭用エンターテイメントシステムの方を見ている対象者７９を示す。サラウンドおよびサブウーファのスピーカは、説明上、視界にあると仮定する。左フロントスピーカ１８０は、テレビの左側に、右フロントスピーカ１８３は右側に位置している。センタースピーカ１８１は、テレビセット１８２の上部に配置する。破線１７９は、聴取者が頭部の向きを維持すると予想される境界領域を示す。Ｘ点１８４、１８５、１８６、１８７および１７７は、各セットの個人化測定を行った際に対象者が見た空間内の仮想点を表す。中心線２５０は、Ｘ点のそれぞれを対象者が見るときの別々の視線を表す。図３１の場合は、視界外のものを含む全てのスピーカについての個人化測定が５回繰り返されることになり、対象者は、その都度、測定用Ｘ点の内の一つを向いて見るよう頭部を定め直す。
【０１０３】
この実施例では、５回の個人化の頭部の向きは、左上１８５、すなわち、対象者が左フロントスピーカ１８０の左上を見る場合、右上１８６、すなわち、フロントスピーカ１８３の右下、左下１８４、右下１８７、および、映画を観ている際の普通の頭部の向きに近い、スクリーン中心１７７である。全ての測定を取得すると、得られたＰＲＩＲデータおよび関係付けられる頭部の向きは、補間器が使用するために格納する。
【０１０４】
図２９は、代替の個人化測定手順を示し、同一水平面１７９上の３つの頭部の向き、左フロントスピーカ１８０の左のＸ点１７６、センタースクリーンのＸ点１７７および右フロントスピーカの右のＸ点１７８、を用いて、個人化測定を行う。この測定形式は、この線の何れかの側の頭部仰角（ピッチ成分）に対する室内インパルス応答が未知なので、頭部追跡型仮想化で最も重要な成分は、純粋な頭部回転（ヨー成分）であると仮定している。図３０は、左右のＸ点１７６および１７８が、左右のフロントスピーカ自体と一致している更に簡単な手順を示す。この変形では、対象者は、個人化測定の各セットに対して、それぞれ、全てほぼ同一の水平面上にある左フロントスピーカ、右フロントスピーカおよびスクリーン中心を見るだけでよい。
【０１０５】
個人化された室内インパルス応答（ＰＲＩＲ）のデータセットは、スピーカの仮想化を可能にし、各仮想スピーカの位置は、測定処理の間に確定した対象者頭部に対する実スピーカの位置と対応する。従って、補間方法が正確に機能する、すなわち、仮想スピーカが実スピーカと一致する位置にあると感じられるようにするためには、実スピーカに対する対象者の聴取位置が個人化測定の際と同一の場合、仮想器仮想化器は、個人化インパルス応答が頭部のどの向きと対応しているかが判ればよく、仮想器仮想化器は、頭部追跡装置からフィードバックされる頭部の向きの信号に応じてデータ間の補間を行うことができる。頭部追跡器が、各個人化データセットに対して頭部の向きを決定したシステムと同一の方向基準を用いる場合、元の測定の範囲内で、仮想スピーカと実スピーカとは、聴取者の視野から見て一致することになる。
仮想−実スピーカの水平位置および高さ位置の一致
【０１０６】
個人化測定処理は、各スピーカが、対象者の頭部の動きの何らかの幅、つまり範囲、に対して測定されるということに依拠している。各個人化データセットに対する頭部の向きは既知であり、再生時の頭部追跡器の座標を基準としているが、厳密に言えば、本発明の実施の形態は、正確な仮想化を達成するのに、試験中のいずれのスピーカの物理的位置も知る必要がない。実スピーカの位置が、個人化処理の間に用いたものと同一位置に留まっている場合、仮想音は物理的に同一の場所から発せられよう。しかし、物理的なスピーカ位置を知ることは、仮想スピーカ−実スピーカの位置が整合していない結果、仮想スピーカの位置調整が必要になった場合に有用である。例えば、ユーザが、リスニング環境内で、測定を行うために用いたスピーカ以外のスピーカの設定を望む場合、理想的には、仮想音を実スピーカと一致させるために、聴取者は、仮想スピーカの位置と可能な限り正確に一致させるようスピーカを物理的に編成しようとするであろう。これが不可能な場合、聴取者は、仮想音がスピーカ以外の場所から放射されているように知覚し、人によっては、仮想器仮想化器のリアリズムが少ないという現象を知覚しよう。この問題は、図３４ａのサラウンドスピーカ１９８および１９９、または聴取者の上に位置するスピーカの場合のような、通常の聴取者頭部の動きの範囲を超える、普通は視野の外にあるスピーカでは問題が少ない。
【０１０７】
本発明の実施の形態は、補間処理にオフセットを導入することにより、仮想スピーカの水平および／または高さ位置に、ある程度の調整を施すことが可能である。オフセットは、測定したスピーカの位置に対する仮想スピーカの所望位置を表す。しかし、そのようなスピーカを仮想化している間に許容される頭部の動きの程度は、オフセットと等しい量だけ減少する。個人化された室内インパルス応答が、元の測定した境界を越える頭部の動きをカバーしないからである。この意味合いは、小さな位置調整が後日成されるかもしれない場合には、元の個人化処理を、通常の視聴に普通に要求される以上に広い範囲の頭部の向きに対して実行すべきである、ということである。
【０１０８】
仮想スピーカの位置を変更するために補間オフセットを用いる方法を、図３３ａおよび図３３ｂに示す。図３３ａでは、点線の境界線１７９は、聴取者の観ている境界を表し、その範囲に亘って、仮想器仮想化器の補間器は、実スピーカに対して点１８４、１８５、１８６、１８７および１７７で測定した個人化データセットを用いて動作する。中心の測定点１７７は、普通に視聴している頭部の向きを表わし、これは再生時の頭部追跡器のゼロ基準位置と対応する。左右および上下の頭部の動きの最大量は、それぞれ２１４および２１５で示す。図３３ｂでは、実スピーカ２１７の位置は、今度は、個人化測定を行うのに用いた位置１８０と対応しない。この意味するところは、仮想スピーカ１８０を実スピーカ２１７と再整列させるために、仮想器仮想化器の補間器が、その計算にオフセット２１６を導入する、ということであり、オフセットは、所望する仮想スピーカ位置の移動２１８とは逆に作用する。同一のオフセットを両耳間経路差を調整するのにも用いる。結果として、この仮想スピーカに対して補間器が適合させることができる頭部の動きの範囲は、著しく減少する２１４および２１５。この特定の図では、中心から左にずれ、中心から下にずれた頭部の動きは、オフセットがない場合よりずっと早く個人化測定境界１７９に達することになる。
個人化測定中に取る頭部の向きの測定
【０１０９】
個人化された室内インパルス応答補間により、仮想スピーカの位置を実スピーカの位置と一致させるには、それぞれの個人化された室内応答測定に対して、頭部の向きを確定するとともに、記録をとること、およびこれらの向きを仮想器仮想化器の再生で用いる頭部追跡の座標の基準とすることが必要となろう。これらの座標値は、それなくしては、それが表す頭部角度および仮想スピーカは、ＰＲＩＲ自体から解明することが困難となるので、ＰＲＩＲデータセットとともに恒久的に格納されるのが典型的であろう。頭部の向き測定は幾つかの方法で達成できる。
【０１１０】
最も分かり易い方法は、個人化測定中に、耳に取り付けるマイクロフォンの他に、何らかの形の頭部追跡装置を対象者が装着することである。本方法は、３自由度での頭部の向きを決定できるので、頭部のロール成分考慮を含むあらゆる複雑さレベルの測定に適用できる。例えば、頭部追跡器は、図２９、図３０および図３１に示す測定に用いることができる。従って、頭部追跡器から出力される頭部のヨー（つまり回転）、ピッチ（仰角）およびロールの読み取り値は、各スピーカの測定セットの開始前に記録でき、この情報は仮想器仮想化器が用いるために保持しておく。
【０１１１】
代替として、頭部追跡器が利用できない場合、固定の物理的な観るべき点を試験の前に設定して、それらについて関係する頭部の向きを事前に手動で測定しておくことができる。これは、通常、フロントスピーカまたは映画スクリーンの周囲に、幾つかの観るべき目標視点を作製する必要がある。個人化測定で、対象者は単にこれらの目標を見ているだけでよく、関係する頭部の向きのデータを仮想器仮想化器に手動で入力する。測定した頭部の向きが水平面内に限られている場合、例えば、図２９および図３０の場合、観るべき目標として、図３０のフロントスピーカ自体１８０および１８３を用いて、仮想器仮想化器にその位置を入力することも可能である。
【０１１２】
残念ながら、対象者が目標またはスピーカを見ているときに、対象者の頭部が、見ている対象に正確に向いていないことが多々あり、得られた不整合により、仮想器仮想化器のヘッドフォン再生中に僅かな動的追跡誤差をもたらすことがある。この問題の一解決法は、測定点を任意の頭部角度として考慮することであり、図２９では、位置１７６および１７８と関係付けられる頭部回転角度を、測定した個人化室内インパルス応答自体の両耳間遅延量を解析することにより推定できる。例えば、対象者が頭部を中心から外れた左を見ている位置にして、フロントのセンタースピーカ１８１が励起スピーカとして選択されている場合、左耳と右耳のインパルス応答のオンセット間の遅延量は、センタースピーカに対する頭部角度の推定値を提供することになる。
【０１１３】
最大遅延量、すなわち、励起信号が左耳または右耳に丁度垂直な場合の、左耳と右耳のマイクロフォン信号間で測定した遅延量、が既知であり、頭部角度が励起スピーカの＋／−９０°以内であると仮定すると、そのスピーカに参照される頭部角度は、次式で与えられる：
頭部角度＝arc sin（−遅延 / 絶対最大遅延 ）    （式１）
ここで、正の遅延は、左耳マイクロフォンの遅延量が、右耳マイクロフォンの遅延量を超えた場合に起きる。本技法の精度は、励起スピーカと対象者頭部との間の角度が最小の状態となるときに、最大となる。すなわち、中心から左にずれた測定では、センターフロントスピーカより左フロントスピーカを励起音源として用いる方が良い。更に、本方法は、特に頭部対スピーカの角度が小さい場合は絶対最大遅延の推定値を用いるか、またはマイクロフォンを取り付けたユーザの両耳間の絶対最大遅延を個人化手順の一部として測定できる。別の変形は、インパルス測定の励起信号ではなく、ある種のパイロットトーンを用いることである。特定の状況のもとでは、あるトーンにより、頭部角度測定をより正確に行うことができる。この場合、そのトーンは、連続波またはバースト波とすることができ、遅延量は、左耳と右耳のマイクロフォン信号間の、位相差またはオンセット時間を解析することにより決定する。
【０１１４】
各個人化を取得している間の頭部の向きの角度は、基準の頭部の向きに対して測定するのが典型的であり、本明細書ではθref、ωrefまたはψrefと称し、個人化中に可能な自由度に依存する。基準の頭部の向きは、映画のスクリーンを観ているか、または音楽を聴いている間の聴取者の頭部の向きを定義する。頭部追跡器の性質に依存して、追跡座標は、固定の基準点、例えば、地球の磁場もしくはテレビセット上に設置した光送信器を有し、またはその基準点は時間経過とともに変化してもよい。固定した基準システムにより、通常の観る向きを測定することができ、次いで、基準の頭部の向きとして用いるために、恒久的に仮想器仮想化器内部にこの測定値を保持することができる。聴取者の家庭用エンターテイメントシステムが変更されて、観る角度がこの基準に対して変化するようなことになった場合だけ、この測定を繰り返すことになる。浮動基準頭部追跡器、例えば、ジャイロスコープ型、では、仮想器仮想化器／頭部追跡器がＯＮになる度に基準の頭部の向きを確定する必要がある。
【０１１５】
このこと全ての意味合いで考えられることは、時間の経過とともに頭部基準値の差により、仮想スピーカ−実スピーカの不整合が生じるのは珍しいことではないかもしれない、ということである。従って、ヘッドフォン仮想化システムは、通常の聴取設定の一部として、基準の頭部の向き角度（θref、ωrefまたはψref）をリセットする便利な方法をユーザに提供する。これは、例えば、押下すると、仮想器仮想化器、または頭部追跡器に、現在の聴取者頭部の向きの角度格納をＯＦＦにするよう促すワンショットスイッチを提供することにより達成できる。聴取者は、ヘッドフォンを通して仮想化したスピーカを聴いて、スイッチを用いて角度を繰り返しサンプリングしながら、仮想スピーカと実スピーカとが一致するまで、知覚した不整合と反対の方向に頭部を動かすだけで、正しい頭部整合を対話式で定めることができる。代替として、何らかの形式の絶対基準を定める方法を用いることができ、例えば、頭部搭載型レーザを用いて、そのレーザービームをリスニングルーム内のどこかの予め定義した基準点、例えば、映画スクリーンの中心、に当ててから、頭部角度の格納をＯＦＦにする。
頭部追跡器入力に基づくＰＲＩＲデータ間の補間
【０１１６】
本明細書で開示するのは、仮想化精度を犠牲にせずに、疎らなサンプリングのＰＲＩＲ間の正確な補間を可能にする方法であり、本明細書で開示する個人化頭部追跡方法論を成功させるのに重要である。左耳の畳み込まれた信号を一対のヘッドフォンの左側を通して再生し、かつ右耳の畳み込まれた信号をヘッドフォンの右側を通して再生するように、左耳および右耳の個人化室内インパルス応答（ＰＲＩＲ）をオーディオ信号と畳み込むと、聴取者の頭部の向きに対して、左耳および右耳のＰＲＩＲを取得するために最初の場所で用いたスピーカと同じ場所からくる音を聴取者は知覚する。聴取者が頭部を動かすと、仮想スピーカの音が、頭部と同じ空間関係を保ち、音像が頭部とともに動くように知覚されることになりうる。同じスピーカを頭部の向きの範囲を用いて測定し、聴取者頭部位置が元の測定位置と一致することを頭部追跡器が示したときに、畳み込み器が代替のＰＲＩＲを選択すれば、仮想スピーカは、これらの同じ頭部位置で正確に位置決めされることになる。
【０１１７】
測定中に用いたものと対応しない頭部位置では、仮想スピーカ位置は、実スピーカの位置と整合しない場合がある。補間法の背後にある発想は、頭部が回転したときに、スピーカと耳に装着したマイクロフォンとの間のインパルス応答特性は、比較的ゆっくりと変化するであろうということであり、僅かの数の頭部位置について測定すれば、特に測定していない頭部位置に対するインパルス特性は、インパルスデータが存在する頭部位置の間を補間することにより計算できるということである。従って、畳み込み器にロードされるインパルス応答データは、測定した頭部位置と対応する頭部位置に対してのみ、元のＰＲＩＲデータと正確に一致することになる。理論的には、頭部の向きは聴覚半球全体をカバーし得るが、少数の測定を行うだけで、この動きの範囲をカバーする場合、ＰＲＩＲ間の差が大きくなり、従って、補間に十分適さないことが起こり得る。
【０１１８】
本明細書で開示するのは、典型的な聴取者の頭部の動きを識別し、頭部の動きの狭い範囲を十分カバーする測定だけを実行し、補間処理に適用する方法である。隣接するＰＲＩＲ間の差が小さい場合、測定したＰＲＩＲに基づいて中間のインパルス応答を計算することにより、聴取者の頭部位置がもはやＰＲＩＲデータと一致しないことを頭部追跡器が示す場合でも、補間処理が仮想スピーカの位置を静止させたままにさせることになる。補間処理を正確に機能させるために、その処理を幾つかのステップに分解する：
１）個人化処理から出力される生のインパルス応答に固有の両耳間時間遅延を測定し、記録し、次いで、インパルスデータから除去、すなわち、全てのインパルス応答を時間整列させる。この処理は、個人化測定が完了した後に一回だけ行う。
２）時間整列させたインパルスを直接補間する。ここで、補間係数は、聴取者の頭部追跡器が示す頭部の向きに基づいて、リアルタイムで計算するか、またはルックアップテーブルから導き出し、その補間したインパルスを用いてオーディオ信号を畳み込む。
３）左耳および右耳のオーディオ信号を、ＰＲＩＲ畳み込み処理の前かまたは後に、別々の可変遅延バッファに通す。両者の遅延量は、聴取者の左耳および右耳と、仮想スピーカに一致する実スピーカとの間に通常存在する、異なる経路長の効果をシミュレートする仮想的な両耳間遅延量と一致するよう連続的に適合している。経路長は、聴取者の頭部追跡器が示す頭部の向きに基づいて、リアルタイムで計算するか、またはルックアップテーブルから導き出すことができる。
インパルス応答の時間整列
【０１１９】
効果的なインパルス補間を提供するには、ＰＲＩＲを時間整列させることが望ましい。しかし、全てのＰＲＩＲ間の異なる時間遅延は、完全な仮想器仮想化器の錯覚を作り出すために、固定遅延バッファと、頭部追跡器駆動の可変遅延バッファとの組合せを用いて、ＰＲＩＲ畳み込み処理の前かまたは後に、オーディオ信号に戻す。これを達成する一方法は、様々な時間遅延を測定し、記録し、次いで、時間が近似的に整列するように、各ＰＲＩＲからこれらの遅延サンプル値を除去することである。別の手法は、単に遅延量を除去し、ＰＲＩＲデータと無関係に遅延量を計算できるように、ユーザが入力するＰＲＩＲ頭部角度に関する十分な情報、およびスピーカの位置に頼ることである。
【０１２０】
ＰＲＩＲデータから遅延量を推定したい場合（ユーザのデータ入力ではなく）、第１ステップは、生のＰＲＩＲデータファイルを検索し、インパルス毎のオンセットを位置特定することにより、スピーカから耳に取り付けたマイクロフォンまでの絶対時間遅延を測定することである。一実施の形態では、ＭＬＳの再生および録音は、よく管理され、かつ高い再現性があるので、各インパルスのオンセットの配置は、スピーカとマイクロフォンとの間の経路長に関連している。アナログおよびデジタル回路構成内の待ち時間のために、スピーカとマイクロフォンの距離が近くても、特定の固定遅延オフセットがＰＲＩＲには常に存在しているが、これは校正中に測定し、計算から除去できる。
【０１２１】
波形のピークを検出する方法は数多くあり、当該技術では周知である。一貫して機能する方法は、インパルス応答波形全体に亘って絶対ピーク値を測定するものであり、この値を用いてピーク検出スレッショールドを計算する。次いで、インパルスファイルの最初から検索を開始し、各サンプルを順次、スレッショールドと比較する。最初にスレッショールドを超えるサンプルがインパルスオンセットを定義する。ハードウエアの何らかのオフセットを差引いた、ファイル開始からのサンプルが入ってくる位置が、スピーカとマイクロフォンとの間の、サンプルにおける経路長の合計である。
【０１２２】
各ＰＲＩＲについて遅延量を測定し、記録すると、インパルスオンセットまでの全てのデータサンプルは、ＰＲＩＲデータファイルから削除され、各ファイルの開始と一致するか、非常に近い直接インパルス波形が残る。第２ステップは、それぞれの実スピーカから頭部中心までのサンプル遅延を測定し、次いで、これを用いて、個人化測定中にとる頭部位置毎について左右の耳のマイクロフォン間に存在する両耳間遅延を計算する。スピーカ〜頭部のサンプル経路長を、左耳と右耳のインパルスオンセットの間の平均値をとることにより計算する。同一スピーカを測定するのに用いる全ての頭部位置について同一値が得られるべきであるが、僅かな差がある場合があり、スピーカ経路を平均化するほうが望ましい。次いで、全ての頭部位置および全てのスピーカに対する全てのインパルス応答対について、左耳経路長から右耳経路長を減じることにより両耳間の経路の差を計算する。
【０１２３】
これまでに説明した方法は、励起スピーカを通じて再生されるＭＬＳのレートと等しいレートでサンプリングされた生のＰＲＩＲデータで動作する。このサンプリングレートは４８ｋＨｚの領域とするのが典型的である。更に高いＭＬＳサンプリングレートが可能であり、事実、高いサンプリングレート、例えば、９６ｋＨｚで仮想化システムを実行したい場合に選択されることが多い。サンプリングレートを高くすることにより、ＰＲＩＲファイルの時間整列を更に正確にでき、可変バッファ実装が、サンプリング期間の細かな断片まで下げた遅延ステップを提供するのが典型的なので、精度が容易に増加できる。ＭＬＳ処理の基本サンプリングレートを上げずに、ＰＲＩＲデータサンプルを任意の所望する分解能にオーバーサンプリングし、オーバーサンプリングしたデータに基づいてインパルスを時間整列することもできる。これを達成すると、次いで、インパルスデータは、ダウンサンプリングして元のサンプリングレートに戻し、補間器が用いるよう格納をＯＦＦにする。厳密に言えば、整列を達成するために、それぞれインパルス対の左耳または右耳のどちらかをオーバーサンプリングするだけでよい。
インパルス応答補間
【０１２４】
時間整列したインパルスデータを補間するのは比較的分かり易くリアルタイムで頭部追跡器が送り出す聴取者頭部の向きの角度に基づいて線形的に実施される。最も簡単な実施は、所望の通常視野角度の両側の２つの測定角度に対応する２つのインパルス応答間を単に補間する。しかし、通常の観ている頭部の向きに近い頭部位置をとることによって、２つの外側の測定の中間の第３の測定を行うことにより、著しい性能改良が実現できる。
【０１２５】
例示に過ぎないが、そのような３点線形補間処理を図１５に示す。時間整列したＰＲＩＲ補間処理１５は、頭部追跡器による頭部角度１０、基準頭部角度１２および仮想スピーカオフセット角度１１の解析から計算９した３つの補間係数６、７および８を入力する。補間係数を用いてバッファ１、２および３それぞれから出力されたインパルス応答サンプルの振幅を乗算器４を用いてスケール化（拡大縮小化）する。拡大縮小したサンプルを加算５し、格納１３し、そして要求に応じて畳み込み器に出力１４する。インパルス応答バッファそれぞれは、数１００ミリ秒の残響時間を伴う個人化室内インパルス応答を表す、何千ものサンプルを保持するのが典型的である。補間処理は、バッファ１、２および３に保持された全てのサンプルを通り抜けるのが通常であるが、経済性および速度の理由から、より少ない数のサンプルに対して補間を実行し、インパルス応答バッファの内の一つからの対応するサンプルを用いて、補間されていないこれらの配置を埋める１３とは可能である。頭部追跡器の角度を読み取る処理、補間係数を計算する処理、および補間したＰＲＩＲデータファイルを更新する処理１３は、仮想器仮想化器入力オーディオフレームレート、または頭部追跡器更新レートで行われるのが通常であろう。この図解に対する基本の補間式は次式で与えられる：
補間したIR(n) = a*IR1(n)+b*IR2(n)+c*IR3(n)
n=0で、インパルス長          （式２）
【０１２６】
本実施例では、インパルス応答バッファ１、２および３は、基準頭部角度θref１２に対して、−３０°（または反時計回りの３０°）、０°および＋３０°それぞれの聴取者の水平頭部角度と対応するＰＲＩＲを含む。この場合の補間係数は、以下のように頭部追跡器角度θTに応じて計算するのが典型的であろう。最初に、正規化した頭部追跡角度θnは次式で与えられる：
θn = (θT-θref)    ただし、-30＜θn＜30 に限定      （式３）
ここで、基準頭部角度θrefは、所望の観ているか、聴いている頭部角度と対応する固定した頭部追跡器角度である。仮想スピーカのオフセット角度がゼロの場合、係数は次のように与えられる：
a = (θn)/-30      -30＜θn＜= 0 に対して      （式４Ｌ）
b = 1.0-a          -30＜θn＜= 0 に対して      （式５Ｌ）
a = 0.0             30＞θn＞ 0  に対して      （式４Ｒ）
c = (θn)/30        30＞θn＞ 0  に対して      （式５Ｒ）
b = 1.0-ｃ          30＞θn＞ 0  に対して      （式６Ｒ）
従って、全て１と０との間にくる。仮想スピーカのオフセット角度θvは、例えば、測定スピーカと位置が一致しない実スピーカと整列させるのに必要であろうように、正規化した頭部追跡角度に加えて、仮想スピーカ位置をθrefに対して僅かにずらす角度オフセットである。別々のθvが、それぞれの仮想スピーカにある。オフセットを使用すると、θrefに対する頭部追跡の範囲の減少を招く。３つのバッファに保持されているＰＲＩＲファイルは、固定した頭部角度範囲、本例では＋／−３０°、しか表わしていないからである。例えば、θvLが、左フロントの仮想スピーカに加えられるオフセットを表わす場合、このスピーカに対する正規化頭部追跡角度θnLは：
θnL = (θT-θref+θvL)  ここでも  -30＜θnL＜30 に限定  （式７）
【０１２７】
これまでの説明では、３つの頭部角度−３０、０および＋３０°で測定されるスピーカと対応する単一セットのＰＲＩＲファイル間を補間した。通常の動作のもとでは、個人化測定角度は、任意で、ほぼ確実にθref廻りで対称である。これらの環境下における補間式のより一般的な形式は、次式で与えられる：
θnx = (θT -θref +θvx)    θL＜θnx＜=θR に限定    （式８）
a = (θnx-θC)/(θL-θC)    θL＜θnx＜=θC に対して    （式９）
b = 1.0-a                  θL＜θnx＜=θC に対して    （式１０）
c = 0.0                    θL＜θnx＜=θC に対して    （式１１）
a = 0.0                    θR＞θnx＞θC に対して    （式１２）
c =(θnx-θC)/(θR-θC)    θR＞θnx＞θC に対して    （式１３）
b =1.0-c                  θR＞θnx＞θC に対して    （式１４）
ここで、θvxは、スピーカｘに対する仮想オフセットであり、θnxは、仮想スピーカｘに対する正規化頭部追跡角度であり、θL、θCおよびθRは、それぞれθrefを基準とする左を見ている、中心を見ている、および右を見ている３つの測定角度である。補間処理は、全ての仮想スピーカについて、仮想オフセットθvxが各スピーカで異なっているかもしれないことを考慮しながら、それぞれ左耳および右耳ＰＲＩＲについて繰り返す。
【０１２８】
補間は、ＰＲＩＲが仰角（ピッチ）を含む頭部位置について存在する場合も達成できる。図３２ａは、５つのＰＲＩＲ測定セットが頭部の向きＡ １８５、Ｂ １８４、Ｃ １７７、Ｄ １８６およびＥ １８７について存在する場合の実施例を示す。補間は、領域を三角形１８８、１８９、１９０および１９１に分割し、聴取者頭部の角度がどの三角形内にあるかを決定し、次いでその三角形を形成する３つの頂点測定点に対して頭部角度が指示する場所に基づいて、３つの補間係数を計算することにより達成するのが典型的である。図３２ｂは、例示に過ぎないが、元の測定点１８５、１８４および１７７の３点とそれぞれ対応する頂点Ａ、ＢおよびＣの三角形内にある現在の聴取者頭部の向き１９４を示す。この三角形は、図のように再度小分割され、頭部角度点１９４が各サブ三角形の新規頂点を形成する。サブ領域Ａ’１９２は、頭部角度点１７７および頂点ＢおよびＣにより画成される。同様に、サブ領域Ｂ’１９３は、１９４、ＡおよびＣにより画成され、サブ領域Ｃ’１９５は、１９４、ＡおよびＢにより画成される。補間式は次式で表される：
補間したIR(n) = a*IRA(n)+b*IRB(n)+c*IRC(n)
n=0で、インパルス長      （式１５）
ここでIRA(n)、IRB(n)、IRC(n)は、測定点Ａ、ＢおよびＣそれぞれと対応するインパルス応答データバッファである。補間係数ａ、ｂおよびｃは次式で与えられる：
a = Ａ'/(Ａ'+Ｂ'+Ｃ')           （式１６）
b = Ｂ'/(Ａ'+Ｂ'+Ｃ')           （式１７）
c = Ｃ'/(Ａ'+Ｂ'+Ｃ')           （式１８）
【０１２９】
本方法は、聴取者頭部が指していると頭部追跡器が示す元の測定境界を組み立てているどの三角形についても用いることができる。サブ領域Ａ’、Ｂ’、およびＣ’を計算するための多くの方法が、当該技術に存在している。最も正確な方法が仮定するのは、測定点Ａ、Ｂ、Ｃ、Ｄ、Ｅおよび頭部位置の点１９４は全て、中心が聴取者頭部と一致する半球の表面上にある。聴取者頭部のヨーおよびピッチの座標がωTで与えられる場合、水平方向の補間の場合と同様に、所望の観ているヨーおよびピッチの向きωrefを基準とし、測定の二次元境界内にあるよう制限されている。図３２ａの場合、正規化した追跡器の座標ωnは以下のように定義される：
ωn = (ωT-ωref)    AB＜ωn(ヨー)＜DEに制限    （式１９）
BE＜ωn(ピッチ)＜AD        （式２０）
ここで、ＡＢ、ＤＥ、ＡＤおよびＢＥは、測定領域の左、右、上および下の境界を表す。上記と同じく、仮想スピーカｘに対する二次元オフセットωvXを、正規化座標ωnに加算して、仮想スピーカの知覚場所を基準の観ている向きωrefに対してずらして、以下を得ることができる。
ωnX = (ωT-ωref+ωvX)    AB＜ωnX (ヨー)＜DEに制限  （式２１）
BE＜ωnX (ピッチ)＜AD        （式２２）
【０１３０】
上記説明で仮定しているのは、ＰＲＩＲ測定頭部の向きを基準の頭部の向きに対して測定するということである。ＰＲＩＲの向きが相互間でしか知られていない場合、基準の頭部の向きに対する正確な関連性は不確定であるかもしれない。この場合、ＰＲＩＲ測定範囲の中央点を計算し、測定座標の基準をこの点にすることにより近似中心基準を確定することが必要である。これは仮想再生中の正確な仮想〜実スピーカ整列を保証するものではない。この中央点は、データ取得中に用いる基準の頭部の向きと一致しないかもしれないからである。この場合の整列は、本明細書で説明するようにヘッドフォンを通して仮想スピーカを聴きながら対話式でしか信頼性を達成できない。
【０１３１】
補間係数計算の計算負荷を減少させるために、仮想器仮想化器初期化段階中に離散値のルックアップテーブルを構築することができる。次いで、これらの値を頭部追跡器角度に基づいてテーブルから読み出す。このようなテーブルは、仮想器仮想化器初期化ルーチンがＰＲＩＲロードするたびにテーブルを再成する必要がないように、ＰＲＩＲデータと共に格納しておくことができる。例示に過ぎないが、２位置、３位置および５位置のＰＲＩＲ補間法にも言及して説明してきた。言うまでもなく、ＰＲＩＲ補間技法は、これらの特定例示に限定されないし、本発明の範囲を逸脱することなく様々な頭部の向きの組合せに適用することができる。
事前補間インパルス応答の格納
【０１３２】
聴取者の頭部角度の変化に応じてＰＲＩＲを変更する一方法は、疎らに測定したＰＲＩＲの幾つかのセットから補間したインパルス応答をオンザフライ（その場）で計算することである。代替法は、ある範囲の中間応答を予め事前計算し、それをメモリに格納する方法である。次いで、何らかのオフセットを含む頭部追跡器角度を用いて、直接これらのファイルにアクセスすると、リアルタイム仮想化中に補間係数を生成したり、ＰＲＩＲ補間処理を実行する必要がなくなる。この方法の利点は、リアルタイムのメモリ読み出し、および計算の回数が補間する場合より少なくなることである。大きな欠点は、動的な頭部追跡中の、中間応答間の十分滑らかな推移を達成するには、多くのインパルス応答ファイルが必要であり、システムメモリへの要求が厳しくなるということである。
経路長計算
【０１３３】
各スピーカおよび各頭部位置について測定した元の左右の耳のＰＲＩＲは、必ずしも時間整列している必要はない、すなわち、これらは両耳間時間差（つまり遅延）を表しているかもしれない、ので、左耳および右耳のオーディオ信号を時間整列インパルス応答により畳み込んだ後、畳み込んだオーディオ信号を可変遅延バッファに通すことにより、この差を再導入する必要があるかもしれない。両耳間遅延は、水平面（ヨー成分）内の頭部の動き、および頭部ロール成分についてだけ、正弦波状に変化する。ピッチ軸は、耳自体と基本的に整列しているので、頭部を仰角に動かす（ピッチ成分）のは、到着時間に影響しない。従って、頭部位置が回転および仰角を含む場合の個人化測定については、頭部追跡器のヨー角だけを用いて、可変遅延バッファを動作させる。ＰＲＩＲデータが水平以外の頭部ロール角について存在する場合、両耳間時間遅延計算は、頭部追跡器のロール角の変化を考慮に入れる。両耳間時間遅延に関するヨーまたはロールの動きの最大量は、最終的には聴取者頭部に対するスピーカ位置に依存する。
【０１３４】
例示に過ぎないが、図９、図１０および図１１の水平面測定に対する左耳と右耳に取り付けたマイクロフォン間の典型的な両耳間経路差Δを、図１３に示す。ｙ軸１４７にプロットしたときにΔ１４９が正の場合、経路長は左耳マイクロフォンに対して最大となる。頭部回転に対するΔの変動を、ｘ軸１５０上にプロットし、正弦波１４９により近似する。両耳を通る軸が音源と整列した時にピーク値１４８および１５５に達する。正弦波の実線部分は、図１０、図９および図１１にそれぞれ示す頭部が観ている３つの位置１５４、１５３および１５１の範囲を定める曲線の領域を示す。これら３つの点での正弦波の振幅は、それぞれ頭部位置に対するＰＲＩＲデータから測定した経路長の差を表し、その相対的な頭部角度は、ｘ軸に投射される。本経路長補間方法は、任意の中間経路遅延を、頭部角度Ａ、ＢおよびＣの間で作り出すことができるように、頭部追跡器が示す頭部角度１５０に対する正弦波が振幅を計算することに関わる。図１３の点線１４９が示すような測定範囲外に頭部が動いたことを頭部追跡器が示す場合でも、経路長計算は継続できる。正弦波により０〜３６０°の頭部回転範囲について自動的に定義されるからである。
【０１３５】
任意の特定スピーカについて、ＰＲＩＲ測定点の内の少なくとも２点の経路差および頭部角度値を用いて正弦波の式を解く。点Ａ、ＢおよびＣの基本式は：
１）PEAK*sin(θ) = ΔA            （式２３）
２）PEAK*sin(θ+ω) = ΔB          （式２４）
３）PEAK*sin(θ+ω+ε) = ΔC        （式２５）
ここで、PEAKは、音源が耳に垂直な場合の最大両耳間遅延であり、θは、測定点Ａと対応する正弦波曲線上の角度であり、ΔA、ΔB、ΔCは、点Ａ、ＢおよびＣそれぞれに対する遅延差であり、ωは、点ＡとＢの間をなす角度、そしてεは、点ＢとＣの間をなす角度である。
【０１３６】
θについて解き、最初の２つの式を用いると：
Sin(θ+ω)/Sin(θ) =ΔB /ΔA            （式２６）
【０１３７】
少なくとも二つの頭部角度は聴取者の範囲を定義し、既知の経路差Δ（例えば、ΔAおよびΔB）を表す左右の耳のＰＲＩＲデータセットがこれらの角度と関係付けられ、頭部角度間の角度の変位ωも既知となるので、θは反復計算により直ちに決定できる。測定の不正確さにより、追加の測定がある場合、第１の結果を確認し、または平均値を生成するために、第２の比、つまり、この実施例ではΔC／ΔA、を作り出すのが望ましいかもしれない。次いで、正弦波の振幅、PEAK、を代入により求めることができる。上記方法は、スピーカＰＲＩＲデータの全ての左耳および右耳のセットに対して反復する。仮想スピーカｘに対する一般的な経路差の式は次式で与えられる：
ΔX = PEAKx *sin(θX+ρ)             （式２７）
ここで、ρは聴取者の頭部回転と関連する角度である。より詳細には、元の測定点はθrefを基準としているので、追跡器が示す聴取者の頭部角度θtを、正規化した聴取者の頭部角度θnを与えるよう適切にオフセットする：
θn= (θt-θref)             （式２８）
この角度は、測定点の角度限界内に制限されるのが典型的であろうが、経路差は、全ての頭部角度に対して正確に計算できるので、厳密には制限しなくてもよい。仮想化したスピーカにオフセットθvXを加える場合も同じことが言える：
θnX= (θt-θref+θvX)             （式２９）
【０１３８】
正規化した頭部角度は、図１３の正弦波関数を基準としている。各仮想スピーカに対する経路長角度θΔXは、正規化頭部角度から最も左の測定角度θAを減じることにより計算する：
θΔX= (θnX-θA)             （式３０）
ゆえに、正規化角度が左の測定点と等しい場合、経路長角度θΔXはゼロである。スピーカｘに対する経路長差は、次式を用いて計算する：
ΔnX = PEAKx*sin(θX+θΔX)           （式３１）
正弦波関数はサブルーチンを用いて計算するか、何らかの離散的ルックアップテーブルの形を用いて推定するのが典型的である。
【０１３９】
上記説明は、水平の頭部回転（ヨー成分）の例について焦点を当てたものである。頭部仰角（ピッチ成分）の変化は両耳間遅延に影響しない。この意味は、ＰＲＩＲデータセットから正弦波関数を構築する場合は、ピッチ角度の選択は重要ではないということである。頭部ロール成分を用いて仮想化した両耳間遅延を調整すべき場合、異なるロール角について取得したＰＲＩＲデータからの両耳間時間遅延の測定値を用いて、同じ一般的な手法をとることができる。この場合、頭部のヨー方向動きから計算した両耳間遅延を、ロール角の範囲に基づいて修正する。各種の手順を利用して、このような二次元補間処理を実施するが、当該技術では周知である。更に、ヨー成分経路長計算を説明するために用いる図は、３点ＰＲＩＲ構成に焦点を当てている。言うまでもなく、経路長の公式は、本発明の範囲から逸脱することなくＰＲＩＲの頭部の向きの広範囲な組合せを用いて構築することができる。
【０１４０】
任意のあるスピーカについて耳の間に存在する両耳間遅延（差）とは別に、経路長差が各種のスピーカ間に存在する可能性がある。すなわち、スピーカは聴取者の頭部から等距離ではないことがある。スピーカ間の遅延差は、最短の経路長、すなわち聴取者頭部の最も近いスピーカ、を最初に識別し、それ自体および全ての他のスピーカの経路長の値からこの値を減じることにより計算する。これらの差の値は、両耳間遅延処理を実施するよう作り出された適応型遅延バッファの固定要素となることがある。代替として、これらの遅延をオーディオ信号経路内で実施してから、可変両耳間遅延バッファまたはＰＲＩＲ畳み込み器の最初にくる方に送るよう切り離すことがより望ましいかもしれない。
【０１４１】
共通のスピーカ遅延、すなわち、頭部までの最小経路長、を、固定遅延バッファを用いて処理の任意段階で実施することができる。上記したように、仮想器仮想化器への入力を遅延させるか、または代替として、遅延が頭部追跡の著しい待ち時間を招かない場合ほど十分に小さい場合、仮想器仮想化器出力でヘッドフォンへの送り信号に導入できる。しかし、仮想器仮想化器ハードウエア実装自体が著しい信号処理遅延、つまり待ち時間、を示すことも多いので、最小のスピーカ経路遅延は、ハードウエアの待ち時間の量だけ小さくするのが普通であり、全く必要ないこともある。
手動で公式化した経路長計算器
【０１４２】
これまでの説明は、ＰＲＩＲデータを解析することにより、経路長の式、および／または関係付けられるルックアップテーブルを決定する方法について説明してきた。ＰＲＩＲの頭部の向きの角度と、ＰＲＩＲスピーカとの間の関連が既知の場合、このデータを用いて経路長公式を直接構築することが可能である。例えば、ＰＲＩＲ測定を行っている間、ユーザが頭部追跡器を装着すべきであった場合、ＰＲＩＲ角度は既知のはずである。更にスピーカの位置も基準の向きに対して既知であった場合、それ以上の解析をしなくても、経路長の式を直接公式化することが可能である。この方法をサポートするには、ユーザが仮想器仮想化器に手動でスピーカの配置を入力して計算できるようにする必要があろう。これらの配置は、ＰＲＩＲ頭部角度を測定するために用いたのと同一の座標を基準とすることになる。ＰＲＩＲ頭部角度も、同一方法で入力できるし、またはＰＲＩＲ手順の間に頭部追跡器からサンプリングすることもできよう。
【０１４３】
ＰＲＩＲの頭部角度およびスピーカ配置を仮想器仮想化器に一旦組み込むと、ＰＲＩＲデータとともにこのデータを格納できるので、仮想器仮想化器初期化ルーチンがＰＲＩＲをロードする度に、経路長公式を再生することができる。
可変遅延バッファの実装
【０１４４】
デジタル式の可変遅延バッファは周知であり、当該技術分野には、多数の効率的な実装法が存在している。図１７に典型的な実装法を示す。可変遅延バッファ１７は、サンプル１８間にゼロを挿入することにより入力ストリームをオーバーサンプリングし、次いで、イメージエイリアスを除去するためにローパスフィルタ１９に通す。サンプルは固定長バッファ２５の上位に入り、このバッファの内容は、オーバーサンプリングした期間毎に下位に向かってシステマティックにシャッフルされる。聴取者の頭部の向き、基準角度および仮想スピーカの何らかのオフセット、１０、１１および１２により駆動される、両耳間時間遅延計算器２４が決定するアドレス２０のバッファ場所から、サンプルが読み出される。例えば、頭部角度のロール角がない場合、この計算器は、式３１の形式をとることになる。バッファから読み出されたサンプルは、ダウンサンプリングされ２２、残りのサンプルは出力される。バッファの遅延は、サンプルが読み出される場所のアドレス２０の変化に影響を受け、この変化は、仮想器仮想化器が実行されている間、動的に起きる。遅延は、バッファの上位から出力サンプルが取り出される場合の、ゼロから、バッファの最も下位の場所から出力サンプルが取り出される場合の、バッファ自体のサンプルサイズまで、の範囲をとり得る。オーバーサンプリングレート１８は、１００ｓのオーダーとして、出力アドレスの切換動作が可聴ノイズを発生しないことを確実にようにするのが典型的である。
事前に計算された経路長
【０１４５】
聴取者の頭部角度の変化に応じて両耳間経路長を変更する一方法は、オンザフライ計算により正弦波関数に基づいて、または何らかの種類の正弦波ルックアップテーブルを介して、可変遅延経路長を計算することである。代替の方法は、スピーカ毎に、予想される頭部の動きの範囲をカバーする経路長の範囲を予め事前計算し、ルックアップテーブルにそれを格納することである。その離散的な経路長の値は、頭部追跡器の角度変化に応じてアクセスされることになる。
仮想〜実スピーカの知覚距離の一致
【０１４６】
人は、知覚される音源の距離差に比較的鈍感であるが、聴取者と個人化測定を行うために用いたスピーカとの距離、および聴取者と視覚的に強化するよう用いられる実スピーカとの距離、の差が大きいと、音響心理的に一致させることが困難となる。これは、観ているスクリーンが聴取者頭部に比較的近い、例えば、航空機内、自動車内のエンターテイメントシステムの場合、特に問題になる。更に、これらの状況では、このような再生システムを個人化するのは実用的でないことが多い。そのため、本発明の実施の形態には、知覚した仮想スピーカ距離を変更するために、個人化室内インパルス応答自体を修正する方法が含まれる。この修正には、対象のスピーカに特有な個人化室内インパルス応答の直接部分を識別すること、およびその後の残響部分に関する振幅および位置を変更することが関与している。この修正室内インパルス応答を仮想器仮想化器に用いた場合、仮想スピーカの見かけ上の距離がある程度変化する。
【０１４７】
このような修正の図解を図１２に示す。この実施例では、元のインパルス応答（上の線）は、知覚される仮想スピーカを物理的スピーカから余りに遠くに投影するので、この距離を短くするよう修正を試みる（下の線）。個人化室内応答１６１の直接部分は、インパルスオンセット１６２から開始される最初の５〜１０ｍｓの波形を含み、何らかの室内反射１６４が到着する前に、スピーカからマイクロフォンに直接到着するインパルス波形を表すその部分の応答により定義されるのが典型的である。
【０１４８】
オンセット１６２と最初の反射１６４との間のインパルス１６１の直接部分は、変更せずに修正インパルス応答１６３にコピーする。スピーカの知覚距離は、インパルス応答の直接部分および残響部分の相対的な振幅により大きく影響され、スピーカが近いほど、反射信号と比較して直接信号のエネルギーは大きくなる。音圧レベルは音源からの距離の逆二乗に比例して低下するので、仮想スピーカと実スピーカの知覚距離を半分にするよう試みるなら、残響部分は１／４に減衰させることになる。従って、一次反射１６４のオンセットから始まって室内インパルス応答１６５の最後までのインパルス応答の振幅が適切に調整され、修正インパルス応答１６３にコピーされる。本実施例では、直接部分の最後１６６と、一次反射の開始１６７との間の時間を、インパルスサンプルをゼロで引き延ばして人工的に延長する。これは、対象者がスピーカ音源に近いほど、直接部分と残響部分との相対的な到着時間が増大することになることをシミュレートしている。スピーカ音をもっと遠くにするためには、インパルスに対する修正を逆に行う。すなわち、インパルスの直接部分を残響部分に対して減衰させ、一次反射の直前のインパルスサンプルを除去することにより到着時間を短くすることができる。
センタずれ聴取位置の調整
【０１４９】
個人化および聴取活動の両方に対して同一スピーカ編成を維持している場合でも、聴取者位置が、個人化測定を行うときに用いた位置と同一でなければ、仮想〜実スピーカ整列が達成できないことがある。例えば、二人以上が同時に音楽を聴いているか、映画を観ている場合に、この問題が起きるのが典型的であり、その場合、一人以上は所望のスイートスポットからちょっと離れて位置することになる。このような小さな位置誤差は、本明細書で説明する技法を用いて簡単に補償できる。第１に、測定位置に対する聴取位置のオフセットにより、中心を観ている向きに対する実スピーカの水平座標および高さ座標を変更する。変更する程度は、それぞれのスピーカで異なり、聴取位置オフセット誤差の大きさに依存する。実スピーカの位置が既知である場合、仮想スピーカと再整列させるには、本明細書で説明する方法を用いて、スピーカ毎に補間器オフセット、ωV（またはθV）を別々に展開する。第２は、聴取者頭部と実スピーカの距離が、知覚した仮想距離ともはや一致しないかもしれない。元の距離は個人化測定の副産物なので既知であり、仮想スピーカそれぞれに対する距離誤差を計算し、それぞれの室内インパルス応答を本明細書で説明した技法を用いて修正して、不一致を取り除くことができる。
測定範囲外の頭部動き
【０１５０】
本明細書で開示するのは、聴取者頭部の動きが個人化測定の境界の制限を超える状況、すなわち、頭部追跡した回転を戻す処理の範囲外にある、例えば、図３１に示す点線１７９、を取扱うよう展開できる幾つかの方法である。最も基本的な方法は、境界侵犯が起きたことを頭部追跡器が示す何れかの軸に対して補間処理を凍結し、頭部が範囲内に戻ってくるまでその値を保持するだけである。この方法の効果は、仮想スピーカの音像が、範囲外の向きに対する頭部の動きに追従するかもしれないが、範囲内に入ると安定することができる。
【０１５１】
別の方法は、経路長差の計算処理を範囲外へも適応を継続して（式３１）、インパルス応答補間を、範囲境界侵犯前に最後に使用した値でそのまま固定する。この方法の効果は、仮想スピーカから放射される高い周波数だけが頭部の外側範囲につれて動くと考えられることである。
【０１５２】
更なる方法は、ある種の頭部位置減衰プロファイルを用いて、仮想器仮想化器出力の振幅を範囲外では減衰させる。これは先の方法のどれかと組合せて用いることができる。減衰の効果は、ユーザが個人化領域（範囲）の近傍内を見ている時だけ、仮想スピーカから音がくる音響的な窓を作り出すことである。この方法は、範囲境界を頭部が外側に横切った後、すぐにオーディオ信号を減衰させなくてもよい。例えば、水平の測定だけを行った場合（図２９および図３０に示すように）、仰角（ピッチ成分）の著しい逸脱、すなわち、測定中心線１７９の上および下があってから減衰処理をトリガーにすることが望ましい。減衰法の音響心理的な一利点は、音像回転の錯覚が消滅する作用を聴取者が受ける可能性を最小限に抑えるので、仮想音の局面を著しく強化するということにある。減衰法の別の利点は、ユーザーがヘッドフォンに加える音量を容易に操作できる、ということにあり、例えば、頭部を回転させて映画のスクリーンから外すことにより、聴取者はヘッドフォンを効果的にミュートできる。
【０１５３】
最後の方法は、同一の個人化データセット内の他の仮想スピーカと関係付けられる室内インパルス応答を用いて人工的に個人化範囲を拡大することに関与する。本方法は、＋/−１８０°の頭部回転の全範囲に亘って、かなり正確な仮想体験を可能にするのに十分な数のスピーカがある、マルチチャンネルのサラウンドサウンド型スピーカシステム（図３４ａ）に対して特に有用である。ただし、本方法は、仮想スピーカが実スピーカと音響的に一致するのを保証しない。なぜなら、補間領域を拡大することにより、補間が、仮想化されているスピーカと異なる場所にあるスピーカを用いて測定した、室内インパルス応答データを用いる必要があるかもしれない。
【０１５４】
音が合わないという他に、本方法は、サラウンドサウンドシステム内に編成されているスピーカが、等距離に配置されていないかもしれず、同一仰角ではないかもしれないという点にも問題がある。個人化が単一水平面で行われている場合、聴取者頭部が拡大した範囲を通って動くと、仮想スピーカと実スピーカとの正確な整列を保持するのは困難であるかもしれない。個人化測定が仰角成分を含む場合、これらの高さの不一致は、先に説明したような補間器オフセットを用いて、頭部回転につれて動的に補償することができる。スピーカの距離差も、既に説明した技法を用いて、頭部回転につれて動的に補正できる。
【０１５５】
本方法を、一般的な５チャンネルサラウンドサウンドスピーカフォーマットを用いて、聴取者が３６０°回転した時の、左前側スピーカ２００（図３４ａ）を仮想化するために展開される各種の補間法の組合せを図３４ｂに示す。図３４ａの図解は平面図であり、想像上の円２０１の中心に位置している聴取者７９と、想像上の円２０１上に位置しているセンタースピーカ１９６、右フロントスピーカ１９７、右サラウンドスピーカ１９８、左サラウンドスピーカ１９９および左フロントスピーカ２００の５本のスピーカとの間の角度の関連を示す。フロントのセンタースピーカ１９６が、０°方向を表し、聴取者がセンタースクリーンを観ているときに取る方向である。左フロントスピーカ２００はセンタースクリーンから−３０°に位置し、右フロントスピーカ１９７はスクリーンセンタから＋３０°であり、左サラウンドスピーカ１９９はスクリーンセンタから−１２０°であり、そして右サラウンドスピーカ１９８はスクリーンセンタから＋１２０°である。
【０１５６】
図３４ｂは、個人化測定を単一水平面上で実行したと仮定し、水平面上の＋/−３０°の範囲（先に図３０で説明してある）を提供する左フロントスピーカ２００、スクリーンセンタースピーカ１９６および右フロントスピーカ１９７それぞれから構成された３つの観る点について測定した場合の５本全てのスピーカを仮定する。図３４ｂは、聴取者頭部が全３６０°を通じて動く時に、補間器が左フロントスピーカ２００を仮想化するのに用いる個人化データセット２０２、２０３、２０４、２０５、２０６、２０７および２０８の組合せを示す。全てのスピーカに対する個人化測定は、フロントの３本のスピーカ位置を観て行われるので、この範囲２０２（センタースクリーンから＋/−３０°）内に留まる頭部角度に対して、補間器は、実際の左フロントスピーカを用いて測定した室内インパルス応答の３セットを用いる。これは通常の動作のモードである。
【０１５７】
頭部が左フロントスピーカを超えて−３０°〜−９０°の領域２０８に動くと、補間器は左フロントスピーカのデータをもはや使用できないので、右フロントスピーカに対して測定した室内インパルス応答の３セットを展開せざるをえない。この場合、補間器に入力される頭部回転角度は、６０°時計回りにオフセットして、頭部がこの領域を通って回転する時に、右フロントスピーカのインパルスデータに正しくアクセスできるよう強制する。左右のフロントスピーカの音の特性が類似し、同一の高さに位置している場合、その変化は継ぎ目なく切り換えられ、ユーザはスピーカデータの不一致に気づかないのが普通である。
【０１５８】
−９０〜−１２０°の角度２０７に対しては、仮想器仮想化器は、ユーザが左フロントスピーカを見ている場合の右スピーカに対して測定した室内インパルス応答データと、ユーザが右フロントスピーカを見ている場合の右サラウンドスピーカに対して測定した室内インパルス応答データとの間を補間する。
【０１５９】
−１２０〜−１８０°の角度２０６に対しては、補間器は、適切な角度オフセットを補間器に加えた状態で右サラウンドスピーカに対して測定した３セットの室内インパルス応答データを用いる。
【０１６０】
１８０〜１２０°の角度２０５に対しては、仮想器仮想化器は、左フロントスピーカを見ながら右サラウンドスピーカに対して測定した室内インパルス応答データと、右フロントスピーカを見ながら左サラウンドスピーカに対して測定した室内インパルス応答データとの間を補間する。
【０１６１】
１２０〜６０°の角度２０４に対しては、補間器は、適切な角度オフセットを補間器に加えた状態で左サラウンドスピーカに対して測定した３セットの室内インパルス応答データを用いる。
【０１６２】
６０〜３０°の角度２０３に対しては、仮想器仮想化器は、左フロントスピーカを見ながら左サラウンドスピーカに対して測定した室内インパルス応答データと、右フロントスピーカを見ながら左フロントスピーカに対して測定した室内インパルス応答データとの間を補間する。当該分野の技術者には言うまでもなく、ここで説明し、図Ｆに示した技法は、数がもっと多いか、少ないスピーカを有するエンターテイメントシステムに容易に適用でき、水平（ヨー成分）および仰角（ピッチ成分）両方の頭部の向きを用いて作成される個人化データセットに適用できる。
個人化されたものと非個人化されていない室内インパルス応答の混合
【０１６３】
本発明者が行った実験が明確に示すところでは、仮想化の精度は聴取者自身の個人化された室内インパルス応答（ＰＲＩＲ）データの展開に大きく依存している。しかし、同時に見出されたのは、普通は視界外にあるスピーカは、個人化データの精度に余り重要ではなく、実際、リアの仮想錯覚をさほど失うことなく、非個人化されていない室内インパルス、つまりダミーヘッドを用いて取得したものを用いることができることが多い。従って、マルチチャンネルスピーカ構成を仮想するために、個人化された室内応答と、非個人化、つまり標準室内応答との組合せが利用できる。この動作モードは、ユーザに必要な測定を行う時間がない場合、または測定用スピーカを所望の位置に編成するのが現実的でない場合に有望である。標準室内インパルス応答（ＧＲＩＲ）はＰＲＩＲと同一形式をとる。すなわち、これも、典型的な聴取者頭部の動きの幅、つまり範囲、に対するスピーカの疎らなサンプリングを表す。ＧＲＩＲの処理も同様であろう。すなわち、両耳間の遅延を記録し、インパルス波形を時間整列し、次いで、両耳間遅延を可変遅延バッファを用いて回復し、そして聴取者頭部の位置により動的に駆動される中間インパルス応答データを補間器が生成することになる。
個人化測定手順のための自動レベル調整
【０１６４】
ＭＬＳ技法を用いて行うインパルス応答測定は、巡回相互相関プロセッサにフィードバックされる録音信号に非線形性があると不正確になる。非線形性は、マイクロフォンアンプに続くアナログ／デジタル変換器の段でのクリップの結果として発生するか、またはオーバードライブの結果としてスピーカ変換器またはスピーカーアンプで発生する歪みの結果として発生するものが典型的である。この意味は、ＭＬＳ個人化室内インパルス応答測定方法をロバストにするには、測定中の測定チェーン段毎に、信号レベルを制御することが必要になるということである。
【０１６５】
一実施の形態では、個人化測定セッションの前に用いるＭＬＳレベルのスケール化方法を開示する。一旦、適切なＭＬＳレベルが決定されると、得られたスケール因子を用いて、特定の室内スピーカ設定および対象者について、後続する全ての個人化測定を通じてＭＬＳ音量レベルが設定される。個人化室内インパルス応答取得中に単一のスケール因子を用いることにより、仮想器仮想化器エンジンに展開する前の、追加のスケールリンブ、すなわち両耳間レベル調整が不要となる。
【０１６６】
図２３は、典型的な５チャンネルスピーカＭＬＳ個人化設定を示す。対象者７９（平面図）は、５本のスピーカに囲まれ、前センタースピーカを見ながら所望の測定点に位置して、出力がマイクロフォンアンプ９６に接続されるマイクロフォンをそれぞれの耳に付けている。９８から出力されるＭＬＳは、スケール因子で乗算されて１０１拡大される４。調整したＭＬＳ信号１０３は、１〜５の逆乗算器１０４に入力され、その出力１０５はそれぞれ、デジタル／アナログ変換器７２および可変ゲインパワーアンプ１０６を経由して５本のスピーカの内の１本を駆動する。図２３は、特に、左フロントスピーカ８８に配するＭＬＳ信号９８を示す。耳に取り付けたマイクロフォンは、スピーカ８８が放射するＭＬＳ音波を収音し、これらの信号は増幅９６され、デジタル化され９９、そのピーク振幅が解析され９７、そして所望のスレッショールドレベル１００と比較される。
【０１６７】
本試験は、スピーカが提示するフルスケールＭＬＳ信号が、耳に取り付けたマイクロフォンの音圧レベルを十分高く生成でき、所望のスレッショールドレベル１００に達するか、またはそれを超えるマイクロフォン信号レベルを生じるよう、スピーカーアンプの音量１０６を高く設定した状態で開始する。何らかの疑問がある場合、音量は、最大設定のままとし、個人化室内インパルス応答が取得されるまで、再調整しない。レベル測定ルーチンは、ＭＬＳを比較的低いレベル、例えば、−５０ｄＢ、に下げた状態で開始する。９８から出力されたＭＬＳは、デジタルピークレベル（すなわち０ｄＢ）で内部生成されるので、これによりＭＬＳがデジタルクリップレベルを５０ｄＢ下回ってＤＡＣに達する。減衰させたＭＬＳを、９７でのリアルタイム測定が、ピークレベルを高い信頼性で決定するのに十分長い時間の間、１０４で選択した、ただ一本のスピーカに向けて再生する。一実施の形態では、０．２５秒の期間を用いる。９７のピーク値を、所望のレベル１００と比較し、録音したＭＬＳマイクロフォン信号のどれもこのスレッショールドを超えないことが判れば、スケール因子減衰を僅かに下げ、測定を繰り返す。
【０１６８】
一実施の形態では、スケール因子減衰を、３ｄＢステップで下げる。スピーカへのＭＬＳ駆動の振幅をインクリメンタルにブーストし、得られたマイクロフォンの収音レベルを試験するこの処理は、どれかのマイクロフォン信号が所望のレベルを超えるまで、継続する。所望のレベルに達すると、スケール因子１０１を実際の個人化測定に用いるために保持する。ＭＬＳレベル試験は、代わりの試験スピーカを、１０４を用いて選択することにより、個人化測定を受ける全てのスピーカについて繰り返すことができる。この場合には、各スピーカに対するスケール因子を、全てのスピーカの試験終了まで保持し、最大減衰を有するスケール因子を、後続の全ての個人化測定のために保持する。
【０１６９】
ＭＬＳにより導いた個人化された室内インパルス応答の信号対ノイズ比を最大化するために、所望のレベルのスレッショールド１００をデジタルクリップレベルの近くに設定すべきである。しかし通常は、エラーマージンがもたらされるよう、幾らかクリップより小さく設定する。更に、ＭＬＳ音圧レベルが対象者にとって不快な場合、または測定チェーンが十分なゲインもたず、それにより、スピーカもしくはアンプをオーバードライブするリスクがある場合、レベルはもっと下げてもよい。
【０１７０】
ＭＬＳレベル試験は、スケール因子１０１が１．０（０ｄＢ）に達するか、測定したＭＬＳレベルが所望のレベル１００未満に留まる場合、中止する。測定したマイクロフォンレベルがスケール因子繰り返しステップのレベルに比例して増加しない場合も試験を中止する。すなわち、ステップ毎にスケール因子減衰を３ｄＢだけ減少させると、マイクロフォン信号レベルは３ｄＢ上昇すべきである。いずれかのマイクロフォンの信号レベルが固定された場合は、マイクロフォン、スピーカ、アンプ、および／またはそれらの相互接続に関連する問題を通常は示す。
上記の説明は特定のステップサイズおよびスレッショールド値を参照して行った。言うまでもなく、本発明のこの態様の範囲から逸脱することなく、広範囲のステップサイズおよびスレッショールドを本方法に適用できる。
スピーカ直接接続を用いる個人化測定
【０１７１】
個人化された室内インパルス応答（ＰＲＩＲ）の実行に必要なことは、励起信号が、選択したスピーカを通じてリアルタイムで出力され、得られた室内応答が、耳に取り付けたマイクロフォンを用いて録音されることである。一実施の形態は、これらの測定を行うために、ＭＬＳ技法を使用し、この信号を選択的に切り換えて、典型的なＡＶレシーバ設計のパワーアンプステージの前のＤＡＣに入力する。スピーカ信号フィードに直接アクセスする構成を図２６に示す。マルチチャンネルオーディオ入力７６は、アナログ／デジタル変換器（ＡＤＣ）７０を経由して入力され、ヘッドフォン仮想器仮想化器１２２の入力、および２ウエイデジタルスイッチ１３２の両方に接続される。オーディオ信号１２１がデジタル／アナログ変換器（ＤＡＣ）７２を通過できるようにスイッチ１３２を設定し、可変ゲインのパワーアンプ１０６を経由してスピーカ駆動するのが普通である。これが通常の動作モードであり、スピーカまたはヘッドフォンのいずれかを通してオーディオを聴く選択肢をユーザに与える。しかし、ユーザが個人化測定を開始したいと希望すると、仮想器仮想化器１２３は、スイッチ１３２を切り換えて、スピーカを切り離し、代わりに、スケール化したデジタルＭＬＳ信号１０３をスピーカの一本に送る１０４。他のスピーカの送り信号は全てミュートする。仮想器仮想化器は、ＭＬＳの送り先を変更１０４することにより別の試験対象スピーカを選択することができる。全てのＭＬＳ試験が完了した後、スイッチ１３２をリセットして、オーディオ信号１２１を再びスピーカに送ることができるようにするのが典型的である。
外部プロセッサを用いる個人化測定
【０１７２】
特定の商品設計で想定されるのは、上記説明のようなスピーカ信号パスにアクセスできないということである。例えば、ヘッドフォン仮想器仮想化器が別体の外部プロセッサとして設計され、マルチチャンネルオーディオ信号が、符号化された入力ビットストリームから復号化される場合である。多くの場合、選択したスピーカにＭＬＳ信号を送出する場合に必要となるように、外部ラインレベルのスイッチシステムに接続できる仮想器仮想化器プロセッサからの出力を別に設けるのは、コストの制約を受けることになる。ＣＤまたはＤＶＤから、符号化したデジタルビットストリームを介して、励起信号を再生することは可能であるが、一旦開始するとディスク再生を中断することが容易ではないので、不便である。この意味は、ＭＬＳのレベル調整、頭部安定化またはスピーカ測定をスキップする等の、単純なタスクをユーザ、またはアシスタントが手動で導くと、困難さおよび個人化処理の時間が劇的に増加してしまうということである。
【０１７３】
本明細書で開示するのは、業界標準のマルチチャンネル符号化システムを用いて、最小限の経費およびコストで、ＡＶレシーバ型設計のスピーカにアクセスを提供する方法である。このようなシステムを図２７に示す。ヘッドフォン仮想器仮想化器１２４は、ヘッドフォンＩ／Ｏ、頭部追跡器Ｉ／ＯおよびマイクロフォンＩ／Ｏ、７２、７３、９６および９９を備える仮想器仮想化器１２３、マルチチャンネル復号器１１４、ならびにＳ／ＰＤＩＦレシーバ１１１および送信器１１２を収容している。外部ＤＶＤプレーヤ８２を、デジタルＳＰＤＩＦ接続を介して１２４に接続し、ＤＶＤプレーヤから送信１１０し、内部ＳＰＤＩＦ受信器１１１を用いて仮想器仮想化器が受信する。この信号は、内部のマルチチャンネル復号器１１４に渡され、復号化オーディオ信号１２１が仮想器仮想化器コアプロセッサ１２２に渡される。通常、スイッチ１２０は、ＤＶＤプレーヤからのＳＰＤＩＦデータが内部ＳＰＤＩＦ送信器１１２に、次いでＡＶレシーバ１０９に直接渡るように配置する。ＡＶレシーバは、ＳＰＤＩＦデータストリームを復号化し、得られた復号化オーディオ信号を、可変ゲインパワーアンプ１０６を経由してスピーカ８８に出力する。これは通常の動作モードであり、装置間信号接続を何ら変更することなく、スピーカまたはヘッドフォンを通してオーディオを聴く選択肢をユーザに与える。
【０１７４】
しかし、ユーザが個人化測定を開始したいと望む場合、スイッチ１２０を切り換えることにより、仮想器仮想化器１２３はＤＶＤプレーヤからのＳＰＤＩＦ信号を切り離し、代わりに、マルチチャンネル符号器１１９から出力される符号化されたＭＬＳビットストリームを、ＡＶレシーバ１０９に渡す。生成されたＭＬＳサンプル９８は、符号化１１９する前にゲインの範囲を定める４および１０１。一度に測定するのは１オーディオチャンネルだけであるから、仮想器仮想化器は、マルチチャンネル符号器の測定しようとする特定入力チャンネルにＭＬＳを導く。他のチャンネルは通常、全てミュートする。この利点は、符号化ビット割り当てが、ＭＬＳを扱うチャンネルだけに利用可能ビットを集中できるので、符号化システム自体の影響を最小化できることにある。ＭＬＳ符号化ビットストリームは、リアルタイムでＡＶレシーバ１０９に送られ、ＭＬＳは、互換性のあるマルチチャンネル復号器１０８を用いてＰＣＭに復号化される。
【０１７５】
ＰＣＭオーディオは復号器から出力され、ＭＬＳが所望の励起スピーカ８８に渡される。同時に、対象者７９の左右の耳に取り付けたマイクロフォンは、得られた音を収音し、ＭＬＳ相互相関処理９７により処理するために、それら８６ａおよび８６ｂをマイクロフォンアンプ９６に中継する。他の全てのスピーカは、符号化処理１１９の間は、それらのオーディオチャンネルがミュートされているので、音が出ないままである。本方法は、ＡＶレシーバ内部に互換性のあるマルチチャンネル復号器があるかどうかに依存する。現在、例えば、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ、ＤＴＳ（例えば、米国特許第５，９７８，７６２号を参照）や、ＭＰＥＧ１方法論を用いて符号化されたオーディオは、既存のほとんどの消費者エンターテイメントシステム機器を用いて復号化できる。本方法は、３種類全ての符号化とうまく連携するが、どれもＭＬＳまたは励起波形に何らかの歪みを起こし、ＰＲＩＲの忠実度が僅かに低下する。それでもＤＴＳおよびＭＰＥＧシステムは、高いビットレートで動作でき、１オーディオチャンネルだけのアクティブ化を、うまく利用するよう修正できる前方適合ビット割り当てシステムを有するので、Ｄｏｌｂｙシステムよりも歪みが少ないかもしれない。更に、ＤＴＳシステムは、２３ビットまでの量子化および特定の動作モードで完全な再構築を提供するので、その結果、ＭＰＥＧシステムよりずっと低い励起歪みレベルが得られる。
【０１７６】
図２７では、ＭＬＳを生成し９８、スケール化し４、そしてリアルタイムで符号化１１９して、励起スピーカに至る。別の方法は、符号化ＭＬＳデータを事前に符号化したブロックをメモリに保持することであり、それぞれ、振幅の範囲が異なる励起チャンネルを表す。ＭＬＳ測定中は、ループで繰り返して復号器に出力できるので、符号化データは単一のＭＬＳブロック、少数のブロック、を表すだけでよい。この技法の利点は、オフラインで全ての符号化を行っているので計算負荷が非常に少ない、ということである。事前符号化したＭＬＳ法の欠点は、全ての事前符号化ＭＬＳデータブロックを格納するのに、大きなメモリを必要とすることである。例えば、フルビットレートＤＴＳ（１．５３６Ｍｂｐｓ）で符号化した１５ビットＭＬＳブロックは、各チャンネルに対して、かつそれぞれ振幅値に対して、およそ１Ｍビットの格納量を必要とする。
【０１７７】
生のＭＬＳブロックは、コード化システムが提供する符号化フレームサイズで直ちには分割できない。例えば、２値の１５ビットＭＬＳは、３２７６７状態から成るが、ＭＰＥＧ I、ＤＴＳおよびＤｏｌｂｙそれぞれで利用できるのは、３８４、５１２、および１５３６サンプルの符号化フレームサイズ倍数だけである。最後と最初をつないだ連続ループで符号化ＭＬＳブロックを再生しようとすることが望ましい場合、整数個の符号化フレームがＭＬＳブロックサンプル長を正確にカバーする。これが意味することは、符号化フレームにより分割できるように、ＭＬＳの長さを調整するために最初にＭＬＳを再サンプリングする、ということである。例えば、３２７６７サンプルを再サンプリングして、３２７６８に１サンプルだけ長くすることができ、次いで、６４個の順次ＤＴＳ符号化フレームに符号化する。次いで、ＭＬＳ相互相関プロセッサは、この再サンプリングした同一波形を用いて、ＭＬＳ逆畳み込みを作用させる。
【０１７８】
事前符号化されたＭＬＳ振幅の範囲をスピーカ毎に格納しなければならないというのを回避する代替方法は、ビットストリームに組み込まれたスケール因子コードを直接操作することにより、励起オーディオ信号を搬送する符号化オーディオチャンネルと関係付けられるスケール因子ゲインを変更してから、ＡＶレシーバに送出することである。ビットストリームスケール因子の調整は、忠実度を失わずに、復号化励起波形の振幅に比例して作用する。この処理は、格納すべき事前符号化ブロックの数を１スピーカにつき単一ブロックだけに減少させることになる。この技法は、特に、前方適合性をもつＤＴＳおよびＭＰＥＧ符号化ビットストリームに適用できる。
【０１７９】
本方法の更なる変形は、事前符号化された要素からのビットストリームをコンパイルした後に、各スピーカの試験をすることに関わる。例えば、一度にアクティブになるのは１チャンネルだけなので、理論的には、単一の符号化励起オーディオチャンネルに対するビットストリーム要素を格納するだけでよいかもしれない。仮想器仮想化器が試験を行いたいスピーカ毎に、生の符号化励起データを、所望のビットストリームチャンネルのスロットに充填しなおし、他のチャンネルスロットをミュートし、そしてストリームをＡＶレシーバに出力する。この技法は、先に説明したスケール因子調整処理を用いることもできる。理論的には、全てのチャンネルおよび全ての振幅は、フルビットレートのＤＴＳストリームフォーマットの場合、単一の１Ｍビットファイルだけで表すことができる。
【０１８０】
ＭＬＳは可能性のある一励起信号であるが、スピーカへのアクセスを単純にするために、業界標準のマルチチャンネル符号器、または事前予め符号化されたビットストリームを用いて、励起信号をリモートの復号器に送る方法は、インパルスおよび正弦波等の他の形式の励起波形にも等しく適用可能である。
個人化測定中の頭部安定化
【０１８１】
ＭＬＳに基づく取得処理中の、背景ノイズおよび頭部動きは、ともに、得られる個人化室内インパルス応答（ＰＲＩＲ）の精度を低下させるよう作用する。背景ノイズは、インパルス応答データの広帯域の信号対ノイズ比に直接影響するが、そのノイズはＭＬＳと相関を持たないので、相互相関処理から抽出した各インパルス応答に重畳されているランダムノイズに見える。ＭＬＳ測定を繰り返すことにより、かつインパルス応答の平均をとることにより、ランダムノイズはインパルス自体のレートの半分になるので、新規測定をする度に、インパルスの信号対ノイズ比を容易に改善できる。他方、各マイクロフォンが収音するＭＬＳ波形の時間を不鮮明にする頭部の動きは、ランダムではなく、頭部動きの平均値と相関がある。
【０１８２】
不鮮明さの影響は、平均化インパルスの信号対ノイズ比を低下させ、特に高い周波数領域で応答を変化させる。この意味は、直接介入がなければ、頭部が動いた結果、平均した値が失った高い周波数が、完全に回復することは決してないということである。個人化処理に慣れた対象者を使って、本発明者が行った実験が示すところでは、無意識の頭部の動きは、マイクロフォンと励起スピーカとの間の経路長変化を招き、平均値はずっと小さいが、最大で約＋/−３ｍｍ変化した。４８ｋＨｚサンプリングレートでは、これはおよそサンプリング周期の＋/−半分に相当する。実際には、未経験の対象者で測定した頭部の動きは、かなり大きくなることがある。
【０１８３】
測定中に何らかの形式の頭部サポート、例えば、首の支え、または顎の支持体、を用いることは可能であるが、支持体自体がインパルス応答測定に影響する可能性があるので、支持せずに個人化測定を行うことが好ましい。分析の結果、著しい頭部の動きは主として呼吸動作および血液循環により起きるので、比較的低い周波数であり、容易に追跡できる。
【０１８４】
本明細書で開示するのは、頭部の動きが存在している際に取得したインパルス応答の精度を改良するために開発した幾つかの代替方法である。第１の方法は、頭部の動きにより起きた、左右の耳のマイクロフォンから出力される実際に録音したＭＬＳ波形の変動を、識別することに関わる。この処理の利点は、手順を実施するのに、パイロットまたは基準信号を何も必要としない、ということにあるが、不利なことは、変動を測定するのに必要な処理が、徹底したものになるか、および／またはリアルタイムで格納するＭＬＳ信号が必要となり、かつその処理がオフラインで行われる、ということである。解析は、ＭＬＳのブロック毎に行われ、時間または周波数に基づく相互相関尺度を用いて、入力されてくるブロック波形間の類似性のレベルを確定する。互いに類似していると考えられるブロックを、ＭＬＳ相互相関により処理するために保持しておく。許容限界を越えるものは破棄する。相関尺度は、ブロック波形の移動平均を用いることができ、または何らかの種類の中央値尺度を用いることができ、または全てのＭＬＳブロックは、他の全てと相互相関をとることができ、最も類似したものをインパルスに変換するために保持する。
【０１８５】
当該技術で周知の多くの代替の相関技法が、この選択処理を推進するのに等しく適用できる。ＭＬＳ時間波形を解析しない別の方法は、巡回型相互相関の段から出力されて得られたインパルス応答間の相関を解析し、所望の頭部位置と関係付けられる何らかの公称インパルス応答と十分類似していると思われるインパルス応答だけを、移動平均に加えることに関わる。選択処理は、ＭＬＳ波形ブロックについて説明したばかりのものと類似の方法で達成できる。例えば、相互相関尺度は、個々のインパルス応答毎に、他の全てのインパルスに対して行うことができる。この尺度が、応答間の類似性を示すことになる。上記したように、本処理に適用可能であろうインパルス間の類似性を測定する多くの方法が存在している。他の全てのインパルスに対する相関を十分に示さないインパルスは破棄する。残ったインパルスを互いに加算して平均インパルス応答を形成する。計算負荷を減少させるために、各インパルス応答の選択した部分、例えばインパルス応答の初期部分、に対する相互相関を測定し、これらの簡便な測定を用いて選択処理を推進すれば十分なこともある。
【０１８６】
第２の方法は、ＭＬＳ取得が進行している間に頭部の動きを測定する何らかの形式の頭部追跡器を用いることに関わる。頭部の動きは、左右の耳に取り付けたマイクロフォンと協調動作する頭部に装着した追跡器、例えば、磁気式、ジャイロスコープ式、もしくは光式検出器を用いて測定でき、または対象者の頭部に向けたカメラを用いて測定できる。このような形式の頭部追跡装置は、当該技術では周知である。ＭＬＳブロックまたは説明したばかりのインパルス応答選択手順を推進するために、頭部の動きの読み取り値をＭＬＳプロセッサ９７に送る。ＭＬＳ記録と併せて頭部追跡器データを記録することによるオフライン処理も可能である。
【０１８７】
第３の方法は、ＭＬＳと同時にスピーカから出力する、音響的な頭部追跡器として作用するパイロットまたは基準信号を送出することに関する。パイロットは、ＭＬＳを配送するために用いる同一スピーカから、または第２スピーカから出力できる。従来の頭部追跡法に対する本パイロット法の利点は、特に、同一スピーカを用いて、ＭＬＳおよびパイロット信号の両方を駆動する場合、測定する頭部の動きが左右の耳のマイクロフォン信号にどのように影響しているかを評価するのに、頭部に対するＭＬＳスピーカの位置に関する追加情報が不要だという点にある。例えば、対象者の左側のスピーカから直接駆動されるＭＬＳは、対象者頭部の正面のスピーカが放射するＭＬＳより、頭部の動きにずっと鈍感である。従って、頭部追跡型仮想器仮想化器は、ＭＬＳ信号が頭部に入射する角度を知る必要がある。パイロットおよびＭＬＳは同一スピーカからくるので、頭部の動きは両方の信号に同一影響を与える。
【０１８８】
本パイロット法の別の利点は、同一マイクロフォンがＭＬＳおよびパイロット信号の両方を同時に取得するので、頭部の動きを測定するのに追加の装置が不要であるという点にある。従って、最も簡単な形式では、本パイロットトーン法は、入ってくるＭＬＳ信号を最も簡単な方法で解析し、記録を取得しながら適切な対策をリアルタイムで取ることができる。図２４にパイロットトーン実施を示す。ＭＬＳ９８を、ローパスフィルタ処理し１３５、パイロット１３４と加算し、スピーカに出力する１０３。マイクロフォン出力８６ａおよび８６ｂを増幅する９６。ＭＬＳおよびパイロットトーンは、記録された波形にともに現れるので、ＭＬＳおよびトーン成分を分離するために、各マイクロフォン信号を、ローパスフィルタ１３５、およびそれと相補的なハイパスフィルタ１３６にそれぞれ通す。２つのＭＬＳ用ローパスフィルタ１３５の特性は、一致しているのが普通である。
【０１８９】
左耳および右耳のマイクロフォンで収音され、ハイパスフィルタ処理されたパイロットトーンをオーバーサンプリングし、両方の相対的な位相、すなわち個々の絶対位相の変動を解析１３７することにより、ｍｍ単位の頭部の動きが容易に検出される。この情報を用いて、上記のパイロットトーンを用いない手法を用いて説明したように、ＭＬＳ波形ブロックまたは得られたインパルス応答のいずれかの適合性に関連する選択処理を推進できる。さらに、パイロットトーンの解析は、頭部の動きと逆作用させるためにＭＬＳ録音信号を時間的に伸長または圧縮する試みの方法も可能にする。この方法を、左耳マイクロフォンで録音したＭＬＳ信号について図２５に示す。本処理は、信号がマイクロフォンから到着した時に、リアルタイムで行うか、または録音が完了した後でオフラインで処理するために、合成ＭＬＳトーン信号を測定中に格納できる。
【０１９０】
波形タイミング変更は、マイクロフォンから到着するＭＬＳ波形１４１をオーバーサンプリングし、遅延量が基準トーン１４６の位相解析により決定される可変遅延バッファ１４２を実装することにより達成できる。ＭＬＳ時間波形を伸長または圧縮する作用が、それ自体で、ＭＬＳ信号に著しいレベルの歪みをもたらさないことを確実にするために、高次オーバーサンプリング１４１とするのが望ましい。この歪みは、後続のインパルス応答で誤差と見なされることになる。本明細書で説明する可変遅延バッファ１４２技法は、当該技術で周知である。オーバーサンプリングしたＭＬＳ、ならびに左耳および右耳のパイロットトーンがともに時間整列したままでいるのを確実にするために、パイロットおよびＭＳＬ信号の両方に対して、同一のオーバーサンプリングアンチエイリアスフィルタを用いることが好ましい。オーバーサンプリングしたパイロットトーンの位相解析１４６を用いて、可変バッファ出力とアドレスポインタ１４５を実装する。入力に対してポインタ出力位置を変更するアクションにより、ＭＬＳサンプルがバッファ１４２を通過する実効的な遅延を変更する。バッファから読み出されるサンプルはダウンサンプリングされ１４３、インパルス応答に変換するために通常のＭＬＳ相互相関プロセッサ９７に入力される。
【０１９１】
ＭＬＳ波形の伸長−圧縮処理も、頭部追跡器信号を用いて、オーバーサンプリングしたバッファ出力ポインタ位置を駆動する。この場合、追跡装置が検出した頭部の動きの結果として生じることになるＭＬＳスピーカと、左耳および右耳マイクロフォンとの間の経路長の変化を推定するために、ＭＬＳスピーカ位置に対する頭部位置を知る、または推定する必要がある。
ヘッドフォン等化（イコライゼーション）
【０１９２】
個人化処理は、スピーカから耳に取り付けたマイクロフォンまでの伝達関数を測定するのを求める。得られたＰＲＩＲとともに、この伝達関数を用いてオーディオ信号をフィルタ処理または仮想化できる。これらのフィルタ処理したオーディオ信号を、変換して音に戻し、元の測定を取得したマイクロフォン配置場所に近い耳腔内へ到達させることができる場合、対象者は音がスピーカからくるように知覚する。ヘッドフォンは、耳の近傍でこの音を再生する有用な方法であるが、全てのヘッドフォンは、それ自体の付加的な何らかのフィルタ特性を有する。すなわち、ヘッドフォンから耳までの伝達関数は平坦ではなく、この付加的なフィルタ特性を補償、すなわち等化して、仮想スピーカの忠実度を実スピーカの忠実度にできるだけ確実に一致させる。
【０１９３】
本発明の一実施の形態では、ＰＲＩＲ測定との関連で先に説明したように、ＭＬＳの逆畳み込み技法を用いて、スピーカ〜耳装着マイクロフォン間のインパルス応答の測定を一回行う。次に、このインパルス応答を逆変換して、ヘッドフォン等化フィルタとして用いる。仮想器仮想化器の出力で存在するヘッドフォンオーディオ信号をこの等化フィルタで畳み込むことにより、ヘッドフォン〜耳間の伝達関数の影響は効果的に打ち消され、つまり等化されて、信号は平坦な応答でマイクロフォン収音点に到着する。耳毎に別々に逆フィルタを計算することが好ましいが、左右の耳の応答を平均化することもできる。逆フィルタを一旦計算すると、仮想器仮想化器信号チェーンに沿うどこかに、例えば出力に、配置した別体のリアルタイム等化フィルタとして実装できる。代替として、これらを用いてＰＲＩＲ補間器が用いる時間整列したＰＲＩＲデータセットをプリエンファシスできる。すなわち、仮想器仮想化器の初期化中に、ＰＲＩＲをフィルタ処理するために、一回限りで用いる。
【０１９４】
図２２は、耳に装着したマイクロフォン８７の設置を、対象者７９上のヘッドフォン８０の取り付けと併せて示す。同じことを両耳に適用する。個人化測定に対するのと同じ方法で、かつほぼ同じ場所に、外耳道２０９内にマイクロフォンを装着する。最高の精度を実際に確保するために、個人化測定が完了したした後、左耳および右耳の両マイクロフォンが両耳内に残ったまま、ヘッドフォン等化測定を直ちに行うことが好ましい。図２２では、マイクロフォンケーブル８６がヘッドフォンクッション８０ａの直ぐ下を通らなければならず、良好なヘッドフォン〜頭部の封止を維持するため、これらのケーブルはフレキシブルかつ軽量とすべきである。ヘッドフォン変換器２１３はヘッドフォンケーブル７８を経由してＭＬＳ信号により駆動される。
【０１９５】
図３５は、個人化処理回路構成のをヘッドフォンのＭＬＳ等化測定にへの適用する例を示す。ＭＬＳ生成９８、ゲイン設定１０１および４、マイクロフォン増幅９６、デジタル化９９、相互相関９７およびインパルス平均処理は、個人化測定に対して用いたものと同一である。しかし、スケール化したＭＬＳ信号１０３はスピーカを駆動せず、ヘッドフォン変換器を駆動するためにステレオヘッドフォン出力回路７２に出力先を変更する。ＭＬＳ測定は、左耳および右耳の両方のヘッドフォン変換器について別々に行って、同時に行った場合に両者間で発生する可能性があるクロストークを避ける。図は、左耳８７ａおよび右耳８７ｂに装着したマイクロフォンを有する対象者７９を示す。マイクロフォン信号８６ａおよび８６ｂはそれぞれ、マイクロフォンアンプ９６に接続する。対象者は、左耳変換器がケーブル７８ａを経由して左ヘッドフォン出力８０ａにより駆動され、右耳変換器がケーブル７８ｂを経由して右ヘッドフォン出力により駆動されるステレオヘッドフォンも装着している。
【０１９６】
一実施の形態では、ヘッドフォン〜マイクロフォンのインパルス応答を取得するための手順は以下のようになる。最初に、ヘッドフォンに送るＭＬＳ信号のゲイン１０１を、個人化測定に対して説明したのと同一の繰り返し手法を用いて、マイクロフォンにより収音される信号の振幅を解析することにより決定する。ゲインは、左耳および右耳の両方の回路に対して別々に測定する。最小ゲインのスケール因子１０１を保持し、両方のＭＬＳ測定のために用いる。これにより、左耳と右耳のインパルス応答間の振幅差が確実に保持される。但し、左耳もしくは右耳のヘッドフォン変換器またはヘッドフォン駆動ゲインの何らかの差は、本測定の精度を低下させることになる。次いで、ＭＬＳ試験を始めるが、左耳から開始し、続いて右耳に移る。ＭＬＳをヘッドフォン変換器に出力し、リアルタイムでそれぞれのマイクロフォンにより収音する。個人化手順と同様に、デジタル化マイクロフォン信号９９は、利用可能な処理パワーに応じて後で処理するために格納でき、または、相互相関およびインパルス平均化をリアルタイムで進めることができる。完了すると、左耳および右耳の両インパルス応答を時間整列し、逆変換のために、仮想器仮想化器１２２に転送する１１７。時間整列は、ヘッドフォンの変換器〜耳間の経路長を頭部の両側について確実に対称とする。整列処理は、ＰＲＩＲについて説明したのと同一の方法を進めることができる。
【０１９７】
ヘッドフォン〜耳のインパルス応答は、当該技術で周知の幾つかの逆フィルタ技法を用いて逆変換できる。最も分かり易い手法で、実施の形態で用いられるものは、インパルスを周波数領域に変換し、位相情報を除去し、周波数成分の絶対値振幅を逆変換して、時間領域に変換して戻すと、線形位相の逆インパルス応答が得られる。元の応答をスムージング処理、つまり特定周波数でディザを加える処理を行い、逆変換計算中に極点と零点の影響を軽減するのが典型的である。逆変換処理は、別のインパルス応答上で行うことが多いが、２つのインパルス応答間の相対ゲインを正しく、確実に逆変換することが重要である。これは、スペクトルのスムージング作用により複雑化するので、低い周波数の振幅を再校正して、問題の周波数について左右の逆変換バランスを確実に保持する必要がある。
【０１９８】
逆変換フィルタは、ＭＬＳを駆動するのに用いるヘッドフォンの種類、およびそれを装着する特定個人に対して最適化されるので、その係数は、ヘッドフォンのメーカーおよび型名、ならびに試験に関わる人のメモを記載するある種の情報とともに格納するのが典型的である。更に、マイクロフォンの位置は個人化測定のセッションで用いられたかもしれず、この関係の関連情報も後で検索するために格納できる。
スピーカの等化（イコライゼーション）
【０１９９】
本発明の実施の形態は、スピーカとマイクロフォンとの間の伝達関数を測定し、その伝達関数を逆変換するための装置を組み込んでいるので、この実施の形態を拡張するのに役立てるために、実スピーカの周波数応答を測定し、逆フィルタを生成し、このフィルタを用いて実スピーカの忠実度に対して仮想スピーカの見かけの忠実度を改良できるように仮想スピーカ信号を等化する手段を提供する。
【０２００】
仮想スピーカを等化することにより、ヘッドフォンシステムを実スピーカの音の忠実度と一致させようとするのではなく、代わりに、聴取者に対する空間の広がりを保持しながら忠実度を改良するのを試みる。この処理は、例えば、スピーカの品質が低く、周波数範囲を改良したい場合に有用である。等化法は、性能が良くないと思われるスピーカだけに適用してもよく、全ての仮想スピーカに定常的に適用してもよい。
【０２０１】
個人化ＰＲＩＲの伝達関数とほぼ同じ方法で、スピーカからマイクロフォンまでの伝達関数を測定できる。この用途では、マイクロフォンを１個だけ用いるが、このマイクロフォンは、耳に取り付けず、聴取者の頭部が映画を観るか、音楽を聴く間に占めるであろう場所の近くの自由空間に配置する。マイクロフォンは、ＭＳＬ測定を行っている間、頭部高さに固定できるように、何らかの形式のスタンドに取り付けたブームに固定するのが典型的であろう。
【０２０２】
ＭＬＳ測定処理は、個人化法のように、最初にＭＳＬ信号を受けるスピーカを選択する。次いで、このスピーカに出力されるＭＬＳ信号を適切にレベル設定するのに必要なスケール因子を確定し、先の個人化法と同様の方法で、インパルス応答取得に進む。ＰＲＩＲの場合、引き延ばされた室内残響応答の末尾は、直接インパルスとともに保持して、オーディオ信号を畳み込むのに用いた。しかし、この場合は、逆フィルタを計算するのに用いるのは、インパルス応答の直接部分だけである。直接部分は、インパルスのオンセットに続く約１〜１０ｍｓの期間を通常カバーし、何らかの大きな室内反射以前に、マイクロフォンに到達する入射音波の部分を表す。従って、ＭＬＳが導く生のインパルス応答を切り詰めて、ヘッドフォン等化手順で説明した逆変換手順に適用する。ヘッドフォン等化と同様に、周波数応答をスムージングして、強い極点および零点の影響を軽減することが望ましいかもしれない。上記したヘッドフォンの場合と同様に、特別に注意を払って、仮想スピーカ相互のバランスが、逆変換処理により変化しないのを確実にすべきであり、これらの値を再校正した後に、逆フィルタ処理を終了させる必要があろう。
【０２０３】
仮想的なスピーカ等化フィルタを、個々のスピーカ毎に計算でき、または全ての仮想スピーカもしくはその組合せについて、数多くのスピーカの何らかの平均を用いることができる。仮想スピーカ等化フィルタ処理は、仮想器仮想化器の入力、または仮想器仮想化器出力、またはこれらの仮想スピーカと関係付けられる時間整列したＰＲＩＲ（任意の所望するヘッドフォン等化と併せて）の一回限りのプリエンファシスを通じて、リアルタイムフィルタを用いて実装できる。
サブバンドの仮想化
【０２０４】
ヘッドフォン仮想化処理の実施の形態の一特長は、実スピーカ信号の送りを表す、入ってくるオーディオ信号を、個人化室内インパルス応答（ＰＲＩＲ）によりフィルタ処理する、つまり畳み込むことである。仮想化すべきスピーカ毎に、対応する入力信号を、左耳および右耳の両ＰＲＩＲにより畳み込む必要があり、それにより、左耳および右耳のステレオヘッドフォンの送り信号が与えられる。例えば、多くの用途では、６本スピーカのヘッドフォン仮想器仮想化器は、同時に、かつリアルタイムで、１２回の畳み込み処理を実行することになる。典型的なリビングルームは、約０．３秒の残響時間を示す。この意味は、４８ｋＨｚのサンプリング周波数で、理想的には、各ＰＲＩＲは少なくとも１４０００サンプルを含む、ということである。単純な時間領域の非巡回フィルタ（ＦＩＲ）を実装する６本スピーカシステムでは、１秒あたりの畳み込みの乗算／累積動作の回数は、１４０００×４８０００×２×６、つまり８．０６４×１０億回／秒の演算となる。
【０２０５】
この演算要件は、現在周知のあらゆる低価格デジタル信号プロセッサを超えているので、リアルタイムの仮想化畳み込み処理を実施するための、もっと効率的な方法を工夫する必要がある。ＦＦＴ畳み込みの原理に基づくこのような幾つかの実装、例えば、Gardner W.G. の「入力〜出力の遅延がない効率的畳み込み」、J.Audio Eng. Soc., vol. 43 No.3, Mar. 1995、に記載されているような実装が当該技術には存在する。ＦＦＴ畳み込みの欠点の一つは、必要とされる高い周波数分解能に起因する処理の暗黙の待ち時間、つまり遅延があるということである。特に、聴取者頭部の動きを追跡する必要がある場合、および仮想音源がそのような頭部の動きに逆作用するよう回転を戻すために、畳み込み器が用いるＰＲＩＲデータを修正する何らかの変更に対しては、大きな待ち時間は通常好ましくない。定義により、畳み込み処理が大きな待ち時間をもつ場合、同一の待ち時間が回転を戻す適合ループ内に現れ、頭部を動かしている聴取者と、補正される仮想スピーカとの間に、知覚できる時間遅れが生じることになる。
【０２０６】
本明細書で開示するのは、サブバンドフィルタバンクを用いて、周波数領域のサブバンド畳み込み器を実装する効率的な畳み込み方法である。サブバンドフィルタバンクは当該技術で周知であるので、その実装法については詳細な説明をしない。本方法は、高い信号忠実度レベルおよび短い処理待ち時間を維持しつつ、演算負荷を著しく低減する。中程度のサブバンドフィルタバンクは、比較的低い待ち時間、通常１０ｍｓの範囲、を示すが、その結果として低い周波数分解能を示す。サブバンドフィルタバンクの低い周波数分解能は、サブバンド間漏洩として顕在化し、従来のクリティカルサンプリングをする設計では、信号忠実度を維持するためにエイリアス打ち消しに大きく依存することになる。しかし、定義により、サブバンド畳み込みは、サブバンド間の振幅の大きなシフトの原因となり、その結果、オーバーラップ領域のエイリアス打ち消しで完全なブレークダウンを生じ、それにより合成フィルタバンクの再構築特性の有害な変化を生じることがある。
【０２０７】
しかし、このエイリアスの問題は、オーバーラップ部分の近傍での信号漏洩の折り返しを回避する、オーバーサンプリングサブバンドフィルタバンクとして知られる種類のフィルタバンクを用いることにより、緩和できる。オーバーサンプリングフィルタバンクは幾つかの欠点を示す。最初に、サブバンドサンプリングレートは、定義により、クリティカルサンプリングを行う場合より高いので、演算負荷は、比例して高くなる。第２に、より高いサンプリングレートが意味することは、サブバンドＰＲＩＲファイルも比例的に多いサンプルをも含む、ということである。よって、サブバンド畳み込み演算量は、クリティカルサンプリングをする方法と比較してオーバーサンプリングの因子の二乗で増加する。オーバーサンプリングサブバンドフィルタバンク理論も当該技術で周知である（例えば、Vaidyanatham, P.P., 「マルチレートシステムおよびフィルタバンク」、Signal processing series, Prentice Hall, Jan. 1992を参照）ので、畳み込み法を理解する上で特有な詳細だけを説明する。
【０２０８】
サブバンド仮想化は、畳み込み、つまりフィルタ処理、をフィルタバンクサブバンド内で独立動作させる処理である。一実施の形態では、これを達成するステップは：
１）ＰＲＩＲサンプルをサブバンド解析フィルタバンクに一回だけ通過させ、より小さいサブバンドＰＲＩＲのセットを得る；
２）同一の解析フィルタバンクを用いて、オーディオ信号をサブバンドに分割する；
３）それぞれのサブバンドＰＲＩＲを用いて、対応するオーディオサブバンド信号をフィルタ処理する；
４）フィルタ処理したオーディオサブバンド信号を、合成フィルタバンクを用いて時間領域に再構築して戻す；
を含む。
【０２０９】
フィルタバンクに用いるサブバンドの個数によって、サブバンド畳み込みは、著しく少ない演算負荷を有する。例えば、２バンドのクリティカルサンプリングをするフィルタバンクは、４８ｋＨｚサンプリングオーディオ信号を、それぞれ２４ｋＨｚサンプリングの２つのサブバンドに分割する。同じフィルタバンクを用いて、１４０００サンプルのＰＲＩＲを、それぞれ７０００サンプルの２つのサブバンドＰＲＩＲに分割する。上記の例を用いると、演算負荷は、今度は、７０００×２４０００×２×２×６、つまり４．０３２×１０億回の演算となり、すなわち、２の因子分だけ減少する。従って、クリティカルサンプリングをするフィルタバンクでは、減少因子は、単純にサブバンドの数と等しくなる。オーバーサンプリングフィルタバンクでは、サブバンド畳み込みゲインは、クリティカルサンプリングをするサブバンド畳み込みと比較して、オーバーサンプリング比の二乗だけ減少する。すなわち、２倍オーバーサンプリングでは、８バンド以上のフィルタバンクだけが、単純な時間領域畳み込みに対して減少をもたらす。オーバーサンプリングしたフィルタバンクは、整数倍のオーバーサンプリング因子に限定されず、１．４倍の領域のオーバーサンプリング因子、すなわち、２倍フィルタバンク上での演算量の改良は約２．０倍、を用いて高い信号忠実度を生み出すことができるのが典型的である。
【０２１０】
非整数のオーバーサンプリングの利点は、演算負荷だけに限らない。低いオーバーサンプリングレートはサブバンドＰＲＩＲファイルのサイズを低下させ、次いで、これはＰＲＩＲ補間演算負荷を減少させる。非整数のオーバーサンプリングフィルタバンクの最も効率的な実装は、実数〜複素数〜実数の信号の流れを用いて実装されることが多く、この意味は、サブバンド信号は、実数ではなく複素数（実数と虚数）となるということである。この場合、複素数の畳み込みを用いてサブバンドＰＲＩＲフィルタ処理を実装し、特定のデジタル信号プロセッサのアーキテクチャにおいては、実装が実数計算と比較すると効率的でないかもしれない複素数の乗算および加算を必要とする。この種の非整数オーバーサンプリングフィルタバンクは、当該技術で周知である（例えば、Cvetkovi Z., Vetterli M., 「オーバーサンプリングフィルタバンク」、IEEE Trans. Signal Processing, vol. 46, No.5, at 1245-55 (May 1998)を参照）。
【０２１１】
サブバンド仮想化の方法を図１９に示す。最初に、解析フィルタバンク２６を用いて、ＰＲＩＲデータファイルを幾つかのサブバンドに分割し、個々のサブバンドＰＲＩＲファイル２８をサブバンド畳み込み器３０で用いるために格納する３１。次いで、入力オーディオ信号を同様の解析フィルタバンク２６を用いて分割し、それぞれのサブバンドＰＲＩＲで全てのオーディオサブバンドをフィルタ処理するサブバンド畳み込み器３０に、サブバンドオーディオ信号を入力する。次いで、サブバンド畳み込み器出力２９を、合成フィルタバンク２７を用いて再構築して、フルバンド時間領域仮想化オーディオ信号を出力する。
【０２１２】
当該技術に既存のプロトタイプローパスフィルタは、再構築の振幅リップルが最小になるように、かつ、クリティカルサンプリングのフィルタバンクの場合は、エイリアス打ち消しを最大化するように、サブバンド通過、遷移、および遮断バンドの応答を制御するように設計されている。サブバンドがオーバーラップしている周波数で３ｄＢ減衰を示すように設計されているのが基本である。結果として、解析フィルタおよび合成フィルタは、通過帯域から６ｄＢ低い遷移周波数となるように組合せる。合算すると、サブバンドのオーバーラップ領域は０ｄＢとなり、全通過帯域で最終的な信号にリップルが事実上なくなる。しかし、合成フィルタバンクの前で、一つのサブバンドを別のサブバンドにより畳み込む作用は、３ｄＢのピークをもつオーバーラップリップルをもたらす。なぜなら、オーディオ信号が２回ではなく３回、プロトタイプを事実上通過しているからである。
【０２１３】
図１４ａは、再構築における、任意の２つの隣接サブバンドの間に通常発生するリップル１６０の例を示す。オーバーラップ周波数、つまり遷移周波数１５８は、最大減衰と一致し、プロトタイプフィルタの仕様に依存し、−３ｄＢの範囲内にある。遷移１５７および１５９の何れの側でも、リップルは対称に０ｄＢに減少する。これらの点の間の帯域幅は、２００〜３００Ｈｚの範囲内にあるのが典型的である。例示に過ぎないが、図１４ｂは、８帯域サブバンド畳み込み器を通過した再構築オーディオ信号内に生じるかもしれないリップルを示す。
【０２１４】
このリップル１６０を除去し、平坦な応答１６０ａを回復する幾つかの方法を本明細書で開示する。最初に、このリップルは純粋な振幅歪みなので、周波数応答がリップルの逆特性であるＦＩＲフィルタに再構築信号を通過させることにより等化できる。フィルタバンクの前で、同じ逆フィルタを用いて、入力信号またはＰＲＩＲ自体を事前にエンファシスできる。第２に、ＰＲＩＲファイルを分割するのに用いる解析プロトタイプフィルタを修正して、遷移点の減衰を０ｄＢに減少させることができる。第３に、２ｄＢの遷移点減衰をもつプロトタイプフィルタを、オーディオおよびＰＲＩＲの両フィルタバンクに対して設計し、組合せたときに６ｄＢ減衰を与えることができる。第４に、畳み込みの段の前、または後で、適切な逆応答をもつサブバンドＦＩＲフィルタを用いて、サブバンド信号自体をフィルタ処理できる。システム全体の待ち時間増加を避けることができるので、プロトタイプフィルタを再設計するのが好ましいかもしれない。言うまでもなく、本発明の精神および範囲を逸脱することなく、幾つかの方法でリップル歪みを等化できる。
【０２１５】
図３６は、単一の個人化頭部追跡型仮想化チャンネルを形成するのに必要な、ＰＲＩＲ補間を有する基本的なサブバンド仮想器仮想化器と、可変遅延バッファとを組合せるのに必要なステップを示す。オーディオ信号が、信号を幾つかのサブバンド信号に分割する解析フィルタバンク２６に入力される。サブバンド信号を、２つの別々のサブバンド畳み込み処理、左耳ヘッドフォン信号３５の処理と、右耳ヘッドフォン信号３６の処理とに入力する。それぞれの畳み込み処理は類似した方法で作用する。頭部追跡器角度情報１０、１１、および１２が駆動する内部サブバンドＰＲＩＲ補間器の選択に従って、サブバンドの時間整列した左耳ＰＲＩＲファイル１６それぞれによりサブバンドオーディオ信号を基本的にフィルタ処理する個々のサブバンド畳み込み器３４に、左耳畳み込みブロック３６に入るサブバンド信号を加える。
【０２１６】
サブバンド畳み込み器３４の出力を合成フィルタバンク２７に入力し、フルバンドの時間領域左耳信号に再結合して戻す。この処理は、別々のサブバンドオーディオ信号を畳み込むために用いる右耳サブバンド時間整列ＰＲＩＲ１６であることを除けば、右耳サブバンド畳み込み３６に対するものと同一である。次いで、仮想化した左耳および右耳の信号を可変遅延バッファ１７に通す。各バッファの経路長を動的に調整して、頭部追跡器が示す頭部の特定の向きに対して、ＰＲＩＲデータセットと関係付けられる仮想スピーカと一致する実音源について存在する両耳間時間遅延をシミュレートする。
【０２１７】
図１６は、実施例として、３つの水平頭部位置について測定したＰＲＩＲを用いるサブバンド補間ブロック１６の働きを更に詳細に示す。補間係数６、７および８は、頭部追跡器角度情報１０、基準頭部の向き１２、および仮想スピーカオフセット１１の解析９によりで生成される。別々の補間ブロック１５がサブバンドＰＲＩＲ毎に存在し、その動作は、ＰＲＩＲデータがサブバンド領域であることを除けば、図１５のものと同一である。全ての補間ブロック１５（図１６）は、同一の補間係数を用い、補間したサブバンドＰＲＩＲデータは、サブバンド畳み込み器に出力する１４。
【０２１８】
図３８は、図３６の方法を拡張して、もっと多い仮想スピーカチャンネルを含める方法を示す。簡単にするために、サブバンド信号パスを一本の太線２８として結合し、頭部追跡信号パスは図示しない。各オーディオ信号をサブバンド２６に分割し、対応するサブバンド信号を左耳および右耳の畳み込み器３５および３６に通す。その出力をフルバンド信号に再結合２７し、適切な両耳間遅延に影響を与えるよう可変遅延バッファ１７に渡す。全ての左耳および右耳信号に対するバッファ出力４０を別々に加算して５、左耳および右耳のヘッドフォン信号をそれぞれ生成する。
【０２１９】
図３７は図３６の実装の変形を示し、合成フィルタバンク２７の前に、サブバンド毎に可変遅延バッファ２３を実装する。このサブバンド可変遅延バッファ２３を図１８に示す。各サブバンド信号を、それ自体に別々のオーバーサンプリングした遅延プロセッサ１７ａに入力する。そのプロセッサの動作は、図１７に示すものと同一である。サブバンドとフルバンドの遅延バッファ実装の差は、同一性能では、フィルタバンクサブバンドの縮小因子だけ、オーバーサンプリング因子を下げることができる、ということにすぎない。例えば、サブバンドサンプリングレートが、入力オーディオサンプリングレートの１／４である場合、可変バッファのオーバーサンプリングレートは因子４だけ下げることができる。これは、オーバーサンプリングＦＩＲのサイズ、および遅延バッファの同様な低下をももたらす。図１８は、全てのサブバンド遅延バッファに加える共通出力バッファアドレス２０も示し、同一オーディオ信号内の全てのサブバンドは同一遅延を示すはずであるということを反映している。
【０２２０】
図３７に示すように、可変遅延バッファをサブバンド領域で実装する場合、サブバンド領域の左耳および右耳の信号を加算して、それぞれに対して単一の合成段階だけを用いてこれらを再構築することにより、実装効率の改良を行うことができる。図３９はその手法を示す。上記と同様、簡単にするために、サブバンド信号パスを一本の太線２８および２９で表し、頭部追跡器情報パスは図示しない。それぞれ入力信号をサブバンド２８に分割し２６、個々のサブバンドをそれぞれ畳み込み、サブバンド可変遅延バッファ３７および３８に加える。それぞれのバッファから出力された、全てのチャンネルに対する、左耳および右耳のサブバンド信号を、サブバンド加算器３９で加算してから、合成フィルタバンク２７を用いてフルバンド信号に再構築して戻す。左耳および右耳のサブバンド加算器３９は、以下の式に基づいて、それぞれの仮想化オーディオチャンネルからの個々のサブバンドについて動作する：
subL[i] = subL1[i] + subL2[i] + ... subLn[i]    （式３２）
subR[i] = subR1[i] + subR2[i] + ... subRn[i]    （式３３）
ｉ＝１〜フィルタバンクのサブバンドの数、ｎ＝仮想化オーディオチャンネルの数であり、subL[i]はｉ番目の左耳サブバンド、subR[i]はｉ番目の右耳サブバンドを表す。
【０２２１】
図４０は、ユーザＡおよびユーザＢの２人が同一の仮想化オーディオ信号を聴こうとしているが、自身のＰＲＩＲおよび頭部追跡信号を用いている。上記と同様、これら信号は簡単にするために削除してある。この場合、同一のオーディオサブバンド信号２８が、両ユーザの左耳および右耳の畳み込みプロセッサ３７および３８に利用可能なので演算量が節減され、この節減はユーザが何人であっても利用できる。
【０２２２】
前節では、ヘッドフォンおよびスピーカの等化フィルタ処理の方法を説明してきた。当該分野の技術者には言うまでもなく、このような方法は、上記説明のサブバンド畳み込み方法を用いる仮想器仮想化器実装に等しく適用できる。
サブバンド残響時間変動の利用
【０２２３】
本明細書で開示するサブバンド仮想化法の著しい利点は、周波数によるＰＲＩＲ残響時間の変動を利用でき、それにより、畳み込み演算負荷、ＰＲＩＲ補間演算負荷、およびＰＲＩＲ格納空間要件を更に節減できることである。例えば、代表的な室内インパルス応答は、周波数が上昇するにつれて残響時間が短くなるのを示すことが多い。この場合、ＰＲＩＲを周波数サブバンドに分割すれば、それぞれのサブバンドＰＲＩＲの実効長は、高いサブバンドで短くなるはずである。例示に過ぎないが、４バンドのクリティカルサンプリングのフィルタバンクは、１４０００サンプルのＰＲＩＲをそれぞれ３５００サンプルの４サブバンドＰＲＩＲに分割する。但し、これはサブバンド全体でＰＲＩＲ残響時間が同一である、ということを仮定している。４８ｋＨｚのサンプリングレートで、３５００、２６２５、１７５０および８７５（ここで３５００が最低周波数サブバンドに対するもの）のＰＲＩＲ長が、もっと典型的であり、高い周波数の音はリスニングルームの周囲環境に吸収され易いということを反映している。従って、より一般的には、任意のサブバンドの実効残響時間を決定でき、畳み込みおよびＰＲＩＲ長を、この時間をカバーするだけに調整できる。残響時間は測定したＰＲＩＲと関連しているので、ヘッドフォンシステムを初期化する時に、一回計算するだけで済む。
サブバンド信号マスキングスレッショールドの利用
【０２２４】
畳み込み処理に関わるサブバンドの実際の数は、畳み込みした後で、聴こえないサブバンド、または隣接サブバンド信号によりマスキングされるサブバンドを決定することにより減少させることができる。知覚ノイズまたは信号マスキングの理論は、当該技術で周知であり、対象者が知覚できない信号スペクトルの部分を識別することに関わる知覚できない理由として、スペクトルのこれらの部分の信号レベルが可聴スレッショールド未満であることや、スペクトルのこれらの部分が隣接周波数の高い信号レベル、および／または性質により聞こえないということがある。。例えば、何らかの可聴スレッショールド曲線を適用することにより、１６ｋＨｚを超えるサブバンドは、入力信号レベルに関わらず聞こえないと決定できる。この場合、この周波数を超えるサブバンドは全て、サブバンド畳み込み処理から恒久的に外すことになる。関係するサブバンドＰＲＩＲもメモリから削除できる。より一般的には、畳み込んだサブバンド全体のマスキングスレッショールドは、フレーム毎に基づいて評価でき、スレッショールド未満になると考えられるこれらのサブバンドは、解析フレームの期間中、ミュートすることになるか、または残響時間を大きく切り詰めることになる。これが意味するところは、完全に動的なマスキングスレッショールド計算は、演算負荷がフレーム毎に変化することになる、ということである。しかし、典型的な用途では、畳み込み処理は、多くのオーディオチャンネル全体で同時に実行されているので、この変動は障害とはならないと考えられる。固定した演算負荷を維持することが望まれている場合、アクティブなサブバンドの数、または、オーディオチャンネルいずれか、もしくは全てに亘る合計畳み込みタップ長、に制限を課すことができる。例えば、以下の制限を知覚的に受け入れることが可能であることを証明できる。
【０２２５】
最初に、全てのチャンネル全体に亘る畳み込みに関わるサブバンドの数を、より多い数のサブバンドに対してマスキングスレッショールドがたまに選択されるように、最高レベルで固定する。サブバンドの制限を超えることにより起きるバンド制限効果を高い周波数領域だけにするように、低い周波数のサブバンドに優先順位を設定できる。追加の優先順位を、特定のオーディオチャンネルに与え、高い周波数バンドの制限影響を、あまり重要ではないと考えられるチャンネルに限定することができる。
【０２２６】
更に、残響時間の組合せがその制限を超えるサブバンド範囲に対しては、マスキングスレッショールドがたまに選択されるように、畳み込みのタップ数を固定する。先に説明したように、低い周波数のサブバンドに優先順位を、および／または高い周波数の残響時間が優先順位の低いオーディオチャンネルでのみ短縮できるように、特定オーディオチャンネルに優先順位を設定できる。
信号またはスピーカ帯域幅における変動の利用
【０２２７】
帯域幅がサンプリングレートと比例して拡大縮小されないオーディオチャンネルまたはスピーカに対して、畳み込み処理に参加するサブバンドの数は、用途の帯域幅に一致させて恒久的に低減させることができる。例えば、多くのホームシアターエンターテイメントシステムでは一般的なサブウーハチャンネルは、約１２０Ｈｚからロールオフする動作帯域幅を有する。同じことがサブウーハのスピーカ自体にも言える。その結果、何らかの意味のある信号を含むサブバンドだけがサブバンド畳み込み処理に参加できるようにすることにより、畳み込み処理の帯域幅を制限して、オーディオチャンネルの帯域幅と一致させると、かなりの節減が達成できる。
周波数−残響時間特性の変更
【０２２８】
ヘッドフォン仮想器仮想化器のリアリズムを最大化するために、元のＰＲＩＲの周波数−残響時間特性を保持することが望ましい。しかし、この特性は、畳み込み器がサブバンドオーディオをフィルタ処理するのに用いるサブバンドＰＲＩＲサンプルの数を制限することにより、任意のサブバンドの残響時間に制約を与えることによって変更できる。この介入は、上記したように、任意の特定周波数における畳み込み器の複雑さだけを制限するよう要求されるかもしれないし、または特定周波数で仮想スピーカの知覚される残響時間を実際に低下させることが望まれる場合は、もっと積極的に適用できる。
畳み込みの複雑さと仮想スピーカ精度のトレード
【０２２９】
個人化室内インパルス応答は、３つの主なセクションから成る。第１セクションは、スピーカから発して耳装着マイクロフォンを過ぎた時のインパルス波の最初の通過を記録するインパルスオンセットである。第１セクションは、最初のインパルスオンセットを超えて約５〜１０ｍｓの間に広がるのが典型的である。オンセットに続くのは、リスニングルームの壁から反射されたインパルスの初期反射の記録である。典型的なリスニングルームでは、これは約５０ｍｓの時間間隔の範囲である。第３セクションは、後期反射、つまり室内残響、の記録であり、２００〜３００ｍｓ続くのが典型的であるが、環境の残響時間に依存する。
【０２３０】
ＰＲＩＲの残響部分が十分拡散している場合、すなわち、音が全方向から等しく来ると知覚される場合、全ての取得したＰＲＩＲの後期反射（残響）部分は類似している。残響セクションはインパルス応答全体の最大の部分を表すので、これらのセクションを融合し、対応する畳み込みを単一処理に融合することにより、著しい節減が達成できる。図５０は元の時間整列型ＰＲＩＲ２４６のセクション分離を示す。インパルスオンセットおよび初期反射２４２および後期反射２４３、つまり残響、を破線２４１で分離して示す。最初の、および初期の反射係数２４４は、主信号畳み込み器のためのＰＲＩＲを形成する。後期反射、つまり残響、の係数２４５を用いて融合した信号を畳み込む。初期係数部分２４７は元の時間遅延を維持するためにゼロとするか、または完全に削除し、固定遅延バッファを用いて遅延を再現する。
【０２３１】
例示に過ぎないが、図４９は、修正したＰＲＩＲを用いて２つの入力信号を仮想化するシステムを示す。簡単にするために、頭部追跡信号は図示しない。２つのオーディオチャンネルＩＮ １およびＩＮ ２をサブバンド２８畳み込みおよび左耳３７および右耳３８の信号に対する可変時間遅延処理を用いて仮想化する。畳み込み、遅延させたサブバンド信号を加算し３９、時間領域に変換して戻して２７、左耳および右耳のヘッドフォン信号を得る。左耳３７および右耳３８の処理内で用いたＰＲＩＲは切り詰められていて、オンセットおよび初期反射２４４（図５０）のみを含み、従って、著しく低下した演算負荷を示す。３７および３８内の頭部追跡したサブバンドＰＲＩＲ補間は、通常の方法で動作し、短くなった長さのために演算の集中も少ない。両入力チャンネル（ＣＨ１およびＣＨ２）に対するＰＲＩＲ２４５（図５０）の残響部分を加算してまとめ、レベル調整してサブバンド畳み込み器３５および３６にロードする。これらの段は、可変遅延処理がないという点で、３７および３８と異なる。両入力チャンネル２８からのサブバンド信号を加算して３９、融合した信号２４０を左耳３５および右耳３６のサブバンド畳み込み器に加える。３５および３６からのサブバンド出力をそれぞれ左耳および右耳のサブバンドとともに加算してから３９、時間領域に変換して戻す２７。
【０２３２】
頭部追跡した両耳間遅延処理は、３５および３６の残響チャンネルには効果がないので使用しない。これは、融合したオーディオ信号は、もはや単一の仮想スピーカから放射されず、どんな一遅延値も、このような合成信号に対しては最適であると考えられないからである。畳み込み器段３５および３６は、頭部追跡器が駆動する補間した残響ＰＲＩＲを用いるのが通常である。補間処理を固定し、融合した信号を一つだけの固定した残響ＰＲＩＲ、例えば、観ている頭部の公称の向きを表すＰＲＩＲ、と畳み込むことにより、更に単純化することが可能である。
【０２３３】
図４９の実施例では、ＰＲＩＲの最初のおよび初期の反射部分は、典型的には、元のＰＲＩＲを２０％だけしか表していないかもしれないし、図示した２チャンネル畳み込み実装は、３０％程度の演算節減を実現しているかもしれない。しかし、もっと多いチャンネルが、融合した残響パスを利用すると、節減はもっと大きくなるのは明らかである。例えば、５チャンネル実装は、畳み込み処理の複雑さを６０％低減するかもしれない。
事前仮想化技法技術
【０２３４】
動作の通常モードでは、本システムの実施の形態は、各仮想スピーカに特有の事前決定した幾つかのＰＲＩＲから補間した、インパルス応答データを用いてリアルタイムで入力オーディオ信号を畳み込む。補間処理は、畳み込み処理と平行して連続的に実行し、頭部追跡装置を用いて適切な補間係数およびバッファ遅延を計算し、それにより、仮想音源が、聴取者の頭部の動きがあっても固定しているように聞こえる。この動作モードの著しい欠点は、仮想器仮想化器から出力されるステレオヘッドフォン信号が、聴取者のリアルタイムの頭部位置に関連し、その特定の場合にだけ意義があるということである。その結果、ヘッドフォン信号自体は、普通は格納（つまり録音）できず、後日再現することができない。なぜなら、聴取者の頭部の動きは、録音中に発生する動きとは一致しないと考えられるからである。更に、補間および遅延差は、過去に遡ってヘッドフォン信号に加えることができないので、聴取者の頭部の動きが仮想音像の回転を戻すことはない。しかし、集中的な畳み込み処理は録音中に発生するだけであり、再生中には繰り返さなくてもよいので、事前記録録音した仮想化処理の考え方、つまり事前仮想化は、再生時の演算負荷の著しい低減を提供することになる。このような処理は、限定された再生処理パワーを有し、かつ仮想化処理をオフラインで実行する機会があり、その代わりに聴取者の頭部追跡装置の制御のもとで代わりに、事前仮想化（またはバイノーラル）信号をリアルタイム処理する機会が存在する場合、には利点となろう。
【０２３５】
事前仮想化処理の基本を、例示に過ぎないが、図４４に示す。３つの左耳時間整列型ＰＲＩＲ４２、４３および４４、ならびに３つの右耳時間整列型ＰＲＩＲ４５、４６および４７により、単一のオーディオ信号４１を畳み込む３４。本実施例では、３つの左耳および右耳のＰＲＩＲは、３つの異なる頭部の向きＡ、ＢおよびＣに対して個人化した単一スピーカと対応する。この個人化の向きの図は図２９に示す。頭部位置Ａ、ＢおよびＣに対する左耳ＰＲＩＲは、それぞれ、入力信号４１を畳み込んで、３つの別々の仮想化信号４８、４９および５０をそれぞれ生成する。更に３つの別々の仮想化信号が、右耳ＰＲＩＲを用いて右耳に対して生成される。本実施例の６つの仮想化信号は、聴取者の頭部の向きＡ、ＢおよびＣに対するヘッドフォンの左耳および右耳への送り信号を表す。これらの信号を再生装置に送ることができ、または後で再生するために格納する５１ことができる。この場合、この中間仮想化段の演算負荷は、等価の補間バージョンより３倍多い。なぜなら、単一の補間ＰＲＩＲだけでなく、３つの頭部の位置全てに対するＰＲＩＲを用いて信号を畳み込むからである。しかし、仮想化信号を格納する場合は、これをリアルタイムで行う必要はない。
【０２３６】
ユーザが、入力オーディオ信号４１の仮想化バージョンを聴くためには、３つの左耳仮想化信号５２、５３および５４を補間器５６に加える必要があり、その補間係数は、従来のＰＲＩＲ補間が動作する１０のとほとんど同じ方法で、聴取者の頭部角度１０に基づいて計算する。この場合、補間係数を用いて、サンプル期間毎に、３つの入力信号の線形組合せを出力する。右耳の仮想化信号も同じ処理を用いて補間する１０。本実施例で、頭部位置Ａに対する仮想化信号サンプルがx1(n)、仮想化頭部位置Ｂに対するサンプルがx2(n)、および仮想化頭部位置Ｃに対するサンプルがx3(n)の場合、補間したサンプルストリームx(n)は：
ｎ番目のサンプリング周期に対して
x(n) = a*x1(n)+ b*x2(n)+ c*x3(n)          （式３４）
で与えられ、ここで、ａ、ｂおよびｃは補間係数であり、その値は、式２、式３および式４に従い、頭部追跡器角度に依存して変化する。
【０２３７】
次いで、可変遅延バッファ１７に左耳補間出力５６を加えて、聴取者の頭部角度に基づいてバッファの経路長を変化させる。補間した右耳信号も可変遅延バッファを通過させ、左耳バッファと右耳バッファとの遅延差を頭部角度の変化に動的に適合させる。それにより、仮想スピーカと一致している実スピーカからヘッドフォン信号が実際に到着していれば、存在していたであろう両耳間遅延とバッファ遅延差が一致する。これらの方法は、初めの方の節で説明したものと全て同一である。補間器および可変遅延バッファはともに、仮想化信号を生み出すために用いるＰＲＩＲに特有な個人化測定の頭部角度情報を利用できるので、頭部追跡器の指示に従って適切な補間器係数およびバッファ遅延を動的に計算することが可能になる。
【０２３８】
本システムの一利点は、補間および可変遅延処理が、仮想化畳み込み段３４により要求されるものよりずっと低い演算負荷を示すということである。図４４は、３つの頭部位置に対して仮想化される単一オーディオ信号４１を示す。当該分野の技術者には言うまでもなく、この処理を拡張して、もっと多くの頭部位置、およびずっと多くの仮想化オーディオチャンネルを容易にカバーできる。更に、事前仮想化信号５１（図４４）をローカルに格納でき、またはどこかのリモートサイトに格納でき、これらの信号は、動画またはビデオ等の、関係する他のメディアストリームと同期させてユーザが再生できる。
【０２３９】
図４５は、６つの仮想化信号を符号化し、中間段階として格納装置６０に出力する５９拡張処理を示す。入力オーディオをサンプリングし４１、別の仮想化信号を生成し、それを符号化して、格納する６０処理は、全ての入力オーディオサンプリングが処理されるまで継続する。これはリアルタイムでも、リアルタイムでなくてもよい。仮想化信号を創り出すために用いるＰＲＩＲに特有の個人化測定頭部角度情報も符号化ストリームに含まれる。
【０２４０】
ある時間が経って、聴取者が、仮想化サウンドトラックを聴きたくなると、格納装置６０に保持した仮想化データを復号器５８にストリーミングし６１、個人化された測定頭部角度情報を抽出させ、６つの仮想化オーディオストリームをリアルタイムで再構築させる。再構築すると、左耳および右耳信号をそれぞれの補間器５６に加え、それらの出力を可変遅延バッファ１７に通過させて仮想両耳間遅延を再び創り出す。本実施例では、バッファ出力を処理するフィルタ段を用いてヘッドフォン等化を実施し、これらフィルタの出力を用いてステレオヘッドフォンを駆動する。上記したように、本システムの利点は、復号化、補間、バッファリングおよび等化と関係付けられる処理負荷が仮想化処理と比較して小さいことである。
【０２４１】
図４４および図４５の実施例では、事前仮想化処理は、送出するか格納すべきオーディオストリームの本数が６倍に増加する。より一般的には、ストリームの数は、仮想化すべきスピーカの本数と、補間器が用いる個人化された頭部測定の数×２との積に等しい。このような送出のビットレート、または格納装置６０に保持すべきデータファイルのサイズを低下させる一方法は、何らかの形式のオーディオビットレート圧縮、またはオーディオ符号化を符号器５７内で用いることである。復号化処理５８に、相補的なオーディオ復号化処理が常駐してオーディオストリームを再構築する。現時点で存在する高品質オーディオ符号化システムは、可聴歪みを発生させずに、１２対１までの圧縮比で動作できる。これが意味するところは、事前予め仮想化された符号化ストリームの格納要件が、元の未圧縮オーディオ信号の要件と比較すると有利、ということである。しかし、この用途では、符号化段５７に入る各種の仮想化信号間の相関度が高いために、もっと大きな圧縮効率が可能であると考えられる。
【０２４２】
図４４および図４５に示す処理は、非時間整列型の予め仮想化された事前仮想化信号間の補間が許容できると考えられる場合、根本的に単純化できる。この単純化の意味は、可変遅延処理を再生段階で完全に省けば、２つ以上のスピーカを仮想化する場合、符号化の前に左耳および右耳の信号グループを加算でき、格納したり復号化側に送出すべき信号数を減少させるということである。
【０２４３】
図４７にこの単純化を示す。２チャンネルオーディオを事前仮想化処理５５および５６に加え、それぞれを別々のスピーカＰＲＩＲを用いて仮想化する。オーディオ信号を畳み込むために用いるＰＲＩＲデータは、時間整列していないが、生のＰＲＩＲデータにある両耳間時間遅延を保持している。３つの頭部位置に対する予め仮想化された事前仮想化信号を、第２オーディオチャンネルのものと加算し、これらを、左耳および右耳補間器５６に通過させ、これらの出力がヘッドフォンを直接駆動する。再生側５１に渡す事前仮想化信号の数は固定され、ＰＲＩＲ頭部位置の数の２倍に等しく、図４５に示すシステムを実施するのに必要であろうオーディオ符号化圧縮要件を実質的に低減する。
【０２４４】
図４７は、２つのオーディオチャンネル、３つのＰＲＩＲ頭部位置への用途を示す。言うまでもなく、これは、２つ以上のＰＲＩＲ頭部位置を用いて任意の数のオーディオチャンネルをカバーするよう容易に拡張できる。この単純化の主な欠点は、ＰＲＩＲを時間整列しないことにより、聴取者頭部がＰＲＩＲ測定点間を動いた時に、ヘッドフォンオーディオ信号の特定の高い周波数を減衰させる傾向がある著しいコムフィルタ効果を、補間処理が発生することである。しかし、ユーザは、ほとんどの時間を基準の向きに近い頭部位置で仮想化スピーカ音を聴くのに費すかもしれないので、この付加効果は、平均的なユーザには深刻に受け取られないかもしれない。ヘッドフォン等化は簡明さのために図４７に示していないが、言うまでもなく、ＰＲＩＲ内に含めるか、もしくは事前仮想化処理の間に含めてもよく、またはフィルタ処理を復号化した信号に行ってもよく、もしくは再生中にヘッドフォン出力フィルタ処理を行ってもよい。
【０２４５】
図４７の個人化事前仮想化法は、左耳および右耳（バイノーラル）ヘッドフォン信号を生成する多様な方法に適用するよう範囲を拡大することができる。この拡大した形式で、幾つかの個人化バイノーラル信号を生成する技法を本方法は説明する。個人化バイノーラル信号のそれぞれは、同一の仮想スピーカ編成を表すが、仮想化データが属する個人の異なる頭部の向きに対してである。これらの信号は、例えば、送り出し、または格納を支援する何らかの方法で処理してもよいが、最終的に、頭部追跡器の制御の下で再生される際には、ヘッドフォンに送出するバイノーラル信号をこれら同一セット信号から導く。最も基本的な構成では、２つの聴取者頭部位置を表す２セットのバイノーラル信号を用いるとともに、聴取者の頭部追跡器を適切な組合せを決定する手段として用いて、リアルタイムでヘッドフォンを駆動する単一バイノーラル信号を生成する。上記したように、ヘッドフォン等化は本発明の範囲を逸脱することなく、様々な処理段階で実行できる。
【０２４６】
事前仮想化法の最終的な変形の一つを図４６に示す。リモートサーバ６４には、携帯型オーディオプレーヤ２２２を通じて再生するための顧客格納装置６０にダウンロード６６可能なセキュアオーディオ６７が収容されている。セキュアオーディオ自体が、顧客の装置にダウンロードされ、事前仮想化されているという点で、事前仮想化は図４５に示す形式をとることができる。但し、著作権侵害問題を避けるために、顧客に、ＰＲＩＲファイル６３をリモートサーバにアップロードさせ６５、サーバがオーディオ６８を事前仮想化し、仮想化オーディオ５７を符号化してから、顧客自身の格納装置６０にストリーム６６をダウンロードすることが好ましい。次いで、格納装置に保持した符号化データは、最初の方の説明と同様に、顧客のヘッドフォンを通して再生するために、復号器にストリーム化できる。ヘッドフォン等化もサーバにアップロードして事前仮想化処理に組み込むか、または図４６と同様に、プレーヤが実装６２することができる。事前仮想化および再生技法は、図４５に例示した方法、または図４７の単純化した手法（または説明したようなそれを一般化した形式）を用いることができる。
【０２４７】
この手法の利点は単に、顧客がダウンロードしたオーディオが、オーディオを顧客のＰＲＩＲで畳み込むアクションにより、効果的に個人化されている、という点にある。仮想化はＰＲＩＲを測定した人以外の聴取者には余り効果がないことから、そのオーディオには著作権侵害行為は行われそうにもない。さらに、ＰＲＩＲ畳み込み処理は、逆変換が困難であり、セキュアなマルチチャンネルオーディオの場合、個々のチャンネルをヘッドフォン信号から分離することは事実上不可能である。
【０２４８】
図４６は携帯プレーヤの使用を示す。しかし、言うまでもなく、ＰＲＩＲデータをリモートオーディオ場所にアップロードして、個人仮想化（バイノーラル）オーディオをダウンロードする原理は、各種の顧客のエンターテイメント再生プラットフォームに適用できる。また、言うまでもなく、仮想化したオーディオは、動画やビデオデータ等の他の種類のメディア情報と関係付けられてもよく、これらの信号は、画像と音の同期を完全に達成するように、仮想化したオーディオ再生と同期するのが典型的である。例えば、コンピュータ上のＤＶＤ再生に適用した場合、映画のサウンドトラックをＤＶＤディスクから読み出し、事前仮想化して、コンピュータ自体のハードドライブに戻して格納する。事前仮想化はオフラインで実行するのが典型的である。映画を観るには、コンピューターユーザは、映画を開始し、復号化したＤＶＤサウンドトラックを聴かずに、事前仮想化したオーディオを、映画と同期する場所で（両耳間遅延をシミュレートする１７、および／または通常の方法で補間する５６ための頭部追跡器を用いて）再生する。ＤＶＤサウンドトラックを事前仮想化するのは、図４６で示すように、アップロードしたＰＲＩＲを用いてリモートサーバ上で達成することもできる。
【０２４９】
事前仮想化法の説明は、例示に過ぎないが、３点ＰＲＩＲ測定の範囲を参照して行った。言うまでもなく、説明した本方法は、ＰＲＩＲの頭部の向きが多くても少なくても適合するよう容易に拡張できる。同じことが、入力オーディオチャンネルの数にも言える。さらに、通常のリアルタイム仮想化法の特長、例えば、測定範囲外にある頭部の動きに対する仮想器仮想化器出力を修正する特長、の多くは、事前仮想化再生システムに等しく適用できる。事前仮想化の開示は、本方法を示すために、畳み込み処理と、補間および可変遅延の処理とを分離する原理に焦点を当てた。当該分野の技術者には言うまでもなく、本明細書で開示したサブバンド畳み込み法、またはＦＦＴ畳み込み等の他の方法等の、効率的な仮想化技法を用いるのは、符号化および復号化を改良する実装をもたらす。例えば、畳み込んだサブバンドオーディオ信号、またはＦＦ係数自体は、ビットレート圧縮効率を改良するためにオーディオ符号化技法がもっと利用できる特定の冗長性を提示している。さらに、サブバンド畳み込み処理の演算負荷を低減するために提案されている多くの方法が、符号化処理にも適用できる。例えば、知覚マスクスレッショールド未満にあり、畳み込み処理から選択的に削除されるサブバンドを、そのフレームに対する符号化処理から削除することもでき、それにより、量子化および符号化が必要なサブバンド信号の数を減少させ、ビットレートの低下をもたらすことができる。
リアルタイム個人仮想化のネットワーク用途
【０２５０】
個人化した頭部追跡型仮想化を用いる多くの新規用途が想定される。そのような一般的な用途の一つは、リアルタイム個人仮想化をネットワーク化し、それにより、様々なネットワーク上の参加者に対するＰＲＩＲデータセットを有し、かつ利用できるリモートネットワークサーバ上で畳み込み処理を実行する。このようなシステムは、仮想化電話会議、インターネット遠隔学習の仮想化クラスおよび対話式ネットワーク化ゲームシステムの中核を形成する。汎用ネットワーク化仮想器仮想化器を図４８に示す。例示に過ぎないが、３人の遠隔ユーザＡ、ＢおよびＣがネットワーク２２７を介して仮想器仮想化器ハブ２２６に接続され、３ウェイ会議式呼出しで通信することを要望している。仮想化の目的は、基準の頭部の向きと異なる方向からくるように聞こえるように、遠隔関係者の声をローカルの参加者のヘッドフォンから放射させることである。例えば、一つの選択肢は、遠隔関係者の内の一人の声を仮想の左フロントスピーカからくるようにし、別の人の声を右フロントスピーカからくるようにする。各参加者の頭部位置は、頭部追跡器でモニタし、頭部の動きで発生する仮想関係者の回転を戻すために、これらの角度を連続的にサーバにストリーム化してアップする。
【０２５１】
各参加者７９は、ステレオヘッドフォン８０を装着し、そのオーディオ信号はサーバ２２６からストリームダウンされる。頭部追跡器８１は、ユーザの頭部の動きを追跡し、その信号はサーバにルーティングしてアップされて、ユーザと関係付けられる仮想器仮想化器２３５、両耳間遅延およびＰＲＩＲ補間２３６を制御する。ヘッドフォンにはそれぞれ、ブームマイクロフォン２２８が取り付けられ、各ユーザのデジタル化した２２９音声をサーバに届ける２３４ことができる。各音声信号は、他の参加者の仮想器仮想化器への入力として利用できる。これにより、各ユーザは、仮想化した音源として他の参加者の声だけを聴く。自身の声は確認信号を提供するようローカルにフィードバックされる。
【０２５２】
会議を開始する前に、各参加者７９は、仮想スピーカを表す、つまり音源を指す、幾つかの頭部角度について測定したＰＲＩＲファイル（２３６、２３７および２３８）をサーバにアップロードする。このデータは、家庭用エンターテイメントシステムから取得したものと同一としてもよいし、用途に対して特別に生成してもよい。例えば、そのデータは、エンターテイメント目的に通常要求される数より多いスピーカ位置を含んでもよい。ユーザ毎に、独立した仮想器仮想化器２３５がサーバ内に配置され、それにより、それぞれのＰＲＩＲファイルと頭部追跡器制御信号２３９とが関係付けられる。各仮想器仮想化器２３３の左耳および右耳の出力を、ヘッドフォン８０を通してそれぞれの参加者毎にリアルタイムでストリーム化して戻す。図４８が任意の参加者数に適合するよう拡張できるのは明らかである。
【０２５３】
ネットワークに大きな送信遅延（待ち時間）がある場合、聴取者がもっとアクセスしやすいネットワーク上のどこかの場所で、すなわち、アップストリームおよびダウンストリームの遅延が少ない場所で、頭部追跡型ＰＲＩＲ補間および経路長の処理を行うようにすることにより、頭部追跡応答時間を改良できる。新規の場所は、ネットワーク上の別のサーバとするか、または聴取者とともに設置することもできる。これが意味することは、図４４、図４５および図４７に示す種類の事前仮想化法の使用は、事前仮想化信号が左耳および右耳のオーディオではなく、第２の場所に送信される場合に展開されることになる。
【０２５４】
テレ会議用途の更なる単純化は、参加者数が少ない場合に可能である。この場合、参加者の声をそれぞれネットワークを通じて他の参加者全てに一斉放送する方がずっと経済的かもしれない。この方法では、全体の仮想器仮想化器は、標準の家庭用エンターテイメント設定に戻り、入ってくる各音声信号が単に、それぞれ参加者が設置した仮想器仮想化器装置への入力となる。この場合、ネットワーク化した仮想器仮想化器もＰＲＩＲアップロードも不要である。
デジタル信号処理器（ＤＳＰ）を用いるリアルタイム実装
【０２５５】
図１の４８ｋＨｚサンプリングレートで実行されるマルチチャンネル家庭用エンターテイメント用途で用いるためのヘッドフォン仮想器仮想化器の６チャンネル版のリアルタイム実装を、単一のデジタル信号処理器（ＤＳＰ）チップの周辺に構築した。この実装は、単一プログラムに、ＭＬＳ個人化ルーチンおよび仮想化ルーチンを組み込んである。本実装は、図２６、図２７および図２８に示すモードで動作でき、追加の第６の入力７０およびスピーカ出力７２を提供する。ＤＳＰコアと補助的なハードウエアを併せて図４１に示す。ＤＳＰチップ１２３は、ＰＲＩＲ測定、ヘッドフォン等化、頭部追跡器復号化、リアルタイム仮想化および他の全ての関連処理を実行するのに必要なデジタル信号処理全てを扱う。図４１は、簡単にするために別々のパスとして各種デジタルｉ／Ｏ信号を示す。実際のハードウエアは、ＤＳＰが、外部復号器１１４、ＡＤＣ９９、ＤＡＣ９２および７２、ＳＰＤＩＦ送信器１１２、ＳＰＤＩＦ受信器１１１、ならびに割り込みまたはＤＭＡコントロールの下にある頭部追跡器ＵＡＲＴ７３を読み書きできるように、プログラマブルロジック乗算器を用いる。更に、ＤＳＰは、多重外部バスを通じてＲＡＭ１２５、ブートＲＯＭ１２６およびマイクロコントローラ１２７にアクセスし、所望するならこれもＤＭＡ制御下で動作できる。
【０２５６】
ＤＳＰブロック１２３は図２６、図２７および図２８と共通であり、これらの図は、チップ自体のＤＳＰルーチンとして実装される主要な信号処理ブロックの概要を示す。ＤＳＰは、２つのＰＲＩＲ測定モードで動作するよう構成できる。
【０２５７】
モードＡ）は、図２７に示すような、スピーカへの直接アクセスが実用的ではない場合の用途に対して設計する。このモードでは、入力オーディオ信号１２１（図４１）は、ビットストリームがＳＰＤＩＦ受信器１１１を経由して入力されるローカルのマルチチャンネル復号器１１４から導くことができ、その復号器の、またはローカルのマルチチャンネルＡＤＣ７０から直接入力できる。個人化測定ＭＬＳ信号は、業界標準マルチチャンネル符号器を用いて符号化し、ＳＰＤＩＦ送信器１１２を経由して出力する。ＭＬＳビットストリームは、実質的に標準ＡＶレシーバ１０９（図２７）を用いて復号化し、所望のスピーカに導く。
【０２５８】
モードＢ）は、図２６に示すように、スピーカ信号への直接アクセスが可能な用途に対して設計する。モードＡと同様に、入力オーディオ信号１２１（図４１）は、ビットストリームがＳＰＤＩＦ受信器１１１を経由して入力されるローカルマルチチャンネル復号器１１４から導くか、またはローカルのマルチチャンネルＡＤＣ７０から直接入力できる。ただし、個人化測定ＭＬＳ信号は、マルチチャンネルＤＡＣ７２に直接出力する。
【０２５９】
図４３で、本発明の実施の形態による個人化ルーチンに対するステップおよび仕様を説明する。同様に、図４２では仮想化ルーチンについて説明する。ＤＳＰルーチンは、機能により分離し、以前に取得した利用可能な個人化データを何も持たないユーザが電源をＯＮにした後、以下の順序で実行するのが典型的である。
１）各スピーカと、各頭部位置とに対するＰＲＩＲを取得する、
２）両耳に対するヘッドフォン〜マイクロフォン間の伝達関数を取得し、等化フィルタを生成する、
３）補間および両耳間時間遅延関数および時間整列ＰＲＩＲを生成する、
４）ヘッドフォン等化フィルタを用いて時間整列ＰＲＩＲを事前エンファシスする、
５）サブバンドＰＲＩＲを生成する、
６）頭部基準角度を確定、
７）何らかの仮想スピーカオフセットを計算する、
８）仮想器仮想化器を実行する。
ＤＳＰを用いるリアルタイムスピーカＭＳＬ測定
【０２６０】
個人化室内インパルス応答測定ルーチンは、３２７６７状態から成り、３２７６７サンプル以下のインパルス応答を測定できる１５ビットバイナリＭＬＳを用いた。４８ｋＨｚのオーディオサンプリングレートで、このＭＬＳは、著しい巡回型畳み込みエイリアスがない状態で約０．６８秒の環境残響時間内のインパルス応答を測定できる。残響時間が０．６８秒を超えるかもしれない場合は、より高次のＭＬＳを用いることができる。図２９に示す３点ＰＲＩＲ測定法をリアルタイムＤＳＰプラットフォームで実装した。その結果、頭部ピッチ成分およびロール成分はＰＲＩＲを取得する時に考慮に入れなかった。ＭＬＳ測定処理中の頭部の動きも無視したので、対象者の頭部は試験期間中かなり静止状態を保っていた。
【０２６１】
モードＡの動作を支援するために、３２７６７シーケンスを３２７６８サンプルに再サンプルし、最初と最後のブロックをつないだ連続ストリームを、５．１チャンネルＤＴＳコヒーレント音響符号器を１５３６ｋｂｐｓで実行し、かつ完全な再構築モードを有効にして符号化した。５１２サンプルの６４復号化フレームのウィンドウと元のＭＬＳウィンドウを正確に一致させるよう、ＭＬＳ符号器のフレーム整列を調整した。それにより、ＤＴＳビットストリームが、復号器の出力でフレーム間の不連続を起こさずループで再生できた。整列を達成した後、１０４８５７６ビット、つまりステレオＳＰＤＩＦ１６ビットペイロードで３２７６８ワード、から成る最終のＤＴＳビットストリームから６４フレームを抽出した。サブウーハを含む６チャンネルのそれぞれについてビットストリームを創り出した（復号器への他の入力信号はミュートする）。−２７ｄＢから開始して３ｄＢステップで０ｄＢまで上昇するＭＬＳ振幅の範囲をカバーするアクティブチャンネルあたり１０本のビットストリームを創り出した。全部で６０本のＭＬＳシーケンスをオフラインで符号化し、ビットストリームをコンパクトフラッシュ（商標）１３０（図４１）に予め格納しておき、モードＡを有効にした状態で本システムを初期化する度に、システムＲＡＭ１２５にアップロードした。
【０２６２】
個人化処理の間、基本的でないルーチンは全て停止し、入力されてくる左耳および右耳のマイクロフォンのサンプルを、サンプル毎を基準として巡回型畳み込みルーチンにより直接処理する。個人化測定は、マイクロフォン録音レベルが−９ｄＢのスレッショールドを超えるのに必要なＭＬＳ振幅を最初に決定することから開始する。これをスピーカ毎に別々に試験し、最小振幅をもつＭＬＳを全ての後続のＰＲＩＲ測定に対して用いる。次いで、適切なビットストリームをループ状にしてＳＰＤＩＦ送信器にストリーミング出力し、デジタル化マイクロフォン信号９９を、元の再サンプリングしたＭＬＳにより巡回式に畳み込む。この処理は、３２ＭＬＳフレーム期間、４８ｋＨｚサンプリングレートで約２２秒、の間継続する。完全５．１チャンネルスピーカ設定では、試験は以下の手順を用いて行うのが典型的である：
【０２６３】
対象者はスクリーン中心を向いて、頭部を動かさずに保つ。そして、
１．左スピーカのＭＬＳビットストリームをループ化し、左耳および右耳のＰＲＩＲを測定する、
２．右スピーカのＭＬＳビットストリームをループ化し、左耳および右耳のＰＲＩＲを測定する、
３．センタースピーカのＭＬＳビットストリームをループ化し、左耳および右耳のＰＲＩＲを測定する、
４．左サラウンドスピーカのＭＬＳビットストリームをループ化し、左耳および右耳のＰＲＩＲを測定する、
５．右サラウンドスピーカのＭＬＳビットストリームをループ化し、左耳および右耳のＰＲＩＲを測定する、および、
６．サブウーハのＭＬＳビットストリームをループ化し、左耳および右耳のＰＲＩＲを測定する。
対象者は左スピーカを向いて、頭部を動かさずに保つ。そして、
１．左スピーカのＭＬＳビットストリームをループ化し、左耳および右耳のＰＲＩＲを測定する、
２．右スピーカのＭＬＳビットストリームをループ化し、左耳および右耳のＰＲＩＲを測定する、
３．センタースピーカのＭＬＳビットストリームをループ化し、左耳および右耳のＰＲＩＲを測定する、
４．左サラウンドスピーカのＭＬＳビットストリームをループ化し、左耳および右耳のＰＲＩＲを測定する、
５．右サラウンドスピーカのＭＬＳビットストリームをループ化し、左耳および右耳のＰＲＩＲを測定する、および、
６．サブウーハのＭＬＳビットストリームをループ化し、左耳および右耳のＰＲＩＲを測定する。
対象者は右スピーカを向いて、頭部を動かさずに保つ。そして、
１．左スピーカのＭＬＳビットストリームをループ化し、左耳および右耳のＰＲＩＲを測定する、
２．右スピーカのＭＬＳビットストリームをループ化し、左耳および右耳のＰＲＩＲを測定する、
３．センタースピーカのＭＬＳビットストリームをループ化し、左耳および右耳のＰＲＩＲを測定する、
４．左サラウンドスピーカのＭＬＳビットストリームをループ化し、左耳および右耳のＰＲＩＲを測定する、
５．右サラウンドスピーカのＭＬＳビットストリームをループ化し、左耳および右耳のＰＲＩＲを測定する、および、
６．サブウーハのＭＬＳビットストリームをループ化し、左耳および右耳のＰＲＩＲを測定する。
【０２６４】
モードＢ動作では、３２スケールの３２７６７サンプルＭＬＳを、被試験スピーカに直接出力した７２（図４１）。モードＢと同様に、最初にＭＬＳの振幅をスケール化してから試験を開始する。ＭＬＳ自体は、コンパクトフラッシュ１３０（図４１）に３２７６７ビットシーケンスとして予め格納しておき、電源をＯＮにした時にＤＳＰにアップロードする。ＭＬＳ測定を、被試験スピーカそれぞれに対して、および所望の個人化頭部の向き毎に行う。
【０２６５】
対象者はスクリーン中心を向いて、頭部を動かさずに保つ。そして、
１．ＭＬＳを左スピーカから駆動し、左耳および右耳のＰＲＩＲを測定する、
２．ＭＬＳを右スピーカから駆動し、左耳および右耳のＰＲＩＲを測定する、
３．ＭＬＳをセンタースピーカから駆動し、左耳および右耳のＰＲＩＲを測定する、
４．ＭＬＳを左サラウンドスピーカから駆動し、左耳および右耳のＰＲＩＲを測定する、
５．ＭＬＳを右サラウンドスピーカから駆動し、左耳および右耳のＰＲＩＲを測定する、および、
６．ＭＬＳをサブウーハから駆動し、左耳および右耳のＰＲＩＲを測定する。
対象者は左スピーカを向いて、頭部を動かさずに保つ：
１．ＭＬＳを左スピーカから駆動し、左耳および右耳のＰＲＩＲを測定する、
２．ＭＬＳを右スピーカから駆動し、左耳および右耳のＰＲＩＲを測定する、
３．ＭＬＳをセンタースピーカから駆動し、左耳および右耳のＰＲＩＲを測定する、
４．ＭＬＳを左サラウンドスピーカから駆動し、左耳および右耳のＰＲＩＲを測定する、
５．ＭＬＳを右サラウンドスピーカから駆動し、左耳および右耳のＰＲＩＲを測定する、および、
６．ＭＬＳをサブウーハから駆動し、左耳および右耳のＰＲＩＲを測定する。
対象者は右スピーカを向いて、頭部を動かさずに保つ。そして、
１．ＭＬＳを左スピーカから駆動し、左耳および右耳のＰＲＩＲを測定する、
２．ＭＬＳを右スピーカから駆動し、左耳および右耳のＰＲＩＲを測定する、
３．ＭＬＳをセンタースピーカから駆動し、左耳および右耳のＰＲＩＲを測定する、
４．ＭＬＳを左サラウンドスピーカから駆動し、左耳および右耳のＰＲＩＲを測定する、
５．ＭＬＳを右サラウンドスピーカから駆動し、左耳および右耳のＰＲＩＲを測定する、および、
６．ＭＬＳをサブウーハから駆動し、左耳および右耳のＰＲＩＲを測定する。
【０２６６】
モードＡまたはモードＢに対して、５．１チャンネル個人化測定は、各３２７６８サンプルの左右ＰＲＩＲ１８対を生じ、これらはともに、更に処理するために一時メモリ１１６に保持し（図２６および図２７）、かつコンパクトフラッシュに戻して格納する。従って、これらの測定データは、ＰＲＩＲ測定を繰り返さなくてもいいように、この先いつでもユーザが検索することができる。
ＤＳＰを用いるリアルタイムヘッドフォンＭＬＳ測定
【０２６７】
モードＡおよびモードＢの両方に対して、ヘッドフォン等化測定を、ストレートＭＬＳ（モードＢ）を用いて実行する。ＭＬＳヘッドフォン測定ルーチンは、スピーカ試験と同一であるが、但し、スピーカＤＡＣではなく、ヘッドフォンＤＡＣを経由して、スケール化したＭＬＳをヘッドフォンに出力する。ヘッドフォンのそれぞれの側に対する応答を、以下に基づいて３２回平均化逆畳み込みＭＬＳフレームを用いて別々に生成する。
１．ＭＬＳを左耳ヘッドフォン変換器から駆動し、左耳ＰＲＩＲを測定する、および、
２．ＭＬＳを右耳ヘッドフォン変換器から駆動し、右耳ＰＲＩＲを測定する
【０２６８】
左耳および右耳のインパルス応答は、最も近いサンプルと時間整列させ、インパルスオンセットから最初の１２８サンプルだけが残るように切り詰める。次いで、各１２８サンプルのインパルスを、本明細書で説明する方法を用いて逆変換する。逆変換の計算中、１６１２５Ｈｚを超える周波数は、単位ゲインに設定し、極点および零点は、０〜７５０Ｈｚの平均レベルに対して＋/−１２ｄＢでクリップさせる。得られた左チャンネルおよび右チャンネルの１２８タップ対称インパルス応答を、コンパクトフラッシュメモリ１３０（図４１）に戻して格納する。
ＰＲＩＲデータ作成
【０２６９】
リアルタイム仮想化ルーチンで用いるためのＰＲＩＲデータ作成を図４３に示す。ＰＲＩＲ測定が完了すると、各スピーカ、および頭部の３つの水平向きのそれぞれ、に対する生の左耳および右耳のＰＲＩＲをメモリ１１６に保持する。最初に、１８対全ての左耳および右耳のＰＲＩＲについて両耳間時間ずれを最も近いサンプルに対して測定し２２５、頭部追跡器プロセッサ９および２４で使用するためにその値を一時的に格納する。次いで、本明細書で説明したように、ＰＲＩＲ対を最も近いサンプルに時間整列させる２２５。時間整列したＰＲＩＲをそれぞれヘッドフォン等化フィルタ６２で畳み込み、２倍オーバーサンプリング解析フィルタバンクを用いて１６のサブバンドに分割する２６。フィルタバンクのプロトタイプローパスフィルタのロールオフは、本明細書で説明したように、オーバーラップまで単位ゲインを確実に維持するよう僅かに拡げてある。
【０２７０】
各ＰＲＩＲをサブバンドに分割する作用により、それぞれ４０９６サンプルの１６サブバンドＰＲＩＲファイルが得られる。後続の畳み込み処理の演算負荷を最適化するために、サブバンドＰＲＩＲファイルを切り詰める２２３。サブウーファ以外の全てのオーディオチャンネルについて、各ＰＲＩＲのサブバンド１〜１０をトリミングして最初の１５００サンプルだけを含め（約０．２５秒の残響時間となる）、サブバンド１１〜１４をトリミングして最初の３２サンプルだけを含め、そしてサブバンド１５〜１６は、ともに削除する、つまり２１ｋＨｚを超える周波数はヘッドフォンオーディオに存在しない。サブウーファチャンネルについては、サブバンド１をトリミングして最初の１５００サンプルだけを含め、他の全てのサブバンドは削除し、サブウーファ畳み込み計算に含めない。トリミングした後、図４２のリアルタイム仮想化処理で用いるために、それぞれのサブバンドＰＲＩＲ補間プロセッサ１６のメモリに、サブバンドＰＲＩＲデータをロードする２２４。
【０２７１】
本ＤＳＰ実装では、ＰＲＩＲ補間公式（式８〜式１４）を用いた。これは、観ている頭部角度１７６、１７７および１７８（図２９）とそれぞれ対応する３つのＰＲＩＲ測定頭部角度θL、θCおよびθRが既知であることが必要であった。本実装が仮定したのは、フロントセンタースピーカ１８１が基準頭部角度θrefと正確に整列しているということである。これにより、ＭＬＳ励起音源としてのセンタースピーカでの３つの頭部位置のそれぞれに対して、左耳と右耳のＰＲＩＲ対の両耳間時間遅延を式１を用いて解析して、θL、θCおよびθRを計算することができた。この場合、最大絶対遅延を２４サンプルに固定した。
【０２７２】
各仮想スピーカに対する両耳間経路長を、式２３〜式２５を用いて評価し、何らかの仮想オフセット調整と組合せて、各経路長差を式３１を用いて計算する。正弦波関数を、角度分解能０．２５°を提供する４ビット線形補間と組合せた３２ポイント単一象限のルックアップテーブルを用いるソフトウエアで構築する。経路長計算は、聴取者の頭部がＰＲＩＲ測定角度の範囲外に動いても継続する。
【０２７３】
オプションとして、ＰＲＩＲ補間および経路長公式生成のルーチンは、キーボード１２９（図４１）を介して仮想器仮想化器に手動入力するＰＲＩＲ頭部角度およびスピーカ配置に関連する情報にアクセス可能とした。
動的に頭部追跡する計算
【０２７４】
頭部追跡器の実装は、２軸傾斜加速度計を利用して、聴取者の頭部傾斜がある際に磁気読み取り値の回転を戻すヘッドフォン装着の３軸磁気センサ設計に基づいた。干渉を避けるために、静電気ヘッドフォンを用いて、仮想信号を再生した。磁気式、かつ傾斜の測定、および頭部計算を１２０Ｈｚ更新レートでオンボードマイクロコントローラにより行った。聴取者頭部のヨー、ピッチおよびロールの角度を、ボーレート９６００ｂｉｔ／ｓで送信する簡単な非同期シリアルフォーマットを用いて、仮想器仮想化器にストリーム出力した。ビットストリームは、同期データ、オプション命令、および３つの頭部の向きから成っていた。頭部角度は、Ｑ２バイナリーフォーマットを用いる＋/−１８０°フォーマットを用いて符号化したので、どの軸に対しても基本分解能は０．２５°であった。結果として、２バイトを送信して、各頭部角度をカプセル化した。頭部追跡器のシリアルストリームをアウトボードＵＡＲＴ７３（図４１）に接続し、各バイトを復号化し、割り込みサービスルーチンを介してＤＳＰ１２３に渡した。頭部追跡器更新レートは、フリー実行（約１２０Ｈｚ）なので仮想器仮想化器のオーディオサンプリングレートとは同期していない。頭部追跡器が割り込む度に、ＤＳＰはＵＡＲＴバスを読み出し、同期バイトがあるかどうかをチェックする。認識した同期パターンに続くバイトを用いて、ＤＳＰに保持した頭部の向き角度を更新し、オプションとして頭部追跡器命令にフラグを立てる。
【０２７５】
頭部追跡器の命令機能の内の一つは、ＤＳＰに現在の頭部ヨー角をサンプリングするよう依頼し、内部に格納した頭部の基準向きθrefにこれをコピーすることである。この命令は、ヘッドフォンのヘッドバンドに取り付けた頭部追跡器ユニット自体に装着したマイクロスイッチによりトリガーされる。この実装では、聴取者にヘッドフォンを頭部に載せ、次いで、センタースピーカの方を見て、基準角度マイクロスイッチを押下するよう依頼することにより基準角度を確定する。次いで、ＤＳＰは、この頭部ヨー角を基準として用いる。基準角度の変更は、このスイッチを任意の時に押下することにより行うことができる。
【０２７６】
サブバンド補間係数および可変遅延経路長の更新は、仮想器仮想化器のフレームレート２００Ｈｚ（Ｆs＝４８ｋＨｚで２４０入力サンプル）で計算する。補間係数の一意のセットは、独立してオーディオチャンネルのそれぞれに対して計算して、スピーカ毎に仮想オフセット調整を行える（θvX）ようにする。得られるサブバンド補間係数を直接用いて、各オーディオチャンネル１６に対して、補間したサブバンドＰＲＩＲのセットを生成する（図１６）。
【０２７７】
しかし、経路長更新は、オーバーサンプリングしたバッファアドレス２０（図１８）を駆動するのには直接用いず、代わりに、「所望の経路長」変数のセットを更新するのに用いる。実際の経路長は、２４入力サンプル毎に更新し、所望の経路長値の方向に適合するように、デルタ関数を用いてインクリメンタルに調整する。この意味は、全ての仮想スピーカ経路長は、頭部追跡器ヨー角の変化に応じて２ｋＨｚのレートで効果的に調整される、ということである。デルタ更新を用いる目的は、可変バッファ経路長が大きなステップで変化しないよう、従って、聴取者の頭部角度が突然変化する結果、オーディオ信号に可聴ノイズが入り込む可能性を確実に避けるためである。
【０２７８】
個人化範囲外の頭部ヨー角では、最も極端な左または右の位置で補間係数計算が飽和する。頭部追跡器のピッチおよびロール角度は、ＰＲＩＲ測定範囲に含まれなかったので、仮想器仮想化器が無視するのが通常である。しかし、ピッチ角が約＋/−６５°を超える場合（＋/−９０°で水平）、利用できるなら、仮想器仮想化器はスピーカ信号を切り換えることになる１３２（図２８）。これは、聴取者がヘッドフォンを外して、それを水平に置き、スピーカからのオーディオを続けて聴くのに便利な方法を提供する。
リアルタイム５．１チャンネルＤＳＰ仮想器仮想化器
【０２７９】
図４２は、本発明に実施の形態による単一入力オーディオチャンネルを仮想化するために実装される１セットのルーチンを示す。残りのチャンネルについても全ての機能は同一であり、これらの左耳および右耳のヘッドフォン信号を加算して合成ステレオヘッドフォン出力を形成する。アナログオーディオ入力信号は、４８ｋＨｚのサンプリングレートでリアルタイムでデジタル化７０され、割り込みサービスルーチンを用いて、２４０サンプルバッファ７１にロードされる。このバッファが満たされると、入力サンプルを内部一時バッファにコピーするとともに、一対の一時出力バッファからの新規仮想化オーディオで左右チャンネル出力バッファ７１をリロードするＤＭＡルーチンをＤＳＰが呼び出す。このＤＭＡは、２４０入力サンプル毎に発生するので、仮想器仮想化器フレームレートは２００Ｈｚで実行されることになる。
【０２８０】
２４０の新規取得した入力サンプルを、２倍オーバーサンプリングした４８０タップの解析フィルタバンクを用いて、１６サブバンドに分割する２６。このためのプロトタイプローパスフィルタ、および合成フィルタバンクを通常の方法で、すなわち、オーバーラップ点が通過帯域のほぼ−３ｄＢになるように設計する。次いで、左耳および右耳のサブバンド畳み込み器３０を用いて、各サブバンド内の３０サンプルを、補間ルーチンが生成し、最新の補間係数を用いる関連サブバンドＰＲＩＲサンプル１６と畳み込む。畳み込んだ左耳および右耳のサンプルはそれぞれ、相補１６帯域サブバンドの４８０タップ合成フィルタバンク２７を用いて２４０サンプル波形に再構築して戻す。次いで、２４０の再構築した左耳および右耳のサンプルを可変遅延バッファ１７に通して、仮想スピーカに適切な両耳間時間遅延を与える。可変バッファ実装は５００倍オーバーサンプリングアーキテクチャを用い、３２０００アンチエイリアスフィルタを配置する。
【０２８１】
結果的に、各バッファは、３２サンプル以下の入力サンプルストリームを別々に、サンプルの１／５００まで徐々に遅延させることができる。最初の方で説明したように、遅延は２４入力サンプル期間毎に、すなわち０．５ｍｓ毎に更新されるので、可変遅延は２４０入力サンプル期間毎に１０回更新される。各チャンネル仮想器仮想化器の左耳および右耳の可変遅延バッファからの２４０サンプル出力は、加算され５、次のＤＭＡ入力／出力ルーチン上の出力バッファ７１への転送に備えて一時出力サンプルバッファにロードされる。左耳および右耳の出力サンプルは、割り込みサービスルーチンを用いて４８ｋＨｚレートでＤＡＣ７２にリアルタイムで転送される。得られたアナログ信号は、バッファされ、聴取者が装着するヘッドフォンに出力される。
変形および代替の実施の形態
【０２８２】
本発明の実施の形態の幾つかを図解して示し、本発明の詳細な記述を通じて説明してきたが、数多くの変形および代替の実施の形態が当該分野の技術者には想記されよう。本発明の精神および範囲を逸脱することなく、かかる変形および代替の実施の形態を想定し、かつ成すことができる。
【０２８３】
例えば、説明は、再生中における聴取者頭部の動きの範囲を確定する個人化測定処理を基準にして行った。理論的には、補間を行うために２つ以上の測定点が必要である。実際、実施例は３点および５点のＰＲＩＲ測定範囲を用いて示した。この方法でそれぞれのスピーカ応答を測定するのが有利な点は、頭部の動きが測定範囲内にある限り、頭部の動きの回転を戻すＰＲＩＲ補間が、仮想スピーカを投影するのに用いられる実スピーカに特有のＰＲＩＲデータを常に、意のままに、有するということである。言いかえると、仮想スピーカは、実スピーカに特有のＰＲＩＲデータを用いるので、実スピーカの体験とほとんど正確に一致するのが普通である。この方法から逸脱するものの一つは、それぞれのスピーカについてただ一セットのＰＲＩＲを測定する、すなわち、対象者は一つの固定頭部位置を取り、対象者のエンターテイメントシステムを構成するスピーカそれぞれに対して左耳および右耳のＰＲＩＲを取得する、ことである。
【０２８４】
通常、対象者は、スクリーン中心、またはどこか他の仮想的な聴取方向の方を見た後に測定を行う。この状況では、この基準の頭部向きからずれた頭部追跡器が検出する何らかの頭部の動きを、仮想化されるスピーカと関連しない補間ＰＲＩＲデータセットを用いて回転を戻す。しかし、両耳間経路長計算は、正確なままである。なぜなら、各種のスピーカのＰＲＩＲデータから導くことができるし、または仮想器仮想化器自体に通常の方法で手動で入力できるからである。隣接するスピーカＰＲＩＲ間の補間処理は、測定した範囲を超える仮想器仮想化器の範囲を拡張するために用いる方法の内の一つで、ある程度既に説明した（「測定範囲外の頭部動き」のタイトルの節を参照）。
【０２８５】
図３４ｂは＋/−３０°の測定範囲を超える頭部の回転に対する左フロントスピーカについての補間要件を示す。この実施例で仮定したのは、各スピーカは全６０°の頭部回転に対して提示され、不十分なカバー範囲が存在する場合だけ、隣接スピーカのＰＲＩＲを補間してギャップ２０３、２０７、２０５（図３４ｂ）をそれぞれ満たすということである。１セットだけのＰＲＩＲを測定する方法では、スピーカ間の各領域は、隣接スピーカの補間を展開する。
【０２８６】
以下の説明は、図３４に示すのと同一のスピーカ設定を用いる処理を説明する。上記と同様に、この説明では、左フロントスピーカが全３６０°の頭部回転範囲を通じて仮想化されるものとする。センタースピーカを見ている（０°）聴取者から始めると、全てのＰＲＩＲ補間器は、実スピーカから直接測定したこれらの応答を用いる。聴取者の頭部が反時計回りに、左スピーカの位置に向かって回転すると、左フロントの仮想スピーカに対するＰＲＩＲ補間器は、センタースピーカ位置と左スピーカ位置との間の聴取者頭部角度に比例する左およびセンタースピーカのＰＲＩＲの線形組合せを畳み込み器に出力し始める。
【０２８７】
聴取者の頭部の向きが、−３０°の左スピーカ位置に達する時間までに、仮想左スピーカの畳み込みは、完全にセンタースピーカのＰＲＩＲにより行われる。頭部が−３０°から−６０°へ反時計回りの回転を続けると、補間器は、センタースピーカおよび右スピーカのＰＲＩＲの線形組合せを畳み込み器に出力する。−６０°から−１５０°は、補間器は右および右サラウンドのＰＲＩＲを用いる。−１５０°から＋９０°は、右サラウンドおよび左サラウンドのＰＲＩＲを用いる。最後に、＋９０°から０°の間を反時計廻りに動くと、補間器は左サラウンドおよび左のＰＲＩＲを用いる。この説明は、３６０°の頭部回転中、仮想左フロントスピーカを安定させるのに必要な補間の組合せを示す。他の仮想スピーカに対するＰＲＩＲの組合せは、特定スピーカ編成の位置関係および利用できるＰＲＩＲデータセットを調べることにより容易に導きだせる。
【０２８８】
言うまでもなく、単一の頭部の向きについて測定したＰＲＩＲは、本明細書で説明した事前仮想化法に等しく適用できる。これらの場合、バイノーラル信号の範囲はＰＲＩＲの頭部の向きの範囲に制限されないので、ユーザは、頭部の動きの所望の範囲を決定し、その範囲をカバーする適切な補間スピーカＰＲＩＲを生成し、それぞれに対して仮想化を実行する。次いで、補間器の範囲を適切に設定するために頭部の動きの限界を再生装置に送る。必要に応じて、聴取者の頭部が補間器の限界間を動く時に、両耳間経路長を生成するために経路長データも送る。
【０２８９】
本発明の実施の形態の上記説明を図解するために提示してきた。開示した形式は、本発明を網羅させたり限定する意図はない。当該分野の技術者には言うまでもなく、多くの改変および変形が上記教示から可能である。従って、意図するところは、本発明の範囲が、この詳細説明によっては限定されず、本明細書に付帯の請求項によるということである。
【図面の簡単な説明】
【０２９０】
【図１】マルチチャンネルＡＶレシーバに接続される５．１チャンネルの頭部追跡型仮想器仮想化器のブロック図である。
【図２】頭部追跡器入力部の制御に基づくｎチャンネルの頭部追跡型仮想器仮想化器の基本構造を示す図。
【図３】励起スピーカに向いている被ＰＲＩＲ測定対象者の平面図を示す図。
【図４】励起スピーカの左を見ている被ＰＲＩＲ測定対象者の平面図を示す図。
【図５】励起スピーカの右を見ている被ＰＲＩＲ測定対象者の平面図を示す図。
【図６】対象者が励起スピーカの右を見ている状況で、左耳で測定したインパルス応答および右耳で測定したインパルスの振幅対時間のプロット例である図。
【図７】対象者が励起スピーカを見ている状況で、左耳で測定したインパルス応答および右耳で測定したインパルスの振幅対時間のプロット例である図。
【図８】対象者が励起スピーカの左を見ている状況で、左耳で測定したインパルス応答および右耳で測定したインパルスの振幅対時間のプロット例である図。
【図９】測定範囲の中心点の被ＰＲＩＲ測定対象者の平面図を、得られたインパルス時間波形と併せて示す図。
【図１０】測定範囲の最も左の点の被ＰＲＩＲ測定対象者の平面図を、得られたインパルス時間波形と併せて示す図。
【図１１】測定範囲の最も右の点の被ＰＲＩＲ測定対象者の平面図を、得られたインパルス時間波形と併せて示す図。
【図１２】インパルス応答波形を修正することにより、仮想音源の知覚距離を変更する方法を示す図。
【図１３】両耳間遅延差−頭部角度の正弦波関数を公式化するためのＰＲＩＲ測定角度のマッピングを示す図。
【図１４ａ】未補償のサブバンド畳み込みの３ｄＢリップル効果を示す図。
【図１４ｂ】未補償のサブバンド畳み込みの３ｄＢリップル効果を示す図。
【図１５】基準の視角に対して測定範囲が＋３０°、０°および−３０°の頭部位置により表されるＰＲＩＲ間の補間方法を示す図。
【図１６】補間がサブバンド領域で行われることを除いて、図１５と類似している図。
【図１７】遅延量を頭部追跡器により動的に調整するオーバーサンプリングした可変遅延バッファを示す図。
【図１８】可変遅延バッファがサブバンド領域で実装されていることを除いて、図１７と類似している図。
【図１９】サブバンド畳み込みの考え方を示すブロック図。
【図２０】対象者の外耳道に取り付けた小型マイクロフォンの略図。
【図２１】小型マイクロフォンのプラグ（栓）構造の略図。
【図２２】外耳道に取り付けた小型マイクロフォンの上にヘッドフォンを装着した対象者の略図。
【図２３】左のフロントスピーカからの励起信号の録音レベルが、試験開始前に調整される場合の、被ＰＲＩＲ測定対象者の平面図。
【図２４】ＰＲＩＲ測定中の対象者頭部の過大な動きをパイロットトーンを用いて検出するＭＬＳシステムのブロック図。
【図２５】パイロットトーンの位相変化を用いて、僅かな頭部の動きを補償するために、録音したＭＬＳ信号を圧縮伸張する図２４の拡張図。
【図２６】励起信号がスピーカに直接出力される場合の、右サラウンドスピーカに対する、被ＰＲＩＲ測定対象者の平面図。
【図２７】スピーカを駆動する前に励起信号を符号化し、ＡＶレシーバに送る場合の、右サラウンドスピーカに対する被ＰＲＩＲ測定対象者の平面図。
【図２８】頭部追跡型ヘッドフォンを通して仮想信号音を聴いているときの、図２６における対象者の平面図。
【図２９】ワイドスクリーンテレビセットの周囲に配置した左、右およびセンタのスピーカの前面図であり、ＰＲＩＲ測定範囲を含む３視点位置を示す図。
【図３０】外側の２視点位置が左右スピーカの位置と一致することを除いて、図２９と類似している図。
【図３１】５視点位置がＰＲＩＲ測定範囲を示すことを除いて、図２９と類似している図。
【図３２ａ】図３１の５点の範囲に対する頭部追跡型ＰＲＩＲ補間係数を決定するための三角測量法を示す図。
【図３２ｂ】図３１の５点の範囲に対する頭部追跡型ＰＲＩＲ補間係数を決定するための三角測量法を示す図。
【図３３ａ】仮想スピーカオフセットを用いて、仮想音源の位置を実スピーカの位置に再整列させる方法を示す図。
【図３３ｂ】仮想スピーカオフセットを用いて、仮想音源の位置を実スピーカの位置に再整列させる方法を示す図。
【図３４ａ】５チャンネルサラウンドスピーカシステムの平面図。
【図３４ｂ】ＰＲＩＲ補間を、意図した頭部の向きの範囲の外側まで連続してできる技法を示す図。
【図３５】被ヘッドフォン等化測定対象者の平面図および関連する処理ブロックへの接続を示す図。
【図３６】サブバンド畳み込みを用いる単一チャンネルに対する仮想処理を示し、両耳間の時間遅延は、シンセシスフィルタバンクに続く時間バンド領域で実装されている図。
【図３７】サブバンド畳み込みを用いる単一チャンネルに対する仮想処理を示し、両耳間の時間遅延は、シンセシスフィルタバンクの前のサブバンド領域で実施されている図。
【図３８】入力チャンネル数を拡張するのに必要なステップを示すことを除いて、図３６と類似している図。
【図３９】入力チャンネル数を拡張するのに必要なステップを示すことを除いて、図３７と類似している図。
【図４０】２人の別々のユーザが仮想化信号を聴くことができるようにするのに必要なステップを示すことを除いて、図３９と類似している図。
【図４１】ＤＳＰ型仮想器仮想化器のコアプロセッサ、および主な周辺回路構成のブロック図。
【図４２】リアルタイムＤＳＰ仮想化ルーチンのブロック図。
【図４３】仮想器仮想化器ルーチンを実行する前にＰＲＩＲデータを処理するＤＳＰルーチンのブロック図。
【図４４】単一オーディオチャンネルおよび３点のＰＲＩＲ範囲を用いる事前仮想化の考え方を示す図。
【図４５】再生前に事前仮想化オーディオ信号を符号化し、格納し、復号化することを除いて、図４４と類似している図。
【図４６】事前仮想化が、ユーザのアップロードしたＰＲＩＲデータを用いて、安全なリモートサーバにより実行されることを除いて、図４５と類似している図。
【図４７】３点のＰＲＩＲ範囲に対する単純化した事前仮想化の考え方を示し、再生は、左右の耳の組合せ信号間の補間から成る図。
【図４８】個人化仮想遠隔会議の考え方を示し、個々のＰＲＩＲが会議サーバにアップロードされる図。
【図４９】ＰＲＩＲの後期反射部分を融合することにより、サブバンド畳み込みの演算負荷を減少させる方法を示す図。
【図５０】典型的な室内インパルス応答波形内の後期反射から最初の／初期の反射を分離する方法を示す図。
【図１】
2008512015.tif 000003
【図２】
2008512015.tif 000004
【図３】
2008512015.tif 000005
【図４】
2008512015.tif 000006
【図５】
2008512015.tif 000007
【図６】
2008512015.tif 000008
【図７】
2008512015.tif 000009
【図８】
2008512015.tif 000010
【図９】
2008512015.tif 000011
【図１０】
2008512015.tif 000012
【図１１】
2008512015.tif 000013
【図１２】
2008512015.tif 000014
【図１３】
2008512015.tif 000015
【図１４ａ】
2008512015.tif 000016
【図１４ｂ】
2008512015.tif 000017
【図１５】
2008512015.tif 000018
【図１６】
2008512015.tif 000019
【図１７】
2008512015.tif 000020
【図１８】
2008512015.tif 000021
【図１９】
2008512015.tif 000022
【図２０】
2008512015.tif 000023
【図２１】
2008512015.tif 000024
【図２２】
2008512015.tif 000025
【図２３】
2008512015.tif 000026
【図２４】
2008512015.tif 000027
【図２５】
2008512015.tif 000028
【図２６】
2008512015.tif 000029
【図２７】
2008512015.tif 000030
【図２８】
2008512015.tif 000031
【図２９】
2008512015.tif 000032
【図３０】
2008512015.tif 000033
【図３１】
2008512015.tif 000034
【図３２ａ】
2008512015.tif 000035
【図３２ｂ】
2008512015.tif 000036
【図３３ａ】
2008512015.tif 000037
【図３３ｂ】
2008512015.tif 000038
【図３４ａ】
2008512015.tif 000039
【図３４ｂ】
2008512015.tif 000040
【図３５】
2008512015.tif 000041
【図３６】
2008512015.tif 000042
【図３７】
2008512015.tif 000043
【図３８】
2008512015.tif 000044
【図３９】
2008512015.tif 000045
【図４０】
2008512015.tif 000046
【図４１】
2008512015.tif 000047
【図４２】
2008512015.tif 000048
【図４３】
2008512015.tif 000049
【図４４】
2008512015.tif 000050
【図４５】
2008512015.tif 000051
【図４６】
2008512015.tif 000052
【図４７】
2008512015.tif 000053
【図４８】
2008512015.tif 000054
【図４９】
2008512015.tif 000055
【図５０】
2008512015.tif 000056
【国際調査報告】
2008512015.tif 000057
2008512015.tif 000058
2008512015.tif 000059
2008512015.tif 000060
2008512015.tif 000061