(57)【要約】      （修正有）【課題】本発明は、頭部追跡が可能にされるようにしてヘッドフォン上で音声をレンダリングするための方法およびシステムを提供する。【解決手段】システム２００において、頭部追跡センサ２０２が、ユーザの頭部の向きの変化を測定するために聞き手の頭部に取り付けられる。このセンサからの出力は、方位ブロック２０４において方位および仰角情報を生成するために使用される。導出された方位および仰角情報が、回転フィルタデータベース２０８に送信される。ＤＳＰプロセッサ２１６は、聞き手のためにカスタマイズされたＨＲＴＦ／ＢＲＩＲと、仰角および方位パラメータに対応する回転フィルタの選択とを記憶することが好ましいＢＲＩＲデータベース２１０内の情報を使用して入力音声２１５を処理して、ヘッドフォンのトランスデューサ２２０へのバイノーラル音声信号を生成する。【選択図】図２
2019146160.tif 000002
【特許請求の範囲】
【請求項１】
ヘッドフォンの組に音声の位置を特定するために入力音声信号に適用するための頭部伝達関数（ＨＲＴＦ）を提供するための方法であって、
基準位置の聞き手のために個別化された複数のバイノーラル音響インパルス応答（ＢＡＩＲ）の対にアクセスすることと、
前記聞き手に対して相対的な追加的な位置に対応する前記聞き手に関する複数のバイノーラル音響インパルス応答（ＢＡＩＲ）の対にアクセスすることと、
前記追加的な位置に関する前記複数のバイノーラル音響インパルス応答（ＢＡＩＲ）の対の各々を前記基準位置に関する前記バイノーラル音響インパルス応答（ＢＡＩＲ）の対によって割ることによって前記聞き手に対して相対的な前記基準位置に関するバイノーラル音響インパルス応答（ＢＡＩＲ）を前記追加的な位置の各々に変換するための複数の伝達関数を導出することと、
頭部の向きの変化を示す信号を受け取り、前記信号に応答して、前記信号に対応する前記複数の伝達関数の１つの対を選択することと、
ヘッドフォンの前記組において前記音声の位置を特定するために前記入力音声信号に前記基準位置のバイノーラル音響インパルス応答（ＢＡＩＲ）の対および前記複数の伝達関数の選択された対を適用することとを含む、方法。
【請求項２】
頭部の向きの前記変化が、前記基準位置に対する前記頭部の回転、上への傾きおよび下への傾き、ならびに傾げる向きへの傾きのうちの少なくとも１つである請求項１に記載の方法。
【請求項３】
前記基準位置の前記聞き手のために個別化された前記バイノーラル音響インパルス応答（ＢＡＩＲ）の対が、複数の頭部伝達関数の対に関する応答の長さの少なくとも４倍のインパルス応答の長さに対応する請求項１に記載の方法。
【請求項４】
追加的な位置に関する前記複数のバイノーラル音響インパルス応答（ＢＡＩＲ）の対が、少なくとも、前記位置の一部に関する測定された応答から導出されたＨＲＴＦを含む請求項１に記載の方法。
【請求項５】
追加的な位置に関する前記複数のバイノーラル音響インパルス応答（ＢＡＩＲ）の対が、測定されたＨＲＴＦのうちの１つまたは複数に適用される周波数領域における補間によって導出されたＨＲＴＦを含む請求項４に記載の方法。
【請求項６】
前記聞き手に関する前記複数のバイノーラル音響インパルス応答（ＢＡＩＲ）の対が、前記聞き手から第１の距離の第１の球形グリッド上の音源位置に関する複数の頭部伝達関数の対を含む前記第１の球形グリッドの少なくとも一部を形成する請求項１に記載の方法。
【請求項７】
前記複数のバイノーラル音響インパルス応答（ＢＡＩＲ）の対が、前記聞き手に関する頭部伝達関数（ＨＲＴＦ）の対を含み、前記聞き手から第２の距離の第２の球形グリッド上の音源位置に関する複数の頭部伝達関数の対を含む前記球形グリッドを含み、前記方法が、前記第１の球形グリッドおよび前記第２の球形グリッドに関連する前記第１の距離と前記第２の距離との間の距離に置かれた音源位置に関する補間を行うことによって、入力音声信号に適用するための、結果として生じるＨＲＴＦを生成することをさらに含む請求項６に記載の方法。
【請求項８】
追加的な位置に関する前記複数の頭部伝達関数の対が、前記追加的な位置に関する測定されたまたは補間されたＨＲＴＦを、前記基準位置に関する部屋の音声応答の対を含む基準頭部伝達関数によって割ることによって導出される請求項７に記載の方法。
【請求項９】
前記基準位置の聞き手のために個別化された前記複数のバイノーラル音響インパルス応答（ＢＡＩＲ）の対および追加的な位置の前記聞き手のために個別化された前記複数のバイノーラル音響インパルス応答（ＢＡＩＲ）の対が、少なくとも部分的に、動かない頭部の位置に対して相対的なスピーカの動きによって引き起こされる応答に加えて動かないスピーカ位置に対して相対的な前記頭部の動きによって引き起こされる応答を記録することによって生成される請求項１に記載の方法。
【請求項１０】
空間音声レンダリングのためのヘッドフォンであって、
基準音源位置に対応する第１の両耳室内インパルス応答（ＢＲＩＲ）の対を有する第１のデータベースと、
頭部の向きの情報を特定する頭部センサと、
第１の位置と異なり、前記頭部の向きの情報から導出された、定義された方位の値、仰角の値、および傾げる向きへの傾きの値のうちの少なくとも１つを有するスピーカ位置の第２のグループに対応するように、前記第１のＢＲＩＲの対を修正する際に使用するために構成された、メモリに記憶された回転フィルタの第２のデータベースと、
ヘッドフォンのトランスデューサへの出力バイノーラル音声信号を生成するために前記回転フィルタを前記第１のＢＲＩＲの対と組み合わせるように構成されたプロセッサとを含み、前記回転フィルタが、前記第１の位置に関するＨＲＴＦを第２の異なる位置に変換するための伝達関数を含み、前記第２の位置に関するＨＲＴＦが、聞き手に関して生成されたＨＲＴＦの対に対応し、前記伝達関数が、前記第２の位置に関するそれぞれのＨＲＴＦの対を前記基準位置に関する前記ＢＲＩＲの対によって割ることによって導出される、ヘッドフォン。
【請求項１１】
前記ＢＲＩＲの対の長さが、前記ＨＲＴＦの対の長さの少なくとも４倍である請求項１０に記載のヘッドフォン。
【請求項１２】
前記ＢＲＩＲの対の長さが、除算の前に前記ＨＲＴＦの対の長さ程度までにまず切り捨てられる請求項１０に記載のヘッドフォン。
【請求項１３】
前記ＢＲＩＲの対が、前記聞き手のためのカスタムされた測定によって決定される請求項１０に記載のヘッドフォン。
【請求項１４】
前記ＢＲＩＲの対および前記ＨＲＴＦの対が、少なくとも部分的に、動かない頭部の位置に対して相対的なスピーカの動きによって引き起こされる応答に加えて、動かないスピーカ位置に対して相対的な前記頭部の動きによって引き起こされる応答を記録することによって生成される請求項１０に記載のヘッドフォン。
【請求項１５】
前記ＢＲＩＲの対および前記ＨＲＴＦの対が、聞き手の頭部の画像とマッチングされるそれぞれのＢＲＩＲの対およびＨＲＴＦの対のデータベースと、前記聞き手によって撮影された前記聞き手の頭部の少なくとも１枚の写真をマッチングすることから導出される請求項１０に記載のヘッドフォン。
【請求項１６】
それぞれのＢＲＩＲの対が、前記ＨＲＴＦの対の長さの少なくとも４倍である請求項１０に記載のヘッドフォン。
【請求項１７】
前記ＨＲＴＦの対が、第２のデータセットの一部を形成し、少なくとも部分的に、周波数領域の補間によってデータが疎なＨＲＴＦデータセットから生成される請求項１５に記載のヘッドフォン。
【請求項１８】
バイノーラルレンダリング（ｂｉｎａｕｒａｌ  ｒｅｎｄｅｒｉｎｇ）のために構成されたバイノーラル空間音声レンダリングシステムであって、
バイノーラルレンダリングシステムにおいて、方位および仰角の少なくとも１つを有する位置から音声が生成されるという知覚を生じるために音声信号を修正することを対象とする、メモリに記憶された頭部伝達関数（ＨＲＴＦ）の第１のデータベースと、
第１の基準位置に関する両耳室内インパルス応答（ＢＲＩＲ）を第２の異なる位置に変換するための伝達関数を含み、メモリに記憶され、少なくとも前記第１の基準位置と異なる定義された方位および仰角を有する仮想的なスピーカ位置の第２のグループに対応するように前記ＢＲＩＲを修正する際に使用するためにさらに構成された回転フィルタの第２のデータベースであって、前記回転フィルタが、前記第１のデータベースの前記複数のＨＲＴＦの各々を前記第１の基準位置に関する前記ＢＲＩＲによって割ることによって導出される、第２のデータベースと、
スピーカ位置の前記第２のグループに関する両耳室内インパルス応答（ＢＲＩＲ）を生成するために、前記第２のデータベースからの前記回転フィルタの選択された１つを、前記第１のデータベースからの前記インパルス応答のうちの選択された１つと組み合わせるように構成されたデジタル信号プロセッサ（ＤＳＰ）と、
スピーカ位置の前記第２のグループに関する決定されたＢＲＩＲによって音声信号を修正するように構成された音声レンダリング回路とを含む、システム。
【請求項１９】
前記第１の位置が、部屋の中のマルチチャンネルスピーカ位置に対応し、チャンネルの数が、少なくとも２つを含み、前記基準位置に関する前記ＢＲＩＲの対および前記第１のデータベースの前記ＨＲＴＦの対が、少なくとも部分的に、動かない頭部の位置に対して相対的なスピーカの動きによって引き起こされる応答に加えて、動かないスピーカ位置に対して相対的な前記頭部の動きによって引き起こされる応答を記録することによって生成される請求項１８に記載のシステム。
【請求項２０】
前記音声レンダリング回路からの出力が、ヘッドフォンに提供され、前記第１のデータベースおよび前記第２のデータベースが、前記ヘッドフォンまたは前記ヘッドフォンに結合されたモジュールのうちの１つに含まれる請求項１８に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、ＭＥＴＨＯＤ  ＦＯＲ  ＧＥＮＥＲＡＴＩＮＧ  ＣＵＳＴＯＭＩＺＥＤ  ＳＰＡＴＩＡＬ  ＡＵＤＩＯ  ＷＩＴＨ  ＨＥＡＤ  ＴＲＡＣＫＩＮＧと題した、２０１８年１月７日に出願した米国仮特許出願第６２／６１４，４８２号の優先権を主張するものであり、この仮特許出願の開示は、その全体が参照により本明細書に組み込まれる。
【背景技術】
【０００２】
本発明は、頭部追跡が可能にされるようにしてヘッドフォン上で音声をレンダリングするための方法およびシステムに関する。より詳細には、本発明は、より現実感のある音声のレンダリングのために３Ｄ音源をフィルタリングする際に使用するためのデータベースおよびフィルタを生成する効率を引き出し、さらに、空間音声の知覚を向上させるためにより大きな頭部の動きを可能にすることに関する。
【０００３】
両耳室内インパルス応答（ＢＲＩＲ：Ｂｉｎａｕｒａｌ  Ｒｏｏｍ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）処理の実施は、よく知られている。知られている方法によれば、実際のまたはダミーの頭部およびバイノーラルマイクが、実際の部屋の中のいくつかのラウドスピーカ位置の各々に関するステレオインパルス応答（ＩＲ）を記録するために使用される。つまり、各耳について１つずつの、１対のインパルス応答が生成される。それから、音楽トラックが、これらのＩＲを使用して畳み込まれる（フィルタリングされる）ことができ、結果が、一緒にミキシングされ、ヘッドフォン上で再生されることができる。正しい等化が適用される場合、音楽のチャンネルは、まるでそれらのチャンネルがＩＲが記録された部屋の中のスピーカ位置で再生されているかのように聞こえる。これは、部屋の中の複数のスピーカのために設計されたマルチチャンネルソース素材から期待される音声の知覚がヘッドフォン上で再現され得る１つの方法である。明瞭にするために、伝達関数およびインパルス応答の用語の簡潔な議論が行われる。概して、ＨＲＴＦは、音の直接経路を記述するための、無響室内のスピーカから耳までの伝達関数の測定値である頭部伝達関数を意味する。対照的に、ＢＲＩＲまたは両耳室内インパルス応答は、音源に対応する反響を加えるための部屋のインパルス応答を提供する。そのＢＲＩＲまたは両耳室内インパルス応答の関連する伝達関数は、本明細書においては両耳室内伝達関数（ＢＲＴＦ）とよばれることがある。
ＨＲＴＦは、それぞれの耳が空間内の地点から音をどのようにして受け取るかを特徴づけ、頭部の形状、サイズ、および密度、ならびに耳の形状およびサイズを含む頭部の特徴に依存し、頭部インパルス応答（ＨＲＩＲ）の測定値から導出される。概して、ＨＲＩＲは、頭部に関連する情報のみを含み、いかなる部屋の反響も含まないように無響室内で測定される。ＨＲＩＲは、極めて短く、概して、１０数ミリ秒程度である。
【０００４】
ヘッドフォンを通じて行われるＢＲＩＲ処理は、聞き手がその聞き手の頭部を動かさなければ、部屋の中で音楽を聴いている現実感のある印象を与える。しかし、複数の実際のラウドスピーカを聞く実際の部屋の中にいる聞き手は、スピーカ位置に対して相対的にその聞き手の頭部を動かすのが普通である。頭部の最小の動きでさえも、頭部に対するスピーカの相対的な位置、特に、角度の向きの小さな変化を生じ、聞き手の空間音声の知覚の少なくとも小さな知覚され得る変化を生じるはずである。聞き手に、音は、わずかに異なる方向から来ると知覚される。音源の方向を知覚する聞き手の能力は、音源が各耳において感知される時間の差（つまり、両耳間時間差（「ＩＴＤ：ｉｎｔｅｒａｕｒａｌ  ｔｉｍｅ  ｄｉｆｆｅｒｅｎｃｅｓ」））、（概して「両耳間レベル差」（ＩＬＤ：Ｉｎｔｅｒａｕｒａｌ  Ｌｅｖｅｌ  Ｄｉｆｆｅｒｅｎｃｅ）かまたは「両耳間強度差」（ＩＩＤ：Ｉｎｔｅｒａｕｒａｌ  Ｉｎｔｅｎｓｉｔｙ  Ｄｉｆｆｅｒｅｎｃｅ）かのどちらかで呼ばれる）各耳における音声レベルの差、および耳の耳介の解剖学的構造によって引き起こされるスペクトル成形に結びつけられる。頭部のこれらの小さな動きは、聞き手によって知覚される空間的場面の余り大きくない変化しか引き起こされないことができるが、実際の場面の中の独立した関係者としての聞き手の役割の現実感および認識をその聞き手に提供するために重要である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
必要とされているのは、小さな頭部の動きを検出し、ヘッドフォン上での音声のレンダリングの際により優れた現実感を生み出すためにインパルス応答と音源信号との処理された積を変更するための効率的な方法である。
【課題を解決するための手段】
【０００６】
上述のことを達成するために、本発明は、さまざまな実施形態において、ヘッドフォン上での音声のバイノーラル再現（ｂｉｎａｕｒａｌ  ｒｅｐｌｉｃａｔｉｏｎ）にさらなる次元の現実感を提供するために頭部追跡ハードウェアからの結果によって実施され、修正されるバイノーラル信号をヘッドフォンに提供するように構成されたプロセッサを提供する。さらに、本発明のさまざまな実施形態においては、両耳室内インパルス応答フィルタによって処理された音声の効率的な頭部追跡の修正が、メモリストレージ要求の余り大きくない増加のみを使用してなされる。ＢＲＩＲは、部屋のサイズによっては長さが何百ミリ秒にもなることができる部屋の反響を含む。ＨＲＩＲはＢＲＩＲよりも遥かに短いので、ＨＲＩＲは、遥かに短いフィルタを使用してモデル化され得る。本発明の実施形態に関連して後でより詳細に説明されるように、フィルタリング演算は、時間領域、周波数領域、または区分された周波数領域の畳み込みを使用して実行されることができる。本明細書において使用されるとき、バイノーラル音響インパルス応答（ＢＡＩＲ：Ｂｉｎａｕｒａｌ  Ａｃｏｕｓｔｉｃ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）は、頭部、胴、および耳の特性、音響環境内のラウドスピーカの特性、ならびに環境内で起こる反響を含む音響環境によって引き起こされるスペクトル成形およびその他の変化の効果を反映する空間音声における測定値を指す。上で検討された両耳室内インパルス応答（ＢＲＩＲ）および頭部インパルス応答（ＨＲＩＲ）は、両方とも、バイノーラル音響インパルス応答のサブセットである。用語、バイノーラル音響伝達関数（ＢＡＴＦ：Ｂｉｎａｕｒａｌ  Ａｃｏｕｓｔｉｃ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）は、本明細書においては、バイノーラル音響インパルス応答の測定に基づいて音の受け取りを特徴づける伝達関数を指す。つまり、ＢＡＴＦは、単一の用語によってＨＲＴＦとＢＲＴＦとの両方を包含するように本明細書によって定義される。同様に、ＢＡＩＲは、ＨＲＩＲとＢＲＩＲとの両方を包含するように定義される。
【０００７】
別の実施形態においては、インパルス応答またはＨＲＴＦデータベースを記憶するために必要とされる空間の節約が、通常の方法よりも低い頻度でインパルス応答をサンプリングすることによって達成される。比較的粗い間隔でのこのサンプリングは、球形グリッドを生成するために必要とされるデータ測定の回数を減らし、インパルス応答をキャプチャすることにかかる時間を減らす。サンプリングされたデータ点の間に入るデータ点に関するインパルス応答は、いくつかの実施形態においては、周波数領域における補間によって生成される。
【０００８】
手短に言えば、頭部追跡の修正のための１つの実施形態の演算の概要が、下で説明される見本によって提供される。ユーザが基準位置（つまり、０度の方位）において真っ直ぐ前を見ているとき、プロセッサは、関連するチャンネルに関するＢＲＩＲに厳密に依拠する。したがって、処理は、（約−３０度の方位の）左チャンネルのための左前のスピーカから記録されたＢＲＩＲおよび右チャンネルのための（約＋３０度の）右前のスピーカから記録されたＢＲＩＲに基づく音声を届ける。したがって、この場合、基準位置からの頭部の動きがないので、結果は、頭部追跡がない場合とまったく同じである。
頭部が動くとき、理想的には、ＢＲＩＲが変わるべきである。たとえば、頭部が５度右に回るとき、右チャンネルは、３０度の代わりに２５度の方位で記録されたＢＲＩＲを使用してフィルタリングされるべきであり、左チャンネルは、−３０度の代わりに−３５度で記録されたＢＲＩＲを使用してフィルタリングされるべきである。
【０００９】
しかし、この構成のためのメモリ要求は、かなり高い。２つのインパルス応答（ＩＲ）が、各スピーカ位置に関して記録され、各ＩＲは、小さな部屋の反響でさえもキャプチャするために少なくとも２００ｍｓｅｃの長さとなる可能性が高い。ＢＲＩＲは、ａ）耳に直接与えられる無響伝達関数（ａｎｅｃｈｏｉｃ  ｔｒａｎｓｆｅｒ  ｆｕｎｃｔｉｏｎ）と、ｂ）部屋の反響の伝達関数との両方を組み込む。５つのスピーカ位置を用い、４８ｋＨｚで記録するよくあるマルチチャンネルの部屋の構成は、頭部の各角度に関して９６ｋのフィルタ係数のためのストレージを必要とする。我々が−４５度と＋４５度との間の２度の方位毎および２度の仰角毎のフィルタの新しい組を持ちたい場合、これは、７億個を超える係数のためのストレージを必要とする。
【００１０】
加えて、処理コストが、増やされる。概して、周波数領域の（「高速な」）畳み込みが、その処理コストがずっと少ないので、この種の大きな畳み込みのために使用される。しかし、高速な畳み込みを使用し、フィルタのある組から別の組に変更するときは、「古い」フィルタと「新しい」フィルタとの間のクロスフェード（ｃｒｏｓｓ−ｆａｄｅ）が必要とされ、これは、短い期間、２つの畳み込みが実行されなければならないことを意味する。これは、頭部が動いているときにはいつでも処理コストを２倍にする。信号処理ハードウェアは最も大きな処理帯域幅の要求を満たすように規定されなければならないので、これは、ハードウェアのコストを２倍にするか、または処理ハードウェアが変更不可能である場合にフィルタの長さが半分にされなければならないかのどちらかである。これは、音声品質に影響を与える。
【００１１】
必要なフィルタリング演算は、時間領域、周波数領域、または区分された周波数領域の畳み込みを使用して実行されることができる。区分された畳み込みは、必ずしも周波数領域において行われる必要があるとは限らないが、多くの場合は周波数領域において行われる必要がある。区分された畳み込みの実施形態は、インパルス応答を一連のより短いセグメントに分割することをともなう。それから、入力信号が、各セグメントと畳み込まれる。これらの別々の畳み込みの結果が、一連のメモリバッファに記憶される。出力信号が、適切なバッファを合計することによって生成される。この手法の１つの利点は、この手法がレイテンシーをＩＲの長さから各セグメントの長さまで削減することである。一部の実施形態においては、後者が好ましいが、その他の実施形態においては、本明細書において説明される方法は、その他の２つと連携しても働く。
【００１２】
本発明のさまざまな実施形態によれば、より効率的で簡単なシステムによって現実感が得られる。好ましくは、ＢＲＩＲの単一の組が使用されるか、または代替的に、ＢＲＩＲの縮小された組が使用され、第１の位置に関するＢＲＩＲを第２の異なる位置に関するＢＲＩＲに変換するための回転フィルタの組と組み合わされるかのどちらかである。本明細書において使用されるとき、回転フィルタは、たとえば、聞き手の頭部の回転が検出された後に必要とされることができるように、第１の位置に関するＢＲＩＲを第２の異なる位置に関するＢＲＩＲに変換するための伝達関数を指す。
一実施形態によれば、頭部追跡を行うヘッドフォン上で空間音声を生成するためのシステムが、時間領域のＦＩＲ回転フィルタを両耳間時間遅延（Ｉｎｔｅｒａｕｒａｌ  Ｔｉｍｅ  Ｄｅｌａｙ）回路と組み合わせるＦＩＲフィルタを実装する少なくとも１つのプロセッサを含む。
【００１３】
したがって、本発明の実施形態は、ヘッドフォンアプリケーション上のさまざまな空間音声のための効果的なソリューションを提供する。
【００１４】
本発明のこれらのおよびその他の特徴および利点が、図面を参照して下で説明される。
【図面の簡単な説明】
【００１５】
【図１Ａ】本発明の実施形態による疎なＨＲＴＦまたはＢＲＩＲデータベースを生成するための聞き手の頭部の周りのさまざまなスピーカ位置の方位を示す図である。
【図１Ｂ】本発明の実施形態による疎なＢＲＩＲデータベースを生成するためのさまざまなスピーカ位置の仰角を示すグラフ表示である。
【図２】本発明の一実施形態による頭部追跡の特徴を有するヘッドフォン回路を示す図である。
【図３】本発明の一実施形態による指定された位置に関する単一の仮想的なスピーカのための処理を示す図である。
【図４】頭部追跡をしないステレオ入力信号を処理するための従来のシステムを示す図である。
【図５】本発明の一実施形態による頭部追跡の行われるステレオ入力を示す図である。
【図６Ａ】本発明の実施形態によるキャプチャシステムによる疎なＨＲＴＦグリッドの生成を反映する流れ図である。
【図６Ｂ】本発明の実施形態による頭部追跡の修正が選択されたＨＲＴＦの対に適用される再生システムを反映する流れ図である。
【図７】本発明の実施形態による、カスタマイズのためにＨＲＴＦを生成し、カスタマイズのために聞き手の特性を獲得し、聞き手のためにカスタマイズされたＨＲＴＦを選択し、相対的なユーザの頭部の動きに合わせて働くように適合された回転フィルタを提供し、ＨＲＴＦによって修正された音声をレンダリングするためのシステムの図である。
【図８】本発明の実施形態による獲得および測定によってＨＲＴＦデータセットを生成する方法を示す流れ図である。
【図９Ａ】本発明の一実施形態による聞き手の周りの疎な球形グリッドの生成を示す図である。
【図９Ｂ】本発明の一実施形態による聞き手の周りの図９Ａの球形グリッドに適用される補間の結果を示す図である。
【図９Ｃ】本発明の実施形態による頭部の動きおよび関連する回転フィルタの選択によって生成される結果として得られるベクトルを示す図である。
【図１０】本発明の実施形態による異なる距離の球形のデータベースを示す図である。
【図１１】本発明の実施形態によるカスタマイズされたＨＲＴＦを生成する際の部屋の中の直接届く音および反射を示す図である。
【発明を実施するための形態】
【００１６】
以降、本発明の好ましい実施形態の詳細な参照がなされる。好ましい実施形態の例が、添付の図面に示される。本発明がこれらの好ましい実施形態に関連して説明されるが、本発明をそのような好ましい実施形態に限定することは意図されていないことが理解されるであろう。むしろ、添付の請求項によって定義された本発明の精神および範囲内に含まれ得る変更形態、修正形態、および同等物を包含ことが意図される。以下の説明において、本発明の完全な理解をもたらすために多くの具体的な詳細が説明される。本発明は、これらの具体的な詳細の一部またはすべてなしに実施されることができる。その他の場合、本発明を不必要に曖昧にしないために、よく知られているメカニズムは、詳細に説明されていない。
【００１７】
本明細書においては、さまざまな図面全体を通じて同様の番号が同様の部分を指すことに留意されたい。本明細書において図示され、説明されるさまざまな図面は、本発明のさまざまな特徴を示すために使用される。特定の特徴がある図面に示されており、別の図面に示されていない限りは、そうでないことが示される場合または構造が特徴の組み込みを本質的に妨げる場合を除いて、それらの特徴がその他の図に完全に示されているかのように、それらの特徴はそれらの図に示された実施形態に含まれるように適合され得ることを理解されたい。そうでないことが示されない限り、図面は、必ずしも正しい縮尺になっていない。図面に与えられるいずれの寸法も、本発明の範囲に関する限定であるように意図されておらず、単に例示的であるように意図される。
【００１８】
人のＨＲＴＦは、主にその人の他に同じものがない耳、頭部、肩、および胴が原因で他に同じものがない。通常「平均的な」頭部を得ることによって生成される包括的なＨＲＴＦは、ユーザのＨＲＴＦに一致せず、仰角の誤差、前後の混同、および芳しくない外在化（ｅｘｔｅｒｎａｌｉｚａｔｉｏｎ）をもたらす場合がある。空間音声を提供する際の最良の結果は、聞き手にカスタマイズされた密なＨＲＴＦデータベースを提供することによって達成される。これは、正確なフィルタリングを提供する目的、つまり、選択されたフィルタ係数が選択された聞き手に音が選択された方向から来ているという正確な知覚を与えることにとって重要である。もちろん、多くのデータ点によるＨＲＴＦのカスタマイズされたデータベースを生成することは、より多くのメモリを必要とする。概して、ＨＲＴＦデータベースは、方位が１５度以下および仰角が１５度以下で間隔が空いたデータ点に関するＨＲＴＦの対を提供する。理想的には、これらの測定が、聞き手の周りの完全な球形グリッドを生成するために行われる。好ましくは、ＨＲＴＦフィルタのより一層の正確さをもたらすために、データ点は、互いに３度もの近さに置かれる。これは、当然、かなりのメモリストレージを必要とする巨大なＨＲＴＦグリッドを生じる。さらに、人のＨＲＴＦを測定することは、静音室と、ユーザが長い期間ほとんど動かずに座っていることとを必要とする退屈で面倒なプロセスである。ユーザは、長いＨＲＴＦ測定プロセスが原因で疲労を感じ、じっとしているのが不可能であり、理想的でない測定をもたらす場合がある。ＨＲＴＦは、たとえユーザが測定中にほんの１センチメートルそのユーザの頭を動かしただけだとしてももはや正確でない。実際のＨＲＴＦキャプチャプロセスに関しては、概して、ラウドスピーカが、規則的なおよび典型的には密な球形グリッドに対応するようにユーザの頭部の周りを回転させられ、プロセス全体が、数時間かかる場合がある。測定プロセスの出力は、方向（方位、仰角）によってインデックス付けされたＨＲＴＦの対のリストであり、傾げる向きへの傾き（ｔｉｌｔ）の尺度も含むことができるＨＲＴＦマップである。このマップは、ＨＲＴＦグリッド、球形グリッド、またはＨＲＴＦデータセットとも呼ばれることがある。球形グリッドの概念は、ＨＲＴＦが、聞き手が指向性のある音を正確に知覚することを助けるために、聞き手の頭部の周りの平面上の３６０度の方向と、さらにこの水平面の上下３６０度の仰角とで使用され得ることを表す。かかる測定時間を認識するために、例として、ＭＩＴのＫＥＭＡＲ  ＨＲＴＦデータベースは、５度の方位のインクリメントを用いる測定グリッドを使用する。また、ＵＣ  ＤａｖｉｓのＣＩＰＩＣ  ＨＲＴＦデータベースは、５．６２５度の方位のインクリメントを用いる測定グリッドを使用する。これらと比べると、１５度の離間を用いるよく使用されているＩＲＣＡＭデータセットでさえも、いささか大雑把ではあるが、データ点の完全な球形グリッド、つまり、ＨＲＴＦマップをキャプチャするためにまだかなりの時間がかかる。
【００１９】
これらの欠点を考えると、許容可能な正確さを引き続き提供しながら測定プロセスを短縮することが望ましい。
【００２０】
使用中、頭部の位置（方位、仰角）が与えられると、従来の方法は、概して、ＨＲＴＦマップまたはグリッド内で適切なＨＲＴＦを「検索する」ためのインデックスとして方位および仰角パラメータを使用し、「もっとも近い」ＨＲＴＦを使用するか、または周りのＨＲＴＦの補間を使用する。時間領域における単純な補間は、最も簡単な手法であるが、あまり上手くいかない。これは、補間のために使用される近くのインパルス応答（ＩＲ）が位相外れである場合、時間領域の応答の補間が相殺的干渉を生じる場合があるからである。この問題を防ぐために、いくつかの方法が提案されている。１つの例は、補間の前にＩＲが時間を揃えられるように時間伸縮（ｔｉｍｅ  ｗａｒｐｉｎｇ）を適用することである。しかし、これは、補間されるＩＲが時間伸縮を考慮に入れるために修正されなければならないので複雑な手順である。
【００２１】
上記の問題が原因で、好ましい実施形態において、我々は、ＨＲＴＦの間の角度が大きいときでさえも良い結果をもたらす周波数領域の補間を使用する。本発明は、周波数領域における補間に関する実施形態を提供する。より詳細には、１つの方法が、ＨＲＴＦの大きさおよび位相を補間することを含む。周波数領域において補間を実行することは、周波数領域に変換するための高速フーリエ変換（ＦＦＴ）および時間領域に戻すための逆ＦＦＴなどの演算を必要とする。これらは、当業者に知られており、したがって、変換ブロックの詳細についてのさらなる説明は、本明細書においては不要であると考えられる。
補間のために使用されるデータ点（グリッド点）の数は、いくつかの要因に依存する。これらの要因は、（間隔がグリッド全体で一定である一様な、または一様でない）グリッドの間隔と、グリッド点に対して相対的な補間される点がある位置とを含む。シナリオによっては、概して、２または３点を使用する実施形態において最適な結果が達成されるが、本発明の一部の実施形態においては、４点が使用される。
【００２２】
本発明のさまざまな実施形態においては、異なる補間方法が、主に、測定された点に対して相対的な補間される点の座標に基づいて選択される。第１の実施形態においては、隣接線形補間（ａｄｊａｃｅｎｔ  ｌｉｎｅａｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）が実行される。これは、ＨＲＩＲを補間するためのもっとも単純な方法である。この場合、目標の角度が、２つの隣接する点から補間される。この方法は、同じ平面上の点の間（たとえば、仰角を固定した方位角、または方位を固定した仰角）を補間するとき、つまり、補間される点がグリッド線のうちの１つに載っているときに使用され得る。
別の実施形態においては、双線形補間（ｂｉｌｉｎｅａｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）が選択される。これは、線形補間の拡張であり、補間される点がグリッド線の間にあるときに使用され得る。所与の目標位置に関して、補間されるＨＲＩＲは、４つの最も近い点に関連するＨＲＩＲの加重和として近似される。これらの点は、目標位置の周りで正方形または長方形を形成する。
【００２３】
さらに別の実施形態においては、球状三角形補間（ｓｐｈｅｒｉｃａｌ  ｔｒｉａｎｇｕｌａｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）が選択される。これは、実は、一様でない測定グリッドを用いて（つまり、最も近い４点が正方形または長方形を形成しないときに）働くことができる双線形補間の修正されたバージョンである。この場合、目標位置の周りで三角形を形成する３つの最も近い点が選択される。双線形補間法と同様に、補間されるＩＲは、最も近い点に関連するＨＲＴＦの加重和として近似される。しかし、この場合は、補間の式がより複雑である。
【００２４】
まとめると、隣接線形補間の実施形態は、補間のために２つのＨＲＩＲを使用し、双線形補間は、補間のために４点を使用し、球状三角形補間は、補間のために３点を使用する。一体どちらの方法が使用されるのかは、補間されている点の座標と、グリッドの間隔が一様か否かとに依存する。
周波数領域の補間は、我々が比較的粗い測定間隔（たとえば、約５度ではなく３０〜６０度）を使用することを可能にし、比較的粗い測定間隔は、球形マップまたはグリッドをカバーするために必要とされる測定の数を著しく削減する。言い換えると、周波数領域補間によって、我々は、聞き手の頭部の周りの球の比較的疎なサンプリングを実行する。ラウドスピーカ位置の数が削減されることによって、キャプチャ時間が大きく削減される。これは、じっとしているというユーザへの要求（これはＨＲＴＦの品質を高める）を減らし、部屋がより短い期間利用可能であることだけを必要とする。
【００２５】
その他の実施形態において、ＨＲＴＦの測定の削減は、不規則なグリッドにおいてＨＲＴＦをキャプチャすることによってもたらされる。すべての頭部の姿勢が、等しく重要なわけではない。たとえば、正面の６０度の円錐が、特定の使用事例においてはより重要であるとみなされる場合がある。グリッドは、その円錐内ではより密であることができ、一方、後ろおよび下の四分円は、より疎なグリッドを有することができる。
【００２６】
さらに別の実施形態において、我々は、複数のスピーカを使用することによって効率を達成する。ＩＲＣＡＭなどの現行の方法は、概して、球形グリッドをカバーするために可動式アームに搭載された１つのスピーカおよび回転する椅子を使用する。この実施形態において、我々は、複数のスピーカを設定し、複数のＨＲＴＦを同時に測定し、それらのＨＲＴＦを球形グリッドにマッピングし、測定のためにかかる時間をさらに削減する。言い換えると、（２つのインイヤー型マイクロフォンを付けた）聞き手の周りに５つのスピーカを置いたスピーカ設定に関して、我々は、５つのスピーカの各々を順番に作動させ、スピーカに対して相対的に聞き手が取る各位置に関する５つの読み取り値をもたらす。さらに、ＨＲＴＦキャプチャの測定の削減が、対称性を認識することによって上述の技術のすべてにより実現され得る。つまり、部屋ならびにユーザの耳介、頭部、および胴が対称的であると我々が仮定する場合、我々は、球の半分でＨＲＴＦを測定し、ＨＲＴＦを残り半分に鏡のように射影しさえすればよい。
【００２７】
図１Ａは、本発明の実施形態のうちの１つの１つのステップにおいてＨＲＴＦまたはＢＲＩＲの疎なグリッドを生成するための聞き手の頭部の周りの３６０度の方位のさまざまなスピーカ位置を示す図である。理想的には、聞き手１０２の周りの方位の１０４から１１５を含むようなスピーカ位置は、最大の正確さのためには３度離れている。同様に、図１Ｂにおいて、スピーカ位置１２２、１２３、１２４、１２５、１２６、１２７、および１２８は、理想的には、仰角が最も近いそれぞれのスピーカ位置から３度の上への傾き（ｉｎｃｌｉｎａｔｉｏｎ）の角度および下への傾き（ｄｅｃｌｉｎａｔｉｏｎ）の角度を反映する。本発明の技術を使用すると、それに匹敵する正確さが、本発明の実施形態の周波数領域の補間が後に続く、隣接するスピーカ位置が３０から６０度の範囲内にあることができる「疎な」ＨＲＴＦグリッドによって達成され得る。図１Ｂは、ＨＲＴＦデータベースを生成するためのさまざまなスピーカ位置の仰角を示すグラフ表示である。
上の例示的な実施形態においては、ＢＲＩＲの対およびＨＲＩＲの対が、少なくとも部分的に、動かない頭部の位置に対するスピーカの移動によって引き起こされる応答を記録することによって生成される。
【００２８】
代替的な実施形態において、ＢＲＩＲの対およびＨＲＩＲの対は、少なくとも部分的に、動かないスピーカに対して相対的な頭部の移動によって引き起こされる応答を記録することによって生成される。スピーカに対して相対的な頭部の位置の操作が実施され、そのような操作に基づいて適用可能な伝達関数に対する修正が行われる。たとえば、頭部が、たとえば、０度の基準位置の４５度左まで回転させられるときは、頭部に対して相対的にスピーカの移動が行われる状況とは異なる影響が生じる。この違いは、主に、頭部と体の残りの部分との間の関係が変わったことによる。聞き手に対して相対的にスピーカの移動が行われるほとんどの測定の状況に関して、頭部は、肩に対して対称的に置かれている。これは、もちろん、スピーカが動かないままで、頭部が回転されるときには当てはまらない。そのような移動を認識し、補償するＢＡＩＲおよびそれらのＢＡＩＲに関連するＢＡＴＦを生成することは、音声の空間的知覚の正確さの向上をもたらす。
別の例として、スピーカの仰角を変更することは、動かないままであるスピーカに対して上または下に頭部を物理的に動かすことと比べてまったく異なるＢＡＩＲを持つ。ＢＡＩＲは、上述の頭部の回転に関してのみでなく、頭部の上への傾き（ｉｎｃｌｉｎａｔｉｏｎ）／下への傾き（ｄｅｃｌｉｎａｔｉｏｎ）および頭部の傾げる向きへの傾き（ｔｉｌｔｉｎｇ）に関しても変わる。１つの好ましい実施形態において、ＨＲＴＦデータセットまたは回転フィルタデータセットの生成は、概してＨＲＴＦおよびＢＡＩＲをキャプチャするための複数のスピーカ位置の使用に加えて、頭部の回転に関する追加的なデータを含む。
【００２９】
図２は、本発明の一実施形態による頭部追跡の特徴を有するヘッドフォン回路を示す図である。システム２００においては、頭部追跡センサ２０２が、ユーザの頭部の向きの変化を測定するために聞き手の頭部に取り付けられる。このセンサからの出力は、方位ブロック２０４において方位および仰角情報を生成するために使用される。それから、導出された方位および仰角情報が、回転フィルタデータベース２０８に送信される。ＤＳＰプロセッサ２１６は、聞き手のためにカスタマイズされたＨＲＴＦ／ＢＲＩＲと、仰角および方位パラメータに対応する回転フィルタの選択とを記憶することが好ましいＢＲＩＲデータベース２１０（ＢＡＩＲデータベースの例）内の情報を使用して入力音声２１５を処理（フィルタリング）して、ヘッドフォンのトランスデューサ２２０へのバイノーラル音声信号を生成する。
【００３０】
図３は、指定された位置に関する単一の仮想的なスピーカのための処理を示す。入力音声信号は、所望の位置の仮想的なスピーカの知覚を作り出すために伝達関数３０２および３０４の対によって処理される。頭部のそれぞれの異なる向きに関する組の代わりにＢＲＩＲの単一の組（または代替的にＢＲＩＲの縮小された組）を使用することによって、さまざまな実施形態の本発明は、現実感を保ちながら上述の問題を実質的に避ける。ＢＲＩＲのこの単一のまたは縮小された組は、基準位置に関するＢＲＩＲを異なる位置に関するＢＲＩＲに変換する「回転フィルタ」の組と組み合わされる。これらの回転フィルタは、非常に短く、したがって、メモリおよび処理コストを節約することができる。この図は、頭部に対して相対的な特定の位置の単一の仮想的なスピーカのための処理を示す。下の説明において、我々は、初期位置に関するＨＲＴＦを第２の位置に関するＨＲＴＦに変換するための、我々が代替的に回転フィルタと呼ぶ伝達関数を導出する。これらの回転フィルタは、我々が複雑なフィルタによるデータベース（頭部のそれぞれの可能な位置に関するＢＲＩＲ）をより短くより簡単なフィルタによって置き換えることを可能にする。
【００３１】
そのとき、我々は、伝達関数ＨLおよびＨRを２つの伝達関数の積として表す。
ＨL＝ＨAL・ＨTL
ＨR＝ＨAR・ＨTR      （１）
ＨALおよびＨARは、無響伝達関数である。ＨALおよびＨARは、無響室におけるスピーカ位置から耳への伝達関数の測定の結果であり、概して、ＨＲＴＦと呼ばれる。ＨTLおよびＨTRは、実質的に部屋の反射である−−これは、ＨＲＴＦが取り除かれる場合に残されるものである。
【００３２】
ここで、我々は２つの頭部に対して相対的なスピーカ位置を有すると仮定する。位置ゼロは、頭部が真っ直ぐ前を見ているときのスピーカのうちの１つの位置である。この場合、スピーカの頭部に対して相対的な位置は、絶対的な位置と同じである。位置１は、頭部が何らかの方法で動かされるときの同じスピーカの頭部に対して相対的な位置であり、したがって、この頭部に対して相対的な位置は、もはや絶対的な位置と同じではない。これらの２つの位置に関する伝達関数は、
2019146160.tif 000003
および
2019146160.tif 000004
である。
【００３３】
我々は、位置の差を補償するフィルタＨDLおよびＨDR（回転フィルタ）の対を必要とする。したがって、
2019146160.tif 000005
および
2019146160.tif 000006
である。
【００３４】
（３）に（２）を代入して、我々は、
2019146160.tif 000007
および
2019146160.tif 000008
を得る。
【００３５】
ここで、我々は、反射が頭部に対して相対的な位置と無関係に同じであると仮定する。この仮定は完全に正しくはないが、結果が説得力を持つために十分なだけ真実に近い。したがって、
2019146160.tif 000009
および
2019146160.tif 000010
である。
【００３６】
（４）に（５）を代入して、我々は、
2019146160.tif 000011
および
2019146160.tif 000012
を得る。
これは、我々がこれらの等式の両辺からＨTLおよびＨTRを相殺し、整理して、
2019146160.tif 000013
および
2019146160.tif 000014
を得ることを可能にする。
したがって、我々が必要とするフィルタの伝達関数は、位置１（現在の頭部に対して相対的なスピーカ位置）に関するＨＲＴＦを位置ゼロ（絶対的なスピーカ位置）で割ったものである。
【００３７】
ＨＲＴＦは、無響であるので、反響を含まず、短いフィルタを使用して正確に伝えられ得る。したがって、回転フィルタも、短くなり得る。実験は、比較的短いインパルス応答に対応するためのタップ数を削減されたＦＩＲフィルタが使用され得ることを示した。これは、ＦＩＲフィルタの複雑さを大きく緩和する。たとえば、先の見本の検討においては、４８ｋＨｚでのサンプリングに関して、数千個の係数が必要とされる（５００ｍｓｅｃのＨＲＴＦは、サンプリングレート＝４８ｋＨｚである場合、５００／１０００＊４８０００＝２４，０００個のサンプルを必要とする）。
【００３８】
頭部の向きが変わるとき、フィルタが変更され、フィルタ係数が更新されなければならない。出力信号の断絶などの音声のアーチファクト（ａｒｔｉｆａｃｔ）を避けるために、フィルタの間の遷移が、処理が行われている間にいくつかのサンプルに渡ってフィルタ係数をクロスフェードすることによって直接処理され、したがって、この実施形態においては、頭部の向きが変わるときに処理コストが、わずかしか増やされない。
【００３９】
両耳間時間遅延
図３に示されたフィルタＨLおよびＨRは、時間遅延Ｉとゼロ遅延フィルタＦとの積として表され得る。
ＨL＝ＦL・ＩL
および
ＨR＝ＦR・ＩR
【００４０】
ＩLおよびＩRは、両耳間時間遅延（ＩＴＤ）であり、サジタル面上以外の頭部の周りの任意の場所の音源からの音が片方の耳に届く前にもう片方の耳に届くために生じる。したがって、常にＩLおよびＩRのうちの少なくとも１つはゼロであるということになり、通常は片方がゼロで、もう片方が正であるということになる。頭部を追跡する状況において、ＩＴＤは、頭が動くときに変わる必要がある。所与の部屋に置いて、ＩＴＤは、主として、方位および頭部の幅の関数である。正常な頭部の幅は、通常、両耳間距離（ｉｎｔｅｒａｕｒａｌ  ｄｉｓｔａｎｃｅ）（耳の間の距離）と呼ばれ、通常は、０．１７５ｍであると仮定される。Ｉが正であるとき、これは、正のＩRおよびゼロのＩLに対応し、Ｉが負であるときは、その逆である。
図４は、通常の方法によるステレオ入力に関する、頭部追跡をしない処理のためのシステム４００を示す。ここで、ＩＴＤは、ＢＲＩＲフィルタ４０２、４０４、４０６、および４０８に含まれる。
図５は、本発明の一実施形態による頭部追跡をともなう処理を示す。
【００４１】
この図においては、
−  ＩＴＤ．．．とラベル付けされたブロックが、ＩＴＤであり（つまり、５０２、５０４、５０６、および５０８）、
−  ＲＯＴとラベル付けされたブロック（つまり、５１０、５１２、５１４、および５１６）は時間領域のＦＩＲ回転フィルタであり、
−  ＢＲＩＲとラベル付けされたブロック（つまり、５２０、５２２、５２４、および５２６）はインパルス応答のゼロ遅延バージョンである。これらは、任意の畳み込みの方法を使用して行われ得る。
より多くのチャンネルに関して、この処理は上のブロックと同様のより多くのブロックを用いて拡張されることができ、単一の出力の対を生成するために結果が合成される。
【００４２】
実装の選択肢
回転フィルタは、上述のように、複数のＢＲＩＲフィルタが使用されたとした場合よりもずっと少ないストレージを必要とする。我々がタップ数を削減されたＦＩＲフィルタを使用する場合、記憶される必要がある係数の数は、たとえば、省略のないＢＲＩＲを使用して７億を超える代わりに大きく削減される。ＤＳＰのメモリが十分である場合、係数のこのテーブルは、そのＤＳＰのメモリに記憶され得る。しかし、外部メモリを使用する必要がある場合があり、その場合、頭部の向きに応じて係数が外部メモリからＤＳＰに転送され得る。１つの非限定的な実施形態において、これは、Ｉ２Ｃなどの比較的少ない帯域幅のインターフェース上で実施される。
さらにメモリを節約するために、回転フィルタが、より粗いグリッド上で記憶されることができ、補間が、リアルタイムで行われることができる。ＨＲＴＦは、粗いグリッド上で記録されることが多い。たとえば、ＩＲＣＡＭ  ＨＲＴＦ（ｈｒｔｆ．ｉｒｃａｍ．ｆｒ参照）は、１５度の方位分解能および仰角に関する同様の分解能を用いるたった１８７点のグリッドを使用する。これは、回転フィルタのテーブルが１２０，０００個を丁度下回る係数のためのストレージを必要とすることを意味する。１つの実装において、回転フィルタは、この分解能で記憶され、我々は、それらをリアルタイムで補間する。
【００４３】
回転フィルタを使用する際の効率の向上は、処理の要求とメモリの要求との両方を減らし得る。データベースのサイズを小さくするための２つの方法が、下で特定される。第１の方法においては、２つのＢＲＩＲを前提として、回転フィルタを生成するための除算プロセスの後、我々は、「現実感」を維持しながら、結果として得られたＢＲＩＲを時間領域において大幅に切り捨てることができる。上の我々の導出において、我々は、反射が頭部に対して相対的な位置と無関係に同じであると仮定した。したがって、結果として得られたＢＲＩＲの「テール（ｔａｉｌ）」は、主に反射を含み、切り捨てられ、比較的少ないタップ数を有するフィルタをもたらすことができる。
【００４４】
第２の方法による効率の向上は、ＨＲＴＦフィルタを大きなＢＲＩＲとともに使用することと、したがって、正確さをほとんど犠牲にしないこととを含む。ＢＲＩＲは、通常、数千個のサンプルであり、一方、（部屋の応答（ｒｏｏｍ  ｒｅｓｐｏｎｓｅ）のない）ＨＲＴＦは、千個よりもずっと少ないものであることができる（たとえば、よくある場合、おそらく、それぞれ５１２サンプル）。１つの好ましい実施形態において、我々は、（等式７に開示されたように２つのＨＲＴＦを割ることによって）回転フィルタを生成するために別個のＨＲＴＦデータベースを使用する。それから、これらの回転フィルタが、たとえば、従来のステレオスピーカ設定の一部として−３０度に置かれた音源に関して単一のキャプチャされた大きな（たとえば、２４，０００サンプルの）ＢＲＩＲに適用され得る。
ここまで、本明細書は、主に、疎に測定されたＨＲＴＦデータセットから完全なＨＲＴＦデータセットを生成するためのリアルタイムの方法を説明してきた。以下は、新しい聞き手の耳にマイクロフォンを挿入することなく新しい聞き手のためのカスタマイズされたＨＲＴＦデータセットを生成するように構成されたシステムの概要である。ＨＲＴＦデータセットのための補間されたエントリのリアルタイムの計算ではなく、いくつかの実施形態は、遠隔のサーバにおける補間されたＨＲＴＦデータセットの値、回転フィルタの値、およびＢＲＩＲの計算に頼る。
【００４５】
上述のように、方向の感覚を聞き手に与えるためには、音声信号が、音源の方向についての手掛かりを聞き手に与えるために適切な伝達関数（たとえば、ＨＲＴＦの対またはＢＲＴＦの対などのＢＡＴＦの対）によってフィルタリングされなければならない。用語ＨＲＴＦは、異なるユーザによって異なる意味を与えられてきた。たとえば、場合によっては、研究者は、特に聞き手の耳の耳介によってもたらされる効果含むが、聞き手の胴、頭部、および肩からの屈折および反射の効果も含む、ユーザの鼓膜に音が届くときに起こるスペクトル成形に言及することに関してＨＲＴＦと言う。その他の場合、音が聞き手の耳に届く時間から生じる遅延も、聞き手の周りの空間内の特定の位置に関してＨＲＴＦの対に含まれる。続く段落で説明されるシステムにおいて、ＨＲＴＦは、概して、２つの耳に関する異なる音声経路長を反映する時間遅延（ＩＴＤ）を含み、音源と耳との間の無響伝達関数に制限されると仮定される。しかし、場合によっては、音響環境または部屋の効果が含まれるとき、より広い用語、バイノーラル音響伝達関数の方が好まれる。ＨＲＴＦに適用可能であるものとして本明細書において説明される演算が、概して、ＢＲＩＲに対して実行される同様の演算にも当てはまり、部屋の反響などのさらなる音響環境の効果が、ＢＲＩＲに関連する伝達関数によってモデル化されることに留意されたい。概して、これは、文脈から明らかであるはずである。
【００４６】
結局、ユーザが仮想的な音源の位置を空間的に適切に特定するのを助けるために、特定の方位、仰角、および場合によっては距離に関して選択されたＨＲＴＦが、レンダリングの前に音声信号に適用されなければならない。好ましくは、特定のＨＲＴＦは、聞き手の頭部の周りの球上の多数の位置に関するＨＲＴＦの対（つまり、各耳について１つずつ）を含むＨＲＴＦデータセットから取得されたＨＲＴＦである。たとえば、好ましい実施形態は、ＨＲＴＦの対が３度ずつの方位の変化および３度ずつの仰角に関して与えられるようにＨＲＴＦの測定および／または補間される値の粒度を与える。本発明のその他の実施形態においては、測定の回数および測定を完了するために必要な時間を削減するために対称性が利用される。
【００４７】
測定が個人に関して行われるとき、典型的な設定は、聞き手のそれぞれの耳にインイヤー型マイクロフォンを付けることと、概して聞き手の周りの球上にある音源の多くの位置に関して生成されたインパルス応答を記録することとをともなう。測定が（水平面の上の読み取り値に基づいて）球上の７０００個ほどの点の各々に関して行われる場合、それは、骨の折れる時間のかかるプロセスであるが、聞き手に関する正確な結果を提供し得る。つまり、個別化されたＨＲＴＦまたはＢＲＩＲデータセットが、その聞き手に関して提供され、ヘッドフォンの組に伝達するために入力音声信号を成形する際にレンダリングモジュールによって利用され得るようにされる。対極的に、聞き手の耳にマイクロフォンを挿入することは、一般化されたＨＲＴＦデータセットを使用することによって避けられ得る。たとえば、マネキンの頭部に挿入されたマイクロフォンを用いて行われた測定から研究者によって編纂されたＨＲＴＦデータセットが、使用され得る。代替的に、ある個人に関して測定されたＨＲＴＦデータセット全体が、別の個人のために使用され得る。さらに、平均的なＨＲＴＦデータセットが、多数の個人から取得された測定値の集合から導出され得る。多くの場合、これらの「汎用的な」ＨＲＴＦデータセットは、新しい聞き手が仮想的な音源の位置を空間的に正確に特定することを可能にすることができないことにより、新しい聞き手に関して上手く働かない。本発明のさまざまな実施形態においては、新しい聞き手の音声に関連する物理特性が特定され、ＨＲＴＦデータセットの候補プール（つまり、集合）から１つまたは複数のＨＲＴＦデータセットを選択するためにそのような特性が使用される。選択は、物理特性を集合内の各ＨＲＴＦデータセットに関連する同様のメタデータにマッピングすることによって実行されることが好ましい。一実施形態においては、２つ以上のＨＲＴＦデータセットが「近い」かまたはそれと同様であると特定される場合、補間プロセスが、ＨＲＴＦデータセットの間で行われる。ＨＲＴＦデータセットが特定されると、データセットが、ＨＲＴＦデータセットの記憶のためにユーザに、好ましくはユーザレンダリングデバイスに送信される。
【００４８】
図６Ａは、本発明の実施形態による、聞き手の周りのさまざまな距離のＨＲＴＦの全体的な球形グリッドまたはＨＲＴＦの対の球形グリッドのための回転フィルタをシステムにおいてキャプチャするために行われるステップを示す流れ図である。流れ図は、本発明の実施形態による疎なＨＲＴＦグリッドの生成および選択されたＨＲＴＦの対に適用される頭部追跡の修正を示す。最初に、ステップ６０２において、聞き手が、スピーカが順番に作動させられるようにしてカスタマイズされたＨＲＴＦデータベースを生成するためにマルチスピーカルームに座らせられることができる。ある場合、結果として生じるインパルス応答が、聞き手に付けられたインイヤー型マイクロフォンから記録される。概して、さらなるデータ点が必要とされる場合、プロセスが、聞き手の頭部または椅子を動かすことによって新しい相対的な位置が確立されるようにして繰り返される。
【００４９】
方法は、ブロック６００において始まる。ステップ６０８において、部屋の効果を含むＨＲＴＦ／ＢＲＩＲの測定が、特定の仰角の値に関する測定値の疎な組を生成するために完了される。つまり、測定は、その仰角においてすべての所望の方位の値に関して行われる。測定がさまざまな頭部の傾げる向きへの傾きの位置（つまり、ロール（ｒｏｌｌ））において必要とされる場合、測定は、方位の測定と併せてそれぞれの傾げる向きへの傾きの位置に関して完了され得る。たとえば、４つの傾げる向きへの傾きの位置の測定値が望ましい場合、傾げる向きへの傾きの位置Ｔ１からＴ４が、次の方位の位置に移る前にそれぞれの方位の値に関して取得され得る。代替的に、特定の仰角に関するすべての方位仰角（ａｚｉｍｕｔｈ  ｅｌｅｖａｔｉｏｎ）が第１の傾げる向きへの傾きの値において取得された後、一連の方位の測定の全体が、第２の頭部の傾げる向きへの傾きの値において実行され得る。頭部の傾げる向きへの傾きは、空間的な音声の位置の聞き手の知覚を妨げるため重要であり、頭部がもはや傾げる向きへの傾きが中立的である位置にないことを反映するために聞き手に関するＨＲＴＦの対に対する調整を必要とする。頭部の傾げる向きへの傾きは、航空機のノーズからテールへの軸の周りの回転における航空機のロール運動の概念にいくらか似ている、聞き手の鼻から後頭部に延びる軸の周りの回転を指す。
【００５０】
それに続けて、ステップ６１０において、選択された仰角においてグリッドを完成させるために一実施形態において補間が任意選択で開始される。明瞭にするために、補間は、異なる段階でさまざまな実施形態によって実行され得る。たとえば、補間は、距離球面（ｄｉｓｔａｎｃｅ  ｓｐｈｅｒｅ）全体に関してすべての方位および仰角の値がキャプチャされた後に実行され得る。さらに、補間は、聞き手の使用に関連して与えられた方向によって決められたように、必要とされるときに実行され得る。次に、ステップ６１２において、回転フィルタが、好ましくは、測定されたＢＲＩＲを、（無響の）直接届く音の記録に関するＨＲＴＦのサイズをおおよそ近似するサイズにまず切り捨てることによって生成される。本発明を限定する意図なしに、ＨＲＴＦを１００ｍｓｅｃ未満まで切り捨てることが、直接届く音を適切にキャプチャするために好適に働くとこが分かった。一実施形態においては、補間が、切り捨ての前に行われる。その他の実施形態においては、切り捨てが、補間の前に、含まれる部屋の効果をともなうＨＲＴＦに対して最初に実行される。補間が完了されると、一実施形態においては、回転フィルタが、データセット内の切り捨てられたＨＲＴＦを（部屋の反射の応答を含む）基準位置のＨＲＴＦの切り捨てられたバージョンによって割ることにより生成される。ステップ６１４において判定されるときに、さらなる仰角の値がまだ残っている場合、新しい仰角の値がステップ６１５において選択され、ステップ６０８、６１０、および６１２が継続する。測定、補間、および回転フィルタの生成が各仰角に関して逐次的順序で示されているが、別の実施形態は、測定フェーズをすべての仰角に関して完了させ、それに続いて球形グリッド全体に関する補間を行い、それから回転フィルタを生成することをともなう。ブロック６１４において、すべての仰角の値が処理されたと判定されると、選択された距離球面に関するＨＲＴＦデータベースが完成され、好ましくは記憶される（ステップ６１６）。さらなる距離球面がキャプチャまたは生成される必要がある場合、新しい距離がステップ６１９において選択され、処理が、新しい距離球面に関する方位、仰角、および傾げる向きへの傾きの値の新しい組のために再び始まる。ステップ６１８において、キャプチャまたは生成されるさらなる距離球面が残っていないと判定される場合、プロセスは、ステップ６２０において終了する。
【００５１】
カスタマイズされたＨＲＴＦデータベース（つまり、生成されたＨＲＴＦグリッド６１６）の使用は、好ましくは、ＤＳＰプロセッサへの空間における方向および音声の入力（ステップ６３４）の処理から始まる。次に、ステップ６３６において、入力された所望の空間における方向に関するＨＲＴＦの対を選択するためのプロセスが始まる。ステップ６３８において、決定ツリーが、空間における方向が疎なグリッドと位置を揃えられているかどうかを判定する。その空間における方向が厳密に揃っていない場合、より正確なＨＲＴＦの対が、ステップ６４０において、好ましくは周波数領域における補間によって生成される。ステップ６４２において、ＤＳＰは、（疎なデータベースかまたは補間のどちらかから）結果として生じるＨＲＴＦの対を入力音声信号に適用する。ステップ６４４において頭部の回転が検出されない場合、プロセスは、さらなる入力データのためにステップ６４６に戻る。頭部の回転が検出される場合、ステップ６４８において、ＤＳＰは、既に生成され、記述された回転フィルタデータベースにアクセスする。ステップ６５０において、ＤＳＰは、選択された回転フィルタ、つまり、頭部追跡デバイスからの検出された方位および仰角パラメータに対応する回転フィルタを適用する。これらは、元々選択されたまたは作られたＨＲＴＦおよび入力音声信号と畳み込まれる。ＨＲＴＦがそのように修正されると、プロセスは、さらなる入力データの処理のためにステップ６４６に戻る。
【００５２】
図７は、本発明の実施形態による、新しい聞き手のためのカスタマイズされたＨＲＴＦデータセットを生成する際に使用されるシステムを示す図である。より詳細には、図７は、本発明の実施形態による、カスタマイズの用途のためにＨＲＴＦを生成し、カスタマイズのために聞き手の特性を獲得し、聞き手のためにカスタマイズされたＨＲＴＦを選択し、相対的なユーザの頭部の動きに合わせて働くように適合された回転フィルタを提供し、ＨＲＴＦによって修正された音声をレンダリングするためのシステムを示す。抽出デバイス７０２は、聞き手の音声に関連する物理特性を特定し、抽出するように構成されたデバイスである。ブロック７０２はそれらの特性（たとえば、耳の高さ）を直接測定するように構成され得るが、好ましい実施形態において、関連する測定値は、少なくともユーザの片方の耳または両方の耳を含むように撮影されたユーザの画像から抽出される。それらの特性を抽出するために必要な処理は、好ましくは抽出デバイスに７０２において行われるが、他の場所に置かれることもできる。非限定的な例として、特性は、イメージセンサ７０４から画像を受け取った後に遠隔のサーバ７１０のプロセッサによって抽出されることができる。
【００５３】
好ましい実施形態においては、イメージセンサ７０４が、ユーザの耳の画像を獲得し、プロセッサ７０６が、ユーザに関する関連する特性を抽出するように構成され、それらの関連する特性を遠隔のサーバ７１０に送信する。たとえば、一実施形態においては、アクティブ形状モデル（Ａｃｔｉｖｅ  Ｓｈａｐｅ  Ｍｏｄｅｌ）が、耳の耳介の画像内の目印となるものを特定し、それらの目印となるものならびにそれらの幾何学的関係および直線距離を使用して、ＨＲＴＦデータセットの集合から、つまり、ＨＲＴＦデータセットの候補プールからＨＲＴＦを選択することに関連するユーザについての特性を特定するために使用され得る。その他の実施形態においては、ＲＧＴモデル（回帰ツリーモデル）が、特性を抽出するために使用される。さらにその他の実施形態においては、ニューラルネットワークなどの機械学習が、特性を抽出するために使用される。ニューラルネットワークの一例は、畳み込みニューラルネットワークである。新しい聞き手の他に同じものがない物理特性を特定するためのいくつかの方法の完全な検討は、２０１６年１２月２８日に出願した、「Ａ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｇｅｎｅｒａｔｉｎｇ  ａ  Ｃｕｓｔｏｍｉｚｅｄ  Ｐｅｒｓｏｎａｌｉｚｅｄ  Ｈｅａｄ  Ｒｅｌａｔｅｄ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ」と題した出願ＰＣＴ／ＳＧ２０１６／０５０６２１に記載されており、この開示は、参照により本明細書にすべて組み込まれる。
【００５４】
遠隔のサーバ７１０は、インターネットなどのネットワークを介してアクセス可能であることが好ましい。遠隔のサーバは、抽出デバイス７０２において抽出された物理特性またはその他の画像に関連する特性を使用してもっとも一致するＨＲＴＦデータセットを決定するためにメモリ７１４にアクセスするための選択プロセッサ７１２を含むことが好ましい。好ましくは、選択プロセッサ７１２は、複数のＨＲＴＦデータセットを有するメモリ７１４にアクセスする。つまり、各データセットは、好ましくは方位および仰角の適切な角度の各点に関するＨＲＴＦの対を有する。たとえば、３度毎に、および同様に３度の点、１２０×６０点、つまり７２００点における半球内の仰角で測定を行うことが必要とされ、各点が、２つのＨＲＴＦ（各耳について１つずつ）を表し、それぞれ、直接の（無響の）の場合に関する短いインパルス応答の長さを表す。既に検討されたように、これらは、ほどほどのサイズの（つまり、１００人を超える）集団においてインイヤー型マイクロフォンを用いて測定することによって導出されることが好ましいが、人のより小さな集団によっても機能することができ、各ＨＲＴＦデータセットに関連する同様の画像に関連する特性と一緒に記憶される。７２００点すべてを測るのではなく、これらは、直接測定によって部分的に生成され、ＨＲＴＦの対の球形グリッドを形成するための補間によって部分的に生成されることができる。部分的に測定された／部分的に補間されたグリッドを用いても、適切な方位および仰角の値がＨＲＴＦデータセットからの点に関する適切なＨＲＴＦの対を特定するために使用されると、グリッドの線上に載らないさらなる点が補間され得る。たとえば、好ましくは周波数領域において、隣接線形補間、双線形補間、および球状三角形補間などの上述の補間方法を含むがこれらに限定されない任意の好適な補間方法が使用されることができる。
【００５５】
一実施形態において、メモリ７１４に記憶されたＨＲＴＦデータセットの各々は、少なくとも、聞き手に関する球形グリッド全体を含む。そのような場合、（聞き手の周りの水平面上の、つまり、耳の高さの）方位の任意の角度または仰角が、音源の配置に関して選択され得る。その他の実施形態において、ＨＲＴＦデータセットは、より制限され、ある場合には、従来のステレオ設定に合う（つまり、真っ直ぐ前のゼロの位置に対して相対的に＋３０度および−３０度の）スピーカの配置、または完全な球形グリッドの別のサブセットにおいては、限定することなく５．１システムもしくは７．１システムなどのマルチチャンネル設定のためのスピーカ配置を生成するために必要なＨＲＴＦの対に制限される。
【００５６】
図７は、メモリに記憶されたデータに関する見本の論理的な関係をさらに示す。メモリは、列７１６に数人の個人に関するＨＲＴＦデータセット（たとえば、ＨＲＴＦ  ＤＳ１Ａ、ＨＲＴＦ  ＤＳ２Ａなど）を含むところを示される。これらは、各ＨＲＴＦデータセットに関連する特性、好ましくは画像に関連する特性によってインデックス付けされ、アクセスされる。列７１５に示される関連する特性は、新しい聞き手の特性を、測定され、列７１６、７１７、および７１８に記憶されたＨＲＴＦに関連する特性とマッチングすることを可能にする。つまり、それらの特性は、それらの列内に示されたＨＲＴＦデータセットの候補プールへのインデックスとして働く。列７１７は、基準位置ゼロにおける記憶されたＢＲＩＲを指す。（各耳について１つずつの）列７１７内の、含まれる部屋の反響をともなうこのＨＲＴＦの対は、ＨＲＴＦデータセットの残りに関連付けられ、好ましくは、後で説明されるように回転フィルタと組み合わされる。
【００５７】
本発明の一部の実施形態においては、２つ以上の距離球面が記憶される。これは、聞き手からの２つの異なる距離に関して生成された球形グリッドを指す。一実施形態においては、１つの基準位置のＢＲＩＲが、２つ以上の異なる球形グリッドの距離球面に関して記憶され、関連付けられる。その他の実施形態においては、各球形グリッドが、適用可能な回転フィルタとともに使用するための独自の基準ＢＲＩＲを有する。選択プロセッサ７１２は、メモリ７１４内の特性を新しい聞き手に関する抽出デバイス７０２から受け取られた抽出された特性とマッチングするために使用される。正しいＨＲＴＦデータセットが選択され得るように、さまざまな方法が、関連する特性をマッチングするために使用される。これらは、「ＳＹＳＴＥＭ  ＡＮＤ  Ａ  ＰＲＯＣＥＳＳＩＮＧ  ＭＥＴＨＯＤ  ＦＯＲ  ＣＵＳＴＯＭＩＺＩＮＧ  ＡＵＤＩＯ  ＥＸＰＥＲＩＥＮＣＥ」と題した、２０１８年２月５日に出願した米国特許出願第１５／９６９，７６７号に記載された複数一致に基づく処理方針、複数の認識器（ｒｅｃｏｇｎｉｚｅｒ）の処理方針、クラスタに基づく処理方針などによって生物測定データを比較することを含み、この開示は、参照により本明細書にすべて組み込まれる。列７１８は、第２の距離における測定された個人に関するＨＲＴＦデータセットの組を指す。つまり、この列は、測定された個人に関して記録された第２の距離におけるＨＲＴＦデータセットを示す。さらなる例として、列７１６内の第１のＨＲＴＦデータセットは、１．０ｍから１．５ｍにおいて取得されることができ、一方、列７１８のＨＲＴＦデータセットは、聞き手から５ｍにおいて測定されたデータセットを指すことができる。理想的には、ＨＲＴＦデータセットは、完全な球形グリッドを形成するが、本発明は、従来のステレオセット、５．１マルチチャンネル設定、７．１マルチチャンネル設定のＨＲＴＦの対を含むサブセット、ならびに方位と仰角との両方が３度毎のＨＲＴＦの対を含む球形グリッドおよび密度が不規則である球形グリッドのすべてのその他の変更形態およびサブセットを含むがこれらに限定されない完全な球形グリッドの任意のおよびすべてのサブセットに当てはまる。たとえば、これは、グリッド点の密度が聞き手の背後の位置よりも前の位置においてずっと高い球形グリッドを含むことができる。さらに、列７１６および７１８の内容の配列は、測定および補間から導出される記憶されたＨＲＴＦの対に当てはまるだけでなく、回転フィルタを含むＨＲＴＦへの前者の変換を反映するＨＲＴＦデータセットを生成することによってさらに改良されるＨＲＴＦの対にも当てはまる。さらに、ＨＲＴＦデータセット内に回転フィルタが存在することは、まず、疎な測定されたＨＲＴＦデータセットを補間することと、その後に、回転フィルタに変換することとをともなうことができる。代替的に、ＨＲＴＦデータセット内に回転フィルタが存在することは、本発明の範囲を逸脱することなく、疎なデータセットを回転フィルタに変換することと、その後、補間することとをともなうことができる。
【００５８】
１つまたは複数の一致するＨＲＴＦデータセットの選択の後、データセットは、新しい聞き手に関して一致するとみなされるＨＲＴＦデータセット全体、または一部の実施形態においては選択された空間配置された（ｓｐａｔｉａｌｉｚｅｄ）音声の位置に対応するサブセットの記憶のために音声レンダリングデバイス７３０に送信される。それから、音声レンダリングデバイスは、所望の方位または仰角の位置に関してＨＲＴＦの対を選択し、空間配置された音声をヘッドフォン７３５に提供するために入力音声信号にそれらのＨＲＴＦの対を適用する。その他の実施形態において、選択されたＨＲＴＦデータセットは、音声レンダリングデバイス７３０および／またはヘッドフォン７３５に結合された別個のモジュールに記憶される。レンダリングデバイスにおいて限られたストレージのみが利用可能であるその他の実施形態において、レンダリングデバイスは、聞き手にもっとも一致する関連する特性データの識別情報またはもっとも一致するＨＲＴＦデータセットの識別情報のみを記憶し、必要に応じて遠隔のサーバ７１０からリアルタイムで（選択された方位および仰角に関する）所望のＨＲＴＦをダウンロードする。既に検討されたように、これらのＨＲＴＦの対は、ほどほどのサイズの（つまり、１００人を超える）集団においてインイヤー型マイクロフォンを用いて測定することによって導出され、各ＨＲＴＦデータセットに関連する同様の画像に関連する特性と一緒に記憶されることが好ましい。７２００点すべてを測るのではなく、これらは、直接測定によって部分的に生成され、ＨＲＴＦの対の球形グリッドを形成するための補間によって部分的に生成されることができる。部分的に測定された／部分的に補間されたグリッドを用いても、適切な方位および仰角の値がＨＲＴＦデータセットからの点に関する適切なＨＲＴＦの対を特定するために使用されると、グリッドの線上に載らないさらなる点が補間され得る。
【００５９】
図８は、本発明の実施形態による獲得および測定によってＨＲＴＦデータセットを生成する方法を示す流れ図である。ブロック７２０は、図７に示されるように、ＨＲＴＦ生成ブロックを指す。ＨＲＴＦデータセットを獲得するための１つの方法は、通常通り、上述のマネキンまたはその他の包括的なＨＲＴＦデータセットに関するＫｅｍａｒの研究などのさまざまな研究者によって積み上げられたデータを参照することによって知られる。このステップは、流れ図のブロック８０４によって包含される。これらは、測定のための人間の聞き手の時間的制約に踏み込まないという利点を有する。１つの欠点は、これらがほとんどの人による正確な音の位置の知覚に特によく適するわけではない平均的な読み取り値を表すのがせいぜいであることである。ステップ８０４において、ＨＲＴＦの測定値が、代替的に、「平均的な」個人を表す別の頭部の測定によって獲得されることができる。測定される個人のための知覚音声（ｐｅｒｃｅｐｔｕａｌ  ａｕｄｉｏ）を生成するために上手く働くが、結果は、個人の広範な集団に適用されるときは期待を下回ることが多い。
【００６０】
ステップ８１１は、本発明の一実施形態による個人のためのカスタマイズされたＨＲＴＦデータセットを生成する方法を示す。これらのステップにおいては、単一のユーザが、全範囲の測定、または少なくとも所望の方位および所望の仰角の点を含む疎な組の測定を受ける。選択された部屋は、ＨＲＴＦの対が音にどのように影響を与えるのかに劇的な効果を有する。次に、ステップ８１２においては、疎な組が測定される場合、補間が、ＨＲＴＦデータセットを完成させるために実行される。次に、ステップ８１３において、回転フィルタが、データセット内の各位置における部屋のＨＲＴＦを取得し、その部屋のＨＲＴＦを、基準位置、典型的には方位および仰角の位置０におけるＨＲＴＦによって割ることによって生成される。一実施形態において、これは、基準位置に関するＢＲＩＲの切り捨てられたバージョンである。第２のまたはそれ以上の距離の球形グリッドが望まれる場合、上のステップが、第２の距離球面において実行される。これによって、その１つの距離球面（または複数の球面）に関してその個人に関するＨＲＴＦデータセットの生成が完了する。このＨＲＴＦデータセットは、より短い回転フィルタの使用によって、より小さいフィルタの記憶を可能にするが、元々測定された部屋のＨＲＴＦの音の品質を引き続き可能にする。
【００６１】
ステップ８２１から８２５は、新しい聞き手の耳にマイクロフォンを挿入することを必要とせずに新しい聞き手に関するＨＲＴＦデータセットを生成する代替的な実施形態を示す。これらのステップによって、複数のＨＲＴＦデータセットが、新しい聞き手による選択のためまたは新しい聞き手のために利用可能にされる。ステップ８２１において、選択された部屋の中で幾人かの異なる個人に関して複数の測定がなされる。これは無響室、つまり、遮音材を使用することによって反射を抑制した無響室であることができるが、本発明の実施形態において、これらの測定は、任意の種類の部屋の中で行われることができる。これらの測定は、すべてユーザの好みに応じて、処理されたまたは処理されていない部屋の中で実行されることができる。
【００６２】
１つの最適化された試験／測定の構成は、３０または４５度毎に測定を行うことと、ＨＲＴＦの対の値の球形グリッドを完成させるために補間することによってその他のインパルス応答の値を導出することとをともなう。ステップ８２２を参照されたい。任意の補間方法が、好適に働くが、出願人は、本明細書の他の箇所で説明される特定の補間方法が他に同じものがない利点を提供すると信ずる。たとえば、周波数領域の補間が、より高い正確さを提供するためにこれらの構成において試験されており、それによって、疎なグリッドが１５から３０度の粗さの範囲でさえも測定された値に十分に依拠することを可能にする。
【００６３】
ステップ８２３において、回転フィルタが、測定された値および補間された値の組み合わせから所望の球形グリッドの各点に関して生成される。回転フィルタへの変換は、完全にまたは部分的に補間ステップ８２２に先立つ可能性があることに留意されたい。補間ステップかまたは回転フィルタ生成ステップかのどちらかに関して、先に決定されたＨＲＴＦの値が、演算を簡単にするために切り捨てられる。これは、初期ＨＲＴＦが、その初期ＨＲＴＦをこれらの代数演算のための望ましい長さよりも長くする部屋の応答を含むため、いかなる分解能または正確さのその他の尺度も損なわないはずである。回転フィルタの生成後、所望の基準点に関するＨＲＴＦ／回転フィルタの対を除いて、比較的長い測定されたＨＲＴＦ／ＢＲＩＲの値が破棄されてもよい場合があることに留意されたい。本発明によれば、測定されたその他の者の関連する特性が特定される。マッチングを容易にするために、好ましい実施形態において、これらは、図７に関連して本明細書において既に説明されたように画像に関連する特性である。
【００６４】
最後に、上述のステップが最初の距離、典型的には１．０から１．５ｍに関する球形グリッドに関して完了された後、それらの同じステップが、ブロック８２５によって象徴されるように、第２の距離またはさらには第３の距離に関して完了されることが好ましい。ステップ８０８は、音声のレンダリングにさらに使用するためのＨＲＴＦデータセットを生成する際のこれらのステップの終わりを表す。
【００６５】
図９Ａは、本発明の一実施形態による聞き手の周りの疎な球形グリッドの生成を示す図である。距離球面９０１が、不可視の球として透視図に示される。個人の完全なＨＲＴＦデータセットを生成する過程で、いくつかの最適化が、測定時間を削減するために行われ得る。１つは、上述のように疎なグリッドを生成することである。理想的には、３または５度毎の測定が望ましいが、３０、４５、またはさらには９０度で初期の測定を行うことなどの疎な測定技術が、後で補間するための有効な基礎を提供し得る。たとえば、（耳の高さの）聞き手の頭部の位置の周りの水平面９０８内の位置９０３にいる聞き手９０２は、０度の仰角（水平面９０８）、３０度の仰角（平面９０９）、および４５度の仰角（平面９１０）を含むさまざまな仰角の平面内で９０度毎に取得された測定値を有する。４５度の仰角における測定を反映する平面内で、測定点９１２、９１３、９１４、および９１５が取得される。ベクトル９０７は、４５度の仰角の平面に関する方位０度の基準方向を示す。ベクトル９０５および９０６は、それぞれ、０度の仰角および３０度の仰角の水平面内のゼロ度の方位の位置を示す。
【００６６】
図９Ｂは、本発明の一実施形態による聞き手の周りの図９Ａの球形グリッドに適用される補間の結果を示す図である。補間された点９１８は、解像度を上げるために平面の各々に追加され、図９Ｂにおいては４５度毎まで高められることが示される。これらの点は、特に本明細書において既に説明された特定の補間技術を含む任意の補間技術によって決定され得る。理想的には、本発明の実施形態によれば、解像度は、約３度もの近さまで高められる。上述のように、本発明の実施形態によれば、完成された球形グリッドから回転フィルタが生成される。
図９Ｃは、本発明の実施形態による頭部の動きおよび関連する回転フィルタの選択によって生成される結果として得られるベクトルを示す図である。図９Ａおよび９Ｂと同様に、球面９０１は不可視であり、球形グリッドおよびその球形グリッドの点を透視図に示す。たとえば、回転フィルタに関する基準位置が、聞き手の頭部９０４に対して相対的な水平面９０８内の点９２２に置かれる。さらに明瞭にするために、点９２３は、０度に位置する点９２２に対して相対的に−９０度の位置を示し、点９２４は、１８０度の位置を示す。ベクトル９３０は、初期基準位置９２２から球形グリッド上の点９２８への聞き手に関連して検出された結果として得られた動きを表し、動きは、右に（時計回りに）１０度のおよび上に（仰角）４５度の頭の水平な回転の組み合わせとしてまとめられる。ジャイロスコープ、加速度計、および磁気センサを含むがこれらに限定されないさまざまなセンサ技術のいずれかが、本実施形態とともに働く。結果として得られる頭部の回転（つまり、水平面と仰角との両方の）が検出されると、対応するＨＲＴＦの値（回転フィルタ）が、個人に関して導出されたＨＲＴＦデータセットから決定され、好ましくはそれらをまずＢＲＩＲの基準位置の組（ここでは０度の仰角および０度の方位の位置（点９２２）に関して決定されたＢＲＩＲの基準位置の組）と組み合わせた後に、レンダリングデバイス７３０において入力音声ストリームに適用され得る。１つの好ましい実施形態は、新しいＨＲＴＦ（回転フィルタ）の選択の根拠を頭部の動きに置く。同じ技術が、頭部の動きの頭部のセンサまたはその他の監視機器の関与なしに音声ストリームの新しい位置を特定することに適用可能である。
【００６７】
図１０は、本発明の実施形態による異なる距離の球形のデータベースを示す図である。より詳細には、１００２は、この場合、それぞれ１．５ｍおよび５ｍの距離の球形グリッドの集合の上面図を示すが、図は、正確な縮尺でない。これらの２つの球形グリッドの各々に関する基準位置は、それぞれ、点９５６および９６６、つまり、ゼロ度の基準位置にある。２つの球形グリッドのみが示されるが、本発明の範囲は、複数の球形グリッド、たとえば、２つ、３つ、または４つ以上を包含することに留意されたい。１．５ｍのより近い方の球形グリッド９０１に関して、４つの測定された位置、つまり、位置９５０、９５２、９５４、および９５６が示される。測定が完了した後、補間によってこの球形グリッドに関して追加の点、たとえば、補間された点９５１が決定される。５．０ｍの第２の球形グリッド１００１は、最初の決定からの、聞き手９０２の周りの水平軸の１つの四分円内の測定された点９６０、９６２、９６４、および９６６を示す。補間された点９６１を決定するために、５．０ｍの球形グリッドに対する補間が後に続く。さらに、点９５５のような中間の距離が望まれる場合、これらは、球形グリッド９０１および１００１上の対応する決定された点から補間され得る。
【００６８】
図１１は、本発明の実施形態によって再現された直接届く音および反射された音の例を示す図である。ＨＲＴＦデータセットを生成する過程で、図１０の聞き手１００４などの個人の頭部および胴に対して相対的なさまざまなスピーカ位置において測定が行われる。図面は、中心（０度）の約４５度左に音源のスピーカ１００６がある部屋１００２内に位置付けられた聞き手１００４を示す。測定のために、聞き手１００４が人であるかまたはマネキンなどの擬似的な人であるかにかかわらず、マイクロフォンが（実際のまたは模造の）耳に挿入されることができ、受け取られた音声信号の測定が行われることができる。典型的なＨＲＴＦデータセットは、さまざまな方位の値および場合によっては仰角の値に相対的な音源の位置を位置付けて聞き手の頭部の周りの３次元グリッドのいくらかを生成することによって作られる。本発明のさまざまな実施形態において、直接届く音波と間接的に届く音波（反射）との両方がキャプチャされ、現実感のある音声のレンダリングを提供するのを支援するためにＨＲＴＦ内に再現される。本明細書全体を通じて、直接受け取られる音に制限される無響伝達関数と対称的に部屋の効果を含む頭部伝達関数であるＢＲＩＲが参照された。図１１は、例示的な反射された音波１００９および１０１１と一緒に聞き手１００４において受け取られる直接届く音波１００８を示す。通常の手法は、無響であるＨＲＴＦを提供する。つまり、それらの手法は、（音波１００８などの）聞き手の耳における直接届く音波の受け取りのみを反映し、部屋の壁および部屋の中のその他の物体から跳ね返る音によって引き起こされる反射された音または反響を記録しない。レンダリングのためにそのようなＨＲＴＦを使用することは、部屋などの定義された環境内に座る聞き手の現実感を再現しない。通常のＨＲＴＦは、普通、数十ミリ秒の継続時間のインパルス応答を反映する。
【００６９】
これは、聞き手の頭部の周りの音の屈折および聞き手の肩および胴からの反射を記録するのに十分であることができるが、壁１０１４のような壁からの反射を含むような部屋の効果をキャプチャするのに十分なほど長くない。これは、図１１に示される音声経路の相対的な長さを見ることによって理解され得る。説明を目的として、スピーカ１００６などの音源が５ｍ×５ｍのサイズの部屋１００２内で聞き手１００４から２ｍにある場合、反射された音波１００９の経路でさえも、直接届く音波１００８の長さの少なくとも４倍である。好ましくは、使用されるＢＲＩＲは、後の反射をキャプチャするためおよびより大きな部屋または環境のために数百ミリ秒の長さである。
人は、より広い部屋に関してまたは聞き手の頭部からより遠い音源に関して、より一層長いＢＲＩＲが生じることを認めるはずである。
【００７０】
本明細書の全体を通じて、図面の部分における図示を含めて、議論が、ＨＲＴＦマップ、データセット、またはグリッドの生成を含んでいたことを理解されたい。概してＨＲＴＦおよびＨＲＴＦデータセットの生成に適用可能な本明細書のどの説明も、（ＢＲＩＲを含む）ＢＡＴＦのより広い場合にそれらの技術を使用する議論としても解釈されるべきであり、本明細書は、ＢＡＴＦに適用され、ＢＡＴＦのサブセットとしてのＢＲＩＲにも適用されるものとしてそれらの技術を説明しているとも読まれるべきである。
【００７１】
さらにその他の実施形態において、耳が音をどのようにして受け取るかを特徴づける応答は、距離成分を含む。距離の側面は、ヘッドフォンなどのバイノーラルシステムを通じてユーザによって知覚される音を正確に再現する際に重要である。これらは、音楽ホールにおける聞き手の体験（たとえば、ハリウッドボウルにおけるオーケストライベント）、聞き手の専用のメディアルームにおける聞き手の体験、またはさらにはハイフィデリティスピーカを置いた聞き手の居間における聞き手の体験を再現しようと試みる際などに音楽ソースに関して特に重要である。方位および仰角の位置に関して上で検討されたＨＲＴＦと同様に、距離成分を考慮し、音声トラックに適用される際に使用されるＨＲＴＦにその対応を提供することは、距離成分がユーザのためにカスタマイズされるとき、より一層優れた体験を提供する。
【００７２】
好ましい実施形態においては、物理特性が、カメラ画像によってユーザの耳から導出される。これは、スタンドアロンのカメラまたは任意の組み込み型のカメラであることができるが、より好ましくは、スマートフォンのカメラである。獲得された画像は、ユーザの耳の特徴を抽出するために処理される。これらは、選択プロセッサ、たとえば、遠隔のホストコンピュータ内にある選択プロセッサに転送される。
より優れた知覚される音声を実現するために、音響環境を表すＢＲＩＲが、個人に関して測定される。これは、単一のＢＲＩＲ、たとえば、０度において取得されたＢＲＩＲによって行われることができ、行われることが好ましい。応答の長さが原因で、単一の値のみが記憶される。つまり、反射を測定する部屋の応答は、概して、部屋の効果を正確に再現するために長さが数百ミリ秒ほどでなければならない。一実施形態において、ＢＲＩＲは、５００ｍｓｅｃの長さである。
好ましくは、ＢＲＩＲの単一の点の測定は、５．０ｍと、さらに１０ｍとにおいても行われる。我々がたとえば３．０ｍの距離成分を追加したい場合、１．０ｍのテーブルに関する０度のＢＲＩＲおよび５．０ｍのテーブルの同様のＢＲＩＲがアクセスされ、その方位および仰角における３．０ｍのＨＲＴＦを生成するために補間される。明瞭にするために、（測定によるかまたは補間によるかにかかわらず）部屋の応答が３．０ｍの単一の位置に関して決定されると、部屋のインパルス応答（ＢＲＩＲ）は、（位置０における）ＢＲＩＲを使用し、それを適切な回転フィルタと畳み込むことによって任意の方位および仰角の仮想的な音声を正確に表現するために使用され得る。つまり、基準位置のＢＲＩＲが、感知された頭部の回転に迅速および正確に対処するために第２の異なる位置に関するＢＲＩＲへの第１の位置に関するＢＲＩＲの変換に対応する伝達関数と畳み込まれる。
【００７３】
概して、プロセスは、すべて同じプロセッサ上で実行されることができるか、または一部がマイクロコントローラ上でおよび一部がデジタル信号プロセッサ上で実行されることができる以下の要素を有する。
ａ）頭部追跡センサとインターフェースをとり、頭部の向きの情報を導出すること
ｂ）それぞれの仮想的なスピーカに関して頭部の向きを頭部に対して相対的な方位および仰角に変換すること
ｃ）それぞれの頭部に対して相対的な方位および仰角を回転フィルタの対に変換すること
ｄ）回転フィルタをＤＳＰに送信すること
ｅ）ＢＲＩＲおよび回転フィルタを使用して音声を処理すること
【００７４】
理想的には、ユーザのためにパーソナライズされる回転フィルタが、ＢＲＩＲにマッチングされる。したがって、ＢＲＩＲに適用されるのと同じパーソナライズプロセスが、回転フィルタに適用されることができる。しかし、上で示唆されたように、無関係のデータベースを使用してフィルタを導出し、それによって、ＢＲＩＲをキャプチャする際にかなりの時間を節約することによって、良好な結果が引き続き得られることができる。
【００７５】
頭部追跡を行う提案される空間音声システムは、いくつかの利点を提供すると期待される。提案される空間音声システムは、仮想現実アプリケーション、または広く３Ｄ空間音声をレンダリングする任意のアプリケーションにおいて使用され得る。従来技術と比較した、この提案される方式の新規性および利点は、以下のようにまとめられ得る。
本発明の実施形態の最高の経済性は、フィルタの複雑性を削減することによって実現される。つまり、フィルタサイズが、大幅に削減される。たとえば、各回転フィルタのサイズは、数百サンプル（典型的には＜＜１０００サンプル）である。対称的に、（部屋の応答を含む）ＨＲＴＦは、数千程度であることができる（５００ｍｓｅｃのＨＲＴＦは、５００／１０００＊４８０００＝２４，０００サンプルを必要とし、サンプリングレート＝４８ｋＨｚである）。
【００７６】
必要とされる処理における対応する削減は、高品質な頭部追跡をデスクトップコンピュータだけでなくポータブルデバイス上で実現可能にする。本発明の実施形態によれば、ヘッドフォンの組に音声の位置を特定するために入力音声信号に適用するための頭部伝達関数（ＨＲＴＦ）を提供するための方法が、提供される。方法は、基準位置の聞き手のために個別化された複数の両耳室内インパルス応答（ＢＲＩＲ）にアクセスすることと、聞き手に対して相対的な追加的な位置に対応する聞き手に関する複数の頭部伝達関数（ＨＲＴＦ）の対にアクセスすることと、追加的な位置に関する複数のＨＲＴＦの各々を基準位置に関するＨＲＴＦまたはＢＲＩＲのうちの１つによって割ることによって聞き手に対して相対的な基準位置に関するＨＲＴＦまたはＢＲＩＲを追加的な位置の各々に変換するための複数の伝達関数を導出することと、頭部の向きの変化を示す信号を受け取り、信号に応答して、信号に対応する複数の伝達関数の１つの対を選択することと、ヘッドフォンの組において音声の位置を特定するために入力音声信号に基準位置のＢＲＩＲおよび複数の伝達関数の選択された対を適用することとを含む。
【００７７】
別の実施形態によれば、空間音声レンダリングのためのヘッドフォンが提供され、基準音源位置に対応する第１のバイノーラル音響インパルス応答（ＢＡＩＲ）の対を有する第１のデータベースと、頭部の向きの情報を特定する頭部センサと、第１の位置と異なり、頭部の向きの情報から導出された、定義された方位の値、仰角の値、および傾げる向きへの傾きの値のうちの少なくとも１つを有するスピーカ位置の第２のグループに対応するように第１のＢＡＩＲの対を修正する際に使用するために構成された、メモリに記憶された回転フィルタの第２のデータベースと、ヘッドフォンのトランスデューサへの出力バイノーラル音声信号を生成するために回転フィルタを第１のＢＡＩＲの対と組み合わせるように構成されたプロセッサとを含み、回転フィルタは、第１の位置に関するＢＡＩＲを第２の異なる位置に変換するための伝達関数を含み、第２の位置に関するＢＡＩＲは、聞き手に関して生成されたＢＡＩＲの対に対応し、前記伝達関数は、第２の位置に関するそれぞれのＢＡＩＲの対を基準位置に関するＢＡＩＲの対によって割ることによって導出される。
【００７８】
上述の発明は明瞭な理解を目的としてある程度詳細に説明されたが、特定の変更および修正が添付の請求項の範囲内で実施され得ることは明らかである。したがって、これらの実施形態は、例示的であり、限定的でないとみなされるべきであり、本発明は、本明細書において与えられた詳細に限定されるべきでなく、添付の請求項の範囲および同等物の中で修正され得る。
【符号の説明】
【００７９】
１０２  聞き手
１０４〜１１５  スピーカ位置
２００  システム
２０２  頭部追跡センサ
２０４  方位ブロック
２０８  回転フィルタデータベース
２１０  ＢＲＩＲデータベース
２１５  入力音声
２１６  ＤＳＰプロセッサ
２２０  ヘッドフォンのトランスデューサ
３０２  伝達関数
３０４  伝達関数
４００  システム
４０２  ＢＲＩＲフィルタ
４０４  ＢＲＩＲフィルタ
４０６  ＢＲＩＲフィルタ
４０８  ＢＲＩＲフィルタ
５０２  ＩＴＤ
５０４  ＩＴＤ
５０６  ＩＴＤ
５０８  ＩＴＤ
５１０  時間領域のＦＩＲ回転フィルタ
５１２  時間領域のＦＩＲ回転フィルタ
５１４  時間領域のＦＩＲ回転フィルタ
５１６  時間領域のＦＩＲ回転フィルタ
５２０  インパルス応答のゼロ遅延バージョン
５２２  インパルス応答のゼロ遅延バージョン
５２４  インパルス応答のゼロ遅延バージョン
５２６  インパルス応答のゼロ遅延バージョン
６１６  生成されたＨＲＴＦグリッド
７０２  抽出デバイス
７０４  イメージセンサ
７０６  プロセッサ
７１０  遠隔のサーバ
７１２  選択プロセッサ
７１４  メモリ
７１５  列
７１６  列
７１７  列
７１８  列
７３０  音声レンダリングデバイス
７３５  ヘッドフォン
９０１  距離球面
９０２  聞き手
９０３  位置
９０４  聞き手の頭部
９０５  ベクトル
９０６  ベクトル
９０７  ベクトル
９０８  水平面
９０９  平面
９１０  平面
９１２  測定点
９１３  測定点
９１４  測定点
９１５  測定点
９１８  補間された点
９２２  点
９２３  点
９２４  点
９２８  点
９３０  ベクトル
９５０  位置
９５１  補間された点
９５２  位置
９５４  位置
９５５  点
９５６  点、位置
９６０  測定された点
９６１  補間された点
９６２  測定された点
９６４  測定された点
９６６  点、測定された点
１００１  第２の球形グリッド
１００２  部屋
１００４  聞き手
１００６  音源のスピーカ
１００８  直接届く音波
１００９  反射された音波
１０１１  反射された音波
１０１４  壁
【図１Ａ】
2019146160.tif 000015
【図１Ｂ】
2019146160.tif 000016
【図２】
2019146160.tif 000017
【図３】
2019146160.tif 000018
【図４】
2019146160.tif 000019
【図５】
2019146160.tif 000020
【図６Ａ】
2019146160.tif 000021
【図６Ｂ】
2019146160.tif 000022
【図７】
2019146160.tif 000023
【図８】
2019146160.tif 000024
【図９Ａ】
2019146160.tif 000025
【図９Ｂ】
2019146160.tif 000026
【図９Ｃ】
2019146160.tif 000027
【図１０】
2019146160.tif 000028
【図１１】
2019146160.tif 000029
【外国語明細書】
2019146160000001.pdf