(57)【特許請求の範囲】
【請求項１】
オーディオ信号を処理するための装置であって、
入力データを受信するための受信部であって、前記入力データは、初期部分及び反響部分を有する頭部バイノーラル伝達関数を記述する少なくともデータを有し、前記データは、前記頭部バイノーラル伝達関数の前記初期部分を示す初期部分データと、前記頭部バイノーラル伝達関数の前記反響部分を示す反響データと、前記初期部分と前記反響部分との間の時間オフセットを示す同期化指標とを有する、受信部と、
バイノーラルの処理をオーディオ信号に適用することにより第１のオーディオ成分を生成するための初期部分回路であって、前記バイノーラルの処理は、前記初期部分データにより少なくとも部分的に決定される、初期部分回路と、
反響処理を前記オーディオ信号に適用することにより第２のオーディオ成分を生成するための反響部であって、前記反響処理は、前記反響データにより少なくとも部分的に決定される、反響部と、
バイノーラルの信号の少なくとも第１の耳信号を生成するための組み合わせ部であって、前記組み合わせ部は、前記第１のオーディオ成分及び前記第２のオーディオ成分を組み合わせるように構成される、組み合わせ部と、
前記同期化指標に基づいて前記第１のオーディオ成分及び前記第２のオーディオ成分を同期させるための同期化部とを有する、装置。
【請求項２】
前記同期化部は、前記第１のオーディオ成分に対する前記第２のオーディオ成分のための遅延を取り込むように構成され、前記遅延は、前記同期化指標に依存する、請求項１に記載の装置。
【請求項３】
前記初期部分データは、前記頭部バイノーラル伝達関数の無反響部分を示す、請求項１に記載の装置。
【請求項４】
前記初期部分データは、周波数領域フィルタパラメータを有し、前記初期部分の処理は、周波数領域の処理である、請求項１に記載の装置。
【請求項５】
前記反響データは、反響モデルのためのパラメータを有し、前記反響部は、前記反響データにより示されたパラメータを用いて前記反響モデルを実装するように構成される、請求項１に記載の装置。
【請求項６】
前記反響部は、合成反響部を有し、前記反響データは、前記合成反響部のためのパラメータを有する、請求項１に記載の装置。
【請求項７】
前記反響部は、反響フィルタを有し、前記反響データは、前記反響フィルタのためのパラメータを有する、請求項１に記載の装置。
【請求項８】
前記頭部バイノーラル伝達関数は、前記初期部分と前記反響部分との間に初期反射部分を更に有し、
前記データは、前記頭部バイノーラル伝達関数の前記初期反射部分を示す初期反射部分データと、前記初期反射部分と前記初期部分及び前記反響部分のうち少なくとも一方との間の時間オフセットを示す第２の同期化指標とを更に有し、
当該装置は、反射処理をオーディオ信号に適用することにより第３のオーディオ成分を生成するための初期反射部分処理部を更に有し、
前記反射処理は、前記初期反射部分データにより少なくとも部分的に決定され、
前記組み合わせ部は、少なくとも前記第１のオーディオ成分、前記第２のオーディオ成分及び前記第３のオーディオ成分の組み合わせに基づいて前記バイノーラル信号の第１の耳信号を生成するように構成され、
前記同期化部は、前記第２の同期化指標に基づいて前記第３のオーディオ成分を前記第１のオーディオ成分及び前記第２のオーディオ成分のうち少なくとも一方と同期させるように構成される、請求項１に記載の装置。
【請求項９】
前記反響部は、前記第１のオーディオ成分に適用された反響プロセスに基づいて前記第２のオーディオ成分を生成するように構成される、請求項１に記載の装置。
【請求項１０】
前記同期化指標は、前記バイノーラル処理の処理遅延に対して補正される、請求項１に記載の装置。
【請求項１１】
前記同期化指標は、前記反響処理の処理遅延に対して補正される、請求項１に記載の装置。
【請求項１２】
ビットストリームを生成するための装置であって、
初期部分及び反響部分を有する頭部バイノーラル伝達関数を受信するための処理部と、
前記頭部バイノーラル伝達関数の前記初期部分を示す初期部分データを生成するための初期部分回路と、
前記頭部バイノーラル伝達関数の前記反響部分を示す反響データを生成するための反響回路と、
前記初期部分データと前記反響データとの間の時間オフセットを示す同期化指標を有する同期化データを生成するための同期化回路と、
前記初期部分データ、前記反響データ及び前記同期化データを有するビットストリームを生成するための出力回路とを有する、装置。
【請求項１３】
オーディオ信号を処理する方法であって、
入力データを受信するステップであって、前記入力データは、初期部分及び反響部分を有する頭部バイノーラル伝達関数を記述するデータを少なくとも有し、前記データは、前記頭部バイノーラル伝達関数の前記初期部分を示す初期部分データと、前記頭部バイノーラル伝達関数の前記反響部分を示す反響データと、前記初期部分と前記反響部分との間の時間オフセットを示す同期化指標とを有する、ステップと、
バイノーラルの処理をオーディオ信号に適用することにより第１のオーディオ成分を生成するステップであって、前記バイノーラルの処理は、前記初期部分データにより少なくとも部分的に決定される、ステップと、
反響処理を前記オーディオ信号に適用することにより第２のオーディオ成分を生成するステップであって、前記反響処理は、前記反響データにより少なくとも部分的に決定される、ステップと、
前記第１のオーディオ成分及び前記第２のオーディオ成分の組み合わせに基づいてバイノーラル信号の少なくとも第１の耳信号を生成するステップと、
前記同期化指標に基づいて前記第１のオーディオ成分及び前記第２のオーディオ成分を同期させるステップとを有する、方法。
【請求項１４】
ビットストリームを生成する方法であって、
初期部分及び反響部分を有する頭部バイノーラル伝達関数を受信するステップと、
前記頭部バイノーラル伝達関数の前記初期部分を示す初期部分データを生成するステップと、
前記頭部バイノーラル伝達関数の前記反響部分を示す反響データを生成するステップと、
前記初期部分データと前記反響データとの間の時間オフセットを示す同期化指標を有する同期化データを生成するステップと、
前記初期部分データ、前記反響データ及び前記同期化データを有するビットストリームを生成するステップとを有する、方法。
【請求項１５】
コンピュータ上で実行されたときに、請求項１３又は請求項１４に記載の方法の全てのステップを前記コンピュータに実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、バイノーラルのオーディオ処理に関し、とりわけ、排他的ではないが、オーディオ処理アプリケーションのための頭部バイノーラル伝達関数データの通信及び処理に関する。
【背景技術】
【０００２】
種々のソース信号のデジタルエンコーディングは、デジタル信号表現及び通信がますますアナログ表現及び通信を置換しているので、過去数十年に渡ってますます重要になってきた。例えば、スピーチ及び音楽のようなオーディオコンテンツは、ますますデジタルコンテンツエンコーディングに基づいている。更に、オーディオ消費は、例えば一般的になっているサラウンドサウンド及びホームシネマセットアップにより、ますます包囲的三次元体験になっている。
【０００３】
オーディオエンコーディングフォーマットは、有能な、多様な、及び、フレキシブルなオーディオサービスをますます提供するために開発されており、とりわけ、空間的なオーディオサービスをサポートするオーディオエンコーディングフォーマットが開発されている。
【０００４】
ＤＴＳ及びドルビーデジタルのような良く知られたオーディオ符号化技術は、空間イメージを、聴取者の回りの固定された位置に配置される多数のチャネルとして表す符号化されたマルチチャネルオーディオ信号を生成する。マルチチャネル信号に対応するセットアップとは異なるスピーカセットアップに関して、空間イメージは、最適状態に及ばないだろう。また、チャネルベースのオーディオ符号化システムは、典型的には、異なる数のスピーカに対処することができない。
【０００５】
（ＩＳＯ／ＩＥＣ  ＭＰＥＧ−Ｄ）ＭＰＥＧサラウンドは、既存のモノラル又はステレオベースの符号器がマルチチャネルオーディオアプリケーションまで拡張されるのを可能にするマルチチャネルオーディオ符号化ツールを提供する。図１は、ＭＰＥＧサラウンドシステムの要素の一例を示している。オリジナルマルチチャネル入力の分析により取得される空間パラメータを用いて、ＭＰＥＧサラウンドデコーダは、マルチチャネル出力信号を取得するために、モノラル又はステレオ信号の制御されたアップミックスにより、空間イメージを再生成することができる。
【０００６】
マルチチャネル入力信号の空間イメージはパラメータ化されるので、ＭＰＥＧサラウンドは、マルチチャネルスピーカセットアップを用いないデバイスをレンダリングすることにより、同じマルチチャネルビットストリームのデコーディングを可能にする。一例は、ヘッドホン上での仮想サラウンド再生であり、これは、ＭＰＥＧサラウンドバイノーラルデコーディング処理と呼ばれる。このモードにおいて、現実的なサラウンド体験は、標準的なヘッドホンを用いている間に提供され得る。他の例は、より高いオーダのマルチチャネル出力（例えば７．１チャネル）の、より低いオーダのセットアップ（例えば５．１チャネル）への削減である。
【０００７】
実際に、空間サウンドをレンダリングするために使用されるレンダリング設定のバリエーション及びフレキシビリティは、主流派の消費者に対して利用可能になるますます多くの再生フォーマットにより、近年大幅に増大している。これは、オーディオのフレキシブルな表現を必要とする。重要なステップは、ＭＰＥＧサラウンドコーデックの導入によりもたらされている。それにもかかわらず、オーディオは、依然として、特定のラウドスピーカセットアップ（例えば、ＩＴＵ  ５．１スピーカセットアップ）のために生成及び送信される。異なるセットアップを介した再生、及び、非標準の（即ち、フレキシブルな又はユーザ定義の）スピーカセットアップを介した再生は特定されない。実際に、特定の予め決められた及び公称のスピーカセットアップから独立してオーディオエンコーディング及び表現を行うという欲求がますます存在するようになっている。多種多様な異なるスピーカセットアップへのフレキシブルな適合は、デコーダ／レンダリング側で実行され得ることがますます好ましくなる。
【０００８】
オーディオのよりフレキシブルな表現を提供するために、ＭＰＥＧは、"Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｏｂｊｅｃｔ  Ｃｏｄｉｎｇ"（ＩＳＯ／ＩＥＣ  ＭＰＥＧ−Ｄ  ＳＡＯＣ）として知られるフォーマットを標準化した。ＤＴＳ、ドルビーデジタル及びＭＰＥＧサラウンドのようなマルチチャネルオーディオ符号化システムとは対照的に、ＳＡＯＣは、オーディオチャネルよりもむしろ個々のオーディオオブジェクトの効率的な符号化を提供する。ＭＰＥＧサラウンドにおいて、各スピーカチャネルがサウンドオブジェクトの異なる混合によって生じるとみなされ得るのに対し、ＳＡＯＣは、図２に示されるように、双方向操作のためにデコーダ側で利用可能な個々のサウンドオブジェクトを作る。ＳＡＯＣにおいて、複数のサウンドオブジェクトは、サウンドオブジェクトがレンダリング側で抽出されるのを可能にするパラメトリックデータと一緒にモノラル又はステレオダウンミクスに符号化され、これにより、個々のオーディオオブジェクトが、例えばエンドユーザによる操作のために利用可能になるのを可能にする。
【０００９】
実際に、ＭＰＥＧサラウンドと同様に、ＳＡＯＣは、モノラル又はステレオダウンミクスを生成する。加えて、オブジェクトパラメータは、計算され、含められる。デコーダ側において、ユーザは、位置、レベル、均一化のような個々のオブジェクトの種々のフィーチャを制御するために、又は、残響のような効果を適用するために、これらのパラメータを操作してもよい。図３は、ユーザがＳＡＯＣビットストリームに含まれる個々のオブジェクトを制御するのを可能にするインタラクティブインタフェースを示している。レンダリングマトリクスにより、個々のサウンドオブジェクトは、スピーカチャネルにマッピングされる。
【００１０】
ＳＡＯＣは、よりフレキシブルなアプローチを可能にし、とりわけ、再生チャネルに加えてオーディオオブジェクトを送信することにより、より多くのレンダリングベースの適応性を可能にする。これは、空間がスピーカにより適切に覆われることを条件として、デコーダ側が空間における不定の位置にオーディオオブジェクトを配置するのを可能にする。このように、送信されたオーディオと再生又はレンダリングセットアップとの間に関係がなく、それ故に、不定のスピーカセットアップが用いられ得る。これは、例えば典型的なリビングルームにおけるホームシネマセットアップに対して有利であり、ここで、スピーカは意図された位置にはほとんどない。ＳＡＯＣにおいて、これは、オブジェクトがサウンドシーンに配置されるデコーダ側で決定され、これは、多くの場合、芸術的な視点から望まれない。ＳＡＯＣ規格は、ビットストリームにおいてデフォルトのレンダリングマトリクスを送信するための手段を提供し、デコーダの責任を取り除く。しかしながら、提供された方法は、固定された再生セットアップ又は詳細不明の構文に依存する。それ故、ＳＡＯＣは、スピーカセットアップと独立してオーディオシーンを完全に送信する規範的な手段を提供しない。また、ＳＡＯＣは、拡散信号成分の信頼できるレンダリングに対してあまり備えられていない。拡散サウンドを取り込むためにいわゆるＭＢＯ（Multichannel Background Object）を含むという可能性があるにもかかわらず、このオブジェクトは、１つの特定のスピーカ設定に関係する。
【００１１】
３Ｄオーディオのためのオーディオフォーマットのための他の仕様は、工業同盟である３ＤＡＡ（3D Audio Alliance）により開発されている。３ＤＡＡは、３Ｄオーディオの伝送のための規格を開発するため専用のものであり、それは、「現在のスピーカ供給パラダイムからフレキシブルなオブジェクトベースのアプローチへの遷移を促進するだろう」。３ＤＡＡにおいて、個々のサウンドオブジェクトとともにレガシーマルチチャネルダウンミクスの伝送を可能にするビットストリームフォーマットが規定されるべきである。加えて、オブジェクトポジショニングデータが含まれる。３ＤＡＡオーディオストリームを生成する原理が図４に示される。
【００１２】
３ＤＡＡアプローチにおいて、サウンドオブジェクトは拡張ストリームにおいて別々に受信され、これらは、マルチチャネルダウンミクスから抽出されてもよい。生ずるマルチチャネルダウンミクスは、個別に利用可能なオブジェクトと一緒にレンダリングされる。
【００１３】
オブジェクトは、いわゆるステムから成ってもよい。これらのステムは、基本的にグループ化された（ダウンミクスされた）トラック又はオブジェクトである。それ故、オブジェクトは、ステムにパッキングされた複数のサブオブジェクトから成ってもよい。３ＤＡＡにおいて、マルチチャネルリファレンスミクスは、オーディオオブジェクトの選択によって送信され得る。３ＤＡＡは、各オブジェクトのための３Ｄ位置的データを送信する。そして、オブジェクトは、３Ｄ位置的データを用いて抽出され得る。その代りに、逆ミクス−マトリクスが送信されてもよく、オブジェクトとリファレンスミクスとの間の関係を記述する。
【００１４】
３ＤＡＡの説明から、サウンド−シーン情報は、角度及び距離を各オブジェクトに割り当てることにより恐らく送信され、オブジェクトがどこに配置されるべきか、例えばデフォルトの前方方向に対して配置されるべきことを示す。故に、位置的情報は、各オブジェクトに対して送信される。これは、ポイント−ソースのために有益であるが、（例えば合唱団又は拍手のような）広いソースを記述すること又は（雰囲気のような）サウンドフィールドを拡散することに失敗している。全てのポイント−ソースがリファレンスミクスから抽出されたとき、アンビエントマルチチャネルミクスが残る。ＳＡＯＣと同様に、３ＤＡＡにおける残りのものは、特定のスピーカセットアップに対して固定される。
【００１５】
故に、ＳＡＯＣ及び３ＤＡＡ双方のアプローチは、デコーダ側で個別に操作され得る個々のオーディオオブジェクトの伝送を取り込む。２つのアプローチ間の相違は、ＳＡＯＣがダウンミクスに対してオブジェクトを特徴づけるパラメータを供給することにより（即ち、オーディオオブジェクトがデコーダ側でダウンミクスから生成されるように）オーディオオブジェクトに関する情報を供給する点であるのに対し、３ＤＡＡは、（即ち、デコーダ側でダウンミクスから独立して生成され得る）完全な及び別個のオーディオオブジェクトとしてオーディオオブジェクトを供給する。双方のアプローチに関して、位置データは、オーディオオブジェクトのために通信され得る。
【００１６】
空間体験が聴取者の耳のための個々の信号を用いたサウンドソースの仮想ポジショニングにより生成されるバイノーラルの処理は、ますます広範囲になっている。仮想サラウンドは、オーディオソースが特定の方向から生ずるものと知覚されるようにサウンドをレンダリングする方法であり、これにより、物理的なサラウンドサウンドセットアップ（例えば、５．１スピーカ）又は環境（コンサート）を聴取する錯覚を生成すること。適切なバイノーラルのレンダリング処理によれば、聴取者が任意の所望の方向からサウンドを知覚するために鼓膜で必要とされる信号が計算され、これらの信号が、所望の効果を与えるようにレンダリングされ得る。図５に示されるように、これらの信号は、その後、（密集したスピーカを介してレンダリングするのに適している）ヘッドホン又はクロストーク取消し方法を用いて鼓膜で再生成される。
【００１７】
図５の直接的なレンダリングの次に、仮想サラウンドをレンダリングするために用いられ得る特定の技術は、ＭＰＥＧサラウンド及びＳｐａｔｉａｌ  Ａｕｄｉｏ  Ｏｂｊｅｃｔ  Ｃｏｄｉｎｇ、並びに、ＭＰＥＧにおける３Ｄ  Ａｕｄｉｏ上の次に行う作業アイテムを含む。これらの技術は、計算的に効率的な仮想サラウンドレンダリングを提供する。
【００１８】
バイノーラルのレンダリングは、頭部、耳、及び、肩のような反射表面の音響特性により、人から人へと変化する頭部バイノーラル伝達関数に基づいている。例えば、バイノーラルフィルタは、種々の位置で複数のソースをシミュレーションするバイノーラルレコーディングを生成するために用いられ得る。これは、サウンドソースの位置に対応する頭部インパルス応答（ＨＲＩＲｓ；Head Related Impulse Responses）の対により各サウンドソースを巻き込むことにより実現され得る。
【００１９】
例えば人間の耳に又はその近くに配置されるマイクロホンで２Ｄ又は３Ｄ空間における特定の位置でサウンドソースからの応答を測定することにより、適切なバイノーラルフィルタが決定され得る。典型的には、斯様な測定は、例えば人間の頭部のモデルを用いて行われるか、又は、実際には、場合によっては、測定は、マイクロホンを人の鼓膜の近くに取り付けることにより行われてもよい。バイノーラルフィルタは、種々の位置で複数のソースをシミュレーションするバイノーラルレコーディングを生成するために用いられ得る。これは、例えばサウンドソースの所望の位置のための測定されたインパルス応答の対により各サウンドソースを巻き込むことにより、実現され得る。サウンドソースが聴取者の回りに移動したという錯覚を生成するために、多数のバイノーラルフィルタは、適切な空間解像度（例えば１０の程度）によって要求とされる。
【００２０】
頭部バイノーラル伝達関数は、例えば、ＨＲＩＲ（Head Related Impulse Responses）として、又は同等に、ＨＲＴＦｓ（Head Related Transfer Functions）、ＢＲＩＲｓ（Binaural Room Impulse Responses）又はＢＲＴＦｓ（Binaural Room Transfer Functions）として表されてもよい。所与の位置から聴取者の耳（又は鼓膜）までの（例えば推定又は想定される）伝達関数は、頭部バイノーラル伝達関数として知られる。この関数は、例えば、周波数領域において与えられてもよく（この場合においては典型的にはＨＲＴＦ又はＢＲＴＦと呼ばれる）、又は、時間領域において与えられてもよい（この場合において、典型的にはＨＲＩＲ又はＢＲＩＲと呼ばれる）。幾つかのシナリオにおいて、頭部バイノーラル伝達関数は、音響環境及びとりわけ測定値が行われる部屋の態様又は特性を含むように決定されるのに対し、他の例において、ユーザ特徴だけが考慮される。関数の第１のタイプの例は、ＢＲＩＲｓ及びＢＲＴＦｓである。
【００２１】
多くのシナリオにおいて、用いられるべき特定の頭部バイノーラル伝達関数のような所望のバイノーラルレンダリングのパラメータの通信及び分配を可能にすることが望ましい。
【００２２】
ＡＥＳ（Audio Engineering Society）のｓｃ−０２技術委員会は、頭部バイノーラル伝達関数の形式のバイノーラルリスニングパラメータを交換するためのファイル形式の規格化に関する新たな計画の開始を最近発表した。そのフォーマットは、利用可能なレンダリングプロセスにマッチさせるためにスケーラブルであるだろう。フォーマットは、異なる頭部バイノーラル伝達関数データベースからのソース材料を含むように設計されるだろう。チャレンジは、斯様な頭部バイノーラル伝達関数がオーディオシステムにおいてどのように最良にサポートされ、用いられ、及び、分配され得るかにおいて存在する。
【００２３】
従って、バイノーラルの処理をサポートするための、及び、とりわけ、バイノーラルレンダリングのためのデータを通信するための、改良されたアプローチが要求されるだろう。とりわけ、バイノーラルレンダリングデータの改良された表現及び通信、低減されたデータレート、低減されたオーバーヘッド、促進された実装、及び／又は、向上した性能が有利であるだろう。
【発明の概要】
【発明が解決しようとする課題】
【００２４】
従って、本発明は、好ましくは、上述の欠点の１又はそれ以上を単独で又は任意の組み合わせにおいて緩和、軽減又は除去しようとする。
【課題を解決するための手段】
【００２５】
本発明の一態様によれば、オーディオ信号を処理するための装置であって、入力データを受信するための受信部であって、前記入力データは、初期部分及び反響部分を有する頭部バイノーラル伝達関数を記述する少なくともデータを有し、前記データは、前記頭部バイノーラル伝達関数の前記初期部分を示す初期部分データと、前記頭部バイノーラル伝達関数の前記反響部分を示す反響データと、前記初期部分と前記反響部分との間の時間オフセットを示す同期化指標とを有する、受信部と、バイノーラルの処理をオーディオ信号に適用することにより第１のオーディオ成分を生成するための初期部分回路であって、前記バイノーラルの処理は、前記初期部分データにより少なくとも部分的に決定される、初期部分回路と、反響処理を前記オーディオ信号に適用することにより第２のオーディオ成分を生成するための反響部であって、前記反響処理は、前記反響データにより少なくとも部分的に決定される、反響部と、バイノーラルの信号の少なくとも第１の耳信号を生成するための組み合わせ部であって、前記組み合わせ部は、前記第１のオーディオコンポーネント及び前記第２のオーディオコンポーネントを組み合わせるように構成される、組み合わせ部と、前記同期化指標に基づいて前記第１のオーディオ成分及び前記第２のオーディオ成分を同期させるための同期化部とを有する、装置が提供される。
【００２６】
本発明は、とりわけ効率的な動作を提供してもよい。頭部バイノーラル伝達関数の極めて効率的な表現及び／又はそれに基づく処理が実現され得る。本アプローチは、低減されたデータレート、並びに／又は、低減された複雑さの処理及び／若しくはバイノーラルレンダリングをもたらし得る。
【００２７】
実際に、高データレートで複雑な処理をもたらす頭部バイノーラル伝達関数の単純な長い表現を用いるよりはむしろ、頭部バイノーラル伝達関数は少なくとも２つの部分に分割され得る。表現及び処理は、頭部バイノーラル伝達関数の別々の部分の特徴に対して個別に最適化され得る。とりわけ、表現及び処理は、個々の部分における頭部バイノーラル伝達関数を決定する個々の身体的特徴に対して、及び／又は、その部分の各々と関連づけられた知覚的な特徴に対して最適化され得る。
【００２８】
例えば、初期部分の処理及び／又は表現は、直接的なオーディオ伝播経路に対して最適化されてもよいのに対し、反響経路の処理及び／又は表現は、反射されたオーディオ伝播経路に対して最適化されてもよい。
【００２９】
本アプローチは、異なる部分のレンダリングの同期がエンコーダ側から制御されるのを可能にすることにより、向上したオーディオ品質をさらに提供し得る。これは、初期部分と反響部分との間の相対的タイミングがオリジナルの頭部バイノーラル伝達関数に対応する全体的な効果を与えるように密接に制御されるのを可能にする。実際に、これは、異なる部分の同期が完全な頭部バイノーラル伝達関数情報に関する情報に基づき制御されるのを可能にする。とりわけ、直接的な経路に対する反射及び拡散反響のタイミングは、例えばサウンドソースの位置及び聴取位置にも、特定の部屋の特徴にも依存する。この情報は、測定された頭部バイノーラル伝達関数において反映されるが、典型的にはバイノーラルレンダリング装置で利用可能ではない。しかしながら、本アプローチは、レンダリング装置が、２つの異なる部分により表されるにもかかわらず、オリジナルの測定された頭部バイノーラル伝達関数を正確にエミュレートするのを可能にする。
【００３０】
頭部バイノーラル伝達関数は、とりわけ、ＢＲＩＲ又はＢＲＴＦのような部屋伝達関数であってもよい。
【００３１】
同期化部は、とりわけ、同期化指標から決定される時間調整オフセットにより第１及び第２のオーディオ成分を時間的に調整するように構成され得る。
【００３２】
同期化部は、任意の適切な手段で第１のオーディオ成分及び第２のオーディオ成分を同期させてもよい。故に、任意のアプローチは、組み合わせる前に第２のオーディオ成分に対する第１のオーディオ成分のタイミングを調整するために用いられてもよい。ここで、タイミング調整は、同期化指標に基づいて決定される。例えば、一の遅延が、オーディオ成分のうちの１つに適用されてもよく、及び／又は、複数の遅延が、例えば第１及び／又は第２のオーディオ成分が生成される信号に適用されてもよい。
【００３３】
初期部分は、所与の時間時点の前の頭部バイノーラル伝達関数のインパルス応答の時間間隔に対応してもよく、反響部分は、所与の時間時点の後の頭部バイノーラル伝達関数のインパルス応答の時間間隔に対応してもよい（ここで、２つの時間時点は、同じ時間時点でもよいが、そうである必要はない）。反響部分のためのインパルス応答時間間隔の少なくとも一部は、初期部分のためのインパルス応答時間間隔より後にある。ほとんどの実施形態及びシナリオにおいて、反響部分の開始は、初期部分の開始より後にある。幾つかの実施形態では、反響部分のためのインパルス応答時間間隔は、（インパルス応答の）所与の時間の後の時間間隔であり、初期部分のためのインパルス応答時間間隔は、所与の時間より前の時間間隔である。
【００３４】
幾つかのシナリオにおける初期部分は、頭部バイノーラル伝達関数の（仮想の）サウンドソース位置から（名目的な）聴取位置への直接的経路に対応する頭部バイノーラル伝達関数の部分に対応するか又はそれを含む。幾つかの実施形態又はシナリオにおいて、初期部分は、頭部バイノーラル伝達関数の（仮想）サウンドソース位置から（名目的な）聴取位置への１又はそれ以上の初期反射に対応する頭部バイノーラル伝達関数の部分を含んでもよい。
【００３５】
幾つかのシナリオにおける反響部分は、頭部バイノーラル伝達関数により表されるオーディオ環境における拡散反響に対応する頭部バイノーラル伝達関数の部分に対応するか又はそれを含んでもよい。幾つかの実施形態又はシナリオにおいて、反響部分は、頭部バイノーラル伝達関数の（仮想）サウンドソース位置から（公称）聴取位置への１又はそれ以上の初期反射に対応する頭部バイノーラル伝達関数の部分を含んでもよい。故に、初期反射は、初期部分及び反響部分を介して分配されてもよい。
【００３６】
多くの実施形態及びシナリオにおいて、初期部分は、頭部バイノーラル伝達関数の（仮想）サウンドソース位置から（公称）聴取位置への直接的経路に対応する頭部バイノーラル伝達関数の部分に対応してもよく、反響部分は、初期反射及び拡散反響に対応する頭部バイノーラル伝達関数の部分に対応してもよい。
【００３７】
初期部分データは、頭部バイノーラル伝達関数の初期部分を少なくとも部分的に記述するデータを有することにより、頭部バイノーラル伝達関数の初期部分を示してもよい。具体的には、これは、初期の時間間隔における頭部バイノーラル伝達関数を（直接又は間接的に）少なくとも記述するデータを有してもよい。例えば、初期の時間間隔における頭部バイノーラル伝達関数のインパルス応答は、初期部分データのデータにより少なくとも部分的に記述されてもよい。
【００３８】
反響部分データは、頭部バイノーラル伝達関数の反響部分を少なくとも部分的に記述するデータを有することにより、頭部バイノーラル伝達関数の反響部分を示してもよい。具体的には、これは、反響時間間隔における頭部バイノーラル伝達関数を（直接又は間接的に）少なくとも記述するデータを有してもよい。例えば、反響時間間隔における頭部バイノーラル伝達関数のインパルス応答は、初期部分データのデータにより少なくとも部分的に記述されてもよい。反響時間間隔は、初期の時間間隔の後に終了し、多くの実施形態において、初期の時間間隔の終了後に開始する。
【００３９】
第１のオーディオ成分は、頭部バイノーラル伝達関数の初期部分によりフィルタリングされるオーディオ信号に対応するように生成されてもよい。この関数が初期部分データにより記述されるためである。
【００４０】
第２のオーディオ成分は、反響部分に対応する時間間隔における反響信号成分に対応してもよく、反響信号成分は、反響データにより（少なくとも部分的に）記述されるプロセスに従ってオーディオ信号から生成される。
【００４１】
バイノーラルの処理は、初期部分における頭部バイノーラル伝達関数に対応するフィルタによるオーディオ信号のフィルタリングに対応してもよい。関数が初期部分データにより決定されるためである。
【００４２】
バイノーラルの処理は、バイノーラルステレオ信号からの１つの信号のための第１のオーディオ成分を生成してもよい（即ち、耳のうちの一方の信号のためのオーディオ成分を生成してもよい）。
【００４３】
反響プロセスは、反響データから決定されるプロセスに従ってオーディオ信号から反響部分における反響信号を生成する合成反響プロセスであってもよい。
【００４４】
反響プロセスは、頭部バイノーラル伝達関数の反響部分によりフィルタリングされたオーディオ信号に対応してもよい。関数が反響部分データにより記述されるためである。
【００４５】
本発明のオプショナルな特徴によれば、同期化部は、第１のオーディオ成分に対する第２のオーディオ成分のための遅延を取り込むように構成され、遅延は、同期化指標に依存する。
【００４６】
これは、低い複雑さで効率的な動作を可能にし得る。
【００４７】
本発明のオプショナルな特徴によれば、初期部分データは、頭部バイノーラル伝達関数の無反響部分を示す。
【００４８】
これは、特定の有利な動作並びに典型的には非常に効率的な表現及び処理をもたらし得る。
【００４９】
本発明のオプショナルな特徴によれば、初期部分データは、周波数領域フィルタパラメータを有し、初期部分の処理は、周波数領域の処理である。
【００５０】
これは、特定の有利な動作をもたらし、典型的には、非常に効率的な表現及び処理をもたらし得る。とりわけ、周波数領域フィルタリングは、低い複雑性及びリソース使用により直接的経路オーディオ伝播の極めて正確なエミュレーションを可能にし得る。更に、これは、反響が高度な複雑性を必要とする周波数領域フィルタリングにより表されることを必要とすることなく実現され得る。
【００５１】
本発明のオプショナルな特徴によれば、反響部分データは、反響モデルのためのパラメータを有し、反響部は、反響部分データにより示されたパラメータを用いて反響モデルを実装するように構成される。
【００５２】
これは、特定の有利な動作をもたらし、典型的には、非常に効率的な表現及び処理をもたらし得る。とりわけ、反響モデリングは、低い複雑性及びリソース使用により反射されたオーディオ分配の極めて正確なエミュレーションを可能にし得る。更に、これは、直接的オーディオ経路が同じモデルにより表されることを必要とすることなく実現され得る。
【００５３】
本発明のオプショナルな特徴によれば、反響部は、合成反響部を有し、反響部分データは、合成反響部のためのパラメータを有する。
【００５４】
これは、特定の有利な動作をもたらし、典型的には、非常に効率的な表現及び処理をもたらし得る。とりわけ、合成反響部は、低い複雑性及びリソース使用により反射されたオーディオ分配の極めて正確なエミュレーションを可能にし得る一方で、依然として直接的オーディオ経路の正確な表現を可能にする。
【００５５】
本発明のオプショナルな特徴によれば、反響部は、反響フィルタを有し、反響データは、反響フィルタのためのパラメータを有する。
【００５６】
これは、特定の有利な動作をもたらし、典型的には、非常に効率的な表現及び処理をもたらし得る。
【００５７】
本発明のオプショナルな特徴によれば、頭部バイノーラル伝達関数は、初期部分と反響部分との間に初期反射部分を更に有し、前記データは、頭部バイノーラル伝達関数の初期反射部分を示す初期反射部分データと、初期反射部分と初期部分及び反響部分のうち少なくとも一方との間の時間オフセットを示す第２の同期化指標とを更に有し、装置は、反射処理をオーディオ信号に適用することにより第３のオーディオ成分を生成するための初期反射部分処理部を更に有し、前記反射処理は、初期反射部分データにより少なくとも部分的に決定され、組み合わせ部は、少なくとも第１のオーディオ成分、第２のオーディオ成分及び第３のオーディオ成分の組み合わせに基づいてバイノーラル信号の第１の耳信号を生成するように構成され、同期化部は、第２の同期化指標に基づいて第３のオーディオ成分を第１のオーディオ成分及び第２のオーディオ成分のうち少なくとも一方と同期させるように構成される。
【００５８】
これは、向上したオーディオ品質並びに／又はより効率的な表現及び／又は処理をもたらし得る。
【００５９】
本発明のオプショナルな特徴によれば、反響部は、第１のオーディオ成分に適用された反響プロセスに基づいて第２のオーディオ成分を生成するように構成される。
【００６０】
これは、幾つかの実施形態及びシナリオにおいてとりわけ有利な実装を提供し得る。
【００６１】
本発明のオプショナルな特徴によれば、同期化指標は、バイノーラル処理の処理遅延に対して補正される。
【００６２】
これは、幾つかの実施形態及びシナリオにおいてとりわけ有利な動作を提供し得る。
【００６３】
本発明のオプショナルな特徴によれば、同期化指標は、反響処理の処理遅延に対して補正される。
【００６４】
これは、幾つかの実施形態及びシナリオにおいてとりわけ有利な動作を提供し得る。
【００６５】
本発明の一態様によれば、ビットストリームを生成するための装置であって、初期部分及び反響部分を有する頭部バイノーラル伝達関数を受信するための処理部と、前記頭部バイノーラル伝達関数の前記初期部分を示す初期部分データを生成するための初期部分回路と、前記頭部バイノーラル伝達関数の前記反響部分を示す反響データを生成するための反響回路と、前記初期部分データと前記反響データとの間の時間オフセットを示す同期化指標を有する同期化データを生成するための同期化回路と、前記初期部分データ、前記反響データ及び前記同期化データを有するビットストリームを生成するための出力回路とを有する、装置が提供される。
【００６６】
本発明の一態様によれば、オーディオ信号を処理する方法であって、入力データを受信するステップであって、前記入力データは、初期部分及び反響部分を有する頭部バイノーラル伝達関数を記述するデータを少なくとも有し、前記データは、前記頭部バイノーラル伝達関数の前記初期部分を示す初期部分データと、前記頭部バイノーラル伝達関数の前記反響部分を示す反響データと、前記初期部分と前記反響部分との間の時間オフセットを示す同期化指標とを有する、ステップと、バイノーラルの処理をオーディオ信号に適用することにより第１のオーディオ成分を生成するステップであって、前記バイノーラルの処理は、前記初期部分データにより少なくとも部分的に決定される、ステップと、反響処理をオーディオ信号に適用することにより第２のオーディオ成分を生成するステップであって、前記反響処理は、前記反響データにより少なくとも部分的に決定される、ステップと、前記第１のオーディオ成分及び前記第２のオーディオ成分の組み合わせに基づいてバイノーラル信号の少なくとも第１の耳信号を生成するステップと、前記同期化指標に基づいて前記第１のオーディオ成分及び前記第２のオーディオ成分を同期させるステップとを有する、方法が提供される。
【００６７】
本発明の一態様によれば、ビットストリームを生成する方法であって、初期部分及び反響部分を有する頭部バイノーラル伝達関数を受信するステップと、前記頭部バイノーラル伝達関数の前記初期部分を示す初期部分データを生成するステップと、前記頭部バイノーラル伝達関数の前記反響部分を示す反響データを生成するステップと、前記初期部分データと前記反響データとの間の時間オフセットを示す同期化指標を有する同期化データを生成するステップと、前記初期部分データ、前記反響データ及び前記同期化データを有するビットストリームを生成するステップとを有する、方法が提供される。
【００６８】
本発明の一態様によれば、初期部分及び反響部分を有する頭部バイノーラル伝達関数を表すデータを有するビットストリームであって、前記データは、前記頭部バイノーラル伝達関数の前記初期部分を示す初期データと、前記頭部バイノーラル伝達関数の前記反響部分を示す反響データと、前記初期データと前記反響データとの間の時間オフセットを示す同期化指標を有する同期化データとを有する、ビットストリームが提供される。
【００６９】
本発明のこれらの及び他の態様、特徴及び利点は、以下で述べられる実施形態から明らかになり、これらを参照して説明されるだろう。
【００７０】
本発明の実施形態が図面を参照して単なる例により述べられるだろう。
【図面の簡単な説明】
【００７１】
【図１】ＭＰＥＧサラウンドシステムの要素の一例を示す。
【図２】ＭＰＥＧ  ＳＡＯＣにおいて考えられるオーディオオブジェクトの操作を例示する。
【図３】ユーザがＳＡＯＣビットストリームに含まれる個々のオブジェクトを制御するのを可能にするインタラクティブインタフェースを示す。
【図４】３ＤＡＡのオーディオエンコーディングの原理の一例を示す。
【図５】バイノーラルの処理の一例を示す。
【図６】バイノーラルルームインパルス応答の一例を示す。
【図７】バイノーラルルームインパルス応答の一例を示す。
【図８】本発明の幾つかの実施形態によるバイノーラルレンダリング装置の一例を示す。
【図９】変更されたＪｏｔ反響部の一例を示す。
【図１０】本発明の幾つかの実施形態によるバイノーラルのレンダリング装置の一例を示す。
【図１１】本発明の幾つかの実施形態による頭部バイノーラル伝達関数データの送信部の一例を示す。
【図１２】ＭＰＥＧサラウンドシステムの要素の一例を示す。
【図１３】ＭＰＥＧ  ＳＡＯＣオーディオレンダリングシステムの要素の一例を示す。
【図１４】本発明の幾つかの実施形態によるバイノーラルレンダリング装置の一例を示す。
【発明を実施するための形態】
【００７２】
サウンドソースの仮想位置が聴取者の２つの耳のための個々のサウンドを生成することによりエミュレートされ得るバイノーラルレンダリングは、典型的には、頭部バイノーラル伝達関数に基づいて位置認識を生成する。頭部バイノーラル伝達関数は、典型的には、サウンドが人間の鼓膜に近い位置で取り込まれる測定、又は人間のモデルにより決定される。頭部バイノーラル伝達関数は、ＨＲＴＦｓ、ＢＲＴＦｓ、ＨＲＩＲｓ及びＢＲＩＲｓを含む。
【００７３】
頭部バイノーラル伝達関数の特定の表現に関する詳細な情報は、例えば、Algazi, V.R., Duda, R.O. (2011)"Headphone-Based Spatial Sound"IEEE Signal Processing Magazine, Vol: 28(1), 2011, Page: 33-42において見つけられ得る。これらは、ＨＲＩＲ、ＢＲＩＲ、ＨＲＴＦ、ＢＲＴＦｓの概念について述べている。
【００７４】
Cheng, C., Wakefield, G.H.「Introduction to Head-Related Transfer Functions (HRTFs): Representations of HRTFs in Time, Frequency, and Space」Journal Audio Engineering Society, Vol: 49, No. 4, April 2001は、（時間及び周波数における）異なるバイノーラル伝達関数表現について述べている。
【００７５】
Breebaart, J., Nater, F., Kohlrausch, A. (2010)「Spectral and spatial parameter resolution requirements for parametric, filter-bank-based HRTF processing」J. Audio Eng. Soc., 58 No 3, p. 126-140は、（ＭＰＥＧサラウンド／ＳＡＯＣにおいて用いられている）ＨＲＴＦデータのパラメトリック表現を参照する。
【００７６】
１つの耳のための頭部バイノーラル伝達関数の、とりわけルーム伝達関数の例となる概略図が図６において示される。この例は、とりわけＢＲＩＲを示している。
【００７７】
例えばヘッドホンからの空間認識を生成するためのバイノーラルの処理は、所望の位置に対応する頭部バイノーラル伝達関数によるオーディオ信号のフィルタリングを含む。斯様な処理を実行するために、バイノーラルのレンダリング装置は、頭部バイノーラル伝達関数の認識を適宜必要とする。
【００７８】
それ故、頭部バイノーラル伝達関数情報を効率的に通信及び分配することができることは望ましい。しかしながら、１つのチャレンジは、頭部バイノーラル伝達関数が典型的に比較的長くなり得るという事実から生じる。実際に、実用的な頭部バイノーラル伝達関数は、例えば４８ｋＨｚの典型的なサンプルレートで５０００を超えるサンプルになり得る。これは、とりわけ非常に反響する音響環境に対して重大であり、例えば、ＢＲＩＲは、斯様な音響環境の完全な反響最後部を取り込むために重要な期間を有することを必要とするだろう。これは、頭部バイノーラル伝達関数を通信するときに高データレートをもたらす。
【００７９】
更に、比較的長い頭部バイノーラル伝達関数は、バイノーラルレンダリング処理の増大された複雑性及びリソース要求をもたらす。例えば、長いインパルス応答によるたたみ込みは、各サンプルのために必要とされる計算の数のかなりの増大をもたらすことを必要とするかもしれない。また、頭部バイノーラル伝達関数により取り込まれた特定の音響環境が容易に再生されるので、フレキシビリティは低減される。
【００８０】
これらの問題は、頭部バイノーラル伝達関数を切り捨てることにより軽減され得るにもかかわらず、これは、知覚されたサウンドに対してかなりの影響を与えるだろう。実際に、反響効果は、知覚されたオーディオ体験に対して重大な影響を与え、切り捨ては、それ故、典型的には、重大な知覚的な影響を与えるだろう。
【００８１】
反響部分は、ソースと聴取者との間の距離（即ち、ＢＲＩＲｓが測定された位置）についての、及び、部屋のサイズ及び音響特性についての、人間聴覚認識情報を与えるキューを含む。無反響部分のエネルギに対する反響部分のエネルギは、主として、サウンドソースの知覚された距離を決定する。（初期）反射の時間的密度は、部屋の知覚されたサイズに寄与する。
【００８２】
頭部バイノーラル伝達関数は、異なる部分に分けられ得る。具体的には、頭部バイノーラル伝達関数は、最初に、サウンドソース位置からマイクロホン（鼓膜）への直接的伝播経路からの寄与を含む。直接的サウンドに対応するこの寄与は、本質的に、サウンドソースからマイクロホンへの最も短い距離を表し、従って、頭部バイノーラル伝達関数における最初のイベントである。頭部バイノーラル伝達関数のこの部分は、如何なる反射を伴うことなく直接サウンド伝播を表すので、無反響の部分として知られる。
【００８３】
無反響部分に続いて、頭部バイノーラル伝達関数は、典型的に離れた１又は２つの壁での反射を伴う反射されたサウンドに対応する初期反射に対応する。第１の反射は、直接サウンドの直後に耳に入り、二次的反射（１つを超える反射）がその後比較的すぐ続いてもよい。多くの音響環境において、とりわけサウンドのトランジェントタイプに関して、第１の及び場合により第２の反射のうち少なくとも幾つかを知覚的に区別することが可能である。反射密度は、より高いオーダの反射（例えば、複数の壁に渡る反射）が取り込まれたときには経時的に増大する。しばらくして、別々の反射は、後期又は拡散反響として知られるものに一緒に結合する。この後期又は拡散反響最後部に関して、個々の反射は、もはや知覚的に区別されることができない。
【００８４】
故に、頭部バイノーラル伝達関数は、直接的な（無反射の）サウンド伝播経路に対応する無反響成分を含む。残りの（反響）部分は、通常重複している２つの時間的領域を含む。第１の領域は、いわゆる初期反射を含み、これは、鼓膜（又は測定マイクロホン）に到達する前の部屋内部の壁又は障害物から離れたサウンドソースの分離された反射である。遅延が増大する時間として、固定された時間間隔における反射の数が増大し、これは、二次、三次等の反射を含み始める。反響部分における最後の領域は、これらの反射がもはや分離されない部分である。この領域は、多くの場合拡散又は後期反響最後部と呼ばれている。
【００８５】
頭部バイノーラル伝達関数は、とりわけ２つの部分、即ち、無反響成分を含む初期部分及び後期／拡散反響最後部を含む反響部分になるとみなされ得る。初期反射は、典型的には、反響部分の一部であるとみなされてもよい。しかしながら、幾つかのシナリオにおいて、初期反射の１又はそれ以上は、初期部分の一部であるとみなされてもよい。
【００８６】
故に、頭部バイノーラル伝達関数は、初期部分及び（反響部分と呼ばれる）後期部分に分割されてもよい。例えば、所与の時間閾値より前の頭部バイノーラル伝達関数の任意の部分は、初期部分の一部とみなされてもよく、時間閾値後の頭部バイノーラル伝達関数の任意の部分は、後期／反響部分の一部であるとみなされてもよい。時間閾値は、無反響部分と初期反射との間であってもよい。故に、場合によっては、初期部分は、無反響部分と同一であってもよく、反響部分は、全ての初期反射を含む、反射されたサウンド伝播から生じる全ての特徴を含む。他の実施形態において、時間閾値は、初期反射の１又はそれ以上が時間閾値の前にあるようになってもよく、それ故、斯様な初期反射は、頭部バイノーラル伝達関数の初期部分の一部とみなされるだろう。
【００８７】
以下において、頭部バイノーラル伝達関数に基づくより効率的な表現及び／又は処理が実現され得る本発明の実施形態が述べられるだろう。本アプローチは、頭部バイノーラル伝達関数の異なる部分が異なる特徴を有し、頭部バイノーラル伝達関数の異なる部分が別々に処理され得るという認識に基づいている。実際に、本実施形態において、頭部バイノーラル伝達関数の異なる部分は、頭部バイノーラル伝達関数全体の影響を適宜反映する出力信号を生成するためにその後組み合わせられる異なるプロセスの結果により、別に、及び、異なる機能により、処理され得る。
【００８８】
具体的には、ＢＲＩＲｓのレンダリングにおける計算的利点は、ＢＲＩＲを無反響部分及び（初期反射を含む）反響部分に分割することによりこれらの例において得られ得る。より短いフィルタは、無反響部分が長いＢＲＩＲフィルタより大幅に低い計算負荷でレンダリングされ得ることを表わす。更に、無反響部分を反映するパラメータ化されたＨＲＴＦを使用するＭＰＥＧサラウンド及びＳＡＯＣのようなアプローチに関して、計算複雑さの非常に大幅な削減が実現され得る。更に、反響部分を表すために必要とされる長いフィルタは、複雑さについて低減され得る。正確な元の頭部バイノーラル伝達関数から逸脱する知覚的な有意性は、無反響部分に対するよりも反響部分に対して非常に低くなるためである。
【００８９】
図７は、測定されたＢＲＩＲの一例を示している。図は、直接応答及び第１の反射を示している。この例において、直接応答は、おおよそサンプル４１０とサンプル５００との間で測定される。第１の反射は、概略的にサンプル５２０（即ち、直接応答後の１２０サンプル）から始まる。第２の反射は、直接応答の開始の後に約２５０サンプルを生じる。前記応答は、時間が増大するにつれて、より拡散的になり、あまり重要でない個々の反射を伴うことが理解され得る。
【００９０】
図７のＢＲＩＲは、例えば、サンプル５００の前の応答を含む初期部分（即ち、初期部分は無反響直接応答に対応する）と、サンプル５００の後のＢＲＩＲで作られる反響部分とに分割されてもよい。故に、反響部分は、初期反射及び拡散反響最後部を含む。
【００９１】
この例では、初期部分は、反響部分とは別に、表され、処理されてもよい。例えば、ＦＩＲフィルタは、サンプル４１０〜５００からのＢＲＩＲに対応するよう規定されてもよく、このフィルタのためタップ係数は、ＢＲＩＲの初期部分を表すために用いられてもよい。故に、ＦＩＲフィルタリングは、ＢＲＩＲの影響を反映させるようにオーディオ信号に適用されてもよい。
【００９２】
反響部分は、異なるデータにより表されてもよい。例えば、これは、合成反響部のためのパラメータのセットにより表されてもよい。レンダリングは、合成反響部を処理されるオーディオ信号に適用することによる反響信号の生成を適宜含み、合成反響部が供給されたパラメータを用いる。この反響表現及び処理は、初期部分のためのものと同じ精度をもつＦＩＲフィルタがＢＲＩＲ全体のために用いられた場合よりも、実質的に少ない複雑さ及びリソース要求になり得る。
【００９３】
頭部バイノーラル伝達関数／ＢＲＩＲの初期部分を表すデータは、例えば頭部バイノーラル伝達関数／ＢＲＩＲの初期部分にマッチするインパルス応答を有するＦＩＲフィルタを規定してもよい。頭部バイノーラル伝達関数／ＢＲＩＲの反響部分を表すデータは、例えば頭部バイノーラル伝達関数／ＢＲＩＲの反響部分にマッチするインパルス応答を有するＩＩＲフィルタを規定してもよい。別の例として、実行されたときに、頭部バイノーラル伝達関数／ＢＲＩＲの反響部分にマッチする反響応答を供給する反響モデルのためのパラメータを供給してもよい。
【００９４】
バイノーラル信号は、２つの信号成分を組み合わせることにより適宜生成されてもよい。
【００９５】
図８は、本発明の一実施形態によるバイノーラルレンダリング装置の要素の一例を示している。図８は、とりわけ、１つの耳のための信号を生成するために使用される要素を示している。即ち、バイノーラル信号ペアの２つの信号からの１つの信号の生成を示している。便利さのために、バイノーラル信号という用語は、各耳のための信号を有する完全なバイノーラルステレオ信号、及び、聴取者の耳のうちの一方のみのための信号（即ち、ステレオ信号を形成するモノラル信号のうちいずれか）の双方に言及するために用いられるだろう。
【００９６】
図８のデバイスは、ビットストリームを受信するレシーバ８０１を有する。ビットストリームは、例えばインターネットストリーミングサービス又はアプリケーションからのような、リアルタイムストリーミングビットストリームとして受信されてもよい。他のシナリオにおいて、ビットストリームは、例えば格納媒体からの格納されたデータファイルとして受信されてもよい。ビットストリームは、任意の外部又は内部ソースから、及び、任意の適切なフォーマットにおいて受信されてもよい。
【００９７】
受信したビットストリームは、とりわけ、頭部バイノーラル伝達関数を表すデータを有し、これは、特定の場合においてそれはＢＲＩＲである。典型的には、ビットストリームは、異なる位置の範囲に対するような、複数の頭部バイノーラル伝達関数を有するが、以下の説明は、明瞭さ及び簡潔さのために、１つの頭部バイノーラル伝達関数の処理にフォーカスするだろう。また、頭部バイノーラル伝達関数は、典型的にはペアで供給される（即ち、頭部バイノーラル伝達関数が２つの耳のそれぞれに対して供給される）。しかしながら、以下の説明は１つの耳のための信号の生成にフォーカスするので、説明は、１つの頭部バイノーラル伝達関数の使用にフォーカスするだろう。述べられたものと同じアプローチは、その耳のための頭部バイノーラル伝達関数を用いることにより他の耳のための信号を生成するために適用されてもよいことが理解されるだろう。
【００９８】
受信した頭部バイノーラル伝達関数／ＢＲＩＲは、初期部分データ及び反響データを有するデータにより表される。初期部分データは、ＢＲＩＲの初期部分を示し、反響部分は、ＢＲＩＲの反響部分を示す。具体例において、初期部分は、ＢＲＩＲの無反響部分から成り、反響部分は、初期反射及び反響最後部から成る。例えば、図７のＢＲＩＲに関して、初期部分データは、サンプル５００までのＢＲＩＲを記述し、反響部分データは、サンプル５００の後のＢＲＩＲを記述する。幾つかの実施形態及びシナリオにおいて、反響部分と初期部分との間に重なりがあってもよい。例えば、初期部分データは、サンプル５２５までのＢＲＩＲを記述し、反響部分データは、サンプル４７５の後のＢＲＩＲを記述してもよい。
【００９９】
ＢＲＩＲの２つの部分の説明は、具体例において非常に異なる。無反響部分は比較的短いＦＩＲフィルタにより表されるのに対し、反響部分は合成反響部のためのパラメータにより表される。
【０１００】
具体例において、ビットストリームは、頭部バイノーラル伝達関数／ＢＲＩＲに関連付けられた位置からレンダリングされるオーディオ信号を有する。
【０１０１】
受信部８０１は、ビットストリームの個々のデータ成分を抽出、復元及び分離するように、受信したビットストリームを処理するように構成され、これらが適切な機能に供給され得る。
【０１０２】
受信部８０１は、オーディオ信号が供給される初期部分処理部８０３の形の初期部分回路に結合される。加えて、初期部分処理部８０３には、初期部分データが供給され、即ち、初期のものを記述するデータ、及び、具体例においてＢＲＩＲの無反響部分を記述するデータが供給される。
【０１０３】
初期部分処理部８０３は、バイノーラルの処理をオーディオ信号に適用することにより第１のオーディオ成分を生成するように構成され、バイノーラルの処理が初期部分データにより少なくとも部分的に決定される。
【０１０４】
具体的には、オーディオ信号は、頭部バイノーラル伝達関数の初期部分をオーディオ信号に適用することにより処理され、これにより、第１のオーディオ成分を生成する。故に、第１のオーディオ成分は、直接的経路により（即ち、サウンド伝播の無反響部分により）知覚されるので、オーディオ信号に対応する。
【０１０５】
具体例において、初期部分データは、ＢＲＩＲの初期部分に対応するフィルタを記述してもよく、初期部分処理部８０３は、ＢＲＩＲの初期部分に対応するフィルタによりオーディオ信号をフィルタリングするように適宜構成されてもよい。初期部分データは、とりわけ、ＦＩＲフィルタのタップ係数を記述するデータを含んでもよく、初期部分処理部８０３により実行されるバイノーラルの処理は、対応するＦＩＲフィルタによるオーディオ信号のフィルタリングを有してもよい。
【０１０６】
第１のオーディオ成分は、所望の位置からの直接的経路からの鼓膜で知覚されるサウンドに対応するように適宜生成されてもよい。
【０１０７】
受信部８０１は、反響処理部８０７に更に結合される遅延部８０５に更に結合される。反響処理部８０７には、遅延部８０５を介してオーディオ信号が供給される。加えて、反響処理部８０７には、反響部分データが供給され、即ち、反射されたサウンド伝播を記述する、具体例において個々の反射が分離され得ない初期反射及び拡散反響最後部を記述する、データが供給される。
【０１０８】
反響処理部８０７は、反響処理が反響データにより少なくとも部分的に決定されるオーディオ信号に反響処理を適用することにより第２のオーディオ成分を生成するように構成される。
【０１０９】
具体例において、反響処理部８０７は、反響モデルに基づいて反響信号を生成する合成反響部を有してもよい。合成反響部は、典型的には、フィードバックネットワークを用いて初期反射及び密度の高い反響最後部をシミュレーションする。フィードバックループ制御音響時間（Ｔ６０）及び着色にフィルタが含まれる。合成反響部は、とりわけＪｏｔ反響部であってもよく、図９は、（３つのフィードバックループをもつ）変更されたＪｏｔ反響部の概略的説明の一例を示している。この例において、Ｊｏｔ反響部は、１つの代わりに２つの信号を出力するように修正されており、その結果、バイノーラル信号のそれぞれのための別個の反響部を必要とすることなくバイノーラル反響部を表わすために用いられ得る。フィルタは、両耳間の相関（ｕ（ｚ）及びｖ（ｚ））及び耳に依存する着色（ｈＬ及びｈＲ）を介して制御を与えるために追加されている。
【０１１０】
多くの他の合成反響部が存在し、当業者に知られ、任意の適切な合成反響部が本発明を損なうことなく用いられ得ることが理解されるだろう。
【０１１１】
混合マトリクス係数のような合成反響部のパラメータ、及び、図９のＪｏｔ反響部のためのゲインの全て又は幾つかが、反響部分データにより供給されてもよい。故に、完全なＢＲＩＲが利用可能であるエンコーダ側において、測定されたＢＲＩＲと反響部の効果との間の最も近いマッチングをもたらすパラメータセットが決定されてもよい。そして、生ずるパラメータは、エンコードされ、ビットストリームの反響部分データに含まれる。
【０１１２】
反響部分データは、抽出され、図８のデバイスにおける反響処理部８０７に供給され、反響処理部８０７は、受信したパラメータを用いた（例えばＪｏｔ）反響部を実装するよう適宜進行する。生ずる反響モデルがオーディオ信号（図９の一例におけるＳｉｎ）に適用されたとき、ＢＲＩＲの反響部分をオーディオ信号に適用することから生ずるものに密接にマッチする反響信号が生成される。
【０１１３】
故に、ＢＲＩＲ応答の元の効果に対する密接な近似は、反響部分データにおいて供給されるパラメータにより制御される低い複雑性の合成反響部を用いて実現される。それ故、本例において、第２のオーディオ成分は、合成反響部をオーディオ信号に適用することから生ずる反響信号として生成される。この反響信号は、対応して長いインパルス応答を有するフィルタに対するものよりも大幅に少ない処理しか必要としないプロセスを用いて生成される。故に、大幅に低減された計算リソースが必要とされ、これにより、例えば、本プロセスが例えばポータブルデバイスのような低リソースデバイス上で実行されるのを可能にする。多くのシナリオにおいて、生成された反響信号は、詳細で長いＢＲＩＲが信号をフィルタリングするために用いられた場合に実現されるものと同じくらい正確な表現である必要はない。しかしながら、斯様なずれの知覚的な影響は、初期部分に対するものよりも、反響部分に対するものの方が大幅に低い。ほとんどのシナリオ及び実施形態において、ずれは、重要でない変化をもたらし、典型的には、元の反響特性に対応する極めて自然な反響が実現される。
【０１１４】
初期部分処理部８０３及び反響処理部８０７は、第１のオーディオ成分及び第２のオーディオ成分を組み合わせることによりバイノーラルステレオ信号の第１の耳信号を生成するコンバイナ８０９に供給される。コンバイナ８０９は、幾つかの実施形態において、フィルタ又はレベル調整のような他の処理を含んでもよいことが理解されるだろう。また、生成された組み合わせられた信号は、増幅されてもよく、例えばヘッドホンの１つのイヤホンに供給されるためにアナログ信号領域等に変換されてもよく、これにより、聴取者の１つの耳のためのサウンドを供給する。
【０１１５】
述べられたアプローチは、聴取者の他の耳のための信号を生成するために並列に実行されてもよい。同じアプローチが用いられてもよいが、聴取者の他耳のための頭部バイノーラル伝達関数を用いるだろう。そして、この他の信号は、バイノーラル空間体験を提供するために、ヘッドホンの他のイヤホンに供給されてもよい。
【０１１６】
具体例において、コンバイナ８０９は、（１つの耳の）バイノーラル信号を生成するために第１のオーディオ成分及び第２のオーディオ成分を追加する単純な加算器である。しかしながら、他の実施形態において、例えば、加重合計、又は、反響及び初期部分が重複する場合におけるオーバーラップ加算（overlap-and-add）のような、他のコンバイナが用いられてもよいことが理解されるだろう。
【０１１７】
故に、１つの耳のためのバイノーラル信号は、１つのオーディオ成分がサウンドソース位置から耳までの音響伝達関数の無反響部分に対応する場合に２つのオーディオ成分を追加することにより生成され、他のオーディオ成分は、反響部分と多くの場合呼ばれる、音響伝達関数の反映された部分に対応する。組み合わせられた信号は、音響伝達関数／頭部バイノーラル伝達関数全体を適宜表してもよく、とりわけ、ＢＲＩＲ全体を反映してもよい。しかしながら、異なる部分が別々に処理されるので、データ表現及び処理の双方は、個々の部分の個々の特性に対して最適化され得る。とりわけ、比較的正確な頭部バイノーラル伝達関数表現及び処理は、無反響部分に対して用いられてもよいのに対して、実質的に正確ではないが実質的により効果的な表現及び処理が反響部分に対して用いられ得る。例えば、比較的短いが正確なＦＩＲフィルタが無反響部分に対して用いられてもよく、あまり正確ではないがより長い応答がコンパクト反響モデルを用いて反響部分に対して使用されてもよい。
【０１１８】
しかしながら、このアプローチは、幾つかのチャレンジをもたらす。具体的には、無反響信号（第１のオーディオ成分）及び反響信号（第２のオーディオ成分）は、概して、異なる遅延を有するだろう。初期部分処理部８０３による無反響部分の処理は、反響信号の生成に対する遅延を取り込むだろう。同様に、反響処理部８０７による反響プロセスは、反響信号に対する遅延を取り込むだろう。しかしながら、合成反響部により取り込まれる遅延は、無反響ＦＩＲフィルタリングにより取り込まれる遅延より低くてもよい。
【０１１９】
結果として、残響の応答は、組み合わせられた出力信号における無反響応答の前に発生することもできる。斯様な結果は、頭部、耳及び任意の物理的な状況における部屋によるフィルタリングと一致しないので、これは、乏しいパフォーマンス、及び、歪められた空間体験をもたらす。さらに一般的にいえば、異なる遅延での並行処理は、頭部バイノーラル伝達関数及び元の音響伝達関数と比較して残響の開始を無反響応答の開始に向かってシフトさせる傾向にあるだろう。一般に、反射及び拡散残響が無反響部分に対して適切な遅延を有さない場合、組み合わせられたバイノーラル信号は不自然に聞こえ得る。
【０１２０】
この不利な効果に対処するために、遅延は、反響信号経路に取り込まれ、これは、初期部分処理部８０３及び反響処理部８０７の処理遅延の差のために調整する。例えば、（第１のオーディオ成分／無反響信号を生成することについての）初期部分処理部８０３の処理遅延がＴｂと示され、（第２のオーディオ成分／反響信号を生成することについての）反響処理部８０７の処理遅延がＴｒと示された場合、その後、Ｔｄ＝Ｔｂ−Ｔｒの遅延が、反響信号経路に取り込まれ得る。しかしながら、斯様な遅延は、処理遅延の補正にしか向けられず、無反響部分の直接的応答との残響の第１の反射の調整をもたらすだけだろう。斯様なアプローチは、第１の反射が無反響部分と同じ時間ではないがその後に生じるので、所望の頭部バイノーラル伝達関数に対応する組み合わせられた効果をもたらさないだろう。それ故、斯様なアプローチは、音響特性又は所望の頭部バイノーラル伝達関数に対応しないだろう。実際に、合成残響からの第１の反射は、無反響応答の主なパルスの後に特定の遅延において生じるべきである。更に、この遅延は、処理遅延に単に依存するだけでなく、ＢＲＩＲ測定の間における部屋内のソース及びレシーバの位置にも依存する。従って、遅延は、図８の装置により直ちに導出可能なものではない。
【０１２１】
しかしながら、図８のシステムにおいて、受信したビットストリームは、初期部分と反響部分との間でオフセットされる時間を示す同期化指標を有する。故に、ビットストリームは、第１及び第２のオーディオ成分（即ち、特定の例において無反響信号及び反響信号）を同期化及び時間調整するために受信部により用いられ得る同期化データを有し得る。
【０１２２】
同期化指標は、無反響部分の開始と第１の反射の開始との間の遅延のような、適切な時間オフセットに基づき得る。この情報は、完全な頭部バイノーラル伝達関数に基づいてエンコーディング／送信側で決定され得る。例えば、完全なＢＲＩＲが利用可能なとき、無反響部分の開始と第１の反射の開始との間の相対的な時間オフセットは、ＢＲＩＲを初期部分及び反響部分に分割するプロセスの部分として決定され得る。
【０１２３】
それ故、ビットストリームは、初期処理及び反響処理のための別々のデータを含むだけでなく、レシーバ／レンダリング装置により２つのオーディオ成分を同期化／時間調整するために用いられ得る同期化情報も含む。
【０１２４】
これは、図８において、同期化指標に基づいて第１のオーディオ成分及び第２のオーディオを同期させるように構成される同期化部により実装される。具体的には、同期化は、第１及び第２のオーディオ成分が、同期化指標により示される時間オフセットに対応する、無反響部分及び第１の反射の開始の間の時間オフセットを与えるために組み合わせられるようになっていてもよい。
【０１２５】
斯様な同期は、任意の適切な手段で実行されてもよく、実際に、第１及び第２のオーディオ成分のうちいずれかの処理により直接的に実行される必要はないことが理解されるだろう。むしろ、第１及び第２のオーディオ成分の相対的タイミングの変化をもたらすことができる任意のプロセスが用いられ得る。例えば、Ｊｏｔ反響部の出力部においてフィルタの長さを調整することが相対的な遅延を調整してもよい。
【０１２６】
図８の例において、同期化部は、オーディオ信号を受信し、及び、それを、受信した同期化指標上に依存する遅延により、反響処理部８０７に供給する遅延８０５により実装される。遅延８０５は、同期化指標を受信するレシーバ８０１に適宜結合される。例えば、同期化指標は、無反響部分及び第１の反射の開始の間の所望の遅延（Ｔｏ）を示してもよい。それに応じて、遅延８０５は、とりわけ、反響経路の全体遅延がこの量により初期部分経路の遅延からずれるように設定され得る（即ち、遅延Ｔｄが、Ｔｄ＝Ｔｂ−Ｔｒ＋Ｔｏとして設定され得る）。
【０１２７】
例えば、トランスミッタ側において、図７のＢＲＩＲは、第１の反射と直接応答との間でオフセットされる時間を識別するために解析されてもよい。特定の例において、第１の反射は、直接応答の開始後に１２６のサンプルを生じ、従って、Ｔｏ＝１２６サンプルの遅延を示す同期化指標がビットストリームに含まれ得る。レシーバ側において、図８のデバイスは、初期の処理Ｔｂの、及び、反響処理Ｔｒの相対的な遅延を知るだろう。これらは、例えばサンプルに関して表されてもよく、サンプルにおける遅延８０５の遅延は、上記の式から容易に計算されてもよい。
【０１２８】
上記の例では、同期化指標は、所望の遅延を直接的に反映する。しかしながら、他の実施形態において、他の同期化指標が用いられてもよく、とりわけ、他の関連した遅延が供給されてもよいことが理解されるだろう。
【０１２９】
例えば、幾つかの実施形態において、同期化指標により示された遅延／時間オフセットは、レシーバにおける処理に関連付けられる遅延のうち少なくとも１つに対して補正されてもよい。具体的には、ビットストリームにおいて供給される同期化指標は、バイノーラルの処理及び反響処理のうち少なくとも１つに対して補正されてもよい。
【０１３０】
故に、幾つかの実施形態において、エンコーダは、所望の遅延全体よりはむしろ、初期部分プロセッサ８０３及び反響プロセッサ８０７により生じる遅延を決定又は推定することができてもよく、同期化指標は、初期部分処理、反響処理又は両方の遅延に依存して修正された時間オフセット又は遅延を示してもよい。具体的には、幾つかの実施形態において、同期化指標は、この値に自動的にセットされ得る遅延８０５の所望の遅延を直接的に示してもよい。
【０１３１】
例えば、幾つかの実施形態において、無反響部分は、初期部分プロセッサ８０３により取り込まれた所与の遅延に対応する所与の長さのＦＩＲフィルタにより表される。更に、合成反響部の特定の実装が特定されてもよく、従って、生ずる遅延がトランスミッタで知られてもよい。故に、斯様な実施形態において、同期化指標の生成は、これらの値を考慮する。例えば、初期部分処理のための推定された、想定された又は名目的な遅延をＴｂにより示すとともに、初期部分処理のための推定された、想定された又は名目的な遅延をＴｒにより示すと、トランスミッタは、Ｔｄ＝Ｔｂ−Ｔｒ＋Ｔｏとして与えられる遅延を示すために、即ち遅延８０５のための値を直接的に示すために、同期化指標を生成してもよい。
【０１３２】
他の実施形態において、例えば反響経路の全体遅延Ｔｃｏｍｐ＝Ｔｂ＋Ｔｏのような、他の遅延値が通信されてもよい。
【０１３３】
同期化の任意の表現、及びとりわけ遅延が用いられてもよいことが理解されるだろう。例えば、遅延は、ミリ秒、サンプル、フレーム単位等において供給されてもよい。
【０１３４】
図８の例において、無反響オーディオ成分及び反響成分の同期は、反響プロセッサ８０７に供給されるオーディオ信号を遅延させることにより実現される。他の実施形態において、無反響オーディオ成分と反響成分との間の相対的な時間調節を変える他の手段が用いられてもよいことが理解されるだろう。一例として、遅延は、組み合わせ前の（即ち、反響プロセッサ８０７の出力における）反響オーディオ成分に直接適用されてもよい。他の例として、様々な遅延は、初期部分処理経路において取り込まれてもよい。例えば、反響経路は、無反響応答の開始と第１の反射との間の最大の考えられる時間オフセットより長い、固定された遅延を実装してもよい。第２の様々な遅延は、初期部分処理経路において取り込まれ、２つの経路間の所望の相対的な遅延を与えるために同期化指標における情報に基づいて調整され得る。
【０１３５】
図８の例において、聴取者の一方の耳のための信号の生成に関連付けられた要素が示される。同じアプローチが他方の耳のための信号を生成するために用いられてもよいことが理解されるだろう。幾つかの実施形態において、同じ反響処理が双方の信号のためにさらに用いられてもよい。斯様な例が図１０において示される。本例において、例えばダウンミクスされたＭＰＥＧサラウンドサウンドステレオ信号であってもよいステレオ信号が受信される。初期部分プロセッサ８０３は、ＢＲＩＲの初期部分に基づいてバイノーラルの処理を実行し、これにより、バイノーラルステレオ出力を生成する。更に、組み合わせられた信号は、入力されたステレオ入力信号の２つの信号を組み合わせることにより生成され、生ずる信号は、その後、遅延８０５により遅延され、反響信号は、反響プロセッサ８０７により、遅延された信号から生成される。生ずる反響信号は、初期部分プロセッサ８０３により生成されるステレオバイノーラル信号の双方の信号に追加される。
【０１３６】
故に、本例において、組み合わせられた信号から生成された反響は、バイノーラルモノラル信号の双方に追加される。反射部は、バイノーラルステレオ信号の異なる信号のための異なる反響信号を生成してもよい。しかしながら、他の実施形態において、生成された反響信号は、前記信号の双方に対するものと同じであってもよく、それ故、同じ反響が、幾つかの実施形態において、バイノーラルモノラル信号の双方に追加されてもよい。これは、複雑性を低減してもよく、典型的には、とりわけ後の反射として許容可能であり、反響最後部は、聴取者の両耳間の位置的な差にはあまりしない。
【０１３７】
図１１は、図８のレシーバデバイスに適しているビットストリームを生成及び送信するためのデバイスの一例を示している。
【０１３８】
デバイスは、通信されるべき頭部バイノーラル伝達関数を受信するプロセッサ／レシーバ１１０１を有する。特定の例において、頭部バイノーラル伝達関数は、例えば図７のＢＲＩＲのようなＢＲＩＲである。レシーバ１１０１は、ＢＲＩＲを初期部分及び反響部分に分割するように構成される。例えば、初期部分は、所与の時間／サンプル時点の前に生じるＢＲＩＲの部分を構成してもよく、反響部分は、所与の時間／サンプル時点の後に生じるＢＲＩＲの部分を構成してもよい。
【０１３９】
幾つかの実施形態において、初期部分及び反響部分への分割は、ユーザ入力に基づいて実行される。例えば、ユーザは、部屋の最大寸法の指標を入力してもよい。そして、２つの部分を分割する時間時点は、その距離のためのサウンド伝播時間を加えた初期応答の開始の時間としてセットされてもよい。
【０１４０】
幾つかの実施形態において、初期部分及び反響部分への分割は、完全に自動的に、及び、ＢＲＩＲの特徴に基づいて、実行されてもよい。例えば、ＢＲＩＲのエンベロープが計算されてもよい。そして、初期部分及び反響部分への良好な分割は、時間エンベロープの第１の（重大な）ピークの後の第１の谷を見つけることにより与えられる。
【０１４１】
頭部バイノーラル伝達関数の初期部分は、レシーバ１１０１に結合される初期部分データジェネレータ１１０３の形で初期部分回路に供給される。そして、初期部分データジェネレータ１１０３は、頭部バイノーラル伝達関数の初期部分を記述する初期部分データを生成するよう進行する。一例として、初期部分データジェネレータ１１０３は、所与の長さのＦＩＲフィルタを、頭部バイノーラル伝達関数／ＢＲＩＲの初期部分を最良にフィットさせるように適合させる。例えば、係数値は、エネルギを最大にし、及び／又は、ＦＩＲフィルタインパルス応答とＢＲＩＲとの間の平均平方誤差を最小化するように決定されてもよい。そして、初期部分データジェネレータ１１０３は、ＦＩＲ係数を記述するデータとして初期部分データを生成してもよい。多くの実施形態において、ＦＩＲフィルタ係数は、インパルス応答サンプル値として、又は、多くの実施形態において、インパルス応答のサブサンプリングされた表現として、単純に決定されてもよい。
【０１４２】
並行して、頭部バイノーラル伝達関数の反響部分は、レシーバ１１０１に結合される反響部分データジェネレータ１１０５の形で反響回路に供給される。そして、反響部分データジェネレータ１１０５は、頭部バイノーラル伝達関数の反響部分を記述する反響部分データを生成するよう進行する。一例として、反響部分データジェネレータ１１０５は、モデルの応答がＢＲＩＲの後期部分のものにより適切にマッチするように、図９のＪｏｔ反射部のような反響モデルのためのパラメータを調整してもよい。当業者は、測定されたＢＲＩＲに反響モデルをマッチさせるための多数の異なるアプローチに気付くことが理解され、これは、簡潔さのためにここでは更に述べられないだろう。Ｊｏｔ反響部に関する詳細な情報は、Menzer, F., Faller, C."Binaural reverberation using a modified Jot reverberator with frequency-dependent interaural coherence matching"126th Audio Engineering Society Convention, Munich, Germany, May 7-10 2009において見つけられ得る。Ｊｏｔ反響部を作り出す異なるフィルタのフィルタ係数の直接送信は、Ｊｏｔ反響部のパラメータを記述するための１つの手段であり得る。
【０１４３】
幾つかの実施形態において、反響部分データジェネレータ１１０５は、ＢＲＩＲの反響部分のものに対応するインパルス応答をもつフィルタのための係数値を生成してもよい。例えば、ＩＩＲフィルタの係数は、ＩＩＲフィルタのインパルス応答とＢＲＩＲの反響部分との間の例えば最小平方誤差を最小化するように調整されてもよい。
【０１４４】
図１１のビットストリームジェネレータ及びトランスミッタは、レシーバ１１０１に結合される同期化指標ジェネレータ１１０７の形の同期化回路を更に有する。レシーバ１１０１は、初期部分及び反響部分のタイミングに関するタイミング情報を、同期化指標を生成するよう進行する同期化指標ジェネレータ１１０７に供給してもよい。
【０１４５】
例えば、レシーバ１１０１は、同期化指標ジェネレータ１１０７にＢＲＩＲを供給してもよい。そして、同期化指標ジェネレータ１１０７は、第１の応答及び第１の反射の開始がそれぞれいつ生じるかを決定するためにＢＲＩＲを解析してもよい。そして、この時間差は、同期化指標としてエンコードされてもよい。
【０１４６】
初期部分データジェネレータ１１０３、反響部分データジェネレータ１１０５及び同期化指標ジェネレータ１１０７は、初期部分データ、反響部分データ及び同期化指標を有するビットストリームを生成するよう進行するビットストリームプロセッサ１１０９の形の出力回路に結合される。
【０１４７】
前記データをビットストリームに配置するための任意のアプローチが用いられてもよいことが理解されるだろう。ビットストリームは、典型的には、複数の頭部バイノーラル伝達関数及び場合により他のタイプのデータを記述するデータを含めるように生成されることも理解されるだろう。特定の例において、ビットストリームプロセッサ１１０９は、例えば含まれた頭部バイノーラル伝達関数を用いてレンダリングするためのオーディオ信号を含むオーディオデータを受信する。
【０１４８】
そして、ビットストリームプロセッサ１１０９により生成されたビットストリームは、リアルタイムストリーミングとして通信されてもよく、格納媒体におけるデータファイルとして格納されてもよい。具体的には、ビットストリームは、図８の受信デバイスに送信されてもよい。
【０１４９】
述べられたアプローチの利点は、頭部バイノーラル伝達関数の異なる表現が、初期部分に対して、及び、反響部分に対して、用いられてもよいということである。これは、表現が個々の部分のために個別に最適化されるのを可能にしてもよい。
【０１５０】
多くの実施形態において、及び、多くのシナリオのために、初期データが周波数領域フィルタパラメータを有し、初期部分処理が周波数領域処理であることが特に有利であるだろう。
【０１５１】
実際に、頭部バイノーラル伝達関数の初期部分は、典型的には、比較的短いものであり、それ故、比較的短いフィルタにより効果的に実装され得る。斯様なフィルタは、たたみ込みよりもむしろ乗算のみを必要とするので、多くの場合、周波数領域においてより効果的に実装され得る。故に、周波数領域における値を直接供給することにより、このデータの、レシーバによる時間領域からの又は時間領域への変換を必要としない、効果的で使いやすい表現が供給される。
【０１５２】
初期部分は、とりわけ、パラメトリック記述により表されてもよい。パラメトリック表現は、例えばＢａｒｋスケール又はＥＲＢスケールに応じたセット又は周波数帯のような、一組の固定された又は非定値の周波数間隔のための周波数領域係数のセットを供給してもよい。一例として、パラメトリック表現は、２つのレベルパラメータ（左耳のためのもの及び右耳のためのもの）、及び、各周波数帯のための左耳と右耳との間の位相差を記述する位相パラメータから成ってもよい。斯様な表現は、例えばＭＰＥＧサラウンドにおいて使用される。他のパラメトリック表現は、モデルパラメータ、例えばユーザ特性（例えば男性の女性）又は（双方の耳の間の距離のような）或る身体計測の特徴を記述するパラメータから成ってもよい。この場合、モデルは、その後、単に身体計測の情報に基づいてパラメータのセット（例えば、振幅及び位相パラメータ）を導出することができる。
【０１５３】
先の例において、反響データは、反響モデルのためのパラメータを供給し、反響プロセッサ８０７は、このモデルを実装することにより反響信号を生成するように構成された。しかしながら、他の実施形態において、他のアプローチが用いられてもよい。
【０１５４】
例えば、幾つかの実施形態において、反響プロセッサ８０７は、典型的により長い期間を有するが、初期部分に対して使用されるフィルタより正確ではない（例えば、より粗い係数又は時間量子化を有する）反響フィルタを実装してもよい。斯様な実施形態において、反響部分データは、とりわけフィルタを実装するための周波数又は時間領域係数のような、反響フィルタのためのパラメータを有してもよい。
【０１５５】
例えば、反響データは、比較的低いサンプルレートを有するＦＩＲフィルタとして生成されてもよい。ＦＩＲフィルタは、この低減されたサンプルレートのための頭部バイノーラル伝達関数のために考えられる最良のマッチングを提供してもよい。そして、生ずる係数は、反響部分データにおいてエンコードされてもよい。受信側において、対応するＦＩＲフィルタが生成されてもよく、例えばより低いサンプルレートでオーディオ信号に適用されてもよい。この例において、初期部分処理及び反響部分処理は、異なるサンプルレートで実行されてもよく、例えば、反響処理部分は、入力オーディオ信号のデシメーション及び生ずる反響信号のアップサンプリングを有してもよい。他の例として、より高いサンプルレートのためのＦＩＲフィルタは、反響データの部分として受信される低減されたレートのＦＩＲ係数の挿入により追加のＦＩＲ係数を生成することにより生成されてもよい。
【０１５６】
本アプローチの利点は、ＭＰＥＧサラウンド及びＳＡＯＣのような、より新しいオーディオエンコーディング規格と一緒に用いられ得るということである。
【０１５７】
図１２は、反響がどのようにＭＰＥＧサラウンド規格に従って信号に追加され得るかの一例を示している。現在の規格は、バイノーラル信号のパラメータ化されたレンダリングに対するサポートのみを可能にし、それ故、長いバイノーラルのフィルタは、バイノーラルレンダリングにおいて用いられ得ない。しかしながら、規格は、図１２に示すようにバイノーラルレンダリングモードにおけるＭＰＥＧサラウンドに残響を追加するための構造を記述する情報の付録を提供する。述べられたアプローチは、このアプローチに適合するものであり、従って、効率的な及び向上したオーディオ体験がＭＰＥＧサラウンドシステムに対して提供されるのを可能にする。
【０１５８】
同様に、本アプローチは、ＳＡＯＣによって用いられてもよい。しかしながら、ＳＡＯＣは、任意の反響処理を直接含むものではないが、ＭＰＥＧサラウンドに類似するパラレルバイノーラル反響を実行するために用いられ得る効果的なインタフェースをサポートする。図１３は、ＳＡＯＣの効果的なインタフェースがどのようにいわゆるセンドエフェクトを実装するために用いられるかについての一例を示している。バイノーラルの残響に関して、効果的なインタフェースは、レンダリングマトリクスから導出され得るバイノーラルレンダリングに類似する相対的なゲインを有する全てのオブジェクトを含むセンドエフェクトチャネルを出力するように構成され得る。効果的なモジュールとして残響を用いて、バイノーラルの残響が生成され得る。Ｊｏｔ反響部のような、時間−領域残響の場合、センドエフェクトチャネルは、残響を適用する前に、ハイブリッド合成フィルタ−バンクによって、時間領域に変換され得る。
【０１５９】
先の説明は、頭部バイノーラル伝達関数が２つの部分（無反響部分に対応するもの及び反射された部分に対応するもの）に分割された実施形態にフォーカスした。故に、これらの例において、全ての初期反射は、頭部バイノーラル伝達関数の反響部分の部分であった。しかしながら、他の実施形態において、初期の反射のうち１又はそれ以上が、反響部分よりもむしろ初期部分に含まれてもよい。
【０１６０】
例えば、図７のＢＲＩＲのために、初期部分及び反響部分を分割する時間時点は、５００サンプルよりもむしろ６００サンプルになるように選択されてもよい。これは、第１の反射を含む初期部分をもたらすだろう。
【０１６１】
また、幾つかの実施形態において、頭部バイノーラル伝達関数は、２つを超える部分に分割されてもよい。具体的には、頭部バイノーラル伝達関数は、無反響の部分を含む（少なくとも）１つの初期部分、拡散反響最後部を含む反響部分、及び、初期の反射のうち１又はそれ以上を含む（少なくとも）１つの初期反射部分に分割されてもよい。
【０１６２】
斯様な実施形態において、ビットストリームは、従って、頭部バイノーラル伝達関数の初期部分及びとりわけ無反響部分を示す初期部分データ、頭部バイノーラル伝達関数の初期の反射部分を示す初期反射部分データ、及び、頭部バイノーラル伝達関数の反響部分を示す反響データを含めるように生成されてもよい。更に、ビットストリームは、初期部分と反響部分との間の時間オフセットを示す第１の同期化指標に加えて、初期反射部分と初期部分及び反響部分のうち少なくとも１つとの間の時間オフセットを示す第２の同期化指標を含んでもよい。
【０１６３】
頭部バイノーラル伝達関数を２つの部分に分割するための前に述べられたアプローチは、３つの部分への頭部バイノーラル伝達関数を導出するために用いられてもよい。例えば、無反響部分に対応する第１のセクションが、制限された時間間隔において第１の信号シーケンスを検出することにより検出されてもよく、初期の反射に対応する第２のセクションが、第１の間隔の後の時間間隔において第２のシーケンスを検出することにより検出されてもよい。第１及び第２の部分の時間間隔は、例えば信号レベルに基づいて決定されてもよい。即ち、各間隔は、振幅が（例えば最大レベルに対する）所与のレベルより下まで減少したときに終了するように選択されてもよい。第２の時間間隔／初期反射部分の後の残りの部分は、反響部分として選択されてもよい。
【０１６４】
同期化指標により示された時間オフセットは、識別された時間間隔から見つけられてもよく、又は、例えば、時間オフセットが、異なる時間間隔における信号間の相関の最大化をもたらす遅延に基づいて見つけられてもよい。
【０１６５】
斯様なアプローチにおいて、レシーバ／レンダリングデバイスは、３つの並列経路、即ち、初期部分のためのもの、初期反射部分のためのもの、及び、反響部分のためのものを含んでもよい。初期部分のための処理は、例えば、（初期部分データにより表される）第１のＦＩＲフィルタに基づいてもよく、初期反射部分の処理は、（初期反射部分データにより表される）第２のＦＩＲフィルタに基づいてもよく、反響処理は、合成反響部により、パラメータが反響部分データにおいて供給される反響モデルに基づいてもよい。
【０１６６】
このアプローチにおいて、３つのオーディオ成分は、従って、３つの異なる処理により生成され、これら３つのオーディオ成分は、後に組み合わせられる。
【０１６７】
更に、時間的調節を与えるために、経路のうち少なくとも２つ、典型的には、初期反射経路及び反響経路は、それぞれ第１及び第２の同期化指標に基づいてセットされる様々な遅延を含んでもよい。故に、遅延は、３つのプロセスの組み合わせられた効果が完全な頭部バイノーラル伝達関数に対応するように、同期化指標に基づいてセットされる。
【０１６８】
幾つかの実施形態において、処理は、完全に並列である必要はない。例えば、図８に示されたような入力オーディオ信号に基づく反響処理よりむしろ、初期部分プロセッサ８０３により生成されるオーディオ成分に反響処理を適用することに基づいてもよい。斯様な装置の一例が図１４に示されている。
【０１６９】
この例において、遅延８０５は、初期部分信号及び反響信号を時間的に調整するために依然として用いられ、受信した同期化指標に基づいてセットされる。しかしながら、遅延は、初期部分プロセッサ８０３の遅延はまさに反響処理の部分であるので、図８のシステムとは異なるようにセットされる。遅延は、例えば、Ｔｄ＝Ｔｏ−Ｔｒとしてセットされてもよい。
【０１７０】
上記の説明は、明瞭さのために、異なる機能的な回路、ユニット及びプロセッサを参照して本発明の実施形態について述べていることが理解されるだろう。しかしながら、異なる機能的な回路、ユニット又はプロセッサの間の機能の任意の適切な分配が本発明から逸脱することなく用いられてもよいことが明らかであるだろう。例えば、別々のプロセッサ又はコントローラにより実行されるように示された機能は、同じプロセッサ又はコントローラにより実行されてもよい。それ故、特定の機能ユニット又は回路への参照は、厳しい論理的又は物理的な構造又は組織を示すよりはむしろ、述べられた機能を与えるための適切な手段への参照としてのみ理解されるべきである。
【０１７１】
本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組み合わせを含む任意の適切な形式において実装され得る。本発明は、オプションとして、１又はそれ以上のデータ処理装置及び／又はデジタル信号プロセッサ上で実行するコンピュータソフトウェアとして少なくとも部分的に実装されてもよい。本発明の一実施形態の要素及び成分は、任意の適切な手段において、物理的に、機能的に、及び、論理的に実装されてもよい。実際に、機能は、単一のユニットにおいて、複数のユニットにおいて、又は、他の機能ユニットの部分として、実装されてもよい。それ自体、本発明は、単一のユニットにおいて実装されてもよく、又は、異なるユニット、回路及びプロセッサの間で物理的及び機能的に分配されてもよい。
【０１７２】
本発明が幾つかの実施形態に関して述べられたが、ここで記載される特定の形式に限定されることを意図するものではない。むしろ、本発明の範囲は、添付の特許請求の範囲によってのみ限定される。加えて、特徴が特定の実施形態に関して述べられるように見え得るが、当業者は、述べられた実施形態の種々の特徴が本発明に従って組み合わせられ得ることを認めるだろう。請求項において、有するという用語は、他の要素又はステップの存在を除外するものではない。
【０１７３】
更に、個別に記載されているが、複数の手段、要素、回路又は方法ステップは、例えば単一の回路、ユニット又はプロセッサにより実装されてもよい。加えて、個々の特徴が異なる請求項に含まれ得るが、これらは、場合により、有利に組み合わせられてもよく、異なる請求項における包含は、特徴の組み合わせが有利及び／又は実行可能なものではないことを意味するものではない。また、請求項の１つのカテゴリにおける特徴の包含は、このカテゴリに対する限定を意味するものではなく、むしろ、特徴が適切に他の請求項カテゴリに同程度に適用可能であることを示す。更に、請求項中のフィーチャの順序は、フィーチャが動作されなければならない任意の特定の順序を意味するものではなく、とりわけ、方法クレームにおける個々のステップの順序は、ステップがこの順序で実行されなければならないことを意味するものではない。むしろ、ステップは、任意の適切な順序で実行されてもよい。加えて、単数表記の参照は、複数を除外するものではない。それ故、単数表記、"第１"、"第２"等への参照は複数を排除するものではない。請求項中の参照符号は、単に明らかにする一例だけのものとして供給されるものであり、任意の手段において請求項の範囲を限定するものとして解釈されるべきではない。
【図１】
0006433918.tif 000002
【図２】
0006433918.tif 000003
【図３】
0006433918.tif 000004
【図４】
0006433918.tif 000005
【図５】
0006433918.tif 000006
【図６】
0006433918.tif 000007
【図７】
0006433918.tif 000008
【図８】
0006433918.tif 000009
【図９】
0006433918.tif 000010
【図１０】
0006433918.tif 000011
【図１１】
0006433918.tif 000012
【図１２】
0006433918.tif 000013
【図１３】
0006433918.tif 000014
【図１４】
0006433918.tif 000015