(57)【要約】  キュー・コードが被送出オーディオ信号から導出されるバイノーラル・キュー・コーディング方式。一実施形態で、エンコーダは、Ｃ個の入力チャネルをダウンミキシングして、Ｅ個の被送出チャネルを生成し、Ｃ＞Ｅ≧１である。デコーダは、被送出チャネルからキュー・コードを導出し、これらのキュー・コードを使用して、再生チャネルを合成する。たとえば、１つの５−ｔｏ−２  ＢＣＣ実施形態では、エンコーダは、５チャネル・サラウンド信号をダウンミキシングして、ステレオ信号の左チャネルおよび右チャネルを生成する。デコーダは、被送出ステレオ信号からステレオ・キューを導出し、これらのステレオ・キューをサラウンド・キューに写像し、これらのサラウンド・キューを被送出ステレオ・チャネルに適用して、５チャネルの合成されたサラウンド信号の再生チャネルを生成する。
2008522551.tif 000002
【特許請求の範囲】
【請求項１】
Ｅ個の被送出オーディオ・チャネルからＣ個の再生オーディオ・チャネルを合成する方法であって、Ｃ＞Ｅ≧１であり、
前記Ｅ個の被送出チャネルから１つまたは複数のキューを導出する処理と、
１つまたは複数のアップミキシングされたチャネルを生成するために前記Ｅ個の被送出チャネルのうちの１つまたは複数をアップミキシングする処理と、
前記１つまたは複数の導出されたキューに基づいて、前記１つまたは複数のアップミキシングされたチャネルから前記Ｃ個の再生チャネルのうちの１つまたは複数を合成する処理と
を含む方法。
【請求項２】
前記方法は、異なるサブバンドについて独立に実施される請求項１に記載の発明。
【請求項３】
被送出チャネル領域の前記１つまたは複数の導出されたキューは、再生チャネル領域の１つまたは複数の写像されたキューに写像され、
前記１つまたは複数の再生チャネルは、前記１つまたは複数の写像されたキューを前記１つまたは複数のアップミキシングされたチャネルに適用することによって合成される
請求項１に記載の方法。
【請求項４】
前記１つまたは複数の導出されたキューは、ＩＣＬＤキューを含む請求項１に記載の方法。
【請求項５】
前記１つまたは複数の導出されたキューは、さらに、ＩＣＣキューを含む請求項４に記載の方法。
【請求項６】
前記導出することは、キューを導出するために被送出チャネルの対にパニング・ローを適用することを含む請求項１に記載の処理。
【請求項７】
前記方法は、
被送出チャネル領域のオーディトリ・イベントに対応する情報を決定するためにパニング・ローを適用する処理と、
前記被送出チャネル領域の前記オーディトリ・イベントに対応する前記情報を再生チャネル領域のオーディトリ・イベントに対応する情報に写像する処理と、
少なくとも２つの再生チャネルの相対電力レベルを決定するために前記再生チャネル領域でパニング・ローを適用する処理と、
前記決定された相対電力レベルに基づいて前記少なくとも２つの再生チャネルをスケーリングする処理と
を含む請求項１に記載の方法。
【請求項８】
前記方法は、さらに、
前記被送出チャネルからＩＣＣキューを推定する処理と、
前記ＩＣＣキューに基づいて、１つまたは複数の再生チャネルのデ・コリレートされた電力レベルを生成する処理と
を含む請求項７に記載の方法。
【請求項９】
前記Ｅ個の被送出チャネルは、Ｃ個の入力オーディオ・チャネルにダウンミキシング動作を適用することによって生成されたものであり、
前記アップミキシングする処理は、Ｃ個のアップミキシングされたチャネルを生成するために前記Ｅ個の被送出チャネルにアップミキシング動作を適用する処理から成り、前記アップミキシング動作は、前記ダウンミキシング動作に基づいて選択される
請求項１に記載の方法。
【請求項１０】
前記アップミキシング動作の少なくとも１つの部分は、マトリクス化に基づく請求項９に記載の方法。
【請求項１１】
前記アップミキシング動作は、１つまたは複数の中央以外のアップミキシングされたチャネルを生成するために被送出チャネルの少なくとも１つの対の間のクロストークを用いる請求項９に記載の方法。
【請求項１２】
Ｅ個の被送出オーディオ・チャネルからＣ個の再生オーディオ・チャネルを合成する装置であって、Ｃ＞Ｅ≧１であり、
前記Ｅ個の被送出チャネルから１つまたは複数のキューを導出する手段と、
１つまたは複数のアップミキシングされたチャネルを生成するために前記Ｅ個の被送出チャネルのうちの１つまたは複数をアップミキシングする手段と、
前記１つまたは複数の導出されたキューに基づいて、前記１つまたは複数のアップミキシングされたチャネルから前記Ｃ個の再生チャネルのうちの１つまたは複数を合成する手段と
を含む装置。
【請求項１３】
Ｅ個の被送出オーディオ・チャネルからＣ個の再生オーディオ・チャネルを合成する装置であって、Ｃ＞Ｅ≧１であり、
前記Ｅ個の被送出チャネルから１つまたは複数のキューを導出するように適合されたキュー・エスティメータと、
１つまたは複数のアップミキシングされたチャネルを生成するために前記Ｅ個の被送出チャネルのうちの１つまたは複数をアップミキシングし、
前記１つまたは複数の導出されたキューに基づいて、前記１つまたは複数のアップミキシングされたチャネルから前記Ｃ個の再生チャネルのうちの１つまたは複数を合成する
ように適合されたシンセサイザと
を含む装置。
【請求項１４】
被送出チャネル領域の前記１つまたは複数の導出されたキューを再生チャネル領域の１つまたは複数の写像されたキューに写像するように適合されたキュー・マッパをさらに含み、前記シンセサイザは、前記１つまたは複数の写像されたキューを前記１つまたは複数のアップミキシングされたチャネルに適用することによって前記１つまたは複数の再生チャネルを合成するように適合される請求項１３に記載の装置。
【請求項１５】
キュー・マッパをさらに含み、
前記キュー・エスティメータは、被送出チャネル領域のオーディトリ・イベント方向に対応する情報を決定するためにパニング・ローを適用するように適合され、
前記キュー・マッパは、前記被送出チャネル領域の前記オーディトリ・イベント方向に対応する前記情報を再生チャネル領域のオーディトリ・イベント方向に対応する情報に写像するように適合され、
前記シンセサイザは、
再生チャネルの前記対の相対電力レベルを決定するために前記再生チャネル領域で再生チャネルの前記対にパニング・ローを適用し、
前記決定された相対電力レベルに基づいて再生チャネルの前記対をスケーリングする
ように適合される
請求項１３に記載の装置。
【請求項１６】
前記キュー・エスティメータは、前記被送出チャネルからＩＣＣキューを推定するようにさらに適合され、
前記シンセサイザは、前記ＩＣＣキューに基づいて、各再生チャネルのデ・コリレートされた電力レベルを生成するようにさらに適合される
請求項１５に記載の装置。
【請求項１７】
前記Ｅ個の被送出チャネルは、Ｃ個の入力オーディオ・チャネルにダウンミキシング動作を適用することによって生成されたものであり、
前記シンセサイザは、Ｃ個のアップミキシングされたチャネルを生成するために前記Ｅ個の被送出チャネルにアップミキシング動作を適用するように適合され、前記アップミキシング動作は、前記ダウンミキシング動作に基づいて選択される
請求項１３に記載の装置。
【請求項１８】
その上にプログラム・コードをエンコードされた機械可読媒体であって、前記プログラム・コードが機械によって実行される時に、前記機械は、Ｅ個の被送出オーディオ・チャネルからＣ個の再生オーディオ・チャネルを合成する方法を実施し、Ｃ＞Ｅ≧１であり、前記方法は、
前記Ｅ個の被送出チャネルから１つまたは複数のキューを導出する処理と、
１つまたは複数のアップミキシングされたチャネルを生成するために前記Ｅ個の被送出チャネルのうちの１つまたは複数をアップミキシングする処理と、
前記１つまたは複数の導出されたキューに基づいて、前記１つまたは複数のアップミキシングされたチャネルから前記Ｃ個の再生チャネルのうちの１つまたは複数を合成する処理と
を含む機械可読媒体。
【請求項１９】
Ｃ個の入力オーディオ・チャネルからＥ個の被送出オーディオ・チャネルを生成する方法であって、Ｃ＞Ｅ＞１であり、
入力チャネル領域から被送出チャネル領域に写像することに基づいてダウンミキシング・アルゴリズムを生成するために、パニング・ローを適用する処理と、
前記Ｅ個の被送出チャネルを生成するために、前記Ｃ個の入力チャネルに前記ダウンミキシング・アルゴリズムを適用する処理と
を含む方法。
【請求項２０】
前記写像することは、前記入力チャネル領域の各入力チャネルの方向を前記被送出チャネル領域の被送出チャネルの１つまたは複数の方向に写像し、
前記ダウンミキシング・アルゴリズムは、その係数が前記パニング・ローに基づいて選択される固定されたダウンミキシング行列の適用を含む
請求項１９に記載の方法。
【請求項２１】
前記ダウンミキシング・アルゴリズムは、前記Ｃ個の入力チャネル内のオーディトリ・イベントの方向を推定することに基づいて生成される請求項１９に記載の方法。
【請求項２２】
前記オーディトリ・イベント方向は、独立に推定され、前記ダウンミキシング・アルゴリズムは、前記入力チャネル内の２つ以上のサブバンドのそれぞれについて独立に実施される請求項２１に記載の方法。
【請求項２３】
前記オーディトリ・イベント方向は、前記入力チャネルの電力加重方向ベクトルの和に基づいて推定される請求項２１に記載の方法。
【請求項２４】
前記ダウンミキシング・アルゴリズムは、
前記入力チャネル領域の前記オーディトリ・イベント方向を前記被送出チャネル領域のオーディトリ・イベント方向に写像する処理と、
Ｅ個のダウンミキシングされたチャネルを生成するために前記Ｃ個の入力チャネルにダウンミキシング行列を適用する処理と、
少なくとも２つのダウンミキシングされたチャネルの相対電力レベルを決定するために前記被送出チャネル領域で前記パニング・ローを適用する処理と、
少なくとも２つの被送出チャネルを生成するために、前記決定された相対電力レベルに基づいて前記少なくとも２つのダウンミキシングされたチャネルをスケーリングする処理と
を含む請求項２１に記載の方法。
【請求項２５】
前記ダウンミキシング・アルゴリズムの少なくとも１つの部分は、マトリクス化に基づく請求項２４に記載の方法。
【請求項２６】
前記ダウンミキシング・アルゴリズムは、少なくとも２つの入力チャネルの間のクロストークを用いる請求項２４に記載の方法。
【請求項２７】
サイド情報としてキューを全く用いずに、前記Ｅ個の被送出チャネルを送出する工程をさらに含む請求項１９に記載の方法。
【請求項２８】
Ｃ個の入力オーディオ・チャネルからＥ個の被送出オーディオ・チャネルを生成する装置であって、Ｃ＞Ｅ≧１であり、
入力チャネル領域から被送出チャネル領域に写像することに基づいてダウンミキシング・アルゴリズムを生成するために、パニング・ローを適用する手段と、
前記Ｅ個の被送出チャネルを生成するために、前記Ｃ個の入力チャネルに前記ダウンミキシング・アルゴリズムを適用する手段と
を含む装置。
【請求項２９】
その上にプログラム・コードをエンコードされた機械可読媒体であって、前記プログラム・コードが機械によって実行される時に、前記機械は、Ｃ個の入力オーディオ・チャネルからＥ個の被送出オーディオ・チャネルを生成する方法を実施し、Ｃ＞Ｅ≧１であり、前記方法は、
入力チャネル領域から被送出チャネル領域に写像することに基づいてダウンミキシング・アルゴリズムを生成するために、パニング・ローを適用する処理と、
前記Ｅ個の被送出チャネルを生成するために、前記Ｃ個の入力チャネルに前記ダウンミキシング・アルゴリズムを適用する処理と
を含む機械可読媒体。
【請求項３０】
Ｃ＞Ｅ≧１であり、
入力チャネル領域から被送出チャネル領域に写像することに基づいてダウンミキシング・アルゴリズムを生成するために、パニング・ローを適用する処理と、
Ｅ個の被送出オーディオ・チャネルを生成するために、Ｃ個の入力チャネルに前記ダウンミキシング・アルゴリズムを適用する処理と
によって前記Ｃ個の入力オーディオ・チャネルから生成された前記Ｅ個の被送出オーディオ・チャネルを含むビットストリーム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本願は、その教示が参照によって本明細書に組み込まれている、弁理士整理番号Ｆａｌｌｅｒ  ２０として２００４年１１月３０日に出願した米国仮出願第６０／６３１９１７号の利益を主張するものである。
本願の主題は、次の米国特許出願の主題に関連し、これらの米国特許出願のすべての教示が、参照によって本明細書に組み込まれている。
○弁理士整理番号Ｆａｌｌｅｒ  ５として２００１年５月４日に出願した米国特許出願第０９／８４８８７７号、
○弁理士整理番号Ｂａｕｍｇａｒｔｅ  １−６−８として２００１年１１月７日に出願した米国特許出願第１０／０４５４５８号（これ自体は、２００１年８月１０日に出願した米国仮出願第６０／３１１５６５号の利益を主張する）、
○弁理士整理番号Ｂａｕｍｇａｒｔｅ  ２−１０として２００２年５月２４日に出願した米国特許出願第１０／１５５４３７号、
○弁理士整理番号Ｂａｕｍｇａｒｔｅ  ３−１１として２００２年９月１８日に出願した米国特許出願第１０／２４６５７０号、
○弁理士整理番号Ｂａｕｍｇａｒｔｅ  ７−１２として２００４年４月１日に出願した米国特許出願第１０／８１５５９１号、
○弁理士整理番号Ｂａｕｍｇａｒｔｅ  ８−７−１５として２００４年９月８日に出願した米国特許出願第１０／９３６４６４号、
○２００４年１月２０日に出願した米国特許出願第１０／７６２１００号（Ｆａｌｌｅｒ  １３−１）、
○弁理士整理番号Ａｌｌａｍａｎｃｈｅ  １−２−１７−３として２００４年１２月７日に出願した米国特許出願第１１／００６４９２号、
○弁理士整理番号Ａｌｌａｍａｎｃｈｅ  ２−３−１８−４として２００４年１２月７日に出願した米国特許出願第１１／００６４８２号、および
○弁理士整理番号Ｆａｌｌｅｒ  ２２−５として２００５年１月１０日に出願した米国特許出願第１１／０３２６８９号。
本願の主題は、次の論文に記載の主題にも関連し、これらの論文のすべての教示が、参照によって本明細書に組み込まれている。
○Ｆ．Ｂａｕｍｇａｒｔｅ  ａｎｄ  Ｃ．Ｆａｌｌｅｒ、「Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ−Ｐａｒｔ  Ｉ：Ｐｓｙｃｈｏａｃｏｕｓｔｉｃ  ｆｕｎｄａｍｅｎｔａｌｓ  ａｎｄ  ｄｅｓｉｇｎ  ｐｒｉｎｃｉｐｌｅｓ」、ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  Ｓｐｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  Ｐｒｏｃ．，ｖｏｌ．１１，ｎｏ．６、２００３年１１月、
○Ｃ．Ｆａｌｌｅｒ  ａｎｄ  Ｆ．Ｂａｕｍｇａｒｔｅ、「Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ−Ｐａｒｔ  ＩＩ：Ｓｃｈｅｍｅｓ  ａｎｄ  ａｐｐｌｉｃａｔｉｏｎｓ」、ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  Ｓｐｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  Ｐｒｏｃ．，ｖｏｌ．１１，ｎｏ．６、２００３年１１月、および
○Ｃ．Ｆａｌｌｅｒ、「Ｃｏｄｉｎｇ  ｏｆ  ｓｐａｔｉａｌ  ａｕｄｉｏ  ｃｏｍｐａｔｉｂｌｅ  ｗｉｔｈ  ｄｉｆｆｅｒｅｎｔ  ｐｌａｙｂａｃｋ  ｆｏｒｍａｔｓ」、Ｐｒｅｐｒｉｎｔ  １１７ｔｈ  Ｃｏｎｖ．Ａｕｄ．Ｅｎｇ．Ｓｏｃ．、２００４年１０月。
本発明は、オーディオ信号のエンコーディングと、エンコードされたオーディオ・データからのオーディトリ・シーン（ａｕｄｉｔｏｒｙ  ｓｃｅｎｅ）の後続合成とに関する。
【背景技術】
【０００２】
人が、特定のオーディオ・ソースによって生成されたオーディオ信号（すなわち、サウンド）を聞く時に、そのオーディオ信号は、通常、その人の左右の耳に、２つの異なる時刻に２つの異なるオーディオ（たとえば、デシベル）レベルで到着し、ここで、この異なる時刻およびレベルは、それを介してオーディオ信号が移動してそれぞれ左右の耳に達する経路の差の関数である。その人の脳は、時刻およびレベルにおけるこれらの差を解釈して、その人に、受け取られたオーディオ信号がその人に対する相対的な特定の位置（たとえば、方向および距離）に置かれたオーディオ・ソースによって生成されていることの知覚を与える。オーディトリ・シーンは、ある人に対して相対的な１つまたは複数の異なる位置に置かれた１つまたは複数の異なるオーディオ・ソースによって生成されるオーディオ信号をその人が同時に聞くことの正味の影響である。
【０００３】
脳によるこの処理の存在を使用して、オーディトリ・シーンを合成することができ、ここで、１つまたは複数の異なるオーディオ・ソースからのオーディオ信号は、異なるオーディオ・ソースがリスナに対して相対的に異なる位置に置かれていることの知覚を与える左右のオーディオ信号を生成するために意図的に変更される。
【０００４】
図１に、従来のバイノーラル信号シンセサイザ１００の高水準ブロック図を示すが、このバイノーラル信号シンセサイザ１００は、単一のオーディオ・ソース信号（たとえば、モノ信号）をバイノーラル信号の左右のオーディオ信号に変換し、ここで、バイノーラル信号は、リスナの鼓膜で受け取られる２つの信号と定義される。オーディオ・ソース信号に加えて、シンセサイザ１００は、リスナに対する相対的なオーディオ・ソースの所望の位置に対応する空間的キュー（ｓｐａｔｉａｌ  ｃｕｅ）の組を受け取る。通常の実施態様では、空間的キューの組に、チャネル間レベル差（ｉｎｔｅｒ−ｃｈａｎｎｅｌ  ｌｅｖｅｌ  ｄｉｆｆｅｒｅｎｃｅ、ＩＣＬＤ）値（それぞれ左右の耳で受け取られた左右のオーディオ信号の間のオーディオ・レベルの差を識別する）と、チャネル間時間差（ｉｎｔｅｒ−ｃｈａｎｎｅｌ  ｔｉｍｅ  ｄｉｆｆｅｒｅｎｃｅ、ＩＣＴＤ）値（それぞれ左右の耳で受け取られた左右のオーディオ信号の間の到着の時刻の差を識別する）とが含まれる。それに加えてまたは代替物として、いくつかの合成技法は、頭部伝達関数（ＨＲＴＦ）とも称する、信号源から鼓膜までのサウンドに関する方向依存の伝達関数のモデリングを用いる。たとえば、その教示が参照によって本明細書に組み込まれている、Ｊ．Ｂｌａｕｅｒｔ、「Ｔｈｅ  Ｐｓｙｃｈｏｐｈｙｓｉｃｓ  ｏｆ  Ｈｕｍａｎ  Ｓｏｕｎｄ  Ｌｏｃａｌｉｚａｔｉｏｎ」、ＭＩＴ  Ｐｒｅｓｓ、１９８３年を参照されたい。
【０００５】
図１のバイノーラル信号シンセサイザ１００を使用することによって、単一オーディオ・ソースによって生成されたモノ・オーディオ信号を処理し、ヘッドホンを介して聞かれる時に、耳ごとのオーディオ信号を生成するために空間的キューの適当な組（たとえば、ＩＣＬＤ、ＩＣＴＤ、および／またはＨＲＴＦ）を適用することによって、オーディオ・ソースが空間的に置かれるようにすることができる。たとえば、Ｄ．Ｒ．Ｂｅｇａｕｌｔ、「３−Ｄ  Ｓｏｕｎｄ  ｆｏｒ  Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ  ａｎｄ  Ｍｕｌｔｉｍｅｄｉａ」、Ａｃａｄｅｍｉｃ  Ｐｒｅｓｓ、米国マイアミ州ケンブリッジ、１９９４年を参照されたい。
【０００６】
図１のバイノーラル信号シンセサイザ１００は、最も単純なタイプのオーディトリ・シーンすなわち、リスナに対して相対的に置かれた単一の音源を有するオーディトリ・シーンを生成する。リスナに対して相対的に異なる位置に置かれた２つ以上の音源を含むより複雑なオーディトリ・シーンは、本質的にバイノーラル信号シンセサイザの２つ以上のインスタンスを使用して実施されるオーディトリ・シーン・シンセサイザを使用して生成することができ、ここで、各バイノーラル信号シンセサイザ・インスタンスは、異なるオーディオ・ソースに対応するバイノーラル信号を生成する。各異なるオーディオ・ソースは、リスナに対して相対的に異なる位置を有するので、空間的キューの異なる組が、異なるオーディオ・ソースごとにバイノーラル・オーディオ信号を生成するのに使用される。
【特許文献１】米国仮出願第６０／６３１９１７号
【特許文献２】米国特許出願第０９／８４８８７７号
【特許文献３】米国特許出願第１０／０４５４５８号
【特許文献４】米国仮出願第６０／３１１５６５号
【特許文献５】米国特許出願第１０／１５５４３７号
【特許文献６】米国特許出願第１０／２４６５７０号
【特許文献７】米国特許出願第１０／８１５５９１号
【特許文献８】米国特許出願第１０／９３６４６４号
【特許文献９】米国特許出願第１０／７６２１００号
【特許文献１０】米国特許出願第１１／００６４９２号
【特許文献１１】米国特許出願第１１／００６４８２号
【特許文献１２】米国特許出願第１１／０３２６８９号
【非特許文献１】Ｆ．Ｂａｕｍｇａｒｔｅ  ａｎｄ  Ｃ．Ｆａｌｌｅｒ、「Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ−Ｐａｒｔ  Ｉ：Ｐｓｙｃｈｏａｃｏｕｓｔｉｃ  ｆｕｎｄａｍｅｎｔａｌｓ  ａｎｄ  ｄｅｓｉｇｎ  ｐｒｉｎｃｉｐｌｅｓ」、ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  Ｓｐｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  Ｐｒｏｃ．，ｖｏｌ．１１，ｎｏ．６、２００３年１１月
【非特許文献２】Ｃ．Ｆａｌｌｅｒ  ａｎｄ  Ｆ．Ｂａｕｍｇａｒｔｅ、「Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ−Ｐａｒｔ  ＩＩ：Ｓｃｈｅｍｅｓ  ａｎｄ  ａｐｐｌｉｃａｔｉｏｎｓ」、ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  Ｓｐｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  Ｐｒｏｃ．，ｖｏｌ．１１，ｎｏ．６、２００３年１１月
【非特許文献３】Ｃ．Ｆａｌｌｅｒ、「Ｃｏｄｉｎｇ  ｏｆ  ｓｐａｔｉａｌ  ａｕｄｉｏ  ｃｏｍｐａｔｉｂｌｅ  ｗｉｔｈ  ｄｉｆｆｅｒｅｎｔ  ｐｌａｙｂａｃｋ  ｆｏｒｍａｔｓ」、Ｐｒｅｐｒｉｎｔ  １１７ｔｈ  Ｃｏｎｖ．Ａｕｄ．Ｅｎｇ．Ｓｏｃ．、２００４年１０月
【非特許文献４】Ｊ．Ｂｌａｕｅｒｔ、「Ｔｈｅ  Ｐｓｙｃｈｏｐｈｙｓｉｃｓ  ｏｆ  Ｈｕｍａｎ  Ｓｏｕｎｄ  Ｌｏｃａｌｉｚａｔｉｏｎ」、ＭＩＴ  Ｐｒｅｓｓ、１９８３年
【非特許文献５】Ｄ．Ｒ．Ｂｅｇａｕｌｔ、「３−Ｄ  Ｓｏｕｎｄ  ｆｏｒ  Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ  ａｎｄ  Ｍｕｌｔｉｍｅｄｉａ」、Ａｃａｄｅｍｉｃ  Ｐｒｅｓｓ、米国マイアミ州ケンブリッジ、１９９４年
【非特許文献６】Ｃ．Ｆａｌｌｅｒ、「Ｐａｒａｍｅｔｒｉｃ  ｍｕｌｔｉ−ｃｈａｎｎｅｌ  ａｕｄｉｏ  ｃｏｄｉｎｇ：Ｓｙｎｔｈｅｓｉｓ  ｏｆ  ｃｏｈｅｒｅｎｃｅ  ｃｕｅｓ」、ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  Ｓｐｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  Ｐｒｏｃ．、２００３年
【非特許文献７】Ｅ．Ｓｃｈｕｉｊｅｒｓ、Ｗ．Ｏｏｍｅｎ、Ｂ．ｄｅｎ  Ｂｒｉｎｋｅｒ、およびＪ．Ｂｒｅｅｂａａｒｔ、「Ａｄｖａｎｃｅｓ  ｉｎ  ｐａｒａｍｅｔｒｉｃ  ｃｏｄｉｎｇ  ｆｏｒ  ｈｉｇｈ−ｑｕａｌｉｔｙ  ａｕｄｉｏ」、Ｐｒｅｐｒｉｎｔ  １１４ｔｈ  Ｃｏｎｖ．Ａｕｄ．Ｅｎｇ．Ｓｏｃ．、２００３年３月
【非特許文献８】Ｊ．Ｅｎｇｄｅｇａｒｄ、Ｈ．Ｐｕｒｎｈａｇｅｎ、Ｊ．Ｒｏｄｅｎ、およびＬ．Ｌｉｌｊｅｒｙｄ、「Ｓｙｎｔｈｅｔｉｃ  ａｍｂｉｅｎｃｅ  ｉｎ  ｐａｒａｍｅｔｒｉｃ  ｓｔｅｒｅｏ  ｃｏｄｉｎｇ」、Ｐｒｅｐｒｉｎｔ  １１７ｔｈ  Ｃｏｎｖ．Ａｕｄ．Ｅｎｇ．Ｓｏｃ．、２００４年５月
【非特許文献９】Ｊ．Ｈａｌｌ、「Ｓｕｒｒｏｕｎｄ  ｓｏｕｎｄ  ｐａｓｔ，ｐｒｅｓｅｎｔ，ａｎｄ  ｆｕｔｕｒｅ」、Ｔｅｃｈ．Ｒｅｐ．、Ｄｏｌｂｙ  Ｌａｂｏｒａｔｏｒｉｅｓ、１９９９年、ｗｗｗ．ｄｏｌｂｙ．ｃｏｍ／ｔｅｃｈ／
【非特許文献１０】Ｒ．Ｄｒｅｓｓｌｅｒ、「Ｄｏｌｂｙ  Ｓｕｒｒｏｕｎｄ  Ｐｒｏｌｏｇｉｃ  ＩＩ  Ｄｅｃｏｄｅｒ−Ｐｒｉｎｃｉｐｌｅｓ  ｏｆ  ｏｐｅｒａｔｉｏｎ」、Ｔｅｃｈ．Ｒｅｐ．、Ｄｏｌｂｙ  Ｌａｂｏｒａｔｏｒｉｅｓ、２０００年、ｗｗｗ．ｄｏｌｂｙ．ｃｏｍ／ｔｅｃｈ／
【発明の開示】
【課題を解決するための手段】
【０００７】
一実施形態によれば、本発明は、Ｅ個の被送出オーディオ・チャネルからＣ個の再生オーディオ・チャネルを合成する方法、装置、および機械可読媒体であり、ここで、Ｃ＞Ｅ＞１である。１つまたは複数のキューが、Ｅ個の被送出チャネルから導出され、Ｅ個の被送出チャネルのうちの１つまたは複数が、１つまたは複数のアップミキシングされたチャネルを生成するためにアップミキシングされ、Ｃ個の再生チャネルのうちの１つまたは複数が、１つまたは複数の導出されたキューに基づいて１つまたは複数のアップミキシングされたチャネルから合成される。
【０００８】
もう１つの実施形態によれば、本発明は、Ｃ個の入力オーディオ・チャネルからＥ個の被送出オーディオ・チャネルを生成する方法、装置、および機械可読媒体であり、ここで、Ｃ＞Ｅ＞１である。方向が、Ｃ個の入力チャネル内のオーディトリ・イベント（ａｕｄｉｔｏｒｙ  ｅｖｅｎｔ）について推定され、ダウンミキシング・アルゴリズムが、Ｅ個の被送出チャネルを生成するためにＣ個の入力チャネルに適用され、このダウンミキシング・アルゴリズムは、オーディトリ・イベントの方向に基づく。
【０００９】
もう１つの実施形態によれば、本発明は、入力チャネル領域から被送出チャネル領域に写像することに基づいてダウンミキシング・アルゴリズムを生成するためにパニング・ロー（ｐａｎｎｉｎｇ  ｌａｗ）を適用することと、Ｅ個の被送出チャネルを生成するためにこのダウンミキシング・アルゴリズムをＣ個の入力チャネルに適用することとによって生成されるビットストリームである。
【００１０】
本発明の他の態様、特徴、および利点は、次の詳細な説明、添付の特許請求の範囲、および添付図面からより十分に明白になり、添付図面では、類似する符号が類似する要素または同一の要素を識別する。
【発明を実施するための最良の形態】
【００１１】
バイノーラル・キュー・コーディング（ｂｉｎａｕｒａｌ  ｃｕｅ  ｃｏｄｉｎｇ、ＢＣＣ）では、エンコーダは、Ｃ個の入力オーディオ・チャネルをエンコードしてＥ個の被送出オーディオ・チャネルを生成し、ここでＣ＞Ｅ≧１である。具体的に言うと、Ｃ個の入力チャネルのうちの２つ以上が、周波数領域で供給され、１つまたは複数のキュー・コードが、周波数領域のその２つ以上の入力チャネル内の１つまたは複数の異なる周波数帯のそれぞれについて生成される。さらに、Ｃ個の入力チャネルが、Ｅ個の被送出チャネルを生成するためにダウンミキシングされる。いくつかのダウンミキシング実施態様では、Ｅ個の被送出チャネルのうちの少なくとも１つは、Ｃ個の入力チャネルのうちの２つ以上に基づき、Ｅ個の被送出チャネルのうちの少なくとも１つは、Ｃ個の入力チャネルのうちの単一の１つだけに基づく。
【００１２】
一実施形態で、ＢＣＣコーダは、２つ以上のフィルタ・バンク、コード・エスティメータ、およびダウンミキサを有する。２つ以上のフィルタ・バンクは、Ｃ個の入力チャネルのうちの２つ以上を時間領域から周波数領域に変換する。コード・エスティメータは、２つ以上の変換された入力チャネル内の１つまたは複数の異なる周波数帯のそれぞれについて１つまたは複数のキュー・コードを生成する。ダウンミキサは、Ｃ個の入力チャネルをダウンミキシングして、Ｅ個の被送出チャネルを生成し、ここで、Ｃ＞Ｅ≧１である。
【００１３】
ＢＣＣデコーディングでは、Ｅ個の被送出オーディオ・チャネルが、Ｃ個の再生（すなわち、合成された）オーディオ・チャネルを生成するためにデコードされる。具体的に言うと、１つまたは複数の異なる周波数帯のそれぞれについて、Ｅ個の被送出チャネルのうちの１つまたは複数が、周波数領域でアップミキシングされて、周波数領域のＣ個の再生チャネルのうちの２つ以上を生成し、ここで、Ｃ＞Ｅ≧１である。１つまたは複数のキュー・コードが、周波数領域の２つ以上の再生チャネル内の１つまたは複数の異なる周波数帯のそれぞれに適用されて、２つ以上の変更されたチャネルが生成され、これらの２つ以上の変更されたチャネルは、周波数領域から時間領域に変換される。いくつかのアップミキシング実施態様では、Ｃ個の再生チャネルのうちの少なくとも１つは、Ｅ個の被送出チャネルのうちの少なくとも１つおよび少なくとも１つのキュー・コードに基づき、Ｃ個の再生チャネルのうちの少なくとも１つは、Ｅ個の被送出チャネルのうちの単一の１つだけに基づき、どのキュー・コードからも独立である。
【００１４】
一実施形態で、ＢＣＣデコーダは、アップミキサ、シンセサイザ、および１つまたは複数の逆フィルタ・バンクを有する。１つまたは複数の異なる周波数帯のそれぞれについて、アップミキサは、周波数領域のＥ個の被送出チャネルのうちの１つまたは複数をアップミキシングして、周波数領域のＣ個の再生チャネルのうちの２つ以上を生成し、ここで、Ｃ＞Ｅ≧１である。シンセサイザは、１つまたは複数のキュー・コードを周波数領域の２つ以上の再生チャネル内の１つまたは複数の異なる周波数帯のそれぞれに適用して、２つ以上の変更されたチャネルを生成する。１つまたは複数の逆フィルタ・バンクは、２つ以上の変更されたチャネルを周波数領域から時間領域に変換する。
【００１５】
特定の実施態様に応じて、所与の再生チャネルを、２つ以上の被送出チャネルの組合せではなく、単一の被送出チャネルに基づくものとすることができる。たとえば、１つの被送出チャネルだけがある場合に、Ｃ個の再生チャネルのそれぞれは、その１つの被送出チャネルに基づく。これらの情況では、アップミキシングは、対応する被送出チャネルをコピーすることに対応する。したがって、１つの被送出チャネルだけがある応用例では、アップミキサを、再生チャネルごとに被送出チャネルをコピーするリプリケータを使用して実施することができる。
【００１６】
ＢＣＣエンコーダおよび／またはＢＣＣデコーダを、たとえば、ディジタル・ビデオ・レコーダ／プレイヤ、ディジタル・オーディオ・レコーダ／プレイヤ、コンピュータ、衛星送信器／受信器、ケーブル送信器／受信器、地上波放送送信器／受信器、ホーム・エンターテイメント・システム、およびムービー・シアター・システムを含む２つ以上のシステムまたは応用例に組み込むことができる。
【００１７】
包括的なＢＣＣ処理
図２は、エンコーダ２０２とデコーダ２０４とを含む包括的なバイノーラル・キュー・コーディング（ＢＣＣ）オーディオ処理システム２００のブロック図である。エンコーダ２０２には、ダウンミキサ２０６とＢＣＣエスティメータ２０８とが含まれる。
【００１８】
ダウンミキサ２０６は、Ｃ個の入力オーディオ・チャネルｘｉ（ｎ）をＥ個の被送出オーディオ・チャネルｙｉ（ｎ）に変換し、ここで、Ｃ＞Ｅ≧１である。本明細書では、変数ｎを使用して表される信号は、時間領域信号であり、変数ｋを使用して表される信号は、周波数領域信号である。特定の実施態様に応じて、ダウンミキシングを、時間領域または周波数領域のいずれかで実施することができる。ＢＣＣエスティメータ２０８は、Ｃ個の入力オーディオ・チャネルからＢＣＣコードを生成し、これらのＢＣＣコードを、Ｅ個の被送出オーディオ・チャネルに対する帯域内サイド情報または帯域外サイド情報のいずれかとして送出する。通常のＢＣＣコードには、周波数および時間の関数として入力チャネルのある対の間で推定された、チャネル間時間差（ＩＣＴＤ）データ、チャネル間レベル差（ＩＣＬＤ）データ、およびチャネル間相関（ｉｎｔｅｒ−ｃｈａｎｎｅｌ  ｃｏｒｒｅｌａｔｉｏｎ、ＩＣＣ）データのうちの１つまたは複数が含まれる。特定の実施態様は、入力チャネルのどの特定の対の間でＢＣＣコードが推定されるかを規定する。
【００１９】
ＩＣＣデータは、バイノーラル信号のコヒーレンスに対応し、このコヒーレンスは、オーディオ・ソースの知覚される幅に関連する。オーディオ・ソースが幅広いほど、結果のバイノーラル信号の左チャネルと右チャネルとの間のコヒーレンスは小さい。たとえば、公会堂のステージ全体に広がったオーケストラに対応するバイノーラル信号のコヒーレンスは、通常、単独で演奏される単一のバイオリンに対応するバイノーラル信号のコヒーレンスより小さい。一般に、より小さいコヒーレンスを有するオーディオ信号は、通常、聴覚空間内でより広がっているものとして知覚される。したがって、ＩＣＣデータは、通常、見かけのソース幅とリスナ・エンベロップメント（ｌｉｓｔｅｎｅｒ  ｅｎｖｅｌｏｐｍｅｎｔ）の度合とに関連する。たとえば、Ｊ．Ｂｌａｕｅｒｔ、「Ｔｈｅ  Ｐｓｙｃｈｏｐｈｙｓｉｃｓ  ｏｆ  Ｈｕｍａｎ  Ｓｏｕｎｄ  Ｌｏｃａｌｉｚａｔｉｏｎ」、ＭＩＴ  Ｐｒｅｓｓ、１９８３年を参照されたい。
【００２０】
特定の応用例に応じて、Ｅ個の被送出オーディオ・チャネルおよび対応するＢＣＣコードを、デコーダ２０４に直接に送出するか、デコーダ２０４による後続アクセスのためにある適切なタイプのストレージ・デバイスに保管することができる。情況に応じて、用語「送出」は、デコーダへの直接送出またはデコーダへの後続供給のための保管のいずれかを指すことができる。どちらの場合でも、デコーダ２０４は、被送出オーディオ・チャネルとサイド情報とを受け取り、アップミキシングおよびＢＣＣコードを使用するＢＣＣ合成を実行して、Ｅ個の被送出オーディオ・チャネルを、オーディオ再生用のＥ個を超える（必ずではないが通常はＣ個の）再生オーディオ・チャネル
【数１】
2008522551.tif 000003
に変換する。特定の実施態様に応じて、アップミキシングを、時間領域または周波数領域のいずれかで実行することができる。
【００２１】
図２に示されたＢＣＣ処理に加えて、包括的なＢＣＣオーディオ処理システムには、さらに、それぞれ、エンコーダでオーディオ信号を圧縮し、デコーダでオーディオ信号を圧縮解除するために、追加のエンコーディング・ステージおよびデコーディング・ステージを含めることができる。これらのオーディオ・コーデックは、パルス符号変調（ＰＣＭ）、差分ＰＣＭ（ＤＰＣＭ）、または適応ＤＰＣＭ（ＡＤＰＣＭ）に基づくものなどの従来のオーディオ圧縮／圧縮解除技法に基づくものとすることができる。
【００２２】
ダウンミキサ２０６が単一の和信号を生成する（すなわち、Ｅ＝１）場合に、ＢＣＣコーディングは、モノ・オーディオ信号を表すのに必要なものよりごくわずかに高いビットレートでマルチチャネル・オーディオ信号を表すことができる。これがそうであるのは、チャネル対の間の推定されたＩＣＴＤデータ、ＩＣＬＤデータ、およびＩＣＣデータが、オーディオ波形より約２桁少ない情報を含むからである。
【００２３】
ＢＣＣコーディングの低いビットレートだけではなく、その後方互換性態様も、重要である。単一の被送出和信号は、オリジナルのステレオ信号またはマルチチャネル信号のモノ・ダウンミックスに対応する。ステレオ・サウンド再現またはマルチチャネル・サウンド再現をサポートしないレシーバについて、被送出和信号に聞き入ることは、低プロファイル・モノ再現機器でオーディオ素材を提示する有効な方法である。したがって、ＢＣＣコーディングは、モノ・オーディオ素材の配信を伴う既存サービスをマルチチャネル・オーディオに向かって機能強化するのに使用することもできる。たとえば、ＢＣＣサイド情報を既存送出チャネルに埋め込むことができる場合に、既存のモノ・オーディオ・ラジオ放送システムを、ステレオ再生またはマルチチャネル再生のために機能強化することができる。マルチチャネル・オーディオをステレオ・オーディオに対応する２つの和信号にダウンミキシングする場合に、類似する機能が存在する。
【００２４】
ＢＣＣは、ある時間および周波数の分解能を用いてオーディオ信号を処理する。使用される周波数分解能は、主に、人間の聴覚系の周波数分解能によって誘導される。音響心理学は、空間的知覚が、音響入力信号の臨界帯域表現に基づく可能性が最も高いことを示唆する。この周波数分解能は、人間の聴覚系の臨界帯域幅と等しいかこれに比例する帯域幅を有するサブバンドを有する可逆フィルタ・バンク（たとえば、高速フーリエ変換（ＦＦＴ）または直交ミラー・フィルタ（ＱＭＦ）に基づく）を使用することによって考慮される。
【００２５】
包括的なダウンミキシング
好ましい実施態様では、１つまたは複数の被送出和信号に、入力オーディオ信号の信号成分のすべてが含まれる。目標は、各信号成分が十分に維持されることである。オーディオ入力チャネルの単純な合計は、しばしば、信号成分の増幅または減衰をもたらす。言い換えると、「単純な」和の信号成分の電力は、しばしば、各チャネルの対応する信号成分の電力の和より大きいまたはこれより小さい。和信号の信号成分の電力が、全入力チャネルの対応する電力とほぼ同一になるように和信号を等化するダウンミキシング技法を、使用することができる。
【００２６】
図３に、ＢＣＣシステム２００のある種の実施態様による、図２のダウンミキサ２０６に使用できるダウンミキサ３００のブロック図を示す。ダウンミキサ３００は、入力チャネルｘｉ（ｎ）ごとのフィルタ・バンク（ＦＢ）３０２、ダウンミキシング・ブロック３０４、任意選択のスケーリング／遅延ブロック３０６、およびエンコードされたチャネルｙｉ（ｎ）ごとの逆ＦＢ（ＩＦＢ）３０８を有する。
【００２７】
各フィルタ・バンク３０２は、時間領域の対応するディジタル入力チャネルｘｉ（ｎ）の各フレーム（たとえば、２０ミリ秒）を周波数領域の１組の入力係数
【数２】
2008522551.tif 000004
に変換する。ダウンミキシング・ブロック３０４は、Ｃ個の対応する入力係数の各サブバンドを、Ｅ個のダウンミキシングされた周波数領域係数の対応するサブバンドにダウンミキシングする。式（１）は、入力係数のｋ番目のサブバンド
【数３】
2008522551.tif 000005
の、次のようなダウンミキシングされた係数のｋ番目のサブバンド
【数４】
2008522551.tif 000006
を生成するためのダウンミキシングを表す。
【数５】
2008522551.tif 000007
ここで、ＤＣＥは、実数値を有するＣ×Ｅダウンミキシング行列である。
【００２８】
任意選択のスケーリング／遅延ブロック３０６には、乗算器３１０の組が含まれ、この乗算器３１０のそれぞれは、対応するダウンミキシングされた係数
【数６】
2008522551.tif 000008
に倍率ｅｉ（ｋ）を乗じて、対応するスケーリングされた係数
【数７】
2008522551.tif 000009
を生成する。このスケーリング演算の動機付けは、チャネルごとの任意の重み付け因数を用いるダウンミキシングについて一般化された等化と同等である。入力チャネルが独立である場合に、各サブバンド内のダウンミキシングされた信号の電力
【数８】
2008522551.tif 000010
は、次の式（２）によって与えられる。
【数９】
2008522551.tif 000011
ここで、
【数１０】
2008522551.tif 000012
は、Ｃ×Ｅダウンミキシング行列ＤＣＥの各行列要素を二乗することによって導出され、
【数１１】
2008522551.tif 000013
は、入力チャネルｉのサブバンドｋの電力である。
【００２９】
サブバンドが独立でない場合に、ダウンミキシングされた信号の電力値
【数１２】
2008522551.tif 000014
は、それぞれ信号成分が同相または位相外れである場合の信号増幅または信号打ち消しに起因して、式（２）を使用して計算される値より大きいまたはこれより小さい。これを防ぐために、式（１）のダウンミキシング動作が、サブバンドで適用され、これに、乗算器３１０によるスケーリング動作が続く。倍率ｅｉ（ｋ）（１≦ｉ≦Ｅ）は、次の式（３）を使用して導出することができる。
【数１３】
2008522551.tif 000015
ここで、
【数１４】
2008522551.tif 000016
は、式（２）によって計算されるサブバンド電力であり、
【数１５】
2008522551.tif 000017
は、対応するダウンミキシングされたサブバンド信号
【数１６】
2008522551.tif 000018
の電力である。
任意選択のスケーリングを提供することに加えて、またはその代わりに、スケーリング／遅延ブロック３０６は、任意選択として信号に遅延を適用することができる。
【００３０】
各逆フィルタ・バンク３０８は、周波数領域の対応するスケーリングされた係数
【数１７】
2008522551.tif 000019
を、対応するディジタルの被送出チャネルｙｉ（ｎ）のフレームに変換する。
【００３１】
図３には、Ｃ個すべての入力チャネルが後続ダウンミキシングのために周波数領域に変換されることが示されているが、代替実施態様では、Ｃ個の入力チャネルのうちの１つまたは複数（ただし、Ｃ−１個未満）が、図３に示された処理の一部またはすべてを迂回し、同等の個数の変更されないオーディオ・チャネルとして送出されることができる。特定の実施態様に応じて、これらの変更されないオーディオ・チャネルは、被送出ＢＣＣコードを生成する際に図２のＢＣＣエスティメータ２０８によって使用されてもされなくてもよい。
【００３２】
単一の和信号ｙ（ｎ）を生成するダウンミキサ３００の実施態様では、Ｅ＝１であり、各入力チャネルｃの各サブバンドの信号
【数１８】
2008522551.tif 000020
は、以下のように、次の式（４）に従って加算され、因数ｅ（ｋ）をかけられる。
【数１９】
2008522551.tif 000021
因数ｅ（ｋ）は、次の式（５）によって、次のように与えられる。
【数２０】
2008522551.tif 000022
ここで、
【数２１】
2008522551.tif 000023
は、時間インデックスｋでの
【数２２】
2008522551.tif 000024
の電力の短時間推定値であり、
【数２３】
2008522551.tif 000025
は、
【数２４】
2008522551.tif 000026
の電力の短時間推定値である。等化されたサブバンドは、時間領域に戻って変換され、和信号ｙ（ｎ）をもたらし、この和信号ｙ（ｎ）がＢＣＣデコーダに送出される。
【００３３】
包括的なＢＣＣ合成
図４に、ＢＣＣシステム２００のある種の実施態様による、図２のデコーダ２０４に使用できるＢＣＣシンセサイザ４００のブロック図を示す。ＢＣＣシンセサイザ４００は、被送出チャネルｙｉ（ｎ）ごとのフィルタ・バンク４０２、アップミキシング・ブロック４０４、遅延４０６、乗算器４０８、デ・コリレーション（ｄｅ−ｃｏｒｒｅｌａｔｉｏｎ）ブロック４１０、および再生チャネル
【数２５】
2008522551.tif 000027
ごとの逆フィルタ・バンク４１２を有する。
【００３４】
各フィルタ・バンク４０２は、時間領域の対応するディジタル被送出チャネルｙｉ（ｎ）の各フレームを、周波数領域の入力係数
【数２６】
2008522551.tif 000028
の組に変換する。アップミキシング・ブロック４０４は、Ｅ個の対応する被送出チャネル係数の各サブバンドを、Ｃ個のアップミキシングされた周波数領域係数の対応するサブバンドにアップミキシングする。式（４）は、被送出チャネル係数のｋ番目のサブバンド
【数２７】
2008522551.tif 000029
の、アップミキシングされた係数のｋ番目のサブバンド
【数２８】
2008522551.tif 000030
を生成するための、次のようなアップミキシングを表す。
【数２９】
2008522551.tif 000031
ここで、ＵＥＣは、実数値を有するＥ×Ｃアップミキシング行列である。周波数領域でアップミキシングを実行することは、アップミキシングを各異なるサブバンドで個別に適用することを可能にする。
【００３５】
各遅延４０６は、ＩＣＴＤデータの対応するＢＣＣコードに基づく遅延値ｄｉ（ｋ）を適用して、所望のＩＣＴＤ値が再生チャネルのある対の間に現れることを保証する。各乗算器４０８は、ＩＣＬＤデータの対応するＢＣＣコードに基づく倍率ａｉ（ｋ）を適用して、所望のＩＣＬＤ値が再生チャネルのある対の間に現れることを保証する。デ・コリレーション・ブロック４１０は、ＩＣＣデータの対応するＢＣＣコードに基づくデ・コリレーション動作Ａを実行して、所望のＩＣＣ値が再生チャネルのある対の間に現れることを保証する。デ・コリレーション・ブロック４１０の動作のさらなる詳細は、Ｂａｕｍｇａｒｔｅ  ２−１０として２００２年５月２４日に出願した米国特許出願第１０／１５５４３７号に見出すことができる。
【００３６】
ＩＣＬＤ値の合成は、ＩＣＴＤ値およびＩＣＣ値の合成より面倒でない可能性がある。というのは、ＩＣＬＤ合成が、単にサブバンド信号のスケーリングを用いるからである。ＩＣＬＤキューは、最も一般的に使用されるディレクショナル・キュー（ｄｉｒｅｃｔｉｏｎａｌ  ｃｕｅ）なので、通常は、ＩＣＬＤ値がオリジナル・オーディオ信号のＩＣＬＤ値を近似することが、より重要である。したがって、ＩＣＬＤデータを、すべてのチャネル対の間で推定することができる。各サブバンドの倍率ａｉ（ｋ）（１≦ｉ≦Ｃ）は、各再生チャネルのサブバンド電力がオリジナル入力オーディオ・チャネルの対応する電力を近似するようになるように選択されることが好ましい。
【００３７】
１つの目標は、ＩＣＴＤ値およびＩＣＣ値の合成に関して相対的に少数の信号変更を適用することとすることができる。したがって、ＢＣＣデータに、すべてのチャネル対のＩＣＴＤ値およびＩＣＣ値を含めないものとすることができる。その場合に、ＢＣＣシンセサイザ４００は、あるチャネル対の間でのみＩＣＴＤ値およびＩＣＣ値を合成するはずである。
【００３８】
各逆フィルタ・バンク４１２は、周波数領域の対応する合成された係数
【数３０】
2008522551.tif 000032
の組を、対応するディジタル再生チャネル
【数３１】
2008522551.tif 000033
のフレームに変換する。
【００３９】
図４には、Ｅ個のすべての被送出チャネルが後続のアップミキシングおよびＢＣＣ処理のために周波数領域に変換されることが示されているが、代替実施態様では、Ｅ個の被送出チャネルのうちの１つまたは複数（ただし、すべてではない）が、図４に示された処理の一部またはすべてを迂回することができる。たとえば、１つまたは複数の被送出チャネルを、アップミキシングを一切受けない変更されないチャネルとすることができる。Ｃ個の再生チャネルのうちの１つまたは複数であることに加えて、これらの変更されないチャネルを、他の再生チャネルのうちの１つまたは複数を合成するためにＢＣＣ処理が適用される基準チャネルとして使用することができるが、そうする必要はない。どちらの場合でも、そのような変更されないチャネルは、残りの再生チャネルを生成するのに使用されるアップミキシングおよび／またはＢＣＣ処理に伴う処理時間を補償するために、遅延を受ける場合がある。
【００４０】
図４には、Ｃ個の再生チャネルがＥ個の被送出チャネルから合成されることが示され、Ｃは、オリジナル入力チャネルの個数でもあったが、ＢＣＣ合成が、再生チャネルのその個数に限定されないことに留意されたい。一般に、再生チャネルの個数は、Ｃより大きい個数またはＣより小さい個数を含む、おそらくは再生チャネルの個数が被送出チャネルの個数以下である情況さえ含む、チャネルの任意の個数とすることができる。
【００４１】
オーディオ・チャネルの間の「知覚的に関連する差」
単一の和信号を仮定すると、ＢＣＣは、ＩＣＴＤ、ＩＣＬＤ、およびＩＣＣがオリジナル・オーディオ信号の対応するキューを近似するように、ステレオ・オーディオ信号またはマルチチャネル・オーディオ信号を合成する。次では、オーディトリ・スペイシャル・イメージ（ａｕｄｉｔｏｒｙ  ｓｐａｔｉａｌ  ｉｍａｇｅ）属性に関するＩＣＴＤ、ＩＣＬＤ、およびＩＣＣの役割を述べる。
【００４２】
スペイシャル・ヒアリング（ｓｐａｔｉａｌ  ｈｅａｒｉｎｇ）に関する知識は、１つのオーディトリ・イベントについて、ＩＣＴＤおよびＩＣＬＤが、知覚される方向に関連することを暗示する。１つのソースのバイノーラル・ルーム・インパルス応答（ｂｉｎａｕｒａｌ  ｒｏｏｍ  ｉｍｐｕｌｓｅ  ｒｅｓｐｏｎｓｅ、ＢＲＩＲ）を考慮する場合に、オーディトリ・イベントの幅とリスナ・エンベロップメントとＢＲＩＲの早期の部分および後期の部分について推定されたＩＣＣデータとの間に関係がある。しかし、ＩＣＣと一般的な信号のこれらのプロパティ（ＢＲＩＲだけではなく）との間の関係は、単純ではない。
【００４３】
ステレオ・オーディオ信号およびマルチチャネル・オーディオ信号は、通常、囲まれた空間での録音から生じる反射信号成分によって重畳されるまたは空間的印象を人工的に作成するために録音エンジニアによって追加される同時にアクティブなソース信号の複雑な混合物を含む。異なるソース信号およびその反射は、時間−周波数平面内で異なる領域を占める。これは、ＩＣＴＤ、ＩＣＬＤ、およびＩＣＣによって反映され、この３つは、時間および周波数の関数として変化する。この場合に、瞬間的なＩＣＴＤ、ＩＣＬＤ、およびＩＣＣとオーディトリ・イベント方向と空間的印象との間の関係は、明白ではない。ＢＣＣのある種の実施形態の戦略は、これらのキューがオリジナル・オーディオ信号の対応するキューを近似するように、これらのキューを盲目的に合成することである。
【００４４】
等価長方形帯域幅（ｅｑｕｉｖａｌｅｎｔ  ｒｅｃｔａｎｇｕｌａｒ  ｂａｎｄｗｉｄｔｈ、ＥＲＢ）の２倍と等しい帯域幅のサブバンドを有するフィルタ・バンクが、使用される。インフォーマル・リスニング（ｉｎｆｏｒｍａｌ  ｌｉｓｔｅｎｉｎｇ）は、ＢＣＣのオーディオ品質が、より高い周波数分解能を選択した時に顕著には改善されないことを明らかにする。より低い周波数分解能が望ましい可能性がある。というのは、より低い周波数分解能が、デコーダに送出される必要があるより少ないＩＣＴＤ値、ＩＣＬＤ値、およびＩＣＣ値をもたらし、したがってより低いビットレートをもたらすからである。
【００４５】
時間分解能に関して、ＩＣＴＤ、ＩＣＬＤ、およびＩＣＣは、通常、規則的な時間間隔で考慮される。ＩＣＴＤ、ＩＣＬＤ、およびＩＣＣが約４ｍｓから約１６ｍｓおきに考慮される時に、高い性能が得られる。キューが非常に短い時間間隔で考慮されない限り、先行音効果が直接には考慮されないことに留意されたい。古典的なサウンド刺激のリード／ラグ対（ｌｅａｄ−ｌａｇ  ｐａｉｒ）を仮定すると、リードおよびラグが、１組のキューだけが合成される時間間隔に含まれる場合に、リードの局所化優位（ｌｏｃａｌｉｚａｔｉｏｎ  ｄｏｍｉｎａｎｃｅ）は、考慮されない。これにもかかわらず、ＢＣＣは、平均して約８７（すなわち、「優秀な」オーディオ品質）、およびある種のオーディオ信号についてほぼ１００までの平均ＭＵＳＨＲＡスコアに反映されるオーディオ品質を達成する。
【００４６】
基準信号と合成された信号との間のしばしば達成される知覚的に小さい差は、広範囲のオーディトリ・スペイシャル・イメージ属性に関連するキューが、規則的な時間間隔でＩＣＴＤ、ＩＣＬＤ、およびＩＣＣを合成することによって暗黙のうちに考慮されていることを暗示する。次では、ＩＣＴＤ、ＩＣＬＤ、およびＩＣＣが、ある範囲のオーディトリ・スペイシャル・イメージ属性にどのように関係し得るかに関するいくつかの議論を与える。
【００４７】
空間的キューの推定
次では、ＩＣＴＤ、ＩＣＬＤ、およびＩＣＣがどのように推定されるかを説明する。これらの（量子化され、コーディングされた）空間的キューの送出のビットレートは、２〜３ｋｂ／ｓに過ぎないものとすることができ、したがって、ＢＣＣを用いると、ステレオ・オーディオ信号およびマルチチャネル・オーディオ信号を、単一オーディオ・チャネルに必要なものに近いビットレートで送出することが可能である。
【００４８】
図５に、本発明の一実施形態による図２のＢＣＣエスティメータ２０８のブロック図を示す。ＢＣＣエスティメータ２０８には、図３のフィルタ・バンク３０２と同一とすることができるフィルタ・バンク（ＦＢ）５０２と、フィルタ・バンク５０２によって生成された異なる周波数サブバンドごとにＩＣＴＤ空間的キュー、ＩＣＬＤ空間的キュー、およびＩＣＣ空間的キューを生成する推定ブロック５０４とが含まれる。
【００４９】
ステレオ信号のＩＣＴＤ、ＩＣＬＤ、およびＩＣＣの推定
次の測定値が、２つの（たとえば、ステレオ）オーディオ・チャネルの対応するサブバンド信号
【数３２】
2008522551.tif 000034
および
【数３３】
2008522551.tif 000035
のＩＣＴＤ、ＩＣＬＤ、およびＩＣＣに使用される。
○ＩＣＴＤ［サンプル単位］：
【数３４】
2008522551.tif 000036
正規化された相互相関関数の短時間推定値は、次の式（８）によって与えられる。
【数３５】
2008522551.tif 000037
ここで、
ｄ１＝ｍａｘ｛−ｄ，０｝
ｄ２＝ｍａｘ｛ｄ，０｝        （９）
であり、
【数３６】
2008522551.tif 000038
は、
【数３７】
2008522551.tif 000039
の平均値の短時間推定値である。
○ＩＣＬＤ［ｄＢ］：
【数３８】
2008522551.tif 000040
○ＩＣＣ：
【数３９】
2008522551.tif 000041
正規化された相互相関の絶対値が考慮され、ｃ１２（ｋ）が［０，１］の範囲を有することに留意されたい。
【００５０】
マルチチャネル・オーディオ信号のＩＣＴＤ、ＩＣＬＤ、およびＩＣＣの推定
３つ以上の入力チャネルがある場合には、通常、Ｃ＝５チャネルの場合について図６に示されているように、基準チャネル（たとえば、チャネル番号１）と他のチャネルとの間でＩＣＴＤおよびＩＣＬＤを定義することが十分であり、ここで、τ１ｃ（ｋ）およびΔＬ１ｃ（ｋ）は、それぞれ基準チャネル１とチャネルｃとの間のＩＣＴＤおよびＩＣＬＤを表す。
【００５１】
ＩＣＴＤおよびＩＣＬＤとは異なって、ＩＣＣは、通常、より多くの自由度を有する。定義されるＩＣＣは、すべての可能な入力チャネル対の間で異なる値を有することができる。Ｃ個のチャネルについて、Ｃ（Ｃ−１）／２個の可能なチャネル対があり、たとえば、５チャネルの場合には、図７（ａ）に示されているように１０個のチャネル対がある。しかし、そのような方式は、各時間インデックスに、サブバンドごとに、Ｃ（Ｃ−１）／２個のＩＣＣ値が推定され、送出されることを必要とし、高い計算的複雑さおよび高いビットレートをもたらす。
【００５２】
代替案では、サブバンドごとに、ＩＣＴＤおよびＩＣＬＤが、サブバンド内の対応する信号成分のオーディトリ・イベントがレンダリングされる方向を決定する。次に、サブバンドごとに１つの単一のＩＣＣパラメータを使用して、すべてのオーディオ・チャネルの間の全体的コヒーレンスを記述することができる。各時間インデックスに各サブバンド内で最大のエネルギを有する２つのチャネルの間でのみＩＣＣキューを推定し、送出することによって、よい結果を得ることができる。これが図７（ｂ）に示されており、図７（ｂ）では、時刻ｋ−１およびｋについて、それぞれチャネル対（３，４）および（１，２）が最も強い。ヒューリスティック・ルールを、他のチャネル対の間のＩＣＣを決定するのに使用することができる。
【００５３】
空間的キューの合成
図８に、単一の被送出和信号ｓ（ｎ）と空間的キューとを与えられてステレオ・オーディオ信号またはマルチチャネル・オーディオ信号を生成するのにＢＣＣデコーダ内で使用できる、図４のＢＣＣシンセサイザ４００の実施態様のブロック図を示す。和信号ｓ（ｎ）は、サブバンドに分解され、ここで、
【数４０】
2008522551.tif 000042
は、１つのそのようなサブバンドを表す。出力チャネルのそれぞれの対応するサブバンドを生成するために、遅延ｄｃ、倍率ａｃ、およびフィルタｈｃが、和信号の対応するサブバンドに適用される（表記を単純にするために、時間インデックスｋは、遅延、倍率、およびフィルタでは無視される）。ＩＣＴＤは、遅延を課すことによって合成され、ＩＣＬＤは、スケーリングを課すことによって合成され、ＩＣＣは、デ・コリレーション・フィルタを課すことによって合成される。図８に示された処理は、各サブバンドに独立に適用される。
【００５４】
ＩＣＴＤ合成
遅延ｄｃは、次の式（１２）に従って、ＩＣＴＤ  τ１ｃ（ｋ）から決定される。
【数４１】
2008522551.tif 000043
基準チャネルの遅延ｄ１は、遅延ｄｃの最大の大きさが最小化されるように計算される。サブバンド信号がより小さく変更されるほど、アーチファクトが発生する危険が少ない。サブバンド・サンプリング・レートが、ＩＣＴＤ合成について十分に高い時間分解能を提供しない場合には、適切な全通過フィルタを使用することによって、遅延をより正確に課すことができる。
【００５５】
ＩＣＬＤ合成
出力サブバンド信号が、チャネルｃと基準チャネル１との間で所望のＩＣＬＤ  ΔＬ１２（ｋ）を有するためには、利得係数ａｃが、次の式（１３）を満足しなければならない。
【数４２】
2008522551.tif 000044
さらに、出力サブバンドは、全出力チャネルの電力の和が入力和信号の電力と等しくなるように正規化されることが好ましい。各サブバンドの総オリジナル信号電力が、和信号で保存されるので、この正規化は、各出力チャネルの絶対サブバンド電力がオリジナル・エンコーダ入力オーディオ信号の対応する電力を近似することをもたらす。これらの制約を与えられて、倍率ａｃは、次の式（１４）によって与えられる。
【数４３】
2008522551.tif 000045
【００５６】
ＩＣＣ合成
ある種の実施形態で、ＩＣＣ合成の目的は、ＩＣＴＤおよびＩＣＬＤに影響せずに、遅延およびスケーリングが適用された後のサブバンド間の相関を減らすことである。これは、ＩＣＴＤおよびＩＣＬＤが、平均変動が各サブバンド内で０になる（聴覚臨界帯域）ように周波数の関数として効果的に変更されるように、図８のフィルタｈｃを指定することによって達成することができる。
【００５７】
図９に、ＩＣＴＤおよびＩＣＬＤが周波数の関数としてサブバンド内でどのように変更されるかを示す。ＩＣＴＤおよびＩＣＬＤの変動の振幅は、デ・コリレーションの度合を決定し、ＩＣＣの関数として制御される。ＩＣＴＤが、滑らかに変更される（図９（ａ）に示されているように）が、ＩＣＬＤが、ランダムに変更される（図９（ｂ）に示されているように）ことに留意されたい。ＩＣＬＤをＩＣＴＤのように滑らかに変更することができるが、これは、結果のオーディオ信号のより多くの相関をもたらすはずである。
【００５８】
ＩＣＣを合成する、特にマルチチャネルＩＣＣ合成に適する、もう１つの方法が、その教示が参照によって本明細書に組み込まれているＣ．Ｆａｌｌｅｒ、「Ｐａｒａｍｅｔｒｉｃ  ｍｕｌｔｉ−ｃｈａｎｎｅｌ  ａｕｄｉｏ  ｃｏｄｉｎｇ：Ｓｙｎｔｈｅｓｉｓ  ｏｆ  ｃｏｈｅｒｅｎｃｅ  ｃｕｅｓ」、ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  Ｓｐｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  Ｐｒｏｃ．、２００３年でより詳細に説明されている。時間および周波数の関数として、ある量の人工的な後期残響が、所望のＩＣＣを達成するために出力チャネルのそれぞれに追加される。さらに、結果の信号のスペクトル包絡がオリジナル・オーディオ信号のスペクトル包絡に近づくように、スペクトル変更を適用することができる。
【００５９】
ステレオ信号（またはオーディオ・チャネル対）に関する他の関連するおよび関連しないＩＣＣ合成技法が、その両方の教示が参照によって本明細書に組み込まれている、Ｅ．Ｓｃｈｕｉｊｅｒｓ、Ｗ．Ｏｏｍｅｎ、Ｂ．ｄｅｎ  Ｂｒｉｎｋｅｒ、およびＪ．Ｂｒｅｅｂａａｒｔ、「Ａｄｖａｎｃｅｓ  ｉｎ  ｐａｒａｍｅｔｒｉｃ  ｃｏｄｉｎｇ  ｆｏｒ  ｈｉｇｈ−ｑｕａｌｉｔｙ  ａｕｄｉｏ」、Ｐｒｅｐｒｉｎｔ  １１４ｔｈ  Ｃｏｎｖ．Ａｕｄ．Ｅｎｇ．Ｓｏｃ．、２００３年３月と、Ｊ．Ｅｎｇｄｅｇａｒｄ、Ｈ．Ｐｕｒｎｈａｇｅｎ、Ｊ．Ｒｏｄｅｎ、およびＬ．Ｌｉｌｊｅｒｙｄ、「Ｓｙｎｔｈｅｔｉｃ  ａｍｂｉｅｎｃｅ  ｉｎ  ｐａｒａｍｅｔｒｉｃ  ｓｔｅｒｅｏ  ｃｏｄｉｎｇ」、Ｐｒｅｐｒｉｎｔ  １１７ｔｈ  Ｃｏｎｖ．Ａｕｄ．Ｅｎｇ．Ｓｏｃ．、２００４年５月とに提示されている。
【００６０】
Ｃ−ｔｏ−Ｅ  ＢＣＣ
前に説明したように、ＢＣＣは、２つ以上の送出チャネルを用いて実施することができる。Ｃ個のオーディオ・チャネルを１つの単一（被送出）チャネルではなくＥ個のチャネルとして表す、Ｃ−ｔｏ−Ｅ  ＢＣＣと表されるＢＣＣの変形形態を説明した。Ｃ−ｔｏ−Ｅ  ＢＣＣには、次の（少なくとも）２つの動機付けがある。
【００６１】
○１つの送出チャネルを用いるＢＣＣは、ステレオ・オーディオ再生またはマルチチャネル・オーディオ再生のために既存のモノ・システムをアップグレードする後方互換性経路を提供する。アップグレードされたシステムは、さらにＢＣＣサイド情報を送出しながら、既存のモノ・インフラストラクチャを介してＢＣＣダウンミキシングされた和信号を送出する。Ｃ−ｔｏ−Ｅ  ＢＣＣは、Ｃ個のチャネルのオーディオの、Ｅ個のチャネルの後方互換性コーディングに適用可能である。
【００６２】
○Ｃ−ｔｏ−Ｅ  ＢＣＣは、被送出チャネルの個数の削減の異なる度合に関するスケーラビリティを導入する。送出されるオーディオ・チャネルが多いほど、オーディオ品質がよりよくなることが期待される。
【００６３】
ＩＣＴＤキュー、ＩＣＬＤキュー、およびＩＣＣキューを定義する方法など、Ｃ−ｔｏ−Ｅ  ＢＣＣの信号処理の詳細は、２００４年１月２０日に出願した米国特許出願第１０／７６２１００号（Ｆａｌｌｅｒ  １３−１）に記載されている。
【００６４】
被送出チャネルに基づくキューを有するＢＣＣ
上で説明したように、従来のＣ−ｔｏ−Ｅ  ＢＣＣ方式では、エンコーダが、Ｃ個のオリジナル・チャネルからＢＣＣキュー（たとえば、ＩＣＴＤキュー、ＩＣＬＤキュー、および／またはＩＣＣキュー）を導出する。さらに、エンコーダは、Ｃ個のオリジナル・チャネルをダウンミキシングして、Ｅ個のダウンミキシングされたチャネルを生成し、このＥ個のダウンミキシングされたチャネルは、導出されたＢＣＣキューと一緒にデコーダに送出され、このデコーダは、送出された（すなわち、サイド情報）ＢＣＣキューを使用して、Ｅ個の被送出チャネルからＣ個の合成されたチャネルを生成する。
【００６５】
しかし、Ｅ個の被送出チャネルから導出されたキューを用いるＢＣＣ方式を実施することが望ましい可能性がある、いくつかの応用例がある。１つの例示的応用例では、エンコーダは、Ｃ個のオリジナル・チャネルをダウンミキシングしてＥ個のダウンミキシングされたチャネルを生成するが、サイド情報としてのＢＣＣキューをデコーダに全く送出しない。そうではなく、デコーダ（または、おそらくはデコーダの上流のプリプロセッサ）は、被送出チャネルからＢＣＣキューを導出し、これらの導出されたＢＣＣコードを使用して、Ｅ個の被送出チャネルからＣ個の合成されたチャネルを生成する。有利なことに、この情況で送出されるデータの量は、サイド情報としてＢＣＣキューを送出する従来のＢＣＣ方式のデータの量より少ない。
【００６６】
もう１つの例示的応用例では、エンコーダでＥ個のダウンミキシングされたチャネルを生成するためのＣ個のオリジナル・チャネルのダウンミキシングがない。この応用例では、オリジナル・チャネルだけを、Ｅ個の被送出チャネルとすることができる。前の例と同様に、デコーダ（またはプリプロセッサ）は、被送出チャネルからＢＣＣキューを導出し、これらの導出されたＢＣＣコードを使用して、Ｅ個の被送出チャネルからＣ個の合成されたチャネルを生成する。理論上、この応用例は、既存のステレオ信号をマルチチャネル（たとえば、サラウンド）信号に変換するのに使用することができる。
【００６７】
本発明のある種の実施形態で、ＢＣＣコードを、エンコーダで導出し、被送出チャネルと一緒にサイド情報としてデコーダに送出することができ、ここで、これらのＢＣＣコードは、オリジナルの（たとえば、事前にダウンミキシングされた）チャネルではなく、被送出（たとえば、ダウンミキシングされた）チャネルから導出されることに留意されたい。
【００６８】
図１０に、本発明の一実施形態による５−ｔｏ−２  ＢＣＣオーディオ処理システム１０００のブロック図を示すが、ここで、どのＢＣＣコードも、被送出チャネルと一緒にサイド情報としてエンコーダからデコーダに送出されない。５−ｔｏ−２  ＢＣＣシステム１０００には、エンコーダ１００２およびデコーダ１００４が含まれる。エンコーダ１００２には、ダウンミキサ１００６が含まれ、デコーダ１００４には、キュー・エスティメータ１００８、キュー・マッパ１０１０、およびシンセサイザ１０１２が含まれる。この議論は、５−ｔｏ−２  ＢＣＣ方式に関するが、本発明は、Ｃ＞Ｅ＞１であるＣ−ｔｏ−Ｅ  ＢＣＣ方式に一般的に適用することができる。
【００６９】
エンコーダ１００２では、ダウンミキサ１００６が、５つのオリジナル・サラウンド・チャネルｘｉ（ｎ）をダウンミキシングして、２つの被送出ステレオ・チャネルｙｉ（ｎ）を生成する。デコーダ１００４では、キュー・エスティメータ１００８が、被送出ステレオ信号から、推定されたチャネル間キューを生成し、キュー・マッパ１０１０が、これらのステレオ・キューをサラウンド・キューに写像し、シンセサイザ１０１２が、これらのサラウンド・キューを２つの被送出ステレオ・チャネルに適用して、５つの合成されたサラウンド・チャネル
【数４４】
2008522551.tif 000046
を生成する。
【００７０】
図１０に示されているように、図２に示されたものなどの従来のＢＣＣ方式とは異なって、システム１０００のエンコーダ１００２は、オリジナル・サラウンド・チャネルからＢＣＣキューを生成しない。そうではなく、キューは、合成されたサラウンド・チャネルを生成する際に使用するために、デコーダ１００４で、送出されたダウンミキシングされたステレオ・チャネルから導出される。したがって、システム１０００では、どのＢＣＣキューも、ダウンミキシングされたステレオ・チャネルと一緒にサイド情報として送出されない。
【００７１】
１つの可能な実施態様によれば、エンコーダ１００２は、５チャネル３６０°サラウンド・サウンド・イメージを２チャネル６０°ステレオ信号に圧縮し、ここで、このステレオ信号は、５チャネル・サラウンド・サウンド・イメージ内のオーディトリ・イベントがステレオ・サウンド・イメージ内の別個の位置に現れるように生成される。デコーダ１００４では、ステレオ・イメージ内の各オーディトリ・イベントのＢＣＣキューは、そのオーディトリ・イベントを、合成されたサラウンド・イメージ内でオリジナル・サラウンド・イメージ内の近似位置に戻して写像できるように選択される。
【００７２】
エンコーダ処理
図１１Ａに、１つの可能な５チャネル・サラウンド構成を示すが、図１１Ａでは、左ラウドスピーカ（＃１）が、中央ラウドスピーカ（＃３）の３０°左に置かれ、右ラウドスピーカ（＃２）が、中央ラウドスピーカの３０°右に置かれ、左後ラウドスピーカ（＃４）が、中央ラウドスピーカの１１０°左に置かれ、右後ラウドスピーカ（＃５）が、中央ラウドスピーカの１１０°右に置かれている。
【００７３】
図１１Ｂは、図１１Ａの５つのラウドスピーカの方位を単位ベクトルｓｉとしてグラフ的に表すが、ここで、Ｘ軸は、中央ラウドスピーカの方位を表し、Ｙ軸は、中央ラウドスピーカの９０°左の方位を表す。
【００７４】
図１１Ｃは、図１１Ａの５チャネル・サラウンド・サウンドが図１０のエンコーダ１００２によって写像される１つの可能なステレオ構成を示すが、ここで、左右のラウドスピーカは、約６０°だけ分離されている。
【００７５】
図１２は、図１１Ａの５つのサラウンド・チャネルｘｉ（ｎ）を図１１Ｃの２つのステレオ・チャネルｙｉ（ｎ）にダウンミキシングするのに使用できる１つの可能な写像をグラフ的に表す。この写像によれば、−１８０°と−３０°との間に置かれたオーディトリ・イベントは、−３０°から−２０°までの範囲に写像される（角度を圧縮される）。−３０°と０°との間に置かれたオーディトリ・イベントは、−２０°から０°までの範囲に写像される（角度を圧縮される）。同様に、正の角度について、３０°と１８０°との間に置かれたオーディトリ・イベントは、２０°から３０°までの範囲に写像される（角度を圧縮される）。０°と３０°との間に置かれたオーディトリ・イベントは、０°および２０°の範囲に写像される（角度を圧縮される）。効果的に、これは、オリジナルの±３０°前イメージを±２０°に圧縮し、サラウンド・イメージの横部分および後部分を、圧縮された前イメージの両側に（−３０°から−２０°までの範囲および２０°から３０°までの範囲に）付加する。異なる個数の領域を有する変換および／または１つもしくは２つ以上の非線形領域を有する変換を含む他の変換が、可能である。
【００７６】
図１２の写像は、次の式（１５）の行列に基づく変換に従って表すことができる。
【数４５】
2008522551.tif 000047
ここで、たとえば、（２×５）ダウンミキシング行列の最初の２列の因数０．９および０．４４は、±３０°から±２０°への圧縮に対応し、最後の２列の因数１．０および０．０は、±１１０°から±３０°への圧縮に対応する。また、ダウンミキシング中に全体的な信号電力レベルを保存するために、ダウンミキシング行列の各列の項の平方根の和が、１になることに留意されたい。
【００７７】
この変換によれば、左チャネルおよび右チャネル（＃１および＃２）が、クロストークを伴って被送出ステレオ信号にミキシングされる。中央チャネル（＃３）は、同一の強度で左チャネルおよび右チャネルにミキシングされる。したがって、サラウンド・イメージの前中央は、ステレオ・イメージの前中央に留まる。左後チャネル（＃４）は、左ステレオ・チャネルだけにミキシングされ、右後チャネル（＃５）は右ステレオ・チャネルだけにミキシングされる。ここではクロストークが使用されないので、左後チャネルおよび右後チャネルは、それぞれステレオ・イメージの左端側および右端側に写像される。
【００７８】
式（１５）で表されるダウンミキシング動作は、時間領域で実施され、これは、同一のダウンミキシング行列が周波数帯全体について使用されることを暗示する。代替実施態様では、ダウンミキシングを周波数領域で実施することができ、この場合には、理論的に、異なる周波数サブバンドごとに異なるダウンミキシング行列を使用することができる。
【００７９】
代替実施形態では、式（１５）のように固定されたダウンミキシング行列を適用するのではなく、図１０のダウンミキサ１００６は、適応ダウンミキシングを実施することができる。図１３に、本発明の１つの可能な適応ダウンミキシング動作による、各時限（たとえば、２０ミリ秒）に実施される処理の流れ図を示す。特定の実施態様に応じて、図１３の処理を、スペクトル全体にまたは個々のＢＣＣサブバンドに独立に適用することができる。
【００８０】
具体的に言うと、サラウンド・イメージ内の対応するオーディトリ・イベントの方向を、次の式（１６）に従って推定する（図１３のステップ１３０２）。
【数４６】
2008522551.tif 000048
ここで、αは、図１１ＢのＸ軸に関するオーディトリ・イベントの推定された角度であり、ｐｉ（ｋ）は、時間インデックスｋでのサラウンド・チャネルｉの電力であり、ｓｉは、サラウンド・チャネルｉの単位ベクトル（ｃｏｓθｉ，ｓｉｎθｉ）Ｔであり、θｉは、図１１ＢのＸ軸に関するサラウンド・ラウドスピーカ角度である。
【００８１】
次に、サラウンド空間内のオーディトリ・イベントの角度αを、たとえば図１２の変換を使用して、ステレオ空間内の角度φに写像する（ステップ１３０４）。
【００８２】
次に、振幅パニング・ロー（または他の可能な周波数依存の関係）を適用して、ステレオ空間内の２つのステレオ・チャネルの間の所望のレベル差を導出する（ステップ１３０６）。振幅パニングを適用する時には、オーディトリ・イベントの知覚される方向を、次の式（１７）によって与えられるステレオフォニック正弦法則（ｓｔｅｒｅｏｐｈｏｎｉｃ  ｌａｗ  ｏｆ  ｓｉｎｅ）から推定することができる。
【数４７】
2008522551.tif 000049
ここで、０°≦φ０≦９０°は、図１１ＢのＸ軸と各ステレオ・ラウドスピーカとの間の角度の大きさであり、φは、オーディトリ・イベントの対応する角度であり、ａ１およびａ２は、次の式（１８）による、レベル差キューＩＣＬＤに関係付けられる倍率である。
ΔＬ１２（ｋ）＝２０ｌｏｇ１０（ａ２／ａ１）    （１８）
図１４に、角度φ０およびφと倍率ａ１およびａ２とを示すが、ここで、ｓ（ｎ）は、振幅パニングが倍率ａ１およびａ２に基づいて適用される時に角度φに現れるモノ信号を表す。図１５は、φ０＝３０°の標準的なステレオ構成に関する、式（１７）のステレオフォニック正弦法則によるＩＣＬＤとステレオ・イベント角度φとの間の関係をグラフ的に表す。
【００８３】
次に、５つのサラウンド・チャネルを、次の式（１９）による従来のダウンミキシングを使用してダウンミキシングする（ステップ１３０８）。
【数４８】
2008522551.tif 000050
この標準的なダウンミキシングによれば、（ｉ）左サラウンド・チャネルおよび左後サラウンド・チャネルは、左ステレオ・チャネルに写像され、（ｉｉ）右サラウンド・チャネルおよび右後サラウンド・チャネルは、右ステレオ・チャネルに写像され、（ｉｉｉ）中央サラウンド・チャネルは、左ステレオ・チャネルと右ステレオ・チャネルとの間で均等に分割され、これらのすべてが、サラウンド・イメージの左側と右側との間のクロストークを全く伴わない。
【００８４】
次に、左ステレオ・チャネルおよび右ステレオ・チャネルを、次のように式（２０）が満足されるように、それぞれ振幅パニングから導出されたレベル差に対応する倍率ａ１およびａ２を使用してスケーリングする（ステップ１３１０）。
【数４９】
2008522551.tif 000051
ここで、ｐ１およびｐ２は、それぞれ、スケーリングの後の左および右のダウンミキシングされたステレオ・チャネルの電力であり、倍率は、総ステレオ電力がスケーリングの前後で同一であることを保証するために正規化される（すなわち、
【数５０】
2008522551.tif 000052
）。
【００８５】
もう１つの実施形態によれば、ダウンミキシング変換は、その両方の教示が参照によって本明細書に組み込まれている、Ｊ．Ｈａｌｌ、「Ｓｕｒｒｏｕｎｄ  ｓｏｕｎｄ  ｐａｓｔ，ｐｒｅｓｅｎｔ，ａｎｄ  ｆｕｔｕｒｅ」、Ｔｅｃｈ．Ｒｅｐ．、Ｄｏｌｂｙ  Ｌａｂｏｒａｔｏｒｉｅｓ、１９９９年、ｗｗｗ．ｄｏｌｂｙ．ｃｏｍ／ｔｅｃｈ／と、Ｒ．Ｄｒｅｓｓｌｅｒ、「Ｄｏｌｂｙ  Ｓｕｒｒｏｕｎｄ  Ｐｒｏｌｏｇｉｃ  ＩＩ  Ｄｅｃｏｄｅｒ−Ｐｒｉｎｃｉｐｌｅｓ  ｏｆ  ｏｐｅｒａｔｉｏｎ」、Ｔｅｃｈ．Ｒｅｐ．、Ｄｏｌｂｙ  Ｌａｂｏｒａｔｏｒｉｅｓ、２０００年、ｗｗｗ．ｄｏｌｂｙ．ｃｏｍ／ｔｅｃｈ／とに記載のものなどの従来のマトリクス化アルゴリズムの原理に基づいて生成される。マトリクス化アルゴリズムは、ダウンミキシング行列を適用してチャネルの個数を減らし、たとえば、５つの入力チャネルを２つのステレオ（すなわち左右の）出力チャネルに減らす。通常、後入力チャネルは、左右の入力チャネルと位相外れでミキシングされ、ある程度まで、後入力チャネルをマトリクス化デコーダで回復できるようになっている（後チャネルがステレオ信号と位相外れであると仮定して）。たとえば、１つの可能な時間領域ダウンミキシング動作は、次の式（２１）によって定義される。
【数５１】
2008522551.tif 000053
ここで、ダウンミキシング行列内の負の因数は、位相外れでダウンミキシングされるチャネルに対応する。ここでは、左チャネルおよび右チャネル（＃１および＃２）について、クロストークが導入されないことに留意されたい。したがって、前サラウンド・イメージの幅全体が、イメージ圧縮を一切伴わずに維持される。また、ここでは、ダウンミキシングを、その代わりに周波数領域で実施することができ、異なる周波数サブバンドについて異なるダウンミキシング行列が使用される。さらに、ダウンミキシングは、固定する（式（１５）のように）または適応アルゴリズムの一部として適用する（式（１９）および図１３のように）ことができる。
【００８６】
一般に、どのダウンミキシング技法が５つのサラウンド・チャネルから２つのステレオ・チャネルを生成するのに使用されるにせよ、その技法は、図１０のデコーダ１００４などのデコーダが、結果の被送出ステレオ・イメージを、たとえばオリジナルの５チャネル・サラウンド・イメージを近似する合成されたサラウンド・イメージに写像することを可能にするように設計されることが好ましい。
【００８７】
デコーダ処理
図１０をもう一度参照すると、特定の実施態様に応じて、被送出ステレオ信号についてデコーダ１００４のキュー・エスティメータ１００８によって生成される推定されたチャネル間キューには、ＩＣＬＤデータ、ＩＣＴＤデータ、および／またはＩＣＣデータを含めることができる。推定されたＩＣＬＤキュー、ＩＣＴＤキュー、およびＩＣＣキューは、２つの被送出ステレオ・チャネルの対応するサブバンド信号
【数５２】
2008522551.tif 000054
および
【数５３】
2008522551.tif 000055
に式（７）〜（１１）を適用することによって生成することができる。
【００８８】
図１６に、本発明の１つの可能なデコーディング動作による、各時限（たとえば、２０ミリ秒）に実施される処理の流れ図を示す。この例示的手順は、ＩＣＬＤキューおよびＩＣＣキューを使用するが、ＩＣＴＤキューは使用しない。各時刻ｋに、各ＢＣＣサブバンド内で、次の処理が独立に実行される。
【００８９】
図１０のキュー・エスティメータ１００８は、式（１０）および（１１）を使用して、推定されたＩＣＬＤ値およびＩＣＣ値を導出し（図１６のステップ１６０２）、次に、式（１７）の振幅パニング・ローに基づいて式（１８）を使用することによって、ステレオ・イメージ内のオーディトリ・イベントの角度φを推定する（ステップ１６０４）。
【００９０】
図１０のキュー・マッパ１０１０は、たとえば図１２の変換を使用して、ステレオ・イベント角度φをサラウンド空間内の対応するオーディトリ・イベント角度αに写像する（ステップ１６０６）。
【００９１】
図１０のシンセサイザ１０１２は、被送出ステレオ・チャネルから５つのアップミキシングされたチャネルを生成する（ステップ１６０８）。図４のアップミキサ４０４に類似する、シンセサイザ１０１２のアップミキサによって適用されるアップミキシング行列は、図１０のダウンミキサ１００６によって適用されるダウンミキシング行列に依存する。たとえば、式（１９）のダウンミキシング動作に対応するアップミキシング動作は、次の式（２２）によって与えられる。
【数５４】
2008522551.tif 000056
ここで、左ステレオ・チャネルは、左サラウンド・チャネルと左後サラウンド・チャネルとの両方にコピーされ、右ステレオ・チャネルは、右サラウンド・チャネルと右後サラウンド・チャネルとの両方にコピーされ、左ステレオ・チャネルおよび右ステレオ・チャネルは、中央サラウンド・チャネルのために平均をとられる。同様に、式（２１）のダウンミキシング動作に対応するアップミキシング動作は、次の式（２３）によって与えられる。
【数５５】
2008522551.tif 000057
ここで、式（２２）と同様に、左ステレオ・チャネルは、左サラウンド・チャネルにコピーされ、右ステレオ・チャネルは、右サラウンド・チャネルにコピーされ、左ステレオ・チャネルおよび右ステレオ・チャネルは、中央サラウンド・チャネルのために平均をとられる。しかし、この場合には、左ステレオ・チャネルおよび右ステレオ・チャネルは、左後サラウンド・チャネルおよび右後サラウンド・チャネルのベース・チャネルを形成するために、逆マトリクス化を使用してミキシングされる。
【００９２】
ステップ１６１０で、シンセサイザ１０１２は、ステップ１６０２で推定されたＩＣＬＤキューおよびＩＣＣキューに基づいて、アップミキシングされたチャネルをスケーリングする。具体的に言うと、シンセサイザ１０１２は、推定されたＩＣＬＤ値およびＩＣＣ値を適用して、図４に示したＢＣＣ合成処理に類似する形で、すべてのＩＣＴＤ値ｄｉ（ｋ）に０がセットされている、合成された５チャネル・サラウンド信号を生成する（ただし、ＩＣＴＤ値をも使用する代替実施態様では、ｄｉ（ｋ）値のうちの少なくともいくつかが非ゼロである）。たとえば、１つの可能な実施態様で、このスケーリングは、次のように実施される。
（１）サラウンド・イベント角度αを直接に取り巻くラウドスピーカ対ｍ、ｎを選択する。
（２）式（１７）によって与えられるものなどのパニング・ローを適用して、次の式（２３）に従ってラウドスピーカｍおよびｎに与えられる直接（すなわち、相関する）サウンドの電力の比率を計算する。
【数５６】
2008522551.tif 000058
ここで、ｐｍは、ラウドスピーカｍに与えられる直接サウンドの電力であり、ｐｎは、ラウドスピーカｎに与えられる直接サウンドの電力である。
（３）被送出ステレオ信号から推定されたＩＣＣキューｃ１２（ｋ）に基づいて、すべてのラウドスピーカに電力ｐａのデ・コリレートされた（たとえば、後期残響）サウンドを適用するが、ここで、デ・コリレートされた信号電力ｐａは、次の式（２４）に従って、ＩＣＣに関係付けられる。
【数５７】
2008522551.tif 000059
ここで、Ｃは、サラウンド信号内のチャネルの個数である。
【００９３】
図４のブロック４１０に似た、シンセサイザ１０１２のデ・コリレーション・ブロックは、式（２３）および（２４）を使用して計算された直接のデ・コリレートされたサウンドの量を近似的に含む出力チャネル・サブバンドを生成する。
【００９４】
被送出ステレオ信号が、式（２１）に従って生成された場合には、次の考慮事項を適用することができる。
○ｍｉｎｄ（Φ１２（ｄ，ｋ））≒−１の場合には、おそらくは左後および／または右後サラウンド・チャネルの相対的に高い電力レベル（ダウンミキシング行列の選択に起因する）に起因して、位相外れ成分がある。
○ｍｉｎｄ（Φ１２（ｄ，ｋ））≒−１かつＩＣＬＤ＞０の場合には、ＢＣＣサブバンドは、右後サラウンド・チャネルに属し、エネルギのほとんどは、右後ラウドスピーカにレンダリングされなければならない。
○ｍｉｎｄ（Φ１２（ｄ，ｋ））≒−１かつＩＣＬＤ＜０の場合には、ＢＣＣサブバンドは、左後サラウンド・チャネルに属し、エネルギのほとんどは、左後ラウドスピーカにレンダリングされなければならない。
【００９５】
さらなる代替実施形態
本発明を、ＢＣＣキューがどのサブバンドについても送出されない実施形態の文脈で説明してきたが、代替実施態様では、キューを、一部のサブバンドについて送出することができ、他のサブバンドは、被送出キューを有しない。これらの実施態様では、デコーダは、キューなしで送出されたサブバンドのうちの１つまたは複数からキューを導出するはずである。
【００９６】
前に述べたように、本発明を、５−ｔｏ−２  ＢＣＣ方式の文脈で説明してきたが、一般に、本発明は、前に説明した５−ｔｏ−２  ＢＣＣ方式と同一の原理を適用することによって、Ｃ＞Ｅ≧１であるすべてのＣ−ｔｏ−Ｅ  ＢＣＣについて実施することができる。本発明のある種の実施形態によるＢＣＣ方式は、ＢＣＣ様合成を使用してマルチチャネル信号を生成するためのマルチチャネル・キューの計算に使用するために、被送出チャネルの間のチャネル間キューの推定を用いる。前に説明した例では、推定されるキューは、デコーダで被送出チャネルから導出されるが、理論的には、推定されるキューを、またはマルチチャネル・キューさえも、デコーダまたはデコーダの上流の他のプロセッサで生成し、その後、合成されたマルチチャネル信号の生成に使用するためにデコーダに送出することができる。
【００９７】
本発明を、ＩＣＴＤコード、ＩＣＬＤコード、および／またはＩＣＣコードを用いるＢＣＣコーディング方式の文脈で説明してきたが、本発明は、１つまたは複数の追加のまたは代替のタイプのコードを用いる他のＢＣＣコーディング方式の文脈で実施することもできる。
【００９８】
本発明を、ＢＣＣコーディング方式の文脈で説明してきたが、本発明は、オーディオ信号がデ・コリレートされる他のオーディオ処理システムまたは信号をデ・コリレートする必要がある他のオーディオ処理の文脈で実施することもできる。
【００９９】
本発明を、エンコーダが、時間領域の入力オーディオ信号を受け取り、時間領域の被送出オーディオ信号を生成し、デコーダが、時間領域の被送出オーディオ信号を受け取り、時間領域の再生オーディオ信号を生成する実施態様の文脈で説明してきたが、本発明は、それに限定されない。たとえば、他の実施態様では、入力オーディオ信号、被送出オーディオ信号、および再生オーディオ信号のうちのいずれか１つまたは複数を、周波数領域で表すことができる。
【０１００】
ＢＣＣエンコーダおよび／またはＢＣＣデコーダを、テレビジョン配信または電子音楽配信、ムービー・シアター、放送、ストリーミング、および／または受信のためのシステムを含むさまざまな異なる応用例またはシステムと共に使用するかこれに組み込むことができる。これには、たとえば、地上波、衛星、ケーブル、インターネット、イントラネット、または物理的媒体（たとえば、コンパクト・ディスク、ディジタル多用途ディスク、半導体チップ、ハード・ドライブ、メモリ・カード、および類似物）を介する送出をエンコードし／デコードするシステムが含まれる。ＢＣＣエンコーダおよび／またはＢＣＣデコーダを、たとえば、２つ以上の機械、プラットフォーム、もしくは媒体について発行することができる、娯楽（アクション、ロール・プレイ、ストラテジ、アドベンチャ、シミュレーション、レース、スポーツ、アーケード、トランプ、およびボード・ゲーム）および／または教育のためにユーザと対話することを意図された対話型ソフトウェア製品を含む、ゲームおよびゲーム・システムで使用することもできる。さらに、ＢＣＣエンコーダおよび／またはＢＣＣデコーダを、オーディオ・レコーダ／プレイヤまたはＣＤ−ＲＯＭ／ＤＶＤシステムに組み込むことができる。ＢＣＣエンコーダおよび／またはＢＣＣデコーダを、ディジタル・デコーディングを組み込んだＰＣソフトウェア・アプリケーション（たとえば、プレイヤ、デコーダ）およびディジタル・エンコーディング機能を組み込んだソフトウェア・アプリケーション（たとえば、エンコーダ、リッパ、レコーダ、およびジュークボックス）に組み込むこともできる。
【０１０１】
本発明を、単一の集積回路（ＡＳＩＣまたはＦＰＧＡなど）、２つ以上チップ・モジュール、単一のカード、または２つ以上カード回路パックとしての可能な実施態様を含む、回路に基づくプロセスとして実施することができる。当業者に明白であるとおり、回路要素のさまざまな機能を、ソフトウェア・プログラム内の処理ステップとして実施することもできる。そのようなソフトウェアは、たとえば、ディジタル信号プロセッサ、マイクロコントローラ、または汎用コンピュータ内で使用することができる。
【０１０２】
本発明は、方法およびこれらの方法を実践する装置の形で実施することができる。本発明は、フロッピ・ディスケット、ＣＤ−ＲＯＭ、ハード・ドライブ、または任意の他の機械可読記憶媒体などの有形の媒体内で実施されたプログラム・コードの形で実施することもでき、ここで、そのプログラム・コードがコンピュータなどの機械にロードされ、その機械によって実行される時に、その機械は、本発明を実践する装置になる。本発明を、たとえば、記憶媒体に保管される、機械にロードされかつ／または機械によって実行される、あるいは電気的ワイヤリングもしくはケーブリングを介して、光ファイバを介して、または電磁放射を介してなどのある送出媒体または担体を介して送出されるのいずれかのプログラム・コードの形で実施することもでき、ここで、そのプログラム・コードがコンピュータなどの機械にロードされ、その機械によって実行される時に、その機械は、本発明を実践する装置になる。汎用プロセッサで実施される時に、プログラム・コード・セグメントは、プロセッサと組み合わさって、特定の論理回路に似て動作する独自のデバイスを提供する。
【０１０３】
本発明を、本発明の方法および／または装置を使用して生成される、媒体を介して電気的にまたは光学的に送出される信号値、磁気記録媒体内に保管された磁界変動などのビットストリームまたは他のシーケンスの形で実施することもできる。
【０１０４】
さらに、本発明の性質を説明するために説明され、図示された詳細、材料、および部分の配置におけるさまざまな変更を、添付の特許請求の範囲で表される本発明の範囲から逸脱せずに当業者が作ることができることを理解されたい。
【０１０５】
添付の特許請求の範囲の方法クレームの工程は、存在する場合に、対応するラベル付けを有する特定のシーケンスで列挙されるが、請求項の詳説がこれらの工程の一部またはすべてを実施する特定のシーケンスを他の形で暗示しない限り、これらの工程は、その特定のシーケンスで実施されることに限定されることを必ずしも意図されていない。
【図面の簡単な説明】
【０１０６】
【図１】従来のバイノーラル信号シンセサイザを示す高水準ブロック図である。
【図２】包括的なバイノーラル・キュー・コーディング（ＢＣＣ）オーディオ処理システムを示すブロック図である。
【図３】図２のダウンミキサに使用できるダウンミキサを示すブロック図である。
【図４】図２のデコーダに使用できるＢＣＣシンセサイザを示すブロック図である。
【図５】本発明の一実施形態による図２のＢＣＣエスティメータを示すブロック図である。
【図６】５チャネル・オーディオのＩＣＴＤデータおよびＩＣＬＤデータの生成を示す図である。
【図７】５チャネル・オーディオのＩＣＣデータの生成を示す図である。
【図８】単一の被送出和信号ｓ（ｎ）と空間的キューとを与えられてステレオ・オーディオ信号またはマルチチャネル・オーディオ信号を生成するのにＢＣＣデコーダ内で使用できる、図４のＢＣＣシンセサイザの実施態様を示すブロック図である。
【図９】ＩＣＴＤおよびＩＣＬＤが周波数の関数としてサブバンド内でどのように変更されるかを示す図である。
【図１０】本発明の一実施形態による５−ｔｏ−２  ＢＣＣオーディオ処理システムを示すブロック図である。
【図１１Ａ】１つの可能な５チャネル・サラウンド構成を示す図である。
【図１１Ｂ】図１１Ａの５つのラウドスピーカの方位をグラフ的に表す図である。
【図１１Ｃ】図１１Ａの５チャネル・サラウンド・サウンドが図１０のエンコーダによって写像される１つの可能なステレオ構成を示す図である。
【図１２】図１１Ａの５つのサラウンド・チャネルを図１１Ｃの２つのステレオ・チャネルにダウンミキシングするのに使用できる１つの可能な写像をグラフ的に表す図である。
【図１３】本発明の１つの可能な適応ダウンミキシング動作による処理を示す流れ図である。
【図１４】図１０のデコーダ内で使用される角度および倍率を示す図である。
【図１５】ステレオフォニック正弦法則による、ＩＣＬＤとステレオ・イベント角度との間の関係をグラフ的に表す図である。
【図１６】本発明の１つの可能なデコーディング動作による処理を示す流れ図である。
【図１】
2008522551.tif 000060
【図２】
2008522551.tif 000061
【図３】
2008522551.tif 000062
【図４】
2008522551.tif 000063
【図５】
2008522551.tif 000064
【図６】
2008522551.tif 000065
【図７】
2008522551.tif 000066
【図８】
2008522551.tif 000067
【図９】
2008522551.tif 000068
【図１０】
2008522551.tif 000069
【図１１Ａ】
2008522551.tif 000070
【図１１Ｂ】
2008522551.tif 000071
【図１１Ｃ】
2008522551.tif 000072
【図１２】
2008522551.tif 000073
【図１３】
2008522551.tif 000074
【図１４】
2008522551.tif 000075
【図１５】
2008522551.tif 000076
【図１６】
2008522551.tif 000077
【手続補正書】
【提出日】平成19年7月31日(2007.7.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
Ｅ個の被送出オーディオ・チャネルからＣ個の再生オーディオ・チャネルを合成する方法であって、Ｃ＞Ｅ＞１であり、
前記Ｅ個の被送出チャネルから１つまたは複数のキューを導出する処理と、
１つまたは複数のアップミキシングされたチャネルを生成するために前記Ｅ個の被送出チャネルのうちの１つまたは複数をアップミキシングする処理と、
前記１つまたは複数の導出されたキューに基づいて、前記１つまたは複数のアップミキシングされたチャネルから前記Ｃ個の再生チャネルのうちの１つまたは複数を合成する処理と
を含む方法。
【請求項２】
前記方法は、異なるサブバンドについて独立に実施される請求項１に記載の発明。
【請求項３】
被送出チャネル領域の前記１つまたは複数の導出されたキューは、再生チャネル領域の１つまたは複数の写像されたキューに写像され、
前記１つまたは複数の再生チャネルは、前記１つまたは複数の写像されたキューを前記１つまたは複数のアップミキシングされたチャネルに適用することによって合成される
請求項１に記載の方法。
【請求項４】
前記導出することは、キューを導出するために被送出チャネルの対にパニング・ローを適用することを含む請求項１に記載の処理。
【請求項５】
前記方法は、
被送出チャネル領域のオーディトリ・イベントに対応する情報を決定するためにパニング・ローを適用する処理と、
前記被送出チャネル領域の前記オーディトリ・イベントに対応する前記情報を再生チャネル領域のオーディトリ・イベントに対応する情報に写像する処理と、
少なくとも２つの再生チャネルの相対電力レベルを決定するために前記再生チャネル領域でパニング・ローを適用する処理と、
前記決定された相対電力レベルに基づいて前記少なくとも２つの再生チャネルをスケーリングする処理と
を含む請求項１に記載の方法。
【請求項６】
前記方法は、さらに、
前記被送出チャネルからＩＣＣキューを推定する処理と、
前記ＩＣＣキューに基づいて、１つまたは複数の再生チャネルのデ・コリレートされた電力レベルを生成する処理と
を含む請求項５に記載の方法。
【請求項７】
前記Ｅ個の被送出チャネルは、Ｃ個の入力オーディオ・チャネルにダウンミキシング動作を適用することによって生成されたものであり、
前記アップミキシングする処理は、Ｃ個のアップミキシングされたチャネルを生成するために前記Ｅ個の被送出チャネルにアップミキシング動作を適用する処理から成り、前記アップミキシング動作は、前記ダウンミキシング動作に基づいて選択され、および前記アップミキシング動作の少なくとも１つの部分がマトリックス化に基づいている
請求項１に記載の方法。
【請求項８】
アップミキシング動作は、前記ダウンミキシング動作に基づいて選択される
前記アップミキシング動作は、１つまたは複数の中央以外のアップミキシングされたチャネルを生成するために被送出チャネルの少なくとも１つの対の間のクロストークを用いる
請求項１に記載の方法。
【請求項９】
Ｅ個の被送出オーディオ・チャネルからＣ個の再生オーディオ・チャネルを合成する装置であって、Ｃ＞Ｅ＞１であり、
前記Ｅ個の被送出チャネルから１つまたは複数のキューを導出するように適合されたキュー・エスティメータと、
１つまたは複数のアップミキシングされたチャネルを生成するために前記Ｅ個の被送出チャネルのうちの１つまたは複数をアップミキシングし、
前記１つまたは複数の導出されたキューに基づいて、前記１つまたは複数のアップミキシングされたチャネルから前記Ｃ個の再生チャネルのうちの１つまたは複数を合成する
ように適合されたシンセサイザと
を含む装置。
【請求項１０】
被送出チャネル領域の前記１つまたは複数の導出されたキューを再生チャネル領域の１つまたは複数の写像されたキューに写像するように適合されたキュー・マッパをさらに含み、前記シンセサイザは、前記１つまたは複数の写像されたキューを前記１つまたは複数のアップミキシングされたチャネルに適用することによって前記１つまたは複数の再生チャネルを合成するように適合される請求項９に記載の装置。
【請求項１１】
キュー・マッパをさらに含み、
前記キュー・エスティメータは、被送出チャネル領域のオーディトリ・イベント方向に対応する情報を決定するためにパニング・ローを適用するように適合され、
前記キュー・マッパは、前記被送出チャネル領域の前記オーディトリ・イベント方向に対応する前記情報を再生チャネル領域のオーディトリ・イベント方向に対応する情報に写像するように適合され、
前記シンセサイザは、
再生チャネルの前記対の相対電力レベルを決定するために前記再生チャネル領域で再生チャネルの前記対にパニング・ローを適用し、
前記決定された相対電力レベルに基づいて再生チャネルの前記対をスケーリングする
ように適合される
請求項９に記載の装置。
【請求項１２】
前記キュー・エスティメータは、前記被送出チャネルからＩＣＣキューを推定するようにさらに適合され、
前記シンセサイザは、前記ＩＣＣキューに基づいて、各再生チャネルのデ・コリレートされた電力レベルを生成するようにさらに適合される
請求項１１に記載の装置。
【請求項１３】
Ｃ個の入力オーディオ・チャネルからＥ個の被送出オーディオ・チャネルを生成する方法であって、Ｃ＞Ｅ＞１であり、
入力チャネル領域から被送出チャネル領域に写像することに基づいてダウンミキシング・アルゴリズムを生成するために、パニング・ローを適用する処理と、
前記Ｅ個の被送出チャネルを生成するために、前記Ｃ個の入力チャネルに前記ダウンミキシング・アルゴリズムを適用する処理と
を含む方法。
【請求項１４】
前記写像することは、前記入力チャネル領域の各入力チャネルの方向を前記被送出チャネル領域の被送出チャネルの１つまたは複数の方向に写像し、
前記ダウンミキシング・アルゴリズムは、その係数が前記パニング・ローに基づいて選択される固定されたダウンミキシング行列の適用を含む
請求項１３に記載の方法。
【請求項１５】
前記ダウンミキシング・アルゴリズムは、前記Ｃ個の入力チャネル内のオーディトリ・イベントの方向を推定することに基づいて生成される請求項１３に記載の方法。
【請求項１６】
前記オーディトリ・イベント方向は、独立に推定され、前記ダウンミキシング・アルゴリズムは、前記入力チャネル内の２つ以上のサブバンドのそれぞれについて独立に実施される請求項１５に記載の方法。
【請求項１７】
前記オーディトリ・イベント方向は、前記入力チャネルの電力加重方向ベクトルの和に基づいて推定される請求項１５に記載の方法。
【請求項１８】
前記ダウンミキシング・アルゴリズムは、
前記入力チャネル領域の前記オーディトリ・イベント方向を前記被送出チャネル領域のオーディトリ・イベント方向に写像する処理と、
Ｅ個のダウンミキシングされたチャネルを生成するために前記Ｃ個の入力チャネルにダウンミキシング行列を適用する処理と、
少なくとも２つのダウンミキシングされたチャネルの相対電力レベルを決定するために前記被送出チャネル領域で前記パニング・ローを適用する処理と、
少なくとも２つの被送出チャネルを生成するために、前記決定された相対電力レベルに基づいて前記少なくとも２つのダウンミキシングされたチャネルをスケーリングする処理と
を含む請求項１５に記載の方法。
【請求項１９】
前記ダウンミキシング・アルゴリズムの少なくとも１つの部分は、マトリクス化に基づく請求項１８に記載の方法。
【請求項２０】
前記ダウンミキシング・アルゴリズムは、少なくとも２つの入力チャネルの間のクロストークを用いる請求項１８に記載の方法。
【請求項２１】
サイド情報としてキューを全く用いずに、前記Ｅ個の被送出チャネルを送出する工程をさらに含む請求項１３に記載の方法。
【手続補正書】
【提出日】平成19年8月7日(2007.8.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
Ｅ個の被送出オーディオ・チャネルからＣ個の再生オーディオ・チャネルを合成する方法であって、Ｃ＞Ｅ＞１であり、
前記Ｅ個の被送出チャネルから１つまたは複数のキューを導出する処理と、
１つまたは複数のアップミキシングされたチャネルを生成するために前記Ｅ個の被送出チャネルのうちの１つまたは複数をアップミキシングする処理と、
前記１つまたは複数の導出されたキューに基づいて、前記１つまたは複数のアップミキシングされたチャネルから前記Ｃ個の再生チャネルのうちの１つまたは複数を合成する処理と
を含む方法。
【請求項２】
前記方法は、異なるサブバンドについて独立に実施される請求項１に記載の発明。
【請求項３】
被送出チャネル領域の前記１つまたは複数の導出されたキューは、再生チャネル領域の１つまたは複数の写像されたキューに写像され、
前記１つまたは複数の再生チャネルは、前記１つまたは複数の写像されたキューを前記１つまたは複数のアップミキシングされたチャネルに適用することによって合成される
請求項１に記載の方法。
【請求項４】
前記導出することは、キューを導出するために被送出チャネルの対にパニング・ローを適用することを含む請求項１に記載の処理。
【請求項５】
前記方法は、
被送出チャネル領域のオーディトリ・イベントに対応する情報を決定するためにパニング・ローを適用する処理と、
前記被送出チャネル領域の前記オーディトリ・イベントに対応する前記情報を再生チャネル領域のオーディトリ・イベントに対応する情報に写像する処理と、
少なくとも２つの再生チャネルの相対電力レベルを決定するために前記再生チャネル領域でパニング・ローを適用する処理と、
前記決定された相対電力レベルに基づいて前記少なくとも２つの再生チャネルをスケーリングする処理と
を含む請求項１に記載の方法。
【請求項６】
前記方法は、さらに、
前記被送出チャネルからＩＣＣキューを推定する処理と、
前記ＩＣＣキューに基づいて、１つまたは複数の再生チャネルのデ・コリレートされた電力レベルを生成する処理と
を含む請求項５に記載の方法。
【請求項７】
前記Ｅ個の被送出チャネルは、Ｃ個の入力オーディオ・チャネルにダウンミキシング動作を適用することによって生成されたものであり、
前記アップミキシングする処理は、Ｃ個のアップミキシングされたチャネルを生成するために前記Ｅ個の被送出チャネルにアップミキシング動作を適用する処理から成り、前記アップミキシング動作は、前記ダウンミキシング動作に基づいて選択され、および前記アップミキシング動作の少なくとも１つの部分がマトリックス化に基づいている
請求項１に記載の方法。
【請求項８】
前記Ｅ個の被送出チャネルは、Ｃ個の入力オーディオ・チャネルにダウンミキシング動作を適用することによって生成されたものであり、
前記アップミキシングする処理は、Ｃ個のアップミキシングされたチャネルを生成するために前記Ｅ個の被送出チャネルにアップミキシング動作を適用する処理から成り、およびアップミキシング動作は、前記ダウンミキシング動作に基づいて選択される
前記アップミキシング動作は、１つまたは複数の中央以外のアップミキシングされたチャネルを生成するために被送出チャネルの少なくとも１つの対の間のクロストークを用いる
請求項１に記載の方法。
【請求項９】
Ｅ個の被送出オーディオ・チャネルからＣ個の再生オーディオ・チャネルを合成する装置であって、Ｃ＞Ｅ＞１であり、
前記Ｅ個の被送出チャネルから１つまたは複数のキューを導出するように適合されたキュー・エスティメータと、
１つまたは複数のアップミキシングされたチャネルを生成するために前記Ｅ個の被送出チャネルのうちの１つまたは複数をアップミキシングし、
前記１つまたは複数の導出されたキューに基づいて、前記１つまたは複数のアップミキシングされたチャネルから前記Ｃ個の再生チャネルのうちの１つまたは複数を合成する
ように適合されたシンセサイザと
を含む装置。
【請求項１０】
被送出チャネル領域の前記１つまたは複数の導出されたキューを再生チャネル領域の１つまたは複数の写像されたキューに写像するように適合されたキュー・マッパをさらに含み、前記シンセサイザは、前記１つまたは複数の写像されたキューを前記１つまたは複数のアップミキシングされたチャネルに適用することによって前記１つまたは複数の再生チャネルを合成するように適合される請求項９に記載の装置。
【請求項１１】
キュー・マッパをさらに含み、
前記キュー・エスティメータは、被送出チャネル領域のオーディトリ・イベント方向に対応する情報を決定するためにパニング・ローを適用するように適合され、
前記キュー・マッパは、前記被送出チャネル領域の前記オーディトリ・イベント方向に対応する前記情報を再生チャネル領域のオーディトリ・イベント方向に対応する情報に写像するように適合され、
前記シンセサイザは、
再生チャネルの前記対の相対電力レベルを決定するために前記再生チャネル領域で再生チャネルの前記対にパニング・ローを適用し、
前記決定された相対電力レベルに基づいて再生チャネルの前記対をスケーリングする
ように適合される
請求項９に記載の装置。
【請求項１２】
前記キュー・エスティメータは、前記被送出チャネルからＩＣＣキューを推定するようにさらに適合され、
前記シンセサイザは、前記ＩＣＣキューに基づいて、各再生チャネルのデ・コリレートされた電力レベルを生成するようにさらに適合される
請求項１１に記載の装置。
【請求項１３】
Ｃ個の入力オーディオ・チャネルからＥ個の被送出オーディオ・チャネルを生成する方法であって、Ｃ＞Ｅ＞１であり、
入力チャネル領域から被送出チャネル領域に写像することに基づいてダウンミキシング・アルゴリズムを生成するために、パニング・ローを適用する処理と、
前記Ｅ個の被送出チャネルを生成するために、前記Ｃ個の入力チャネルに前記ダウンミキシング・アルゴリズムを適用する処理と
を含む方法。
【請求項１４】
前記写像することは、前記入力チャネル領域の各入力チャネルの方向を前記被送出チャネル領域の被送出チャネルの１つまたは複数の方向に写像し、
前記ダウンミキシング・アルゴリズムは、その係数が前記パニング・ローに基づいて選択される固定されたダウンミキシング行列の適用を含む
請求項１３に記載の方法。
【請求項１５】
前記ダウンミキシング・アルゴリズムは、前記Ｃ個の入力チャネル内のオーディトリ・イベントの方向を推定することに基づいて生成される請求項１３に記載の方法。
【請求項１６】
前記オーディトリ・イベント方向は、独立に推定され、前記ダウンミキシング・アルゴリズムは、前記入力チャネル内の２つ以上のサブバンドのそれぞれについて独立に実施される請求項１５に記載の方法。
【請求項１７】
前記オーディトリ・イベント方向は、前記入力チャネルの電力加重方向ベクトルの和に基づいて推定される請求項１５に記載の方法。
【請求項１８】
前記ダウンミキシング・アルゴリズムは、
前記入力チャネル領域の前記オーディトリ・イベント方向を前記被送出チャネル領域のオーディトリ・イベント方向に写像する処理と、
Ｅ個のダウンミキシングされたチャネルを生成するために前記Ｃ個の入力チャネルにダウンミキシング行列を適用する処理と、
少なくとも２つのダウンミキシングされたチャネルの相対電力レベルを決定するために前記被送出チャネル領域で前記パニング・ローを適用する処理と、
少なくとも２つの被送出チャネルを生成するために、前記決定された相対電力レベルに基づいて前記少なくとも２つのダウンミキシングされたチャネルをスケーリングする処理と
を含む請求項１５に記載の方法。
【請求項１９】
前記ダウンミキシング・アルゴリズムの少なくとも１つの部分は、マトリクス化に基づく請求項１８に記載の方法。
【請求項２０】
前記ダウンミキシング・アルゴリズムは、少なくとも２つの入力チャネルの間のクロストークを用いる請求項１８に記載の方法。
【請求項２１】
サイド情報としてキューを全く用いずに、前記Ｅ個の被送出チャネルを送出する工程をさらに含む請求項１３に記載の方法。
【国際調査報告】
2008522551.tif 000078
2008522551.tif 000079
2008522551.tif 000080
2008522551.tif 000081
2008522551.tif 000082