(57)【要約】  マルチチャネルオーディオ信号の再構成を計算するためにモノラルダウンミックス信号とともに使用されることに適したパラメータを有するマルチチャネルオーディオ信号のパラメトリック表現（１２）は、デコーダ使用可能なステレオパラメータ（２４）とこのデコーダ使用可能なステレオパラメータ（２４）とともに１つまたは複数の空間パラメータ（２０）を表現する１つまたは複数の空間パラメータ（２６）に関する情報とを有するパラメトリック表現（１２）を得る、１つまたは複数の空間パラメータ（２０）とステレオパラメータ（２２）とを組み合わせることによって、パラメトリック表現（１２）を生成するために、パラメータコンバイナ（１８）が用いられるときに、ステレオ下位互換性のある方法で効率的に導出することができる。【選択図】図１
2008519301.tif 000002
【特許請求の範囲】
【請求項１】
パラメトリック表現（２０２）を処理するためのマルチチャネルオーディオデコーダ（２００）であって、前記パラメトリック表現（２０２）は、マルチチャネル信号の空間特性を表している１つまたは複数の空間パラメータ（２０４）に関する情報と前記マルチチャネル信号のステレオダウンミックスの空間特性を表しているステレオパラメータ（２０６）とを含み、前記１つまたは複数の空間パラメータ（２０４）に関する前記情報と前記ステレオパラメータ（２０６）とは、組み合わせ規則を用いて組み合わされることによって、１つまたは複数の空間パラメータ（２１０）を得る、前記デコーダは、
前記１つまたは複数の空間パラメータ（２１０）を得るために前記組み合わせ規則を用いて前記ステレオパラメータ（２０６）と前記１つまたは複数の空間パラメータ（２０４）に関する前記情報とを組み合わせるためのパラメータ再構成器（２０８）を備える、マルチチャネルオーディオデコーダ装置（２００）。
【請求項２】
前記組み合わせ規則は、前記組み合わせが前記ステレオパラメータ（２０６）とパラメータの第１サブセットとを組み合わせることによって導出される置換パラメータによる前記１つまたは複数の空間パラメータ（２０４）に関する前記情報の前記パラメータの前記第１サブセットの置き換えを含むようになっている、請求項１に記載のマルチチャネルオーディオデコーダ（２００）。
【請求項３】
前記組み合わせ規則は、置換パラメータがパラメータの前記第１サブセットからの対応パラメータと同パラメータの予測との一次結合よって導出され、前記予測が前記１つまたは複数の空間パラメータ（２０４）に関する前記情報の第２サブセットのパラメータと前記ステレオパラメータ（２０６）とを用いて導出され、これらが予測規則を用いて組み合わされるようになっている、請求項２に記載のマルチチャネルオーディオデコーダ（２００）。
【請求項４】
前記予測規則は、前記予測が前記ステレオパラメータ（２０６）を用いて導出されるようになっている、請求項３に記載のマルチチャネルオーディオデコーダ（２００）。
【請求項５】
前記予測規則は、前記ステレオパラメータ（２０６）が前記空間パラメータの前記予測として用いられるようになっている、請求項４に記載のマルチチャネルオーディオデコーダ（２００）。
【請求項６】
前記ステレオパラメータ（２０６）は、前記ステレオダウンミックスのチャネル間の強度差を表している第１パラメータＰ1と前記ステレオダウンミックスのチャネル間の相関を表している第２パラメータＰ2とを含み、
パラメータの前記第２サブセットは、前記マルチチャネル信号の左チャネルおよび右チャネルの和と前記マルチチャネル信号の中央チャネルとの間の強度差を表しているパラメータＳ3を含み、さらに
前記予測規則は、前記マルチチャネル信号の前記左チャネルおよび前記右チャネルの間の強度差を表しているパラメータである、パラメータの前記第１サブセットのパラメータＳ1が、次式
2008519301.tif 000020
【請求項７】
前記パラメータ再構成器（２２６）は、パラメータの前記第１サブセットが置換パラメータに置換されるか否かを決定するための決定ユニット（２５２）をさらに備える、先行する請求項のいずれかに記載のマルチチャネルオーディオデコーダ（２００、２２０）。
【請求項８】
ビットストリーム（２３０）から前記ステレオパラメータ（２３４）の表現と前記１つまたは複数の空間パラメータ（２３２）に関する前記情報の表現とを分解するためにビットストリーム分解器（２２２）をさらに備え、前記ビットストリーム（２３０）は、レガシーパラメトリックステレオ装置によって処理できるように下位互換性がある、先行する請求項のいずれかに記載のマルチチャネルオーディオデコーダ（２００、２２０）。
【請求項９】
前記ステレオパラメータ（２３４）の前記表現と前記１つまたは複数の空間パラメータ（２３２）に関する前記情報の前記表現とから前記ステレオパラメータ（２７２）と前記１つまたは複数の空間パラメータ（２６６、２６８）に関する前記情報とを導出するためにエントロピーデコーダと差分デコーダ（２５８、２６０、２６２ａ、２６２ｂ）とをさらに備える、請求項８に記載のマルチチャネルオーディオデコーダ（２００、２２０）。
【請求項１０】
前記ビットストリーム分解器（２２２）は、前記ビットストリームから前記マルチチャネル信号のモノラルダウンミックスであるモノラルダウンミックス信号（２３６）を分解するようにさらに動作し、さらに
前記ダウンミックス信号（２３６）と前記１つまたは複数のパラメータ（２３８）とを用いてマルチチャネル信号（２４０）の再構成を導出するためのアップミキサ（２２８）をさらに備える、請求項８または請求項９に記載のマルチチャネルオーディオデコーダ（２２０）。
【請求項１１】
前記ビットストリーム（２３０）から分解されるモノラルダウンミックス信号（２３１）の符号化された表現から前記モノラルダウンミックス信号（２３６）を導出するためのオーディオデコーダ（２２４）をさらに備える、請求項１０に記載のマルチチャネルオーディオデコーダ（２２０）。
【請求項１２】
マルチチャネルオーディオ信号のパラメトリック表現（１２）を導出するためのエンコーダ（１０）であって、前記パラメトリック表現（１２）は、モノラルダウンミックス信号とともに使用されることに適したパラメータを有し、前記エンコーダ（１０）は、
前記マルチチャネル信号の空間特性を表している１つまたは複数の空間パラメータ（２０）を計算するための空間パラメータ計算器（１４）と、
前記マルチチャネル信号から導出されるステレオダウンミックス信号の空間特性を表しているステレオパラメータ（２２）を計算するためのステレオパラメータ計算器（１６）と、
組み合わせ規則を用いて前記１つまたは複数の空間パラメータ（２０）と前記ステレオパラメータ（２２）とを組み合わせることによって前記パラメトリック表現（１２）を生成するためのパラメータコンバイナ（１８）であって、デコーダ使用可能なステレオパラメータ（２４）と前記デコーダ使用可能なステレオパラメータ（２４）とともに前記１つまたは複数の空間パラメータ（２０）を表す前記１つまたは複数の空間パラメータ（２６）に関する情報とを得る組み合わせ規則を用いるように動作するパラメータコンバイナ（１８）とを備える、エンコーダ（１０）。
【請求項１３】
前記ステレオパラメータ計算器（１６）は、前記マルチチャネル信号（５０）から前記ステレオダウンミックス信号（７２）を導出するためのステレオダウンミキサ（５８）をさらに備える、請求項１２に記載のエンコーダ（１０、５２）。
【請求項１４】
前記マルチチャネル信号（５０）から前記モノラルダウンミックス信号（６８）を導出するための空間ダウンミキサ（５４）をさらに備える、請求項１２または請求項１３に記載のエンコーダ（１０、５２）。
【請求項１５】
レガシーパラメトリックステレオデコーダに対して下位互換性のある方法で、前記パラメトリック表現と前記モノラルダウンミックスとを含むビットストリーム（８２）を導出するためのビットストリーム計算器（６６）をさらに備える、請求項１２ないし請求項１４のいずれかに記載のエンコーダ（１０、５２）。
【請求項１６】
前記空間ダウンミキサ（５４）は、圧縮規則を用いて前記モノラルダウンミックス信号（６８）を圧縮するためのオーディオエンコーダ（６２）をさらに備える、請求項１４または請求項１５に記載のエンコーダ。
【請求項１７】
パラメトリック表現を処理するための方法であって、前記パラメトリック表現は、マルチチャネル信号の空間特性を表している１つまたは複数の空間パラメータに関する情報と前記マルチチャネル信号のステレオダウンミックスの空間特性を表しているステレオパラメータとを含み、前記１つまたは複数の空間パラメータに関する前記情報と前記ステレオパラメータとは、組み合わせ規則を用いて組み合わされることによって、前記１つまたは複数の空間パラメータを得る、前記方法は、
前記１つまたは複数の空間パラメータを得るために前記組み合わせ規則を用いて前記ステレオパラメータと前記１つまたは複数の空間パラメータに関する前記情報とを組み合わせるステップを備える、方法。
【請求項１８】
マルチチャネルオーディオ信号のパラメトリック表現を導出するための方法であって、前記パラメトリック表現は、モノラルダウンミックス信号とともに使用されることに適したパラメータを有し、前記方法は、
前記マルチチャネル信号の空間特性を表している１つまたは複数の空間パラメータを計算するステップと、
前記マルチチャネル信号から導出されるステレオダウンミックス信号の空間特性を表しているステレオパラメータを計算するステップと、
組み合わせ規則を用いて前記１つまたは複数の空間パラメータと前記ステレオパラメータとを組み合わせることによって前記パラメトリック表現を生成するステップであって、デコーダ使用可能なステレオパラメータと前記デコーダ使用可能なステレオパラメータとともに前記１つまたは複数の空間パラメータを表す前記１つまたは複数の空間パラメータに関する情報とを得る前記組み合わせ規則を用いるステップとを備える、方法。
【請求項１９】
マルチチャネルオーディオ信号のパラメトリック表現であって、前記パラメトリック表現は、モノラルダウンミックス信号とともに使用されることに適したパラメータを有し、前記パラメトリック表現は、前記マルチチャネル信号のステレオダウンミックスの空間特性を表しているデコーダ使用可能なステレオパラメータと、前記マルチチャネルオーディオ信号の空間特性を表している１つまたは複数の空間パラメータおよび前記ステレオパラメータを組み合わせることによって生成される１つまたは複数の空間パラメータに関する情報とを有し、前記１つまたは複数の空間パラメータに関する前記情報は、前記デコーダ使用可能なステレオパラメータとともに、前記１つまたは複数の空間パラメータを表す、パラメトリック表現。
【請求項２０】
請求項１９に記載のマルチチャネルオーディオ信号のパラメトリック表現が格納されている、コンピュータ読み取り可能な記憶媒体。
【請求項２１】
請求項１２に記載のマルチチャネルオーディオ信号のパラメトリック表現を導出するためのエンコーダを有する、トランスミッタまたはオーディオレコーダ（３３０）。
【請求項２２】
請求項１に記載のマルチチャネルオーディオデコーダ（２００）を有する、レシーバまたはオーディオプレーヤ（３４０）。
【請求項２３】
送信またはオーディオ記録の方法であって、請求項１８に記載のマルチチャネルオーディオ信号のパラメトリック表現を導出するための方法を有する、方法。
【請求項２４】
受信またはオーディオ再生の方法であって、請求項１７に記載のパラメトリック表現を処理するための方法を有する、方法。
【請求項２５】
トランスミッタ（３３０）とレシーバ（３４０）とを有する伝送システムであって、
前記トランスミッタ（３３０）は、請求項１２に記載のマルチチャネルオーディオ信号のパラメトリック表現を導出するためのエンコーダを有し、さらに
前記レシーバ（３４０）は、請求項１に記載のマルチチャネルオーディオデコーダを有する、送信システム。
【請求項２６】
送受信方法であって、請求項１８に記載のマルチチャネルオーディオ信号のパラメトリック表現を導出するための方法を有する送信方法と、
請求項１７に記載のパラメトリック表現を処理するための方法を有する受信方法とを備える、送受信方法。
【請求項２７】
コンピュータ上で実行されるときに、請求項１７、請求項１８、請求項２３、請求項２４または請求項２６に記載の方法を実行するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチチャネルオーディオ符号化に関し、特に、パラメトリックステレオ再生環境に対して完全に下位互換性のあるマルチチャネルオーディオ信号のパラメトリック表現の生成および使用の概念に関する。
【０００２】
本発明は、パラメトリックステレオパラメータを用いた２チャネルステレオ信号の符号化と互換性のある方法で空間オーディオパラメータを用いたオーディオ信号のマルチチャネル表現の符号化に関する。本発明は、空間オーディオパラメータとパラメトリックステレオパラメータとを効率的に符号化し、符号化されたパラメータを下位互換性のある方法でビットストリームに埋め込むための新しい方法を教示する。特に、本発明は、復号化されたステレオまたはマルチチャネルオーディオ信号の品質を損わずに、下位互換ビットストリームにおけるパラメトリックステレオおよび空間オーディオパラメータの総ビットレートを極力低減することを目的とする。復号化されたステレオ信号の品質の多少の低下が許容される場合は、総ビットレートをさらに下げることができる。
【背景技術】
【０００３】
近年、マルチチャネルオーディオの再生技術は、ますます重要になっている。５つまたはそれ以上の独立したオーディオチャネルを有するマルチチャネルオーディオ信号の効率的な伝送を目的として、ステレオまたはマルチチャネル信号のいくつかの圧縮方法が開発されている。マルチチャネルオーディオ信号のパラメトリック符号化のための最近のアプローチ（パラメトリックステレオ（ＰＳ）、バイノーラルキュー符号化（ＢＣＣ）など）は、ダウンミックス信号（モノラルの場合もいくつかのチャネルを含む場合もある）と、その知覚空間サウンドステージを特徴付ける「空間キュー」ともいわれるパラメトリックサイド情報とによってマルチチャネルオーディオ信号を表す。
【０００４】
マルチチャネルエンコーダは、通常、少なくとも２つのチャネルを入力として受信し、１つまたは複数のキャリアチャネルとパラメトリックデータとを出力する。パラメトリックデータは、デコーダにおいて元のマルチチャネル信号の近似値を計算できるように導出される。通常、キャリアチャネル（チャネル群）は、基礎となる信号の比較的細かい表現を提供するサブバンドサンプル、スペクトル係数、時間領域サンプルなどを含み、他方、パラメトリックデータは、スペクトル係数のこのようなサンプルを含まないが、特定の再構成アルゴリズムを制御するための制御パラメータを代わりに含む。このような再構成は、時間シフト、周波数シフト、位相シフト、乗算による重み付けなどを含むこともできる。したがって、パラメトリックデータは、信号または関連チャネルの比較的粗い表現のみを含む。
【０００５】
バイノーラルキュー符号化（ＢＣＣ）技術は、たとえば、Ｃ．フォーラ（Ｆａｌｌｅｒ）およびＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）の「ステレオおよびマルチチャネルオーディオ圧縮に応用されるバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ  ａｐｐｌｉｅｄ  ｔｏ  Ｓｔｅｒｅｏ  ａｎｄ  Ｍｕｌｔｉ−Ｃｈａｎｎｅｌ  Ａｕｄｉｏ  Ｃｏｍｐｒｅｓｓｉｏｎ）」、ＡＥＳコンベンション論文５５７４、２００２年５月、ミュンヘンや、Ｃ．フォーラ（Ｆａｌｌｅｒ）およびＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）の共著である「バイノーラルキュー符号化のための聴覚空間キューの推定（Ｅｓｔｉｍａｔｉｏｎ  ｏｆ  ａｕｄｉｔｏｒｙ  ｓｐａｔｉａｌ  ｃｕｅｓ  ｆｏｒ  ｂｉｎａｕｒａｌ  ｃｕｅ  ｃｏｄｉｎｇ）」および「バイノーラルキュー符号化：空間オーディオの通常で効率的な表現（Ｂｉｎａｕｒａｌ  ｃｕｅ  ｃｏｄｉｎｇ：ａ  ｎｏｒｍａｌ  ａｎｄ  ｅｆｆｉｃｉｅｎｔ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｏｆ  ｓｐａｔｉａｌ  ａｕｄｉｏ）」、ＩＣＡＳＳＰの２つの出版物、２００２年５月、フロリダ州オーランドなどの複数の出版物に記載されている。
【０００６】
ＢＣＣ符号化では、多数のオーディオ入力チャネルは、オーバーラップウィンドウを有するＤＦＴ（離散フーリエ変換）に基づく変換を用いて、スペクトル表現に変換される。次に、得られる一様なスペクトルは、重なり合わないパーティションに分割される。各パーティションは、等価矩形帯域幅（ＥＲＢ）に比例する帯域幅を有する。次に、ＩＣＬＤ（チャネル間レベル差）およびＩＣＴＤ（チャネル間時間差）と呼ばれる空間パラメータは、パーティションごとに推定される。ＩＣＬＤパラメータは、２つのチャネル間のレベル差を表し、ＩＣＴＤパラメータは、異なるチャネルの２つの信号間の時間差（位相シフト）を表す。レベル差および時間差は、通常、基準チャネルに関して各チャネルに与えられる。これらのパラメータの導出の後に、これらのパラメータは、量子化され、最終的に伝送のために符号化される。
【０００７】
ＩＣＬＤおよびＩＣＴＤパラメータは、最も重要なサウンドソースローカライゼーションパラメータを表すにもかかわらず、これらのパラメータを用いた空間表現は、追加パラメータを導入することによって拡張することができる。
【０００８】
「パラメトリックステレオ」と呼ばれる関連技術は、送信されてきたモノラル信号とパラメータサイド情報とに基づいて、２チャネルステレオ信号をパラメトリック符号化する。チャネル間強度差（ＩＩＤｓ）、チャネル間位相差（ＩＰＤｓ）およびチャネル間コヒーレンス（ＩＣ）といわれる３つのタイプの空間パラメータが導入される。コヒーレンスパラメータ（相関パラメータ）を取り込んだ空間パラメータセットの拡張は、サウンドステージの知覚空間の「拡散性」または空間の「コンパクト性」のパラメータ化を可能にする。パラメトリックステレオについては、Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｓ．ファン・デ・パール（ｖａｎ  ｄｅ  Ｐａｒ）、Ａ．コーラウシュ（Ｋｏｈｌｒａｕｓｃｈ）およびＥ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）の「ステレオオーディオのパラメトリック符号化（Ｐａｒａｍｅｔｒｉｃ  Ｃｏｄｉｎｇ  ｏｆ  ｓｔｅｒｅｏ  ａｕｄｉｏ）」、応用信号処理に関するＥＵＲＡＳＩＰジャーナル（Ｅｕｒａｓｉｐ，  Ｊ．  Ａｐｐｌｉｅｄ  Ｓｉｇｎａｌ  Ｐｒｏｃ．）、２００５巻、第９号、１３０５−１３２２頁に、Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｓ．ファン・デ・パール（ｖａｎ  ｄｅ  Ｐａｒ）、Ａ．コーラウシュ（Ｋｏｈｌｒａｕｓｃｈ）およびＥ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）の「低ビットレートでの高品質パラメトリック空間オーディオ符号化（Ｈｉｇｈ−Ｑｕａｌｉｔｙ  Ｐａｒａｍｅｔｒｉｃ  Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ  ａｔ  Ｌｏｗ  Ｂｉｔｒａｔｅｓ）」、ＡＥＳ第１１６回コンベンション予稿集６０７２、２００４年５月、ベルリンに、およびＥ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）、Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｈ．プルンハーゲン（Ｐｕｒｎｈａｇｅｎ）およびＪ．エングデガールド（Ｅｎｇｄｅｇａｒｄ）の「低複雑度パラメトリックステレオ符号化（Ｌｏｗ  Ｃｏｍｐｌｅｘｉｔｙ  Ｐａｒａｍｅｔｒｉｃ  Ｓｔｅｒｅｏ  Ｃｏｄｉｎｇ）」、ＡＥＳ第１１６回コンベンション予稿集６０７３、２００４年５月、ベルリンに詳細に説明されている。
【０００９】
上述のように、パラメトリックステレオ符号化および空間オーディオ符号化のためのシステムが、近年開発されている。パラメトリックステレオにおいて、２チャネルステレオオーディオ信号が、モノラルダウンミックスオーディオ信号と、ステレオパラメータを運ぶ追加サイド情報とによって表される（ＰＣＴ／ＳＥ０２／０１３７２「低ビットレートオーディオ符号化アプリケーションのための効率的でスケーラブルなパラメトリックステレオ符号化（Ｅｆｆｉｃｉｅｎｔ  ａｎｄ  ｓｃａｌａｂｌｅ  Ｐａｒａｍｅｔｒｉｃ  Ｓｔｅｒｅｏ  Ｃｏｄｉｎｇ  ｆｏｒ  Ｌｏｗ  Ｂｉｔｒａｔｅ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ  Ａｐｐｌｉｃａｔｉｏｎｓ）」を参照）ので、レガシーパラメトリックステレオデコーダは、モノラル信号とサイド情報とから２チャネルステレオ信号を再構成する。
【００１０】
空間オーディオ符号化スキームにおいて、マルチチャネルサラウンドオーディオ信号は、モノラルまたはステレオダウンミックスオーディオ信号と空間オーディオパラメータを運ぶ追加サイド情報とによって表される。周知の例は、ホームエンタテインメントシステムに対して用いられる５．１チャネル構成である。
【００１１】
レガシー空間オーディオデコーダは、モノラルまたはステレオ信号と追加空間オーディオパラメータとに基づいて、５．１マルチチャネル信号を再構成する。
【００１２】
一般に、パラメトリックステレオまたは空間オーディオ符号化システムで使用されるダウンミックス信号は、異なった信号タイプの伝送に必要な伝送帯域幅をさらに狭めるために、（ＭＰＥＧ  ＡＡＣのような）低ビットレートの知覚オーディオ符号化技術を用いてさらに符号化される。さらに、このダウンミックス信号は、通常、レガシーデコーダ、すなわちパラメトリックステレオまたは空間オーディオパラメータを処理するように動作しないデコーダに対する下位互換性が保証されるように、１つのビットストリームにおいてパラメトリックステレオまたは空間オーディオサイド情報と組み合わされる。このように、レガシーオーディオデコーダは、送信されるモノラルまたはステレオダウンミックス信号のみを再構成する。パラメトリックステレオまたは空間オーディオ符号化を実現するデコーダが用いられる場合、このデコーダは、ビットストリームに埋め込まれるサイド情報も復元し、完全な２チャネルステレオまたは５．１チャネルサラウンド信号を再構成する。
【００１３】
空間オーディオ符号化がモノラルダウンミックス信号に基づいて用いられる場合、レガシー知覚オーディオデコーダがモノラルダウンミックス信号を導出できるだけでなく、空間オーディオ復号化をサポートしていないパラメトリックステレオデコーダに対してこのようなビットストリームのパラメトリックステレオ復号化がさらに可能になるように、信号を提供することによって下位互換性を上げることがさらに望ましい。この目的を達成するためには、両情報、すなわちパラメトリックステレオサイド情報と空間オーディオサイド情報とをビットストリームに含める必要がある。この明白なアプローチは、ビットストリーム内のサイド情報が増えすぎて望ましくない。つまり、モノラル信号とサイド情報とを運ぶための総最大ビットレートを維持する必要があるシナリオにおいては、サイド情報が増加すると、知覚符号化されたモノラルダウンミックスに使用できるデータレートが下がるため、復号化されたモノラルダウンミックス信号のオーディオ品質を低下させることは明らかである。
【００１４】
パラメトリックステレオおよび空間オーディオパラメータとサイド情報とを同時に含むという従来技術の別のアプローチでは、空間オーディオパラメータのセットを構成する際に、これらのパラメータのサブセットを用いてモノラルダウンミックス信号から２チャネルステレオ信号を再構成できるように空間オーディオパラメータのセットを構成する必要がある。このサブセットは、パラメトリックサイド情報として、パラメトリックステレオビットストリームと互換性のある方法でビットストリームに埋め込まれ、このサブセットに属さない残りの空間オーディオパラメータは、空間オーディオコーダに互換性のあるビットストリームに空間オーディオサイド情報として埋め込まれる。デコーダ側では、パラメトリックステレオのみを実施するデコーダは、パラメトリックステレオサイド情報として埋め込まれているパラメータのサブセットに基づいて、２チャネルステレオ信号を再構成する。他方、空間オーディオを実施するデコーダは、パラメトリックステレオサブセットと、残りの空間オーディオパラメータとを復元する。この空間パラメータの完全なセットによって、マルチチャネル信号を再構成できる。
【００１５】
しかしながら、このアプローチは、下位互換性のあるパラメトリックステレオの再構成またはマルチチャネルの再構成のどちらかのオーディオ品質を損うという欠点がある。第１の場合では、空間オーディオパラメータとしても用いられるパラメータのサブセットは、５．１信号の２つのチャネル間の相互関係を表すため、この点は明らかである。最も自然な選択は、左フロント（ｌ）および右フロント（ｒ）チャネルであるが、ステレオダウンミックスの左（ｌ０）および右（ｒ０）チャネルの関係に対する正しい値とはかなり異なりうる。第２の場合では、ステレオダウンミックスの正しい値は、上記の第１サブセットを形成し、つまり、マルチチャネルサラウンド信号の左フロントおよび右フロントチャネル間の関係を表すために用いられる。しかしながら、マルチチャネル互換性のある方法でこれらをビットストリームに埋め込むには、パラメータの量子化が必要であるために、空間オーディオの再構成がかなり不完全になりうる。
【００１６】
【非特許文献１】Ｃ．フォーラ（Ｆａｌｌｅｒ）およびＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）の「ステレオおよびマルチチャネルオーディオ圧縮に応用されるバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ  ａｐｐｌｉｅｄ  ｔｏ  Ｓｔｅｒｅｏ  ａｎｄ  Ｍｕｌｔｉ−Ｃｈａｎｎｅｌ  Ａｕｄｉｏ  Ｃｏｍｐｒｅｓｓｉｏｎ）」、ＡＥＳコンベンション論文５５７４、２００２年５月、ミュンヘン
【非特許文献２】Ｃ．フォーラ（Ｆａｌｌｅｒ）およびＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）の「バイノーラルキュー符号化のための聴覚空間キューの推定（Ｅｓｔｉｍａｔｉｏｎ  ｏｆ  ａｕｄｉｔｏｒｙ  ｓｐａｔｉａｌ  ｃｕｅｓ  ｆｏｒ  ｂｉｎａｕｒａｌ  ｃｕｅ  ｃｏｄｉｎｇ）」、ＩＣＡＳＳＰ出版物、２００２年５月、フロリダ州オーランド
【非特許文献３】Ｃ．フォーラ（Ｆａｌｌｅｒ）およびＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）の「バイノーラルキュー符号化：空間オーディオの通常で効率的な表現（Ｂｉｎａｕｒａｌ  ｃｕｅ  ｃｏｄｉｎｇ：ａ  ｎｏｒｍａｌ  ａｎｄ  ｅｆｆｉｃｉｅｎｔ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｏｆ  ｓｐａｔｉａｌ  ａｕｄｉｏ）」、ＩＣＡＳＳＰ出版物、２００２年５月、フロリダ州オーランド
【非特許文献４】Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｓ．ファン・デ・パール（ｖａｎ  ｄｅ  Ｐａｒ）、Ａ．コーラウシュ（Ｋｏｈｌｒａｕｓｃｈ）およびＥ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）の「ステレオオーディオのパラメトリック符号化（Ｐａｒａｍｅｔｒｉｃ  Ｃｏｄｉｎｇ  ｏｆ  ｓｔｅｒｅｏ  ａｕｄｉｏ）」、応用信号処理に関するＥＵＲＡＳＩＰジャーナル（Ｅｕｒａｓｉｐ，  Ｊ．  Ａｐｐｌｉｅｄ  Ｓｉｇｎａｌ  Ｐｒｏｃ．）、２００５巻、第９号、１３０５−１３２２頁
【非特許文献５】Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｓ．ファン・デ・パール（ｖａｎ  ｄｅ  Ｐａｒ）、Ａ．コーラウシュ（Ｋｏｈｌｒａｕｓｃｈ）およびＥ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）の「低ビットレートでの高品質パラメトリック空間オーディオ符号化（Ｈｉｇｈ−Ｑｕａｌｉｔｙ  Ｐａｒａｍｅｔｒｉｃ  Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ  ａｔ  Ｌｏｗ  Ｂｉｔｒａｔｅｓ）」、ＡＥＳ第１１６回コンベンション予稿集６０７２、２００４年５月、ベルリン
【非特許文献６】Ｅ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）、Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｈ．プルンハーゲン（Ｐｕｒｎｈａｇｅｎ）およびＪ．エングデガールド（Ｅｎｇｄｅｇａｒｄ）の「低複雑度パラメトリックステレオ符号化（Ｌｏｗ  Ｃｏｍｐｌｅｘｉｔｙ  Ｐａｒａｍｅｔｒｉｃ  Ｓｔｅｒｅｏ  Ｃｏｄｉｎｇ）」、ＡＥＳ第１１６回コンベンション予稿集６０７３、２００４年５月、ベルリン
【発明の開示】
【発明が解決しようとする課題】
【００１７】
本発明の目的は、パラメトリックステレオ再構成の品質も空間オーディオ再構成の品質もほとんど損わずに、より効率的な表現を可能とする、マルチチャネルオーディオ信号のパラメトリック表現を作成しおよび用いるための概念を提供することである。
【課題を解決するための手段】
【００１８】
この目的は、請求項１に記載のマルチチャネルオーディオデコーダまたは請求項１１に記載のオーディオエンコーダによって達成される。
【００１９】
本発明は、モノラルダウンミックス信号とともに用いられることに適したパラメータを有するマルチチャネルオーディオ信号のパラメトリック表現を、パラメータコンバイナが空間パラメータのセットとステレオパラメータとを組み合わせることによってそのパラメトリック表現を生成するために用いられる場合に、下位互換性のある方法で効率的に導出でき、その結果、デコーダ使用可能なステレオパラメータとこのデコーダ使用可能なステレオパラメータとともに空間パラメータのセットを表す空間パラメータのセットに関する情報とを有するパラメトリック表現を得るという知見に基づく。
【００２０】
空間パラメータと空間パラメータによっても表される同じマルチチャネルオーディオ信号のステレオダウンミックスを表しているステレオパラメータとの間の相互関係を用いることによって、パラメトリックステレオパラメータに基づいて、空間パラメータのサブセットを好都合に予測できる。
【００２１】
ステレオパラメータによって表される２チャネルステレオ信号は、５．１マルチチャネル信号のステレオダウンミックスの何らかの形態を表すので、パラメトリックステレオシステムのステレオパラメータと空間オーディオ符号化システムの空間パラメータとの間には、上記のように依存関係が存在する。本発明は、これらのステレオパラメータを空間オーディオパラメータのサブセットと組み合わせて用いることによって、上記のサブセットに含まれていない残りの空間オーディオパラメータの値を予測する。したがって、そのサブセットに含まれていない空間オーディオパラメータの予測値と実際値との間の差だけを運べばよいことになる。この差（すなわち予測誤差）のエントロピーは、一般に、実際のパラメータ自体のエントロピーより小さい。これは、本発明および以降のある種のエントロピー符号化を使用するシステムで用いることができる。このようなシステムは、すべてのパラメータを独立に埋め込むだけのシステムに比べて、パラメトリックステレオおよび空間オーディオパラメータのためのサイド情報のビットレートを低くできる。同時に、本発明を使用するこのようなシステムは、パラメトリックステレオ再構成の品質を損わないだけでなく、空間オーディオ再構成の品質も損わないことに注目されたい。
【００２２】
パラメトリックステレオデコーダに対して下位互換性のあるパラメトリック表現を提供することが目標であるので、パラメトリックステレオデコーダから再構成される２チャネルステレオ信号の品質が損われないようにするために、ステレオダウンミックスを表している正しいパラメータが用いられることが好ましい。しかしながら、本発明の別の実施の態様において、空間オーディオパラメータに対するパラメータ予測の性能を向上するために、エンコーダにおいて、推定された空間パラメータに基づいて、パラメトリックステレオパラメータが多少修正される。パラメトリックステレオ（ＰＳ）パラメータのこの修正によって、パラメトリックステレオ復号化のみを実施するデコーダによって再構成されるステレオ信号の品質が多少低下することは明らかである。本発明のこの実施の態様によって、ＰＳパラメータの修正による影響を再構成された空間オーディオ信号の品質に及ぼさずに、互換ビットストリームに埋め込まれているＰＳおよび空間サイド情報に必要な総ビットレートが下げられる。
【００２３】
本発明の好適な実施の態様において、マルチチャネルオーディオ信号のパラメトリック表現を導出するためのエンコーダは、マルチチャネル信号のステレオダウンミックスのパラメトリックステレオパラメータと空間オーディオパラメータとが完全に下位互換性のある方法で埋め込まれるビットストリームを生成するために用いられる。すなわち、パラメトリックステレオパラメータのみを処理できるパラメトリックステレオデコーダが、パラメトリックステレオパラメータを用いて高品質のステレオ信号を再構成できるようになる。さらに、本発明のエンコーダは、一部の空間パラメータを実際の空間パラメータと空間パラメータの予測の差分表現に置き換え、この空間パラメータの予測は、上記のステレオパラメータと置換されない空間オーディオパラメータのセットとに基づく。空間オーディオパラメータ表現とパラメトリックステレオ表現の両パラメータはチャネル対間のレベル差と相関とを表すので、空間オーディオパラメータとステレオパラメータとはどちらも同じデータ基礎、すなわちマルチチャネル信号から導出されるため、空間オーディオパラメータとステレオパラメータとの間には相関がある。したがって、予測値と実際値との間の差を送信時に用いることによって、ビットレートを節約でき、その理由は、この差のエントロピーは、基礎となる空間オーディオパラメータのエントロピーより通常はるかに小さいからである。予測が完全である場合、予測値と実際値との間の差は当然ゼロになる。つまり、置換された空間パラメータの表現としてゼロ値のみを送信するかまたはパラメトリック表現内に格納すればよいことになるので、この表現に対して、通常行われるように、さらなるエントロピー符号化ステップが実行される場合は、極めて好都合である。
【００２４】
上述の概念を用いることによって、本発明のエンコーダまたはデコーダは、空間オーディオおよびパラメトリックステレオパラメータの下位互換性のある伝送を、精度を低下させずに行うにもかかわらず、空間オーディオパラメータおよびパラメトリックステレオパラメータをビットストリーム内でそれぞれ独立に送信するだけのシナリオに比べて、ビットレートを下げることができるという明らかな利点を有する。
【００２５】
本発明のさらなる実施の態様においては、空間パラメータの予測と修正空間パラメータの伝送との前に、パラメトリックステレオパラメータに小さな修正が加えられる。これは、パラメトリックステレオパラメータの小さな修正によって予測の安定性が向上するため、総ビットレートのさらなる低下が可能になるという大きな利点がある。ただし、実際には最適なパラメトリックステレオパラメータが符号化プロセス中に修正されるため、修正ステレオパラメータを用いて再構成されるステレオアップミックスの品質が多少低下するという代償を伴う。
【００２６】
本発明のさらなる実施の態様においては、本発明のオーディオエンコーダは、エンコーダに入力されたマルチチャネル信号からモノラル信号を生成するために、空間ダウンミキサを備える。このモノラル信号は、モノラルダウンミックス信号の送信時に用いられるビットレートをさらに下げるために、オーディオエンコーダによって、たとえば知覚オーディオ圧縮を用いて、さらに圧縮される。最終的に、ビットストリームジェネレータが、モノラル信号、空間オーディオパラメータおよびパラメトリックステレオパラメータを単一のパラメトリックステレオ互換ビットストリームに組み合わせるために、ビットストリームを生成する。
【００２７】
本発明のさらなる実施の態様においては、パラメトリックエンコーダまたはデコーダが制御ユニットを備えることによって、必要なビットレートのさらなる低下を可能にしている。これは、実際の空間パラメータとその予測値との間の差を用いて生成される空間パラメータの差分表現に必要なビットレートと、空間パラメータを直接符号化する場合に必要なビットレートとを比較することによって実現される。符号化は、２ステップの符号化手順によって実行され、すなわち、最初に各パラメータを個別に時間および／または周波数差分符号化し、次に（たとえば、ハフマンエンコーダ、算術エンコーダまたはランレングスエンコーダを用いて）エントロピー符号化を行う。このプロセスは、（上述のパラメータセット全体にわたる予測と比べて）パラメータごとに固有の履歴に基づく予測可能性（または冗長性）を利用する。差分予測符号化の結果としてビットレートが上がる場合、所定の時間フレームにおいて空間パラメータを直接送信することによってビットレートのさらなる節約が可能である。どの方式を選択したかの決定は、デコーダ側で処理されるビットストリームで送信することも、デコーダが通知を受けずに適切な検出アルゴリズムを適用することによって本来用いられる方式を決定することもできる。
【００２８】
上述のように本発明により生成される信号は、パラメトリックステレオデコーダに対して下位互換性があるだけでなく、本発明のデコーダへの送信時に完全な空間（サラウンド）信号の再生に必要な情報を保持するという大きな利点を有する。
【００２９】
したがって、パラメトリックステレオパラメータと空間オーディオパラメータとを受信する本発明のデコーダは、マルチチャネル信号の空間特性を表している空間オーディオパラメータの完全なセットを本発明のビットストリームから導出するために、差分送信されてきた空間オーディオパラメータに対して同じ予測と逆の変換とを適用することによって、空間パラメータの完全なセットを再構成することができる。
【００３０】
言い換えると、パラメトリックステレオパラメータと受信された空間オーディオパラメータとを組み合わせて空間パラメータの完全なセットを再構成するために用いられる組み合わせ規則は、エンコーダ側において適用される規則の逆である。上述のように差分符号化が行われる場合、最初に、パラメトリックステレオパラメータのうちの１つまたは複数と受信された空間オーディオパラメータのうちの１つまたは複数とを用いて、所望のパラメータの予測値が計算される。次に、予測値と送信値との間の和が計算され、この和が空間パラメータの完全なセットの所望のパラメータである。
【００３１】
本発明のさらなる実施に態様においては、本発明のデコーダは、高品質のパラメトリックステレオパラメータを用いてマルチチャネル信号のステレオ表現を再構成することもできる。これは、本発明のデコーダをニーズに応じて構成できるという大きな利点を有する。すなわち、ステレオ再生環境のみを利用できる場合、本発明のデコーダによって高品質ステレオ信号を再生できるデコーダを構成できる。他方、マルチチャネル再生環境を利用できる場合、サラウンドサウンドの聴取を楽しめるように、信号のマルチチャネル表現を再生できるデコーダを構成できる。
【００３２】
本発明のさらなる実施の態様においては、ビットレートが節約されるオーディオ信号の格納または伝送を可能にするために、本発明のエンコーダがトランスミッタまたはオーディオレコーダ内に含まれる。したがって、ステレオ信号としても、フルサラウンド信号としても優れた品質でのオーディオ信号の再生が可能になる。
【００３３】
本発明のさらなる実施に態様においては、信号の受信またはさまざまなスピーカセットアップによる再生を可能にするために、本発明のデコーダがレシーバまたはオーディオプレーヤ内に含まれる。したがって、既存の再生環境に最も適した表現でオーディオ信号を再生することができる。
【００３４】
要するに、本発明は以下の特長を備える。
−マルチチャネルオーディオ信号の互換性のある符号化、この符号化は、
エンコーダ側において、マルチチャネル信号を１つのチャネル表現にダウンミックスするステップと、
エンコーダ側において、マルチチャネル信号が与えられると、マルチチャネル信号を表しているパラメータを定義するステップと、
エンコーダ側において、マルチチャネル信号が与えられると、マルチチャネル信号のステレオダウンミックスを表しているパラメータを定義するステップと、
エンコーダ側において、パラメータの両セットをビットレート効率がよくかつ下位互換性のある方法でビットストリームに埋め込むステップと、
デコーダ側において、埋め込まれたパラメータをビットストリームから抽出するステップと、
デコーダ側において、ビットストリームから抽出されたパラメータからマルチチャネル信号を表しているパラメータを再構成するステップと、
デコーダ側において、ビットストリームデータから再構成されたパラメータとダウンミックスされた信号とが与えられると、マルチチャネル出力信号を再構成するステップとを備える。
−ステレオダウンミックスを表しているパラメータを、パラメトリックステレオ復号化のみをサポートする（レガシー）復号化方法によって復号化できるように、ビットストリームに埋め込む。
−マルチチャネル信号を表しているパラメータのセットを第１サブセットと第２サブセットとに分割する。
−パラメータの第１サブセット内の値を、パラメータの第２サブセットに基づいて、さらにマルチチャネル信号のステレオダウンミックスを表すパラメータに基づいて、予測する。
−パラメータの第１サブセットが直接符号化されるかまたは予測パラメータ値に対する差のみが符号化されるかを、制御機構が自動的に選択する。
−マルチチャネル信号を表している元のパラメータとステレオダウンミックスを表している元のパラメータとの両方が、修正パラメータを導出するための基礎として用いられる、ステレオダウンミックスを表すパラメータを修正する。
−ルックアップテーブルが、予測パラメータ値を見つけるために用いられる。
−多項式関数が、予測パラメータ値を見つけるために用いられる。
−ステレオダウンミックスを生成するために用いられた方法から導出された数学関数が、予測パラメータ値を見つけるために用いられる。
【００３５】
次に、本発明の好適な実施の形態が添付図面を参照しながら説明されるが、これらの図面としては：
図１は、本発明のエンコーダのブロック図を示し、
図２は、本発明による生成されたビットストリームを示し、
図３は、本発明のエンコーダのさらなる実施の形態を示し、
図４は、図３の本発明のエンコーダの詳細を示し、
図５は、本発明のデコーダを示し、
図６は、本発明のマルチチャネルデコーダの好適な実施の形態を示し、
図７は、図６の本発明のマルチチャネルデコーダの詳細を示し、
図８は、本発明の信号の下位互換性を説明し、
図９は、本発明のエンコーダを有するトランスミッタまたはオーディオレコーダを示し、
図１０は、本発明のマルチチャネルデコーダを有するレシーバまたはオーディオプレーヤを示し、
図１１は、伝送システムを示す。
【００３６】
後述の実施の形態は、空間オーディオの改良されたパラメトリックステレオ互換性のある符号化のための本発明の原理を単に例示するものである。本願明細書に記載の構成および詳細の変更および変形が当業者には当然明らかになるであろう。したがって、本発明の目的は、特許請求の範囲によってのみ限定されるものであり、本願明細書に記載の実施の形態の記述および説明によって提示された特定の詳細によって限定されるものではない。
【発明を実施するための最良の形態】
【００３７】
図１は、マルチチャネルオーディオ信号のパラメトリック表現１２を導出するための本発明のエンコーダ１０を示す。エンコーダ１０は、空間パラメータ計算器１４と、ステレオパラメータ計算器１６と、パラメータコンバイナ１８とを備える。
【００３８】
空間パラメータ計算器１４は、マルチチャネル信号の空間特性を表している空間パラメータ２０のセットを計算する。ステレオパラメータ計算器１６は、マルチチャネル信号のステレオダウンミックスの空間特性を表しているステレオパラメータ２２を計算する。空間パラメータ２０のセットとステレオパラメータ２２とは、パラメータコンバイナ１８に転送され、パラメトリック表現１２が導出される。パラメトリック表現１２は、デコーダ使用可能なステレオパラメータ２４と空間パラメータ２６のセットに関する情報とを含む。
【００３９】
図２は、下位互換ビットストリームの一例を示し、この下位互換ビットストリームは、図１による本発明のエンコーダによって生成されるようにマルチチャネルオーディオ信号のパラメトリック表現である。このビットストリームは、ステレオパラメータセクション３０と空間パラメータセクション３２とを含む。ステレオパラメータセクション３０は、その先頭にステレオヘッダ３４を有し、その後に２つのデコーダ使用可能なステレオパラメータ３６ａおよび３６ｂが続き、ステレオパラメータ３６ａおよび３６ｂは、ステレオ信号を再構成するためにパラメトリックステレオデコーダによって用いられる。パラメトリックステレオパラメータのみを処理できるデコーダは、ステレオヘッダ３４に含まれている情報によってパラメトリックステレオパラメータ３６ａおよび３６ｂを識別する。
【００４０】
空間オーディオセクション３２は、空間ヘッダ３８で始まり、その後に４つの空間オーディオパラメータ４０ａ〜４０ｄを含む。本発明によるマルチチャネルデコーダは、空間ヘッダ３８と、ステレオヘッダ３４によって識別されるステレオパラメータ３６ａおよび３６ｂとの助けで、空間パラメータ４０ａ〜４０ｄを識別することによって、空間パラメータ４０ａ〜４０ｄを用いる。図２に示すように、空間パラメータ４０ａが消費するビットレートは、空間パラメータ４０ｂ〜４０ｄが消費するビットレートより低い。図２に示されている例において、空間パラメータ４０ａは、基礎となる元の空間パラメータと予測空間パラメータとの差によって表され、この予測空間パラメータは、ステレオパラメータ３６ａまたは３６ｂのうちの１つまたは複数と、空間オーディオパラメータ４０ｂ〜４０ｄのうちの１つまたは複数とを用いて導出される。したがって、本発明のマルチチャネルデコーダは、ビットストリームで送信されてきた空間パラメータ４０ａに関する情報の基礎となる空間パラメータを再構成するために、ステレオパラメータ３６ａおよび３６ｂと空間パラメータ４０ｂ〜４０ｄとの両方を必要とする。
【００４１】
図３は、３つのチャネル、すなわち左チャネルｌ、右チャネルｒおよび中央チャネルｃを有するマルチチャネルオーディオ信号５０のパラメトリック表現を導出するための本発明のエンコーダ５２の好適な実施の形態を示す。
【００４２】
本発明のエンコーダ５２は、空間ダウンミキサ５４と、空間パラメータ推定器５６と、ステレオダウンミキサ５８と、パラメトリックステレオパラメータ推定器６０と、オーディオエンコーダ６２と、パラメータコンバイナ（ジョイント符号化ブロック）６４と、ビットストリーム計算器（マルチプレクサ）６６とを備える。
【００４３】
空間ダウンミキサ５４と、空間パラメータ推定器５６と、ステレオダウンミキサ５８とは、マルチチャネル信号５０を入力として受信する。空間ダウンミキサ５４は、マルチチャネル信号５０からモノラルダウンミックス信号６８を作成し、空間パラメータ推定器５６は、マルチチャネル信号の空間特性を表している空間パラメータ７０を導出し、ステレオダウンミキサ５８は、マルチチャネル信号５０からステレオダウンミックス信号７２を作成する。
【００４４】
ステレオダウンミックス信号７２は、パラメトリックステレオパラメータ推定器６０に入力され、パラメトリックステレオパラメータ推定器６０は、ステレオダウンミックス信号７２の空間特性を表しているステレオダウンミックス信号からステレオパラメータ７４を導出する。モノラルダウンミックス信号６８は、オーディオエンコーダ６２に入力され、オーディオエンコーダ６２は、たとえば知覚オーディオ符号化技術を用いた符号化によって、モノラルダウンミックス信号６８を表しているオーディオビットストリーム７６を導出する。パラメータコンバイナ６４は、空間パラメータ７０とパラメトリックステレオパラメータ７４とを入力として受信し、空間パラメータのセットを空間パラメータの予測値と空間パラメータ自体との差に置き換えることによって、デコーダ使用可能なステレオパラメータ７８（パラメトリックステレオサイド情報）と、空間パラメータ８０に関する情報（空間サイド情報）とを出力として導出する。この点について、以降の図を参照しながら、より詳細に説明する。
【００４５】
最終的に、ビットストリーム計算器６６は、オーディオビットストリーム７６と、空間パラメータセット８０に関する情報と、デコーダ使用可能なステレオパラメータ７８とを入力として受信し、これらの入力をパラメトリックステレオ互換ビットストリーム８２に組み合わせ、このビットストリーム８２は、たとえば図２に詳しく示されているように、パラメータのセグメントを複数含みうる。
【００４６】
ビットストリーム計算器６６は、単純なマルチプレクサであってもよい。しかしながら、これらの３つの入力を１つの互換ビットストリームに組み合わせる他の手段が、本発明によるビットストリームを導出するために実施されてもよい。
【００４７】
すなわち、図３は、チャネルｌ、ｒおよびｃを含む１つのマルチチャネルオーディオ信号を入力として取り、空間デコーダによる復号化と、ＰＳデコーダによる下位互換性のある復号化とが可能な互換ビットストリームを生成するエンコーダを示している。空間ダウンミキサは、マルチチャネル信号ｌ、ｒ、ｃを取り、モノラルダウンミックス信号ｍを生成する。次に、この信号は、モノラル信号を表しているコンパクトなオーディオビットストリームを提供するために、オプションの知覚オーディオエンコーダで符号化することができる。空間パラメータ推定は、マルチチャネル信号ｌ、ｒ、ｃを入力として取り、量子化された空間パラメータのセットを生成する。これらのパラメータは、時間および周波数の関数にできる。ステレオへのダウンミックスは、たとえばＩＴＵ−Ｒダウンミックス式または代わりのアプローチを用いて、マルチチャネル信号の２チャネルステレオダウンミックスｌ０、ｒ０を生成する。パラメトリックステレオ（ＰＳ）パラメータ推定は、このステレオダウンミックスを入力として取り、量子化されたＰＳパラメータのセットを生成し、これらのＰＳパラメータは、時間および周波数の関数にできる。ジョイント符号化ブロックは、空間パラメータとＰＳパラメータとを入力として取り、パラメトリックステレオサイド情報（ＰＳサイド情報）と空間サイド情報とを生成する。最終的に、マルチプレクサは、オーディオビットストリームと、空間およびＰＳの両サイド情報ビットストリームとを入力として取り、（ＰＳのみを実施する）レガシーデコーダによる下位互換性のある復号化が可能であるように、これらのサイド情報をビットストリームに埋め込む。
【００４８】
図４は、図３に示すパラメータコンバイナ６４を詳しく示す。パラメータコンバイナ６４は、パラメータ分割器９０と、パラメトリックステレオパラメータ修正器９２と、空間パラメータ予測器９４と、コンバイナ９６と、制御ユニット９８と、空間パラメータアセンブラ１００と、第１差分エンコーダ１０２と、第２差分エンコーダ１０４と、第３差分エンコーダ１０６ａと、第４差分エンコーダ１０６ｂとを備える。
【００４９】
パラメータコンバイナ６４は、空間パラメータ７０とパラメトリックステレオパラメータ７４とを入力として受信する。パラメトリックステレオパラメータ７４は、パラメトリックステレオパラメータ修正器９２の第１入力端に入力され、空間パラメータ７０は、パラメトリックステレオパラメータ修正器９２の第２入力端に入力される。空間パラメータ７０は、パラメータ分割器９０にも入力される。パラメトリックステレオパラメータ修正器９２はオプション装置であり、空間パラメータ７０の情報を用いてパラメトリックステレオパラメータ７４を修正することによってデコーダ使用可能なステレオパラメータ１１０を導出するために用いられうる。
【００５０】
パラメータ分割器タ９０は、空間パラメータ７０を空間パラメータの第１サブセット１１２と空間パラメータの第２サブセット１１４とに分割し、第１サブセット１１２は、マルチチャネル信号の最終パラメトリック表現内で差分予測に置換しうる空間パラメータのサブセットである。
【００５１】
第１サブセット内のパラメータの予測は、デコーダ使用可能なステレオパラメータ１１０と空間パラメータの第２サブセット１１４とを用いて実行されるので、デコーダ使用可能なパラメータ１１０と空間パラメータ１１４の第２サブセットとが空間パラメータ予測器９４に入力される。空間パラメータ予測器９４は、デコーダ使用可能なパラメトリックステレオパラメータ１１０と空間パラメータ１１４の第２サブセットとを用いて予測パラメータ１１６を導出する。予測パラメータ１１６は、第１サブセットのパラメータ１１２の予測であり、第１サブセットのパラメータ１１２と比較されることになる。
【００５２】
したがって、予測パラメータ１１６とパラメータ１１２の第１サブセットとの差が、コンバイナ９６によってパラメータごとに計算され、コンバイナ９６は、このようにして差分パラメータ１１８を導出する。パラメータ１１２の第１サブセットは、第３差分エンコーダ１０６ａに入力され、第３差分エンコーダ１０６ａは、時間または周波数の差分符号化を適用して、パラメータの第１サブセットを差分符号化する。差分パラメータ１１８は、第４差分エンコーダ１０６ｂに入力される。
【００５３】
図４に示す本発明の好適な実施に形態によると、第１サブセット１１２の差分符号化された表現は差分パラメータ１１８の差分符号化された表現と、どちらの表現がビットストリーム内に必要なビット数が多いかを推定するために、制御ユニット９８によって比較される。制御ユニット９８は、必要ビット数が少ない第１サブセット１１２の表現を空間パラメータアセンブラ１００に供給するために、スイッチ１２０を制御する一方で、どちらの表現が用いられたかに関する情報が、制御ユニット９８から空間パラメータアセンブラ１００に転送される。
【００５４】
空間パラメータの第２サブセット１１４も第２差分エンコーダ１０４によって差分符号化され、第２サブセット１１４の差分符号化された表現が空間パラメータアセンブラ１００に入力され、空間パラメータアセンブラ１００は、このようにして空間パラメータ７０に関する全情報を得る。空間パラメータアセンブラ１００は、第１サブセット１１２および第２サブセット１１４の各表現を、空間パラメータ７０に関する全情報を保持している空間パラメータ８０のセットに関する情報に組み立て直すことによって、最終的に、空間パラメータ８０に関する情報を導出する。
【００５５】
したがって、空間パラメータ８０のセットに関する最終的な情報は、その差分符号化にもかかわらず修正されなかった空間パラメータの第２サブセットと、空間パラメータの第１サブセットの表現とを含み、この表現は、必要なビットレートが低い表現がどちらであるかに応じて、第１サブセット１１２の直接の差分符号化された表現であるか、または差分パラメータ１１８の差分符号化された表現である。
【００５６】
本発明のパラメータコンバイナ６４によって導出されるデコーダ使用可能なパラメトリックステレオパラメータ７８は、第１差分エンコーダ１０２によって導出される。第１差分エンコーダ１０２は、修正パラメトリックステレオパラメータ１１０を入力として受け取り、この修正パラメトリックステレオパラメータ１１０の差分符号化によってデコーダ使用可能なパラメトリックステレオパラメータ７８を導出する。
【００５７】
すなわち、図４は、空間パラメータとＰＳパラメータとの両方を入力として取り、空間サイド情報とＰＳサイド情報との両方を生成するジョイント符号化ブロックを示している。オプションのＰＳパラメータ修正ブロックは、空間パラメータとＰＳパラメータとの両方を入力として取り、修正ＰＳパラメータを生成する。これにより、空間パラメータのより良い予測が可能になるが、修正ＰＳパラメータから再構成される２チャネルステレオ信号の品質が損われるという代償を伴う。ＰＳパラメータ修正ブロックを用いない場合は、入力されたＰＳパラメータが空間パラメータ予測ブロックおよびＰＳ符号化への入力として直接使われる。（修正）ＰＳパラメータセットは、パラメータセットを表すために必要なビット数を最小化するために、時間または周波数方向の後続パラメータの差の符号化である時間差分（ｄｔ）または周波数差分（ｄｆ）符号化と、無損失のエントロピー符号化であるハフマン符号化とを用いて符号化することができる。パラメータ分割ブロックは、空間パラメータのセットを、直接符号化される第２サブセットと、パラメータ予測を用いて符号化できる残りのパラメータをすべて含む補足的な第１サブセットとに分割する。空間パラメータ予測ブロックは、空間パラメータの第２サブセットと（修正）ＰＳパラメータとを入力として取り、空間パラメータの第１サブセットに対する予測値を計算する。次に、これらの予測値を第１サブセット内の空間パラメータの実際の値から引くことによって、予測誤差値のセットを得る。
【００５８】
第２パラメータサブセットは、このパラメータサブセットを表すために必要なビット数を最小化するために、時間または周波数差分符号化とハフマン符号化とを用いて符号化することができる。また、第１パラメータサブセットは、このパラメータサブセットを表すために必要なビット数を最小化するために、時間または周波数差分符号化とハフマン符号化とを用いて符号化することができる。第１パラメータサブセットの予測誤差値は、このパラメータサブセットを表すために必要なビット数を最小化するために、時間または周波数差分符号化とハフマン符号化とを用いて符号化することができる。制御ブロックは、第１パラメータサブセットを表すために必要なビット数を最小化するために、第１パラメータサブセットが直接符号化されるべきか、または予測誤差が符号化されるべきかを選択する。この選択は、サブセット内の各パラメータに対して個々に行うことができる。この選択の実際の決定は、サイド情報としてビットストリームで伝達することも、空間パラメータ予測の一部である規則に基づいて行うこともできる。後者の場合、この決定をサイド情報として伝達する必要はない。最後に、マルチプレクサが、空間サイド情報を形成するために、符号化されたすべてのデータを組み合わせる。
【００５９】
本発明の符号化または復号化の概念を用いるために、パラメータの予測をさまざまな方法で実施可能である。一般には、空間パラメータの第１サブセットの予測をステレオパラメータと空間パラメータの第２サブセットとから導出するために適切に設計されたルックアップテーブルを用いることもでき、または、特定のダウンミックスプロセスの知識と空間パラメータおよびステレオパラメータの導出方法とに基づいて、予測パラメータを導出するための解析関数を適用することもできる。以下の段落では、適切な予測を実現するための具体例をいくつか概説する。
【００６０】
この概説は、次の３つのチャネル
2008519301.tif 000003
を有するマルチチャネル信号に基づき、このマルチチャネル信号は、単なる例と見なされたい。提示された原理は、他のチャネル構成にも準用されることは言うまでもない。たとえば、５．１チャネル構成の場合、左信号（ｌ）を形成するためにパラメトリックステレオモジュールを用いて左フロントおよび左サラウンドチャネルを組み合わせることができ、右信号（ｒ）を形成するためにパラメトリックステレオモジュールを用いて右フロントおよび右サラウンドチャネルを組み合わせることができ、さらに中央信号（ｃ）を形成するためにパラメトリックステレオモジュールを用いて中央フロントおよび低周波数エンハンスメントチャネルを組み合わせることができる。
【００６１】
以下の説明では、空間パラメータ予測ブロックについてより詳細に論じる。ステレオダウンミックス信号の２つのチャネルを、
2008519301.tif 000004
と表し、さらに、モノラルダウンミックスを、
2008519301.tif 000005
と表す。
【００６２】
2008519301.tif 000006
【００６３】
最も一般的な意味で、これは、表関数（ルックアップテーブル）
2008519301.tif 000007
で構成される。
【００６４】
このとき差分信号は、予測誤差
2008519301.tif 000008
に等しい。
【００６５】
2008519301.tif 000009
【００６６】
2008519301.tif 000010
【００６７】
2008519301.tif 000011
【００６８】
このような設計の第１の例は、上述の線形予測設計の特例であり、単に
2008519301.tif 000012
と表される。
【００６９】
この単純な予測は、（最小予測誤差ではなく）より安定した予測誤差が得られるという利点を有するため、上述の予測誤差の時間差分または周波数差分符号化に適している。これは、上述の多項式のようなあらゆる予測について言える。
【００７０】
2008519301.tif 000013
【００７１】
相互相関の場合、ＩＣＣパラメータに対する式は、
2008519301.tif 000014
である。
【００７２】
コヒーレンスの場合、実数値の演算が式（７）において絶対値（複素数の大きさ）の演算に置き換えられる。
【００７３】
2008519301.tif 000015
【００７４】
2008519301.tif 000016
【００７５】
2008519301.tif 000017
【００７６】
2008519301.tif 000018
【００７７】
2008519301.tif 000019
【００７８】
ここで再度強調するが、上述の予測スキームは、エンコーダ側にもデコーダ側にも実施できる予測スキーム候補の単なる例である。
【００７９】
図５は、パラメトリック表現２０２を処理するための本発明のマルチチャネルオーディオデコーダ２００を示す。
【００８０】
パラメトリック表現２０２は、マルチチャネル信号の空間特性を表している空間パラメータ２０４のセットに関する情報と、このマルチチャネル信号のステレオダウンミックスの空間特性を表しているデコーダ使用可能なステレオパラメータ２０６とを含む。本発明のマルチチャネルオーディオデコーダ２００は、空間パラメータ２１０を得るために、デコーダ使用可能なステレオパラメータ２０６と空間パラメータのセットに関する情報とを組み合わせるためのパラメータ再構成器２０８を有する。
【００８１】
図６は、本発明によるマルチチャネルオーディオデコーダ２２０の実施の形態を示す。マルチチャネルオーディオデコーダ２２０は、ビットストリーム分解器（デマルチプレクサ）２２２と、オーディオデコーダ２２４と、パラメータ再構成器（ジョイントデコーダ）２２６と、アップミキサ２２８とを有する。
【００８２】
ビットストリーム分解器２２２は、オーディオビットストリーム２３１と空間パラメータ２３２のセットに関する情報とデコーダ使用可能なステレオパラメータ（ＰＳサイド情報）２３４とを含む下位互換ビットストリーム２３０を受信する。ビットストリーム分解器は、オーディオビットストリーム２３１と、空間パラメータ２３２のセットに関する情報と、デコーダ使用可能なステレオパラメータ２３４とを導出するために、下位互換ビットストリーム２３０を分解または分離する。オーディオデコーダ２２４は、オーディオビットストリーム２３１を入力として受信し、このオーディオビットストリーム２３１からモノラルダウンミックス信号２３６を導出する。
【００８３】
パラメータ再構成器２２６は、空間パラメータ２３２のセットに関する情報とデコーダ使用可能なステレオパラメータ２３４とを入力として受信する。パラメータ再構成器２２６は、空間パラメータ２３８のセットを導出するために、空間パラメータのセットに関する情報とデコーダ使用可能なステレオパラメータとを組み合わせ、この空間パラメータセット２３８は、アップミキサ２２８に入力され、アップミキサ２２８は、さらに、モノラルダウンミックス信号２３６を第２入力として受信する。アップミキサ２２８は、空間パラメータ２３８とモノラルダウンミックス信号２３６とに基づいて、その出力でマルチチャネル信号２４０の再構成を導出する。
【００８４】
したがって、図６は、互換ビットストリームを入力として取り、チャネルｌ、ｒおよびｃを含むマルチチャネルオーディオ信号を生成する空間オーディオデコーダを示す。最初に、デマルチプレクサが互換ビットストリームを入力として取り、これをオーディオビットストリームと、空間サイド情報およびＰＳサイド情報とに分解する。このモノラル信号に対して知覚オーディオ符号化が行われた場合、対応するオーディオデコーダがこのオーディオビットストリームを入力として取り、復号化されたモノラルオーディオ信号ｍを生成し、この信号は、知覚オーディオコーデックによって導入された歪の影響を受けている。ジョイント復号化ブロックは、空間サイド情報とＰＳサイド情報とを入力として取り、空間パラメータを再構成する。最後に、空間再構成器が復号化されたモノラル信号ｍと空間パラメータとを入力として取り、マルチチャネルオーディオ信号を再構成する。
【００８５】
図７は、マルチチャネルオーディオデコーダ２２０によって用いられるパラメータ再構成器２２６の詳細を示す。パラメータ再構成器２２６は、空間パラメータ逆アセンブラ２５０と、制御ユニット２５２と、空間パラメータ予測器２５４と、空間パラメータアセンブラ２５６と、第１差分デコーダ２５８と、第２差分デコーダ２６０と、第３差分エンコーダ２６２ａと、第４差分デコーダ２６２ｂとを備える。
【００８６】
空間パラメータ逆アセンブラ２５０は、空間パラメータ２３２のセットに関する情報を入力として受信し、この空間オーディオパラメータ２３２のセットに関する情報から第１サブセット２６６と第２サブセット２６８とを導出する。第１サブセット２６６は、エンコーダ側で実行される予測差分表現によって表されている可能性があるパラメータを含み、第２サブセット２６８は、ビットストリーム内で修正されずに送信されてきた空間パラメータのセットに関する情報のサブセットを含む。
【００８７】
さらに、制御ユニット２５２は、場合によっては、符号化中に予測差分表現が用いられたか否かを示す制御情報を空間パラメータ逆アセンブラから受信する。この情報の使用は任意であり、制御ユニット２５２は、指示パラメータにアクセスせずに、代わりに適切なアルゴリズムを用いて、このような予測が行われたか否かを導出することもできる。
【００８８】
パラメータ２６８の第２サブセットは、第２差分デコーダ２６０に入力され、第２差分デコーダ２６０は、空間パラメータ２７０の第２サブセットを導出するために第２サブセットを差分復号化する。
【００８９】
第１差分デコーダ２５８は、符号化された表現からパラメトリックステレオパラメータ２７２を導出するために、デコーダ使用可能なステレオパラメータ２３４を入力として受信する。空間パラメータ予測器２５４は、エンコーダ側のそれに対応するものと同様に動作し、そのため、空間パラメータ予測器２５４は、予測パラメータ２７４を導出するために、第１入力としてパラメトリックステレオパラメータ２７２と、第２入力として第２サブセットの空間パラメータ２７０とを受信する。
【００９０】
制御ユニット２５２は、空間パラメータのセットに関する情報の第１サブセットに対して可能な２つの異なるデータ経路を制御する。制御ユニット２５２が空間パラメータのセットの情報の第１サブセットが予測差分符号化を用いて送信されてこなかったことを示す場合、制御ユニット２５２は、逆予測を行わずに空間パラメータ２８０のセットの第１サブセットを導出するために第１サブセット２６６が第３差分デコーダ２６２ａに入力されるように、スイッチ２７８ａおよび２７８ｂを切り替える。次に、空間パラメータ２８０の第１サブセットは、空間パラメータアセンブラ２５６の第２入力端に入力される。
【００９１】
しかしながら、制御ユニット２５２が差分予測パラメータであることを示すと、空間パラメータのセットの情報の第１サブセット２６６は、第４差分デコーダ２６２ｂに入力され、第１サブセット２６６の差分予測表現が差分デコーダの出力端２８２から導出される。次に、差分表現と予測パラメータ２７４との和が加算器２８４によって計算され、エンコーダ側で実行された差分予測操作の逆操作が行われる。この結果、空間パラメータ２８０の第１セットが、空間パラメータアセンブラ２５６の第２入力端から得られる。空間パラメータアセンブラ２５６は、その出力端に、符号化された信号のマルチチャネル再構成の基礎となる空間パラメータ２９０の完全なセットを提供するために、空間パラメータ２８０の第１セットと空間パラメータ２７０の第２セットとを組み合わせる。
【００９２】
要するに、図７は、空間サイド情報とＰＳサイド情報とを入力として取り、空間パラメータを再構成するジョイント復号化ブロックを示す。デマルチプレクサは、空間サイド情報を、空間パラメータの符号化された第２サブセットと、空間パラメータの符号化された第１サブセットと、制御情報とに分割する。復号化ブロックは、空間パラメータの符号化された第２サブセットを入力として取り、このパラメータサブセットを再構成する。これは、ハフマン符号化および時間差分（ｄｔ）または周波数差分（ｄｆ）符号化がエンコーダで用いられていた場合、再構成時にハフマン復号化および時間差分（ｄｔ）または周波数差分（ｄｆ）復号化を含む。復号化ブロックは、ＰＳサイド情報を入力として取り、（修正）ＰＳパラメータを再構成する。空間パラメータ予測ブロックは、空間パラメータの第２サブセットと（修正）ＰＳパラメータとを入力として取り、エンコーダ内においてそれに対応するものによるの同様に、空間パラメータの第１サブセットの予測値を計算する。制御ブロックは、それに対応するエンコーダ内の制御ブロックがどの選択決定を行ったかを判定する。この選択に応じて、空間パラメータの符号化された第１サブセットは、直接復号化されるかまたは予測を考慮して復号化される。どちらの場合も、これは、ハフマン符号化および時間または周波数差分符号化がエンコーダで用いられた場合、ハフマン復号化および時間または周波数差分復号化を含む。予測が用いられなかったと制御ブロックが判定した場合、復号化ブロックの出力は、空間パラメータの再構成された第１サブセットとして取られる。それ以外の場合、復号化ブロックの出力は予測誤差値を含み、予測誤差値は、空間パラメータの第１サブセットの元の値を得るために、空間パラメータ予測によって生成される予測パラメータ値に追加される。最後に、空間パラメータの再構成された第１および第２サブセットが、空間パラメータの完全なセットを形成するためにマージされる。
【００９３】
図８は、本発明の概念の完全な下位互換性の大きな利点を強調するために、本発明の互換ビットストリームが信号のステレオアップミックスを導出するためにレガシーパラメトリックステレオデコーダによってどのように処理されるかを示す。
【００９４】
パラメトリックステレオデコーダ３００は、互換ビットストリーム３０２を入力として受信する。パラメトリックステレオデコーダ３００は、デマルチプレクサ３０４と、オーディオデコーダ３０６と、差分デコーダ３０８と、アップミキサ３１０とを備える。デマルチプレクサ３０４は、オーディオビットストリーム３１２とデコーダ使用可能なパラメトリックステレオパラメータ３１４とを互換ビットストリーム３０２から導出する。
【００９５】
パラメトリックステレオデコーダ３００は空間オーディオパラメータに基づいて動作できないので、デマルチプレクサ３０４は、たとえばデコーダにとって分からないビットストリーム内の関連データセクションとヘッダフィールドとをスキップすることによって、互換ビットストリーム３０２に含まれている空間オーディオパラメータを単に無視する。オーディオビットストリーム３１２は、オーディオデコーダ３０６に入力され、モノラルダウンミックス信号３１６が導出され、一方、デコーダ使用可能なステレオパラメータ３１４は、パラメトリックステレオパラメータ３１８を導出するために、差分デコーダ３０８によって差分復号化される。モノラルダウンミックス信号３１６とパラメトリックステレオパラメータ３１８とはアップミキサ３１０に入力され、アップミキサ３１０は、モノラルダウンミックス信号３１６とパラメトリックステレオパラメータ３１８とを用いてステレオアップミックス信号３２０を導出する。
【００９６】
言い換えると、図８は、互換ビットストリームを入力として取り、チャネルｌ０およびｒ０を含む２チャネルステレオオーディオ信号を生成するパラメトリックステレオ（ＰＳ）デコーダを示している。最初に、デマルチプレクサが互換ビットストリームを入力として取り、これをオーディオビットストリームとＰＳサイド情報とに分解する。互換ビットストリームには空間サイド情報が下位互換性のある方法で埋め込まれているので、デマルチプレクサに影響を及ぼすことはない。知覚オーディオ符号化がモノラル信号に行われていた場合、対応するオーディオデコーダがオーディオビットストリームを入力として取り、復号化されたモノラルオーディオ信号ｍを生成し、この信号は、知覚オーディオコーデックによって導入された歪の影響を受けている。ＰＳ復号化ブロックは、ＰＳサイド情報を入力として取り、ＰＳパラメータを再構成する。これは、ハフマン符号化および時間差分（ｄｔ）または周波数差分（ｄｆ）符号化がエンコーダで用いられていた場合、ハフマン復号化および時間差分（ｄｔ）または周波数差分（ｄｆ）復号化を含む。最後に、ＰＳ再構成器は、復号化されたモノラル信号ｍとＰＳパラメータとを入力として取り、２チャネルのステレオ信号を再構成する。
【００９７】
図９は、オーディオエンコーダ１０と、入力インタフェース３３２と、出力インタフェース３３４とを有する本発明のオーディオトランスミッタまたはレコーダ３３０を示す。
【００９８】
オーディオ信号は、トランスミッタ／レコーダ３３０の入力インタフェース３３２に供給することができる。このオーディオ信号は、トランスミッタ／レコーダ内で本発明のエンコーダ１０によって符号化され、その符号化された表現がトランスミッタ／レコーダ３３０の出力インタフェース３３４から出力される。この符号化された表現は、次に送信することも記憶媒体に格納することも可能である。
【００９９】
図１０は、本発明のオーディオデコーダ１８０と、ビットストリーム入力端３４２と、オーディオ出力端３４４とを有する本発明のレシーバまたはオーディオプレーヤ３４０を示す。
【０１００】
ビットストリームは、本発明のレシーバ／オーディオプレーヤ３４０の入力端３４２に入力することができる。次に、このビットストリームは、デコーダ１８０によって復号化され、復号化された信号は、本発明のレシーバ／オーディオプレーヤ３４０の出力端３４４から出力または再生される。
【０１０１】
図１１は、本発明のトランスミッタ３３０と本発明のレシーバ３４０とを備える伝送システムを示す。
【０１０２】
トランスミッタ３３０の入力インタフェース３３２に入力されたオーディオ信号は、符号化され、トランスミッタ３３０の出力インタフェース３３４からレシーバ３４０の入力インタフェース３４２に転送される。レシーバは、このオーディオ信号を復号化し、オーディオ信号をその出力端３４４から再生または出力する。
【０１０３】
本発明の概念をまとめると、本発明は、パラメトリックステレオパラメータを用いた２チャネルステレオ信号の符号化と互換性のある方法で、空間オーディオパラメータを用いたオーディオ信号のマルチチャネル表現の符号化に関すると言うことができる。本発明は、空間オーディオパラメータとパラメトリックステレオパラメータとを効率的に符号化し、符号化されたパラメータを下位互換性のある方法でビットストリームに埋め込むための新しい方法を教示する。特に、本発明は、復号化されたステレオまたはマルチチャネルオーディオ信号の品質を損わずに、下位互換ビットストリーム内のパラメトリックステレオおよび空間オーディオパラメータの総ビットレートの低減化を目的とする。ただし、復号化されたステレオ信号の品質の多少の低下が許容される場合は、総ビットレートをさらに下げることができる。
【０１０４】
本発明の信号の下位互換性を表しているビットストリームとその生成とは、モノラルダウンミックス信号を表しているパラメータを損わず、このようなパラメータを図示のビットストリームに容易に組み込むことができることは言うまでもない。
【０１０５】
パラメータを予測するために適切な規則を導出することができれば、パラメトリックステレオパラメータを用いて空間オーディオパラメータの任意の数値を予測できる。したがって、上に詳述した予測規則は、単なる例として理解されるべきものである。他の予測規則によって同じビット節約効果を導き出すことができることは明らかであるので、本発明は、上述の予測規則のうちの１つの使用に限定されるものでは決してない。
【０１０６】
上述の本発明のエンコーダの例では、マルチチャネル信号のステレオダウンミックスを導出するパラメトリックステレオダウンミキサ５８が用いられているが、実際の実施において、ダウンミキシング規則が既知であり、したがってパラメトリックステレオパラメータをマルチチャネル信号から直接導出できる場合、ステレオダウンミキサを省くことができる。
【０１０７】
所定の実施において、モノラルダウンミックス信号は、オーディオエンコーダによってさらに符号化されるかまたはデコーダ側で復号化される。符号化および復号化は、任意であり、すなわち、モノラルダウンミックス信号のさらなる圧縮を省くことによっても、本発明の概念を組み込んだ本発明のエンコーダおよびデコーダが得られる。
【０１０８】
本発明のエンコーダおよびデコーダ内の制御ユニットを省き、空間パラメータのサブセットを差分予測パラメータによって表すという一般的決定を目指してもよく、ただし、この場合、制御ユニットを省けるという利点がある代わりに、差分予測表現が伝送ビットレートの節約につながらない場合が稀にあり、このような場合にビットレートが多少高くなるという代償が伴う。
【０１０９】
所定の例において、信号経路に使用される追加のデコーダが差分エンコーダまたは差分デコーダといわれるが、パラメータの圧縮に適した他の何れか適切なエンコーダまたはデコーダ、特に差分デコーダまたはエンコーダとハフマンデコーダまたはエンコーダとの組み合わせを用いることも可能である。このような組み合わせを用いて、最初にパラメータが差分符号化され、次にこの差分符号化されたパラメータがハフマン符号化されると、差分予測表現は、一般に、それ自体の基礎となる空間パラメータより低いエントロピーを有するので、より小さいビットレートを用いたパラメトリック表現になる。
【０１１０】
本発明の概念をまとめると、本発明は以下を教示する。
【０１１１】
第１の態様としては、マルチチャネルオーディオ信号の互換性のある符号化の方法であって、エンコーダ側において、マルチチャネル信号を１つのチャネル表現にダウンミックスし、エンコーダ側においてマルチチャネル信号が与えられると、マルチチャネル信号を表しているパラメータを定義し、エンコーダ側においてマルチチャネル信号が与えられると、マルチチャネル信号のステレオダウンミックスを表しているパラメータを定義し、エンコーダ側において、パラメータの両セットをビットレート効率がよくかつ下位互換性のある方法でビットストリームに埋め込み、デコーダ側において、埋め込まれたパラメータをビットストリームから抽出し、デコーダ側において、ビットストリームから抽出されたパラメータからマルチチャネル信号を表しているパラメータを再構成し、デコーダ側において、ビットストリームデータから再構成されたパラメータとダウンミックスされた信号とが与えられると、マルチチャネル出力信号を再構成することを特徴とする方法。
【０１１２】
第２の態様としては、第１の態様による方法であって、ステレオダウンミックスを表しているパラメータを、パラメトリックステレオ復号化のみをサポートする（レガシー）復号化方法によって復号化できるように、ビットストリームに埋め込むことを特徴とする方法。
【０１１３】
第３の態様としては、第１の態様による方法であって、マルチチャネル信号を表しているパラメータのセットを第１サブセットと第２サブセットとに分割することを特徴とする方法。
【０１１４】
第４の態様としては、第３の態様による方法であって、パラメータの第１サブセット内の値を、パラメータの第２サブセットに基づいて、さらにマルチチャネル信号のステレオダウンミックスを表すパラメータに基づいて、予測することを特徴とする方法。
【０１１５】
第５の態様としては、第４の態様による方法であって、パラメータの第１サブセットが直接符号化されるかまたは予測パラメータ値に対する差のみが符号化されるかを、自動的に選択する制御方法を特徴とする方法。
【０１１６】
第６の態様としては、第３の態様による方法であって、マルチチャネル信号を表している元のパラメータとステレオダウンミックスを表している元のパラメータとの両方が、修正パラメータを導出するための基礎として用いられる、ステレオダウンミックスを表すパラメータの修正を特徴とする方法。
【０１１７】
第７の態様としては、第４の態様による方法であって、ルックアップテーブルが、予測パラメータ値を見つけるために用いられることを特徴とする方法。
【０１１８】
第８の態様としては、第４の態様による方法であって、第４の態様において多項式関数が、予測パラメータ値を見つけるために用いられる方法。
【０１１９】
第９の態様としては、第４の態様による方法であって、ステレオダウンミックスを生成するために用いられる方法から導出された数学関数が、予測パラメータ値を見つけるために用いられることを特徴とする方法。
【０１２０】
第１０の態様としては、マルチチャネルオーディオ信号の表現を符号化するための装置であって、マルチチャネル信号を１つのチャネル表現にダウンミックスするための手段と、マルチチャネル信号を表しているパラメータを定義するための手段と、マルチチャネル信号のステレオダウンミックスを表しているパラメータを定義するための手段と、パラメータの両セットをビットレート効率がよくかつ下位互換性のある方法でビットストリームに埋め込む手段とを特徴とする装置。
【０１２１】
第１１の態様としては、ダウンミックスされた信号と対応パラメータセットとに基づいてマルチチャネル信号を再構成するための装置であって、ビットストリームに埋め込まれているパラメータセットを抽出するための手段と、ビットストリームから抽出されたパラメータからマルチチャネル信号を表しているパラメータを再構成するための手段と、ビットストリームデータから再構成されたパラメータセットとダウンミックスされた信号とが与えられると、マルチチャネル出力信号を再構成するための手段とを特徴とする装置。
【０１２２】
本発明の方法の特定の実現要求によっては、本発明の方法は、ハードウェアまたはソフトウェアで実施することができる。この実施は、本発明の方法が実行されるように、プログラム可能なコンピュータシステムと協働する、デジタル記憶媒体、特に、それに格納される電子的に読み取り可能な制御信号を有するディスク、ＤＶＤまたはＣＤを用いて、実行することができる。そのため、本発明は、一般に、機械で読み取り可能なキャリアに格納されるプログラムコードを有するコンピュータプログラム製品であり、そのプログラムコードは、そのコンピュータプログラム製品がコンピュータ上で実行されるときに、本発明の方法を実行するために働く。したがって、言い換えれば、本発明の方法は、コンピュータプログラムがコンピュータ上で実行されるときに、少なくとも１つの本発明の方法を実行するためのプログラムコードを有するコンピュータプログラムである。
【０１２３】
上述のように、特定の実施の形態を参照して特に図示して説明してきたが、本発明の精神、範囲を逸脱することなく、形態や詳細を様々変更することができることが、当業者ならば理解できるであろう。ここに開示するより広い概念から逸脱することなく、異なる実施の形態に適用して、変更が可能なことが、特許請求の範囲から理解できるであろう。
【図面の簡単な説明】
【０１２４】
【図１】図１は、本発明のエンコーダのブロック図を示す。
【図２】図２は、本発明による生成されたビットストリームを示す。
【図３】図３は、本発明のエンコーダのさらなる実施の形態を示す。
【図４】図４は、図３の本発明のエンコーダの詳細を示す。
【図５】図５は、本発明のデコーダを示す。
【図６】図６は、本発明のマルチチャネルデコーダの好適な実施の形態を示す。
【図７】図７は、図６の本発明のマルチチャネルデコーダの詳細を示す。
【図８】図８は、本発明の信号の下位互換性を説明する。
【図９】図９は、本発明のエンコーダを有するトランスミッタまたはオーディオレコーダを示す。
【図１０】図１０は、本発明のマルチチャネルデコーダを有するレシーバまたはオーディオプレーヤを示す。
【図１１】図１１は、伝送システムを示す。
【図１】
2008519301.tif 000021
【図２】
2008519301.tif 000022
【図３】
2008519301.tif 000023
【図４】
2008519301.tif 000024
【図５】
2008519301.tif 000025
【図６】
2008519301.tif 000026
【図７】
2008519301.tif 000027
【図８】
2008519301.tif 000028
【図９】
2008519301.tif 000029
【図１０】
2008519301.tif 000030
【図１１】
2008519301.tif 000031
【手続補正書】
【提出日】平成18年12月5日(2006.12.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
パラメトリック表現（２０２）を処理するためのマルチチャネルオーディオデコーダ（２００）であって、前記パラメトリック表現（２０２）は、前記マルチチャネル信号のステレオダウンミックスの空間特性を表しているステレオパラメータ（２０６）とマルチチャネル信号の空間特性を表している１つまたは複数の空間パラメータ（２０４）に関する情報とを含み、１つまたは複数の空間パラメータに関する前記情報は前記ステレオパラメータにより決まり、前記１つまたは複数の空間パラメータ（２０４）に関する前記情報と前記ステレオパラメータ（２０６）とは、組み合わせ規則を用いて組み合わされることによって、１つまたは複数の空間パラメータ（２１０）を得る、前記デコーダは、
前記１つまたは複数の空間パラメータ（２１０）を得るために前記組み合わせ規則を用いて前記ステレオパラメータ（２０６）と前記１つまたは複数の空間パラメータ（２０４）に関する前記情報とを組み合わせるためのパラメータ再構成器（２０８）を備える、マルチチャネルオーディオデコーダ装置（２００）。
【請求項２】
前記組み合わせ規則は、前記組み合わせが前記ステレオパラメータ（２０６）とパラメータの第１サブセットとを組み合わせることによって導出される置換パラメータによる前記１つまたは複数の空間パラメータ（２０４）に関する前記情報の前記パラメータの前記第１サブセットの置き換えを含むようになっている、請求項１に記載のマルチチャネルオーディオデコーダ（２００）。
【請求項３】
前記組み合わせ規則は、置換パラメータがパラメータの前記第１サブセットからの対応パラメータと同パラメータの予測との一次結合よって導出され、前記予測が前記１つまたは複数の空間パラメータ（２０４）に関する前記情報の第２サブセットのパラメータと前記ステレオパラメータ（２０６）とを用いて導出され、これらが予測規則を用いて組み合わされるようになっている、請求項２に記載のマルチチャネルオーディオデコーダ（２００）。
【請求項４】
前記予測規則は、前記予測が前記ステレオパラメータ（２０６）を用いて導出されるようになっている、請求項３に記載のマルチチャネルオーディオデコーダ（２００）。
【請求項５】
前記予測規則は、前記ステレオパラメータ（２０６）が前記空間パラメータの前記予測として用いられるようになっている、請求項４に記載のマルチチャネルオーディオデコーダ（２００）。
【請求項６】
前記ステレオパラメータ（２０６）は、前記ステレオダウンミックスのチャネル間の強度差を表している第１パラメータＰ1と前記ステレオダウンミックスのチャネル間の相関を表している第２パラメータＰ2とを含み、
パラメータの前記第２サブセットは、前記マルチチャネル信号の左チャネルおよび右チャネルの和と前記マルチチャネル信号の中央チャネルとの間の強度差を表しているパラメータＳ3を含み、さらに
前記予測規則は、前記マルチチャネル信号の前記左チャネルおよび前記右チャネルの間の強度差を表しているパラメータである、パラメータの前記第１サブセットのパラメータＳ1が、次式
2008519301.tif 000032
【請求項７】
前記パラメータ再構成器（２２６）は、パラメータの前記第１サブセットが置換パラメータに置換されるか否かを決定するための決定ユニット（２５２）をさらに備える、先行する請求項のいずれかに記載のマルチチャネルオーディオデコーダ（２００、２２０）。
【請求項８】
ビットストリーム（２３０）から前記ステレオパラメータ（２３４）の表現と前記１つまたは複数の空間パラメータ（２３２）に関する前記情報の表現とを分解するためにビットストリーム分解器（２２２）をさらに備え、前記ビットストリーム（２３０）は、レガシーパラメトリックステレオ装置によって処理できるように下位互換性がある、先行する請求項のいずれかに記載のマルチチャネルオーディオデコーダ（２００、２２０）。
【請求項９】
前記ステレオパラメータ（２３４）の前記表現と前記１つまたは複数の空間パラメータ（２３２）に関する前記情報の前記表現とから前記ステレオパラメータ（２７２）と前記１つまたは複数の空間パラメータ（２６６、２６８）に関する前記情報とを導出するためにエントロピーデコーダと差分デコーダ（２５８、２６０、２６２ａ、２６２ｂ）とをさらに備える、請求項８に記載のマルチチャネルオーディオデコーダ（２００、２２０）。
【請求項１０】
前記ビットストリーム分解器（２２２）は、前記ビットストリームから前記マルチチャネル信号のモノラルダウンミックスであるモノラルダウンミックス信号（２３６）を分解するようにさらに動作し、さらに
前記ダウンミックス信号（２３６）と前記１つまたは複数のパラメータ（２３８）とを用いてマルチチャネル信号（２４０）の再構成を導出するためのアップミキサ（２２８）をさらに備える、請求項８または請求項９に記載のマルチチャネルオーディオデコーダ（２２０）。
【請求項１１】
前記ビットストリーム（２３０）から分解されるモノラルダウンミックス信号（２３１）の符号化された表現から前記モノラルダウンミックス信号（２３６）を導出するためのオーディオデコーダ（２２４）をさらに備える、請求項１０に記載のマルチチャネルオーディオデコーダ（２２０）。
【請求項１２】
マルチチャネルオーディオ信号のパラメトリック表現（１２）を導出するためのエンコーダ（１０）であって、前記パラメトリック表現（１２）は、モノラルダウンミックス信号とともに使用されることに適したパラメータを有し、前記エンコーダ（１０）は、
前記マルチチャネル信号の空間特性を表している１つまたは複数の空間パラメータ（２０）を計算するための空間パラメータ計算器（１４）と、
前記マルチチャネル信号から導出されるステレオダウンミックス信号の空間特性を表しているステレオパラメータ（２２）を計算するためのステレオパラメータ計算器（１６）と、
組み合わせ規則を用いて前記１つまたは複数の空間パラメータ（２０）と前記ステレオパラメータ（２２）とを組み合わせることによって前記パラメトリック表現（１２）を生成するためのパラメータコンバイナ（１８）であって、デコーダ使用可能なステレオパラメータ（２４）と前記デコーダ使用可能なステレオパラメータ（２４）とともに前記１つまたは複数の空間パラメータ（２０）を表す前記１つまたは複数の空間パラメータ（２６）に関する情報であって前記ステレオパラメータにより決まる１つまたは複数の空間パラメータに関する前記情報とを得る組み合わせ規則を用いるように動作するパラメータコンバイナ（１８）とを備える、エンコーダ（１０）。
【請求項１３】
前記ステレオパラメータ計算器（１６）は、前記マルチチャネル信号（５０）から前記ステレオダウンミックス信号（７２）を導出するためのステレオダウンミキサ（５８）をさらに備える、請求項１２に記載のエンコーダ（１０、５２）。
【請求項１４】
前記マルチチャネル信号（５０）から前記モノラルダウンミックス信号（６８）を導出するための空間ダウンミキサ（５４）をさらに備える、請求項１２または請求項１３に記載のエンコーダ（１０、５２）。
【請求項１５】
レガシーパラメトリックステレオデコーダに対して下位互換性のある方法で、前記パラメトリック表現と前記モノラルダウンミックスとを含むビットストリーム（８２）を導出するためのビットストリーム計算器（６６）をさらに備える、請求項１２ないし請求項１４のいずれかに記載のエンコーダ（１０、５２）。
【請求項１６】
前記空間ダウンミキサ（５４）は、圧縮規則を用いて前記モノラルダウンミックス信号（６８）を圧縮するためのオーディオエンコーダ（６２）をさらに備える、請求項１４または請求項１５に記載のエンコーダ。
【請求項１７】
パラメトリック表現を処理するための方法であって、前記パラメトリック表現は、前記マルチチャネル信号のステレオダウンミックスの空間特性を表しているステレオパラメータ（２０６）とマルチチャネル信号の空間特性を表している１つまたは複数の空間パラメータに関する情報とを含み、１つまたは複数の空間パラメータに関する前記情報は前記ステレオパラメータにより決まり、前記１つまたは複数の空間パラメータに関する前記情報と前記ステレオパラメータとは、組み合わせ規則を用いて組み合わされることによって、前記１つまたは複数の空間パラメータを得る、前記方法は、
前記１つまたは複数の空間パラメータを得るために前記組み合わせ規則を用いて前記ステレオパラメータと前記１つまたは複数の空間パラメータに関する前記情報とを組み合わせるステップを備える、方法。
【請求項１８】
マルチチャネルオーディオ信号のパラメトリック表現を導出するための方法であって、前記パラメトリック表現は、モノラルダウンミックス信号とともに使用されることに適したパラメータを有し、前記方法は、
前記マルチチャネル信号の空間特性を表している１つまたは複数の空間パラメータを計算するステップと、
前記マルチチャネル信号から導出されるステレオダウンミックス信号の空間特性を表しているステレオパラメータを計算するステップと、
組み合わせ規則を用いて前記１つまたは複数の空間パラメータと前記ステレオパラメータとを組み合わせることによって前記パラメトリック表現を生成するステップであって、デコーダ使用可能なステレオパラメータと前記デコーダ使用可能なステレオパラメータとともに前記１つまたは複数の空間パラメータを表す前記１つまたは複数の空間パラメータに関する情報であって前記ステレオパラメータにより決まる１つまたは複数の空間パラメータに関する前記情報とを得る前記組み合わせ規則を用いるステップとを備える、方法。
【請求項１９】
マルチチャネルオーディオ信号のパラメトリック表現であって、前記パラメトリック表現は、モノラルダウンミックス信号とともに使用されることに適したパラメータを有し、前記パラメトリック表現は、前記マルチチャネル信号のステレオダウンミックスの空間特性を表しているデコーダ使用可能なステレオパラメータと、前記マルチチャネルオーディオ信号の空間特性を表している１つまたは複数の空間パラメータおよび前記ステレオパラメータを組み合わせることによって生成される１つまたは複数の空間パラメータに関する情報とを有し、前記１つまたは複数の空間パラメータに関する前記情報は、前記デコーダ使用可能なステレオパラメータとともに、前記１つまたは複数の空間パラメータを表す、パラメトリック表現。
【請求項２０】
請求項１９に記載のマルチチャネルオーディオ信号のパラメトリック表現が格納されている、コンピュータ読み取り可能な記憶媒体。
【請求項２１】
請求項１２に記載のマルチチャネルオーディオ信号のパラメトリック表現を導出するためのエンコーダを有する、トランスミッタまたはオーディオレコーダ（３３０）。
【請求項２２】
請求項１に記載のマルチチャネルオーディオデコーダ（２００）を有する、レシーバまたはオーディオプレーヤ（３４０）。
【請求項２３】
送信またはオーディオ記録の方法であって、請求項１８に記載のマルチチャネルオーディオ信号のパラメトリック表現を導出するための方法を有する、方法。
【請求項２４】
受信またはオーディオ再生の方法であって、請求項１７に記載のパラメトリック表現を処理するための方法を有する、方法。
【請求項２５】
トランスミッタ（３３０）とレシーバ（３４０）とを有する伝送システムであって、
前記トランスミッタ（３３０）は、請求項１２に記載のマルチチャネルオーディオ信号のパラメトリック表現を導出するためのエンコーダを有し、さらに
前記レシーバ（３４０）は、請求項１に記載のマルチチャネルオーディオデコーダを有する、送信システム。
【請求項２６】
送受信方法であって、請求項１８に記載のマルチチャネルオーディオ信号のパラメトリック表現を導出するための方法を有する送信方法と、
請求項１７に記載のパラメトリック表現を処理するための方法を有する受信方法とを備える、送受信方法。
【請求項２７】
コンピュータ上で実行されるときに、請求項１７、請求項１８、請求項２３、請求項２４または請求項２６に記載の方法を実行するためのコンピュータプログラム。
【国際調査報告】
2008519301.tif 000033
2008519301.tif 000034