(57)【特許請求の範囲】
【請求項１】
圧縮されダウンミックスされたコンポジットオーディオ信号を解凍してアップミックスする方法であって、
トータルミックス信号Ｃの圧縮表現と、残差信号Δの圧縮表現と、少なくとも１つのオブジェクト信号の圧縮表現の組が対応するオブジェクト信号Ｂｉの少なくとも１つの圧縮表現を含むそれぞれのオブジェクト信号｛Ｂｉ｝の圧縮表現の組とを受け取るステップと、
前記トータルミックス信号Ｃの圧縮表現を解凍して、近似トータルミックス信号Ｃ’を取得するステップと、
前記残差信号Δの圧縮表現を解凍して、復元残差信号を取得するステップと、
前記オブジェクト信号｛Ｂｉ｝の圧縮表現の組を解凍して、１又は２以上のオブジェクト信号Ｂｉ’をメンバとして有するオブジェクト信号の組｛Ｂｉ’｝を取得するステップと、
前記近似トータルミックス信号Ｃ’と、完全なオブジェクト信号の組｛Ｂｉ’｝とを減法ミキシングして、ベース信号Ａ’の第１の近似を取得するステップと、
前記復元残差信号と、前記ベース信号の第１の近似とを減法ミキシングして、前記ベース信号の改善された近似を取得するステップと、
を含むことを特徴とする方法。
【請求項２】
前記オブジェクト信号の圧縮表現の組は、対応するオブジェクト信号の１つの圧縮表現を含む、
請求項１に記載の方法。
【請求項３】
前記圧縮表現のうちの少なくとも１つは、非可逆的圧縮法によって準備される、
請求項１に記載の方法。
【請求項４】
前記残差信号Δの圧縮表現は、
基準信号Ｒとベース信号Ａの復元された近似Ａ’とを減法ミキシングして、差分を表す残差信号Δを取得し、
前記残差信号Δを圧縮する、
ことによって準備される、
請求項３に記載の方法。
【請求項５】
前記基準信号は、前記ベース信号Ａを含む、
請求項４に記載の方法。
【請求項６】
前記基準信号は、前記ベース信号Ａの近似を含む、
請求項４に記載の方法。
【請求項７】
前記補正されたベース信号Ａ’、前記復元されたオブジェクト信号｛Ｂｉ｝、及び前記近似トータルミックス信号Ｃ’のうちの少なくとも１つを音として再生させるステップをさらに含む、
請求項１に記載の方法。
【請求項８】
前記それぞれのオブジェクト信号｛Ｂｉ｝の圧縮表現の組を解凍する前記ステップは、複数の圧縮表現を解凍してそれぞれの複数のオブジェクト信号｛Ｂｉ’｝を取得するステップを含み、
前記近似トータルミックス信号Ｃ’と、前記完全なオブジェクト信号の組とを減法ミキシングする前記ステップは、完全な複数のオブジェクト信号｛Ｂｉ’｝をＣ’から減法して、前記ベース信号の第１の近似を取得するステップを含む、
請求項１に記載の方法。
【請求項９】
前記圧縮表現のうちの少なくとも１つは、非可逆的圧縮法によって準備される、
請求項８に記載の方法。
【請求項１０】
前記残差信号Δの前記圧縮表現は、基準信号Ｒとベース信号Ａの復元された近似Ａ’とを減法ミキシングして、差分を表す残差信号Δを取得し、
前記残差信号Δを圧縮する、
ことによって準備される、
請求項９に記載の方法。
【請求項１１】
前記基準信号は、前記ベース信号Ａを含む、
請求項１０に記載の方法。
【請求項１２】
前記基準信号は、前記ベース信号Ａの近似を含む、
請求項１０に記載の方法。
【請求項１３】
前記補正されたベース信号Ａ’、前記復元されたオブジェクト信号｛Ｂｉ｝、及び前記近似トータルミックス信号Ｃ’のうちの少なくとも１つを音として再生させるステップをさらに含む、
請求項８に記載の方法。
【請求項１４】
トータルミックス信号Ｃと、少なくとも１つのオブジェクト信号の組｛Ｂｉ｝と、ベース信号Ａとを含むコンポジットオーディオ信号の圧縮方法であって、前記トータルミックス信号Ｃは、少なくとも１つのメンバオブジェクト信号Ｂｉを有するオーディオオブジェクト信号の組｛Ｂｉ｝とミックスされたベース信号Ａを含み、前記方法は、
前記トータルミックス信号Ｃと、完全なオーディオオブジェクト信号の組｛Ｂｉ｝とを非可逆的圧縮法によって圧縮して、圧縮されたトータルミックス信号Ｅ（Ｃ）と、圧縮されたオブジェクト信号の組Ｅ（｛Ｂｉ｝）とをそれぞれ生じるステップと、
前記圧縮されたトータルミックス信号Ｅ（Ｃ）と、前記圧縮されたオブジェクト信号の組Ｅ（｛Ｂｉ｝）とを解凍して、復元されたＱ（Ｃ）と、復元された少なくとも１つのオブジェクト信号の組Ｑ（｛Ｂｉ｝）とを取得するステップと、
前記復元された信号Ｑ（Ｃ）と、前記復元された信号の組の完全なミックスＱ（｛Ｂｉ｝）とを減法ミキシングして、近似ベース信号Ｑ’（Ａ）を生じるステップと、
前記近似ベース信号Ｑ’（Ａ）から基準信号を減法して残差信号Δを生じるステップと、
前記残差信号Δを圧縮して、圧縮された残差信号Ｅｃ（Δ）を取得するステップと、
を含むことを特徴とする方法。
【請求項１５】
前記少なくとも１つのオブジェクト信号の組｛Ｂｉ｝は、１つのオブジェクト信号のみを含む、
請求項１４に記載の方法。
【請求項１６】
前記圧縮されたトータルミックス信号Ｅ（Ｃ）と、前記圧縮されたオブジェクト信号Ｅ（｛Ｂｉ｝）と、前記圧縮された残差信号Ｅ（Δ）とを含むコンポジット信号を伝送するステップをさらに含む、
請求項１５に記載の方法。
【請求項１７】
前記基準信号は、前記ベース信号Ａを含む、
請求項１５に記載の方法。
【請求項１８】
前記基準信号は、前記ベース信号Ａを非可逆的圧縮法によって圧縮した後に解凍して前記ベース信号の近似Ｑ（Ａ）を取得することによって導出される前記ベース信号Ａの近似を含む、
請求項１５に記載の方法。
【請求項１９】
前記残差信号を圧縮するステップは、前記トータルミックス信号Ｃを圧縮するよう使用する方法とは異なる方法によって前記残差信号を圧縮するステップを含む、
請求項１５に記載の方法。
【請求項２０】
前記少なくとも１つのオブジェクト信号の組｛Ｂｉ｝は、複数のオブジェクト信号を含む、
請求項１４に記載の方法。
【請求項２１】
前記基準信号は、前記ベース信号Ａを含む、
請求項２０に記載の方法。
【請求項２２】
前記基準信号は、前記ベース信号Ａを非可逆的圧縮法によって圧縮した後に解凍して前記ベース信号の近似Ｑ（Ａ）を取得することによって導出される前記ベース信号Ａの近似を含む、
請求項２０に記載の方法。
【請求項２３】
前記残差信号を圧縮するステップは、前記トータルミックス信号Ｃを圧縮するよう使用する方法とは異なる方法によって前記残差信号を圧縮するステップを含む、
請求項２０に記載の方法。
【請求項２４】
近似トータルミックス信号Ｃ’と、少なくとも１つのメンバ信号Ｂｉ’を有する近似的に復元されたオーディオオブジェクト信号の組｛Ｂｉ’｝とから導出された近似オーディ
オベース信号Ａを精細化することによってデジタルオーディオ再生を改善する方法であって、
残差信号の圧縮表現Ｅ（Δ）を解凍して残差信号Δを取得するステップと、
前記近似トータルミックス信号Ｃ’と、前記近似的に復元されたオブジェクト信号の完全な組｛Ｂｉ’｝とを減法ミキシングして、ベース信号Ａ’の第１の近似を取得するステップと、
前記復元された残差信号Δと、前記ベース信号Ａ’の前記第１の近似とを減法ミキシングして、前記ベース信号の改善された近似を取得するステップと、
を含むことを特徴とする方法。
【請求項２５】
前記残差信号の圧縮表現Ｅ（Δ）は、
基準信号Ｒと、ベース信号Ａの復元された近似Ａ’とを減法ミキシングして、差分を表す残差信号Δを取得し、
前記残差信号Δを圧縮する、
ことによって準備される、
請求項２４に記載の方法。
【請求項２６】
前記基準信号は、ベース信号Ａを含む、
請求項２５に記載の方法。
【請求項２７】
前記基準信号は、非可逆的方法によってＡを圧縮した後に解凍して前記基準信号Ｒを取得することによって準備される前記ベース信号の近似を含む、
請求項２５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願〕
本出願は、２０１４年３月２０日に出願された「オブジェクトベースオーディオシステムにおける残差符号化（Ｒｅｓｉｄｕａｌ  Ｅｎｃｏｄｉｎｇ  Ｉｎ  Ａｎ  Ｏｂｊｅｃｔ−Ｂａｓｅｄ  Ａｕｄｉｏ  Ｓｙｓｔｅｍ）」という名称の米国仮特許出願第６１／９６８，１１１号、及び２０１５年２月１２日に出願された「オブジェクトベースオーディオシステムにおける残差符号化（Ｒｅｓｉｄｕａｌ  Ｅｎｃｏｄｉｎｇ  Ｉｎ  Ａｎ  Ｏｂｊｅｃｔ−Ｂａｓｅｄ  Ａｕｄｉｏ  Ｓｙｓｔｅｍ）」という名称の米国特許出願第１４／６２０，５４４号に対する優先権を主張するものである。
【０００２】
本発明は、一般に非可逆的マルチチャネルオーディオ圧縮及び解凍に関し、具体的には、ダウンミックスされたマルチチャネルオーディオ信号の圧縮及び解凍を、受け取られて解凍されたマルチチャネルオーディオ信号のアップミックスを容易にする形で行うことに関する。
【背景技術】
【０００３】
オーディオエンターテイメントシステム及びオーディオビジュアルエンターテイメントシステムは、単一のスピーカを通じてモノラルオーディオを再生できる初期の質素なものから進歩してきた。最新のサラウンド音響システムは、（パブリックシアター又はより私的な「ホームシアター」とすることができる）リスナー環境内の複数のスピーカを通じて複数のチャネルの記録、伝送及び再生を行うことができる。「５．１サラウンド」、「７．１サラウンド」、さらには「２０．２サラウンド」（小数点の右側の数字は、重低音効果チャネルを示す）などと呼ばれる様々なサラウンド音響スピーカ構成が利用可能である。このような構成毎に様々な物理的スピーカ配置が可能であるが、一般的には、記録したチャネルのミキシング及びマスタリングを行うオーディオエンジニアが推測するジオメトリと同様のレンダリングジオメトリである場合に最適な結果が実現される。
【０００４】
これらの非常に多くのサラウンド音響構成は、ミキシングエンジニアの予測を超えた様々なレンダリング環境及びレンダリングジオメトリが可能であるとともに、同じコンテンツを様々なリスニング構成又はリスニング環境で再生することもできるので、忠実なリスニング体験を提供したいと望むエンジニア又はアーティストに対して数多くの課題を提示する。サラウンド音響リスニング体験は、「チャネルベース」手法又は（最新の）「オブジェクトベース」手法のいずれかを用いて提供することができる。
【０００５】
チャネルベース手法では、対応するスピーカ上での再生中にチャネルのレンダリングを行うべきであるという意図で各チャネルが記録される。対象のスピーカの物理的配置は予め決定され、或いはミキシング中に少なくとも大まかに想定される。一方、オブジェクトベース手法では、複数の独立したオーディオオブジェクトが、その同期関係は維持するものの、対象の再生スピーカ又は再生環境の構成又はジオメトリに関するあらゆる推測とは無関係に個別に記録され、記憶され、伝送される。オーディオオブジェクトの例には、単一の楽器、単一音楽の音として見なされるヴィオラセクションなどのアンサンブルセクション、人間の声、又は音響効果がある。空間的関係を保つために、オーディオオブジェクトを表すデジタルデータは、特定の音源に関連する情報を象徴する特定のデータ（「メタデータ」）をオブジェクト毎に含み、例えば、音源のベクトル方向、近接性、ラウドネス、動き及び広がりを象徴的に（好ましくは時間的に変化できる形で）符号化することができ、この情報が、特定の音響信号と共に伝送又は記録される。独立した音源波形と関連するメタデータとの組み合わせは、（オーディオオブジェクトファイルとして記憶される）オーディオオブジェクトを含む。この手法には、多くの異なる構成で柔軟にレンダリングできるという利点があるが、再生スピーカ及び再生環境のジオメトリ及び構成に基づいて正しいミックスを計算するレンダリングプロセッサ（「エンジン」）に負担がかかる。
【０００６】
オーディオのためのチャネルベース及びオブジェクトベースの両手法では、多くの場合、２つの独立チャネル（又はオブジェクトＡ及びＢ）を再生中に分離（アップミックス）できるようにダウンミックス信号（ＡプラスＢ）を伝送することが望ましい。ダウンミックスを伝送する１つの目的は、ダウンミックスされたプログラムをモノラルで、従来の２チャネルステレオで、又は（より一般的には）記録されたプログラムのチャネル数又はオブジェクト数よりもスピーカ数が少ないシステムで再生できるように後方互換性を維持することであると考えられる。より多くの複数チャネル又はオブジェクトを記録するには、アップミキシング処理を使用する。例えば、信号ＡとＢの合計Ｃ（Ａ＋Ｂ）を伝送し、Ｂも伝送した場合、受信機は、容易にＡ（Ａ＋Ｂ−Ｂ）＝Ａを構築することができる。或いは、コンポジット信号（Ａ＋Ｂ）及び（Ａ−Ｂ）を伝送した後に、伝送されたコンポジット信号の線形結合を利用することによってＡ及びＢを回復することもできる。多くの先行システムは、この「マトリクスミキシング」手法の変形を使用する。これらのシステムは、異なるチャネル又はオブジェクトの回復において多少成功している。しかしながら、数多くのチャネル、又は特にオブジェクトを合計する場合には、アーチファクト又は非現実的に高い帯域幅要件を伴わずに個々の異なるオブジェクト又はチャネルを適切に再生することが困難になる。オブジェクトベースのオーディオは、非常に多くの独立したオーディオオブジェクトを伴うことが多いので、特にデータレート（又は、より一般的には帯域幅）が制約されている場合、ダウンミックス信号から個別のオブジェクトを回復するのに効果的なアップミキシングを行う際に大きな困難が伴う。
【０００７】
ほとんどの実際のデジタルオーディオ伝送又は記録システムでは、何らかのデータ圧縮法が非常に望ましい。データレートは常に何らかの制約を受け、より効率的にオーディオを伝送することが常に望ましい。この考えは、個別チャネル又はアップミックスチャネルのいずれかとして多くのチャネルを使用する際にますます重要になる。本出願における「圧縮」という用語は、結果的にデータレートが低減されるか、それともファイルサイズが縮小されるかに関わらず、オーディオ信号の伝送又は記録のためのデータ要件を低下させる方法を意味する。（この定義は、ここでは関連性のない他のオーディオの文脈においてやはり「圧縮」と呼ばれることがあるダイナミックレンジ圧縮と混同されないようにすべきである）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許第５，９７４，３８０号明細書
【特許文献２】米国特許第５，９７８，７６２号明細書
【特許文献３】米国特許第６，４８７，５３５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００９】
一般に、従来のダウンミックス信号圧縮法では、可逆的符号化又は冗長的記述という２つの方法の一方が使用される。いずれの方法も解凍後のアップミックスを容易にすることができるが、両方法には欠点がある。
【００１０】
可逆的符号化及び非可逆的符号化
コードストリーム内で符号化されレンダラに送られる独立信号（オブジェクト）をＡ、Ｂ1、Ｂ2、．．．、Ｂmとする。区別されるオブジェクトＡはベースオブジェクトと呼ばれ、Ｂ＝Ｂ1、Ｂ2、．．．、Ｂmは正規オブジェクト（ｒｅｇｕｌａｒ  ｏｂｊｅｃｔｓ）と呼ばれる。オブジェクトベースオーディオシステムでは、例えば各オブジェクトを異なる空間位置でレンダリングできるように、オブジェクトを同時に、ただし独立してレンダリングすることに関心がある。
【００１１】
後方互換性が望ましく、換言すれば、オブジェクトベースでもオブジェクトアウェア（ｏｂｊｅｃｔ−ａｗａｒｅ）でもない、或いは可能なチャネルが少ないレガシーシステムによって符号化ストリームを解釈できる必要がある。このようなシステムは、Ｃの符号化（圧縮）バージョンであるＥ（Ｃ）から、複合オブジェクト又は複合チャネルＣ＝Ａ＋Ｂ1＋Ｂ2＋．．．＋Ｂmをレンダリングすることしかできない。従って、伝送されるコードストリームはＥ（Ｃ）を含み、レガシーシステムによって無視される個々のオブジェクトの記述が後続する必要がある。従って、このコードストリームは、Ｅ（Ｃ）と、その後の正規オブジェクトの記述Ｅ（Ｂ1）、Ｅ（Ｂ2）、．．．、Ｅ（Ｂm）とで構成することができる。その後、これらの記述を復号し、Ａ＝Ｃ−Ｂ1−Ｂ2−・・・−Ｂmを設定することによってベースオブジェクトＡが回復される。しかしながら、実際に使用されているほとんどのオーディオコーデックは非可逆的であり、すなわち符号化オブジェクトＥ（Ｘ）の復号バージョンＱ（Ｘ）＝Ｄ（Ｅ（Ｘ））はＸの近似にすぎず、従って必ずしもＸと全く同じものではない。一般に、近似の精度は、コーデックの選択、及びコードストリームに使用できる帯域幅（又は記憶空間）に依存する。可逆的符号化、すなわちＱ（Ｘ）＝Ｘも可能ではあるが、通常、これには非可逆的符号化よりも著しく大きな帯域幅又は記憶空間が必要である。一方で、非可逆的符号化でも、原音と知覚的に区別できない高品質な再生を行うことができる。
【００１２】
冗長的記述
別の方法は、特定の特権的オブジェクトＡの明示的符号化をコードストリームに含め、従ってコードストリームをＥ（Ｃ）、Ｅ（Ａ）、Ｅ（Ｂ1）、Ｅ（Ｂ2）、．．．、Ｅ（Ｂm）で構成することである。Ｅが非可逆的であると仮定すると、この方法は、可逆的符号化を使用するよりも経済的である可能性が高いが、依然として効率的な帯域幅使用ではない。この方法は、Ｅ（Ｃ）が、個別に符号化されたオブジェクトＥ（Ａ）、Ｅ（Ｂ1）、Ｅ（Ｂ2）、．．．、Ｅ（Ｂm）と明らかに相関しているので冗長である。
【課題を解決するための手段】
【００１３】
冗長な伝送又は可逆的圧縮と比べてビットレート要件を低下させながらアップミックスアーチファクトを低減する形で、ダウンミックス信号を含む、複数のトラック及びオブジェクトを有するダウンミックスされたコンポジット信号の非可逆的圧縮及び伝送を実現する。圧縮トータルミックス及び少なくとも１つの圧縮オーディオオブジェクトと共に、圧縮残差信号を生成して伝送する。本発明は、受け取り及びアップミックスの態様において、ダウンミックス信号及びその他の圧縮オブジェクトを解凍し、近似アップミックス信号を計算し、解凍された残差信号を減法することによってアップミックスから導出される特定のベース信号を補正する。従って、本発明は、ダウンミックスオーディオ信号と組み合わせて非可逆的圧縮を使用して、通信チャネルを介して伝送（又は記憶）することができる。将来的な受け取り時及びアップミックス時には、マルチオブジェクト能力を提供する優れたシステムにおいてさらなるベース信号を回復することができる（一方で、レガシーシステムは、アップミックスを伴わずにトータルミックスを容易に復号することができる）。本発明の方法及び装置は、ａ）オーディオ圧縮及びダウンミキシングの態様、及びｂ）オーディオ解凍／アップミキシングの態様の両方を有し、圧縮は、ビットレート低減（又はファイルサイズ縮小）方法を意味すると理解すべきであり、ダウンミキシングは、チャネル又はオブジェクト数の低減を意味し、アップミキシングは、以前にダウンミックスされたチャネル又はオブジェクトを回復して分離することによるチャネル数の増加を意味する。
【００１４】
本発明は、その解凍及びアップミキシングの態様において、圧縮されダウンミックスされたコンポジットオーディオ信号を解凍してアップミックスする方法を含む。この方法は、トータルミックス信号Ｃの圧縮表現と、（少なくとも１つのメンバを有する）それぞれのオブジェクト信号の組｛Ｂｉ｝の圧縮表現の組と、残差信号Δの圧縮表現とを受け取るステップと、トータルミックス信号Ｃの圧縮表現を解凍するステップと、オブジェクト信号の組｛Ｂｉ｝と、残差信号Δの圧縮表現とを解凍して、それぞれの近似トータルミックス信号Ｃ’と、近似オブジェクト信号の組｛Ｂｉ’｝と、復元された残差信号Δ’とを取得するステップと、近似トータルミックス信号Ｃ’と、完全な近似オブジェクト信号の組｛Ｂｉ’｝とを減法ミキシングしてベース信号Ｒの近似Ｒ’を取得するステップと、復元された残差信号Δ’と、基準信号Ｒの近似Ｒ’とを減法ミキシングして、補正されたベース信号Ａ’’を生じるステップとを含む。好ましい実施形態では、Ｃ及び少なくとも１つのＢｉの圧縮表現のうちの少なくとも１つが、非可逆的圧縮法によって準備される。
【００１５】
本発明は、その圧縮及びダウンミキシングの態様において、トータルミックス信号Ｃと、（少なくとも１つのメンバＢｉを有する）少なくとも１つのオブジェクト信号の組｛Ｂｉ｝と、ベース信号Ａとを含むコンポジットオーディオ信号の圧縮方法を含み、トータルミックス信号Ｃは、以下のステップに従って少なくとも１つのオブジェクト信号の組｛Ｂｉ｝とミックスされたベース信号Ａを含み、このステップは、トータルミックス信号Ｃと、少なくとも１つのオブジェクト信号の組｛Ｂｉ｝とを非可逆的圧縮法によって圧縮して、圧縮されたトータルミックス信号Ｅ（Ｃ）と、圧縮されたオブジェクト信号の組Ｅ（｛Ｂｉ｝）とをそれぞれ生じるステップと、圧縮されたトータルミックス信号Ｅ（Ｃ）と、圧縮されたオブジェクト信号の組Ｅ（｛Ｂｉ｝）とを解凍して、復元されたＱ（Ｃ）と、復元されたオブジェクト信号の組Ｑ（｛Ｂｉ｝）とを取得するステップと、復元された信号Ｑ（Ｃ）と、完全なオブジェクト信号の組Ｑ（｛Ｂｉ｝）を減法ミキシングして、近似ベース信号Ｑ’（Ａ）を生じるステップと、近似ベース信号から基準信号を減法して、残差信号Δを生じた後に、残差信号Δを圧縮して、圧縮された残差信号Ｅｃ（Δ）を取得するステップとを含む。圧縮されたトータルミックス信号Ｅ（Ｃ）、（少なくとも１つの）圧縮されたオブジェクト信号の組Ｅ（｛Ｂｉ｝）、及び圧縮された残差信号Ｅｃ（Δ）は、伝送（又は同等に記憶又は記録）されることが好ましい。
【００１６】
圧縮及びダウンミックスの態様の一実施形態では、基準信号が、ベースミックス信号Ａを含む。別の実施形態では、基準信号が、ベース信号Ａを非可逆的方法によって圧縮して圧縮信号Ｅ（Ａ）を形成した後に、の圧縮信号Ｅ（Ａ）を解凍して（ベース信号Ａの近似である）基準信号を取得することによって導出されるベース信号Ａの近似である。
【００１７】
この概要は、以下の詳細な説明でさらに後述する概念の選択を単純な形で導入するために示すものである。この概要は、特許請求する主題の重要な又は必須の特徴を識別するためのものでも、特許請求の範囲を限定するために使用するためのものでもない。本出願において使用する「組」という用語は、文脈上明確に他の意味に解すべき場合を除き、少なくとも１つのメンバを有するが、必ずしも複数のメンバを有する必要はない組を示すために使用するものである。この意味は、数学的文脈において一般的に用いられるものであり、曖昧さを生じるべきではない。当業者には、添付図面と共に示す以下の好ましい実施形態の詳細な説明から本発明のこれらの及びその他の特徴及び利点が明らかになるであろう。
【図面の簡単な説明】
【００１８】
【図１】先行技術において知られている、ミックスオーディオ信号を含むコンポジット信号を後方互換性のある形で圧縮して伝送する一般的なシステムを示す高水準ブロック図である。
【図２】本発明の第１の実施形態による、コンポジットオーディオ信号圧縮法のステップを示すフロー図である。
【図３】本発明の解凍の態様による、オーディオ信号を解凍してアップミックスする方法のステップを示すフロー図である。
【図４】本発明の別の実施形態による、コンポジットオーディオ信号圧縮法のステップを示すフロー図である。
【図５】本発明の別の実施形態による、図２の方法と一致するコンポジットオーディオ信号圧縮装置の概略ブロック図である。
【図６】本発明の別の実施形態による、図４の方法と一致するコンポジットオーディオ信号圧縮装置の概略ブロック図である。
【発明を実施するための形態】
【００１９】
本明細書で説明する方法は信号処理に関し、具体的には、物理音を表すオーディオ信号の処理に関する。これらの信号は、デジタル電子信号によって表すことができる。説明では、連続する数学的定式化の図示又は説明を行って概念を示す場合があるが、実施形態によっては、アナログ信号又は（最終的には）物理音の離散近似を形成する時系列的なデジタルバイト又はデジタルワードの文脈で動作するものもあると理解されたい。離散デジタル信号は、周期的にサンプリングされたオーディオ波形のデジタル表現に対応する。ある実施形態では、約４８，０００サンプル／秒のサンプリングレートを使用することができる。或いは、９６ｋｈｚなどの高サンプリングレートを使用することもできる。特定用途の要件を満たすために、量子化スキーム及びビット分解を選択することもできる。本明細書で説明する技術及び装置は、複数のチャネルにおいて相互依存的に適用することができる。例えば、これらの技術及び装置は、２つよりも多くのチャネルを有するサラウンドオーディオシステムの文脈において使用することができる。
【００２０】
本明細書で使用する「デジタルオーディオ信号」又は「オーディオ信号」は、単なる数学的抽象概念を示すものではなく、その通常の意味を有することに加え、機械又は装置によって検出できる非一時的な物理媒体内で具体化される、又はこのような物理媒体によって運ばれる情報を示す。この用語は、記録又は伝送される信号を含み、限定するわけではないが、パルス符号変調（ＰＣＭ）を含むあらゆる形態の符号化による伝達を含むと理解されたい。出力又は入力は、ＭＰＥＧ、ＡＴＲＡＣ、ＡＣ３、又は米国特許第５，９７４，３８０号、第５，９７８，７６２号、及び第６，４８７，５３５号に記載されているＤＴＳ社の専有方法を含む様々な既知の方法のいずれかによって符号化又は圧縮することができる。これらの特定の圧縮法又は符号化法に対応するように、何らかの計算変更を行うこともできる。
【００２１】
概要
図１は、本発明が動作する一般環境を高レベルに一般化した図である。先行技術と同様に、エンコーダ１１０は、任意にＡ及びＢとして示す複数の独立したオーディオ信号を受け取り、ミキサ１２０を用いてこれらの信号をトータルミックス信号Ｃ（＝Ａ＋Ｂ）にダウンミックスし、圧縮器１３０を用いてこのダウンミックス信号を圧縮し、デコーダ１６０においてこの信号の合理的近似の復元を可能にする形でダウンミックス信号を伝送（又は記録）する。図面には、（単純化のために）１つの信号Ｂしか示していないが、本発明は、複数の独立信号又は独立オブジェクトＢ1、Ｂ2、．．．、Ｂmと共に使用することができる。同様に、以下の説明では、オブジェクトの組Ｂ1、Ｂ2、．．．、Ｂmについて言及するが、このオブジェクトの組は、少なくとも１つのオブジェクトで構成され、すなわちｍ≧１であり、特定の数のオブジェクトに限定されるものではないと理解されたい。
【００２２】
図１には、エンコーダ１１０及びデコーダ１６０に加えて一般的な伝送チャネル１５０も示しており、この伝送チャネルは、伝送媒体手段、記録媒体手段又は記憶媒体手段、特に非一時的機械可読記憶媒体に記録するいずれかの手段を含むと理解されたい。本発明の文脈では、より一般的に言えば通信理論では、将来的な再生と組み合わせた記録又は記憶を、特別な情報伝送又は通信の事例と見なすことができ、再生は、一般に後の時点で、任意に異なる空間位置で符号化情報を受け取って復号することに対応すると理解されたい。従って、「伝送する」という用語は、記憶媒体に記録することを意味することができ、「受け取る」という用語は、記憶媒体から読み取ることを意味することができ、「チャネル」という用語は、媒体上の情報ストレージを含むことができる。
【００２３】
これらの信号は、信号（Ａ、Ｂ、Ｃ）間の同期関係を維持及び保持するように伝送チャネルを介して多重化フォーマットで伝送されることが重要である。マルチプレクサ及びデマルチプレクサは、当業で周知のビットパッキング方法とデータフォーマット方法との組み合わせを含むことができる。伝送チャネルは、（例えば）ＯＳＩ階層モデルにおいて説明されるチャネル層又は物理層に適した誤り訂正、パリティチェック又はその他の技術などの、他の情報符号化階層又は情報処理階層を含むこともできる。
【００２４】
図示のように、デコーダは、圧縮又はダウンミックスされたオーディオ信号を受け取り、この信号を逆多重化し、アップミックスの容認可能な復元による複数の独立信号（又はオーディオオブジェクト）の再生を可能にする本発明の方法でこの信号を解凍する。その後、この信号をアップミックスして原信号（又はできるだけ近い近似）を回復することが好ましい。
【００２５】
動作理論
コードストリーム内で符号化されレンダラに送られる独立信号（オブジェクト）をＡ、Ｂ1、Ｂ2、．．．、Ｂmとする。区別されるオブジェクトＡはベースオブジェクトと呼ばれ、Ｂ＝Ｂ1、Ｂ2、．．．、Ｂmは正規オブジェクト（ｒｅｇｕｌａｒ  ｏｂｊｅｃｔｓ）と呼ばれる。オブジェクトの組Ｂ1、Ｂ2、．．．、Ｂmについて言及するが、このオブジェクトの組は、少なくとも１つのオブジェクト（すなわちｍ＝１）を含み、特定の数のオブジェクトに限定されるものではないと理解されたい。オブジェクトベースオーディオシステムでは、例えば各オブジェクトを異なる空間位置でレンダリングできるように、オブジェクトを同時に、ただし独立してレンダリングすることに関心がある。
【００２６】
後方互換性については、オブジェクトベースでもオブジェクトアウェア（ｏｂｊｅｃｔ−ａｗａｒｅ）でもないレガシーシステムによって符号化ストリームを解釈できる必要がある。このようなシステムは、Ｃの符号化バージョンであるＥ（Ｃ）から、複合オブジェクトＣ＝Ａ＋Ｂ1＋Ｂ2＋．．．＋Ｂmをレンダリングすることしかできない。従って、伝送されるコードストリームはＥ（Ｃ）を含み、レガシーシステムによって無視される個々のオブジェクトの記述が後続する必要がある。先行技術の方法では、コードストリームが、Ｅ（Ｃ）と、その後の正規オブジェクトの記述Ｅ（Ｂ1）、Ｅ（Ｂ2）、．．．、Ｅ（Ｂm）とで構成される。その後、これらの記述を復号し、Ａ＝Ｃ−Ｂ1−Ｂ2−・・・−Ｂmを設定することによってベースオブジェクトＡが回復される。しかしながら、実際に使用されているほとんどのオーディオコーデックは非可逆的であり、すなわち符号化オブジェクトＥ（Ｘ）の復号バージョンＱ（Ｘ）＝Ｄ（Ｅ（Ｘ））はＸの近似にすぎず、従って必ずしもＸと全く同じものではない。一般に、近似の精度は、コーデック｛Ｅ、Ｄ｝の選択、及びコードストリームに使用できる帯域幅（又は記憶空間）に依存する。
【００２７】
従って、非可逆的エンコーダを用いた場合、デコーダは、オブジェクトＣ、Ｂ1、Ｂ2、・・・、Ｂｍにアクセスするのではなく、近似バージョンであるＱ（Ｃ）、Ｑ（Ｂ1）、Ｑ（Ｂ2）、・・・、Ｑ（Ｂm）にしかアクセスすることができず、Ａを以下の形でしか推定することができない。
Ｑ’（Ａ）＝Ｑ（Ｃ）−Ｑ（Ｂ1）−Ｑ（Ｂ2）−・・・−Ｑ（Ｂm）
このような近似は、個々の非可逆的符号化において誤りの蓄積を生じやすい。この結果、実際にアーチファクトが知覚されるという不都合が生じてしまう。具体的に言えば、Ｑ’（Ａ）は、Ｑ（Ａ）よりも大幅に劣るＡの近似とすることができ、そのアーチファクトは、Ｑ（Ａ）には見られない他のオブジェクトとの相関性を統計的に有することがある。実際には、（非可逆的圧縮の場合）Ｃ−Ｂ１−Ｂ２などの残差が、Ｂ１＋Ｂ２．．と聴覚的に相関する。我々人間の耳は、アルゴリズム的に検出するのが困難な相関に気付くことができる。
【００２８】
本発明によれば、従来の手法に関連して説明した冗長性の一部を回避しながらも、容認可能なＡの復元が可能になる。コードストリームに（冗長信号）Ｑ（Ａ）を含める代わりに符号化Ｅc（Δ）を含め、この場合、Δは、以下の残差信号であり、
Δ＝Ｑ’（Ａ）−Ａ
Ｅcは、（必ずしもＥと同じものではない）Δの非可逆的エンコーダである。ＥcのデコーダをＤcとし、
Ｒ（Δ）＝Ｄc（Ｅc（Δ））
とすると、デコーダ側では、Ａの近似が以下のように取得される。
Ｑc（Ａ）＝Ｑ’（Ａ）−Ｒ（Δ）
【００２９】
第１の実施形態の方法
１．エンコーダ
上記で数学的に説明した符号化方法は、図２に示す一連の動作として手続き的に説明することができる。上述したように、少なくとも１つの区別されるオブジェクトＡをベースオブジェクトと呼び、Ｂ1、Ｂ2、．．．、Ｂmを正規オブジェクトと呼ぶ。簡潔にするために、以下では正規オブジェクトを集合的にＢと呼ぶことができ、全ての（少なくとも１つの）正規オブジェクトの組Ｂ1、Ｂ2、．．．、Ｂmは、｛Ｂｉ｝として表すことができ、対照的にＢ＝Ｂ１＋Ｂ２＋．．．＋Ｂｍは、正規オブジェクトＢ1、Ｂ2、．．．、Ｂmのミックスを示すと理解されたい。この方法は、ミックス信号Ｃ＝Ａ＋Ｂから開始する。予備ステップとしてＡ＋Ｂのミキシングを行い、又は予めミックスされた形で信号を供給できることが明らかであろう。信号Ａも必要であり、この信号は、別個に受け取ることも、或いはＣからＢを減法することによって復元することもできる。（少なくとも１つの）正規オブジェクトの組｛Ｂｉ｝も必要であり、後述するようにエンコーダによって使用される。
【００３０】
最初に、エンコーダが、非可逆的符号化法を用いて信号Ａ、｛Ｂｉ｝及びＣを別個に圧縮して、Ｅ（Ａ）、｛Ｅ（Ｂｉ）｝及びＥ（Ｃ）としてそれぞれ示す対応する圧縮信号を取得する（ステップ２１０）。（｛Ｅ（Ｂｉ）｝という表記は、各々が信号の組｛Ｂｉ｝に属するそれぞれの元々のオブジェクトに対応する符号化オブジェクトの組を示しており、各オブジェクト信号は、Ｅによって個別に符号化される）。次に、エンコーダは、Ｃ及び｛Ｂｉ｝を圧縮するために使用した方法に対する相補的方法によってＥ（Ｃ）及び｛Ｅ（Ｂｉ）｝を解凍して、復元信号Ｑ（Ｃ）及び｛Ｑ（Ｂｉ）｝を生じる（ステップ２２０）。これらの信号は、元々の信号Ｃ及び｛Ｂｉ｝の近似である（非可逆的な圧縮／解凍方法を用いて圧縮した後に解凍したことによって異なる）。次に、減法ミキシングステップ２３０によってＱ（Ｃ）から｛Ｑ（Ｂｉ）｝を減法して、非可逆的符号化において誤りが導入された後にミキシングが行われることによってＡと異なる、元々のＡの近似である修正アップミックス信号Ｑ’（Ａ）を生じる。次に、第２のミックスステップ２４０において、修正アップミックス信号Ｑ’（Ａ）から信号Ａ（基準信号）を減法して残差信号Δ＝Ｑ’（Ａ）−Ａを取得する（ステップ１３０）。次に、必ずしも（ステップ２１０において、信号Ａ、｛Ｂｉ｝又はＣの圧縮に使用した）Ｅと同じ圧縮法又は圧縮装置ではないＥｃとして示す圧縮法によって残差信号Δを圧縮する（ステップ２５０）。帯域幅要件を低下させるために、Ｅｃは、Δの特性に一致するように選択されたΔのための非可逆的エンコーダであることが好ましい。しかしながら、帯域幅についてそれほど最適化されていない別の実施形態では、Ｅｃを可逆的圧縮法とすることもできる。
【００３１】
なお、上述した方法では、（信号｛Ｂｉ｝及びＣに適用される）連続する圧縮及び解凍ステップ２１０及び２２０が必要である。後述する別の方法では、これらのステップにおいて、場合によっては非可逆的圧縮（及び解凍）部分のみを実行することによって計算複雑性及び計算時間を低減することができる。例えば、米国特許第５９７４３８０号に記載されているＤＴＳコーデックなどの多くの非可逆的解凍方法では、非可逆的ステップ（サブバンドへのフィルタ処理、ビット割り当て、サブバンドでの量子化）の後に（コードブック、エントロピー低減を適用する）可逆的ステップを連続して適用する必要がある。このような場合、符号化及び復号の両方に対する可逆的ステップを省略して非可逆的ステップのみを実行すれば十分である。復元された信号は、依然として非可逆的伝送の効果を全て示すが、多く計算ステップが短縮される。
【００３２】
その後、エンコーダは、Ｒ＝Ｅｃ（Δ）、Ｅ（Ｃ）、及び｛Ｅ（Ｂｉ）｝を伝送する（ステップ２６０）。この符号化方法は、これらの３つの信号を多重化パッケージに多重化又は再フォーマットして伝送又は記録する任意のステップも含むことが好ましい。３つの別個の、ただし関連する信号の時間同期を維持又は復元するための何らかの手段を使用する場合には、既知の多重化方法のいずれかを使用することができる。なお、３つの信号全てに異なる量子化スキームを使用することも、これらの信号間で帯域幅を分散させることもできる。Ｅには、（いくつかの例を挙げると）ＭＰ３、ＡＡＣ、ＷＭＡ又はＤＴＳを含む多くの既知の非可逆的オーディオ圧縮法のいずれかを使用することができる。
【００３３】
この方法は、少なくとも以下の利点をもたらす。第１に、「誤り」信号Δの電力及びエントロピーが元々のオブジェクトのものよりも小さいと予想される。Ａと比べて低減された電力を有することにより、誤り信号Δは、オブジェクトＡよりも少ないビットで符号化することができ、このことは復元に役立つ。従って、提案する方法は、上述した冗長的記述方法（技術背景の欄の方法）よりも経済的であると予想される。第２に、エンコーダＥをあらゆるオーディオエンコーダ（例えば、ＭＰ３、ＡＡＣ、ＷＭＡなど）とすることができ、特に、好ましい実施形態では、このエンコーダを、心理音響的原理を使用する非可逆的エンコーダとすることができる。（当然ながら、対応するデコーダも、対応する非可逆的デコーダになる）。第３に、エンコーダＥcが標準的なオーディオエンコーダでなくてもよく、標準的なオーディオ信号でない信号Δに合わせて最適化することができる。実際に、Ｅcの設計及び最適化における知覚的考慮は、標準的なオーディオエンコーダの設計におけるものと異なる。例えば、知覚的オーディオコーデックは、常に全ての信号部分のＳＮＲを最大化しようとするものではなく、信号強度が高く、より大きな誤りが可能な場合には、より「不変性」の高い瞬時ＳＮＲ形態が求められることもある。実際に、このことは、Ｑ’（Ａ）で見られるＢiに起因するアーチファクトの主な原因である。Ｅcの場合には、これらのアーチファクトをできるだけ多く排除しようと努め、従ってこの場合は端的な瞬時ＳＮＲ最大化の方が適していると思われる。
【００３４】
図３に、本発明による復号方法を示す。予備の任意ステップ３００として、デコーダは、データストリームを受け取り、逆多重化してＥｃ（Δ）、｛Ｅ（Ｂｉ）｝及びＥ（Ｃ）を回復しなければならない。最初に（ステップ３１０）、デコーダは、圧縮データストリーム（又はファイル）Ｅｃ（Δ）、｛Ｅ（Ｂｉ）｝及びＥ（Ｃ）を受け取る。次に、デコーダは、データストリーム（又はファイル）Ｅｃ（Δ）、｛Ｅ（Ｂｉ）｝、及びＥ（Ｃ）の各々を解凍して（ステップ３２０）、復元表現｛Ｑ（Ｂｉ）｝、Ｑ（Ｃ）及びＲｃ（Δ）＝Ｄｃ（Ｅｃ（Δ））を取得し、この場合のＤｃは、圧縮法Ｅｃとは逆の解凍方法であり、｛Ｅ（Ｂｉ）｝及びＥ（Ｃ）の解凍方法は、Ｂｉ及びＣに使用した圧縮法に対する相補的方法である。信号Ｑ（Ｃ）と｛Ｑ（Ｂｉ）｝を減法的にミキシングして、Ｑ’（Ａ）＝Ｑ（Ｃ）−ΣＱ（Ｂｉ）を回復させる（ステップ３３０）。この信号Ｑ’（Ａ）は、いずれも非可逆的コーデック法によって伝送されたＱ（Ｃ）及び｛Ｑ（Ｂｉ）｝の減法ミキシングから復元されたものであるため、元々のＡとは異なるＡの近似である。本発明の復号及びアップミックス法では、この時、復元された残差Ｒ（Δ）を減法してＱｃ（Ａ）＝Ｑ’（Ａ）−Ｒ（Δ）を取得すること（ステップ３４０）によって近似信号Ｑ’（Ａ）が改善される。次に、回復されたレプリカ信号Ｑｃ（Ａ）、Ｑ（Ｃ）及び｛Ｑ（Ｂｉ）｝をアップミックス（Ａ、｛Ｂｉ｝）として再生し、又は再生のために出力することができる（ステップ３５０）。ダウンミックス信号Ｑ（Ｃ）は、チャネル数の少ないシステムの出力にも（或いは消費者制御又は基本設定に基づく選択肢として）利用可能である。
【００３５】
本発明の方法では、いくつかの冗長データの伝送が必要であると理解されるであろう。しかしながら、本発明の方法のファイルサイズ（又はビットレート要件）は、ａ）全てのチャネルに可逆的符号化を使用するため、又はｂ）非可逆的符号化オブジェクトに非可逆的符号化アップミックスを加えた冗長的記述を伝送するために必要なものよりも小さい。１つの実験として、本発明の方法を用いて、（単一のオブジェクトＢについての）アップミックスＡ＋ＢをベースチャネルＡと共に伝送した。この結果を表１に示す。冗長的記述（先行技術）による方法では、ミックスを伝送するために３０９ＫＢが必要であるのに対し、本発明の方法では、同じ情報のために２５１ＫＢ（プラス多重化及びヘッダフィードのための最低限のオーバヘッド）しか必要でないことが分かる。この実験は、圧縮法をさらに最適化することによって達成できる改善の限度を表すものではない。
【００３６】
図４に示すこの方法の別の実施形態では、Ｑ’（Ａ）＝Ｄ（Ｅ（Ｃ））−Σ（Ｅ（Ｂｉ））と、（Ａの代わりの）Ｑ（Ａ）との差分から残差信号Δが取得される点で符号化方法が異なる。この実施形態は、Ａの復元が望ましく、Ｂ及びＣの復元とほぼ同じ品質に達することが見込まれる（より忠実性の高いＡの復元を得ようとする必要がない）用途において特に適している。多くの場合、この実施形態は、オーディオエンターテイメントシステムにおける事例である。
【００３７】
なお、別の実施形態では、Ｑ’（Ａ）が、ａ）Ｃのダウンミックスを符号化した後に復号したバージョンと、ｂ）非可逆的に符号化されたベースミックスＢを復号することによって再生された復元ベースオブジェクト｛Ｑ（Ｂｉ）｝との差分を取ることによって再生される信号である。
【００３８】
図４を参照すると、この代替方法では、エンコーダが、非可逆的符号化方法を用いて信号Ａ、｛Ｂｉ｝及びＣを別個に圧縮して、それぞれＥＡ、｛Ｅ（Ｂｉ）｝及びＥ（Ｃ）として示す３つの対応する圧縮信号を取得する（ステップ４１０）。次に、エンコーダは、Ａを圧縮するために使用した方法に対する相補的方法によってＥ（Ａ）を解凍し、（Ａは、非可逆的圧縮／解凍方法を用いて圧縮された後に解凍されたことによって異なる）Ａの近似であるＱ（Ａ）を生じる（ステップ４２０）。次に、この代替方法は、Ｃ及び｛Ｂｉ｝を符号化するために使用した方法に対するそれぞれの相補的方法によってＥ（Ｃ）及び｛Ｅ（Ｂｉ）｝の両方を解凍する（ステップ４３０）。結果として得られる復元信号Ｑ（Ｃ）及び｛Ｑ（Ｂｉ）｝は、非可逆的符号化及び復号方法によって導入された欠陥によって異なる元々の｛Ｂｉ｝及びＣの近似である。次に、この代替方法は、ステップ４４０において、Ｑ（Ｃ）からΣＱ（Ｂｉ）を減法して差分信号Ｑ’（Ａ）を取得する。Ｑ’（Ａ）は、伝送されたダウンミックスに非可逆的圧縮を使用したことによって異なるＡの別の近似である。Ｑ’（Ａ）からＱ（Ａ）を減法することによって残差信号Δが取得される（ステップ４５０）。
【００３９】
次に、ステップ４６０において、（Ｅとは異なることができる）符号化方法Ｅｃによって残差信号Δを圧縮する。上述した第１の実施形態と同様に、Ｅｃは、残差信号の特性に適した非可逆的コーデックであることが好ましい。その後、エンコーダは、同期関係を維持したまま伝送チャネルを介してＲ＝Ｅｃ（Δ）、Ｅ（Ｃ）及び｛Ｅ（Ｂｉ）｝を伝送する（ステップ４７０）。この符号化方法も、これらの３つの信号を多重化パッケージに多重化又は再フォーマットして伝送又は記録することを含むことが好ましい。３つの別個の、ただし関連する信号の時間同期を維持又は復元するための何らかの手段を使用する場合には、既知の多重化方法のいずれかを使用することができる。なお、３つの信号全てに異なる量子化スキームを使用することも、これらの信号間で帯域幅を分散させることもできる。Ｅには、（いくつかの例を挙げると）ＭＰ３、ＡＡＣ、ＷＭＡ又はＤＴＳを含む多くの既知のオーディオ圧縮法のいずれかを使用することができる。
【００４０】
この代替の符号化方法によって符号化された信号は、図３に関連して上述した方法と同じ復号方法によって復号することができる。デコーダが、復元された残差信号を減法してアップミックス信号の近似であるＱ（Ａ）を改善することにより、復元されたレプリカ信号Ｑ（Ａ）と元々の信号Ａと差分が小さくなる。本発明の両実施形態は、ある信号を復号してアップミックスした後に特権的オブジェクトＡを抽出すると予想される差分を表す残差信号又は誤り信号Δをエンコーダにおいて生成するという一般原理によって一致する。両実施形態では、誤り信号Δが圧縮されて伝送（或いは同等に記録又は記憶）される。両実施形態では、デコーダが、圧縮された誤り信号Δを解凍し、特権的オブジェクトＡに近似する復元されたアップミックス信号からこの信号を減法する。
【００４１】
代替実施形態の方法は、特定の用途においていくつかの知覚的利点を有することができる。実際にどの代替例が好ましいかは、システムの特定のパラメータ及び特定の最適化目標に依存することができる。
【００４２】
本発明は、別の態様において、図５に示すようなミックスオーディオ信号圧縮又は符号化装置を含む。装置の第１の実施形態では、入力５１０及び５１２において信号Ｃ（＝Ａ＋Ｂオブジェクトミックス）及びＢがそれぞれ供給される。信号Ｃは、エンコーダ５２０によって符号化されて符号化信号Ｅ（Ｃ）を生じ、信号｛Ｂｉ｝は、エンコーダ５３０によって符号化されて第２の符号化信号｛Ｅ（Ｂｉ）｝を生じる。次に、Ｅ（Ｃ）及び｛Ｅ（Ｂｉ）｝は、デコーダ５４０及び５５０によってそれぞれ復号されて、復元信号Ｑ（Ｃ）及び｛Ｑ（Ｂｉ）｝を生じる。復元信号Ｑ（Ｃ）及び｛Ｑ（Ｂｉ）｝は、ミキサ５６０において減法ミキシングされて差分信号Ｑ’（Ａ）を生じる。この差分信号は、復元されたトータルミックスオブジェクトＱ（Ｃ）と、復元されたオブジェクト｛Ｑ（Ｂｉ）｝とからミックスすることによって取得されるという点で元々の信号Ａとは異なり、エンコーダ５２０が非可逆的エンコーダであるとともに、信号が（ミキサ５６０において）減法によって導出されるという両方の理由でアーチファクト又は誤りが導入される。次に、復元された信号Ｑ’（Ａ）が（５７０に入力された）信号Ａから減法され、好ましい実施形態では、圧縮器５２０とは異なる方法によって動作する第２のエンコーダ５８０によって差分Δが圧縮されて圧縮残差信号Ｅｃ（Δ）を生じる。
【００４３】
図６に示すエンコーダ装置の別の実施形態では、入力５１０及び５１２において信号Ｃ（＝Ａ＋Ｂオブジェクトミックス）及びＢがそれぞれ供給される。信号Ｃは、エンコーダ５２０によって符号化されて符号化信号Ｅ（Ｃ）を生じ、信号｛Ｂｉ｝は、エンコーダ５３０によって符号化されて第２の符号化信号Ｅ（Ｂ）を生じる。次に、Ｅ（Ｃ）及び｛Ｅ（Ｂｉ）｝は、デコーダ５４０及び５５０によってそれぞれ復号されて、復元信号Ｑ（Ｃ）及び｛Ｑ（Ｂｉ）｝を生じる。復元信号Ｑ（Ｃ）及びＱ（Ｂ）は、ミキサ５６０において減法ミキシングされて差分信号Ｑ’（Ａ）を生じる。この差分信号は、復元されたトータルミックスオブジェクトＱ（Ｃ）と、復元されたオブジェクト｛Ｑ（Ｂｉ）｝とからミックスすることによって取得されるという点で元々の信号Ａとは異なり、エンコーダ５２０が非可逆的エンコーダであるとともに、信号が（ミキサ５６０において）減法によって導出されるという両方の理由でアーチファクト又は誤りが導入される。ここまでは、この代替実施形態は第１の実施形態に類似する。
【００４４】
装置の代替実施形態では、入力５７０において受け取られた信号Ａが、（非可逆的エンコーダ５２０及び５３０と同じとすることも、或いはこれらと同じ原理により動作することもできる）エンコーダ５７２によって符号化された後に、５７２の符号化された出力が、相補的デコーダ５７４によって再び復号されて、エンコーダ５７２の非可逆的性質によってＡとは異なる復元された近似Ｑ（Ａ）を生じる。次に、復元信号Ｑ（Ａ）が、ミキサ５６０においてＱ’（Ａ）から減法され、結果として得られる残差信号が第２のエンコーダ５８０（非可逆的エンコーダ５２０及び５３０において使用した方法とは異なる方法）によって符号化される。その後、出力Ｅ（Ｃ）、｛Ｅ（Ｂｉ）｝及びＥ（Δ）が、好ましくは何らかの多重化フォーマットで、又は同期を可能にする他のいずれかの方法で伝送又は記録に利用可能になる。
【００４５】
第１の又は代替の方法又は符号化装置（図６）によって符号化されたコンテンツは、図３のデコーダによって復号できることが明らかであろう。デコーダは、圧縮された誤り信号を必要とするが、誤り計算方法によって変化する必要はない。これにより、デコーダ設計を変更せずにコーデックをさらに改善する機会が残される。
【００４６】
本発明で説明した方法は、汎用コンピュータ、デジタルオーディオワークステーション、ＤＶＤ又はＢＤプレーヤ、ＴＶチューナ、ＣＤプレーヤ、ハンドヘルドプレーヤ、インターフェイスオーディオ／ビデオ装置、ゲーム機、携帯電話機又はヘッドフォンなどの消費者向け電子装置に実装することができる。消費者向け電子装置は、中央処理装置（ＣＰＵ）を含むことができ、このＣＰＵは、ＩＢＭ  ＰｏｗｅｒＰＣ、Ｉｎｔｅｌ  Ｐｅｎｔｉｕｍ（ｘ８６）プロセッサなどの１又はそれ以上のタイプのプロセッサを表すことができる。ＣＰＵが行ったデータ処理動作の結果は、通常は専用メモリチャネルを介してＣＰＵに相互接続できるランダムアクセスメモリ（ＲＡＭ）に一時的に記憶される。消費者向け電子装置は、Ｉ／Ｏバスを介してやはりＣＰＵと通信できるハードドライブなどの永久記憶装置を含むこともできる。テープドライブ又は光学ディスクドライブなどの他のタイプの記憶装置を接続することもできる。ＣＰＵには、ビデオバスを介して、表示データを表す信号をディスプレイモニタに送信するグラフィクスカードを接続することもできる。オーディオ再生システムには、ＵＳＢポートを介してキーボード又はマウスなどの外部周辺データ入力装置を接続することもできる。ＵＳＢポートに接続されたこれらの外部周辺装置のために、ＵＳＢコントローラが、ＣＰＵへの及びＣＰＵからのデータ及び命令を変換することができる。消費者向け電子装置には、プリンタ、マイク、スピーカ及びヘッドフォンなどの追加装置を接続することもできる。
【００４７】
消費者向け電子装置は、ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔ社から提供されているＷＩＮＤＯＷＳ、カリフォルニア州クパチーノのＡｐｐｌｅ社から提供されているＭＡＣ  ＯＳ、Ａｎｄｒｏｉｄなどのモバイルオペレーティングシステム向けに設計された様々なバージョンのモバイルＧＵＩなどのグラフィックユーザインターフェイス（ＧＵＩ）を有するオペレーティングシステムを利用することができる。消費者向け電子装置は、１又は２以上のコンピュータプログラムを実行することができる。一般に、オペレーティングシステム及びコンピュータプログラムは、ハードドライブを含む固定式及び／又は着脱式データ記憶装置のうちの１つ又は２つ以上などの非一時的コンピュータ可読媒体内に有形的に具体化される。これらのオペレーティングシステム及びコンピュータプログラムは、いずれもＣＰＵによる実行のために上述のデータ記憶装置からＲＡＭにロードすることができる。コンピュータプログラムは、ＣＰＵに読み込まれ実行された時に、本明細書で説明した実施形態のステップ又は機能を実行するためのステップをＣＰＵに行わせる命令を含むことができる。
【００４８】
本明細書で説明した実施形態は、多くの異なる構成及びアーキテクチャを有することができる。このような構成又はアーキテクチャは、いずれも容易に代用することができる。当業者であれば、コンピュータ可読媒体では上述のシーケンスが最も一般的に利用されているが、代用できる既存のシーケンスは他にも存在すると認識するであろう。
【００４９】
１つの実施形態の要素は、ハードウェア、ファームウェア、ソフトウェア、又はこれらのいずれかの組み合わせによって実装することができる。ハードウェアとして実装する場合、本明細書で説明した実施形態は、１つのオーディオ信号プロセッサ上で使用することも、又は様々な処理要素に分散することもできる。ソフトウェアで実装する場合、実施形態の要素は、必要なタスクを行うためのコードセグメントを含むことができる。ソフトウェアは、１つの実施形態で説明した動作を実行するための実際のコード、或いは動作をエミュレート又はシミュレートするコードを含むことができる。これらのプログラム又はコードセグメントは、プロセッサ又は機械アクセス可能媒体に記憶することも、或いは搬送波内で具体化されたコンピュータデータ信号又は搬送体により変調された信号により、伝送媒体を介して送信することもできる。プロセッサ可読又はアクセス可能媒体、或いは機械可読又はアクセス可能媒体は、情報を記憶、送信、又は転送できるあらゆる媒体を含むことができる。対照的に、コンピュータ可読記憶媒体又は非一時的コンピュータストレージは、物理的な計算機ストレージ装置を含むことはできるが、信号は含まない。
【００５０】
プロセッサ可読媒体の例には、電子回路、半導体メモリ素子、リードオンリメモリ（ＲＯＭ）、フラッシュメモリ、消去可能ＲＯＭ、フロッピディスケット、コンパクトディスク（ＣＤ）ＲＯＭ、光ディスク、ハードディスク、光ファイバメディア、高周波（ＲＦ）リンクなどがある。コンピュータデータ信号としては、電子ネットワークチャネル、光ファイバ、無線リンク、電磁リンク、ＲＦリンクなどの伝送媒体を介して伝搬できるあらゆる信号を挙げることができる。コードセグメントは、インターネット、イントラネットなどのコンピュータネットワークを介してダウンロードすることができる。機械アクセス可能媒体は、製造の物品内で具体化することができる。機械アクセス可能媒体は、機械によってアクセスされた時に、後述する動作を機械に実行させるデータを含むことができる。ここでは、「データ」という用語は、この用語の通常の意味を有することに加え、機械が読み取れるように符号化されたあらゆるタイプの情報を意味する。従って、データは、プログラム、コード、ファイルなどを含むことができる。
【００５１】
様々な実施形態の全部又は一部は、デジタル論理回路を含むハードウェアプロセッサなどの機械で実行されるソフトウェアによって実装することもできる。ソフトウェアは、互いに結合された複数のモジュールを有することができる。ハードウェアプロセッサは、プログラマブルデジタルマイクロプロセッサ、専用プログラマブルデジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ、ＡＳＩＣ、又はその他のデジタルプロセッサとすることができる。１つの実施形態では、例えば、（エンコーダの態様又はデコーダの態様における）本発明による方法の全てのステップを、全てのステップをソフトウェアの制御下で連続的に実行する１又は２以上のプログラマブルデジタルコンピュータによって好適に実行することができる。ソフトウェアモジュールは、別のモジュールに結合されて、変数、パラメータ、引数、ポインタなどを受け取り、及び／又は結果、最新の変数、ポインタなどを生成し又は受け渡すことができる。ソフトウェアモジュールは、プラットフォーム上で実行されるオペレーティングシステムと相互作用するソフトウェアドライバ又はインターフェイスとすることもできる。ソフトウェアモジュールは、構成、設定、初期化、ハードウェア装置との間におけるデータ送受信を行うハードウェアドライバを含むこともできる。
【００５２】
様々な実施形態は、フローチャート、フロー図、構造図又はブロック図として示すことができる１又は２以上のプロセスとして説明することができる。ブロック図は、動作を逐次プロセスとして説明することができるが、これらの動作の多くは、平行して又は同時に行うことができる。また、動作の順序を並べ替えることもできる。プロセスは、その動作が完了した時に終了する。プロセスは、方法、プログラム、手順などに対応することができる。
【００５３】
本出願を通じ、しばしば加法、減法又は「減法ミキシング」信号について言及した。信号は、同等の結果をもたらす様々な方法でミックスすることができると容易に認識されるであろう。例えば、Ｇ（Ｇ−Ｆ）について任意の信号Ｆを減法するには、差動入力を用いて直接減法することも、或いは１つの信号を同等に反転させた後に加法すること（例：Ｇ＋（−Ｆ））もできる。位相シフトの導入などを含む他の同等の動作を想到することもできる。「減法」又は「減法ミキシング」などの用語は、このような同等の変形例を含むものである。同様に、様々な信号加法も可能であり、「ミックス」として企図される。
【００５４】
本発明の複数の例示的な実施形態を図示し説明したが、当業者には数多くの変更例及び代替実施形態が浮かぶであろう。このような変更例及び代替実施形態は、添付の特許請求の範囲に定める本発明の思想及び範囲から逸脱することなく検討し、実施することができる。
【符号の説明】
【００５５】
５１０、５１２  入力
５２０、５３０  エンコーダ
５４０、５５０  デコーダ
５６０  ミキサ
５８０  エンコーダ
【図１】
0006612841.tif 000002
【図２】
0006612841.tif 000003
【図３】
0006612841.tif 000004
【図４】
0006612841.tif 000005
【図５】
0006612841.tif 000006
【図６】
0006612841.tif 000007