(57)【要約】  マルチチャネルエンコーダ／デコーダ構成は、波形タイプの残留信号（１６）をさらに発生することが好ましい。この残留信号は、１つまたは複数のマルチチャネルパラメータ（１４）とともにデコーダに送信される（１８）。純粋なパラメトリックマルチチャネルデコーダに比べて、強化されたデコーダは、付加的な残留信号のために、出力品質が向上したマルチチャネル出力信号を生成する。
2008530616.tif 000002
【特許請求の範囲】
【請求項１】
２つ以上のチャネルを有する元のマルチチャネル信号を符号化するためのマルチチャネルエンコーダであって、
１つまたは複数のパラメータを提供するためのパラメータプロバイダを備え、１つまたは複数のパラメータは、再構成マルチチャネル信号が、マルチチャネル信号由来の１つまたは複数のダウンミックスチャネルと１つまたは複数のパラメータとを用いて形成できるように形成され、さらに、
残留信号を用いて形成される場合の再構成マルチチャネル信号が、残留信号を用いずに形成される場合より元のマルチチャネル信号に類似するように、元のマルチチャネル信号、１つまたは複数のダウンミックスチャネル、または１つまたは複数のパラメータに基づき符号化残留信号を生成するための残留エンコーダと、
残留信号および１つまたは複数のパラメータを有するデータストリームを形成するためのデータストリームフォーマとを備える、マルチチャネルエンコーダ。
【請求項２】
データストリームフォーマが、スケーラブルデータストリームを形成するよう作用し、１つまたは複数のパラメータおよび残留信号が異なるスケーリング層にある、請求項１に記載のマルチチャネルエンコーダ。
【請求項３】
残留エンコーダが、波形残留信号として符号化残留信号を計算するべく作用する、請求項１に記載のマルチチャネルエンコーダ。
【請求項４】
１つまたは複数のパラメータを使用せずに残留信号を発生させる場合に比べて、残留信号がより小さいエネルギを有するように、残留エンコーダが、１つまたは複数のパラメータと、１つまたは複数のダウンミクスチャネルを有していない元のマルチチャネル信号とに基づいて、残留信号を生成するべく作用する、請求項１に記載のマルチチャネルエンコーダ。
【請求項５】
パラメータプロバイダが、少なくとも２つのチャネルのうち第１および第２のチャネルを整列させるための時間アライナに付与すべき時間アラインメントパラメータを計算するためのアラインメント計算器か、または、
２つのチャネルの間の差分が、１の利得値に比べて少なくなるように、チャネルを重み付けするために、１に等しくない利得を計算するための利得計算器を備える、請求項４に記載のマルチチャネルエンコーダ。
【請求項６】
残留エンコーダが、第１のチャネルおよび整列したまたは重み付けされた第２のチャネルに由来する差分信号を計算しかつ符号化するべく作用する、請求項５に記載のマルチチャネルエンコーダ。
【請求項７】
整列したチャネルを用いてダウンミックスチャネルを生成するためのダウンミキサをさらに備える、請求項５に記載のマルチチャネルエンコーダ。
【請求項８】
マルチチャネル信号を複数の周波数帯へ分割するための分析フィルタバンクをさらに含み、
パラメータプロバイダと残留エンコーダとがサブバンド信号に対して作用するよう動作し、かつ
データストリームフォーマが複数の周波数帯の符号化残留信号およびパラメータを集めるべく作用する、請求項１に記載のマルチチャネルエンコーダ。
【請求項９】
残留エンコーダが、１つまたは複数のダウンミックスチャネルおよび１つまたは複数のパラメータを用いて、復号化されたマルチチャネル信号を生成するためのマルチチャネルデコーダと、
復号化マルチチャネル信号および元のマルチチャネル信号に基づいてマルチチャネル誤差信号表現を計算するための誤差計算器と、
マルチチャネル誤差信号表現を処理して、符号化残留信号を得るための残留プロセッサとを備える、請求項１に記載のマルチチャネルエンコーダ。
【請求項１０】
残留プロセッサが、マルチチャネル誤差信号表現のマルチチャネル表現を生成するためのマルチチャネルエンコーダを含む、請求項９に記載のマルチチャネルエンコーダ。
【請求項１１】
残留プロセッサが、マルチチャネル誤差信号表現の１つまたは複数のダウンミックスチャネルをさらに生成するために作用する、請求項１０に記載のマルチチャネルエンコーダ。
【請求項１２】
パラメータプロバイダが、チャネル間レベル差、チャネル間コヒーレンスパラメータ、チャネル間時間差またはチャネル放絡キュー等のバイノーラルキュー符号化（ＢＣＣ）パラメータを付与すべく作用する、請求項１に記載のマルチチャネルエンコーダ。
【請求項１３】
２以上のチャネルを有する元のマルチチャネル信号を符号化する方法であって、
１つまたは複数のパラメータを与えるステップを含み、その１つまたは複数のパラメータは、再構成マルチチャネル信号が、マルチチャネル信号由来の１つまたは複数のダウンミックスチャネルと１つまたは複数のパラメータを用いて形成できるように形成され、さらに、
残留信号を用いて形成される場合の再構成マルチチャネル信号が、残留信号を用いずに形成される場合より元のマルチチャネル信号に類似するように、元のマルチチャネル信号、１つまたは複数のダウンミックスチャネル、または１つまたは複数のパラメータに基づき符号化残留信号を生成するステップと、
残留信号および１つまたは複数のパラメータを有するデータストリームを形成するステップとを備える、方法。
【請求項１４】
１つまたは複数のダウンミックスチャネル、１つまたは複数のパラメータおよび符号化残留信号を有する符号化マルチチャネル信号を復号化するためのマルチチャネルデコーダであって、
符号化残留信号に基づき復号化された残留信号を生成するための残留デコーダと、
１つまたは複数のダウンミックスチャネルおよび１つまたは複数のパラメータを用いて第１の再構成マルチチャネル信号を生成するためのマルチチャネルデコーダとを備え、
マルチチャネルデコーダが、さらに、第１の再構成マルチチャネル信号の代わりまたは第１のマルチチャネル信号に加えて、１つまたは複数のダウンミックスチャネルおよび復号化残留信号を用いて第２の再構成マルチチャネル信号を生成するためにさらに作用し、
第２の再構成マルチチャネル信号が、第１の再構成マルチチャネル信号より元のマルチチャネル信号に類似する、マルチチャネルデコーダ。
【請求項１５】
符号化マルチチャネル信号が、スケーリングされたデータストリームにより表され、スケーリングされたデータストリームは、１つまたは複数のパラメータを含む第１のスケーリング層と符号化残留信号を含む第２のスケーリング層とを有し、
マルチチャネルエンコーダが、第１または第２のスケーリング層を抽出するためのデータストリームパーサを備える、請求項１４に記載のマルチチャネルデコーダ。
【請求項１６】
符号化残留信号が、１つまたは複数のパラメータに依存し、かつ
マルチチャネルデコーダが、１つまたは複数のダウンミックスチャネルと、１つまたは複数のパラメータと、第２の再構成マルチチャネル信号を生成するための復号化残留信号とを使用するべく作用する、請求項１４に記載のマルチチャネルデコーダ。
【請求項１７】
ダウンミックスチャネルが、アラインメントパラメータまたは利得パラメータに依存し、かつ
マルチチャネルデコーダが、利得パラメータに基づき第１の重み付けルールを用いてダウンミックスチャネルを重み付けし、かつ利得パラメータに基づき第２の重み付けルールを用いてダウンミックスチャネルを重み付けするよう作用するか、または、
アラインメントパラメータを用いて、他の出力チャネルに対して１つの出力チャネルを非整列化させるよう作用する、請求項１４に記載のマルチチャネルデコーダ。
【請求項１８】
ダウンミックスチャネルが、アラインメントパラメータまたは利得パラメータに依存し、かつ
マルチチャネルデコーダが、利得パラメータを用いてダウンミックスチャネルを重み付けし、
重み付けされたダウンミックスチャネルに復号化された残留信号を加え、結果として得られるチャネルを再び重み付けして第１のマルチチャネル出力チャネルを取得し、
復号化された残留信号をダウンミックスチャネルから減算し、かつ利得パラメータを用いて結果として得られるチャネルを重み付けするべく作用するか、または、
ダウンミックスチャネルと復号化残留信号との間の差分を非整列化して、第２のマルチチャネル出力信号を取得するべく作用する、請求項１４に記載のマルチチャネルデコーダ。
【請求項１９】
パラメータが、チャネル間レベル差、チャネル間コヒーレンスパラメータ、チャネル間時間差等のバイノーラルキュー符号化（ＢＣＣ）パラメータまたはチャネル放絡キューを含み、かつ
マルチチャネルデコーダが、バイノーラルキュー符号化（ＢＣＣ）構成に従い、マルチチャネル復号化動作を行うべく作用する、請求項１４に記載のマルチチャネルデコーダ。
【請求項２０】
１つまたは複数のダウンミックスチャネル、１つまたは複数のパラメータおよび符号化残留信号が、サブバンド専用データにより表され、
マルチチャネルデコーダにより生成される再構成サブバンドデータを結合させて、第１または第２の再構成マルチチャネル信号のフルバンド表現を取得するための合成フィルタバンクをさらに備える、請求項１４に記載のマルチチャネルデコーダ。
【請求項２１】
１つまたは複数のダウンミックスチャネルと、１つまたは複数のパラメータと、符号化残留信号とを有する符号化マルチチャネル信号を復号化する方法であって、
符号化残留信号に基づき、復号化残留信号を生成するステップと、
１つまたは複数のダウンミックスチャネルおよび１つまたは複数のパラメータを用いて第１の再構成マルチチャネル信号を生成するか、または１つまたは複数のダウンミックスチャネルおよび復号化残留信号を用いて第２の再構成マルチチャネル信号を生成するステップとを備え、
第２の再構成マルチチャネル信号が、第１の再構成マルチチャネル信号よりも元のマルチチャネル信号に類似する、方法。
【請求項２２】
２以上のチャネルを有する元のマルチチャネル信号を符号化するためのマルチチャネルエンコーダであって、
アラインメントパラメータを用いて２以上のチャネルのうちの第１および第２のチャネルを整列させるための時間アライナと、
整列したチャネルを用いてダウンミックスチャネルを生成するためのダウンミキサと、
整列したチャネル間の差分が、１の利得値に比べて小さくなるよう、整列したチャネルを重み付けするための、１に等しくない利得パラメータを計算するための利得計算器と、
ダウンミックスチャネルに関する情報と、アラインメントパラメータに関する情報と、利得パラメータに関する情報とを有するデータストリームを形成するためのデータストリームフォーマとを備える、マルチチャネルエンコーダ。
【請求項２３】
第１チャネルおよび整列しかつ重み付けされた第２のチャネル由来の差分信号を計算しかつ符号化するための残留エンコーダをさらに備え、
データストリームフォーマが符号化残留信号をデータストリームに含むよう作用する、請求項２０に記載のマルチチャネルエンコーダ。
【請求項２４】
１つまたは複数のダウンミックスチャネルに関する情報と、利得パラメータに関する情報と、アライメントパラメータに関する情報とを有する符号化マルチチャネル信号を復号化するためのマルチチャネルデコーダであって、
復号化ダウンミックス信号を生成するためのダウンミックスチャネルデコーダと、
利得パラメータを用いて復号化ダウンミックスチャネルを処理して第１の復号化出力チャネルを取得し、利得パラメータを用いて復号化されたダウンミックスチャネルを処理し、かつアラインメントパラメータを用いて非整列化を行い第２の復号化出力チャネルを取得するためのプロセッサとを備える、マルチチャネルデコーダ。
【請求項２５】
符号化マルチチャネル信号が、符号化残留信号をさらに含み、マルチチャネルデコーダが、
復号化残留信号を生成するための残留デコーダをさらに含み、
プロセッサが、利得パラメータを用いてダウンミックスチャネルを一次的に重み付けして、復号化残留信号を加え、利得パラメータを用いて二次的に重み付けをして、第１の再構成チャネルを取得し、かつ復号化残留信号を重み付けの前にダウンミックスチャネルから減算し、非整列化して再構成された第２のチャネルを取得するべく作用する、請求項２３に記載のマルチチャネルデコーダ。
【請求項２６】
２以上のチャネルを有する元のマルチチャネル信号を符号化する方法であって、
アラインメントパラメータを用いて２以上のチャネルのうち第１および第２のチャネルを時間整列させるステップと、
整列したチャネルを用いてダウンミックスチャネルを生成するステップと、
整列したチャネル間の差分が、１の利得値より小さくなるように、整列したチャネルを重み付けするための１に等しくない利得パラメータを計算するステップと、
ダウンミックスチャネルに関する情報、アラインメントパラメータに関する情報および利得パラメータに関する情報を有するデータストリームを形成するステップとを備える、方法。
【請求項２７】
１つまたは複数のダウンミックスチャネルに関する情報、利得パラメータに関する情報およびアラインメントパラメータに関する情報を有する符号化マルチチャネル信号を復号化する方法であって、
復号化ダウンミックス信号を生成するステップと、
利得パラメータを用いて、復号化ダウンミックス信号を処理し、第１の復号化出力チャネルを取得し、利得パラメータを用いて復号化ダウンミックスチャネルを処理しかつアラインメントパラメータに基づく非整列化を行って、第２の復号化出力チャネルを取得するステップとを備える、方法。
【請求項２８】
１つまたは複数のダウンミックスチャネルと、１つまたは複数のパラメータとに関する情報を有する符号化マルチチャネル信号であって、１つまたは複数のパラメータは、１つまたは複数のダウンミックスチャネルと結合させると、第１の再構成マルチチャネル信号を生じ、かつ符号残留信号は、１つまたは複数のダウンミックスチャネルと結合させると、第２の再構成マルチチャネル信号を生じ、
第２の再構成マルチチャネル信号が、第１の再構成マルチチャネル信号よりも、元のマルチチャネル信号に類似する、信号。
【請求項２９】
１つまたは複数のダウンミックスチャネルと、１つまたは複数のパラメータと、符号化残留信号とを有する符号化マルチチャネル信号を復号化する方法を実行するためのコンピュータプログラムであって、コンピュータ上で実行する場合、上記方法は、
符号化残留信号に基づく復号化残留信号を生成するステップと、
１つまたは複数のダウンミックスチャネルおよび１つまたは複数のパラメータを用いて第１の再構成マルチチャネル信号を生成するか、または１つまたは複数のダウンミックスチャネルおよび復号化残留信号を用いて第２の再構成マルチチャネル信号を生成するステップとを備え、
第２の再構成マルチチャネル信号が、第１の再構成マルチチャネル信号より元のマルチチャネル信号に類似する、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチチャネル符号化構成に関し、特にパラメトリックマルチチャネル符号化構成に関する。
【背景技術】
【０００２】
［発明の背景と先行技術］
今日、立体音響信号に含まれるステレオの冗長性と無関係性の利用については、２つの技術が支配的である。Ｍｉｄ／Ｓｉｄｅ（Ｍ／Ｓ）ステレオ符号化［１］は、主として冗長性の除去を目的とし、２つのチャネルが概ね相関することが多いので、その２つの合計および差を符号化するほうが良いという事実に基づく。そうすれば、より多くのビット（相対的に）を低出力側（または差分）信号よりも高出力和信号に使うことができる。一方、インテンシティステレオ符号化［２、３］は、各サブバンドにおいて、２つの信号を和信号と方位角とで置換することにより、無関係性を除去する。デコーダでは、方位角パラメータを用いてサブバンド和信号により表される聴覚事象の空間位置を制御する。Ｍｉｄ／Ｓｉｄｅおよびインテンシティステレオは、いずれも既存のオーディオ符号化標準において広範に使用される［４］。
【０００３】
冗長性利用に対するＭ／Ｓアプローチの問題は、２つの成分の位相がずれていれば（一方が他方より遅れていれば）、Ｍ／Ｓ符号化利得がなくなる点である。時間遅延は、実際のオーディオ信号においてはよくあることなので、これは概念上の問題である。たとえば、空間聴覚は、信号間の時間差（低周波数においては特に）に大いに依存する［５］。オーディオ録音においては、時間遅延は、両方の立体音響マイクロホンの設定および人工的な後処理（サウンドエフェクト）によっても発生し得る。Ｍｉｄ／Ｓｉｄｅ符号化においては、アドホックな解決法を用いて時間遅延の問題に対処することが多い。すなわち、Ｍ／Ｓ符号化を使用するのは、差分信号の出力が和信号の出力の定係数より小さい場合に限られる［１］。アラインメントの問題は、［６］においてよりよく指摘され、これによれば信号成分の一方を他方から予測する。予測フィルタは、フレームごとにエンコーダにおいて生成され、かつ補助情報として送信される。［７］において、後方適応の別の方法について考察する。なお、性能利得は、信号のタイプに強く依存するが、あるいくつかのタイプの信号については、Ｍ／Ｓステレオ符号化にくらべて劇的な利得が得られる。
【０００４】
パラメトリックステレオ符号化が、最近大きな注目を集めている［８−１１］。コアモノ（信号チャネル）コーダに基づき、パラメトリック構成は、ステレオ（マルチチャネル）成分を抽出しかつそれを比較的低いビットレートで別々に符号化する。これは、インテンシティステレオ符号化の汎用化と見ることができる。パラメトリックステレオ符号化法は、オーディオ符号化のビットレートが低い範囲で特に有用で、ステレオ成分についてビットバジェット全体のわずかな部分しか使わないという品質に顕著な向上をもたらす。パラメトリックな方法も、マルチチャネル（２を超える数のチャネル）の場合に拡張可能でかつ後方互換性を提供する能力があるので好ましい。すなわち、ＭＰ３サラウンド［１２］は、マルチチャネルデータが、データストリームの補助フィールドで符号化され、かつ、送信される一例である。これにより、マルチチャネル機能がなくても受信機は通常のステレオ信号を復号化することができる一方、サラウンドが可能な受信機においては、マルチチャネルオーディオを楽しむことができる。パラメトリックな方法は、主に、チャネル間レベル差（ＩＣＬＤ）およびチャネル間時間差（ＩＣＴＤ）といった様々な心理音響学的キューの抽出および符号化に依存することが多い。［１１］は、コヒーレンスパラメータが自然な音声結果を得るために重要である点について述べる。しかしながら、パラメトリックな方法は、より高いビットレートでは、コーダが固有のモデリングの制約により、トランスペアレントな品質に到達できないという意味で制限されている。
【０００５】
パラメトリックマルチチャネルエンコーダに関する問題は、それらの最大入手可能な品質の値がある閾値に限られ、同閾値がトランスペアレントな品質を大きく下回る点である。パラメトリックな品質の閾値については、図１１の１１００に示す。ＢＣＣ強化モノコーダ（１１０２）の品質／ビットレート依存性を表す模式的な曲線からわかるとおり、品質は、ビットレートに関わらずパラメトリック品質閾値１１００に交わることができない。これは、ビットレートを高くしても、このようなパラメトリックマルチチャネルエンコーダの品質は、それ以上向上させることが出来ないことを意味する。
【０００６】
ＢＣＣ強化モノコーダは、たとえば既存のステレオコーダまたはマルチチャネルコーダのためのものであり、ステレオダウンミックスまたマルチチャネルダウンミックスを行う。また、チャネル間レベル関係、チャネル間時間関係、チャネル間コヒーレンス関係等を記述するパラメータを生成する。
【０００７】
これらのパラメータは、Ｍｉｄ／Ｓｉｄｅエンコーダの補助信号のような波形信号とは異なる。というのも、補助信号が２つのチャネルの差を波形スタイルのフォーマットで記述するのに対して、パラメトリックな表現は、サンプル的な波形表現ではなく、あるパラメータを与えることにより、２つのチャネル間の類似性または非類似性を記述するからである。一方、パラメータなら、エンコーダからデコーダへ送信されるビットの数が少なくて済むのに対して、波形による記述、すなわち波形スタイルで生成される残留信号では、より多数のビットを必要とし、原則的にはトランスペアレントな再構成が可能である。
【０００８】
図１１は、波形に基づく、従来技術のステレオコーダの典型的な品質／ビットレート依存性を示す図である（１１０４）。図１１からわかるとおり、ビットレートを上げれば上げるほど、Ｍｉｄ／Ｓｉｄｅステレオコーダのような従来技術のステレオコーダの品質は、トランスペアレントな品質に達するまで向上する。パラメトリックマルチチャネルコーダの特性曲線１１０２と従来技術の波形ベースのステレオコーダの曲線１１０４とが互いに交差する、一種の「クロスオーバービットレート」が存在する。
【０００９】
このクロスオーバービットレートを下回ると、パラメトリックマルチチャネルエンコーダは、従来技術のステレオコーダよりかなりよくなる。両方のエンコーダについて同じビットレートを考えると、パラメトリックマルチチャネルコーダが従来技術の波形ベースのステレオコーダに比べて品質差１１０８だけ高い品質を示す。言い換えれば、ある品質１１１０を希望する場合、この品質は、パラメトリックコーダを使用し、従来技術の波形ベースのステレオコーダに比べて差分ビットレート１１１２だけ低いビットレートで達成することができる。
【００１０】
しかしながら、このクロスオーバービットレートを上回ると、状況は一変する。パラメトリックコーダは、その最大パラメトリックコーダ品質閾値１１００にあるため、パラメトリックコーダにおけるものと同じ数のビットを用いて、従来技術の波形ベースのステレオコーダを用いる場合にのみ、よりよい品質を得ることができる。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
［発明の概要］
本発明の目的は、既存のマルチチャネル符号化構成に比べて品質の向上およびビットレートの低減を可能にする符号化・復号化構成を提供することである。
【課題を解決するための手段】
【００１２】
発明の第１の局面によれば、この目的は、２つ以上のチャネルを有する元のマルチチャネル信号を符号化するためのマルチチャネルエンコーダにより達成され、同マルチチャネルエンコーダは、再構成マルチチャネル信号が、マルチチャネル信号由来の１つまたは複数のダウンミックスチャネルと１つまたは複数のパラメータとを用いて形成できるように形成された１つまたは複数のパラメータを提供するためのパラメータプロバイダと、残留信号を用いて形成される場合の再構成マルチチャネル信号が、残留信号を用いずに形成される場合より元のマルチチャネル信号に類似するように、元のマルチチャネル信号、１つまたは複数のダウンミックスチャネルまたは１つまたは複数のパラメータに基づき符号化残留信号を生成するための残留エンコーダと、残留信号と１つまたは複数のパラメータとを有するデータストリームを形成するためのデータストリームフォーマとを備える。
【００１３】
本発明の第２の局面によれば、この目的は、１つまたは複数のダウンミックスチャネル、１つまたは複数のパラメータおよび符号化残留信号を有する符号化マルチチャネル信号を復号化するためのマルチチャネルデコーダにより達成され、同マルチチャネルデコーダが、符号化残留信号に基づき復号化された残留信号を生成するための残留デコーダと、１つまたは複数のダウンミックスチャネルおよび１つまたは複数のパラメータを用いて第１の再構成マルチチャネル信号を生成するためのマルチチャネルデコーダとを備え、マルチチャネルデコーダが、第１の再構成マルチチャネル信号の代わりまたは第１のマルチチャネル信号に加えて、１つまたは複数のダウンミックスチャネルおよび復号化残留信号を用いて第２の再構成マルチチャネル信号を生成するためにさらに作用し、第２の再構成マルチチャネル信号が、第１の再構成マルチチャネル信号より元のマルチチャネル信号に類似する。
【００１４】
本発明の第３の局面によれば、この目的は、２以上のチャネルを有する元のマルチチャネル信号を符号化するためのマルチチャネルエンコーダにより達成され、同マルチチャネルエンコーダは、アラインメントパラメータを用いて２以上のチャネルのうちの第１および第２のチャネルを整列させるための時間アライナと、整列したチャネルを用いてダウンミックスチャネルを生成するためのダウンミキサと、整列したチャネル間の差分が、１の利得値に比べて小さくなるよう、整列したチャネルを重み付けするための、１に等しくない利得パラメータを計算するための利得計算器と、ダウンミックスチャネルに関する情報と、アラインメントパラメータに関する情報と、利得パラメータに関する情報とを有するデータストリームを形成するためのデータストリームフォーマとを備える。
【００１５】
本発明の第４の局面によれば、この目的は、１つまたは複数のダウンミックスチャネルに関する情報と、利得パラメータに関する情報と、アライメントパラメータに関する情報とを有する符号化マルチチャネル信号を復号化するためのマルチチャネルデコーダにより達成され、同マルチチャネルデコーダは、復号化ダウンミックス信号を生成するためのダウンミックスチャネルデコーダと、利得パラメータを用いて復号化ダウンミックスチャネルを処理して第１の復号化出力チャネルを取得し、利得パラメータを用いて復号化されたダウンミックスチャネルを処理し、かつアラインメントパラメータを用いて非整列化を行い第２の復号化出力チャネルを取得するためのプロセッサとを備える。
【００１６】
本発明の更なる局面は、対応の方法、データストリーム／ファイルおよびコンピュータプログラムを含む。
【００１７】
本発明は、従来技術のパラメトリックエンコーダおよび波形に基づくエンコーダに関する課題に対し、パラメトリック符号化と波形符号化とを組み合わせることによって対処するという知見に基づく。発明のエンコーダは、スケーリングされたデータストリームを生成し、同データストリームは、第１の強化層として符号化パラメータ表現を有し、かつ第２の強化層として、好ましくは、波形スタイルの信号である、符号化残留信号を有する。純粋なパラメトリックマルチチャネルエンコーダでは一般に付与されない付加的な残留信号により、特に図１１のクロスオーバービットレートと、最大トランスペアレント品質との間で、達成可能な品質の向上が可能になる。図１１からわかるとおり、クロスオーバービットレートを下回っても、発明のコーダアルゴリズムは、相当するビットレートの品質に関して、純粋なパラメトリックマルチチャネルエンコーダよりも性能がよい。しかしながら、完全な波形ベースの従来技術のステレオエンコーダに比べれば、発明の組合せパラメータ／波形符号化／復号化構成は、ビット効率がよい。言い換えれば、本発明の装置は、パラメトリック符号化と波形による符号化の効果を最適に組み合わせており、それにより、クロスオーバービットレートを超えた場合でさえ、本発明のコーダが、パラメトリックな概念から利益を得るが、純粋なパラメトリックコーダの性能を上回る。
【００１８】
あるいくつかの実施例によれば、本発明の効果は、先行技術のパラメトリックコーダまたは従来技術の波形に基づくマルチチャネルエンコーダの性能を多少上回る。より進歩した実施例では、より向上した品質／ビットレート特性が得られる一方、本発明の低レベルの実施例では、エンコーダおよび／またはデコーダ側で必要とされる処理出力は低いが、付加的な符号化残留信号ために、純粋なパラメトリックエンコーダの品質を上回ることが可能で、これは、純粋なパラメトリックエンコーダの品質が、図１１に示す閾値品質１１００により制限されることによる。
【００１９】
本件の符号化／復号化構成は、純粋なパラメトリック符号化から波形近似化または完全波形トランスペアレント符号化へ、継ぎ目なく移行することが出来る点で有利である。
【００２０】
パラメトリックステレオ符号化とＭｉｄ／Ｓｉｄｅステレオ符号化とを組み合わせて、トランスペアレントな品質に収束可能な構成にすることが好ましい。この好ましいＭｉｄ／Ｓｉｄｅステレオ系構成においては、信号成分間、すなわち左チャネルおよび右チャネル間の相関がより効率的に利用される。
【００２１】
一般には、本発明の思想は、いくつかの実施例において、パラメトリックマルチチャネルエンコーダに適用することができる。１実施例においては、エンコーダで利用可能なパラメータ情報を用いずに、元の信号から残留信号が生成される。この実施例は、プロセッサの処理出力およびおそらくはエネルギ消費などが問題になる状況において、好ましい。そのような状況は、移動電話、パームトップ等、出力能力が限られている、携帯用装置において生じ得る。残留信号は、元の信号のみから生成され、ダウンミックスまたはパラメータに依存しない。したがって、デコーダ側では、ダウンミックスチャネルおよびパラメータを用いて生成された第１の再構成マルチチャネル信号を、第２の再構成マルチチャネル信号を生成するために用いない。
【００２２】
それにもかかわらず、一方のパラメータにいくらかの冗長性があり、かつ他方に残留信号が存在する。冗長性の低減は、符号化残留信号を計算するために、エンコーダで利用可能なパラメータ情報、また随意には、同じくエンコーダで利用可能なダウンミックスチャネルを利用する、他のエンコーダ／デコーダシステムにより得ることが可能である。
【００２３】
ある種の状況によって、残留エンコーダは、ダウンミックスチャネルおよびパラメータ情報を用いて完全な再構成マルチチャネル信号を計算する合成による分析装置でもよい。そして、再構成された信号に基づき、異なる態様で処理できる、マルチチャネル誤差表現が得られるよう、チャネルごとの差分信号を生成できる。その態様のひとつは、他のパラメトリックマルチチャネル符号化構成のマルチチャネル誤差表現への適用が考えられる。また、他に可能な態様としては、マルチチャネル誤差表現をダウンミックスするためのマトリックス構成の実行が考えられる。さらに他に考えられる態様としては、左および右サラウンドチャネルからの誤差信号を削除して中央のチャネル誤差信号を符号化するだけか、またはそれに加えて、左のチャネル誤差信号と右のチャネル誤差信号も符号化する方法である。
【００２４】
このように、誤差表現に基づく残留プロセッサを実現する多くの可能な方法が存在する。
【００２５】
上記の実施例では、残留信号をスケーリング可能に符号化する上で高い融通性が得られる。しかしながら、完全なマルチチャネル再構成がエンコーダで行われ、マルチチャネル信号の各チャネルについて誤差表現を発生させて、残留プロセッサに入力するので、これには非常に大きな処理出力を要する。デコーダ側では、第１の再構成マルチチャネル信号をまず計算し、その後、誤差信号のなんらかの表現である復号化された残留信号に基づき、第２の再構成信号を生成する必要がある。したがって、第１の再構成信号を出力するか否かという事実に関わらず、デコーダ側でこれを計算する必要がある。
【００２６】
本発明の他の好ましい実施例においては、エンコーダ側での合成による分析および出力するか否かに無関係に行われる第１の再構成マルチチャネル信号の計算を、エンコーダ側の単純な残留信号の計算により置き換えている。これは、マルチチャネルパラメータによる重み付けされた元のチャネルに基づくかまたは、同様にアラインメントパラメータによる一種の修正ダウンミックスに基づく。この構成では、付加的な情報である残留信号は、パラメータおよび元の信号を用いて、非反復的に計算されるが、１または複数のダウンミックス信号を使用しない。
【００２７】
この構成は、エンコーダおよびデコーダ側で非常に効率的である。帯域幅の要件により、残留信号が送信されないかまたはスケーラブルデータストリームから剥ぎ取られている場合には、本発明のデコーダは、ダウンミックスチャネルならびに利得およびアラインメントパラメータに基づいて、第１の再構成マルチチャネル信号を自動的に生成する一方で、ゼロではない残留信号が入力される場合には、マルチチャネル再構成装置は、第１の再構成マルチチャネル信号を計算せず、第２の再構成マルチチャネル信号のみを計算する。こうして、このエンコーダ／デコーダ構成は、エンコーダ側およびデコーダ側で非常に効率的な計算が可能になりかつ非常に処理出力の点で効率的かつビットレートの点でも効率的な符号化／復号化構成が得られるように、残留信号における
冗長性を低減するためのパラメータ表現を使用するという点で有利である。
【００２８】
本発明の好ましい実施例について、添付の図面を参照しながら詳細に説明する。
【発明を実施するための最良の形態】
【００２９】
［好ましい実施例の詳細な説明］
図１は、少なくとも２つのチャネルを有する元のマルチチャネル信号を符号化するためのマルチチャネルエンコーダの好ましい実施例を示す。ステレオ環境では、第１のチャネルを左側のチャネル１０ａとし、かつ第２のチャネルを右側のチャネル１０ｂとしても良い。本発明の実施例については、ステレオ構成を前提として説明するが、マルチチャネル構成への拡張は簡単である。というのも、たとえば５チャネル有するマルチチャネル表現では、第１および第２のチャネルの対を数対備える構成だからである。５．１サラウンド構成については、第１のチャネルを左側前方のチャネルとし、かつ第２のチャネルを右側前方のチャネルとすることができる。別のやりかたでは、第１のチャネルを左側前方のチャネルとし、かつ第２のチャネルを中央のチャネルとすることができる。また、第１のチャネルを中央のチャネルとし、かつ第２のチャネルを右側前方のチャネルとすることもできる。また、第１のチャネルを左側後方のチャネル（左サラウンドチャネル）とし、かつ第２のチャネルを右側後方のチャネル（右サラウンドチャネル）とすることもできる。
【００３０】
本発明のエンコーダは、１つまたは複数のダウンミックスチャネルを生成するためのダウンミキサ１２を含み得る。ステレオ環境においては、ダウンミキサ１２は、１つのダウンミックスチャネルを生成する。しかしながら、マルチチャネル環境では、ダウンミキサ１２は、いくつかのダウンミックスチャネルを生成することができる。５．１マルチチャネル環境では、ダウンミキサ１３は、２つのダウンミックスチャネルを生成することが好ましい。一般には、ダウンミックスチャネル数は、元のマルチチャネル信号におけるチャネル数より少ない。
【００３１】
発明のマルチチャネルエンコーダも、１つまたは複数のパラメータを提供するためのパラメータプロバイダ１４を含み、この１つまたは複数のパラメータは、再構成されたマルチチャネル信号が、マルチチャネル信号と１つまたは複数のパラメータから生成される１つまたは複数のダウンミックスチャネルを用いて形成できるように、構成されている。
【００３２】
重要なことは、発明のマルチチャネルエンコーダが、符号化残留信号を生成するための残留エンコーダ１６をさらに含む点である。符号化残留信号は、元のマルチチャネル信号、１つまたは複数のダウンミックスチャネル、または１つまたは複数のパラメータに基づき生成される。一般には、符号化残留信号は、再構成マルチチャネル信号が残留信号を用いて構成される場合、残留信号なしで構成される場合に比べて、より元のマルチチャネル信号に類似するように生成される。こうして、符号化残留信号によって、デコーダが図１１に示すパラメータ品質閾値１１００より品質の高い再構成マルチチャネル信号を生成することができる。１つまたは複数のパラメータおよび符号化残留信号は、データストリームフォーマ１８に入力され、同フォーマーが残留信号と１つまたは複数のパラメータとを有するデータストリームを形成する。データストリームフォーマ１８により出力されるデータストリームは、１つまたは複数のパラメータについての情報を含む第１の強化層と、符号化残留信号についての情報を含む第２の強化層とを有するスケーリングされたデータストリームであることが好ましい。当技術分野で知られるとおり、純粋パラメトリックデコーダのような低レベルの装置が、単に第２の強化層を無視することによって、スケーリングされたデータストリームを復号化する位置になるよう、スケーリングされたデータストリームにおける様々なスケーリング層を個別に復号化することができる。
【００３３】
本発明の１実施例においては、スケーリングされたデータストリームは、ベース層として、１つまたは複数のダウンミックスチャネルをさらに備える。しかしながら、本発明は、ユーザがダウンミックスチャネルをすでに所有している環境でも適用可能である。この状況は、ダウンミックスチャネルが、他の送信チャネルまたは同じ送信チャネルであっても、第１および第２の強化層を受信するより先に、ユーザによってすでに受信されたモノまたはステレオ信号である場合に生じる。ダウンミックスチャネルならびに第１および第２の強化層を別々に送信する場合には、エンコーダは必ずしもダウンミキサ１２を備える必要はない。この状況は、ダウンミキサブロックの破線により示される。
【００３４】
さらに、パラメータプロバイダ１４は、必ずしも実際に第１および第２の元のチャネルに基づいてパラメータを計算する必要はない。あるチャネル信号のパラメータがすでに存在する状況では、このすでに生成されたパラメータがデータストリームフォーマ１８および残留エンコーダに供給されて、任意の残留信号の計算に使用されかつスケーリングされたデータストリームに導入されるように、これらパラメータを図１のエンコーダに送信するだけでよい。しかしながら、残留エンコーダは、破線の接続線１９で示すようなパラメータもさらに使用することが好ましい。
【００３５】
本発明の好ましい実施例においては、残留エンコーダ１６を別個のビットレート制御入力を経由して制御することが出来る。この場合、残留エンコーダは、量子化器ステップサイズが制御可能な量子化器等のある損失エンコーダを備える。大きな量子化器ステップサイズをビットレート制御入力により信号で送ると、より小さい量子化器ステップサイズをビットレート制御入力により信号で送る場合に比べて、符号化残留信号の値の範囲（量子化器により出力される最大の量子化指数）がより小さくなる。量子化器ステップサイズが大きければ、符号化残留信号に対するビットの要求が低くなるので、残留エンコーダ１６内の量子化器の量子化器ステップサイズがより小さく、符号化残留信号がより多くのビット数を必要とする場合に比べて、少ないビットレートを有するスケーリングされたデータストリームが生じる。
【００３６】
厳密に言えば、上記の指摘点はスカラー量子化にあてはまる。しかしながら、一般には、ベクトル量子化技術に基づく、制御可能な分解能を有するエンコーダを使用することが好ましい。分解能が高ければ、分解能が低い場合に比べて残留信号を符号化するために必要とするビット数が多くなる。
【００３７】
図２は、本発明の図１のエンコーダと接続して使用することができるマルチチャネルデコーダの好ましい実施例を示す図である。特に、図２は、１つまたは複数のダウンミックスチャネル、１つまたは複数のパラメータおよび符号化残留信号を有する符号化マルチチャネル信号を復号化するためのマルチチャネルデコーダを示す。これら情報の全て、すなわち、ダウンミックスチャネル、パラメータおよび符号化残留信号は、データストリームパーサに入力されるスケーリングされたデータストリーム２０に含まれ、同データストリームパーサは、スケーリングされたデータストリーム２０から符号化残留信号を抽出し、その符号化残留信号を残留エンコーダ２２へ転送する。アナログ的には、１つまたは複数の好ましく符号化されたダウンミックスチャネルをダウンミックスデコーダ２４に付与する。さらに、好ましく符号化された１つまたは複数のパラメータは、パラメータデコーダ２３に与えられ、復号化された形式にされる。ブロック２２、２３および２４により出力される情報が、マルチチャネルデコーダ２５に入力されて、第１の再構成マルチチャネル信号２６または第２の再構成マルチチャネル信号２７が生成される。第１の再構成マルチチャネル信号は、１つまたは複数のダウンミックスチャネルおよび１つまたは複数のパラメータを用いてマルチチャネルデコーダ２５により生成されるが、その際、残留信号は使用されない。しかしながら、第２の再構成マルチチャネル信号２７は、１つまたは複数のダウンミックスチャネルおよび復号化された残留信号を用いて生成される。残留信号は、追加の情報および好ましくは波形情報を含んでいるので、第２の再構成マルチチャネル信号２７は、第１の再構成マルチチャネル信号より元のマルチチャネル信号（図１のチャネル１０ａおよび１０ｂ等）に、より類似する。
【００３８】
このマルチチャネルデコーダ２５のある実現例によれば、同マルチチャネルデコーダ２５は、第１の再構成マルチチャネル信号２６または第２の再構成マルチチャネル信号２７のいずれかを出力することになる。他の例では、マルチチャネルデコーダ２５は、第２の再構成マルチチャネル信号に加えて、第１の再構成マルチチャネル信号を計算する。全ての実現例において、スケーリングされたデータストリームが符号化残留信号を含む場合には、当然、マルチチャネルデコーダ２５は、第１の再構成マルチチャネル信号のみを出力する。ただし、スケーリングされたデータストリームが、エンコーダからデコーダへの途中に第２の強化層をはがすことにより処理される場合には、マルチチャネルデコーダ２５は第１の再構成マルチチャネル信号のみを出力する。このような第２の強化層の引き剥がしは、エンコーダとデコーダとの途中に送信チャネルが存在する場合に発生すると考えられ、その帯域幅リソースは、スケーリングされたデータストリームの送信が、第２の強化層がない場合にのみ可能になるよう、非常に制限されている。
【００３９】
図３および図４は、本発明の概念の１実施例を示し、それによれば、エンコーダ側（図３）およびデコーダ側（図４）で、低減された処理出力しか必要としない。図３のエンコーダは、インテンシティステレオエンコーダ３０を含み、このインテンシティステレオエンコーダ３０は、モノダウンミックス信号を出力する一方で、パラメトリックインテンシティステレオ方向情報も出力する。第１および第２の入力チャネルを加えることにより形成されることが好ましいモノダウンミックスは、データレートリデューサ３１に入力される。モノダウンミックスチャネルについては、データレートリデューサ３１がＭＰ３エンコーダ、ＡＣＣエンコーダまたはその他のモノ信号用オーディオエンコーダ等周知のオーディオエンコーダのいずれかを含み得る。パラメトリック方向情報については、データレートリデューサ３１は、差分エンコーダ等のパラメータ情報用の周知のエンコーダ、ホフマンエンコーダ等の量子化器および／またはエントロピエンコーダまたは算術エンコーダのいずれかを含んで良い。こうして、図３のブロック３０と３１とは、図１のエンコーダのブロック１２および１４により模式的に示される機能性を提供する。
【００４０】
残留エンコーダ１６は、補助信号計算器３２および次付与データレートリデューサ３３を備える。補助信号計算器３２は、先行技術のＭｉｄ／Ｓｉｄｅステレオエンコーダから知られる補助信号計算を実行する。好ましい１例では、第１のチャネル１０ａと第２のチャネル１０ｂとの間のサンプル的な差分計算が行われ、波形タイプの補助信号が得られる。そして、この補助信号をデータレートリデューサ３３に入力してデータレート圧縮を行う。データレートリデューサ３３は、上記のデータレートリデューサ３１について概略を述べたものと同じ要素を備える。ブロック３３の出力では、符号化残留信号が得られ、同信号は、好ましくスケーリングされたデータストリームが得られるように、データストリームフォーマ１８へ入力される。
【００４１】
ブロック１８が出力するデータストリームは、これで、モノダウンミックスに加えて、パラメトリックインテンシティステレオ方向情報と波形タイプの符号化残留信号とを含む。
【００４２】
図１に関連してすでに述べたとおり、データレートリデューサ３１は、ビットレート制御入力により制御することが可能である。他の実施例では、データレートリデューサ３３は、スケーリングされた出力データストリームを生成するために配列され、同データストリームは、そのベース層に、サンプルごとに少ないビット数で符号化された残留を有し、かつその第１の強化層には、サンプルごとに中くらいのビット数で符号化した残留を有し、かつその次の強化層には、再びサンプルごとにより多いビット数で符号化された残留を有する。データレートリデューサ出力のべース層については、たとえば、サンプル当たり０．５ビットを使用することができる。第１の強化層については、たとえばサンプル当たり、４ビットを使用することができ、かつ第２の強化層については、サンプル当たりたとえば１６ビットを使用することができる。
【００４３】
対応するデコーダを図４に示す。データストリームパーサ２１へのデータストリーム入力は、構文解析されて、パラメータ情報が別々にデコンプ２３へ出力される。符号化されたダウンミックス情報は、デコンプ２４に入力され、かつ符号化残留信号は残留デコンプ２２へ入力される。図４のデコーダは、単純インテンシティステレオデコーダ４０およびＭｉｄ／Ｓｉｄｅデコーダ４１をさらに備える。デコーダ４０および４１は両方とも、マルチチャネルデコーダ２５の機能を実行し、専らインテンシティステレオデコーダ４０が生成する第１の再構成マルチチャネル信号２６を出力するとともに、専らＭＳデコーダ４１が生成する第２の再構成マルチチャネル信号２７を出力する。
【００４４】
データストリームが符号化残留信号を含む場合、図４の単純な実現例は、第１の再構成マルチチャネル信号２６および第２の再構成マルチチャネル信号を出力すると考えられる。この状況では、当然、ユーザの関心は、より質の高い第２の再構成マルチチャネル信号２７にしか向かない。したがって、デコーダ制御４２を設けて、データストリーム内に符号化残留信号があるかどうか検知することができる。データストリームの中にそのような符号化残留信号がないと検知されれば、デコーダ制御４２が作用してｍｉｄ／ｓｉｄｅデコーダ４０を不活性化し、処理出力をセーブすることができ、かつ移動電話等の低出力携帯用装置に特に有用な電池の出力をセーブすることができる。
【００４５】
図５は、本発明の他の実施例を示し、同実施例では、符号化残留信号が、合成による分析ごとに生成される。ここで再び、第１および第２のチャネル１０ａおよび１０ｂは、データレートリデューサ５１が続くダウンミキサ５０に入力される。ブロック５１の出力では、１つまたは複数のダウンミックスチャネルを有する好ましく圧縮されたダウンミックス信号が得られ、かつ同信号はデータストリームフォーマ１８に供給される。こうして、ブロック５０および５１は、図１のダウンミキサ装置１２の機能性を提供する。また、第１および第２の入力チャネル１０ａおよび１０ｂは、パラメータ計算器５３へ供給され、かつパラメータ計算器により出力されたパラメータは、もう１つのデータレートリデューサ５４へ転送されて、１つまたは複数のパラメータが圧縮される。こうして、ブロック５３および５４は、図１のパラメータプロバイダ１４と同じ機能性を提供する。
【００４６】
しかしながら、図３の実施例とは違い、残留エンコーダ１６は、より複雑である。特に、残留エンコーダ１６は、パラメトリックマルチチャネル再構成装置５５を備える。マルチチャネル再構成装置は、２チャネルの例については、第１の再構成チャネルと第２の再構成チャネルを生成する。パラメトリックマルチチャネル再構成装置は、ダウンミックスチャネルおよびパラメータのみを使用するので、ブロック５５が出力する再構成マルチチャネル信号の品質は、図１１の曲線１１０２に対応しかつ図１１のパラメトリック閾値１１００を常に下回ることになる。
【００４７】
この再構成マルチチャネル信号を誤差計算器５６に入力する。誤差計算器５６は、第１および第２の入力チャネル１０ａおよび１０ｂも受信するよう作用しかつ第１および第２の誤差信号を出力する。誤差計算器は、元のチャネルと対応する再構成されたチャネル（出力ブロック５５）との間のサンプルによる差を計算することが好ましい。この手順は、元のチャネルおよび再構成されたチャネルの各対について行われる。誤差計算器５６の出力は、ここでもマルチチャネル表現であるが、元のマルチチャネル信号とは異なり、マルチチャネル誤差信号となる。元のマルチチャネル信号と同じチャネル数のこのマルチチャネル誤差信号が、残留プロセッサ５７に入力され、符号化残留信号が生成される。
【００４８】
残留プロセッサ５７の実現例には様々なものがあるが、いずれも帯域幅の要件、必要とされるスケーラビリティの程度、および品質要件等に依存する。
【００４９】
好ましい１実現例においては、残留プロセッサ５７は再び１つまたは複数の誤差ダウンミックスチャネルおよび誤差ダウンミックスパラメータを発生するマルチチャネルエンコーダとして実現される。この実施例は、残留プロセッサ５７が、ブロック５０、５１、５３、および５４を含み得るので、一種の反復マルチチャネルエンコーダと言うことができる。
【００５０】
また、残留プロセッサ５７は、その入力信号から、最も高いエネルギを有する１つまたは２つの誤差チャネルのみを選択するように作用し、その最もエネルギの高い誤差信号のみを処理して、符号化残留信号を得ることもできる。この基準に加えまたはこの基準の代わりに、知覚を動機とする誤差尺度に基づくより高度な基準を用いることもできる。また、残留プロセッサは、対応するデコーダ装置がアナログの非マトリクス化手順を行うように、マトリックス構成を備えて、入力チャネルを１つまたは複数のダウンミックスチャネルにダウンミックスしてもよい。そして、この１つまたは複数のダウンミックスチャネルは、周知のモノまたはステレオのエンコーダの要素を用いて処理するかまたは上記のモノ／ステレオエンコーダの１つを用いて完全に処理して、符号化残留信号を得ることが可能である。
【００５１】
図５のエンコーダのためのデコーダを図６に示す。図２の実施例と違い、図６では、マルチチャネルデコーダ２５がパラメトリックマルチチャネル再構成装置６０およびコンバイナ６１を備えることがわかる。パラメトリックマルチチャネル再構成装置６０は、復号化ダウンミックスおよび復号化パラメータ情報に基づいてのみ、第１の再構成マルチチャネル信号２６を生成する。第１の再構成信号２６は、符号化残留信号がデータストリームに含まれていない場合に出力が可能である。しかしながら、符号化残留信号がデータストリームに含まれている場合、第１の再構成信号は出力されるのではなく、コンバイナ６１に入力されて、パラメータ的に再構成されたマルチチャネル信号２６を、上記の図５の誤差計算器５６の出力での誤差表現の一つである、復号化残留信号に結合される。コンバイナ６１は、復号化残留信号、すなわち誤差信号のいずれかの表現とパラメータ的に再構成されたマルチチャネル信号とを結合して、第２の再構成信号２７を出力する。図６のデコーダを図１１を参照して検討すると、あるビットレートでは、第１の再構成信号がライン１１０２により決定される品質を有するのに対して、第２の再構成信号２７は、同じビットレートで、ライン１１１４により決定されるより高い品質を有することが明らかである。
【００５２】
符号化残留信号における冗長性が低減されているので、図５／図６の実施例は、図３／図４の実施例より好ましい。しかしながら、図５／図６の実施例では、より高い処理出力量、記憶、バッテリリソースおよびアルゴリズム遅延が必要である。
【００５３】
次に、図３／図４の実施例と図５／図６の実施例との好ましい妥協案を、エンコーダの表現については、図７を参照して、かつデコーダの表現については、図８を参照しながら説明する。エンコーダは、第１および第２の入力チャネル１０ａおよび１０ｂを用いて、ダウンミックスを行うためのあるダウンミキサ７４を備える。モノ信号を得るためオリジナルチャネル１０ａおよび１０ｂの両方を単に加えることにより発生させる単純なダウンミックスとは違い、ダウンミキサ７０は、パラメータ計算器７１により生成されるアラインメントパラメータにより制御される。ここで、入力チャネル１０ａおよび１０ｂは、両方の信号が互いに加算されるまえに、ともに相互に時間整列している。こうして、特別なモノ信号がダウンミキサ７０の出力に得られ、このモノ信号は、たとえば図３の３０で示す低レベルのインテンシティステレオエンコーダにより生成されるモノ信号とは異なる。
【００５４】
アラインメントパラメータに加え、またはアラインメントパラメータの代わりに、パラメータ計算器７１は、利得パラメータを生成するよう作用する。利得パラメータは、重み付け装置７２に入力され、補助信号を計算する前に、利得パラメータを使用して第２のチャネル１０ｂを重み付けすることが好ましい。第１および第２のチャネルの間の波形状の差分を計算する前に、第２のチャネルを重み付けすることにより、より小さい残留信号が得られるが、これについては、いずれか適当なデータレートリデューサ３３へ入力される特別補助信号として示す。図７に示すデータレートリデューサ３３は、まさに図３に示すデータレートリデューサ３３として実現することが出来る。
【００５５】
図７の実施例が図３の実施例と違うのは、好ましくはダウンミキサ７０および残留信号計算におけるパラメータ情報のせいで、図７のデータレートリデューサ３３により出力される残留信号が、データレートリデューサ３３により出力される信号より少ないビット数で表現できるようになっている点である。これは、図７の残留信号の冗長性が、図３の残留信号よりも少ないという事実による。
【００５６】
図８は、図７のエンコーダ実現例に対応するデコーダ実現の好ましい実施例を示す。図６のデコーダとは逆に、マルチチャネル再構成装置２５は、補助信号、すなわち残留信号がゼロの場合に第１の再構成マルチチャネル信号２６を自動的に出力するか、または、残留信号がゼロでない場合に、第２の再構成マルチチャネル信号２７を自動的に出力するよう作用する。このように、図８のマルチチャネル再構成装置２５は、信号２６および２７両方を同時に出力することが出来ず、２つの信号のうちの第１の信号または第２の信号のみを出力することができる。こうして、図８の実施例は、図４に示すようなデコーダ制御を必要としない。
【００５７】
特に、図８の残留信号デコーダ２２は、図７の対応するエンコーダの要素７２により生成されるような特別補助信号を出力する。また、ダウンミックスデコーダ２４は、図７のダウンミキサ７０により生成されるような特別モノ信号を出力する。
【００５８】
そして、特別補助信号と特別モノ信号とは、利得パラメータおよび時間アラインメントパラメータとともに、マルチチャネルデコーダへ入力される。利得パラメータは、第１の利得ルールに従い利得を付与する利得ステージ８４を制御するよう作用する。また、利得パラメータは、異なる第２の利得ルールに従い、利得を付与するための付加的な利得ステージ８２および８３を制御する。また、マルチチャネル再構成装置は、減算器８４、加算器８５および時間非アラインメントブロック８６を備えて、再構成された第１および第２のチャネルを生成する。
【００５９】
次に、図７の好ましい実施例および図８のエンコーダ／デコーダ構成を参照する。図９ａは、本発明の局面に従う完全なエンコーダ／デコーダ構成を示し、残留信号ｄ（ｎ）は、ゼロではない。また、図９ｂは、差分信号ｄ（ｎ）が計算されていない場合、または残留信号を減らすため、たとえば送信帯域幅に関する要件のために、データストリームが剥ぎ取られている場合の図９ａのスケーラブルエンコーダ／デコーダを示す。図９ａの実施例において、エンコーダからデコーダへ送信されるデータストリームから符号化残留信号が剥ぎ取られている場合には、図９ａの実施例は、純粋なパラメトリックマルチチャネルのシナリオとなり、その場合、アラインメントパラメータおよび利得パラメータは、マルチチャネルパラメータであり、かつ特別モノ信号は、エンコーダ側からデコーダ側へ送信されるダウンミックスチャネルである。
【００６０】
デコーダ側でのマルチチャネル再構成は、アラインメントおよび利得パラメータのみを用いて行われる。これは、デコーダ側では、残留信号が受信されない、すなわちｄ（ｎ）がゼロだからである。
【００６１】
図９ｃは、発明のエンコーダの基礎となる等式を示し、図９ｄは、発明のデコーダの基礎となる等式を示す。
【００６２】
特に、発明のエンコーダは、図１からのパラメータプロバイダ１４として、パラメータ計算器７１を備える。パラメータ計算器７１は、時間アラインメントパラメータを計算して、右チャネルｒ（ｎ）と左チャネルｌ（ｎ）を整列させるよう作用する。図９ａから図９ｄでは、整列した右チャネルをｒa（ｎ）により示す。アラインメントパラメータは、入力信号の重なるブロックから抽出されることが望ましい。アラインメントパラメータは、左チャネルと右チャネルとの間の時間遅延に対応し、時間領域相互相関技術を用いて予測されることが好ましい。その場合、たとえば、独立した信号の場合のように、サブバンドにアラインメント利得がない場合、遅延パラメータはゼロに設定される。好ましくは、１つの遅延（時間アラインメント）パラメータは、サブバンド構造内のサブバンドごとに予測される。好ましい実施例では、固定分析速度４６ｍｓと５０％重なるハミング（Ｈａｍｍｉｎｇ）窓が採用されている。
【００６３】
パラメータ計算器７１は、利得値をさらに計算する。利得値も信号の重なるブロックから抽出されることが好ましい。通常、利得パラメータは、周知のバイノーラルキュー符号化構成のようなパラメトリック符号化において一般に使用されるレベル差パラメータに等しい。また、利得の値は、反復式のアプローチを使用して計算が可能で、その場合、差分信号がパラメータ計算器へフィードバックされ、かつ利得値は、差分信号が図９ａの破線９０で示す最小値に到達するよう設定される。パラメータアラインメントおよび利得が計算されるとすぐに、図７のダウンミキサ７０および図７の残留エンコーダ１６を始動させることができる。特に、図７のダウンミキサ７０は、計算された時間アラインメントパラメータで１チャネル遅延させるためのアラインメントブロック９１を備える。遅延された第２のチャネルｒa（ｎ）は、加算器９２を用いて第１のチャネルへ加えられる。加算器９２の出力に、ダウンミックスチャネルが存在する。したがって、図７のダウンミキサ７０は、ブロック９１と９２とを備え、特別モノ信号を形成する。
【００６４】
図７の残留エンコーダ１６は、重み付け装置９３および元の第１チャネルと整列し重み付けされた第２のチャネルとの差分を計算する次補助信号計算器９４をさらに備える。特に、整列した第２のチャネルを重み付けするために、対応するデコーダ側ブロック８０で使用される第１の重み付けルールを実行する。したがって、残留エンコーダ１６は、アラインメント装置９１と、重み付け装置９３と、補助信号計算器９４とを備える。整列した第２のチャネルは、ダウンミックスおよび残留計算に使用されるので、整列した右チャネルは、一度だけ計算して、その結果を図７のダウンミキサ７０および重み付け装置／補助信号計算器７２へ転送するだけでよい。
【００６５】
図９ｄの等式がよく定義されかつ数値的に良い条件になるように、アラインメントおよび利得係数は、このプロセスが可逆になるように選択される。
【００６６】
汎用モノコーダをモノコーダ５１に使用して、和信号を符号化することができ、かつ好ましい専用残留コーダ３３を残留のために採用する。
【００６７】
モノコーダ５１が無損失の場合、すなわち、モノ信号がそれ以上量子化されず、かつ残留エンコーダも無損失か、またはアラインメント信号モデルがソース信号に完璧に一致する場合に、アラインメントおよび利得パラメータが無損失符号化構成にのみに供せられると仮定すると、図９ａに示す本発明の符号化構造は、完璧な再構成特性を有する。
【００６８】
図９ａに示す本発明のシステムは、図１１のライン１１１４で示すような多数の範囲にわたって、緩やかな品質劣化（グレースフルディグラデーション）を伴って作用することができる構成のためのフレームワークを提供する。特に、残留符号化がなければ、すなわち、ｄ（ｎ）＝０であれば、この構成は、モノ信号（ダウンミックスチャネルとして）に加えて、アラインメントおよび利得パラメータ（マルチチャネルパラメータとして）のみを送信することにより、パラメトリックステレオ符号化になる。この状況について、図９ｂに示す。また、本発明のシステムは、そのアラインメント法により自動的にモノダウンミックスの問題に対応するという利点がある。
【００６９】
次に、図９ａから図９ｄに示す本発明の実施例の実現例について、図１０を参照する。元の左および右チャネルを分析フィルタバンク１０００に入力して、いくつかのサブバンド信号を得る。各サブバンド信号について、図９ａから図９ｄに示す符号化／復号化構成を用いる。デコーダ側では、再構成サブバンド信号が、合成フィルタバンク１０１０において結合され、最終的にフルバンド再構成マルチチャネル信号に到達する。各サブバンドについて、当然、アラインメントパラメータおよび利得パラメータは、図１０の矢印１０２０により示すとおりエンコーダ側からデコーダ側に送信される。
【００７０】
図１０のサブバンド符号化構造の好ましい実現例では、（知覚的な動機によるスケールで）不均一なサブバンド帯域幅を得るために、２つのステージを有するコサイン変調されたフィルタバンクに基づく。第１のステージは信号をＭ個の帯域に分ける。Ｍ個のサブバンド信号を臨界的にデシメーションし、第２ステージのフィルタバンクへ送る。第２ステージのｋ番目のフィルタ（ｋ∈｛１，．．．，Ｍ｝）は、Ｍｋ個の帯域を有する。好ましい実現例では、Ｍ＝８バンドが使用され、かつ２つのステージの後に、３６の有効なサブバンドが生じる、図１０の表におけるようなサブバンド構造が好ましい。原型のフィルタは、終了帯域において１００ｄＢ以上の減衰を有する［１３］に基づき設計される。第１ステージにおけるフィルタ次数は１１６であり、かつ第２ステージにおける最大フィルタ次数は、２５６である。そして、符号化構造は、サブバンド対（左および右サブバンドチャネルに対応する）に適用される。
【００７１】
第１および第２のステージのフィルタバンクの間のサブバンドの対応するグループ化について図１０の右の表に示すが、それによれば第１のサブバンドｋが１６のサブバンドを備えることがわかる。また、第２のサブバンドが８個のサブバンド等を備える。
【００７２】
効率的なパラメトリック符号化を、ガウス混合（ＧＭ）ベクトル量子化（ＶＱ）技術を用いて行う。ＧＭモデルに基づく量子化は、音声符号化［１４−１６］の分野では人気があり、かつ高次元ＶＱを容易に低い複雑性で実現できるようにする。好ましい実現例では、利得の３６次元のベクトルおよび遅延パラメータをベクトル量子化する。ＧＭモデルは、全て１６の混合成分を有し、６０分のオーディオデータから抽出されたパラメータのデータベースに連ねられている（内容は可変で、次の評価テスト信号とは分離されている）。陽統計モデルに基づく方法は、オーディオ符号化においては音声符号化の場合ほど頻繁に使われない。その理由のひとつは、統計学的モデルで一般的なオーディオに含まれる全ての関連情報を捕捉する能力についての疑問である。しかしながら、好ましい事例で、パラメータモデルのオープンまたはクローズドのテスト手順を用いた予備評価では、この点が問題にならないことが示される。利得および遅延パラメータについて得られるビットレートは、２．３ｋｂｐｓである。
【００７３】
サブバンド構造を残留信号を符号化するために利用する。上記と同じブロック処理で、各サブバンドにおける分散を予測し、かつ分散をサブバンドにわたってＧＭ  ＶＱを用いて、ベクトル量子化する（すなわち１つの３６次元ベクトルを一度に符号化する）。分散によって、グリーディビットアロケーション（ｇｒｅｅｄｙ ｂｉｔ ａｌｌｏｃａｔｉｏｎ）アルゴリズム［１７、２３４頁］を採用するサブバンドの間でのビットの配置が容易になる。そして、サブバンド信号は、均一スカラー量子化器を用いて符合化される。
【００７４】
瞬間利得ｇ（ｎ）および遅延τ（ｎ）は、ブロック予測を線形に補間することにより得られる。時間可変遅延は、打ち切りおよびハミング窓ｓｉｎｃインパルス応答［１８］に基づき７３次数の分数遅延フィルタを介して実現される。このフィルタ係数は、補間された遅延パラメータを用いてサンプルごとに更新される。
【００７５】
一般的なオーディオにおけるステレオイメージの柔軟な符号化のための枠組を提案する。新しい構造では、パラメトリックなステレオモードから波形近似符号化まで継ぎ目なく移行することができる。この概念の実現例について試験を行い、符号化されていない残留を用いて残留コーダのビットレートを増加させる効果を評価しかつＭＰ３コアコーダを用いて、より現実的なシナリオで構成を評価した。
【００７６】
ステレオイメージを安定させるためには、たとえば［９］で行われている通り、純粋なパラメトリックなシステムまたは残留信号を処理しないでデコーダにより使用されることが可能な純粋パラメトリック部を有するスケーラブルシステムにおいて、パラメータをローパスフィルタ処理することが好ましい。これにより、システムのアラインメント利得を低減する。スカラーサブバンド符号化を用いて残留を符号化することにより、品質をさらに向上させ、かつトランスペアレントな品質に近づける。特に、残留に対してビットを加えることで、ステレオイメージを安定させ、かつステレオ幅も増大させる。さらに、柔軟な時間区分と可変レート（例えばビットレザバー等）技術により、一般のオーディオの動的特性をよりよく利用することが好ましい。コヒーレンスパラメータをアラインメントフィルタに含めてパラメトリックなモードを強化することが好ましい。改善した残留符号化、知覚的マスキングの採用、ベクトル量子化、および差分符号化によって、より効率的な無関連性および冗長性の除去が可能になる。
【００７７】
本発明のシステムについては、ステレオ符号化およびパラメータ強化Ｍｉｄ／Ｓｉｄｅ符号化構成を前提に説明したが、汎用インテンシティステレオ型の符号化等の各マルチチャネルパラメトリック符号化／復号化構成は、補助成分が付加的に封入されることによる効果で、最終的に完璧な再構成特性に到達することができる。エンコーダ側での時間アラインメント、アラインメントパラメータの送信およびデコーダ側での時間非アラインメントを利用する発明のエンコーダ／デコーダ構成の好ましい実施例について説明したが、小さい差分信号を発生するためエンコーダ側で時間アラインメントを行い、アラインメントパラメータがエンコーダからデコーダへ送信されないよう、デコーダ側では時間非アラインメントを行わないさらなる別の実施例が存在する。この実施例において、時間非アラインメントを行わないということは、当然アーティファクトが含まれる。しかしながら、多くの場合、このアーティファクトは、深刻なものではなく、したがってこの実施例は特に低価格のマルチチャネルデコーダに適している。
【００７８】
したがって、本発明は、好ましくはＢＣＣタイプのパラメトリックステレオ符号化構成または他のいずれかのマルチチャネル符号化構成の延長であると考えることも可能で、これは符号化残留信号が剥ぎ取られた場合には、完全に純粋なパラメータ構成に戻るということになる。本発明によれば、好ましくは波形スタイルの残留信号、利得パラメータおよび／または時間アラインメントパラメータを含む、様々なタイプの付加的な情報を送信することにより、純粋なパラメトリックなシステムを強化することができる。こうして、付加的情報を利用した復号化動作によって、パラメータ技術だけで得られるものに比べ、より高い品質が得られる。
【００７９】
要件によっては、本発明の符号化または復号化方法を、ハードウエア、ソフトウエアまたはファームウエアにおいて実現することが可能である。したがって、本発明は、プログラムコードを記憶するコンピュータ読み取り可能な媒体にも関連し、これをコンピュータで実行すれば、本発明の方法のひとつが実現される。したがって、本発明は、プログラムコードを有するコンピュータプログラムであって、コンピュータで実行すれば、発明の方法が得られる。
【００８０】
引用文献一覧
［１］ジェイ・ディー・ジョンストンおよびエイ・ジェイ・．フェレイラ、「和差分ステレオ変換符号化」、ＩＥＥＥ国際会議議事録、音響音声信号処理（ＩＣＡＳＳＰ）、１９９２年、第２巻、５６９頁-５７２頁（J.D. Johnston and A.J. Ferreira, .Sum-difference stereo transform coding," in Proc. IEEE Int. Conf. Acoust., Speech, Signal Processing (ICASSP), 1992, vol. 2, pp. 569.572.）
［２］アール・ワールおよびアール・ヴェルドヒュイス、「立体音響デジタルオーディオ信号のサブバンド符号化」、ＩＥＥＥ国際会議議事録、音響音声信号処理（ＩＣＡＳＳＰ）、１９９１年、３６０１頁-３６０４頁（R. Waaland R. Veldhuis, .Subband coding of stereophonic digital audio signals," in Proc. IEEE Int. Conf. Acoust., Speech, Signal Processing (ICASSP), 1991, pp. 3601.3604.
［３］ジェイ・エール、ケイ・ブランデンブルグおよびディー・レデラー、「インテンシティステレオ符号化」、予稿３７９９、第９６回ＡＥＳ会議、１９９４年（J. Herre, K. Brandenburg, and D. Lederer, .Intensity stereo coding," in Preprint 3799, 96th AES Convention, 1994）
［４］ケイ・ブランデングルグ、「ＭＰ３およびＡＣＣの解説」、ＡＥＳ第１７回国際会議議事録、論文第１７−００９、１９９９年（K. Brandenburg, .MP3 and AAC explained," in Proc. of the AES 17th International Conference, paper no. 17-009, 1999）
［５］ジェイ・ブラウエルト、「空間聴覚：人の音源定位の精神物理学」、ＭＩＴプレス、ケンブリッジ、マサチューセッツ州、１９９７年（J. Blauert, Spatial hearing: the psychophysics of human sound localization, The MIT Press, Cambridge, Massachusetts, 1997）
［６］エイチ・フックス、「適応チャネル間予測によるジョイントステレオオーディオ符号化の改善」、音声および音響に対する信号処理の適用に関するＩＥＥＥワークショップ議事録、１９９３年、３９頁-４２頁（H. Fuchs, .Improving joint stereo audio coding by adaptive inter-channel prediction," in Proc. of IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 1993, pp. 39.42.
［７］エイチ・フックス、「後方適応線形ステレオ予測によるＭＰＥＧオーディオ符号化の改善」、予稿４０８６、第９９回ＡＥＳ会議、１９９５年（H. Fuchs, .Improving MPEG audio coding by backward adaptive linear stereo prediction," in Preprint 4086, 99th AES Convention, 1995）
［８］エフ・バウムガルトおよびシー・ファーラー、「バイノーラルキュー符号化、パートＩ：音響心理学の基礎および設計原則」、ＩＥＥＥ論文誌、音声音響処理、第１１巻、第６号、５０９頁-５１９頁、２００３年（F. Baumgarte and C. Faller, .Binaural cue coding. part I: Psychoacoustic fundamentals and design principles," IEEE Trans. Speech Audio Processing, vol. 11, no. 6, pp. 509.519, 2003）
［９］シー・ファーラーおよびエフ・バウムガルト、「バイノーラルキュー符号化、パートＩＩ：構成および応用」、ＩＥＥＥ論文誌、音声音響処理、第１１巻、第６号、５２０頁-５３１頁、２００３年（C. Faller and F. Baumgarte, .Binaural cue coding. part II: Schemes and applications," IEEE Trans. Speech Audio Processing, vol. 11, no. 6, pp. 520.531, 2003）
［１０］シー・ファーラー、「空間オーディオのパラメトリック符号化」、博士論文、スイス連邦工科大学ローザンヌ校、２００４年（C. Faller, Parametric Coding of Spatial Audio, Ph.D. thesis, Ecole Polytechnique Federale de Lausanne, 2004）
［１１］ジェイ・ブリーバールト、エス・ヴァン・デ・パル、エイ・コールラウシュおよびイー・シュイジャーズ、「低ビットレートでの高品質パラメトリック空間オーディオ符号化」、予稿６０７２、第１１６回ＡＥＳ会議、２００４年（J. Breebaart, S. van de Par, A. Kohlrausch, and E. Schuijers, "High-quality parametric spatial audio coding at low bitrates," in Preprint 6072, 116th AES Convention, 2004）
［１２］ジェイ・エール、シー・ファーラー、シー・エルテル、ジェー・ヒルペルト、エー・ヘルザーおよびシー・スペンジャー、「ＭＰ３サラウンド、効率的かつ互換性を備えるマルチチャネルオーディオの符号化」、予稿６０４９、第１１６回ＡＥＳ会議、２００４年（J. Herre, C. Faller, C. Ertel, J. Hilpert, A. Hoelzer, and C. Spenger, .MP3 surround: Efficient and compatible coding of multi-channel audio," in Preprint 6049, 116th AES Convention, 2004）
［１３］ワイ−ピー・リンおよびピー・ピー・バイジャナイサン、「コサイン変調フィルタバンクの原型フィルタ設計のためのカイザー窓アプローチ」、ＩＥＥＥ信号処理論文、第５巻、第６号、１３２頁-１３４頁、１９９８年（Y-P. Lin and P.P. Vaidyanaythan, .A Kaiser window approach for the design of prototype filters of cosine modulated filterbanks," IEEE Signal Processing Letters, vol. 5, no. 6, pp. 132.134, 1998）
［１４］ピー・エドランおよびジェイ・スコグルンド、「ガウス混合モデルに基づくベクトルの量子化」、ＩＥＥＥ論文誌、音声オーディオ処理、第８巻、第４号、３８５頁-４０１頁、２０００年（P. Hedelin and J. Skoglund, "Vector quantization based on Gaussian mixture models," IEEE Trans. Speech Audio Processing, vol. 8, no. 4, pp. 385.401, 2000）
［１５］エイ・ディ・スブラマニアムおよびビー・ディー・ラオ、「音声線形スペクトル周波数のＰＤＦ最適化パラメトリックベクトル量子化」、ＩＥＥＥ論文誌、音声オーディオ処理、第１１巻、第２号、１３０頁-１４２頁、２００３年（A.D. Subramaniam and B.D. Rao, .PDF optimized parametric vector quantization of speech line spectral frequencies," IEEE Trans. Speech Audio Processing, vol. 11, no. 2, pp. 130.142, 2003）
［１６］ジェイ・リンドブルムおよびピー・エドラン、「ガウス混合モデルを用いたサイン波振幅の可変次元量子化」、ＩＥＥＥ国際会議、音響音声信号処理（ＩＣＡＳＳＰ）、２００４年、第１巻、１５３頁-１５６頁（J. Lindblom and P. Hedelin, .Variable-dimension quantization of sinusoidal amplitudes using Gaussian mixture models," in Proc. IEEE Int. Conf. Acoust., Speech, Signal Processing (ICASSP), 2004, vol. 1, pp. 153.156）
［１７］エイ・ガーショおよびアール・エム・グレイ、「ベクトル量子化と信号圧縮」、クリューワ・アカデミック・パブリッシャーズ、ボストン、１９９２年（A. Gersho and R. M. Gray, Vector Quantization and Signal Compression, Kluwer Academic Publishers, Boston, 1992）
［１８］ティー・アイ・ラークソ、ブイ・ヴァリマキ、エム・カルヤライネンおよびユー・ケイ・レイン、「分数遅延フィルタ設計のためのツール」、ＩＥＥＥ信号処理雑誌、３０頁-６０頁、１９９６年１月（T.I. Laakso, V. Valimaki, M. Karjalainen, and U.K. Laine, "Tools for fractional delay filter design," IEEE Signal Processing Magazine, pp. 30.60, January 1996）
［１９］ＩＴＵ-Ｒ勧告ＢＳ１５３４、「符号化システムの中間品質レベルの主観評価のための方法」、ＩＴＵ-Ｔ、２００１年（ITU-R Recommendation BS.1534, Method for the Subjective Assessment of Intermediate Quality Level of Coding Systems, ITU-T, 2001）
［２０］ＬＡＭＥプロジェクト、http://lame.sourceforge.net/、２００４年７月、ｖ3.９６.１（The LAME project," http://lame.sourceforge.net/, July 2004, v3.96.1）
【図面の簡単な説明】
【００８１】
【図１】発明のマルチチャネルエンコーダの全般を表すブロック図である。
【図２】マルチチャネルデコーダの全般を表すブロック図である。
【図３】低処理出力のエンコーダ側実施例のブロック図である。
【図４】図３のエンコーダシステムのためのデコーダ実施例のブロック図である。
【図５】合成による分析に基づくエンコーダの実施例のブロック図である。
【図６】図５のエンコーダ実施例に対応するデコーダ実施例のブロック図である。
【図７】符号化残留信号における冗長性が低減された単純なエンコーダ実施例のブロック図である。
【図８】図７のエンコーダに対応するデコーダの好ましい実施例の図である。
【図９ａ】図７と図８の概念に基づくエンコーダ／デコーダ構成の好ましい実施例の図である。
【図９ｂ】残留信号がなく、アラインメントおよび利得パラメータのみを送信した場合の図９ａの実施例の好ましい実施例の図である。
【図９ｃ】図９ａと図９ｂにおけるエンコーダ側で使用される等式の組を示す図である。
【図９ｄ】図９ａと図９ｂにおけるデコーダ側で使用される等式の組を示す図である。
【図１０】図９ａから図９ｄの構成の分析フィルタバンク／合成フィルタバンクに基づく実施例の図である。
【図１１】パラメトリックな従来技術の波形によるエンコーダと発明の強化されたエンコーダの典型的な性能を比較した図である。
【図１】
2008530616.tif 000003
【図２】
2008530616.tif 000004
【図３】
2008530616.tif 000005
【図４】
2008530616.tif 000006
【図５】
2008530616.tif 000007
【図６】
2008530616.tif 000008
【図７】
2008530616.tif 000009
【図８】
2008530616.tif 000010
【図９ａ】
2008530616.tif 000011
【図９ｂ】
2008530616.tif 000012
【図９ｃ】
2008530616.tif 000013
【図９ｄ】
2008530616.tif 000014
【図１０】
2008530616.tif 000015
【図１１】
2008530616.tif 000016
【手続補正書】
【提出日】平成18年12月13日(2006.12.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
２つ以上のチャネルを有する元のマルチチャネル信号を符号化するためのマルチチャネルエンコーダであって、
１つまたは複数のパラメータを提供するためのパラメータプロバイダを備え、１つまたは複数のパラメータは、再構成マルチチャネル信号が、マルチチャネル信号由来の１つまたは複数のダウンミックスチャネルと１つまたは複数のパラメータとを用いて形成できるように形成され、さらに、
残留信号を用いて形成される場合の再構成マルチチャネル信号が、残留信号を用いずに形成される場合より元のマルチチャネル信号に類似するように、元のマルチチャネル信号、１つまたは複数のダウンミックスチャネル、または１つまたは複数のパラメータに基づき符号化残留信号を生成するための残留エンコーダを備え、同残留エンコーダが、１つまたは複数のダウンミックスチャネルと１つまたは複数のパラメータを用いて、復号化マルチチャネル信号を生成するためのマルチチャネルデコーダと、復号化マルチチャネル信号および元のマルチチャネル信号に基づき、マルチチャネル誤差信号表現を計算するための誤差計算器と、マルチチャネル誤差信号表現を処理して符号化残留信号を取得するための残留プロセッサとを含み、さらに、
符号化残留信号および１つまたは複数のパラメータを有するデータストリームを形成するためのデータストリームフォーマとを備える、マルチチャネルエンコーダ。
【請求項２】
データストリームフォーマが、スケーラブルデータストリームを形成するよう作用し、１つまたは複数のパラメータおよび残留信号が異なるスケーリング層にある、請求項１に記載のマルチチャネルエンコーダ。
【請求項３】
残留エンコーダが、波形残留信号として符号化残留信号を計算するべく作用する、請求項１に記載のマルチチャネルエンコーダ。
【請求項４】
１つまたは複数のパラメータを使用せずに残留信号を発生させる場合に比べて、残留信号がより小さいエネルギを有するように、残留エンコーダが、１つまたは複数のパラメータと、１つまたは複数のダウンミックスチャネルを有していない元のマルチチャネル信号とに基づいて、残留信号を生成するべく作用する、請求項１に記載のマルチチャネルエンコーダ。
【請求項５】
パラメータプロバイダが、少なくとも２つのチャネルのうち第１および第２のチャネルを整列させるための時間アライナに付与すべき時間アラインメントパラメータを計算するためのアラインメント計算器か、または、
２つのチャネルの間の差分が、１の利得値に比べて少なくなるように、チャネルを重み付けするために、１に等しくない利得を計算するための利得計算器を備える、請求項４に記載のマルチチャネルエンコーダ。
【請求項６】
残留エンコーダが、第１のチャネルおよび整列したまたは重み付けされた第２のチャネルに由来する差分信号を計算しかつ符号化するべく作用する、請求項５に記載のマルチチャネルエンコーダ。
【請求項７】
整列したチャネルを用いてダウンミックスチャネルを生成するためのダウンミキサをさらに備える、請求項５に記載のマルチチャネルエンコーダ。
【請求項８】
マルチチャネル信号を複数の周波数帯へ分割するための分析フィルタバンクをさらに含み、
パラメータプロバイダと残留エンコーダとがサブバンド信号に対して作用するよう動作し、かつ
データストリームフォーマが複数の周波数帯の符号化残留信号およびパラメータを集めるべく作用する、請求項１に記載のマルチチャネルエンコーダ。
【請求項９】
残留プロセッサが、マルチチャネル誤差信号表現のマルチチャネル表現を生成するためのマルチチャネルエンコーダを備える、請求項１に記載のマルチチャネルエンコーダ。
【請求項１０】
残留プロセッサが、マルチチャネル誤差信号表現の１つまたは複数のダウンミックスチャネルをさらに生成すべく作用する、請求項９に記載のマルチチャネルエンコーダ。
【請求項１１】
パラメータプロバイダが、チャネル間レベル差、チャネル間コヒーレンスパラメータ、チャネル間時間差またはチャネル放絡キュー等のバイノーラルキュー符号化（ＢＣＣ）パラメータを付与すべく作用する、請求項１に記載のマルチチャネルエンコーダ。
【請求項１２】
２以上のチャネルを有する元のマルチチャネル信号を符号化する方法であって、
１つまたは複数のパラメータを与えるステップを含み、その１つまたは複数のパラメータは、再構成マルチチャネル信号が、マルチチャネル信号由来の１つまたは複数のダウンミックスチャネルと１つまたは複数のパラメータとを用いて形成できるように形成され、さらに、
残留信号を用いて形成される場合の再構成マルチチャネル信号が、残留信号を用いずに形成される場合より元のマルチチャネル信号に類似するように、元のマルチチャネル信号、１つまたは複数のダウンミックスチャネル、または１つまたは複数のパラメータに基づき符号化残留信号を生成するステップを備え、同生成ステップが、１つまたは複数のダウンミックスチャネルおよび１つまたは複数のパラメータを用いて、復号化マルチチャネル信号を生成するステップと、復号化されたマルチチャネル信号および元のマルチチャネル信号に基づきマルチチャネル誤差信号表現を計算するステップと、マルチチャネル誤差信号表現を処理して符号化残留信号を得るステップとを含み、さらに
符号化残留信号および１つまたは複数のパラメータを有するデータストリームを形成するステップとを備える、方法。
【請求項１３】
１つまたは複数のダウンミックスチャネル、１つまたは複数のパラメータおよび符号化残留信号を有する符号化マルチチャネル信号を復号化するためのマルチチャネルデコーダであって、１つまたは複数のダウンミックスチャネルは、アラインメントパラメータまたは利得パラメータに依存し、マルチチャネルデコーダが、
符号化残留信号に基づき復号化された残留信号を生成するための残留デコーダと、
１つまたは複数のダウンミックスチャネルおよび１つまたは複数のパラメータを用いて第１の再構成マルチチャネル信号を生成するためのマルチチャネルデコーダとを備え、
マルチチャネルデコーダが、さらに、１つまたは複数のダウンミックスチャネルおよび復号化残留信号を用いて、第２の再構成マルチチャネル信号を生成するために作用し、
マルチチャネルデコーダが、利得パラメータを用いてダウンミックスチャネルを重み付けし、復号化残留信号を重み付けしたダウンミックスチャネルに加え、結果として得られたチャネルを再び重み付けして、第１の再構成マルチチャネル信号を取得し、かつ第２の再構成マルチチャネル信号を取得する場合に、復号化残留信号をダウンミックスチャネルから減算して、減算で得られたチャネルを利得パラメータを用いて重み付けし、またはダウンミックスチャネルと復号化残留信号との間の差分を非整列化すべくさらに作用する、マルチチャネルデコーダ。
【請求項１４】
符号化マルチチャネル信号が、スケーリングされたデータストリームにより表され、スケーリングされたデータストリームは、１つまたは複数のパラメータを含む第１のスケーリング層と符号化残留信号を含む第２のスケーリング層とを有し、
マルチチャネルエンコーダが、第１または第２のスケーリング層を抽出するためのデータストリームパーサをさらに備える、請求項１３に記載のマルチチャネルデコーダ。
【請求項１５】
符号化残留信号が、１つまたは複数のパラメータに依存し、かつ
マルチチャネルデコーダが、１つまたは複数のダウンミックスチャネルと、１つまたは複数のパラメータと、復号化残留信号とを第２の再構成マルチチャネル信号を生成するために使用するべく作用する、請求項１３に記載のマルチチャネルデコーダ。
【請求項１６】
ダウンミックスチャネルが、アラインメントパラメータまたは利得パラメータに依存し、かつ
マルチチャネルデコーダが、利得パラメータに基づき第１の重み付けルールを用いてダウンミックスチャネルを重み付けし、かつ利得パラメータに基づき第２の重み付けルールを用いてダウンミックスチャネルを重み付けするよう作用するか、または、
アラインメントパラメータを用いて、他の出力チャネルに対して１つの出力チャネルを非整列化させるよう作用する、請求項１３に記載のマルチチャネルデコーダ。
【請求項１７】
パラメータが、チャネル間レベル差、チャネル間コヒーレンスパラメータ、チャネル間時間差またはチャネル放絡キュー等のバイノーラルキュー符号化（ＢＣＣ）パラメータを含み、かつ
マルチチャネルデコーダが、バイノーラルキュー符号化（ＢＣＣ）構成に従い、マルチチャネル復号化動作を行うべく作用する、請求項１３に記載のマルチチャネルデコーダ。
【請求項１８】
１つまたは複数のダウンミックスチャネル、１つまたは複数のパラメータおよび符号化残留信号が、サブバンド専用データにより表され、
マルチチャネルデコーダにより生成される再構成サブバンドデータを結合させて、第１または第２の再構成マルチチャネル信号のフルバンド表現を取得するための合成フィルタバンクをさらに備える、請求項１３に記載のマルチチャネルデコーダ。
【請求項１９】
１つまたは複数のダウンミックスチャネルと、１つまたは複数のパラメータと、符号化残留信号とを有する符号化マルチチャネル信号を復号化する方法であって、
符号化残留信号に基づき、復号化残留信号を生成するステップと、
１つまたは複数のダウンミックスチャネルおよび１つまたは複数のパラメータを用いて第１の再構成マルチチャネル信号を生成し、かつ１つまたは複数のダウンミックスチャネルおよび復号化残留信号を用いて第２の再構成マルチチャネル信号を生成するステップを備え、同生成ステップが、利得パラメータを用いてダウンミックスチャネルを重み付けし、重み付けしたダウンミックスチャネルに対して復号化残留信号を加え、結果として得られたチャネルを再び重み付けして第１の再構成マルチチャネル信号を取得するステップと、第２の再構成マルチチャネル信号を得る場合に、復号化残留信号をダウンミックスチャネルから減算して、減算から得られたチェネルを重み付けするか、または、ダウンミックスチャネルと復号化残留信号との間の差分を非整列化させるステップとを含む、方法。
【請求項２０】
２以上のチャネルを有する元のマルチチャネル信号を符号化するためのマルチチャネルエンコーダであって、
アラインメントパラメータを用いて２以上のチャネルのうちの第１および第２のチャネルを整列させるための時間アライナと、
整列したチャネルを用いてダウンミックスチャネルを生成するためのダウンミキサと、
整列したチャネル間の差分が、１の利得値に比べて少なくなるよう、整列したチャネルを重み付けするための、１に等しくない利得パラメータを計算するための利得計算器と、
ダウンミックスチャネルに関する情報と、アラインメントパラメータに関する情報と、利得パラメータに関する情報とを有するデータストリームを形成するためのデータストリームフォーマとを備える、マルチチャネルエンコーダ。
【請求項２１】
第１チャネルおよび整列しかつ重み付けされた第２のチャネル由来の差分信号を計算しかつ符号化するための残留エンコーダをさらに備え、
データストリームフォーマが、符号化残留信号をデータストリームに含むようさらに作用する、請求項２０に記載のマルチチャネルエンコーダ。
【請求項２２】
１つまたは複数のダウンミックスチャネルに関する情報と、利得パラメータに関する情報と、アライメントパラメータに関する情報と、符号化残留信号とを有する符号化マルチチャネル信号を復号化するためのマルチチャネルデコーダであって、
復号化ダウンミックスチャネルを生成するためのダウンミックスチャネルデコーダと、
利得パラメータを用いて復号化ダウンミックスチャネルを処理して第１の復号化出力チャネルを取得し、利得パラメータを用いて復号化されたダウンミックスチャネルを処理し、かつアラインメントパラメータを用いて非整列化を行い第２の復号化出力チャネルを取得するためのプロセッサと、
復号化残留信号を生成するための残留デコーダとを備え、
プロセッサが、利得パラメータを用いてダウンミックスチャネルを一次的に重み付けして、復号化残留信号を加え、利得パラメータを用いて二次的に重み付けをして、第１の再構成チャネルを取得し、かつ復号化残留信号を、重み付けの前にダウンミックスチャネルから減算し、非整列化して、再構成された第２のチャネルを取得するべく作用する、マルチチャネルデコーダ。
【請求項２３】
２以上のチャネルを有する元のマルチチャネル信号を符号化する方法であって、
アラインメントパラメータを用いて２以上のチャネルのうち第１および第２のチャネルを時間整列させるステップと、
整列したチャネルを用いてダウンミックスチャネルを生成するステップと、
整列したチャネル間の差分が、１の利得値より小さくなるように、整列したチャネルを重み付けするための、１に等しくない利得パラメータを計算するステップと、
ダウンミックスチャネルに関する情報、アラインメントパラメータに関する情報および利得パラメータに関する情報を有するデータストリームを形成するステップとを備える、方法。
【請求項２４】
１つまたは複数のダウンミックスチャネルに関する情報、利得パラメータに関する情報、アラインメントパラメータに関する情報および符号化残留信号を有する符号化マルチチャネル信号を復号化する方法であって、
復号化ダウンミックスチャネルを生成するステップと、
利得パラメータを用いて復号化ダウンミックスチャネルを処理して第１の復号化出力チャネルを取得し、利得パラメータを用いて復号化ダウンミックスチャネルを処理しかつアラインメントパラメータに基づく非整列化を行って、第２の復号化出力チャネルを取得するステップと、
符号化残留信号を復号化して復号化残留信号を取得するステップとを備え、
同処理ステップは、利得パラメータを用いてダウンミックスチャネルを一次的に重み付けし、復号化残留信号を加え、利得パラメータを用いて二次的に重み付けをして、第１の再構成チャネルを取得するステップと、復号化残留信号を、重み付けの前に、ダウンミックスチャネルから減算し、非整列化して再構成された第２のチャネルを取得するステップとを含む、方法。
【請求項２５】
１つまたは複数のダウンミックスチャネルと、１つまたは複数のパラメータとに関する情報を有する符号化マルチチャネル信号であって、１つまたは複数のダウンミックスチャネルと結合させると、第１の再構成マルチチャネル信号を生じ、かつ符号残留信号は、１つまたは複数のダウンミックスチャネルと結合させると、第２の再構成マルチチャネル信号を生じ、
第２の再構成マルチチャネル信号が、第１の再構成マルチチャネル信号よりも、元のマルチチャネル信号に類似し、
符号化マルチチャネル信号が、スケーラブルデータストリームであり、１つまたは複数のパラメータおよび残留信号が異なるスケーリング層に存在し、または１つまたは複数のパラメータが、チャネル間レベル差、チャネル間コヒーレンスパラメータ、チャネル間時間差またはチャネル放絡キュー等のバイノーラルキュー符号化（ＢＣＣ）パラメータを含む、信号。
【請求項２６】
コンピュータ上で実行すれば、請求項１２、１９、２３、または２４のいずれかの方法を実行する、コンピュータプログラム。
【国際調査報告】
2008530616.tif 000017
2008530616.tif 000018
2008530616.tif 000019
2008530616.tif 000020
2008530616.tif 000021