(57)【要約】  少なくとも１個のベースチャンネル（１１０２）を有する入力信号を用いて少なくとも３個の出力チャンネル（１１００）を生成するための多チャンネルシンセサイザであって、ベースチャンネルはオリジナルの多チャンネル信号（１０１、１０２、１０３）から導出され、入力信号はさらに少なくとも２個の異なるアップミキシングパラメータ（１１０８）と、第一の状態において第一のアップミキシング規則を行うべきことを指示し、第二の状態において異なる第二のアップミキシング規則を行うべきことを指示するアップミキサモード指示（１００５）とを含み、シンセサイザは、アップミキサモード指示（１００５）に応答して、第一または第二のアップミキシング規則（２０１、１４０７）に基づいて少なくとも２個の異なるアップミキシングパラメータ（１１０８）を用いて少なくとも１個のベースチャンネルをアップミキシングするアップミキサ（１１０４）を用いて、少なくとも３個の出力チャンネルを得る。【選択図】図１０
2008517338.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１個のベースチャンネル（１１０２）を有する入力信号を用いて少なくとも３個の出力チャンネル（１１００）を生成するための多チャンネルシンセサイザであって、ベースチャンネルはオリジナルの多チャンネル信号（１０１、１０２、１０３）から導出され、入力信号はさらに少なくとも２個の異なるアップミキシングパラメータ（１１０８）と、第一の状態において第一のアップミキシング規則を行うべきことを指示し、第二の状態において異なる第二のアップミキシング規則を行うべきことを指示するアップミキサモード指示（１００５）とを含み、
アップミキサモード指示（１００５）に応答して、第一または第二のアップミキシング規則（２０１、１４０７）に基づいて少なくとも２個の異なるアップミキシングパラメータ（１１０８）を用いて少なくとも１個のベースチャンネルをアップミキシングし、少なくとも３個の出力チャンネルを得る、アップミキサ（１１０４）を含む、多チャンネルシンセサイザ。
【請求項２】
アップミキサ（１１０４）は、アップミキサモード指示（１００５）に依存して、アップミキシングの際に、アップミキサモード指示（１００５）に依存して、少なくとも二個の異なったアップミキシングパラメータ（１１０８）を用いて第一または第二のアップミキシング規則のためのパラメータを計算するように動作する、請求項１に記載の多チャンネルシンセサイザ。
【請求項３】
アップミキサモード指示（１００５）は、周波数選択的、またはサブバンドごと、または時間選択的、またはフレームごとの信号処理によりアップミキサモードを指示し、
アップミキサは、アップミキサモード指示（１００５）によって指示されるように、異なる周波数帯域または時間部分について、異なるアップミキシング規則を用いて少なくとも１個のベースチャンネルをアップミックスするように動作する、請求項１または請求項２に記載の多チャンネルシンセサイザ。
【請求項４】
第一のアップミキシング規則は予測的アップミキシング規則であり、第二のアップミキシング規則はエネルギ依存のアップミキシングパラメータを含むアップミキシング規則である、請求項１から請求項３のいずれかに記載の多チャンネルシンセサイザ。
【請求項５】
第二のアップミキシング規則は以下数式１のように定義される請求項４に記載の多チャンネルシンセサイザ。
【数１】
2008517338.tif 000059
ここで、Ｌは左入力チャンネルのエネルギ値であり、Ｃはセンター入力チャンネルのエネルギ値であり、Ｒは右入力チャンネルのエネルギ値であり、αはダウンミックスの決定されたパラメータである。
【請求項６】
第二のアップミキシング規則は、右のダウンミックスチャンネルが左のアップミックスされたチャンネルに付加されず、逆もそうであるようなものである、請求項１から請求項５のいずれかに記載の多チャンネルシンセサイザ。
【請求項７】
第一のアップミキシング規則はオリジナルの多チャンネル信号の波形と第一のアップミキシング規則によって生成された信号の波形との波形整合によって決定される、請求項１から請求項６のいずれかに記載の多チャンネルシンセサイザ。
【請求項８】
第一または第二のアップミキシング規則は以下数式2のように定義され：
【数２】
2008517338.tif 000060
ここで関数ｆ１、ｆ２、ｆ３は送信された２個の異なるアップミキシングパラメータｃ１、ｃ２の関数を示し、
これらの関数は以下数式３のように定義される請求項１から請求項７のいずれかに記載の多チャンネルシンセサイザ。
【数３】
2008517338.tif 000061
ここでαは実数値パラメータである。
【請求項９】
入力信号に含まれる少なくとも１個のベースチャンネルの一部を用いて、送信されたベースチャンネルに含まれていない少なくとも１個のベースチャンネルの帯域を再生成するためのＳＢＲユニット（１６１４）をさらに含み、
多チャンネルシンセサイザは、少なくともベースチャンネルの再生成された帯域には第二のアップミキシング規則を適用し、入力信号に含まれたベースチャンネルの帯域には第一のアップミキシング規則を適用するように動作する、請求項１から請求項８のいずれかに記載の多チャンネルシンセサイザ。
【請求項１０】
アップミックスモード指示（１００５）は入力信号に含まれるＳＢＲ信号処理（１６０６）である、請求項９に記載の多チャンネルシンセサイザ。
【請求項１１】
入力信号は、エネルギ損失を伴うアップミキシング規則に依存するエネルギ誤差の情報を示すエネルギ尺度（１１０６）を含み、
アップミキサは、エネルギ損失を伴うアップミキシング規則を第一または第二のアップミキシング規則として用い、エネルギ誤差がエネルギ尺度に基づいて少なくとも部分的に補償されるように少なくとも３個の出力チャンネルを生成するように動作する、先行する請求項のいずれかに記載の多チャンネルシンセサイザ。
【請求項１２】
アップミキサは、入力信号からエネルギ尺度（１１０６）を抽出し、エネルギ尺度をアップミックスモード指示（１００５）として用いるよう動作し、それによってアップミキサが、入力信号にエネルギ尺度（１１０６）が存在することに応答してエネルギ損失を伴うアップミキシング規則を適用するように動作する、先行する請求項のいずれかに記載の多チャンネルシンセサイザ。
【請求項１３】
エネルギ尺度は、エネルギ損失を伴うアップミキシング規則を用いたアップミックス結果のエネルギとオリジナルの多チャンネル信号のエネルギとの関係を示すもの、またはエネルギ誤差のオリジナルの多チャンネル信号あるいはエネルギに対する関係を示すもの、または絶対的なエネルギ誤差を示すものである、請求項１２に記載の多チャンネルシンセサイザ。
【請求項１４】
アップミキサは、アップミキサモード指示（１００５）に応答して、少なくとも２個のアップミキシングパラメータと、オリジナルの多チャンネル信号から少なくとも１個のベースチャンネルを生成するのに用いられたダウンミックス規則情報とに基づいて、アップミックス行列を導出するための計算部（１６００）を含む、先行する請求項のいずれかに記載の多チャンネルシンセサイザ。
【請求項１５】
アップミキサ（１１０４）は、少なくとも１個のベースチャンネルから、またはエネルギ損失を伴うアップミキシング規則の出力信号から無相関化された信号を生成するための無相関化部（５０１、５０２、５０３，５０１’、５０３’）をさらに含み、
アップミキサは、出力チャンネルにおける無相関化された信号のエネルギ量がエネルギ尺度から導出可能なエネルギ誤差の量より少ないかそれと等しいように、無相関化された信号を用いるように動作する、請求項１１から請求項１４のいずれかに記載の多チャンネルシンセサイザ。
【請求項１６】
無相関化された信号のエネルギがエネルギ誤差より小さいとき、アップミキサは、アップスケールされた信号と付加された無相関化信号とをあわせたエネルギがオリジナルの信号のエネルギと等しくなるように、アップミキシング規則によって生成された信号をアップスケールするように動作する、請求項１５に記載の多チャンネルシンセサイザ。
【請求項１７】
付加された無相関化された信号のエネルギは無相関化因子によって決定され、１に近い高い無相関化因子は低レベルの無相関化信号を付加すべきことを示し、０に近い小さい無相関化因子は高レベルの無相関化信号を付加すべきことを示し、
無相関化尺度は入力信号から抽出される、請求項１５または請求項１６に記載の多チャンネルシンセサイザ。
【請求項１８】
入力信号は、２個の異なるアップミキシングパラメータに加えて、少なくとも１個のベースチャンネルの元となるダウンミックスの情報を含み、
アップミキサは、付加的なダウンミキシング情報を用いてアップミキシング行列（８０２）を生成するように動作する、先行する請求項のいずれかに記載の多チャンネルシンセサイザ。
【請求項１９】
多チャンネル入力信号を処理するためのエンコーダであって、
エンコーダで利用可能な情報に基づいて複数の異なるパラメータ表現から特定のパラメータ表現を生成するためのパラメータ生成部（１０４、１００１、１５２０、１５２２、１４１４、１４１６）を含み、パラメータ表現は多チャンネル出力信号を再構築するために１または２以上のベースチャンネルをアップミキシングする際に有用であり、さらに
生成されたパラメータ表現と、複数の異なるパラメータ表現のうち特定のパラメータ表現を暗示的にまたは明示的に示す情報とを出力するための、出力インターフェィス（１４０８）を含む、エンコーダ。
【請求項２０】
複数の異なるパラメータ表現は波形ベースの予測的アップミキシングスキームのための第一のパラメータ表現と、非波形ベースのアップミキシング規則のための第二のパラメータ表現とを含む、請求項１９に記載のエンコーダ。
【請求項２１】
非波形ベースのアップミキシング規則はエネルギ保存アップミキシング規則である、請求項２０に記載のエンコーダ。
【請求項２２】
第一のパラメータ表現はそのパラメータが最適化手順を用いて決定されるようなパラメータ表現であり、
第二のパラメータ表現は、オリジナルのチャンネルのエネルギを計算し（１５２０）、エネルギの組合せに基づいてパラメータを計算する（１５２２）ことによって決定される、請求項１９から請求項２１のいずれかに記載のエンコーダ。
【請求項２３】
エンコーダによって出力されるベースチャンネルには含まれない、オリジナルの入力信号の少なくとも１の帯域についてスペクトル帯域複製サイド情報を生成するためのスペクトル帯域複製モジュール（１５１２、１５１４）をさらに含み、スペクトル帯域複製サイド情報は特定のパラメータ表現を暗示的に示す、請求項１９から請求項２２のいずれかに記載のエンコーダ。
【請求項２４】
多チャンネル入力信号または多チャンネル入力信号から導出された少なくとも１個のベースチャンネルと、エネルギ損失を伴うアップミキシング動作によって生成されたアップミックスされた信号とのエネルギ差に依存するエネルギ尺度（ρ）を計算するためのエネルギ尺度計算部（１４０２）をさらに含み、
出力インターフェィス（１４０８）は、エネルギ尺度に依存するスケーリング因子（４０３）によってスケーリングされた（４０１、４０２）後の少なくとも１個のベースチャンネル、またはエネルギ尺度を出力するように動作する、請求項１９から請求項２３のいずれかに記載のエンコーダ。
【請求項２５】
出力インターフェィスによって出力されたエネルギ尺度（ρ）は、特定のパラメータ表現を暗示的に信号で示すために用いられる、請求項２４に記載のエンコーダ。
【請求項２６】
複数の異なるパラメータ表現のうちどれを生成または出力すべきかについて、パラメータ生成部または出力インターフェィスを制御するためのパラメータ表現制御部をさらに含む、請求項１９から請求項２５のいずれかに記載のエンコーダ。
【請求項２７】
パラメータ表現制御部はエンコーダにおけるイベントを決定するか、またはターゲット関数を計算するように動作する、請求項１９から請求項２６のいずれかに記載のエンコーダ。
【請求項２８】
エンコーダにおけるイベントはスペクトル帯域複製情報の計算であり、制御部は、ベースチャンネルに含まれていない帯域については第二のパラメータ表現を出力し、ベースチャンネルに含まれる帯域については第一のパラメータ表現を出力するように出力インターフェィスを制御するように動作する、請求項２７に記載のエンコーダ。
【請求項２９】
パラメータ表現制御部は、ターゲット関数において、アップミックス品質、ダウンミックスビットレート、エンコーダ側またはデコーダ側での計算効率、またはバッテリ駆動の装置のエネルギ消費、から導出される値または値の組合せを用いるように動作し、ターゲット関数は、あるサブバンドまたはフレームについて、第一のパラメータ化が第二のパラメータ化より良好であることを示す、請求項１９から請求項２７のいずれかに記載のエンコーダ。
【請求項３０】
出力インターフェィスは、異なる周波数帯域または異なる時間期間について異なるパラメータ表現を出力するように動作する、先行する請求項のいずれかに記載のエンコーダ。
【請求項３１】
エネルギを伴うアップミキシング規則を用いた少なくとも１個のベースチャンネルのアップミキシングによって生成されたアップミックスされた信号のエネルギと、オリジナルの多チャンネル信号のエネルギとの関係に基づきエネルギ尺度を計算するためのエネルギ尺度計算部をさらに含む、請求項１９から請求項３０のいずれかに記載のエンコーダ。
【請求項３２】
少なくとも１個のベースチャンネルを計算するためのダウンミキサ装置（１４１０）をさらに含み、
出力インターフェィス（１４０８）は、少なくとも１個のベースチャンネルを出力するように動作する、請求項１９から請求項３１のいずれかに記載のエンコーダ。
【請求項３３】
少なくとも１個のベースチャンネル（１１０２）を有する入力信号を用いて少なくとも３個の出力チャンネル（１１００）を生成するための方法であって、ベースチャンネルはオリジナルの多チャンネル信号（１０１、１０２、１０３）から導出され、入力信号はさらに少なくとも２個の異なるアップミキシングパラメータ（１１０８）と、第一の状態において第一のアップミキシング規則を行うべきことを指示し、第二の状態において異なる第二のアップミキシング規則を行うべきことを指示するアップミキサモード指示（１００５）とを含み、
アップミキサモード指示（１００５）に応答して、第一または第二のアップミキシング規則（２０１、１４０７）に基づいて少なくとも２個の異なるアップミキシングパラメータ（１１０８）を用いて少なくとも１個のベースチャンネルをアップミキシングするステップを含み、それによって少なくとも３個の出力チャンネルを得る、方法。
【請求項３４】
多チャンネル入力信号を処理する方法であって、
エンコーダで利用可能な情報に基づいて複数の異なるパラメータ表現から特定のパラメータ表現を生成するステップ（１０４、１００１、１５２０、１５２２、１４１４、１４１６）を含み、パラメータ表現は多チャンネル出力信号を再構築するために１または２以上のベースチャンネルをアップミキシングする際に有用であり、さらに
生成されたパラメータ表現と、複数の異なるパラメータ表現のうち特定のパラメータ表現を暗示的にまたは明示的に示す情報とを出力するステップ（１４０８）を含む、方法。
【請求項３５】
複数の異なるパラメータ表現のうち特定のパラメータ表現を有する、エンコードされた多チャンネル情報信号であって、パラメータ表現は多チャンネル出力信号を再構築するために１または２以上のベースチャンネルをアップミキシングする際に有用であり、情報は、複数の異なるパラメータ表現のうち特定のパラメータ表現を暗示的にまたは明示的に示す、情報。
【請求項３６】
請求項３５に記載のエンコードされた多チャンネル情報信号が記録された機械可読媒体。
【請求項３７】
請求項１９から請求項３２のいずれに記載のエンコーダを有する、送信機またはオーディオレコーダ。
【請求項３８】
請求項１から請求項１９のいずれに記載のデコーダを有する、受信機またはオーディオプレーヤ。
【請求項３９】
請求項３７に記載の送信機および請求項３８に記載の受信機を有する、送信システム。
【請求項４０】
請求項３４に記載の処理方法を有する、送信またはオーディオレコーディング方法。
【請求項４１】
請求項３３に記載の生成方法を含む、受信またはオーディオ再生方法。
【請求項４２】
請求項４１に記載の受信および請求項４０に記載の送信方法。
【請求項４３】
コンピュータ上で実行されると、請求項３３、３４、４０、４１または４２のいずれかの方法を実行する、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は利用可能なステレオ信号と付加的な制御データに基づいたオーディオ信号の多チャンネル再構築に関するものである。
【背景技術】
【０００２】
オーディオ符号化の最近の発展により、ステレオ（またはモノラル）信号と対応する制御データとに基づいてオーディオ信号の多チャンネル表現を再生成する能力が利用可能となった。これらの方法はドルビープロロジック（Ｄｏｌｂｙ  Ｐｒｏｌｏｇｉｃ）等の過去のマトリックスベースの解決策とは実質的に異なっている。なぜなら送信されたモノラルまたはステレオチャンネルに基づいてサラウンドチャンネルの、アップミックスとも称される、再生成を制御するために、付加的な制御データが送信されるからである。
【０００３】
すなわち、パラメータによる多チャンネルのオーディオデコーダは、Ｎ＞ＭであるＭ個の送信されたチャンネルと、付加的な制御データとに基づいてＮ個のチャンネルを再構築する。付加的なＮ−Ｍ個のチャンネルを送信するのに比べて、付加的な制御データのデータ速度はかなり遅いので、符号化を非常に効率化すると同時にＭチャンネルの装置とＮチャンネルの装置との互換性を確保する。
【０００４】
これらのパラメータによるサラウンド符号化方法は通常、ＩＩＤ（Ｉｎｔｅｒ  ｃｈａｎｎｅｌ  Ｉｎｔｅｎｓｉｔｙ  Ｄｉｆｆｅｒｅｎｃｅ：チャンネル間強度差）およびＩＣＣ（Ｉｎｔｅｒ  Ｃｈａｎｎｅｌ  Ｃｏｈｅｒｅｎｃｅ：チャンネル間コヒーレンス）に基づいたサラウンド信号のパラメータ化を含む。これらのパラメータはアップミックス処理におけるチャンネル対間の出力比と相関とを示す。先行技術で用いられているさらなるパラメータは、アップミックス手順の間の中間または出力チャンネルを予測するのに用いられる予測パラメータを含む。
【０００５】
先行技術で説明された予測ベースの方法の最も魅力的な用途のひとつは、２個の送信チャネルから５．１チャネルを再生成するシステムのためのものである。この構成では、デコーダ側でステレオ送信が利用可能であるが、これはオリジナルの５．１多チャンネル信号のダウンミックスである。ここで特に興味深いのは、ステレオ信号からセンターチャンネルを可能な限り正確に抽出できる点であり、なぜなら通常センターチャンネルは左右のダウンミックスチャンネルの両者にダウンミックスされるからである。これは、センターチャンネルを構築するのに用いられる２個の送信チャネルの各々の量を記述した２個の予測係数を推定することによって行なわれる。これらのパラメータは、上述のＩＩＤおよびＩＣＣパラメータと同様に異なる周波数領域について推定される。
【０００６】
しかしながら、予測パラメータは２個の信号の出力比を示すものではなく、最小二乗誤差の意味で波形整合に基づくものであるため、この方法は予測パラメータの計算後のステレオ波形に何らかの変形があると本質的にその影響を受けやすくなる。
【０００７】
近年のオーディオ符号化におけるさらなる発展により、低いビットレートでのオーディオコーデックの非常に有用なツールとして、高周波再構築法がもたらされた。その一例はＳＢＲ（Ｓｐｅｃｔｒａｌ  Ｂａｎｄ  Ｒｅｐｌｉｃａｔｉｏｎ：スペクトル帯域複製）であり［ＷＯ９８／５７４３６］、これはＭＰＥＧ−４高効率ＡＡＣ等のＭＰＥＧ標準化コーデックにおいて用いられている。これらの方法に共通するのは、基礎となるコアコーデックによって符号化された狭帯域信号と少量の付加的なガイド情報とから、デコーダ側で高周波数を再生成することである。１個または２個のチャネルに基づいて多チャンネル信号をパラメータによって再構築する場合と同様に、欠落した信号成分（ＳＢＲの場合、高周波数）を再生成するのに必要とされる制御データの量は、波形によるコーデックで完全な信号を符号化するのに必要とされるデータ量に比べかなり小さい。
【０００８】
しかしながらここで承知しておくべきことは、再生成された高帯域信号は知覚的にはオリジナルの高帯域信号と等しいものの、実際の波形はかなり異なるということである。さらに、低いビットレートでステレオ信号を符号化する波形コーダでは通常ステレオ前処理が用いられ、これはステレオ信号のミッド／サイド表現のサイド信号に制限が加えられることを意味する。
【０００９】
ＭＰＥＧ−４高効率ＡＡＣを用いたステレオコーデック信号、または高周波再構築技術を利用した何らかの他のコーデックに基づく多チャンネルの表現が望まれる場合には、ダウンミックスされたステレオ信号を符号化する際に用いられるコーデックのこれらのおよび他の局面を考慮しなければならない。
【００１０】
さらに多チャンネルオーディオ信号として利用可能な録音に関して通常は専用のステレオミックスが利用可能であり、これは多チャンネル信号を自動的にダウンミックスしたものではない。これは一般に「芸術的ダウンミックス」と称される。このダウンミックスは多チャンネル信号の線形組合せとして表現することはできない。
【００１１】
この発明の目的は、より良い品質の再構築された多チャンネル出力をもたらす、改良された多チャンネルダウンミックス／エンコーダまたはアップミックス／デコーダの概念を提供することである。
【００１２】
この目的は、請求項１に記載の多チャンネルシンセサイザ、請求項１９に記載の多チャンネル入力信号を処理するためのエンコーダ、請求項３３に記載の少なくとも３個の出力チャンネルを生成するための方法、請求項３４に記載のエンコーディング方法、または請求項３５に記載のエンコードされた多チャンネル信号によって達成される。
【発明の概要】
【００１３】
この発明は、ある信号の異なる周波数または時間部分について、異なるパラメータ表現を用いることが、異なる状況に適応したエンコーディングまたはデコーディング状況を得るのに有用である、という知見に基づくものである。このような状況は、ＳＢＲ情報の計算を行ったり、エネルギ損失の補償に用いられるエネルギ尺度の計算を行うといったエンコーダのイベント、または他のイベントから結果として生じうる。異なるパラメータ表現を結果として生じうる他の状況は、あるサブバンドまたはフレームでは、第一のパラメータ化が第二のパラメータ化より良好であるような、アップミックスの品質、ダウンミックスのビットレート、エンコーダ側またはデコーダ側の計算効率、または、例えばバッテリ駆動の装置のエネルギ消費等である。当然のことながら、ターゲット関数もまた、上で概略を述べた、異なる個々のターゲット／イベントの組合せであり得る。
【００１４】
好ましくは、１のパラメータ表現は、ダウンミックスされた多チャンネル信号の波形変形に基づく予測的アップミックスのためのパラメータを含む。これは、ダウンミックスされた信号が、ステレオ前処理、高周波再構築および他の符号化スキームであって波形を大幅に変形するコーデックによって符号化される場合を含む。さらに、この発明は、芸術的ダウンミックス、すなわち多チャンネル信号から自動的に導出されたのではないダウンミックス信号について予測的アップミックス技術を用いる場合に生じる問題に対処する。
【００１５】
好ましくは、この発明は以下の特徴を有する。
【００１６】
−ダウンミックスされた波形に代えて変形された波形に基づいて予測パラメータを推定すること；
−予測ベースの方法を、それが有利である周波数域でのみ用いること；
−予測ベースのアップミックス手順において導入されたチャンネル間の不正確な相関とエネルギ損失とを訂正すること。
【好ましい実施例の説明】
【００１７】
以下で説明する実施例は単に本発明の原理を例示するものである。当業者にとっては構成の修正や変形およびここでの説明の詳細は明らかであることが理解される。したがってその範囲は添付の特許請求の範囲によってのみ限定されるものであって、以下の実施例の説明によって示される具体的な詳細によって限定されるものではない。
【００１８】
以下のパラメータの計算、応用、アップミックス、ダウンミックスまた他のいかなる行為も、周波数帯域選択ベースにより、すなわちフィルタバンクのサブバンドについて行なわれ得ることを強調しておく。
【００１９】
本発明の利点の概略を述べるために、先行技術によって公知の予測的アップミックスのより詳細な説明をまず最初に行なう。図１に概略を示すように、２つのダウンミックスチャネルに基づく３チャンネルのアップミックスを仮定する。ここで１０１は左オリジナルチャンネル、１０２はセンターオリジナルチャンネル、１０３は右オリジナルチャンネル、１０４はエンコーダ側ダウンミックスおよびパラメータ抽出モジュール、１０５および１０６は予測パラメータ、１０７は左ダウンミックスチャンネル、１０８は右ダウンミックスチャンネル、１０９は予測アップミックスモジュール、１１０、１１１および１１２はそれぞれ再構築された左、センターおよび右チャンネルを表わす。
【００２０】
ここで以下の定義を仮定する。Ｘは３×Ｌ行列であって、３個の信号セグメントｌ（ｋ）、ｒ（ｋ）、ｃ（ｋ）、ｋ＝０…、Ｌ−１を行として含む。
【００２１】
同様に、２個のダウンミックスされた信号ｌ０（ｋ)、ｒ０（ｋ）がＸ０の行を形成するものとする。ダウンミックス処理は以下の式で説明される。
【００２２】
【数１】
2008517338.tif 000003
【００２３】
ここでダウンミックス行列は以下のように定義される。
【００２４】
【数２】
2008517338.tif 000004
【００２５】
ダウンミックス行列の好ましい選択例は以下のものである。
【００２６】
【数３】
2008517338.tif 000005
【００２７】
すなわち、左ダウンミックス信号ｌ０（ｋ）はｌ（ｋ）およびαｃ（ｋ）のみを含み、ｒ０（ｋ）はｒ（ｋ）およびαｃ（ｋ）のみを含むことを意味する。このダウンミックス行列が好ましいのはセンターチャンネルの同じ量を左と右のダウンミックスに割当てるからであり、さらにオリジナルの右チャンネルを左のダウンミックスに何ら割当てず、また逆も同様だからである。
【００２８】
アップミックスは以下のように定義される。
【００２９】
【数４】
2008517338.tif 000006
【００３０】
ここでＣは３×２アップミックス行列である。
【００３１】
先行技術から公知の予測的アップミックスは最小二乗の意味においてＣについて優決定系を解くという思想に依拠している。
【００３２】
【数５】
2008517338.tif 000007
【００３３】
これは以下の正規方程式を導く。
【００３４】
【数６】
2008517338.tif 000008
【００３５】
式（６）の左からＤで乗算することによりDCX0X0*= X0X0*が得られ、X0X0*=DXX*D*となる通則的な場合にはこれが正則であることから、これは
【００３６】
【数７】
2008517338.tif 000009
【００３７】
を暗示する。ここでＩｎはｎ個の単位行列を示す。この関係により、パラメータ空間
Ｃは次元２に減じられる。
【００３８】
上述のことから、アップミックス行列C（数式８）は、ダウンミックス行列Ｄが公知であってＣ行列の２個の要素、例えばｃ１１およびｃ２２が送信されていれば、デコーダ側で完全に定義することができる。
【００３９】
【数８】
2008517338.tif 000010
【００４０】
残差（予測誤差）信号は以下で与えられる。
【００４１】
【数９】
2008517338.tif 000011
【００４２】
左からＤを乗算することにより、（７）から以下が得られる。
【００４３】
【数１０】
2008517338.tif 000012
【００４４】
以下のような１×Ｌ行ベクトル信号ｘｒが存在することになる。
【００４５】
【数１１】
2008517338.tif 000013
【００４６】
ここでｖはＤのカーネル（ゼロ空間）を張る３×１単位ベクトルである。例えばダウンミックス（３）の場合、以下を用いることができる。
【００４７】
【数１２】
2008517338.tif 000014
【００４８】
一般に、（数式１３）かつ（数式１４）である場合、これは単にある重み付け因子までは残差信号が３個のチャンネルすべてについて共通であることを意味する。
【００４９】
【数１３】
2008517338.tif 000015
【００５０】
【数１４】
2008517338.tif 000016
【００５１】
【数１５】
2008517338.tif 000017
【００５２】
直交射影原理により残差xr(k)は３個の予測された信号（数式１６）、（数式１７）、（数式１８）の全てに直交する。
【００５３】
【数１６】
2008517338.tif 000018
【００５４】
【数１７】
2008517338.tif 000019
【００５５】
【数１８】
2008517338.tif 000020
【００５６】
[本発明の好ましい実施例によって解決される問題および得られる改良点]
上で概要を述べた先行技術に従った予測に基づくアップミックスを用いる際に、明らかに以下のような問題が生じる：
・この方法は最小二乗誤差の意味で波形整合に依拠しており、ダウンミックスされた信号の波形が維持されないシステムでは効果がない。
【００５７】
・この方法は再構築されたチャンネル間に正しい相関構造を提供しない（以下で概略を述べる）。
【００５８】
・この方法は再構築されたチャンネルに正しい量のエネルギを再構築しない。
[エネルギ補償]
上述の通り、予測ベースの多チャンネル再構築に伴う問題の一つは、予測誤差が３個の再構築されたチャンネルのエネルギ損失に対応することである。以下ではこのエネルギ損失の理論と好ましい実施例によって教示される解決策との概略を述べる。第一に、理論的な分析を行い、その後、以下で概略を述べる理論に従った本発明の好ましい実施例を説明する。
【００５９】
E、（数式１９）（以下ｈａｔ｛Ｅ｝と記載する）およびErをXのオリジナル信号、（数式２０）（以下ｈａｔ｛Ｘ｝と記載する）の予測された信号およびXrの予測誤差信号のそれぞれのエネルギの和であるとする。
【００６０】
【数１９】
2008517338.tif 000021
【００６１】
【数２０】
2008517338.tif 000022
【００６２】
直交性により、以下が成り立つ。
【００６３】
【数２１】
2008517338.tif 000023
【００６４】
予測利得の総和はP=E/Erとして定義することができるが、以下においては、パラメータ
【００６５】
【数２２】
2008517338.tif 000024
【００６６】
を考えることがより便利であろう。
【００６７】
したがって、ρ2∈[0,1]が予測的アップミックスの相対的エネルギの総和を測定する。
【００６８】
このρにより、ｚ＝ｌ、ｒ、ｃについて（数式２３）となるように、補償利得（数式２４）を適用することによって、各チャンネルを再調整することが可能となる。
【００６９】
【数２３】
2008517338.tif 000025
【００７０】
【数２４】
2008517338.tif 000026
【００７１】
具体的には、目標エネルギは式（１２）から、以下で与えられる。
【００７２】
【数２５】
2008517338.tif 000027
【００７３】
したがって、解くべき式は
【００７４】
【数２６】
2008517338.tif 000028
【００７５】
となる。
【００７６】
したがって、ｖが単位ベクトルであるので、
【００７７】
【数２７】
2008517338.tif 000029
【００７８】
となり、ρの定義（１４）と式（１３）とにより、以下が得られる。
【００７９】
【数２８】
2008517338.tif 000030
【００８０】
これらすべてにより、利得は次のようになる。
【００８１】
【数２９】
2008517338.tif 000031
【００８２】
この方法では、ρを送信することに加えて、デコードされたチャンネルのエネルギ分布をデコーダで計算しなければならないことは明らかである。さらに、正確に再構築されるのはエネルギだけであって、非対角の相関構造は無視される。
【００８３】
総エネルギが確実に保存されるような利得の値を引出すことは可能であるが、個別のチャンネルのエネルギが正しいか否かは保証されない。総エネルギが確実に保存されるすべてのチャンネルに対する共通の利得ｇｚ＝ｇは、定義式（数式３０）によって得られる。
【００８４】
【数３０】
2008517338.tif 000032
【００８５】
すなわち
【００８６】
【数３１】
2008517338.tif 000033
【００８７】
線形性により、この利得はエンコーダにおいてダウンミックスされた信号に適用することができ、したがって付加的なパラメータを送信する必要はない。
【００８８】
図２は出力チャンネルの正確なエネルギを維持しながら３個のチャンネルを再生成する本発明の好ましい実施例を概略的に示す。ダウンミックスされた信号ｌ０およびｒ０は予測パラメータｃ１およびｃ２とともにアップミックスモジュール２０１に入力される。アップミックスモジュールはダウンミックス行列Ｄに関する知識と受信した予測パラメータとに基づいて、アップミックス行列Ｃを再生成する。２０１からの３個の出力チャンネルは調整パラメータρとともに２０２に入力される。３個のチャンネルは送信されたパラメータρの関数として利得調整され、エネルギ訂正されたチャンネルが出力される。
【００８９】
図３に調整モジュール２０２のより詳細な実施例を示す。３個のアップミックスされたチャンネルは調整モジュール３０４とモジュール３０１、３０２および３０３にそれぞれ入力される。エネルギ推定モジュール３０１−３０３は３個のアップミックスされた信号のエネルギを推定し、測定されたエネルギを調整モジュール３０４に入力する。エンコーダから受信された制御信号ρ（予測利得を表す）もまた３０４に入力される。調整モジュールは上で概略を述べた式（１９）を実現するものである。
【００９０】
本発明の別の実現例では、エネルギ訂正はエンコーダ側で行うことができる。図４はエンコーダの実現例を例示する図であって、ダウンミックスされた信号ｌ０１０７およびｒ０１０８は４０３によって計算された利得値にしたがって４０１および４０２で利得調整される。利得値は上述の式（２０）にしたがって導出される。上で概略を述べたとおり、本発明のこの実施例は、予測的アップミックスから３個の再生成されたチャンネルのエネルギを計算する必要がないため、有利である。しかしながら、これは単に３個の再生成されたチャンネルのエネルギの総和を確実に正しくするというだけである。個々のチャンネルのエネルギが確実に正しいというわけではない。
【００９１】
図４において、ダウンミキサの下に式（３）に対応するダウンミックス行列の好ましい例が記されている。しかしながら、ダウンミキサは式（２）で概略を示したいずれかの一般的なダウンミックス行列のいずれを適用することもできる。
【００９２】
後で概略を述べるように、入力として３個のチャンネルがあり、出力として２個のチャンネルがあるダウンミキサのこのような例では、少なくとも２個の付加的なアップミックスパラメータｃ１、ｃ２が必要である。ダウンミックス行列Ｄが可変であるか、またはデコーダに完全に知られていない場合には、用いられたダウンミックスの付加的な情報を、パラメータ１０５および１０６に加えて、エンコーダ側からデコーダ側に送信しなければならない。
[相関構造]
先行技術で説明されたアップミックス手順に伴う問題の一つは、これが再生成されたチャンネル間の正しい相関を再構築しない、ということである。したがって、上で概略を述べたとおり、センターチャンネルは左ダウンミックスチャンネルと右ダウンミックスチャンネルの線形組合せとして予測され、左右のチャンネルは、左右のダウンミックスチャンネルから予測されたセンターチャンネルを減じることによって再構築される。予測誤差があれば、予測された左右のチャンネルにオリジナルなセンターチャンネルの残り部分が生じることは明らかである。これは、再構築されたチャンネルにおいて３個のチャンネル間の相関がオリジナルの３個のチャンネルのそれと同じでないことを暗示する。
【００９３】
好ましい実施例では、予測された３個のチャンネルを、測定された予測誤差にしたがって無相関化された信号と組合せるべきであることが教示される。
【００９４】
正しい相関構造を達成するための基本的な理論を以下で簡単に説明する。残差の特別な構造を用いて、デコーダにおいて残差を無相関化された信号ｘｄで置換することによって、完全な３×３相関構造XX*を再構築することができる。
【００９５】
最初に、正規方程式（６）がXｒX0*=0を導くので、
【００９６】
【数３２】
2008517338.tif 000034
【００９７】
となり、X=hat｛X｝+Xrであるから、
【００９８】
【数３３】
2008517338.tif 000035
【００９９】
が得られ、ここで、最後の等式に（１０）および（１７）が適用される。
【０１００】
ｘｄを、hat｛X｝・xr*=0となるようにすべてのデコードされた信号（数式３４）、（数式３５）、（数式３６）から無相関化された信号であるとする。
【０１０１】
【数３４】
2008517338.tif 000036
【０１０２】
【数３５】
2008517338.tif 000037
【０１０３】
【数３６】
2008517338.tif 000038
【０１０４】
強化された信号
【０１０５】
【数３７】
2008517338.tif 000039
【０１０６】
はしたがって、相関行列
【０１０７】
【数３８】
2008517338.tif 000040
【０１０８】
を有することとなる。元の相関行列（２２）を完全に再生するためには
【０１０９】
【数３９】
2008517338.tif 000041
【０１１０】
であれば十分である。もしｘｄがダウンミックスされた信号、例えば(1/2)・(l0+r0) を無相関化することによって、さらに利得γによって得られるのであれば、以下が成立するはずである。
【０１１１】
【数４０】
2008517338.tif 000042
【０１１２】
この利得はエンコーダで計算可能である。しかしながら、式（１４）からのより良く定義されたパラメータρ2∈[0,1]を用いるとすれば、hat｛E｝および‖(1/2)・(l0+r0)‖2の推定はデコーダ側で行わなければならない。これに照らして、より魅力的な選択肢は、３個の無相関化要素を用いてｘｄを生成することである。すなわち
【０１１３】
【数４１】
2008517338.tif 000043
【０１１４】
というのも、この場合、‖χd‖2=γ2・hat｛E｝となり、したがって式（２５）は以下を選択することによって満足されるからである。
【０１１５】
【数４２】
2008517338.tif 000044
【０１１６】
図５はチャンネル間の正確な相関構造を維持しながら、２個のダウンミックスチャンネルから３個のチャンネルの予測的アップミックスを行うための、本発明の一実施例を例示する図である。図５において、モジュール１０９、１１０、１１１および１１２は図１と同様であり、したがってここではさらなる詳細は説明しない。１０９から出力された３個のアップミックスされた信号は無相関化モジュール５０１、５０２および５０３に入力される。これらは相互に無相関化された信号を生成する。無相関化された信号は和を取られてミキシングモジュール５０４、５０５および５０６に入力され、ここで１０９からの出力と混合される。予測的にアップミックスされた信号と、これらの無相関化されたものとを混合することが本発明の本質的な特徴である。図６にミキシングモジュール５０４、５０５および５０６の一実施例を示す。本発明のこの実施例では、無相関化された信号のレベルは制御信号γに基づいて６０１で調整される。その後無相関化された信号は６０２において予測的にアップミックスされた信号に加えられる。
【０１１７】
第三の好ましい実施例では、無相関化部５０１、５０２、５０３をアップミックスされたチャンネルに用いる。無相関化された信号はまた、無相関化部５０１’によって生成することもでき、これは入力信号として、ダウンミックスされた信号、またはすべてのダウンミックスされた信号を受信する。さらに、ダウンミックスチャンネルが２つ以上ある場合には、図５で示すように、無相関化信号は左ベースチャンネルｌ０と右ベースチャンネルｒ０とのための別個の無相関化部を用い、これら別個の無相関化部の出力を組合せることによって生成することができる。この方策は実質的には図５に示した方策と同じであるが、アップミックスの前のベースチャンネルが用いられる点で図５に示したものと異なる。
【０１１８】
さらに、図５に関連して概略を述べるように、ミキシングモジュール５０４、５０５および５０６は、エネルギ尺度ρのみに依存するため３個のチャンネル全てに対し等しい因子γを受信するのみでなく、式（１０）および（１１）に関連して概略を述べるように決定される、チャンネルごとに特有の因子νｌ、νｃ、およびνｒも、また受信する。しかしながらこのパラメータは、デコーダがエンコーダで用いられたダウンミックスを知っている場合には、エンコーダからデコーダへ送信しなくても良い。代わりに、式（１０）および（１１）に示された行列ｖにおけるこれらのパラメータがミキシングモジュール５０４、５０５および５０６に予めプログラムされることが好ましく、こうすることによって、これらのチャンネルごとに特有の重み付け因子を送信する必要がなくなる（しかし当然のことながら、要求があれば送信することができる）。
【０１１９】
図６では、重み付け装置６０１がγとチャンネルごとに特有のダウンミックス依存パラメータνｚとの積を用いて無相関化された信号のエネルギを調整することが示されており、ここでｚはｌ、ｒまたはｃを表す。ここで、式（２６a）により、ｘｄのエネルギが予測的にアップミックスされた左、右およびセンターチャンネルのエネルギの和と確実に等しくされることが注目される。したがって装置６０１は単純にスケーリング因子ＧＩを用いるスケーラとして実現することができる。しかしながら、無相関化信号が別に生成される場合には、ミキシングモジュール５０４、５０５、５０６は、加算器６０２で加算された信号のエネルギが残差信号のエネルギ、すなわち非エネルギ保存の予測的アップミックスによって失われたエネルギ、と等しくなるように、加算装置６０２によって加算された無相関化信号の絶対的なエネルギ調整を行わなければならない。
【０１２０】
チャンネルごとに特有のダウンミックス依存パラメータνｚに関しては、図６に関連して上で概略を述べた内容が図７の実施例についても同様に当てはまる。
【０１２１】
さらに、ここで注目すべきことは、図６および図７の実施例は予測的アップミックスで失われたエネルギの少なくとも一部が無相関化信号を用いて付加されるという認識に基づいていることである。正しい信号エネルギと、ドライ信号成分（非相関）信号と「ウェット」信号成分（無相関化）の正しい部分を得るためには、ミキシングモジュール５０４への「ドライ」信号入力が前もってスケールされていないことを確実にする必要がある。例えば、ベースチャンネルがデ−エンコーダ側で前もって訂正されている場合（図４に示す）、この図４の事前の訂正はこのチャンネルをミキサボックス５０４、５０５または５０６に入力する前に（相対的）エネルギ尺度ρによってチャンネルを乗算することによって補償しなければならない。さらに、このようなエネルギの訂正がデコーダ側で行われている場合には、図５に示すように、ダウンミックスチャンネルをアップミキサ１０９に入れる前に、同様の手順を行わなければならない。
【０１２２】
残差エネルギの一部のみを無相関化された信号でカバーする場合には、ρ依存因子によってミキシングボックス５０４、５０５、５０６に入力される信号を前もってスケーリングすることによって事前の訂正を部分的にのみ除去すればよいが、これは、因子ρそのものよりも１に近い。当然のことながら、この部分的に補償する事前スケーリング因子は図７において６０５に入力されるエンコーダによって生成された信号кに依存する。このように部分的に前もってスケーリングを行わなければならない場合、Ｇ２で適用される重み付け因子は不要である。これに代えて、入力６０４から加算器６０２への分岐は図６と同じになる。
[無相関化の程度の制御]
本発明の好ましい実施例は、予測されたアップミックスされた信号に加えられる無相関化の量は、正しい出力エネルギを依然として維持しながら、エンコーダから制御できることを教示している。これは、センターチャンネルにドライな音声があり、左右のチャンネルに背景音がある典型的な「インタビュー」の例では、センターチャンネルの予測誤差を無相関化された信号で置換することが望ましくないからである。
【０１２３】
本発明の好ましい実施例に従えば、図５で概略を述べたものに代わるミキシング手順を用いることができる。以下では、本発明にしたがって、総エネルギ保存の問題と真の相関再生の問題とをどのように分離することができ、また無相関化の量をパラメータкによってどのように制御できるか、が示される。
【０１２４】
総エネルギ保存利得補償（２０）がダウンミックスされた信号に対して行われ、そのため最初にデコードされた信号hat｛X｝/ρが得られると仮定する。ここから、同じ総エネルギ‖d‖2=hat｛E｝/ρ2を備えた無相関化された信号ｄが、例えば上のセクションと同様に３個の無相関化部を用いることによって生成される。したがって、アップミックスの総和は以下のように定義される。
【０１２５】
【数４３】
2008517338.tif 000045
【０１２６】
ここで、κ∈[ρ,1]は送信されたパラメータである。κ＝１を選択することは、無相関化された信号の付加なしの総エネルギ保存に対応し、κ＝ρは完全な３×３相関構造の再生に対応する。ここで以下が成り立つ。
【０１２７】
【数４４】
2008517338.tif 000046
【０１２８】
したがって、全てのκ∈[ρ,1]について、総エネルギが保存され、これは、（３０）において行列のトレース（対角要素の値の和）を計算することによって理解されるとおりである。しかしながら正しい個々のエネルギが得られるのはк＝ρについてのみである。
【０１２９】
図７は上で概略を述べた理論に従った図５のミキシングモジュール５０４、５０５および５０６の実施例を例示する図である。ミキシングモジュールのこの別の例においては、制御パラメータγは７０２および７０１に入力される。７０２について用いられる利得因子は上の式（２９）に従ったкに対応し、７０１に用いられる利得因子は上の式（２９）に従った（1-κ2）1/2に対応する。
【０１３０】
本発明の上述の実施例は、このシステムにおいてエンコーダ側に検出メカニズムを用いることを可能にし、これは予測ベースのアップミックスにおいて付加すべき無相関化の量を推定する。図７に示された実現例は示された量の無相関化信号を付加し、エネルギ訂正を適用するので、３個のチャンネルの総エネルギは正しくなり、一方で、予測誤差の任意の量を無相関化信号によって置換することができる。
【０１３１】
これは、３個の背景音信号があるような例、例えば背景音が多いクラシック音楽の曲等で、エンコーダが「ドライ」なセンターチャンネルの欠如を検出し、デコーダに予測誤差全体を無相関化された信号と置換えさせて、先行技術の予測ベースの方法のみでは不可能であったような方法で、３個のチャンネルからの音の背景音を再生成できることを意味する。さらに、ドライなセンターチャンネルがある信号、例えばセンターチャンネルに音声があり、左右のチャンネルに背景音があるような場合、エンコーダは予測誤差を無相関化された信号で置換することは音響心理学的に正しくないと検出し、これに代えてデコーダに３個の再構築されたチャンネルのレベルを調整させて、３個のチャンネルのエネルギが正しくなるようにさせる。明らかに、上の極端な例は本発明の２つの生じうる結果を表すものである。これは上の例で概略を述べたような極端な例だけをカバーすることを意図したものではない。
[変形された波形に対する予測係数の適合化]
上で概略を述べたとおり、予測パラメータは所与のオリジナルの３個のチャンネルｘとダウンミックス行列Ｄについて平均二乗誤差を最小化することによって推定される。しかしながら多くの状況において、ダウンミックスされた信号がオリジナルの多チャンネル信号を示す行列Ｘによって乗算されたダウンミックス行列Ｄとして記述されうることに依拠することができない。この明らかな例は、いわゆる「芸術的ダウンミックス」が用いられる場合であって、２つのチャンネルのダウンミックスは多チャンネル信号の線形組合せとして示すことができない。別の例は、符号化効率を改善するために、ダウンミックスされた信号がステレオ前処理または他のツールを利用して知覚的オーディオコーデックによって符号化されている場合である。先行技術でよく知られているように、多くの知覚的オーディオコーデックはミッド／サイドステレオ符号化に依拠しており、ここではビットレートに制約のある条件下ではサイド信号が減衰され、エンコード用に用いられる信号よりもステレオイメージが狭い出力が生じる。
【０１３２】
図８は本発明の好ましい実施例を表し、ここでは多チャンネル信号から離れたエンコーダ側でのパラメータ抽出が変形されたダウンミックス信号にもアクセスを有する。ここでは変形されたダウンミックスが８０１によって生成される。もしＣ行列の２個のパラメータのみが送信される場合、アップミックスを行い、全てのアップミックスされたチャンネルについて最小二乗誤差を得るためには、デコーダ側のＤ行列の知識が必要とされる。しかしながら、この実施例では、エンコーダ側のダウンミックスされた信号ｌ０およびｒ０を、デコーダ側で仮定されるのと必ずしも同じでないダウンミックス行列Ｄを用いて得られたダウンミックスされた信号ｌ’０およびｒ’０によって置換できることを教示している。エンコーダ側でパラメータ推定のために別のダウンミックスを用いることは、デコーダ側で正しいセンターチャンネルの再生のみを確実にする。エンコーダからデコーダへ付加的な情報を送信することにより、３個のチャンネルのより正確なアップミックスが得られる。極端な場合ではＣ行列の６個の要素全てを送信することができる。しかしながらこの実施例では、Ｃ行列のサブセットが８０２で用いられるダウンミックス行列Ｄの情報を伴う場合には、これを送信可能であることを教示している。
【０１３３】
先に述べたとおり、知覚的なオーディオコーデックは低いビットレートでのステレオ符号化のためにミッド／サイド符号化を用いる。さらにビットレートに制約のある状況下では、サイド信号のエネルギを減じるために、ステレオ前処理が通常用いられる。これは耳に聞こえる量子化歪と帯域制限に比べて、ステレオ信号の幅でステレオ信号を減少させるほうが好ましい符号化上の加工であるという、音響心理学的な考えに基づいて行われるものである。
【０１３４】
したがって、ステレオ前処理が用いられる場合、ダウンミックス式（３）は以下のように表される。
【０１３５】
【数４５】
2008517338.tif 000047
【０１３６】
ここで、γはサイド信号の減衰である。先に概略を述べたとおり、３個のチャンネルを正確に再構築できるようにするためには、デコーダ側でＤ行列が知られている必要がある。したがって、この実施例は減衰因子がデコーダ側に送られるべきことを教示している。
【０１３７】
図９は本発明の別の実施例を示し、ここで１０４から出力されるダウンミックス信号ｌ０およびｒ０は、ダウンミックス信号のミッド／サイド表現のサイド信号（ｌ０-ｒ０）を因子γによって制限する、ステレオ前処理装置９０１に入力される。このパラメータはデコーダに送信される。
[ＨＦＲコーデック信号のパラメータ化]
もし予測ベースのアップミックスがＳＢＲ［ＷＯ９８／５７４３６］等の高周波数再構築法とともに用いられる場合、エンコーダ側で推定された予測パラメータはデコーダ側で再生成された高帯域信号と整合しないであろう。この実施例は、２個のチャンネルから３個のチャンネルを再生成するために、別の、波形ベースでないアップミックス構造を用いることを教示する。ここで提案されるアップミックス手順は非相関ノイズ信号の場合に全てのアップミックスされたチャンネルの正しいエネルギを再生成するために設計されたものである。
【０１３８】
式（３）で定義されたダウンミックス行列Dαが用いられると仮定する。ここでアップミックス行列Ｃを定義する。このアップミックスは以下のように定義される。
【０１３９】
【数４６】
2008517338.tif 000048
【０１４０】
エネルギがＬ、Ｒ、Ｃである、アップミックス信号ｌ（ｋ）、ｒ（ｋ）およびｃ（ｋ）の正しいエネルギを再生成することのみのために、以下の式にしたがって、対角要素hat｛X｝・hat｛X*｝およびXX*が同じになるようなアップミックス行列が選ばれる。
【０１４１】
【数４７】
2008517338.tif 000049
【０１４２】
ダウンミックス行列の対応する表現は以下のようになる。
【０１４３】
【数４８】
2008517338.tif 000050
【０１４４】
【数４９】
2008517338.tif 000051
【０１４５】
対角要素hat｛X｝・hat｛X*｝を対角要素XX *に等しく設定することは、Ｃ内の要素とＬ、ＲおよびＣとの関係を定義する３個の式に変換される。
【０１４６】
【数５０】
2008517338.tif 000052
【０１４７】
上述のことに基づいて、アップミックス行列が定義され得る。右のダウンミックスされたチャンネルを左のアップミックスされたチャンネルに付加することなく、また逆もそうであるようなアップミックス行列を定義することが好ましい。したがって、好ましいアップミックス行列は以下のようなものであろう。
【０１４８】
【数５１】
2008517338.tif 000053
【０１４９】
これによって、以下のようなＣ行列が与えられる。
【０１５０】
【数５２】
2008517338.tif 000054
【０１５１】
Ｃ行列の要素は、送信された２個のパラメータc1=(L+R)/Cおよびc2=L/Rから、デコーダ側で再生成できることが示される。
【０１５２】
図１０は本発明の好ましい実施例の概略を示す図である。ここで、１０１−１１２は図１と同じであり、したがって更なる詳細は説明しない。３個のオリジナルの信号１０１−１０３が推定モジュール１００１に入力される。このモジュールは２個のパラメータ、例えばc1=(L+R)/Cおよびc2=L/Rを推定し、ここからデコーダ側でＣ行列を導出することができる。これらのパラメータは１０４から出力されたパラメータとともに選択モジュール１００２に入力される。好ましい実施例では、もしパラメータが波形コーデックによって符号化された周波数域に対応する場合には、選択モジュール１００２は１０４からパラメータを出力し、パラメータがＨＦＲによって再構築された周波数域に対応する場合には、１００１からパラメータを出力する。選択モジュール１００２はまた、信号の異なる周波数域についてどのパラメータ化が用いられるかの情報１００５を出力する。
【０１５３】
デコーダ側では、モジュール１００４が送信されたパラメータを受け、パラメータ１００５によって与えられる指示に依存して、上述のとおり、これらを予測的アップミックス１０９またはエネルギベースのアップミックス１００３に導く。エネルギベースのアップミックス１００３は式（４０）に従ったアップミックス行列Ｃを実現する。
【０１５４】
式（４０）で概略が示されたアップミックス行列Ｃは、２個のダウンミックスされた信号ｌ０（ｋ）、ｒ０（ｋ）からの推定された（デコーダ）信号ｃ（ｋ）を得るために等しい重み（δ）を有する。２個のダウンミックスされた信号ｌ０（ｋ）、ｒ０（ｋ）において信号ｃ（ｋ）の相対的な量が異なるかもしれない（すなわちＣ／ＬがＣ／Ｒに等しくない）という観測に基づいて、以下のような一般的なアップミックス行列を考えることもできる。
【０１５５】
【数５３】
2008517338.tif 000055
【０１５６】
ｃ（ｋ）を推定するために、この実施例はまた２個の制御パラメータｃ１およびｃ２の送信を必要とし、これらは例えばc1=a2C/(L+a2C)およびc2=a2C/(R+a2C)に等しい。したがってアップミックス行列関数ｆｉの可能な実現例は以下で与えられる。
【０１５７】
【数５４】
2008517338.tif 000056
【０１５８】
【数５５】
2008517338.tif 000057
【０１５９】
【数５６】
2008517338.tif 000058
【０１６０】
本発明に従ったＳＢＲ域のための異なるパラメータ化の信号処理は、ＳＢＲに限定されるものではない。上で概略を述べたパラメータ化は予測ベースのアップミックスの予測誤差が大きすぎると思われるいかなる周波数域でも使用可能である。したがって、モジュール１００２は、送信信号の符号化方法、予測誤差等の多数の基準に依存して、１００１または１０４からパラメータを出力することができる。
【０１６１】
改良された予測ベースの多チャンネル再構築のための好ましい方法は、エンコーダ側で、異なる周波数域のために異なる多チャンネルパラメータ化を抽出するステップと、デコーダ側で、多チャンネルを再構築するために、周波数域にこれらのパラメータ化を適用するステップとを含む。
【０１６２】
本発明の更なる好ましい実施例は、エンコーダ側で、用いられたダウンミックス処理の情報を抽出しその後この情報をデコーダに送るステップと、デコーダ側で、多チャンネルを再構築するために、抽出された予測パラメータとダウンミックスの情報とに基づいてアップミックスを適用するステップとを含む、改良された予測ベースの多チャンネル再構築方法を含む。
【０１６３】
本件の発明の更なる好ましい実施例は、エンコーダ側で、ダウンミックス信号のエネルギが、抽出された予測的アップミックスパラメータについて得られた予測誤差にしたがって調整される、改良された予測ベースの多チャンネル再構築のため方法を含む。
【０１６４】
本発明の更なる好ましい実施例は、デコーダ側で、予測誤差のために失われたエネルギが、アップミックスされたチャンネルに利得を適用することによって補償される、改良された予測ベースの多チャンネル再構築のための方法に関する。
【０１６５】
本発明の更なる実施例は、デコーダ側で、予測誤差のために失われたエネルギが無相関化された信号によって置換される、改良された予測ベースの多チャンネル再構築のための方法に関する。
【０１６６】
本発明の更なる好ましい実施例は、デコーダ側で、予測誤差のために失われたエネルギの一部が無相関化された信号によって置換され、失われたエネルギの一部がアップミックスされたチャンネルに利得を適用することによって置換される、改良された予測ベースの多チャンネル再構築のための方法に関する。失われたエネルギのこの部分は好ましくはエンコーダから信号で知らされる。
【０１６７】
本発明の更なる好ましい実施例は、ダウンミックス信号のエネルギを、抽出された予測的アップミックスパラメータについて得られた予測誤差にしたがって調整する手段を含む、改良された予測ベースの多チャンネル再構築のための装置である。
【０１６８】
本発明の更なる好ましい実施例は、予測誤差のために失われたエネルギをアップミックスされたチャンネルに利得を適用することによって補償する手段を含む、改良された予測ベースの多チャンネル再構築のための装置である。
【０１６９】
本発明の更なる好ましい実施例は、予測誤差のために失われたエネルギを無相関化された信号によって置換する手段を含む、改良された予測ベースの多チャンネル再構築のための装置である。
【０１７０】
本発明の更なる好ましい実施例は、予測誤差のために失われたエネルギの一部を無相関化された信号によって置換し、失われたエネルギの一部をアップミックスされたチャンネルに利得を適用することによって置換するための手段を含む、改良された予測ベースの多チャンネル再構築のための装置である。
【０１７１】
本発明の更なる好ましい実施例は、抽出された予測的アップミックスパラメータについて得られた予測誤差にしたがってダウンミックス信号のエネルギを調整することを含む、改良された予測ベースの多チャンネル再構築のためのエンコーダである。
【０１７２】
本発明の更なる好ましい実施例は、予測誤差のためのエネルギ損失をアップミックスされたチャンネルに利得を適用することによって補償することを含む、改良された予測ベースの多チャンネル再構築のためのデコーダである。
【０１７３】
本発明の更なる好ましい実施例は、予測誤差のためのエネルギ損失を無相関化された信号によって置換することを含む、改良された予測ベースの多チャンネル再構築のためのデコーダに関する。
【０１７４】
本発明の更なる好ましい実施例は、予測誤差によって失われたエネルギの一部を無相関化された信号によって置換し、失われたエネルギの一部をダウンミックスされたチャンネルに利得を適用することによって置換することを含む、改良された予測ベースの多チャンネル再構築のためのデコーダである。
【０１７５】
図１１は少なくとも１個のベースチャンネル１１０２を有する入力信号を用いて少なくとも３個の出力チャンネル１１００を生成するための多チャンネルシンセサイザーを示し、少なくとも１個のベースチャンネルはオリジナルの多チャンネル信号から引き出されるものである。図１１に示す多チャンネルシンセサイザーはアップミキサ装置１１０４を含み、これは図２から図１０のいずれかに示すとおり実現することができる。一般に、アップミキサ装置１１０４は少なくとも３個の出力チャンネルが得られるようにアップミキシング規則を用いて少なくとも１個のベースチャンネルをアップミックスするように動作可能である。アップミキサ１１０４はエネルギ尺度１１０６と少なくとも２個の異なるアップミックスパラメータ１１０８とに応答し、エネルギ損失を伴うアップミキシング規則を用いて少なくとも３個の出力チャンネルを生成するように動作し、この少なくとも３個の出力チャンネルはエネルギ損失を伴うアップミキシング規則のみから結果として得られる信号のエネルギよりも高いエネルギを有する。しがたってエネルギ損失を伴うアップミキシング規則に依存するエネルギ誤差に関わりなく、本発明ではエネルギ補償された結果がもたらされ、ここではスケーリングおよび／または無相関化された信号の付加によってエネルギ補償を行なうことができる。少なくとも２個の異なるアップミキシングパラメータ１１０８とエネルギ尺度１１０６とは入力信号に含まれる。
【０１７６】
好ましくは、エネルギ尺度はアップミキシング規則によって導入されるエネルギ損失に関連した何らかの尺度である。これはアップミックスにより導入されたエネルギ誤差またはアップミックス信号のエネルギ（これは通常オリジナルの信号のエネルギより低い）の絶対的な尺度であってもよいし、またはオリジナルの信号エネルギとアップミックス信号エネルギとの関係またはエネルギ誤差とオリジナルの信号エネルギとの関係、またはエネルギ誤差とアップミックス信号エネルギとの関係の相対的な尺度であってもよい。相対的なエネルギ尺度は訂正因子として用いることができるが、それにも関わらずこれはエネルギの尺度である。というのもこれはエネルギ損失を伴うアップミキシング規則、または言い方を変えれば、非エネルギ保存アップミキシング規則によって生成されたアップミックス信号に導入されたエネルギ誤差に依存するからである。
【０１７７】
エネルギ損失を伴うアップミキシング規則（非エネルギ保存アップミキシング規則）の例は、送信された予測係数を用いたアップミックスである。フレームまたはフレームのサブバンドの不完全な予測の場合、アップミックス出力信号はエネルギ損失に対応する予測誤差の影響を受ける。当然、予測誤差はフレーム毎に変化する。というのもほとんど完璧な予測の場合には（低予測誤差）わずかな補償を行なうだけでよく（スケーリングまたは無相関化された信号の付加により）、一方予測誤差がより大きい場合には（不完全予測）より多くの補償をしなければならないからである。したがって、補償なしまたはごくわずかの補償を示す値と、大きな補償を示す値との間で、エネルギ尺度もまた変化する。
【０１７８】
エネルギ尺度がチャンネル間コヒーレンス（ＩＣＣ）の値であると考えられる場合、この考察は自然であるが、エネルギ尺度に依存してスケールされた無相関化された信号を加えることによって補償がなされる場合、好ましく用いられる相対的エネルギ尺度（ρ）は典型的には０．８から１．０の間で変化し、ここで１．０はアップミックスされた信号が要求されるとおりに無相関化されたこと、または無相関化された信号を全く付加する必要がないこと、または予測アップミックスの結果のエネルギがオリジナルの信号のエネルギと等しいこと、または予測誤差が０であること、を示す。
【０１７９】
しかしながら、本発明はまた、他のエネルギ損失を伴うアップミキシング規則、すなわち波形整合に基づくものでなくコードブック、スペクトル整合等の他の技術に基づくもの、またはエネルギ保存を考慮しない何らかの他のアップミキシング規則に関してもまた有益である。
【０１８０】
一般に、エネルギ補償はエネルギ損失を伴うアップミキシング規則の適用前または適用後に行なうことができる。または、エネルギ損失の補償は、エネルギ尺度を用いて元の行列係数を変更することによって新たなアップミキシング規則が生成されアップミキサによって用いられるように、アップミキシング規則内に含めることもできる。この新たなアップミキシング規則はエネルギ損失を伴うアップミキシング規則とエネルギ尺度とに基づいている。言い換えれば、この実施例はエネルギ補償が「向上された」アップミキシング規則に「混合され」、それによってエネルギ補償および／または無相関化された信号の付加が、１または２以上のアップミックス行列を入力ベクトル（１または２以上のベースチャンネル）に適用することによって行われ、（１または２以上の行列演算後に）出力ベクトル（少なくとも３個のチャンネルを有する再構築された多チャンネル信号）を得るような状況に関する。
【０１８１】
好ましくは、アップミキサ装置は２個のベースチャンネルｌ０、ｒ０を受け、３個の再構築されたｌ、ｒおよびｃを出力する。
【０１８２】
この後に、エンコーダ-デコーダ経路の異なる位置でのエネルギの状況を例示する図１２を参照する。ブロック１２００は、図１に示したような、少なくとも左チャンネル、右チャンネルおよびセンターチャンネルを有する信号等の多チャンネルオーディオ信号のエネルギを示す。図１２の実施例では、図１の入力チャンネル１０１、１０２、１０３は完全に非相関であり、ダウンミキサはエネルギ保存型であると仮定する。この場合、ブロック１２０２で示された１または２以上のベースチャンネルのエネルギは多チャンネルのオリジナル信号のエネルギ１２００と同一である。もしオリジナルの多チャンネル信号が互いに相関している場合には、例えば左と右が（部分的に）互いをキャンセルする場合、ベースチャンネルエネルギ１２０２はオリジナルの多チャンネル信号のエネルギより低くなり得る。
【０１８３】
しかしながら以下の議論では、ベースチャンネルのエネルギ１２０２はオリジナルの多チャンネル信号のエネルギ１２００と等しいと仮定する。
【０１８４】
１２０４は図１に関連して説明した予測的アップミックスまたは非エネルギ保存アップミックスを用いてアップミックス信号（例えば、図１の１１０、１１１、１１２）が生成された場合の、アップミックス信号のエネルギを例示する。したがって、図１４ａおよび１４ｂに関連して後で概略を述べるように、このような予測的アップミックスはエネルギ誤差Ｅｒを導入し、アップミックス結果のエネルギ１２０４はベースチャンネル１２０２のエネルギよりも低くなるであろう。
【０１８５】
アップミキサ１１０４は、エネルギ１２０４よりも高いエネルギを有する出力チャンネルを出力するように動作する。好ましくは、アップミキサ装置１１０４は図１１のアップミックス結果１１００が１２０６で示されるエネルギを有するように、完全な補償を行なう。
【０１８６】
好ましくは、そのエネルギが１２０４で示されるアップミックス結果は、図２に示すように単純にアップスケールされるのではなく、また図３に示すように個別にアップスケールされるのでもなく、または図４に示されるようにエンコーダ側でアップスケールされるのでもない。これに替えて、予測的アップミックスによる誤差に対応した残りのエネルギＥｒが、無相関化された信号により「満たされる」。別の好ましい実施例では、エネルギ誤差Ｅｒは無相関化された信号によって部分的にカバーされるだけであり、エネルギ誤差の残りはアップミックス結果をアップスケールすることによって補われる。無相関化信号によるエネルギ誤差の完全なカバーが図５および図６に示され、一方「部分的」解決策が図７に示される。
【０１８７】
図１３は複数のエネルギ補償方法を示し、例えばエネルギ誤差に依存するエネルギ尺度に基づいて、出力チャンネルのエネルギが予測的アップミックスの純粋な結果よりも高い、すなわち（訂正なしの）エネルギ損失を伴うアップミックス規則の結果よりも高い、という共通の特徴を有する方法を示す。
【０１８８】
図１３の番号１はデコーダ側エネルギ補償に関するものであり、これはアップミックスに続いて行なわれる。この選択肢は図２に示され、更に図３に関連して詳細が示されており、ここではチャンネル毎に特有のアップスケール因子ｇｚが示されており、これはエネルギ尺度ρに依存するばかりでなく、チャンネルに依存するダウンミックス因子νｚにも依存し、ここでｚはｌ、ｒまたはｃを意味する。
【０１８９】
図１３の番号２はエンコーダ側エネルギ補償方法を含み、これはダウンミックスに続いて行なわれ、図４に例示される。この実施例は、エネルギ尺度ρまたはγをエンコーダからデコーダへ送信する必要がない点で好ましい。
【０１９０】
図１３の表の番号３はデコーダ側エネルギ補償に関し、これはアップミックスに先立って行われる。図２を考慮すると、図２でアップミックス後に行われるエネルギ訂正２０２は図２のアップミックスブロック２０１に先立って行われることになる。図２と比較して、この実施例は実現がより容易である。なぜなら、図３に示すようなチャンネルごとに特有の訂正因子が必要とされないからである。しかしながら、品質の損失が起こるかもしれない。
【０１９１】
図１３の番号４はさらなる実施例に関し、ここではダウンミックスの前にエンコーダ側の訂正が行われる。図１を考慮すると、チャンネル１０１、１０２、１０３は対応の補償因子によってアップスケールされ、ダウンミキサの出力は図１２の１２０８で示されるように、ダウンミキシング後に増加する。したがって図１３の番号４の実施例は、エンコーダによるベースチャンネルの出力について本発明の番号２の実施例と同じ結果となる。
【０１９２】
図１３の番号５は図５の実施例に関するもので、図５において無相関化された信号が非エネルギ保存アップミキシング規則１０９によって生成されたチャンネルから導出される場合である。
【０１９３】
図１３の表の番号６の実施例は残差エネルギの一部のみが無相関化信号によってカバーされる実施例に関する。この実施例は図７に例示される。
【０１９４】
図１３の番号８の実施例は番号５または６の実施例と同様であるが、図５のボックス５０１’で概略を示すように、無相関化された信号がアップミックス前にベースチャンネルから導出される。
【０１９５】
この後、エンコーダの好ましい実施例を詳細に説明する。図１４ａは少なくとも２個のチャンネル、好ましくは少なくとも３個のチャンネルｌ、ｃ、ｒを有する多チャンネル入力信号１４００を処理するためのエンコーダを例示する。
【０１９６】
エンコーダは多チャンネル入力信号１４００のエネルギまたは少なくとも１個のベースチャンネル１４０４と、非エネルギ保存アップミックス動作１４０７によって生成されたアップミックス信号１４０６とのエネルギ差に依存する誤差尺度を計算するためのエネルギ尺度計算部１４０２を含む。
【０１９７】
さらに、エンコーダはエネルギ尺度に依存したスケール因子４０３によってスケーリングされた（４０１、４０２）少なくとも１個のベースチャンネルを出力するか、またはエネルギ尺度そのものを出力するための出力インターフェィス１４０８を含む。
【０１９８】
好ましい実施例では、エンコーダはオリジナルの多チャンネル１４００から少なくとも１個のベースチャンネル１４０４を生成するためのダウンミキサ１４１０を含む。アップミックスパラメータを生成するために、差計算部１４１４とパラメータ最適化部１４１６も存在する。これらの要素はベストマッチングのアップミックスパラメータ１４１２を見出すように動作する。好ましい実施例では最適にフィットするアップミックスパラメータの少なくとも２個の組が、パラメータ出力として出力インターフェィスから出力される。差計算部は好ましくはパラメータ線１４１２で入力されるパラメータについて、オリジナルの多チャンネル信号１４００とアップミキサから生成されたアップミックス信号との最小平均二乗誤差の計算を行うように動作する。このパラメータ最適化手順はいくつかの異なる最適化手順によって行うことができ、これらは全てアップミキサ１４０８に含まれるあるアップミックス行列によってベストマッチングのアップミックス結果１４０６を得るという目標によって駆動される。
【０１９９】
図１４ａのエンコーダの機能を図１４ｂに示す。ダウンミキサ１４１０によってダウンミキシングステップ１４４０が行われた後、ベースチャンネルまたは複数個のベースチャンネルが１４４２で示されるように出力される。その後アップミックスパラメータ最適化ステップ１４４４が行われ、これはある最適化戦略に依存して反復または非反復手順であり得る。しかしながら、反復手順が好ましい。一般にアップミックスパラメータ最適化手順は、アップミックス結果とオリジナルの信号との差ができるだけ低くなるように実現され得る。実現に依存して、この差は個別のチャンネル関連の差または組合せた差であり得る。一般にアップミックスパラメータ最適化ステップ１４４４は個別のチャンネルまたは組合されたチャンネルから導出され得るコスト関数を最小化するように動作するので、例えば他の２つのチャンネルについてよりよい整合が達成されるのであれば１つのチャンネルについてより大きな差（誤差）があっても許容される。
【０２００】
その後、最適にフィットするパラメータの組、例えば最適にフィットするアップミックス行列が見出されると、ステップ１４４４で生成されたパラメータの組の少なくとも２個のアップミキシングパラメータがステップ１４４６で示されるように出力インターフェィスへ出力される。
【０２０１】
さらに、アップミックスパラメータ最適化ステップ１４４４が完了した後、エネルギ尺度が計算されステップ１４４８で示されるように出力され得る。一般にエネルギ尺度はエネルギ誤差１２１０に依存するはずである。好ましい実施例ではエネルギ尺度は因子ρであり、これはアップミックス結果１４０６のエネルギと図２に示すオリジナルの信号１４００のエネルギとの関係に依存する。これに代えて、計算され出力されるエネルギ尺度はエネルギ誤差１２１０の絶対値であっても、またはアップミックス結果１４０６の絶対エネルギであってもよく、これは当然のことながら、エネルギ誤差に依存する。これに関連して、出力インターフェィス１４０８から出力されるエネルギ尺度は好ましくは量子化され、さらに好ましくは算術エンコーダ、ハフマンエンコーダ、またはランレングスエンコーダ等の周知のエントロピーエンコーダを用いてエントロピーによりエンコードされる。これは特に多くの後続の同一のエネルギ尺度がある場合に有益である。これに代えて、またはこれに加えて、後続の時間部分またはフレームのためのエネルギ尺度は差によりエンコードすることもできる。この差によるエンコードは好ましくはエントロピーによるコーディングの前に行われる。
【０２０２】
この後、別のダウンミキサの実施例を示す図１５ａを参照する。これは本発明の好ましい実施例にしたがって図１４ａのエンコーダと組合わされる。図１５ａの実施例はＳＢＲによる実現をカバーしたものであるが、この実施例はまたスペクトル帯域複製が行われずベースチャンネルの全帯域が送信される場合にも用いることができる。図１５ａのエンコーダはオリジナルの信号１５００をダウンミックスして少なくとも１個のベースチャンネル１５０４を得る、ダウンミキサ１５００を含む。非ＳＢＲ実施例では、少なくとも１個のベースチャンネル１５０４はコアコーダ１５０６に入力され、これは単一のベースチャンネルの場合にはモノラル信号のためのＡＡＣエンコーダであり得るが、例えば２個のステレオベースチャンネルの場合には何らかのステレオコーダであり得る。コアコーダ１５０６の出力では、エンコードされたベースチャンネルを含む、または複数のエンコードされたベースチャンネルを含むビットストリームが出力される（１５０８）。
【０２０３】
図１５ａの実施例がＳＢＲ機能を有する場合、少なくとも１個のベースチャンネル１５０４はコアコーダに入力される前にローパスフィルタ１５１０でフィルタ処理される。当然、ブロック１５１０および１５０６の機能は単一のエンコーダ装置で実現することができ、これは単一のエンコードアルゴリズム内でローパスフィルタ処理およびコアコーディングを行う。
【０２０４】
出力１５０８でのエンコードされたベースチャンネルは、エンコードされた形の、ベースチャンネル１５０４の低帯域のみを含む。高帯域の情報はＳＢＲスペクトルエンベロープ計算部１５１２によって計算され、これはＳＢＲ情報エンコーダ１５１４に接続されて、エンコードされたＳＢＲ側情報を生成し出力１５１６に出力する。
【０２０５】
オリジナルの信号１５０２はエネルギ計算部１５２０に入力され、これはチャンネルエネルギを生成する（オリジナルのチャンネルｌ、ｃ、ｒのある時間期間について、ここでチャンネルエネルギはＬ、Ｃ、Ｒによって示され、ブロック１５２０によって出力される）。チャンネルエネルギＬ、Ｃ、Ｒはパラメータ計算部ブロック１５２２に入力される。パラメータ計算部１５２２は２個のアップミックスパラメータｃ１、ｃ２を出力し、これらは、例えば図１５ａに示したパラメータｃ１、ｃ２であり得る。当然、全ての入力チャンネルのエネルギを含む他の（例えば線形の）エネルギの組合せがパラメータ計算部１５２２によって生成されデコーダに送信されてもよい。当然、送信されたアップミックスパラメータが異なれば、残りのアップミキシング行列要素を計算する方法も異なる。式（４０）または式（４１−４４）に関連して示したとおり、エネルギに関連する図１５の実施例のアップミックス行列は少なくとも４個の非ゼロ要素を有し、ここで第３行の要素は互いに等しい。したがって、パラメータ計算部１５２２は例えばアップミックス行列表示（４０）または（４１）等のアップミックス行列の４個の要素が導出できるような、エネルギＬ、Ｃ、Ｒのいかなる組合せを用いることもできる。
【０２０６】
図１５ａの実施例は信号の全帯域についてエネルギ保存の、または一般的な言い方をすればエネルギ導出アップミックスを行うように動作するエンコーダを例示する。これは、図１５ａに例示されたエンコーダ側でパラメータ計算部１５２２によって出力されたパラメータ的表現が全信号について生成されることを意味する。これは、エンコードされたベースチャンネルの各サブバンドについて、対応のパラメータの組が計算され出力されることを意味する。例えば１０個のサブバンドを有する全帯域幅信号であるエンコードされたベースチャンネルを考えると、パラメータ計算部はエンコードされたベースチャンネルの各サブバンドについて１０個のパラメータｃ１およびｃ２を出力するであろう。しかしながら、エンコードされたベースチャンネルがＳＢＲ環境における低帯域信号、例えば５個のより低いサブバンドのみをカバーするものであったとすれば、パラメータ計算部１５２２は５個のより低いサブバンドの各々についてパラメータの組を出力することととなり、さらに、出力１５０８の信号は対応するサブバンドを含んではいないが、５個のより上のサブバンドの各々についても出力するであろう。これは、図１６ａに関連して後で説明するように、このようなサブバンドがデコーダ側で再生成されるという事実に基づくものである。
【０２０７】
しかしながら、好ましくは、また図１０に関連して説明されたように、エネルギ計算部１５２０とパラメータ計算部１５２２とはオリジナルの信号の高帯域部分についてのみ動作し、オリジナルの信号の低帯域部分のパラメータは、図１０の予測的アップミキサ１０９に対応する、図１０の予測的パラメータ計算部１０４によって計算される。
【０２０８】
図１５ｂは図１０の選択モジュール１００２によって出力されるパラメータ表現の概略的な表示である。すなわち本発明に従ったパラメータ表現は（エンコードされたベースチャンネルがある場合とない場合があり、任意にはエネルギ尺度がない場合もある）、低帯域、例えばサブバンド１からｉのための予測パラメータの組と、高帯域、例えばサブバンドｉ＋１からＮまでのサブバンドごとのパラメータとを含む。これに代えて予測パラメータとエネルギスタイルパラメータとを混合することもできる、例えばエネルギスタイルパラメータを有するサブバンドを予測パラメータを有するサブバンドの間に位置付けることができる。さらに、予測パラメータのみを有するフレームをエネルギスタイルパラメータのみを有するフレームの後に置くこともできる。したがって、一般的に言えば、図１０に関連して議論された本発明は異なるパラメータ化に関するものであり、これは図１５ｂに示されるように周波数の方向において異なるものであってもよく、または予測パラメータのみを有するフレームにエネルギスタイルパラメータのみを有するフレームが続く場合のように時間方向で異なるものであってもよい。当然、サブバンドのパラメータ化または分布はフレームごとに変えることができ、したがって、例えばサブバンドｉは第一のフレームで図１５ｂに示すように第一の（例えば予測）パラメータ設定を有し、別のフレームでは第二の（例えばエネルギスタイル）パラメータ設定を有する。
【０２０９】
さらに、本発明は図１４ａに示された予測パラメータ化または図１５ａに示されたエネルギスタイルパラメータ化と異なるパラメータ化が用いられる場合にも有用である。さらにまた、予測的またはエネルギスタイルとは別に、例えばあるサブバンドまたはフレームについて、何らかのターゲットパラメータまたはターゲットイベントが、エンコーダ側またはデコーダ側での計算効率、ダウンミックスビットレート、アップミックス品質、または例えばバッテリーで動作する装置のエネルギ消費等について、第一のパラメータ化のほうが第二のパラメータ化より良いと示す場合には、別のパラメータ化を用いることができる。当然、目標とする機能は上で概略を述べた、異なる個別のターゲット／イベントの組合せであり得る。イベントの例はＳＢＲ−再構築された高帯域等である。
【０２１０】
さらに、図１０の１００５で示すように、パラメータの周波数または時間選択的計算と送信とを明白に信号で知らせることもできる。または、図１６ａに関連して説明したように、暗示的なやり方で信号処理を行うこともできる。この場合、デコーダについて予め定義された規則が用いられる。例えば、デコーダは送信されたパラメータが図１５ｂの高帯域に属するサブバンド用のエネルギスタイルパラメータである、すなわちスペクトル帯域複製または高周波数再生技術によって再構築されたサブバンドのためのものであると、自動的に仮定する。
【０２１１】
さらに、エンコーダ側での１、２またはそれ以上の異なるパラメータ化の計算、および、どのパラメータ化を送信するかというエンコーダ側の選択は何らかのエンコーダ側で利用可能な情報を用いた決定に基づいてなされ（この情報は実際に用いられるターゲット機能またはＳＢＲ処理および信号処理等の他の理由で用いられる信号処理情報であり得る）、これはエネルギ尺度の送信を伴って、または伴わずに行われ得る。たとえ好ましいエネルギ訂正が全く行われなくても、例えば非エネルギ保存アップミックス（予測的アップミックス）の結果がエネルギ訂正されない場合、またはエンコーダ側で対応の前補償がない場合でも、異なるパラメータ化の間で好ましい切替を行うことは、より良い多チャンネル出力品質および／またはより低いビットレートを得るために有用である。
【０２１２】
特に、利用可能なエンコーダ側情報に依存した異なるパラメータ化間の好ましい切替は、図５ないし図７に関連して示した予測的アップミックスによって行われるエネルギ誤差を完全にまたは少なくとも部分的にカバーする、無相関化された信号の付加とともに、またはこれなしで、用いることができる。これに関連して、図５に関連して説明した無相関化された信号の付加は予測的アップミックスパラメータが送信されたサブバンド／フレームについてのみ行われ、エネルギスタイルパラメータが送信されたサブバンドまたはフレームについては無相関化の異なる手段が用いられる。このような手段は例えば、適切にスケールされた無相関化された信号がドライ信号に付加される場合のように、ＩＣＣ等の送信されたチャンネル間相関尺度によって要求されるような求められる量の無相関化が得られるように、ウェット信号をダウンスケールし、無相関化された信号を生成し、この無相関化された信号をスケーリングすることである。
【０２１３】
この後、好ましいアップミキシングブロック２０１と、２０２での対応のエネルギ訂正とのデコーダ側での実現を例示する図１６ａについて説明する。図１１に関連して説明したように、送信されたアップミックスパラメータ１１０８が、受信された入力信号から抽出される。エネルギ補償を含むアップミックス行列１６０２が予測的アップミックスおよび先行するまたは後続のエネルギ訂正を行うべき場合には、これら送信されたアップミックスパラメータは残りのアップミックスパラメータを計算するための計算部１６００に好ましく入力される。残りのアップミックスパラメータを計算するための手順は図１６ｂに関連して後で説明する。
【０２１４】
アップミックスパラメータの計算は図１６ｂの式に基づいて行われ、これはまた式（７）として繰返される。３入力信号／２出力信号の実施例において、ダウンミックス行列Ｄは６個の変数を有する。加えて、アップミックス行列Ｃもまた６個の変数を有する。しかしながら式（７）の右辺には４個の値しかない。したがって未知のダウンミックスと未知のアップミックスの場合、行列ＤおよびＣから未知の変数は１２個あり、これら１２個の変数を決定するために式は４つしかない。しかしながらダウンミックスは既知であるので、未知の変数の数はアップミックス行列Ｃの係数に減じられ、これは６個の変数を含むが、依然としてこれら６個の変数を決定するために式が４つあるだけである。したがって、図１４ｂのステップ１４４４と関連して説明し図１４ａで例示した最適化方法を用いて、アップミックス行列の少なくとも２個の変数、好ましくはｃ１１およびｃ２２を決定する。ここで例えばｃ１２、ｃ２１、ｃ３１およびｃ３２という４個の未知数があり、４個の式があるので、すなわち図１６ｂの式の右辺の単位行列Ｉの各要素について一つの等式があるので、アップミックス行列の残りの未知の変数は直接的な方法で計算することができる。この計算は残りのアップミックスパラメータを計算するための計算部１６００によって行われる。
【０２１５】
装置１６０２のアップミックス行列は破線１６０４によって送られる２個の送信されるアップミックスパラメータと、ブロック１６００によって計算される残り４個のアップミックスパラメータとによって設定される。その後アップミックス行列は線１１０２を介して入力されるベースチャンネルに適用される。実現に依存して、低帯域訂正のためのエネルギ尺度が線１１０６を介して送られ、訂正されたアップミックスが生成され、出力される。線１６０６を介した暗黙の信号処理によって低帯域について予測的アップミックスのみが行われ、高帯域について線１１０８でエネルギスタイルアップミックスパラメータが存在する場合、この事実が対応するサブバンドについて計算部１６００とアップミックス行列装置１６０２とに信号で知らされる。エネルギスタイルの場合、アップミックス行列（４０）または（４１）のアップミックス行列要素を計算することが好ましい。この目的のために、下で式（４０）に示される送信されたパラメータまたは下で式（４１）によって示される対応するパラメータが用いられる。この実施例では送信されたアップミックスパラメータｃ１、ｃ２をアップミックス係数として直接用いることはできず、式（４０）または（４１）に示されるアップミックス行列のアップミックス係数は送信されたアップミックスパラメータｃ１およびｃ２を用いて計算しなければならない。
【０２１６】
高帯域についてはエネルギベースのアップミックスパラメータについて決定されたアップミックス行列が多チャンネル出力信号の高帯域部分をアップミックスするのに用いられる。その後低帯域部分と高帯域部分とが低／高組合せ部１６０８で組合わされ、全帯域幅の再構築された出力チャンネルｌ、ｒ、ｃが出力される。図１６ａに示されるように、ベースチャンネルの高帯域は送信された低帯域ベースチャンネルをデコードするためのデコーダを用いて生成され、ここでこのデコーダはモノラルベースチャンネルについてはモノデコーダであり、２個のステレオベースチャンネルについてはステレオデコーダである。このデコードされた低帯域ベースチャンネルはＳＢＲ装置１６１４に入力され、これは図１５ａの装置１５１２によって計算されたエンベロープ情報もまた付加的に受信する。低帯域部分と高帯域エンベロープ情報とに基づき、ベースチャンネルの高帯域が生成されて、線１１０２上で全帯域幅のベースチャンネルが得られ、これがアップミックス行列装置１６０２に送られる。
【０２１７】
好ましい方法または装置またはコンピュータプログラムはいくつかの装置で実現するかまたはそこに含めることができる。図１７は本発明のエンコーダを含む送信機と本発明のデコーダを含む受信機とを有する送信システムを示す。送信チャンネルは無線でも有線チャンネルでもよい。さらに図１８に示すように、エンコーダをオーディオレコーダに含め、デコーダをオーディオプレーヤーに含めることもできる。オーディオレコーダからのオーディオ記録はインターネットを介してまたは郵便や宅配リソースを用いて分配される記憶媒体を介して、またはメモリカード、ＣＤまたはＤＶＤ等の他の可能な分配記憶媒体を介してオーディオプレーヤーに分配される。
【０２１８】
発明の方法のある実現要件に依存して、発明の方法はハードウェアまたはソフトウェアで実現できる。この実現は、電子的に可読な制御信号が記録されたデジタル記憶媒体、特にディスクまたはＣＤで行うことができ、これはプログラム可能なコンピュータシステムと共働して本発明の方法を行う。したがって本発明は一般に、機械可読キャリアに記憶されたプログラムコードを備えたコンピュータプログラムプロダクトであり、プログラムコードはコンピュータプログラムプロダクトがコンピュータで実行されると、本発明の方法の少なくとも１つを行うように構成される。言い換えれば、本発明の方法はコンピュータプログラムがコンピュータで実行されるときに発明の方法を実行するプログラムコードを有するコンピュータプログラムである。
【図面の簡単な説明】
【０２１９】
添付の図面を参照して本発明を例に基づいて説明するが、これは本発明の範囲または精神を限定するものではない。
【図１】２個のチャンネルから３個のチャンネルを予測ベースで再構築することを例示する図である；
【図２】エネルギ補償を伴う予測的アップミックスを例示する図である；
【図３】予測的アップミックスにおけるエネルギ補償を例示する図である；
【図４】ダウンミックス信号のエネルギ補償を伴う、エンコーダ側の予測パラメータ推定部を例示する図である；
【図５】相関再構築を伴う予測的アップミックスを例示する図である；
【図６】相関再構築を伴うアップミックスにおいてアップミックスされた信号と無相関化された信号とを混合するミキシングモジュールを例示する図である；
【図７】相関再構築を伴うアップミックスにおいてアップミックスされた信号と無相関化された信号とを混合する別のミキシングモジュールを例示する図である；
【図８】エンコーダ側の予測パラメータ推定を例示する図である；
【図９】エンコーダ側の予測パラメータ推定を例示する図である；
【図１０】エンコーダ側の予測パラメータ推定を例示する図である；
【図１１】本発明のアップミックス装置を例示する図である；
【図１２】エネルギ損失を伴うアップミックスの結果と、好ましい補償とを示すエネルギ図である；
【図１３】好ましいエネルギ補償方法の表である；
【図１４】（ａ）は好ましい多チャンネルエンコーダの概略図である、（ｂ）は（ａ）の装置によって行なわれる好ましい方法のフローチャートである；
【図１５】（ａ）は図１４ａの装置と比較される、異なるパラメータ化を生成するためのスペクトル帯域複製機能を有する多チャンネルエンコーダの図である、（ｂ）はパラメータデータの周波数選択的生成と送信とを表の形で例示する図である；さらに
【図１６】（ａ）アップミックス行列係数の計算を例示する本発明のデコーダの図である、（ｂ）は予測的アップミックスのためのパラメータの計算を詳細に示す図である；
【図１７】送信システムの送信機および受信機の図である；さらに
【図１８】本発明のエンコーダを有するオーディオレコーダと、デコーダを有するオーディオプレーヤの図である。
【図１】
2008517338.tif 000062
【図２】
2008517338.tif 000063
【図３】
2008517338.tif 000064
【図４】
2008517338.tif 000065
【図５】
2008517338.tif 000066
【図６】
2008517338.tif 000067
【図７】
2008517338.tif 000068
【図８】
2008517338.tif 000069
【図９】
2008517338.tif 000070
【図１０】
2008517338.tif 000071
【図１１】
2008517338.tif 000072
【図１２】
2008517338.tif 000073
【図１３】
2008517338.tif 000074
【図１４】
2008517338.tif 000075
【図１５】
2008517338.tif 000076
【図１６】
2008517338.tif 000077
【図１７】
2008517338.tif 000078
【図１８】
2008517338.tif 000079
【手続補正書】
【提出日】平成19年4月19日(2007.4.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも１個のベースチャンネル（１１０２）を有する入力信号を用いて少なくとも３個の出力チャンネル（１１００）を生成するための多チャンネルシンセサイザであって、ベースチャンネルはオリジナルの多チャンネル信号（１０１、１０２、１０３）から導出され、入力信号はさらに少なくとも２個の異なるアップミキシングパラメータ（１１０８）と、第一の状態において第一のアップミキシング規則を行うべきことを指示し、第二の状態において異なる第二のアップミキシング規則を行うべきことを指示するアップミキサモード指示（１００５）とを含み、
アップミキサモード指示（１００５）に応答して、第一または第二のアップミキシング規則（２０１、１４０７）に基づいて少なくとも２個の異なるアップミキシングパラメータ（１１０８）を用いて少なくとも１個のベースチャンネルをアップミキシングし、少なくとも３個の出力チャンネルを得る、アップミキサ（１１０４）を含み、第一のアップミキシング規則は予測的アップミキシング規則であり、第二のアップミキシング規則はエネルギ依存のアップミキシングパラメータを含むアップミキシング規則である、多チャンネルシンセサイザ。
【請求項２】
アップミキサ（１１０４）は、アップミキサモード指示（１００５）に依存して、アップミキシングの際に、アップミキサモード指示（１００５）に依存して、少なくとも二個の異なったアップミキシングパラメータ（１１０８）を用いて第一または第二のアップミキシング規則のためのパラメータを計算するように動作する、請求項１に記載の多チャンネルシンセサイザ。
【請求項３】
アップミキサモード指示（１００５）は、周波数選択的、またはサブバンドごと、または時間選択的、またはフレームごとの信号処理によりアップミキサモードを指示し、
アップミキサは、アップミキサモード指示（１００５）によって指示されるように、異なる周波数帯域または時間部分について、異なるアップミキシング規則を用いて少なくとも１個のベースチャンネルをアップミックスするように動作する、請求項１または請求項２に記載の多チャンネルシンセサイザ。
【請求項４】
第二のアップミキシング規則は以下数式１のように定義される請求項１に記載の多チャンネルシンセサイザ。
【数１】
2008517338.tif 000080
ここで、Ｌは左入力チャンネルのエネルギ値であり、Ｃはセンター入力チャンネルのエネルギ値であり、Ｒは右入力チャンネルのエネルギ値であり、αはダウンミックスの決定されたパラメータである。
【請求項５】
第二のアップミキシング規則は、右のダウンミックスチャンネルが左のアップミックスされたチャンネルに付加されず、逆もそうであるようなものである、請求項１から請求項４
のいずれかに記載の多チャンネルシンセサイザ。
【請求項６】
第一のアップミキシング規則はオリジナルの多チャンネル信号の波形と第一のアップミキシング規則によって生成された信号の波形との波形整合によって決定される、請求項１から請求項５のいずれかに記載の多チャンネルシンセサイザ。
【請求項７】
第一または第二のアップミキシング規則は以下数式2のように定義され：
【数２】
2008517338.tif 000081
ここで関数ｆ１、ｆ２、ｆ３は送信された２個の異なるアップミキシングパラメータｃ１、ｃ２の関数を示し、
これらの関数は以下数式３のように定義される請求項１から請求項６のいずれかに記載の多チャンネルシンセサイザ。
【数３】
2008517338.tif 000082
ここでαは実数値パラメータである。
【請求項８】
入力信号に含まれる少なくとも１個のベースチャンネルの一部を用いて、送信されたベースチャンネルに含まれていない少なくとも１個のベースチャンネルの帯域を再生成するためのＳＢＲユニット（１６１４）をさらに含み、
多チャンネルシンセサイザは、少なくともベースチャンネルの再生成された帯域には第二のアップミキシング規則を適用し、入力信号に含まれたベースチャンネルの帯域には第一のアップミキシング規則を適用するように動作する、請求項１から請求項７のいずれかに記載の多チャンネルシンセサイザ。
【請求項９】
アップミックスモード指示（１００５）は入力信号に含まれるＳＢＲ信号処理（１６０６）である、請求項８に記載の多チャンネルシンセサイザ。
【請求項１０】
入力信号は、エネルギ損失を伴うアップミキシング規則に依存するエネルギ誤差の情報を示すエネルギ尺度（１１０６）を含み、
アップミキサは、エネルギ損失を伴うアップミキシング規則を第一または第二のアップミキシング規則として用い、エネルギ誤差がエネルギ尺度に基づいて少なくとも部分的に補償されるように少なくとも３個の出力チャンネルを生成するように動作する、請求項１から請求項９のいずれかに記載の多チャンネルシンセサイザ。
【請求項１１】
アップミキサは、入力信号からエネルギ尺度（１１０６）を抽出し、エネルギ尺度をアップミックスモード指示（１００５）として用いるよう動作し、それによってアップミキサが、入力信号にエネルギ尺度（１１０６）が存在することに応答してエネルギ損失を伴うアップミキシング規則を適用するように動作する、請求項１から請求項１０のいずれかに記載の多チャンネルシンセサイザ。
【請求項１２】
エネルギ尺度は、エネルギ損失を伴うアップミキシング規則を用いたアップミックス結果のエネルギとオリジナルの多チャンネル信号のエネルギとの関係を示すもの、またはエネルギ誤差のオリジナルの多チャンネル信号あるいはエネルギに対する関係を示すもの、または絶対的なエネルギ誤差を示すものである、請求項１１に記載の多チャンネルシンセサイザ。
【請求項１３】
アップミキサは、アップミキサモード指示（１００５）に応答して、少なくとも２個のアップミキシングパラメータと、オリジナルの多チャンネル信号から少なくとも１個のベースチャンネルを生成するのに用いられたダウンミックス規則情報とに基づいて、アップミックス行列を導出するための計算部（１６００）を含む、請求項１から請求項１２のいずれかに記載の多チャンネルシンセサイザ。
【請求項１４】
アップミキサ（１１０４）は、少なくとも１個のベースチャンネルから、またはエネルギ損失を伴うアップミキシング規則の出力信号から無相関化された信号を生成するための無相関化部（５０１、５０２、５０３，５０１’、５０３’）をさらに含み、
アップミキサは、出力チャンネルにおける無相関化された信号のエネルギ量がエネルギ尺度から導出可能なエネルギ誤差の量より少ないかそれと等しいように、無相関化された信号を用いるように動作する、請求項１０から請求項１３のいずれかに記載の多チャンネルシンセサイザ。
【請求項１５】
無相関化された信号のエネルギがエネルギ誤差より小さいとき、アップミキサは、アップスケールされた信号と付加された無相関化信号とをあわせたエネルギがオリジナルの信号のエネルギと等しくなるように、アップミキシング規則によって生成された信号をアップスケールするように動作する、請求項１４に記載の多チャンネルシンセサイザ。
【請求項１６】
付加された無相関化された信号のエネルギは無相関化因子によって決定され、１に近い高い無相関化因子は低レベルの無相関化信号を付加すべきことを示し、０に近い小さい無相関化因子は高レベルの無相関化信号を付加すべきことを示し、
無相関化尺度は入力信号から抽出される、請求項１４または請求項１５に記載の多チャンネルシンセサイザ。
【請求項１７】
入力信号は、２個の異なるアップミキシングパラメータに加えて、少なくとも１個のベースチャンネルの元となるダウンミックスの情報を含み、
アップミキサは、付加的なダウンミキシング情報を用いてアップミキシング行列（８０２）を生成するように動作する、請求項１から請求項１６のいずれかに記載の多チャンネルシンセサイザ。
【請求項１８】
多チャンネル入力信号を処理するためのエンコーダであって、
エンコーダで利用可能な情報に基づいて複数の異なるパラメータ表現から特定のパラメータ表現を生成するためのパラメータ生成部（１０４、１００１、１５２０、１５２２、１４１４、１４１６）を含み、パラメータ表現は多チャンネル出力信号を再構築するために１または２以上のベースチャンネルをアップミキシングする際に有用であり、さらに
生成されたパラメータ表現と、複数の異なるパラメータ表現のうち特定のパラメータ表現を暗示的にまたは明示的に示す情報とを出力するための、出力インターフェィス（１４０８）を含み、複数の異なるパラメータ表現は波形ベースの予測的アップミキシングスキームのための第一のパラメータ表現と、非波形ベースのアップミキシング規則のための第二のパラメータ表現とを含む、エンコーダ。
【請求項１９】
非波形ベースのアップミキシング規則はエネルギ保存アップミキシング規則である、請求項１８に記載のエンコーダ。
【請求項２０】
第一のパラメータ表現はそのパラメータが最適化手順を用いて決定されるようなパラメータ表現であり、
第二のパラメータ表現は、オリジナルのチャンネルのエネルギを計算し（１５２０）、エネルギの組合せに基づいてパラメータを計算する（１５２２）ことによって決定される、請求項１８から請求項１９のいずれかに記載のエンコーダ。
【請求項２１】
エンコーダによって出力されるベースチャンネルには含まれない、オリジナルの入力信号の少なくとも１の帯域についてスペクトル帯域複製サイド情報を生成するためのスペクトル帯域複製モジュール（１５１２、１５１４）をさらに含み、スペクトル帯域複製サイド情報は特定のパラメータ表現を暗示的に示す、請求項１８から請求項２０のいずれかに記載のエンコーダ。
【請求項２２】
多チャンネル入力信号または多チャンネル入力信号から導出された少なくとも１個のベースチャンネルと、エネルギ損失を伴うアップミキシング動作によって生成されたアップミックスされた信号とのエネルギ差に依存するエネルギ尺度（ρ）を計算するためのエネルギ尺度計算部（１４０２）をさらに含み、
出力インターフェィス（１４０８）は、エネルギ尺度に依存するスケーリング因子（４０３）によってスケーリングされた（４０１、４０２）後の少なくとも１個のベースチャンネル、またはエネルギ尺度を出力するように動作する、請求項１８から請求項２１のいずれかに記載のエンコーダ。
【請求項２３】
出力インターフェィスによって出力されたエネルギ尺度（ρ）は、特定のパラメータ表現を暗示的に信号で示すために用いられる、請求項２２に記載のエンコーダ。
【請求項２４】
複数の異なるパラメータ表現のうちどれを生成または出力すべきかについて、パラメータ生成部または出力インターフェィスを制御するためのパラメータ表現制御部をさらに含む、請求項１８から請求項２３のいずれかに記載のエンコーダ。
【請求項２５】
パラメータ表現制御部はエンコーダにおけるイベントを決定するか、またはターゲット関数を計算するように動作する、請求項１８から請求項２４のいずれかに記載のエンコーダ。
【請求項２６】
エンコーダにおけるイベントはスペクトル帯域複製情報の計算であり、制御部は、ベースチャンネルに含まれていない帯域については第二のパラメータ表現を出力し、ベースチャンネルに含まれる帯域については第一のパラメータ表現を出力するように出力インターフェィスを制御するように動作する、請求項２５に記載のエンコーダ。
【請求項２７】
パラメータ表現制御部は、ターゲット関数において、アップミックス品質、ダウンミックスビットレート、エンコーダ側またはデコーダ側での計算効率、またはバッテリ駆動の装置のエネルギ消費、から導出される値または値の組合せを用いるように動作し、ターゲット関数は、あるサブバンドまたはフレームについて、第一のパラメータ化が第二のパラメータ化より良好であることを示す、請求項１８から請求項２５のいずれかに記載のエンコーダ。
【請求項２８】
出力インターフェィスは、異なる周波数帯域または異なる時間期間について異なるパラメータ表現を出力するように動作する、請求項１から請求項２７のいずれかに記載のエンコーダ。
【請求項２９】
エネルギを伴うアップミキシング規則を用いた少なくとも１個のベースチャンネルのアップミキシングによって生成されたアップミックスされた信号のエネルギと、オリジナルの多チャンネル信号のエネルギとの関係に基づきエネルギ尺度を計算するためのエネルギ尺度計算部をさらに含む、請求項１８から請求項２８のいずれかに記載のエンコーダ。
【請求項３０】
少なくとも１個のベースチャンネルを計算するためのダウンミキサ装置（１４１０）をさらに含み、
出力インターフェィス（１４０８）は、少なくとも１個のベースチャンネルを出力するように動作する、請求項１８から請求項２９のいずれかに記載のエンコーダ。
【請求項３１】
少なくとも１個のベースチャンネル（１１０２）を有する入力信号を用いて少なくとも３個の出力チャンネル（１１００）を生成するための方法であって、ベースチャンネルはオリジナルの多チャンネル信号（１０１、１０２、１０３）から導出され、入力信号はさらに少なくとも２個の異なるアップミキシングパラメータ（１１０８）と、第一の状態において第一のアップミキシング規則を行うべきことを指示し、第二の状態において異なる第二のアップミキシング規則を行うべきことを指示するアップミキサモード指示（１００５）とを含み、
アップミキサモード指示（１００５）に応答して、第一または第二のアップミキシング規則（２０１、１４０７）に基づいて少なくとも２個の異なるアップミキシングパラメータ（１１０８）を用いて少なくとも１個のベースチャンネルをアップミキシングするステップを含み、それによって少なくとも３個の出力チャンネルを得る、方法であって、
第一のアップミキシング規則は予測的アップミキシング規則であり、第二のアップミキシング規則はエネルギ依存のアップミキシングパラメータを含むアップミキシング規則である、方法。
【請求項３２】
多チャンネル入力信号を処理する方法であって、
エンコーダで利用可能な情報に基づいて複数の異なるパラメータ表現から特定のパラメータ表現を生成するステップ（１０４、１００１、１５２０、１５２２、１４１４、１４１６）を含み、パラメータ表現は多チャンネル出力信号を再構築するために１または２以上のベースチャンネルをアップミキシングする際に有用であり、さらに
生成されたパラメータ表現と、複数の異なるパラメータ表現のうち特定のパラメータ表現を暗示的にまたは明示的に示す情報とを出力するステップ（１４０８）を含み、
複数の異なるパラメータ表現は波形ベースの予測的アップミキシングスキームのための第一のパラメータ表現と、非波形ベースのアップミキシング規則のための第二のパラメータ表現とを含む、方法。
【請求項３３】
複数の異なるパラメータ表現のうち特定のパラメータ表現を有する、エンコードされた多チャンネル情報信号であって、パラメータ表現は多チャンネル出力信号を再構築するために１または２以上のベースチャンネルをアップミキシングする際に有用であり、情報は、複数の異なるパラメータ表現のうち特定のパラメータ表現を暗示的にまたは明示的に示し、複数の異なるパラメータ表現は波形ベースの予測的アップミキシングスキームのための第一のパラメータ表現と、非波形ベースのアップミキシング規則のための第二のパラメータ表現とを含む、情報。
【請求項３４】
請求項３３に記載のエンコードされた多チャンネル情報信号が記録された機械可読媒体。
【請求項３５】
請求項１８から請求項３０のいずれに記載のエンコーダを有する、送信機またはオーディオレコーダ。
【請求項３６】
請求項１から請求項１７のいずれに記載のデコーダを有する、受信機またはオーディオプレーヤ。
【請求項３７】
請求項３５に記載の送信機および請求項３６に記載の受信機を有する、送信システム。
【請求項３８】
請求項３２に記載の処理方法を有する、送信またはオーディオレコーディング方法。
【請求項３９】
請求項３１に記載の生成方法を含む、受信またはオーディオ再生方法。
【請求項４０】
請求項３９に記載の受信および請求項３８に記載の送信方法。
【請求項４１】
コンピュータ上で実行されると、請求項３１、３２、３８、３９または４０のいずれかの方法を実行する、コンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
この目的は、請求項１に記載の多チャンネルシンセサイザ、請求項１８に記載の多チャンネル入力信号を処理するためのエンコーダ、請求項３１に記載の少なくとも３個の出力チャンネルを生成するための方法、請求項３２に記載のエンコーディング方法、または請求項３３に記載のエンコードされた多チャンネル信号によって達成される。
【国際調査報告】
2008517338.tif 000083
2008517338.tif 000084
2008517338.tif 000085