(57)【要約】第１のオーディオチャネル信号と第２のオーディオチャネル信号とを持つ１つの出力信号を合成する装置であって、１つのダウンミックス信号から１つのデコリレータ信号を生成するためのデコリレータステージ（３５６）と、パラメトリックオーディオオブジェクト情報（３６２）とダウンミックス情報（３５４）と目標再現情報（３６０）とからダウンミックス信号とデコリレート済信号との重み付き結合を実行するための結合器（３６４）と、を備える。この結合器は、多チャネルダウンミックスを使用して、複数の個別のオーディオオブジェクトを高品質でステレオ場面再生するため、行列化とデコリレーションとを最適に結合する。【選択図】  図３ｂ
2010525403.tif 000002
【特許請求の範囲】
【請求項１】
第１のオーディオチャネル信号と第２のオーディオチャネル信号とを持つ１つの出力信号（３５０）を合成する装置であって、
１つのダウンミックス信号から、デコリレート済の１つのチャネル信号、又はデコリレート済の第１チャネル信号及びデコリレート済の第２チャネル信号、を有する１つのデコリレート済信号（３５８）を生成するためのデコリレータステージ（３５６）であって、前記ダウンミックス信号は第１のオブジェクトダウンミックス信号と第２のオブジェクトダウンミックス信号とを含み、前記ダウンミックス信号は複数のオーディオオブジェクト信号のダウンミックスをダウンミックス情報（３５４）に従って表現している、デコリレータステージ（３５６）と、
前記ダウンミックス情報（３５４）と、仮想の再生セットアップにおける前記オーディオオブジェクトの仮想位置を示す目標再現情報（３６０）と、前記オーディオオブジェクトを表現するパラメトリックオーディオオブジェクト情報（３６２）とから、重み付き結合のための重み係数（Ｐ，Ｑ，Ｃ0，Ｇ）を計算し、前記ダウンミックス信号（３５２）と前記デコリレート済信号（３５８）との重み付き結合を実行するための結合器（３６４）と、
を備えることを特徴とする装置。
【請求項２】
前記結合器（３６４）は、前記第１のオブジェクトダウンミックス信号と前記第２のオブジェクトダウンミックス信号とのミキシング操作の結果（４５２）が目標再現結果に対して波形マッチするように、前記重み係数を計算することを特徴とする、請求項１に記載の出力信号の合成装置。
【請求項３】
前記結合器（３６４）は、前記第１のオブジェクトダウンミックス信号と前記第２のオブジェクトダウンミックス信号とをミキシングするためのミキシング行列Ｃ0を次式に基づいて計算し、
Ｃ0＝ＡＥＤ*（ＤＥＤ*）-1
ここで、Ｃ0はミキシング行列であり、Ａは前記目標再現情報（３６０）を表現する目標再現行列であり、Ｄは前記ダウンミックス情報（３５４）を表現するダウンミックス行列であり、＊は複素共役転位演算を示し、Ｅは前記パラメトリックオーディオオブジェクト情報（３６２）を示すオブジェクト共分散行列であることを特徴とする、請求項１又は２に記載の出力信号の合成装置。
【請求項４】
前記結合器（３６４）は、前記重み係数を次式に基づいて計算し、
Ｒ＝ＡＥＡ*
ここで、Ｒは前記目標再現情報を前記オーディオオブジェクトへと適用することで取得できる前記再現出力信号（３５０）の共分散行列であり、Ａは前記目標再現情報（３６０）を表現する目標再現行列であり、Ｅは前記パラメトリックオーディオオブジェクト情報（３６２）を示すオブジェクト共分散行列であることを特徴とする、請求項１乃至３のいずれか１項に記載の出力信号の合成装置。
【請求項５】
前記結合器（３６４）は、前記重み係数を次式に基づいて計算し、
Ｒ0＝Ｃ0ＤＥＤ*Ｃ0*
ここで、Ｒ0は前記ダウンミックス信号のミキシング操作（４０１）の結果の共分散行列であることを特徴とする、請求項３に記載の出力信号の合成装置。
【請求項６】
前記結合器（３６４）は、
ドライ信号ミックス行列Ｃ0を計算し、かつそのドライ信号ミックス行列Ｃ2を前記ダウンミックス信号（３５２）に適用する操作（４０１）と、
デコリレータ後の処理行列Ｐを計算し、かつそのデコリレータ後の処理行列Ｐを前記デコリレート済信号（３５８）に適用する操作（４０４）と、
前記再現出力信号（５５０）を取得するために、前記適用する操作（４０１，４０４）の結果を結合（４５４）する操作と、
により、前記重み付き結合が表現可能となるように、前記重み係数を計算することを特徴とする、請求項１乃至５のいずれか１項に記載の出力信号の合成装置。
【請求項７】
前記デコリレータステージ（３５６）は、前記ダウンミックス信号（３５２）をデコリレータ（４０３）に送る前に処理するデコリレータ前操作（４０２）を実行可能であることを特徴とする、請求項１乃至６のいずれか１項に記載の出力信号の合成装置。
【請求項８】
前記デコリレータ前操作は、前記オーディオオブジェクトの前記ダウンミックス信号への配分を示す前記ダウンミックス情報（３５４）に基づいて、前記第１のオブジェクトダウンミックス信号と第２のオブジェクトダウンミックス信号とをミキシングするミックス操作を含むことを特徴とする、請求項７に記載の出力信号の合成装置。
【請求項９】
前記結合器（３６４）は、前記第１及び第２のオブジェクトダウンミックス信号のドライミックス操作（４０１）を実行し、
前記デコリレータ前操作（４０２）は、前記ドライミックス操作（４０１）に類似していることを特徴とする、請求項７に記載の出力信号の合成装置。
【請求項１０】
前記結合器（３６４）は、前記ドライミックス行列Ｃ0を使用し、
前記デコリレータ前操作（４０２）は、前記ドライミックス行列Ｃ0と同一のデコリレータ前行列Ｑを使用して構成されていることを特徴とする、請求項９に記載の出力信号の合成装置。
【請求項１１】
前記デコリレータ後の処理行列Ｐは、ドライ信号ミックスの結果（４５２）に対して加算されたデコリレート済信号の共分散行列の固有値分解（１１０２）を実行することを特徴とする、請求項６に記載の出力信号の合成装置。
【請求項１２】
前記結合器（３６４）は、前記固有値分解（１１０２）により取得された固有値から導出された行列（Ｔ）と前記デコリレート済信号（３５８）の共分散行列との掛け算（１１０４）に基づいて、前記重み係数を計算することを特徴とする、請求項１１に記載の出力信号の合成装置。
【請求項１３】
前記結合器（３６４）は、
単一のデコリレータ（４０３）が使用された場合に、デコリレータ後の処理行列Ｐが単一の列と前記再現出力信号内のチャネル信号数に等しい数の行とを有するか、又は、
２つのデコリレータ（４０３）が使用された場合に、デコリレータ後の処理行列Ｐが２つの列と前記再現出力信号内のチャネル信号数に等しい数の行とを有するように、
前記重み係数を計算することを特徴とする、請求項１１に記載の出力信号の合成装置。
【請求項１４】
前記結合器（３６４）は、前記デコリレート済信号の共分散行列に基づき、次式によって前記重み係数を計算し、
Ｒz＝ＱＤＥＤ*Ｑ*
ここで、Ｒzは前記デコリレート済信号（３５８）の共分散行列であり、Ｑはデコリレータ前のミックス行列であり、Ｄはダウンミックス情報（３５４）を表現するダウンミックス行列であり、Ｅはパラメトリックオーディオオブジェクト情報（３６２）を表現するオーディオオブジェクト共分散行列であることを特徴とする、請求項１１乃至１３のいずれか１項に記載の出力信号の合成装置。
【請求項１５】
前記結合器（３６４）は、
前記デコリレート済信号がドライミックス操作の反対の正負符号を有する２つの結果チャネル（４５２）に加算される形で、前記デコリレータ後の処理行列Ｐが計算（１２０１）されるように、
前記重み係数を計算することを特徴とする、請求項６に記載の出力信号の合成装置。
【請求項１６】
前記結合器（３６４）は、
前記デコリレート済信号（３５８）が、前記再現出力信号の２つのチャネル間の相関キューにより決定された重み係数（ｃ）により重み付けされ、前記相関キューは、目標再現行列（Ａ）に基づく仮想目標再現操作により決定された相関値に類似しているように、前記重み係数を計算する（１２０３）ことを特徴とする、請求項１５に記載の出力信号の合成装置。
【請求項１７】
前記重み係数（ｃ）を決定するために二次方程式（２６）が解かれ、もしこの二次方程式に実数値の解が存在しない場合には、前記デコリレート済信号の加算を減少又は停止させる（１２０８）ことを特徴とする、請求項１６に記載の出力信号の合成装置。
【請求項１８】
前記結合器（３６４）は、
前記ダウンミックス信号のエネルギーとの比較におけるドライ信号ミックスの結果内のエネルギー誤差が減少するように、前記ドライ信号ミックスの結果に重み付けする方法で利得補償（４０９）を実行（１３０２）することにより、前記重み付き結合が表現可能となるように、
前記重み係数を計算することを特徴とする、請求項６に記載の出力信号の合成装置。
【請求項１９】
前記結合器（３６４）は、デコリレート済信号の加算がアーチファクトの発生をもたらすかどうかを判定（１４０２）し、
もしアーチファクトの発生をもたらすと判定した場合には、前記結合器（３６４）はデコリレート済信号の加算を停止又は減少（１４０４）させ、
かつ、そのデコリレート済信号の加算の停止又は減少（１４０４）に起因するパワー誤差を減少（１４０６）させることを特徴とする、請求項１乃至６のいずれか１項に記載の出力信号の合成装置。
【請求項２０】
前記結合器（３６４）は、前記ドライミックス操作（４０１）の１つの結果のパワーが増大するように、前記重み係数を計算することを特徴とする、請求項１９に記載の出力信号の合成装置。
【請求項２１】
前記結合器（３６４）は、
前記ドライアップミックス信号と、前記目標再現情報（３６０）を使用してある仮想目標再現の枠組みにより決定された出力信号と、の間の前記誤差信号の相関構成を表現する誤差共分散行列データＲを計算（１１０４）し、
前記誤差共分散行列データＲの非対角要素の正負符号を判定（１４０２）し、この符号が正の場合には、前記加算を停止（１１０４）又は減少させることを特徴とする、請求項１９に記載の出力信号の合成装置。
【請求項２２】
前記ダウンミックス信号を、複数のサブバンドダウンミックス信号を含むスペクトル表現へと変換するための時間／周波数変換器（３０２）であって、各サブバンド信号について、デコリレータ操作（４０３）と結合器操作（３６４）とを使用して複数の再現出力サブバンド信号を生成する、時間／周波数変換器（３０２）と、
前記再現出力信号の複数のサブバンド信号を時間ドメイン表現へと変換するための周波数／時間変換器（３０４）と、をさらに備えることを特徴とする、請求項１乃至２１のいずれか１項に記載の出力信号の合成装置。
【請求項２３】
前記ダウンミックス信号のサンプル値のブロックを生成し、かつ前記デコリレータステージ（３５６）及び前記結合器（３６４）がサンプル値の個々のブロックを処理するように制御するための、ブロック処理制御器をさらに備えることを特徴とする、請求項１乃至２２のいずれか１項に記載の出力信号の合成装置。
【請求項２４】
各ブロック及び各サブバンド信号について前記オーディオオブジェクト情報が与えられ、かつ前記目標再現情報と前記オブジェクトダウンミックス情報とは、１つの時間ブロックの周波数に亘って一定であることを特徴とする、請求項２２又は２３に記載の出力信号の合成装置。
【請求項２５】
前記結合器（３６４）は、前記第１のオブジェクトダウンミックス信号と前記第２のオブジェクトダウンミックス信号とを１つのドライミックス信号（４５２）へと線形結合する、強化された行列化ユニット（３０３）を含み、
前記結合器（３６４）は、前記デコリレート済信号（３５８）を１つの信号へと線形結合し、この信号は前記ドライミックス信号とのチャネル単位の加算により、前記強化された行列化ユニット（３０３）のステレオ出力を構成し、
かつ前記結合器（３６４）は、前記ダウンミックス情報（３５４）と、前記パラメトリックオーディオオブジェクト情報（３６２）と、前記目標再現情報（３６０）とに基づいて、前記強化された行列化ユニット（３０３）により使用される前記線形結合のための前記重み係数を演算する行列計算器（２０２）を含むことを特徴とする、請求項１乃至２４のいずれか１項に記載の出力信号の合成装置。
【請求項２６】
前記結合器（３６４）は、前記目標再現情報（３５４）に基づいて、ドライミックス信号だけでも目標再現結果が再生できるようにするため、前記再現出力信号内のデコリレート済信号（３５８）のエネルギー部分ができるだけ小さくなるように、かつ前記第１のオブジェクトダウンミックス信号と前記第２のオブジェクトダウンミックス信号とを線形結合することで取得されるドライミックス信号（４５２）のエネルギー部分ができるだけ大きくなるように、前記重み係数を計算することを特徴とする、請求項１乃至２５のいずれか１項に記載の出力信号の合成装置。
【請求項２７】
第１のオーディオチャネル信号と第２のオーディオチャネル信号とを持つ１つの出力信号（３５０）を合成する方法であって、
デコリレート済の１つのチャネル信号、又はデコリレート済の第１チャネル信号及びデコリレート済の第２チャネル信号、を有する１つのデコリレート済信号（３５８）を、１つのダウンミックス信号から生成するステップ（３５６）であって、前記ダウンミックス信号は、第１のオブジェクトダウンミックス信号と第２のオブジェクトダウンミックス信号とを含み、さらに前記ダウンミックス信号は、複数のオーディオオブジェクト信号のダウンミックスをダウンミックス情報（３５４）に従って表現しているステップ（３５６）と、
前記ダウンミックス情報（３５４）と、仮想の再生セットアップにおける前記オーディオオブジェクトの仮想位置を示す目標再現情報（３６０）と、前記オーディオオブジェクトを表現するパラメトリックオーディオオブジェクト情報（３６２）と、から導出された重み付き結合のための重み係数（Ｐ，Ｑ，Ｃ0，Ｇ）の計算に基づいて、前記ダウンミックス信号（３５２）と前記デコリレート済信号（３５８）との重み付き結合を実行するステップ（３６４）と、
を備える方法。
【請求項２８】
処理器で使用されたときに、請求項２７に記載の方法を実行できるプログラムコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、利用可能な多チャネルダウンミックスと追加的制御データとに基づいて、ステレオ出力信号や３つ以上のオーディオチャネル信号を有する出力信号のような再現出力信号(rendered output signal)を合成する手法に関する。具体的には、この多チャネルダウンミックスとは、複数のオーディオオブジェクト信号のダウンミックスのことである。
【背景技術】
【０００２】
オーディオ技術における近年の進歩により、ステレオ（又はモノラル）信号と対応する制御データとに基づいて、オーディオ信号の多チャネル表現を再生することが可能となった。これらパラメトリックサラウンド符号化の方法は、通常はパラメータ化を含んでいる。パラメトリック多チャネルオーディオ復号器（例えば非特許文献１及び非特許文献２に定義されたISO/IEC23003-1のＭＰＥＧサラウンド復号器）は、伝送されたＫ個のチャネルに基づいてＭ個のチャネルを再生する。ここで、Ｍ＞Ｋであり、追加の制御データが使用される。この制御データは、IID（チャネル間強度差）及びICC（チャネル間コヒーレンス）に基づく多チャネル信号のパラメータ化からなる。これらのパラメータは、通常、符号化の段階で抽出され、アップミックスの過程で使用されるチャネル・ペア間のパワー比及び相関関係を表わしている。このような復号化の枠組みを使用することで、符号化において、Ｍ個の全てのチャネルを伝送する場合に比べてかなり低いデータ率を達成できるため、符号化をきわめて効率的にすると同時に、Ｋチャネルの装置とＭチャネルの装置との両方への互換性を保証している。
【０００３】
特に関連のある符号化システムとして、非特許文献３と特許文献１に開示された対応するオーディオオブジェクト符号器が挙げられる。この中では、複数のオーディオオブジェクトが符号器でダウンミックスされ、その後、制御データに従ってアップミックスされる。このアップミックスの過程は、ダウンミックスにおいてミキシングされたオブジェクトの分離過程としても見ることができる。その結果として得るアップミックスされた信号は、１つ又は複数の再生チャネルへと再現される。さらに詳しく言えば、非特許文献３及び特許文献１は、（合計信号と呼ばれる）ダウンミックスと、ソースオブジェクトに関する統計的な情報と、好ましい出力フォーマットを表すデータとから、オーディオチャネルを合成する方法を開示している。複数のダウンミックス信号が使用された場合には、これらのダウンミックス信号はオブジェクトの様々なサブセットから成り、かつアップミックスは各ダウンミックスチャネルについて個別に実行される。
【０００４】
ステレオオブジェクトダウンミックスからステレオへとオブジェクト再現する場合、又は例えばＭＰＥＧサラウンド復号器によるさらなる処理にとって好適なステレオ信号を生成する場合には、２つのチャネルを時間と周波数とに依存する行列化の枠組を用いて合同的に処理することで、非常に有利な結果が得られることが先行技術により知られている。オーディオオブジェクト符号化の範囲外ではあるが、特許文献２には、関連技術を適用して、１つのステレオオーディオ信号を別のステレオオーディオ信号へと部分的に変換する技術が示されている。さらに、一般的なオーディオオブジェクト符号化システムにとっては、望ましい参照場面を知覚的に再生するために、再現過程においてデコリレーション（decorrelation）処理の追加的導入が必要であることが公知である。しかし、行列化(matrixing)とデコリレーションとの合同的に最適化された組合せについて開示した先行技術は存在しない。従来の方法を単純に組み合わせただけでは、多チャネルオブジェクトダウンミックスが提供できる能力を非効率的で非柔軟的に使用する結果になるか、あるいはオブジェクト復号器の再現結果が低いステレオイメージ品質をもたらすことになる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】C. Faller, “Parametric Joint-Coding of Audio Sources,” Patent application PCT/EP2006/050904, 2006.
【特許文献２】WO2006/103584
【非特許文献】
【０００６】
【非特許文献１】L. Villemoes, J. Herre, J. Breebaart, G. Hotho, S. Disch, H. Purnhagen, and K. Kjorling, "MPEG Surround: The Forthcoming ISO Standard for Spatial Audio Coding," in 28th International AES Conference, The Future of Audio Technology Surround and Beyond, Pitea, Sweden, June 30-July 2, 2006.
【非特許文献２】J. Breebaart, J. Herre, L. Villemoes, C. Jin, , K. Kjorling, J. Plogsties, and J. Koppens, "Multi-Channels goes Mobile: MPEG Surround Binaural Rendering," in 29th International AES Conference, Audio for Mobile and Handheld Devices, Seoul, Sept 2-4, 2006.
【非特許文献３】C. Faller,“Parametric Joint-Coding of Audio Sources,”Convention Paper 6752 presented at the 120th AES Convention, Paris, France, May 20-23, 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、再現出力信号を合成するための改善された概念を提供することである。
【課題を解決するための手段】
【０００８】
この目的は、請求項１に記載の再現出力信号の合成装置、請求項２７に記載の再現出力信号を合成する方法、又は請求項２８に記載のコンピュータプログラムにより達成される。
【０００９】
本発明は、２つ（ステレオ）又はそれ以上の数のオーディオチャネル信号を有する１つの再現出力信号を合成する手法を提供する。多数のオーディオオブジェクトがある場合には、合成されたオーディオチャネル信号の数は、元のオーディオオブジェクトの数よりも少なくなる。しかし、オーディオオブジェクトの数が少数（例えば２つ）か、又は出力チャネルの数が２か３か又はそれ以上の場合には、オーディオ出力チャネルの数がオブジェクトの数よりも多くなる可能性がある。本発明の再現出力信号の合成は、復号化済みのオーディオオブジェクトへの完全なオーディオオブジェクトの復号化処理と、それに続く合成されたオーディオオブジェクトの目標再現処理とを行うことなく、実行される。本発明では、ダウンミックス情報と、目標再現情報と、エネルギー情報及び相関情報のようなオーディオオブジェクトを表現するオーディオオブジェクト情報とに基づいて、再現出力信号の計算がパラメータドメインで実行される。従って、合成装置における構成の複雑さに大きな影響を与えるデコリレータ(decorrelator)の数を、出力チャネル数よりも少ない数に削減することができ、さらにはオーディオオブジェクト数よりも実質的に少ない数にまで削減することができる。具体的には、高品質のオーディオ合成のために、唯一つ又は２つのデコリレータだけを備える合成器も構成可能である。さらに、完全なオーディオオブジェクトの復号化処理とそれに続く目標再現処理が実行されないという事実から、記憶と計算に係る資源が節約できる。また、それぞれの処理によって潜在的なアーチファクトがもたらされるものである。しかし、本発明の方法における計算は、好ましくはパラメータドメインだけにおいて実行されるので、パラメータとしてではなく、例えば時間ドメインやサブバンドドメインとして与えられるオーディオ信号は、少なくとも２つのオブジェクトダウンミックス信号だけとなる。オーディオ合成の過程では、これら２つの信号はデコリレータに対し、単一のデコリレータを用いた場合にはダウンミックスされた形で導入され、各チャネル毎に１つのデコリレータを用いた場合にはミキシングされた形で導入される。時間ドメイン、フィルタバンクドメイン又はミキシングされたチャネル信号において実行される他の処理は、重み付き加算(weighted additions)又は重み付き減算(weighted subtractions)のような重み付きの組合せ、即ち線形演算(linear operation)だけである。従って、完全なオーディオオブジェクトの復号化処理とそれに続く目標再現処理がもたらすアーチファクトを排除することができる。
【００１０】
本発明のオーディオオブジェクト情報は、好適にはエネルギー情報及び相関情報として、例えばオブジェクト共分散行列の形で与えられる。さらに好適には、このような行列は各サブバンドと各時間ブロックとに対して利用可能であり、周波数―時間マップが存在する。ここでは各マップエントリがオーディオオブジェクト共分散行列を含み、そのサブバンドにおける夫々のオーディオオブジェクトのエネルギーと、対応するサブバンドにおけるオーディオオブジェクトの夫々のペア間の相関関係とを表現している。当然ながら、この情報は、１つのサブバンド信号又はオーディオ信号におけるある時間ブロック、時間枠又は時間部分に関係している。
【００１１】
本発明のオーディオ合成は、好適には第１又は左のオーディオチャネル信号と、第２又は右のオーディオチャネル信号とを備える再現ステレオ出力信号へと実行される。これにより、複数のオブジェクトからステレオへの再現が参照ステレオの再現にできるだけ近くなるような、オーディオオブジェクト符号化の手法を適用できる。
【００１２】
オーディオオブジェクト符号化の多くの方法においては、複数のオブジェクトからステレオへの再現が参照ステレオ再現にできるだけ近いという点が非常に重要である。参照ステレオ再現への近似としての高品質なステレオ再現を達成することは、そのステレオ再現がオブジェクト符号器の最終出力である場合においても、また、そのステレオ再現が後続の装置、例えばステレオダウンミックスモードで作動しているＭＰＥＧサラウンド復号器のような後続の装置に対して供給される場合においても、オーディオ品質の観点から重要である。
【００１３】
本発明は、行列化及びデコリレーションの方法が合同的に最適化された組合せを提供し、オーディオオブジェクト復号器が、２つ以上のチャネルを有する１つのオブジェクトダウンミックスを使用するオーディオオブジェクト符号化の枠組みの潜在能力を最大限活用できるようにするものである。
【００１４】
本発明の実施形態は、以下の特徴を有する。
―複数の個別のオーディオオブジェクトを再現するためのオーディオオブジェクト復号器であって、１つの多チャネルダウンミックスと、オブジェクトを表現する制御データと、ダウンミックスを表現する制御データと、再現情報とを使用し、下記の構成要素を含む。
―強化された行列化ユニットを備えるステレオ処理器であり、多チャネルダウンミックスチャネルを１つのドライミックス信号とデコリレータ入力信号へと線形結合し、次にそのデコリレータ入力信号をデコリレータユニットへと入力し、このデコリレータユニットの出力信号は１つの信号へと線形結合され、この信号とドライアップミックス信号とのチャネル単位の加算により、強化された行列化ユニットのステレオ出力を形成するステレオ処理器、又は、
―オブジェクトを表現する制御データと、ダウンミックスを表現する制御データと、ステレオ再現情報とに基づき、強化された行列化ユニットに使用される線形結合のための重みを演算する行列計算器。
【００１５】
本発明の実施例を添付の図面を参照しながら以下に説明するが、これらの例は本発明の範囲や思想を限定するものではない。
【図面の簡単な説明】
【００１６】
【図１】符号化と復号化とを含むオーディオオブジェクト符号化の操作を示した図である。
【図２ａ】オーディオオブジェクト復号化のステレオへの操作を示した図である。
【図２ｂ】オーディオオブジェクト復号化の操作を示した図である。
【図３ａ】ステレオ処理器の構造を示した図である。
【図３ｂ】再現出力信号を合成する装置を示した図である。
【図４ａ】ドライ信号ミックス行列Ｃ0と、デコリレータ前のミックス行列Ｑと、デコリレータ後のアップミックス行列Ｐとを含む、本発明の第１の実施形態を示した図である。
【図４ｂ】デコリレータ前のミックス行列を含まずに構成された、本発明の他の実施形態を示した図である。
【図４ｃ】デコリレータ後のアップミックス行列を含まずに構成された、本発明の他の実施形態を示した図である。
【図４ｄ】追加的な利得補償行列Ｇを備えて構成された、本発明の他の実施形態を示した図である。
【図４ｅ】単一のデコリレータが用いられた場合の、デコリレータダウンミックス行列Ｑとデコリレータアップミックス行列Ｐとの構成を示した図である。
【図４ｆ】ドライ信号ミックス行列Ｃ0の構成を示した図である。
【図４ｇ】ドライ信号ミックスの結果とデコリレータ又はデコリレータアップミックス操作の結果との現実的な組合せを詳細に示した図である。
【図５】多数のデコリレータを有する多チャネルデコリレータステージにおける操作を示した図である。
【図６】所定の各識別符号を有する複数のオーディオオブジェクトを表現するマップであって、オブジェクトオーディオファイルと、合同のオーディオオブジェクト情報行列Ｅとを含むマップを示した図である。
【図７】図６のオブジェクト共分散行列Ｅの説明を示した図である。
【図８】ダウンミックス行列と、このダウンミックス行列Ｄにより制御されるオーディオオブジェクト符号器とを示した図である。
【図９】通常はユーザーにより与えられる目標再現行列Ａと、ある具体的な目標再現のシナリオの例を示した図である。
【図１０】図４ａ〜図４ｄに示す４つの異なる実施例に従う各行列の行列要素を決定するために実行される計算前のステップを示した図である。
【図１１】第１の実施形態に従う計算ステップを示した図である。
【図１２】第２の実施形態に従う計算ステップを示した図である。
【図１３】第３の実施形態に従う計算ステップを示した図である。
【図１４】第４の実施形態に従う計算ステップを示した図である。
【発明を実施するための形態】
【００１７】
後述する実施例は、本発明が提供する出力信号の合成装置及び方法の原理を説明するための単に例示的な実施例である。ここに示す形態及び詳細の修正あるいは変形が可能であることは、当業者には明らかである。従って、本発明の趣旨は特許請求の範囲の記載によってのみ限定されるものであり、以下の明細書に記載する実施例の具体的な詳細説明によって限定されるものではない。
【００１８】
図１は、オブジェクト符号器１０１とオブジェクト復号器１０２とを備えるオーディオオブジェクト符号化の操作を示す。この空間オーディオオブジェクト符号器１０１は、符号化パラメータに従って、Ｎ個のオブジェクトを、Ｋ（＞１）個のオーディオチャネルからなる１つのオブジェクトダウンミックスへと符号化する。適用されたダウンミックス重み行列Ｄに関する情報は、ダウンミックスのパワーと相関関係に関する随意のデータと共に、オブジェクト符号器により出力される。この行列Ｄは、時間と周波数に関し、必ずというわけではないが一定である場合が多い。そのため、比較的少ない量の情報を表す。オブジェクト符号器は最後に、知覚的考察により定義されるある解像度（resolution）における、時間と周波数との両方の関数として、各オブジェクトのためのオブジェクトパラメータを抽出する。空間オーディオオブジェクト復号器１０２は、オブジェクトダウンミックスチャネルと、ダウンミックス情報と、（符号器により生成された）オブジェクトパラメータと、を入力として受け取り、Ｍ個のオーディオチャネルを備える出力をユーザーへ送信するために生成する。Ｎ個のオブジェクトからＭ個のオーディオチャネルへの再現には、ユーザーからオブジェクト復号器へ入力として与えられる再現行列(rendering matrix)が使用される。
【００１９】
図２ａは、所望の出力がステレオオーディオ信号である場合のオーディオオブジェクト復号器１０２の構成要素を示す。オーディオオブジェクトダウンミックスは、ステレオ処理器２０１へ入力され、この処理器は信号処理を実行してステレオオーディオ出力を生成する。この処理は、行列計算器２０２により与えられる行列情報に依存する。この行列情報は、オブジェクトパラメータと、ダウンミックス情報と、Ｎ個のオブジェクトからステレオへのある再現行列を用いた所望の目標再現を示す供給されたオブジェクト再現情報と、から導出される。
【００２０】
図２ｂは、所望の出力が一般的な多チャネルオーディオ信号である場合のオーディオオブジェクト復号化１０２の構成要素を示す。オーディオオブジェクトダウンミックスは、ステレオ処理器２０１へ入力され、この処理器は信号処理を実行してステレオ信号出力を生成する。この処理は、行列計算器２０２により与えられる行列情報に依存する。この行列情報は、オブジェクトパラメータと、ダウンミックス情報と、再現減数器(rendering reducer)２０４により出力される減数されたオブジェクト再現情報と、から導出される。この減数されたオブジェクト再現情報は、Ｎ個のオブジェクトからステレオへのある再現行列を用いた所望の再現を示しており、それは、オーディオオブジェクト復号器１０２に与えられた、Ｎ個のオブジェクトからＭ個のオーディオチャネルへの再現を示す再現情報と、オブジェクトパラメータと、オブジェクトダウンミックス情報と、から導出される。追加的な処理器２０３は、再現情報とダウンミックス情報とオブジェクトパラメータとに基づいて、ステレオ処理器２０１により生成されたステレオ信号を最終の多チャネルオーディオ出力へと変換する。この追加的な処理器２０３の典型的で重要な構成要素としては、ステレオダウンミックスモードで作動するＭＰＥＧサラウンド復号器が挙げられる。
【００２１】
図３ａは、ステレオ処理器２０１の構成を示す。Ｋチャネルのオーディオ符号器から、ビットストリーム出力形式のオブジェクトダウンミックスが送信されてきた場合を考える。このビットストリームは、まずオーディオ復号器３０１によりＫ個の時間ドメインオーディオ信号へと復号化される。次に、これらの信号は、Ｔ／Ｆユニット３０２により全て周波数ドメインへと変換される。結果として得られる周波数ドメイン信号Ｘに対し、本発明に係る時間／周波数で変化する強化された行列化であって、かつステレオ処理器２０１に与えられた行列情報により定義される行列化が、強化された行列化ユニット３０３(enhanced matrixing unit) により実行される。このユニットは、周波数ドメインでステレオ信号Ｙ’を出力し、この出力はＦ／Ｔユニット３０４により時間ドメイン信号へと変換される。
【００２２】
図３ｂは再現出力信号３５０を合成する装置を示した図であり、信号３５０は、ステレオ再現操作の場合には第１のオーディオチャネル信号と第２のオーディオチャネル信号とを備え、それより多数のチャネル再現の場合には、３つ以上の出力チャネル信号を備える。しかし、例えば３つ以上の多数のオーディオオブジェクトの場合には、出力チャネルの数は、ダウンミックス信号３５２に寄与した元のオーディオオブジェクトの数よりも少ない方が好ましい。具体的には、ダウンミックス信号３５２は、少なくとも第１のオブジェクトダウンミックス信号と第２のオブジェクトダウンミックス信号とを備えており、このダウンミックス信号３５２は、ダウンミックス情報３５４に従って複数のオーディオオブジェクト信号のダウンミックスを表現している。具体的には、図３ｂに示す本発明のオーディオ合成器は、１つのデコリレート済信号を生成するデコリレータステージ３５６を含んでおり、このデコリレート済信号は、単一のデコリレート済チャネル信号を有するか、２つのデコリレータの場合に第１のデコリレート済チャネル信号と第２のデコリレート済チャネル信号とを有するか、あるいは３つ以上のデコリレータの場合に３つ以上のデコリレート済チャネル信号を有するものである。しかし、デコリレータに起因する構成の複雑さを考慮して、デコリレータの数は多数よりも少数の方が好ましい。好適には、デコリレータの数はダウンミックス信号３５２に含まれるオーディオオブジェクトの数よりも少なく、より好適には出力信号３５２の中のチャネル信号の数に等しいか、又は再現出力信号３５０の中のオーディオチャネル信号の数よりも少ない。しかし、少数（例えば２又は３つ）のオーディオオブジェクトの場合には、デコリレータの数は、オーディオオブジェクトの数と等しいか又はそれ以上であっても良い。
【００２３】
図３ｂに示すように、デコリレータステージは、ダウンミックス信号３５２を入力として受け取り、デコリレート済信号３５８を出力として生成する。ダウンミックス情報３５４に加え、目標再現情報３６０とオーディオオブジェクトパラメータ情報３６２とが供給される。詳細には、このオーディオオブジェクトパラメータ情報は、少なくとも結合器３６４において使用されるものであり、後述するようにデコリレータステージ３５６においても任意に使用可能である。このオーディオオブジェクトパラメータ情報３６２は、好適にはエネルギー及び相関関係の情報を含み、１と０の間の数や、所定の値の範囲内で定義される所定の数などのパラメータ化された形式でオーディオオブジェクトを表現するものであり、後述するように、２つのオーディオオブジェクトの間のエネルギー、パワー又は相関値を示している。
【００２４】
結合器３６４は、ダウンミックス信号３５２とデコリレート済信号３５８との重み付き結合を実行する。さらに結合器３６４は、ダウンミックス情報３５４及び目標再現情報３６０から、この重み付き結合のための重み係数を計算する。ステレオ再現においては、この目標再現情報は、あるオブジェクトを第１の出力チャネル内で再現すべきか又は第２の出力チャネル内で再現すべきか、即ち左の出力チャネル内で再現すべきか又は右の出力チャネル内で再現すべきかを決定するために、仮想の再生セットアップ内におけるオーディオオブジェクトの仮想位置を示し、かつそれらオーディオオブジェクトの具体的な配置を示す。しかし、多チャネル再現が実行される場合には、この目標再現情報は、所定のチャネルが左サラウンド寄りに配置すべきであるとか、右サラウンド寄り又は中央チャネル寄りに配置すべきである等を追加的に示す。いかなる再現のシナリオも実行可能であるが、後述するように、好ましくは目標再現行列の形式であって通常はユーザーによって与えられる目標再現情報によって、それぞれに異なる再現がもたらされるであろう。
【００２５】
最後に、結合器３６４は、好適にはオーディオオブジェクトを表現するエネルギー情報及び相関情報を示すオーディオオブジェクトパラメータ情報３６２を使用する。ある実施例においては、このオーディオオブジェクトパラメータ情報は、時間／周波数平面の中の各「タイル」毎に１つのオーディオオブジェクト共分散行列として与えられる。換言すれば、各サブバンド及びこのサブバンドに係る各時間ブロックについて、１つの完全なオブジェクト共分散行列、即ち、パワー／エネルギー情報と相関情報とを有する行列が、オーディオオブジェクトパラメータ情報３６２として与えられる。
【００２６】
図３ｂと図２a又は図２ｂとを比較してみれば、図１のオーディオオブジェクト復号器１０２は再現出力信号の合成装置に対応することが分かる。
【００２７】
さらに、ステレオ処理器２０１は、図３ｂのデコリレータステージ３５６を含む。他方、結合器３６４は図２ａの行列計算器２０２を含む。さらに、デコリレータステージ３５６がデコリレータダウンミックス操作を含む場合には、行列計算器２０２のこの部分は、結合器３６４の中よりもむしろデコリレータステージ３５６の中に含まれる。
【００２８】
しかしながら、ある機能のいかなる特別な配置も、ここでは決定的ではない。なぜなら、本発明は、ソフトウエア内、又は関連用途を持つデジタル信号処理器内、又は汎用目的のパーソナルコンピュータ内において構成されても、本発明の範囲に含まれるからである。従って、ある所定の機能をある所定のブロックに帰属させることは、ハードウエア内における本発明の１つの実施方法である。しかし、全てのブロック回路図が操作ステップのある流れを示すフローチャートとして考慮される時、ある機能があるブロックへと寄与することは自在に可能であるし、この寄与が、実施の形態やプログラムの条件に依存して可能となることは明らかである。
【００２９】
さらに、図３ｂと図３aを比較してみれば、結合器３６４の機能である重み付き結合のための重み係数を計算する機能は、行列計算機２０２に含まれることが明らかである。換言すれば、行列情報は強化された行列化ユニット３０３に適用される重み係数の集合体を構成し、この強化された行列化ユニット３０３は、結合器３６４内に構成されてはいるが、（行列Ｑに関連して後述するように）デコリレータステージ３５６の一部分を含むことも可能である。従って、強化された行列化ユニット３０３は、好適には少なくとも２つのオブジェクトダウンミックス信号のサブバンドの結合操作を実行し、このとき行列情報は、これら少なくとも２つのダウンミックス信号又はデコリレート済信号を結合操作を実行する前に重み付けするための重み係数を含む。
【００３０】
次に、結合器３６４及びデコリレータステージ３５６の好適な実施例の詳細な構成を説明する。具体的には、デコリレータステージ３５６及び結合器３６４の機能に関する複数の異なる実施例を、図４ａ〜図４ｄを参照しながら説明する。図４ｅ〜図４ｇは、図４ａ〜図４ｄの中のある項目について具体的な実施例を示す。図４ａ〜図４ｄを詳細に説明する前に、これらの図の全般的な構成を説明する。各図には、デコリレート済信号に関係する上側の分枝と、ドライ信号に関係する下側の分枝とが含まれる。さらには、各分枝の出力信号、即ちライン４５０における信号と、ライン４５２における信号とが、結合器４５４の中で結合され、最終的には再現出力信号３５０が取得される。概略的には、図４ａに示すシステムは、３つの行列処理ユニット４０１,４０２,４０４を示す。４０１はドライ信号ミックスユニットである。少なくとも２つのオブジェクトダウンミックス信号３５２は、重み付けられ及び／又は互いにミックスされて、その結果、加算器４５４へ入力されるドライ信号分枝からの信号に対応する２つのドライミックスオブジェクト信号が取得される。また、ドライ信号分枝は、もう１つの行列処理ユニット、即ち図４ｄの中でドライ信号ミックスユニット４０１の下流側に接続されている利得補償ユニット４０９をさらに備えても良い。
【００３１】
結合ユニット３６４は、デコリレータアップミックス行列Ｐを有するデコリレータアップミックスユニット４０４を含んでも良いし、含まなくても良い。
【００３２】
当然ながら、行列化ユニット４０４,４０１及び４０９（図４ｄ）と結合器４５４とは、分離して説明しているが、勿論、対応する実施例を構成することもできる。しかし、上述例の代わりに、これらの行列の機能は、単一の「大きな」行列を介して構成されても良く、この「大きな」行列とは、入力としてデコリレート済信号３５８とダウンミックス信号３５２とを受け取り、２つ又は３つ又はそれ以上の再現出力チャネル３５０を出力する行列である。このような「大きな行列」の構成においては、ライン４５０と４５２における信号は必ずしも発生する必要がない。このような「大きな行列」の機能を表現すると、ある意味では、中間の結果であるライン４５０と４５２とは明確な形で発生しないかもしれないが、この行列を適用した結果を表現したものが、行列化ユニット４０４,４０１又は４０９と結合器４５４とによって実行される様々なサブ操作であると言う事ができる。
【００３３】
さらに、デコリレータステージ３５６は、デコリレータ前のミックスユニット４０２を含んでも良いし、含まなくても良い。図４ｂはこのユニットが含まれていない状態を示す。２つのダウンミックスチャネル信号のための２つのデコリレータが与えられ、かつある特定のダウンミックスが必要ではない時に、この状態は特に有用となる。当然ながら、両方のダウンミックスに対して所定の利得係数を適用しても良いし、あるいは、特定の実施条件によっては、デコリレータステージへと入力される前に２つのダウンミックスチャネルをミックスしても良い。しかし、他方では、行列Ｑの機能もまた特定の行列Ｐの中に含まれても良い。つまり、同様の結果が得られるとしても、図４ｂの行列Ｐは図４ａの行列Ｐとは異なるという意味である。この観点から、デコリレータステージ３５６はいかなる行列を全く含んでいなくても良く、また、完全な行列情報の計算が結合器の中で実行され、かつこれら行列の完全な適用もまた結合器の中で実行されても良い。これらの数学の背景にある技術的な機能をより分かりやすく示すために、図４ａ〜図４ｄに記載の具体的で技術的に明白な行列処理の枠組みに関し、以下に本発明の説明を続ける。
【００３４】
図４ａは本発明の強化された行列化ユニット３０３の構成を示す。
2010525403.tif 000003
この入力Ｘはまた、デコリレータ前のミックスユニット４０２へも入力され、このユニット４０２は、デコリレータ前のミックス行列Ｑに従って行列演算を実行し、Ｎdチャネル信号を出力して、デコリレータユニット４０３へと供給する。結果として得られるＮdチャネルのデコリレート済信号Ｚは、次にデコリレータアップミックスユニット４０４へと入力され、このユニット４０４は、デコリレータアップミックス行列Ｐに従って行列演算を実行し、デコリレート済のステレオ信号を出力する。
2010525403.tif 000004
３つのミックス行列（Ｃ，Ｑ，Ｐ）は、行列計算器２０２によりステレオ処理器２０１へと供給された行列情報により、全て表現されている。下側のドライ信号分枝のみを持つ先行技術システムはあるかもしれない。しかし、そのようなシステムでは、１つのステレオ音楽オブジェクトが１つのオブジェクトダウンミックスチャネルの中に含まれ、かつ１つのモノラル音声オブジェクトが他のオブジェクトダウンミックスチャネルに含まれるような単純な場合には、劣悪な再現結果をもたらすであろう。なぜなら、デコリレーションを含むパラメトリックステレオの手法は、遥かに高く知覚されるオーディオ品質を達成することが知られているが、その音楽からステレオへの再現は、周波数選択的なパニング(panning)に全般的に頼ることになるからである。デコリレーションを含むが２つの個別のモノラルオブジェクトダウンミックスに基づいた全く異なる先行技術のシステムが、上述の特別な例に対してより良い再現結果をもたらすかもしれない。しかし、他方でこのシステムは、音楽は真のステレオに保たれ、かつ音声は同じ重みを用いて２つのオブジェクトダウンミックスチャネルへとミックスされるような、後方互換性ダウンミックスの場合のための上述したドライステレオシステムと同等の品質に到達するであろう。例として、ステレオ音楽オブジェクトだけから成るカラオケ型の目標再現の場合を考える。ダウンミックスチャネルの夫々を個別に処理する方法は、チャネル間相関などの送信されたステレオオーディオオブジェクト情報を考慮に入れる合同処理に比べて、音声オブジェクトの抑制において最適度が低くなる。本発明の重要な特徴は、このような単純な環境のみならず、オブジェクトダウンミックスが遥かに複雑に結合して再現する環境においても、できるだけ高いオーディオ品質を可能にすることである。
【００３５】
図４ｂは、上述したように、図４ａとは対照的に、デコリレータ前のミックス行列Ｑが不要とされるか、又はデコリレータアップミックス行列Ｐの中に「吸収」された状態を示す。
【００３６】
図４ｃは、デコリレータ前のミックス行列Ｑがデコリレータステージ３５６の中に構成されており、さらにデコリレータアップミックス行列Ｐが不要とされるか、又は行列Ｑの中に「吸収」された状態を示す。
【００３７】
さらに、図４ｄは図４ａと同様の行列を備え、追加的な利得補償行列Ｇをさらに備えている。この行列Ｇは、図１３に関して後述する第３実施例と図１４に関して後述する第４実施例とにおいて、特に有用である。
【００３８】
デコリレータステージ３５６は、１つ又は２つのデコリレータを含んでも良い。図４ｅは、単一のデコリレータ４０３を備え、ダウンミックス信号が２チャネルのオブジェクトダウンミックス信号で、出力信号が２チャネルのオーディオ出力信号である場合を示す。この場合、デコリレータダウンミックス行列Ｑは１つの行（横列）と２つの列（縦列）とを有し、デコリレータアップミックス行列は１つの列と２つの行とを有する。しかし、ダウンミックス信号が２つよりも多いチャネルを持つ場合には、行列Ｑの列の数はダウンミックス信号のチャネルの数と等しくなり、合成される再現出力信号が２つよりも多いチャネルを持つ場合には、デコリレータアップミックス行列Ｐは再現出力信号のチャネルの数と同数の行を持つであろう。
【００３９】
図４ｆは、Ｃ0として示され、かつ２×２の実施例においては２つの行と２つの列とを持つドライ信号ミックスユニット４０１の回路状構成の例を示す。行列要素は、回路状構成の中の重み係数Ｃijとして示される。さらに、図４ｆから分かるように、重み付けされたチャネルは加算器を用いて結合される。しかし、ダウンミックスチャネルの数が再現出力信号チャネルの数と異なる場合には、ドライミックス行列Ｃ0は二次の行列ではなく、行の数と列の数が異なる行列になるであろう。
【００４０】
図４ｇは、図４ａの加算ステージ４５４の機能を詳細に示す。具体的には、例えば左ステレオチャネル信号及び右ステレオチャネル信号からなる２つの出力チャネルの場合には、図４ｇに示すように、２つの異なる加算器ステージ４５４が設けられ、これらが、デコリレータ信号に関係する上側の分枝からの出力信号と、ドライ信号に関係する下側の分枝からの出力信号と、を結合させる。
【００４１】
ブロック４０９の利得補償行列Ｇについて説明すれば、この利得補償行列の要素は、行列Ｇの対角上にのみ存在する。ドライ信号ミックス行列Ｃ0を説明する図４ｆに示された２×２の場合を考えると、左ドライ信号を利得補償するための利得係数はこの行列Ｃ0のＣ11の位置にあり、右ドライ信号を利得補償するための利得係数はこの行列Ｃ0のＣ22の位置にあることになるだろう。Ｃ12及びＣ21の値は、図４ｄ内のブロック４０９で示す２×２の利得行列Ｇにおいては、０に等しくなるであろう。
【００４２】
図５は多チャネルデコリレータ４０３の先行技術の動作を示す。このような装置は、例えばＭＰＥＧサラウンドの中で使用されている。Ｎd個の信号、即ち信号１，信号２,..., 信号Ｎdは、それぞれ個別にデコリレータ１，デコリレータ２,..., デコリレータＮdへと入力される。各デコリレータは、典型的には、入力信号のパワーを保持しながらも入力信号とできるだけ相関がない出力信号を生成することを目的とするフィルタで構成されている。しかも、様々なデコリレータフィルタは、各出力であるデコリレータ信号１, デコリレータ信号２,..., デコリレータ信号Ｎdがペアとしてもできるだけ相関がないように選択されている。デコリレータは、典型的にはオーディオオブジェクト復号器の他の部品に比べて高度な演算複雑度を持つことから、この値Ｎdをできるだけ少数に保つことが重要となる。
【００４３】
本発明は、この値Ｎdが１か２以上であるが、好ましくはオーディオオブジェクトの数よりも少ない場合のための解決方法を提供するものである。具体的には、ある好ましい実施例においては、デコリレータの数は、再現出力信号のオーディオチャネル信号３５０の数と同じか、あるいはそれ以下である。
【００４４】
本発明の数学的な説明を以下に述べる。ここで考察する全ての信号は、変調されたフィルタバンク又は離散時間信号のウインドウ化されたＦＦＴ解析からのサブバンドサンプルである。これらのサブバンドは、対応する合成フィルタバンク操作によって離散時間ドメインへと戻し変換されるべきことが理解できる。Ｌ個のサンプルから成る１つの信号ブロックは、時間と周波数の１つの区間におけるその信号を表現しており、その１区間とは、信号特性を表現するために適用された時間―周波数平面の知覚的に動機付けられたタイリングの１つの部分である。このような設定において、与えられたオーディオオブジェクトは、次に示す行列の中で、長さＬを持つＮ個の行として表現できる。
2010525403.tif 000005
【００４５】
図６は、Ｎ個のオブジェクトを表すオーディオオブジェクトマップのある実施例を示す。以下に述べる図６の例示的な説明の中では、各オブジェクトは、オブジェクトＩＤと、対応するオブジェクトオーディオファイルと、さらに重要なことは、そのオーディオオブジェクトのエネルギー及びオーディオオブジェクト間の相関に係るオーディオオブジェクト情報と、を有している。具体的には、このオーディオオブジェクトパラメータ情報は、各サブバンド及び各時間ブロックについてのオブジェクト共分散行列Ｅを含む。
【００４６】
図７は、このようなオブジェクトオーディオパラメータ情報の行列Ｅの一例を示す。対角線上の要素ｅiiは、対応するサブバンド及び対応する時間ブロックにおけるオーディオオブジェクトｉのパワー又はエネルギー情報を含む。この情報を得るために、所定のオーディオオブジェクトｉを表現するサブバンド信号がパワー又はエネルギー計算器に入力される。この計算器は、例えば、ある正規化を用いるか又は用いずに自動相関化機能(acf)を実行して値ｅiiを取得しても良い。また代わりに、所定の長さに亘るその信号の二乗の合計（即ちベクトルの積：ｓｓ*）として、そのエネルギーを計算しても良い。上記自動相関化機能は、ある意味ではエネルギーのスペクトル分散を表現しているが、しかし、好適には周波数選択のための時間／周波数変換が使用されるという事実から、エネルギー計算は自動相関化機能を用いずに、各サブバンド毎に個別に実行されても良い。このように、オブジェクトオーディオパラメータ行列Ｅは、あるサブバンドとある時間ブロックにおける、オーディオオブジェクトのパワー又はエネルギーの値を表している。
【００４７】
他方では、対角線外の要素ｅijは、対応するサブバンド及び対応する時間ブロックにおける、オーディオオブジェクトｉ，ｊの間のそれぞれの相関値を示す。図７から明らかであるが、行列Ｅは、実数値のエントリについては、主対角線に対して対称である。一般的に、この行列はエルミート行列である。相関値要素ｅijは、例えば、相互相関値が取得されるように、各オーディオオブジェクトの２つのサブバンド信号のある相互相関により計算されても良い。この相互相関値は正規化されてもされなくても良い。他の相関値であって、相互相関演算では計算されないが、２つの信号の相関を決定する他の方法により計算された値も使用可能である。現実的な理由から、行列Ｅの全ての要素は正規化され、その結果、それらの値は０から１の間の絶対値を持ち、このとき１は最大パワー又は最大相関を示し、０は最小パワー（ゼロパワー）を示し、−１は最小相関（位相外れ）を示す。
【００４８】
Ｋ×Ｎの大きさを持ちＫ＞１であるダウンミックス行列Ｄが、次式に示す行列の掛け算を通して、Ｋ個の行を有する行列の形式であるＫチャネルのダウンミックス信号を決定する。
2010525403.tif 000006
【００４９】
図８は、ダウンミックス行列要素ｄijを備えたダウンミックス行列Ｄの一例を示す。このような要素ｄijは、オブジェクトｊの一部又は全部がオブジェクトダウンミックス信号ｉに含まれるか否かを示している。例えばｄ12がゼロに等しい時は、オブジェクト２がオブジェクトダウンミックス信号１に含まれないことを意味する。他方、ｄ23の値が１に等しい時は、オブジェクト３がオブジェクトダウンミックス信号２に完全に含まれることを意味する。
【００５０】
ダウンミックス行列要素の値は０から１の間で可能である。具体的には、０．５という値は、あるオブジェクトが１つのダウンミックス信号に含まれているが、しかし、その半分のエネルギーだけを伴っているという意味である。従って、オブジェクト番号４であるオーディオオブジェクトが両方のダウンミックス信号チャネルに対して同等に配分された時には、ｄ24とｄ14とは０．５に等しくなるであろう。このようなダウンミキシングの方法は、いくつかの環境において好適なエネルギー保存型のダウンミックス操作である。しかし、この操作の代わりに、非エネルギー保存型のダウンミックスもまた使用することが可能である。この場合、このオーディオオブジェクト全体が左ダウンミックスチャネルと右ダウンミックスチャネルとに導入され、その結果、このオーディオオブジェクトのエネルギーは、ダウンミックス信号内における他のオーディオオブジェクトの２倍になっている。
【００５１】
図８の下側部分には、図１のオブジェクト符号器１０１の概略図を示す。具体的には、オブジェクト符号器１０１は２つの異なる部分１０１ａと１０１ｂとを含む。部分１０１ａは、好適にはオーディオオブジェクト１，２，...，Ｎの重み付き線形結合（linear combination）を実行するダウンミクサであり、他方、符号器１０１の第２部分は、オーディオオブジェクトパラメータ計算器１０１ｂであって、行列Ｅのようなオーディオオブジェクトパラメータ情報を各時間ブロック又はサブバンドのために計算し、オーディオのエネルギー及び相関情報を提供する。この情報はパラメトリック情報であるため、低ビットレートで送信することができ、また少ない記憶容量を消費するだけで記憶することができる。
【００５２】
Ｍ×Ｎの大きさを持ちユーザーにより制御されるオブジェクト再現行列Ａが、次式に示す行列の乗算によって、Ｍ個の行を有する行列の形式で、オーディオオブジェクトのＭチャネルの目標再現信号を決定する。
2010525403.tif 000007
【００５３】
以下に説明する派生的な導出方法の全般に亘り、Ｍ＝２つまりステレオ再現に焦点をあてた場合を想定する。これは、もし最初に３つ以上のチャネルへの再現行列が与えられ、次にこれら複数のチャネルから２チャネルへのダウンミックス則が与えられる場合には、当業者にとって、ステレオ再現のために２×Ｎの大きさを持つ対応する再現行列Ａを導出することは自明である。この減数操作は再現減数器２０４において実行される。簡素化のため、オブジェクトダウンミックスもまたステレオ信号となるように、Ｋ＝２であると仮定する。ステレオオブジェクトダウンミックスの場合は、適用シナリオの観点から、最も重要で特別な場合といえる。
【００５４】
図９は、目標再現行列Ａの詳細な説明を示す。適用方法に依るが、この目標再現行列Ａはユーザーによって与えられても良い。ユーザーは、再生設定のために、オーディオオブジェクトが仮想の方法でどこに配置されるべきかについて、全く自由に指示することができる。オーディオオブジェクトの概念の強みとは、ダウンミックス情報とオーディオオブジェクトパラメータ情報とが、オーディオオブジェクトの具体的な定位(localization)に対して、完全に独立しているという点である。このオーディオオブジェクトの定位は、ユーザーにより、目標再現情報の形式で提供される。好適には、この目標再現情報は、図９の行列の形式でも可能な目標再現行列Ａとして構成されても良い。具体的には、再現行列ＡはＭ個の行とＮ個の列とを持ち、Ｍは再現出力信号内のチャネルの数に等しく、Ｎはオーディオオブジェクトの数に等しい。Ｍは好適なステレオ再現シナリオでは２であるが、もしＭチャネルの再現が実行されたならば、この行列ＡはＭ個の行を持つことになる。
【００５５】
行列要素ａijは、具体的には、オブジェクトｊの一部又は全部が特定の出力チャネルｉ内で再現されるか否かを示している。図９の下側部分には、あるシナリオの目標再現行列の単純な一例を示す。このシナリオでは、６つのオーディオオブジェクトＡ０１〜Ａ０６が存在するが、１〜５番目のオーディオオブジェクトだけを特定の位置に再現し、６番目のオーディオオブジェクトは全く再現しない。
【００５６】
Ａ０１に関しては、ユーザーはこのオーディオオブジェクトが再生シナリオの左側に再現されるように望んでいる。従って、このオブジェクトは（仮想の）再生室の中の左スピーカの位置に配置され、その結果、再現行列Ａの第１列は（１０）となる。２番目のオーディオオブジェクトに関しては、ａ22は１であり、ａ12は０であるから、この２番目のオーディオオブジェクトは右側に再現されることになる。
【００５７】
オーディオオブジェクト３は、左スピーカと右スピーカとの中間に再現されるべきであり、このオーディオオブジェクトのレベル又は信号の５０パーセントが左チャネルへと入り、５０パーセントが右チャネルへと入るので、目標再現行列Ａの対応する第３の列は（０．５長さ０．５）となる。
【００５８】
同様にして、左スピーカと右スピーカとの間のどのような配置も目標再現行列で指示することができる。オーディオオブジェクト４に関しては、その行列要素ａ24がａ14より大きいので、その配置は右寄りである。同様に、５番目のオーディオオブジェクトＡ０５は、その目標再現行列要素ａ15とａ25とが示すように、左寄りに再現されることになる。目標再現行列Ａは、さらに、所定のオーディオオブジェクトを全く再現しないようにすることもできる。この例は、目標再現行列Ａの６番目の列がゼロ要素を持つことにより示されている。
【００５９】
以下に説明する派生的な導出方法の全般に亘り、Ｍ＝２つまりステレオ再現に焦点をあてた場合を想定する。これは、もし最初に３つ以上のチャネルへの再現行列が与えられ、次にこれら複数のチャネルから２チャネルへのダウンミックス則が与えられる場合には、当業者にとって、ステレオ再現のために２×Ｎの大きさを持つ対応する再現行列Ａを導出することは自明である。この減数操作は再現減数器２０４において実行される。簡素化のため、オブジェクトダウンミックスもまたステレオ信号となるように、Ｋ＝２であると仮定する。ステレオオブジェクトダウンミックスの場合は、適用シナリオの観点から、最も重要で特別な場合といえる。
【００６０】
オブジェクトダウンミックスオーディオ信号の損失を伴う符号化の影響について暫く考慮しないことにすると、オーディオオブジェクト復号器の作業目的は、再現行列ＡとダウンミックスＸとダウンミックス行列Ｄとオブジェクトパラメータが与えられた時、元のオーディオオブジェクトの目標再現Ｙの知覚的な意味における近似を生成することである。本発明の強化された行列化ユニット３０３の構成は、図４に示される。ブロック４０３の中で互いに直交するＮd個のデコリレータが与えられた場合、次の３つのミキシング行列が存在する。
・２×２の大きさを持つ行列Ｃがドライ信号ミックスを実行する。
・Ｎd×２の大きさを持つ行列Ｑがデコリレータ前のミックスを実行する。
・２×Ｎdの大きさを持つ行列Ｐがデコリレータ後のアップミックスを実行する。
【００６１】
デコリレータがパワー保存型であると仮定すると、デコリレート済信号の行列Ｚは対角値Ｎd×Ｎdの共分散行列Ｒz＝ＺＺ*を備え、その対角値は、デコリレータ前のミックス処理済のオブジェクトダウンミックスの共分散行列
2010525403.tif 000008
の値と等しくなる。（ここで、以下の説明においても、＊は複素共役転位行列演算(complex conjugate transpose matrix operation)を示す。さらに、演算上の都合から全体を通して使用される形式ＵＶ*の確定的共分散行列は、数学的期待値Ｅ｛ＵＶ*｝に置き換えることが可能であることが分かる。）さらに、全てのデコリレート済信号は、オブジェクトダウンミックス信号と相関がないと仮定することができる。従って、次式に示す本発明の強化された行列化ユニット３０３の結合された出力、
2010525403.tif 000009
2010525403.tif 000010
2010525403.tif 000011
【００６２】
オブジェクトパラメータは、典型的にはオブジェクトパワーと、選択的なオブジェクト間相関とに関する情報を運ぶ。これらのパラメータから、Ｎ×Ｎのオブジェクト共分散ＳＳ*のモデルＥが達成される。
2010525403.tif 000012
【００６３】
オーディオオブジェクト復号器に対して使用可能なデータは、この場合、行列の三つ組（Ｄ，Ｅ，Ａ）により表現される。また、本発明が教示する方法においては、このデータを使用して、結合された出力（５）の波形マッチング及びその共分散（６）を、目標再現信号（４）に対して合同的に最適化する。ドライ信号ミックス行列が与えられたとき、ここで問題になるのは、正確な目標共分散Ｒ’＝Ｒに照準を定めることであり、その値は、次式により推定することができる。
2010525403.tif 000013
【００６４】
誤差行列（error matrix）を次式のように定義すれば、
2010525403.tif 000014
上述の式（６）との比較から、次式に示す設計条件が導かれる。
2010525403.tif 000015
【００６５】
この式（１０）の左側は、任意に選択したデコリレータミックス行列Ｐのための正の半正定値（semidefinite）行列であるから、上記の式（９）の誤差行列もまた正の半正定値行列でなければならない。以下に記載する式の詳細を明らかにするために、ドライ信号ミックスの共分散と目標再現とを、次式のようにパラメータ化する。
2010525403.tif 000016
【００６６】
次式に示す誤差行列式において、
2010525403.tif 000017
正の半正定値行列となるための必要条件は、次の３つの式で表すことができる。
2010525403.tif 000018
【００６７】
以下に、図１０について説明する。図１０は、図１１〜図１４に関連して後述する４つの全ての実施例のために好適に準備された、いくつかの前計算ステップの集まりを示す。このような前計算ステップの１つは、図１０の符号１０００で示すような目標再現信号の共分散行列Ｒの計算である。ブロック１０００は、上述の式（８）に対応する。
【００６８】
ブロック１００２で示すように、ドライミックス行列は後述する式（１５）を用いて計算することができる。特に、デコリレート済の信号は全く加算されないものと仮定して、目標再現信号の最高のマッチングがダウンミックス信号を用いて取得されるように、ドライミックス行列Ｃ0が計算される。その結果、このドライミックス行列により、ミックス行列出力信号の波形が、追加のデコリレート済の信号を全く必要とせずに、目標再現信号に対してできるだけ近くマッチすることが確実になる。ドライミックス行列に対するこのような前提条件は、出力チャネルの中のデコリレート済信号の割合をできるだけ低く保つために、特に有益である。一般に、デコリレート済の信号は、デコリレータにより大幅に修正された信号である。そのため、このような信号は、カラー化(colorization) や時間劣化(time smearing)や悪い過渡応答などのようなアーチファクトを、通常は含んでいる。従って、この実施例は、デコリレーション過程からの信号がより少ないほどオーディオ出力がより高品質になるという利点をもたらす。波形マッチングを実行することで、即ち、ダウンミックス信号内の２つ以上のチャネルを重み付けしかつ結合して、ドライミックス操作後のこれらのチャネルを目標再現信号にできるだけ近似させることで、デコリレート済の信号は最小限しか必要でなくなる。
【００６９】
第１オブジェクトダウンミックス信号と第２オブジェクトダウンミックス信号とのミキシング操作の結果４５２が、目標再現結果に対して波形マッチするように、結合器３６４は重み係数を計算する。この波形マッチとは、パラメトリックオーディオオブジェクト情報３６２がオーディオオブジェクトの損失のない表現であると仮定すれば、目標再現情報３６０を用いて元のオーディオオブジェクトを再現する場合に取得できるであろう状態に、できるだけ一致した状態を意味する。量子化されていないＥ行列を用いたとしても、信号の正確な再構成は決して保証されるものではない。誤差を平均二乗法で最小化することもできる。そのようにして、波形マッチを取得しようとし、パワー及び相互相関が再構成される。
【００７０】
2010525403.tif 000019
【００７１】
2010525403.tif 000020
【００７２】
特定の行列Ｑ，Ｐを決定するために、４つの異なる実施例を以下に説明する。加えて、（例えば第３及び第４の実施例のための）図４ｄに記載の場合、即ち利得補償行列Ｇも決定される場合についても説明する。当業者にとっては、これらの行列の値を計算するために、他の実施例も存在することが分かるであろう。なぜなら、必要となる行列の重み係数を決定する方法には、ある程度の自由度が存在するからである。
【００７３】
本発明の第１実施例においては、行列計算器２０２の演算は以下のように設定される。まず、次式に示すように、ドライアップミックス行列が信号波形マッチのための最小二乗解(the least squares solution)を達成するように導出される。
2010525403.tif 000021
【００７４】
2010525403.tif 000022
【００７５】
この問題に対する解は、次式により与えられ、
2010525403.tif 000023
2010525403.tif 000024
2010525403.tif 000025
【００７６】
その結果、次式がもたらされ、
2010525403.tif 000026
この式は式（１０）が解法できるような単純な正の半正定値である。ある象徴的な方法においては、この解は、次式で示される。
2010525403.tif 000027
【００７７】
ここで、第２の係数Ｒｚ-1/2は対角線に対する要素単位の演算によって単純に定義され、行列Ｔは行列式ＴＴ*＝ΔＲの解である。この行列式の解の選択には大きな自由度がある。本発明が開示する方法は、ΔＲの特異値分解（singular value decomposition）から開始する。この対称的な行列に関しては、本発明の方法は次式のような通常の固有ベクトル分解へと削減でき、
2010525403.tif 000028
ここで、固有ベクトル行列Ｕはユニタリ行列であり、その列は、順次減少する大きさλmax  ≧λmin≧０の中で分類された固有値に対応する固有ベクトルを含む。本発明が教示する１つのデコリレータ（Ｎd＝１）を備える第１の解は、式（１９）内ではλmin＝０と設定し、式（１８）において次式に示す自然近似(natural approximation)を挿入することで取得できる。
2010525403.tif 000029
【００７８】
また、ΔＲの最小固有値λminからの損失最小有意寄与（missing least significant contribution）を追加することと、式（１９）の第１の係数Ｕと対角固有値行列の要素単位の平方根との積に対応して式（２０）に第２の列を追加することにより、２つのデコリレータ（Ｎd＝２）を備える場合の全部の解が取得できる。以上の詳細を式で表すと、次式（２１）になる。
2010525403.tif 000030
【００７９】
次に、第１実施例に従う行列Ｐの計算を、図１１を参照しながら説明する。ステップ１１０１では、誤差信号、即ち図４ａを参照して説明すれば、上側の分枝において相関づけられた信号の共分散行列ΔＲが、図１０のステップ１０００及びステップ１００４の結果を用いて計算される。次に、上述の式（１９）に関連して説明したこの行列の固有値分解（eigenvalue decomposition）が実行される。
【００８０】
次に、後述する複数の利用可能な方法のうちの１つを用いて、行列Ｑが選択される。ここで選択された行列Ｑに基づき、図１１のボックス１１０３の右側に記載の等式、即ちＱＤＥＤ*Ｑ*の行列掛け算を使用して、行列化されたデコリレート済信号の共分散行列Ｒzが計算される。次に、ステップ１１０３で取得されたＲzを基にして、デコリレータアップミックスＰが計算される。この行列は、図４ａのブロック４０４の行列Ｐの出力において、入力よりも多いチャネル信号が存在する場合には、必ずしも現実のアップミックスを実行する必要はないことが明らかである。これは、単一のデコリレータの場合に起こりうるが、デコリレータが２つの場合には、デコリレータアップミックス行列Ｐは２つの入力チャネルを受け取り、２つの出力チャネルを出力する、図４ｆに示すドライアップミクサ行列として構成されても良い。
【００８１】
上述のように、第１実施例は、Ｃ0とＰとが計算されるという点で独特である。出力の正確な相関結果構造を保証するためには、２つのデコリレータが必要である。しかし他方では、デコリレータを１つだけ使用することが可能であることは有利である。この方法は、式（２０）に示される。具体的には、より小さい固有値を持つデコリレータが実装される。
【００８２】
本発明の第２実施例においては、行列計算器２０２の演算は下記のように設計される。デコリレータミックス行列は次式の形式に限定される。
2010525403.tif 000031
【００８３】
この限定により、単一のデコリレート済信号の共分散行列はスカラーＲz＝ｒzであり、結合された出力（６）の共分散は、次式となり、
2010525403.tif 000032
ここで、α＝ｃ2ｒzである。一般的に、目標共分散Ｒ’＝Ｒへの完全なマッチは不可能であるが、出力チャネル間の知覚的に重要な正規化された相関は、広範囲の状況において目標相関へと合致させることができる。ここで、目標相関は次式により定義され、
2010525403.tif 000033
また、結合された出力（２３）により達成された相関は次式により与えられる。
2010525403.tif 000034
【００８４】
式（２４）と式（２５）とを等しくすると、αの二次方程式が得られる。
2010525403.tif 000035
【００８５】
2010525403.tif 000036
【００８６】
この実施例の特徴は、式（２５）から分かるように、ドライミックスの相関よりも相関を減少させることだけが可能であるという点にある。つまり、次式となる。
2010525403.tif 000037
【００８７】
要約すれば、第２実施例は図１２に示される。図１１内のステップ１１０１と同一であるステップ１１０１における共分散行列ΔＲの計算から開始し、次に式（２２）が実行される。具体的には、行列Ｐの事前設定され、Ｐの両方の要素に対して同一である重み係数ｃだけが計算可能となる。具体的には、単一の列を備えた行列Ｐは、単一のデコリレータだけがこの第２実施例の中で使用されることを示している。さらに、行列Ｐの要素の正負符号は、デコリレート済の信号が、１つのチャネル例えばドライミックス信号の左チャネルに対して加算され、かつドライミックス信号の右チャネルから減算されることを明らかにする。つまり、最大のデコリレーションは、デコリレート済信号を１つのチャネルに加算し、デコリレート済信号を他のチャネルから減算することで達成される。ステップ１２０３，１２０６，１１０３，１２０８は、値ｃを決定するために実行される。具体的には、式（２４）に示すように目標相関の行がステップ１２０３で計算される。この値は、ステレオ再現が実行される時の２つのオーディオチャネル信号間のチャネル間相互相関値を示している。次に、ステップ１２０３の結果に基づき、式（２６）を用いて、ステップ１２０６で示すように重み係数αが決定される。さらに、ステップ１１０３で示し、かつ図１２のボックス１１０３の右側に等式で示すように、行列Ｑの行列要素の値が選択され、この場合はスカラー値だけである共分散行列Ｒzが計算される。最後に、係数ｃがステップ１２０８で示すように計算される。方程式（２６）は、αについて２つの正の解を与えることができる二次方程式である。この場合には、上述したように、ｃのより小さいノルムをもたらす解が使用されるべきである。しかし、そのような正の解がない場合には、ｃは０に設定される。
【００８８】
以上のように、第２実施例においては、ボックス１２０１内における行列Ｐで示したように、２つのチャネルのための１つのデコリレータという特別な場合を用いて、行列Ｐを計算する。ある場合には、解が存在せずに、デコリレータを単に遮断することになる。この実施例の利点は、正の相関関係をもつ合成信号を決して加算しない点である。この点は有益である。なぜなら、そのような信号が発生すると、定位された幻覚源のように知覚される恐れがあり、再現出力信号のオーディオ品質を減退させるアーチファクトになるからである。導出過程において、パワーの問題が考慮されていないという事実から、出力信号の中にミスマッチが発生する、即ち出力信号がダウンミックス信号よりも大きいか又は小さいパワーを持つ可能性がある。この場合には、オーディオ品質をさらに強化するために、好適な実施例において追加的な利得補償を設けることができる。
【００８９】
本発明の第３実施例においては、行列計算器２０２の演算は以下のように設計される。開始点は、次式に示す利得補償ドライミックスであり、
2010525403.tif 000038
2010525403.tif 000039
2010525403.tif 000040
であって、誤差行列は、次式で示される。
2010525403.tif 000041
【００９０】
本発明の第３実施例では、補償利得（ｇ1，ｇ2）を、式（１３）で与えられる制約の下で、次式で示される誤差パワーの重み付けされた合計を最小化するように選択する。
2010525403.tif 000042
この式（３０）の重みの選択例として、（ｗ1，ｗ2）＝（１，１）又は（ｗ1，ｗ2）＝（Ｒ，Ｌ）が挙げられる。結果として得られる誤差行列ΔＲは、次に、式（１８）〜（２１）のステップに従うデコリレータミックス行列Ｐの演算への入力として使用される。この実施例の魅力的な特徴は、誤差信号
2010525403.tif 000043
がドライアップミックスに似ている場合に、最終出力に加算されるデコリレート済の信号の量は、本発明の第１実施例により最終出力へと加算されるデコリレート済の信号の量よりも少ないという点である。
【００９１】
図１３に関連して説明した第３実施例の中で、追加的な利得行列Ｇは、図４ｄに示すような行列Ｇと推定される。式（２９）と式（３０）とに関連した説明に従い、利得係数ｇ1とｇ2は、式（３０）に続く説明文に記載したように選択されたｗ1，ｗ2を使用し、かつ式（１３）で示されたような誤差行列に対する制約に基づいて、計算される。これらステップ１３０１と１３０２とを実行した後に、ステップ１３０３に示すように、利得係数ｇ1とｇ2とを使用して、誤差信号共分散行列ΔＲを計算できる。ここで注意すべきは、ステップ１３０３で計算されたこの誤差信号共分散行列は、図１１と図１２の中のステップ１１０１で計算された共分散行列Ｒとは異なるという点である。次に、図１１の第１実施例に関連して説明したステップ１１０２，１１０３，１１０４と同様のステップが実行される。
【００９２】
第３実施例は、ドライミックスが単に波形マッチしているだけではなく、さらに利得補償されているという点で有利である。これにより、デコリレート済の信号の量をさらに減少させることにもなり、その結果、デコリレート済の信号を加算することから生じるいかなるアーチファクトも同様に減少させることができる。このように、第３実施例は、利得補償とデコリレータの加算との組合せから最高の可能性を引き出そうとするものである。再び言及するが、この実施例の目的は、チャネルパワーを含む共分散構成を十分に再構成することと、方程式（３０）を最小化するなどにより合成信号の使用をできるだけ少なくすることである。
【００９３】
次に、第４実施例を説明する。ステップ１４０１内には、単一のデコリレータが設けられている。実際の構成にとってはデコリレータが単一であることが最も有利であることから、複雑性の低い実施例が構成される。次のステップ１１０１では、第１実施例のステップ１１０１に関連して説明したように、共分散行列データＲが計算される。しかし、代わりの方法として、この共分散行列データＲは、図１３のステップ１３０３に示すように、波形マッチに加えて利得補償も実行する方法で計算されても良い。次に、共分散行列ΔＲの非対角要素であるΔｐの正負符号がチェックされる。この符号が負であるとステップ１４０２が決定すれば、第１実施例におけるステップ１１０２，１１０３，１１０４が実行されるが、このとき、ｒzはスカラー値であるという事実から、ステップ１１０３は特に非複素計算となる。なぜなら、デコリレータは１つしかないからである。
【００９４】
Δｐの正負符号が正であると決定された時には、行列Ｐの要素をゼロに設定するなどして、デコリレート済信号の加算は完全に省略される。代わりに、デコリレート済信号の加算を、ゼロよりも大きい値であるが、正負符号が負である場合に生じるであろう値よりも小さい値まで減少させても良い。しかし、好適には、行列Ｐの行列要素は、小さな値に設定されるだけではなく、図１４のブロック１４０４に示すようにゼロに設定される。図４ｄに従えば、ブロック１４０６の中に示すような利得補償を実行するため、利得係数ｇ1とｇ2とが決定される。具体的には、利得補償は、式（２９）の右側の行列の主対角要素がゼロになるように計算される。つまり、誤差信号の共分散行列が主対角においてゼロの要素を持つという意味になる。このように、特定の相関特性を持つデコリレート済信号が加算された時に起こり得る幻覚源アーチファクトを避けるための対策として、デコリレータ信号が削減されるか又は完全にスイッチオフされる場合に、利得補償が達成される。
【００９５】
上述のように、第４実施例は、第１実施例のいくつかの特徴を組み合せ、かつ単一のデコリレータの解決法に依存しているが、しかし、誤差信号（加算された信号）の共分散行列ΔＲ内の値Δｐのような品質の指標値が正になる時には、デコリレート済信号が削減又は完全に除去できるように、デコリレート済信号の品質を決定するためのチェックを含んでいる。
【００９６】
デコリレータ前の行列Ｑの選択は、知覚的な考慮に基づくべきである。なぜなら、上述した２番目の理論は、どのような具体的な行列を使用してもかまわないからである。このことは、行列Ｑの選択に繋がる考察は、上述した各実施例の間の選択からは独立していることを示唆する。
【００９７】
本発明が教示する第１の好適な解決策は、全てのデコリレータへの入力として、ドライステレオミックスのモノラルダウンミックスを使用することである。行列要素に関して言えば、次式を意味することになり、
2010525403.tif 000044
ここで、｛ｑn,k｝はＱの行列要素であり、｛ｃn,k｝はＣ0の行列要素である。
【００９８】
本発明が教示する第２の好適な解決策では、デコリレータ前の行列Ｑがダウンミックス行列Ｄだけから導出される。この導出方法は、全てのオブジェクトが単位パワーを持ち、かつ互いに相関がないという仮定に基づいている。それらオブジェクトからそれらの個々の予測誤差へのアップミックス行列は、この仮定を基にして形成される。次に、ダウンミックスチャネルに亘る全体の予測オブジェクト誤差エネルギーに比例して、デコリレータ前の重みの二乗が選択される。最終的に、全てのデコリレータについて同じ重みが使用される。詳細には、まずＮ×Ｎ行列を形成し、
2010525403.tif 000045
次に、式（３２）の全ての非対角値をゼロに設定することで定義されたオブジェクト予測誤差エネルギー行列Ｗ0の推定値を導出することから、これらの重みが取得される。ＤＷ0Ｄ*の対角値を、各ダウンミックスチャネルに対する全体のオブジェクト誤差エネルギーの寄与を表すｔ1，ｔ2を用いて示すと、デコリレータ前の行列要素の最終的な選択は、次式に示される。
2010525403.tif 000046
【００９９】
デコリレータのある具体的な実施形態に関して言えば、残響器又は他のいかなるデコリレータなど、全てのデコリレータが使用可能である。しかし、好適な実施例においては、デコリレータはパワー保存型であるべきである。つまり、デコリレータ出力信号のパワーは、デコリレータ入力信号のパワーと同一であるべきである。しかし、非パワー保存型のデコリレータに起因するばらつきも、例えば行列Ｐを計算する時にこの点を考慮に入れることで、吸収することができる。
【０１００】
上述したように、好適な実施例では、正の相関を持つ合成信号が加算されるのを回避しようとしている。なぜなら、そのような信号は定位された合成幻覚源として知覚される可能性があるからである。第２実施例においては、ブロック１２０１内に記載した行列Ｐの特定の構成により、この問題が明らかに回避されている。さらに、第４実施例においては、ステップ１４０２内のチェック操作により、この問題を明白に回避している。そのような幻覚源アーチファクトが回避できるようにするための方法であって、デコリレート済信号の品質と、具体的には相関特性とを決定する他の方法も、当業者にとって使用可能である。また、それらの方法は、いくつかの実施例に示したように、デコリレート済信号の加算をスイッチオフするために使用しても良いし、あるいは、利得補償済の出力信号を得るために、デコリレート済信号のパワーを減少させてドライ信号のパワーを増大させるように使用されても良い。
【０１０１】
全ての行列Ｅ，Ｄ，Ａは複素行列として説明してきたが、これら行列は実数値行列でも良い。しかし、本発明は、非ゼロの虚数を持つ複素係数を現実に備えた複素行列Ｄ，Ａ，Ｅに関しても有用である。
【０１０２】
さらに、全ての行列の中で最も高度の時間及び周波数解像度を持つ行列Ｅと比較して、行列Ｄと行列Ａとがかなり低度のスペクトル及び時間解像度を持つ場合も、しばしば発生するであろう。具体的には、目標再現行列とダウンミックス行列とは、周波数には依存せず、時間に依存するかもしれない。ダウンミックス行列に関しては、これは特定の最適化されたダウンミックス操作において発生するかもしれない。目標再現行列に関しては、このような事態は、オーディオオブジェクトが移動し、その位置が時間とともに左と右との間で変化する場合に発生する可能性がある。
【０１０３】
上述した実施例は、本発明の原理を説明するための、単に例示的な実施例である。ここに示す形態及び詳細の修正あるいは変形が可能であることは、当業者には明らかである。従って、本発明の趣旨は特許請求の範囲の記載によってのみ限定されるものであり、明細書に記載する具体的な詳細説明によって限定されるものではない。
【０１０４】
本発明の方法のいくつかの実施態様条件にも依るが、本発明の方法は、ハードウエアにおいてもソフトウエアにおいても実現可能である。この実施の形態は、その中に格納される電子的に読出し可能な制御信号を有し、本発明の方法が実行されるようにプログラム可能なコンピュータシステムと協働するデジタル格納媒体、特に、ディスク、ＤＶＤ又はＣＤを用いて実行できる。したがって、一般に、本発明は機械読出し可能なキャリアに格納されたプログラムコードを有するコンピュータプログラム製品であり、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに、本発明の方法の少なくとも１つを実行するように作動する。したがって、換言すれば、本発明の方法は、コンピュータプログラムがコンピュータ上で実行されるときに、本発明の方法の少なくとも１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【図１】
2010525403.tif 000047
【図２ａ】
2010525403.tif 000048
【図２ｂ】
2010525403.tif 000049
【図３ａ】
2010525403.tif 000050
【図３ｂ】
2010525403.tif 000051
【図４ａ】
2010525403.tif 000052
【図４ｂ】
2010525403.tif 000053
【図４ｃ】
2010525403.tif 000054
【図４ｄ】
2010525403.tif 000055
【図４ｅ】
2010525403.tif 000056
【図４ｆ】
2010525403.tif 000057
【図４ｇ】
2010525403.tif 000058
【図５】
2010525403.tif 000059
【図６】
2010525403.tif 000060
【図７】
2010525403.tif 000061
【図８】
2010525403.tif 000062
【図９】
2010525403.tif 000063
【図１０】
2010525403.tif 000064
【図１１】
2010525403.tif 000065
【図１２】
2010525403.tif 000066
【図１３】
2010525403.tif 000067
【図１４】
2010525403.tif 000068
【手続補正書】
【提出日】平成21年2月24日(2009.2.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１のオーディオチャネル信号と第２のオーディオチャネル信号とを持つ１つの出力信号（３５０）を合成する装置であって、
１つのダウンミックス信号から、デコリレート済の１つのチャネル信号、又はデコリレート済の第１チャネル信号及びデコリレート済の第２チャネル信号、を有する１つのデコリレート済信号（３５８）を生成するためのデコリレータステージ（３５６）であって、前記ダウンミックス信号は第１のオーディオオブジェクトダウンミックス信号と第２のオーディオオブジェクトダウンミックス信号とを含み、前記ダウンミックス信号は複数のオーディオオブジェクト信号のダウンミックスをダウンミックス情報（３５４）に従って表現している、デコリレータステージ（３５６）と、
前記ダウンミックス情報（３５４）と、仮想の再生セットアップにおける前記オーディオオブジェクトの仮想位置を示す目標再現情報（３６０）と、前記オーディオオブジェクトを表現するパラメトリックオーディオオブジェクト情報（３６２）とから、重み付き結合のための重み係数（Ｐ，Ｑ，Ｃ0，Ｇ）を計算し、これらの重み係数を用いて前記ダウンミックス信号（３５２）と前記デコリレート済信号（３５８）との重み付き結合を実行するための結合器（３６４）と、
を備えることを特徴とする装置。
【請求項２】
前記結合器（３６４）は、前記第１のオーディオオブジェクトダウンミックス信号と前記第２のオーディオオブジェクトダウンミックス信号とのミキシング操作の結果（４５２）が目標再現結果に対して波形マッチするように、前記重み付き結合のための重み係数を計算することを特徴とする、請求項１に記載の出力信号の合成装置。
【請求項３】
前記結合器（３６４）は、前記第１のオーディオオブジェクトダウンミックス信号と前記第２のオーディオオブジェクトダウンミックス信号とをミキシングするためのミキシング行列Ｃ0を次式に基づいて計算し、
Ｃ0＝ＡＥＤ*（ＤＥＤ*）-1
ここで、Ｃ0はミキシング行列であり、Ａは前記目標再現情報（３６０）を表現する目標再現行列であり、Ｄは前記ダウンミックス情報（３５４）を表現するダウンミックス行列であり、＊は複素共役転位演算を示し、Ｅは前記パラメトリックオーディオオブジェクト情報（３６２）を示すオーディオオブジェクト共分散行列であることを特徴とする、請求項１又は２に記載の出力信号の合成装置。
【請求項４】
前記結合器（３６４）は、前記重み係数を次式に基づいて計算し、
Ｒ＝ＡＥＡ*
ここで、Ｒは前記目標再現情報を前記オーディオオブジェクトへと適用することで取得できる前記再現出力信号（３５０）の共分散行列であり、Ａは前記目標再現情報（３６０）を表現する目標再現行列であり、Ｅは前記パラメトリックオーディオオブジェクト情報（３６２）を示すオーディオオブジェクト共分散行列であることを特徴とする、請求項１乃至３のいずれか１項に記載の出力信号の合成装置。
【請求項５】
前記結合器（３６４）は、前記重み係数を次式に基づいて計算し、
Ｒ0＝Ｃ0ＤＥＤ*Ｃ0*
ここで、Ｒ0は前記ダウンミックス信号のミキシング操作（４０１）の結果の共分散行列であることを特徴とする、請求項３に記載の出力信号の合成装置。
【請求項６】
前記結合器（３６４）は、
ドライ信号ミックス行列Ｃ0を計算し、かつそのドライ信号ミックス行列Ｃ2を前記ダウンミックス信号（３５２）に適用する操作（４０１）と、
デコリレータ後の処理行列Ｐを計算し、かつそのデコリレータ後の処理行列Ｐを前記デコリレート済信号（３５８）に適用する操作（４０４）と、
前記再現出力信号（５５０）を取得するために、前記適用する操作（４０１，４０４）の結果を結合（４５４）する操作と、
により、前記重み付き結合が実行可能となるように、前記重み付き結合のための重み係数を計算することを特徴とする、請求項１乃至５のいずれか１項に記載の出力信号の合成装置。
【請求項７】
前記デコリレータステージ（３５６）は、前記ダウンミックス信号（３５２）を処理する操作（４０２）を実行可能であり、前記処理済のダウンミックス信号はデコリレータ（４０３）に供給されることを特徴とする、請求項１乃至６のいずれか１項に記載の出力信号の合成装置。
【請求項８】
前記デコリレータ前操作は、前記オーディオオブジェクトの前記ダウンミックス信号への配分を示す前記ダウンミックス情報（３５４）に基づいて、前記第１のオーディオオブジェクトダウンミックス信号と第２のオーディオオブジェクトダウンミックス信号とをミキシングするミックス操作を含むことを特徴とする、請求項７に記載の出力信号の合成装置。
【請求項９】
前記結合器（３６４）は、前記第１及び第２のオーディオオブジェクトダウンミックス信号のドライミックス操作（４０１）を実行し、
前記デコリレータ前操作（４０２）は、前記ドライミックス操作（４０１）に類似していることを特徴とする、請求項７に記載の出力信号の合成装置。
【請求項１０】
前記結合器（３６４）は、前記ドライミックス行列Ｃ0を使用し、
前記デコリレータ前操作（４０２）は、前記ドライミックス行列Ｃ0と同一のデコリレータ前行列Ｑを使用して構成されていることを特徴とする、請求項９に記載の出力信号の合成装置。
【請求項１１】
前記デコリレータ後の処理行列Ｐは、ドライ信号ミックスの結果（４５２）に対して加算されたデコリレート済信号の共分散行列の固有値分解（１１０２）を実行することを特徴とする、請求項６に記載の出力信号の合成装置。
【請求項１２】
前記結合器（３６４）は、前記固有値分解（１１０２）により取得された固有値から導出された行列（Ｔ）と前記デコリレート済信号（３５８）の共分散行列との掛け算（１１０４）に基づいて、前記重み係数を計算することを特徴とする、請求項１１に記載の出力信号の合成装置。
【請求項１３】
前記結合器（３６４）は、
単一のデコリレータ（４０３）が使用された場合に、デコリレータ後の処理行列Ｐが単一の列と前記再現出力信号内のチャネル信号数に等しい数の行とを有するか、又は、
２つのデコリレータ（４０３）が使用された場合に、デコリレータ後の処理行列Ｐが２つの列と前記再現出力信号内のチャネル信号数に等しい数の行とを有するように、
前記重み係数を計算することを特徴とする、請求項１１に記載の出力信号の合成装置。
【請求項１４】
前記結合器（３６４）は、前記デコリレート済信号の共分散行列に基づき、次式によって前記重み係数を計算し、
Ｒz＝ＱＤＥＤ*Ｑ*
ここで、Ｒzは前記デコリレート済信号（３５８）の共分散行列であり、Ｑはデコリレータ前のミックス行列であり、Ｄはダウンミックス情報（３５４）を表現するダウンミックス行列であり、Ｅはパラメトリックオーディオオブジェクト情報（３６２）を表現するオーディオオブジェクト共分散行列であることを特徴とする、請求項１１乃至１３のいずれか１項に記載の出力信号の合成装置。
【請求項１５】
前記結合器（３６４）は、
前記デコリレート済信号がドライミックス操作の反対の正負符号を有する２つの結果チャネル（４５２）に加算される形で、前記デコリレータ後の処理行列Ｐが計算（１２０１）されるように、
前記重み付き結合のための重み係数を計算することを特徴とする、請求項６に記載の出力信号の合成装置。
【請求項１６】
前記結合器（３６４）は、
前記デコリレート済信号（３５８）が、前記再現出力信号の２つのチャネル間の相関キューにより決定された重み係数（ｃ）により重み付けされ、前記相関キューは、目標再現行列（Ａ）に基づく仮想目標再現操作により決定された相関値に類似しているように、前記重み係数を計算する（１２０３）ことを特徴とする、請求項１５に記載の出力信号の合成装置。
【請求項１７】
前記重み係数（ｃ）を決定するために二次方程式（２６）が解かれ、もしこの二次方程式に実数値の解が存在しない場合には、前記デコリレート済信号の加算を減少又は停止させる（１２０８）ことを特徴とする、請求項１６に記載の出力信号の合成装置。
【請求項１８】
前記結合器（３６４）は、
前記ダウンミックス信号のエネルギーとの比較におけるドライ信号ミックスの結果内のエネルギー誤差が減少するように、前記ドライ信号ミックスの結果に重み付けする方法で利得補償（４０９）を実行（１３０２）することにより、前記重み付き結合が表現可能となるように、
前記重み係数を計算することを特徴とする、請求項６に記載の出力信号の合成装置。
【請求項１９】
前記結合器（３６４）は、デコリレート済信号の加算がアーチファクトの発生をもたらすかどうかを判定（１４０２）し、
もしアーチファクトの発生をもたらすと判定した場合には、前記結合器（３６４）はデコリレート済信号の加算を停止又は減少（１４０４）させ、
かつ、そのデコリレート済信号の加算の停止又は減少（１４０４）に起因するパワー誤差を減少（１４０６）させることを特徴とする、請求項１乃至６のいずれか１項に記載の出力信号の合成装置。
【請求項２０】
前記結合器（３６４）は、前記ドライミックス操作（４０１）の１つの結果のパワーが増大するように、前記重み係数を計算することを特徴とする、請求項１９に記載の出力信号の合成装置。
【請求項２１】
前記結合器（３６４）は、
前記ドライアップミックス信号と、前記目標再現情報（３６０）を使用してある仮想目標再現の枠組みにより決定された出力信号と、の間の前記誤差信号の相関構成を表現する誤差共分散行列データＲを計算（１１０４）し、
前記誤差共分散行列データＲの非対角要素の正負符号を判定（１４０２）し、この符号が正の場合には、前記加算を停止（１１０４）又は減少させることを特徴とする、請求項１９に記載の出力信号の合成装置。
【請求項２２】
前記ダウンミックス信号を、複数のサブバンドダウンミックス信号を含むスペクトル表現へと変換するための時間／周波数変換器（３０２）であって、各サブバンド信号について、デコリレータ操作（４０３）と結合器操作（３６４）とを使用して複数の再現出力サブバンド信号を生成する、時間／周波数変換器（３０２）と、
前記再現出力信号の複数のサブバンド信号を時間ドメイン表現へと変換するための周波数／時間変換器（３０４）と、をさらに備えることを特徴とする、請求項１乃至２１のいずれか１項に記載の出力信号の合成装置。
【請求項２３】
前記ダウンミックス信号のサンプル値のブロックを生成し、かつ前記デコリレータステージ（３５６）及び前記結合器（３６４）がサンプル値の個々のブロックを処理するように制御するための、ブロック処理制御器をさらに備えることを特徴とする、請求項１乃至２２のいずれか１項に記載の出力信号の合成装置。
【請求項２４】
各ブロック及び各サブバンド信号について前記オーディオオブジェクト情報が与えられ、かつ前記目標再現情報と前記オーディオオブジェクトダウンミックス情報とは、１つの時間ブロックの周波数に亘って一定であることを特徴とする、請求項２２又は２３に記載の出力信号の合成装置。
【請求項２５】
前記結合器（３６４）は、前記第１のオーディオオブジェクトダウンミックス信号と前記第２のオーディオオブジェクトダウンミックス信号とを１つのドライミックス信号（４５２）へと線形結合する、強化された行列化ユニット（３０３）を含み、
前記結合器（３６４）は、前記デコリレート済信号（３５８）を１つの信号へと線形結合し、この信号は前記ドライミックス信号とのチャネル単位の加算により、前記強化された行列化ユニット（３０３）のステレオ出力を構成し、
かつ前記結合器（３６４）は、前記ダウンミックス情報（３５４）と、前記パラメトリックオーディオオブジェクト情報（３６２）と、前記目標再現情報（３６０）とに基づいて、前記強化された行列化ユニット（３０３）により使用される前記線形結合のための前記重み係数を演算する行列計算器（２０２）を含むことを特徴とする、請求項１乃至２４のいずれか１項に記載の出力信号の合成装置。
【請求項２６】
前記結合器（３６４）は、前記再現出力信号内のデコリレート済信号（３５８）のエネルギー部分が最小となるように、かつ前記第１のオーディオオブジェクトダウンミックス信号と前記第２のオーディオオブジェクトダウンミックス信号とを線形結合することで取得されるドライミックス信号（４５２）のエネルギー部分が最大となるように、前記重み係数を計算することを特徴とする、請求項１乃至２５のいずれか１項に記載の出力信号の合成装置。
【請求項２７】
第１のオーディオチャネル信号と第２のオーディオチャネル信号とを持つ１つの出力信号（３５０）を合成する方法であって、
デコリレート済の１つのチャネル信号、又はデコリレート済の第１チャネル信号及びデコリレート済の第２チャネル信号、を有する１つのデコリレート済信号（３５８）を、１つのダウンミックス信号から生成するステップ（３５６）であって、前記ダウンミックス信号は、第１オーディオのオブジェクトダウンミックス信号と第２のオーディオオブジェクトダウンミックス信号とを含み、さらに前記ダウンミックス信号は、複数のオーディオオブジェクト信号のダウンミックスをダウンミックス情報（３５４）に従って表現しているステップ（３５６）と、
前記ダウンミックス情報（３５４）と、仮想の再生セットアップにおける前記オーディオオブジェクトの仮想位置を示す目標再現情報（３６０）と、前記オーディオオブジェクトを表現するパラメトリックオーディオオブジェクト情報（３６２）と、から導出された重み付き結合のための重み係数（Ｐ，Ｑ，Ｃ0，Ｇ）の計算に基づいて、これらの重み係数を用いて前記ダウンミックス信号（３５２）と前記デコリレート済信号（３５８）との重み付き結合を実行するステップ（３６４）と、
を備える方法。
【請求項２８】
処理器で使用されたときに、請求項２７に記載の方法を実行できるプログラムコードを有するコンピュータプログラム。
【手続補正書】
【提出日】平成21年11月30日(2009.11.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項６
【補正方法】変更
【補正の内容】
【請求項６】
前記結合器（３６４）は、
ドライ信号ミックス行列Ｃ0を計算し、かつそのドライ信号ミックス行列Ｃ0を前記ダウンミックス信号（３５２）に適用する操作（４０１）と、
デコリレータ後の処理行列Ｐを計算し、かつそのデコリレータ後の処理行列Ｐを前記デコリレート済信号（３５８）に適用する操作（４０４）と、
前記再現出力信号（３５０）を取得するために、前記適用する操作（４０１，４０４）の結果を結合（４５４）する操作と、
により、前記重み付き結合が実行可能となるように、前記重み付き結合のための重み係数を計算することを特徴とする、請求項１乃至５のいずれか１項に記載の出力信号の合成装置。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１５
【補正方法】変更
【補正の内容】
【請求項１５】
前記結合器（３６４）は、
前記デコリレート済信号がドライミックス操作の反対の正負符号を有する２つの結果チャネル（４５２）に加算される形で、前記デコリレータ後の処理行列Ｐが計算（１２０１）されるように、
前記重み付き結合のための重み係数（ｃ）を計算することを特徴とする、請求項６に記載の出力信号の合成装置。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１６
【補正方法】変更
【補正の内容】
【請求項１６】
前記結合器（３６４）は、
前記デコリレート済信号（３５８）が、前記再現出力信号の２つのチャネル間の相関キューにより決定された重み係数（α）により重み付けされ、前記相関キューは、目標再現行列（Ａ）に基づく仮想目標再現操作により決定された相関値に類似しているように、前記重み係数（ｃ）を計算する（１２０８）ことを特徴とする、請求項１５に記載の出力信号の合成装置。
【手続補正４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１７
【補正方法】変更
【補正の内容】
【請求項１７】
前記重み係数（α）を決定するために二次方程式（２６）が解かれ、もしこの二次方程式に実数値の解が存在しない場合には、前記デコリレート済信号の加算を減少又は停止させる（１２０８）ことを特徴とする、請求項１６に記載の出力信号の合成装置。
【手続補正５】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２１
【補正方法】変更
【補正の内容】
【請求項２１】
前記結合器（３６４）は、
前記ドライアップミックス信号と、前記目標再現情報（３６０）を使用してある仮想目標再現の枠組みにより決定された出力信号と、の間の前記誤差信号の相関構成を表現する誤差共分散行列ΔＲを計算（１１０４）し、
前記誤差共分散行列ΔＲの非対角要素の正負符号を判定（１４０２）し、この符号が正の場合には、前記加算を停止（１４０４）又は減少させることを特徴とする、請求項１９に記載の出力信号の合成装置。
【手続補正６】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２４
【補正方法】変更
【補正の内容】
【請求項２４】
前記サンプル値の各ブロック又は前記各サブバンド信号について前記オーディオオブジェクト情報が与えられ、かつ前記目標再現情報と前記オーディオオブジェクトダウンミックス情報とは、１つの時間ブロックの周波数に亘って一定であることを特徴とする、請求項２２又は２３に記載の出力信号の合成装置。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
図３ｂは再現出力信号３５０を合成する装置を示した図であり、信号３５０は、ステレオ再現操作の場合には第１のオーディオチャネル信号と第２のオーディオチャネル信号とを備え、それより多数のチャネル再現の場合には、３つ以上の出力チャネル信号を備える。しかし、例えば３つ以上の多数のオーディオオブジェクトの場合には、出力チャネルの数は、ダウンミックス信号３５２に寄与した元のオーディオオブジェクトの数よりも少ない方が好ましい。具体的には、ダウンミックス信号３５２は、少なくとも第１のオブジェクトダウンミックス信号と第２のオブジェクトダウンミックス信号とを備えており、このダウンミックス信号３５２は、ダウンミックス情報３５４に従って複数のオーディオオブジェクト信号のダウンミックスを表現している。具体的には、図３ｂに示す本発明のオーディオ合成器は、１つのデコリレート済信号を生成するデコリレータステージ３５６を含んでおり、このデコリレート済信号は、単一のデコリレート済チャネル信号を有するか、２つのデコリレータの場合に第１のデコリレート済チャネル信号と第２のデコリレート済チャネル信号とを有するか、あるいは３つ以上のデコリレータの場合に３つ以上のデコリレート済チャネル信号を有するものである。しかし、デコリレータに起因する構成の複雑さを考慮して、デコリレータの数は多数よりも少数の方が好ましい。好適には、デコリレータの数はダウンミックス信号３５２に含まれるオーディオオブジェクトの数よりも少なく、より好適には出力信号３５０の中のチャネル信号の数に等しいか、又は再現出力信号３５０の中のオーディオチャネル信号の数よりも少ない。しかし、少数（例えば２又は３つ）のオーディオオブジェクトの場合には、デコリレータの数は、オーディオオブジェクトの数と等しいか又はそれ以上であっても良い。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
要約すれば、第２実施例は図１２に示される。図１１内のステップ１１０１と同一であるステップ１１０１における共分散行列ΔＲの計算から開始し、次に式（２２）が実行される。具体的には、行列Ｐの事前設定され、Ｐの両方の要素に対して同一である重み係数ｃだけが計算可能となる。具体的には、単一の列を備えた行列Ｐは、単一のデコリレータだけがこの第２実施例の中で使用されることを示している。さらに、行列Ｐの要素の正負符号は、デコリレート済の信号が、１つのチャネル例えばドライミックス信号の左チャネルに対して加算され、かつドライミックス信号の右チャネルから減算されることを明らかにする。つまり、最大のデコリレーションは、デコリレート済信号を１つのチャネルに加算し、デコリレート済信号を他のチャネルから減算することで達成される。ステップ１２０２，１２０６，１１０３，１２０８は、値ｃを決定するために実行される。具体的には、式（２４）に示すように目標相関の行がステップ１２０２で計算される。この値は、ステレオ再現が実行される時の２つのオーディオチャネル信号間のチャネル間相互相関値を示している。次に、ステップ１２０２の結果に基づき、式（２６）を用いて、ステップ１２０６で示すように重み係数αが決定される。さらに、ステップ１１０３で示し、かつ図１２のボックス１１０３の右側に等式で示すように、行列Ｑの行列要素の値が選択され、この場合はスカラー値だけである共分散行列Ｒzが計算される。最後に、係数ｃがステップ１２０８で示すように計算される。方程式（２６）は、αについて２つの正の解を与えることができる二次方程式である。この場合には、上述したように、ｃのより小さいノルムをもたらす解が使用されるべきである。しかし、そのような正の解がない場合には、ｃは０に設定される。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００９３
【補正方法】変更
【補正の内容】
【００９３】
次に、第４実施例を説明する。ステップ１４０１内には、単一のデコリレータが設けられている。実際の構成にとってはデコリレータが単一であることが最も有利であることから、複雑性の低い実施例が構成される。次のステップ１１０１では、第１実施例のステップ１１０１に関連して説明したように、共分散行列ΔＲが計算される。しかし、代わりの方法として、この共分散行列ΔＲは、図１３のステップ１３０３に示すように、波形マッチに加えて利得補償も実行する方法で計算されても良い。次に、共分散行列ΔＲの非対角要素であるΔｐの正負符号がチェックされる。この符号が負であるとステップ１４０２が決定すれば、第１実施例におけるステップ１１０２，１１０３，１１０４が実行されるが、このとき、ｒzはスカラー値であるという事実から、ステップ１１０３は特に非複素計算となる。なぜなら、デコリレータは１つしかないからである。
【手続補正１１】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
2010525403.tif 000069
【国際調査報告】
2010525403.tif 000070
2010525403.tif 000071
2010525403.tif 000072