(57)【要約】      （修正有）【課題】復号化されたオーディオ信号のオーディオ品質を改善する。【解決手段】装置１は、ダウンミックス信号１０１を、入力オーディオ・オブジェクトのセットと関連付けられたダウンミックス信号１０２グループに分類するように構成された分類器２を含む。装置１は、分類結果１０３を提供するために、入力オーディオ・オブジェクトのそれぞれのセットのオブジェクト・パラメータ（Ｅk）について少なくとも１つの処理ステップを個々に実行するように構成されたプロセッサ３を含む。さらに、復号化されたオーディオ信号１１０を提供するために、前記分類結果１０３または処理された分類結果を結合するように構成された結合器４が存在する。分類器２は、それぞれの入力オーディオ・オブジェクトが１つの入力オーディオ・オブジェクトのセットしか属さないように、ダウンミックス信号１０１を分類する。【選択図】図１４
2019219669.tif 000002
【特許請求の範囲】
【請求項１】
複数の入力オーディオ・オブジェクト（１１１）およびオブジェクト・パラメータ（Ｅ）と関連付けられた複数のダウンミックス信号（１０１）を含む符号化されたオーディオ信号（１００）を処理するための装置（１）であって、
前記複数のダウンミックス信号（１０１）を、前記複数の入力オーディオ・オブジェクト（１１１）の入力オーディオ・オブジェクト（１１１）のセットと関連付けられた複数のダウンミックス信号（１０２）グループに分類するように構成された分類器（２）と、
分類結果（１０３，１０４）を提供するために、入力オーディオ・オブジェクト（１１１）のそれぞれのセットのオブジェクト・パラメータ（Ｅk）について少なくとも１つの処理ステップを個々に実行するように構成されたプロセッサ（３）と、
復号化されたオーディオ信号（１１０）を提供するために、前記分類結果（１０３，１０４）または処理された分類結果を結合するように構成された結合器（４）と、を備え、
前記分類器（２）は、前記複数の入力オーディオ・オブジェクト（１１１）のそれぞれの入力オーディオ・オブジェクト（１１１）が１つの入力オーディオ・オブジェクト（１１１）のセットにしか属さないように、前記複数のダウンミックス信号（１０１）を前記複数のダウンミックス信号（１０２）グループに分類するように構成されている、装置。
【請求項２】
前記分類器（２）は、入力オーディオ・オブジェクトのそれぞれのセットのそれぞれの入力オーディオ・オブジェクト（１１１）が、前記符号化されたオーディオ信号（１００）の中で信号で伝えられた関係において、他の入力オーディオ・オブジェクト（１１１）と関係がない、または、前記符号化されたオーディオ信号（１００）の中で信号で伝えられた関係において、同じ入力オーディオ・オブジェクト（１１１）セットに属している少なくとも１つの入力オーディオ・オブジェクト（１１１）とのみ関係を持つように、前記複数のダウンミックス信号（１０１）を、前記複数のダウンミックス信号（１０２）グループに分類するように構成されている、請求項１に記載の装置。
【請求項３】
前記分類器（２）は、ダウンミックス信号（１０２）のそれぞれのグループ内のダウンミックス信号（１０１）の数を最小化しながら、前記複数のダウンミックス信号（１０１）を、前記複数のダウンミックス信号グループ（１０２）に分類するように構成されている、請求項１または請求項２に記載の装置。
【請求項４】
前記分類器（２）は、１つのダウンミックス信号（１０２）グループには１つの単一のダウンミックス信号（１０１）しか属さないように、前記複数のダウンミックス信号（１０１）を前記複数のダウンミックス信号（１０２）グループに分類するように構成されている、請求項１ないし請求項３のいずれかに記載の装置。
【請求項５】
前記分類器（２）は、前記符号化されたオーディオ信号（１００）内の情報に基づいて、前記複数のダウンミックス信号（１０１）を前記複数のダウンミックス信号（１０２）グループに分類するように構成されている、請求項１ないし請求項４のいずれかに記載の装置。
【請求項６】
前記分類器（２）は、少なくとも以下のステップ；
ダウンミックス信号（１０１）が既存のダウンミックス信号（１０２）グループに割り当てられるか否かを検出するステップと、
前記ダウンミックス信号（１０１）に関連付けられた複数の入力オーディオ・オブジェクト（１１１）の少なくとも１つの入力オーディオ・オブジェクト（１１１）が、既存のダウンミックス信号（１０２）グループと関連付けられた入力オーディオ・オブジェクト（１１１）のセットの一部であるか否かを検出するステップと、
前記ダウンミックス信号（１０１）がダウンミックス信号（１０２）の既存のグループへの割り当てがない場合、および前記ダウンミックス信号（１０１）に関連付けられた複数の入力オーディオ・オブジェクトのすべての入力オーディオ・オブジェクト（１１１）が、ダウンミックス信号（１０２）の既存のグループとの関連がない場合に、前記ダウンミックス信号（１０１）を新しいダウンミックス信号（１０２）グループに割り当てるステップと、
前記ダウンミックス信号（１０１）が、ダウンミックス信号（１０２）の既存のグループに割り当てられている場合、または、前記ダウンミックス信号（１０１）に関連付けられた複数の入力オーディオ・オブジェクトの少なくとも１つの入力オーディオ・オブジェクト（１１１）が、ダウンミックス信号（１０２）の既存のグループと関連付けられている場合に、前記ダウンミックス信号（１０１）をダウンミックス信号（１０２）の既存のグループに結合するステップと、
を適用して、前記複数のダウンミックス信号（１０１）を、前記複数のダウンミックス信号（１０２）グループに分類するように構成されている、請求項１ないし請求項５のいずれかに記載の装置。
【請求項７】
前記プロセッサ（３）は、分類結果として個々のマトリクスを提供するために、入力オーディオ・オブジェクト（１１１）のそれぞれのセットのオブジェクト・パラメータ（Ｅk）に対して、様々な処理ステップを個々に実行するように構成され、
前記結合器（４）は、前記個々のマトリクスを結合するように構成されている、請求項１ないし請求項６のいずれかに記載の装置。
【請求項８】
前記プロセッサ（３）は、個々のマトリクスを提供するために、入力オーディオ・オブジェクト（１１１）のそれぞれのセットのオブジェクト・パラメータ（Ｅk）に対して、少なくとも１つの処理ステップを個々に実行するように構成され、
前記装置（１）は、少なくとも１つのオーバーオール・マトリクスを提供するために、オブジェクトパラメータを一緒に処理するように構成されたポストプロセッサ（５）を含み、
前記結合器（４）は、前記個々のマトリクスと前記少なくとも１つのオーバーオール・マトリクスとを結合するように構成されている、請求項１ないし請求項７のいずれかに記載の装置。
【請求項９】
前記プロセッサ（３）は、ダウンミックス信号（１０２）のそれぞれのグループについて、前記ダウンミックス信号（１０２）の個々のグループに関連付けられた前記入力オーディオ・オブジェクトのセットの入力オーディオ・オブジェクトの数と、ダウンミックス信号（１０２）の個々のグループに属しているダウンミックス信号（１０１）の数との少なくとも１つにサイズが依存しているマトリクスを個々に計算するように構成された計算機（３０１）を含む、請求項１ないし請求項８のいずれかに記載の装置。
【請求項１０】
プロセッサ（３）は、ダウンミックス信号のそれぞれのグループについて、ダウンミックス信号（１０２）の個々のグループ内の最大エネルギー値に基づいて、個々の閾値を計算するように構成されている、請求項１ないし請求項９のいずれかに記載の装置。
【請求項１１】
前記プロセッサ（３）は、ダウンミックス信号（１０２）のそれぞれのグループについて、個々のダウンミックス化マトリクス（Ｄk）を決定するように構成され、
前記プロセッサ（３）は、ダウンミックス信号（１０２）のそれぞれのグループについて、個々のグループ共分散マトリクス（Ｅk）を決定するように構成され、
前記プロセッサ（３）は、ダウンミックス信号（１０２）のそれぞれのグループについて、前記個々のダウンミックス化マトリクス（Ｄk）および前記個々のグループ共分散マトリクス（Ｅk）に基づいて、個々のグループダウンミックス共分散マトリクス（Δk）を決定するように構成され、
前記プロセッサ（３）は、ダウンミックス信号（１０２）のそれぞれのグループについて、個々の正規化された逆グループマトリクス（Ｊk）を決定するように構成されている、請求項１ないし請求項１０のいずれかに記載の装置。
【請求項１２】
前記結合器（４）は、前記個々の正規化された逆グループマトリクス（Ｊk）を結合して、オーバーオールの正規化された逆グループマトリクス（Ｊ）を得るように構成されている、請求項１１に記載の装置。
【請求項１３】
前記プロセッサ（３）は、ダウンミックス信号（１０２）のそれぞれのグループについて、前記個々のダウンミックス化マトリクス（Ｄk）と前記個々のグループ共分散マトリクス（Ｅk）と前記個々の正規化された逆グループマトリクス（Ｊk）に基づいて、個々のグループ・パラメトリック非ミックス化マトリクス（Ｕk）を決定するように構成され、
前記結合器（４）は、個々のグループ・パラメトリック非ミックス化マトリクス（Ｕk）を結合して、オーバーオールのグループ・パラメトリック非ミックス化マトリクス（Ｕ）を得るように構成されている、請求項１１または請求項１２に記載の装置。
【請求項１４】
前記プロセッサ（３）は、ダウンミックス信号（１０２）のそれぞれのグループについて、前記個々のダウンミックス化マトリクス（Ｄk）と前記個々のグループ共分散マトリクス（Ｅk）と前記個々の正規化された逆グループマトリクス（Ｊk）に基づいて、個々のグループ・パラメトリック非ミックス化マトリクス（Ｕk）を決定するように構成され、
前記結合器（４）は、前記個々のグループ・パラメトリック非ミックス化マトリクス（Ｕk）を結合して、オーバーオールのグループ・パラメトリック非ミックス化マトリクス（Ｕ）を得るように構成されている、請求項１３に記載の装置。
【請求項１５】
前記プロセッサ（３）は、ダウンミックス信号（１０２）のそれぞれのグループについて、個々のグループレンダリング化マトリクス（Ｒk）を決定するように構成されている、請求項１ないし請求項１４のいずれかに記載の装置。
【請求項１６】
前記プロセッサ（３）は、ダウンミックス信号（１０２）のそれぞれのグループについて、前記個々のグループレンダリング化マトリクス（Ｒk）と前記個々のグループ・パラメトリック非ミックス化マトリクス（Ｕk）に基づいて、個々のアップミックス化マトリクス（ＲkＵk）を決定するように構成され、
前記結合器（４）は、前記アップミックス化マトリクス（ＲkＵk）を結合して、オーバーオールのアップミックス化マトリクス（ＲＵ）を得るように構成されている、請求項１５に記載の装置。
【請求項１７】
前記プロセッサ（３）は、ダウンミックス信号（１０２）のそれぞれのグループについて、前記個々のグループレンダリング化マトリクス（Ｒk）と前記個々のグループ共分散マトリクス（Ｅk）に基づいて、個々のグループ共分散マトリクス（Ｃk）を決定するように構成され、
前記結合器（４）は、前記個々のグループ共分散マトリクス（Ｃk）を結合して、オーバーオールのグループ共分散マトリクス（Ｃ）を得るように構成されている、請求項１５または請求項１６に記載の装置。
【請求項１８】
前記プロセッサ（３）は、前記個々のグループレンダリング化マトリクス（Ｒk）と前記個々のグループ・パラメトリック非ミックス化マトリクス（Ｕk）と前記個々のダウンミックス化マトリクス（Ｄk）と前記個々のグループ共分散マトリクス（Ｅk）とに基づいて、パラメトリック的に推定された信号の個々のグループ共分散マトリクス（Ｅydry）kを決定するように構成され、
前記結合器（４）は、前記パラメトリック的に推定された信号の個々のグループ共分散マトリクス（Ｅydry）kを結合して、オーバーオールのパラメトリック的に推定された信号Ｅydryを得るように構成されている、請求項１５ないし請求項１７のいずれかに記載の装置。
【請求項１９】
前記プロセッサ（３）は、ダウンミックス共分散マトリクス（ＥDMX）の特異値分解に基づいて、正規化された逆マトリクス（Ｊ）を決定するように構成されている、請求項１ないし請求項１８のいずれかに記載の装置。
【請求項２０】
前記プロセッサ（３）は、パラメトリック非ミックス化マトリクス（Ｕ）の決定のために、ダウンミックス信号（１０２）の個々のグループ（ｋ）に割り当てられたダウンミックス信号（ｍ，ｎ）に対応している要素（Δ（ｍ，ｎ））を選択することによってサブマトリクス（Δk）を決定するように構成されている、請求項１ないし請求項１９のいずれかに記載の装置。
【請求項２１】
前記結合器（４）は、ダウンミックス信号（１０２）のそれぞれのグループについて、個々に決定されたマトリクスに基づいて、ポストミックス化マトリクス（Ｐ）を決定するように構成され、
前記結合器（４）は、復号化されたオーディオ信号（１１０）を得るために、前記ポストミックス化マトリクス（Ｐ）を前記複数のダウンミックス信号（１０１）に適用するように構成されている、請求項１ないし請求項２０のいずれかに記載の装置。
【請求項２２】
複数の入力オーディオ・オブジェクト（１１１）およびオブジェクト・パラメータ（Ｅ）に関連付けられた複数のダウンミックス信号（１０１）を含む符号化されたオーディオ信号（１００）を処理するための方法であって、
前記方法は、
前記ダウンミックス信号（１０１）を、前記複数の入力オーディオ・オブジェクト（１１１）の入力オーディオ・オブジェクト（１１１）のセットに関連付けられた複数のダウンミックス信号（１０２）グループに分類するステップ、
分類結果（１０３，１０４）を提供するために、入力オーディオ・オブジェクト（１１１）のそれぞれのセットのオブジェクト・パラメータ（Ｅk）について少なくとも１つの処理ステップを個々に実行するステップ、および
復号化されたオーディオ信号（１１０）を提供するために、前記分類結果（１０３，１０４）を結合するステップを含み、
前記複数のダウンミックス信号（１０１）を前記複数のダウンミックス信号（１０２）グループに分類するステップは、前記複数の入力オーディオ・オブジェクト（１１１）のそれぞれの入力オーディオ・オブジェクト（１１１）が、１つの入力オーディオ・オブジェクトのセットだけに属するように、実行される、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化されたオーディオ信号を処理するための装置および方法に関する。
【背景技術】
【０００２】
近年、多重オーディオのオブジェクトを含んでいるオーディオ場面のビットレートの効率的な送信／格納のためのパラメトリック技術は、オーディオ符号化（以下の非特許文献１と非特許文献８と非特許文献９と非特許文献１０と非特許文献１１を参照してください）および情報ソース分離（例えば以下の非特許文献２と非特許文献３と非特許文献４と非特許文献５と非特許文献６と非特許文献７を参照してください）の分野において提案されている。
【０００３】
これらの技術は、オーディオ場面において、送信／格納されたオーディオ信号および／またはソースオブジェクトを説明する追加のサイド情報に基づいて、望ましい出力オーディオ場面またはオーディオソースオブジェクトを再構成することを目的とする。この再構成は、パラメトリック情報ソース分離計画を用いて、復号器の中で実行される。
【０００４】
不幸なことに、場合によっては、パラメトリック分離計画が、不満足なヒアリング経験を引き起こす厳しい可聴の人工物をもたらすことが認められている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】［ＢＣＣ］C. Faller and F. Baumgarte, "Binaural Cue Coding - Part II: Schemes and applications," IEEE Trans. on Speech and Audio Proc., vol. 11, no. 6, Nov. 2003.
【非特許文献２】［ＩＳＳ１］M. Parvaix and L. Girin: "Informed Source Separation of underdetermined instantaneous Stereo Mixtures using Source Index Embedding", IEEE ICASSP, 2010.
【非特許文献３】［ＩＳＳ２］M. Parvaix, L. Girin, J.-M. Brossier: "A watermarking-based method for informed source separation of audio signals with a single sensor", IEEE Transactions on Audio, Speech and Language Processing, 2010.
【非特許文献４】［ＩＳＳ３］A. Liutkus, J. Pinel, R. Badeau, L. Girin, G. Richard: "Informed source separation through spectrogram coding and data embedding", Signal Processing Journal, 2011.
【非特許文献５】［ＩＳＳ４］A. Ozerov, A. Liutkus, R. Badeau, G. Richard: "Informed source separation: source coding meets source separation", IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 2011.
【非特許文献６】［ＩＳＳ５］S. Zhang and L. Girin: "An Informed Source Separation System for Speech Signals", INTERSPEECH, 2011.
【非特許文献７】［ＩＳＳ６］L. Girin and J. Pinel: "Informed Audio Source Separation from Compressed Linear Stereo Mixtures", AES 42nd International Conference: Semantic Audio, 2011.
【非特許文献８】［ＪＳＣ］C. Faller, "Parametric Joint-Coding of Audio Sources", 120th AES Convention, Paris, 2006.
【非特許文献９】［ＳＡＯＣ］ISO/IEC, "MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC)," ISO/IEC JTC1/SC29/WG11 (MPEG) International Standard 23003-2.
【非特許文献１０】［ＳＡＯＣ１］J. Herre, S. Disch, J. Hilpert, O. Hellmuth: "From SAC To SAOC - Recent Developments in Parametric Coding of Spatial Audio", 22nd Regional UK AES Conference, Cambridge, UK, April 2007.
【非特許文献１１】［ＳＡＯＣ２］J. Engdegard, B. Resch, C. Falch, O. Hellmuth, J. Hilpert, A. Holzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers and W. Oomen: " Spatial Audio Object Coding (SAOC) - The Upcoming MPEG Standard on Parametric Object Based Audio Coding", 124th AES Convention, Amsterdam 2008.
【非特許文献１２】［ＳＡＯＣ３Ｄ］ISO/IEC, JTC1/SC29/WG11 N14747, Text of ISO/MPEG 23008-3/DIS 3D Audio, Sapporo, July 2014.
【非特許文献１３】［ＳＡＯＣ３Ｄ２］J. Herre, J. Hilpert, A. Kuntz, and J. Plogsties, "MPEG-H Audio - The new standard for universal spatial / 3D audio coding," 137th AES Convention, Los Angeles, 2011.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従って、本発明の目的は、パラメトリック符号化技術を使って、復号化されたオーディオ信号のオーディオ品質を改善することである。
【０００７】
この目的は、請求項１に従う装置によって、および、請求項２２に従う対応する方法によって達成される。
【課題を解決するための手段】
【０００８】
この目的は、符号化されたオーディオ信号を処理するための装置により達成される。符号化されたオーディオ信号は、複数の入力オーディオ・オブジェクトとオブジェクトパラメータ（Ｅ）とに関連付けられた複数のダウンミックス信号を含む。装置は、分類器およびプロセッサおよび結合器かを含む。
【０００９】
2019219669.tif 000003
【００１０】
さらに、プロセッサ−分類に続いている−は、入力オーディオ・オブジェクトのそれぞれのセットのオブジェクトパラメータに対して、少なくとも１つの処理ステップを個々に実行するように構成される。ゆえに、少なくとも１つの処理ステップが、全てのオブジェクトパラメータに対して同時に実行されるのではなく、ダウンミックス信号の個々のグループに属するオブジェクトパラメータに対して個々に実行される。１つの実施の形態において、ちょうど１つのステップが個々に実行される。異なる実施の形態において、１つ以上のステップが実行される一方、代わりの実施の形態において、全体の処理がダウンミックス信号のグループについて個々に実行される。プロセッサは個々のグループのための分類結果を提供する。
【００１１】
異なる実施の形態において、プロセッサ−分類に続いている−は、複数のダウンミックス信号のグループのそれぞれのグループについて少なくとも１つの処理ステップを個々に実行するように構成される。ゆえに、少なくとも１つの処理ステップが、全てのダウンミックス信号に対して同時に実行されるのではなく、ダウンミックス信号の個々のグループについて個々に実行される。
【００１２】
結局、結合器は、復号化されたオーディオ信号を提供するために、分類結果または処理された分類結果を結合するように構成される。ゆえに、分類結果または分類結果に対して実行された別の処理ステップの結果が、復号化されたオーディオ信号を提供するように結合される。復号化されたオーディオ信号は、符号化されたオーディオ信号により符号化される複数の入力オーディオ・オブジェクトに対応する。
【００１３】
分類器によって成された分類は、複数の入力オーディオ・オブジェクトのそれぞれの入力オーディオ・オブジェクトが、入力オーディオ・オブジェクトのちょうど又は正確に１つのセットに属するという圧縮の下で少なくとも成される。これは、個々の入力オーディオ・オブジェクトが、ダウンミックス信号のちょうど１つのグループに属することを暗示する。これは、個々のダウンミックス信号が、ダウンミックス信号のちょうど１つのグループに属することも暗示する。
【００１４】
実施の形態によると、分類器は、入力オーディオ・オブジェクトのそれぞれのセットのそれぞれの入力オーディオ・オブジェクトが、符号化されたオーディオ信号の中で信号で伝えられた、他の入力オーディオ・オブジェクトと関係がない、または、符号化されたオーディオ信号の中で伝えられた、入力オーディオ・オブジェクトの同じセットに属する少なくとも１つの入力オーディオ・オブジェクトとのみ関係を持つように、複数のダウンミックス信号を、複数のダウンミックス信号グループに分類するように構成されている。これは、入力オーディオ・オブジェクトが、ダウンミックス信号の異なるグループに属する入力オーディオ・オブジェクトに、信号で伝えられた関係を持たないことを暗示する。そのような信号で伝えられた関係は、１つの実施の形態において、２つの入力オーディオ・オブジェクトが、１つの単一のソースから生じるステレオ信号であることである。
【００１５】
本発明の装置は、ダウンミックス信号を含む符号化されたオーディオ信号を処理する。ダウンミックス化は、個々のオーディオ信号の与えられた数を符号化するプロセスの一部であり、入力オーディオ・オブジェクトの特定の数がダウンミックス化信号の中に結合されることを暗示する。従って、入力オーディオ・オブジェクトの数は、より小さいダウンミックス信号に減らされる。このため、ダウンミックス信号が、複数の入力オーディオ・オブジェクトと関連する。
【００１６】
ダウンミックス信号は、ダウンミックス信号のグループに分類されて、−すなわち単一のグループとして−少なくとも１つの処理ステップに個々に従う。それゆえ、装置は、すべてのダウンミックス信号に対して一緒にではなく、ダウンミックス信号の個々のグループについて個々に、少なくとも１つの処理ステップを実行する。異なる実施の形態において、グループのオブジェクトパラメータは、符号化されたオーディオ信号に適用されるべきマトリクスを得るために分離して扱われる。
【００１７】
１つの実施の形態において、装置は、符号化されたオーディオ信号の復号器である。装置は、代わりの実施の形態において、復号器の一部である。
【００１８】
１つの実施の形態において、個々のダウンミックス信号はダウンミックス信号の１つのグループに帰され、その結果、少なくとも１つの処理ステップについて個々に処理される。この実施の形態において、ダウンミックス信号のグループの数は、ダウンミックス信号の数と等しい。これは、分類と個々の処理とが一致することを暗示している。
【００１９】
１つの実施の形態において、結合は、符号化されたオーディオ信号の処理の最終的なステップの１つである。異なる実施の形態において、分類結果は、分類結果に対して、個々に又は一緒に実行される異なる処理ステップに更に従う。
【００２０】
分類（または、グループの検出）およびグループの個々の取り扱いは、オーディオ品質改良をもたらすことを示す。これは、特に、例えばパラメトリック符号化技術のために維持する。
【００２１】
実施の形態によると、装置の分類器は、ダウンミックス信号のそれぞれのグループ内のダウンミックス信号の数を最小化しながら、複数のダウンミックス信号グループに、複数のダウンミックス信号を分類するように構成される。この実施の形態において、装置は、個々のグループに属するダウンミックス信号の数を減らそうとする。１つのケースにおいて、ダウンミックス信号の少なくとも１つのグループに、ちょうど１つのダウンミックス信号が属する。
【００２２】
実施の形態によると、分類器は、１つのダウンミックス信号グループには１つの単一のダウンミックス信号しか属さないように、前記複数のダウンミックス信号を前記複数のダウンミックス信号グループに分類するように構成されている。すなわち、分類は、ダウンミックス信号の様々なグループをもたらし、ちょうど１つのダウンミックス信号が属する少なくとも１つのダウンミックス信号のグループが与えられる。従って、ダウンミックス信号の少なくとも１つのグループは、ちょうど１つの単一のダウンミックス信号に関連する。別の実施の形態において、ちょうど１つのダウンミックス信号が属するダウンミックス信号のグループの数は、最大化される。
【００２３】
１つの実施の形態において、装置の分類器は、符号化されたオーディオ信号内の情報に基づいて、複数のダウンミックス信号を、複数のダウンミックス信号グループに分類するように構成されている。別の実施の形態において、装置は、ダウンミックス信号を分類するために符号化されたオーディオ信号内の情報だけを使う。符号化されたオーディオ信号のビットストリーム内の情報を使うことは、−１つの実施の形態の中で−相互関係または共分散情報を考慮することを含む。分類器は、特に、異なる入力オーディオ・オブジェクトの間の関係についての情報を、符号化されたオーディオ信号から取り出す。
【００２４】
１つの実施の形態において、分類器は、前記複数のダウンミックス信号を、前記符号化されたオーディオ信号内のｂｓＲｅｌａｔｅｄＴｏ値に基づいて、複数のダウンミックス信号グループに分類するように構成される。これらの値に関係することは、例えばＷＯ  ２０１１／０３９１９５  Ａ１に関連する。
【００２５】
実施の形態によると、分類器は、複数のダウンミックス信号を、少なくとも以下のステップを（ダウンミックス信号の個々のグループに）適用して、複数のダウンミックス信号グループに分類するように構成される。
・ダウンミックス信号が、ダウンミックス信号の既存のグループに割り当てられるか否かを検出するステップ。
・ダウンミックス信号と関連付けられた複数の入力オーディオ・オブジェクトの少なくとも１つの入力オーディオ・オブジェクトが、ダウンミックス信号の既存のグループと関連付けられた入力オーディオ・オブジェクトのセットの一部であるか否かを検出するステップ。
・ダウンミックス信号がダウンミックス信号の既存のグループに割り当てがない（ゆえに、既にダウンミックス信号はグループに割り当てられていない）場合に、および、ダウンミックス信号と関連付けられた複数の入力オーディオ・オブジェクトのすべての入力オーディオ・オブジェクトが、ダウンミックス信号の既存のグループと関連がない（ゆえに、既にダウンミックス信号の入力オーディオ・オブジェクトが、−異なるダウンミックス信号を経て−グループに割り当てられていない）場合に、ダウンミックス信号を新しいダウンミックス信号グループに割り当てるステップ。
・ダウンミックス信号が、ダウンミックス信号の既存のグループと関連する場合、または、ダウンミックス信号と関連付けられた複数の入力オーディオ・オブジェクトの少なくとも１つの入力オーディオ・オブジェクトが、ダウンミックス信号の既存のグループと関連する場合のいずれかの場合に、ダウンミックス信号をダウンミックス信号の既存のグループに結合するステップ。
【００２６】
仮にまた、符号化されたオーディオ信号において信号で伝えられた関係が考慮されるならば、ダウンミックス信号を割り当てて結合するための付加要件をもたらす別の検出ステップが追加される。
【００２７】
実施の形態によると、プロセッサは、分類結果として個々のマトリクスを提供するために、入力オーディオ・オブジェクトのそれぞれのセットの（または、ダウンミックス信号のそれぞれのグループの）オブジェクトパラメータ（Ｅk）に対して様々な処理ステップを個々に実行するように構成される。結合器は、前記復号化されたオーディオ信号を提供するために、個々のマトリクスを結合するように構成される。オブジェクトパラメータ（Ｅk）は、インデックスｋによってダウンミックス信号の個々のグループの入力オーディオ・オブジェクトに属し、インデックスｋを持つこのグループのための個々のマトリクスを得るように処理される。
【００２８】
異なる実施の形態によると、プロセッサは、分類結果として出力オーディオ信号を提供するために、前記複数のダウンミックス信号のグループのそれぞれのグループについて様々な処理ステップを個々に実行するように構成される。結合器は、前記復号化されたオーディオ信号を提供するために、出力オーディオ信号を結合するように構成される。
【００２９】
この実施の形態において、ダウンミックス信号のグループは、ダウンミックス信号のそれぞれのグループに属している入力オーディオ・オブジェクトに対応する出力オーディオ信号が得られるように、処理される。ゆえに、出力オーディオ信号を復号化されたオーディオ信号に結合することは、符号化されたオーディオ信号に対して実行された復号化処理の最終的なステップに近い。従って、この実施の形態では、ダウンミックス信号のそれぞれのグループは、ダウンミックス信号のグループの検出に続いている全ての処理ステップに個々に従う。
【００３０】
異なる実施の形態において、プロセッサは、分類結果として処理された信号を提供するために、前記複数のダウンミックス信号のグループのそれぞれのグループについて少なくとも１つの処理ステップを個々に実行するように構成される。装置は、出力オーディオ信号を提供するために、前記処理された信号を一緒に処理するように構成されたポストプロセッサをさらに含む。結合器は、前記復号化されたオーディオ信号を提供するために、処理された分類結果として出力オーディオ信号を結合するように構成される。
【００３１】
この実施の形態において、ダウンミックス信号のグループは、少なくとも１つの処理ステップに個々に従い、そして、他のグループと一緒に少なくとも１つの処理ステップに従う。個別の処理は、−実施の形態において−一緒に処理される処理された信号をもたらす。
【００３２】
１つの実施の形態において、マトリクスに関連して、プロセッサは、個々のマトリクスを提供するために、入力オーディオ・オブジェクトのそれぞれのセットのオブジェクトパラメータ（Ｅk）に対して、少なくとも１つの処理ステップを個々に実行するように構成される。装置に含まれたポストプロセッサは、少なくとも１つのオーバーオール・マトリクスを提供するために、オブジェクトパラメータを一緒に処理するように構成される。結合器は、前記個々のマトリクスと前記少なくとも１つのオーバーオール・マトリクスとを結合するように構成される。１つの実施の形態において、ポストプロセッサは、少なくとも１つのオーバーオール・マトリクスを得るために、個々のマトリクスに対して少なくとも１つの処理ステップを一緒に実行する。
【００３３】
以下の実施の形態は、プロセッサによって実行された処理ステップに関連する。また、これらのステップのいくつかは、前述の実施の形態において言及されたポストプロセッサに適している。
【００３４】
１つの実施の形態において、プロセッサは、前記複数のダウンミックス信号のグループのそれぞれのグループのダウンミックス信号をミックスしないように構成された非ミキサーを含む。ダウンミックス信号をミックスしないことによって、プロセッサは、ダウンミックス信号の中にダウンミックスされたオリジナル入力オーディオ・オブジェクトの表現を得る。
【００３５】
実施の形態によると、非ミキサーは、最小平均２乗エラー（ＭＭＳＥ）アルゴリズムに基づいて、前記複数のダウンミックス信号のグループの個々のグループのダウンミックス信号をミックスしないように構成される。そのようなアルゴリズムは以下の記載において説明される。
【００３６】
異なる実施の形態において、プロセッサは、個々の非ミックスマトリクスを提供するために、それぞれの入力オーディオ・オブジェクトのセットのオブジェクトパラメータを個々に処理するように構成された非ミキサーを含む。
【００３７】
１つの実施の形態において、プロセッサは、ダウンミックス信号の個々のグループと関連付けられた入力オーディオ・オブジェクトのセットの入力オーディオ・オブジェクトの数と、ダウンミックス信号の個々のグループに属しているダウンミックス信号の数との少なくとも１つにサイズが依存しているダウンミックス信号マトリクスのそれぞれのグループのために個々に計算するように構成された計算機を含む。ダウンミックス信号のグループはダウンミックス信号の全体のアンサンブルより小さく、かつ、ダウンミックス信号のグループは入力オーディオ信号のより小さい数に関連するので、ダウンミックス信号のグループの処理のために使われたマトリクスは、従来の技術において用いられたこれらより小さい。これは計算を容易にする。
【００３８】
実施の形態によると、計算機は、個々の非ミックス化マトリクスに対して、ダウンミックス信号の個々のグループ内の最大エネルギー値に基づいて、個々の閾値を計算するように構成される。
【００３９】
実施の形態によると、プロセッサは、ダウンミックス信号の個々のグループについて、ダウンミックス信号の個々のグループ内の最大エネルギー値に基づいて、個々の閾値を個々に計算するように構成される。
【００４０】
１つの実施の形態において、計算機は、それぞれのダウンミックス信号のグループのダウンミックス信号を非ミックス化するための正規化ステップに対して、個々のダウンミックス信号のグループ内の最大エネルギー値に基づいて、個々の閾値を計算するように構成される。ダウンミックス信号のグループのための閾値は、異なる実施の形態において非ミキサー自身により計算される。
【００４１】
以下の議論は、すべてのダウンミックス信号のためではなく、グループ（１つのグループごとに１つの閾値）のための閾値を計算することの興味深い効果を示す。
【００４２】
実施の形態によると、プロセッサは、レンダリングされた信号を提供するために、前記復号化されたオーディオ信号の出力状況に対して、個々のグループの非ミックスされたダウンミックス信号をレンダリングするように構成されたレンダリング器を含む。レンダリング化は、聴取者から提供された入力に基づいて、または、実際の出力状況についてのデータに基づいている。
【００４３】
実施の形態において、プロセッサは、少なくとも１つのレンダリングマトリクスを提供するために、オブジェクトパラメータを処理するように構成されたレンダリング器を含む。
【００４４】
プロセッサは、実施の形態において、少なくとも１つの非相関マトリクスを提供するために、オブジェクトパラメータを処理するように構成されたポストミキサーを含む。
【００４５】
実施の形態によると、プロセッサは、前記レンダリングされた信号に対して少なくとも１つの非相関ステップを実行するように構成され、かつ、実行された非相関ステップの結果（Ｙwet）を、前記個々のレンダリングされた信号（Ｙdry）と結合するように構成されたポストミキサーを含む。
【００４６】
実施の形態によると、プロセッサは、それぞれのダウンミックス信号のグループについて、個々のダウンミックス化マトリクス（Ｄk）を決定するように構成される。ｋは、個々のグループのインデックスである。プロセッサは、それぞれのダウンミックス信号のグループについて、個々のグループ共分散マトリクス（Ｅk）を決定するように構成される。プロセッサは、それぞれのダウンミックス信号のグループについて、個々のダウンミックス化マトリクス（Ｄk）および個々のグループ共分散マトリクス（Ｅk）に基づいて、個々のグループダウンミックス共分散マトリクス（Δk）を決定するように構成される。プロセッサは、それぞれのダウンミックス信号のグループについて、個々の正規化された逆グループマトリクス（Ｊk）を決定するように構成される。
【００４７】
実施の形態によると、結合器は、個々の正規化された逆グループマトリクス（Ｊk）を結合して、オーバーオールの正規化された逆グループマトリクス（Ｊ）を得るように構成される。
【００４８】
実施の形態によると、プロセッサは、ダウンミックス信号のそれぞれのグループについて、個々のダウンミックス化マトリクス（Ｄk）と個々のグループ共分散マトリクス（Ｅk）と個々の正規化された逆グループマトリクス（Ｊk）に基づいて、個々のグループ・パラメトリック非ミックス化マトリクス（Ｕk）を決定するように構成される。結合器は、個々のグループ・パラメトリック非ミックス化マトリクス（Ｕk）を結合して、オーバーオールのグループ・パラメトリック非ミックス化マトリクス（Ｕ）を得るように構成される。
【００４９】
実施の形態によると、プロセッサは、ダウンミックス信号のそれぞれのグループについて、個々のダウンミックス化マトリクス（Ｄk）と個々のグループ共分散マトリクス（Ｅk）と個々の正規化された逆グループマトリクス（Ｊk）に基づいて、個々のグループ・パラメトリック非ミックス化マトリクス（Ｕk）を決定するように構成される。結合器は、個々のグループ・パラメトリック非ミックス化マトリクス（Ｕk）を結合して、オーバーオールのグループ・パラメトリック非ミックス化マトリクス（Ｕ）を得るように構成される。
【００５０】
実施の形態によると、プロセッサは、ダウンミックス信号のそれぞれのグループについて、個々のグループレンダリング化マトリクス（Ｒk）を決定するように構成される。
【００５１】
実施の形態によると、プロセッサは、ダウンミックス信号のそれぞれのグループについて、個々のグループレンダリング化マトリクス（Ｒk）と個々のグループ・パラメトリック非ミックス化マトリクス（Ｕk）に基づいて、個々のアップミックス化マトリクス（ＲkＵk）を決定するように構成される。結合器は、アップミックス化マトリクス（ＲkＵk）を結合して、オーバーオールのアップミックス化マトリクス（ＲＵ）を得るように構成される。
【００５２】
実施の形態によると、プロセッサは、ダウンミックス信号のそれぞれのグループについて、個々のグループレンダリング化マトリクス（Ｒk）と個々のグループ共分散マトリクス（Ｅk）に基づいて、個々のグループ共分散マトリクス（Ｃk）を決定するように構成される。結合器は、個々のグループ共分散マトリクス（Ｃk）を結合して、オーバーオールのグループ共分散マトリクス（Ｃ）を得るように構成される。
【００５３】
実施の形態によると、プロセッサは、個々のグループレンダリング化マトリクス（Ｒk）と個々のグループ・パラメトリック非ミックス化マトリクス（Ｕk）と個々のダウンミックス化マトリクス（Ｄk）と個々のグループ共分散マトリクス（Ｅk）とに基づいて、パラメトリック的に推定された信号の個々のグループ共分散マトリクス（Ｅydry）kを決定するように構成される。結合器は、パラメトリック的に推定された信号の個々のグループ共分散マトリクス（Ｅydry）kを結合して、オーバーオールのパラメトリック的に推定された信号のＥydryを得るように構成される。
【００５４】
実施の形態によると、プロセッサは、ダウンミックス共分散マトリクス（ＥDMX）の特異値分解に基づいて、正規化された逆マトリクス（Ｊ）を決定するように構成される。
【００５５】
実施の形態によると、プロセッサは、パラメトリック非ミックス化マトリクス（Ｕ）の決定のために、ダウンミックス信号の（インデックスｋをもつ）個々のグループに割り当てられたダウンミックス信号（ｍ，ｎ）に対応している要素（Δ（ｍ，ｎ））を選択することによって、サブマトリクス（Δk）を決定するように構成される。ダウンミックス信号のそれぞれのグループは、ダウンミックス信号の特定の数および入力オーディオ・オブジェクトの関連付けられたセットをカバーし、インデックスｋによってここで示される。
【００５６】
この実施の形態によると、個々のサブマトリクス（Δk）は、個々のグループｋに属するダウンミックス共分散マトリクスΔから要素を選ぶこと、または抜き取ることによって得られる。
【００５７】
１つの実施の形態において、個々のサブマトリクス（Δk）は個々に逆にされ、結果は正規化された逆マトリクス（Ｊ）の中で結合される。
【００５８】
異なる実施の形態において、サブマトリクス（Δk）は、個々のダウンミックス化マトリクス（Ｄk）によって、Δk＝ＤkＥkＤk*としてそれらの定義を使って得られる。
【００５９】
実施の形態によると、結合器は、ダウンミックス信号のそれぞれのグループについて、個々に決定されたマトリクスに基づいて、ポストミックス化マトリクス（Ｐ）を決定するように構成される。結合器は、復号化されたオーディオ信号を得るために、ポストミックス化マトリクス（Ｐ）を複数のダウンミックス信号に適用するように構成される。この実施の形態において、オブジェクトパラメータから、符号化されたオーディオ信号に適用されるポストミックス化マトリクスが、復号化されたオーディオ信号を得るために計算される。
【００６０】
2019219669.tif 000004
【００６１】
この点において、ｋはダウンミックス信号の個々のグループのグループインデックスを示す。Ｎkは、入力オーディオ・オブジェクトの関連付けられたセットの入力オーディオ・オブジェクトの数を示す。Ｍkは、ダウンミックス信号の個々のグループに属するダウンミックス信号の数を示す。Ｎoutは、アップミックスまたはレンダリングされた出力チャネルの数を示す。
【００６２】
計算されたマトリクスは、従来技術において用いられたより小さいサイズである。従って、１つの実施の形態において、可能な限り多くの処理ステップが、ダウンミックス信号のグループについて個々に実行される。
【００６３】
本発明の目的は、また、符号化されたオーディオ信号を処理するための対応する方法により達成される。符号化されたオーディオ信号は、複数の入力オーディオ・オブジェクトおよびオブジェクトパラメータに関連付けられた複数のダウンミックス信号を含む。方法は以下のステップを含む。
・ダウンミックス信号を、複数の入力オーディオ・オブジェクトの入力オーディオ・オブジェクトのセットと関連付けられた複数のダウンミックス信号グループに分類するステップ
・分類結果を提供するために、入力オーディオ・オブジェクトのそれぞれのセットのオブジェクトパラメータに対して、少なくとも１つの処理ステップを個々に実行するステップ
・復号化されたオーディオ信号を提供するために、前記分類結果を結合するステップ
【００６４】
分類は、少なくとも複数の入力オーディオ・オブジェクトのそれぞれの入力オーディオ・オブジェクトが、入力オーディオ・オブジェクトのちょうど１つのセットに属する圧縮によって実行される。
【００６５】
装置の上記実施の形態は、また、方法および方法の対応する実施の形態のステップによって実行される。従って、装置の実施の形態のために与えられた説明は、方法に対しても維持される。
【００６６】
本発明は以下において付随図面に関して記載され、実施の形態は付随図面の中で説明される。
【図面の簡単な説明】
【００６７】
【図１】図１は、パラメトリックダウンミックス／アップミックス概念に基づいたＭＭＳＥの概要を示す。
【図２】図２は、レンダリングされた出力に適用された非相関を持つパラメトリック再構成システムを示す。
【図３】図３は、ダウンミックスプロセッサの構成を示す。
【図４】図４は、５つの入力オーディオ・オブジェクトのスペクトル写真（左の列）と、対応するダウンミックスチャンネルのスペクトル写真（右の列）とを示す。
【図５】図５は、リファレンス出力信号のスペクトル写真（左の列）と、対応するＳＡＯＣ  ３Ｄ復号化およびレンダリングされた出力信号のスペクトル写真（右の列）とを示す。
【図６】図６は、本発明を使うＳＡＯＣ  ３Ｄ出力信号のスペクトル写真を示す。
【図７】図７は、従来技術に従うフレームパラメータ処理を示す。
【図８】図８は、本発明に従うフレームパラメータ処理を示す。
【図９（１）】図９（１）は、グループ検出機能の実施例を示す。
【図９（２）】図９（２）は、グループ検出機能の実施例を示す。
【図９（３）】図９（３）は、グループ検出機能の実施例を示す。
【図１０】図１０は、入力オーディオ・オブジェクトを符号化するための装置を図式的に示す。
【図１１】図１１は、符号化されたオーディオ信号を処理するための本発明の装置の一例を図式的に示す。
【図１２】図１２は、符号化されたオーディオ信号を処理するための本発明の装置の異なる例を図式的に示す。
【図１３】図１３は、本発明の方法の実施の形態の一連のステップを示す。
【図１４】図１４は、本発明の装置の一例を図式的に示す。
【図１５】図１５は、装置の別の例を図式的に示す。
【図１６】図１６は、本発明の装置のプロセッサを図式的に示す。
【図１７】図１７は、本発明の装置の応用を図式的に示す。
【発明を実施するための形態】
【００６８】
以下において、パラメトリック分離計画の概要は、ＭＰＥＧ空間オーディオ・オブジェクト符号化（ＳＡＯＣ）技術（［ＳＡＯＣ］）、および、ＭＰＥＧ−Ｈ  ３Ｄ  オーディオのＳＡＯＣ  ３Ｄ処理部分（［ＳＡＯＣ３Ｄ、ＳＡＯＣ３Ｄ２］）の例を使って与えられる。これらの方法の数学的な特性は考慮される。
【００６９】
2019219669.tif 000005
【００７０】
一般性を損なうことなく、方程式の読み易さを改善するために、すべての導入された変数に対して、時間および周波数依存性を示しているインデックスが除外される。
【００７１】
パラメトリックオブジェクト分離システム：
一般のパラメトリック分離計画は、予備のパラメトリック情報を使って、信号のミックス物（ダウンミックス）からオーディオソースの数を推定することを目的とする。この仕事の典型的な解決は、最小平均２乗エラー（ＭＭＳＥ）推定アルゴリズムの応用に基づく。ＳＡＯＣ技術は、そのようなパラメトリックオーディオ符号化システムの１つの例である。
【００７２】
図１は、ＳＡＯＣ符号器／復号器機構の一般的な原理を記載する。
【００７３】
一般的なパラメトリックダウンミックス／アップミックス処理は、時間／周波数選択方法で実行されて、以下のステップのシーケンスとして説明される。
・「符号器（エンコーダ）」は、入力の「オーディオ・オブジェクト」Ｓ、および、「ミックス化パラメータ」Ｄと共に提供される。「ミキサー」は、「オーディオ・オブジェクト」Ｓを、「ミックス化パラメータ」Ｄを使って、「ダウンミックス信号」Ｘの数の中にダウンミックスする（例えば、ダウンミックス化ゲイン（利得））。
・「サイド情報推定器」は、入力の「オーディオ・オブジェクト」Ｓの特徴を説明するサイド情報を取り出す（例えば、共分散特性）。
・「ダウンミックス信号」Ｘおよびサイド情報が送信または格納される。これらのダウンミックスオーディオ信号は、（ＭＰＥＧ−１／２レイヤーＩＩまたはＩＩＩ、および、ＭＰＥＧ−２／４高度オーディオ符号化（ＡＡＣ）、および、ＭＰＥＧ一体化スピーチ、および、オーディオ符号化（ＵＳＡＣ）などの）オーディオコーダを使ってさらに圧縮される。サイド情報も、再表現されて、効率的に符号化される（例えば、オブジェクト能力およびオブジェクト相関係数のコード化された関係として）。
【００７４】
「復号器」は、送信されたサイド情報（この情報はオブジェクトパラメータを提供する）を使って、復号化された「ダウンミックス信号」から、オリジナルの「オーディオ・オブジェクト」を復元する。「サイド情報プロセッサ」は、Ｓのパラメトリックオブジェクト再構成を得るために、「パラメトリックオブジェクト分離器」内の「ダウンミックス信号」に適用されるべき非ミックス化係数を推定する。再構成された「オーディオ・オブジェクト」は、「レンダリング化パラメータ」Ｒを適用することによって、出力チャネルＹによって表された（マルチチャネル）ターゲット場面にレンダリングされる。
【００７５】
同じ一般原理および連続したステップは、追加の非相関パスを含むＳＡＯＣ  ３Ｄ処理に応用される。
【００７６】
図２は、統合された非相関パスを持つパラメトリックダウンミックス／アプミックス概念の概要を提供する。
【００７７】
ＳＡＯＣ  ３Ｄ技術やＭＰＥＧ−Ｈ３Ｄオーディオの一部の例を使って、そのようなパラメトリック分離システムの主要な処理ステップが、以下に要約される。
ＳＡＯＣ  ３Ｄ復号器は、パラメトリック的に再構成されレンダリングされた信号（ドライ信号）Ｙdry、および、その非相関されたバージョン（ウェット信号）Ｙwetのミックス物として、修正されレンダリングされた出力Ｙを作成する。
【００７８】
本発明の議論のために、処理ステップは図３において説明されるように区別される。
・マトリクスＵを使って入力オーディオ・オブジェクトをパラメトリック的に再構成する非ミックス化
・レンダリング化情報（マトリクスＲ）を使ってレンダリングすること
・非相関
・ビットストリームに含まれた情報に基づいて計算された、マトリクスＰを使ってポストミックスすること
【００７９】
2019219669.tif 000006
【００８０】
2019219669.tif 000007
【００８１】
2019219669.tif 000008
【００８２】
例えば、ミックス化マトリクスＰは、レンダリング化情報や相互関係情報やエネルギー情報や共分散情報など基づいて計算される。
【００８３】
本発明において、これは、復号化されたオーディオ信号を得るために、符号化されたオーディオ信号に適用されたポストミックス化マトリクスである。
【００８４】
以下において、ＭＭＳＥを使う共通のパラメトリックオブジェクト分離操作が説明される。
【００８５】
非ミックス化マトリクスＵは、最小平均２乗エラー（ＭＭＳＥ）推定アルゴリズム：Ｕ＝ＥＤ*Ｊを使って、ビットストリームに含まれた変数（例えば、ダウンミックス化マトリクスＤおよび共分散情報Ｅ）から引き出された情報に基づいて得られる。
【００８６】
2019219669.tif 000009
【００８７】
マトリクスＪの計算はＪ＝ＶΛinvＶ*に従って引き出される。マトリクスＶとΛは、ＥDMX＝ＶΛＶ*として、マトリクスＥDMXの特異値分解（ＳＶＤ）を使って決定される。
【００８８】
同様な結果が、固有値分解やシュール分解などのような異なる分解法を使って得られることに注目するべきである。
【００８９】
2019219669.tif 000010
【００９０】
2019219669.tif 000011
【００９１】
2019219669.tif 000012
【００９２】
特異値の定義に依存することによって、λi、iは、（仮に、λi,i＝ａｂｓ（λi,i）の時にλi,i＜０であり、および、サイン（λi,i）が、対応している左または右の特異ベクトルによって乗算されるならば）正の値にだけ限定される、または、負の値が可能である。
【００９３】
2019219669.tif 000013
【００９４】
2019219669.tif 000014
【００９５】
同様な結果は、絶対値と関連する特異値の切頭、または、マトリクス逆転に対して使われた他の正規化方法を使って得られる。
【００９６】
2019219669.tif 000015
【００９７】
今や、従来技術のパラメトリックオブジェクト分離技術の中の発見された欠点が説明される。
【００９８】
パラメトリックオブジェクト分離方法の説明された従来技術は、分離人工物を避けるために、ダウンミックス共分散マトリクスの正規化された逆を使って指定する。しかし、いくつかのミックス化シナリオの現実の使用ケースに対して、あまりに積極的な正規化によって起こされた有害な人工物が、システムの出力の中に識別された。
【００９９】
以下において、そのようなシナリオの例が構成され、分析される。
【０１００】
入力オーディオ・オブジェクト（Ｓ）の数Ｎ＝５は、説明された技術（より正確に、ＭＰＥＧ−Ｈ  ３ＤオーディオのＳＡＯＣ  ３Ｄ処理部分の方法）を使って、ダウンミックスチャンネル（Ｘ）の数Ｎdmx＝３の中に符号化される。
【０１０１】
例の入力オーディオ・オブジェクトは以下を含む。
・音楽的な伴奏からの信号を含んでいる２つの関係付けられたオーディオ・オブジェクトの１つのグループ（ステレオのペアの左右）
・スピーチ信号を含んでいる１つの独立したオーディオ・オブジェクトの１つのグループ
・ピアノのレコーディングを含んでいる２つの関係付けられたオーディオ・オブジェクトの１つのグループ（ステレオのペアの左右）。
【０１０２】
入力信号は輸送チャンネルの３つのグループにダウンミックスされる。
・Ｍ1＝１ダウンミックスチャンネルを持つグループＧ1、オブジェクトの第１のグループを含む
・Ｍ2＝１ダウンミックスチャンネルを持つグループＧ2、オブジェクトの第２のグループを含む
・Ｍ3＝１ダウンミックスチャンネルを持つグループＧ3、オブジェクトの第３のグループを含む
その結果、Ｎdmx＝Ｍ1＋Ｍ2＋Ｍ3
【０１０３】
2019219669.tif 000016
【０１０４】
第１の２つのオブジェクト信号のグループと第３のオブジェクト信号と最後の２つのオブジェクト信号のグループとの間でクロスミックスがないことに注目することができる。また、スピーチを含む第３のオブジェクト信号が、１つのダウンミックスチャンネルに単独でミックスされることに注意しなさい。従って、このオブジェクトの良好な再構成が予期され、結果的に、良好なレンダリング化も予期される。入力信号および得られたダウンミックス信号のスペクトル写真が、図４において図示される。
【０１０５】
現実のシステムにおいて使われた可能なダウンミックス信号コア・コード化は、望まない効果のより良い概説のために、ここでは省略される。復号器側では、ＳＡＯＣ  ３Ｄパラメトリック復号化は、再構成して、オーディオ・オブジェクト信号を３チャンネルセットアップ（（Ｎout＝３）：左（Ｌ）およびセンター（Ｃ）および右（Ｒ）チャンネル）にレンダリングするために使用される。
【０１０６】
例の入力オーディオ・オブジェクトの簡単な再ミックスは、以下において使われる。
・第１の２つのオーディオ・オブジェクト（音楽的な伴奏）は消音される（すなわち、利得０によってレンダリングされる）
・第３の入力ブジェクト（スピーチ）はセンターチャンネルにレンダリングされる
・オブジェクト４は左のチャンネルにレンダリングされ、オブジェクト５は右のチャンネルにレンダリングされる。
【０１０７】
2019219669.tif 000017
【０１０８】
リファレンス出力は、指定されたレンダリング化マトリクスを入力信号に直接適用することによって計算できる：Ｙref＝ＲＳ。
【０１０９】
リファレンス出力のスペクトル写真と、ＳＡＯＣ  ３Ｄ復号化およびレンダリング化からの出力信号とは、図５の２つの列によって図示される。
【０１１０】
ＳＡＯＣ  ３Ｄ復号器出力の示されたスペクトル写真から、以下の観察が注目できる。
・スピーチ信号だけを含むセンターチャンネルは、リファレンス信号に比べて厳しく損われる。大きなスペクトルホールが気付かれる。（エネルギーの失われた時間−周波数領域である）これらのスペクトルホールは、厳しい可聴の人工物の中に通じる。
・小さなスペクトルギャップも、信号エネルギーのほとんどが集中される左右のチャンネル（特に、低周波数領域）の中に存在する。また、これらのスペクトルギャップは可聴の人工物をもたらす。
・ダウンミックスチャンネルの中にオブジェクトグループのクロスミックスは存在しない。すなわち、１つのダウンミックスチャンネルの中にミックスされたオブジェクトは、どのような他のダウンミックスチャンネルの中に
も存在しない。第２のダウンミックスチャンネルは、１つのオブジェクト（スピーチ）のみを含む。従って、システム出力の中のスペクトルギャップは、それが他のダウンミックスチャンネルと一緒に処理されるので、生成のみできる。
【０１１１】
言及された観察に基づいて、それは以下のように結論される。
・ＳＡＯＣ  ３Ｄシステムは、「通り抜け」システムではない。すなわち、仮に１つの入力信号が１つのダウンミックスチャンネルの中に単独でミックスされるならば、この入力信号のオーディオ品質は、復号化とレンダリング化の中に保存される。
・ＳＡＯＣ  ３Ｄシステムは、マルチチャネルダウンミックス信号の処理のために、可聴の人工物を導入する。ダウンミックスチャンネルの１つのグループに含まれたオブジェクトの出力品質は、ダウンミックスチャンネルの残りの処理に依存する。
【０１１２】
スペクトルギャップ（特にセンターチャンネルの中のもの）〉は、ダウンミックスチャンネルに含まれたいくつかの有益な情報が、処理によって除去されることを示す。この情報の損失は、パラメトリックオブジェクト分離ステップに、より正確には、ダウンミックス共分散マトリクス逆正規化ステップに遡る。
【０１１３】
2019219669.tif 000018
【０１１４】
2019219669.tif 000019
【０１１５】
2019219669.tif 000020
【０１１６】
2019219669.tif 000021
【０１１７】
2019219669.tif 000022
【０１１８】
仮にΦが並べ替えオペレータであるならば、その時、以下の特性が維持される。
・先ず、仮にＶがユニタリーマトリクスであるならば、その時、Ｔ＝ΦＶもユニタリーマトリクスである。
・２番目に、アイデンティティマトリクスＩを持つΦΦ*＝Φ*Φ＝Ｉ。
【０１１９】
2019219669.tif 000023
【０１２０】
2019219669.tif 000024
【０１２１】
2019219669.tif 000025
【０１２２】
従って、仮に、ダウンミックスチャンネルの１つが、残りのダウンミックスチャンネルよりずっと小さいエネルギーレベルを持つならば、このチャンネルに対応する特異値は、残りの特異値よりずっと小さい。
【０１２３】
2019219669.tif 000026
【０１２４】
よりよい理解のために、それぞれのサンプルおよびそれぞれの周波数帯域に対して、入力オーディオ・オブジェクトのダウンミックス化が別々に起こることが考慮される必要がある。特に、異なる帯域の中への分離は、なぜギャップが、異なる周波数で、出力信号のスペクトル写真の中に認められるかを理解することを助ける。
【０１２５】
2019219669.tif 000027
【０１２６】
それぞれのブロック対角線のマトリクスは、ダウンミックスチャンネルの１つの独立したグループに対応する。切頭は最も大きな特異値に関連して実現されるけれども、この値はチャンネルの１つのグループのみを説明する。従って、ダウンミックスチャンネルの全ての独立したグループの中に含まれたオブジェクトの再構成は、この最も大きな特異値を含むグループに依存するようになる。
【０１２７】
以下において、本発明は、従来技術に関係する上で議論された実施の形態に基づいて説明される。
【０１２８】
2019219669.tif 000028
【０１２９】
2019219669.tif 000029
【０１３０】
2019219669.tif 000030
【０１３１】
2019219669.tif 000031
【０１３２】
前のセクションで議論された例に対して、他の同一のＳＡＯＣ  ３Ｄシステムの中で提案された本発明の方法を使って、復号化されてレンダリングされた出力のオーディオ出力品質が改善する。結果として生じる信号は、図６において図示される。
【０１３３】
図５およびの図６の右の列のスペクトル写真を比較すると、本発明の方法が、既存の従来技術のパラメトリック分離システムの中の識別された問題を解決することが観察できる。本発明の方法はシステムの「通り抜け」機能を保証し、最も重要なことに、スペクトルギャップが取り除かれる。
【０１３４】
ダウンミックスチャンネルの３つの独立したグループを処理するために説明された解決は、どのグループの数にも容易に一般化できる。
【０１３５】
本発明の方法は、ダウンミックス信号共分散マトリクスの逆において、分類情報を利用することによってパラメトリックオブジェクト分離技術を修正することを提案する。これはオーディオ出力品質の重要な改良をもたらす。
【０１３６】
分類は、例えば、追加の信号化なしで、復号器の中で既に利用可能なミックス化および／または相互関係情報から得られる。
【０１３７】
より明確に言うと、１つのグループは、この例の以下の２つの特性を持つダウンミックス信号の最も小さいセットによって、１つの実施の形態において定義される。
・先ず、これらのダウンミックスチャンネルに含まれた入力オーディオ・オブジェクトは、他のダウンミックスチャンネルに含まれない。
・２番目に、１つのグループのダウンミックスチャンネルに含まれた全ての入力信号は、他のグループのダウンミックスチャンネルに含まれた他の入力信号に関連しない（例えば、相互関係は、符号化されたオーディオ信号内で信号によって伝えられない）。そのような相互関係は、復号化の間に、個々のオーディオ・オブジェクトの結合される処理を暗示する。
【０１３８】
2019219669.tif 000032
【０１３９】
2019219669.tif 000033
【０１４０】
2019219669.tif 000034
【０１４１】
2019219669.tif 000035
【０１４２】
2019219669.tif 000036
【０１４３】
さらに、本発明の方法は、１つの実施の形態において、ビットストリームに含まれた情報に完全に基づいて、グループを決定することを提案する。例えば、この情報は、ダウンミックス化情報と相互関係情報によって与えられる。
【０１４４】
より正確に言うと、１つのグループＧkは、以下の特性によってダウンミックスチャンネルの最も小さいセットによって定義される。
・グループＧkのダウンミックスチャンネルに含まれた入力オーディオ・オブジェクトは、他のダウンミックスチャンネルの中に含まれない。例えば、仮に、対応するダウンミックス利得が、最も小さい量子化インデックスによって与えられるか、または、それがゼロに等しいならば、入力オーディオ・オブジェクトはダウンミックスチャンネルの中に含まれない。
・グループＧkのダウンミックスチャンネルに含まれた全ての入力信号ｉは、他のグループのダウンミックスチャンネルに含まれた入力信号ｊに関連しない。例えば、（例えばＷＯ  ２０１１／０３９１９５  Ａ１と比較しなさい）仮に２つのオブジェクトが関連する（ｂｓＲｅｌａｔｅｄＴｏ［ｉ］［ｊ］＝＝１）ならば、または、仮にそれらが関連しない（ｂｓＲｅｌａｔｅｄＴｏ［ｉ］［ｊ］＝＝０）ならば、ビットストリーム可変ｂｓＲｅｌａｔｅｄＴｏ［ｉ］［ｊ］は、信号を伝えるために使用される。例えば、関連付けられた２つのオブジェクトを信号で伝える異なる方法は、相互関係または共分散情報に基づいて使われる。
【０１４５】
グループは、すべての処理帯域に対して、１つのフレーム当たり１回、または、１つのパラメータセット当たり一回決定される。あるいは、グループは、個々の処理帯域に対して、１つのフレーム当たり１回、または、１つのパラメータセット当たり一回決定される。
【０１４６】
本発明の方法は、また、１つの実施の形態において、最も多くのコンピュータ処理的高価パラメトリック処理コンポーネントの中の分類情報を使用させることによって、パラメトリック分離システム（例えば、ＳＡＯＣ  ３Ｄ復号器）のコンピュータ処理的複雑さをかなり減少することを可能にする。
【０１４７】
従って、本発明の方法は、最終的な出力オーディオ品質に寄与をもたらさない計算を取り除くことを提案する。これらの計算は、分類情報に基づいて選択される。
【０１４８】
より正確に言うと、本発明の方法は、個々の予め決定されたグループについて、全てのパラメトリック処理ステップを独立して計算し、最後に結果を結合することを提案する。
【０１４９】
2019219669.tif 000037
【０１５０】
オブジェクトレベル差（ＯＬＤ）は、所定の時間および周波数帯域に対して、最も多いエネルギーを持つオブジェクトに対する１つのオブジェクトの相対的なエネルギーに関連する。そして、インターオブジェクト・クロス・コヒーレンス（ＩＯＣ）は、同様の量を、または、所定の時間および周波数帯域の中の２つのオブジェクトに対してクロス相関関係を説明する。
【０１５１】
本発明の方法は、１≦ｋ≦Ｋを持つ全ての予め決定されたＫ個のグループＧkに対して、全てのパラメトリック処理ステップを計算し、パラメータ処理の最後にその結果を結合することによって、コンピュータ処理の複雑さを減らすことを提案する。
【０１５２】
2019219669.tif 000038
【０１５３】
個々のグループＧkに対して、グループダウンミックス化マトリクスは、ダウンミックスチャンネルに対応するダウンミックス化マトリクスＤの要素と、グループＧkによって含まれた入力オーディオ・オブジェクトとを選択することによってＤkと定義される。
【０１５４】
同様に、グループレンダリング化マトリクスＲkは、グループＧkによって含まれた入力オーディオ・オブジェクトに対応する列を選択することによって、レンダリング化マトリクスＲの外で得られる。
【０１５５】
同様に、グループベクトルＯＬＤkとグループマトリクスＩＯＣkは、グループＧkによって含まれた入力オーディオ・オブジェクトに対応する要素を選択することによって、ベクトルＯＬＤとマトリクスＩＯＣの外で得られる。
【０１５６】
2019219669.tif 000039
【０１５７】
2019219669.tif 000040
【０１５８】
図３において図示されたダウンミックスプロセッサの構造に従って処理ステップを要約すると、非相関ステップを省略する間、既存の従来技術フレームパラメータ処理は、図７において記載される。
【０１５９】
提案された本発明の方法を使うと、計算複雑さが、図８において図示されるようにグループ検出を使って減少される。
【０１６０】
2019219669.tif 000041
【０１６１】
提案された本発明の方法は、計算的に、かなり、分類無しで操作を実行するよりもずっと効率的であることを示す。それは、よりよいメモリー配置および用法も可能にし、計算並列化もサポートし、数値のエラー蓄積も減らす。
【０１６２】
提案された本発明の方法および提案された本発明の装置は、従来技術のパラメトリックオブジェクト分離システムの既存の問題を解決し、かなりより高い出力オーディオ品質を提出する。
【０１６３】
提案された本発明の方法は、既存のビットストリーム情報に基づいて完全に実現されるグループ検出方法を説明する。
【０１６４】
2019219669.tif 000042
【０１６５】
2019219669.tif 000043
【０１６６】
同じ考慮を使うことによって、復号器の中の全てのパラメトリック処理ステップは、独立したグループについてのみのシステムにおいて説明された全てのマトリクス乗算を計算し、その結果を結合することによって効率的に実行される。
【０１６７】
入力オーディオ・オブジェクトの異なる数に対して、すなわち入力オーディオ・オブジェクトやダウンミックスチャンネルや２４個の出力チャネルの固定数に対して、複雑さ減少の評価は、以下のテーブルにおいて与えられる。
【０１６８】
【表１】
2019219669.tif 000044
【０１６９】
発明は以下の追加の利点を示す。
・１つのグループのみが作成される状況に対して、出力は従来技術システムの現状とビット同一である。
・分類はシステムの「通り抜け」機能を維持する。これは、仮に１つの入力オーディオ・オブジェクトが１つのダウンミックスチャンネルの中に単独でミックスされるならば、復号器がそれを完全に再構成する可能性があることを暗示する。
【０１７０】
発明は、規格のテキストに対して以下の提案された例示的な修正をもたらす。
【０１７１】
2019219669.tif 000045
【０１７２】
マトリクスＶおよびΛは、Δ＝ＶΛＶ*としてマトリクスΔの特異値分解として決定される。
【０１７３】
対角線の特異値マトリクスΛの正規化された逆のΛinvは９．５．４．２．５に従って計算される。
【０１７４】
マトリクスΔがパラメトリック非ミックスマトリクスＵの計算において使われる場合において、説明された操作は、全てのサブマトリクスΔkに対して適用される。サブマトリクスΔkは、グループｋに割り当てられたダウンミックスチャンネルｍおよびｎに対応する要素Δ（ｍ，ｎ）を選択することによって得られる。
【０１７５】
グループｋは、以下の特性を持つダウンミックスチャンネルの最も小さいセットによって定義される。
・グループｋのダウンミックスチャンネルに含まれた入力信号は、他のダウンミックスチャンネルに含まれない。仮に、対応するダウンミックス利得が、最も小さい量子化インデックスにより与えられるならば、入力信号はダウンミックスチャンネルに含まれない（ＩＳＯ／ＩＥＣ  ２３００３−２：２０１０の表４９）。
・グループｋのダウンミックスチャンネルに含まれた全ての入力信号ｉは、他のグループのダウンミックスチャンネルに含まれた入力信号に関連しない（すなわちｂｓＲｅｌａｔｅｄＴｏ［ｉ］［ｊ］＝＝０）。
【０１７６】
2019219669.tif 000046
【０１７７】
本発明は、また、規格のテキストに対して以下の提案された例示的な修正をもたらす。
【０１７８】
2019219669.tif 000047
【０１７９】
マトリクスＶおよびΛは、ＶΛＶ*＝ΔとしてマトリクスΔの特異値分解として決定される。
【０１８０】
対角線の特異値マトリクスΛの正規化された逆Λinvは、９．５．４．２．６に従って計算される。
【０１８１】
2019219669.tif 000048
【０１８２】
2019219669.tif 000049
【０１８３】
2019219669.tif 000050
【０１８４】
2019219669.tif 000051
【０１８５】
2019219669.tif 000052
【０１８６】
以下の図面のいくつかにおいて、個々の信号が、異なる処理ステップから得られることを示される。これは本発明のよりよい理解のためになされ、本発明を実現する、すなわち個々の信号を取り出して、これらの信号または処理された信号に対して処理ステップを実行するための１つの可能性である。
【０１８７】
他の実施の形態は、復号化されたオーディオ信号を得るために、全ての必要なマトリクスを計算して、最後のステップとして、符号化されたオーディオ信号にそれらを適用する。これは異なるマトリクスの計算と、それらの個々の結合とを含む。
【０１８８】
実施の形態は両方の方法を結合する。
【０１８９】
図１０は、符号化されたオーディオ信号１００によって入力オーディオ・オブジェクト１１１の表現を提供するために、複数の（この例では５個の）入力オーディオ・オブジェクトを処理するための装置１０を図式的に示す。
【０１９０】
入力オーディオ・オブジェクト１１１は、ダウンミックス信号１０１の中に割り当てられ、または、ダウンミックスされる。示された実施の形態において、５つの入力オーディオ・オブジェクト１１１のうちの４つは、２つのダウンミックス信号１０１に割り当てられる。１つの入力オーディオ・オブジェクト１１１だけが、第３のダウンミックス信号１０１に割り当てられる。従って、５つの入力オーディオ・オブジェクト１１１は、３つのダウンミックス信号１０１に表現されている。
【０１９１】
後のこれらのダウンミックス信号１０１は、−ことによると、ステップを処理するのが見せられないいくつかに続き−、符号化されたオーディオ信号１００に結合される。
【０１９２】
そのような符号化されたオーディオ信号１００は、本発明の装置１に送られる。そのために、１つの実施の形態が図１１において示される。
【０１９３】
符号化されたオーディオ信号１００から、３つのダウンミックス信号１０１（図１０を比較しなさい）が取り出される。
【０１９４】
ダウンミックス信号１０１は、−示された例において−ダウンミックス信号１０２の２つグループに分類される。
【０１９５】
個々のダウンミックス信号１０１が、入力オーディオ・オブジェクトの与えられた数と関連するので、ダウンミックス信号１０２の個々のグループは、入力オーディオ・オブジェクトの与えられた数に関連する（対応する表現は入力ブジェクトである）。後に、ダウンミックス信号１０２の個々のグループは、符号化されたオーディオ信号１００によって符号化される複数の入力オーディオ・オブジェクトの入力オーディオ・オブジェクトのセットと関連する（図１０を比較しなさい）。
【０１９６】
分類は、示された実施の形態において、以下の圧縮の下で起こる。
１．個々の入力オーディオ・オブジェクト１１１は、入力オーディオ・オブジェクトのちょうど１つのセットに属し、従って、ダウンミックス信号１０２の１つのグループに属する。
２．個々の入力オーディオ・オブジェクト１１１は、符号化されたオーディオ信号において、ダウンミックス信号の異なるグループと関連付けられた異なるセットに属する入力オーディオ・オブジェクト１１１に信号で伝えられる関係を全然持たない。これは、符号化されたオーディオ信号が、規格のため、個々の入力オーディオ・オブジェクトの結合された計算を結果として生じるような情報を全然持たないことを意味する。
３．個々のグループ１０２内のダウンミックス信号１０１の数は最小化される。
【０１９７】
ダウンミックス信号１０２の（ここでは２つの）グループは、５つの入力オーディオ・オブジェクト１１１に対応する５つの出力オーディオ信号１０３を得るために、以下において個々に処理される。
【０１９８】
入力オーディオ・オブジェクト１１１の２つのペアをカバーする２つのダウンミックス信号１０１（図１０を比較しなさい）と関連するダウンミックス信号１０２の１つのグループは、４つの出力オーディオ信号１０３を得ることを可能にする。
【０１９９】
ダウンミックス信号１０２の他のグループは、単独のダウンミックス信号１０１として、１つの出力信号１０３をもたらす。あるいは、このダウンミックス信号１０２のグループ（より正確には、１つの信号のダウンミックス信号のグループ）は、１つの入力オーディオ・オブジェクト１１１に関連する（図１０を比較しなさい）。
【０２００】
５つの出力オーディオ信号１０３は、装置１の出力として、１つの復号化されたオーディオ信号１１０の中に結合される。
【０２０１】
図１１の実施の形態において、全ての処理ステップが、ダウンミックス信号１０２のグループについて個々に実行される。
【０２０２】
図１２において示された装置１の実施の形態は、ここに、図１１に示された装置１のように、図１０に示された装置１０によって得られたと同じ符号化されたオーディオ信号１００を受信する。
【０２０３】
符号化されたオーディオ信号１００から、（３つの輸送チャンネルに対して）３つのダウンミックス信号１０１が得られ、ダウンミックス信号１０２の２つのグループに分類される。これらのグループ１０２は、図１０において示された５つの入力オーディオ・オブジェクトに対応する５つの処理された信号１０４を得るために、個々に処理される。
【０２０４】
以下のステップにおいて、５つの処理された信号１０４から一緒に８つの出力オーディオ信号１０３が得られ、例えば、８つの出力チャネルのために使われるようにレンダリングされる。出力オーディオ信号１０３は、装置１から出力される復号化されたオーディオ信号１１０の中に結合される。この実施の形態において、共同の処理だけでなく個別の処理も、ダウンミックス信号１０２のグループについて実行される。
【０２０５】
図１３は、符号化されたオーディオ信号が復号化される本発明の方法の実施の形態のいくつかのステップを示す。
【０２０６】
ステップ２００において、ダウンミックス信号は、符号化されたオーディオ信号から取り出される。後続のステップ２０１において、ダウンミックス信号は、ダウンミックス信号のグループに割り当てられる。
【０２０７】
ステップ２０２において、ダウンミックス信号の個々のグループは、個々の分類結果を提供するために個々に処理される。グループの個々の処理は、符号化プロセスにおいて入力オーディオ・オブジェクトのダウンミックス化を経て結合されたオーディオ信号の表現を得るために、少なくとも非ミックス化を含む。１つの実施の形態−ここに示さない−において、個々の処理化は共同の処理化が続く。
【０２０８】
ステップ２０３において、これらの分類結果は、出力されるべき復号化されたオーディオ信号の中に結合される。
【０２０９】
図１４は、ダウンミックス信号１０２グループに、符号化されたオーディオ信号１００のダウンミックス信号１０１の分類が続く、全ての処理ステップが個々に実行される装置１の実施の形態をもう一度示す。ダウンミックス信号１０１によって、符号化されたオーディオ信号１００を受信する装置１は、ダウンミックス信号１０２のグループを提供するために、ダウンミックス信号１０１を分類する分類器２を含む。ダウンミックス信号１０２のグループは、ダウンミックス信号１０２の個々のグループについて全ての必要なステップを個々に実行するプロセッサ３によって処理される。ダウンミックス信号１０２のグループの処理の個々の分類結果は、装置１によって出力されるべき復号化されたオーディオ信号１１０を得るために、結合器４によって結合される出力オーディオ信号１０３である。
【０２１０】
図１５において示された装置１は、ダウンミックス信号１０１の分類に続いている図１４において示された実施の形態と異なる。例において、全ての処理ステップが、ダウンミックス信号１０２のグループについて個々に実行されるわけではないけれども、いくつかのステップは一緒に実行され、従って、ダウンミックス信号１０２の１つ以上のグループを考慮する。
【０２１１】
このため、この実施の形態のプロセッサ３は、ちょうどいくつかの又は少なくとも１つの処理ステップを個々に実行するように構成される。処理の結果は、ポストプロセッサ５によって一緒に処理される処理された信号１０４である。得られた出力オーディオ信号１０３は、復号化されたオーディオ信号１１０をもたらす結合器４によって最終的に結合される。
【０２１２】
図１６において、プロセッサ３は、ダウンミックス信号１０２のグループを受信し、出力オーディオ信号１０３を提供することが図式的に示される。
【０２１３】
プロセッサ３は、ダウンミックス信号１０２の個々のグループのダウンミックス信号１０１を非ミックスするように構成された非ミキサー３００を含む。従って、非ミキサー３００は、符号器によって個々のダウンミックス信号１０１の中に結合された個々の入力オーディオ・オブジェクトを再構成する。
【０２１４】
再構成された又は分離された入力オーディオ・オブジェクトは、レンダリング器３０２にレンダリングされる。レンダリング器３０２は、レンダリングされた信号１１２を提供するために、前記復号化されたオーディオ信号１１０の出力状況に対して、個々のグループの非ミックスされたダウンミックス信号をレンダリングするように構成される。従って、レンダリングされた信号１１２は、復号化されたオーディオ信号のリプレイシナリオの種類に適応される。レンダリングは、例えば使われるべきスピーカーの数に対して、それらの配置に、または復号化されたオーディオ信号のプレイによって得られるべき効果の種類に依存する。
【０２１５】
レンダリングされた信号１１２，Ｙdryは、さらに、前記レンダリングされた信号１１２に対して少なくとも１つの非相関ステップを実行するように構成され、そして、前記個々のレンダリングされた信号１１２，Ｙdryによって実行された非相関ステップの結果Ｙwetを結合するように構成されたポストミキサー３０３に提出される。従って、ポストミキサー３０３は、１つのダウンミックス信号の中で結合された信号と非相関するようにステップを実行する。
【０２１６】
結果として生じる出力オーディオ信号１０３は、最終的に、上に示されるような結合器に提出される。
【０２１７】
ステップに対して、プロセッサ３は、ここではプロセッサ３の異なるユニットから分離するけれども、代わりの−示されない−実施の形態において、それぞれ分類器３００およびレンダリング器３０２およびポストミキサー３０３の特性である計算機３０１に依存する。
【０２１８】
必要なマトリクスや値などは、ダウンミックス信号１０２の個々のグループについて個々に計算されるという事実が関連する。これは、例えば、計算されるべきマトリクスは従来技術において使われたマトリクスより小さいことを暗示する。マトリクスは、ダウンミックス信号のグループと関連付けられた入力オーディオ・オブジェクトの個々のセットの入力オーディオ・オブジェクトの数、および／または、ダウンミックス信号の個々のグループに属するダウンミックス信号の数に依存するサイズを持つ。
【０２１９】
従来技術において、非ミックスのために使われるマトリクスは、入力オーディオ・オブジェクトまたは入力オーディオ信号の数×この数のサイズを持つ。本発明は、ダウンミックス信号の個々のグループに属する入力オーディオ信号の数に依存するサイズによって、より小さいマトリクスを計算することを可能にする。
【０２２０】
図１７において、表現の目的が説明される。
【０２２１】
装置１は、符号化されたオーディオ信号１００を受信し、それを復号化して、復号化されたオーディオ信号１１０を提供する。
【０２２２】
この復号化されたオーディオ信号１１０は、特定の出力状況または出力シナリオ４００の中でプレイされる。復号化されたオーディオ信号１１０は、例において、５つのスピーカー４０１によって出力される：左と右、センター、左サラウンド、および右サラウンド。聴取者４０２は、センタースピーカーに面しているシナリオ４００の中央にいる。
【０２２３】
装置１のレンダリング器は、個々のスピーカー４０１に提供されるべき再構成されたオーディオ信号を分配し、従って、与えられた出力状況４００の中のオーディオ信号のソースとして、オリジナルのオーディオ・オブジェクトの再構成された表現を分配する。
【０２２４】
従って、レンダリングは、出力状況４００の種類に、および聴取者４０２の個々の趣向に依存する。
【０２２５】
いくつかの面が装置の文脈において説明されるけれども、これらの面は、ブロックまたは機器が方法ステップまたは方法ステップの特性に対応する、対応した方法の説明も表現することは明確である。相似的に、方法ステップの文脈において説明された面は、対応するブロックの説明または対応する装置のアイテムまたは特性も表現する。方法ステップのいくつかまたは全ては、例えば、マイクロプロセッサーやプログラム化可能なコンピュータや電子回路のように、ハードウェア装置によって（または使って）実行される。いくつかの実施の形態において、最も重要な方法ステップの１つ以上は、そのような装置によって実行される。
【０２２６】
所定の実施要件に依存することによって、本発明の実施の形態は、ハードウェアまたはソフトウェアまたは少なくとも一部ハードウェアまたは少なくとも一部ソフトウェアにおいて実施される。実施は、その上に格納された電子的に読み取り可能な制御信号を持つデジタル記憶媒体、例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュメモリを使って実行される。それは、個々の方法が実行されるように、プログラム化可能なコンピュータシステムと協力する（または、協働する可能性がある）。従って、デジタル格納媒体は読み取り可能なコンピュータであってもよい。
【０２２７】
本発明に応じたいくつかの実施の形態は、ここに説明された方法の１つが実行されるように、プログラム化可能なコンピュータシステムと協働する可能性がある電子的に読み取り可能な制御信号を持つデータキャリアを含む。
【０２２８】
一般に、本発明の実施の形態は、コンピュータプログラム製品がコンピュータにおいて稼働するとき、プログラムコードを持つコンピュータプログラム製品として、方法の１つを実行するために働くプログラムコードを実施する。例えば、プログラムコードは機械読み取り可能なキャリアに格納される。
【０２２９】
他の実施の形態は、ここに説明された方法の１つを実行するためのコンピュータプログラムを含み、機械読み取り可能なキャリアに格納される。
【０２３０】
すなわち、従って、本発明の方法の実施の形態は、コンピュータプログラムがコンピュータに対して稼動するとき、ここに説明された方法の１つを実行するためのプログラムコードを持つコンピュータプログラムである。
【０２３１】
従って、本発明の方法の別の実施の形態は、ここに説明された方法の１つを実行するためのコンピュータプログラムを（その上に記録された）含むデータキャリア（またはデジタル記憶媒体、またはコンピュータ可読メディア）、である。一般にデータキャリアまたはデジタル記憶媒体または記録されたメディアは、有形および／または無形である。
【０２３２】
従って、本発明の方法の別の実施の形態は、ここに説明された方法の１つを実行するためのコンピュータプログラムを表しているデータストリームまたは一連の信号である。例えば、データストリームまたは一連の信号は、データ通信接続を介して、例えばインターネットを介して送信されるように構成される。
【０２３３】
別の実施の形態は、ここに説明された方法の１つを実行するように構成された又は適応された処理手段、例えば、コンピュータまたはプログラム可能な論理デバイスを含む。
【０２３４】
別の実施の形態は、ここに説明された方法の１つを実行するためのコンピュータプログラムを、その上にインストールしているコンピュータを含む。
【０２３５】
本発明に応じた別の実施の形態は、ここに説明された方法の１つを実行するためのコンピュータプログラムを、（例えば、電子的または光学的に）受信機に転送するように構成された装置またはシステムを含む。例えば、受信機は、コンピュータ、モバイル機器、メモリー機器などである。例えば、装置またはシステムは、コンピュータプログラムを受信機に転送するためのファイルサーバーを含む。
【０２３６】
いくつかの実施の形態において、プログラム化可能な論理デバイス（例えば、フィールドプログラム化可能ゲートアレイ）は、ここに説明された方法の機能のいくつかまたは全てを実行するために使用される。いくつかの実施の形態において、ここに説明された方法の１つを実行するために、フィールドプログラム化可能ゲートアレイがマイクロプロセッサーと協働する。一般に、方法は、好ましくは、どのようなハードウェア装置によっても実行される。
【０２３７】
ここに説明された装置は、ハードウェア装置を使って、またはコンピュータを使って、またはハードウェア装置とコンピュータとの組み合わせを使って実施される。
【０２３８】
ここに説明された方法は、ハードウェア装置を使って、またはコンピュータを使って、またはハードウェア装置とコンピュータとの組み合わせを使って実行される。
【０２３９】
文献
[BCC]  C. Faller and F. Baumgarte, "Binaural Cue Coding - Part II: Schemes a        nd applications," IEEE Trans. on Speech and Audio Proc., vol. 11, no. 6,         Nov. 2003.
[ISS1] M. Parvaix and L. Girin: "Informed Source Separation of underdetermined i        nstantaneous Stereo Mixtures using Source Index Embedding", IEEE ICASSP,         2010.
[ISS2] M. Parvaix, L. Girin, J.-M. Brossier: "A watermarking-based method for in        formed source separation of audio signals with a single sensor", IEEE Tr        ansactions on Audio, Speech and Language Processing, 2010.
[ISS3] A. Liutkus, J. Pinel, R. Badeau, L. Girin, G. Richard: "Informed source s        eparation through spectrogram coding and data embedding", Signal Process        ing Journal, 2011.
[ISS4] A. Ozerov, A. Liutkus, R. Badeau, G. Richard: "Informed source separation        : source coding meets source separation", IEEE Workshop on Applications         of Signal Processing to Audio and Acoustics, 2011.
[ISS5] S. Zhang and L. Girin: "An Informed Source Separation System for Speech S        ignals", INTERSPEECH, 2011.
[ISS6] L. Girin and J. Pinel: "Informed Audio Source Separation from Compressed         Linear Stereo Mixtures", AES 42nd International Conference: Semantic Aud        io, 2011.
[JSC]  C. Faller, "Parametric Joint-Coding of Audio Sources", 120th AES Conventi        on, Paris, 2006.
[SAOC] ISO/IEC, "MPEG audio technologies ？ Part 2: Spatial Audio Object Coding         (SAOC)," ISO/IEC JTC1/SC29/WG11 (MPEG) International Standard 23003-2.
[SAOC1]       J. Herre, S. Disch, J. Hilpert, O. Hellmuth: "From SAC To SAOC - R        ecent Developments in Parametric Coding of Spatial Audio", 22nd Regional         UK AES Conference, Cambridge, UK, April 2007.
[SAOC2]       J. Engdegard, B. Resch, C. Falch, O. Hellmuth, J. Hilpert, A. Holz        er, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers and W. Oomen: "         Spatial Audio Object Coding (SAOC) ？ The Upcoming MPEG Standard on Par        ametric Object Based Audio Coding", 124th AES Convention, Amsterdam 2008        .
[SAOC3D]      ISO/IEC, JTC1/SC29/WG11 N14747, Text of ISO/MPEG 23008-3/DIS 3D Au        dio, Sapporo, July 2014.
[SAOC3D2]     J. Herre, J. Hilpert, A. Kuntz, and J. Plogsties, "MPEG-H Audio -         The new standard for universal spatial / 3D audio coding," 137th AES Con        vention, Los Angeles, 2011.
【図１】
2019219669.tif 000053
【図２】
2019219669.tif 000054
【図３】
2019219669.tif 000055
【図４】
2019219669.tif 000056
【図５】
2019219669.tif 000057
【図６】
2019219669.tif 000058
【図７】
2019219669.tif 000059
【図８】
2019219669.tif 000060
【図９（１）】
2019219669.tif 000061
【図９（２）】
2019219669.tif 000062
【図９（３）】
2019219669.tif 000063
【図１０】
2019219669.tif 000064
【図１１】
2019219669.tif 000065
【図１２】
2019219669.tif 000066
【図１３】
2019219669.tif 000067
【図１４】
2019219669.tif 000068
【図１５】
2019219669.tif 000069
【図１６】
2019219669.tif 000070
【図１７】
2019219669.tif 000071
【外国語明細書】
2019219669000001.pdf
2019219669000002.pdf
2019219669000003.pdf
2019219669000004.pdf