(57)【要約】  デコーダが提供される。デコーダは、３つ以上のダウンミックス信号をアップミキシングすることにより複数の第１推定オーディオオブジェクト信号を生成するパラメトリックデコード部（１１０）を備える。３つ以上のダウンミックス信号は、複数のオリジナルオーディオオブジェクト信号を符号化し、パラメトリックデコード部（１１０）は、複数のオリジナルオーディオオブジェクト信号を示すパラメトリック副情報に基づいて、３つ以上のダウンミックス信号をアップミキシングするように構成される。さらに、デコーダは、第１推定オーディオオブジェクト信号の１つ以上を変更修正することにより、複数の第２推定オーディオオブジェクト信号を生成する残差処理部（１２０）を備える。残差処理部（１２０）は、１つ以上の残差信号に基づいて、第１推定オーディオオブジェクト信号の１つ以上を変更修正するように構成される。【選択図】図１Ａ
2015529850.tif 000002
【特許請求の範囲】
【請求項１】
複数のオリジナルオーディオオブジェクト信号が符号化された３つ以上のダウンミックス信号を、前記複数のオリジナルオーディオ信号上の情報を示すパラメトリック副情報に基づいてアップミックスするよう構成され、前記３つ以上のダウンミックス信号をアップミックスすることにより、複数の第１推定オーディオオブジェクト信号を生成するパラメトリックデコード部（１１０）と、
１つ以上の残差信号に基づいて前記第１推定オーディオオブジェクト信号の１つ以上を変更修正するよう構成され、前記前記第１推定オーディオオブジェクト信号の１つ以上を変更修正することにより複数の第２推定オーディオオブジェクト信号を生成する残差処理部（１２０）と、
を備えるデコーダ。
【請求項２】
請求項１に記載のデコーダにおいて、
前記残差処理部（１２０）は、少なくとも３つの残差信号に基づいて前記第１推定オーディオオブジェクト信号の前記１つ以上を変更修正するよう構成され、
前記デコーダは、前記複数の第２推定オーディオオブジェクト信号に基づいて、少なくとも３つのオーディオ出力チャンネルを生成する、
デコーダ。
【請求項３】
請求項１または２に記載のデコーダにおいて、
前記複数の第２推定オーディオオブジェクト信号のうち、前記残差処理部（１２０）によって決定された１つ以上のオーディオオブジェクト信号を、前記３つ以上のダウンミックス信号から除去して、３つ以上の変更ダウンミックス信号を得るよう構成されたダウンミックス変更部（１４０）をさらに備え、
前記パラメトリックデコード部（１１０）は、前記３つ以上の変更ダウンミックス信号に基づいて、前記第１推定オーディオオブジェクト信号の１つ以上のオーディオオブジェクト信号を決定するよう構成された、
デコーダ。
【請求項４】
請求項３に記載のデコーダにおいて、
前記ダウンミックス変更部（１４０）は、
【数１】
2015529850.tif 000068
を適用して、前記複数の第２推定オーディオオブジェクトのうち、前記残差処理部（１２０）により決定された前記１つ以上のオーディオオブジェクト信号を、前記３つ以上のダウンミックス信号から除去して、３つ以上の変更ダウンミックス信号を得るよう構成され、
ここで、
Ｘは、変更修正される前の３つ以上のダウンミックス信号を示し、
Ｘ〜ｎｏｎＥＡＯは、前記３つ以上の変更ダウンミックス信号を示し、
Ｄは、ダウンミキシング情報を示し、
Ｓｅａｏは、前記複数の第２推定オーディオオブジェクト信号のうちの前記１つ以上のオーディオオブジェクト信号からなり、
Ｚ＊ｅａｏは、前記複数の第２推定オーディオオブジェクト信号のうちの前記１つ以上のオーディオオブジェクト信号の所在を示す、
デコーダ。
【請求項５】
請求項３または４に記載のデコーダにおいて、
前記デコーダは、２つ以上の反復ステップを実行する実施するよう構成され、
各反復ステップにおいて、前記パラメトリックデコード部（１１０）は、前記複数の第１推定オーディオオブジェクト信号のうちの１つのオーディオオブジェクト信号を決定するよう構成され、
その反復ステップにおいて、前記残差処理部（１２０）は、前記複数の第１推定オーディオオブジェクト信号のうちの前記１つのオーディオオブジェクト信号を変更修正することにより、前記複数の第２推定オーディオオブジェクト信号のうちの１つのオーディオオブジェクト信号を決定するよう構成され、
前記その反復ステップにおいて、前記ダウンミックス変更部（１４０）は、前記３つ以上のダウンミックス信号から、前記第２推定オーディオオブジェクト信号のうちの前記１つのオーディオオブジェクト信号を除去し、前記３つ以上のダウンミックス信号を変更修正するよう構成され、
前記その反復ステップの次に続く反復ステップにおいて、前記パラメトリックデコード部（１１０）は、変更修正された前記３つ以上のダウンミックス信号に基づいて、前記複数の第１推定オーディオオブジェクト信号のうちの１つのオーディオオブジェクト信号を決定するよう構成された、
デコーダ。
【請求項６】
請求項１から５のいずれか１項に記載のデコーダにおいて、前記１つ以上の残差信号はそれぞれ、前記複数のオリジナルオーディオオブジェクト信号の１つと前記１つ以上の第１推定オーディオオブジェクト信号の１つとの間の差異を示す、デコーダ。
【請求項７】
請求項１または２に記載のデコーダにおいて、
前記残差処理部（１２０）は、前記第１推定オーディオオブジェクト信号のうちの５つ以上を変更修正することにより、前記複数の第２推定オーディオオブジェクト信号を生成するよう構成され、
前記残差処理部（１２０）は、５つ以上の残差信号に基づいて、前記第１推定オーディオオブジェクト信号のうちの５つ以上を変更修正するよう構成された、
デコーダ。
【請求項８】
請求項１または２に記載のデコーダにおいて、前記複数の第２推定オーディオオブジェクト信号に基づきて、７つ以上のオーディオ出力チャンネルを生成するデコーダ。
【請求項９】
請求項１から８のいずれか１項に記載のデコーダにおいて、チャンネル推定係数を決定せずに前記複数の第２推定オーディオオブジェクト信号を決定するよう構成されたデコーダ。
【請求項１０】
請求項１から９のいずれか１項に記載のデコーダにおいて、ＳＡＯＣデコーダとして構成されたデコーダ。
【請求項１１】
複数のオリジナルオーディオオブジェクト信号が符号化された３つ以上のダウンミックス信号を、前記複数のオリジナルオーディオ信号上の情報を示すパラメトリック副情報に基づいてアップミックスするよう構成され、前記３つ以上のダウンミックス信号をアップミックスすることにより、複数の第１推定オーディオオブジェクト信号を生成するパラメトリックデコード部（２３０）と、
前記複数のオリジナルオーディオオブジェクトに基づいて、かつ前記複数の推定オーディオオブジェクト信号に基づいて、それぞれが前記複数のオリジナルオーディオオブジェクト信号の１つと前記複数の推定オーディオオブジェクト信号の１つとの間の差異を示す複数の残差信号を生成する残差推定部（２４０）と、
を備える残差信号生成器（２００）。
【請求項１２】
請求項１１に記載の残差信号生成器（２００）において、
前記３つ以上のダウンミックス信号を変更修正して３つ以上の変更ダウンミックス信号を得るよう構成されたダウンミックス変更部（２５０）をさらに備え、
前記パラメトリックデコード部（２３０）は、前記３つ以上の変更ダウンミックス信号に基づいて、前記第１推定オーディオオブジェクト信号のうちの１つ以上のオーディオオブジェクト信号を決定するよう構成された、
残差信号生成器。
【請求項１３】
請求項１２に記載の残差信号生成器（２００）において、前記ダウンミックス変更部（２５０）は、前記複数のオリジナルオーディオオブジェクト信号の１つ以上を、前記３つ以上のオリジナルダウンミックス信号から除去することにより、前記３つ以上のオリジナルダウンミックス信号を変更修正して３つ以上の変更ダウンミックス信号を得るよう構成された、残差信号生成器。
【請求項１４】
請求項１３に記載の残差信号生成器において、
前記ダウンミックス変更部（２５０）は、
【数２】
2015529850.tif 000069
を適用して、前記複数のオリジナルオーディオオブジェクト信号の前記１つ以上を、前記３つ以上のダウンミックス信号から除去して、３つ以上の変更ダウンミックス信号を得るよう構成され、
ここで、
Ｘは、変更修正される前の３つ以上のダウンミックス信号を示し、
Ｘ〜ｎｏｎＥＡＯは、前記３つ以上の変更ダウンミックス信号を示し、
Ｄは、ダウンミキシング情報を示し、
Ｓｅａｏは、前記複数の第２推定オーディオオブジェクト信号のうちの前記１つ以上のオーディオオブジェクト信号からなり、
Ｚ＊ｅａｏは、前記複数の第２推定オーディオオブジェクト信号のうちの前記１つ以上のオーディオオブジェクト信号の所在を示す、
残差信号生成器。
【請求項１５】
請求項１２に記載の残差信号生成器（２００）において、前記ダウンミックス変更部（２５０）は、前記推定オーディオオブジェクト信号の１つ以上に基づいて、かつ前記残差信号の１つ以上に基づいて、１つ以上の変更オーディオオブジェクト信号を生成することにより、さらに、前記１つ以上の変更オーディオオブジェクト信号を、前記３つ以上のオリジナルダウンミックス信号から除去することにより、前記３つ以上のオリジナルダウンミックス信号を変更修正して３つ以上の変更ダウンミックス信号を得るよう構成された、残差信号生成器。
【請求項１６】
請求項１５に記載の残差信号生成器において、
前記ダウンミックス変更部（２５０）は、
【数３】
2015529850.tif 000070
を適用して、前記複数のオリジナルオーディオオブジェクト信号の前記１つ以上を、前記３つ以上のダウンミックス信号から除去して、３つ以上の変更ダウンミックス信号を得るよう構成され、
ここで、
Ｘは、変更修正対象の３つ以上のダウンミックス信号を示し、
Ｘ〜ｎｏｎＥＡＯは、前記３つ以上の変更ダウンミックス信号を示し、
Ｄは、ダウンミキシング情報を示し、
Ｓｅａｏは、前記複数の第２推定オーディオオブジェクト信号のうちの前記１つ以上のオーディオオブジェクト信号からなり、
Ｚ＊ｅａｏは、前記複数の第２推定オーディオオブジェクト信号のうちの前記１つ以上のオーディオオブジェクト信号の所在を示す、
残差信号生成器。
【請求項１７】
請求項１２から１６のいずれか１項に記載の残差信号生成器（２００）において、
前記残差信号生成器（２００）は、２つ以上の反復ステップを実行するように構成され、
各反復ステップにおいて、前記パラメトリックデコード部（２３０）は、前記複数の推定オーディオオブジェクト信号のうちの１つのオーディオオブジェクト信号を決定するよう構成され、
その反復ステップにおいて、前記残差推定部（２４０）は、前記複数の推定オーディオオブジェクト信号のうちの前記１つのオーディオオブジェクト信号を変更修正することにより、前記複数の残差信号のうちの１つの残差信号を決定するよう構成され、
前記その反復ステップにおいて、前記ダウンミックス変更部（２５０）は、前記３つ以上のダウンミックス信号を変更修正するよう構成され、
前記その反復ステップの次の反復ステップにおいて、前記パラメトリックデコード部（２３０）は、変更修正された前記３つ以上のダウンミックス信号に基づいて、前記複数の推定オーディオオブジェクト信号のうちの１つのオーディオオブジェクト信号を決定するよう構成された
残差信号生成器。
【請求項１８】
請求項１１から１７のいずれか１項に記載の残差信号生成器（２００）において、前記残差推定部（２４０）は、前記複数のオリジナルオーディオオブジェクト信号のうち少なくとも５つのオリジナルオーディオオブジェクト信号に基づいて、かつ前記複数の推定オーディオオブジェクト信号のうち少なくとも５つの推定オーディオオブジェクト信号に基づいて、少なくとも５つの残差信号を生成するよう構成された、残差信号生成器。
【請求項１９】
３つ以上のダウンミックス信号を生成し、パラメトリック副情報を生成し、かつ複数の残差信号を生成することにより、複数のオリジナルオーディオオブジェクト信号を符号化するエンコーダであって、
前記複数のオリジナルオーディオオブジェクト信号のダウンミックスを示す３つ以上のダウンミックス信号を生成するダウンミックス生成器（２１０）と、
前記複数のオリジナルオーディオオブジェクト信号に関する情報を示す前記パラメトリック副情報を生成して、パラメトリック副情報を得るパラメトリック副情報推定器（２２０）と、
請求項１１から１８のいずれか１項に記載の残差信号生成器（２００）と、
を備え、
前記残差信号生成器（２００）の前記パラメトリックデコード部（２３０）は、前記パラメトリック副情報推定器（２２０）によって生成されたパラメトリック副情報に基づいて前記３つ以上のダウンミックス信号をアップミックスするよう構成され、前記ダウンミックス生成器（２１０）により提供される前記複数のオリジナルオーディオオブジェクト信号が符号化された前記３つ以上のダウンミックス信号をアップミックスすることによって、複数の推定オーディオオブジェクト信号を生成するよう構成され、
前記残差信号生成器（２００）の前記残差推定部（２４０）は、前記複数の残差信号を、前記複数のオリジナルオーディオオブジェクト信号に基づいて、かつ前記複数の推定オーディオオブジェクト信号に基づいて、それぞれが前記複数のオリジナルオーディオオブジェクト信号の１つと前記複数の推定オーディオオブジェクト信号の１つとの間の差異を示すように生成するよう構成された、
エンコーダ。
【請求項２０】
請求項１９に記載のエンコーダにおいて、前記エンコーダがＳＡＯＣエンコーダであることを特徴とする、エンコーダ。
【請求項２１】
３つ以上のダウンミックス信号、パラメトリック副情報および複数の残差信号を生成することにより、複数のオリジナルオーディオオブジェクト信号を符号化する請求項１９または２０に記載のエンコーダ（３１０）と、
請求項１から１０のいずれか１項に記載のデコーダ（３２０）と、
を備え、
前記デコーダ（３２０）は、前記エンコーダ（３１０）によって生成された前記３つ以上のダウンミックス信号、前記エンコーダ（３１０）によって生成された前記パラメトリック副情報、および前記エンコーダ（３１０）によって生成された前記複数の残差信号に基づき、複数の第２推定オーディオオブジェクト信号を生成するよう構成された
システム。
【請求項２２】
３つ以上のダウンミックス信号（４１０）と、パラメトリック副情報（４２０）と、複数の残差信号（４３０）とを有する符号化オーディオ信号において、
前記３つ以上のダウンミックス信号（４１０）は、複数のオリジナルオーディオオブジェクト信号をダウンミックスしたものであり、
前記パラメトリック副情報（４２０）には、前記複数のオリジナルオーディオオブジェクト信号に関する副情報を示すパラメータが含まれ、
前記複数の残差信号（４３０）のそれぞれは、前記複数のオリジナルオーディオ信号のうちの１つと複数の推定オーディオオブジェクト信号のうちの１つとの間の相違を示す相違信号である、
符号化オーディオ信号。
【請求項２３】
複数のオリジナルオーディオオブジェクト信号が符号化された３つ以上のダウンミックス信号を、前記複数のオリジナルオーディオオブジェクト信号上の情報を示すパラメトリック副情報に基づいてアップミキシングすることにより、複数の第１推定オーディオオブジェクト信号を生成し、
前記第１推定オーディオオブジェクト信号の１つ以上を、１つ以上の残差信号に基づき変更修正することにより、複数の第２推定オーディオオブジェクト信号を生成する
方法。
【請求項２４】
複数のオリジナルオーディオオブジェクト信号が符号化された３つ以上のダウンミックス信号を、前記複数のオリジナルオーディオオブジェクト信号上の情報を示すパラメトリック副情報に基づいてアップミキシングすることにより、複数の推定オーディオオブジェクト信号を生成し、
前記複数のオリジナルオーディオオブジェクト信号に基づいて、かつ前記複数の推定オーディオオブジェクト信号に基づいて、それぞれが前記複数のオリジナルオーディオオブジェクト信号の１つと前記複数の推定オーディオオブジェクト信号の１つとの間の差異を示す差異信号である複数の残差信号を生成する
方法。
【請求項２５】
コンピュータまたは信号プロセッサによって実行されるときに請求項２３または２４に記載の方法を実行するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号のエンコーディング、デコーディング、および処理に関し、より具体的には、パラメトリックオーディオオブジェクトコーディングのための残差コンセプトを採用するエンコーダ、デコーダ、および方法に関する。
【背景技術】
【０００２】
近年、複数のオーディオオブジェクトを有するオーディオシーンを、効率良いビットレートで送信／蓄積するためのパラメトリック技術が、オーディオコーディング（例えば、非特許文献１から５参照）およびインフォームドソース分離（例えば、非特許文献６から１１参照）の分野で提案されている。これらの技術は、送信および／または蓄積されたオーディオシーンおよび／またはそのオーディオシーンにおけるオーディオソースオブジェクトについて記述する追加的副情報を基礎として、所望の出力オーディオシーンまたは所望のオーディオソースオブジェクトを再構築することを目的とする。
【０００３】
図５は、ＳＡＯＣ（空間オーディオオブジェクトコーディング）システムの概略を示し、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）ＳＡＯＣの例を用いて、パラメトリックシステムの原理を示す（例えば、非特許文献５、３および４を参照）。
【０００４】
一般的処理は、時間／周波数を選択可能な態様により実行されるが、これについては以下の通り説明できる。
【０００５】
ＳＡＯＣエンコーダ５１０、特に、このＳＡＯＣエンコーダ５１０の副情報推定部５３０は、最大で３２個の入力オーディオオブジェクト信号Ｓ１〜Ｓ３２の特徴を記述する副情報を抽出する（最も簡易な形式では、オーディオオブジェクト信号のオブジェクト電力の関係）。ＳＡＯＣエンコーダ５１０のミキサー５２０は、オーディオオブジェクト信号Ｓ１〜Ｓ３２をダウンミックスし、ダウンミックスゲイン要素ｄ１，１〜ｄ３２，２を用いたモノラルまたは２チャンネル混合信号（つまり、１つまたは２つのダウンミックス信号）を生成する。
【０００６】
ダウンミックス信号と副情報は、送信あるいは蓄積される。このために、ダウンミックスオーディオ信号は、オーディオエンコーダ５４０を用いて符号化される。オーディオエンコーダ５４０としては、良く知られた知覚オーディオエンコーダを用いることができ、例えば、ＭＰＥＧ−１レイヤーＩＩまたはＩＩＩ（別名：ｍｐ３）オーディオエンコーダや、ＭＰＥＧアドバンスオーディオコーディング（ＡＡＣ）オーディオエンコーダなどを用いることができる。
【０００７】
受信側では、対応するオーディオデコーダ５５０、例えば、ＭＰＥＧ−１レイヤーＩＩまたはＩＩＩ（別名：ｍｐ３）オーディオデコーダやＭＰＥＧアドバンストオーディオコーディング（ＡＡＣ）オーディオデコーダなどの知覚オーディオデコーダが、符号化されたダウンミックスオーディオ信号をデコードする。
【０００８】
ＳＡＯＣデコーダ５６０は、概念的には、例えばヴァーチャルオブジェクト分離器５７０により、送信および／または蓄積された副情報を使って、１つまたは２つのダウンミックス信号から、オリジナルの（オーディオ）オブジェクト信号（「オブジェクト分離」）復元しようと試みる。そして、これらの近似（オーディオ）オブジェクト信号Ｓ１，ｅｓｔ〜Ｓ３２，ｅｓｔは、ＳＡＯＣデコーダ５６０のレンダラー５８０によって、レンダリングマトリックス（係数ｒ１，１〜ｒ３２，６により記述される）を用いて、最大で６個のオーディオ出力チャンネルｙ１，ｅｓｔ〜ｙ６，ｅｓにより示される目標シーンにミキシングされる。出力は、シングルチャンネル目標シーン、２チャンネルステレオ目標シーン、または５．１マルチチャンネル目標シーン（例えば、１、２または６のオーディオ出力信号）となる。
【０００９】
デコーダ側におけるオーディオオブジェクトのパラメトリック推定に根本的な制約があるため、ほとんどの場合、所望の出力シーンを完全に生成することはできない。例えば、１つのオーディオオブジェクトの単一再生などのように、極端な動作点においては、十分な主観的な音が処理によってはもはや実現できないということがよくある。このために、拡張オーディオオブジェクト（ＥＡＯ）を導入することによって、ＳＡＯＣのシステムが拡張されてきた（例えば、非特許文献１２、さらには非特許文献５を参照）。ＥＡＯとしてエンコーダされたオーディオオブジェクトは、副情報レートの増加という負担はあるものの、同じダウンミックス信号にエンコードされた他の（通常の）非拡張オーディオオブジェクト（ｎｏｎ−ＥＡＯ）からの高い分離性能を示す。ＥＡＯコンセプトは、各ＥＡＯについて、パラメトリックモデルの推定エラー（残差信号）を考慮する。
【００１０】
図６は、エンコーダ側における残差推定を示し、各ＥＡＯの残差信号の算出を示す概略図である。ＳＡＯＣエンコーダにおいて、残差信号（４つのＥＡＯまで）は、抽出されたパラメトリック副情報（ＰＳＩ）と、波形が符号化されＳＡＯＣビットストリームに非パラメトリック残差副情報（ＲＳＩ）として導入されたオリジナルのソース信号とを用いて推定される。さらに詳しくは、ＥＡＯ用ＰＳＩ  ＳＡＯＣデコーダ６１０は、ダウンミックスＸから、推定オーディオオブジェクト信号Ｓｅｓｔ，ＥＡＯを生成する。そして、ＲＳＩ生成部６２０は、生成された推定オーディオオブジェクト信号Ｓｅｓｔ，ＥＡＯおよびオリジナルのＥＡＯオーディオオブジェクト信号Ｓ１〜Ｓ４に基づき、４つまでの残差信号Ｓｒｅｓ，ＲＳＩ｛１〜４｝を生成する。
【００１１】
図７は、ＥＡＯ支援のあるＳＡＯＣデコーダの基本構成を示し、ＳＡＯＣデコーディング／トランスコーディング（あるエンコーディングから別のエンコーディングへのデータ変換）のチェーンに組み込まれたＥＡＯ処理スキームの概念的概略図である。
【００１２】
ダウンミックス信号志向のパラメータ、すなわちチャンネル推定係数（ＣＰＣ）が、ＣＰＣ推定部７１０により、パラメトリック副情報（ＰＳＩ）から導き出される。
【００１３】
ＣＰＣおよびダウンミックス信号は、２対Ｎ（Ｔｗｏ−ｔｏ−Ｎ）ボックス（ＴＴＮボックス）７２０に入力される。ＴＴＮボックス７２０は、送信ダウンミックス信号（Ｘ）からＥＡＯ（Ｓｅａｔ，ＥＡＯ）を推定して、非ＥＡＯのみから構成される推定非ＥＡＯダウンミックス（Ｘｅｓｔ，ｎｏｎＥＡＯ）を提供するようコンセプトとして試みる。
【００１４】
送信／蓄積されデコードされた残差信号（Ｓｒｅｓ，ＲＳＩ）は、ＲＳＩ処理部７３０により用いられ、ＥＡＯ（Ｓｅｓｔ，ＥＡＯ）および対応する非ＥＡＯオブジェクト（ＸｎｏｎＥＡＯ）のみのダウンミックスの推定値を向上させる。
【００１５】
先行技術によると、次のステップにおいて、ＲＳＩ処理部７３０は、非ＥＡＯダウンミックス信号（ＸｎｏｎＥＡＯ）をＳＡＯＣダウンミックス処理器（ＰＳＩデコーディング部）７４０に供給し、ＰＳＩデコーディング部７４０は、非ＥＡＯオブジェクトＳｅｓｔ，ｎｏｎＥＡＯを推定する。ＰＳＩデコーディング部７４０は、推定非ＥＡＯオーディオオブジェクトＳｅｓｔ，ｎｏｎＥＡＯを、レンダリング部７５０に渡す。さらに、ＲＳＩ処理部は、改善されたＥＡＯ、Ｓ＾ｅｓｔ，ＥＡＯをレンダリング部７５０に直接入力する。そして、レンダリング部７５０は、推定非ＥＡＯオーディオオブジェクトＳｅｓｔ，ｎｏｎＥＡＯおよび改善されたＥＡＯ、Ｓ＾ｅｓｔ，ＥＡＯに基づき、モノラルまたはステレオ出力信号を生成する。
【先行技術文献】
【非特許文献】
【００１６】
【非特許文献１】Ｃ．Ｆａｌｌｅｒ  ａｎｄ  Ｆ．Ｂａｕｍｇａｒｔｅ，“Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ  -  Ｐａｒｔ  ＩＩ：Ｓｃｈｅｍｅｓ  ａｎｄ  ａｐｐｌｉｃａｔｉｏｎｓ”，ＩＥＥＥ  Ｔｒａｎｓ．  ｏｎ  Ｓｐｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  Ｐｒｏｃ．，  ｖｏｌ．１１，ｎｏ．６，Ｎｏｖ．２００３
【非特許文献２】Ｃ．Ｆａｌｌｅｒ，“Ｐａｒａｍｅｔｒｉｃ  Ｊｏｉｎｔ‐Ｃｏｄｉｎｇ  ｏｆ  Ａｕｄｉｏ  Ｓｏｕｒｃｅｓ”，１２０ｔｈ  ＡＥＳ  Ｃｏｎｖｅｎｔｉｏｎ，Ｐａｒｉｓ，２００６
【非特許文献３】Ｊ．Ｈｅｒｒｅ，Ｓ．Ｄｉｓｃｈ，Ｊ．Ｈｉｌｐｅｒｔ，Ｏ．Ｈｅｌｌｍｕｔｈ：“Ｆｒｏｍ  ＳＡＣ  Ｔｏ  ＳＡＯＣ  ‐  Ｒｅｃｅｎｔ  Ｄｅｖｅｌｏｐｍｅｎｔｓ  ｉｎ  Ｐａｒａｍｅｔｒｉｃ  Ｃｏｄｉｎｇ  ｏｆ  Ｓｐａｔｉａｌ  Ａｕｄｉｏ”，  ２２ｎｄ  Ｒｅｇｉｏｎａｌ  ＵＫ  ＡＥＳ  Ｃｏｎｆｅｒｅｎｃｅ，Ｃａｍｂｒｉｄｇｅ，ＵＫ，Ａｐｒｉｌ  ２００７
【非特許文献４】Ｊ．Ｅｎｇｄｅｇａｅｒｄ，Ｂ．Ｒｅｓｃｈ，Ｃ．Ｆａｌｃｈ，Ｏ．Ｈｅｌｌｍｕｔｈ，Ｊ．Ｈｉｌｐｅｒｔ，Ａ．Ｈａｅｌｚｅｒ，Ｌ．Ｔｅｒｅｎｔｉｅｖ，Ｊ．Ｂｒｅｅｂａａｒｔ，  Ｊ．Ｋｏｐｐｅｎｓ，Ｅ．Ｓｃｈｕｉｊｅｒｓ  ａｎｄ  Ｗ．Ｏｏｍｅｎ：“Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｏｂｊｅｃｔ  Ｃｏｄｉｎｇ  （ＳＡＯＣ）  −  Ｔｈｅ  Ｕｐｃｏｍｉｎｇ  ＭＰＥＧ  Ｓｔａｎｄａｒｄ  ｏｎ  Ｐａｒａｍｅｔｒｉｃ  Ｏｂｊｅｃｔ  Ｂａｓｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ”，１２４ｔｈ  ＡＥＳ  Ｃｏｎｖｅｎｔｉｏｎ，Ａｍｓｔｅｒｄａｍ  ２００８
【非特許文献５】ＩＳＯ／ＩＥＣ，“ＭＰＥＧ  ａｕｄｉｏ  ｔｅｃｈｎｏｌｏｇｉｅｓ  ‐  Ｐａｒｔ  ２：Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｏｂｊｅｃｔ  Ｃｏｄｉｎｇ  （ＳＡＯＣ）”，ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１  （ＭＰＥＧ）  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ  ２３００３‐２：２０１０．
【非特許文献６】Ｍ．Ｐａｒｖａｉｘ  ａｎｄ  Ｌ．Ｇｉｒｉｎ：“Ｉｎｆｏｒｍｅｄ  Ｓｏｕｒｃｅ  Ｓｅｐａｒａｔｉｏｎ  ｏｆ  ｕｎｄｅｒｄｅｔｅｒｍｉｎｅｄ  ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｓｔｅｒｅｏ  Ｍｉｘｔｕｒｅｓ  ｕｓｉｎｇ  Ｓｏｕｒｃｅ  Ｉｎｄｅｘ  Ｅｍｂｅｄｄｉｎｇ”，ＩＥＥＥ  ＩＣＡＳＳＰ，２０１０
【非特許文献７】Ｍ．Ｐａｒｖａｉｘ，Ｌ．Ｇｉｒｉｎ，Ｊ．Ｍ．Ｂｒｏｓｓｉｅｒ：“Ａ  ｗａｔｅｒｍａｒｋｉｎｇ‐ｂａｓｅｄ  ｍｅｔｈｏｄ  ｆｏｒ  ｉｎｆｏｒｍｅｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ  ｏｆ  ａｕｄｉｏ  ｓｉｇｎａｌｓ  ｗｉｔｈ  ａ  ｓｉｎｇｌｅ  ｓｅｎｓｏｒ”，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ａｕｄｉｏ，Ｓｐｅｅｃｈ  ａｎｄ  Ｌａｎｇｕａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，２０１０
【非特許文献８】Ａ．Ｌｉｕｔｋｕｓｒ，Ｊ．Ｐｉｎｅｌ，Ｒ．Ｂａｄｅａｕ，Ｌ．Ｇｉｒｉｎ，Ｇ．Ｒｉｃｈａｒｄ：“Ｉｎｆｏｒｍｅｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ  ｔｈｒｏｕｇｈ  ｓｐｅｃｔｒｏｇｒａｍ  ｃｏｄｉｎｇ  ａｎｄ  ｄａｔａ  ｅｍｂｅｄｄｉｎｇ”，Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｊｏｕｒｎａｌ，２０１１
【非特許文献９】Ａ．Ｏｚｅｒｏｖ，Ａ．Ｌｉｕｔｋｕｓ，Ｒ．Ｂａｄｅａｕ，Ｇ．Ｒｉｃｈａｒｄ：“Ｉｎｆｏｒｍｅｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ：ｓｏｕｒｃｅ  ｃｏｄｉｎｇ  ｍｅｅｔｓ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ”，ＩＥＥＥ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ａｐｐｌｉｃａｔｉｏｎｓ  ｏｆ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  ｔｏ  Ａｕｄｉｏ  ａｎｄ  Ａｃｏｕｓｔｉｃｓ，  ２０１１
【非特許文献１０】Ｓｈｕｈｕａ  Ｚｈａｎｇ  ａｎｄ  Ｌａｕｒｅｎｔ  Ｇｉｒｉｎ：“Ａｎ  Ｉｎｆｏｒｍｅｄ  Ｓｏｕｒｃｅ  Ｓｅｐａｒａｔｉｏｎ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｓｐｅｅｃｈ  Ｓｉｇｎａｌｓ”，ＩＮＴＥＲＳＰＥＥＣＨ，２０１１
【非特許文献１１】Ｌ．Ｇｉｒｉｎ  ａｎｄ  Ｊ．Ｐｉｎｅｌ：“Ｉｎｆｏｒｍｅｄ  Ａｕｄｉｏ  Ｓｏｕｒｃｅ  Ｓｅｐａｒａｔｉｏｎ  ｆｒｏｍ  Ｃｏｍｐｒｅｓｓｅｄ  Ｌｉｎｅａｒ  Ｓｔｅｒｅｏ  Ｍｉｘｔｕｒｅｓ”，ＡＥＳ  ４２ｎｄ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ：Ｓｅｍａｎｔｉｃ  Ａｕｄｉｏ，２０１１
【非特許文献１２】Ｃ．Ｆａｌｃｈ，Ｌ．Ｔｅｒｅｎｔｉｅｖ  ａｎｄ  Ｊ．Ｈｅｒｒｅ：“Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｏｂｊｅｃｔ  Ｃｏｄｉｎｇ  ｗｉｔｈ  Ｅｎｈａｎｃｅｄ  Ａｕｄｉｏ  Ｏｂｊｅｃｔ  Ｓｅｐａｒａｔｉｏｎ”，１０ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｄｉｇｉｔａｌ  Ａｕｄｉｏ  Ｅｆｆｅｃｔｓ，２０１０
【発明の概要】
【発明が解決しようとする課題】
【００１７】
先行技術システムには、以下のような課題がある。
【００１８】
残差信号を適用してＳＡＯＣデコーダでＥＡＯを計算する前に、ダウンミックス志向のＣＰＣが、送信／蓄積されたパラメトリック副情報から算出される必要がある。
【００１９】
全てのダウンミックス信号は、そのＥＡＯ処理における有用性に拘わらず、ＳＡＯＣ残差コンセプト内において処理されなければならない。
【００２０】
ＳＡＯＣ残差コンセプトは、ＴＴＮボックス制限のため、単一または２チャンネル混合信号と組み合わせてのみ使用可能である。ＥＡＯ残差コンセプトは、例えば５．１マルチチャンネル混合信号などのようなマルチチャンネル混合信号と組み合わせて使用することができない。
さらに、その推定の対応する計算上の煩雑さのため、ＳＡＯＣ  ＥＡＯ処理は、ＥＡＯの数に制限を設定している（つまり４までという制限）。
【００２１】
この制限のため、ＳＡＯＣ  ＥＡＯ残差取り扱いコンセプトは、マルチチャンネル（例えば５．１）ダウンミックス信号には適用できず、また４を超えるＥＡＯには使用できない。
【００２２】
したがって、オーディオ信号エンコーディング、オーディオ信号デコーディング、およびオーディオ信号処理についてのコンセプトが改善されることが非常に重視される。
【課題を解決するための手段】
【００２３】
本発明の目的は、オーディオ信号エンコーディング、オーディオ信号デコーディング、およびオーディオ信号処理についてのコンセプトの改善を行うことである。また、本発明の目的は、請求項１に記載のデコーダ、請求項１１に記載の残差信号生成器、請求項１９に記載のエンコーダ、請求項２１に記載のシステム、請求項２２に記載の符号化信号、請求項２３に記載の方法、請求項２４に記載の方法および請求項２５に記載のコンピュータプログラムによって解決される。
【００２４】
デコーダが提供される。このデコーダは、３つ以上のダウンミックス信号をアップミキシングすることにより複数の第１推定オーディオオブジェクト信号を生成するパラメトリックデコード部を備える。上述の３つ以上のダウンミックス信号には、複数のオリジナルオーディオオブジェクト信号が符号化されており、パラメトリックデコード部は、複数のオリジナルオーディオオブジェクト信号を示すパラメトリック副情報に基づき、３つ以上のダウンミックス信号をアップミキシングするよう構成される。さらにこのデコーダは、上述の第１推定オーディオオブジェクト信号の１つ以上を変更修正することにより、複数の第２推定オーディオオブジェクト信号を生成する残差処理部を備える。残差処理部は、１つ以上の残差信号に基づき、第１推定オーディオオブジェクト信号の１つ以上を変更修正するよう構成される。
【００２５】
実施形態によると、ＥＡＯの感性品質を改善するオブジェクト志向の残差コンセプトが提供される。従来のシステムと異なり、この提供されるコンセプトにおいて、ダウンミックス信号の数やＥＡＯの数は制限されない。オブジェクト関連の残差信号を導き出す２つの方法が提供される。ひとつはカスケードコンセプトであり、計算が複雑になるという代償はあるものの、残差信号のエネルギーが、ＥＡＯの数の増加ととともに反復的に削減する。もうひとつのは計算の複雑さが少ないコンセプトであり、全ての残差が同時に推定される。
【００２６】
さらに、実施形態によると、デコーダ側においてオブジェクト志向の残差信号を適用する改善されたコンセプトが提供され、デコーダ側においてＥＡＯのみが処理される適用形態、または非ＥＡＯの変更修正が利得の拡大縮小に限定されている適用形態のために設計された複雑性を低減したコンセプトが提供される。
【００２７】
一実施形態によると、残差処理部は、少なくとも３つの残差信号に基づき、１つ以上の第１推定オーディオオブジェクト信号を変更修正するよう構成される。当該デコーダは、複数の第２推定オーディオオブジェクト信号に基づき、少なくとも３つのオーディオ出力チャンネルを生成するよう構成される。    
【００２８】
一実施形態によると、デコーダは、さらにダウンミックス変更部を備えることができる。残差処理部は、複数の第２推定オーディオオブジェクト信号のうち、１つ以上のオーディオオブジェクト信号を決定することができる。ダウンミックス変更部は、決定された１つ以上の第２推定オーディオオブジェクト信号を、３つ以上のダウンミックス信号から除去し、３つ以上の変更ダウンミックス信号を得るよう構成される。パラメトリックデコード部は、第１推定オーディオオブジェクト信号における１つ以上のオーディオオブジェクト信号を、３つ以上の変更ダウンミックス信号に基づき決定するよう構成される。
【００２９】
特定の実施形態においては、ダウンミックス変更部は、例えば、次式を適用するよう構成される。
【数１】
2015529850.tif 000003
【００３０】
さらに、デコーダは、２つ以上の反復ステップを実行するよう構成されてもよい。各反復ステップにおいて、パラメトリックデコード部は、複数の第１推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成されてる。さらに、各反復ステップにおいて、残差処理部は、当該複数の第１推定オーディオオブジェクト信号における当該１つのオーディオオブジェクト信号を変更修正することによって、複数の第２推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成される。さらに、その反復ステップにおいて、ダウンミックス変更部は、３つ以上のダウンミックス信号から当該複数の第２推定オーディオオブジェクト信号における当該１つのオーディオオブジェクト信号を除去して、３つ以上のダウンミックス信号を変更修正するよう構成される。その反復ステップの次の反復ステップにおいて、パラメトリックデコード部は、変更された３つ以上のダウンミックス信号に基づいて、複数の第１推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号のみを決定するよう構成される。
【００３１】
一実施形態においては、１つ以上の残差信号のそれぞれが、複数のオリジナルオーディオオブジェクト信号の１つと複数の第１推定オーディオオブジェクト信号の１つとの間の相違を示すことができる。
【００３２】
一実施形態において、残差処理部は、第１推定オーディオオブジェクト信号を５つ以上変更修正することにより、複数の第２推定オーディオオブジェクト信号を生成するよう構成されてもよく、また残差処理部は、５つ以上の残差信号に基づいて、第１推定オーディオオブジェクト信号のうち５つ以上を変更修正するよう構成されてもよい。
【００３３】
他の実施形態においては、デコーダは、７つ以上のオーディオ出力チャンネルを、複数の第２オーディオオブジェクト信号に基づいて生成するよう構成されてもよい。
【００３４】
さらに他の実施形態によれば、デコーダは、複数の第２推定オーディオオブジェクト信号を決定するためのチャンネル予測係数を決定しないよう構成されてもよい。実施形態によると、従来のＳＡＯＣでのデコードについては、チャンネル予測係数の計算が必要であったが、これが必要となくなるコンセプトが提供される。
【００３５】
さらに他の実施形態においては、デコーダがＳＡＯＣデコーダであってもよい。
【００３６】
さらに、残差信号生成器が提供される。この残差信号生成器は、３つ以上のダウンミックス信号をアップミキシングすることにより複数の推定オーディオオブジェクト信号を生成するパラメトリックデコード部を備える。３つ以上のダウンミックス信号には、複数のオリジナルオーディオオブジェクト信号が符号化され、パラメトリックデコード部は、複数のオリジナルオーディオオブジェクト信号上の情報を示すパラメトリック副情報に基づき、３つ以上のダウンミックス信号をアップミキシングするよう構成される。さらに、この残差信号生成器は、複数のオリジナルオーディオオブジェクトに基づいて、かつ複数の推定オーディオオブジェクト信号に基づいて、それぞれが複数のオリジナルオーディオオブジェクト信号の１つと複数の推定オーディオオブジェクト信号の１つとの間の差異を示す複数の残差信号を生成する残差推定部を備える。
【００３７】
一実施形態において、残差推定部は、複数のオリジナルオーディオオブジェクト信号のうち少なくとも５つのオリジナルオーディオオブジェクト信号に基づいて、かつ複数の推定オーディオオブジェクト信号のうち少なくとも５つの推定オーディオオブジェクト信号に基づいて、少なくとも５つの残差信号を生成するよう構成されてもよい。
【００３８】
一実施形態において、残差信号生成器は、３つ以上のダウンミックス信号を変更修正して、３つ以上の変更ダウンミックス信号を得るよう構成されたダウンミックス変更部をさらに備えることができる。パラメトリックデコード部は、第１推定オーディオオブジェクト信号における１つ以上のオーディオオブジェクト信号を、３つ以上の変更ダウンミックス信号に基づいて決定するよう構成されてもよい。
【００３９】
一実施形態において、ダウンミックス変更部は、例えば、３つ以上のオリジナルダウンミックス信号から、複数のオリジナルオーディオオブジェクト信号のうち１つ以上の信号を取り除くことにより、３つ以上のオリジナルダウンミックス信号を変更修正し、３つ以上の変更ダウンミックス信号を得るよう構成されてもよい。
【００４０】
他の実施形態においては、ダウンミックス変更部は、例えば、推定オーディオオブジェクト信号の１つ以上に基づいて、かつ残差信号の１つ以上に基づいて、１つ以上の変更オーディオオブジェクト信号を生成することにより、さらに、その１つ以上の変更オーディオオブジェクト信号を、当該３つ以上のオリジナルダウンミックス信号から除去することにより、当該３つ以上のオリジナルダウンミックス信号を変更修正して３つ以上の変更ダウンミックス信号を得るよう構成されてもよい。例えば、１つ以上の変更オーディオオブジェクト信号は各々、ダウンミックス変更部によって、推定オーディオオブジェクト信号の１つを変更修正することにより生成されてもよい。この場合、ダウンミックス変更部は、当該推定オーディオオブジェクト信号を、１つ以上の残差信号に基づき変更修正するよう構成されてもよい。
【００４１】
上述の２つの実施形態のいずれにおいても、ダウンミックス変更部は、例えば、
【数２】
2015529850.tif 000004
を適用して、複数のオリジナルオーディオオブジェクト信号の１つ以上を、３つ以上のダウンミックス信号から除去して、３つ以上の変更ダウンミックス信号を得るよう構成されることができる。ここで、Ｘは、変更修正対象の３つ以上のダウンミックス信号を示し、Ｄは、ダウンミキシング情報を示し、Ｓｅａｏは、複数の第２推定オーディオオブジェクト信号のうちの当該１つ以上のオーディオオブジェクト信号からなり、Ｚ＊ｅａｏは、複数の第２推定オーディオオブジェクト信号のうちの当該１つ以上のオーディオオブジェクト信号の所在を示し、Ｘ〜は、３つ以上の変更ダウンミックス信号である。例えば、あるオーディオオブジェクト信号の所在（位置）は、全てのオブジェクトリストにおける当該オブジェクトの所在（位置）に相当する。
【００４２】
一実施形態によると、残差信号生成器は、２つ以上の反復ステップを実行するよう構成されてもよい。各反復ステップにおいて、パラメトリックデコード部は、複数の推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成されてもよい。さらに、当該反復ステップにおいて、残差推定部は、当該複数の推定オーディオオブジェクト信号における当該１つのオーディオオブジェクト信号を変更修正することによって、複数の残差信号のうちのまさに１つの残差信号のみを決定するよう構成されてもよい。さらに、当該反復ステップにおいて、ダウンミックス変更部は、３つ以上のダウンミックス信号を変更修正するよう構成されてもよい。当該反復ステップの次の反復ステップにおいて、パラメトリックデコード部は、変更された３つ以上のダウンミックス信号に基づいて、複数の推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成されてもよい。
【００４３】
一実施形態において、３つ以上のダウンミックス信号を生成し、パラメトリック副情報を生成し、かつ複数の残差信号を生成することにより、複数のオリジナルオーディオオブジェクト信号を符号化するエンコーダが提供される。このエンコーダは、複数のオリジナルオーディオオブジェクト信号のダウンミックスを示す３つ以上のダウンミックス信号を生成するダウンミックス生成器を備える。さらに、このエンコーダは、複数のオリジナルオーディオオブジェクト信号に関する情報を示すパラメトリック副情報を生成して、パラメトリック副情報を得るパラメトリック副情報推定器を備える。さらにこのエンコーダは、上述の実施形態のいずれかによる残差信号生成器を備える。残差信号生成器のパラメトリックデコード部は、ダウンミックス生成器により提供される３つ以上のダウンミックスをアップミキシングすることによって、複数の推定オーディオオブジェクト信号を生成するよう構成され、このダウンミックス信号には、複数のオリジナルオーディオオブジェクト信号が符号化される。パラメトリックデコード部は、３つ以上のダウンミックス信号を、パラメトリック副情報推定器によって生成されたパラメトリック副情報に基づいてアップミキシングするよう構成される。残差信号生成器の残差推定部は、複数のオーディオオブジェクト信号に基づいて、かつ複数の推定オーディオオブジェクト信号に基づいて、複数の残差信号を生成し、複数の残差信号は各々、複数のオリジナルオーディオオブジェクト信号の１つと複数の推定オーディオオブジェクト信号の１つとの間の差異を示すよう構成されている。
【００４４】
一実施形態において、エンコーダはＳＡＯＣエンコーダである。
【００４５】
さらに、システムが提供される。このシステムは、上述の実施形態のいずれかによるエンコーダを備え、このエンコーダは、３つ以上のダウンミックス信号、パラメトリック副情報および複数の残差信号を生成することによって、複数のオリジナルオーディオオブジェクト信号を符号化する。さらに、このシステムは、上述の実施形態のいずれかによるデコーダを備え、このデコーダは、エンコーダによって生成された３つ以上のダウンミックス信号、エンコーダによって生成されたパラメトリック副情報、およびエンコーダによって生成された複数の残差信号に基づき、複数のオーディオ出力チャンネルを生成するよう構成される。
【００４６】
さらに、符号化オーディオ信号が提供される。この符号化オーディオ信号には、３つ以上のダウンミックス信号、パラメトリック副情報、および複数の残差信号が含まれる。３つ以上のダウンミックス信号は、複数のオリジナルオーディオオブジェクト信号をダウンミックスしたものである。パラメトリック副情報には、複数のオリジナルオーディオオブジェクト信号上の副情報を示すパラメータが含まれる。複数の残差信号のそれぞれは、複数のオリジナルオーディオ信号のうちの１つと複数の推定オーディオオブジェクト信号のうちの１つとの間の相違を示す相違信号である。
【００４７】
さらに、方法が提供される。この方法は、複数のオリジナルオーディオオブジェクト信号が符号化された３つ以上のダウンミックス信号を、複数のオリジナルオーディオオブジェクト信号上の情報を示すパラメトリック副情報に基づいてアップミキシングすることにより、複数の第１推定オーディオオブジェクト信号を生成し、第１推定オーディオオブジェクト信号の１つ以上を、１つ以上の残差信号に基づき変更修正することにより、複数の第２推定オーディオオブジェクト信号を生成することを含む。
【００４８】
さらに、別の方法が提供される。この方法は、複数のオリジナルオーディオオブジェクト信号が符号化された３つ以上のダウンミックス信号を、複数のオリジナルオーディオオブジェクト信号上の情報を示すパラメトリック副情報に基づいてアップミキシングすることにより、複数の推定オーディオオブジェクト信号を生成し、複数のオリジナルオーディオオブジェクト信号に基づいて、かつ複数の推定オーディオオブジェクト信号に基づいて、それぞれが複数のオリジナルオーディオオブジェクト信号の１つと複数の推定オーディオオブジェクト信号の１つとの間の差異を示す差異信号である複数の残差信号を生成することを含む。
【００４９】
さらに、コンピュータまたは信号プロセッサによって実行されるとき、上述のいずれかの方法を実行するためのコンピュータプログラムが提供される。
【００５０】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
【図面の簡単な説明】
【００５１】
【図１Ａ】一実施形態によるデコーダを示す。
【図１Ｂ】別の実施形態であって、レンダラーをさらに備えるデコーダを示す。
【図２Ａ】一実施形態による残差信号生成器を示す。
【図２Ｂ】一実施形態によるエンコーダを示す。
【図３】一実施形態によるシステムを示す。
【図４】一実施形態による符号化オーディオ信号を示す。
【図５】ＳＡＯＣシステム概略図であり、ＭＥＰＧ  ＳＡＯＣの例を用いて、そのようなパラメトリックシステムの原理を示す
【図６】エンコーダ側における残差推定を示し、各ＥＡＯの残差信号計算の概略を示す。
【図７】ＥＡＯサポートを含むＳＡＯＣデコーダの基本構成を示し、ＳＡＯＣデコーディング／トランスコーディング（あるエンコーディングから別のエンコーディングへのデータ変換）の連鎖に組み込まれたＥＡＯ処理スキームの概念概略図である。
【図８】一実施形態により提供された、パラメトリックおよび残差に基づくオーディオオブジェクトコーディングの仕組みを概念的に示した概略図である。
【図９】一実施形態による、各ＥＡＯ信号のための残差信号をエンコーダ側で一体的に推定するコンセプトを示す。
【図１０】一実施形態による、デコーダ側での一体残差デコーディングのコンセプトを示す。
【図１１】一実施形態による、ダウンミックス変更部をさらに備える残差信号生成器を示す。
【図１２】一実施形態による、ダウンミックス変更部をさらに備えるデコーダを示す。
【図１３】一実施形態による、残差要素をカスケード形式によりエンコーダ側で算出するコンセプトを示す。
【図１４】一実施形態による、デコーダ側でのカスケード残差算出とともに採用される、カスケードＲＳＩデコード部を示す。
【図１５】カスケードコンセプトを利用した、一実施形態による残差信号生成器を示す。
【図１６】カスケードコンセプトを採用した、一実施形態によるデコーダを示す。
【発明を実施するための形態】
【００５２】
図２Ａは、一実施形態による残差信号生成器２００を示す。
【００５３】
残差信号生成器２００は、複数の推定オーディオオブジェクト信号（推定オーディオオブジェクト信号＃１〜推定オーディオオブジェクト信号＃Ｍ）を、３つ以上のダウンミックス信号（ダウンミックス信号＃１、ダウンミックス信号＃２、ダウンミックス信号＃３、〜ダウンミックス信号＃Ｎ）をアップミキシングすることにより生成するパラメトリックデコード部２３０を備える。この３つ以上のダウンミックス信号（ダウンミックス信号＃１、ダウンミックス信号＃２、ダウンミックス信号＃３、〜ダウンミックス信号＃Ｎ）には、複数のオリジナルオーディオオブジェクト信号（オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍ）が符号化されている。パラメトリックデコード部２３０は、この３つ以上のダウンミックス信号（ダウンミックス信号＃１、ダウンミックス信号＃２、ダウンミックス信号＃３、〜ダウンミックス信号＃Ｎ）を、複数のオリジナルオーディオオブジェクト信号（オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍ）に関する情報を示すパラメトリック副情報に基づいて、アップミキシングするよう構成されている。
【００５４】
さらに、残差信号生成器２００は、複数のオリジナルオーディオオブジェクト信号（オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍ）に基づき、かつ複数の推定オーディオオブジェクト信号（推定オーディオオブジェクト＃１〜推定オーディオオブジェクト＃Ｍ）に基づき、複数の残差信号（残差信号＃１〜残差信号＃Ｍ）を生成する残差推定部２４０を備える。そして、複数の残差信号（残差信号＃１〜残差信号＃Ｍ）はそれぞれ、複数のオリジナルオーディオオブジェクト信号（オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍ）の１つと、複数の推定オーディオオブジェクト信号（推定オーディオオブジェクト＃１〜推定オーディオオブジェクト＃Ｍ）の１つと、の間の相違を示す相違信号となる。
【００５５】
上述の実施形態におけるエンコーダは、先行技術のＳＡＯＣ制限（非特許文献５参照）を克服している。
【００５６】
現行のＳＡＯＣシステムは、１つ以上の２対１ボックスまたは１つ以上の３対１ボックスを採用して、ダウンミキシングを実施する。とりわけ、これらの潜在的制限のため、現行のＳＡＯＣシステムは、オーディオオブジェクト信号を、最大で２つのダウンミックスチャンネル／２つのダウンミックス信号へとダウンミックスすることができる。
【００５７】
本発明による残差信号生成器およびエンコーダのコンセプトによると、３つ以上の送信チャンネルを採用している送信システムにおいてオーディオオブジェクトコーディングが好適となるよう、ＳＡＯＣの制限を克服することができる。
【００５８】
一実施形態において、残差推定部２４０は、複数のオリジナルオーディオオブジェクト信号のうち少なくとも５つのオリジナルオーディオオブジェクト信号に基づき、かつ複数の推定オーディオオブジェクト信号のうち少なくとも５つの推定オーディオオブジェクト信号に基づき、少なくとも５つの残差信号を生成するよう構成される。
図２Ｂは、一実施形態によるエンコーダを示す。図２Ｂのエンコーダは、残差信号生成器２００を備える。
【００５９】
さらに、このエンコーダは、複数のオリジナルオーディオオブジェクト信号（オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍ、さらなるオリジナルオーディオオブジェクト信号）のダウンミックスを示す、３つ以上のダウンミックス信号（ダウンミックス信号＃１、ダウンミックス信号＃２、ダウンミックス信号＃３、〜ダウンミックス信号＃Ｎ）を生成するダウンミックス生成器２１０を備える。
【００６０】
オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍについて、残差推定部２４０は、残差信号（残差信号＃１〜残差信号＃Ｍ）を生成する。したがって、オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍは、拡張オーディオオブジェクト（ＥＡＯ）と称される。
【００６１】
しかしながら、図２Ｂに示されるように、さらなるオリジナルオーディオオブジェクト信号が選択的に存在し、これはダウンミックスされるものの、残差信号は生成されない。したがって、これらのさらなるオーディオオブジェクト信号は、非拡張オーディオオブジェクト（非ＥＡＯ）と称される。
【００６２】
図２Ｂのエンコーダは、複数のオリジナルオーディオオブジェクト信号（オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍ、さらなるオリジナルオーディオオブジェクト信号）に関する情報を示すパラメトリック副情報を生成するパラメトリック副情報推定器２２０をさらに備える。これによってパラメトリック副情報を得る。図２Ｂの実施形態において、パラメトリック副情報推定器は、非ＥＡＯであるオリジナルオーディオオブジェクト信号（さらなるオリジナルオーディオオブジェクト信号）も考慮する。
【００６３】
一実施形態において、オリジナルオーディオオブジェクト信号の数は、例えば全てのオリジナルオーディオオブジェクト信号がＥＡＯであるとき、残差信号の数と等しくなってもよい。
【００６４】
しかしながら、その他の実施形態においては、残信号の数は、オリジナルオーディオオブジェクト信号の数と異なってもよく、例えばオリジナルオーディオオブジェクト信号が非ＥＡＯであるとき、推定オーディオオブジェクト信号の数と異なってもよい。
【００６５】
ある実施形態において、エンコーダは、ＳＡＯＣエンコーダである。
【００６６】
図１Ａは、一実施形態によるデコーダを示す。
【００６７】
デコーダは、３つ以上のダウンミックス信号（ダウンミックス信号＃１、ダウンミックス信号＃２、ダウンミックス信号＃３〜ダウンミックス信号＃Ｎ）をアップミキシングすることにより、複数の第一オーディオオブジェクト信号（第１オーディオオブジェクト信号＃１〜第１オーディオオブジェクト信号＃Ｍ）を生成するパラメトリックデコード部１１０を備える。ここで、この３つ以上のダウンミックス信号（ダウンミックス信号＃１、ダウンミックス信号＃２、ダウンミックス信号＃３〜ダウンミックス信号＃Ｎ）には、複数のオリジナルオーディオオブジェクト信号が符号化されている。パラメトリックデコード部１１０は、３つ以上のダウンミックス信号（ダウンミックス信号＃１、ダウンミックス信号＃２、ダウンミックス信号＃３〜ダウンミックス信号＃Ｎ）を、複数のオリジナルオーディオオブジェクト信号に関する情報を表示するパラマトリック副情報に基づき、アップミックスするよう構成されている。
【００６８】
さらに、デコーダは、１つ以上の第１推定オーディオオブジェクト信号（第１オーディオオブジェクト信号＃１〜第１オーディオオブジェクト信号＃Ｍ）を変更修正することによって、複数の第２推定オーディオオブジェクト信号（第２オーディオオブジェクト信号＃１〜第２オーディオオブジェクト信号＃Ｍ）を生成する残差処理部１２０を備える。この残差処理部１２０は、１つ以上の第１推定オーディオオブジェクト信号（第１オーディオオブジェクト信号＃１〜第１オーディオオブジェクト信号＃Ｍ）を、１つ以上の残差信号（残差信号＃１〜残差信号＃Ｍ）に基づき、変更修正する。
【００６９】
上述の実施形態におけるデコーダは、先行技術のＳＡＯＣ制限（非特許文献５参照）を克服している。
【００７０】
さらに、現行のＳＡＯＣシステムは、１つ以上の１対２ボックス（ＯＴＴボックス）または１つ以上の２対３ボックス（ＴＴＴボックス）を採用することにより、アップミキシングを実行する。とりわけ、これらの制限により、３以上のダウンミックス信号／ダウンミックスチャンネルを符号化したオーディオオブジェクト信号は、先行技術のＳＡＯＣデコーダではアップミックスできない。
【００７１】
本発明によるデコーダのコンセプトによると、３つ以上の送信チャンネルを採用している送信システムにおいてオーディオオブジェクトコーディングが好適となるよう、ＳＡＯＣの制限を克服することができる。
【００７２】
図１Ｂは、別の実施形態に係るデコーダを示す。このデコーダは、レンダリング情報に基づき、第２推定オーディオオブジェクト信号（第２推定オーディオオブジェクト信号＃１〜第２推定オーディオオブジェクト信号＃Ｍ）から複数のオーディオ出力チャンネル（オーディオ出力チャンネル＃１〜オーディオ出力チャンネル＃Ｒ）を生成するレンダラー１３０をさらに備える。例えば、レンダリング情報とは、レンダリングマトリックスおよび／またはレンダリングマトリックスの係数であってもよく、レンダリング部１３０は、レンダリングマトリックスを第２推定オーディオオブジェクト信号（第２推定オーディオオブジェクト信号＃１〜第２推定オーディオオブジェクト信号＃Ｍ）に対して適用し、複数のオーディオ出力チャンネル（オーディオ出力チャンネル＃１〜オーディオ出力チャンネル＃Ｒ）を得る。
【００７３】
一実施形態によると、残差処理部１２０は、少なくとも３つの残差信号に基づき、１つ以上の第１推定オーディオオブジェクト信号を変更修正するよう構成される。デコーダは、複数の第２推定オーディオオブジェクト信号に基づき、少なくとも３つのオーディオ出力チャンネルを生成するよう構成される。
【００７４】
また別の実施形態においては、１つ以上の残差信号が、複数のオリジナルオーディオオブジェクト信号の１つと複数の第１推定オーディオオブジェクト信号の１つとの間の相違を示す。
【００７５】
一実施形態によれば、残差処理部１２０は、５つ以上の第１推定オーディオオブジェクト信号を変更修正することによって、複数の第２推定オーディオオブジェクト信号を生成するよう構成される。残差処理部１２０は、当該５つ以上の第１推定オーディオオブジェクト信号を、５つ以上の残差信号に基づき変更修正するよう構成される。
【００７６】
他の実施形態においては、デコーダは、７つ以上のオーディオ出力チャンネルを、複数の第２オーディオオブジェクト信号に基づき生成するよう構成される。
【００７７】
さらに他の実施形態によれば、デコーダは、複数の第２推定オーディオオブジェクト信号を決定するためのチャンネル予測係数を決定しないよう構成される。
【００７８】
さらに他の実施形態においては、デコーダは、ＳＡＯＣデコーダである。
【００７９】
図３は、一実施形態によるシステムを示す。このシステムは、上記実施形態のいずれかによるエンコーダ３１０を備え、このエンコーダ３１０は、パラメトリック副情報および複数の残差信号を生成することによって、複数のオリジナルオーディオオブジェクト信号（オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍ）を符号化する。さらに、このシステムは、上記実施形態のいずれかによるデコーダ３２０を備え、このデコーダ３２０は、エンコーダ３１０の生成した３つ以上のダウンミックス信号、エンコーダ３１０の生成したパラメトリック副情報、およびエンコーダ３１０によって生成された複数の残差信号に基づき、複数の第２推定オーディオオブジェクト信号を生成するよう構成される。
【００８０】
図４は、一実施形態による符号化オーディオ信号を示す。符号化オーディオ信号には、３つ以上のダウンミックス信号４１０、パラメトリック副情報４２０、および複数の残差信号４３０が含まれる。当該３つ以上のダウンミックス信号４１０は、複数のオリジナルオーディオオブジェクト信号をダウンミックスしたものである。当該パラメトリック副情報４２０には、複数のオリジナルオーディオオブジェクト信号に関する副情報を示すパラメータが含まれる。当該複数の残差信号４３０は各々、複数のオリジナルオーディオ信号のうちの１つと複数の推定オーディオオブジェクト信号のうちの１つとの間の相違を示す相違信号である。
【００８１】
以下において、一実施形態によるコンセプト概略を説明する。
【００８２】
図８は、一実施形態により提供された、パラメトリックおよび残差に基づくオーディオオブジェクトコーディングの仕組みを、概念的に示した概略図である。ここでは、コーディングの仕組みによって、進化したダウンミックス信号および進化したＥＡＯ支援が示されている。
【００８３】
エンコーダ側で、パラメトリック副情報推定器（「ＰＳＩ生成部」）２２０は、ソースおよびダウンミックス関連特性を利用しているデコーダでのオブジェクト信号を推定するために、ＰＳＩを算出する。ＲＳＩ生成部２４５は、拡張すべき各オブジェクト信号に対して、推定オブジェクト信号とオリジナルオブジェクト信号との間の相違を分析することにより、残差信号を算出する。ＲＳＩ生成部２４５は、例えば、パラメトリックデコード部２３０と、残差推定部２４０とを備えてもよい。
【００８４】
デコーダ側では、パラメトリックデコード部（「ＰＳＩデコード」部）が、ダウンミックス信号および所定のＰＳＩから、オブジェクト信号を推定する。第２ステップにおいては、残差処理部（「ＲＳＩデコード」部）１２０が、拡張対象となる推定オブジェクト信号の品質を、ＲＳＩを用いて改善する。全てのオブジェクト信号（拡張オーディオオブジェクトおよび非拡張オーディオオブジェクト）は、例えば、レンダリング部１３０へ渡され、目的の出力シーンを生成してもよい。
【００８５】
なお、全てのダウンミックス信号を考慮する必要はない。オブジェクト信号の推定または／および推定と拡張に対するダウンミックス信号の貢献度が無視できる程度なのであれば、ダウンミックス信号を計算の対象から外してもよい。
【００８６】
理解を容易にするため、図８およびその後の図面における処理ステップは、別個の処理部として図示されている。実際には、これらは、効果的に結合され、計算上の手間を省いている。
【００８７】
以下において、一体残差エンコーディング／デコーディング（ｊｏｉｎｔ  ｒｅｓｉｄｕａｌ  ｅｎｃｏｄｉｎｇ／ｄｅｃｏｄｉｎｇ）のコンセプトを説明する。
【００８８】
図９は、一実施形態による、各ＥＡＯ信号のための残差信号を、エンコーダ側で一体的に推定するコンセプトを示す。
【００８９】
パラメトリックデコード部（「ＰＳＩデコード」部）２３０は、推定されたＰＳＩとダウンミックス信号とが入力として与えられ、オーディオオブジェクト信号の推定値（推定オーディオオブジェクト信号ｓｅｓｔ，ＰＳＩ，｛１〜Ｍ｝）を生成する。推定オーディオオブジェクト信号ｓｅｓｔ，ＰＳＩ｛１〜Ｍ｝は、残差推定部（「ＲＳＩ推定」部）２４０において、オリジナルの変更されていないソース信号Ｓ１〜ＳＭと比較される。残差推定部２４０は、各オーディオオブジェクトを拡張するための残差／エラー信号項ｓｒｅｓ，ＲＳＩ，｛１〜Ｍ｝を提供する。
【００９０】
図１０は、デコーダにおける一体残差計算と組み合わせて用いられる「ＲＳＩデコード」部を表す。特に、図１０は、一実施形態による、デコーダ側での一体残差デコーディングのコンセプトを示す。
【００９１】
パラメトリックデコード部（「ＰＳＩデコード」部）１１０からの（第１）推定オーディオオブジェクト信号ｓｅｓｔ，ＰＳＩ，｛１〜Ｍ｝は、残差情報（「残差副情報」）とともに、残差処理部（「ＲＳＩデコード」）１２０に入力される。残差処理部２１０は、残差（サイド）情報および推定オーディオオブジェクト信号ｓｅｓｔ，ＰＳＩ，｛１〜Ｍ｝から、第２推定オーディオオブジェクト信号ｓｅｓｔ，ＲＳＩ，｛１〜Ｍ｝、例えば拡張および非拡張オーディオオブジェクト信号を算出し、この第２推定オーディオオブジェクト信号ｓｅｓｔ，ＲＳＩ，｛１〜Ｍ｝、例えば拡張および非拡張オーディオオブジェクト信号を、残差処理部１２０の出力として出力する。
【００９２】
さらに、非ＥＡＯの再推定を実行することができる（図１０には図示しない）。ＥＡＯは、混合信号から除外され、残りの非ＥＡＯが、この混合信号から再度推定される。これによって、全てのオブジェクト信号を含む混合信号からの推定と比較したオブジェクトについて、その推定を改善することができる。その目的が、混合信号における拡張オブジェクト信号のみを処理することにある場合には、この再推定は省略してもよい。
【００９３】
図１１は、一実施形態による残差信号生成器を示す。
【００９４】
図１１において、残差信号生成器２００は、３つ以上のダウンミックス信号を変更修正して、３つ以上の変更ダウンミックス信号を得るよう構成されたダウンミックス変更部２５０をさらに備える。
【００９５】
パラメトリックデコード部２３０は、第１推定オーディオオブジェクト信号における１つ以上のオーディオオブジェクト信号を、３つ以上の変更ダウンミックス信号に基づき決定するよう構成される。
【００９６】
そして、残差推定部２４０は、第１推定オーディオオブジェクト信号における当該１つ以上のオーディオオブジェクト信号に基づき、例えば、１つ以上の残差信号を決定してもよい。
【００９７】
一実施形態において、ダウンミックス変更部２５０は、例えば、３つ以上のオリジナルダウンミックス信号から、複数のオリジナルオーディオオブジェクト信号のうち１つ以上の信号を取り除くことにより、３つ以上のオリジナルダウンミックス信号を変更修正し、３つ以上の変更ダウンミックス信号を得るよう構成されてもよい。
【００９８】
他の実施形態においては、ダウンミックス変更部２５０は、例えば、１つ以上の推定オーディオオブジェクト信号、および１つ以上の残差信号に基づき１つ以上の変更オーディオオブジェクト信号を生成し、かつ３つ以上のオリジナルダウンミックス信号から、１つ以上の変更オーディオオブジェクト信号を取り除くことにより、３つ以上のオリジナルダウンミックス信号を変更修正し、３つ以上の変更ダウンミックス信号を得るよう構成されてもよい。例えば、１つ以上の変更オーディオオブジェクト信号は各々、推定オーディオオブジェクト信号の１つを変更修正することにより、ダウンミックス変更部によって生成されてもよい。この場合、ダウンミックス変更部は、当該推定オーディオオブジェクト信号を、１つ以上の残差信号に基づき変更修正するよう構成されてもよい。
【００９９】
上述の実施形態の両方において、ダウンミックス変更部は、例えば、次式を適用するように構成される。
【数３】
2015529850.tif 000005
ここで、
Ｘは、変更修正の対象となる３つ以上のダウンミックス信号を示し、Ｄは、関連するダウンミキシング情報を示し、Ｓｅａｏには、除去されるべきオリジナルオーディオオブジェクト信号または除去されるべき変更オーディオオブジェクト信号が含まれ、Ｚ＊ｅａｏは、除去されるべき信号の所在を示し、Ｘ〜は、変更対象となるダウンミックスである。
【０１００】
例えば、あるオーディオオブジェクト信号の所在（位置）は、全てのオブジェクトリストにおける当該オブジェクトの所在（位置）に相当する。
【０１０１】
図１２は、一実施形態によるデコーダを示す。
【０１０２】
図１２の実施形態において、デコーダは、ダウンミックス変更部１４０をさらに備える。
【０１０３】
残差処理部１２０は、複数の第２推定オーディオオブジェクト信号のうち、１つ以上のオーディオオブジェクト信号を決定する。
【０１０４】
ダウンミックス変更部１４０は、決定された１つ以上の第２推定オーディオオブジェクト信号を、３つ以上のダウンミックス信号から除去し、３つ以上の変更ダウンミックス信号を得るよう構成されている。
【０１０５】
パラメトリックデコード部１１０は、当該３つ以上の変更ダウンミックス信号に基づき、第１推定オーディオオブジェク信号のうち、１つ以上のオブジェクト信号を決定するよう構成される。
【０１０６】
残差処理部１２０は、例えば、第１推定オーディオオブジェクト信号における当該決定された１つ以上のオーディオオブジェクト信号に基づいて、１つ以上の更なる第２推定オーディオオブジェクト信号を決定してもよい。
【０１０７】
特定の実施形態においては、ダウンミックス変更部１３０は、複数の第２推定オーディオオブジェクト信号のうち残差処理部１２０によって決定された１つ以上のオーディオオブジェクト信号を３つ以上のダウンミックス信号から除去して、３つ以上の変更ダウンミックス信号を得るために、例えば、下記の式を適用するよう構成されてもよい。
【数４】
2015529850.tif 000006
ここで、Ｘは、変更修正前の３つ以上のダウンミックス信号を示し、Ｘ〜ｎｏｎＥＡＯは、３つ以上の変更ダウンミックス信号を示し、Ｄは、ダウンミックスマトリックスを示し、Ｚｅａｏは、ＥＡＯの位置（所在）を示すマッピングサブマトリックスを示す（この実施形態の特定の変数に関する詳細は下記を参照）。
【０１０８】
以下において、カスケード残差エンコーディング／デコーディングコンセプトを説明する。
【０１０９】
図１３は、一実施形態による、残差要素をカスケード形式によりエンコーダ側で算出するコンセプトを示す。一体残差算出コンセプトと比較して、カスケード方式のアプローチは、各反復ステップにおいて、計算が複雑になるという代償はあるものの、残差エネルギーのエネルギーを削減する。各ステップにおいては、拡張オーディオオブジェクトにおけるオリジナルオーディオオブジェクト信号（ＳＭ）の１つ（または別の実施形態においては、推定オーディオオブジェクト信号、破線矢印２４６１、２４６２を参照。）が、混合信号（ダウンミックス）が次の処理器２４５２へと渡される前に、混合信号（ダウンミックス）から除去される。これによって、混合信号（ダウンミックス）におけるオブジェクト信号の数が、各処理ステップを経る度に減少する。次のステップにおける拡張オーディオオブジェクト信号の推定（第２推定オーディオオブジェクト信号）がこれによって改善され、よって残差信号のエネルギーを連続的に削減することができる。
（なお、推定オーディオオブジェクト信号が各反復ステップにおいて混合信号から除去される別の実施形態においては、ダウンミックス変更サブ部２５０１、２５０２は、オリジナルオーディオオブジェクト信号ＳＭを受け取る必要はない。反対に、オリジナルオーディオオブジェクト信号が各反復ステップにおいて混合信号から除去される実施形態においては、ダウンミックス変更サブ部２５０１、２５０２は、推定オーディオオブジェクト信号を受け取る必要はない。）
【０１１０】
より詳細には、図１３は、複数のＲＳＩ生成サブ部２４５１、２４５２を示す。この複数のＲＳＩ生成サブ部２４５１、２４５２がともに、ＲＳＩ生成部を構成する。
【０１１１】
複数のＲＳＩ生成サブ部２４５１、２４５２は各々、パラメトリックデコードサブ部２３０１を備える。複数のパラメトリックデコードサブ部２３０１がともに、パラメトリックデコード部を構成する。パラメトリックデコードサブ部２３０１は、第１推定オーディオオブジェクト信号Ｓｅｓｔ，ＰＳＩ，｛１〜Ｍ｝を生成する。
【０１１２】
複数のＲＳＩ生成サブ部２４５１、２４５２は各々、残差推定サブ部２４０１を備える。複数の残差推定サブ部２４０１がともに、残差推定部を構成する。残差推定サブ部２４０１は、第２推定オーディオオブジェクト信号ｓｅｓｔ，ＲＳＩ，Ｍおよびｓｅｓｔ，ＲＳＩ，Ｍ−１を生成する。
【０１１３】
また、図１３は、複数のダウンミックス変更サブ部２５０１、２５０２を示す。ダウンミックス変更サブ部２５０１、２５０２がともに、ダウンミックス変更部を構成する。
【０１１４】
図１４は、一実施形態において、デコーダ側のカスケード式残差算出との組み合わせにおいて採用されるカスケード式「ＲＳＩデコード」部を表す。
【０１１５】
各ステップにおいて、拡張対象となるオブジェクト信号の１つが、パラメトリックデコードサブ部（「ＰＳＩデコード）１１０１によって、（第１推定オーディオオブジェクト信号ｓｅｓｔ，ＰＳＩ，Ｍを得るために）推定され、そして第１推定オーディオオブジェクト信号ｓｅｓｔ，ＰＳＩ，Ｍの１つが、残差処理サブ部（「ＲＳＩ処理」）１２０１によって、対応する残差信号ｓｒｅｓ，ＲＳＩ，Ｍとともに処理される。そして、オブジェクト信号の拡張バージョン（第２推定オーディオオブジェクト信号の１つ）ｓｅｓｔ，ＲＳＩ，Ｍが出力される。拡張オブジェクト信号ｓｅｓｔ，ＲＳＩ，Ｍは、変更ダウンミックス信号が次の残差デコードサブ部（「残差デコード」）に入力される前に、ダウンミックス変更サブ部（「ダウンミックス変更」）１４０１によって、ダウンミックス信号から消去される。
【０１１６】
一体残差エンコーディング／デコーディングコンセプトと同様、非ＥＡＯについても再推定が追加的になされてもよい。
【０１１７】
その詳細として、図１４は、複数の残差デコードサブ部１２５１、１２５２を示す。複数の残差デコードサブ部１２５１、１２５２がともに、残差デコード部を構成する。
【０１１８】
複数の残差デコードサブ部１２５１、１２５２は各々、パラメトリックデコードサブ部１１０１を備える。複数のパラメトリックデコードサブ部１１０１がともに、パラメトリックデコード部を構成する。パラメトリックデコードサブ部１１０１は、第１推定オーディオオブジェクト信号ｓｅｓｔ，ＰＳＩ，｛１〜Ｍ｝を生成する。
【０１１９】
複数の残差デコードサブ部１２５１、１２５２は各々、残差処理サブ部１２０１を備える。複数の残差処理サブ部１２０１がともに、残差処理部を構成する残差処理サブ部１２０１は、第２推定オーディオオブジェクト信号ｓｅｓｔ，ＲＳＩ，Ｍ、ｓｅｓｔ，ＲＳＩ，Ｍ−１を生成する。
【０１２０】
また、図１４は、複数のダウンミックス変更サブ部１４０１、１４０２を示す。複数のダウンミックス変更サブ部１４０１、１４０２がともに、ダウンミックス変更部を構成する。
【０１２１】
図１５は、カスケードコンセプトを利用した、一実施形態による残差信号生成器を示す。
【０１２２】
図１５において、残差信号生成器は、ダウンミックス変更部２５０を備える。
【０１２３】
残差信号生成器２００は、２つ以上の反復ステップを実行するよう構成される。
【０１２４】
各反復ステップにおいて、パラメトリックデコード部２３０は、複数の推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成される。
【０１２５】
さらに、当該反復ステップにおいて、残差推定部２４０は、当該複数の推定オーディオオブジェクト信号における当該１つのオーディオオブジェクト信号を変更修正することによって、複数の残差信号のうちのまさに１つの残差信号を決定するよう構成される。
【０１２６】
さらに、当該反復ステップにおいて、ダウンミックス変更部２５０は、３つ以上のダウンミックス信号を変更修正するよう構成される。
【０１２７】
当該反復ステップの次の反復ステップにおいて、パラメトリックデコード部２３０は、変更された３つ以上のダウンミックス信号に基づいて、複数の推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成される。
【０１２８】
図１６は、カスケードコンセプトを採用した、一実施形態によるデコーダを示す。図１６において、デコーダは、ダウンミックス変更部１４０を再度備えている。
【０１２９】
図１６のデコーダは、２つ以上の反復ステップを実行するよう構成される。
【０１３０】
各反復ステップにおいて、パラメトリックデコード部１１０は、複数の第１推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成される。
【０１３１】
さらに、各反復ステップにおいて、残差処理部１２０は、当該複数の第１推定オーディオオブジェクト信号における当該１つのオーディオオブジェクト信号を変更修正することによって、複数の第２推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成される。
【０１３２】
さらに、当該反復ステップにおいて、ダウンミックス変更部１４０は、３つ以上のダウンミックス信号から当該複数の第２推定オーディオオブジェクト信号における当該１つのオーディオオブジェクト信号を除去して、３つ以上のダウンミックス信号を変更修正するよう構成される。
【０１３３】
当該反復ステップの次の反復ステップにおいて、パラメトリックデコード部１１０は、変更された３つ以上のダウンミックス信号に基づいて、複数の第１推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成される。
【０１３４】
以下に、一体残差エンコーディング／デコーディング概念の一例における数学的導出について説明する。
【０１３５】
以下において、以下の表記が用いられる。
サイズ：
ＮＯｂｊｅｃｔ：オーディオオブジェクト信号の数
ＮＤｍｘＣｈ：ダウンミックス信号の数
ＮＵｐｍｉｘＣｈ：アップミックスチャンネルの数
ＮＳａｍｐｌｅｓ：処理データの数
ＮＥＡＯ：ＥＡＯの数
項目：
Ｚ＊：ター演算子（＊）は、あるマトリックスの共役転置を意味する。
Ｓ：エンコーダに入力されたオリジナルオーディオオブジェクト信号（サイズ：ＮＯｂｊｅｃｔ×ＮＳａｍｐｌｅｓ）
Ｄ：ダウンミックスマトリックス（サイズ：ＮＤｍｘＣｈ×ＮＯｂｊｅｃｔ）
Ｒ：レンダリングマトリックス（サイズ：ＮＵｐｍｉｘＣｈ×ＮＯｂｊｅｃｔ）
Ｘ：ダウンミックスオーディオ信号Ｘ＝ＤＳ（サイズ：ＮＤｍｘＣｈ×ＮＳａｍｐｌｅｓ）
Ｙ：理想的オーディオ出力信号Ｙ＝ＲＳ（サイズ：ＮＵｐｍｉｘＣｈ×ＮＳａｍｐｌｅｓ）
Ｓｅｓｔ：Ｓｅｓｔ＝ＧＸ  と定義されるＳｅｓｔ  Ｓに近似するパラメトリックに再構築されたオブジェクト信号（サイズＮＯｂｊｅｃｔ×ＮＳａｍｐｌｅｓ）
Ｓ＾ｅｓｔ：（パラメトリックに推定された）全ての非ＥＡＯとＥＡＯ（パラメトリック＋残差）信号推定とを含むデコーダ出力、サイズ：ＮＯｂｊｅｃｔ×ＮＳａｍｐｌｅｓ
Ｙ＾ｅｓｔ：Ｙ＾ｅｓｔ＝ＲＳ＾ｅｓｔと定義されるＹ＾ｅｓｔ  Ｙに近似するアップミックスオーディオ出力信号  （サイズ：ＮＵｐｍｉｘＣｈ×ＮＳａｍｐｌｅｓ）
ＺｎｏｎＥａｏ；Ｚｅａｏ：全てのオブジェクトリストにおける非ＥＡＯおよびＥＡＯの所在を示すマッピングサブマトリックス。なお、ＺｎｏｎＥａｏ×Ｚｅａｏ＝［０］である。（サイズ：（ＮＯｂｊｅｃｔ−ＮＥＡＯ）×ＮＯｂｊｅｃｔ；ＮＥＡＯ×ＮＯｂｊｅｃｔ）
非ＥＡＯのＺｎｏｎＥａｏおよび対応するＺｅａｏマッピングマトリックスは次のように定義される。
【数５】
2015529850.tif 000007
例えば、ＮＯｂｊｅｃｔ＝５でオブジェクト数２および４がＥＡＯの場合、これらのマトリックスは次の通りである。
【数６】
2015529850.tif 000008
ＤｎｏｎＥａｏ：非ＥＡＯに対応するダウンミックスサブマトリックであって、ＤｎｏｎＥａｏ＝ＤＺｎｏｎＥａｏと定義される（サイズ：ＮＤｍｘＣｈ×（ＮＯｂｊｅｃｔ−ＮＥＯＡ））
Ｄｅａｏ：ＥＡＯに対応するダウンミックスサブマトリックであって、Ｄｅａｏ＝ＤＺ＊ｅａｏと定義される（サイズ：ＮＤｍｘＣｈ×ＮＥＯＡ）
Ｇ：パラメトリックソース推定マトリックス（サイズ：ＮＯｂｊｅｃｔ×ＮＥＯＡ）
Ｅ：オブジェクト共分散マトリックス（サイズ：ＮＯｂｊｅｃｔ×ＮＯｂｊｅｃｔ）
ＥｎｏｎＥａｏ：非ＥＡＯに対応する共分散サブマトリックであって、ＥｎｏｎＥａｏ＝ＺｎｏｎＥａｏＥＺ＊ｎｏｎＥａｏと定義される（サイズ：（ＮＯｂｊｅｃｔ−ＮＥＯＡ）×（ＮＯｂｊｅｃｔ−ＮＥＯＡ））
Ｓｅａｏ：ＥＡＯの再構築を含むＥＡＯ信号（サイズ：ＮＥＯＡ×ＥＳａｍｐｌｅｓ）
ＳｎｏｎＥａｏ：非ＥＡＯの再構築を含む非ＥＡＯ信号（サイズ：（ＮＯｂｊｅｃｔ−ＮＥＯＡ）×ＮＳａｍｐｌｅｓ）
Ｓｒｅｓ：ＥＡＯの残差信号（サイズ：ＮＥＯＡ×ＥＳａｍｐｌｅｓ）
Ｘ〜ｎｏｎＥＡＯ：非ＥＡＯ信号のみを含む変更ダウンミックス信号であって、ＳＡＯＣダウンミックスと再構築ＥＡＯのダウンミックスとの差異として算出される（サイズ：ＮＤｍｘＣｈ×ＮＳａｍｐｌｅｓ）
【０１３６】
紹介されるマトリックスは全て、（一般に）時間と周波数の変数である。
【０１３７】
ここで、デコーダ側における非ＥＡＯ信号の再推定の一般的方法を考慮する。
【０１３８】
一般的な方法は、２段階プローチとして説明することができる。まず、対応するダウンミックス信号から全てのＥＡＯ信号を抽出し、そして全ての非ＥＡＯ信号をＥＡＯを考慮して再構築する。オブジェクト信号は、ＰＳＩ（Ｅ，Ｄ）および取り込まれた残差信号（Ｓｒｅｓ）を使って、ダウンミックス信号（Ｘ）から復元される。
【０１３９】
最終的にレンダリングされた出力信号Ｙ＾ｅｓｔは、次のように与えられると考えられる。
【数７】
2015529850.tif 000009
【０１４０】
デコーダ出力オブジェクト信号Ｓ＾ｅｓｔは、次の合計として表すことができる。
【数８】
2015529850.tif 000010
【０１４１】
ＥＡＯ信号Ｓｅａｏは、ダウンミックスＸから、パラメトリックＥＡＯ再構築マトリックスＧｅａｏおよび対応するＥＡＯ残差Ｓｒｅｓを用いて、次のように算出される。
【数９】
2015529850.tif 000011
【０１４２】
非ＥＡＯ信号ＳｎｏｎＥａｏは、変更ダウンミックスＸ〜ｎｏｎＥａｏから、パラメトリック非ＥＡＯ再構築マトリックスＧ〜ｎｏｎＥａｏを用いて、次のように算出される。
【数１０】
2015529850.tif 000012
【０１４３】
変更ダウンミックス信号Ｘ〜ｎｏｎＥａｏは、ダウンミックスＸと再構築されたＥＡＯの対応するダウンミックスとの差として定義され、これにより、ＥＡＯがダウンミックス信号Ｘからキャンセルされる。
【数１１】
2015529850.tif 000013
【０１４４】
ここで、ＥＡＯおよび非ＥＡＯ用のパラメトリックオブジェクト再構築マトリックスＧｅａｏ，Ｇ〜ｎｏｎＥａｏは、ＰＳＩ（Ｅ，Ｄ）を使って、次のように決定される。
【数１２】
2015529850.tif 000014
【０１４５】
以下において、デコーダ側において非ＥＡＯ信号の再推定をしないシンプルな手法「Ａ」を説明する。
【０１４６】
混合信号内のＥＡＯのみを取り扱う場合には、目標シーンは、ダウンミックス信号とＥＡＯ信号の線形結合と解釈できる。したがって、非ＥＡＯ信号の追加的再推定を省略できる。非ＥＡＯ信号再推定を伴う一般的方法は、単一ステップ手順へと簡略化できる。
【数１３】
2015529850.tif 000015
【０１４７】
信号
【数１４】
2015529850.tif 000016
は、送信されたＥＡＯの残差信号と、残差補償項とを含み、次の定義を有する。
【数１５】
2015529850.tif 000017
【０１４８】
この条件は、ＥＡＯのみの取り扱いに限定されている音響シーンをレンダリングするのに十分である。  
【０１４９】
【数１６】
2015529850.tif 000018
と
【数１７】
2015529850.tif 000019
とにより、項Ｘｄｉｆに対して、次の制約が満たされなければならない。
【数１８】
2015529850.tif 000020
【０１５０】
項Ｘｄｉｆは、エンコーダによって決定され（そして送信または蓄積され）た成分Ｓｒｅｓと、この等式を用いて定義される成分ＸｎｏｎＥａｏとから構成される。
【０１５１】
ダウンマトリックスの定義
【数１９】
2015529850.tif 000021
と補償項の定義
【数２０】
2015529850.tif 000022
を用いて、次の式を導き出すことができる。
【数２１】
2015529850.tif 000023
【０１５２】
この式は、
【数２２】
2015529850.tif 000024
と
【数２３】
2015529850.tif 000025
とを用いて、次のように簡略化される。
【数２４】
2015529850.tif 000026
【０１５３】
この線形方程式をＸｎｏｎＥａｏについて解くと、次の通りとなる。
【数２５】
2015529850.tif 000027
【０１５４】
この線形方程式の系を解いた後、目標シーンが、次の通り、パラメトリック予測項と残差拡張項との合計として計算される。
【数２６】
2015529850.tif 000028
できる。
【０１５５】
以下において、デコーダ側において非ＥＡＯ信号の再推定をしないシンプルな手法「Ｂ」を説明する。
【０１５６】
補償項Ｘｄｉｆが、パラメトリック信号予測Ｓｅｓｔに対して、
【数２７】
2015529850.tif 000029
であり、残差信号Ｓｒｅｓの関数
【数２８】
2015529850.tif 000030
であることから、次の式が導かれる。
【数２９】
2015529850.tif 000031
【０１５７】
代替的な数式化は、ダウンミックス信号ＨｄｍｘＸ、拡張オブジェクトＨｅｎｈＺ＊ｅａｏＺｅａｏＳｅｎｈ、および非拡張オブジェクトＨｅｓｔＳｅｓｔの３つの部分で構成され、これらの適切な線形結合を含み、次のようになる。
【数３０】
2015529850.tif 000032
【０１５８】
マトリックスのサイズは、ＨｄｍｘがＮｏｂｊｅｃｔｓ×ＮＤｍｘＣｈであり、ＨｅｎｈがＮｏｂｊｅｃｔｓ×Ｎｏｂｊｅｃｔｓであり、ＳｄｍｘがＮｏｂｊｅｃｔｓ×ＮＳａｍｐｌｅｓであり、ＨｅｓｔがＮｏｂｊｅｃｔｓ×Ｎｏｂｊｅｃｔｓである。
【０１５９】
この式は、
【数３１】
2015529850.tif 000033
と仮定し、
【数３２】
2015529850.tif 000034
の定義から、以下のように書き換えられる。
【数３３】
2015529850.tif 000035
【０１６０】
これと再構築信号の上述の定義（数２９）とを比較すると、次の通りとなり、
【数３４】
2015529850.tif 000036
項Ｈｅｓｔが、次の通り導き出される。
【数３５】
2015529850.tif 000037
【０１６１】
非拡張信号の寄与が最小限となるとき、最終的再構築におけるエラーが最小限となる。したがって、Ｈｅｓｔ  ０を目標とすると、線形方程式の系から項Ｈｅｓｔを解くことができる。
【数３６】
2015529850.tif 000038
ここで、拡張ダウンミックスマトリックスＤｅｘｔおよびアップミックスマトリックスＨｅｘｔは、次の連結マトリックスとして定義される。
【数３７】
2015529850.tif 000039
【数３８】
2015529850.tif 000040
したがって、
【数３９】
2015529850.tif 000041
【０１６２】
この線形方程式の系を解いた後に、所望の修正項Ｘｄｉｆが、以下の通り得られ、
【数４０】
2015529850.tif 000042
最終の出力
【数４１】
2015529850.tif 000043
が得られる。
【０１６３】
以下において、シンプルな手法「Ｃ」を説明する。
【０１６４】
混合信号においてＥＡＯのみを任意に取り扱う場合には、目標シーンは、ダウンミックス信号とＥＡＯとの線形結合として生成することができる。なお、ダウンミックスの代わりに、ＥＡＯを削除したダウンミックスを用いてもよい。残差処理が完全にＥＡＯを復元する場合には、目標シーンが完全に生成される。目標シーンは、ダウンミックスおよびＥＡＯ再構築について、２つの要素レンダリングマトリックスＲＤおよびＲｅａｏを使ってレンダリングすることができる。マトリックスのサイズは、ＲＤ：ＮＵｐｍｉｘＣｈ×ＮＤｍｘＣｈおよびＲｅａｏ：ＮＵｐｍｉｘＣｈ×ＮＥＡＯである。目標レンダリングマトリックスＲは、レンダリングマトリックスとダウンミックスマトリックスとを結合した結果として、次の通り表される。
【数４２】
2015529850.tif 000044
【０１６５】
これから、Ｒｅｘｔについて、次の通り解くことができ、
【数４３】
2015529850.tif 000045
この解から、サブマトリックスＲＤおよびＲｅａｏが、
【数４４】
2015529850.tif 000046
【数４５】
2015529850.tif 000047
を用いて抽出される。
【０１６６】
ここで、目標シーンは、
【数４６】
2015529850.tif 000048
により計算される。ここで、Ｓｅａｏは、ＥＡＯの完全な再構築を含み、上述の通り、
【数４７】
2015529850.tif 000049
と定義される。
【０１６７】
ダウンミックスからＤｅａｏＳｅａｏを差し引くことによってＥＡＯをミックスから削除したダウンミックスを用いて対象をレンダリングする場合にも、同様の方程式を組むことができる。
【０１６８】
以下において、一体残差エンコーディング／デコーディング概念における他の数学的導出およびさらなる詳細について説明し、一般的方法と簡略方法「Ａ」との統合について説明する。
【０１６９】
以下の説明においては、以下の表記を用いる。一部の要素について、以下の表記が上述の表記と一貫しない場合には、以下の説明については、以下の表記のみが当該要素について適用される。
定義：
Ｓは、サイズＮＯｂｊｅｃｔｓ×ＮＳａｍｏｌｅｓのオブジェクト信号であり、
Ｅ＝ＳＳ＊は、サイズＮＯｂｊｅｃｔｓ×ＮＯｂｊｅｃｔｓのオブジェクト共分散マトリックスであり、
Ｄは、サイズＮＤｍｘＣｈ×ＮＯｂｊｅｃｔｓのダウンミキシングマトリックスであり、
Ｘ＝ＤＳは、サイズＮＤｍｘＣｈ×ＮＳａｍｏｌｅｓのダウンミックス信号であり、
Ｇ＝ＥＤ＊Ｊは、サイズＮＯｂｊｅｃｔｓ×ＮＤｍｘＣｈのアップミキシングマトリックスであり、
Ｍｒｅｎは、サイズＮＵｐｍｉｘＣｈ×ＮＯｂｊｅｃｔｓのレンダリングマトリックスであり、
Ｘｒｅｓは、サイズＮＥＡＯ×ＮＳａｍｏｌｅｓの残差信号であり、
Ｒｅａｏは、サイズＮＥＡＯ×ＮＯｂｊｅｃｔｓのマトリックスであって、
【数４８】
2015529850.tif 000050
として定義される非ＥＡＯの位置（所在）を示し、
ＲｎｏｎＥａｏは、サイズ（ＮＯｂｊｅｃｔｓ−ＮＥＡＯ）×ＮＯｂｊｅｃｔｓのマトリックスであって、
【数４９】
2015529850.tif 000051
として定義される非ＥＡＯの位置（所在）を示す。
【０１７０】
非ＥＡＯに相当する上記のいくつかのサブマトリクスは、次の通り、選択マトリクスＲｎｏｎＥａｏを用いて特定できる。
【数５０】
2015529850.tif 000052
【０１７１】
以下において、デコーダ側において非ＥＡＯ信号の再推定を行う一般的方法の別の詳細なる数学的説明を記載する。
【０１７２】
オブジェクト信号は、副情報と取り込まれた残差信号を使って、ダウンミックスから復活される。デコーダからの出力Ｘ＾は、次の通り生成される。
【数５１】
2015529850.tif 000053
【０１７３】
ＥＡＯからなるサイズＮＥＡＯのＥＡＯ項は、次の通り計算される。
【数５２】
2015529850.tif 000054
ここで、サイズＮＥＡＯの残差信号Ｘｒｅｓ項は、ＥＡＯに対する残差信号を含む。
【０１７４】
非ＥＡＯを有するサイズＮＯｂｊｅｃｔｓ−ＮＥＡＯの非ＥＡＯ項は、次の通り計算される。
【数５３】
2015529850.tif 000055
ここで、非ＥＡＯ信号のみからなる変更ダウンミックス信号Ｘ~ｎｏｎＥａｏは、ＳＡＯＣダウンミックスと再構築ＥＡＯのダウンミックスの差として計算される。
【数５４】
2015529850.tif 000056
【０１７５】
非ＥＡＯに対応するサイズ（ＮＯｂｊｅｃｔｓ−ＮＥＡＯ）×（ＮＯｂｊｅｃｔｓ−ＮＥＡＯ）の共分散サブマトリックスが、次の通り計算される。
【数５５】
2015529850.tif 000057
【０１７６】
非ＥＡＯに対応するサイズＮＤｍｘＣｈ×（ＮＯｂｊｅｃｔｓ−ＮＥＡＯ）のダウンミックスサブマトリックスＤｎｏｎＥａｏが、次の通り計算される。
【数５６】
2015529850.tif 000058
【０１７７】
以下では、簡略方法「Ａ」（デコーダ側において非ＥＡＯ信号の再推定を行わない）の別の詳細な数学的説明を提供する。
【０１７８】
オブジェクト信号は、副情報と取り込まれた残差信号を使って、ダウンミックスから復活される。デコーダからの最終出力Ｘ＾は、次の通り示される。
【数５７】
2015529850.tif 000059
【０１７９】
サイズＮＯｂｊｅｃｔのＸｄｉｆ項は、次のように、ＥＡＯに対するサイズＮＥＡＯの残差信号Ｘｒｅｓと、非ＥＡＯに対する予測項ＸｎｏｎＥａｏとを包含する。
【数５８】
2015529850.tif 000060
【０１８０】
予測項ＸｎｏｎＥａｏは、次の通り推定される。
【数５９】
2015529850.tif 000061
【０１８１】
ＥＡＯに対応するダウンミックスサブマトリックスＤｅａｏおよび通常のオブジェクトに対応するダウンミックスサブマトリックスＤｎｏｎＥａｏは、次の通り定義される。
【数６０】
2015529850.tif 000062
【０１８２】
以下では、レンダリングマトリックス１の特殊の場合を検討する。
【０１８３】
ＥＡＯの任意の変形と非ＥＡＯの均一のスケーリング（ダウンミックスと比較して）とを伴うサイズＮＤｍｘＣｈ×ＮＯｂｊｅｃｔｓのダウンミックス様レンダリングマトリックスＭＤの、次の特別な場合を検討する。
【数６１】
2015529850.tif 000063
【０１８４】
ここで、一般的方法の詳細な数学的説明は、以下の通りとなる。
【数６２】
2015529850.tif 000064
次に、簡略化した方法「Ａ」の詳細な数学的説明は、以下の通りとなる。
【数６３】
2015529850.tif 000065
レンダリングマトリックスの想定が適用されるとき、上記２つの結果が同じになることが分かる。
【０１８５】
次に、レンダリングマトリックス２の特別なケースを検討する。
【０１８６】
サイズＮＤｍｘＣｈ×ＮＯｂｊｅｃｔｓのレンダリングマトリックスＭＳの構造に追加的な制限を加え、全ての非ＥＡＯが、ダウンミックスに比べて共通のスケーリングファクタａによってのみ変更され、全てのＥＡＯがダウンミックスに比べて共通のスケーリングファクタｂによってのみ変更されるものとする。
【数６４】
2015529850.tif 000066
前の結果から引き続いて、システムの出力は、次のようになる。
【数６５】
2015529850.tif 000067
【０１８７】
一部の側面について装置の文脈において説明したが、これらの側面は、対応する方法の記載も示していることは明らかであり、ブロックや装置は、方法的ステップまたは方法的ステップの特徴に対応する。同様に、方法の観点から説明された側面もまた、対応するブロックもしくは物品または対応する装置の特徴の説明としても機能するものである。
【０１８８】
本発明に係る分解信号は、デジタル記憶媒体に格納することができ、または無線通信媒体やインターネットなどの有線通信媒体のような通信媒体上を転送することもできる。
【０１８９】
所定の実施要件によっては、本発明に係る実施形態は、ハードウェアとして実施してもよいしソフトウェアとして実施してもよい。実施は、例えばフレキシブルディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（登録商標）、またはフラッシュメモリなどのような、電子的に読み取り可能な制御信号が記憶されたデジタル記憶媒体を用いてすることができ、当該方法が実行されるようこれらのデジタル記憶媒体がプログラム可能なコンピュータシステムと協働する（または協働することできる）。
【０１９０】
本発明による一部の実施形態では、電子的に読み取り可能な制御信号を有する固定データ担体を備え、その担体は、開示される方法のいずれかが実施されるよう、プログラム可能なコンピュータシステムと協働することができる。
【０１９１】
一般的に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施することが可能であり、当該コンピュータプログラム製品がコンピュータにおいて実行されたとき、当該プログラムコードがいずれかの方法を実行するよう動作する。このプログラムは、例えば機械で読み取り可能な担体に記憶されてもよい。
【０１９２】
その他の実施形態においては、開示されるいずれかの方法を実行する機械で読み取り可能な担体に記憶されたコンピュータプログラムを備える。
【０１９３】
すなわち、本発明に係る方法は、その一実施形態においては、コンピュータプログラムがコンピュータで実行されたとき、開示されるいずれかの方法を実行するプログラムコードを有するコンピュータプログラムとして構成される。
【０１９４】
したがって、本発明に係る方法のさらなる実施形態は、開示される方法のいずれかを実施するコンピュータプログラムが記録されたデータ担体（またはデジタル記憶媒体またはコンピュータに読み取り可能な媒体）として構成される。
【０１９５】
したがって、本発明に係る方法のさらなる実施形態は、開示される方法のいずれかを実施するコンピュータプログラムを示すデータストリームまたは信号シーケンスとして構成される。  このデータストリームまたは信号シーケンスは、例えば、データコミュニケーション接続（例えばインターネットなど）を介して伝送されるよう構成されてもよい。
【０１９６】
さらなる実施形態においては、開示されるいずれかの方法を実行するよう構成された処理手段、例えばコンピュータ、プログラム可能な論理機構を備える。
【０１９７】
さらなるの実施形態においては、開示されるいずれかの方法を実行するコンピュータプログラムをインストールしたコンピュータを備える。
【０１９８】
いくつかの実施形態においては、開示される方法の機能の一部または全部を実行するために、プログラム可能な論理機構（例えば、フィールドプログラマブルゲートアレイ）を用いてもよい。いくつかの実施形態においては、開示される方法のいずれかを実行するために、フィールドプログラマブルゲートアレイとマイクロプロセッサとを協働させてもよい。一般的に、方法は、ハードウェア装置によって実行されることが好ましい。
【０１９９】
上述の実施形態は、本発明の原理を単に例示するものに過ぎない。開示される構成や詳細に対して変更または調整が可能であることは、当該分野に知識を有する者にとっては明らかである。従って、現時点における特許クレームの範囲によってのみ限定されるものであり、開示の方法や実施形態の説明によって提供された具体的詳細によっては何ら限定されるものではない。
【図１Ａ】
2015529850.tif 000071
【図１Ｂ】
2015529850.tif 000072
【図２Ａ】
2015529850.tif 000073
【図２Ｂ】
2015529850.tif 000074
【図３】
2015529850.tif 000075
【図４】
2015529850.tif 000076
【図５】
2015529850.tif 000077
【図６】
2015529850.tif 000078
【図７】
2015529850.tif 000079
【図８】
2015529850.tif 000080
【図９】
2015529850.tif 000081
【図１０】
2015529850.tif 000082
【図１１】
2015529850.tif 000083
【図１２】
2015529850.tif 000084
【図１３】
2015529850.tif 000085
【図１４】
2015529850.tif 000086
【図１５】
2015529850.tif 000087
【図１６】
2015529850.tif 000088
【国際調査報告】
2015529850.tif 000089
2015529850.tif 000090