(57)【特許請求の範囲】
【請求項１】
ダウンミックス信号表現（１１２；２１０；５１０；５１０ａ）とオブジェクト関連パラメータ情報（１１０；２１２；５１２；５１２ａ）に基づいてアップミックス信号表現を提供するオーディオ信号デコーダ（１００；２００；５００；５９０）であって、
前記ダウンミックス信号表現を分解し、前記ダウンミックス信号表現に基づき、前記オブジェクト関連パラメータ情報の少なくとも一部を用いて、第１のオーディオオブジェクトタイプの１つ以上のオーディオオブジェクトの第１のセットを記述する第１のオーディオ情報（１３２；２６２；５６２；５６２ａ）と、第２のオーディオオブジェクトタイプの２つを超えるオーディオオブジェクトの第２のセットを記述するものであって、前記第２のオーディオオブジェクトタイプのオーディオオブジェクトを結合された方法で記述したオーディオ情報である第２のオーディオ情報（１３４；２６４；５６４；５６４ａ）を提供するように構成された、オブジェクトセパレータ（１３０；２６０；５２０；５２０ａ）と、
前記第２のオーディオ情報（１３４；２６４；５６４；５６４ａ）を受信し、前記オブジェクト関連パラメータ情報に基づいて前記第２のオーディオ情報を処理し、前記第２のオーディオ情報の処理されたバージョン（１４２；２７２；５７２；５７２ａ）を取得するように構成された、オーディオ信号プロセッサと、
前記第１のオーディオ情報を前記第２のオーディオ情報の処理されたバージョンと結合し、前記アップミックス信号表現を取得するように構成された、オーディオ信号コンバイナ（１５０；２８０；５８０；５８０ａ）とを備え、
前記ダウンミックス信号表現によって表されたオーディオオブジェクトのサブセットに関する残余情報に基づいて前記アップミックス信号表現を提供するように構成され、
前記オブジェクトセパレータは、前記ダウンミックス信号表現を分解し、前記ダウンミックス信号表現に基づき、前記残余情報を用いて、残余情報が関連する第１のオーディオオブジェクトタイプの１つ以上のオーディオオブジェクトの第１のセットを記述する前記第１のオーディオ情報と、残余情報が関連しない第２のオーディオオブジェクトタイプの２つを超えるオーディオオブジェクトの第２のセットを記述する前記第２のオーディオ情報を提供するように構成され、
前記オーディオ信号プロセッサは、前記第２のオーディオ情報を処理し、前記第２のオーディオオブジェクトタイプの２つを超えるオーディオオブジェクトに関するオブジェクト関連パラメータ情報を考慮に入れて、前記第２のオーディオオブジェクトタイプのオーディオオブジェクトのオブジェクト個別の処理を実行し、
前記残余情報は、前記第１のオーディオオブジェクトタイプのオーディオオブジェクトが単に前記オブジェクト関連パラメータ情報を用いて分離された場合に残ると予想される残余の歪を記述するものである、
オーディオ信号デコーダ。
【請求項２】
前記オブジェクトセパレータは、前記第１のオーディオ情報において、前記第１のオーディオオブジェクトタイプの１つ以上のオーディオオブジェクトが、前記第２のオーディオオブジェクトタイプのオーディオオブジェクトを超えて強調されるように、前記第１のオーディオ情報を提供するように構成され、
前記オブジェクトセパレータは、前記第２のオーディオ情報において、前記第２のオーディオオブジェクトタイプのオーディオオブジェクトが、前記第１のオーディオオブジェクトタイプのオーディオオブジェクトを超えて強調されるように、前記第２のオーディオ情報を提供するように構成された、
請求項１に記載のオーディオ信号デコーダ。
【請求項３】
前記オーディオ信号プロセッサは、前記第２のオーディオオブジェクトタイプのオーディオオブジェクトに関する前記オブジェクト関連パラメータ情報（１１０；２１２；５１２；５１２ａ）に基づき、前記第１のオーディオオブジェクトタイプのオーディオオブジェクトに関する前記オブジェクト関連パラメータ情報（１１０；２１２；５１２；５１２ａ）から独立して、前記第２のオーディオ情報（１３４；２６４；５６４；５６４ａ）を処理するように構成された、請求項１または２に記載のオーディオ信号デコーダ。
【請求項４】
0005678048.tif 000129
のオーディオオブジェクトに関するダウンミックスパラメータに基づいて、かつ前記第１のオーディオオブジェクトタイプのオーディオオブジェクトのチャンネル予測係数（ｃj,0、ｃj,1）に基づいて、前記線形結合を実行するための結合パラメータを取得するように構成された、請求項１〜３のいずれかに記載のオーディオ信号デコーダ。
【請求項５】
前記オブジェクトセパレータは、前記第１のオーディオ情報と前記第２のオーディオ情報を次式に従って取得するように構成され、
0005678048.tif 000130
0005678048.tif 000131
0005678048.tif 000132
0005678048.tif 000133
0005678048.tif 000134
0005678048.tif 000135
0005678048.tif 000136
ここで、ｄ0,i、ｄ1,iは、前記第２のオーディオオブジェクトタイプのオーディオオブジェクトに関するダウンミックス値であり、
ＯＬＤiは、前記第２のオーディオオブジェクトタイプのオーディオオブジェクトに関するオブジェクトレベル差値であり、
Ｎは、オーディオオブジェクトの合計数であり、
ＮEAOは、前記第１のオーディオオブジェクトタイプのオーディオオブジェクトの数であり、
ＩＯＣ0,1は、前記第２のオーディオオブジェクトタイプの一対のオーディオブジェクトに関するオブジェクト間相関値であり、
ｅi,j、ｅL,Rは、オブジェクトレベル差パラメータとオブジェクト間相関パラメータから導き出される共分散値であり、
ｅi,jは、前記第１のオーディオオブジェクトタイプの一対のオーディオオブジェクトに関連し、ｅL,Rは、前記第２のオーディオオブジェクトタイプの一対のオーディオオブジェクトに関連する、
請求項１〜４のいずれかに記載のオーディオ信号デコーダ。
【請求項６】
前記オブジェクトセパレータは、前記第１のオーディオ情報と前記第２のオーディオ情報を次式に従って取得するように構成され、
0005678048.tif 000137
0005678048.tif 000138
0005678048.tif 000139
請求項１〜４に記載のオーディオ信号デコーダ。
【請求項７】
0005678048.tif 000140
請求項６に記載のオーディオ信号デコーダ。
【請求項８】
前記オブジェクトセパレータは、前記第１のオーディオ情報と前記第２のオーディオ情報を次式に従って取得するように構成され、
0005678048.tif 000141
0005678048.tif 000142
0005678048.tif 000143
請求項１〜４のいずれかに記載のオーディオ信号デコーダ。
【請求項９】
前記オブジェクトセパレータは、前記第１のオーディオ情報と前記第２のオーディオ情報を次式に従って取得するように構成され、
0005678048.tif 000144
0005678048.tif 000145
0005678048.tif 000146
請求項１〜３のいずれかに記載のオーディオ信号デコーダ。
【請求項１０】
前記オブジェクトセパレータは、前記第１のオーディオ情報（１３２；２６２；５６２；５６２ａ）にレンダリングマトリックスを適用し、前記第１のオーディオ情報のオブジェクト信号を前記アップミックス信号表現（１２０；２２０、２２２；５６２；５６２ａ）のオーディオチャンネルにマッピングするように構成された、請求項１〜９のいずれかに記載のオーディオ信号デコーダ。
【請求項１１】
0005678048.tif 000147
【請求項１２】
前記オーディオ信号プロセッサ（１４０；２７０；５７０；５７０ａ）は、前記ステレオ処理を実行し、レンダリング情報と共分散情報に基づいて、前記第２のオーディオ情報（１３４；２６４；５６４；５６４ａ）の推定されたオーディオオブジェクト貢献度（ＥＤ*ＪＸ）を、前記アップミックス信号表現の複数のチャンネルにマッピングするように構成された、請求項１１に記載のオーディオ信号デコーダ。
【請求項１３】
0005678048.tif 000148
【請求項１４】
0005678048.tif 000149
【請求項１５】
前記オーディオ信号プロセッサは、前記第２のオーディオ情報のモノラルからバイノーラルへの処理を実行し、頭部に関する伝達関数を考慮に入れて、前記第２のオーディオ情報の単一のチャンネルを前記アップミックス信号表現の２つのチャンネルにマッピングするように構成された、請求項１４に記載のオーディオ信号デコーダ。
【請求項１６】
前記オーディオ信号プロセッサは、前記第２のオーディオ情報のモノラルからステレオへの処理を実行し、前記第２のオーディオ情報の単一のチャンネルを前記アップミックス信号表現の２つのチャンネルにマッピングするように構成された、請求項１４に記載のオーディオ信号デコーダ。
【請求項１７】
前記オーディオ信号プロセッサは、前記第２のオーディオ情報のステレオからバイノーラルへの処理を実行し、頭部に関する伝達関数を考慮に入れて、前記第２のオーディオ情報の２つのチャンネルを前記アップミックス信号表現の２つのチャンネルにマッピングするように構成された、請求項１４に記載のオーディオ信号デコーダ。
【請求項１８】
前記オーディオ信号プロセッサは、前記第２のオーディオ情報のステレオからステレオへの処理を実行し、前記第２のオーディオ情報の２つのチャンネルを前記アップミックス信号表現の２つのチャンネルにマッピングするように構成された、請求項１４に記載のオーディオ信号デコーダ。
【請求項１９】
前記オブジェクトセパレータは、残余情報が関連しない前記第２のオーディオオブジェクトタイプのオーディオオブジェクトを、単一のオーディオオブジェクトとして取り扱うように構成され、
前記オーディオ信号プロセッサは、前記第２のオーディオオブジェクトタイプのオーディオオブジェクトに関するオブジェクトに特有のレンダリングパラメータを考慮し、前記第２のオーディオオブジェクトタイプのオーディオオブジェクトの貢献度を前記アップミックス信号表現に合わせるように構成された、請求項１〜１８のいずれかに記載のオーディオ信号デコーダ。
【請求項２０】
前記オブジェクトセパレータは、前記第２のオーディオオブジェクトタイプの複数のオーディオオブジェクトに対して、１つまたは２つの共通のオブジェクトレベル差値（ＯＬＤL、ＯＬＤR）を取得するように構成され、
前記オブジェクトセパレータは、チャンネル予測係数（ＣＰＣ）の演算に対して、前記共通のオブジェクトレベル差値を用いるように構成され、
前記オブジェクトセパレータは、前記チャンネル予測係数を用い、前記第２のオーディオ情報を表す１つまたは２つのオーディオチャンネルを取得するように構成された、請求項１〜１９のいずれかに記載のオーディオ信号デコーダ。
【請求項２１】
0005678048.tif 000150
【請求項２２】
0005678048.tif 000151
【請求項２３】
前記オーディオ信号プロセッサは、前記オブジェクト関連パラメータ情報に基づいて前記第２のオーディオ情報をレンダリングし、前記第２のオーディオ情報の処理されたバージョンとして、前記第２のオーディオオブジェクトタイプのオーディオオブジェクトのレンダリングされた表現を取得するように構成された、請求項１〜２２のいずれかに記載のオーディオ信号デコーダ。
【請求項２４】
前記オブジェクトセパレータは、前記第２のオーディオ情報が第２のオーディオオブジェクトタイプの２つを超えるオーディオオブジェクトを記述するように、前記第２のオーディオ情報を提供するように構成された、請求項１〜２３のいずれかに記載のオーディオ信号デコーダ。
【請求項２５】
前記オブジェクトセパレータは、前記第２のオーディオ情報として、前記第２のオーディオオブジェクトタイプの２つを超えるオーディオオブジェクトを表す１チャンネルのオーディオ信号表現または２チャンネルのオーディオ信号表現を取得するように構成された、請求項２４に記載のオーディオ信号デコーダ。
【請求項２６】
前記オーディオ信号プロセッサは、前記第２のオーディオ情報を受信し、前記第２のオーディオオブジェクトタイプの２つを超えるオーディオオブジェクトに関するオブジェクト関連パラメータ情報を考慮に入れて、前記オブジェクト関連パラメータ情報に基づいて前記第２のオーディオ情報を処理するように構成された、請求項１〜２５のいずれかに記載のオーディオ信号デコーダ。
【請求項２７】
前記オブジェクト関連パラメータ情報の構成情報（SAOCSpecificConfig）から、トータルのオブジェクト数情報（bsNumObjects）とフォアグラウンドのオブジェクト数情報（bsNumGroupsFGO）を抽出し、前記トータルのオブジェクト数情報と前記フォアグラウンドのオブジェクト数情報の差を形成することによって、前記第２のオーディオオブジェクトタイプのオーディオオブジェクトの数を決定するように構成された、請求項１〜２６のいずれかに記載のオーディオ信号デコーダ。
【請求項２８】
0005678048.tif 000152
【請求項２９】
ダウンミックス信号表現とオブジェクト関連パラメータ情報に基づいてアップミックス信号表現を提供する方法であって、
前記ダウンミックス信号表現を分解し、前記ダウンミックス信号表現に基づき、前記オブジェクト関連パラメータ情報の少なくとも一部を用いて、第１のオーディオオブジェクトタイプの１つ以上のオーディオオブジェクトの第１のセットを記述する第１のオーディ情報と、第２のオーディオオブジェクトタイプの２つを超えるオーディオオブジェクトの第２のセットを記述するものであって、前記第２のオーディオオブジェクトタイプのオーディオオブジェクトを結合された方法で記述したオーディオ情報である第２のオーディオ情報を取得するステップと、
前記オブジェクト関連パラメータ情報に基づいて前記第２のオーディオ情報を処理し、前記第２のオーディオ情報の処理されたバージョンを取得するステップと、
前記第１のオーディオ情報を前記第２のオーディオ情報の処理されたバージョンと結合するステップとを備え、
前記アップミックス信号表現は、前記ダウンミックス信号表現によって表わされたオーディオオブジェクトのサブセットに関する残余情報に基づいて提供され、
前記ダウンミックス信号表現は、分解され、前記ダウンミックス信号表現に基づき、前記残余情報を用いて、残余情報が関連する第１のオーディオオブジェクトタイプの１つ以上のオーディオオブジェクトの第１のセットを記述する前記第１のオーディオ情報と、残余情報が関連しない第２のオーディオオブジェクトタイプの２つを超えるオーディオオブジェクトの第２のセットを記述する前記第２のオーディオ情報を提供し、
前記第２のオーディオオブジェクトタイプの２つを超えるオーディオオブジェクトに関するオブジェクト関連パラメータ情報を考慮に入れて、前記第２のオーディオオブジェクトタイプのオーディオオブジェクトのオブジェクト個別の処理が実行され、
前記残余情報は、前記第１のオーディオオブジェクトタイプのオーディオオブジェクトが単に前記オブジェクト関連パラメータ情報を用いて分離された場合に残ると予想される残余の歪を記述するものである、
アップミックス信号表現を提供する方法。
【請求項３０】
コンピュータプログラムがコンピュータ上で動作するときに、請求項２９に記載された方法を実行する、コンピュータプログラム。
【請求項３１】
ダウンミックス信号表現（１１２；２１０；５１０；５１０ａ）とオブジェクト関連パラメータ情報（１１０；２１２；５１２；５１２ａ）に基づいてアップミックス信号表現を提供するオーディオ信号デコーダ（１００；２００；５００；５９０）であって、
前記ダウンミックス信号表現を分解し、前記ダウンミックス信号表現に基づき、前記オブジェクト関連パラメータ情報の少なくとも一部を用いて、第１のオーディオオブジェクトタイプの１つ以上のオーディオオブジェクトの第１のセットを記述する第１のオーディオ情報（１３２；２６２；５６２；５６２ａ）と、第２のオーディオオブジェクトタイプの２つ以上のオーディオオブジェクトの第２のセットを記述する第２のオーディオ情報（１３４；２６４；５６４；５６４ａ）を提供するように構成された、オブジェクトセパレータ（１３０；２６０；５２０；５２０ａ）と、
前記第２のオーディオ情報（１３４；２６４；５６４；５６４ａ）を受信し、前記オブジェクト関連パラメータ情報に基づいて前記第２のオーディオ情報を処理し、前記第２のオーディオ情報の処理されたバージョン（１４２；２７２；５７２；５７２ａ）を取得するように構成された、オーディオ信号プロセッサと、
前記第１のオーディオ情報を前記第２のオーディオ情報の処理されたバージョンと結合し、前記アップミックス信号表現を取得するように構成された、オーディオ信号コンバイナ（１５０；２８０；５８０；５８０ａ）とを備え、
前記オブジェクトセパレータは、前記第１のオーディオ情報と前記第２のオーディオ情報を次式に従って取得するように構成され、
0005678048.tif 000153
0005678048.tif 000154
0005678048.tif 000155
0005678048.tif 000156
0005678048.tif 000157
0005678048.tif 000158
0005678048.tif 000159
ここで、ｄ0,i、ｄ1,iは、前記第２のオーディオオブジェクトタイプのオーディオオブジェクトに関するダウンミックス値であり、
ＯＬＤiは、前記第２のオーディオオブジェクトタイプのオーディオオブジェクトに関するオブジェクトレベル差値であり、
Ｎは、オーディオオブジェクトの合計数であり、
ＮEAOは、前記第１のオーディオオブジェクトタイプのオーディオオブジェクトの数であり、
ＩＯＣ0,1は、前記第２のオーディオオブジェクトタイプの一対のオーディオブジェクトに関するオブジェクト間相関値であり、
ｅi,j、ｅL,Rは、オブジェクトレベル差パラメータとオブジェクト間相関パラメータから導き出される共分散値であり、
ｅi,jは、前記第１のオーディオオブジェクトタイプの一対のオーディオオブジェクトに関連し、ｅL,Rは、前記第２のオーディオオブジェクトタイプの一対のオーディオオブジェクトに関連する、
オーディオ信号デコーダ。
【請求項３２】
ダウンミックス信号表現（１１２；２１０；５１０；５１０ａ）とオブジェクト関連パラメータ情報（１１０；２１２；５１２；５１２ａ）に基づいてアップミックス信号表現を提供するオーディオ信号デコーダ（１００；２００；５００；５９０）であって、
前記ダウンミックス信号表現を分解し、前記ダウンミックス信号表現に基づき、前記オブジェクト関連パラメータ情報の少なくとも一部を用いて、第１のオーディオオブジェクトタイプの１つ以上のオーディオオブジェクトの第１のセットを記述する第１のオーディオ情報（１３２；２６２；５６２；５６２ａ）と、第２のオーディオオブジェクトタイプの２つ以上のオーディオオブジェクトの第２のセットを記述する第２のオーディオ情報（１３４；２６４；５６４；５６４ａ）を提供するように構成された、オブジェクトセパレータ（１３０；２６０；５２０；５２０ａ）と、
前記第２のオーディオ情報（１３４；２６４；５６４；５６４ａ）を受信し、前記オブジェクト関連パラメータ情報に基づいて前記第２のオーディオ情報を処理し、前記第２のオーディオ情報の処理されたバージョン（１４２；２７２；５７２；５７２ａ）を取得するように構成された、オーディオ信号プロセッサと、
前記第１のオーディオ情報を前記第２のオーディオ情報の処理されたバージョンと結合し、前記アップミックス信号表現を取得するように構成された、オーディオ信号コンバイナ（１５０；２８０；５８０；５８０ａ）とを備え、
前記オブジェクトセパレータは、前記第１のオーディオ情報と前記第２のオーディオ情報を次式に従って取得するように構成され、
0005678048.tif 000160
0005678048.tif 000161
0005678048.tif 000162
オーディオ信号デコーダ。
【請求項３３】
ダウンミックス信号表現（１１２；２１０；５１０；５１０ａ）とオブジェクト関連パラメータ情報（１１０；２１２；５１２；５１２ａ）に基づいてアップミックス信号表現を提供するオーディオ信号デコーダ（１００；２００；５００；５９０）であって、
前記ダウンミックス信号表現を分解し、前記ダウンミックス信号表現に基づき、前記オブジェクト関連パラメータ情報の少なくとも一部を用いて、第１のオーディオオブジェクトタイプの１つ以上のオーディオオブジェクトの第１のセットを記述する第１のオーディオ情報（１３２；２６２；５６２；５６２ａ）と、第２のオーディオオブジェクトタイプの２つ以上のオーディオオブジェクトの第２のセットを記述する第２のオーディオ情報（１３４；２６４；５６４；５６４ａ）を提供するように構成された、オブジェクトセパレータ（１３０；２６０；５２０；５２０ａ）と、
前記第２のオーディオ情報（１３４；２６４；５６４；５６４ａ）を受信し、前記オブジェクト関連パラメータ情報に基づいて前記第２のオーディオ情報を処理し、前記第２のオーディオ情報の処理されたバージョン（１４２；２７２；５７２；５７２ａ）を取得するように構成された、オーディオ信号プロセッサと、
前記第１のオーディオ情報を前記第２のオーディオ情報の処理されたバージョンと結合し、前記アップミックス信号表現を取得するように構成された、オーディオ信号コンバイナ（１５０；２８０；５８０；５８０ａ）とを備え、
前記オブジェクトセパレータは、前記第１のオーディオ情報と前記第２のオーディオ情報を次式に従って取得するように構成され、
0005678048.tif 000163
0005678048.tif 000164
0005678048.tif 000165
オーディオ信号デコーダ。
【請求項３４】
ダウンミックス信号表現とオブジェクト関連パラメータ情報に基づいてアップミックス信号表現を提供する方法であって、
前記ダウンミックス信号表現を分解し、前記ダウンミックス信号表現に基づき、前記オブジェクト関連パラメータ情報の少なくとも一部を用いて、第１のオーディオオブジェクトタイプの１つ以上のオーディオオブジェクトの第１のセットを記述する第１のオーディ情報と、第２のオーディオオブジェクトタイプの２つ以上のオーディオオブジェクトの第２のセットを記述する第２のオーディオ情報を取得するステップと、
前記オブジェクト関連パラメータ情報に基づいて前記第２のオーディオ情報を処理し、前記第２のオーディオ情報の処理されたバージョンを取得するステップと、
前記第１のオーディオ情報を前記第２のオーディオ情報の処理されたバージョンと結合するステップとを備え、
前記第１のオーディオ情報と前記第２のオーディオ情報は、次式に従って取得され、
0005678048.tif 000166
0005678048.tif 000167
0005678048.tif 000168
0005678048.tif 000169
0005678048.tif 000170
0005678048.tif 000171
0005678048.tif 000172
ここで、ｄ0,i、ｄ1,iは、前記第２のオーディオオブジェクトタイプのオーディオオブジェクトに関するダウンミックス値であり、
ＯＬＤiは、前記第２のオーディオオブジェクトタイプのオーディオオブジェクトに関するオブジェクトレベル差値であり、
Ｎは、オーディオオブジェクトの合計数であり、
ＮEAOは、前記第１のオーディオオブジェクトタイプのオーディオオブジェクトの数であり、
ＩＯＣ0,1は、前記第２のオーディオオブジェクトタイプの一対のオーディオブジェクトに関するオブジェクト間相関値であり、
ｅi,j、ｅL,Rは、オブジェクトレベル差パラメータとオブジェクト間相関パラメータから導き出される共分散値であり、
ｅi,jは、前記第１のオーディオオブジェクトタイプの一対のオーディオオブジェクトに関連し、ｅL,Rは、前記第２のオーディオオブジェクトタイプの一対のオーディオオブジェクトに関連する、
アップミックス信号表現を提供する方法。
【請求項３５】
ダウンミックス信号表現とオブジェクト関連パラメータ情報に基づいてアップミックス信号表現を提供する方法であって、
前記ダウンミックス信号表現を分解し、前記ダウンミックス信号表現に基づき、前記オブジェクト関連パラメータ情報の少なくとも一部を用いて、第１のオーディオオブジェクトタイプの１つ以上のオーディオオブジェクトの第１のセットを記述する第１のオーディ情報と、第２のオーディオオブジェクトタイプの２つ以上のオーディオオブジェクトの第２のセットを記述する第２のオーディオ情報を取得するステップと、
前記オブジェクト関連パラメータ情報に基づいて前記第２のオーディオ情報を処理し、前記第２のオーディオ情報の処理されたバージョンを取得するステップと、
前記第１のオーディオ情報を前記第２のオーディオ情報の処理されたバージョンと結合するステップとを備え、
前記第１のオーディオ情報と前記第２のオーディオ情報は、次式に従って取得され、
0005678048.tif 000173
0005678048.tif 000174
0005678048.tif 000175
アップミックス信号表現を提供する方法。
【請求項３６】
ダウンミックス信号表現とオブジェクト関連パラメータ情報に基づいてアップミックス信号表現を提供する方法であって、
前記ダウンミックス信号表現を分解し、前記ダウンミックス信号表現に基づき、前記オブジェクト関連パラメータ情報の少なくとも一部を用いて、第１のオーディオオブジェクトタイプの１つ以上のオーディオオブジェクトの第１のセットを記述する第１のオーディ情報と、第２のオーディオオブジェクトタイプの２つ以上のオーディオオブジェクトの第２のセットを記述する第２のオーディオ情報を取得するステップと、
前記オブジェクト関連パラメータ情報に基づいて前記第２のオーディオ情報を処理し、前記第２のオーディオ情報の処理されたバージョンを取得するステップと、
前記第１のオーディオ情報を前記第２のオーディオ情報の処理されたバージョンと結合するステップとを備え、
前記第１のオーディオ情報と前記第２のオーディオ情報は、次式に従って取得され、
0005678048.tif 000176
0005678048.tif 000177
0005678048.tif 000178
アップミックス信号表現を提供する方法。
【請求項３７】
コンピュータプログラムがコンピュータ上で動作するときに、請求項３４〜３６のいずれかに記載された方法を実行する、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明に係る実施形態は、ダウンミックス信号表現とオブジェクト関連パラメータ情報に基づいてアップミックス信号表現を提供するオーディオ信号デコーダに関する。
【０００２】
本発明に係る更なる実施形態は、ダウンミックス信号表現とオブジェクト関連パラメータ情報に基づいてアップミックス信号表現を提供する方法に関する。
【０００３】
本発明に係る更なる実施形態は、コンピュータプログラムに関する。
【０００４】
本発明に係るいくつかの実施形態は、拡張されたカラオケ／ソロ‐ＳＡＯＣシステムに関する。
【背景技術】
【０００５】
現代のオーディオシステムにおいて、効率的なビットレートでオーディオ情報を転送し、記憶することが要求される。加えて、部屋において空間的に配置された２つまたはそれ以上の複数個のスピーカを用いてオーディオコンテンツを再生することがしばしば要求される。そのような場合、ユーザが異なるオーディオコンテンツまたは単一のオーディオコンテンツの異なるアイテムを空間的に識別することを可能とするようなマルチスピーカ構成の機能を利用することが要求される。これは、異なるオーディオコンテンツを異なるスピーカに個別に分配することによって成し遂げることができる。
【０００６】
言い換えれば、オーディオ処理と、オーディオ伝送と、オーディオ記憶の技術において、聴覚インプレッションを改善するためにマルチチャンネルコンテンツを取り扱うという要望が増大している。マルチチャンネルオーディオコンテンツの使用は、ユーザに対して有意の改善をもたらす。例えば、娯楽アプリケーションにおいて改善されたユーザ満足度をもたらす三次元の聴覚インプレッションを得ることができる。しかしながら、話し手の了解度はマルチチャンネルオーディオ再生を用いることで改善することができるので、マルチチャンネルオーディオコンテンツは、専門的な環境、例えば電話会議アプリケーションにおいても有用である。
【０００７】
しかしながら、マルチチャンネルアプリケーションによって生じる過剰なリソースの負荷を回避するため、オーディオ品質とビットレート要求条件の間の良好なトレードオフを有することが望ましい。
【０００８】
近年、多数のオーディオオブジェクトを含んでいるオーディオシーンの効率的なビットレートの伝送および／または記憶に対するパラメータ技術、例えば、バイノーラルキュー符号化（タイプＩ）（例えば、参考資料［ＢＣＣ］を参照）、ジョイントソース符号化（例えば、参考資料［ＪＳＣ］を参照）、およびＭＰＥＧ空間オーディオオブジェクト符号化（ＳＡＯＣ）（例えば、参考資料［ＳＡＯＣ１］、［ＳＡＯＣ２］を参照）が提唱されている。
【０００９】
これらの技術は、波形マッチングによるよりも、むしろ所望の出力オーディオシーンを知覚的に再構築することを目標とする。
【００１０】
図８は、このようなシステム（ここではＭＰＥＧ−ＳＡＯＣ）の概要を示す。図８に示されるＭＰＥＧ‐ＳＡＯＣシステム８００は、ＳＡＯＣエンコーダ８１０とＳＡＯＣデコーダ８２０を備える。ＳＡＯＣエンコーダ８１０は、例えば、時間領域信号または時間−周波数領域信号（例えば、フーリエタイプの変換の変換係数のセットの形の、またはＱＭＦサブバンド信号の形の）として表すことができる複数のオブジェクト信号ｘ1〜ｘNを受信する。ＳＡＯＣエンコーダ８１０は、通常は、オブジェクト信号ｘ1〜ｘNに関するダウンミックス係数ｄ1〜ｄNも受信する。ダウンミックス係数の分離したセットは、ダウンミックス信号の各チャンネルに対して利用することができる。ＳＡＯＣエンコーダ８１０は、通常は、オブジェクト信号ｘ1〜ｘNを関連するダウンミックス係数ｄ1〜ｄNに従って結合することによって、ダウンミックス信号のチャンネルを取得するように構成される。通常は、オブジェクト信号ｘ1〜ｘNよりも少ないダウンミックスチャンネルが存在する。ＳＡＯＣエンコーダ８１０は、ＳＡＯＣデコーダ８２０側において、オブジェクト信号の分離（または分離処理）を可能に（少なくとも近似的に）するため、１つ以上のダウンミックス信号（ダウンミックスチャンネルとして指定された）８１２とサイド情報８１４の両方を提供する。サイド情報８１４は、デコーダ側のオブジェクト特有の処理を可能とするために、オブジェクト信号ｘ1〜ｘNの特性を記述する。
【００１１】
ＳＡＯＣデコーダ８２０は、１つ以上のダウンミックス信号８１２とサイド情報８１４の両方を受信するように構成される。また、ＳＡＯＣデコーダ８２０は、通常は、所望のレンダリングセットアップを記述するユーザ対話情報および／またはユーザ制御情報８２２を受信するように構成される。例えば、ユーザ対話情報／ユーザ制御情報８２２は、オブジェクト信号ｘ1〜ｘNによって提供されるオブジェクトのスピーカセットアップと所望の空間配置を記述することができる。
【００１２】
0005678048.tif 000002
【００１３】
0005678048.tif 000003
【００１４】
次に図９ａ、９ｂ、９ｃを参照して、ダウンミックス信号表現とオブジェクト関連サイド情報に基づいてアップミックス信号表現を取得する異なる装置が記載される。図９ａは、ＳＡＯＣデコーダ９２０を備えるＭＰＥＧ‐ＳＡＯＣシステム９００の概略ブロック図を示す。ＳＡＯＣデコーダ９２０は、分離した機能ブロックとして、オブジェクトデコーダ９２２とミキサー／レンダラー９２６を備える。オブジェクトデコーダ９２２は、ダウンミックス信号表現（例えば、時間ドメインまたは時間−周波数ドメインにおいて表された１つ以上のダウンミックス信号の形の）と、オブジェクト関連サイド情報（例えば、オブジェクトメタデータの形の）に基づいて、複数の復元されたオブジェクト信号９２４を提供する。ミキサー／レンダラー９２６は、複数のＮ個のオブジェクトに関する復元されたオブジェクト信号９２４を受信し、それに基づいて１つ以上のアップミックスチャンネル信号９２８を提供する。ＳＡＯＣデコーダ９２０において、オブジェクト信号９２４の抽出は、オブジェクト復号化機能の混合／レンダリング機能からの分離を可能にする混合／レンダリングにより個別に実行されるが、比較的高い演算量をもたらす。
【００１５】
次に図９ｂを参照して、ＳＡＯＣデコーダ９５０を備える他のＭＰＥＧ‐ＳＡＯＣシステム９３０が簡単に述べられる。ＳＡＯＣデコーダ９５０は、ダウンミックス信号表現（例えば、１つ以上のダウンミックス信号の形の）と、オブジェクト関連サイド情報（例えば、オブジェクトメタデータの形の）に基づいて、複数のアップミックスチャンネル信号９５８を提供する。ＳＡＯＣデコーダ９５０は、ジョイント混合プロセスにおいてオブジェクト復号化と混合／レンダリングの分離なしにアップミックスチャンネル信号９５８を取得するように構成され、前記ジョイントアップミックスプロセスに対するパラメータがオブジェクト関連サイド情報とレンダリング情報の両方に依存する、複合化されたオブジェクトデコーダとミキサー／レンダラーを備える。ジョイントアップミックスプロセスは、オブジェクト関連サイド情報の一部であると考えられるダウンミックス情報にも依存する。
【００１６】
上記を要約すると、アップミックスチャンネル信号９２８、９５８の提供は、１ステップのプロセスまたは２ステップのプロセスにおいて実行することができる。
【００１７】
次に図９ｃを参照して、ＭＰＥＧ‐ＳＡＯＣシステム９６０が記載される。ＳＡＯＣシステム９６０は、ＳＡＯＣデコーダでなく、ＳＯＡＣからＭＰＥＧサラウンドへのトランスコーダ９８０を備える。
【００１８】
ＳＯＡＣからＭＰＥＧサラウンドへのトランスコーダは、オブジェクト関連サイド情報（例えば、オブジェクトメタデータの形の）と、オプションとして１つ以上のダウンミックス信号とレンダリング情報に関する情報を受信するように構成されたサイド情報トランスコーダ９８２を備える。サイド情報トランスコーダは、受信データに基づいて、ＭＰＥＧサラウンドサイド情報９８４（例えば、ＭＰＥＧサラウンドビットストリームの形の）を提供するようにも構成される。したがって、サイド情報トランスコーダ９８２は、オブジェクトエンコーダから受信されるオブジェクト関連（パラメータ）サイド情報を、レンダリング情報とオプションとして１つ以上のダウンミックス信号のコンテンツに関する情報を考慮に入れて、チャンネル関連（パラメータ）サイド情報９８４に変換するように構成される。
【００１９】
オプションとして、ＳＯＡＣからＭＰＥＧサラウンドへのトランスコーダ９８０は、例えば、ダウンミックス信号表現によって記述された１つ以上のダウンミックス信号を操作し、操作されたダウンミックス信号表現９８８を取得するように構成することができる。しかしながら、ダウンミックス信号マニピュレータ９８６は、ＳＯＡＣからＭＰＥＧサラウンドへのトランスコーダ９８０の出力ダウンミックス信号表現９８８がＳＯＡＣからＭＰＥＧサラウンドへのトランスコーダの入力ダウンミックス信号表現と同一であるように、省略することができる。ダウンミックス信号マニピュレータ９８６は、例えば、いくつかのレンダリング配列においてあてはまる可能性がある、チャンネル関連ＭＰＥＧサラウンドサイド情報９８４がＳＯＡＣからＭＰＥＧサラウンドへのトランスコーダ９８０の入力ダウンミックス信号表現に基づいて所望の聴覚インプレッションを提供することができない場合に、用いることができる。
【００２０】
したがって、ＳＯＡＣからＭＰＥＧサラウンドへのトランスコーダ９８０は、ＳＯＡＣからＭＰＥＧサラウンドへのトランスコーダ９８０のレンダリング情報入力に従ってオーディオオブジェクトを表す複数のアップミックスチャンネル信号を、ＭＰＥＧサラウンドビットストリーム９８４とダウンミックス信号表現９８８を受信するＭＰＥＧサラウンドデコーダを用いて生成することができるように、ダウンミックス信号表現９８８とＭＰＥＧサラウンドビットストリーム９８４を提供する。
【００２１】
上記を要約すると、ＳＡＯＣ符号化されたオーディオ信号を復号化する異なるコンセプトを用いることができる。場合によっては、ダウンミックス信号表現とオブジェクト関連パラメータサイド情報に基づいてアップミックスチャンネル信号（例えば、アップミックスチャンネル信号９２８、９５８）を提供するＳＡＯＣデコーダが用いられる。このコンセプトの実施例は、図９ａと９ｂに見ることができる。あるいは、ＳＡＯＣ符号化されたオーディオ情報は、所望のアップミックスチャンネル信号を提供するＭＰＥＧサラウンドデコーダによって用いることができる、ダウンミックス信号表現（例えば、ダウンミックス信号表現９８８）とチャンネル関連サイド情報（例えば、チャンネル関連ＭＰＥＧサラウンドビットストリーム９８４）を取得するために変換符号化することができる。
【００２２】
図８にシステム概要が示されるＭＰＥＧ‐ＳＡＯＣシステム８００において、一般的な処理が、周波数選択的方法で遂行され、各周波数バンドの中で以下のように記述することができる。
・Ｎ個の入力オーディオオブジェクト信号ｘ1〜ｘNは、ＳＡＯＣエンコーダ処理の一部としてダウンミックスされる。モノラルダウンミックスに対しては、ダウンミックス係数は、ｄ1〜ｄNで示される。加えて、ＳＡＯＣエンコーダ８１０は、入力オーディオオブジェクトの特性を記述するサイド情報８１４を抽出する。ＭＰＥＧ‐ＳＡＯＣに対しては、お互いに関するオブジェクトパワーの関係は、このようなサイド情報の最も基本的な形である。
・ダウンミックス信号８１２とサイド情報８１４は、送信および／または記憶される。
このために、ダウンミックスオーディオ信号は、ＭＰＥＧ‐１レイヤーIIまたはIII（「.mp3」としても知られる）のような周知の知覚的オーディオコーダ、ＭＰＥＧアドバーンストオーディオ符号化（ＡＡＣ）、または他のいかなるオーディオコーダを用いても圧縮することができる。
0005678048.tif 000004
・実際上、オブジェクト信号の分離は、分離ステップ（オブジェクトセパレータ８２０ａによって示される）と混合ステップ（ミキサー８２０ｃによって示される）の両方は、単一の変換符号化ステップに複合化されるので、めったに実行されず（または決して実行されず）、結果としてしばしば計算量の莫大な減少になる。
【００２３】
このようなスキームは、伝送ビットレート（それは、Ｎ個のディスクリートのオブジェクトオーディオ信号またはディスクリートシステムの代わりに、少数のダウンミックスチャンネルに加えていくつかのサイド情報を送信する必要があるだけである）と、計算量（処理の複雑度は、オーディオオブジェクトの数よりもむしろ出力チャンネル数に主に関係する）の両方に関して、極めて効率的であることが分かっている。受信端のユーザに対する更なる利益は、ユーザの選択（モノラル、ステレオ、サラウンド、仮想化されたヘッドホン再生、その他）のレンダリングセットアップを選ぶ自由度とユーザの対話性の特徴を含む。レンダリングマトリックスと、従って出力シーンは、ユーザによって、意志、個人的好みまたは他の基準に従って対話的にセットし、変更することができる。例えば、共に１つの空間エリアにいる１つのグループから話し手を位置決めし、他の残りの話し手からの弁別を最大にすることができる。この対話性は、デコーダのユーザインターフェースを提供することによって達成される。
【００２４】
各送信されたサウンドオブジェクトに対して、その相対的レベルと（非モノラルレンダリングに対する）レンダリングの空間位置は、調整することができる。これは、ユーザが関連するグラフィカルユーザインターフェース（ＧＵＩ）のスライダの位置を変えるにつれてリアルタイムに生ずる可能性がある（例えば：オブジェクトレベル＝＋５ｄＢ、オブジェクト位置＝−３０度）。
【００２５】
しかしながら、このようなシステムにおいて、異なるオーディオオブジェクトタイプのオーディオオブジェクトを取り扱うことは難しいことが分かっている。特に、処理されるオーディオオブジェクトの合計数が予め定められていない場合、異なるオーディオオブジェクトタイプのオーディオオブジェクト、例えば異なるサイド情報が関連づけられたオーディオオブジェクトを処理することは難しいことが分かっている。
【００２６】
この状況を鑑みて、本発明の目的は、ダウンミックス信号表現と、２つ以上の異なるオーディオオブジェクトタイプのオーディオオブジェクトを記述するオブジェクト関連パラメータ情報を備えるオーディオ信号の、計算上効率的でフレキシブルな復号化を可能にするコンセプトを構築することである。
【先行技術文献】
【非特許文献】
【００２７】
【非特許文献１】ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１（ＭＰＥＧ）、文書Ｎ８８５３、空間オーディオオブジェクトコーディングに関する提案の召集、第７９回ＭＰＥＧミーティング、マラケシュ、２００７年１月
【非特許文献２】ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１（ＭＰＥＧ）、文書Ｎ９０９９、最終的な空間オーディオオブジェクト符号化評価手順と評価基準、第８０回ＭＰＥＧミーティング、サンノゼ、２００７年４月
【非特許文献３】ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１（ＭＰＥＧ）、文書Ｎ９２５０、空間オーディオオブジェクト符号化ＲＭ０セクションの報告、第８１回ＭＰＥＧミーティング、ローザンヌ、２００７年７月
【非特許文献４】ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１（ＭＰＥＧ）、文書Ｍ１５１２３、ＭＰＥＧ  ＳＡＯＣ  ＲＭ０のパフォーマンスを改善するカラオケ／ソロ  システムに関するＣＥの情報と検証結果」、第８３回ＭＰＥＧミーティング、アンタルヤ、トルコ、２００８年１月
【非特許文献５】ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１（ＭＰＥＧ）、文書Ｎ１０６５９、ＩＳＯ／ＩＥＣ  ２３００３−２：２００Ｘ  空間オーディオオブジェクト符号化（ＳＡＯＣ）に関する研究、第８８回ＭＰＥＧミーティング、マウイ、アメリカ合衆国、２００９年４月
【非特許文献６】ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１（ＭＰＥＧ）、文書Ｍ１０６６０、ＳＡＯＣコア実験に関する状況と作業計画、第８８回ＭＰＥＧミーティング、マウイ、アメリカ合衆国、２００９年４月
【非特許文献７】ＥＢＵ技術勧告、中間オーディオ品質の主観的リスニングテストのためのＭＵＳＨＲＡ-ＥＢＵ法」、文書Ｂ／ＡＩＭ０２２、１９９９年１０月
【非特許文献８】ＩＳＯ／ＩＥＣ  ２３００３−１：２００７、情報技術−ＭＰＥＧオーディオ技術 − パート１ ：ＭＰＥＧサラウンド
【発明の概要】
【００２８】
上記目的は、独立クレームに定義されたような、ダウンミックス信号表現とオブジェクト関連パラメータ情報に基づいてアップミックス信号表現を提供するオーディオ信号デコーダ、ダウンミックス信号表現とオブジェクト関連パラメータ情報に基づいてアップミックス信号表現を提供する方法、およびコンピュータプログラムによって達成される。
【００２９】
本発明に係る実施形態は、ダウンミックス信号表現とオブジェクト関連パラメータ情報に基づいてアップミックス信号表現を提供するオーディオ信号デコーダを構築する。オーディオ信号デコーダは、ダウンミックス信号表現を分解し、ダウンミックス信号表現に基づき、オブジェクト関連パラメータ情報の少なくとも一部を用いて、第１のオーディオオブジェクトタイプの１つ以上のオーディオオブジェクトの第１のセットを記述する第１のオーディオ情報と、第２のオーディオオブジェクトタイプの１つ以上のオーディオオブジェクトの第２のセットを記述する第２のオーディオ情報を提供するように構成された、オブジェクトセパレータを備える。オーディオ信号デコーダは、また、第２のオーディオ情報を受信し、オブジェクト関連パラメータ情報に基づいて第２のオーディオ情報を処理し、第２のオーディオ情報の処理されたバージョンを取得するように構成された、オーディオ信号プロセッサを備える。オーディオ信号デコーダは、また、第１のオーディオ情報を第２のオーディオ情報の処理されたバージョンと結合し、アップミックス信号表現を取得するように構成された、オーディオ信号コンバイナを備える。
【００３０】
オブジェクトセパレータによって実行される第１の処理ステップにおいて、オブジェクト関連パラメータ情報の少なくとも一部を用いて異なるタイプのオーディオオブジェクトの分離を可能とし、オーディオ信号プロセッサによるオブジェクト関連パラメータ情報の少なくとも一部に基づいて実行される第２の処理ステップにおいて、付加的な空間処理を可能とするカスケード構造において、異なるタイプのオーディオオブジェクトの効率的処理を得ることができることが、本発明の基本的思想である。より大きい数の第２のオーディオオブジェクトタイプのオーディオオブジェクトが存在する場合であっても、ダウンミックス信号表現から、第２のオーディオオブジェクトタイプのオーディオオブジェクトを備える第２のオーディオ情報を抽出することを、適度な複雑度で実行できることが分かっている。加えて、一旦第２のオーディオ情報が第１のオーディオオブジェクトタイプのオーディオオブジェクトを記述する第１のオーディオ情報から分離されれば、第２のオーディオタイプのオーディオオブジェクトの空間処理を効率的に実行できることが分かっている。
【００３１】
加えて、第１のオーディオ情報と第２のオーディオ情報を分離するオブジェクトセパレータによって実行される処理アルゴリズムは、第２のオーディオオブジェクトタイプのオーディオオブジェクトのオブジェクト個々の処理が、オーディオ信号プロセッサの下位に置かれ、第１のオーディオ情報と第２のオーディオ情報の分離のように同時に実行されない場合に、比較的小さい複雑度で実行できることが分かっている。
【００３２】
好ましい実施形態において、オーディオ信号デコーダは、ダウンミックス信号表現と、オブジェクト関連パラメータ情報と、ダウンミックス信号表現によって表されたオーディオオブジェクトのサブセットに関する残余情報に基づいてアップミックス信号表現を提供するように構成される。この場合、オブジェクトセパレータは、ダウンミックス信号表現を分解し、ダウンミックス信号表現に基づき、オブジェクト関連パラメータ情報と残余情報の少なくとも一部を用いて、残余情報が関連する第１のオーディオオブジェクトタイプの１つ以上のオーディオオブジェクト（例えばフォアグラウンドオブジェクトＦＧＯ）の第１のセットを記述する第１のオーディオ情報と、残余情報が関連しない第２のオーディオオブジェクトタイプの１つ以上のオーディオオブジェクト（例えばバックグラウンドオブジェクトＢＧＯ）の第２のセットを記述する第２のオーディオ情報を提供するように構成される。
【００３３】
この実施形態は、第１のオーディオオブジェクトタイプのオーディオオブジェクトの第１のセットを記述する第１のオーディオ情報と、第２のオーディオオブジェクトタイプのオーディオオブジェクトの第２のセットを記述する第２のオーディオ情報のとりわけ正確な分離が、オブジェクト関連パラメータ情報に加えて残余情報を用いることによって得ることができるという発見に基づいている。オブジェクト関連パラメータ情報の単なる使用が多くの場合において歪に結果としてなり、それは残余情報の使用によって、有意に減少させることができる、または完全に除去することさえできることが分っている。残余情報は、例えば、第１のオーディオオブジェクトタイプのオーディオオブジェクトが単にオブジェクト関連パラメータ情報を用いて分離された場合に残ると予想される残余の歪を記述する。残余情報は、通常はオーディオ信号エンコーダによって推定される。残余情報を適用することによって、第１のオーディオオブジェクトタイプのオーディオオブジェクトと、第２のオーディオオブジェクトタイプのオーディオオブジェクトの分離は、改善することができる。
【００３４】
これは、第１のオーディオオブジェクトタイプのオーディオオブジェクトと第２のオーディオオブジェクトタイプのオーディオオブジェクトのとりわけ良好な分離によって第１のオーディオ情報と第２のオーディオ情報を取得することを可能にし、これにより次に、オーディオ信号プロセッサにおいて第２のオーディオ情報を処理するときに、第２のオーディオオブジェクトタイプのオーディオオブジェクトの高品質な空間処理を得ることを可能にする。
【００３５】
好ましい実施形態において、オブジェクトセパレータは、それ故、第１のオーディオ情報において、第１のオーディオオブジェクトタイプのオーディオオブジェクトが第２のオーディオオブジェクトタイプのオーディオオブジェクトを超えて強調されるように、第１のオーディオ情報を提供するように構成される。オブジェクトセパレータは、また、第２のオーディオ情報において、第２のオーディオオブジェクトタイプのオーディオオブジェクトが第１のオーディオオブジェクトタイプのオーディオオブジェクトを超えて強調されるように、第２のオーディオ情報を提供するように構成される。
【００３６】
好ましい実施形態において、オーディオ信号デコーダは、オーディオ信号プロセッサにおける第２のオーディオ情報の処理が、第１のオーディオオブジェクトタイプの１つ以上のオーディオオブジェクトの第１のセットを記述する第１のオーディオ情報と第２のオーディオオブジェクトタイプの１つ以上のオーディオオブジェクトの第２のセットを記述する第２のオーディオ情報の分離の後に実行されるように、２ステップ処理を実行するように構成される。
【００３７】
好ましい実施形態において、オーディオ信号プロセッサは、第２のオーディオ情報を、第２のオーディオオブジェクトタイプのオーディオオブジェクトに関するオブジェクト関連パラメータ情報に基づき、第１のオーディオオブジェクトタイプのオーディオオブジェクトに関するオブジェクト関連パラメータ情報から独立して処理するように構成される。したがって、第１のオーディオオブジェクトタイプのオーディオオブジェクトと第２のオーディオオブジェクトタイプのオーディオオブジェクトの分離した処理を得ることができる。
【００３８】
好ましい実施形態において、オブジェクトセパレータは、１つ以上のダウンミックスチャンネルと１つ以上の残余チャンネルの線形結合を用いて第１のオーディオ情報と第２のオーディオ情報を取得するように構成される。この場合、オブジェクトセパレータは、第１のオーディオオブジェクトタイプのオーディオオブジェクトに関するダウンミックスパラメータに基づいて、そして第１のオーディオオブジェクトタイプのオーディオオブジェクトのチャンネル予測係数に基づいて、線形結合を実行する結合パラメータを取得するように構成される。第１のオーディオオブジェクトタイプのオーディオオブジェクトのチャンネル予測係数の演算は、例えば、単一の共通オーディオオブジェクトとして第２のオーディオオブジェクトタイプのオーディオオブジェクトを考慮することができる。したがって、分離プロセスは、十分に小さい計算量によって実行することができ、例えば、第２のオーディオオブジェクトタイプのオーディオオブジェクトの数からほぼ独立したものとすることができる。
【００３９】
好ましい実施形態において、オブジェクトセパレータは、第１のオーディオ情報にレンダリングマトリックスを適用し、第１のオーディオ情報のオブジェクト信号をアップミックスオーディオ信号表現のオーディオチャンネルにマッピングするように構成される。これは、オブジェクトセパレータが第１のオーディオオブジェクトタイプのオーディオオブジェクトを個々に表す分離したオーディオ信号を抽出する能力があるので、実行することができる。したがって、第１のオーディオ情報のオブジェクト信号をアップミックスオーディオ信号表現のオーディオチャンネルに直接マッピングすることが可能である。
【００４０】
好ましい実施形態において、オーディオプロセッサは、レンダリング情報と、オブジェクト関連共分散情報と、ダウンミックス情報に基づいて第２のオーディオ情報のステレオ処理を実行し、アップミックスオーディオ信号表現のオーディオチャンネルを取得するように構成される。
【００４１】
したがって、第２のオーディオオブジェクトタイプのオーディオオブジェクトのステレオ処理は、第１のオーディオオブジェクトタイプのオーディオオブジェクトと第２のオーディオオブジェクトタイプのオーディオオブジェクトの分離から分離される。このように、第１のオーディオオブジェクトタイプのオーディオオブジェクトと第２のオーディオオブジェクトタイプのオーディオオブジェクトの効率的な分離は、通常、オブジェクトセパレータにおいて、例えば残余情報を用いて得ることができる高度のオブジェクト分離の提供なしにオーディオオブジェクトの複数のオーディオチャンネルへの分配に導くステレオ処理によって影響されない（すなわち劣化しない）。
【００４２】
他の好ましい実施形態において、オーディオプロセッサは、レンダリング情報と、オブジェクト関連共分散情報と、ダウンミックス情報に基づいて第２のオーディオ情報の後処理を実行するように構成される。この形式の後処理は、第２のオーディオオブジェクトタイプのオーディオオブジェクトのオーディオシーン内の空間配置を可能にする。しかも、カスケードコンセプトによって、オーディオプロセッサは第１のオーディオオブジェクトタイプのオーディオオブジェクトに関するオブジェクト関連パラメータ情報を考慮する必要がないので、オーディオプロセッサの計算量は十分に小さく保つことができる。
【００４３】
加えて、例えば、モノラルからバイノーラルへの処理、モノラルからステレオへの処理、ステレオからバイノーラルへの処理、またはステレオからステレオへの処理のような異なるタイプの処理を、オーディオプロセッサによって実行することができる。
【００４４】
好ましい実施形態において、オブジェクトセパレータは、残余情報が関連しない第２のオーディオオブジェクトタイプのオーディオオブジェクトを、単一のオーディオオブジェクトとして取り扱うように構成される。加えて、オーディオ信号プロセッサは、オブジェクト特有のレンダリングパラメータを考慮し、第２のオーディオオブジェクトタイプのオブジェクトの貢献度をアップミックス信号表現に合わせるように構成される。このように、第２のオーディオオブジェクトタイプのオーディオオブジェクトは、オブジェクトセパレータによって単一のオーディオオブジェクトとみなされ、オブジェクトセパレータの複雑度を有意に低減し、更に、第２のオーディオオブジェクトタイプのオーディオオブジェクトに関するレンダリングパラメータから独立しているユニークな残余情報を持つことを可能にする。
【００４５】
好ましい実施形態において、オブジェクトセパレータは、第２のオーディオオブジェクトタイプの複数のオーディオオブジェクトに対する共通のオブジェクトレベル差値を取得するように構成される。オブジェクトセパレータは、チャンネル予測係数の演算に対して共通のオブジェクトレベル差値を用いるように構成される。加えて、オブジェクトセパレータは、チャンネル予測係数を用い、第２のオーディオ情報を表す１つまたは２つのオーディオチャンネルを取得するように構成される。共通のオブジェクトレベル差値の取得に対して、第２のオーディオオブジェクトタイプのオーディオオブジェクトは、オブジェクトセパレータによって単一のオーディオオブジェクトとして効率的に取り扱うことができる。
【００４６】
好ましい実施形態において、オブジェクトセパレータは、第２のオーディオオブジェクトタイプの複数のオーディオオブジェクトに対して共通のオブジェクトレベル差値を取得するように構成され、オブジェクトセパレータは、エネルギーモードマッピングマトリックスのエントリーの演算に対して共通のオブジェクトレベル差値を用いるように構成される。オブジェクトセパレータは、エネルギーモードマッピングマトリックスを用い、第２のオーディオ情報を表す１つ以上のオーディオチャンネルを取得するように構成される。また、共通のオブジェクトレベル差値は、オブジェクトセパレータによる第２のオーディオオブジェクトタイプのオーディオオブジェクトの計算上効率的な共通の取り扱いを可能にする。
【００４７】
好ましい実施形態において、オブジェクトセパレータは、第２のオーディオオブジェクトタイプのオーディオオブジェクトが２つあることが分った場合に、オブジェクト関連パラメータ情報に基づいて第２のオーディオオブジェクトタイプのオーディオオブジェクトに関する共通のオブジェクト間相関値を選択的に取得し、第２のオーディオオブジェクトタイプのオーディオオブジェクトが２つを超えるまたは２つ未満であることが分った場合に、第２のオーディオオブジェクトタイプのオーディオオブジェクトに関するオブジェクト間相関値をゼロにセットするように構成される。オブジェクトセパレータは、第２のオーディオオブジェクトタイプのオーディオオブジェクトに関する共通のオブジェクト間相関値を用い、第２のオーディオ情報を表す１つ以上のオーディオチャンネルを取得するように構成される。このアプローチを用いて、オブジェクト間相関値は、高い計算効率で得ることができる場合、すなわち、第２のオーディオオブジェクトタイプのオーディオオブジェクトが２つある場合に、利用される。さもないと、オブジェクト間相関値を取得するために計算上大変な労力を要する。したがって、第２のオブジェクトタイプのオーディオオブジェクトが２つを超えるまたは２つ未満である場合は、第２のオーディオオブジェクトタイプのオーディオオブジェクトに関するオブジェクト間相関値をゼロにセットすることが聴覚インプレッションと計算量の観点から良好な妥協であると分った。
【００４８】
好ましい実施形態において、オーディオ信号プロセッサは、オブジェクト関連パラメータ情報（少なくともその一部）に基づいて第２のオーディオ情報をレンダリングし、第２のオーディオ情報の処理されたバージョンとして、第２のオーディオオブジェクトタイプのオーディオオブジェクトのレンダリングされた表現を取得するように構成される。この場合、レンダリングは、第１のオーディオオブジェクトタイプのオーディオオブジェクトから独立しているようになすことができる。
【００４９】
好ましい実施形態において、オブジェクトセパレータは、第２のオーディオ情報が第２のオーディオオブジェクトタイプの２つを超えるオーディオオブジェクトを記述するように、第２のオーディオ情報を提供するように構成される。本発明に係る実施形態は、第２のオーディオオブジェクトタイプのオーディオオブジェクトの数のフレキシブルな調整を可能とし、それは処理のカスケード化構造によって有意に促進される。
【００５０】
好ましい実施形態において、オブジェクトセパレータは、第２のオーディオ情報として、第２のオーディオオブジェクトタイプの２つを超えるオーディオオブジェクトを表す１チャンネルのオーディオ信号表現または２チャンネルのオーディオ信号表現を取得するように構成される。１つまたは２つのオーディオ信号チャンネルを抽出することは、オブジェクトセパレータによって低い計算量で実行することができる。特に、オブジェクトセパレータの複雑度は、オブジェクトセパレータが第２のオーディオオブジェクトタイプの２つを超えるオーディオオブジェクトを取扱うことを必要とするケースと比較したとき、有意に小さく保つことができる。しかも、１つまたは２つのチャンネルのオーディオ信号を用いることは、第２のオーディオオブジェクトタイプのオーディオオブジェクトの計算上効率的な表現であることが分かっている。
【００５１】
好ましい実施形態において、オーディオ信号プロセッサは、第２のオーディオ情報を受信し、第２のオーディオオブジェクトタイプの２つを超えるオーディオオブジェクトに関するオブジェクト関連パラメータ情報を考慮して、オブジェクト関連パラメータ情報（少なくともその一部）に基づいて第２のオーディオ情報を処理するように構成される。したがって、オブジェクト個々の処理は、オーディオプロセッサによって実行される一方、そのようなオブジェクト個々の処理は第２のオーディオオブジェクトタイプのオーディオオブジェクトに対して実行されない。
【００５２】
好ましい実施形態において、オーディオデコーダは、オブジェクト関連パラメータ情報に関する構成情報から、トータルのオブジェクト数の情報とフォアグラウンドのオブジェクト数の情報を抽出するように構成される。オーディオデコーダは、また、トータルのオブジェクト数の情報とフォアグラウンドのオブジェクト数の情報の差を形成することによって、第２のオーディオオブジェクトタイプのオーディオオブジェクトの数を決定するように構成される。したがって、第２のオーディオオブジェクトタイプのオーディオオブジェクトの数の効率的なシグナリングが達成される。加えて、このコンセプトは、第２のオーディオオブジェクトタイプのオーディオオブジェクトの数に関して高度なフレキシビリティを提供する。
【００５３】
好ましい実施形態において、オブジェクトセパレータは、第１のオーディオオブジェクトタイプのＮeao個のオーディオオブジェクトに関するオブジェクト関連パラメータ情報を用い、第１のオーディオ情報として、第１のオーディオオブジェクトタイプのＮeao個のオーディオオブジェクトを表す（好ましくは、個々に）Ｎeao個のオーディオ信号を取得し、第２のオーディオオブジェクトタイプのＮ−Ｎeao個のオーディオオブジェクトを単一の１チャンネルまたは２チャンネルのオーディオオブジェクトとして取り扱い、第２のオーディオ情報として、第２のオーディオオブジェクトタイプのＮ−Ｎeao個のオーディオオブジェクトを表す１つまたは２つのオーディオ信号を取得するように構成される。オーディオ信号プロセッサは、第２のオーディオオブジェクトタイプのＮ−Ｎeao個のオーディオオブジェクトに関するオブジェクト関連パラメータ情報を用いて、第２のオーディオ情報の１つまたは２つのオーディオ信号によって表されたＮ−Ｎeao個のオーディオオブジェクトを個々にレンダリングするように構成される。したがって、第１のオーディオオブジェクトタイプのオーディオオブジェクトと第２のオーディオオブジェクトタイプのオーディオオブジェクトの間のオーディオオブジェクトの分離は、第２のオーディオオブジェクトタイプのオーディオオブジェクトのその後の処理から分離される。
【００５４】
本発明に係る実施形態は、ダウンミックス信号表現とオブジェクト関連パラメータ情報に基づいてアップミックス信号表現を提供する方法を構築する。
【００５５】
本発明に係る他の実施形態は、前記方法を実行するコンピュータプログラムを構築する。
【図面の簡単な説明】
【００５６】
本発明に係る実施形態は、以下の図面を参照して、引き続いて記載される。
【図１】本発明の一実施形態に係るオーディオ信号デコーダの概略ブロック図を示す。
【図２】本発明の一実施形態に係る他のオーディオ信号デコーダの概略ブロック図を示す。
【図３ａ】本発明の一実施形態においてオブジェクトセパレータとして用いることができる残余プロセッサの概略ブロック図を示す。
【図３ｂ】本発明の一実施形態においてオブジェクトセパレータとして用いることができる残余プロセッサの概略ブロック図を示す。
【図４ａ】本発明の一実施形態に係るオーディオ信号デコーダにおいて用いることができるオーディオ信号プロセッサの概略ブロック図を示す。
【図４ｂ】本発明の一実施形態に係るオーディオ信号デコーダにおいて用いることができるオーディオ信号プロセッサの概略ブロック図を示す。
【図４ｃ】本発明の一実施形態に係るオーディオ信号デコーダにおいて用いることができるオーディオ信号プロセッサの概略ブロック図を示す。
【図４ｄ】本発明の一実施形態に係るオーディオ信号デコーダにおいて用いることができるオーディオ信号プロセッサの概略ブロック図を示す。
【図４ｅ】本発明の一実施形態に係るオーディオ信号デコーダにおいて用いることができるオーディオ信号プロセッサの概略ブロック図を示す。
【図４ｆ】ＳＡＯＣトランスコーダ処理モードのブロック図である。
【図４ｇ】ＳＡＯＣデコーダ処理モードのブロック図である。
【図５ａ】本発明の一実施形態に係るオーディオ信号デコーダの概略ブロック図を示す。
【図５ｂ】本発明の一実施形態に係る他のオーディオ信号デコーダの概略ブロック図を示す。
【図６ａ】リスニングテスト計画説明書を表す表である。
【図６ｂ】テスト中のシステムを表す表である。
【図６ｃ】リスニングテスト項目とレンダリングマトリックスを表す表である。
【図６ｄ】カラオケ／ソロタイプのレンダリングのリスニングテストに対する平均ＭＵＳＨＲＡスコアのグラフィック表現である。
【図６ｅ】クラシックのレンダリングのリスニングテストに対する平均ＭＵＳＨＲＡスコアのグラフィック表現である。
【図７】本発明の一実施形態に係るアップミックス信号表現を提供する方法のフローチャートである。
【図８】引用例のＭＰＥＧ‐ＳＡＯＣシステムの概略ブロック図である。
【図９ａ】分離したデコーダとミキサーを用いた引用例のＳＡＯＣシステムの概略ブロック図である。
【図９ｂ】統合化されたデコーダとミキサーを用いた引用例のＳＡＯＣシステムの概略ブロック図を示す。
【図９ｃ】ＳＯＡＣからＭＰＥＧへのトランスコーダを用いた引用例のＳＡＯＣシステムの概略ブロック図である。
【図１０】カスケード化されたエンコーダの概略ブロック図である。
【発明を実施するための形態】
【００５７】
１．図１に係るオーディオ信号デコーダ
【００５８】
図１は、本発明の一実施形態に係るオーディオ信号デコーダ１００の概略ブロック図を示す。
【００５９】
オーディオ信号デコーダ１００は、オブジェクト関連パラメータ情報１１０とダウンミックス信号表現１１２を受信するように構成される。オーディオ信号デコーダ１００は、ダウンミックス信号表現とオブジェクト関連パラメータ情報１１０に基づいてアップミックス信号表現１２０を提供するように構成される。オーディオ信号デコーダ１００は、ダウンミックス信号表現１１２を分解し、ダウンミックス信号表現１１２に基づき、オブジェクト関連パラメータ情報１１０の少なくとも一部を用いて、第１のオーディオオブジェクトタイプの１つ以上のオーディオオブジェクトの第１のセットを記述する第１のオーディオ情報１３２と、第２のオーディオオブジェクトタイプの１つ以上のオーディオオブジェクトの第２のセットを記述する第２のオーディオ情報１３４を提供するように構成された、オブジェクトセパレータ１３０備える。オーディオ信号デコーダ１００は、また、第２のオーディオ情報１３４を受信し、第２のオーディオ情報を、オブジェクト関連パラメータ情報１１２の少なくとも一部に基づいて処理し、第２のオーディオ情報１３４の処理されたバージョン１４２を取得するように構成された、オーディオ信号プロセッサ１４０を備える。オーディオ信号デコーダ１００は、また、第１のオーディオ情報１３２を第２のオーディオ情報１３４の処理されたバージョン１４２と結合し、アップミックス信号表現１２０を取得するように構成された、オーディオ信号コンバイナ１５０を備える。
【００６０】
オーディオ信号デコーダ１００は、第１のオーディオオブジェクトタイプのオーディオオブジェクトと第２のオーディオオブジェクトタイプのオーディオオブジェクトを結合された方法で表すダウンミックス信号表現のカスケード化された処理を実行する。
【００６１】
オブジェクトセパレータ１３０によって実行される第１の処理ステップにおいて、第２のオーディオオブジェクトタイプのオーディオオブジェクトの第２のセットを記述する第２のオーディオ情報は、オブジェクト関連パラメータ情報１１０を用いて、第１のオーディオオブジェクトタイプのオーディオオブジェクトの第１のセットを記述する第１のオーディオ情報１３２から分離される。しかしながら、第２のオーディオ情報１３４は、通常は、第２のオーディオオブジェクトタイプのオーディオオブジェクトを結合された方法で記述するオーディオ情報（例えば、１チャンネルのオーディオ信号または２チャンネルのオーディオ信号）である。
【００６２】
第２の処理ステップにおいて、オーディオ信号プロセッサ１４０は、オブジェクト関連パラメータ情報に基づいて第２のオーディオ情報１３４を処理する。したがって、オーディオ信号プロセッサ１４０は、第２のオーディオ情報１３４によって記述され、オブジェクトセパレータ１３０によって通常は実行されないオブジェクト個々の処理、または第２のオーディオオブジェクトタイプのオーディオオブジェクトのレンダリングを実行することができる。
【００６３】
このように、第２のオーディオオブジェクトタイプのオーディオオブジェクトは、好ましくはオブジェクトセパレータ１３０によってオブジェクト個々の方法では処理されないが、第２のオーディオオブジェクトタイプのオーディオオブジェクトは、実際、オーディオ信号プロセッサ１４０によって実行される第２の処理ステップにおいて、オブジェクト個々の方法で処理される（例えば、オブジェクト個々の方法でレンダリングされる）。このように、オブジェクトセパレータ１３０によって実行される第１のオーディオオブジェクトタイプのオーディオオブジェクトと第２のオーディオオブジェクトタイプのオーディオオブジェクトの分離は、第２のオーディオオブジェクトタイプのオーディオオブジェクトのオブジェクト個々の処理から分離され、オーディオ信号プロセッサ１４０によってその後実行される。したがって、オブジェクトセパレータ１３０によって実行される処理は、第２のオーディオオブジェクトタイプのオーディオオブジェクトの数から実質的に独立している。加えて、第２のオーディオ情報１３４のフォーマット（例えば、１チャンネルのオーディオ信号または２チャンネルのオーディオ信号）は、第２のオーディオオブジェクトタイプのオーディオオブジェクトの数から通常は独立している。このように、第２のオーディオオブジェクトタイプのオーディオオブジェクトの数は、オブジェクトセパレータ１３０の構造を修正する必要なしに変化させることができる。言い換えれば、第２のオーディオオブジェクトタイプのオーディオオブジェクトは、オブジェクトセパレータ１４０によって共通のオブジェクト関連パラメータ情報（例えば、１つまたは２つのオーディオチャンネルに関する共通のオブジェクトレベル差値）が取得される単一の（例えば、１チャンネルまたは２チャンネルの）オーディオオブジェクトとして取り扱われる。
【００６４】
したがって、図１に係るオーディオ信号デコーダ１００は、オブジェクトセパレータ１３０の構造の修正なしに、第２のオーディオオブジェクトタイプのオーディオオブジェクトのいろいろな数を取扱うことができる。加えて、オブジェクトセパレータ１３０とオーディオ信号プロセッサ１４０によって、異なるオーディオオブジェクト処理アルゴリズムを適用することができる。したがって、例えば、オブジェクトセパレータ１３０によって残余情報を用いてオーディオオブジェクトの分離を実行することが可能であり、それは、オブジェクトの分離品質の改善に対するサイド情報を構成する残余情報を利用して、異なるオーディオオブジェクトの特に良好な分離を可能にする。対照的に、オーディオ信号プロセッサ１４０は、残余情報を用いることなしにオブジェクト個々の処理を実行することができる。例えば、オーディオ信号プロセッサ１４０は、従来の空間オーディオオブジェクト符号化（ＳＡＯＣ）タイプのオーディオ信号処理を実行し、異なるオーディオオブジェクトをレンダリングするように構成することができる。
【００６５】
２．図２に係るオーディオ信号デコーダ
【００６６】
以下に、本発明の一実施形態に係るオーディオ信号デコーダ２００が記載される。このオーディオ信号デコーダ２００の概略ブロック図が図２に示される。
【００６７】
オーディオデコーダ２００は、ダウンミックス信号２１０と、いわゆるＳＡＯＣビットストリーム２１２と、レンダリングマトリックス情報２１４と、オプションとして頭部に関する伝達関数（ＨＲＴＦ）パラメータ２１６を受信するように構成される。オーディオ信号デコーダ２００は、また、出力／ＭＰＳダウンミックス信号２２０と、（オプションとして）ＭＰＳビットストリーム２２２を提供するように構成される。
【００６８】
２.１  オーディオ信号デコーダ２００の入力信号と出力信号
【００６９】
以下に、オーディオデコーダ２００の入力信号と出力信号に関するさまざまな詳細が記載される。
【００７０】
ダウンミックス信号２００は、例えば、１チャンネルのオーディオ信号または２チャンネルのオーディオ信号とすることができる。ダウンミックス信号２１０は、例えば、ダウンミックス信号の符号化された表現から導き出すことができる。
【００７１】
空間オーディオオブジェクト符号化ビットストリーム（ＳＡＯＣビットストリーム）２１２は、例えば、オブジェクト関連パラメータ情報を備えることができる。例えば、ＳＡＯＣビットストリーム２１２は、オブジェクトレベル差情報を例えばオブジェクトレベル差パラメータＯＬＤ（オブジェクト間相関情報）の形で、オブジェクト間相関情報を例えばオブジェクト間相関パラメータＩＯＣの形で、備えることができる。
【００７２】
加えて、ＳＡＯＣビットストリーム２１２は、ダウンミックス信号がダウンミックスプロセスを用いて複数のオーディオオブジェクト信号に基づいてどのように提供されたかを記述するダウンミックス情報を備えることができる。例えば、ＳＡＯＣビットストリームは、ダウンミックスゲインパラメータＤＭＧと、（オプションとして）ダウンミックスチャンネルレベル差パラメータＤＣＬＤを備えることができる。
【００７３】
レンダリングマトリックス情報２１４は、例えば、異なるオーディオオブジェクトがオーディオデコーダによってどのようにレンダリングされるかについて記述することができる。例えば、レンダリングマトリックス情報２１４は、オーディオオブジェクトの出力／ＭＰＳダウンミックス信号２２０の１つ以上のチャンネルへの割当てを記述することができる。
【００７４】
オプションの頭部に関する伝達関数（ＨＲＴＦ）パラメータ情報２１６は、更に、バイノーラルヘッドホン信号を導き出す伝達関数を記述することができる。
【００７５】
出力／ＭＰＥＧサラウンドダウンミックス信号（簡単に「出力／ＭＰＳダウンミックス信号」でも示される）２２０は、１つ以上のオーディオチャンネルを例えば時間領域オーディオ信号表現または周波数領域オーディオ信号表現の形で表す。単独で、または出力／ＭＰＳダウンミックス信号２２０の複数のオーディオチャンネル上へのマッピングを記述するＭＰＥＧサラウンドパラメータを備えるオプションのＭＰＥＧサラウンドビットストリーム（ＭＰＳビットストリーム）２２２とともに、アップミックス信号表現が形成される。
【００７６】
２.２  オーディオ信号デコーダ２００の構成と機能
【００７７】
以下に、ＳＡＯＣトランスコーダの機能またはＳＡＯＣデコーダの機能を果たすことができるオーディオ信号デコーダ２００の構成が更に詳細に記載される。
【００７８】
オーディオ信号デコーダ２００は、ダウンミックス信号２１０を受信し、それに基づいて出力／ＭＰＳダウンミックス信号２２０を提供するように構成された、ダウンミックスプロセッサ２３０を備える。ダウンミックスプロセッサ２３０は、また、ＳＡＯＣビットストリーム情報２１２の少なくとも一部と、レンダリングマトリックス情報２１４の少なくとも一部を受信するように構成される。加えて、ダウンミックスプロセッサ２３０は、また、パラメータプロセッサ２５０から処理されたＳＡＯＣパラメータ情報２４０を受信することができる。
【００７９】
パラメータプロセッサ２５０は、ＳＡＯＣビットストリーム情報２１２と、レンダリングマトリックス情報２１４と、オプションとして頭部に関する伝達関数パラメータ情報２６０を受信し、それに基づいて、ＭＰＥＧサラウンドパラメータを担持しているＭＰＥＧサラウンドビットストリーム２２２を（ＭＰＥＧサラウンドパラメータが必要とされ、それが、例えば変換符号化動作モードにおいて真である場合に）提供するように構成される。加えて、パラメータプロセッサ２５０は、処理されたＳＡＯＣ情報２４０を（この処理されたＳＡＯＣ情報が必要とされる場合に）提供する。
【００８０】
以下に、ダウンミックスプロセッサ２３０の構造と機能が更に詳細に記載される。
【００８１】
ダウンミックスプロセッサ２３０は、ダウンミックス信号２１０を受信し、それに基づいて、第１のオーディオオブジェクトタイプのオーディオオブジェクトとみなすことができるいわゆる拡張オーディオオブジェクト（ＥＡＯ）を記述する第１のオーディオオブジェクト信号２６２を提供するように構成された、残余プロセッサ２６０を備える。第１のオーディオオブジェクト信号は、１つ以上のオーディオチャンネルを備えることができ、第１のオーディオ情報とみなすことができる。残余プロセッサ２６０は、また、第２のオーディオオブジェクトタイプのオーディオオブジェクトを記述し、第２のオーディオ情報とみなすことができる第２のオーディオオブジェクト信号２６４を提供するように構成される。第２のオーディオオブジェクト信号２６４は、１つ以上のチャンネルを備えることができ、通常は複数のオーディオオブジェクトを記述する１つまたは２つのオーディオチャンネルを備えることができる。通常は、第２のオーディオオブジェクト信号は、第２のオーディオオブジェクトタイプの２つを超えるオーディオオブジェクトでさえ記述することができる。
【００８２】
ダウンミックスプロセッサ２３０は、また、第２のオーディオオブジェクト信号２６４を受信し、それに基づいて、第２のオーディオ情報の処理されたバージョンとみなすことができる第２のオーディオオブジェクト信号２６４の処理されたバージョン２７２を提供するように構成された、ＳＡＯＣダウンミックスプリプロセッサ２７０を備える。
【００８３】
ダウンミックスプロセッサ２３０は、また、第１のオーディオオブジェクト信号２６２と、第２のオーディオオブジェクト信号２６４の処理されたバージョン２７２を受信し、それに基づいて、単独で、または（オプションの）対応するＭＰＥＧサラウンドビットストリーム２２２とともに、アップミックス信号表現とみなすことができる出力／ＭＰＳダウンミックス信号２２０を提供するように構成された、オーディオ信号コンバイナ２８０を備える。
【００８４】
以下に、ダウンミックスプロセッサ２３０の個々のユニットの機能が更に詳細に述べられる。
【００８５】
残余プロセッサ２６０は、第１のオーディオオブジェクト信号２６２と第２のオーディオオブジェクト信号２６４を分離して提供するように構成される。このため、残余プロセッサ２６０は、ＳＡＯＣビットストリーム情報２１２の少なくとも一部を適用するように構成することができる。例えば、残余プロセッサ２６０は、第１のオーディオオブジェクトタイプのオーディオオブジェクト、すなわち、いわゆる「拡張オーディオオブジェクト」ＥＡＯに関するオブジェクト関連パラメータ情報を評価するように構成することができる。加えて、残余プロセッサ２６０は、共通に第２のオーディオオブジェクトタイプのオーディオオブジェクト、例えば、いわゆる「非拡張オーディオオブジェクト」を共通に記述する総括情報を取得するように構成することができる。残余プロセッサ２６０は、また、ＳＡＯＣビットストリーム情報２１２において、拡張オーディオオブジェクト（第１のオーディオオブジェクトタイプのオーディオオブジェクト）と非拡張オーディオオブジェクト（第２のオーディオオブジェクトタイプのオーディオオブジェクト）の分離のために提供される残余情報を評価するように構成することができる。残余情報は、例えば、拡張オーディオオブジェクトと非拡張オーディオオブジェクトの特にきれいな分離を得るために適用される時間領域残余信号を符号化することができる。加えて、残余プロセッサ２６０は、オプションとして、例えば、拡張オーディオオブジェクトの第１のオーディオオブジェクト信号２６２のオーディオチャンネルへの分配を決定するために、レンダリングマトリックス情報２１４の少なくとも一部を評価することができる。
【００８６】
ＳＡＯＣダウンミックスプリプロセッサ２７０は、第２のオーディオオブジェクト信号２６４の１つ以上のオーディオチャンネルを受信し、それに基づいて、処理された第２のオーディオオブジェクト信号２７２の１つ以上（通常は２つ）のオーディオチャンネルを提供するように構成された、チャンネル再分配器２７４を備える。加えて、ＳＡＯＣダウンミックスプリプロセッサ２７０は、第２のオーディオオブジェクト信号２６４の１つ以上のオーディオチャンネルを受信し、それに基づいて、第２のオーディオオブジェクト信号２６４の処理されたバージョン２７２を取得するためにチャンネル再分配器２７４によって提供された信号に加えられる1つ以上の非相関化信号２７８ａ、２７８ｂを提供する、非相関化信号プロバイダ２７６を備える。
【００８７】
ＳＡＯＣダウンミックスプロセッサに関する更なる詳細が、以下で述べられる。
【００８８】
オーディオ信号コンバイナ２８０は、第１のオーディオオブジェクト信号２６２を第２のオーディオオブジェクト信号の処理されたバージョン２７２と結合する。このため、チャンネルワイズの結合を実行することができる。それゆえに、出力／ＭＰＳダウンミックス信号２２０が取得される。
【００８９】
パラメータプロセッサ２５０は、（オプションとして）ＳＡＯＣビットストリームに基づいて、レンダリングマトリックス情報２１４とオプションとしてＨＲＴＦパラメータ情報２１６を考慮して、アップミックス信号表現のＭＰＥＧサラウンドビットストリーム２２２を形成するＭＰＥＧサラウンドパラメータを取得するように構成される。言い換えれば、ＳＡＯＣパラメータプロセッサ２５２は、ＳＡＯＣビットストリーム情報２１２によって記述されるオブジェクト関連パラメータ情報を、ＭＰＥＧサラウンドビットストリーム２２２によって記述されるチャンネル関連パラメータ情報に変換するように構成される。
【００９０】
以下に、図２に示されるＳＡＯＣトランスコーダ／デコーダのアーキテクチャの簡単な概要が与えられる。空間オーディオオブジェクト符号化（ＳＡＯＣ）は、パラメトリック多重オブジェクト符号化技法である。それは、Ｍチャンネルを備えるオーディオ信号（例えば、ダウンミックスオーディオ信号２１０）におけるオーディオオブジェクトの数を送信するように設計される。この下位互換性を持つダウンミックス信号とともに、オリジナルのオブジェクト信号の再現と操作を可能にするオブジェクトパラメータが（例えば、ＳＡＯＣビットストリーム情報２１２を用いて）送信される。ＳＡＯＣエンコーダ（ここでは示されていない）は、その入力においてオブジェクト信号のダウンミックスを産出し、これらのオブジェクトパラメータを抽出する。取扱うことができるオブジェクトの数は、原則として制限されない。オブジェクトパラメータは、量子化され、ＳＡＯＣビットストリーム２１２に能率的に符号化される。ダウンミックス信号２１０は、存在するコーダとインフラを更新する必要なしに圧縮し、送信することができる。オブジェクトパラメータ、あるいはＳＡＯＣサイド情報は、低ビットレートのサイドチャンネル、例えば、ダウンミックスビットストリームの補助的データ部分において送信される。
【００９１】
デコーダ側において、入力オブジェクトは、復元され、再生チャンネルの一定数にレンダリングされる。各オブジェクトに対する再生レベルとパニング位置を含むレンダリング情報は、ユーザから供給されるかまたはＳＡＯＣビットストリームから（例えば、プリセット情報として）抽出することができる。レンダリング情報は、時間変化することができる。出力シナリオは、モノラルからマルチチャンネル（例えば、５．１）にわたることができ、入力オブジェクトの数とダウンミックスチャンネルの数の両方から独立している。オブジェクトのバイノーラルレンダリングは、仮想オブジェクト位置の方位角と仰角を含むことが可能である。オプションのイフェクトインターフェイスは、レベルとパニングの修正の他に、オブジェクト信号の高度な操作を可能にする。
【００９２】
オブジェクトは、それ自身モノラル信号、ステレオ信号、並びにマルチチャンネル信号（例えば５．１チャンネル）とすることができる。通常のダウンミックスの構成は、モノラルとステレオである。
【００９３】
以下に、図２に示されるＳＡＯＣトランスコーダ／デコーダの基本構成が説明される。ここで記載されたＳＡＯＣトランスコーダ／デコーダモジュールは、意図された出力チャンネルの配置に依存して、スタンドアロンのデコーダまたはＳＡＯＣからＭＰＥＧサラウンドビットストリームへのトランスコーダのいずれとしても機能することができる。第１の動作モードにおいて、出力信号の構成はモノラル、ステレオまたはバイノーラルであり、２つの出力チャンネルが用いられる。この第１のケースにおいて、ＳＡＯＣモジュールは、デコーダモードで動作することができ、ＳＡＯＣモジュールの出力はパルス符号化変調された出力（ＰＣＭ出力）である。第１のケースにおいて、ＭＰＥＧサラウンドデコーダは必要でない。むしろ、アップミックス信号表現は、出力信号２２０を備えるだけでよく、ＭＰＥＧサラウンドビットストリーム２２２の供給は省略することができる。第２のケースにおいて、出力信号の構成は、２つを超える出力チャンネルを有するマルチチャンネル構成である。ＳＡＯＣモジュールは、変換符号化モードで動作することができる。図２に示すように、ＳＡＯＣモジュール出力は、この場合、ダウンミックス信号２２０とＭＰＥＧサラウンドビットストリーム２２２の両方を備えることができる。したがって、ＭＰＥＧサラウンドデコーダは、スピーカによる出力に対して最終的なオーディオ信号表現を取得するために、必要とされる。
【００９４】
図２は、ＳＡＯＣトランスコーダ／デコーダのアーキテクチャの基本構成を示す。残余プロセッサ２１６は、ＳＡＯＣビットストリーム２１２に含まれる残余情報を用いて、入来するダウンミックス信号２１０から拡張オーディオオブジェクトを抽出する。ダウンミックスプリプロセッサ２７０は、定型のオーディオオブジェクト（それは、例えば、非拡張オーディオオブジェクト、すなわちＳＡＯＣビットストリーム２１２において残余情報が送信されないオーディオオブジェクト）を処理する。拡張オーディオオブジェクト（第１のオーディオオブジェクト信号２６２によって表された）と、処理された定型のオーディオオブジェクト（例えば、第２のオーディオオブジェクト信号２６４の処理されたバージョン２７２によって表された）は、ＳＡＯＣ復号化モードに対する出力信号２２０またはＳＡＯＣ変換符号化モードに対するＭＰＥＧサラウンドダウンミックス信号２２０に結合される。処理ブロックの詳細な説明は以下に与えられる。
【００９５】
３．残余プロセッサとエネルギーモードプロセッサの構成と機能
【００９６】
以下に、例えば、オーディオ信号デコーダ１００のオブジェクトセパレータ１３０のまたはオーディオ信号デコーダ２００の残余プロセッサ２６０の機能を引き継ぐことができる残余プロセッサに関する詳細が記載される。このため、図３ａ、３ｂは、オブジェクトセパレータ１３０または残余プロセッサ２６０の代わりをすることができるそのような残余プロセッサ３００の概略ブロック図を示す。図３ａは、図３ｂより簡略化したものを示す。しかしながら、以下の記述は、図３ａに係る残余プロセッサ３００と、また図３ｂに係る残余プロセッサ３８０に適用される。
【００９７】
残余プロセッサ３００は、図１のダウンミックス信号表現１１２または図２のダウンミックス信号表現２１０に相当することができるＳＡＯＣダウンミックス信号３１０を受信するように構成される。残余プロセッサ３００は、それに基づいて、例えば、第１のオーディオ情報１３２または第１のオーディオオブジェクト信号２６２に相当することができる１つ以上の拡張オーディオオブジェクトを記述する第１のオーディオ情報３２０を提供するように構成される。また、残余プロセッサ３００は、第２のオーディオ情報３２２は第２のオーディオ情報１３４または第２のオーディオオブジェクト信号２６４に相当することができる１つ以上の他のオーディオオブジェクト（例えば、残余情報を利用できない非拡張オーディオオブジェクト）を記述する第２のオーディオ情報３２２を提供することができる。
【００９８】
残余プロセッサ３００は、ＳＡＯＣダウンミックス信号３１０を受信し、かつＳＡＯＣデータと残余３３２を受信する１‐Ｎ／２‐Ｎユニット（ＯＴＮ／ＴＴＮユニット）３３０を備える。１‐Ｎ／２‐Ｎユニット３３０は、また、ＳＡＯＣダウンミックス信号３１０に含まれる拡張オーディオオブジェクト（ＥＡＯ）を記述する拡張オーディオオブジェクト信号３３４を提供する。また、１‐Ｎ／２‐Ｎユニット３３０は、第２のオーディオ情報３２２を提供する。残余プロセッサ３００は、また、拡張オーディオオブジェクト信号３３４とレンダリングマトリックス情報３４２を受信し、それに基づいて第１のオーディオ情報３２０を提供するレンダリングユニット３４０を備える。
【００９９】
以下に、残余プロセッサ３００によって実行される拡張オーディオオブジェクト処理（ＥＡＯ処理）が更に詳細に記載される。
【０１００】
３.１  残余プロセッサ３００の動作の序論
【０１０１】
残余プロセッサ３００の機能に関して、ＳＡＯＣ技術は、オーディオオブジェクトの数の個々の操作を、それらのレベルの増幅／減衰に関して、結果として生じる音質の有意の減少なしに、非常に限られた方法においてのみ可能にすることに留意すべきである。特別な「カラオケタイプ」のアプリケーションシナリオは、背景音響シーンの知覚品質を損なわずに、特定のオブジェクト、通常はリードボーカルの全部（またはほぼ全部）を抑制することを必要とする。
【０１０２】
通常のアプリケーションのケースは、例えば、２つの独立したステレオオブジェクト（例えば、デコーダ側で取り除かれる準備ができている２つの独立したステレオオブジェクト）を表すことができる最大４つの拡張オーディオオブジェクト（ＥＡＯ）信号を含む。
【０１０３】
（１つ以上の）品質拡張オーディオオブジェクト（あるいは、より正確に言うと、拡張オーディオオブジェクトに関するオーディオ信号貢献度）がＳＡＯＣダウンミックス信号３１０に含まれることに留意すべきである。通常は、（１つ以上の）拡張オーディオオブジェクトに関するオーディオ信号貢献度は、オーディオ信号エンコーダによって実行されるダウンミックス処理によって、拡張オーディオオブジェクトでない他のオーディオオブジェクトのオーディオ信号貢献度と混合される。また、複数の拡張オーディオオブジェクトのオーディオ信号貢献度が、オーディオ信号エンコーダによって実行されるダウンミックス処理によって、通常はオーバーラップされるかまたは混合されることに留意すべきである。
【０１０４】
３.２  拡張オーディオオブジェクトをサポートするＳＯＡＣアーキテクチャ
【０１０５】
以下に、残余プロセッサ３００に関する詳細が記載される。拡張オーディオオブジェクト処理は、ＳＡＯＣダウンミックスモードに従って、１‐Ｎまたは２‐Ｎユニットを組み込む。１‐Ｎ処理ユニットは、モノラルのダウンミックス信号の専用であり、２‐Ｎ処理ユニットはステレオダウンミックス信号３１０の専用である。これらの両方のユニットは、ＩＳＯ／ＩＥＣ  ２３００３‐１：２００７で公知の２−２ボックス（ＴＴＴボックス）の一般的かつ拡張された修正を表す。エンコーダにおいて、定型のおよびＥＡＯ信号は、ダウンミックスに結合される。ＯＴＮ−１／ＴＴＮ−１処理ユニット（逆１‐Ｎ処理ユニットまたは逆２‐Ｎ処理ユニット）は、対応する残余信号を産出し、符号化するために使用される。
【０１０６】
ＥＡＯおよび定型の信号は、ＯＴＮ／ＴＴＮユニット３３０によって、ＳＡＯＣサイド情報と組み込まれた残余信号を用いてダウンミックス３１０から復元される。復元されたＥＡＯ（それは、拡張オーディオオブジェクト信号３３４によって記述される）は、対応するレンダリングマトリックスの生成物（レンダリングマトリックス情報３４２によって記述される）とＯＴＮ／ＴＴＮユニットの結果として生じる出力を表す（あるいは提供する）レンダリングユニット３４０に供給される。定型のオーディオオブジェクト（それは、第２のオーディオ情報３２２によって記述される）は、更なる処理のために、ＳＡＯＣダウンミックスプリプロセッサ、例えば、ＳＡＯＣダウンミックスプリプロセッサ２７０に引き渡される。図３ａ、３ｂは、残余プロセッサの一般的な構造、すなわち、残余プロセッサのアーキテクチャを表す。
【０１０７】
0005678048.tif 000005
【０１０８】
0005678048.tif 000006
【０１０９】
0005678048.tif 000007
【０１１０】
0005678048.tif 000008
【０１１１】
0005678048.tif 000009
【０１１２】
0005678048.tif 000010
【０１１３】
いくつかの実施形態では、１つ以上のマルチチャンネルバックグラウンドオブジェクト（ＭＢＯ）は、残余プロセッサ３００によって同じように取り扱うことができる。
【０１１４】
マルチチャンネルバックグラウンドオブジェクト（ＭＢＯ）は、ＳＡＯＣダウンミックスの一部であるＭＰＳモノラルまたはステレオのダウンミックスである。マルチチャンネル信号の各チャンネルに対して個々のＳＡＯＣオブジェクトを用いることと対照的に、ＭＢＯは、ＳＯＡＣがマルチチャンネルオブジェクトをより効率的に取り扱うことを可能にするように用いることができる。ＭＢＯのケースにおいて、ＭＢＯのＳＡＯＣパラメータは、全てのアップミックスチャンネルよりもむしろダウンミックスチャンネルにのみ関係するので、ＳＯＡＣのオーバーヘッドはより低くなる。
【０１１５】
３.３  更なる定義
【０１１６】
３.３.１  信号とパラメータの次元数
【０１１７】
以下に、異なる計算がどのくらいしばしば実行されるかについての理解を提供するために、信号とパラメータの次元数が簡潔に述べられる。
【０１１８】
オーディオ信号は、すべてのタイムスロットｎとすべてのハイブリッドサブバンド（それは、周波数サブバンドとすることができる）ｋに対して定められる。対応するＳＡＯＣパラメータは、各パラメータタイムスロットｌと処理バンドｍに対して定められる。ハイブリッドとパラメータ領域間のその後のマッピングは、表Ａ.３１ ＩＳＯ／ＩＥＣ  ２３００３−１：２００７で特定される。それ故、全ての計算は、特定の時間／バンドのインデックスに関して実行され、対応する次元数は、各導入された変数を意味する。
【０１１９】
しかしながら、以下で、時間と周波数バンドのインデックスは、表記法を簡明に保つために、時々省略される。
【０１２０】
0005678048.tif 000011
【０１２１】
0005678048.tif 000012
【０１２２】
0005678048.tif 000013
【０１２３】
0005678048.tif 000014
【０１２４】
0005678048.tif 000015
【０１２５】
３.４  残余モードにおけるＯＴＮ／ＴＴＮ要素の計算
【０１２６】
以下に、通常は１つまたは２つのオーディオチャンネルを備えるＳＡＯＣダウンミックス信号３１０が、通常は１つ以上の拡張オーディオオブジェクトチャンネルと通常は１つまたは２つの定型のオーディオオブジェクトチャンネルを備える第２のオーディオ情報３２２を備える拡張オーディオオブジェクト信号３３４にどのようにマッピングされるかが議論される。
【０１２７】
0005678048.tif 000016
【０１２８】
0005678048.tif 000017
【０１２９】
エネルギーベースの符号化／復号化手順は、ダウンミックス信号の非波形保持符号化に対して設計される。このように、対応するエネルギーモードに対するＯＴＮ／ＴＴＮアップミックスマトリックスは、特定の波形に依存せず、後で詳しく述べるように、入力オーディオオブジェクトの相対的なエネルギー分布を記述するだけである。
【０１３０】
３.４.１  予測モード
【０１３１】
0005678048.tif 000018
【０１３２】
0005678048.tif 000019
【０１３３】
３.４.１.１  ステレオダウンミックスモード（ＴＴＮ）
【０１３４】
0005678048.tif 000020
【０１３５】
0005678048.tif 000021
【０１３６】
0005678048.tif 000022
【０１３７】
0005678048.tif 000023
【０１３８】
0005678048.tif 000024
【０１３９】
0005678048.tif 000025
【０１４０】
0005678048.tif 000026
【０１４１】
３.４.１.２  モノラルダウンミックスモード（ＯＴＮ）
【０１４２】
以下に、拡張オーディオオブジェクト信号３２０（あるいは、代りに拡張オーディオオブジェクト信号３３４）と定型のオーディオオブジェクト信号３２２の導出が、ＳＡＯＣダウンミックス信号３１０が信号チャンネルのみを備えるケースに対して記載される。
【０１４３】
0005678048.tif 000027
【０１４４】
0005678048.tif 000028
【０１４５】
0005678048.tif 000029
【０１４６】
0005678048.tif 000030
【０１４７】
３.４.１.３  逆拡張ダウンミックスマトリックスの計算
【０１４８】
0005678048.tif 000031
【０１４９】
0005678048.tif 000032
【０１５０】
0005678048.tif 000033
0005678048.tif 000034
0005678048.tif 000035
0005678048.tif 000036
0005678048.tif 000037
【０１５１】
0005678048.tif 000038
【０１５２】
0005678048.tif 000039
【０１５３】
0005678048.tif 000040
【０１５４】
0005678048.tif 000041
【０１５５】
ここで、非量子化ダウンミックスパラメータＤＭＧj、ＤＣＬＤjは、例えば、パラメータサイド情報１１０またはＳＡＯＣビットストリーム２１２から取得される。
【０１５６】
0005678048.tif 000042
【０１５７】
0005678048.tif 000043
【０１５８】
0005678048.tif 000044
【０１５９】
0005678048.tif 000045
【０１６０】
マトリックスのエントリーｃj,1（また、それに基づいてマトリックスのエントリーｃj,1が計算される中間量）は、通常はダウンミックス信号がステレオダウンミックス信号である場合にのみ必要とされることに留意すべきである。
【０１６１】
0005678048.tif 000046
【０１６２】
0005678048.tif 000047
【０１６３】
0005678048.tif 000048
【０１６４】
0005678048.tif 000049
【０１６５】
ここで、非量子化オブジェクトパラメータＯＬＤi、ＩＯＣi,jは、例えば、パラメータサイド情報１１０またはＳＡＯＣビットストリーム２１２から取得される。
【０１６６】
0005678048.tif 000050
【０１６７】
0005678048.tif 000051
【０１６８】
これからわかるように、２つの共通のオブジェクトレベル差値ＯＬＤL、ＯＬＤRは、ステレオダウンミックス信号（それは、好ましくは２チャンネルの定型のオーディオオブジェクト信号を意味する）の場合に、定型のオーディオオブジェクトに対して演算される。対照的に、１つの共通のオブジェクトレベル差値ＯＬＤLのみは、１チャンネルの（モノラル）ダウンミックス信号（それは、好ましくは１チャンネルの定型のオーディオオブジェクト信号を意味する）の場合に、定型のオーディオオブジェクトに対して演算される。
【０１６９】
これからわかるように、第１の（２チャンネルのダウンミックス信号の場合）または単独の（１チャンネルのダウンミックス信号の場合）共通のオブジェクトレベル差値ＯＬＤLは、オーディオオブジェクトインデックスｉを有する定型のオーディオオブジェクトの貢献度を、ＳＡＯＣダウンミックス信号３１０の左チャンネル（または単独のチャンネル）に合計することによって取得される。
【０１７０】
第２の共通のオブジェクトレベル差値ＯＬＤR（それは、２チャンネルのダウンミックス信号の場合に用いられる）は、オーディオオブジェクトインデックスｉを有する定型のオーディオオブジェクトの貢献度を、ＳＡＯＣダウンミックス信号３１０の右チャンネルに合計することによって取得される。
【０１７１】
定型のオーディオオブジェクト（オーディオオブジェクトインデックスｉ＝０〜ｉ＝Ｎ−ＮEAO-1を有する）のＳＡＯＣダウンミックス信号７１０の左チャンネル信号（または単独のチャンネル信号）への貢献度ＯＬＤLは、例えば、ＳＡＯＣダウンミックス信号３１０の左チャンネル信号を取得するときにオーディオオブジェクトインデックスｉを有する定型のオーディオオブジェクトに適用されるダウンミックスゲインを記述するダウンミックスゲインｄo,iと、値ＯＬＤiによって表されたオーディオオブジェクトｉを有する定型のオーディオオブジェクトのオブジェクトレベルをも考慮に入れて演算される。
【０１７２】
同様に、共通のオブジェクトレベル差値ＯＬＤRは、ＳＡＯＣダウンミックス信号３１０の右チャンネル信号を形成するときにオーディオオブジェクトインデックスｉを有する定型のオーディオオブジェクトに適用されるダウンミックスゲインを記述するダウンミックス係数ｄ1,iと、オーディオオブジェクトインデックスｉを有する定型のオーディオオブジェクトに関するレベル情報ＯＬＤiを用いて取得される。
【０１７３】
これからわかるように、量ＰLo、ＰRo、ＰLoRo、ＰLoCo,j、ＰRoCo,jの計算式は、個々の定型のオーディオオブジェクトを区別せず、単に共通のオブジェクトレベル差値ＯＬＤL、ＯＬＤRを用いるだけであり、それにより、定型のオーディオオブジェクト（オーディオオブジェクトインデックスｉを有する）を単一のオーディオオブジェクトとみなす。
【０１７４】
また、定型のオーディオオブジェクトに関するオブジェクト間相関値ＩＯＣL,Rは、２つの定型のオーディオオブジェクトがある場合を除き、０にセットされる。
【０１７５】
共分散マトリックスｅi,j（そして、ｅL,R）は、次のように定められる。
【０１７６】
0005678048.tif 000052
【０１７７】
0005678048.tif 000053
【０１７８】
0005678048.tif 000054
【０１７９】
３.４.２  エネルギーモード
【０１８０】
以下において、拡張オーディオオブジェクト信号３２０と定型のオーディオオブジェクト（非拡張オーディオオブジェクト）信号３２２を分離するために用いることができ、ＳＡＯＣダウンミックスチャンネル３１０の非波形保持オーディオ符号化と結合して用いることができる他のコンセプトが記載される。
【０１８１】
言い換えれば、エネルギーベースの符号化／復号化手順は、ダウンミックス信号の非波形保存符号化に対して設計される。このように、対応するエネルギーモードに対するＯＴＮ／ＴＴＮアップミックスマトリックスは、特定の波形に依存せず、入力オーディオオブジェクトの相対的なエネルギー分布を記述するだけである。
【０１８２】
また、「エネルギーモード」コンセプトとして示されるここで述べるコンセプトは、残余の信号情報の送信なしに用いることができる。
また、定型のオーディオオブジェクト（非拡張オーディオオブジェクト）は、１つまたは２つの共通のオブジェクトレベル差値ＯＬＤL、ＯＬＤRを有する単一の１チャンネルまたは２チャンネルのオーディオオブジェクトとして取り扱われる。
【０１８３】
0005678048.tif 000055
【０１８４】
３.４.２.１  ステレオダウンミックスモードに対するエネルギーモード
【０１８５】
0005678048.tif 000056
【０１８６】
0005678048.tif 000057
【０１８７】
0005678048.tif 000058
【０１８８】
0005678048.tif 000059
【０１８９】
３.４.２.２  モノラルダウンミックスモード（ＯＴＮ）に対するエネルギーモード
【０１９０】
0005678048.tif 000060
【０１９１】
0005678048.tif 000061
【０１９２】
0005678048.tif 000062
【０１９３】
0005678048.tif 000063
【０１９４】
４．ＳＡＯＣダウンミックスプリプロセッサのアーキテクチャと動作
【０１９５】
以下に、ＳＡＯＣダウンミックスプリプロセッサ２７０の動作が、いくつかの復号化モードといくつかの変換符号化モードに対して記載される。
【０１９６】
４.１  復号化モードの動作
【０１９７】
４.１.１  序論
【０１９８】
以下に、各オーディオオブジェクトに関するＳＡＯＣパラメータとパニング情報（あるいはレンダリング情報）を用いて出力信号を取得する方法が記載される。ＳＡＯＣデコーダ４９５は、図４ｇに示され、ＳＡＯＣパラメータプロセッサ４９６とダウンミックスプロセッサ４９７から構成される。
【０１９９】
ＳＡＯＣデコーダ４９４は、定型のオーディオオブジェクトを処理するために用いることができ、それ故、ダウンミックス信号４９７ａとして、第２のオーディオオブジェクト信号２６４または定型のオーディオオブジェクト信号３２２または第２のオーディオ情報１３４を受信することができることに留意すべきである。したがって、ダウンミックスプロセッサ４９７は、その出力信号４９７ｂとして、第２のオーディオオブジェクト信号２６４の処理されたバージョン２７２または第２のオーディオ情報１３４の処理されたバージョン１４２を提供することができる。したがって、ダウンミックスプロセッサ４９７は、ＳＡＯＣダウンミックスプリプロセッサ２７０の役割またはオーディオ信号プロセッサ１４０の役割をすることができる。
【０２００】
ＳＡＯＣパラメータプロセッサ４９６は、ＳＡＯＣパラメータプロセッサ２５２の役割をすることができ、結果的にダウンミックス情報４９６ａを提供する。
【０２０１】
４.１.２  ダウンミックスプロセッサ
【０２０２】
以下に、オーディオ信号プロセッサ１４０の一部であり、図２の実施形態において「ＳＡＯＣダウンミックスプリプロセッサ」２７０として示され、ＳＡＯＣデコーダ４９５において４９７で示される、ダウンミックスプロセッサがより詳細に記載される。
【０２０３】
ＳＡＯＣシステムのデコーダモードに対して、ダウンミックスプロセッサ（ハイブリッドＱＭＦ領域において表された）の出力信号１４２、２７２、４９７ｂは、ＩＳＯ／ＩＥＣ  ２３００３−１：２００７に記載されたように、最終出力のＰＣＭ信号を与える対応する合成フィルタバンク（図１と２に示されない）に供給される。しかも、ダウンミックスプロセッサの出力信号１４２、２７２、４９７ｂは、通常は拡張オーディオオブジェクトを表す１つ以上のオーディオ信号１３２、２６２と結合される。この結合は、対応する合成フィルタバンク（ダウンミックスプロセッサの出力と拡張オーディオオブジェクトを表す１つ以上の信号を結合する結合信号が合成フィルタバンクへの入力であるように）の前に実行することができる。あるいは、ダウンミックスプロセッサの出力信号は、拡張オーディオオブジェクトを表す１つ以上のオーディオ信号と、合成フィルタバンク処理の後で結合することができる。したがって、アップミックス信号表現１２０、２２０は、ＱＭＦ領域表現またはＰＣＭ領域表現（または他のいかなる適合する表現）のいずれかとすることができる。ダウンミックス処理は、例えば、モノラル処理、ステレオ処理、必要であればその後のバイノーラル処理を組み入れる。
【０２０４】
0005678048.tif 000064
【０２０５】
0005678048.tif 000065
【０２０６】
0005678048.tif 000066
【０２０７】
0005678048.tif 000067
【０２０８】
0005678048.tif 000068
【０２０９】
0005678048.tif 000069
【０２１０】
４.１.２.１  概要
【０２１１】
以下に、ダウンミックス処理の概要が、図４ａ、４ｂを参照して与えられる。それはダウンミックス処理のブロック表現を示し、オーディオ信号プロセッサ１４０によって、またはＳＡＯＣパラメータプロセッサ２５２とＳＡＯＣダウンミックスプリプロセッサ２７０の組み合わせによって、あるいはＳＡＯＣパラメータプロセッサ４９６とウンミックスプロセッサ４９７の組合せによって実行することができる。
【０２１２】
0005678048.tif 000070
【０２１３】
0005678048.tif 000071
【０２１４】
0005678048.tif 000072
【０２１５】
0005678048.tif 000073
【０２１６】
４.１.２.２  モノラルからバイノーラル「ｘ‐１‐ｂ」の処理モード
【０２１７】
以下に、定型のオーディオオブジェクトが単一のチャンネルダウンミックス信号１３４、２６４、３２２、４９７ａによって表され、バイノーラルレンダリングが要求される処理モードが記載される。
【０２１８】
0005678048.tif 000074
【０２１９】
0005678048.tif 000075
【０２２０】
0005678048.tif 000076
【０２２１】
0005678048.tif 000077
【０２２２】
0005678048.tif 000078
【０２２３】
0005678048.tif 000079
【０２２４】
0005678048.tif 000080
【０２２５】
４.１.２.３  モノラルからステレオ「ｘ‐１‐２」の処理モード
【０２２６】
以下に、定型のオーディオオブジェクトが単一のチャンネル信号１３４、２６４、２２２によって表され、ステレオレンダリングが要求される処理モードが記載される。
【０２２７】
0005678048.tif 000081
【０２２８】
４.１.２.４  モノラルからモノラル「ｘ‐１‐１」の処理モード
【０２２９】
以下に、定型のオーディオオブジェクトが信号チャンネル１３４、２６４、３２２、４９７ａよって表され、定型のオーディオオブジェクトの２チャンネルのレンダリングが要求される処理モードが記載される。
【０２３０】
0005678048.tif 000082
【０２３１】
４.１.２.５  ステレオからバイノーラル「ｘ‐２‐ｂ」の処理モード
【０２３２】
以下に、定型のオーディオオブジェクトが２チャンネル信号１３４、２６４、３２２、４９７ａによって表され、定型のオーディオオブジェクトのバイノーラルレンダリングが要求される処理モードが記載される。
【０２３３】
0005678048.tif 000083
【０２３４】
0005678048.tif 000084
【０２３５】
0005678048.tif 000085
【０２３６】
0005678048.tif 000086
【０２３７】
0005678048.tif 000087
【０２３８】
0005678048.tif 000088
【０２３９】
0005678048.tif 000089
【０２４０】
0005678048.tif 000090
【０２４１】
0005678048.tif 000091
【０２４２】
0005678048.tif 000092
【０２４３】
0005678048.tif 000093
【０２４４】
４.１.２.６  ステレオからステレオ「ｘ‐２‐２」の処理モード
【０２４５】
以下に、定型のオーディオオブジェクトが２チャンネル（ステレオの）の信号１３４、２６４、３２２、４９７ａによって記述され、２チャンネル（ステレオの）レンダリングが要求される処理モードが記載される。
【０２４６】
ステレオ出力のケースでは、４.２.２.３章で後述されるステレオ処理が直接適用される。
【０２４７】
４.１.２.７  ステレオからモノラル「ｘ−２−１」の処理モード
【０２４８】
以下に、定型のオーディオオブジェクトが２チャンネル（ステレオ）の信号１３４、２６４、３２２、４９７ａによって表され、１チャンネルの（モノラル）レンダリングが要求される処理モードが記載される。
【０２４９】
モノラル出力のケースでは、ステレオ処理は、４.２.２.３章で後述されるように、単一の作動中のレンダリングマトリックスエントリーによって適用される。
【０２５０】
４.１.２.８  結論
【０２５１】
再び図４ａ、４ｂを参照して、拡張オーディオオブジェクトと定型のオーディオオブジェクトの分離の後の定型のオーディオオブジェクトを表す１チャンネルまたは２チャンネル信号１３４、２６４、３２２、４９７ａに適用することができる処理が記載される。図４ａと４ｂは、処理を図解説明するものであって、図４ａと４ｂの処理は、オプションのパラメータ調整が異なる処理ステージで導入されるという点で異なる。
【０２５２】
４.２  変換符号化モードの動作
【０２５３】
４.２.１  序論
【０２５４】
以下に、標準の対応するＭＰＥＧサラウンドビットストリーム（ＭＰＳビットストリーム）における各オーディオオブジェクト（あるいは、好ましくは、各定型のオーディオオブジェクト）に関するＳＡＯＣパラメータとパニング情報（あるいはレンダリング情報）の結合の方法が説明される。
【０２５５】
ＳＡＯＣトランスコーダ４９０は、図４ｆに示され、ＳＡＯＣパラメータプロセッサ４９１とステレオダウンミックスに適用されるダウンミックスプロセッサ４９２から構成される。
【０２５６】
ＳＡＯＣトランスコーダ４９０は、例えば、オーディオ信号プロセッサ１４０の機能を引き継ぐことができる。あるいは、ＳＡＯＣトランスコーダ４９０は、ＳＡＯＣパラメータプロセッサ２５２と結合されるときに、ＳＡＯＣダウンミックスプリプロセッサ２７０の機能を引き継ぐことができる。
【０２５７】
例えば、ＳＡＯＣパラメータプロセッサ４９１は、オブジェクト関連パラメータ情報１１０またはＳＡＯＣビットストリーム２１２に相当するＳＡＯＣビットストリーム４９１ａを受信することができる。また、ＳＡＯＣパラメータプロセッサ４９１は、オブジェクト関連パラメータ情報１１０に含めることができる、あるいはレンダリングマトリックス情報２１４に相当することができるレンダリングマトリックス情報４９１ｂを受信することができる。ＳＡＯＣパラメータプロセッサ４９１は、また、情報２４０に相当することができるダウンミックス処理情報４９１ｃをダウンミックスプロセッサ４９２に提供することができる。さらに、ＳＡＯＣパラメータプロセッサ４９１は、ＭＰＥＧサラウンド標準と互換性があるパラメータサラウンド情報を備える、ＭＰＥＧサラウンドビットストリーム（あるいはＭＰＥＧサラウンドパラメータビットストリーム）４９１ｄを提供することができる。ＭＰＥＧサラウンドビットストリーム４９１ｄは、例えば、第２のオーディオ情報の処理されたバージョン１４２の一部とすることができる、あるいは、例えば、ＭＰＳビットストリーム２２２の一部または代わりをすることができる。
【０２５８】
ダウンミックスプロセッサ４９２は、好ましくは１チャンネルのダウンミックス信号または２チャンネルのダウンミックス信号であり、好ましくは第２のオーディオ情報１３４または第２のオーディオオブジェクト信号２６４、３２２に相当する、ダウンミックス信号４９２ａを受信するように構成される。ダウンミックスプロセッサ４９２は、また、第２のオーディオ情報１３４の処理されたバージョンに相当する、あるいは１４２に等しいか、第２のオーディオオブジェクト信号２６４の処理されたバージョン２７２（またはその一部）に相当する、ＭＰＥＧサラウンドダウンミックス信号４９２ｂを提供することができる。
【０２５９】
しかしながら、ＭＰＥＧサラウンドダウンミックス信号４９２ｂを拡張オーディオオブジェクト信号１３２、２６２と結合する異なる方法がある。結合は、ＭＰＥＧサラウンド領域において実行することができる。
【０２６０】
代替として、しかしながら、定型のオーディオオブジェクトの、ＭＰＥＧサラウンドパラメータビットストリーム４９１ｄとＭＰＥＧサラウンドダウンミックス信号４９２ｂを備えるＭＰＥＧサラウンド表現は、ＭＰＥＧサラウンドデコーダによって、マルチチャンネル時間領域表現またはマルチチャンネル周波数領域表現（個々に異なるオーディオチャンネルを表す）に逆変換することができ、その後拡張オーディオオブジェクト信号と結合することができる。
【０２６１】
変換符号化モードは、１つ以上のモノラルダウンミックス処理モードと１つ以上のステレオダウンミックス処理モードの両方を備えることに留意すべきである。しかしながら、定型のオーディオオブジェクト信号の処理は、ステレオダウンミックス処理モードにおいてより精巧であるので、以下で、ステレオダウンミックス処理モードのみが記載される。
【０２６２】
４.２.２  ステレオダウンミックス（「ｘ‐２‐５」）の処理モードにおけるダウンミックス処理
【０２６３】
４.２.２.１ 序論
【０２６４】
以下のセクションにおいて、ステレオダウンミックスケースに対するＳＡＯＣ変換符号化モードの記述が与えられる。
【０２６５】
ＳＡＯＣビットストリームからのオブジェクトパラメータ（オブジェクトレベル差ＯＬＤと、オブジェクト間相関ＩＯＣと、ダウンミックスゲインＤＭＧと、ダウンミックスチャンネルレベル差ＤＣＭＤ）は、レンダリング情報に従って、ＭＰＥＧサラウンドビットストリームに対する空間（好ましくはチャンネル関連）パラメータ（チャンネルレベル差ＣＬＤ、チャンネル間相関ＩＣＣ、チャンネル予測係数ＣＰＣ）に変換符号化される。ダウンミックスは、オブジェクトパラメータとレンダリングマトリックスに従って修正される。
【０２６６】
ここで図４ｃ、４ｄ、４ｅを参照して、特にダウンミックス修正における処理の概要が与えられる。
【０２６７】
0005678048.tif 000094
【０２６８】
以下に、ＭＰＥＧサラウンドパラメータを取得するために実行されるオブジェクトエネルギーのレンダリングが述べられる。また、定型のオーディオオブジェクトを表す第２のオーディオ情報１３４、２６４、４９２ａの処理されたバージョン１４２、２７２、４９２ｂを取得するために実行されるステレオ処理が記載される。
【０２６９】
４.２.２.２  オブジェクトエネルギーのレンダリング
【０２７０】
0005678048.tif 000095
【０２７１】
変換符号化プロセスは、概念的に２つの部分に分けることができる。１つの部分において、３チャンネルのレンダリングが、左側と、右側と、中心チャンネルに対して実行される。このステージにおいて、ＭＰＳデコーダに対するダウンミックス修正のためのパラメータ並びにＴＴＴボックスのための予測パラメータが取得される。他の部分において、正面とサラウンドチャンネルの間（ＯＴＴパラメータ、左側正面−左側サラウンド、右側正面−右側サラウンド）のレンダリングに対するＣＬＤとＩＣＣパラメータが決定される。
【０２７２】
４.２.２.２.１  左側、右側、中心のチャンネルへのレンダリング
【０２７３】
0005678048.tif 000096
【０２７４】
0005678048.tif 000097
【０２７５】
0005678048.tif 000098
【０２７６】
0005678048.tif 000099
【０２７７】
0005678048.tif 000100
【０２７８】
0005678048.tif 000101
【０２７９】
0005678048.tif 000102
【０２８０】
0005678048.tif 000103
【０２８１】
0005678048.tif 000104
【０２８２】
0005678048.tif 000105
【０２８３】
0005678048.tif 000106
【０２８４】
0005678048.tif 000107
【０２８５】
0005678048.tif 000108
【０２８６】
0005678048.tif 000109
【０２８７】
0005678048.tif 000110
【０２８８】
0005678048.tif 000111
【０２８９】
0005678048.tif 000112
【０２９０】
４.２.２.２.２  正面とサラウンドチャンネル間のレンダリング
【０２９１】
0005678048.tif 000113
【０２９２】
0005678048.tif 000114
【０２９３】
４.２.２.３  ステレオ処理
【０２９４】
以下に、定型のオーディオオブジェクト信号１３４から６４、３２２のステレオ処理が記載される。ステレオ処理は、定型のオーディオオブジェクトの２チャンネル表現に基づいて、一般的な表現１４２、２７２に対するプロセスを導き出すために用いられる。
【０２９５】
0005678048.tif 000115
【０２９６】
0005678048.tif 000116
【０２９７】
0005678048.tif 000117
【０２９８】
0005678048.tif 000118
【０２９９】
0005678048.tif 000119
【０３００】
0005678048.tif 000120
【０３０１】
0005678048.tif 000121
【０３０２】
0005678048.tif 000122
【０３０３】
0005678048.tif 000123
【０３０４】
４.２.２.４  デュアルモード
【０３０５】
0005678048.tif 000124
【０３０６】
0005678048.tif 000125
【０３０７】
0005678048.tif 000126
【０３０８】
0005678048.tif 000127
【０３０９】
５．複合ＥＫＳ‐ＳＡＯＣ復号化／変換符号化モード、図１０に係るエンコーダ、および図５ａ、５ｂに係るシステム
【０３１０】
以下に、複合ＥＫＳ‐ＳＡＯＣ処理スキームの簡単な説明が与えられる。ＥＫＳ処理が、カスケード化されたスキームによって、定型のＳＡＯＣ復号化／変換符号化チェーンに統合された、好ましい「複合ＥＫＳ‐ＳＡＯＣ」処理スキームが提案される。
【０３１１】
５.１  図５に係るオーディオ信号エンコーダ
【０３１２】
第１ステップにおいて、ＥＫＳ処理（拡張カラオケ／ソロ処理）にささげられたオブジェクトは、フォアグラウンドオブジェクト（ＦＧＯ）として識別され、それらの数ＮFGO（ＮEAOとしても表される）は、ビットストリーム変数「bsNumGroupsFGO」によって決定される。前記ビットストリーム変数は、上述のように、例えば、ＳＡＯＣビットストリームに含めることができる。
【０３１３】
ビットストリームの生成（オーディオ信号エンコーダにおける）に対して、全ての入力オブジェクトのパラメータＮobjは、フォアグラウンドオブジェクトＦＧＯが、いずれの場合においても、最後のＮFGO（あるいは代替として、ＮEAO）個のパラメータ、例えば、[Ｎobj−ＮFGO≦ｉ≦Ｎobj−１]に対するＯＬＤiを備えるように、リオーダーされる。
【０３１４】
例えば、バックグラウンドオブジェクトＢＧＯまたは非拡張オーディオオブジェクトである残留オブジェクトから、同時にバックグラウンドオブジェクトＢＧＯとして供される「定型のＳＡＯＣスタイル」のダウンミックス信号が生成される。次に、バックグラウンドオブジェクトとフォアグラウンドオブジェクトは「ＥＫＳ処理スタイル」においてダウンミックスされ、残余情報は各フォアグラウンドオブジェクトから抽出される。このように、余分の処理ステップが導入される必要はない。従って、ビットストリーム構文の変更は、要求されない。
【０３１５】
言い換えれば、非拡張オーディオオブジェクトは、エンコーダ側で拡張オーディオオブジェクトから区別される。定型のオーディオオブジェクト（非拡張オーディオオブジェクト）を表す１チャンネルまたは２チャンネルの定型のオーディオオブジェクトダウンミックス信号が提供され、１つ、２つまたはそれ以上の定型のオーディオオブジェクト（非拡張オーディオオブジェクト）が存在することができる。１チャンネルまたは２チャンネルの定型のオーディオオブジェクトダウンミックス信号は、次に、１つ以上の拡張オーディオオブジェクト信号（例えば、１チャンネルの信号または２チャンネルの信号とすることができる）と結合され、拡張オーディオオブジェクトのオーディオ信号と定型のオーディオオブジェクトダウンミックス信号を結合して共通のダウンミックス信号（例えば、１チャンネルのダウンミックス信号または２チャンネルのダウンミックス信号とすることができる）を取得する。
【０３１６】
以下に、このようなカスケード化されたエンコーダの基本構成が、本発明の一実施形態に係るＳＡＯＣエンコーダ１０００の概略ブロック図を示す図１０を参照して簡潔に述べられる。ＳＡＯＣエンコーダ１０００は、通常は残余情報を提供しない第１のＳＡＯＣダウンミキサー１０１０を備える。ＳＡＯＣダウンミキサー１０１０は、定型の（非拡張の）オーディオオブジェクトから複数のＮBGO個のオーディオオブジェクト信号１０１２を受信するように構成される。また、ＳＡＯＣダウンミキサー１０１０は、定型のオーディオオブジェクト１０１２に基づいて、定型のオーディオオブジェクトダウンミックス信号１０１４がダウンミックスパラメータに従って定型のオーディオオブジェクト信号１０１２を結合するように、定型のオーディオオブジェクトダウンミックス信号１０１４を提供するように構成される。ＳＡＯＣダウンミキサー１０１０は、また、定型のオーディオオブジェクト信号とダウンミックスを記述する定型のオーディオオブジェクトＳＡＯＣ情報１０１６を提供する。例えば、定型のオーディオオブジェクトＳＡＯＣ情報１０１６は、ＳＡＯＣダウンミキサー１０１０によって実行されるダウンミックスを記述する、ダウンミックスゲイン情報ＤＭＧとダウンミックスチャンネルレベル差情報ＤＣＬＤを備えることができる。加えて、定型のオーディオオブジェクトＳＡＯＣ情報１０１６は、定型のオーディオオブジェクト信号１０１２によって記述された定型のオーディオオブジェクト間の関係を記述する、オブジェクトレベル差情報とオブジェクト間相関情報を備えることができる。
【０３１７】
エンコーダ１０００は、また、通常は残余情報を提供するように構成される第２のＳＡＯＣダウンミキサー１０２０を備える。第２のＳＡＯＣダウンミキサー１０２０は、好ましくは、１つ以上の拡張オーディオオブジェクト信号１０２２を受信し、また定型のオーディオオブジェクトダウンミックス信号１０１４を受信するように構成される。
【０３１８】
第２のＳＡＯＣダウンミキサー１０２０は、また、拡張オーディオオブジェクト信号１０２２と定型のオーディオオブジェクトダウンミックス信号１０１４に基づいて共通のＳＡＯＣダウンミックス信号１０２４を提供するように構成される。共通のＳＡＯＣダウンミックス信号を提供するときに、第２のＳＡＯＣダウンミキサー１０２０は、通常は、定型のオーディオオブジェクトダウンミックス信号１０１４を単一の１チャンネルまたは２チャンネルのオブジェクト信号として取り扱う。
【０３１９】
第２のＳＡＯＣダウンミキサー１０２０は、また、例えば、拡張オーディオオブジェクトに関するダウンミックスチャンネルレベル差値ＤＣＬＤと、拡張オーディオオブジェクトに関するオブジェクトレベル差値ＯＬＤと、拡張オーディオオブジェクトに関するオブジェクト間相関値ＩＯＣを記述する拡張オーディオオブジェクトＳＡＯＣ情報を提供するように構成される。加えて、第２のＳＡＯＣ１０２０は、好ましくは、拡張オーディオオブジェクトに関する残余情報が、オリジナルの個々の拡張オーディオオブジェクト信号と、ダウンミックス情報ＤＭＧ、ＤＣＬＤおよびオブジェクト情報ＯＬＤ、ＩＯＣを用いてダウンミックス信号から抽出することができる予測される個々の拡張オーディオオブジェクト信号との差を記述するように、拡張オーディオオブジェクトの各々に関する残余情報を提供するように構成される。
【０３２０】
オーディオエンコーダ１０００は、本願明細書に記載されたオーディオデコーダとの協調に対して適切である。
【０３２１】
５.２  図５ａに係るオーディオ信号デコーダ
【０３２２】
以下に、図５ａに概略ブロック図が示される複合ＥＫＳ‐ＳＡＯＣデコーダ５００の基本構成が記載される。
【０３２３】
図５ａに係るオーディオデコーダ５００は、ダウンミックス信号５１０と、ＳＡＯＣビットストリーム情報５１２と、レンダリングマトリックス情報５１４を受信するように構成される。オーディオデコーダ５００は、レンダリングされたフォアグラウンドオブジェクトを記述する第１のオーディオオブジェクト信号５６２と、バックグラウンドオブジェクトを記述する第２のオーディオオブジェクト信号５６４を提供するように構成された、拡張カラオケ／ソロ処理とフォアグラウンドオブジェクトレンダリング５２０を備える。フォアグラウンドオブジェクトは、例えば、いわゆる「拡張オーディオオブジェクト」とすることができ、バックグラウンドオブジェクトは、例えば、いわゆる「定型のオーディオオブジェクト」または「非拡張オーディオオブジェクト」とすることができる。オーディオデコーダ５００は、また、第２のオーディオオブジェクト信号５６２を受信し、それに基づいて第２のオーディオオブジェクト信号５６４の処理されたバージョン５７２を提供するように構成された、定型のＳＡＯＣ復号化５７０を備える。オーディオデコーダ５００は、また、第１のオーディオオブジェクト信号５６２と第２のオーディオオブジェクト信号５６４の処理されたバージョン５７２を結合し、出力信号５２０を取得するように構成された、コンバイナ５８０を備える。
【０３２４】
以下に、オーディオデコーダ５００の機能がより詳細に述べられる。ＳＡＯＣ復号化／変換符号化サイドで、アップミックスプロセスは、ダウンミックス信号をバックグラウンドオブジェクト（ＢＧＯ）とフォアグラウンドオブジェクト（ＦＧＯ）を分解する、拡張カラオケ‐ソロ処理（ＥＫＳ処理）を最初に備えるカスケード化されたスキームに結果としてなる。バックグラウンドオブジェクトに対する必要なオブジェクトレベル差（ＯＬＤ）とオブジェクト間相関（ＩＯＣ）は、次のようにオブジェクトとダウンミックス情報（それは、両方ともオブジェクト関連パラメータ情報であり、両方とも通常はＳＡＯＣビットストリームに含まれる）から導き出される。
0005678048.tif 000128
【０３２５】
加えて、このステップ（通常はＥＫＳ処理とフォアグラウンドオブジェクトレンダリング５２０によって実行される）は、フォアグラウンドオブジェクトを最終出力にマッピングする（例えば、第１のオーディオオブジェクト信号５６２が、フォアグラウンドオブジェクトが１つ以上のチャンネルのそれぞれにマッピングされるマルチチャンネル信号であるように）ことを含む。バックグラウンドオブジェクト（通常は、複数のいわゆる「定型のオーディオオブジェクト」を備える）は、定型のＳＡＯＣ復号化プロセスによって（あるいは、代替として、いくつかのケースにおいて、ＳＡＯＣ変換符号化プロセスによって）対応する出力チャンネルにレンダリングされる。このプロセスは、例えば、定型のＳＡＯＣ復号化５７０によって実行することができる。最終の混合するステージ（例えばコンバイナ５８０）は、レンダリングされたフォアグラウンドオブジェクトとバックグラウンドオブジェクト信号の出力での所望の結合を提供する。
【０３２６】
この複合ＥＫＳ‐ＳＡＯＣシステムは、定型のＳＡＯＣシステムとそのＥＫＳモードの全ての有益な属性の組み合わせを表す。このアプローチは、クラシック（適度なレンダリング）とカラオケ／ソロ同様（極度のレンダリング）の再生シナリオに対して、同じビットストリームによって、提案システムを用いて対応するパフォーマンスを成し遂げることを可能にする。
【０３２７】
５.３  図５ｂに係る一般化構成
【０３２８】
以下に、複合ＥＫＳ‐ＳＡＯＣシステム５９０の一般化された構成が、このような一般化された複合ＥＫＳ‐ＳＡＯＣシステムの概略ブロック図を示す図５ｂを参照して記載される。図５ｂの複合ＥＫＳ‐ＳＡＯＣシステム５９０は、オーディオデコーダとみなすこともできる。
【０３２９】
複合ＥＫＳ‐ＳＡＯＣシステム５９０は、ダウンミックス信号５１０ａと、ＳＡＯＣビットストリーム情報５１２ａと、レンダリングマトリックス情報５１４ａを受信するように構成される。また、複合ＥＫＳ‐ＳＡＯＣシステム５９０は、それらに基づいて、出力信号５２０ａを提供するように構成される。
【０３３０】
複合ＥＫＳ‐ＳＡＯＣシステム５９０は、ダウンミックス信号５１０ａと、ＳＡＯＣビットストリーム情報５１２ａ（または少なくともその一部）と、レンダリングマトリックス情報５１４ａ（または少なくともその一部）を受信するＳＡＯＣタイプの処理ステージＩ  ５２０ａを備える。特に、ＳＡＯＣタイプの処理ステージＩ  ５２０ａは、第１ステージのオブジェクトレベル差値（ＯＬＤ）を受信する。ＳＡＯＣタイプの処理ステージＩ  ５２０ａは、オブジェクトの第１のセット（例えば、第１のオーディオオブジェクトタイプのオーディオオブジェクト）を記述する１つ以上の信号５６２ａを提供する。
ＳＡＯＣタイプの処理ステージＩ  ５２０ａは、また、オブジェクトの第２のセットを記述する１つ以上の信号５６４ａを提供する。
【０３３１】
複合ＥＫＳ‐ＳＡＯＣシステムは、また、オブジェクトの第２のセットを記述する１つ以上の信号５６４ａを受信し、それに基づいて、ＳＡＯＣビットストリーム情報５１２ａに含まれる第２ステージのオブジェクトレベル差と、更にはレンダリングマトリックス情報５１４の少なくとも一部を用いて、オブジェクトの第３のセットを記述する１つ以上の信号５７２ａを提供するように構成された、ＳＡＯＣタイプの処理ステージII  ５７０ａを備える。複合ＥＫＳ‐ＳＡＯＣシステムは、また、例えば、加算器であって、オブジェクトの第１のセットを記述する１つ以上の信号５６２ａとオブジェクトの第３のセット（オブジェクトの第２のセットの処理されたバージョンとすることができる）を記述する１つ以上の信号５７０ａの信号を結合することによって出力信号５２０ａを提供する、コンバイナ５８０ａを備える。
【０３３２】
上記を要約すると、図５ｂは、上記図５ａを参照して記載された基本構成の、本発明の更なる実施形態における一般化された形を示す。
【０３３３】
６．複合ＥＫＳ‐ＳＡＯＣ処理スキームの知覚的評価
【０３３４】
６.１  試験の手順、計画、項目
【０３３５】
この主観的なリスニング試験は、高品質のリスニングを可能とするように設計された音響的に隔離されたリスニングルームにおいて行われた。再生は、ヘッドホン（Lake-people1のＤ／ＡコンバータとSTAXのSRMモニタを有するSTAXのSRM Lambda Pro）を用いてなされた。試験方法は、中間品質のオーディオの主観的評価のための「隠されたレファレンスとアンカーによる多数の刺激」（ＭＵＳＨＲＡ）法（引用文献７を参照）に基づいて、空間オーディオ検証試験において用いられる標準手順に従った。
【０３３６】
合計８人のリスナーが、実施された試験に参加した。
全ての被検者は、経験豊かなリスナーと考えられることができる。ＭＵＳＨＲＡ法に従って、リスナーは、レファレンスに対する全ての試験条件を比較するように指示された。試験条件は、各試験項目に対して、かつ各リスナーに対して、自動的にランダム化された。
主観的な反応は、コンピュータベースのＭＵＳＨＲＡプログラムによって０から１００の範囲のスケールで記録された。試験中の項目間の瞬間的なスイッチングは可能にされた。ＭＵＳＨＲＡ試験は、考慮されるＳＡＯＣモードの知覚的パフォーマンスと、リスニング試験計画書を提供する図６ａの表に記載された提案システムを評価するために行われた。
【０３３７】
対応するダウンミックス信号は、１２８ｋｂｐｓのビットレートを有するＡＡＣコアコーダーを用いて符号化された。提案された複合ＥＫＳ−ＳＡＯＣシステムの知覚的品質を評価するために、それは定型のＳＡＯＣ‐ＲＭシステム（ＳＡＯＣ参照モデルシステム）、および試験中のシステムを記述する図６ｂの表に記載された２つの異なるレンダリング試験シナリオに対する現在のＥＫＳモード（拡張カラオケソロモード）と比較される。
【０３３８】
２０ｋｂｐｓのビットレートを有する残余の符号化が、現在のＥＫＳモードと提案された複合ＥＫＳ‐ＳＡＯＣシステムに対して適用された。現在のＥＫＳモードに対して、このモードは入力オブジェクトの数とタイプに関する制限を有するので、実際の符号化／復号化手順の前にステレオバックグラウンドオブジェクト（ＢＧＯ）を生成する必要があることに留意すべきである。
【０３３９】
実施された試験において用いられたリスニング試験の素材と、対応するダウンミックスと、レンダリングパラメータは、引用文献２に記載されたコールフォープロポーザル（ＣｆＰ）のセットから選択された。「カラオケ」と「クラシック」のレンダリングアプリケーションシナリオに対する対応データは、リスニング試験項目とレンダリングマトリックスを記載する図６ｃの表に見ることができる。
【０３４０】
６.２  リスニング試験結果
【０３４１】
取得されたリスニング試験結果を示す図に関する簡単な概要は、図６ｄと６ｅに見ることができ、図６ｄは、カラオケ／ソロタイプのレンダリングリスニング試験に対する平均ＭＵＳＨＲＡスコアを示し、図６ｅは、クラシックのレンダリングリスニング試験に対する平均ＭＵＳＨＲＡスコアを示す。プロットは、全てのリスナーにわたる項目毎の平均ＭＵＳＨＲＡの評定と、全ての評価された項目にわたる統計的平均値を関連する９５％の信頼区間とともに示す。
【０３４２】
以下の結論は、行われたリスニング試験の結果に基づいて出すことができる。
・図６ｄは、現在のＥＫＳモードに対する、カラオケ-タイプのアプリケーションのための複合ＥＫＳ−ＳＡＯＣシステムとの比較を表す。全ての試験された項目に対して、これらの２つのシステム間のパフォーマンスにおける有意の差（統計的センスにおいて）はない。この観測から、複合ＥＫＳ−ＳＡＯＣシステムは、ＥＫＳモードのパフォーマンスに達する残余情報を効率的に利用することが可能であると結論づけることができる。定型のＳＡＯＣシステム（残余なし）のパフォーマンスは、他のシステムの両方より下回ることにも注目することができる。
・図６ｅは、現在の定型のＳＡＯＣの、クラシックのレンダリングシナリオに対する複合ＥＫＳ‐ＳＡＯＣシステムとの比較を表す。全ての試験された項目に対して、これらの２つのシステムのパフォーマンスは統計学的に同じである。これは、クラシックのレンダリングシナリオに対する複合ＥＫＳ‐ＳＡＯＣシステムの固有の機能を示す。
【０３４３】
それ故、ＥＫＳモードを定型のＳＡＯＣと結合する提案された統合システムがレンダリングの対応するタイプに対する主観的オーディオ品質における効果を保持すると結論づけることができる。
【０３４４】
提案された複合ＥＫＳ‐ＳＡＯＣシステムが、もはやＢＧＯオブジェクトの制限を有さず、定型のＳＡＯＣモードの完全にフレキシブルなレンダリングの可能性を有し、全てのタイプのレンダリングに対して同じビットストリームを用いることができるという事実を考慮して、それをＭＰＥＧ‐ＳＡＯＣ標準に組み込むことは有益であるように見える。
【０３４５】
７．図７に係る方法
【０３４６】
以下に、ダウンミックス信号表現とオブジェクト関連パラメータ情報に基づいてアップミックス信号表現を提供する方法が、このような方法のフローチャートを示す図７を参照して記載される。
【０３４７】
方法７００は、ダウンミックス信号表現を分解し、ダウンミックス信号表現とオブジェクト関連パラメータ情報の少なくとも一部に基づいて、第１のオーディオオブジェクトタイプの１つ以上のオーディオオブジェクトの第１のセットを記述する第１のオーディオ情報と、第２のオーディオオブジェクトタイプの１つ以上のオーディオオブジェクトの第２のセットを記述する第２のオーディオ情報を提供する、ステップ７１０を備える。方法７００は、また、オブジェクト関連パラメータ情報に基づいて第２のオーディオ情報を処理し、第２のオーディオ情報の処理されたバージョンを取得する、ステップ７２０を備える。
【０３４８】
方法７００は、また、第１のオーディオ情報を第２のオーディオの処理されたバージョンと結合し、アップミックス信号表現を取得する、ステップ７３０を備える。
【０３４９】
図７に係る方法７００は、本願明細書において発明の装置に関して述べられた機能と関数のいずれかによって補充することができる。また、方法７００は、発明の装置に関して述べられた効果をもたらす。
【０３５０】
８．実施態様の変形例
【０３５１】
装置の局面においていくつかの側面が記載されたが、これらの側面は対応する方法の記述をも表すことは明らかであり、ブロックまたはデバイスは方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの局面において記載された側面は、対応する装置の対応するブロックまたは項目または特徴の記述をも表す。いくつかのまたは全ての方法ステップは、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって（あるいは用いて）実行することができる。いくつかの実施形態において、いくつかの１つ以上の最も重要な方法ステップは、このような装置によって実行することができる。
【０３５２】
発明の符号化されたオーディオ信号は、デジタル記憶媒体に記憶することができ、または無線伝送媒体のような伝送媒体またはインターネットのような有線伝送媒体上を伝送することができる。
【０３５３】
特定の実施要求に依存して、本発明の実施形態は、ハードウェアにおいてまたはソフトウェアにおいて実施することができる。実施は、その上に記憶される電子的に読取可能な制御信号を有し、それぞれの方法が実行されるようにプログラム可能なコンピューターシステムと協働する（または協働することができる、デジタル記憶媒体、例えばフロッピー（登録商標）、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを用いて実行することができる。それ故、デジタル記憶媒体は、計算機読取可能とすることができる。
【０３５４】
本発明に係るいくつかの実施形態は、本願明細書に記載された方法の１つが実行されるように、プログラム可能なコンピューターシステムと協働することができる、電子的に読取可能な制御信号を有するデータキャリアを備える。
【０３５５】
一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で動作するとき、本方法の１つを実行するために働くプログラムコードを有するコンピュータプログラム製品として実施することができる。プログラムコードは、例えば機械読取可能なキャリアに記憶することもできる。
【０３５６】
他の実施形態は、機械読取可能なキャリアに記憶された、本願明細書に記載された方法の１つを実行するコンピュータプログラムを備える。
【０３５７】
言い換えれば、発明の方法の実施形態は、それ故、コンピュータプログラムがコンピュータ上で動作するとき、本願明細書に記載された方法の１つを実行するプログラムコードを有するコンピュータプログラムである。
【０３５８】
発明の方法の更なる実施形態は、それ故、その上に記録された、本願明細書に記載された方法の１つを実行するコンピュータプログラムを備えるデータキャリア（またはデジタル記憶媒体、あるいはコンピュータ読取可能媒体）である。データキャリア、デジタル記憶媒体または記録された媒体は、通常は有形でありおよび／または伝送されない。
【０３５９】
発明の方法の更なる実施形態は、それ故、本願明細書に記載された方法の１つを実行するコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、データ通信接続を介して、例えばインターネットを介して転送されるように構成することができる。
【０３６０】
更なる実施形態は、本願明細書に記載された方法の１つを実行するように構成されたまたは適合された処理手段、例えばコンピュータ、あるいはプログラマブルロジックデバイスを備える。
【０３６１】
更なる実施形態は、本願明細書に記載された方法の１つを実行するコンピュータプログラムがその上にインストールされたコンピュータを備える。
【０３６２】
いくつかの実施形態では、本願明細書に記載された方法の機能のいくつかまたは全てを実行するために、プログラマブルロジックデバイス（例えばフィールドプログラマブルゲートアレイ）を用いることができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本願明細書に記載された方法の１つを実行するために、マイクロプロセッサと協働することができる。一般に、方法は、好ましくはいかなるハードウェア装置によっても実行される。
【０３６３】
上述した実施形態は、単に本発明の原理に対して例証を示すものである。本願明細書に記載された構成と詳細の修正と変更は、他の当業者にとって明らかであると理解される。それ故、本発明は、特許クレームのスコープのみによって制限され、本願明細書の実施形態の記述と説明の方法によって表された特定の詳細によって制限されないことを意図する。
【０３６４】
９．結論
【０３６５】
以下に、本発明に係る複合ＥＫＳ−ＳＡＯＣシステムのいくつかの側面と効果が簡単に要約される。カラオケとソロの再生シナリオに対して、ＳＡＯＣ−ＥＫＳ処理モードは、バックグラウンドオブジェクト／フォアグラウンドオブジェクトの排他的な再生とこれらのオブジェクトグループの任意の混合（レンダリングマトリックスによって定められる）の両方をサポートする。
【０３６６】
また、最初のモードは、ＥＫＳ処理の主たる目的であると考えられ、後者は、付加的なフレキシビリティを提供する。
【０３６７】
ＥＫＳ機能の一般化は、１つの一体化システムを得るために、ＥＫＳを定型のＳＡＯＣ処理モードと結合する労力を結果的に含むことが分かっている。このような一体化システムのポテンシャルは、次の通りである。
・１つの単一のクリアなＳＡＯＣ復号化／変換符号化構造である
・ＥＫＳと定型のＳＡＯＣモードの両方に対する１つのビットストリームである
・ＳＯＡＣ符号化ステージの前にバックグラウンドオブジェクトを生成する必要がないように、バックグラウンドオブジェクト（ＢＧＯ）を備える入力オブジェクトの数への制限がない
・カラオケ／ソロ再生状況の要求において拡張された知覚的品質を与えるフォアグラウンドオブジェクトに対する残余符号化をサポートする
【０３６８】
これらの効果は、本願明細書に記載された一体化システムによって得ることができる。
【図１】
0005678048.tif 000179
【図２】
0005678048.tif 000180
【図３ａ】
0005678048.tif 000181
【図３ｂ】
0005678048.tif 000182
【図４ａ】
0005678048.tif 000183
【図４ｂ】
0005678048.tif 000184
【図４ｃ】
0005678048.tif 000185
【図４ｄ】
0005678048.tif 000186
【図４ｅ】
0005678048.tif 000187
【図４ｆ】
0005678048.tif 000188
【図４ｇ】
0005678048.tif 000189
【図５ａ】
0005678048.tif 000190
【図５ｂ】
0005678048.tif 000191
【図６ａ】
0005678048.tif 000192
【図６ｂ】
0005678048.tif 000193
【図６ｃ】
0005678048.tif 000194
【図６ｄ】
0005678048.tif 000195
【図６ｅ】
0005678048.tif 000196
【図７】
0005678048.tif 000197
【図８】
0005678048.tif 000198
【図９ａ】
0005678048.tif 000199
【図９ｂ】
0005678048.tif 000200
【図９ｃ】
0005678048.tif 000201
【図１０】
0005678048.tif 000202