(57)【要約】      （修正有）【課題】ＨＯＡ（高次アンビソニックス）信号は、空間領域および係数領域の２つの表現が存在し、係数領域表現から上記ＨＯＡ信号の数を可変とすることができる混合した空間／係数領域表現を生成する。【解決手段】係数領域信号のベクトルは、ある定数のＨＯＡ係数を有する係数領域信号のベクトルと可変数のＨＯＡ係数を有する係数領域信号のベクトルとに分離される。上記定数のＨＯＡ係数のベクトルは対応する空間領域信号のベクトルに変換される。信号の不連続部を生じさせることなく高品質の符号化を容易にするために、係数領域信号の可変数のＨＯＡ係数のベクトルが適応的に正規化され、空間領域信号のベクトルと多重化される。【選択図】図３
2019113858.tif 000002
【特許請求の範囲】
【請求項１】
ＨＯＡ表現を復号する方法であって、前記復号する方法は、
ＰＣＭ符号化空間領域信号のベクトルを変換行例と乗算することによって、前記ＨＯＡ表現のＰＣＭ符号化空間領域信号の前記ベクトルを係数領域信号の対応するベクトルに変換することと、
前記ＨＯＡ表現のＰＣＭ符号化され正規化された係数領域信号のベクトルを非正規化することであって、前記非正規化することは、
情報の対応する冪指数と再帰的に計算された利得値とに基づいて遷移ベクトルを決定することであって、前記対応する冪指数及び前記利得値は、ＨＯＡ信号ベクトルの入力行例の連続するインデックスに基づいている、遷移ベクトルを決定することと、
ＰＣＭ符号化され非正規化された信号の対応するベクトルを決定するために、前記対応する逆利得値をＰＣＭ符号化され正規化された係数領域信号の前記ベクトルに適用することと、
を含む、非正規化することと、
係数領域信号の前記ベクトルと非正規化された係数領域信号の前記ベクトルとを合成して、可変数のＨＯＡ係数を有することができるＨＯＡ係数領域信号の結合されたベクトルを決定することと、
を含む、方法。
【請求項２】
ＨＯＡ表現を復号する装置であって、前記復号する装置は、
ＰＣＭ符号化空間領域信号のベクトルを変換行例と乗算することによって、前記ＨＯＡ表現のＰＣＭ符号化空間領域信号の前記ベクトルを係数領域信号の対応するベクトルに変換するように構成された手段と、
前記ＨＯＡ表現のＰＣＭ符号化され正規化された係数領域信号のベクトルを非正規化するように構成された手段であって、前記非正規化するように構成された手段は、
情報の対応する冪指数と再帰的に計算された利得値とに基づいて遷移ベクトルを決定するように構成された手段であって、前記対応する冪指数及び前記利得値は、ＨＯＡ信号ベクトルの入力行例の連続するインデックスに基づいている、遷移ベクトルを決定するように構成された手段と、
ＰＣＭ符号化され非正規化された信号の対応するベクトルを決定するために、前記対応する逆利得値をＰＣＭ符号化され正規化された係数領域信号の前記ベクトルに適用するように構成された手段と、
を含む、非正規化するように構成された手段と、
係数領域信号の前記ベクトルと非正規化された係数領域信号の前記ベクトルとを合成して、可変数のＨＯＡ係数を有することができるＨＯＡ係数領域信号の結合されたベクトルを決定するように構成された手段と、
を含む、装置。
【請求項３】
請求項１に従ったデジタル・オーディオ信号を含む又は保存する、又はその中に記録した非一時的な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＨＯＡ信号の係数領域表現からこのＨＯＡ信号の混合した空間／係数領域表現を生成する方法および装置であって、ＨＯＡ信号の数を可変とすることができる、方法および装置に関する。
【背景技術】
【０００２】
ＨＯＡと称する高次アンビソニックスは、２次元または３次元の音場の数学的な記述である。音場は、マイクロフォン・アレイによって捉えることができ、あるいは合成音源から設計することができ、あるいは音場はその両方の組み合わせである。ＨＯＡは、２次元または３次元のサラウンド・サウンドのための伝送フォーマットとして使用することができる。ラウドスピーカに基づくサラウンド・サウンド表現とは対照的に、ＨＯＡの利点は、様々なラウドスピーカの構成で音場を再現することである。そのため、ＨＯＡはユニバーサル・オーディオ・フォーマットに適している。
【０００３】
ＨＯＡの空間解像度は、ＨＯＡの次数によって決まる。この次数は音場を記述するＨＯＡ信号の数を決める。ＨＯＡには２つの表現があり、それぞれ、空間領域および係数領域と呼ばれている。大抵の場合には、ＨＯＡは、もともと係数領域で表現され、行列乗算（または変換）によって空間領域に変換される（欧州特許出願公開第２４６９７４２号に記載されている。）。空間領域は、係数領域と同じ数の信号を含む。しかしながら、空間領域においては、各信号は方向に関連し、その方向は単位球面上に一様に分布している。これにより、ＨＯＡ表現の空間分布を分析することが容易になる。係数領域表現は、空間領域表現と同様に時間領域表現である。
【発明の概要】
【０００４】
以下の説明において基本的には、ねらいは、各方向に対して同一のダイナミックレンジをもたらすために、ＨＯＡ表現のＰＣＭ伝送のために可能な限り空間領域を使用することである。これにより、空間領域におけるＨＯＡ信号のＰＣＭサンプルが所定の値の範囲に正規化されなければならないことを意味する。しかしながら、このような正規化の欠点は、空間領域におけるＨＯＡ信号のダイナミックレンジが係数領域よりも小さいことである。これは、係数領域信号から空間領域信号を生成する変換行列によって生ずる。
【０００５】
あるアプリケーションでは、ＨＯＡ信号が係数領域において送信されるものがある。例えば、欧州特許出願第１３３０５５５８号に記載された処理では、全ての信号が係数領域において送信される。それは定数のＨＯＡ信号および可変数の追加のＨＯＡ信号が送信されるからである。しかし、上述および欧州特許出願公開第２４６９７４２号に示されているように、係数領域における送信は有利ではない。
【０００６】
解決法として、定数のＨＯＡ信号を空間領域において送信することができ、可変数の追加のＨＯＡ信号のみを係数領域で伝送する。追加のＨＯＡ信号を空間領域で伝送することは可能ではない。その理由は、ＨＯＡ信号の数が経時的に変化すると、係数領域から空間領域への変換行列が経時的に変化し、後続する知覚符号化処理にとって最適であるとはいえない不連続部が全ての空間領域信号で生ずることがあるからである。
【０００７】
この追加のＨＯＡ信号を所定の値の範囲を超えることなく送信できるようにするために、このような信号の不連続部を回避するように設計されており、反転パラメータの効率的な送信を達成する可逆の正規化処理を使用することができる。
【０００８】
２つのＨＯＡ表現のダイナミックレンジおよびＰＣＭ符号化のためのＨＯＡ信号の正規化に関し、以下、このような正規化が係数領域で行われるべきか、空間領域で行われるべきかを導く。
【０００９】
係数時間領域において、ＨＯＡ表現は、Ｎ個の係数信号
【数１】
2019113858.tif 000003
の連続するフレームから構成される。ここで、ｋはサンプル・インデックスを示し、ｎは信号インデックスを示す。
【００１０】
この係数信号は、コンパクトな表現を得るために、ベクトル
【数２】
2019113858.tif 000004
にまとめる。
【００１１】
空間領域への変換は、ＮｘＮの下記の変換行列によって行われる。
【数３】
2019113858.tif 000005
この変換は欧州特許出願第１２３０６５６９号に定義されており、式（２１）および（２２）に関連したΞGRIDの定義を参照されたい。
【００１２】
空間領域ベクトル
【数４】
2019113858.tif 000006
が下記の式から取得される。
ｗ（ｋ）＝Ψ−１ｄ（ｋ）                            （１）
ここで、Ψ−１は行列Ψの逆行列である。
【００１３】
空間領域から係数領域への逆変換は、下記の式によって行われる。
ｄ（ｋ）＝Ψｗ（ｋ）                              （２）
サンプルの値の範囲が、一方の領域において定義されると、変換行列Ψは、自動的に他方の領域の値の範囲を定める。以下の説明では、ｋ番目のサンプルに対する項（ｋ）を省略する。
【００１４】
ＨＯＡ表現は実際には空間領域で再生されるため、値の範囲、ラウドネスおよびダイナミックレンジは空間領域において定義される。ダイナミックレンジはＰＣＭ符号化のビット解像度によって定義される。本出願において、「ＰＣＭ符号化」は、浮動小数点表現サンプルから固定小数点の表記での整数表現サンプルへの変換を意味する。
【００１５】
ＨＯＡ表現のＰＣＭ符号化のためには、Ｎ個の空間領域信号が、最大のＰＣＭ値Ｗｍａｘにアップスケーリングされ、固定小数点の整数ＰＣＭ表記に端数処理されるように、−１≦ｗｎ＜１の値の範囲に正規化されなければならない。
【数５】
2019113858.tif 000007
注：これは、一般化されたＰＣＭ符号化表現である。
【００１６】
係数領域のサンプルの値の範囲は、（４）式によって定義される行列Ψの無限ノルムと、
【数６】
2019113858.tif 000008
空間領域における最大絶対値ｗｍａｘ＝１とによって算出することができ、下記の式のようになる。
【数７】
2019113858.tif 000009
行列Ψに使用されている定義から、
【数８】
2019113858.tif 000010
の値は「１」よりも大きいため、ｄｎの値の範囲は増加する。
【００１７】
逆に言うと、
【数９】
2019113858.tif 000011
であるため、係数領域における信号のＰＣＭ符号化には
【数１０】
2019113858.tif 000012
による正規化が必要であることを意味する。しかしながら、この正規化は、係数領域における信号のダイナミックレンジを減少させ、この結果として、信号対量子化雑音比が低下することになる。したがって、空間領域信号をＰＣＭ符号化することが好ましい。
【００１８】
本発明によって解決される課題は、係数領域におけるダイナミックレンジを減少させることなく、正規化を使用して空間領域が所望されているＨＯＡ信号の部分を係数領域においてどのように送信するかである。さらに、正規化された信号は、信号レベルの不連続な変化によって生じる品質の劣化を起こさずに知覚符号化を行うために、信号レベルの不連続な変化を含んではならない。この課題は、請求項１および６に開示された方法によって解決される。この方法を使用する装置が請求項２および７にそれぞれ開示されている。
【００１９】
原理的には、本発明の生成方法は、ＨＯＡ信号の係数領域表現から上記ＨＯＡ信号の混合した空間／係数領域表現を生成するのに適している。連続する係数フレーム内で上記ＨＯＡ信号の数を経時的に可変とすることができる。この方法は、
−ＨＯＡ係数領域信号のベクトルを、ある定数のＨＯＡ係数を有する係数領域信号の第１のベクトルと、経時的に可変数のＨＯＡ係数を有する係数領域信号の第２のベクトルとに分離するステップと、
−係数領域信号の上記第１のベクトルを変換行列の逆行列と乗算することによって、係数領域信号の上記第１のベクトルを空間領域信号の対応するベクトルに変換するステップと、
−空間領域信号の上記ベクトルをＰＣＭ符号化してＰＣＭ符号化された空間領域信号のベクトルを取得するステップと、
−正規化因子によって係数領域信号の上記第２のベクトルを正規化するステップであって、上記正規化は、係数領域信号の上記第２のベクトルの上記ＨＯＡ係数の現在の値の範囲に対して適応的な正規化であり、上記正規化において上記ベクトルのＨＯＡ係数に対して利用可能な値の範囲は超過することがなく、上記ベクトル内の利得を前の第２のベクトルにおける利得から後続する第２のベクトルにおける利得に連続的に変化させるために、上記正規化において、一様に連続する遷移関数が現在の第２のベクトルの係数に適用され、上記正規化は対応する復号器側の非正規化のための副情報を提供する、上記ステップと、
−正規化された係数領域信号の上記ベクトルをＰＣＭ符号化してＰＣＭ符号化され正規化された係数領域信号のベクトルを取得するステップと、
−ＰＣＭ符号化された空間領域信号の上記ベクトルと、ＰＣＭ符号化され正規化された係数領域信号の上記ベクトルとを多重化するステップと、を含む。
【００２０】
原理的には、本発明の生成装置は、ＨＯＡ信号の係数領域表現から上記ＨＯＡ信号の混合した空間／係数領域表現を生成するのに適している。連続する係数フレーム内で上記ＨＯＡ信号の数を経時的に可変とすることができる。この装置は、
−ＨＯＡ係数領域信号のベクトルを、ある定数のＨＯＡ係数を有する係数領域信号の第１のベクトルと、経時的に可変数のＨＯＡ係数を有する係数領域信号の第２のベクトルとに分離するように構成された手段と、
−係数領域信号の上記第１のベクトルを、変換行列の逆行列と乗算することによって、係数領域信号の上記第１のベクトルを空間領域信号の対応するベクトルに変換するように構成された手段と、
−空間領域信号の上記ベクトルをＰＣＭ符号化してＰＣＭ符号化された空間領域信号のベクトルを取得するように構成された手段と、
−正規化因子によって係数領域信号の上記第２のベクトルを正規化するように構成された手段であって、上記正規化は、係数領域信号の上記第２のベクトルの上記ＨＯＡ係数の現在の値の範囲に対して適応的な正規化であり、上記正規化において上記ベクトルのＨＯＡ係数に対して利用可能な値の範囲は超過することがなく、上記ベクトル内の利得を前の第２のベクトルにおける利得から後続する第２のベクトルにおける利得に連続的に変化させるために、上記正規化において、一様に連続する遷移関数が現在の第２のベクトルの係数に適用され、上記正規化は対応する復号器側の非正規化のための副情報を提供する、上記手段と、
−正規化された係数領域信号の上記ベクトルをＰＣＭ符号化してＰＣＭ符号化され正規化された係数領域信号のベクトルを取得するように構成された手段と、
−ＰＣＭ符号化された空間領域信号の前記ベクトルと、ＰＣＭ符号化され正規化された係数領域信号の上記ベクトルとを多重化するように構成された手段と、を含む。
【００２１】
原理的には、本発明の復号方法は、符号化されたＨＯＡ信号の混合した空間／係数領域表現を復号するのに適している。連続する係数フレーム内で上記ＨＯＡ信号の数を経時的に可変とすることができ、符号化されたＨＯＡ信号の上記混合した空間／係数領域表現は、上記の本発明の生成方法に従って生成されており、上記復号方法は、
−ＰＣＭ符号化された空間領域信号とＰＣＭ符号化され正規化された係数領域信号との上記多重化されたベクトルを逆多重化するステップと、
−ＰＣＭ符号化された空間領域信号の上記ベクトルを上記変換行列と乗算することによってＰＣＭ符号化された空間領域信号の上記ベクトルを係数領域信号の対応するベクトルに変換するステップと、
−ＰＣＭ符号化され正規化された係数領域信号の上記ベクトルを非正規化するステップであって、上記非正規化は、
−−受信した上記副情報の対応する冪指数ｅｎ（ｊ−１）および再帰的に算出された利得値ｇｎ（ｊ−２）を使用して、遷移ベクトルｈｎ（ｊ−１）を算出することであって、処理されるＰＣＭ符号化され正規化された係数領域信号の後続するベクトルの対応する処理に対する利得値ｇｎ（ｊ−１）が保持され、ｊはＨＯＡ信号ベクトルの入力行列の連続するインデックスである、上記遷移ベクトルを算出することと、
−−ＰＣＭ符号化され正規化された信号の現在のベクトルに対して対応する逆利得値（利得値の逆数）を適用して上記ＰＣＭ符号化され非正規化された信号の対応するベクトルを取得することと、
を含む、上記非正規化するステップと、
−係数領域信号の上記ベクトルおよび非正規化された係数領域のベクトルを合成して可変数のＨＯＡ係数を有することができるＨＯＡ係数領域信号の結合されたベクトルを取得するステップと、を含む。
【００２２】
原理的には、本発明の復号装置は、符号化されたＨＯＡ信号の混合した空間／係数領域表現を復号するのに適している。連続する係数フレーム内で上記ＨＯＡ信号の数を経時的に可変とすることができ、符号化されたＨＯＡ信号の上記混合した空間／係数領域表現は、上記発明の生成方法に従って生成されており、上記復号装置は、
−ＰＣＭ符号化された空間領域信号とＰＣＭ符号化され正規化された係数領域信号との上記多重化されたベクトルを逆多重化するように構成された手段と、
−ＰＣＭ符号化された空間領域信号の上記ベクトルを上記変換行列と乗算することによってＰＣＭ符号化された空間領域信号の上記ベクトルを係数領域信号の対応するベクトルに変換するように構成された手段と、
−ＰＣＭ符号化され正規化された係数領域信号の上記ベクトルを非正規化するように構成された手段であって、上記非正規化は、
−−受信した前記副情報の対応する冪指数ｅｎ（ｊ−１）および再帰的に算出された利得値ｇｎ（ｊ−２）を使用して、遷移ベクトルｈｎ（ｊ−１）を算出することであって、処理されるべきＰＣＭ符号化され正規化された係数領域信号の後続するベクトルの対応する処理に対する利得値ｇｎ（ｊ−１）が保持され、ｊは、ＨＯＡ信号ベクトルの入力行列の連続するインデックスである、上記遷移ベクトルを算出することと、
−−ＰＣＭ符号化され正規化された信号の現在のベクトルに対して対応する逆利得値（利得値の逆数）を適用して上記ＰＣＭ符号化され非正規化された信号の対応するベクトルを取得することと、
を含む、上記非正規化するように構成された手段と、
−係数領域信号の上記ベクトルおよび非正規化された係数領域のベクトルを合成して可変数のＨＯＡ係数を有することができるＨＯＡ係数領域信号の合成されたベクトルを取得するように構成された手段と、を含む。
【００２３】
本発明の追加的な実施形態の利点は、各従属請求項に開示されている。
【００２４】
本発明の例示的な実施形態が添付図面を参照して説明されている。
【図面の簡単な説明】
【００２５】
【図１】空間領域におけるもとの係数領域ＨＯＡ表現のＰＣＭ送信を示す図である。
【図２】係数領域および空間領域におけるＨＯＡ表現を組み合わせた送信を示す図である。
【図３】係数領域における信号に対してブロック単位で適応的な正規化を使用した係数領域および空間領域におけるＨＯＡ表現を組み合わせた送信を示す図である。
【図４】係数領域において表現されたＨＯＡ信号ｘｎ（ｊ）に対する適応的正規化処理を示す図である。
【図５】２つの異なる利得値間の円滑な遷移のために使用される遷移関数を示す図である。
【図６】適応的な非正規化処理を示す図である。
【図７】異なる冪指数ｅｎを使用した遷移関数ｈn（ｌ）のＦＦＴ周波数スペクトルを示す図であり、ここで各関数の最大振幅は０ｄＢに正規化されている。
【図８】３つの連続する信号ベクトルに対する例示的な遷移関数を示した図である。
【発明を実施するための形態】
【００２６】
空間領域におけるＨＯＡ表現のＰＣＭ符号化に関して、図１に示されているようなＨＯＡ表現のＰＣＭ送信を行えるように、（浮動小数点表現において）−１≦ｗｎ＜１が満たされているものと仮定する。ＨＯＡ符号化器の入力部で、変換ステップまたはステージ１１は、式（１）を使用して、現在の入力信号フレームの係数領域信号ｄを空間領域信号ｗに変換する。ＰＣＭ符号化ステップまたはステージ１２は、式（３）を使用して浮動小数点サンプルｗを固定小数点の表記法のＰＣＭ符号化された整数サンプルｗ’に変換する。多重化ステップまたはステージ１３において、ＰＣＭ符号化された整数サンプルｗ’を多重化してＨＯＡ送信フォーマットにする。
【００２７】
ＨＯＡ復号器は、逆多重化ステップまたはステージ１４で、受信したＨＯＡ送信フォーマットから信号ｗ’に逆多重化し、ステップまたはステージ１５で式（２）を使用して信号ｗ’を再変換して係数領域信号ｄ’にする。この逆変換は、空間領域から係数領域への変換が常に整数（ＰＣＭ）から浮動小数点へのフォーマット変換を含むため、ｄ’のダイナミックレンジが増加する。
【００２８】
行列Ψが経時的に変化する場合には図１の標準的なＨＯＡ送信は失敗する。これは、ＨＯＡ信号の数またはインデックスが、連続するＨＯＡ係数シーケンス、つまり、連続する入力信号フレームに対して経時的に変化する場合である。上述したように、このような場合の一例は、欧州特許出願第１３３０５５５８号に記載されたＨＯＡ圧縮処理である。そのＨＯＡ圧縮処理では、ある定数のＨＯＡ信号が連続的に伝送され、経時的に可変数のＨＯＡ信号が変化する信号インデックスを伴って並列的に伝送される。その全ての信号は係数領域で送信され、これは上述したように最善とはいえない。
【００２９】
本発明によれば、図１に関連して説明される処理は図２に示されているように拡張することができる。
【００３０】
ステップまたはステージ２０において、ＨＯＡ符号化器は、ＨＯＡベクトルｄを２つのベクトルｄ１およびｄ２に分離する。ここで、ベクトルｄ１に対するＨＯＡ係数の数Ｍは一定であり、ベクトルｄ２は可変数Ｋ個のＨＯＡ係数を含む。信号インデックスｎは、ベクトルｄ１に対して時間的に不変であるため、ＰＣＭ符号化は、空間領域において、ステップまたはステージ２１、２２、２３、２４、２５において、図２の下側の信号経路内に示されたｗ１およびｗ’１に対応する信号を用いて行われる。これは、図１のステップまたはステージ１１〜１５に対応する。しかしながら、多重化ステップ／ステージ２３は追加の入力信号ｄ”2を取得し、ＨＯＡ復号器では逆多重化ステップ／ステージ２４は異なる出力信号ｄ”2を供給する。
【００３１】
ベクトルｄ２のＨＯＡ係数の数またはサイズＫは経時的に変化し、送信されるＨＯＡ信号のインデックスｎは経時的に変化する。これは空間領域での送信を妨げる。その理由は、経時的に変化する変換行列が必要となり、その結果、全ての知覚符号化されたＨＯＡ信号に不連続部が生ずることがあるからである（なお、知覚符号化ステップまたはステージは図に示されていない）。しかしながら、このような信号の不連続部は、送信された信号の知覚符号化の品質を低下させかねないため、回避されるべきである。
【００３２】
そこで、係数領域でｄ２を送信すべきである。係数領域における信号の値の範囲が大きくなるため、信号は、ステップまたはステージ２７でＰＣＭ符号化が適用される前に、因子
【数１１】
2019113858.tif 000013
によって、ステップまたはステージ２６でスケーリングされる。しかしながら、このようなスケーリングの欠点は、
【数１２】
2019113858.tif 000014
の最大絶対値が最悪の推定値となることであり、通常は値の範囲が小さくなることが予期されるのでサンプルが最大絶対値となることはあまり多くは発生しない。その結果、ＰＣＭ符号化のために利用可能な分解能は効率的には使用されず、信号対量子化雑音比が低い。
【００３３】
逆多重化ステップ／ステージ２４の出力信号ｄ”2は、因子
【数１３】
2019113858.tif 000015
を使用してステップまたはステージ２８で逆スケーリングされる。結果として得られる信号
【数１４】
2019113858.tif 000016
は、ステップまたはステージ２９において信号ｄ’1と結合され、その結果、復号された係数領域ＨＯＡ信号ｄ’となる。
【００３４】
本発明によれば、信号の信号適応的な正規化を使用することで係数領域におけるＰＣＭ符号化の効率を向上させることができる。しかしながら、このような正規化は、可逆でなければならず、かつ、サンプルからサンプルに一様に連続していなければならない。必要なブロック単位の適応的処理が図３に示されている。ｊ番目の入力行列
【数１５】
2019113858.tif 000017
は、Ｌ個のＨＯＡ信号ベクトルｄからなる（インデックスｊは図３に示されていない）。行列Ｄは、図２の処理の場合のように、２つの行列Ｄ１およびＤ２に分離される。ステップまたはステージ３１〜３５におけるＤ１の処理は、図２および図１に関連して説明した空間領域における処理に対応する。しかし、係数領域信号の符号化は、ブロック単位の適応的正規化ステップまたはステージ３６を含み、この適応的正規化ステップまたはステージ３６は、信号の現在の値の範囲に自動的に適応し、その後、ＰＣＭ符号化ステップまたはステージ３７が行われる。行列Ｄ”2における各ＰＣＭ符号化された信号の非正規化のために必要な副情報は、ベクトルｅ内に記憶および転送される。ベクトル
【数１６】
2019113858.tif 000018
は、信号毎に１つの値を含む。受信側の復号器の対応する適応的非正規化ステップまたはステージ３８は、送信されたベクトルｅからの情報を使用して、正規化の逆を行って信号Ｄ”2を信号
【数１７】
2019113858.tif 000019
にする。その結果、得られた信号
【数１８】
2019113858.tif 000020
は、ステップまたはステージ３９において、信号Ｄ’１と結合され、その結果、復号された係数領域ＨＯＡ信号Ｄ’が得られる。
【００３５】
ステップ／ステージ３６における適応的正規化においては、最後の入力係数ブロックの利得から次の入力係数ブロックの利得に連続的に変化させるために、一様に連続する遷移関数が現在の入力係数ブロックのサンプルに適用される。この種の処理は、１つのブロックの遅延を必要とする。その理由は、正規化利得の変化は、１つ前の入力ブロックで検出されなければならないからである。その利点は、導入される振幅変調は小さいため、変調された信号の知覚符号化は非正規化された信号にほとんど影響を与えないことである。
【００３６】
適応的正規化の実施は、Ｄ２（ｊ）のＨＯＡ信号毎に独立して行われる。信号は、以下の行列の行ベクトルｘｎTによって表現される
【数１９】
2019113858.tif 000021
ここで、ｎは、送信されたＨＯＡ信号のインデックスを表す。ｘｎは、当初は列ベクトルであつたが、ここでは行ベクトルが必要であるため転置されている。
【００３７】
図４は、より詳細にステップ／ステージ３６における適応的正規化を示している。この処理の入力値は、以下の通りである。
・時間的にスムージングされた最大値ｘｎ，ｍａｘ，ｓｍ（ｊ−２）
・利得値ｇｎ（ｊ−２）、つまり、対応する信号ベクトル・ブロックｘｎ（ｊ−２）のすぐ前の係数に適用される利得
・現在のブロックの信号ベクトルｘｎ（ｊ）
・前のブロックの信号ベクトルｘｎ（ｊ−１）
【００３８】
第１のブロックｘｎ（０）の処理を開始すると、再帰的な入力値が所定の値によって初期化される。ベクトルｘｎ（−１）の係数は、零に設定することができ、利得値ｇｎ（−２）は、「１」に設定するとよく、ｘｎ，ｍａｘ，ｓｍ（−２）は、所定の平均振幅値に設定するとよい。
【００３９】
その後、すぐ前のブロックｇｎ（ｊ−１）の利得値、副情報ベクトルｅ（ｊ−１）の対応する値ｅｎ（ｊ−１）、時間的にスムージングされた最大値ｘｎ，ｍａｘ，ｓｍ（ｊ−１）、および正規化された信号ベクトルｘ’ｎ（ｊ−１）が処理の出力である。
【００４０】
この処理の目的は信号ベクトルｘｎ（ｊ−１）に適用される利得値をｇｎ（ｊ−２）からｇｎ（ｊ−１）に連続的に変更して、利得値ｇｎ（ｊ−１）が信号ベクトルｘｎ（ｊ）を正規化して適切な値の範囲にすることにある。
【００４１】
最初の処理ステップまたはステージ４１において、信号ベクトル
【数２０】
2019113858.tif 000022
の各係数に利得値ｇｎ（ｊ−２）を乗算する。ここで、ｇｎ（ｊ−２）は、次の正規化利得のための基礎として、信号ベクトルｘｎ（ｊ−１）の正規化処理から保持されている。結果として得られる正規化された信号ベクトルｘｎ（ｊ）から、式（５）を使用してステップまたはステージ４２で絶対値の最大値ｘｎ，ｍａｘを得る。
【数２１】
2019113858.tif 000023
【００４２】
ステップまたはステージ４３において、ｘｎ，ｍａｘに時間的なスムージングを適用する。この処理は、すぐ前の時間的なスムージング済みの最大値ｘｎ，ｍａｘ，ｓｍ（ｊ−２）を受信する再帰的フィルタを使用して行われる。この結果、現在の時間的なスムージング済みの最大値ｘｎ，ｍａｘ，ｓｍ（ｊ−１）が得られる。このようなスムージングの目的は、時間的に正規化利得の適応を弱め、これにより、利得の変更の回数を低減し、それで信号の振幅変調を低減することにある。値ｘｎ，ｍａｘが所定の値の範囲にある場合にのみ、時間的なスムージングが適用される。値ｘｎ，ｍａｘが所定の値の範囲にない場合は、ｘｎ，ｍａｘ，ｓｍ（ｊ−１）をｘｎ，ｍａｘに設定する（すなわち、現在の状態のままでｘｎ，ｍａｘの値が保持される。）。その理由は、後続する処理がｘｎ，ｍａｘの実際の値を所定の値の範囲に減衰させなければならないからである。したがって、正規化利得が一定である場合か、信号ｘｎ（ｊ）が値の範囲を外れることなく増幅される場合にのみ、時間的なスムージング処理が動作する。
【００４３】
ステップ／ステージ４３において、ｘｎ，ｍａｘ，ｓｍ（ｊ−１）を以下のように算出する。
【数２２】
2019113858.tif 000024
ここで、０＜ａ≦１は、減衰定数である。
【００４４】
ベクトルｅの送信のためのビットレートを低減するために、現在の時間的なスムージング済みの最大値ｘｎ，ｍａｘ，ｓｍ（ｊ−１）から正規化利得を算出し、「２」を基数とする冪指数として送信する。したがって、
【数２３】
2019113858.tif 000025
が満たされるべきであり、ステップまたはステージ４４において、量子化された冪指数ｅｎ（ｊ−１）を下記の式から取得する
【数２４】
2019113858.tif 000026
【００４５】
効率的なＰＣＭ符号化のために利用可能な解像度を利用するために信号が再度増幅されている（すなわち、合計利得の値が経時的に増加する）期間においては、冪指数ｅｎ（ｊ）（したがって、連続するブロック間の利得差）は、小さな最大値、例えば「１」に制限されることがある。この処理には２つの有利な効果がある。その一方は、連続するブロック間の利得差が小さいと、遷移関数を通じて小さい振幅変調のみとなり、結果としてＦＦＴスペクトルの隣接するサブバンド間のクロストークが低減されることである（図７に関連した知覚符号化への遷移関数の影響についての関連記述を参照）。他方は、冪指数の符号化のためのビットレートは、その値範囲を制限することによって低減されることである。
【００４６】
合計の最大増幅の値
【数２５】
2019113858.tif 000027
は制限することができ、例えば「１」に制限することができる。その理由は、係数信号の一つが、（空間領域におけるＨＯＡ表現の正規化を想定すると）１番目のブロックが極めて小さな振幅を有し、２番目のブロックが起こり得る最も高い振幅を有するという、２つの連続するブロック間で大きな振幅の変化を示す場合には、この２つのブロック間の極めて大きな利得差により、遷移関数を通じて振幅変調が大きくなり、結果として、ＦＦＴスペクトルの隣接するサブバンド間に重大なクロストークが生じるからである。これは、以下に説明する後続する知覚符号化処理にとって最適とはいえないことがある。
【００４７】
ステップまたはステージ４５において、冪指数値ｅｎ（ｊ−１）を遷移関数に適用して、現在の利得値ｇｎ（ｊ−１）を得る。利得値ｇｎ（ｊ−２）から利得値ｇｎ（ｊ−１）への連続する遷移に対して図５に示した関数を使用する。その関数の演算ルールは以下の通りである。
【数２６】
2019113858.tif 000028
ここで、
【数２７】
2019113858.tif 000029
である。実際の遷移関数ベクトル
【数２８】
2019113858.tif 000030
は、ｇｎ（ｊ−２）からｇｎ（ｊ−１）に連続的にフェードする（ｆａｄｅ）ために使用される。例えば、ｅｎ（ｊ−１）の各値に対して、ｆ（０）＝１であるため、ｈｎ（０）の値は、ｇｎ（ｊ−２）となる。ｆ（Ｌ−１）の最後の値は、０．５であるため、
【数２９】
2019113858.tif 000031
は、結果として、式（９）からのｘｎ（ｊ）の正規化に対して必要な増幅ｇｎ（ｊ−１）が得られる。
【００４８】
ステップまたはステージ４６において、信号ベクトルｘｎ（ｊ−１）のサンプルは、下記の式（１２）を得るために、遷移ベクトルｈｎ（ｊ−１）の利得値によって重み付けされる。
【数３０】
2019113858.tif 000032
ここで、
【数３１】
2019113858.tif 000033
の演算子は、２つのベクトルのベクトル要素単位の乗算を表す。この乗算は、信号ｘｎ（ｊ−１）の振幅変調を表すものと考えることもできる。
【００４９】
より詳細には、遷移ベクトル
【数３２】
2019113858.tif 000034
の係数は、信号ベクトルｘｎ（ｊ−１）の対応する係数によって乗算され、ここで、ｈｎ（０）の値は、ｈｎ（０）＝ｇｎ（ｊ−２）であり、ｈｎ（Ｌ−１）の値は、ｈｎ（Ｌ−１）＝ｇｎ（ｊ−１）である。したがって、遷移関数は、図８の例に示されているように、利得値ｇｎ（ｊ−２）から利得値ｇｎ（ｊ−１）に連続的にフェードする。これは、遷移関数ｈｎ（ｊ）、ｈｎ（ｊ−１）、およびｈｎ（ｊ−２）からの利得値を示しており、この遷移関数は３つの連続するブロックに対する対応する信号ベクトルｘｎ（ｊ）、ｘｎ（ｊ−１）、およびｘｎ（ｊ−２）に対して適用される。ダウンストリームの知覚符号化に関して、利点は、ブロック境界で適用される利得が連続していることである。遷移関数ｈｎ（ｊ−１）は、ｘｎ（ｊ−１）の係数の利得をｇｎ（ｊ−２）からｇｎ（ｊ−１）に連続的にフェードさせる。
【００５０】
復号器または受信器側での適応的な非正規化処理が図６に示されている。入力値は、ＰＣＭ符号化され正規化された信号ｘ”ｎ（ｊ−１）、適切な冪指数en（ｊ−１）、およびすぐ前のブロックの利得値ｇｎ（ｊ−２）である。すぐ前のブロックの利得値ｇｎ（ｊ−２）は、再帰的に算出される。ここで、ｇｎ（ｊ−２）は、符号化器に使用されている所定の値によって初期化されなければならない。出力は、ステップ／ステージ６１からの利得値ｇｎ（ｊ−１）およびステップ／ステージ６２からの非正規化された信号
【数３３】
2019113858.tif 000035
である。
【００５１】
ステップまたはステージ６１において、冪指数を遷移関数に適用する。ｘｎ（ｊ−１）の値の範囲を復元するために、式（１１）は、受信した冪指数ｅｎ（ｊ−１）および再帰的に算出された利得ｇｎ（ｊ−２）から遷移ベクトルｈｎ（ｊ−１）を算出する。次のブロックの処理のための利得ｇｎ（ｊ−１）は、ｈｎ（Ｌ−１）に設定される。
【００５２】
ステップまたはステージ６２において、逆利得（利得の逆数）が適用される。正規化処理で適用された振幅変調は、
【数３４】
2019113858.tif 000036
によって逆処理される。ここで、
【数３５】
2019113858.tif 000037
であり、
【数３６】
2019113858.tif 000038
は、符号化器側または送信機側で使用されているベクトル要素単位の乗算である。ｘ’ｎ（ｊ−１）のサンプルは、ｘ”ｎ（ｊ−１）の入力ＰＣＭフォーマットによって表現することができず、非正規化は、例えば浮動小数点フォーマットのように、より広い値の範囲のフォーマットへの変換を必要とする。
【００５３】
副情報送信に関して、冪指数ｅｎ（ｊ−１）の送信に対して、同一の値の範囲の連続するブロックに対して、適用される正規化利得は一定となるだろうから、その確率が一様になると仮定することはできない。したがって、エントロピー符号化は、例えば、ハフマン符号化と同様に、必要なデータ・レートを減少させるために、冪指数値に適用することができる。
【００５４】
上記処理の１つの欠点は、利得値ｇｎ（ｊ−２）の再帰的な算出であろう。そのため、非正規化処理はＨＯＡストリームの最初からしか開始することができない。
【００５５】
この問題の１つの解決法は、ｇｎ（ｊ−２）を規則的に算出するための情報を提供するために、アクセス・ユニットをＨＯＡフォーマットに追加することである。この場合、アクセス・ユニットは、ｔ番目のブロック毎に
【数３７】
2019113858.tif 000039
が算出されて非正規化が開始されるように、ｔ番目のブロック毎に冪指数
【数３８】
2019113858.tif 000040
を提供しなければならない。
【００５６】
正規化された信号ｘ’ｎ（ｊ−１）の知覚符号化処理への影響は、ｈn（ｌ）の周波数応答
【数３９】
2019113858.tif 000041
の絶対値によって分析される。周波数応答は、式（１５）によって示されているような、ｈn（ｌ）の高速フーリエ変換（ＦＦＴ）によって定義される。
【００５７】
図７は、振幅変調によって導入されるスペクトル変形を明確にするために、マグニチュードが（０ｄＢに）正規化されたＦＦＴスペクトルＨn（ｕ）を示している。|Ｈn（ｕ）|の減衰は、小さな冪指数では比較的に急激であり、冪指数が大きくなるほど平坦になる。
【００５８】
時間領域におけるｈn（ｌ）によるｘｎ（ｊ−１）の振幅変調は、周波数領域におけるＨn（ｕ）による畳み込みと同等であるため、周波数応答Ｈn（ｕ）の急激な減衰により、ｘ’n（ｊ−１）のＦＦＴスペクトルの隣接するサブバンド間のクロストークが低減する。これは、ｘ’n（ｊ−１）の後続する知覚符号化処理に大いに関連がある。その理由は、サブバンド・クロストークが信号の推定された知覚的な特徴に影響を与えるからである。したがって、急激なＨｎ（ｕ）の減衰に対し、非正規化された信号ｘn（ｊ−１）に対してもまた、ｘ’n（ｊ−１）に対する知覚符号化処理の仮定が有効である。
【００５９】
これは、小さな冪指数に対して、ｘ’n（ｊ−１）の知覚符号化処理がほぼｘｎ（ｊ−１）の知覚符号化処理と同等であることと、さらに、正規化された信号の知覚符号化処理が、冪指数の大きさが小さい限り、非正規化された信号に対してほとんど影響を与えないことを示している。
【００６０】
本発明の処理は、送信側および受信側で単一のプロセッサまたは電子回路によって実行することができ、あるいは、並列に動作する、且つ／または、本発明の処理の複数の異なる部分に対して動作する、幾つかのプロセッサまたは電子回路によって実行することもできる。
【図１】
2019113858.tif 000042
【図２】
2019113858.tif 000043
【図３】
2019113858.tif 000044
【図４】
2019113858.tif 000045
【図５】
2019113858.tif 000046
【図６】
2019113858.tif 000047
【図７】
2019113858.tif 000048
【図８】
2019113858.tif 000049
【外国語明細書】
2019113858000001.pdf