(57)【要約】  本発明の基本的な概念は、パラメータ領域において、マルチチャネル信号に関する部分的に既知の空間共分散行列を外挿することである。外挿された共分散行列は、マルチチャネル信号の線形結合の推定値を効率的に生成するために、ダウンコーディングされたダウンミキシング信号と共に使用される。
2009531735.tif 000002
【特許請求の範囲】
【請求項１】
マルチチャネル・サラウンドオーディオ信号の任意の所定の線形結合を合成する方法であって、
前記任意の所定の線形結合の記述Ｈを受信するステップと、
前記マルチチャネル・サラウンドオーディオ信号のデコードされたダウンミキシング信号を受信するステップと、
前記マルチチャネル・オーディオ信号の相関とチャネルレベル差とを含む空間パラメータを受信するステップと、
前記マルチチャネル・オーディオ信号の相関とチャネルレベル差とを含む前記受信した空間パラメータに基づいて、部分的に既知の空間共分散を取得するステップと、
完全な空間共分散を取得するために、前記部分的に既知の空間共分散を外挿するステップと、
前記外挿された完全な空間共分散と、前記受信したデコードされたダウンミキシング信号と、前記任意の所定の線形結合の前記記述Ｈとに少なくとも基づいて、前記マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合の推定値を、忠実度の基準に従って形成するステップと、
前記マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合の前記推定値に基づいて、マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合を合成するステップと、
を備えることを特徴とする方法。
【請求項２】
前記形成するステップは、
前記マルチチャネル・サラウンドオーディオ信号の前記推定された線形結合と、前記マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合との間の、平均平方誤差を最小化することにより、Ｑを決定するステップと、
マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合の前記推定値を取得するために、Ｑに前記ダウンミキシング信号を乗じるステップと、
を更に備えることを特徴とする請求項１に記載の方法。
【請求項３】
前記形成するステップは、非相関信号の量を示す非相関信号形成Ｚを決定するステップを更に備えることを特徴とする請求項２に記載の方法。
【請求項４】
前記合成するステップは、エネルギー損失を補償するために、各周波数バンド及び各タイムスロットに対して、
2009531735.tif 000169
「非相関信号」を実行するステップを備えることを特徴とする請求項３に記載の方法。
【請求項５】
前記部分的に既知の共分散は、ダウンサンプリングされたタイムスロットｌにおいてダウンサンプリングされた周波数バンドｍに関して、外挿されることを特徴とする請求項４に記載の方法。
【請求項６】
前記部分的に既知の共分散は、ダウンサンプリングされたタイムスロットｌにおいてダウンサンプリングされた周波数バンドｍに関して、外挿されることを特徴とする請求項２又は３に記載の方法。
【請求項７】
時間領域において前記Ｑを内挿するステップと、
ダウンサンプリングされた周波数バンドｍをハイブリッドバンドｋにマッピングするステップと、
を更に備えることを特徴とする請求項５に記載の方法。
【請求項８】
時間領域において前記Ｚを内挿するステップと、
ダウンサンプリングされた周波数バンドｍをハイブリッドバンドｋにマッピングするステップと、
を更に備えることを特徴とする請求項６に記載の方法。
【請求項９】
前記外挿するステップは、外挿された相関量が所定の制約の下で共分散の行列式を最大化するように当該外挿された相関量を選択することにより、最大エントロピー原理を使用することによって、実行されることを特徴とする請求項１乃至８のいずれか１項に記載の方法。
【請求項１０】
移動端末のデコーダ内に実装されていることを特徴とする請求項１乃至９のいずれか１項に記載の方法。
【請求項１１】
マルチチャネル・サラウンドオーディオ信号の任意の所定の線形結合を合成する装置であって、
前記マルチチャネル・オーディオ信号の相関とチャネルレベル差とを含む受信した空間パラメータに基づいて、部分的に既知の空間共分散を取得する相関器と、
完全な空間共分散を取得するために、前記部分的に既知の空間共分散を外挿する外挿器と、
前記外挿された完全な空間共分散と、受信したデコードされたダウンミキシング信号と、前記任意の所定の線形結合を与える係数の記述を表現するＨとに少なくとも基づいて、前記マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合の推定値を、忠実度の基準に従って形成する推定器と、
前記マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合の前記推定値に基づいて、マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合を合成する合成器と、
を備えることを特徴とする装置。
【請求項１２】
前記推定器は、
前記マルチチャネル・サラウンドオーディオ信号の前記推定された線形結合と、前記マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合との間の、平均平方誤差を最小化することにより、Ｑを決定する手段と、
マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合の前記推定値を取得するために、Ｑに前記ダウンミキシング信号を乗じる手段と、
を更に備えることを特徴とする請求項１１に記載の装置。
【請求項１３】
前記推定器は、非相関信号の量を示す非相関信号形成Ｚを決定する手段を更に備えることを特徴とする請求項１２に記載の装置。
【請求項１４】
前記合成器は、エネルギー損失を補償するために、各周波数バンド及び各タイムスロットに対して、
2009531735.tif 000170
「非相関信号」を実行する手段を備えることを特徴とする請求項１３に記載の装置。
【請求項１５】
前記外挿器は、ダウンサンプリングされたタイムスロットｌにおいてダウンサンプリングされた周波数バンドｍに関して前記部分的に既知の共分散を外挿する手段を備えることを特徴とする請求項１４に記載の装置。
【請求項１６】
前記外挿器は、ダウンサンプリングされたタイムスロットｌにおいてダウンサンプリングされた周波数バンドｍに関して前記部分的に既知の共分散を外挿する手段を備えることを特徴とする請求項１２又は１３に記載の装置。
【請求項１７】
前記推定器は、時間領域において前記Ｑを内挿し、且つダウンサンプリングされた周波数バンドｍをハイブリッドバンドｋにマッピングする手段を更に備えることを特徴とする請求項１５に記載の装置。
【請求項１８】
前記推定器は、時間領域において前記Ｚを内挿し、且つダウンサンプリングされた周波数バンドｍをハイブリッドバンドｋにマッピングする手段を更に備えることを特徴とする請求項１６に記載の装置。
【請求項１９】
前記外挿器は、外挿された相関量が所定の制約の下で共分散の行列式を最大化するように当該外挿された相関量を選択することにより、最大エントロピー原理を使用することによって、前記外挿を実行する手段を備えることを特徴とする請求項１１乃至１８のいずれか１項に記載の装置。
【請求項２０】
移動端末のデコーダ内に実装されていることを特徴とする請求項１１乃至１９のいずれか１項に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチチャネル・サラウンドオーディオのビットストリームのデコードに関する。本発明は特に、信号デコードのために空間共分散行列の外挿を使用する方法及び装置に関する。
【背景技術】
【０００２】
世界中の映画館では長らく、マルチチャネル・サラウンドオーディオシステムによって、映画の観客は上映されている映画の場面のオーディオ空間の中心に置かれてきた。そして、現実感があり説得力のある「臨場感」が映画の観客に与えられている。このオーディオ技術は、ホーム・サラウンドサウンド・シアターシステムとして一般人の家庭に導入されてきており、今日では、一般人のリビングルームにおいて彼らに「臨場感」をもたらしている。
【０００３】
この技術が使用されるであろう次の分野には、移動無線ユニット又は移動無線端末、特に、セルラ電話、ＭＰ３プレーヤ（類似する音楽プレーヤを含む）、及びＰＤＡ（携帯情報端末）が含まれる。ここでは、画面が小さいので、サラウンドサウンドのリアルな性質はずっと重要である。しかしながら、この技術を移動端末に導入することは些細なことではない。主要な障害には次に挙げるものが含まれる。
【０００４】
−  多くの場合、特に無線移動チャネルにおいては、利用可能なビットレートが低い
−  移動端末の処理能力はかなり限られている
−  小さな移動端末は一般的に、２つのマイクロスピーカと、イヤプラグ又はヘッドフォンとを有するのみである
【０００５】
このことは、特にセルラ電話などの移動端末にとっては、例えばドルビーデジタル５．１システムにおいて使用されている３８４ｋｂｉｔ／ｓｅｃと比べて、移動端末上でのサラウンドサウンドのソリューションではずっと低いビットレートを使用しなければならないということを意味する。処理能力が限られていることが原因で、移動端末のデコーダはコンピュータにとって最適化されていなければならないし、移動端末のスピーカ構成が原因で、サラウンドサウンドはイヤプラグ又はヘッドフォンを介して伝達されざるを得ない。
【０００６】
ヘッドフォン又はイヤプラグを介してマルチチャネル・サラウンドサウンドを伝達する標準的な方法は、マルチチャネル・サラウンドサウンドに対して３Ｄオーディオレンダリング又はバイノーラルレンダリングを実行することである。
【０００７】
一般的に、３Ｄオーディオレンダリングにおいては、オーディオシーンのモデルが使用され、各々の入力モノラル信号は、ヒトの頭、胴、及び耳によってなされる変換をモデル化したフィルタセットを介してフィルタリングされる。これらのフィルタはhead related filters（ＨＲＦ）と呼ばれ、頭部に関連する(head related)伝達関数（ＨＲＴＦ）を持ち、適切に設計されれば、良好な３Ｄオーディオシーンの知覚をもたらす。
【０００８】
図１は、マルチチャネル５．１オーディオ信号に対して完全な３Ｄオーディオレンダリングを行う方法を示す。６つのマルチチャネル信号は、サラウンド・ライト（ＳＲ）、ライト（Ｒ）、センター（Ｃ）、低周波要素（ＬＦＥ）、レフト（Ｌ）、及びサラウンド・レフト（ＳＬ）である。
【０００９】
図１に示す例では、センターの信号と低周波信号とが１つの信号に結合されている。従って、このＨＲＦの方法を実装するためには、
2009531735.tif 000003
、
2009531735.tif 000004
、
2009531735.tif 000005
、
2009531735.tif 000006
、
2009531735.tif 000007
と記述される５つの異なるフィルタが必要である。ＳＲ信号はフィルタ
2009531735.tif 000008
及び
2009531735.tif 000009
に入力され、Ｒ信号はフィルタ
2009531735.tif 000010
及び
2009531735.tif 000011
に入力され、Ｃ信号及びＬＦＥ信号はまとめてフィルタ
2009531735.tif 000012
に入力され、Ｌ信号はフィルタ
2009531735.tif 000013
及び
2009531735.tif 000014
に入力され、ＳＬ信号はフィルタ
2009531735.tif 000015
及び
2009531735.tif 000016
に入力される。フィルタ
2009531735.tif 000017
、
2009531735.tif 000018
、
2009531735.tif 000019
、
2009531735.tif 000020
、及び
2009531735.tif 000021
から出力される信号は、右合計要素１Ｒにおいて合計され、不図示の右側ヘッドフォンに提供することを意図した信号をもたらす。フィルタ
2009531735.tif 000022
、
2009531735.tif 000023
、
2009531735.tif 000024
、
2009531735.tif 000025
、及び
2009531735.tif 000026
から出力される信号は、左合計要素１Ｌにおいて合計され、不図示の左側ヘッドフォンに提供することを意図した信号をもたらす。この場合、左右対称の頭部を想定しているので、左耳のためのフィルタと右耳のためのフィルタとは、相似することが想定される。
【００１０】
このようなレンダリングによる３Ｄの知覚に関する品質は、リスナーが聴いている時のリスナー自身の頭部関連フィルタリングを、ＨＲＦがどれくらい厳密にモデル化或いは表現しているかに依存する。従って、良好な或いは極めて良好な品質が望まれる場合、各リスナーに対してＨＲＦを適合或いはパーソナライズすることができれば有益であろう。この適合させてパーソナライズするステップには、知覚される３Ｄオーディオシーンの品質を精緻化するために、モデリング、計測、及び一般にユーザ依存のチューニングが含まれ得る。
【００１１】
現在の最高水準の標準化されたマルチチャネル・オーディオのコーデックは、受容できる品質を達成するために大量の帯域を必要とし、そのため、無線移動ストリーミングなどのサービスのためにそのようなコーデックを使用することが妨げられている。
【００１２】
例えば、ＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）マルチチャネル・コーデックと比べた場合にドルビーデジタル５．１（ＡＣ−３コーデック）は複雑性が極めて小さかったとしても、同様の品質をもたらすためにはずっと高いビットレート必要とする。今日に至るまで、ＡＡＣマルチチャネル・コーデックとＡＣ−３コーデックのいずれのコーデックも、計算上の複雑性とビットレートとに関する高い要求が原因で、無線移動の領域では使用に適さないままである。
【００１３】
バイノーラルのキュー・コーディング(cue coding)の原理に基づく新しいパラメトリック・マルチチャネル・コーデックが開発されてきた。最近標準化されたＭＰＥＧパラメトリック・ステレオツールは、ステレオサウンドのエンコードに関する低複雑性／高品質のパラメトリック技術の好例である。マルチチャネル・コーディングにパラメトリック・ステレオを拡張することが、ＭＰＥＧにおいてＳｐａｔｉａｌ  Ａｕｄｉｏコーディングの名の下で、現在標準化が行われており、これはＭＰＥＧサラウンドとしても知られている。
【００１４】
パラメトリック・マルチチャネル・コーディングの背景にある原理は、一般的な事例を示した図２のブロック図により説明して理解することができる。
【００１５】
マルチチャネル・パラメトリック・サラウンドエンコーダとも呼ばれるパラメトリック・サラウンドエンコーダ３は、別個の信号
2009531735.tif 000027
から
2009531735.tif 000028
までを含むマルチチャネル・オーディオ信号を受信する。ここで、Ｎは、入力チャネルの数である。エンコーダ３は次に、ダウンミキシングユニット５において、個別のダウンミキシング信号
2009531735.tif 000029
から
2009531735.tif 000030
までを含むダウンミキシング信号を形成する。ダウンミキシングチャネルの数Ｍ＜Ｎは、望まれるビットレートと、品質と、Ｍチャネル・オーディオエンコーダ７の可用性とに依存する。エンコード処理に関する１つの重要な側面は、典型的にはステレオ信号であるがモノラル信号でも構わないダウンミキシング信号が、マルチチャネル・入力信号から導出されることであり、元のマルチチャネル信号ではなくこのダウンミキシング信号が、無線チャネル１１を介した伝送のためにオーディオエンコーダ７において圧縮される。加えて、パラメトリック・サラウンドエンコーダは、空間パラメータ推定ユニット９も含む。空間パラメータ推定ユニット９は、入力信号
2009531735.tif 000031
から
2009531735.tif 000032
から、例えばチャネル間のレベル差や時間差やコヒーレンスといった空間キュー或いは空間パラメータを算出する。Ｍチャネルオーディオエンコーダから出力される圧縮オーディオ信号（メイン信号）は、付帯情報を構成する空間パラメータと共に、ここの事例では典型的に移動端末であるものとする受信側へと送信される。
【００１６】
受信側では、パラメトリック・サラウンドデコーダ１３が、Ｍチャネル・オーディオデコーダ１５を含む。オーディオデコーダ１５は、
2009531735.tif 000033
から
2009531735.tif 000034
の符号化バージョンである
2009531735.tif 000035
から
2009531735.tif 000036
を生成する。これらは、空間パラメータと共に空間合成ユニット１７へと入力される。空間合成ユニット１７は、出力信号
2009531735.tif 000037
から
2009531735.tif 000038
を生成する。デコード処理は本質的にパラメトリックであるので、デコード信号
2009531735.tif 000039
から
2009531735.tif 000040
は必ずしも、元のマルチチャネル信号
2009531735.tif 000041
から
2009531735.tif 000042
に客観的に近いとは限らないが、マルチチャネル・オーディオシーンを主観的には忠実に再現するものである。
【００１７】
インタフェース１１を介する伝送チャネルの帯域（これは一般的に、比較的小さい）にもよるが、情報の損失が発生する場合があり、それゆえ、受信側での信号
2009531735.tif 000043
から
2009531735.tif 000044
と
2009531735.tif 000045
から
2009531735.tif 000046
とが送信側の対応するものと同じになれないということは、明らかである。これらの信号がその対応するものと完全には同等でないとしても、十分に良好な同等物であろう。
【００１８】
一般的に、そのようなサラウンド・エンコーディング処理は、図２のユニットエンコーダ７（コアエンコーダ）及びオーディオデコーダ１５（コアデコーダ）において使用される圧縮アルゴリズムから独立している。このコアエンコーディング処理は、例えばＡＭＲ−ＷＢ＋（拡張適応マルチレート・ワイドバンド）、ＭＰＥＧ−１レイヤＩＩＩ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、ＭＰＥＧ−４  ＡＡＣ、或いはＭＰＥＧ−４  Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  ＡＡＣなどの多数の高性能圧縮アルゴリズムのいずれをも使用することができ、ＰＣＭ（パルス符号変調）でさえ使用可能である。
【００１９】
一般的に、上述の作業はフーリエ変換などの変換信号領域において、一般的に時間と周波数とを分解して行われる。ユニット９及び１７における空間パラメータの推定及び合成が、オーディオエンコーダ７において使用されるものと同種の変換を使用する場合に、このことは特に有益である。
【００２０】
図３は、効率的なパラメトリック・オーディオエンコーダの詳細なブロック図である。
2009531735.tif 000047
というベクトル形式で記述されるＮチャネルの離散時間入力信号が、最初に、変換ユニット２１において周波数領域に変換されて信号
2009531735.tif 000048
がもたらされる。インデックスｋは、変換係数或いは周波数サブバンドのインデックスである。インデックスｍは、重複したフレームを通った可能性のある入力信号にも関係する、削減された時間領域のインデックスを表す。
【００２１】
信号はその後、ダウンミキシングユニット５においてダウンミキシングされ、Ｍチャネルのダウンミキシング信号
2009531735.tif 000049
が生成される。ここで、Ｍ＜Ｎである。一連の空間モデルパラメータベクトル
2009531735.tif 000050
が推定ユニット９において推定される。これは、開ループ方式でも閉ループ方式でも実行可能である。
【００２２】
空間パラメータは、サラウンドサウンド知覚を代表する心理音響学のキュー(cue)から構成される。例えば、これらのパラメータは、送信されるダウンミキシング信号
2009531735.tif 000051
（或いは、閉ループの場合はデコード信号
2009531735.tif 000052
）に関連するマルチチャネル・オーディオ信号の空間イメージを捕捉する、チャネル間のレベル差（ＩＬＤ）、チャネル間の時間差（ＩＴＤ）、及びチャネル間のコヒーレンス（ＩＣ）から構成される。キュー
2009531735.tif 000053
は、空間パラメータエンコーダ２５の前で信号
2009531735.tif 000054
を生成する空間パラメータ量子化ユニット２３などにおいて、極めてコンパクトな形式にエンコードすることができる。Ｍチャネルのオーディオエンコーダ７は、メインビットストリームを生成し、これはマルチプレクサ２７において、パラメータエンコーダによって生成された空間付帯情報と多重化される。マルチプレクサからは、多重化信号が受信側のデマルチプレクサ２９へと送信され、受信側では、付帯情報とメインビットストリームとが、図４のブロック図に見られるように復元される。
【００２３】
受信側では、メインビットストリームがデコードされ、受信された空間パラメータを使用して高品質なマルチチャネルの表現が合成される。メインビットストリームは最初にＭチャネルのオーディオデコーダ３１においてデコードされ、ここから、デコード信号
2009531735.tif 000055
が空間合成ユニット１７へと入力される。空間パラメータを保持する空間付帯情報がデマルチプレクサ２９によって抽出され、空間パラメータデコーダ３３に提供される。空間パラメータデコーダ３３は、デコードパラメータ
2009531735.tif 000056
を生成して合成ユニット１７へ送信する。空間合成ユニットは信号
2009531735.tif 000057
を生成し、これは、信号の周波数対時間の変換ユニット３５に提供され、信号
2009531735.tif 000058
、即ちマルチチャネル・デコード信号が生成される。
【００２４】
マルチチャネル・サラウンドサウンドについてのパーソナライズされた３Ｄオーディオレンダリングは、例えば図４を参照して上述したマルチチャネル・デコーダを使用して最初に複数のサラウンドサウンド・チャネルを取得する効率的なパラメトリック・サラウンドデコーダを使用することにより、移動端末のユーザへと伝達可能である。その後、バイノーラルの３Ｄオーディオレンダリングされたマルチチャネル信号を合成するために図１に示すシステムが使用される。この動作を図５の概略図に示す。
【００２５】
サブバンド領域において空間フィルタリング或いは３Ｄオーディオフィルタリングを実行する作業も行われている。C.A. Lanciani, and R. W. Schafer, "Application of Head-related Transfer Functions to MPEG Audio Signals", Proc. 31st Symposium on System Theory, March 21-23, 1999, Auburn, AL, U.S.A.は、サブバンド領域においてＨＲフィルタリング動作を実行することによってＭＰＥＧ符号化されたモノラル信号をどのようにして空間化することができるかを開示している。A. B. Touimi, M. Emerit and J. M. Pernaux, "Efficient Method for Multiple Compressed Audio Streams Spatialization," Proc. 3rd International Conference on Mobile and Ubiquitous Multimedia, pp. 229-235, October 27-29, 2004, College Park, Maryland, U.S.A.は、スババンド領域において頭部関連（ＨＲ）フィルタリングを行うことによって個別にＭＰＥＧ符号化された多数のモノラル信号をどのようにして空間化することができるかを開示している。このソリューションはＨＲフィルタの空間的実装に基づいており、全てのＨＲフィルタは、いくつかの事前定義された基準フィルタの線形結合としてモデル化されている。
【００２６】
３Ｄオーディオレンダリングのアプリケーションは多様であり、おしゃべり(gamming)、３ＧＰＰ  ＭＢＭＳやＤＶＢ−Ｈなどの標準を使用したモバイルＴＶショー、音楽コンサートの鑑賞、映画の視聴、及び、概してマルチチャネル・オーディオコンポーネントを含むマルチメディアサービスが含まれる。
【００２７】
マルチチャネル・サラウンドサウンドをレンダリングする上述の方法は、無線移動ユニットに対して完全に新しいサービスセットを提供することを可能にするので魅力的であるが、多くの欠点を有する。
【００２８】
第１に、デコードと３Ｄレンダリングとを並行してリアルタイムに実行しなければならないので、そのようなレンダリングに関する計算上の要件は極めて高い。パラメトリック・マルチチャネル・デコーダの複雑性は、全波形マルチチャネル・デコーダと比べれば低いかもしれないが、依然として極めて高く、少なくとも単純なステレオデコーダよりも高い。空間デコーディングの合成ステージは、エンコードチャネルの数に少なくとも比例する複雑性を有する。加えて、３Ｄレンダリングのフィルタリング動作も、チャネルの数に比例する。
【００２９】
第２の欠点は、中間デコードチャネルを格納するために必要とされるテンポラリメモリに関する。３Ｄレンダリングの第２のステージで必要なので、これらのチャネルは実際にバッファリングされる。
【００３０】
最後に、主要な欠点のうちの１つは、チャネル間の相関がキャンセルされるかもしれないという事実が原因で、そのような３Ｄオーディオレンダリングの品質が極めて限定されたものとなり得ることである。チャネル間の相関は、パラメトリック・マルチチャネル・コーディングが信号を合成する方法に起因して、不可欠なものである。
【００３１】
ＭＰＥＧサラウンドでは、例えば、相関（ＩＣＣ）及びチャネルレベル差（ＣＬＤ）は、チャネルのペアの間でしか推定されない。ＩＣＣパラメータ及びＣＬＤパラメータは、エンコードされてデコーダへと送信される。デコーダでは、受信したパラメータは、１つの５−１−５構成（本例では、５−１−５１構成）について図７に描写するような合成ツリーにおいて使用される。図６は、５−１−５１パラメータ化を有するサラウンドシステムの構成を示す。図６から、５−１−５１構成におけるＣＬＤパラメータ及びＩＣＣパラメータがチャネルのペアの間でのみ推定されることが見られる。
【００３２】
相関（ＩＣＣ）及びチャネルレベル差（ＣＬＤ）がチャネルのペアの間でしか推定されないことが原因で、１つ１つの相関全てが得られる訳ではない。その結果、例えば３Ｄレンダリングとして、個別のチャネルの操作や再利用が妨げられる。事実、例えばＲＦ及びＲＳという２つの非コーディングチャネルに例えば相関が無く、５−１−５１構成を使用してこれらをエンコードする場合、これらの相関に対する制御を行うことができない。というのも、相関はそれ自体としてはデコーダへ送信されることはなく、ツリーの第２レベルでの相関のみが提供されるからである。デコーダ側では、これは２つの相関のあるデコードチャネルという結果に到る。事実デコーダは、ある個別のチャネル間の相関にアクセスできないし、制御することもできない。これらのチャネルは別々の第３レベルのボックスに属する。図６の例では、これらは全て、別々のスピーカ分類に属するチャネルのペアである。このことは図７においても見られる。チャネルのペアは、５−１−５１構成において別々の第３レベルのツリーボックス（ＯＴＴ３，ＯＴＴ４，ＯＴＴ２）に属するものである。スピーカの環境において聴く場合にはこれは問題ではないかもしれない。しかしながら、３Ｄレンダリングにおけるようにチャネルが一緒に結合される場合には、これは問題となって、望まれざるチャネルのキャンセルや過剰な増幅を招来する可能性がある。
【発明の開示】
【課題を解決するための手段】
【００３３】
本発明の目的は、パラメトリック・マルチチャネル・デコーダにおける、所与のチャネルに関する望まれざるチャネルのキャンセル及び／又は(and/or)望まれざる増幅の可能性に関する欠点を克服することである。このことは、全チャネルの完全な共分散行列に到るために部分的に既知の共分散を外挿することによりデコードマルチチャネル信号の任意の線形結合をレンダリングし、外挿された共分散に基づいて、任意の線形結合の推定値を合成することにより、達成される。
【００３４】
本発明の第１の態様によれば、マルチチャネル・サラウンドオーディオ信号の任意の所定の線形結合を合成する方法が提供される。本方法は、前記任意の所定の線形結合の記述Ｈを受信するステップと、前記マルチチャネル・サラウンドオーディオ信号のデコードされたダウンミキシング信号を受信するステップと、前記マルチチャネル・オーディオ信号の相関とチャネルレベル差とを含む空間パラメータを受信するステップと、前記マルチチャネル・オーディオ信号の相関とチャネルレベル差とを含む前記受信した空間パラメータに基づいて、部分的に既知の空間共分散を取得するステップと、完全な空間共分散を取得するために、前記部分的に既知の空間共分散を外挿するステップと、前記外挿された完全な空間共分散と、前記受信したデコードされたダウンミキシング信号と、前記任意の所定の線形結合の前記記述とに少なくとも基づいて、前記マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合の推定値を、忠実度の基準に従って形成するステップと、前記マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合の前記推定値に基づいて、マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合を合成するステップと、を備える。
【００３５】
本発明の第２の態様によれば、マルチチャネル・サラウンドオーディオ信号の任意の所定の線形結合を合成する装置が提供される。本装置は、前記マルチチャネル・オーディオ信号の相関とチャネルレベル差とを含む受信した空間パラメータに基づいて、部分的に既知の空間共分散を取得する相関器と、完全な空間共分散を取得するために、前記部分的に既知の空間共分散を外挿する外挿器と、前記外挿された完全な空間共分散と、受信したデコードされたダウンミキシング信号と、前記任意の所定の線形結合を与える係数の記述とに少なくとも基づいて、前記マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合の推定値を、忠実度の基準に従って形成する推定器と、前記マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合の前記推定値に基づいて、マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合を合成する合成器と、を備える。
【００３６】
従って、本発明は、パラメトリック・エンコーダによってエンコードされたサラウンドサウンドを移動デバイスにおいてレンダリングする単純で効率的な方法を可能にする。その利点には、直接マルチチャネル信号に対して３Ｄレンダリングを使用することによって得られるものに比べて、複雑性が緩和されること、及び、品質が向上することが含まれる。
【００３７】
特に、本発明は、マルチチャネル・サラウンドサウンドに関する任意のバイノーラルのデコードを可能にする。
【００３８】
更なる利点は、作業が周波数領域において行われるために、システムの複雑性が緩和されることである。
【００３９】
更なる利点は、信号のデコーディングステップにおいて出力が直接得られるので、信号のサンプルをバッファリングする必要が無いことである。
【発明を実施するための最良の形態】
【００４０】
本発明の基本的な概念は、受信した空間パラメータに基づいてマルチチャネル・サラウンドサウンドの部分的に既知の空間共分散を取得し、取得した部分的に既知の空間共分散を外挿して完全な空間共分散を取得することである。そして、忠実度の基準に従って、マルチチャネル・サラウンドサウンドオーディオ信号に関する所定の任意の線形結合が、少なくとも外挿された完全な空間共分散と、受信したデコードダウンミキシング信号ｍと、所定の任意の線形結合の記述Ｈとに基づいて推定され、その推定に基づいてマルチチャネル・サラウンドオーディオ信号の所定の線形結合を合成することが可能になる。マルチチャネル・サラウンドオーディオ信号の所定の任意の線形結合は、例えば頭部関連フィルタリングやバイノーラルフィルタリングなどのマルチチャネル信号のフィルタリングの、概念上の表現となり得る。それは、反響などの他の音響効果も表現可能である。
【００４１】
従って、本発明は、デコーダのための方法とデコーダのための装置とに関する。この装置が図１０ａに示されており、相関器９０２ａと、外挿器９０２ｂと、推定器９０３と、合成器９０４とを備える。相関器９０２ａは、マルチチャネル・サラウンドオーディオ信号の相関（ＩＣＣ）とチャネルレベル差（ＣＬＤ）とを含む受信した空間パラメータ９０１に基づいて、部分的に既知の空間共分散行列９１１を取得するように構成される。外挿器９０２ｂは、適切な外挿方法を使用して、完全な空間共分散行列を取得するために部分的に既知の空間共分散行列を外挿するように構成される。更に、推定器９０３は、受信したデコードダウンミキシング信号と、所定の任意の線形結合の記述を表現する係数である行列
2009531735.tif 000059
と組み合わせて、外挿した完全な共分散行列９１２を使用することにより、忠実度の基準に従って、マルチチャネル・サラウンドオーディオ信号の線形結合９１３を推定するように構成される。最後に、合成器９０４は、マルチチャネル・サラウンドオーディオ信号の線形結合に関する前記推定９１３に基づいて、マルチチャネル・サラウンドオーディオ信号の線形結合９１４を合成するように構成される。
【００４２】
ＭＰＥＧサラウンドデコーダに関連して、本発明の好適な実施形態を説明する。なお、ＭＰＥＧサラウンドデコーダを参照して本発明の好適な実施形態を説明するが、他のパラメトリックデコーダやパラメトリックシステムもまた本発明に関連した使用に適しているであろうことを理解されたい。
【００４３】
本発明の本質から逸脱せずに単純化するために、図７に示す５−１−５１ＭＰＥＧサラウンド構成を考える。この構成は、接続された複数のＯＴＴ（ｏｎｅ−ｔｏ−ｔｗｏ）ボックスを備える。チャネルレベル差（ＣＬＤ）及び相関（ＩＣＣ）と呼ばれる空間パラメータに関する、ｒｅｓのような付帯情報が、ＯＴＴボックスに入力される。ｍは、マルチチャネル信号のダウンミキシング信号である。
【００４４】
マルチチャネル信号の合成は、ハイブリッド周波数領域において行われる。この周波数分割は、ヒトの耳の時間−周波数分析をある程度真似ることを意図しており、非線形である。
【００４５】
以下、全てのハイブリッド・サブバンドにはｋというインデックスが付けられ、全てのタイムスロットにはｎというインデックスが付けられる。ビットレートの要件を低くするために、ＭＰＥＧサラウンド空間パラメータは、パラメータ・タイムスロットｌと呼ばれるダウンサンプリング・タイムスロットと、処理バンドｍと呼ばれるダウンサンプリング・ハイブリッド周波数領域とに関してのみ、定義される。ｎとｌとの間の関係、及びｍとｋとの間の関係を、図８に示す。このように、周波数バンドｍ０は周波数バンドｋ０及びｋ１を含み、周波数バンドｍ１は周波数バンドｋ２及びｋ３を含む。また、タイムスロットｌは、タイムスロットｎをダウンサンプリングしたバージョンである。ＣＬＤパラメータ及びＩＣＣパラメータはそれゆえ、そのパラメータ・タイムスロット及び処理バンドにとって有効である。全ての処理パラメータが、全ての処理バンドについて算出され、続いて、全てのハイブリッドバンドにマッピングされる。その後、全ての処理パラメータが、パラメータ・タイムスロットから全てのタイムスロットｎへと内挿される。
【００４６】
図７に示すデコーダのＯＴＴボックスは、図９ａに示すように視覚化することができる。
【００４７】
この図解に基づけば、任意のＯＴＴボックスに関する出力は、２つの元のチャネル
2009531735.tif 000060
及び
2009531735.tif 000061
の間の相関を復元して２つの推定チャネル
2009531735.tif 000062
及び
2009531735.tif 000063
にすることを意図したものである。
【００４８】
エンコーダにおいて行われる推定パートの検査によって、このことをより良く理解することができるであろう。図９ｂに示すように、エンコーダは、ＯＴＴボックスを逆にしたものであるＲ−ＯＴＴボックスを含む。Ｒ−ＯＴＴボックスは、ステレオ信号を変換して、モノラル信号と、これに組み合わされる、各入力信号間の空間キューを表現するパラメータ抽出とにする。これらのＲ−ＯＴＴボックスそれぞれへの入力信号は、元のチャネル
2009531735.tif 000064
及び
2009531735.tif 000065
である。各Ｒ−ＯＴＴボックスは、次式に示すように、入力信号に関して対応する時間／周波数のタイルの電力の割合を算出する（これは、「Ｃｈａｎｎｅｌ  Ｌｅｖｅｌ  Ｄｉｆｆｅｒｅｎｃｅ」又はＣＬＤと記述される）。
2009531735.tif 000066
【００４９】
そして、各Ｒ−ＯＴＴボックスは、次式の相互相関で示されるように、入力信号に関して対応する時間／周波数のタイルの同様の尺度を算出する（これは、「Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ  Ｃｏｒｒｅｌａｔｉｏｎ」又はＩＣＣと記述される）。
2009531735.tif 000067
【００５０】
加えて、Ｒ−ＯＴＴボックスは、下記のようにモノラル信号を生成する。
2009531735.tif 000068
【００５１】
ここで、ｇ０，ｇ１は適切なゲインである。ｇ０＝ｇ１＝１／２であれば、モノラル信号が生成される。他の選択肢は、ｇ０，ｇ１を次のように選択することである。
2009531735.tif 000069
これは次式を使用して実現される。
2009531735.tif 000070
【００５２】
以下、上の式が成立して、Ｒ−ＯＴＴｘボックスの出力エネルギーが入力エネルギーの合計に等しいものとする。
【００５３】
Ｒ−ＯＴＴボックスに入力されるあらゆる２つのチャネル間の相関（ＩＣＣ）及びチャネルレベル差（ＣＬＤ）は、量子符号化されてデコーダへと送信される。
【００５４】
本発明のこの実施形態は、空間共分散行列を構築するために、各（Ｒ）−ＯＴＴボックスに対応するＣＬＤ及びＩＣＣを使用するが、相関及びチャネルレベル差に関する他の尺度を使用してもよい。
【００５５】
その結果、あらゆる２つのチャネル間の共分散行列は、下記のようになる。
2009531735.tif 000071
【００５６】
ＭＰＥＧサラウンドデコーダでは実数の相関のみを利用可能なので、一般性を失うことなく、実数の相関行列を仮定することができる。それゆえ、ＯＴＴボックスの各出力チャネル（これはＲ−ＯＴＴボックスへの入力である）は、下記の共分散行列を持つものとして示すことができる。
2009531735.tif 000072
【００５７】
ここで、
2009531735.tif 000073
はＯＴＴｘボックスの入力エネルギー（或いは、Ｒ−ＯＴＴｘボックスの出力エネルギー）を意味し、方程式の右手側の第２項は表記を単純化するために示されている。
【００５８】
ＯＴＴ３及びＯＴＴ４の出力に対応するチャネルベクトルが
2009531735.tif 000074
のように示される場合、これらの表記に従い、５−１−５１ＭＰＥＧサラウンドの事例における空間共分散行列は、ブロック行列で記述可能であり、その行列は以下に示すように部分的に未知である。
2009531735.tif 000075
【００５９】
未知の２ｘ２行列を「？」で示している。従って、空間パラメータＣＬＤ及びＩＣＣに基づいて、部分的に既知の空間共分散行列を取得することができる。
【００６０】
更に、ＯＴＴ３及びＯＴＴ４の入力は相互に関連し、共分散行列
2009531735.tif 000076
によって表現される。この場合、以下の通り、両方のエネルギー、即ち
2009531735.tif 000077
及び
2009531735.tif 000078
を関連付けるのは容易である。
2009531735.tif 000079
【００６１】
それゆえ、最初の４つのチャネルに関する共分散行列は、次のように記述することができる。
2009531735.tif 000080
【００６２】
ＭＰＥＧサラウンドの標準では、ρ４＝ＩＣＣ４の値は存在せず、１に等しいものとして概念的に仮定される。即ち、センターとＬＦＥとは、倍率の係数を除けば同一である。しかしながら、汎用的な開発を行うために、この仮定は行わないものとする。
【００６３】
最後の行列方程式は、多数の未知の空間チャネル間相関が存在するということを示す。即ち、
2009531735.tif 000081
，
2009531735.tif 000082
，
2009531735.tif 000083
，
2009531735.tif 000084
であるが、ＯＴＴ３及びＯＴＴ４への２つの入力の相互相関は、ＩＣＣ１＝ρ１に等しい。そうであるならば、先の行列方程式に従えば、次式のようになる。
2009531735.tif 000085
【００６４】
従って、失われている量が次式を満足しなければならないということが即座に理解できよう。
2009531735.tif 000086
【００６５】
この制約単独では全ての失われた空間変数を決定することができないということも明らかである。
【００６６】
個別のチャネルを更に操作するために、本発明のこの実施形態は、この相関合計の制約を維持したまま、失われた相関量を外挿する。なお、そのような行列を外挿することは、結果として得られる外挿行列が対称的で符号が正に定まるようなものでなければならない。これは事実、共分散行列として受容できるあらゆる行列に対する必要条件である。
【００６７】
完全な共分散行列を取得するために部分的に既知の共分散行列を外挿するために、いくつかの技術を文献から使用することができる。ある方法やその他の方法を使用することは、本発明の範囲内である。
【００６８】
好適な実施形態によれば、外挿法として最大エントロピー原理を使用する。このことは容易な実装につながり、オーディオ品質という点で極めて良好な性能を示す。
【００６９】
従って、外挿される相関量は、共分散行列の行列式を最大化するように、即ち次式のように、選択される。
2009531735.tif 000087
これは、下記の制約の下でのものである。
2009531735.tif 000088
【００７０】
これは凸最適化問題であり、閉形式解(closed form solution)が存在する。表記を単純化するために、汎用共分散行列のためのソリューションを導入する。
2009531735.tif 000089
【００７１】
最初に、Γの行列式を最大化することは、下記の行列の行列式を最大化することと同等でもあるということに注意されたい。
2009531735.tif 000090
【００７２】
これはまた、センターチャネル（Ｃ及びＬＦＥ）及びフロントチャネル（ＦＬ及びＦＲ）から取得される、モノラルチャネル及びサイドチャネルの共分散行列を評価することとも同等であり、即ち次式の通りである。
2009531735.tif 000091
【００７３】
ここで明らかなように、行列Γに関する制約は容易に次式のように変換される。
2009531735.tif 000092
【００７４】
残りの未知の相関は
2009531735.tif 000093
，及び
2009531735.tif 000094
であり、
2009531735.tif 000095
は、Γ’の行列式の最大化を用いて外挿され、算出ステップは極めて煩雑であるが、その結果は最終的に極めて単純であり、下記の閉形式の式になる。
2009531735.tif 000096
【００７５】
これらの量はそれゆえ、入手可能なデータから極めて容易に外挿可能である。最後に、完全な外挿された共分散行列Γについて、以下のように単純な行列乗算が必要である。
2009531735.tif 000097
【００７６】
これらのステップは、更なる２つのチャネル、即ちＬＳ及びＲＳの全体の共分散行列を外挿するためにも適用される。次式のように、全体が外挿された共分散行列が導かれる。
2009531735.tif 000098
【００７７】
同じアプローチを用いることにより、即ち複数のチャネルを仮想的なモノラルチャネルとサイドチャネルとに変換することにより、外挿される共分散行列のための閉形式の式を導出することは極めて容易である。
【００７８】
ここまでで提案してきたのは、チャネル［ｌｆ  ｒｆ  ｃ  ｌｆｅ］に関する部分的な共分散行列を最初に外挿してから全チャネルの全体の共分散行列を外挿するという、２ステップのアプローチである。しかしながら、全体の不完全な共分散行列を算出してから全ての相関を全体的に外挿するという、他のアプローチもあるだろう。この２つのアプローチは、概念的には同等である。しかしながら、２番目のアプローチはより効果的である。というのも、前者は２ステップのアプローチを暗示する一方で、２番目のアプローチは全ての可能性のある相関を全体的に外挿するからである。
【００７９】
両方のアプローチは実装に関して類似しており、最大エントロピー（即ち、行列式の最大化）のアプローチに基づいている。
【００８０】
なお、全ての量は時間と周波数の両方に依存する。明瞭化のためにインデックスを付けることは省略した。時間のインデックスは、パラメータ・タイムスロットｌに対応し、周波数のインデックスは処理バンドのインデックスｍに対応する。最後に、結果として得られる全ての相関は、
2009531735.tif 000099
によって表現されるモノラルのダウンミキシング信号のエネルギーに対して相対的に定義されるであろうということを指摘しておく。このことは事実、
2009531735.tif 000100
という項が存在することが原因で、あらゆるＯＴＴｘボックスに対して成立する。
【００８１】
以下、モノラルのダウンミキシングエネルギーの表記を単純化するために、正規化された外挿された共分散行列を以下のように定義する。
2009531735.tif 000101
【００８２】
外挿された共分散行列に基づいて任意のチャネルを推定して合成することを以下に説明する。
【００８３】
元のチャネルの所定の任意の線形結合として定義される任意のチャネルが、例えば以下のようにデコード／合成されるものとする。
2009531735.tif 000102
【００８４】
ここで、行列
2009531735.tif 000103
は、所定の任意の線形結合の記述を表現する係数の行列を示し、
2009531735.tif 000104
は、望まれる線形結合、即ち望まれる出力信号である。先行技術に示される技術では、デコーダの出力の単純な線形結合として
2009531735.tif 000105
を直接算出することになろう。即ち、周波数領域において行列
2009531735.tif 000106
をデコードチャネル
2009531735.tif 000107
に適用することになろう。形式上、これは以下のように記述されるであろう。
2009531735.tif 000108
【００８５】
これは、出力に関する品質を制限し、望まれないチャネルの相関を引き起こしたり、可能性として望まれないチャネルのキャンセルを引き起こしたりすることになろう。
【００８６】
前述したように、各Ｒ−ＯＴＴボックスの出力は線形結合をもたらす。それゆえ、ダウンミキシング信号が実際に全てのチャネルの線形結合であるということは容易に理解できる。
【００８７】
2009531735.tif 000109
と記述されるダウンミキシング信号はそれゆえ、次式のように記述できる。
2009531735.tif 000110
【００８８】
係数である
2009531735.tif 000111
行列は既知であり、受信したＣＬＤｘパラメータにのみ依存する。単一のチャネルのダウンミキシングの場合、即ちダウンミキシング信号がモノラルのみの信号から構成される場合、行列
2009531735.tif 000112
は、上の方程式に示すように実際に行ベクトルである。従って、この問題は最小平均平方問題の観点で述べることもできるし、或いは一般的には、加重最小平均平方問題として述べることもできる。
【００８９】
モノラルのダウンミキシング信号
2009531735.tif 000113
を考えると、チャネル
2009531735.tif 000114
の線形推定は、次式のようにすることができる。
2009531735.tif 000115
【００９０】
ここで、
2009531735.tif 000116
は、本事例ではモノラルチャネル
2009531735.tif 000117
であるダウンミキシングチャネルに適用された場合などに最適化される必要のある行列であり、元の線形結合である
2009531735.tif 000118
で得られたものにできるだけ近い結果をもたらさなければならない。
【００９１】
その目標はそれゆえ、何らかの忠実度の基準（本事例では平均平方誤差基準）に関して誤差
2009531735.tif 000119
を最小化することである。このことは、次式を最小化することにつながる。
2009531735.tif 000120
【００９２】
この行列が静的であると仮定すれば、即ち、平均化の演算子からこの行列を除外できると仮定すれば、この問題に対する平均平方解は
2009531735.tif 000121
に関して容易に解くことができ、次式の結果になる。
2009531735.tif 000122
【００９３】
行列
2009531735.tif 000123
は、チャネルの共分散行列を示す。即ち、次式の通りである。
2009531735.tif 000124
【００９４】
これは、前述したように、デコーダでは入手できないかもしれないが、先に述べた技法に従って外挿される。ここでは、共分散行列を複素数として示す。しかしながら、実数の相関のみが使用されるので、その結果は実数の共分散行列についても依然として有効であることを容易に示すことができる。
【００９５】
ここまでで示してきたのは、全てのハイブリッド・サブバンドｋと全てのタイムスロットｎとについて最小平均平方が推定されるということである。ある程度の数のタイムスロットについて平均平方の推定値を算出して、これを全てのタイムスロットに拡張するために外挿を用いれば、実際に、かなりの量の複雑性を減少させることができる。例えば、パラメータのために使用されるものと同じタイムスロットに対して推定値をマッピングすること、即ち、パラメータ・タイムスロットのインデックスｌに対してのみ共分散行列を算出することは、有益である。複雑性の緩和に関する同様の技法は、パラメータ・バンドのインデックスｍに対してのみ算出される平均平方推定値をマッピングすることによって使用することもできる。しかしながら、これは一般的には、時間のインデックスに対してするほどは直接的でない。というのも、行列
2009531735.tif 000125
の動きを効率的に表現するためには、ある程度の量の周波数分解能が必要とされるであろうからである。以下、サブサンプリングされたパラメータ領域、即ち、ｌ，ｍについて考える。
【００９６】
既に前述したように、共分散行列
2009531735.tif 000126
は、モノラルのダウンミキシング信号、即ち
2009531735.tif 000127
のエネルギーに対して相対的に既知であるに過ぎない。この制約のために、全てのｌ，ｍについて
2009531735.tif 000128
であることを容易に示すことができる。最小平均平方推定値はそれゆえ、次式のように記述できる。
2009531735.tif 000129
【００９７】
なお、
2009531735.tif 000130
は、デコーダで入手可能な既知の量にのみ依存する。実際、
2009531735.tif 000131
は外部入力であり、望まれる線形結合を記述する行列である一方、
2009531735.tif 000132
及び
2009531735.tif 000133
は、受信したビットストリームに含まれる空間パラメータから導出される。
【００９８】
最小平方推定値はその性質上、エネルギー損失を発生させるものであり、これは合成チャネルの品質に悪影響を与える可能性がある。エネルギー損失は、デコード信号に適用されるモデルと本当の信号との間の不適合に起因する。最小平方の技術用語では、これは雑音部分空間と呼ばれる。空間聴覚においては、この用語は、拡散音場と呼ばれる。即ち、マルチチャネル信号の一部が無相関(uncorrelated)であるか拡散している。これを回避するために、雑音部分空間及び拡散音場を満たしてそれによって望まれる信号に心理音響学的に近似する推定信号を取得するために、多数の非相関信号(decorrelated signals)が使用される。
【００９９】
最小平均平方の直交性質が原因で、望まれる信号のエネルギーは次式のように表現できる。
2009531735.tif 000134
【０１００】
従って、ｌ，ｍ領域における誤差に関する正規化された共分散行列は、次式のように表現できる。
2009531735.tif 000135
【０１０１】
望まれる信号
2009531735.tif 000136
と同じ心理音響学的性質を持つ推定信号
2009531735.tif 000137
を生成するために、
2009531735.tif 000138
から独立した誤差信号が生成される。誤差信号は、本当の誤差信号である
2009531735.tif 000139
の共分散行列に近い共分散行列を持たなければならず、更に、平均平方推定値
2009531735.tif 000140
とは無相関でなければならない。
【０１０２】
2009531735.tif 000141
と記述される人工的な誤差信号が次いで、平均平方誤差推定値に加算され、最終的な推定値である
2009531735.tif 000142
が形成される。
【０１０３】
誤差信号に近似する信号を生成する１つの方法は、モノラルのダウンミキシング信号に対して適用される非相関の使用を介するものである。これにより、誤差信号が平均平方推定値とは無相関になることが保証される。というのも、
2009531735.tif 000143
はモノラルのダウンミキシング信号に直接依存するからである。しかしながら、それ自体では不十分であり、非相関は、その共分散行列が本当の誤差信号である
2009531735.tif 000144
の相関に適合するように空間的に形成されている必要がある。
【０１０４】
これを行う単純な方法は、生成された非相関信号がそれら自体の間でも無相関なようにし、
2009531735.tif 000145
と呼ばれる相関形成行列を適用することである。
2009531735.tif 000146
が非相関のベクトル出力を記述するものであれば、形成行列
2009531735.tif 000147
は次式を満足しなければならない。
2009531735.tif 000148
【０１０５】
しかしながら、
2009531735.tif 000149
は正規化された共分散行列としてのみ定義されているので、（モノラルのダウンミキシング信号のエネルギーと相対的に）非相関は、モノラルのダウンミキシングエネルギーの共分散行列に対して相対的に定義された共分散行列も持たなければならない。
【０１０６】
先行技術に従えば、これを確かにする単純な方法は、全通過フィルタリング非相関を使用することであり、こうして、（モノラルの信号エネルギーに関して）正規化された、
2009531735.tif 000150
と記述される共分散行列、即ち、単位行列が導出され、形成行列
2009531735.tif 000151
を適用する。
【０１０７】
2009531735.tif 000152
の単純なコレスキー（Ｃｈｏｌｅｓｋｙ）分解が適切な行列
2009531735.tif 000153
を生成できるということが、容易に理解できる。もちろん、他の分解も可能であり、例えば、正規化された誤差共分散行列のアイゲンベクトル(Eigen-vectors)及びアイゲン値を使用することができる。加えて、パラメータ領域、即ちｌ，ｍにおいてのみ
2009531735.tif 000154
を評価することにより、利点が得られる。
【０１０８】
最後に、全体の合成は次式のように記述することができる。
2009531735.tif 000155
【０１０９】
ここで、行列
2009531735.tif 000156
は、時間領域（即ち、ｌからｎ）において行列
2009531735.tif 000157
を外挿して、サブバンド・パラメータバンドをハイブリッドバンド（即ち、ｍからｋ）にマッピングすることにより、得られる。
【０１１０】
そして同様に、行列
2009531735.tif 000158
は、次式によって定義される行列
2009531735.tif 000159
を外挿してマッピングすることにより、得られる。
2009531735.tif 000160
【０１１１】
図１０ｂは、上述した本発明の実施形態に従って任意のチャネルを合成するために使用される装置を要約して示す。参照符号は、図１０ａのそれに対応する。本実施形態において、推定器９０３は、マルチチャネル・サラウンドオーディオ信号の推定線形結合とマルチチャネル・サラウンドオーディオ信号の任意の所定の線形結合との間の平均平方誤差（即ち、
2009531735.tif 000161
）を最小化することによって行列Ｑを決定するように構成された、ユニット９０５を備える。なお、マルチチャネル・サラウンドサウンド信号の任意の所定の線形結合にアクセス可能である必要は無く、マルチチャネル・サラウンドサウンド信号の線形結合の推定値を形成するためには、元のマルチチャネル信号の共分散行列に関する知識があれば十分である。後者のものは、部分的に既知の共分散行列を形成して、最大エントロピー原理などの原理を用いてこれを外挿することを通して、受信したビットストリームから得られる。
【０１１２】
また、推定器９０３は、マルチチャネル・サラウンドオーディオ信号の線形結合の推定値９１３を取得するために、
2009531735.tif 000162
にダウンミキシング信号を乗ずるように構成された更なるユニット９０７を備える。推定器９０３は、非相関信号の量を示す非相関信号形成行列
2009531735.tif 000163
を決定するように適合されたユニット９０５を更に備える。本実施形態では、合成器９０４は、９０８，９０９で
2009531735.tif 000164
を算出し、次いで
2009531735.tif 000165
を算出することにより、線形結合を合成するように構成される。ここで、
2009531735.tif 000166
は、各周波数バンド及び各タイムスロットのためにエネルギー損失を補償するための「非相関信号」である。更に、本装置は、内挿及びマッピングのユニット９０６も備える。このユニットは、時間領域において行列
2009531735.tif 000167
を内挿し、ダウンサンプリングされた周波数バンドｍをハイブリッドバンドｋにマッピングし、時間領域において行列
2009531735.tif 000168
を内挿し、ダウンサンプリングされた周波数バンドｍをハイブリッドバンドｋにマッピングするように構成可能である。外挿器９０２ｂは、上述したように、外挿相関量が所定の条件下で共分散行列の行列式を最大化するように外挿相関量を選択することによって、最大エントロピー原理を使用することができる。
【０１１３】
ここで図１１に移ると、図１１は、本発明の実施形態のフローチャートを示す。本方法は、以下のステップを備える。
【０１１４】
１０００．  任意の所定の線形結合の記述Ｈを受信する。
【０１１５】
１００１．  マルチチャネル・サラウンドオーディオ信号のデコードダウンミキシング信号を受信する。
【０１１６】
１００２．  マルチチャネル・オーディオ信号の相関とチャネルレベル差とを含む空間パラメータを受信する。
【０１１７】
１００３．  受信した、マルチチャネル・オーディオ信号の相関とチャネルレベル差とを含む空間パラメータに基づいて、部分的に既知の空間共分散行列を取得する。
【０１１８】
１００４．  部分的に既知の空間共分散行列を外挿して、完全な空間共分散行列を取得する。
【０１１９】
１００５．  外挿された完全な空間共分散行列と、受信したデコードダウンミキシング信号と、任意の所定の線形結合の前記記述とに少なくとも基づいて、マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合の推定値を、忠実度の基準に従って形成する。
【０１２０】
１００６．  マルチチャネル・サラウンドオーディオ信号の任意の所定の線形結合の前記推定値に基づいて、マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合を合成する。
【０１２１】
ステップ１００５は下記のステップを更に備えてもよい。
【０１２２】
１００５ａ．  マルチチャネル・サラウンドオーディオ信号の推定線形結合と、マルチチャネル・サラウンドオーディオ信号の任意の所定の線形結合との間の、平均平方誤差を最小化することにより、行列Ｑを決定する。
【０１２３】
１００５ｂ．  Ｑにダウンミキシング信号を乗じて、マルチチャネル・サラウンドオーディオ信号の任意の所定の線形結合の推定値を取得する。
【０１２４】
１００５ｃ．  非相関信号の量を示す非相関信号形成行列Ｚを決定する。
【０１２５】
１００５ｄ．  時間領域においてＱ及びＺを内挿する。
【０１２６】
１００５ｅ．  ダウンサンプリング周波数バンドｍをハイブリッドバンドｋにマッピングする。
【０１２７】
本方法は、移動端末のデコーダ内に実装することができる。
【０１２８】
本発明は、上述した好適な実施形態に限定されない。多様な代替例、変形例、及び均等物を使用することができる。それゆえ、上述の実施形態は、本発明の範囲を限定するものとして捉えられてはならない。本発明の範囲は、添付の請求の範囲によって規定される。
【０１２９】
＜略語＞
ＡＡＣ          Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ
ＡＭＲ−ＷＢ＋  拡張適応マルチレート・ワイドバンド
Ｃ              センター
ＣＬＤ          チャネルレベル差
ＨＲ            頭部関連
ＨＲＦ          頭部関連フィルタ
ＨＲＴＦ        頭部関連伝達関数
ＩＣ            チャネル間コヒーレンス
ＩＣＣ          相関
ＩＬＤ          チャネル間レベル差
ＩＴＤ          チャネル間時間差
Ｌ              レフト
ＬＦＥ          低周波要素
ＭＰＥＧ        Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ
ＯＴＴ          Ｏｎｅ−ｔｏ−ｔｗｏ
ＰＣＭ          パルス符号変調
ＰＤＡ          携帯情報端末
Ｒ              ライト
Ｒ−ＯＴＴ      Ｒｅｖｅｒｓｅｄ  ｏｎｅ−ｔｏ−ｔｗｏ
ＳＬ            サラウンド・レフト
ＳＲ            サラウンド・ライト
【図面の簡単な説明】
【０１３０】
【図１】５．１オーディオ信号についての可能な３Ｄオーディオレンダリング又はバイノーラルレンダリングを示すブロック図である。
【図２】パラメトリック・マルチチャネル・コーディングシステム及びパラメトリック・マルチチャネル・デコーディングシステムの原理に関する高レベルの説明図である。
【図３】パラメトリック・マルチチャネル・オーディオエンコーダの詳細な説明図である。
【図４】パラメトリック・マルチチャネル・オーディオデコーダの詳細な説明図である。
【図５】デコードされたマルチチャネル信号の３Ｄレンダリングを示す図である。
【図６】５−１−５１構成のための空間オーディオ処理のパラメータによる表示である。
【図７】５−１−５１構成のための空間オーディオ処理のツリー構造表示である。
【図８】サブバンドｋとハイブリッド・サブバンドｍとの間の関係と、タイムスロットｎとダウンサンプリング・タイムスロットｌとの間の関係とを示す図である。
【図９ａ】図７に示すＯＴＴボックスを示す図である。
【図９ｂ】対応するＲ−ＯＴＴボックスを示す図である。
【図１０ａ】本発明に従う装置を示す図である。
【図１０ｂ】本発明の実施形態を示す図である。
【図１１】本発明の実施形態に従う方法を示すフローチャートである。
【図１】
2009531735.tif 000171
【図２】
2009531735.tif 000172
【図３】
2009531735.tif 000173
【図４】
2009531735.tif 000174
【図５】
2009531735.tif 000175
【図６】
2009531735.tif 000176
【図７】
2009531735.tif 000177
【図８】
2009531735.tif 000178
【図９ａ】
2009531735.tif 000179
【図９ｂ】
2009531735.tif 000180
【図１０ａ】
2009531735.tif 000181
【図１０ｂ】
2009531735.tif 000182
【図１１】
2009531735.tif 000183
【国際調査報告】
2009531735.tif 000184
2009531735.tif 000185
2009531735.tif 000186
2009531735.tif 000187
2009531735.tif 000188