(57)【特許請求の範囲】
【請求項１】
復号化端で利用可能なチャンネル設定を認識し、認識されたチャンネル設定を利用して、マルチチャンネル信号の生成のために使用できるOTTモジュールを決定するステップと、
第１マトリックスと第２マトリックスを空間情報を用いて生成するステップと、
符号化端でマルチチャンネルからダウンミックスされた信号から、各非相関器に入力される信号と前記第２マトリックスに入力されるダイレクト信号を前記第１マトリックスを用いて生成するステップと、
前記各非相関器に入力される信号を非相関化するステップと、
前記ダイレクト信号と前記非相関化された信号を前記第２マトリックスを用いてミックスする処理により前記マルチチャンネル信号を生成するステップと
を含み、前記ミックスする処理は前記決定されたOTTモジュールを使用して実行されるマルチチャンネル復号化方法。
【請求項２】
前記非相関化するステップは、QMFドメインで行われる、ことを特徴とする請求項１記載のマルチチャンネル復号化方法。
【請求項３】
請求項１または2記載のマルチチャンネル復号化方法をコンピュータに実行させるための命令を含むプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項４】
復号化端で利用可能なチャンネル設定を認識し、認識されたチャンネル設定を利用して, マルチチャンネル信号の生成のために使用できるOTTモジュールを決定する手段と、
第１マトリックスと第２マトリックスを空間情報を用いて生成する手段と、
符号化端でマルチチャンネルからダウンミックスされた信号から、各非相関器に入力される信号と前記第２マトリックスに入力されるダイレクト信号を前記第１マトリックスを用いて生成する手段と、
前記各非相関器に入力される信号を非相関化する非相関化部と、
前記ダイレクト信号と前記非相関化された信号を前記第２マトリックスを用いてミックスする処理により前記マルチチャンネル信号を生成する手段と
を備え、前記ミックスする処理は前記決定されたOTTモジュールを使用して実行されるマルチチャンネル復号化装置。
【請求項５】
前記非相関化部は、QMFドメインで行われる、ことを特徴とする請求項4記載のマルチチャンネル復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一実施形態は、オーディオコーディングに係り、特にマルチチャンネルにオーディオ信号を符号化／復号化するサラウンドオーディオコーディングに関する。
【背景技術】
【０００２】
一般的に、マルチチャンネルオーディオコーディングには、ウェーブフォームマルチチャンネルオーディオコーディング及びパラメトリックマルチチャンネルオーディオコーディングがある。ウェーブフォームマルチチャンネルオーディオコーディングには、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−２  ＭＣオーディオコーディング、ＡＡＣ  ＭＣオーディオコーディング及びＢＳＡＣ／ＡＶＳ  ＭＣオーディオコーディングなどがあり、５個のチャンネル信号を入力として５個のチャンネル信号に出力する。パラメトリックマルチチャンネルオーディオコーディングは、ＭＰＥＧサラウンドコーディングがあり、一つまたは二つの入力チャンネルを６個または８個のマルチチャンネルに出力する。
【０００３】
ここで、ＭＰＥＧサラウンドコーディングは、図１Ａに示した５−１−５の１ツリー構造と、図１Ｂに示した５−１−５の２ツリー構造とを利用することによって、マルチチャンネルに信号を復号化することによってアップミキシングして出力する。かかるツリー構造は、モノ信号を入力されてＯＴＴ（１−ｔｏ−２）モジュールの組み合わせで処理してＦＬ（Ｆｒｏｎｔ  Ｌｅｆｔ）、ＦＲ（Ｆｒｏｎｔ  Ｒｉｇｈｔ）、Ｃ（Ｃｅｎｔｅｒ）、ＬＦＥ（Ｌｏｗ  Ｆｒｅｑｕｅｎｃｙ  Ｅｎｈａｎｃｅｍｅｎｔ）、ＢＬ（Ｂａｃｋ  Ｌｅｆｔ）及びＢＲ（Ｂａｃｋ  Ｒｉｇｈｔ）に該当するマルチチャンネルに出力する。
【０００４】
図１ＡのＯＴＴ０モジュールから出力される信号を見れば、５−１−５の１ツリー構造では、ＦＬ，ＦＲ，Ｃ及びＬＦＥがミックスされた信号、ＢＬ及びＢＲがミックスされた信号として出力される。そして、図１ＢのＯＴＴ０モジュールから出力される信号を見れば、５−１−５の２ツリー構造では、ＦＬ，ＢＬ，ＦＲ及びＢＲがミックスされた信号、Ｃ及びＬＦＥがミックスされた信号として出力される。しかし、図１Ａに示した５−１−５の１ツリー構造及び図１Ｂに示した５−１−５の２ツリー構造に設けられたＯＴＴ０モジュールの出力端でプルーニングを行う場合、ＯＴＴ０モジュールは、前方チャンネル及び後方チャンネルと関連して最初にアップミキシングするので、左側チャンネル及び右側チャンネルに対して音質が低下するという問題点を有する。
【０００５】
これにより、後述する本発明の実施形態は、かかる問題点を克服するための実施形態である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする課題は、左側チャンネル及び右側チャンネルを最後にダウンミキシングして符号化し、左側チャンネル及び右側チャンネルを優先的にアップミキシングして復号化するマルチチャンネル符号化／復号化方法及びシステムを提供するところにある。
【課題を解決するための手段】
【０００７】
本発明のその他の側面及び利点は、以下の明細書で明細書の内容それ自体あるいは本発明の実行により理解される。
【０００８】
前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化方法は、符号化端でマルチチャンネルからダウンミックスされた信号を利用し、空間情報に基づいて非相関器に入力する信号を生成するステップと、前記生成された信号を非相関器に入力して非相関化するステップと、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングするステップと、を含み、前記空間情報は、左側チャンネルと右側チャンネルとの間の情報を含む。
【０００９】
前記課題を解決するために、定義されたチャンネルからなるマルチチャンネル信号を入力され、入力されたマルチチャンネル信号を復号化する本発明の一実施形態によるマルチチャンネル復号化方法は、ダウンミックスされた信号を利用し、空間情報に基づいて非相関器に入力する信号を生成するステップと、前記生成された信号を非相関器に入力して非相関化するステップと、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングするステップと、を含み、前記空間情報は、前記定義されたチャンネルのうち少なくとも一つを復号化するための個別情報を含む。
【００１０】
前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化方法は、符号化端でマルチチャンネルからダウンミックスされた信号を入力されて、空間情報を利用して非相関器に入力する信号を生成するステップと、前記生成された信号を非相関器に入力して非相関化するステップと、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングするステップと、を含み、前記空間情報は、左側チャンネルと右側チャンネルとの間のＣＬＤ（Ｃｈａｎｎｅｌ  Ｌｅｖｅｌ  Ｄｉｆｆｅｒｅｎｃｅ）またはＩＣＣ（Ｉｎｔｅｒ  Ｃｈａｎｎｅｌ  Ｃｏｒｒｅｌａｔｉｏｎ）を含む。
【００１１】
前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化方法は、符号化端でマルチチャンネルからダウンミックスされた信号を入力されて、空間情報を利用して非相関器に入力する信号を生成するステップと、前記生成された信号を非相関器に入力して非相関化するステップと、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングするステップと、を含み、前記空間情報は、前記ダウンミックスされた信号を入力されて、左側チャンネル及び右側チャンネルにアップミキシングするモジュールで利用される空間情報を含む。
【００１２】
前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化方法は、符号化端でマルチチャンネルからダウンミックスされた信号を入力されて、空間情報を利用して非相関器に入力する信号を生成するステップと、前記生成された信号を非相関器に入力して非相関化するステップと、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングするステップと、を含み、前記空間情報は、前記ダウンミックスされた信号を左側チャンネル及び右側チャンネルに優先してアップミキシングする空間情報を含む。
【００１３】
前記課題を解決するために、前記方法は、コンピュータで実行されるコンピュータプログラムで具現されてコンピュータで読み取り可能な記録媒体に保存されうる。
【００１４】
前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化システムは、符号化端でマルチチャンネルからダウンミックスされた信号を利用し、空間情報に基づいて非相関器に入力する信号を生成する前マトリックス適用部と、前記各生成された信号を非相関器に入力して非相関化する非相関部と、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関された信号とをミキシングする後マトリックス適用部と、を備え、前記空間情報は、左側チャンネルと右側チャンネルとの間の情報を含む。
【００１５】
前記課題を解決するために、定義されたチャンネルからなるマルチチャンネル信号を入力され、入力されたマルチチャンネル信号を復号化する本発明の一実施形態によるマルチチャンネル復号化システムは、ダウンミックスされた信号を利用し、空間情報に基づいて非相関器に入力する信号を生成する前マトリックス適用部と、前記生成された信号を非相関器に入力して非相関化する非相関部と、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングする後マトリックス適用部と、を備え、前記空間情報は、前記定義されたチャンネルのうち少なくとも一つを復号化するための個別情報を含む。
【００１６】
前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化システムは、符号化端でマルチチャンネルからダウンミックスされた信号を入力されて、空間情報を利用して非相関器に入力する信号を生成する前マトリックス適用部と、前記各生成された信号を非相関器に入力して非相関する非相関部と、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングする後マトリックス適用部と、を備え、前記空間情報は、左側チャンネルと右側チャンネルとの間のＣＬＤまたはＩＣＣを含む。
【００１７】
前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化システムは、符号化端でマルチチャンネルからダウンミックスされた信号を入力されて、空間情報を利用して非相関器に入力する信号を生成する前マトリックス適用部と、前記各生成された信号を非相関器に入力して非相関化する非相関部と、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングする後マトリックス適用部と、を備え、前記空間情報は、前記ダウンミックスされた信号を入力されて、左側チャンネル及び右側チャンネルにアップミキシングするモジュールで利用される空間情報を含む。
【００１８】
前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化システムは、符号化端でマルチチャンネルからダウンミックスされた信号を入力されて、空間情報を利用して非相関器に入力する信号を生成するステップと、前記生成された信号を非相関器に入力して非相関化するステップと、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングするステップと、を含み、前記空間情報は、前記ダウンミックスされた信号を左側チャンネル及び右側チャンネルに優先してアップミキシングする空間情報を含む。
【００１９】
前記課題を解決するために、本発明の一実施形態によるマルチチャンネル符号化方法は、マルチチャンネル信号から左側チャンネル及び右側チャンネルを最後にダウンミキシングするステップと、前記ダウンミキシングされた信号の空間情報を抽出するステップと、前記ダウンミキシングされた信号及び前記抽出された空間情報を含むビットストリームを生成するステップと、を含む。
【００２０】
前記課題を解決するために、本発明の一実施形態によるマルチチャンネル符号化システムは、マルチチャンネル信号から左側チャンネル及び右側チャンネルを最後にダウンミキシングするダウンミキシング部と、前記ダウンミックスされた信号の空間情報を抽出する情報抽出部と、前記ダウンミックスされた信号及び前記抽出された空間情報を含むビットストリームを生成するビットストリーム生成部と、を備える。
【図面の簡単な説明】
【００２１】
【図１Ａ】ＭＰＥＧサラウンドの５−１−５の１ツリー構造を示す図である。
【図１Ｂ】ＭＰＥＧサラウンドの５−１−５の２ツリー構造を示す図である。
【図２】本発明の一実施形態によるマルチチャンネル復号化方法の一実施形態を示すフローチャートである。
【図３】本発明の一実施形態によるマルチチャンネル復号化システムの一実施形態を示すブロック図である。
【図４】本発明の一実施形態によるマルチチャンネル復号化方法及びシステムで適用する５−１−５の３ツリー構造を示す図である。
【図５】本発明の一実施形態によるマルチチャンネル復号化方法及びシステムで入力される信号と出力される信号との数学的関係を示す概念図である。
【図６】本発明の一実施形態によるマルチチャンネル符号化方法の一実施形態を示すフローチャートである。
【図７】本発明の一実施形態によるマルチチャンネル符号化システムの一実施形態を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、添付された図面を参照して、本発明によるマルチチャンネル復号化及び符号化方法及びシステムについて詳細に説明する。図面内の識別番号は、その識別番号が表す構成要素を指す。本発明を説明するための実施形態を、図面を参照して後述する。
【００２３】
図２は、本発明によるマルチチャンネル復号化方法の一実施形態を示すフローチャートである。以下では、復号化過程は、図４に示したように、まず、入力されたダウンミックスされたＬ（Ｌｅｆｔ）チャンネル信号とＲ（Ｒｉｇｈｔ）チャンネル信号とをアップミックスし、次いで、Ｌ，Ｒ，Ｃチャンネル信号それぞれをアップミックスするための第１レベル／ステップＯＴＴ０（１−ｔｏ−２）モジュール及びＴＴＴ０（２−ｔｏ−３）モジュールのために述べられることである。かかる復号化過程と共に、入力されたダウンミックスされた信号の選択的なアップミキシング／復号化が可能である。
【００２４】
これにより、まず、符号化端から伝送されたサラウンドビットストリームを分析して、空間情報及び付加情報を抽出する（ステップ２００）。
【００２５】
ステップ２００で抽出された空間情報を利用して、低ビット率で空間情報が急激に変化することを防止するために選択的に空間情報をスムージングする（ステップ２０３）。
【００２６】
ステップ２０３後に、既存のマトリックスサラウンド方式と互換性を維持するために、追加的なチャンネル別に利得値を計算し、プリベクトルを計算し、復号化端でエクスターナルダウンミックスを使用する場合、チャンネル別に利得値を補償するための変数を抽出することによって、行列Ｒ１を生成する（ステップ２０６）。ステップ２０６で生成された行列Ｒ１は、非相関部３４０に設けられた非相関器に入力するための信号を生成するのに使われる行列である。ステップ２０６で行列Ｒ１を生成するにおいて、空間情報を利用する。ここで、利用される空間情報は、ＬチャンネルとＲチャンネルとの間のＣＬＤまたはＩＣＣのようなＬチャンネルとＲチャンネルとの差に関する情報または連関に関する情報を含む。例えば、符号化端でダウンミックスされた信号をＬチャンネル及びＲチャンネルに入力して、図４の４００に設けられたＯＴＴ０モジュールで利用される空間情報をいう。Ｌチャンネル及びＲチャンネルが復号化されるときのみ、空間情報は、ＬチャンネルとＲチャンネルとの間の個別的なＣＬＤまたはＩＣＣのみを含む。
【００２７】
ステップ２０６では、図４のＴＴＴ０モジュールのモードによってＲ１を異なって生成する。例えば、ＴＴＴ０モジュールのモードを表す変数として、ＭＰＥＧサラウンドでは、次の表に示した関係を有するｂｓＴｔｔＭｏｄｅＬｏｗを利用する。
【００２８】
【表１】
0005563647.tif 000002
ここで、ｂｓＴｔｔＭｏｄｅＬｏｗ（０）が‘２’より小さい場合、次の式（１）に記載された行列Ｒ１を生成する。
【００２９】
【数１】
0005563647.tif 000003
ｂｓＴｔｔＭｏｄｅＬｏｗ（０）が‘３’である場合、次の式（２）に記載された行列Ｒ１を生成する。
【００３０】
【数２】
0005563647.tif 000004
ｂｓＴｔｔＭｏｄｅＬｏｗ（０）が‘５’である場合、次の式（３）に記載された行列Ｒ１を生成する。
【００３１】
【数３】
0005563647.tif 000005
ステップ２０６で生成された行列Ｒ１に対して補間を行って、行列Ｍ１を生成する（ステップ２０８）。
【００３２】
非相関化された信号とダイレクト信号とをミックスするのに使われる行列Ｒ２を、次に記載された式（４）を利用して生成する（ステップ２１０）。ステップ２１０で行列Ｒ２を生成するに当って、空間情報を利用する。ここで、利用される空間情報は、ＬチャンネルとＲチャンネルとの間のＣＬＤまたはＩＣＣのようなＬチャンネルとＲチャンネルとの差に関する情報または連関に関する情報を含む。例えば、符号化端でダウンミックスされた信号をＬチャンネル及びＲチャンネルに復号化してアップミキシングする図４の４００に設けられたＯＴＴ０モジュールで利用される空間情報をいう。
【００３３】
【数４】
0005563647.tif 000006
ステップ２１０で生成された行列Ｒ２に対して補間を行って、行列Ｍ２を生成する（ステップ２１３）。
【００３４】
符号化端でマルチチャンネルからダウンミックスされた信号と元信号との差をＡＣＣで符号化して、レシデュアルコーディングされた信号を復号化する（ステップ２１６）。
【００３５】
ステップ２１６で復号化されたＭＤＣＴ（Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）係数をＱＭＦ（Ｑｕａｄｒａｔｕｒｅ  Ｍｉｒｒｏｒ  Ｆｉｌｔｅｒ）ドメインに変換する（ステップ２１８）。
【００３６】
ステップ２１８で出力された信号に対して、フレーム間のオーバーラップアドを行う（ステップ２２０）。
【００３７】
低周波帯域信号がＱＭＦフィルタバンクにより周波数分解能が不足するので、追加的なフィルタリングを通じて周波数分解能を高める（ステップ２２３）。
【００３８】
復号化端に設けられたチャンネルまたはスピーカの設定を認識する（ステップ２３０）。ここで、チャンネルまたはスピーカの設定は、復号化端に備えられたスピーカの個数、復号化端に備えられたスピーカのうち動作可能なスピーカの位置、符号化端で符号化されたチャンネルのうち、復号化端に設けられたマルチチャンネルで利用できるチャンネルの情報などをいう。例えば、入力されたダウンミックスされた信号の復号化をどのように選択的に決定するかにおいて、他の付加的な実施形態も同一に可能である。
【００３９】
ステップ２３０で認識された設定を利用して、復号化するレベルの数を計算する（ステップ２３３）。
【００４０】
ＱＭＦハイブリッドアナリシスフィルタバンクを利用して、入力信号を周波数バンド別に分解する（ステップ２３６）。
【００４１】
行列Ｍ１を利用して、ダイレクト信号及び非相関器に入力する信号を生成する（ステップ２３８）。ステップ２３８では、ＯＴＴ０に対応してＬチャンネル及びＲチャンネルを非相関する非相関器Ｄ０ＯＴＴに入力する信号、ＴＴＴ０に対応してＬチャンネル、Ｒチャンネル及びＣチャンネルを非相関化する非相関器Ｄ０ＴＴＴに入力する信号、ＯＴＴ２に対応してＦＬチャンネル及びＢＬチャンネルを非相関化する非相関器Ｄ２ＯＴＴに入力する信号、ＦＲチャンネル及びＢＲチャンネルを非相関化する非相関器Ｄ３ＯＴＴに入力する信号を生成する。また、ステップ２３８では、ステップ２３３で計算された復号化するレベルの数によって復号化するレベルの数を調節することによって、スケーラブルアップミキシングして復号化可能にする。
【００４２】
ステップ２３８で生成された非相関器に入力する信号に対して非相関器で非相関化を行うことによって、空間感を有するように再構成する（ステップ２４０）。
【００４３】
非相関器Ｄ０ＯＴＴは、ＯＴＴ０に対応してＬチャンネル及びＲチャンネルを非相関化し、非相関器Ｄ０ＴＴＴは、ＴＴＴ０に対応してＬチャンネル、Ｒチャンネル及びＣタチャンネルを非相関化し、非相関器Ｄ２ＯＴＴは、ＯＴＴ２に対応してＦＲチャンネル及びＢＲチャンネルを非相関化し、非相関器Ｄ３ＯＴＴは、ＯＴＴ３に対応してＦＬチャンネル及びＢＬチャンネルを非相関化する。
【００４４】
ステップ２４０で非相関化された信号及びステップ２３８で生成されたダイレクト信号に対して、それぞれステップ２１３で生成された行列Ｍ２を適用する（ステップ２４３）。ここで、ステップ２４３では、ステップ２３３で計算された復号化するレベルの数によって復号化するレベルの数を調節することによって、スケーラブルアップミキシングして復号化可能にする。
【００４５】
ステップ２４３で、行列Ｍ２が適用された信号にＴＥＳ（Ｔｅｍｐｏｒａｌ  Ｅｎｖｅｌｏｐｅ  Ｓｈａｐｉｎｇ）を適用する（ステップ２４６）。
【００４６】
ステップ２４６で、ＴＥＳが適用された信号にＱＭＦハイブリッド合成フィルタバンクを利用して時間ドメインに変換する（ステップ２４８）。
【００４７】
ステップ２４８で変換された信号にＴＰ（Ｔｅｍｐｏｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ）を適用する（ステップ２５０）。
【００４８】
ここで、ステップ２４３及びステップ２５０は、アプローズのようにテンポラール構造が重要な信号の音質を向上させるためのものであって、選択的に利用でき、必須的に適用すべきものではない。
【００４９】
ダイレクト信号と非相関化された信号とをミックスする（ステップ２５３）。
【００５０】
図２では、５．１チャンネルについての一実施形態のみを示したが、当業者ならば、５．１チャンネルに限定して実施されないということが分かる。本発明によるマルチチャンネル復号化方法を、符号化端でダウンミックスされた信号を優先的にＬチャンネル及びＲチャンネルにアップミキシングするあらゆるマルチチャンネルに対して実施できる。
【００５１】
図３は、本発明によるマルチチャンネル復号化システムの一実施形態を示すブロック図である。
【００５２】
ビットストリームデコーダ３００は、サラウンドビットストリームを分析して空間情報及び付加情報を抽出する。
【００５３】
スムージング部３０２は、低ビット率で空間情報が急激に変化することを防止するために選択的に空間情報をスムージングする。
【００５４】
マトリックスコンポーネント計算部３０４は、既存のマトリックスサラウンド方式と互換性を維持するために追加的なチャンネル別に利得値を計算する。
【００５５】
前ベクトル計算部３０６は、プリベクトルを計算する。
【００５６】
アービトラリーダウンミックス利得値抽出部３０８は、復号化器でエクスターナルダウンミックスを使用する場合、チャンネル別に利得値を補償するための変数を抽出する。
【００５７】
マトリックス生成部３１２は、マトリックスコンポーネント計算部３０４、前ベクトル計算部３０６及びアービトラリーダウンミックス利得値抽出部３０８で出力される結果を利用して行列Ｒ１を生成する。マトリックス生成部３１２で行列Ｒ１を生成するに当って、空間情報を利用する。ここで、利用される空間情報は、ＬチャンネルとＲチャンネルとの間のＣＬＤまたはＩＣＣのようなＬチャンネルとＲチャンネルとの差に関する情報または連関に関する情報を含む。例えば、符号化端でダウンミックスされた信号をＬチャンネル及びＲチャンネルに復号化してアップミキシングする図４の４００に設けられたＯＴＴ０モジュールで利用される空間情報をいう。
【００５８】
ここで、マトリックス生成部３１２は、図４のＴＴＴ０モジュールのモードによってＲ１を異なって生成する。例えば、ＴＴＴ０モジュールのモードを表す変数として、ＭＰＥＧサラウンドでは、前記表１に示した関係を有するｂｓＴｔｔＭｏｄｅＬｏｗを利用する。
【００５９】
ここで、ｂｓＴｔｔＭｏｄｅＬｏｗ（０）が‘２’より小さい場合、前記式（１）に記載された行列Ｒ１を生成する。
【００６０】
ｂｓＴｔｔＭｏｄｅＬｏｗ（０）が‘３’である場合、前記式（２）に記載された行列Ｒ１を生成する。
【００６１】
ｂｓＴｔｔＭｏｄｅＬｏｗ（０）が‘５’である場合、前記式（３）に記載された行列Ｒ１を生成する。
【００６２】
したがって、補間処理部３１４は、マトリックス生成部３１２で生成された行列Ｒ１に対して補間を行って、行列Ｍ１を生成する。
【００６３】
ミックスベクトル計算部３１０は、非相関部３４０で非相関化された信号とダイレクト信号とをミックスするための行列Ｒ２を生成する。ミックスベクトル計算部３１０で行列Ｒ２を生成するに当って、空間情報を利用する。ここで、利用される空間情報は、ＬチャンネルとＲチャンネルとの間のＣＬＤまたはＩＣＣのようなＬチャンネルとＲチャンネルとの差に関する情報または連関に関する情報を含む。例えば、符号化端でダウンミックスされた信号をＬチャンネル及びＲチャンネルに復号化してアップミキシングする図４の４００に設けられたＯＴＴ０モジュールで利用される空間情報をいう。
【００６４】
ミックスベクトル計算部３１０は、前記式（４）に記載された行列Ｒ２を生成する。
【００６５】
したがって、補間処理部３１６は、ミックスベクトル計算部３１０で生成された行列Ｒ２に対して補間を行って、行列Ｍ２を生成する。
【００６６】
ＡＡＣデコーダ３２０は、符号化端でマルチチャンネルからダウンミックスされた信号と元信号との差をＡＣＣで符号化して、レシデュアルコーディングされた信号を復号化する。
【００６７】
ＭＤＣＴ変換部３２２は、ＡＡＣデコーダ３２０から出力されたＭＤＣＴ係数をＱＭＦドメインに変換し、非相関部３４０を代替してアップミキシングする。
【００６８】
オーバーラップアド部３２４は、ＭＤＣＴ変換部３２２から出力された信号に対してフレーム間のオーバーラップアドを行う。
【００６９】
ハイブリッド分析部３２６は、低周波帯域信号がＱＭＦフィルタバンクにより周波数分解能が不足するので、追加的なフィルタリングを通じて周波数分解能を高める。
【００７０】
復号化レベル計算部３２７は、復号化端に設けられたチャンネルまたはスピーカの設定を認識して復号化するレベルの数を計算する。ここで、復号化端のマルチチャンネルの設定は、復号化端に備えられたスピーカの個数、復号化端に備えられたスピーカのうち動作可能なスピーカの位置、符号化端で符号化されたチャンネルのうち、復号化端に設けられたマルチチャンネルで利用できるチャンネルの情報などをいう。
【００７１】
復号化レベル制御部３２９は、復号化レベル計算部３２７で計算された復号化するレベルの数により復号化するように制御する信号を出力する。
【００７２】
ハイブリッド分析部３３０は、ＱＭＦハイブリッドアナリシスフィルタバンクであって、入力信号を周波数バンド別に分解する。
【００７３】
前マトリックス適用部３３５は、行列Ｍ１を利用してダイレクト信号及び非相関器に入力する信号を生成する。ここで、前マトリックス適用部３３５は、ＯＴＴ０に対応してＬチャンネル及びＲチャンネルを非相関化する非相関器Ｄ０ＯＴＴに入力する信号、ＴＴＴ０に対応してＬチャンネル、Ｒチャンネル及びＣチャンネルを非相関化する非相関器Ｄ０ＴＴＴに入力する信号、ＯＴＴ２に対応してＦＲチャンネル及びＢＲチャンネルを非相関化する非相関器Ｄ２ＯＴＴに入力する信号、ＦＬチャンネル及びＢＬチャンネルを非相関化する非相関器Ｄ３ＯＴＴに入力する信号を生成する。また、前マトリックス適用部３３５は、復号化レベル制御部３２９から出力される制御信号に応答して復号化するレベルの数を調節することによって、スケーラブルアップミキシングして復号化可能にする。
【００７４】
非相関部３４０は、前マトリックス適用部３３５で生成された信号に対して非相関化を行うことによって、空間感を有するように再構成する。第０非相関器３４２は、ＯＴＴ０に対応してＬチャンネル及びＲチャンネルを非相関化し、第１非相関器３４４は、ＴＴＴ０に対応してＬチャンネル、Ｒチャンネル及びＣチャンネルに対して非相関化し、第２非相関器３４６は、ＯＴＴ２に対応してＦＲチャンネル及びＢＲチャンネルを非相関化し、第３非相関部３４８は、ＯＴＴ３に対応してＦＬチャンネル及びＢＬチャンネルを非相関化する。
【００７５】
ミックスマトリックス適用部３５０は、非相関部３４０から出力された信号及び前マトリックス適用部３３５から出力されたダイレクト信号に対してそれぞれ行列Ｍ２を適用する。ここで、ミックスマトリックス適用部３５０は、復号化レベル制御部３２９から出力される制御信号に応答して復号化するレベルの数を調節することによって、スケーラブルアップミキシングして復号化可能にする。
【００７６】
ＴＥＳ適用部３３５は、ミックスマトリックス適用部３５０から出力された信号にＴＥＳを適用する。
【００７７】
ＱＭＦハイブリッド合成部３６０は、ＱＭＦハイブリッド合成フィルタバンクであって、時間ドメインに変換する。
【００７８】
ＴＰ適用部３６５は、ＱＭＦハイブリッド合成部３６０から出力された信号にＴＰを適用する。
【００７９】
ここで、ＴＥＳ適用部３３５及びＴＰ適用部３６５は、アプローズのようにテンポラール構造が重要な信号の音質を向上させるためのものであって、選択的に利用でき、必須的に適用すべきものではない。
【００８０】
ミキシング部３７０は、ダイレクト信号と非相関化された信号とをミックスする。
【００８１】
図３では、５．１チャンネルについての一実施形態のみを示したが、当業者ならば、５．１チャンネルに限定して実施されないということが分かる。本発明によるマルチチャンネル復号化方法を、符号化端でダウンミックスされた信号を優先的にＬチャンネル及びＲチャンネルにアップミキシングするあらゆるマルチチャンネルに対して実施できる。
【００８２】
図４は、本発明によるマルチチャンネル復号化方法及びシステムで適用する５−１−５の３ツリー構造を示す概念図である。ここで、図４は、本発明によるマルチチャンネル復号化方法及びシステムで復号化してアップミキシングする順序を、ＯＴＴモジュールとＴＴＴモジュールとを利用して概念的に示す。
【００８３】
ＯＴＴ０モジュール４００は、符号化器でダウンミックスされたモノ信号を入力されて、Ｌ信号及びＲ信号に復号化してアップミキシングする。ここで、Ｌ信号及びＲ信号の最初のアップミキシングは、図１Ａ及び図１Ｂに示した前記５−１−５ツリー構造と本質的に異なる。その最初のステップＯＴＴモジュールの出力は、Ｌチャンネル信号及びＲチャンネル信号を適切に再生するのに使われないが、付加的なステップが最初のステップＯＴＴモジュールのような出力をさらにアップミックスするために必要である。
【００８４】
したがって、そのＯＴＴ０モジュール以後、そのＴＴＴ０モジュール４１０は、ＯＴＴ０モジュール４００から出力されたＬ信号及びＲ信号を入力されて、Ｌ信号、Ｒ信号及びＣ信号に復号化してアップミキシングする。
【００８５】
ＯＴＴ１モジュール４２０は、ＴＴＴ０モジュール４１０から出力されたセンタ信号を入力されて、Ｃ信号及びＬＥＦ信号に復号化してアップミキシングする。
【００８６】
ＯＴＴ２モジュール４３０は、ＴＴＴ０モジュール４１０から出力されたＬ信号を入力されて、ＦＬ信号及びＢＬ信号に復号化してアップミキシングする。
【００８７】
ＯＴＴ３モジュール４４０は、ＴＴＴ０モジュール４１０から出力されたＲ信号を入力されて、ＦＲ信号及びＢＲ信号に復号化してアップミキシングする。
【００８８】
図５は、本発明によるマルチチャンネル復号化方法及びシステムで入力される信号と出力される信号との数学的関係を示す概念図である。
【００８９】
前非相関器マトリックスＭ１は、ＣＬＤ及びＩＣＣを利用することによって、符号化器でダウンミックスされたモノ信号Ｘｍを入力として、ダイレクト信号ｍと非相関器Ｄ０ＯＴＴ，Ｄ０ＴＴＴ，Ｄ２ＯＴＴ及びＤ３ＯＴＴに入力する信号とを出力する。
【００９０】
非相関器Ｄ０ＯＴＴ，Ｄ０ＴＴＴ，Ｄ２ＯＴＴ及びＤ３ＯＴＴは、Ｍ１から計算された信号を非相関化する。
【００９１】
ミックスマトリックスＭ２は、ＣＬＤ及びＩＣＣを利用することによって、ダイレクト信号ｍと非相関化された信号ｄ０，ｄ１，ｄ２，ｄ３とをミックスしてアップミキシングする。ここで、ミックスマトリックスＭ２は、ダイレクト信号ｍと非相関化された信号ｄ０，ｄ１，ｄ２，ｄ３とを入力として、ＦＬ信号、ＢＬ信号、ＦＲ信号、ＢＲ信号、Ｃ信号及びＬＥＦ信号を出力する。
【００９２】
図６は、本発明によるマルチチャンネル符号化方法の一実施形態を示すフローチャートである。
【００９３】
まず、マルチチャンネルからダウンミキシングする（ステップ６００）。例えば、５．１チャンネルにおいて、マルチチャンネルは、ＦＬチャンネル、サラウンドＬチャンネル、ＦＲチャンネル、サラウンドＲチャンネル、Ｃチャンネル及びウーハーチャンネルから構成される。
【００９４】
ステップ６００でダウンミキシングにおいて、Ｌチャンネル及びＲチャンネルを最後にダウンミキシングする。例えば、５．１チャンネルでは、ＦＬチャンネル、サラウンドＬチャンネル、ＦＲチャンネル、サラウンドＲチャンネル、Ｃチャンネル及びウーハーチャンネルをＬチャンネル、Ｒチャンネル及びＣチャンネルにダウンミキシングし、ダウンミキシングされた三つのチャンネルをＬチャンネル及びＲチャンネルにダウンミキシングする。
【００９５】
ステップ６００でダウンミキシングしたマルチチャンネルの空間情報を抽出する（ステップ６１０）。例えば、５．１チャンネルで抽出する空間情報は、ＬチャンネルとＲチャンネル、ＬチャンネルとＲチャンネルとＣチャンネル、ＦＬチャンネルとＢＬチャンネル、ＦＲチャンネルとＢＲチャンネル、Ｃタチャンネルとウーハーチャンネルに対してそれぞれアップミキシングするのに使われる情報を含む。
【００９６】
ステップ６００でダウンミキシングされた信号及びステップ６１０で抽出された空間情報を含むビットストリームを生成する（ステップ６２０）。
【００９７】
図７は、本発明によるマルチチャンネル符号化システムの一実施形態を示すブロック図であって、マルチチャンネル符号化システムは、ダウンミキシング部７００、情報抽出部７１０及びビットストリーム生成部７２０を備える。
【００９８】
ダウンミキシング部７００は、入力端子ＩＮ  ０ないしＩＮ  Ｍに該当するマルチチャンネルからダウンミキシングする。例えば、５．１チャンネルにおいて、マルチチャンネルは、ＦＬチャンネル、サラウンドＬチャンネル、ＦＲチャンネル、サラウンドＲチャンネル、Ｃチャンネル及びウーハーチャンネルから構成される。
【００９９】
ここで、ダウンミキシング部７００は、Ｌチャンネル及びＲチャンネルを最後にダウンミキシングする。例えば、５．１チャンネルでは、ＦＬチャンネル、サラウンドＬチャンネル、ＦＲチャンネル、サラウンドＲチャンネル、Ｃチャンネル及びウーハーチャンネルをＬチャンネル、Ｒチャンネル及びＣチャンネルにダウンミキシングし、ダウンミキシングされた三つのチャンネルをＬチャンネル及びＲチャンネルにダウンミキシングする。
【０１００】
情報抽出部７１０は、ダウンミキシング部７００でダウンミキシングしたマルチチャンネルの空間情報を抽出する。例えば、５．１チャンネルにおいて、ダウンミキシング部７００で抽出する空間情報は、ＬチャンネルとＲチャンネル、ＬチャンネルとＲチャンネルとＣチャンネル、ＦＬチャンネルとＢＬチャンネル、ＦＲチャンネルとＢＲチャンネル、Ｃチャンネルとウーハーチャンネルに対してそれぞれアップミキシングするのに使われる情報を含む。
【０１０１】
ビットストリーム生成部７２０は、ダウンミキシング部７００でダウンミキシングされた信号及び情報抽出部７１０で抽出された空間情報を含むビットストリームを生成して、出力端子ＯＵＴを通じて復号化器に出力する。
【０１０２】
本発明によるマルチチャンネル復号化及び符号化方法及びシステムによれば、ＬチャンネルとＲチャンネルとを最後にダウンミキシングして符号化し、ＬチャンネルとＲチャンネルとを優先的にアップミキシングして復号化する。
【０１０３】
これにより、スケーラブルチャンネル復号化でも、ＬチャンネルとＲチャンネルの音質が低下せずに高音質で出力できる効果を奏する。
【０１０４】
また、電力消費を低減し、ステレオにおいて高音質を要求するモバイルアプリケーションでも容易に利用できる効果を奏する。
【０１０５】
前記実施形態以外にも、本発明の実施形態は、その実施形態を具現するための少なくとも一つのプロセッシングエレメントを制御するためのコード／インストラクションを保存した記録媒体、例えばコンピュータで読み取り可能な記録媒体として具現される。その記録媒体は、コンピュータで読み取り可能なコードの保存及び／または伝送を許容するミディアム／メディアに対応する。
【０１０６】
コンピュータで読み取り可能なコードは、多様なミディアム、例えば磁気記録媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスク）、光学的な記録媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ）及びキャリアウェーブのような保存／伝送媒体を含むミディアムの多様な例に保存／伝送される。ここで、ミディアムは、本発明の実施形態による信号（例えば、結果信号、ビットストリーム）でありうる。媒体は、コンピュータで読み取り可能なコードが分散された方法で保存／伝送及び実行されるように、分散されたネットワークでありうる。さらに、プロセッシングエレメントは、プロセッサまたはコンピュータプロセッサを含み、単一デバイスに含まれるか、または分配される。
【０１０７】
以上、本発明の幾つかの実施形態が記載されたが、前記明細書に記載された本発明の内容は、特許請求の範囲に記載された思想とその均等な思想の範囲を逸脱しない範囲内で当業者により多様に変形される。
【符号の説明】
【０１０８】
７００：ダウンミキシング部
７１０：情報抽出部
７２０：ビットストリーム生成部
【図１Ａ】
0005563647.tif 000007
【図１Ｂ】
0005563647.tif 000008
【図２】
0005563647.tif 000009
【図３】
0005563647.tif 000010
【図４】
0005563647.tif 000011
【図５】
0005563647.tif 000012
【図６】
0005563647.tif 000013
【図７】
0005563647.tif 000014