(57)【要約】【課題】エンコーディング装置が基本的に圧縮可能なチャネル数より少ない数のチャネルを転送しようとする場合、チャネルを復元するのに必要な一部の空間情報を転送しないメディア信号処理方法及び装置を提供する。また、仮想の値に設定されたチャネルを生成するためのデコーディングを省略するメディア信号処理方法及び装置を提供する。【解決手段】ダウンミックス信号及び空間情報信号からマルチチャネルを生成するオーディオ信号デコーディング方法において、生成されるマルチチャネルのうち有効な値を有するチャネルを検知する段階と；ダウンミックス信号及び空間情報信号から検知された有効な値を有するチャネルを生成する段階と；を含んでオーディオ信号デコーディング方法を構成する。【選択図】図４
2009532735.tif 000002
【特許請求の範囲】
【請求項１】
ダウンミックス信号及び空間情報信号からマルチチャネルを生成するオーディオ信号デコーディング方法において、
前記生成されるマルチチャネルのうち、有効な値を有するチャネルを検知する段階と；
前記ダウンミックス信号及び前記空間情報信号から、前記検知された有効な値を有するチャネルを生成する段階と；
を含むことを特徴とするオーディオ信号デコーディング方法。
【請求項２】
前記検知する段階は、
前記空間情報が前記有効な値を有するチャネルを生成する空間情報であることを用いて行われることを特徴とする請求項１に記載のオーディオ信号デコーディング方法。
【請求項３】
前記検知する段階は、
有効チャネル表示情報を用いて前記有効チャネルを検知する段階を含むことを特徴とする請求項１に記載のオーディオ信号デコーディング方法。
【請求項４】
前記有効チャネル表示情報は、
生成されるチャネルが有効な値を有するチャネルであるかどうかを表示する識別子を含むか、一つの信号を二つの信号に変換したり、二つの信号を三つの信号に変換して前記ダウンミックス信号から前記マルチチャネルを生成するアップミキシング部の使用可否を表示する情報を含むか、或いは前記有効な値を有するチャネルの構成情報を表示する情報を含むことを特徴とする請求項３に記載のオーディオ信号デコーディング方法。
【請求項５】
前記有効チャネル表示情報は、
前記空間情報から抽出されることを特徴とする請求項３または４に記載のオーディオ信号デコーディング方法。
【請求項６】
ダウンミックス信号及び空間情報信号からマルチチャネルを生成するオーディオ信号デコーディング方法において、
受信されたビットストリームから第１マルチチャネルオーディオ信号をダウンミックスしたダウンミックス信号及び空間情報を獲得する段階と；
前記空間情報から変形空間情報を生成する段階と；
前記変形空間情報を用いて第２マルチチャネルを生成する段階と；を含むことを特徴とするオーディオ信号デコーディング方法。
【請求項７】
前記変形空間情報は、
前記空間情報のうちの一部を含むことを特徴とする請求項６に記載のオーディオ信号デコーディング方法。
【請求項８】
前記変形空間情報を生成する段階は、
前記第２マルチチャネルの有効な値との相関関係を用いて生成することを特徴とする請求項６に記載のオーディオ信号デコーディング方法。
【請求項９】
前記第１マルチチャネルと前記第２マルチチャネルは、
有効な値を有するチャネル数が異なることを特徴とする請求項６に記載のオーディオ信号デコーディング方法。
【請求項１０】
前記第１マルチチャネルの有効な値を有するチャネル数は、前記第２マルチチャネルの有効な値を有するチャネル数より多いことを特徴とする請求項９に記載のオーディオ信号デコーディング方法。
【請求項１１】
前記ダウンミックス信号はモノチャネルであり、前記第２マルチャネルはステレオチャネルであることを特徴とする請求項６に記載のオーディオ信号デコーディング方法。
【請求項１２】
Ｎ個以上のチャネルをダウンミキシングするエンコーディング方法において、
前記Ｎ個より少ない数のチャネルの入力を受ける段階と；
前記Ｎ個と前記入力されたチャネル数との差だけのチャネル値を仮想の値に定める段階と；
前記仮想の値を有するチャネルを含むＮ個のチャネルをダウンミキシングする段階と；を含むことを特徴とするオーディオ信号エンコーディング方法。
【請求項１３】
前記仮想の値は、０であることを特徴とする請求項１２に記載のオーディオ信号エンコーディング方法。
【請求項１４】
前記方法は、
前記Ｎ個のチャネルのうち何れのチャネルが前記入力を受けたチャネルであるかを表示する有効チャネル表示情報を生成する段階と；
前記生成された有効チャネル表示情報を転送する段階と；をさらに含むことを特徴とする請求項１３に記載のオーディオ信号エンコーディング方法。
【請求項１５】
前記有効チャネル表示情報は、
前記Ｎ個のチャネルが前記入力を受けたチャネルであるかどうかをチャネルの順に表示する情報を含むか、二つの信号を一つの信号に変換したり、三つの信号を二つの信号に変換して前記Ｎ個のチャネルをダウンミキシングする信号変換部の使用可否を表示する情報を含むか、或いは前記入力を受けたチャネルの構成情報を表示する情報を含むことを特徴とする請求項１４に記載のオーディオ信号エンコーディング方法。
【請求項１６】
前記方法は、
前記入力を受けたチャネルから空間情報を生成する段階と；
前記生成された空間情報を転送する段階と；を含むことを特徴とする請求項１４に記載のオーディオ信号エンコーディング方法。
【請求項１７】
前記方法は、
前記Ｎ個と前記入力されるチャネル数との差値だけのチャネルに対する空間情報値がデフォルト値であることを表示する情報を生成する段階と；
前記生成された情報を転送する段階と；を含むことを特徴とする請求項１４から１６の何れか１項に記載のオーディオ信号エンコーディング方法。
【請求項１８】
ダウンミックス信号及び空間情報信号を読み出す読み出し部と；
前記空間情報信号から生成されるマルチチャネルのうち有効な値を有するチャネルを検知し、前記ダウンミックス信号及び前記空間情報信号を用いて前記検知された有効な値を有するチャネルを生成するチャネル生成部と；を含むことを特徴とするオーディオ信号デコーディング装置。
【請求項１９】
Ｎ個以上のチャネルをダウンミキシングするエンコーディング装置において、
前記Ｎ個より少ない数のチャネルの入力を受けて、前記Ｎ個と前記入力されるチャネル数との差だけのチャネル値を仮想の値に定めるチャネル値設定部と；
前記Ｎ個のチャネルのうち何れのチャネルが前記入力を受けたチャネルであるかを表示する有効チャネル表示情報を含む空間情報信号を生成する空間情報抽出部と；
前記仮想の値を有するチャネルを含むＮ個のチャネルをダウンミックスするダウンミキシング部と；を含むことを特徴とするオーディオ信号エンコーディング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メディア信号処理に関するもので、特に、メディア信号処理方法及び装置に関するものである。
【背景技術】
【０００２】
一般的に、メディア信号の場合、エンコーディング装置は、マルチチャネル信号をそれぞれ圧縮する代わりに、マルチチャネル信号をモノまたはステレオ形態のダウンミックス信号に圧縮し、圧縮されたダウンミックス信号、空間情報または付加情報をデコーディング装置に転送したり保存媒体に保存する。デコーディング装置は、圧縮されたダウンミックス信号及び空間情報を用いて元のマルチチャネルを復元する。
エンコーディング装置及びデコーディング装置が基本的に圧縮して復元可能なチャネル数は決まっている。Ｎ-Ｍ-Ｎチャネル構成において、前のＮはエンコーディング装置が転送しようとするチャネル数であり、Ｍは圧縮されたダウンミックス信号の個数であり、後のＮはデコーディング装置が復元するチャネル数である。このとき、エンコーディング装置及びデコーディング装置は、５-１-５チャネル構成、５-２-５チャネル構成、７-２-７チャネル構成または７-５-７チャネル構成などを基本的に提供する。
エンコーディング装置が支援するチャネル構成より少ない数のチャネルの場合、エンコーディング装置が支援するチャネル構造にマッピングされた後でエンコーディングされる。すなわち、エンコーディング装置にエンコーディング装置が支援するチャネルより少ない数のチャネルが入力される場合、エンコーディング装置が圧縮可能なチャネル数とエンコーディング装置に入力されるチャネル数との差だけのチャネルが仮想の値を有すると仮定し、エンコーディングを行う。この場合にも、エンコーディング装置は、デコーディング装置が仮想の値を有するチャネルを復元するために必要な空間情報を生成し、これをデコーディング装置に転送する。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明の目的は、エンコーディング装置が基本的に圧縮可能なチャネル数より少ない数のチャネルを転送しようとする場合、チャネルを復元するのに必要な一部の空間情報を転送しないメディア信号処理方法及び装置を提供することにある。
【０００４】
本発明の他の目的は、仮想の値に設定されたチャネルを生成するためのデコーディングを省略するメディア信号処理方法及び装置を提供することにある。
【課題を解決するための手段】
【０００５】
本発明では、エンコーディング装置が基本的に圧縮可能なチャネル数より少ない数のチャネルを転送しようとする場合、基本的に圧縮可能なチャネルから転送しようとするチャネル数を除いたチャネル値を仮想の値に設定し、仮想の値を有するチャネルを復元するのに必要な空間情報を転送しない。
【０００６】
本発明ではデコーディング装置が、転送されたメディア信号から生成されるチャネルののうち仮想の値に設定されたチャネルがどれかを検知し、仮想の値に設定されたチャネルを生成するためのデコーディングを省略する。
【発明の効果】
【０００７】
本発明によると、エンコーディング装置が基本的に圧縮可能なチャネル数より少ない数のチャネルを転送するとき、有効な値を有するチャネルに対する空間情報のみを生成して転送することで、不必要なビット転送を防止することができる。
【０００８】
また、本発明によると、デコーディング装置が、転送されたメディア信号から生成されるチャネルのうち有効なチャネルがどれかを検知し、有効なチャネル生成のためのデコーディングのみを行い、有効でないチャネル生成のためのデコーディング演算量を減少することができる。
【発明を実施するための最良の形態】
【０００９】
上記のような目的を達成するための本発明によると、生成されるマルチチャネルのうち有効な値を有するチャネルを検知する段階と；前記ダウンミックス信号及び前記空間情報信号から前記検知された有効な値を有するチャネルを生成する段階と；を含むことを特徴とするオーディオ信号デコーディング方法を提供することができる。
【００１０】
更に、本発明によると、受信されたビットストリームから第１マルチチャネルオーディオ信号をダウンミックスしたダウンミックス信号及び空間情報を獲得する段階と；前記空間情報から変形空間情報を生成する段階と；前記変形空間情報を用いて第２マルチチャネルを生成する段階と；を含むことを特徴とするオーディオ信号デコーディング方法を提供することができる。
【００１１】
更に本発明によると、Ｎ個より少ない数のチャネルの入力を受ける段階と；前記Ｎ個と前記入力されたチャネル数との差だけのチャネル値を仮想の値に定める段階と；前記仮想の値を有するチャネルを含むＮ個のチャネルをダウンミキシングする段階と；を含むことを特徴とするオーディオ信号エンコーディング方法を提供することができる。
【００１２】
更に本発明によると、ダウンミックス信号及び空間情報信号を読み出す読み出し部と；前記空間情報信号から生成されるマルチチャネルのうち有効な値を有するチャネルを検知し、前記ダウンミックス信号及び前記空間情報信号を用いて前記検知された有効な値を有するチャネルを生成するチャネル生成部と；を含むことを特徴とするオーディオ信号デコーディング装置を提供することができる。
【００１３】
更に本発明によると、Ｎ個以上のチャネルをダウンミキシングするエンコーディング装置において、前記Ｎ個より少ない数のチャネルの入力を受けて、前記Ｎ個と前記入力を受けるチャネル数との差だけのチャネル値を仮想の値に定めるチャネル値設定部と；前記Ｎ個のチャネルのうち何れのチャネルが前記入力を受けたチャネルであるかを表示する有効チャネル表示情報を含む空間情報信号を生成する空間情報抽出部と；前記仮想の値を有するチャネルを含むＮ個のチャネルをダウンミックスするダウンミキシング部と；を含むことを特徴とするオーディオ信号エンコーディング装置を提供することができる。
【００１４】
以下、添付した図面を参照して、本発明の好適な実施例を詳細に説明する。本発明は、メディア信号デコーディング方法及び装置に関するものである。ここで、メディア信号は、オーディオ信号またはビデオ信号を含む。
【００１５】
図１は、本発明の実施例に係るエンコーディング装置がデコーディング装置に転送するメディア信号の構成図である。
図１を参照すると、メディア信号は、ダウンミックス信号１０１及び空間情報信号１０３を含む。ダウンミックス信号１０１は、マルチチャネルメディア信号をダウンミキシングして生成される信号で、エンコーディング装置に含まれたダウンミキシング部（図示せず）を通して生成されたり人為的に生成される。メディア信号は、各フレームが羅列されたＥＳ（エレメンタリーストリーム）形態で存在する。ダウンミックス信号１０１及び空間情報信号１０３は、別々のＥＳ形態でそれぞれデコーディング装置に転送されるが、図１に示すように、ダウンミックス信号１０１と空間情報信号１０３とが結合されて一つのＥＳ形態でデコーディング装置に転送されることもある。
空間情報信号１０３は、マルチチャネルメディア信号をダウンミックスするときに抽出されるもので、デコーディング装置で圧縮されたダウンミックス信号１０１から元のマルチチャネルメディア信号が復元されるときに使用される。
エンコーディング装置は、エンコーディング装置に入力される全てのマルチチャネルメディア信号をダウンミックスし、空間情報信号１０３を生成することができる。しかしながら、エンコーディング装置にエンコーディング装置が支援するチャネル構成より少ない数のチャネルが入力される場合、エンコーディング装置が支援するチャネル数から入力されるチャネル数を除いたチャネルが仮想の値を有すると仮定し、仮想の値を有するチャネルに対する空間情報信号１０３を生成しないか、生成する場合にも、これを信号デコーディング装置に転送しないことがある。また、エンコーディング装置は、仮想の値を有するチャネルに対する空間情報をデフォルト値や極値を用いて簡単に表示することもできる。
【００１６】
空間情報信号１０３には、空間パラメーター、有効チャネル表示情報、ツリー構造情報などが含まれる。空間パラメーターは、各マルチチャネル信号の間の関係を表示する情報で、各メディア信号の間のエネルギー差を表すＣＬＤ（チャネルレベル差）、各メディア信号の間の緊密性及び類似性を表すＩＣＣ（チャネル間の相関）、他の信号を用いてメディア信号値を予想する係数を表すＣＰＣ（チャネル予測係数）などを含む。
空間情報信号１０３は、エンコーディング装置に入力されるチャネルが有効な値を有するチャネルであるか、または、エンコーディング装置のチャネル構成より少ない数のチャネルが入力され、エンコーディング装置の基本構成を支援するために生成された仮想の値を有するチャネルであるかを表示する情報が含まれている。以下、エンコーディング装置に入力されるチャネルが仮想の値でない有効な値を有するチャネルであるかどうかを表示する情報を、有効チャネル表示情報という。有効チャネル表示情報は、空間情報信号１０３のヘッダー１０５または空間フレーム１０７に含まれる。空間情報信号１０３は、チャネル信号を定められたツリー構造によってダウンミックスする過程で抽出した情報で、ここで、定められたツリー構造とは、デコーディング装置とエンコーディング装置との間で約束されたツリー構造をいう。空間情報信号１０３は、ツリー構造情報を含むことができるが、ツリー構造情報は、ツリー構造の類型に関する情報で、ツリー構造の類型によってマルチチャネルの個数、チャネル別ダウンミックス順序などが変わる。
【００１７】
エンコーディング装置は、エンコーディングされたダウンミックス信号１０１と空間情報信号１０３を多重化してビットストリーム形態のメディア信号を生成し、これをデコーディング装置に転送する。
【００１８】
図２は、本発明の実施例に係るエンコーディング及びデコーディング装置を含むメディア装置のブロック図である。
図２を参照すると、メディア装置は、ダウンミキシング部２０２、空間情報抽出部２０３、ダウンミックス信号エンコーディング部２０５、空間情報エンコーディング部２０７及び多重化部２０９を含むエンコーディング装置と、逆多重化部２１１、ダウンミックス信号デコーディング部２１３、空間情報デコーディング部２１５及びチャネル生成部２１７を含むデコーディング装置とを含む。
エンコーディング装置のダウンミキシング部２０２は、マルチチャネルメディア信号２０１をダウンミックスし、一つまたは二つのダウンミックス信号を生成し、これをダウンミックス信号エンコーディング部２０５に送る。ダウンミックス信号エンコーディング部２０５は、ダウンミックス信号をエンコーディングし、エンコーディングされたダウンミックス信号を生成し、エンコーディングされたダウンミックス信号を多重化部２０９に送る。
空間情報抽出部２０３は、マルチチャネルメディア信号２０１から空間パラメーターを抽出し、空間情報信号１０３を生成する。
図２に示していないが、エンコーディング装置は、ダウンミキシング部２０２の前にチャネル値設定部を含むことができる。チャネル値設定部は、エンコーディング装置に入力されるチャネル数が、エンコーディング装置が支援するチャネル数より少ない場合、エンコーディング装置が支援するチャネル数から入力されるチャネル数を除いた個数のチャネル値を仮想の値に設定する。デコーディング装置は、仮想の値が設定されたチャネルを復元する必要がないので、エンコーディング装置は、仮想の値が設定されたチャネルに対する空間情報を生成する必要がない。また、デコーディング装置は、仮想の値に設定されたチャネルに対する空間情報をデフォルト値や極値などに簡単に表示することもできる。
空間情報抽出部２０３は、有効な値を有するチャネルに対する空間情報信号１０３を生成し、これを空間情報エンコーディング部２０７に送る。空間情報信号１０３は、上述したように、指示子、空間パラメーター、チャネル構成識別子及び変形空間情報信号タイプなどを含むことができる。
空間情報エンコーディング部２０７は、空間情報信号１０３をエンコーディングし、エンコーディングされた空間情報信号１０３を生成し、これを多重化部２０９に送る。
多重化部２０９は、ダウンミックス信号エンコーディング部２０５から受けたエンコーディングされたダウンミックス信号、及び空間情報エンコーディング部２０７から受けたエンコーディングされた空間情報信号１０３を多重化し、ビットストリーム形態のメディア信号２１０を生成し、これをデコーディング装置に転送する。
【００１９】
デコーディング装置は、エンコーディング装置からビットストリーム形態のメディア信号２１０の転送を受けたり、既に保存されているメディア信号２１０を抽出する。
デコーディング装置に含まれている逆多重化部２１１は、ビットストリーム形態のメディア信号２１０をパーシングし、エンコーディングされたダウンミックス信号及びエンコーディングされた空間情報信号に分離し、エンコーディングされたダウンミックス信号をダウンミックス信号デコーディング部２１３に送り、エンコーディングされた空間情報信号を空間情報デコーディング部２１５に送る。
ダウンミックス信号デコーディング部２１３は、復号化されたダウンミックス信号を生成し、生成された復号化されたダウンミックス信号をチャネル生成部２１７に送る。空間情報デコーディング部２１５は、空間情報信号を復号化し、復号化された空間情報信号をチャネル生成部２１７に送る。
図２に示していないが、デコーディング部は、変形空間情報信号生成部を含むことができる。変形空間情報信号生成部は、空間情報信号１０３を変形し、変形された空間情報信号を生成する。変形された空間情報信号は、空間情報信号を変形して新しく生成された空間情報信号をいう。変形空間情報信号は、空間情報信号のうち一部を含むか、空間情報信号を組み合わせることで生成される。変形空間情報信号生成部は、ツリー構造情報及び出力チャネル情報などを用いて変形空間情報信号を生成することができる。出力チャネル情報は、デコーディング装置と関連しているスピーカーに関する情報で、出力チャネルの数、各出力チャネルの位置情報などを含むことができる。出力チャネル情報は、製作者によってデコーディング装置に既に入力されているか、使用者によって入力される。
【００２０】
デコーディング装置は、ツリー構造情報を用いてエンコーディング装置によってダウンミックスされた元のマルチチャネル数を把握し、出力チャネル情報を用いて生成するチャネル数を把握する。デコーディング装置は、ダウンミックスされた元のマルチチャネル数と生成するチャネル数とが同一であるかどうかを判断する。以下、エンコーディング装置によってダウンミックスされた元のマルチチャネルを第１マルチチャネルといい、デコーディング装置が生成するチャネルを第２マルチチャネルという。デコーディング装置は、エンコーディング装置によってダウンミックスされた第１マルチチャネルと生成する第２マルチチャネルのチャネル数が異なるか、チャネル数が同一であっても有効な値を有するチャネル数が異なる場合、変形空間情報信号生成部を用いて空間情報信号を変形することができる。変形空間情報信号は、第２マルチチャネルの有効な値との相関関係を用いて生成される。
【００２１】
デコーディング装置は、上述した空間パラメーター、ＣＬＤ、ＩＣＣ、ＣＰＣ、ＩＰＤなどを組み合わせることで、変形された空間情報信号を生成することができる。すなわち、第１マルチチャネルのチャネル数より第２マルチチャネルのチャネル数が少ない場合、デコーディング装置は、転送された空間パラメーターを組み合わせることで、第１マルチチャネルより少ない数のチャネルを生成することができる。例えば、エンコーディング装置で５．１チャネルからダウンミックスされて生成されたダウンミックス信号は、デコーディング装置で２チャネル信号にアップミックスされる。デコーディング装置は、転送された空間パラメーターのうち一部の空間パラメーターのみを用いて変形された空間パラメーターを生成することもできる。例えば、５．１チャネルからダウンミックスされて生成されたダウンミックス信号は、一部の空間パラメーターのみでアップミックスされ、５．１チャネルより少ない数のチャネルに生成される。このような方法で、デコーディング装置は、変形空間情報信号及びダウンミックス信号を用いて第１マルチチャネルと異なる数のチャネルを有する第２マルチチャネルを生成することができる。
【００２２】
チャネル生成部２１７は、復号化されたダウンミックス信号及び復号化された空間情報信号を用いてマルチチャネルメディア信号２１９を復元する。デコーディング装置は、空間情報信号１０３を用いて転送されたメディア信号２１０から生成されるマルチチャネル信号２１９のうち有効なチャネルがどのチャネルで、仮想の値を有するチャネルがどのチャネルであるかを判断することができる。デコーディング装置が空間情報信号１０３を用いて有効なチャネルを判断する方法に対しては、図３から図５を参照して詳細に説明する。デコーディング装置は、空間情報信号１０３を用いて生成されるマルチチャネル信号２１９のうち有効なチャネルを検知し、有効な値を有するチャネルを生成するためのデコーディングのみを行うことができる。すなわち、有効でない値を有するチャネル生成のためのデコーディングを行わないこともある。
【００２３】
以下、エンコーディング装置及びデコーディング装置が支援するチャネル数より少ない数のチャネルを効率的に圧縮、転送及び復元する方法に対して、図３を参照してエンコーディング前処理段階及びエンコーディング段階を説明し、図４及び図５を参照してデコーディング段階を説明する。
【００２４】
１．  エンコーディング前処理段階
【００２５】
エンコーディング装置及びデコーディング装置が基本的に圧縮して復元可能なチャネル数がＮ個であるとき、入力されるマルチチャネルメディア信号２０１は、Ｎ個より多いか少ない数のチャネルを含むことができる。入力されるメディア信号２０１のチャネル数がＮ個より多い場合、エンコーディング及びデコーディング装置は、効率的にチャネル構成を拡張し、入力されるチャネルを圧縮して復元する。メディア信号２０１のチャネル数がＮ個より少ないとき、Ｎ個と入力されるメディア信号２０１のチャネル数との差に該当するチャネル値は、仮想の値に設定されるべきである。有効なチャネルと仮想の値を有するチャネルを含んでＮチャネル形態が構成されたとき、エンコーディング及びデコーディングが行われる。このとき、Ｎ個と入力されるメディア信号２０１のチャネル数との差に該当するチャネル値は、０に設定されることもある。
【００２６】
以下、エンコーディング前処理段階に対して、図３を参照して説明する。図３は、本発明の実施例に係るエンコーディング装置のダウンミキシング部２０２を示したブロック図である。
エンコーディング装置のダウンミキシング部２０２は、第１ダウンミキシング部から第５ダウンミキシング部を含む。図面では、エンコーディング装置が５．１チャネル構造を有する。５．１チャネルは、中央前のチャネルＣ、左側前のチャネルＬＦ、右側前のチャネルＲＦ、左側背後のチャネルＬＳ、右側背後のチャネルＲＳ、及びウーファ（低周波数増強）チャネルＬＦＥを含む。エンコーディング装置が５．１チャネル構造を有する場合、５．１より少ないチャネルのメディア信号は、エンコーディングする前に５．１チャネル構造にマッピングされるべきである。その後、メディア信号は、５-１-５、５-２-５などのツリー構造を用いてエンコーディングされる。図３において、エンコーディング装置に印加されるメディア信号２０１は、ＬＦチャネル及びＲＦチャネルの二つであるので、印加されない残りのチャネル、すなわち、Ｃチャネル、ＬＦＥチャネル、ＬＳチャネル及びＲＳチャネルは、仮想の値（例えば、０）を有すると仮定すべきである。エンコーディング装置は、仮想の値を有するチャネルを含んで総数が６個のチャネルに対してエンコーディングを行う。
【００２７】
２．  エンコーディング段階
【００２８】
ダウンミキシング部２０２は、入力されるマルチチャネルからダウンミックス信号を生成する。ダウンミキシング部２０２は、マルチチャネルメディア信号をダウンミックスするとき、二つのチャネルを一つのチャネルにするか、三個のチャネルを二つのチャネルにするためにＯＴＴ（ワン−トゥ−ツー）ＢＯＸまたはＴＴＴ（ツー−トゥ−スリー）ＢＯＸを使用する。ＯＴＴ  ＢＯＸまたはＴＴＴ  ＢＯＸは、デコーディング装置でダウンミックス信号と空間情報を用いて元のマルチチャネルを復元するときに使用される概念的なＢＯＸである。すなわち、メディア信号エンコーディング装置から受信したメディア信号は、逆多重化部２１１でエンコーディングされたダウンミックス信号１０１とエンコーディングされた空間情報信号１０３にパーシングされて、それぞれ復号化された後にチャネル生成部２１７に送られるが、チャネル生成部２１７は、復号化されたダウンミックス信号１０１と空間情報信号１０３を用いて元のマルチチャネルを復元するとき、ＯＴＴ  ＢＯＸまたはＴＴＴ  ＢＯＸを使用して一つの入力信号を二つの信号に出力するか、或いは二つの入力信号を三つの信号に出力する。メディア信号デコーディング装置のチャネル生成部２１７でＯＴＴ  ＢＯＸまたはＴＴＴ  ＢＯＸが使用されることに対応して、メディア信号エンコーディング装置のダウンミキシング部２０２でもＯＴＴ  ＢＯＸまたはＴＴＴ  ＢＯＸが使用され、入力されるマルチチャネルを一つまたは二つの信号にダウンミックスする。以下、ＯＴＴ  ＢＯＸまたはＴＴＴ  ＢＯＸがメディア信号エンコーディング装置で使用されるときには第何番目のダウンミキシング部といい、ＯＴＴ  ＢＯＸまたはＴＴＴ  ＢＯＸがメディア信号デコーディング装置で使用されるときには第何番目のアップミキシング部という。空間情報抽出部２０３は、各入力チャネルがダウンミキシング部２０２を経るとき、各入力チャネルの間の関係を表す空間パラメーターを抽出する。図３には、便宜上、各ダウンミキシング部で抽出される空間パラメーターとしてＣＬＤのみを示したが、抽出される空間パラメーターがこれに限定されることはない。
【００２９】
以下、エンコーディング装置が有効なチャネルとエンコーディング装置が有効でないチャネルに対する空間パラメーター値を転送する方法を説明する。
【００３０】
２．１  空間情報信号を生成する方法
【００３１】
２．１．１  空間パラメーター値を最大値または最小値に設定する方法
【００３２】
図３において、エンコーディング装置は、エンコーディング前処理段階によって仮想の値を有するチャネルを含んで総数が６個のチャネルの入力を受ける。入力される各チャネルは、第３ダウンミキシング部から第５ダウンミキシング部に印加される。第３ダウンミキシング部から第５ダウンミキシング部は、二つの入力チャネルを一つの信号にダウンミキシングする。第４ダウンミキシング部と第５ダウンミキシング部から出る信号は第２ダウンミキシング部に入り、第２ダウンミキシング部と第３ダウンミキシング部から出る信号は第１ダウンミキシング部に入る。第３ダウンミキシング部と第５ダウンミキシング部に入力されるチャネルは、値が０である仮想のチャネルであるので、第３ダウンミキシング部と第５ダウンミキシング部は、仮想の各チャネルの間の関係を表す空間パラメーターを抽出する必要がない。第４ダウンミキシング部は、入力される二つのチャネルＬＦ及びＲＦから二つのチャネルの関係を表す空間パラメーターＣＬＤ４を抽出する。第２ダウンミキシング部は、第４ダウンミキシング部から出る信号と第５ダウンミキシング部から出る信号との間の関係を表す空間パラメーターＣＬＤ２を抽出し、第１ダウンミキシング部は、第２ダウンミキシング部から出る信号と第３ダウンミキシング部から出る信号との間の関係を表す空間パラメーターＣＬＤ１を抽出する。図３において、第１ダウンミキシング部及び第２ダウンミキシング部で抽出される空間パラメーターＣＬＤ１及びＣＬＤ２は、ＣＬＤ値の範囲のうち最大値または最小値になる。すなわち、第２ダウンミキシング部で抽出される空間パラメーターＣＬＤ２は、第４ダウンミキシング部から出る信号と第５ダウンミキシング部から出る信号との間のエネルギー差を意味するが、第４ダウンミキシング部によってダウンミックスされた信号が有効な値を有する一方、第５ダウンミキシング部によってダウンミックスされた信号の値が０であるので、エネルギー（またはレベル）は、第４ダウンミキシング部から出た信号のみに偏る。ＣＬＤ値が最大１５０から最小−１５０までの値を有するとしたとき、ＣＬＤ２値は、第４ダウンミキシング部によってダウンミックスされた信号を基準にして最大値１５０になる。これと同様に、ＣＬＤ１も、第２ダウンミキシング部によってダウンミックスされた信号を基準にして１５０になる。空間情報抽出部２０３は、ダウンミキシング部２０２がマルチチャネルをダウンミックスする過程で空間パラメーターを抽出し、抽出された空間パラメーターを用いて空間情報信号１０３を生成する。エンコーディング装置は、抽出された空間パラメーターＣＬＤ１からＣＬＤ５値を全て空間情報信号１０３に含ませてデコーディング装置に転送することができる。この場合、デコーディング装置は、ＣＬＤ１及びＣＬＤ２が１５０であることを用いて、エネルギーが二つの信号のうち一側の信号のみに向かうので、生成されるマルチチャネル信号２１９のうち有効な値を有するチャネルがどれかを検知することができる。
【００３３】
エンコーディング装置は、各ダウンミキシング部で抽出される空間パラメーター値が以前のパラメーター値と同一であるか、補間された値であるか、既に定められたデフォルト値であるか、または、新しく読むべき値であるかを表示する情報を空間情報信号１０３に含ませてデコーディング装置に転送する。このとき、エンコーディング装置は、上述した方法にしたがって、空間パラメーター値を新しく読むべき値に表示する情報を空間情報信号１０３に含ませて、全ての空間パラメーター値をデコーディング装置に転送することができる。この場合、有効でないチャネル生成のための不必要な空間パラメーターまで送るようになり、ビット浪費をもたらす。したがって、エンコーディング装置は、空間情報信号１０３のビット量を最小化するために、下記のような方法を使用することができる。
【００３４】
２．１．２  空間パラメーター値をデフォルト値に設定する方法
【００３５】
エンコーディング装置は、空間パラメーター値が既に定められたデフォルト値であることを表示する情報を転送することにより、不必要な空間パラメーター転送を省略することができる。このとき、エンコーディング装置は、仮想の値を有するチャネルをダウンミックスするとき、抽出される空間パラメーター値をデフォルト値に表示してデコーディング装置に転送することにより、不必要な空間パラメーター値の転送を省略することができる。例えば、エンコーディング及びデコーディング装置のＣＬＤ値が最大値１５０である場合をデフォルト値１に定め、ＣＬＤ値が０である場合をデフォルト値０に定めた場合、エンコーディング装置は、図３のＣＬＤ１、ＣＬＤ２の値１５０をビットで表示して転送する代わりに、ＣＬＤ１及びＣＬＤ２の値がデフォルト値で、その値が１であることを表示するビットを転送することで、空間情報信号１０３のビット量を減少することができる。
【００３６】
２．１．３  有効チャネル表示情報を転送する方法
【００３７】
エンコーディング装置は、有効なチャネルに対する空間パラメーターのみを転送することにより、空間情報信号のビット量を減少することができる。図３において、エンコーディング装置は、ＣＬＤ３またはＣＬＤ５を空間情報信号１０３に含ませずに、有効な値を有するチャネルＬＦ及びＲＦから生成される空間パラメーターＣＬＤ４のみを空間情報信号１０３に含ませてデコーディング装置に転送することができる。この場合、デコーディング装置は、エンコーディング装置から転送された空間情報信号１０３に第３アップミキシング部（図示せず）及び第５アップミキシング部（図示せず）に印加される空間パラメーターがないので、その値が無意味であると判断し、第３アップミキシング部及び第５アップミキシング部から出力されるチャネル値が０であると判断することができる。このように、エンコーディング装置が一部の空間パラメーターのみを空間情報信号１０３に含ませてデコーディング装置に転送する場合、どのチャネルが有効であるかをデコーディング装置が判断できるように、エンコーディング装置は、有効チャネル表示情報を生成し、これを空間情報信号１０３に含ませてデコーディング装置に転送することができる。
有効チャネル表示情報は、エンコーディング装置に入力されるチャネルが仮想の値でない有効な値を有するチャネルであるかどうかを表示する情報である。有効チャネル表示情報を生成する方法としては、各チャネルの順にチャネルが有効なチャネルであるかを表示する方法と、各ダウンミキシング部または各ダウンミキシング部に対応して各アップミキシング部が有効なチャネルを生成するかを表示する方法が考慮される。また、エンコーディング装置及びデコーディング装置は、圧縮及び復元可能なチャネル数より少ない数のチャネルが印加される場合に備えて、エンコーディング装置及びデコーディング装置の相互間に予めエンコーディング装置が支援するチャネル数より少ない数の入力チャネルに対するチャネル構成を約束し、エンコーディング装置が印加されるチャネルのチャネル構成をデコーディング装置に知らせる方法も考慮することができる。
【００３８】
図３を参照して、各チャネルの順に有効なチャネルであるかを表示する方法を説明する。５-１-５１チャネル構成で入力されるチャネルは、上から順にＬＦチャネル、ＲＦチャネル、Ｃチャネル、ＬＦＥチャネル、ＬＳチャネル及びＲＳチャネルである。これらのうちＬＦチャネル及びＲＦチャネルは、有効チャネルであるので１に表示し、残りのチャネルは、値のない仮想のチャネルであるので０に表示し、上からチャネルの順に１１００００のように６ビットで有効チャネル表示情報を生成することができる。各ダウンミキシング部またはアップミキシング部が有効であるかを表示する方法を説明すると、エンコーディング装置は、第１ダウンミキシング部から第５ダウンミキシング部の順に、ダウンミキシング部が使用される場合に１に表示し、ダウンミキシング部が使用されない場合に０に表示することができる。図３では、転送しようとする二つのチャネルＬＦ、ＲＦチャネルをダウンミックスするために第４ダウンミキシング部のみを使用するので、０００１０のように各ダウンミキシング部の使用可否を５ビットで表示し、有効チャネル表示情報を生成することができる。エンコーディング装置は、有効チャネル表示情報としてチャネル構成識別子を転送することもできる。エンコーディング装置及びデコーディング装置の相互間に予めチャネル組み合わせによるチャネル構成を約束する方法を、表１を参照して説明する。
【００３９】
【表１】
2009532735.tif 000003
【００４０】
５．１チャネル構造の場合を例に挙げて説明すると、５．１チャネル以下のチャネルの組み合わせは、表１のようなチャネル構成を有する。エンコーディング装置及びデコーディング装置は、表１のようにチャネル構成を互いに約束した後、入力チャネル数によってチャネル構成識別子を生成し、これをデコーディング装置に転送することができる。図３を参照すると、エンコーディング装置に印加される入力チャネル数は２個であるので、エンコーディング装置は、チャネル構成識別子１（００１）をデコーディング装置に転送し、有効チャネルがＬＦチャネル及びＲＦチャネルであることをデコーディング装置に知らせることができる。エンコーディング装置は、有効チャネル表示情報を空間情報信号１０３のヘッダー１０５または空間フレーム１０７に含ませてデコーディング装置に転送することができる。エンコーディング装置は、上述したように、効率的に空間情報信号１０３を生成し、これをダウンミックス信号１０１と一緒にまたは別個にデコーディング装置に転送することができる。
【００４１】
３．  デコーディング段階
【００４２】
３．１  有効チャネルであるかどうかを判断する方法
【００４３】
デコーディング装置は、エンコーディング装置から転送されたり、既に保存されていたダウンミックス信号１０１及び空間情報信号１０３を用いてエンコーディング装置に入力された元のマルチチャネルメディア信号２１９を復元する。デコーディング装置は、空間情報信号１０３から空間パラメーターを抽出し、これを各アップミキシング部に適用して元のチャネルを復元する。デコーディング装置は、空間情報信号１０３から変形空間情報信号のタイプを表示する情報を抽出し、空間情報信号１０３から識別されたタイプの変形空間情報信号を生成することができる。変形空間情報のタイプは、部分空間情報信号または拡大空間情報信号を含む。部分空間情報信号は、空間パラメーターのうち一部のみを含むもので、拡大空間情報は、拡張空間情報信号及び空間情報信号を用いて生成されたものである。デコーディング装置は、空間情報信号１０３に変形空間情報信号のタイプを識別する信号が含まれている場合、これを用いて空間情報信号１０３を変形し、変形空間情報信号を生成し、変形空間情報信号を用いてダウンミックス信号をデコーディングする。デコーディング装置は、変形空間情報信号のタイプが部分空間情報信号である場合、デコーディング装置が支援するチャネル数より少ない数のチャネルが復元されることを検知する。すなわち、有効でない値を有するチャネルが復元されることを検知する。デコーディング装置は、エンコーディング装置が転送した空間情報信号１０３を用いて復元するチャネルのうち何れのチャネルが有効な値を有するチャネルであるかを判断することができる。デコーディング装置は、空間情報信号１０３から各アップミキシング部に適用する空間パラメーター値を抽出し、これを用いて復元するチャネルが有効チャネルであるかどうかを判断したり、空間情報信号１０３から抽出した有効チャネル表示情報またはチャネル構成識別子を用いて復元するチャネルが有効チャネルであるかどうかを判断することができる。
【００４４】
図４を参照して、５-１-５１チャネル構成を有するデコーディング装置が有効チャネルを復元する方法を説明し、図５を参照して、５-１-５２チャネル構成を有するデコーディング装置が有効チャネルを復元する方法を説明する。
図４は、図３のようなダウンミキシング部２０２を有するエンコーディング装置からメディア信号の転送を受けて、ＬＦ及びＲＦチャネルを復元するデコーディング装置のチャネル生成部２１７を示したブロック図である。
図４を参照すると、デコーディング装置は、空間情報信号１０３から空間パラメーター値を抽出し、抽出した空間パラメーター値を第１アップミキシング部から第５アップミキシング部に適用して元の信号を復元する。
デコーディング装置は、空間フレーム１０７ごとにアップミキシング部に対する情報を読む。アップミキシング部に対する情報は、各アップミキシング部に適用される空間パラメーター値に対する情報を含む。空間パラメーター値は、デフォルト値であるか、以前のパラメーター値と同一の値であるか、補間された補間値であるか、または、新しく空間情報信号１０３から抽出された符号化された値になる。空間パラメーター値が、空間情報信号１０３から抽出された符号化された値である場合、デコーディング装置は、空間パラメーター値を抽出して復号化した後、これを各アップミキシング部に適用する。
図３において、エンコーディング装置がダウンミックスするとき、抽出された空間パラメーターＣＬＤ１からＣＬＤ５値を全て空間情報信号１０３に含ませてデコーディング装置に転送した場合、デコーディング装置は、第１アップミキシング部に印加されるＣＬＤ１及び第２アップミキシング部に印加されるＣＬＤ２が１５０であることを用いて、第１アップミキシング部及び第２アップミキシング部が図面の矢印の方向に全てのエネルギーを進行させることを検知することができる。
デコーディング装置は、空間情報信号１０３から空間パラメーターＣＬＤ４を抽出し、これを第４アップミキシング部に印加することで、ＬＦ、ＲＦチャネルを復元することができる。
デコーディング装置は、第３アップミキシング部及び第５アップミキシング部にエネルギーが移らないことを用いて、第３アップミキシング部及び第５アップミキシング部から出力されるＣチャネル、ＬＦＥチャネル、ＬＳチャネル及びＲＳチャネル値が０であることを判断することができる。すなわち、デコーディング装置は、上位のアップミキシング部に適用される空間パラメーター値を用いて、下位のアップミキシング部から出力されるチャネルが０であることを判断することができる。したがって、上位のアップミキシング部に適用される空間パラメーター値によって、下位のアップミキシング部に適用される空間パラメーター値が必要でない場合が生じる。
エンコーディング装置が空間パラメーター値をデフォルト値に表示してデコーディング装置に転送した場合、デコーディング装置は、新しく空間パラメーター値を読まずに、デフォルト値による空間パラメーター値を各アップミキシング部に適用する。図３において、エンコーディング装置は、ＣＬＤ１及びＣＬＤ２が１５０であるので、これをデフォルト値１に表示してデコーディング装置に転送することができる。図４において、デコーディング装置は、デフォルト値１を用いてＣＬＤ１及びＣＬＤ２が１５０であることを検知することができる。デコーディング装置は、第１アップミキシング部及び第２アップミキシング部にＣＬＤ１及びＣＬＤ２値を適用し、全てのエネルギーが上方向に向かうことを検知し、これによって、有効な値を有するチャネル及び有効でない仮想の値を有するチャネルがどれかを判断することができる。
デコーディング装置は、空間情報信号１０３に含まれている有効チャネル表示情報またはチャネル構成識別子から有効チャネルがどれかを判断することもできる。
デコーディング装置は、各チャネルの順にチャネルが有効なチャネルであるかを表示する有効チャネル表示情報を用いたり、各アップミキシング部が有効なチャネルを生成するかを表示する方法を用いることができる。図４において、デコーディング装置は、各チャネルの順に有効チャネルであるかを表示する情報が１１００００であることを用いて、ＬＦ及びＲＦチャネルのみが有効なチャネルで、残りの４個のチャネルの値が０であることを検知することができる。また、デコーディング装置は、各アップミキシング部の順に信号を生成するかどうかを表示する有効チャネル表示情報０００１０を用いて、第４アップミキシング部のみが有効チャネルを生成するために活性化され、残りのアップミキシング部は有効チャネルを生成しないことを判断し、有効チャネルがＬＦ及びＲＦチャネルであることを判断することができる。また、デコーディング装置は、チャネル構成識別子が１（００１）であることを用いて、ＬＦ及びＲＦチャネルが有効なチャネルであることを判断することもできる。
【００４５】
図５は、５-１-５２チャネル構成を有するデコーディング装置が有効なチャネルを判断する方法を示した図である。
図５を参照すると、デコーディング装置は、空間情報信号１０３から空間パラメーター値を抽出したり、その値がデフォルト値である場合、デフォルト値に相応する空間パラメーター値を用いて各アップミキシング部に適用する。
デコーディング装置は、抽出したＣＬＤ１が１５０で、抽出したＣＬＤ１に対するデフォルト値が１であることを用いて、第１アップミキシング部から出力される信号が上方向のみに向かうことを検知することができる。デコーディング装置は、ＣＬＤ２が０、またはデフォルト値が０であることを用いて、第２アップミキシング部から信号が二分されて出力されることを検知することができる。また、デコーディング装置は、ＣＬＤ４及びＣＬＤ５が１５０で、デフォルト値が１であることを用いて、第４アップミキシング部から出力される信号及び第５アップミキシング部から出力される信号が上方向のみに向かうことを検知することができる。したがって、デコーディング装置は、ＬＦ及びＲＦチャネルが有効なチャネルであることを判断することができる。また、上述したように、デコーディング装置は、空間情報信号１０３に含まれている有効チャネル表示情報を用いて有効なチャネルがどれかを判断することができる。図５に示すように、各出力チャネルの順にしたがって表示された有効チャネル表示情報が１０１０００である場合、デコーディング装置は、最初の出力チャネル及び三番目の出力チャネルであるＬＦ及びＲＦチャネルが有効なチャネルであることを判断することができる。各アップミキシング部の順にしたがって表示された有効チャネル表示情報が０１０００である場合、デコーディング装置は、二番目のアップミキシング部が有効なチャネルを生成することを検知し、ＬＦ及びＲＦチャネルが有効なチャネルであることを判断することができる。また、デコーディング装置は、チャネル構成識別子が１（００１）である場合、これを用いて出力チャネルのうち有効なチャネルがＬＦ及びＲＦチャネルであることを判断することもできる。
【００４６】
３．２  有効チャネルでないチャネルに対するデコーディングを省略する方法
【００４７】
デコーディング装置は、元のチャネル構成より少ない数のチャネルを有する信号が転送されたとき、元のチャネル構成によってデコーディングを行うことができる。しかしながら、この場合、デコーディング装置は、有効でない値を有する仮想のチャネルまで復元するようになる。したがって、デコーディング装置は、有効でないと判断されるチャネルを生成するための一連のデコーディング過程、すなわち、デコリレータを用いて非相関信号を生成する過程、合成フィルタバンク、マトリックス演算、係数生成などの過程を省略することができる。
【００４８】
３．３  有効チャネル表示
【００４９】
デコーディング装置は、マルチチャネル信号２１９に含まれているチャネルが有効なチャネルであるか、または有効でない仮想の値を有するチャネルであるかをユーザーまたは後処理装置に表示することができる。デコーディング装置は、マルチチャネルメディア信号２１９を復元する前に、上述した方法を用いて有効なチャネルがどれかを判断することができるが、これに限定されるものではない。デコーディング装置は、メディア信号２１０をデコーディングし、マルチチャネルメディア信号２１９を全て復元した後、復元されたチャネルのうち有効なチャネルがどれかを判断し、これを外部に表示することもできる。後処理装置は、デコーディング装置から出力されるマルチチャネル信号２１９のうちデコーディング装置が表示した有効なチャネルのみを用いてユーザーの選択によるダウンミックスを行ったり、音場表現などの後処理を行うことができる。
【図面の簡単な説明】
【００５０】
【図１】本発明の実施例に係るエンコーディング装置がデコーディング装置に転送するメディア信号の構成図である。
【図２】本発明の実施例に係るエンコーディング及びデコーディング装置を含むメディア装置のブロック図である。
【図３】本発明の実施例に係るダウンミキシング部を示したブロック図である。
【図４】チャネル生成部を示したブロック図である。
【図５】デコーディング装置が有効なチャネルを判断する方法を示した図である。
【図１】
2009532735.tif 000004
【図２】
2009532735.tif 000005
【図３】
2009532735.tif 000006
【図４】
2009532735.tif 000007
【図５】
2009532735.tif 000008
【国際調査報告】
2009532735.tif 000009
2009532735.tif 000010
2009532735.tif 000011