(57)【要約】【課題】本発明は、一つ以上の信号処理過程で時間遅延に関する一つ以上の信号及び／または一つ以上のパラメータを補償するためのシステム、方法、装置及びコンピュータで読み取り可能な記録媒体を提供する。【解決手段】多チャネルオーディオ入力信号をダウンミキシングする段階と；前記多チャネルオーディオ入力信号から空間情報を抽出する段階と、前記ダウンミックスされた信号及び前記空間情報からエンコーディングされたオーディオ信号を生成する段階を含み、ダウンミックスコーディング識別子は、前記ダウンミックスされた信号のデコーディング方式を表す情報として、前記エンコーディングされたオーディオ信号に含まれることを特徴とするオーディオ信号生成方法を構成する。【選択図】図６
2009512902.tif 000002
【特許請求の範囲】
【請求項１】
多チャネルオーディオ入力信号をダウンミキシングする段階と、
前記多チャネルオーディオ入力信号から空間情報を抽出する段階と、
前記ダウンミックスされた信号及び前記空間情報からエンコーディングされたオーディオ信号を生成する段階と、を有し
ダウンミックスコーディング識別子は、前記ダウンミックスされた信号のデコーディング方式を表す情報として、前記エンコーディングされたオーディオ信号に含まれる、
ことを特徴とするオーディオ信号生成方法。
【請求項２】
前記ダウンミックスコーディング識別子は、前記ダウンミックスされた信号と前記空間情報との間の時間同期が合わせられたドメインを表す情報を提供する、請求項１に記載のオーディオ信号生成方法。
【請求項３】
ダウンミックス信号のデコーディング方式を表すダウンミックスコーディング識別子を含むオーディオ信号を受信する段階と、
前記ダウンミックスコーディング識別子に対応するデコーディング方式によって前記ダウンミックス信号を処理する段階と、
前記処理されたダウンミックス信号のドメインを変換する段階と、
前記変換されたダウンミックス信号と空間情報とを結合する段階と、を有し
前記結合された空間情報は、前記変換過程で経過した時間だけ遅延される、
ことを特徴とするオーディオ信号処理方法。
【請求項４】
前記ダウンミックスコーディング識別子は、前記ダウンミックスされた信号と前記空間情報との間の時間同期が合わせられたドメインを表す情報を提供する、請求項３に記載のオーディオ信号処理方法。
【請求項５】
前記空間情報は、エンコーディング遅延及びデコーディング遅延のうち少なくとも一つによって遅延される、請求項４に記載のオーディオ信号処理方法。
【請求項６】
前記変換段階は、時間ドメイン信号から周波数ドメイン信号への変換を含む、請求項５に記載のオーディオ信号処理方法。
【請求項７】
前記周波数ドメインは、ＱＭＦドメインを含む、請求項６に記載のオーディオ信号処理方法。
【請求項８】
前記結合されたダウンミックス信号及び前記結合された空間情報を用いて多チャネル信号を生成する段階と、
前記多チャネル信号と時系列データとの間の時間同期差を補償する段階をさらに有する請求項７に記載のオーディオ信号処理方法。
【請求項９】
前記時系列データは、動画像、イメージ及びテキストのうち少なくとも一つを含む、請求項８に記載のオーディオ信号処理方法。
【請求項１０】
ダウンミックス信号のデコーディング方式を表すダウンミックスコーディング識別子を含むオーディオ信号を受信し、前記デコーディング方式によって前記ダウンミックス信号をデコーディングするように構成されたデコーダと、
前記デコーダと連結されて動作し、前記デコーディングされたダウンミックス信号を第１ドメインから第２ドメインに変換し、変換されたダウンミックス信号を提供するように構成されたコンバータと、
前記コンバータと連結されて動作し、前記変換されたダウンミックス信号または前記空間情報のうち少なくとも一つに対して前記変換による時間遅延を補償し、前記変換されたダウンミックス信号と空間情報とを結合するように構成された多チャネルプロセッサと、
を有することを特徴とするオーディオ信号処理システム。
【請求項１１】
前記ダウンミックスコーディング識別子は、前記ダウンミックスされた信号と前記空間情報との間の時間同期が合わせられたドメインを表す情報を提供する、請求項１０に記載のオーディオ信号処理システム。
【請求項１２】
前記空間情報は、エンコーディング遅延及びデコーディング遅延のうち少なくとも一つによって遅延される、請求項１１に記載のオーディオ信号処理システム。
【請求項１３】
前記変換段階は、時間ドメイン信号から周波数ドメイン信号への変換を含む、請求項１０に記載のオーディオ信号処理システム。
【請求項１４】
前記周波数ドメインは、ＱＭＦドメインを含む、請求項１３に記載のオーディオ信号処理システム。
【請求項１５】
前記結合されたダウンミックス信号及び前記結合された空間情報を用いて多チャネル信号を生成する段階と、
前記多チャネル信号と時系列データとの間の時間同期差を補償する段階をさらに有することを特徴とする請求項１４に記載のオーディオ信号処理システム。
【請求項１６】
前記時系列データは、動画像、イメージ及びテキストのうち少なくとも一つを含む、請求項１５に記載のオーディオ信号処理システム。
【請求項１７】
ダウンミックス信号のデコーディング方式を表すダウンミックスコーディング識別子を含むオーディオ信号を受信する段階と、
前記ダウンミックスコーディング識別子に対応するデコーディング方式によって前記ダウンミックス信号を処理する段階と、
前記処理されたダウンミックス信号のドメインを変換する段階と、
前記変換されたダウンミックス信号または前記空間情報のうち少なくとも一つに対して前記変換による時間遅延を補償する段階と、
前記変換されたダウンミックス信号と空間情報とを結合する段階と、
をプロセッサが行うようにする指示情報を保存することを特徴とするコンピュータで読み取り可能な記録媒体。
【請求項１８】
ダウンミックス信号のデコーディング方式を表すダウンミックスコーディング識別子を含むオーディオ信号を受信する手段と、
前記ダウンミックスコーディング識別子に対応するデコーディング方式によって前記ダウンミックス信号を処理する手段と、
前記処理されたダウンミックス信号のドメインを変換する手段と、
前記変換されたダウンミックス信号または前記空間情報のうち少なくとも一つに対して前記変換による時間遅延を補償する手段と、
前記変換されたダウンミックス信号と空間情報とを結合する手段と、
を有することを特徴とするオーディオ信号処理システム。
【請求項１９】
ダウンミックス信号のデコーディング方式を表すダウンミックスコーディング識別子を含むオーディオ信号を受信する段階と、
前記ダウンミックスコーディング識別子に対応するデコーディング方式によって前記ダウンミックス信号を処理する段階と、
前記処理されたダウンミックス信号のドメインを変換する段階と、
前記変換されたダウンミックス信号または前記空間情報のうち少なくとも一つに対して前記変換による時間遅延を補償する段階と、
前記変換されたダウンミックス信号と空間情報とを結合する段階と、
を有することを特徴とするオーディオ信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理に関するものである。
【背景技術】
【０００２】
多チャネルオーディオコーディング（一般的に、空間オーディオコーディングという。）は、多チャネルオーディオ信号の空間イメージを各空間パラメータの圧縮されたセットに捕えることができる。ここで、空間パラメータは、伝送されたダウンミックス信号から高音質の多チャネル信号を合成するために用いられる。
【０００３】
多様なコーディング設計が支援される多チャネルオーディオシステムにおいて、ダウンミックス信号は、信号処理（例えば、時間-周波数ドメイン変換）過程のために、他のダウンミックス信号及び／または対応する各空間パラメータに比べて時間的に遅延される。
【発明の開示】
【０００４】
本発明は、多チャネルオーディオ入力信号をダウンミキシングする段階と、前記多チャネルオーディオ入力信号から空間情報を抽出する段階と、前記ダウンミックスされた信号及び前記空間情報からエンコーディングされたオーディオ信号を生成する段階と、を含み、ダウンミックスコーディング識別子は、前記ダウンミックスされた信号のデコーディング方式を表す情報として、前記エンコーディングされたオーディオ信号に含まれることを特徴とするオーディオ信号生成方法を提供する。
【発明を実施するための最良の形態】
【０００５】
以下、本発明の好適な実施例に対して説明するが、これら各例は、添付の図面に示されている。
【０００６】
オーディオ信号は、多様なドメイン上で信号処理が可能であり、特に、時間ドメイン上で信号処理されるので、オーディオ信号は、時間の配列を考慮して適切に信号処理する必要がある。
【０００７】
したがって、オーディオ信号のドメインは、オーディオ信号処理過程で変換される。前記オーディオ信号のドメインの変換は、時間／周波数ドメイン変換及びコンプレクシティドメイン変換を含むことができる。前記時間／周波数ドメイン変換は、時間ドメイン信号の周波数ドメイン信号への変換、及び周波数ドメイン信号の時間ドメイン信号への変換のうち少なくとも一つを含むことができる。前記コンプレクシティ（ｃｏｍｐｌｅｘｉｔｙ）ドメイン変換は、前記オーディオ信号処理動作でのコンプレクシティによるドメイン変換を意味する。また、前記コンプレクシティドメイン変換は、実際の周波数ドメインにある信号のコンプレックス（ｃｏｍｐｌｅｘ）周波数ドメインへの変換、及びコンプレックス周波数ドメインにある信号の実際の周波数ドメインへの変換などを含むことができる。オーディオ信号が時間配列を考慮せずに処理される場合、音質が低下するおそれがある。遅延過程は、前記配列過程で行われる。前記遅延過程は、エンコーディング遅延及びデコーディング遅延のうち少なくとも一つを含むことができる。前記エンコーディング遅延は、エンコーディング過程において考慮された遅延によって信号が遅延されることを意味する。前記デコーディング遅延は、デコーディングする間に表れた実際の時間遅延を意味する。
【０００８】
本発明を説明する前に、本明細書で使用される用語を次のように定義する。
【０００９】
本明細書で使用される「ダウンミックス連結ドメイン」とは、多チャネルオーディオ信号を生成する多チャネルデコーディング部で伝送を受けられるダウンミックス信号のドメインをいい、「レジデュアル連結ドメイン」とは、前記多チャネルデコーディング部で伝送を受けられるレジデュアル信号のドメインをいう。そして「時系列データ」とは、多チャネルオーディオ信号との時間同期化または時間の配列が必要なデータで、例えば、動画像、イメージ及びテキストなどがある。また、「リーディング（Ｌｅａｄｉｎｇ）」とは、信号を特定時間だけ操り上げることをいい、「ラギング（Ｌａｇｇｉｎｇ）」とは、信号を特定時間だけ遅延させることをいう。また、「空間情報」とは、多チャネルオーディオ信号を合成するための情報を意味する。前記空間情報は、空間パラメータを含むことができる。例えば、前記空間パラメータは、二つのチャネル間のエネルギー差を意味するＣＬＤ（ｃｈａｎｎｅｌ  ｌｅｖｅｌ  ｄｉｆｆｅｒｅｎｃｅ）、二つのチャネル間の相関関係を意味するＩＣＣ（ｉｎｔｅｒ  ｃｈａｎｎｅｌ  ｃｏｈｅｒｅｎｃｅｓ）、及び二つのチャネルから三つのチャネルを生成するときに用いられる予測係数であるＣＰＣ（ｃｈａｎｎｅｌ  ｐｒｅｄｉｃｔｉｏｎ  ｃｏｅｆｆｉｃｉｅｎｔｓ）などを含むことができるが、これに限定されることはない。
【００１０】
本明細書におけるオーディオ信号のデコーディングは、信号処理方法の一例になり得る。また、本発明は、他の種類の信号処理にも適用される。例えば、ビデオ信号の処理方法にも適用される。本明細書の各実施例は、多様な種類のドメインで表現可能な多様な信号を含むように修正される。前記ドメインは、時間、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ  Ｍｉｒｒｏｒ  Ｆｉｌｔｅｒ）、ＭＤＣＴ（Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｅｔ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）、コンプレクシティなどを含むことができるが、これに限定されることはない。
【００１１】
本発明の一実施例に係るオーディオ信号の処理方法は、ダウンミックス信号と空間情報とを結合して多チャネルオーディオ信号を生成する方法を提供することができる。この場合、複数個のダウンミックス連結ドメイン（例えば、時間ドメイン、ＱＭＦ、ＭＤＣＴ）が存在しうる。各ドメイン間の変換は、ダウンミックス信号の処理過程で時間遅延を発生させるおそれがあるので、ダウンミックス信号と前記ダウンミックス信号に対応する空間情報との間の時間同期差を補償する段階が必要となる。時間同期差を補償する段階は、前記ダウンミックス信号及び前記空間情報のうち少なくとも一つを遅延させる段階を含むことができる。以下、図面に基づいて、二つの信号間の時間同期差及び／または各信号と各パラメータとの間の時間同期差を補償するための多様な実施例を説明する。
【００１２】
ここで、装置は、ハードウェアの実施例に限定して解析されてはならない。本発明の各実施例は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの結合などに用いられる。
【００１３】
本発明の各実施例は、コンピュータで読み取り可能な記録媒体の命令で行われる。プロセッサ（例えば、コンピュータプロセッサ）によって行われるとき、プロセッサは、本発明の多様な面を提供する各動作を行うようになる。前記コンピュータで読み取り可能な記録媒体とは、遂行のためのプロセッサに命令を提供する媒体を意味する。例えば、前記媒体は、非揮発性媒体（例えば、光または磁気ディスク）、揮発性媒体（例えば、メモリ）、伝送媒体などを制限なしに含むことができる。前記伝送媒体は、光ケーブル、銅ケーブル、光繊維などを制限なしに含むことができる。また、前記伝送媒体は、音波、光またはラジオ周波数ウェーブなどの形態にもなり得る。
【００１４】
図１は、本発明の一実施例に係るオーディオ信号のデコーディング装置を示したブロック図である。
【００１５】
図１を参照すると、本発明の一実施例に係るオーディオ信号のデコーディング装置は、ダウンミックスデコーディング部１００及び多チャネルデコーディング部２００を含むことができる。
【００１６】
前記ダウンミックスデコーディング部１００は、ドメイン変換部１１０を含むことができる。したがって、ダウンミックスデコーディング部１００は、ＱＭＦドメイン上で信号処理されたダウンミックス信号ＸＱ１をそのまま多チャネルデコーディング部２００に伝送することもできる。さらに、前記ダウンミックスデコーディング部１００は、ＱＭＦドメイン上で信号処理されたダウンミックス信号ＸＱ１を変換部１１０を用いて時間ドメイン上のダウンミックス信号ＸＴ１に変換し、このダウンミックス信号ＸＴ１を多チャネルデコーディング部２００に伝送することもできる。オーディオ信号をＱＭＦドメインから時間ドメインに変換する技術は、既に知られており、公開的に利用可能なオーディオ信号処理標準（例えば、ＭＰＥＧ）で取り扱われてきた。
【００１７】
多チャネルデコーディング部２００は、ダウンミックス信号ＸＴ１またはＸＱ１及び空間情報ＳＩ１またはＳＩ２を用いて多チャネルオーディオ信号ＸＭ１を生成する。
【００１８】
図２は、本発明の他の実施例に係るオーディオ信号のデコーディング装置を示したブロック図である。
【００１９】
図２を参照すると、本発明の一実施例に係るオーディオ信号のデコーディング装置は、ダウンミックスデコーディング部１００ａ、多チャネルデコーディング部２００ａ及びドメイン変換部３００ａで構成される。
【００２０】
図示したように、ダウンミックスデコーディング部１００ａは、ドメイン変換部１１０ａを備えている。したがって、ダウンミックスデコーディング部１００ａは、ＭＤＣＴドメイン上で信号処理されたダウンミックス信号Ｘｍをそのまま出力することもでき、ＭＤＣＴドメイン上で信号処理されたダウンミックス信号Ｘｍを変換部１１０ａを用いて時間ドメイン上のダウンミックス信号ＸＴ２に変換し、このダウンミックス信号ＸＴ２を出力することもできる。
【００２１】
そして、タイムドメイン上のダウンミックス信号ＸＴ２は、多チャネルデコーディング部２００ａに伝送され、ＭＤＣＴドメイン上のダウンミックス信号Ｘｍは、ドメイン変換部３００ａを経てＱＭＦドメイン上のダウンミックス信号ＸＱ２に変換された後、多チャネルデコーディング部２００ａに伝送される。
【００２２】
そして、多チャネルデコーディング部２００ａは、伝送されたダウンミックス信号ＸＴ２またはＸＱ２及び空間情報ＳＩ３またはＳＩ４を用いて多チャネルオーディオ信号ＸＭ２を生成する。
【００２３】
図３は、本発明の一実施例に係るオーディオ信号のデコーディング装置を示したブロック図である。
【００２４】
図３を参照すると、本発明の一実施例に係るオーディオ信号のデコーディング装置は、ダウンミックスデコーディング部１００ｂ、多チャネルデコーディング部２００ｂ、レジデュアルデコーディング部４００ｂ及びドメイン変換部５００ｂで構成される。
【００２５】
前記ダウンミックスデコーディング部１００ｂは、ドメイン変換部１１０ｂを含むことができる。前記ダウンミックスデコーディング部１００ｂは、ＱＭＦドメイン上で信号処理されたダウンミックス信号ＸＱ３をそのまま多チャネルデコーディング部２００ｂに伝送することもでき、ＱＭＦドメイン上で信号処理されたダウンミックス信号ＸＱ３を変換部１１０ｂを用いて時間ドメイン上のダウンミックス信号ＸＴ３に変換し、このダウンミックス信号ＸＴ３を多チャネルデコーディング部２００ｂに伝送することもできる。
【００２６】
エンコーディングされたレジデュアル信号ＲＢは、レジデュアルデコーディング部４００ｂに入力されて信号処理される。信号処理されたレジデュアル信号ＲＭは、ＭＤＣＴドメイン上の信号である。レジデュアル信号（例えば、予測誤差信号）は、通常、オーディオコーディングアプリケーションで用いられる。
【００２７】
そして、ＭＤＣＴドメイン上のレジデュアル信号ＲＭは、ドメイン変換部５００ｂを経てＱＭＦドメイン上のレジデュアル信号ＲＱに変換され、多チャネルデコーディング部２００ｂに伝送される。
【００２８】
一方、レジデュアルデコーディング部４００ｂで信号処理されて出力されるレジデュアル信号のドメインがレジデュアル連結ドメインであると、信号処理されたレジデュアル信号は、ドメイン変換過程を経ずに多チャネルデコーディング部２００ｂに伝送される。
【００２９】
また、図面によると、ドメイン変換部５００ｂは、ＭＤＣＴドメイン上のレジデュアル信号ＲＭをＱＭＦドメイン上のダウンミックス信号ＲＱに変換するが、本発明は、これに限定されるものでない。すなわち、ドメイン変換部５００ｂは、レジデュアルデコーディング部４００ｂで出力されたレジデュアル信号ＲＭをレジデュアル連結ドメインのうち何れか一つのドメイン上の信号に変換することができる。
【００３０】
上述したように、複数個のダウンミックス連結ドメインが存在することから、ダウンミックス信号と空間情報との間に時間同期差が発生しうるので、これを補償する必要がある。
【００３１】
以下、これに対して一層具体的に説明する。
【００３２】
本発明の一実施例に係るオーディオ信号の処理は、ダウンミックス信号及び空間情報が含まれたエンコーディングされたオーディオ信号をデコーディングし、多チャネルオーディオ信号を生成することである。
【００３３】
前記ダウンミックス信号及び前記空間情報は、デコーディング時に互いに異なる処理過程を経るので、互いに異なる時間遅延が発生する。したがって、前記ダウンミックス信号及び前記空間情報は、エンコーディング時に時間同期が合わせられてエンコーディングされる。
【００３４】
この場合、前記ダウンミックス信号及び前記空間情報は、ダウンミックスデコーディング部１００，１００ａまたは１００ｂで信号処理されたダウンミックス信号が多チャネルデコーディング部２００，２００ａまたは２００ｂに伝送されるドメインを考慮して、前記時間同期が合わせられる。
【００３５】
一例として、ダウンミックスコーディング識別子は、エンコーディングされたオーディオ信号に含まれることができ、前記ダウンミックスコーディング識別子によって、前記ダウンミックス信号と空間情報との間の時間同期が合わせられたドメインを把握することができる。この場合、前記ダウンミックスコーディング識別子は、ダウンミックス信号のデコーディング方式に対する情報を表す。
【００３６】
例えば、ダウンミックスコーディング識別子がＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）というデコーディング方式に対する情報を意味する場合、エンコーディングされたオーディオ信号は、エンコーディングされたダウンミックス信号がＡＡＣデコーダーでデコーディングされる場合を想定して設けたものである。そして、前記ダウンミックスコーディング識別子によって、ダウンミックス信号と空間情報との間の時間同期が合わせられたドメインを知ることもできる。
【００３７】
本発明の一実施例に係るオーディオ信号処理方法によると、ダウンミックス信号は、時間同期が合わせられたドメインと異なるドメイン上で処理され、多チャネルデコーディング部２００，２００ａまたは２００ｂに伝送される。この場合、デコーディング部２００，２００ａまたは２００ｂは、ダウンミックス信号と空間情報との間の時間同期差を補償し、多チャネルオーディオ信号を生成することができる。
【００３８】
以下、図１及び図４を参照して、ダウンミックス信号と空間情報との間の時間同期差を補償する方法に対して説明する。
【００３９】
図４は、図１に示した多チャネルデコーディング部で信号処理される方法を説明するためのブロック図である。
【００４０】
図１及び図４を参照すると、本発明の一実施例に係るオーディオ信号の処理方法によると、ダウンミックスデコーディング部１００で信号処理されたダウンミックス信号は、二つのドメインのうち何れか一つのドメイン上で多チャネルデコーディング部２００に伝送される。本実施例において、ダウンミックス信号と空間情報は、ＱＭＦドメイン上で時間同期が合わせられたと仮定して説明するが、本発明は、これに限定されるものでなく、ＱＭＦドメインでない他のドメイン上でダウンミックス信号と空間情報との間の時間同期が合わせられたオーディオ信号を処理することもできる。
【００４１】
以下、ＱＭＦドメイン上で信号処理されたダウンミックス信号ＸＱ１が多チャネルデコーディング部２００に伝送されて信号処理される場合を説明する。伝送されたダウンミックス信号ＸＱ１は、多チャネル生成部２３０で空間情報ＳＩ１と結合された後、多チャネルオーディオ信号ＸＭ１を生成する。この場合、空間情報ＳＩ１は、エンコーディング時に時間同期が合わせられた時間だけ遅延された後で結合される。前記遅延は、エンコーディング遅延でもある。また、空間情報ＳＩ１とダウンミックス信号ＸＱ１は、エンコーディング時に時間同期が合わせられているので、特別に同期を合せる処理過程なしに多チャネルオーディオ信号を生成することができる。すなわち、前記空間情報ＳＩ１は、このような場合、デコーディング遅延によって遅延されない。
【００４２】
以下、時間ドメイン上で信号処理されたダウンミックス信号ＸＴ１が多チャネルデコーディング部２００に伝送されて信号処理される場合を説明する。
【００４３】
ＱＭＦドメイン上のダウンミックス信号ＸＱ１は、ドメイン変換部１１０を経て時間ドメイン上のダウンミックス信号ＸＴ１に変換される。時間ドメイン上のダウンミックス信号ＸＴ１は、多チャネルデコーディング部２００に伝送される。
【００４４】
図４を参照すると、伝送されたダウンミックス信号ＸＴ１は、ドメイン変換部２１０でＱＭＦドメイン上のダウンミックス信号Ｘｑ１に変換される。時間ドメイン上のダウンミックス信号ＸＴ１が多チャネルデコーディング部２００に伝送されるとき、ダウンミックス信号Ｘｑ１または空間情報ＳＩ２のうち少なくとも一つは、時間遅延補償の遂行後に多チャネル生成部２３０に伝送されるべきである。そして、多チャネル生成部２３０は、伝送されたダウンミックス信号Ｘｑ１’と空間情報ＳＩ２’とを結合して多チャネルオーディオ信号ＸＭ１を生成することができる。
【００４５】
一方、ダウンミックス信号Ｘｑ１または空間情報ＳＩ２のうち少なくとも一つに時間遅延補償が行われるべき理由は、エンコーディング時に空間情報とダウンミックス信号との間の時間同期がＱＭＦドメインで合わせられたためである。したがって、ドメインが変換されたダウンミックス信号Ｘｑ１は、信号遅延処理部２２０でずれた時間同期差だけ補償された後、多チャネル生成部２３０に入力される。
【００４６】
前記時間同期差を補償する方法は、ダウンミックス信号Ｘｑ１を時間同期差だけリーディングさせることである。ここで、時間同期差は、ダウンミックスデコーディング部１００のドメイン変換部１１０で発生した遅延時間と、多チャネルデコーディング部２００のドメイン変換部２１０で発生した遅延時間との合計になり得る。
【００４７】
また、空間情報ＳＩ２の時間遅延を補償することで、上述した時間同期差を補償することができる。これによって、空間情報ＳＩ２は、上述した時間同期差だけ空間情報遅延処理部２４０でラギングされた後、多チャネル生成部２３０に伝送される。
【００４８】
しかしながら、実際に遅延される空間情報の遅延値は、ずれた時間同期差と、既に時間同期が合わせられた時間遅延との合計になる。すなわち、前記遅延された空間情報は、エンコーディング遅延及びデコーディング遅延によって遅延されたものである。これは、ダウンミックスデコーディング部１００で発生するダウンミックス信号と空間情報との間の時間同期差と、多チャネルデコーディング部２００で発生する時間同期差との合計でもある。実際に遅延される空間情報ＳＩ２の遅延値は、フィルタ（例えば、ＱＭＦ、ハイブリッドフィルターバンク）の性能及び遅延を考慮して決定される。
【００４９】
例えば、フィルタの性能及び遅延を考慮した空間情報遅延値は、９６１タイムサンプルになり得る。前記空間情報の遅延値を分析してみると、ダウンミックスデコーディング部１００で発生した時間同期差が２５７タイムサンプルで、多チャネルデコーディング部２００で発生した時間同期差が７０４タイムサンプルである。上述した遅延値は、タイムサンプル単位で表現したが、タイムサンプルの他にタイムスロット単位で表現することも可能である。
【００５０】
図５は、図２に示した多チャネルデコーディング部で信号処理される方法を説明するためのブロック図である。以下、図２及び図５を参照して説明する。
【００５１】
図示したように、本発明の一実施例に係るオーディオ信号の処理方法によると、ダウンミックスデコーディング部１００ａで信号処理されたダウンミックス信号は、二つのドメインのうち何れか一つのドメイン上で多チャネルデコーディング部２００ａに伝送される。本実施例において、ダウンミックス信号と空間情報は、時間ドメイン上で時間同期が合わせられたと仮定して説明するが、本発明は、これに限定されるものでなく、時間ドメインでない他のドメイン上でダウンミックス信号と空間情報が合わせられたオーディオ信号を処理することもできる。
【００５２】
以下、時間ドメイン上で信号処理されたダウンミックス信号ＸＴ２が多チャネルデコーディング部２００ａに伝送されて信号処理される場合を説明する。ＭＤＣＴドメイン上のダウンミックス信号Ｘｍは、ドメイン変換部１１０ａを経て時間ドメイン上のダウンミックス信号ＸＴ２に変換される。変換されたダウンミックス信号ＸＴ２は、多チャネルデコーディング部２００ａに伝送される。伝送されたダウンミックス信号ＸＴ２は、ドメイン変換部２１０ａを経てＱＭＦドメイン上のダウンミックス信号Ｘｑ２に変換されて多チャネル生成部２３０ａに伝送される。伝送されたダウンミックス信号Ｘｑ２は、多チャネル生成部２３０ａで空間情報ＳＩ３と結合された後、多チャネルオーディオ信号ＸＭ２を生成する。
【００５３】
この場合、空間情報ＳＩ３は、エンコーディング時に時間同期が合わせられた時間だけ遅延された後、ダウンミックス信号Ｘｑ２と結合される。また、空間情報ＳＩ３とダウンミックス信号Ｘｑ２は、エンコーディング時に時間同期が合わせられているので、特別に同期を合せる処理過程なしに多チャネルオーディオ信号を生成することができる。すなわち、ここで、前記空間情報ＳＩ３は、デコーディング遅延によって遅延されたものでない。
【００５４】
以下、ＱＭＦドメイン上で信号処理されたダウンミックス信号ＸＱ２が多チャネルデコーディング部２００ａに伝送されて信号処理される場合を説明する。
【００５５】
ＭＤＣＴドメイン上で信号処理されたダウンミックス信号Ｘｍは、ダウンミックスデコーディング部１００ａから出力される。出力されたダウンミックス信号Ｘｍは、ドメイン変換部３００ａを経てＱＭＦドメイン上のダウンミックス信号ＸＱ２に変換される。変換されたダウンミックス信号ＸＱ２は、多チャネルデコーディング部２００ａに伝送される。
【００５６】
ＱＭＦドメイン上のダウンミックス信号ＸＱが多チャネルデコーディング部２００ａに伝送されるとき、ダウンミックス信号ＸＱ２または空間情報ＳＩ４のうち少なくとも一つは、時間遅延補償の遂行後に多チャネル生成部２３０ａに伝送されるべきである。そして、多チャネル生成部２３０ａは、伝送されたダウンミックス信号ＸＱ２’と空間情報ＳＩ４’とを結合して多チャネルオーディオ信号ＸＭ２を生成することができる。
【００５７】
一方、ダウンミックス信号ＸＱ２または空間情報ＳＩ４のうち少なくとも一つに時間遅延補償が行われるべき理由は、エンコーディング時に空間情報とダウンミックス信号との間の時間同期が時間ドメインで合わせられたためである。したがって、ドメインが変換されたダウンミックス信号ＸＱ２は、信号遅延処理部２２０ａでずれた時間同期差だけ補償された後、多チャネル生成部２３０ａに入力される。
【００５８】
前記時間同期差を補償する方法は、ダウンミックス信号ＸＱ２を時間同期差だけラギングさせることである。ここで、時間同期差は、ダウンミックスデコーディング部１００のドメイン変換部１１０ａで発生した遅延時間と多チャネルデコーディング部２００ａのドメイン変換部２１０ａで発生した遅延時間との合計と、ドメイン変換部３００ａで発生した遅延時間との差をいう。
【００５９】
また、空間情報ＳＩ４の時間遅延を補償することで、上述した時間同期差を補償することができる。これによって、空間情報ＳＩ４は、上述した時間同期差だけ空間情報遅延処理部２４０ａでリーディングされた後、多チャネル生成部２３０ａに伝送される。しかし、実際に遅延される空間情報の遅延値は、ずれた時間同期差と、既に時間同期が合わせられた時間遅延との合計になる。すなわち、前記遅延された空間情報ＳＩ４’は、エンコーディング遅延及びデコーディング遅延によって遅延されたものである。
【００６０】
一方、本発明の一実施例に係るオーディオ信号の処理方法は、デコーディング方式が異なることから発生する遅延時間を補償し、オーディオ信号を処理する方法を含む。以下、これに対して具体的に説明する。
【００６１】
本発明の一実施例に係るオーディオ信号の処理方法は、エンコーディング時に特定のデコーディング方式を想定してダウンミックス信号と空間情報との間の時間同期が合わせられたオーディオ信号をエンコーディングし、このエンコーディングされたオーディオ信号をデコーディングする。デコーディング方式の例としては、音質に基づいたデコーディング方式及び電力に基づいたデコーディング方式がある。音質に基づいたデコーディング方式の例としては、高音質バージョンがあり、電力に基づいたデコーディング方式の例としては、低電力バージョンがある。高音質バージョンとは、低電力バージョンと比較して相対的に精練された音質の多チャネルオーディオ信号を出力するデコーディング方式をいい、低電力バージョンとは、相対的に高音質バージョンより低下した音質を有するが、高音質バージョンに比べて構成が複雑でなく、電力消耗が相対的に少ないデコーディング方式をいう。
【００６２】
以下、デコーディング方式を高音質バージョンと低電力バージョンを例に挙げて説明するが、本発明は、これに限定されるものでなく、より多様なデコーディング方式が存在しうる。
【００６３】
図６は、本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。
【００６４】
図６を参照すると、本発明に係るデコーディング装置は、ダウンミックスデコーディング部１００ｃ及び多チャネルデコーディング部２００ｃを含むことができる。
【００６５】
図示したように、ダウンミックスデコーディング部１００ｃで信号処理されたダウンミックス信号ＸＴ４は、多チャネルデコーディング部２００ｃに伝送され、空間情報ＳＩ７またはＳＩ８と結合されて多チャネルオーディオ信号Ｍ１またはＭ２を生成する。信号処理されたダウンミックス信号ＸＴ４は、時間ドメイン上の信号である。
【００６６】
符号化されたダウンミックス信号ＤＢがダウンミックスデコーディング部１００ｃに伝送されて信号処理され、信号処理されたダウンミックス信号ＸＴ４は、多チャネルデコーディング部２００ｃに伝送され、二つのデコーディングバージョン（高音質バージョンまたは低電力バージョン）のうち何れか一つによって多チャネルオーディオ信号を生成する。
【００６７】
信号処理されたダウンミックス信号ＸＴ４が低電力バージョンでデコーディングされる場合、ダウンミックス信号ＸＴ４は、Ｐ２経路に沿って伝送されてデコーディングされる。信号処理されたダウンミックス信号ＸＴ４は、ドメイン変換部２４０ｃを経てリアル（Ｒｅａｌ）ＱＭＦドメイン上の信号ＸＲＱに変換される。
【００６８】
そして、変換されたダウンミックス信号ＸＲＱは、ドメイン変換部２５０ｃを経てコンプレックスＱＭＦドメイン上の信号ＸＣＱ２に変換される。コンプレックスＱＭＦドメイン上の信号ＸＣＱ２は、多チャネル生成部２６０ｃで空間情報ＳＩ８と結合された後、多チャネルオーディオ信号Ｍ２を生成する。
【００６９】
以上のように、ダウンミックス信号ＸＴ４を低電力デコーディングバージョンでデコーディングするとき、別途の遅延処理手順が必要でない。その理由は、オーディオ信号のエンコーディング時に、既に低電力バージョンでダウンミックス信号と空間情報との間の時間同期が合わせられてエンコーディングされたためである。すなわち、前記ダウンミックス信号ＸＲＱは、デコーディング遅延によって遅延されていない。
【００７０】
一方、信号処理されたダウンミックス信号ＸＴ４が高音質バージョンでデコーディングされる場合、ダウンミックス信号ＸＴ４は、Ｐ１経路に沿って伝送されてデコーディングされる。信号処理されたダウンミックス信号ＸＴ４は、ドメイン変換部２１０ｃを経てコンプレックスＱＭＦドメイン上の信号ＸＣＱ１に変換される。そして、変換されたダウンミックス信号ＸＣＱ１は、信号遅延処理部２２０ｃでダウンミックス信号ＸＣＱ１と空間情報ＳＩ７との間の時間同期差だけ遅延される。そして、遅延されたダウンミックス信号ＸＣＱ’は、多チャネル生成部２３０ｃで空間情報ＳＩ７と結合された後、多チャネルオーディオ信号Ｍ１を生成する。
【００７１】
上記のように、ダウンミックス信号ＸＣＱ１が信号遅延処理部２２０ｃを経る理由は、低電力バージョンが使用されると仮定してオーディオ信号がエンコーディングされることで、ダウンミックス信号ＸＣＱ１と空間情報ＳＩ７との間に時間同期差が発生するためである。
【００７２】
時間同期差は、使用されるデコーディング方式による時間遅延差を意味する。例えば、時間遅延差は、低電力バージョンのデコーディング方式と高音質バージョンのデコーディング方式との差のために発生しうる。前記時間遅延差は、ダウンミックス信号と空間情報信号とが結合される時点まで考慮される。その理由は、前記ダウンミックス信号と前記空間情報信号とが結合される時点まで、前記ダウンミックス信号と前記空間情報信号とを同期化させる必要がない場合もあるためである。
【００７３】
低電力バージョンでデコーディングを行う場合にダウンミックス信号ＸＣＱ２と空間情報ＳＩ８とが結合される時点まで発生する遅延時間と、高音質バージョンでデコーディングを行う場合にダウンミックス信号ＸＣＱ１’と空間情報ＳＩ７とが結合される時点まで発生する遅延時間とが同一になるように、前記時間同期差が決定される。時間遅延の単位としては、タイムサンプルを使用することもでき、タイムスロットを使用することもできる。
【００７４】
一方、ドメイン変換部２１０ｃで発生する遅延時間と、ドメイン変換部２４０ｃで発生する遅延時間とが同一である場合、信号遅延処理部２２０ｃは、ドメイン変換部２５０ｃで発生する遅延時間だけダウンミックス信号ＸＣＱ１を遅延させればよい。
【００７５】
図面に示した実施例では、２個のデコーディング方式が多チャネルデコーディング部２００ｃに存在する場合を例に挙げて説明したが、本発明では、多チャネルデコーディング部内に一つのデコーディング方式のみが存在することもある。
【００７６】
また、上述した実施例では、低電力バージョンでダウンミックス信号と空間情報との間の時間同期が合わせられた場合を例に挙げて説明したが、本発明は、高音質バージョンでダウンミックス信号と空間情報との間の時間同期が合わせられた場合も含む。この場合、低電力バージョンで時間同期が合わせられた場合と反対にダウンミックス信号をリーディングさせればよい。
【００７７】
図７は、本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。
【００７８】
図７を参照すると、本発明に係るデコーディング装置は、ダウンミックスデコーディング部１００ｄ及び多チャネルデコーディング部２００ｄで構成される。
【００７９】
ダウンミックスデコーディング部１００ｄで信号処理されたダウンミックス信号ＸＴ４は、多チャネルデコーディング部２００ｄに伝送され、空間情報ＳＩ７’またはＳＩ８と結合されて多チャネルオーディオ信号Ｍ３またはＭ２を生成する。信号処理されたダウンミックス信号ＸＴ４は、時間ドメイン上の信号である。
【００８０】
符号化されたダウンミックス信号ＤＢがダウンミックスデコーディング部１００ｄに伝送されて信号処理され、信号処理されたダウンミックス信号ＸＴ４は、多チャネルデコーディング部２００ｄに伝送され、二つのデコーディング方式（高音質方式または低電力方式）のうち何れか一つによって多チャネルオーディオ信号を生成する。
【００８１】
信号処理されたダウンミックス信号ＸＴ４が低電力方式でデコーディングされる場合、ダウンミックス信号ＸＴ４は、Ｐ４経路に沿って伝送されてデコーディングされる。信号処理されたダウンミックス信号ＸＴ４は、ドメイン変換部２４０ｄを経てリアルＱＭＦドメイン上の信号ＸＲＱに変換される。そして、変換されたダウンミックス信号ＸＲＱは、ドメイン変換部２５０ｄを経てコンプレックスＱＭＦドメイン上の信号ＸＣＱ２に変換される。前記ダウンミックス信号ＸＲＱの前記ダウンミックス信号ＸＣＱ２への変換は、コンプレックスドメイン変換の例として見なすことができる。
【００８２】
コンプレックスＱＭＦドメイン上の信号ＸＣＱ２は、多チャネル生成部２６０ｄで空間情報ＳＩ８と結合された後、多チャネルオーディオ信号Ｍ２を生成する。
【００８３】
以上のように、ダウンミックス信号ＸＴ４を低電力デコーディング方式でデコーディングするとき、別途の遅延処理手順が必要でない。その理由は、オーディオ信号のエンコーディング時に、既に低電力方式でダウンミックス信号と空間情報との間の時間同期が合わせられてエンコーディングされたためである。すなわち、前記空間情報ＳＩ８は、デコーディング遅延によって遅延されていない。
【００８４】
一方、信号処理されたダウンミックス信号ＸＴ４が高音質方式でデコーディングされる場合、ダウンミックス信号ＸＴ４は、Ｐ３経路に沿って伝送されてデコーディングされる。信号処理されたダウンミックス信号ＸＴ４は、ドメイン変換部２１０ｄを経てコンプレックスＱＭＦドメイン上の信号ＸＣＱ１に変換される。
【００８５】
そして、変換されたダウンミックス信号ＸＣＱ１は、多チャネル生成部２３０ｄに伝送されて空間情報ＳＩ７’と結合された後、多チャネルオーディオ信号Ｍ３を生成する。空間情報ＳＩ７’は、空間情報ＳＩ７が空間情報遅延処理部２２０ｄを経ることで時間遅延が補償された空間情報である。
【００８６】
上記のように、空間情報ＳＩ７が空間情報遅延処理部２２０ｄを経る理由は、低電力デコーディング方式が使用されると仮定してオーディオ信号がエンコーディングされることで、ダウンミックス信号ＸＣＱ１と空間情報ＳＩ７との間に時間同期差が発生するためである。
【００８７】
時間同期差は、使用されるデコーディング方式による時間遅延差を意味する。例えば、時間遅延差は、低電力バージョンのデコーディング方式と高音質バージョンのデコーディング方式との差のために発生しうる。前記時間遅延差は、ダウンミックス信号と空間情報信号とが結合される時点まで考慮される。その理由は、前記ダウンミックス信号と前記空間情報信号とが結合される時点まで、前記ダウンミックス信号と前記空間情報信号とを同期化させる必要がない場合もあるためである。
【００８８】
低電力バージョンでデコーディングを行う場合にダウンミックス信号ＸＣＱ２と空間情報ＳＩ８とが結合される時点まで発生する遅延時間と、高音質バージョンでデコーディングを行う場合にダウンミックス信号ＸＣＱ’と空間情報ＳＩ７’とが結合される時点まで発生する遅延時間とが同一になるように、前記時間同期差が決定される。時間遅延の単位としては、タイムサンプルを使用することもでき、タイムスロットを使用することもできる。
【００８９】
一方、ドメイン変換部２１０ｄで発生する遅延時間と、ドメイン変換部２４０ｄで発生する遅延時間とが同一である場合、空間情報遅延処理部２２０ｄは、ドメイン変換部２５０ｄで発生する遅延時間だけ空間情報ＳＩ７をリーディングさせればよい。
【００９０】
図面に示した実施例では、２個のデコーディング方式が多チャネルデコーディング部２００ｄに存在する場合を例に挙げて説明したが、本発明では、多チャネルデコーディング部内に一つのデコーディング方式のみが存在することもある。
【００９１】
また、上述した実施例では、低電力バージョンでダウンミックス信号と空間情報との間の時間同期が合わせられた場合を例に挙げて説明したが、本発明は、高音質バージョンでダウンミックス信号と空間情報との間の時間同期が合わせられた場合も含む。この場合、低電力バージョンで時間同期が合わせられた場合と反対に空間情報をラギングさせればよい。
【００９２】
また、図６乃至図７に示すように、多チャネルデコーディング部２００ｃまたは２００ｄ内に信号遅延処理部２２０ｃまたは空間情報遅延処理部２２０ｄのうち一つのみがある場合を例に挙げて説明したが、本発明は、多チャネルデコーディング部内に空間情報遅延処理部と信号遅延処理部とが同時にある場合も含む。この場合、空間情報遅延処理部２２０ｄで遅延補償する時間と信号遅延処理部２２０ｃで遅延補償する時間との合計は、時間同期差と同一でなければならない。
【００９３】
以上、複数個のダウンミックス連結ドメインが存在することから発生する時間同期差補償方法と、複数個のデコーディング方式が存在することから発生する時間同期差補償方法に対して説明した。
【００９４】
以下では、複数個のダウンミックス連結ドメインが存在するとともに、複数個のデコーディング方式が存在することから発生する時間同期差補償方法に対して説明する。
【００９５】
図８は、本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。
【００９６】
図８を参照すると、本発明に係るデコーディング装置は、ダウンミックスデコーディング部１００ｅ及び多チャネルデコーディング部２００ｅを含むことができる。
【００９７】
図示したように、本発明の一実施例に係るオーディオ信号の処理方法によると、ダウンミックスデコーディング部１００ｅで信号処理されたダウンミックス信号は、二つのドメインのうち何れか一つのドメイン上で多チャネルデコーディング部２００ｅに伝送される。本実施例において、ダウンミックス信号と空間情報は、ＱＭＦドメイン上で低電力バージョンに基づいて時間同期が合わせられたと仮定して説明するが、本発明は、これに限定されるものでなく、多様な変形が可能である。
【００９８】
まず、ＱＭＦドメイン上で処理されたダウンミックス信号ＸＱ５が多チャネルデコーディング部２００ｅに伝送されて信号処理される方法を説明する。この場合、前記ダウンミックス信号ＸＱ５は、コンプレックスＱＭＦ信号ＸＣＱ５及び実際のＱＭＦ信号ＸＲＱ５のうち何れか一つである。前記コンプレックスＱＭＦ信号ＸＣＱ５は、ダウンミックスデコーディング部１００ｅで高音質デコーディング方式によって処理された信号である。そして、前記実際のＱＭＦ信号ＸＲＱ５は、ダウンミックスデコーディング部１００ｅで低電力デコーディング方式によって処理された信号である。
【００９９】
本発明の実施例において、前記ダウンミックスデコーディング部１００ｅで高音質デコーディング方式によって処理された信号は、高音質デコーディング方式の多チャネルデコーディング部２００ｅと連結されており、前記ダウンミックスデコーディング部１００ｅで低電力デコーディング方式によって処理された信号は、低電力デコーディング方式の多チャネルデコーディング部２００ｅと連結されていると仮定する。
【０１００】
図示したように、信号処理されたダウンミックス信号ＸＱ５が低電力バージョンでデコーディングされる場合、ダウンミックス信号ＸＱ５は、Ｐ６経路に沿って伝送されてデコーディングされる。ここで、前記ダウンミックス信号ＸＱ５は、実際のＱＭＦドメインのダウンミックス信号ＸＲＱ５である。
【０１０１】
前記ダウンミックス信号ＸＲＱ５は、多チャネル生成部２３１ｅで空間情報ＳＩ１０と結合された後、多チャネルオーディオ信号Ｍ５を生成する。
【０１０２】
以上のように、ダウンミックス信号ＸＱ５を低電力デコーディングバージョンでデコーディングするとき、別途の遅延処理手順が必要でない。その理由は、オーディオ信号のエンコーディング時に、既に低電力バージョンでダウンミックス信号と空間情報との間の時間同期が合わせられてエンコーディングされたためである。
【０１０３】
一方、信号処理されたダウンミックス信号ＸＱ５が高音質バージョンでデコーディングされる場合、ダウンミックス信号ＸＱ５は、Ｐ５経路に沿って伝送されてデコーディングされる。ここで、前記ダウンミックス信号ＸＱ５は、コンプレックスＱＭＦドメインのダウンミックス信号ＸＣＱ５である。前記ダウンミックス信号ＸＣＱ５は、多チャネル生成部２３０ｅで空間情報ＳＩ９と結合された後、多チャネルオーディオ信号Ｍ４を生成する。
【０１０４】
以下、時間ドメイン上で処理されたダウンミックス信号ＸＴ５が多チャネルデコーディング部２００ｅに伝送されて信号処理される方法を説明する。
【０１０５】
ダウンミックスデコーディング部１００ｅで信号処理されたダウンミックス信号ＸＴ５は、多チャネルデコーディング部２００ｅに伝送され、空間情報ＳＩ１１またはＳＩ１２と結合されて多チャネルオーディオ信号Ｍ６またはＭ７を生成する。
【０１０６】
ダウンミックス信号ＸＴ５は、多チャネルデコーディング部２００ｅに伝送され、二つのデコーディング方式（高音質デコーディング方式または低電力デコーディング方式）のうち何れか一つによって多チャネルオーディオ信号を生成する。
【０１０７】
信号処理されたダウンミックス信号ＸＴ５が低電力デコーディング方式でデコーディングされる場合、ダウンミックス信号ＸＴ５は、Ｐ８経路に沿って伝送されてデコーディングされる。信号処理されたダウンミックス信号ＸＴ５は、ドメイン変換部２４１ｅを経てリアルＱＭＦドメイン上の信号ＸＲに変換される。
【０１０８】
そして、変換されたダウンミックス信号ＸＲは、ドメイン変換部２５０ｅを経てコンプレックスＱＭＦドメイン上の信号ＸＣ２に変換される。前記ダウンミックス信号ＸＲの前記信号ＸＣ２への変換は、コンプレクシティドメイン変換の一例である。
【０１０９】
コンプレックスＱＭＦドメイン上の信号ＸＣ２は、多チャネル生成部２３３ｅで空間情報ＳＩ１２’と結合された後、多チャネルオーディオ信号Ｍ７を生成する。
【０１１０】
空間情報ＳＩ１２’は、空間情報ＳＩ１２が空間情報遅延処理部２４０ｅを経ることで時間遅延が補償された空間情報である。  
【０１１１】
上記のように、空間情報ＳＩ１２が空間情報遅延処理部２４０ｅを経る理由は、低電力デコーディング方式でダウンミックス信号と空間情報との間の時間同期が合わせられたドメインをＱＭＦドメインであると仮定して、オーディオ信号がエンコーディングされることで、ダウンミックス信号ＸＣ２と空間情報ＳＩ１２との間に時間同期差が発生するためである。ここで、前記遅延された空間情報ＳＩ１２’は、エンコーディング遅延及びデコーディング遅延によって遅延されたものである。
【０１１２】
一方、信号処理されたダウンミックス信号ＸＴ５が高音質デコーディング方式でデコーディングされる場合、ダウンミックス信号ＸＴ５は、Ｐ７経路に沿って伝送されてデコーディングされる。信号処理されたダウンミックス信号ＸＴ５は、ドメイン変換部２４０ｅを経てコンプレックスＱＭＦドメイン上の信号ＸＣ１に変換される。
【０１１３】
そして、変換されたダウンミックス信号ＸＣ１と前記空間情報ＳＩ１１は、それぞれ信号遅延処理部２５０ｅと空間情報遅延処理部２６０ｅでダウンミックス信号ＸＣ１と空間情報ＳＩ１１との間の時間同期差だけ時間遅延が補償される。
【０１１４】
そして、時間遅延が補償されたダウンミックス信号ＸＣ１’は、多チャネル生成部２３２ｅで空間情報ＳＩ１１と結合された後、多チャネルオーディオ信号Ｍ６を生成する。
【０１１５】
したがって、ダウンミックス信号ＸＣ１は信号遅延処理部２５０ｅを通過し、空間情報ＳＩ１１は空間情報遅延処理部２６０ｅを通過する。その理由は、低電力デコーディング方式でダウンミックス信号と空間情報との間の時間同期が合わせられたドメインをＱＭＦドメインであると仮定して、オーディオ信号がエンコーディングされることで、ダウンミックス信号ＸＣ２と空間情報ＳＩ１２との間に時間同期差が発生するためである。
【０１１６】
図９は、本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。
【０１１７】
図９を参照すると、本発明に係るデコーディング装置は、ダウンミックスデコーディング部１００ｆ及び多チャネルデコーディング部２００ｆを含むことができる。
【０１１８】
エンコーディングされたダウンミックス信号ＤＢ１は、ダウンミックスデコーディング部１００ｆに伝送されて処理される。前記ダウンミックス信号ＤＢ１は、二つのダウンミックスデコーディング方式を考慮してエンコーディングされた信号である。前記二つのダウンミックスデコーディング方式は、第１デコーディング方式及び第２デコーディング方式を含むことができる。前記ダウンミックス信号ＤＢ１は、ダウンミックスデコーディング部１００ｆで一つのダウンミックスデコーディング方式によって処理される。前記一つのダウンミックスデコーディング方式は、前記第１デコーディング方式である。
【０１１９】
前記処理されたダウンミックス信号ＸＴ６は、多チャネルオーディオ信号Ｍｆを生成するために多チャネルデコーディング部２００ｆに伝送される。
【０１２０】
前記処理されたダウンミックス信号ＸＴ６’は、信号処理部２１０ｆでデコーディング遅延によって遅延される。前記ダウンミックス信号ＸＴ６’が遅延される理由は、エンコーディングで考慮されたダウンミックスデコーディング方式が、デコーディングで使用されたデコーディング方式と異なるためである。したがって、前記環境によって、前記ダウンミックス信号ＸＴ６’をアップサンプリングする必要がある。
【０１２１】
前記遅延されたダウンミックス信号ＸＴ６’は、アップサンプリング部２２０ｆでアップサンプルされる。前記ダウンミックス信号ＸＴ６’がアップサンプルされる理由は、前記ダウンミックス信号ＸＴ６’のサンプル数が前記空間情報ＳＩ１３のサンプル数と異なるためである。
【０１２２】
前記ダウンミックス信号ＸＴ６の遅延処理と前記ダウンミックス信号ＸＴ６’のアップサンプリング処理の順序は、互いに変わり得る。
【０１２３】
前記アップサンプルされたダウンミックス信号ＵＸＴ６のドメインは、ドメイン処理部２３０ｆで変換される。前記ダウンミックス信号ＵＸＴ６のドメイン変換は、周波数／時間ドメイン変換及びコンプレクシティドメイン変換を含むことができる。
【０１２４】
そして、前記ドメインが変換されたダウンミックス信号ＵＸＴ６は、多チャネル生成部２６０ｄで空間情報ＳＩ１３と結合され、多チャネルオーディオ信号Ｍｆを生成する。
【０１２５】
以上、ダウンミックス信号と空間情報との間に時間同期差が発生した場合、これを補償する方法に関して説明した。
【０１２６】
以下では、上述した多様な方法によって生成された多チャネルオーディオ信号と時系列データとの間に時間同期差が発生した場合、これを補償する方法に対して説明する。
【０１２７】
図１０は、本発明の一実施例に係るオーディオ信号のデコーディング装置を示したブロック図である。図１０を参照すると、本発明の一実施例に係るオーディオデコーディング装置は、時系列データデコーディング部１０及び多チャネルオーディオ信号の処理部２０を含むことができる。
【０１２８】
図示したように、多チャネルオーディオ信号処理装置２０は、ダウンミックスデコーディング部２１、多チャネルデコーディング部２２及び時間遅延補償部２３を含むことができる。
【０１２９】
まず、符号化されたダウンミックス信号の一例であるダウンミックスビットストリームＩＮ２は、ダウンミックスデコーディング部２１に印加されてデコーディングされる。ここで、ダウンミックスビットストリームＩＮ２は、二つのドメイン上でデコーディングされて出力される。出力されるドメインは、時間ドメイン及びＱＭＦドメインである。参照番号５０は、時間ドメインでデコーディングされて出力されるダウンミックス信号で、参照番号５１は、ＱＭＦドメインでデコーディングされて出力されるダウンミックス信号である。本実施例では、二つの場合のドメインのみを言及したが、本発明は、これに限定されるものでなく、それ以上のドメインでデコーディングされて出力されるダウンミックス信号も含む。
【０１３０】
また、上記のような方法でデコーディングされたダウンミックス信号５０、５１は、多チャネルデコーディング部２２に伝送され、二つのデコーディング方式２２Ｈ、２２Ｌでデコーディングされる。参照番号２２Ｈは高音質デコーディング方式で、参照番号２２Ｌは低電力デコーディング方式である。
【０１３１】
本発明の一実施例では、二つのデコーディング方式のみを言及しているが、本発明は、これに限定されるものでなく、より多様なデコーディング方式から選択することも可能である。
【０１３２】
まず、時間ドメイン上でデコーディングされて出力されるダウンミックス信号５０は、二つの経路Ｐ９、Ｐ１０を選択してデコーディングされるが、Ｐ９は高音質バージョン２２Ｈでデコーディングされる経路で、Ｐ１０は低電力バージョン２２Ｌでデコーディングされる経路である。
【０１３３】
したがって、Ｐ９経路に沿って伝送されたダウンミックス信号５０は、高音質バージョン２２Ｈによって空間情報ＳＩと結合された後、多チャネルオーディオ信号ＭＨＴを生成する。Ｐ４経路に沿って伝送されたダウンミックス信号５０は、低電力バージョン２２Ｌによって空間情報ＳＩと結合された後、多チャネルオーディオ信号ＭＬＴを生成する。
【０１３４】
また、ＱＭＦドメイン上でデコーディングされて出力されたダウンミックス信号５１は、二つの経路Ｐ１１、Ｐ１２を選択してデコーディングされるが、Ｐ１１は高音質バージョン２２Ｈでデコーディングされる経路で、Ｐ１２は低電力バージョン２２Ｌでデコーディングされる経路である。
【０１３５】
したがって、Ｐ１１経路に沿って伝送されたダウンミックス信号５１は、高音質バージョン２２Ｈによって空間情報ＳＩと結合された後、多チャネルオーディオ信号ＭＨＱを生成する。Ｐ１２経路に沿って伝送されたダウンミックス信号５１は、低電力バージョン２２Ｌによって空間情報ＳＩと結合された後、多チャネルオーディオ信号ＭＬＱを生成する。
【０１３６】
上述した方法によって生成された多チャネルオーディオ信号ＭＨＴ、ＭＨＱ、ＭＬＴ、ＭＬＱのうち少なくとも一つは、時間遅延補償部２３で時間遅延補償過程を経た後で出力される（ＯＵＴ２、ＯＵＴ３、ＯＵＴ４、ＯＵＴ５）。
【０１３７】
本実施例において、時間遅延補償過程とは、例えば、時系列デコーディング部１０でデコーディングされて出力される時系列データＯＵＴ１と、上述した多チャネルオーディオ信号ＭＨＴとの間の時間同期が合せられたと仮定するとき、時間同期がずれた多チャネルオーディオ信号ＭＨＱ、ＭＬＴ、ＭＬＱを多チャネルオーディオ信号ＭＨＴと比較し、時間遅延の発生を防止することを意味する。もちろん、時系列データＯＵＴ１と、上述した多チャネルオーディオ信号ＭＨＴ以外の他の多チャネルオーディオ信号ＭＨＱ、ＭＬＴ、ＭＬＱのうち何れか一つとの間の時間同期が合せられたとき、時間同期がずれた残りの他の多チャネルオーディオ信号の時間遅延を補償し、時系列データＯＵＴ１との時間同期を合せることも含まれる。
【０１３８】
一方、時系列データＯＵＴ１と多チャネルオーディオ信号ＭＨＴ、ＭＨＱ、ＭＬＴ、ＭＬＱが一緒に処理されない場合にも、時間遅延補償過程を行うことができる。例えば、多チャネルオーディオ信号ＭＨＴの時間遅延を補償し、多チャネルオーディオ信号ＭＬＴと比較した結果を用いて時間遅延の発生を防止する。もちろん、その他の形態にも多様化される。
【０１３９】
本発明は、上述した実施例に限定されるものでなく、添付された特許請求の範囲から分かるように、本発明の属する分野で通常の知識を有する者によって変形が可能であり、このような変形は本発明の範囲に属する。
【産業上の利用可能性】
【０１４０】
第１に、本発明に係るオーディオ信号の処理方法は、ダウンミックス信号と空間情報との間に時間同期差が発生した場合、これを補償して音質低下を防止できるという効果がある。
【０１４１】
第２に、また、本発明に係るオーディオ信号の処理方法は、動画像、テキスト及びイメージなどの時系列データと一緒に処理される多チャネルオーディオ信号と時系列データとの間の時間同期差を補償できるという効果がある。
【図面の簡単な説明】
【０１４２】
【図１】本発明の一実施例に係るオーディオ信号のデコーディング装置のブロック図である。
【図２】本発明の一実施例に係るオーディオ信号のデコーディング装置のブロック図である。
【図３】本発明の一実施例に係るオーディオ信号のデコーディング装置のブロック図である。
【図４】図１に示した多チャネルデコーディング部で信号処理される方法を説明するためのブロック図である。
【図５】図２に示した多チャネルデコーディング部で信号処理される方法を説明するためのブロック図である。
【図６】本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。
【図７】本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。
【図８】本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。
【図９】本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。
【図１０】本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。
【図１】
2009512902.tif 000003
【図２】
2009512902.tif 000004
【図３】
2009512902.tif 000005
【図４】
2009512902.tif 000006
【図５】
2009512902.tif 000007
【図６】
2009512902.tif 000008
【図７】
2009512902.tif 000009
【図８】
2009512902.tif 000010
【図９】
2009512902.tif 000011
【図１０】
2009512902.tif 000012
【手続補正書】
【提出日】平成20年8月11日(2008.8.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ダウンミックス信号のデコーディング方式を表すダウンミックスコーディング識別子を含むオーディオ信号を受信する段階と、
前記ダウンミックスコーディング識別子に対応するデコーディング方式によって前記ダウンミックス信号を処理する段階と、
前記処理されたダウンミックス信号のドメインを変換する段階と、
前記変換されたダウンミックス信号と空間情報とを結合する段階と、を有し
前記結合された空間情報は、前記変換過程で経過した時間に基づいて遅延される、
ことを特徴とするオーディオ信号処理方法。
【請求項２】
前記ダウンミックスコーディング識別子は、前記ダウンミックスされた信号と前記空間情報との間の時間同期が合わせられたドメインを表す情報を提供する、請求項１に記載のオーディオ信号処理方法。
【請求項３】
前記空間情報は、エンコーディング遅延及びデコーディング遅延のうち少なくとも一つによって遅延される、請求項２に記載のオーディオ信号処理方法。
【請求項４】
前記変換段階は、時間ドメイン信号から周波数ドメイン信号への変換を含む、請求項３に記載のオーディオ信号処理方法。
【請求項５】
前記周波数ドメインは、ＱＭＦドメインを含む、請求項４に記載のオーディオ信号処理方法。
【請求項６】
前記結合されたダウンミックス信号及び前記結合された空間情報を用いて多チャネル信号を生成する段階と、
前記多チャネル信号と時系列データとの間の時間同期差を補償する段階と、をさらに有する請求項５に記載のオーディオ信号処理方法。
【請求項７】
前記時系列データは、動画像、イメージ及びテキストのうち少なくとも一つを含む、請求項６に記載のオーディオ信号処理方法。
【請求項８】
ダウンミックス信号のデコーディング方式を表すダウンミックスコーディング識別子を含むオーディオ信号を受信し、前記デコーディング方式によって前記ダウンミックス信号をデコーディングするように構成されたデコーダと、
前記デコーダーと連結されて動作し、前記デコーディングされたダウンミックス信号を第１ドメインから第２ドメインに変換し、変換されたダウンミックス信号を提供するように構成されたコンバーターと、
前記コンバーターと連結されて動作し、前記変換されたダウンミックス信号または前記空間情報のうち少なくとも一つに対して前記変換による時間遅延を補償し、前記変換されたダウンミックス信号と空間情報とを結合するように構成された多チャネルプロセッサと、
を有することを特徴とするオーディオ信号処理システム。
【請求項９】
前記ダウンミックスコーディング識別子は、前記ダウンミックスされた信号と前記空間情報との間の時間同期が合わせられたドメインを表す情報を提供する、請求項８に記載のオーディオ信号処理システム。
【請求項１０】
前記空間情報は、エンコーディング遅延及びデコーディング遅延のうち少なくとも一つによって遅延される、請求項９に記載のオーディオ信号処理システム。
【請求項１１】
前記変換段階は、時間ドメイン信号から周波数ドメイン信号への変換を含む、請求項８に記載のオーディオ信号処理システム。
【請求項１２】
前記周波数ドメインは、ＱＭＦドメインを含む、請求項１１に記載のオーディオ信号処理システム。
【請求項１３】
前記結合されたダウンミックス信号及び前記結合された空間情報を用いて多チャネル信号を生成する段階と、
前記多チャネル信号と時系列データとの間の時間同期差を補償する段階と、をさらに有することを特徴とする請求項１２に記載のオーディオ信号処理システム。
【請求項１４】
前記時系列データは、動画像、イメージ及びテキストのうち少なくとも一つを含む、請求項１３に記載のオーディオ信号処理システム。
【請求項１５】
ダウンミックス信号のデコーディング方式を表すダウンミックスコーディング識別子を含むオーディオ信号を受信する段階と、
前記ダウンミックスコーディング識別子に対応するデコーディング方式によって前記ダウンミックス信号を処理する段階と、
前記処理されたダウンミックス信号のドメインを変換する段階と、
前記変換されたダウンミックス信号または前記空間情報のうち少なくとも一つに対して前記変換による時間遅延を補償する段階と、
前記変換されたダウンミックス信号と空間情報とを結合する段階と、
をプロセッサが行うようにする指示情報を保存することを特徴とするコンピュータで読み取り可能な記録媒体。
【請求項１６】
ダウンミックス信号のデコーディング方式を表すダウンミックスコーディング識別子を含むオーディオ信号を受信する手段と、
前記ダウンミックスコーディング識別子に対応するデコーディング方式によって前記ダウンミックス信号を処理する手段と、
前記処理されたダウンミックス信号のドメインを変換する手段と、
前記変換されたダウンミックス信号または前記空間情報のうち少なくとも一つに対して前記変換による時間遅延を補償する手段と、
前記変換されたダウンミックス信号と空間情報とを結合する手段と、
を有することを特徴とするオーディオ信号処理システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
したがって、オーディオ信号のドメインは、オーディオ信号処理過程で変換される。前記オーディオ信号のドメインの変換は、時間／周波数ドメイン変換及びコンプレックスドメイン変換を含むことができる。前記時間／周波数ドメイン変換は、時間ドメイン信号の周波数ドメイン信号への変換、及び周波数ドメイン信号の時間ドメイン信号への変換のうち少なくとも一つを含むことができる。前記コンプレックスドメイン変換は、前記オーディオ信号処理動作でのコンプレックスによるドメイン変換を意味する。また、前記コンプレックスドメイン変換は、リアル周波数ドメインにある信号のコンプレックス（ｃｏｍｐｌｅｘ）周波数ドメインへの変換、及びコンプレックス周波数ドメインにある信号のリアル周波数ドメインへの変換などを含むことができる。オーディオ信号が時間配列を考慮せずに処理される場合、音質が低下するおそれがある。遅延過程は、前記配列過程で行われる。前記遅延過程は、エンコーディング遅延及びデコーディング遅延のうち少なくとも一つを含むことができる。前記エンコーディング遅延は、エンコーディング過程において考慮された遅延によって信号が遅延されることを意味する。前記デコーディング遅延は、デコーディングする間に表れた実際の時間遅延を意味する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本明細書におけるオーディオ信号のデコーディングは、信号処理方法の一例になり得る。また、本発明は、他の種類の信号処理にも適用される。例えば、ビデオ信号の処理方法にも適用される。本明細書の各実施例は、多様な種類のドメインで表現可能な多様な信号を含むように修正される。前記ドメインは、時間、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ  Ｍｉｒｒｏｒ  Ｆｉｌｔｅｒ）、ＭＤＣＴ（Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｅｔ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）、コンプレックスなどを含むことができるが、これに限定されることはない。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
図示したように、信号処理されたダウンミックス信号ＸＱ５が低電力バージョンでデコーディングされる場合、ダウンミックス信号ＸＱ５は、Ｐ６経路に沿って伝送されてデコーディングされる。ここで、前記ダウンミックス信号ＸＱ５は、リアルＱＭＦドメインのダウンミックス信号ＸＲＱ５である。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１０８
【補正方法】変更
【補正の内容】
【０１０８】
そして、変換されたダウンミックス信号ＸＲは、ドメイン変換部２５０ｅを経てコンプレックスＱＭＦドメイン上の信号ＸＣ２に変換される。前記ダウンミックス信号ＸＲの前記信号ＸＣ２への変換は、コンプレックスドメイン変換の一例である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１２３
【補正方法】変更
【補正の内容】
【０１２３】
前記アップサンプルされたダウンミックス信号ＵＸＴ６のドメインは、ドメイン処理部２３０ｆで変換される。前記ダウンミックス信号ＵＸＴ６のドメイン変換は、周波数／時間ドメイン変換及びコンプレックスドメイン変換を含むことができる。
【国際調査報告】
2009512902.tif 000013
2009512902.tif 000014