(57)【特許請求の範囲】
【請求項１】
ビットストリームから空間情報及び第１帯域に対応する狭帯域ダウンミックス信号を受信するステップと、
オーディオコーディング方式及び音声コーディング方式の１つを用いて、前記狭帯域ダウンミックス信号をデコーディングするステップであって、該音声コーディング方式は線形予測符号化を含むステップと、
前記狭帯域ダウンミックス信号から前記第１帯域に対応するスペクトルデータを取得するステップと、
前記第１帯域の部分帯域に対応するコピーバンドの周波数情報に基づいて該コピーバンドを決定するステップと、
前記コピーバンドのスペクトルデータを用いて、第２帯域に対応するターゲットバンドのスペクトルデータを生成するステップと、
前記ターゲットバンドの前記スペクトルデータと前記第１帯域の前記スペクトルデータを有する広帯域ダウンミックス信号、及び前記空間情報を用いて、出力信号を生成するステップと、
を有し、
前記コピーバンドは、前記第１帯域の上部に存在し、
前記ターゲットバンドの前記スペクトルデータは、時間拡張ステップとデシメーションステップの組み合わせにより生成され、該時間拡張ステップは、フェーズボコーダ方式を用いて時間領域信号を拡張するためのものである、オーディオ信号処理方法。
【請求項２】
前記デシメーションステップは、前記時間拡張ステップの後に実行される、請求項１に記載のオーディオ信号処理方法。
【請求項３】
前記空間情報は、前記広帯域ダウンミックス信号をアップミックスすることにより、前記出力信号を生成するために使用され、チャネルレベル差情報、チャネル間相関情報、チャネル予測係数、及びダウンミックスゲイン情報の少なくとも１つを有する、請求項１に記載のオーディオ信号処理方法。
【請求項４】
前記コピーバンドの前記周波数情報は、開始周波数、開始バンド及び該開始バンドを示すインデックス情報の少なくとも１つを有する、請求項１に記載のオーディオ信号処理方法。
【請求項５】
前記ターゲットバンドの前記スペクトルデータは、前記コピーバンドと前記ターゲットバンドのスペクトルデータの間のゲインに該当するゲイン情報及び前記コピーバンドのハーモニック情報の少なくとも１つを用いて生成される、請求項１に記載のオーディオ信号処理方法。
【請求項６】
ビットストリームから空間情報及び第１帯域に対応する狭帯域ダウンミックス信号を受信するデマルチプレクサと、
オーディオコーディング方式を用いて、前記狭帯域ダウンミックス信号をデコーディングするオーディオ信号デコーディング部と、
線形予測符号化を含む音声コーディング方式を用いて、前記狭帯域ダウンミックス信号をデコーディングする音声信号デコーディング部と、
前記狭帯域ダウンミックス信号から前記第１帯域に対応するスペクトルデータを取得し、前記第１帯域の部分帯域に対応するコピーバンドの周波数情報に基づいて該コピーバンドを決定するコピーバンド決定部と、
前記コピーバンドのスペクトルデータを用いて、第２帯域に対応するターゲットバンドのスペクトルデータを生成するターゲットバンド情報生成部と、
前記ターゲットバンドの前記スペクトルデータと前記第１帯域の前記スペクトルデータを有する広帯域ダウンミックス信号、及び前記空間情報を用いて、出力信号を生成するマルチチャネルデコーディング部と、
を有し、
前記コピーバンドは、前記第１帯域の上部に存在し、
前記ターゲットバンドの前記スペクトルデータは、フィルタリングステップ、時間拡張ステップ及びデシメーションステップの組み合わせにより生成され、該時間拡張ステップは、フェーズボコーダ方式を用いて時間領域信号を拡張するためのものである、オーディオ信号処理装置。
【請求項７】
前記デシメーションステップは、前記時間拡張ステップの後に実行される、請求項６に記載のオーディオ信号処理装置。
【請求項８】
前記空間情報は、前記広帯域ダウンミックス信号をアップミックスすることにより、前記出力信号を生成するために使用され、チャネルレベル差情報、チャネル間相関情報、チャネル予測係数、及びダウンミックスゲイン情報の少なくとも１つを有する、請求項６に記載のオーディオ信号処理装置。
【請求項９】
前記コピーバンドの前記周波数情報は、開始周波数、開始バンド及び該開始バンドを示すインデックス情報の１つを有する、請求項６に記載のオーディオ信号処理装置。
【請求項１０】
前記ターゲットバンドの前記スペクトルデータは、前記コピーバンドと前記ターゲットバンドのスペクトルデータの間のゲインに該当するゲイン情報及び前記コピーバンドのハーモニック情報の少なくとも１つを用いて生成される、請求項６に記載のオーディオ信号処理装置。
【請求項１１】
オーディオデコーディング方式を実行するためのコンピュータプログラムを記録するコンピュータ読み取り可能な記録媒体において、該オーディオデコーディング方式は、
ビットストリームから空間情報及び第１帯域に対応する狭帯域ダウンミックス信号を受信するステップと、
オーディオコーディング方式及び音声コーディング方式の１つを用いて、前記狭帯域ダウンミックス信号をデコーディングするステップであって、該音声コーディング方式は線形予測符号化を含むステップと、
前記狭帯域ダウンミックス信号から前記第１帯域に対応するスペクトルデータを取得するステップと、
前記第１帯域の部分帯域に対応するコピーバンドの周波数情報に基づいて該コピーバンドを決定するステップと、
前記コピーバンドのスペクトルデータを用いて、第２帯域に対応するターゲットバンドのスペクトルデータを生成するステップと、
前記ターゲットバンドの前記スペクトルデータと前記第１帯域の前記スペクトルデータを有する広帯域ダウンミックス信号、及び前記空間情報を用いて、出力信号を生成するステップと、
を有し、
前記コピーバンドは、前記第１帯域の上部に存在し、
前記ターゲットバンドの前記スペクトルデータは、フィルタリングステップ、時間拡張ステップ及びデシメーションステップの組み合わせにより生成され、該時間拡張ステップは、フェーズボコーダ方式を用いて時間領域信号を拡張するためのものである、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号を処理する装置及びその方法に関するものである。本発明は、広い範囲のアプリケーションに適応するが、特に、信号のスペクトルデータを用いてオーディオ信号をエンコーディング及びデコーディングすることに適する。
【背景技術】
【０００２】
一般に、信号特性を用いたオーディオ信号の処理において、互いに異なる帯域の信号間の特性に基づいてオーディオ信号は処理される。
【０００３】
従来技術は、互いに異なる帯域の信号間の特性に基づいてオーディオ信号を効果的に処理するには不十分である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、信号を処理する装置、及びその方法に向いており、関連する技術の制限や不利点による１以上の問題を実質的に取り除く。
【０００５】
本発明の目的は、互いに異なる帯域の信号間の特性に基づいてオーディオ信号を処理することができる信号処理装置、及びその方法を提供することにある。
【０００６】
本発明の他の目的は、特定帯域の複数スペクトルデータから適切なスペクトルデータを選択する方法で、異なる帯域におけるスペクトルデータを取得することができる信号処理装置、及びその方法を提供することにある。
【０００７】
本発明の更なる目的は、音声信号及びオーディオ信号などの互いに異なる特性を有する信号をその対応する特性に適した方式により処理するにもかかわらず、ビットレートを最小化することができる信号処理装置、及びその方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の更なる特性と利点は、以下の記載で説明され、当該記載から一部が明らかとなり、又は本発明の実施により知ることができる。本発明の目的とその他の利点は、明細書、特許請求の範囲、図面で特に示される構成により、実現され、及び達成される。
【０００９】
実例化され、広範に記載されるように、これらの、及びその他の利点を達成するために、並びに本発明の目的に従い、本発明に係る信号処理装置は、コピーバンド決定部、帯域拡張情報受信部及びターゲットバンド生成部を有する。前記ターゲットバンド生成部は、時間拡張／圧縮部及びデシメーション部を含み、フィルタリング部をさらに含むことができる。
【００１０】
前記コピーバンド決定部は、低周波帯域及び高周波帯域からなる周波数帯域において、前記低周波帯域に対応するスペクトルデータを受信し、前記低周波帯域の部分帯域に対応するコピーバンドの周波数情報に基づいて前記コピーバンドを決定する。
【００１１】
帯域拡張情報取得部は、前記コピーバンドからターゲットバンドを生成するための付加情報を取得し、前記付加情報はビットストリームから取得することができる。前記付加情報は、ゲイン情報、ハーモニック（harmonic）情報などを含むことができる。
【００１２】
前記ターゲット情報生成部は、前記コピーバンドのスペクトルデータを用いて、前記高周波領域に対応するターゲットバンドのスペクトルデータを生成する。ここで、前記コピーバンドは、前記低周波帯域の上部に存在することができる。低周波帯域に存在するコピーバンドを用いて高周波帯域を生成することもでき、その逆に、高周波帯域に存在するコピーバンドを用いて低周波帯域を生成することもできる。
【００１３】
前記ターゲットバンド生成部は、時間拡張／圧縮部及びデシメーション部を含み、フィルタリング部をさらに含むことができる。すなわち、前記コピーバンドは、ビットストリームから取得することもでき、受信されたスペクトルデータをフィルタリングして取得することもできる。
【００１４】
ここで、前記コピーバンドの周波数情報は、開始周波数、開始バンド及びこれを示すインデックス情報のうち一つであって、前記ターゲットバンドのスペクトルデータは、前記コピーバンドのスペクトルデータと前記ターゲットバンドのスペクトルデータとの間のゲインに該当するゲイン情報及び前記コピーバンドのハーモニック情報のうち一つ以上を用いて生成される。前記低周波帯域のスペクトルデータは、オーディオ信号及び音声信号のうち一つによってデコーディングされる。
【００１５】
本発明は、既存のＡＡＣ、ＡＣ３、ＡＭＲなどのコアコーディング又は今後のコアコーディングに適用される。以下では、ダウンミックス信号に適用される場合を基準にして説明するが、これに限定されることはない。
【００１６】
当然のことであるが、前記の一般的な記載、及び以下の詳細な記載の両方は、典型的なもの、説明的なものであり、請求項に記載される本発明の更なる説明を提供することを目的とする。
【発明の効果】
【００１７】
本発明は、次のような効果と利点を提供する。
【００１８】
第一に、音声信号の特性を有する信号は音声信号としてデコーディングし、オーディオ信号の特性を有する信号はオーディオ信号としてデコーディングするので、各信号の特性に符合するデコーディング方式を適応的に選択することができる。
【００１９】
第二に、伝送されたスペクトルデータのうち最も適切なスペクトルデータを選択することによって、他の帯域のスペクトルデータを取得するので、オーディオ信号の復元率を高めることができる。
【００２０】
第三に、エンコーダから伝送された開始バンド情報を用いてスペクトルデータを選択するので、スペクトルデータの選択において正確度を高めることができ、演算に必要な複雑度を減少させることができる。
【００２１】
第四に、一部の帯域に該当するスペクトルデータの伝送を省略できるので、スペクトルデータの伝送に要されるビットを著しく節減することができる。
【００２２】
本発明の更なる理解を提供するために添付され、組み込まれ、及び本明細書の一部を構成する図面は、本発明の実施例を説明し、記述と共に、本発明の原理を説明する。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施例に係るオーディオ信号エンコーディング装置の構成図である。
【図２】図１の部分帯域エンコーディング部の細部構成図である。
【図３】本発明に係るコピーバンド、ターゲットバンド及び開始バンドの関係を示した図である。
【図４】本発明の部分帯域拡張の多様な実施例を示した図である。
【図５】本発明の実施例に係るオーディオ信号デコーディング装置の構成図である。
【図６】図５の部分帯域デコーディング部の細部構成図である。
【図７】ターゲットバンドのスペクトルデータの数がコピーバンドのスペクトルデータの数より大きい場合を説明するための図である。
【図８】ターゲットバンドのスペクトルデータの個数がコピーバンドのスペクトルデータの個数より小さい場合を説明するための図である。
【発明を実施するための形態】
【００２４】
本発明の好適な実施例が詳細に説明され、これらの例は図面により説明される。
【００２５】
本発明に使用される下記の用語は、次のような基準で解釈され、記載されていない用語も下記の趣旨によって解釈される。「コーディング（coding）」は、場合によってエンコーディング又はデコーディングに解釈され、「情報（information）」は、値、パラメータ、係数、成分などを総称する用語で、場合によって異なる意味に解釈されることもあるが、本発明がこれに限定されることはない。
【００２６】
図１は、本発明の実施例に係るオーディオ信号エンコーディング装置の構成を示す図で、図２は、図１の部分帯域エンコーディング部の細部構成を示す図である。
【００２７】
図１を参照すれば、オーディオ信号エンコーディング装置は、マルチチャネルエンコーディング部１１０、部分帯域エンコーディング部１２０、オーディオ信号エンコーディング部１３０、音声信号エンコーディング部１４０及びマルチプレクサ１５０を含む。
【００２８】
マルチチャネルエンコーディング部１１０は、複数のチャネル信号（以下、マルチチャネル信号）を受け、ダウンミックスを行うことによってダウンミックス信号を生成し、ダウンミックス信号をマルチチャネル信号にアップミックスするために必要な空間情報を生成する。ここで、空間情報は、チャネルレベル差情報、チャネル間相関情報、チャネル予測係数及びダウンミックスゲイン情報などを含むことができる。
【００２９】
一方、ここでのダウンミックス信号は、時間ドメイン（例えば、残余（residual）データ）の信号であるか、周波数変換が行われた周波数ドメイン（例えば、スケールファクタ係数、スペクトルデータ）の情報である。
【００３０】
部分帯域エンコーディング部１２０は、広帯域信号から狭帯域信号及び帯域拡張情報を生成する。
【００３１】
複数の帯域からなる元の信号を広帯域信号といい、複数の帯域のうち少なくとも一つの帯域を狭帯域信号という。例えば、２個の帯域である低周波帯域及び高周波帯域からなる広帯域信号において、前記低周波帯域又は高周波帯域を狭帯域信号という。部分帯域は、前記狭帯域信号全体の一部を示し、以下ではコピーバンドと称する。
【００３２】
帯域拡張情報は、前記コピーバンドを用いてターゲットバンドを生成するための情報であって、周波数情報、ゲイン情報、ハーモニック成分情報などを含むことができる。デコーダにおいて、前記広帯域信号は、狭帯域信号に前記ターゲットバンドを結合することによって生成される。
【００３３】
ダウンミックス信号（狭帯域ダウンミックス信号（ＤＭＸｎ））の特定フレーム又は特定セグメントが大きいオーディオ特性を有する場合、オーディオ信号エンコーディング部１３０は、オーディオコーディング方式にしたがってダウンミックス信号をエンコーディングする。ここで、オーディオ信号は、ＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）標準又はＨＥ―ＡＡＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）標準に従うものであるが、本発明がこれに限定されることはない。一方、オーディオ信号エンコーディング部は、ＭＤＣＴ（Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｔｒａｎｓｆｏｒｍ）エンコーダに該当する。
【００３４】
ダウンミックス信号（狭帯域ダウンミックス信号（ＤＭＸｎ））の特定フレーム又は特定セグメントが大きい音声特性を有する場合、音声信号エンコーディング部１４０は、音声コーディング方式にしたがってダウンミックス信号をエンコーディングする。ここで、音声信号は、Ｇ．７ＸＸ系列又はＡＭＲ―系列を含むことができ、これに限定されることはない。一方、音声信号エンコーディング部１４０は、線形予測符号化（ＬＰＣ：Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｏｎ  Ｃｏｄｉｎｇ）方式をさらに用いることができる。ハーモニック信号が時間軸上で高い重複性を有する場合、過去の信号から現在の信号を予測する線形予測によってモデリングされるが、この場合、線形予測符号化方式を採択することによって符号化効率を高めることができる。一方、音声信号エンコーディング部１４０はタイムドメインエンコーダに該当する。
【００３５】
このように、部分帯域エンコーディング部１２０を通した狭帯域ダウンミックスは、フレーム別又はセグメント別にオーディオ信号エンコーディング部１３０又は音声信号エンコーディング部１４０のうち一つによってエンコーディングされる。
【００３６】
マルチプレクサ１５０は、マルチチャネルエンコーディング部１１０によって生成された空間情報、部分帯域エンコーディング部１２０によって生成された帯域拡張情報、エンコーディングされた狭帯域ダウンミックス信号をマルチプレクシングすることによってビットストリームを生成する。
【００３７】
以下、図２を参照して部分帯域エンコーディング部１２０の細部構成について説明する。
【００３８】
図２を参照すれば、部分帯域エンコーディング部１２０は、スペクトルデータ取得部１２２、コピーバンド決定部１２４、ゲイン情報取得部１２６、ハーモニック成分情報取得部１２８及び帯域拡張情報伝送部１２９を含む。
【００３９】
スペクトルデータ取得部１２２は、受信された広帯域信号がスペクトルデータでない場合、ダウンミックスをスペクトル係数に変換し、スペクトル係数をスケールファクタでスケーリングした後、量子化を行うことによってスペクトルデータを生成する。ここでのスペクトルデータは、広帯域ダウンミックスに対応する広帯域のスペクトルデータである。
【００４０】
コピーバンド決定部１２４は、広帯域のスペクトルデータに基づいてコピーバンド及びターゲットバンドを決定し、帯域拡張のための周波数情報を生成し、前記周波数情報は、開始周波数又は開始バンド情報などを含むことができる。以下、図３及び図４を参照しながらコピーバンドなどについて説明する。
【００４１】
図３は、本発明の第１の実施例に係るコピーバンド、ターゲットバンド及び開始バンドの関係を示した図で、図４は、本発明の第２の実施例〜第４の実施例に係るコピーバンド、ターゲットバンド及び開始バンドの関係を示した図である。
【００４２】
まず、図３を参照すれば、０からｎ−1まで合計ｎ個のスケールファクタバンド（ｓｆｂ）が存在し、各スケールファクタバンド（ｓｆｂ０、…、ｓｆｂｎ−１）に対応するスペクトルデータが存在する。特定バンドに属するスペクトルデータ（ｓｄｉ）は多数のスペクトルデータの集合（ｓｄｉ＿０からｓｄｉ＿ｍ−１）を意味することができるが、スペクトルデータの個数（ｍｉ）は、スペクトルデータ単位、バンド単位又はそれ以上の単位に対応して生成することができる。一方、０番目のスケールファクタバンド（ｓｆｂ０）が低周波帯域で、ｎ−１番目のスケールファクタバンド（ｓｆｂｎ−１）が上部、すなわち、高周波帯域に該当することを例に挙げているが、その逆の場合も可能である。
【００４３】
広帯域信号に該当するスペクトルデータは、第１帯域及び第２帯域を含む帯域全体（ｓｆｂ０、…、ｓｆｂｎ−１）に該当するスペクトルデータである。また、狭帯域ダウンミックス（ＤＭＸｎ）に該当するスペクトルデータは、第１帯域に該当するスペクトルデータであって、０番目のバンド（ｓｆｂ０）のスペクトルデータからｉ−１番目のバンド（ｓｆｂｉ−１）のスペクトルデータまでを含む。すなわち、狭帯域スペクトルデータのみがデコーダに伝送され、残りのバンド（ｓｆｂｉからｓｆｂｎ−１）のスペクトルデータは伝送されない。
【００４４】
このようにスペクトルデータが伝送されないバンドをデコーダが生成し、これをターゲットバンド（ｔａｒｇｅｔ  ｂａｎｄ）（ｔｂ）という。一方、コピーバンド（ｃｏｐｙ  ｂａｎｄ）（ｃｂ）は、デコーダでターゲットバンド（ｔｂ）のスペクトルデータを生成するのに用いられるスペクトルデータのスケールファクタバンドである。コピーバンドは、狭帯域ダウンミックスに対応するバンド（ｓｆｂ０〜ｓｆｂｉ−１）のうち一部（ｓｆｂｓ〜ｓｆｂｉ−１）である。コピーバンド（ｃｂ）が開始されるバンドは開始バンド（ｓｔａｒｔ  ｂａｎｄ）（ｓｂ）で、開始バンドの周波数は開始周波数である。すなわち、コピーバンド（ｃｂ）は、開始バンド（ｓｂ）自体であるか、開始バンド及びそれより高い周波数バンドを含むか、開始バンド及びそれより低い周波数バンドを含むことができる。
【００４５】
本発明によれば、エンコーダで広帯域スペクトルデータを用いて狭帯域スペクトルデータ及び帯域拡張情報を生成し、デコーダでは、狭帯域スペクトルデータのうちコピーバンドのスペクトルデータを用いてターゲットバンドのスペクトルデータを生成する。
【００４６】
図４は、部分帯域拡張の三つの実施例を示している。コピーバンドは、狭帯域全体の部分帯域としてターゲットバンドを生成することができ、ここで、前記コピーバンドは、狭帯域の上部周波数帯域に位置することができる。そして、前記コピーバンドの個数は、少なくとも一つであって、複数である場合、前記コピーバンドは等間隔又は可変間隔で位置することができる。
【００４７】
図４（Ａ）は、コピーバンドの帯域幅及びターゲットバンドの帯域幅が同一である場合の部分バンド拡張方式を示している。すなわち、コピーバンド（ｃｂ）は、開始バンド（ｓｂ）に該当するｓ番目のバンド（ｓｆｂｓ）、ｎ−４番目のバンド（ｓｆｂｎ−４）及びｎ−２番目のバンド（ｓｆｂｎ−２）である。エンコーダでは、コピーバンドのスペクトルデータを用いてコピーバンドの右側にあるターゲットバンドのスペクトルデータの伝送を省略することができる。一方、コピーバンドのスペクトルデータとターゲットバンドのスペクトルデータとの間の差であるゲイン情報（ｇ）が生成されるが、これについては後ほど説明する。
【００４８】
図４（Ｂ）は、コピーバンド及びターゲットバンドの帯域幅が異なる場合を示している。ターゲットバンドの帯域幅は、コピーバンドの帯域幅の二つ以上（ｔｂ、ｔｂ’）であって、前記コピーバンドの帯域幅に該当するターゲットバンドの帯域幅のスペクトルデータに互いに異なるゲイン（ｇｓ、ｇｓ＋１）を適用して生成することができる。
【００４９】
図４（Ｃ）を参照すれば、コピーバンドのスペクトルデータを用いてターゲットバンドのスペクトルデータを生成した後、第２開始バンド（ｓｆｂｋ）以前のバンド（ｓｆｂｋ０〜ｓｆｂｋ−１）に該当するスペクトルデータを用いて、第２ターゲットバンド（ｓｆｂｋ、…、ｓｆｂｎ−１）のスペクトルデータを生成することができる。このとき、開始バンドの周波数はサンプリング周波数（ｆｓ）の１／８に該当し、第２開始バンドはサンプリング周波数（ｆｓ）の１／８に該当するが、本発明がこれに限定されることはない。
【００５０】
以上、本発明の多様な実施例に係るターゲットバンド、コピーバンド及び開始バンドの関係を説明したが、再び図２を参照しながら、残りの構成要素について説明する。
【００５１】
コピーバンド決定部１２４は、上述したように、コピーバンド、ターゲットバンド及びコピーバンドの開始バンド（ｓｂ）を決定する。開始バンドは、フレーム別に可変的に決定することができる。この開始バンドは、フレーム毎の信号の特性によって決定されるが、信号が過渡（transient）、又は定常（stationary）であるかによって決定することができる。例えば、信号が過渡である場合、信号が定常である場合よりもハーモニック成分が少ないので、開始バンドが低い周波数として決定される。
【００５２】
一方、開始バンドは、スペクトルセントロイドを用いた音の明るさの数値として決定することもできる。例えば、音が比較的明るい場合（高音が多い場合）は開始バンドを高周波帯域で形成し、音が比較的暗い場合（低音が多い場合）は開始バンドを低周波帯域で形成することができる。フレーム毎に可変的に開始バンドは決定されるが、音質とビットレート間のトレードオフを考慮して開始バンドを決定することが望ましい。
【００５３】
コピーバンド決定部１２４は、ターゲットバンドのスペクトルデータが除かれた狭帯域のスペクトルデータ又は狭帯域ダウンミックス（ＤＭＸｎ）を出力する。この狭帯域ダウンミックスは、図１を参照して説明したオーディオ信号エンコーディング部又は音声信号エンコーディング部に入力される。
【００５４】
また、コピーバンド決定部１２４は、開始バンド情報を生成し、開始バンド情報は、コピーバンド（ｃｂ）が開始される開始周波数についての開始周波数情報、又はコピーバンド（ｃｂ）の開始バンド情報を示す。開始バンド情報は、実際の値のみでなく、インデックス情報としても表示される。前記開始バンド情報がインデックス情報として表示された場合、前記インデックスに該当する開始バンド情報は、テーブルに格納され、デコーダで用いることができる。開始バンド情報は、帯域拡張情報伝送部１２９に伝達され、帯域拡張情報として加えられる。
【００５５】
ゲイン情報取得部１２６は、ターゲットバンドのスペクトルデータ及びコピーバンドのスペクトルデータを用いてゲイン情報を生成する。ここで、ゲイン情報は、次の等式のようにコピーバンドのエネルギーとターゲットバンドのエネルギーの比として定義される。
【数１】
0005400059.tif 000002
【００５６】
ここで、ｇｉはゲインで、ｉは現在のターゲットバンドである。
【００５７】
このゲイン情報は、上記のようにターゲットバンド別に決定される。ゲイン情報は、帯域拡張情報伝送部１２９に伝達され、これも帯域拡張情報として含まれる。
【００５８】
ハーモニック成分情報取得部１２８は、コピーバンドのハーモニック成分を分析し、ハーモニック成分情報を生成する。このハーモニック成分情報も、帯域拡張情報伝送部１２９に伝達され、同様に、帯域拡張情報として加えられる。
【００５９】
帯域拡張情報伝送部１２９は、開始バンド情報、ゲイン情報、ハーモニック成分情報を有する帯域拡張情報を出力し、この帯域拡張情報は、図１を参照に説明したマルチプレクサに入力される。
【００６０】
上記のような方法で狭帯域ダウンミックス及び帯域拡張情報が生成されるが、以下では、デコーダで帯域拡張情報及び狭帯域ダウンミックスを用いて広帯域ダウンミックスを生成する過程について説明する。
【００６１】
図５は、本発明の実施例に係るオーディオ信号デコーディング装置の構成を示す図で、図６は、図５の帯域拡張デコーディング部の細部構成を示す図である。
【００６２】
まず、図５を参照すれば、本発明の実施例に係るオーディオ信号デコーディング装置２００は、デマルチプレクサ２１０、オーディオ信号デコーディング部２２０、音声信号デコーディング部２３０、部分帯域デコーディング部２４０及びマルチチャネルデコーディング部２５０を含む。
【００６３】
デマルチプレクサ２１０は、ビットストリームから狭帯域ダウンミックス（ＤＭＸｎ）、帯域拡張情報及び空間情報を抽出する。オーディオ信号デコーディング部２２０は、狭帯域ダウンミックス信号が大きいオーディオ特性を有する場合、オーディオコーディング方式で狭帯域ダウンミックス信号をデコーディングする。ここで、オーディオ信号は、上述したように、ＡＡＣ標準、ＨＥ―ＡＡＣ標準に従うことができる。音声信号デコーディング部２３０は、狭帯域ダウンミックス信号が大きい音声特性を有する場合、音声コーディング方式で狭帯域ダウンミックス信号をデコーディングする。
【００６４】
部分帯域デコーディング部２４０は、狭帯域ダウンミックスに帯域拡張情報を適用して広帯域信号を生成する。これについては、図６を参照して具体的に説明する。
【００６５】
マルチチャネルデコーディング部２５０は、広帯域ダウンミックス及び空間情報を用いて出力信号を生成する。
【００６６】
図６を参照すれば、部分帯域デコーディング部２４０は、帯域拡張情報受信部２４２、コピーバンド決定部２４４及びターゲットバンド情報生成部２４６を含み、信号復元部２４８をさらに含むことができる。
【００６７】
帯域拡張情報受信部２４２は、帯域拡張情報から開始バンド情報、ゲイン情報、ハーモニック成分情報を抽出し、これらをコピーバンド決定部２２４及びターゲットバンド情報生成部２４６に伝達する。
【００６８】
コピーバンド決定部２４４は、狭帯域ダウンミックス（ＤＭＸｎ）及び開始バンド情報を用いてコピーバンドを決定する。ここで、狭帯域ダウンミックス（ＤＭＸｎ）が狭帯域のスペクトルデータでない場合、スペクトルデータに変形する。更に、前記コピーバンドは、開始バンドと同一又は異なるものとできる。前記コピーバンドが開始バンドと異なる場合、開始バンド情報に該当するバンドからスペクトルデータを有するバンドまでがコピーバンドとして決定される。そして、決定されたコピーバンドに該当するスペクトルデータをターゲットバンド情報生成部２４６に伝達する。
【００６９】
ターゲットバンド情報生成部２４６は、コピーバンドのスペクトルデータ及びゲイン情報などを用いてターゲットバンドのスペクトルデータを生成する。以下の等式により、ターゲットバンドのデータを生成することができる。
【数２】
0005400059.tif 000003
【００７０】
ここで、ｇｉは現在バンドのゲインで、ｓｄ（ｔａｇｅｔ＿ｂａｎｄ）はターゲットバンドのスペクトルデータで、ｓｄ（ｃｏｐｙ＿ｂａｎｄ）はコピーバンドのスペクトルデータである。
【００７１】
図４（Ａ）に表示された前記実施例の場合、ターゲットバンドの左側コピーバンドのスペクトルデータにゲイン（ｇｓ、ｇｎ−４、ｇｎ−２など）を適用することができる。図４の（Ｂ）の場合、最初のターゲットバンド（ｔｂ）に対しては、コピーバンドのスペクトルデータにゲイン（ｇｓ、ｇｎ−３）を適用し、２番目のターゲットバンド（ｔｂ’）に対しては、コピーバンドのスペクトルデータに他のゲイン（ｇｓ＊ｇｓ＋１、ｇｎ−３＊ｇｎ−２）を適用することができる。図４の（Ｃ）の場合も、狭帯域のうち一部の領域であるコピーバンドのスペクトルデータ（ｓｄｓ）にゲイン（ｇｓ）を適用した後、狭帯域全体に対して他のゲイン（ｇ２ｎｄ）を適用して２次ターゲットバンド（ｔｂ）のスペクトルデータを生成する。
【００７２】
一方、ターゲットバンドのスペクトルデータの個数（Ｎｔ）及びコピーバンドのスペクトルデータの個数（Ｎｃ）が異なる場合について説明する。図７は、ターゲットバンドのスペクトルデータの個数（Ｎｔ）がコピーバンドのスペクトルデータの個数（Ｎｃ）より大きい場合を説明するための図で、図８は、ターゲットバンドのスペクトルデータの個数（Ｎｔ）がコピーバンドのスペクトルデータの個数（Ｎｃ）より小さい場合を説明するための図である。
【００７３】
まず、図７の（Ａ）を説明すれば、ターゲットバンド（ｓｆｂｉ）のスペクトルデータの個数（Ｎｔ）が３６で、コピーバンド（ｓｆｂｓ）のスペクトルデータの個数（Ｎｃ）が２４であることが分かる。データの個数が大きいほど、バンドの水平長さは長く表示されている。ターゲットバンドのデータの個数がより大きいので、コピーバンドのデータを２回以上用いることができる。例えば、図７の（Ｂ１）に示すように、まず、コピーバンドの２４個のデータをターゲットバンドの低周波から充填し、図７の（Ｂ２）に示すように、コピーバンドの前部分１２個又は後部分１２個をターゲットバンドの残り部分に充填することができる。もちろん、ここでも、伝送されたゲイン情報を適用することができる。
【００７４】
一方、図８の（Ａ）を参照すれば、ターゲットバンド（ｓｆｂｉ）のスペクトルデータの個数（Ｎｔ）が２４で、コピーバンド（ｓｆｂｓ）のスペクトルデータの個数（Ｎｃ）が３６であることが分かる。ターゲットバンドのデータの個数がより小さいので、コピーバンドのデータのうち一部のみを用いることができる。例えば、図８の（Ｂ）に表示されたように、コピーバンド（ｓｆｂｓ）の前部分のスペクトルデータ２４個のみを用いたり、図８の（Ｃ）に表示されたように、コピーバンド（ｓｆｂｓ）の後部分のスペクトルデータ２４個のみを用いることによって、ターゲットバンド（ｓｆｂｉ）のスペクトルデータを生成することができる。
【００７５】
再び図６を参照すれば、ターゲットバンド情報生成部２４６は、上記した多様な方式でゲインを適用してターゲットバンドのスペクトルデータを生成する。一方、ターゲットバンド情報生成部２４６は、ターゲットバンドのスペクトルデータを生成するにおいて、ハーモニック成分情報をさらに用いることができる。具体的に、エンコーダによって伝送されたハーモニック成分情報を用いて、ターゲットバンドの個数又は広さに対応するサブハーモニック信号をフェーズ合成などの方法で作ることができる。
【００７６】
ターゲットバンド情報生成部２４６は、時間拡張／圧縮段階とデシメーション段階の組み合わせによりスペクトルデータを生成することができる。ここで、時間拡張／圧縮段階は、時間ドメインの信号を時間方向に拡張する段階を含むことができ、前記拡張段階は、フェーズボコーダ方式を用いることができる。一方、デシメーション段階は、時間拡張された信号を再び元の時間に圧縮する段階を含むことができる。ターゲットバンドスペクトルデータに時間拡張／圧縮段階及びデシメーション段階を適用することができる。
【００７７】
信号復元部２４８は、ターゲットバンドスペクトルデータ及び狭帯域信号を用いて広帯域信号を生成する。広帯域信号は、広帯域のスペクトルデータであるか、時間ドメインの信号に該当する。
【００７８】
本発明に係るオーディオ信号処理方法は、コンピュータで実行されるためのプログラムに搭載することができ、コンピュータ読み取り可能な記録媒体に格納できる。また、本発明に係るデータ構造を有するマルチメディアデータも、コンピュータ読み取り可能な記録媒体に格納できる。前記コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読まれるデータが格納されるあらゆる種類の格納装置を含む。コンピュータ読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ―ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ格納装置などがあり、キャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現されることも含む。また、前記エンコーディング方法によって生成されたビットストリームは、コンピュータ読み取り可能な記録媒体に格納され、又は有無線通信網を用いて伝送できる。
【産業上の利用可能性】
【００７９】
本発明は、オーディオ／ビデオ信号をエンコーディング／デコーディングに適用される。
【００８０】
以上のように、本発明は、限定された実施例と図面によって説明されたが、本発明がこれによって限定されることはなく、本発明の属する技術分野で通常の知識を有する者によって本発明の技術思想と下記に記載する特許請求の範囲の均等範囲内で多様な修正及び変形が可能であることは当然である。
【図１】
0005400059.tif 000004
【図２】
0005400059.tif 000005
【図３】
0005400059.tif 000006
【図４】
0005400059.tif 000007
【図５】
0005400059.tif 000008
【図６】
0005400059.tif 000009
【図７（Ａ）】
0005400059.tif 000010
【図７（Ｂ１）】
0005400059.tif 000011
【図７（Ｂ２）】
0005400059.tif 000012
【図８（Ａ）】
0005400059.tif 000013
【図８（Ｂ）】
0005400059.tif 000014
【図８（Ｃ）】
0005400059.tif 000015