(57)【特許請求の範囲】
【請求項１】
オーディオ信号のスペクトル復号化におけるスペクトル再生のための方法であって、
前記オーディオ信号を表すスペクトル係数の初期集合（４２）を取得するステップ（２１０）と、
遷移周波数（ｆｔ）を決定するステップ（２１２）と、
前記遷移周波数（ｆｔ）より下のスペクトル係数の前記初期集合（４２）におけるスペクトル・ホールのノイズ補充を行うステップ（２１４）と、
前記遷移周波数（ｆｔ）より上のスペクトル係数の前記初期集合（４２）の帯域幅拡張を行うステップ（２１６）と
を含み、
前記遷移周波数（ｆｔ）は、スペクトル係数の前記初期集合（４２）におけるスペクトル・ホールの分布に依存することを特徴とする方法。
【請求項２】
前記遷移周波数（ｆｔ）を決定する前記ステップは、順に、
前記スペクトル係数の前記初期集合（４２）を複数の周波数帯域（７４）に分割するステップと、
前記周波数帯域（７４）におけるスペクトル・ホールの割合に依存して前記遷移周波数（ｆｔ）を選択するステップと
を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記周波数帯域（７４）は一定の周波数幅を有することを特徴とする請求項２に記載の方法。
【請求項４】
少なくとも２つの前記周波数帯域（７４）は異なる周波数幅を有することを特徴とする請求項２に記載の方法。
【請求項５】
前記遷移周波数（ｆｔ）を選択する前記ステップは、
前記割合が第１の閾値よりも低く、最も高い周波数帯域となる遷移周波数帯域を決定するステップを含むことを特徴とする請求項２乃至４の何れか１項に記載の方法。
【請求項６】
前記遷移周波数（ｆｔ）を選択する前記ステップは、さらに、
前記遷移周波数帯域の上限周波数に依存して前記遷移周波数（ｆｔ）を設定するステップを含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記遷移周波数（ｆｔ）を設定する前記ステップは、さらに、前回使用された遷移周波数に依存することを特徴とする請求項５又は６に記載の方法。
【請求項８】
前記遷移周波数（ｆｔ）を設定する前記ステップは、さらに、前記前回使用された遷移周波数のさらに１つ前に使用された遷移周波数に依存することを特徴とする請求項７に記載の方法。
【請求項９】
前記遷移周波数（ｆｔ）は、予め定められた絶対値、又は、２つの連続するフレーム間の相対量より大きい変化が禁止されることを特徴とする請求項７又は８に記載の方法。
【請求項１０】
オーディオ信号のスペクトル符号化において使用する方法であって、
前記オーディオ信号を表すスペクトル係数の初期集合（２４）に対する遷移周波数（ｆｔ）を決定するステップ（２１２）を含み、
前記遷移周波数（ｆｔ）は、スペクトル・ホールのノイズ補充の対象となることを意図する周波数範囲と、帯域幅拡張の対象となることを意図する周波数範囲との間の境界を定義し、スペクトル係数の前記初期集合（２４）におけるスペクトル・ホールの分布に依存することを特徴とする方法。
【請求項１１】
オーディオ信号のスペクトル復号化における復号器（４０）であって、
前記オーディオ信号を表すスペクトル係数の初期集合（４２）を取得する入力部と、
遷移周波数（ｆｔ）を決定する遷移決定回路（６０）と、
前記遷移周波数（ｆｔ）より下のスペクトル係数の前記初期集合（４２）におけるスペクトル・ホールのノイズ補充を行うノイズ補充器（５０）と、
前記遷移周波数（ｆｔ）より上のスペクトル係数の前記初期集合（４２）の帯域幅拡張を行う帯域幅拡張器（５５）と
を備え、
前記遷移決定回路（６０）は、スペクトル係数の前記初期集合（４２）におけるスペクトル・ホールの分布に依存する前記遷移周波数（ｆｔ）を決定するように構成されることを特徴とする復号器。
【請求項１２】
前記遷移決定回路（６０）は、さらに、
スペクトル係数の前記初期集合（４２）の前記スペクトル係数を複数の周波数帯域（７４）に分割し、
前記周波数帯域（７４）におけるスペクトル・ホールの割合に依存して前記遷移周波数（ｆｔ）を選択するように構成されることを特徴とする請求項１１に記載の復号器。
【請求項１３】
前記遷移決定回路（６０）は、さらに、
前記割合が第１の閾値よりも低く、最も高い周波数帯域となる遷移周波数帯域を決定するように構成されることを特徴とする請求項１２に記載の復号器。
【請求項１４】
前記遷移決定回路（６０）は、さらに、
前記遷移周波数帯域の上限周波数に依存して前記遷移周波数（ｆｔ）を設定するように構成されることを特徴とする請求項１３に記載の復号器。
【請求項１５】
オーディオ信号のスペクトル符号化における符号器（２０）であって、
前記オーディオ信号を表すスペクトル係数の初期集合（２４）に対する遷移周波数（ｆｔ）を決定する遷移決定回路（６０）を備え、
前記遷移周波数（ｆｔ）は、スペクトル・ホールのノイズ補充の対象となることを意図する周波数範囲と、帯域幅拡張の対象となることを意図する周波数範囲との間の境界を定義し、
前記遷移決定回路（６０）は、スペクトル係数の前記初期集合（２４）におけるスペクトル・ホールの分布に依存する前記遷移周波数（ｆｔ）を決定するように構成されることを特徴とする符号器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にオーディオ信号の符号化及び復号化を行なう方法及び装置に関し、特に、スペクトル補充における方法及び装置に関するものである。
【背景技術】
【０００２】
オーディオ信号が格納及び／又は送信される場合、今日の標準的な方法は、種々の方式に従ってオーディオ信号をデジタル表現に符号化することである。記憶容量及び送信容量の少なくとも一方を節約するために、一般に十分な知覚品質のオーディオ信号の再構成を可能にするのに必要とされるデジタル表現のサイズを減少することが望ましい。符号化信号のサイズと信号品質との間のトレードオフは、実際のアプリケーションに依存する。
【０００３】
オーディオ・コーダに基づく変換は、変換係数の量子化によるオーディオ信号を含む。より低いビットレートを可能にするために、量子化器は、最もエネルギーがあり、知覚的な関連のある係数に利用可能なビットを集中させ、周波数スペクトルにおいて量子化されない係数の”スペクトル・ホール”を除いてそれらのみを送信する。
【０００４】
非特許文献１において説明されるスペクトル帯域複製（ＳＢＲ）技術は、従来の知覚コーダの帯域制限された信号と、約１５ｋＨｚの可聴の帯域幅との間のギャップを埋める。ＳＢＲの背景となる一般的な考えは、知覚的に正確な方法において復号化信号の損失高周波数の成分を再生成することにある。１５ｋＨｚより上の周波数は、心理音響的な観点からさほど重要ではないが、再構成してもよい。しかしながら、ＳＢＲは単独のコーデックとしては使用することができない。ＳＢＲは常に従来の波形コーデック、いわゆるコア・コーデックとともに動作する。従来の波形復号器のように主に後処理を行うＳＢＲ復号器が転送されない周波数範囲を再構成する一方で、コア・コーデックは元のスペクトルのより低い部分の送信に関与する。高帯域のスペクトル値は、従来のコーデックのように直接的には送信されない。上記結合システムは、コア・コーデック単独の利得よりも優れた符号化利得をもたらす。
【０００５】
ＳＢＲ手法は、符号化された知覚的に関連のある低周波数の低帯域と、符号化されない関連のない高周波数の高帯域との間の固定の遷移周波数の定義に依存する。しかしながら、特に、当該遷移周波数は、元の信号のオーディオの成分に依存する。言い換えると、１つの信号から別の信号へ、適切な遷移周波数へ多様に変化することができる。これは、例えば、きれいな音声信号とフル帯域の音楽信号とを比較する場合である。
【０００６】
復号化されたスペクトルの”スペクトル・ホール”は２種類に区別することができる。１つ目は、非特許文献２に記載のように、瞬間的なマスキングの効果に起因した、より低い周波数での小さいホールである。２つ目は、聴覚の絶対閾値と非特許文献２に記載のマスキングの追加とによる飽和状態の結果として、高周波数でのより大きなホールである。ＳＢＲは主に２つ目にあたる。
【０００７】
さらに、”スペクトル・ホール”、即ち、高周波数における符号化されない係数、つまり、上記２つ目の”スペクトル・ホール”を補充することを目的とするそのような方法に基づく一般的なオーディオ・コーデックは、全体スペクトルにわたってスペクトル・ホールを補充することができるべきである。実際には、ＳＢＲコーデックがフル帯域幅のオーディオ信号を配信できたとしても、再構成された高周波数は、低帯域、即ち、知覚的に関連のある低周波数の符号化、即ち、量子化によって導入されるアノイイング・アーチファクト（the annoying artefacts）がマスクされていないであろう。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】3GPP TS 26.404 V6.0.0（２００４〜０９年）の「Enhanced aacPlus general audio codec - encoder SBR part (Release 6)」２００４年
【非特許文献２】J.D. Johnstonの「Transform coding of audio signals using perceptual noise criteria」IEEE J. Select. Areas Commun.、vol. 6、３１４〜３２３ページ、１９８８年
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明の一般的な目的は、フル帯域のオーディオ信号にわたってスペクトル・ホールに起因する知覚的なアーチファクト抑制効果を可能にする方法及び装置を提供することである。
【課題を解決するための手段】
【００１０】
上述の目的は、開示される請求の範囲に係る方法及び装置により達成される。一般に、第１の態様において、オーディオ信号のスペクトル復号化におけるスペクトル再生のための方法であって、オーディオ信号を表すスペクトル係数の初期集合を取得するステップと、遷移周波数を決定するステップとを備える。遷移周波数は、オーディオ信号のスペクトル成分に適合される。遷移周波数より下のスペクトル係数の初期集合におけるスペクトル・ホールはノイズ補充され、遷移周波数より上のスペクトル係数の初期集合は帯域幅拡張される。
【００１１】
第２の態様において、オーディオ信号のスペクトル符号化において使用する方法であって、オーディオ信号を表すスペクトル係数の初期集合に対する遷移周波数を決定するステップを備える。遷移周波数は、オーディオ信号のスペクトル成分に適合される。遷移周波数は、スペクトル・ホールのノイズ補充の対象となることを意図する周波数範囲間の境界と、帯域幅拡張の対象となることを意図する周波数範囲を定義する。
【００１２】
第３の態様において、オーディオ信号のスペクトル復号化における復号器であって、オーディオ信号を表すスペクトル係数の初期集合を取得する入力部と、遷移周波数を決定する遷移決定回路とを備える。遷移周波数は、オーディオ信号のスペクトル成分に適合される。復号器は、遷移周波数より下のスペクトル係数の前記初期集合におけるスペクトル・ホールのノイズ補充を行うノイズ補充器と、遷移周波数より上のスペクトル係数の初期集合の帯域幅拡張を行う帯域幅拡張器とを備える。
【００１３】
第４の態様において、オーディオ信号のスペクトル符号化における符号器（２０）であって、オーディオ信号を表すスペクトル係数の初期集合に対する遷移周波数を決定する遷移決定回路を備える。遷移周波数は、オーディオ信号のスペクトル成分に適合される。遷移周波数は、オーディオ信号のスペクトル成分に適合される。遷移周波数は、スペクトル・ホールのノイズ補充の対象となることを意図する周波数範囲間の境界と、帯域幅拡張の対象となることを意図する周波数範囲を定義する。
【００１４】
本発明は多くの利点を有する。１つの利点は、遷移周波数の使用がノイズ補充と帯域幅拡張との両方を用いた組み合わされたスペクトル補充の使用を許容するという点である。さらに、遷移周波数は、例えば使用される符号化手法、例えば、周波数分解能に依存するスペクトル補充に応じて適合的に定義される。本方法を用いる任意の音声及びオーディオの少なくとも一方のコーデックは、高品質、即ち、アノイイング・アーチファクトを低減し、フル帯域幅のオーディオ信号を配信することができる。本方法は、任意の種類の周波数表現（ＤＣＴ、ＭＤＣＴ等）又はフィルタ・バンクを組み合わせることができ、即ち、任意のコーデック（知覚的な手法、パラメトリックな手法等）を組み合わせることができるという意味で柔軟性を有する。
【００１５】
添付の図面と共に以下の説明を参照することにより、本発明は、本発明の更なる目的及び利点と共に最もよく理解されるだろう。
【図面の簡単な説明】
【００１６】
【図１】コーデックシステムを示す概略ブロック図である。
【図２】本発明に係るオーディオ信号符号器の一実施形態を示す概略ブロック図である。
【図３】スペクトル係数、そのグループ及び周波数帯域を概略的に示す図である。
【図４】本発明に係るオーディオ信号復号器の一実施形態を示す概略ブロック図である。
【図５Ａ】、
【図５Ｂ】、
【図５Ｃ】遷移周波数を決定する原理の実施形態を示す図である。
【図６】本発明に係る方法の実施形態におけるステップを示すフローチャートである。
【図７】本発明に係る信号処理方法の実施形態におけるステップを示すフローチャートである。
【発明を実施するための形態】
【００１７】
図中、同一の図中符号は同様の要素又は対応する要素に対して使用される。
【００１８】
オーディオ信号に対する一般的なコーデックシステムの一実施形態を図１に概略的に示す。オーディオ・ソース１０は、オーディオ信号１５を生成する。オーディオ信号１５は符号器２０で扱われ、符号器２０は、オーディオ信号１５を表すデータを含むバイナリ・フラックス２５を生成する。バイナリ・フラックス２５は、例えばマルチメディア通信の場合のように、送信／格納部（送信及び／又は格納部）３０により送信されてもよい。送信／格納部３０は、オプションとしてある記憶容量を含んでもよい。バイナリ・フラックス２５は、送信／格納部３０に格納のみ行なわれてもよく、バイナリ・フラックスの利用時に時間遅延を導入する。送信／格納部３０は、バイナリ・フラックス２５の再空間位置付け又は時間遅延のうちの少なくとも一方を導入する構成である。バイナリ・フラックス２５は、使用される際に復号器４０で扱われ、復号器４０は、バイナリ・フラックスに含まれるデータからオーディオ出力３５を生成する。一般にオーディオ出力３５は、可能性として特定の制約下と同様の元のオーディオ信号１５に近似すべきである。
【００１９】
多くのリアルタイム・アプリケーションにおいて、一般に元のオーディオ信号１５の生成と生成されたオーディオ出力３５との間の時間遅延は、ある特定の時間を超えてはならない。同時に送信資源が制限される場合、一般に利用可能なビットレートも低い。可能な限り最適な方法で利用可能なビットレートを利用するために、知覚オーディオ符号化が開発された。したがって、知覚オーディオ符号化は、今日の多くのマルチメディア・サービスに対して重要な部分になっている。基本原理は、オーディオ信号を周波数領域のスペクトル係数に変換し、知覚モデルを使用してスペクトル係数の周波数及び時間依存マスキングを判定することである。
【００２０】
図２は、本発明に係るオーディオ符号器２０の一実施形態を示す。この特定の実施形態において、知覚オーディオ符号器２０は、知覚変換器又はフィルタバンクに基づくスペクトル符号器である。オーディオ・ソース１５は、オーディオ信号ｘ［ｎ］のフレームを含んで受信される。
【００２１】
一般的なスペクトル符号器において、コンバータ２１は、オーディオ信号１５の時間領域を、周波数領域のスペクトル係数Ｘｂ［ｎ］の集合２４へ変換するように構成される。一般的な変換符号器において、変換は、例えば、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、又は、修正離散コサイン変換（ＭＤＣＴ）によって実行されうる。したがって、コンバータ２１は、一般的にスペクトル変換器によって構成されてもよい。実際の変換の詳細は、本発明の基本的な考えに対して特に重要ではないため、詳細な説明については省略する。
【００２２】
スペクトル係数、即ち、入力オーディオ信号の周波数表現の集合２４は、スペクトル係数が量子化され符号化される量子化／符号化部２８へ提供される。一般的には、量子化は、最もエネルギーがあり、知覚的に関連のある係数に利用可能なビットを集中させるために動作する。これは、例えば、異なる種類のマスキング閾値又は帯域幅の縮小を用いて実行されてもよい。当該結果として、一般的には、周波数スペクトルにおける量子化係数の”スペクトル・ホール”となるであろう。言い換えると、係数のいくつかは、知覚的に重要でないため、他の目的としてより必要とされる転送資源を占有しないための目的からかけ離れている。したがって、そのようなスペクトル・ホールは、異なる再構成手法によって、復号器側で修正されるか又は再構成されてもよい。一般的には、２つの種類のスペクトル・ホールが現れる。１つ目の種類は、低周波数領域で主に異なる位置で発生する単一のスペクトル・ホール又は僅かの隣接したスペクトル・ホールを含む。２つ目の種類は、スペクトルの高周波数側での多かれ少なかれ連続したグループのスペクトル・ホールである。
【００２３】
本発明によれば、可能な限り効果的なスペクトル補充を達成するために、異なる方法でそれらの２つの異なる種類のスペクトル・ホールを取り扱うのに有益である。決定する１つのパラメータは、異なる補充アプローチに合う、いわゆる遷移周波数である。異なる種類のオーディオ信号間でスペクトル・ホールの分布が異なるため、遷移周波数の最適な選択も異なる。本発明によれば、遷移周波数は、オーディオ信号の現在のフレームにおけるスペクトルの成分に適合するが、遷移周波数は、オーディオ信号の１つ前のフレームにおけるスペクトルの成分に依存してもよい。厳しい遅延要件がなければ、遷移周波数は、オーディオ信号のさらに他のフレームにおけるスペクトルの成分に依存してもよい。この適合は、一般的に量子化／符号化部２８に実装される遷移決定回路６０によって符号器側で実行されうる。しかしながら、代替の実施形態において、遷移決定回路６０は、分けられた動作部として設けられてもよく、これにより、遷移周波数を表現する唯一のパラメータは符号器２０の異なる機能部に提供される。遷移周波数は、符号器側で、例えば、遷移周波数の異なるサイドで周波数間隔に対する適切なエンベロープ符号化を提供するために用いられてもよい。
【００２４】
量子化／符号化部２８は、さらに、追加のサイド情報とともに符号化されたスペクトル係数を使用される送信標準又は記憶標準に従ったビット・ストリームへパッキングするように構成される。これにより、スペクトル係数の集合を表現するデータを有するバイナリ・フラックス（binary flux）２５は、量子化／符号化部２８から出力される。遷移周波数がオーディオ信号のスペクトル成分から直接的に導出されるため、同じ導出が、送信インタフェースの両サイド、即ち、符号器及び復号器の両方で、実行される。これは、必ずしも遷移周波数として必要のない値が追加のサイド情報の中で送信されるべきであることを意味する。しかしながら、もちろん利用可能なビットレートのキャパシティがあれば、それらの値に関しても上記両サイドで実行されてもよい。
【００２５】
特定の実施形態において、ＭＤＣＴ変換器が使用される。心理音響モデルによって実行される重み付け処理の後に、ＭＤＣＴ係数は、ベクトル量子化を用いて量子化される。ベクトル量子化ＶＱにおいて、スペクトル係数は、小さいグループに分割される。上記係数の各グループは単一のベクトルとして見られ、各ベクトルは個別に量子化される。
【００２６】
例えば、ビットレートの厳しい制限のために、量子化器は、最もエネルギーがあり、知覚的に関連のあるグループに利用可能なビットを集中させ、結果として、いくつかのグループにはゼロが設定される。それらのグループは、量子化スペクトルにおいてスペクトル・ホールを形成する。これを図３に示す。本実施形態において、グループ７０は、同一のスペクトル係数７１、ここでは４つのスペクトル係数７１を含む。しかしながら、代替の実施形態において、異なる数のスペクトル係数を含むグループであっても可能である。１つの特定の実施形態において、全てのグループは、それぞれ１つのスペクトル係数のみを含み、即ち、グループは同一のスペクトル係数を有する。量子化グループ７２は白抜きの矩形で示され、ゼロに設定されるグループ７３は黒の矩形で示される。一般的に、量子化グループ７２のみが任意のエンドユーザに送信される。
【００２７】
複数の係数のグループ７０は、異なる周波数帯域７４へ順に分割される。当該分割は、いくつかの心理音響基準に従って実行されることが望ましい。したがって、本質的に同様の心理音響特性を有するグループは、合わせて処理されてもよい。これにより、各周波数帯域７４のメンバの数、即ち、周波数帯域７４に関連するグループ７０の数は、異なってもよい。多くの周波数部分が同様の特性を有していれば、それらの周波数をカバーする周波数帯域は、広い周波数範囲を有するかもしれない。心理音響特性が周波数上で高速に変更される場合、これは、代わりに、狭い周波数範囲の周波数帯域へ発呼される。スペクトル補充のルーチンは、以下で詳細に説明するように、補充するべき周波数帯域に依存することが望ましい。
【００２８】
復号化の段階において、逆の動作が基本的に行われる。図４において、本発明に係るオーディオ復号器４０の一実施形態を示す。上述した符号器に起因する特性を有するバイナリ・フラックス２５が受信される。受信したバイナリ・フラックス２５、例えば、ビット・ストリームの逆量子化及び復号化がスペクトル係数復号器４１において実行される。スペクトル係数復号器４１は、バイナリ・フラックスから再生されたスペクトル係数を、周波数グループＸＱｂ［ｎ］においてグループ化可能なスペクトル係数４２の初期集合の復号化されたスペクトル係数ＸＱ［ｎ］へ復号化するように構成される。スペクトル係数４２の初期集合は、マスキング閾値又は帯域幅の縮小などの後処理後において、可能な限り、復号器側のコンバータによって提供されるスペクトル係数の集合に近似することが望ましい。
【００２９】
上述したように、復号器でのマスキング閾値又は帯域幅の縮小のアプリケーションは、スペクトル係数４２がいわゆる”スペクトル・ホール”を含むという意味で不完全である結果をもたらす。”スペクトル・ホール”はバイナリ・フラックスにおいて受信されないスペクトル係数に対応する。言い換えると、当該スペクトル・ホールは、定義されない若しくは符号化されないスペクトル係数ＸＱ［ｎ］、又は、スペクトル係数復号器４１によって予め定められた値、通常ゼロに自動的に設定されるスペクトル係数である。可聴のアーチファクトを避けるために、それらの係数は復号器で概算値（補充される）によって置き換えられるべきである。
【００３０】
スペクトル・ホールには頻繁に２つのタイプが含まれる。スモール・スペクトル・ホールは通常、低周波数で発生し、１つ又は数個のビッグ・スペクトル・ホールは通常、高周波数で発生する。
【００３１】
復号化されたオーディオ信号内のアーチファクトを最小化するために、復号器は、係数の概算値でスペクトル内のスペクトル・ホールを置き換えることによって、スペクトルを”補充する”。それらの概算値は、復号器によって送信されるサイド情報に基づくか、信号自身に依存するかの少なくとも一方であってもよい。有用なサイド情報の一例は、スペクトルの電力エンベロープや損失係数の調性、即ち、スペクトル平面の測定値であってもよい。
【００３２】
２つの異なる方法が異なる種類のスペクトル・ホールを補充するために使用されうる。低周波数におけるスペクトル・ホールには”ノイズ補充”が良いが、高周波数では”帯域幅拡張”がより適切である。本発明は、それぞれで使用されるべきノイズ補充及び帯域幅拡張の決定方法について説明する。
【００３３】
本発明は、スペクトルの低周波数の関連部分と、高周波数の関連部分との間の遷移周波数の定義に関わる。当該情報に基づいて、高品質の”ノイズ補充”手法による従来の符号化アルゴリズムは、低レートで発生する符号化アーチファクトを低減でき、”帯域幅拡張”に基づくあまり複雑でない手法とともに、低レートであっても全帯域幅のオーディオ信号を再生することができる。
【００３４】
通常、所定量のスペクトル・ホールを含む、スペクトル係数復号器４１からのスペクトル係数４２の初期集合は、遷移決定回路６０へ提供される。遷移決定回路６０は、遷移周波数ｆｔを決定するように構成される。
【００３５】
スペクトル係数復号器４１からのスペクトル係数４２の初期集合は、スペクトル補充器４３にも提供される。スペクトル補充器４３は、再構成されたスペクトル係数Ｘ’ｂ［ｎ］の完全集合４４を生じさせるべく、スペクトル係数４２の初期集合をスペクトル補充するように構成される。再構成されたスペクトル係数の完全集合４４は、通常、予め定められた周波数範囲内の全てのスペクトル係数を含む。
【００３６】
スペクトル補充器４３は、まず、ノイズ補充器５０を含む。ノイズ補充器５０は、好ましくは低周波数領域、即ち、遷移周波数ｆｔより下の周波数において、スペクトル・ホールのノイズ補充を行うための処理を提供するように構成される。これにより、結果として受信された符号化ビット・ストリームに含まれない”損失する”遷移周波数以下の、スペクトル係数の初期集合におけるスペクトル係数へ値が割り当てられる。この目的を達成するために、遷移周波数に関連付けられた情報を提供する、遷移決定回路６０からの出力６５は、ノイズ補充器５０に接続される。
【００３７】
スペクトル補充器４３はさらに、再構成されたスペクトル係数の完全集合４４を生成するために、遷移周波数より上のスペクトル係数の初期集合を帯域幅拡張するように構成される帯域幅拡張器５５を備える。したがって、遷移決定回路６０からの出力６５は、帯域幅拡張器５５にも接続される。
【００３８】
上述したように、スペクトル補充器４３からの結果出力は、予め定められた周波数範囲内の全てのスペクトル係数を含む、再構成されたスペクトル係数Ｘ’ｂ［ｎ］の完全集合４４となる。
【００３９】
再構成されたスペクトル係数の完全集合４４は、スペクトル補充器４３に接続されたコンバータ４５に提供される。コンバータ４５は、周波数領域のスペクトル係数の完全集合４４を時間領域のオーディオ信号４６に変換するように構成される。コンバータ４５は、本実施形態において、図２の符号器２０に使用される変換技術に対応する、知覚変換器に基づく。特定の実施形態において、信号は、例えば、逆ＭＤＣＴ（ＩＭＤＣＴ）又は逆ＤＦＴ（ＩＤＦＴ）等の逆変換により時間領域へ戻される。他の実施形態において、逆フィルタ・バンクが利用されてもよい。符号器側と同様に、コンバータ４５などの技術は、既知の技術であり、詳細な説明は省略する。最終の知覚的に再構成されたオーディオ信号３４ｘ’［ｎ］は場合により後続の処理ステップへオーディオ信号の出力３５により提供される。
【００４０】
当該コーデックは、どの周波数帯域にノイズ補充を使用するかと、どの周波数帯域に帯域幅拡張を使用するかとを決定しなければならない。補充されるべき周波数帯域のグループの多くが量子化され、帯域に一部のスペクトル・ホールが存在する場合にノイズ補充は最良の結果をもたらす。帯域幅拡張は、高周波数における信号の大部分が量子化されない場合に好適である。
【００４１】
１つの基本的な方法として、ノイズ補充と帯域幅拡張との間で固定の遷移周波数が決定されてもよい。当該遷移周波数より下の周波数帯域又はグループにおけるスペクトル・ホールはノイズ補充によって補充され、当該遷移周波数より上のグループ又は周波数帯域におけるスペクトル・ホールは帯域幅拡張によって補充される。
【００４２】
しかしながら、当該アプローチの問題は最適の遷移周波数が全てのオーディオ信号で同一ではないということである。いくつかの信号が低周波数に集中したエネルギーの大部分を有し、信号の大部分が帯域幅拡張の対象となる。他の信号はスペクトル上でより均一に拡散するそれらのエネルギーを有し、それらの信号はノイズ補充のみを使用することから利益を得る。
【００４３】
本発明に係る方法の一実施形態によれば、遷移周波数は、スペクトル係数の初期集合においてスペクトル・ホールの分布に適合的に依存する。適切な遷移周波数を決定するためのルーチンは最大値（ＢＮ）から開始して１に至るまで全ての周波数帯域を通じて実行されうる。現在の帯域に量子化される係数がなければ、帯域幅拡張によって補充されるであろう。現在の帯域に量子化される係数があれば、それ以下の帯域と同様に当該帯域のホールはノイズ補充を用いて補充される。このように、遷移周波数は、量子化される係数を含む高周波数側から参照した第１周波数帯域の上限値に設定される。これを図５Ａに示す。したがって、帯域Ｎ、即ち、遷移周波数ｆｔより上の周波数のスペクトル・ホール７７は、帯域幅拡張手法により補充される。遷移周波数ｆｔより下の周波数のスペクトル・ホール７６は代わりにノイズ補充によって補充される。
【００４４】
代替の実施形態を図５Ｂに示す。ここでは、遷移周波数の定義は周波数帯域分割を無視して、直接的にグループ７０に基づく。ここで、帯域幅拡張は、最も高い周波数から第１の量子化グループ７８の直前のグループに至るまでの全てのグループに用いられる。遷移周波数ｆｔより下のスペクトル・ホール７６には代わりにノイズ補充によって補充される。
【００４５】
これらの方法は、オーディオ信号及び量子化器、即ち、符号化手法により適合的であるが、例えば、図５Ｃのように信号が量子化される場合に小さな問題がある。ここで、信号の高周波数における大部分はゼロに設定され、帯域幅拡張が帯域Ｂ９から帯域Ｂ１２までに好適に使用されるべきである。しかしながら、周波数帯域Ｂ１１において、信号符号化された量子化グループが存在するため、量子化グループ７９より下では完全に無効であり、当該量子化グループ７９までの全てのグループでノイズ補充が使用されるであろう。
【００４６】
この問題を避けるために、遷移周波数ｆｔが周波数帯域におけるスペクトル・ホールの割合に依存して選択される他の実施形態も提案される。前の実施形態と同様に、コーデックは、最大値から開始して１に至るまで、複数の周波数帯域を通じて行われる。周波数帯域ごとに、符号化されたスペクトル係数又はグループの数がカウントされる。スペクトル係数又はグループの総数によって分割された符号化されたスペクトル係数又はグループの数、即ち、周波数帯域の符号化されたスペクトル係数の割合が所定の閾値を超える場合、当該周波数帯域及びそれに続く周波数帯域のスペクトル・ホールはノイズ補充で補充される。それ以外には帯域幅拡張が使用される。同様に、周波数帯域におけるスペクトル・ホールの割合を監視してもよい。言い換えると、スペクトル・ホールの割合が第１の閾値よりも低い最も高い周波数帯域である遷移周波数帯域が決定されるべきである。遷移周波数帯域を選択する代替の基準もある。１つの可能性として周波数に依存してそれ自身の閾値を導出することも考えられる。そのような方法において、スペクトル・ホールの所定の割合が、低周波数部分ではないが、いまだに帯域幅拡張技術を使用する高周波数部分において受け入れられてもよい。当業者には、適切な基準の選択が種々の方法、例えば、他の信号関連特性又は他のサイド情報に依存する方法に変更できることが理解されるであろう。
【００４７】
一実施形態において、遷移周波数は、遷移周波数帯域の上限周波数に依存して設定され、より好ましくは当該上限周波数に等しくなる。しかしながら、種々の代替案がある。１つの代替案は、最も高い周波数の符号化されたスペクトル係数又はグループに対して検索し、当該グループの高周波数側で遷移周波数を設定することである。
【００４８】
上述の実施形態のアルゴリズムを以下の擬似コードを用いて説明する。
Ｆｏｒ  ｃｕｒｒｅｎｔＢａｎｄ＝Ｎ  ｔｏ  １
ｒａｔｉｏ＝ｎｕｍＣｏｄｅｄＣｏｅｆｆＩｎＢａｎｄ（ｃｕｒｒｅｎｔＢａｎｄ）／ｎｕｍＣｏｅｆｆＩｎＢａｎｄ（ｃｕｒｒｅｎｔＢａｎｄ）
Ｉｆ  ｒａｔｉｏ＞ｔｈｒｅｓｈｏｕｌｄ
Ｔｒａｎｓｉｔｉｏｎ  ｉｓ  ｂｅｔｗｅｅｎ  ｃｕｒｒｅｎｔＢａｎｄ  ａｎｄ  ｃｕｒｒｅｎｔＢａｎｄ＋１
Ｒｅｔｕｒｎ
Ｅｎｄ  ｉｆ
Ｎｅｘｔ
Ｔｒａｎｓｉｔｉｏｎ  ｉｓ  ａｔ  ｔｈｅ  ｓｔａｒｔ  ｏｆ  ｂａｎｄ  １
遷移周波数が連続したフレーム間でほとんど変化しないことが望ましい。大きすぎる変化は、雑音として知覚されうる。したがって、一実施例において、遷移周波数は、さらに、使用する遷移周波数の前の遷移周波数に依存する。例えば、予め定められた絶対値、又は２つの連続するフレーム間での相対量以上に変化する遷移周波数を禁止する可能性があるであろう。代替的に、仮の遷移周波数が前回の遷移周波数とともに、それほど大きな変化のない値を有する修正遷移周波数を与える値としてフィルタに入力される。その結果、遷移周波数は、さらに１つ前の遷移周波数に依存するであろう。
【００４９】
これらのルーチンは、通常、遷移決定回路６０において実行され、より好ましくは符号器の量子化／符号化部や復号器のそれぞれにおいて実行される。
【００５０】
図６は、本発明に係る方法の一実施形態のステップを示すフローチャートである。オーディオ信号のスペクトル復号化におけるスペクトル再生における方法はステップ２００において開始される。ステップ２１０において、オーディオ信号を表すスペクトル係数の初期集合が取得される。ステップ２１２において、遷移周波数が決定される。遷移周波数は、オーディオ信号のスペクトル成分に適合される。ステップ２１４において、遷移周波数より下のスペクトル係数の初期集合におけるスペクトル・ホールのノイズ補充が実行される。ステップ２１６において、遷移周波数より上のスペクトル係数の初期集合における帯域幅拡張が実行される。ステップ２４９において処理を終了する。
【００５１】
同様に、図７は、本発明に係る方法の一実施形態のステップを示すフローチャートである。オーディオ信号のスペクトル符号化において使用する方法がステップ２００において開始される。ステップ２１２において、遷移周波数が決定される。オーディオ信号を表すスペクトル係数の初期集合に対する遷移周波数がオーディオ信号のスペクトル成分に適合される。遷移周波数はスペクトル・ホールのノイズ補充の対象となることを意図する周波数範囲間の境界と、帯域幅拡張の対象となることを意図する周波数範囲を定義する。
【００５２】
本発明は使用される符号化手法に係る遷移周波数の適応した定義によって多くの利益を得ることができる。適合した遷移周波数はノイズ補充及び帯域幅拡張の両方を使用する組み合わされたスペクトル補充の効果的な使用を許容する。本方法を用いる、任意の音声及びオーディオの少なくとも一方のコーデックは、高品質で、アノイイング・アーチファクトを低減したフル帯域幅のオーディオ信号を配信することができる。本方法は、任意の種類の周波数表現（ＤＣＴ、ＭＤＣＴ等）又はフィルタ・バンクを組み合わせることができ、即ち、任意のコーデック（知覚的な手法、パラメトリックな手法等）を組み合わせることができるという意味で柔軟性を有する。
【００５３】
上述の実施形態については、本発明のいくつかの図示する例として理解される。本発明の範囲を逸脱せずに、種々の変形、組合せ及び変更が実施形態に対して行なわれてもよいことが当業者には理解されるだろう。特に、種々の実施形態における種々の部分解決策は、技術的に可能であれば他の構成で組み合わされてもよい。しかし、本発明の範囲は添付の請求の範囲により規定される。
【図１】
0005458189.tif 000002
【図２】
0005458189.tif 000003
【図３】
0005458189.tif 000004
【図４】
0005458189.tif 000005
【図５Ａ】
0005458189.tif 000006
【図５Ｂ】
0005458189.tif 000007
【図５Ｃ】
0005458189.tif 000008
【図６】
0005458189.tif 000009
【図７】
0005458189.tif 000010