(57)【特許請求の範囲】
【請求項１】
スペクトル値が異なる周波数に割り当てられて時間的オーディオ信号のスペクトル値（ｘ（１）〜ｘ（ｎ））を得るべく時間的オーディオ信号を周波数領域に変換し（202）、
周波数隣接スペクトル値間で周波数に関連してスペクトル値の予測を実行して異なる周波数に割り当てられるスペクトル残留値（xR（１）〜xR（ｎ））を得て、
スペクトル残留値中の１個以上の周波数隣接スペクトル残留値を構成するノイズ領域を検出し（310）、
ノイズ領域の周波数範囲の表示を発生しかつノイズ領域中のスペクトル残留値のエネルギーの測定値を計算することによりノイズ領域中のスペクトル残留値をノイズ置換し（310）、
ノイズ領域中にないスペクトル残留値を量子化・エントロピー符号化し、かつ
ビットストリームを形成する
ステップを有してなり、
量子化・エントロピー符号化に際しては、ノイズ領域の周波数範囲の表示に反応して、ノイズ領域中のスペクトル残留値は量子化・エントロピー符号化されず、これによりノイズ領域中にないスペクトル残留値の量子化により導入されたノイズの時間的成形が得られ、前記ビットストリームは、量子化・エントロピー符号化されたスペクトル残留値の多重送信（208）による符号化オーディオ信号と、ノイズ領域の周波数範囲の表示と、量子化・エントロピー符号化スペクトル残留値についての補助情報中のノイズ領域中のスペクトル残留値のエネルギーについての測定値とを、表わすものである
ことを特徴とするオーディオ信号の符号化方法。
【請求項２】
量子化・エントロピー符号化スペクトル残留値と補助情報としてスペクトル残留値のノイズ領域の周波数範囲とノイズ領域中のスペクトル残留値のエネルギーの測定値との表示とを有している符号化オーディオ信号の解号方法であって、
符号化オーディオ信号を受信し（212）、
補助情報中のスペクトル残留値のノイズ領域中の周波数範囲の表示とノイズ領域中のスペクトル残留値のエネルギーの測定値に関連する情報を検出し（214）、
表示により識別された周波数範囲に関するノイズ領域についてのエネルギー測定値に基づいてスペクトルノイズ残留値を発生して（312）ノイズ領域中のノイズ残留値がランダムな値でありかつノイズ領域についてのエネルギー測定値により決定されるエネルギーを持つようにし、
ノイズ領域中に存在しない量子化・エントロピー符号化スペクトル残留値を逆エントロピー符号化・再量子化して（216）ノイズ領域中にない周波数範囲についてのスペクトル残留値を得て、
発生ステップ（312）により発生されたスペクトルノイズ残留値と逆エントロピー符号化・再量子化（216）により発生されたスペクトル残留値とを用いて周波数に関連して逆予測を実行して（900）時間的オーディオ信号に対応するスペクトル値を得て、
スペクトル値を時間領域に変換して（218）解号された時間的オーディオ信号を得る
ステップを有してなる符号化オーディオ信号の解号方法。
【請求項３】
予測実行ステップ（804）または逆予測実行ステップ（900）がそれぞれ特定範囲のスペクトル値（ｘ（１）〜ｘ（ｎ））についてのみ行われ、
符号化オーディオ信号中の特定の範囲が時間的ノイズ成形補助情報として表示される
ことを特徴とする請求項１または２に記載の方法。
【請求項４】
予測が使われた情報と予測係数と予測（804）についての周波数範囲情報とが符号化オーディオ信号の補助情報中に含まれている
ことを特徴とする請求項１〜３のいずれかひとつに記載の方法。
【請求項５】
予測（804）により発生されたフィルター係数が符号化オーディオ信号の補助情報中に導入される
ことを特徴とする請求項１〜４のいずれかひとつに記載の方法。
【請求項６】
ノイズ置換のステップ（310）が完全スケールファクター帯域について行われて、ノイズ領域が少なくとも１個の完全スケールファクター帯域を含んでいることを特徴とする請求項１〜５のいずれかひとつに記載の方法。
【請求項７】
ノイズ置換のステップ（310）がスケールファクター帯域を有した検出されたノイズ領域中のスペクトル残留値（xR（１）〜xR（ｎ））のエネルギーの計算を含んでおり、
ノイズ領域中のスペクトル残留値のエネルギーについての測定値が符号化オーディオ信号の補助情報中でスケールファクター帯域に関するビットストリーム中に与えられた場所に含まれている
ことを特徴とする請求項１〜６のいずれかひとつに記載の方法。
【請求項８】
符号化中に、心理音響学的なモデルを用いて量子化ステップが実行され、
量子化により導入される量子化ノイズがマスクされる
ことを特徴とする請求項１〜７のいずれかひとつに記載の方法。
【請求項９】
異なる周波数に割り当てられる時間的オーディオ信号のスペクトル値（ｘ（１）〜ｘ（ｎ））を得るべく時間的オーディオ信号を周波数領域に変換する分析フィルターバンク（202）と、
異なる周波数に割り当てられるスペクトル残留値（xR（１）〜xR（ｎ））を得るべく周波数隣接スペクトル値間で周波数に関連してスペクトル値の予測を実行する時間的ノイズ成形フィルター（804）と、
スペクトル残留値中の１個以上の周波数隣接スペクトル残留値からなるノイズ領域を検出するノイズ検出器（310）と、
ノイズ領域の周波数範囲の表示を発生しかつノイズ領域中のスペクトル残留値のエネルギーについての測定値を計算することによりノイズ領域中のスペクトル残留値をノイズ置換する手段と、
ノイズ領域内にないスペクトル残留値を量子化・エントロピー符号化する量子化器およびエントロピーエンコーダー（204）と、
ビットストリームを形成するビットストリームマルチプレクサー（208）と
を有してなり、かつ
量子化器およびエントロピーエンコーダーにおいては、ノイズ領域の周波数範囲の表示に反応して、ノイズ領域中のスペクトル残留値が量子化・エントロピー符号化されず、これによりノイズ領域中にないスペクトル残留値の量子化により導入されたノイズの時間的成形が得られ、
ビットストリームが、量子化・エントロピー符号化スペクトル残留値の多重送信による符号化オーディオ信号と、ノイズ領域の周波数範囲の表示と、量子化・エントロピー符号化スペクトル残留値についての補助情報中のノイズ領域中のスペクトル残留値のエネルギーについての測定値、を表わす
ことを特徴とするオーディオ信号符号化用エンコーダー。
【請求項１０】
量子化・エントロピー符号化スペクトル残留値と、補助情報としてのスペクトル残留値のノイズ領域の周波数範囲の表示と、
ノイズ領域中のスペクトル残留値のエネルギーについての測定値とを有した符号化オーディオ信号を解号するデコーダーであって、
符号化オーディオ信号を受信する入力端（212）と、
スペクトル残留値のノイズ領域の周波数範囲の表示とノイズ領域中のスペクトル残留値のエネルギーについての測定値に関連する補助情報中の情報を検出するビットストリームデマルチプレクサー（214）と、
表示により識別された周波数範囲に関するノイズ領域についてのエネルギー測定値に基づいてスペクトルノイズ残留値を発生して、これによりノイズ領域中のノイズ残留値がランダム値であってかつノイズ領域についてのエネルギー測定値により定まるエネルギーを有するノイズ発生器（312）と、
ノイズ領域中にない量子化・エントロピー符号化スペクトル残留値を逆エントロピー符号化・再量子化してノイズ領域中にない周波数範囲についてのスペクトル残留値を得る逆量子化器（216）と、
ノイズ発生器（312）により発生されたスペクトルノイズ残留値と逆量子化器（216）により発生されたスペクトル残留値を用いて周波数に関連して逆予測（900）を実行し、時間的オーディオ信号に対応するスペクトル値を得る逆時間的ノイズ成形フィルター（900）と、
スペクトル値を時間領域に変換して解号時間的オーディオ信号を得る合成フィルターバンク（218）とを有してなる
ことを特徴とするデコーダー。
【発明の詳細な説明】
この発明はオーディオ信号の符号化方法に関するものであり、特に現在開発中の標準MPEG−2AACのためのオーディオ信号の符号化方法に関するものである。
この明細書において使われている「ノイズ領域」という用語について図7Aを参照して説明する。
右上の図にオーディオ信号を構成するサンプルのブロックに対応するスペクトル値が示されている。スペクトル値は周波数０〜20kHzの範囲に亙っている。右下の図に対応するスペクトル残留値が示されており、周波数０〜20kHzの範囲に亙っている。
請求項１に言う「スペクトル残留値中のノイズ領域」は周波数範囲10〜15kHzに亙っていると言える。また「ノイズ領域中のスペクトル残留値」とはこの周波数範囲中のスペクトル残留値を言うものである
標準化組織ISO/IEC  JTC1/SC29/WG11（またの名を映画専門家グループ（MPEG）という）は1988年に創立されたものであり、低データ速度のためのデジタル・ビデオおよびオーディオ符号化方式を特定するためのものである。最初の特定化は標準MPEG−１により1992年11月に完成された。MPEG−１（ISO  11172−３に特定化されている）によるオーディオ符号化システムはサンプリング周波数32kHz、44.1kHzおよび48kHzで１または２−チャンネルステレオ・モードで動作するものである。
標準MPEG−１は、国際通信ユニオンに特定されているように、チャンネル当り128kb/sのデータ速度で放送品質を与える。
開発の第２の局面においては、MPEGの目的はMPEG−１−オーディオのためにマルチ・チャンネル拡大の特定化にあり、現存のMPEG−１システムに対して後退両立可能（backward−compatible）であるものと想定される。またMPEG−１におけるよりも低いサンプリング周波数（16kHz、22.5kHz、24kHz）におけるオーディオ符号化標準の特定化にもるものと考えられる。後退両立可能標準（MPEG−２  BC）および低サンプリング周波数標準（MPEG−２  LSF）は1994年11月に完成されたのである。
全帯域幅の５チャンネルのために640〜896kb/sのデータ速度でMPEG−２  BCは良好なオーディオ品質を与えるものである。さらにMPEG−２オーディオ標準化委員会の努力は、MPEG−１への後退両立可能性が要求されたときに得られるものより高品質のマルチ・チャンネル標準の特定化、に向けられた。このMPEG−２による非両立可能性オーディオ標準はMPEG−２  NBCを命名された。この開発の目的は、各チャンネルが全帯域幅を有する５チャンネルオーディオ信号のための384kb/s以下のデータ速度でのITU−Ｒ要求に応じた放送品質を得ること、にある。オーディオ符号化標準MPEG−２  NBCは1997年４月に完成された。
方式MPEG−２  NBCおよびMPEG−４はすでに計画されたより高いデータ速度（データチャンネル当り40kb/sを越える）を有するであろうオーディオ標準の核心をなすものである。NBCまたは非両立可能性オーディオ標準は高解像度フィルター・バンク、予測技術および剰余低減ホフマン符号化を組み合わせたもので、非常に低いデータ速度で放送品質のオーディオ符号化を得ようとするものである。標準MPEG−２  NBCはまたMPEG−２  NBC  AAC（AAC＝上級オーディオ符号化）とも呼ばれている。MPEG−２  AACの技術的詳細は、M.Bosi、K.Brandenburg、S.Quackenbush、L.Fielder、K.Akagiri、H.Fuchs、M.Dietz、J.Herre、G.Davidson、Yoshiaki  Oikawa:「ISO/IEC  MPEG−２  高級オーディオ符号化」、101番、AES  Convention、Los  Angels  1996、予原稿4382に記載されている。
効率的なオーディオ符号化方法はオーディオ信号から冗長性（redundancies）と無関係性（irrelevancies）とをともに除くものである。オーディオ・サンプリング値とサンプル値表示確率との相関関係は冗長性を除くべく開発されている。人間聴取システムの周波数範囲および時間範囲マスキング性能（masking  properties）が、受容し難い信号成分（無関係性）を除くために、開発されている。オーディオ信号の周波数含有内容はフィルターバンクにより部分的な帯域に分割されている。データ速度の低減は、心理−音響モデルに応じた時間信号の量子化、により達成される。かつこの低減は非損失符号化方法を含んでいる。
一般的に言うと、時間連続オーディオ信号をサンプリングするのは時間不連続オーディオ信号を得るためである。時間不連続オーディオ信号はウインドウ機能によりウインドウに掛けられ、特定数（例えば1024個）のウインドウされた時間不連続サンプリング値の連続ブロックまたはフレームを得る。各ウインドウされた時間不連続サンプリング値のブロックは周波数範囲に連続的に変換され、このためには例えば変形コサイン変換（MDCT）が用いられる。かくして得られたスペクトル値はまだ量子化されておらず、したがって量子化の必要がある。そのようにする主たる目的はスペクトル値を、量子化された信号それ自身により量子化ノイズがマスクまたは覆われるように、量子化することにある。
そのためにはMPEG  AACに記載された心理音響モデルが使用される。これは人間の耳の特殊な性質を考慮して、存在するオーディオ信号に基づいてマスキングしきい値を算出するものである。ついでスペクトル値が量子化されるが、この際に導入された量子化ノイズが隠されて非可聴となるように量子化を行うのである。したがって量子化は可聴ノイズを齎すことはないのである。
NBC標準は所謂非均一量子化器を利用する。これに加えて、量子化ノイズを成形するべくある方法が用いられる。先行する諸標準と同じように、NBC標準もスケール・ファクター帯域として知られているスペクトル係数群の個別増幅を使用する。可能な限り効率よく作業すべく、量子化ノイズはユニットに成形するのが望ましく、該ユニットはできる限り人間の聴取システムの周波数群に合致するように構成されている。
かくして周波数群の帯域をなるべく近く反映するようにスペクトル値を群にすることが可能である。個々のスケール・ファクター帯域は1.5dBのステップのスケール・ファクターにより増幅できる。増幅された係数がより高い振幅を有するようにノイズ成形は行われる。したがって、量子化後はより高い信号−ノイズ比を示す。他方、高い増幅は符号化のためにより多くのビットを必要とする。すなわちスケール・ファクター帯域間のビット分布は暗黙のうちに変更される。スケール・ファクターによる増幅は勿論デコーダー中で修正する必要がある。この理由からして、1.5dBユニット中のスケール・ファクター中に記憶されている増幅情報は副情報としてデコーターに伝達されなければならない。
スケール・ファクター帯域中のスペクトル値の量子化の後（ときにはスケール・ファクターにより増幅された）、スペクトル値は符号化される。非ノイズ符号化モジュールへの入力信号は例えば1024量子化スペクトル係数のセットである。非ノイズ符号化モジュールにより、1024の量子化スペクトル係数のセットはセクションに分割される。この差異には各セクションを符号化するのに単一ホフマン符号化テーブル（コードブック）が採用される。符号化効率のために、セクションの限界はただ１個のスケール・ファクター帯域限界を与えられ、スペクトルの各セクションに、スケール・ファクター帯域中のセクションの長さとホフマン符号化テーブルとが副情報として伝達されなければならない。
セクションの形成は動的であって、量子化されたスペクトル計数の全セットを表示するのに必要なビット数が最小になるように、ブロックからブロックへと変動する。ｎ−タプルの量子化係数の表示にはホフマン符号化が使われるが、ホフマン・コードは12個の符号化テーブルのひとつから引き出される。各ホフマン符号化テーブルにより表示されることのできる量子化係数の最大絶対値と各符号化テーブルのための各ｎ−タプルにおける係数の個数とは最初から特定化されるものである。
セクションを形成する理由は、単一のホフマン符号化テーブルによってセクションのためのできる限り高い符号化ゲインを得るために、同じ信号確率を有した群領域にある。この符号化ゲインは一般に符号化前後のビットの商により特定される。NBC方式に用いられるビット・フロー中の符号化テーブル数（コードブック数）により、12個のホフマン符号化テーブルのひとつに照合が行われて、これにより特定のセクションのための最高の符号化ゲインが可能となる。
この明細書における「符号化テーブル数」とは符号化テーブル数のために確保されたビット・フロー構造中の場所を指している。二進数の11個の異なる符号化テーブル数を符号化するためにに、４個のビットが必要とされる。これらの４ビットは各セクション（つまりスペクトル値の各群）に副情報として伝達されなければならず、これによりデコーダーは解号のために対応する正しい符号化テーブルを選択できる。
図２に示すのは上記した原理によって動作するコーダーとデコーダーの概要を示すものである。好ましくはすでに時間不連続な態様で存在するオーディオ信号がオーディオ入力端200を介して入力される。ついで時間不連続オーディオ信号はブロック202（分析フィルター・バンクでありウインドウ機能を具えている）において、やはり「フレーム」と呼ばれる時間不連続なウインドウ処理されたオーディオ信号のブロックを得るべく、ウインドウ処理される。
分析フィルターバンク202において、ウインドウ処理された値は周波数範囲に変換される。かくして分析フィルターバンク202の出力端にはスペクトル値が現れるが、これはまず量子化符号化ブロック204において量子化され、ついで例えばホフマン符号化により冗長符号化される。さらにオーディオ入力端200における時間不連続オーディオ入力信号から量子化に用いられるマスキング情報が算出され、それによりスペクトル値を量子化するために導入された量子化ノイズが心理音響的にマスキングまたは被覆される。
量子化されかつ符号化されたスペクトル値は、コーダーの場合には、ビット・フロー・マルチプレクサ−208に供給されて量子化されてかつ冗長符号化されたスペクトル値をビット・フローに形成する。このビット・フローは公知のように解号に必要な副情報を含んでいる。完成された符号化ビット・フローは出力端210に現われ、入力端200におけるオーディオ信号の符号化バージョン（version）を構成している。このビット・フローはデコーダーに伝達されてそのビット・フロー入力端212に入る。ビット・フロー・デマルチプレクサー214においてビット・フローは副情報と量子化符号化スペクトル値とに分解される。これらは逆量子化ブロック216において冗長符号化されかつ再量子化される。ついで合成フィルター・バンク218に供給されて、その入力端に存在するスペクトル値は時間範囲に戻り変換される。このとき符号化および解号オーディオ信号はデコーダーの出力端220に存在する。この出力端220の符号化および解号オーディオ信号は、、符号化エラーは別として、入力端200における当初の時間不連続オーディオ信号に相当する。
所謂「時間的ノイズ成形」技術についてもすでに公知文献がある（J.Herre、J.D.Johnston「時間的ノイズ成形（TNS）による知覚可聴コーダーの挙動向上」101番、AES  Convention、Los  Angeles、1996、予原稿4384）。一般的に言うとTNS（時間的ノイズ成形）技術はスペクトル値の予測的符号化により量子化ノイズの微細構造を時間的に成形するものである。
TNS技術は時間と周波数範囲との間の二元性（dualism）の結果的な採用に基礎を置いている。周波数範囲に変換されたときの時間信号の自動相関機能は正確にこの時間信号のスペクトル力密度を示している。信号のスペクトルの自動相関機能が形成されて時間範囲に変換されたとき、それに関して二元性が起きてくるのである。時間範囲に変換された自動相関機能またはそれから戻り変換された自動相関機能は時間信号のヒルベルト包絡曲線の二乗（square  of  the  Hilbert  envelope  curve）とも呼ばれている。したがって信号のヒルベルト包絡曲線はそのスペクトルの自動相関機能に関連している。
信号の二乗ヒルベルト包絡曲線およびスペクトル力密度は時間範囲および周波数範囲で二元性を呈することになる。信号のヒルベルト包絡曲線が各部分的帯域信号について一定の周波数範囲に亙って定常であるときには、隣接するスペクトル値間の自動相関は同様に定常である。すなわち周波数に関連して一連のスペクトル係数は静的であり、これがなぜ、予測係数の共通のセットを利用して信号を表現するために、予測的符号化技術が効率よく使用されるかの理由である。
上記の事実を図5a、5bにより説明する。図5aに示すのは期間が約40msの「カスタネット型」の信号の短期セクションであって、時間的に高度に一過性のものである。この信号は数個の部分的な帯域信号に分割され、各部分的帯域信号の帯域幅は500Hzである。図５は中心周波数が1500〜4000Hzの範囲にあるこれらの帯域信号のヒルベルト包絡曲線を示すものである。明確にするために全ての包絡曲線はその最大振幅に正規化されている。全ての部分的包絡曲線の形状は明らかに互いに関連を有しており、したがってこの周波数範囲内で共通の予測器を用いて信号を効率的に符号化するもとができる。同じような観察が音声信号についてもなし得るのであり、そこでは、人間の会話形成メカニズムの性質の故に、声門の刺激パルスが全周波数範囲に存在するのである。
図５は隣接する値の相関を示すもので、例えば周波数2000Hzにおけるものは周波数3000Hzまたは1000Hzにおけるそれとそれぞれ同じである。
これに代えて一過性信号のスペクトル予測可能性の性質は図４からも理解することができる。表中の上左には、正弦波経路を有した時間連続信号ｕ（ｔ）が示されている。その反対側には、この信号のスペクトルＵ（ｆ）が示されており、これは単一のディラック・パルスから構成されている。この信号の最適な符号化は全ての時間信号についてスペクトルデータまたはスペクトル値を符号化すればよい。なぜならフーリエ関数の量および位相を伝達して時間信号を完全に再構築する必要があるからである。同時にスペクトル値の符号化は時間範囲における予測に相当する。かくして、時間範囲中で予測的符号化を行う必要がある。正弦波時間信号は平らな時間的な包絡曲線を有し、これが最大値において平らではない周波数範囲中の包絡曲線に対応するのである。
以下に上記とは逆の場合を考察する。すなわち時間信号ｕ（ｔ）が時間範囲中のディラック・パルスの形である最大一過性信号である場合である。時間範囲内でのディラック・パルスは「平らな」パワー・スペクトルに相当する。一方位相スペクトルはパルスの一時的な位置に応じて回転している。上記した従来の手法（例えば伝達符号化またはスペクトルデータの符号化または時間範囲データの線形予測符号化）の場合にはこの信号は明らかに問題となる。この信号は時間範囲において最もよくかつ最も効率的に符号化することができる。なぜならば、ディラック・パルスの時間的な位置とパワーのみが伝達必要であって、これは二元性の結果的な適用により、時間範囲における予測的な符号化が効率的な符号化に適合した手法を与える結果になる。
ここで、周波数に関連してスペクトル係数を予測的に符号化することを、ブロックからブロックへとスペクトル係数を予測する二元的概念と、混同しないことが重要である。なお後者の手法は前記したM.Bosi、K.Brandenburg、S.Quackerbush、L.Fielder、K.Akagiri、H.Fuchs、M.Diets、J.Herre、G.Davidson、Yoshiaki  Oikawa:「ISO  MPEG−２  高級オーディオ符号化」、101番、AES  Convention、Los  Angels、1996、予原稿4382に記載されている。ブロックからブロックへとスペクトル係数を予測する際には（これは時間に関連しての予測に相当する）、スペクトル解像度は増加される。ところが周波数に関連してスペクトル値を予測する際には、時間的な解像度は向上する。例えば1000Hzにおけるスペクトル係数は、例えば同じブロックまたはフレーム中の900Hzにおけるスペクトル係数により決定することができる。
このような考察により一過性の信号のための効率的な符号化方法が得られるのである。時間と周波数範囲との間の二元性を考慮しての予測定符号化技術は、公知のあるスペクトル係数から同じ周波数のつぎのブロック中のスペクトル係数の予測と、実質的に同じに扱うことができる。スペクトルパワー密度と信号の二乗ヒルベルト包絡曲線とは互いに二元性を有しており、従来の予測方法の場合のスペクトル平坦度とは対照的に、信号の二乗ヒルベルト包絡曲線に応じて残留信号エネルギーまたは予測ゲインの低減が得られるのである。潜在的な符号化ゲインは増加的に一過性の信号については増加する。
可能な予測方式としてはクローズド・ループ予測方式（後前方向予測とも呼ばれる）とオープン・ループ予測方式（前方向予測とも呼ばれる）とがある。クローズド・ループによるスペクトル予測方式（後前方向予測）の場合には、エラーの包絡曲線が平らである。換言すると、エラー信号エネルギーが時間に関して均一に分布されている。
しかし前方向予測の場合には図６に示すように、量子化によりもたらされたノイズの時間的な成形が起きる。予測されるべきスペクトル係数ｘ（ｆ）が加算点600に供給される。したがって同じスペクトル係数が予測器610に供給されて、負号を伴ったその出力信号が同様に加算点600に供給される。かくして量子化器520への入力信号はスペクトル値ｘ（ｆ）と予測により算出されたスペクトル値xP（ｆ）との差を示している。
前方向予測にあっては、解号されたスペクトル係数中の全エラー・エネルギーが同じままで残る。量子化エラー信号の時間的な形状はデコーダーの出力端に一時的に現れる。なぜならスペクトル係数に関しての予測が採用されたからである。ここで量子化ノイズは実際の信号の下側に一時的に置かれてマスクされる。この方法により例えば一過性信号または音声信号における時間マスクの問題が回避される。
このようなスペクトル値の予測符号化はTNSまたは一時的ノイズ成形技術と呼ばれる。これを図７に示す。図7a中の上左側には高度に一過性の時間信号の時間曲線が示されている。図中上右側にはこれに対してDCTスペクトルの部分が示されている。図７中の下左側にはLPC作業（LPC＝線形予測符号化）により算出された結果のTNS合成フィルターの周波数応答が示されている。ここでこの図表中の（標準）周波数座標は時間範囲と周波数範囲との二元性による時間座標に相当する。
LPC算出は明らかに入力信号の「ソースモデル」に至るものである。なぜならLPC算出合成フィルターの周波数応答は高度に一過性の時間信号の包絡曲線と同じだからである。図7a中下右側には図６中の量子化器620の入力信号のスペクトル残留値が周波数に関連して示されている。予測後のスペクトル残留値と直接時間−周波数変換のスペクトル値とを比較すると、スペクトル残留値が最初のスペクトル値よりかなりエネルギーが低いことが分かる。図示の実施例ではスペクトル残留値のエネルギー減少は約12dBの全予測ゲインに相当する。
以下の記載に関しては図7a中の下左側を参照されたい。時間範囲信号の予測の従来に応用にあっては、合成フィルターの周波数応答は入力信号のスペクトル値の近似である。合成フィルターは（再）生成してほぼ「白色」スペクトルを有する残留信号から信号のスペクトル形状を引き出すのである。TNS技術の場合のようにスペクトル信号に予測を適用する際には、合成フィルターの周波数応答は入力フィルターの包絡曲線の近似である。合成フィルターの周波数応答はパルス応答のフーリエ変換であり、従来の手法と共通するが、逆フーリエ変換である。
TNS合成フィルターはほぼ「白色（すなわち平らな）」包絡曲線を有した残留信号か信号の包絡曲線形状を（再）生成する。図7a下左側の表示はTNS合成フィルターにより形成された入力信号の包絡曲線である。これは現在の場合、上に示されたカスタネット型信号の包絡曲線近似の対数表示である。
その後符号化ノイズがスペクトル残留値に導入される。すなわち例えば0.5Barkの幅を有した各符号化帯域において、13dBの信号−ノイズ比が得られる。量子化ノイズの導入により生じる時間範囲中のエラー信号を図7bに示す。図中左側の表示はTNS技術が使用された場合における量子化ノイズに起因するエラー信号である。一方図中右側の表示においては、比較の理由からTNS技術は使われていない。予想されるように、左側の表示中のエラー信号はブロック全体に亙って均一には分布されてなく、この量子化ノイズを最適な方法で覆う高い信号成分がある部分に集中している。
右側に示した表示では、導入された符号化ノイズはブロック中で（すなわち時間に関連して）均一に分布されている。この結果、信号がないか全んどない前方部分中では可聴ノイズが存在する。一方高い信号成分を含んだ領域中では、比較的ノイズが少なく、信号のマスク可能性が完全には利用されてないのである。
コーダー中へのTNSフィルター804の搭載を図8aに示す。これは分析フィルターバンク802と符号化器806との間に配置されている。図8aに示すコーダーの場合の時間不連続入力信号はオーディオ入力端800に供給され、量子化されたオーディオ信号および量子化されたスペクトル値または量子化されたスペクトル残留値は出力端808に出力され、該出力端はその下流側に余分のコーダーを備えていることもある。かくして入力信号はスペクトル値に変換される。
算出されたスペクトル値に基づいて、通常の線形予測計算が行われ、これには例えばスペクトル値の自動修正マトリックスを形成し、かつレビンソン−ダービン反復（Levinson−Durbin  recursion）が用いられる。図8bはTNSフィルター804を詳しく示したものである。フィルター入力端810にはスペクトル値ｘ（１）・・・ｘ（ｉ）・・・（ｎ）が入力される。ある特定の周波数範囲のみが一過性の信号を有し、他の周波数範囲がどちらかというと静的な性質を有している場合があるかもしれない。このことを考慮してTNSフィルター804には入力スイッチ812と出力スイッチ814とが設けられている。しかしこれらのスイッチはまず処理されるデータの並列／直列および直列／並列変換をそれぞれ扱っている。
ある特定の周波数範囲が非静的であってTNS技術による特定の符号化ゲインを保証しているか否かにより、この特定のスペクトル範囲がTNS処理されるだろう。すなわち入力スイッチ812が例えばスペクトル値ｘ（ｉ）でスタートして、スペクトル値ｘ（ｉ＋２）に至るまで作用する。フィルター・ゲインの内部は再び前向き予測構造（すなわち予測器610と合計点600）となる。
TNSフィルターのフィルター係数と予測係数とを決定する計算はそれぞれ以下のように行われる。自動相関マトリックスの形成とレビンソン−ダーバン反復の使用とはノイズ形成フィルター20の最高許容オーダー（order）桁について行われる。算出された予測ゲインが特定のしきい値を越えると、TNS処理が達成される。
ついで現在のブロックに用いられるノイズ形成フィルターのオーダーが、係数列の最終から充分に小さな絶対値で全ての係数を除く、により決定される。かくして通常TNSフィルターのオーダーは音声信号について４〜12の強さである。
スペクトル値ｘ（ｉ）のある範囲について例えば充分に高い符号化ゲインが確実な場合には、後者が処理され、スペクトル値ｘ（ｉ）ではなくスペクトル残値xR（ｉ）がTNSフィルターの出力端に出される。図7aから分かるように、この後者の値は通常のスペクトル値ｘ（ｉ）よりは非常に低い振幅を有している。かくしてデコーダーに送られた副情報は、通常の副情報に加えて、フラッグを有している。このフラッグはTNSの使用と、必要ならば、目的とする周波数範囲についての情報と符号化に用いられたTNSフィルターについての情報とを含んでいる。フィルター・データは量子化されたフィルター係数として表現され得る。
図9aに示すデコーダーにおいて、各チャンネルについてTNS符号化が反転される。スペクトル残値xR（ｉ）は逆量子化器216において再量子化されて、図9bにその構造を示す逆TNSフィルター900に供給される。逆TNSフィルター900は出力信号としてスペクトル値を再び送出し、これが合成フィルター・バンク218中の時間範囲に変換される。ここでもTNSフィルター900は入力スイッチ902と出力スイッチ908とを有しており、まず処理されるべきデータの並列／直列および直列／並列変換を行う。
入力スイッチ902はさらに採用されているであろう目的周波数も考えに入れて、スペクトル残値のみをTNS符号化に供給する。TNS符号化されてないスペクトル値は変化されることなく出力端910を通過する。逆予測フィルターはここでも予測器906と合計点904とを具えている。しかしTNSフィルターとは違って、これらは以下のように接続されている。スペクトル残留値が入力スイッチ902を経て合計点904に供給されて、そこで予測器906の出力信号と合計される。予測器は出力信号として予測スペクトル値xP（ｉ）を出す。このスペクトル値xP（ｉ）は出力スイッチを経て逆TNSフィルターに出力される。かくしてTNS副情報がデコーダーにおいて解号される。この副情報はTNSの使用を示すフラッグを、必要なら、的とする周波数範囲に関する情報を含んでいる。これに加えて副情報はブロックを符号化するのに使用される予測フィルターのフィルター係数をも含んでいる。
かくしてTNS方法は以下のように要約される。入力信号が高解像度分析フィルター・バンクによりスペクトル表示に移送される。爾後周波数範囲内での線形予測が実施される。すなわち周波数−隣接スペクトル値間で行われる。この線形予測はスペクトル値をフィルターする処理と考えてよく、そのスペクトル範囲において実施される。当初のスペクトル値は予測エラー（すなわちスペクトル残留値）により置き換えられる。これらのスペクトル残留値は、通常のスペクトル値と同様に、量子化され符号化された形でデコーダーに移送される。ここで値は再び解号されて逆符号化される。逆フィルター・バンク（合成フィルターバンク）の適用前に、コーダーにより行われた予測と逆の予測が伝達されたエラー信号（すなわち再量子化されたスペクトル残留値）について逆予測フィルターを用いて行われる。
この方法の適用により量子化ノイズの一時的な包絡曲線を入力信号のそれにマッチさせることができる。これにより、時間的な微細構造を有した信号の場合に、エラー信号のマスキングの利用が改善される。一時的な信号の場合には、TNS方法はいわゆる「プレエコー」を除き、そこでは信号の衝撃（striking）前に量子化ノイズがすでに現れる。
心理音響学の分野から知られていることだが、ノイズ信号の知覚印象は主としてそのスペクトル組成から決定されるもので、実際の信号形状からではない。これによりオーディオ信号のデータ還元におけるいわゆるノイズ置換方法を使用できる。
「ノイズ置換」はDonald  Schulzの「ノイズ置換によるオーディオ・コードの改善」（Journal  of  the  Audio  Eng.Soc.、第44巻、7/8号、593〜598頁、7/8月、1996）に記載されている。上記したように、従来のオーディオ符号化アルゴリズムは人間の耳のマスキング効果を利用しており、データ速度を大きく低減したり伝達されるビット数を低減している。このマスキングとはスペクトル値としての１以上の周波数成分がより低いレベルの成分を非可聴とすることを意味している。この効果は２通りに利用できる。第１に他の成分によりマスクされたオーディオ信号成分は符号化する必要がない。第２に、ノイズが当初の信号の成分によりマスクされたとき、ノイズの導入が上記した符号化により可能となる。
ノイズ状の信号の場合には、人間の可聴システムは正確な経路を確認することはできない。従来のアルゴリズムでは、人間の耳にはほとんど関係のない白色ノイズの波形さえも符号化される。かくしてノイズ含有信号の可聴補償符号化は予告がないと可聴できない情報のために高いビット程度を必要とする。しかしもし信号のノイズ含有成分が検出されてノイズレベル上または周波数範囲上またはその延長上の情報とともに符号化されると、そのような余分な符号化が低減できる。これにより極度にビットを節減できることになる。この事実は心理音響学により支持されており、ノイズ信号の知覚の印象は主としてそのスペクトル成分により決定されが、実際の波形によってではない。これによりオーディオ信号のデータ低減のためにノイズ置換方法を使用できることになる。
かくしてコーダーはオーディオ信号の全てのスペクトル中のノイズまたはノイズ性のスペクトル値を発見または認識する作業に直面する。ノイズ状のスペクトル値の定義はつぎの通りである。信号成分がそのレベルと周波数範囲と時間における延長とにより、人間の聴覚に可聴差異なしにノイズ置換により再構築され得るように、特性付けられる場合には、信号成分はノイズであると分類されるのである。
前記の刊行物に記載のように、この特性の検出は周波数範囲でも時間範囲でも実施できる。例えば一番簡単な方法では、音成分（すなわち非ノイズ状）成分をマスキングし、これには時間−周波数変換を使用し、時間において相互に続くスペクトル中の静的ピークに従う。このピークは音状と呼ばれ、他のものはノイズ状と呼ばれる。しかしこれはかなり粗いノイズ検出システムである。ノイズ状と音状スペクトル成分を識別する他の手法としては、連続するブロック中のスペクトル値について予測器を利用するものである。
あるスペクトルからつぎのスペクトルへと予測が実施される。すなわちつぎの時間的なブロックを伴なうスペクトルである。予測されたスペクトル値と次のブロックのスペクトル値（変換により実際に確認されている）との間の差異がないか極く小さい場合には、スペクトル値は音スペクトル成分であると推定される。これから調性の測定が行われ、音状とノイズ状スペクトル値の識別決定の基礎となる。
しかしこの手法は厳密に静的な信号についてのみ適切である。時間に関連して若干変動する周波数のサインカーブ状の信号が存在する場合には検出ができないのである。そのような信号はしばしばオーディオ信号中に現われて（例えばビブラート）、これらをノイズ状成分で置き換えることはできないのである。
その他にもノイズ状信号を検出するには、時間範囲内で予測を行う方法がある。このため整合フィルターを使用でき、線形予測を繰り返して実施する。通過したオーディオ信号は入力され、出力信号は実際のオーディオ信号値と比較される。小さな予測エラーの場合には、調性があると推定される。異なる周波数範囲の特性を決定すべく、すなわちスペクトル範囲を検出すべく、スペクトル値の群がノイズ状群であるか否かを決定すべく、当初の信号と予測された信号の時間−周波数変換を実施する必要がある。
調性の測定かつ周波数群について、当初と予測された値を比較すること、により算出される。ここで主たる問題は、予測器の動的な範囲が限られている点である。結果される高度のエラーの故に予測器が高レベルのノイズ状周波数群により占められるのである。音成分を有した他の周波数範囲はノイズ状と解釈される。この問題は、相互干渉アルゴリズムを用いることにより、低減される。そこではエラー信号は通常当初の信号より低レベルであり、追加の予測器に入力されて、両予測信号が加算される。以上はSchulzの文献に記載されている。
ノイズ状と分類されたスペクトル値の群は、通常のように量子化されてかつエントロピーまたは冗長性符号化された形（例えばホフマン・テーブルにより）で受信器に伝達される、ことはない。ノイズ置換を表示する識別とスペクトル値のノイズ状群の尺度とのみが副情報として伝達されるのである。受信器においては置換された係数は伝達されたエネルギーとともにランダムな値（ノイズ）と置換される。ノイズスペクトル値は対応する量のエネルギーとともにランダムなスペクトル値により置換される。
量子化されたスペクトル係数について一群のコードの代わりに単一のエネルギー情報を伝達することにより、すなわち数個の量子化されて符号化されたスペクトル値を伝達することにより、データをかなり節減することができる。どの程度節減できるかは信号による。例えばノイズ成分が非常に低い信号、すなわちノイズ状群が非常に少ないかまたは一過性の性質がある場合には、ノイズの多い信号よりもデータの節減程度が低くなる。
前記した標準MPEG−２オーディオ符号化（AAC）はノイズ置換の可能性を支持するものではない。今迄のところ現存の標準では顕著なデータ程度節減は不可能である。
図３に示すのは図２のものと同じコーダーとデコーダーであるが、ノイズ置換を含んでいる点で異なる。前記したように図３に示すようなノイズ置換のインプリメンテーションは従来技術の部分ではない。同じ参照番号は同じ機能ブロックを示している。図３のコーダーは図２のものに比べて１個の新たなブロック「ノイズ検出」310を有しているだけである。ノイズ検出は分析フィルター・バンク202の出力信号（スペクトル値）により行われる。
しかしノイズ検出に分析フィルター・バンクの時間入力信号を用いることもできる。これをオーディオ入力200をノイズ検出310をつなぐ矢印で示す。ノイズ置換には２個のカテゴリーの情報が必要である。これをノイズ検出ブロック310⇒量子化／符号化ブロック204およびノイズ検出ブロック310⇒ビット・フロー・マルチプレクサーブロック208の２本の矢印で示す。ノイズ置換符号化信号を再び解号するために、ノイズ置換表示を副情報として伝達する必要があり、これがどの周波数範囲においてまたはどのスケール・ファクター帯域でノイズ置換がされたかを示すのである。
さらにノイズ状群またはノイズ状スケール・ファクター帯域中のスペクトル値のエネルギーの測定値も副情報として伝達する必要がある。ノイズ置換スペクトル値は量子化や符号化されない、すなわちブロック「量子化／符号化」204はノイズ置換がスケール・ファクター帯域中に存在することを報告される。ビット・フロー・マルチプレクサ−もまたノイズ置換表示とノイズ状群中のスペクトル値のエネルギーの測定値を副情報として受ける。
またデコーダーは図２について記載したデコーダーと同じであり、新たなブロック「ノイズ置換」312が加わった点のみが異なる。このブロック312はビット・フロー・デマルチプレクサー204から入力信号としてノイズ置換表示と置換信号のエネルギー（つまりノイズ状中およびノイズ状スケール・ファクター帯域中のスペクトル値の測定値）を含んだ副情報を受ける。
ブロック「ノイズ置換」は、ノイズ状群およびノイズ状スケール・ファクター帯域のために、ランダムまたは「ノイズ」スペクトル値を発生し、これは合成フィルター・バンク218に供給され、符号化および解号化時間不連続オーディオ信号を得る。該フィルター・バンク218にとっては、ノイズスペクトル値を時間範囲に変換するかまたは「正常な」再オーディオ信号スペクトル値を時間範囲に変換するか、は無関係である。
公知の置換方法は、入力信号が均一なノイズ構造を呈する（つまり面上または平坦状のスペクトル）ときには、入力信号の位置部がノイズにより置換されついで非可聴品質損失を伴なって再び解号される、という問題を含んでいる。これは一過性信号または音声信号の場合にはなく、ノイズ置換の使用を完全に必要なくするかまたは、それでもノイズ置換が用いられた場合には、信号の邪魔な歪みが発生する。
以下添付の図面よりこの発明を詳細に説明する。
図１はこの発明のコーダーとデコーダーのブロック線図であり、
図２は公知のコーダーとデコーダーの基礎概念を示すブロック線図であり、
図３はノイズ置換を増設した図２のコーダーのブロック線図であり、
図４は時間領域と周波数領域間の二元性を示す表であり、
図5aは一過性信号の一例を示し、
図5bは図5aの一過性時間信号に基づいた部分帯域パス信号のヒルベルト包絡曲線を示し、
図６は周波数領域における予測を示す説明図であり、
図7aはTNS法の一例を示し、
図7bは導入されたTNS技術による／よらない量子化ノイズの時間的パターンの比較を示し、
図8aはTNSフィルターを具えたコーダーのブロック線図であり、
図8bはその詳細構成図であり、
図9aは逆TNSフィルターを具えたデコーダーのブロック線図であり、
図9bはその逆TNSフィルターの詳細構成図である。
図１にこの発明のコーダーとデコーダーとを示す。図３に示したコーダーに比べて図１のそれはTNSフィルター処理とノイズ置換との組合せを含んでいる。スペクトル値のノイズ置換を行う公知のコーダーとは対照的に、この図のコーダーはTNSフィルター804の出力端においてスペクトル残留値のノイズ置換を行う。スペクトル残留値の群またはスペクトル残留値を伴なったスケール・ファクター帯域においてはノイズ置換により、それらの中のスペクトル残留値のエネルギーの測定値を確認する。量子化器とコーダー204およびマルチフレクサー208へのノイズ置換表示は当初のスペクトル値のためのノイズ置換とともにアナログ的に実施される。
以上の符号化処理の流れについて以下に要約する。
（ａ）時間的オーディオ信号がブロック202の入力側に印加され、
（ｂ）ブロック202において分析フィルターバンクにより信号⇒スペクトル値変換が行われ、
（ｃ）ブロック202の出力側にスペクトル値が現れてブロック804の入力側に印加され、
（ｄ）ブロック804においてTNSフィルターにより予測が行われ、
（ｅ）ブロック804の出力側にスペクトル残留値が現れて、一方ではブロック204の入力側に印加され、他方ではブロック310の入力側に印加され、
（ｆ）ブロック204において量子器とコーダーにより量子化と符号化が行われ、
（ｇ）符号化されたオーディオ信号がブロック204の出力側に現れてブロック208の入力側に印加され、
（ｈ）ブロック310においてノイズ置換が行われ、
（ｉ）ノイズ領域とノイズ置換とに関する情報がブロック310の出力側に現れてブロック208に印加され、
（ｊ）ブロック208においてビットフローマルチプレクサーにより符号化オーディオ信号の副情報中に上記の情報が導入される。
デコーダーにいおいては反対のアナログ処理が起きる。ビット・ロフロー・ジマルチフレクサー214はTNS副情報を逆TNSフィルターに供給する。このTNS副情報は、TNS処理が周波数選択的手法により行われたときには、TNSフィルターの予測係数とフィルター係数とを含んでおり、TNSがどこで励起されどこで励起されなかったを示すフラッグも含んでいる。
さらにノイズ置換表示および置換されたスペクトル値または対応するスケール・ファクター帯域中のスペクトル残留値はビットフロ・マルチフレクサーからノイズ発生ブロック312へと供給される。該ブロック312は、ノイズ置換スペクトル値またはノイズ置換スペクトル残留値が改善されようとされまいと、ノイズスペクトル値を発生し、これがTNSフィルター900に入力される。該フィルターは、TNS処理されなかったスペクトル値が調性であってもノイズスペクトル値であっても、それらを不変状態で通過させる。これに対してスペクトル残留値はTNS再処理されて、合成フィルター・バンク218が符号化され解号された時間不連続出力信号をオーディオ出力端に出力できる。
以上の解号化処理の流れについて以下に要約する。
（ａ）ブロック208からの符号化オーディオ信号がブロック214に印加され、
（ｂ）ブロック214においてビットフローマルチプレクサーにより検出が行われ、
（ｃ）スペクトル残留値がブロック214の出力側に現れてブロック216とブロック312に印加され、
（ｄ）ブロック216において逆量子化が行われ、
（ｅ）スペクトルノイズ残留値がブロック216の出力側に現れブロック900に印加され、
（ｆ）ブロック312においてノイズ発生が行われ、
（ｇ）ノイズスペクトル値がブロック312の出力側に現れてブロック900に印加され、
（ｈ）ブロック900においてTNSフィルターにより逆予測が行われ、
（ｉ）ブロック900の出力側にスペクトル値が現れブロック218に印加され、
（ｊ）ブロック218において分析フィルターバンクによりスペクトル⇒スペクトル値変換が行われ、
（ｋ）解号化オーディオ信号がブロック218の出力側に現れる。
以下においてスペクトルとスペクトル残留値との間の比較でノイズ検出を論じる。Schulzによる文献ではスペクトル中のノイズ領域を検出するいくつかの手法が紹介されている。これらの手法はスペクトルのみに基づいたもの、時間不連続オーディオ信号のみに基づいたもの、および両者に基づいたものなどがある。これらを図１〜３中にオーディオ入力端200を「ノイズ検出」ブロックにつなぐ矢印で示してある。
この発明の方法はつぎのように要約できる。コーダーにおいては信号の時間的な微細構造がTNSフィルターにより「取り出さ」れる。残留スペクトルまたはスペクトル残留値はコーダーの入力端における時間不連続オーディオ信号に対応する。オーディオ信号は振幅について「量子化」されており、スペクトル残留値を含む残留スペクトルとほぼ同じ定常な包絡線を有している。当初の包絡曲線経路についてのこの情報は、線形予測により得られるTNSフィルターのフィルター係数中に含まれている。この情報は副情報としてデコーダーに伝送される。
スペクトル残留値を含みかつほぼ時間において定常な残留スペクトルは、TNS処理されてないスペクトル値のためのノイズ置換と同様に、ノイズ置換に掛けることができる。対応する副情報（置換された周波数帯域および帯域エネルギーの表示）は副情報としてデコーダーに伝達される。デコーダーにおいては、ノイズ置換された周波数帯域およびノイズ置換されない周波数帯域について、公知の解号処理が行われる。ノイズ置換により導入されたノイズは時間的な微細構造を有してなく、その包絡曲線はほぼ平坦である。爾後の逆TNSフィルターの間、伝達されたTNS副情報に応じて、合成フィルター・バンクによりスペクトル値が再び時間範囲に変換される前に、当初の微細構造が信号に再び導入される。
ノイズ置換と「時間的ノイズ成形」との組合せによりノイズ置換が改善され、これが時間的微細構造を有した信号にも効率的に用いられ、TNS手法により導入された量子化ノイズが成形されて時間信号の「下」にパックされる。
【図１】
0003577324.tif 000002
【図２】
0003577324.tif 000003
【図５Ａ】
0003577324.tif 000004
【図６】
0003577324.tif 000005
【図３】
0003577324.tif 000006
【図７Ｂ】
0003577324.tif 000007
【図４】
0003577324.tif 000008
【図５Ｂ】
0003577324.tif 000009
【図７Ａ】
0003577324.tif 000010
【図８ａ】
0003577324.tif 000011
【図８ｂ】
0003577324.tif 000012
【図９ａ】
0003577324.tif 000013
【図９ｂ】
0003577324.tif 000014