(57)【特許請求の範囲】
【請求項１】
符号化アルゴリズムによって生じた非調和および雑音による障害を有する周波数スペクトルから、高い周波数分解能によって復号化された時間領域の信号を得るための音声復号器の後処理方法であって、
ａ）復号化された信号に対して周波数分解能の高い変換を行って（２）復号化された信号の周波数スペクトルを得るステップと、
ｂ）符号化アルゴリズムの特性に基づいて、符号化雑音特性を推定する点から前記周波数スペクトルを解析（５）して、障害となる周波数成分を決定するステップと、
ｃ）障害となる周波数成分について抑制の程度を決定する（６）ステップと、
ｄ）前記の周波数帯の周波数成分を少なくとも顕著に減少させるために、前記周波数スペクトルに対して、抑制の程度と解析ステップに基づき周波数分解能の高いフィルタ処理をおこなうステップとを有する方法。
【請求項２】
前記解析は、復号器の特性を使用する請求項１に記載の方法。
【請求項３】
前記解析は、知覚モデルを利用する請求項２に記載の方法。
【請求項４】
前記フィルタ処理は、フィルタの動的特性を使用する請求項１ないし３に記載の方法。
【請求項５】
前記フィルタ処理は、復号信号の動的特性を利用する請求項４に記載の方法。
【請求項６】
符号化アルゴリズムによって生じた非調和および雑音による障害を有する周波数スペクトルから、高い周波数分解能によって復号化された時間領域の信号を得るための音声復号器の後処理方法であって、
ａ）復号化された時間領域の信号を、周波数分解能の高い手段（ＦＦＴ）によって周波数領域信号に変換する（２１）ステップと、
ｂ）前記周波数領域の信号のエネルギー分布を全周波数帯にわたって解析して（５）、障害となる周波数成分を決定し、周波数スペクトルの高周波数側に位置する当該周波数成分に優先度を付与するステップと、
ｃ）前記優先度に基づいて前記障害となる周波数成分の抑圧度を決定するステップ（６）と、
ｄ）前記決定するステップ（６）に従って前記周波数領域信号のポストフィルタ処理（３１）を制御するステップと、
ｅ）ポストフィルタ処理された周波数領域信号を逆変換（４）して、ポストフィルタ処理された時間領域の復号化音声信号を得るステップとを有する方法。
【請求項７】
前記解析ステップ（５）が、
ａ）前記周波数スペクトルをあらわす信号の包絡線を検出して（５１）、それに対応する包絡線信号（ｅ）を作成するステップと、
ｂ）周波数スペクトルを表す信号の傾斜を推定し（５３）、対応する傾斜信号（ｓ1）を作成するステップを有し、
前記決定するステップ（６）が、
ｃ）前記周波数スペクトルを表す信号と前記対応する包絡線信号（ｅ）とを比較して前記障害になる周波数成分（ｆ1，ｆ2）を特定し、
ｄ）前記比較の結果と前記対応する傾斜信号（ｓ1）とに基づいて周波数成分に対応する抑制の程度を表す値を作成し、前記周波数成分の数だけ前記値の作成を繰り返して値を作成し、前記周波数領域信号のポストフィルタリングの制御にその値を使用することを含む請求項６に記載の方法。
【請求項８】
周波数スペクトルを表す信号は、前記周波数領域信号からの平滑化（５３）信号である請求項７に記載の方法。
【請求項９】
符号化アルゴリズムによって生じた非調和および雑音による障害を有する周波数スペクトルから、高い周波数分解能によって復号化された時間領域の信号を得るための音声復号器の後処理装置であって、
ａ）復号化された信号に対して周波数分解能の高い変換を行って復号化された信号の周波数スペクトルを得る、高分解能変換ブロック（２）と、
ｂ）符号化アルゴリズムの特性に基づいて、符号化雑音特性を推定する点から前記周波数スペクトルを解析して、障害となる周波数成分を決定する、解析ブロック（５）と、
ｃ）障害となる周波数成分について抑制の程度を決定するフィルタ設計ブロック（６）と、
ｄ）前記の周波数帯の周波数成分を少なくとも顕著に減少させるために、前記周波数スペクトルに対して、抑制の程度と解析ブロックに基づき周波数分解能の高いフィルタ処理をおこなうフィルタブロックとを有する装置。
【請求項１０】
符号化アルゴリズムによって生じた非調和および雑音による障害を有する周波数スペクトルから、高い周波数分解能によって復号化された時間領域の信号を得るための音声復号器の後処理装置であって、
ａ）復号化された時間領域の信号を、周波数分解能の高い手段によって周波数領域信号に変換する変換ブロック（２１）と、
ｂ）前記周波数領域の信号のエネルギー分布を全周波数帯にわたって解析して、障害となる周波数成分を決定し、周波数スペクトルの高周波数側に位置する当該周波数成分に優先度を付与する解析ブロック（５）と、
ｃ）前記優先度に基づいて前記障害となる周波数成分の抑圧度を決定するフィルタ設計ブロック（６）と、
ｄ）前記フィルタ設計ブロック（６）に従って前記周波数領域信号のポストフィルタ処理を制御するフィルタリング処理ブロック（３１）と、
ｅ）ポストフィルタ処理された周波数領域信号を逆変換して、ポストフィルタ処理された時間領域の復号化音声信号を得る逆変換ブロック（４）とを有する装置。
【発明の詳細な説明】
技術分野
本発明は、高い周波数分解能を得ることを目的とした音声復号器用の高分解能後処理方法に関する。音声復号器は、好ましくは、移動無線通信システムの無線受信装置で使用される。
背景技術
音声と音響の符号化においては、復号化した音声の認識しやすさを向上させるために、復号器で後処理を行うのが一般的である。
従来の、適応ポストフィルタリング等の後処理は、フォルマントと調和構造を強調し、フォルマントの谷を若干弱めて聞き取りを容易にするように設計されている。
本発明は、復号器の高い分解能を有する解析段を含む新しい後処理方法を提案するものである。当該方法は、より一般的には、音声と楽音を含む広範な信号の雑音を抑制して音声の音質を向上することに関するものである。
受信したパラメータと受信信号のスペクトルの解析に基づいて雑音レベルをより正確に推定する手法と、高度（非調和）に周波数選択的な抑制フィルタリングとを共に使用する音声あるいは音響符号器の後処理方法は知られていない。
ＬＰＣに基づく符号器の、受信したＬＰＣパラメータに基づくフォルマントのポストフィルタは周知である。この方法は、スペクトルの詳細な構造を利用しておらず、周波数分解能が不十分である。
ＬＴＰポストフィルタは、多くの種類が知られている。この種のフィルタは復号された信号の全体的な調和構造にのみ影響を与えるので、高周波数の分解能が優れてはいるものの、局所的な符号化雑音や残留成分を処理することはできない。これらはまた特に音声信号に適合するように考えられたものである。
受信機の側での復号音声の解析が、例えばピッチポストフィルタのパラメータ推定に使用できることも知られている。この方法は、例えば、ＬＤ-ＣＥＬＰで使用されている。しかし、これは調和型ピッチポストフィルタに過ぎず、「解析」はピッチ高調波の検出のみを目的としたものである。符号化雑音と残留成分がどこに所在するかについての解析は行わない。
ビット率が非常に低い符号器によって符号化されない周波数領域を除去することを目的とした、周波数選択的ということができる「ポストフィルタ」も提案されている［１］。
発明の要約
多くの音声符号器、つまり、ＬＰＣ-基準の合成に基づく解析（ＬＡＰＳ）を行う符号器は、周波数選択性が極めて不十分な誤差基準を使用してパラメータ検索を行っている。さらに、その種の多くの符号器が使用する波形一致基準のせいで、エネルギーが低い領域での性能は不十分である、つまり、エネルギーが低い周波数領域での雑音制御は非常に不正確である。
符号器でスペクトルに基づく雑音の重み付けを行った場合、全体としての誤差スペクトル、つまり、重み付けフィルタの周波数分解能による限界はあるが、符号化雑音のスペクトルが整形される。しかし、比較的大きな雑音や可聴残留成分を含む、典型的にはスペクトルの谷やその他の低スペクトル周波数帯のようなスペクトル帯では、知覚される音響の質が低い。ビット率、符号器の構造と入力信号が一定であれば、符号器によって得られる雑音のレベルは一定である。符号器と後処理の不十分な周波数選択性とビット率の限界の下では、信号に関するあらゆる種類の質の問題をすべて解決することはできない。
従来のバンド幅を拡張したＬＰＣフォーマットの低次元（典型的には１０次元）のポストフィルタは、周波数選択能力が比較的低く、局所的な雑音や残留成分を処理することができない。
調和ピッチポストフィルタは、周波数分解能が高いが、調和フィルタなので、局所的に不調和フィルタリングを行うことはできない。
例えば、音声や音楽信号は、基本的に構造が異なり、従って、異なる後処理手段が必要になる。これは、後処理において、受信信号を解析して高分解能の選択フィルタを使用しなければ達成することができない。このことは現在まで行われていない。
本発明の目的は、復号された周波数スペクトル中の非調和またはそれ以外の符号雑音の好ましくない影響を少なくとも抑制する、音声または音響復号装置からの復号信号用の高い周波数分解能を有する後処理方法を得ることである。
復号された信号は符号化雑音が混入した周波数領域を発見するために解析される。復号された音声信号のスペクトルに対して、音声符号化アルゴリズムの特性と音声復号器のパラメータに基づく高分解能の解析を実施する。解析の結果、符号化雑音を抑圧して符号化された音声の総合的知覚の質を向上させる周波数領域のフィルタリング手法が実施される。
本発明の方法は、高解像度のスペクトル表現が可能な変換を使用する。この方法は、フーリエ変換またはスペクトル成分と強い相関を有するその他の変換によって実現することができる。変換の長さは、（遅延を最小にするために）復号器のフレームの長さと同期してもよいが、十分に高い周波数分解能を持つものでなければならない。
変換の後、スペクトル成分と復号器の特性を解析し、符号化方法によって可聴雑音や残留音が生じている周波数領域を特定する。この解析では、ヒトの聴覚モデルを使用する。符号化雑音の量とその分布の推定には、復号器からの情報と符号化アルゴリズムについての知識が参考になる。
解析ステップと知覚モデルによって得られた情報をフィルタ設計の２つの段階で使用する：
抑制する周波数領域を決定する。
周波数帯域毎のフィルタリングの程度を決定する。
これによって、動的な特性をさらに調整することになるフィルタの候補が得られる。例えば、前のフィルタに続いて使用した場合に残留成分を発生させるためにフィルタが不適当となることも有る。また、復号された信号の変化の程度に応じてフィルタの程度を変化させることで復号された信号の動的性質を考慮することもできる。
上述のフィルタ設計手法によって、問題の有る周波数領域を標的とした極めて周波数選択性の高いポストフィルタリングが可能になる。この点は、具体的な解析無しで同じフィルタを使用する現在の汎用ポストフィルタリングとは対照的である。さらに、本方法によれば、音声と音楽のような異なる種類の信号に対して、異なるフィルタリングを施すことが可能になる。
復号された信号のフィルタリングは高分解能でなければならない。フィルタは例えば周波数領域で実現されて、最終的には逆変換を行うものであっても良い。さらに、フィルタリング処理の実現手段は、どのようなものであっても良い。
提案された解決手段の遅延が短い他の実現方法によれば、直前フレームの解析結果とフィルタのみによってフィルタリングを実施する。この代替方法によった場合の遅延は、非常に小さい。
【図面の簡単な説明】
本発明の方法を添付の図面を参照しながら詳細に説明する。
図１は、本発明の１実施例に基づく異なる機能ブロックを示したブロック図である。
図２は、本発明に基づく別の実施例のブロック図である。
図３は、図１および図２に示した解析とフィルタ設計のより詳細なブロック図である。
図４は、復号された信号の周波数スペクトルと本発明に基づく後処理の基本概念を示す図である。
好適な実施形態の説明
次に、上記の発明の実施形態を説明する。ＣＥＬＰ（Code Exited Linear Predictive）と用いるものである。このような復号器は、低エネルギー領域、特に、例えば音楽のような複雑な非調和関係にあるピーク間の谷で雑音を発生する傾向を有する。詳細な実施例を次の点および図３に示す。
図１は、本発明による様々な機能を示すブロック図である。移動電話システムの無線受信機等における音声復号器１は、電波を介して送信された、復号器１のパラメータを含む、入来の復調無線信号を復号する。
復号器の出力として復号化音声信号が得られる。復号化信号の周波数スペクトルは、送信および音声復号器１の復号化の特徴に起因して一定の特徴を有する。
時間領域における復号化信号を、ブロック２で指定する高速フーリエ変換ＦＦＴで変換して、復号化信号の周波数スペクトルが得られる。この周波数スペクトルは、音声復号器の周波数スペクトルと共に解析され、ブロック５、そして解析結果はフィルタ設計部６に供給される。この設計部６は、ポストフィルタ３に情報信号を与える。このフィルタは、復号化音声信号スペクトルの雑音成分の影響を除去または少なくとも軽減するために音声信号の周波数スペクトルをポストフィルタリングする。妨害性のある周波数成分を有しないまたは妨害性のある成分が大幅に軽減されたフィルタ３からのスペクトル信号は、ブロック２とは逆の変換を行なうブロック４に入力される。
必要なら、復号化音声信号のフィルタリング（ブロック３）に影響を及ぼす解析およびフィルタ設計には知覚モデル７を用いることができる。これは、本発明による方法には必須ではないため、これ以上の説明は省略する。
一般的に、次のようにして復号化信号のスペクトルの内容を解析して抑制すべき周波数帯を特定するための手がかりを得る。
スペクトルの詳細構造と大まかなスペクトル形状を分離するために、強度スペクトルの包絡線を推定する。この包絡線は、充分な幅の移動ウィンドウを用いたピーク選択処理によって推定できる。
リップルを回避するために、強度スペクトルの平滑化を行うことも可能である。
その結果得られる２つのベクトルを利用して充分に細い特定の深さのスペクトルの谷を特定する。これにより、フィルタリングを適用することができる候補帯域を得る。
このスペクトルは、雑音マスキングの境界を得るために知覚モデルを使用して解析することもできる。
復号器の特性は、可能性の高い分布および使用されている特定の復号器により加わった雑音や残留成分のレベルを推定するために解析される。特性は、復号化アルゴリズムによるものであるが、例えばスペクトルの形状、雑音の形成、推定誤り重り付けフィルタ、ＬＰＣおよびＬＴＰ等の予想利得、ビット分配等を含む。これらの特徴は、復号化アルゴリズムの作用および特定の信号の復号化の効率に影響する。
ここで得られた復号化信号の情報の全てまたは一部は、解析５から出力され、フィルタ設計６に用いられる。
図２には、後処理方法の他の実施形態を示す。図１とは、解析５およびフィルタ設計６が周波数領域で行われ、復号化音声信号のポストフィルタリング８が時間領域で行われる点で異なる。フィルタ設計部６の出力は、情報・制御信号であるが、これは上記の場合のように周波数領域フィルタ３に与えられるのではなく、時間領域フィルタ８に与えられる。
図３には本発明の方法を、図１および２より詳細に示すブロック図である。
例えば無線受信機における音声復号器１の出力は、２５６点の高速フーリエ変換（ＦＦＴ）を行う機能ブロック２１に接続される。そして、ハニングウィンドウを利用して１２８サンプル毎に２５６点ＦＦＴを行う。つまり、１２８サンプル毎に新しいブロックが処理される。（処理されない）位相スペクトルと共に、ＦＦＴ変換の対数値も計算される。
解析（ブロック５）は、
各周波数点を、各方向に長さ２００Ｈｚの移動ウィンドウ内の対数値の最高値として計算することで対数値の包絡線を推定し、対数値スペクトルが最高値ベクトルと等しい周波数点を探すことでそのベクトルのピークを選択し、ピーク間で線形補間を行って包絡線ベクトルを得る。
各方向に長さ７５Ｈｚの移動ウィンドウ内の最高値をとることで対数値スペクトルを平滑化する。
スペクトルの傾斜を推定する。
フィルタ設計（ブロック６）は、平滑化された対数スペクトルの曲線が対数値包絡線より特定の値より低い領域を決定する。この領域が、１つ以上の周波数にわたって連続すると抑制される。さらに、谷が特定の高い値より深い場合、ピーク間の領域全体を含む広い領域が抑制される。抑制される各周波数での、対数領域におけるスペクトル抑制の強さは、低エネルギーの領域がより多く抑制されるよう傾斜している。ここで用いられる式は、対数領域では線形であり、最も低域側の１ｋＨｚについては抑制されない形である（すなわち、低域通過の傾斜では、最初の１ｋＨｚは抑制されず、広域通過の傾斜では逆である）。これは、低エネルギー周波数領域についてはより多くの雑音を発生する傾向を有するＣＥＬＰ符号器の特徴のために行われる。
現在と前のスペクトルの間の対数値スペクトルの距離の二乗を、抑制ベクトルの距離の二乗と共に計算する。抑制ベクトルとスペクトル自体の値の比が特定の値を超える（すなわち、信号スペクトルに比べて抑制が比較的大きく変化する）と、現在と前の抑制の平均で置換することで抑制ベクトルを平滑化する。
フィルタリング処理（ブロック３１）は、単に復号化信号の対数値スペクトルから前回の点において決定された抑制量を減算することで行う。
逆変換（ブロック４）は、まずフィルタリングで得られる対数値スペクトルおよび変換から直接供給される位相スペクトルに基づくフーリエ変換によって行う。解析フレーム間の非連続性に起因する残留成分の発生を回避するために重複・追加処理が用いられる。
図１の解析ブロック５は、この実施形態において、包絡線検出器５１、平滑化フィルタ５２および傾斜検出器５３からなる。
包絡線検出器からは、図４に示すように、包絡線信号ｅのＦＦＴスペクトルが得られる。平滑化フィルタ５２は、ＦＦＴの平滑化周波数特徴を表す信号ｓmを供給する、ブロック２１。
フィルタ設計部６は、この実施形態において、比較部６１、抑制部６２および動的処理実行部６３からなる。
解析ブロック５からの２つの信号ｅおよびｓmの差は、望ましくないフォルマントの谷およびそれに関連する周波数間隔を求めるために比較器６１において一定の閾値Ｔhと比較される。これらについて情報を含む信号ｓ1を得る。
抑制値発生部６２は、解析ブロック５の傾斜部５３から得られる信号ｓ2により制御される。信号ｓ2は傾斜を示し、傾斜値によって信号ｓ1により求められる周波数スペクトルの抑制の強さが変化する。
動的部６３は、抑制部６２からの出力信号が示す抑制が急激に増加しないようにフレームからフレームへの抑制度を対応させる。
図１のフィルタ３は、図３の実施形態では図３において減算器と称するフィルタ３１（図１のフィルタ３に対応する）であり、スペクトル減算を行う。動的部６３から得られる信号値は抑制値であり、上に示すように、信号ｓ1により求められる周波数間隔内のＦＦＴ部２１から得られる周波数スペクトル特性から減算される。その結果、ブロック４における最終的な逆変換の前に音声復号器１からの周波数スペクトルの妨害性の谷は望ましい値に低減される。
周波数スペクトル特性の傾斜ｓ1によって、スペクトル値の平均値が異なる。傾斜は、音声復号器１が「強い」周波数スペクトルの最初で高い値をとる、すなわちスペクトル内に存在する可能性のある雑音成分とは無関係に、正確に復号することができる。傾斜がスペクトル特性が低いことを示す、高い周波数では、特性内の谷を良く抑制することが重要である。
図４の周波数図はこれを示すためのものである。平滑化周波数スペクトルｓmおよびその包絡線ｅを上記のように比較し、その差を一定の閾値Ｔhと比較する。その結果、この例において、谷ｖ1およびｖ2が、音声復号器が対応できない非調和・妨害性の雑音を発生させているとみなされる、それぞれ周波数ｆ1およびｆ2周辺の領域が得られる。このような領域は、周波数スペクトルの低域および高域の両方に複数存在するにも関わらず、この２つの周波数領域のみを図４に示す。
比較器６１からの信号ｓ1は、どの周波数領域ｆ2、ｆ2、．．．が抑制されるべきかを示す情報を運び、傾斜検出器５３からの信号ｓ2はどの抑制の程度に関する情報を運ぶ。上記の如く、例えばｆ1のように、検出された周波数領域がスペクトルの最初に位置する場合、抑制は低くても良く、領域ｆ2のように上部の帯域に位置する場合、抑制は大きくする必要がある。
動的部６３は、抑制をある音声ブロックから他の音声ブロックに対応させる。好ましくは、入来の音声ブロック（１２８点）は、ブロック５および６において音声ブロックの処理が半分終えた段階で、解析ブロック５において次の音声ブロックの処理が開始されるように、重複処理を行う。
その結果、動的部６３は図１におけるフィルタ３に対応する減算器３１で行われるスペクトル特性から減算される補正値を表す信号を供給する。そして、改良された音声信号の周波数スペクトルは、重複する音声ブロックについて上述するように、逆高速フーリエ変換器４によって逆変換される。
この方法は、音声またはオーディオ復号器内に存在する信号にも適用することができる。その場合、信号は本方法により処理され、その後復号化信号またはオーディオ信号を発生するために復号器により使用される。一例として、復号化音声が線形予測合成フィルタにより再生される前に提案される信号により処理を受けることができるＬＰＣ符号器における励震信号がある。
この方法で復号化信号の周波数領域の影響を軽減することを利用して、符号化の際に、符号化における負荷を軽減された領域から他の場所に導くことができる。例えば、これを実現するために、ＬＰＡＳ符号器の誤り重り付けフィルタに変更を加え、軽減される領域内の誤りの重り付けを低くすることができる。そのため、本方法は、方法による後処理を考慮した変更符号器と共に用いることができる。
発明の効果
局所的な周波数領域における符号化雑音および残留成分を高分解能で抑制することが可能となる。これは、特に音楽等の複雑な信号に有用である。この方法は、複雑な信号の音質を著しく改善し、同時により少なくながら、純粋な音声の音質も改善することができる。
参考文献
［１］D.SenおよびW.H.Holmes,“PERＣＥＬＰ−Perceptually Enhanced Random Codebook Excited Linear Prediction”,Proc.IEEE Workshop Speech Coding,Ste.Adele,Que.,Canada 101−102頁、1993年
【図１】
0004274586.tif 000002
【図２】
0004274586.tif 000003
【図３】
0004274586.tif 000004
【図４】
0004274586.tif 000005