(57)【特許請求の範囲】
【請求項１】
デジタル信号の復号中に実施される、復号中に消失した一連のサンプルを置き換えるための、デジタル信号を処理するための方法であって、
消失した前記一連のサンプルに置き換えるための信号構造を生成するステップ(S6)であって、前記信号構造が、復号中(S1)にかつ消失した前記一連のサンプルよりも前に受信された有効サンプルから決定されたスペクトル成分を含む、ステップと、
復号器で利用可能な、受信された有効サンプルを含むデジタル信号(S602)と、前記スペクトル成分から生成された信号(S601)との間で残差を生成するステップ(S603)と、
前記残差からブロックを抽出するステップ(S605)と
を含み、
前記ブロックは、重み付け窓による重複加算(ADD)手法を用いて前記信号構造に注入され(S608)、
連続する2つの注入された前記ブロックは、時間の点で少なくとも部分的に重複する、方法。
【請求項２】
前記ブロックが、抽出ブロック開始時刻(ik)と、ブロック持続時間(Lk)とによって規定されるので、前記抽出ブロック開始時刻と、前記ブロック持続時間とのうちの少なくとも1つのパラメータが、少なくとも2つの抽出ブロックの間で変動可能である、請求項1に記載の方法。
【請求項３】
前記ブロックが、抽出ブロック開始時刻(ik)と、ブロック持続時間(Lk)とによって規定され、
前記抽出ブロック開始時刻と、前記ブロック持続時間とのうちの少なくとも1つのパラメータが、少なくとも1つの抽出ブロックについて擬似ランダムに決定される、請求項1または2に記載の方法。
【請求項４】
前記ブロックが、少なくとも2つの注入ブロック間で変動可能な少なくとも1つのパラメータを用いて注入され、
前記変動可能なパラメータは、
前記注入ブロックの書込み開始時刻(jk)と、
連続する2つの注入ブロック間の重複率と
のうちの一方である、請求項1から3のいずれか一項に記載の方法。
【請求項５】
前記パラメータが、少なくとも1つの注入ブロックについて擬似ランダムに変動する、請求項4に記載の方法。
【請求項６】
連続する2つの注入ブロックに適用される前記重み付け窓の合計が、前記2つのブロック間で重複するセグメント(lk)の合計に等しい、請求項1から5のいずれか一項に記載の方法。
【請求項７】
連続する2つの注入ブロックに適用される前記重み付け窓の2乗の合計が、前記2つのブロック間で重複するセグメント(lk)の2乗の合計に等しい、請求項1から5のいずれか一項に記載の方法。
【請求項８】
少なくとも1つの注入ブロックの符号が変更される、請求項1から7のいずれか一項に記載の方法。
【請求項９】
少なくとも1つの注入ブロックが、時間反転される、請求項1から8のいずれか一項に記載の方法。
【請求項１０】
前記ブロックが、まず、中間ノイズ信号に注入され、
前記中間ノイズ信号が、その後、前記信号構造に注入される、請求項1から9のいずれか一項に記載の方法。
【請求項１１】
前記ブロックが、前記信号構造に実時間で注入される、請求項1から9のいずれか一項に記載の方法。
【請求項１２】
プロセッサによって実行されると請求項1から11のいずれか一項に記載の方法を実施する命令を含むコンピュータプログラム。
【請求項１３】
少なくとも1つの消失した信号フレームを置き換えるための手段(MEM、PROC)を備え、連続したフレームに分割された一連のサンプルを含む信号を復号化するためのデバイスであって、
消失した前記一連のサンプルを置き換えるための信号構造を生成する(S6)ための手段であって、前記信号構造が、復号中(S1)にかつ消失した前記一連のサンプルよりも前に受信された有効サンプルから決定されたスペクトル成分を含む、手段と、
復号器で利用可能な、受信された有効サンプルを含むデジタル信号(S602)と、前記スペクトル成分から生成された信号(S601)との間で残差を生成する(S603)ための手段と、
前記残差からブロックを抽出する(S605)ための手段と、
前記ブロックを前記信号構造に注入するための手段と
を備え、
前記注入するための手段は、窓重み付けブロックを、重複加算手法を用いて利用し、
連続する2つの注入された前記ブロックは、時間の点で少なくとも部分的に重複する、デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号補正に関し、特に、復号器が受信した信号にフレーム消失がある場合の、復号器内での信号補正に関する。
【背景技術】
【０００２】
信号とは、一連のサンプルが、連続したフレームに分割された形態であり、ここでフレームという用語は、少なくとも1つのサンプルで構成された信号セグメントを意味する(単一のサンプルを含むフレームを有するという場合、単に一連のサンプルの形の信号に対応する)。
【０００３】
本発明は、デジタル信号処理の分野に属し、それだけに限られるものではないが、特に音声信号の符号化/復号化の分野に属する。フレーム消失は、符号器および復号器を用いた通信(実時間に送信される場合でも、記憶後に送信される場合でも)が、(無線の問題、ネットワークの輻輳などに起因する)チャネル状態によって中断するときに生じる。
【０００４】
この場合、復号器は、パケット消失補正機構(または「マスキング」)を用い、復号器内で利用可能な情報(すでに復号された信号、または先のフレーム内で受信されたパラメータなど)を用いて、欠落した信号を再構築信号で置き換えようとする。この技術によって、チャネルパフォーマンスが低下しても良好なサービス品質を維持することが可能になる。
【０００５】
フレーム消失補正技術は、使用される符号化の種類に大きく依存することが多い。
【０００６】
CELP(「Code Excited Linear Prediction(符号励振線形予測)」の略)技術に基づいて話声信号を符号化する場合、フレーム消失補正はCELPモデルを適用する。たとえば、勧告(Recommendation)G722.2に従って符号化する場合、消失したフレーム(または「パケット」)を置き換える解決策は、長期予測(LTP: long-term prediction)利得を減衰させることによってその使用を長引かせ、かつ各ISF(「Immittance Spectral Frequency(イミタンススペクトル周波数)」の略)パラメータをそれぞれの平均に近づけることによって各ISFの使用を長引かせることである。話声信号のピッチ周期(指定された「LTPラグ」)はまた、繰り返される。さらに、復号器には、「イノベーション(innovation)」(CELP符号化における励起)を特徴付けるパラメータのためランダム値が供給される。
【０００７】
変換符号化またはPCM(「Pulse Code Modulation(パルス符号変調)」)符号化にこの種の方法を適用するには、復号器内でのCELP符号化が必要となり、これによって複雑さが増すことになることに留意されたい。
【０００８】
波形符号器のためのITU-T勧告G.711では、フレーム消失補正のための処理(その勧告の付録Iに例示されている)によって、復号済みの話声信号のピッチ周期を見つけ、最後のピッチ周期を繰り返すが、その際、復号済みの信号と、繰返し信号との間で重複加算を用いている。この処置によって、音声アーチファクトが「消去」されるが、復号器に追加の時間(重複の持続時間に対応する時間)が必要となる。
【０００９】
変換符号化の際のフレーム消失の補正に最もよく使用される技術は、受信された最後のフレームで復号化されたスペクトルを繰り返すことからなる。たとえば、勧告G.722.1に従った符号化の場合、MLT(「modulated lapped transform(変調重複変換)」)、すなわち重複が50%の正弦波窓を用いた変形離散コサイン変換(MDCT: modified discrete cosine transform)に等しい変換では、(最後の消失フレームと、繰返しフレームとの間の)遷移が、フレームの単純な繰返しのため生じるアーチファクトが消去するほど十分ゆっくりになることが保証される。
【００１０】
有利には、この技術では、MLT変換の一時的なエイリアシングを利用して、再構築された信号との重複加算を行うので、いかなる追加の時間も必要とならない。この技術は、リソースの点で非常に安価な技術である。
【００１１】
しかし、この技術には、フレーム消失直前の信号と、繰返し信号との間で一時的な不整合に関連する瑕疵がある。この不整合によって、可聴位相に不連続が生じ、(「低遅延」MDCT窓を使用する場合と同様に)2つのフレーム間の重複が小さい場合、顕著な音声アーチファクトが生じ得る。重複が短いこの状況を、低遅延MLT変換の場合について図1Bに例示し、勧告G.722.1に従って長いサイン窓が使用される通常の図1Aの状況(この場合、非常に緩やかな変調の長い重複期間ZRAが提供される)と比較する。低遅延窓による変調では、図1Bに示すように重複領域ZRBが短いため、可聴位相シフトが生じることが分かる。
【００１２】
この場合、ピッチ検出(勧告G.711の付録Iに従った符号化を行う場合)と、MDCT変換の窓によって行われる重複加算とを組み合わせた解決策を実施しても、位相シフトに関連した音声アーチファクトを解消するには十分でない。
【００１３】
別のフレーム消失補正技術は、ピッチ周期から抽出された信号構造から合成信号を生成する。ピッチ周期とは、特に有声話声信号(信号の基本周波数の逆数)の場合、基本周期を意味することを理解されたい。しかし、信号はまた、たとえば、全体のトーンが、基本周波数と、前記繰返し周期に対応し得る基本周期とに関連付けられた音楽信号に由来することもある。
【００１４】
しかし、合成信号の物理的性質は、原信号の物理的性質とは整合せず(いくつかのフレームが消失し)、不快な聴覚不良の原因となる。このことは、原信号に比べて異常をさらに招くことになる。さらに、正しく受信された信号のエネルギーと、上述の信号構造から再構築された信号のエネルギーとは、大幅に異なることがある。こうした差によって、ノイズレベルが散発的に変動する「ノイズジャンプ(noise jump)」の聴感覚が生じることがある。たとえば、ノイズ信号が背景ノイズと同等の信号では、受聴者には、この背景ノイズにジャンプが聞こえることになる。
【００１５】
より一般的にいえば、現況技術では、消失フレームに置き換わってフレームを埋める合成信号の生成によって周期性が導入され、音楽などの複雑な信号では、この周期性は、置き換えるべき全信号成分の範囲には適合しないことに、本発明者らは注目した。
【００１６】
たとえば、図1Cを参照すると、信号S0が、窓F1からF7で7回繰り返されている。窓の時間特徴(窓開始時刻v1からv7、および窓持続時間L0からL7)が同一であるので、周期性が導入される。
【００１７】
この規則正しく、不適切な周期性によって、各フレーム消失で「金属的」かつ人工的な(したがって受聴者に不快な)音が生じる結果となる。したがって、それだけに限られるものではないが、重複加算を用いた復号化の例を含めて、既存の複製方法を改善する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【００１８】
本発明は、この状況を改善する。
【課題を解決するための手段】
【００１９】
この目的で、本発明は、デジタル信号の復号中に実施される、復号中に消失した一連のサンプルに置き換えるための、デジタル信号を処理するための方法を提案する。この方法は、
-  消失した一連のサンプルに置き換えるための信号構造を生成するステップであって、この信号構造が、復号中にかつ消失した一連のサンプルよりも前に受信された有効サンプルから決定されたスペクトル成分を含む、ステップと、
-  復号器で利用可能な、受信された有効サンプルを含むデジタル信号と、スペクトル成分から生成された信号との間で残差(residue)を生成するステップと、
-  残差からブロックを抽出するステップと
を含む。
特に、窓重み付けブロックが、重複加算手法を用いて信号構造に注入され、注入されたこれらのブロックは、時間の点で少なくとも部分的に重複する。
【００２０】
したがって、ブロックの注入によって、消失したフレームを、知覚できるような信号エネルギーの消失なく埋めることが可能となる。このブロックの注入によって、信号エネルギーが滑らかになり、スペクトル密度が一定レベルまで人工的に復元されることになる。注入されるブロック一式は、たとえば置換え信号に注入されるノイズ信号に対応する。特に、重複加算によって、遷移領域におけるノイズ信号のエネルギー遷移を滑らかにすることが可能となる。
【００２１】
さらに、本発明は、抽出された様々なブロックを、目立った周期性なく再度注入することを提案し、したがって残差の単純な繰返しに関連した可聴性の「金属的」な作用が回避される。特に、ブロックが部分的に重複することによって、2つの連続するブロック間のノイズ信号の遷移が滑らかになるので、周期性作用が低減する。そのような重複によって、ある周期から別の周期への遷移がより見分けにくくなり、それによって周期性作用が制限される。
【００２２】
「置換え信号構造」という用語は、たとえば、この信号のスペクトル成分、スペクトル成分に付随する振幅、スペクトル成分に付随する位相など、置換え信号に特有の特徴一式を意味することを理解されたい。
【００２３】
ブロックの重複は、少なくとも部分的であり、したがってブロックは、たとえばその隣接する2つのブロックによって相補的な形で完全に重複することがある。別の例では、第1のブロックは、第2のブロックの始まりと完全に重複する。
【００２４】
特定の一実施形態では、置換え信号構造は、復号中にかつ消失した一連のサンプルよりも前に受信された有効サンプルから決定されたたスペクトル成分を含みことができる。したがって、置換え信号は、特にスペクトル成分が決定された期間とは別の期間でも容易に再生することができる。
【００２５】
さらに、この残差は、受信された有効サンプルを含むデジタル信号の一部分と、上述のスペクトル成分から生成された信号との間の残差から生成することができる。したがって、この残差から抽出されるブロックは、消失したエネルギー成分が置換え信号に注入されているという点で、再構築すべき信号に適合している。実際、注入されるブロックのスペクトル成分は、上述の置換え信号構造から生成された信号において欠落しているスペクトル成分に正確に対応する。ブロックが注入される信号のスペクトル密度は、フレームが正しく受信された先の信号のスペクトル密度に対応する。したがって、信号エネルギーは、有利には(正しく受信された信号部分と、再構築された部分との間で)調和する。
【００２６】
別の実施形態では、ブロックは、抽出ブロック開始時刻と、ブロック持続時間とによって規定されるので、この抽出ブロック開始時刻と、このブロック持続時間とのうちの少なくとも1つのパラメータは、少なくとも2つの抽出ブロック間で変動してもよい。
【００２７】
あるいは、ブロックは、少なくとも2つの注入ブロック間で変動可能な少なくとも1つのパラメータを用いて注入され、この変動可能なパラメータは、
-  注入ブロックの書込み開始時刻と、
-  連続する2つの注入ブロック間の重複率と
のうちの一方である。
【００２８】
たとえば、不整合性が、消失したサンプルに置き換わる信号に導入される。上述のパラメータの変動性によって、信号の周期性が解消される。これらのパラメータが変動すると、信号は、もはや一定の時間間隔後に同じように繰り返されることはない。したがって、ノイズ信号の繰返しによって引き起こされる金属音の印象が解消される。疑似ランダムに、または少なくとも1つの条件付きで疑似ランダムに所定の規則に従って決定することにより、たとえばこれらのパラメータにそのような変動性を生じさせることができる。
【００２９】
別の代替形態では、上述のパラメータのうち、少なくとも1つのパラメータを、少なくとも1つの注入ブロックについて擬似ランダムに変動させることができる。
【００３０】
「疑似ランダム」という用語は、統計学的に完全な無作為性に近い一連の数字を意味することを理解されたい。この一連の数字を生成するために使用するアルゴリズムプロセス、および使用するソースによっては、この一連の数字は完全に無作為であるとみなすことはできない。少なくとも1つのパラメータの疑似ランダムな決定に伴う条件もやはり、考慮することができる。たとえば、決定される全パラメータの平均を固定することができる。この状況では、たとえば、擬似ランダムに導出され、所定の間隔平均を確立する効果を有するパラメータを識別することができる。パラメータの変動性の選択(疑似ランダム、条件付き疑似ランダム、予め設定された規則など)は、復号時に消失したサンプル数、ユーザが求める信号の品質水準、再構築計算に利用可能なリソースなど、それ自体で条件を満たすことができる。
【００３１】
以上のようにして生成された上述のパラメータによって、ノイズ信号に不整合性が導入され、この不整合性によって、注入されたノイズに知覚できない程度の人工的性質が与えられる。擬似ランダムに生成されたパラメータの導入は、ノイズ信号の繰返し配列が耳に付くといったいかなる現象も極めて生じにくくなるということを意味する。異なる重み付け窓間には、論理が存在しない。したがって、受聴者は、ノイズ信号(たとえば背景ノイズ)が繰り返されるという印象に悩まされることがなくなる。
【００３２】
別の実施形態では、ブロック抽出、および/またはブロック注入のための上述のパラメータを予め固定しておく。したがって、予め規定されたブロックを使用することによって、計算が簡単になり、処理時間が短縮され、一方でこれらの計算に使用されるプロセッサにかかる負荷も低減する。
【００３３】
一実施形態では、連続する2つの注入ブロックに適用される重み付け窓の合計は、これら2つのブロック間で重複するセグメントの合計に等しい。したがって、置換え信号の振幅は一定であり、2つのブロック間の遷移アーチファクトによって信号が中断されることはない。
【００３４】
別の実施形態では、連続する2つの注入ブロックに適用される重み付け窓の2乗の合計は、これらの2つのブロック間で重複するセグメントの2乗の合計に等しい。したがって、置換え信号のエネルギーは一定であり、信号のエネルギーは時間が経過すると一定となる。
【００３５】
一実施形態では、少なくとも1つの注入ブロックの符号を変更することができる。反転させるべきブロックは、たとえば擬似ランダムに、少なくとも1つの条件付きで擬似ランダムに(たとえば、窓の最大数を改変する)、または所定の規則(窓1つおきに、ある長さの窓すべて、など)によって選択される。したがって、ノイズ信号にさらなる不整合性が追加される。また、不整合性のこの追加は、置換え信号を生成するためのステップを複雑にすることなく行われる。ノイズ信号の反転には、大掛かりな演算リソースが必要でなく、処理時間が短縮し、一方でこれらの計算のために使用されるプロセッサにかかる負荷も低減する。
【００３６】
一変形形態では、少なくとも1つの注入ブロックが、時間反転される。
【００３７】
「時間反転される」という用語は、重み付け窓[DF;FF]内で、時間tに依存したブロックbに、式b(t)=b(FF+DF-t)を適用することを意味することを理解されたい。したがって、新たな不整合性が、置換え信号に導入される。
【００３８】
別の実施形態では、ブロックがまず、中間ノイズ信号に注入され、すべてのブロックが中間ノイズ信号に注入された後、この中間ノイズ信号自体が、信号構造に注入される。したがって、置換え信号に注入すべきノイズ信号は、完全に生成されてから注入される。こうすることによって、中間音声信号を置換え信号に注入する前に、中間音声信号を検証する検証機構を確立することが可能となる。
【００３９】
あるいは、ブロックは、中間ノイズ信号が完全に生成されるのを待たずに、実時間で注入される。その場合、「実時間」での注入は、信号の時間的進行に適合された速度でブロックに注入されることを意味することを理解されたい。この状況では、復号器が受信した信号と、受聴者の耳に送達される信号との間のタイムラグができる限り小さくなる。たとえば、置換え信号構造が、復号の際に消失した一連のサンプルの開始時点で生成され、次いで時間が経過して信号が進行するにつれて、ブロックが、中間ノイズ信号が完全に生成されないまま注入され、次いで置換え信号に注入される。
【００４０】
本発明はまた、上記の方法を実施するための命令を含むコンピュータプログラムを提供する。たとえば、図5から図8の1つまたは複数は、そのようなコンピュータプログラムの一般的なアルゴリズムであってよい。
【００４１】
本発明は、少なくとも1つの消失した信号フレームを置き換えるための手段を備え、連続したフレームに分割された一連のサンプルを含む信号を復号化するためのデバイスによって実施することができる。このデバイスは、
-  消失した一連のサンプルに置き換えるための信号構造を生成するための手段であって、この信号構造が、復号中にかつ消失した一連のサンプルよりも前に受信された有効サンプルから決定されたスペクトル成分を含む、手段と、
-  復号器で利用可能な、受信された有効サンプルを含むデジタル信号と、スペクトル成分から生成された信号との間で残差を生成するための手段と、
-  残差からブロックを抽出するための手段と、
-  ブロックを信号構造に注入するための手段と
を備え、
注入するための手段は、窓重み付けブロックを、重複加算手法を用いて利用し、注入されたブロックは、時間の点で少なくとも部分的に重複する。
【００４２】
そのようなデバイスは、物理的な形態、たとえばプロセッサ、およびおそらくは典型的には通信端末内にある作業メモリの形態を取ることができる。
【００４３】
本発明の他の特徴および利点は、本発明のいくつかの実施形態の以下の詳細な説明を読み、かつ以下の図面を参照することによって明白となろう。
【図面の簡単な説明】
【００４４】
【図１Ａ】MLT変換における従来の窓の重複を示す図である。
【図１Ｂ】低遅延窓の重複を、図1Aに示した重複と比較するために示す図である。
【図１Ｃ】ノイズ信号の周期的な複製を示す図である。
【図２】本発明を実施することができる技術的枠組みの一例を示す図である。
【図３】本発明による方法を実施するための手段を備えるデバイスの概略図である。
【図４】本発明の概括的な処理の一例を表す図である。
【図５】一実施形態における、本発明の方法のステップの概略図である。
【図６】別の実施形態における、本発明の方法のステップの概略図である。
【図７】別の実施形態における、本発明の方法のステップの概略図である。
【図８】別の実施形態における、本発明の方法のステップの概略図である。
【図９Ａ】一実施形態に従って決定された、ある一定の重複率での、本発明の連続した重み付け窓を示す図である。
【図９Ｂ】一実施形態に従って決定された、ある一定の重複率での、本発明の連続した重み付け窓を示す図である。
【図９Ｃ】一実施形態に従って決定された、ある一定の重複率での、本発明の連続した重み付け窓を示す図である。
【図１０】一実施形態に従って決定された、疑似ランダムな重複率での、本発明の連続した重み付け窓を示す図である。
【図１１】本発明の一実施形態に従って決定された、連続した重み付け窓を示す図である。
【発明を実施するための形態】
【００４５】
次に、図2を参照しながら、本発明を実施するための、有利であるが任意選択による例について説明する。この図は、受信信号について復号器内で実施される処理に関する。この復号器は、いかなる種類のものでもよく、この処理は全体として、符号化/復号化の種類とは一般に独立した処理である。記載の例では、この処理は、受信された音声信号に適用される。しかし、この処理は、より一般的には、時間窓掛け処理(time-windowing)および変換によって分析されるいかなる種類の信号にも適用することができ、その際に、合成時の1つまたは複数の置換えフレームに重複加算手法を用いた調和化が実施される。
【００４６】
「フレーム」という用語は、少なくとも1つのサンプルのブロックを意味することを理解されたい。コーデック(codec)のほとんどでは、これらのフレームは、いくつかのサンプルからなる。しかし、たとえば勧告G.711によるPCM(パルス符号変調)などのいくつかのコーデックでは、信号は、単に一連のサンプルからなる(この場合、本発明の意味における「フレーム」は、1つのサンプルしか含まない)。本発明はまた、この種のコーデックに応用することもできる。
【００４７】
たとえば、有効信号は、フレームが消失する前に受信された最後の有効フレームからなることができる。消失フレームの後で受信された、1つまたはいくつかのその後の有効フレームを使用することも可能である(ただし、そのような実施形態では、復号に遅延が生じることになる)。有効信号から使用されるサンプルは、フレームのサンプルそのものでも、おそらくは変換メモリに対応するサンプルでも、MDCTまたはMLT重複を用いた変換復号化の場合には、典型的にはエイリアシングを含むサンプルでもよい。
【００４８】
図2の処理の第1のステップS1において、N個の音声サンプルが、バッファ(FIFOバッファなど)に順次記憶される。これらのサンプルは、すでに復号化されたサンプルに対応し、したがってフレーム消失を処理するときにアクセス可能である。合成すべき第1のサンプルが、(1つまたは複数の連続した消失フレームのうち)時間インデックスがNのサンプルである場合、音声バッファb(n)は、時間インデックスが0からN-1のN個の先行サンプルに対応する。
【００４９】
フィルタリングステップS2において、音声バッファb(n)は、次いで、以下でFcとして記す分離周波数、たとえばFc=4kHzで、低周波帯域BBと高周波帯域BHとの2つの周波数帯域に分離される。
【００５０】
ステップS3は、低周波帯域に適用され、このステップは、折返し点と、周波数Fcでリサンプリングされたバッファb(n)の基本周期に対応する長さPのセグメントとを探索するステップからなる。基本周期は、有声話声信号の場合、たとえばピッチ周期に対応する(信号の基本周波数の逆数)。しかし、信号はまた、たとえば基本周波数と、前記繰返し周期に対応し得る基本周期とに関連付けられた全体トーンを有する音楽信号に由来したものでもよい。
【００５１】
以下では、長さPのただ1つの基本周期だけを信号の合成に使用するものとしているが、この処理の原則は、いくつかの基本周期にわたるセグメントについても等しくよくあてはまることに留意されたい。いくつかの基本周期では、FFTの精度、および得られるスペクトル成分の豊かさの点において、さらに良好な結果が得られる。
【００５２】
次のステップS4は、セグメントp(n)をサインの合計となるように分解するステップからなる。
【００５３】
図2のステップS5において、最も重要な成分だけが保持されるように、正弦波成分を選択する。
【００５４】
次のステップS6は、正弦波の合成である。例示的な一実施形態では、このステップS6は、消失フレーム(T)の寸法と少なくとも同じ長さのセグメントs(n)を生成することからなる。特定の一実施形態では、(フレーム消失補正された)合成信号と、次の有効フレームが再度正しく受信された場合の、そのような次の有効フレームで復号化された信号との間で、(遷移として)クロスフェイド型の音声ミキシングを行うことができるように、2フレームに等しい長さ(たとえば40ms)が生成される。
【００５５】
フレームのリサンプリングを見越して(サンプルの長さをLFで示す)、リサンプリングフィルタ(LF)の半分の寸法だけ、合成すべきサンプル数を増加させることができる。合成信号s(n)を、選択された正弦波成分の合計として以下のように計算する。
【００５６】
【数１】
0006469079.tif 000002
【００５７】
式中、kは、ステップS5で選択されたK個の成分のインデックスである。この正弦波合成を実施するために可能な従来の方法がいくつかある。
【００５８】
図2のステップS7は、低周波帯域において、ある周波数成分が省略されたために生じるエネルギー消失を補償するためにノイズを注入することからなる。
【００５９】
本発明の簡略な一実施形態について、図5を参照しながら先に説明することができる。この実施形態は、ステップP5において、ステップP1で抽出されたピッチに対応する信号ブロックp(n)と、ステップP3で生成された合成信号s(n)との間の残差r(n)=p(n)-s(n)を、ステップS4において行われる正弦波分析から、n∈[0;P-1]として演算することからなる。
【００６０】
この残差は、ステップP6において、寸法が
【数２】
0006469079.tif 000003
となるように変換され、ステップP7で信号b(n)になる。
【００６１】
次いで、ステップP8において、信号b(n)は、ステップP2で生成された信号s(n)に、信号を置き換えるべき持続時間に対応する持続時間Nの間注入される。
【００６２】
次いで、この置換え信号f(n)は、ステップP9で有効信号と混合される。この混合は、たとえば重複間隔ROにわたって行われる重複加算RECOVを含むことができる。
【００６３】
一実施形態では、この残差信号は、複製された信号間の重複加算を用いて1回または複数回(埋めるべき時間部分に依存して)複製される。
【００６４】
別の実施形態では、各複製において、残差信号のブロックに様々な変換を疑似ランダムな形で適用することができ、したがって信号の符号を反転させ、かつ/または時間反転を実施することが可能である。
【００６５】
次に、図4を参照しながら、本発明の一実施形態による、置換え信号構造に注入すべきノイズ信号を生成するための方法について説明する。
【００６６】
ステップS601において、信号s(n)が、ステップS602で抽出されたブロックp(n)の時間周期に対応する時間周期にわたって、ステップS6の正弦波合成(図2も参照)から生成される。
【００６７】
残差r(n)が、信号p(n)から信号s(n)を減算するSUBことによって得られる。これによって、ステップS603で、r(n)=p(n)-s(n)となるr(n)が得られる。
【００６８】
ステップS604において、カウンタ変数kが0に初期化され、信号b(n,k)が、b(n,0)=0となるように初期化される。
【００６９】
ステップS605において、ブロックr(n,k)が信号r(n)から抽出される。一実施形態では、この抽出の時間的特徴(ブロックikの開始時刻、およびブロックLkの持続時間)が、擬似ランダムに求められる。別の実施形態では、この抽出に条件を課すことができる。たとえば、ブロック開始時刻の値と、持続時間の値との合計は、ステップS602で抽出されたブロックp(n)の持続時間の値に対応する値未満でなければならない。
【００７０】
ステップS606において、抽出されたブロックr(n,k)の持続時間Lkが、窓構成ステップS608に送信される。
【００７１】
ステップS607において、ステップS608で重み付け窓を構成することができるように、重み付け窓一式が利用可能になる。たとえば、メモリに記憶された重み付け窓が抽出され、作業メモリに転送される。
【００７２】
ステップS608において、ステップMULTでブロックr(n,k)を乗算できるように、重み付け窓が選択され、構成される。窓のパラメータには、ブロックr(n,k)に適した持続時間Lkが含まれる。
【００７３】
次いで、ブロックwk.r(n,k)が、加算済みの(k-1)ブロックに対応する信号b(n,k-1)と重複して加算され、したがってb(n,k)=wk.r(n,k)+b(n,k-1)となる。一実施形態では、重複加算は、50%の固定重複率で実施される。
【００７４】
試験T609によって、生成済みの信号b(n,k)の長さが、置き換えるべき信号の持続時間に対応する値Nよりも大きくないか検証する。
【００７５】
値Nよりも大きい場合、信号b(n,k)は、ステップS612において、b(n,k)の時間長さが、置き換えるべき信号の持続時間に対応する値Nに等しくなるように切り捨てられ、この切り捨てられた値をTQで示す。ステップS613において、消失フレームに代わる置換え信号に注入すべきノイズ信号YがTQに設定され、ステップS7で注入される(図2も参照)。
【００７６】
値Nよりも大きくない場合、b(n,k)の値は、後に次のブロックr(n,k+1)に加算されるように、作業メモリMEM(図3参照)に記憶される。ステップS611において、カウンタ変数kが増分され、手順はステップS605に戻る。
【００７７】
次に、図6を参照しながら、本発明の別の実施形態による、置換え信号構造に注入すべきノイズ信号を生成するための方法について説明する。
【００７８】
本実施形態では、残差信号が、残差r(n)から得られたオーバーレイ加算信号ブロックr'k(n)に連続して繰り返し(k回)注入される。
【００７９】
繰返しkでは、ブロック読取り値が、ブロック開始インデックスikおよびブロック長Lkによって求められ、この残差部分を目標タイムスロットにどのように注入するかが、任意選択の変換Tk、書込みインデックスjk(埋めるべきタイムスロットにおけるブロックのコピーの開始)、および重複加算窓wk(n)を決定することによって規定される。
【００８０】
残差から生成すべき、寸法がサンプルN個分の相補信号を、b(n)として示すこととする。ノイズ信号を生成するための手順を以下で説明する。
【００８１】
初期化:
b(n)=0, 0≦n<N
k=0
j0=0
【００８２】
jk+Lk=Nとなるまで、以下のように繰り返す。
1)ikとLkとを、ik+Lk≦P、かつjk+Lk≦Nとなるように選択し、ブロックP(k)を抽出する。
2)r'k(n)=Tk(rk(ik+n))に対応するS(k)が得られるように、変換Tkを選択する。この変換については、後述する。
3)jk+Lk<Nである場合、次の繰返しと重複するように備えて、jk+1≦jk+Lk(好ましくは、同時に重複するのが最大で2ブロックとなるように制限するためにjk+1≧jk-1+Lk-1、たとえばS(k)とS(k+1))を選択し、ブロックP(k+1)を抽出する。
4)隣接するブロックの任意の重複に基づいて、重み付け窓wk(n)を決定する。
5)窓wk(n)によって重み付けられたr'k(n)を次のようにペーストする。
b(jk+n)=b(jk+n)+r'k(n).wk(n)、ただし0≦n<Lk
6)k=k+1で増分する。
【００８３】
本実施形態では、記載の手順によって書込みインデックスjkを増加させる。他のいかなる進行(減少、非単調など)の選択も可能である。
【００８４】
別の実施形態では、Lkは、コピーにおいて大幅に進行することができ、かつ比較的低周波の成分が歪むのを回避するように、利用可能な保存値(reserve)Pに比べて比較的大きくなるように選択される。たとえば、図11を参照すると、L0は、重複加算が1度だけ適用されるように、比較的大きくなるように選択されている。
【００８５】
別の実施形態では、必要となる加算および乗算の演算数を制限するように、重複領域の寸法jk+Lk-jk+1を低減させる。(重複領域の寸法jk+Lk-jk+1に対応する)重複率の調整はまた、品質(アーチファクトの消去)と処理コストとの間の比率が、復号器の計画的用途に適合するように構成することができる。
【００８６】
好ましい一実施形態では、図7を参照すると、重み付け窓は、ペーストされた部分間での遷移が確実に滑らかになるように、また、結果として得られる信号が、信号エネルギーの点において確実に連続するように規定される。典型的には、いかなる点においても最大で2つのブロックが重複するように計画される。ブロックS(k)とS(k+1)との間の重複について考察する。図7の枠ZPは、枠で囲んだ領域ZMの拡大図を表す。
【００８７】
重複領域において、n∈[0;lk[、ここでlk=jk+Lk-jk+1とすると、結果として得られる信号は、以下となる。
b(jk+1+n)=r'k(jk+1-jk+n).wk(jk+1-jk+n)+r'k+1(n).wk+1(n)
【００８８】
一実施形態では、wkの終わりと、w(k+1)の始まりとが、以下の「振幅の保存(preservation of amplitude)」と呼ばれる判定基準に従って次のように組み合わされる。
wk(jk+1-jk+n)+wk+1(n)=1
【００８９】
したがって、典型的には0と1によって増大し、境界付けられるクロスフェイド関数flk(n)を選択すれば十分であり、かつそこからn∈[0;lk[について、以下を演繹すれば十分である。
・wk(jk+1-jk+n)=fout(n)=1-flk(n)、かつ
・wk+1(n)=fin(n)=flk(n)
【００９０】
たとえば、クロスフェイド関数は、以下によって改善し規定することができる。
【００９１】
【数３】
0006469079.tif 000004
【００９２】
図7の関数fin(n)によって表される別の例では、クロスフェイド関数は、正弦関数でよく、以下によって規定することができる。
【００９３】
【数４】
0006469079.tif 000005
【００９４】
別の実施形態では、「エネルギー保存(energy conservation)」と呼ばれる判定基準が選択され、ここではペーストされた信号を、位相コヒーレンスなしで組み合わせることができ、以下によって規定することができる。
(wk(jk+1-jk+n))2+(wk+1(n))2=1
【００９５】
上記で提案したクロスフェイド関数fk(n)から、n∈[0;lk[について、以下を演繹することができる。
【００９６】
【数５】
0006469079.tif 000006
【００９７】
各重み付け窓は、典型的には左から右に次の3つの部分で構成される。
-  増大部分(先行する窓の減少部分に相補する)、
-  一定かつ保存的な部分(利得が1)、および
-  減少部分
【００９８】
一実施形態では、少なくとも1つの重み付け窓について、これらの部分のうち少なくとも1つは、長さがゼロである。たとえば、第1のブロックが次の注入ブロックの始まりと完全に重複する場合、この第1の注入ブロックに適用される重み付け窓は、減少部分のみからなる。
【００９９】
別の実施形態では、2つのブロックに関するクロスフェイド作用が、それらの重複領域にわたって同時に管理される。これは、上述のステップを単に分割し、異なるように組み立て直したものである。
【０１００】
その場合、各繰返しは、
-  重複なく、したがって窓掛け処理なくペーストする段階(wk(n)=1による乗算の排除)、および/または
-  上述のクロスフェイド関数fout(n)、およびfin(n)を用いて、前のブロックの終わりと新しいブロックの始まりとをクロスフェイドさせてペーストする段階
からなる。
【０１０１】
上記については、「同時クロスフェイド」と呼ばれる以下の手順を用いてさらに詳細に説明する。
【０１０２】
初期化:
・b(n)=0, 0≦n<N
・k=0
・j0=0
・l-1=0
・i0とL0とを、i0+L0≦P、かつj0+L0≦Nとなるように選択する。
・そこから重複の寸法を演繹(l0=j0+L0-j1)する、j1≧j0を選択する(ただし、j1≦j0+L0)。
・T0およびT1の変換を選択する。
・r'0=T0(r0(i0+n))を計算する。
【０１０３】
jk+Lk=Nとなるまで以下のように繰り返す。
1)jk+1>jk+lk-1である場合、重複または窓掛け処理のないペーストを以下のように行う。
b(jk+n)=r'k(n)、lk-1≦n<Lk-lk
2)重複領域におけるクロスフェイドのペースト
b(jk+1+n)=r'k(Lk-lk+n).fout(n)+r'k+1(n).fin(n), 0≦n<lk
3)別の繰返しが求められる場合(特にjk+Lk<Nである場合)、
a)jk+1≦jk+Lkを選択し、ただし(同時重複を最大で2ブロックに制限するために)jk+1≧jk-1+Lk-1とする。
b)ik+1とLk+1とを、ik+1+Lk+1≦P、かつjk+1+Lk+1≦Nとなるように選択する。
c)変換Tk+1を選択して、r'k+1(n)=Tk+1(rk+1(ik+1+n))を得る(詳細については下記参照)。
4)k=k+1で増分する。
【０１０４】
変形形態では、クロスフェイドの原則を、新しくペーストされたブロックと、重複部分において生成済みの信号との間で、b(jk+1+n)=b(jk+1+n)fout(n)+r'k+1(n).fin(n)となるように適用する。本実施形態は、計算を複雑にすることなく、3つ以上のブロックが同時に重複しないように管理できるという利点を有する。
【０１０５】
したがって、パラメータik、jk、Lk、およびTkのうちの少なくとも1つが、周期的作用、およびそれに伴う聴覚アーチファクト(金属的な人工音)を回避するために、ある繰返しと別の繰返しとで変動する。
【０１０６】
埋められたタイムスロットにおいて、ペーストされたあるブロックの、ペーストされた別のブロックに対する、インデックスik、ik+1、jk、およびjk+1の遅延情報dk,k+1を、dk,k+1=(jk+1-ik+1)-(jk-ik)として演繹することができる。
【０１０７】
好ましいが限定的でない形で、dk,k+1は、ある繰返しkと、次の繰返しk+1とで異なるように設定される。
【０１０８】
一実施形態では、アーチファクトの消去を改善するために、繰返し中に単純な変換または複雑な変換(上記ではTkで示す)を変動可能な形で導入することができ、それによって注入された信号部分間の非相関形態が導入されるという利点がもたらされる。
【０１０９】
実施可能な単純変換の1つであるTkは、信号の符号を以下のように変えることからなる。
r'k(n)=Tk(rk(ik+n))=σkrk(ik+n)、ただし、繰返しに依存してσk=±1
【０１１０】
先の変換と組み合わせることができ、かつ擬似ランダムに適用可能な、実施可能な変換の1つは、時間反転からなり、すなわち残差の読出しまたは書込みを逆順で以下のように行うことを意味する。
r'k(n)=Tk(rk(ik+n))=σkrk(ik+Lk-1-n), 0≦n<Lk
【０１１１】
演算コストがより複雑な他の変換、たとえば位相シフトフィルタなどもやはり、可能である。位相シフトフィルタは、オールパスフィルタとも呼ばれ、使用される全周波数範囲にわたって同一の利得を示すが、信号を構成する周波数の相対的な位相は、周波数とともに変動する。
【０１１２】
本明細書では、説明しやすいように中間変数r'k(n)を導入しているが、当該の変換Tkは、デジタルサンプルを読み取るための特定の一形態として、r(n)からの読取りと、b(n)への書込みとの間でバッファへの中間記憶を必ずしも必要とせずに行うことができる。
【０１１３】
別の実施形態では、k番目に注入された信号部分は、生成済みの相補信号b(n), 0≦n<jk-1+Lk-1から得ることができ、残差r(n)だけから得られるわけではない。
【０１１４】
次に、デジタル音声復号器に組み込まれた、上述の「同時クロスフェイド」手順を含む一変形実施形態を、図8を参照しながら一例として示す。
【０１１５】
初期化
・j1=j0=0:2つのブロックのクロスフェイドが、埋込みが開始された時点で適用される。
・i0=P/2
・L0=P/2
【０１１６】
各繰返しにおいて、
-  読取りインデックスik(k>0の場合)は、計算された残差セグメントr(n)の開始ik=0を指す。
-  クロスフェイド関数は、以下の正弦関数である。
・fout(n)=1-flk(n)
・fin(n)=flk(n)
ただし
【数６】
0006469079.tif 000007
【０１１７】
-  2つのブロックが同時に重複し、したがってk>0の場合、jk+1=jk+lk-1=jk-1+Lk-1となる。
-  ペーストされた各ブロックの全寸法は、2つの重複領域をつなげた合計Lk=lk-1+lkに対応し、これは各繰返しにおいて求められる重複領域の寸法lkであり、そこからLkおよびjk+1が演繹される。このパラメータlkは、利用可能な残差の半分の寸法P/2に比例して、以下のように計算される。
【０１１８】
【数７】
0006469079.tif 000008
【０１１９】
ただし、k'=mod(k+cnt_bfi)、ここで、cntbfiは、消失フレーム数の逆数であり、α=[1 0.8 0.6 0.9]である。
-  変換Tkは、本質的に符号の随時変更からなり(時間反転なし)、係数
【数８】
0006469079.tif 000009
によって示される。
【０１２０】
上述の方法の第1のステップを、図8を参照しながら以下の表に示す。ステップINITは、本方法の初期化に対応し、ステップST(0)、ST(1)、およびST(2)は、本方法の第1の増分に対応する。
【０１２１】
【表１】
0006469079.tif 000010
【０１２２】
所望の時間部分について相補信号b(n)が生成されると、この信号は正弦波合成によって生成された信号s(n)(ただしn>0)に加算される。
【０１２３】
好ましい実施形態では、ブロックの少なくとも1つのパラメータが、置換え信号に不整合性を導入するために擬似ランダムに決定され、したがって聴覚に不快感を生じる周期性現象が制限される。重み付け窓のパラメータは、たとえば抽出ブロック開始時刻、ブロック持続時間(上述のパラメータLkと同様)、連続する2つのブロックの重複率である。
【０１２４】
図9Aを参照すると、例示的な一実施形態では、ノイズ信号は、全ブロックが一旦注入された後に、置換え信号に注入されることを示し、注入ブロックを書き込む開始時刻は、一定の重複率で擬似ランダムに決定される。図9Aから図11では、矢印は擬似ランダムに決定されたパラメータを示す。最初の2つのパラメータ(ブロック開始時刻および重複率)が固定されると、これらの最初の2つのパラメータから、ブロック持続時間が演繹される。他の条件もやはり、作用させることができる。たとえば、置き換えるべき信号の持続時間に対応する持続時間Nをブロックが超えないように各ブロックの長さの合計を固定することができる。この条件は、最後のブロックの開始インデックスと、最後のブロックの長さとの合計を、持続時間Nよりも短くなるように設定できるように考えることによって、異なる形で表すことができる。実際には、連続して繰り返すことによってノイズを生成するための方法では、これらの条件は、各重複加算でチェックすることができる。
【０１２５】
たとえば、置き換えるべき消失データが10フレームである場合、ノイズ信号は、20個の重み付け窓によって重み付けることができる。
【０１２６】
上述のように、疑似ランダムという用語は、数学およびコンピュータ科学において、統計学的に完全な無作為性に近い一続きの数字を示すために使用される。この一続きの数字を生成するために使用するアルゴリズムプロセス、および使用するソースによっては、この一続きの数字は、完全に無作為であるとみなすことはできない。当然ながら、パラメータは、擬似ランダムに生成することができるが、なおもある条件、たとえば置き換えるべき信号の長さに関する条件を満たしている。
【０１２７】
図9Bを参照すると、別の実施形態では、ブロック(L0〜L5)の持続時間は、一定の重複率で擬似ランダムに決定される。最初の2つのパラメータが固定されると、これらの最初の2つのパラメータから、ブロックを書き込むための開始インデックスが導出される。この例では、最後のブロックのパラメータはいずれも、擬似ランダムには決定されず、したがって全ブロックの重複から生じる信号の持続時間は、置き換えるべき信号の持続時間に対応する持続時間Nよりも大きくはならない。
【０１２８】
図9Cを参照すると、別の実施形態では、偶数の窓インデックスでは、ブロックの持続時間と、注入ブロックを書き込むための開始インデックスの値とが、一定の重複率で擬似ランダムに決定される。したがって、j0、L0、j2、L2、j4、およびL4は擬似ランダムに決定され、j1、L1、j3、L3、j5、およびL5は、擬似ランダムに決定されたパラメータと、重複率とから演繹される。これらのパラメータに条件を与えることができ、したがってs個の全ブロックの重複から生じる信号の持続時間は、置き換えるべき信号の持続時間に対応する持続時間Nを超えることはない。
【０１２９】
図10を参照すると、別の実施形態では、すべてのパラメータが擬似ランダムに決定される。しかし、これらのパラメータには、重複した注入ブロックから得られる信号の持続時間が、置き換えるべき信号の持続時間に対応する持続時間Nを超えないように条件を設定してもよい。この構成では、特に、これらの2つの窓間のオーバーレイセグメントについて、連続した2つの重み付け窓の合計は1に等しくはなく、また、これらの2つの窓間のオーバーレイセグメントについて、連続した2つの重み付け窓の2乗の合計も1に等しくない。
【０１３０】
次に、図2のステップS8に戻り、ステップS3〜S7では関与しなかった高周波帯域について、この高周波帯域の信号を単に繰り返すことによって処理することで、置換え信号の構築を任意選択で継続することができる。
【０１３１】
ステップS9において、ステップS70で低周波帯域を原周波数Fcでリサンプリングし、そのリサンプリング結果を、高周波帯域のステップS8の繰返しから得られた信号に加算することによって信号を合成する。
【０１３２】
ステップS10において、フレーム消失前の信号と、合成信号との間、かつ合成信号と、フレーム消失後の信号との間が確実に連続するように重複加算を実施する。
【０１３３】
当然ながら、本発明は上述の実施形態に限られるものではなく、他の変形形態にも及ぶ。
【０１３４】
たとえば、ステップS2における高周波数帯域と低周波数帯域とへの分離は、任意選択である。代替実施形態では、バッファからの信号(ステップS1)を、2つのサブ帯域に分離せず、ステップS3からS10は上述のものと同一のままである。しかし、低周波におけるスペクトル成分の処理によって、有利には、複雑になるのを制限することが可能になる。
【０１３５】
本発明は、会話型復号器内で、フレーム消失の場合に実施することができる。物理的に、本発明は、典型的には電話端末内での復号のための回路において実施することができる。この目的で、そのような回路CIRは、図3に示すように、プロセッサPROCを備える、またはそこに接続することができ、かつ上記の方法を実行するための本発明によるコンピュータプログラム命令がプログラミングされた作業メモリMEMを備えることができる。たとえば、本発明は、復号器内において実時間変換で実施することができる。
【０１３６】
より詳細には、既知の信号と、合成信号との間の残差からノイズを生成するための方法に基づいた一実施形態について、上記で説明してきた。当然ながら、周波数領域において残差を計算し(原スペクトルから選択されたスペクトル成分を除去する)、逆変換によって背景ノイズを得ることもやはり可能である。
【０１３７】
復号中にかつ消失した一連のサンプルよりも前に受信された有効サンプルから決定されたスペクトル成分を含む信号構造に基づいた一実施形態について、上記で説明してきた。当然ながら、これらのスペクトル成分はまた、この消失した一連のサンプルの後に受信されたサンプルから求めてもよい。これらのスペクトル成分はまた、この消失した一連のサンプルよりも前に受信されたサンプルと、この消失した一連のサンプルの後に受信されたサンプルとから求めることもできる。これらのスペクトル成分はまた、一定でもよい。
【図１Ａ】
0006469079.tif 000011
【図１Ｂ】
0006469079.tif 000012
【図１Ｃ】
0006469079.tif 000013
【図２】
0006469079.tif 000014
【図３】
0006469079.tif 000015
【図４】
0006469079.tif 000016
【図５】
0006469079.tif 000017
【図６】
0006469079.tif 000018
【図７】
0006469079.tif 000019
【図８】
0006469079.tif 000020
【図９Ａ】
0006469079.tif 000021
【図９Ｂ】
0006469079.tif 000022
【図９Ｃ】
0006469079.tif 000023
【図１０】
0006469079.tif 000024
【図１１】
0006469079.tif 000025