(57)【特許請求の範囲】
【請求項１】
連続的なフレームに分散された一連のサンプルを含む信号を処理するための方法であって、復号において失われた少なくとも1つの信号フレームを置換するために、前記信号の復号の間に実装され、
a)デコーダに利用可能である有効な信号において、前記有効な信号の関数として設定された周期に対応する長さの信号セグメントをサーチするステップ(S3)と、
b)前記信号セグメントのスペクトル成分を決定するために、前記信号セグメントのスペクトルを解析するステップ(S4)と、
c)合成された信号を前記スペクトル成分の少なくとも一部から構築することにより、前記失われたフレームに対する少なくとも1つの置換フレームを合成するステップ(S6)と、
を含む方法。
【請求項２】
前記有効な信号における相関によって反復周期をサーチするステップを含んでおり、前記信号セグメントの前記長さは少なくとも1つの反復周期を含む、請求項1に記載の方法。
【請求項３】
前記反復周期は、前記相関が予め設定された閾値を超える長さに対応する、請求項2に記載の方法。
【請求項４】
前記スペクトル成分と関連するそれぞれのフェーズを決定するステップをさらに含み、前記合成された信号の前記構築は前記スペクトル成分の前記フェーズを含む、請求項1から3のいずれか一項に記載の方法。
【請求項５】
前記スペクトル成分と関連するそれぞれの振幅を決定するステップをさらに含み、前記合成された信号の前記構築は前記スペクトル成分の前記振幅を含む、請求項1から4のいずれか一項に記載の方法。
【請求項６】
前記スペクトル成分と関連するそれぞれの振幅を決定するステップをさらに含み、最高の振幅スペクトル成分が前記合成された信号の前記構築のために選択される(S5)、請求項1から5のいずれか一項に記載の方法。
【請求項７】
前記合成された信号の構築のために選択されなかったスペクトル成分との関係でエネルギの損失を補償するために、前記合成された信号にノイズが追加される(S7)、請求項1から6のいずれか一項に記載の方法。
【請求項８】
前記ノイズは、前記信号セグメントからの前記信号と前記合成された信号との間の重み付けされた残余によって取得される、請求項7に記載の方法。
【請求項９】
前記信号セグメントのスペクトル解析は、好ましくは長さが2^kである高速フーリエ変換による正弦解析を含み、ここで、kはlog2(P)以上であり、Pは前記信号セグメントにおけるサンプルの個数である、請求項1から8のいずれか一項に記載の方法。
【請求項１０】
前記スペクトルを解析する前記ステップは、
ceil(x)がx以上の整数を表すものとして、2^ceil(log2(P))個のサンプルを含む第2の信号セグメントを取得するために、前記信号セグメントからサンプルを補間する(S41)ステップと、
前記第2の信号セグメントのフーリエ変換を計算する(S42)ステップと、
前記スペクトル成分を決定した後で、前記スペクトル成分と関連する周波数を識別し、前記周波数を再サンプリングの関数として修正して再サンプリングすることによって、前記合成された信号を構築するステップと、
を含む、請求項9に記載の方法。
【請求項１１】
回復を用いた変換による復号のコンテキストにおいて適用され、前記合成された信号は少なくとも2つのフレームの長さにわたって構築される、請求項1から10のいずれか一項に記載の方法。
【請求項１２】
前記合成された信号は、2つのフレームの長さと再サンプリングフィルタによって導入される遅延に対応する追加的な長さとにわたって構築される、請求項10または11に記載の方法。
【請求項１３】
前記有効なフレームからの信号を高周波帯域と低周波帯域とに分離するステップ(S2)をさらに含み、前記スペクトル成分は前記低周波帯域において選択される、請求項1から12のいずれか一項に記載の方法。
【請求項１４】
前記置換フレームは、前記低周波帯域において選択されたスペクトル成分から構築された第1の信号と、前記高周波帯域におけるフィルタリングからの第2の信号との加算によって合成され、
前記第2の信号は、有効な半フレームと前記有効な半フレームが時間的に折り曲げられたバージョンとを連続的に複製すること(S8)によって取得される、請求項13に記載の方法。
【請求項１５】
請求項1から14のいずれか1項に記載の方法を実装するための命令を含むコンピュータプログラム。
【請求項１６】
連続的なフレームに分散された一連のサンプルを含む信号を復号するためのデバイスであって、少なくとも1つの失われた信号フレームを置き換えるための手段(MEM、REOC)を備え、
a)デコーダに利用可能である有効な信号において、前記有効な信号の関数として設定された周期に対応する長さの信号セグメントをサーチする(S3)手段と、
b)前記信号セグメントのスペクトル成分を決定するために、前記信号セグメントのスペクトルを解析する(S4)手段と、
c)合成された信号を前記スペクトル成分の少なくとも一部から構築することにより、前記失われたフレームに対する少なくとも1つの置換フレームを合成する(S6)手段と、
を備えるデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号訂正に関し、詳しくは、デコーダにおいて、信号を受信する際にこのデコーダによりフレーム損失が生じる場合の信号訂正に関する。
【背景技術】
【０００２】
信号は、連続的なフレームに分割された一連のサンプルという形式を有しており、「フレーム」とは、複数のサンプルから構成された信号セグメントを意味するものと理解される(信号が、たとえばITU-TのG.711規格によるコーデックにおけるように、信号が一連のサンプルという形式を有する場合には、1つのフレームが単一のサンプルで構成される、という実装例があり得る)。
【０００３】
本発明は、デジタル信号処理の分野に属しており、より詳しくは、それに限られることはないが、オーディオ信号の符号化/復号の分野に属する。フレーム損失は、符号器と復号器とを用いる通信(リアルタイムの伝送によるか、または、後の伝送のための記憶によるか、のいずれか)がチャネル状態(たとえば、無線上の問題、アクセスネットワークの輻輳など)が原因で混乱するときに、生じる。
【０００４】
この場合、デコーダは、そのデコーダの内部で利用可能な情報(たとえば、既に復号された信号や、先行するフレームにおいて受信されたパラメータ)を用いることにより、行方不明になっている信号の代わりに、再構築された信号を用いることを試みるため、フレーム損失の訂正(または、「マスク」)機構を用いる。この技術を用いると、チャネルのパフォーマンスが低下している場合でも、よいサービス品質が維持され得る。
【０００５】
フレーム損失の訂正技術は、ほとんどの場合、用いられている符号化のタイプに大きく左右される。
【０００６】
CELP(「符号励振線形予測」(Code Excited Linear Prediction))タイプの技術に基づく音声信号の符号化の場合には、フレーム損失訂正は、特に、CELPモデルを利用する。たとえば、ITU-TのG.722.2規格による符号化では、失われたフレーム(または「パケット」)を置き換えるためのソリューションは、減衰器による長期ゲイン予測の利用を延長すること、そしてまた、それぞれのISF(「イミタンススペクトル周波数」(Immittance Spectral Frequency))パラメータの利用を、それらをそれぞれの平均に近づかせることにより延長すること、によって構成される。また、音声信号のピッチ(「LTPラグ」と称されるパラメータ)も、反復される。さらに、この「イノベーション」を特徴付けるパラメータに対するランダム値(CELF符号化における励振)が、デコーダに供給される。
【０００７】
このタイプの方法を、変換による符号化またはPCMもしくはADPCMタイプの波形の符号化に適用するには、デコーダにおいて、通過する信号にCELPタイプのパラメータ解析を行うことが必要になるが、これにより追加的な複雑性がもたらされるということが、既に注意されるべきである。
【０００８】
波形符号器に対応するITU-TのG.711規格では、(この規格の本文の付録Iに記載がある)フレーム損失訂正処理に関する有益な例は、既に復号された音声信号におけるピッチ周期を見つけること、および、既に復号された信号と(マスクによって再構築された)反復された信号との間の回復-加算(「オーバラップ-加算」(overlap-add))によって、最後のピッチ周期を反復すること、から構成される。この処理を用いると、オーディオアーチファクトを「平滑化」することが可能であるが、デコーダにおける追加的な遅延(回復時間に対応する遅延)が必要になる。
【０００９】
変換による符号化の場合におけるフレーム損失を置き換えるために最も用いられる技術は、受信された最後のフレームにおいて復号されたスペクトルを反復することで構成される。たとえば、ITU-TのG.722.1規格による符号化の場合には、50%の回復と正弦形状解析/合成ウィンドウとを備えた修正離散コサイン変換(MDCT)と同等のMLT(「修正直交変換」(modified lapped transform))は、スペクトルの単純な反復に関係するアーチファクトを平滑化するために、最後の失われたフレームと反復されたフレームとの間に、十分に低速の遷移を提供するように機能するが、典型的には、複数のフレームが失われている場合には、反復されたスペクトルはゼロに設定される。
【００１０】
好都合であることに、このマスク法は、追加的な遅延を必要とせず、その理由は、この方法が、(MLT変換に起因する時間エイリアシングにより)ある種の「クロスフェード」を行うために、再構築された信号と過去の信号との間における回復-加算を利用するからである。それは、リソースコストが非常に低い技術を代表している。
【００１１】
しかし、それには、フレームの損失の直前の信号と反復された信号との間の時間的不整合に関係する短所が存在する。この結果として、(特に、「短期遅延」と称されるMDCTフレームが用いられるときにそうであるように)2つのフレームと関連する信号の間の回復時間が短縮される場合に著しいオーディオアーチファクトを生じさせる可能性がある、位相不連続性(または不整合)が生じるのである。短期的な回復状況は、短期遅延MLT変換の場合の図1Bに図解されているのであるが、これは、G.722.1規格に従って長い正弦ウィンドウが用いられる(よって、長い回復時間ZRAを、非常に進行型の変調と共に、提供する)図1Aに図解されている通常の状況と対照的である。短期遅延ウィンドウによる変調は、図1Bに示されているように、短期回復ゾーンZRBのために可聴性の位相オフセットを生成するように思われる。
【００１２】
この場合には、ピッチサーチ(G.711の付録Iの規格による復号の場合)とMDCT変換のウィンドウによって生成された回復-加算とを組み合わせたソリューションが実装され得る場合でも、それは、特に周波数成分の間の位相シフトに関係するオーディオアーチファクトを除去するのに十分でない。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本発明は、この状況を改善することを目的とする。
【課題を解決するための手段】
【００１４】
この目的のため、本発明は、連続的なフレームに分散された一連のサンプルを含む信号を処理するための方法を提案するのであるが、この方法は、復号において失われた少なくとも1つの信号フレームを置換するために、前記信号の復号の間に実装される。より詳しくは、この方法は、
a)デコーダに利用可能である有効な信号において、前記有効な信号の関数として設定された周期に対応する長さの信号セグメントをサーチするステップと、
b)セグメントのスペクトル成分を決定するために、セグメントのスペクトルを解析するステップと、
c)合成された信号をスペクトル成分の少なくとも一部から構築することにより、失われたフレームに対する少なくとも1つの置換フレームを合成するステップと、
を含む。
【００１５】
本明細書において、「フレーム」とは、少なくとも1つのサンプルのブロックであると理解される。ほとんどのコーデックにおいて、これらのフレームは、いくつかのサンプルから構築される。しかし、特に、たとえばG.711規格によるPCM(「パルス符号変調」)タイプのいくつかのコーデックにおいては、信号は単に一連のサンプルから構築されている(つまり、本発明の意味での1つの「フレーム」は、ただ1つのサンプルを含む)。したがって、本発明は、このタイプのコーデックにも適用され得る。
【００１６】
たとえば、有効な信号は、フレーム損失の前に受信された最後の有効なフレームから構築され得る。フレーム損失の後に受信されたそれに続く1つまたは複数のフレームもまた、用いられ得る(ただし、そのような実装例は、復号の遅延を生じさせる)。有効な信号からの用いられるサンプルは、フレームから直接のものであり得るし、そして、メモリに対応し変換からのものであり得るし、典型的には、回復を伴う変換によるMLTまたはMDCT型の複合の場合にはエイリアシングを含む。
【００１７】
本発明は、フレーム損失の訂正に対する有益なソリューションを提供するのであるが、これは、特に、追加的なデコーダ遅延が禁止される場合であって、たとえば、変換によるデコーダが、置換信号(substitution signal)と時間的展開(temporal unfolding)から生じる信号との間に十分に大きな重なり合いを有していないウィンドウと共に、用いられるときである(MDCTまたはMLTのための短い遅延のウィンドウのための典型的な場合は、図1Bに示されている)。本発明は、回復に関して特別な効果を有するのであるが、これは、これらの直近の有効なフレームからのスペクトル配色を備えた合成された信号を構築するために、受信された直近の有効なフレームにわたってスペクトル成分を用いることによる。しかし、本発明は、もちろん、任意のタイプの符号化/復号(変換による、CELP、PCMなど)に適用される。
【００１８】
ある実施形態では、この方法は、有効な信号における相関によって1つの反復周期をサーチするステップを含んでおり、上述されたセグメントの長さは、少なくとも1つの反復周期を含む。
【００１９】
そのような「反復周期」は、発話された音声信号(信号の基本周波数の逆数)の場合には、たとえばピッチ周期に対応する。しかし、信号は、また、基本周波数と関連する全体的調性(overall tonality)と、また、上述した反復周期に対応し得る基本周期とをたとえば有する音楽信号からの場合もあり得る。
【００２０】
たとえば、信号の調性と関係する周期を求める反復周期のサーチが、用いられ得る。たとえば、第1のメモリバッファは、有効に受信された直近の複数のサンプルから構築することが可能であり、そして、2番目に大きなサイズのバッファは、第1のバッファからのサンプルにその連続において最もよく対応する第2のバッファからのいくつかのサンプルを求めて、相関によりサーチすることが可能である。第2のバッファから識別されたこれらのサンプルと第1のバッファからのサンプルとの間の時間的オフセットが、反復周期またはこの反復周期の整数倍を(相関サーチの精細度に従って)構成し得る。反復周期の整数倍を取ることによって本発明の実装例が劣化することはない、ということに注意すべきであるが、その理由は、この場合には、スペクトル解析が、ただ1つの周期ではなく複数の周期に及ぶ長さにわたって行われるに過ぎないからであり、これが解析の精細度を高めることに貢献するのである。
【００２１】
よって、スペクトル解析が行われる信号の長さは、下記のように決定され得る:
(信号の調性が明らかに識別可能である場合には)反復周期に対応する長さ;
動作に関する実施形態において後述されるように、所定の閾値よりも大きな第1の相関結果を相関が与える場合には、複数の反復周期に対応する長さ(たとえば、ピッチサイクル);
そのような調性が識別可能でない(信号が本質的にノイズで構成されている)場合には、任意の信号の長さ(たとえば、サンプルの数十倍)。
【００２２】
特定の実施形態では、上述の反復周期は、予め設定された閾値を相関が超える長さに対応する。よって、この実装例では、信号の長さは、この時間に対する所定の閾値を相関がいったん超えると、識別される。そのように識別された長さは、上述した全体的調性の周波数と関連する1つまたは複数の周期に対応する。そのような実装例では、単一ではなく複数のピッチ周期(たとえば、2から5の間のピッチ周期)が現実に検出される場合であっても、相関によるサーチの複雑性を(たとえば、60または70%の相関閾値を設定することによって)有利に制限することが可能である。第1に、相関サーチの複雑性がより低くなる。第2に、複数の周期にわたるスペクトル解析がより精細になり、その結果、スペクトル成分がより精細に解析される。
【００２３】
(たとえば、高速フーリエ変換すなわちFFTによる)セグメント解析によってスペクトル成分を取得することに関し、この方法は、これらのスペクトル成分と関連するそれぞれのフェーズを決定するステップをさらに含み、合成された信号の構築はスペクトル成分のフェーズを含む。信号の構築は、後で検討されるように、ほとんどの自然な場合には後続の有効なフレームである、直近の有効なフレームへの合成された信号の接続を最適化するために、これらのフェーズを組み入れる。
【００２４】
また、特定の実装例では、この方法は、スペクトル成分と関連するそれぞれの振幅を決定するステップをさらに含み、合成された信号の構築は、(合成された信号の構築においてそれらを考察するために)スペクトル成分のこれらの振幅を含む。
【００２５】
特定の実装例では、合成された信号の構築のために、解析から生じる成分を選択することが可能である。たとえば、この方法が、スペクトル成分と関連するそれぞれの振幅を決定するステップをさらに含む実装例では、最高の振幅のスペクトル成分が、合成された信号の構築のために選択され得る。よって、補完例または変形例として、その振幅が周波数スペクトルにおけるピークを形成するようなスペクトル成分が選択され得る。
【００２６】
スペクトル成分の単一の部分が選択される場合には、特定の実装例では、合成された信号の構築のために選択されなかったスペクトル成分との関係でのエネルギの損失を補償するために、合成された信号にノイズが追加され得る。
【００２７】
ある実装例では、上述のノイズは、セグメントからの信号と合成された信号との間の(時間的に)重み付けされた残余(weighted residue)によって取得される。それは、たとえば、回復を伴う変換による符号化/復号のコンテキストにおけるように、回復ウィンドウによって重み付けされ得る。
【００２８】
セグメントのスペクトル解析は、好ましくは長さが2^kである高速フーリエ変換(FFT)による正弦解析を含み、ここで、kはlog2(P)以上であり、Pは信号セグメントにおけるサンプルの個数である。そのような実装例は、後述されるように、処理の複雑性を低下させるように機能する。FFT変換に対する可能性のある代替例として、たとえば変調複素重複変換(Modulated Complex Lapped Transform)(MCLT)タイプの変換など、他の変換も可能であることに注意すべきである。
【００２９】
特に、スペクトル解析は、以下のものを提供することができる。
ceil(x)がx以上の整数を表すものとして、2^ceil(log2(P))個のサンプルを含む第2のセグメントを取得するための、セグメントからのサンプルの補間;
第2のセグメントのフーリエ変換の計算;
スペクトル成分を決定した後に、その成分と関連する周波数の識別と、前記周波数を再サンプリングの関数として修正して再サンプリングすることによる、合成された信号の構築。
【００３０】
本発明は、回復を伴う変換による復号のコンテキストにおいて、優れた応用を有するが、いかなる意味でも、それに限定されることはない。そのようなコンテキストでは、合成された信号が少なくとも2つのフレームの長さにわたって構築され(反復され)、それにより、単一のフレームを超える時間的エイリアシングを含む部分にも及ぶことは、有益であり得る。
【００３１】
特定の実装例では、合成された信号は、2つのフレームの長さと再サンプリングフィルタによって導入される遅延に対応する追加的な長さとにわたって、構築され得る(特に、上述された、再サンプリングが提供される実装例において)。
【００３２】
いくつかの実装例では、ジッタバッファを管理することが、有利であり得る。ジッタバッファ管理と協働してフレーム損失訂正が行われる場合には、本発明は、合成された信号の長さを適応させることによって、そのような状況においても適用され得る。
【００３３】
ある実装例では、この方法は、有効なフレームからの信号を高周波帯域と低周波帯域とに分離するステップをさらに含み、スペクトル成分は低周波帯域において選択される。そのような実装例では、処理の複雑性を低周波帯域にほぼ限定することが可能であるが、その理由は、高周波は、スペクトルの豊かさを、合成された信号にほとんどもたらすことがなく、より単純に反復され得るからである。
【００３４】
この実装例では、置換フレームは、下記のものの加算によって合成され得る。
低周波帯域において選択されたスペクトル成分から構築された第1の信号、および
高周波帯域におけるフィルタリングからの第2の信号。
なお、ここで、第2の信号は、少なくとも1つの有効な半フレームとその一時的に折り曲げられたバージョン(temporally folded version thereof)とを連続的に複製することによって取得される。
【００３５】
本発明は、また、この方法を実装するための命令を含むコンピュータプログラムにも向けられている(たとえば、図2の一般的概略図は一般的なブロック図であり得るのであり、ある一定の実施形態においては、図5および/または図8からの特定のブロック図であり得る)。
【００３６】
本発明は、また、連続的なフレームに分散された一連のサンプルを含む信号を復号するためのデバイスであり、少なくとも1つの失われた信号フレームを置き換えるための手段を備えているデバイスであって、
a)デコーダに利用可能な有効な信号において、前記有効な信号の関数として設定された周期に対応する長さの信号セグメントをサーチする手段と、
b)セグメントのスペクトル成分を決定するために、セグメントのスペクトルを解析する手段と、
c)合成された信号をスペクトル成分の少なくとも一部から構築することにより、失われたフレームに対する少なくとも1つの置換フレームを合成する手段と、
を備えているデバイスにも及ぶ。
【００３７】
そのようなデバイスは、たとえば、典型的には通信端末におけるプロセッサとおそらくは作業メモリというハードウェア形態を取り得る。
【００３８】
本発明の他の効果および特徴は、本発明の実装例に関する以下の詳細な説明を読み、次の図面を参照することで、明らかになるであろう。
【図面の簡単な説明】
【００３９】
【図１Ａ】MLT変換に関する従来型のウィンドウを用いた回復の図示である。
【図１Ｂ】図1Aの表現との比較における、小さな遅延ウィンドウを用いた回復の図示である。
【図２】本発明の意味における一般的処理の例の図示である。
【図３】基本周期に対応する信号セグメントの決定の図示である。
【図４】この実装例における相関サーチオフセットを伴う、基本周期に対応する信号セグメントの決定の図示である。
【図５】信号セグメントのスペクトル解析の実施形態の図示である。
【図６】複数の失われたフレームを置き換える有効なフレームを高周波においてコピーするための実装例の図示である。
【図７】合成ウィンドウによる重み付けを用いた、失われたフレームからの信号再構成の図示である。
【図８】本発明の意味における方法を信号の復号に適用する例の図示である。
【図９】本発明の意味における方法を実装するための手段を備えたデバイスの概略図である。
【発明を実施するための形態】
【００４０】
本発明の意味における処理が、図2に示されている。それは、デコーダとして実装される。このデコーダは、任意のタイプのものであり得るが、その理由は、全体として、処理が、符号化/復号化の性質とは独立であるからである。記載されている例では、処理は、受信されたオーディオ信号に適用される。しかし、処理は、より一般的に、時間ウィンドウイングおよび変換(temporal windowing and transformation)によって解析される任意のタイプの信号に適用可能であり、回復-加算による合成の間に、ハーモナイゼーションが1つまたは複数の置換フレームと共に提供される。
【００４１】
図2の第1の処理ステップS1の間に、N個のオーディオサンプルが、メモリバッファ(たとえば、FIFOタイプ)に、連続的に記憶される。次に、オーディオバッファb(n)を、たとえば、47msの信号から構築することが可能であり、これは、たとえばFs=32kHzによって与えられているサンプリング周波数Fsにおいては、それぞれが20msでは、たとえば、2.35=47/20個のオーディオフレームである。これらのサンプルは、既に復号されているためにフレーム損失訂正処理の時点でアクセス可能なサンプルに対応する。合成されるべきこの第1のサンプルが時間インデクスNを伴うサンプルである場合には(1つまたは複数の連続的な失われたフレームに関して)、オーディオバッファb(n)は、時間インデクスが0からN-1であるN個の先行するサンプルに対応する。変換によるコーダの場合には、オーディオバッファは、過去のフレームにおいて既に復号された(したがって、修正不可能な)サンプルに対応する。追加的な遅延をデコーダに追加することが可能な場合には(たとえば、D個のサンプル)、バッファは、デコーダに利用可能なサンプルの一部だけを含み得るのであって、たとえば直近のD個のサンプルを、(図2のステップS10における)回復-加算のために残す。
【００４２】
フィルタリングステップS2では、次に、オーディオバッファb(n)が、低周波帯域LFBと高周波帯域HFBとの2つの周波数帯域に分離され、分離周波数はFcと書かれ、たとえばFc=4kHzである。好ましくは、このフィルタリングは、遅延をもたらさない。先に定義されたオーディオバッファのサイズは、好ましくは、この周波数Fcを用いて、N'=NFc/Feに対応する。
【００４３】
低周波帯域に適用されるステップS3は、次に、周波数Fcを用いて再サンプリングされたバッファb(n)の内部においてルーピング点と基本周期(またはピッチ周期)と対応するセグメントPとを求めることで構成される。この目的のために、ある実装例では、正規化された相関corr(n)が、次の間で計算される。すなわち、
(たとえば、6msの長さに対して)このセグメントNsのサイズがN'-NsとN'-1との間に含まれるようなバッファのターゲットセグメント(図3における参照符号CIB)と、
サンプル0とサンプルNcとの間の位置を占めるサンプルにおいて開始するサイズがNcのスライディングセグメント(ただし、Nc>N'-Nsであり、Ncはたとえば35msの長さに対応する)との間であり、Corr(n)は次の数式で計算される。
【００４４】
【数１】
0006426626.tif 000002
【００４５】
図3を参照すると、時間インデクスn=mcであるサンプルに対して最大の相関が見いだされる場合には、1つのピッチ周期を有しておりインデクスn=pbであるルーピングポイントはサンプルmc+Nsに対応し、p(n)という記号で表され図3において後に続くセグメントは、サンプルn=pbとサンプルn=N'-1との間で定義されているサイズP=N'-Ns-mcのピッチ周期に対応する。
【００４６】
スライドするサーチセグメントは、図3に示されているように、ターゲットセグメントに先行する。特に、ターゲットセグメントの最初のサンプルは、サーチセグメントの最後のセグメントに対応する。ターゲットセグメントCIBとの最大の相関がサーチセグメントの早くにインデクスポイントmcにおいて配置されている場合には、(たとえば、同じ正弦強度を有する)少なくとも1つのピッチ周期が、時間インデクスポイントmcと時間インデクスmc+Pを有するサンプルとの間で経過する。同様にして、少なくとも1つのピッチ周期が、インデクスmc+Nsを有するサンプル(ルーピングポイント、インデクスpb)とバッファN'の最後のサンプルとの間で経過する。
【００４７】
この実装例の変形例は、バッファの自動相関で構成されており、これは、バッファにおいて識別された平均周期Pを見つけることになる。この場合、合成に用いられるセグメントは、バッファの直近のP個のサンプルを含む。しかし、長いセグメントに対する自動相関計算は複雑になることがあり得るのであって、上述した単純な相関よりも、より多くのコンピュータ資源を必要とすることがあり得る。
【００４８】
さらに、この実装例の別の変形例は、必ずしもサーチセグメントの全体にわたる最大限の相関を求めてサーチを行うのではなく、単にそのターゲットとなるセグメントにおける相関が(たとえば70%である)選択された閾値を超えるようなセグメントをサーチすることで構成される。そのような実装例は、正確には単一のピッチ周期Pを与えることはない(そうではなくて、複数の連続的な周期であり得る)が、サーチセグメント全体に及ぶ最大の相関を求めるサーチと関連する複雑性は、(複数のピッチ周期を有する)長い合成されたセグメントの処理と同様の、またはそれよりもさらに多くのリソースを必要とする。
【００４９】
以下では、単一のピッチ周期Pが信号の合成のために用いられると仮定されるのであるが、しかし、この処理の原理は複数の基本周期に及ぶように延長するセグメントにも同様に適用されるということに留意すべきである。FFT変換の精度と結果的に得られるスペクトル成分の豊富さとに関しては、複数のピッチ周期の場合の方が、よりよい結果が得られる。
【００５０】
バッファに含まれるオーディオ信号に過渡現象(transients)(オーディオ信号における非常に短い継続時間の強度ピーク)が存在し得る場合には、たとえば訂正サーチをオフセットすることにより、相関サーチ領域を適応させることが可能である(たとえば、図4の例に示されているようにオーディオバッファの開始後の典型的には20msの時点で開始させることによって、または、その過渡現象の終了後に開始する時間領域において相関サーチを実行することによって)。
【００５１】
S4に続くステップは、セグメントp(n)をサインの和に分解することで構成される。従来的には、信号をサインの和に分解することは、その信号の長さに対応する時間にわたってその信号の離散フーリエ変換(すなわちDFT)を計算することで構成される。そのようにして、信号を構成する正弦成分のそれぞれの周波数、位相および振幅が得られる。本発明の特定の実施形態では、複雑性を減少させるために、この解析は、長さ2^k(ただし、ここで、kはlog2(P)以上である)の高速フーリエ変換を用いて行われる。
【００５２】
この特定の実施形態では、ステップS4は、図5に示されている次の3つの動作に分解される。
セグメントp(n)からのサンプルが、ceil(x)がx以上の整数を表す場合に、
【００５３】
【数２】
0006426626.tif 000003
【００５４】
であるP'個のサンプルで構成されるセグメントp'(n)を得られるように、補間される動作S41(たとえば、これに限定されることはないが、1次または3次のスプライン型補間を用い得る);
P'(n)のFFT変換の計算すなわちΠ(k)=FFT(P'(n))を行う動作S42;および
FFT変換に基づき、正弦成分の位相φ(k)および振幅A(k)が直接に得られ、ただし周波数は0から1の間で正規化されており下記の数式3によって与えられる、動作S43。
【００５５】
【数３】
0006426626.tif 000004
【００５６】
図2のステップS5では、正弦成分が、最も顕著(most significant)な成分のみが維持されるように選択される。ある特定の実施形態では、成分の選択は次の通りに行われる。
第1に、A(k)>A(k-1)かつ下記の数式4の関係が成り立つように、振幅A(k)を選択する。
次に、選択されたピークの累積的な振幅が半分のスペクトルの累積的な振幅の少なくともx%(たとえば、x=70%)となるように、この第1の選択による振幅の中から、たとえば振幅が減少する順に、成分を選択する。
【００５７】
【数４】
0006426626.tif 000005
【００５８】
合成をより複雑でなくするために、追加的に、成分の個数を(たとえば、20個に)制限することも可能である。あるいは、予め設定された個数の最大のピークについて、サーチを行うことが可能である。
【００５９】
もちろん、スペクトル成分を選択する方法は、上で提示された例に限定されない。変形例が存在し得る。特に、その方法は、信号の合成に有益なスペクトル成分を識別するのに用いられる任意の基準に基づくことがあり得る(たとえば、マスクに関係する主観的な基準(subjective criteria)や信号の調和度(harmoniousness)に関する基準など)。
【００６０】
次のステップS6は、正弦波の合成(sinusoidal synthesis)に関する。ある実装例では、このステップは、失われたフレームのサイズ(T)と少なくとも等しい長さを有するセグメントs(n)を生成することで構成される。ある特定の実施形態では、(フレーム損失の訂正によって)合成された信号とフレームが再び正しく受信されている後続の有効なフレームから復号された信号との間で「クロスフェード」型の音声ミキシングが(遷移(transition)として)実行できるように、2つのフレーム(たとえば40ms)に等しい長さが生成される。
【００６１】
フレームの再サンプリング(サンプルの長さはLFで表されるとする)を予測するために、合成されるサンプルの個数を、再サンプリングフィルタのサイズ(LF)の半分だけ増加させることが可能である。合成された信号s(n)は、kをステップS5で選択されたK個の成分のインデクスとして、下記の数式5に示されるように、選択された正弦成分の和として計算される。この正弦波の合成を行うためには、複数の従来型の方法を用いることができる。
【００６２】
【数５】
0006426626.tif 000006
【００６３】
図2のステップS7は、低周波帯域におけるある一定の周波数成分の削除に関係するエネルギ損失を補償するために、ノイズを注入することで構成される。ある特定の実施形態は、nが区間[0,P-1]に属するとして、ピッチp(n)における対応するセグメントと合成された信号s(n)との間の残余r(n)=p(n)-s(n)を計算することで構成される。サイズPであるこの残余は、下記の数5のサイズに到達するまで、反復される。次に、信号s(n)は、信号r(n)と混合される(加算されるのであるが、重み付けを伴う場合もある)。
【００６４】
【数６】
0006426626.tif 000007
【００６５】
もちろん、(自然な背景ノイズを得るための)ノイズ生成方法は上述した例に限定されず、複数の変形例が可能である。たとえば、(元のスペクトルから選択されたスペクトル成分を除去することによって)周波数領域における残余を計算し、逆変換によって背景ノイズを得ることも可能である。
【００６６】
並列的に、ステップS8は、単に信号を反復することによって高周波帯域を処理することで構成されている。たとえば、それは、フレームTの長さを反復することを含み得る。より高度な実装例では、HFBの合成は、図6に示されているように、フレーム損失前の直近のT'個のサンプルを取り(たとえば、T'=N/2)、それらを時間的に折り曲げ、そして、それらを折り曲げることなく反復することによって、得られる。好都合であることに、このような実装例では、フレームの始点と終点とを同じラウドネスに配置することによって、可聴的なアーチファクトが排除され得る。
【００６７】
特定の実施形態では、サイズT'のフレームを、高周波帯域においてコンテンツが特に活気に満ちているときにある一定のアーチファクトを回避するために、重み付けすることが可能である。この重み付け(図6では、Wとして参照されている)は、たとえば、長さT/2のフレームの始点と終点とにおける1msの正弦ハーフウィンドウという形式を取り得る。連続的なフレームが重なり合う場合もあり得る。
【００６８】
ステップS9では、信号が、その元の周波数Fcにおいて低周波帯域を再サンプリングし、高周波帯域におけるステップS8の反復からの信号にそれを加算することにより、合成される。
【００６９】
ステップS10では、回復-加算がなされ、フレーム損失前の信号と合成された信号との間の連続性を保証するように機能する。たとえば、低遅延変換による符号化の場合には、MDCT変換のエイリアシングされた部分(エイリアシングされ残っている部分)の始点と(たとえば、通常のようにMDCT変換に関するウィンドウのための時間的エイリアシング軸を備えている)ウィンドウの4分の3マークとの間に、L個のサンプルが配置されている。図7を参照すると、これらのサンプルには、MDCT変換の合成ウィンドウW1が既に及んでいる。回復ウィンドウをそれらに適用することが可能になるためには、これらのサンプルは、(デコーダから既に知られている)ウィンドウW1によって除算され、ウィンドウW2によって乗算される。よって、以上で説明されたステップS1からS9の実装例によって合成された信号S(n)は、下記の数式7のように書かれる。そして、回復関数は、これに限定されるわけではないが、下記の数式8のように書かれる。
【００７０】
【数７】
0006426626.tif 000008
【００７１】
【数８】
0006426626.tif 000009
【００７２】
既に説明されたように、デコーダにおける遅延が許される場合には、この遅延時間は、回復-加算に適した任意の重み付けを用いることにより、合成された部分を伴う回復を行うために用いられ得る。
【００７３】
もちろん、本発明は、上述された実施形態に限定されることはなく、他の変形例にも拡張される。
【００７４】
よって、たとえば、ステップS2における高周波帯域と低周波帯域との分離は、オプションである。ある実施形態の変形例では、(ステップS1における)バッファからの信号は、2つのサブバンドに分離されないのであるが、ステップS3からステップS10は、依然として、上述されたものと同一である。しかし、低周波だけにおけるスペクトル成分の処理が、その複雑性を限定するように、うまく機能する。
【００７５】
本発明は、フレーム損失の場合の会話デコーダとして、実装され得る。実質的には、本発明は、復号回路において、典型的には電話端末において、実装され得る。その目的のためには、そのような回路CIRは、図9に示されているように、プロセッサPROCを含み得る、または、プロセッサPROCに接続され得るのであって、本発明に従い上述の方法を実行するためのコンピュータプログラム命令を用いてプログラムされた作業メモリMEMを含み得る。
【００７６】
たとえば、本発明は、リアルタイムの、変換によるデコーダとして、実装され得る。図8を参照すると、デコーダは、フレームバッファにおいてオーディオフレームを取得するために、リクエストを送出する(ステップS81)。フレームが入手可能(テストからの出力がOK)である場合には、変換された領域における信号を取得するために、デコーダがフレームを復号し(S82)、逆変換IMDCT(S83)を実行し、これは「エイリアシングされた」時間サンプルを取得するように機能するのであるが、エイリアシングのない時間サンプルを得るために、(合成ウィンドウによる)最終ウィンドウイングおよび回復ステップS84に進み、そして、返却のためのデジタルアナログコンバータに送られる。
【００７７】
フレームがない(テストからの出力がKO)ときには、次に、デコーダは、本発明の意味でのフレーム損失訂正方法において、既に復号された信号と、さらには先行するフレームからの「エイリアシングされた」部分も用いる(ステップS85)。
【符号の説明】
【００７８】
ZRA  回復時間
ZRB  短期回復ゾーン
【図１Ａ】
0006426626.tif 000010
【図１Ｂ】
0006426626.tif 000011
【図２】
0006426626.tif 000012
【図３】
0006426626.tif 000013
【図４】
0006426626.tif 000014
【図５】
0006426626.tif 000015
【図６】
0006426626.tif 000016
【図７】
0006426626.tif 000017
【図８】
0006426626.tif 000018
【図９】
0006426626.tif 000019