(57)【要約】【解決手段】一実施形態では、本発明は、少なくとも１つの入力および少なくとも１つの出力を有するボコーダと、ボコーダの入力に動作可能に接続される少なくとも１つの入力、および少なくとも１つの出力を有するフィルタを含む符号器と、符号器の少なくとも１つの出力に動作可能に接続されている少なくとも１つの入力、およびボコーダの少なくとも１つの出力に動作可能に接続されている少なくとも１つの出力を有するシンセサイザを含む復号器であって、メモリを含み、音声フレームを位相整合し、タイムワープすることを含む、メモリに格納されている命令を実行するように構成されている復号器とを含む。【選択図】      図５A
2008533530.tif 000002
【特許請求の範囲】
【請求項１】
音声内のアーティファクトを最低限に抑える方法であって、フレームを位相整合すること
を含む方法。
【請求項２】
請求項１に記載の音声内のアーティファクトを最低限に抑える方法であって、位相整合する前記ステップが前記フレームのサンプルの数を変更することを含む方法。
【請求項３】
請求項１に記載の音声内のアーティファクトを最低限に抑える方法であって、位相整合する前記ステップが、
現在のフレームにおいて、位相がその後に、前のフレームが終了したときの前記位相にほぼ同じになるサンプルの数を求めることと、
適応符号帳および固定符号帳が一致するように、前記固定符号帳指数を、前記サンプルの数分シフトすることと
を含む方法。
【請求項４】
請求項１に記載の音声内のアーティファクトを最低限に抑える方法であって、前記フレームをタイムワープすること
をさらに含む方法。
【請求項５】
請求項１に記載の音声内のアーティファクトを最低限に抑える方法であって、位相整合する前記ステップが、
復号器の位相から符号器の位相を減算し、それによって第１の差が生成され、前記復号器の位相が前記符号器の位相以上である場合、前記第１の差にピッチ遅延を掛けることと、
符号器の位相から復号器の位相を減算し、それによって第２の差が生成され、前記復号器の位相が前記符号器の位相未満である場合、前記第２の差にピッチ遅延を掛けることと
を含む方法。
【請求項６】
請求項２に記載の音声内のアーティファクトを最低限に抑える方法であって、前記フレームの前記サンプルの数を変更する前記ステップが、前記フレームの先頭からのオフセットで消去の次のフレームを復号することを含み、前記フレームの最初のサンプルが、前記消去の前のフレームの末尾のものと同じ位相オフセットを有する方法。
【請求項７】
請求項２に記載の音声内のアーティファクトを最低限に抑える方法であって、前記フレームの前記サンプルの数を変更する前記ステップが、
現在のフレームの末尾の位相が前の消去で再構築されたフレームの末尾の前記位相と整合する現在のフレームのサンプルを破棄すること
を含む方法。
【請求項８】
請求項２に記載の音声内のアーティファクトを最低限に抑える方法であって、前記フレームをタイムワープするステップをさらに含む方法。
【請求項９】
請求項３に記載の音声内のアーティファクトを最低限に抑える方法であって、前記フレームをタイムワープすることをさらに含む方法。
【請求項１０】
請求項５に記載の音声内のアーティファクトを最低限に抑える方法であって、前記フレームをタイムワープすることをさらに含む方法。
【請求項１１】
請求項６に記載の音声内のアーティファクトを最低限に抑える方法であって、前記フレームをタイムワープすることをさらに含む方法。
【請求項１２】
請求項７に記載の音声内のアーティファクトを最低限に抑える方法であって、前記フレームをタイムワープすることをさらに含む方法。
【請求項１３】
請求項９に記載の音声内のアーティファクトを最低限に抑える方法であって、タイムワープする前記ステップが、
ピッチ周期を推定することと、
前記残差信号を受信した後、前記ピッチ周期のうちの少なくとも１つを追加することと
を含む方法。
【請求項１４】
請求項９に記載の音声内のアーティファクトを最低限に抑える方法であって、タイムワープする前記ステップが、
ピッチ遅延を推定することと、
音声フレームをピッチ周期に分割することであって、前記ピッチ周期の境界が前記音声フレームにおける様々なポイントでの前記ピッチ遅延を使用して決定されることと、
前記残差音声信号が増加する場合、前記ピッチ周期を追加することと
を含む方法。
【請求項１５】
請求項１０に記載の音声内のアーティファクトを最低限に抑える方法であって、タイムワープする前記ステップが、
ピッチ周期を推定することと、
前記残差信号を受信した後、前記ピッチ周期のうちの少なくとも１つを追加することと
を含む方法。
【請求項１６】
請求項１０に記載の音声内のアーティファクトを最低限に抑える方法であって、タイムワープする前記ステップが、
ピッチ遅延を推定することと、
音声フレームをピッチ周期に分割することであって、前記ピッチ周期の境界が前記音声フレームにおける様々なポイントでの前記ピッチ遅延を使用して決定されることと、
前記残差音声信号が増加する場合、前記ピッチ周期を追加することと
を含む方法。
【請求項１７】
請求項１０に記載の音声内のアーティファクトを最低限に抑える方法であって、タイムワープする前記ステップが、
少なくとも１つのピッチ周期を推定するステップと、
前記少なくとも１つのピッチ周期を内挿するステップと、
前記残差音声信号を伸張するとき、前記少なくとも１つのピッチ周期を追加するステップと
を含む方法。
【請求項１８】
請求項１２に記載の音声内のアーティファクトを最低限に抑える方法であって、タイムワープする前記ステップが、
少なくとも１つのピッチ周期を推定するステップと、
前記少なくとも１つのピッチ周期を内挿するステップと、
前記残差音声信号を伸張するとき、前記少なくとも１つのピッチ周期を追加するステップと
を含む方法。
【請求項１９】
請求項１４に記載の音声内のアーティファクトを最低限に抑える方法であって、ピッチ遅延を推定する前記ステップが最後のフレームの末尾のピッチ遅延と現在のフレームの末尾との間に内挿することを含む方法。
【請求項２０】
請求項１４に記載の音声内のアーティファクトを最低限に抑える方法であって、前記ピッチ周期を追加する前記ステップが音声セグメントをマージすることを含む方法。
【請求項２１】
請求項１４に記載の音声内のアーティファクトを最低限に抑える方法であって、前記残差音声信号が増加する場合、前記ピッチ周期を追加する前記ステップが、第１のピッチセグメントおよび第２のピッチ周期セグメントから生成された追加のピッチ周期を追加することを含む方法。
【請求項２２】
請求項２１に記載の音声内のアーティファクトを最低限に抑える方法であって、第１のピッチセグメントおよび第２のピッチ周期セグメントから生成された追加のピッチ周期を追加する前記ステップが、前記第１のピッチ周期セグメントの寄与が増加し、前記第２ピッチ周期セグメントの寄与が低減するように、前記第１および第２のピッチセグメントを追加することを含む方法。
【請求項２３】
少なくとも１つの入力および少なくとも１つの出力を有するボコーダであって、
前記ボコーダの前記入力に動作可能に接続されている少なくとも１つの入力、および少なくとも１つの出力を有するフィルタを含む符号器と、
前記符号器の前記少なくとも１つの出力に動作可能に接続されている少なくとも１つの入力、および前記ボコーダの前記少なくとも１つの出力に動作可能に接続されている少なくとも１つの出力を有するシンセサイザを含む復号器であって、メモリをさらに含み、フレームを位相整合することを含む前記メモリ内に格納されている命令を実行するように構成されている復号器と
を含むボコーダ。
【請求項２４】
請求項２３に記載のボコーダであって、前記位相整合命令が前記フレームのサンプルの数を変更することを含むボコーダ。
【請求項２５】
請求項２３に記載のボコーダであって、前記位相整合命令が、
現在のフレームにおいて、位相がその後に、前のフレームが終了したときの前記位相にほぼ同じになるサンプルの数を求めることと、
適応符号帳および固定符号帳が一致するように、前記固定符号帳指数を、前記サンプルの数分シフトすることと
を含むボコーダ。
【請求項２６】
請求項２３に記載のボコーダであって、タイムワープ命令をさらに含むボコーダ。
【請求項２７】
請求項２３に記載のボコーダであって、前記位相整合命令が、
復号器の位相から符号器の位相を減算し、それによって第１の差が生成され、前記復号器の位相が前記符号器の位相以上である場合、前記第１の差にピッチ遅延を掛けることと、
符号器の位相から復号器の位相を減算し、それによって第２の差が生成され、前記復号器の位相が前記符号器の位相未満である場合、前記第２の差にピッチ遅延を掛けることと
を含むボコーダ。
【請求項２８】
請求項２４に記載のボコーダであって、前記フレームの前記サンプルの数を変更する前記命令が、前記フレームの先頭からのオフセットで消去の次のフレームを復号することを含み、前記フレームの最初のサンプルが、前記消去の前のフレームの末尾のものと同じ位相オフセットを有するボコーダ。
【請求項２９】
請求項２４に記載のボコーダであって、前記フレームの前記サンプルの数を変更する前記命令が、
現在のフレームの末尾の位相が前の消去で再構築されたフレームの末尾の前記位相と整合する現在のフレームのサンプルを破棄すること
を含むボコーダ。
【請求項３０】
請求項２４に記載のボコーダであって、タイムワープ命令をさらに含むボコーダ。
【請求項３１】
請求項２５に記載のボコーダであって、タイムワープ命令をさらに含むボコーダ。
【請求項３２】
請求項２７に記載のボコーダであって、タイムワープ命令をさらに含むボコーダ。
【請求項３３】
請求項２８に記載のボコーダであって、タイムワープ命令をさらに含むボコーダ。
【請求項３４】
請求項２９に記載のボコーダであって、タイムワープ命令をさらに含むボコーダ。
【請求項３５】
請求項３１に記載のボコーダであって、前記タイムワープ命令が、
ピッチ周期を推定することと、
前記残差信号を受信した後、前記ピッチ周期のうちの少なくとも１つを追加することと
を含むボコーダ。
【請求項３６】
請求項３１に記載のボコーダであって、前記タイムワープ命令が、
ピッチ遅延を推定することと、
音声フレームをピッチ周期に分割することであって、前記ピッチ周期の境界が前記音声フレームにおける様々なポイントでの前記ピッチ遅延を使用して決定されることと、
前記残差音声信号が増加する場合、前記ピッチ周期を追加することと
を含むボコーダ。
【請求項３７】
請求項３２に記載のボコーダであって、前記タイムワープ命令が、
ピッチ周期を推定することと、
前記残差信号を受信した後、前記ピッチ周期のうちの少なくとも１つを追加することと
を含むボコーダ。
【請求項３８】
請求項３２に記載のボコーダであって、前記タイムワープ命令が、
ピッチ遅延を推定することと、
音声フレームをピッチ周期に分割することであって、前記ピッチ周期の境界が前記音声フレームにおける様々なポイントでの前記ピッチ遅延を使用して決定されることと、
前記残差音声信号が増加する場合、前記ピッチ周期を追加することと
を含むボコーダ。
【請求項３９】
請求項３２に記載のボコーダであって、前記タイムワープ命令が、
少なくとも１つのピッチ周期を推定することと、
前記少なくとも１つのピッチ周期を内挿することと、
前記残差音声信号を伸張するとき、前記少なくとも１つのピッチ周期を追加することと
を含むボコーダ。
【請求項４０】
請求項３４に記載のボコーダであって、前記タイムワープ命令が、
少なくとも１つのピッチ周期を推定することと、
前記少なくとも１つのピッチ周期を内挿することと、
前記残差音声信号を伸張するとき、前記少なくとも１つのピッチ周期を追加することと
を含むボコーダ。
【請求項４１】
請求項３６に記載のボコーダあって、ピッチ遅延を推定する前記命令が最後のフレームの末尾のピッチ遅延と現在のフレームの末尾との間に内挿することを含むボコーダ。
【請求項４２】
請求項３６に記載のボコーダであって、前記ピッチ周期を追加する前記命令が、音声セグメントをマージすることを含むボコーダ。
【請求項４３】
請求項３６に記載のボコーダであって、前記残差音声信号が増加する場合、前記ピッチ周期を追加する前記命令が、第１のピッチセグメントおよび第２のピッチ周期セグメントから生成された追加のピッチ周期を追加することを含むボコーダ。
【請求項４４】
請求項４３に記載のボコーダであって、第１のピッチセグメントおよび第２のピッチ周期セグメントから生成された追加のピッチ周期を追加する前記命令が、前記第１のピッチ周期セグメントの寄与が増加し、前記第２ピッチ周期セグメントの寄与が低減するように、前記第１および第２のピッチセグメントを追加することを含むボコーダ。
【請求項４５】
音声内のアーティファクトを最低限に抑える手段であって、フレームを位相整合する手段
を含む手段。
【請求項４６】
請求項４５に記載の音声内のアーティファクトを最低限に抑える手段であって、位相整合する前記手段が前記フレームのサンプルの数を変更する手段を含む手段。
【請求項４７】
請求項４５に記載の音声内のアーティファクトを最低限に抑える手段であって、位相整合する前記手段が、
現在のフレームにおいて、位相がその後に、前のフレームが終了したときの前記位相にほぼ同じになるサンプルの数を求める手段と、
適応符号帳および固定符号帳が一致するように、前記固定符号帳指数を、前記サンプルの数分シフトする手段と
を含む手段。
【請求項４８】
請求項４５に記載の音声内のアーティファクトを最低限に抑える手段であって、前記フレームをタイムワープする手段
をさらに含む手段。
【請求項４９】
請求項４５に記載の音声内のアーティファクトを最低限に抑える手段であって、位相整合する前記手段が、
復号器の位相から符号器の位相を減算し、それによって第１の差が生成され、前記復号器の位相が前記符号器の位相以上である場合、前記第１の差にピッチ遅延を掛ける手段と、
符号器の位相から復号器の位相を減算し、それによって第２の差が生成され、前記復号器の位相が前記符号器の位相未満である場合、前記第２の差にピッチ遅延を掛ける手段と
を含む手段。
【請求項５０】
請求項４６に記載の音声内のアーティファクトを最低限に抑える手段であって、前記フレームの前記サンプルの数を変更する前記手段が、前記フレームの先頭からのオフセットで消去の次のフレームを復号する手段を含み、前記フレームの最初のサンプルが、前記消去の前のフレームの末尾のものと同じ位相オフセットを有する手段。
【請求項５１】
請求項４６に記載の音声内のアーティファクトを最低限に抑える手段であって、前記フレームの前記サンプルの数を変更する前記手段が、
現在のフレームの末尾の位相が前の消去で再構築されたフレームの末尾の前記位相と整合する現在のフレームのサンプルを破棄する手段
を含む手段。
【請求項５２】
請求項４６に記載の音声内のアーティファクトを最低限に抑える手段であって、前記フレームをタイムワープする手段をさらに含む手段。
【請求項５３】
請求項４７に記載の音声内のアーティファクトを最低限に抑える手段であって、前記フレームをタイムワープする手段をさらに含む手段。
【請求項５４】
請求項４９に記載の音声内のアーティファクトを最低限に抑える手段であって、前記フレームをタイムワープする手段をさらに含む手段。
【請求項５５】
請求項５０に記載の音声内のアーティファクトを最低限に抑える手段であって、前記フレームをタイムワープする手段をさらに含む手段。
【請求項５６】
請求項５１に記載の音声内のアーティファクトを最低限に抑える手段であって、前記フレームをタイムワープする手段をさらに含む手段。
【請求項５７】
請求項５３に記載の音声内のアーティファクトを最低限に抑える手段であって、タイムワープする前記手段が、
ピッチ周期を推定する手段と、
前記残差信号を受信した後、前記ピッチ周期のうちの少なくとも１つを追加する手段と
を含む手段。
【請求項５８】
請求項５３に記載の音声内のアーティファクトを最低限に抑える手段であって、タイムワープする前記手段が、
ピッチ遅延を推定する手段と、
音声フレームをピッチ周期に分割する手段であって、前記ピッチ周期の境界が前記音声フレームにおける様々なポイントでの前記ピッチ遅延を使用して決定される手段と、
前記残差音声信号が増加する場合、前記ピッチ周期を追加する手段と
を含む手段。
【請求項５９】
請求項５４に記載の音声内のアーティファクトを最低限に抑える手段であって、タイムワープする前記手段が、
ピッチ周期を推定する手段と、
前記残差信号を受信した後、前記ピッチ周期のうちの少なくとも１つを追加する手段と
を含む手段。
【請求項６０】
請求項５４に記載の音声内のアーティファクトを最低限に抑える手段であって、タイムワープする前記手段が、
ピッチ遅延を推定する手段と、
音声フレームをピッチ周期に分割する手段であって、前記ピッチ周期の境界が前記音声フレームにおける様々なポイントでの前記ピッチ遅延を使用して決定される手段と、
前記残差音声信号が増加する場合、前記ピッチ周期を追加する手段と
を含む手段。
【請求項６１】
請求項５４に記載の音声内のアーティファクトを最低限に抑える手段であって、タイムワープする前記手段が、
少なくとも１つのピッチ周期を推定する手段と、
前記少なくとも１つのピッチ周期を内挿する手段と、
前記残差音声信号を伸張するとき、前記少なくとも１つのピッチ周期を追加する手段と
を含む手段。
【請求項６２】
請求項５６に記載の音声内のアーティファクトを最低限に抑える手段であって、タイムワープする前記手段が、
少なくとも１つのピッチ周期を推定する手段と、
前記少なくとも１つのピッチ周期を内挿する手段と、
前記残差音声信号を伸張するとき、前記少なくとも１つのピッチ周期を追加する手段と
を含む手段。
【請求項６３】
請求項５８に記載の音声内のアーティファクトを最低限に抑える手段であって、ピッチ遅延を推定する前記手段が最後のフレームの末尾のピッチ遅延と現在のフレームの末尾との間に内挿する手段を含む手段。
【請求項６４】
請求項５８に記載の音声内のアーティファクトを最低限に抑える手段であって、前記ピッチ周期を追加する前記手段が音声セグメントをマージする手段を含む手段。
【請求項６５】
請求項５８に記載の音声内のアーティファクトを最低限に抑える手段であって、前記残差音声信号が増加する場合、前記ピッチ周期を追加する前記手段が、第１のピッチセグメントおよび第２のピッチ周期セグメントから生成された追加のピッチ周期を追加する手段を含む手段。
【請求項６６】
請求項６５に記載の音声内のアーティファクトを最低限に抑える手段であって、第１のピッチセグメントおよび第２のピッチ周期セグメントから生成された追加のピッチ周期を追加する前記手段が、前記第１のピッチ周期セグメントの寄与が増加し、前記第２ピッチ周期セグメントの寄与が低減するように、前記第１および第２のピッチセグメントを追加する手段を含む手段。
【発明の詳細な説明】
【米国特許法第１１９条に基づく優先権主張】
【０００１】
本出願は、これらの出願の全開示が本出願の開示の一部と見なされ、参照により本明細書に組み込まれる、２００５年３月１６日出願の「Ｍｅｔｈｏｄ  ａｎｄ  Ａｐｐａｒａｔｕｓ  ｆｏｒ  Ｐｈａｓｅ  Ｍａｔｃｈｉｎｇ  Ｆｒａｍｅｓ  ｉｎ  Ｖｏｃｏｄｅｒｓ」という名称の米国仮出願第６０／６６２，７３６号、および２００５年３月１１日出願の「Ｔｉｍｅ  Ｗａｒｐｉｎｇ  Ｆｒａｍｅｓ  Ｉｎｓｉｄｅ  ｔｈｅ  Ｖｏｃｏｄｅｒ  ｂｙ  Ｍｏｄｉｆｙｉｎｇ  ｔｈｅ  Ｒｅｓｉｄｕａｌ」という名称の米国仮出願第６０／６６０，８２４号の利益を主張する。
【技術分野】
【０００２】
本発明は、一般に、音声復号器に含まれるアーティファクトを補正する方法に関する。パケット交換システムにおいて、フレームを格納し、その後それらを順に配信するために、デジッタバッファ（de-jitter buffer）が使用される。デジッタバッファのこの方法は、時として、連続するシーケンス番号の２つのフレームの間に消去（erasure）を挿入する場合がある。これによって、２つの連続するフレームの間に消去が挿入される場合があり、また、いくつかのフレームがスキップされる場合もあり、符号器と復号器との間で位相がずれてしまうことがある。その結果、復号器出力信号にアーティファクトが挿入される可能性がある。
【背景技術】
【０００３】
本発明は、１つまたは複数の消去の復号の後、あるフレームが復号されたときの復号された音声内のアーティファクトを防ぐまたは最低限に抑える装置および方法を含む。
【特許文献１】米国仮出願第６０／６６２，７３６号
【特許文献２】米国仮出願第６０／６６０，８２４号
【発明の開示】
【０００４】
上記を考慮して、記載されている本発明の特徴は、一般に、音声を通信する１つまたは複数の改良されたシステム、方法、および／または装置に関する。
【０００５】
一実施形態では、本発明は、フレームを位相整合するステップを含む、音声内のアーティファクトを最低限に抑える方法を含む。
【０００６】
別の実施形態では、フレームを位相整合するステップは、符号器および復号器の位相を整合するために、フレームの音声サンプルの数を変更することを含む。
【０００７】
別の実施形態では、本発明は、位相整合のステップが音声サンプルの数を減らした場合、フレームの音声サンプルの数を増やすために、フレームをタイムワープする（time-warping）ステップを含む。
【０００８】
別の実施形態では、音声は、符号励起線形予測符号化（code-excited linear prediction encoding）を使用して符号化され、タイムワープのステップは、ピッチ遅延を推定することと、音声フレームをいくつかのピッチ周期に分割することであって、ピッチ周期の境界が音声フレームにおける様々なポイントでのピッチ遅延を使用して決定されることと、音声残差信号が伸張される場合、重複加算技術（overlap-add technique）を使用してピッチ周期を追加することとを含む。
【０００９】
別の実施形態では、音声は、プロトタイプピッチ周期符号化（prototype pitch period encoding）を使用して符号化され、タイムワープのステップは、少なくとも１つのピッチ周期を推定することと、少なくとも１つのピッチ周期を内挿することと、残差音声信号を伸張するとき、少なくとも１つのピッチ周期を追加することとを含む。
【００１０】
別の実施形態では、本発明は、少なくとも１つの入力および少なくとも１つの出力を有するボコーダと、ボコーダの入力に動作可能に接続される少なくとも１つの入力、および少なくとも１つの出力を有するフィルタを含む符号器と、前記符号器の少なくとも１つの出力に動作可能に接続されている少なくとも１つの入力、および前記ボコーダの少なくとも１つの出力に動作可能に接続されている少なくとも１つの出力を有するシンセサイザを含む復号器であって、メモリを含み、音声フレームを位相整合し、タイムワープすることを含む、メモリに格納されている命令を実行するように構成されている復号器とを含む。
【００１１】
本発明のこれ以上の応用範囲は、以下の詳細な説明、特許請求の範囲、および図面から明らかになる。しかし、当業者には本発明の意図および範囲内の様々な変更および修正が明らかになるので、詳細な説明および特定の例は、本発明の好ましい実施形態を示す一方で、実例として提供されているにすぎないことを理解されたい。
【００１２】
本発明は、本明細書で以下に示される詳細な説明、添付の特許請求の範囲、および添付の図面から、より完全に理解できるようになる。
【発明を実施するための最良の形態】
【００１３】
（セクション１：アーティファクトの削除）  
「例示的」という単語は、本明細書では、「例、事例、または実例としての役割を果たす」ことを示すために使用される。本明細書で「例示的」と記載された任意の実施形態は、必ずしも他の実施形態より好ましい、または有利であると解釈されるわけではない。
【００１４】
本方法および装置は、符号器と復号器との間で信号位相がずれている可能性があるとき、位相整合を使用して復号済み信号の不連続性を補正する。また、この方法および装置は、位相整合済みの今後のフレームを使用して、消去を隠す。この方法および装置の利点は、特に、音質のかなりの劣化をもたらすことが知られている二重消去の場合、重要であり得る。
【００１５】
（その消去されたバージョンの後でフレームを繰り返すことによりもたらされる音声アーティファクト）  
１つの音声フレーム２０から次の音声フレーム２０への信号の位相連続性を維持することが望ましい。ある音声フレーム２０から別の音声フレームへの信号の連続性を維持するために、音声復号器２０６は、一般に、フレームを順に受信する。図１は、この一例を示している。
【００１６】
パケット交換システムにおいて、音声復号器２０６は、デジッタバッファ２０９を使用して、音声フレームを格納し、その後それらを順に配信する。あるフレームがその再生時までに受信されない場合、デジッタバッファ２０９は、時として、連続するシーケンス番号の２つのフレーム２０の間に、欠落したフレーム２０の代わりに消去２０４を挿入する場合がある。したがって、フレーム２０が期待され、しかし受信されないときに、受信機２０２によって消去２４０が代用される。
【００１７】
図２Ａにこの一例が示されている。図２Ａにおいて、音声復号器２０６に送信された直前のフレーム２０は、フレーム番号４であった。フレーム５は、復号器２０６に送信される次のフレームであったが、デジッタバッファ２０９に存在していなかった。その結果、これによって、フレーム５の代わりに消去２４０が復号器２０６に送信された。したがって、フレーム４の後にフレーム２０がなかったため、消去２４０が再生された。この後、デジッタバッファ２０９によってフレーム番号５が受信され、次のフレーム２０として復号器２０６に送信された。
【００１８】
しかし、消去２４０の末尾の位相は、一般に、フレーム４の末尾の位相とは異なる。したがって、図２ＢのポイントＤとして示されているように、消去２４０の後にフレーム番号５を復号することは、フレーム４の後に比べて位相の不連続性をもたらす可能性がある。本質的に、復号器２０６は、（フレーム４の後に）消去２４０を構成するとき、この実施形態では音声フレームごとに１６０個のＰＣＭサンプルがあると仮定すると、１６０個のパルス符号変調（ＰＣＭ）サンプル分、波形を拡張する。したがって、ピッチが話者の声の基本周波数である場合、各音声フレーム２０は、１６０個のＰＣＭサンプル／ピッチ周期分、位相を変更する。ピッチ周期１００は、ピッチの高い女性の声では約３０個のＰＣＭサンプルから、男性の声では１２０個のＰＣＭサンプルまで幅があり得る。一例では、フレーム４の末尾の位相がｐｈａｓｅ１と表記されており、ピッチ周期１００（あまり変わらないと見なされる。ピッチ周期が変化している場合、式１のピッチ周期を平均ピッチ周期によって置き換えることができる）がＰＰと表記されている場合、消去２４０の末尾のラジアン単位の位相、ｐｈａｓｅ２は、次に等しい。
【００１９】
ｐｈａｓｅ２＝ｐｈａｓｅ１（ラジアン）＋（１６０／ＰＰ）×２π          式１
この場合、音声フレームは、１６０個のＰＣＭサンプルを有する。１６０がピッチ周期１００の倍数である場合、消去２４０の末尾の位相、ｐｈａｓｅ２がｐｈａｓｅ１に等しいことになる。
【００２０】
しかし、１６０がＰＰの倍数でない場合、ｐｈａｓｅ２は、ｐｈａｓｅ１に等しくない。これは、符号器２０４および復号器２０６が位相に関してずれている可能性があることを意味する。
【００２１】
この位相関係を説明する別の方法は、「ｍｏｄ」がモジュロを表す以下の式で示されているモジュロ演算の使用によるものである。モジュロ演算とは、数値がある値、すなわち係数に達した後、折り返して先頭に戻る整数の演算のシステムである。モジュロ演算を使用すると、消去２４０の末尾のラジアン単位の位相、ｐｈａｓｅ２は、次に等しいことになる。
【００２２】
ｐｈａｓｅ２＝（ｐｈａｓｅ１＋（１６０サンプル  ｍｏｄ  ＰＰ）／ＰＰ×２π）  ｍｏｄ  ２π          式２
例えば、ピッチ周期１００、ＰＰ＝５０個のＰＣＭサンプルであり、フレームが１６０個のＰＣＭサンプルを有するとき、ｐｈａｓｅ２＝ｐｈａｓｅ１＋（１６０  ｍｏｄ  ５０）／５０×２π＝ｐｈａｓｅ１＋１０／５０＊２πである（１０は１６０を係数５０で割った後の余りであるため、１６０  ｍｏｄ  ５０＝１０である。すなわち、５０の倍数に達するたびに、数値は余り１０を残して折り返して先頭に戻る）。これは、フレーム４の末尾とフレーム５の先頭との間の位相の差が０．４πラジアンであることを意味する。
【００２３】
図２Ｂに戻ると、フレーム５は、その位相がフレーム４の位相が終わるところで始まると仮定して、すなわちｐｈａｓｅ１の開始位相で符号化されている。しかし、復号器２０６は、図２Ｂに示されているように、ｐｈａｓｅ２の開始位相でフレーム５を復号しない（ここでは、符号器／復号器は、音声信号を圧縮するために使用されるメモリを有しており、符号器／復号器の位相は、符号器／復号器におけるこれらのメモリの位相であることに留意されたい）。これによって、音声信号にカチッという音やポンという音などのアーティファクトがもたらされる可能性がある。このアーティファクトの性質は、使用されているボコーダ７０のタイプによって決まる。例えば、位相の不連続性によって、不連続時にわずかに金属音が挿入される可能性がある。
【００２４】
図２Ｂでは、フレーム５の代わりに一旦消去２４０が構築されると、フレーム２０番を追跡し、フレーム２０が適切な順番で送信されることを確実にするデジッタバッファ２０９はフレーム５を復号器２０６に送信する必要がないことを示すことができる。しかし、こうしたフレーム２０を復号器２０６に送信することの利点は２つある。一般に、復号器２０６での消去２４０の再構築は、完全ではない。音声フレーム２０は、消去２４０によって完全には再構築されていない可能性のある音声のセグメントを含み得る。したがって、フレーム５の再生は、音声セグメント１１０が欠落していないことを保証する。また、こうしたフレーム２０が復号器２０６に送信されない場合、デジッタバッファ２０９に次のフレーム２０が存在しないという可能性がある。これは、別の消去２４０の原因となり、二重消去２４０（すなわち、２つの連続する消去２４０）をもたらす可能性がある。これは、複数の消去２４０が単一消去２４０よりかなりの質の劣化をもたらす可能性があるため、問題である。
【００２５】
上述したように、フレーム２０は、その消去されたバージョンがすでに復号された直後に復号される可能性があり、それによって符号器２０４と復号器２０６との間で位相がずれる場合がある。本方法および装置は、符号器２０４と復号器２０６との間で位相がずれているために音声復号器２０６に挿入された小さいアーティファクトを補正しようと務める。
【００２６】
（位相整合）  
このセクションに記載される位相整合の技術は、復号器メモリ２０７を符号器メモリ２０５と同期させるために使用することができる。代表的な例として、本方法および装置は、符号励起線形予測（ＣＥＬＰ）ボコーダ７０またはプロトタイプピッチ周期（ＰＰＰ）ボコーダ（Prototype Pitch Period (PPP) vocoder）７０のいずれかと共に使用することができる。ＣＥＬＰボコーダまたはＰＰＰボコーダとの関連での位相整合の使用は、一例として提示されるにすぎないことに留意されたい。位相整合は、同様に他のボコーダにも適用することができる。特定のＣＥＬＰまたはＰＰＰのボコーダ７０の実施形態との関連で解決策を提示する前に、本方法および装置の位相整合方法について説明する。図２Ｂに示されているように、消去２４０によってもたらされる不連続性の修正は、消去２４０（すなわち図２Ｂのフレーム５）の後のフレーム２０を、最初ではなく、フレーム２０の先頭からのある一定のオフセットにおいて復号することによって達成することができる。したがって、破棄後の最初のサンプルが直前のフレーム２０（すなわち図２Ｂのフレーム４）消去２４０の末尾のものと同じ位相オフセット１３６を有するように、フレーム２０の最初の２、３のサンプル（またはこれらの一部の情報）が破棄される。この方法は、多少異なる方法でＣＥＬＰまたはＰＰＰの復号器２０６に適用される。これについては、さらに後述する。
【００２７】
（ＣＥＬＰボコーダ）  
ＣＥＬＰ符号化音声フレーム２０は、復号済みＰＣＭサンプルを生成するために結合される異なる２種類の情報、有声（周期的部分）および無声（非周期的部分）を含む。有声部分は、適応符号帳（ＡＣＢ）２１０およびその利得から成る。ピッチ周期１００に結合されるこの部分を使用して、適切なＡＣＢ２１０の利得が適用された状態で直前のフレーム２０のＡＣＢメモリを拡張することができる。無声部分は、様々なポイントで信号１０に適用されるべきインパルスについての情報である固定符号帳（ＦＣＢ）（fixed codebook）２２０から成る。図３は、ＣＥＬＰ復号フレームを生成するために、ＡＣＢ２１０とＦＣＢ２２０とをどのように結合することができるかを示している。図３の点線の左に、ＡＣＢメモリ２１２が描かれている。点線の右に、ＡＣＢメモリ２１２を使用して拡張された信号のＡＣＢ部分が、現在の復号済みフレーム２２のＦＣＢインパルス２２２と共に描かれている。
【００２８】
直前のフレーム２０の最後のサンプルの位相が現在のフレーム２０の最初のサンプルのものと異なる場合（検討中の場合のように）、ＡＣＢ２１０とＦＣＢ２２０とは整合しておらず、すなわち、直前のフレーム２４がフレーム４であり、現在のフレーム２２がフレーム５であるところに位相の不連続性がある。これは、図４Ｂに示されており、ポイントＢで、ＦＣＢインパルス２２２が正しくない位相で挿入されている。ＦＣＢ２２０とＡＣＢ２１０との間の不整合は、ＦＣＢ２２０インパルス２２２が誤った位相で信号１０に適用されることを意味する。これによって、信号１０が復号されるとき、金属音のような音、すなわちアーティファクトがもたらされる。図４Ａは、ＦＣＢ２２０とＡＣＢ２１０とが整合している場合、すなわち、直前のフレーム２４の最後のサンプルの位相が現在のフレーム２０の最初のサンプルのものと同じである場合を示すことに留意されたい。
【００２９】
（解決策）  
この問題を解決するために、本位相整合方法は、ＦＣＢ２２０を、信号１０の適切な位相に整合させる。この方法のステップは、
現在のフレーム２２において、位相がその後に、直前のフレーム２４が終了したときのものにほぼ同じになるサンプルの数、ΔＮを求めることと、
ＡＣＢ２１０とＦＣＢ２２０とがこれで整合するように、ＦＣＢ指数をΔＮ個のサンプル分シフトすることと
を含む。
【００３０】
上記２つのステップの結果が図４ＣのポイントＣに示されており、ここでＦＣＢインパルス２２２がシフトされ、正しい位相で挿入される。
【００３１】
上記の方法では、最初の２、３のＦＣＢ２２０指数が破棄されたため、生成されるフレーム２０のサンプルは、１６０個未満となり得る。次いで、より多くのサンプルを生成するために、これらのサンプルをタイムワープする（すなわち、参照により本明細書に組み込まれ、セクション２−タイムワープに添付された、２００５年３月１１出願の仮特許出願「Ｔｉｍｅ  Ｗａｒｐｉｎｇ  Ｆｒａｍｅｓ  ｉｎｓｉｄｅ  ｔｈｅ  Ｖｏｃｏｄｅｒ  ｂｙ  Ｍｏｄｉｆｙｉｎｇ  ｔｈｅ  Ｒｅｓｉｄｕａｌ」に開示された方法を使用して、復号器外または復号器２０６内で伸張する）ことができる。
【００３２】
（プロトタイプピッチ周期（ＰＰＰ）ボコーダ）  
ＰＰＰ符号化フレーム２０は、直前の２４と現在のフレーム２２との間に内挿することによって直前のフレーム２０の信号を１６０個のサンプル分拡張するための情報を含む。ＣＥＬＰとＰＰＰとの間の主な差は、ＰＰＰは、周期的情報のみを符号化することである。
【００３３】
図５Ａは、１６０個を超えるサンプルを生成するために、ＰＰＰが直前のフレーム２４の信号をどのように拡張するかを示す。図５Ａでは、現在のフレーム２２は、位相ｐｈ１で終了する。図５Ｂに示されているように、直前のフレーム２４の後に消去２４０が続き、次いで現在のフレーム２２が続く。（図５Ｂに示されている場合のように）現在のフレーム２２の開始位相が正しくない場合、現在のフレーム２２は、図５Ａに示されているものとは異なる位相で終了する。図５Ｂでは、消去２４０の後でフレーム２０が再生されるため、現在のフレーム２２は、位相ｐｈ２≠ｐｈ１で終了する。次いで、これによって、図５Ａの現在のフレーム２２の終了位相が位相１、ｐｈ１に等しいと仮定すると、次のフレーム２０は符号化されているため、現在のフレーム２２の次のフレーム２０との不連続性がもたらされる。
【００３４】
（解決策）  
この問題は、現在のフレーム２２の末尾の位相が直前の消去で再構築されたフレーム２４０の末尾の位相と整合するように、現在のフレーム２２からＮ＝１６０−ｘ個のサンプルを生成することによって補正することができる（フレーム長＝１６０個のＰＣＭサンプルであると仮定する）。図５Ｃにこれが示されており、現在のフレーム２２が位相ｐｈ２＝ｐｈ１で終了するように、現在のフレーム２２からより少ない数のサンプルが生成される。実質的に、ｘ個のサンプルは、現在のフレーム２２の末尾から削除される。
【００３５】
サンプル数が１６０未満であることを防ぐことが望ましい場合、フレーム内に１６０個のＰＣＭサンプルがあると仮定した場合、現在のフレーム２２からＮ＝１６０−ｘ＋ＰＰ個のサンプルを生成することができる。合成プロセスは単に直前の信号１０を延長または内挿するだけであるため、ＰＰＰ復号器２０６から可変数のサンプルを生成することは簡単である。
【００３６】
（位相整合およびワープを使用した消去の隠蔽）  
ＥＶ−ＤＯなどのデータネットワークでは、音声フレーム２０は、時として、ドロップ（物理層）するか、かなり遅れる可能性があり、これによって、デジッタバッファ２０９が復号器２０６に消去２４０を挿入する可能性がある。ボコーダ７０は一般に消去隠蔽方法を使用するにもかかわらず、特に高い消去率の下での音質の劣化はかなり顕著となり得る。複数の連続する消去が生じるとき、ボコーダ７０の消去２４０隠蔽方法は、一般に、音声信号１０を「フェード」する傾向があるため、大幅な音質の劣化は、特に、複数の連続する消去２４０が生じるときに観察され得る。
【００３７】
デジッタバッファ２０９は、ＥＶ−ＤＯなどのデータネットワークで、音声フレーム２０の到着時からのジッタを取り除き、流線形の入力を復号器２０６に提供するために使用される。デジッタバッファ２０９は、いくつかのフレーム２０をバッファリングし、次いでジッタがないように、それらを復号器２０６に提供することによって働く。このことは、復号器２０６での消去２４０隠蔽方法を強化する可能性を提供する。というのは、時として（復号される「現在の」フレーム２２と比べて）一部の「今後の」フレーム２６がデジッタバッファ２０９に存在する場合があるからである。したがって、フレーム２０を消去する必要がある場合（物理層でドロップした、または非常に遅く到着した場合）、復号器２０６は、今後のフレーム２６を使用して、より良く消去２４０を隠すことができる。
【００３８】
今後のフレーム２６からの情報を使用して、消去２４０を隠すことができる。一実施形態では、この方法および装置は、今後のフレーム２６をタイムワープ（伸張）して、消去されたフレーム２０によって生成された「穴」を埋めることと、今後のフレーム２６を位相整合して、連続した信号１０を保証することとを含む。音声フレーム４が復号された図６に示された状況を考察する。デジッタバッファ２０９には、現在の音声フレーム５はないが、次の音声フレーム６は存在する。復号器２０６は、消去２４０を再生する代わりに、音声フレーム６をワープしてフレーム５を隠すことができる。すなわち、フレーム５の空間を埋めるために、フレーム６は、復号され、タイプワープされる。このことは、図６の参照番号２８として示されている。
【００３９】
これは、以下の２つのステップを伴う。
【００４０】
１）位相の整合：音声フレーム２０が終わると、音声信号１０は特定の位相になる。図７に示されるように、フレーム４の末尾の位相はｐｈ１である。音声フレーム６は、基本的に音声フレーム５の末尾の位相であり、一般にｐｈ１≠ｐｈ２である、ｐｈ２の開始位相で符号化されている。したがって、フレーム６の復号は、開始位相がｐｈ１に等しくなるように、あるオフセットで開始する必要がある。
【００４１】
フレーム６の開始位相、ｐｈ２をフレーム４の終了位相、ｐｈ１と整合させるために、破棄の後の最初のサンプルがフレーム４の末尾のものと同じ位相オフセット１３６を有するように、フレーム６の最初の２、３のサンプルが破棄される。この位相整合を行うための方法については上述した。位相整合がＣＥＬＰおよびＰＰＰのボコーダ７０にどのように使用されるかについての例も説明した。
【００４２】
２）フレームのタイムワープ（伸張）：一旦フレーム６がフレーム４と位相整合されると、フレーム５の「穴」を埋めるためのサンプルを生成するために（すなわち約３２０個のＰＣＭサンプルを生成するために）、フレーム６がワープされる。フレーム２０をタイムワープするために、後述するようなＣＥＬＰおよびＰＰＰのボコーダ７０のタイムワープ方法を使用することができる。
【００４３】
位相整合の一実施形態では、デジッタバッファ２０９は、２つの変数、位相オフセット１３６およびランレングス１３８を追跡する。位相オフセット１３６は、復号器２０６が復号したフレーム数と、消去として復号されなかった最後のフレームから始めて、符号器２０４が符号化したフレーム数との間の差に等しい。ランレングス１３８は、現在のフレーム２２の復号の直前に復号器２０６が復号した連続する消去２４０の数と定義される。これら２つの変数は、入力として復号器２０６に渡される。
【００４４】
図８は、復号器２０６が、パケット４の復号の後、消去２４０を再生する一実施形態を示している。復号器２０６は、消去２４０の後、パケット５を復号する用意ができている。符号器２０４および復号器２０６の位相は、パケット４の末尾のＰｈａｓｅ＿Ｓｔａｒｔに等しい位相と同期していたと仮定する。また、本書の残りを通じて、ボコーダは、（消去されたフレームについても）フレーム当たり１６０個のサンプルを生成すると仮定する。
【００４５】
図８に、符号器２０４および復号器２０６の状態が示されている。パケット５の先頭の符号器２０４の位相＝Ｅｎｃ＿Ｐｈａｓｅ＝Ｐｈａｓｅ＿Ｓｔａｒｔである。パケット５の先頭の復号器２０６の位相＝Ｄｅｃ＿Ｐｈａｓｅ＝Ｐｈａｓｅ＿Ｓｔａｒｔ＋（１６０  ｍｏｄ  Ｄｅｌａｙ（４）／Ｄｅｌａｙ（４）であり、式中、フレーム当たり１６０個のサンプルがあり、Ｄｅｌａｙ（４）は、フレーム４の（ＰＣＭサンプルにおける）ピッチ遅延であり、消去２４０がフレーム４のピッチ遅延に等しいピッチ遅延を有していると仮定する。位相オフセット（１３６）＝１であり、ランレングス（１３８）＝１である。
【００４６】
図９に示されている別の実施形態では、復号器２０６は、フレーム４の復号の後、消去２４０を再生する。復号器２０６は、消去２４０の後、フレーム６を復号する用意ができている。符号器２０４および復号器２０６の位相は、フレーム４の末尾のＰｈａｓｅ＿Ｓｔａｒｔに等しい位相と同期していたと仮定する。図９に、符号器２０４および復号器２０６の状態が示されている。図９に示されている一実施形態では、パケット６の先頭の符号器２０４の位相＝Ｅｎｃ＿Ｐｈａｓｅ＝Ｐｈａｓｅ＿Ｓｔａｒｔ＋（１６０  ｍｏｄ  Ｄｅｌａｙ（５）／Ｄｅｌａｙ（５）である。
【００４７】
パケット６の先頭の復号器の位相＝Ｄｅｃ＿Ｐｈａｓｅ＝Ｐｈａｓｅ＿Ｓｔａｒｔ＋（１６０  ｍｏｄ  Ｄｅｌａｙ（４）／Ｄｅｌａｙ（４）であり、式中、フレーム当たり１６０個のサンプルがあり、Ｄｅｌａｙ（４）は、フレーム４の（ＰＣＭサンプルにおける）ピッチ遅延であり、消去２４０がフレーム４のピッチ遅延に等しいピッチ遅延を有していると仮定する。この場合、位相オフセット（１３６）＝０であり、ランレングス（１３８）＝１である。
【００４８】
図１０に示されている別の実施形態では、復号器２０６は、フレーム４の復号の後、２つの消去２４０を復号する。復号器２０６は、消去２４０の後、フレーム５を復号する用意ができている。符号器２０４および復号器２０６の位相は、フレーム４の末尾のＰｈａｓｅ＿Ｓｔａｒｔに等しい位相と同期していたと仮定する。
【００４９】
図１０に、符号器２０４および復号器２０６の状態が示されている。この場合、フレーム６の先頭の符号器２０４の位相＝Ｅｎｃ＿Ｐｈａｓｅ＝Ｐｈａｓｅ＿Ｓｔａｒｔである。フレーム６の先頭の復号器２０６の位相＝Ｄｅｃ＿Ｐｈａｓｅ＝Ｐｈａｓｅ＿Ｓｔａｒｔ＋（（１６０  ｍｏｄ  Ｄｅｌａｙ（４））＊２）／Ｄｅｌａｙ（４）であり、式中、各消去２４０がフレーム番号４と同じ遅延を有していると仮定する。この場合、位相オフセット（１３６）＝２であり、ランレングス（１３８）＝２である。
【００５０】
図１１に示されている別の実施形態では、復号器２０６は、フレーム４の復号の後、２つの消去２４０を復号する。復号器２０６は、消去２４０の後、フレーム６を復号する用意ができている。符号器２０４および復号器２０６の位相は、フレーム４の末尾のＰｈａｓｅ＿Ｓｔａｒｔに等しい位相と同期していたと仮定する。図１１に、符号器２０４および復号器２０６の状態が示されている。
【００５１】
この場合、フレーム６の先頭の符号器２０４の位相＝Ｅｎｃ＿Ｐｈａｓｅ＝Ｐｈａｓｅ＿Ｓｔａｒｔ＋（１６０  ｍｏｄ  Ｄｅｌａｙ（５））／Ｄｅｌａｙ（５）である。
【００５２】
フレーム６の先頭の復号器２０６の位相＝Ｄｅｃ＿Ｐｈａｓｅ＝Ｐｈａｓｅ＿Ｓｔａｒｔ＋（（１６０  ｍｏｄ  Ｄｅｌａｙ（４））＊２）／Ｄｅｌａｙ（４）であり、式中、各消去２４０がフレーム番号４と同じ遅延を有していると仮定する。したがって、フレーム４の欠落およびフレーム５の欠落による２つの消去２４０によってもたらされる合計遅延は、Ｄｅｌａｙ（４）の２倍に等しい。この場合、位相オフセット（１３６）＝１であり、ランレングス（１３８）＝２である。
【００５３】
図１２に示されている別の実施形態では、復号器２０６は、フレーム４の復号の後、２つの消去２４０を復号する。復号器２０６は、消去２４０の後、フレーム７を復号する用意ができている。符号器２０４および復号器２０６の位相は、フレーム４の末尾のＰｈａｓｅ＿Ｓｔａｒｔに等しい位相と同期していたと仮定する。図１２に、符号器２０４および復号器２０６の状態が示されている。
【００５４】
この場合、フレーム６の先頭の符号器２０４の位相＝Ｅｎｃ＿Ｐｈａｓｅ＝Ｐｈａｓｅ＿Ｓｔａｒｔ＋（（１６０  ｍｏｄ  Ｄｅｌａｙ（５））／Ｄｅｌａｙ（５）＋（１６０  ｍｏｄ  Ｄｅｌａｙ（６）／Ｄｅｌａｙ（６））である。
【００５５】
フレーム６の先頭の復号器２０４の位相＝Ｄｅｃ＿Ｐｈａｓｅ＝Ｐｈａｓｅ＿Ｓｔａｒｔ＋（（１６０  ｍｏｄ  Ｄｅｌａｙ（４））＊２）／Ｄｅｌａｙ（４）である。この場合、位相オフセット（１３６）＝０であり、ランレングス（１３８）＝２である。
【００５６】
（二重消去の隠蔽）  
二重消去２４０は、単一消去２４０に比べてより重大な音質の劣化がもたらされることが知られている。二重の消去２４０によってもたらされる位相の不連続性を補正するために、上述した同じ方法を使用することができる。音声フレーム４が復号され、フレーム５が消去されている図１３について考察する。図１３では、フレーム６の消去２４０を埋めるために、フレーム７のワープが使用されている。すなわち、図１３の参照番号２９として示されているフレーム６の空間を埋めるために、フレーム７は、復号され、タイムワープされる。
【００５７】
このとき、デジッタバッファ２０９にフレーム６はなく、フレーム７が存在する。したがって、ここでフレーム７を、消去されたフレーム５の末尾と位相整合させ、次いでフレーム６の穴を埋めるために伸張することができる。これによって、事実上、二重消去２４０が単一消去２４０に変換される。二重消去２４０を単一消去２４０に変換することによって、かなりの音質の利益を得ることができる。
【００５８】
上記の例では、フレーム４および７のピッチ周期１００は、フレーム２０自体によって運ばれ、フレーム６のピッチ周期１００もフレーム７によって運ばれる。フレーム５のピッチ周期１００は未知である。しかし、フレーム４、６、および７のピッチ周期１００がほぼ同じである場合、フレーム５のピッチ周期１００も他のピッチ周期１００とほぼ同じであるという可能性が高い。
【００５９】
二重消去がどのように単一消去に変換されるかを示す図１４に示されている別の実施形態では、復号器２０６は、フレーム４を復号した後１つの消去２４０を再生する。復号器２０６は、消去２４０の後、フレーム７を復号する用意ができている（フレーム５に加えて、フレーム６も欠落していることに留意されたい）。したがって、欠落したフレーム５および６についての二重消去２４０が単一消去２４０に変換される。符号器２０４および復号器２０６の位相は、フレーム４の末尾のＰｈａｓｅ＿Ｓｔａｒｔに等しい位相と同期していたと仮定する。図１４に、符号器２０４および復号器２０６の状態が示されている。この場合、パケット７の先頭の符号器２０４の位相＝Ｅｎｃ＿Ｐｈａｓｅ＝Ｐｈａｓｅ＿Ｓｔａｒｔ＋（（１６０  ｍｏｄ  Ｄｅｌａｙ（５））／Ｄｅｌａｙ（５）＋（１６０  ｍｏｄ  Ｄｅｌａｙ（６）／Ｄｅｌａｙ（６））である。
【００６０】
パケット７の先頭の復号器２０６の位相＝Ｄｅｃ＿Ｐｈａｓｅ＝Ｐｈａｓｅ＿Ｓｔａｒｔ＋（１６０  ｍｏｄ  Ｄｅｌａｙ（４））／Ｄｅｌａｙ（４）であり、消去がフレーム４のピッチ遅延に等しいピッチ遅延を有し、長さ＝１６０ＰＣＭサンプルと仮定する。
【００６１】
この場合、位相オフセット（１３６）＝−１であり、ランレングス（１３８）＝１である。２つのフレーム、フレーム５およびフレーム６を取り替えるために１つの消去２４０が使用されるため、位相オフセット１３６は、−１に等しい。
【００６２】
行われる必要がある位相整合の量は、以下の通りである。
【００６３】
Ｉｆ（Ｄｅｃ＿Ｐｈａｓｅ＞＝Ｅｎｃ＿Ｐｈａｓｅ）
Ｐｈａｓｅ＿Ｍａｔｃｈｉｎｇ＝（Ｄｅｃ＿Ｐｈａｓｅ−Ｅｎｃ＿Ｐｈａｓｅ）＊Ｄｅｌａｙ＿Ｅｎｄ（ｐｒｅｖｉｏｕｓ＿ｆｒａｍｅ）
Ｅｌｓｅ
Ｐｈａｓｅ＿Ｍａｔｃｈｉｎｇ＝Ｄｅｌａｙ＿Ｅｎｄ（ｐｒｅｖｉｏｕｓ＿ｆｒａｍｅ）−（（Ｅｎｃ＿Ｐｈａｓｅ−Ｄｅｃ＿Ｐｈａｓｅ）＊Ｄｅｌａｙ＿Ｅｎｄ（ｐｒｅｖｉｏｕｓ＿ｆｒａｍｅ））
開示されているすべての実施形態において、位相整合およびタイムワープの命令は、復号器２０６にある復号器メモリ２０７に配置されているソフトウェア２１６またはファームウェアに格納されてもよく、または復号器２０６の外部に格納されていてもよい。メモリ２０７は、ＲＯＭメモリとすることができるが、ＲＡＭ、ＣＤ、ＤＶＤ、磁気コアなど、いくつかの異なるタイプのメモリのうちのいずれかが使用されてもよい。
【００６４】
（セクション２−タイムワープ）  
（ボコーダにおけるタイムワープの使用の特徴）  
人間の声は、２つの成分から成る。１つの成分は、ピッチセンシティブ（pitch-sensitive）な基本波を含み、もう一方の成分は、ピッチセンシティブではない、固定された高調波である。感知された音のピッチは、周波数に対する耳の反応である。すなわち、最も実用的な目的では、ピッチは周波数である。高調波成分は、際だった特徴を人間の声に追加する。これらは、声帯、および声道の物理的形状によって変化し、フォルマントと呼ばれる。
【００６５】
人間の声は、ディジタル信号ｓ（ｎ）１０によって表すことができる。ｓ（ｎ）１０は異なる声音および沈黙の期間を含む一般の会話中に得られるディジタル音声信号であると仮定する。音声信号ｓ（ｎ）１０は、好ましくは、いくつかのフレーム２０に分割される。一実施形態では、ｓ（ｎ）１０は、８ｋＨｚでディジタル標本化される。
【００６６】
現在の符号化方式は、音声に固有の自然な冗長（すなわち相関要素）のすべてを取り除くことによってディジタル化された音声信号１０を低ビットレート信号に圧縮する。音声は、一般に、唇および舌の機械的な動きから生じる短期の冗長、および声帯の振動から生じる長期の冗長を示す。線形予測符号化（ＬＰＣ）は、残差音声信号３０を生成する冗長を取り除くことによって、音声信号１０をフィルタ処理する。次いで、結果として得られた残差信号３０を白色ガウス雑音としてモデリングする。音声波形の標本値は、それぞれ線形予測係数５０を掛けた過去のいくつかのサンプル４０の合計を重み付けすることによって予測することができる。したがって、線形予測コーダは、フィルタ係数５０、および全帯域幅の音声信号１０ではなく量子化雑音を伝送することによって、低減されたビットレートを達成する。残差信号３０は、残差信号３０の現在のフレーム２０からプロトタイプ周期１００を抽出することによって符号化される。
【００６７】
図１５にＬＰＣボコーダ７０のブロック図を見ることができる。ＬＰＣの機能は、有限期間にわたる元の音声信号と推定された音声信号との間の差の２乗和を最低限に抑えることである。これは、通常フレーム２０ごとに推定される予測係数５０の一意の組を生成し得る。フレーム２０は、一般に、長さ２０ｍｓである。時変ディジタルフィルタ７５の伝達関数は、以下によって得られる。  
【数１】
2008533530.tif 000003
【００６８】
式中、予測係数５０は、ａｋおよびＧによる利得によって表される。
【００６９】
合計は、ｋ＝１からｋ＝ｐまで計算される。ＬＰＣ−１０法が使用される場合、ｐ＝１０である。これは、最初の１０個の係数５０のみがＬＰＣシンセサイザ８０に伝送されることを意味する。係数を計算するために最も一般的に使用される２つの方法は、それだけには限定されないが、共分散法および自己相関法である。
【００７０】
異なる話者が異なる速度で話すことはよくある。時間圧縮は、個々の話者の速度のばらつきの影響を低減する１つの方法である。２つの音声パターンの間のタイミング差は、もう一方との最大の一致が得られるように、一方の時間軸をワープすることによって低減され得る。この時間圧縮技術は、タイムワープとして知られている。さらに、タイムワープは、ピッチを変更することなく音声信号を圧縮または伸張する。
【００７１】
一般のボコーダは、１６０個のサンプル９０を８ｋＨｚの好ましいレートで含む２０ミリ秒の継続時間のフレーム２０を生成する。タイムワープされた圧縮バージョンのこのフレーム２０は、２０ミリ秒未満の継続時間を有し、タイムワープされた伸張バージョンは、２０ミリ秒を超える継続時間を有する。音声データのタイムワープは、音声パケットの伝送に遅延ジッタを挿入するパケット交換式ネットワークを介して音声データを送信するとき、かなりの利点を有する。こうしたネットワークでは、タイムワープを使用して、こうした遅延ジッタの影響を緩和し、「同期」に見える音声ストリームを生成することができる。
【００７２】
本発明の実施形態は、音声残差３０を操作することによってボコーダ７０内でフレーム２０をタイムワープする装置および方法に関する。一実施形態では、本方法および装置は、４ＧＶに使用される。開示された実施形態は、プロトタイプピッチ周期（ＰＰＰ）、符号励起線形予測（ＣＥＬＰ）または雑音励起線形予測（ＮＥＬＰ）（Noise-Excited Linear Prediction）の符号化を使用して符号化された異なるタイプの４ＧＶ音声セグメント１１０を伸張／圧縮する方法および装置またはシステムを含む。
【００７３】
「ボコーダ」７０という用語は、一般に、人間の音声の生成のモデルに基づいてパラメータを抽出することによって有声音声を圧縮する装置を指す。ボコーダ７０は、符号器２０４および復号器２０６を含む。符号器２０４は、入ってくる音声を分析し、関連のパラメータを抽出する。一実施形態では、符号器は、フィルタ７５を含む。復号器２０６は、符号器２０４から伝送チャネル２０８を介して受信するパラメータを使用して音声を合成する。一実施形態では、復号器は、シンセサイザ８０を含む。音声信号１０は、しばしば、ボコーダ７０によって処理されるデータおよびブロックのフレーム２０に分割される。
【００７４】
当業者は、人間の音声を異なる多くの方法で分類できることを理解されよう。音声の従来の３つの分類は、有声音声、無声音声、および過渡音声（transient speech）である。図１６ａは、有声音声信号ｓ（ｎ）４０２である。図１６Ａは、ピッチ周期１００として知られる有声音声の測定可能な共通の特性を示している。
【００７５】
図１６Ｂは、無声音声信号ｓ（ｎ）４０４である。無声音声信号４０４は、有色雑音に似ている。
【００７６】
図１６Ｃは、過度音声信号ｓ（ｎ）４０６（すなわち、有声でも無声でもない音声）を示す。図１６Ｃに示されている過渡音声４０６の例は、無声音声と有声音声との間を移行するｓ（ｎ）を表し得る。これら３つの分類は、すべてを含んでいるとは限らない。類似の結果を得るために本明細書に記載した方法に従って使用され得る異なる多くの音声の分類がある。
【００７７】
（４ＧＶボコーダは異なる４つのフレームタイプを使用）  
本発明の一実施形態で使用される第４世代ボコーダ（４ＧＶ）７０は、無線ネットワークを介して使用するための魅力的な特徴を備える。これらの特徴の一部は、品質対ビットレートをトレードオフする機能、パケット誤り率（ＰＥＲ）の増加を前にしてより弾力性のあるボコーディング、消去のより良い隠蔽などを含む。４ＧＶボコーダ７０は、異なる４つの符号器２０４および復号器２０６のいずれかを使用することができる。異なる符号器２０４および復号器２０６は、異なる符号化方式に従って動作する。一部の符号器２０４は、いくつかの特性を示す音声信号ｓ（ｎ）１０の部分を符号化するのにより効果的である。したがって、一実施形態では、符号器２０４および復号器２０６のモードは、現在のフレーム２０の分類に基づいて選択されてもよい。
【００７８】
４ＧＶ符号器２０４は、音声データの各フレーム２０を異なる４つのフレーム２０のタイプ、プロトタイプピッチ周期波形内挿（ＰＰＰＷＩ）（Prototype Pitch Period Waveform Interpolation）、符号励起線形予測（ＣＥＬＰ）、雑音励起線形予測（ＮＥＬＰ）、またはサイレンス１／８レートフレーム（silence 1/8th rate frame）のうちの１つに符号化する。ＣＥＬＰは、周期性に劣る音声や、ある周期的セグメント１１０から別の周期的セグメントに変えることを伴う音声を符号化するために使用される。したがって、ＣＥＬＰモードは、一般に、過渡音声として分類されたフレームを符号化するために選択される。こうしたセグメント１１０は、たった１つのプロトタイプピッチ周期からは正確には再構築できないため、ＣＥＬＰは、完全な音声セグメント１１０の特徴を符号化する。ＣＥＬＰモードは、線形予測残差信号３０の量子化バージョンで線形予測声道モデルを励起する。本明細書に記載した符号器２０４および復号器２０６のすべてのうち、ＣＥＬＰは、一般に、より正確な音声の再生を生成するが、より高いビットレートが必要となる。
【００７９】
プロトタイプピッチ周期（ＰＰＰ）モードは、有声音声として分類されたフレーム２０を符号化するために選択することができる。有声音声は、ＰＰＰモードによって活用される、経時変化の遅い周期的成分を含む。ＰＰＰモードは、各フレーム２０内のピッチ周期１００のサブセットを符号化する。音声信号１０の残存期間１００は、これらのプロトタイプ期間１００の間に内挿することによって再構築される。有声音声の周期性を活用することによって、ＰＰＰは、ＣＥＬＰより低いビットレートを達成することができ、依然として知覚的に正確な方法で音声信号１０を再生することができる。
【００８０】
ＰＰＰＷＩは、本質的に周期的な音声データを符号化するために使用される。こうした音声は、「プロトタイプ」ピッチ周期（ＰＰＰ）に類似の異なるピッチ周期１００によって特徴付けられる。このＰＰＰは、符号器２０４が符号化する必要がある唯一の音声情報である。復号器は、このＰＰＰを使用して、音声セグメント１１０内の他のピッチ周期１００を再構築することができる。
【００８１】
「雑音励起線形予測」（ＮＥＬＰ）符号器２０４は、無声音声と分類されたフレーム２０を符号化するために選択される。音声信号１０がほとんどピッチ構造ではない、またはまったくピッチ構造ではない場合、ＮＥＬＰ符号化は、信号の再生の点で、有効に動作する。より詳細には、ＮＥＬＰは、無声音声または背景雑音など、雑音のような性質の音声を符号化するために使用される。ＮＥＬＰは、フィルタ処理された疑似ランダム雑音信号を使用して、無声音声をモデリングする。こうした音声セグメント１１０の雑音のような性質は、復号器２０６でランダム信号を生成し、適切な利得をそれらに適用することによって再構築することができる。ＮＥＬＰは、符号化された音声に最も簡単なモデルを使用し、したがって、より低いビットレートを達成する。
【００８２】
１／８レートフレームは、例えば、ユーザが話をしていない期間など、沈黙を符号化するために使用される。
【００８３】
上述した４つのボコーディング方式のすべては、図１７に示されている最初のＬＰＣフィルタリング手順を共有する。音声を４つのカテゴリのうちの１つに特徴付けた後、音声信号１０は、線形予測を使用して音声内の短期的な相関をフィルタ処理で取り除く線形予測符号化（ＬＰＣ）フィルタ８０を通して送信される。このブロックの出力は、ＬＰＣ係数５０、および基本的に元の音声信号１０から短期的な相関を取り除いたものである「残差」信号３０である。次いで残差信号３０は、フレーム２０のために選択されたボコーディング方法によって使用された特定の方法を使用して符号化される。
【００８４】
図１８は、元の音声信号１０、およびＬＰＣブロック８０の後の残差信号３０の一例を示す。残差信号３０が元の音声１０より明瞭にピッチ周期１００を示していることがわかる。したがって、残差信号３０を使用して、元の音声信号１０（短期的な相関も含む）より正確に音声信号のピッチ周期１００を決定することができるのは、理にかなっている。
【００８５】
（残差のタイムワープ）  
上述したように、音声信号１０の伸張または圧縮にタイムワープを使用することができる。いくつかの方法を使用してこれを達成することができるが、これらのほとんどは、信号１０からピッチ周期１００を追加または削除することに基づく。ピッチ周期１００の追加または削除は、残差信号３０を受信した後、しかし信号３０が合成される前に、復号器２０６で行うことができる。ＣＥＬＰまたはＰＰＰ（ＮＥＬＰではない）のいずれかを使用して符号化された音声データの場合、信号は、いくつかのピッチ周期１００を含む。したがって、音声信号１０に追加したり、そこから削除したりできる最も小さい単位は、ピッチ周期１００である。というのは、これより小さい任意の単位は、位相の不連続性をもたらし、結果的に、顕著な音声アーティファクトの挿入をもたらすからである。したがって、ＣＥＬＰまたはＰＰＰ音声に適用されるタイムワープ方法での１ステップは、ピッチ周期１００の推定である。このピッチ周期１００は、ＣＥＬＰ／ＰＰＰ音声フレーム２０用の復号器２０６には既知である。ＰＰＰおよびＣＥＬＰのいずれの場合でも、ピッチ情報は、自動相関方法を使用して符号器２０４によって計算され、復号器２０６に伝送される。したがって、復号器２０６は、ピッチ周期１００の正確な知識を有している。これによって、復号器２０６に本発明のタイムワープ方法を適用するのがより簡単になる。
【００８６】
さらに、上述したように、信号１０を合成する前に信号１０をタイムワープするのはより簡単である。信号１０を復号した後にこうしたタイムワープ方法が適用される場合、信号１０のピッチ周期１００が推定される必要がある。これは、追加の計算を必要とするだけではなく、残差信号３０はＬＰＣ情報１７０も含んでいるため、ピッチ周期１００の推定は、あまり正確ではない可能性がある。
【００８７】
一方、追加のピッチ周期１００の推定がそれほど複雑ではない場合、復号後にタイムワープを行うことは、復号器２０６の変更を必要とせず、したがって、すべてのボコーダ８０について一度だけ実施すればよい。
【００８８】
ＬＰＣ符号化合成を使用して信号を合成する前に復号器２０６でタイムワープを行う別の理由は、圧縮／伸張を残差信号３０に適用することができることである。これによって、線形予測符号化（ＬＰＣ）合成を、タイムワープされた残差信号３０に適用することができる。ＬＰＣ係数５０は、音声がどのように鳴るかに影響を及ぼし、ワープ後の合成の適用は、正しいＬＰＣ情報１７０が信号１０で維持されることを確実にする。
【００８９】
一方、タイムワープが残差信号３０の復号後に行われた場合、ＬＰＣ合成は、タイムワープの前にすでに行われている。したがって、特に復号後のピッチ周期１００予測があまり正確ではない場合、ワープ手順が信号１０のＬＰＣ情報１７０を変更する可能性がある。
【００９０】
符号器２０４（４ＧＶのものなど）は、フレーム２０が有声音声、無声音声、過渡音声のいずれを表すかに応じて、音声フレーム２０をＰＰＰ（周期的）、ＣＥＬＰ（わずかに周期的）、またはＮＥＬＰ（雑音がある）として分類することができる。音声フレーム２０のタイプについての情報を使用して、復号器２０６は、異なる方法を使用して異なるフレーム２０のタイプをタイムワープすることができる。例えば、ＮＥＬＰ音声フレーム２０は、ピッチ周期の概念がなく、「ランダムな」情報を使用して、復号器２０６でその残差信号３０が生成される。したがって、ＣＥＬＰ／ＰＰＰのピッチ周期１００の推定は、ＮＥＬＰには適用されず、一般に、ＮＥＬＰフレーム２０は、ピッチ周期１００未満だけワープ（伸張／圧縮）され得る。復号器２０６で残差信号３０を復号した後、タイムワープが行われる場合、こうした情報は、使用できない。一般に、復号後のＮＥＬＰ状のフレーム２０のタイムワープは、音声アーティファクトをもたらす。一方、復号器２０６でのＮＥＬＰフレーム２０のワープは、かなり良い品質を生成する。
【００９１】
したがって、復号器の後（すなわち、残差信号３０が合成された後）と比べて復号器２０６でタイムワープを行う（すなわち残差信号３０の合成前）ことの利点が２つある。すなわち、（ｉ）計算のオーバーヘッドの低減（例えば、ピッチ周期１００の探索が避けられる）、および（ｉｉ）ａ）フレーム２０のタイプの知識  ｂ）ワープされた信号に対するＬＰＣ合成の実行、ｃ）ピッチ周期のより正確な推定／知識によるワープ品質の向上である。
【００９２】
（残差のタイムワープ方法）  
以下は、本方法および装置がＰＰＰ、ＣＥＬＰ、およびＮＥＬＰの復号器内で音声残差３０をタイムワープする実施形態について説明する。各復号器２０６で以下の２つのステップが実行される。（ｉ）残差信号３０を伸張または圧縮バージョンにタイムワープし、（ｉｉ）タイムワープされた残差３０をＬＰＣフィルタ８０を通して送信する。さらに、ステップ（ｉ）は、ＰＰＰ、ＣＥＬＰ、およびＮＥＬＰの音声セグメント１１０について異なるように実行される。実施形態について、以下で説明する。
【００９３】
（音声セグメント１１０がＰＰＰのときの残差信号のタイムワープ）  
上述したように、音声セグメント１１０がＰＰＰであるとき、信号に追加できるまたは信号から削除できる最小単位は、ピッチ周期１００である。信号１０をプロトタイプピッチ周期１００から復号できる（かつ残差３０を再構築できる）前に、復号器２０６は、直前のプロトタイプピッチ周期１００（格納されている）からプロトタイプピッチ周期１００までの信号１０を現在のフレーム２０に内挿し、このプロセスで欠落したピッチ周期１００を追加する。図１９にこのプロセスが示されている。こうした内挿によって、内挿されたピッチ周期１００をより少なくまたはより多く生成することによって、それ自体がかなり容易にタイムワープされる。これによって、次いでＬＰＣ合成を介して送信される、圧縮されたまたは伸張された残差信号３０がもたらされる。
【００９４】
（音声セグメント１１０がＣＥＬＰのときの残差信号のタイムワープ）  
上述したように、音声セグメント１１０がＰＰＰであるとき、信号に追加できるまたは信号から削除できる最小単位は、ピッチ周期１００である。一方、ＣＥＬＰの場合、ワープは、ＰＰＰの場合ほど簡単ではない。残差３０をワープするために、復号器２０６は、符号化済みのフレーム２０に含まれるピッチ遅延１８０の情報を使用する。このピッチ遅延１８０は、実際には、フレーム２０の末尾のピッチ遅延１８０である。ここでは、周期的なフレーム２０でさえ、ピッチ遅延１８０がわずかに変化している場合があるということに留意されたい。最後のフレーム２０の末尾のピッチ遅延１８０と現在のフレーム２０の末尾のものとの間に内挿することによって、フレーム内の任意のポイントでのピッチ遅延１８０を推定することができる。図２０にこのことが示されている。一旦フレーム２０内のすべてのポイントでのピッチ遅延１８０がわかると、フレーム２０をいくつかのピッチ周期１００に分割することができる。ピッチ周期１００の境界は、フレーム２０における様々なポイントでのピッチ遅延１８０を使用して決定される。
【００９５】
図２０Ａは、フレーム２０をそのピッチ周期１００にどのように分割するかの一例を示している。例えば、サンプル番号７０は、約７０に等しいピッチ遅延１８０を有しており、サンプル番号１４２は、約７２のピッチ遅延１８０を有している。したがって、ピッチ周期１００は、サンプル番号［１〜７０］から、およびサンプル番号［７１〜１４２］からである。図２０Ｂを参照されたい。
【００９６】
一旦フレーム２０がいくつかのピッチ周期１００に分割されると、残差３０のサイズを増やす／減らすために、これらのピッチ周期１００を重複加算することができる。図２１Ｂから図２１Ｆまでを参照されたい。重複加算合成では、入力信号１０からセグメント１１０を取り除き、時間軸に沿ってそれらの位置を変え、合成された信号１５０を構築するために、重み付けされた重複加算を実行することによって、変更された信号が得られる。一実施形態では、セグメント１１０は、ピッチ周期１００と等しくすることができる。重複加算方法は、音声のセグメント１１０を「マージ」することによって、異なる２つの音声セグメント１１０を１つの音声セグメント１１０と置き換える。音声のマージは、できるだけ音声の品質を保持する方法で行われる。音声の品質を保持し、音声へのアーティファクトの挿入を最低限に抑えることは、マージするセグメント１１０を慎重に選択することによって達成される（アーティファクトは、カチッという音やポンという音など不要な要素である）。音声セグメント１１０の選択は、セグメントの「類似性」に基づく。音声セグメント１１０の「類似性」が高まるほど、結果として得られる音声の品質が高くなり、音声残差３０のサイズを減らす／増やすために音声の２つのセグメント１１０が重ね合わされると、音声アーティファクトの挿入の可能性が低くなる。ピッチ周期が重複加算されるべきであるかどうかを決定する有用なルールは、２つのピッチ遅延が似ているかどうか（一例として、異なるピッチ遅延が約１．８ミリ秒に対応する１５個分のサンプルを下回るかどうか）である。
【００９７】
図２１Ｃは、残差３０を圧縮するために、どのように重複加算が使用されるかを示す。重複／加算方法の第１のステップは、上述したように、入力サンプルシーケンスｓ［ｎ］１０をそのピッチ周期にセグメント化することである。図２１Ａに、４つのピッチ周期１００（ＰＰ）を含む元の音声信号１０が示されている。次のステップは、図７に示されているように、信号１０のピッチ周期１００を取り除くことと、これらのピッチ周期１００をマージされたピッチ周期１００と置き換えることとを含む。図２１Ｃの例では、ピッチ周期ＰＰ２およびＰＰ３が取り除かれ、次いで、ＰＰ２およびＰＰ３が重複加算される１つのピッチ周期１００と置き換えられる。より詳細には、図２１Ｃで、第２のピッチ周期１００（ＰＰ２）の寄与が低減し続け、ＰＰ３のものが増えるように、ピッチ周期１００  ＰＰ２およびＰＰ３が重複加算される。加算重複方法は、異なる２つの音声セグメント１１０から１つの音声セグメント１１０を生成する。一実施形態では、加算重複は、重み付けされたサンプルを使用して行われる。これは、図２２に示された式ａ）およびｂ）に示されている。重み付けは、セグメント１（１１０）の第１のパルス符号化変調（ＰＣＭ）サンプルと、セグメント２（１１０）の最後のＰＣＭサンプルとの間のスムーズな移行を提供するために使用される。
【００９８】
図２１Ｄは、ＰＰ２およびＰＰ３が重複加算された別の図である。クロスフェードは、単に１つのセグメント１１０を取り除き、残りの隣接するセグメント１１０を隣接させること（図２１Ｅに示すように）に比べると、この方法で時間圧縮された信号１０の知覚される品質を向上させる。
【００９９】
ピッチ周期１００が変化する場合、重複加算方法は、長さが等しくない２つのピッチ周期１１０をマージすることができる。この場合、より良いマージは、２つのピッチ周期１００を重複加算する前に、それらのピークを調整することによって達成することができる。次いで、伸張／圧縮された残差は、ＬＰＣ合成を介して送信される。
【０１００】
（音声の伸張）  
音声を伸張する簡単な手法は、同じＰＣＭサンプルを複数繰り返すことである。しかし、同じＰＣＭサンプルを複数回繰り返すことは、人間によって容易に検出されるアーティファクトであるピッチの平坦性（例えば、音声が多少「ロボットのよう」に聞こえ得る）を含むエリアを生成する可能性がある。音声の品質を保持するために、加算重複方法を使用することができる。
【０１０１】
図２１Ｂは、本発明の重複加算方法を使用して、この音声信号１０をどのように伸張できるかを示している。図２１Ｂでは、ピッチ周期１００  ＰＰ１およびＰＰ２から生成された追加のピッチ周期１００が追加されている。追加のピッチ周期１００では、第２のピッチ（ＰＰ２）期間１００の寄与が低減し続け、ＰＰ１のものが増加するように、ピッチ周期１００  ＰＰ２およびＰＰ１が重複加算される。図２１Ｆは、ＰＰ２およびＰＰ３が重複加算された別の図である。
【０１０２】
（音声セグメントがＮＥＬＰのときの残差信号のタイムワープ）  
ＮＥＬＰ音声セグメントの場合、符号器は、ＬＰＣ情報および音声セグメント１１０の異なる部分の利得を符号化する。本質的に音声が雑音によく似ているため、他の任意の情報を符号化する必要はない。一実施形態では、利得は、１６個のＰＣＭサンプルの組で符号化される。したがって、例えば、サンプルが１６０個のフレームは、１６個の音声のサンプルごとに１個の、１０個の符号化された利得値によって表される。復号器２０６は、ランダムな値を生成し、それぞれの利得をそれらに適用することによって、残差信号３０を生成する。この場合、ピッチ周期１００の概念がなく、したがって、伸張／圧縮は、ピッチ周期１００の粒度のものである必要はない。
【０１０３】
ＮＥＬＰセグメントを伸張または圧縮するために、セグメント１１０が伸張されているか圧縮されているかに応じて、復号器２０６は、１６０より大きいまたは小さい数のセグメント（１１０）を生成する。次いで、１０個の復号された利得は、伸張または圧縮された残差３０を生成するためにサンプルに適用される。これらの１０個の復号された利得は、元の１６０個のサンプルに対応するため、伸張／圧縮されたサンプルに直接には適用されない。様々な方法を使用してこれらの利得を適用することができる。これらの方法の一部については後述する。
【０１０４】
生成されるべきサンプルの数が１６０未満である場合、１０個すべての利得を適用する必要はない。例えば、サンプルの数が１４４である場合、最初の９個の利得を適用することができる。この場合、最初の利得は、最初の１６個のサンプル、サンプル１〜１６に適用され、第２の利得は、次の１６個のサンプル、サンプル１７〜３２に適用される。同様に、サンプルが１６０を超える場合、１０番目の利得を複数回適用することができる。例えば、サンプルの数が１９２である場合、１０番目の利得を、サンプル１４５〜１６０、１６１〜１７６、および１７７〜１９２に適用することができる。
【０１０５】
あるいは、サンプルを、それぞれ等しい数のサンプルを有する等しい数の１０組に分割することができ、１０個の利得を１０組に適用することができる。例えば、サンプルの数が１４０である場合、１０個の利得をそれぞれ１４個のサンプルの組に適用することができる。この場合、最初の利得は、最初の１４個のサンプル、サンプル１〜１４に適用され、第２の利得は、次の１４個のサンプル、サンプル１５〜２８に適用される。
【０１０６】
サンプルの数が１０でちょうど割り切れない場合、１０番目の利得を、１０で割った後得られた残りのサンプルに適用することができる。例えば、サンプルの数が１４５である場合、１０個の利得をそれぞれ１４個のサンプルの組に適用することができる。さらに、１０番目の利得は、サンプル１４１〜１４５に適用される。
【０１０７】
タイムワープの後、上記の符号化方法のいずれかを使用したとき、伸張／圧縮された残差３０は、ＬＰＣ合成を介して送信される。
【０１０８】
本方法および出願は、位相整合手段２１３およびタイムワープ手段２１４を開示する図２３に示されている手段および機能のブロックを使用して示すこともできる。
【０１０９】
情報および信号を異なる様々な技術および手法のいずれかを使用して表すことができることは、当業者であれば理解されよう。例えば、上記の説明を通じて参照され得るデータ、命令、コマンド、情報、信号、ビット、記号、およびチップは、電圧、電流、電磁波、磁界および磁性粒子、光場および光粒子、またはそれらの任意の組合せによって表すことができる。
【０１１０】
本明細書に開示された実施形態との関連で記載された様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、またはその組合せとして実装され得ることを、当業者であればさらに理解されよう。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップが、一般的にその機能に関して上述されている。こうした機能がハードウェアとして実装されるか、ソフトウェアとして実装されるかは、システム全体に課される特定の用途および設計の制約によって決まる。当業者は、記載した機能を特定の用途ごとに様々な方法で実装することができるが、こうした実装の決定は、本発明の範囲から逸脱するものと解釈されないものとする。
【０１１１】
本明細書に開示された実施形態との関連で記述した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他のプログラマブル論理装置、個別のゲートまたはトランジスタ論理、個別のハードウェア構成要素、または本明細書に記載した機能を実行するように設計されたその任意の組合せで実施または実行できる。汎用プロセッサは、マイクロプロセッサとすることができるが、代替では、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械とすることができる。また、プロセッサは、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと組み合わせた１つまたは複数のマイクロプロセッサ、および他の任意のこうした構成など、コンピューティング装置の組合せとして実装することもできる。
【０１１２】
本明細書に開示された実施形態との関連で記載された方法およびアルゴリズムのステップは、ハードウェアで直接、プロセッサによって実行されるソフトウェアモジュールで、またはその両方の組合せで具体化され得る。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、取り外し式ディスク、ＣＤ−ＲＯＭ、または当分野で知られている他の任意の形式の記憶媒体に存在し得る。例示的な記憶媒体は、プロセッサがその記憶媒体から情報を読み取り、情報をそこに書き込むことができるように、プロセッサに結合される。代替では、記憶媒体は、プロセッサに内蔵されていてもよい。プロセッサおよび記憶媒体は、ＡＳＩＣに存在してもよい。ＡＳＩＣは、ユーザ端末に存在してもよい。代替では、プロセッサおよび記憶媒体は、個別の構成要素として、ユーザ端末に存在してもよい。
【０１１３】
開示された実施形態の上記の説明は、当業者が本発明を作成し、または使用できるように提供されている。これらの実施形態の様々な変更は、当業者には容易に明らかであり、本明細書に定義されている一般原則は、本発明の意図または範囲から逸脱することなく、他の実施形態に適用できる。したがって、本発明は、本明細書に示された実施形態に限定されるものではなく、本明細書に開示された原則および新しい特徴と一致する最も広い範囲が許容されるものとする。
【図面の簡単な説明】
【０１１４】
【図１】信号の連続性を示す３つの連続する音声フレームを示すグラフである。
【図２Ａ】その消去の後にフレームが繰り返されることを示す図である。
【図２Ｂ】その消去の後のフレームの繰り返しによって引き起こされるポイントＤとして示される位相の不連続性を示す図である。
【図３】ＡＣＢおよびＦＣＢの情報を結合してＣＥＬＰ復号フレームを生成することを示す図である。
【図４Ａ】正しい位相で挿入されるＦＣＢインパルスを示す図である。
【図４Ｂ】消去の後にフレームが繰り返されることによる正しくない位相で挿入されるＦＣＢインパルスを示す図である。
【図４Ｃ】ＦＣＢインパルスをシフトして正しい位相で挿入することを示す図である。
【図５Ａ】１６０個を超えるサンプルを生成するために、ＰＰＰが直前のフレームの信号をどのように拡張するかを示す図である。
【図５Ｂ】消去されたフレームにより現在のフレームの終了位相が正しくないことを示す図である。
【図５Ｃ】現在のフレームが位相ｐｈ２＝ｐｈ１で終了するように、より少ない数のサンプルが現在のフレームから生成される一実施形態を示す図である。
【図６】フレーム６をワープしてフレーム５の消去を埋めることを示す図である。
【図７】フレーム４の末尾とフレーム６の先頭との間の位相差を示す図である。
【図８】復号器がフレーム４を復号した後で消去を再生し、次いでフレーム５を復号する用意ができている一実施形態を示す図である。
【図９】復号器がフレーム４を復号した後で消去を再生し、次いでフレーム６を復号する用意ができている一実施形態を示す図である。
【図１０】復号器がフレーム４を復号した後で２つの消去を復号し、フレーム５を復号する用意ができている一実施形態を示す図である。
【図１１】復号器がフレーム４を復号した後で２つの消去を復号し、フレーム６を復号する用意ができている一実施形態を示す図である。
【図１２】復号器がフレーム４を復号した後で２つの消去を復号し、フレーム７を復号する用意ができている一実施形態を示す図である。
【図１３】フレーム７をワープしてフレーム６の消去を埋めることを示す図である。
【図１４】欠落したパケット５および６の二重消去を単一消去に変換することを示す図である。
【図１５】本方法および装置によって使用される線形予測符号化（ＬＰＣ）ボコーダの一実施形態を示すブロック図である。
【図１６Ａ】有声音声を含む音声信号を示す図である。
【図１６Ｂ】無声音声を含む音声信号を示す図である。
【図１６Ｃ】過渡音声を含む音声信号を示す図である。
【図１７】音声のＬＰＣフィルタリング、続いて残差の符号化を示すブロック図である。
【図１８Ａ】元の音声を示すグラフである。
【図１８Ｂ】ＬＰＣフィルタリングの後の残差音声信号を示すグラフである。
【図１９】前のプロトタイプピッチ周期と現在のプロトタイプピッチ周期との間への内挿を使用した波形の生成を示す図である。
【図２０Ａ】内挿を介したピッチ遅延の決定を示す図である。
【図２０Ｂ】ピッチ周期の識別を示す図である。
【図２１Ａ】元の音声信号をピッチ周期の形で示す図である。
【図２１Ｂ】重複加算を使用して伸張された音声信号を示す図である。
【図２１Ｃ】重複加算を使用して圧縮された音声信号を示す図である。
【図２１Ｄ】残差信号を圧縮するのに重み付けがどのように使用されるかを示す図である。
【図２１Ｅ】重複加算を使用することなく圧縮された音声信号を示す図である。
【図２１Ｆ】残差信号を伸張するのに重み付けがどのように使用されるかを示す図である。
【図２２】加算重複方法で使用される２つの式である。
【図２３】位相整合手段２１３およびタイムワーピング手段２１４を示す論理ブロック図である。
【図１】
2008533530.tif 000004
【図２Ａ】
2008533530.tif 000005
【図２Ｂ】
2008533530.tif 000006
【図３】
2008533530.tif 000007
【図４Ａ】
2008533530.tif 000008
【図４Ｂ】
2008533530.tif 000009
【図４Ｃ】
2008533530.tif 000010
【図５Ａ】
2008533530.tif 000011
【図５Ｂ】
2008533530.tif 000012
【図５Ｃ】
2008533530.tif 000013
【図６】
2008533530.tif 000014
【図７】
2008533530.tif 000015
【図８】
2008533530.tif 000016
【図９】
2008533530.tif 000017
【図１０】
2008533530.tif 000018
【図１１】
2008533530.tif 000019
【図１２】
2008533530.tif 000020
【図１３】
2008533530.tif 000021
【図１４】
2008533530.tif 000022
【図１５】
2008533530.tif 000023
【図１６Ａ】
2008533530.tif 000024
【図１６Ｂ】
2008533530.tif 000025
【図１６Ｃ】
2008533530.tif 000026
【図１７】
2008533530.tif 000027
【図１８Ａ】
2008533530.tif 000028
【図１８Ｂ】
2008533530.tif 000029
【図１９】
2008533530.tif 000030
【図２０Ａ】
2008533530.tif 000031
【図２０Ｂ】
2008533530.tif 000032
【図２１Ａ】
2008533530.tif 000033
【図２１Ｂ】
2008533530.tif 000034
【図２１Ｃ】
2008533530.tif 000035
【図２１Ｄ】
2008533530.tif 000036
【図２１Ｅ】
2008533530.tif 000037
【図２１Ｆ】
2008533530.tif 000038
【図２２】
2008533530.tif 000039
【図２３】
2008533530.tif 000040
【手続補正書】
【提出日】平成20年2月12日(2008.2.12)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
（位相整合）  
このセクションに記載される位相整合の技術は、復号器メモリ２０７を符号器メモリ２０５と同期させるために使用することができる。代表的な例として、本方法および装置は、符号励起線形予測（ＣＥＬＰ）ボコーダ７０またはプロトタイプピッチ周期（ＰＰＰ）ボコーダ（Prototype Pitch Period (PPP) vocoder）７０のいずれかと共に使用することができる。ＣＥＬＰボコーダまたはＰＰＰボコーダとの関連での位相整合の使用は、一例として提示されるにすぎないことに留意されたい。位相整合は、同様に他のボコーダにも適用することができる。特定のＣＥＬＰまたはＰＰＰのボコーダ７０の実施形態との関連で解決策を提示する前に、本方法および装置の位相整合方法について説明する。図２Ｂに示されているように、消去２４０によってもたらされる不連続性の修正は、消去２４０（すなわち図２Ｂのフレーム５）の後のフレーム２０を、最初ではなく、フレーム２０の先頭からのある一定のオフセットにおいて復号することによって達成することができる。したがって、破棄後の最初のサンプルが直前のフレーム２０（すなわち図２Ｂのフレーム４）の末尾のものと同じ位相オフセット１３６を有するように、フレーム２０の最初の２、３のサンプル（またはこれらの一部の情報）が破棄される。この方法は、多少異なる方法でＣＥＬＰまたはＰＰＰの復号器２０６に適用される。これについては、さらに後述する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
フレーム６の先頭の復号器２０６の位相＝Ｄｅｃ＿Ｐｈａｓｅ＝Ｐｈａｓｅ＿Ｓｔａｒｔ＋（（１６０  ｍｏｄ  Ｄｅｌａｙ（４））＊２）／Ｄｅｌａｙ（４）である。この場合、位相オフセット（１３６）＝０であり、ランレングス（１３８）＝２である。
【国際調査報告】
2008533530.tif 000041
2008533530.tif 000042
2008533530.tif 000043