(57)【要約】音声パケット通信システム１００において、音声パケット消失による音声品質の劣化を補償する音声パケット消失隠蔽装置１を提供する。かかる音声パケット消失隠蔽装置１は、音声パケットの消失を検出し消失区間に関する情報を出力する検出部３３ｂと、検出部３３ｂにて検出された消失区間よりも前に受信された消失前音声パケットと消失区間よりも後に受信された消失後音声パケットとのうちの少なくとも一方を用いて消失区間の音声特性を推定する推定部３９と、推定部３９にて推定された音声特性を有するピッチ信号を生成するピッチ信号生成部３３ｅと、ピッチ信号生成部３３ｅにて生成されたピッチ信号に推定部３９にて推定された音声特性を付与したものを消失隠蔽パケットとして出力する消失パケット生成部３３ｆとをそなえて構成することにより、ピッチ周期の不整合による異音および信号パワー減衰によるミュート感が抑制され、音声パケット消失による自然性と連続性との主観的な劣化を改善し、また、音声の立ち上がり部分等における音声パケット消失隠蔽性能を一層向上させることができる。
2004068098.tif 000002
【特許請求の範囲】
【請求項１】
音声パケットの消失区間よりも前に受信された消失前音声パケットと該消失区間よりも後に受信された消失後音声パケットとのうちの少なくとも一方を用いて該消失区間の音声特性を推定する推定部と、
該推定部にて推定された音声特性を有するピッチ信号を生成するピッチ信号生成部と、
該ピッチ信号生成部にて生成されたピッチ信号に該推定部にて推定された音声特性を付与したものを該消失隠蔽パケットとして出力する消失パケット生成部とをそなえて構成されたことを特徴とする、音声パケット消失隠蔽装置。
【請求項２】
該推定部は、
該消失後音声パケットの第１ピッチ変動特性，該消失後音声パケットの第１パワー変動特性と、該消失前音声パケットの第２ピッチ変動特性，該消失前音声パケットの第２パワー変動特性とを用いて、該消失区間の第３ピッチ変動特性と該消失区間の第３パワー変動特性とを該音声特性として推定するように構成されたことを特徴とする、請求の範囲第１項記載の音声パケット消失隠蔽装置。
【請求項３】
受信された音声パケットを蓄積する受信バッファをそなえ、該受信バッファをパケットの伝送遅延揺らぎを吸収する吸収バッファとして用いるように構成されたことを特徴とする、請求の範囲第１項又は第２項記載の音声パケット消失隠蔽装置。
【請求項４】
該受信バッファに蓄積された音声パケットのうちの音声処理に要する所定個数の音声パケットを蓄積する出力バッファをさらにそなえ、
該推定部が、該受信バッファに蓄積された該消失後音声パケットと、該出力バッファに蓄積された該消失前音声パケットとを用いて該音声特性を推定するように構成されたことを特徴とする、請求の範囲第１項〜第３項のいずれか一項記載の音声パケット消失隠蔽装置。
【請求項５】
該受信バッファに蓄積された音声パケット数に基づいて消失前音声パケットおよび消失後音声パケットのうちの一方を示す選択信号を出力する蓄積パケット数監視部をそなえて構成されたことを特徴とする、請求の範囲第３項記載の音声パケット消失隠蔽装置。
【請求項６】
音声パケットを蓄積する受信バッファと、
音声パケットの消失を検出し消失区間に関する情報を出力する検出部と、
該受信バッファに蓄積された音声パケットのうちの音声処理に要する所定個数の音声パケットを蓄積する出力バッファと、
該受信バッファに蓄積された音声パケットのうちの該消失区間よりも後に受信された消失後音声パケットと、該出力バッファに蓄積された所定個数の音声パケットのうちの該消失区間よりも前に受信された消失前音声パケットとに基づいて該消失区間のピッチ変動特性を推定するピッチ変動特性推定部と、
該消失後音声パケットと該消失前音声パケットとに基づいて消失区間のパワー変動特性を推定するパワー変動特性推定部と、
該推定部にて推定された音声特性を有するピッチ信号を生成するピッチ信号生成部と、
該ピッチ信号生成部にて生成されたピッチ信号に、該パワー変動特性推定部にて推定されたパワー変動特性を付与したものを該消失隠蔽パケットとして出力する消失パケット生成部とをそなえて構成されたことを特徴とする、音声パケット消失隠蔽装置。
【請求項７】
該ピッチ変動特性推定部は、
該受信バッファに蓄積された消失後音声パケットを用いて第１ピッチ周期を探索するとともに、該出力バッファに蓄積された消失前音声パケットを用いて第２ピッチ周期を探索するピッチ探索部と、
該ピッチ探索部にて探索された第１ピッチ周期および第２ピッチ周期に基づいて、該消失区間のピッチ変動特性を算出しピッチ変動推定値を出力するピッチ変動特性算出部とをそなえて構成されたことを特徴とする、請求の範囲第６項記載の音声パケット消失隠蔽装置。
【請求項８】
該パワー変動特性推定部は、
該受信バッファに蓄積された消失後音声パケットを用いて第１信号パワーを算出するとともに、該出力バッファに蓄積された消失前音声パケットを用いて第２信号パワーを算出する信号パワー算出部と、
該信号パワー算出部にて算出された第１信号パワーおよび第２信号パワーに基づいて、該消失区間のパワー変動特性を算出するパワー変動特性算出部とをそなえて構成されたことを特徴とする、請求の範囲第６項記載の音声パケット消失隠蔽装置。
【請求項９】
該ピッチ変動特性推定部にて推定されたピッチ変動特性を有するピッチ信号を生成するピッチ信号生成部と、
該ピッチ信号生成部にて生成されたピッチ信号に該パワー変動特性推定部にて推定されたパワー変動特性を付与したものを該消失隠蔽パケットとして出力する消失パケット生成部と、
該検出部から出力される音声パケット消失の有無を示す判定信号に基づいて該消失パケット生成部から出力された該消失隠蔽パケットと該受信バッファからの正常な受信音声パケットとを選択出力する出力パケット切り替え部とをそなえて構成されたことを特徴とする、請求の範囲第６項記載の音声パケット消失隠蔽装置。
【請求項１０】
該ピッチ信号生成部は、
該受信バッファに蓄積された消失後音声パケット又は該出力バッファに蓄積された消失前音声パケットに含まれるピッチ信号を、該ピッチ変動特性推定部にて推定されたピッチ変動推定値に応じて抽出するように構成されたことを特徴とする、請求の範囲第９項記載の音声パケット消失隠蔽装置。
【請求項１１】
該ピッチ信号生成部は、
該消失後音声パケットを用いて得た第１ピッチ信号に該パワー変動特性推定部にて推定されたパワー変動特性に起因する第１重み付け係数を乗じたものと、該消失前音声パケットを用いて得た第２ピッチ信号に該パワー変動特性推定部にて推定されたパワー変動特性に起因する第２重み付け係数を乗じたものとを加算した合成ピッチ信号を、該ピッチ信号として出力するように構成されたことを特徴とする、請求の範囲第１項記載の音声パケット消失隠蔽装置。
【請求項１２】
該ピッチ変動特性推定部は、
該受信バッファに該消失後音声パケットが蓄積されていない場合は、該出力バッファに蓄積された該消失前音声パケットを用いて該ピッチ変動特性を得るように構成されたことを特徴とする、請求の範囲第９項記載の音声パケット消失隠蔽装置。
【請求項１３】
該パワー変動特性推定部は、
該受信バッファに該消失後音声パケットが蓄積されていない場合は、該出力バッファに蓄積された該消失前音声パケットを用いて該パワー変動特性を得るように構成されたことを特徴とする、請求の範囲第９項記載の音声パケット消失隠蔽装置。
【請求項１４】
音声パケットを蓄積する受信バッファと、
該受信バッファに蓄積された音声パケットを用いてパケット消失を検出するパケット消失判定部と、
該受信バッファに蓄積された音声パケットのうちの音声処理に要する所定個数の音声パケットを蓄積する出力パケットバッファと、
該受信バッファに蓄積された音声パケットのうちの該消失区間の後に受信された消失後音声パケットと、該出力バッファに蓄積された所定個数の音声パケットのうちの該消失区間の前に受信された消失前音声パケットとに基づいて該消失音声パケットのピッチ変動特性を推定するピッチ変動特性推定部と、
該消失後音声パケットと該消失前音声パケットとに基づいて該消失音声パケットのパワー変動特性を推定するパワー変動特性推定部と、
該ピッチ変動特性推定部にて推定されたピッチ変動特性を有するピッチ信号を生成するピッチ信号生成部と、
該ピッチ信号生成部にて生成されたピッチ信号に該パワー変動特性推定部にて推定されたパワー変動特性を付与したものを該消失隠蔽パケットとして出力する消失パケット生成部と、
該検出部からの検出信号に基づいて該消失パケット生成部から出力された該消失隠蔽パケットと該受信バッファからの正常な受信音声パケットとを選択して出力する出力パケット切り替え部とをそなえて構成されたことを特徴とする、音声パケット消失隠蔽装置。
【請求項１５】
該ピッチ信号生成部は、
該消失区間が、音声を含まない区間から該音声の立ち上がりを含む区間に変移する最初の区間である場合は、該消失後音声パケットのピッチ変動特性およびパワー変動特性のそれぞれに重み付け加算することにより該ピッチ信号を生成するように構成されたことを特徴とする、請求の範囲第９項〜第１４項のいずれか一項記載の音声パケット消失隠蔽装置。
【請求項１６】
音声データをパケット化して伝送する音声通信システムにおける、受信端末であって、
受信された音声パケットを蓄積する受信バッファと、
該受信バッファに蓄積された音声パケットの消失を検出し消失区間に関する情報を出力する検出部と、
該検出部にて検出された消失区間よりも前に受信された消失前音声パケットと該消失区間よりも後に受信された消失後音声パケットとのうちの少なくとも一方を用いて該消失区間の音声特性を推定する推定部と、
該推定部にて推定された音声特性を有するピッチ信号を生成するピッチ信号生成部と、
該ピッチ信号生成部にて生成されたピッチ信号に該推定部にて推定された音声特性を付与したものを該消失隠蔽パケットとして出力する消失パケット生成部とをそなえて構成されたことを特徴とする、受信端末。
【請求項１７】
音声データをパケット化して伝送する音声通信システムに設けられた受信端末における、音声パケット消失隠蔽方法であって、
該受信端末の検出部が、該音声パケットの消失を検出し少なくとも消失区間に関する情報を含む検出信号を出力し、
該受信端末の推定部が、検出された該消失区間の前後に受信された音声パケットを用いて該消失区間の音声特性を推定し、
該受信端末のピッチ信号生成部が、推定された音声特性を有するピッチ信号を生成し、
該受信端末の消失パケット生成部が、生成されたピッチ信号に推定された音声特性を付与したものを該消失隠蔽パケットとして出力することを特徴とする、音声パケット消失隠蔽方法。
【請求項１８】
該受信端末の推定部が、伝送路の伝送遅延揺らぎを吸収するために設けられた受信バッファに蓄積された音声パケットのうちの該消失区間の前後の音声パケットを用いて該消失区間のピッチ変動特性と該消失区間のパワー変動特性とを推定し、
該受信端末のピッチ信号生成部が、推定された音声特性を有するピッチ信号を生成し、
該受信端末の消失パケット生成部が、生成されたピッチ信号に推定された音声特性を付与したものを該消失隠蔽パケットとして出力することを特徴とする、請求の範囲第１７項記載の音声パケット消失隠蔽方法。
【請求項１９】
音声データをパケット化して伝送する音声通信システムにおいて、
該音声データを含む音声パケットを受信する受信端末が、
音声パケットの消失を検出し消失区間に関する情報を出力する検出部と、
該検出部にて検出された消失区間よりも前に受信された消失前音声パケットと該消失区間よりも後に受信された消失後音声パケットとのうちの少なくとも一方を用いて該消失区間の音声特性を推定する推定部と、
該推定部にて推定された音声特性を有するピッチ信号を生成するピッチ信号生成部と、
該ピッチ信号生成部にて生成されたピッチ信号に該推定部にて推定された音声特性を付与したものを該消失隠蔽パケットとして出力する消失パケット生成部とをそなえて構成されたことを特徴とする、音声通信システム。
【発明の詳細な説明】
【技術分野】  本発明は、例えば音声データを音声パケット化して伝送する音声パケット通信システムにおける受信端末において、音声パケット消失によって発生した音声品質の劣化補償に用いて好適な、音声パケット消失隠蔽装置，音声パケット消失隠蔽方法，受信端末および音声通信システムに関する。
【背景技術】  一般に、アクセス系のネットワークの品質を評価する場合、評価基準として伝送速度が用いられることが多い。この伝送帯域によりネットワークを分類すると、帯域保証型とベストフォワード（ベストエフォート）型とが知られている。帯域保証型ネットワークとは、ネットワーク運用者がユーザに対して、ユーザ数にかかわらず常時一定の伝送帯域を保証するものである。一方、ベストフォワード型のネットワークは、ユーザに対して、伝送速度を必ずしも常時保証するものではない。
近年、インターネットの爆発的な普及を背景に、ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）ネットワークを介して、音声データをパケット化した音声パケットを伝送するＶｏＩＰ（Ｖｏｉｃｅ  ｏｖｅｒ  ＩＰ）通信システムが導入されている。ここで、ＩＰネットワークは、ベストフォワード型なので、送信端末から受信端末に対して送信される音声パケットの伝送帯域は保証されず、伝送路の輻輳等によって伝送遅延に揺らぎが生じる。つまり、送信端末が定期的に送信した音声パケットが、受信端末に不定期な間隔で到達することがある。
一方、受信端末は、受信した音声パケットを順次、受信パケットバッファ（受信バッファ）に蓄積し、受信端末に設けられた音声再生装置が一音声パケット分のデータを受信して音声を再生する。一音声パケット分のデータの一例は、Ｎ（自然数を表す。）サンプルのＰＣＭ（Ｐｕｌｓｅ  Ｃｏｄｅｄ  Ｍｏｄｕｌａｔｉｏｎ：パルス符号変調）データである。
また、受信端末は、高い音声品質を維持するために、すべての音声パケットを受信する必要がある。従って、音声パケットの遅延は、受信すべき音声パケットの消失又は欠落を招き、音声品質の劣化の原因となる。このため、一般に、受信端末の受信パケットバッファは、音声パケットの伝送遅延揺らぎを吸収するようになっている。
図１２は音声パケットの伝送遅延揺らぎを説明するための図である。この図１２に示す受信パケットバッファ５０は、不定期な間隔で到着する音声パケットを受信し各音声パケットを一旦蓄積した後、定期的に又は一定間隔でその蓄積した音声パケットを音声再生装置５１に出力する。そして、音声再生装置５１は、定期的に音声パケットを読み出して音声を再生する。従って、受信端末に不定期に到着した音声パケットが、受信パケットバッファ５０に一時的に蓄積されることにより、伝送遅延揺らぎが吸収され、伝送遅延による影響が補償される。
この半面、伝送遅延の吸収のために、受信パケットバッファ５０は、その容量を大きくし過ぎると、受信パケットバッファ５０における蓄積時間が長くなるため、通話における遅延が大きくなり、双方向の会話に支障をきたす。従って、受信パケットバッファ５０の容量には限界がある。また、受信パケットバッファ５０の容量以上の伝送遅延をもつ音声パケットは、読み出しに間に合わない。このため、音声再生装置５１は、一部の音声パケットが消失した音声を再生するので音声品質が劣化する。
また、伝送遅延揺らぎに加えて、ＩＰネットワークにおいて、音声パケットの消失が生じることがある。
図１３（ａ）および図１３（ｂ）はいずれも音声パケット消失隠蔽方法を説明するための図である。この図１３（ａ）に示す音声パケット列の一部の消失は、音切れ等の音声品質劣化の原因となる。このため、受信端末は、図１３（ｂ）に示す消失区間（パケット消失区間）に、消失を隠蔽するための音声パケット（以下、消失隠蔽パケットと称する。）を挿入し、この挿入により、音声品質の劣化を抑制している。すなわち、受信端末が、本来受信すべきパケットを消失隠蔽パケットに置換し、音声再生装置５１がその消失隠蔽パケットを用いて音声を再生する。
この音声パケット消失隠蔽方法の一つとして、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ：国際電気通信連合）勧告Ｇ．７１１  Ａｐｐｅｎｄｉｘ  Ｉ（以下、公知文献１と称する。）が知られている。この公知文献１記載のパケット消失隠蔽方法は、音声の物理的特性の一つであるピッチ周期を用いている。
このピッチ周期とは、声帯の振動周期を表し、例えば図１０（ａ）に示すように、繰り返し波形の繰り返し単位の「山」（又は「谷」）の間隔に相当する。よく知られているように、母音のような有声音は声帯の振動によって発生し、また、この声帯の振動は一定の周期を有する。このため、有声音の波形はほぼ一定の周期ごとに繰り返し現れるのである。さらに、声帯の振動周期は若干変動するので、この変動がピッチ周期の揺らぎ（ピッチ揺らぎ）として観測される。
上記の公知文献１に記載された音声パケット消失隠蔽方法は次の（Ｘ１）〜（Ｘ３）からなる。
（Ｘ１）消失音声パケットの直前に受信した正常な音声パケットから得られる音声信号を用いてピッチパターンを抽出し、この抽出したピッチパターンを消失音声パケットに相当する部分において繰り返して置換し消失隠蔽信号を生成する。
（Ｘ２）消失音声パケットの直後の正常音声との接合部において、消失隠蔽信号と正常信号とを重み付けして加算する。
（Ｘ３）連続して音声パケット消失が生じる場合、消失隠蔽信号を徐々に減衰させる。
しかしながら、この（Ｘ１）のように、抽出したピッチパターンを単純にピッチ周期で繰り返すだけの方法は、音声が本来有するピッチ周期の揺らぎに追従できず、位相のずれを生じる。さらに、（Ｘ２）のように、正常音声との接合部において重み付け加算した場合においても、正常音声との接合部において、ピッチの不整合による異音が生じる場合がある。また、（Ｘ３）のように、音声パケット消失が連続して続く場合には、消失隠蔽信号が徐々に減衰されることによる聴覚的なミュート感が生じる。
これらの位相ずれ，異音およびミュート感を解決する方法の一例が、特開２００１−２２８８９６号公報（以下、公知文献２と称する。）に開示されている。公知文献２に開示された欠落音声パケットの代替置換方法は、次の（Ｙ１）〜（Ｙ３）に示すようになる。
（Ｙ１）消失直前の正常に受信した音声データからピッチ周期の揺らぎと信号パワーとの変動を推定する。
（Ｙ２）消失音声パケット直前の信号から抽出したピッチパターンに基づいて推定したピッチ周期の揺らぎとパワーの変動とを付与した消失隠蔽信号を生成する。
（Ｙ３）消失音声パケットの直後の正常音声との接合部において、消失隠蔽信号と正常信号とを重み付けして加算する。
この公知文献２記載の欠落音声パケットの代替置換方法は、ピッチ揺らぎと信号パワーの変動とを考慮して消失隠蔽信号を生成し、これにより、公知文献１の課題が解決され、また、消失区間のピッチ揺らぎと信号パワーの変動とを消失音声パケット以前の過去の音声パケットから推定するようになっている。
図１４は過去の音声パケットを用いた音声パケットの推定方法を説明するための図である。この図１４に示す区間（パケット区間）１〜５のうちの区間１〜４において、受信端末は、正常に音声パケットを受信している。ここで、区間５における音声パケットが消失した場合、受信端末は、区間１〜４の音声パケットを用いて、消失隠蔽パケットを生成する。具体的には、受信端末は、区間５に挿入する消失隠蔽パケットのピッチ揺らぎと信号パワーの変動とを推定することにより、消失隠蔽パケットを生成し、この生成した消失隠蔽パケットを区間５に挿入する。従って、この推定方法は、直前（過去）の変動分布がそのまま継続されるという仮定（推測）を用いている。
この推定方法は、音声パケット消失区間１〜５において音声が緩やかに変動する場合には、ある程度正確に推定できる。この半面、消失区間が多い又は長い場合、又は音声の立ち上がり若しくは立ち下がりの部分の消失区間において音声が急激に変化する場合は、正確に音声パケットを推定できず、また、公知文献１の課題を十分に改善できない。
一方、消失区間に音声パケットを補間する方法が、特開２０００−５９３９１号公報（以下、公知文献３と称する。）に開示されている。この公知文献３には、送信端末からの２以上の仮パケットが、所定間隔離隔された状態として所定に組合せ抽出されたものが音声パケットとして非同期ディジタル通信網を介し、音声パケット受信端末で受信される場合には、一時記憶されている前後の仮パケットに対する補間処理により損失パケットに含まれていた仮パケット各々が容易に再現され得るものである。
しかしながら、公知文献３記載の補間方法は、送信端末と受信端末との両端末が必要であり、コスト高を招く。
従って、従来の技術は、音声が急激に変化する場合においても音声品質を改善でき、かつ比較的安価に実現できるものではない。
本発明は、このような課題に鑑み創案されたもので、ピッチ周期の不整合による異音および信号パワー減衰によるミュート感が抑制され、音声パケット消失による自然性と連続性との主観的な劣化を改善し、また、音声の立ち上がり部分等における音声パケット消失隠蔽性能を一層向上させることが可能な、音声パケット消失隠蔽装置，音声パケット消失隠蔽方法，受信端末および音声通信システムを提供することを目的とする。
【発明の開示】
このため、本発明の音声パケット消失隠蔽装置は、音声パケットの消失区間よりも前に受信された消失前音声パケットと消失区間よりも後に受信された消失後音声パケットとのうちの少なくとも一方を用いて消失区間の音声特性を推定する推定部と、推定部にて推定された音声特性を有するピッチ信号を生成するピッチ信号生成部と、ピッチ信号生成部にて生成されたピッチ信号に推定部にて推定された音声特性を付与したものを消失隠蔽パケットとして出力する消失パケット生成部とをそなえて構成されたことを特徴としている。
従って、このようにすれば、消失パケット生成部が、滑らかなピッチ変動特性およびパワー変動特性を有する隠蔽信号（消失隠蔽パケットに含まれる要素）を生成できるので、ピッチ周期の不整合による異音および信号パワー減衰によるミュート感を抑制し、音声パケット消失による自然性と連続性との双方の主観的な劣化を改善できる。
前記推定部は、消失後音声パケットの第１ピッチ変動特性，消失後音声パケットの第１パワー変動特性と、消失前音声パケットの第２ピッチ変動特性，消失前音声パケットの第２パワー変動特性とを用いて、消失区間の第３ピッチ変動特性と消失区間の第３パワー変動特性とを音声特性として推定するように構成されてもよく、このようにすれば、消失区間が長い場合、又は音声の立ち上がり／立ち下がりの消失区間において急激に音声特性が変化した場合においても、正確に音声特性が推定される。
さらに、受信された音声パケットを蓄積する受信バッファをそなえ、受信バッファをパケットの伝送遅延揺らぎを吸収する吸収バッファとして用いるように構成されてもよく、このようにすれば、新規な設計又は設計変更を伴わずに、音声品質が補償される。
受信バッファに蓄積された音声パケットのうちの音声処理に要する所定個数の音声パケットを蓄積する出力バッファをさらにそなえ、推定部が、受信バッファに蓄積された消失後音声パケットと、出力バッファに蓄積された消失前音声パケットとを用いて音声特性を推定するように構成されてもよく、このようにすれば、一層正確な推定が可能となる。
そして、受信バッファに蓄積された音声パケット数に基づいて消失前音声パケットおよび消失後音声パケットのうちの一方を示す選択信号を出力する蓄積パケット数監視部をそなえて構成されてもよく、このようにすれば、例えばバースト的な伝送遅延揺らぎ等により受信バッファに蓄積された音声パケットがなくなった状態においても、消失前音声パケット又は消失後音声パケットのうちの一方を用いて消失隠蔽信号を生成できる。
また、本発明の音声パケット消失隠蔽装置は、音声パケットを蓄積する受信バッファと、音声パケットの消失を検出し消失区間に関する情報を出力する検出部と、受信バッファに蓄積された音声パケットのうちの音声処理に要する所定個数の音声パケットを蓄積する出力バッファと、受信バッファに蓄積された音声パケットのうちの消失区間よりも後に受信された消失後音声パケットと、出力バッファに蓄積された所定個数の音声パケットのうちの消失区間よりも前に受信された消失前音声パケットとに基づいて消失区間のピッチ変動特性を推定するピッチ変動特性推定部と、消失後音声パケットと消失前音声パケットとに基づいて消失区間のパワー変動特性を推定するパワー変動特性推定部と、推定部にて推定された音声特性を有するピッチ信号を生成するピッチ信号生成部と、ピッチ信号生成部にて生成されたピッチ信号に、パワー変動特性推定部にて推定されたパワー変動特性を付与したものを消失隠蔽パケットとして出力する消失パケット生成部とをそなえて構成されたことを特徴としている。
従って、このようにすれば、ピッチ周期の不整合による異音又は信号パワー減衰によるミュート感が抑制され、音声パケット消失による自然性と連続性との主観的な劣化を従来方法よりも改善することができる。
前記ピッチ変動特性推定部は、受信バッファに蓄積された消失後音声パケットを用いて第１ピッチ周期を探索するとともに、出力バッファに蓄積された消失前音声パケットを用いて第２ピッチ周期を探索するピッチ探索部と、ピッチ探索部にて探索された第１ピッチ周期および第２ピッチ周期に基づいて、消失区間のピッチ変動特性を算出しピッチ変動推定値を出力するピッチ変動特性算出部とをそなえて構成されてもよく、このようにすれば、消失区間の前後の区間について、ピッチ探索でき、高精度な補間が可能となり、音声品質が向上する。
前記パワー変動特性推定部は、受信バッファに蓄積された消失後音声パケットを用いて第１信号パワーを算出するとともに、出力バッファに蓄積された消失前音声パケットを用いて第２信号パワーを算出する信号パワー算出部と、信号パワー算出部にて算出された第１信号パワーおよび第２信号パワーに基づいて、消失区間のパワー変動特性を算出するパワー変動特性算出部とをそなえて構成されてもよく、このようにすれば、一層自然な音声が得られる。
前記ピッチ変動特性推定部にて推定されたピッチ変動特性を有するピッチ信号を生成するピッチ信号生成部と、ピッチ信号生成部にて生成されたピッチ信号にパワー変動特性推定部にて推定されたパワー変動特性を付与したものを消失隠蔽パケットとして出力する消失パケット生成部と、検出部から出力される音声パケット消失の有無を示す判定信号に基づいて消失パケット生成部から出力された消失隠蔽パケットと受信バッファからの正常な受信音声パケットとを選択出力する出力パケット切り替え部とをそなえて構成されてもよく、このようにすれば、音声パケット消失による自然性と連続性との主観的な劣化が改善される。
前記ピッチ信号生成部は、受信バッファに蓄積された消失後音声パケット又は出力バッファに蓄積された消失前音声パケットに含まれるピッチ信号を、ピッチ変動特性推定部にて推定されたピッチ変動推定値に応じて抽出するように構成されてもよく、このようにすれば、消失前の信号から生成した消失隠蔽信号よりも、原信号に近い信号を生成することができ、音声区間の自然性、連続性の劣化をさらに抑制できる。
また、消失後音声パケットを用いて得た第１ピッチ信号にパワー変動特性推定部にて推定されたパワー変動特性に起因する第１重み付け係数を乗じたものと、消失前音声パケットを用いて得た第２ピッチ信号にパワー変動特性推定部にて推定されたパワー変動特性に起因する第２重み付け係数を乗じたものとを加算した合成ピッチ信号を、ピッチ信号として出力するように構成されてもよく、このようにすれば、合成ピッチ信号が、多様な重み付けを切り替えて得られるので、音声品質を改善できる。
前記ピッチ変動特性推定部は、受信バッファに消失後音声パケットが蓄積されていない場合は、出力バッファに蓄積された消失前音声パケットを用いてピッチ変動特性を得るように構成されてもよく、このようにすれば、例えば音声の立ち上がり消失後の信号を基に生成された消失隠蔽信号の重みを大きくして加算する。
前記パワー変動特性推定部は、受信バッファに消失後音声パケットが蓄積されていない場合は、出力バッファに蓄積された消失前音声パケットを用いてパワー変動特性を得るように構成されてもよく、このようにすれば、例えば、バースト的な伝送遅延揺らぎ等により受信バッファに蓄積された音声パケットがなくなった状態においても、消失前の音声信号のみを用いて消失隠蔽信号を生成することが可能となる。
本発明の音声パケット消失隠蔽装置は、音声パケットを蓄積する受信バッファと、受信バッファに蓄積された音声パケットを用いてパケット消失を検出するパケット消失判定部と、受信バッファに蓄積された音声パケットのうちの音声処理に要する所定個数の音声パケットを蓄積する出力パケットバッファと、受信バッファに蓄積された音声パケットのうちの消失後区間に受信された消失後音声パケットと、出力バッファに蓄積された所定個数の音声パケットのうちの消失前区間に受信された消失前音声パケットとに基づいて消失音声パケットのピッチ変動特性を推定するピッチ変動特性推定部と、消失後音声パケットと消失前音声パケットとに基づいて消失音声パケットのパワー変動特性を推定するパワー変動特性推定部と、ピッチ変動特性推定部にて推定されたピッチ変動特性を有するピッチ信号を生成するピッチ信号生成部と、ピッチ信号生成部にて生成されたピッチ信号にパワー変動特性推定部にて推定されたパワー変動特性を付与したものを消失隠蔽パケットとして出力する消失パケット生成部と、検出部からの検出信号に基づいて消失パケット生成部から出力された消失隠蔽パケットと受信バッファからの正常な受信音声パケットとを選択して出力する出力パケット切り替え部とをそなえて構成されたことを特徴としている。
従って、このようにすれば、ピッチ周期の不整合による異音および信号パワー減衰によるミュート感が抑制され、音声パケット消失による自然性と連続性との主観的な劣化を改善できる。
前記ピッチ信号生成部は、消失区間が、音声を含まない区間から音声の立ち上がりを含む区間に変移する最初の区間である場合は、消失後音声パケットのピッチ変動特性およびパワー変動特性のそれぞれに重み付け加算することによりピッチ信号を生成するように構成されてもよく、このようにすれば、ユーザは受信端末を購入することにより、音声品質のよい通話が可能となる。
また、本発明の受信端末は、音声データを含む音声パケットを受信する受信端末において、受信された音声パケットを蓄積する受信バッファと、受信バッファに蓄積された音声パケットの消失を検出し消失区間に関する情報を出力する検出部と、検出部にて検出された消失区間よりも前に受信された消失前音声パケットと消失区間よりも後に受信された消失後音声パケットとのうちの少なくとも一方を用いて消失区間の音声特性を推定する推定部と、推定部にて推定された音声特性を有するピッチ信号を生成するピッチ信号生成部と、ピッチ信号生成部にて生成されたピッチ信号に推定部にて推定された音声特性を付与したものを消失隠蔽パケットとして出力する消失パケット生成部とをそなえて構成されたことを特徴としている。
従って、このようにすれば、多様な重み付けを切り替えて得られるので、音声品質を改善できる。
また、本発明の受信端末は、音声データを含む音声パケットを受信する受信端末における、音声パケット消失隠蔽方法であって、受信端末の検出部が音声パケットの消失を検出し少なくとも消失区間に関する情報を含む検出信号を出力し、受信端末の推定部が検出された消失区間の前後に受信された音声パケットを用いて消失区間の音声特性を推定し、受信端末のピッチ信号生成部が推定された音声特性を有するピッチ信号を生成し、受信端末の消失パケット生成部が生成されたピッチ信号に推定された音声特性を付与したものを消失隠蔽パケットとして出力することを特徴としている。
従って、このようにすれば、ピッチ周期の不整合による異音および信号パワー減衰によるミュート感が抑制され、音声パケット消失による自然性と連続性との主観的な劣化を改善できる。
前記受信端末は、音声データをパケット化して伝送する通信システムに用いられ、推定部が、伝送路の伝送遅延揺らぎを吸収するために設けられた受信バッファに蓄積された音声パケットのうちの消失区間の前後の音声パケットを用いて消失区間のピッチ変動特性と消失区間のパワー変動特性とを推定し、受信端末のピッチ信号生成部が、推定された音声特性を有するピッチ信号を生成し、受信端末の消失パケット生成部が、生成されたピッチ信号に推定された音声特性を付与したものを消失隠蔽パケットとして出力してもよく、このようにすれば、ピッチ周期の不整合による異音および信号パワー減衰によるミュート感が抑制され、音声パケット消失による自然性と連続性との主観的な劣化を改善できる。
さらに、本発明の音声通信システムは、音声データをパケット化して伝送する音声通信システムにおいて、音声データを含む音声パケットを受信する受信端末が、音声パケットの消失を検出し消失区間に関する情報を出力する検出部と、検出部にて検出された消失区間よりも前に受信された消失前音声パケットと消失区間よりも後に受信された消失後音声パケットとのうちの少なくとも一方を用いて消失区間の音声特性を推定する推定部と、推定部にて推定された音声特性を有するピッチ信号を生成するピッチ信号生成部と、ピッチ信号生成部にて生成されたピッチ信号に推定部にて推定された音声特性を付与したものを消失隠蔽パケットとして出力する消失パケット生成部とをそなえて構成されたことを特徴としている。
従って、このようにすれば、消失隠蔽パケットがパケット消失後に正常に受信された音声パケットと滑らかに波形接合されるので、ピッチ周期の不整合による異音および信号パワー減衰によるミュート感のいずれをも抑制でき、音声パケット消失により発生する聴覚的な自然性および連続性についての主観的な劣化を改善できる。
【図面の簡単な説明】  図１は本発明が適用されるＶｏＩＰ通信システムの構成図である。
図２は本発明の第１実施形態に係る音声パケット消失隠蔽方法を説明するための図である。
図３は本発明の原理ブロック図である。
図４は本発明の第１実施形態に係る音声パケット消失隠蔽方法を説明するためのフローチャートである。
図５は本発明の第１実施形態に係る音声パケット消失隠蔽装置のブロック図である。
図６は本発明の第１実施形態に係るパワー変動推定部のブロック図である。
図７は本発明の第１実施形態に係るピッチ変動推定部のブロック図である。
図８は本発明の第２実施形態に係る音声パケット消失隠蔽装置のブロック図である。
図９は本発明の第３実施形態に係る音声パケット消失隠蔽装置のブロック図である。
図１０（ａ）〜図１０（ｃ）はそれぞれ本発明の音声パケット消失隠蔽方法が適用された処理波形の第１例を示す図である。
図１１（ａ）〜図１１（ｃ）はそれぞれ本発明の音声パケット消失隠蔽方法が適用された処理波形の第２例を示す図である。
図１２は音声パケットの伝送遅延揺らぎを説明するための図である。
図１３（ａ）および図１３（ｂ）はいずれも音声パケット消失隠蔽方法を説明するための図である。
図１４は過去の音声パケットを用いた音声パケットの推定方法を説明するための図である。
【発明を実施するための最良の形態】  （Ａ）本発明の第１実施形態の説明
図１は本発明が適用されるＶｏＩＰ通信システムの構成図である。この図１に示すＶｏＩＰ通信システム１００は、音声データ（符号化された音声データ）をパケット化して伝送する音声パケット通信システムであって、非同期伝送路１０１と送信端末１０と受信端末３０とをそなえて構成されている。本発明の音声パケット消失隠蔽装置は、以下に述べる受信端末３０の音声再生処理部に適用される。
（１）ＶｏＩＰ通信システム１００の構成
（１−１）非同期伝送路１０１
非同期伝送路１０１は、音声パケットを転送するＩＰネットワーク（例えばインターネット）である。
この非同期伝送路１０１は、伝送遅延揺らぎを有し、ベストフォワード型のネットワークである。非同期伝送路１０１は、輻輳時等におけるＩＰパケットの消失をある程度許容しているが、音声パケットがバースト的に消失すると、受信端末３０が連続した音声パケットを受信できず、音声パケットを再生できない。従って、以下、連続的な音声パケットの消失は発生しないものとして説明する。
（１−２）送信端末１０
送信端末１０は、入力音声を音声データ化しその音声データを含む音声パケットを定期的な時間間隔（以下、区間と称する。）で送信するものであって、例えば携帯電話，固定電話である。この送信端末１０は、入力音声を電気信号に変換出力するマイク９９ａと、このマイク９９ａからの電気信号を一旦録音（記録）する音声録音装置（音声記録装置）９９ｂと、音声録音装置９９ｂにて録音された録音データを符号化し、その符号化した音声データを含む音声パケットを生成する音声パケット生成部９８とをそなえて構成されている。
（１−３）音声パケット化（パケット化）
送信端末１０は、１区間の音声について、Ｎ回、サンプル（サンプリング）し、Ｎ個（Ｎサンプル）のＰＣＭデータ（これを１フレームとする。）を生成する。そして、送信端末１０は、Ｎ個のＰＣＭデータを１個の音声パケットにパケット化し、この音声パケットを送信する。
第１実施形態においては、送信端末１０から送信された複数の音声パケットは、受信端末３０に設けられた受信処理部（後述する非パケット化部３３）において、それぞれ、１パケット分のデータ（ＮサンプルのＰＣＭデータ）を抽出され、抽出された各パケットのデータは音声生成される。
（１−４）受信端末３０
受信端末３０は、音声データを含む音声パケットを受信するものであって、例えば携帯電話，固定電話である。この受信端末３０は、音声再生装置３２ａと、スピーカ３２ｂと、音声パケット消失隠蔽装置（誤り隠蔽部）１とをそなえて構成されている。ここで、音声再生装置３２ａは、音声パケット消失隠蔽装置１からの音声データを再生するものであり、スピーカ３２ｂは、音声再生装置３２ａからの出力音声データを音声出力するものである。
また、音声パケット消失隠蔽装置１は、音声パケットが消失した区間（音声パケット消失区間）におけるその消失音声パケットのピッチ変動特性（声帯のピッチ周期の時間的な変動特性）および音声のパワー変動特性の両方を推定し、消失音声パケットを隠蔽（置換又は代替）するための消失隠蔽パケットを生成するものであって、受信パケットバッファ（受信バッファ）３４と非音声パケット化部３３とをそなえて構成されている。
ここで、受信パケットバッファ３４は、受信された音声パケットを蓄積するものである。少なくとも消失区間の後の２フレーム分（２Ｎサンプル分）の音声パケットが蓄積されている。音声パケット消失隠蔽装置１は、この受信パケットバッファ３４をパケットの伝送遅延揺らぎを吸収する吸収バッファとして用いており、これにより、音声品質が改善される。
非音声パケット化部３３は、この受信パケットバッファ３４から順次出力される音声パケット又はプロトコル変換した音声パケットから音声データを抽出するものである。
これにより、送信端末１０から音声パケット区間ごとに送信された音声パケットは、非同期伝送路１０１を介して、受信端末３０に順次受信され、受信された音声パケットは受信パケットバッファ３４に蓄積される。そして、非音声パケット化部３３において、パケットから得た音声データから音声信号が出力され、スピーカ３２ｂから再生音声が出力される。また、非音声パケット化部３３において、受信パケットバッファ３４に蓄積された複数の音声パケットを読み出すことにより、ピッチ揺らぎの補償とパワー補償とがともに行なわれる。
（１−５）消失隠蔽に必要なパケット
図２は本発明の第１実施形態に係る音声パケット消失隠蔽方法を説明するための図である。この図２に示すパケット区間（区間）１は、最初に音声パケットを受信した先頭区間であり、区間９は最後に音声パケットを受信した区間であり、また、区間１〜９のうちの区間５の音声パケットが消失したものとする。さらに、区間１〜４は、それぞれ、区間５よりも前の区間であって各音声パケットが正常に受信された区間を表し、また、区間６〜９は、それぞれ、区間５よりも後の区間であって各音声パケットが正常に受信された区間を表す。これらの区間６〜９において受信された音声パケットは、受信パケットバッファ３４に蓄積されている。
ここで、受信端末３０は、２パケット分の信号を用いてピッチ変動特性およびパワー変動特性について、消失区間後の２パケット分と、消失区間前の２パケット分とを用いることを意味する。具体的には、消失区間後の２Ｎサンプル分のＰＣＭ信号と、消失区間前の２Ｎサンプル分のＰＣＭ信号とをそれぞれ用いて、ピッチ変動特性とパワー変動特性とを推定する。
パケット数は２に限定されず、所望のパケット数を用いることができる。受信端末３０が推定に要する信号長は、最小限、ピッチ周期を抽出できる長さである。人間の音声のピッチ周期を再現するためには、８ｋＨｚサンプリングのＰＣＭを用いられた場合、２０サンプルから１４０サンプルが必要である。
具体的には、受信端末３０のピッチ変動算出部３６ｂがピッチ周期の変動を算出する相関計算（後述する式（Ｆ１２）参照）に必要なサンプル長が必要である。
このように、音声パケット消失隠蔽装置１は、消失区間のピッチ周期とパワー変動とのそれぞれの推定を音声パケット消失区間の前後の音声パケットを用いるので、音声パケット消失前の音声パケットのみを用いて消失音声パケットを推定する装置よりも一層正確な推定が可能となる。
（１−６）音声パケット消失隠蔽装置１
また、音声パケット消失隠蔽装置１は、受信したうちの最新の前後各２フレーム（２Ｎサンプル分）のデータを常時保持可能な受信バッファおよび出力バッファを設けている。
次に、図３および図４を参照して、音声パケット消失隠蔽装置１および音声パケット消失隠蔽方法のそれぞれについて説明する。
図３は本発明の原理ブロック図である。この図３に示す音声パケット消失隠蔽装置１は、パケット消失判定部（検出部）３３ｂ，音声特性推定部（推定部）３９，ピッチ信号生成部３３ｅ，パワー変動付加部（消失パケット生成部）３３ｆ，出力パケット切り替え部３３ｇ，出力パケットバッファ３３ｈをそなえて構成されている。なお、受信パケットバッファ３４は、上記のものと同一である。
ここで、パケット消失判定部３３ｂは、音声パケットの消失を検出し消失区間に関する情報を出力するものであって検出部として機能している。このパケット消失判定部３３ｂは、音声パケットに含まれるパケット番号（連続的に付与されたパケットのシーケンス番号）に基づいて消失区間を検出する。パケット消失判定部３３ｂは、例えば、受信パケットバッファ３４に蓄積された音声パケットのパケット番号を監視することにより、音声パケット消失の有無をパケット消失判定結果として出力する。
出力パケット切り替え部３３ｇは、パケット消失判定部３３ｂから出力される音声パケット消失の有無を示す判定信号に基づいてパワー変動付加部３３ｆから出力された消失隠蔽パケットと受信音声パケットとを選択出力するものである。
出力パケットバッファ３３ｈは、受信パケットバッファ３４に蓄積された音声パケットのうちの音声処理に要する、少なくとも消失前区間の２Ｎ（Ｎは自然数を表す。）サンプル分の音声パケットを蓄積するものである。この２Ｎサンプル分の音声パケットは、２区間のＰＣＭデータを含み、消失区間前の２連続する音声データをサンプリングした２Ｎ個のＰＣＭデータである。従って、受信端末３０は、最新の前後各２フレーム（２Ｎサンプル分）のデータを常時保持している。
音声特性推定部３９は、音声パケット（消失音声パケット）の消失区間よりも前に受信された消失前音声パケットと消失区間よりも後に受信された消失後音声パケットとを用いて消失区間の音声特性を推定するものである。
ここで、音声特性推定部３９は、消失区間を、パケット消失判定部３３ｂにて検出された消失区間を用いている。一方、音声特性推定部３９は、既に、消失区間を、別個又は予め組み込まれたものを用いることもできる。
この音声特性推定部３９は、ピッチ変動推定部（ピッチ変動特性推定部）３３ｄとパワー変動推定部（パワー変動特性推定部）３３ｃとをそなえて構成されている。
このピッチ変動推定部３３ｄは、受信パケットバッファ３４に蓄積された音声パケットのうちの消失区間よりも後に受信された消失後音声パケットと、出力パケットバッファ３３ｈに蓄積された２Ｎ個の音声パケットのうちの消失区間よりも前に受信された消失前音声パケットとに基づいて消失区間のピッチ変動特性を推定するものである。なお、ピッチ変動推定部３３ｄの詳細は、図７を用いて後述する。
また、パワー変動推定部３３ｃは、消失後音声パケットと消失前音声パケットとに基づいて消失区間のパワー変動特性を推定するものである。なお、パワー変動推定部３３ｃの詳細は、図６を用いて後述する。
従って、音声特性推定部３９は、消失後音声パケットのピッチ変動特性，消失前音声パケットのパワー変動特性と、消失前音声パケットのピッチ変動特性，消失後音声パケットのパワー変動特性とを用いて、消失区間のピッチ変動特性と消失区間のパワー変動特性とを音声特性として推定するようになっている。
ここで、ピッチ変動推定部３３ｄ，パワー変動推定部３３ｃおよびピッチ信号生成部３３ｅは、いずれも、伝送遅延揺らぎを吸収するために設けられた受信パケットバッファ３４に到達済みの音声パケットを利用する。従って、新規な設計又は設計変更を伴わずに、音声品質が補償される。
また、ＶｏＩＰ通信システム１００における受信端末３０は、パケットの伝送遅延揺らぎを吸収するために、受信パケットバッファ３４を設けており、この受信パケットバッファ３４に伝送遅延揺らぎを補償するために必要な数の音声パケットが順次蓄積されている。つまり、消失パケットについての隠蔽処理を行なう時点において、消失後の音声パケットが、受信パケットバッファ３４に既に蓄積されている。
これにより、受信パケットバッファ３４に蓄積された音声パケットのうちの音声処理に要する２Ｎ個の音声パケットを蓄積する出力パケットバッファ３３ｈをさらにそなえ、音声特性推定部３９が、受信パケットバッファ３４に蓄積された消失後音声パケットと、出力パケットバッファ３３ｈに蓄積された消失前音声パケットとを用いて音声特性を推定する。
ピッチ信号生成部３３ｅは、ピッチ変動推定部３３ｄにて推定されたピッチ変動特性を有するピッチ信号を生成するものである。具体的には、ピッチ信号生成部３３ｅは、受信パケットバッファ３４に蓄積された消失後音声パケット又は出力パケットバッファ３３ｈに蓄積された消失前音声パケットに含まれるピッチ信号を、ピッチ変動推定部３３ｄにて推定されたピッチ変動推定値に応じて切り出し（抽出）する。ピッチ信号生成部３３ｅは、受信パケットバッファ３４に蓄積された消失後音声パケットおよび出力パケットバッファ３３ｈに蓄積された消失前音声パケットを用いてピッチ信号を得る。さらに、ピッチ信号生成部３３ｅは、滑らかなピッチ変動特性を有する隠蔽信号（消失隠蔽パケットに含まれる要素）を生成できる。この具体的な方法については、後述する。
また、パワー変動付加部３３ｆは、ピッチ信号生成部にて生成されたピッチ信号にパワー変動推定部３３ｃにて推定されたパワー変動特性を付与したものを消失隠蔽パケットとして出力するものであり、消失パケット生成部として機能している。
なお、パワー変動付加部３３ｆは、ピッチ信号生成部３３ｅからの隠蔽信号を、消失隠蔽パケットに挿入して出力する。
さらに、出力パケット切り替え部３３ｇは、パケット消失判定部３３ｂからの検出信号に基づいてパワー変動付加部３３ｆから出力された消失隠蔽パケットと受信パケットバッファ３４からの正常な受信音声パケットとを選択して出力する。
（２）本発明の音声パケット消失隠蔽方法
ここで、従来の音声パケット消失隠蔽方法と本発明の音声パケット消失隠蔽方法とを比較すると、従来の方法は、伝送遅延の増加を避けるため過去に受信した音声パケットの情報のみを用いている。
これに対して、本発明の音声パケット消失隠蔽方法は、受信端末３０が伝送遅延揺らぎを吸収するための受信パケットバッファ３４を設けている。受信端末３０は、元々、この受信パケットバッファ３４における伝送揺らぎ補償のための遅延を許容しているので、音声パケット消失隠蔽装置１は、受信パケットバッファ３４の音声パケットを有効利用でき、音声パケット消失隠蔽装置１の内部において、新たな遅延の発生又は遅延量の増加は生じない。
図４は本発明の第１実施形態に係る音声パケット消失隠蔽方法を説明するためのフローチャートである。
ステップＡ１において、不定期な間隔で受信端末３０に到達した音声パケットは受信パケットバッファ３４に入力され、処理前の音声パケットが蓄積される。受信パケットバッファ３４は、到達した音声パケットを順次蓄積し、音声再生装置３２ａ（図１参照）の再生間隔に同期した定期的な間隔で蓄積した音声パケットをその蓄積した順に出力パケット切り替え部３３ｇに出力する。
そして、出力パケットバッファ３３ｈは、出力パケット切り替え部３３ｇから出力された音声パケットを順次蓄積する。蓄積された音声パケットの個数がバッファサイズに達した場合には、出力パケットバッファ３３ｈは、一番古い音声パケットを破棄して最新の出力音声パケットを蓄積する。
ステップＡ２において、パケット消失判定部３３ｂは、受信パケットバッファ３４に蓄積された次に出力される音声パケットのパケット番号（シーケンス番号）をチェックすることにより音声パケットの消失の有無を検出し（後述する式（Ｆ６））、出力パケット切り替え部３３ｇに対して音声パケット消失判定結果を出力する。具体的には、パケット消失判定部３３ｂは、音声パケット消失を検出すると、出力パケットバッファ３３ｈに蓄積されている消失音声パケットよりも前の音声パケット（消失前区間の音声パケット）と、受信パケットバッファ３４に蓄積された消失音声パケットよりも後の音声パケットとを、パワー変動推定部３３ｃ，ピッチ変動推定部３３ｄおよびピッチ信号生成部３３ｅにそれぞれ入力する。
ステップＡ３において、パワー変動推定部３３ｃは、消失前後の２パケット分（２Ｎサンプル分）音声パケットを用いて消失音声パケット区間のパワー変動特性を推定し、パワー変動推定値をパワー変動付加部３３ｆに出力する。
ステップＡ４において、ピッチ変動推定部３３ｄは、消失前後の音声パケットを用いて消失音声パケット区間のピッチ変動特性を推定し、ピッチ変動推定値をピッチ信号生成部３３ｅに出力する。
ステップＡ５において、ピッチ信号生成部３３ｅは、ピッチ変動推定部３３ｄにて推定されたピッチ変動推定値と出力パケットバッファ３３ｈに蓄積された消失前の音声パケットとを用いて、推定されたピッチ変動特性を有するピッチ信号を生成する。なお、この生成されたピッチ信号は、パワー変動付加部３３ｆに入力される。
ステップＡ６において、パワー変動付加部３３ｆは、パワー変動推定部３３ｃにて推定されたパワー変動推定値を、ピッチ信号生成部３３ｅからのピッチ信号に付加し、その付加したピッチ信号を消失隠蔽パケット（消失隠蔽パケット）として出力パケット切り替え部３３ｇに出力する。
ステップＡ７において、出力パケット切り替え部３３ｇは、パケット消失判定部３３ｂからの音声パケット消失判定結果に応じて、２種類の音声パケットのうちの一方を選択的に切り替えて、音声再生装置３２ａ（図１参照）に出力する。つまり、音声パケット消失判定結果が「音声パケット消失」の場合は、出力パケット切り替え部３３ｇは、音声パケット変動付与部３３ｆからの消失隠蔽パケットを出力し、それ以外の場合は、受信パケットバッファ３４から定期的な間隔で出力される正常音声パケットを出力する。
そして、ステップＡ８において、出力パケットバッファ３３ｈは、出力パケット切り替え部３３ｇから出力された音声パケットを順次格納し、その格納した音声パケットを消失前区間の音声パケットとして、図３に示すパワー変動推定部３３ｃ，ピッチ変動推定部３３ｄおよびピッチ信号生成部３３ｅのそれぞれに入力できるようにする。
従って、音声パケット消失隠蔽装置１は、音声パケット伝送遅延揺らぎを吸収するための受信パケットバッファ３４に蓄積された到達済みの音声パケットを利用する。
また、このように、音声パケット消失隠蔽装置１は、消失区間のピッチ変動とパワー変動とのそれぞれの推定を音声パケット消失区間の前後の２音声パケット（２Ｎサンプル）を用いる点で、音声パケット消失前の音声パケットのみを用いて消失音声パケットを推定する従来技術よりも一層正確な推定が可能となる。
また、本発明の音声パケット消失隠蔽方法は、音声データを含む音声パケットを受信する受信端末３０におけるものであり、この受信端末３０は、音声データを音声パケット化して伝送するＶｏＩＰ通信システム１００に用いられるものである。
受信端末３０のパケット消失判定部３３ｂが、音声パケットの消失を検出し（図２に示すＩ参照）消失区間５に関する情報を含む検出信号を出力する。
受信端末３０の音声特性推定部３９が、検出された消失区間５の前の消失区間３，４のそれぞれにて受信された音声パケットを用いて消失区間の音声特性を推定し、また、消失区間５の後の消失区間６，７のそれぞれにて受信された音声パケットを用いて消失区間の音声特性を推定する。この推定は、音声特性推定部３９が、伝送路の伝送遅延揺らぎを吸収するために設けられた受信パケットバッファ３４に蓄積された音声パケットのうちの消失区間５の前後の消失区間３，４，６，７のそれぞれにて受信された音声パケットを用いて消失区間５のピッチ変動特性と消失区間５のパワー変動特性とを推定する（図２に示すＩＩ参照）。
そして、受信端末３０のパワー変動付加部（消失パケット生成部）３３ｆが、推定された音声特性（ピッチ変動特性とパワー変動特性）に基づいて消失区間の消失隠蔽音声パケットを生成する（図２に示すＩＩＩ参照）。
具体的には、音声パケット消失前の正常音声パケット１〜４と、音声パケット消失後の受信パケットバッファ３４に蓄積された正常な音声パケット６〜９とのそれぞれを用いて、消失音声パケットのピッチ揺らぎとパワー変動とが推定される。
そして、非パケット化部３３（図１）は、推定された物理的特性に基づいて音声パケット消失区間の消失隠蔽パケットを生成する。ここで、消失隠蔽パケットの生成は、ピッチ変動特性とパワー変動特性とを付与することにより、消失隠蔽パケットを生成する。また、生成された消失隠蔽パケットは、消失音声パケット５の区間に挿入される（図２に示すＩＶ参照）。
従って、消失音声パケット隠蔽処理を開始する時点においては、受信パケットバッファ３４に消失後の音声パケットが存在するので、この消失後の音声パケットを読み出して利用することができる。
（３）音声パケット消失隠蔽装置１の詳細
次に、音声パケット消失隠蔽装置１の各部における処理について、図５を参照してさらに詳述する。
図５は本発明の第１実施形態に係る音声パケット消失隠蔽装置１のブロック図である。この図５に示す音声パケット消失隠蔽装置１は、音声データをＮサンプルごとに（Ｎは自然数を表す。）音声パケット化した音声パケットを非同期伝送路（ＩＰネットワーク）１０１を介して伝送するＶｏＩＰ通信システム１００における受信端末３０に設けられている。また、図５に示すもので上述したものと同一符号を有するものは、上述したものと同一のものである。
（３−１）受信パケットバッファ３４
受信端末３０（図２参照）に到達した音声パケットＩＰＫ（ｎ）は、受信パケットバッファ３４に蓄積される。ここで、ｎは音声パケットのパケット番号（シーケンス番号）を表す。この音声パケットＩＰＫ（ｎ）は、伝送に必要な情報を含むヘッダ部（音声パケットヘッダ部）を有するが（図示省略）、以下の説明においては、簡単のためにヘッダ部を考慮しない。従って、１個の音声パケットＩＰＫ（ｎ）は、式（Ｆ１）に示すように、Ｎサンプルの音声データのみからなるとして説明する。
2004068098.tif 000003
ここで、受信パケットバッファ３４に入力される音声パケットは、非同期伝送路１０１における伝送遅延揺らぎを含み不定期な間隔で到達するものである。音声パケットは、式（Ｆ２）に示すように、順次、受信パケットバッファ３４に格納される。
2004068098.tif 000004
ここで、ＲＢＵＦは受信パケットバッファ３４を表す。ｎｒｐｋは受信パケットバッファ３４に格納されている音声パケットの数であり、このｎｒｐｋの値は、０から受信パケットバッファ３４のバッファサイズＲＢＵＦＳＩＺＥまでの各値を取りうる。
なお、バッファサイズＲＢＵＦＳＩＺＥは、所望の値を設定可能であり、非同期伝送路１０１における揺らぎの状態に応じて適切に設定される。
そして、ｎｒｐｋの値が、音声パケットの受信開始から予め設定した設定値ｓ＿ｎｒｐｋと一致する時点において、式（Ｆ３）に示すように、時間的に古い音声パケットＲＢＵＦ（０）が、ＰＫ（ｍ）として、出力パケット切り替え部３３ｇに出力を開始し、出力ごとに受信パケットバッファ３４を更新する。なお、ｍは自然数を表す。
2004068098.tif 000005
ここで、音声パケット出力の時間間隔は、再生処理に同期した定期的な間隔である。ｓ＿ｎｒｐｋの設定値は、例えばｓ＿ｎｒｐｋ＝ＲＢＵＦＳＩＺＥ／２であるが、ｓ＿ｎｒｐｋの設定値は、この値以外の所望の値を設定できる。
また、式（Ｆ４）に示すように、受信パケットバッファ３４は、受信パケットバッファ３４自身に蓄積した２Ｎサンプル分の音声データ（ＰＣＭデータ）を変数ｒｅｖｂｕｆに設定し、パワー変動推定部３３ｃおよびパワー変動推定部３３ｄに出力する。
2004068098.tif 000006
ここで、ｒｂｕｆは、ＲＢＵＦに格納された音声パケットの要素データであり、式（Ｆ５）で表すことができる。
2004068098.tif 000007
次に、ＲＢＵＦに格納されている音声パケットのうちの時間的に過去の（次に出力される）音声パケットＲＢＵＦ（０）のシーケンス番号ｓｅｑを、受信パケットバッファ３４は、パケット消失判定部３３ｂに出力する。
（３−２）パケット消失判定部３３ｂ
パケット消失判定部３３ｂは、式（Ｆ６）に示すように、入力されたｓｅｑと、１個の音声パケット区間前（直前）に入力されたｏｌｄ＿ｓｅｑとを比較して、音声パケット消失を検出する。
2004068098.tif 000008
ここで、シーケンス番号が連続していない場合、パケット消失判定部３３ｂは、音声パケット消失としてｅｆｌａｇを１に設定し、出力パケット切り替え部３３ｇに出力し、ｏｌｄ＿ｓｅｑを１だけインクリメントする（ｏｌｄ＿ｓｅｑ＋＝１）。また、シーケンス番号が連続している場合、パケット消失判定部３３ｂは、ｅｆｌａｇを０に設定して出力し、ｏｌｄ＿ｓｅｑをｓｅｑに更新する（ｏｌｄ＿ｓｅｑ＝ｓｅｑ）。
（３−３）出力パケットバッファ３３ｈ
出力パケットバッファ３３ｈは、式（Ｆ７）に示すように、出力パケットバッファ３３ｈ自身に格納されている音声パケットを更新した後、出力パケット切り替え部３３ｇから出力された音声パケットＯＰＫを順次格納する。
2004068098.tif 000009
つまり、ＯＢＵＦには出力された音声パケットのうちの時間的に最新の２音声パケットが常に格納されている。また、式（Ｆ８）に示すように、出力パケットバッファ３３ｈは、２Ｎサンプル分の音声データ（ＰＣＭデータ）をｏｕｔｂｕｆに格納して、パワー変動推定部３３ｃ，パワー変動推定部３３ｃおよびピッチ信号生成部３３ｅに出力する。
2004068098.tif 000010
ここで、ｏｂｕｆはＯＢＵＦに格納してある音声パケットの要素データであり、式（Ｆ９）で表される。
2004068098.tif 000011
（３−４）パワー変動推定部３３ｃ
図６は本発明の第１実施形態に係るパワー変動推定部３３ｃのブロック図である。この図６に示すパワー変動推定部３３ｃは、パワー算出部（信号パワー算出部）３５ａとパワー変動算出部（パワー変動特性算出部）３５ｂとをそなえて構成されている。符号３４，３３ｈを付したものは、上述したものと同一のものを表す。
ここで、パワー算出部３５ａは、受信パケットバッファ３４に蓄積された消失後音声パケットを用いて第１信号パワー（変数ｐｏｗ（０））を算出するとともに、出力パケットバッファ３３ｈに蓄積された消失前音声パケットを用いて第２信号パワー（変数ｐｏｗ（１））を算出するものである。また、パワー変動算出部３５ｂは、パワー算出部３５ａにて算出された第１信号パワーおよび第２信号パワーに基づいて、消失区間のパワー変動特性を算出するものである。
上記のパワー算出部３５ａについてさらに詳述すると、パワー算出部３５ａは、受信パケットバッファ３４から入力されたｒｅｖｂｕｆと、出力パケットバッファ３３ｈから入力されたｏｕｔｂｕｆとを用いて、式（Ｆ１０）に示すように、消失前区間の信号パワーｐｏｗ（０）と消失後区間の信号パワーｐｏｗ（１）とをそれぞれ算出し、算出した値をパワー変動算出部３５ｂに出力する。
2004068098.tif 000012
ここで、ｉは０以上の整数，Σは総和を表す。すなわち、ｐｏｗ（０）は、ｏｕｔｂｕｆ（ｉ）２についてＮから２Ｎ−１までの総和を表し、ｐｏｗ（１）は、ｒｅｖｂｕｆ（ｉ）２について０からＮ−１までの総和を表す。
また、パワー変動算出部３５ｂは、パワー算出部３５ａにて算出されたｐｏｗ（０）およびｐｏｗ（１）に基づいて、消失区間のパワー変動特性を算出する。具体的には、パワー変動算出部３５ｂは、ｐｏｗ（０），ｐｏｗ（１）を用いて式（Ｆ１１）に示すように、消失音声パケット区間のパワー変動特性ｒｐｏｗを算出し、算出した値をパワー変動付加部３３ｆに出力する。
2004068098.tif 000013
なお、パワー変動推定部３３ｃは、受信パケットバッファ３４に消失後音声パケットが蓄積されていない場合は、出力パケットバッファ３３ｈに蓄積された消失前音声パケットを用いてパワー変動特性を得ることもできる。これにより、一層自然な音声が得られる。
（３−５）ピッチ変動推定部３３ｄ
図７は本発明の第１実施形態に係るピッチ変動推定部３３ｄのブロック図である。この図７に示すピッチ変動推定部３３ｄは、ピッチ探索部３６ａとピッチ変動算出部（ピッチ変動特性算出部）３６ｂとをそなえて構成されている。なお、符号３４，３３ｈを付したものは上述したものと同一のものを表す。
以下、ピッチ変動特性ｄｌａｇの算出方法を説明する。
図７に示すピッチ探索部３６ａは、受信パケットバッファ３４に蓄積された消失後音声パケットを用いて第１ピッチ周期ｌａｇ（０）を探索するとともに、出力パケットバッファ３３ｈに蓄積された消失前音声パケットを用いて第２ピッチ周期ｌａｇ（１）を探索するものである。
そして、ピッチ探索部３６ａは、式（Ｆ１２）に示すＲ０（ｋ）およびＲ１（ｋ）が最も大きくなるｋ（ｋｍａｘ０およびｋｍａｘ１）をそれぞれ探索し、探索したｋｍａｘ０，ｋｍａｘ１をそれぞれピッチ周期ｌａｇ（０），ｌａｇ（１）としてピッチ変動算出部３６ｂに出力する。
なお、探索するｋの範囲（ＬＡＧＭＩＮ〜ＬＡＧＭＡＸ）は、所望の範囲に設定でき、例えば２０〜１２０サンプルの間で探索する。
2004068098.tif 000014
ここで、Σは０からＮ−１までの総和を表す。
従って、ピッチ変動算出部３６ｂは、ピッチ変動を推定する場合、ピッチ周期ｌａｇ（０）は、消失前区間の２パケット分（２Ｎサンプル分）の信号を用いて算出され、また、ピッチ周期ｌａｇ（１）は、消失後区間の２パケット（２Ｎサンプル分）の信号を用いて算出される。
これにより、消失区間の前後について、ピッチ探索でき、高精度な補間が可能となり、音声品質が向上する。
さらに、ピッチ変動算出部３６ｂは、入力されたｌａｇ（０），ｌａｇ（１）を用いて式（Ｆ１３）に示すように、ピッチ変動特性ｄｌａｇを算出しピッチ変動推定値を出力するものであり、また、このピッチ変動推定値をピッチ信号生成部３３ｅに出力する。
2004068098.tif 000015
ここで、ＩＬＡＧ｛｝は補間関数であり、消失前のピッチ周期ｌａｇ（０）から消失後のピッチ周期ｌａｇ（１）へのサンプルごとのピッチ変動特性ｄｌａｇが出力される。また、ピッチ変動算出部３６ｂは、補間関数として所望のものを使用でき、例えば１次関数や２次関数等を使用することができる。さらに、Ｎはフレームのサンプル数を表す。
なお、ピッチ変動推定部３３ｄは、受信パケットバッファ３４に消失後音声パケットが蓄積されていない場合は、出力パケットバッファ３３ｈに蓄積された消失前音声パケットを用いてピッチ変動特性を得るようになっている。
（３−６）ピッチ信号生成部３３ｅ
ピッチ信号生成部３３ｅは、ピッチ変動特性ｄｌａｇを持ったピッチ信号ｐｉｔｓｉｇを生成する。
2004068098.tif 000016
ここで、
2004068098.tif 000017
である。つまり、ピッチ信号生成部３３ｅは、サンプルごとにｄｌａｇ（１）で表されるピッチ周期だけ過去に相当するピッチ信号を、ｏｕｔｂｕｆから切り出して使用する。ここで、ピッチ周期だけ過去のピッチ信号がｏｕｔｂｕｆに存在しない場合には、ピッチ信号生成部３３ｅは、既に生成したｐｉｔｓｉｇ（ｌ）（ｌ＞０）の部分を使用してピッチ信号を生成し、また、ｄｌａｇが非整数の場合は、周辺サンプルからの補間等により非整数ピッチ周期分過去に相当するピッチ信号を生成する。
（３−７）パワー変動付加部３３ｆ
パワー変動付加部３３ｆは、式（Ｆ１６）を用いてピッチ信号ｐｉｔｓｉｇにパワー変動特性ｒｐｏｗを付与して消失隠蔽信号ｃｐｋを算出する。
2004068098.tif 000018
なお、／ＮはＮによる除算を表す。
ここで、パワー変動付加部３３ｆは、ｃｐｋを要素とする消失隠蔽パケットｃｐｋを出力パケット切り替え部３３ｇに出力する。
2004068098.tif 000019
である。
（３−８）出力パケット切り替え部３３ｇ
出力パケット切り替え部３３ｇは、音声パケット消失判定結果ｅｆｌａｇに応じて、式（Ｆ１８）に示すように、出力音声パケットＯＰＫを切り替える。
2004068098.tif 000020
つまり、出力パケット切り替え部３３ｇは、音声パケット消失が検出された場合に消失隠蔽パケットを出力し、それ以外は受信パケットバッファ３４からの正常な音声パケットを出力する。
従って、本発明の受信端末３０は、音声パケットを蓄積する受信パケットバッファ３４と、受信パケットバッファ３４に蓄積された音声パケットを用いてパケット消失を検出するパケット消失判定部３３ｂと、過去に出力した音声パケットを蓄積する出力パケットバッファ３３ｈと、受信パケットバッファ３４に蓄積された音声パケットのうちの消失区間の後に受信された消失後音声パケットと、出力パケットバッファ３３ｈに蓄積された音声パケットのうちの消失前区間に受信された２Ｎ個の消失前音声パケットとに基づいて消失音声パケットのピッチ変動特性を推定するピッチ変動推定部３３ｄと、消失後音声パケットと消失前音声パケットとに基づいて消失音声パケットのパワー変動特性を推定するパワー変動推定部３３ｃと、パワー変動推定部３３ｃにて推定されたピッチ変動特性を有するピッチ信号を生成するピッチ信号生成部３３ｅと、ピッチ信号生成部３３ｅにて生成されたピッチ信号にパワー変動推定部３３ｃにて推定されたパワー変動特性を付与したものを消失隠蔽パケットとして出力するパワー変動付加部３３ｆと、パケット消失判定部３３ｂからの検出信号に基づいてパワー変動付加部３３ｆから出力された消失隠蔽パケットと受信音声パケットとを選択して出力する出力パケット切り替え部３３ｇとをそなえて構成されたことになる。
これにより、ピッチ周期の不整合による異音および信号パワー減衰によるミュート感が抑制され、音声パケット消失による自然性と連続性との主観的な劣化を改善できる。
このように、第１実施形態においては、音声パケット消失が生じた場合に受信パケットバッファに到達済みの音声パケットを利用し、消失区間のピッチ周期とパワー変動の推定を音声パケット消失区間前後の音声パケットを用いて行なう。従って、消失前の音声パケットのみを用いて推定する従来技術よりも、一層正確な推定が可能になる。
また、本来、受信パケットバッファ３４は、音声パケット伝送遅延揺らぎを吸収するために設けられるものであり、元々受信パケットバッファ３４で揺らぎを補償するための遅延を許容している。従って、本発明の音声パケット消失隠蔽方法による新たな遅延の増加はない。
これにより、伝送遅延を新たに増加することなく、消失前の正常音声パケットを用いて、消失後の正常音声パケットへの滑らかなピッチ変動特性およびパワー変動特性と持った消失隠蔽パケットを生成することができるので、ピッチ周期の不整合による異音や信号パワー減衰によるミュート感を抑制し、音声パケット消失による自然性と連続性との主観的な劣化を従来方法よりも改善することが可能となる。
（Ｂ）本発明の第２実施形態の説明
図８は本発明の第２実施形態に係る音声パケット消失隠蔽装置のブロック図である。この図８に示す音声パケット消失隠蔽装置１ｂのピッチ信号生成部３３ｅは、消失前のパワー変動特性と消失後のパワー変動特性とのそれぞれに所定の重み付け係数を乗じ、各重み付けされた消失前のパワー変動特性と消失後のパワー変動特性とを加算することによりピッチ信号を出力するようになっている。
なお、図８に示す符号のうちの第１実施形態と同一符号を有するものは、上述したものと同一であり、重複する説明は省略し、主に、ピッチ信号生成部３３ｅの動作を説明する。
ピッチ信号生成部３３ｅは、まず、消失前区間の音声信号ｏｕｔｂｕｆに基づいてピッチ変動特性ｄｌａｇに対応するピッチ信号ｐｉｔｓｉｇ０を式（Ｆ１９Ａ）に示すように生成する。
2004068098.tif 000021
ここで、
2004068098.tif 000022
であり、消失パケットの生成方法は第１実施形態と同様である。
次に、ピッチ信号生成部３３ｅは、消失前音声パケットに第１重み付け係数を乗じたものと、消失後音声パケットに第２重み付け係数を乗じたものとを加算してピッチ信号を生成する。すなわち、ピッチ信号生成部３３ｅは、消失前音声パケットを用いて得た第１ピッチ信号にパワー変動推定部３３ｃにて推定されたパワー変動特性に起因する第１重み付け係数を乗じたものと、消失後音声パケットを用いて得た第２ピッチ信号にパワー変動推定部３３ｃにて推定されたパワー変動特性に起因する第２重み付け係数を乗じたものとを加算した合成ピッチ信号を、ピッチ信号として出力する。
具体的には、ピッチ信号生成部３３ｅは、消失後区間の音声信号ｒｅｖｂｕｆを基にピッチ変動特性ｄｌａｇに対応するピッチ信号ｐｉｔｓｉｇ１を式（Ｆ１９Ｂ）のように生成する。
2004068098.tif 000023
ここで、
2004068098.tif 000024
である。つまり、ピッチ信号生成部３３ｅは、サンプルごとにｄｌａｇ（ｌ）で表されるピッチ周期分先（時間的に未来）に相当する信号をｒｅｖｂｕｆから切り出して使用する。また、ピッチ周期分先の信号がｒｅｖｂｕｆに存在しない場合には、既に生成したｐｉｔｓｉｇ（ｌ）（１＜Ｎ）の部分を使用して信号を生成する。また、ｄｌａｇが非整数の場合は、ピッチ信号生成部３３ｅは、周辺サンプルからの補間等により非整数ピッチ周期分先に相当する信号を生成する。
次に、ｐｉｔｓｉｇ０とｐｉｔｓｉｇ１との各重み付け加算を式（Ｆ２１）を用いて行ない、合成ピッチ信号ｐｉｔｓｉｇを生成する。
2004068098.tif 000025
ここで、ｗは重み付け係数でパワー変動特性ｒｐｏｗに応じて切り替えられるようになっている。また、切り替え方法は所望のものを使用できるが、第２実施形態においては、以下の方針に従い切り替えを行なう。
音声の立ち上がり部（非音声から音声への変移する最初の音声区間）において消失が生じた場合、消失区間の信号は消失前の信号（非音声信号）よりも消失後の信号（音声信号）のほうと相関が強い。このような場合は、ピッチ信号生成部３３ｅは、ｗを０．５以上に設定し、消失後の信号を基に生成された消失隠蔽信号の重みを大きくして加算する。
従って、合成ピッチ信号が、多様な重み付けを切り替えて得られるので、音声品質を改善できる。さらに、音声データを考慮した適切なピッチ信号が得られ、滑らかに変動する自然な音声が得られる。また、合成ピッチ信号が、多様な重み付けを切り替えて得られるので、音声品質を改善できる。
また、ピッチ信号生成部３３ｅは、消失区間が、音声を含まない区間から音声の立ち上がりを含む区間に変移する最初の区間である場合は、消失後音声パケットのピッチ変動特性およびパワー変動特性のそれぞれに重み付け加算することによりピッチ信号を生成するようになっている。
これにより、第２実施形態においては、第１実施形態のように消失前の信号から生成した消失隠蔽信号よりも、原信号に近い信号を生成することができ、音声区間の自然性、連続性の劣化をさらに抑制できる。
第２実施形態においては、ピッチ信号生成部３３ｅは、例えばｒｐｏｗが閾値ＲＰ＿ＴＨよりも大きい（急激なパワーの増加が生じた）場合に重み係数ｗを０．５以上に設定し、閾値よりも小さい場合はｗを０．０に設定することで、立ち上がり部分の音声品質改善を行なうことができる。
このように、消失前後の信号からそれぞれピッチ信号を生成し、これを重み付け加算することにより、音声の立ち上がり部等における音声パケット消失を隠蔽でき、さらに音声品質を向上させることができる。
（Ｃ）本発明の第３実施形態の説明
図９は本発明の第３実施形態に係る音声パケット消失隠蔽装置のブロック図である。この図９に示す音声パケット消失隠蔽装置１ｃは、受信パケットバッファ３４に蓄積された音声パケット数を監視する監視機能と、この監視機能により得た音声パケット数に応じてピッチ変動推定部３３ｄ，パワー変動推定部３３ｃおよびピッチ信号生成部３３ｅの動作パターン（動作態様）を変更する機能とを有する。そして、これらの機能以外の機能は、第２実施形態の音声パケット消失隠蔽装置１ｂと同一であり、また、図９に示す符号のうちの上述したものと同一のものは同一のものである。以下、第２実施形態と同一部分の説明は省略し、差分部分の動作について説明する。
この図９に示す蓄積パケット数監視部３３ｉは、受信パケットバッファ３４に蓄積された音声パケット数に基づいて、消失前音声パケットおよび消失後音声パケットのうちの一方を示す選択信号を出力するものである。
具体的には、蓄積パケット数監視部３３ｉは、受信パケットバッファ３４に格納されている音声パケット数ｎｒｐｋを入力され、また、式（Ｆ２２）に示すように、ｎｒｐｋに応じて、フラグｒｆｌａｇがピッチ変動推定部３３ｄ，パワー変動推定部３３ｃおよびピッチ信号生成部３３ｅにそれぞれ出力する。
2004068098.tif 000026
ピッチ変動推定部３３ｄは、ｒｆｌａｇ＝１の場合、ピッチ探索部３６ａ（図７参照）において第１実施形態と同様な方法により消失後区間のピッチ周期ｌａｇ（１）のみを算出する。そして、ピッチ変動算出部３６ｂは、式（Ｆ２３）を用いてピッチ変動特性ｄｌａｇを算出し、算出した値をピッチ信号生成部３３ｅに出力する。
2004068098.tif 000027
ここで、ｏｌｄ＿ｌａｇは過去（直前）に算出されたｌａｇ（１）であり、式（Ｆ２３）の算出後、毎回、式（Ｆ２４）により更新される。
2004068098.tif 000028
また、ＯＩＬＡＧ｛｝は外挿補間関数を表し、ピッチ変動算出部３６ｂが、この消失前区間におけるｏｌｄ＿ｌａｇからｌａｇ（１）へピッチ周期を変えることにより、ピッチ周期を変えた以後（消失区間）のサンプルごとのピッチ変動特性ｄｌａｇを外挿補間して出力する。補間関数は所望のものを使用でき、例えば１次関数や２次関数等を使用できる。
このように、蓄積パケット数監視部３３ｉは、受信パケットバッファ３４に蓄積された音声パケットの個数に応じた処理パターンを表すフラグｒｆｌａｇをピッチ変動推定部３３ｄ，パワー変動推定部３３ｃおよびピッチ信号生成部３３ｅのそれぞれに入力する。換言すれば、蓄積パケット数監視部３３ｉは、音声パケットの個数に応じて、ピッチ変動推定部３３ｄ，パワー変動推定部３３ｃおよびピッチ信号生成部３３ｅのそれぞれを制御可能である。
次に、パワー変動推定部３３ｃは、ｒｆｌａｇ＝１の場合、パワー算出部３５ａ（図６参照）において第１実施形態と同様な方法により消失後区間のパワーｐｏｗ（１）のみを算出する。次に、パワー変動推定部３３ｃにおいて、式（Ｆ２５）を用いてパワー変動特性ｒｐｏｗを算出する。
2004068098.tif 000029
ここで、ｏｌｄ＿ｐｏｗは過去（直前）に算出されたｐｏｗ（１）であり、式（Ｆ２５）の後で、毎回、式（Ｆ２６）により更新される。
2004068098.tif 000030
ピッチ信号生成部３３ｅは、ｒｆｌａｇ＝１の場合、式（Ｆ２７）に示すように、第１実施形態と同様な方法を用いて、ピッチ変動特性ｄｌａｇを有するピッチ信号ｐｉｔｓｉｇを生成する。つまり、消失前区間の信号のみが用いられる。
2004068098.tif 000031
ここで、
2004068098.tif 000032
また、ｒｆｌａｇ＝０の場合には、ピッチ変動推定部３３ｄ，パワー変動推定部３３ｃおよびピッチ信号生成部３３ｅは、いずれも、第２実施形態における処理と同様に処理する。
このように、例えばバースト的な伝送遅延揺らぎ等により受信パケットバッファ３４に蓄積された音声パケットがなくなった状態においても、消失前音声パケットを用いて消失隠蔽信号を生成できる。
なお、バースト的に連続した消失処理が必要となる場合は、ピッチ信号生成部３３ｅでは、ピッチ変動およびパワー変動の推定精度が極端に低下することを防止するため、消失隠蔽信号を徐々に減衰させて聴覚的な劣化を最小限に抑制する処理を行なうようにする。
以下、ピッチ変動について図１０（ａ）〜図１０（ｃ）を参照し、パワー変動について図１１（ａ）〜図１１（ｃ）を参照し、音声パケット消失隠蔽方法を用いて得た処理波形結果の例を説明する。ここで、図１０（ａ）および図１１（ａ）は、いずれも、原音波形を表す。図１０（ｂ）および図１１（ｂ）はいずれも公知文献１（Ｇ．７１１  Ａｐｐｅｎｄｉｘ  Ｉ）記載の処理波形を表し、また、図１０（ｃ）および図１１（ｃ）はいずれも本音声パケット消失隠蔽方法を用いて得られた処理波形が示されている。加えて、各波形にはパケット消失隠蔽区間が表示される。
図１０（ａ）に示す波形は原音波形であって、音声パケットの消失がない場合のものである。この図１０（ａ）に示す波形は、特徴的な形状の部分が繰り返し現れている。また、繰り返しの波形単位の「山」の部分又は「谷」の部分の時間幅がピッチ周期（ピッチ周期１，ピッチ周期２）に相当する。ここで、ピッチ周期は、揺らぎを有するので、図１０（ａ）に示す場合においては、ピッチ周期１からピッチ周期２となりピッチ周期が小さく変化している。
図１０（ｂ）に示す波形のうちのパケット消失隠蔽区間は、Ｐ１と付された波形部分と同一形状を有する波形が擬似的に繰り返して挿入されている。ここで、音声パケット消失隠蔽装置１（１ａ〜１ｃ）は、パケット消失隠蔽区間のピッチ周期が部分波形Ｐ１のピッチ周期と類似したピッチ周期を受信すると、予測により同一の部分波形Ｐ１を繰り返して挿入している。
ここで、原音信号に対してピッチ周期のずれが生じるので、パケット消失隠蔽区間とパケット消失隠蔽区間後の正常信号区間とにおける接合部（Ｐ２と付された破線部分）において、ピッチ周期の不整合が生じている。
これに対して、図１０（ｃ）に示す波形は、消失後区間のピッチ周期（ピッチ周期２）が消失前区間（ピッチ周期１）よりも小さくなる場合のものであり、消失区間のピッチ周期は、消失後信号のピッチ周期に近づくようになっている。ピッチ周期が徐々に小さくなることにより、ピッチ周期のズレが抑制され、接合部における不整合が改善される。また、これにより、主観的にも異音が解消される。
すなわち、ピッチ変動算出部３６ｂが、消失前区間のピッチ周期から、消失後区間のピッチ周期に変化するように隠蔽信号を生成するので、消失隠蔽区間のピッチ周期は、１ピッチ毎（より正確には１サンプル毎）に変化する。ピッチ変動算出部３６ｂが、このピッチ変動に対応する信号を生成し、式（Ｆ１３）に示すように、１サンプル毎のピッチラグ値を算出している。
この処理について、従来技術は、常に、同一のピッチ周期を用いているため、この図１０（ｂ）に示す波形は、原音波形に比較しピッチピークが右にずれている。
次に、パワー変動について、図１１（ａ）に示す波形は原音波形であって、音声パケットの消失がない場合におけるものである。ここで、縦軸方向は音声振幅を表す。
図１１（ｂ）に示す波形は、その振幅が徐々に減衰しフェイドアウトする振幅変動が生じている。
これに対して、図１１（ｃ）に示す波形は、接合部以後（消失後）の振幅に徐々に変動するように消失隠蔽信号が生成されている。また、主観的にも急激なミュート感による違和感が解消される。
このようにして、音声パケット消失隠蔽装置１，１ａ〜１ｃは、それぞれ、消失前の正常音声パケットから消失後の正常音声パケットへの滑らかなピッチ変動特性およびパワー変動特性を有する隠蔽信号を生成することができる。これにより、ピッチ周期の不整合による異音や信号パワー減衰によるミュート感が抑制され、音声パケット消失による自然性と連続性との主観的な劣化とを従来技術を用いたものよりも改善することができる。
（Ｄ）その他
本発明は上述した実施態様及びその変形態様に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、種々変形して実施することができる。
本発明が適用される通信システム又はネットワークは、ＶｏＩＰ通信システムのみならず、例えば、ＡＴＭ（Ａｓｙｎｃｈｒｏｎｏｕｓ  Ｔｒａｎｓｆｅｒ  Ｍｏｄｅ：非同期転送モード）ネットワークにおけるＶｏＡＴＭおよびＦＲ（Ｆｒａｍｅ  Ｒｅｌａｙ）交換機を介して高速ディジタル回線を利用するＶｏＦＲ等にも適用できる。
これらのＶｏＡＴＭ，ＶｏＦＲは、それぞれ、電話等の音声をパケット化するためのゲートウェイを介して、パケット伝送し、リアルタイムの音声通話が可能となる。
例えば、ＶｏＡＴＭを用いることにより、音声品質が向上し、また、伝送遅延，伝送遅延揺らぎ又は音声パケットの消失を大幅に改善できる。さらに、ＶｏＦＲを用いることにより、低価格で比較的高いレベルの音質を得ることができる。
【産業上の利用可能性】以上のように、本発明の音声パケット消失隠蔽装置，音声パケット消失隠蔽方法，受信端末および音声通信システムによれば、消失隠蔽パケットがパケット消失後に正常に受信された音声パケットと滑らかに波形接合できるので、ピッチ周期の不整合による異音および信号パワー減衰によるミュート感のいずれをも抑制でき、音声パケット消失により発生する聴覚的な自然性および連続性についての主観的な劣化を改善できる。
【図１】
2004068098.tif 000033
【図２】
2004068098.tif 000034
【図３】
2004068098.tif 000035
【図４】
2004068098.tif 000036
【図５】
2004068098.tif 000037
【図６】
2004068098.tif 000038
【図７】
2004068098.tif 000039
【図８】
2004068098.tif 000040
【図９】
2004068098.tif 000041
2004068098.tif 000042
2004068098.tif 000043
【図１２】
2004068098.tif 000044
2004068098.tif 000045
【図１４】
2004068098.tif 000046
【国際調査報告】
2004068098.tif 000047
2004068098.tif 000048