(57)【要約】【課題】受信したパケットが欠落した場合にも、より自然な音声を出力することができるようにする。【解決手段】ネットワーク２を介して受信したパケットが、パケット分解部34により分解される。信号復号部35はパケット分解部34より供給された再生符号化データを復号し、再生オーディオ信号として出力する。信号分析部37はパケットが欠落する前のフレームの旧再生オーディオ信号を分析し、線形予測残差信号を含む特徴パラメータを信号合成部38に出力する。信号合成部38は特徴パラメータに基づいて、生成した合成オーディオ信号を、欠落したパケットの信号に代えて出力する。【選択図】図１
2008058667.tif 000002
【特許請求の範囲】
【請求項１】
入力された符号化オーディオ信号を復号して、再生オーディオ信号を出力する復号手段と、
前記符号化オーディオ信号が欠落した場合、欠落する前の前記再生オーディオ信号を分析して、線形予測残差信号を生成する分析手段と、
前記線形予測残差信号に基づいて合成オーディオ信号を合成する合成手段と、
前記合成オーディオ信号と前記再生オーディオ信号のいずれかを選択して、連続する出力オーディオ信号として出力する選択手段と
を備える信号処理装置。
【請求項２】
前記分析手段は、
特徴パラメータである前記線形予測残差信号を生成する線形予測残差信号生成手段と、
前記線形予測残差信号から他の特徴パラメータである第１の特徴パラメータを生成するパラメータ生成手段を含み、
前記合成手段は、前記第１の特徴パラメータに基づいて、前記合成オーディオ信号を生成する
請求項１に記載の信号処理装置。
【請求項３】
前記線形予測残差信号生成手段はさらに第２の特徴パラメータを生成し、
前記合成手段は、前記第１の特徴パラメータと前記第２の特徴パラメータに基づいて、前記合成オーディオ信号を生成する
請求項２に記載の信号処理装置。
【請求項４】
前記線形予測残差信号生成手段は、前記第２の特徴パラメータとして線形予測係数を演算し、
前記パラメータ生成手段は、
前記線形予測残差信号をフィルタリングするフィルタ手段と、
フィルタリングされた前記線形予測残差信号の自己相関が最大になる遅延量をピッチ周期、その時の自己相関をピッチ利得として、それらピッチ周期とピッチ利得を、前記第１の特徴パラメータとして生成するピッチ抽出手段とを備える
請求項３に記載の信号処理装置。
【請求項５】
前記合成手段は、
前記線形予測残差信号から合成線形予測残差信号を生成する合成線形予測残差信号生成手段と、
前記合成線形予測残差信号を、前記第２の特徴パラメータに基づいて規定されるフィルタ特性に従ってフィルタ処理することで、前記合成オーディオ信号として出力される線形予測合成信号を生成する合成信号生成手段と
を備える請求項４に記載の信号処理装置。
【請求項６】
前記合成線形予測残差信号生成手段は、
前記線形予測残差信号から位相的が不規則に変化するノイズ性残差信号を生成するノイズ性残差信号生成手段と、
前記線形予測残差信号を前記ピッチ周期で繰り返した信号としての周期性残差信号を生成する周期性残差信号生成手段と、
前記第１の特徴パラメータに基づいて、前記ノイズ性残差信号と前記周期性残差信号とを所定の割合で加算して合成残差信号を生成し、前記合成線形予測残差信号として出力する合成残差信号生成手段と
を備える請求項５に記載の信号処理装置。
【請求項７】
前記ノイズ性残差信号生成手段は、
前記線形予測残差信号を高速フーリエ変換して、フーリエスペクトル信号を生成するフーリエ変換手段と、
前記フーリエスペクトル信号を平滑する平滑手段と、
平滑された前記フーリエスペクトル信号から異なる位相成分を付加してノイズ性スペクトル信号を生成するノイズ性スペクトル生成手段と、
前記ノイズ性スペクトル信号を逆高速フーリエ変換して前記ノイズ性残差信号を生成する逆高速フーリエ変換手段と
を備える請求項６に記載の信号処理装置。
【請求項８】
前記合成残差信号生成手段は、
前記ノイズ性残差信号に、前記ピッチ利得により規定される第１の係数を乗算する第１の乗算手段と、
前記周期性残差信号に、前記ピッチ利得により規定される第２の係数を乗算する第２の乗算手段と、
前記第１の係数が乗算された前記ノイズ性残差信号と、前記第２の係数が乗算された前記周期性残差信号とを加算して生成される合成残差信号を、前記合成線形予測残差信号として出力する加算手段と
を備える請求項６に記載の信号処理装置。
【請求項９】
前記周期性残差信号生成手段は、前記ピッチ利得が基準値より小さい場合、前記線形予測残差信号を前記ピッチ周期で繰り返した信号の代わりに、前記線形予測残差信号をランダムな位置から読み出すことで前記周期性残差信号を生成する
請求項６に記載の信号処理装置。
【請求項１０】
前記合成手段は、前記符号化オーディオ信号のエラーステータスの値またはエラー状態の経過時間に従って変化する係数を前記線形予測合成信号に乗算して利得調整合成信号を生成する利得調整合成信号生成手段をさらに備える
請求項５に記載の信号処理装置。
【請求項１１】
前記合成手段は、
前記再生オーディオ信号と前記利得調整合成信号とを所定の割合で加算して合成再生オーディオ信号を生成する合成再生オーディオ信号生成手段と、
前記合成再生オーディオ信号と前記利得調整合成信号のいずれか一方を選択して前記合成オーディオ信号として出力する出力手段と
をさらに備える請求項１０に記載の信号処理装置。
【請求項１２】
受信したパケットを分解して得られた前記符号化オーディオ信号を前記復号手段に供給する分解手段をさらに備える
請求項１に記載の信号処理装置。
【請求項１３】
前記合成手段は、前記復号手段、前記分析手段、および自分自身の動作を、前記オーディオ信号のエラーの有無によって制御する制御手段を備える
請求項１に記載の信号処理装置。
【請求項１４】
前記制御手段は、前記エラーが他の前記単位の処理に影響する場合、前記エラーが存在しなくても、前記再生オーディオ信号に代えて前記合成オーディオ信号を出力させる
請求項１３に記載の信号処理装置。
【請求項１５】
入力された符号化オーディオ信号を復号して、再生オーディオ信号を出力する復号ステップと、
前記符号化オーディオ信号が欠落した場合、欠落する前の前記再生オーディオ信号を分析して、線形予測残差信号を生成する分析ステップと、
前記線形予測残差信号に基づいて合成オーディオ信号を合成する合成ステップと、
前記合成オーディオ信号と前記再生オーディオ信号のいずれかを選択して、連続する出力オーディオ信号として出力する選択ステップと
を備える信号処理方法。
【請求項１６】
入力された符号化オーディオ信号を復号して、再生オーディオ信号を出力する復号ステップと、
前記符号化オーディオ信号が欠落した場合、欠落する前の前記再生オーディオ信号を分析して、線形予測残差信号を生成する分析ステップと、
前記線形予測残差信号に基づいて合成オーディオ信号を合成する合成ステップと、
前記合成オーディオ信号と前記再生オーディオ信号のいずれかを選択して、連続する出力オーディオ信号として出力する選択ステップと
をコンピュータに実行させるプログラム。
【請求項１７】
入力された符号化オーディオ信号を復号して、再生オーディオ信号を出力する復号ステップと、
前記符号化オーディオ信号が欠落した場合、欠落する前の前記再生オーディオ信号を分析して、線形予測残差信号を生成する分析ステップと、
前記線形予測残差信号に基づいて合成オーディオ信号を合成する合成ステップと、
前記合成オーディオ信号と前記再生オーディオ信号のいずれかを選択して、連続する出力オーディオ信号として出力する選択ステップと
をコンピュータに実行させるプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は信号処理装置および方法、記録媒体、並びにプログラムに関し、特に、受信したパケットが欠落した場合にも、より自然な音声を出力することができるようにした信号処理装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
最近、IP（Internet Protocol：インターネットプロトコル）電話が注目されている。IP電話においては、電話網の一部もしくは全てに、音声を各種符号化方式で圧縮し、パケットに変換した上で、インターネットに代表されるIPネットワークで、リアルタイム伝送する技術であるVoIP(Voice over Internet Protocol)技術が利用されている。
【０００３】
音声符号化には大きく分けて波形符号化とパラメトリック符号化がある。パラメトリック符号化は原音の周波数特性や基本周期にあたるピッチ周期などをパラメータとして抽出するもので、伝送路で何らかの情報の破損、欠落があっても過去のパラメータをそのまま使用するか、加工することにより復号器で容易に損失の影響を軽減することができることから広く用いられてきた。しかし、パラメトリック符号化は、高い圧縮効率が得られるが、処理音における波形再現性に乏しい問題点を有する。
【０００４】
これに対して、波形符号化は基本的に波形のイメージを基に符号化するものであり、圧縮効率はあまり高くないが、原音に忠実な処理音を得ることができる。しかし、近年は波形符号化においても圧縮効率の高いものも見られ、また高速通信回線の普及などもあり、通信においても波形符号化を使用するケースも見られるようになってきた。
【０００５】
波形符号化でも、伝送路で何らかの情報の破損、欠落があった場合に、受信側でその影響を軽減する技術が提案されている（例えば、特許文献１）。
【特許文献１】特開２００３−２１８９３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に提案されている方法では、いわゆるブザー音のような不自然な音声が出力されてしまい、人が聞いて、自然な音声を出力することが困難であった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、受信したパケットが欠落したような場合にも、より自然な音声を出力することができるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の側面は、入力された符号化オーディオ信号を復号して、再生オーディオ信号を出力する復号手段と、前記符号化オーディオ信号が欠落した場合、欠落する前の前記再生オーディオ信号を分析して、線形予測残差信号を生成する分析手段と、前記線形予測残差信号に基づいて合成オーディオ信号を合成する合成手段と、前記合成オーディオ信号と前記再生オーディオ信号のいずれかを選択して、連続する出力オーディオ信号として出力する選択手段とを備える信号処理装置である。
【０００９】
前記分析手段は、特徴パラメータである前記線形予測残差信号を生成する線形予測残差信号生成手段と、前記線形予測残差信号から他の特徴パラメータである第１の特徴パラメータを生成するパラメータ生成手段を含み、前記合成手段は、前記第１の特徴パラメータに基づいて、前記合成オーディオ信号を生成することができる。
【００１０】
前記線形予測残差信号生成手段はさらに第２の特徴パラメータを生成し、前記合成手段は、前記第１の特徴パラメータと前記第２の特徴パラメータに基づいて、前記合成オーディオ信号を生成することができる。
【００１１】
前記線形予測残差信号生成手段は、前記第２の特徴パラメータとして線形予測係数を演算し、前記パラメータ生成手段は、前記線形予測残差信号をフィルタリングするフィルタ手段と、フィルタリングされた前記線形予測残差信号の自己相関が最大になる遅延量をピッチ周期、その時の自己相関をピッチ利得とし、それらピッチ周期とピッチ利得を、前記第１の特徴パラメータとして生成するピッチ抽出手段とを備えることができる。
【００１２】
前記合成手段は、前記線形予測残差信号から合成線形予測残差信号を生成する合成線形予測残差信号生成手段と、前記合成線形予測残差信号を、前記第２の特徴パラメータに基づいて規定されるフィルタ特性に従ってフィルタ処理することで、前記合成オーディオ信号として出力される線形予測合成信号を生成する合成信号生成手段とを備えることができる。
【００１３】
前記合成線形予測残差信号生成手段は、前記線形予測残差信号から位相的が不規則に変化するノイズ性残差信号を生成するノイズ性残差信号生成手段と、前記線形予測残差信号を前記ピッチ周期で繰り返した信号としての周期性残差信号を生成する周期性残差信号生成手段と、前記第１の特徴パラメータに基づいて、前記ノイズ性残差信号と前記周期性残差信号とを所定の割合で加算して合成残差信号を生成し、前記合成線形予測残差性信号として出力する合成残差信号生成手段とを備えることができる。
【００１４】
前記ノイズ性残差信号生成手段は、前記線形予測残差信号を高速フーリエ変換して、フーリエスペクトル信号を生成するフーリエ変換手段と、前記フーリエスペクトル信号を平滑する平滑手段と、平滑された前記フーリエスペクトル信号から異なる位相成分を付加してノイズ性スペクトル信号を生成するノイズ性スペクトル生成手段と、前記ノイズ性スペクトル信号を逆高速フーリエ変換して前記ノイズ性残差信号を生成する逆高速フーリエ変換手段とを備えることができる。
【００１５】
前記合成残差信号生成手段は、前記ノイズ性残差信号に、前記ピッチ利得により規定される第１の係数を乗算する第１の乗算手段と、前記周期性残差信号に、前記ピッチ利得により規定される第２の係数を乗算する第２の乗算手段と、前記第１の係数が乗算された前記ノイズ性残差信号と、前記第２の係数が乗算された前記周期性残差信号とを加算して生成される合成残差信号を、前記合成線形予測残差信号として出力する加算手段とを備えることができる。
【００１６】
前記周期性残差信号生成手段は、前記ピッチ利得が基準値より小さい場合、前記線形予測残差信号を前記ピッチ周期で繰り返した信号の代わりに、前記線形予測残差信号をランダムな位置から読み出すことで前記周期性残差信号を生成することができる。
【００１７】
前記合成手段は、前記符号化オーディオ信号のエラーステータスの値またはエラー状態の経過時間に従って変化する係数を前記線形予測合成信号に乗算して利得調整合成信号を生成する利得調整合成信号生成手段をさらに備えることができる。
【００１８】
前記合成手段は、前記再生オーディオ信号と前記利得調整合成信号とを所定の割合で加算して合成再生オーディオ信号を生成する合成再生オーディオ信号生成手段と、前記合成再生オーディオ信号と前記利得調整合成信号のいずれか一方を選択して前記合成オーディオ信号として出力する出力手段とをさらに備えることができる。
【００１９】
受信したパケットを分解して得られた前記符号化オーディオ信号を前記復号手段に供給する分解手段をさらに備えることができる。
【００２０】
前記合成手段は、前記復号手段、前記分析手段、および自分自身の動作を、前記オーディオ信号のエラーの有無によって制御する制御手段を備えることができる。
【００２１】
前記制御手段は、前記エラーが他の前記単位の処理に影響する場合、前記エラーが存在しなくても、前記再生オーディオ信号に代えて前記合成オーディオ信号を出力させることができる。
【００２２】
本発明の側面はまた、入力された符号化オーディオ信号を復号して、再生オーディオ信号を出力する復号ステップと、前記符号化オーディオ信号が欠落した場合、欠落する前の前記再生オーディオ信号を分析して、線形予測残差信号を生成する分析ステップと、前記線形予測残差信号に基づいて合成オーディオ信号を合成する合成ステップと、前記合成オーディオ信号と前記再生オーディオ信号のいずれかを選択して、連続する出力オーディオ信号として出力する選択ステップとを備える信号処理方法、またはプログラムもしくはそのプログラムが記録されている記録媒体である。
【００２３】
本発明の側面においては、符号化オーディオ信号を復号して得られた再生オーディオ信号を分析して、線形予測残差信号が生成される。線形予測残差信号に基づいて合成オーディオ信号が合成され、合成オーディオ信号と再生オーディオ信号のいずれかが選択され、連続する出力オーディオ信号として出力される。
【発明の効果】
【００２４】
以上のように、本発明の側面によれば、パケットが欠落した場合においても、再生オーディオ信号の不連続性を軽減することができる。特に、本発明の側面によれば、より自然に近いオーディオ信号を出力することができる。
【発明を実施するための最良の形態】
【００２５】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２６】
本発明の一側面は、入力された符号化オーディオ信号を復号して、再生オーディオ信号を出力する復号手段(例えば、図１の信号復号部35)と、前記符号化オーディオ信号が欠落した場合、欠落する前の前記再生オーディオ信号を分析して、線形予測残差信号を生成する分析手段(例えば、図１の信号分析部37)と、前記線形予測残差信号に基づいて合成オーディオ信号(例えば、図１の合成オーディオ信号)を合成する合成手段(例えば、図１の信号合成部38)と、前記合成オーディオ信号と前記再生オーディオ信号のいずれかを選択して、連続する出力オーディオ信号として出力する選択手段(例えば、図１のスイッチ39)とを備える信号処理装置(例えば、図１のパケット音声通信装置１)。
【００２７】
前記分析手段は、特徴パラメータである前記線形予測残差信号を生成する線形予測残差信号生成手段(例えば、図２の線形予測分析部61)と、前記線形予測残差信号から他の特徴パラメータである第１の特徴パラメータ(例えば、図２のピッチ周期pitchとピッチ利得pch_g)を生成するパラメータ生成手段(例えば、図２のフィルタ62とピッチ抽出部63)を含み、前記合成手段は、前記第１の特徴パラメータに基づいて、前記合成オーディオ信号を生成する。
【００２８】
前記線形予測残差信号生成手段はさらに第２の特徴パラメータ(例えば、図２の線形予測係数)を生成し、前記合成手段は、前記第１の特徴パラメータと前記第２の特徴パラメータに基づいて、前記合成オーディオ信号を生成する。
【００２９】
前記線形予測残差信号生成手段は、前記第２の特徴パラメータとして線形予測係数を演算し、前記パラメータ生成手段は、前記線形予測残差信号をフィルタリングするフィルタ手段(例えば、図２のフィルタ62)と、フィルタリングされた前記線形予測残差信号の自己相関が最大になる遅延量をピッチ周期、その時の自己相関をピッチ利得として、それらピッチ周期とピッチ利得を、前記第１の特徴パラメータとして生成するピッチ抽出手段(例えば、図２のピッチ抽出部63)とを備える。
【００３０】
前記合成手段は、前記線形予測残差信号から合成線形予測残差信号(例えば、図３の合成残差信号rA[n])を生成する合成線形予測残差信号生成手段(例えば、図３のブロック121)と、前記合成線形予測残差信号を、前記第２の特徴パラメータに基づいて規定されるフィルタ特性に従ってフィルタ処理することで、前記合成オーディオ信号(例えば、図３の合成オーディオ信号ｓH’’[n])として出力される線形予測合成信号を生成する合成信号生成手段(例えば、図３のLPC合成部110)とを備える。
【００３１】
前記合成線形予測残差信号生成手段は、前記線形予測残差信号から位相的が不規則に変化するノイズ性残差信号を生成するノイズ性残差信号生成手段(例えば、図３のブロック122)と、前記線形予測残差信号を前記ピッチ周期で繰り返した信号としての周期性残差信号を生成する周期性残差信号生成手段(例えば、図３の信号反復部107)と、前記第１の特徴パラメータに基づいて、前記ノイズ性残差信号と前記周期性残差信号とを所定の割合で加算して合成残差信号を生成し、前記合成線形予測残差信号として出力する合成残差信号生成手段(例えば、図３のブロック123)とを備える。
【００３２】
前記ノイズ性残差信号生成手段は、前記線形予測残差信号を高速フーリエ変換して、フーリエスペクトル信号を生成するフーリエ変換手段(例えば、図３のFFT部102)と、前記フーリエスペクトル信号を平滑する平滑手段(例えば、図３のスペクトル平滑部103)と、平滑された前記フーリエスペクトル信号から異なる位相成分を付加してノイズ性スペクトル信号を生成するノイズ性スペクトル生成手段(例えば、図３のノイズ性スペクトル生成部104)と、前記ノイズ性スペクトル信号を逆高速フーリエ変換して前記ノイズ性残差信号を生成する逆高速フーリエ変換手段(例えば、図３のIFFT部105)とを備える。
【００３３】
前記合成残差信号生成手段は、前記ノイズ性残差信号に、前記ピッチ利得により規定される第1の係数(例えば、図３の係数β2)を乗算する第１の乗算手段(例えば、図３の乗算部106)と、前記周期性残差信号に、前記ピッチ利得により規定される第2の係数(例えば、図３の係数β1)を乗算する第２の乗算手段(例えば、図３の乗算部108)と、前記第１の係数が乗算された前記ノイズ性残差信号と、前記第２の係数が乗算された前記周期性残差信号とを加算して生成される合成残差信号を、前記合成線形予測残差信号として出力する加算手段(例えば、図３の加算部109)とを備える。
【００３４】
前記周期性残差信号生成手段は、前記ピッチ利得が基準値より小さい場合、前記線形予測残差信号を前記ピッチ周期で繰り返した信号の代わりに、前記線形予測残差信号をランダムな位置から読み出すことで前記周期性残差信号を生成する（例えば、式（６）と式（７）による処理）。
【００３５】
前記合成手段は、前記符号化オーディオ信号のエラーステータスの値またはエラー状態の経過時間に従って変化する係数(例えば、図３の係数β3)を前記線形予測合成信号に乗算して利得調整合成信号を生成する利得調整合成信号生成手段(例えば、図３の乗算部111)をさらに備える。
【００３６】
前記合成手段は、前記再生オーディオ信号と前記利得調整合成信号とを所定の割合で加算して合成再生オーディオ信号を生成する合成再生オーディオ信号生成手段(例えば、図３の加算部114)と、前記合成再生オーディオ信号と前記利得調整合成信号のいずれか一方を選択して前記合成オーディオ信号として出力する出力手段(例えば、図３のスイッチ115)とをさらに備える。
【００３７】
受信したパケットを分解して得られた前記符号化オーディオ信号を前記復号手段に供給する分解手段(例えば、図１のパケット分解部34)をさらに備える。
【００３８】
前記合成手段は、前記復号手段、前記分析手段、および自分自身の動作を、前記オーディオ信号のエラーの有無によって制御する制御手段（例えば、図３のステータス制御部101）を備える。
【００３９】
前記制御手段は、前記エラーが他の前記単位の処理に影響する場合、前記エラーが存在しなくても、前記再生オーディオ信号に代えて前記合成オーディオ信号を出力させる（例えば、図30のエラーステータスが−２である状態の処理）。
【００４０】
本発明の側面はまた、入力された符号化オーディオ信号を復号して、再生オーディオ信号を出力する復号ステップ(例えば、図６のステップS23)と、前記符号化オーディオ信号が欠落した場合、欠落する前の前記再生オーディオ信号を分析して、線形予測残差信号を生成する分析ステップ(例えば、図６のステップS25)と、前記線形予測残差信号に基づいて合成オーディオ信号を合成する合成ステップ(例えば、図６のステップS26)と、前記合成オーディオ信号と前記再生オーディオ信号のいずれかを選択して、連続する出力オーディオ信号として出力する選択ステップ(例えば、図６のステップS28,S29)とを備える信号処理方法(例えば、図６の受信処理方法)、またはプログラムもしくはそのプログラムが記録されている記録媒体である。
【００４１】
以下、図を参照して本発明の実施の形態について説明する。
【００４２】
本発明は、主として人の音声に代表されるオーディオ信号を、波形符号化器を介して符号化し、伝送路を通じて送信し、受信側の波形復号器で復号し、再生可能にするシステムにおいて、主に伝送路において伝送情報の破損、消失があり、受信側でこれを検知した際に過去の再生信号から特徴を抽出して得られた情報に基づいて代替信号を生成することにより、情報損失の影響を軽減するものである。
【００４３】
図１は、本発明のパケット音声通信装置の実施の形態の構成を表す。この実施の形態では、１フレーム分の符号化データが、連続する２フレーム分の復号に使用される。
【００４４】
このパケット音声通信装置１は、送信ブロック11と受信ブロック12により構成されている。送信ブロック11は、入力部21、信号符号化部22、パケット生成部23、および送信部24により構成されている。受信ブロック12は、受信部31、ジッタバッファ32、ジッタ制御部33、パケット分解部34、信号復号部35、信号バッファ36、信号分析部37、信号合成部38、スイッチ39、および出力部40により構成されている。
【００４５】
送信ブロック11の入力部21はマイクロホンを内蔵し、主に人の音声を入力する。入力部21は入力された音声に対応するオーディオ信号を出力する。このオーディオ信号は所定の時間間隔を表す単位であるフレーム毎に区切られている。
【００４６】
信号符号化部22はオーディオ信号を符号化データに変換する。この符号化方式としては、例えばATRAC(Adaptive Transform Acoustic Coding)(商標)が用いられる。ATRACでは、オーディオ信号は４つの周波数帯域に分割された後、Modified DCT(変形離散コサイン変換)により、時間ベースのデータから周波数ベースのデータに変換され、圧縮符号化される。
【００４７】
パケット生成部23は、信号符号化部22から入力される１個以上の符号化データの一部または全部をまとめ、ヘッダ等を付加してパケットデータを生成する。送信部24は、パケット生成部23から供給されるパケットデータにVoIPのための送信処理を施し、送信データとして、インターネットに代表されるネットワーク２を介して、図示せぬ相手のパケット音声通信装置に送信する。
【００４８】
なお、ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。
【００４９】
また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。
【００５０】
受信ブロック12の受信部31は、相手のパケット音声通信装置からネットワーク２を介して送信されてきたデータを受信し、再生パケットデータに変換し出力する。この受信部31は、なんらかの要因でパケットが受信されないか、受信データにエラーが見つかった場合に第１のエラーフラグFe1に１をセットし、異常がなかった場合に０をセットし、出力する。
【００５１】
ジッタバッファ32は、受信部31から供給された再生パケットデータ及び第１のエラーフラグFe1を一旦記録するメモリである。ジッタ制御部33は、ネットワーク遅延などにより等間隔でパケットデータが受信できない状況においても、再生パケットデータや第１のエラーフラグFe1を、比較的等間隔でジッタバッファ32から後段のパケット分解部34に送り出せるように調節する。
【００５２】
パケット分解部34は再生パケットデータ及び第１のエラーフラグFe1をジッタバッファ32から受け取り、第１のエラーフラグFe1に０がセットされている場合、再生パケットデータを正規のデータとして処理し、第１のエラーフラグFe1に１がセットされている場合、再生パケットデータを破棄する。また、パケット分解部34は、再生パケットデータを分解して生成した再生符号化データを信号復号部35に出力する。この場合、パケット分解部34は、再生符号化データが正常であるとき、第２のエラーフラグFe2に０をセットし、再生符号化データにエラーがあるか、再生符号化データが存在しないとき、すなわち、再生符号化データが実質的に欠落しているとき、第２のエラーフラグFe2に１をセットして、信号復号部35と信号合成部38に出力する。
【００５３】
信号復号部35は、パケット分解部34から供給された第２のエラーフラグFe2に０がセットされている場合、やはりパケット分解部34から供給された再生符号化データを、信号符号化部22における符号化方式と対応する復号方式で復号し、再生オーディオ信号を出力するが、第２のエラーフラグFe2に１がセットされている場合、再生符号化データを復号しない。
【００５４】
信号バッファ36は、信号復号部36から出力された再生オーディオ信号を記憶し、その一旦記憶した再生オーディオ信号を、所定のタイミングで旧再生オーディオ信号として、信号分析部37に出力する。
【００５５】
信号分析部37は、信号合成部38から供給される制御フラグFcに１がセットされている場合、信号バッファ36から供給される旧再生オーディオ信号を分析し、短期予測係数としての線形予測係数ai、短期予測残差信号としての線形予測残差信号r[n]、ピッチ周期pitch、ピッチ利得pch_gなどの特徴パラメータを信号合成部38に出力する。
【００５６】
信号合成部38は、第２のエラーフラグFe2が０から１に変わった場合（後述する図30の第２フレーム、第５フレーム、第８フレームの場合）、制御フラグFcに１をセットして信号分析部37に出力し、信号分析部37から特徴パラメータを受け取る。さらに、信号合成部38は、その特徴パラメータに基づいて合成オーディオ信号を生成し、出力する。また、信号合成部38は、第２のエラーフラグFe2が１から２回連続して０になった場合（例えば、後述する図30の第４フレーム、第10フレームの場合）、信号復号部35から供給された再生オーディオ信号と、内部で生成した利得調整合成信号sA’[n]を任意の比率で加算して、合成オーディオ信号として出力する。
【００５７】
スイッチ39は、信号合成部38から供給される出力制御フラグFcoに基づいて、信号復号部35が出力する再生オーディオ信号と、信号合成部38が出力する合成オーディオ信号の一方を選択し、連続する出力オーディオ信号として出力部40に出力する。スピーカ等を内蔵する出力部40は、出力オーディオ信号に対応する音声を出力する。
【００５８】
図２は信号分析部37の構成を示すブロック図である。信号分析部37は、線形予測分析部61、フィルタ62、およびピッチ抽出部63により構成されている。
【００５９】
線形予測分析部61は、信号合成部38からの制御フラグFcが１にセットされていることを検出すると、信号復号部35から供給されるNサンプルからなる旧再生オーディオ信号s[n]に、式（１）で表される次数ｐの線形予測フィルタA-1(z)を適用し、線形予測フィルタA-1(z)でフィルタリングされた線形予測残差信号r[n]を生成するとともに、線形予測フィルタA-1(z)の線形予測係数aiを導出する。
【００６０】
【数１】
2008058667.tif 000003
【００６１】
例えばローパスフィルタで構成されるフィルタ62は、線形予測分析部61により生成された線形予測残差信号r[n]を適当なフィルタ特性でフィルタリングすることで、フィルタ線形予測残差信号rL[n]を演算する。ピッチ抽出部63は、フィルタ62が生成したフィルタ線形予測残差信号rL[n]から、ピッチ周期pitch及びピッチ利得pch_gを得るため以下の演算を行う。
【００６２】
すなわち、ピッチ抽出部63は、次の式（２）に表されるように、フィルタ線形予測残差信号rL[n]に所定の窓関数h[n]を乗算して、窓掛けした残差信号rw[n]を生成する。
【００６３】
【数２】
2008058667.tif 000004
【００６４】
次に、ピッチ抽出部63は、窓掛けした残差信号rw[n]の自己相関ac[L]を、次の式（３）に基づいて演算する。
【００６５】
【数３】
2008058667.tif 000005
【００６６】
ここでLminは探索するピッチ周期の最小値、Lmaxは最大値を表わす。
【００６７】
自己相関ac[L]が最大になるときのサンプル値Ｌをピッチ周期pitch、そのときの自己相関ac[L]の値をピッチ利得pch_gとする。ただし、必要に応じてピッチ周期、ピッチ利得の決定アルゴリズムを他の方法に変更してもよい。
【００６８】
図３は、信号合成部38の構成を示すブロック図である。この信号合成部38は、ステータス制御部101、FFT(First Fourier Transform)部102、スペクトル平滑部103、ノイズ性スペクトル生成部104、IFFT(Inverse First Fourier Transform)部105、乗算部106、信号反復部107、乗算部108、加算部109、LPC(Linear Predictive Coding)合成部110、乗算部111,112,113、加算部114、およびスイッチ115により構成されている。
【００６９】
ステータス制御部101は、ステートマシンにより構成されており、パケット分解部34より供給される第２のエラーフラグFe2に基づいて、出力制御フラグFcoを生成し、スイッチ39の切り替えを制御する。スイッチ39は、出力制御フラグFcoが０のとき、接点Ａ側に、１のとき接点Ｂ側に、それぞれ切り替えられる。ステータス制御部101はまた、オーディオ信号のエラーの状態を表すエラーステータスに基づいて、FFT部102、乗算部111、およびスイッチ115を制御する。
【００７０】
FFT部102は、エラーステータスが１のとき高速フーリエ変換処理を実行する。乗算部111が、LPC合成部110が出力する線形予測合成信号sA[n]に乗算する係数β3は、エラーステータスの値やエラー状態の経過時間に従って変化する。スイッチ115は、エラーステータスが−１のとき、接点Ｂ側に、それ以外のとき（-2,0,1,2のとき）、接点Ａ側に、それぞれ切り替えられる。
【００７１】
FFT部102は、線形予測分析部61が出力する特徴パラメータとしての線形予測残差信号r[n]を高速フーリエ変換し、得られたフーリエスペクトル信号R[k]をスペクトル平滑部103に出力する。スペクトル平滑部103は、フーリエスペクトル信号R[k]を平滑し、得られた平滑フーリエスペクトル信号R’[k]をノイズ性スペクトル生成部104に出力する。ノイズ性スペクトル生成部104は、平滑フーリエスペクトル信号R’[k]の位相が不規則に変化するようにしてノイズ性スペクトル信号R”[k]を生成し、IFFT部105に出力する。
【００７２】
IFFT部105は、入力されたノイズ性スペクトル信号R”[k]を、逆高速フーリエ変換することでノイズ性残差信号r”[n]を生成し、乗算部106に出力する。乗算部106は、入力されたノイズ性残差信号r”[n]に係数β2乗算し、加算部109に出力する。係数β2は、ピッチ抽出部63より供給される特徴パラメータとしてのピッチ利得pch_gの関数とされている。
【００７３】
信号反復部107は、線形予測分析部61から供給される線形予測残差信号r[n]を、ピッチ抽出部63より供給される特徴パラメータとしてのピッチ周期pitchで反復することで周期性残差信号rH[n]を生成し、乗算部108に出力する。信号反復部107で反覆処理に利用される関数は、特徴パラメータとしてのピッチ利得pch_gに基づいて変更される。乗算部108は、周期性残差信号rH[n]に係数β1を乗算し、加算部109に出力する。係数β1も係数β2と同様に、ピッチ利得pch_gの関数とされている。加算部109は、乗算部106より入力されたノイズ性残差信号r”[n]と乗算部108より入力された周期性残差信号rH[n]を加算して、合成残差信号rA[n]を生成し、LPC合成部110に出力する。
【００７４】
FFT部102、スペクトル平滑部103、ノイズ性スペクトル生成部104、IFFT部105、乗算部106、信号反復部107、乗算部108、および加算部109よりなるブロック121は、線形予測残差信号r[n]から、合成線形予測残差信号としての合成残差信号rA[n]を演算するブロックである。そのうちのFFT部102、スペクトル平滑部103、ノイズ性スペクトル生成部104、およびIFFT部105よりなるブロック122は、線形予測残差信号r[n]からノイズ性残差信号r”[n]を生成するブロックであり、乗算部106，108と加算部109からなるブロック123は、信号反復部107により生成された周期性残差信号rH’[n]と、ブロック122で生成されたノイズ性残差信号r”[n]を、所定の割合で合成し、合成線形予測残差信号としての合成残差信号rA[n]を演算するブロックである。ここでいう合成線形予測残差信号は周期性残差信号のみを使うことでおこる、いわゆる“ブザー音“を軽減することが出来るノイズ性残差信号を含むことでより自然感のある音質を実現可能なものである。
【００７５】
LPC合成部110は、加算部109より供給される合成残差信号rA[n]に対して、線形予測分析部61より供給される線形予測係数aiにより規定されるフィルタ関数を適用することで、線形予測合成信号sA[n]を生成し、乗算部111に出力する。乗算部111は、線形予測合成信号sA[n]に係数β3を乗算することで利得調整合成信号sA’[n]を生成し、スイッチ115の接点Ａと乗算部112に出力する。利得調整合成信号sA’[n]は、スイッチ115が接点Ａ側に切り替えられたとき、合成オーディオ信号sH”[n]としてスイッチ39の接点Ｂに供給される。
【００７６】
乗算部112は、利得調整合成信号sA’[n]に、任意の値に設定される係数β5を乗算し、加算部114に出力する。乗算部113は、信号復号部35より供給された再生オーディオ信号sH[n]に、任意の値に設定される係数β4を乗算し、加算部114に出力する。加算部114は、乗算部112より入力された利得調整合成信号sA’[n]と、乗算部113より入力された再生オーディオ信号sH[n]を加算することで、合成再生オーディオ信号sH’[n]を生成し、スイッチ115の接点Ｂに供給する。合成再生オーディオ信号sH’[n]は、スイッチ115が接点Ｂ側に切り替えられたとき、合成オーディオ信号sH”[n]としてスイッチ39の接点Ｂに供給される。
【００７７】
図４は、ステータス制御部101の構成を表している。同図に示されているように、ステータス制御部101はステートマシンにより構成されている。図４において、円内の数字はエラーステータスを表し、これにより信号合成部38の各部の動作が制御される。円から伸びる矢印はエラーステータスの遷移を表し、矢印の近傍の数字は第２のエラーフラグFe2を表す。
【００７８】
例えば、エラーステータスが０である状態において、第２のエラーフラグFe2が０の場合、エラーステータスは遷移せず（後述する図12のステップS95）、１の場合、エラーステータス１に遷移する（後述する図12のステップS86）。
【００７９】
エラーステータスが１である状態において、第２のエラーフラグFe2が０の場合、エラーステータス−２に遷移し（後述する図12のステップS92）、１の場合、エラーステータス２に遷移する（後述する図12のステップS89）。
【００８０】
エラーステータスが２である状態において、第２のエラーフラグFe2が０の場合、エラーステータス−２に遷移し（後述する図12のステップS92）、１の場合、遷移しない（後述する図12のステップS89）。
【００８１】
エラーステータスが−１である状態において、第２のエラーフラグFe2が０の場合、エラーステータス０に遷移し（後述する図12のステップS95）、１の場合、エラーステータス１に遷移する（後述する図12のステップS86）。
【００８２】
エラーステータスが−２である状態において、第２のエラーフラグFe2が０の場合、エラーステータス−１に遷移し（後述する図12のステップS94）、１の場合、エラーステータス２に遷移する（後述する図12のステップS89）。
【００８３】
次に、パケット音声通信装置１の動作について説明する。
【００８４】
最初に図５を参照して、送信処理について説明する。ユーザは、音声を相手のパケット音声通信装置に送信する場合、音声を入力部21から入力する。入力部21は、入力された音声に対応するオーディオ信号をデジタル信号とし、フレーム単位で区分し、信号符号化部22に供給する。ステップS1において、信号符号化部22は、入力部21より入力された音声信号をATRAC方式で符号化する。もちろん符号化方式はATRAC以外の方式とすることもできる。
【００８５】
ステップS2において、パケット生成部23は、信号符号化部22より出力された符号化データをパケット化する。すなわち、１個以上の符号化データの全部または一部がパケットにまとめられ、パケットの先頭にヘッダが付加される。ステップS3で送信部24は、パケット生成部23により生成されたパケットを、VoIPフォーマットにしたがって変調し、ネットワーク２を介して相手側のパケット音声通信装置に送信する。
【００８６】
送信されたパケットは、相手側のパケット音声通信装置により受信される。そして、相手側のパケット音声通信装置よりネットワーク２を介してパケットが送信されてくると、図６に示される受信処理が実行される。
【００８７】
すなわち、この実施の形態においては、送信側で音声信号を所定の時間間隔で区分し、符号化した上で伝送路を介して送信し、受信側で受信後、復号するシステムが構成されている。
【００８８】
ステップS21において、受信部31はネットワーク２を介して送信されてきたパケットを受信する。受信部31は、受信データからパケットデータを再生し、再生パケットデータとして出力する。このとき、受信部31は、パケットデータが受信されない、受信データにエラーが存在するなどの異常が存在する場合、第１のエラーフラグFe1に１を設定し、異常が存在しない場合、０を設定し、出力する。再生パケットデータと第１のエラーフラグFe1は、ジッタバッファ32に一旦記憶された後、等間隔でパケット分解部34に供給される。これにより、ネットワーク２における遅延が補償される。
【００８９】
ステップS22において、パケット分解部34はパケットを分解する。すなわち、パケット分解部34は、第１のエラーフラグFe1に０が設定されている場合（異常が存在しない場合）、パケットを分解し、パケット内の符号化データを再生符号化データとして信号復号部35に出力する。第１のエラーフラグFe1に１が設定されている場合（異常が存在する場合）、パケット分解部34はパケットデータを破棄する。パケット分解部34はまた、再生符号化データが正常であれば、第２のエラーフラグFe2に０を設定し、再生符号化データにエラーが存在したり、符号化データが欠落しているなどの異常があれば、第２のエラーフラグFe2に１を設定し、信号復号部35と信号合成部38に出力する。なお、異常が存在する場合を、単にデータが欠落していると表現する場合もある。
【００９０】
ステップS23において、信号復号部35はパケット分解部34より供給された符号化データを復号する。より詳細には、信号復号部35は、第２のエラーフラグFe2が１である場合（異常がある場合）には、復号処理を実行せず、０である場合(正常である場合)、復号処理を実行し、得られた再生オーディオ信号を出力する。再生オーディオ信号は、スイッチ39の接点Ａの他、信号バッファ36と信号合成部38に供給される。ステップS24において、信号バッファ36は再生オーディオ信号を記憶する。
【００９１】
ステップS25において、信号分析部37は、信号分析処理を実行する。この処理の詳細は、図７のフローチャートに示されている。
【００９２】
図７のステップS51において、線形予測分析部61は、制御フラグFcが１かを判定する。パケット分解部34より供給される制御フラグFcが１である場合（異常が存在する場合）、ステップS52において、線形予測分析部61は、信号バッファ36より旧再生オーディオ信号を取得し、線形予測分析する。すなわち、現フレームより前のフレームの正常な再生オーディオ信号であって、最新のフレームの再生オーディオ信号である旧再生オーディオ信号s[n]に対して、式（１）の線形予測フィルタを適用することで、フィルタリングされた線形予測残差信号r[n]が生成されるとともに、次数ｐの線形予測フィルタの線形予測係数aiが導出される。線形予測残差信号r[n]はフィルタ62の他、FFT部102と信号反復部107に供給され、線形予測係数aiは、LPC合成部110に供給される。
【００９３】
例えば、図8Aに示されるような、各周波数におけるピーク値のレベルが異なっている旧再生オーディオ信号s[n]に対して、式（１）の線形予測フィルタを適用することで、図8Bに示されるような、ピーク値がほぼ一定のレベルに揃うようにフィルタリングされた線形予測残差信号r[n]が生成される。
【００９４】
さらに、例えば、サンプリング周波数が48kHzであり、１フレームのサンプリング数が960個であるとし、符号化データが正常に受信できなくなったフレームより前のフレームの最後に受信した（最新の）フレームの信号が図９に示されるような信号であったとすると、この再生オーディオ信号が信号バッファ36に記憶されていることになる。図９の信号は、母音等の周期性の強い特性を有する信号である。これが旧再生オーディオ信号として線形予測分析され、図10に示されるような線形予測残差信号r[n]が生成される。
【００９５】
このように、線形予測残差信号r[n]を生成することで、後述するように、さらに、伝送路等でエラーや情報消失が検出された場合に、直前の正常な受信データから得られた復号信号を分析し、ピッチ周期pitchで繰り返された成分としての周期性残差信号rH[n]を生成することができ、また、雑音性の強い成分としてのノイズ性残差信号r”[n] を生成することができる。そして、両者を加算した信号である線形予測合成信号sA[n]を生成し、エラーや情報が消失するなどして、実質的に情報が欠落した場合に、欠落区間において、受信データの真の復号信号に代えて、出力することが可能となる。
【００９６】
ステップS53において、フィルタ62は、所定のフィルタを使用して、線形予測残差信号r[n]をフィルタリングし、フィルタ線形予測残差信号rL[n]を生成する。所定のフィルタとしては一般的に残差信号は高域成分を多く含んでおり、ピッチ周期のような低域成分を抽出できるような、例えばローパスフィルタを使用することができる。ステップS54において、ピッチ抽出部63は、ピッチ周期とピッチ利得を演算する。すなわち、ピッチ抽出部63は、式（２）に従って、フィルタ線形予測残差信号rL[n]に窓関数h[n]乗算し、窓掛した残差信号rw[n]を得る。さらにピッチ抽出部63は、式（３）に従って、窓掛した残差信号rw[n]の自己相関ac[L]を演算する。そしてピッチ抽出部63は、自己相関ac[L]の最大値をピッチ利得pch_gとし、自己相関ac[L]が最大となるときのサンプル数Ｌをピッチ周期pitchとする。ピッチ利得pch_gは信号反復部107、乗算部106,108に供給され、ピッチ周期pitchは信号反復部107に供給される。
【００９７】
図11は、図10に示される線形予測残差信号r[n]について演算された自己相関ac[L]を表している。この場合、最大値は約0.9542となり、そのときのサンプル数Ｌは216となっている。従って、この場合、ピッチ利得pch_gは0.9542となり、ピッチ周期pitchは216となる。図10の実線の矢印は、216サンプルのピッチ周期pitchを表している。
【００９８】
図６に戻って、以上のようにしてステップS25の信号分析処理が行われた後、ステップS26において、信号合成部26は信号合成処理を実行する。その詳細は、図12を参照して後述するが、これにより、線形予測残差信号r[n]、線形予測係数ai、ピッチ周期pitch、およびピッチ利得pch_gなどの特徴パラメータに基づいて、合成オーディオ信号sH”[n]が生成される。
【００９９】
ステップS27において、スイッチ39は出力制御フラグFcoが１かを判定する。ステータス制御部101が出力する出力制御フラグFcoが０である場合（正常である場合）、ステップS29において、スイッチ39は接点Ａ側に切り替わる。これにより、信号復号部35により復号された再生オーディオ信号が、スイッチ39の接点Ａを介して出力部40に供給され、対応する音声が出力される。
【０１００】
これに対して、ステータス制御部101が出力する出力制御フラグFcoが１である場合（異常が存在する場合）、ステップS28において、スイッチ39は接点Ｂ側に切り替わる。これにより、信号合成部38により合成された合成オーディオ信号sH”[n]が、再生オーディオ信号に替えて、スイッチ39の接点Ｂを介して出力部40に供給され、対応する音声が出力される。従って、ネットワーク２上においてパケットが欠落したような場合においても、音声を出力することができる。すなわち、パケット欠落による影響を軽減することができる。
【０１０１】
次に図12と図13を参照して、図６のステップS26の信号合成処理の詳細について説明する。この処理はフレーム毎に行われる。
【０１０２】
ステップS81において、ステータス制御部101は、エラーステータスESの初期値を０とする。この処理は、復号処理を開始した直後の先頭のフレームについてのみ行われ、２番目以降のフレームについては行われない。ステップS82において、ステータス制御部101は、パケット分解部34から供給される第２のエラーフラグFe2が０かを判定する。２のエラーフラグFe2が０ではなく、１である場合（エラーが存在する場合）、ステップS83において、ステータス制御部101は、エラーステータスが０または−１であるかを判定する。
【０１０３】
このとき判定対象とされるエラーステータスは、直前のフレームのエラーステータスであり、現在のフレームのエラーステータスではない。現在のフレームのエラーステータスはステップS86,S89の他、ステップS92,S94,S95において設定される。この点、ステップS104で判定されるエラーステータスは、ステップS86,S89,S92,S94,S95において設定された現在のエラーステータスであるのと異なっている。
【０１０４】
直前のエラーステータスが０または−１である時、直前フレームは正常な復号ができていたので、ステップS84において、ステータス制御部101は、制御フラグFcに１をセットする。この制御フラグFcは、線形予測分析部61に送られる。
【０１０５】
ステップS85において、信号合成部38は、信号分析部37から特徴パラメータを取得する。すなわち、線形予測残差信号r[n]がFFT部102と信号反復部107に、ピッチ利得pch_gが信号反復部107、乗算部106,108に、ピッチ周期pitchが信号反復部107に、線形予測係数aiがLPC合成部110に、それぞれ供給される。
【０１０６】
ステップS86において、ステータス制御部101は、エラーステータスESを１に更新する。ステップS87において、FFT部102は、線形予測残差信号r[n]を高速フーリエ変換する。このため、線形予測残差信号r[0,…,N-1](Nはフレーム長)の最後尾からＫサンプル取り出し、所定の窓関数を掛けた上で高速フーリエ変換が行なわれ、残差信号のフーリエスペクトル信号R[0,…,K/2-1]が生成される。高速フーリエ変換の演算には、Ｋの値は２のべき乗であることが望ましい。そこで、例えば、図10に示されるように、点線の矢印の区間Ｃで表されるように、最後尾（図10において右端)から512（＝２9）個のサンプルを用いることができる。図14は、以上のようにして行われた高速フーリエ変換の結果の例を表している。
【０１０７】
ステップS88において、スペクトル平滑部103は、フーリエスペクトル信号を平滑し、平滑フーリエスペクトル信号R’[k]を演算する。この平滑は、フーリエスペクトル振幅を、式（４）に示されるように、Ｍサンプルごとに平均するものである。
【０１０８】
【数４】
2008058667.tif 000006
【０１０９】
式（４）におけるg[k0]は、スペクトル毎の重み係数である。
【０１１０】
図14におけるステップ状の線は、Ｍサンプルごとの平均値を表している。
【０１１１】
ステップS83において、エラーステータスが０または−１ではないと判定された場合（-2,１、または２である場合）、前フレームまたは前々フレームもエラーなので、ステップS89において、ステータス制御部101は、エラーステータスESを２とし、かつ、制御フラグFｃを０(信号分析を実行しないことを意味する)とする。
【０１１２】
ステップS82において、第２のエラーフラグFe2が０である（異常がない）と判定されたとき、ステップS90において、ステータス制御部101は、制御フラグFｃを０とする。ステップS91において、ステータス制御部101は、エラーステータスESが０以下かを判定し、０以下でなければ（２または１であれば）、ステップS92において、エラーステータスESに−２をセットする。
【０１１３】
ステップS91において、エラーステータスESが０以下であると判定された場合、ステップS93において、ステータス制御部101は、エラーステータスESが−１以上かを判定する。エラーステータスESが−１より小さい場合（−２である場合）、ステップS94において、ステータス制御部101は、エラーステータスに−１をセットする。
【０１１４】
ステップS93において、エラーステータスESが−１以上であると判定された場合（０または−１である場合）、ステップS95において、ステータス制御部101は、エラーステータスESに０をセットし、さらに、ステップS96において、出力制御フラグFcoに０をセットする。出力制御フラグFcoに０をセットすることは、スイッチ39を接点Ａ側に切り替え、で再生オーディオ信号を選択することを意味する（図６のステップS27,S29）。
【０１１５】
ステップS88,S89,S92,S94の処理の後、ステップS97において、ノイズ性スペクトル生成部104は、スペクトル平滑部103より出力された平滑フーリエスペクトル信号R’[k]の位相を不規則にしてノイズ性スペクトル信号R”[k]を生成する。ステップS98において、IFFT部105は、逆高速フーリエ変換を行い、ノイズ性残差信号r”[0,…,N-1]を生成する。すなわち、線形予測残差信号の周波数スペクトルを平滑し、位相がランダムになるようにした周波数スペクトルを時間領域に変換してノイズ性残差信号r”[0,…,N-1]が生成される。
【０１１６】
このように、位相を不規則にして、ランダム性あるいはノイズ性を与えることで、より自然な音声を出力することが可能となる。
【０１１７】
図15は、図14の平均化したFFT振幅に、適当な重み係数g[k]を乗算し、ランダムな位相を付加して、逆フーリエ変換して求めたノイズ性残差信号の例を表している。
【０１１８】
ステップS99において、信号反復部107は周期性残差信号を生成する。すなわち、線形予測残差信号r[n]をピッチ周期pitchに従って繰り返し適用することで周期性残差信号rH[0,…,N-1]が生成される。なお、図10には、この繰り返しが、矢印Ａ，Ｂで表されている。この場合、ピッチ利得pch_gが所定の基準値以上であるとき、すなわち、明確なピッチ周期pitchが検出できる場合、次の式（５）が用いられる。
【０１１９】
【数５】
2008058667.tif 000007
【０１２０】
なお、式（５）において、sはエラーステータスが最後に１に遷移してからの経過フレーム番号を表す。
【０１２１】
図16は、このようにして生成された周期性算残差信号の例を表している。図14における矢印Ａで示されるように、最後尾からの１周期分を繰り返すこともできるが、矢印Ｂで示される１周期分をも加えた２周期分で繰り返し、各周期の分を適当な割合で混合することで周期性残差信号を生成することもできる。図16は、後者の例を示している。
【０１２２】
また、ピッチ利得pch_gが基準値に満たない場合、すなわち、明確なピッチ周期pitchが検出できない場合、次の式（６）と式（７）が用いられ、線形予測残差信号をランダムな位置から読み出すことで周期性残差信号が生成される。
【０１２３】
【数６】
2008058667.tif 000008
【０１２４】
式（６）と式（７）において、ｑとｑ’は、Ｎ/2〜Ｎの範囲でランダムに選択した整数である。この例では１フレーム分の信号を２度に分けて線形予測残差信号より取得しているがさらに多い頻度で取得してもよい。
【０１２５】
またこれに加えて、なんらかの信号補間法により不連続点の軽減をおこなってもよい。
【０１２６】
このように、不連続性を軽減することで、より滑らかな音声を出力することができる。
【０１２７】
ステップS100において、乗算部108は周期性残差信号rH[0,…,N-1]に対して重み係数β1を乗算し、乗算部106はノイズ性残差信号r”[0,…,N-1]に対し重み係数β2を乗算する。これらの係数β1,β2はピッチ利得pch_gの関数とされ、例えばピッチ利得pch_gが１に近いとき、ノイズ性残差信号r”[0,…,N-1]に比べて周期性残差信号rH[0,…,N-1]により大きい重み係数が乗算される。これにより、次のステップS101におけるノイズ性残差信号r”[0,…,N-1]と周期性残差信号rH[0,…,N-1]の混合比を変えることができる。
【０１２８】
ステップS101において、加算部109は、次の式（８）に従って、ノイズ性残差信号r”[0,…,N-1]と周期性残差信号rH[0,…,N-1]を加算し、合成残差信号rA[0,…,N-1]を生成する。すなわち、これにより、線形予測残差信号r[n]をピッチ周期pitchに従って繰り返し適用することで生成された周期性残差信号rH[0,…,N-1]と、線形予測残差信号の周波数スペクトルを平滑し、位相がランダムになるようにした周波数スペクトルを時間領域に変換して生成されたノイズ性残差信号r”[0,…,N-1]とを、係数β1,β2により任意の比率で加算して、合成残差信号rA[0,…,N-1]が生成される。
【０１２９】
【数７】
2008058667.tif 000009
【０１３０】
図17は、図15のノイズ性残差信号と図16の周期性残差信号とを加算して生成した合成残差信号の例を表している。
【０１３１】
ステップS102において、LPC合成部110は、ステップS101で加算部109により生成された合成残差信号rA[0,…,N-1]に、次の式（９）で示されるフィルタA(z)を乗算することにより、線形予測合成信号sA[n]を生成する。すなわち、線形予測合成処理により、線形予測合成信号sA[n]が生成される。
【０１３２】
【数８】
2008058667.tif 000010
【０１３３】
式（９）において、ｐはLPC合成フィルタの次数である。また式（９）から明らかなように、その特性は、線形予測分析部61から供給される線形予測係数aiにより規定されている。
【０１３４】
結局、線形予測合成信号sA[n]は、伝送路等でエラーや情報消失が検出された場合に、直前の正常な受信データから得られた復号信号を分析し、ピッチ周期pitchで繰り返された成分としての周期性残差信号rH[0,…,N-1]と、雑音性の強い成分としてのノイズ性残差信号r”[0,…,N-1]とを加算した信号である。エラーや情報が消失するなどして、実質的に情報が欠落した場合、後述するように、この信号が、欠落区間において、受信データの真の復号信号に代えて、出力される。
【０１３５】
ステップS103において、乗算部111は、式(10)に示されるように、エラーステータスの値やエラー状態の経過時間に従って変化する係数β3を合成信号sA[0,…,N-1]に乗算して、利得調整合成信号sA’[0,…,N-1]を生成する。これにより、例えば、エラーが多い場合に、音量を下げるようにすることができる。利得調整合成信号sA’[0,…,N-1]は、スイッチ115の接点Ａと乗算部112に出力される。
【０１３６】
【数９】
2008058667.tif 000011
【０１３７】
図18は、このようにして生成された線形予測合成信号sA[n]の例を表している。
【０１３８】
ステップS104において、ステータス制御部101はエラーステータスESが−１かを判定する。このとき判定対象とされるエラーステータスは、ステップS86,S89,S92,S94,S95において設定された現在のフレームのエラーステータスであり、直前のフレームのエラーステータスではない。この点、ステップS82で判定されるエラーステータスが、直前のフレームのエラーステータスであるのと異なっている。
【０１３９】
現在のフレームのエラーステータスESが−１であるとき、信号復号部35が直前のフレームについて正常に復号信号を生成しているので、ステップS105において、乗算部113は信号復号部35から供給された再生オーディオ信号sH[n]を取得する。そして、ステップS106において、加算部114は、式(11)に従って、再生オーディオ信号sH[n]と利得調整合成信号sA’[0,…,N-1]とを加算する。具体的には、利得調整合成信号sA’[0,…,N-1]は乗算部112により係数β5が乗算され、再生オーディオ信号sH[n]は乗算部113により係数β4が乗算される。そして両者が加算部114により加算され、合成再生オーディオ信号sH’[n]が生成され、スイッチ115の接点Ｂに出力される。このように、信号の欠落区間の終端直後において（第２のエラーフラグFe2が１である状態（信号の欠落区間）の後、０である状態（信号が欠落していない状態）が２回連続した場合）、利得調整合成信号sA’[0,…,N-1]に再生オーディオ信号sH[n]を、任意の比率で合成することで、滑らかな信号の切り替えが可能となる。
【０１４０】
【数１０】
2008058667.tif 000012
【０１４１】
式(11)における係数β4と係数β5は、各信号の重み係数であり、nの値、つまりサンプル毎に変化する。
【０１４２】
ステップS104においてエラーステータスESが−１ではない（−２，０，１または２である場合）、ステップS105,S106の処理はスキップされる。スイッチ115はエラーステータスESがステップS94において−１に設定されたとき、接点Ｂ側に切り替わり、ステップS92,S95,S86,S89で、それぞれ−２，０，１または２に設定されたとき、接点Ａ側に切り替わる。
【０１４３】
従って、エラーステータスが−１である場合（直前のフレームにエラーが存在しない場合）、ステップS106で生成された合成再生オーディオ信号がスイッチ115の接点Ｂを介して、合成オーディオ信号として出力される。これに対して、エラーステータスが-2,0,1,2である場合（直前のフレームにエラーが存在する場合）、ステップS103で生成された利得調整合成信号がスイッチ115の接点Ａを介して、合成オーディオ信号として出力される。
【０１４４】
ステップS106の処理の後、並びにステップS104においてエラーステータスESが−１ではないと判定された場合、ステップS107において、ステータス制御部101は、出力制御フラグFcoを１にセットする。すなわちスイッチ39が、信号合成部38が出力する合成オーディオ信号を選択するように、出力制御フラグFcoが設定される。
【０１４５】
出力制御フラグFcoに基づいてスイッチ39を切り替え、図18に示される線形予測合成信号sA[n]に、振幅を抑圧する重み係数β3を乗算して得た利得調整合成信号sA’[n]を、図９に示される正常な最後の信号のサンプル数Ｎ1以降に続けて出力することで、図19に示されるような出力オーディオ信号が得られる。これにより、欠落した信号を隠蔽することができる。また、サンプル数Ｎ1以降の合成信号の波形は、それ以前の正常な信号の波形と近似し、自然な音声の波形となっている。従って、自然な音声を出力することができる。
【０１４６】
なお、ステップS84乃至S88の処理を経ずにステップS97乃至S107の処理が実行される場合、すなわち、ステップS89,S92,S94の処理の後、ステップS97乃至S107の処理が実行される場合、新たな特徴パラメータが取得されないことになるが、この場合には、最新のエラーがないフレームの特徴パラメータが既に取得され、保持されているので、それが利用される。
【０１４７】
上述した母音などの周期性の強い信号だけでなく、子音などの周期性の弱い信号に対しても本発明を適用することができる。図20は、正常な符号化データが受信できなくなる直前の、周期性の弱い再生オーディオ信号を表している。この信号が上述したように信号バッファ36に記憶される。
【０１４８】
この図20の信号を旧再生オーディオ信号として、図７のステップS52において線形予測分析部61で線形予測処理すると、図21に示されるような線形予測残差信号r[n]が生成される。
【０１４９】
なお、図21における矢印Ａ，Ｂで表される区間は、それぞれ、任意の位置からの信号読み出し区間を表している。また、図21における矢印Ａの図中左側の先端部と図面の右側端部（サンプル数960の位置）との距離が、式（６）のｑに対応し、矢印Ｂの図中左側の先端部と図面の右側端部（サンプル数960の位置）との距離が、式（７）のｑ’に対応している。
【０１５０】
図21の線形予測残差信号r[n]を、ステップS53においてフィルタ62でフィルタリングして生成したフィルタ予測残差信号rL[n]について、ステップS54において、ピッチ抽出部63で演算した自己相関は、図22に示されるようになる。図22を図11と比較して明らかなうように、相関が著しく低いため、信号繰り返しには適さない。しかし、式（６）と式（７）を適用して、線形予測残差信号をランダムな位置から読み出すことで、周期性残差信号を生成することが可能となる。
【０１５１】
図21の線形予測残差信号r[n]を、図12のステップS98において、FFT部102で高速フーリエ変換した場合のフーリエスペクトル信号R[k]の振幅を表わすと図23に示すようになる。
【０１５２】
ステップS99において、信号反復部107により、図21の線形予測残差信号r[n]を、矢印Ａで示される区間、あるいは矢印Ｂで示される区間のように、ランダムに読み出し位置を変えて複数回読み出し、つなげることで生成された周期性残差信号rH[n]は、図24に示されるようになる。このように、ランダムに読み出し位置を変えて複数回読み出し、つなげることで、周期性を有する信号である周期性残差信号を生成するようにしたので、周期性の弱い信号についても、それが欠落した場合、自然な音声として出力できる。
【０１５３】
図23のフーリエスペクトル信号R[k]を平滑し（ステップS88）、ランダムな位相を施し（ステップS97）、逆高速フーリエ変換して生成したノイズ性残差信号r”[n] （ステップS98）は、図25に示されるようになる。
【０１５４】
図24の周期性残差信号rH[n]と図25のノイズ性残差信号r”[n]を、所定の比率で合成して生成した（ステップS101）合成残差信号rA[n]は、図26に示されるようになる。
【０１５５】
図26の合成残差信号rA[n]から、線形予測係数aiにより規定されるフィルタ特性でLPC合成して得られる線形予測合成信号sA[n]（ステップS102）は、図27に示されるようになる。
【０１５６】
図28に示される正常な再生オーディオ信号sH[n]に、サンプル数Ｎ2の位置から、図27に示される線形予測合成信号sA[n]を利得調整して得られた利得調整合成信号sA’[n]（ステップS103）を連結させると（ステップS28,S29）、図28に示される出力オーディオ信号が得られる。
【０１５７】
この場合においても、欠落した信号を隠蔽することができる。また、サンプル数Ｎ2以降の合成信号の波形は、それ以前の正常な信号の波形と近似し、自然な音声の波形となっている。従って、自然な音声を出力することができる。
【０１５８】
次に、以上のように５個のエラーステートによって制御を行うのは、５種類の異なる処理を行う必要があるからである。
【０１５９】
信号復号部35においては、図29に示されるように復号処理が行われる。同図において、上段は時系列の再生符号化データを示し、ブロック内の記号はフレーム番号を表している。例えばブロック内の“n”は第nフレームの符号化データであることを示す。同様に下段は時系列の再生オーディオデータを示し、ブロック内の記号はフレーム番号を表している。
【０１６０】
矢印は各再生オーディオ信号を生成するのに必要とする再生符号化データを示し、例えば第nフレームの再生オーディオ信号を生成するには、第nフレームと第n+1フレームの再生符号化データが必要とされる。従って、例えば、第n+2フレームの正常な再生符号化データが得られなかった場合、これを使用する第n+1フレームと第n+2フレーム、つまり連続する２フレーム分の再生オーディオ信号が生成できなくなる。
【０１６１】
本発明の実施の形態においては、上述したような処理を行うことで、連続した２フレーム以上の再生オーディオ信号の消滅が隠蔽される。
【０１６２】
ステータス制御部101は、信号復号部35に、図29に示されるような復号処理を行わせるために、自分自身と信号分析部37を制御する。このため、ステータス制御部101は、信号復号部35、信号分析部37、および自分自身の動作に関連して、0,1,2,-1,-2の５つのエラーステートを有する。
【０１６３】
エラーステート０は、信号復号部35が動作、信号分析部37と信号合成部38が非動作の状態に対応する。エラーステート１は、信号復号部35が非動作、信号分析部37と信号合成部38が動作の状態に対応する。エラーステート２は、信号復号部35と信号分析部37が非動作、信号合成部38が動作の状態に対応する。エラーステート−１は、信号復号部35と信号合成部38が動作、信号分析部37が非動作の状態に対応する。エラーステート−２は、信号復号部35が動作するが、復号信号を出力せず、信号分析部37が非動作、信号合成部38が動作の状態に対応する。
【０１６４】
いま、例えば、図30に示されるように、各フレームにエラーが順次発生したとすると、ステータス制御部101は、同図に示されるようにエラーステータスを設定する。同図において、丸印の記号は各部が動作することを表し、×印の記号は、各部が動作しないことを表わす。三角の記号は、信号復号部35が、復号はするが、再生したオーディオ信号の出力は行わないことを表す。
【０１６５】
信号復号部35は、図29に示されるように、２フレームの再生符号化データを復号して、１フレームの再生オーディオ信号を生成する。このように処理を２フレームに分けることで、負荷が集中するのが防止されている。このため、前のフレームを復号して得られたデータは内部のメモリに記憶され、次のフレームの再生符号化データを復号してデータが得られたとき、記憶されていたデータと合わせて、最終的に、１フレームの再生オーディオ信号が生成される。三角の記号のフレームでは、前者の処理だけが行われる。ただし、このときのデータは、信号バッファ36には記憶されない。
【０１６６】
最初に、ステータス制御部101は、その状態値であるエラーステータスの初期値を０に設定する。
【０１６７】
第０フレームと第１フレームでは、第２のエラーフラグFe2が０(エラーなし)なので、信号分析部37と信号合成部38は動作せず、信号復号部35のみが動作し、エラーステータスは０のままとされる（ステップS95）。このとき、出力制御フラグFcoは０とされるので（ステップS96）、スイッチ39が接点Ａ側に切り替えられ、信号復号部35が出力した再生オーディオ信号が、出力オーディオ信号として出力される。
【０１６８】
第２フレームでは、第２のエラーフラグFe2が１(エラーあり)なので、エラーステータスは１に遷移し（ステップS86）、信号復号部35は動作せず、直前の再生オーディオ信号を信号分析部37が分析し（直前のエラーステータスが０であり、ステップS83でYesと判定され、ステップS84で制御フラグFcに１が設定されるので）、信号合成部38が合成オーディオ信号を出力する（ステップS102）。このとき、出力制御フラグFcoは１とされるので（ステップS107）、スイッチ39が接点Ｂ側に切り替えられ、信号合成部38が出力した合成オーディオ信号（エラーステータスが−１ではないので、スイッチ115により接点Ａ側から選択された利得調整合成信号）が、出力オーディオ信号として出力される。
【０１６９】
第３フレームでは、第２のエラーフラグFe2が０なので、エラーステータスは−２に遷移し（ステップS92）、信号復号部35は動作するが、再生オーディオ信号を出力せず、信号合成部38が合成オーディオ信号を出力する。信号分析部37は動作しない。このとき、出力制御フラグFcoは１とされるので（ステップS107）、スイッチ39が接点Ｂ側に切り替えられ、信号合成部38が出力した合成オーディオ信号（エラーステータスが−１ではないので、スイッチ115により接点Ａ側から選択された利得調整合成信号）が、出力オーディオ信号として出力される。
【０１７０】
このエラーステータスが−２である状態は、現在のフレームにエラーが存在しないため、復号処理は行うが、隣接するフレームにエラーが存在するため、その影響を避けるべく、復号信号を出力せず、代わりに、合成信号を出力する状態である。
【０１７１】
第４フレームでは、第２のエラーフラグFe2が０なので、エラーステータスは−１に遷移し（ステップS94）、信号復号部35は再生オーディオ信号を出力し、信号合成部38の合成オーディオ信号とミキシングされる。信号分析部37は動作しない。このとき、出力制御フラグFcoは１とされるので（ステップS107）、スイッチ39が接点Ｂ側に切り替えられ、信号合成部38が出力した合成オーディオ信号（エラーステータスが−１なので、スイッチ115により接点Ｂ側から選択された合成再生オーディオ信号）が、出力オーディオ信号として出力される。
【０１７２】
第５フレームでは、第２のエラーフラグFe2が１なので、エラーステータスは１に遷移し（ステップS86）、信号復号部35は動作せず、直前の再生オーディオ信号を信号分析部37が分析する（直前のエラーステータスが−１であり、ステップS83でYesと判定され、ステップS84で制御フラグFcに１が設定されるので）。また、信号合成部38が合成オーディオ信号を出力する（ステップS102）。このとき、出力制御フラグFcoは１とされるので（ステップS107）、スイッチ39が接点Ｂ側に切り替えられ、信号合成部38が出力した合成オーディオ信号（エラーステータスが−１ではないので、スイッチ115により接点Ａ側から選択された利得調整合成信号）が、出力オーディオ信号として出力される。
【０１７３】
第６フレームでは、第２のエラーフラグFe2が１なので、エラーステータスは２に遷移し（ステップS89）、信号復号部35と信号分析部37は動作せず、信号合成部38が合成オーディオ信号を出力する。このとき、出力制御フラグFcoは１とされるので（ステップS107）、スイッチ39が接点Ｂ側に切り替えられ、信号合成部38が出力した合成オーディオ信号（エラーステータスが−１ではないので、スイッチ115により接点Ａ側から選択された利得調整合成信号）が、出力オーディオ信号として出力される。
【０１７４】
第７フレームでは、第２のエラーフラグFe2が０なので、エラーステータスは−２に遷移し（ステップS92）、信号復号部35は動作するが、再生オーディオ信号を出力せず、信号合成部38が合成オーディオ信号を出力する。信号分析部37は動作しない。このとき、出力制御フラグFcoは１とされるので（ステップS107）、スイッチ39が接点Ｂ側に切り替えられ、信号合成部38が出力した合成オーディオ信号（エラーステータスが−１ではないので、スイッチ115により接点Ａ側から選択された利得調整合成信号）が、出力オーディオ信号として出力される。
【０１７５】
第８フレームでは、第２のエラーフラグFe2が１なので、エラーステータスは２に遷移し（ステップS89）、信号復号部35と信号分析部37は動作せず、信号合成部38が合成オーディオ信号を出力する。このとき、出力制御フラグFcoは１とされるので（ステップS107）、スイッチ39が接点Ｂ側に切り替えられ、信号合成部38が出力した合成オーディオ信号（エラーステータスが−１ではないので、スイッチ115により接点Ａ側から選択された利得調整合成信号）が、出力オーディオ信号として出力される。
【０１７６】
第９フレームでは、第２のエラーフラグFe2が０なので、エラーステータスは−２に遷移し（ステップS92）、信号復号部35は動作するが、再生オーディオ信号を出力せず、信号合成部38が合成オーディオ信号を出力する。信号分析部37は動作しない。このとき、出力制御フラグFcoは１とされるので（ステップS107）、スイッチ39が接点Ｂ側に切り替えられ、信号合成部38が出力した合成オーディオ信号（エラーステータスが−１ではないので、スイッチ115により接点Ａ側から選択された利得調整合成信号）が、出力オーディオ信号として出力される。
【０１７７】
第10フレームでは、第２のエラーフラグFe2が０なので、エラーステータスは−１に遷移し（ステップS94）、信号復号部35は再生オーディオ信号を出力し、信号合成部38の合成オーディオ信号とミキシングされる。信号分析部37は動作しない。このとき、出力制御フラグFcoは１とされるので（ステップS107）、スイッチ39が接点Ｂ側に切り替えられ、信号合成部38が出力した合成オーディオ信号（エラーステータスが−１なので、スイッチ115により接点Ｂ側から選択された合成再生オーディオ信号）が、出力オーディオ信号として出力される。
【０１７８】
第11フレームでは、第２のエラーフラグFe2が０なので、エラーステータスは０に遷移し（ステップS86）、信号分析部37と信号合成部38は動作せず、信号復号部35のみ動作する。このとき、出力制御フラグFcoは０とされるので（ステップS96）、スイッチ39が接点Ａ側に切り替えられ、信号復号部35が出力した再生オーディオ信号が、出力オーディオ信号として出力される。
【０１７９】
以上をまとめると、次のようになる。
（１）信号復号部35は、第２のエラーフラグFe2が０のとき（エラーステータスが０以下のとき）動作するが、エラーステータスが−２のときは、再生オーディオ信号を出力しない。
（２）信号分析部37は、エラーステータスが１のときのみ動作する。
（３）信号合成部38は、エラーステータスが０でないとき動作し、エラーステータスが−１なら再生オーディオ信号と合成オーディ信号をミキシングして出力する。
このように消滅した再生オーディオ信号を、隠蔽することによって、ユーザに与える不快感を軽減することが可能になる。
【０１８０】
なお、ステータス制御部101の構成を変更し、１フレームの処理が他のフレームの処理に影響しないようにすることも可能である。
【０１８１】
以上においては、本発明をパケット音声通信装置に適用した場合について説明したが、本発明は、このほか、携帯電話機、その他各種の信号処理装置に適用することが可能である。特に、上述した機能をソフトウェアで実現する場合、そのソフトウェアをインストールすることで、パーソナルコンピュータに適用することもできる。
【０１８２】
図31は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ311のハードウェアの構成を示すブロック図である。CPU（Central Processing Unit）321は、ROM（Read Only Memory）322、または記憶部328に記憶されているプログラムに従って上述した機能の処理の他、各種の処理を実行する。RAM（Random Access Memory）323には、CPU321が実行するプログラムやデータなどが適宜記憶される。これらのCPU321、ROM322、およびRAM323は、バス324により相互に接続されている。
【０１８３】
CPU321にはまた、バス324を介して入出力インタフェース325が接続されている。入出力インタフェース325には、キーボード、マウス、マイクロホンなどよりなる入力部326、ディスプレイ、スピーカなどよりなる出力部327が接続されている。CPU321は、入力部326から入力される指令に対応して各種の処理を実行する。そして、CPU321は、処理の結果を出力部327に出力する。
【０１８４】
入出力インタフェース325に接続されている記憶部328は、例えばハードディスクからなり、CPU321が実行するプログラムや各種のデータを記憶する。通信部329は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。また、通信部329を介してプログラムを取得し、記憶部328に記憶してもよい。
【０１８５】
入出力インタフェース325に接続されているドライブ330は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア331が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部328に転送され、記憶される。
【０１８６】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１８７】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図31に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア331、または、プログラムが一時的もしくは永続的に格納されるROM322や、記憶部328を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部329を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１８８】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１８９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。
【０１９０】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１９１】
【図１】本発明を適用したパケット音声通信装置の一実施の形態の構成を示すブロック図である。
【図２】信号分析部の構成を示すブロック図である。
【図３】信号合成部の構成を示すブロック図である。
【図４】ステータス制御部の構成を示す状態遷移図である。
【図５】送信処理を説明するフローチャートである。
【図６】受信処理を説明するフローチャートである。
【図７】信号分析処理を説明するフローチャートである。
【図８】フィルタの処理を説明する図である。
【図９】旧再生オーディオ信号の例を示す図である。
【図１０】線形予測残差信号の例を示す図である。
【図１１】自己相関の例を示す図である。
【図１２】信号合成処理を説明するフローチャートである。
【図１３】信号合成処理を説明するフローチャートである。
【図１４】フーリエスペクトル信号の例を示す図である。
【図１５】ノイズ性残差信号の例を示す図である。
【図１６】周期性残差信号の例を示す図である。
【図１７】合成残差信号の例を示す図である。
【図１８】線形予測合成信号の例を示す図である。
【図１９】出力オーディオ信号の例を示す図である。
【図２０】旧再生オーディオ信号の例を示す図である。
【図２１】線形予測残差信号の例を示す図である。
【図２２】自己相関の例を示す図である。
【図２３】フーリエスペクトル信号の例を示す図である。
【図２４】周期性残差信号の例を示す図である。
【図２５】ノイズ性残差信号の例を示す図である。
【図２６】合成残差信号の例を示す図である。
【図２７】線形予測合成信号の例を示す図である。
【図２８】出力オーディオ信号の例を示す図である。
【図２９】再生符号化データと再生オーディオ信号の関係を説明する図である。
【図３０】フレームのエラーステートの変化を説明する図である。
【図３１】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
【０１９２】
１  パケット音声通信装置，  ２  ネットワーク，  22  信号符号化装置，  23  パケット生成部，  24  送信部，  31  受信部，  34  パケット分解部，  35  信号復号部，  36  信号バッファ，  37  信号分析部，  38  信号合成部，  61  線形予測分析部，  63  ピッチ抽出部，  101  ステータス制御部，  102  FFT部，  103  スペクトル平滑部，  104  ノイズ性スペクトル生成部，  105  IFFT部，  107  信号反復部，  110  LPC合成部
【図１】
2008058667.tif 000013
【図２】
2008058667.tif 000014
【図３】
2008058667.tif 000015
【図４】
2008058667.tif 000016
【図５】
2008058667.tif 000017
【図６】
2008058667.tif 000018
【図７】
2008058667.tif 000019
【図８】
2008058667.tif 000020
【図９】
2008058667.tif 000021
【図１０】
2008058667.tif 000022
【図１１】
2008058667.tif 000023
【図１２】
2008058667.tif 000024
【図１３】
2008058667.tif 000025
【図１４】
2008058667.tif 000026
【図１５】
2008058667.tif 000027
【図１６】
2008058667.tif 000028
【図１７】
2008058667.tif 000029
【図１８】
2008058667.tif 000030
【図１９】
2008058667.tif 000031
【図２０】
2008058667.tif 000032
【図２１】
2008058667.tif 000033
【図２２】
2008058667.tif 000034
【図２３】
2008058667.tif 000035
【図２４】
2008058667.tif 000036
【図２５】
2008058667.tif 000037
【図２６】
2008058667.tif 000038
【図２７】
2008058667.tif 000039
【図２８】
2008058667.tif 000040
【図２９】
2008058667.tif 000041
【図３０】
2008058667.tif 000042
【図３１】
2008058667.tif 000043