(57)【特許請求の範囲】
【請求項１】
１つの通信装置は少なくとも送信部と受信部の両方を備え、対する他の１つ以上の通信装置との間でパケット通信を行う場合に、
前記送信部で、
音声・音楽などの音響信号をフレームと呼ばれる一定時間ごとに区切ってフレーム音響信号を生成し、前記フレーム音響信号から前記フレーム音響信号に対応するデータ（以下、「音響信号対応データ」という。）を生成する過程と、
前記フレーム音響信号と前記音響信号対応データをパケットに格納して送信する格納過程と、
を有する音響信号パケット送信方法において、
前記格納過程は、フレーム音響信号と同一のパケットに、さらにフレーム番号の差を示す遅延量情報とを組み込み、
前記音響信号対応データは、遅延量制御情報が示す値だけフレーム番号が異なるフレームのためのデータであり、
前記受信部で、
受信されるパケットのゆらぎ状態を判定する第一の判定過程と、受信されるパケットの紛失状態を判定する第二の判定過程の両方あるいはいずれか一方と、
前記判定過程における判定結果を用いて、受信バッファに蓄積すべきパケットの数（以下、「蓄積パケット数の目標値」という。）を決定する過程と、
を有し、
前記送信部で、
当該送信部と同一の通信装置内の受信部で決定した前記蓄積パケット数の目標値以下に前記遅延量制御情報を設定する過程を有する
ことを特徴とする音響信号パケット送信方法。
【請求項２】
第１の通信装置に送信部と受信部の両方を備え、対する第２の通信装置も送信部と受信部の両方を備え、これらの通信装置の間でパケット通信を行う場合に、
前記第１の通信装置の送信部で、
音声・音楽などの音響信号をフレームと呼ばれる一定時間ごとに区切ってフレーム音響信号を生成し、前記フレーム音響信号から前記フレーム音響信号に対応するデータ（以下、「音響信号対応データ」という。）を生成する過程と、
前記フレーム音響信号と前記音響信号対応データを音響信号パケットに格納して送信する格納過程と、
を有する音響信号パケット通信方法において、
前記格納過程は、フレーム音響信号と同一のパケットに、さらにフレーム番号の差を示す遅延量制御情報とを組み込み、
前記音響信号対応データは、遅延量制御情報が示す値だけフレーム番号が異なるフレームのためのデータであり、
前記第２の通信装置内の受信部で、
受信されるパケットのゆらぎ状態を判定する第一の判定過程と、受信されるパケットの紛失状態を判定する第二の判定過程の両方あるいはいずれか一方と、
前記判定過程における判定結果を用いて、受信バッファに蓄積すべきパケットの数（以下、「蓄積パケット数の目標値」という。）を決定する過程と、
前記蓄積パケット数の目標値を、前記第２の通信装置内の送信部に送る過程と
を有し、
前記第２の通信装置内の送信部で、
前記第２の通信装置の受信部から送られた蓄積パケット数の目標値を、前記第１の通信装置の送信部において設定される遅延量制御情報を指定する情報として、パケットに格納して送信する過程
を有し、
前記第１の通信装置の送信部で、
遅延量制御情報を前記第２の通信装置の送信部が送信した前記パケットに格納された前記蓄積パケット数の目標値以下に設定する過程を有する
ことを特徴とする音響信号パケット通信方法。
【請求項３】
第１の通信装置に送信部と受信部の両方を備え、対する第２の通信装置も送信部と受信部の両方を備え、これらの通信装置の間でパケット通信を行う場合に、
前記第１の通信装置の送信部で、
音声・音楽などの音響信号をフレームと呼ばれる一定時間ごとに区切ってフレーム音響信号を生成し、前記フレーム音響信号から前記音響信号に対応するデータ（以下、「音響信号対応データ」という。）を生成する過程と、
前記フレーム音響信号と前記音響信号対応データを音響信号パケットに格納して送信する格納過程と、
を有する音響信号パケット通信方法において、
前記格納過程は、フレーム音響信号と同一のパケットに、さらにフレーム番号の差を示す遅延量制御情報とを組み込み、
前記音響信号対応データは、遅延量制御情報が示す値だけフレーム番号が異なるフレームのためのデータであり、
前記第２の通信装置の受信部で、
受信バッファに蓄積されているパケットの数（以下「バッファ残量」という。）を測定する過程と、
前記バッファ残量を前記第２の通信装置内の送信部に送る過程と
を有し、
前記第２の通信装置内の送信部で、
前記第２の通信装置の受信部から送られたバッファ残量を、前記第１の通信装置の送信部において設定される遅延量制御情報を指定する情報として、パケットに格納して送信する過程
を有し、
前記第１の通信装置の送信部で、
遅延量制御情報を前記第２の通信装置の送信部が送信した前記パケットに格納された前記バッファ残量に設定する過程を有する
ことを特徴とする音響信号パケット通信方法。
【請求項４】
音声・音楽などの音響信号をフレームと呼ばれる一定時間ごとに区切ってフレーム音響信号を生成する手段と、
前記フレーム音響信号から前記フレーム音響信号に対応するデータ（以下、「音響信号対応データ」という。）を生成する手段と、
前記フレーム音響信号と前記音響信号対応データをパケットに格納して送信する格納手段とを有する送信部と、
受信したパケットを受信バッファに蓄える手段と、
取り出すべきフレーム番号を指定する手段と、
前記取り出すべきフレーム番号に対応するフレーム音響信号を含むパケットが受信バッファに格納されているか、格納されていないかを判定する紛失検出手段と、
前記紛失検出手段で、前記取り出すべきフレーム番号に対応するフレーム音響信号を含むパケットが受信バッファに格納されていると判定された場合には、受信バッファに格納されている当該パケットからフレーム音響信号を取り出してフレーム出力音響信号とする音響パケット復号手段と、
前記紛失検出手段で、前記取り出すべきフレーム番号に対応するフレーム音響信号を含むパケットが受信バッファに格納されていないと判定された場合（以下、「パケットロスが発生した場合」）には、当該フレーム（以下、「紛失フレーム」）の音響信号対応データを受信バッファに格納されたパケットから取り出し、該音響信号対応データを用いてフレーム出力音響信号を生成する紛失処理手段と、
前記音響パケット復号手段または前記紛失処理手段から出力されたフレーム出力音響信号を連結して出力する手段とを有する受信部と、
を備える音響信号パケット通信装置において、
前記送信部の前記格納手段は、フレーム音響信号と同一のパケットに、さらにフレーム番号の差を示す遅延量制御情報を組み込み、
前記音響信号対応データとは、遅延量制御情報が示す値だけフレーム番号が異なるフレームのためのデータであり、
前記受信部の前記紛失検出手段は、パケットロスが発生した場合に、紛失フレームと同じフレーム番号の音響信号対応データを、パケットに組み込まれた前記遅延量制御情報を用いて前記受信バッファ内のパケットから求める手段を有し、
前記受信部に、受信されるパケットのゆらぎ状態を判定する第一の判定手段と、受信されるパケットの紛失状態を判定する第二の判定手段の両方あるいはいずれか一方と、
前記判定手段での判定結果を用いて、受信バッファに蓄積すべきパケットの数（以下、「蓄積パケット数の目標値」という。）を決定する手段とを有し、
前記送信部に、前記遅延量制御情報を前記蓄積パケット数の目標値以下に設定する手段を有する
ことを特徴とする音響信号パケット通信装置。
【請求項５】
請求項２又は３に記載の音響信号パケット通信方法の各過程をコンピュータにより実行させるための音響信号パケット通信プログラム。
【請求項６】
請求項１記載の音響信号パケット送信方法の各過程をコンピュータにより実行させるための音響信号パケット送信プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  この発明は、ディジタル化された音声・音楽などの音響信号をインターネットをはじめとするパケット通信網を介して送信する際に、特にパケット紛失対策をした通信方法、送信方法、受信方法、これらの装置及びプログラムに関する。
【背景技術】
【０００２】  音声信号をボイスオーバ（Ｖｏｉｃｅ  ｏｖｅｒ）ＩＰ（インターネットプロトコル）技術を利用して送信するサービスが普及しつつある。図１に示すように入力端子１１よりの音声信号を音声信号送信部１２で音声パケットに変換してＩＰ網をはじめとするパケット通信網１３によって音声信号受信部１４へ送信し、音声信号受信部１４により音声信号を再生して出力端子１５へ出力する。これをリアルタイム通信する場合、パケット通信網１３の状態によっては通信網の途中においてパケットロス（紛失）が生じ、それによって再生音声が途切れるといった品質劣化が問題となっている。特に、インターネットなどのベストエフォートと呼ばれる通信サービスの場合には、パケットロスを許容しているため通信網の混雑時に特にこの問題が顕著である。【０００３】  そこで、音声信号をパケット通信網で通信する場合には、パケットロスコンシールメントと呼ばれる手法を用いる。この手法は、パケットが通信路の途中で消失した場合や通信路の遅延によって制限時間内に受信側に届かなかった場合に、消失または届かなかったパケット（以下、「ロスパケット」又は「紛失パケット」という。）に対応する区間の音声信号を受信側で推定して補償する方法が用いられる。図２は、図１における音声信号送信部１２の一般的な構成例である。入力音声は入力バッファ２１に蓄えられ、音声パケット化部２２で音声信号をフレームと呼ばれる一定の時間ごとに区切って音声パケットを生成し、パケット送出部２３よりパケット通信網に音声パケットを送出する。１フレームの時間長は一般には、１０ミリ秒から２０ミリ秒程度とすることが多い。【０００４】  図３は、図１における音声信号受信部１４の一般的な構成例である。パケット通信網からパケット受信部３１で受信した音声パケットは、ゆらぎ吸収バッファとも呼ばれる受信バッファ３２に蓄えられる。正しくパケットが受信されたフレームについては、受信バッファから音声パケットが取り出され、音声パケット復号部３３で音声信号に復号され、パケットロスしたフレームについては、紛失信号生成部３４でパケットロスコンシールメント処理を行って音声信号が生成され、生成された音声信号が出力される。パケットロスコンシールメントの処理に、ピッチ周期（音声の基本周波数に相当する時間軸上での長さ）の情報を利用する場合には、出力音声信号を出力音声バッファ３５に蓄え、ピッチ抽出部３６でピッチ分析し、得られたピッチ周期の値を紛失信号生成部３４に供給する。紛失信号生成部３４で生成された信号は切替スイッチ３７を通じて出力端子１５へ出力され、パケットロスがない場合は音声パケット復号部３３よりの復号音声信号が切替スイッチ３７を通じて出力端子１５へ出力される。なお、双方向で音声通信を行う通信端末は、各端末に送信部と受信部の両方を具備する。パケットロスコンシールメントの代表的な方法としては、非特許文献１に示す方法がよく知られている。非特許文献１に示す方法では、音声のピッチ周期をパケットロスコンシールメントに利用している。【０００５】  図４に、非特許文献１に示す方法でも用いられている、一般的なパケットロスコンシールメントの手法を示す。この図は、受信側の現��のフレームをフレームｎとして、フレームｎに対応するパケットがロス（紛失）した場合の処理方法を示すものである。過去のフレーム（フレームｎ−１まで）の音声信号は、正しく復号されている、もしくはパケットロスがあった場合にもパケットロスコンシールメントの手法によって音声信号が生成されているものとする。フレームｎでは音声パケットが受信できていないため、直前のフレームｎ−１の最後のサンプル点から、１ピッチ周期分の区間３Ａの音声信号波形を切り出し、フレームｎの区間に切り出した１ピッチ波形を順にフレームの長さになるまで並べる（区間３Ｂ〜３Ｄ）。【０００６】  このように直前フレームの１ピッチ波形を並べる処理によってパケットロスとなったフレームの波形を生成すると、何も処理しないで０値でフレームｎの全サンプル点を埋めるのに比べて、自然な音質で再生することが可能である。
なお、このとき、１ピッチ波形を単純に並べた場合、接続点で波形が不連続となって、プツプツといった耳障りな音が生じることがある。その場合には、図５に示すような手法で接続点での不連続を防ぐ。図５では、説明をわかりやすくするために、フレームｎの区間を、切り出し波形ごとに段をずらして表示している。まず、フレームｎ−１の最後のサンプル点から、１ピッチ周期よりも少し長い、例えばピッチ長をＬとすると４分の５Ｌ（５×Ｌ／４）の区間４Ａの波形を切り出し、１ピッチ長ずつずらした４Ｂ，４Ｃ，４Ｄの位置に切り出した波形をそれぞれ並べる。このとき、切り出した波形は１ピッチ長よりも長いため、重なり区間４ＡＢ，４ＢＣ，４ＣＤができる。これらの重なり部分は、例えば図６に示す三角窓関数をかけて重ね合わせるという方法がとられる。図６は、横軸が時刻、縦軸が重みの値を示しており、ｔ１が重なり区間の始点、ｔ２が重なり区間の終点を示す。例えば図５における重なり区間４ＢＣでは、重なり区間４ＢＣの区間４Ｂ側の波形に重み関数Ｗ１を乗じ、区間４Ｃ側の波形に重み関数Ｗ２を乗じて加算することにより、区間ＢとＣの両切り出し波形をなめらかにつなげることができる。このような重ね合わせの詳細についても、非特許文献１に記載されている。【０００７】  パケットロスの発生する通信環境で非特許文献１に示す方法を利用した場合の音声品質は一般に良好と言われている。しかし、パケットロスが音声の子音と母音の境界付近で発生した場合に、耳障りな雑音が発生することがある（課題１）。また、連続した複数のフレームのパケットロスが発生（バースト的なロス（紛失）という）した場合、すなわち例えばフレーム長が２０ミリ秒のときにパケットが２〜３フレーム以上連続してロスした場合や、フレーム長が長い音声符号化方式で１フレームのパケットロスが発生した場合、すなわち例えばフレーム長が４０ミリ秒や６０ミリ秒の音声符号化方式のときにパケットロスが発生した場合に、耳障りなブザー音が発生することや、不自然な音声が再生されるといった問題がある（課題２）。【０００８】  前記課題１の原因は、非特許文献１に示す方法がロスフレームの音声を生成するための手法として、直前のフレームの音声波形と基本的に特性が同じ波形を作成していることに起因する。即ち、子音と母音の境界付近の母音に近いフレームでフレームロスが発生すると、ロスしたフレームは母音区間であるにもかかわらず、子音と同じ特性の音声波形が生成される。また、母音から無音や子音へ変化する時刻でも同様の雑音が発生する。
前記課題２は、パケットロスの発生した区間が子音と母音の境界付近でないときにも発生する。その原因は、パケットロスフレームの音声をさらに（自己回帰的に）利用して、連続した後続のフレームロス区間でも同じ特性の音声波形を生成するため、４０ミリ秒〜６０ミリ秒以上の長い時間にわたって、同じ特性の音声波形が連続して再生されることに起因する。実際の音声はピッチ周期やパワが微小に変化しており、連続して同じ特性の音が再生されると、それは音声とは異なった音に聞こえる。【０００９】  前記課題１、２を解決する手法として、非特許文献２の提案がある。この文献では、あらかじめｋ番目のフレームの補助情報をｋ＋１番目のフレームに埋め込む。そして、ｋ番目のフレームがパケットロスの発生によって届かなかった場合、ｋ＋１番目のフレームに埋め込まれた補助情報を、ｋ番目のフレームのエラーを隠蔽するために用いている。
【非特許文献１】ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｇ．７１１  Ａｐｐｅｎｄｉｘ  Ｉ，“Ａ  ｈｉｇｈ  ｑｕａｌｉｔｙ  ｌｏｗ−ｃｏｍｐｌｅｘｉｔｙ  ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｐａｃｋｅｔ  ｌｏｓｓ  ｃｏｎｃｅａｌｍｅｎｔ  ｗｉｔｈ  Ｇ．７１１”，ｐｐ．１−１８，１９９９．
【非特許文献２】青木直史，“ピッチ波形複製法に基づくステガノグラフィを用いたＶｏＩＰにおけるパケット損失の一隠蔽法”，電子情報通信学会誌Ｂ，Ｖｏｌ．Ｊ８６−Ｂ，Ｎｏ．１２，ｐｐ．２５５１−２５６０，２００３．
【発明の開示】
【発明が解決しようとする課題】
【００１０】  パケットロスの発生する通信環境において、非特許文献１に示す方法のパケットロスコンシールメント手法を用いることは、再生音声の品質劣化を少なくする点で一定の効果がある。しかしながら、子音と母音の境界付近のフレームでパケットロスが発生した場合には、耳障りな雑音を十分に防ぐことができない、また連続した複数のフレームでパケットロスが発生した場合の再生品質が不自然である。
また、非特許文献２では、補助情報を追加することによるエラーの隠蔽方法については示されている。一方、補助情報を音響信号のフレームとどの程度ずらしたフレームと一緒に送信するのか（遅延量）については示されていない。実際の通信網では、通信状態は変化するため、パケットのゆらぎやバーストロスの発生頻度なども変化する。したがって、最適な遅延量も変化するはずである。しかし、従来技術には遅延量を動的に変化させる方法について示された例がない。また、対向する装置間で事前に遅延量を定めておく必要がある。【００１１】  この発明はこれらの問題を解決し、より安定した品質で音響通信のできる方法、その装置、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】  この発明では、送信側で、音響信号と同一のパケットに、遅延量制御情報で指定する値だけフレーム番号が異なるフレームの音響信号に対応するデータ（以下、「音響信号対応データ」という。）と、遅延量制御情報とを組み込んで送信する。受信側では、受信できなかったパケットがある場合に、紛失した音響信号のフレーム（以下、「紛失フレーム」という。）と同じフレーム番号の音響信号対応データを、遅延量制御情報を用いて受信バッファ内のパケットから求める。そして、受信側では、求められた音響信号対応データを用いて紛失フレームの音響信号を生成する。【００１３】  また、この発明では、遅延量を通信網の状態にあわせて変化させる。具体的には、受信側で、あらかじめ定めた期間ごとのパケットのゆらぎ時間の最大値、またはパケットロスが連続して発生するフレーム数（例えば、単独フレームでのロスは１、３フレーム連続してパケットロスが発生したときは３）の最大値（以下、「連続パケットロス数」という。）を検出し、受信バッファに蓄積されたパケットの数（以下、「蓄積パケット数」という。）と遅延量を、
ゆらぎ時間に相当するフレーム数（端数切り上げ）≦遅延量≦蓄積パケット数
または
連続パケットロス数≦遅延量≦蓄積パケット数
を満たすように、制御する。【００１４】  さらに、この発明では、送信側で、各フレーム内の音響信号に対応する少なくともピッチ周期を音響特徴量として求め、遅延量制御情報として指定されるフレーム数だけ、フレーム番号が異なる音響信号と音響特徴量を同一のパケットに組み込んで送信する。受信側で、出力しようとするフレームの音響信号に対応するパケットが紛失した場合は、紛失パケットの音響信号に対応する音響特徴量を、受信バッファ内のパケットから求め、上記紛失パケットの音響信号のフレーム（以下紛失フレームという）と直近したフレームの音響信号から、上記求めた音響特徴量に含まれるピッチ周期に対応する長さの波形を切り出し、その切り出した波形を上記ピッチ周期で繰り返し並べ、この並べた信号を用いて上記紛失パケットの音響信号を生成する。
【発明の効果】
【００１５】  この発明によれば、遅延量制御情報をパケットに組み込んで送信するとともに、各フレームの音響信号対応データをその音響信号とは別のパケットで送信している。つまり、遅延量を送信側が変更しても、受信側では、音響信号と音響信号対応データとの関係が把握できる。したがって、あるフレームの音響信号がパケットロスにより失われても、その音響信号の音響信号対応データはパケットロスすることなく受信されるとともに、送信された遅延量制御情報から容易に求めることができる。
また、音響信号対応データとして、その音響信号のピッチ周期を用いる場合は、このピッチ周期と対応する長さで音響信号波形を切り出し、並べて、紛失音響信号を生成している。したがって、１フレーム単位のランダムなパケットロスの場合でも、連続して複数フレームのパケットロスが発生した場合でも、パケットロスが発生しない場合に近い音響品質で音響信号が再生されるため、安定した音響通信が実現される。【００１６】  このように、パケットロスの発生頻度の高いパケット通信網で、リアルタイムの安定した音響通信ができる。また、パケット通信網はコストを抑えるために、ある程度のパケットロスを許容するように設計するのが一般的であり、この発明の利用によって、回線自体のパケットロス率が低い高品質ネットワークが不要となるため、ネットワークコスト低減にも効果がある。
また、遅延量を通信網の状態にあわせて制御することにより、通信網の状態が相対的に良い場合には、受信バッファ内の蓄積パケット数を減らして、音声パケットを受信してから実際に音声信号が再生されるまでの遅延時間を短縮する。通信網の状態が相対的に悪い場合には、受信バッファ内の蓄積パケット数を増やして、（音声パケットを受信してから実際に音声信号が再生されるまでの遅延時間は増加するが）バーストパケットロスが発生しても確実に音響信号対応データを取得して、品質劣化の少ない音声信号を再生することができる。
【図面の簡単な説明】
【００１７】［図１］音声信号を音声パケットに変換し、パケット通信網によって通信する概念図。
［図２］図１中の音声信号送信部１２の一般的な機能構成例を示すブロック図。
［図３］図１中の音声信号受信部１４の一般的な機能構成例を示すブロック図。
［図４］一般的なパケットロスコンシールメントの手法による紛失信号の生成を説明するための波形図。
［図５］図４においてピッチ波形を繰り返して波形を作成する際に不連続音が生じないようにするための重ね合わせ手法（オーバーラップアッド処理）を説明するための波形図。
［図６］オーバーラップアッド処理における三角窓関数の例を示す図。
［図７］この発明による音響信号送信装置１００の機能構成例を示す図。
［図８］この発明による音響信号受信装置２００の機能構成例を示す図。
［図９］この発明による音響信号パケット送信方法の処理手順の例を示す図。
［図１０］この発明による音響信号パケット受信方法の処理手順の例を示す図。
［図１１］パケットの構成例を示す図。
［図１２］図８中の紛失信号生成部２２４の動作の一例を説明するための波形図。
［図１３］図８中の紛失信号生成部２２４の具体的機能構成例を示す図。
［図１４］紛失フレームの音響信号の特徴量の選択手順の例を示す図。
［図１５］連続してパケットロスが発生した場合の後ろ向き波形外挿処理を説明するための波形図。
［図１６］後ろ向き波形外挿のオーバーラップアッド処理を説明するための波形図。
［図１７］この発明による音声信号送信装置１００−２の機能構成例を示す図。
［図１８］この発明による音声信号受信装置２００−２の機能構成例を示す図。
［図１９］ゆらぎ時間と蓄積パケット数の対応の例を示す図。
［図２０］この発明による音声信号受信装置２００−３の機能構成例を示す図。
［図２１］この発明による音声信号受信装置２００−４の機能構成例を示す図。
［図２２］この発明による音声信号受信装置２００−５の機能構成例を示す図。
［図２３］この発明による音声信号受信装置２００−６の機能構成例を示す図。
［図２４］この発明による音声信号受信装置２００−７の機能構成例を示す図。
［図２５］一方向に音声パケットを送る場合のシステム構成例を示す図。
［図２６］音声パケットを一方向で送り、制御信号を逆方向に送る場合のシステム構成例を示す図。
［図２７］送信装置３００の機能構成例を示す図。
［図２８］受信装置４００の機能構成例を示す図。
［図２９］双方向で音声パケットを送る場合のシステム構成例を示す図。
［図３０］音声パケットの受信側から送信側への制御情報の送信を行わない場合の処理フロー例を示す図。
［図３１］音声パケットの受信側から送信側への制御信号の送信を行う場合の処理フローの第１の例を示す図。
［図３２］音声パケットの受信側から送信側への制御信号の送信を行う場合の処理フローの第２の例を示す図。
［図３３］音声パケットの受信側から送信側への制御信号の送信を行う場合の処理フローの第３の例を示す図。
［図３４］音声パケットの受信側から送信側への制御信号の送信を行う場合の処理フローの第４の例を示す図。
［図３５］通信網の状態がパケット通信に与える影響は、双方向とも同じであると仮定した場合の処理フロー例を示す図。
【発明を実施するための最良の形態】
【００１８】  この発明は、コンピュータ本体とコンピュータプログラムとして実行することが可能であるし、ディジタルシグナルプロセッサや専用ＬＳＩに実装して実現することも可能である。この発明は音声・音楽などの音響信号に適用できるが、以下では、図１に示したＶｏｉｃｅ  ｏｖｅｒ  ＩＰによる音声通信システムにこの発明を適用した場合について説明する。また、重複説明を避けるため、同じ機能を備える構成部や、同じ処理をする過程には同じ番号を付している。
以下では、実施例１として、音響信号対応データとしてピッチ周期を用いた場合の音声信号送信装置と音声信号受信装置の機能構成や処理フローを説明する。実施例２では、遅延量と蓄積パケット数を通信網の状態に連動させる方法について説明する。なお、実施例２で用いる音響信号対応データは、ピッチ周期に限る必要はなく、音響信号そのものでもよく、また他の音響信号特徴量でもよい。
【実施例１】  音声信号送信装置１００（図１中の送信部１２と対応）の機能構成例を図７に、音声信号受信装置２００（図１中の受信部１４と対応）の機能構成例を図８にそれぞれ示し、音声信号送信装置１００の処理手順の例を図９に、音声信号受信装置２００の処理手順を図１０にそれぞれ示す。
送信側
送信装置１００において、入力音声信号は入力バッファ１１１に蓄えられ、音声信号をフレームと呼ばれる一定の時間ごとに区切って、つまりフレーム分割して（ステップＳ１）音声波形符号化部１１２に送る。１フレームの時間長は一般には、１０ミリ秒から２０ミリ秒程度とすることが多い。【００１９】  音声波形符号化部１１２では、例えば、ＩＴＵ−Ｔの標準符号化方式であるＧ．７１１（μ−ｌａｗ  ＰＣＭまたはＡ−ｌａｗ  ＰＣＭ方式）を適用して入力音声信号を音声符号に変換する（ステップＳ２）。なお、Ｇ．７１１以外の標準方式や、非標準の音声符号化方式など、符号化方式は任意の方式を用いてよい。音声符号はパケット構成部１１３に送られる。
音声特徴量計算部１１４では、入力バッファ１１１に蓄えられた音声信号を用いて、当該フレームにおけるその音声信号の音声特徴量を計算する（ステップＳ３）。音声特徴量とは、ピッチ周期（音声の基本周波数に相当）、パワなどを指し、これらの特徴量のいずれかのみを利用することもあるし、全部を利用することもある。ピッチ周期はピッチ部１１４ａで例えば、音声信号波形または音声信号波形にスペクトル包絡の逆特性を持つフィルタをかけた信号の自己相関係数を計算することによって得られる（ステップＳ３ａ）。パワは、パワ部１１４ｂでフレーム内の音声信号の全サンプルの二乗和により計算する（ステップＳ３ｂ）。この二乗和をフレーム長のサンプル数（音声信号のサンプリング周波数が８ｋＨｚでフレーム長が２０ミリ秒の場合は１６０）で除して平方根をとった値（１サンプルあたりのパワの平方根）をパワを表す特徴量として利用してもよい。【００２０】  音声特徴量符号化部１１５では、前記音声特徴量を決められたビット数（またはバイト数）で表すことができるように量子化した後、符号に変換する（ステップＳ４）。例えば、ピッチ周期の場合、音声のサンプリング周波数が８ｋＨｚサンプリングで、ピッチ周期の探索範囲が４０サンプル〜１２０サンプルの場合には、符号として０〜８０を割り当てることができ、７ビットで符号化することができる。探索範囲が２０サンプル〜１６０サンプルの場合は符号として０〜１４０を割り当てるので８ビットである。パワの場合は、前記１サンプルあたりのパワの平方根にＧ．７１１方式を適用すれば８ビットで符号化することができる。（パワに負の値はないので、実際には正負の符号ビットを除いた７ビットでよい。）
符号化された音声特徴量は、シフトバッファ１１６に送られる。シフトバッファ１１６では、あらかじめ指定された数のフレームにわたって音声特徴量の符号を保持する。後述する遅延量制御情報が端子１１７から入力されると、遅延量制御情報で指定されたフレーム数だけ前、つまり過去のフレームの音声信号の音声特徴量の符号（「補助情報」ともいう。）をパケット構成部１１３に送る。例えば、現在のフレームをｎ、遅延量制御情報が３とすると、フレームｎ−３で生成された音声特徴量符号がシフトバッファ１１６で３フレーム遅延されてパケット構成部１１３へ送られる（ステップＳ５）。【００２１】  端子１１８から後述するバッファ残量が入力され、バッファ残量符号化部１１９で符号化される（ステップＳ６）。そのバッファ残量符号もパケット構成部１１３に送られる。パケット構成部１１３では、前記音声信号波形を符号化した符号と、音声特徴量の符号と、遅延量制御情報と、バッファ残量符号を用いてパケットを構成する（ステップＳ７）。なお、遅延量制御情報とバッファ残量符号はパケットに組み入れない場合もある。この点については後述する。
パケット送出部１２１は、パケット構成部１１３で作成されたパケットの情報を受け取り、音声パケットとしてパケット通信網に送出する（ステップＳ８）。【００２２】  パケット構成部１１３での、パケットの構成例を図１１に示す。一般にパケットはヘッダ領域４１とデータ領域４２からなり、ヘッダ領域４１の中でも必須領域４１ａとオプション領域４１ｂがある。パケットの宛先やフレーム番号などのタイムスタンプはヘッダ領域４１に格納される。音声信号波形を符号化した符号データはデータ領域４２に格納される。音声特徴量の符号は、波形データに比べてサイズ（バイト数）が少ないため、ヘッダ領域４１のオプション領域ＨＯＰ４１ｂに格納する方法と、データ領域４２の先頭Ｄ１または末尾ＤＥに格納する方法のいずれでもよい。オプション領域ＨＯＰに格納する方法が、この発明を適用しない方法との互換性を維持しやすいという長所がある。また、パケットのヘッダ領域４１は４バイトの倍数とするのが一般的である。音声特徴量として、ピッチ周期とパワをそれぞれ１バイトずつで量子化して送る場合（７ビットの場合は１バイト＝８ビットに切り上げる）、ピッチ周期とパワ情報の合計２バイトに、遅延量制御情報とバッファ残量符号を各１バイトで表現して合計４バイトとなる。これらを、例えばオプション領域ＨＯＰ４１ｂの４つの領域ＯＰ１，ＯＰ２，ＯＰ３及びＯＰ４に各１バイトずつ格納する。遅延量制御情報を補助情報（音声特徴量符号）とともに送るのは、補助情報がどのフレームに対応する補助情報であるかを、受信側で知るためであり、フレームｎを基準とした相対的なタイムスタンプとみることができる。また、バッファ残量符号を補助情報とともに送るのは、相手側が自分宛にパケットを送るときに、補助情報をフレームｎと相対的に何フレームずれで送ってもらうのが適当であるかを伝えるためである。【００２３】  補助情報がフレームｎと相対的に何フレームずれたものであるかをフレーム毎にダイナミックに変動させない場合は、遅延量制御情報やバッファ残量符号を補助情報とともに送ることは不要であり、図７中のバッファ残量符号化部１１９、図８中のバッファ残量復号部２１６、受信バッファ残量判定部２１８、図９中のステップＳ６は省略される。あらかじめ決められた相対的なフレームのずれを送信側と受信側で事前に（例えば呼の接続時のネゴシエーションで）知っていればよいからである。その場合には、遅延量制御情報とバッファ残量符号を各１バイトで送る必要がなく、ピッチ周期とパワ情報の合計２バイトだけで済む。ヘッダ領域が４バイト単位であるので、補助情報を２フレーム分、例えば、フレームｎ−３とフレームｎ−６の各音声信号に対する各補助情報をフレームｎのパケットにつけて送ることができる。したがって、音声信号符号とその補助情報のいずれもがパケットロスとなる確率が低くなる。またこの遅延量制御情報を一定にする場合は、音声信号符号と、その補助情報が共にパケットロスにならないように、つまりバースト的ロスに耐え、かつリアルタイム性が失われない程度に、６０ミリ秒，８０ミリ秒あるいは１００ミリ秒程度と対応するフレーム数とする。
受信側
図８の音声信号受信装置２００において、パケット受信部２１１は、パケット通信網から音声パケットを受信し（ステップＳ２１）、受信バッファ２１２に蓄積する（ステップＳ２２）。受信バッファ２１２はゆらぎ吸収バッファとも呼ばれる。前述したように、音声パケットには、音声信号波形を符号化した符号と、ピッチ、パワ等の符号の補助情報、遅延量制御情報、バッファ残量符号が含まれている。補助情報がフレームｎと相対的に何フレームずれたものであるかをフレーム毎にダイナミックに変動させない場合は、遅延量制御情報とバッファ残量符号は不要である。ただし、以下は遅延量制御情報とバッファ残量符号がともにパケットに組み込まれていることを前提にして説明する。【００２４】  受信した音声パケットに含まれる音声信号波形を符号化した符号は、音声パケット復号部２１３に送られ、音声信号波形に復号される（ステップＳ２４）。パケットロスが発生していないフレームでは、音声パケット復号部２１３の出力信号が切替スイッチ２１４を通じて出力端子２１５に再生音声として出力される（ステップＳ３６）。
バッファ残量復号部２１６では、受信した音声パケットに含まれるバッファ残量符号から、補助情報を何フレームまでずらしてパケットにつけるかを指定する遅延量制御情報を求める。求められた遅延量制御情報は、図７中の端子１１７、つまりシフトバッファ１１６とパケット構成部１１３に送られる。相手側バッファ残量と遅延量制御情報の関係については後述する。【００２５】  受信した音声パケットに含まれる遅延量制御情報は、紛失処理制御部２１７で利用される。紛失処理制御部２１７における処理は後で詳細に述べる。
受信バッファ残量判定部２１８は、受信バッファ２１２に蓄積されているパケットのフレーム数を検出する。例えば、フレームｎが音声パケット復号部２１３で復号されているときに、受信バッファ２１２にフレームｎ＋１，ｎ＋２，ｎ＋３の音声信号符号のパケットが蓄積されている状態であれば、バッファ残量、つまり蓄積パケットのフレーム数は３である。このバッファ残量は、図７中の端子１１８、つまりバッファ残量符号化部１１９に送られる。なお、図７に示す送信装置１００と、図８に示す受信装置２００が相互に連携するこの通信方法は、双方向音声通信を行い、各端末が送信装置１００及び受信装置２００の両方を具備していることが前提である。【００２６】  なお、音声信号送信装置１００の端子１１７は、送信部１１７自体を制御するための信号の入力端子である。つまり、入力端子１１７に入力された遅延量制御情報にしたがって、音声特徴量が遅れて送信されるパケットに組み込まれる。一方、端子１１８は、通信先の音声信号受信装置２００に送信するための情報の入力端子であり、この情報によって、音声信号送信装置１００は制御されない。つまり、端子１１８に入力された情報は、通信先に送信されるだけである。
紛失検出部２１９はパケットロス（紛失）を検出する（ステップＳ２３）。パケット受信部２１１で受信されたパケットはそのパケット番号にしたがって、つまりフレーム番号の順に受信バッファ２１２に格納される。例えば、受信したパケットのフレーム番号がその直前に受信したパケットのフレーム番号より３つ多ければ、直前に受信したパケットの格納位置から２つのパケットを格納する位置をあけてその受信パケットを格納する。受信バッファ２１２からはその格納位置の順にパケットが読み出されるが、読み出される際に読み出す格納位置にパケットがない場合には、その読み出し動作の直前に、パケットロス（紛失）が発生したと紛失検出部２１９が判定し、切替スイッチ２１４を紛失処理制御部２１７の出力側に切替える。紛失処理制御部２１７におけるパケットロスコンシールメント制御処理の詳細を説明する。【００２７】  フレームｎにおいて、パケットロスが発生したとする。パケットロスが発生した場合は、受信バッファ探索部２２１が受信バッファ２１２に蓄積された受信パケットを探索し、フレームｎ＋１以降で受信されているパケットの中で、紛失フレームｎに時間の近い（タイムスタンプが直近の）パケットを探索する（ステップＳ２５）。この探索の結果フレームｎ＋ｉのパケットが得られたとする。例えば、フレームｎ＋１がロス（紛失）していないときはｉ＝１、フレームｎ＋１、フレームｎ＋２とも連続してロスしてフレームｎ＋３がロスでない場合はｉ＝３といった具合である。フレームｎ＋ｉのパケットに含まれる音声信号波形を符号化した符号は、先読み音声波形復号部２２２で復号され（ステップＳ２６）、フレームｎ＋ｉの音声信号波形が得られる。さらに受信バッファ探索部２２１において受信バッファ２１２に蓄積されたパケットの中から、紛失フレームｎの音声信号に対応する補助情報が付加されたパケットを探索する（ステップＳ２７）。【００２８】  前述したように、遅延量制御情報（相対的なタイムスタンプ）がパケットに付加されている場合には、その遅延量制御情報をもとにフレームｎの音声信号と対応する補助情報が付加されたパケットを探索することができる。例えば、フレームｎ＋３のパケットに遅延量制御情報として３が付加されていれば、それはフレームｎの音声信号と対応する補助情報である。補助情報が付加されるパケットはフレームｎと相対的に何フレームずれたものであるかをフレーム毎にダイナミックに変動させない場合は、遅延量制御情報を送信側でパケットに付加する必要がなく、その場合は、あらかじめ決められた遅延量を前提として紛失フレームｎの音声信号と対応する補助符号が付加されたパケットを探索する。例えば、あらかじめ決められた遅延量が５のとき、紛失フレームｎの音声信号対応補助情報は、フレームｎ＋５のパケットに付加されている。前述したように１フレーム分のパケットに２フレーム分の補助情報を付加している場合は、探索の結果、紛失フレームｎの音声信号対応補助情報が付加されたパケットは受信バッファ２１２内に２つ見つかることがあるので、その場合はいずれかを利用すればよい。【００２９】  このパケット探索で見つかれば（ステップＳ２８）、探索された紛失フレームｎの音声信号に対応する補助情報は、音声特徴量復号部２２３において紛失フレームｎの音声信号のピッチ情報とパワ情報に復号され（ステップＳ２９）、紛失信号生成部２２４に送られる。
一方、非特許文献１に示す方法と同様に、出力端子２１５に出力される出力音声信号は出力音声バッファ２２５に蓄えられ（ステップＳ３６）、ステップＳ２８でパケット検索により見つからなければ出力音声バッファ２２５の出力音声信号はピッチ抽出部２２６においてピッチ周期の分析が行われる（ステップＳ３０）。ピッチ抽出部２２６において抽出されるピッチは、紛失フレームの直前フレームｎ−１の音声信号に対応するピッチである。直前フレームｎ−１の音声信号に対応するピッチは、紛失信号生成部２２４に送られる。【００３０】  紛失信号生成部２２４の動作イメージを図１２に、機能構成例を図１３に示す。フレームｎを現在のフレームとし、フレームｎに対応するパケットがロス（紛失）したものとする。非特許文献１に示す方法は、パケットロスの発生した直前のフレームｎ−１の波形をピッチ単位で繰り返すもので、ピッチ周期、パワを含む信号の特性は直前のフレームと同一であった。この実施形態では図１３に示すように、直前のフレームｎ−１の信号からピッチ周期と対応する信号波形を切り出し、この信号波形を、非特許文献１に示す方法と同様に、前向き波形外挿部５１においてピツチ周期単位で波形を繰り返して１フレーム長の波形１０−１を作成する（ステップＳ３１）。このとき、非特許文献１に示す方法では、ピッチ周期として直前のフレームｎ−１における音声信号のピッチ長を用いているが、この発明では、補助情報を復号して得られた紛失フレームｎの音声信号のピッチ長を用いる。補助情報を組み込んだパケットも紛失した場合など、ステップＳ２８でパケットを見つけることができず補助情報が得られていない場合は、ステップＳ３０で得られた直前のフレームｎ−１の音声信号のピッチ長で代用する。【００３１】  また、この実施例ではフレームｎ＋１以降で、受信バッファ２１２内に正常に受信できたフレームｎ＋ｉの音声信号（つまり、フレームｎ＋１のパケットが受信できていればフレームｎ＋１の信号、フレームｎ＋１のパケットも連続して紛失して、フレームｎ＋２のパケットが受信できた場合にはフレームｎ＋２の信号）からピッチ周期と対応する信号波形を切り出し、後ろ向き波形外挿部５２でピッチ周期単位の波形を繰り返して１フレーム長の波形１０−２を作成する（ステップＳ３２）。このとき、時間軸上で未来の波形を使って外挿するため、波形の繰り返し方向が時間軸の負の向きであることに注意する。また後ろ向き波形外挿部５２で使用するピッチ周期は、前向き波形外挿部５１と同様に、補助情報を復号して得られた紛失フレームｎの音声信号のピッチ長とする。しかし、補助情報を組み込んだパケットもロスした場合など、補助情報が得られていない場合は、フレームｎ−１の音声信号のピッチ長で代用するか、または、フレームｎ＋１の音声信号対応の補助情報が得られていれば、フレームｎ＋１の音声信号のピッチ長で代用してもよい。【００３２】  つまり紛失フレームｎの音声信号を生成しようとする場合に、波形外挿の際の切り出しピッチ長は例えば図１４に示すように、紛失フレームｎの音声信号に対する補助情報が格納されたパケットがロスでなければ（ステップＳ４１）、その補助情報を復号して用いる（ステップＳ４２）。その補助情報が付加されたパケットがロスであれば、外挿が前向きかを調べる（ステップＳ４３）。前向きであれば、直前のフレームｎ−１の出力音声信号からピッチ長を分析して、そのピッチ長を用いる（ステップＳ４４）。外挿が前向きでなければ、直後のフレームｎ＋１の音声信号に対する補助情報が付加されたパケットを探索する。これがロスでなければ、ステップＳ４２に移ってその補助情報を復号してピッチ長を用いる。なお、このフレームｎ＋１の音声信号の補助情報も得られなければ、ステップＳ４４に移る。前記前向き波形外挿部５１と、後ろ向き波形外挿部５２のそれぞれ処理イメージを図１２に示す。９−１は過去の波形、９−２は先読みの波形を示している。前向き波形外挿では、フレームｎ−１の音声信号から切り出した１ピッチ長の波形１０Ａ１を区間１０Ｂ１，１０Ｃ１，１０Ｄ１のように繰り返して波形１０−１を作成する。後ろ向き波形外挿では、フレームｎ＋１の音声信号から切り出した１ピッチ長の波形１０Ａ２を、区間１０Ｂ２，１０Ｃ２，１０Ｄ２のように繰り返して波形１０−２を作成する。図１５の波形９−２に、フレームｎ、フレームｎ＋１が連続してパケットロスになり、フレームｎ＋２が正常に受信できた場合の後ろ向き波形外挿のイメージを示す。この場合は、フレームｎ＋２の音声信号から１ピッチ波形１３Ａを切り出し、これをフレームｎ＋１のフレームｎ＋２側からフレームｎのフレームｎ−１側に向って区間１３Ｂ，１３Ｃ，…，１３Ｆと繰り返すことによってフレームｎの外挿波形１０−２を得る。【００３３】  なお、非特許文献１に示す方法の説明において図５で述べたように、単純に１ピッチ長に切り出した波形を並べると、接続点で不連続音が出る。そこで、前向き波形外挿では図５と同様に重なり区間を設けて窓掛け加算（Ｏｖｅｒｌａｐ  ａｄｄ，ＯＬＡ）を行うのがよい。同様に後ろ向き波形外挿においても図１６に示すように、窓掛け加算（ＯＬＡ）を、図５の時間軸を逆転した方法で実現できる。
波形１０−１と波形１０−２には、図１３に示すように乗算部５３と乗算部５４においてそれぞれ重みＷ１とＷ２が乗算され、加算部５５において加算され波形ｙｎとなる（ステップＳ３４）。重みＷ１とＷ２はそれぞれ１／２にする簡略化された方法と、波形１０−１と波形１０−２の「信頼度」に基づいて重み決定部５６でそれぞれ重みＷ１とＷ２を決定する（ステップＳ３４）方法がある。「信頼度」に基づくとは、過去最後に正常受信できたフレームと現在のフレームｎとのフレーム番号差と、受信バッファ２１２内から探索して得た現在よりも後の時刻（タイムスタンプ）の受信パケットのフレームと現在のフレームｎとのフレーム番号差とのうち、番号差の小さいほうを信頼度が高いとみなすことである。このような「信頼度」を利用することは、バースト的なパケットロスの場合に有用である。具体例を以下にいくつか挙げる。【００３４】  例１：直前のフレームｎ−１ではパケットロスが発生しておらず、フレームｎでパケットロスが発生、直後のフレームｎ＋１ではパケットロスが発生しなかった場合は、前向き外挿波形１０−１と後ろ向き外挿波形１０−２の「信頼度」は同じとみなされるので、重みはそれぞれ１／２とする。
例２：直前フレームｎ−１ではパケットロスが発生しておらず、フレームｎでパケットロスが発生、直後フレームｎ＋１もパケットロス、更に次のフレームｎ＋２ではパケットロスが発生しなかった場合は、前向き外挿波形１０−１と後ろ向き外挿波形１０−２の「信頼度」は直前のフレームｎ−１から前向き波形外挿によって得られた波形１０−１のほうが高いと推測される。したがって、前向き外挿波形１０−１に乗ずる重みは２／３、後ろ向き外挿波形１０−２に乗ずる重みは１／３とする。これは正常にパケットが受信された前、後の直近フレームｎ−１とｎ＋２から音声信号を生成しようとするフレームｎまでの「距離」が１：２であるため、信頼度を２：１とみなす。【００３５】  例３：フレームｎ−３が正常受信、フレームｎ−２、フレームｎ−１が連続パケットロスの後、フレームｎでパケットロス、フレームｎ＋１ではパケットロスが発生しなかった場合は、前向き外挿波形１０−１より後ろ向き外挿波形１０−２のほうが信頼度が高いと推測される。前向き外挿波形１０−１に乗ずる重みは１／４、後ろ向き外挿波形１０−２に乗ずる重みは３／４とする。これは正常にパケットが受信された前、後直近のフレームから音声信号を生成しようとするフレームｎまでの「距離」が３：１であるため、信頼度を１：３とみなす。従って図１３中の重み決定部５６では、例えば正常にパケットが受信された前及び後のフレームｎＢ及びｎＬと音声信号を生成しようとするフレームｎＮとのそれぞれの差Δｎ１及びΔｎ２が差回路５６ａ及び５６ｂで計算される。これらの差Δｎ１とΔｎ２が和回路５６ｃで加算される。この加算値により差Δｎ２を除算回路５６ｄで割算して前向き外挿波形１０−１に対する重みＷ１＝Δｎ２／（Δｎ１＋Δｎ２）を求める。また、前記加算値により差Δｎ１を除算回路５６ｅで割算して後ろ向き外挿波形１０−２に対する重みＷ２＝Δｎ１／（Δｎ１＋Δｎ２）を求める。【００３６】  前記の例では、前向き外挿波形１０−１の全サンプル点、後ろ向き外挿波形１０−２の全サンプル点に対して、フレーム内で一律の重みを乗じた。しかし、正常にパケットが受信されたフレームからの「距離」をサンプル点ごとに決定して、サンプル点毎に信頼度に応じた重みを設定してもよい。
図１３中のパワ補正部５７は、加算波形ｙｎのパワを、フレームｎの音声信号の補助情報を復号して得られたパワ情報によって補正し（ステップＳ３５）、フレームｎの音声信号ｘｎとして出力端子２１５に出力する（ステップＳ３６）。パワを補正するとは、加算波形ｙｎのパワが、補助情報が示すパワと同等になるように波形ｙｎの振幅を増減することである。ここで、同等とは、完全にパワが一致するか、または聴感上の影響を考慮して出力する音声信号ｘｎのパワのほうが多少低くなる程度にすることをいう。
バッファ残量と遅延量制御情報
前述の相手側バッファ残量と遅延量制御情報の関係について説明する。【００３７】  遅延量（＝補助情報を音声信号のいくつずらしたフレームと一緒に送信するかのずれ量）は、大きければ大きいほど、バースト的なロスに強くできる。しかし、受信側で補助情報を利用してパケットロスコンシールメント（紛失パケットの音声信号の生成）の処理をするには、補助情報が到着するまで音声の再生ができない。したがって、音声パケットを受信してから実際に音声信号が再生されるまでの遅延（再生遅延）が増大する。また、双方向に通信する場合には、相手が発声してから自分側で音声が再生されるまでの遅延（通話遅延）が増大する。遅延量が小さい場合には、再生遅延も小さくでき、単独の（ランダムな）パケットロスには耐えられる。しかし、バースト的なロスが発生すると、補助情報も失われる可能性が高い。つまり、遅延量と効果の間にはトレードオフが生じる。そのような場合に最適なのは、通信相手側の受信バッファに、その時点で何フレーム分のパケットが蓄積されているかという情報を相手側から受け取り、相手側受信バッファにおけるパケット蓄積フレーム数に相当する遅延量を設定することである。【００３８】  前述したように、パケットの到着時間のゆらぎを吸収するために受信バッファには一定量のパケットが蓄積されるようにするのが一般的である。特に、パケット通信網の通信状態があまりよくない場合には、相手側は受信バッファに蓄積するパケットの数を大きくして、パケットの到着ゆらぎによって音切れが生じないようにするのが一般的である。つまり、もともと受信バッファに蓄積されたパケットの数分の再生遅延が生じている。従って、相手側受信バッファに蓄積されたパケットのフレーム数（バッファ残量）に相当する値を遅延量として設定して補助情報を送信すれば、新たな再生遅延を増加させることなく、補助情報送信の効果を最大にすることができる。なお、相手側受信バッファに蓄積されたパケットのフレーム数以下の遅延量であれば、新たな再生遅延を増加させることがない。そこで、想定されるバースト的なパケットロスの特性に応じて、相手側受信バッファのパケット蓄積フレーム数以下の遅延量に設定してもよい。また、相手側受信バッファのバッファ残量が時々刻々変動することを考慮すれば、相手側バッファ残量よりも１〜２フレーム程度少ない遅延量に設定する方法も考えられる。【００３９】  音響特徴量としてはピッチ周期のみでもよい。この場合は図７中のパワ部１１４ｂ、図９中のステップＳ３ｂ、図１０中のステップＳ３５、図１３中のパワ補正部５７は省略される。また送信側で音響信号波形を符号化することなく、例えば入力されたＰＣＭ音響信号をそのままパケットに組み込んでもよい。この場合は、図７中の音声波形符号化部１１２、図８中の音声パケット復号部２１３、先読み音声波形復号部２２２、図９中のステップＳ２、図１０中のステップＳ２４、ステップＳ２６は省略される。更に音響特徴量についても、これらは通常ディジタル演算により求められるから、その計算結果が例えば８ビットで得られるようにすれば、特に音響特徴量も符号化する必要がなく、図７中の音声特徴量符号化部１１５、図８中の音声特徴量復号部２２３、図９中のステップＳ４、図１０中のステップＳ２９は省略される。【００４０】  紛失信号の生成において、前後のパケットが正常に受信され、フレームｎの１パケットのみが紛失（ロス）した場合、前向き外挿波形１０−１のみあるいは後ろ向き外挿波形のみを用いてもよい。またバースト的パケットロスの場合は、正常に受信された直後のフレームの音響信号としては前向き外挿波形のみを、正常に受信された直前のフレームの音響信号に対しては、後ろ向き外挿波形のみを用いることとしてもよい。
図７に示した音響信号送信装置１００、図８に示した音響信号受信装置２００はそれぞれコンピュータにより機能させてもよい。その場合は、図９に示したパケット送信方法の処理手順又は図１０に示したパケット受信方法の処理手順の各過程をコンピュータに実行させるための音響信号パケット送信プログラム又は音響信号パケット受信プログラムをコンピュータにＣＤ−ＲＯＭ、磁気ディスク装置、半導体記憶装置などの記録媒体からインストールし、あるいは通信回線を介してダウンロードしてそのプログラムをコンピュータに実行させればよい。
【実施例２】  実施例１では、音声信号送信装置１００と音声信号受信装置２００について、音声特徴量を音声信号とは異なるパケットに組み込んで送信すること、音声信号に対する音声特徴量の遅延量を受信側のバッファ残量を用いて制御すること、パケットロスが生じた場合の紛失フレームの生成方法などについて説明した。本実施例では、バッファ残量以外の情報を用いて遅延量を制御する方法を説明する。また、音声信号と異なるパケットに組み込んで送る情報も、音声特徴量に限定せず、音響信号に対応するデータ（以下、「音響信号対応データ」という。）として説明する。パケットが紛失した場合の紛失フレームの生成方法としては、音響特徴量から生成する方法以外にも考えられるからである。例えば、最も簡単な方法としては、音響信号対応データとして、音響信号そのものとする方法がある（つまり、音響信号を２回送る。）。この場合、紛失フレームの生成とは、別のパケットで送られた紛失フレームと同じフレームの音響信号をそのまま使えばよい。
音声信号送信装置と音声信号受信装置
図１７は、音声信号送信装置１００−２の機能構成例を示している。図７の音声信号送信装置１００との違いは、バッファ残量符号化部１１９の代わりに情報符号化部１３１を、音声特徴量計算部１１４の代わりに音響信号対応データ生成部１３２を、音声特徴量符号化部１１５の代わりに音響信号対応データ符号化部１３３を備えていることである。動作の手順は、図９に示した手順と同じであり、単純にバッファ残量を端子１１８で受け取る情報に、補助情報を音響信号対応データに変更するだけである。端子１１８は、対向する通信装置を制御するための情報を受け取る端子であり、当該音声信号送信装置１００−２とセットで備えられる音声信号受信装置からの情報、または記録装置にあらかじめ定めた情報を受け取る。この情報としては、音声信号受信装置の受信バッファに蓄積されたパケット数（バッファ残量）、音声信号受信装置が受信したパケットのゆらぎ情報、音声信号受信装置が検出したバーストロスで紛失したパケットの連続フレーム数（連続パケットロス数）などの情報、前記ゆらぎ情報や連続パケットロス数から求められる受信バッファに蓄積すべきパケット数（蓄積パケット数の目標値）、もしくは記録装置にあらかじめ定めておいた定数などが考えられるが、これらに限定されるものではない。これらの情報を総称して、遅延量制御情報の設定依頼情報と呼ぶことにする。【００４１】  図１８は、音声信号受信装置２００−２の機能構成例を示している。図８の音声信号受信装置２００との違いは、バッファ残量復号部２１６の代わりに遅延量制御部３４１を備えていることと、受信バッファ残量判定部２１８で受信バッファ２１２のバッファ残量を判定する代わりに、パケット受信部２１１からゆらぎを検出し（ゆらぎ検出部２３２）、受信バッファ２１２に蓄積すべきパケット数（蓄積パケット数の目標値）を定めて、受信バッファ２１２に実際に蓄積されたパケット数（バッファ残量）を前記蓄積パケット数の目標値に近づけるように受信バッファ２１２を制御する（受信バッファ制御部２３１）ことである。遅延量制御部３４１は、通信先の音声信号送信装置から送られた通信先の遅延量制御情報の設定依頼情報をパケットから取り出す。さらに、遅延量制御部３４１は、当該音声信号受信装置２００−２とセットで備えられる音声信号送信装置の遅延量を決め、端子１１７へ伝える。蓄積パケット数の目標値から遅延量を決める方法は、前記のバッファ残量から遅延量を決める方法のバッファ残量を蓄積パケット数の目標値に置き換えればよい。これは、蓄積パケット数の目標値を設定すると、蓄積パケット数の変更制御開始から完了までに一定の遷移時間を必要とするものの、一定時間経過後に、実際のバッファ残量が蓄積パケット数の目標値に一致することを前提としているためである。また、音声信号受信装置２００−２とセットで備えられる音声信号送信装置へ、受信バッファ制御部２３１から送る情報は、バッファ残量の代わりに、蓄積パケット数の目標値である。実際のバッファ残量は蓄積パケット数の目標値に近づくように制御されるが、ゆらぎなどのネットワーク状態が変動しているときには、目標値の変更から実際のバッファ残量が目標値になるまでにある程度の時間���要する。そこで、ある時点ではバッファ残量は蓄積パケット数の目標値に等しく、ある時点では蓄積パケット数の目標値に対して実際のバッファ残量が過不足している状態が生じる。なお、紛失状態判定部２３３を設け、パケットロスも考慮して蓄積パケット数を決定する方法もある。具体的には、紛失状態判定部２３３で、紛失検出部２１９で検出するパケットロスの情報も受け取り、バースト的なパケットロスで何パケットが連続して紛失したか（以下、「連続パケットロス数」という。）の最大値を求める。受信バッファ制御部２３１は、ゆらぎと連続パケットロス数の両方の情報から蓄積パケット数の目標値を決める。【００４２】  次に、ゆらぎから蓄積パケット数の目標値を決める方法を説明する。例えば、フレーム長が２０ミリ秒の場合には、ゆらぎがなければパケットは２０ミリ秒ごとに受信されるはずである。しかし、ネットワークの状態によって、あるパケットとあるパケットの受信間隔が４０ミリ秒であったり、５ミリ秒であったり、時に１００ミリ秒であったりする。そこで、ゆらぎ検出部２３２は、例えばパケットの受信間隔が毎フレーム２０ミリ秒であれば、ゆらぎ時間は０ミリ秒と判断する。パケットの受信間隔が１００ミリ秒のときは、ゆらぎ時間は８０ミリ秒と判断する。パケットの受信間隔が５ミリ秒の場合は、おそらく直前のパケットの到着がゆらぎによって遅れたためと考えられるが、ゆらぎ時間がマイナス１５ミリ秒、あるいは絶対値をとって１５ミリ秒と判断する。このように時々刻々観測されたゆらぎ時間の時系列を用いて、フレームごと（例えば２０ミリ秒ごと）に過去一定時間（例えば、２秒間）におけるゆらぎの最大値を求める。ゆらぎ時間の時系列から最大値を求める方法は、ゆらぎ時間を一定時間蓄積して、その中での最大値を検索するとよい。ゆらぎ時間の最大値は、受信バッファ制御部２３１に送られる。受信バッファ制御部２３１は、得られたゆらぎ時間の最大値に対応するフレーム数、すなわち、ゆらぎ時間の最大値をフレーム長で除した数（整数値に端数切り上げ）、あるいはそれに１を加えたフレーム数分を蓄積パケット数の目標値として、受信バッファ残量が目標値に近づくように制御する。また、図１９に示すようなゆらぎ時間の最大値と蓄積パケット数の目標値の対応表によって、蓄積パケット数の目標値を決めてもよい。蓄積パケット数の目標値はフレームごとに決定されるが、ゆらぎ時間の最大値に変化がないときには、蓄積パケット数の目標値も同じ値が維持される。なお、前記過去一定時間におけるゆらぎ時間の最大値を求め、ゆらぎ時間の最大値に対応する蓄積パケット数の目標値を求めることと、時系列のゆらぎ時間のそれぞれに対応する蓄積パケット数の目標値を求めて、一定時間における蓄積パケット数の目標値の最大値を求めることは等価である。目標値の領域で最大値を求める方（後者）が、最大値を検索する処理を効率化できる場合もある。【００４３】  また、パケットロスから蓄積パケット数の目標値を決める方法の例は以下のとおりである。紛失状態判定部２３３は、紛失検出部２１９から時々刻々送られたパケットロスの情報を用いて、フレームごと（例えば２０ミリ秒ごと）に過去一定時間（例えば２秒間）における連続パケットロス数の最大値を求める。パケットロス情報の時系列から連続パケットロス数の最大値を求める方法は、パケットロス情報を一定時間蓄積して、その中で連続パケットロス数の最大値を検索するとよい。連続パケットロス数の最大値は、受信バッファ制御部２３１に送られる。受信バッファ制御部２３１は、得られた連続パケットロス数の最大値、あるいはそれに１を加えたフレーム数分を蓄積パケット数の目標値として、受信バッファ残量が目標値に近づくように制御する。蓄積パケット数の目標値はフレームごとに決定されるが、連続パケットロス数の最大値に変化がないときは、蓄積パケット数の目標値も同じ値が維持される。ゆらぎ時間と連続パケットロス数の両方から蓄積パケット数の目標値を決める方法としては、ゆらぎ時間から決まる蓄積パケット数の目標値と、連続パケットロス数から決まる蓄積パケット数の目標値の大きい方を、蓄積パケット数の目標値とする方法が考えられる。【００４４】  図２０は、図１８に示した音声信号受信装置２００−２の変形例である。この機能構成は、双方向で音声信号をパケット通信網で通信する場合、パケットは双方向に送られることになるが、双方向の通信網の状態が同じと仮定している。そして、通信先から送られてきたパケットのゆらぎ時間や連続パケットロス数から、音声信号受信装置２００−３とセットで備えられる音声信号送信装置の遅延量を決め、通信先に遅延量制御情報の設定依頼情報を送らない。この機能構成の場合は、音声信号送信装置１００または１００−２の端子１１８への入力はない。【００４５】  図２１と図２２は、連続パケットロス数のみから蓄積パケット数を決める例である。図１８や図２０との違いは、ゆらぎ検出部２３２が削除された点である。
図２３と図２４は、受信バッファ２１２の蓄積パケット数を、受信したパケット内に組み込まれた遅延量制御情報から決める場合の構成例である。この場合には、受信バッファ制御部２３１が削除される。例えば、受信バッファ２１２は、蓄積パケット数を、パケット内に組み込まれた遅延量制御情報よりも１大きくする。また、図２３の場合は、ゆらぎ情報が、受信状態を通信先に伝えるための情報である。図２４の場合は、連続パケットロス数が受信状態を通信先に伝えるための情報である。
音声信号通信システム
図２５に、一方向に音声パケットを送る場合のシステム構成例を示す。通信装置１０００−１は音声信号送信装置１００−２と記録部１１０から構成される。なお、音声信号送信装置は、１００の音声信号送信装置でもよい。記録部１１０は、あらかじめ少なくとも遅延量制御情報を記録しており、音声信号送信装置１００−２（または１００）の端子１１７に遅延量制御情報を渡す。受信側の通信装置１０００−２は、音声信号受信装置２００−２から構成される。なお、音声信号受信装置は、２００、２００−４、２００−６、あるいは２００−７の音声信号受信装置でもよい。また、受信バッファに蓄積するパケット数の初期値として、例えば１を設定しておけばよい。このシステム構成のように完全な一方向の通信の場合には、音声信号受信装置２００−２から送信装置への出力信号は不要である。したがって、音声信号受信装置２００からバッファ残量復号部２１６と受信バッファ残量判定部２１８を削除した構成、音声信号受信装置２００−２と２００−４から遅延量制御部３４１を削除した構成、音声信号受信装置２００−６から遅延量制御部３４１とゆらぎ検出部２３２を削除した構成、音声信号受信装置２００−７から遅延量制御部３４１と紛失状態判定部２３３を削除した構成でもよい。【００４６】  図２６に、音声パケットを一方向で送り、遅延量制御情報の設定依頼情報を逆方向に送る場合のシステム構成例を示す。この場合、遅延量制御情報の設定依頼情報を送る通信網は、音声パケットの通信網と同じＩＰ通信網１３でもよいし、異なる通信網１３−２でもよい。音声パケットの送信側の通信装置１０００−３は、音声信号送信装置１００−２と受信装置４００から構成される。なお、音声信号送信装置は、１００の音声信号送信装置でもよい。また、遅延量の初期値として、例えば１と設定しておけばよい。音声パケットの受信側の通信装置１０００−４は音声信号受信装置２００−２と送信装置３００から構成される。なお、音声信号受信装置は、２００、２００−４、２００−６、あるいは２００−７の音声信号受信装置でもよい。また、蓄積パケット数の初期値として、例えば１を設定しておけばよい。【００４７】  図２７に前記の送信装置３００の機能構成例を、図２８に前記の受信装置４００の機能構成例を示す。送信装置３００の端子３２０は、音声信号送信装置１００−２の端子１１８に相当する。音声信号受信装置２００−２からの情報は端子３２０を経由して送信部３１０に入力される。送信部３１０は、受け取った情報を通信網１３（または１３−２）のプロトコルにあわせたフォーマットに変更し、通信装置１０００−３に送信する。ここで、音声信号受信装置からの情報とは、遅延量制御情報の設定依頼情報（遅延量制御情報の変更を依頼する情報、蓄積パケット数、バッファ残量、パケットのゆらぎ、あるいは連続パケットロス数など）である。受信装置４００は、音声パケットの受信側の通信装置１０００−４からの情報を受け取る。受け取った情報は受信部３１０に入力され、受信側の通信装置１０００−４を制御するための情報は、音声信号送信装置の端子１１８へ渡される。また、送信側の通信装置１０００−３内部の制御に使う情報は、遅延量制御部３４１��渡される。遅延量制御部３４１は、受け取った情報から遅延量制御情報を生成し、音声信号送信装置の端子１１７へ渡す。【００４８】  図２９に、双方向で音声パケットを送る場合のシステム構成例を示す。通信装置１０００−５は、音声信号送信装置１００−２と音声信号受信装置２００−２から構成される。なお、遅延量と受信バッファに蓄積する蓄積パケット数の初期値は、例えば１と設定しておけばよい。また、音声信号送信装置は、１００の音声信号送信装置でもよい。音声信号受信装置は、２００、２００−３、２００−４、２００−５、２００−６、あるいは２００−７の音声信号受信装置でもよい。
以下に、上記のシステム構成での処理フローを説明するが、装置内部の細かい処理フローは図９および図１０で示しているため省略する。例えば、音響信号を復号化する処理や紛失フレームの生成方法などは、実際の装置の内部では必ず行うことである。しかし、細かな処理は本発明の主要部ではないので、省略している。【００４９】  図３０は、音声パケットの受信側から送信側への遅延量制御情報の設定依頼情報の送信を行わない場合の処理フローを示している。この処理フローは、図２５のシステム構成の場合だけでなく、図２６や図２９のシステム構成の場合にも適用できる。送信側の通信装置１０００−１に音響信号が入力されると入力バッファ１１１に蓄積される（Ｓ１０１）。蓄積された音響信号は、フレームごとに分割され、音声符号化される（Ｓ１０２）。次に音響信号対応データと遅延量制御情報とを含む音声パケットを構成し、受信側に送信する（Ｓ１０３）。受信側の通信装置１０００−２では、音声パケットを受信し（Ｓ２０１）、受信バッファ２１２に蓄積する（Ｓ２０２）。パケットロスが発生した場合には（Ｓ２０３）、紛失処理制御部２１７で遅延量制御情報を利用して音響信号対応データを検索し（Ｓ２０４）、紛失フレームを生成する（Ｓ２０５）。最後にフレームの順番に音響信号を並べて出力する（Ｓ２０６）。このシステムでは、送信側の通信装置１０００−１が複数ある場合に、それぞれの通信装置１０００−１が自由に遅延量を設定することができる。また、図２９の通信装置１０００−５の場合にも、通信装置ごとに自由に遅延量を設定、変更することができる。したがって、遅延量についてあらかじめ共通のルールを決めておく必要がないし、変更も可能であるという効果がある。【００５０】  図３１、図３２、図３３、および図３４は、音声パケットの受信側から送信側への遅延量制御情報の設定依頼情報の送信を行う場合の処理フローを示している。これらの処理フローは図２６と図２９のシステム構成の場合に適用できる。
図３１の処理フローは、少なくとも、音声パケットの送信側の通信装置１０００−３（または１０００−５）が音声信号送信装置１００−２を備えており、音声パケットの受信側の通信装置１０００−４（または１０００−５）が音声信号受信装置２００−２または２００−４を備えている場合に適用できる。この処理フローの特徴は、受信側で、ゆらぎ時間または連続パケットロス数から遅延量制御情報の設定依頼情報を決め、送信側で、遅延量制御情報の設定依頼情報から遅延量制御情報を求めることである。【００５１】  音声パケットの送信側の通信装置１０００−３に、音響信号が入力され（Ｓ１０１）、入力バッファ１１１に蓄積される（Ｓ１０２）。音響信号対応データと遅延量制御情報とが組み込まれた音声パケットが構成され、受信側に送信される（Ｓ１０３）。音声パケットの受信側の通信装置１０００−４では、音声パケットを受信し（Ｓ２０１）、受信バッファ２１２に蓄積する（Ｓ２０２）。受信側の通信装置１０００−４のゆらぎ検出部２３２でゆらぎ時間を検出（または、紛失状態判定部２３３で連続パケットロス数を検出）する（Ｓ２０７）。受信バッファ制御部２３１は、蓄積パケット数の目標値を、ゆらぎ時間または連続パケットロス数以上に設定する（Ｓ２０８）。蓄積パケット数の目標値は、音声パケットの受信側の通信装置１０００−４の送信装置３００（または、通信装置１０００−５の音声信号送信装置１００−２）に遅延量制御情報の設定依頼情報として渡される。そして、送信装置３００（または音声信号送信装置１００−２）は、音声パケットの送信側の通信装置１０００−３（または通信装置１０００−５）に遅延量制御情報の設定依頼情報として送信する（Ｓ２０９）。音声パケットの送信側の通信装置１０００−３では、遅延量制御情報の設定依頼情報を受信する（Ｓ１０４）。遅延量制御部３４１で遅延量制御情報の値を遅延量制御情報の設定依頼情報すなわち蓄積パケット数の目標値以下とし、音声信号送信装置１００−２に渡す。音声信号送信装置１００−２では、シフトバッファ１１６に遅延量制御情報が入力され、遅延量制御情報が設定される（Ｓ１０５）。音声パケットの受信側の通信装置１０００−４では、パケットロス発生の確認、紛失フレームの生成などを行い（Ｓ２０３、Ｓ２０４、Ｓ２０５）、音声信号を出力する（Ｓ２０６）。このような処理によって、図３０で示した処理フローの効果の他に、時々刻々と変化する通信網の状態に追従した最適な蓄積パケット数と遅延量を設定することができるという効果がある。【００５２】  図３２の処理フローは、少なくとも、音声パケットの送信側の通信装置１０００−３（または１０００−５）が音声信号送信装置１００−２を備えており、音声パケットの受信側の通信装置１０００−４（または１０００−５）が音声信号受信装置２００−２、２００−４、２００−６、または２００−７を備えている場合に適用できる。この処理の特徴は、次のとおりである。音声パケットの受信側で、ゆらぎ時間または連続パケットロス数を検出し、その結果を送信側に送る。音声パケットの送信側では、ゆらぎ時間または連続パケットロス数から遅延量制御情報を設定する。音声パケットの送信側から、音��信号と一緒に遅延量制御情報が受信側に送られる。音声パケットの受信側では、受信した遅延量制御情報から蓄積パケット数を設定する。【００５３】  ステップＳ１０１からＳ２０１までは、図３１の処理フロートと同じである。受信バッファ２１２は、受信した音声パケットから、遅延量制御情報を取り出し、蓄積パケット数を設定する（Ｓ２０８）。この設定にしたがって、音声パケットは受信バッファに蓄積される（Ｓ２０２）。ゆらぎ検出部２３２または紛失状態判定部２３３は、ゆらぎ時間または連続パケットロス数を検出する（Ｓ２０７）。検出された情報は、音声パケットの受信側の通信装置１０００−４内の送信装置３００（または、通信装置１０００−５内の音声信号送信装置１００−２）から、音声パケットの送信側の通信装置１０００−３（または、通信装置１０００−５）に送信される（Ｓ２０９）。音声パケットの送信側の通信装置１０００−３（または、通信装置１０００−５）では、情報を受信する（Ｓ１０６）。遅延量制御部３４１で、遅延量制御情報の値を、ゆらぎ時間に対応するフレーム数または連続パケットロス数よりも大きい値とし、音声信号送信装置１００−２に渡す。音声信号送信装置１００−２では、シフトバッファ１１６に遅延量制御情報が入力され、遅延量制御情報が設定される（Ｓ１０５）。ステップＳ２０３からＳ２０６は、図３１と同じである。本処理フローの特徴の説明では、蓄積パケット数の設定が最後だったが、図３２の処理フローでは、ゆらぎの検出や遅延量制御情報の設定よりも前となっている。これは、本処理が繰り返し行われることによるもので、蓄積パケット数は、１回前の繰り返し処理で求められた遅延量制御情報から決まる。つまり、蓄積パケット数の設定が最後である。なお、１回目の繰り返し処理の時には、遅延量制御情報の初期値として、例えば１を設定しておけばよい。この処理フローの効果は図３１の場合と同じである。【００５４】  図３３の処理フローは、少なくとも、音声パケットの送信側の通信装置１０００−３（または１０００−５）が音声信号送信装置１００−２を備えており、音声パケットの受信側の通信装置１０００−４（または１０００−５）が音声信号受信装置２００−２または２００−４を備えている場合に適用できる。この処理の特徴は、ゆらぎ時間または連続パケットロス数から蓄積パケット数の目標値と遅延量制御情報とを同時に求めることである。
ステップＳ１０１からＳ２０７までは図３１と同じである。検出されたゆらぎまたは連続パケットロス数から、受信バッファ制御部２３１で蓄積パケット数の目標値と遅延量制御情報とを求める（Ｓ２１０）。このとき、
ゆらぎ時間に相当するフレーム数（端数切り上げ）≦遅延量≦蓄積パケット数
または
連続パケットロス数≦遅延量≦蓄積パケット数
の関係を満足するように求める。受信バッファ２１２は、求められた蓄積パケット数の目標値にしたがってパケットを蓄積するように設定される（Ｓ２０８）。求められた遅延量制御情報は、音声パケットの受信側の通信装置１０００−４の送信装置３００（または、通信装置１０００−５の音声信号送信装置１００−２）から、音声パケットの送信側の通信装置１０００−３（または、通信装置１０００−５）に、遅延量制御情報の変更依頼として送信される（Ｓ２１１）。この情報を、音声パケットの送信側の通信装置１０００−３（または、通信装置１０００−５）が受信し（Ｓ１０７）、遅延量制御部３４１で遅延量制御情報とする。音声信号送信装置１００−２では、シフトバッファ１１６に遅延量制御情報が入力され、遅延量制御情報が設定される（Ｓ１０５）。ステップＳ２０３からＳ２０６は、図３１と同じである。この処理フローの効果は、図３１、図３２の場合と同じである。【００５５】  図３４の処理フローは、少なくとも、音声パケットの送信側の通信装置１０００−３（または１０００−５）が音声信号送信装置１００を備えており、音声パケットの受信側の通信装置１０００−４（または１０００−５）が音声信号受信装置２００を備えている場合に適用できる。この処理の特徴は、バッファ残量を遅延量制御情報の設定依頼情報として送信し、遅延量制御情報を求めることである。
ステップＳ１０１からステップＳ２０２までは図３１と同じである。音声パケットの受信側の通信装置１０００−４（または、通信装置１０００−５）の受信バッファ残量判定部２１８は、受信バッファの残量を判定する（Ｓ２１３）。判定された情報は、音声パケットの受信側の通信装置１０００−４の送信装置３００（または、通信装置１０００−５の音声信号送信装置１００−２）から、音声パケットの送信側の通信装置１０００−３（または、通信装置１０００−５）に送信される（Ｓ２１４）。音声パケットの送信側の通信装置１０００−３（または、通信装置１０００−５）では、バッファ残量の情報を受信する（Ｓ１０８）。遅延量制御部３４１（または、バッファ残量復号部２１６）は、バッファ残量より以下となる遅延量制御情報を求める。音声信号送信装置１００−２では、シフトバッファ１１６に遅延量制御情報が入力され、遅延量制御情報が設定される（Ｓ１０５）。ステップＳ２０３からＳ２０６は、図３１と同じである。この処理フローの効果は、図３１、図３２、図３３の場合と同じである。【００５６】  図３５は、双方向で音声パケットをやり取りする場合に、通信網の状態がパケット通信に与える影響は、双方向とも同じであると仮定した処理フローである。この処理フローは、図２９のシステム構成の場合に適用できる。この処理の特徴は、受信した音声パケットのゆらぎや連続パケットロス数から、受信するパケットの蓄積パケット数と送信する音声パケットの遅延量制御情報を決めることである。ステップＳ１０１からステップＳ２０８までは図３３と同じである。求められた遅延量制御情報は、音声信号送信装置１００−２のシフトバッファ１１６に入力され、遅延量制御情報が設定される（Ｓ２１２）。この処理フローの効果は、図３１、図３２、図３３の効果に加え、通信装置を制御するための手順が少なくなることである。【００５７】  図１７、１８、２０〜２４、２７、２８に示した装置はそれぞれコンピュータにより機能させてもよい。図３０から３５に示した処理手順の各過程は、プログラムによってコンピュータに実行させてもよい。また、プログラムは、コンピュータにＣＤ−ＲＯＭ、磁気ディスク装置、半導体記憶装置などの記録媒体からインストール、あるいは通信回線を介してダウンロードすればよい。
【図１】
0004473869.tif 000002
【図２】
0004473869.tif 000003
【図３】
0004473869.tif 000004
【図４】
0004473869.tif 000005
【図５】
0004473869.tif 000006
【図６】
0004473869.tif 000007
【図７】
0004473869.tif 000008
【図８】
0004473869.tif 000009
【図９】
0004473869.tif 000010
【図１０】
0004473869.tif 000011
【図１１】
0004473869.tif 000012
【図１２】
0004473869.tif 000013
【図１３】
0004473869.tif 000014
【図１４】
0004473869.tif 000015
【図１５】
0004473869.tif 000016
【図１６】
0004473869.tif 000017
【図１７】
0004473869.tif 000018
【図１８】
0004473869.tif 000019
【図１９】
0004473869.tif 000020
【図２０】
0004473869.tif 000021
【図２１】
0004473869.tif 000022
【図２２】
0004473869.tif 000023
【図２３】
0004473869.tif 000024
【図２４】
0004473869.tif 000025
【図２５】
0004473869.tif 000026
【図２６】
0004473869.tif 000027
【図２７】
0004473869.tif 000028
【図２８】
0004473869.tif 000029
【図２９】
0004473869.tif 000030
【図３０】
0004473869.tif 000031
【図３１】
0004473869.tif 000032
【図３２】
0004473869.tif 000033
【図３３】
0004473869.tif 000034
【図３４】
0004473869.tif 000035
【図３５】
0004473869.tif 000036