(57)【要約】    【課題】パケットの受信側において、パケットの発信側又は中継点側での送信処理遅延の揺らぎを考慮することなく、ネットワーク遅延の揺らぎのみを考慮した揺らぎ吸収バッファ制御を可能とすること。    【解決手段】発信側又は中継点側の装置の送信処理制御部２５において、パケット送信処理部２４からパケット列中の各パケットの送信処理時刻を取得し、パケット列中から基準パケットを決定し、パケット列中の一のパケットの送信処理時刻から前記基準パケットの送信処理時刻を差し引き、さらに当該一のパケットが基準パケットより数えて何番目のパケットであるか示す値を時間に換算した値を差し引き、これが一定時間を越える場合にはパケット送信処理部２４へ当該一のパケットの破棄を要求することにより、送信処理遅延による揺らぎの受信側への影響をなくす。【選択図】図４
2006094130.tif 000002
【特許請求の範囲】
【請求項１】
それぞれが所定のデータの一部もしくはこれを符号化したデータを載せた２以上のパケットからなるパケット列を発信又は中継する装置におけるパケットの送信を制御する装置であって、
パケット列中の各パケットの送信処理時刻を取得する第１の手段と、
パケット列中の各パケットの理想的な送信処理時刻を取得する第２の手段と、
パケット列中の一のパケットの送信処理時刻から当該一のパケットの理想的な送信処理時刻を差し引き、これが一定時間を超える場合に当該一のパケットを送信せず破棄する第３の手段とを備えた
ことを特徴とするパケット送信制御装置。
【請求項２】
パケット列中の各パケットの理想的な送信処理時刻を取得する第２の手段は、
パケット列中のパケットの基準時刻を取得する第４の手段と、
パケットの基準時刻に対するパケット列中の各パケットの相対的な時間差を算出する第５の手段と、
パケットの基準時刻に前記算出した相対的な時間差を加算する第６の手段とからなる
ことを特徴とする請求項１に記載のパケット送信制御装置。
【請求項３】
パケット列中のパケットの基準時刻を取得する第４の手段は、
パケット列中から送信処理時刻の基準となる基準パケットを決定する第７の手段と、
パケット列中の各パケットの送信処理時刻のうち、基準パケットの送信処理時刻をパケットの基準時刻と読み替える第８の手段とからなる
ことを特徴とする請求項２に記載のパケット送信制御装置。
【請求項４】
一のパケットを破棄した場合、パケット列中の各パケットに載せるデータを生成するデータ生成手段に対し、前記破棄した一のパケット以後のパケットのデータを、受信側の装置がパケット消失を検出した際に当該消失したパケット以後のパケットのデータを処理する方法と同じ方法で生成することを要求する第９の手段を備えた
ことを特徴とする請求項１乃至３いずれかに記載のパケット送信制御装置。
【請求項５】
パケット列中の各パケットに載せるデータを生成するデータ生成手段への元データの入力時刻を取得する第１０の手段と、
データ生成手段への元データの入力時刻が一定時間を越えて遅延している場合にデータの破棄をデータ生成手段に要求する第１１の手段とを備えた
ことを特徴とする請求項１乃至３いずれかに記載のパケット送信制御装置。
【請求項６】
パケットを破棄した場合、以後のパケットに含まれるタイムスタンプ及びシーケンス番号を、該破棄したパケットに対応する分だけ少ないタイムスタンプ及びシーケンス番号に修正する第１２の手段を備えた
ことを特徴とする請求項１乃至３いずれかに記載のパケット送信制御装置。
【請求項７】
パケット列中の各パケットに載せるデータを生成するデータ生成手段が、実データと該実データに対する少なくとも１つの差分データとの繰り返し形式で生成する場合、
送信処理が一定時間を越えて遅れたパケットが実データを載せたパケットであれば送信し、その後、次の実データを載せたパケットまでの全てのパケットを送信せず破棄する第１３の手段を備えた
ことを特徴とする請求項１乃至３いずれかに記載のパケット送信制御装置。
【請求項８】
パケット列中の各パケットに載せるデータを生成するデータ生成手段が、実データと該実データに対する少なくとも１つの差分データとの繰り返し形式で生成する場合、
送信処理が一定時間を越えて遅れたパケットが実データを載せたパケットであれば送信し、差分データを載せたパケットであり且つその次のパケットが実データを載せたパケットであれば送信せず破棄する第１４の手段を備えた
ことを特徴とする請求項１乃至３いずれかに記載のパケット送信制御装置。
【請求項９】
パケット列中の各パケットに載せるデータを生成するデータ生成手段が、実データと該実データに対する少なくとも１つの差分データとの繰り返し形式で生成する場合、
送信処理が一定時間を越えて遅れたパケットが実データを載せたパケットであれば送信し、差分データを載せたパケットであれば送信せず破棄するとともに、次のパケットのデータとして実データの生成を前記データ生成手段に要求する第１５の手段を備えた
ことを特徴とする請求項１乃至３いずれかに記載のパケット送信制御装置。
【請求項１０】
それぞれが所定のデータの一部もしくはこれを符号化したデータを載せた２以上のパケットからなるパケット列を発信又は中継する装置におけるパケットの送信を制御する方法であって、
メモリ及び演算処理装置で構成される送信遅延制御部が、
パケット列中の各パケットの送信処理時刻を取得してメモリに記憶する第１のステップと、
パケット列中の各パケットの理想的な送信処理時刻を取得してメモリに記憶する第２のステップと、
メモリからパケット列中の一のパケットの送信処理時刻及び当該一のパケットの理想的な送信処理時刻を読み出し、当該一のパケットの送信処理時刻から当該一のパケットの理想的な送信処理時刻を差し引き、これが一定時間を超える場合に当該一のパケットを送信せず破棄する第３のステップとを実行する
ことを特徴とするパケット送信制御方法。
【請求項１１】
パケット列中の各パケットの理想的な送信処理時刻を取得してメモリに記憶する第２のステップは、
パケット列中のパケットの基準時刻を取得してメモリに記憶する第４のステップと、
パケットの基準時刻に対するパケット列中の各パケットの相対的な時間差を算出する第５のステップと、
メモリからパケット列中のパケットの基準時刻を読み出し、これに前記算出した相対的な時間差を加算する第６のステップとからなる
ことを特徴とする請求項１０に記載のパケット送信制御方法。
【請求項１２】
パケット列中のパケットの基準時刻を取得してメモリに記憶する第４のステップは、
パケット列中から送信処理時刻の基準となる基準パケットを決定する第７のステップと、
パケット列中の各パケットの送信処理時刻のうち、基準パケットの送信処理時刻をパケットの基準時刻と読み替えてメモリに記憶する第８のステップとからなる
ことを特徴とする請求項１０に記載のパケット送信制御方法。
【請求項１３】
一のパケットを破棄した場合、パケット列中の各パケットに載せるデータを生成するデータ生成手段に対し、前記破棄した一のパケット以後のパケットのデータを、受信側の装置がパケット消失を検出した際に当該消失したパケット以後のパケットのデータを処理する方法と同じ方法で生成することを要求する第９のステップを実行する
ことを特徴とする請求項１０乃至１２いずれかに記載のパケット送信制御方法。
【請求項１４】
パケット列中の各パケットに載せるデータを生成するデータ生成手段への元データの入力時刻を取得する第１０のステップと、
データ生成手段への元データの入力時刻が一定時間を越えて遅延している場合にデータの破棄をデータ生成手段に要求する第１１のステップと実行する
ことを特徴とする請求項１０乃至１２いずれかに記載のパケット送信制御方法。
【請求項１５】
パケットを破棄した場合、以後のパケットに含まれるタイムスタンプ及びシーケンス番号を、該破棄したパケットに対応する分だけ少ないタイムスタンプ及びシーケンス番号に修正する第１２のステップを実行する
ことを特徴とする請求項１０乃至１２いずれかに記載のパケット送信制御方法。
【請求項１６】
パケット列中の各パケットに載せるデータを生成するデータ生成手段が、実データと該実データに対する少なくとも１つの差分データとの繰り返し形式で生成する場合、
送信処理が一定時間を越えて遅れたパケットが実データを載せたパケットであれば送信し、その後、次の実データを載せたパケットまでの全てのパケットを送信せず破棄する第１３のステップを実行する
ことを特徴とする請求項１０乃至１２いずれかに記載のパケット送信制御方法。
【請求項１７】
パケット列中の各パケットに載せるデータを生成するデータ生成手段が、実データと該実データに対する少なくとも１つの差分データとの繰り返し形式で生成する場合、
送信処理が一定時間を越えて遅れたパケットが実データを載せたパケットであれば送信し、差分データを載せたパケットであり且つその次のパケットが実データを載せたパケットであれば送信せず破棄する第１４のステップを実行する
ことを特徴とする請求項１０乃至１２いずれかに記載のパケット送信制御方法。
【請求項１８】
パケット列中の各パケットに載せるデータを生成するデータ生成手段が、実データと該実データに対する少なくとも１つの差分データとの繰り返し形式で生成する場合、
送信処理が一定時間を越えて遅れたパケットが実データを載せたパケットであれば送信し、差分データを載せたパケットであれば送信せず破棄するとともに、次のパケットのデータとして実データの生成を前記データ生成手段に要求する第１５のステップを実行する
ことを特徴とする請求項１０至１２いずれかに記載のパケット送信制御方法。
【請求項１９】
それぞれが所定のデータの一部もしくはこれを符号化したデータを載せた２以上のパケットからなるパケット列を発信又は中継する装置におけるパケットの送信を制御するプログラムであって、
メモリ及び演算処理装置で構成される送信遅延制御部に、請求項１０乃至１８いずれかに記載の各ステップを実行させる
ことを特徴とするパケット送信制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、それぞれが所定のデータの一部もしくはこれを符号化したデータを載せた２以上のパケットからなるパケット列を発信又は中継する装置におけるパケットの送信を制御する技術に関し、送信処理時刻に一定時間を超える遅延を生じているパケットは破棄し、送信しないことによって受信側の装置で待ち合わせ処理を行わせないようにし、結果としてエンド・エンドの遅延を低減する技術に関する。
【０００２】
この際、受信側には遅延の少ない次のパケットが到着することにより、受信側でパケット消失と判定することが容易となり、パケット消失補償処理によって擬似的なデータを生成することが可能となる。
【背景技術】
【０００３】
従来より、受信側にパケットの遅延揺らぎを吸収するバッファを設け、揺らぎを整流してからデータを再生する処理が行われている。この際、発信又は中継側の装置と受信側の装置との間の遅延を最小化することを目的として、受信側でパケットの受信間隔を監視し、到着が一定時間を越えて遅延している場合は待ち合わせを行わず、消失したものとして消失補償処理によりパケットを受信側で生成し、データ再生を行い、遅れて到着したパケットは受信側で破棄する、という処理が行われていた（特許文献１、２参照）。
【０００４】
このように、受信側でパケットの遅延を判定する場合には、実際に発信側又は中継点側で送信処理が行われた時刻に関する情報が得られないため、ネットワーク遅延と送信処理遅延とを区別して処理することができないという問題があった。ネットワーク遅延特性が非常に短い時間に偏っており、大きな送信処理遅延が長時間の間に間欠的に発生するような場合に対応できない、例えば遅延揺らぎを吸収するようなバッファ制御を行う場合に、送信処理遅延をネットワーク遅延の遅延特性と判定して適応制御を行ってしまうために、平均遅延が大きくなるという問題があった。
【０００５】
本発明では、発信側又は中継点側でパケットを破棄することにより、送信処理遅延に起因する揺らぎを受信側で考慮することが不要となるため、受信側ではネットワーク遅延の揺らぎのみ考慮して制御を行うようにでき、結果として平均遅延を短くできる。
【特許文献１】特開平９−０５１５１５号公報
【特許文献２】特開平５−２０７０６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来の技術では、受信側でパケットの遅延揺らぎを吸収したり、パケットの破棄を行っているが、実際にはネットワークのみでなく、発信側や中継点側の装置の内部処理負荷により、送信時点で既にパケットの送信間隔が揺らいでしまう場合があり、受信側でバッファ制御を行う際に、待ち受け揺らぎ吸収バッファのサイズが過剰に大きくなるという問題があった。
【課題を解決するための手段】
【０００７】
本発明では、発信側や中継点側の装置において、パケット送信処理の処理時間間隔の揺らぎが所定の閾値以上である場合はパケットを送信せず、破棄することで処理の遅れを取り戻すことができる。また、パケットを破棄した後に次のパケットを送出する際には、適切に設定したタイムスタンプやシーケンス番号、例えば本来、次のパケットが備えるべきタイムスタンプやシーケンス番号を用いる。
（作用）
【０００８】
発信側又は中継点側の装置で観測されるパケット送信遅延に関する情報を用いて、発信側又は中継点側の装置でパケットを破棄し、タイムスタンプやシーケンス番号を適切に設定してパケットを送信することで、受信側では、発信側又は中継点側の送信処理揺らぎに起因するパケットの受信揺らぎを考慮する必要がなくなり、伝送路での伝送遅延揺らぎのみを観測してパケット受信揺らぎ吸収バッファ制御を行うことが可能となる。
【０００９】
結果として、発信側や中継点側でパケット破棄を行わない場合と比較して、破棄を行った場合には、受信側で受信揺らぎ吸収バッファが大きくなりすぎて遅延が増加するのを防ぐことができる。また、受信側ではタイムスタンプやシーケンス番号からパケットが失われていることを知ることができ、パケット消失補償処理を行うことができる。
【発明の効果】
【００１０】
本発明によれば、発信側又は中継点側において送信処理が一定時間を越えて遅れたパケットを破棄することにより、受信側では送信処理遅延に起因する揺らぎを考慮することなく、ネットワーク遅延に起因する揺らぎのみを考慮して遅延揺らぎ吸収のための制御を行うことができ、結果として平均遅延を短くできる。
【発明を実施するための最良の形態】
【００１１】
図１は本発明のパケット送信制御技術を適用するパケット通信システムの一例、ここでは一対の端末装置１Ａ，１Ｂがネットワーク（ＩＰ網）２を介して音声・映像の双方向通信を行うシステムの例を示すもので、本発明はこれらの端末装置１Ａ，１Ｂのいずれか一方もしくは両方に適用することができる。
【００１２】
各端末装置１Ａ，１Ｂ（以下、両者を区別しない場合は符号「１」で表す。）は、マイク３、ＣＣＤカメラ４、スピーカ５及びディスプレイ６をそれぞれ備え、音声信号データを載せたパケット及び映像信号データを載せたパケットを送受信する。なお、各端末装置１上では通信に直接関連しないサービスアプリケーションが動作しているものとする。
【００１３】
図２は図１中の端末装置１の機能構成（ブロック構成）の概要を示すもので、図中、１０は音声入力制御部、２０は音声送信処理部、３０は映像入力制御部、４０は映像送信処理部、５０は音声出力制御部、６０は音声受信処理部、７０は映像出力制御部、８０は映像受信処理部である。
【００１４】
音声入力制御部１０では、マイク３から入力された音声信号をＹｍｓ間隔でＹｍｓ分ずつの単位の音声データに変換し、音声送信処理部２０に渡す。音声送信処理部２０では、Ｙｍｓ分の音声データを単位として符号化し、Ｙｍｓ分の音声パケットとしてＲＴＰを用いて他方の端末装置に送信する（例えばＹ＝２０ｍｓとすることができる）。
【００１５】
映像入力制御部３０では、ＣＣＤカメラ４から入力された映像信号を、通信状態制御部（図示せず）より指定されたサイズ（例えばＶＧＡ）及びフレームレート（例えば１０ｆｐｓ）の映像ストリームデータに変換し、映像送信処理部４０に渡す。映像送信処理部４０では、映像入力制御部３０から渡された映像ストリームデータを、ＲＴＰを用いて映像パケットとして他方の端末装置に送信する。
【００１６】
音声受信処理部６０では、他方の端末装置からＹｍｓ間隔でＹｍｓ分ずつ到着する音声パケットを、音声受信処理部６０内のバッファ処理により一定量以上揺らぎ吸収バッファに蓄積した上で、Ｘｍｓ毎に一定量（Ｘｍｓ）ずつ音声出力制御部５０に渡す。音声出力制御部５０では、音声受信処理部６０から渡された音声データを順に音声信号に変換し、スピーカ５で再生する。
【００１７】
映像受信処理部８０では、他方の端末装置から受信した映像パケット列を送信順に整列し、映像ストリームデータとして映像出力制御部７０に渡す。映像出力制御部７０では、映像受信処理部８０から渡された映像ストリームデータを映像信号に変換し、ディスプレイ６に出力する。
【００１８】
図３は従来の音声送信処理部及び音声受信処理部の機能構成（ブロック構成）の一例を示すもので、以下、これを用いて、従来の音声パケット送信処理とともに、従来及び本発明に共通の音声パケット受信処理の詳細を説明する。
【００１９】
同図（Ａ）に示す音声送信処理部２０では、図示しない音声入力制御部からの所定の単位の音声データを音声入力処理部２１で受け取り、音声信号処理部２２で符号化してパケットデータ化し、シーケンス番号・タイムスタンプ生成部２３でシーケンス番号・タイムスタンプ（ＲＴＰシーケンス番号・ＲＴＰタイムスタンプ）を生成し、これを宛先アドレス等の他のデータとともに前記パケットデータに付加して音声パケットを構成し、パケット送信処理部２４から他方の端末装置に送信する。
【００２０】
また、同図（Ｂ）に示す音声受信処理部６０では、他方の端末装置からの音声パケットをパケット受信処理部６１で受信し、該受信したパケット中のＲＴＰシーケンス番号・ＲＴＰタイムスタンプを読み取って、他方の端末装置が送出した順番になるように整列した上で揺らぎ吸収バッファ（受信バッファ）６２に格納し（順番が入れ替わった場合には順番を元に戻す処理が行われる。）、該受信バッファ６２からパケット取り出し部６３によりパケットを一定間隔で取り出し、そのデータを音声出力処理部６４から図示しない音声出力制御部へ出力する。
【００２１】
受信側の端末装置では、音切れ無く音声を再生するために、受け取った音声パケットの受信間隔の揺らぎを吸収するのに必要な受信バッファサイズが決定される。伝送路での伝送遅延の揺らぎが大きい場合には、バッファサイズをより大きくする必要があり、結果として音声の遅延は大きくなる。
【００２２】
送信側の端末装置における処理負荷が大きい場合、パケット送信処理が一定の時間間隔で行われない場合がある。
【００２３】
（実施の形態１）
図４は本発明の第１の実施の形態、ここでは本発明のパケット送信制御を音声通信に適用した場合の実施の形態の一例にかかる音声送信処理部の機能構成（ブロック構成）を示すもので、図中、従来例と同一構成部分は同一符号をもって表す。即ち、２１は音声入力処理部、２２は音声信号処理部、２３はシーケンス番号・タイムスタンプ生成部、２４はパケット送信処理部、２５は送信遅延制御部である。
【００２４】
ここで、送信遅延制御部２５は、パケット送信処理部２４から送信されるパケットの送信処理時刻を監視し、一のパケットの送信処理時刻が当該一のパケットの理想的な送信処理時刻（以下、送信処理予定時刻と呼ぶ。）に対して一定時間を越えて遅延した場合に当該一のパケットを送信せず、破棄する処理を行う。
【００２５】
なお、本発明のパケット送信制御は、パケットを実際に送信する以前に行われるものであるから、実際の「パケットの送信時刻」と厳密には一致しないが、これと常に一定の関係にある時刻という意味で「パケットの送信処理時刻」という表現を用いた。
【００２６】
前述した理想的な送信処理時刻（送信処理予定時刻）は、様々な手段、方法によって得ることができる。
【００２７】
例えば、本実施の形態では、後述するように基準パケットを決め、基準パケットとその時点で送信しようとするパケットとの間に送信処理されたパケットの個数、各パケット間の理想的な送信間隔を用いて、計算によって当該パケットの理想的な送信処理時刻（送信処理予定時刻）を算出するようになしている。
【００２８】
別の方法では、例えば基準パケットを用いず、本発明の装置が起動され処理を開始した時刻を基準時刻として、パケットが理想的な送信間隔（例えば２０ｍｓ）毎に１つのパケットを送信処理すると仮定して、理想的な送信処理時刻（送信処理予定時刻）を算出することもできる。
【００２９】
また、別の方法では、送信遅延制御部２５に対して、通信網から定期的に同期信号を入力として得て、該同期信号が入力された時刻を理想的な送信処理時刻として処理することもできる。
【００３０】
本発明の趣旨としては、理想的な送信処理時刻（送信処理予定時刻）を得ることができる場合に、送信処理予定時刻に対して実際の送信処理時刻が一定時間を超える場合に、当該一のパケットを送信せず破棄することによって、発明の効果を得るものである。
【００３１】
図５は送信遅延制御部２５における処理の流れの一例を示すもので、以下、これに従って本発明にかかる音声送信処理部の動作を説明する。ここではパケット送信処理部２４から送信されるパケット列中の各パケットをＰ（ｉ）、その送信処理時刻をＴ（ｉ）（但し、ｉ＝０，１，２…）で表すものとする。
【００３２】
送信遅延制御部２５は、まず、送信処理時刻を記憶させるメモリをクリアし、ｉ＝０と設定し（ｓ１）、パケット送信処理部２４でのパケットＰ（ｉ）の送信処理待ち状態に入る（ｓ２）。なお、この状態で予め決めた所定時間以上、パケットＰ（ｉ）の送信処理が行われないか、図示しない通信状態制御部から通信終了の通知を受けると処理を終了する（ｓ３）。
【００３３】
送信遅延制御部２５は、パケット送信処理部２４からパケットＰ（ｉ）の送信処理時刻Ｔ（ｉ）を取得すると、これをメモリに記憶する（ｓ４）。この際、ｉ＝０、即ちパケットＰ（ｉ）が最初のパケットである（ｓ５）と、これを基準パケットＰ（０）とみなし、この時の送信処理時刻Ｔ（ｉ）を基準パケットＰ（０）の送信処理時刻Ｔ（０）（パケット列中のパケットの基準時刻）としてコピーしてメモリに記憶する（ｓ６）。その後、送信遅延制御部２５は、パケット送信処理部２４へパケットＰ（ｉ）（但し、この場合は基準パケットＰ（０））の送信を要求し（ｓ７）、ｉに１加算する（ｓ８）とともに次のパケットＰ（ｉ）の送信処理待ち状態に戻る。
【００３４】
送信遅延制御部２５は、パケット送信処理部２４から次のパケットＰ（ｉ）の送信処理時刻Ｔ（ｉ）を取得すると、これを前記同様にメモリに記憶（上書き）する（ｓ４）。但し、この場合はｉ≠０であるから、送信遅延制御部２５は、送信処理時刻Ｔ（ｉ）がその送信処理予定時刻Ｔ’（ｉ）に対して一定時間を越えて遅延しているか否かの確認処理に入る。
【００３５】
即ち、送信遅延制御部２５は、理想的なパケットの送信間隔を２０ｍｓとした時のパケットＰ（ｉ）の送信処理予定時刻Ｔ’（ｉ）を、
Ｔ’（ｉ）＝Ｔ（０）＋（ｉ＊２０ｍｓ）
として求め（ｓ９）、これと前記メモリに記憶した実際の送信処理時刻Ｔ（ｉ）とからパケットＰ（ｉ）の送信処理遅延Ｄ（ｉ）を、
Ｄ（ｉ）＝Ｔ（ｉ）−Ｔ’（ｉ）
として求め（ｓ１０）、これを許容される処理遅延の最大値MaxDelay（例えば、２０ｍｓ）と比較する（ｓ１１）。
【００３６】
そして、この際、
Ｄ（ｉ）＞MaxDelay
となった場合、送信遅延制御部２５は、パケット送信処理部２４へパケットＰ（ｉ）の破棄を要求する（ｓ１２）。その後は前記同様、ｉに１加算する（ｓ８）とともにパケットＰ（ｉ）の送信処理待ち状態に戻る。
【００３７】
ここで、送信遅延制御部２５は、ハードウェア的には符号２１乃至２４で示した他の部分とともにメモリ及び演算処理装置（ＣＰＵ）によって構成し、図５の流れ図に示された手順を備えるプログラムを媒体もしくは通信回線を介してインストールすることによっても実現可能である。
【００３８】
この際、前述したｓ２〜ｓ４の処理が請求項１でいう「パケット列中の各パケットの送信処理時刻を取得する第１の手段」を構成する。
【００３９】
また、ｓ５の処理が請求項３でいう「パケット列中から送信処理時刻の基準となる基準パケットを決定する第７の手段」を構成し、ｓ６の処理が請求項３でいう「パケット列中の各パケットの送信処理時刻のうち、基準パケットの送信処理時刻をパケットの基準時刻と読み替える第８の手段」を構成し、これらが請求項２でいう「パケット列中のパケットの基準時刻を取得する第４の手段」を構成し、また、ｓ１，ｓ８の処理は「パケット列中の各パケットが基準パケットより数えて何番目のパケットであるかを計数する手段」を構成し、ｓ９の処理（の一部）は「該計数した計数値にパケットの送信間隔時間を乗算する手段」を構成し、これらが請求項２でいう「パケットの基準時刻に対するパケット列中の各パケットの相対的な時間差を算出する第５の手段」を構成し、さらにまた、ｓ９の処理（の一部）が請求項２でいう「パケットの基準時刻に前記算出した相対的な時間差を加算する第６の手段」を構成し、これらの全てが請求項１でいう「パケット列中の各パケットの理想的な送信処理時刻を取得する第２の手段」を構成する。
【００４０】
なお、請求項１でいう「パケット列中の各パケットの理想的な送信処理時刻を取得する第２の手段」としては、前述のように、基準パケットと、パケット送信間隔とを用いて算出する構成とすることもでき、また、例えば基準パケットを用いず、本発明の装置が起動され処理を開始した時刻を基準時刻として、パケットが理想的な送信間隔（例えば２０ｍｓ）毎に１つのパケットを送信処理すると仮定して、理想的な送信処理時刻（送信処理予定時刻）を算出する構成とすることもでき、さらにまた、送信遅延制御部２５に対して、通信網から定期的に同期信号を入力として得て、同期信号が入力された時刻を理想的な送信処理時刻とする構成とすることもできる。
【００４１】
また、ｓ１０〜ｓ１２の処理が請求項１でいう「パケット列中の一のパケットの送信処理時刻から当該一のパケットの理想的な送信処理時刻を差し引き、これが一定時間を超える場合に当該一のパケットを送信せず破棄する第３の手段」を構成する。
【００４２】
図６は音声パケットの送信状態の例を示すもので、同図（Ａ）は各パケットの送信間隔が理想的（２０ｍｓ）な場合、同図（Ｂ）は送信処理が揺らぎ、遅延が発生している場合をそれぞれ示している。また、同図（Ｃ）は同図（Ｂ）の遅延が発生しているパケット列を本発明の第１の実施の形態で処理した場合を示しており、一定時間、ここでは２０ｍｓ以上遅延したパケット、即ちシーケンス番号５，１１，１２，１３のパケットが破棄されることを示している。
【００４３】
なお、上記の例では、最初の送信パケットを基準パケットとし、この基準パケットの送信処理時刻をパケット列中のパケットの基準時刻としてそれ以降の全てのパケットの送信処理時刻を監視しているが、図５中に破線で示すように、破棄したパケットの次に送信するパケットを新たな基準パケットＰ（０）とし、新たな基準パケットＰ（０）の送信処理時刻Ｔ（０）を新たなパケット列中のパケットの基準時刻として処理を継続するようにすることもできる。また、ここでは動作開始後、１番目に到着したパケットを最初の送信パケットとしたが、タイムスタンプやシーケンス番号から最初の送信パケットを決定することもできる。
【００４４】
図７は送信遅延制御部２５における処理の流れの他の例を示すもので、ここでは送信処理予定時刻Ｔ’（ｉ）をパケットに含まれるデータのタイムスタンプから求めるようになした例を示す。
【００４５】
即ち、ｓ４ａにおいてパケットＰ（ｉ）の送信処理時刻Ｔ（ｉ）とともにタイムスタンプＳ（ｉ）を取得し、これらをメモリに記憶し、また、ｓ６ａにおいて送信処理時刻Ｔ（ｉ）及びタイムスタンプＳ（ｉ）をそれぞれ基準パケットＰ（０）の送信処理時刻Ｔ（０）及びタイムスタンプＳ（０）としてコピーしてメモリに記憶し、ｓ９ａにおいてパケットＰ（ｉ）の送信処理予定時刻Ｔ’（ｉ）を、
Ｔ’（ｉ）＝Ｔ（０）＋｛（Ｓ（ｉ）−Ｓ（０））／ＳＰＭＳ｝
として求め（但し、ＳＰＭＳ（＝Samples Per MilliSec）は１ミリ秒当たりのサンプリング数（例えば、８）である。）、さらにｓ７ａ及びｓ１２ａにおいてパケットＰ（ｉ）をタイムスタンプＳ（ｉ）で指定するようにした点を除いて図５の例と同様である。
【００４６】
ここで、送信遅延制御部２５は、ハードウェア的には符号２１乃至２４で示した他の部分とともにメモリ及び演算処理装置（ＣＰＵ）によって構成し、図７の流れ図に示された手順を備えるプログラムを媒体もしくは通信回線を介してインストールすることによっても実現可能である。
【００４７】
この際、前述したｓ４ａの処理は「パケット列中の各パケットに含まれるデータのタイムスタンプを取得する手段」を構成し、ｓ６ａ，ｓ９ａ（の一部）の処理は「パケット列中の各パケットのタイムスタンプから基準パケットのタイムスタンプを差し引き、これを時間当たりのサンプリング数で割った値を算出する手段」を構成し、これらが請求項２でいう「パケットの基準時刻に対するパケット列中の各パケットの相対的な時間差を算出する第５の手段」を構成する。
【００４８】
図８は送信遅延制御部２５における処理の流れのさらに他の例を示すもので、ここでは送信処理予定時刻Ｔ’（ｉ）をパケットに含まれるデータのシーケンス番号から求めるようになした例を示す。
【００４９】
即ち、ｓ４ｂにおいてパケットＰ（ｉ）の送信処理時刻Ｔ（ｉ）とともにシーケンス番号Ｎ（ｉ）を取得し、これらをメモリに記憶し、また、ｓ６ｂにおいて送信処理時刻Ｔ（ｉ）及びシーケンス番号Ｎ（ｉ）をそれぞれ基準パケットＰ（０）の送信処理時刻Ｔ（０）及びシーケンス番号Ｎ（０）としてコピーしてメモリに記憶し、ｓ９ｂにおいてパケットＰ（ｉ）の送信処理予定時刻Ｔ’（ｉ）を、
Ｔ’（ｉ）＝Ｔ（０）＋｛（Ｎ（ｉ）−Ｎ（０））＊２０ｍｓ｝
として求め、さらにｓ７ｂ及びｓ１２ｂにおいてパケットＰ（ｉ）をシーケンス番号Ｎ（ｉ）で指定するようにした点を除いて図５の例と同様である。
【００５０】
ここで、送信遅延制御部２５は、ハードウェア的には符号２１乃至２４で示した他の部分とともにメモリ及び演算処理装置（ＣＰＵ）によって構成し、図８の流れ図に示された手順を備えるプログラムを媒体もしくは通信回線を介してインストールすることによっても実現可能である。
【００５１】
この際、前述したｓ４ｂの処理は「パケット列中の各パケットに含まれるデータのシーケンス番号を取得する手段」を構成し、ｓ６ｂ，ｓ９ｂ（の一部）の処理は「パケット列中の各パケットのシーケンス番号から基準パケットのシーケンス番号を差し引き、これにパケットの送信間隔時間を乗算する手段」を構成し、これらが請求項２でいう「パケットの基準時刻に対するパケット列中の各パケットの相対的な時間差を算出する第５の手段」を構成する。
【００５２】
（実施の形態２）
音声符号化方式によっては、過去の音声データを符号化した際に保持しておいた符号化器の内部状態を用いて、過去の音声データからのフレーム間予測を用いて次のフレームを符号化する方式、例えばＩＴＵ−Ｔの標準としてＧ．７２９、Ｇ．７２２、Ｇ．７２２．１等がある。
【００５３】
これらの予測符号化方式では、パケットを破棄した場合に符号化器と復号化器の内部状態が不一致となり、正しい復号結果が得られないという問題がある。
【００５４】
発信側又は中継点側でパケットを破棄する場合、前述した問題を解決する方法として、破棄された次のパケットのデータを生成するに当たって、
１）音声符号化器のリセットを行う、
２）一般に符号化処理よりも復号化処理の方が処理量が少ないことから、パケットを破棄する際に、受信側の装置で用いているのと同じパケット消失補償処理アルゴリズムを用いて符号化器の内部状態を更新し、その内部状態を用いて次のパケットのデータを符号化する、
のような方法が考えられる。
【００５５】
図９は本発明の第２の実施の形態、ここでは本発明のパケット送信制御を予測符号化方式による音声通信に適用した場合の実施の形態の一例にかかる音声送信処理部の機能構成（ブロック構成）を示すもので、図中、従来例と同一構成部分は同一符号をもって表す。即ち、２１は音声入力処理部、２２ａは音声信号処理部、２３はシーケンス番号・タイムスタンプ生成部、２４はパケット送信処理部、２５ａは送信遅延制御部である。
【００５６】
ここで、音声信号処理部２２ａは、音声入力処理部２１からの所定の単位の音声データを予測符号化方式により符号化してシーケンス番号・タイムスタンプ生成部２３へ出力する機能を有する。
【００５７】
また、送信遅延制御部２５ａは、パケット送信処理部２４から送信されるパケットの送信処理時刻を監視し、一のパケットの送信処理時刻が当該一のパケットの送信処理予定時刻に対して一定時間を越えて遅延した場合に当該一のパケットを送信せず、破棄するとともに、一のパケットを破棄した場合、パケット列中の各パケットに載せるデータを生成するデータ生成手段である音声信号処理部２２ａに対し、前記破棄した一のパケット以後のパケットのデータを、受信側の装置がパケット消失を検出した際に当該消失したパケット以後のパケットのデータを処理する方法と同じ方法で生成すること、即ち内部状態の初期化もしくは受信側の装置と同様のパケット消失補償処理アルゴリズムによる内部状態の更新を要求する処理を行う。
【００５８】
図１０は送信遅延制御部２５ａにおける処理の流れの一例を示すもので、ｓ１２においてパケット送信処理部２４へパケットＰ（ｉ）の破棄を要求した後、音声信号処理部２２ａへ内部状態の初期化又はパケット消失補償処理アルゴリズムによる更新を要求する（ｓ１３）以外は第１の実施の形態の場合と同様である。
【００５９】
ここで、送信遅延制御部２５ａは、ハードウェア的には符号２１乃至２４で示した他の部分とともにメモリ及び演算処理装置（ＣＰＵ）によって構成し、図１０の流れ図に示された手順を備えるプログラムを媒体もしくは通信回線を介してインストールすることによっても実現可能である。
【００６０】
この際、前述したｓ１３の処理が請求項４でいう「一のパケットを破棄した場合、パケット列中の各パケットに載せるデータを生成するデータ生成手段に対し、前記破棄した一のパケット以後のパケットのデータを、受信側の装置がパケット消失を検出した際に当該消失したパケット以後のパケットのデータを処理する方法と同じ方法で生成することを要求する第９の手段」を構成する。
【００６１】
また、第２の実施の形態においても第１の実施の形態の場合と同様、図７、図８で示したような、パケットに含まれるデータのタイムスタンプやシーケンス番号から送信処理予定時刻Ｔ’（ｉ）を求める構成とすることが可能であることはいうまでもない。
【００６２】
（実施の形態３）
マイクからの音声信号を音声データに変換する音声入力デバイスに対して、予め複数のメモリ領域を指すアドレスを渡しておき、音声入力デバイスからの通知によってメモリ領域の該当アドレスにコピーされた音声データを取得し、この音声データを用いて音声パケットを生成する場合がある。
【００６３】
図１１は本発明の第３の実施の形態、ここでは本発明のパケット送信制御を前述した音声入力デバイスを用いた音声通信に適用した場合の実施の形態の一例にかかる音声送信処理部の機能構成（ブロック構成）を示すもので、図中、従来例と同一構成部分は同一符号をもって表す。即ち、２２は音声信号処理部、２３はシーケンス番号・タイムスタンプ生成部、２４はパケット送信処理部、２６は音声入力デバイス、２７は音声データ取得部、２８は処理遅延判定送信制御部である。
【００６４】
ここで、音声データ取得部２７は、音声データを格納する所定のメモリ領域を具備し、音声入力デバイス２６へ音声データ書込用のアドレスを通知するとともに音声入力デバイス２６からメモリ領域満杯の通知を受け取り、満杯になった全てのメモリ領域から音声データを読み出して音声信号処理部２２へ渡し、さらに該渡したデータ量を処理遅延判定送信制御部２８へ通知する。処理遅延判定送信制御部２８は、音声データ取得部２７から渡されたデータ量に応じて音声信号処理部２２へデータ破棄を要求し、また、対応するタイムスタンプ及びシーケンス番号の付与をシーケンス番号・タイムスタンプ生成部２３へ要求する。
【００６５】
図１２は図１１に示した音声送信処理部における処理の流れの一例を示すもので、以下、これに従って本発明にかかる音声送信処理部の動作を説明する。
【００６６】
音声データ取得部２７は、予め、音声データを格納可能なメモリ領域、例えば２０ｍｓ分の音声データを格納可能なメモリ領域を５つ確保しておくとともに、データが満杯か否かを表すフラグを、当該各メモリ領域に対応して用意しておく。そして、音声データ取得部２７は、全てのメモリ領域に対応するフラグをクリアし（ｓ２１）、これらのメモリ領域の先頭アドレスを音声入力デバイス２６へ登録し、音声入力デバイス２６による音声データの前記メモリ領域への書込を開始させるとともに、当該書込開始時点からの経過時間（入力時刻）Ｔｐを計測する内蔵タイマをスタートさせる（ｓ２２）。
【００６７】
音声入力デバイス２６は、音声データ取得部２７から渡されたメモリ領域に対し、登録順に音声データを格納していき、メモリ領域のうち１つが満杯になった時点で、これをその先頭アドレスとともに音声データ取得部２７へ通知する。なお、通知後も音声入力デバイス２６は、残りのメモリ領域に音声データを次々に格納していき、満杯になる都度、通知を行い、登録順の最後のメモリ領域へ格納が終了した場合は、最初のメモリ領域に戻って同様のデータ格納を繰り返す。この際、音声入力デバイス２６による音声データの格納は、１つのメモリ領域当たり２０ｍｓで遅滞なく完了するものとする。
【００６８】
音声データ取得部２７は、音声入力デバイス２６からのメモリ領域が満杯になった旨の通知待ちの状態になっており（ｓ２３，ｓ２４）、該通知をその先頭アドレスとともに受信すると、該当するメモリ領域に対応するフラグをセットし（ｓ２５）、メモリ領域に格納された音声データを取り出すことができるか、ここでは次段の音声信号処理部２２がデータ受け入れ可能かどうかを確認する（ｓ２６）。
【００６９】
なお、図示しないが、データ取出可能となるまでの間に、音声入力デバイス２６から以後のメモリ領域が満杯になった旨の通知を受信した場合、音声データ取得部２７は、その都度、該当するメモリ領域に対応するフラグをセットするものとする。
【００７０】
データを取出可能であれば、音声データ取得部２７は、その時点の経過時間Ｔｐからデータを取り出すべき最後のメモリ領域を推定する（ｓ２７）。即ち、前記５つのメモリ領域には合計１００ｍｓの音声データを格納可能であるから、経過時間Ｔｐから１００ｍｓの減算をｎ（ｎは０以上の整数）回繰り返し、残りが１００ｍｓ未満になった時の値は、その時点における音声入力デバイス２６によるデータ格納が終了した最後のメモリ領域を表すものとなる（後述する図１３、図１４の例では、２０ｍｓ台では番号「１」のメモリ領域、４０ｍｓ台では番号「２」のメモリ領域、……、０ｍｓ台では番号「５」のメモリ領域）。
【００７１】
なお、データを取り出すべき最後のメモリ領域は、音声入力デバイスからのデータ満杯の通知の数を計数し、これから５の減算をｎ（ｎは０以上の整数）回繰り返し、残りが５以下になった時の値から推定することも可能である。
【００７２】
音声データ取得部２７は、前記推定した最後のメモリ領域の前記先頭アドレスの登録順において次のメモリ領域から当該推定した最後のメモリ領域までのうち、フラグがセットされている全てのメモリ領域のデータを前記登録順に取り出し、音声信号処理部２２へ出力するとともに、その時の取り出しデータ量（メモリ領域の個数）を処理遅延判定送信制御部２８へ通知し（ｓ２８）、さらにデータを取り出したメモリ領域のフラグをクリアする（ｓ２９）。
【００７３】
処理遅延判定送信制御部２８は、出力されたメモリ領域の個数をＭとすると、ＭがＮ個以上（例えば４個以上）であれば（ｓ３０）、その差、即ち
ｍ＝Ｍ−Ｎ
を計算し（ｓ３１）、先頭からｍ個分の音声データの破棄及び最後のＮ個分の処理を音声信号処理部２２に要求する（ｓ３２）。なお、ＭがＮ個より小さければ、処理遅延判定送信制御部２８は、そのままＭ個分の音声データの処理を音声信号処理部２２に要求する（ｓ３３）。
【００７４】
図１３及び図１４は図１１の音声送信処理部における音声データの格納及び出力状態の例を示すものであり、ここではＮ＝４とした場合について示している。図１４の例では、１６０ｍｓ経過した時点で音声入力デバイスからＭ＝５個のデータが取得されているが、（Ｍ＝５＞Ｎ＝４）となっているので、先頭から（Ｍ−Ｎ＝５−４＝１）個のデータを破棄し、最後のＮ＝４個のみを処理している。
【００７５】
また、この際、処理遅延判定送信制御部２８は、経過時間Ｔｐに基づくタイムスタンプ及びシーケンス番号の付与をシーケンス番号・タイムスタンプ生成部２３に要求する（ｓ３４）。即ち、前述したようにデータ取り出し時点の経過時間Ｔｐはその時点のデータを取り出すべき最後のメモリ領域に対応したものであるから、この経過時間Ｔｐから最後のメモリ領域内のデータに対応するタイムスタンプ及びシーケンス番号を求めることができ（タイムスタンプは（Ｔｐ／２０ｍｓ）＊１６０、シーケンス番号は（Ｔｐ／２０ｍｓ））、このタイムスタンプ及びシーケンス番号から他のメモリ領域内のデータに対応するタイムスタンプ及びシーケンス番号を求めることができる。
【００７６】
なお、図１４の例では、経過時間Ｔｐが４０ｍｓ及び６０ｍｓの時点において番号「２」及び「３」のメモリ領域に格納されたデータが取り出されることなく、新しいデータで上書きされている。このような場合であっても、経過時間Ｔｐからタイムスタンプ及びシーケンス番号を求めることにより、番号「２」及び「３」のメモリ領域に格納された新しいデータに誤ったタイムスタンプ及びシーケンス番号が付与されるようなことはない。
【００７７】
このように送信されるべきデータの入力自体が揺らいでいる場合には、送信処理時刻は音声入力デバイスからのデータの入力時刻＋処理時間で計算する。入力時点で処理が遅延していることがわかっている時には、入力時点で破棄するほうが良い場合がある。
【００７８】
ここで、音声データ取得部２７及び処理遅延判定送信制御部２８は、ハードウェア的には符号２２乃至２６で示した他の部分とともにメモリ及び演算処理装置（ＣＰＵ）によって構成し、図１２の流れ図に示された手順を備えるプログラムを媒体もしくは通信回線を介してインストールすることによっても実現可能である。
【００７９】
この際、前述したｓ２１〜ｓ３０の処理が請求項５でいう「パケット列中の各パケットに載せるデータを生成するデータ生成手段への元データの入力時刻を取得する第１０の手段」を構成し、ｓ３１，ｓ３２の処理が請求項５でいう「データ生成手段への元データの入力時刻が一定時間を越えて遅延している場合にデータの破棄をデータ生成手段に要求する第１１の手段」を構成する。
【００８０】
ここで、入力処理が行われた時点で、既に大きな遅延が生じる場合には、出力処理はさらに後れることとなるため、入力処理が行われるべき理想的な時刻を「理想的な送信処理時刻」とみなして、この入力処理が行われるべき理想的な時刻に対して、実際の入力処理が一定時間以上遅延した場合に、当該音声データを破棄して送信しないようにする。
【００８１】
本実施の形態においては、音声入力デバイスに対してメモリ領域への書き込みを開始させた時刻から、メモリ領域のうち１つが満杯になるべき時間（メモリ領域のサイズを（サンプリング周波数×１サンプル当たりのバイト数）で割って得られる時間）だけ経過した時間を入力処理が行われるべき理想的な時刻とすることができる。
【００８２】
この入力処理が行われる理想的な時刻に、さらに出力までに必要な処理時間を加えたものが理想的な送信処理時刻となる。ここで、出力までに必要な処理時間が無視できるほど短いとすれば、入力処理が行われる理想的な時刻を、請求項１に記載の「理想的な送信処理時刻を取得する第２の手段」によって得られる理想的な送信処理時刻とすることができる。
【００８３】
あるいは、出力までに必要な処理時間が無視できるほど短くない場合においても、入力処理が行われる理想的時刻を理想的な送信処理時刻とし、出力までに必要な処理時間の揺らぎを考慮して、許容される遅延時間を設定するようにすれば、同様の効果が得られる。
【００８４】
（実施の形態４）
図１５は本発明のパケット送信制御技術を適用するパケット通信システムの他の例、ここでは一対の端末装置１Ａ，１Ｂがネットワーク（ＩＰ網）２及び中継装置７を介して音声・映像の双方向通信を行うシステムの例を示すもので、本発明はこのような一の端末装置から受信したパケットを他の端末装置へ中継する中継装置７にも適用することができる。
【００８５】
この場合、受信したパケットのタイムスタンプあるいはシーケンス番号及び送信処理時刻を基に処理を行う。
【００８６】
受信したパケットに含まれるタイムスタンプあるいはシーケンス番号の、直前に受信したパケットに含まれていたタイムスタンプあるいはシーケンス番号に対する増分が想定している値より大きい場合（例えばシーケンス番号は１ずつ増加する。タイムスタンプは直前のパケットに含まれていたサンプル数ずつ増加し、例えば２０ｍｓのパケットサイズであれば１６０ずつ値が増加する。）、伝送路でのパケット破棄もしくはパケット順序の逆転が起こった可能性がある。
【００８７】
前述したように、タイムスタンプあるいはシーケンス番号に対する増分が想定値より大きい場合は、当該パケットの送信処理時刻の送信処理予定時刻に対する遅延を算出し、一定時間以下であれば中継して送信し、一定時間を越えて遅延している場合は破棄する。
【００８８】
図１６は本発明の第４の実施の形態、ここでは本発明のパケット送信制御を音声通信に適用した場合の実施の形態の一例にかかる中継装置の機能構成（ブロック構成）を示すもので、図中、７１はパケット受信処理部、７２はシーケンス番号・タイムスタンプ変更処理部、７３はパケット送信処理部、７４は送信遅延制御部である。
【００８９】
パケット受信処理部７１は、一の端末装置からＩＰ網２を介して転送されてきたパケットを受信する。シーケンス番号・タイムスタンプ変更処理部７２は、受信したパケットからタイムスタンプ（あるいはシーケンス番号）を読み取り、これを送信処理時刻とともに送信遅延制御部７４へ送るとともに、送信遅延制御部７４からの要求に従い、受信したパケットをそのまま又はタイムスタンプ及びシーケンス番号を修正してパケット送信処理部７３へ送り、もしくは破棄する。パケット送信処理部７３は、シーケンス番号・タイムスタンプ変更処理部７２から送られてきたパケットをＩＰ網２を介して他の端末装置へ送信する。
【００９０】
送信遅延制御部７４は、シーケンス番号・タイムスタンプ変更処理部７２から送られてくるパケットのタイムスタンプ（あるいはシーケンス番号）及び送信処理時刻を監視し、タイムスタンプ（あるいはシーケンス番号）の増分が想定値より大きい場合は当該パケットの送信処理時刻の送信処理予定時刻に対する遅延量を算出し、一定時間以下であれば中継して送信し、一定時間を越えて遅延している場合は当該パケットを送信せず、破棄するとともに、パケットを破棄した場合、シーケンス番号・タイムスタンプ変更処理部７２へ以後のパケットのタイムスタンプ及びシーケンス番号の修正、具体的には、以後のパケットに含まれるタイムスタンプ及びシーケンス番号を、破棄したパケットに対応する分だけ少ないタイムスタンプ及びシーケンス番号へ修正することを要求する処理を行う。
【００９１】
図１７は送信遅延制御部７４における処理の流れの一例を示すもので、以下、これに従って本発明にかかる中継装置の動作を説明する。ここではパケットをＰ（ｉ）、その送信処理時刻をＴ（ｉ）、タイムスタンプをＳ（ｉ）（但し、ｉ＝０，１，２…）で表すものとする。
【００９２】
送信遅延制御部７４は、まず、送信処理時刻やタイムスタンプを記憶させるメモリをクリアし、ｉ＝０と設定し（ｓ４１）、シーケンス番号・タイムスタンプ変更処理部７２でのパケットＰ（ｉ）の送信処理待ち状態に入る（ｓ４２）。なお、この状態で予め決めた所定時間以上、パケットＰ（ｉ）の送信処理が行われないか、図示しない通信状態制御部から通信終了の通知を受けると処理を終了する（ｓ４３）。
【００９３】
送信遅延制御部７４は、シーケンス番号・タイムスタンプ変更処理部７２からパケットＰ（ｉ）の送信処理時刻Ｔ（ｉ）及びタイムスタンプＳ（ｉ）を取得すると、これをメモリに記憶する（ｓ４４）。この際、ｉ＝０、即ちパケットＰ（ｉ）が最初のパケットである（ｓ４５）と、これを基準パケットＰ（０）とみなし、この時の送信処理時刻Ｔ（ｉ）及びタイムスタンプＳ（ｉ）をそれぞれ基準パケットＰ（０）の送信処理時刻Ｔ（０）及びタイムスタンプＳ（０）としてコピーしてメモリに記憶する（ｓ４６）。その後、送信遅延制御部７４は、タイムスタンプＳ（ｉ）を１つ前のパケットのタイムスタンプＳ（ｉ−１）としてコピーしてメモリに記憶し（ｓ４７）、シーケンス番号・タイムスタンプ変更処理部７２へパケットＰ（ｉ）（但し、この場合は基準パケットＰ（０））の送信を要求し（ｓ４８）、ｉに１加算する（ｓ４９）とともに次のパケットＰ（ｉ）の送信処理待ち状態に戻る。
【００９４】
送信遅延制御部７４は、シーケンス番号・タイムスタンプ変更処理部７２から次のパケットＰ（ｉ）の送信処理時刻Ｔ（ｉ）及びタイムスタンプＳ（ｉ）を取得すると、これを前記同様にメモリに記憶（上書き）する（ｓ４４）。但し、この場合はｉ≠０であるから、送信遅延制御部７４は、まず、タイムスタンプの増分が想定値ｚ（例えば１６０）より大きいか否かの確認処理に入る。
【００９５】
即ち、送信遅延制御部７４は、ｓ４７でメモリに記憶した１つ前のパケットのタイムスタンプＳ（ｉ−１）と、直前にメモリに記憶した現在のパケットＰ（ｉ）のタイムスタンプＳ（ｉ）とを用いて、増分が想定値ｚより大きいか否かを、
Ｓ（ｉ）−Ｓ（ｉ−１）＞ｚ
により判定する（ｓ５０）。
【００９６】
この際、増分が想定値ｚ以下であり、パケットの破棄や順序の逆転がないと判断されると、送信遅延制御部７４は、現在のパケットＰ（ｉ）をそのまま中継する処理、即ち前述したｓ４７〜ｓ４９を実行するとともに次のパケットＰ（ｉ）の送信処理待ち状態に戻る。
【００９７】
一方、増分が想定値ｚより大きく、パケットの破棄または順序の逆転があると判断されると、送信遅延制御部７４は、送信処理時刻Ｔ（ｉ）がその送信処理予定時刻Ｔ’（ｉ）に対して一定時間以上遅延しているか否かの確認処理に入る。
【００９８】
即ち、送信遅延制御部７４は、パケットＰ（ｉ）の送信処理予定時刻Ｔ’（ｉ）を、
Ｔ’（ｉ）＝Ｔ（０）＋｛（Ｓ（ｉ）−Ｓ（０））／ＳＰＭＳ｝
として求め（ｓ５１）（但し、ＳＰＭＳ（＝Samples Per MilliSec）は１ミリ秒当たりのサンプリング数（例えば、８）である。）、これと前記メモリに記憶した実際の送信処理時刻Ｔ（ｉ）とからパケットＰ（ｉ）の送信処理遅延Ｄ（ｉ）を、
Ｄ（ｉ）＝Ｔ（ｉ）−Ｔ’（ｉ）
として求め（ｓ５２）、これを許容される処理遅延の最大値MaxDelay（例えば、２０ｍｓ）と比較する（ｓ５３）。
【００９９】
そして、この際、
Ｄ（ｉ）＞MaxDelay
となった場合、送信遅延制御部７４は、シーケンス番号・タイムスタンプ変更処理部７２へパケットＰ（ｉ）の破棄を要求する（ｓ５４）とともに以後のパケットのタイムスタンプ及びシーケンス番号の修正、即ち破棄したパケットに対応する分だけ少ないタイムスタンプ及びシーケンス番号への修正を要求し（ｓ５５）、初期状態に復帰する。
【０１００】
ここで、送信遅延制御部７４は、ハードウェア的には符号７１乃至７３で示した他の部分とともにメモリ及び演算処理装置（ＣＰＵ）によって構成し、図１７の流れ図に示された手順を備えるプログラムを媒体もしくは通信回線を介してインストールすることによっても実現可能である。
【０１０１】
この際、前述したｓ５５の処理が請求項６でいう「パケットを破棄した場合、以後のパケットに含まれるタイムスタンプ及びシーケンス番号を、該破棄したパケットに対応する分だけ少ないタイムスタンプ及びシーケンス番号に修正する第１２の手段」を構成する。
【０１０２】
また、この例では中継装置ではパケットの順序の逆転は補正しないこととしているが、中継装置にバッファを設けて順序の逆転を補正する場合にも本発明を適用可能である。
【０１０３】
（実施の形態５）
図１８は本発明の第５乃至７の実施の形態、ここでは本発明のパケット送信制御を映像通信に適用した場合の実施の形態の一例にかかる映像送信処理部の機能構成（ブロック構成）を示すもので、図中、４１は映像入力処理部、４２は映像信号符号化処理部、４３はシーケンス番号・タイムスタンプ生成部、４４はパケット送信処理部、４５は送信遅延制御部である。
【０１０４】
映像入力処理部４１は、図示しない映像入力制御部からの映像ストリームデータを受信し、映像信号符号化処理部４２へ送る。映像信号符号化処理部４２は、映像入力処理部４１からの映像ストリームデータを、基本的に３フレームに１フレームの割合でイントラフレームが含まれ、各フレームのデータが５つのパケットに載るように符号化処理してパケットデータ化する。シーケンス番号・タイムスタンプ生成部４３は、シーケンス番号・タイムスタンプ（ＲＴＰシーケンス番号・ＲＴＰタイムスタンプ）を生成し、これを宛先アドレス等の他のデータとともに前記パケットデータに付加して映像パケットを構成し、パケット送信処理部４４へ送る。パケット送信処理部４４は、シーケンス番号・タイムスタンプ生成部４３で作成されたパケットを図示しない端末装置へ送信する。
【０１０５】
送信遅延制御部４５は、パケット送信処理部４４から送信されるパケットの送信処理時刻を監視し、一のパケットの送信処理時刻が当該一のパケットの送信処理予定時刻に対して一定時間を越えて遅延した場合に当該一のパケットを送信せず、破棄する、後述するような各種の処理を実行する。
【０１０６】
映像パケットの場合には、１画面（１フレーム）分のデータを複数のパケットで送出する場合が多く、受信側では１フレームを構成する複数のパケットのうち、最後のパケットが到着して初めて１画面を表示することができる。
【０１０７】
図１９及び図２０は映像パケットの送信状態の例を示すもので、ここでは１フレームのイントラフレーム（実データからなるフレーム）に対応するパケットを送出した後に、２フレームの差分フレームに対応するパケットを送出する、即ち３フレームに１フレームの割合でイントラフレームが含まれ、各フレームのデータが５つのパケットに分割されて送信される場合の例である。
【０１０８】
イントラフレームは、当該イントラフレームの５つのパケットが全て揃わなければ正しく復号することができない。また、差分フレームは、直前のフレームがイントラフレームであれば当該差分フレームの５つのパケット全てに加えて、直前のイントラフレームのフレームデータが正しく復号されていなければ復号することができず、また、直前のフレームが他の差分フレームであれば当該差分フレームの５つのパケット全てに加えて、直前のイントラフレームのフレームデータとともに、直前のイントラフレームと当該差分フレームとの間に存在する全ての差分フレームのフレームデータが正しく復号されていなければ復号することができない。
【０１０９】
そこで、本発明では、イントラフレームを構成する複数のパケットについては、送信処理時刻が一定時間を越えて遅れた場合でも全てのパケットを送信するものとした。
【０１１０】
そして、第５の実施の形態ではイントラフレームを構成するパケットについてもその送信処理時刻を監視し、これが一定時間を越えて遅れた場合、以後の差分フレームのパケットを破棄するものとした。この際、第５の実施の形態ではイントラフレームを構成するパケットのうち、最も遅れると考えられる最後のパケットについてのみその送信処理時刻を監視するようにしたが、全てのパケットの送信処理時刻を監視するようにしても良いことは言うまでもない。
【０１１１】
なお、差分フレームを構成する複数のパケットについては、第５乃至第７の実施の形態の全てにおいてパケット毎に送信処理時刻を監視し、それぞれ後述するような処理を行うようにした。
【０１１２】
図２１は本発明の第５の実施の形態、ここでは図１９（Ｂ）に示すようにフレーム内のパケット送信処理が次のフレームの送信開始時刻より遅延している場合に、それがイントラフレームであれば送信し、そのフレーム以降の差分フレームは破棄し、次のイントラフレームから送信を再開するようにした実施の形態にかかる送信遅延制御部における処理の流れの一例を示すもので、以下、これに従って本発明にかかる映像送信処理部の動作を説明する。
【０１１３】
ここではパケット送信処理部４４から送信されるパケット列中の各パケットをＰ（ｉ，ｊ）、その送信処理時刻をＴ（ｉ，ｊ）（但し、ｉはフレーム番号を表し、ｉ＝０，１，２…であり、ｊは各フレーム内のパケット番号を表し、ｊ＝０，１，２，３，４）で表すものとする。
【０１１４】
送信遅延制御部４５は、まず、送信処理時刻を記憶させるメモリをクリアし、ｉ＝０、ｊ＝０と設定し（ｓ６１）、パケット送信処理部４４でのパケットＰ（ｉ，ｊ）の送信処理待ち状態に入る（ｓ６２）。なお、この状態で予め決めた所定時間以上、パケットＰ（ｉ，ｊ）の送信処理が行われないか、図示しない通信状態制御部から通信終了の通知を受けると処理を終了する（ｓ６３）。
【０１１５】
送信遅延制御部４５は、パケット送信処理部４４からパケットＰ（ｉ，ｊ）の送信処理時刻Ｔ（ｉ，ｊ）を取得すると、これをメモリに記憶する（ｓ６４）とともに、当該パケットＰ（ｉ，ｊ）がイントラフレームのパケットであるか否かの確認処理に入る。
【０１１６】
即ち、送信遅延制御部４５は、ｎを０以上の整数として、
ｉ＝３＊ｎ
を満たすか否かを判定し、満たす場合、つまりｉが３の倍数である場合はパケットＰ（ｉ，ｊ）がイントラフレームのパケットであると判定し、満たさない場合、つまりｉが３の倍数でない場合はパケットＰ（ｉ，ｊ）がイントラフレームのパケットでなく、差分フレームのパケットであると判定する（ｓ６５）。
【０１１７】
パケットＰ（ｉ，ｊ）がイントラフレームのパケットであると、送信遅延制御部４５は、次に当該パケットＰ（ｉ，ｊ）がイントラフレーム内の最初のパケットであるか否か、即ちｊ＝０であるか否かを判定し（ｓ６６）、ｊ＝０であれば、この時の送信処理時刻Ｔ（ｉ，ｊ）をイントラフレーム内の最初のパケット（基準パケット）Ｐ（０，０）の送信処理時刻Ｔ（０，０）としてコピーしてメモリに記憶する（ｓ６７）。その後、送信遅延制御部４５は、次のイントラフレームを送信すべき時刻の算出処理に入る。
【０１１８】
即ち、送信遅延制御部４５は、各フレームの理想的な送信間隔を毎秒１０フレーム、言い換えれば理想的なイントラフレームの送信間隔を３００ｍｓとした時の次のイントラフレームの最初のパケットＰ（ｉ＋３，０）の送信処理予定時刻Ｔ’（ｉ＋３，０）を、
Ｔ’（ｉ＋３，０）＝Ｔ（０，０）＋〔｛（int）（ｉ／３）＋１｝＊３００ｍｓ〕
として求め（ｓ６８）、これをメモリに記憶する（ｓ６９）（なお、「（int）（ｉ／３）」とは、（ｉ／３）の値のうち小数点以下を切り捨てた値をとることを意味する。）。その後、送信遅延制御部４５は、パケット送信処理部４４へパケットＰ（ｉ，ｊ）（但し、この場合は基準パケットＰ（０，０））の送信を要求し（ｓ７０）、ｊに１加算する（ｓ７１）とともに次のパケットＰ（ｉ，ｊ）の送信処理待ち状態に戻る。
【０１１９】
送信遅延制御部４５は、パケット送信処理部４４から次のパケットＰ（ｉ，ｊ）の送信処理時刻Ｔ（ｉ，ｊ）を取得すると、これを前記同様にメモリに記憶（上書き）する（ｓ６４）。但し、この場合はｉ＝３＊ｎであるがｊ≠０であるから、送信遅延制御部４５は、次に当該パケットＰ（ｉ，ｊ）がイントラフレーム内の最後のパケットであるか否か、即ちｊ＝４であるか否かを判定し（ｓ７２）、ｊ＝４でなければ前述したｓ７０、ｓ７１を実行するとともに次のパケットＰ（ｉ，ｊ）の送信処理待ち状態に戻る。
【０１２０】
一方、ｊ＝４、即ちパケットＰ（ｉ，ｊ）がイントラフレーム内の最後のパケットであれば、送信遅延制御部４５は、この時の送信処理時刻Ｔ（ｉ，ｊ）をイントラフレーム内の最後のパケットＰ（０，４）の送信処理時刻Ｔ（０，４）としてコピーしてメモリに記憶する（ｓ７３）とともに、パケット送信処理部４４へパケットＰ（ｉ，ｊ）（但し、この場合はパケットＰ（０，４））の送信を要求する（ｓ７４）。
【０１２１】
次に、送信遅延制御部４５は、次のフレーム（ここでは差分フレーム）の最初のパケットを受け入れるため、ｉに１を加算するとともにｊを０に戻し（ｓ７５）、さらに理想的なフレームの送信間隔を１００ｍｓとした時の次のフレームの最初のパケットＰ（ｉ＋１，０）の送信処理予定時刻Ｔ’（ｉ＋１，０）を、
Ｔ’（ｉ＋１，０）＝Ｔ（０，０）＋（ｉ＊１００ｍｓ）
として求め（ｓ７６）、前記メモリに記憶したイントラフレーム内の最後のパケットＰ（０，４）の送信処理時刻Ｔ（０，４）が次のフレームの最初のパケットＰ（ｉ＋１，０）の送信処理予定時刻Ｔ’（ｉ＋１，０）を越えているかいないか、即ち
Ｔ（０，４）＞Ｔ’（ｉ＋１，０）
を判定する（ｓ７７）。
【０１２２】
ここで、Ｔ（０，４）がＴ’（ｉ＋１，０）を越えていない場合、送信遅延制御部４５は、次のパケットＰ（ｉ，ｊ）の送信処理待ち状態に戻るが、Ｔ（０，４）がＴ’（ｉ＋１，０）を越えていると、映像信号符号化処理部４２に対して次のイントラフレームまでの差分フレームのデータの破棄を要求するとともに、シーケンス番号・タイムスタンプ生成部４３に対して当該破棄分のシーケンス番号及びタイムスタンプの増加を要求し（ｓ７８）、初期状態に復帰する。
【０１２３】
また、送信遅延制御部４５は、ｓ６５での判定がｉ≠３＊ｎ、即ちパケット送信処理部４４から取得し、メモリに送信処理時刻Ｔ（ｉ，ｊ）を記憶したパケットＰ（ｉ，ｊ）がイントラフレームでなく、差分フレームのパケットである場合、当該送信処理時刻Ｔ（ｉ，ｊ）がｓ６９でメモリに記憶した次のイントラフレームの最初のパケットＰ（ｉ＋３，０）の送信処理予定時刻Ｔ’（ｉ＋３，０）を越えているかいないか、即ち
Ｔ（ｉ，ｊ）＞Ｔ’（ｉ＋３，０）
を判定する（ｓ７９）。
【０１２４】
ここで、送信遅延制御部４５は、Ｔ（ｉ，ｊ）がＴ’（ｉ＋３，０）を越えている場合、パケット送信処理部４４へパケットＰ（ｉ，ｊ）の破棄を要求し（ｓ８０）、また、Ｔ（ｉ，ｊ）がＴ’（ｉ＋３，０）を越えていない場合、パケット送信処理部４４へパケットＰ（ｉ，ｊ）の送信を要求し（ｓ８１）、さらに当該パケットＰ（ｉ，ｊ）が差分フレーム中の最後のパケットであるか否か、即ちｊ＝４であるか否かを判定し（ｓ８２）、ｊ＝４でなければｊに１加算し（ｓ８３）、ｊ＝４であればｉに１加算するとともにｊを０に戻して（ｓ８４）、次のパケットＰ（ｉ，ｊ）の送信処理待ち状態に戻る。
【０１２５】
ここで、送信遅延制御部４５は、ハードウェア的には符号４１乃至４４で示した他の部分とともにメモリ及び演算処理装置（ＣＰＵ）によって構成し、図２１の流れ図に示された手順を備えるプログラムを媒体もしくは通信回線を介してインストールすることによっても実現可能である。
【０１２６】
この際、なお、前述したｓ６５〜ｓ６７、ｓ７２〜ｓ７８の処理が請求項７でいう「送信処理が一定時間を越えて遅れたパケットが実データを載せたパケットであれば送信し、その後、次の実データを載せたパケットまでの全てのパケットを送信せず破棄する第１３の手段」を構成する。
【０１２７】
（実施の形態６）
図２２は本発明の第６の実施の形態、ここでは図２０（Ｂ）に示すようにフレーム内のパケット送信処理が次のフレームの送信開始時刻より遅延している場合に、それがイントラフレームであれば送信し、また、それが差分フレームであり且つ次のフレームがイントラフレームであれば破棄するようにした実施の形態にかかる送信遅延制御部における処理の流れの一例を示すものである。
【０１２８】
本実施の形態の実際の処理は、第５の実施の形態で説明したｓ６８、ｓ６９、ｓ７９〜ｓ８４によって実行される。また、本実施の形態では第５の実施の形態と異なり、イントラフレーム内のパケット送信処理が次の差分フレームの送信開始時刻より遅延していても、それのみによって以後の全ての差分フレームを破棄することはしないため、図２１中のｓ７３、ｓ７６〜７８の処理は行わない。
【０１２９】
ここで、送信遅延制御部４５は、ハードウェア的には符号４１乃至４４で示した他の部分とともにメモリ及び演算処理装置（ＣＰＵ）によって構成し、図２２の流れ図に示された手順を備えるプログラムを媒体もしくは通信回線を介してインストールすることによっても実現可能である。
【０１３０】
この際、前述したｓ６５〜ｓ８４の処理が請求項８でいう「送信処理が一定時間を越えて遅れたパケットが実データを載せたパケットであれば送信し、差分データを載せたパケットであり且つその次のパケットが実データを載せたパケットであれば送信せず破棄する第１４の手段」を構成する。
【０１３１】
（実施の形態７）
図２３は本発明の第７の実施の形態、ここでは図２０（Ｃ）に示すようにフレーム内のパケット送信処理が次のフレームの送信開始時刻より遅延している場合に、それがイントラフレームであれば送信し、また、それが差分フレームであれば破棄し、次のフレームとしてイントラフレームの生成を映像信号符号化処理部に要求し、且つシーケンス番号・タイムスタンプ生成部にタイムスタンプ及びシーケンス番号の増加を要求し、次のイントラフレームから送信を再開するようにした実施の形態にかかる送信遅延制御部における処理の流れの一例を示すものである。
【０１３２】
本実施の形態の実際の処理は、第５、６の実施の形態で説明したｓ６４〜ｓ８４において、ｓ６８に代えて第５の実施の形態で説明したｓ７６と同様の次のフレームの最初のパケットＰ（ｉ＋１，０）の送信処理予定時刻Ｔ’（ｉ＋１，０）を求めるｓ８５の処理、ｓ６９に代えて当該送信処理予定時刻Ｔ’（ｉ＋１，０）をメモリに記憶するｓ８６の処理、ｓ７９に代えてメモリに記憶した差分フレームのパケットＰ（ｉ，ｊ）の送信処理時刻Ｔ（ｉ，ｊ）がｓ８６でメモリに記憶した次のフレームの最初のパケットＰ（ｉ＋１，０）の送信処理予定時刻Ｔ’（ｉ＋１，０）を越えているかいないかを確認するｓ８７の処理、さらにメモリに記憶された送信処理予定時刻Ｔ’（ｉ＋１，０）を次のフレームの送信処理予定時刻に更新するｓ８８，ｓ８９の処理とともに、メモリに記憶した差分フレームのパケットＰ（ｉ，ｊ）の送信処理時刻Ｔ（ｉ，ｊ）がｓ８６でメモリに記憶した次のフレームの最初のパケットＰ（ｉ＋１，０）の送信処理予定時刻Ｔ’（ｉ＋１，０）を越えている場合にパケット送信処理部４４へ当該パケットＰ（ｉ，ｊ）の破棄を要求し、映像信号符号化処理部４２へ次のフレームとしてイントラフレームのパケットデータの作成を要求し、シーケンス番号・タイムスタンプ生成部４３にタイムスタンプ及びシーケンス番号の増加を要求するｓ９０の処理によって実行される。
【０１３３】
なお、新しい基準時刻、例えばＴ’（０，０）に対応する新しい基準タイムスタンプＳ’（０）は、Ｔ（０，０）の時のタイムスタンプをＳ（０）とすれば、次式で算出することが可能である。
【０１３４】
Ｓ（０）’＝Ｓ（０）＋（Ｔ（０，０）'−Ｔ（０，０））／MilliSec Per Frame
また、Ｓ（０）’＝Ｓ（ｉ−１）＋MilliSec Per Frameとしても良い。
【０１３５】
ここで、送信遅延制御部４５は、ハードウェア的には符号４１乃至４４で示した他の部分とともにメモリ及び演算処理装置（ＣＰＵ）によって構成し、図２３の流れ図に示された手順を備えるプログラムを媒体もしくは通信回線を介してインストールすることによっても実現可能である。
【０１３６】
この際、前述したｓ６５〜ｓ９０の処理が請求項９でいう「送信処理が一定時間を越えて遅れたパケットが実データを載せたパケットであれば送信し、差分データを載せたパケットであれば送信せず破棄するとともに、次のパケットのデータとして実データの生成をデータ生成手段に要求する第１５の手段」を構成する。
【０１３７】
また、第５乃至第７の実施の形態において、差分フレームを構成する複数のパケットについては、パケット毎に送信処理時刻を監視し、パケット単位で送信か破棄かを判定しているが、フレーム中の一部のパケットを既に送信している時は、その後のパケットの送信処理時刻が一定時間を越えて遅れている場合でもそのフレームのパケットを全て送信するようにしても良い。
【０１３８】
（実施の形態８）
例えば１０ｆｐｓで送信する場合には、発信側の端末装置からは１００ｍｓ毎に１フレームが送出されている。図１５、１６に示したような中継装置の場合で、且つ、受信時刻の揺らぎと送信までの処理の揺らぎとの和が大きい場合には、第７の実施の形態において、破棄が連続する場合がある。このような場合には実際には、中継装置で送信する直前に一旦、数フレーム分のフレームデータのバッファリングを行い、理想的な送信間隔（例えば１０ｆｐｓの場合には１００ｍｓ毎）にフレームデータを送信するようにすることもできる。
【図面の簡単な説明】
【０１３９】
【図１】本発明を適用するパケット通信システムの一例を示す構成図
【図２】図１中の端末装置の概要を示すブロック構成図
【図３】従来の音声送信処理部及び音声受信処理部の一例を示すブロック構成図
【図４】本発明の第１の実施の形態にかかる音声送信処理部のブロック構成図
【図５】図４中の送信遅延制御部における処理の流れの一例を示す図
【図６】音声パケットの送信状態の例を示す図
【図７】図４中の送信遅延制御部における処理の流れの他の例を示す図
【図８】図４中の送信遅延制御部における処理の流れのさらに他の例を示す図
【図９】本発明の第２の実施の形態にかかる音声送信処理部のブロック構成図
【図１０】図９中の送信遅延制御部における処理の流れの一例を示す図
【図１１】本発明の第３の実施の形態にかかる音声送信処理部のブロック構成図
【図１２】図１１の音声送信処理部における処理の流れの一例を示す図
【図１３】図１１の音声送信処理部における音声データの格納及び出力状態の一例を示す図
【図１４】図１１の音声送信処理部における音声データの格納及び出力状態の他の例を示す図
【図１５】本発明を適用するパケット通信システムの他の例を示す構成図
【図１６】本発明の第４の実施の形態にかかる中継装置のブロック構成図
【図１７】図１６中の送信遅延制御部における処理の流れの一例を示す図
【図１８】本発明の第５乃至７の実施の形態にかかる映像送信処理部のブロック構成図
【図１９】映像パケットの送信状態の例を示す図
【図２０】映像パケットの送信状態の例を示す図
【図２１】本発明の第５の実施の形態にかかる送信遅延制御部における処理の流れの一例を示す図
【図２２】本発明の第６の実施の形態にかかる送信遅延制御部における処理の流れの一例を示す図
【図２３】本発明の第７の実施の形態にかかる送信遅延制御部における処理の流れの一例を示す図
【符号の説明】
【０１４０】
１Ａ，１Ｂ：端末装置、２：ＩＰ網、７：中継装置、１０：音声入力制御部、２０：音声送信処理部、２１：音声入力処理部、２２，２２ａ：音声信号処理部、２３，４３：シーケンス番号・タイムスタンプ生成部、２４，４４，７３：パケット送信処理部、２５，２５ａ，４５，７４：送信遅延制御部、２６：音声入力デバイス、２７：音声データ取得部、２８：処理遅延判定送信制御部、３０：映像入力制御部、４０：映像送信処理部、４１：映像入力処理部、４２：映像信号符号化処理部、５０：音声出力制御部、６０：音声受信処理部、７０：映像出力制御部、７１：パケット受信処理部、７２：シーケンス番号・タイムスタンプ変更処理部、８０：映像受信処理部。
【図１】
2006094130.tif 000003
【図２】
2006094130.tif 000004
【図３】
2006094130.tif 000005
【図４】
2006094130.tif 000006
【図５】
2006094130.tif 000007
【図６】
2006094130.tif 000008
【図７】
2006094130.tif 000009
【図８】
2006094130.tif 000010
【図９】
2006094130.tif 000011
【図１０】
2006094130.tif 000012
【図１１】
2006094130.tif 000013
【図１２】
2006094130.tif 000014
【図１３】
2006094130.tif 000015
【図１４】
2006094130.tif 000016
【図１５】
2006094130.tif 000017
【図１６】
2006094130.tif 000018
【図１７】
2006094130.tif 000019
【図１８】
2006094130.tif 000020
【図１９】
2006094130.tif 000021
【図２０】
2006094130.tif 000022
【図２１】
2006094130.tif 000023
【図２２】
2006094130.tif 000024
【図２３】
2006094130.tif 000025