(57)【要約】【課題】パケット通信において高品質な出力をリアルタイムに得ることを可能とする通信装置を提供する。【解決手段】例えば、通信装置３ｂが通信装置３ａにパケットデータを所定のパケット時間間隔で送信する。通信装置３ａは、パケットデータを前回受信してから、上記パケット時間間隔とネットワークジッタとの総和である許容パケット時間間隔が経過しても、前回受信したパケットデータに続いて受信すべきパケットデータを受信していない場合に、当該パケットデータの再送要求ＮＡＣＫを通信装置３ｂに送信する。【選択図】  図１
2005020590.tif 000002
【特許請求の範囲】
【請求項１】
予め決められた順序で復号される連続した複数のパケットデータであって送信元が所定の時間間隔で送信した前記パケットデータを受信して復号に供する通信装置であって、
前記パケットデータを前回受信してから、前記所定の時間間隔より長い基準時間が経過しても、前回受信した前記パケットデータに続いて受信すべき前記パケットデータを受信していない場合に、当該パケットデータの再送要求を前記送信元に送信する再送要求制御手段を有する通信装置。
【請求項２】
前記再送要求制御手段は、前記パケットデータを受信した時間間隔を順に検出し、当該検出した複数の時間間隔の各々と前記所定の時間間隔との差分絶対値を算出し、当該算出した差分絶対値の平均値と前記所定の時間間隔との総和を前記基準時間として用いる請求項１に記載の通信装置。
【請求項３】
前記再送要求制御手段は、前記パケットデータを受信した時間間隔を順に検出し、当該検出した複数の時間間隔の各々と前記所定の時間間隔との差分値を算出し、当該算出した差分値の最大値と前記所定の時間間隔との総和を前記基準時間として用いる請求項１に記載の通信装置。
【請求項４】
前記再送要求制御手段は、前記パケットデータを受信した時間間隔を順に検出し、当該検出した複数の時間間隔の各々と前記所定の時間間隔との差分値を算出し、当該算出した差分値の標準偏差と前記所定の時間間隔との総和を前記基準時間として用いる請求項１に記載の通信装置。
【請求項５】
前記再送要求制御手段は、受信していない前記受信すべきパケットデータに対する前記再送要求を送信してから前記所定の時間間隔を経過しても、当該受信すべきパケットデータを受信していない場合に、当該パケットデータの再送要求を前記送信元に送信する請求項１に記載の通信装置。
【請求項６】
予め決められた順序で復号される連続した複数のパケットデータであって送信元が所定の時間間隔で送信した前記パケットデータを受信して復号に供する通信方法であって、
前記パケットデータを前回受信してから、前記所定の時間間隔より長い基準時間が経過しても、前回受信した前記パケットデータに続いて受信すべき前記パケットデータを受信していないか否かを検出する第１の工程と、
前記第１の工程で受信していないことを検出した場合に、前回受信した前記パケットデータに続いて受信すべき前記パケットデータの再送要求を前記送信元に送信する第２の工程とを有する通信方法。
【請求項７】
予め決められた順序で復号される連続した複数のパケットデータであって所定の時間間隔で送信された前記パケットデータを受信して復号に供する第１の通信装置および第２の通信装置を有する通信システムであって、
前記第１の通信装置は、
前記第２の通信装置から前記パケットデータを前回受信してから、前記所定の時間間隔より長い基準時間が経過しても、前回受信した前記パケットデータに続いて受信すべき前記パケットデータを受信していない場合に、当該パケットデータの再送要求を前記第２の通信装置に送信する再送要求制御手段を有し、前記第２の通信装置は、
前記複数のパケットデータを送信する送信制御手段と、
前記第１の通信装置から受信した前記再送要求に応じて前記パケットデータを再送する再送制御手段とを有する通信システム。
【請求項８】
前記再送制御手段は、前記再送要求に係わるパケットデータの再送回数が所定の回数以内であることを条件に、当該パケットデータの再送を行う請求項７に記載の通信システム。
【請求項９】
複数のコンテンツのそれぞれに関する予め決められた順序で復号される連続した複数のパケットデータを受信して復号に供する通信装置であって、
受信した前記パケットデータ内に含まれる送信元での前記パケットデータの送信順序を示す第１の順序情報を基に、前記送信元から送信された前記パケットデータのうち前記受信されていない前記パケットデータの再送要求を前記送信元に送信する再送要求制御手段と、
受信した前記パケットデータを、当該パケットデータに含まれるコンテンツ毎にパケットデータを復号する順序を示す第２の順序情報を基に前記復号に供する提供手段とを有する通信装置。
【請求項１０】
複数のコンテンツのそれぞれに関する予め決められた順序で復号される連続した複数のパケットデータを受信して復号に供する通信方法であって、
受信した前記パケットデータ内に含まれる送信元での前記パケットデータの送信順序を示す第１の順序情報を基に、前記送信元から送信された前記パケットデータのうち前記受信されていない前記パケットデータを検出する第１の工程と、前記第１の工程で検出した前記パケットデータの再送要求を前記送信元に送信する第２の工程と、
受信した前記パケットデータを、当該パケットデータに含まれるコンテンツ毎にパケットデータを復号する順序を示す第２の順序情報を基に前記復号に供する第３の工程とを有する通信方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば、パケットデータの通信を行う通信装置、その方法および通信システムに関する。
【０００２】
【従来の技術】
例えば、テレビ会議システムなどの通信システムでは、連続して復号されるそれぞれ複数のオーディオおよびビデオのパケットデータの各々をそれぞれ１回づつ送信側の通信装置が送信し、受信側の通信装置が受信したパケットデータを復号してビデオおよびオーディオをリアルタイムに出力する。
このような通信システムでは、上記パケットデータの送受信を、インターネットなどを利用したネットワークを介して行う場合がある。このようなネットワークは、ネットワーク上でのパケットデータの消失（パケットロス）や、ネットワークを介したパケットデータの伝送遅延が生じる。
上述したパケットロス対策として、パケットデータを受信した通信装置が、ネットワーク上で消失して受信していないパケットデータを検出（パケットロスを検出）し、パケットロスしたパケットデータの再送要求を送信側の通信装置に出す手法がある。
当該手法によれば、ネットワーク上で消失したパケットデータの再送を行うことにより、受信側の通信装置がパケットデータを安定して受信できるので画像および音声の出力品質を高めることができる。しかしながら、受信側の通信装置は、再送要求を出してから、それに対応するパケットデータを受信するまでの間、当該パケットデータの復号を行うことができず、リアルタイム性を低下させる要因となる。
すなわち、上述した通信システムでは、リアルタイム性と、ビデオおよびオーディオの出力の品質とはトレードオフの関係にある。
上述した従来の通信システムでは、受信側の通信装置は、受信したパケットデータ内に含まれるシーケンス番号を順に検出し、検出したシーケンス番号に欠落が生じた場合に、その欠落したシーケンス番号に対応するパケットデータの再送要求を送信側の通信装置に送信している。当該シーケンス番号は、ビデオおよびオーディオのそれぞれについて独立して連続性を有するように規定されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した従来の通信システムでは、受信したパケットデータのシーケンス番号の上記欠落を検出できるのは、欠落したシーケンス番号の後のシーケンス番号を持つパケットデータを受信したタイミングであり、当該後のシーケンス番号を持つパケットデータの受信が遅れると、再送要求を出すタイミングも遅れ、出力品質が劣化したり、リアルタイム性を損なうという問題がある。
【０００４】
本発明はかかる事情に鑑みてなされたものであり、その目的は、パケット通信において高品質な出力をリアルタイムに得ることを可能とする通信装置、その方法およびその通信システムを提供することにある。
【０００５】
【課題を解決するための手段】
上記の目的を達成するため、第１の発明の通信装置は、予め決められた順序で復号される連続した複数のパケットデータであって送信元が所定の時間間隔で送信した前記パケットデータを受信して復号に供する通信装置であって、前記パケットデータを前回受信してから、前記所定の時間間隔より長い基準時間が経過しても、前回受信した前記パケットデータに続いて受信すべき前記パケットデータを受信していない場合に、当該パケットデータの再送要求を前記送信元に送信する再送要求制御手段を有する。
【０００６】
第１の発明の通信装置の作用は以下のようになる。
先ず、再送要求制御手段が、パケットデータを前回受信してから、前記所定の時間間隔より長い基準時間が経過しても、前回受信した前記パケットデータに続いて受信すべき前記パケットデータを受信していないか否かを判断する。
そして、再送要求制御手段が、上記判断で受信していないとした場合に、当該受信していないパケットデータの再送要求を送信元に送信する。
【０００７】
第２の発明の通信方法は、予め決められた順序で復号される連続した複数のパケットデータであって送信元が所定の時間間隔で送信した前記パケットデータを受信して復号に供する通信方法であって、前記パケットデータを前回受信してから、前記所定の時間間隔より長い基準時間が経過しても、前回受信した前記パケットデータに続いて受信すべき前記パケットデータを受信しているか否かを検出する第１の工程と、前記第１の工程で受信していないことを検出した場合に、前回受信した前記パケットデータに続いて受信すべき前記パケットデータの再送要求を前記送信元に送信する第２の工程とを有する。
【０００８】
第３の発明の通信システムは、予め決められた順序で復号される連続した複数のパケットデータであって所定の時間間隔で送信された前記パケットデータを受信して復号に供する第１の通信装置および第２の通信装置を有する通信システムであって、前記第１の通信装置は、前記第２の通信装置から前記パケットデータを前回受信してから、前記所定の時間間隔より長い基準時間が経過しても、前回受信した前記パケットデータに続いて受信すべき前記パケットデータを受信していない場合に、当該パケットデータの再送要求を前記第２の通信装置に送信する再送要求制御手段を有し、前記第２の通信装置は、前記複数のパケットデータを送信する送信制御手段と、前記第１の通信装置から受信した前記再送要求に応じて前記パケットデータを再送する再送制御手段とを有する。
【０００９】
また、第４の発明の通信装置は、複数のコンテンツのそれぞれに関する予め決められた順序で復号される連続した複数のパケットデータを受信して復号に供する通信装置であって、受信した前記パケットデータ内に含まれる送信元での前記パケットデータの送信順序を示す第１の順序情報を基に、前記送信元から送信された前記パケットデータのうち前記受信されていない前記パケットデータの再送要求を前記送信元に送信する再送要求制御手段と、受信した前記パケットデータを、当該パケットデータに含まれるコンテンツ毎にパケットデータを復号する順序を示す第２の順序情報を基に前記復号に供する提供手段とを有する。
【００１０】
第５の発明の通信方法は、複数のコンテンツのそれぞれに関する予め決められた順序で復号される連続した複数のパケットデータを受信して復号に供する通信方法であって、受信した前記パケットデータ内に含まれる送信元での前記パケットデータの送信順序を示す第１の順序情報を基に、前記送信元から送信された前記パケットデータのうち前記受信されていない前記パケットデータを検出する第１の工程と、前記第１の工程で検出した前記パケットデータの再送要求を前記送信元に送信する第２の工程と、受信した前記パケットデータを、当該パケットデータに含まれるコンテンツ毎にパケットデータを復号する順序を示す第２の順序情報を基に前記復号に供する第３の工程とを有する。
【００１１】
【発明の実施の形態】
以下、本発明の実施形態に係わる通信システムについて説明する。
第１実施形態
当該実施形態は、第１〜第３の発明に対応している。
図１は、本発明の第１実施形態に係わる通信システム１の全体構成図である。
図２は、図１に示す通信装置３ａ（３ｂ）の構成図である。
図１に示すように、通信システム１は、例えば、通信装置３ａ，３ｂを有し、これらがネットワーク９を介して通信を行う。
ここで、通信装置３ａ，３ｂの各々が第１〜第３の発明の通信装置、第１の通信装置および第２の通信装置に対応している。
ネットワーク９は、例えば、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）  などの通信プロトコルを利用した通信が行われる伝送負荷により伝送時間が変動すると共に、パケットロスなどが生じる可能性のあるネットワークである。
【００１２】
通信装置３ａ，３ｂは、テレビ会議システムの端末装置、パーソナルコンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）  などのオーディオおよびビデオのデータの符号化、復号、並びに送受信が可能な装置である。
通信装置３ａには、例えば、モニタ１０ａ、スピーカ１１ａ、カメラ１２ａおよびマイク１３ａが接続される。
通信装置３ｂには、例えば、モニタ１０ｂ、スピーカ１１ｂ、カメラ１２ｂおよびマイク１３ｂが接続される。
【００１３】
通信システム１は、通信装置３ａと３ｂとが、ネットワーク９を介して、オーディオデータおよびビデオデータによるリアルタイムなコミュニケーションを双方向通信により行う。
【００１４】
通信装置３ａは、例えば、パケットデータを前回受信してから、パケット時間間隔（パケットが送信される時間間隔であり第１の発明の所定の時間間隔に対応）とネットワークジッタ（第１の発明の第１の時間）との総和である許容パケット時間間隔（第１の発明の第２の時間）が経過しても、前回受信したパケットデータに続いて受信すべきパケットデータを受信していない場合に、当該パケットデータの再送要求ＮＡＣＫを送信元の通信装置３ｂに送信する。
【００１５】
通信装置３ａと３ｂとの間の通信は、ＩＥＴＦの規定文書ＲＦＣ１８８９にて規定されるＲＴＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）パケットデータおよびＲＴＣＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）パケットデータを送受信して行われる。
ＲＴＰパケットデータは、オーディオデータおよびビデオデータを符号化したデータを伝送するためのパケットデータであり、ビデオ、オーディオおよびそれ以外のデータ毎に独立のストリームである。
ＲＴＣＰデータは、メディアごとのＲＴＰパケットデータの制御用のパケットである。ＲＴＣＰパケットデータのフォーマットを拡張し、送受信することにより、後述するＡＲＱ（Ａｕｔｏ  Ｒｅｐｅａｔ  Ｒｅｑｕｅｓｔ）  が実現される。
【００１６】
図２に示すように、通信装置３ａは、例えば、送受信部２１、ＲＴＣＰパケット解析部２２、ＲＴＣＰパケット生成部２３、ネットワーク監視部２４、ＲＴＰパケット解析部２５、受信バッファメモリ２６、復号部２７、パケット送信制御部２８、符号化部２９、ＲＴＰパケット化部３０、送信バッファメモリ３１および再送信バッファメモリ３２を有する。
なお、通信装置３ｂは、例えば、通信装置３ａと同じ構成を有している。
【００１７】
図２に示すパケット送信制御部２８の後述する図５に示す再送要求制御部５１が第１および第３の発明の再送要求制御手段に対応し、送信制御部５３が第３の発明の送信制御手段に対応し、再送制御部５２が第３の発明の再送制御手段に対応している。
【００１８】
以下、図２に示す各構成要素について説明する。
送受信部２１は、ＲＴＣＰパケット生成部２２、送信バッファメモリ３１および再送信バッファメモリ３２から入力したパケットデータに対してＩＰｖ４，ＩＰｖ６などのＩＰヘッダなどを付加してＩＰパケットデータを生成し、これをネットワーク９に送信する。
このとき、送受信部２１は、ビデオおよびオーディオのＩＰパケットデータを、図４（Ａ）に示すように混在した順序でネットワーク９に送信する。
ここで、図４（Ｂ）に示すようにオーディオのＩＰパケットデータの送信間隔が一定である場合の例にとると、送受信部２１が当該オーディオのＩＰパケットデータの送信間隔を基本パケット時間間隔ＢＰＩ（第１〜第３の発明の所定の時間間隔）とする。なお、ビデオのＩＰパケットデータの送信間隔が一定である場合には、ビデオのＩＰパケットデータに対しても同様に適用可能である。
【００１９】
送受信部２１は、ネットワーク９から入力したＩＰパケットデータのＩＰヘッダを基に所定のＩＰ処理を行い、当該パケットデータ内のＲＴＣＰパケットをＲＴＣＰパケット解析部２３に出力し、ＲＴＰパケットデータをＲＴＰパケット解析部２５に出力する。
【００２０】
ＲＴＣＰパケット解析部２２は、入力したＲＴＣＰパケットデータがネットワーク遅延計測用のパケットデータＥＣＨＯである場合に、パケットデータＥＣＨＯ−ＲＥＰＬＹの送信指示をＲＴＣＰパケット生成部２２に出力する。
また、ＲＴＣＰパケット解析部２２は、入力したＲＴＣＰパケットデータがパケットデータＥＣＨＯ−ＲＥＰＬＹである場合に、パケットデータＥＣＨＯ−ＲＥＰＬＹの受信時刻、並びに当該パケットデータＥＣＨＯ−ＲＥＰＬＹに含まれる受信時刻および送信時刻をネットワーク監視部２４に通知する。
また、ＲＴＣＰパケット解析部２２は、入力したＲＴＣＰパケットデータが再送要求ＮＡＣＫの場合には、その旨をパケット送信制御部２８に通知する。
【００２１】
ＲＴＣＰパケット生成部２３は、後述するようにパケット送信制御部２８から再送要求ＮＡＣＫの送信指示を受けると、再送要求ＮＡＣＫを通信装置３ｂに送信する。
【００２２】
ネットワーク監視部２４は、パケットロス検出部３６を有する。
パケットロス検出部３６は、ＲＴＰパケット解析部２５から入力したＲＴＰパケットデータのシーケンス番号を基にパケットロスを検出し、パケットロス検出結果ＰＬをパケット送信制御部２８に通知する。
【００２３】
ＲＴＰパケット解析部２５は、送受信部２１から入力した図３に示すＲＴＰパケットデータの種別（ＴＹＰＥ）、並びにシーケンス番号（ＮＵＭ）を解析し、その結果をパケット送信制御部２８に通知する。
種別ＴＹＰＥは、ＲＴＰパケットデータに含まれるペイロードデータＰＡＹＬがオーディオデータ、ビデオデータ、それ以外のデータの何れであるかを示している。
シーケンス番号ＮＵＭは、複数のＲＴＰパケットデータのペイロードデータＰＡＹＬによってオーディオおよびビデオのデータが構成される場合に、そのオーディオおよびビデオ毎に、それに対応する複数のＲＴＰパケットデータの復号順などを示している。
【００２４】
受信バッファメモリ２６は、ＲＴＰパケット解析部２５から入力したＲＴＰパケットデータを、所定の時間保持した後に復号部２７に出力する。
具体的には、受信バッファメモリ２６は、ビデオデータに関する複数のＲＴＰパケットデータを復号順に復号部２７に出力し、オーディオデータに関する複数のＲＴＰパケットデータを復号順に復号部２７に出力し、それ以外のデータに関する複数のＲＴＰパケットデータを復号順に復号部２７に出力する。
【００２５】
復号部２７は、例えば、オーディオ、ビデオおよびそれ以外のデータのそれぞれについて、入力したＲＴＰパケットデータを例えば入力順に復号する。
【００２６】
パケット送信制御部２８は、例えば、図５に示すように、再送要求制御部５１、再送制御部５２、送信制御部５３およびタイマ５４を有する。
【００２７】
以下、再送要求制御部５１について説明する。
〔許容パケット時間間隔生成〕
図６は、再送要求制御部５１による許容パケット時間間隔生成処理を説明するためのフローチャートである。
ステップＳＴ１：
再送要求制御部５１は、ＲＴＰパケット解析部２５からの解析結果を基に、ＲＴＰパケットデータの受信待ち状態になる。
ステップＳＴ２：
再送要求制御部５１は、ＲＴＰパケットデータを受信した場合に、それが再送要求ＮＡＣＫに応じて受信したＲＴＰパケットデータか否かを判断する。
再送要求制御部５１は、受信したＲＴＰパケットデータが再送要求ＮＡＣＫに応じたものであると判断すると処理を終了し、そうでない場合にはステップＳＴ３に進む。
【００２８】
ステップＳＴ３：
再送要求制御部５１は、タイマ５４が示す値を、今回、ＲＴＰパケットデータを受信した時刻とし、それを基に最新パケット受信時刻情報を更新する。
ステップＳＴ４：
再送要求制御部５１は、ネットワーク監視部２４から入力したパケットロス検出結果ＰＬを基に、パケットロスが生じたか否かを判断し、パケットロスが生じたと判断するとステップＳＴ５に進み、そうでない場合にはステップＳＴ６に進む。
【００２９】
ステップＳＴ５：
再送要求制御部５１は、ステップＳＴ４でパケットロスが発生した判断したＲＴＰパケットデータの再送要求ＮＡＣＫを通信装置３ｂに送信することを、例えば、当該ＲＴＰパケットデータのシーケンス番号を指定してＲＴＣＰパケット生成部２３に指示する。
ステップＳＴ６：
再送要求制御部５１は、今回、ＲＴＰパケットデータを受信した時刻と、前回、ＲＴＰパケットデータを受信した時刻との差分を示す時間をパケット時間間隔として検出する。
【００３０】
ステップＳＴ７：
再送要求制御部５１は、所定の数だけ連続して検出した複数の上記パケット時間間隔とＢＰＩ（基本パケット時間間隔）との差分値を算出する。
そして、再送要求制御部５１は、当該算出した差分値の平均値をネットワークジッタとする。
なお、再送要求制御部５１は、その他に、上記算出した差分値のうち、最大値を上記ネットワークジッタとしてもよい。
また、再送要求制御部５１は、上記算出した差分値の標準偏差を算出し、当該標準偏差を前記ネットワークジッタとしてもよい。
【００３１】
ステップＳＴ８：
再送要求制御部５１は、例えば、前述した図４（Ｂ）に示す基本パケット時間間隔ＢＰＩと、ステップＳＴ７で算出したネットワークジッタとの総和を許容パケット時間間隔（本発明の基準時間）とする。
【００３２】
〔再送要求送出〕
図７は、再送要求制御部５１によるタイマ５４を基にした再送要求処理を説明するためのフローチャートである。
ステップＳＴ１１：
再送要求制御部５１は、例えば、所定の時間間隔でタイマ５４により割り込みを受ける。
ステップＳＴ１２：
再送要求制御部５１は、タイマ５４による上記割り込みを受けると、タイマ５４が当該ステップＳＴ１２を実行するタイミングで示す値を現在時刻として取得し、現在時刻と前述した最新パケット受信時刻との差分により、経過時間を算出する。また、最新に受信したＲＴＰパケットデータのシーケンス番号に「１」を加算した再送要求シーケンス番号を算出する。
ステップＳＴ１３：
再送要求制御部５１は、ステップＳＴ１２で取得した経過時間が、図６に示すステップＳＴ８で生成した許容パケット時間間隔より大きいか否かを判断し、大きいと判断するとステップＳＴ１４に進み、そうでない場合には当該ステップＳＴ１３の処理を繰り返す。
【００３３】
ステップＳＴ１４：
再送要求制御部５１は、再送要求シーケンス番号をもつＲＴＰパケットデータの再送要求を送信することをＲＴＣＰパケット生成部２３に指示し、経過時間より基本パケット時間間隔ＢＰＩを減算し、再送要求シーケンス番号に「１」を加算した後ステップＳＴ１３に戻る。
【００３４】
以下、再送制御部５２の処理について説明する。
〔再送制御〕
図８は、再送制御部５２の処理を説明するためのフローチャートである。
ステップＳＴ２１：
再送制御部５２は、ＲＴＣＰパケット解析部２２からの解析結果を基に、再送要求ＮＡＣＫが受信されたか否かを判断する。
ステップＳＴ２２：
再送制御部５２は、受信した再送要求ＮＡＣＫに対応するＲＴＰパケットデータが再送信バッファメモリ３２に保持されているか否かを判断し、保持されていると判断するとステップＳＴ２３に進み、保持されていないと判断すると処理を終了する。
【００３５】
ステップＳＴ２３：
再送制御部５２は、当該再送要求ＮＡＣＫに係わる再送回数情報を基に、予め決められた回数の再送を当該再送要求ＮＡＣＫに係わるＲＴＰパケットデータに対して行ったか否かを判断し、行ったと判断すると処理を終了し、そうでない場合にはステップＳＴ２４の処理に進む。
ステップＳＴ２４：
再送制御部５２は、当該再送要求ＮＡＣＫに対応するシーケンス番号を指定した送信指示を再送信バッファメモリ３２に出力する。これにより、再送信バッファメモリ３２から、当該シーケンス番号のＲＴＰパケットデータが送受信部２１を介して通信装置３ｂに送信される。
ステップＳＴ２５：
再送制御部５２は、ステップＳＴ２４で再送したＲＴＰパケットデータに関する再送回数情報を更新する。
【００３６】
〔再送信バッファメモリ３２のクリア処理〕
図９は、再送制御部５２による再送信バッファメモリ３２のクリア処理を説明するためのフローチャートである。
ステップＳＴ３１：
再送制御部５２は、送信制御部５３の制御により送信バッファメモリ３１からのＲＴＰパケットデータが送信されたか否かを監視する。
ステップＳＴ３２：
再送制御部５２は、送信バッファメモリ３１からＲＴＰパケットデータが送信された時刻を示す送信時刻を取得する。
ステップＳＴ３３：
再送制御部５２は、再送信バッファメモリ３２に記憶されている各ＲＴＰパケットデータについて、当該ＲＴＰパケットデータの送信時刻と、タイマ５４が示す現在時刻との差分時間を算出する。
そして、再送制御部５２は、再送信バッファメモリ３２に記憶されている各ＲＴＰパケットデータについて算出した上記差分時間が、指定されたバッファ保持時間より長いか否かを判断する。
ステップＳＴ３４：
再送制御部５２は、再送信バッファメモリ３２に記憶されているＲＴＰパケットデータのうち、ステップＳＴ３３でバッファ保持時間が経過していると判断したＲＴＰパケットデータを再送信バッファメモリ３２から削除する。
【００３７】
送信制御部５３は、送信バッファメモリ３１から図４（Ａ）に示す基本パケット時間間隔ＢＰＩでＲＴＰパケットデータを送受信部２１を介して通信装置３ｂに送出する。
【００３８】
符号化部２９は、カメラ１２ａから入力したビデオデータと、マイク１３ａから入力したオーディオデータとを符号化してＲＴＰパケット化部３０に出力する。
ＲＴＰパケット化部３０は、符号化部２９から入力したビデオデータおよびオーディオデータからＲＴＰパケットデータを生成し、これらを復号順に送信バッファメモリ３１および再送信バッファメモリ３２に保持させる。
このとき、ＲＴＰパケット化部３０は、ビデオデータ、オーディオデータそれぞれに対し、復号する順序に１づつインクリメントされるようにシーケンス番号をＲＴＰパケットデータ内に格納する。
【００３９】
以下、上述した通信システム１の動作例を説明する。
先ず、通信システム１では、例えば、通信装置３ａの符号化部２９が、カメラ１２ａから入力したビデオデータと、マイク１３ａから入力したオーディオデータとを符号化してＲＴＰパケット化部３０に出力する。
次に、ＲＴＰパケット化部３０が、符号化部２９から入力したビデオデータおよびオーディオデータからＲＴＰパケットデータを生成し、これらを復号順に送信バッファメモリ３１および再送信バッファメモリ３２に保持させる。
そして、パケット送信制御部２８からの送信指示により、送信バッファメモリ３１から読み出したビデオおよびオーディオのＲＴＰパケットデータを送受信部２１からネットワーク９を介して通信装置３ｂに送信させる。
【００４０】
そして、通信装置３ｂのＲＴＰパケット解析部２５が、受信したＲＴＰパケットデータを送受信部２１を介して入力し、そのシーケンス番号などの解析結果をネットワーク監視部２４およびパケット送信制御部２８に出力する。
そして、パケット送信制御部２８が前述したように、パケットロスを検出し、図６および図７で示すタイミングで、消失したＲＴＰパケットデータの再送要求ＮＡＣＫをＲＴＣＰパケット生成部２３に送信させる。
一方、受信バッファメモリ２６に格納された連続したＲＴＰパケットデータは、復号部２７に出力され、復号部２７で復号される。
そして、復号部２７からモニタ１０ａに復号されたビデオデータが出力され、復号部２７からスピーカ１１ａに復号されたオーディオデータが出力される。
【００４１】
一方、上述したように通信装置３ｂが送信した再送要求ＮＡＣＫは、通信装置３ａの送受信部２１を介してＲＴＣＰパケット解析部２２に入力され、その解析結果を基に、パケット送信制御部２８が、図８に示すように再送要求ＮＡＣＫに係わるＲＴＰパケットデータを指定した送信指示を再送信バッファメモリ３２に出力する。これにより、再送要求ＮＡＣＫに係わるＲＴＰパケットデータが通信装置３ｂに再送される。
また、通信装置３ａのパケット送信制御部２８は、図９に示す処理を行って再送信バッファメモリ３２に記憶されたＲＴＰパケットデータを破棄する。
【００４２】
以上説明したように、通信システム１によれば、通信装置３ａ，３ｂのパケット送信制御部２８の再送要求制御部５１が、図７に示すように、現在時刻と最新パケット受信時刻との差分が、許容パケット時間間隔より大きいと判断すると、再送要求ＮＡＣＫを送信する。ここで、許容パケット時間間隔は、基本パケット時間間隔ＢＰＩと、ステップＳＴ７で算出したネットワークジッタとの総和である。
そのため、通信システム１によれば、従来のように、欠落したシーケンス番号の後のシーケンス番号を持つパケットデータを受信してから再送要求ＮＡＣＫを送信する場合に比べて、早いタイミングで再送要求ＮＡＣＫを送信でき、受信側でのビデオおよびオーディオの出力品質の向上、並びにリアルタイム性の向上を図れる。
【００４３】
また、通信システム１によれば、送信側の通信装置３ａ，３ｂは、同じＲＴＰパケットデータに対する再送要求ＮＡＣＫを受信した際、ＲＴＰパケットデータの再送を指定された回数のみ行うことで、ネットワーク９の負荷が大きい場合に、それをさらに悪化させることを回避できる。
【００４４】
第２実施形態
当該実施形態は第４および第５の発明に対応している。
送受信部２１は、ＲＴＣＰパケット生成部２２、送信バッファメモリ３１および再送信バッファメモリ３２から入力したパケットデータに対してＩＰｖ４，ＩＰｖ６などのＩＰヘッダなどを付加してＩＰパケットデータを生成し、これをネットワーク９に送信する。
当該ＩＰヘッダには、図３に示すように、ＩＰフラグメント値ＩＰＦが含まれる。
送受信部２１は、ＲＴＰパケットデータをそれぞれ含む複数のＩＰパケットデータについて、当該ＩＰパケットデータの送出順を示すようにＩＰフラグメント値を規定する。具体的には、送受信部２１は、送信するＩＰパケットデータのＩＰフラグメント値ＩＰＦを、前回送信したＩＰパケットデータのＩＰフラグメント値ＩＰＦに「１」を加算した値とする。
このとき、送受信部２１は、ビデオおよびオーディオのＩＰパケットデータを、図４に示すように混在した順序でネットワーク９に送信する。
送受信部２１は、ＲＴＰパケットデータを含むパケットデータを受信した場合に、そのＩＰフラグメント値ＩＰＦをパケット送信制御部２８に出力する。
なお、送受信部２１ではく、ＲＴＰパケット解析部２５が当該ＩＰフラグメント値ＩＰＦをパケット送信制御部２８に出力してもよい。
ここで、図２に示すパケット送信制御部２８ａが第４の発明の再送要求制御手段に対応し、受信バッファメモリ２６が第４の発明の提供手段に対応している。また、本実施形態において、ＩＰフラグメント値ＩＰＦが第４および第５の発明の第１の順序情報に対応し、第１実施形態で説明したシーケンス番号が第４および第５の発明の第２の順序情報に対応している。
本実施形態の通信システムは、図２に示す通信装置３ａ，３ｂのパケット送信制御部２８の処理の以下に示す一部を除いて、第１実施形態の通信システム１と同じである。
本実施形態のパケット送信制御部２８ａは、図５に示す構成を有し、再送要求制御部５１ａの構成を除いて、第１実施形態のパケット送信制御部２８と同じである。
本実施形態の再送要求制御部５１ａは、例えば、前述した第１実施形態の図６および図７の代わりに、以下に示す図１０に示す手順で再送要求ＮＡＣＫの送信を行う。
図１０は、本発明の第２実施形態における再送要求制御部５１ａによる再送要求ＮＡＣＫの送信処理を説明するためのフローチャートである。
すなわち、前述したように、送受信部２１は、ＲＴＰパケットデータを含むパケットデータを受信した場合に、そのＩＰフラグメント値ＩＰＦ（第４および第５の発明の第１の順序情報）をパケット送信制御部２８に出力する。
再送制御部５２ａは、当該ＩＰフラグメント値を基に再送要求ＮＡＣＫの送信を行う。
【００４５】
以下、図１０に示す各ステップについて説明する。
ステップＳＴ４１：
再送要求制御部５１ａは、ＲＴＰパケット解析部２５からの解析結果を基に、ＲＴＰパケットデータの受信待ち状態になる。
ステップＳＴ２：
再送要求制御部５１ａは、ＲＴＰパケットデータを受信した場合に、それが再送要求ＮＡＣＫに応じて受信したＲＴＰパケットデータか否かを判断する。
再送要求制御部５１ａは、受信したＲＴＰパケットデータが再送要求ＮＡＣＫに応じたものであると判断すると処理を終了し、そうでない場合にはステップＳＴ４３に進む。
【００４６】
ステップＳＴ４３：
再送要求制御部５１ａは、送受信部２１からのＩＰフラグメント値ＩＰＦを基に、今回受信したＩＰパケットデータのＩＰフラグメント値ＩＰＦ（以下、現在受信ＩＰフラグメント値とも記す）が、前回受信したＩＰパケットデータのＩＰフラグメント値ＩＰＦ（以下、最新受信ＩＰフラグメント値とも記す）に「１」を加算した値以上であるか否かを判断し、そうであると判断するとステップＳＴ４４に進み、そうでないと判断するとステップＳＴ４１に戻る。
このとき、ＩＰフラグメント値ＩＰＦは、ＩＰパケットデータがビデオおよびオーディオの何れに関するものであるかとは無関係に、送信順に「１」インクリメントするように付されている。
【００４７】
ステップＳＴ４４：
再送要求制御部５１ａは、現在受信ＩＰフラグメント値が最新受信ＩＰフラグメント値に「１」を加算した値よりも大きいか否かを判断し、そうであると判断するとステップＳＴ４６に進み、そうでないと判断するとステップＳＴ４５に進む。
ステップＳＴ４５：
再送要求制御部５１ａは、現在受信ＩＰフラグメント値を最新受信ＩＰフラグメント値とする。
【００４８】
ステップＳＴ４６：
再送要求制御部５１ａは、現在受信ＩＰフラグメント値と、最新受信ＩＰフラグメント値との間で欠落したＩＰフラグメント値ＩＰＦを指定した再送要求ＮＡＣＫの送信指示をＲＴＣＰパケット生成部２３に出力する。
これにより、ＲＴＣＰパケット生成部２３が、ＩＰフラグメント値ＩＰＦを指定した再送要求ＮＡＣＫを通信装置３ｂに送信する。
ステップＳＴ４７：
再送要求制御部５１ａは、現在受信ＩＰフラグメント値を最新受信ＩＰフラグメント値とする。
【００４９】
以上説明したように、本実施形態では、通信装置３ａ，３ｂは、受信したＩＰパケットデータ内のＩＰフラグメント値ＩＰＦを基に、ビデオおよびオーディオのＩＰパケットデータについて一括してＩＰフラグメント値ＩＰＦの連続性を検証し、連続性が失われたことを検出したタイミングで再送要求ＮＡＣＫを送信する。
そのため、ビデオおよびオーディオのパケットデータの各々について、シーケンス番号の連続性を基にパケットロスを検出する場合に比べて、パケットロスを早いタイミングで検出でき、再送要求ＮＡＣＫを早いタイミングで送信できる。
【００５０】
本発明は上述した実施形態には限定されない。
【００５１】
【発明の効果】
以上説明したように、本発明によれば、パケット通信において高品質な出力をリアルタイムに得ることができる。
【図面の簡単な説明】
【図１】図１は、本発明の第１実施形態に係わる通信システムの全体構成図である。
【図２】図２は、図１に示す通信装置の構成図である。
【図３】図３は、本発明の実施形態で使用されるＩＰパケットデータおよびＲＴＰパケットデータのフォーマットを説明するための図である。
【図４】図１に示す通信装置によるＩＰパケットデータの送信パターンを説明するための図である。
【図５】図５は、図２に示すパケット送信制御部の構成図である。
【図６】図６は、図５に示す再送要求制御部による許容パケット時間間隔生成処理を説明するためのフローチャートである。
【図７】図７は、図５に示す再送要求制御部によるタイマを基にした再送要求処理を説明するためのフローチャートである。
【図８】図８は、図５に示す再送制御部の処理を説明するためのフローチャートである。
【図９】図９は、図５に示す再送制御部による再送信バッファメモリ３２のクリア処理を説明するためのフローチャートである。
【図１０】図１０は、本発明の第２実施形態における再送要求制御部による再送要求ＮＡＣＫの送信処理を説明するためのフローチャートである。
【符号の説明】
３ａ，３ｂ…通信装置、９…ネットワーク、１０ａ，１０ｂ…モニタ、１１ａ，１１ｂ…スピーカ、１２ａ，１２ｂ…カメラ、１３ａ，１３ｂ…マイク、２１…送受信部、２２…ＲＴＣＰパケット解析部、２３…ＲＴＣＰパケット生成部、２４…ネットワーク監視部、２５…ＲＴＰパケット解析部、２６…受信バッファメモリ、２７…復号部、２８，２８ａ…パケット送信制御部、２９…符号化部、３０…ＲＴＰパケット化部、３１…送信バッファメモリ、３２…再送信バッファメモリ、３６…パケットロス検出部、５１，５１ａ…再送要求制御部、５２…再送制御部、５３…送信制御部、５４…タイマ
【図１】
2005020590.tif 000003
【図２】
2005020590.tif 000004
【図３】
2005020590.tif 000005
【図４】
2005020590.tif 000006
【図５】
2005020590.tif 000007
【図６】
2005020590.tif 000008
【図７】
2005020590.tif 000009
【図８】
2005020590.tif 000010
【図９】
2005020590.tif 000011
【図１０】
2005020590.tif 000012