(57)【要約】【課題】  再送用データを効率的に削除して、バッファ領域の圧迫を抑制するようにしたマルチメディア通信システムおよび再送用データ削除方法を提供する。【解決手段】  送信側装置１０は、送信用データをパケット化して受信側装置２０に送信するとともに、その送信済みのパケットを、再送用データ（再送用パケット群）として送信データバッファ１１内に一定時間、若しくは一定量保持しておく。送信データバッファ１１に保持された再送用データは、受信側装置２０からの受信状況データ（ＡＣＫ（受信確認）、ＮＡＣＫ（受信未確認））を、データ破棄判定部１４で判定して、その判定結果に基づいてデータ破棄部１５により削除する。【選択図】  図１
2006279436.tif 000002
【特許請求の範囲】
【請求項１】
テキスト、音声、映像等のメディア情報をパケット化して受信側に送信するマルチメディア通信システムにおいて、
送信済みのパケットに対応する再送用データを一時的に保持するバッファ手段と、
前記受信側から受信状況データを受信する受信状況データ受信手段と、
前記受信状況データ受信手段で受信した受信状況データに基づいて正常に受信側に送信されたパケットを判定する判定手段と、
前記判定手段により正常に受信側に送信されたと判定されたパケットに対応する再送用データを前記バッファ手段から削除する破棄手段と
を具備することを特徴とするマルチメディア通信システム。
【請求項２】
前記判定手段は、
前記受信状況データ受信手段で受信側からパケット受信確認を受信した場合には、該パケット受信確認を受信したパケットが前記受信側に正常に送信されたと判定し、
前記破棄手段は、
該パケット受信確認を受信したパケットに対応する再送用データを前記バッファ手段から削除する
ことを特徴とする請求項１記載のマルチメディア通信システム。
【請求項３】
前記判定手段は、
前記受信状況データ受信手段で受信側からパケット受信未確認を受信した場合には、該パケット受信未確認を受信したパケット以前のパケットが前記受信側に正常に送信されたと判定し、
前記破棄手段は、
該パケット受信未確認を受信したパケット以前に前記バッファ手段内に保持されたパケットに対応する再送用データを前記バッファ手段から削除する
ことを特徴とする請求項１または２記載のマルチメディア通信システム。
【請求項４】
パケットの誤り、ロス等が発生した場合に、その影響を回復できるまでの時間を基準にして各パケットに優先度を設定する優先度設定手段
を更に具備し、
前記破棄手段は、
前記優先度設定手段により各パケットに設定された優先度に基づき各パケットに対応する再送用データを前記バッファ手段から削除する
ことを特徴とする請求項１乃至３いずれかに記載のマルチメディア通信システム。
【請求項５】
テキスト、音声、映像等のメディア情報をパケット化して受信側に送信するマルチメディア通信システムにおいて、
送信済みのパケットに対応する再送用データを一時的に保持するバッファ手段と、
パケットの誤り、ロス等が発生した場合に、その影響を回復できるまでの時間を基準にして各パケットに優先度を設定する優先度設定手段と、
前記優先度設定手段により各パケットに設定された優先度に基づき削除する再送用データを判定する判定手段と、
前記判定手段による判定結果に基づいて前記バッファ手段から当該再送用データを削除する破棄手段と
を具備することを特徴とするマルチメディア通信システム。
【請求項６】
テキスト、音声、映像等のメディア情報をパケット化して受信側に送信するマルチメディア通信システムの再送用データ削除方法において、
送信済みのパケットに対応する再送用データを一時的にバッファ手段で保持し、
前記受信側から受信状況データを受信状況データ受信手段で受信し、
前記受信状況データ受信手段で受信した受信状況データに基づいて正常に受信側に送信されたパケットを判定手段で判定し、
前記判定手段により正常に受信側に送信されたと判定されたパケットに対応する再送用データを前記バッファ手段から破棄手段で削除する
ことを特徴とするマルチメディア通信システムの再送用データ削除方法。
【請求項７】
テキスト、音声、映像等のメディア情報をパケット化して受信側に送信するマルチメディア通信システムの再送用データ削除方法において、
送信済みのパケットに対応する再送用データを一時的にバッファ手段で保持し、
パケットの誤り、ロス等が発生した場合に、その影響を回復できるまでの時間を基準にして各パケットに優先度を優先度設定手段で設定し、
前記優先度設定手段により各パケットに設定された優先度に基づき削除する再送用データを判定手段で判定し、
前記判定手段による判定結果に基づいて前記バッファ手段から当該再送用データを破棄手段で削除する
ことを特徴とするマルチメディア通信システムの再送用データ削除方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テキスト、音声、映像等のメディア情報をパケット化して受信側に送信するマルチメディア通信システムおよび再送用データ削除方法に係わり、詳しくは、再送用データを効率的に削除して、バッファ領域の圧迫を抑制するようにしたマルチメディア通信システムおよび再送用データ削除方法に関する。
【背景技術】
【０００２】
一般的に、テキスト、音声、映像データ等のメディア情報を伝送する際には、そのデータを圧縮してデータ量を小さくして伝送する。このような各種音声・映像データの圧縮技術（圧縮符号化技術）の代表的なものとして、ＭＰＥＧ（Moving Picture Experts Group）規格が知られている。
【０００３】
ＭＰＥＧによる圧縮符号化技術には、時間軸の方向（フレーム（画面）間）の冗長性を削減するフレーム間予測符号化方法と、空間的な方向（フレーム（画面）内）の冗長性を削減するフレーム内符号化方法とがあり、これら２つの方法を用いて動画像の冗長性を削減する。
【０００４】
特に、前者のフレーム間予測符号化方法では、早送り、巻戻し、途中からの再生等に対応するために、主にＩ（Intra-coded）フレーム、Ｐ（Predictive-coded）フレーム、Ｂ（Bidirectionally predictive-coded）フレームといった３種類のフレームタイプを規定し、Ｉフレームに対して、Ｎ個のＰフレームまたはＢフレームからなるフレームグループ（Group of Picture）を単位として、フレームグループ単位での途中再生等を可能とする。
【０００５】
Ｉフレームは、フレームタイプの中で最も圧縮率が低く、そのデータ量は大きいが、動画像の再生の起点となるキーフレームであり、ＰフレームまたはＢフレームは、キーフレームであるＩフレームに対する差分情報を持つ差分フレームである。
【０００６】
ところで従来、上述したメディア情報をパケット化して伝送する際に、パケットの消失、すなわちパケットロスが大きな問題となっている。
【０００７】
特に、音声、映像データのリアルタイム伝送では、ＵＤＰ（User Datagram Protocol）を利用するため、パケットロスが起こる可能性がある。また、パケットロスが起こった場合の画質への影響はパケットにより異なるため一定ではない。例えば、Ｉフレームを構成するパケット群を消失するのと、Ｐフレームを構成するパケット群を消失するのとでは、Ｉフレームを構成するパケット群を消失した場合の方が圧倒的に画質への影響が多い。
【０００８】
通常、パケットロスが生じた場合には、受信側でパケットロスを検出し、送信側に再送を要求することで、パケットの補完が行われることとなるが、伝送路の帯域制限等の問題により、ロスしたパケット全てを再送する方法は得策ではない。
【０００９】
このような問題に対処した技術としては、特許文献１に記載されたものが知られており、この特許文献１の発明によると、紛失したデータフレームの再送を、そのフレームの優先度レベルと閾値との比較に基づいて行うことで、送出機能を実際の伝送路特性などの多くの要因に適応させることができる。そのため、極力無駄を省いた方法で紛失したデータフレームの再送が行え、映像品質を向上させることができるという技術について言及されている。
【特許文献１】特開２００１−２７４８６１号
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記特許文献１の発明では、Ｉフレームに最初に従属するフレームから順番に優先度を高く設定し、優先度に応じて再送処理を行うため、再送処理に関しては効率的に制御することができるが、再送用のデータを保持するバッファについては、どのように処理すればよいかについて考慮されていなかった。
【００１１】
そのため、送信側では、パケットロスに対応するために送信済みのパケットデータを一定時間バッファに保持しておくが、このような再送用のパケットを単純にバッファに全て保存しておいた場合には、バッファ領域を圧迫する恐れがあった。
【００１２】
そこで、本発明は上記問題点に鑑みてなされたものであり、再送用データを効率的に削除して、バッファ領域の圧迫を抑制するようにしたマルチメディア通信システムおよび再送用データ削除方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するため、請求項１の発明は、テキスト、音声、映像等のメディア情報をパケット化して受信側に送信するマルチメディア通信システムにおいて、送信済みのパケットに対応する再送用データを一時的に保持するバッファ手段と、前記受信側から受信状況データを受信する受信状況データ受信手段と、前記受信状況データ受信手段で受信した受信状況データに基づいて正常に受信側に送信されたパケットを判定する判定手段と、前記判定手段により正常に受信側に送信されたと判定されたパケットに対応する再送用データを前記バッファ手段から削除する破棄手段とを具備することを特徴とする。
【００１４】
また、請求項５の発明は、テキスト、音声、映像等のメディア情報をパケット化して受信側に送信するマルチメディア通信システムにおいて、送信済みのパケットに対応する再送用データを一時的に保持するバッファ手段と、パケットの誤り、ロス等が発生した場合に、その影響を回復できるまでの時間を基準にして各パケットに優先度を設定する優先度設定手段と、前記優先度設定手段により各パケットに設定された優先度に基づき削除する再送用データを判定する判定手段と、前記判定手段による判定結果に基づいて前記バッファ手段から当該再送用データを削除する破棄手段とを具備することを特徴とする。
【００１５】
また、請求項６の発明は、テキスト、音声、映像等のメディア情報をパケット化して受信側に送信するマルチメディア通信システムの再送用データ削除方法において、送信済みのパケットに対応する再送用データを一時的にバッファ手段で保持し、前記受信側から受信状況データを受信状況データ受信手段で受信し、前記受信状況データ受信手段で受信した受信状況データに基づいて正常に受信側に送信されたパケットを判定手段で判定し、前記判定手段により正常に受信側に送信されたと判定されたパケットに対応する再送用データを前記バッファ手段から破棄手段で削除することを特徴とする。
【００１６】
また、請求項７の発明は、テキスト、音声、映像等のメディア情報をパケット化して受信側に送信するマルチメディア通信システムの再送用データ削除方法において、送信済みのパケットに対応する再送用データを一時的にバッファ手段で保持し、パケットの誤り、ロス等が発生した場合に、その影響を回復できるまでの時間を基準にして各パケットに優先度を優先度設定手段で設定し、前記優先度設定手段により各パケットに設定された優先度に基づき削除する再送用データを判定手段で判定し、前記判定手段による判定結果に基づいて前記バッファ手段から当該再送用データを破棄手段で削除することを特徴とする。
【発明の効果】
【００１７】
本発明によれば、テキスト、音声、映像等のメディア情報をパケット化して送信し、該送信済みのパケットに対応する再送用データを一時的にバッファに保持するとともに、受信側から受信する受信状況データに基づいて正常に受信側に送信されたパケットを判定し、正常に受信側に送信されたと判定されたパケットに対応する再送用データをバッファから削除するように構成したため、再送用データを効率的に削除できるので、バッファ領域の圧迫を抑制することができる。
【００１８】
また、テキスト、音声、映像等のメディア情報をパケット化して送信し、該送信済みのパケットに対応する再送用データを一時的にバッファに保持するとともに、パケットの誤り、ロス等が発生した場合に、その影響を回復できるまでの時間を基準にして各パケットに優先度を設定し、該設定された優先度に基づき削除する再送用データを判定し、判定結果に基づいてバッファから当該再送用データを削除するように構成したため、パケットの重要度に応じて再送用データを効率的に削除できる。さらに、重要度の低いパケットに対応する再送用データを先に削除することにより、かかるパケットが消失したとしても、削除されているため再送等でリカバリが行えないため、不要な再送処理による帯域の圧迫も防止することができる。
【発明を実施するための最良の形態】
【００１９】
以下、この発明に係わるマルチメディア通信システムおよび再送用データ削除方法の実施例について添付図面を参照して詳細に説明する。
【実施例１】
【００２０】
図１は、本発明に係わるマルチメディア通信システムの概略構成の一例を示す図である。なお、本実施例においては、送信側装置１０に本発明に係わる再送用データ削除方法を適用した場合を示す。
【００２１】
このマルチメディア通信システムは、送信側装置１０と受信側装置２０とを具備して構成される。なお、ここでは、本発明に係わる構成要素のみを挙げて説明する。
【００２２】
送信側装置１０は、動画データ等の送信用データをパケット化して受信側装置２０へ送信する役割を果たし、受信側装置２０では、送信側装置１０から送信されたパケットを受信する役割を果たす。
【００２３】
送信側装置１０は、各種処理機能部として、送信データバッファ１１と、データ送信部１２と、受信状況データ受信部１３と、データ破棄判定部１４と、データ破棄部１５とを具備して構成される。
【００２４】
送信データバッファ１１は、送信用データを保持するバッファである。また、受信側装置２０にデータ送信後、その送信済みデータを、再送用データ（再送用パケット群）として一定時間、若しくは一定量保持しておく。
【００２５】
データ送信部１２は、受信側装置２０へ送信用データをパケット化して送信する処理部である。具体的には、送信データバッファに保持されたデータを取得し、取得したデータをパケット化して受信側装置２０へ送信する。また、データ送信部１２は、後述する受信状況データ受信部１３からの受信状況データに基づいて、送信データバッファ１１内に保持された再送用データをパケット化してパケットの再送処理を行う。
【００２６】
受信状況データ受信部１３は、受信側装置２０から受信状況データを受信する処理部である。具体的には、データ送信部１２にて送信したパケットの受信状況データ（ＡＣＫ（受信確認）、ＮＡＣＫ（受信未確認））を受信側装置２０から受信する。
【００２７】
データ破棄判定部１４は、送信データバッファ１１に保持された再送用データの削除要否を判定する処理部である。詳細は後述するが、受信状況データ受信部１３で受信した受信状況データに従って、送信データバッファ１１に保持された再送用データの内、どの送信済みパケットに対応する再送用データを削除するのかを判定する。
【００２８】
データ破棄部１５は、データ破棄判定部１４の判定結果に基づいて、送信データバッファ１１から再送用データの削除処理を行う処理部である。以上が本発明に係わる送信側装置１０の各種処理機能部の説明である。
【００２９】
一方、受信側装置２０は、内部に受信状況通知部２１を具備して構成される。受信側装置２０は、送信側装置１０からパケットを受信するとともに、その受信状況を受信状況通知部２１にて送信側装置１０に通知する。具体的には、送信側装置１０からパケット＃１を受信すると、かかるパケットの受信が正常に行われた旨のＡＣＫを送信し一方、パケット＃１の受信が正常に行われなかった場合には、ＮＡＣＫを送信する。
【００３０】
次に、図２および図３を用いて、本発明に係わる再送用データ削除処理の概要を説明する。なお、再送用データ削除処理には、大きく２通りあり、ＡＣＫ（受信確認）を受信した場合に、送信データバッファ１１内のデータを削除する方法と、ＮＡＣＫ（受信未確認）を受信した場合に、送信データバッファ１１内のデータを削除する方法とがある。
【００３１】
まず、図２を用いて、ＡＣＫ（受信確認）を受信した場合の再送用データ削除処理の概要について説明する。
【００３２】
送信データバッファ１１内には、パケット＃１〜＃７に対応する再送用データが保持され、送信データバッファ１１は、その容量が最大となり、次の送信済みパケットに対応する再送用データの格納ができない状態にある（ステップＳ１）。
【００３３】
ここで、受信側装置２０からパケット＃１〜＃４までのＡＣＫを受信した場合、かかるＡＣＫに対応するパケット＃１〜＃４の送信が正常に行われたと判断し、パケット＃１〜＃４に対応する再送用データを削除する（ステップＳ２）。再送用データが削除されたことに伴って、送信データバッファ１１に空き領域が生じる（ステップＳ３）。
【００３４】
そして、空いた領域にパケット＃７以降に続く、パケット＃８〜パケット＃１１に対応する再送用データを格納し、以降同様に、ＡＣＫに対応して再送用データの削除処理を進めることとなる。
【００３５】
次に、図３を用いて、ＮＡＣＫ（受信未確認）を受信した場合の再送用データ削除処理の概要について説明する。なお、この場合、送信側装置１０と受信側装置２０とを接続する接続環境（ネットワーク環境等）の受信順序（ＮＡＣＫ受信順序）が送信順序と変わらないものとする。
【００３６】
送信データバッファ１１内には、パケット＃１〜＃７に対応する再送用データが保持され、送信データバッファ１１は、その容量が最大となり、次の送信済みパケットに対応する再送用データの格納ができない状態にある（ステップＳ１）。
【００３７】
ここで、受信側装置２０からパケット＃４のＮＡＣＫを受信した場合、かかるＮＡＣＫに対応するパケット＃４よりも以前に送信されたパケット＃１〜＃３の送信は正常に行われたと判断し、パケット＃１〜＃３に対応する再送用データを削除する（ステップＳ２）。再送用データが削除されたことに伴って、送信データバッファ１１に空き領域が生じる（ステップＳ３）。
【００３８】
そして、空いた領域にパケット＃７以降に続く、パケット＃８〜＃１０に対応する再送用データを格納し、以降同様に、ＮＡＣＫに対応して再送用データの削除処理を進めることとなる。
【００３９】
なお、受信順序（ＮＡＣＫ受信順序）が送信順序と変わる可能性がある接続環境においては、上記のような方式の他に、順序が変わる可能性のある期間（例えば、パケット数や時間）より前のパケットに対応する再送用データを、送信データバッファ１１から削除するといった方式で対応することもできる。
【００４０】
また、ＮＡＣＫの場合、ＮＡＣＫ自身がパケットロスする可能性がある。そのため、ＮＡＣＫ自身のパケットロスを考慮する場合には、ＮＡＣＫと対応する以前のパケットの再送用データを即時削除するのではなく、一定時間待ってから削除する等の方法により対応できる。
【００４１】
図４は、本発明に係わる送信側装置１０の動作を説明するフローチャートである。なお、ここでは、送信データバッファ１１に保持された再送用データを削除する場合の動作について説明する。
【００４２】
送信側装置１０は、データ送信部１２により受信側装置２０に対してパケット送信済みであり、受信状況データ（ＡＣＫ（受信確認）、ＮＡＣＫ（受信未確認））の受信待ち状態である（ステップＳ１０１でＮＯ）。
【００４３】
ここで、受信側装置２０から受信状況データを受信状況データ受信部１３にて受信すると（ステップＳ１０１でＹＥＳ）、データ破棄判定部１４は、受信した受信状況データがＡＣＫであるのかＮＡＣＫであるのかを判定し（ステップＳ１０２）、ＡＣＫである場合には（ステップＳ１０２でＡＣＫ）、データ破棄部１５は、判定結果に基づいて、送信データバッファ１１内から受信したＡＣＫと対応するパケット[Ｎ]の再送用データを削除し（ステップＳ１０３）、この処理を終了する。
【００４４】
一方、受信した受信状況データがＮＡＣＫであると判定された場合には（ステプＳ１０２でＮＡＣＫ）、データ破棄部１５は、判定結果に基づいて、送信データバッファ１１内から受信したＮＡＣＫと対応するパケット[Ｎ]以前のパケット[Ｎ−１]までの再送用データを削除し（ステップＳ１０４）、この処理を終了する。
【００４５】
以上説明したように本発明においては、受信側装置２０からの受信状況データ（ＡＣＫ（受信確認）、ＮＡＣＫ（受信未確認））に基づいて、送信データバッファ１１内の再送用データを削除するようにしたため、送信データバッファ１１内の再送用データを効率良く削除できるとともに、その容量を圧迫することを抑止できる。
【実施例２】
【００４６】
実施例２では、各パケットに優先度を設け、かかる優先度に基づいてパケットと対応する再送用データを削除する場合の実施形態について説明する。
【００４７】
図５は、実施例２に係わるマルチメディア通信システムの概略構成の一例を示す図である。なお、上記実施例１を説明した図１と同一の符号が付してあるものは略同様に動作するため、ここでは相違点についてのみ説明する。
【００４８】
送信側装置１０は、動画データ等の送信用データをパケット化して受信側装置２０へ送信する役割を果たし、受信側装置２０では、送信側装置１０から送信されたパケットを受信する役割を果たす。
【００４９】
また、送信側装置１０から送信されるパケットには、Ｉフレーム（Ｉフレームを構成するパケット群）、Ｐフレーム（Ｐフレームを構成するパケット群）の２種あり、パケットロスが起こった場合の画質への影響度合いにより、それぞれ優先度が異なる。詳細は後述するが、同一フレームグループ内に、ＩフレームとＰフレームがあるならば、Ｉフレームには、Ｐフレームより高い優先度を設け、さらにＰフレームの中でも、次のフレームグループのＩフレームに時間的に近いものから順番に優先度を低く設定する。
【００５０】
これらフレームに設けられた優先度は、送信データバッファ１１内に保持された再送用データを削除する際に使用され、その優先度が低いものから順番に削除されることとなる。
【００５１】
送信側装置１０は、各種処理機能部として、送信データバッファ１１と、データ送信部１２と、受信状況データ受信部１３と、データ破棄判定部１４と、データ破棄部１５と、優先度設定部１６とを具備して構成される。すなわち、上記図１の構成に、優先度設定部１６を設けた構成となる。
【００５２】
優先度設定部１６は、動画データ等の送信用データを受信するとともに、そのパケット毎に優先度を設定し、送信データバッファ１１に送信用データを格納する処理部である。この優先度の設定方法としては、パケットの誤り、ロス等が発生した場合に、その影響を回復できるまでの時間を基準にして各パケットに優先度を設定する。具体的には、同一フレームグループ内に、ＩフレームとＰフレームがあるならば、Ｉフレームには、Ｐフレームより高い優先度を設け、さらにＰフレームの中でも、次のフレームグループのＩフレームに時間的に近いものから順番に優先度を低く設定する。
【００５３】
例えば、図６に示すように、フレームグループ１とフレームグループ２があり、フレームグループ１内のＩフレームとＰフレームに優先度を設定する場合、まず、Ｉフレーム（１）に最も高い優先度を設定する。Ｐフレームは、次のフレームグループ２のＩフレーム（２）に時間的に近いものから順番に優先度を低く設定し、Ｐフレーム（１−３）には、最も低い優先度を設定し、Ｐフレーム（１−２）には、Ｐフレーム（１−３）の次に低い優先度を設定し、Ｐフレーム（１−１）には、Ｐフレーム（１−２）の次に低い優先度を設定する。すなわち、未来のＩフレームを予測して、予測したＩフレームに基づいてＰフレームの優先度を設定することとなる。
【００５４】
また、優先度設定部１６は、時間的に後に受信したフレームグループに対しては、時間的に先に受信したフレームグループよりも優先度を高く設定する。図６で言うと、フレームグループ２に属する各フレームに対しては、フレームグループ１に属する最も優先度の高いフレーム、すなわちＩフレーム（１）よりも高い優先度を設定する。すなわち、古いフレームに低い優先度を設定し、先に削除する。
【００５５】
受信状況データ受信部１３は、受信側装置２０から受信状況データを受信する処理部である。具体的には、データ送信部１２にて送信したパケットの受信状況データ（ＡＣＫ（受信確認）、ＮＡＣＫ（受信未確認））を受信する。但し、実施例２においては、受信状況データは、再送用データを削除する際の判定基準には用いず、受信側装置２０が受信できなかったパケットを再送する際の情報として用いる。
【００５６】
データ破棄判定部１４は、送信データバッファ１１に保持された再送用データの削除要否を判定する処理部である。詳細は後述するが、送信データバッファ１１のバッファ容量と、パケットに付与された優先度に応じて、送信データバッファ１１に保持された再送用データの内、どの送信済みパケットに対応する再送用データを削除するのかを判定する。以上が本発明に係わる送信側装置１０の各種処理機能部の説明である。
【００５７】
次に、図７を用いて、実施例２に係わる再送用データ削除処理の概要を説明する。
【００５８】
送信データバッファ１１内には、パケット＃１〜＃８に対応する再送用データが保持され、送信データバッファ１１は、その容量が最大となり、次の送信済みパケットに対応する再送用データの格納ができない状態にある（ステップＳ１）。
【００５９】
この場合、パケット＃１およびパケット＃５はＩフレームであり、それ以外のパケットはＰフレームであり、上記図２で説明した方法により各フレームには、優先度が設定されている。また、パケット＃１〜＃４でフレームグループ（以下、ＧＯＰ−１）を構成し、パケット＃５〜＃８でフレームグループ（以下、ＧＯＰ−２）を構成し、ＧＯＰ−２は、ＧＯＰ−１に続くフレームグループである。すなわち、ＧＯＰ−１は、ＧＯＰ−２よりも先に送信データバッファ１１に格納され、ＧＯＰ−２に比べて、その経過時間も長いため、まず、ＧＤＰ−１内のパケットに対応する再送用データから削除することとなる。
【００６０】
したがって、ＧＤＰ−１内で最も優先度の低いパケットは、パケット＃４であるため、最初に削除されるデータは、パケット＃４に対応する再送用データである。以降同様に、パケット＃３、＃２の順にＰフレームが削除され、最後にＩプレームのパケット＃１が削除される。その後、ＧＯＰ−２内の優先度の低いパケット＃８、＃７…と削除されることとなる（ステップＳ２）。
【００６１】
図８は、本発明に係わる送信側装置１０の動作を説明するフローチャートである。なお、ここでは、送信データバッファ１１に保持された再送用データを削除する場合の動作について説明する。
【００６２】
送信側装置１０は、データ送信部１２により受信側装置２０に対してパケット送信処理を行う。ここで、送信データバッファ１１が再送用データのために、そのバッファ容量が圧迫されると（ステップＳ２０１でＹＥＳ）、この処理は開始される。
【００６３】
この処理が開始されると、まず、データ破棄判定部１４により、送信データバッファ１１に格納された時点から、その経過時間が最も長いフレームグループが判定されるとともに（ステップＳ２０１）、かかるフレームグループ内で最も優先度の低いフレームが判定される（ステップＳ２０２）。
【００６４】
データ破棄部１５は、判定結果に基づいて、最も優先度の低いフレームに対応する再送用データを削除すると（ステップＳ２０４）、ステップＳ２０１に戻り、再び、送信データバッファ１１が圧迫されているか否かの判断が行われる。
【００６５】
以上説明したように実施例２においては、各パケットに優先度を設け、優先度の低いパケットに対応する送信データバッファ１１内の再送用データから順に削除するようにしたため、パケットの重要度に応じて再送用データを効率的に削除できる。さらに、重要度の低いパケットに対応する再送用データを先に削除することにより、かかるパケットが消失したとしても、削除されているため再送等でリカバリが行えないため、不要な再送処理による帯域の圧迫も防止することができる。
【００６６】
なお、上記実施例１および実施例２においては、受信側装置２０から受信状況データを受信すると、受信状況データ受信部１３からデータ送信部１２にその旨を通知することで、パケットの再送処理を行う場合を説明したが、これに限られず、受信側装置２０から受信状況データを受信するとともに、受信状況データ受信部１３から送信データバッファ１１に対して再送指示を行い、送信データバッファ１１からデータ送信部１２に再送用データを渡すことで、パケットの再送処理を行うようにしてもよい。
【００６７】
また、実施例１および実施例２を用いて、本発明に係わるマルチメディア通信システムについて説明したが、この実施例１および実施例２の実施形態を組み合わせて実施してもよい。具体的には、受信側装置２０からの受信状況データ（ＡＣＫ（受信確認）、ＮＡＣＫ（受信未確認））に対応するパケットの再送用データを削除するとともに、各パケットに設定された優先度情報を考慮して再送用データ削除処理を実行する。
【００６８】
この他、本発明は、上記および図面に示す実施例に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものであり、上述した実施例で説明したマルチメディア通信システムにおけるその他変形実施例を下記にいくつか列挙する。
【００６９】
１）上記実施例２では、ＩフレームとＰフレームとを用いて説明したが、この他、Ｂフレームを加えてもよい。Ｂフレームについては、ＩフレームやＰフレームよりさらに優先度を低く設定し、最も削除され易くする。すなわち、未来のＩフレームを予測して、予測したＩフレームに基づいて優先度を設定する方式（上記実施例２参照）に加えて、フレームタイプによる優先度設定を組み合わせる。
【００７０】
２）上記１）に加えて、Ｂフレームを加えた場合には、Ｂフレームは、消失したとしても画質への影響が非常に小さいため、送信データバッファ１１内に格納せずに、Ｂフレームを始めからバッファ内に書き込まないようにしてもよい。
【００７１】
３）上記２）に加えて、ある所定の優先度以下のパケットについては、バッファの状況にかかわらず、送信データバッファ１１に書き込まないようにしてもよい。
【００７２】
４）Ｈ．２６４などの符号化方式では、他のフレームを再構成するために必要な被参照フレームと、どのフレームの再構成にも依存しない未参照フレームとが存在する。この場合、前者の被参照フレームの優先度を高くし、未参照フレームの優先度を低くする。さらに、この方式に、未来のＩフレームを予測して、予測したＩフレームに基づいて優先度を設定する方式（上記実施例２参照）と、フレームタイプによる優先度設定方式とを組み合わせてもよい。
【００７３】
５）送信データバッファ１１に格納しようとするデータが、既に送信データバッファ１１に保持されたデータよりも優先度が低い場合には、送信データバッファ１１内のデータは削除せずに、格納しようとするデータ自身を破棄してもよい。
【００７４】
６）パケットのデータサイズが可変の場合、パケットが使用するデータサイズが大きいものから優先して削除するようにしてもよい。但しこの場合、送信データバッファ１１の構成により削除処理を適宜変更する。
【００７５】
例えば、１パケットの取り得る最大サイズ分のバッファ領域を各パケットに対し確保するような構成を採る送信データバッファ１１の場合には、パケットのデータサイズに関係なく、パケットを格納するときに使用されるデータサイズは、同一となるため、この場合は、パケットのデータサイズにより、優先して削除処理を行わない。
【００７６】
７）上記６）に加えて、パケットのデータサイズに応じてバッファ領域を確保する（バッファ領域に冗長性なし）構成を採る送信データバッファ１１の場合には、例えば、Ｉフレームのデータ量は、Ｐフレーム等に比べて非常に大きくなる傾向が強いため、単純にＰフレームを削除しただけでは、削除した領域にＩフレームを記録できないという問題が生じる恐れがある。そこで、フレームデータを削除する場合には、１フレームの最大サイズ以上のバッファ領域が空くように、複数のパケットを一括して削除する。
【００７７】
８）パーソナルコンピュータなどのファイルシステムとして採用されるＦＡＴのように、データを細切れに記録し、どの断片がどのデータのどの位置に当たるかをテーブルとして管理するような構成を採る送信データバッファ１１の場合には、１つずつのパケットの優先度だけで判断し、必要な個数分のパケットに対応する再送用データを削除する。この場合、パケットは連続して記録されている必要はなく、バッファ内に分散して記録されていてもよい。
【００７８】
９）上記実施例２では、パケットに対応する再送用データを削除するタイミングとして、送信データバッファ１１のバッファ領域が圧迫された場合を説明したが、この他、所定の閾値を設け、バッファ空き領域が、かかる閾値以下になったタイミングを、再送用データ削除タイミングとしてもよい。
【産業上の利用可能性】
【００７９】
本発明のマルチメディア通信システムおよび再送用データ削除方法は、音声、映像データ等のメディア情報の授受を行うマルチメディア通信システム全般に適用可能であり、特に、バッファ領域が比較的小さい携帯電話機、ＰＤＡ等に適用することにより有効利用することができる。
【図面の簡単な説明】
【００８０】
【図１】本発明に係わるマルチメディア通信システムの概略構成の一例を示す図である。
【図２】本発明に係わる再送用データ削除処理の概要を説明する図である（ＡＣＫ）。
【図３】本発明に係わる再送用データ削除処理の概要を説明する図である（ＮＡＣＫ）。
【図４】本発明に係わる送信側装置１０の動作を説明するフローチャートである。
【図５】実施例２に係わるマルチメディア通信システムの概略構成の一例を示す図である。
【図６】実施例２に係わる優先度設定処理の概要を説明する図である。
【図７】実施例２に係わる再送用データ削除処理の概要を説明する図である。
【図８】実施例２に係わる送信側装置１０の動作を説明するフローチャートである。
【符号の説明】
【００８１】
１０    送信側装置
１１    送信データバッファ
１２    データ送信部
１３    受信状況データ受信部
１４    データ破棄判定部
１５    データ破棄部
１６    優先度設定部
２０    受信側装置
２１    受信状況通知部
【図１】
2006279436.tif 000003
【図２】
2006279436.tif 000004
【図３】
2006279436.tif 000005
【図４】
2006279436.tif 000006
【図５】
2006279436.tif 000007
【図６】
2006279436.tif 000008
【図７】
2006279436.tif 000009
【図８】
2006279436.tif 000010