(57)【要約】【課題】本発明は、再送要求信号や再送応答信号がパケットロスすることも考慮した誤り耐性の強いコンテンツ配信システムを提供する。【解決手段】パケット化したコンテンツデータを受信する受信手段１０１と、前記受信手段で受信したパケットデータの受信状態を解析する解析手段１０２と、結果から再送を要求すべきパケットデータがあるかどうか判定して当該パケットデータの再送要求信号を出力する再送制御手段１０４と、前記再送制御手段により判定された結果を保持しておく再送リスト手段１０５と、前記再送要求情報を送信側に送信する送信手段１０６と、前記受信手段で受信されたパケットデータを一時的に保持するバッファ手段１０３とを有することを特徴とする。【選択図】  図１
2005045469.tif 000002
【特許請求の範囲】
【請求項１】
パケット化されたマルチメディアコンテンツデータを受信する受信手段と、前記受信手段で受信したパケットデータの受信状態を解析する解析手段と、前記解析手段により解析された結果から再送を要求すべきパケットデータがあるかどうか判定して当該パケットデータの再送要求信号を出力する再送制御手段と、前記再送制御手段により判定された結果を保持しておく再送リスト手段と、前記再送制御手段により出力された再送要求情報を送信側に送信する送信手段と、前記受信手段で受信されたパケットデータを一時的に保持するバッファ手段とを有することを特徴とするマルチメディアコンテンツ受信装置。
【請求項２】
前記バッファ手段に保持されたパケットデータを復号する復号化手段と、復号されたマルチメディアコンテンツを出力する出力手段とを有することを特徴とする請求項１記載のマルチメディアコンテンツ受信装置。
【請求項３】
前記再送制御手段は、前回の再送要求信号を送信した時刻からパケットの往復時間を経過した後、当該再送要求に対する応答が得られない場合に、再度再送要求信号を出力するよう制御することを特徴とする請求項１または２記載のマルチメディアコンテンツ受信装置。
【請求項４】
前記再送制御手段は、最大再送回数を保持し、最大再送回数を越えないように、繰り返し再送要求信号を出力するよう制御することを特徴とする請求項１、２または３記載のマルチメディアコンテンツ受信装置。
【請求項５】
前記再送制御手段は、保持された最大再送回数と前記バッファ手段におけるパケットデータのバッファリング時間とから決定される再送要求間隔に基づいて再送要求信号を出力するよう制御することを特徴とする請求項４記載のマルチメディアコンテンツ受信装置。
【請求項６】
パケット化されたマルチメディアコンテンツデータを受信するステップと、受信したパケットデータの受信状態を解析するステップと、解析された結果から再送を要求すべきパケットデータがあるかどうか判定して当該パケットデータの再送要求信号を出力するステップと、前記再送要求信号出力ステップにより判定された結果を保持しておくステップと、前記再送要求情報を送信側に送信するステップと、前記受信されたパケットデータをバッファに一時的に保持するステップとを有することを特徴とするマルチメディアコンテンツ受信方法。
【請求項７】
前記バッファに保持されたパケットデータを復号するステップと、復号されたマルチメディアコンテンツを出力するステップとを有することを特徴とする請求項６記載のマルチメディアコンテンツ受信方法。
【請求項８】
前記再送要求信号出力ステップは、前回の再送要求信号を送信した時刻からパケットの往復時間を経過した後、当該再送要求に対する応答が得られない場合に、再度再送要求信号を出力することを特徴とする請求項６または７記載のマルチメディアコンテンツ受信方法。
【請求項９】
前記再送要求信号出力ステップは、最大再送回数を保持し、最大再送回数を越えないように、繰り返し再送要求信号を出力することを特徴とする請求項６、７または８記載のマルチメディアコンテンツ受信方法。
【請求項１０】
前記再送要求信号出力ステップは、保持された最大再送回数と前記バッファ手段におけるパケットデータのバッファリング時間とから決定される再送要求間隔に基づいて再送要求信号を出力することを特徴とする請求項９記載のマルチメディアコンテンツ受信方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は符号化された動画像、音声や静止画像を含むマルチメディアコンテンツをＩＳＤＮやインターネット等の有線通信網、あるいは携帯電話や無線ＬＡＮ等の無線通信網を用いて伝送する情報伝送方式およびその方法が適用されるマルチメディアコンテンツ受信装置及びマルチメディアコンテンツ受信方法に関する。
【０００２】
【従来の技術】
近年、動画像、静止画像、音声等のマルチメディアコンテンツを始めとする各種情報のディジタル符号化技術および広帯域ネットワーク技術の進展により、これらを利用したアプリケーションの開発が盛んになっており、圧縮符号化した画像などを、通信網を利用して伝送するシステムが開発されている。
【０００３】
特に近年、インターネット・イントラネットの普及により、データをパケット化して送受信するアプリケーションやシステムが増加してきている。パケット化は通信路の帯域を効率よく複数のユーザで共有するための非常に有効な手段となっている。インターネット・イントラネットでパケットデータを送受信するプロトコルとしてＴＣＰ／ＩＰやＵＤＰ／ＩＰなどが存在する。ＴＣＰ／ＩＰは再送などの枠組みが組み込まれていることから誤りなどに強く、多少時間がかかっても正しくデータを受信したいダウンロード型のアプリケーションで有効である。これに対し、ＵＤＰ／ＩＰは再送の枠組みがない反面、再送などにかかる遅延がなく、リアルタイム性を求められるアプリケーションには非常に有効である。
【０００４】
通常の動画像通信の場合、画像データは非常に膨大なデータ量であり、ネットワークの帯域に収まらない場合がほとんどである。その場合、画像データを符号化し、データ量を小さくしてから伝送するという手法が用いられる。動画像信号の圧縮符号化技術としては動き補償、離散コサイン変換（ＤＣＴ）、サブバンド符号化、ピラミッド符号化、可変長符号化等の技術やこれらを組み合わせた方式が開発されている。動画像符号化の国際標準方式としてはＩＳＯ  ＭＰＥＧ−１，  ＭＰＥＧ−２，  ＩＴＵ−Ｔ  Ｈ．２６１，  Ｈ．２６２，  Ｈ．２６３が存在し、また動画像、音声・オーディオ信号を圧縮した符号列や他のデータを多重化する国際標準方式としてはＩＳＯ  ＭＰＥＧシステム、ＩＴＵ−Ｔ  Ｈ．２２１，  Ｈ．２２３が存在する。
【０００５】
インターネット等は無数のネットワークを介して繋がっており、どのネットワークがどういう状況になっているかわからないのが普通である。また、そこに流れているデータ量が時々刻々と変動するため、どのくらいのデータがリアルタイムで通信できるかを判定する仕組みが必要である。そこで、ＵＤＰ／ＩＰを利用したリアルタイムアプリケーションからさらに一歩進み、パケットに時間情報等を付加して伝送するＲＴＰというパケットフォーマットを使用するアプリケーションが増えてきている。ＲＴＰを利用することで、パケットに時間情報およびパケット番号が付加され、受信側では正しい時間情報を用いて音声や画像を表示することが出来たり、ネットワークで順番が入れ替わったパケットなどを判定したり、パケット番号を見ることでパケットが損失していることを検出すること等が出来るようになった。しかも、ＲＴＰには送信側や受信側から補足情報としてジッタやパケット損失率などを通知する仕組み（ＲＴＣＰ）も備わっている。さらに、ＲＴＰパケットの再送を行う仕組み等も現在議論されている。この提案の中では、パケットの再送方式を提案している他、パケットに優先順位等を付加し、全てを再送しないようトラフィックの制御ができるような機能が加えられている。但し、この利用法についても特に規定がなされているわけではない。
【０００６】
また、ＩＥＴＦでは上記のような画像通信を確立するための送信端末・受信端末間のセッション管理プロトコルとしてＲＴＳＰが、さらに画像コンテンツの内容を記述するための言語仕様であるＳＤＰが規定されている。これにより、サーバ・クライアント間ではＲＴＳＰによりセッションの開始や、マルチメディアコンテンツの送信開始、一時停止やセッションの終了等の制御が可能となる。
【０００７】
このような状況の中、画像をインターネット・イントラネットで伝送する場合、ネットワークの帯域では生の画像伝送分の帯域を確保できないことから、前述のように画像信号をＭＰＥＧなどの符号化方式で圧縮をして送る必要がある。これはデータ量の減少には効果があるが、逆に不安定なインターネットにデータを流すことでのパケット損失や誤りの混入に対して非常にもろくなる。これは動画像符号化方式が前のフレームとの差分のみを送信することから、データの一部が欠落することが非常に大きな問題になる。ＵＤＰやＲＴＰを使った場合、基本的にデータの再送は行われないことからこの問題に対する対策が必要となる。
【０００８】
これに対応する目的で、ＲＴＰの再送に関しての規格制定がＩＥＴＦ（Ｔｈｅ  Ｉｎｔｅｒｎｅｔ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｔａｓｋ  Ｆｏｒｃｅ）で行われている。簡単に記述すると、ＡＶＰＦというプロトコルを使い、受信できなかったパケット番号を送信側にＮＡＣＫというコマンドで通知を行うようにする。送信側ではこのＮＡＣＫから消失したパケットを特定し、ＲＴＰ再送の規格に準じてヘッダを構成し、受信側へ送信する。さらに、ＲＴＰは主にリアルタイム通信に利用されることから、再送しても表示に間に合わないパケットは再送しないような制御を行ったりする技術も提案されている。
【０００９】
特許文献１に開示された受信装置の構成例を示す。送信側から送信されたパケットデータは受信部１６０１で受信されパケット解析部１６０２でパケットヘッダ等を読み取りパケット番号、タイムスタンプ等が取得される。この情報１６３２は通信路状態算出部１６０３でパケットロスや遅延量などが計算され通信路状態情報送信部１６０４によりＲＴＣＰ等を利用して送信側へ送信される。また、パケット解析情報１６３２と通信路状態情報１６３４は再送判定部１６０５に入力され、再送要求するかどうかの判定が行われる。パケットロスが発生したパケット番号等から前述したようなＮＡＣＫ信号１６３５を生成し、再送要求送信部１６０６で送信側へ通知する。一方受信されたパケットデータ１６３６はパケットバッファ部１６０７へ一時保管され、再送等で送られてくるパケットと併せて順番を調整した後、復号化部１６０８へ送られデータに応じた復号処理を行い、表示部１６０９で再生を行う。
【００１０】
しかし特許文献１に開示された構成においては、ネットワークの誤り率が高いときや、伝送遅延が大きいときに再送要求や再送応答自身が誤ってしまい、再送による誤り復帰の確率があまり高くならないという問題があった。
【００１１】
また、再送パケットが到着するまでに遅延があり、リアルタイム再生に間に合わない可能性があるため、再送を記録用途に利用することも提案されている。その際は、再送パケットをリアルタイムと同じ信頼性の低いＵＤＰで伝送するのではなく、信頼性のあるＴＣＰで伝送するようにする等の工夫がなされているものの、効率が悪いという問題があった。
【００１２】
【特許文献１】
特開２００２−８４３３８公報
【００１３】
【発明が解決しようとする課題】
従来の技術では、ネットワークのプロトコルとして、ＲＴＰのフィードバック情報（ＲＴＣＰ）や、再送制御（ＲＴＰ  Ｒｅｔｒａｎｓｍｉｓｓｉｏｎ）等が提案され規格化されてきたが、ＲＴＣＰや再送をどのように使用すべきかが提示されてこなかった。再送要求の発行の方法としては、従来例で示したように、リアルタイム再生に間に合わない再送パケットは伝送しないようにする工夫などがあるが、基本的に届かなかったパケットに対し再送要求を発行するというスタンスであった。
【００１４】
しかし、これでは、ネットワークの誤り率が高いときや、伝送遅延が大きいときに再送要求や再送応答自身が誤ってしまい、再送による誤り復帰の確率があまり高くならないという問題がある。
【００１５】
【課題を解決するための手段】
本願発明においては、パケット化されたマルチメディアコンテンツデータを受信する受信手段と、前記受信手段で受信したパケットデータの受信状態を解析する解析手段と、前記解析手段により解析された結果から再送を要求すべきパケットデータがあるかどうか判定して当該パケットデータの再送要求信号を出力する再送制御手段と、前記再送制御手段により判定された結果を保持しておく再送リスト手段と、前記再送制御手段により出力された再送要求情報を送信側に送信する送信手段と、前記受信手段で受信されたパケットデータを一時的に保持するバッファ手段とを有することを特徴とするマルチメディアコンテンツ受信装置を提供する。
【００１６】
また本願発明のマルチメディアコンテンツ受信装置において、前記バッファ手段に保持されたパケットデータを復号する復号化手段と、復号されたマルチメディアコンテンツを出力する出力手段とを有することを特徴とする。
【００１７】
また本願発明のマルチメディアコンテンツ受信装置において、前記再送制御手段は、前回の再送要求信号を送信した時刻からパケットの往復時間を経過した後、当該再送要求に対する応答が得られない場合に、再度再送要求信号を出力するよう制御することを特徴とする。
【００１８】
また本願発明のマルチメディアコンテンツ受信装置において、前記再送制御手段は、最大再送回数を保持し、最大再送回数を越えないように、繰り返し再送要求信号を出力するよう制御することを特徴とする。
【００１９】
また本願発明のマルチメディアコンテンツ受信装置において、前記再送制御手段は、保持された最大再送回数と前記バッファ手段におけるパケットデータのバッファリング時間とから決定される再送要求間隔に基づいて再送要求信号を出力することを特徴とする。
【００２０】
また本願発明においては、パケット化されたマルチメディアコンテンツデータを受信するステップと、受信したパケットデータの受信状態を解析するステップと、解析された結果から再送を要求すべきパケットデータがあるかどうか判定して当該パケットデータの再送要求信号を出力するステップと、前記再送要求信号出力ステップにより判定された結果を保持しておくステップと、前記再送要求情報を送信側に送信するステップと、前記受信されたパケットデータをバッファに一時的に保持するステップとを有することを特徴とするマルチメディアコンテンツ受信方法を提供する。
【００２１】
また本願発明のマルチメディアコンテンツ受信方法において、前記バッファに保持されたパケットデータを復号するステップと、復号されたマルチメディアコンテンツを出力するステップとを有することを特徴とする。
【００２２】
また本願発明のマルチメディアコンテンツ受信方法において、前記再送要求信号出力ステップは、前回の再送要求信号を送信した時刻からパケットの往復時間を経過した後、当該再送要求に対する応答が得られない場合に、再度再送要求信号を出力する。
【００２３】
また本願発明のマルチメディアコンテンツ受信方法において、前記再送要求信号出力ステップは、最大再送回数を保持し、最大再送回数を越えないように、繰り返し再送要求信号を出力することを特徴とする。
【００２４】
また本願発明のマルチメディアコンテンツ受信方法において、前記再送要求信号出力ステップは、保持された最大再送回数と前記バッファ手段におけるパケットデータのバッファリング時間とから決定される再送要求間隔に基づいて再送要求信号を出力することを特徴とする。
【００２５】
【発明の実施の形態】
（第１の実施形態）
図１は本発明の第１の実施形態に係るマルチメディアコンテンツ受信装置の基本構成図である。インターネット等の有線回線または携帯電話、ＰＨＳ、無線ＬＡＮ等の無線回線を経由して送信側から送信されてきた映像（動画、静止画）、音声、文字（テキストデータ）等のマルチメディアコンテンツデータは受信部１０１で受信される。受信データ１３１は、解析部１０２に入力され、受信されたマルチメディアコンテンツデータの種類、パケットヘッダなどを解析し、正しく受信できたか等を検証する。次にパケットヘッダ等の伝送上必要だった情報を取り除いたデータ１３２は、バッファ部１０３に送られ、その後、復号化部１０７で画像、音声等のデータが復号され、画像表示部や音声出力部を含む出力部１０８に出力される。
【００２６】
ここで、解析部１０２でパケット解析された結果、パケットの順序の不連続により、受信されるべきパケットが受信されなかった場合、特に受信されるべきパケットが消失している場合（パケットロス）には、再送制御部１０４に消失したパケット情報１３４を渡す。再送制御部１０４では、消失したパケット情報１３４から、消失したパケットの再送要求１３７を生成し、送信部１０６から伝送回線を経由して送信側に再送要求を送り出す。再送制御部１０４での再送情報１３５は、リスト部１０５に送られ、保存・管理される。再送制御部１０４では、リスト部１０５に保存された再送情報１３６を読み出し、新たに再送要求１３７を生成するかどうかの判断を行う。
【００２７】
本発明の特徴は、受信したパケットを解析する解析部を具備するだけでなく、消失パケットの情報、発行した再送要求情報、受信した再送パケットの情報などのうち少なくとも一つを保持するリスト部１０５を有していることにある。このリスト部１０５に蓄積された情報１３６を再送制御部１０４が読み出すことにより、再送要求を発行するかどうかの判断及び再送要求を発行するタイミング等を制御することができる。
【００２８】
第１の実施形態では、解析部１０２でパケットロスが発生したことを検出した場合に、その情報１３４を再送制御部１０４が受け取り再送要求１３７を作成し、送信側に送信する方式を説明したが、これとは異なり、伝送路でパケットロスが発生し、受信側でこれを検出した場合でも、再送制御部１０４で直ちに再送要求１３７を生成するのではなく、一旦リスト部１０５へ送り、リスト部からの出力１３６にだけ従って再送制御部１０４で再送要求１３７を作成する方法も可能である。一旦リスト部にパケットロスの情報を蓄えることで、再送要求を発行する時間間隔や、再送要求を送出する際に使用する伝送帯域を制御しやすくすることが可能となる。
【００２９】
また第１の実施形態において、解析部１０２でパケットの受信状態を観測することにより通信路の状態を推定、算出する機能を具備しても良い。この場合には受信側で推定、算出した伝送路の状態を、再送制御部１０４に転送し、送信部１０６から送信側へ伝えることも可能である。これにより送信側では、伝送路の状態を考慮してパケットの送信制御を行なうことができる。
【００３０】
ここで受信側から再送要求を送出する場合や、再送要求に応答して送信側から消失パケットの再送が行なわれる場合に、途中の伝送路、通信ネットワークの状況により更に再送されたパケットを受信することができず（パケットロス）、受信側で再送を要求したパケットを受信できない場合があります。そこで改良された受信側では、複数回再送要求を発行することをサポートする。
【００３１】
この機能を持つ再送制御部１０４の構成図を図２に示す。解析部１０２の受信パケットの解析結果情報１３４は、再送間隔算出部２０１に入力され、現在のネットワークの状態から再送要求を発行する時間間隔（△Ｔ）２３１を算出します。この値２３１は再送判定部２０２に入力され、リスト部１０５に蓄えられているパケットロス情報１３６と比較して、再送要求が再度必要かどうか判定を行なう。判定結果２３１を使い、再送要求生成部２０３で再送要求１３７を作成し、送信部１０６へ送る。
【００３２】
この再送制御部１０４の構成は、例であり解析情報１３４を再送判定部２０２にだけ入力し再送判定部２０２から再送間隔算出部２０１にデータを渡し再送間隔を計算するような構成も可能である。再送制御部で、パケットロスしたパケット情報とネットワークの遅延や、パケットロス率といった品質情報とから再送要求するかどうか判定する機能が実現できれば、本発明の効果を得るのにどのような構成でも可能である。
【００３３】
再送判定部２０２で行う再送要求を行うかどうかの判定方法の基本方法を示したフローチャートを図３に示す。
【００３４】
ステップ３０１では、リスト部１０５から得たパケットロスしたパケットの情報１３６（具体的には、パケットロスしたパケットのＩＤ（識別番号）、前回再送要求をしたときの時刻情報など）を取得する。次にステップ３０２により、現在の時刻から前回再送要求した時刻を引いたものが再送間隔算出部２０１で算出された再送間隔△Ｔより大きいかどうか判定する。時間間隔が大きい場合には、前回受信側から送信された再送要求が途中の伝送路の誤りにより送信側に届かなかったか、もしくは受信側からの再送要求は送信側に届いたものの、送信側から再送されたパケットが伝送路の混み具合、伝送路品質の劣化等により、受信側に届かず、再びパケットロスしたと判断する。そしてステップ３０３により再度再送要求を行う。一方、ステップ３０２の判定が偽の場合は、送信側からの再送応答が来るのを待つこととし、まだ所定の時間間隔△Ｔを経過するまで、受信側から再送要求は行わないよう制御する。
【００３５】
前回（１回目）の受信側からの再送要求や送信側からの応答がネットワーク等の誤りにより破棄され受信側に応答が帰ってこないと判断した後、受信側で再度（２回目の）再送要求を発行する場合、この判断する時間間隔の設定の仕方によっては、再度（２回目の）再送要求を行った後に、前回（１回目）の再送要求に対する応答が受信側に到達する場合も生じうる。その場合には、最後（２回目以降）の再送要求は無駄な要求になってしまう。この状況を示したタイムチャートを図４に示す。
【００３６】
例えば、送信側から送信したパケット＃ｎが受信側で受信できなかった場合を想定する。受信側では、パケット＃ｎ−１を受信後に、一定時間を経過してもパケット＃ｎを受信しなかったり、パケット＃ｎを受信する前にパケット＃ｎ＋１を受信してしまったりした場合に、パケット＃ｎが「消失した」と判定する。そして「パケット＃ｎを受信しなかったので再送して欲しい」旨の通知（再送要求）を送信側に通知する。ここで再送要求を送信後、パケット＃ｎを受信できないからといって、有意の時間を経過する前に再度再送要求を送信したのでは、送信側から再送されたパケット＃ｎと入れ違いになり、再度（２回目）の再送要求が無駄になる恐れがある。
【００３７】
このような場合にも、パケットの往復時間を推定して再送時間間隔△Ｔを制御することで、無駄なパケットの再送要求を抑制することが可能である。この方式を示した図を図５に示す。
【００３８】
通信プロトコルや特定のアプリケーションで、伝送路の行き来するパケットの往復時間を取得することができる場合がある。その場合には、これを利用し往復時間以上の時間を再送時間間隔△Ｔと設定することで実現することができる。例えばＲＴＰのようなプロトコルの場合、ＲＴＣＰを利用することで送信側ではパケット往復時間を計算することが可能であるが、パケットデータを受信するだけの受信側端末では、通常はパケットの往復時間の情報を取得できない。
【００３９】
そのため、送信側から別途パケット往復時間の情報を伝送してもらうか、パケットを送信していない状態でもＲＴＣＰの送信者情報（Ｓｅｎｄｅｒ  Ｒｅｐｏｒｔ：ＳＲ）を送りその応答を使ってパケット往復時間を算出する等の対応を行い、パケット往復時間を取得することが必要となる。これ以外の方法では、例えばＲＴＰ等のパケットに付加されている時刻情報（タイムスタンプ）と受信側で受け取った際の受信時刻の差からパケットの片道伝送時間を算出し、その２倍をパケット往復時間と仮定して往復時間を推定して、これを使用する方法も適用可能である。ネットワークによっては、往復の時間が異なる場合（上り下りの通信路の伝送速度が非対称の場合）もあり、その場合は２倍ではなく、ネットワークに適した値を使い往復時間の設定を調節することで対応可能である。
【００４０】
その他、パケット往復時間だけでなく、送信側で再送要求を受け取り、再送応答を送信するまでの処理遅延を考慮し、再送間隔を算出することも可能である。
【００４１】
この再送間隔の算出は、ネットワークの遅延時間が予め分かっている場合や、通信開始時点において最初に算出した値を固定的に使用することもできるが、ネットワークの状態が時間的に変動する場合には、パケットの受信毎に現在の状態を解析し、その時点にあった再送間隔を算出しなおすことにより、動的に再送間隔を決定する方式を採用することも可能である。算出するタイミングは、パケット受信毎でも、ある間隔単位で行うことも可能である。また、局所的な変動に強く左右されないように、以前のネットワークの状態を考慮した算出方法を採用することも可能である。
【００４２】
（第２の実施形態）
送信側から受信側に至るまでのネットワーク状態の解析から誤り率やパケットロス率が得られる場合、そのようなネットワーク情報に基づいて必要な再送回数を求めるようにする方式も可能である。これにより、再送後の品質をある程度要求仕様に沿った形にすることが可能となる。
【００４３】
かかる方式に対応した再送制御部１０４の基本構成図を図６に示す。本方式では、図６の構成では、図２の再送間隔算出部２０１に代わり再送回数算出部６０１を有するところが特徴となる。この再送回数算出部６０１は、解析部１０２によるパケットロスに関する解析結果情報１３４から、コンテンツの品質を保証するのに必要な再送要求の回数を算出する。必要再送回数情報６３１は再送判定部２０２に送られ、リスト部１０５にあるパケットロス情報１３６から再送要求判断２３２を行い、再送要求生成部２０３により再送要求１３７を生成し、送信部１０６から送信する。
【００４４】
更に再送間隔を決定する手段を同時に持つことで、算出された再送間隔に基づき、必要回数の再送を行うことが可能となる。この方式の基本構成図を図７に示す。
【００４５】
本方式では、再送間隔算出部２０１と再送回数算出部６０１が共存しており、夫々の出力である再送間隔情報２３１と再送回数情報６３１が再送判定部２０２に送られ、再送要求を行うかどうかの判定が行われる。
【００４６】
複数回の再送を行う際の送信側、受信側の手続の流れを図８に示す。この例では、送信側で送出したｎ番目のパケットが伝送路上でパケットロスしたと想定し、それに対する再送要求を送信する場合について説明する。一旦（１回目の）＃ｎパケットデータの再送早急信号を受信側から送出し、その後、受信側では推定された再送間隔の間待機して＃ｎのパケットデータの到着を待つ。そして推定された再送時間間隔を経過した後も＃ｎのパケットデータが受信されなかった場合には、＃ｎのパケットデータが未着であり、再度受信側に送信するよう２回目の再送要求信号を送信側に向けて送出する。更にこの例では、送信側から送出された２回目の再送応答（＃ｎのパケットデータ）も受信側において受信できず、再度（３回目）の再送要求を送信側に向けて送信し、これに対して送信側から送信された＃ｎのパケットデータを再送応答として受信している様子を示している。
【００４７】
通常、バッファ部１０３で受信されたデータを一旦蓄え、一定時間後に後段の復号化部１０７や出力部１０８に出力する。上記の方式は基本的に、このバッファ部１０３でデータを蓄えている時間（バッファリング時間）が（再送回数）×（再送間隔）よりも大きい（十分に長い時間）場合に有効である。もしも、この再送回数×再送間隔の値がバッファリング時間よりも大きい場合、そのままでは後ろの再送要求は復号や表示に間に合わず、受信できても使えない無駄なパケットとなってしまう。この例を図９に示す。受信側から２回に渡って再送要求をしたが送信側からの応答（＃ｎのパケットデータ）は受信側に到達せず、更に受信側からの３回目の再送要求に応答する形で送信された＃ｎのパケットデータは受信側に到達したものの、受信側で定めたバッファリング時間を超えて受信されたため、復号されることなく廃棄されたものである。
【００４８】
この問題を解決するために、バッファリング時間を考慮した再送間隔を制御する方式を次に説明する。本方式の基本構成図は図１０に示す。
【００４９】
解析部１０２からの消失パケットデータの解析結果情報１３４は再送間隔算出部２０１および再送回数算出部６０１に入力される。再送回数算出部６０１で算出された必要再送回数情報１０３１は再送間隔算出部２０１に入力される。再送間隔算出部２０１では、再送回数情報１０３１と解析部から得られたネットワークの状態情報１３４および本受信装置のバッファリング時間情報から再送間隔を算出する。例えば、数式１のような式により求めることができる。
（再送間隔）＝（バッファリング時間）／（再送回数）…数式１
この方式では、ネットワークの状態情報とは無関係に再送間隔の時間長さが設定されるが、必要な回数の再送をバッファリング時間内に行うことを保障することが可能となる。
さらに、最後の再送要求の応答がバッファリング時間内に戻ってくる必要があるため、この式を発展させ、数式２を用いることも出来る。
（再送間隔）＝（バッファリング時間−パケット往復時間）／（再送回数）…数式２
ここで、パケット往復時間としては前述したように、実際に計測された値のほかに、送信側の処理時間を含めた値、片道のパケット伝送時間から推定した値等を利用することができる。このようにバッファリング時間を考慮して再送間隔を制御する方式の例を図１１に示す。
【００５０】
図１１では、＃ｎのパケットデータが消失して受信できなかった場合に、受信側のバッファリング時間内に＃ｎが到着するように、伝送路状態が悪い場合を想定して最大３回まで再送要求を送信側に向けて送信することができるように、１回目、２回目の再送要求信号に対する応答を待つことなく（到着するか否かに拘わらず）、３回に分けてバッファリング時間内で均等に再送要求を送信する例を示す。
【００５１】
さらに、何度目の再送要求かによって再送間隔を変える方式も適応可能である。この方式を実現する基本構成図を図１２に示す。
【００５２】
再送間隔算出部２０１では、再送回数情報１０３１と解析部から得られたネットワークの状態情報１３４及び本受信装置のバッファリング時間情報に加え、何度目の再送要求であるか、伝送路誤りが無い場合の（正常な）パケット受信からの経過時間、現在バッファ部１０３から出力されているデータの時刻情報やパケット番号情報等の値のうち再送間隔算出に必要な値１２３１を受け取る。これにより、その時点のネットワークの状態に最も適している再送間隔を算出することができ、無駄な再送要求等を少なくすることが可能となる。
【００５３】
再送制御部１０４、特に再送判定部での動作フローチャートを図１３に示す。ステップ１３０１では、解析部１０２で解析された受信パケットデータに関するネットワーク状態情報（例えば受信されたパケットデータの受信時間、受信できなかったパケットデータのＩＤ：識別番号など）、特にパケットロス率（消失したパケットデータの比率）を利用して必要な再送回数を算出する。
【００５４】
ステップ１３０２では、算出された必要な再送回数から再送間隔△Ｔを求める。その際、上記で説明したように、伝送路の状態に拘わらず時間間隔を算出することも可能であるし、受信側で許容できる遅れ時間や受信側のバッファリング時間、再送要求パケットを受信側が送出してからその要求したパケットデータが届くまでに通常かかる時間（パケット往復時間）などを考慮して算出することも可能である。
【００５５】
ステップ１３０３では、リスト部１０５からリスト部に消失パケットデータに関するパケットロス情報が存在するかどうか判定する。パケットロス情報がある場合、ステップ１３０４でパケット情報をリストから取得する。リスト部１０５にパケットロス情報が無い場合には、再送要求処理を終了する。
【００５６】
ステップ１３０５では、現在時刻と前回再送要求時刻との差が再送要求間隔△Ｔより大きいかどうかの判定を行う。ステップ１３０５が真と判定された場合（現在時刻と前回再送要求時刻との差が再送要求間隔△Ｔより大きい場合）は、ステップ１３０６により再度再送要求を行う。ステップ１３０５で偽（現在時刻と前回再送要求時刻との差が再送要求間隔△Ｔより大きくない）と判定された場合はそのままこの単位での処理が終了し、必要に応じて次の再送判定処理を行なう。
【００５７】
本フローチャートで示した処理の他にも、これ以外の方法、例えばパケットロスがあるかどうかの判定を行うステップ１３０３をこの処理の先頭で行い、パケットロスが無ければ何もせずに次の判定にうつるなどの判定方法も可能である。
【００５８】
この判定方法についてはそのほかの変形例として、予め再送回数または再送間隔の少なくともどちらか一方に最大値、最小値のうち少なくともどちらか一方の値を決めておき、算出結果がこの範囲を超えた場合には、その値に強制的に設定しなおす方法がある。これにより、極端な再送回数や再送間隔を防ぎ、システムが安定的に動作するのを保証することが可能になる。
【００５９】
本発明で行っている再送回数の算出方法としては、ネットワークの誤り率を計測し、再送後の目標誤り率にするために何回再送すればよいか計算することで求める方法が有効である。これにより、バッファ部１０３から出力されるデータの品質を保つことが可能となる。
【００６０】
再送間隔については、前述したように数式１や数式２を使った固定間隔方法が利用しやすい。しかし、周期的に誤りが入る環境や、パケット往復時間より短い再送間隔になってしまった場合に、効果が上がらなかったり、無駄な再送要求が多くなってしまったりする可能性がある。そこで、再送要求間隔を非等間隔にする方式を用いることも可能である。
【００６１】
再送間隔を非等間隔にする方式として、乱数を乗算し再送間隔を求める方法がある。例えば、求めた再送間隔に対し、０．５から１．５の間の乱数を乗算した値を再送間隔として利用する方法である。
【００６２】
これ以外に、最初（再送要求の回数が少ない）の方の再送要求の時間間隔を長めに設定し、後ろ（再送要求の回数が多い、バッファリング時間の終了直前）における再送要求の時間間隔を短くする方式も効果的である。本方式の再送間隔算出方法例を図１４のフローチャートで示す。
【００６３】
ある時点において、あるパケットがバッファ部１０３に受け入れられてから出力されるまでの時間をそのパケットのバッファ残留時間と呼ぶとすると、まずステップ１４０１において「バッファ残留時間とパケット往復時間との差」がパケット往復時間よりも大きいかどうか判定する。バッファ残留時間とパケット往復時間との差がパケット往復時間よりも大きい場合は、ステップ１４０２に進みます。ステップ１４０２では、再送間隔としてパケット往復時間を利用します。これによりパケット往復時間（平均的に再送要求を送信してからその要求したパケットデータが受信側に到達するまでの時間）を待って、新たな再送要求を行なうことができるので、受信側に到着する可能性のあるパケットデータの到着を確認してから再送要求を実施することができる。よって無駄な再送要求を回避することができるというメリットがある。
【００６４】
一方、ステップ１４０１において、バッファ残留時間とパケット往復時間との差がパケット往復時間よりも短い場合には、バッファ残留時間をその時点で送出されていない、残りの必要な再送要求の回数で割った時間を再送要求の時間間隔として設定します。この再送間隔算出方法の動作を示した図を図１５に示します。
【００６５】
図１５図によれば、バッファリング時間の当初や再送要求の回数が少ない時点では、可能な限りパケット往復時間を用いて再送間隔を制御すると共に、パケット往復時間で制御できなくなった時点（すなわちパケット往復時間を待っているとバッファリング時間を過ぎて受信されるべきパケットデータが利用されなくなってしまう場合）で、残りの必要な再送回数分の再送要求をまとめて発行する。この方法により最終的な誤り率を目標値まで下げながら、再送要求当初における無駄な再送要求を減らし、ネットワーク全体として伝送帯域を無駄に使用しないようにすることが可能となる。
【００６６】
これを一般化した場合を以下に示す。ｎ回目の再送要求時の誤り率をｅ（ｎ）、最終的な誤り率の目標値をｅｆｉｎａｌとした場合の必要最大再送回数をＮｒｔｘと定義する。オリジナルのパケット数を１とした場合の再送要求パケット率は、数式３で求めることができる。
【００６７】
【数１】
2005045469.tif 000003
【００６８】
再送による冗長量を最小に抑えるためには、この数式３の再送要求パケット率を最小にする必要がある。ここで、ｎ回目の再送要求時の誤り率ｅ（ｎ）は、時刻ｔによって変化する値とみることができる。そのため、数式３の再送要求パケット率を最小にするｔの値を各再送要求に対し算出することで、最小の冗長量で目標とする最終誤り率を得ることが可能となる。
【００６９】
本発明の第１の実施例および第２の実施例では、ＲＴＰにおけるＲＴＣＰのような制御信号も受信部１０１で受信を行い、解析部１０２で判別を行ってネットワークの状態判定に用いているが、データの受信と制御信号の受信を別々に行ったり、データの解析を別々の解析手段に行ったりするなどの変形も可能である。
【００７０】
【発明の効果】
本発明を用いることにより、パケットロスなどの誤りに対し再送を使ってデータを復元するシステムにおいて、再送要求や再送応答が誤った場合にも、複数回の再送により対応可能なシステムが提供可能となる。また、再送要求間隔や再送回数を制御することで、冗長を抑えて品質を確保する再送対応マルチメディアコンテンツ配信システムを提供することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態におけるマルチメディアコンテンツ受信装置基本構成図
【図２】本発明の第１の実施形態における再送制御部の基本構成図
【図３】本発明の第１の実施形態における再送判定部の判定例を説明するフローチャート図
【図４】無駄な再送要求が発生する場合の例
【図５】本発明の再送間隔算定方法として再送間隔にパケット往復時間を利用する場合の図
【図６】本発明の第２の実施形態における再送制御部の基本構成図
【図７】本発明の第２の実施形態における再送制御部に対し再送間隔制御機能を追加した方式の構成図
【図８】本発明により複数回の再送要求を実施した場合の動作を示す図
【図９】複数回の再送要求とバッファリング時間の関係を表す図
【図１０】本発明の第２の実施形態における再送制御部に対し再送間隔制御機能を追加した方式の構成図２
【図１１】本発明によるバッファリング時間内で必要再送回数を実現する方式を示した図
【図１２】本発明の第２の実施形態における再送制御部に対し再送間隔制御機能を追加した方式の構成図３
【図１３】本発明の第２の実施形態における再送判定部の判定例を説明するフローチャート図
【図１４】本発明の第２の実施形態における再送間隔算出部での冗長量を考慮した再送間隔算出方法を説明するフローチャート図
【図１５】本発明の第２の実施形態における再送間隔算出部での冗長量を考慮した再送間隔算出方法による動作を示す図
【図１６】従来の再送制御に対応したマルチメディアコンテンツ受信装置基本構成図
【符号の説明】
１０１…受信部
１０２…解析部
１０３…バッファ部
１０４…再送制御部
１０５…リスト部
１０６…送信部
１０７…復号化部
１０８…出力部
【図１】
2005045469.tif 000004
【図２】
2005045469.tif 000005
【図３】
2005045469.tif 000006
【図４】
2005045469.tif 000007
【図５】
2005045469.tif 000008
【図６】
2005045469.tif 000009
【図７】
2005045469.tif 000010
【図８】
2005045469.tif 000011
【図９】
2005045469.tif 000012
【図１０】
2005045469.tif 000013
【図１１】
2005045469.tif 000014
【図１２】
2005045469.tif 000015
【図１３】
2005045469.tif 000016
【図１４】
2005045469.tif 000017
【図１５】
2005045469.tif 000018
【図１６】
2005045469.tif 000019