(57)【特許請求の範囲】
【請求項１】
マルチメディアオーディオ／ビジュアル情報を再生順に有し、エンドツーエンドの全遅延（ＴＥＤ）と累積ネットワーク遅延（ＣＮＤ）を含む総遅延情報（ＴＤＩ）が挿入されたマルチメディアパケットを、パケットベースの通信ネットワークを通じて受信するマルチメディアレシーバにおいて、
受信したマルチメディアパケットを蓄積するバッファと、
該バッファから蓄積したマルチメディアパケットを検索し該マルチメディアパケットを前記再生順に配列するためのシーケンス手段と、
該シーケンス手段により検索し配列したマルチメディアパケットを送信元から送出後ＴＥＤの時間に再生するための再生機構と、
マルチメディアサーバ、ルータ、ゲートウェイのいずれかに対して、前記受信したマルチメディアパケット内のＴＤＩより大きいＴＤＩを要求する手段とを含むことを特徴とするマルチメディアレシーバ。
【請求項２】
マルチメディアオーディオ／ビジュアル情報を再生順に有するマルチメディアパケットを生成し、該マルチメディアパケットをパケットベースの通信ネットワークを通じて複数の目的地に伝送するマルチメディアサーバと、マルチメディアレシーバと、を備えたシステムであって、
前記マルチメディアサーバは、エンドツーエンドの全遅延（ＴＥＤ）と累積ネットワーク遅延（ＣＮＤ）を含む総遅延情報（ＴＤＩ）を前記マルチメディアパケットに挿入する挿入手段を含み、
前記マルチメディアレシーバは、前記マルチメディアサーバから受信したマルチメディアパケット内のＴＤＩより大きなＴＤＩを、前記マルチメディアサーバに要求する手段を含み、
前記マルチメディアサーバは、前記マルチメディアレシーバから、前記挿入手段で挿入したＴＤＩより大きいＴＤＩが要求されたときに、前記挿入手段で、前記大きいＴＤＩをマルチメディアパケットに挿入させる手段をさらに含むことを特徴とするシステム。
【請求項３】
前記マルチメディアサーバは、マルチメディアパケットが生存可能なパケットであるか、または、マルチメディアパケットが生存不可能なパケットであるかを決定する手段をさらに含み、該生存不可能なパケットを破棄することを特徴とする請求項２に記載のシステム。
【請求項４】
マルチメディアオーディオ／ビジュアル情報を再生順に有するマルチメディアパケットを、パケットベースの通信ネットワークを通じて複数の目的地に伝送するルータと、マルチメディアレシーバと、を備えたシステムであって、
前記ルータは、エンドツーエンドの全遅延（ＴＥＤ）と累積ネットワーク遅延（ＣＮＤ）を含む総遅延情報（ＴＤＩ）を前記マルチメディアパケットに挿入する挿入手段を含み、
前記マルチメディアレシーバは、前記ルータから受信したマルチメディアパケット内のＴＤＩより大きなＴＤＩを、前記ルータに要求する手段を含み、
前記ルータは、前記マルチメディアレシーバから、前記挿入手段で挿入したＴＤＩより大きいＴＤＩが要求されたときに、前記挿入手段で、前記大きいＴＤＩをマルチメディアパケットに挿入させる手段をさらに含むことを特徴とするシステム。
【請求項５】
前記ルータは、マルチメディアパケットを複写する複写手段をさらに含み、ＴＤＩを該複写手段により複写した各マルチメディアパケットに挿入することを特徴とする請求項４に記載のシステム。
【請求項６】
前記ルータは、マルチメディアパケットが生存可能なパケットであるか、または、マルチメディアパケットが生存不可能なパケットであるかを決定する手段をさらに含み、該生存不可能なパケットを破棄することを特徴とする請求項４又は５に記載のシステム。
【請求項７】
マルチメディアオーディオ／ビジュアル情報を再生順に有するマルチメディアパケットを、自身が属するパケットベースのローカルエリアネットワーク（ＬＡＮ）内の複数のマルチメディアレシーバに伝送するゲートウェイと、マルチメディアレシーバと、を備えたシステムであって、
前記ゲートウェイは、エンドツーエンドの全遅延（ＴＥＤ）と累積ネットワーク遅延（ＣＮＤ）を含む総遅延情報（ＴＤＩ）を前記マルチメディアパケットに挿入する挿入手段を含み、
前記マルチメディアレシーバは、前記ゲートウェイから受信したマルチメディアパケット内のＴＤＩより大きなＴＤＩを、前記ゲートウェイに要求する手段を含み、
前記ゲートウェイは、前記マルチメディアレシーバから、前記挿入手段で挿入したＴＤＩより大きいＴＤＩが要求されたときに、前記挿入手段で、前記大きいＴＤＩをマルチメディアパケットに挿入させる手段をさらに含むことを特徴とするシステム。
【請求項８】
前記ゲートウェイは、マルチメディアパケットが生存可能なパケットであるか、または、マルチメディアパケットが生存不可能なパケットであるかを決定する手段をさらに含み、該生存不可能なパケットを破棄することを特徴とする請求項７に記載のシステム。
【請求項９】
リアルタイムマルチメディアコンテンツを伝送し同期化する方法において、
マルチメディアオーディオ／ビジュアル情報を複数のマルチメディアパケットにローディングするステップと、
エンドツーエンドの全遅延（ＴＥＤ）と累積ネットワーク遅延（ＣＮＤ）を含む総遅延情報（ＴＤＩ）を少なくとも１つの前記マルチメディアパケットに挿入する挿入ステップと、
複数のマルチメディアレシーバに前記マルチメディアパケットを再生順にパケットベースの通信ネットワークで伝送するステップと、
伝送期間においてＣＮＤ＞ＴＥＤであれば何時でもそのマルチメディアパケットを破棄するステップと、
各マルチメディアレシーバに前記マルチメディアパケットを一時保管するステップと、
前記マルチメディアパケットを再生順に呼び出すステップと、
前記マルチメディアパケットをＴＥＤの時点で各マルチメディアレシーバで再生するステップと、
前記マルチメディアレシーバが、ＣＮＤ＞ＴＥＤであればＴＥＤの値を増大させる要求を行うステップと、
を含むことを特徴とするリアルタイムマルチメディアコンテンツを伝送し同期化する方法。
【請求項１０】
前記挿入ステップは、１つのマルチメディアサーバにおけるＴＤＩの挿入を含むことを特徴とする請求項９に記載のリアルタイムマルチメディアコンテンツを伝送し同期化する方法。
【請求項１１】
前記挿入ステップは、前記パケットベースの通信ネットワークに設けられた１つのルータにおけるＴＤＩの挿入を含むことを特徴とする請求項９に記載のリアルタイムマルチメディアコンテンツを伝送し同期化する方法。
【請求項１２】
前記挿入ステップは、前記パケットベースの通信ネットワークと１つのマルチメディアレシーバとの間に設けられたローカルエリアネットワーク（ＬＡＮ）に設けられているゲートウェイにおけるＴＤＩの挿入を含むことを特徴とする請求項９に記載のリアルタイムマルチメディアコンテンツを伝送し同期化する方法。
【請求項１３】
複数のマルチメディアレシーバにマルチキャストするためにマルチメディアパケットを複写するステップを含み、該ステップは、ＴＤＩを幾つかの前記複写されたマルチメディアパケットに挿入することを含むことを特徴とする請求項９に記載のリアルタイムマルチメディアコンテンツを伝送し同期化する方法。
【請求項１４】
マルチメディアパケットが生存可能なパケットであるか、又は、生存不可能なパケットであるかを決定するステップと、生存不可能なパケットを破棄するステップとをさらに含むことを特徴とする請求項９〜１３のいずれか１項に記載のリアルタイムマルチメディアコンテンツを伝送し同期化する方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、リアルタイムマルチメディアコンテンツを伝送し同期化するシステム及び方法に関し、より詳細には、マルチメディア装置例えばモニタ及びオーディオシステムにより再生される際のマルチキャストにより配信されたメディアコンテンツを同期化するための、リアルタイムマルチメディアコンテンツを伝送し同期化するシステム及び方法に関する。
【０００２】
【従来の技術】
集会及び展示場のような状況においては、マルチビデオモニタで同期化した同一の動画コンテンツを再生することが要求される。一般には、個別に配置したモニタとスピーカ間の音声と動画を同期化させることが要求される。現在のリアルタイムメディア伝送技術は、サービス品質（ＱｏＳ）が保証されないパケットネットワークを介してオーディオ／ビデオストリームを妥当な品質で、より高品質のネットワークに比べて安い価格で伝送することを可能にしている。かように、複数のレシーバにパケットネットワークにより配信したマルチメディアコンテンツを同期化して再生することが要求される。
【０００３】
図３は、パケットネットワークを使用する、従来技術によるマルチメディアコンテンツの配信システムを示す図で、図中１０は配信システムを示している。マルチメディアサーバ１２は、マルチメディアオーディオ／動画コンテンツを含むマルチメディアパケット１４のストリームを生成する。通常、サーバ又はソース（情報発生源）１２は、例えば２０ｍｓ毎に１パケットの一定速度（パケットレート）でマルチメディアパケットを生成する。パケットのサイズは、マルチメディアのコーディックに依存し、固定又は可変サイズのパケットを生成することになる。生成されたマルチメディアパケットは、複数のルータすなわちノード１８，２０，２２，２４，２８，３０を有するパケットネットワーク１６を介して伝送され、マルチメディアレシーバ３２，３４，３６，３８に配信される。複数の装置に配信する伝送機構は、“マルチキャスト”として知られている。サーバからのマルチメディアコンテンツの受信を望む全てのレシーバは、１つのマルチキャストグループに入る。パケットネットワーク１６内のルータはこのマルチキャストグループを知っており、受信したマルチメディアパケットを複数ルートに伝送する。各レシーバはスピーカ及び／又は動画ディスプレイを装備しており、受信したマルチメディアパケット中のコンテンツをリアルタイムで再生する。マルチメディアレシーバは、受信したマルチメディアパケットを或る期間一時保管して、ネットワークにより生じた遅延差を吸収しマルチメディアパケットを正しい順序で再生する。
【０００４】
ＩＰネットワークのような従来のパケットネットワークの場合、複数パケットは各ルータで待ち行列を形成する。パケットの待ち時間は、特定ルータが処理する通信量により異なる。従って、各マルチメディアレシーバに配信された各マルチメディアパケットは予測不能の遅延を持ち得る。その結果、オーディオ／動画コンテンツは、複数の場所で同期化せずに再生される。
【０００５】
前述のように、リアルタイムマルチメディア伝送技術は、現在、サービス品質（ＱｏＳ）を保証しないパケットネットワークを介して妥当な品質で伝送することを可能にしている。無線データネットワークのような帯域を制限された通信チャネルによりデータを伝送するモバイルインターネットのアクセスが増大するに従い、最小の帯域を要するリアルタイムでメディアパケットを伝送する技術が必要となり、その重要性が益々増大している。
【０００６】
図４は、パケットベースのリアルタイムメディア伝送システムを示す図で、図中４０はリアルタイムメディア伝送システムを示している。マルチメディアソース又はサーバ４２は、オーディオ／動画のマルチメディアコンテンツを有するマルチメディアパケット４４をパケットネットワーク４６に周期的に伝送する。パケットネットワーク４６において、各マルチメディアパケットは複数のネットワークノードすなわちルータ４８，５０，５２，５４によりレシーバ５６に向け配信される。各マルチメディアパケットは、レシーバ５６で再生されるためのタイミングをセットするために用いられるタイミング情報を含んでいる。図３中の複数のルータとレシーバは、簡明にするために図４には示していない。
【０００７】
パケットネットワーク４６は各マルチメディアパケットの配信における遅延時間に差を生じる。さらに、ネットワーク４６は伝送時と同じ順序でマルチメディアパケットを配信することを保証しない。かように、レシーバはバッファを装備して、マルチメディアパケット受信における遅延差及び／又は順序の不同に対処する。しかしながら、コンテンツのリアルタイムプロパティにより、レシーバは受信したマルチメディアパケットを、着信時の遅延時間が或る特定の値を超えるか、或は、再生予定時間までに着信しなければ破棄することになる。
【０００８】
図５は、レシーバで受信して再生するパケットの一例を示す図である。各パケットはタイミング情報を含んでいる。ラインＩは、サーバ４２により順次に伝送された７つのマルチメディアパケットを示す。ラインIIは、レシーバでマルチメディアパケットを受信した順序を示している。ラインIIIは、レシーバでの再生順序を示している。図５は、タイミング情報３を持つマルチメディアパケットを過度の遅延により破棄することを示している。基本的に、従来技術のパケットネットワークにおけるルータは、パケットの伝送及び受信時の遅延に気付かず、パケット伝送の順序変更にも気付くことがない。かように、各ルータは、マルチメディアパケットがレシーバで再生される機会を持たない場合でも各受信したリアルタイムマルチメディアパケットを、次のルータ又はレシーバに再度送信する。２つのルータ間の物理的なリンク又はレシーバと近隣のルータ間の物理的なリンクが制限された帯域を有する場合、レシーバ側で破棄されるマルチメディアパケットの伝送は、リンクの貴重な帯域のかなりの部分を無駄に使用することになる。遅延と順序変更は、マルチメディアパケットをルータ４８からルータ５０とルータ５２を介しルータ５４へ、又はルータ４８から直接ルータ５４へと経路を可変にすることにより説明される。
【０００９】
１９８５年３月１９日付けでＭｏｎｔｇｏｍｅｒｙの“パケット交換システム用タイムスタンピング（Time stamping for a packet switching system）”に対し付与された米国特許第４，５０６，３５８号の明細書には、パケットネットワークにおけるネットワークの遅延を測定する方法が記載されており、各パケットに累積ネットワークの遅延と各ネットワークノードにおける各パケットの着信と再伝送のタイムスタンプとを示す情報フィールドを含ませ、各パケットに対するネットワークの各ノードにおける情報フィールドを更新して各ノードにおいて発生する遅延、即ち、再伝送時間と着信時間の差を加算することが開示されている。
【００１０】
１９８５年７月１６日付けでＣｒｏｋｅｔｔの“パケット交換システムにおけるリアルタイムクロックの同期化（Synchronization of real-time clocks in a packet switching system）”に対し付与された米国特許第４，５３０，０９１号の明細書には、Ｘ．２５（ＣＣＩＴＴ）ネットワークを介しスタンダードリアルタイムクロックに遠隔リアルタイムクロックを同期させる手段が記載されているが、マルチメディアストリームを同期させる方法を教示又は示唆しておらず、パケットネットワークに生じるネットワーク遅延を考慮していない。
【００１１】
１９９０年４月１７日付けでＢｕｓｔｉｎｉ他の“ディジタルパケット交換ネットワーク（Digital packet switching networks）”に対し付与された米国特許第４，９１８，６８７号の明細書には、ネットワーク内のノード列でボイスパケット（音声パケット）をクリッピングする必要がある場合に、クリッピングに適していることを示す内容を持つ音声パケットをクリッピングすることにより、連続したパケットの損失を避ける方法が記載されている。
【００１２】
１９９５年７月１１日付けでＨｌｕｃｈｙｊ他の“遅延に係わるサービス品質を保証するパケット指向通信ネットワークにおけるノード間リンク帯域の割り当て方法（Method for allocating internodal link bandwidth in a packet oriented communication network to guarantee delay quality-of-service）”に対し付与された米国特許第５，４３２，７９０号の明細書には、予定のエンドツーエンドの遅延に係わるサービス品質（ＱｏＳ）を維持するために統計学的な利得（ゲイン）を提供し、最悪時の最大遅延と最悪時の平均遅延を保証するようにノード間リンクに帯域を割り当てる方法が記載されている。
【００１３】
１９９５年８月２２日付けでＲｉｄｄｌｅの“リアルタイムデータ移送用プロトコル（Protocol for transporting real time data）”に対し付与された米国特許第５，４４４，７０９号の明細書には、タイミングがずれて受信されたデータを破棄することによりリアルタイムデータ伝送の等時性を維持する方法が記載されている。
【００１４】
１９９５年９月１２日付けでＧｒｕｂｅｒ他の“電話通信ネットワークの遅延の監視（Delay monitoring of telecommunication networks）”に対し付与された米国特許５，４５０，３９４号の明細書には、ネットワーク通過時間の往復遅延の測定手段が記載されているが、マルチメディアの伝送と同期化のために知る必要がある遅延は１方向のネットワーク遅延である。
【００１５】
１９９６年９月１７日付けでＳａｍｐａｔ他の“動画、オーディオ及び／又はテキストストリームを有するチャネルを選択・再生するユーザインタフェース、その方法及び装置（User interface,method,and apparatus selecting and playing channels having video,audio,and/or text streams）”に対し付与された米国特許第５，５５７，７２４号の明細書には、マルチメディアストリームを再生するためのコンピュータシステム内ユーザインタフェースが記載されている。
【００１６】
１９９７年１月１４日付けでＳｕｎｇ他の“マルチメディアシステム用のプログラム可能なオーディオ／動画同期化方法及び装置（Programmable audio-video synchronization method and apparatus for multimedia systems）”に対し付与された米国特許第５，５９４，６６０号の明細書には、オーディオ／動画ストリームを単一ネットワークベースのレシーバに同期して再生する手段が記載されている。
【００１７】
１９９７年１月２８日付けでＲａｓｅｎａｕ他の“ＭＰＥＧ再生システムにおけるオーディオ／動画同期化方法及び装置（Method and apparatus for audio and video synchronizing in MPEG playback systems）”に対し付与された米国特許第５，５９８，３５２号の明細書には、オーディオ／動画ストリームを単一ネットワークベースのレシーバに同期して再生する手段が記載されている。
【００１８】
１９９７年４月２２日付けでＡｇａｗａｌ他の“ネットワーク化したマルチメディアストリーム用の同期化システム（Synchronization system for networked multimedia streams）”に対し付与された米国特許第５，６２３，４８３号の明細書には、統計的ネットワーク遅延分布からエンドツーエンドの全遅延を計算し、各サーバ及び各レシーバに配置された同期クロックを介して異なるソースからの２つのメディアストリームの同期を決定するレシーバ用手段が記載されている。
【００１９】
１９９７年５月１３日付けでＬｅｅ他の“パケットバッファにおける逐次パケットロス制御（Control of consecutive packet loss in a packet buffer）”に対し付与された米国特許第５，６２９，９３６号の明細書には、所望のパケットギャップに基いてパケットをドロッピングして逐次パケットの損失を制御する方法が記載されている。
【００２０】
１９９７年１０月７日付けでＫａｒｏｌ他の“リアルタイムトラフィックに対する保証帯域配信を持つ最小遅延システム（Delay-minimizing system with guaranteed bandwidth delivery for real-time traffic）”に対し付与された米国特許第５，６７５，５７３号の明細書には、各トラフィックの流れに関係する個別の帯域保証条件に基く帯域の割り当て方法が記載されている。
【００２１】
１９９７年１０月２８日付けでＺａｒｒｏｓの“リアルタイムネットワーク装置用マルチパーティの同期化を実現する装置と方法（Apparatus and methods achiveing multiparty synchronization for real-time network application）”に対し付与された米国特許第５，６８２，３８４号の明細書にはネットワークの単一レシーバに同期して複数のソースからのコンテンツを再生する手段が記載されている。
【００２２】
１９９８年６月１６日付けでＺｈｕ他の“リアルタイムマルチメディアのストリーミングのための装置、システム及び方法（Device,system and method of real-time multimedia streaming）”に対し付与された米国特許第５，７６８，５２７号の明細書には、再伝送による損失パケットの回復方法が記載されている。
【００２３】
１９９８年９月１日付けでＦｉｓｃｈａｂａｃｈ他の“データネットワークにおけるデータパケットリアルタイム伝送のためのプロセスとデータネットワーク（Data network and a process for real time transmission of data packets in a data network）”に対し付与された米国特許第５，８０２，０６０号の明細書には、ネットワークアクセスをトークンの交換によって制御する局に対しパケット伝送を優先させる方法が記載されている。
【００２４】
１９９８年９月２９日付けでＤａｕｍ他の“ＭＰＥＧ再生システム用ストリームの同期化方法と装置（Stream synchronization method and apparatus for MPEG playback system）”に対し付与された米国特許第５，８１５，６３４号の明細書には、単一ネットワークベースのレシーバに同期してオーディオ／動画ストリームを再生する手段が記載されている。
【００２５】
１９９８年１２月１日付けでＫｅｒｒの“移送ネットワークを介してマルチメディア会議データストリームを移送するための方法、装置及びシステム（Methods,apparatus,and systems for transporting multimedia conference data streams through a transport network）”に対し付与された米国特許第５，８４４，６００号の明細書には、ＡＴＭネットワークを用いるオーディオ／動画会議手段が記載されている。オーディオストリームは、ネットワークベースのミキサーで結合させて端末機に配信する。各端末機では、受信したオーディオ／動画ストリームを同期して再生するが、しかしながら、ネットワーク中の複数端末機で同時再生することは何も開示されていない。
【００２６】
１９９９年２月２３日付けでＨａｉｇｈの“結合動画／オーディオデータの同期化の測定と調整（Measuring and regulating synchronization of merged video and audio data）”に対し付与された米国特許第５，８７４，９９７号の明細書には、単一ネットワークベースのレシーバに同期してオーディオ／動画ストリームを再生する手段が記載されている。
【００２７】
インターネットエンジニアリングタスクフォース（ＩＥＴＦ）は、コメント要求（ＲＦＣ）とそれに応答して記録されたコメントを公開している。
ＲＦＣ１８８９：リアルタイムプロパティを有するデータ用の現存するトランスポートレイヤを利用するリアルタイムエンドツーエンドプロトコル。
ＲＦＣ２５０８：低速シリアルリンク用ＩＰ／ＵＣＤ／ＲＴＰヘッダの圧縮。
ＲＦＣ１１４４：ＲＦＣ２５０８と類似であるがＴＣＰ／ＩＰパケット用である低速シリアルリンク用ＴＣＰ／ＩＰヘッダの圧縮。
【００２８】
【発明が解決しようとする課題】
従来技術のシステムは、１つ以上の情報源からのマルチメディアのデータストリームをパケットベースのシステムにより複数のレシーバに伝送し同期化するのに付随して発生する問題を考慮していない。異なる場所から伝送された相互に関連するメディアストリームを１つのレシーバで同期化して再生することを可能にする多数の技法が存在しているが、公知の従来技術は、単一ソース又は複数のソースにより生成されたメディアストリームをパケットベースのネットワークによりマルチキャストして複数の場所で同期再生させることはできない。
【００２９】
本発明は、上述のごとき実状に鑑みてなされたものでありマルチメディア搬送ネットワークの複数のレシーバにおいて同期化したＡ／Ｖ出力を提供することが可能な、リアルタイムマルチメディアコンテンツを伝送し同期化するシステム及び方法を提供することをその目的とする。
また、本発明は、ネットワークのレシーバにより使用されないマルチメディアのパケットの伝送を阻止することが可能な、リアルタイムマルチメディアコンテンツを伝送し同期化するシステム及び方法を提供することを他の目的とする。
【００３２】
【課題を解決するための手段】
本発明は前記課題を解決するためになされたものであって、その第１の技術手段は、マルチメディアオーディオ／ビジュアル情報を再生順に有し、エンドツーエンドの全遅延（ＴＥＤ）と累積ネットワーク遅延（ＣＮＤ）を含む総遅延情報（ＴＤＩ）が挿入されたマルチメディアパケットを、パケットベースの通信ネットワークを通じて受信するマルチメディアレシーバにおいて、受信したマルチメディアパケットを蓄積するバッファと、該バッファから蓄積したマルチメディアパケットを検索し該マルチメディアパケットを前記再生順に配列するためのシーケンス手段と、該シーケンス手段により検索し配列したマルチメディアパケットを送信元から送出後ＴＥＤの時間に再生するための再生機構と、マルチメディアサーバ、ルータ、ゲートウェイのいずれかに対して、前記受信したマルチメディアパケット内のＴＤＩより大きいＴＤＩを要求する手段を含むことを特徴としたものである。
【００３３】
第２の技術手段は、マルチメディアオーディオ／ビジュアル情報を再生順に有するマルチメディアパケットを生成し、該マルチメディアパケットをパケットベースの通信ネットワークを通じて複数の目的地に伝送するマルチメディアサーバと、マルチメディアレシーバと、を備えたシステムであって、前記マルチメディアサーバは、エンドツーエンドの全遅延（ＴＥＤ）と累積ネットワーク遅延（ＣＮＤ）を含む総遅延情報（ＴＤＩ）を前記マルチメディアパケットに挿入する挿入手段を含み、前記マルチメディアレシーバは、前記マルチメディアサーバから受信したマルチメディアパケット内のＴＤＩより大きなＴＤＩを、前記マルチメディアサーバに要求する手段を含み、前記マルチメディアサーバは、前記マルチメディアレシーバから、前記挿入手段で挿入したＴＤＩより大きいＴＤＩが要求されたときに、前記挿入手段で、前記大きいＴＤＩをマルチメディアパケットに挿入させる手段をさらに含むことを特徴としたものである。
第３の技術手段は、第２の技術手段において、前記マルチメディアサーバは、マルチメディアパケットが生存可能なパケットであるか、または、マルチメディアパケットが生存不可能なパケットであるかを決定する手段をさらに含み、該生存不可能なパケットを破棄することを特徴としたものである。
【００３４】
第４の技術手段は、マルチメディアオーディオ／ビジュアル情報を再生順に有するマルチメディアパケットを、パケットベースの通信ネットワークを通じて複数の目的地に伝送するルータと、マルチメディアレシーバと、を備えたシステムであって、前記ルータは、エンドツーエンドの全遅延（ＴＥＤ）と累積ネットワーク遅延（ＣＮＤ）を含む総遅延情報（ＴＤＩ）を前記マルチメディアパケットに挿入する挿入手段を含み、前記マルチメディアレシーバは、前記ルータから受信したマルチメディアパケット内のＴＤＩより大きなＴＤＩを、前記ルータに要求する手段を含み、前記ルータは、前記マルチメディアレシーバから、前記挿入手段で挿入したＴＤＩより大きいＴＤＩが要求されたときに、前記挿入手段で、前記大きいＴＤＩをマルチメディアパケットに挿入させる手段をさらに含むことを特徴としたものである。
第５の技術手段は、第４の技術手段において、前記ルータは、マルチメディアパケットを複写する複写手段をさらに含み、ＴＤＩを該複写手段により複写した各マルチメディアパケットに挿入することを特徴としたものである。
第６の技術手段は、第４又は第５の技術手段において、前記ルータは、マルチメディアパケットが生存可能なパケットであるか、または、マルチメディアパケットが生存不可能なパケットであるかを決定する手段をさらに含み、該生存不可能なパケットを破棄することを特徴としたものである。
【００３５】
第７の技術手段は、マルチメディアオーディオ／ビジュアル情報を再生順に有するマルチメディアパケットを、自身が属するパケットベースのローカルエリアネットワーク（ＬＡＮ）内の複数のマルチメディアレシーバに伝送するゲートウェイと、マルチメディアレシーバと、を備えたシステムであって、前記ゲートウェイは、エンドツーエンドの全遅延（ＴＥＤ）と累積ネットワーク遅延（ＣＮＤ）を含む総遅延情報（ＴＤＩ）を前記マルチメディアパケットに挿入する挿入手段を含み、前記マルチメディアレシーバは、前記ゲートウェイから受信したマルチメディアパケット内のＴＤＩより大きなＴＤＩを、前記ゲートウェイに要求する手段を含み、前記ゲートウェイは、前記マルチメディアレシーバから、前記挿入手段で挿入したＴＤＩより大きいＴＤＩが要求されたときに、前記挿入手段で、前記大きいＴＤＩをマルチメディアパケットに挿入させる手段をさらに含むことを特徴としたものである。
第８の技術手段は、第７の技術手段において、前記ゲートウェイは、マルチメディアパケットが生存可能なパケットであるか、または、マルチメディアパケットが生存不可能なパケットであるかを決定する手段をさらに含み、該生存不可能なパケットを破棄することを特徴としたものである。
【００３８】
第９の技術手段は、リアルタイムマルチメディアコンテンツを伝送し同期化する方法において、マルチメディアオーディオ／ビジュアル情報を複数のマルチメディアパケットにローディングするステップと、エンドツーエンドの全遅延（ＴＥＤ）と累積ネットワーク遅延（ＣＮＤ）を含む総遅延情報（ＴＤＩ）を少なくとも１つの前記マルチメディアパケットに挿入する挿入ステップと、複数のマルチメディアレシーバに前記マルチメディアパケットを再生順にパケットベースの通信ネットワークで伝送するステップと、伝送期間においてＣＮＤ＞ＴＥＤであれば何時でもそのマルチメディアパケットを破棄するステップと、各マルチメディアレシーバに前記マルチメディアパケットを一時保管するステップと、前記マルチメディアパケットを再生順に呼び出すステップと、前記マルチメディアパケットをＴＥＤの時点で各マルチメディアレシーバで再生するステップと、前記マルチメディアレシーバが、ＣＮＤ＞ＴＥＤであればＴＥＤの値を増大させる要求を行うステップと、を含むことを特徴としたものである。
【００３９】
第１０の技術手段は、第９の技術手段において、前記挿入ステップは、１つのマルチメディアサーバにおけるＴＤＩの挿入を含むことを特徴としたものである。
【００４０】
第１１の技術手段は、第９の技術手段において、前記挿入ステップは、前記パケットベースの通信ネットワークに設けられた１つのルータにおけるＴＤＩの挿入を含むことを特徴としたものである。
【００４１】
第１２の技術手段は、第９の技術手段において、前記挿入ステップは、前記パケットベースの通信ネットワークと１つのマルチメディアレシーバとの間に設けられたローカルエリアネットワーク（ＬＡＮ）に設けられているゲートウェイにおけるＴＤＩの挿入を含むことを特徴としたものである。
【００４２】
第１３の技術手段は、第９の技術手段において、複数のマルチメディアレシーバにマルチキャストするためにマルチメディアパケットを複写するステップを含み、該ステップは、ＴＤＩを幾つかの前記複写されたマルチメディアパケットに挿入することを含むことを特徴としたものである。
【００４５】
第１４の技術手段は、第９〜第１３のいずれかの技術手段において、マルチメディアパケットが生存可能なパケットであるか、又は、生存不可能なパケットであるかを決定するステップと、生存不可能なパケットを破棄するステップとをさらに含むことを特徴としたものである。
【００５３】
【発明の実施の形態】
本発明によるリアルタイムマルチメディアコンテンツを伝送し同期化するシステムは、マルチメディアのオーディオ／動画情報を再生順に含むマルチメディアパケットを生成してそのマルチメディアパケットを伝送するマルチメディアサーバと、マルチメディアパケットを複数の宛先に配送する複数のルータを有し、マルチメディアパケットを受信するためにマルチメディアサーバと接続したパケットベースの通信ネットワークと、エンドツーエンドの全遅延（ＴＥＤ）と累積ネットワーク遅延（ＣＮＤ）を含む総遅延情報（ＴＤＩ）をマルチメディアパケットに挿入する手段と、ＴＤＩを有するマルチメディアパケットを受信する複数のレシーバを含み、各レシーバは受信したマルチメディアパケットを蓄積するバッファと、蓄積したマルチメディアパケットをバッファから検索してマルチメディアパケットを再生順に配列する順序付け（シーケンス）手段と、検索して配列したマルチメディアパケットをマルチメディアサーバによる伝送後ＴＥＤの時点で再生する再生装置を含んでいる。
【００５４】
本発明によるリアルタイムマルチメディアのコンテンツを伝送して同期化する方法は、マルチメディアのオーディオ／ビジュアルを複数のマルチメディアのパケットにローディングすることと、エンドツーエンドの全遅延（ＴＥＤ）とネットワークの累積遅延（ＣＮＤ）を含む総遅延情報（ＴＤＩ）をマルチメディアパケットの少なくとも１つに挿入することと、複数のマルチメディアレシーバにパケットベースのネットワークを介しマルチメディアパケットを再生順に伝送することと、各マルチメディアレシーバにおいてマルチメディアパケットを一時保管し、マルチメディアパケットを再生順に呼び出し、各レシーバでマルチメディアパケットをＴＥＤの時点で再生することを含んでいる。
【００５５】
特にパケットベースのシステムによるマルチキャストマルチメディアの同期化と伝送は、情報配信の効率のよい安価な技法である。従来技術のシステムは、１つ以上の情報源からのマルチメディアのデータストリームをパケットベースのシステムにより複数のレシーバに伝送し同期化するのに付随して発生する問題を考慮していない。異なる場所から伝送された相互に関連するメディアストリームを１つのレシーバで同期化して再生することを可能にする多数の技法が存在しているが、公知の従来技術は、単一ソース又は複数のソースにより生成されたメディアストリームをパケットベースのネットワークによりマルチキャストして複数の場所で同期再生させることはできない。本発明は、同一のオーディオ／動画ストリームを異なる場所に伝送し同時に再生させると共に、マルチメディアパケットが伝送先で再生しないことが明らかな場合にそのパケットの伝送を止めるシステムと方法を提供する。
【００５６】
図１は、本発明により構築されたコンテンツの同期マルチメディア伝送システムを示す図で、図中６０はこのシステムを示す。システム６０は、マルチメディアサーバ６２を含んでおり、このサーバは、通過する各マルチメディアパケット６４に、後述するＴＥＤ及びＣＮＤ情報を挿入する。このパケットネットワーク６６には２つのルータ６８と７０が含まれているが、かような汎用ネットワークには、より多数のルータが存在することが多い。ルータ６８は、ゲートウェイ７４とルータ７６，７８を含むローカルエリアネットワーク（ＬＡＮ）７２に接続している。マルチメディアレシーバ８０，８２，８４はＬＡＮ７２に接続している。
【００５７】
本発明の方法は、マルチメディア情報を、以後マルチメディアパケットと記述する一連のパケット６４にローディングする。マルチメディアサーバ６２は、エンドツーエンドの全遅延（ＴＥＤ）と累積ネットワーク遅延（ＣＮＤ）のフィールドを各マルチメディアパケットに挿入する。これを、総遅延情報（ＴＤＩ）と記述する。ＴＥＤは、マルチメディアパケットをサーバから伝送した時からそのマルチメディアパケットがレシーバで再生される時までの時間を示し、ＣＮＤは、マルチメディアパケットがレシーバに配信される前に通信ネットワーク内のルータにより生じた実際の潜伏時間（latency）を示す。マルチメディアサーバ６２は、ネットワークの統計値からＴＥＤの値を計算する。マルチメディアパケットを伝送する際に、サーバ６２はＣＮＤにジッタ値を設定する。このジッタは次式により得られる。
（ジッタ）＝（２つの順次パケット伝送の時間間隔）−（パケットレート）（１）
例えば、パケットレートが２０ｍｓでありパケットが実際に先行パケットから３０ｍｓの間隔で送信される場合、ジッタは１０ｍｓであり、パケットのＣＮＤを１０ｍｓに設定する。
【００５８】
ネットワーク中の各ルータは、そのルータの配置場所がパケットネットワーク６６又はＬＡＮ７２であるかに係わりなく、そのルータにより生じる各マルチメディアパケットの待ちによる遅延を測定する。待ち遅延（queuing delay）は、マルチメディアパケットの受信と伝送のタイムスタンプから得る。マルチメディアパケットを伝送する時、各ルータは待ち遅延を現在のＣＮＤ値に加算してＣＮＤ値を更新する。ルータが受信したマルチメディアパケットを複数のルートに、即ち、ルータ７０とゲートウェイ７４にマルチキャストするルータ６８のようにマルチキャストする必要があれば、マルチメディアパケットを複写し、複写したマルチメディアパケットに対する待ち遅延をオリジナルなものとは別個に処理する。複写パケットは１つ以上あってよく、待ち遅延を各複写パケットに挿入する。
【００５９】
各マルチメディアレシーバは、入ってくるマルチメディアパケットを蓄積するバッファ“Ｂ"を含み、バッファからマルチメディアパケットを呼び出し、受信後（ＴＥＤ−ＣＮＤ）の時間にマルチメディパケットのコンテンツを再生する。かようにして、マルチメディアレシーバに配信されたマルチメディアパケットは、各レシーバへのルートに生じた実際のネットワーク遅延と係わり無く、サーバで伝送してからＴＥＤの時点で再生される。
【００６０】
先の例において説明したように、ＣＮＤは待ち遅延のみを含み、２つのルータ間の物理的な伝送により発生した物理的な潜伏時間は含まない。物理的な潜伏時間は僅かであるので無視できる。別案として、ルータに既知の物理的な潜伏時間を与え、待ち遅延に加算して精度を上げることができる。
【００６１】
全てのレシーバがパケットレートを知っている場合は、メディアストリームの第一のマルチメディアパケットに対して前述の手順を実行すれば十分である。理由は、ＴＥＤとＣＮＤを持つマルチメディアパケットを受信するレシーバは、マルチメディアパケットの再生時間を知っており、ＴＥＤとＣＮＤを含む最初のマルチメディアパケットが“失われ”、即ち、１つ以上のレシーバによって受信されない場合は、サーバに最初の若干数のマルチメディアパケットにＴＥＤとＣＮＤを含ませることを要求するからである。別案として、ＴＥＤとＣＮＤを有するマルチメディアパケットがマルチキャストグループに属する全レシーバに受信されたことを確認するまでＴＥＤとＣＮＤを含むようにサーバに要求してもよい。
【００６２】
前述のように、マルチメディアサーバ６２は、ネットワークの統計値に基いてＴＥＤ値を計算する。ＴＥＤはネットワーク管理者によってサーバに提供されるか或は自動的に測定される。ＴＥＤの実際の計算は、本発明の範囲外であり、米国特許第５，６２３，４８３号明細書にＴＥＤをネットワーク遅延の統計分布から計算する技法が提示されている。但し、米国特許第５，６２３，４８３号明細書の全体的な解決法は、サーバとレシーバが同期したクロックを有することである。サーバは各パケットにレシーバがパケットの内容を再生すべき時刻を指定する。しかしながら、パケットネットワークのサーバとレシーバが同期化クロックに正確に同一の計時を維持することを期待するのは現実的ではない。
【００６３】
待ち遅延と物理的な潜伏時間が、マルチメディアパケットがレシーバに到着する時点にまで達し、“遅れた”状況が発生することが予測される。従来技術のシステムの場合、音声と映像の不連続がユーザに感知され、この状況を正す手段がない。本発明によるシステムと方法は、レシーバの１つが、マルチメディアパケットにおいて、そのマルチメディアパケットに対するＴＥＤを越えるＣＮＤを検出した場合に対処する機能を準備している。この場合、マルチメディアパケットは、マルチメディアパケットの内容を再生する時間が既に経過しているので、同期して再生することはできない。レシーバは、より大きいＴＤＩを要求する手段を有し、ＣＮＤ−ＴＥＤの値を持つサーバにメッセージを送る。サーバは、ＴＥＤ値を増大させて、次のマルチメディアパケットに対するＴＤＩを増大させる。
【００６４】
図１に示した実施例において、パケットネットワーク６６に含まれる全ルータとサーバ６２並びにマルチキャストグループ用ＬＡＮ７２がＴＥＤとＣＮＤを支持する。図１に示すように、マルチキャストグループ中の全マルチメディアレシーバが１つのＬＡＮに存在しているが、１台のマルチメディアレシーバをパケットネットワーク６６中の１台のルータに接続することができる。マルチメディアサーバは、前述のようにマルチメディアパケットにＴＤＩを挿入するための特別なハードウェア又はソフトウェアを含まなくてよい。その代わりに、ＬＡＮを（公共の）パケットネットワークに接続するゲートウェイがサーバから受信したマルチメディアパケット用のＴＥＤとＣＮＤからＴＤＩを生成する。このゲートウェイはＴＥＤ値を生成する能力を有しており、このゲートウェイにパケットレートを供給しなければならない。ＬＡＮ内のルータとレシーバは同じ機能を実行できる。従って、本発明は、パケットネットワーク全体がここに提示の方法を支持していない場合であっても実装することができる。別の方法では、ＴＤＩの挿入手段をマルチメディアサーバ、ルータ又はゲートウェイによって供給してもよい。
【００６５】
図２に示す他の実施例９０は、動画ストリーム（ビデオストリーム）９４とオーディオストリーム９６を生成するマルチメディアサーバ９２と、ルータ１００，１０２，１０４，１０６，１０８、動画モニタ（ビデオモニタ）１１０及びスピーカ１１２を有するパケットネットワーク９８より成る。ビデオストリーム９４とオーディオストリーム９６は、パケットネットワーク９８に接続したビデオモニタ１１０とスピーカ１１２により各々個別に、同期して再生される。動画パケット（ビデオパケット）とオーディオパケットの宛先アドレスは、各々、ビデオモニタとスピーカのアドレスである。サーバ９２は、ＴＥＤとＣＮＤを含むＴＤＩを動画パケットとオーディオパケットの両方に挿入する手段を有している。ルータは他の実施形態において示したと同様の手順を実行する。
【００６６】
本発明は、米国特許第４，５０６，３５８号明細書に記載の方法と異なり、従来技術が教示も示唆もしていないタイプの各パケット内情報フィールドを採用しパケットのオーディオ／動画コンテンツを再生すべき時間を指示している。これにより、同期したサーバとレシーバのクロックを必要とせずに、複数のレシーバで同一コンテンツを同時に再生することができる。
【００６７】
本発明は、ルータとレシーバ間の物理的なリンクにおいて、ＣＮＤがＴＥＤより大きい場合に最終目的地（即ち、メディアプレーヤ又はレシーバ）で再生されないマルチメディアパケットをルータが伝送するの防止することにより帯域の使用効率を最大にする。
【００６８】
再生できないマルチメディアパケットは、必要でないか、又は、使用しないことが決定されれば破棄することができる。以下の方法を、独立した技法として又は前述の同期化技法と組み合わせて使用することができる。
【００６９】
ルータがメディアソースとレシーバ間を送受信されるマルチメディアパケットの各々にタイムスタンプシーケンス（一連）番号を付ける。
Ｔis［ｎ］：シーケンス番号ｎのマルチメディアパケットのタイムスタンプ（時刻印）。
Ｔp［ｎ］：シーケンス番号ｎのマルチメディアパケット内に含まれるタイミング情報で、このマルチメディアパケットのコンテンツをレシーバで再生する時間を示す。この情報は、一連のマルチメディアパケット間の相対的なタイミング情報であり、絶対的な時間を示すものではない。
【００７０】
シーケンス番号ｎ0を有する最初のマルチメディアパケットを受信すると、ルータは、ｔis［ｎ0］とｔp［ｎ0］をメモリに蓄積し、マルチメディアパケットを次のルータ又はレシーバに再送付する。下式を想定する。
Ｔis＝Ｔis［ｎ0］                                  （２）
Ｔp＝ｔp［ｎ0］                                    （３）
【００７１】
一連番号ｎの後続受信マルチメディアパケットを受信する度に、ルータはｔis［ｎ］値とｔp［ｎ］値を調べる。
ｔis［ｎ］−Ｔis＜ｔp［ｎ］−Ｔp＋Ｄ                （４）
ここで、Ｄはレシーバにおけるバッファ遅延を含む最大ＴＥＤ許容値を示す。式（４）の状態であれば、ルータはマルチメディアパケットを再送信し、下式（５），（６）を設定する。ルータは、マルチメディアパケットが生存可能なパケットであることを決定し、そうでなければ、そのマルチメディアパケットを破棄する。
Ｔis＝ｔis［ｎ］                                    （５）
Ｔp＝ｔp［ｎ］                                      （６）
【００７２】
ｔis［ｎ］−Ｔisの値は、ルータが最後に再送信できたマルチメディアパケットの到着時間と現在の対象マルチメディアパケットの到着時間との差である。同様に、ｔp［ｎ］−Ｔpの値は、これら２つのマルチパケット間の再生時における時間間隔を示す。
ｔis［ｎ］−Ｔis＞ｔp［ｎ］−Ｔp＋Ｄ                （７）
【００７３】
上式（７）で示す条件を満たせば、シーケンス番号ｎのマルチメディアパケットはすでにＴＥＤ許容値を使い切っている。この場合、このマルチメディアパケットはレシーバに再生時間までに到着しないので再生される機会は無い。ここで生存不可能なパケット（non-viable packet）と記述する、かようなマルチメディアパケットを不必要に伝送することを無くし、このルータと次のエントリ間の物理的リンクにおける帯域を、次のエントリがルータかレシーバであるかに係わり無く、効率よく利用できる。ルータは、マルチメディアパケットが生存可能な（viable）マルチメディアパケットである（この場合は、そのマルチメディアパケットを伝送する）、或いは、生存不可能なマルチメディアパケットである（この場合は、そのマルチメディアパケットを破棄する）ことを決定する手段を含んでいる。
【００７４】
ルータにおけるＤの値は、（１）ノードのソフトウェア又はハードウェアでハード符号化するか、（２）システム管理者によって手動で構成するか、或いは、（３）マルチメディアサーバによって各々のリアルタイムマルチメディアパケットに供給される。この値は、要求されるＱｏＳ（サービスの品質）によって決定され、レシーバにおけるバッファの遅れよりも大きくすべきである。Ｄは双方向の音声会話のような遅延感度の高い用途の場合は小さい値になる。レシーバは、共通の通信プロトコルを用いてメディアソースとＤ値を交渉できる。
【００７５】
本発明による伝送方法は、ヘッダ情報を差分符号化スキームによって圧縮するＲＦＣ２５０８に規定されているＩＰ／ＵＤＰ／ＲＴＰヘッダ圧縮器で機能する。この圧縮器はルータの伝送部に実装でき、メディアソースとレシーバ間の特定のリアルタイムメディアストリームを他のトラフィック間において区別し特定する手段を提供する。差分符号化のために、圧縮器はパケットベースのネットワーク内のリアルタイムマルチメディアパケットのヘッダ内タイミング情報を調べることが要求されるが、本発明の方法を実装するために必要な追加の処理力は最小である。
【００７６】
パケットベースのネットワークを介してリアルタイムにマルチメディアのパケットベースのコンテンツを伝送して同期化するシステムと方法を開示してきた。本発明の方法とシステムの若干の変更例も開示してあるが、さらなる変更と修正をこの特許請求範囲に規定した本発明の範囲から逸脱することなく実施できることは明白であろう。
【図面の簡単な説明】
【図１】本発明により構築されたＬＡＮマルチメディアコンテンツの配信システム示す図である。
【図２】動画ストリームとオーディオストリームを個別経路で伝送するマルチメディアコンテンツの配信システム示す図である。
【図３】従来技術によるマルチメディアコンテンツの配信システムを示す図である。
【図４】パケットベースのリアルタイムマルチメディアコンテンツの伝送システムを示す図である。
【図５】パケットの受信及び再生を示すブロック図である。
【符号の説明】
１２…マルチメディアサーバ、１６…パケットネットワーク、１８〜３０…ルータ、３２〜３８…マルチメディアレシーバ、４２…メディアソース、４６…パケットネットワーク、４８〜５２…ルータ、５６…レシーバ、ラインＩ…メディアソースで伝送されるパケット、ラインII…メディアプレーヤに着信したパケット、ラインIII…再生されたパケット、６２…マルチメディアサーバ、６６…パケットネットワーク、６８〜７８…ルータ、８０〜８４…マルチメディアレシーバ、７２…ローカルネットワーク、７４…ゲートウェイ、９２…マルチメディアサーバ、９４…ビデオストリーム、９６…オーディオストリーム、９８…パケットネットワーク、１００〜１０８…ルータ、１１０…ビデオモニタ、１１２…スピーカ。
【図１】
0004475827.tif 000002
【図２】
0004475827.tif 000003
【図３】
0004475827.tif 000004
【図４】
0004475827.tif 000005
【図５】
0004475827.tif 000006