(57)【要約】      （修正有）【課題】メディア中継会議（ＭＲＣ）セッションにおけるオーディオ−ビデオ間の同期化処理を改善する。【解決手段】メディア中継マルチポイント制御ユニット（ＭＲＭ）のような中間ノードを介して、複数の送信元メディア中継エンドポイントによって発生されたストリームを、複数の受信側メディア中継エンドポイントへと中継する際に、受信した各ストリーム内の複数の入力データチャンクを構文解析し、各入力データチャンクのタイムスタンプフィールドを、単一の時間ドメインを反映するように変換する。【選択図】図４
2014112826.tif 000002
【特許請求の範囲】
【請求項１】
複数のメディア中継エンドポイントと通信可能に結合された中間装置において、該複数のメディア中継エンドポイントから複数の入力ストリームを受信することと、ここで、各ストリームは複数の入力データチャンクを含み、
前記入力データチャンクを構文解析することと、
各入力データチャンクのタイムスタンプフィールドを、単一の時間ドメインを反映する、操作されたタイムスタンプに変換すること、
からなる方法。
【請求項２】
複数の出力データチャンクを作成することと、ここで、各出力データチャンクは、それに関連する操作されたタイムスタンプに関連付けられており、
前記複数のメディア中継エンドポイントの部分集合からの前記出力データチャンクを１以上の出力ストリームに組織化することと、
前記１以上の出力ストリームを、受信側メディア中継エンドポイントに向けて中継すること、
を更に有する請求項１の方法。
【請求項３】
前記受信側メディア中継エンドポイントによって、前記１以上の出力ストリームを、単一の時間ドメインを使用して生成されているものとして解釈すること、
を更に有する請求項２の方法。
【請求項４】
前記出力データチャンクを１以上の出力ストリームに組織化することは、
前記操作されたタイムスタンプを、前記１以上の出力ストリームの対応する出力データチャンクのタイムスタンプフィールドに書き込むことからなる、請求項２の方法。
【請求項５】
前記１以上の出力ストリームはビデオストリームとオーディオストリームからなり、
前記ビデオストリームとオーディオストリームが前記操作されたタイムスタンプを使用して同期可能であることを特徴とする、請求項４の方法。
【請求項６】
前記複数の入力ストリームは複数のビデオストリームからなり、
前記複数のビデオストリームを、１つの常駐表示ビデオ画像へと組み立てるために構成された、１以上の出力ビデオストリームに組織化すること、
を更に有する請求項１の方法。
【請求項７】
前記複数の入力ストリームは複数のオーディオストリームからなり、
前記複数のオーディオストリームを、１つのミックスされたオーディオストリームへとミックス可能な、１以上の出力オーディオストリームに組織化すること、
を更に有する請求項１の方法。
【請求項８】
前記単一の時間ドメインは前記中間装置の時間ドメインである、請求項１の方法。
【請求項９】
前記中間装置はメディア中継マルチポイント制御ユニットである、請求項１の方法。
【請求項１０】
前記入力データチャンクの前記タイムスタンプフィールドを前記単一の時間ドメインに変換するために、各入力ストリームに対応するパラメータを計算すること、
を更に有する請求項１の方法。
【請求項１１】
前記パラメータを計算することは、
前記入力ストリームの送信元のメディア中継エンドポイントのクロックと前記中間装置のクロックとの差を推定することと、
前記推定した差と、前記入力ストリームに関連したタイムスタンプクロックレートと、前記入力ストリームに対応する送り手レポート内のクロックフィールド及びタイムスタンプフィールドと、前記中間装置のクロック値と、前記中間装置のタイムスタンプ値との関数として前記パラメータを決定すること、
からなり、前記中間装置の前記クロック値と前記中間装置の前記タイムスタンプ値は、同時に得られるものである、請求項１０の方法。
【請求項１２】
前記タイムスタンプフィールドを変換することは、前記入力データチャンク内の前記タイムスタンプフィールドを、前記入力ストリームに対応する前記パラメータによって変更することからなる、請求項１０の方法。
【請求項１３】
複数の出力データチャンクを単一の出力ストリームに統合すること、
をさらに有する請求項１の方法。
【請求項１４】
前記単一の時間ドメインを表す、メディア種別毎に１つの送り手レポートを、前記中間装置から各受信側メディア中継エンドポイントに送ること、
をさらに有する請求項１の方法。
【請求項１５】
前記複数のメディア中継エンドポイントの部分集合からの出力データチャンクを１以上の出力ストリームに組織化することと、
前記受信側メディア中継エンドポイントによって、１つの常駐表示ビデオ画像になるように、前記１以上の出力ストリームを組み合わせること、
をさらに有する請求項１の方法。
【請求項１６】
前記複数の入力ストリームは複数の入力オーディオストリームからなり、
或る入力オーディオデータチャンクの前記操作されたタイムスタンプの値を、その入力オーディオデータチャンクを搬送している前記入力ストリームの識別子に関連付けることと、
受信した入力オーディオデータストリームをデコードして、デコードされたオーディオストリームにすることと、
２以上のデコードされたオーディオストリームを選択し、ミックスして、１つのミックスされたオーディオストリームにすることと、
前記ミックスされたオーディオストリームを圧縮して、出力ミックスオーディオストリームにすることと、
前記出力ミックスオーディオストリームを、出力ミックスオーディオデータチャンクの１ストリームに組織化することと、
前記出力ミックスオーディオデータチャンクの１ストリームを、１つの受信側メディア中継エンドポイントに向けて伝送すること、
を更に有し、前記デコードする動作、前記選択する動作、前記圧縮する動作、及び前記組織化する動作は、前記出力ミックスオーディオデータチャンク、それに対応する操作されたタイムスタンプ、並びに該ストリームの識別子の間で関連性を維持する、請求項１の方法。
【請求項１７】
前記組織化する動作は、
前記出力ミックスオーディオデータチャンクの各々が、１以上のストリーム識別子と前記ミックス内に含まれている入力データチャンクの１以上の操作されたタイムスタンプとに関連する情報を含むように、操作することからなる、請求項１６の方法。
【請求項１８】
前記関連付ける動作は、
ミキシングの前に、前記中間装置において、前記複数の入力データチャンクを、それぞれの操作されたタイムスタンプに従って整列させることと、
前記出力ミックスオーディオデータチャンクの前記操作されたタイムスタンプとして、前記それぞれの操作されたタイムスタンプを挿入すること、
からなる請求項１６の方法。
【請求項１９】
複数の送信元メディア中継エンドポイントのうち１以上の送信元メディア中継エンドポイントを選択するように構成されたシグナリング及び制御モジュールと、
前記シグナリング及び制御モジュールによって制御される圧縮メディアプロセッサであって、
複数の入力ストリームに対応する複数の入力データチャンクを構文解析し、
前記入力データチャンクのタイムスタンプフィールドを、受信したタイムスタンプ値から、単一の時間ドメインを反映する、操作されたタイムスタンプ値に変換する、ように構成された前記圧縮メディアプロセッサと、
を具備するメディア中継マルチポイント制御装置。
【請求項２０】
前記圧縮メディアプロセッサは、更に、
選択された送信元メディア中継エンドポイントからの前記入力データチャンクを１以上の出力ストリームに組織化し、ここで、各出力ストリームの各データチャンクは、それに対応する操作されたタイムスタンプに関連付けられており、かつ、
前記１以上の出力ストリームを、受信側メディア中継エンドポイントに向けて伝送する、
ように構成されている請求項１９のメディア中継マルチポイント制御装置。
【請求項２１】
前記１以上の出力ストリームはビデオストリームとオーディオストリームからなり、
前記ビデオストリームを前記オーディオストリームに同期化するために、前記受信側メディア中継エンドポイントによって前記タイムスタンプフィールドが使用されることを特徴とする請求項２０のメディア中継マルチポイント制御装置。
【請求項２２】
前記圧縮メディアプロセッサは、該メディア中継マルチポイント制御装置と１つの受信側メディア中継エンドポイントとの間の単一のリアルタイムプロトコル接続を介して、該受信側メディア中継エンドポイントに向けて前記１以上の出力ストリームを伝送するように構成されている請求項２０のメディア中継マルチポイント制御装置。
【請求項２３】
前記複数の入力ストリームは複数のビデオストリームからなる、請求項１９のメディア中継マルチポイント制御装置。
【請求項２４】
前記複数の入力ストリームは複数のオーディオストリームからなる、請求項１９のメディア中継マルチポイント制御装置。
【請求項２５】
前記単一の時間ドメインは、該メディア中継マルチポイント制御装置に関連付けられている、請求項１９のメディア中継マルチポイント制御装置。
【請求項２６】
前記圧縮メディアプロセッサは、更に、
前記入力ストリーム内に含まれる各入力データチャンクの前記タイムスタンプフィールドを変換する際に使用するために、前記複数の入力ストリームの各入力ストリーム毎にパラメータを計算するように構成されている、請求項１９のメディア中継マルチポイント制御装置。
【請求項２７】
前記圧縮メディアプロセッサは、前記各入力ストリーム毎に前記パラメータを計算するために、
各送信元メディア中継エンドポイントのウォールクロックと該メディア中継マルチポイント制御装置のウォールクロックとの差を推定し、
前記推定した差と、前記入力ストリームに使用されたタイムスタンプクロックレートと、前記入力ストリームに対応する送り手レポート内のウォールクロックフィールド及びタイムスタンプフィールドと、該メディア中継マルチポイント制御装置のウォールクロック値及び関連するメディアクロックのタイムスタンプ値との関数として前記パラメータを決定する、
ように構成されており、メディア中継マルチポイント制御装置のウォールクロック値及び関連するメディアクロックのタイムスタンプ値は、同時に得られるものである、請求項２６のメディア中継マルチポイント制御装置。
【請求項２８】
前記圧縮メディアプロセッサは、前記タイムスタンプフィールドを変換するために、
対応する前記入力ストリームの前記パラメータによって前記タイムスタンプフィールドを調整するように構成されている、請求項２６のメディア中継マルチポイント制御装置。
【請求項２９】
前記圧縮メディアプロセッサは、更に、前記単一の時間ドメインを表す、メディア種別毎に１つの送り手レポートを、各受信側メディア中継エンドポイントに送るように構成されている、請求項１９のメディア中継マルチポイント制御装置。
【請求項３０】
前記複数の入力ストリームは複数の入力オーディオストリームからなり、
前記圧縮メディアプロセッサは、更に、
或る入力オーディオデータチャンクの前記操作されたタイムスタンプの値を、その入力オーディオデータチャンクを搬送している前記ストリームの識別子に関連付け、
受信した入力オーディオデータストリームをデコードして、デコードされたオーディオストリームとし、
複数のデコードされたオーディオストリームを選択し、ミックスして、１つのミックスされたオーディオストリームとし、
前記ミックスされたオーディオストリームを圧縮して、圧縮ミックスオーディオの１ストリームとし、
前記圧縮ミックスオーディオの１ストリームを、出力ミックスオーディオデータチャンクの１ストリームに組織化し、
前記出力ミックスオーディオデータチャンクの１ストリームを、１つの受信側メディア中継エンドポイントに向けて伝送し、
前記出力オーディオデータチャンク、それに対応する操作されたタイムスタンプ値、並びに該ストリームの識別子の間で関連性を維持する、
ように構成されている請求項１９のメディア中継マルチポイント制御装置。
【請求項３１】
前記圧縮メディアプロセッサは、更に、
各関連する出力オーディオデータチャンクに、前記ストリーム識別子と前記操作されたタイムスタンプとに関連する情報を追加する、ように構成されている請求項３０のメディア中継マルチポイント制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、オーディオ／ビデオ通信に関し、特にマルチポイント（多地点）オーディオ／ビデオ会議の分野に関する。
【背景技術】
【０００２】
インターネットプロトコル（ＩＰ）ネットワークを介したデータ通信量（トラヒック）が、急成長を続けているので、色々なマルチメディア会議機器の発達とともに、ますます多くの人が、彼らの通信ツールとして、マルチメデイア会議を使用している。今日、マルチメディア会議通信は、旧来のマルチメディア通信方法と、メディア中継会議による新しい技術との、２種類の通信方法により実施され得る。本開示において、マルチメディア会議、ビデオ会議及びオーディオ会議という用語は、互換性のあるものとして使用されてよく、且つ、ビデオ会議という用語が、それらを代表する用語として使用され得る。
【０００３】
旧来の、３人以上の参加者間でのマルチポイント会議は、１つのマルチポイント制御ユニット（Multipoint Control Unit: 「ＭＣＵ」と略称）を必要とする。ＭＣＵは、ビデオ会議を管理するために使用される。ＭＣＵは、会議制御エンティティ（entity；実体、構成要素）であり、典型的には、エンドポイント（Endpoint）からの様々なチャンネルを受信するネットワークのノード又は端末に設置されている。ＭＣＵは、何らかの基準（抽出条件）に従って、オーディオ及びビジュアル信号を処理し、そして、それらを１組の接続されたチャンネルに分配する。それらＭＣＵの例は、ポリコム社から入手できるＭＧＣ−１００及びＲＭＸ２０００を含む（「ＲＭＸ２０００」は、ポリコム社の登録商標である）。レガシー（Legacy；「従前の」又は「既存の」）エンドポイント（Legacy Endpoint: 「ＬＥＰ」と略称）と称される端末は、ネットワーク上のエンティティであり、他のＬＥＰ又はＭＣＵとのリアルタイム双方向のオーディオ及び／又はオーディオッビジュアル通信を提供することのできるものである。ＬＥＰとＭＣＵのより詳細な定義は、これに限定されるものではないが、ＩＴＵのウェブサイトwww.itu.intに見つかるＨ．３２０、Ｈ３２４及びＨ．３２３のような国際電気通信（ＩＴＵ）規格を参照されたい。
【０００４】
共通のＭＣＵ（以下、レガシーＭＣＵとも言う）は、複数のオーディオ及びビデオデコーダ、エンコーダ、及び、メディアコンバイナ（オーディオミキサ及び／又はビデオ画像ビルダー）を含んでよい。本明細書において、共通のＭＣＵ及びレガシーＭＣＵという用語は、相互交換可能なものと見なされ得る。ＭＣＵは、可変数の参加者（ＬＥＰ）の間のオーディオ及びビデオ通信を処理するために、膨大な量の処理能力を使用するだろう。その通信は、多様な通信プロトコル及び圧縮規格に基づくことができ、且つ、異なる複数種類のＬＥＰを含んでいるだろう。ＭＣＵは、複数の入力オーディオ又はビデオストリームを結合して、それぞれ少なくとも１つの出力オーディオ又はビデオストリームにする必要があり、この出力オーディオ又はビデオストリームは、その出力ストリームが送信されるところの少なくとも１つの会議出席者のＬＥＰと互換性がある。複数のエンドポイントから受信した複数の圧縮オーディオストリームは、デコードされ、そして、その会議のための単一のオーディオストリームとしてミキシングするために、何れのオーディオストリームが選択されるか、を決定するために、分析される。本開示において、デコード及び解凍（decompress;デコンプレス、展開、圧縮解凍、復元）の用語は、相互交換可能に使用され得る。
【０００５】
或る会議は、１以上のビデオ出力ストリームを有するだろう。その会議において各出力ストリームは或る１つのレイアウトに関連付けられる。１つのレイアウトは、そのストリームを受信する１以上の会議出席者のためのディスプレイ上での会議の現れ方を定義する。１つのレイアウトは、１以上のセグメントに分割され、各セグメントは、或る会議出席者（エンドポイント）により送信されたビデオ入力ストリームに関連付られるであろう。各出力ストリームは、様々な入力ストリームにより構成されており、常駐表示（continuous presence（ＣＰ）；画面分割）会議になる。ＣＰ会議において、或るリモート端末における或るユーザは、その会議内の他の様々な参加者を、同時に、見ることができる。各参加者は、それぞれ、レイアウトの１つのセグメントに表示され、各セグメントは互いに同じサイズ又は異なるサイズを持っているだろう。レイアウトのセグメントに関連付られ且つ表示される参加者の選択は、共通のセッションに参加している会議出席者各自で異なっていてよい。
【０００６】
ビデオ会議の使用の増加傾向は、構成されたＣＰビデオ画像を持つ複数の会議セッションを管理することが可能な、低コストのＭＣＵへのニーズを提起している。このニーズは、メディア中継会議（Media Relay Conferencing:「ＭＲＣ」と略称）の新たな技術をもたす。
【０００７】
ＭＲＣにおいて、メディア中継ＭＣＵ（Media Relay ＭＣＵ:「ＭＲＭ」と略称）は、参加している各メディア中継エンドポイント（Media Relay Endpoint:「ＭＲＥ」と略称）から、１以上のストリームを受信する。ＭＲＭは、会議内の他の複数のエンドポイントから受信した１組の複数のビデオストリームを、各参加エンドポイントに中継する。各受信エンドポイントは、レイアウトに従うＣＰビデオ画像を生成するために、複数のストリームを使用し、また、混合された会議のオーディオを生成するためにも、該複数のストリームを使用する。ＣＰビデオ画像及び混合されたオーディオは、ＭＲＥのユーザに対して提示（再生）される。１つのＭＲＥは、当該セッション内の会議出席者の端末になり得、この端末は、或る１つのＭＲＭから中継されたメディアを受信し、且つ、或る１つのＭＲＭからの指示に従い圧縮されたメディアを送出できる。ＭＲＣ，ＭＲＭ，ＭＲＥの一例についてもっと学びたいならば、関連する米国特許第8,228,363号明細書（特許文献１）及び米国特許出願公開第2012-023611号明細書（特許文献２）を読むことが勧められ、そして、それらは引用によって本明細書に組み込まれる。本明細書において、エンドポイントという用語は、ＭＲＥ又はＬＥＰのいずれも表すだろう。
【０００８】
いくつかのＭＲＣシステムにおいて、送信ＭＲＥは、それぞれ異なる品質レベルに関連付けられた２以上のストリームで、自身からのビデオ映像を送信する。この品質は、フレームレート、解像度及び／又は信号対ノイズ比（Ｓ／Ｎ比：ＳＮＲ）などにおいて異なっていてよい。同様に、各送信ＭＲＥは、例えば圧縮ビットレートによって互いに異なり得る２以上のストリームで、そのオーディオを送信してよい。かかるシステムは、レイアウト内での種々のセグメントサイズ、及び各受信エンドポイントにより使用される種々の解像度などを提供するために、複数のストリームを使用できる。更に、複数のストリームは、パケットロス（パケット損失）を克服するために使用され得る。
【０００９】
今日、ＭＲＣは、ますます一般的になっている。多くのビデオ会議システムが１以上のストリーム内において並行して複数の品質レベルを供給する。例えばビデオについて、品質は、時間ドメイン（例えばフレーム毎秒）、空間ドメイン（例えば高精細度（ＨＤ）、又は、ＣＩＦ（Common Intermediate Format）、及び／又は、品質（例えば鮮鋭度（シャープネス））など、いくつかのドメイン（定義域）により表現され得る。多品質（マルチクオリティ）ストリーム用に使用されるビデオ圧縮規格は、Ｈ．２６４ＡＶＣ、Ｈ．２６４ａｎｎｅｘＧ（ＳＶＣ）、ＭＰＥＧ−４などである。Ｈ．２６４などこれら圧縮規格に関する更なる情報は、ＩＴＵのウェブサイトwww.itu.int、又は、www.mpeg.orgを参照されたい。
【００１０】
ＭＲＭ，ＭＲＥについてもっと学びたいならば、それに関連した米国特許第8,228,363号明細書及び米国特許出願第13/487,703号明細書を読むことが勧められ、そして、それらは引用によって本明細書に組み込まれる。
【００１１】
良好なユーザ体験を向上させるために、再生されるビデオとオーディオ間で同期をとるニーズがある。通常のオーディオ・ビデオのリアルタイム転送プロトコル（Real-time Transport Protocol: ＲＴＰ）は、或るオーディオ・ビデオ同期メカニズムからなる。オーディオ・ビデオ同期メカニズムを含むＲＴＰの一例は、ＲＦＣ３５５０において記述されており、その内容は引用によって本明細書に組み込まれる。そのメカニズムは、メディアパケットのＲＴＰヘッダー、ＲＴＣＰの送り手レポート（ＳＲ）及び受け手レポート（ＲＲ）においてタイムスタンプを使用する。該送り手レポート（ＳＲ）は、受け手レポート（ＲＲ）内にすでに含まれているかもしれない受信レポートと等価な受信レポートを含んでいてよい。本開示は、受信レポートが送り手レポート（ＳＲ）内に含まれる場合についても受け手レポート（ＲＲ）といい、該送り手レポート（ＳＲ）内の送り手レポート部分のみを送り手レポート（ＳＲ）と言う。ＲＴＰについての更なる情報は、インターネット・エンジニアリング・タスク・フォース（ＩＥＴＦ）のウェブサイトwww.ietf.orgにおいて見い出せる。
【００１２】
オーディオストリームとビデオストリームを同期するために、送信ＭＲＥ又はＬＥＰは、オーディオ・ビデオ・リアルタイム転送プロトコル（ＲＴＰ）パケットのヘッダー内にタイムスタンプを挿入し、送信する。これらのタイムスタンプは、マイクロホンによるオーディオのキャプチャ（捕捉）時刻（オーディオタイムスタンプ，ＴＳａ）及び／又はカメラによるビデオのキャプチャ（捕捉）時刻（ビデオタイムスタンプ，ＴＳｖ）をそれぞれ反映する。これらのタイムスタンプは、各ストリームの種別（オーディオ又はビデオ）毎にランダムな値で開始し、そして、オーディオ及びビデオのコーデック（codec）毎に異なるクロックレート、例えばオーディオは８ｋＨｚ，ビデオは９０ｋＨｚ、に基づいて進行する。
【００１３】
周期的に、送信エンドポイントＭＲＥ，ＬＥＰは、各出力ストリーム（オーディオ又はビデオ）毎にＲＴＰコントロール（ＲＴＣＰ）送り手レポート（ＳＲ）を送る。該送り手レポートは、メッセージが送られるときに、それに関連するウォールクロック（wall clock：壁時計時間＝実際時間）への参照を含み得る。該ウォールクロック時刻（絶対的な日時）は、例えばネットワークタイムプロトコル（ＮＴＰ）の時刻形式を使用して表され得る。加えて、各ストリーム毎の該ＲＴＣＰ送り手レポートは、該送り手レポートが送られたときに、それに関連するタイムスタンプ（ＴＳａ又はＴＳｖそれぞれ）をも含み得るものであり、該タイムスタンプは、もし該ＲＴＣＰメッセージが生成されるときにオーディオ／ビデオＲＴＰパケット（それぞれ）が送信されたのであれば、該オーディオ／ビデオＲＴＰパケット（それぞれ）内に配置されているであろうタイムスタンプを反映している。２つの連続する該ＲＴＣＰ送り手レポート間の時間間隔は数秒であり得、例えば５秒である。
【００１４】
このメカニズムは、受信エンドポイントが該受信エンドポイントのウォールクロックと送信エンドポイントのウォールクロックとを相関させることができるようにする。この相関は、ＲＴＣＰ送り手レポートが受信される毎に調整され得る。該受信エンドポイントは、受信したオーディオの再生時間を受信したビデオの再生時間に、若しくはその反対に、調整することにより、受信したオーディオ及びビデオストリームを同期するよう、各送信エンドポイントにおけるウォールクロックとタイムスタンプを使用できる。ＲＴＰ及びＲＴＣＰは、この技術分野では周知であり、多くのＲＦＣにおいて説明されている。ＲＴＰ及びＲＴＣＰについてもっと知りたい場合は、ＲＦＣ３５５０，４５８５，４５８６及びその他を読むことが勧められ、それらは本書内に引用によって組み込まれたインターネット・エンジニアリング・タスク・フォース（ＩＥＴＦ）のウェブサイトwww.ietf.orgにおいて見い出すことができる。
【００１５】
レガシーＣＰトランスコーディンクビデオ会議において、レガシーＭＣＵは、複数のレガシー送信エンドポイントから圧縮されたオーディオ／ビデオストリームを得るとき、受信エンティティとして動作する。加えて、レガシーＭＣＵは、複数の受信レガシーエンドポイントに対して会議ＣＰビデオ画像の圧縮された混合オーディオ及び圧縮された合成ビデオのストリームを送信する間、送信エンティティとして動作する。アップリンク方向において、エンドポイントによってＭＣＵに提供されたＲＴＰタイムスタンプ及びＲＴＣＰレポートは、該ＭＣＵが複数のソースから受信したオーディオ／ビデオＲＴＰストリームを同期化することを可能にする。ダウンリンク方向において、ＭＣＵはビデオレイアウト及びマッチングしている同期化されたオーディオ混合（ミックス）を生成する。該ＭＣＵは、該オーディオ混合及びビデオレイアウトを受信エンドポイントに送り、単一のＲＴＰストリームにおいてそれぞれ、該ストリーム内の各パケットがそれぞれＲＴＣＰレポートを伴ってそのオーディオタイムスタンプ又はビデオタイムスタンプを持っている。しかし、ＭＲＣのいくつかの実施例においては、オーディオとビデオの間で同期をとることは、もっと複雑であり、何故ならば、受信ＭＲＥ（ＲＭＲＥ）が、オーディオをミックスし、複数の送信ＭＲＥ（ＴＭＲＥ）によって生成され、それぞれが自身のウォールクロックとタイムスタンプドメイン（domain: 領域、定義域）を持っている複数のＣＰビデオ画像を合成する間に、ＭＲＭはメディアストリームをただ中継するだけであるからである。ミックスされたオーディオと合成されたＣＰビデオ画像は該ＲＭＲＥを使用している会議参加者に対して提示される。
【００１６】
ＭＲＣにおいて異なる複数ストリームを同期化するための一例は、関連する米国特許第8,228,363号及び米国特許出願第13/487,703号において開示されている。別の例として、ＭＲＥ及びＭＲＭ等各エンティティがネットワークタイムプロトコル（ＮＴＰ）サーバーを使用することによってそれらのクロックを同期化し得る。ＭＲＭの別の実施例は、ＴＭＲＥから受信したＲＴＣＰメッセージをＲＭＲＥに対してただ中継するだけであってよい。ＭＲＣセッション内のオーディオ及びビデオを同期化するための上述したような公知の方法は、ＭＲＭにおける計算リソース及び／又はＭＲＭとＲＭＲＥ間の帯域幅リソースを消費する。
ＭＲＣの別の実施例においては、オーディオ中継コーデック（codec）がサポートされていない若しくは帯域幅に限界がある等の受信エンドポイントの処理能力のために、最も活動的な複数話者からの複数オーディオストリームのミックスでなる単一のオーディオストリームが受信エンドポイントに送られるかもしれず、その間に、選択された複数のＭＲＥのビデオストリームが受信ＭＲＥに別々に送られ、該受信ＭＲＥは該ストリームを合成して１つのＣＰビデオ画像にする。そのような状況においては、該受信したビデオストリームは受信したオーディオミックスに同期化され得ない。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】米国特許第8,228,363号明細書
【特許文献２】米国特許出願公開第2012-023611号明細書
【発明の概要】
【００１８】
ＭＲＣセッションにおけるオーディオとビデオ間の同期化処理の上述した欠陥は、本開示に係る発明概念の範囲を些かも限定しようとするものではない。上述した欠陥は単なる説明のために提示されている。本開示は、或る提供ＭＲＥから出されたビデオ画像と該同じ提供ＭＲＥから出されたそれに関連するオーディオ信号との間で、或るＲＭＲＥにおいて音声同期を達成するための新規な技術に向けられる。ＭＲＣのいくつかの実施例において、オーディオミックスは該ＲＭＲＥによって行われ得る。別の実施例において、オーディオミックスは、複数のＴＭＲＥによって出された１以上のオーディオストリームをミックスすることにより、或るＭＲＭによって行われ得る。該ＭＲＭにおける該オーディオミキシングに続いて、圧縮された混合オーディオ（ミックスされたオーディオ）を搬送する単一のストリームが複数のＲＭＲＥに対して送出され得る。ビデオに関しては、複数のＴＭＲＥによって発生された複数のビデオストリームが例えば前記ＭＲＭのような中間ノードを介して複数のＲＭＲＥに中継される。本願で開示される新規な技術は、両方のタイプのＭＲＣオーディオミックス実施例に適用する。
【００１９】
ＭＲＭの一実施例は、各受信したオーディオ及びビデオパケットのタイムスタンプ（ＴＳａ又はＴＳｖ）を操作（加工）して、操作されたタイムスタンプ（Manipulated Timestamp）（ＭＴＳａ又はＭＴＳｖ）とするようにしてよい。この操作（加工）は、受信したＲＴＰパケットのヘッダー内に埋め込まれたタイムスタンプの値から或るデルタ値（それぞれΔＴＳａ又はΔＴＳｖ）を引算することによって行われ得る。該ΔＴＳａ及びΔＴＳｖは、各ＭＲＥ毎に、該ＭＲＥがセッションに接続された後に、計算され得る。他の実施例において、該ΔＴＳａ及びΔＴＳｖは、該ＭＲＭで受信した各メディアストリーム毎に計算され得る。計算されたΔＴＳａ及びΔＴＳｖは全セッションのために残ってよい。ＭＲＭのいくつかの実施例においては、該ΔＴＳａ及びΔＴＳｖは、時々刻々と、例えば数１０秒乃至数１０分ごとに、再評価され得る。この例において、ＭＲＭは、複数のＭＲＥの間に配置された中間ネットワーク装置として使用され得る。
【００２０】
オーディオストリーム用のＴＳａ又はビデオストリーム用のＴＳｖを計算することは、関連するＳＲ’（オーディオ又はビデオ）をＭＲＭからＭＲＥに送り、かつ、該ＭＲＥからＲＲとＳＲを取得することにより開始される。いくつかの実施例において、該ＲＲとＳＲは１つのＲＴＣＰメッセージにまとめられてよい。該ＲＲに基づいて、該ＭＲＭとＭＲＥとの間の関連する一往復時間（ＲＴＴ：ラウンド・トリップ・タイム）が計算される。該計算された関連ＲＴＴ、それに関連するＳＲ内のウォールクロックフィールド、及び該ＲＲが該ＭＲＥから受信されたときのＭＲＭのウォールクロックに基づいて、該ＭＲＭとＭＲＥの関連するウォールクロック間の差（ＷＣ＿ＤＩＦＦ）が推定され得る。推定されたＲＴＴ及び／又は該ＳＲの到着時刻に依存して、オーディオ又はビデオのいずれについても、共通のＷＣ＿ＤＩＦＦが計算され得る。
【００２１】
最後に、該ＳＲ内のウォールクロック、該共通ＷＣ＿ＤＩＦＦ、オーディオ及び／又はビデオのそれぞれのクロックレート、及び、ＭＲＭのＴＳａ又はＴＳｖの基準とタイムスタンプオーディオ又はビデオそれぞれとの間の差、の関数として前記ΔＴＳａ又はΔＴＳｖが計算され得る。各ＭＲＥ毎の若しくは該セッションに関連した各ストリーム毎の、該共通ＷＣ＿ＤＩＦＦ、該ΔＴＳａ、及び該ΔＴＳｖの計算された値は、セッションＲＴＰプロセッサにおいてテーブル内に記憶され得る。このテーブルは時々刻々と更新され得る。
【００２２】
或るＴＭＲＥからの、圧縮されたメディア（オーディオ又はビデオ）を搬送する、各受信されたパケット毎に、該セッションＲＴＰプロセッサは、適切なΔＴＳａ又はΔＴＳｖの値を取り出すことができ、従って、ＴＳａ又はＴＳｖをＭＴＳａ又はＭＴＳｖに（それぞれ）操作することができる。該ＭＴＳａ又はＭＴＳｖは、それぞれ、受信したＴＳａ又はＴＳｖに代えて、中継されたＲＴＰパケットのヘッダーに配置され得る。ＭＲＭからＲＭＲＥへと中継されるパケット内に埋め込まれた該操作されたタイムスタンプは、該メディアのキャプチャ時刻を該ＭＲＭの時間ドメイン（時間定義域）内のものへと変換する。従って、ＭＴＳａ又はＭＴＳｖは該ＭＲＭの時間ドメインにおける該メディアのキャプチャ時刻を表している。このタイムスタンプの操作のために、各メディアタイプ（オーディオ用のものとビデオ用のもの）毎に単一の送り手レポートが該ＭＲＭによって各ＲＭＲＥへと送付され得る。この送り手レポートは、そのメディアタイプのすべてのストリームに対して適用可能である。こうして、複数のＴＭＲＥからの複数の受信されたストリームの各々の各パケットの該ＭＴＳａ又はＭＴＳｖは、中間ノード（例えば該ＭＲＭ）から、或る単一のエンティティから受信されたものとして出現する。
【００２３】
従って、複数の選択され中継されたオーディオ及びビデオストリームを該ＭＲＭから受信する或るＲＭＲＥは、オーディオをミキシングする又はＣＰビデオ画像を組み立てる前に、各中継されたストリーム内の該ＭＴＳａ及びＭＴＳｖを該ＭＲＭから受信した送り手レポートからの情報と共に使用して、該複数のオーディオ及びビデオストリームを合成することができる。この新規な技術は、該ＭＲＭでの複雑化された同期化を要求することなしに、若しくは複数ＴＭＲＥの各１つの送り手レポートを受信することに依存することなしに、複数のＲＭＲＥがオーディオとビデオを同期化することを可能にする。こうして、この技術は、エンドポイント間のレーテンシー（時間遅れ）を減少し、かつ、該ＭＲＭと複数ＲＭＲＥ間での帯域消費を減少するのみならず、該ＭＲＭと複数ＲＭＲＥの両方での計算資源を節約する。
【００２４】
例えば、オーディオミックスが該ＭＲＭによって行われる或るＭＲＣの実施例において、追加的な適応がなされ得る。この追加的な適応は、もし該オーディオミックス内にそれが存在するならば、或るＲＭＲＥが、或るＴＭＲＥから発された提示されたビデオストリームを同じＴＭＲＥから発されたオーディオデータと同期化することを可能にする。そのようなシステムの一実施例は、圧縮オーディオミックスを搬送する各パケットのＲＴＰ拡張ヘッダーに新しいフィールド（field: データ領域）を追加することを具備し得る。該新しいフィールドにおいて、ＭＲＭは、そのオーディオストリームが該オーディオミックス内に含まれている複数のエンドポイントと、それらの各操作されたタイムスタンプ（ＭＴＳ）とを示してよい。
【００２５】
そのようなシステムの別の実施例は、該ＭＲＭで、オーディオストリームの複数パケットを、そのミキシング前に、それらのキャプチャ時刻に従って整列させることを具備し得る。加えて、圧縮されたオーディオミックスを搬送する各パケットのＲＴＰ拡張ヘッダーに新しいフィールドが追加されてよく、そこにおいて、該ＭＲＭは該オーディオミックス内にオーディオが含まれている１以上のエンドポイントを示してよい。該オーディオパケットのＲＴＰタイムスタンプは調整されたタイムスタンプであり、それは、今や該ミックス内に含まれたオーディオソースを該ＭＲＭのタイミングドメインにおいて整列させるために使用されるキャプチャ時刻を表す。
【００２６】
本開示を通して、ＭＲＣシステムは、複数のオーディオ及び／又はビデオストリームを或る受信エンドポイントに中継するものとして説明される。しかし、本発明は、ＭＲＣシステムが単一のオーディオ及び／又は単一のビデオストリームのみを該受信エンドポイントに中継する場合にも同様に適用し得る。複数ストリームの例は単なる一例として使用する。
【００２７】
本開示におけるこれらの及びその他の観点は、添付図面と詳細説明に鑑みて明白であろう。上述した概要は、各潜在する実施例又は本開示の各観点及びその他の特徴をことごとく要約することを意図するものではなく、かつ、本開示の利点は、添付図面と共に以下述べる詳細な実施例及び付属する請求の範囲を読むことに基づき明らかになるであろう。
【００２８】
更に、詳細な実施例は発明の概念を当業者に図説するために詳細に説明されているが、そのような実施例は様々な変形及び変更形態を施し得る。従って、図面と詳細説明はいかようにしても本発明概念の範囲を限定することを意図していない。
【００２９】
この明細書に組み込まれてその一部をなしている添付図面は、本発明に矛盾しない装置と方法の実装を図示するものであり、かつ、詳細説明と共に、本発明に矛盾しない効果と原理を説明するの貢献する。
【図面の簡単な説明】
【００３０】
【図１】図１は、一実施例に従い、多様な電子ビデオ会議システムを具備するマルチメディア中継会議システムを示す図。
【００３１】
【図２】図２は、一実施例に従うＭＲＭの関連要素を示すブロック図。
【００３２】
【図３Ａ】図３Ａは、オーディオミキシングがＲＭＲＥによって行われる実例技術と構成要素を実装しているセッション圧縮メディアＲＴＰプロセッサの関連要素を含む簡略ブロック図。
【００３３】
【図３Ｂ】図３Ｂは、オーディオミキシングがＭＲＭによって行われる実例技術と構成要素を実装しているセッション圧縮オーディオ及びビデオＲＴＰプロセッサの関連要素を含む簡略ブロック図。
【００３４】
【図４】図４は、１ストリームの各受信したパケットのタイムスタンプをＭＲＭの時間ドメインに変換するために使用されるパラメータを用意するための方法の関連動作を説明するフローチャート。
【発明を実施するための形態】
【００３５】
以下の説明においては、説明する目的のために、多くの特定の詳細例が本発明の全体的理解を提供するために述べられる。しかし、本発明がこれらの特定の詳細例なしに実現され得ることは当業者にとって明白である。別の例においては、本発明が不明確にならないようにするためにブロック図形式で構造と装置が示される。下付き文字又は添え字無しの番号への参照は、その参照番号に対応する下付き文字又は添え字の全ての実例を参照すると理解される。
【００３６】
ここで使用されるものとして、「コンピュータシステム」の用語は、単一のコンピュータ、又はコンピュータシステム上で若しくはコンピュータシステムによって実行されるものとして述べられた機能を実行するために協働する複数のコンピュータのことを言う。
【００３７】
いくつかの図を通して同様な数字は同様なエレメントを表している図面に戻って、本開示の実施例が説明される。便宜上、同じグループのいくつかのエレメントのみが数字でラベル付けされる。図の目的は実施例話説明することであって、製造のためではない。そこで、図面内に示される特徴は、便宜と提示の明確化のためにのみ選択される。更に、本開示において使用された言語は、判読性及び指令目的のために原則的に選択されており、発明の主題を輪郭づけたり範囲づけるために選択されたものではなく、そのような発明の主題を決定するためには請求の範囲に頼ることが必要とされる。
【００３８】
本明細書において「一実施例」又は「或る実施例」に言及することは、該実施例に関連して説明される特定の特徴、構造、又は特性が少なくとも本発明の一実施例内に含まれるということを意味しており、「一実施例」又は「或る実施例」に何度も言及することは、必ずしもすべて同一の実施例に言及していると理解されるべきではない。
【００３９】
以下の説明のあるものはソフトウェア又はファームウェアに関係する言葉で書かれているけれども、実施例は、ここで述べられた特徴と機能性を、所望によりソフトウェア、ファームウェア又はハードウェアで、ソフトウェア、ファームウェア及びハードウェアの任意の組み合わせを含んで、実装するものであってよい。以下の説明において、「ユニット」、「エレメント（要素）」、「モジュール」及び「論理的モジュール」の語は、交換可能なように使用されてよい。１つのユニット又はモジュールとして指定された何らかのものは、単体のユニットであってよく、若しくは特別化された又は集積化されたモジュールであってもよい。１ユニット又は１モジュールは、モジュラーであってもよく、又はそれを容易に取り外したり別の類似のユニット又はモジュールと差し替えたりできるモジュラーの様相を持っていてもよい。各ユニット又はモジュールは、１又は複数のプロセッサが該ユニット又はモジュールに帰された機能性を実行するようにプログラムされる結果を最終的にもたらすように、ソフトウェア、ファームウェア及びハードウェアのいずれか１つであってよく、若しくはそれらの任意の組み合わせであってよい。加えて、同じ又は異なるタイプの複数のモジュールが単一のプロセッサによって実装されてよい。論理的モジュールのソフトウェアは、読み書きハードディスク、ＣＤ−ＲＯＭ、フラッシュメモリ、ＲＯＭ、又はその他のメモリあるいは記憶装置及びその他、のようなコンピュータ読み取り可能な媒体上において実施されてよい。或るタスクを実行するために、或るソフトウェアプログラムが必要に応じて適当なプロセッサにロードされてよい。本開示において、タスク、方法、処理の用語は相互交換可能に使用され得る。
【００４０】
図１は、新規なマルチメディア中継会議システム１００を図示するものであり、それは一実施例に従い多様な新規な電子ビデオ会議システムを具備する。システム１００は、ネットワーク１１０、メディア中継ＭＣＵ（ＭＲＭ）１２０のような１以上の中間ノード、及び複数のメディア中継エンドポイント（ＭＲＥ）１３０を含み得る。ネットワーク１１０は、パケット交換ネットワーク、回線交換ネットワーク、ＩＰネットワーク、又はそれらの任意の組み合わせであってよく、しかし、これに限定されない。ネットワークを介したマルチメディア通信は、例えばＨ．３２３又はセッション開始プロトコル（ＳＩＰ）のような通信プロトコルに基づき得るが、これに限定されるものではなく、また、Ｈ．２６４、Ｇ７１１、Ｇ７１９のようなメディア圧縮標準規格を使用し得るが、これに限定されるものではない。本開示において、データチャンク（chunk: かたまり）及びパケットの用語は相互交換可能に使用され得る。国際通信連合（ＩＴＵ）標準規格についてもっと知りたいならば、ＩＴＵのウェブサイトwww.itu.int. を訪問することを勧める。ＳＩＰについてもっと知るためには、ＩＥＴＦのウェブサイトwww.ietf.org. を訪問することである。
【００４１】
各メディア中継エンドポイント（ＭＲＥ）１３０は、別のＭＲＥ１３０又は前記ＭＲＭ１２０に対して双方向のオーディオ及び／又はビデオ通信をリアルタイムに提供することが可能である。ＭＲＥは、当該セッションにおける会議出席者の端末装置であり、或るＭＲＭ１２０から中継された圧縮されたメディア（オーディオ及びビデオ）を受信し、かつ、該ＭＲＭ１２０に対して中継ＲＴＰ圧縮されたオーディオ及びビデオデータチャンクを供給するための能力を有する。中継アップリンク（該ＭＲＭ１２０に向けて）及び中継されたダウンリンク（該ＭＲＥに向けて）の圧縮されたメディア（オーディオ及びビデオ）のデータチャンクは、ＲＴＰ圧縮されたメディアのデータチャンク（以下、「ＲＴＰ圧縮メディアデータチャンク」と略称）として送出され得る。該中継アップリンクデータチャンクは該ＭＲＭ１２０に対する入力データチャンクと考えられてよく、該中継されたダウンリンクデータチャンクは出力データチャンクと考えられてよい。各ＭＲＥ１３０は、適当な要求されたビットレート又は複数レート及び要求された圧縮標準規格からなる「中継ＲＴＰ圧縮オーディオデータチャンク」を送出し得る。同様に、各ＭＲＥ１３０は、適当な要求されたサイズ又は複数サイズ及び要求された圧縮標準規格からなる「中継ＲＴＰ圧縮ビデオデータチャンク」を送出し得る。いくつかの実施例において、各ＭＲＥ１３０は、ヘッダー内の或るフィールド内に又は該中継ＲＴＰ圧縮オーディオデータチャンクの拡張ヘッダー内に該オーディオのエネルギー表示情報を埋め込むことにより当該オーディオのエネルギーを表示する情報を送るように適合され得る。
【００４２】
各ＭＲＥ１３０は、ＭＲＥ識別子（ＩＤ）に関連付けられることができ、該ＩＤはメディアデータの中継ＲＴＰ圧縮チャンクのリアルタイム転送プロトコル（ＲＴＰ）ヘッダー内で搬送され得る。一実施例において、該ＩＤは、各ＭＲＥにおいてランダムに選択されてよく、かつ、その特異性を照合した後にＭＲＭ１２０によって潜在的に確認されてよい。別の実施例では、該ＩＤは、該ＭＲＭ１２０によって割り当てられて、関連するＭＲＥ１３０に送られてよい。いくつかの実施例では、該ＭＲＥのＩＤは、メディアストリームの種別表示に関連付けて使用され得、関連するＭＲＥ１３０によって送られた特定のストリームを識別するストリームＩＤを産み出す。しかし、いくつかの実施例では、該ストリームＩＤは、メディアデータのＲＴＰチャンクのリアルタイム転送プロトコル（ＲＴＰ）ヘッダー内で搬送され得、同期元（ＳＳＲＣ）又はＲＴＰの拡張ヘッダーにおいて書き込まれる。別の実施例では、該ストリームＩＤは、ＲＴＰヘッダー内の寄与元ＩＤ（ＣＳＲＣ）フィールド内にて搬送され得る。別の実施例では、該ストリームＩＤは、各中継ＲＴＰ圧縮メディアデータチャンクの拡張ヘッダー内に書き込まれ得る。該ストリームＩＤは、該ＭＲＭ１２０が受信した中継ＲＴＰ圧縮オーディオ及び／又はビデオパケットの提供源（ソース）を識別することを可能にし得る。
【００４３】
別の実施例では、同じＭＲＥ１３０の中継ＲＴＰ圧縮オーディオデータチャンク及び中継ＲＴＰ圧縮ビデオデータチャンクが、関係ないＩＤを持っていてもよい。そのような実施例においては、中継ＲＴＰ圧縮オーディオ及び／又はビデオデータチャンクがＭＲＭ１２０上で受信されるＩＰアドレスとＩＰポートが、ＩＤ番号に代えて、識別のために使用され得る。
【００４４】
一実施例において、各出席者（ＭＲＥ１３０）の受信されたオーディオエネルギーに従って、ＭＲＭ１２０は、当該セッションの或る期間において、どの出席者がＣＰ画像内に提示されるであろうかを決定し得る。例えば、或る将来の所与の時間期間中において、最も高いオーディオエネルギーを持つ複数のＭＲＥ１３０が選択され、提示され、聴かれ得る。更に、ＭＲＭ１２０は、どの出席者がレイアウト内の話者区画内に表示されるであろうかを決定し得る。別の実施例では、各ＭＲＥ１３０が、どの出席者がレイアウト内及びどの区画内に提示されるかを決定し得る。そのような実施例において、該ＭＲＥ１３０のユーザは、これに限定されるものではないが、米国特許第７５４２０６８号に開示されたクリック及びビュー方法のような、提示される出席者を選択するためのユーザインターフェイス手法を使用し得る。
【００４５】
ＭＲＥ１３０のいくつかの実例は、該選択された出席者に由来する、受信した中継されたＲＴＰ圧縮ビデオストリームをデコードし、適当なレイアウト区画内に各画像を表示し得る。ＭＲＥ１３０は、該選択された出席者に由来する、受信した中継されたＲＴＰ圧縮オーディオストリームをデコードし、複数の異なるオーディオストリームをミックスし、該ミックスしたオーディオを該ＭＲＥ１３０のラウドスピーカーに伝送し得る。別の方向において、該ＭＲＥ１３０は、中継ＲＴＰ圧縮オーディオ及びビデオストリームを前記ＭＲＭ１２０に向けて供給し得る。
【００４６】
ＭＲＥ１３０の他の実例は、複数のオーディオストリームを受信しデコードしそれらを１つのストリームにミックスするために、処理能力の不足、オーディオ中継コーデックの不足、若しくは帯域制限に悩まされ得る。そのような場合、複数の最も活発な話者からのオーディオストリームのミックスでなる単一の圧縮されたミックスされたオーディオストリームを前記ＭＲＭ１２０から送信することが好ましく、例えば、その一方で、複数の選択されたＭＲＥのビデオストリームがこれを受信するＭＲＥに対して別々に送られ、該受信するＭＲＥがそれらをデコードし、デコードした複数ストリームを１つのＣＰビデオ画像へと組み立てる。
【００４７】
或るＲＭＲＥ（受信するＭＲＥ、つまり受信側ＭＲＥ）１３０において、該ＣＰビデオ画像を適切に提示しそれに関連するオーディオストリームと同期して再生するために、オーディオとビデオの同期化が必要とされる。複数のオーディオストリームを受信し、デコードし、それらをミックスすることができるＭＲＥ１３０の実施例において、ＭＲＭ１２０を介して同じＴＭＲＥ（送信するＭＲＥ、つまり送信元ＭＲＥ）１３０から受信したオーディオとビデオの同期化は、そのＭＲＭ１２０から受信した前記ＭＴＳａ（オーディオの操作されたタイムスタンプ）、ＭＴＳｖ（ビデオの操作されたタイムスタンプ）、ＳＲ（送り手レポート）に基づいて行われ得る。該操作されたタイムスタンプの使用にもかかわらず、共通のＲＦＣ３５５０技術が該オーディオとビデオを同期化するために使用できる。
【００４８】
いくつかのＭＲＣシステムにおいて、そのＭＲＭ１２０は、複数のＴＭＲＥから受信したオーディオストリームを、それらをミキシングする前にそれらのキャプチャ時刻に従って、整列させてよい。こうして、単一のＭＴＳａが、該ＭＲＭ１２０によって送られる圧縮されたオーディオデータパケット内で搬送されるミックスされたオーディオの共通のキャプチャ時刻を反映し得る。そのようなＭＲＣシステムにおいて、或るＲＭＲＥ１３０は、該ミックス内の各オーディオ信号とそれに関連したビデオストリームとを前記ＭＴＳｖに基づいて同期化することができ、該ＭＴＳｖは、該ミックスされたオーディオのデータを搬送する或るパケットのＲＴＰヘッダーによって搬送される前記ＭＴＳａと一緒に圧縮されたビデオストリームを搬送する或るパケットのＲＴＰヘッダー内に書き込まれている。こうして、前記ＣＰビデオ画像内のビデオ画像は、同じ共通のキャプチャ時刻からなり、かつオーディオミックスと音声同期され得る。
【００４９】
そのようなＭＲＣシステムの別の実施例では、圧縮されたミックスされたオーディオパケットのＲＴＰ拡張ヘッダー内に、該オーディオミックス内にそのオーディオが含まれている複数ＴＭＲＥのＩＤからなる追加情報が配置され得る。該ＩＤのフィールドに基づいて、それに関連して提示されるビデオストリームが選択されることができ、共通のＭＴＳａと一緒にそのＭＴＳｖは、関連するＴＭＲＥから受信したビデオ画像と該ミックスされたオーディオ内に今ある該同じＴＭＲＥから受信したオーディオデータとを同期化するために使用され得る。同様に、該ミックス内の各オーディオデータはそのビデオ画像と音声同期され得る。こうして、該ＣＰビデオ画像内の複数ビデオ画像は異なるキャプチャ時刻からなるが、各ビデオ画像は、同じＴＭＲＥから受信され且つ該オーディオミックス内に今あるオーディオと音声同期される。
【００５０】
いくつかのＭＲＣシステムにおいて、そのＭＲＭ１２０は、複数のＴＭＲＥから受信したオーディオストリームを、それらをミキシングする前にそれらのキャプチャ時刻に従って、整列させることをしない。そのようなＭＲＣシステムにおいては、或るＲＭＲＥ１３０が該ミックス内の各オーディオ信号とそれに関連するビデオストリームとを前記ＭＴＳｖに基づいて同期化することができ、該ＭＴＳｖは、該ミックスされたオーディオのデータを搬送する或るパケットのＲＴＰ拡張ヘッダーによって搬送される追加情報と一緒に前記圧縮されたビデオストリームを搬送する或るパケットのＲＴＰヘッダー内に書き込まれている。
【００５１】
前記追加情報は、対のリスト内に配列され得る。各対は、当該パケットによって搬送される前記ミックスされたオーディオデータ内に現在入っているオーディオストリームに関連付けられ得る。各対は、そのオーディオの出所であるＴＭＲＥを指摘するＩＤを表すフィールドと、そのオーディオのＭＴＳａを表すフィールドとからなる。該ＩＤフィールドに基づいて、関連して提示されるビデオストリームが選択されることができ、前記ＭＴＳａと一緒にそのＭＴＳｖは、関連するＴＭＲＥから受信したビデオ画像と該ミックスされたオーディオ内に今ある該同じＴＭＲＥから受信したオーディオデータとを同期化するために使用され得る。同様に、該ミックス内の各オーディオデータはそのビデオ画像と音声同期され得る。こうして、該ＣＰビデオ画像内の複数ビデオ画像は異なるキャプチャ時刻からなるが、各ビデオ画像は、同じＴＭＲＥから受信され且つ該オーディオミックス内に今あるオーディオと音声同期される。
【００５２】
ＭＲＭ１２０の一実施例は、各会議が複数のＭＲＥを組み入れている複数のマルチメディア・マルチポイント会議を行うことができる。更に、ＭＲＭ１２０の一例は、各会議及びセッションの現在のニーズに従って複数のリソースを動的に割り当て且つ解除するように構成され得る。ＭＲＭ１２０の一例は、中央集中化されたアーキテクチャを持つことができ、かつ、複数のＭＲＥ１３０間におけるネットワーク１１０の中間ノードにおいて位置され得る。
【００５３】
ＭＲＭ１２０の一実施例は、同期処理に参画するように構成され得る。そのようなＭＲＭ１２０の一例は、各受信したパケットのタイムスタンプ（ＴＳａ又はＴＳｖ）を或る値（ΔＴＳａ又はΔＴＳｖ）によって操作する（加工する）ことができる。中継されたＲＴＰ圧縮パケットのヘッダー内においてＭＲＭ１２０からＲＭＲＥ１３０へと送られる該操作されたタイムスタンプ（それぞれＭＴＳａ又はＭＴＳｖ）は、受信したタイムスタンプ（オーディオ／ビデオ）があたかも該ＭＲＭ１２０から到来してきたかのように見えさせる。こうして、複数のＴＭＲＥ１３０を出所として複数のＲＭＲＥ１３０で受信される中継されたストリームの各パケットの前記ＭＴＳａ又はＭＴＳｖは、単一のエンティティつまり前記中間ノード（例えば前記ＭＲＭ１２０）を出所とするように見える。ＭＲＭ１２０の実施例についての更なる情報が、図２，３Ａ，３Ｂ及び４に関連して以下説明される。
【００５４】
図２は、ＭＲＭ２００の一実施例の関連要素（エレメント）を持つブロック図を図示する。該ＭＲＭ２００は、ネットワークインターフェイスモジュール（Network Interface Module:「ＮＩ」と略称）２２０と、1以上のセッション圧縮オーディオＲＴＰプロセッサ（Session Compressed Audio RTP Processor: 「ＳＣＡＲＰ」と略称）２３０と、1以上のセッション圧縮ビデオＲＴＰプロセッサ（Session Compressed Video RTP Processor: 「ＳＣＶＲＰ」と略称）２５０と、１つのシグナリング及び制御モジュール（Signaling and Control Module:「ＳＣＭ」と略称）２４０とを含んでいてよい。別の実施例では、ＭＲＭ２００は、各セッション毎に１つの割りで、1以上の前記ＳＣＭ２４０を含んでいてよい。ＭＲＭ２００のいくつかの実施例において、前記ＳＣＡＲＰ２３０と前記ＳＣＶＲＰ２５０は、オーディオ・ビデオの同期化に関してそれに関連する複数ストリームを操作するように構成された類似のモジュールを持ち得る。それらのモジュールは、セッション圧縮メディアＲＴＰプロセッサ（Session Compressed Media RTP Processor: 「ＳＣＭＲＰ」と略称）とも呼ぶこととし、図３Ａに関連して更に後述される。いくつかのＳＣＭＲＰが圧縮オーディオを搬送するＲＴＰストリームを取り扱うように構成されることができ（ＳＣＡＲＰ２３０）、また、いくつかのＳＣＭＲＰが圧縮ビデオを搬送するＲＴＰストリームを取り扱うように構成されることができる（ＳＣＶＲＰ２５０）。該ＳＣＭＲＰが或るメディアタイプを取り扱うように適合させるために、それに適当なウォールクロックとタイムスタンプクロックが提供され得る。
【００５５】
別の実施例において、ＭＲＭ２００は、圧縮されたミックスされたオーディオを複数のＲＭＲＥ１３０に供給するように構成されてよい。そのような実施例において、ＳＣＡＲＰ２３０及びビデオのＳＣＶＲＰ２５０の機能性は、図３Ｂに示されたもののように、セッション圧縮オーディオ及びビデオＲＴＰプロセッサ（ＳＣＡＶＲＰ）によって提供され得る。
【００５６】
前記ＮＩ２２０は、ネットワーク１１０を介してＭＲＥ１３０のような複数のビデオ会議装置と通信し得る。ＮＩ２２０は、これに限定されるものではないが、Ｈ．３２３やＳＩＰのような、１以上の通信標準規格に従って該通信をパース（構文解析、若しくは解析）する。更に、該ＮＩ２２０は、該通信の物理的レイヤ、データリンクレイヤ、ネットワークレイヤ及びトランスポートレイヤ（ＵＤＰ／ＴＣＰレイヤ）を処理し得る。ＮＩ２２０は、前記ＭＲＭ２００の内部モジュール及びＭＲＥ１３０若しくはその他のノード（図示せず）へ／またはそれらから制御及びデータ情報を送受信し得る。ＮＩ２２０は、前記ＭＲＥ１３０と前記ＭＲＭ２００の内部モジュールとの間で通信される異なる信号及びストリームをマルチプレクス／デマルチプレクスする。
【００５７】
圧縮されたオーディオのＲＴＰパケット及びＲＴＣＰレポート（ＳＲ又はＲＲ又はＳＲとＲＲの複合）は、ＮＩ２２０を介して、ＭＲＥ１３０から適切なＳＣＡＲＰ２３０へ／又はその逆に、伝送され得る。各ＳＣＡＲＰ２３０は、会議中の１セッションに関連付けられ得る。ＮＩ２２０は、或るＭＲＥ１３０が参加しているのはどのセッションかを、当該ＭＲＥ１３０のパケットのソース及び／又はデスティネーションＩＰアドレス並びにポート及び／又はＩＤに従って、判定することができ、こうして、該ＮＩ２２０が該ＭＲＥ１３０から受信したオーディオパケットをどのＳＣＡＲＰ２３０へ転送するかを、及びその逆を、決定することを可能にする。
【００５８】
圧縮されたビデオのＲＴＰパケット及びＲＴＣＰレポート（ＳＲ又はＲＲ又はＳＲとＲＲの混合）は、ＮＩ２２０を介して、ＭＲＥ１３０から適切なＳＣＶＲＰ２５０へ／又はその逆に、伝送され得る。各ＳＣＶＲＰ２５０は、会議中の１セッションに関連付けられ得る。ＮＩ２２０は、或るＭＲＥ１３０が参加しているのはどのセッションかを、当該ＭＲＥ１３０のパケットのソース及び／又はデスティネーションＩＰアドレス並びにポート及び／又はＩＤに従って、判定することができ、こうして、該ＮＩ２２０が該ＭＲＥ１３０から受信したオーディオパケットをどのＳＣＶＲＰ２５０へ転送するかを、及びその逆を、決定することを可能にする。
【００５９】
ＮＩ２２０は、また、ＳＣＭ２４０とＭＲＥ１３０との間でシグナリング及び制御データを送信及び受信することができる。別の実施例は、例えば各セッション毎に１つの割りで含むように、１以上のシグナリング及び制御モジュール（ＳＣＭ）２４０を具備し得る。
【００６０】
ＭＲＭ２００が取り扱っている各会議中のセッション毎に、１つのＳＣＡＲＰ２３０が該セッションのオーディオを処理するために割り当てられ得る。ＳＣＡＲＰ２３０は、中継するＲＴＰ圧縮されたオーディオデータのチャンク（ヘッダー及びペイロード）を、ＮＩ２２０を介して、該セッションに参加している複数のＭＲＥ１３０から取得し得る。ＲＴＣＰのＳＲ及びＲＲレポートが該ＳＣＡＲＰ２３０によって送られ又は取得され得る。加えて、該ＳＣＡＲＰ２３０は、制御バスを介して、前記ＭＲＭ２２０のウォールクロック及びオーディオストリーム用の該ＭＲＭ２２０のＲＴＰオーディオクロックをＳＣＭ２４０から受信し得る。該ＳＣＡＲＰ２３０によって処理されるオーディオストリームについて、該ＭＲＭ２２０のタイムスタンプＴＳａを作成するために1以上のカウンタが割り当てられ得る。該該ＭＲＭ２２０のＲＴＰオーディオクロックは割り当てられた１つのカウンタのクロックとして使用され得る。１つのカウンタは、或るランダム値で開始され、周期的モードで動作され得る。
【００６１】
該ＭＲＭ２２０のウォールクロック及び該ＭＲＭ２２０のＴＳａに基づいて、ＳＣＡＲＰ２３０は、各ＲＴＰパケット内で受信されるオーディオタイムスタンプを操作（加工）するように構成され得る。このＭＴＳａ（操作されたオーディオタイムスタンプ）は、ＲＭＲＥ（受信側のＭＲＥ）１３０で受信されるオーディオタイムスタンプが該ＭＲＭ２２０のタイミングドメインから来たかのように見えるように表わす。こうして、複数のＴＭＲＥ（送信側のＭＲＥ）１３０から受信されるストリームの各々の各パケットの該ＭＴＳａは、単一のエンティティつまり前記中間ノード（例えば前記ＭＲＭ１２０）から受信されたかのように見える。こうして、数秒（例えば５秒）毎に、ＳＣＡＲＰ２３０は、単一のＲＴＣＰオーディオＳＲを複数のＲＭＲＥの各々に送ることができるものとなり、それぞれ各１つのＴＭＲＥ１３０に関係する複数のＳＲを送る必要がない。
【００６２】
周期的に、例えば数１０ミリ秒毎に、ＳＣＡＲＰ２３０は、聴かれるべき、つまり複数ＲＭＲＥ１３０に向けて中継されるべき、オーディオチャンクの中継ＲＴＰ圧縮ストリームの１グループを選択することができる。この選択は、オーディオエネルギー又は受信したストリームに関連する平均エネルギーを比較することに基づき、もしくは音声活動検出（Voice Activity Detection: ＶＡＤ）に基づき、なされ得る。別の例として、この選択は前記ＳＣＭ２４０から受信したコマンドに基づきなされ得る。選択される中継ＲＴＰ圧縮ストリームの数は、ＭＲＥ１３０のオーディオミキシング能力に依存する。いくつかの実施例において、該選択されるストリームの数は会議出席者によって構成され得る。
【００６３】
ＳＣＡＲＰ２３０は、また、複数のＴＭＲＥのうち１つを主たる話者として選択することができ（例えば、該１つは最も広い区画内に表示される）、従って、シグナリング及び制御情報をＳＣＭ２４０に送出し得る。該主たる話者は、最も高いオーディオエネルギーを持つ及び／又は或る１周期時間にわたる聴きストリーム選択間隔の或るパーセンテージについてのＶＡＤ指示値を持つ一人の者であり得る。別の実施例において、ＳＣＡＲＰ２３０は、複数ＭＲＥ１３０の前記オーディオエネルギー及びＶＡＤについての前記情報をＳＣＭ２４０に送出し得る。該ＳＣＭ２４０では、主たる話者及び聴かれる（ミックスされる）ことになるオーディオデータのＲＴＰ圧縮ストリームのグループを選択し、シグナリング及び制御データを適切なＳＣＡＲＰ２３０及びＳＣＶＲＰ２５０に送るであろう。いくつかの実施例において、複数の会議出席者の選択された１グループ及び／又は主たる話者についての情報が、複数の前記ＭＲＥ１３０に伝送される。ＳＣＭ２４０から送られたシグナリング及び制御データに従って、ＳＣＡＲＰ２３０は、該選択された１グループの中継ＲＴＰ圧縮オーディオチャンクの前記ＴＳａを操作して前記ＭＴＳａとすることができ、それらを中継されたＲＴＰ圧縮オーディオチャンクとして前記ＮＩ２２０を介して適切な複数のＲＭＲＥ１３０に中継し得る。ＳＣＡＲＰ２３０についての更なる情報は図３Ａに関連して追って開示される。
【００６４】
ＭＲＭ２００が取り扱っている各会議中のセッション毎に、１つのＳＣＶＲＰ２５０が該セッションのビデオを処理するために割り当てられ得る。ＳＣＶＲＰ２５０の一例は、中継するＲＴＰ圧縮されたビデオデータのチャンク（ヘッダー及びペイロード）を、ＮＩ２２０を介して、該セッションに参加している複数のＭＲＥ１３０から取得し得る。また、ＲＴＣＰのＳＲ及びＲＲレポートが該ＳＣＶＲＰ２５０によって送られ又は取得され得る。加えて、該ＳＣＶＲＰ２５０は、制御バスを介して、前記ＭＲＭ２２０のウォールクロック及びビデオストリーム用の該ＭＲＭ２２０のＲＴＰビデオクロックをＳＣＭ２４０から受信し得る。該ＳＣＶＲＰ２５０によって処理されるビデオストリームについて、該ＭＲＭ２２０のタイムスタンプＴＳｖを作成するために1以上のカウンタが割り当てられ得る。該該ＭＲＭ２２０のＲＴＰビデオクロックは割り当てられた１つのカウンタのクロックとして使用され得る。１つのカウンタは、或るランダム値で開始され、周期的モードで動作され得る。
【００６５】
該ＭＲＭ２２０のウォールクロック及び該ＭＲＭ２２０のＴＳｖに基づいて、ＳＣＶＲＰ２５０は、各ＲＴＰパケット内で受信されるビデオタイムスタンプを操作（加工）するように構成され得る。このＭＴＳｖ（操作されたビデオタイムスタンプ）は、ＲＭＲＥ（受信側のＭＲＥ）１３０で受信されるビデオタイムスタンプが該ＭＲＭ２２０のタイミングドメインから来たかのように見えるように表わす。こうして、複数のＴＭＲＥ（送信側のＭＲＥ）１３０から受信されるストリームの各々の各パケットの該ＭＴＳｖは、単一のエンティティつまり前記中間ノード（例えば前記ＭＲＭ１２０）から出されたかのように見える。こうして、数秒（例えば５秒）毎に、ＳＣＶＲＰ２５０は、単一のＲＴＣＰビデオＳＲを複数のＲＭＲＥの各々に送ることができるものとなり、それぞれ各１つのＴＭＲＥ１３０に関係する複数のＳＲを送る必要がない。
【００６６】
周期的に、例えば数秒毎に、ＳＣＶＲＰ２５０は、提示されるべき、つまり複数ＲＭＲＥ１３０に向けて中継されるべき、ビデオチャンクの中継ＲＴＰ圧縮ストリームの１グループを選択することができる。この選択は、前記ＳＣＭ２４０から受信された命令に基づいてなされ得る。選択される中継ＲＴＰ圧縮ストリームの数及び各ＲＭＲＥ１３０毎のそれらのビデオパラメータは、例えばそのＲＭＲＥ１３０において使用されるＣＰ（常駐表示）レイアウトに依存してよい。ＳＣＶＲＰ２５０及びＳＣＡＲＰ２３０の動作についての更なる情報は図３Ａ及び図４に関連して後述される。
【００６７】
ＭＲＭのいくつかの実施例はＳＣＡＲＰ２３０及びＳＣＶＲＰ２５０を持たなくてもよい。その代りに、そのようなＭＲＭは、セッション圧縮オーディオ及びビデオＲＴＰプロセッサ（ＳＣＡＶＲＰ）３００Ｂを持っていてよい。そのようなＳＣＡＶＲＰ３００Ｂのオーディオ部分は、受信した圧縮されたオーディオストリームをデコードするように構成されることができ、どの話者が前記主たる話者として選択され且つどの話者が会議において聴かれると共にＣＰビデオレイアウト内に提示されるべきかを決定するために、該デコードしたストリームを分析する。それから、選択された複数の会議出席者の前記デコードされたオーディオがミックスされ、該ミックスされたオーディオが圧縮されて前記ＲＴＰパケット内に埋め込まれ得る。ＳＣＡＶＲＰ３００Ｂについての更なる情報は図３Ｂに関連して追って開示される。
【００６８】
ＳＣＭ２４０の一例は、前記ＭＲＭ２００の全体的動作を制御し得る。該ＳＣＭ２４０は、（予め準備された又は即席の）会議のセッションを開始し、複数エンドポイントへの接続を設定することができる。セッションのニーズに基づいて、ＳＣＭ２４０は該セッションの特質を決定することができ、該エンドポイントはそれに従って設定される。また、該ＳＣＭ２４０はＭＲＭ２００の内部モジュールにリソースを割り当てることもでき、ＲＴＰ圧縮オーディオ／ビデオの各ストリームにＩＤ番号を割り当てることができる。
【００６９】
時々刻々と、ＳＣＭ２４０は、データチャンクの各中継ＲＴＰ圧縮オーディオストリームのオーディオエネルギーを取得し、それに従って、新しい話者と各エンドポイントに提示されるべきビデオ源とを選択することができる。これらの選択に基づいて、ＳＣＡＲＰ２３０及びＳＣＶＲＰ２５０に命令が与えられる。ＳＣＭ２４０は、会議の話者、会議出席者の数、寄与するメディアストリーム、及び会議出席者のステータスの変化に関して、１以上のＲＭＲＥ１３０に通知することができる。
【００７０】
加えて、該ＳＣＭ２４０は、オーディオ及びビデオストリーム間の同期処理を補助するために使用される１以上のタイミングモジュールを含んでいてよい。ＳＣＭ２４０の該タイミングモジュールは、１つのウォールクロックと、オーディオストリーム用の１以上のクロックと、ビデオストリーム用の１以上のクロックとで構成されてよい。該ウォールクロックは、例えば１秒当り百万パルスのレートでパルスを供給し得る。該１以上のオーディオクロックは、１秒当り数千乃至数万パルス、例えば１秒当り８千乃至６万４千パルス、のレートでパルスを供給し得る。該１以上のビデオクロックは、１秒当り数万パルス、例えば１秒当り９万パルス、のレートでパルスを供給し得る。制御バスを介して、適切なＳＣＡＲＰ２３０及びＳＣＶＲＰ２５０に対して、それ関連する前記クロックが分配され得る。ＭＲＭについての情報は、図３Ａ，図３Ｂ，図４に関連して以下説明される。
【００７１】
図３Ａは、ＳＣＭＲＰ３００Ａの一例に関連する構成要素を含む簡略化されたブロック図であり、該ＳＣＭＲＰ３００Ａはオーディオ及びビデオの同期化の異なる実施例の技術と構成要素を実装するものであり、そこにおいて前記オーディオミックスはＲＭＲＥ（受信側のＭＲＥ）１３０によって行われる。該ＳＣＭＲＰ３００Ａは、オーディオストリームを処理してＳＣＡＲＰ２３０として動作するように構成され得る。また、該ＳＣＭＲＰ３００Ａは、ビデオストリームを処理して例えばＳＣＶＲＰ２５０として動作するように構成され得る。ＳＣＭＲＰ３００の一例は、ＲＴＰ入力バッファ３１０、ＲＴＰヘッダパーサー及びオーガナイザー３２０、各ＴＭＲＥ１３０から受信したメディアストリーム（オーディオ及びビデオ）の各々について１つの割りの複数のＴＭＲＥタイムスタンプマニピュレータ（ＴＭＴＭ）３３０Ａ、バス３４０、複数のＲＴＰプロセッサ３５０、及びＲＴＣＰセッションマネージャ（ＲＴＣＰＳＭ）３６０Ａを含んでいてよい。ＳＣＭＲＰ３００Ａは、例えば内部バス又は共有メモリであり得る制御バス３６５を介してＳＣＭ２４０によって制御され得る。ＳＣＭＲＰ３００Ａの入力及び出力メディアは、圧縮されたオーディオ又はビデオデータチャンクを送受信するための圧縮ＲＴＰメディアデータ共通インターフェイス（ＣＲＭＤＣＩ）３０５を介してＮＩ２２０に接続され得る。
【００７２】
各ＳＣＭＲＰ３００Ａは、ＭＲＭ２００によって取り扱われるＣＰ会議セッションのオーディオとビデオを処理するために割り当てられ得る。ＳＣＭＲＰ３００ＡのＲＴＰ入力バッファ３１０は、該セッションの参加者である複数のＴＭＲＥ１３０から受信した前記中継ＲＴＰ圧縮メディア（ＳＣＭＲＰ３００Ａの現在の構成に従うオーディオとビデオ）を、前記ＣＲＭＤＣＩ３０５から取得し得る。一実施例において、該ＲＴＰ入力バッファ３１０は、中継ＲＴＰヘッダー内のＩＤ番号を使用して、ＣＲＭＤＣＩ３０５から収集するのはどの中継ＲＴＰ圧縮メディアデータチャンクかを決定し得る。別の実施例において、ＲＴＰ入力バッファ３１０は、受信した関連パケットのソース及び／又はデスティネーションＩＰアドレス並びにポートに基づいて該中継ＲＴＰ圧縮メディアデータチャンクを前記ＮＩ２２０から受信し得る。
【００７３】
ＲＴＰヘッダパーサー及びオーガナイザー３２０は、ＲＴＰ入力バッファ３１０から中継ＲＴＰ圧縮メディアデータチャンクを抽出し、取得したＲＴＰパケットが送られるべきＴＭＴＭ３３０Ａを決定するために、該中継ＲＴＰ圧縮メディアデータチャンクのヘッダーをパース（構文解析、若しくは解析）する。この決定は、例えば該ＲＴＰヘッダーのＩＤフィールドに基づいてなされ得る。加えて、複数ＴＭＲＥの各１つから受信したＳＲ及びＲＲのようなＲＴＣＰメッセージがＲＴＣＰＳＭ３６０Ａに向けて送られ得る。いくつかの実施例において、該ＲＴＣＰメッセージは、また、それに関連するＴＭＴＭ３３０Ａに転送され得る。
【００７４】
ＴＭＴＭ３６０Ａの各々は、或るＴＭＲＥ１３０から受信した或るメディアストリームに関連付けられ得る。該メディアはＳＣＭＲＰ３００Ａの現在の構成に依存するオーディオ又はビデオであり得る。ＴＭＴＭ３３０Ａの一例は、それに関連する受信したメディアストリームの各受信した中継ＲＴＰ圧縮メディアデータチャンクのＲＴＰヘッダー内に埋め込まれたタイムスタンプを操作（加工）することができる。この操作（加工）は、該メディアのキャプチャ時刻を、前記ＴＭＲＥ１３０の時間ドメインから前記ＭＲＭ２００の時間ドメインに変換する。
【００７５】
メディアの新しいストリームを搬送する接続を或る１つのＴＭＲＥ１３０で確立するとき、或る１つのＴＭＴＭ３３０Ａが割り当てられ、ＲＴＣＰＳＭ３６０Ａによって起動され得る。開始化の後、該ＲＴＣＰＳＭ３６０Ａは、計算されたΔＴＳａ又はΔＴＳｖ（オーディオ又はビデオ、それぞれ）の値をＴＭＴＭ３３０Ａにロードし得る。該ΔＴＳａ又はΔＴＳｖを取得した後、各受信した中継ＲＴＰ圧縮メディアデータチャンクの前記ヘッダーがパースされ、該ＴＳａ又はＴＳｖのフィールドが操作（加工）されたタイムスタンプ値ＭＴＳａ又はＭＴＳｖにそれぞれ変換される。該ＭＴＳａは受信したＴＳａ引く取得したΔＴＳａとして計算され得る（ＭＴＳａ＝ＴＳａ−ΔＴＳａ）。該ＭＴＳｖは受信したＴＳｖ引く取得したΔＴＳｖとして計算され得る（ＭＴＳｖ＝ＴＳｖ−ΔＴＳｖ）。
【００７６】
該ＭＴＳａ又はＭＴＳｖを備えた前記中継ＲＴＰ圧縮メディアデータチャンクは、バッファを介してバス３４０に転送され、そして、バス３４０から１以上のＲＴＰプロセッサ３５０に転送され得る。それらの１以上のＲＴＰプロセッサ３５０の各１つは、中継されたオーディオ又はビデオストリームを混合し再生する必要のある1以上のＲＭＲＥ１３０に関連付けられ得る。バス３４０は共有メモリとすることができ、各ＴＭＴＭ３３０Ａが、周期的様式でアドレスの或る間隔で、前記ＭＴＳａ又はＭＴＳｖで操作された前記中継ＲＴＰ圧縮メディアデータチャンクを格納するように構成され得る。同様に、各ＲＴＰプロセッサ３５０は、ＴＭＴＭ３３０Ａの各１つに対して割り当てられたアドレス間隔についての情報を知らされることができ、従って、適切に操作されたメディアストリームを選択しフェッチすることができる。
【００７７】
ＳＣＭＲＰ３００の一実施例において、前記バス３４０は例えばＴＤＭバスであり得る。そのような実施例において、各ＴＭＴＭ３３０Ａは、前記操作された中継ＲＴＰ圧縮メディアデータチャンクを或るタイムスロットで前記バス３４０に伝送するように構成され得る。同様に、ＲＴＰプロセッサ３５０の各１つは、ＴＭＴＭ３３０Ａの各１つに対して割り当てられたタイムスロットについての情報を知らされることができ、従って、適切に操作されたメディアストリームを選択しフェッチすることができる。
【００７８】
各ＲＴＰプロセッサ３５０は、1以上のＲＭＲＥ１３０に割り当てられることができる。１つのＲＴＰプロセッサ３５０は、マルチプレクサ／セレクタ３５２とＲＴＰメディア出力ＦＩＦＯ３５４とを含んで構成され得る。該マルチプレクサ／セレクタ３５２は、バス３４０を介して1以上のＴＭＴＭ３３０Ａの出力を選択することにより、操作された中継ＲＴＰ圧縮メディアデータチャンクの１以上のストリームからなる１グループを選択し得る。このグループ選択は、ＲＴＣＰＳＭ３６０Ａから受信した制御信号に基づいてなされ得る。いくつかの実施例において、前記選択は、該セッションの現在の活動に基づいてなされ得る。該現在の活動は、ＶＡＤ指示値を使用して若しくは使用せずに、各ＴＭＲＥ１３０のオーディオエネルギーに基づいて決定され得る。別の例では、前記選択は、それらの現在の活動とは関係なく、１以上の特定のソースのユーザ選択に基づいてなされ得る。選択されるＴＭＴＭ３３０Ａの数は、例えば、オーディオストリームについてのＲＭＲＥ１３０のミキシング能力、ビデオストリームについてそのＲＭＲＥ１３０で提示されるＣＰ画像の現在使用中のレイアウト、若しくは会議出席者の指示、に依存し得る。通常、ある１つのＭＲＥ１３０のために選択された複数のソースの前記１グループは、それ自身のメディアストリームを含まない。別の実施例では、マルチプレクサ／セレクタ３５２は、選択するのはどのＴＭＲＥ１３０かについての関連するＲＭＲＥ１３０からの制御信号を受信し得る。更に、該マルチプレクサ／セレクタ３５２は、該会議におけるリアルタイムの変化に従ってその入力選択を時々刻々と変化し得る。
【００７９】
変換された中継ＲＴＰ圧縮メディアデータチャンク（前記ＭＴＳａ又はＭＴＳｖを伴う）の前記選択された複数ストリームは、１つの中継されたＲＴＰ圧縮メディアデータストリームにマルチプレクス（複合化）されることができ、該中継されたＲＴＰ圧縮メディアデータストリームは、前記ＲＴＰメディア出力ＦＩＦＯ３５４に送られ、そして、そこからＣＲＭＤＣＩ３０５及びＮＩ２２０を介して適切な1以上のＲＭＲＥ１３０に送信される。該ＣＲＭＤＣＩ３０５を介して前記ＲＴＰプロセッサ３５０から送信される前記中継されたＲＴＰ圧縮メディアデータチャンクは、前記ＭＲＭ２００の時間ドメインにおける該メディア（オーディオ又はビデオ）のキャプチャ時刻を表す操作されたタイムスタンプ（ＭＴＳａ又はＭＴＳｖ）を持つ。
【００８０】
該ＲＴＰプロセッサ３５０の別の実施例（図示しない）は、複数セレクタの１グループを含み得る。各セレクタは、バス３４０に接続され、複数ＴＭＴＭ３３０Ａの１つの出力を選択し得る。該セレクタの他のポートはＦＩＦＯを介して前記ＣＲＭＤＣＩ３０５に接続され得る。そのような実施例において、前記選択されたメディアストリームは、中継されたＲＴＰ圧縮メディアデータチャンクの複数ストリームとして、複数のＭＲＥに向けて送出される。
【００８１】
別の実施例において、１つのＲＴＰプロセッサ３５０が、会議セッションに参加している複数の会議出席者の１グループに仕えるために使用されることができ、その場合、全ての関連するＲＭＲＥ１３０が、中継されたＲＴＰ圧縮メディアデータチャンクのストリームの同じ選択を受信するであろう。
【００８２】
マルチメディア会議セッションの設定を確立する段階において、ＳＣＭ２４０はＳＣＭＲＰ３００Ａの複数リソースを割り当て、前記ＲＴＣＰＳＭ３６０Ａを起動することができる。ＲＴＣＰＳＭ３６０Ａの一実施例は、ＳＣＭＲＰ３００Ａの動作を管理し得る。該ＲＴＣＰＳＭ３６０Ａは、ＲＴＣＰメッセージ（例えばＳＳ、ＳＲ）を送受信するといったようなＲＴＣＰマネージャの共通の動作を実行し得る。該共通の動作は、周知であるため、更なる説明を省略する。起動後、ＳＣＭ２４０は、前記ウォールクロック及び前記メディアクロック（オーディオ又はビデオ）の１以上のクロックパルスを、前記制御バス３６５を介して前記関連するＲＴＣＰＳＭ３６０Ａに向けて送出し得る。該ウォールクロックパルスは、例えば１秒当り百万パルスのレートであり得る。該１以上のオーディオクロックパルスは、１秒当り数千パルス、例えば１秒当り８千乃至６万４千パルス、のレートであり得る。該１以上のビデオクロックパルスは、１秒当り数万パルス、例えば１秒当り５万乃至１５万パルス、のレートであり得る。別の実施例では、該ＲＴＣＰＳＭ３６０Ａは各メディア毎に１以上のパルス発生器からなっていてよい。
【００８３】
該セッションに加入する或る１人の出席者のメディアつまりオーディオ又はビデオの新たな各ストリーム毎に、１つのＴＭＴＭ３３０Ａが割り当てられる。加えて、ＲＴＣＰＳＭ３６０Ａが、図４に関連して追って説明される新ストリーム適合処理４００を起動し得る。該新ストリーム適合処理は、そのストリーム（オーディオ又はビデオ）に適切なレートで関連するΔＴＳａ又はΔＴＳｖの値を決定するために使用される。そのクロックレートは、該受信したストリームに使用される前記ＲＴＰクロックレートにマッチする。前記計算されたΔＴＳａ又はΔＴＳｖの値は、１つの適切なＴＭＴＭ３３０Ａにロードされる。ＳＣＭＲＰ３００Ａのいくつかの実施例において、例えば、補償するクロックドリフトを固定するために該計算されたΔＴＳａ又はΔＴＳｖを調整するために、前記ＲＴＣＰＳＭ３６０Ａは、前記処理４００の方法を、周期的に、例えば数１０分毎に、実行するように構成され得る。
【００８４】
ＲＴＣＰＳＭ３６０Ａの一実施例は、複数のカウンタを含み得る。そのＳＣＭＲＰ３００Ａの前記メディアタイプについて前記ウォールクロックをモニターするために、１つのカウンタが割り当てられ得る。他のカウンタが、前記ΔＴＳａ又はΔＴＳｖを供給するために割り当てられ得る。それらのカウンタは、＜Ａ  ＴＳ＿ＲＥＦ＞（オーディオタイムスタンプ基準値）を伴う＜Ａ  ＷＣ＿ＲＥＦ＞（オーディオウォールクロック基準値）と、＜Ｖ  ＴＳ＿ＲＥＦ＞（ビデオタイムスタンプ基準値）を伴う＜Ｖ  ＷＣ＿ＲＥＦ＞（ビデオオウォールクロック基準値）とでなる１対の値を供給するために、適切な時刻でサンプルされる。ＲＴＣＰＳＭ３６０Ａの更なる情報は図４に関連して追って説明される。
【００８５】
図３Ｂは、セッション圧縮オーディオ及びビデオＲＴＰプロセッサ（ＳＣＡＶＲＰ）３００Ｂの一例に関連する構成要素を含む簡略化されたブロック図であり、該ＳＣＡＶＲＰ３００Ｂはオーディオ及びビデオの同期化の異なる実施例の技術と構成要素を実装するものであり、そこにおいて前記オーディオミックスは前記ＭＲＭ１２０によって行われる。該ＳＣＡＶＲＰ３００Ｂは、１つのＲＭＲＥ１３０によって組み立てられかつ表示されるべき複数のビデオストリームと、該ＲＭＲＥ１３０によって再生されるべきミックスされたオーディオデータとを供給し得る。該ＳＣＡＶＲＰ３００Ｂは、１つのＣＰレイアウト内に提示された１つのＴＭＲＥ１３０から出されたビデオと、該同じＴＭＲＥ１３０から出されたオーディオ（もしそれが前記ミックスされたオーディオに含まれるならば）との同期化を可能にする。
【００８６】
ＳＣＡＶＲＰ３００Ｂは、ＲＴＰ入力バッファ３１２、ＲＴＰヘッダパーサー及びオーガナイザー３２２、各ＴＭＲＥ１３０から受信したビデオストリームの各々について１つの割りの複数のビデオＴＭＲＥタイムスタンプマニピュレータ（ＶＴＭＴＭ）３３０Ｂ、バス３４０、複数のＲＭＲＥ・ＲＴＰプロセッサ３５０、及びＲＴＣＰセッションマネージャ（ＲＴＣＰＳＭ）３６０Ｂを含んでいてよい。加えて、ＳＣＡＶＲＰ３００Ｂは、各ＴＭＲＥ１３０から受信したオーディオストリームの各々について１つの割りの複数のオーディオＴＭＲＥタイムスタンプマニピュレータ（ＡＴＭＴＭ）３７０、レガシーオーディオプロセッサ３７２、及び1以上のＲＭＲＥオーディオＲＴＰ出力プロセッサ（ＲＡＲＯＰ）３７４を含み得る。各ＲＡＲＯＰ３７４は、１以上のＲＭＲＥ１３０に関連付けされ得る。
【００８７】
前記複数のＶＴＭＴＭ３３０Ｂ、前記バス３４０、及び前記複数のＲＭＲＥ・ＲＴＰプロセッサ３５０の構成要素は、ビデオストリームを処理するように構成されている前記ＳＣＭＲＰ３００Ａの関連する構成要素（図３Ａ）と同様な機能性を実行するように構成されることができ、従って、その更なる説明は省略する。
【００８８】
前記ＲＴＰ入力バッファ３１２と前記ＲＴＰヘッダパーサー及びオーガナイザー３２２の実施例は、圧縮されたビデオとオーディオを搬送するＲＴＰパケットを、ＳＣＭＲＰ３００Ａのそれに対応する構成要素（それぞれ３１０と３２０）と同様に処理する。前記ＲＴＰ入力バッファ３１２の一例は、該セッションの参加者である複数のＴＭＲＥ１３０から受信した前記中継ＲＴＰ圧縮オーディオ又はビデオデータチャンクを、前記ＣＲＭＤＣＩ３０５から取得し得る。該ＲＴＰ入力バッファ３１２は、例えば、中継ＲＴＰヘッダー内のＩＤ番号を使用して、ＣＲＭＤＣＩ３０５から収集するのはどの中継ＲＴＰ圧縮メディアデータチャンクＴを決定し得る。別の実施例において、ＲＴＰ入力バッファ３１２は、受信した関連パケットのソース及び／又はデスティネーションＩＰアドレス並びにポートに基づいて該中継ＲＴＰ圧縮メディアデータチャンクを前記ＮＩ２２０から受信し得る。
【００８９】
ＲＴＰヘッダパーサー及びオーガナイザー３２２の実施例は、ＲＴＰ入力バッファ３１２から前記中継ＲＴＰ圧縮メディアデータチャンクを抽出し、取得したＲＴＰパケットが送られるべきＡＴＭＴＭ３７０又はＶＴＭＴＭ３３０Ｂを決定するために、該中継ＲＴＰ圧縮メディアデータチャンクのヘッダーをパース（構文解析）し得る。この決定は、例えば、メディアの種別（オーディオ又はビデオ）及び／又は該ＲＴＰヘッダーのＩＤフィールドに基づいてなされ得る。加えて、複数ＴＭＲＥの各１つから受信したＳＲ及びＲＲのようなＲＴＣＰメッセージがＲＴＣＰＳＭ３６０Ｂに向けて送られ得る。いくつかの実施例において、該ＲＴＣＰメッセージは、また、それに関連するＡＴＭＴＭ３７０又はＶＴＭＴＭ３３０Ｂに転送され得る。
【００９０】
ＡＴＭＴＭ３７０の各々は、或るＴＭＲＥ１３０から受信した或るオーディオストリームに関連付けられ得る。１つのＡＴＭＴＭ３７０は、それに関連する受信したオーディオストリームの各受信した中継ＲＴＰ圧縮オーディオデータチャンクのＲＴＰヘッダー内に埋め込まれたタイムスタンプＴＳａを操作（加工）することができる。この操作（加工）は、該オーディオのキャプチャ時刻を、前記ＴＭＲＥの時間ドメインから前記ＭＲＭの時間ドメインに変換する。ＡＴＭＴＭ３７０及びＶＴＭＴＭ３３０Ｂのタイムスタンプ処理は、図３ＡにおけるＴＭＴＭ３３０Ａに関して上述されており、更なる説明は省略する。
【００９１】
ＭＲＭ１２０のあり得る実施例において、各受信した中継ＲＴＰ圧縮オーディオデータチャンクの関連するストリームＩＤと同様に、前記ＭＴＳａはメモリ装置内に格納されることができ、該メモリ装置のそれに関連するアドレスへのポインターは、前記デコード、ミキシング、及び圧縮動作においてメタデータとしてそのオーディオデータチャンクに関連づけられ得る。
【００９２】
前記ＭＴＳａとストリームＩＤは、前記ＲＴＰパケットの前記ペイロード（圧縮されたオーディオ）に関連付けて、各ＡＴＭＴＭ３７０から前記レガシーオーディオプロセッサ３７２に向けて転送され得る。該レガシーオーディオプロセッサ３７２において、複数のＡＴＭＴＭ３７０からの複数の前記ペイロードからの各圧縮されたオーディオストリームは、それに関連付けられたデコーダによってデコードされ得る。各ストリームの該デコードされたオーディオは、ミックスされるべき２以上のオーディオストリーム、次のＣＰビデオ画像内で提示されるべき複数のＴＭＲＥ１３０、及び現在の話者として提示されることになる会議出席者、を選択するために、分析され得る。該選択されたストリームのＩＤが前記ＲＴＣＰＳＭ３６０Ｂに向けて転送され得る。複数のオーディオストリームのオーディオデコード及びオーディオ分析の技術は、ビデオ会議の分野で周知であるから、更なる説明は省略する。
【００９３】
次に、前記選択された複数のオーディオストリームは、１つのミックスされたオーディオとなるように、ミックスされ得る。該ミックスされたオーディオが圧縮され、圧縮されたミックスされたオーディオの複数チャンクが得られる。複数対のリストが用意される。各対は、そのオーディオが１つの圧縮されたミックスされたオーディオチャンク内に含まれる１つの選択されたオーディオストリームの前記ＩＤと、その選択されたオーディオデータチャンクに関連した前記関連ＡＴＭＴＭ３７０によって計算された前記ＭＴＳａとから構成され得る。この対（ＩＤとＭＴＳａ）の前記リストは、圧縮されたミックスされたオーディオのチャンクに関連付けられることができ、そして、1以上のＲＡＲＯＰ３７４に向けて一緒に転送され得る。
【００９４】
各ＲＡＲＯＰ３７４は、１以上のＲＭＲＥ１３０に対して割り当てられ得る。一実施例において、１つの各ＲＡＲＯＰ３７４は、圧縮されたミックスされたオーディオの１つの取得したチャンクを、１つのＲＴＰパケットの１つのペイロードに変換し、それに関連付けられた１以上のＲＭＲＥ１３０に対応する関連ＲＴＰヘッダーを付加し得る。加えて、圧縮されたミックスされたオーディオの該１チャンク内でミックスされている複数のデータストリームの各々を反映する前記ストリームＩＤとＭＴＳａの前記対の前記リストは、前記ＲＴＰヘッダーの拡張内の適切なフィールドに追加され得る。次に、圧縮されたミックスされたオーディオの該１チャンクと該ＲＴＰヘッダーの拡張が、ＣＲＭＤＣＩ３５０とＮＩ２２０を介して適切な１以上のＲＭＲＥ１３０に向けて転送され得る。本書で使用されるように、オーディオストリームＩＤ及びＭＴＳａの１セット、１グループ、１カップル、又は１対という用語は、互に交換可能に使用され得る。
【００９５】
ＲＡＲＯＰ３７４のいくつかの実施例において、前記対のリストは２つのリストに分割され得る。第１のリストは、前記ミックスされたオーディオに寄与するＴＭＲＥ１３０のＩＤを含み得る。第２のリストは、該ミックス内にペイロードが含まれるオーディオパケットの前記ＭＴＳａのマッチングリストであり得る。ＲＡＲＯＰ３７４の別の実施例において、ＭＴＳａのリストは、或る共通のＭＴＳａからの差分として、コンパクトなやり方で表され得る。従って、ＭＴＳａ値のリストを表すために必要とされるビット数がより少なくなる。
【００９６】
レガシーオーディオプロセッサ３７２の別の実施例において、前記デコードされたオーディオストリームは、それらをミックスする前に、それらのＭＴＳａ（前記ＭＲＭの時間ドメインにおけるそれらのキャプチャ時刻を反映している）に従って組織化されてよい。そのような実施例においては、前記対のリストは省略されてよく、前記ミックス内に含まれるストリームの前記操作されたキャプチャ時刻を今や表している単一のＭＴＳａによって置き換えられてよい。そのような実施例において、ＳＣＡＶＲＰ３００Ｂは、そのオーディオが該ミックスされたオーディオ内に含まれているかどうかに関係なく、該ミックスされたオーディオを伴うＣＰレイアウト内に提示される任意のＴＭＲＥを出所とするビデオとの同期化を可能にする。
【００９７】
図４は、１つのストリームの各受信したパケットのタイムスタンプを前記ＭＲＭ２００の時間ドメインに変換するために必要とされるパラメータを準備するための処理４００の方法の一実施例におけるそれに関連する動作を示すフローチャートである。これらのパラメータには、そのストリーム（オーディオ、ビデオ、その他）に関連する前記ＭＲＭ２００のウォールクロックと、そのストリームに関係するＲＴＰメッセージ内のウォールクロックとの差を含むことができ、別のパラメータは、タイムスタンプのΔ値（ΔＴＳａ，ΔＴＳｖ）であり得る。このタイムスタンプのΔ値は、そのストリームの各受信されたパケットを中継されるパケットとして１つのＲＭＲＥ１３０に向けて送信する前に、そのストリームの該各受信されたパケットの前記ＴＳａ，ＴＳｖを、該ＭＲＭ２００において、該ＭＲＭ２００の時間ドメインに変換するために使用され得る。この処理４００は、ＲＴＰ接続及び新たなメディアストリームを搬送するためのそれに関連するＲＴＣＰ接続の確立の終わりで開始され得る（４０２）。ＳＣＭＲＰ３００Ａのいくつかの実施例において、該処理４００は、各ＴＭＴＭ３３０Ａを割り当てること及びそのＴＭＴＭ３３０Ａに適切なΔＴＳ値を送るルートづけをすることの後に、各ＴＭＴＭ３３０Ａ毎にＲＴＣＰＳＭ３６０Ａによって実行され得る。いくつかの実施例において、該処理４００は、クロックドリフトを補償するために、動作中の各ＴＭＴＭ３３０Ａ毎に、周期的に、例えば数分毎に、ブロック４０２における処理を開始し得る。
【００９８】
以下の説明は、ＳＣＭＲＰ３００Ａの構成要素によって該処理４００の一例が実行され得ることを述べる。僅かな適応化を伴って同様の処理が、ＳＣＡＲＰ３００Ｂの構成要素によっても実行され得る。この適応化は、ＳＣＡＲＰ３００Ｂの対応する構成要素によって該処理４００の類似するブロックを実行することを含み得る。説明を簡略化するために、ＳＣＡＲＰ３００Ｂによって実行されるように該処理４００を適応化することについてのコメントを伴いつつ、ＳＣＭＲＰ３００Ａによって実行される該処理４００の一実施例のみが以下詳細に説明される。
【００９９】
この処理４００は、ＲＴＰ接続及び新たなメディアストリームを搬送するためのそれに関連するＲＴＣＰ接続の確立の終わりで開始され得る（４０２）。ＳＣＭＲＰ３００Ａのいくつかの実施例において、該処理４００は、そのＴＭＴＭ３３０Ａにとって適切なΔＴＳ値を準備するために、各ＴＭＴＭ３３０Ａ毎にＲＴＣＰＳＭ３６０Ａによって実行され得る。同様に、ＳＣＡＲＰ３００Ｂによって実行される該処理４００の実施例は、各ＶＴＭＴＭ３３０Ｂ毎に及び各ＡＴＭＴＭ３７０毎にＲＴＣＰＳＭ３６０Ｂによって実行され得る。いくつかの実施例において、該処理４００は、クロックドリフトを補償するために、動作中の各ＴＭＴＭ３３０Ａ毎に、周期的に、例えば数分毎に、ブロック４０２における処理を開始し得る。
【０１００】
ブロック４０２における開始の後、ＲＴＣＰＳＭ３６０Ａ又は３６０Ｂは、ブロック４０４において、そのメディアストリーム（オーディオ又はビデオ）に関係づけられる前記ＲＴＣＰ接続を介して、そのストリームを出したＴＭＲＥ１３０に向けて、送り手レポート（ＳＲ）を送り、そのＴＭＲＥ１３０から受け手レポート（ＲＲ）を受信するまで待機し得る。受信したＲＲはパースされることができ、該受信したＲＲ内のＬＳＲフィールドの値がブロック４１０でチェックされる。もし該ＬＳＲフィールドの値が０（ゼロ）でなければ、処理４００はブロック４１２に進み得る。もし該ＬＳＲフィールドの値が０（ゼロ）ならば、処理４００はブロック４０４に戻り、別のＳＲを送る。該ＲＲ内のＬＳＲフィールドは、前記ＭＲＭ２００によって送られて該ＴＭＲＥ１３０によって受信された最後のＳＲ内のＷＣフィールドから取り出される。
【０１０１】
ブロック４１２で、そのストリームに関係したラウンド・トリップ・タイム（ＲＴＴ）の値が計算され得る。４００の方法の一例は、下記（ａ）〜（ｃ）を用いて前記ＲＴＴを計算し得る。
【０１０２】
（ａ）前記ＲＲがＭＲＭ２００で受信されたときの該ＭＲＭ２００の関連ウォールクロック（オーディオ／ビデオ）の値。ビデオストリームについて、この値は＜Ｖ  ＲＲローカル受信時刻＞で表し、オーディオストリームについて、この値は＜Ａ  ＲＲローカル受信時刻＞で表す。
【０１０３】
（ｂ）前記受信されたＲＲ内の前記ＤＬＳＲフィールドの値であって、これは、前記ＭＲＭ２００から最後のＳＲを受信した時刻から前記ＴＭＲＥ１３０がそのＲＲを送ったときまでの該ＴＭＲＥ１３０での遅延を表す。ビデオストリームについて、この値は＜Ｖ  ＲＲ：ＤＬＳＲ＞で表し、オーディオストリームについて、この値は＜Ａ  ＲＲ：ＤＬＳＲ＞で表す。
【０１０４】
（ｃ）前記受信されたＲＲ内の前記ＬＳＲフィールドの値であって、これは、前記ＭＲＭ２００によって送られた最後のＳＲ内の前記ＷＣフィールドから取り出され、そのＴＭＲＥ１３０によって受信される。ビデオストリームについて、この値は＜Ｖ  ＲＲ：ＬＳＲ＞で表し、オーディオストリームについて、この値は＜Ａ  ＲＲ：ＬＳＲ＞で表す。
【０１０５】
ビデオストリームについての前記ＲＴＴの値（ＲＴＴｖ）を計算するための数式の一例は次のとおり。
【０１０６】
【数１】
2014112826.tif 000003
【０１０７】
同様に、オーディオストリームについての前記ＲＴＴの値（ＲＴＴａ）を計算するための数式の一例は次のとおり。
【０１０８】
【数２】
2014112826.tif 000004
【０１０９】
関連するストリームについての前記ＲＴＴをブロック４１２で計算した後、４００の方法は、それに関連するＲＴＣＰ接続を介して前記ＴＭＲＥ１３０から送られたＳＲを受信するために、ブロック４２０で待機する。該受信したＳＲは、ＲＴＣＰＳＭ３６０Ａ又は３６０Ｂによってパース（構文解析）されることができ、かつ、該受信したＳＲ内の該ＴＭＲＥ１３０のウォールクロックフィールドの値が取り出され得る。前記計算したＲＴＴと、該取り出したウォールクロック値と、前記ＭＲＭ２００のウォールクロック値とに基づいて、該ＭＲＭ２００のウォールクロックとそのストリームに関連した該ＴＭＲＥ１３０のウォールクロックとの差（ＷＣ＿ＤＩＦＦ）が、ブロック４２２で計算され得る。４００の方法の一例は、そのストリームのＷＣ＿ＤＩＦＦを下記（ａ）〜（ｃ）を用いて推定し得る。
【０１１０】
（ａ）該受信されたＳＲ内の前記ウォールクロックフィールドの値。このＷＣフィールドは、該ＳＲが送られた瞬間における該ＳＲを送ったＴＭＲＥ１３０のウォールクロックの値を表す。ビデオストリームについて、この値は＜Ｖ  ＳＲ：ＷＣ＞で表し、オーディオストリームについて、この値は＜Ａ  ＳＲ：ＷＣ＞で表す。
【０１１１】
（ｂ）該ＳＲが前記ＲＴＣＰＳＭ３６０Ａ又は３６０Ｂによって受信された瞬間における前記ＭＲＭ２００のウォールクロックの値。ビデオストリームについて、この値は＜Ｖ  ＳＲローカル受信時刻＞で表し、オーディオストリームについて、この値は＜Ａ  ＳＲローカル受信時刻＞で表す。
【０１１２】
（ｃ）前記ブロック４１２で計算された前記関連するＲＴＴの推定値。
【０１１３】
ビデオストリームについての前記ＷＣ＿ＤＩＦＦの値（ＷＣ＿ＤＩＦＦｖ）を推定するための数式の一例は次のとおり。
【０１１４】
【数３】
2014112826.tif 000005
【０１１５】
同様に、オーディオストリームについての前記ＷＣ＿ＤＩＦＦの値（ＷＣ＿ＤＩＦＦａ）を推定するための数式の一例は次のとおり。
【０１１６】
2014112826.tif 000006
【０１１７】
前記ＲＴＴの半値を使用することは、該ＲＴＴはアップリンクとダウンリンクとの間で対称的に分割されないかもしれないので、アップリンク伝搬時間を正確に表していないかもしれない。従って、前記ＲＴＴの半値は実際のアップリンク伝搬時間の単なる推定値である。しかし、オーディオ及びビデオの各ストリームの前記ΔＴＳに同様に影響するであろうから、同じＴＭＲＥ１３０から到来する異なる複数ストリームを同期化するための前記ＲＭＲＥ１３０の能力に悪影響を及ぼさない。
【０１１８】
いくつかの実施例において、オーディオ又はビデオについての前記推定された第１のＷＣ＿ＤＩＦＦが、それに関連するＴＭＲＥ１３０と前記ＭＲＭ２００との間の前記ＷＣ＿ＤＩＦＦとして規定され得る。このＷＣ＿ＤＩＦＦの値は、このＴＭＲＥ１３０によって生成された複数ストリームの各１つについてのΔＴＳを計算するために使用され得る。
【０１１９】
その他の実施例において、選択されるＷＣ＿ＤＩＦＦは、そのＴＭＲＥ１３０からの全てのストリームについて推定されたものの最も小さなＷＣ＿ＤＩＦＦであり得る。
【０１２０】
次に、ブロック４２４で、そのストリームの中継メディアを搬送する各受信されたパケットの前記ＴＳを前記ＭＲＭ２００の時間ドメインに変換するために使用され得る差分値（ΔＴＳ）が、計算され得る。該ΔＴＳの値を計算することは、前記ＷＣ＿ＤＩＦＦの推定値とブロック４２０で受信された前記ＳＲから取り出したパラメータとに基づきなされ得る。４００の方法の一例は、そのストリームの該ΔＴＳを下記（ａ）〜（ｆ）を用いて推定し得る。
【０１２１】
（ａ）前記受信されたＳＲ内の前記ウォールクロックフィールドの前記値、つまり、ビデオストリームについての＜Ｖ  ＳＲ：ＷＣ＞と、オーディオストリームについての＜Ａ  ＳＲ：ＷＣ＞。
【０１２２】
（ｂ）ブロック４２２で計算されたそのＴＭＲＥ１３０に関連する前記ＷＣ＿ＤＩＦＦの推定値。
【０１２３】
（ｃ）或る瞬間例えば前記ΔＴＳが計算されるときにおける前記ＲＴＣＰＳＭ３６０Ａ又は３６０Ｂ内の前記ウォールクロックの値。ビデオストリームについて、この値は＜Ｖ  ＷＣ＿ＲＥＦ＞で表し、オーディオストリームについて、この値は＜Ａ  ＷＣ＿ＲＥＦ＞で表し得る。
【０１２４】
（ｄ）該同じ或る瞬間例えば前記ΔＴＳが計算されるときにおける前記ＲＴＣＰＳＭ３６０Ａ内のそれに関連する前記ＴＳカウンタの値。ビデオストリームについて、この値は＜Ｖ  ＴＳ＿ＲＥＦ＞で表し、オーディオストリームについて、この値は＜Ａ  ＴＳ＿ＲＥＦ＞で表し得る。
【０１２５】
（ｅ）前記受信されたＳＲ内の前記ＴＳフィールドの値。該ＴＳフィールドは、該ＳＲが送られた瞬間における該ＳＲを送ったＴＭＲＥ１３０におけるＴＳの値を表す。ビデオストリームについて、この値は＜Ｖ  ＳＲ：ＴＳ＞で表し、オーディオストリームについて、この値は＜Ａ  ＳＲ：ＴＳ＞で表す。
【０１２６】
（ｆ）前記タイムスタンプクロックレート（ＴＳ＿ＣＬＯＣＫ）。この値は、該ストリームのペイロードのタイプに関係づけられ得る。或るビデオストリームについての該ＴＳ＿ＣＬＯＣＫの値の一例は、数万例えば９万の範囲であり得る。或るオーディオストリームについての該ＴＳ＿ＣＬＯＣＫの値の一例は、数千例えば８千の範囲であり得る。
【０１２７】
ビデオストリームについての前記ΔＴＳの値（ΔＴＳｖ）を計算するための数式の一例は次のとおり。
【０１２８】
【数５】
2014112826.tif 000007
【０１２９】
同様に、オーディオストリームについての前記ΔＴＳの値（ΔＴＳａ）を計算するための数式の一例は次のとおり。
【０１３０】
【数６】
2014112826.tif 000008
【０１３１】
ＲＴＣＰＳＭ３６０Ａ又は３６０Ｂのその他の実施例は、受信したパケットの前記ＴＳを前記ＭＲＭ２００の時間ドメインに変換するために、その他の数式を使用してよい。例えば、いくつかの実施例は、前記ＭＲＥ１３０とＭＲＭ２００の両方のためにＮＴＰ同期化プロトコルを使用してよい。そのような実施例は、ビデオとオーディオのそれぞれの前記ΔＴＳを計算するために次の数式を使用し得る。
【０１３２】
【数７】
2014112826.tif 000009
【０１３３】
【数８】
2014112826.tif 000010
【０１３４】
１つのストリームについての前記ＷＣ＿ＤＩＦＦと前記ΔＴＳの値を計算した後、セッションテーブル（ＳＴ）がブロック４２６において更新され得る。もし処理４００が１つの新しいストリームのために実行されるのであれば、この更新は、該新しいストリームのための前記ＳＴにおける新しいエントリーを割り当てることと、そのエントリー内に前記ＷＣ＿ＤＩＦＦ及び前記ΔＴＳの推定値を格納することを含み得る。もし処理４００が１つの活発なストリームの値を更新するために実行されるのであれば、該更新は、前記ＷＣ＿ＤＩＦＦ及び前記ΔＴＳの現在の推定値を持つ、それに関連するエントリー内に書き込まれるＷＣ＿ＤＩＦＦ及び前記ΔＴＳの以前の値を、該ＷＣ＿ＤＩＦＦ及びΔＴＳの現在の推定値で置き換えることを含み得る。加えて、該ＷＣ＿ＤＩＦＦ及びΔＴＳの現在の推定値は、ＲＴＣＰＳＭ３６０Ａによって、それに関連するＴＭＴＭ３３０Ａに転送されることができ、そして、処理４００が終了され得る。別の実施例として、前記現在の推定値ＷＣ＿ＤＩＦＦ及びΔＴＳが、対応するＶＴＭＴＭ３００Ｂ又はＲＴＣＰＳＭ３６０ＢのＡＴＭＴＭ３７０に転送され得る。
【０１３５】
一実施例において、ＲＴＣＰＳＭ３６０Ａ，３６０Ｂは、複数の処理４００を並行して実項することができ、該セッションの参加者であるＭＲＥ１３０から、各ストリームの１つが送信される。
【０１３６】
上述は、限定するものではなく、説明を意図するものである。例えば、上述した複数の実施例は、互いに組み合わせて使用され得る。また、多くのその他の実施例が、上述した観点に基づき当業者にとって明白であろう。そこで、本発明の範囲は、付属の請求の範囲を参照して、かつ、そのような請求の範囲が持つ資格がある均等範囲のすべてを伴って、決定されるべきである。付属の請求の範囲において、「含む」及び「そこにおいて」の用語は、「具備する」及び「ここで」の各用語と同等のものとして使用される。
【符号の説明】
【０１３７】
１００  マルチメディア中継会議システム
１１０  ネットワーク
１２０  メディア中継ＭＣＵ（ＭＲＭ）
１３０  メディア中継エンドポイント
【図１】
2014112826.tif 000011
【図２】
2014112826.tif 000012
【図３Ａ】
2014112826.tif 000013
【図３Ｂ】
2014112826.tif 000014
【図４】
2014112826.tif 000015
【外国語明細書】
2014112826000001.pdf