(57)【要約】      （修正有）【課題】マルチポイントテレビ会議のための方法およびシステムを提供する。【解決手段】メディア中継ＭＣＵ（ＭＲＭ）は、テレビ会議セッションに参加する複数のエンドポイントから圧縮メディア（オーディオ、ビデオ、あるいはデータ）を受信する。所与のエンドポイントに関して、ＭＲＭは、該所与のエンドポイントでの表示用の常駐表示レイアウトにおいて他のエンドポイントのどれを表示するかを選択する。ＭＲＭは、選択されたエンドポイントから該所与のエンドポイントに圧縮メディアを送信し、圧縮メディアがＣＰレイアウトに提示される。ＭＲＭは圧縮メディアをデコードしない。【選択図】図８
2010178340.tif 000002
【特許請求の範囲】
【請求項１】
第１エンドポイントと複数のエンドポイントとの間で行われるマルチポイントテレビ会議において、該第１エンドポイントにおける常駐表示レイアウトを提供する方法であって、
前記第１エンドポイント用の複数セグメントからなる常駐表示レイアウトを定めるステップと、ここで、各セグメントは前記複数のエンドポイントの各々からのビデオ画像をそれぞれ表示するためのものであり、
前記常駐レイアウトに提示されるすべき２つ以上のエンドポイントを選択するステップと、
前記常駐レイアウトの各セグメントを、前記２つ以上の選択されたエンドポイントの各エンドポイントに対応付けるステップと、
メディア中継マルチポイント制御装置において前記複数のエンドポイントから中継圧縮ビデオデータチャンクを受信するステップと、
前記受信された中継圧縮ビデオデータチャンクを解析するステップと、
前記選択された２つ以上のエンドポイントからの前記解析された中継圧縮ビデオデータチャンクを中継済圧縮ビデオデータチャンクの２つ以上のストリームのグループに組織化するステップと、
前記２つ以上のストリームのグループを前記第１エンドポイントに転送するステップと
を備えることを特徴とする方法。
【請求項２】
前記選択された２つ以上のエンドポイントからの各ビデオ画像が当該各エンドポイントに対応付けられた前記常駐表示レイアウトの各セグメント内にそれぞれ提示されるように、前記定められた常駐表示レイアウトを構築するよう、前記第１エンドポイントに指示するステップをさらに備えることを特徴とする請求項１に記載の方法。
【請求項３】
当該各エンドポイントに対応付けられた前記常駐表示レイアウトのセグメントのサイズに合うフォーマットで、前記メディア中継マルチポイント制御装置に中継圧縮ビデオデータを送信するように、前記複数のエンドポイントのそれぞれに指示するステップをさらに備えることを特徴とする請求項１に記載の方法。
【請求項４】
各中継済圧縮ビデオデータチャンクは、それが提示されるべき前記常駐表示レイアウト内のセグメントのＩＤに関連付けられていることを特徴とする請求項３に記載の方法。
【請求項５】
前記複数のエンドポイントの少なくとも１つのエンドポイントから中継圧縮ビデオデータチャンクを受信するステップは、異なるサイズの少なくとも２つのビデオイメージの中継圧縮ビデオデータチャンクを受信するステップを含み、
第１サイズのビデオイメージの圧縮ビデオデータチャンクが前記第１エンドポイントに転送され、第２サイズのビデオイメージの圧縮ビデオデータチャンクが別のエンドポイントに転送されることを特徴とする請求項１に記載の方法。
【請求項６】
中継済圧縮ビデオデータチャンクの各ストリームは、前記選択された２つ以上のエンドポイントのうち１つのエンドポイントから受信された圧縮ビデオデータチャンクを含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記複数のエンドポイントから中継圧縮オーディオデータチャンクを受信するステップと、
前記第１エンドポイントにより聞かれるべき２つ以上のエンドポイントの第２グループを選択するステップと、
前記受信された中継圧縮オーディオデータチャンクを解析するステップと、
前記エンドポイントの第２グループから受信され、解析された前記中継圧縮オーディオデータチャンクを中継済圧縮オーディオデータチャンクの２つ以上のストリームの第２グループに組織化するステップと、
前記ストリームの第２グループを前記第１エンドポイントに転送するステップと
をさらに備えることを特徴とする請求項１に記載の方法。
【請求項８】
前記中継圧縮オーディオデータチャンクはオーディオエネルギインジケータを含み、
前記方法は、前記オーディオエネルギインジケータに基づいて、前記会議中に前記常駐表示レイアウトを変更するステップをさらに含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記第１エンドポイントにおいて、中継済圧縮オーディオデータチャンクのストリームの前記転送された第２グループを受信するステップと、
前記受信された中継済圧縮オーディオデータチャンクをデコードされたオーディオストリームのグループにデコードするステップと、
前記デコードされたオーディオストリームのグループをミキシングするステップと
をさらに備えることを特徴とする請求項７に記載の方法。
【請求項１０】
第１エンドポイントと複数のエンドポイントとの間で行われるマルチポイントテレビ会議中に、該第１エンドポイントでの表示用の常駐表示レイアウトを提供するためのメディア中継マルチポイント制御装置であって、前記常駐表示レイアウトは、前記複数のエンドポイントのうち選択された各エンドポイントからのビデオ画像をそれぞれ表示するための複数セグメントでなり、
前記複数のエンドポイントから中継圧縮ビデオデータチャンクを受信し、中継済圧縮ビデオデータチャンクを前記第１エンドポイントに送出するネットワークインタフェースと、
前記複数のエンドポイントから２つ以上のエンドポイントを選択する信号伝達および制御モジュールと、
前記受信された中継圧縮ビデオデータチャンクを解析し、前記選択された２つ以上のエンドポイントから受信された前記解析された中継圧縮ビデオデータチャンクを中継済圧縮ビデオデータチャンクの２つ以上のストリームのグループに組織化し、前記ネットワークインタフェースを介して前記第１エンドポイントに前記２つ以上のストリームのグループを転送する圧縮ビデオプロセッサと
を備えることを特徴とするメディア中継マルチポイント制御装置。
【請求項１１】
前記信号伝達および制御モジュールは、前記選択されたエンドポイントのそれぞれからのビデオ画像を表示するセグメントをさらに決定することを特徴とする請求項１０に記載のメディア中継マルチポイント制御装置。
【請求項１２】
各エンドポイントから受信された中継圧縮ビデオデータチャンクは、異なるサイズの２つのビデオイメージの圧縮ビデオデータチャンクを含み、第１サイズのビデオイメージの前記圧縮ビデオデータチャンクは前記第１エンドポイントに転送され、第２サイズのビデオイメージの前記圧縮ビデオデータチャンクは別のエンドポイントに転送されることを特徴とする請求項１０に記載のメディア中継マルチポイント制御装置。
【請求項１３】
前記中継済圧縮ビデオデータチャンクのペイロードは、組織化された前記中継圧縮ビデオデータチャンクのペイロードとして残っていることを特徴とする請求項１０に記載のメディア中継マルチポイント制御装置。
【請求項１４】
前記ネットワークインタフェースは、前記複数のエンドポイントから中継圧縮オーディオデータチャンクをまた受信し、
前記信号伝達および制御モジュールは、前記第１エンドポイントにより聞かれるべき２つ以上のエンドポイントの第２グループをさらに選択し、
前記メディア中継マルチポイント制御装置は、
前記受信された中継圧縮オーディオデータチャンクを解析し、前記エンドポイントの第２グループから受信された前記解析された中継圧縮オーディオデータチャンクを中継済圧縮オーディオデータチャンクの２つ以上のストリームの第２グループに組織化し、前記ネットワークインタフェースを介して前記第１エンドポイントに前記ストリームの第２グループを転送する圧縮オーディオプロセッサ
をさらに備えることを特徴とする請求項１０に記載のメディア中継マルチポイント制御装置。
【請求項１５】
前記圧縮オーディオプロセッサは、前記複数のエンドポイントのそれぞれから受信された中継圧縮オーディオデータチャンクと関連付けられたオーディオエネルギを決定し、
前記信号伝達および制御モジュールは、前記オーディオエネルギの少なくとも一部に基づいて、前記２つ以上の選択されたエンドポイントを選択することを特徴とする請求項１４に記載のメディア中継マルチポイント制御装置。
【請求項１６】
前記２つ以上の選択されたエンドポイントは、前記オーディオエネルギの少なくとも一部に基づいて、前記会議中に変更されることを特徴とする請求項１４に記載のメディア中継マルチポイント制御装置。
【請求項１７】
第１エンドポイントと複数のエンドポイントとの間で行われるマルチポイントテレビ会議中に、該第１エンドポイントでの表示用の常駐表示レイアウトを提供するためのシステムであって、前記常駐表示レイアウトは、前記複数のエンドポイントのうち選択された各エンドポイントからのビデオ画像をそれぞれ表示するための複数セグメントでなり、
前記システムは、ネットワークを介して複数の中継エンドポイントと通信可能に接続されるメディア中継多地点制御装置を備え、
前記メディア中継多地点制御装置は、
前記複数のエンドポイントから中継圧縮ビデオデータチャンクを受信し、中継済圧縮ビデオデータチャンクを前記複数のエンドポイントに送出するネットワークインタフェースと、
２つ以上のエンドポイントを選択する信号伝達および制御モジュールと、
前記受信された中継圧縮ビデオデータチャンクを解析し、前記選択された２つ以上のエンドポイントから受信された前記解析された中継圧縮ビデオデータチャンクを中継済圧縮ビデオデータチャンクの２つ以上のストリームのグループに組織化し、前記ネットワークインタフェースを介して前記第１エンドポイントに前記２つ以上のストリームのグループを転送する圧縮ビデオプロセッサと
を備え、
前記第１エンドポイントは、中継済圧縮ビデオデータチャンクの前記ストリームのグループを受信し、選択されたエンドポイントにそれぞれ対応する複数のグループに前記受信された中継済圧縮ビデオデータチャンクを組織化し、前記組織化されたビデオデータの各グループをデコードし、前記デコードされたビデオデータから前記常駐表示レイアウトを組み立てるエンドポイントビデオプロセッサを備えることを特徴とするシステム。
【請求項１８】
前記複数のエンドポイントの１つ以上はビデオプロセッサを備え、
前記ビデオプロセッサは、ビデオイメージを圧縮ビデオデータチャンクにエンコードし、前記圧縮ビデオデータチャンクのヘッダに識別インジケータを関連付けることにより、前記圧縮ビデオデータチャンクを中継圧縮ビデオデータチャンクに組織化し、前記中継圧縮ビデオデータチャンクのストリームを前記メディア中継多地点制御装置に送信することを特徴とする請求項１７に記載のシステム。
【請求項１９】
前記圧縮ビデオプロセッサは、前記識別インジケータに基づいて、前記選択されたエンドポイントからの中継圧縮ビデオデータチャンクを識別することを特徴とする請求項１７に記載のシステム。
【請求項２０】
前記複数のエンドポイントの１つ以上は、前記メディア中継多地点制御装置からの要求に応じて、前記常駐表示レイアウトのセグメントに対応するサイズに前記ビデオイメージを調整するサイズ調整手段を備えることを特徴とする請求項１７に記載のシステム。
【請求項２１】
前記複数のエンドポイントの１つ以上は、前記メディア中継多地点制御装置からの要求に応じて、前記常駐表示レイアウトの第２セグメントに対応するサイズに前記ビデオイメージを調整する第２のサイズ調整手段をさらに備えることを特徴とする請求項２０に記載のシステム。
【請求項２２】
前記ネットワークインタフェースは、前記複数のエンドポイントから中継圧縮オーディオデータチャンクも受信し、
前記メディア中継マルチポイント制御装置は、
前記第１エンドポイントにより聞かれるべき２つ以上のエンドポイントの第２グループを選択し、前記受信された中継圧縮オーディオデータチャンクを解析し、前記エンドポイントの第２グループから受信された前記解析された中継圧縮オーディオデータチャンクを中継済圧縮オーディオデータチャンクの２つ以上のストリームの第２グループに組織化し、前記ネットワークインタフェースを介して前記第１エンドポイントに前記ストリームの第２グループを転送する圧縮オーディオプロセッサ
をさらに備えることを特徴とする請求項１７に記載のシステム。
【請求項２３】
前記圧縮オーディオプロセッサは、前記複数のエンドポイントのそれぞれから受信された中継圧縮オーディオデータチャンクと関連付けられたオーディオエネルギを決定し、
前記信号伝達および制御モジュールは、前記オーディオエネルギの少なくとも一部に基づいて、前記２つ以上の選択されたエンドポイントを選択することを特徴とする請求項２２に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ通信に関し、より詳細には、本発明はマルチポイントテレビ会議の分野に関する。
【０００２】
本出願は、２００９年１月３０日に出願され、出願番号６１／１４８，７７２が割り当てられた「常駐会議を行うための方法およびシステム」と題する米国仮特許出願の出願日の利益および優先権を主張する。この出願の内容は参照により本出願に組み込まれる。
【背景技術】
【０００３】
ＩＰネットワーク上で利用される種々のテレビ会議装置の普及と同様に、インターネットプロトコル（ＩＰ）ネットワーク上のトラフィックが急速な普及を続けているので、ますます多くの人々が通信手段としてテレビ会議を利用するようになっている。３人以上の参加者の間の共通の多地点会議は、多地点制御装置（ＭＣＵ）を必要とする。ＭＣＵは、ネットワークのノード、あるいはエンドポイントからいくつかのチャンネルを受信する端末に典型的に位置する会議制御実体（エンティティ）である。ある基準によれば、ＭＣＵは、オーディオおよびビジュアル信号を処理するとともに、接続されたチャンネルセットにそれらを分配する。ＭＣＵの例としては、ポリコム社（Polycom, Inc.）から利用可能なＭＧＣ−１００、ＲＭＸ２０００が含まれる。端末（以下、「エンドポイント」という）は、他の端末またはＭＣＵとのリアルタイムの双方向オーディオあるいはオーディオビジュアル通信を提供することができるネットワーク上の実体（エンティティ）である。エンドポイントおよびＭＣＵのより完全な定義は、限定するものではないが、Ｈ．３２０、Ｈ．３２４およびＨ．３２３標準などの国際電気通信連合（「ＩＴＵ」：International Telecommunication Union）標準で見付けることができ、それらはＩＴＵウェブサイト：www.itu.intから入手可能である。
【０００４】
共通のＭＣＵは、複数のオーディオおよびビデオデコーダ、エンコーダ、並びにブリッジを含めばよい。ＭＣＵは、参加者（エンドポイント）の変化する数の間でオーディオおよびビデオ通信を処理するために、大量の処理能力を用いればよい。通信は、種々の通信プロトコルおよび圧縮標準に基づくことができ、異なるエンドポイントから受信されてもよい。ＭＣＵは、出力ストリームが送出されている少なくとも一人の会議出席者（少なくとも１つのエンドポイント）の特性に適合するオーディオまたはビデオ（それぞれ）の少なくとも１つの単一出力ストリームに複数の入力オーディオもしくはビデオストリームを構成する必要があればよい。圧縮オーディオストリームはデコードされ、その会議の単一オーディオストリームにミキシングするためにどのオーディオストリームが選択されるのかを決定するために、圧縮オーディオストリームを解析することができる。
【０００５】
１つの会議は１つ以上のビデオ出力ストリームを有すればよい。そこでは、各出力ストリームがレイアウトに関連付けられる。レイアウトは、そのストリームを受信する一人以上の会議出席者のディスプレイ上に、当該会議の状況を明示する。レイアウトは１つ以上のセグメントに分割されているとよく、各セグメントは個々の会議出席者（エンドポイント）によって送られたビデオ入力ストリームにそれぞれ対応付けられているとよい。各出力ストリームは、いくつかの入力ストリームから構成されていてよく、結果として常駐（ＣＰ：continuous presence／常に面前していること）会議をもたらす。ＣＰ会議では、遠隔端末におけるユーザは、その会議における数人の他の参加者を同時に観察することができる。各参加者は、そのレイアウトのあるセグメントに表示されればよい。そこでは、各セグメントは、同一のサイズであってもよく、異なるサイズであってもよい。表示され、レイアウトのセグメントに関連付けられた参加者の選択は、同一のセッションに参加する異なる会議出席者間で変更すればよい。
【０００６】
共通のＭＣＵは、各入力ビデオストリームをフルフレームの非圧縮ビデオにデコードし、その会議に関連付けられた複数の非圧縮ビデオストリームを管理し、各出力ストリームが所定のレイアウトのある会議出席者に関連付けられ得る複数の出力ストリームを構成あるいは管理する必要があってもよい。出力ストリームは、ＭＣＵに関連付けられたビデオ出力ポートにより生成されればよい。典型的なビデオ出力ポートは、レイアウト構築手段と、エンコーダとを備えればよい。レイアウト構築手段は、選択された会議出席者とは異なる非圧縮ビデオフレームを収集して、それらを最終的なサイズに調整し、それらをレイアウト内のセグメントに入れてもよい。その後、構成されたビデオフレームのビデオは、エンコーダによりエンコードされ、適切なエンドポイントに送出される。その結果、複数のテレビ会議を処理し、管理するためには、大量の高価な計算資源（計算リソース）を必要とし、そのため、ＭＣＵは、典型的に、高価でむしろ複雑な製品（プロダクト）である。共通のＭＣＵは、いくつかの特許および特許出願、例えば、米国特許第６，３００，９７３号、第６，４９６，２１６号、第５，６００，６４６号、または第５，８３８，６６４号に開示される。これらの特許および特許出願の内容は、参照により本出願に組み込まれる。これらの特許は、ＣＰ会議のためのビデオ出力ストリームを生成するために用いられ得るＭＣＵ内のビデオユニットの動作を開示する。
【０００７】
テレビ会議を用いる成長傾向は、構成されたＣＰビデオイメージを有する複数の会議セッションを行うことを可能にする低価格のＭＣＵの必要性を上昇させる。
【０００８】
共通のＭＣＵより少ないリソースを有するＣＰビデオイメージに圧縮ビデオストリームを構成するための既存の技術がある。いくつかの技術は、複数のＱＣＩＦ（Quarter Common Intermediate Format）コード化イメージを１つのＣＩＦイメージに構成するためのイメージ処理装置の使用を開示する。これらの技術は、イメージがＨ．２６１標準を用いて転送されるとき、複数のコード化イメージのデコーディング（復号）を必要としない。ＱＣＩＦは、１４４本のラインおよび１７６ピクセル／ライン（各ラインに１７６ピクセル）を含むビデオフレームを指定するテレビ会議フォーマットである。それはＣＩＦ（共通の中間フォーマット：Common Intermediate Format）の解像度の１／４である。ＱＣＩＦサポートは、国際電気通信連合（ＩＴＵ）テレビ会議標準のいくつかにより要求されている。
【０００９】
ＱＣＩＦのサイズおよびレイアウトの制限を克服するための他の技術は、サブエンコーディング方法を用いる。典型的なサブエンコード方法は米国特許第７，１３９，０１５号に開示される。この特許の内容は参照により本出願に組み込まれる。
【００１０】
したがって、複数のテレビ会議セッションにおける大勢の会議出席者での複数の種々のレイアウトを実行するためには、コスト効率の高い方法および装置の必要性がある。
【発明の概要】
【００１１】
本出願で開示することは、複数のテレビ会議セッションに参加する複数のエンドポイントから圧縮メディア（オーディオ、ビデオ、およびデータ）を受信可能なメディア中継ＭＣＵ（ＭＲＭ）を対象とするものである。圧縮メディアは、限定するものではないが、ＩＴＵ圧縮標準Ｈ．２６４、Ｈ．２６３、Ｇ．７１１、Ｇ．７２９、Ｇ．７２２１．Ｃ、Ｇ．７１９などの異なる圧縮標準に従ってエンコード（暗号化）される。以下、本出願の明細書、図面および特許請求の範囲は、「圧縮（compressed）」、「エンコード（encoded）」および「圧縮およびエンコード（compressed and encoded）」のための代表的用語として用語「圧縮（compressed）」を用いる。エンドポイント毎に、ＭＲＭは、メディアをデコードしたり、エンコードしたりする必要なく、どのオーディオストリームが聞かれ、どのビデオイメージが提示されるかを決定することができる。その結果、ミキシングされたオーディオおよび構成されたＣＰビデオイメージの質は、メディアのエンコーディングおよびデコーディングを避けることにより改善される。また、圧縮および解凍の必要なく、通信されたメディアを適切な行き先に中継するＭＲＭの能力は、待ち時間を減らすことにより通信の質を改善するであろう。いずれのエンドポイントが聞かれるか、あるいは提示されるかを決定することは、例えば、エンドポイントから受信されたオーディオエネルギに基づくことができる。代わりの実施形態では、いずれのエンドポイントが提示されるか、あるいは聞かれるかに関する決定は、セッションの設定パラメータなどの１つとして定義され得る。
【００１２】
典型的なＭＲＭは、限定するものではないが、参加人数、レイアウト数、各レイアウト内の提示された会議出席者数、および異なる会議出席者のイメージのサイズを含む会議セッションの特性を処理することができる。セッションの特性に基づいて、典型的なＭＲＭは、接続を確立するために、エンドポイントのそれぞれと交渉すればよく、その後、ＭＲＭは、識別番号（ＩＤ）をエンドポイントに割り当てればよい。ここで、そのＩＤは、所定の受信された圧縮オーディオパケットあるいはビデオパケットのソースを識別するために用いられ得る。いくつかの典型的な実施形態では、そのＩＤは、同期ソース（ＳＳＲＣ：Synchronization Source）フィールドに書き込まれ、あるいはＲＴＰの拡張ヘッダに書き込まれたメディアデータのＲＴＰチャンク（chunk: データの塊）のリアルタイム転送プロトコル（ＲＴＰ：real-time transport protocol）ヘッダに入れられ得る。別の実施形態では、そのＩＤは、ＲＴＰヘッダ内のＣＳＲＣ（Contributing Source）ＩＤフィールドに入れられ得る。ＲＴＰについてのさらなる情報は、ＩＥＴＦ（Internet Engineering Task Force）ウェブサイトwww.ietf.orgで見付けることができる。
【００１３】
代わりの実施形態では、エンドポイントのＩＤ番号は乱数であればよい。ＭＲＭにＩＤを転送することができる。ＭＲＭは、各エンドポイントが他のエンドポイントとは異なるＩＤを有することを順次確かめることができる。さらに代わりの実施形態では、限定するものではないが、各ストリームのＩＰアドレスおよびＩＰポートの少なくとも一方などの他の一意的（ユニーク）な識別によりＩＤを置き換えることができる。
【００１４】
エンドポイントとの接続を確立した後、ＭＲＭは、圧縮オーディオを転送するように、エンドポイントに指示すればよい。圧縮オーディオは、限定するものではないが、Ｇ．７１１、Ｇ．７２９、Ｇ．７２２１．ＣおよびＧ．７１９などの圧縮標準に対応することができる。オーディオ圧縮標準についてのさらなる情報は、ＩＴＵウェブサイトwww.itu.intで見付けることができる。各圧縮オーディオストリームを異なるＩＤ番号に関連付けることができる。典型的なＭＲＭは、各オーディオストリームのオーディオエネルギを決定し、それにより、１つ以上のエンドポイントに中継されるべき１つ以上のオーディオストリームを選択することができる。ここで、それをデコードし、ミキシング（混合）し、エンドポイントのスピーカに送出することができる。
【００１５】
同様の方法で、ＭＲＭは、ビデオイメージが提示されるであろうレイアウトのセグメントサイズにマッチする所定のサイズの圧縮ビデオイメージを転送するように、エンドポイントを指示してもよい。そのサイズは、例えば、各方向（高さおよび幅）のピクセル数により定義され得る。圧縮ビデオは、限定するものではないが、Ｈ．２６４などの圧縮標準に対応することができる。Ｈ．２６４などの圧縮標準についてのさらなる情報は、ＩＴＵウェブサイトwww.itu.intで見付けることができる。さらに、ＭＲＭは、現在の話者のエンドポイントとしてエンドポイントの１つを指定すればよく、より大きいイメージサイズのビデオイメージを転送することを現在の話者のエンドポイントに要求してもよい。ビデオイメージは、話者のセグメントを関連レイアウトにはめ込むだろう。いくつかの典型的な実施形態では、エンドポイントは、２つ以上の異なるサイズの圧縮ビデオイメージを転送するように構成され得る。そこでは、各ビデオイメージサイズは、異なるセグメントサイズ（解像度）を適合させることができる。そのような実施形態では、前の話者のエンドポイントは、その圧縮ビデオイメージの２つのサイズ、すなわち、（１）普通の会議出席者のセグメントレイアウト上に表示されるべき普通サイズ、（２）その話者に割り当てられたレイアウトセグメントに提示される（現れる）べき話者のサイズ（より大きいイメージ）を転送すればよい。そのような実施形態では、例えば、そのサイズ（解像度）に応じて、異なるＩＤ番号を各圧縮ビデオイメージに割り当てることができる。
【００１６】
会議セッションの現在の話者は、例えば、オーディオエネルギが一番高い会議出席者であればよい。他の会議出席者が聞かれてもよく、現在の話者のビデオストリームがＣＰレイアウトのメインのセグメントに提示（表示）されてもよい。代わりの実施形態では、ある話者は、所定の期間中最もアクティブな会議出席者であればよい。例えば、その期間の所定のパーセンテージの間オーディオエネルギが例えば６０％以上等の最高であった者として、最もアクティブな会議出席者を定義することができる。
【００１７】
そのセッションの特性に基づいて、各エンドポイントは、割り当てられたレイアウトを構築するように指示されてもよい。割り当てられたレイアウトによれば、典型的なエンドポイントは、圧縮ビデオの受信されたペイロードパケットを２つ以上の圧縮ビデオセグメントメモリ（ＣＶＳＭ）内に組織化してもよい。ここで、各ＣＶＳＭは、そのレイアウト内のセグメントに関連付けられる。各ＣＶＳＭは、所定のセグメントに提示（表示）されるであろう圧縮ビデオイメージを転送するエンドポイントのＩＤ番号に関連付けられ得る。受信された圧縮ビデオデータを適切なＣＶＳＭに格納することは、受信された圧縮ビデオを運ぶパケットのＲＴＰヘッダ内に埋め込まれたＩＤ番号に基づくことができる。セッションに発生する活動に応じて、ＣＶＳＭとＩＤ番号との関連付けを動的に変更することができる。例えば、限定するものではないが、そのセッションに参加または離脱するエンドポイントや話者の変更などのセッションの変更についてのＭＲＭからのコマンドにより、その関連付けを変更することができる。典型的なエンドポイントは、エンドポイントＩＤをレイアウトのセグメントに関連付ける相互参照テーブルを有することができる。そのセッション中にそのテーブルを更新することができ、セッションの動的成分に反映する。データをＣＶＳＭ内に組織化することは、例えば、ＲＴＰヘッダ内に埋め込まれたパケットのフレーム番号に基づくことができる。
【００１８】
典型的な一実施形態では、エンドポイントは、ＲＴＰヘッダのあるフィールドまたはＲＴＰの拡張ヘッダにこのデータを埋め込むことにより、それらのオーディオエネルギの指示を送出するように構成され得る。そのような実施形態では、ＭＲＭは、各エンドポイントのオーディオエネルギを決定し、それに応じて話者会議出席者あるいは提示された会議出席者を選択するために、オーディオデータを運ぶＲＴＰのヘッダを解析すればよい。代わりの実施形態では、ＭＲＭは、信号または制御接続を介してオーディオエネルギの指示を送出するように、エンドポイントを指示してもよく、あるいは、ＭＲＭは、受信されたオーディオストリームをデコードし、それらのエネルギを決定してもよい。
【００１９】
オーディオ圧縮が例えば圧縮標準Ｇ．７２２１．ＣまたはＧ．７１９に対応する他の典型的な実施形態では、エンドポイントのオーディオコーデックは、オーディオエネルギの指示をオーディオヘッダに追加するように構成され得る。そのような実施形態では、ＭＲＭは、オーディオペイロード（オーディオデータ本体）のヘッダを探し、オーディオエネルギのフィールドを検索するように構成され得る。さらに他の実施形態では、専用の帯域外ステータスおよび制御接続を介して、エンドポイントからＭＲＭにオーディオエネルギの指示を送出することができる。
【００２０】
さらに、典型的なエンドポイントは、各ＣＶＳＭから取得され、格納された圧縮ビデオをデコードするように構成され得る。セグメントフレームメモリ（ＦＭ）モジュールにデコードされたビデオを格納することができる。セグメントフレームメモリは、関連セグメントでＣＰに提示されるべきデコードされたビデオデータを格納する。いくつかの実施形態では、デコーダと関連セグメントＦＭとの間にサイズ調整手段（スケーラ：scaler）を追加することができ、受信されたイメージのサイズを関連セグメントに調整するために、サイズ調整手段を用いることができる。さらに他の実施形態では、関連ＣＶＳＭ内のセグメントに関連付けられる部（手段）におけるＣＰイメージのＦＭにデコードされたビデオを格納することができる。
【００２１】
代わりの典型的な実施形態では、セッション全体のための所定のＩＤにＣＶＳＭを関連付けることができる。そのような実施形態では、ＭＲＭは、ＣＶＳＭ（レイアウト内のセグメント）を表すＩＤを関連セグメントに表示される圧縮ビデオデータと動的に関連付けることができる。そのような実施形態では、レイアウトの変更について受信するエンドポイントに報知する必要がない。ＭＲＭは、関連セグメントに提示されるであろう会議出席者から送出された関連圧縮ビデオデータにセグメントの関連ＩＤを関連付けることにより、その変更を管理することができる。いくつかの実施形態では、レイアウト内のセグメントを表すＩＤをソースＩＤに追加することができ、セグメントＩＤによりソースＩＤを交換することができる。
【００２２】
典型的な実施形態は、レガシーマルチメディアエンドポイント（ＬＥＰ：Legacy Multimedia Endpoints）とＭＲＭに対応する１つ以上のマルチメディアエンドポイント（それらのエンドポイントをメディア中継エンドポイント（ＭＲＥ）という）とのマルチポイントマルチメディア会議を制御するように構成され得る。ＭＲＥは、ＭＲＭから中継されたメディアを受信し、ＭＲＭからの指示に従って圧縮メディアを転送する能力を有するセッション内の会議出席者の端末であればよい。ＬＥＰとの通信を可能にするために、ＭＲＭと１つ以上のＬＥＰの間の中間ノードにそれを設置することにより、レガシーアダプタ（ＭＲＭＴＬＡ）へのＭＲＭを利用することができる。代わりの実施形態では、ＭＲＭ内にＭＲＭＴＬＡを埋め込むことができる。さらに他の実施形態では、ＬＥＰあるいはＬＥＰを制御する共通のＭＣＵにＭＲＭＴＬＡを追加することができる。
【００２３】
ＭＲＭからＬＥＰへの方向において、典型的なＭＲＭＴＬＡは、ＭＲＭから中継された複数のオーディオストリームを処理し、それらのソースＩＤに従ってそれらを配列し、オーディオストリームをデコードおよびミキシングすることができる。行き先ＬＥＰにより用いられるオーディオ圧縮標準に従って、ミキシングされたオーディオストリームをエンコードし、その後ＬＥＰに送出することができる。同様な方法で、ソースＩＤに従って、ＭＲＭＴＬＡにより、受信された１つ以上の圧縮ビデオストリームを配列し、デコードし、ＣＰイメージに構成することができる。行き先ＬＥＰにより用いられるビデオ圧縮標準に従って、ＣＰイメージをエンコードし、ＬＥＰに送出することができる。
【００２４】
ＬＥＰからＭＲＭへの他の方向では、典型的なＭＲＭＴＬＡは、ビデオストリームをデコードし、（必要ならば）それを１つ以上のサイズに調整し、そのセッションに参加しているＭＲＥにより用いられる圧縮標準に従って、調整されたビデオのそれぞれを圧縮するように構成され得る。例えば、関連ＬＥＰに割り当てられたＩＤをＲＴＰヘッダに追加することができる。ＭＲＥの必要性（ニーズ）に対応する圧縮ビデオストリームは、ＭＲＭに送出される。ＬＥＰから受信される圧縮オーディオストリームをデコードすることができ、そのエネルギレベルを決定することができる。ＭＲＥにより用いられる圧縮標準に従ってデコードされたオーディオを圧縮することができ、エンドポイントのオーディオに割り当てられたＩＤを追加することができ、オーディオエネルギの指示を追加することができ、ＭＲＭの要求に対応する圧縮オーディオをＭＲＭに送出することができる。
【００２５】
ＬＥＰに割り当てられた１つ以上のＩＤなどの、ＭＲＭから受信された制御および信号情報、そのＬＥＰに割り当てられたレイアウト、ミキシングされるべき選択されたオーディオストリーム、あるいは、提示されたストリームおよびそのスロットを処理することができ、それらはＭＲＭＴＬＡにより利用され得る。例えば、設定指示を呼び出すために、他の信号伝達および制御を翻訳し、ＬＥＰに送出することができる。
【００２６】
本開示のこれらのおよび他の態様は、添付図面および詳細な説明を考慮して明白になるであろう。前述の本発明の概要は、各可能性のある実施形態あるいは本開示のあらゆる態様を要約するように意図しておらず、本開示の他の特徴および利点は、添付図面および添付した特許請求の範囲とともに、実施形態の以下の詳細な説明を読むことにより明白になるであろう。
【００２７】
さらに、本発明のコンセプトを当業者に示すために、特定の典型的な実施形態を詳細に記述するが、そのような実施形態は、種々の修正および代わりの形状が可能である。したがって、図面および明細書は、いかなる方法によっても本発明のコンセプトの範囲を限定するように意図していない。
【００２８】
本発明の典型的な実施形態は、添付図面に関連して以下の詳細な説明からより完全に理解され、明らかになるであろう。
【図面の簡単な説明】
【００２９】
【図１】典型的な一実施形態における種々の電子テレビ会議システムを備えるマルチメディア会議システム１００を示す。
【００３０】
【図２】典型的な一実施形態における典型的なメディア中継ＭＣＵ（ＭＲＭ）２００の関連構成要素を示すブロック図。
【００３１】
【図３】典型的な技術および要素を実行するセッション圧縮オーディオＲＴＰプロセッサ３００の関連構成要素を示す単純化したブロック図。
【００３２】
【図４】典型的な技術および構成要素を実行するセッション圧縮ビデオＲＴＰプロセッサ４００の関連構成要素を示す単純化したブロック図。
【００３３】
【図５】典型的な一実施形態におけるメディア中継エンドポイント（ＭＲＥ）５００の関連構成要素を示す単純化して示すブロック図。
【００３４】
【図６】典型的な一実施形態におけるＭＲＥビデオモジュール（ＭＲＥＶＭ）６００の一部の関連構成要素を示す単純化して示すブロック図。
【００３５】
【図７】典型的な一実施形態におけるＭＲＥオーディオモジュール（ＭＲＥＡＭ）７００の一部の関連構成要素を示すブロック図。
【００３６】
【図８】典型的な一実施形態により実行される会議設定方法８００の関連ステップを示すフローチャート。
【００３７】
【図９】典型的な一実施形態により実行されるＭＲＥ制御モジュール会議設定方法およびタスク９００の関連ステップを示すフローチャート。
【発明を実施するための形態】
【００３８】
いくつかの図面を通して同様の符号が同様の構成要素を表す図面を参照して、開示される方法、システムおよび装置の典型的な実施形態、態様および特徴を記述する。便宜上、同一のグループのいくつかの構成要素のみに符号を付している。図面の目的は、典型的な実施形態を記述することであり、限定することや生産に用いることではない。図面に示す特徴は、提示の便宜および明確性のためにのみ選択されるものである。
【００３９】
図１は、典型的な一実施形態における種々の新規な電子テレビ会議システムを備える新規なマルチメディア会議システム１００を示す。マルチメディア会議システム１００は、ネットワーク１１０と、１つ以上のメディア中継ＭＣＵ（ＭＲＭ）１２０と、複数のメディア中継エンドポイント（ＭＲＥ）１３０とを含むことができる。ネットワーク１１０は、限定するものではないが、パケット交換ネットワーク、回路交換ネットワーク、ＩＰネットワークあるいはそれらのいずれかの組み合わせであればよい。ネットワーク上のマルチメディア通信は、限定するものではないが、Ｈ．３２０、Ｈ．３２３、ＳＩＰなどの通信プロトコルに基づくことができ、また、限定するものではないが、Ｈ．２６３、Ｈ．２６４、Ｇ．７１１、Ｇ．７１９などのメディア圧縮標準を用いてもよい。本開示では、用語「データチャンク（data chunks）」および「パケット（packets）」は交換可能に用いられてもよい。
【００４０】
各メディア中継エンドポイント（ＭＲＥ）１３０は、リアルタイムの双方向オーディオあるいは映像通信を別のＭＲＥ１３０またはＭＲＭ１２０に提供することができる。ＭＲＥは、セッションの会議出席者の端末であればよく、ＭＲＭから中継済圧縮メディアを受信したり、ＭＲＭからの指示に応じて中継圧縮オーディオおよびビデオデータチャンクを転送したりする能力を有する。中継および中継済圧縮メディア、オーディオもしくはビデオ、データチャンクは、それぞれ、ＲＴＰ圧縮メディア、オーディオもしくはビデオ、データチャンクであればよい。各ＭＲＥ１３０は、適切な要求ビットレート（ビット転送速度）および要求圧縮標準で中継ＲＴＰ圧縮オーディオデータチャンクを送出することができる。同様に、各ＭＲＥ１３０は、適切な要求サイズ、ビットレートおよび要求圧縮標準で中継ＲＴＰ圧縮ビデオデータチャンクを送出することができる。典型的な実施形態では、各ＭＲＥ１３０は、ヘッダのあるフィールドにもしくは中継ＲＴＰ圧縮オーディオデータチャンクの拡張ヘッダにオーディオエネルギ指示を埋め込むことにより、そのオーディオエネルギの指示を送出するように構成され得る。
【００４１】
各ＭＲＥ１３０は所定のＩＤに関連付けられ得る。メディアデータの中継ＲＴＰ圧縮チャンクのリアルタイムトランスポートプロトコル（ＲＴＰ：real-time transport protocol）ヘッダにその所定のＩＤを入れることができる。一実施形態では、ＭＲＥは、ＩＤをランダムに選択することができ、その一意性を有効にした後、ＭＲＭは、そのＩＤを潜在的に確認することができる。別の実施形態では、ＭＲＭ１３０は、そのＩＤを割り当てることができ、関連ＭＲＥに伝達することができる。ＭＲＥは、各中継圧縮メディアデータチャンクのＲＴＰヘッダ内の同期ソース（ＳＳＲＣ）フィールドにそのＩＤを書き込めばよい。代わりの実施形態では、そのＩＤは、各中継ＲＴＰ圧縮メディアデータチャンクの拡張ヘッダに書き込まれ得る。そのＩＤは、所定の受信された中継ＲＴＰ圧縮オーディオあるいはビデオパケットのソースをＭＲＭ１２０が識別するのを可能にすることができる。いくつかの典型的な実施形態では、同一のＭＲＥ１３０の中継ＲＴＰ圧縮オーディオデータチャンクおよび中継ＲＴＰ圧縮ビデオデータチャンクは同一のＩＤを有すればよい。代わりの実施形態では、同一のＭＲＥ１３０の中継ＲＴＰ圧縮オーディオデータチャンクおよび中継ＲＴＰ圧縮ビデオデータチャンクは異なるＩＤを有してもよい。いくつかの実施形態では、表示された常駐表示レイアウトにおける各セグメントは、あるＩＤに関連付けられ得る。ＭＲＭ１２０は、例えば、オーディオエネルギなどの異なるパラメータに従って、そのセッション内の各ＭＲＥ１３０にセグメントＩＤ番号を分配する責任を有すればよい。さらに代わりの実施形態では、ＩＤ番号の代わりに、中継ＲＴＰ圧縮オーディオあるいはビデオデータチャンクがＭＲＭ１２０上で受信されるＩＰアドレスおよびＩＰポートを識別のために用いることができる。なお、「常駐表示レイアウト」とは、表示画面において会議参加者の存在を表示するための表示レイアウトであり、会議参加者が常時面前にいる（常駐する）かのような状況を演出できる表示レイアウトのことを言う。すなわち、「常駐表示レイアウト」とは、会議参加者を常駐表示するためのレイアウトである。
【００４２】
一実施形態では、各会議出席者（ＭＲＥ１３０）の受信したオーディオエネルギに応じて、ＭＲＭ１２０は、そのセッションの所定期間にいずれの会議出席者がＣＰイメージに提示されるかを決定することができる。例えば、将来の所定期間、最も高いオーディオエネルギを有するＭＲＥ１３０を選択し、提示し、聞くことができる。さらに、ＭＲＭ１２０は、表示された会議出席者の誰がレイアウト内の話者セグメントに表示されるのかを決定することができる。代わりの実施形態では、各ＭＲＥ１３０は、いずれの会議出席者がそのレイアウトに提示されるか、および、いずれの会議出席者（ＭＲＥ１３０）が話者セグメントに表示されるかを決定することができる。そのような実施形態では、ＭＲＥ１３０のユーザは、クリックして視聴するオプション（click and view option）を用いることができる。このオプションは、米国特許出願公開第ＵＳ２００３／０，１７４，２０２号に開示される。また、ＭＲＭ１２０は、適切な受信されたストリームを適切なＭＲＥ１３０に届けることができる。
【００４３】
典型的なＭＲＥ１３０は、選択された会議出席者から受信されたビデオイメージのデータチャンクの受信した中継済ＲＴＰ圧縮ビデオストリームをデコードし、適切なレイアウトセグメント内に各イメージを表示することができる。ＭＲＥ１３０は、オーディオデータチャンクの受信された中継済ＲＴＰ圧縮オーディオストリームをデコードし、異なるデコードされたオーディオストリームをミキシング（混合）し、ミキシングされたオーディオをＭＲＥ１３０のスピーカに転送することができる。他の方向では、ＭＲＥ１３０は、ＭＲＭ１２０からの指示に応じて、中継ＲＴＰ圧縮オーディオおよびビデオデータチャンクを転送することができる。ＭＲＥについてのさらに詳細な情報は、図５、図６および図７に関連して以下に開示される。
【００４４】
典型的な実施形態では、マルチメディア会議システム１００は、図示しないが、１つ以上のレガシーマルチメディアエンドポイント（ＬＥＰ：Legacy Multimedia Endpoint）をさらに備えることができる。マルチメディア会議システム１００は、レガシーマルチメディアエンドポイント（ＬＥＰ）と１つ以上のメディア中継エンドポイント（ＭＲＥ）１３０との間のマルチポイントマルチメディア会議を制御するように構成され得る。ＬＥＰとの通信を可能にするために、レガシーアダプタへのＭＲＭ（ＭＲＭＴＬＡ）を用いることができる（図１には図示せず）。ＭＲＭ１２０と１つ以上のＬＥＰの間の中間ノードに典型的なＭＲＭＴＬＡを設置（インストール）することができる。代わりの実施形態では、ＭＲＭＴＬＡをＭＲＭ１２０内に埋め込むことができ、さらに別の実施形態では、ＬＥＰまたはＬＥＰを制御する共通のＭＣＵにＭＲＭＴＬＡを追加することができる。
【００４５】
図２は、典型的な一実施形態における典型的なメディア中継ＭＣＵ（ＭＲＭ）２００の関連構成要素を示すブロック図を示す。ＭＲＭ２００は、例えば、ネットワークインタフェースモジュール（ＮＩ）２２０と、１つ以上のセッション圧縮オーディオＲＴＰプロセッサ（ＳＣＡＲＰ）２３０と、信号伝達および制御モジュール（ＳＣＭ）２４０と、１つ以上のセッション圧縮ビデオＲＴＰプロセッサ（ＳＣＶＲＰ）２５０とを含んでもよい。典型的な代わりの実施形態では、ＭＲＭ２００は、セッション毎に１つ以上のＳＣＭ２４０を含めばよい。
【００４６】
典型的なネットワークインタフェースモジュール（ＮＩ）２２０は、ネットワーク１１０（図１）を介して、ＭＲＥ１３０（図１）などの複数のテレビ会議装置と通信することができる。ネットワークインタフェース２２０は、限定するものではないが、Ｈ．３２０、Ｈ．３２３およびＳＩＰなどの１つ以上の通信標準に応じた通信を解析することができる。さらに、典型的なネットワークインタフェースモジュール２２０（ＮＩ）は、受信された通信およびその逆の物理層、データリンク層、ネットワーク層およびトランスポート層（ＵＤＰ／ＴＣＰ層）を処理すればよい。ＮＩ２２０は、ＭＲＭ２００およびＭＲＥ１３０（図１）あるいはＭＲＭＴＬＡなどの他のノード（図示せず）と制御およびデータ情報を送受信することができる。ＮＩ２２０は、ＭＲＥ１３０とＭＲＭ２００との間で通信される異なる信号およびストリームを多重化／非多重化する。
【００４７】
ＮＩ２２０を介して、ＭＲＥ１３０およびＳＣＡＲＰ２３０の間で圧縮オーディオのＲＴＰチャンクを転送することができる。各ＳＣＡＲＰ２３０は所定のセッションに関連付けられ得る。ＮＩ２２０は、ＭＲＥ１３０のパケットソース、行き先ＩＰポートおよびＩＰアドレスあるいはＩＤに応じて、ＭＲＥ１３０がどのセッションに参加しているかを決定することができ、それにより、所定のＭＲＥ１３０から受信したおよびその逆のパケットをどのＳＣＡＲＰ２３０に転送するかをＮＩ２２０が決定するのを可能にする。
【００４８】
また、ビデオデータのＲＴＰ圧縮チャンクは、ＮＩ２２０を介して、ＭＲＥ１３０およびＳＣＶＲＰ２５０の間で転送される。各ＳＣＶＲＰ２５０は所定のテレビ会議セッションと関連付けられ得る。ＮＩ２２０は、ＭＲＥ１３０のパケットソース、あるいは、行き先ＩＰポートおよびＩＰアドレス、あるいはソースＩＤに従って、ＭＲＥ１３０がどのセッションに参加しているかを決定することができ、それにより、所定のＭＲＥ１３０から受信されたおよびその逆のパケットをいずれのＳＣＶＲＰ２５０に転送するかをＮＩ２２０が決定することを可能にする。
【００４９】
また、ＮＩ２２０は、ＳＣＭ２４０およびＭＲＥ１３０との間で信号伝達および制御データを送受信することができる。代わりの実施形態は、セッション毎に１つを含む２つ以上の信号伝達および制御モジュール（ＳＣＭ）２４０を有することができる。
【００５０】
ＭＲＭ２００が処理している会議セッション毎に、セッションオーディオを処理するように所定のセッション圧縮オーディオＲＴＰプロセッサ（ＳＣＡＲＰ）２３０を割り当てることができる。典型的なＳＣＡＲＰ２３０は、そのセッションに参加しているＭＲＥ１３０からＮＩ２２０を介して、オーディオデータ（ヘッダおよびペイロード（データ本体））の中継ＲＴＰ圧縮チャンクを受信することができる。ＳＣＡＲＰ２３０は、そのセッションに参加しているＭＲＥ１３０それぞれの複数のＭＲＥ逐次メモリを管理することができる。ＳＣＡＲＰ２３０は、ＭＲＥ１３０から受信した中継ＲＴＰ圧縮オーディオチャンクのＲＴＰヘッダを解析するとともに、適切なＭＲＥ逐次メモリにそれを格納することができる。また、ＳＣＡＲＰ２３０は、中継ＲＴＰヘッダに内蔵された連続番号（シーケンス番号）またはタイムスタンプに応じて、中継ＲＴＰ圧縮オーディオチャンクをＭＲＥ逐次メモリに格納する適切な順番を決定することができる。
【００５１】
ＳＣＡＲＰ２３０は、受信した各中継ＲＴＰ圧縮オーディオチャンクの中継ＲＴＰヘッダ内の適切なフィールドを解析することにより、各ＭＲＥ１３０のオーディオエネルギについての情報を収集することができる。そして、ＳＣＡＲＰ２３０は、受信した中継ＲＴＰ圧縮オーディオチャンクのオーディオエネルギレベルをサンプリングすることにより、そのセッションの各ＭＲＥ１３０の現在の平均オーディオエネルギを計算することができる。
【００５２】
定期的に、例えば数十ミリ秒毎に、ＳＣＡＲＰ２３０は、聞かれるとともに、そしてＭＲＥ１３０に転送されるべきオーディオチャンクの中継ＲＴＰ圧縮ストリームのグループを選択することができる。その選択は、オーディオエネルギまたは受信されたストリームに関連付けられた平均エネルギを比較することに基づくことができる。選択された中継ＲＴＰ圧縮ストリームの数はＭＲＥ１３０のオーディオミキシング能力に依存する。また、ＳＣＡＲＰ２３０は、いずれのＭＲＥ１３０がメインの話者（例えば、最大レイアウトセグメントに表示される者）であるかを選択し、したがって、信号伝達および制御情報をＳＣＭ２４０に転送することができる。メインの話者は、ある期間にわたって聞かれるストリームの選択間隔の所定のパーセンテージの最高のオーディオエネルギを有する者であればよい。さらに代わりの実施形態では、ＳＣＡＲＰ２３０は、ＭＲＥ１３０のオーディオエネルギについての情報をＳＣＭ２４０に転送することができる。ＳＣＭ２４０は、ＭＲＥ１３０のメインの話者と、聞かれ得る（ミキシングされ得る）オーディオデータのＲＴＰ圧縮ストリームのグループとを選択し、適切なＳＣＡＲＰ２３０およびＳＣＶＲＰ２５０に信号伝達および制御データを送出するであろう。いくつかの実施形態では、会議出席者あるいはメインの話者の選択されたグループについての情報は、ＭＲＥ１３０にも転送される。ＳＣＭ２４０から送出される信号伝達および制御データに応じて、ＳＣＡＲＰ２３０は、選択されたグループの中継ＲＴＰ圧縮オーディオチャンクを配列し、ＮＩ２２０を介して適切なＭＲＥ１３０に、中継済圧縮オーディオデータチャンクとしてそれらを中継することができる。
【００５３】
ＭＲＭ２００が取り扱うテレビ会議セッション毎に、セッション圧縮ビデオＲＴＰプロセッサ（ＳＣＶＲＰ）２５０が割り当てられる。典型的なＳＣＶＲＰ２５０は、ＮＩ２２０を介してそのセッションに参加しているＭＲＥ１３０から中継ＲＴＰ圧縮ビデオチャンク（ヘッダおよびペイロード（データ本体））のストリームを受信することができる。典型的なＳＣＶＲＰ２５０は、そのセッションに参加しているＭＲＥ１３０それぞれの複数のＭＲＥ逐次メモリを管理することができる。ＳＣＶＲＰ２５０は、受信された中継ＲＴＰ圧縮ビデオチャンクのヘッダを解析し、そのフレーム番号またはタイムスタンプに従って、それを適切なＭＲＥ逐次メモリに格納（記憶）することができる。時々、そのセッションにより用いられるフレームレートに応じて、ＳＣＭ２４０から受信された信号伝達および制御情報に従って、ＳＣＶＲＰ２５０は、１つ以上のＭＲＥ逐次メモリのグループにアクセスし、ＮＩ２２０を介して適切なＭＲＥ１３０に、選択されたＭＲＥのグループのデータを中継することができる。
【００５４】
ＳＣＭ２４０は、ビデオデータのいずれのＲＴＰ圧縮ストリームがＭＲＥ１３０に中継されるか、および、いずれのレイアウトセグメントにビデオイメージが提示されるかを決定する。ＳＣＭ２４０から受信された指示に基づいて、ＳＣＶＲＰ２５０は、適切なストリームをＭＲＥ１３０に中継し、各ビデオイメージをいずれのレイアウトセグメントに提示するかをＭＲＥに指示する。一実施形態では、ＳＣＶＲＰ２５０は、それを送出する中継済ＲＴＰ圧縮ビデオデータチャンクのＲＴＰヘッダ内のＩＤを変更することにより、会議出席者の提示の変更をＭＲＥ１３０に通知することができる。ＣＰイメージのいずれのセグメントに中継済ＲＴＰ圧縮ビデオデータチャンクが表示されるべきかに関して、受信しているＭＲＥ１３０への指示としてそのヘッダの変更されたＩＤを用いることができる。代わりの実施形態では、ＳＣＭ２４０は、ＮＩ２２０を介して、信号伝達および制御データによる変更をＭＲＥ１３０に通知することができる。さらに別の実施形態では、ＳＣＶＲＰ２５０は、それを送出する中継済ＲＴＰ圧縮ビデオデータチャンクのＲＴＰヘッダ内の予め定義されたフィールドを変更することにより、変更をＭＲＥ１３０に通知することができる。ＭＲＥ１３０が中継済ＲＴＰ圧縮ビデオデータチャンクをいずれのセグメントに表示すべきかを示すために、ＲＴＰヘッダ内の予め定義されたフィールドを用いることができる。
【００５５】
典型的なＳＣＭ２４０は、ＭＲＭの動作全体を制御する。ＳＣＭ２４０は、（予約されたまたは即興の）会議セッションを開始し、エンドポイントとの接続を設定することができる。したがって、セッションの必要性に基づいて、ＳＣＭ２４０は、そのセッションの特性を決定し、エンドポイントを設定することができる。また、ＳＣＭ２４０は、ＭＲＭ２００の内部モジュールにリソースを割り当てることができ、ＲＴＰ圧縮オーディオおよびビデオの各ストリームにＩＤ番号を割り当てることができる。
【００５６】
時々、ＳＣＭ２４０は、データチャンクの各中継ＲＴＰ圧縮オーディオストリームのオーディオエネルギについての情報を取得することができ、それにより、各エンドポイント上に提示すべき新しい話者およびビデオソースを選択することができる。これらの選択に基づいて、ＳＣＡＲＰ２３０およびＳＣＶＲＰ２５０に指示が与えられる。また、ＳＣＭ２４０は、会議話者、提示すべき会議出席者数および会議出席者の数人の状態の変更に関する情報を１つ以上のＭＲＥ１３０を通知することができる。ＭＲＭについてのさらなる情報は、図３、図４および図８に関連して以下に開示される。
【００５７】
図３は、異なる実施形態の典型的な技術および要素を実行する典型的なＳＣＡＲＰ３００の関連構成要素を示す単純化したブロック図である。ＳＣＡＲＰ３００は、ＲＴＰオーディオ入力バッファ３１０と、オーディオＲＴＰヘッダ構文解析および組織化手段３２０と、複数のＭＲＥ逐次オーディオメモリ３３０と、バス３４０と、複数のＲＴＰ圧縮オーディオストリーム構築手段３５０と、オーディオエネルギプロセッサ３６０とを含めばよい。ＳＣＡＲＰ３００は、制御バス３６５を介してＳＣＭ２４０（図２）により制御され得る。制御バス３６５は、例えば、内部バスまたは共有メモリであればよい。圧縮オーディオデータチャンクを送受信するための圧縮ＲＴＰオーディオデータインタフェース（ＣＲＡＤＩ）３０５を介して、ＳＣＡＲＰ３００の入力および出力をＮＩ２２０（図２）に接続することができる。ＣＲＡＤＩ３０５は内部バスまたは共有メモリであればよい。
【００５８】
ＭＲＭ２００（図２）により処理されるＣＰ会議セッションのオーディオを処理するために、各ＳＣＡＲＰ３００を割り当てることができる。典型的なＳＣＡＲＰ３００のＲＴＰオーディオ入力バッファ３１０は、そのセッションに参加するＭＲＥ１３０（図１）から受信された中継ＲＴＰ圧縮オーディオデータチャンクをＣＲＡＤＩ３０５から取得することができる。典型的な実施形態では、ＲＴＰオーディオ入力バッファ３１０は、中継ＲＴＰヘッダ内のＩＤ番号を用いることにより、ＣＲＡＤＩ３０５からいずれの中継ＲＴＰ圧縮オーディオデータチャンクを収集するかを決定することができる。代わりの実施形態では、ＲＴＰオーディオ入力バッファ３１０は、ソース、あるいは、受信された関連パケットの行き先ＩＰアドレスおよびポート番号に基づいて、中継ＲＴＰ圧縮オーディオデータチャンクをＮＩ２２０（図２）から受信することができる。
【００５９】
典型的なオーディオＲＴＰヘッダ構文解析および組織化手段３２０は、ＲＴＰオーディオ入力バッファ３１０から中継ＲＴＰ圧縮オーディオデータチャンクを抽出することができ、限定するものではないが、ＩＤ、チャンクの連続番号あるいはタイムスタンプ、および存在するならば、オーディオエネルギなどの関連情報を検索するために、中継ＲＴＰ圧縮オーディオデータチャンクのヘッダを解析することができる。いくつかの実施形態では、オーディオエネルギ情報を検索するために、オーディオヘッダを解析することができる。ＩＤに基づいて、例えば、オーディオＲＴＰヘッダ構文解析および組織化手段３２０は、解析された中継ＲＴＰ圧縮オーディオデータチャンクおよびオーディオエネルギを適切なＭＲＥ逐次オーディオメモリ３３０およびオーディオエネルギプロセッサ３６０にそれぞれ転送することができる。
【００６０】
各ＭＲＥ逐次オーディオメモリ３３０は、所定のＭＲＥ１３０（図１）に関連付けられる。受信された中継ＲＴＰ圧縮オーディオデータチャンクは、それらの連続番号およびタイムスタンプの少なくとも一方に応じてＭＲＥ逐次オーディオメモリ３３０に格納される。各ＭＲＥ逐次オーディオメモリ３３０は、バス３４０を介してアクセスされ得る。バス３４０は、すべてのＭＲＥ逐次オーディオメモリ３３０をＲＴＰ圧縮オーディオストリーム構築手段３５０の１つ以上に接続する。
【００６１】
各ＲＴＰ圧縮オーディオストリーム構築手段３５０を１つ以上のＭＲＥ１３０（図１）に割り当てることができる。典型的なＲＴＰ圧縮ストリーム構築手段３５０は、ＭＲＥ多重化および連続化手段（マルチプレクサ・シーケンサ）３５２と、ＭＲＥＲＴＰオーディオ出力バッファ３５４とを備えることができる。ＲＴＰ圧縮ストリーム構築手段３５０は、１つ以上のＭＲＥ逐次オーディオメモリ３３０にアクセスすることにより、圧縮オーディオ中継データチャンクの１つ以上のソースのグループを選択することができる。グループ選択は、オーディオエネルギプロセッサ３６０から受信された制御信号、そのエネルギとは独立の特定のソースのユーザ識別、あるいは予定されたＭＲＥ１３０のオーディオミキシング能力などの異なるパラメータに基づくことができる。通常、選択されたソースのグループは、割り当てられたＭＲＥから受信されたオーディオストリームを含まない。さらに代わりの実施形態では、ＲＴＰ圧縮ストリーム構築手段３５０は、割り当てられたＭＲＥ１３０から、いずれのＭＲＥ１３０を選択するかに関する制御信号を受信することができる。さらに、時々、ＲＴＰ圧縮オーディオストリーム構築手段３５０は、会議のリアルタイムの変更に応じて、入力の選択を変更することができる。
【００６２】
典型的なＭＲＥ多重化および連続化手段３５２は、バス３４０から１つ以上の入力中継ＲＴＰ圧縮オーディオデータチャンクストリームを選択することができる。１つの中継済ＲＴＰ圧縮オーディオデータチャンクストリームに、選択された中継ＲＴＰ圧縮オーディオデータチャンクストリームを多重化することができる。多重化された中継済ＲＴＰ圧縮オーディオデータチャンクストリームは、ＭＲＥＲＴＰオーディオ出力ＦＩＦＯ３５４に送り出され、ＣＲＡＤＩ３０５およびＮＩ２２０（図２）を介して、そこから適切なＭＲＥ１３０に送信される。
【００６３】
ＲＴＰ圧縮オーディオストリーム構築手段３５０の代わりの実施形態（図示せず）は、セレクタ（選択手段）のグループを備えることができる。各セレクタはバス３４０に接続され、ＭＲＥ逐次オーディオメモリ３３０の１つの出力を選択することができる。セレクタのその他のポートは、ＦＩＦＯを介してＣＲＡＤＩ３０５に接続されてもよい。そのような実施形態では、選択されたオーディオストリームは、複数の中継済ＲＴＰ圧縮オーディオデータチャンクストリームとしてＭＲＥに送出される。
【００６４】
代わりの実施形態では、典型的なＲＴＰ圧縮オーディオストリーム構築手段３５０は、会議セッションに参加する会議出席者のグループに奉仕するために用いられ得る。そこでは、すべての関連ＭＲＥ１３０が、中継済ＲＴＰ圧縮オーディオデータチャンクの同一のストリームを受信する。
【００６５】
典型的なオーディオエネルギプロセッサ３６０は、各中継ＲＴＰ圧縮オーディオデータチャンクに関連付けられたオーディオエネルギを受信することができ、この情報に基づいて、オーディオエネルギプロセッサ３６０は、次の期間に混合（ミキシング）するために、どのＭＲＥを選択するかを決定する。その選択は、適切なＲＴＰ圧縮オーディオストリーム構築手段３５０のＭＲＥ多重化および連続化手段３５２に転送される。さらに、オーディオエネルギプロセッサ３６０は、どのエンドポイントが上述のようなメインの話者として提示されるかを決定することができる。新しいアクティブな話者を指定するこの情報は、制御バス３６５を介してＳＣＭ２４０に転送され得る。
【００６６】
図４は、異なる実施形態の典型的な技術および構成要素を実行する典型的なセッション圧縮ビデオＲＴＰプロセッサ（ＳＣＶＲＰ）４００の関連構成要素を示す単純化したブロック図である。ＳＣＶＲＰ４００は、ＲＴＰビデオ入力バッファ４１０と、ビデオＲＴＰヘッダ構文解析および組織化手段４２０と、１つ以上のＭＲＥ逐次ビデオメモリ４３０と、バス４４０と、１つ以上のＲＴＰ圧縮ビデオストリーム構築手段４５０とを備えることができる。ＳＣＶＲＰ４００は、制御バス４６５を介してＳＣＭ２４０（図２）から制御を受信することができる。制御バス４６５は、例えば、内部バスや共有メモリであればよい。圧縮された入力および出力ビデオデータチャンクは、圧縮ＲＴＰビデオデータインタフェース（ＣＲＶＤＩ）４０５を介して、ＳＣＶＲＰ４００とＮＩ２２０（図２）との間で通信され得る。圧縮ＲＴＰビデオデータインタフェース（ＣＲＶＤＩ）４０５は内部バスまたは共有メモリであればよい。
【００６７】
各ＳＣＶＲＰ４００は、ＣＲＶＤＩ４０５を介して、ＣＰ会議セッションのビデオを管理する。典型的なＲＴＰビデオ入力バッファ４１０は、そのセッションに参加するＭＲＥ１３０（図１）から受信した中継ＲＴＰ圧縮ビデオデータチャンクを取得することができる。典型的な実施形態では、ＲＴＰビデオ入力バッファ４１０は、例えば、ＲＴＰヘッダに埋め込まれたＩＤ番号によりいずれの中継ＲＴＰ圧縮ビデオデータチャンクを処理するかを決定することができる。代わりの実施形態では、ＲＴＰビデオ入力バッファ４１０は、関連パケットに関連付けられたソースあるいは行き先ＩＰアドレスおよびポート番号に基づいて、ＮＩ２２０（図２）からビデオチャンクを受信する。
【００６８】
ビデオＲＴＰヘッダ構文解析および組織化手段４２０は、ＲＴＰビデオ入力バッファ４１０から中継ＲＴＰ圧縮ビデオデータチャンクを抽出することができるとともに、限定するものではないが、ＩＤ、連続番号、タイムスタンプ、あるいは、各ビデオチャンクに関連付けられた第１マクロブロックアドレス（ＭＢＡ：macro block address）を有するフレーム番号などの関連情報を検索するために、中継ＲＴＰ圧縮ビデオデータチャンクのヘッダを解析することができる。検索された情報に従って、ビデオＲＴＰヘッダ構文解析および組織化手段４２０は、関連中継ＲＴＰ圧縮ビデオデータチャンクを適切なＭＲＥ逐次ビデオメモリ４３０に格納することができる。
【００６９】
各ＭＲＥ逐次ビデオメモリ４３０は、そのセッションに参加するあるＭＲＥ１３０（図１）に関連付けられる。ＭＲＥ逐次ビデオメモリ４３０の各出力は、すべてのＭＲＥ逐次ビデオメモリ４３０とＲＴＰ圧縮ビデオストリーム構築手段４５０の１つ以上とを接続するバス４４０にリンク（接続）される。
【００７０】
ＭＲＥに中継されるべき適切な中継圧縮ビデオデータストリームのグループを選択するために、１つ以上の受信するＭＲＥ１３０（図１）に各ＲＴＰ圧縮ビデオストリーム構築手段４５０を割り当てることができる。典型的なＲＴＰ圧縮ビデオストリーム構築手段４５０は、ＭＲＥ多重化および連続化手段４５２と、ＭＲＥＲＴＰビデオ出力バッファ４５４とを備えることができる。各ＲＴＰ圧縮ビデオストリーム構築手段４５０は、中継ＲＴＰ圧縮ビデオデータチャンクの１つ以上のソース（ＭＲＥ）のグループを選択することができる。この選択は、制御バス４６５を介してＳＣＭ２４０（図２）から受信した制御信号に基づくことができ、セッションの変更の結果として変更することができる。さらに代わりの実施形態では、ＲＴＰ圧縮ビデオストリーム構築手段４５０は、ＳＣＭ２４０および制御バス４６５を介して、いずれのＭＲＥ１３０を見るかに関する制御信号を割り当てられたＭＲＥ１３０自身から受信することができる。
【００７１】
典型的なＭＲＥビデオ多重化および連続化手段４５２は、入力中継ＲＴＰ圧縮ビデオデータチャンクの選択されたストリームをバス４４０から取得し、中継済ＲＴＰ圧縮ビデオデータチャンクの１つのストリームにそのストリームのグループを多重化することができる。それは、ＭＲＥＲＴＰビデオ出力ＦＩＦＯ４５４に格納され、ＣＲＶＤＩ４０５およびＮＩ２２０（図２）を介して、割り当てられた受信するＭＲＥ１３０にそこから送信される。いくつかの会議セッションでは、そのセッションのすべてのＭＲＥ１３０のために、１つのＲＴＰ圧縮ビデオストリーム構築手段４５０を用いることができる。そのため、すべてのＭＲＥ１３０が中継済ＲＴＰ圧縮ビデオデータチャンクの同一のストリームを受信するであろう。
【００７２】
ＲＴＰ圧縮ビデオストリーム構築手段４５０の代わりの実施形態（図示せず）は、セレクタのグループを備えることができる。各セレクタはバス４４０に接続され、ＭＲＥ逐次ビデオメモリ４３０の１つの出力を選択することができる。ＦＩＦＯを介して、そのセレクタの他のポートをＣＲＶＤＩ４０５に接続することができる。そのような実施形態では、選択されたビデオストリームは、複数の中継済ＲＴＰ圧縮ビデオデータチャンクストリームとしてＭＲＥに送り出される。
【００７３】
ＩＤ番号がレイアウト内の各セグメントに割り当てられる典型的な実施形態では、ＭＲＥＲＴＰビデオ出力ＦＩＦＯモジュール４５４は、処理される各圧縮ビデオデータチャンクに適切なセグメントＩＤを追加するように構成することができる。そのような実施形態では、バス４６５を介して受信される制御信号を介して、ソースＭＲＥのセグメントＩＤと関連ＩＤとの関連付けを維持することができる。セグメントＩＤは、そのチャンクに関連付けられたソースＩＤを交換することができ、ＲＴＰヘッダの別のフィールドにそれを格納することができる。
【００７４】
図５は、メディア中継エンドポイント（ＭＲＥ）５００の典型的な一実施形態の関連構成要素を示す単純化したブロック図を示す。ＭＲＥ５００は、ＭＲＥネットワークインタフェースモジュール（ＭＮＩ）５２０と、ＭＲＥオーディオモジュール（ＭＲＥＡＭ）５３０と、ＭＲＥ制御モジュール（ＭＲＥＣＭ）５４０と、ＭＲＥビデオモジュール（ＭＲＥＶＭ）５５０とを含んでいればよい。
【００７５】
典型的なＭＲＥ５００は、ＭＲＥネットワークインタフェースモジュール（ＭＮＩ）５２０およびネットワーク１１０（図１）を介して、メディア中継ＭＣＵ（ＭＲＭ）１２０（図１）または別のＭＲＥ１３０（図１）と通信することができる。典型的なＭＮＩ５２０は、限定するものではないが、Ｈ．３２０、Ｈ．３２３およびＳＩＰなどの１つ以上の通信標準と、Ｈ．２６１、Ｈ．２６３およびＨ．２６４などの圧縮標準とに応じた通信を処理することができる。さらに、典型的なネットワークＭＮＩ５２０は、ＭＲＥとの間の通信の物理層、データリンク層、ネットワーク層およびトランスポート層（ＵＤＰ／ＴＣＰ層）の役割を果たしてもよい。
【００７６】
ＭＮＩ５２０は、ＭＲＥ５００とＭＲＭ１２０（図１）との間で通信されたメディアストリームと同様に、その信号伝達および制御を多重化したり、逆多重化（分離）したりすることができる。オーディオおよびビデオのＲＴＰ圧縮データチャンク（ヘッダおよびペイロード（データ本体））は、ＭＮＩ５２０を介して、ＭＲＭ１２０、ＭＲＥＡＭ５３０およびＭＲＥＶＭ５５０の間でそれぞれ転送される。また、ＭＮＩ５２０は、ＭＲＥＣＭ５４０とＭＲＭ１２０（図１）との間で信号伝達および制御を送受信することができる。
【００７７】
典型的なＭＲＥＡＭ５３０は、ＭＮＩ５２０を介してＭＲＭ１２０（図１）から、複数の中継済ＲＴＰ圧縮オーディオデータチャンク（ヘッダおよびペイロード）のグループを受信することができ、ソースＩＤ、タイムスタンプおよび連続番号などのパラメータを決定するために、その中継済ＲＴＰ圧縮オーディオデータチャンクのＲＴＰヘッダを解析することができる。また、ＭＲＥＡＭ５３０は、それらのＩＤ、タイムスタンプ、あるいは連続番号に従って、受信された中継済ＲＴＰ圧縮オーディオデータチャンクを配列することができ、そして、そのオーディオデータチャンクをデコードしたり、ミキシング（混合）したり、増幅したりすることもできる。次に、ＭＲＥＡＭ５３０は、ＭＲＥ５００の１つ以上のスピーカに混合（ミキシング）されたオーディオを転送することができる。
【００７８】
他の方向では、ＭＲＥＡＭ５３０は、ＭＲＥ５００のマイクロフォンからのオーディオ信号を収集し、アナログ信号からデジタル信号に変換し、そのオーディオエネルギを計算し、適切な圧縮標準に従ってＲＴＰ圧縮オーディオデータチャンクにそのオーディオをエンコード（符号化）および圧縮することができる。利用される圧縮標準は、限定するものではないが、Ｇ．７１１、Ｇ．７１９またはＧ．７２２１．Ｃであればよい。
【００７９】
ＭＲＥＡＭ５３０は、計算されたオーディオエネルギ、ＭＲＭによりＭＲＥのオーディオストリームに割り当てられたＩＤ、タイムスタンプおよび連続番号を圧縮オーディオデータチャンクのＲＴＰヘッダの適切なフィールド内に埋め込むことができる。別の実施形態では、ＭＲＥＡＭ５３０は、ＭＲＥＣＭ５４０を介してオーディオ信号エネルギの指示を送出することができる。ＭＲＥＡＭ５３０に関するさらなる情報は、図６に関連して以下に開示される。
【００８０】
典型的なＭＲＥビデオモジュール（ＭＲＥＶＭ）５５０は、ＭＮＩ５２０を介してＭＲＭ１２０（図１）から、中継済ＲＴＰ圧縮ビデオデータチャンクのグループ（ヘッダおよびペイロード）を受信することができ、限定するものではないが、ソースＩＤ、セグメントＩＤ、タイムスタンプおよび連続番号などのパラメータを決定するために、受信された中継済ＲＴＰ圧縮ビデオデータチャンクのＲＴＰヘッダを解析することができる。ＭＲＥＶＭ５５０は、それらのタイムスタンプあるいは連続番号に従って受信された中継済ＲＴＰ圧縮ビデオデータチャンクを配列し、中継済ＲＴＰ圧縮ビデオデータチャンクをデコードし、ＩＤ番号に基づいて適切なセグメントＦＭ（フレームメモリ）にそれらを組織化することができる。レイアウトの各セグメントのために、セグメントＦＭがあればよく、各セグメントあるいはソースＩＤをそのレイアウト内の所定のセグメントＦＭに関連付けることができる。代わりの実施形態では、ソースあるいは行き先ＩＰアドレスおよびポート番号をそのレイアウトのあるセグメントに関連付けることができる。ＭＲＥ５００により用いられるフレームレートに依存して、ＭＲＥＶＭ５２０は、異なるセグメントＦＭを構成されるＦＭ（ＣＰフレームメモリ）に統合し、ＭＲＥ５００の１つ以上のディスプレイ上に表示すべき完了したＣＰＦＭを送出することができる。
【００８１】
代わりの実施形態では、ＭＲＥＶＭ５５０は、タイムスタンプあるいは連続番号に従って、受信された中継済ＲＴＰ圧縮ビデオデータチャンクを配列し、そのビデオデータチャンクをデコードし、レイアウト全体をカバーする１つのＣＰＦＭ（常駐フレームメモリ）にそれらを組織化することができる。また、さらに別の典型的な実施形態では、ＭＲＥＶＭ５５０は、会議のメインの話者の変更、提示される会議出席者の数の変更、会議出席者の数人の変更などに関する情報をＭＲＥＣＭ５４０から受信することができる。
【００８２】
他の方向では、ＭＲＥＶＭ５５０は、ＭＲＥ５００のカメラからビデオイメージを収集し、ビデオイメージを１つ以上の要求されるサイズに調整し、適切な圧縮標準に従って、そのビデオイメージをＲＴＰ圧縮ビデオデータチャンクにエンコードおよび圧縮することができる。圧縮標準は、例えば、Ｈ．２６４、ＭＰＥＧ４、またはＨ．２６３であればよい。ＭＲＥＣＭ５４０を介してＭＲＭ１２０（図１）から、要求されるサイズおよび圧縮標準に関する情報を受信することができる。ＭＲＥＶＭ５５０は、限定するものではないが、ソースＩＤ、タイムスタンプ、連続番号、フレーム番号などの異なるパラメータをＲＴＰヘッダ内の適切なフィールドに埋め込むことができる。フレームレートに従って、中継ＲＴＰ圧縮ビデオデータチャンクは、ＭＮＩ５２０を介してＭＲＭ１２０（図１）に転送される。
【００８３】
典型的なＭＲＥ制御モジュール（ＭＲＥＣＭ）５４０は、ＭＲＥ５００の動作を制御することができる。ＭＲＥＣＭ５４０は、ＭＲＭ１２０（図１）との接続を確立し、ＭＲＥ５００上に表示されるレイアウト内の会議出席者の数、イメージサイズ、圧縮標準、メインの話者、ＩＤ情報などに関するパラメータを通信することができる。ＩＤ情報は、異なるオーディオもしくはビデオ、ＭＲＥ５００から送出されるデータチャンクの異なる種類のために、ユニークな（独自の）または同様のＩＤを用いることについての情報を含むことができる。
【００８４】
ＭＲＥＣＭ５４０は、そのセッションの選択された会議出席者の数、要求されるレイアウトおよび要求されるＦＭの数などに従って、オーディオおよびビデオリソースを割り当てることができる。ＭＲＥＣＭ５４０は、ＭＲＥ５００の１つ以上のディスプレイに表示されるべきレイアウトをどのように組み立てるかをＭＲＥＶＭ５５０に指示することができる。また、ＭＲＥＣＭ５４０は、ミキシング（混合）されるべき会議出席者の数などに関して、ＭＲＥＡＭ５３０を更新することができる。いくつかの実施形態では、ＭＲＥ５００およびＭＲＭ１２０がそのセッションの変更を動的に通信することを可能にする帯域外接続をＭＲＥ５００とＭＲＭ１２０（図１）との間で確立することができる。
【００８５】
ＭＲＥ５００のいくつかの典型的な実施形態では、ＭＲＥＣＭ５４０およびＭＲＥＶＭ５５０は、表示されるＣＰイメージに情報を追加するように構成されてもよい。典型的な情報は、現在の話者、あるいは、各セグメントで現在提示されている会議出席者の名前を示すことができる。そのような実施形態では、ＭＲＭからその情報を受信するようにＭＲＥＣＭ５４０を構成することができる。ＭＲＥＶＭ５５０にその情報を転送することができる。ＭＲＥＶＭ５５０は、エンドポイントで表示されるべきステータス情報を変換するために、テキストおよびグラフィック生成手段を含む。他方の方向では、エンドポイントからのメニューを表示するように、ＭＲＥＶＭ５５０およびＭＲＥＣＭ５４０を構成することができる。ここで、ＭＲＭを制御するために、そのメニューを用いることができる。
【００８６】
図６は、ＭＲＥビデオモジュール（ＭＲＥＶＭ）６００の一部の典型的な一実施形態の関連構成要素を示す単純化したブロック図を示す。ＭＲＥＶＭ６００は、２つの要部、すなわち、（１）中継済ＲＴＰ圧縮ビデオデータチャンクの受信されたグループを処理することができる入力部、（２）ＭＲＥ１３０（図１）カメラによりキャプチャされる（取り込まれる）ビデオデータを処理することができる出力部を有することができる。典型的な入力部は、例えば、ＲＴＰビデオ入力バッファ６１０、ビデオＲＴＰヘッダ構文解析および組織化手段６２０、１つ以上の圧縮ビデオセグメントメモリ（ＣＶＳＭ）６３０（レイアウト内のセグメント毎に１つ）、１つ以上のＭＲＥビデオデコーダ６４０（レイアウト内のセグメント毎に１つ）、１つ以上のセグメントＦＭ６５０（レイアウト内のセグメント毎に１つ）、ＭＲＥＣＰイメージ構築手段６６０、ＭＲＥＣＰフレームメモリモジュール６７０および背景ＦＭ６５５などのモジュールを備えることができる。出力部は、例えば、１つ以上のＦＭおよびサイズ調整手段６８０と、１つ以上のビデオエンコーダ６８５と、ＭＲＥビデオＲＴＰプロセッサ６９０とを備えることができる。
【００８７】
ＭＲＥＶＭ６００の入力部の典型的なＲＴＰビデオ入力バッファ６１０は、ＭＮＩ５２０（図５）から中継済ＲＴＰ圧縮ビデオデータチャンクを取得すればよい。ビデオＲＴＰヘッダ構文解析および組織化手段６２０は、入力バッファ６１０にアクセスし、受信された中継済ＲＴＰ圧縮ビデオデータの異なるパラメータを決定するために、ＲＴＰヘッダを解析することができる。パラメータは、限定するものではないが、連続番号、フレーム番号、ソースあるいはセグメントＩＤ、タイムスタンプなどを含めばよい。また、ＲＴＰヘッダ構文解析および組織化手段６２０は、例えば、表示されたレイアウト内のセグメントにソースＩＤを関連付ける参照テーブルを有していればよい。セグメントＩＤが受信されたデータチャンクに関連付けられていない一実施形態では、例えば、表示されたレイアウトの所定のセグメントに各圧縮ビデオセグメントメモリ（ＣＶＳＭ）６３０を関連付けることができる。このように、ＲＴＰヘッダ構文解析および組織化手段６２０は、例えば、ソースＩＤに従って、中継済ＲＴＰ圧縮ビデオデータチャンクの適切なストリームを所定のＣＶＳＭ６３０に転送することができる。また、ＲＴＰヘッダ構文解析および組織化手段６２０は、連続番号、タイムスタンプもしくはフレーム番号、および受信されたデータチャンクの第１ＭＢに従って、ＲＴＰ圧縮ビデオデータチャンクをＣＶＳＭ６３０内に組織化することができる。
【００８８】
各ＣＶＳＭ６３０の出力を所定のＭＲＥビデオデコーダ６４０に関連付けることができ、各ＭＲＥビデオデコーダ６４０の出力を所定のセグメントＦＭ６５０に関連付けることができる。このように、ＭＲＥビデオデコーダ６４０は、適切なＣＶＳＭ６３０にアクセスし、ＲＴＰ圧縮ビデオデータチャンクをデコードし、適切なセグメントＦＭ６５０内にデコードされたビデオを格納することができる。代わりの実施形態では、デコーダ６４０とセグメントＦＭ６５０との間にサイズ調整手段を追加することができる。ＭＲＥＣＰイメージ構築手段６６０は、ＣＰイメージを構築するために、異なるセグメントＦＭ６５０のコンテンツをＭＲＥＣＰフレームメモリモジュール６７０に転送することができる。ＭＲＥの表示部に表示されるべきＭＲＥＣＰフレームメモリモジュール６７０からＣＰイメージの完全なフレームを転送することができる。時々、背景色、異なるセグメント間の境界線、および会議出席者の名前の色やパターンなどの異なるパラメータに従って、背景ＦＭ６５５をロードすることができる。セッションの始めに、背景ＦＭ６５５を作成することができるが、セッション中はいつでも変更することができる。ＭＲＥ５００（図５）の一実施形態では、その背景は、ＭＲＥＣＭ５４０（図５）により作成され得る。ＣＰイメージを構築している間、ＭＲＥＣＰイメージ構築手段６６０は、セグメントＦＭ６５０から収集されるにつれて、背景ＦＭ６５５モジュールからデータを収集することができる。
【００８９】
ＭＲＥＶＭ６００の出力部は、ＭＲＥ５００のカメラからビデオイメージを受信し、そのイメージを１つ以上のＦＭおよびサイズ調整手段６８０に格納する。各ＦＭおよびサイズ調整手段６８０は、例えば、ビデオイメージを異なるサイズ（解像度）に調整し、格納することができる。各ＦＭおよびサイズ調整手段６８０の出力は、ビデオエンコーダ６８５に関連付けられる。ビデオエンコーダ６８５は、異なるレートあるいは質でデータをエンコードし、結果として圧縮ビデオデータチャンクをもたらすことができる。そして、ビデオエンコーダ６８５は、その圧縮ビデオデータチャンクをＭＲＥビデオＲＴＰプロセッサ６９０に転送する。ＭＲＥビデオＲＴＰプロセッサ６９０は、ソースＩＤ、タイムスタンプ、連続番号または他のパラメータをＲＴＰ圧縮ビデオデータチャンクのヘッダに埋め込むことができる。次に、ＭＲＥビデオＲＴＰプロセッサ６９０は、中継ＲＴＰ圧縮ビデオデータチャンクをＭＮＩ５２０（図５）に出力する。
【００９０】
図７は、ＭＲＥオーディオモジュール（ＭＲＥＡＭ）７００の典型的な一実施形態の関連構成要素を示す単純化したブロック図を示す。ＭＲＥＡＭ７００は、２つの構成要素、例えば、（１）中継済ＲＴＰ圧縮オーディオデータチャンクの入力グループから受信されるＭＲＥＡＭ７００を処理することができるＭＲＥＡＭの入力部、（２）ＭＲＥ１３０からＭＲＭ１２０（図１）に出力されるオーディオデータを処理することができるＭＲＥＡＭの出力部を有することができる。典型的なＭＲＥＡＭの入力部は、限定するものではないが、ＲＴＰオーディオ入力バッファ７１０、オーディオＲＴＰヘッダ構文解析および組織化手段７２０、１つ以上のＭＲＥ逐次オーディオメモリ（ＭＲＥＳＡＭ）７３０、１つ以上のＭＲＥオーディオデコーダ７４０およびオーディオミキサ７５０などのモジュールを備えることができる。ＭＲＥＡＭの出力部は、例えば、エンコーダ７６０と、ＭＲＥオーディオＲＴＰプロセッサ７７０とを備えることができる。
【００９１】
典型的なＲＴＰオーディオ入力バッファ７１０は、ＭＮＩ５２０（図５）を介してＭＲＭ１２０から、中継済ＲＴＰ圧縮オーディオデータチャンクのグループを取得すればよい。オーディオＲＴＰヘッダ構文解析および組織化手段７２０は、入力バッファ７１０にアクセスし、限定するものではないが、連続番号、ソースＩＤ、タイムスタンプなどのパラメータを決定するためにＲＴＰヘッダを解析することができる。各ＭＲＥＳＡＭ７３０は、例えば、そのセッションに参加し、聞かれることを選択された所定のＭＲＥに関連付けられ得る。ＲＴＰヘッダ構文解析および組織化手段７２０は、例えば、データチャンクＩＤに従って、中継済ＲＴＰ圧縮オーディオデータチャンクの適切なストリームを所定のＭＲＥＳＡＭ７３０に転送することができる。代わりの実施形態では、ＲＴＰヘッダ構文解析および組織化手段７２０は、例えば、ソースＩＰアドレスおよびポートに従って、中継済ＲＴＰ圧縮オーディオデータチャンクの適切なストリームを所定のＭＲＥＳＡＭ７３０に転送することができる。また、ＲＴＰヘッダ構文解析および組織化手段７２０は、データチャンクの連続番号またはタイムスタンプに従って、ＲＴＰ圧縮オーディオデータチャンクを各ＭＲＥＳＡＭ７３０に組織化することができる。各ＭＲＥＳＡＭ７３０の出力は、ＭＲＥオーディオデコーダ７４０に関連付けられる。ＭＲＥオーディオデコーダ７４０は、ＭＲＥＳＡＭ７３０にアクセスし、ＲＴＰ圧縮オーディオデータチャンクをデコードする。オーディオミキサ７５０は、すべてのＭＲＥオーディオデコーダ７４０の出力を受信し、それらをミキシングし、ミキシングされたオーディオをＭＲＥ５００のスピーカに出力することができる。
【００９２】
ＭＲＥＡＭ７００の典型的な出力部は、ＭＲＥ５００のマイクロフォンからオーディオを受信することができる。エンコーダ７６０は、受信された入力オーディオを収集し、そのエネルギを決定し、その入力オーディオを圧縮オーディオデータチャンクにエンコードすることができる。その圧縮は、限定するものではないが、Ｇ．７１９、Ｇ．７２２１．Ｃなどの圧縮標準に基づくことができる。次に、圧縮オーディオデータチャンクは、ＭＲＥオーディオＲＴＰプロセッサ７７０に転送される。また、オーディオエネルギにおける指示をＭＲＥオーディオＲＴＰプロセッサ７７０に転送することができる。ＭＲＥオーディオＲＴＰプロセッサ７７０は、ＲＴＰオーディオデータチャンクのヘッダ内に異なるパラメータを埋め込むことができる。それらのパラメータは、連続番号、ソースＩＤ、タイムスタンプ、オーディオエネルギ指示などを含むことができる。次に、ＭＲＥオーディオＲＴＰプロセッサ７７０は、中継ＲＴＰ圧縮オーディオデータチャンクをＭＮＩ５２０（図５）に出力し、そこからＭＲＭ１２０に出力する。代わりの実施形態では、オーディオエネルギ指示を圧縮オーディオデータチャンクのヘッダ内に格納することができる。
【００９３】
図８は、典型的な一実施形態におけるＭＲＭ制御／信号モジュール（ＳＣＭ）２４０（図２）により実行される会議設定方法８００の関連処理を示すフローチャートである。ステップ８１０のＭＲＭ制御モジュール会議設定処理により方法８００を開始することができる。ステップ８１５では、会議出席者（ＭＲＥ１３０）の数、ビットレート、圧縮標準、ＣＰレイアウトなどの会議パラメータが収集される。次に、ステップ８２０では、方法８００は、ＮＩ２２０（図２）リソースなどの異なる会議リソースの割当て、割り当てられたＳＣＡＲＰ２３０、割り当てられたＳＣＶＲＰ２５０、バンド幅などを含む。そして、ステップ８３０〜８４０のループは、その会議に参加している各ＭＲＥ１３０（図１）のために実行される。ステップ８３２では、ＭＲＥ１３０のための１つ以上の可能なイメージサイズおよびその割り当てられたＩＤが定義される。代わりの実施形態では、方法８００は、ＩＤの代わりに、例えば、各ＭＲＥ１３０のＩＰアドレスおよびポートを用いることができる。ステップ８３６は、例えば、ＳＣＡＲＰ２３０（図２）やＳＣＶＲＰ２５０（図２）などのＭＲＭ２００（図２）の内部モジュールにＭＲＥ１３０を関連付けるステップを含む。
【００９４】
ステップ８３６では、ＭＲＥのＩＤは、ＭＲＥ逐次オーディオメモリ３３０（図３）と、ＲＴＰ圧縮ストリーム構築手段３５０（図３）の１つと、ＭＲＥ逐次ビデオメモリ４３０（図４）の１つと、ＲＴＰ圧縮ストリーム構築手段４５０（図４）の１つなどにリンクされる。次に、リソースのための異なる接続パラメータ（外部および内部）がステップ８３８で設定される。これらのパラメータは関連ＭＲＥ１３０に関連付けられる。典型的な外部接続パラメータは、ＭＲＥ用のＩＤ、リモートＩＰアドレスおよびポート、ローカルＩＰアドレス、並びに、ポートであればよい。典型的な内部接続パラメータは、ＳＣＡＲＰ３００（図３）およびＳＣＶＲＰ４００（図４）などの内部のモジュールの内部接続などＭＲＭ２００（図２）自身のモジュールの内部接続であればよい。
【００９５】
次に、ステップ８４０では、設定されるべきより多くのＭＲＥ１３０があるか否かの決定がなされる。ＭＲＥ１３０がまだある場合には、方法８００は、ステップ８３０に戻り、次のＭＲＥ１３０の設定を管理する。ＭＲＥ１３０がない場合には、方法８００は、ステップ８４５に移行し、会議の各ＭＲＥ１３０のために、最初のＣＰレイアウトを定義する。方法８００はステップ８５０に移行し、会議内の各ＭＲＥ１３０のための別のループを開始する。ステップ８５１では、方法８００は、ＭＲＥがオーディオおよびビデオＲＴＰヘッダなどに追加する必要がある１つ以上のＩＤをＭＲＥが送出することを必要とするイメージサイズを有する関連ＭＲＥ１３０をロードすることができる。ステップ８５２では、ＭＲＥに割り当てられたＣＰレイアウトのパラメータを計算し、ＭＲＥＶＭ６００（図６）にロードすることができる。典型的なパラメータは、レイアウト内のセグメント数、各セグメントに割り当てられたＩＤもしくはＩＰアドレスおよびポート、提示されるＭＲＥ、現在の話者などであればよい。また、ステップ８５２では、セグメントフレームメモリ６５０（図６）およびＣＰフレームメモリ６７０（図６）のパラメータを定義するようにＭＲＥのＭＲＥＶＭ６００（図６）を指示することができる。例えば、オーディオＲＴＰヘッダ構文解析および組織化手段モジュール７２０およびオーディオミキサ７５０（図７）などのＭＲＥＡＭ７００（図７）の内部モジュールを同様の方法で設定することができる。
【００９６】
次に、方法８００は、ＭＲＭの内部モジュール内の関連パラメータを設定する。内部モジュールは、限定するものではないが、ＳＣＡＲＰ３００（図３）やＳＣＶＲＰ４００（図４）などである。ステップ８５４では、ＳＣＶＲＰ４００（図４）の内部モジュールの異なるパラメータおよび接続が設定される。典型的なパラメータおよび接続は、ＭＲＥ逐次ビデオメモリ４３０（図４）とＭＲＥのＩＤもしくはＩＰアドレスおよびポートとの関連付けと、そのＭＲＥのビデオを選択するための関連ＭＲＥビデオ多重化および連続化手段４５２（図４）の設定とを含むことができる。ステップ８５６では、ＳＣＡＲＰ３００（図３）の内部モジュールの異なるパラメータおよび接続が設定される。典型的なパラメータおよび接続は、ＭＲＥ逐次オーディオメモリとＭＲＥのＩＤもしくはＩＰアドレスおよびポートとの関連付け、そのＭＲＥのオーディオを選択するための関連ＭＲＥ多重化および連続化手段３５２（図３）の設定を含むことができる。
【００９７】
ステップ８５８では、ＭＲＭは、関連ＭＲＥからのイントラフレームを要求し、ステップ８６０に移行する。ステップ８６０では、より多くのＭＲＥが設定を必要としているか否かの決定がなされる。必要としていると決定されたならば、方法８００はステップ８５０に戻る。必要としていないと決定されたならば、方法８００は終了する。メインの話者が変更するか、新しい会議出席者がそのセッションに加わったり、外れたりなどする毎に、方法８００と同様の方法を実行することができる。
【００９８】
図９は、ＭＲＥ制御モジュール（ＭＲＥＣＭ）５４０（図５）の典型的な一実施形態により実行されるＭＲＥ会議設定方法９００の関連ステップを示すフローチャートである。この方法９００はステップ９１０から開始することができる。ステップ９１２では、ＭＲＭ１２０（図１）との接続が確立され、ＭＲＥ制御モジュール５４０は、設定指示を受信することができる（ステップ９１２）。典型的な設定指示は、このＭＲＥから受信されたメディアストリーム、ＭＲＥが送信する必要があるイメージのサイズ、聞かれ、表示される会議出席者の数およびレイアウト情報に関連付けられる１つ以上のＩＤであればよい。そして、方法９００は、それに応じてリソースを割り当てることができる（ステップ９１４）。リソースは、限定するものではないが、ＭＮＩ５２０（図５）内のリソース、ＭＲＥＶＭ５５０（図５）、ＭＲＥＡＭ５３０（図５）、バンド幅などである。
【００９９】
次に、方法９００はステップ９２０に移行し、ＭＲＥＶＭ６００（図６）の異なる内部モジュールが設定される。典型的な設定は、ステップ９１２で受信されたＩＤに基づいてビデオＲＴＰヘッダ構文解析および組織化手段６２０（図６）を指示すること、いずれのＣＶＳＭ６３０（図６）にいずれの中継済圧縮ビデオＲＴＰデータチャンクを格納するかを確立すること、セッションのレイアウトに従って、各セグメントＦＭ６５０（図６）およびＭＲＥＣＰＦＭモジュール６７０のパラメータを設定すること、ＣＰをどのように構築するかをＣＰ構築手段６６０に指示すること（ステップ９２０）、背景ＦＭ６５５を更新すること（ステップ９２０）、ＦＭおよびサイズ調整手段６８０（図６）を設定すること、ＲＴＰヘッダにＩＤを追加するようにＭＲＥビデオＲＴＰ６９０を指示することなどであればよい。ＭＲＥＣＭ５４０およびＭＲＥＶＭ５５０（図５）が表示されたＣＰイメージに情報を追加するように構成されるＭＲＥ５００のいくつかの典型的な実施形態では、ステップ９２０において、この情報を配信するように構成され得る。その情報は、現在の話者、各セグメントに現在提示されている会議出席者の名前等を示すことができる。そのような実施形態では、その情報をビデオデータに変換するとともに、変換したビデオデータをＣＰイメージに追加してエンドポイント上に表示させるようにＣＰ構築手段６６０構成することができる。
【０１００】
次に、ステップ９２２では、ＭＲＡＶＭ７００（図７）の異なる内部モジュールが設定される。設定は、圧縮標準に従ってオーディオエンコーダ７６０（図７）を設定すること、ＩＤおよびオーディオエネルギ指示をＲＴＰヘッダに追加するようにＭＲＥオーディオＲＴＰを指示すること、いずれのＭＲＥＳＡＭ７３０（図７）にいずれのＩＤを格納するかをオーディオＲＴＰ解析手段７２０に指示すること、ＭＲＥオーディオデコーダ７４０を設定することなどを含むことができる。ステップ９２２の後、その方法は終了し、関連ＭＲＥは、イントラフレームを送出する準備をする。メインの話者が変更したり、新しい会議出席者が追加もしくは離脱したりなどする毎に、方法９００と同様の方法を実行することができる。
【０１０１】
本開示の明細書および特許請求の範囲では、各動詞「備える（comprise）」、「含む（include）」および「有する（have）」やそれらの同根語は、その動詞の対象が必ずしもその動詞の主題の部材、構成要素、素子もしくは部品の完全なリストではないことを示すために用いられる。
【０１０２】
本出願では、用語「ユニット（unit）」および「モジュール（module）」が交換可能に用いられる。ユニットまたはモジュールとして示されるあらゆるものは、スタンドアロン（独立型）のユニットあるいは専用モジュールであればよい。ユニットまたはモジュールは、モジュラ型であればよく、あるいは、容易に取り外したり、別の同様のユニットまたはモジュールに交換したりすることができるモジュラ型外観を有してもよい。各ユニットまたはモジュールは、ソフトウェア、ハードウェアおよびファームウェアのいずれか、もしくはいずれかの組み合わせであればよい。論理モジュールのソフトウェアは、読み込みおよび書き込みハードディスク、ＣＤ−ＲＯＭ、フラッシュメモリ、ＲＯＭなどのコンピュータに読み取り可能な媒体に包含され得る。所定のタスクを実行するために、必要ならば、適切なプロセッサにソフトウェアプログラムをロードすることができる。
【０１０３】
例として提供された詳細な説明を用いて、種々の実施形態を説明したが、これらは本発明の範囲を限定するものではない。記述された実施形態は、異なる特徴を含み、それらのすべてがすべての実施形態で必要となるわけではない。いくつかの実施形態は、それらの特徴のいくつかのみ、あるいは、それらの特徴の可能な組み合わせを利用する。記述された実施形態において言及される特徴の異なる組み合わせを含む実施形態の教示の範囲内で、多くの他の分岐および変更が可能である。
【０１０４】
種々の実施形態が特に上述されたものにより限定されないことを当業者は認識するであろう。それよりも、以下の特許請求の範囲により実施形態の範囲を定義するべきである。
【図１】
2010178340.tif 000003
【図２】
2010178340.tif 000004
【図３】
2010178340.tif 000005
【図４】
2010178340.tif 000006
【図５】
2010178340.tif 000007
【図６】
2010178340.tif 000008
【図７】
2010178340.tif 000009
【図８】
2010178340.tif 000010
【図９】
2010178340.tif 000011