(57)【要約】  複数のモニタおよび複数のカメラを有するエンドポイントを使用してビデオ会議を実行するシステムおよび方法が、本明細書に開示される。これらのエンドポイントはノードから構成され、各ノードは、制御ユニットおよび1つまたは複数のノードユニットから構成され、それぞれ、少なくとも1つのモニタ、カメラ、スピーカ、またはマイクロフォンに接続される。ビデオは、拡張可能なコーディングを使用して符号化され、エンドポイントは、SVCSを使用してネットワークを介して互いに接続される。レイアウト管理、個々のストリームのタグ付け、および動的な優先順位を付けたレイアウト管理に対するタグの使用のためのアルゴリズムが開示される。
2013531934.tif 000002
【特許請求の範囲】
【請求項１】
0個以上のカメラから得られる1つまたは複数のビデオ信号を送信し、複数のモニタ上に表示するために通信ネットワークを介して複数のビデオ信号を受信するビデオ通信システムであって、
前記ビデオ信号が、基準層および1つまたは複数の強調層を含む層に拡張可能にコーディングされ、前記システムが、
ビデオ復号器および符号器を備え、前記複数のモニタおよびカメラが接続された、1つまたは複数のノードユニットと、
前記通信ネットワークに取り付けられ、第2の通信ネットワークを介して前記1つまたは複数のノードユニットに接続された制御ユニットと、
を備え、
前記制御ユニットが、前記通信ネットワークを介して受信したビデオ信号層を、前記複数のモニタ内で復号するとともに表示するために前記第2の通信ネットワークを介して前記1つまたは複数のノードユニットへ選択的に転送し、また前記第2の通信ネットワークを介して前記1つまたは複数のノードユニットから受信した符号化されたビデオ信号層を、前記通信ネットワークを介して選択的に転送するように構成されることを特徴とするビデオ通信システム。
【請求項２】
前記1つまたは複数のノードユニットおよび前記制御ユニットが、互いを動的に発見し、前記第2の通信ネットワークを介して接続を確立することを特徴とする請求項1に記載のシステム。
【請求項３】
前記制御ユニットが、前記1つまたは複数のノードユニットに対して、接続されたモニタ上で前記複数のビデオ信号を表示するために特定のレイアウトを使用するように指示することを特徴とする請求項1に記載のシステム。
【請求項４】
前記制御ユニットが、前記1つまたは複数のノードユニットの1つまたは複数に対して、システム条件の変化の結果としてレイアウトを修正するように動的に指示することを特徴とする請求項3に記載のシステム。
【請求項５】
前記システム条件が、前記1つまたは複数のノードユニットによって前記制御ユニットへ通信されるイベント通知を含むことを特徴とする請求項4に記載のシステム。
【請求項６】
前記1つまたは複数のノードユニットによって使用される前記特定のレイアウトに関する前記制御ユニットによる前記選択が、前記通信ネットワークを介して受信した前記複数のビデオ信号内に提供される属性またはタグに依存するアルゴリズムによって決定されることを特徴とする請求項3に記載のシステム。
【請求項７】
前記ビデオ信号の最下位の時間層が、否定応答によるR画像損失検出および再送信を使用して、前記第2の通信ネットワークを介する送信中に保護されることを特徴とする請求項1に記載のシステム。
【請求項８】
1つまたは複数のノードユニットに接続された0個以上のカメラから得られる1つまたは複数のビデオ信号を、通信ネットワークを介して送信し、前記1つまたは複数のノードユニットに接続された複数のモニタ上に表示するために前記通信ネットワークを介して複数のビデオ信号を受信する方法であって、
前記1つまたは複数のノードユニットが、第2の通信ネットワークを介して制御ユニットに接続され、
前記制御ユニットが、前記通信ネットワークに取り付けられ、
前記方法が前記制御ユニットにおいて、
送信のために、
前記1つまたは複数のノードユニットから拡張可能なビデオ信号層を得るステップと、
コーディングされたビデオ信号の1つまたは複数の層を選択するステップと、
前記選択された1つまたは複数の層を前記通信ネットワークへ転送するステップと、
受信のために、
前記通信ネットワークから拡張可能なビデオ信号層を得るステップと、
前記コーディングされたビデオ信号の1つまたは複数の層を選択するステップと、
前記選択された1つまたは複数の層を、前記複数のモニタ上で復号および表示するために前記1つまたは複数のノードユニットへ転送するステップと、
を含み、
前記ビデオ信号は、基準層および1つまたは複数の強調層を含む積層形式でコーディングされることを特徴とする方法。
【請求項９】
前記1つまたは複数のノードユニットおよび前記制御ユニットが、互いを動的に発見し、前記第2の通信ネットワークを介して接続を確立することを特徴とする請求項8に記載の方法。
【請求項１０】
前記ノードユニットに対して、接続されたモニタ上で前記ノードユニットへ転送されたビデオ信号を表示するために特定のレイアウトを使用するように指示するステップをさらに含むことを特徴とする請求項8に記載の方法。
【請求項１１】
前記1つまたは複数のノードユニットの1つまたは複数に対して、システム条件の変化の結果としてレイアウトを修正するように動的に指示するステップをさらに含むことを特徴とする請求項10に記載の方法。
【請求項１２】
前記システム条件が、前記1つまたは複数のノードユニットによって前記制御ユニットへ通信されるイベント通知を含むことを特徴とする請求項11に記載の方法。
【請求項１３】
前記1つまたは複数のノードユニットによって使用される前記特定のレイアウトに関する前記制御ユニットによる前記選択が、アルゴリズム通信ネットワークによって決定されることを特徴とする請求項10に記載の方法。
【請求項１４】
前記R画像損失検出は、前記第2の通信ネットワークを介する送信中に前記ビデオ信号の最下位の時間層を保護するために使用され、
前記方法が、損失しているR画像またはその一部分の検出時に否定応答によって再送信を要求するステップをさらに含むことを特徴とする請求項8に記載の方法。
【請求項１５】
請求項8〜14のいずれか一項に記載の前記ステップを実行するために1組の命令を含むことを特徴とするコンピュータ可読メディア。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の主題は、ビデオ通信システムに関し、詳細には、1人または複数の参加者が2つ以上のカメラおよび/または2つ以上のディスプレイへのアクセス可能な2地点間または多地点ビデオ通信システムに関する。
【０００２】
関連出願の相互参照
本出願は、全体として参照により本明細書に組み込まれている、2010年5月25日出願の米国仮出願第61/347,994号の優先権を主張するものである。
【背景技術】
【０００３】
ビデオ会議に使用されるものなどのビデオ通信システムは、それぞれの参加者に対して単一のカメラおよび単一のディスプレイを伴うことが多い。これは通常、システムがパーソナルコンピュータ上で動作する場合である。専用の会議室内で使用するための上位のシステムは、複数のモニタを特徴とすることがある。第2のモニタは、アプリケーション共用材料(「コンテンツ」)専用であることが多い。そのようなコンテンツが使用されないとき、一方のモニタは、最も声の大きい話者を特徴とすることができ、他方のモニタは、残りの参加者の一部または全員を示す。
【０００４】
最近、いわゆる「テレプレゼンス(telepresence)」システムに強い関心が集まっている。これらは、遠隔の参加者と「同じ部屋にいる」という感覚を伝えるためのシステムである。この目標を実現するために、これらのシステムは、複数のカメラならびに複数のディスプレイを利用する。これらのディスプレイおよびカメラは、アイコンタクトの感覚を与えることができるように注意深く計算された位置に位置決めされる。典型的なシステムは、3つのディスプレイ(左、中央、および右)を伴うが、2つだけまたは4つ以上のディスプレイを有する構成も利用可能である。
【０００５】
ディスプレイは、会議室内の注意深く選択された位置に配置される。会議室の机上の任意の物理的な位置からそれぞれのディスプレイを見ることで、遠隔の参加者がその部屋の中に物理的に位置するという錯覚を与えると考えられる。これは、表示される人物の正確な寸法を、対象者が室内の知覚される位置に実際にいた場合に有するはずの予期される物理的寸法に整合させることによって実現される。上位のシステムは、家具、部屋の色、および照明の整合まで行い、実物のような経験をさらに向上させる。
【０００６】
効果的であるためには、テレプレゼンスシステムは、非常に高い分解能を提供し、非常に少ない待ち時間で動作しなければならない。たとえば、これらのシステムは、高精細度(HD)の1080p/30の分解能で動作することができ、すなわち、毎秒30フレームで1080本の水平線をプログレッシブ出力する。待ち時間およびパケット損失をなくすために、これらのシステムはまた、専用のマルチメガビットネットワークを使用し、通常は、2地点間または切換え構成で動作する(すなわち、トランスコーディングを回避する)。
【０００７】
従来のビデオ会議システムでは、各エンドポイントが単一のカメラを装備すると仮定するが、いくつかのディスプレイを装備することもできる。たとえば、Vidyo, Inc.製の市販のVidyoRoom HD-220システムは、1つのカメラおよび2つのモニタを装備する。デュアルモニタ構成は、いくつかの異なる方法で使用することができる。たとえば、現在の話者を1次モニタ内に表示し、他の参加者を第2のモニタ内でより小さいウィンドウのマトリックス内に示すことができる。このマトリックスレイアウトは、誰が現在の話者であるかに応じて切り換えるのではなく、参加者がスクリーン上に連続して映されるため、「常駐(continuous presence)」と呼ばれる。代替の方法は、第2のモニタを使用してコンテンツ(たとえば、コンピュータからのスライド表現)を表示し、1次モニタを使用して参加者を示すことである。このとき1次モニタは、単一モニタシステムの場合と同様に扱われる。
【０００８】
複数のカメラを特徴とするテレプレゼンスシステムは、各カメラが独自のコーデックに割り当てられるように設計される。3つのカメラおよび3つのスクリーンを有するシステムは、各エンドポイントで符号化および復号を実行するために3つの別個のコーデックを使用するはずである。これらのコーデックは、既存のプロトコルに対して専有のシグナリングまたは専有のシグナリング拡張機能を使用して、遠隔地の3つの相手コーデックに接続するはずである。
【０００９】
3つのコーデックは通常、「左」、「右」、および「中央」と識別される。本明細書では、そのような位置に関する参照は、システムのユーザの観点からなされており、本明細書では、左とは、カメラの前に座ってシステムを使用しているユーザの左側である。音声は通常、ステレオであり、中央のコーデックを通じて処理することができる。3つのビデオスクリーンに加えて、テレプレゼンスシステムは通常、プレゼンテーションなどのコンピュータ関連コンテンツを表示するために、第4のスクリーンを含む。これは、「コンテンツ」または「データ」ストリームと呼ばれる。
【００１０】
テレプレゼンスシステムは、従来のビデオ会議システムに比べて特有の難題を呈する。主要な難題は、そのようなシステムが複数のビデオストリームを処理できなければならないことである。典型的なビデオ会議システムは、単一のビデオストリーム、および任意選択でコンテンツ用の追加の「データ」ストリームのみを処理する。複数の参加者が存在するときでも、多地点制御ユニット(MCU)は、単一のフレーム内で複数の参加者を合成し、符号化されたフレームを受信エンドポイントへ送信することを担う。現在の既存のシステムは、2つの異なる方法で複数のストリーム対応に対する必要に対処する。1つの方法は、ビデオカメラと同じ数の接続を確立することである。これは、3つのカメラシステムの場合、3つの別個の接続を確立しなければならないことを意味する。これらの別個のストリームを一体として、すなわち同じ位置からきたように適切に扱う機構を提供しなければならないことに留意されたい。
【００１１】
第2の方法は、既存のシグナリングプロトコルに対して専有の拡張機能を使用し、またはTelepresence Interoperability Protocol(TIP)などの新しいプロトコルを使用することである。TIPは、当初はCisco Systems, Inc.によって設計され、現在はInternational Multimedia Telecommunications Consortium(IMTC)によって管理されている。その仕様は、住所2400 Camino Ramon, Suite 375, San Ramon, CA 94583, USAのIMTC、またはウェブサイトhttp://www.imtc.org/tipから得ることができる。TIPは、単一のRTP(Real-Time Protocol、RFC 3550)接続を介して複数の音声およびビデオストリームを転送するように設計された。TIPは、専有のRTCP(Real-Time Control Protocol、RTPの一部としてRFC 3550に定義)メッセージを使用して、同じRTPセッション内で最高4つのビデオまたは音声ストリームの多重化を可能にする。
【００１２】
テレプレゼンスシステムを設計および実施する上での大きな難点は、非テレプレゼンスシステムとの多地点動作および統合である。従来の多地点システムは、スイッチングまたはトランスコーディング構成でMCUを利用する。トランスコーディング構成は、品質の損失に加えて、カスケード式の復号および符号化のために著しい遅延をもたらし、したがってテレプレゼンスシステムの予期される高品質の経験にとって問題となる。他方では、スイッチングは、特に異なる数のスクリーンを有するシステム間で使用されるとき、扱いにくくなる可能性がある。
【００１３】
単一スクリーンの室内システム、コンピュータデスクトップシステム、または移動システム(タブレットもしくは電話上)などの非テレプレゼンスシステムとの統合も、同様に問題となる。実際には、レガシービデオ会議機器に基づく既存のテレプレゼンスシステムは、MCUを通じたトランスコーディングを行わなければ、下位のデバイスの存在に対応しない。
【００１４】
大部分のデジタルビデオアプリケーションですでに使用されている周知のビデオコーディング規格H.264の拡張機能である拡張可能なビデオコーディング(「SVC」)は、対話型のビデオ通信で非常に効果的であることが証明されたビデオコーディング技法である。ビットストリーム構文および復号処理は、全体として参照により本明細書に組み込まれている、ITU-T Recommendation H.264、詳細にはAnnex G. ITU-T Rec. H.264で公式に指定されており、International telecommunications Union、Place de Nations, 1120 Geneva, Switzerland、またはウェブサイトwww.itu.intから得ることができる。RTPを介した転送のためのSVCのパケット化は、全体として参照により本明細書に組み込まれている、RFC 6190、「RTP payload format for Scalable Video Coding」に定義されており、Internet Engineering Task Force(IETF)からウェブサイトhttp://www.ietf.orgで入手可能である。
【００１５】
拡張可能なビデオおよび音声のコーディングは、いわゆるScalable Video Coding Server(SVCS)アーキテクチャを使用するビデオおよび音声通信で有益に使用されてきた。SVCSは、ビデオおよび音声通信サーバの一種であり、どちらも全体として参照により本明細書に組み込まれている、本発明の譲受人に譲渡された米国特許第7,593,032号、「System and Method for a Conference Server Architecture for Low Delay and Distributed Conferencing Applications」、ならびに本発明の譲受人に譲渡された国際特許出願第PCT/US06/62569号、「System and Method for Videoconferencing using Scalable Video Coding and Compositing Scalable Video Servers」に記載されている。SVCSは、頑健性が高く遅延の少ない非常に高品質のビデオ通信を可能にするアーキテクチャを提供する。
【００１６】
すべて全体として参照により本明細書に組み込まれている、本発明の譲受人に譲渡された国際特許出願第PCT/US06/061815号、「Systems and methods for error resilience and random access in video communication systems」、第PCT/US07/63335号、「System and method for providing error resilience, random access, and rate control in scalable video communications」、および第PCT/US08/50640号、「Improved systems and methods for error resilience in video communication systems」は、SVCSアーキテクチャを使用することでエラー回復および速度制御などの複数の特徴が提供される機構についてさらに記載している。
【００１７】
一態様では、SVCS動作は、送信エンドポイントから拡張可能なビデオを受信し、そのビデオ層を受信する参加者へ選択的に転送することを含む。多地点構成では、MCUとは対照的に、SVCSは、復号/合成/再符号化を実行しない。かわりに、すべてのビデオストリームからのすべての適当な層が、SVCSによって各受信エンドポイントへ送信され、各受信エンドポイント自体が、最終的な表示のための合成を実行することを担う。これは、SVCSシステムアーキテクチャでは、各送信エンドポイントからのビデオが別個のストリームとして受信エンドポイントへ送信されるため、すべてのエンドポイントが複数のストリーム対応を有する必要があることを意味することに留意されたい。当然ながら、異なるストリームを同じRTPセッションを介して送信(すなわち、多重化)することができるが、エンドポイントは、複数のビデオストリームを受信し、復号し、表示用に合成するように構成されなければならない。これは、テレプレゼンスタイプの動作に対応するという点で、SVC/SVCSベースのシステムにとって非常に重要な利点である。実際には、このアーキテクチャは、さらに一般的な処理に役立ち、テレプレゼンスは単に、複数のカメラ/複数のモニタのアーキテクチャの特殊な場合である。
【００１８】
現在、拡張可能なビデオコーディングおよびSVCSによって利用可能な能力を利用する、複数のカメラおよび複数のモニタを特徴とするデバイスを使用するビデオ通信アーキテクチャおよびシステムの開発が検討されている。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】米国特許第7,593,032号
【特許文献２】国際特許出願第PCT/US06/62569号
【特許文献３】国際特許出願第PCT/US06/061815号
【特許文献４】国際特許出願第PCT/US07/63335号
【特許文献５】国際特許出願第PCT/US08/50640号
【特許文献６】国際特許出願第PCT/US06/028365号
【特許文献７】米国仮特許出願第61/384,634号
【特許文献８】国際特許出願第PCT/US09/046758号
【非特許文献】
【００２０】
【非特許文献１】ITU-T Recommendation H.264、Annex G. ITU-T Rec. H.264
【非特許文献２】RFC 6190、「RTP payload format for Scalable Video Coding」
【発明の概要】
【発明が解決しようとする課題】
【００２１】
複数のモニタおよび複数のカメラを有するエンドポイントを使用してビデオ会議を実行するシステムおよび方法について、本明細書に開示する。
【課題を解決するための手段】
【００２２】
いくつかの実施形態では、マルチモニタ/マルチカメラエンドポイントはノードから構成され、各ノードは、制御ユニットおよび1つまたは複数のノードユニットから構成され、それぞれ、少なくとも1つのモニタ、カメラ、スピーカ、またはマイクロフォンに接続される。ビデオは、拡張可能なコーディングを使用して符号化され、エンドポイントは、SVCSを使用してネットワークを介して互いに接続される。一実施形態では、ノードユニットからのメディアは、制御ユニット通じて流れない。別の実施形態では、ノードユニットからのメディアは、制御ユニットを通じて流れる。
【００２３】
一実施形態では、制御ユニットは、それぞれのノードに特定のモニタレイアウトを割り当て、各エンドポイントとの間で層(layer)を選択的に転送(forward)する。制御ユニットは、システムイベントに応じて各モニタのレイアウトを動的に変化させることができる。
【００２４】
開示する主題の一実施形態では、メディアストリームには、音声の大きさなどの属性がタグ付けされ、したがって制御ユニットは、その割当てアルゴリズム内で優先順位を付けたストリーム選択を適用することができる。追加の属性は、リンキングおよび地理位置情報を含むことができる。ストリームの割当てでは、特定のノードに対する最大画素率または最大ビット率などの性能限界を考慮することができる。
【図面の簡単な説明】
【００２５】
【図１】例示的なテレプレゼンスシステム(従来技術)を示す図である。
【図２】例示的な市販のテレプレゼンスシステム(従来技術)のアーキテクチャを示す図である。
【図３Ａ】開示する主題のいくつかの実施形態による複数の例示的なスクリーン配置構成を示す図である。
【図３Ｂ】開示する主題のいくつかの実施形態による複数の例示的なスクリーン配置構成を示す図である。
【図３Ｃ】開示する主題のいくつかの実施形態による複数の例示的なスクリーン配置構成を示す図である。
【図３Ｄ】開示する主題のいくつかの実施形態による複数の例示的なスクリーン配置構成を示す図である。
【図４】SVC符号化に対する例示的な空間および時間予測コーディング構造を示す図である。
【図５】例示的なSVCSアーキテクチャを示す図である。
【図６】開示する主題のいくつかの実施形態によるマルチモニタ/マルチカメラエンドポイントのアーキテクチャを示す図である。
【図７】開示する主題のいくつかの実施形態による例示的なマルチモニタ/マルチカメラシステムを示す図である。
【図８】開示する主題のいくつかの実施形態によるディスプレイ/ウィンドウ/タイルの階層を含むレイアウト構成に使用されるモニタモデルを示す図である。
【図９】開示する主題のいくつかの実施形態によるノードユニットプロトコルに対するビデオ復号器サービスインターフェースの例示的なメッセージを示す図である。
【図１０】開示する主題のいくつかの実施形態によるノードユニットプロトコルに対するビデオ復号器イベントインターフェースの例示的なメッセージを示す図である。
【図１１Ａ】開示する主題のいくつかの実施形態による例示的なテレプレゼンスレイアウトマルチモニタの適合を示す図である。
【図１１Ｂ】開示する主題のいくつかの実施形態による例示的なテレプレゼンスレイアウトマルチモニタの適合を示す図である。
【図１１Ｃ】開示する主題のいくつかの実施形態による例示的なテレプレゼンスレイアウトマルチモニタの適合を示す図である。
【図１２Ａ】開示する主題のいくつかの実施形態による例示的なマルチモニタシステムの単一モニタレイアウトを示す図である。
【図１２Ｂ】開示する主題のいくつかの実施形態による例示的なマルチモニタシステムの単一モニタレイアウトを示す図である。
【図１２Ｃ】開示する主題のいくつかの実施形態による例示的なマルチモニタシステムの単一モニタレイアウトを示す図である。
【図１２Ｄ】開示する主題のいくつかの実施形態による例示的なマルチモニタシステムの単一モニタレイアウトを示す図である。
【図１２Ｅ】開示する主題のいくつかの実施形態による例示的なマルチモニタシステムの単一モニタレイアウトを示す図である。
【図１３Ａ】開示する主題のいくつかの実施形態による例示的なマルチモニタシステムのレイアウトを示す図である。
【図１３Ｂ】開示する主題のいくつかの実施形態による例示的なマルチモニタシステムのレイアウトを示す図である。
【図１３Ｃ】開示する主題のいくつかの実施形態による例示的なマルチモニタシステムのレイアウトを示す図である。
【図１３Ｄ】開示する主題のいくつかの実施形態による例示的なマルチモニタシステムのレイアウトを示す図である。
【図１４Ａ】開示する主題のいくつかの実施形態による例示的なマルチモニタレイアウトの遷移を示す図である。
【図１４Ｂ】開示する主題のいくつかの実施形態による例示的なマルチモニタレイアウトの遷移を示す図である。
【図１４Ｃ】開示する主題のいくつかの実施形態による例示的なマルチモニタレイアウトの遷移を示す図である。
【図１４Ｄ】開示する主題のいくつかの実施形態による例示的なマルチモニタレイアウトの遷移を示す図である。
【図１５】例示的なコンピュータシステムを示す図である。
【発明を実施するための形態】
【００２６】
別途指定しない限り、図全体にわたって同じ参照番号および文字を使用して、図示の実施形態の同じ特徴、要素、構成要素、または部分を示す。さらに、開示する主題について、次に図を参照して詳細に説明するが、例示的な実施形態に関連して説明する。
【００２７】
図1は、市販のテレプレゼンス会議室システムを示している。この部屋は会議机を備え、この場合においては、机には4人が座ることができる。机の周りには3つの大型モニタを有する構成であり、各モニタは1人または2人の参加者を示す。対象者のサイズを決めること、およびモニタの位置決めは、机に座っている者に対して、対象者が机の反対側でちょうど真向いに座っているように見えるように行われる。この「錯覚」は、スクリーン上に示されている遠隔の位置の会議机および他の家具を類似のものにし、またはさらには同一のものにすることによって、さらに向上する。会議室はまた、机の中心の凹部に「コンテンツ」ディスプレイを装備する。
【００２８】
図2は、図1に示すもの(Polycom TPX 306M)などの市販のテレプレゼンスシステムのアーキテクチャを示す。このシステムは、3つのスクリーン(プラズマまたは背面スクリーン投写)および3つのHDカメラを特徴とする。各HDカメラは、HDXの従来の(単一ストリーム)ビデオ会議システムによって提供されるコーデックと対をなす。コーデックの1つは、1次と標示される。HDカメラとコーデックが対角線で対をなすことに注目されたい。これによって、遠隔地側で見る者に正しい視点が提供される。
【００２９】
1次コーデックは、音声処理を担う。ここでは、このシステムについて複数のマイクロフォンを有するものとして示し、複数のマイクロフォンは単一の信号に混合され、この信号が1次コーデックによって符号化される。また、コンテンツを表示するための第4のスクリーンも存在する。システム全体は、コントローラと標示された特別なデバイスによって管理される。遠隔地側との接続を確立するために、このシステムは、各コーデックに対して1つずつ、3つの別個のH.323の呼出しを実行する。これは、既存のITU-T規格ではマルチカメラ呼出しを確立できないためである。このアーキテクチャは、セッションの確立および制御に対して標準ベースのシグナリングを使用する既存のテレプレゼンス製品に典型的である。TIPプロトコルを使用することで、単一の接続によるシステム動作が可能になり、また2つのRTPセッション(音声用およびビデオ用)を介して最高4つのビデオストリームおよび4つの音声ストリームを搬送することが可能になるはずである。
【００３０】
開示する主題の実施形態では、1つのエンドポイントが複数のモニタを装備する。これらのモニタは、テレプレゼンスシステムの場合と同様に1列に位置決めすることができるが、より一般には、任意の数の異なる配置構成を有することができる。図3は、例示的な配置構成を示す。図3(a)は、4×1構成(4つのモニタを単一列に配置)を示し、(b)および(c)は、それぞれ2×2および3×2構成を示す。図3(d)は、モニタが任意の位置に配置される構成を示す。さらに、これらのモニタは同じ平面上に位置する必要もなく、たとえば、4つのモニタを部屋の4つの壁に配置することができる。最後に、図3の例示的なすべての構成では同一のモニタを示すが、完全に任意のモニタ寸法を使用することができる。
【００３１】
開示する主題のいくつかの実施形態では、エンドポイントは、複数のカメラを装備することができ、これらのカメラは、モニタの数より多くても少なくてもよい。カメラは、モニタ上に配置する(モニタの上部に取り付ける)ことができ、モニタ内部に(たとえば、市販のApple Cinemaディスプレイの内蔵カメラの場合のようにベゼルに)構築することができ、または完全に異なる位置に位置決めすることができる。
【００３２】
以下、エンドポイントに関連するモニタの数をMで示し、エンドポイントに関連するカメラの数をCで示す。テレプレゼンスシステムは、設定されている数、通常1人または2人のユーザが各モニタ内に示されるように設計されることが多い。本明細書では、この数をUと示す。ここでシステム構成は、M/C/Uによって説明することができる。ここで3/3/2システムは、3つのモニタ、3つのカメラを伴い、2人のユーザがそれぞれのモニタ内に示される(それぞれのカメラによってキャプチャされる)。図1に示すシステムは、3/3/2システムである。
【００３３】
開示する主題のすべての実施形態では、H.264 SVC仕様(前述)に従って、拡張可能なビデオ(および任意選択で音声)コーディングが使用されるものとする。音声の場合、MPEG AAC-LD音声コーディングが使用されるものとする。
【００３４】
図4は、米国特許第7,593,032号(前述)に記載されている、SVC符号化で典型的な空間および時間予測コーディング構造を示す。この構造を、開示する主題のいくつかの実施形態で使用する。この図は、3つの時間層(temporal layer)(0〜2)と、2つの空間層(spatial layer)(基準層(「B」)および空間強調層(「S」))とを示す。矢印は、予測経路(予測の依存性)を示す。特定の時間層の復号には、その特定の層またはより下位の層からの情報のみを必要とすることに留意されたい。たとえば、B1画像の復号には、B0画像からの情報のみを必要とし、具体的には、いかなるB2画像も必要としないことが明らかである。同様に、空間次元の場合、最大分解能を復号するには、基礎層と空間強調層の両方を必要とするが、より低い分解能を復号するには、基準層情報のみを必要とする。
【００３５】
これらの層の部分集合を選択することによって、元の信号を異なる空間および時間分解能で得ることができる。たとえば、B成分(すなわち、B0、B1、およびB2すべて)のみをとると、時間分解能は最大であるが空間分解能は低い信号が得られる。同様に、B0/S0およびB1/S1成分をとると、最大分解能であるが、元のフレーム率の半分で信号が得られる。
【００３６】
特定の画像コーディング構造は単なる一例であり、全体として参照により本明細書に組み込まれている、本発明の譲受人に譲渡された国際特許出願第PCT/US06/028365号、「System and method for scalable and low-delay videoconferencing using scalable video coding」、または当業者には知られている他の文献に記載されている、他の構造を使用することもできる。
【００３７】
開示する主題の実施形態では、1つまたは複数のSVCSサーバを使用することができる。SVCSの基本動作について、図5を参照して以下に説明する。この図は、1つの送信エンドポイント510と3つの受信エンドポイント(520、530、540)とを相互接続するSVCS590を示す。送信エンドポイント510は、最大分解能の信号(2つすべての空間層および3つすべての時間層)をSVCS590へ送信する。受信エンドポイント520は、高分解能/高フレーム率の信号に対応し、受信エンドポイント530は、高分解能であるが低フレーム率の信号に対応し、受信エンドポイント540は、低分解能および低フレーム率の信号に対応する。次いでSVCS590は、適当な層の部分集合を各受信エンドポイントへ、その特性に応じて選択的に転送する。受信エンドポイント520の場合、SVCS590はすべての層を転送し、受信エンドポイント530の場合、SVCS590は、最大空間分解能であるが半分のフレーム率で転送し、最後に受信エンドポイント540の場合、SVCS590は、低空間分解能であるが最大フレーム率で転送する。
【００３８】
米国特許第7,593,032号(前述)で詳細に説明されているように、SVCSアーキテクチャは、多地点ビデオおよび音声通信のための従来のスイッチングおよびトランスコーディング多地点制御ユニット(MCU)と比較すると大きな利点を有し、遅延はほとんどなく(MCUの200ミリ秒に対して10〜20ミリ秒)、トランスコーディング損失はなく、また率の整合および個人用のレイアウト動作が、パケット転送決定(すなわち、それぞれの受信エンドポイントにどのパケットを転送するべきかに関する決定)になる。
【００３９】
開示する主題の一実施形態におけるエンドポイント内のマルチモニタ/マルチカメラ対応のためのアーキテクチャを図6に示す。この図は、制御ユニット670および1組のノード650から構成されたエンドポイント600を示す。エンドポイントは、任意の数のノードを含むことができ、この図ではN個のノードを示す。各ノード650はノードユニット655からなり、ノードユニット655は、モニタ、任意選択でカメラ、および任意選択で音声デバイス(モノラルまたはステレオでマイクロフォン、スピーカ、またはこれら2つの組合せ)に接続することができる。以下、これらのデバイスを「周辺デバイス」と呼ぶ。
【００４０】
図6では、すべてのノード650のノードユニット655がすべて、モニタ620、カメラ610、および音声デバイス630に接続されているところを示すが、それぞれの存在は任意選択である。これらのデバイスの少なくとも1つは、それぞれのノード内に存在しなければならない。N個のノード、最高N個のカメラ、および最高N個のモニタを使用することができ、最高N個の音源に対応することができる。各周辺デバイスは、適当な物理インターフェースを使用して、関連するノードユニットに接続される。開示する主題の一実施形態では、HDMI(High-Definition Multimedia Interface)を使用してモニタ620を接続することができ、HD-SDI(High Definition Serial Digital Interface、SMTPE 292M)を使用して高精細度カメラ610を接続することができ、USB2.0(Universal Serial Bus)を使用して音声デバイス630を接続することができる。
【００４１】
各ノード650は、2つ以上のモニタ620を装備することが可能であり、または2つ以上のカメラ610に対応することが可能である。当業者には明らかであるように、これらの場合は、単一カメラ/単一モニタのノードの場合と本質的に同様に扱われる。以下、描写を簡単にするために、各ノード650は単一のモニタおよびカメラを装備するものとする。同様に、図6は様々なノードユニット655をネットワーク上の別個のユニットとして示すが、当然ながら、これらのユニットは、複数のインターフェースを有する単一のコンピュータなどの単一のデバイス内に組み込むことが可能である。別法として、エンドポイント600は、ブレードサーバ内で実施することができ、その場合、各ノードユニット655は前記サーバ内のブレードとすることができる。
【００４２】
開示する主題の一実施形態では、コンテンツは、ノードユニット650または制御ユニット670のいずれかによって生成および符号化することができる。コンテンツは、異なる方法(より高い空間分解能であるがより低いフレーム率)で調整されるにもかかわらず、通常のビデオに使用されるものと同じSVCアルゴリズムを使用して符号化することができる。これにより、任意のビデオ対応ノードユニットによるコンテンツ復号が可能になる。コンテンツの生成は、ホストコンピュータ上のウィンドウもしくはそのデスクトップ全体のコンテンツをキャプチャすることによって、または外部のコンピュータグラフィックス信号(図6には図示せず)を得ることによって、内部で実行することができる。
【００４３】
引き続き図6を参照すると、開示する主題の一実施形態では、ノード650は、IEEE 802.3u(CAT5銅配線を介する100BASE-TX)またはIEEE 802.11n(無線WiFi)を使用して、IPベースのネットワークを介して制御ユニット670に接続される。同じネットワークは、制御パネル680を制御ユニット670へ接続するためにも使用される。開示する主題の一実施形態では、制御パネル680は、無線接続を介して制御ユニット670に接続するApple iPadタブレットとすることができる。制御パネル680は、制御ユニット670およびエンドポイント600の機能を全体として遠隔で制御できるようにするアプリケーションを起動する。開示する主題の代替実施形態では、制御パネル680は、後述するポータルに接続することによって、制御機能を実行することができる。一実施形態では、ウェブインターフェースを通じてアクセスを提供することができ、したがってウェブブラウザを有する任意のデバイスを使用して制御パネル680の機能を実行することができる。
【００４４】
ノードユニット655は、モニタが存在する場合はビデオの復号、カメラが存在する場合はビデオの符号化、1つまたは複数のマイクロフォンが存在する場合は音声の符号化、また1つまたは複数のスピーカが存在する場合は音声の復号を実行することが可能なデバイスである。開示する主題の一実施形態では、ノードユニット655は、周辺デバイスに対する適当なハードウェアインターフェースを有する汎用パーソナルコンピュータとすることができ、適当なソフトウェアを起動して、本明細書に記載するノードユニット655の機能を実行することができる。Vidyo, Inc.から市販のVidyoRoom HD-50システムは、ビデオの符号化および復号を実行するのに適当なインターフェースならびにSpeex Wideband音声を装備する汎用パーソナルコンピュータを特徴とするハードウェアデバイスであり、したがってこの目的で使用することができる。
【００４５】
ノードユニット655の機能を実行する専用のデバイスを作ることも可能である。たとえば、カメラをもたないノードユニットの場合、非常に安価なデバイスを作製することが可能である。実際には、ハードウェアSVC復号器を装備するテレビジョンセットにノードユニットの能力を追加することもできる。同様に、ウェブカムの製造業者は現在、内蔵のSVC符号器を特徴とするデバイスをすでに設計しており、したがってネットワーク接続性および関連するソフトウェアを追加してカメラ(およびマイクロフォン)機能を提供するノードユニット655にすることは簡単である。
【００４６】
同様に、制御ユニット670は、モニタ、カメラ、およびスピーカ/マイクロフォンを有することができるため、少なくとも1つのノードユニット655を組み込むことが可能である。制御ユニット670として、Vidyo, Inc.から市販のVidyoRoom HD-220などの大部屋システムを装備することができ、組込み型のノードユニットが1つのカメラに作用する。実際には、システムは、2つのそのようなユニットを有することができ、一方は制御ユニットとして作用し、他方は簡単なノードユニットとして作用する。このようにして、動作中の制御ユニットが機能するのを停止した場合、他方のノードユニットが制御ユニット/ノードユニットの組合せとして動作を開始し、したがって耐障害性を提供することができる。
【００４７】
制御ユニット670は、SVCSと非常に類似した動作をする。ビデオおよび音声ストリームがエンドポイント600に到達した場合、制御ユニット670は、それらのストリームをどのノードユニット655へ送信するか(どの層を含むかを含む)を決定する。同様に、制御ユニット670は、そのように装備された様々なノード650内の各ビデオおよび音声符号器を起動させ、コーディングされたビデオまたは音声ストリームを受信し、接続されたSVCS(または他のエンドポイント)へ送信する。2つのデバイス間のリアルタイムのストリームの通信は、標準的なRTPを使用して実行することができる。
【００４８】
開示する主題の一実施形態では、ノードユニット655、制御パネル680、および制御ユニット670は、UPnPプロトコル(Universal Plug-and-Play、UPnP Forum、また国際規格ISO/IEC 29341)を使用して互いを自動的に自己発見し、クラスタとして機能することができる。UPnPにより、デバイスは、デバイスの存在およびネットワーク上のデバイスを制御するためにデバイスが提供するサービスを宣伝することができる。制御デバイスは、適した制御メッセージをサービスに対する制御URL(サービス記述内に提供)へ送信し、SOAP(Simple Object Access Protocol、World Wide Web Consortium/W3C)を使用してXMLでこれらの制御メッセージを表現することができる。当業者には明らかであるように、専用のものを含む他のプロトコル、たとえばRemote Procedure Calls(RPC)を使用することもできる。エラー耐性機能を含むノードユニット655と制御ユニット670との間の通信の制御は、UPnPを使用して実施される特別なノードユニットプロトコルによって実行される。これについては、全体的なシステムアーキテクチャを提示した後に論じる。このアーキテクチャにより、通信が(リアルタイムで)進行中であるときでも、ノードユニット655を動的にシステムから除去し、またはシステムへ追加できることに留意されたい。これは、特定のアプリケーションにおいて役立つことができ、非常に高い耐障害性を提供する。
【００４９】
制御ユニット670はまた、エンドポイント500からSVCSへ、または直接他のエンドポイントへの接続点である(どちらもこの図には図示せず)。ノードから制御ユニットへの接続と同様に、開示する主題の一実施形態では、制御ユニット670と任意のSVCSまたは他のエンドポイントとの間の接続は、IPベースのネットワークを介して実行される。
【００５０】
最後に、開示する主題の一実施形態では、エンドポイント600はまた、ポータル(ここではこの図の外側に示す)に接続される。ポータルは、後に論じるように、ユーザ管理および認証、ならびに他のシステム管理機能を担うサーバ機能である。エンドポイント600とポータルとの間の接続は、エンドポイント600がアタッチされたIPネットワークを介して行われることが好ましい。ポータルはまた、SVCS(またはさらにはいくつかの製品構成ではエンドポイント)と一体化することができ、その動作は同じままであることに留意されたい。
【００５１】
図7は、開示する主題の一実施形態における複数のタイプのエンドポイントを有する例示的なマルチモニタ/マルチカメラシステムを示す。この図は、複数の異なるタイプのエンドポイントを相互接続するSVCS710を示す。単一のSVCS710を示すが、通常、SVCS間でカスケーディングを使用できる(すなわち、1つのエンドポイントから別のエンドポイントまでの経路内に2つ以上のSVCSが位置することができる)ため、2つ以上のSVCSを接続に関連付けることができることに留意されたい。SVCSのカスケーディングは、開示する主題に影響を与えない。
【００５２】
引き続き図7を参照すると、2つのマルチモニタ/マルチカメラエンドポイント(エンドポイント1 720およびエンドポイント2 722)が存在する。これらは、図6のエンドポイント600に示す設計の例である。また、Vidyo, Inc.から市販のVidyoRoom HD-220などの典型的なSVC単一符号器のビデオ会議システムとすることができる室内システム724エンドポイント、およびソフトウェア内で実施され、Vidyo, Inc.から市販のVidyoDesktopなどの汎用コンピュータ上で起動するエンドポイントであるデスクトップ726エンドポイントも存在する。最後に、SVCに対応できないレガシーシステム780を相互接続するために使用されるゲートウェイ728デバイスが存在する。例示的なゲートウェイ728デバイスは、Vidyo, Inc.から市販のVidyoGatewayである。レガシーシステム780は、室内システム、デスクトップソフトウェアシステム、または実際にはレガシーMCUとすることができる。ゲートウェイ728は、そのSVC接続上では通常のSVCエンドポイントとしてふるまい、そのレガシー接続上ではレガシーエンドポイントとしてふるまい、音声およびビデオのトランスコーディングを適宜実行し、またその両側で適当なシグナリングを使用する。たとえば、ゲートウェイ728は、H.323を使用してレガシーシステム780と通信することができ、また場合によっては専有の別のプロトコルを使用してSVCS710へ通信することができ、ビデオの場合はH.264 SVCとH.263との間で、また音声の場合はSpeexとG.722との間で、トランスコーディングを行うことができる。
【００５３】
エンドポイントおよびゲートウェイの特定の選択は、例示のみを目的として使用したものであり、当業者には明らかなように、任意の数のマルチモニタ/マルチカメラエンドポイント、ならびに任意の数のレガシーエンドポイントまたはゲートウェイを使用することができる。最小でも、少なくとも1つのマルチモニタ/マルチカメラエンドポイントが存在し、また少なくとも1つのSVCSまたは他のエンドポイントが存在するものとする。
【００５４】
図7はまた、すべてのエンドポイント/ゲートウェイ720〜728がポータル740に接続されていることを示し、この図には、2つのそのようなポータルを示す。前述したように、ポータルは、ユーザ管理および認証、ならびに他のシステム管理機能を実行するために使用されるサーバ機能を提供する。開示する主題の一実施形態では、Vidyo, Inc.から市販のVidyoPortalシステムを使用することができる。ポータルの機能のいくつかは、ユーザの作製および管理、グループへのユーザの割当ておよびそれらの許可の管理、個人および公共の予約できない会議室の作製および管理、個人部屋の無効化、事前定義されたレガシーデバイス(H.323およびSIPベース)に対するアドレス帳入力の作製、パススルー認証に対するLDAP/Active Directory対応、任意選択の安全なLDAPアクセス、およびマルチテナント対応、複数のSVCSデバイス間の負荷の平衡化およびライセンス管理を含む。システム内で複数のSVCSが使用されるとき、ポータルが、これらのSVCSを様々なエンドポイントにどのように割り当てるかを決定する。ポータルは、物理的には、SVCS機能を提供するのと同じシステム上に設置でき、また(製品構成に応じて)場合によっては1つのエンドポイント内に同様に設置できることに留意されたい。これは、単一のデバイスを使用して低コストのバンドルで完全なシステム機能を提供できる商品の場合に当てはまるはずである。
【００５５】
開示する主題の一実施形態では、エンドポイント、SVCS710、およびポータル740間のすべての通信は、共通のIPネットワークを介して実行される。マルチモニタ/マルチカメラエンドポイント720および722は、それぞれ2つ以上のビデオストリームを作製できることを除いて、SVCSおよびポータルによって他のエンドポイントと同様に扱われる。機能上、SVCS(およびポータル)の場合、複数のビデオストリームが同じエンドポイントから発生するか、それとも異なるエンドポイントから発生するかに違いはない。
【００５６】
開示する主題の一実施形態では、エンドポイントとポータル740との間の通信は、エンドポイント管理および制御プロトコル(EMCP)を使用して実行される。これらの接続を、図7に破線で示す。
【００５７】
開示する主題の一実施形態では、上流デバイスに対して(すなわち、受信SVCSから送信エンドポイントへ、受信エンドポイントから送信SVCSへ、または受信SVCSから送信SVCSへ)、それぞれの利用可能なソースのどの層を送信内に含むかを示すために、SVCSとエンドポイントとの間でプロトコルが使用される。開示する主題の一実施形態では、全体として参照により本明細書に組み込まれている、本発明の譲受人に譲渡された米国仮特許出願第61/384,634号、「System and method for the control and management of multipoint conferences」に記載されている会議管理および制御プロトコル(CMCP)が使用される。
【００５８】
拡張可能なビデオコーディングが同じビットストリーム上で複数の分解能を提供すること、ならびに受信エンドポイント上で合成が行われることで、異なるレイアウトを実施する上で完全な柔軟性を提供する。
【００５９】
引き続き図7を参照すると、メディアがマルチカメラ/マルチモニタのエンドポイント720および722のノードユニットからSVCS710へどのように流れるかに応じて、2つの別個の実施形態が示されている。シグナリング面制御ユニットの実施形態(または「シグナリング集約」の実施形態)と呼ばれる一実施形態では、エンドポイント720または722が接続されたポータル740は、そのエンドポイントがマルチモニタ/マルチストリームエンドポイントとして識別されるように構成される。次いで、接続要求が、エンドポイントのN個のノードユニット(たとえば、3つのノードユニット720n)とSVCS(710)との間のN個の個々の接続に変換される。N個の接続は、エンドポイントの制御ユニット(720c)を通じて自動的に確立される。この構成の潜在的な欠点は、各エンドポイントに対してN個の別個の接続を作らなければならないことである。これはSVCSに影響を与えない(接続毎のオーバーヘッドは最小であり、重要なのはパケット/秒の負荷である)が、使用できる任意のファイアウォール上でN個のポートを開く必要がある。この潜在的な欠点は、次に記載するメディア面制御ユニットの実施形態では解消される。この場合、制御ユニットは、接続を設定するために使用されるが、メディアの経路内にないことから、どちらかというとポータルとしてふるまう。
【００６０】
メディア制御ユニットの実施形態(「メディア集約」の実施形態とも呼ばれる)では、ノードユニットとの間のすべてのメディアの流れは常に、それぞれの対応するエンドポイントの制御ユニットを通じて実行される。エンドポイント1 720の場合、これは、3つのノードユニット720nとの間のすべてのメディアの流れが制御ユニット720cを通じて実行されることを意味する。この場合、制御ユニットは、すべてのメディアがその中を流れ、どのデータをどちらの方向に転送するかについて決定を下して実施できることから、むしろSVCS、またはカスケード式のSVCSのように作用する。メディア制御ユニットの実施形態の主な利点は、同じタイプのすべてのメディアに対して単一のRTPセッションを使用でき、それによってファイアウォールの横断およびセッション設定処理を簡略化できることである。また、特定のビデオストリームを特定のノードユニットへ送信することに対して制御ユニットが下さなければならないあらゆる決定は、制御ユニット自体によって実施され、シグナリングのみの集約の場合のようにSVCSへ通信する必要はない。ノードユニットも同様に、非常に基本的なシグナリング機能を実施するだけでよいため、比較的簡単である。最後に、場合によっては、メディアの暗号化が使用される場合、より簡単かつ/またはより安全な実装形態を提供することができる。以下、メディアの集約が使用されるものとする。
【００６１】
引き続き図7を参照して要約すると、マルチモニタ/マルチカメラエンドポイントは本質的に小型のSVCS会議システムであり、制御ユニットは、外界とエンドポイント内に含まれるノードユニットとの間のSVCSとしてふるまう。しかし、これらのノードユニットは本格的なエンドポイントではなく、したがってSVCSと直接には対話しない(メディア集約の実施形態による)。これはまた、これらのノードユニットが、通常はSVCSとエンドポイントとの間で動作するCMCPプロトコルを起動しないことを意味する。したがって、ノードユニットとノード制御ユニットとの間の相互動作を容易にするために、新しい制御プロトコルを使用する必要がある。前述のUPnPを使用して実施されるこのノードユニットプロトコル(NUP)というプロトコルにより、制御ユニットは、そのノードユニットにノードユニットの特性について問い合わせを行い、ノードユニットの状態について尋ね、特定の表示位置に特定のビデオストリームを表示するなどの特定の機能を実行するように指示することができる。このプロトコルはまた、イベント通知に対応しなければならず、したがって制御ユニットには、ノードユニットによって、ノードユニットの状態の変化(たとえば、終了、またはウィンドウ寸法の変化、スピーカ起動、さらにはパケット損失の場合のパケット再送信に対する要求など)に関して通知することができる。
【００６２】
複数のモニタ上のビデオの配置を完全に制御するために、ノードユニットは、ディスプレイ(モニタ表示領域全体)、ウィンドウ、およびタイルから構成されるモニタ領域のツリー構造の概念モデルを使用する。この構造を図8に示す。タイルは、ビデオストリームが復号される最も小さい要素である。後に論じるように、タイルは方形である必要はないことに留意されたい。
【００６３】
NUPに対する例示的なメッセージ定義を図9に提供し、例示的なイベント定義を図10に提供する。ディスプレイ、ウィンドウ、およびタイルに対する管理動作に加えて、図10に示すビデオ復号器イベントインターフェースはまた、「NAKpacketRequestEvent」を含む。開示する主題の一実施形態では、前述の国際特許出願第PCT/US06/62569号および第PCT/US08/50640号に記載されている、否定応答による「Rパケット」技法(「否定応答を使用するLR保護プロトコル」)が使用される。図7を参照すると、そのようなプロトコルは、たとえばエンドポイント1 720の制御ユニット720cとSVCS710との間で動作する。制御ユニット720cとその関連するノードユニット720nとの間の接続は通常、ベストエフォートIPネットワークを介して行われるため、その接続でパケット損失が生じた場合についても、同様に考慮する必要がある。
【００６４】
「NAKpacketRequestEvent」イベントは、LR保護プロトコルと同一の方法で否定応答を実施するが、今回はNUPプロトコルを適用した。RFC 6190(前述)では、R画像シーケンス指標は、PACSIヘッダ(関連する任意選択のTLOPICIDXおよびIDRPICIDフィールド、ならびにSおよびEフラグを有する)の任意選択のYビットを使用して、標準的なRTPストリームを介して搬送することができる。
【００６５】
制御ユニット720cは、「NAKpacketRequestEvent」イベントを受信すると、依然としてキャッシュ内で利用可能である場合、欠けているパケットを再送信し、またはSVCS710の上流(もしくは上流に接続されているあらゆるデバイス)に否定応答を渡す。
【００６６】
単一カメラシステムとマルチモニタ/マルチカメラシステムとの主な違いは、マルチカメラソースを一体として扱うことができること、また入ってくるビデオストリームを様々なモニタ内でどのように表示するかという点で、マルチモニタシステムがかなりの柔軟性を提供することである。
【００６７】
マルチカメラエンドポイントから提供されるビデオストリームの空間的な位置決めは、重要性を有する可能性がある。たとえば、各ストリームの相対的な位置決めを示すことが必要なことがある(たとえば、左、中心、および右)。これにより、受信エンドポイントは、空間的な向きを考慮し、適切な表示を容易にすることができる。より下位のレベルでは、ストリームが「リンク」されていることのみを確立することが望ましい可能性があり、言い換えれば、ストリームは一体として扱われるべきであり、一方が表示された場合、他方も同様に表示されるべきであり、逆も同様である。カメラの場合、システムは、知られているシステム位置からの相対的な位置、ならびにその垂直および水平角度(傾斜/パン)ならびにズーム係数をさらに示すことができる。この情報により、受信器は、カメラが遠隔の部屋の中で何を見ているのかを知ることができる。
【００６８】
複数のビデオストリームが空間的な向きの優先順位をもたないことも可能である。たとえば、2人のユーザの非常に至近距離からの写真を撮る2つのカメラを考慮されたい。このシナリオでは、相対的な空間的位置決めは問題でないことがある。
【００６９】
これらのストリームは、他の重要な属性を有することができる。たとえば、これらのストリームの1つを、最も声の大きい、または現在の話者として標示することができる。複数のカメラが複数の人間をキャプチャした場合、どのビデオが現在の話者に対応するかを(少なくとも何らかの相当な処理なしに)推論することは不可能である。したがって、この情報は、エンドポイント自体によって提供されるべきである。この場合、適切なタグ付けには、各カメラが関連するマイクロフォンを有することを必要とする可能性がある。またこれにより、システムは、ビデオが示されているモニタ上で現在の話者の音声を再生できることから、音声に対する空間的な局所化を提供することができる。そのような音声の局所化は、ユーザが会議セッションに出入りするときも有用であり、システムによって再生される「チャイム」(または場合によっては、より複雑なテキストから音声へ駆動される発表)が、特定のユーザが示される、または示されていたモニタ上(または、モニタがスピーカをもたない場合はモニタ付近)で再生されるべきである。これにより、正しいモニタへユーザの注意を引くことができる。
【００７０】
他の関連する属性は、地理位置とすることができ、地理位置はたとえば、ビデオストリームが発生する物理的な位置(たとえば、「ニューヨーク事務所」または「アトランタ空港」)に関する情報を提供することができる。ビデオストリームが発生したIPアドレスも、同じ目的で使用することができる。ビデオ分解能もまた、重要な属性とすることができる。
【００７１】
遠隔寸法上のレイアウトの構成をより容易にするために、また部屋の物理的特徴および参加者の位置の保存を試みるために、開示する主題の一実施形態はまた、送信するそれぞれのビデオストリーム内に、またはそのシグナリング情報内に、1組の属性またはタグを提供するメタデータを含む。
【００７２】
同様に、受信システムは、送信器に対して、そのモニタの数、位置、および寸法を示すことができる。呼出し設定中、システムはこれらのパラメータを交換し、したがってこれらの間で可能な限り最善の動作モードを識別することが可能である。
【００７３】
2つの通信システムに対する構成が異なるとき、送信器または受信器のいずれかが適合を実行することが可能である。たとえば、システムが、同じ平面上に位置する3つのディスプレイモニタ内に示されると考えられるビデオを送信するように設計される場合、特定の受信側の部屋は、円弧状の構成でディスプレイモニタを有し、送信器または受信器は、ビデオ信号上で遠近法による補正動作を実行することができる。
【００７４】
単一のノードユニットに対して複数のモニタが利用可能であるものとすると、2つ以上のモニタに及ぶビデオを復号および描画することが可能である。図11は、テレプレゼンスのようなレイアウトに適当ないくつかの可能なレイアウトの適合を示す。図11(a)は、典型的な3/3/2テレプレゼンスシステムレイアウトを示す。3つのテレプレゼンスストリームを元の寸法の2/3に縮小し、図11(b)に示すように2つのモニタのみを使用して表示することによって、コンテンツ表示のために1つのモニタを割り当てることができる。最も左側の2つのモニタの底部1/3は空であり、その領域を使用して、たとえば1/1/1システムを使用する参加者からの「プレゼンス」ウィンドウを収めることもできることに留意されたい。最も右側のモニタは、コンテンツに割り当てられる(たとえば、コンピュータスライドを表示する)。特定のレイアウトは、中央のビデオストリームの復号された出力を2つのモニタ(左および中心)間で分割する必要があり、これは、両方のモニタが同じノードユニットに取り付けられている場合、容易に実施することができる。そうでない場合、ビデオストリームを2つの異なるノードユニットへ送信して、それぞれに表示する前に適当に切り抜く必要があり、またはそれぞれ画像の半分を覆う2組の方形スライス内で元の符号化を行う必要があり、その結果、制御ユニットは、各スライス組を対応するノードユニットへ転送することができる。
【００７５】
SVCでは、3つのビデオ信号を2つのモニタに収めるために2/3ダウンサンプリングする必要はないことに留意されたい。1.5の比で空間的な拡張性が使用される場合、SVCビットストリームから直接、分解能の低いものを得ることができる。同様に、4/4/-システムの場合、2:1の空間的な拡張性を使用して、いかなる処理も行わずに、部屋を2つのモニタ内へ収めることができる。他の比は、SVCの拡張可能なベースラインプロファイルによって直接対応されないため、収容するのがより困難になる可能性がある。
【００７６】
図11(c)は、2つの3/3/2テレプレゼンスシステム室が1組の3つのモニタ内に表示されるレイアウトを示す。この場合、ビデオストリームは、上部部分および下部部分(それぞれ画像高さの4分の1)が切り抜かれており、したがって2組がモニタ上で垂直に収まることができる。当然ながら、切抜きは、各フレーム内で対象者の配置が適当でない場合、視覚上の問題をもたらす可能性がある。
【００７７】
前述の議論から、従来のテレプレゼンスシステムレイアウトには、異なるソースからのビデオを組み合わせる際の柔軟性の点でかなりの制限があることは明らかである。通常、テレプレゼンスシステムは、対称の2地点間構成で最もうまく機能する。
【００７８】
全体として参照により本明細書に組み込まれている、本発明の譲受人に譲渡された国際特許出願第PCT/US09/046758号、「System and method for improved layout management in scalable video and audio communication systems」は、単一のモニタ(またはより一般に、単一の方形の表示領域)上でレイアウト管理を実行するいくつかの技法について記載しており、特にSVCおよびSVCSアーキテクチャによって提供される独自のレイアウト能力に焦点を当てている。
【００７９】
図7を参照すると、開示する主題の一実施形態では、マルチモニタ/マルチカメラエンドポイント720の各ノードユニット720nには、制御ユニット720cによって特定のレイアウトが割り当てられているものとする。
【００８０】
図12は、マルチモニタシステムによって使用される例示的な単一モニタレイアウトを示す。図8に示すディスプレイ/ウィンドウ/タイル階層を参照すると、ここでは、各ディスプレイ(モニタ)が、1組の方形のウィンドウを有し、各ウィンドウが、全体としてウィンドウを覆う単一のタイルを含むものとする。言い換えれば、以下、各方形のウィンドウは、単一のビデオストリームに関連する。
【００８１】
図12(a)では、単一のビデオストリームがモニタ全体に描画される。図12(b)では、コンテンツストリームがモニタ全体に描画される。図12(c)では、4つのウィンドウで2×2のプレゼンスレイアウトが示されている。元のビデオ分解能がモニタ全体を覆うものとすると、ここではビデオは、各ウィンドウ内に元の分解能の半分で示されるはずである。しかし通常、符号化されたビデオの分解能は、セッションに参加できる異なるエンドポイント間で変動する可能性がある。したがって、それぞれのウィンドウに割り当てられるビデオの分解能に関して仮定を立てるべきではない。層を削除するべきかどうか、または拡大および/もしくは切抜きを適用するべきかどうかを決定するのは、制御ユニットおよびノードユニット次第である。ここでは動作は、前述の国際特許出願第PCT/US09/046758号に記載されているものに類似しており、ノードユニットはエンドポイントの役割を担い、制御ユニットはSVCSの役割を担う。たとえば、ノードユニットが小さいウィンドウ内にビデオを表示する場合、制御ユニットは、ウィンドウの寸法および様々な空間層の分解能に応じて、より下位の空間層のみを送信することができる。制御ユニットは、特定のノードユニットが維持できる画素の最大数または最大Kbpsの上限を使用して、層の選択のさらなる最適化を行うことができる。
【００８２】
引き続き図12を参照すると、図12(d)では、9個のウィンドウで3×3のプレゼンスレイアウトが示されている。最後に、図12(e)では、ディスプレイが垂直に分割され、ビデオとコンテンツの両方を示すところが示されている。この場合も、ソースの分解能およびディスプレイの分解能に応じて、基準空間層を使用して、適宜、ノードユニットによって決定された通り、ダウンサンプリングし、または切り抜くことができることが好ましい。
【００８３】
ここで、これらの単一モニタレイアウトは、マルチモニタシステム内で様々な方法で組み合わせることができる。図13は、いくつかの例を示す。図13(a)では、3つのビデオモニタおよび1つのコンテンツ用モニタを有する従来のテレプレゼンスシステムレイアウトが示されている。図13(b)では、モニタの1つは、4人の参加者に対して常駐を提供するように切り換えられている。
【００８４】
図13(c)は、1つのモニタが現在の話者に割り当てられ、1つがコンテンツであり、2つが18人の参加者に対する常駐に割り当てられているビデオ壁を示す。この特定の構成を使用して、3/3/-構成を使用する6つのテレプレゼンス室を接続することもできる。下部のモニタは、各部屋の3つのビデオを各モニタのウィンドウ列に配置することによって、6つの部屋を表示する。現在の話者用のモニタは、現在の話者を表示し、これは、提供される18個のビデオストリームのうちのいずれか1つとすることができる。エンドポイントの制御ユニットは、入ってくるどのビデオストリームが現在の話者に対応するものであるかを選択し、ビデオ(の複製)を関連するノードユニットへ転送する。この例では、現在の話者もまた、底部の表示内に示すことができる。
【００８５】
図13(d)は、単一表示モニタとともに2つの別個のコンテンツモニタおよび1つの常駐モニタを有するレイアウトを示す。これにより、2つの異なるアプリケーションおよび/または参加者からのコンテンツをモニタ上に同時に示すことができる。開示する主題では、任意の数のモニタをコンテンツ表示に割り当てることができることは明らかである。図13の例では、すべてのモニタが同じ寸法および分解能を有するところを示すが、この通りでなくてもよい。実際には、システムは、実際のモニタ寸法および分解能に関していかなる仮定も立てる必要はない。
【００８６】
現在の話者の判定は、関連するビデオおよび音声ストリームに規格化された音声強度尺度で適当にタグ付けすることによって行うことができる。このようにして、制御ユニットは、いかなる音声処理も行わずに容易に決定を下すことができる。
【００８７】
システムは、システム内の変化に対応するように、レイアウトを動的に遷移できることに留意されたい。たとえば、より多くの参加者がシステムに追加されると、図13(a)から(b)へレイアウトを遷移することもできる。別の例は、新しいノードユニットがオンライになったとき、または機能するのを停止したときであり、制御ユニットは、それを検出し、より多くまたはより少ないモニタを有する適当なレイアウト構成へ直ちに切り換わることができる。
【００８８】
従来のテレプレゼンスシステムとは対照的に、通常のマルチモニタ/マルチカメラシステムでは、ビデオを意のままにウィンドウおよびモニタに割り当てることができる。ビデオ表現に対するSVCの使用と、ノードの制御ユニットおよびSVCSの選択的な転送能力とを組み合わせると、レイアウト遷移の実装形態を含めて、任意の所望のレイアウト(従来のテレプレゼンスシステムのものを含む)を容易に実施することができる。
【００８９】
現在の話者の選択を実施するために上記で使用したタグ付けを使用することで、他の関連するレイアウト管理方策を実施することもできる。たとえば、特定の参加者(たとえば、会社のCEO)を常に示すように、モニタに標示することができる。地理位置のタグ付け(またはビデオソースのIPアドレス)を使用して、同じ地理的位置からの参加者を、物理的に互いに隣り合ったウィンドウ内に常に強制的に示し、物理的に近接している感覚をさらに向上させることができる。ストリームを互いにリンクさせることによって、それぞれのウィンドウ内の特定の構成でそれらのストリームを示すことができる(たとえば、1つのストリームを他のストリームの左側に示す)。
【００９０】
最後に、複製(「デューピング」)またはミラーリングなどの動作も容易に実施することができる。第1の場合、ビデオストリームが2つ以上のウィンドウ内に示され、第2の場合、複製が行われるが、(通常の鏡の場合と同様に)垂直軸に沿って画像が反射する。これは、大型のモニタ壁において創造的な効果のために使用することができる。開示する主題の一実施形態では、エンドポイントの制御パネルにより、ユーザは、所望のレイアウト構成を選択し、リアルタイムで進行中に、異なる構成間を切り換えることができる。当業者には明らかなように、レイアウトを管理する制御ユニットに対するいくつかの他のインターフェースを通じて、同一の機能を提供することも可能である。システムが提供できる追加の機能は、ウィンドウ間でストリームを交換すること、いかなる自動レイアウト判定アルゴリズムもウィンドウ割当てを修正しないように、特定のウィンドウに対してストリームを「固定」すること、または1つのウィンドウから別のウィンドウへストリームを動かすことを含む。システムはまた、選択肢として、各ビデオウィンドウ内に関連するエンドポイント名の文字のオーバーレイを含むことを提供することができる。
【００９１】
制御ユニットによって提供できる追加の機能は、「識別」動作であり、起動されると、制御ユニットは、1つまたは複数のモニタを装備する各ノードに対して、モニタ上に整数を表示するように指示する。このようにして、ユーザは、どのモニタ番号がシステム内のどの物理的モニタに割り当てられているかを容易に識別することができる。別法として、制御パネル、または制御ユニットに対する代替のインターフェースは、ユーザインターフェース上で選択されたモニタ上に特定の均一の色を示す能力を提供することもできる。これにより、ユーザは、特定のモニタを識別することもできるはずである。
【００９２】
これらのレイアウト管理方策および動作はすべて、マルチモニタ/マルチカメラエンドポイントの制御ユニットで下される簡単なパケット転送決定であり、信号処理を必要としない。開示する主題の一実施形態では、制御ユニットは、様々なノードユニットで所望のレイアウトを確立する。利用可能なモニタ内でのビデオからウィンドウへの割当ては、優先順位付け属性(たとえば、現在の話者)に基づいて、ストリーム配置制約(たとえば、ストリームのリンキング、テレプレゼンスのグループ分け、地理位置)を考慮して行われる。
【００９３】
図14は、4モニタ構成を使用する例示的な1組のレイアウト遷移を示す。制御ユニットは初めに、すべてのモニタ上に空白のスクリーン(または製造業者のロゴ)を表示するようにノードユニットを設定する。最初の3人のユーザがセッションに加わると、これらのユーザのビデオが、関連するノードユニットを通じてそれぞれのビデオモニタ(#1〜#3)に割り当てられる。モニタウィンドウ内部の番号は、参加者の配置の順序を示す。コンテンツモニタ(#4)は、もしあればプレゼンテーション専用に使用されるように標示される。第4のユーザがセッションに加わると、制御ユニットは、モニタ#1に関連するノードユニットに対して、2×2レイアウトに切り換わるように指示し、それによって図14(b)に示すレイアウトに遷移する。次いで制御ユニットは、そのモニタ内のウィンドウの1つに既存の参加者(3)および新規参加者(4)を割り当て、他の2つの自由ウィンドウは、製造業者のロゴを示し、または空白とすることができる。モニタ1内の4つの位置すべてが埋まると(合計6人の参加者)、制御ユニットは、モニタ#2に関連するノードユニットに対して、図14(c)のレイアウトに示すように、同様に2×2レイアウトに切り換わるように指示する。第10の参加者が導入されると、図14(c)のレイアウト内のすべてのウィンドウが占有され、システムは、図14(d)に示すレイアウトに切り換わり、モニタ#1は3×3レイアウトに切り換わっている。このレイアウトは、最高14人までの参加者で使用することができる。この処理は、さらなるレイアウト変更で継続することができ、たとえばモニタ#2を3×3レイアウトに切り換えることができ、以下同様である。より多くの参加者を追加することができ、または当業者には明らかなように、異なるレイアウト遷移もしくは組合せを選ぶことができる。参加者がセッションを離れるときは、参加者配置およびレイアウト選択の逆の順序を使用することもできる。
【００９４】
モニタ#3が現在の話者に対して使用されるように割り当てられているものとすると、制御ユニットは、現在の話者が常にモニタ#3上に示されるように、必要に応じてストリーム交換を実行する。たとえば、図14(d)を参照すると、ストリームに関連するタグによって判定されるように、参加者6が現在の話者になった場合、制御ユニットは、参加者1に関連するビデオをモニタ#1に関連するノードユニットへ送信し、モニタ#3内のビデオを参加者6のビデオストリームと交換する。
【００９５】
図示のように、SVCSに関連する利益は、マルチモニタ/マルチカメラエンドポイントの環境でも適用することができる。これは、ビデオ信号のコーディングされた表現の拡張可能な性質により、有用なシステム動作の大部分に対して信号処理をなくすことができるためである。
【００９６】
市販のシステムでは、重要な問題は、システムにどのように使用のライセンスを供与するかである。ビデオ会議で使用される典型的なモデルは、「ポート」の概念である。レガシーシステムにおけるポートは、MCU上の物理的ポートに関連し、DSP資源の使用を示唆する。SVCSアーキテクチャでは、ポートの概念は、「ライン」の概念、すなわちSVCSへの接続に関連するソフトライセンス供与の形態に置き換えることができる。ラインライセンス供与はポータルで実行され、したがって1組のSVCS間で1組のラインライセンスを使用することができる。これにより、たとえば、ライセンス管理に対して「フォローザサン(follow the sun)」方策を実施することができ、したがって同じライセンスを米国、欧州、およびアジアで、1日の異なる時刻に使用することができる。多数のモニタまたはカメラを伴う可能性のあるマルチモニタ/マルチカメラエンドポイント設定では、モニタ毎のストリームの数、ノード毎のストリームの数、モニタ毎のストリームの数、カメラの数、分解能の限界、モニタの数、または総帯域幅のいずれかに依存するライセンス供与レベルを指定できることが有利である。ライセンス管理は、接続が設定されると、ポータルで実行される。
【００９７】
上述した複数のカメラおよび複数のモニタを使用する拡張可能なビデオ通信方法は、コンピュータ可読命令を使用する、コンピュータ可読メディア内に物理的に記憶されているコンピュータソフトウェアとして実施することができる。コンピュータソフトウェアは、任意の適したコンピュータ言語を使用して符号化することができる。ソフトウェア命令は、様々なタイプのコンピュータ上で実行することができる。たとえば、図15は、本開示の実施形態を実施するのに適したコンピュータシステム1500を示す。
【００９８】
コンピュータシステム1500に対する図15に示す構成要素は、本質的に例示的なものであり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関するいかなる制限も示唆しようとするものではない。また、構成要素の構成には、コンピュータシステムの例示的な実施形態に示す構成要素のいずれかまたは組合せに関していかなる依存性または要件もないと解釈されるべきである。コンピュータシステム1500は、集積回路、プリント回路基板、小型の手持ち式デバイス(移動電話もしくはPDAなど)、パーソナルコンピュータ、またはスーパーコンピュータを含む多くの物理的な形態を有することができる。
【００９９】
コンピュータシステム1500は、ディスプレイ1532、1つまたは複数の入力デバイス1533(たとえば、キーパッド、キーボード、マウス、スタイラスなど)、1つまたは複数の出力デバイス1534(たとえば、スピーカ)、1つまたは複数の記憶デバイス1535、様々なタイプの記憶メディア1536を含む。
【０１００】
システムバス1540は、多種多様なサブシステムをリンクさせる。当業者には理解されるように、「バス」とは、共通の機能を果たす複数のデジタル信号線を指す。システムバス1540は、様々なバスアーキテクチャのいずれかを使用するメモリバス、周辺バス、およびローカルバスを含むいくつかのタイプのバス構造のいずれかとすることができる。非限定的な例として、そのようなアーキテクチャは、Industry Standard Architecture(ISA)バス、Enhanced ISA(EISA)バス、Micro Channel Architecture(MCA)バス、Video Electronics Standards Associationのローカル(VLB)バス、Peripheral Component Interconnect(PCI)バス、PCI-Expressバス(PCI-X)、およびAccelerated Graphics Port(AGP)バスを含む。
【０１０１】
プロセッサ1501(中央演算処理装置またはCPUとも呼ばれる)は任意選択で、命令、データ、またはコンピュータアドレスの一時的な局所記憶のためのキャッシュメモリユニット1502を含む。プロセッサ1501は、メモリ1503を含む記憶デバイスに結合される。メモリ1503は、ランダムアクセスメモリ(RAM)1504および読取り専用メモリ(ROM)1505を含む。当技術分野ではよく知られているように、ROM1505は、データおよび命令をプロセッサ1501へ単方向に転送するように作用し、RAM1504は通常、データおよび命令を双方向に転送するために使用される。これらのタイプのメモリはどちらも、後述するコンピュータ可読メディアの適したいずれかを含むことができる。
【０１０２】
固定記憶域1508もまた、任意選択で記憶制御ユニット1507を介して、プロセッサ1501へ双方向に結合される。固定記憶域1508は、追加のデータ記憶容量を提供し、後述するコンピュータ可読メディアのいずれかを含むこともできる。記憶域1508を使用して、オペレーティングシステム1509、EXEC1510、アプリケーションプログラム1512、データ1511などを記憶することができ、記憶域1508は通常、1次記憶域より遅い2次記憶メディア(ハードディスクなど)である。記憶域1508内に保持される情報は、適当な場合、標準的な方法で仮想メモリとしてメモリ1503内に組み込むことができることを理解されたい。
【０１０３】
プロセッサ1501はまた、グラフィックス制御1521、ビデオインターフェース1522、入力インターフェース1523、出力インターフェース1524、記憶インターフェース1525などの様々なインターフェースに結合され、これらのインターフェースは、適当なデバイスに結合される。通常、入出力デバイスは、ビデオディスプレイ、トラックボール、マウス、キーボード、マイクロフォン、接触式ディスプレイ、変換器カードリーダ、磁気もしくは紙テープリーダ、タブレット、スタイラス、音声もしくは手書き文字認識器、生体認証リーダ、または他のコンピュータのいずれかとすることができる。プロセッサ1501は、ネットワークインターフェース1520を使用して別のコンピュータまたは電気通信ネットワーク1530に結合することができる。そのようなネットワークインターフェース1520では、CPU1501が前述の方法の実行中にネットワーク1530からの情報を受信でき、またはネットワークへ情報を出力できることが企図される。さらに、本開示の方法の実施形態は、CPU1501上で単独で実行することができ、またはインターネットなどのネットワーク1530を介して、処理の一部分を共用する遠隔のCPU1501とともに実行することができる。
【０１０４】
様々な実施形態によれば、ネットワーク環境内に位置するとき、すなわちコンピュータシステム1500がネットワーク1530に接続されているとき、コンピュータシステム1500は、同じくネットワーク1530に接続されている他のデバイスと通信することができる。通信は、ネットワークインターフェース1520を介してコンピュータシステム1500との間で送信することができる。たとえば、別のデバイスからの要求または応答など、1つまたは複数のパケットの形で入ってくる通信は、ネットワークインターフェース1520でネットワーク1530から受信することができ、メモリ1503内の選択された部分に処理のために記憶することができる。別のデバイスへの要求または応答など、同じく1つまたは複数のパケットの形で出ていく通信もまた、メモリ1503内の選択された部分に記憶することができ、ネットワークインターフェース1520からネットワーク1530へ送信することができる。プロセッサ1501は、メモリ1503内に記憶されたこれらの通信パケットに処理のためにアクセスすることができる。
【０１０５】
加えて、本開示の実施形態は、様々なコンピュータ実施動作を実行するコンピュータコードを有するコンピュータ可読メディアを備えるコンピュータ記憶製品にさらに関連する。メディアおよびコンピュータコードは、本開示の目的に合わせて特別に設計および構築されたものとすることができ、またはコンピュータソフトウェア技術の当業者にはよく知られている利用可能な種類のものとすることができる。コンピュータ可読メディアの例は、それだけに限定されるものではないが、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープなどの磁気メディア、CD-ROMおよびホログラフィデバイスなどの光メディア、光ディスクなどの光磁気メディア、ならびに特定用途向け集積回路(ASIC)、プログラム可能論理デバイス(PLD)、ならびにROMおよびRAMデバイスなどのプログラムコードを記憶および実行するように特別に構成されたハードウェアデバイスを含む。コンピュータコードの例は、コンパイラなどによって作成される機械コード、およびインタープリタを使用してコンピュータによって実行されるより上位のコードを含むファイルを含む。
【０１０６】
非限定的な一例として、アーキテクチャ1500を有するコンピュータシステムは、メモリ1503などの1つまたは複数の有形のコンピュータ可読メディア内で実施されるソフトウェアをプロセッサ1501が実行する結果として機能を提供することができる。本開示の様々な実施形態を実施するソフトウェアは、メモリ1503内に記憶することができ、プロセッサ1501によって実行することができる。コンピュータ可読メディアは、特定の必要に応じて、1つまたは複数の記憶デバイスを含むことができる。メモリ1503は、大容量記憶デバイス1535などの1つもしくは複数の他のコンピュータ可読メディアから、または通信インターフェースを介して1つもしくは複数の他のソースから、ソフトウェアを読み取ることができる。このソフトウェアにより、プロセッサ1501は、メモリ1503内に記憶されているデータ構造を定義すること、およびソフトウェアによって定義された処理に応じてそのようなデータ構造を修正することを含めて、本明細書に記載する特定の処理または特定の処理の特定の部分を実行することができる。加えて、または代替手段として、コンピュータシステムは、回路内に物理的に組み込まれ、または他の方法で実施されている論理の結果として、機能を提供することができ、この論理は、本明細書に記載する特定の処理または特定の処理の特定の部分を実行するためにソフトウェアの代わりに、またはソフトウェアとともに動作することができる。ソフトウェアに対する言及は、適宜論理を包含することができ、また逆も同様である。コンピュータ可読メディアに対する言及は、実行のためのソフトウェアを記憶する回路(集積回路(IC)など)、実行のための論理を実施する回路、または両方を適宜包含することができる。本開示は、ハードウェアとソフトウェアの任意の適した組合せを包含する。
【０１０７】
この開示では、いくつかの例示的な実施形態について説明してきたが、開示する主題の範囲内に入る変更、置換え、および様々な代替の均等物が存在する。したがって、本明細書では明示的に図示または記載しないが、本発明の原理を実施し、したがって本発明の精神および範囲内に入る多数のシステムおよび方法を考案できることが、当業者には理解されるであろう。
【符号の説明】
【０１０８】
500  エンドポイント
510  送信エンドポイント
520  受信エンドポイント
530  受信エンドポイント
540  受信エンドポイント
590  SVCS
600  エンドポイント
610  カメラ
620  モニタ
630  音声デバイス
650  ノード
655  ノードユニット
670  制御ユニット
680  制御パネル
710  SVCS
720  エンドポイント1
720c  制御ユニット
720n  ノードユニット
722  エンドポイント2
724  室内システム
726  デスクトップ
728  ゲートウェイ
740  ポータル
780  レガシーシステム
1500  コンピュータシステム
1501  プロセッサ、CPU
1502  キャッシュメモリユニット
1503  メモリ
1504  ランダムアクセスメモリ(RAM)
1505  読取り専用メモリ(ROM)
1507  記憶制御ユニット
1508  固定記憶域
1509  オペレーティングシステム
1510  EXEC
1511  データ
1512  アプリケーションプログラム
1520  ネットワークインターフェース
1521  グラフィックス制御
1522  ビデオインターフェース
1523  入力インターフェース
1524  出力インターフェース
1525  記憶インターフェース
1530  電気通信ネットワーク
1532  ディスプレイ
1533  入力デバイス
1534  出力デバイス
1535  記憶デバイス
1536  記憶メディア
1540  システムバス
【図１】
2013531934.tif 000003
【図２】
2013531934.tif 000004
【図３Ａ】
2013531934.tif 000005
【図３Ｂ】
2013531934.tif 000006
【図３Ｃ】
2013531934.tif 000007
【図３Ｄ】
2013531934.tif 000008
【図４】
2013531934.tif 000009
【図５】
2013531934.tif 000010
【図６】
2013531934.tif 000011
【図７】
2013531934.tif 000012
【図８】
2013531934.tif 000013
【図９】
2013531934.tif 000014
【図１０】
2013531934.tif 000015
【図１１Ａ−１１Ｂ】
2013531934.tif 000016
【図１１Ｃ】
2013531934.tif 000017
【図１２Ａ】
2013531934.tif 000018
【図１２Ｂ】
2013531934.tif 000019
【図１２Ｃ】
2013531934.tif 000020
【図１２Ｄ】
2013531934.tif 000021
【図１２Ｅ】
2013531934.tif 000022
【図１３Ａ】
2013531934.tif 000023
【図１３Ｂ】
2013531934.tif 000024
【図１３Ｃ】
2013531934.tif 000025
【図１３Ｄ】
2013531934.tif 000026
【図１４Ａ】
2013531934.tif 000027
【図１４Ｂ】
2013531934.tif 000028
【図１４Ｃ】
2013531934.tif 000029
【図１４Ｄ】
2013531934.tif 000030
【図１５】
2013531934.tif 000031
【国際調査報告】
2013531934.tif 000032