(57)【要約】  少なくとも第1および第2のエンドポイント間で、通信ネットワークを介して、視覚的情報をインタラクティブに共有し、注釈を付けるためのシステムおよび方法が、開示される。システムは、第1のエンドポイントに結合されたディスプレイと、第1のエンドポイントに結合され、ディスプレイに関連付けられたユーザインタラクション装置とを含み、第1のエンドポイントは、通信ネットワークを介して、少なくとも第2のエンドポイントから視覚的情報を受信し、少なくとも第2のエンドポイントに視覚的情報を送信し、少なくとも第2のエンドポイントから受信した視覚的情報を、ディスプレイ上に表示し、ユーザインタラクション装置によって指示された場合、ディスプレイ上に示された視覚的情報の複製を取得し、もしあれば、ユーザインタラクション装置によって指示されたように注釈を追加し、注釈付きの複製を、第2のエンドポイントに送信するように構成されている。
2014522538.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも第1および第2のエンドポイント間で、通信ネットワークを介して、視覚的情報をインタラクティブに共有し、注釈を付けるためのシステムであって、
前記第1のエンドポイントに結合されたディスプレイと、
前記第1のエンドポイントに結合され、前記ディスプレイに関連付けられたユーザインタラクション装置とを備え、
前記第1のエンドポイントは、
前記通信ネットワークを介して、前記少なくとも第2のエンドポイントから視覚的情報を受信し、前記少なくとも第2のエンドポイントに視覚的情報を送信し、
前記少なくとも第2のエンドポイントから受信した視覚的情報を、前記ディスプレイ上に表示し、
前記ユーザインタラクション装置によって指示された場合、前記ディスプレイ上に示された前記視覚的情報の複製を取得し、
もしあれば、前記ユーザインタラクション装置によって指示されたように注釈を追加し、
前記注釈付きの複製を、前記第2のエンドポイントに送信するように構成されている、システム。
【請求項２】
前記ユーザインタラクション装置は、人間位置検出装置を備える、請求項1に記載のシステム。
【請求項３】
前記視覚的情報は、圧縮されたデジタルビデオフォーマットで符号化される、請求項1に記載のシステム。
【請求項４】
前記通信ネットワークに結合されたサーバをさらに備え、前記サーバを介して、前記第1および第2のエンドポイントは、互いに通信する、請求項1に記載のシステム。
【請求項５】
前記第1のエンドポイントは、さらに、前記視覚的情報の前記送信された注釈付き複製を表示させるために、前記第2のエンドポイントにメッセージを送信するように構成されている、請求項1に記載のシステム。
【請求項６】
通信ネットワークを介して、視覚的情報をインタラクティブに共有し、注釈を付けるための方法であって、
第1のエンドポイントで、前記通信ネットワークを介して、第2のエンドポイントから視覚的情報を受信する、または、前記第2のエンドポイントに視覚的情報を送信するステップと、
前記第1のエンドポイントで、前記第2のエンドポイントから受信した視覚的情報を表示するステップと、
前記第1のエンドポイントに結合されたユーザインタラクション装置による指示を受信するステップの後、
前記視覚的情報の複製を取得するステップと、
前記ユーザインタラクション装置によって指示されるように任意の注釈を追加するステップと、
前記視覚的情報の前記注釈付き複製を、前記第2のエンドポイントに送信するステップとを含む、方法。
【請求項７】
前記ユーザインタラクション装置によって人間の位置を検出するステップをさらに含む、請求項6に記載の方法。
【請求項８】
前記視覚的情報をデジタルビデオ符号化フォーマットで圧縮するステップをさらに含む、請求項6に記載の方法。
【請求項９】
前記第2のエンドポイントから受信される、または前記第2のエンドポイントに送信される前記視覚的情報は、サーバを通過する、請求項6に記載の方法。
【請求項１０】
プロセッサに請求項6から9のいずれか一項に記載の方法を実行するように指示するための命令の組を含む、非一時的なコンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、参照によりその全体が本明細書に組み込まれている、2011年6月8日に出願した米国仮出願第61/494,697号の優先権を主張するものである。
【０００２】
開示される主題は、コンピュータの画面のコンテンツ、もしくはアプリケーションのウィンドウのコンテンツ、または任意の撮像装置の出力のような、コンテンツ共有を可能にするビデオ通信システムに関する。
【背景技術】
【０００３】
特定のビデオ通信アプリケーションは、「コンテンツ」の共有を可能にする。この単語は、参加者の1人のビデオストリームではない任意の視覚的コンテンツを指すことができる。例は、コンピュータの画面(画面全体(「デスクトップ」)もしくはその一部のいずれか)のコンテンツ、または、コンピュータのアプリケーションの1つがその出力を表示することができるウィンドウのコンテンツを含む。
【０００４】
いくつかのシステムは、このようなコンテンツを取り込むために、「書画カメラ」を使用した。このカメラは、テーブルまたは特別な平台型ホルダ上に置かれた文書を撮像し、すべてのセッション参加者に分配するための文書の画像を取り込むように配置される。現代のシステムでは、コンピュータが主要なビジネス通信ツールであり、書画カメラは、任意のVGAビデオ生成装置を接続することができるように、VGA入力に置き換えられる。高度なシステムでは、コンピュータは、VGAまたは他の中間アナログもしくはデジタルフォーマットに変換することなく、関連するコンテンツ素材をセッションに直接送信するように、ビデオ通信システムと直接インタフェースすることができる。
【０００５】
範囲の一端では、コンテンツ共有は、完全に受動的(「受動的コンテンツ共有」)であってよい。このシナリオでは、ビデオ通信システムは、コンテンツをどんな形であれ変更する機能を提供することなく、コンテンツを符号化し、参加者に送信するだけになる。コンテンツが、例えば、文書のページを共有するコンピュータによって駆動される場合、カーソル、ならびに、基本となるソフトウェアによって適用される任意の強調表示を表示することが可能であってよい。しかしながら、これは、画像として取り込まれ、すなわち、遠隔参加者にとって、カーソルを「引き継ぎ」、文書の遠隔編集を実行することは、不可能である、これは、多くのビデオ通信アプリケーションで使用されるモードである。
【０００６】
範囲の他端では、共有ホワイトボードのような、「能動的コンテンツ共有」と呼ばれることもある、分散コラボレーションアプリケーションが存在する。このシナリオでは、ユーザは、同期化された形式で、文書を共同編集し、見ることができる。このようなシステムを構築する上での複雑さは、著しく、特殊なプロトコルおよびアプリケーションを必要とする。多くの場合、ユーザは、自分の好きなアプリケーションを使用することができず、(典型的には洗練度の低い)特別なネットワーク対応プログラムを使用することを強いられる。したがって、ビデオ通信アプリケーションは、能動的ではなく、受動的なコンテンツ共有を使用している可能性がある。
【０００７】
参照によりその全体が本明細書に組み込まれているITU-T勧告H.323規格「Packet-based multimedia communications systems」を使用するもののような多地点制御装置(MCU)アーキテクチャに依存する特定のビデオ通信システムは、単一のコンテンツストリームもサポートすることができる。参照によりその全体が本明細書に組み込まれているITU-T勧告H.239、「Role management and additional media channels for H.3xx-series terminals」は、2つのビデオチャネルを単一のH.323セッションまたはコールでサポートできるようにするメカニズムを規定する。第1のチャネルは、参加者のビデオを搬送するために使用され、第2のチャネルは、PCグラフィックスプレゼンテーションまたはビデオを搬送するために使用される。多地点会議でのプレゼンテーションのために、H.239は、会議で1つのエンドポイントのみが、次にすべての会議参加者に分配される追加のビデオチャネルを送信することを保証するために、トークン手順を規定する。
【０００８】
H.323コールが接続されると、すべての接続されたエンドポイントおよびMCUのための機能の組を確立するために、ITU-T勧告H.245で定義されたシグナリングを使用することができる。機能の組が、H.239プレゼンテーションがサポートされていることの表示を含む場合、接続されたエンドポイントは、追加のビデオチャネルを開くことを選択することができる。最初に、エンドポイントは、MCUからのトークンを要求しなければならない。次に、MCUは、追加のビデオチャネルを現在送信している別のエンドポイントが存在するかどうかをチェックすることができる。MCUは、このエンドポイントに追加のビデオチャネルの送信を停止させるために、トークンメッセージを使用することになる。次に、MCUは、次に追加のビデオチャネルを送信し始めることができる第1のエンドポイントからのトークン要求を承認することになり、追加のビデオチャネルは、例として、XGA解像度のコンピュータのビデオ出力からの符号化されたビデオを含むことができる。2つのエンドポイントが、中間MCUなしに互いに直接接続される場合について、同様の手順を定義することができる。
【０００９】
従来のビデオ会議に使用される特定のビデオ通信システムは、エンドポイントのそれぞれについて単一のカメラおよび単一のディスプレイを含む。専用の会議室で使用するためのハイエンドシステムは、複数のモニタを特徴とすることができる。2番目のモニタは、多くの場合、コンテンツ共有専用である。このようなコンテンツが使用されない場合、あるモニタが、最も大きい声の話者を取り上げてよく、他方では、他のモニタは、残りの参加者の一部またはすべてを表示する。1つのモニタのみが利用可能な場合、いずれかのコンテンツをビデオ間で切り替えなければならず、または、画面を2つの間で分割しなければならない。
【００１０】
パーソナルコンピュータ(またはタブレットもしくは他の汎用計算装置)上で動作するビデオ通信システムは、典型的には、ビデオおよびコンテンツの両方を表示する方法に関してより柔軟性を有し、コンテンツ共有のソースになることもできる。実際に、コンピュータの画面の任意の部分は、コンテンツのソースとして示されてよく、基本となるソフトウェアアプリケーションのどのような知識もなしに、送信するために符号化されてよい(表示装置ドライバおよびオペレーティングシステムソフトウェアによって許可されるような「スクリーンダンプ」)。H.300シリーズの仕様によるような、固有のシステムアーキテクチャの制限は、2つのストリーム(1つのビデオおよび1つのコンテンツ)のみが許可される場合、それ以外の実行可能な動作シナリオ(複数のビデオストリームおよび複数のコンテンツストリーム)を禁止することができる。
【００１１】
いわゆる「テレプレゼンス」は、遠隔参加者と「同じ部屋にいる」感覚を伝えることができる。この目標を達成するために、これらのシステムは、複数のカメラならびに複数のディスプレイを利用することができる。ディスプレイおよびカメラは、アイコンタクトの感覚を与えることができるようにするために、慎重に計算された位置に配置される。いくつかのシステムは、3つのディスプレイ、左、中央、右を含むが、2つのみまたは3つより多くのディスプレイを有する構成も利用可能である。
【００１２】
ディスプレイを、会議室内の慎重に選択された位置に配置することができる。会議室のテーブル上の任意の物理的な位置からディスプレイのそれぞれを見ることは、遠隔参加者が室内に物理的に配置されているような錯覚を与えることになる。これを、表示される人物の正確なサイズを、対象が室内の知覚される位置に実際に存在していた場合に、その対象が有することになる予期される物理的サイズに一致させることによって、達成することができる。いくつかのシステムは、生きているような体験をさらに強化するために、家具、部屋の色、および照明まで一致させる。
【００１３】
有効であるためには、テレプレゼンスシステムは、非常に高い解像度を提供すべきであり、非常に短い待ち時間で動作すべきである。例えば、これらのシステムは、高精細度(HD)1080p/30解像度、すなわち、1秒あたり30フレームの1080水平ラインプログレッシブで動作することができる。待ち時間およびパケット損失をなくすために、それらは、専用のマルチメガビットネットワークも使用し、典型的には、二地点間またはスイッチド構成で動作する(すなわち、それらは、トランスコーディングを回避する)。
【００１４】
いくつかのビデオ会議システムは、各エンドポイントは、単一のカメラを備えていることを前提とするが、それらは、いくつかのディスプレイを備えることができる。
【００１５】
例えば、2モニタシステムでは、アクティブな話者を第1のモニタに表示することができ、他の参加者は、第2のモニタに、より小さいウィンドウのマトリックス内に表示される。「常駐」と呼ばれる1つのマトリックスレイアウトは、誰がアクティブな話者であるかに応じて切り替えるのではなく、参加者が画面上で連続的に存在することを可能にする。多数の参加者を有するセッションでは、マトリックスのサイズが使い果たされた(例えば、3×3マトリックスに関して9個のウィンドウ)場合、参加者は、最も長くアクティブでない音声の方針に基づいて、連続的な存在のマトリックスに入れられ、除去されてよい。レイアウトは、この場合にも同様に依然として「常駐」と呼ばれる。
【００１６】
常駐レイアウトと同様の構成は、優先話者レイアウトであり、1人(または、話者の小さな組)が、優先されるものとして指定され、他の参加者より大きい(例えば、2倍のサイズの)ウィンドウに表示される。
【００１７】
代わりの方法は、コンテンツ(例えば、コンピュータからのスライドプレゼンテーション)を表示するために、第2のモニタを使用し、参加者を表示するために、第1のモニタを使用することである。第1のモニタは、このとき、単一モニタシステムと同様に扱われる。第1のモニタは、同様に優先話者レイアウトを特徴とすることができる。この場合には、優先話者は、第1のモニタにより大きいサイズで、より小さいサイズの多数の他の参加者と共に表示され、他方では、コンテンツは、第2のモニタに表示される。
【００１８】
複数のカメラを特徴とするテレプレゼンスシステムは、各カメラがそれ自体のコーデックに割り当てられるように設計されてよい。3つのカメラおよび3つの画面を有するシステムは、このとき、各エンドポイントで符号化および復号化を実行するために、3つの別個のコーデックを使用することになる。これらのコーデックは、独自のシグナリング、または既存のプロトコルに対する独自のシグナリング拡張を使用して、遠隔サイト上の3つの対応コーデックへの接続を行うことになる。
【００１９】
3つのコーデックは、典型的には、「左」、「右」、および「中央」として識別される。この文書では、このような位置的参照は、システムのユーザの視点から行われ、この文脈での左は、カメラの前に座っており、システムを使用しているユーザの左手側である。オーディオ、例えば、ステレオは、中央コーデックによって処理されてよい。3つのビデオ画面に加えて、テレプレゼンスシステムは、プレゼンテーションのようなコンピュータ関連のコンテンツを表示するために、第4の画面を含むことができる。これを、「コンテンツ」または「データ」ストリームと呼ぶことができる。
【００２０】
図1は、市販のレガシテレプレゼンスシステム(Polycom TPX 306M)のアーキテクチャを示す。システムは、3つの画面(プラズマまたはリアスクリーンプロジェクション)および3つのHDカメラを特徴とする。各HDカメラは、HDXの従来の(単一ストリーム)ビデオ会議システムによって提供されるコーデックと対になっている。コーデックの1つは、第1の、とラベル付けされる。HDカメラとコーデックの対角のペアリングに留意されたい。これは、正しい視点が遠隔サイト上の視聴者に提供されるようにするためである。
【００２１】
第1のコーデックは、オーディオ処理を担う。ここで、システムは、複数のマイクロホンを有するように示され、複数のマイクロホンは、第1のコーデックによって符号化される単一の信号に混合される。コンテンツを表示するために、第4の画面も存在する。システム全体は、コントローラ、とラベル付けされる特別な装置によって管理される。遠隔サイトとの接続を確立するために、このシステムは、3つの別々のH.323コールを、各コーデックに対して1つ実行する。これは、既存のITU-T標準が、多カメラコールの確立を許可しないためである。このアーキテクチャは、セッション確立および制御のための標準ベースのシグナリングを使用する特定のテレプレゼンス製品の典型である。TIPプロトコルの使用は、単一の接続によるシステム動作を可能にし、4つのビデオストリームおよび4つのオーディオストリームまでを、2つのRTPセッション(オーディオ用の1つおよびビデオ用の1つ)を介して搬送することを可能にすることになる。
【００２２】
図1を参照すると、コンテンツは、第1のコーデックによって処理される(コンテンツ表示は、第1のコーデックに接続されることに留意されたい)。第1のコーデックは、コンテンツ表示を管理するために、H.239シグナリングを使用することになる。レガシ、非テレプレゼンス、2モニタシステムが、本質的には、テレプレゼンスシステムの第1のコーデックと同様に構成される。
【００２３】
テレプレゼンスシステムは、従来のビデオ会議システムと比較して、固有の課題を提起する。1つの課題は、このようなシステムが複数のビデオストリームを処理することができるべきということである。典型的なビデオ会議システムは、単一のビデオストリームと、任意に、コンテンツのための追加の「データ」ストリームとを処理するだけである。複数の参加者が存在する場合であっても、多地点制御装置(MCU)は、単一のフレーム内で複数の参加者を合成し、符号化されたフレームを受信エンドポイントに送信することを担う。特定のシステムは、異なる方法でこれに対処する。1つの方法は、ビデオカメラが存在するのと同じくらい多くの接続を確立することであり、例えば、3カメラシステムについて、3つの別々の接続が確立され、これらの別々のストリームを、つまり同じ場所からくるものとして単位として適切に処理するために、メカニズムが提供される。
【００２４】
第2の方法は、既存のシグナリングプロトコルの拡張を使用すること、または、テレプレゼンス相互運用性プロトコル(TIP)のような新しいプロトコルを使用することである。TIPは、現在、国際マルチメディアテレコミュニケーションズコンソーシアム(IMTC)によって管理され、仕様は、郵便番号94583米国カリフォルニア州サンラモン、カミノラモン2400番地、375号室のIMTCから、または、ウェブサイトhttp://www.imtc.org tipから得ることができる。TIPは、複数のオーディオおよびビデオストリームを、単一のRTP(リアルタイムプロトコル、RFC3550)接続を介して転送することを可能にする。TIPは、独自のRTCP(RTPの一部としてRFC3550で定義されたリアルタイム制御プロトコル)メッセージを使用して、同じRTPセッション内で4つまでのビデオまたはオーディオストリームの多重化を可能にする。4つのビデオストリームを、3つまでのビデオストリームおよび1つのコンテンツストリームのために使用することができる。
【００２５】
従来のシステム構成ならびにテレプレゼンスシステム構成の両方では、コンテンツの取り扱いは、このように単純化される。そのスイッチングおよびトランスコーディング構成の両方に、MCUアーキテクチャの固有の制限が存在する。トランスコーディング構成は、品質の低下に加えて、カスケード化された復号化および符号化による遅延を導入し、したがって、高品質な体験に問題がある。他方では、スイッチングは、異なる数の画面を有するシステム間で使用される場合などに、面倒になる可能性がある。
【００２６】
スケーラブルビデオ符号化(「SVC」)、特定のデジタルビデオアプリケーションで使用される周知のビデオ符号化規格H.264の拡張は、インタラクティブビデオ通信に有効であることが証明されているビデオ符号化技法である。ビットストリーム構文および復号化プロセスは、ITU-T勧告H.264で公式に指定されており、具体的には、参照によりその全体が本明細書に組み込まれているAnnex G. ITU-T勧告H.264を、郵便番号1120、スイス、ジュネーブ、パレデナシオン、国際電気通信連合から、または、ウェブサイトwww.itu.intから得ることができる。RTPを介する転送のためのSVCのパケット化は、参照によりその全体が本明細書に組み込まれている、ウェブサイトhttp://www.ietf.orgのインターネットエンジニアリングタスクフォース(IETF)から利用可能な、RFC6190、「RTP payload format for Scalable Video Coding」で定義されている。
【００２７】
スケーラブルビデオおよびオーディオ符号化は、いわゆるスケーラブルビデオ符号化サーバ(SVCS)アーキテクチャを使用して、ビデオおよびオーディオ通信に使用されてきた。SVCSは、ビデオおよびオーディオ通信サーバの一種であり、両方とも参照によりその全体が本明細書に組み込まれている本発明の譲受人に譲渡された米国特許第7,593,032号、「System and Method for a Conference Server Architecture for Low Delay and Distributed Conferencing Applications」、ならびに、本発明の譲受人に譲渡された国際特許出願番号PCT/US06/62569、「System and Method for Videoconferencing using Scalable Video Coding and Compositing Scalable Video Servers」に記載されている。それは、高い堅牢性および低遅延を有する高品質なビデオ通信を可能にするアーキテクチャを提供する。
【００２８】
すべて参照によりその全体が本明細書に組み込まれている本発明の譲受人に譲渡された国際特許出願番号PCT/US06/061815、「Systems and methods for error resilience and random access in video communication systems」、PCT/US07/63335、「System and method for providing error resilience, random access, and rate control in scalable video communications」、PCT/US08/50640、「Improved systems and methods for error resilience in video communication systems」は、さらに、誤り耐性およびレート制御のような多数の特徴を、SVCSアーキテクチャの使用を通じて提供するメカニズムを記載している。
【００２９】
一例では、SVCS動作は、スケーラブルビデオを送信エンドポイントから受信すること、および、そのビデオの層を受信参加者に選択的に転送することを含む。多地点構成では、およびMCUに反して、この例示的なSVCSは、復号化/合成/再符号化を実行しない。代わりに、すべてのビデオストリームからのすべての適切な層を、SVCSによって各受信エンドポイントに送信することができ、各受信エンドポイントは、それ自身、最終的な表示のための合成を実行することを担う。これは、各送信エンドポイントからのビデオは、個別のストリームとして受信エンドポイントに送信されるため、SVCSシステムアーキテクチャでは、すべてのエンドポイントは、複数のストリームをサポートすることができることを意味することに留意されたい。もちろん、異なるストリームを、同じRTPセッションを介して送信する(すなわち、多重化する)ことができるが、エンドポイントは、複数のビデオストリームを受信し、デコードし、表示のためにそれらを合成するように構成されるべきである。これは、複数のストリームを処理する柔軟性の点で、SVC/SVCSベースのシステムにとって重要な利点である。
【００３０】
SVC/SVCSアーキテクチャを使用するシステムでは、コンテンツ共有は、以下のように機能することができる。パーソナルコンピュータ上で動作するエンドポイントアプリケーションのユーザインタフェースは、ユーザが、他の参加者と共有するための任意の既存のアプリケーションウィンドウを選択することを可能にすることができる。このようなウィンドウが選択されると、それは、他のユーザのユーザインタフェースで利用可能な「共有」のリストに現れることができる。共有がそれらのウィンドウに現在示されていない場合、それらに新しい共有を知らせるために、新たに導入された共有を、メインアプリケーションウィンドウ内の「優先ビュー」(すなわち、より大きいサイズのビュー)に、セッション参加者のビデオと一緒に(すなわち、ビデオ参加者と同じように)表示することができる。このビューのサイズは、小さくてよく、いずれにしても、典型的なアプリケーションウィンドウのサイズより小さくてよいため、ユーザは、ビューがそれ自身のウィンドウ内に「ポップアウト」し、したがって、ユーザがビューのサイズを自由に変更することを可能にするように、ビューをダブルクリックすることができる。2つのモニタを有する部屋ベースのシステムでは、コンテンツを、それ自身のモニタに表示することができ、1つのモニタのみが利用可能な場合、画面を、ビデオウィンドウおよびコンテンツウィンドウ間で分割することができる。
【００３１】
共有コンテンツが1人または複数の参加者によって見られる場合、発信元エンドポイントは、任意の他のビデオソースに行うのと同様に、コンテンツを符号化し、送信することができる。もちろん、ビデオ符号化および復号化は、コンピュータ生成画像の特定の特徴に適応するために、異なってよいが、システムの観点から、コンテンツストリームは、任意の他のビデオストリームとして扱われる。同じビデオエンコーダを、コンテンツに同様に使用することができるが、異なるチューニングおよび最適化設定(例えば、より低いフレームレート、より細かい量子化によるより高い空間分解能、など)であることに留意されたい。システムは、エンドポイントごとに複数のコンテンツ共有をサポートすることができる。複数のアクティブコンテンツ共有を有することがエンドユーザを混乱させる可能性があるが、システムアーキテクチャは、それをサポートすることができる。SVCSアーキテクチャの固有の多ストリームサポートは、ビデオの自然な拡張を扱うコンテンツを形成する。
【００３２】
参照によりその全体が本明細書に組み込まれている本発明の譲受人に譲渡された国際特許出願番号PCT/US11/038003「Systems and Methods for Scalable Video Communication using Multiple Cameras and Multiple Monitors」は、複数のカメラおよび複数のモニタによるスケーラブルビデオ符号化を使用するビデオ通信のためのシステムおよび方法を記載している。この場合には、アーキテクチャは、特定のエンドポイントのための複数のビデオディスプレイ、およびおそらくは複数のソースを含むように拡張される。
【発明の概要】
【発明が解決しようとする課題】
【００３３】
実施の複雑さを不利に増すことなく、または、基本となるシステムアーキテクチャを根本的に変えることなく、ユーザが、コンテンツとの改善された相互作用を有することができるように、コンテンツを処理する方法を改善することが望ましい可能性がある。
【課題を解決するための手段】
【００３４】
ビデオ通信システムでインタラクティブコンテンツを共有するためのシステムおよび方法が、本明細書で開示される。本発明の一実施形態では、エンドポイントのユーザは、特定の画像もしくはビデオまたは共有コンテンツを取り込み、ユーザ自身のコンテンツ共有を開始することができる。別の実施形態では、ユーザは、注釈付きの取り込まれた画像が、他のセッション参加者と共有されるように、ユーザ自身のエンドポイント上で適切なソフトウェアを使用して、取り込まれた画像に注釈を付けることもできる。さらに別の実施形態では、注釈ソフトウェアは、エンドユーザが、注釈付きの画像の異なるバージョンを保存し、どれを他のセッション参加者と共有するかを選択することを可能にすることができる。別の実施形態では、インタラクティブ共有のトリガは、コンテンツ画面またはホワイトボードの前のユーザの検出であってよい。
【図面の簡単な説明】
【００３５】
【図１】例示的な商用テレプレゼンスシステム(従来技術)のアーキテクチャを示す。
【図２】開示された主題の1つまたは複数の実施形態によるスケーラブルビデオ(およびオーディオ)符号化を使用する例示的なオーディオおよびビデオ通信システムのアーキテクチャを示す。
【図３】開示された主題の1つまたは複数の実施形態による例示的なSVCSシステムのアーキテクチャおよび動作を示す。
【図４】開示された主題の1つまたは複数の実施形態によるSVC符号化のための例示的な空間的および時間的予測符号化構造を示す。
【図５】開示された主題の1つまたは複数の実施形態によるスケーラブルビデオの時空間的層の例示的なSVCS処理を示す。
【図６Ａ】開示された主題の1つまたは複数の実施形態による、コンテンツウィンドウのドッキング、ドッキング解除、および選択に関連するユーザインタフェースを示す。
【図６Ｂ】開示された主題の1つまたは複数の実施形態による、コンテンツウィンドウのドッキング、ドッキング解除、および選択に関連するユーザインタフェースを示す。
【図６Ｃ】開示された主題の1つまたは複数の実施形態による、コンテンツウィンドウのドッキング、ドッキング解除、および選択に関連するユーザインタフェースを示す。
【図６Ｄ】開示された主題の1つまたは複数の実施形態による、コンテンツウィンドウのドッキング、ドッキング解除、および選択に関連するユーザインタフェースを示す。
【図７】開示された主題の1つまたは複数の実施形態による、インタラクティブコンテンツ共有ノードユニットを有するエンドポイントのアーキテクチャを示す。
【図８】開示された主題の1つまたは複数の実施形態による、例示的なインタラクティブコンテンツ共有システムを示す。
【図９Ａ】開示された主題の1つまたは複数の実施形態による、「掴む」、「描画」、および共有のプロセスを示す。
【図９Ｂ】開示された主題の1つまたは複数の実施形態による、「掴む」、「描画」、および共有のプロセスを示す。
【図９Ｃ】開示された主題の1つまたは複数の実施形態による、「掴む」、「描画」、および共有のプロセスを示す。
【図９Ｄ】開示された主題の1つまたは複数の実施形態による、「掴む」、「描画」、および共有のプロセスを示す。
【図１０】開示された主題の1つまたは複数の実施形態を実施するための例示的なコンピュータシステムを示す。
【発明を実施するための形態】
【００３６】
図面全体を通じて、同じ参照番号および文字は、特に断りのない限り、図示の実施形態の同様の特徴、要素、構成要素、または部分を示すために使用される。さらに、開示された主題は、図面を参照して本明細書に詳細に説明されるが、それは、例示的な実施形態に関連するように行われる。
【００３７】
本開示は、コラボレーションシステムを説明する。本開示の例示的な一実施形態では、コラボレーションシステムは、H.264 SVCを使用するビデオ通信システムと一体化され、SVCSの概念(上記で引用した米国特許第7,593,032号を参照)に基づく。しかしながら、同じコラボレーションシステムを、テレプレゼンスシステムを含むレガシシステムで使用することができる。
【００３８】
図2は、例示的な一実施形態による、1つまたは複数のサーバが、ビデオおよびオーディオストリームを、ネットワーク202を介して受信機201に提供することができるSVCSシステムの例示的なシステムアーキテクチャ200を示す。図2は、2つのこのようなサーバを示し、サーバ1 210はストリーム1を提供し、サーバ2 220は、2つのストリーム、ストリーム2およびストリーム3を提供する。サーバ1 210およびサーバ2 220は、他の参加者(送信機221のような)から受信したデータを受信機に転送するスケーラブルビデオ通信サーバ(SVCS)システムおよび/またはスケーラブルオーディオ通信サーバ(SACS)システムであってよく、または、これらは、独立型メディアサーバ(例えば、記憶装置からのコンテンツにアクセスする)であってよい。ここで、「参加者」は、符号化のみを実行するユニットのような送信のみのシステム(例えば、ライブTV信号を符号化し、送信するシステム)であってよいことに留意されたい。図は、別個の送信機および受信機を示すが、システムは、両方の役割を同時に行うことができ、すなわち、これらは、情報の送信および受信の両方を行うことができる。
【００３９】
開示された主題の一実施形態は、ビデオ信号を符号化するための周知の市販のH.264規格を使用し、オーディオSpeex用のSpeexスケーラブルコーデックは、オープンソースのオーディオ圧縮フォーマットであり、仕様は、http://www.speex.orgのSpeexウェブサイトで利用可能である。いくつかのストリームを、単一層AVCを使用して符号化することができ、いくつかの他のストリームを、スケーラブル拡張SVCを使用して符号化することができる。同様に、いくつかのSpeexオーディオストリームは、狭帯域データ(8kHz)のみを含むことができ、他のSpeexオーディオストリームは、狭帯域、ならびに、または別に、広帯域(16kHz)もしくは超広帯域(32kHz)オーディオを含むことができる。ビデオ用のMPEG-4/パート2もしくはH.263++、またはオーディオ用のG.729.1(EV)のような代わりのスケーラブルコーデックが使用されてよい。ネットワーク202は、任意のパケットベースのネットワークであってよく、例えば、インターネットのようなIPベースのネットワークであってよい。
【００４０】
例示的な一実施形態では、受信機201および送信機221は、ソフトウェアアプリケーションを実行する、PCまたはアップルコンピュータ、デスクトップ、ラップトップ、タブレット等のような汎用コンピュータである。これらは、例えば、商用オペレーティングシステムの埋込みバージョンを使用する、単一のソフトウェアアプリケーションのみを実行するように設計された専用コンピュータであってもよく、または、受信アプリケーションおよび送信アプリケーションの機能をそれぞれ実行するように設計された独立型装置であってもよい。受信ソフトウェアアプリケーションは、接続を確立するためのサーバと通信すること、ならびに、受信されたビデオストリーム、コンテンツストリーム、および/またはオーディオストリームを受信、復号化、および表示もしくは再生することを担うことができる。送信アプリケーション、または送信機かつ受信機であるシステム用の同様な受信アプリケーションは、それ自身の符号化されたビデオストリーム、コンテンツストリームおよび/またはオーディオストリームをサーバに送信して戻すこともできる。
【００４１】
送信されたストリームは、送信機221に取り付けられたカメラおよびマイクロホンの出力のリアルタイム符号化の結果であってよく、または、これらは、送信機211に局所的に格納された、もしくは、送信機221からネットワーク202を介してアクセス可能な、もしくは送信機211に直接取り付けられたファイルサーバに局所的に格納された、事前に符号化されたビデオおよびオーディオであってよい。コンテンツストリームに関して、ソース材料は、コンピュータ画面から、中間アナログもしくはデジタルフォーマット(VGA)を介して直接得られてよく、または、文書または他のカメラによって製作されてよい。視覚的コンテンツを得る他の手段も、当業者が認識するように可能である。
【００４２】
一実施形態では、送信機221は、接続されたカメラおよびマイクロホンが搭載され、生成されたビデオおよびオーディオ信号を符号化し、ストリーム2を介してサーバ2 220を経て他の参加者に送信する。送信機221は、同じストリーム2を介してサーバ220に同様に送信される1つまたは複数のコンテンツストリームも生成する。1つのサーバが、送信機から受信機までの経路中に存在するように示されているが、1つより多くのサーバが存在することが可能である。また、すべての種類のコンテンツが単一のストリームを介して送信(多重化)されてよいが、各種類のコンテンツが、それ自身のストリーム、または、実際には、ネットワーク(例えば、有線および無線)を介して送信されることも、もちろん可能である。
【００４３】
SVCSアーキテクチャによれば、受信機は、サーバから受信した復号化されたビデオストリーム(ならびに、任意のコンテンツストリーム)を、そのディスプレイ上に構成することができ、復号化されたオーディオストリームを、ミキシングおよび再生することもできる。トランスコーディングMCUのような従来の多地点ビデオサーバは、サーバ自身でこの機能を、すべての受信参加者について一度、または、各受信参加者について別々に一度実行することができることに留意されたい。
【００４４】
サーバ210および220の動作を、図3でさらに詳述する。図3は、3つの送信参加者送信機1 331、送信機2 332、および送信機3 333、サーバ(SVCS)320、ならびに受信機310を含む例示的なシステム300を示す。特定の構成は、単なる例であり、受信機は、同時に送信機であってよく、逆もまた同様である。さらに、より多くの、またはより少ない送信機、受信機、またはサーバが存在してよい。
【００４５】
開示された主題の一実施形態では、スケーラブル符号化が、ビデオ信号、コンテンツ信号、およびオーディオ信号に使用される。ビデオ信号およびコンテンツ信号は、時間スケーラビリティの3つの層および空間スケーラビリティの2つの層で、基本層および拡張層(例えば、VGAおよびQVGA)間の水平または垂直画像寸法間の2の比で、H.264 SVCを使用して符号化される。
【００４６】
送信機331、332、および333のそれぞれを、サーバ320に接続することができ、それを通じて、1つまたは複数のメディアストリーム、オーディオ、ビデオ、またはコンテンツを送信することができる。各送信機331、332、および333は、サーバ320とのシグナリング接続(「SIG」とラベル付けされている)を有することもできる。各接続でのストリームは、1)信号の種類、オーディオに対してA、ビデオに対してV、コンテンツに対してC、2)各ストリーム中に存在する層、基本に対してB、拡張に対してE、に従ってラベル付けされている。この特定の例では、送信機1 331からサーバ320に送信されるストリームは、基本層および拡張層の両方を有するオーディオストリーム(「A/B+E」)、ならびに、再び基本層および拡張層の両方を有するビデオストリーム(「V/B+E」)を含む。送信機3 333に関して、ストリームは、基本層のみを有するオーディオおよびビデオ(「A/B」および「V/B」)、ならびに、基本層および拡張層の両方を有するコンテンツ(「C/B+E」)を有するストリームを含む。
【００４７】
サーバ320を、受信機310に接続することができ、それを通じて、サーバ320によって受信することができる異なるストリームからの異なる層のパケットが、受信機310に選択的に転送される。サーバ320および受信機310間に単一の接続が存在してよいが、当業者は、異なるストリームを、異なる接続(異なる種類のネットワークを含む)を介して送信することができることを認識するであろう。加えて、このような要素間に直接接続がある必要はない(介在要素が存在してよい)。
【００４８】
図3は、サーバ320から受信機310に送信されるストリームの3つの異なるセット(301、302、303)を示す。例示的な一実施形態では、各セットは、サーバ320が対応する送信機から受信機310に転送する層またはメディアのサブセットに対応し、各送信機の番号がラベル付けされる。例えば、セット301は、送信機1 331からの層を含むことができ、番号1がラベル付けされる。ラベルは、存在する特定の層(または、まったく存在しないコンテンツに対するダッシュ)も含む。一例として、セット301は、「1:A/B+E,V/B+E」とラベル付けされて、これらが送信機1 331からのストリームであること、ならびに、基本層および拡張層の両方がビデオおよびオーディオの両方に関して含まれることを示す。同様に、セット303は、「3:A/-,V/B,C/B+E」とラベル付けされて、これが送信機3 333からのコンテンツであること、ならびに、オーディオがなく、ビデオに関しては基本層のみ、コンテンツに関しては基本層および拡張層の両方が存在することを示す。
【００４９】
図3への参照を続け、送信機331、332、および333のそれぞれは、ゼロ以上のメディア(ビデオ、オーディオ、コンテンツ)を、基本層または基本層プラス拡張層の組み合わせを使用して、サーバ320に送信することができる。層およびメディアの具体的な選択は、いくつかの要因に依存する。例えば、送信側がアクティブな話者ではない場合、オーディオが送信機によって送信されない場合が最善である可能性がある。同様に、参加者が低解像度で表示されている場合、その特定の参加者の空間的拡張層を送信する必要はない可能性がある。ネットワークビットレートの可用性が、特定の層およびメディアの組み合わせの選択を規定する可能性もある。これらおよび他の基準を、サーバ320によって、(特定のメディアの層に対応する)どのパケットを受信機320に選択的に転送するかを決定するために使用することもできる。これらの基準を、受信機310とサーバ320の間で、または、サーバ320と送信機331、332、333のうちの1つとの間で、適切なシグナリング(図3の「SIG」)チャネル(例えば、304)を介して通信することができる。
【００５０】
開示された主題の一実施形態の時空間的画像予測構造を、図4に示す。文字「B」は、基本層画像を示し、文字「S」は、空間的拡張層画像を示す。文字の次の数字は、時間的層、0〜2を示す。例えば、(層間予測を使用しない場合の)同時送信のような極端な場合を含む、他のスケーラビリティ構造を使用することもできる。同様に、オーディオ信号は、2層のスケーラビリティ、狭帯域(基本)および広帯域(拡張)で符号化される。スケーラブル符号化が、いくつかの実施形態では想定されているが、開示された主題は、単一層符号化を使用するレガシなものを含む、任意のビデオ会議システムで使用されてよい。
【００５１】
図5は、図4の時空間的画像予測構造に存在する異なる層を、例示的な実施形態でSVCSによってどのように処理することができるかを示す。図5は、SVCS590に送信される図4の時空間的画像予測構造510を有するスケーラブルビデオストリームを示す。SVCS590は、3つの異なるエンドポイント(図示せず)に接続されてよい。3つのエンドポイントは、それらが処理することができる画像解像度およびフレームレートの点で異なる要求を有してよく、高解像度/高フレームレート520、高解像度/低フレームレート530、および低解像度/高フレームレート540の構成で区別されてよい。図5は、高解像度/高フレームレートのエンドポイントのために、システムは、すべての層を送信することを示し、構造は、SVCS590の入力に提供されるものと同一であってよい。高解像度/低フレームレート構成530について、SVCS590は、時間的層2の画像(B2およびS2)を除去している。最後に、低解像度/高フレームレート構成540について、SVCS590は、すべての「S」層(S0、S1、およびS2)を除去している。これは、単に一例であり、もちろん、異なる構成および異なる選択基準が可能である。
【００５２】
前述のように、SVCSシステムアーキテクチャは、各システム構成要素が、各種類の複数のストリームを処理することができなければならないため、本質的に多ストリームである。重要なことに、実際のビデオの合成およびオーディオのミキシングは、典型的には、受信機で生じる。図3を参照して、ビデオおよびコンテンツの合成は、受信機310で生じることができる。図は、受信機310に取り付けられた単一のディスプレイ312を示す。この特定の例では、システムは、入力のビデオおよびコンテンツストリームを、「優先ビュー」レイアウトを使用して構成し、「優先ビュー」レイアウトでは、送信機3 333からのコンテンツストリームは、(送信機3からのコンテンツであり、基本層および拡張層の両方を含むことを示すために、「3:C/B+E」とラベル付けされた)より大きいウィンドウに表示され、3つの送信機(1、2、および3)のすべてからのビットストリームは、基本層のみが使用されることを示す「1:V/B」、「2:V/B」、「3:V/B」とラベル付けされたより小さいウィンドウに表示される。
【００５３】
特定のレイアウトは、単なる例である。2モニタシステムでは、例えば、受信機310は、それ自身のその2つのモニタの一方にコンテンツストリームを表示することができ、ビデオウィンドウは、他方のモニタに表示される。参照によりその全体が本明細書に組み込まれている本発明の譲受人に譲渡された国際特許出願番号PCT/US09/36701、「System and method for improved view layout management in scalable video and audio communication systems」は、レイアウト管理のための追加のシステムおよび方法を記載している。上記で引用した国際特許出願番号PCT/US 11/038003、「Systems and Methods for Scalable Video Communication using Multiple Cameras and Multiple Monitors」は、多モニタ、多カメラシステムに具体的に対処する追加のレイアウト管理技法を記載している。
【００５４】
ここで、コンテンツ共有を実行するためのプロセスの例示的な実施形態を説明する。具体的には、パーソナルコンピュータ上で動作するエンドポイントソフトウェアが1つまたは複数のアプリケーションウィンドウズを共有することを可能にすることによって、コンテンツ共有を実行する能力を含む、例示的なシステムを説明する。
【００５５】
図6は、一実施形態でのコンテンツ共有のプロセスを示す。ユーザは、4人の参加者とのビデオ会議の一部であると仮定する。エンドポイントを実現するソフトウェアの例示的なユーザインタフェースを、図6Aに示す。各参加者に1つ、4つのビデオウィンドウが表示されていることに留意されたい。ここで、参加者の1人が、アプリケーションウィンドウ、すなわち、その参加者のコンピュータ上で現在実行されているアプリケーションのウィンドウの共有を開始すると仮定する。これを、図6B中に矢印で示される「共有」選択ボタンを押すことによって成し遂げることができる。ボタンは、ホストコンピュータのオペレーティングシステムによって報告されるような現在利用可能なすべてのウィンドウを一覧表示するドロップダウンメニュー(図には示さず)として作用することができる。これらのウィンドウの1つが共有のために選択された場合、共有をアクティブにすることができ、ボタンは、共有がアクティブであることを示すために、灰色から緑に変わることができる。
【００５６】
共有がアクティブ化されると、すべての参加者は、共有コンテンツを表示する追加のコンテンツウィンドウの受信を開始することができる。これを図6Bに示し、この図では、5人の参加者に加えて、6番目のウィンドウが、アプリケーションウィンドウを示す下部中央位置に存在する。システムレベルの観点から、システムを介するこのコンテンツの送信は、オーディオまたはビデオと異ならないが、もちろん、その解像度、フレームレート、ならびに、符号化および復号化プロセスの詳細は、異なってよい。我々は、コンテンツウィンドウは、文字および他の小さいサイズの特徴を閲覧するには小さすぎる可能性があることに気づいている。例示的なインタフェースは、図6Cに示すようなそれ自身の別個のウィンドウ内に「ポップアウト」するように、ユーザがコンテンツビューをダブルクリックすることができるようにすることができる。ここで、コンテンツビューは、それ自身のウィンドウであり、したがって、別々に自由に大きさを変更することができるのに対し、メインのビデオ会議アプリケーションウィンドウは、5つのビデオビューを表示するだけである。
【００５７】
ユーザは、同時にアプリケーションウィンドウを共有することができ、ユーザは、実際に、1つより多くのウィンドウを共有することができるため、ユーザが見たい共有を選択するように、メカニズムを提供することができる。図6Dに示すように、これを、例示的なシステムで、「トグル」ボタンを介して実行することができる。押されると、ボタンは、共有を利用可能にしているユーザの名前を含む、利用可能な共有のリストを有するドロップダウンメニューを表示することができる。一番上の項目は、共有ウィンドウを表示すべきではないことを示す「なし」であってよい。
【００５８】
様々な実施形態の相互作用の詳細の説明から明らかになるであろう理由のため、本開示を、「掴むおよび描画」と呼ぶことができる。
【００５９】
システムは、とりわけ、以下の主な特徴を提供するように設計される。
【００６０】
i)共有コンテンツとの動的相互作用を可能にすることによって、人々が実際の会議中ですることに従う。
【００６１】
ii)デスクトップビデオ会議ソリューションと相互運用できる。
【００６２】
iii)(おそらくはゲートウェイ装置を介して)レガシシステムと相互運用できる。
【００６３】
開示された主題の一実施形態では、コラボレーションシステムは、コンテンツ共有のみの(すなわち、接続されたカメラまたはマイクロホンがない)ビデオ会議クライアントを実行するタッチスクリーンオールインワン(AIO)パーソナルコンピュータを使用することができる。タッチスクリーンディスプレイは、ホワイトボードとして作用することができる。通常動作中、ビデオ会議ソフトウェアが行う通常の方法で、会議のデータ共有を表示することができる。先に説明したように、これを、発信元の参加者で、コンピュータ画面のウィンドウを符号化し、すべての他の参加者に通常のビデオストリームのように分配することによって達成することができる。本開示の別の実施形態では、コンテンツ共有ウィンドウは、H.239クライアント、または任意の他の視覚的通信プロトコルに由来してよい。タッチスクリーン上に表示される画像は、1つまたは複数の参加者を示す通常のビデオストリームであることも可能である。
【００６４】
しかしながら、本開示のタッチスクリーンは、ユーザが、実際に歩いて行って画面に触ることを可能にする、したがって、画像を「掴む」ことを可能にする。そうするとき、システムは、共有ウィンドウに現在表示されているコンテンツのスナップショットを取得し、新しい共有を作成する。本開示の一実施形態では、新しい共有は、ホワイトボードアプリケーションを特徴とするウィンドウに表示され、ホワイトボードアプリケーションを介して、ユーザは、スナップショット画像に注釈を付けることができる。本開示の一実施形態では、ホワイトボード注釈は、パレットから異なる色を選択すること、スナップショット上に描画すること、または、すべての注釈を消去することを含むことができる。
【００６５】
ホワイトボードの相互作用が開始するスナップショット画像は、相手先によって以前に共有された画像である。任意の注釈を含むホワイトボード画像は、任意の他のウィンドウ共有として、他のセッション参加者と共有される。
【００６６】
本開示の上記の例示的な実施形態では、ホワイトボードアプリケーションは、分散された方法では動作せず、「掴む」を行うユーザのみが、ホワイトボード上の画像に注釈を付けていることに留意されたい。さらに、すべての他の参加者は、任意の他の共有を行うように、注釈付きの画像をホワイトボードから受信する。すなわち、彼らは、特別なまたは追加のソフトウェアを何も必要とせず、実際には、改善されたコンテンツ共有機能が装備されないシステムでさえ、注釈付きのホワイトボードを問題なく表示することができる(下位互換性)。
【００６７】
ホワイトボード画像を受信し、「掴むおよび描画」の改善されたコンテンツ共有機能が備わる他のユーザは、自分自身、画像を「掴む」ことができ、自分たちだけでコンテンツを追加することができるであろう。
【００６８】
本開示のいくつかの実施形態では、「掴む」動作を、タッチスクリーンを介して実行することができ、他の実施形態では、マウスのような適切なポインティングデバイスを介して実行することができる。当業者に明らかであるように、タブレット、タッチパッド、3Dポインティングデバイス、などを含む他のユーザインタフェース制御装置を使用することができる。
【００６９】
本開示は、ビデオ通信システムの既存の構成要素が、改善されたコンテンツ共有機能によって影響されないという利点を有する。設計は、このように、既存のシステムとの下位互換性を提供する。
【００７０】
分散型ソリューションに相違して、本開示では、アプリケーションは、遠隔マウスおよびキーボードコマンドを遠隔アプリケーションに送信する必要はない。このようなアプリケーションは、非インタラクティブ(高遅延のため)で、使用しづらい傾向がある。本開示では、ホワイトボードアプリケーション上の描画動作は、局所的に行われる。
【００７１】
本開示のいくつかの実施形態では、描画が実行される装置は、ビデオ通信の残りの部分が生じるのと同じ装置でなくてよい。これは、先に引用した本発明の譲受人に譲渡された国際特許出願番号PCT/US11/038003に記載されているような制御ユニットおよび1つまたは複数のノードユニットを特徴とする多カメラ/多モニタシステムでの場合である。改善されたインタラクティブコンテンツ共有アプリケーションは、マウスのような適切なポインティングデバイス、または、タッチスクリーンのような内蔵ポインティングデバイスを備えたノードユニットであってよい。制御ユニットおよびノードユニットを、後により詳細に説明する。
【００７２】
本開示のいくつかの実施形態では、一旦ユーザが画像を「掴む」と、すべてのエンドポイントで「強制共有」を可能にするように、エンドポイントを修正することができる。この場合、すべてのユーザは、コンテンツ共有エンドポイントから始まり、サーバを介して、受信エンドポイントへの適切なシグナリングによる指示により、特定の共有を見ることを強制される。
【００７３】
本開示のいくつかの実施形態では、トリガ(「掴む」)は、「掴む」ボタンをクリックすること以外のユーザのジェスチャであるように、「掴むおよび描画」概念を適用することができる。例えば、カメラに、ホワイトボード領域に焦点を合わせさせることができ、誰かがホワイトボードに書くのが検出されると、システムは、そのコンテンツが他の参加者への送信のために選択されるように、そのカメラへのビデオ切り替えを実行することができる。この場合、「掴む」行為は、ホワイトボードの前のユーザの存在である。
【００７４】
ここで、国際特許出願番号PCT/US11/038003(先に引用した)に開示されている多モニタ/多カメラアーキテクチャに基づく本開示の実施形態を説明する。当業者には明らかなように、1つまたは2つのモニタおよび小数のカメラを有するより簡単なアーキテクチャの動作を、機能を単一のシステム要素に統合することによって、同じまたは同様の方法で実行することができる。
【００７５】
本開示のこの実施形態では、H.264 SVCの仕様(先に引用した)に従って、スケーラブルビデオ(および、任意にオーディオ)符号化を使用すると仮定する。オーディオに関して、Speexオーディオ符号化を使用すると仮定する。
【００７６】
本開示は、ビデオ符号化がスケーラブルであることを必要としない。当業者には明らかであろうように、単一層、同時放送、または多重記述符号化さえ含む、任意のビデオまたはオーディオ符号化技法を使用することができる。SVCSの使用は、エンドポイントでの個々のストリームの取り扱いを、はるかにより単純にする。
【００７７】
図7は、開示された主題のいくつかの実施形態によるインタラクティブコンテンツ共有を備えたエンドポイント700の構造を示す。図は、制御ユニット770ならびに一組のノード750および760から構成されたエンドポイント700を示す。エンドポイントは、任意の数のノードを含むことができ、図では、N個のノードが示されている。N番目のノードは、本開示の原理に従う、「コンテツ共有ノード」と呼ばれる特別な種類のノードであるように示されている。単一のこのようなノードが、説明のために示されおり、実際には、任意の数のノードが、コンテンツ共有ノードであってよい。各ノード750は、ノードユニット755で構成され、ノードユニット755を、モニタ720、任意にカメラ710、および任意にオーディオ装置730(マイクロホン、スピーカ、またはこれら2つの組み合わせを、モノラルまたはステレオのいずれかで)に接続することができる。これらを、以下では「周辺装置」と呼ぶ。ノードユニット750および760を、エンドポイント700の動作制御センタである制御ユニット770に接続することができる。制御ユニットは、SVCS、およびポータルのような管理サーバと通信することができる。エンドポイント700は、制御パネル780を有することもでき、制御パネル780は、制御ユニット770と通信し、オペレータがシステム選択または設定を行うことを可能にする。制御パネル780は、例えば、アップルのiPad(登録商標)装置上で実行されるアプリケーションであってよい。
【００７８】
ノード760は、通常のモニタ720の代わりにタッチスクリーン766を含む特別なノードとして示されている。タッチスクリーン766は、ビデオ接続764を介して、そのノードユニットと両方とも接続されるが、タッチスクリーンのステータスに関する情報を提供する第2の接続762も有する。第2の接続762は、USB接続もしくはBluetooth(登録商標)接続、または任意の他の適切な接続であってよい。本開示のいくつかの実施形態では、コンテンツ共有ノードユニットは、通常のモニタ(モニタ720のような)を有することができ、マウスのようなポインティングデバイスを備えることができる。当業者には明らかなように、ユーザインタラクションを得るための代わりのメカニズムも可能である。
【００７９】
エンドポイント700は、国際特許出願番号PCT/US11/038003(先に引用した)にも記載されているような通常のエンドポイントのように、ビデオ通信セッションに参加する。タッチスクリーン766は、ユーザがスクリーン上の点(例えば、「掴む」ボタン)に接触し、したがって、スクリーン上に現在表示されている画像のスナップショットを「掴む」ようにシステムに指示することができる。画像は、任意の他の共有コンテンツと同様に、コンテンツ共有ノード760に関連付けられたノードユニット765が他の参加者と共有することを開始するコンテンツに自動的になる。本開示の一実施形態では、ノードユニット765は、ユーザが描画色を選択し、次に、「掴まれた」コンテンツ上に線を描画することを可能にするソフトウェアも実行する。ノードユニット765上で実行されているソフトウェアは、すべての注釈を消去し、描画プロセスをリセットするための「消去」ボタンを含むこともできる。国際特許出願番号PCT/US11/038003(先に引用した)で説明されているように、ノードユニットを、実際には、単一の装置内でエンドポイントの制御ユニットと一体化することができる。
【００８０】
完全なシステムの文脈でのエンドポイント700の動作を、図8に示す。図は、多数の異なる種類のエンドポイントを相互接続する例示的なSVCS810を示す。単一のSVCS810を示しているが、一般に、カスケード接続をSVCS間で使用することができる(すなわち、1つより多くのSVCSが、あるエンドポイントから別のエンドポイントまでの経路中にあってよい)ため、1つより多くのSVCSが接続に関連付けられてよいことに留意されたい。SVCSのカスケード接続は、開示された主題に対応している。
【００８１】
図8への参照を続け、図は、コンテンツ共有ノードユニット820coを備えたエンドポイント1 820を示す。複数のカメラおよび複数のモニタを特徴とするエンドポイント2 822も存在する。典型的な単一エンコーダビデオ会議であってよいルームシステム824エンドポイントと、ソフトウェアで実現されたエンドポイントであって、汎用コンピュータ上で実行されているデスクトップ826エンドポイントも存在する。最後に、SVCSの動作をサポートしない可能性があるレガシシステム880を相互接続するために使用されるゲートウェイ828装置が存在する。
【００８２】
レガシシステム880は、ルームシステム、デスクトップソフトウェアシステム、または、実際には、レガシMCUであってよい。ゲートウェイ828は、そのSVC接続上の通常のSVCエンドポイントとして振る舞い、そのレガシ接続上のレガシエンドポイントとして、オーディオおよびビデオのトランスコーディングを適切に実行し、また、その両側の各々で適切なシグナリングを使用する。例えば、レガシシステム880と通信するために、H.323を使用することができ、SVCS810と通信するために、ことによるとプロプライエタリな別のプロトコルを使用することができ、ビデオのためのH.264 SVCおよびH.263間をトランスコードすることができ、オーディオのためのSpeexおよびG.722間でトランスコードすることができる。
【００８３】
エンドポイントおよびゲートウェイの特定の選択は、説明の目的のためにのみ使用され、当業者には明らかなように、任意の数のエンドポイント、ならびに、任意の数のレガシエンドポイントまたはゲートウェイを使用することができる。
【００８４】
本開示の一実施形態では、図8に示すシステムでの「掴むおよび描画」動作の動作は、以下のようである。エンドポイント1 820を操作するユーザ(または、ユーザの1人)は、コンテンツ共有ノードユニット820coに進み、コンテンツ共有ノードユニット820coに取り付けられたタッチスクリーンのボタンに接触する。画面に表示された画像は、「掴まれ」または取り込まれ、エンドポイント1 820から発信するコンテンツ共有に自動的になる。ユーザは、タッチスクリーン上の描画を可能にする追加のグラフィカルユーザインタフェース要素を示される。取り込まれた画像上のこのような描画の効果は、共有コンテンツ上の任意の他の視覚的更新のように、すべての他の参加者に送信される。動作は、Microsoft Word(登録商標)のウィンドウを共有するのと類似しており、ウィンドウ上でWordによって実行されるどのような変更も、他のユーザに送信される(むしろ、ウィンドウの符号化された画像が送信される)。
【００８５】
コンテンツ共有を、エンドポイント1 820によって、SVCS810を介して、他の参加者に送信することができる。SVC/SVCSアーキテクチャと互換性がある参加者は、共有コンテンツを直接表示することができる。レガシシステム880のような他のエンドポイントは、このようなコンテンツを、ゲートウェイ828を介して受信することができる。ゲートウェイ828は、このようなコンテンツを、追加のビデオ参加者として提供することができ、または、ストリームが共有コンテンツに対応することを示すために、H.239のようなプロトコルを使用することができる。
【００８６】
本開示の一実施形態による掴む、描画、および共有のプロセスを、図9にさらに示す。図9(a)は、いくらかの参加者からの共有コンテンツ920を表示するタッチスクリーンモニタ910を示す。ユーザに示されるユーザインタフェースは、掴むボタン925を含む。ユーザが(タッチスクリーンインタフェースを直接介して、またはなにか他の適切なポインティングデバイスを介して)掴むボタン925をクリックすると、現在表示されている画像は、「掴まれ」または取り込まれ、(当初コンテンツを共有していた遠隔参加者によって駆動されずに)静的に表示される。ユーザインタフェースは、次に、掴むボタン925を除去し、図9(b)に示すように、代わりに、カーソル935、色選択ボタン930、および消去ボタン932(「CLR」とラベル付けされている)を表示する。ユーザインタフェースは、次に、ユーザが画面上に描画することを可能にする。図9(c)は、例えば、ユーザが楕円の注釈940を描画しており、モニタ上に表示されるグラフのいくつかの特徴を強調していると思われる場合を示す。遠隔ユーザは、図9(d)に示すように、取り込まれた(「掴まれた」)画像、ならびに、描画されている可能性がある任意の注釈のみを見ることに留意されたい。すなわち、ユーザインタフェース要素は、注釈を実行しているユーザにのみ示される。
【００８７】
上述した複数のカメラおよび複数のモニタを使用するスケーラブルビデオ通信のための方法を、コンピュータ可読媒体を使用し、コンピュータ可読媒体に物理的に格納されたコンピュータソフトウェアとして実現することができる。コンピュータソフトウェアを、任意の適切なコンピュータ言語を使用して符号化することができる。ソフトウェア命令を、様々な種類のコンピュータ上で実行することができる。例えば、図10は、本開示の実施形態を実現するのに適したコンピュータシステム1000を示す。
【００８８】
コンピュータシステム1000のための図10に示す構成要素は、本質的に例示であり、本開示の実施形態を実現するコンピュータソフトウェアの使用または機能性の範囲についてどのような限定も示唆するものではない。構成要素の構成は、コンピュータシステムの例示的な実施形態で示したどの1つの構成要素またはその組み合わせに関するどのような依存性または要求も有するものとして解釈されるべきでない。コンピュータシステム1000は、集積回路、プリント回路基板、(携帯電話もしくはPDAのような)小型ハンドヘルド装置、パーソナルコンピュータ、またはスーパコンピュータを含む、多くの物理的形態を有することができる。
【００８９】
コンピュータシステム1000は、ディスプレイ1032、1つまたは複数の入力装置1033(例えば、キーパッド、キーボード、マウス、スタイラス、など)、1つまたは複数の出力装置1034(例えば、スピーカ)、1つまたは複数の記憶装置1035、様々な種類の記憶媒体1036を含む。
【００９０】
システムバス1040は、幅広い種類のサブシステムをリンクする。当業者によって理解されるように、「バス」は、共通の機能を果す複数のデジタル信号線を指す。システムバス1040は、様々なバスアーキテクチャの任意のものを使用する、メモリバス、周辺バス、およびローカルバスを含むいくつかの種類のバスのいずれであってもよい。例として、限定としてではなく、このようなアーキテクチャは、業界標準アーキテクチャ(ISA)バス、拡張ISA(EISA)バス、マイクロチャネルアーキテクチャ(MCA)バス、ビデオエレクトロニクス規格協会ローカル(VLB)バス、PCI-Expressバス(PCI-X)、およびアクセラレーテッドグラフィックスポート(AGP)バスを含む。
【００９１】
プロセッサ1001(中央処理装置またはCPUとも呼ばれる)は、命令、データ、またはコンピュータアドレスを一時的に局所記憶するためのキャッシュメモリ1002を任意に含む。プロセッサ1001は、メモリ1003を含む記憶装置に結合される。メモリ1003は、ランダムアクセスメモリ(RAM)1004および読み出し専用メモリ(ROM)1005を含む。当該技術分野で周知のように、ROM1005は、データおよび命令をプロセッサに一方向に転送するように作用し、RAM1004は、典型的には、データおよび命令を双方向に転送するために使用される。これらの種類のメモリの両方は、以下に記載のコンピュータ可読媒体の任意の適切なものを含むことができる。
【００９２】
固定記憶装置1008も、任意に記憶制御ユニット1007を介して、プロセッサ1001に双方向に結合される。固定記憶装置1008は、追加のデータ記憶容量を提供し、以下に記載の任意のコンピュータ可読媒体を含むこともできる。記憶装置1008は、オペレーティングシステム1009、EXEC1010、アプリケーションプログラム1012、データ1011、などを格納するために使用されてよく、典型的には、一次記憶装置より低速の(ハードディスクのような)二次記憶媒体である。記憶装置1008内に保持された情報を、適切な場合には、メモリ1003内に仮想メモリとして、標準的な方法で組み込むことができることを理解すべきである。
【００９３】
プロセッサ1001は、グラフィックス制御1021、ビデオインタフェース1022、入力インタフェース1023、出力インタフェース1024、記憶装置インタフェース1025のような様々なインタフェースにも結合され、これらのインタフェースは、適切な装置に結合される。一般には、入力/出力装置は、ビデオディスプレイ、トラックボール、マウス、キーボード、マイクロホン、接触感知ディスプレイ、変換器カードリーダ、磁気または紙テープリーダ、タブレット、スタイラス、音声または手書き認識装置、バイオメトリクスリーダ、または他のコンピュータのいずれかであってよい。プロセッサ1001を、ネットワークインタフェース1020を使用して、別のコンピュータまたは電気通信ネットワーク1030に結合することができる。このようなネットワークインタフェース1020により、CPU1001がネットワーク1030から情報を受信することができ、上述した方法を実行する過程でネットワークに情報を出力することができることが考えられる。さらに、本開示の方法の実施形態は、CPU1001上で単独に実行することができ、または、処理の一部を共有する遠隔CPU1001と共にインターネットのようなネットワーク1030上で実行することができる。
【００９４】
様々な実施形態によれば、ネットワーク環境にある場合、すなわち、コンピュータシステム1000がネットワーク1030に接続されている場合、コンピュータシステム1000は、ネットワーク1030にやはり接続された他の装置と通信することができる。通信は、ネットワークインタフェース1020を介して、コンピュータシステム1000に、およびコンピュータ1000から送信することができる。例えば、1つまたは複数のパケットの形態の、別の装置からの要求または応答のような、入ってくる通信を、ネットワークインタフェース1020においてネットワーク1030から受信することができ、処理のためにメモリ1003内の選択されたセクションに格納することができる。やはり1つまたは複数のパケットの形態の、別の装置への要求または応答のような、出て行く通信を、メモリ1003内の選択されたセクションに格納することもでき、ネットワークインタフェース1020においてネットワーク1030に送出することができる。プロセッサ1001は、処理するためにメモリ1003に記憶されたこれらの通信パケットにアクセスすることができる。
【００９５】
加えて、本開示の実施形態は、さらに、様々なコンピュータ実行動作を実行するためのコンピュータコードを有するコンピュータ可読媒体を有するコンピュータ記憶装置製品に関する。媒体およびコンピュータコードは、本開示の目的のために特別に設計され、構成されたものであってよく、または、それらは、コンピュータソフトウェア技術の当業者に周知で利用可能な種類のものであってよい。コンピュータ可読媒体の例は、ハードディスク、フロッピー(登録商標)ディスク、および磁気テープのような磁気媒体、CD-ROMおよびホログラフィック装置のような光学媒体、光ディスクのような光磁気媒体、特定用途向け集積回路(ASIC)、プログラム可能論理装置(PLD)、ならびにROMおよびRAM装置のような、プログラムコードを格納し、実行するように特別に構成されたハードウェア装置を含むが、これらに限定されない。コンピュータコードの例は、コンパイラによって生成されるような機械コード、および、インタプリタを使用してコンピュータによって実行されるより高級なコードを含むファイルを含む。当業者は、本開示の主題と関連して使用される「コンピュータ可読媒体」という用語は、伝送媒体、搬送波、または他の一時的な信号を包含しないことも理解すべきである。
【００９６】
一例として、限定としてではなく、アーキテクチャ1000を有するコンピュータシステムは、メモリ1003のような、1つまたは複数の実体的なコンピュータ可読媒体内で具体化されるソフトウェアを実行するプロセッサ1001の結果として機能性を提供することができる。本開示の様々な実施形態を実現するソフトウェアを、メモリ1003内に記憶することができ、プロセッサ1001によって実行することができる。コンピュータ可読媒体は、具体的な必要性に応じて、1つまたは複数のメモリ装置を含むことができる。メモリ1003は、大容量記憶装置1035のような1つもしくは複数のコンピュータ可読媒体から、または、通信インタフェースを介して1つまたは複数の他のソースから、ソフトウェアを読み出すことができる。ソフトウェアは、メモリ1003に記憶されたデータ構造を規定すること、および、ソフトウェアによって規定されるプロセスに従ってこのようなデータ構造を変更することを含む、本明細書に記載の特定のプロセスまたは特定のプロセスの特定の部分を、プロセッサ1001に実行させることができる。加えて、または代わりに、コンピュータシステムは、本明細書に記載の特定のプロセスもしくは特定のプロセスの特定の部分を実行するように、ソフトウェアの代わりに、またはソフトウェアと共に動作することができる、回路内に実配線された、または別の方法で具体化された論理の結果として機能性を提供することができる。ソフトウェアへの参照は、必要に応じて、論理を含むことができ、逆もまた同様である。コンピュータ可読媒体への参照は、必要に応じて、実行するためのソフトウェアを格納する(集積回路(IC)のような)回路、実行するための論理を具体化する回路、またはそれらの両方を包含することができる。本開示は、ハードウェアおよびソフトウェアの任意の適切な組み合わせを包含する。
【００９７】
本開示は、いくつかの例示的な実施形態を説明したが、開示した主題の範囲内に入る、変更、交換、および様々な代わりの等価物が存在する。したがって、本明細書に明示的に示されない、または記載されていないが、開示した主題の原理を具体化し、したがって、その要旨および範囲内である多数のシステムおよび方法を、当業者が考案することができるであろうことは、理解されるであろう。
【符号の説明】
【００９８】
200  システムアーキテクチャ
201  受信機
202  ネットワーク
210  サーバ1
220  サーバ2
221  送信機
【図２】
2014522538.tif 000003
【図３】
2014522538.tif 000004
【図４】
2014522538.tif 000005
【図５】
2014522538.tif 000006
【図７】
2014522538.tif 000007
【図８】
2014522538.tif 000008
【図１０】
2014522538.tif 000009
【図１】
2014522538.tif 000010
【図６Ａ】
2014522538.tif 000011
【図６Ｂ】
2014522538.tif 000012
【図６Ｃ】
2014522538.tif 000013
【図６Ｄ】
2014522538.tif 000014
【図９Ａ】
2014522538.tif 000015
【図９Ｂ】
2014522538.tif 000016
【図９Ｃ】
2014522538.tif 000017
【図９Ｄ】
2014522538.tif 000018
【国際調査報告】
2014522538.tif 000019