(57)【特許請求の範囲】
【請求項１】
ビデオルーティングクライアント（４）とビデオ混合化クライアント（２）とを備える複数のビデオ会議クライアントデバイスをインターフェース接続するための方法であって、前記混合化クライアントが、複数のクライアントビデオストリーム（２０）を受信し、前記複数のクライアントビデオストリームを混合することによって混合ビデオストリーム（１５）を生成することができる多者間会議ユニット（１２）を備え、方法が、クライアントデバイスに接続されたコンピュータサーバ中で：
−  ビデオルーティングクライアントから第１のクライアントビデオストリーム（７）を受信するステップと、
−  ビデオルーティングクライアントから受信した第１のクライアントビデオストリームのビデオ画像にタグ付けするステップと、
−  双方向通信チャネル（１４）を通じて、第１のクライアントビデオストリーム（２１）を混合化クライアントに送るステップと、
−  混合化クライアントをもつ双方向通信チャネルを通じて、前記混合化クライアントから混合ビデオストリーム（１５）を受信するステップと、
−  混合化クライアントから受信した混合ビデオストリーム中の、第１のクライアントビデオストリームのタグ付けしたビデオ画像とは異なるビデオ画像部分を検出するステップと、
−  混合ビデオストリームから検出したビデオ画像部分を抽出するステップと、
−  抽出したビデオ画像部分から第２のクライアントビデオストリーム（２３）を生成するステップと、
−  ビデオルーティングクライアントに第２のクライアントビデオストリームを送るステップとを含む、方法。
【請求項２】
方法が、
−  付加情報データ（２０）を受信するステップであって、付加情報データが第１のクライアントビデオストリームに含まれる、受信するステップと、
−  ビデオルーティングクライアントから受信した付加情報データにタグ付けするステップと、
−  タグ付けした付加情報データ（２２）を混合化クライアントに送るステップと、
−  混合化クライアントから受信した混合ビデオストリーム中の、タグ付けした付加情報データとは異なる付加情報データを検出するステップと、
−  混合ビデオストリーム中の検出された付加情報データを抽出するステップと、
−  第２のクライアントビデオストリーム中の抽出した付加情報データを１または複数のビデオルーティングクライアントに送るステップとをさらに含む、請求項１に記載の方法。
【請求項３】
方法が、
−  タグ付けしたクライアントビデオ画像とは異なるビデオ画像部分が、複数の互いに素な部分（２９、３０）を含むことを検出するステップと、
−  複数の第２のクライアントビデオストリームを生成するステップであって、それぞれの第２のクライアントビデオストリームが互いに素な部分のうちの異なる１つに対応する、生成するステップと、
−  複数の第２のクライアントビデオストリームをビデオルーティングクライアントに送るステップとをさらに含む、請求項１または２に記載の方法。
【請求項４】
ビデオルーティングクライアントから受信したクライアントビデオストリームが、双方向に複数のビデオストリームを搬送する双方向通信チャネル（８）で搬送される、請求項１から３のいずれか一項に記載の方法。
【請求項５】
タグ付けステップが、ビデオルーティングクライアントから受信した第１のクライアントビデオストリームのビデオ画像の周りにフレーム（２４）を付加するステップを含む、請求項１から４のいずれか一項に記載の方法。
【請求項６】
タグ付けステップが、ビデオルーティングクライアントから受信したビデオストリームに、透過レイヤを付加するステップを含む、請求項１から４のいずれか一項に記載の方法。
【請求項７】
方法が、
−  複数のビデオルーティングクライアント（４Ａ、４Ｂ、４Ｃ）から複数の第１のクライアントビデオストリーム（７Ａ、７Ｂ、７Ｃ）を受信するステップと、
−  複数のビデオルーティングクライアントから受信したそれぞれの第１のクライアントビデオストリームにタグ付けするステップと、
−  複数の双方向通信チャネルを通じて、それぞれのタグ付けした第１のクライアントビデオストリーム（２０Ａ、２０Ｂ、２０Ｃ）を混合化クライアントに送るステップと、
−  混合化クライアントから受信した混合ビデオストリーム中の、複数のタグ付けした第１のクライアントビデオストリームのそれぞれとは異なるビデオ画像部分を検出するステップとをさらに含む、請求項１から６のいずれか一項に記載の方法。
【請求項８】
方法が、
−  複数の第１のビデオルーティングクライアントから複数の付加情報データを受信するステップと、
−  複数の第１のビデオルーティングクライアントから受信した複数の付加情報データにタグ付けするステップとをさらに含む、請求項７に記載の方法。
【請求項９】
ビデオルーティングクライアントおよびビデオ混合化クライアントを備える複数のビデオ会議クライアントデバイスをインターフェース接続するためのビデオ処理サーバであって、前記混合化クライアントが、複数のクライアントビデオストリームを混合することによって混合ビデオストリームを生成する前記複数のクライアントビデオストリームを受信することができる多者間会議ユニットを備え、ビデオ処理サーバが、
−  ルータ（１６）であって、
ビデオルーティングクライアントデバイスから第１のクライアントビデオストリームを受信し、
混合化クライアントから受信した混合ビデオストリームから抽出したビデオ画像部分から生成された第２のクライアントビデオストリームをビデオルーティングクライアントに送ることができる、ルータと、
−  ビデオルーティングクライアントから受信した第１のクライアントビデオストリームにマークを付けることができる、タグ付けエージェントブロック（１７）と、
−  通信ブロック（１９）であって、
双方向通信チャネルで、タグ付けした第１のクライアントビデオストリームを混合化クライアントに送り、
前記混合化クライアントに送られたタグ付けした第１のクライアントビデオストリームを含む混合化クライアントによって生成された混合ビデオストリームを受信することができる、通信ブロックと、
−  タグ検出ブロック（１８）であって、
タグ付けした第１のクライアントビデオストリームとは異なる、混合化クライアントから受信した混合ビデオストリームのビデオ画像部分を検出し、
混合化クライアントから受信した混合ビデオストリーム中の検出した画像部分を抽出することができる、タグ検出ブロックとを含む、ビデオ処理サーバ。
【請求項１０】
ビデオルーティングクライアントからの第１のクライアントビデオストリームおよびビデオルーティングクライアントに送られた第２のクライアントビデオストリームが、サーバとビデオルーティングクライアントとの間に確立された双方向通信チャネルで搬送される、請求項９に記載のビデオ処理サーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数参加者のビデオ会議システムのビデオ処理の方法に関する。
【背景技術】
【０００２】
通信システムの帯域幅能力の増大と共に、ビデオ通信システムは、ビジネスと住居での用途の両方でますます普及してきている。実際、地域分散型チームコラボレーションの事例では、これらのシステムは、チームコラボレータの移動を回避し、より柔軟になっている。
【０００３】
ビデオ会議技術は、一時に複数の人々が通信すること、例えば会議活動をすることを可能にするためにビデオおよび音声通信を使用する。さらに、会議活動の音声および映像の伝送の他に、ビデオ会議技術は、文書および表示情報を共有するために使用され得る。
【０００４】
ビデオ会議のそれぞれの参加者は、自分の環境での参加者を表すビデオストリームを生成するカメラによって撮像される。ビデオ会議を制作するためには、一般に２つの別個の技術が使用される。
【０００５】
ビデオ混合化ベースの会議では、Ｎ人の参加者からの全ての着信ビデオストリームが、多者間会議ユニット（ＭＣＵ：Ｍｕｌｔｉｐａｒｔｙ  Ｃｏｎｆｅｒｅｎｃｅ  Ｕｎｉｔ）によって組み合わせられて、１つの混合ビデオストリームになる。混合ビデオストリームは、共に結合された全ての参加者のビデオストリームを含む。混合ビデオストリームは、Ｎ人の参加者に送信される。
【０００６】
ビデオ混合化技術と対照的に、ビデオルーティング技術は、それぞれの参加者が他の全ての参加者に自分のビデオストリームを送るようにするものであり、参加者は、それらのうち４または５個まで同時にデコードする。したがって、それぞれのビデオクライアントデバイスが、複数のフローの受信およびデコードをサポートしなければならない。
【発明の概要】
【課題を解決するための手段】
【０００７】
一実施形態では、本発明が、ビデオルーティングクライアントとビデオ混合化クライアントとを備える複数のビデオ会議クライアントデバイスをインターフェース接続するための方法を提供し、前記混合化クライアントが、複数のクライアントビデオストリームを受信し、前記複数のクライアントビデオストリームを混合することによって混合ビデオストリームを生成することができる多者間会議ユニットを備え、方法が、クライアントデバイスに接続されたコンピュータサーバ中で：
−  ビデオルーティングクライアントから第１のクライアントビデオストリームを受信するステップと、
−  ビデオルーティングクライアントから受信した第１のクライアントビデオストリームのビデオ画像にタグ付けするステップと、
−  双方向通信チャネルを通じて、タグ付けした第１のクライアントビデオストリームを混合化クライアントに送るステップと、
−  混合化クライアントをもつ双方向通信チャネルを通じて、前記混合化クライアントから混合ビデオストリームを受信するステップと、
−  混合化クライアントから受信した混合ビデオストリーム中の、タグ付けした第１のクライアントビデオストリームのタグ付けしたビデオ画像とは異なるビデオ画像部分を検出するステップと、
−  混合ビデオストリームから検出したビデオ画像部分を抽出するステップと、
−  抽出したビデオ画像部分から第２のクライアントビデオストリームを生成するステップと、
−  ビデオルーティングクライアントに第２のクライアントビデオストリームを送るステップとを含む。
【０００８】
実施形態によれば、こうした方法は、１つまたは複数の以下の特徴を含むことができる。
【０００９】
一実施形態では、方法が、
−  付加情報データを受信するステップであって、付加情報データが第１のクライアントビデオストリームに含まれる、受信するステップと、
−  ビデオルーティングクライアントから受信した付加情報データにタグ付けするステップと、
−  タグ付けした付加情報データを混合化クライアントに送るステップと、
−  混合化クライアントから受信した混合ビデオストリーム中の、タグ付けした付加情報データとは異なる付加情報データを検出するステップと、
−  混合ビデオストリーム中の検出されたメタデータを抽出するステップと、
−  第２のクライアントビデオストリーム中の抽出したメタデータを１または複数のビデオルーティングクライアントに送るステップとをさらに含む。
【００１０】
一実施形態では、方法が、：
−  タグ付けしたクライアントビデオ画像とは異なるビデオ画像部分が、複数の互いに素な部分を含むことを検出するステップと、
−  複数の第２のクライアントビデオストリームを生成するステップであって、それぞれの第２のクライアントビデオストリームが互いに素な部分のうちの異なる１つに対応する、生成するステップと、
−  複数の第２のクライアントビデオストリームをビデオルーティングクライアントに送るステップとをさらに含む。
【００１１】
一実施形態では、ビデオルーティングクライアントから受信したクライアントビデオストリームが、双方向に複数のビデオストリームを搬送する双方向通信チャネルで搬送される。
【００１２】
一実施形態では、タグ付けステップが、ビデオルーティングクライアントから受信した第１のクライアントビデオストリームのビデオ画像の周りにフレームを付加するステップを含む。
【００１３】
一実施形態では、タグ付けステップが、ビデオルーティングクライアントから受信したビデオストリームに、透過レイヤを付加するステップを含む。
【００１４】
一実施形態では、方法が、
−  複数のビデオルーティングクライアントから複数の第１のクライアントビデオストリームを受信するステップと、
−  複数のビデオルーティングクライアントから受信したそれぞれの第１のクライアントビデオストリームにタグ付けするステップと、
−  複数の双方向通信チャネルを通じて、それぞれのタグ付けした第１のクライアントビデオストリームを混合化クライアントに送るステップと、
−  混合化クライアントから受信した混合ビデオストリーム中の、複数のタグ付けした第１のクライアントビデオストリームのそれぞれとは異なるビデオ画像部分を検出するステップとをさらに含む。
【００１５】
一実施形態では、方法が、
−  複数の第１のビデオルーティングクライアントから複数の付加情報データを受信するステップと、
−  複数の第１のビデオルーティングクライアントから受信した複数の付加情報データにタグ付けするステップとをさらに含む。
【００１６】
一実施形態では、本発明が、ビデオルーティングクライアントおよびビデオ混合化クライアントを備える複数のビデオ会議クライアントデバイスをインターフェース接続するためのビデオ処理サーバも提供し、前記混合化クライアントが、前記複数のクライアントビデオストリームを混合することによって混合ビデオストリームを生成する複数のクライアントビデオストリームを受信することができる多者間会議ユニットを備え、ビデオ処理サーバが：
−  ルータであって、
ビデオルーティングクライアントデバイスから第１のクライアントビデオストリームを受信し、
混合化クライアントから受信した混合ビデオストリームから抽出したビデオ画像部分から生成された第２のクライアントビデオストリームをビデオルーティングクライアントに送ることができる、ルータと、
−  ビデオルーティングクライアントから受信した第１のクライアントビデオストリームにマークを付けることができる、タグ付けエージェントブロックと、
−  通信ブロックであって、
タグ付けした第１のクライアントビデオストリームを搬送する双方向通信チャネルで、混合化クライアントに送り、
前記混合化クライアントに送られたタグ付けした第１のクライアントビデオストリームを含む混合化クライアントによって生成された混合ビデオストリームを受信することができる、通信ブロックと、
−  タグ検出ブロックであって、
タグ付けした第１のクライアントビデオストリームとは異なる、混合化クライアントから受信した混合ビデオストリームのビデオ画像部分を検出し、
混合化クライアントから受信した混合ビデオストリーム中の検出した画像部分を抽出することができる、タグ検出ブロックとを含む。
【００１７】
他の実施形態では、ビデオルーティングクライアントからの第１のクライアントビデオストリーム、およびビデオルーティングクライアントに送られた第２のクライアントビデオストリームが、サーバとビデオルーティングクライアントとの間に確立された双方向通信チャネルで搬送される。
【００１８】
一実施形態では、本発明が、命令が実行されるとき上記で述べた方法を実施するコンピュータ実行可能命令を含むコンピュータプログラム、および前記コンピュータプログラムを含むコンピュータも提供する。
【００１９】
本発明は、混合化コンパチブルビデオシステム、それらの重要な部分は最大４ポートのＭＣＵを埋め込んでいるが、これによって管理されたインストール式ベースのマーケットにもかかわらず、多者間ビデオ会議が、混合化技術からビデオルーティング技術にシフトしているという観察から始まる。本発明が基づく考えは、ルーティング式の多者間のビデオセッションのこうしたビデオ混合化ベースのシステムを含むものであり、複数のビデオフローは、時にはプレゼンテーション共有データも含め、全ての参加者の間で交換される。
【００２０】
本発明のこれらのおよび他の態様は、例として、下文に説明する実施形態を参照し、図面を参照して、明白かつ明瞭になるであろう。
【図面の簡単な説明】
【００２１】
【図１】３つのビデオルーティングクライアントが、統合化キャプチャデバイスを備える混合化クライアントを用いてビデオ会議に参加する事例でのビデオ会議システムアーキテクチャの一実施形態の機能を示す図である。
【図２】図１のシステム中のサーバによって実施されるステップを示す図である。
【図３Ａ】図１の混合化クライアントによって生成された混合ビデオストリームの画像を概略的に示す図である。
【図３Ｂ】ＭＣＵに直接接続された２つの別個のキャプチャデバイスを有する混合化クライアントによって生成された混合ビデオストリームの画像を概略的に示す図である。
【発明を実施するための形態】
【００２２】
図１に、４人がビデオ会議に参加する事例でのビデオ会議システムアーキテクチャの一実施形態を示す。
【００２３】
図１で、混合化参加者１は、混合化クライアントデバイス２を使用する。３人のビデオルーティング参加者３は、それぞれ１人ずつビデオルーティングクライアントデバイス４を使用する。混合化クライアントデバイス２およびビデオルーティングクライアントデバイスは、混合化コンパチブルビデオルーティングサーバ（ＭＣＶＲＳ）５に接続される。それぞれのクライアントデバイスは、例えばパーソナルコンピュータ、モバイルフォン、タブレットまたは任意の他のデバイスとすることができる。参加者およびそれらのクライアントデバイスはそれぞれ、別個の場所に位置し、ビデオ会議を一斉に行う。
【００２４】
それぞれのビデオルーティングクライアントデバイス４は、キャプチャデバイス６を有する。キャプチャデバイス６は、例えば、そのルーティング参加者３の自分の環境でのビデオストリーム７をキャプチャするカメラ６である。それぞれのビデオルーティングクライアントデバイス４は、ＭＣＶＲＳ５との双方向通信チャネル８を確立することができる通信ポートを有する。ビデオルーティングクライアントデバイス４とＭＣＶＲＳ５との間に確立されたこうした通信チャネル８は、複数のビデオストリームを双方向に搬送することができる。使用時には、ビデオルーティングデバイス４が、そのキャプチャしたビデオストリーム７をＭＣＶＲＳ５に送り、他の参加者によってキャプチャされたビデオストリームに対応するビデオストリームを受信する。ビデオルーティングクライアントデバイス４は、それ自体のキャプチャしたビデオストリームと通信チャネル８で搬送された受信したビデオストリームとを混合して混合ビデオストリームにすることができる。こうした混合ビデオストリームの画像は、共に結合された全てのビデオストリームの同時画像を含む（図２参照）。
【００２５】
混合化クライアント２は、キャプチャデバイス９、エンコーダブロック１０、デコーダブロック１１および埋込み型ＭＣＵ１２を備える。キャプチャデバイス９は、例えば、混合化参加者１の自分の環境でのビデオストリーム１３をキャプチャするカメラ９である。エンコーダブロック１０は、キャプチャしたビデオストリーム１３をコード化しＭＣＵ１２に送信する。
【００２６】
ＭＣＵ１２は、複数の通信ポートを有する。ＭＣＵ１２のそれぞれのポートにより、混合化クライアントデバイス２とＭＣＶＲＳ５との間に通信チャネル１４を確立することが可能になる。ＭＣＵ１２とＭＣＶＲＳ５との間に確立されたそれぞれの通信チャネル１４は、１つのビデオストリームを、また任意選択でさらにデータストリームを、双方向に搬送することができる双方向チャネルである。ＭＣＵ１２は、混合化クライアントデバイス２のキャプチャデバイス９によってキャプチャされたビデオストリームと、通信チャネル１４で搬送された受信したビデオストリームとを混合して、混合ビデオストリーム１５にする。こうした混合ビデオストリーム１５の画像は、共に結合された混合ビデオストリーム１５を生成するために使用される全てのビデオストリームの同時画像を含む。混合ビデオストリーム１５は、デコーダブロック１１に送られる。混合ビデオストリーム１５は、確立された通信チャネル１４でＭＣＶＲＳ５にも送られる。
【００２７】
デコーダブロック１１は、混合ビデオストリーム１５をデコードする。デコードされたビデオストリームは、混合化クライアントデバイス２の表示デバイス、例えばコンピュータスクリーンまたはＴＶに表示される。
【００２８】
混合化クライアントデバイス２が、単にビデオルーティングクライアント４デバイスに接続されている場合、ビデオルーティングクライアントデバイス４は、そのキャプチャしたビデオストリームを混合化クライアントデバイス２に送り、次いで混合化クライアントデバイス２が、混合ビデオストリーム中にビデオルーティングクライアントデバイス４から受信したビデオストリームを含み、混合化クライアントデバイス２は、ビデオルーティングクライアントデバイス４に混合ビデオストリームを返信することになる。次いで、ビデオルーティングクライアントデバイス４が、それ自体のキャプチャしたビデオストリームと混合化クライアントデバイス２から受信した混合ビデオストリームとを含む混合ビデオストリームを生成することになる。ビデオルーティングクライアントデバイス４によって生成されたこうした混合ビデオストリームは、それ自体のキャプチャしたビデオストリームから一度、および混合化クライアントデバイス２からの混合ビデオストリームから一度の２回ビデオストリームをキャプチャしたビデオルーティングクライアントデバイスを含むことになる。
【００２９】
図１に示すビデオ会議システムでこれを回避するために、ＭＣＶＲＳ５は、ルータ１６、タグ付けブロック１７、タグ検出ブロック１８および通信エージェントブロック１９を含む。
【００３０】
ルータ１６は、ビデオルーティングクライアントデバイス４との双方向通信チャネル８を確立することができる複数のポートを有する。それぞれの確立した双方向通信チャネル８は、複数のビデオストリームを双方向に搬送することができる。実際、ルータ１６は、それぞれのビデオルーティングクライアントデバイス４から、ビデオストリームをそれぞれ、また任意選択でデータを受信し、それを他の全てのビデオルーティングクライアントデバイス４に返信する。ルータ１６は、全てのビデオルーティングクライアント４から受信したビデオストリームをタグ付けエージェントブロック１７にも送る。
【００３１】
タグ付けエージェントブロック１７は、ビデオ画像のタグ付けを実施する。タグ付けは、任意のマーキング技術とすることができ、高度な透過技術から、ビデオストリームのそれぞれの画像の周りの記号付き／特殊なフレームを単純に付加することまで含むことができる。着信ビデオストリームが、付加情報データ２０、例えば参加者によって共有されるドキュメントを含むとき、付加データ２０もタグ付けされる。タグ付けエージェントブロック１７は、それぞれのタグ付けビデオストリームを通信エージェントブロック１９に送る。
【００３２】
通信エージェントブロック１９は、通信チャネル１４を混合化クライアントデバイス２に埋め込まれたＭＣＵ１２に必要な個数だけ、すなわち、ＭＣＵ１２の能力に応じた最大数を用いて、ビデオルーティングクライアントデバイス４ごとに１つの双方向通信チャネル１４を確立する。通信エージェントブロック１９とＭＣＵ１２との間のそれぞれの通信チャネル１４が、１つのビデオストリーム、また任意選択でさらにデータストリームを双方向に搬送する。通信エージェントブロック１９は、タグ付けしたビデオストリーム２１また任意選択でタグ付けした付加情報データ２２をＭＣＵ１２に送る。通信エージェントブロック１９によってＭＣＵ１２に送られたタグ付けしたビデオストリーム２１は、タグ付けエージェントブロック１７から受信したものである。通信エージェントブロック１９は、ＭＣＵ１２からＭＣＵ１２によって生成された混合ビデオストリーム１５を受信する。通信エージェントブロック１９は、混合ビデオストリーム１５をタグ検出ブロック１８に送信する。
【００３３】
タグ検出ブロック１８は、混合ビデオストリーム中のそれぞれの画像のどの部分がタグ付けエージェントブロック１７によって予めタグ付けされた画像に対応するかを検出することができる。タグ検出ブロック１８は、通信エージェントブロック１９から混合ビデオストリーム１５を受信する。タグ検出ブロック１８は、混合ビデオストリーム１５のそれぞれの画像中のタグ付けされた範囲を検出する。一旦、タグ付けされた範囲が、混合ビデオストリーム１５の画像中で識別されると、タグエージェントブロック１８は、タグ付けされてない範囲を混合ビデオストリーム１５の画像から切り離す。１または複数の切り離された部分は、混合化デバイス２に含まれるキャプチャデバイス９によってキャプチャされた画像に対応する新たな画像を生成するために使用される。抽出したビデオストリーム２３は、混合ビデオストリーム１５の１または複数の切り離された部分を用いて生成される。前記抽出したビデオストリーム２３は、通信エージェントブロック１９に返信される。
【００３４】
タグ検出ブロック１８は、タグ付けエージェントブロック１７によってタグ付けされてない、混合ビデオストリーム１５のそれぞれの分離された部分に対応するビデオストリームを生成する。タグ検出ブロック１８が、混合ビデオストリーム１５の画像中にタグ付けされてない範囲を１つのみ検出した場合、タグ検出ブロックは、抽出したビデオストリーム２３を１つのみ生成する。タグ検出ブロック１８が、混合ビデオストリーム１５の画像中で複数のタグ付けされていない分離された範囲を検出した場合、タグ検出ブロック１８は、画像の検出されたタグ付けされていない部分ごとに抽出したビデオストリーム２３を１つ生成する。
【００３５】
図２は、図１のシステムでのビデオ会議中に実施されるステップを示す図である。
【００３６】
このシステムでは、第１のビデオルーティング参加者３Ａが、ビデオルーティングクライアントデバイス４としてパーソナルコンピュータ４Ａを有し、第２のビデオルーティング参加者３Ｂが、ビデオルーティングクライアントデバイス４としてスマートフォン４Ｂを有し、第３のビデオルーティング参加者３Ｃが、ビデオルーティングクライアントデバイス４としてタブレット４Ｃを有する（図１参照）。
【００３７】
上記で説明したように、それぞれのビデオルーティングクライアントデバイス４は、その参加者をその自分の環境で表すキャプチャしたビデオストリーム７を生成する（ステップ２４Ａ、２４Ｂおよび２４Ｃ）。それぞれのビデオルーティングデバイス４は、ＭＣＶＲＳ５のルータ１６を用いて双方向通信チャネル８を確立する（ステップ２５Ａ、２５Ｂおよび２５Ｃ）。それぞれのビデオルーティングクライアント４デバイスのキャプチャしたビデオストリーム７は、確立された通信チャネル８を介してルータ１６に送られる（ステップ２６Ａ、２６Ｂおよび２６Ｃ）。ルータ１６は、ビデオルーティングデバイス４から他のビデオルーティングクライアントデバイス４に、またタグ付けエージェントブロック１７に、それぞれのキャプチャしたビデオストリーム７を送る（ステップ２７）。図１に示すように、典型的に、第１のビデオルーティングクライアント４Ａからの第１のキャプチャしたビデオストリーム７Ａは、第２のビデオルーティングクライアントデバイス４Ｂに、第３のクライアントデバイス４Ｃに、またタグ付けエージェントブロック１７に送られる。第２のビデオルーティングクライアントデバイス４Ｂからの、データ２０を含む第２のキャプチャしたビデオストリーム７Ｂは、第１のビデオルーティングデバイス７Ａに、第３のビデオルーティングクライアントデバイス４Ｃに、またタグ付けエージェントブロック１７に送られる。第３のビデオルーティングクライアントデバイス４Ｃからの第３のキャプチャしたビデオストリームは、第１のビデオルーティングクライアントデバイス４Ａに、第２のビデオルーティングクライアントデバイス４Ｂに、またタグ付けエージェントブロック１７に送られる。
【００３８】
それぞれのキャプチャしたビデオストリーム７は、タグ付けエージェントブロック１７によってタグ付けされる（ステップ２８）。第２のビデオルーティングクライアントデバイスのキャプチャビデオストリーム７Ｂが、付加情報データ２０を含むとき、タグ付けエージェントブロック１７は、前記付加情報データ２０もタグ付けする。タグ付けエージェントブロック１７は、キャプチャしたビデオストリーム７のそれぞれの画像の周りにレッドフレーム２９を付加する（図３Ａおよび３Ｂ参照）。タグ付けエージェントブロック１７は、タグ付けした付加情報データ２２を含むタグ付けしたビデオストリーム２１を、通信エージェントブロック１９に送る（ステップ３０）。混合化クライアントデバイス２のＭＣＵ１２は、１つのビデオストリームのみ、また任意選択でさらにデータストリームを双方向に搬送する通信チャネル１４をサポートするので、通信エージェントブロック１９は、ＭＣＵ１２を用いてタグ付けしたビデオストリーム２１ごとに双方向通信チャネル１４を確立する（ステップ３１）。図１に示すように、第１の通信チャネル１４Ａが、第１のタグ付けしたビデオストリーム２１Ａを搬送し、第２の通信チャネル１４Ｂが、タグ付けした付加情報データ２２を含む第２のタグ付けしたビデオストリーム２１Ｂを搬送し、また第３の通信チャネル１４Ｃが、第３のタグ付けしたビデオストリーム２１Ｃを搬送する。
【００３９】
ＭＣＵ１２は、タグ付けしたビデオストリーム２１およびそれ自体のキャプチャしたビデオストリーム１３を用いて混合ビデオストリーム１５を生成する（ステップ３２）。混合ビデオストリーム１５は、共に結合された、３つのタグ付けされたビデオストリーム２１と混合化クライアントデバイス２からのキャプチャしたビデオストリーム１３を含む。混合化デバイス２の表示デバイスは、混合ビデオストリーム１５を表示する。ＭＣＵ１２は、既に確立されている３つの双方向通信チャネル１４で混合ビデオストリーム１５を送る（ステップ３３）。
【００４０】
通信エージェントブロック１９は、混合ビデオストリーム１５を受信する。通信エージェントブロック１９は、混合ビデオストリーム１５をタグ検出ブロック１８に送信する（ステップ３４）。
【００４１】
タグ検出ブロック１８は、混合ビデオストリーム１５のそれぞれの画像を解析する。より具体的には、タグ検出ブロック１８は、混合ビデオストリーム１５のそれぞれの画像を解析して、タグ付けエージェントブロック１７によって付加されたタグを含む、画像のそれぞれの部分を検出する（ステップ３５）。このステップ中、タグ付けエージェントが、レッドフレームによって囲まれた全ての部分を検出する。タグ付けされた３つのビデオストリーム２１の画像とタグ付けされた付加情報データ２２は、タグ検出ブロック１８によって検出される。次いで、タグ検出ブロック１８は、タグ付けエージェントブロック１７によってタグ付けされたとして検出されない画像部分を切り離す（ステップ３６）。混合ビデオストリーム１５の画像が、共に結合された、３つのタグ付けされた画像とタグ付けされた付加情報データ２２とを含み、こうした画像の一部分のみが、タグ付けエージェントブロック１７によって、タグ付けされてないものとして切り離される。こうした切離し画像は、混合化クライアントデバイス２からのキャプチャしたビデオストリーム１３の画像に対応する。タグ検出ブロック１８は、混合ビデオストリーム１５の切離し画像を用いて抽出したビデオストリーム２３を生成する（ステップ３７）。タグ検出ブロックは、前記抽出したビデオストリーム２３を、タグ付けエージェントブロック１７にそれを送信する通信エージェントブロック１９に送る。次いでタグ付けエージェントブロック１７は、ルータ１６に抽出したビデオストリーム２３を送信する。ルータ１６は、確立した通信チャネル８を使用して、抽出したビデオストリーム２３をそれぞれのビデオルーティングクライアント４に送る（ステップ３８）。
【００４２】
それぞれのビデオルーティングクライアントは、それ自体のキャプチャデバイス２からキャプチャしたビデオストリーム、他のビデオルーティングクライアントデバイスからのキャプチャビデオストリーム、および混合ビデオストリーム１５の抽出したビデオストリーム２３を用いて、混合ビデオストリーム４０を生成する（ステップ３９）。それぞれのビデオルーティングクライアントデバイス４によって生成された混合ビデオストリーム４０（図１参照）は、混合化クライアントによって生成された混合ビデオストリーム１５と同様であり、それぞれ１つが、同じ混合ビデオストリーム１５または４０中で結合された全ての参加者１および３を表す。
【００４３】
図３Ａは、図１のシステムを使用した会議中の、タグ付けした部分を含む混合ビデオストリームからの画像である。
【００４４】
図３Ａに示す混合ビデオストリームからの画像４１は、第１のビデオルーティング参加者３Ａを表す第１のタグ付けされた画像部分４２Ａ、第２のビデオルーティング参加者３Ｂを表す第２のタグ付けされた画像部分４２Ｂ、第３のビデオルーティング参加者３Ｃを表す第３の画像部分４２Ｃ、およびタグ付けされた付加情報データ２２を表す第４の部分４２Ｄを含む。画像４１は、混合化参加者１を表す混合化部分４３も含む。
【００４５】
その解析中に、タグ検出ブロック１８が、タグ付けされた部分４２の周りのレッドフレーム２９を検出する。これらのタグ付けされた部分４２が検出されたとき、タグ検出ブロック１８は、画像のタグ付けされていない部分を切り離す。典型的に、タグ検出ブロック１８は、混合化部分４３を切り離す。タグ検出ブロック１８は、混合化部分４３に対応する画像を抽出し、混合化参加者を表す抽出したビデオストリームに抽出した画像を統合する。
【００４６】
図３Ｂは、会議中、タグ付けされた部分およびタグ付けされてない互いに素な部分を含む混合ビデオストリームからの画像である。
【００４７】
図３Ｂに示す混合ビデオストリームからの画像４４は、第１のビデオルーティング参加者を表す第１のタグ付けされた画像部分４５Ａ、および第２のビデオルーティング参加者を表す第２のタグ付けされた画像部分４５Ｂ、およびタグ付けされた付加情報部分４５Ｃを含む。画像４４は、第１の混合化部分４６Ａおよび第２の混合化部分４６Ｂも含み、それぞれ１つが、第１と第２の混合化参加者をそれぞれ表す。
【００４８】
その解析中、タグ検出ブロック１８は、タグ付けされた部分４５を検出する。これらのタグ付けされた部分４５が検出されたとき、タグ検出ブロック１８は、画像４４のタグ付けされてない部分４６を切り離す。典型的には、タグ検出ブロック１８は、第１の混合化部分４６Ａおよび第２の混合化部分４６Ｂを切り離す。タグ検出ブロック１８は、これらの２つのタグ付けされてない部分が画像４４中で互いに素なであることを検出し、第１の混合化部分４６Ａが、第１のビデオルーティング部分４５Ｂによって、第２の混合化部分４６Ｂから分離される。画像の２つの互いに素な部分が、タグ付けされてないとして検出されるとき、タグ検出ブロック１８は、第１の混合化部分４６Ａに、また第２の混合化部分４６Ｂに、それぞれ対応する２つの別個の画像を生成する。これらの２つの画像は、２つの別個の抽出されたビデオストリーム２３に統合され、それぞれ１つずつが、第１と第２の混合化参加者をそれぞれ表す。
【００４９】
一実施形態では、混合化クライアント２によって生成された混合ビデオストリーム１５が、タグ付けされてない、例えばビデオルーティングクライアントデバイスからのキャプチャしたビデオストリーム中に含まれない、付加情報データを含む。こうした付加情報データは、タグ検出ブロック１８によってタグ付けされてないものとして検出され、次いで、切り離され、抽出されたビデオストリームに挿入される。
【００５０】
ビデオストリームのアイテムにタグ付けするために、マークは、一画像または画像ごとにまたはビデオストリームのＮ画像ごとに挿入され得る。一実施形態では、タグ付けエージェントブロックによって使用されるマークは、ビデオストリームの第１の画像の周りに付加されたレッドフレームである。タグ検出ブロックが、ビデオストリームの第１の画像中でこうしたレッドフレームを検出すると、タグ検出部は、第１の画像中のタグ付けされた部分が後続の画像中にタグ付けされた部分でもあることを考慮に入れる。別の実施形態では、ビデオストリームのＮ画像ごと、例えばＮ＝１０、の１つの画像のみがタグ付けされ、それぞれのタグ付けされた部分が、ビデオストリームのタグ付けされた画像および後続のＮ画像として定義される。
【００５１】
本発明は、説明した実施形態に限定されない。添付の特許請求の範囲は、本明細書での基本的な教示の、明示された適正な範囲内である、当業者に想到し得る全ての改変形態および代替構造を実施するものとして解釈されるべきである。動詞「備える」または「含む」およびその活用形の使用は、特許請求の範囲で記述されるもの以外の要素またはステップの存在を排除するものではない。さらに、前述の要素またはステップに付随する「１つの」の使用は、複数のこうした要素またはステップの存在を排除するものではない。本発明は、ハードウェアならびにソフトウェアによって実施され得る。ハードウェアの同じアイテムは、いくつかの「手段」を示すことができる。
【図１】
0006291580.tif 000002
【図２】
0006291580.tif 000003
【図３Ａ】
0006291580.tif 000004
【図３Ｂ】
0006291580.tif 000005