(57)【要約】パノラマでビデオ画像ストリームを表示するための方法と装置は、ビデオ会議に有用である。【選択図】図６
2011526089.tif 000002
【特許請求の範囲】
【請求項１】
画定されたキャプチャ領域を有する２つ又は３つ以上のビデオ画像ストリームを受け取り、
受け取られたビデオ画像ストリームの数に応じて前記画像ストリームを拡大縮小し、
前記拡大縮小された画像ストリームをパノラマで表示することを含む、方法。
【請求項２】
前記ビデオ画像ストリームのキャプチャ領域を画定することを更に含む、請求項１に記載の方法。
【請求項３】
前記ビデオ画像ストリームのキャプチャ領域を画定することが、カメラの高さ、カメラの角度、カメラから参加者の作業領域の後縁部までの距離、カメラから床面までの距離、参加者の作業領域の高さ、カメラから及び参加者の作業領域から垂直に位置するポータルの前景の幅、前記ポータルの縦横比、前記ポータル内の推定眼高、前記ポータル内の参加者の作業領域の高さ、及び前記ポータルの最大の拡大縮小からなるグループから選択された１つ又は複数のパラメータを画定することを含む、請求項２に記載の方法。
【請求項４】
前記ビデオ画像ストリームのキャプチャ領域を画定することが、拡大縮小されたビデオ画像ストリームの推定眼高と拡大縮小されたビデオ画像ストリームの参加者の作業領域の高さとの間で一貫したピクセル寸法を有する拡大縮小されたビデオストリームを得るために、前記１つ又は複数のパラメータを画定することを含む、請求項３に記載の方法。
【請求項５】
カメラから及び参加者の作業領域から垂直に位置するポータルの前景の幅を画定することが、前記ポータルで視聴されるべき座席幅の数を画定することを含む、請求項３に記載の方法。
【請求項６】
受け取られたビデオ画像ストリームの数に応じて前記画像ストリームを拡大縮小することが、前記受け取られたビデオ画像ストリームのパノラマが前記ビデオ画像ストリームを表示するためのビデオディスプレイのピクセルサイズ未満であるように、各ビデオ画像ストリームのピクセルサイズを低減することを含む、請求項５に記載の方法。
【請求項７】
前記拡大縮小されたビデオ画像ストリームをパノラマで表示することが、その拡大縮小されたビデオ画像ストリーム、及びディスプレイを含む局所環境の推定眼高およびテーブル高さの少なくとも１つをそろえるように前記ディスプレイ内に配置される少なくとも１つの拡大縮小されたビデオ画像ストリームを表示することを含む、請求項１に記載の方法。
【請求項８】
前記拡大縮小されたビデオ画像ストリームをパノラマで表示することが、ディスプレイを含む局所環境の推定眼高とテーブル高さとの間で、その拡大縮小されたビデオ画像ストリームの推定眼高とテーブル高さをそろえるように前記ディスプレイ内に配置される少なくとも１つの拡大縮小されたビデオ画像ストリームを表示することを含む、請求項１に記載の方法。
【請求項９】
前記拡大縮小されたビデオ画像ストリームをパノラマで表示することが、１つ又は複数の前記拡大縮小されたビデオ画像ストリームを遠近法によって表示することを含む、請求項１に記載の方法。
【請求項１０】
前記拡大縮小されたビデオ画像ストリームをパノラマで表示することが、前記ビデオ画像ストリームを生成する場所の推定される物理的位置関係を表す中央レイアウトにより画定された順序で前記拡大縮小されたビデオ画像ストリームを表示することを含む、請求項１に記載の方法。
【請求項１１】
１つ又は複数の追加のビデオ画像ストリームを表示することを更に含む、請求項１に記載の方法。
【請求項１２】
色のグラデーションを含む背景に対して、前記ビデオ画像ストリームをパノラマで表示することを更に含む、請求項１に記載の方法。
【請求項１３】
前記色のグラデーションが、前記拡大縮小されたビデオ画像ストリームのパノラマの表示から、前記拡大縮小されたビデオ画像ストリームが表示されるディスプレイの周囲の表面まで延在する、請求項１２に記載の方法。
【請求項１４】
前記色のグラデーションが、前記周囲の表面の色の変化する色合いであり、前記色のグラデーションが前記周囲の表面に近づくにつれて濃くなる、請求項１３に記載の方法。
【請求項１５】
２つ又は３つ以上のエンドポイントを有するビデオ会議システムで使用するためのエンドポイントのクライアント管理システムであって、
レイアウトを受け取るように構成された第１のロジックと、
前記レイアウトで画定された１つ又は複数の遠隔エンドポイントからのビデオ画像ストリームを受け取るように構成された第２のロジックであって、受け取られたビデオ画像ストリームのそれぞれが前記レイアウトで画定されたキャプチャ領域に対応する、第２のロジックと、
前記レイアウトで画定された順序、位置、及びスケールを有する前記受け取られたビデオ画像ストリームのそれぞれの所与のエンドポイントにおいて、パノラマを生成するように構成された第３のロジックとを含む、クライアント管理システム。
【請求項１６】
前記レイアウトが、前記所与のエンドポイントに対する残りのエンドポイントの推定される相対的位置関係を表す順序になるように前記ビデオ画像ストリームの順序を画定する、請求項１５に記載のクライアント管理システム。
【請求項１７】
前記クライアント管理システムが、前記ビデオ画像ストリームを拡大縮小して、前記所与のエンドポイントのディスプレイの表示領域内に拡大縮小されたビデオ画像ストリームをパノラマで表示するように構成される、請求項１５に記載のクライアント管理システム。
【請求項１８】
前記クライアント管理システムが、色のグラデーションを含む背景と共に、前記拡大縮小されたビデオ画像ストリームを表示するように更に構成される、請求項１７に記載のクライアント管理システム。
【請求項１９】
前記クライアント管理システムが、前記ビデオ画像ストリームを拡大縮小して、前記所与のエンドポイントのディスプレイの表示領域内に、遠近法によって１つ又は複数の拡大縮小されたビデオ画像ストリームを表示するように更に構成される、請求項１５に記載のクライアント管理システム。
【請求項２０】
前記クライアント管理システムが、前記レイアウトを受け取るために中央管理システムと通信し、前記中央管理システムが前記所与のエンドポイントの一部である、請求項１５に記載のクライアント管理システム。
【請求項２１】
ビデオ会議システムにおいて、局所エンドポイントのクライアント管理システムを用いて、２つ又は３つ以上の遠隔エンドポイントからのビデオ画像ストリームを処理する方法であって、
前記局所エンドポイントにより使用するためのレイアウトを受け取り、
前記レイアウトで画定された２つ又は３つ以上の遠隔エンドポイントから、前記レイアウトで画定されたキャプチャ領域に対応するビデオ画像ストリームを受け取り、
前記遠隔エンドポイントのそれぞれに対して、それぞれが前記レイアウトで画定された順序、位置、及びスケールを有する前記ビデオ画像ストリームの局所パノラマを生成することを含む、方法。
【請求項２２】
前記レイアウトが、前記局所エンドポイントに対する前記遠隔エンドポイントの推定される相対的位置関係を表す順序であるように前記ビデオ画像ストリームの順序を画定する、請求項２１に記載の方法。
【請求項２３】
前記ビデオ画像ストリームを拡大縮小して、前記局所エンドポイントのディスプレイの表示領域内に拡大縮小されたビデオ画像ストリームをパノラマで表示することを更に含む、請求項２１に記載に方法。
【請求項２４】
色のグラデーションを含む背景と共に、前記拡大縮小されたビデオ画像ストリームを表示することを更に含む、請求項２３に記載の方法。
【請求項２５】
前記ビデオ画像ストリームを拡大縮小して、前記局所エンドポイントのディスプレイの表示領域内に、遠近法によって１つ又は複数の拡大縮小されたビデオ画像ストリームを表示することを更に含む、請求項２１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本出願は、２００８年３月１７日に出願された「DISPLAYING PANORAMIC VIDEO IMAGE STREAMS」と題する米国仮特許出願第６１／０３７，３２１号の優先権を主張している。
【０００２】
背景
ビデオ会議は、遠く離れて位置する参加者間での対面によるコラボレーションをシミュレートする確立された方法である。遠隔環境のビデオ画像は、局所のディスプレイ上に放送され、それにより局所のユーザが、一人又は複数の遠く離れて位置する参加者に会って話すことが可能になる。
【０００３】
対面によるコラボレーション中の社会的交流は、人々が働く方法の重要な部分である。人々が、シミュレートされた長距離の対面会議において有効な社会的交流を持つことを可能にすることが必要とされている。これの重要な側面は、グループのメンバー間の以心伝心であり、たとえ数人の参加者が遠く離れた場所にいて、ビデオを介してだけ見えていたとしても同じ場所に一緒にいるという感覚である。これを可能にすることを試みる多くのシステムが、開発されてきた。しかしながら、重要な問題により、それらシステムは、首尾よく又は広く使用されることができないようにされた。
【０００４】
上述した理由、及び本明細書を読んで理解する際に当業者に明らかになる他の理由で、当該技術において、代替のビデオ会議の方法が必要とされている。
【図面の簡単な説明】
【０００５】
【図１Ａ】様々な実施形態で使用するための中央レイアウトのマップである。
【図１Ｂ】様々な実施形態で使用するための中央レイアウトのマップである。
【図２Ａ】一実施形態による、局所環境の図である。
【図２Ｂ】図２Ａの局所環境からキャプチャされたポータルの図である。
【図３】図２Ａの局所環境の更なる図である。
【図４Ａ】一実施形態による、キャプチャの２つの異なる領域の一方から得られたポータルを示す図である。
【図４Ｂ】一実施形態による、キャプチャの２つの異なる領域の他方から得られたポータルを示す図である。
【図５Ａ】一実施形態による、全景（パノラマのような映像）として表示された場合に、図４Ａの複数のポータルの相対的な表示が如何にして出現することができるかを示す図である。
【図５Ｂ】一実施形態による、全景（パノラマのような映像）として表示された場合に、図４Ｂの複数のポータルの相対的な表示が如何にして出現することができるかを示す図である。
【図６】別の実施形態による、局所環境からの代替の画像表示を示す図である。
【図７】更なる実施形態に従って、ディスプレイに表示されたポータルを示す図である。
【図８】一実施形態による、ビデオ会議の方法の流れ図である。
【図９】一実施形態による、ビデオ会議システムのブロック図である。
【０００６】
詳細な説明
本実施形態の以下の詳細な説明において、その一部を形成する添付図面が参照され、当該図面は、実施され得る本発明の特定の実施形態を一例として示す。これら実施形態は、当業者が本発明の内容を実施することを可能にするほど十分に詳細に説明されており、理解されるべきは、他の実施形態が利用されることができ、プロセスの変更または機械的な変更が、本発明の範囲から逸脱せずに行われ得る。従って、以下の詳細な説明は、制限の意味で解釈されるべきではなく、本発明の範囲は、添付の特許請求の範囲およびそれらの等価物により定義される。
【０００７】
様々な実施形態は、複数のミーティング場所からの画像を１つの画像ディスプレイ上に合成するための方法を含む。この様々な実施形態は、ミーティングにおける全ての当事者に対して適切な視線の認識（気付くこと）および社会的つながりを促進する合成画像を容易にするための環境的規則を提供する。これら規則は、広く分散したエンドポイント（endpoint：端点、末端部）を殆どカスタマイズせずに有効な対面ミーティングへと結合することを可能にする。
【０００８】
社会的つながりの局面を特徴付けることにより、様々な実施形態を用いて、異なるエンドポイントからの画像を自動的に混合することができる。これは、広く分散したエンドポイントのネットワークにおける社会的つながりの改善という結果になる。
【０００９】
全ての出席者に対する不十分な一貫性のないアイコンタクトの低減は、中央レイアウト及び局所視野を用いてカメラ位置および視点の構成に対する首尾一貫した規則を確立することにより、容易にされる。また、視線の認識は、中央レイアウト及び局所視野を用いて容易にされる。別々の場所における画面上の人々は、会話等を行う場合に相手を見ることにより、それぞれの相手の相対的位置を認識する。
【００１０】
人々および調度品（家具）の相対的なサイズは、画像キャプチャの規則を用いて幾何学的につじつまを合わせられる。別々の場所にわたる人々は、メディアストリームにより確立される任意のサイズとは対照的に、局所視野により確立される首尾一貫したサイズで画面上に示される。
【００１１】
空間の実体験のように感じる感覚は、目の高さ（眼高）、床面高さ、及びテーブルの高さのような要素のつじつまを合わせることにより生成される。規則は、画像間での、及び画像と局所環境との間でのこれら要素間の一致のために確立される。現在のシステムにおいて、これら要素は、めったに制御されておらず、そのため画像が異なるアングルから、上から何度も現れる。
【００１２】
中央レイアウト、局所視野、カメラ視野、及び他の環境因子に対するシステムの規則により、異なる製造業者からの多くのタイプのエンドポイントが、高い社会的つながりを有する対面ミーティングに有効である首尾一貫したマルチポイントのミーティング空間内へ相互接続されることが可能になる。
【００１３】
様々な実施形態は、結合された場合に、単一の場所の印象（感じ）を促進するように単一の画像を形成することができる異なる物理的な場所からキャプチャされた画像からパノラマの画像を形成することを容易にする。これは、複数の異なる物理的な場所から単一のパノラマを生成することを可能にする、画像キャプチャの規則を提供することにより達成される。幾つかの実施形態の場合、パノラマを形成するために、個々の画像のトリミング又はステッチングは必要ない。係る実施形態により、画像は、単に拡大縮小および画像フレームの形状調整を用いて合成パノラマへ簡単に移行することが可能になる。
【００１４】
ミーティングの空間上の位置関係は、レイアウトにおいて座席の位置およびエンドポイントの相対的位置関係を示す中央レイアウトによって画定される。このレイアウトは、図１Ａ〜図１Ｂに示されるような明確なマップとすることができる。図１Ａは、円の周りに相対位置を割り当てたエンドポイントの円形レイアウトを示す。この円形レイアウトにおいて、エンドポイント１０１は、その左側にエンドポイント１０２、真向かいにエンドポイント１０３、及びその右側にエンドポイント１０４を有する。中央レイアウトと一致して、エンドポイント１０１は、エンドポイント１０２、１０３及び１０４から、即ち左から右へ画像を表示することができる。留意すべきは、このレイアウトは、様々なエンドポイントの実際の物理的な場所により制限されず、仮想のミーティング空間内のそれらの相対的配置に関係する。同様に、エンドポイント１０２は、エンドポイント１０３、１０４及び１０１から、即ち左から右へ画像を表示することができ、残りのエンドポイントも同様である。
【００１５】
図１Ｂは、講堂に着席したように相対位置を割り当てたエンドポイントの講堂レイアウトを示す。係るレイアウトにおいて、「講師（インストラクター）」のエンドポイント１０１は、残りの全てのエンドポイント１０２〜１１３からの画像を表示することができる一方で、各「生徒」のエンドポイント１０２〜１１３はエンドポイント１０１からの画像だけを表示することができるが、追加の画像も表示され得る。参加者の場所の物理的位置関係をシミュレートする他の中央レイアウトを使用することができ、本発明は、任意の特定のレイアウトにより制限されない。
【００１６】
また、中央レイアウトは、メタデータ又は他の抽象的手段に関して定義され得る。例えば、「円形」のレイアウトタイプは、サイト（拠点）＝４、サイト当たりの座席＝６、及び[Ａ、Ｂ、Ｃ、Ｄ]の位置関係マップの属性で定義されることができ、４つの参加者の場所が、６つの座席の幅からなる最大の視野と共に、Ａ、Ｂ、Ｃ、Ｄの順序で円形のように配列される。これは、本明細書で説明されるように、画像の自動順序付け及び拡大縮小を可能にする。
【００１７】
中央レイアウトは、サイト間の距離、座席の幅、所望の画像のテーブル高さ、所望の画像の前景（最前面）の幅、及びホワイトボード及びデータディスプレイのような媒体物体の場所のような環境の寸法を定義するデータ構造を含むことができる。
【００１８】
一般に、局所環境は、人々が、視聴覚およびデータ機器並びにインターフェースを介してのように、社会的コラボレーションのイベントまたはビデオ会議に参加する場所である。局所環境は、ビデオキャプチャの分野に関して説明され得る。キャプチャの標準的な又は既知の領域を確立することにより、首尾一貫した画像が、それぞれの参加場所でキャプチャされることができ、パノラマ合成画像の自動構築を容易にする。
【００１９】
幾つかの実施形態の場合、局所環境のキャプチャ領域は、中央レイアウトにより画定される。例えば、中央レイアウトは、各局所環境が画像に６つの着座位置を配置するためのキャプチャ領域を有するように画定することができる。キャプチャの標準的な領域からビデオストリームを形成することは、カメラでのパン・チルト・ズーム・フォーカスの制御を介して物理的に、又はより大きな画像からのデジタルトリミングを介してデジタル的に達成され得る。複数の領域が、単一の局所空間からキャプチャされ、別個のモジュールとして使用され得る。例えば、中央レイアウトは、別個の局所環境として複数の領域を扱うことにより、複数の領域を有する局所環境を捕らえることができる。一例は、３つのカメラを使用するエンドポイントであり、この場合、各カメラは、その画像において２つの着座位置をキャプチャするように調整され、かくして単一の参加場所から３つの局所環境を提供する。
【００２０】
会議に参加する各局所環境は、それ自体のイベントの視野を有する。幾つかの実施形態の場合、各局所環境は、中央レイアウトで画定されたようなその配置に対応する異なる視野を有する。
【００２１】
局所レイアウトは、これら規則に従うメディアストリームを表示するための場所を確立するための系である。様々な実施形態は、画像または座標により画定された明確なポータルの例を用いて説明される。また、ポータルは、ベクターグラフィックのオブジェクトを介して又はアルゴリズム的のような他の方法で画定され得る。
【００２２】
図２Ａは、局所環境２０５の図である。留意すべきは、本明細書で使用される限り、遠隔環境は単に、特定の参加者とは異なる場所にある局所環境２０５である。局所環境２０５は、局所環境２０５とのコラボレーションに含まれる遠隔環境からの画像を表示するためのディスプレイ２１０、遠隔環境に伝達するための、局所環境２０５からの画像をキャプチャするためのカメラ２１２を含む。一実施形態の場合、カメラ２１２は、ディスプレイ１０の上に配置される。局所環境２０５からの視聴覚情報のキャプチャ及び表示のためのコンポーネントは、ビデオ会議に使用するためのエンドポイントとしてみなされ得る。局所環境２０５は更に、参加者の作業領域またはテーブル２２０、及び一人又は複数の参加者２２５を含む。カメラ２１２のキャプチャ領域は、波線２１５として示される。留意すべきは、キャプチャ領域２１５は、カメラ２１２の全視野を表すことができる。しかしながら、キャプチャ領域２１５は、代案としてカメラ２１２の視野のトリミングされた部分を表すことができる。
【００２３】
図２Ｂは、局所環境２０５からキャプチャされたポータル２３０の図である。ポータル２３０は、局所環境２０５の「ウィンドウ」を表す。ポータル２３０は、線Ａ−Ａ’に沿って切り取られており、この場合、キャプチャ領域２１５はテーブル２２０を横切る。線Ａ−Ａ’は概して、カメラ２１２に垂直である。ポータル２３０は、ポータル２３０に示されたテーブル２２０の幅を表す前景の幅２２２、及び前景の高さ２２４を有する。一実施形態の場合、ポータル２３０の縦横比（幅：高さ）は１６：９であり、前景の幅２２２が前景の高さ２２４の１６／９倍であることを意味する。
【００２４】
一実施形態の場合、テーブル２２０の幅は、テーブルのかどがポータル２３０に現れないように、線Ａ−Ａ’における前景の幅２２２よりも広い。本明細書でより詳細に説明されるように、ポータル２３０は更に、ポータル２３０内のテーブル２２０の高さを表す画像テーブル高さ２２６、及びポータル２３０内の参加者２２５の推定された目の高さを表す画像推定眼高２２６を有する。
【００２５】
図３は、ポータル２３０及び遠隔場所の可視画像に影響を与える環境因子の更なる細部を示す局所環境２０５の更なる図である。やはり、カメラ２１２のキャプチャ領域は、波線２１５により示される。ディスプレイ２１０は、距離２３２だけ床面２３１の上に、及びテーブル２２０の後縁部２１８から距離２３６に位置する。カメラ２１２は、ディスプレイ２１０と同様に配置され得る。即ち、カメラも、テーブル２２０の後縁部２１８から距離２３６に位置することができる。また、カメラ２１２は、キャプチャ領域２１５のテーブル２２０との交差部分に垂直な位置で所望の縦横比を有するポータル２３０を得るために、角度２１３で配置され得る。
【００２６】
テーブル２２０は、床面２３１の上の高さ２３４を有する。参加者２２５の推定眼高は、床面２３１からの高さ２３８として与えられる。推定眼高２３８は、参加者の実際の眼高を表す必要はないが、平均的な参加者の目がテーブル２２０において着席した場合に現れると予想され得る単なる高さである。例えば、人間工学に基づくデータを用いて、着座時の眼高が４７インチ（１１９．４ｃｍ）であるという度合いが５０％であると予想される。推定眼高２３８の選択は、重要ではない。しかしながら、一実施形態の場合、推定眼高２３８は、ビデオ会議に参加する各局所環境にわたって首尾一貫しており、局所環境で表示するためにポータルの首尾一貫した拡大縮小および配置を容易にする。
【００２７】
ポータル２３０は、カメラ２１２のキャプチャ領域２１５、テーブル２２０の高さ２３４、カメラ２１２の角度２１３、及びキャプチャ領域２１５のテーブル２２０との交差部分に対するカメラ２１２からの距離２４０のようなパラメータにより画定される。局所環境２０５の推定眼高２３８は、ポータル２３０内の画像推定眼高２２８を画定する。言い換えれば、局所環境の推定眼高２３８で生じる着座時の眼高を有する仮想の参加者の目は、画像推定眼高２２８を画定するポータル２３０内の眼高をもたらす。
【００２８】
一実施形態の場合、カメラ２１２からテーブル２２０の後縁部２１８までの距離２３６、及び角度２１３は、コラボレーションに含まれる各局所環境２０５にわたって首尾一貫している。係る実施形態において、ポータル２３０の前景の幅２２２を増大させるために、キャプチャ領域２１５が増大される場合、カメラ２１２からキャプチャ領域２１５のテーブル２２０との交差部分までの距離２４０が減少され、かくしてポータル２３０の画像テーブル高さ２２６の増大、及び画像推定眼高２２８の減少という結果になる。
【００２９】
更なる実施形態の場合、テーブル２２０の高さ２３４、及びカメラ２１２からのテーブル２２０の後縁部２１８の距離２３６、並びにカメラ２１２の高さ２４２の一貫性を維持することにより、首尾一貫したポータル２３０が、異なるズーム倍率を用いて各局所環境２０５にわたって生成され得る。これは、同じキャプチャ領域を用いて生成される各ポータル内でテーブルの高さ及び推定眼高の位置合わせを容易にし、それにより画像が、単一の作業領域の印象を提供するように互いに隣接して配置されることが可能になる。代案として又は更に、各局所環境２０５に対するキャプチャ領域２１５は、標準的なキャプチャ領域のグループから選択され得る。標準的なキャプチャ領域は、一定数の座席の幅を見るために画定され得る。例えば、キャプチャの第１の領域は、２つの着座位置を見るために画定されることができ、キャプチャの第２の領域は、４つの着座位置を見るために画定されることができ、キャプチャの第３の領域は、６つの着座位置を見るために画定されることができ、以下同様である。
【００３０】
図４Ａ〜図４Ｂは、キャプチャの２つの異なる領域から得られたポータル２３０を示す。図４Ａ及び図４Ｂそれぞれのポータル２３０Ａ及び２３０Ｂは、寸法的特徴、即ち図２Ｂに関連して説明されたような前景の幅、前景の高さ、画像テーブル高さ、及び画像推定眼高を有する。ポータル２３０Ａは、ポータル２３０Ｂよりも小さいキャプチャ領域を有し、その前景の幅は２つの着座位置を見るには十分であるが、ポータル２３０Ｂのキャプチャ領域は４つの着座位置を見るのに十分である。参加者の幾何学的一貫性を得るために、ポータル２３０Ｂよりも小さい倍率（magnification：拡大率）でポータル２３０Ａを表示する必要がある。図５Ａ〜図５Ｂは、複数の遠隔場所からの画像が一緒に表示される場合に、複数のポータル２３０Ａ及び２３０Ｂの相対的表示が如何にして現れるかを示す。一緒に表示されるべき各画像に対して同じキャプチャ領域を画定することにより、画像テーブル高さ及び画像推定眼高が、結果として生じるパノラマにわたって首尾一貫していることができる。複数のポータル２３０の単一のパノラマ画像への合成は、コラボレーションに参加する遠隔場所の基準の連続フレームを画定する。この基準の連続フレームは、各遠隔場所の参加者のスケール（尺度）を保持する。一実施形態の場合、それは、構造要素の連続性を維持する。例えば、キャプチャの画定された領域として単一の構造を形成するように現れるテーブルは、各ポータル内で同じ高さで現れるようにテーブルの縁部を画定する。
【００３１】
拡大縮小されたポータルがそれらの推定眼高（図２Ｂの２２８）とテーブル高さ（図２Ｂの２２６）との間で（うわべだけを見ている人に対して）同様のピクセル寸法を有するように、パラメータがキャプチャ領域を画定するために選択される場合、ポータルは、互いに隣接して配置されることができ、それらの参加者が同じ作業領域において着席しているように見えることができ、ポータル内の推定眼高およびテーブル高さの双方が一直線になるように同じ倍率に拡大縮小され得る。更に、表示されたポータル２３０の遠近感は、周囲環境の錯覚を促進するように変更され得る。図６は、３つの局所環境からの画像の代替の表示を示す３つのポータル２３０Ａ〜２３０Ｃを示し、それぞれの画像は、４つの着座位置を見るためのキャプチャ領域を有する。外側のポータル２３０Ａ及び２３０Ｃは、それらのポータルに現れる参加者がポータル２３０Ｂに現れる参加者よりも接近しているように現れるように遠近法によって表示される。図１Ａを参照すると、図６のポータル２３０Ａ〜２３０Ｃの配置は、エンドポイント１０１で見られるように表示を表すことができ、この場合、ポータル２３０Ａはエンドポイント１０２からのビデオストリームを表し、ポータル２３０Ｂはエンドポイント１０３からのビデオストリームを表し、ポータル２３０Ｃはエンドポイント１０４からのビデオストリームを表し、それにより中央レイアウトにより画定された形態が維持される。エンドポイント１０２及び１０４の遠近法の表示は、全参加者が１つのテーブルの周りに着席している印象を促進するのに役立つ。
【００３２】
図６に示されるように、ポータル２３０Ａ〜２３０Ｃの表示されたパノラマ画像は、ビデオディスプレイの全表示面６４０を占めなくてもよい。一実施形態の場合、表示面６４０は、反射を低減するために色のグラデーションを表示することができる。このグラデーションは、表示面６４０を取り囲む表面６４２の色に近づくことができる。一実施形態の場合、色のグラデーションは、表面６４２の色の変化する色合いである。例えば、表面６４２の色が黒の場合、パノラマ画像の外側の表示面６４０は、灰色の色合いを黒まで変化させることができる。更なる実施形態の場合、色のグラデーションは、表面６４２に近づくほど濃くなる。前述の例を続けると、パノラマ画像の外側の表示面６４０は、ポータル２３０Ａ〜２３０Ｃから表面６４２まで進みながら、灰色から黒まで達することができる。
【００３３】
幾つかの実施形態の場合、ポータル２３０は、それらの画像推定眼高が画像を表示する局所環境の推定眼高と一致するように表示される。これは、遠隔環境における参加者が、局所環境の参加者の推定眼高がそろえられる場合に局所環境の参加者と同じ空間に着席しているという印象を更に容易にすることができる。
【００３４】
図７は、ディスプレイ２１０に表示されたポータル２３０を示す。ディスプレイ２１０は、表示幅２５０及び表示高さ２５２により画定された表示領域を有する。ディスプレイは床面２３１から距離２３２に位置する。ディスプレイ２１０の表示領域にポータル２３０を表示する際に、床面２３１からの表示された推定眼高２５８が局所環境の推定眼高２３８未満であるという結果になる場合、ポータルは、表示された推定眼高２５８を増大させるために表示領域において上に移動され得る。留意すべきは、ポータル２３０の一部は、ディスプレイ２１０の表示領域の外側に延在することができ、ひいては表示されない。しかしながら、表示領域の外側のこの一部は、任意の関連した情報（例えば、各参加者が表示領域内で視認可能である）を含まない場合、この画像情報の消失は重要でないかもしれない。従って、ポータル２３０の下部は、ディスプレイ２１０の下部から、床面２３１からの距離２５４まで上に移動され、表示されたポータル２３０内の推定眼高を局所環境の推定眼高２３８に等しい高さ（レベル）２５８まで持ってくることができる。代案として、ポータル２３０の下部は、ディスプレイ２１０の下部から、床面２３１からの距離２５４まで上に移動され、表示されたポータル２３０内の表示されたテーブル高さを局所環境のテーブル高さ２３４と一致する高さ２５８まで持ってくることができる。
【００３５】
幾つかの実施形態の場合、ポータル２３０の参加者をそれらのフルサイズ又は標準サイズで表示することができなくてもよい。例えば、ディスプレイ２１０の表示領域は、ディスプレイ２１０のサイズ制限および表示されるべき参加者の人数に起因して参加者のフルサイズ表示を可能にしなくてもよい。そのような状況において、妥協案は、表示された推定眼高を局所環境の推定眼高と合致させるために、表示されたテーブル高さ２５６を局所環境のテーブル高さ２３４と異なる高さに持っていくこととするこができ、逆の場合も同様である。幾つかの実施形態の場合、表示された画像はフルスケール未満であり、ポータル２３０がディスプレイの下部から距離２５４だけ上に移動されることができ、当該距離２５４は、表示された推定眼高２５８を、局所環境の推定眼高２３８未満の高さに持っていき、かくして表示されたテーブル高さ２５６を局所環境のテーブル高さ２３４より大きい高さに持っていく。
【００３６】
図８は、一実施形態による、ビデオ会議の方法に関する流れ図である。８７０において、キャプチャ領域が、３つ以上のエンドポイントに対して画定される。例えば、キャプチャ領域は、中央レイアウトにより画定され得る。キャプチャ領域は、たとえエンドポイントが異なる人数の参加者を有していたとしても、ビデオ会議に含まれる各エンドポイントに対して同じである。一実施形態の場合、管理システムが、各遠隔エンドポイントに特定のキャプチャ領域を使用するように命令することができる。次いで、遠隔エンドポイントは、それらの所定のキャプチャ領域を得るために、手動で又は自動的にそれらのカメラを調整する。係る実施形態の場合、キャプチャ領域は、管理システムから決定される。キャプチャ領域が管理システムにより画定される場合、受け取られるキャプチャ領域は、たとえそれがその予想された寸法特徴から変化しているとしても、利便性のために画定されたキャプチャ領域と同じであると推定され得る。
【００３７】
８７２において、ビデオ画像ストリームが２つ以上の遠隔場所から受け取られる。ビデオ画像ストリームは、遠隔エンドポイントの局所環境のポータルを表す。
【００３８】
８７４において、ビデオ画像ストリームは、局所エンドポイントの表示領域内に適合する合成画像を生成するために、受け取られた画像ストリームの数に応じて拡大縮小される。ホワイトボード又は他のデータが表示されるような、参加者のいないビデオ画像ストリームが受け取られた場合、これらのビデオ画像ストリームは、同様に拡大縮小され得るか、又は残りのビデオ画像ストリームの拡大縮小に関係なく処理され得る。
【００３９】
８７６において、拡大縮小されたビデオ画像ストリームが、局所環境で視聴するためにパノラマで表示される。カメラ及びテーブルの配置に関する一貫性を維持することにより、及び単一のキャプチャ領域を用いて、拡大縮小されたビデオ画像ストリームが、互いに隣接して表示され、全ての遠隔エンドポイントの参加者が単一のテーブルにおいて着席している様相を向上させることができる。上述したように、拡大縮小されたビデオ画像ストリームは、表示される局所環境の眼高と同様の眼高を得るために、ディスプレイの視認可能な領域内に配置され得る。１つ又は複数の拡大縮小されたビデオ画像ストリームは更に、遠近法によって表示され得る。更なる実施形態の場合、ビデオ画像ストリームは、様々なエンドポイントのビデオ会議に選択された中央レイアウトの配列見本で表示される。前述したように、参加者のいないビデオ画像ストリームは、参加者が着席しているビデオ画像ストリームと共に表示され得る。
【００４０】
図９は、一実施形態による、ビデオ会議システム９８０のブロック図である。ビデオ会議システム９８０は、ビデオ会議に参加するための１つ又は複数のエンドポイント１０１〜１０４を含む。エンドポイント１０１〜１０４は、電話ネットワーク、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）又はインターネットのようなネットワーク９８４と通信する。通信は、エンドポイント１０１〜１０４のそれぞれに対して有線および／または無線とすることができる。管理システムは、本明細書で説明された方法を実行するように構成される。管理システムは、中央管理システム９８２及びクライアント管理システム９８３を含む。エンドポイント１０１〜１０４のそれぞれは、それ自体のクライアント管理システム９８３を含む。中央管理システム９８２は、どのエンドポイントがビデオ会議に参加しているかを画定する。これは、主要なスケジュールを介して、又は局所エンドポイントからの処理要求により達成され得る。中央管理システム９８２は、イベント用の中央レイアウト、及びイベントに参加する各局所エンドポイント１０１〜１０４用の局所レイアウトを画定する。中央レイアウトは、２人又は４人の人物の表示および追加のメディアストリームの場所などのような、標準的なキャプチャ領域を画定することができる。局所レイアウトは、ストリームを局所のパノラマに正確に配置するために、各エンドポイントに必要な順序および位置の情報を表す。局所レイアウトは、イベントに参加する遠隔エンドポイントの画像ストリーム生成手段に、局所レイアウトの位置にリンクするストリーム接続情報を提供する。クライアント管理システム９８３は、局所レイアウトを用いて、例えば図６に関連して説明されたような局所のパノラマを構築する。
【００４１】
クライアント管理システム９８３は、各エンドポイントに関連したコンピュータのような、エンドポイントの一部とすることができ、或いはそれは、サーバコンピュータのような独立したコンポーネントとすることができる。中央管理システム９８２は、１つのエンドポイントの一部とすることができるか、又は全てのエンドポイントから切り離されることができる。
【００４２】
実際には、中央管理システム９８２は、所与のビデオ会議に含まれるエンドポイントのそれぞれに連絡することができる。中央管理システム９８２は、カメラの制御、ディスプレイのサイズ、及び他の環境因子のような、エンドポイントの個々の能力を決定することができる。ポータルの特徴の全体的な制御を用いる実施形態の場合、中央管理システム９８２は、エンドポイント１０１〜１０４間で使用するための単一の標準的なキャプチャ領域を画定し、クライアント管理システム９８３に渡された局所ミーティングレイアウトを介してこれらを伝えることができる。クライアント管理システム９８３は、局所ミーティングレイアウトからの情報を用いて、標準の所定のキャプチャ領域に応じてエンドポイント１０１〜１０４のカメラに適切に位置合わせさせる。局所の、特定のキャプチャ領域は、局所および中央レイアウトにより画定された標準化ストリームに対応するビデオ画像ストリームをもたらすように確保される。
【００４３】
キャプチャ及びビデオ情報の表示を制御する特徴を画定する際に、中央管理システム９８２は、各局所エンドポイント用の局所ミーティングレイアウトを作成することができる。クライアント管理システム９８３はこれら局所レイアウトを用いて、構築されるパノラマの一部としてその局所ディスプレイで視聴するための、各残りのエンドポイントからのポータルを受容する局所パノラマを生成する。遠隔のポータルは、各エンドポイント用のビデオ会議の基準の連続フレームとしてパノラマで表示される。中央レイアウトの形態は、各エンドポイントにおいて維持され、参加者間の視線の認識およびアイコンタクトを向上させることができる。基準のフレームの他の属性は、パノラマにわたって維持され、テーブルの位置合わせ、画像スケール、推定眼高、背景色およびコンテンツを含む。
【図１Ａ】
2011526089.tif 000003
【図１Ｂ】
2011526089.tif 000004
【図２Ａ】
2011526089.tif 000005
【図２Ｂ】
2011526089.tif 000006
【図３】
2011526089.tif 000007
【図４Ａ】
2011526089.tif 000008
【図４Ｂ】
2011526089.tif 000009
【図５Ａ】
2011526089.tif 000010
【図５Ｂ】
2011526089.tif 000011
【図６】
2011526089.tif 000012
【図７】
2011526089.tif 000013
【図８】
2011526089.tif 000014
【図９】
2011526089.tif 000015
【手続補正書】
【提出日】平成22年11月16日(2010.11.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画定されたキャプチャ領域（215）を有する２つ又は３つ以上のビデオ画像ストリームを受け取り、
受け取られたビデオ画像ストリームの数に応じて前記画像ストリームを拡大縮小し、
前記拡大縮小された画像ストリームをパノラマで表示することを含む、方法。
【請求項２】
前記ビデオ画像ストリームのキャプチャ領域（215）を画定することを更に含み、前記ビデオ画像ストリームのキャプチャ領域（215）を画定することが、拡大縮小されたビデオ画像ストリームの推定眼高（228）と拡大縮小されたビデオ画像ストリームの参加者の作業領域（220）の高さ（226）との間で一貫したピクセル寸法を有する拡大縮小されたビデオストリームを得るために、１つ又は複数のパラメータを画定することを含む、請求項１に記載の方法。
【請求項３】
受け取られたビデオ画像ストリームの数に応じて前記画像ストリームを拡大縮小することが、前記受け取られたビデオ画像ストリームのパノラマが前記ビデオ画像ストリームを表示するためのビデオディスプレイ（210）のピクセルサイズ未満であるように、各ビデオ画像ストリームのピクセルサイズを低減することを含む、請求項１に記載の方法。
【請求項４】
前記拡大縮小されたビデオ画像ストリームをパノラマで表示することが、ディスプレイ（210）を含む局所環境の推定眼高（238）に等しい高さからテーブル高さ（234）に等しい高さまで、その拡大縮小されたビデオ画像ストリームの推定眼高（228）とテーブル高さ（226）をそろえるように前記ディスプレイ（210）内に配置される少なくとも１つの拡大縮小されたビデオ画像ストリームを表示することを含む、請求項１に記載の方法。
【請求項５】
前記拡大縮小されたビデオ画像ストリームをパノラマで表示することが、１つ又は複数の前記拡大縮小されたビデオ画像ストリームを遠近法によって表示することを含む、請求項１に記載の方法。
【請求項６】
前記拡大縮小されたビデオ画像ストリームをパノラマで表示することが、前記ビデオ画像ストリームを生成する場所（101-113）の推定される物理的位置関係を表す中央レイアウトにより画定された順序で前記拡大縮小されたビデオ画像ストリームを表示することを含む、請求項１に記載の方法。
【請求項７】
２つ又は３つ以上のエンドポイント（101-113）を有するビデオ会議システムで使用するためのエンドポイント（101）のクライアント管理システム（983）であって、
レイアウトを受け取るように構成された第１のロジックと、
前記レイアウトで画定された１つ又は複数の遠隔エンドポイント（102-113）からのビデオ画像ストリームを受け取るように構成された第２のロジックであって、受け取られたビデオ画像ストリームのそれぞれが前記レイアウトで画定されたキャプチャ領域（215）に対応する、第２のロジックと、
前記レイアウトで画定された順序、位置、及びスケールを有する前記受け取られたビデオ画像ストリームのそれぞれの所与のエンドポイント（101）において、パノラマを生成するように構成された第３のロジックとを含む、クライアント管理システム（983）。
【請求項８】
前記レイアウトが、前記所与のエンドポイント（101）に対する残りのエンドポイント（102-113）の推定される相対的位置関係を表す順序になるように前記ビデオ画像ストリームの順序を画定する、請求項７に記載のクライアント管理システム（983）。
【請求項９】
前記クライアント管理システム（983）が、前記ビデオ画像ストリームを拡大縮小して、前記所与のエンドポイント（101）のディスプレイ（210）の表示領域（640）内に拡大縮小されたビデオ画像ストリームをパノラマで表示するように構成される、請求項７に記載のクライアント管理システム（983）。
【請求項１０】
前記クライアント管理システム（983）が、前記ビデオ画像ストリームを拡大縮小して、前記所与のエンドポイント（101）のディスプレイ（210）の表示領域（640）内に、遠近法によって１つ又は複数の拡大縮小されたビデオ画像ストリームを表示するように更に構成される、請求項７に記載のクライアント管理システム（983）。
【国際調査報告】
2011526089.tif 000016
2011526089.tif 000017