(57)【特許請求の範囲】
【請求項１】
ビデオ遠隔会議環境用の格納式カメラ装置であって、
収容部と、
前記収容部に結合された少なくとも２つのアーム部であって、それぞれが格納位置と展開位置との間で可動である、少なくとも２つのアーム部と、
前記少なくとも２つのアーム部のそれぞれに結合された複数のカメラと、
を備え、
前記少なくとも２つのアーム部は、前記展開位置において、前記複数のカメラが当該装置のユーザと対面し、当該装置のユーザを取り囲むように位置するように構成され、
前記格納位置には前記複数のカメラの少なくとも２つのカメラが前記収納部に可動的に収納され当該装置を当該装置のユーザの視界から事実上消すことができる位置が含まれる
ことを特徴とする、ビデオ遠隔会議環境用の格納式カメラ装置。
【請求項２】
前記展開位置は、前記複数のカメラが前記装置の正面において画像を取り込むことが可能なように、前記少なくとも２つのアーム部が前記収容部から可動的に延出した位置を含むことを特徴とする、請求項１記載のビデオ遠隔会議環境用の格納式カメラ装置。
【請求項３】
デスクトップビデオディスプレイと、
前記デスクトップビデオディスプレイに結合されたビデオ遠隔会議環境用の格納式カメラ装置と、
を備え、
前記ビデオ遠隔会議環境用の格納式カメラ装置が、
収容部と、
前記収容部に結合された少なくとも２つのアーム部であって、それぞれが格納位置と展開位置との間で可動である少なくとも２つのアーム部と、
前記少なくとも２つのアーム部のそれぞれに結合された複数のカメラと、
を備え、
前記少なくとも２つのアーム部は、前記展開位置において、前記複数のカメラが当該装置のユーザと対面し、当該装置のユーザを取り囲むように位置するように構成され、
前記格納位置には前記複数のカメラの少なくとも２つのカメラが前記収納部に可動的に収納され当該装置を当該装置のユーザの視界から事実上消すことができる位置が含まれることを特徴とする、ビデオ遠隔会議環境用の画像を取り込むシステム。
【請求項４】
前記展開位置は、前記複数のカメラが前記装置の正面において画像を取り込むことが可能なように、前記少なくとも２つのアーム部が前記収容部から可動的に延出した位置を含むことを特徴とする、請求項３記載のビデオ遠隔会議環境用の画像を取り込むシステム。
【請求項５】
ビデオ遠隔会議環境用の格納式カメラ装置を利用する方法であって、前記装置は、収容部と、前記収容部に結合された少なくとも２つのアーム部であって、それぞれが格納位置と展開位置との間で可動である少なくとも２つのアーム部と、前記少なくとも２つのアーム部のそれぞれに結合された複数のカメラとを備え、
前記少なくとも２つのアーム部は、前記展開位置において、前記複数のカメラが当該装置のユーザと対面し、当該装置のユーザを取り囲むように位置するように構成され、
前記格納位置には前記複数のカメラの少なくとも２つのカメラが前記収納部に可動的に収納され当該装置を当該装置のユーザの視界から事実上消すことができる位置が含まれ、
前記方法は、
前記複数のカメラから、前記装置の正面における画像のリアルタイムビデオストリームを受け取ることと、
ビュー合成モジュールを用いることであって、それにより、前記リアルタイムビデオストリームにビュー合成技法を適用することによって複数の出力ビデオ画像ストリームを生成する、用いることと、
輪郭抽出モジュールを用いることであって、それによって物理的な背景から前記画像を抽出する、用いることと
を含むことを特徴とする、ビデオ遠隔会議環境用の格納式カメラ装置を利用する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、ビデオ遠隔会議に関し、特に、共有仮想環境内でのリアルタイムビデオ通信を可能にする格納式カメラ装置に関する。
【０００２】
［関連出願の相互参照］
本発明は、本明細書に参照することにより援用される「Method and System for Real-Time Video Communication Within a Virtual Environment」という名称の同時係属中の出願番号第１０／１７６，４９４号に関連する。
【背景技術】
【０００３】
ビデオ遠隔会議システムは、２人以上の当事者が、略リアルタイムの映像を伴う遠隔会話に参加できるようにする。従来のビデオ遠隔会議システムを理解するために、これより図１を参照されたい。図１に示すように、従来のビデオ遠隔会議システムでは、ローカルの参加者が遠隔会議ステーション１０を用いて通信する。会話の映像部分を処理するために、各遠隔会議ステーションは、会話の他の当事者（１人または複数人）を表示する表示装置１２、すなわちモニタ、および映像を会話の他の当事者に伝送するビデオカメラ１４を備える。ビデオカメラ１４は通常、ディスプレイ１２の真上に搭載される。
【０００４】
ビデオ遠隔会議に伴う問題の１つは、参加者同士でのアイコンタクトがないことである。通常、参加者は、ローカル参加者の映画像を取り込むために配置された録画カメラではなく、コミュニケーションのためにディスプレイとやりとりする。ローカルユーザの関心は、コミュニケーションのために主にディスプレイに集中する。ユーザは通常、ディスプレイの中の参加者に向かって話し、ディスプレイの中の参加者を注視することにより、ディスプレイ中の参加者の画像とやりとりする。
【０００５】
ビデオカメラは、ローカル参加者が関心を向ける位置（すなわち、ディスプレイ１２の中央）ちょうどの場所に物理的に配置することができないため、リモート参加者はローカル参加者の正面を向いた画を見ることがない。ローカルユーザは、視線を別の方向に逸らすことでアイコンタクトを避けているように見える。さらに、ローカルユーザも正面を向いていないリモート参加者のビデオストリームを見るため、ローカルユーザのディスプレイにも同じ問題がある。
【０００６】
アイコンタクトがないという問題を解決するにあたって見つけ出された一手法は、参加者の顔の特徴のモデルを静的合成環境で表示するというものである。このようにして、正面を向いた参加者のモデルが作成される。そのモデルは、顔の特徴の実際の状態に置き換えて参加者の様々な顔の特徴を用いることによって作成される。置き換えられる顔の特徴は、参加者のサンプル画像から作成することができる。たとえば、口は様々な感情の状態、すなわち微笑み、唇をすぼめる等とし得る。参加者がリアルタイムで微笑み、かつ眉をひそめている場合、微笑みおよび眉がひそめられていることを反映したモデルが生成され、他の参加者に提示される。
【０００７】
しかし、この手法に限度があることは、特に、参加者の視覚的特徴を解釈する際に誤りがあり、視覚的特徴が誤って表示される場合に明らかである。たとえば、参加者の口が実際には微笑んでいるが、唇のすぼまりが検出される場合、参加者のモデルはすぼめられた唇を表示し得る。付随する音声ストリームおよび他の顔の特徴は、すぼめられた唇という誤表示に対応しない可能性があるが、すべての顔の特徴は実際の画像から再構築されるため、モデルに誤りがあるようには見えない場合がある。したがって、モデルを見る人は、誤りが発生したか否かを判断することができない。
【０００８】
さらに、現状の限られた計算資源では、モデルのリアルタイム表示をリアルタイムビデオ遠隔会議のために行うには、単純化のため、感情を表すのに数個の特徴しか再構築されない。したがって、モデルは見る側の参加者にとってリアルに見えない。また、モデルはサンプル画像から再構築されるため、参加者の実際の画像は見る側の参加者に伝達されない。したがって、サンプル画像に感情が含まれない場合、または再構築された顔の特徴が、関心のある顔の特徴を包含しない場合、顔の特徴によって表される感情の微妙な違いは、モデルでは表現することができない。
【０００９】
したがって、既存の技術の欠点に対処したビデオ遠隔会議装置が必要である。その装置は単純であり、費用効率的であり、かつ既存の技術に容易に適合可能であるべきである。本発明はこういったニーズに応えるものである。
【発明の開示】
【００１０】
格納式カメラ装置を開示する。本発明による装置の使用を通して、ビデオ遠隔会議環境は、ジェスチャー、表情、およびボディランゲージ等の個人的な特徴をリアルタイムで伝達することができる。さらに、カメラ装置の格納可能な性質により、ユーザは装置を格納位置にし、それにより、装置を利用していないときには装置をユーザの視界から事実上消すことができる。
【００１１】
本発明の第１の態様は、格納式カメラ装置を含む。この装置は、収容部と、収容部に結合された少なくとも１つのアーム部であって、格納位置と展開位置とで可動である少なくとも１つのアーム部と、少なくとも１つのアーム部に結合された少なくとも１つのカメラと、を備える。
【００１２】
本発明の第２の態様は、画像を取り込むシステムを含む。このシステムは、デスクトップビデオディスプレイと、デスクトップビデオディスプレイに結合された格納式カメラ装置と、を備え、格納式カメラ装置は、収容部と、収容部に結合された少なくとも１つのアーム部であって、格納位置と展開位置との間で可動である少なくとも１つのアーム部と、少なくとも１つのアーム部に結合された少なくとも１つのカメラと、を備える、装置を含む。
【００１３】
本発明の他の態様および利点が、本発明の原理を例として示す添付図面と併せて行われる以下の詳細な説明から明らかになろう。
【発明を実施するための最良の形態】
【００１４】
本発明は、格納式カメラ装置に関する。以下の説明は、当業者が本発明を利用することができるようにするために提示され、特許出願およびその要件に則り、提供される。好ましい実施形態、ならびに本明細書において説明する一般原理および特徴に対する様々な変更が当業者に容易に明らかになろう。したがって、本発明は、図示の実施形態への限定を意図せず、本明細書において説明する原理および特徴に一致する最も広い範囲が認められることを意図する。
【００１５】
したがって、本発明の一実施形態は、仮想環境におけるリアルタイムビデオ通信を容易にする装置である。この装置は、ローカル参加者のビデオストリームを生成するために利用される。こういったビデオストリームはビュー合成技法と併せて利用されて、ビデオ通信セッション中に、リモート参加者により観察される、ローカル参加者のリアルタイム映画像が生成される。
【００１６】
図２Ａは、本発明の一実施形態による装置２００の図である。装置２００は、３つのアーム部２０２、２１１、２１４、中央収容部２０８、および基部２１８を備える。外側アーム部２０２、２１４はそれぞれ、中央収容部２０８に格納可能に結合され、中央収容部２０８は基部２１８に結合される。中央アーム部２１１もまた中央収容部２０８に結合される。
【００１７】
本発明の一実施形態による装置をよりよく理解するために、これより図２Ｂを参照されたい。図２Ｂは、本発明による装置２００の一実施形態の背面斜視図である。図２Ｂにおいて見て取ることができるように、中央アーム部２１１は中央収容部２０８に結合される。一実施形態では、装置２００はプラスチック等の材料からなる。
【００１８】
再び図２Ａを参照すると、装置２００はデスクトップビデオディスプレイに結合することが可能である。図２Ａに示す実施形態では、デスクトップビデオディスプレイはフラットパネルデスクトップビデオディスプレイ２２０である。装置２００は、複数のデジタルカメラ２０４、２０６、２１０、２１２、２１６をさらに備える。一実施形態では、２つのカメラ２０４、２０６は第１の外側アーム２０２に結合され、２つのカメラ２１２、２１６は第２の外側アーム２１４に結合される。第５のカメラ２１０は中央アーム２１１に結合される。
【００１９】
本実施形態はフラットパネルデスクトップビデオディスプレイ２２０と併せて示されるが、当業者は、本発明による装置２００は、本発明の精神および範囲内にありながら、様々な異なるビデオディスプレイ向けに構成することが可能なことを容易に認めるであろうことに留意されたい。
【００２０】
本発明の一実施形態では、外側アーム２０２、２１４は、中央収容部２０８の中に可動的に格納することができる。したがって、装置２００は展開位置および格納位置に配置することが可能である。一実施形態では、展開位置は図２Ａに示す位置である。展開位置では、アーム２０２、２１４は、カメラ２０４、２０６、２１２、２１４がディスプレイ２２０の正面にある画像を取り込むことが可能となるように、中央収容部２０８の両側から延出する。逆に、格納位置では、アーム２０２、２１４は中央収容部２０８の中に可動的に格納される。図２Ｃは、格納位置にある装置２００を示し、アーム（見えない）は中央収容部２０８の中に可動的に格納されている。外側アーム２０２、２１４の格納可能な性質により、ユーザは、装置２００を格納位置に配置することができ、それによって装置２００は、利用されていないときにはユーザの視界から事実上消える。
【００２１】
これより図２Ｄを参照されたい。図２Ｄは、本発明の一実施形態による装置の上面斜視図を示す。図２Ｄにおいてはっきりと見て取ることができるように。５つのデジタルカメラ２０４、２０６、２１０、２１２、２１６はすべてローカル参加者２５０と対面し、ローカル参加者２５０を取り囲む。ローカル参加者２５０は５つのカメラ２０４、２０６、２１０、２１２、２１６と対面する。一実施形態では、装置２００は、５つのデジタルカメラ２０４、２０６、２１０、２１２、２１６を介して５つのビデオストリームをリアルタイムで、複数の視点から生成する。これら複数のビデオストリームから、ビュー合成方法を実施し、ローカル参加者の任意の視点からの新しいビューを生成することができる。新しいビューの生成はリアルタイムで行われ、仮想環境内のリアルタイムビデオ通信を提供する。
【００２２】
５つの別個のカメラが本実施形態において使用されるが、所望の画質に応じてカメラの台数を増減することが可能である。一実施形態では、カメラは５つの低コストの小型デジタルカメラである。しかし、当業者は、本発明の精神および範囲内にありながら、様々な異なるカメラを本発明と併せて採用し得ることを容易に理解できるであろう。
【００２３】
本発明の代替の一実施形態では、装置２００は音声機能をさらに備える。これには、装置２００に結合された１つまたは複数の小型マイクロホンを利用することが関わる。たとえば、マイクロホン（複数可）をアーム部２０２、２１１、２１４のうちの１つもしくはすべてに、または中央収容部２０８に結合することができる。各マイクロホン（複数可）は、音声入力をリアルタイムで受け取ることが可能である。したがって、音声入力をビデオストリームと組み合わせて、たとえば、ビデオ遠隔会議環境において他の見る側の参加者との音声および映像のコミュニケーションインタラクションを行うことができる。
【００２４】
さらに、他の見る側の参加者とのコミュニケーションインタラクションをさらに提供するために、本発明の代替の一実施形態は、装置２００に結合され、ビデオ遠隔会議環境において他の見る側の参加者から受け取った音声入力を伝送する１つまたは複数のスピーカを備える。
【００２５】
本発明のさらに別の実施形態では、装置２００は、コンピュータシステム上のオペレーティングシステムに結合され、オペレーティングシステムと併せて、またサーバに接続して利用されように設計される。しかし、装置２００についてコンピュータシステム上のオペレーティングシステムと併せて、またサーバに接続して利用される一般的な状況で説明するが、当業者は、本発明は他のプログラムモジュールと併せて実施することも可能なことを理解できるであろう。一般に、プログラムモジュールとしては、特定のタスクを実行する、または特定の抽象データ型を実装するルーチン、オペレーティングシステム、アプリケーションプログラム、構成要素、データ構造等が挙げられる。さらに、当業者は、本発明が、ハンドヘルド装置、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラマブル家庭用電化製品、ミニコンピュータ、メインフレームコンピュータ等を含め、他のコンピュータシステム構成を使用して実施することも可能なことを理解できるであろう。
【００２６】
本発明による装置と併せて利用することができるコンピュータシステムの例として、図３を参照されたい。図３では、キーボード３１１、マウス３１２、およびディスプレイ２２０（図２Ａ）を備えたコンピュータシステム３００をブロック図の形で示す。システム３００は１つまたは複数のシステムバス３２１を備え、システムバス３２１に様々な構成要素が結合され、システムバス３２１により、様々な構成要素間での通信が実現する。システムバス３２１にはマイクロプロセッサ３２２が接続され、マイクロプロセッサ３２２は、これらもまたシステムバス３２１に接続された読み取り専用メモリ（ＲＯＭ）３２３およびランダムアクセスメモリ（ＲＡＭ）３２４によってサポートされる。マイクロプロセッサは、３８６、４８６、またはＰｅｎｔｉｕｍマイクロプロセッサを含むIntelマイクロプロセッサファミリの１つである。しかし、６８０００、６８０２０、または６８０３０マイクロプロセッサ等のMotorolaのマイクロプロセッサファミリ、およびIBM製のＰｏｗｅｒＰＣチップ等の様々な縮小命令セットコンピュータ（ＲＩＳＣ）マイクロプロセッサを含むが、これらに限定されない他のマイクロプロセッサ。Hewlett Packard、Sun、Motorola、および他製の他のＲＩＳＣチップも特定のコンピュータにおいて使用することが可能である。
【００２７】
ＲＯＭ３２３は、特に、プロセッサ、ディスクドライブ、およびキーボードの対話等、基本的なハードウェア動作を制御する基本入出力システム（ＢＩＯＳ）を含む。ＲＡＭ３２４は、オペレーティングシステム３４０およびビデオ取り込みソフトウェアモジュール３５０がロードされるメインメモリである。メモリ管理チップ３２５がシステムバス３２１に接続され、ＲＡＭ３２４、ハードディスクドライブ３２６、およびフロッピーディスクドライブ３２７の間でのデータの受け渡しを含むダイレクトメモリアクセス動作を制御する。ＣＤ  ＲＯＭ３３２もシステムバス３２１に結合され、大量のデータ、たとえばマルチメディアプログラムまたはプレゼンテーションの記憶に使用される。
【００２８】
このシステムバス３２１には、様々なＩ／Ｏコントローラ、すなわちキーボードコントローラ３２８、マウスコントローラ３２９、ビデオコントローラ３３０、およびオーディオコントローラ３３１も接続される。予想し得るように、キーボードコントローラ３２８はキーボード３１１のハードウェアインタフェースを提供し、マウスコントローラ３２９はマウス３１２のハードウェアインタフェースを提供し、ビデオコントローラ３３０はディスプレイ２２０のハードウェアインタフェースであり、オーディオコントローラ３３１はスピーカ３１３、３１４のハードウェアインタフェースである。トークンリングアダプタ等のＩ／Ｏコントローラ３３３により、ネットワークを介して他の同様に構成されたデータ処理システムと通信することが可能になる。
【００２９】
一実施形態では、本発明は、通信ネットワークを通してリンクされた遠隔処理装置がタスクを実行する分散計算環境と併せて利用することも可能である。分散計算環境では、プログラムモジュールはローカルおよびリモート両方のメモリ記憶装置にあり得る。プログラムモジュールの実行は、スタンドアロン形式でローカルに、またはクライアント／サーバ形式でリモートで行うことができる。このような分散計算環境の例としては、オフィスのローカルエリアネットワーク、企業規模のコンピュータネットワーク、およびインターネットが挙げられる。
【００３０】
再び図３を参照されたい。分散計算環境に対応するため、ローカルハブノード３８０が利用されて、セッション管理を受け持つ中央ホストと調整が取られる。たとえば、ローカルハブノード３８０は中央ホストにコンタクトをとり、仮想環境内の既存の通信セッションに参加するか、あるいは新しい通信セッションを作成する。ローカルが既存のセッションに参加ようとしている場合、中央ホストは、通信セッションに参加しているもののポータルにある各ローカルハブノードに、新しい参加者がいることを通知する。新しいポータルロケーション（ローカルハブノード）が初期化され、これ以降、通信セッションのすべての参加者は、仮想環境でのいずれの位置更新も互いに通知し合う。これは、ピアツーピア接続で行われ、仮想環境内のリアルタイムインタラクションを容易にすることができる。
【００３１】
本発明をよりよく理解するために、これより図４を参照されたい。図４は、本発明の一実施形態と併せて利用することができるビデオ取り込みソフトウェアモジュール３５０のより詳細な図である。ビデオ取り込みソフトウェアモジュール３５０は、カメラ取り込みモジュール３５１、輪郭抽出モジュール３５２、ビュー合成モジュール３５３、音声取り込みモジュール３５４、オプションの記憶されたビデオフレーム３５５、ネットワークインタフェースモジュール３５６、および仮想環境ユーザインタフェースモジュール３５７を備える。
【００３２】
カメラ取り込みモジュール３５１は、カメラ２０４〜２１６からビデオストリームを受け取る。輪郭抽出モジュール３５２は、カメラ２０４〜２１６それぞれからやって来る各リアルタイムビデオストリームから、ローカル参加者を割り出す、または切り離す。オプションのモジュール３５５は、代替のビデオストリームソースを輪郭抽出モジュールに入力するために（たとえば、デバッグのために）カメラ２０４〜２１６から生成されるビデオフレームを記憶することができる。前景に位置するローカル参加者は、カメラ２０４〜２１６が受け取っている各ビデオストリームにより、物理的な背景から切り離される。このようにして、ローカル参加者は、物理世界の背景から分けられる。ビュー合成技法を利用して、ローカル参加者の三次元モデルが、見る側の参加者に関連付けられた新しいビューから生成される。その後、他の見る側の参加者とのコミュニケーションインタラクションのために、三次元モデルの画像ベースの表現を合成すなわち仮想環境に仮想的に配置することができる。
【００３３】
輪郭抽出は、カメラ取り込みモジュール３５１から受け取った各ビデオストリームに対して別個に行われる。たとえば、輪郭抽出は、輪郭抽出モジュール３５２内で、カメラ２０４が出力したリアルタイムビデオストリームに対して、ならびにモジュール３５５からの記憶されていたビデオフレームに対して行われる。さらに、輪郭抽出は、輪郭抽出モジュール３５２内で、カメラ２０６が出力したリアルタイムビデオストリームに対して、ならびにモジュール３５５からの記憶されていたビデオフレームに対しても行われる。同じことがカメラ２１０、２１２、２１６から受け取られるビデオストリームに対しても言える。
【００３４】
物理的な背景から前景を割り出すために、装置２００は較正段階を経る。まず、第１の動作段階はカメラの較正である。この動作により、各カメラ２０４〜２１６の内因性および外因性両方のカメラパラメータが抽出される。内因性パラメータは各ビデオカメラ内部のものであり、レンズ歪みパラメータ、焦点距離、視野、アスペクト比、および色感度の定量化を含む。外因性パラメータは、ローカル参加者（たとえば、図３の参加者２５０）と対向する各カメラ取り込みモジュールの向きおよび位置である、カメラの姿勢を含む。
【００３５】
次に、前景に参加者が存在しない複数の画像が集められ、各カメラでの各ピクセルごとに背景モデルを構築する。このデータは、輪郭抽出のためにモジュール３５５に記憶することができる。このモデルは、背景を見た際に、各センサ素子にある各カラーチャネルごとの平均および標準偏差が何であるかを指定する統計的な特徴である。これにより、各カメラビューにおいてユーザを背景から割り出すことができる。多モードの色統計表現およびガウス分布関数の混合等、他の背景モデルも容易に実施することができる。
【００３６】
ビュー合成モジュール３５３が用いられて、仮想環境内の他の見る側のリモート参加者の視点からの、ローカル参加者の新しいビューが生成される。見る側の各参加者の視点がそれぞれ、仮想環境の座標空間内におけるローカル参加者から見る側の各参加者への方向と関連付けられる。ローカル参加者の新しいビューは、見る側の参加者それぞれごとに生成される。ローカル参加者の新しいビューはリアルタイムで生成される。たとえば、ｍ人の見る側の参加者がいる場合、ｍ人の見る側の参加者のそれぞれにつき１個ずつ、ローカル参加者のｍ個の新しいビューが生成される。
【００３７】
ｍ個の新しいビューのそれぞれの構築は、様々なビュー合成技法を用いて行われる。ビュー合成技法は、複数のサンプル視点から撮影されたローカル参加者の様々なリアルタイムビデオストリームから、仮想環境における見る側の参加者の視点等、新しく任意の視点から見た新しいビューを再構築する。ローカル参加者の新しいビューは、ローカル参加者と見る側の参加者との間のアイコンタクトを取り込むことが可能である。次いで、ローカル参加者の新しいビューは再構築からレンダリングされる。
【００３８】
中間ステップは、ローカル参加者の三次元モデルを、見る側の参加者の視点からレンダリングすることを含む。三次元モデルは、ローカル参加者の様々なリアルタイムビデオストリームから生成される。仮想環境の三次元合成レンダリングでブレンディングするため、モデルが二次元でレンダリングされる。
【００３９】
たとえば、ビュー合成モジュール３５３内で、第１の見る側の参加者の視点からの新しいビューの出力が、カメラ２０４〜２１６に関連する複数のサンプル視点のそれぞれからのビデオストリームから再構築される。各サンプル視点からのリアルタイムビデオストリームは、輪郭抽出モジュール３５２において物理的な背景からローカル参加者を抽出しており、ビュー合成モジュール３５３に入力される。
【００４０】
同様に、ビュー合成モジュール３５３は、仮想環境における第２の見る側の参加者の視点からのローカル参加者の新しい映画像ストリームを出力する。見る側の参加者の視点からの新しいビデオストリームのそれぞれは、物理的な背景からローカル参加者が抽出された、カメラ２０４〜２１６に関連する複数のサンプル視点のそれぞれからのビデオストリームから再構築される。
【００４１】
一実施形態では、ビデオ取り込みソフトウェアモジュール３５０は、音声取り込みモジュール３５４も備える。モジュール３５４は、ローカル参加者の音声入力をリアルタイムで受け取るマイクロホンも備えることができる。音声入力を、見る側の参加者の視点からのビデオストリームとネットワークインタフェースモジュール３５６内で組み合わせて、リアルタイムインタラクションのためにローカル参加者の写実的なレンダリングを生成することができる。
【００４２】
モジュール３５６から、ビデオストリームおよび音声ストリームを、対応する見る側の参加者にピアツーピア通信接続を介して直接送ることができる。ピアツーピア通信は、音声／ビデオデータに対する処理量を最小限に抑えて、リアルタイムインタラクションを確保する。
【００４３】
さらに、ビデオ取り込みソフトウェアモジュール３５０は、仮想環境ユーザインタフェースモジュール３５７も備える。モジュール３５７は、仮想環境内でのローカル参加者インタラクションを提供する。各参加者は、その参加者を表す、関連する仮想アバターの、仮想環境内での仮想位置を制御することができる。実施形態はマウスまたはカーソルキーを使用して、仮想環境の中でローカル参加者を動かすが、他の入力手法も同様に使用することが可能である。たとえば、ユーザインタフェースモジュール３５７を使用して、仮想環境内の、ローカル参加者を表す仮想アバターを移動させることができる。また、ユーザインタフェースモジュール３５７を使用して、仮想環境において、ローカル参加者を表す仮想アバターを、垂直軸を中心として回転させることができる。これは、仮想環境の座標系内の、ローカル参加者を表す仮想アバターの向きを確定させる。これにより、ローカル参加者は、仮想環境内の特定位置で３６０度にわたる様々な視点を得ることができる。
【００４４】
さらに、モジュール３５７は、仮想環境内でローカル参加者とやりとりしている見る側の参加者に関連する、対応する入力音声ストリームおよびビデオ画像ストリームを受け取る。入力音声ストリームおよび対応するビデオ画像ストリームは、見る側の参加者から送られる。仮想環境内のローカル参加者の視点から、別個の音声ストリームおよび対応するビデオ画像ストリームが、見る側の参加者それぞれごとに生成され、仮想環境の座標空間内の、見る側の各参加者からローカル参加者への方向が関連付けられる。これらの音声ストリームおよびビデオ画像ストリームは、見る側の参加者の、それぞれの物理的な場所にあるシステム上で生成することができる。このようにして、仮想環境内の各参加者は、物理的には離れた場所にいても、通信セッションに参加することができる。
【００４５】
ディスプレイ２２０はユーザインタフェースモジュール３５７に結合され、ローカル参加者の視点から仮想環境を見るために利用される。ローカル参加者の向きに応じて、見る側の参加者からの各ビデオストリームをディスプレイ２２０で見ることができる。ディスプレイ２２０の視野は限られているため、ディスプレイ２２０に表示される仮想空間の歪みおよび変形により、仮想環境の視野が広げられる。これは、仮想世界と物理的なディスプレイの間に幾何学的形状の不一致をもたらし得るが、依然として、その歪んだ空間内で、アイコンタクト等、参加者の写実的な画像をすぐに利用することが可能である。
【００４６】
したがって、本発明はローカル参加者と見る側のリモート参加者の間とのアイコンタクトの知覚を生成するため、自然なコミュニケーションが通信セッションの参加者間に保たれる。たとえば、ローカル参加者の感情の現れが、カメラ２０４、２０６、２１０、２１２、２１６によって取り込まれ、通信セッションの他の参加者に送られて、対応するアバターを使用して写実的に表示される。アイコンタクトを意図的に避けることに関連する緊張感も残る。これにより、ローカル参加者と仮想環境に含まれる通信セッション内の複数の見る側の参加者との間にリアルタイムビデオ通信が可能になる。
【００４７】
格納式カメラ装置を開示する。本発明による装置の使用を通して、ビデオ遠隔会議環境は、ジェスチャー、表情、およびボディランゲージ等の個人的な特徴をリアルタイムで伝達することができる。さらに、装置の格納可能な性質により、ユーザは装置を格納位置に配置し、それにより、装置を利用していないときには装置をユーザの視界から事実上消すことができる。
【００４８】
本発明について図示の実施形態に従って説明したが、当業者は、実施形態に対する変形が存在することが可能であり、それらの変形は本発明の精神および範囲内にあることを容易に認識できるであろう。したがって、当業者は、添付の特許請求の範囲の精神および範囲から逸脱することなく多くの変更を行うことが可能である。
【図面の簡単な説明】
【００４９】
【図１】従来のビデオ遠隔会議システムを示す。
【図２Ａ】本発明の一実施形態による装置の正面斜視図である。
【図２Ｂ】本発明の一実施形態による装置の背面斜視図である。
【図２Ｃ】本発明の一実施形態による格納位置にある装置を示す。
【図２Ｄ】本発明の一実施形態による装置の上面斜視図である。
【図３】本発明の一実施形態による装置と併せて利用することが可能なコンピュータシステムの例を示す。
【図４】本発明の一実施形態によるビデオ取り込みソフトウェアモジュールのより詳細な図を示す。
【図１】
0004465278.tif 000002
【図２Ａ】
0004465278.tif 000003
【図２Ｂ】
0004465278.tif 000004
【図２Ｃ】
0004465278.tif 000005
【図２Ｄ】
0004465278.tif 000006
【図３】
0004465278.tif 000007
【図４】
0004465278.tif 000008