(57)【要約】【課題】インタネットのユーザがリモートサーバのスタジオ内のあらゆる視点から三次元オブジェクトを表示することのできる、双方向型の仮想テレプレゼンスシステムを提供すること。【解決手段】双方向型の仮想テレプレゼンスシステムは、インタネットユーザがリモートサーバのスタジオで三次元のオブジェクトをどの視点からでも表示できるようにする。本システムには、三次元オブジェクトに向けられた数台のビデオカメラと、計算を行って立体をボクセルで表すユーザサイトのコンピュータが含まれる。サーバは、それぞれのカメラのビューとボクセル情報をブロードキャストする。ユーザはビューの視点を選択し、ユーザサイトのコンピュータは要求された視点とボクセル情報に最も近いカメラのビューを受信して補間し、選択されたビューを生成する。
2004514205.tif 000002
【特許請求の範囲】
【請求項１】
仮想テレプレゼンスのためのインタネットシステムであって、
それぞれが独自の視点からそれぞれの実際の視点のビデオストリームを提供する、シーン監視のための複数のカメラと、
前記複数のビデオカメラのそれぞれに接続され、当該シーンの３Ｄ画像を描画するボクセルデータベースの計算を行う、ボリュームエレメントプロセッサと、
前記複数のビデオカメラからそれぞれ当該それぞれの実際の視点のビデオストリームを受信するとともに、前記ボリュームエレメントプロセッサから当該ボクセルデータベースを受信するために接続されたネットワークサーバと、
を備え、
新たな視点の特定のレンダリングがネットワーククライアントに任され、係る情報の転送が前記ネットワークサーバによって行われるインタネットシステム。
【請求項２】
ユーザによる新たな視点の選択を提供されることができ、前記複数のビデオカメラから当該それぞれの実際の視点のビデオストリームの一部を送信するために前記ネットワークサーバに情報を送信するネットワーククライアントを更に備える請求項１に記載のシステム。
【請求項３】
インタネットを介して前記ネットワークサーバに転送される新たな視点の選択Ｎが前記ネットワーククライアントに提供され、
当該新たな視点の選択Ｎのレンダリングに必要な、前記複数のビデオカメラからの前記それぞれの実際のビデオストリームのみを持つ特定の前記ネットワーククライアントに対して、前記ネットワークサーバが応答する請求項２に記載のシステム。
【請求項４】
インタネットを介して前記ネットワークサーバに転送される新たな視点の選択Ｎが前記ネットワーククライアントに提供され、
当該新たな視点の選択Ｎにより表示される視点のレンダリングに最も適した前記複数のビデオカメラからの単一の実際のビデオストリームのみを持つ特定の前記ネットワーククライアントに対して、前記ネットワークサーバが応答する請求項２に記載のシステム。
【請求項５】
前記ネットワーククライアントに接続され、当該新たな視点の選択により表示される視点を生成するレンダリング装置を更に備える請求項２に記載のシステム。
【請求項６】
前記ネットワーククライアントが、当該ボクセルデータベースをインタネットを介して送信するためのデータ圧縮装置を備え、
前記ネットワークサーバが、当該ボクセルデータベースをインタネットで受信するための対応するデータ解凍装置を含む請求項２に記載のシステム。
【請求項７】
それぞれ前記複数のビデオカメラに対応し、当該実際の視点のビデオストリームを提供する複数のビデオキャプチャデバイスを更に備える請求項１に記載のシステム。
【請求項８】
それぞれ前記複数のビデオカメラに対応し、当該実際の視点のビデオストリームを提供する複数の背景除去装置を更に備える請求項７に記載のシステム。
【請求項９】
前記複数のビデオカメラに対応する前記背景除去装置に接続され、当該シーン内の３Ｄオブジェクトを表示する輪郭ソリューションを提供する輪郭プロセッサを更に備える請求項８に記載のシステム。
【請求項１０】
前記輪郭プロセッサと前記ボリュームエレメントプロセッサ間に交点プロセッサを更に備える請求項９に記載のシステム。
【請求項１１】
インタネットを介して使用するための仮想テレプレゼンスシステムであって、
それぞれが独自の視点からそれぞれの実際のビデオストリームを提供する、シーン監視のための複数のカメラと、
前記複数のビデオカメラのそれぞれに接続され、当該シーンの３Ｄ画像を描画するボクセルデータベースの計算を行うボリュームエレメントプロセッサと、
前記複数のビデオカメラから当該それぞれの実際の視点のビデオストリームを受信するとともに、前記ボリュームエレメントプロセッサから当該ボクセルデータベースを受信するために接続され、当該新たな視点の選択Ｎのレンダリングに必要な、前記複数のビデオカメラの当該それぞれの実際のビデオストリームのみを持つ特定のネットワーククライアントに対して応答するとともに、当該新たな視点の選択Ｎにより表示される視点のレンダリングに最も適した、前記複数のビデオカメラの実際の視点ビデオストリームを一つだけ持つ特定のネットワーククライアントに応答するネットワークサーバと、
ユーザによる新たな視点の選択を提供されることができ、前記複数のビデオカメラから当該実際の視点のビデオストリームの一部を送信するために前記ネットワークサーバに情報を送信し、インタネットを介して前記ネットワークサーバに転送される新たな視点の選択Ｎが提供されるネットワーククライアントと、
前記ネットワーククライアントに接続され、当該新たな視点の選択により表示される視点を生成するレンダリング装置と、
前記ネットワーククライアント内に含まれ、当該ボクセルデータベースをインタネットを介して送信するデータ圧縮装置と、
前記ネットワークサーバ内に含まれ、当該ボクセルデータベースをインタネットを介して受信する対応するデータ解凍と、
を備え、
新たな視点の特定のレンダリングが前記ネットワーククライアントに任され、係る情報の転送が要求に応じて前記ネットワークサーバにより行われる仮想テレプレゼンスシステム。
【請求項１２】
３Ｄ画像情報をインタネットを介して通信するための方法であって、
シーン内に戦略的に配備された複数のカメラから、いくつかのビデオストリームを同時にキャプチャするステップと、
当該シーン内の３Ｄオブジェクトのボクセルデータベースを計算するステップと、
当該ボクセルデータベースと、当該いくつかのビデオストリームの少なくとも一つとをネットワークサーバからインタネットを介して送信するステップと、
受信した当該ボクセルデータベースと、当該いくつかのビデオストリームの少なくとも一つとから、ネットワーククライアントで新たな視点をレンダリングするステップと、
を備える方法。
【請求項１３】
当該ネットワーククライアントで、ユーザの新たな視点の選択を受理するステップと、
ユーザが選択した当該新たな視点を当該ネットワークサーバに伝達するステップと、
ユーザが選択した当該新たな視点に関連する特定のネットワーククライアントへの当該ネットワークサーバによるインタネットの転送から、一つ以上の当該ビデオストリームの転送を取り除くステップと、
を更に備える請求項１２に記載の方法。
【請求項１４】
３Ｄ画像をインタネットを介して通信するための方法であって、
シーン内に戦略的に配備された複数のカメラから、いくつかのビデオストリームを同時にキャプチャするステップと、
当該シーン内の３Ｄオブジェクトのボクセルデータベースを計算するステップと、
当該ボクセルデータベースを圧縮し、圧縮ボクセルデータストリームを生成するステップと、
当該圧縮ボクセルデータストリームと、当該いくつかのビデオストリームの少なくとも一つとをネットワークサーバからインタネットを介して送信するステップと、
当該圧縮ボクセルデータストリームをネットワーククライアントで解凍し、ボクセルデータベースを生成するステップと、
当該ボクセルデータベースと、受信した一つ以上の当該ビデオストリームから、当該ネットワーククライアントで新たな視点をレンダリングするステップと、
ユーザの当該新たな視点の選択を当該ネットワーククライアントで承認するステップと、
ユーザの当該新たな視点の選択を当該ネットワークサーバに伝達するステップと、
ユーザの当該新たな視点の選択に関連する特定のネットワーククライアントへの当該ネットワークサーバによるインタネットの転送から一つ以上の当該ビデオストリームの転送を取り除くステップと、
を備える方法。
【請求項１５】
仮想テレプレゼンスのためのインタネットシステムであって、
それぞれが独自の視点からそれぞれの実際のビデオストリームを提供する、シーン監視のための複数のカメラと、
前記複数のビデオカメラのそれぞれに接続され、当該シーンの３Ｄ画像を描画するボクセルデータベースの計算を行うボリュームエレメントプロセッサと、
前記複数のビデオカメラからそれぞれ当該実際の視点のビデオストリームを受信するとともに、前記ボリュームエレメントプロセッサから当該ボクセルデータベースを受信するために接続されたネットワークサーバと、
当該ビデオストリームから任意の背景情報を除去し、符号化を任意の前景のオブジェクトに制限する背景除去装置と、
を備え、
新たな視点の特定のレンダリングがネットワーククライアントに任され、情報の転送が前記ネットワークサーバによって行われるインタネットシステム。
【請求項１６】
当該ビデオストリームの不可逆圧縮を行なってネットワークの帯域幅の条件を緩めるデータ圧縮装置を更に備える請求項１５に記載のシステム。
【請求項１７】
３Ｄ画像情報をインタネットを介して通信するための方法であって、
シーン内に戦略的に配備された複数のカメラから、いくつかのビデオストリームを同時にキャプチャするステップと、
当該シーン内の３Ｄオブジェクトのボクセルデータベースを計算するステップと、
当該シーンに描出された背景情報を除去するステップと、
当該ボクセルデータベースと、当該いくつかのビデオストリームの少なくとも一つをネットワークサーバからインタネットを介して送信するステップと、
受信した当該ボクセルデータベースと、当該いくつかのビデオストリームの少なくとも一つから、ネットワーククライアントで新たな視点をレンダリングするステップと、
を備える方法。
【請求項１８】
当該ビデオストリームを不可逆圧縮装置で圧縮してネットワークの帯域幅条件を緩めるステップを更に備える請求項１５に記載のシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、三次元オブジェクトの合成された視点のビューを効率良く表示及び伝達することに関し、特に、双方向型のビデオ会議をサポートするため、ネットワーククライアントの要求に応じてリアルタイムで送信されなければならないインタネットパケットの数を減じることに関する。
【０００２】
【従来の技術】
インタネット接続の限られた帯域幅は、グラフィック映像、特に三次元画像の双方向型リアルタイム通信を大幅に制限する。通常、数十台のビデオカメラが、それぞれ異なる視点で一つの三次元オブジェクトに向けられる。ユーザは表示する視点の一つを選択するか、或いは、近接した複数の視点から補間することのできる視点を選択することが可能である。しかし、これらすべての情報を同時に送信したり、多数のユーザが要求する可能性のあるすべての補間を行ったりすることは、サーバとインタネットパイプの双方に過度の負荷をかけることになる恐れがある。
【０００３】
立体オブジェクトは、いわゆる「ボクセル」で表すことができる。ボクセルは、二次元画像を描出するのに使用される三次元のピクセルに相当する。ボクセルには、それぞれ空間を表すｘ、ｙ、ｚのアドレスと、その座標が立体の内側にあるのか、又は外側にあるのかを示す値が含まれる。ボクセルのマップは、十分な数の視点によって得られるビデオ画像から計算することができる。立体表面の外観は、それぞれのカメラからキャプチャすることも可能である。視点間の画像の補間は、ワーピング、又はモーフィングによって行うことができる。
【０００４】
チェン及びウィリアムズに与えられた米国特許第５，６１３，０４８号には、立体の構造を補間する第一の方法が説明されている。オフセットマップは、隣接した二つの画像の間で対応マップから作成される。この特許は参考として本特許に組み入れられている。
【０００５】
第二の方法では、オブジェクトに関する構造上の情報が使用される。ボクセル情報は、数台のカメラによって提供されるビデオ画像から導出される。深度マップはそれぞれのカメラの視点について計算することができ、例えば、三角法など、表面上の点と点との間の対応関係から求められる。別の技法には、交点の輪郭の使用が関与する。立体のボクセルが決定されれば、隣接した（実際の）ビューから中間（仮想）のビューを求めることができる。
【０００６】
リモート環境を三次元で再構築する従来の方法では、膨大な計算及び通信資源が費やされ、必要なセンサーの数が多すぎて経済的に見合わない。従って、オブジェクトの外観のモデル化及びレンダリングに、従来の技法をリアルタイムで適用することは実質上不可能である。
【０００７】
カーネギーメロン大学（ＣＭＵ）の「バーチャルリアリティ」研究所における最近の進展は、三次元の形状をリアルタイムで再構築することが可能であることを証明している。ビデオをベースとしたビュー生成アルゴリズムは、わずかな幾何学的誤差で質の高い結果を生成することが可能である。
【０００８】
リモート環境を三次元で再構築する研究では、リモート環境でオブジェクトの外観とサウンドの両方を復元できることが示されている。ただし、オブジェクトの外観をモデル化する方法では、膨大な計算及び通信資源が費やされ、必要なセンサーの数が多すぎて経済的に見合わない。これらの特質により、基本的なアルゴリズムを改善することなく、リアルタイムでそのような方法を用いることは実質的に不可能となっている。このため、オブジェクトの外観をモデリング及びレンダリングする技法に的を絞ることとした。これらの技法は、大まかに直接的三次元技法、画像領域技法、そしてビデオに基づく技法という三つのグループに分けることができる。
【０００９】
直接的な三次元再構築方法では、シーンから反映されたアクティブな照射における飛行時間、又は位相の変動が測定される。これらの測定値は、直接、三次元の距離の測定値に変換される。センサーはアクティブな照射に依存することから、同一の環境に複数のセンサーが共存することはできない。このため、環境をリアルタイムで完全に三次元で再構築するには適切でない。
【００１０】
画像領域法では、あらゆるオブジェクトからすべての方向に向けて放射される可能性のある、すべての光線のデータベースが作成される。新たな画像を生成するため、望まれる視点を通過するすべての光線が平面上に投影される。片山、田中、大篠、田村による「複数の視点による画像補間を用いた視点依存の立体表示」（『ＳＰＩＥ Ｐｒｏｃ．』、Ｖｏｌ．４０９：立体表示及びバーチャルリアリティシステムＩＩ、ｐ．１１−２０、１９９５）、及びリーボイ　Ｍ．、ハンラハン　Ｐ．による「光照射野のレンダリング」（『ＳＩＧＧＲＡＰＨ ‘９６』、１９９６年８月）、また、ゴートラー　Ｓ．Ｊ．、グルゼスザック　Ｒ．、スゼリスキ　Ｒ．、コーヘン　Ｍ．Ｆ．による「ルミグラフ」（『ＳＩＧＧＲＡＰＨ ‘９６』、１９９６年）を参照されたい。これらの参考情報は、すべて画像領域法の例であり、いずれも質の高い画像を生成することができる。しかし、これらの技法には数千もの視点が必要であり、リアルタイムのイベントの取得には実用的でない。
【００１１】
ビデオに基づいてモデル化及び生成を行う方法では、三次元のモデル構造が明確に作成され、情景のモデルとして実際のビデオ画像が使用される。三次元のモデル構造は、一式のビデオ画像から抽出される。新たなビューは、好みの視点で描出することが可能な三次元モデル上に元のビデオ画像を投影することによって生成される。
【００１２】
二つの視点からの画像を使用すると、画像に基づくステレオの再構築において三次元の構造を予測することができる。所与のカメラ位置、方向、そして焦点距離から、対応関係を使用して、観測面の各点の三次元位置が三角法で求められる。その結果は、深度画像又は範囲画像と呼ばれる。各ピクセルは、例えば、色などではなく、距離で示される。ステレオアルゴリズムに関する最新の研究は、ドンド　Ｕ．Ｒ．及びアッガーウォル　Ｊ．Ｋ．により、「ステレオの構造──研究」（『ＩＥＥＥ ＴｒａＮｓ． ＯＮ ＰａｔｔｅｒＮ ＡＮａｌｙｓｉｓ ａＮｄ ＭａｃｈｉＮｅ ＩＮｔｅｌｌｉｇｅＮｃｅ』、ｐｐ．１４８９−１５１０、１９８９年）で発表されている。ステレオ法は三次元構造を予測できるが、適度にばらつきのあるシーンの内容全体に渡り、一貫して品質及び精度の高い結果を生成できるまでには至っていない。
【００１３】
シーンの三次元モデルを完全に復元するには、複数の範囲の画像が必要であった。これは、一つの範囲の画像には、見えている面の三次元構造しか含まれていないためである。本発明の考案者であるカーネギーメロン大学「バーチャルリアリティ」研究所の金手武雄は、この問題を容積再構築プロセスとして形成することにより、ステレオプロセスで誤差が生じても質の高い堅固なソリューションが生成されることを示した。ランダ　Ｐ．Ｗ．、ナラヤナン　Ｐ．Ｊ．及び金手による「複数の画像シーケンスからの動的なシーン構造の復元」（インテリジェントシステムのためのマルチセンサーの融合及び統合に関する国際会議、１９９６年）を参照されたい。
【００１４】
オブジェクトが含まれる容積は、例えば、ボクセルなどの小さなサンプルに分解することができる。その後、ボクセルごとに評価が行われ、そのボクセルがオブジェクトの内側にあるのか、外側にあるのかが決定される。隣接するボクセルの状態が異なる場合（つまり、一方が内側で他方が外側の場合）、オブジェクトの表面は内側と外側の間を通過しているはずである。このような特性は、すべてのボクセルの評価が終了した後、通常、三角形のメッシュモデルとしてオブジェクトの表面を抽出するのに使用される。この技法は、ステレオで計算された範囲画像の誤差に対する信頼性を向上させるため、何らかの修正が施される点を除き、直接的な三次元測定技法に使用される統合技法と類似している。カーレス及びリーボイ　Ｍ．による「範囲画像から複雑なモデルを構築するための容積法」（『ＳＩＧＧＲＡＰＨ ‘９６』、１９９６年）を参照されたい。また、併せて、ヒルトン　Ａ．、ストッダート　Ａ．Ｊ．、イリングワース　Ｊ．、ウィンデット　Ｔ．による「複数の範囲画像からの信頼度の高い表面再構築」（ＥＣＣＶ　’９６会報、ｐｐ．１１７−１２６、１９９６年４月）、及び、ウィーラー　Ｍ．による「オブジェクト認識の自動モデル化及びローカライズ」（カーネギーメロン大学博士論文、１９９６年）を参照されたい。
【００１５】
これらの方法の本質的な制約は、処理速度である。例えば、ＣＭＵでは、Ｉｎｔｅｌ　Ｐｅｎｔｉｕｍ（登録商標） ＩＩをベースとした１７台のＰＣがクラスタ化され、１０−ｂａｓｅ−Ｔ ＥｔｈｅｒＮｅｔのネットワークで相互接続されているが、それでも１秒間のビデオ入力を処理するのに１０００秒を超える時間を要した。
【００１６】
三次元構造が利用できるようになれば、二つの方法を用いて任意の視点を生成することができる。一方の方法では、視点に関係なく、シーン内のオブジェクトの「基本的」な外観が計算される。その結果、シーン内の三次元オブジェクトのテクスチャマップが生成される。核となるレンダリングプリミティブはテクスチャでマップされた三角形であることから、この形成法は最新のハードウェアグラフィクスアクセラレータにうまくマップされる。ＣＭＵ外ではこの技法が用いられている。カットケア　Ａ．、モエッツィ　Ｓ．、クラムラ　Ｄ．Ｙ．、ジャム　Ｒ．による「ビデオに基づいた没入型環境に向けて」（『ＭｕｌｔｉＭｅｄｉａ Ｓｙｓｔｅｍｓ』、ｖｏｌ．５、Ｎｏ．２、ｐｐ．６９−８５、１９９７年）、モエッツイ　Ｓ．、カットケア　Ａ．、クラムラ　Ｄ．Ｙ．、ジャム　Ｒ．による「複数のビデオシーケンスからのリアリティモデル化及び視覚化」（『ＩＥＥＥコンピュータグラフィクス及びアプリケーション』、ｖｏｌ．１６、Ｎｏ．６、ｐｐ．５８−６３、１９９６年）、ナラヤナン　Ｐ．Ｊ．、ランダ　Ｐ．Ｗ．、金手による「濃密ステレオを用いた仮想世界の構築」（コンピュータビジョンに関するＩＥＥＥ国際会議、１９９８年）、そして、ランダ　Ｐ．Ｗ．、ナラヤナン　Ｐ．Ｊ．、金手による「バーチャルリアリティ：実世界のイベントからの時変仮想世界の構築」（『ＩＥＥＥ Ｖｉｓｕａｌｉｚａｔｉｏｎ ‘９７』、１９９７年）を参照されたい。
【００１７】
第二の方法では、テクスチャマップの作成が省かれる。その代わりに、入力画像は、直接、出力画像にマップされる。テクスチャマップの作成を省略することは、余分なピクセル変換や、三次元モデルの形状誤差によって生じる可能性ある品質の低下を避けるのに役立つ。三次元の情報は、各入力ピクセルを完全な三次元モデルの出力画像もしくは出力範囲画像にマップする方法を決定するのに使用される。入力画像は、原則的に三次元のシーン構造に投影されるので、この構造は、一回の作成プロセスで好みの出力画像に投影することができる。
【００１８】
入力画像はそれぞれ個別に出力にマップすることが可能であることから、出力画像に対する寄与度は個々に重み付けすることができる。例えば、選択された視点が実際の視点に近ければ、その実際のビューの寄与度を大きくし、その他のビューの重み付けを軽くすることができる。この技法は本発明の考案者である金手武雄外によって探究されたものである。チェン及びウィリアムズ　Ｌ．による「画像合成のビュー補間」（『ＳＩＧＧＲＡＰＨ ‘９３』、ｐｐ．２７９−２８８、１９９３年）、カーレス
【００１９】
Ｂ．及びリーボイ　Ｍ．による「範囲画像から複雑なモデルを構築するための容積法」（『ＳＩＧＧＲＡＰＨ ‘９６』、１９９６年）を参照されたい。また、併せて、金手、ナラヤナン　Ｐ．Ｊ．、ランダ　Ｐ．Ｗ．による「バーチャルリアリティ：概念及び初期の結果」（視覚的なシーンの表し方に関するＩＥＥＥワークショップ、１９９５年６月）、ランダ　Ｐ．Ｗ．、ナラヤナン　Ｐ．Ｊ．、金手による「バーチャルリアリティ：実世界のイベントからの時変仮想世界の構築」（『ＩＥＥＥ Ｖｉｓｕａｌｉｚａｔｉｏｎ ‘９７』、１９９７年）、セイツ　Ｓ．Ｍ．、ダイヤ　Ｃ．Ｒ．による「画像補間による物理的に有効なビュー合成」（視覚的なシーンの表し方に関するワークショップ会報、ｐｐ．１８−２５、１９９５年）、そしてセイツ　Ｓ．Ｍ．、ダイヤ　Ｃ．Ｒ．による「ビューモーフィング」（『ＳＩＧＧＲＡＰＨ ‘９６』、ｐｐ．２１−３０、１９９６年）を参照のこと。
【００２０】
画像に基づく方法は、ビューを生成する時間がシーンの複雑さによって異なるので、純粋な仮想三次元の内容のレンダリングはローエンドのＰＣでも加速することができる。選択された視点が入力の視点と完全に一致すれば、出力画像は入力画像とまったく同一になる。その結果、基礎を成す三次元構造の誤差の有無に関係なく、出力には誤差が一切含まれない。ＣＭＵ「バーチャルリアリティ」研究所の最新の分析では、必要とされる最も重要な三次元情報は、画像領域間、特に深度が大きく異なる表面に対応する領域間の境界であることが示されている。斉藤、馬場、木村、ヴェデュラ　Ｓ．、金手による「三次元空間に設置された複数のカメラ画像からの、外観に基づいた、一時的に異なるイベントの仮想ビューの生成」（『三次元デジタルイメージング及びモデリング』（３ＤＩＭ’９９）、１９９９年１０月）を参照されたい（併せてＣＭＵ−ＣＳ−９９−１２７）。
【００２１】
しばしば輪郭又は遮蔽輪郭と呼ばれるこのような境界は、観察者に強力な視覚的ヒントを提供する。これらの境界が正確に示されない方法は、容易に目に付く明白な誤差を生じさせる。このような場合、仮想画像のリアリティは消滅する。斉藤、馬場、木村、ヴェデュラ　Ｓ．、金手による「三次元空間に設置された複数のカメラ画像からの、外観に基づいた、一時的に異なるイベントの仮想ビューの生成」（『三次元デジタルイメージング及びモデリング』（３ＤＩＭ’９９）、１９９９年１０月）を参照されたい（併せてＣＭＵ−ＣＳ−９９−１２７）。これとは逆に、人間の視覚システムは表面の形状の誤差に対する感受性が低いため、人がこの種の不正確さを見抜くことはまれである。
【００２２】
最近の分析では、遮蔽輪郭の識別は、滑らかな表面構造の予測よりもはるかに重要であることが明らかにされている。この識見を得て、ＣＭＵの最近の取り組みは、オブジェクトの輪郭それ自体から三次元のシーン構造を復元することに的が絞られている。このプロセスは、入力画像からオブジェクトの輪郭を抽出することによって開始される。これらの輪郭は、三次元で直接統合され、シーン構造の三次元モデルが復元される。
【００２３】
このプロセスは、ステレオを使用して稠密画像を計算した後、統合を用いて三次元モデルを得るＣＭＵの以前の作業に酷似している。本発明の方法の実施の形態においては、輪郭境界部でのみ再構築プロセスで対応関係が予測される。対応関係の予測は、範囲画像の中間表示を使用するのではなく、ボリューム内で直接行われる。本発明の方法の実施の形態では、計算費用が大幅に削減され、生成されるビューがより一層リアルなものとなっている。
【００２４】
便利な三次元構造は、多額の計算費用を生じさせることなく手に入れることが可能である。ＣＭＵで開発されたビデオに基づくこのレンダリング技法は、連続面でのわずかな形体誤差から影響を受けることのない、質の高いレンダリングを提供する。これらの方法は、双方向的なリモートコラボレーションシステムを創出するために結合することが可能である。一方の側の複数のカメラによる再構築により、複数のビデオストリームと三次元のモデルシーケンスが生成される。この情報は、その後、ビデオに基づくレンダリング技法を用いて新たな視点を生成するのに使用される。
【００２５】
システムの構築においては、いくつかの要因が全体の設計、参加するサイト数、各サイトのユーザ数、計算資源のバランス、通信大域幅、そして通信待ち時間に影響を及ぼす。
【００２６】
リモートの閲覧者の場所に関する知識によって再構築のプロセスが導かれることが考えられるため、各サイトあたりユーザが一名で、通信の待ち時間が比較的短い二つのサイト間の通信では、閲覧者の数が一般的な場合よりも、より効率よく三次元の形状を構築することが可能である。同様に、リモート閲覧者の場所が分かれば、これを利用して通信の帯域幅を減らし、レンダリング処理を加速させることができる。
【００２７】
必要な通信帯域幅を更に減らすために、転送されるデータは圧縮することができる。複数のカメラによるビデオでは、ビデオはそれぞれＭＰＥＧアルゴリズムを使用してエンコードすることが可能である。三次元ジオメトリは、ボクセルあたり単一のビットに減じた後、オクトリ法やランレングスエンコーディングなどの容積データ構造を使用して圧縮することができる。
【００２８】
近年、例えば、直接的な三次元のモデル化及びレンダリング、そして画像領域モデリング及びレンダリングなど、三次元のモデリング及びレンダリングのための別法が開発されている。直接三次元法では、物理システムの簡便な測定から三次元構造が直接予想される。最も一般的な技法では、レーザーによってシーンをアクティブに照射し、光源に反射するレーザー光線の時間、飛行、もしくは位相の変動を測定した後、この測定値をセンサーと照射面との間の距離に変換して、表面の三次元の位置を計算する。シーン内で数多くの三次元の点を取得するため、レーザーで表面全体をスキャンすることができる。これらの技法は、Ｋ２Ｔ， ＩＮｃ． （ｗｗｗ．ｋ２ｔ．ｃｏｍ）やＣｙｒａ ＴｅｃｈＮｏｌｏｇｉｅｓ， ＩＮｃ．の市販製品や、多くのカスタムシステムで使用されている。シーン全体にわたって光ストライプをスキャンする方法は、この技法に手を加えたものである。
【００２９】
別のアプローチでは、シーン全体が何度か照射された後、正確な時間間隔でその反射光が測定される。それぞれの照射で深度解像度というもう一つのビットが生成されるので、高い解像度を迅速に達成することができる。この技法は、３ＤＶ
【００３０】
Ｓｙｓｔｅｍｓ Ｌｔｄ （ｗｗｗ．３ｄｓｙｓｔｅｍｓ．ｃｏｍ）の市販製品に組み入れられている。
【００３１】
どちらの方法でも三次元の情報がもたらされるが、それらの情報はセンサーの視点から見える面に限られる。これらの結果を結合し、三次元モデルを完成させるアルゴリズムが数名の研究者によって開発されている。容積統合に基づくこれらの方法は、最も成功していることが証明されている。カーレス　Ｂ．、リーボイ
【００３２】
Ｍ．による「範囲画像から複雑なモデルを構築するための容積法」（『ＳＩＧＧＲＡＰＨ ‘９６』、１９９６年）、ヒルトン　Ａ．、ストッダート　Ａ．Ｊ．、イリングワース　Ｊ．、ウィンデット　Ｔ．による「複数の範囲画像からの信頼度の高い表面再構築」（ＥＣＣＶ　’９６会報、ｐｐ．１１７−１２６、１９９６年４月）、及び、ウィーラー　Ｍ．による「オブジェクト認識の自動モデル化及びローカライズ」（カーネギーメロン大学博士論文、１９９６年）を参照されたい。
【００３３】
直接的な三次元測定は、二つの制約によって非現実的なものとなっている。第一に、アクティブなシーン照射のために、複数のセンサーが同一環境内に存在することはできない。複数のセンサーが同時に作動すると、一方のセンサーからの照射は他方のセンサーの照射を妨げる。更に、人の近辺でレーザーを使用する際は、眼の安全が常に問題となる。第二に、レーザーで空間をスキャニングすることは、三次元の測定が異なる時間に行われることを意味する。そのような画像は、実際には時系列での形状のサンプリングであり、写真で記録されるようなスナップショットではない。このセンサーの特性は、動きの速いオブジェクトでは明白な形状の歪みをもたらす。
【００３４】
画像領域のモデル化及びレンダリングは、明確な三次元モデル復元の別法である。この方法では、シーンから放射される可能性のある光線がすべてモデル化される。画像は、その光線領域からの二次元の光線束と見なすことができ、この場合、レンダリングには出力画像の各ピクセルを生成するのに最良の光線を選択することが含まれる。この概念を驚くほど簡略にしたものがＡｐｐｌｅ ＱｕｉｃｋＴｉｍｅ ＶＲのオブジェクトムービーである。ここでは、オブジェクトの周囲の正確な位置で、数百にも及ぶ画像がキャプチャされる。その後、表示プログラムにより、ユーザはあたかも実物を回転させているかのように、そのオブジェクトを操作することができる。実際は、ただ単に表示プログラムが最も近いビューをデータベースから選択しているに過ぎない。
【００３５】
より精巧な例では、新たな視点を合成するため、実際に入力画像の光線が補間される。この方法の最初の例は、片山の研究によって初めて提示された。この研究は、片山、田中、大篠、田村による「複数の視点による画像補間を用いた視点依存の立体表示」（『ＳＰＩＥ Ｐｒｏｃ．』、Ｖｏｌ．２４０９：立体表示及びバーチャルリアリティシステムＩＩ、ｐ．１１−２０、１９９５）で、これは、最近、リーボイ　Ｍ．、ハンラハン　Ｐ．による「光照射野のレンダリング」（『ＳＩＧＧＲＡＰＨ ‘９６』、１９９６年８月）の光照射野にまで拡大された。これらと併せて、ゴートラー　Ｓ．Ｊ．、グルゼスザック　Ｒ．、スツェルスキ　Ｒ．、コーヘン　Ｍ．Ｆ．による「ルミグラフ」（『ＳＩＧＧＲＡＰＨ ‘９６』、１９９６年）も参照されたい。光照射野法では、空間内のすべての光線が直接サンプリングされ、光線空間が完全に覆われるように、カメラが正確に配置される。ルミグラフでは、光線空間を埋め尽くすために、任意の位置に配備されたカメラ一式から画像を推定するアルゴリズムが提示されている。
【００３６】
【課題を解決するための手段】
本発明は、インタネットのユーザがリモートサーバのスタジオ内のあらゆる視点から三次元オブジェクトを表示することのできる、双方向型の仮想テレプレゼンスシステムである。このシステムには三次元オブジェクトに向けられた数台のビデオカメラと、立体のボクセル表示を計算するコンピュータが含まれる。サーバは、それぞれのカメラのビューとボクセル情報をブロードキャストする。ユーザは表示する視点を選択し、ユーザサイトのコンピュータは選択されたビューの補間及びレンダリングのため、要求された視点に最も近いカメラのビューとボクセル情報を受信する。
【００３７】
【発明を実施するための形態】
図１は、仮想テレプレゼンスのためのインタネットシステムのブロック図であり、本発明のこの実施の形態では、本明細書中、一般参照番号１００として参照される。このシステム１００により、ユーザは、何らかの三次元オブジェクトもしくはシーンが撮影されるスタジオ１０２に仮想的に存在することができる。ユーザの視点は、どの角度でも選択することが可能である。十分に実装されると、閲覧者はあたかもシーンの中にいるように感じ、例えば、よく見えるようにシーン内を移動することができる。
【００３８】
一般的に、従来のルミグラフシステムは、任意の地点からオブジェクトの画像を見ることのできる、デジタルによるオブジェクトの三次元画像を提供する。２０００年８月にコーヘン外に与えられ、参考として本書にも組み入れられている米国特許第６，０２３，５２３号を参照されたい。また、ゴートラー　Ｓ．Ｊ．外による「ルミグラフ」（コンピュータグラフィクス会報、年次会議シリーズ、１９９６年、ｐｐ．４３−５４、ＡＣＭ−０−８９７９１−７４６−４／９６／００８）を参照されたい。合成、或いは実際のオブジェクトやシーンの外観は、すべて完全に収集される。外観の描写は、あらゆる視点からオブジェクトの画像をレンダリングするのに使用される。このオブジェクトの外観は、そのオブジェクトからあらゆる方向に放射される光線を収集したものである。システムは、ルミグラフ関数と呼ばれる四次元関数の係数としてこのオブジェクト描写を保存する。ルミグラフシステムは、これらの係数が付されたルミグラフ関数から、あらゆる視点でのオブジェクトの二次元画像を生成する。ルミグラフシステムは、ルミグラフ関数を評価し、オブジェクトから放射して画像を形成する光線の輝度値を識別することにより、画像を生成する。そして、これらの輝度値を結合し、画像を形成する。
【００３９】
しかし、インタネットが通信媒体であるときは、このような従来の方法を意図された通りに使用することは非現実的である。これは、使用可能な帯域幅が非常に限られていること、そして従来のシステムでは、実際の画像をすべて同時に通信するための並外れて大きな帯域幅と、仮想視点を計算するための膨大なプロセッサオーバーヘッドが必要となることに起因する。関与するユーザ数でこれらのニーズが増幅されると、タスクは途方もなく膨大な量となる。
【００４０】
スタジオ１０２には、例えば、前後左右及び上部など、オブジェクトの周囲のさまざまな視点に多数のカメラが設置されている。これらの実際の視点は、すべて一群のカメラ１０６〜１０８、及びそれらに対応する視点のビュー１１０〜１１２で描出される。実用においては、少なくとも二台のカメラと視点が必要となる。カメラが配備されていない仮想視点は、すべて実際のビューを補間することによって計算することができる。一組の仮想視点１１４及び１１６は、これらの新しいビューを表す。それぞれのカメラには、フレーム取り込み機能を持ったビデオキャプチャユニット１１８〜１２０が含まれる。キャプチャされたビデオフレームには、普通、それぞれにオブジェクト１０４を取り巻く背景画像が含まれており、背景除去装置１２２〜１２４でシーンから取り除く必要がある。
【００４１】
輪郭は、輪郭プロセッサ１２６によって、背景が取り除かれた画像から計算される。従来の輪郭プロセッサの詳細な構造については、斉藤、馬場、木村、ヴェデュラ　Ｓ．、金手による「三次元空間に設置された複数のカメラ画像からの、外観に基づいた、一時的に異なるイベントの仮想ビューの生成」（『三次元デジタルイメージング及びモデリング』（３ＤＩＭ’９９）、１９９９年１０月）を参照されたい。
【００４２】
輪郭を通して投影することにより作成された光線の交点は、交点プロセッサ１２８によって計算される。交点プロセッサ１２８の実装に関する情報は、ラクルート　Ｐ．による「シアーワープ分解に基づく平行容積レンダリングシステムの分析」（視覚化とコンピュータグラフィクス、容積に関するＩＥＥＥ報告書、１９９６年９月２３日、ｐｐ．２１８−２３１）を参照されたい。また、カットケア　Ａ．、モエッツィ　Ｓ．、クラムラ　Ｄ．Ｙ．、ジャム　Ｒ．による「ビデオに基づいた没入型環境に向けて」（『ＭｕｌｔｉＭｅｄｉａ Ｓｙｓｔｅｍｓ』、ｖｏｌ．５、Ｎｏ．２、ｐｐ．６９−８５、１９９７年）を参照のこと。この結果、ボクセルが生成される。１９９６年８月６日にカウフマン外に与えられた米国特許第５，５４４，２８３号には、高解像度の容積画像をリアルタイムでレンダリングする方法及び装置が説明されている。この特許は、参考として本書に組み入れられている。
【００４３】
オブジェクト１０４を描画するためのボクセルの計算は、ボクセルプロセッサ１３０で行われる。その説明は、カーネギーメロン大学ロボット工学研究所に提出されたピーター　ランダの論文、「動的な実世界のイベントを３Ｄデジタル化するための、複数のカメラによる方法」（
2004514205.tif 000003
１９９８年５月、ＣＭＵ−ＲＩ−ＴＲ−１２）を参照されたい。
ボクセルの処理は、容積を描出する一連の断面画像に依存する。そのようなデジタル断面画像は、容積のデータセットである。特定のデータセットの各画像又は断面は、画素（ピクセル）で構成される。データセット内の断面の、連続した二つのピクセルの中心間の距離が、ピクセル距離である。そして、隣り合った断面間の距離が断面距離である。
【００４４】
容積データセットの処理は、ピクセル距離及び断面距離に応じて断面を積み重ね、サンプリングされた元の容積の実際の寸法が「仮想」座標に正しく反映されるようにすることから始まる。データセットの元の断面間には、コンピュータのメモリ内の容積全体がひとかたまりのデータブロックとして表されるように、断面を追加することができる。このようなブロックのピクセルは、容積を変換及び回転したり、データセットのレンダリングを取得したりできるように、容積ピクセル（ボクセル）として表すことが可能である。ボクセルは、相対的な位置やビューの視点によって、別のボクセルのビューを遮蔽する可能性がある。従って、ボクセルには、不透過関数によって不透過値が指定される。この関数は、ボクセルの輝度と不透明性との間に直接的な線形関係を提供する。ボクセルの輝度値が大きくなると、レンダリングされた際、ボクセルの不透明度も高くなる。
【００４５】
オブジェクト１０４の表面は、利用可能なすべての視点についてレンダリングプロセッサ１３２でレンダリングされる。特に、ラクルート　Ｐ．による「シアーワープ分解に基づく平行容積レンダリングシステムの分析」（視覚化とコンピュータグラフィクス、容積に関するＩＥＥＥ報告書、１９９６年９月２３日、ｐｐ．２１８−２３１）を参照されたい。可能な実装を支援するための詳細については、デベヴェック　Ｐ．、テイラー　Ｃ．、マリック　Ｊ．による「写真からのモデリング及びレンダリングのアーキテクチャ：ジオメトリとイメージに基づく複合法」（『ＳＩＧＧＲＡＰＨ ‘９６』、１９９６年）、ヒルトン　Ａ．、ストッダート　Ａ．Ｊ．、イリングワース　Ｊ．、ウィンデット　Ｔ．による「複数の範囲画像からの信頼度の高い表面再構築」（ＥＣＣＶ　’９６会報、ｐｐ．１１７−１２６、１９９６年４月）、そして、リーボイ　Ｍ．、ハンラハン　Ｐ．による「光照射野のレンダリング」（『ＳＩＧＧＲＡＰＨ ‘９６』、１９９６年８月）を参照されたい。要求されたビューは、利用可能な実際の視点から合成又は補間される。合成される新たな視点によっては、他の視点よりも重要となる視点が生じる。また、実際のビューの中には計算されるビューにまったく寄与しないものもある。
【００４６】
実際の視点は、信号１３４〜１３６として出力され、補間された新たなビューは、信号１３８及び１４０で表される。補間されたこの新たなビューは、リモートユーザがインタネットを介して明示的に要求した際に生成される。補間画像は、実際の視点の画像から歪曲又は変形される。セイツ　Ｓ．外による「画像補間による物理的に有効なビュー合成」（視覚的なシーンの表し方に関するワークショップ会報、マサチューセッツ州ケンブリッジ、１９９６年）を参照されたい。補間プロセッサ１３４を実装するもう一つの方法は、１９９８年１１月３日に中川外に与えられた米国特許第５，８３１，６１９号、及び１９９７年３月１８日にチェン　Ｓ．外に与えられた米国特許第５，６１３，０４８号で示されている。これらの特許は、参考として本書に組み入れられている。
【００４７】
ネットワークサーバ１４２は、特定のネットワーク接続をサポートするのに必要な信号１３４〜１４０、ボクセル、及びレンダリング情報のみを選択する。これは、Ｍｉｃｒｏｓｏｆｔ　Ｗｉｎｄｏｗｓ（登録商標）　ＮＴのＡＣＴＩＶＥ　ＳＥＲＶＥＲ　ＰＡＧＥ（ＡＳＰ）とＩｎｔｅｒｎｅｔ
【００４８】
Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｅｒｖｅｒ（ＩＩＳ）により実施することが可能である。選択された信号１４４は、ネットワークインターフェイスコントローラ（ＮＩＣ）１４６で送信される。ユーザの情報及び要求は信号１４８で返され、その一部は、レンダリングプロセッサ１３２を制御するため、制御信号１５０とともに使用される。
【００４９】
図２は、リアルタイムで三次元のビデオを送信するウェブサーバへの計算の負荷と帯域幅の需要を減じるシステム２００を表す。システム２００は、カメラ２０４〜２０６で示される適当な台数のカメラ一式で、３Ｄオブジェクト２０２を描出する。それぞれのカメラは、実際のビューＡ〜Ｃをキャプチャし、新たなビューＮ１及びＮ２を計算することができる。カメラは、それぞれビデオキャプチャデバイス２０８〜２１０、及び背景除去装置２１２〜２１４に接続される。背景が取り除かれた実際のビュー（Ａ〜Ｃ）２１６〜２１８は、輪郭プロセッサ２２０で使用される。交点プロセッサ２２２は、輪郭から交点を算出し、ボクセル計算機２２４に送る。その結果、インタネットのために、背景の取り除かれた実際のビュー（Ａ〜Ｃ）２１６〜２１８とともに、ネットワークサーバ２２８に供給されるボクセルのデータベース２２６が生成される。背景が除去された実際のビューとボクセル計算は、例えばビューＡ〜Ｃの２３４〜２３６、及びボクセルデータベース２３８で示されるとおり、すべてオンデマンドでネットワーククライアント２３２に供給される。新しいビュー（Ｎ）２４０は、ユーザによって提供された視点の選択２４４に応じ、レンダリング装置２４２によって、利用可能な情報から補間される。
【００５０】
実際は、システム２００はレンダリングの作業をそれぞれのネットワーククライアントに分散させる。アプリケーションによっては、数千の独立したネットワーククライアントがあり、そのすべてが単一のネットワークサーバ２２８から同一のデータを要求する可能性もある。各クライアントは、それぞれのユーザによって提供された独自の視点の選択２４４を請求することが考えられるので、このアーキテクチャによりレンダリングのボトルネックは回避される。
【００５１】
図３は、リアルタイムで３Ｄビデオを送信するウェブサーバへの計算の負荷と帯域幅の需要を減じる、本発明のもう一つのシステム実施の形態であり、本書中、一般参照数詞３００として参照される。システム３００は、カメラ３０４〜３０６で示される適当な台数のカメラ一式で、３Ｄオブジェクト３０２を描出する。それぞれのカメラは実際のビューＡ〜Ｃをキャプチャし、新たなビューＮ１及びＮ２はリモートサイトのインタネットクライアントにより、それぞれのプラットフォームで計算することができる。カメラは、それぞれビデオキャプチャデバイス３０８〜３１０、及び背景除去装置３１２〜３１４に接続される。背景が取り除かれた実際のビュー（Ａ〜Ｃ）３１６〜３１８は、輪郭プロセッサ３２０で使用される。交点プロセッサ３２２は、輪郭から交点を算出し、ボクセル計算機３２４に送る。その結果、インタネット３３０のために、背景の取り除かれた実際のビュー（Ａ〜Ｃ）３１６〜３１８とともに、ネットワークサーバ３２８に供給されるボクセルのデータベース３２６が生成される。ボクセル計算と、背景が除去された実際のビューの一部のみがオンデマンドで独自の各ネットワーククライアント３３２に供給される。例えば、図３には、実際のビューＡ３３４とＢ３３５が示されている。不要なビュー（例えば、ビューＣ）を除去すると通信の負荷は減少し、帯域幅の需要もさほど大きくはなくなる。ボクセルデータベース３３８は、レンダリングのために含まれていなければならない。
【００５２】
新しいビュー（Ｎ１）３４０は、ユーザによって提供された視点の選択３４４に応じ、レンダリング装置３４２によって、利用可能な情報から補間される。この新たなビューＮ１は、実際のビューＡ及びＢにより大きく依存し、ビューＣがなくとも十分に計算することができる。しかし、別のネットワーククライアント及びそれらのユーザは、実際のビューＢ及びＣを必要とする視点を選択して、例えば新たなビューＮ２を生成することができる。
【００５３】
システム３００もレンダリングの作業をそれぞれのネットワーククライアントに分散させる。特定のネットワーククライアント及びユーザには必要とされていない実際のビューの通信は行わないようにすることによって、インタネットを介してリアルタイムに転送されなければならないデータの量は更に削減される。
【００５４】
本発明の外の実施の形態では、ボクセル情報の通信にデータ圧縮及び解凍技術が利用される。例えば、ボクセルデータベースの説明をすべて送信しなければならないような場合はごく稀である。当座、識別する必要があるのは、最後のフレーム以降に変更されたボクセルだけである。解凍技術によって、それらの変更情報で運用モデルを最新の状態に保つことが可能である。圧縮はネットワークサーバ２２８及び３２８に、そして対応する解凍はネットワーククライアント２３２及び３３２に含めることができる。
【００５５】
図４は、更に進んだ本発明のテレプレゼンスシステムの実施の形態であり、本書中、一般参照数詞４００として参照される。システム４００は、カメラ４０４〜４０６で示される適当な台数のカメラ一式で、３Ｄオブジェクト４０２を描出する。それぞれのカメラは実際のビューＡ〜Ｃをキャプチャし、新たなビューＮ１及びＮ２はネットワークサーバ４２８で計算される。カメラは、それぞれビデオキャプチャデバイス４０８〜４１０、及び背景除去装置４１２〜４１４に接続される。背景が取り除かれた実際のビュー（Ａ〜Ｃ）４１６〜４１８は、輪郭プロセッサ４２０で使用される。交点プロセッサ４２２は、輪郭から交点を算出し、ボクセル計算機４２４に送る。その結果、インタネット４３０のために、背景の取り除かれた実際のビュー（Ａ〜Ｃ）４１６〜４１８とともに、ネットワークサーバ４２８に供給されるボクセルのデータベース４２６が生成される。ネットワーククライアントで新たなビューの計算がスムーズに行われるように、中間ビューＮ１及びＮ２はネットワークサーバ４２８で計算される。ボクセル計算と、背景が除去された実際のビューもしくは中間ビューの一つのみがオンデマンドで独自の各ネットワーククライアント４３２に供給される。例えば、図４では実際のビューＡ４３４とボクセルデータベース４３８が選択されている。その他すべてのビュー（例えば、ビューＢ、Ｃ、Ｎ１、Ｎ２）を除去することにより、通信負荷が更に減じられ、帯域幅の需要はきわめて穏当なものとなる。
【００５６】
新しいビュー（Ｎ）４４０は、ユーザによって提供された視点の選択４４４に応じ、レンダリング装置４４２によって、利用可能な情報から補間される。この新たなビューＮは、実際のビューＡにより大きく依存し、ビューＢ及びＣがなくとも十分に計算することができる。しかし、別のネットワーククライアント及びそれらのユーザは、実際のビューＢ及びＣを必要とする視点を選択して、別の新たなビューを生成することができる。
【００５７】
システム４００もレンダリングの作業をそれぞれのネットワーククライアントに分散させる。特定のネットワーククライアント及びユーザに必要とされる新たなビューに最も近い実際のビュー又は中間ビューを一つだけ通信することにより、インタネットを介してリアルタイムに転送されなければならないデータの量は更に削減される。
【００５８】
以上、本発明を好適な実施の形態に基づき好適に説明してきたが、ここに記載した適用例が本発明の精神及び範囲から逸脱することなく他の適用例に置換可能であることは当業者には容易に理解されよう。従って、本発明は、前記特許請求の範囲によってのみ制限される。
【図面の簡単な説明】
【図１】戦略的にカメラが配備され、さまざまな視点からシーンを監視する没入型ビデオを利用した、本発明の実施の形態におけるインタネット仮想テレプレゼンスシステムの機能ブロック図である。
【図２】さまざまな視点からシーンを監視し、ボクセルを計算して、戦略的に配備されたすべてのカメラからすべてのビデオストリームを供給する、本発明の第二のインタネット仮想テレプレゼンスシステム実施の形態の機能ブロック図である。
【図３】さまざまな視点からシーンを監視し、ボクセルを計算して、より都合よく配備されたカメラから二つ又は三つのビデオストリームを供給する、本発明の第三のインタネット仮想テレプレゼンスシステム実施の形態の機能ブロック図である。供給される二つ又は三つのビデオ視点は、ユーザによって明らかにされた新たな視点に最も近いカメラのものである。
【図４】さまざまな視点からシーンを監視し、ボクセルを計算して、最も都合よく配備されたカメラから一つのビデオストリームを供給する、本発明の第四のインタネット仮想テレプレゼンスシステム実施の形態の機能ブロック図である。供給されるビデオ視点は、ユーザによって明らかにされた新たな視点に最も近いカメラのものである。
【符号の説明】
１０４　３Ｄオブジェクト
１０６　カメラ
１０７　カメラ
１０８　カメラ
１１８　ビデオキャプチャ
１１９　ビデオキャプチャ
１２０　ビデオキャプチャ
１２２　背景除去
１２３　背景除去
１２４　背景除去
１２６　輪郭
１２８　高点
１３０　ボクセルの計算
１３２　レンダリング
１４２　ネットワークサーバ
１４６　ネットワークインタフェイスコントローラ
２０２　３Ｄオブジェクト
２０４　カメラ
２０５　カメラ
２０６　カメラ
２０８　ビデオキャプチャ
２０９　ビデオキャプチャ
２１０　ビデオキャプチャ
２１２　背景除去
２１３　背景除去
２１４　背景除去
２２０　輪郭
２２２　交点
２２４　ボクセルの計算
２２８　ネットワークサーバ
２３０　インターネット
２３２　ネットワーククライエント
２４２　レンダリング
３０２　３Ｄオブジェクト
３０４　カメラ
３０５　カメラ
３０６　カメラ
３０８　ビデオキャプチャ
３０９　ビデオキャプチャ
３１０　ビデオキャプチャ
３１２　背景除去
３１３　背景除去
３１４　背景除去
３２０　輪郭
３２２　交点
３２４　ボクセルの計算
３２８　ネットワークサーバ
３３０　インターネット
３３２　ネットワーククライエント
３４２　レンダリング
４０２　３Ｄオブジェクト
４０４　カメラ
４０５　カメラ
４０６ カメラ
４０８　ビデオキャプチャ
４０９　ビデオキャプチャ
４１０　ビデオキャプチャ
４１２　背景除去
４１３　背景除去
４１４　背景除去
４２０　輪郭
４２２　交点
４２４　ボクセルの計算
４２８　ネットワークサーバ
４３０　インターネット
４３２　ネットワークサーバ
４４２　レンダリング
【図１】
2004514205.tif 000004
【図２】
2004514205.tif 000005
【図３】
2004514205.tif 000006
【図４】
2004514205.tif 000007
【国際公開パンフレット】
2004514205.tif 000008
2004514205.tif 000009
2004514205.tif 000010
2004514205.tif 000011
2004514205.tif 000012
2004514205.tif 000013
2004514205.tif 000014
2004514205.tif 000015
2004514205.tif 000016
2004514205.tif 000017
2004514205.tif 000018
2004514205.tif 000019
2004514205.tif 000020
2004514205.tif 000021
2004514205.tif 000022
2004514205.tif 000023
2004514205.tif 000024
2004514205.tif 000025
2004514205.tif 000026
2004514205.tif 000027
2004514205.tif 000028
2004514205.tif 000029
2004514205.tif 000030
2004514205.tif 000031
2004514205.tif 000032
2004514205.tif 000033
2004514205.tif 000034
2004514205.tif 000035
2004514205.tif 000036
【国際公開パンフレット（コレクトバージョン）】
2004514205.tif 000037
2004514205.tif 000038
【国際調査報告】
2004514205.tif 000039
2004514205.tif 000040
2004514205.tif 000041