(57)【要約】【課題】  仮想環境の参加者同士の注視伝達を満足のいくように提供する。【解決手段】  注視を伝達する方法。具体的には、本発明の一実施形態は、没入型仮想環境において注視を伝達する方法を開示する。方法は、閲覧参加者（W'）により閲覧可能なモニタ(130)上に没入型仮想環境（100A）を提示することによって開始する。モニタ(130)は、複数のオブジェクトを仮想環境（100A）に表示する。閲覧参加者（W'）の物理的な注視が追跡されて、閲覧参加者（W'）を含む物理的な環境内の物理的な注視の物理的な方向が求められる。その後、閲覧参加者（W'）が注視している被閲覧オブジェクトが求められる。次いで、没入型仮想環境（100A）における閲覧参加者（W'）と被閲覧オブジェクトの間の仮想方向が求められる。閲覧参加者（W'）が没入型仮想環境において被閲覧オブジェクトに面するように、閲覧参加者（W'）のモデルは物理的な方向および仮想方向に基づいて回転されて、閲覧参加者（W'）のビューがレンダリングされる。【選択図】  図２
2005216310.tif 000002
【特許請求の範囲】
【請求項１】
閲覧参加者が閲覧可能なモニタ上の没入型仮想環境を提示するステップであって、前記モニタが前記没入型仮想環境内にある複数のオブジェクトを表示するステップと、
前記閲覧参加者の物理的な注視を追跡し、それによって前記物理的な注視の物理的な方向を求めるステップと、
前記閲覧参加者が注視している前記モニタ上の被閲覧オブジェクトを求めるステップと、
前記閲覧参加者と前記被閲覧オブジェクトの間の前記没入型仮想環境における仮想方向を求めるステップと、
前記物理的な方向および前記仮想方向に基づいて、前記閲覧参加者のモデルを回転させるステップと、
前記閲覧参加者が前記没入型仮想環境において前記被閲覧オブジェクトに面するように、前記物理的な注視に基づいて前記閲覧参加者のビューをレンダリングするステップと、
を含むことを特徴とする注視伝達方法。
【請求項２】
前記物理的な注視を追跡するステップは、前記モニタおよび前記閲覧参加者を含む物理的な環境の物理的な座標系における前記物理的な方向を求めるステップをさらに含むことを特徴とする請求項１に記載の注視伝達方法。
【請求項３】
前記仮想方向を求めるステップは、
前記没入型仮想環境の仮想座標系における前記仮想方向を求めるステップをさらに含むことを特徴とする請求項１に記載の注視伝達方法。
【請求項４】
前記被閲覧オブジェクトを求めるステップは、
前記モニタの閲覧面上における前記複数のオブジェクトの複数のオブジェクト位置を求めるステップと、
前記閲覧参加者が物理的に注視している前記閲覧面上の閲覧位置を求めるステップと、
前記閲覧位置が前記複数のオブジェクト位置の１つに対応する場合、前記閲覧参加者の前記物理的な注視を前記被閲覧オブジェクトに割り当てるステップと、
をさらに含むことを特徴とする請求項１に記載の注視伝達方法。
【請求項５】
前記ビューをレンダリングステップは、
前記閲覧参加者の前記モデルを三次元で再構築するステップと、
前記モデルを、前記没入型仮想環境の３Ｄの別のモデルに挿入するステップと、
前記閲覧参加者が前記被閲覧オブジェクトに面するように前記閲覧参加者の前記モデルを回転させ、それによって前記物理的な注視を表すステップと、
をさらに含むことを特徴とする請求項１に記載の注視伝達方法。
【請求項６】
前記ビューをレンダリングするステップは、
前記閲覧参加者が前記没入型仮想環境において前記オブジェクトとアイコンタクトをとっているように、前記閲覧参加者の前記ビューをレンダリングするステップをさらに含むことを特徴とする請求項１に記載の注視伝達方法。
【請求項７】
前記モデルを回転させるステップは、
前記閲覧参加者が前記没入型仮想環境において前記オブジェクトに面するように、前記閲覧参加者に関連する前記物理的な注視の物理的な角回転を変換し、それによって前記閲覧参加者の対応する仮想回転を生成するステップをさらに含むことを特徴とする請求項１に記載の注視伝達方法。
【請求項８】
前記ビューをレンダリングするステップは、
請求項１に記載の前記新ビュー合成技法を適用することにより、前記被閲覧オブジェクトに表示すべき前記仮想環境の座標系内の前記被閲覧オブジェクトの位置に関連する視点から前記ビューをレンダリングするステップをさらに含み、前記閲覧参加者は、前記被閲覧オブジェクトにより閲覧可能な別のモニタから見ることによって前記被閲覧オブジェクトを見ているように見えることを特徴とする請求項１に記載の注視伝達方法。
【請求項９】
前記ビューをレンダリングするステップは、
前記被閲覧オブジェクトに関連しない観察中のオブジェクトにより閲覧可能な別のモニタに表示すべき前記没入型仮想環境内の前記閲覧参加者の前記ビューのビデオ画像ストリームをリアルタイムで生成するステップをさらに含み、前記閲覧参加者は、前記別のモニタに表示されるとき、前記没入型仮想環境内の前記オブジェクトを見ているように見えることを特徴とする請求項１に記載の注視伝達方法。
【請求項１０】
前記被閲覧オブジェクトは、前記没入型仮想環境に別の参加者を含むことを特徴とする請求項１に記載の注視伝達方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、共有仮想環境内のビデオ通信の分野に関し、より詳細には没入型（immersive）仮想環境において注視（gaze）を伝達する方法およびシステムに関する。
【背景技術】
【０００２】
ビデオ通信は、遠方にいる参加者間でコラボレートする確立された方法である。基本的な形態では、リモート環境のビデオ画像がローカルモニタに同報通信されて、ローカルユーザが遠方にいる１人または複数の参加者を見て話すことができる。より具体的には、没入型仮想環境は、実際には地理的に離れているが、仮想環境に参加してその中に没入している参加者の対面対話体験をシミュレートしようとする。
【０００３】
没入型仮想環境は、通常は互いに離れている複数の参加者が同じ仮想空間を占有するという錯覚を作り出す。本質的には、没入型仮想環境は、仮想環境と呼ばれる三次元（３Ｄ）空間のコンピュータモデルからなる。仮想環境のあらゆる参加者には、その参加者を表す３Ｄモデルが存在する。モデルは予め構築されているか、または参加者のビデオ画像からリアルタイムに再構築される。モデルは、参加者のレンダリングを見ることによって、仮想環境内の各自の注視の方向を知ることが可能な程十分な詳細を有する。参加者の他に、仮想環境内に３Ｄモデルによって表すことができる他のオブジェクトが存在し得る。
【０００４】
あらゆる参加者およびオブジェクトは、仮想環境内の各自に対応する位置および向きによって規定される仮想ポーズを有する。参加者は通常、仮想環境のあちこちを移動することができるように、各自のポーズを制御することが可能である。これに加えて、すべての参加者およびオブジェクト３モデルは、それぞれの仮想ポーズに従って仮想環境の３Ｄモデルに配置されて、結合３Ｄモデルになる。結合３Ｄモデルのビュー（たとえば、画像）は各参加者毎に作成され、各自のコンピュータモニタ上で見られる。参加者のビューは、コンピュータグラフィックスを使用して、参加者の仮想ポーズの視点からレンダリングされる。
【０００５】
物理的に対面してコミュニケーションしている際には、没入型仮想環境においてコミュニケーションする際にも伝達される様々な形態の非言語コミュニケーションが存在する。たとえば、注視は人物が見ている方向を示し、会話において重要な非言語手掛かりであり得る。具体的には、話し手は、通常は聞き手を直接見ることによって双方向通話で聞き手に話しかける。反対に、人は、別の人の話を聞いている場合、通常話し手を見る。したがって、注視は誰が誰に話しているのか、また誰が注意を払っているのかを伝達する。したがって、注視は、会話についてきて参加しようとしている観察者にとって有用である。
【０００６】
従来の方法およびシステムでの没入型仮想環境でのコミュニケーションに関連する問題の１つは、参加者同士のアイコンタクトがないことである。２つのオーダ（order）の視覚的なコミュニケーションがアイコンタクトおよび／または注視を効果的に伝達する手段として規定することができる。第１のオーダは、２人の参加者同士のアイコンタクトを表す。第２のオーダは、第３の参加者により観察される２人の参加者同士のアイコンタクトを表す。従来のビデオ通信システムは、第１および第２のオーダのコミュニケーションの様々な組み合わせを表すことができないことにより、アイコンタクトまたは注視を効果的に伝達することができない。
【０００７】
第１のオーダでは、第１および第２の参加者がそれぞれ、仮想環境において各視野内で他方を見ることができると仮定する。すなわち、各参加者は他方の観察参加者を直接見ることはできないが、代わりに関連するモニタ上で他方の参加者の画像を見る。したがって、第１のオーダの注視は、まさに第１の参加者が自分のモニタ上で第２の参加者の画像を見ているときに、第２の参加者が関連するコンピュータモニタ上で対面した、第１の参加者のアイコンタクトビューを見る際に伝達される。
【０００８】
第２のオーダでは、３人の参加者、すなわち第１の参加者、第２の参加者、および第３の参加者が存在すると仮定する。各参加者はその他の観察される参加者を直接見ることはできないが、代わりにその他の参加者の画像を関連するモニタ上で見る。第２のオーダでは、第１の参加者は第２の参加者を仮想環境の自分の視野（ＦＯＶ）内で見ることができる。また、第３の参加者は第１の参加者および第２の参加者を仮想環境の自分の視野内で見ることができる。第２のオーダの注視は、関連するモニタ上の第１の参加者が第２の参加者の画像を見ているときは常に第１の参加者が第２の参加者を見ていることを、第３の参加者がモニタ上で見るときに伝達される。
【０００９】
第１のオーダの注視を伝達することができない例として、参加者は、閲覧参加者のビデオ画像を取り込むために配置されている録画カメラの代わりに、伝達目的でローカルモニタと対話することがある。この場合、録画カメラは、モニタのビューを邪魔しないようにモニタの脇に配置される。モニタは、リモート参加者のビデオ画像を閲覧参加者に示す。閲覧参加者の関心は普通、コミュニケーションするために主にモニタ上に集中する。したがって、ローカルユーザはモニタ上のリモート参加者の画像と直接対話する。
【００１０】
しかし、録画カメラは閲覧参加者の関心のある場所（たとえば、モニタ上のリモート参加者）に物理的に配置されないため、リモート参加者は閲覧参加者の対面ビューを見ることがない。閲覧参加者は、実際にはリモート参加者を実際に見ているときに、別の方向に注視を外すことによってアイコンタクトを避けているように見える。さらに、同じ問題がローカルユーザのモニタにも存在する。ローカルユーザもまた、対面していないリモート参加者のビデオストリームを見る。このようなシステムでは、第１のオーダの効果的な注視の伝達は首尾よく行われない。
【００１１】
第２のオーダで注視を伝達することができない例としては、従来のシステムによっては、閲覧参加者のビデオ画像をモニタの中央の視点から取り込もうとするものがあることである。たとえば、システムによっては、通常、大型モニタ内の小さな穴を通してカメラを照準合わせするものもあれば、半透明ミラーをモニタと閲覧参加者の間に配置するものもある。閲覧参加者のアイコンタクトビューが得られる。しかし、リモート参加者はすべて、閲覧参加者がローカルモニタ上で特定のリモート参加者を見ている場合であっても閲覧参加者の同じビューを見る。したがって、リモート参加者はすべて、閲覧参加者が自分とアイコンタクトをとっているという印象を持つ。このようなシステムは第２のオーダの注視を効果的に伝達することができない。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
したがって、従来のビデオ通信方法は、仮想環境の参加者同士の第１および第２のオーダの注視伝達を満足のいくように提供することができない。
【課題を解決するための手段】
【００１３】
注視を伝達する方法。具体的には、本発明の一実施形態は、没入型仮想環境において注視を伝達する方法を開示する。方法は、閲覧参加者により閲覧可能なモニタ上に没入型仮想環境を提示することによって開始する。モニタは、複数のオブジェクトを仮想環境に表示する。閲覧参加者の物理的な注視が追跡されて、閲覧参加者を含む物理的な環境内の物理的な注視の物理的な方向が求められる。その後、閲覧参加者が注視している被閲覧オブジェクトが求められる。次いで、没入型仮想環境における閲覧参加者と被閲覧オブジェクトの間の仮想方向が求められる。閲覧参加者が没入型仮想環境において被閲覧オブジェクトに面するように、閲覧参加者のモデルは物理的な方向および仮想方向に基づいて回転されて、閲覧参加者のビューがレンダリングされる。
【発明を実施するための最良の形態】
【００１４】
これより、本発明、すなわち没入型仮想環境において注視を伝達する方法の好ましい実施形態を詳細に参照する。本発明について好ましい実施形態に関連して説明するが、本発明をこれら実施形態に限定する意図はないことが理解されよう。対照的に、本発明は添付の特許請求の範囲によって規定される本発明の精神および範囲内に包含することができる代替、変更、および等価物を包含することを意図する。
【００１５】
さらに、本発明の以下の詳細な説明では、本発明の完全な理解を提供するために多くの特定の詳細が記される。しかし、本発明はこれら特定の詳細なしでも実施することが可能なことが当業者に理解されよう。場合によっては、本発明の態様を不必要に曖昧にしないように既知の方法、手順、構成要素、および回路については詳細に説明していない。
【００１６】
本発明の実施形態は、コンピュータシステムで実行されるソフトウェアで実施することができる。コンピュータシステムは、パーソナルコンピュータ、ノート型コンピュータ、サーバコンピュータ、メインフレーム、ネットワーク化されたコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、ワークステーション、ゲームコンソール、セットトップボックス、携帯電話等であることができる。このソフトウェアプログラムは、ビデオ通信およびオーディオ通信のためにリアルタイム画像レンダリングを生成する際に注視を伝達するように動作可能である。一実施形態では、コンピュータシステムは、バスに結合されたプロセッサおよびバスに結合されたメモリ記憶装置を備える。メモリ記憶装置は揮発性であっても不揮発性であってもよく、リムーバブル記憶媒体を含むことができる。コンピュータは、モニタ、データ入出力手段（provision）等も備えることができる。
【００１７】
したがって、本発明は、没入型仮想環境において注視を伝達する方法およびシステムを提供する。特に、本発明の実施形態は、没入型仮想環境の参加者同士の第１および第２のオーダの注視伝達を提供することが可能である。本発明の実施形態は、ディスプレイからそれたカメラを補償することができなかった従来技術の方法よりも優れた参加者同士の注視伝達を提供することが可能である。これに加えて、本発明の他の実施形態は、従来のシステムで必要な広い視野を有する高価なモニタではなく、低コストの汎用モニタを使用しながら没入型仮想環境内で注視を伝達することが可能である。また、本発明の実施形態は、注視追跡メカニズムを使用することにより、かつ、従来のシステムで必要な閲覧参加者と関連する閲覧モニタの間での複雑なセットアップを必要とすることなく没入型仮想環境内で注視を伝達することが可能である。さらに、本発明の実施形態は、没入型仮想環境内の参加者の視野（ＦＯＶ）が没入型仮想環境のコンピュータモニタ上に提供される参加者のＦＯＶと異なる場合であっても、注視を伝達することが可能である。
【００１８】
没入型仮想環境は、同じ仮想空間または環境を占有する複数の参加者の錯覚を作り出す。すなわち、通常、物理的な環境において互いに離れている複数の参加者が存在する場合、没入型仮想環境では、仮想環境内の参加者が対話することができる。一実施形態では、没入型仮想環境は三次元（３Ｄ）空間のコンピュータモデルによって作成される。
【００１９】
没入型仮想環境内では、あらゆる参加者には、その参加者を表す３Ｄモデルが存在する。一実施形態では、モデルは予め構築されているか、または参加者のビデオ画像からリアルタイムに再構築される。ビデオ画像は、参加者を取り巻く１台または複数台のカメラから生成することができる。画像のビデオストリームは、複数の視点からリアルタイムで生成される。これら複数のビデオストリームから、様々な再構築方法を実施して参加者の３Ｄモデルを生成することができる。
【００２０】
したがって、参加者の３Ｄモデルは、参加者のレンダリングを見ることによって各自の注視の方向を知ることが可能な程十分な詳細を有する。参加者の他に、仮想環境内に他のオブジェクトが存在し得る。オブジェクトも３Ｄモデル表現を有する。
【００２１】
仮想環境では、あらゆる参加者およびオブジェクトは仮想ポーズを有する。仮想ポーズは、仮想環境における参加者の位置および向きを含む。参加者は通常、仮想環境のあちこちを移動することができるように、各自のポーズを制御することが可能である。
【００２２】
参加者およびオブジェクトの３Ｄモデル表現はすべて、それぞれの仮想ポーズに従って仮想環境モデルの３Ｄモデルに配置されて、結合３Ｄモデルになる。したがって、結合３Ｄモデルは、仮想環境内の参加者およびオブジェクトをすべて含む。
【００２３】
その後、結合モデルのビュー（すなわち、画像）が各参加者毎に作成され、各自の関連するコンピュータモニタ上で見られる。参加者のビューは、コンピュータグラフィックスを使用して、仮想環境内の参加者の仮想ポーズの視点からレンダリングされる。
【００２４】
図１Ａは、本発明の一実施形態による、没入型仮想環境１００Ａ内の参加者の対話の図である。特に、図１Ａは、４人の参加者が通常、没入型仮想環境１００Ａで各自をどのように配置するかを示す図である。４人の参加者には、参加者Ｗ、参加者Ｘ、参加者Ｙ、および参加者Ｚが含まれる。角度γは、没入型仮想環境１００Ａにおける参加者Ｗの視野内の参加者Ｘと参加者Ｙの間の角度間隔を示す。また、角度φは、没入型仮想環境１００Ａにおける参加者Ｗの視野内の参加者Ｙと参加者Ｚの間の角度間隔を示す。
【００２５】
参加者、たとえば参加者Ｗは、図１Ａのライン１１０および１２０で示すように、その他のすべての参加者を見るには約９０度の視野を必要とする。没入型仮想環境１００Ａは現実世界を模倣することを意図するため、また現実世界での人々は１８０度に近い視野を見るため、この配置は、各参加者がその他のすべての参加者を見ることができる状況を模倣している。
【００２６】
図１Ｂは、本発明の一実施形態による参加者Ｗ’の上から下を見た図（top down view）１００Ｂであり、参加者Ｗ’は図１Ａの仮想参加者Ｗの物理的な表現である。図１Ｂは、参加者Ｗが通常、現実に自分のモニタ１３０上で没入型仮想環境１００Ａをどのように見るかを示す。参加者Ｘはモニタ１３０の位置１４０Ｘに示され、参加者Ｙはモニタ１３０上の画像１４０Ｙとして示され、参加者Ｚもまたモニタ１３０上の画像１４０Ｚとして示される。
【００２７】
さらに、図１Ｂは、本発明の一実施形態による、没入型仮想環境および現実における参加者の視野間の関連を示す。典型的なコンピュータモニタ（たとえば、モニタ１３０）は、すべてのリモート参加者が可視のように、仮想環境１００Ａをレンダリングする約２５度の視野を閲覧者に提供する。たとえば、現実では、角度γ’が、物理的な世界内で参加者Ｗ’が見る画像１４０Ｘと画像１４０Ｙの間の角度間隔を示す。また、角度φ’は、物理的な世界内で参加者Ｗ’が見る画像１４０Ｙと画像１４０Ｚの間の角度間隔を示す。
【００２８】
図１Ａおよび図１Ｂに見ることができるように、没入型仮想環境１００Ａにおける参加者Ｗとその他の参加者Ｘ、Ｙ、およびＺの間の角度γおよびφは、現実での参加者Ｗ’とモニタ１３０上のリモート参加者の画像１４０Ｘ、１４０Ｙ、および１４０Ｚとの間の対応する角度γ’およびφ’と等しくない。言い換えれば、γ≠γ’であり、φ≠φ’である。具体的には、参加者Ｗ’のモデルは物理的な空間に作成されるため、Ｗ’が自分のモニタ１３０上でＹからＸを見る際にγ’だけ回転する。しかし、没入型仮想環境に配置されると、注視を正確に伝達すべき場合、参加者Ｗ’のモデルはγだけ回転しなければならない。したがって、本発明の実施形態では、参加者Ｗ’のモデルが没入型仮想環境に挿入される場合、γ’だけの参加者Ｗ’の回転を除去し、γで置き換えなければならない。
【００２９】
したがって、本発明の実施形態は、参加者Ｗ’の物理的な環境内および没入型仮想環境内の適切な方向角度を計算し、参加者Ｗ’の向きおよび注視が没入型仮想環境内で適切に伝達されるような回転を行うことが可能である。すなわち、没入型仮想環境内のＦＯＶが現実のＦＯＶと異なる場合であっても、本発明の実施形態は、現実での参加者の向きおよび注視を、没入型仮想環境に表される参加者の向きおよび注視に変換することが可能である。したがって、本発明の実施形態は、十分に後述するように、没入型仮想環境中の参加者のＦＯＶを、物理的な環境においてコンピュータモニタにより提供されるＦＯＶから独立させることを可能にしながら、注視を伝達することが可能である。没入型仮想環境内の参加者同士の角度、および閲覧参加者とリモート参加者の画像の間の対応する角度はまったく異なり得るが、それでもなお注視は正確に伝達される。
【００３０】
その結果、本発明の実施形態は、没入型仮想環境内で参加者の第１および第２のオーダで注視を効果的に伝達することが可能であり、上述したように、２つのオーダの視覚的伝達は、アイコンタクトおよび／または注視を効果的に伝達する手段として規定することができる。要約すると、第１のオーダは、没入型仮想環境における２人の参加者同士のアイコンタクトを表す。第２のオーダは、没入型仮想環境内の第３の参加者により観察される、２人の参加者同士のアイコンタクトの正確な表現である。
【００３１】
図２のフローチャートは、本発明の一実施形態による、没入型仮想環境内の注視を伝達するコンピュータ実施方法におけるステップを示す。没入型仮想環境は、参加者が没入型仮想環境内の他の参加者を含むオブジェクトと対話することによって、参加者の表現が没入される任意の三次元仮想環境である。没入型仮想環境は、すべての参加者が仮想的に仮想環境内を移動し他のオブジェクトおよび参加者と対話することができるように作成される。
【００３２】
本実施形態は、２１０において、閲覧参加者により閲覧可能なモニタ上に仮想環境を表すことによって開始する。閲覧参加者は仮想環境内に没入し、モニタ上に見られる仮想環境内の他のリモート参加者およびオブジェクトと対話することができる。モニタは、仮想環境内の閲覧参加者の視点からの仮想環境のビューを表示する。したがって、モニタ上の仮想環境のビューは、閲覧参加者が、仮に仮想環境に実際に存在する場合に見ることになるものを表すビューである。
【００３３】
モニタ上の仮想環境のビューは、仮想環境内にある複数のオブジェクトを含む。複数のオブジェクトはモニタ上に表示される。本実施形態は複数のオブジェクトを概して仮想環境内に開示するが、本発明の他の実施形態は、特定のオブジェクト表現によく適している。たとえば、一実施形態では、複数のオブジェクトは、没入型仮想環境内で互いに、また閲覧参加者と対話する複数のリモート参加者である。
【００３４】
２２０において、本実施形態は続いて、閲覧参加者の物理的な注視を追跡して、閲覧参加者およびモニタを部分的に含む物理的な環境内の物理的な注視の方向を求める。閲覧参加者の注視は、没入型仮想環境が表示されるモニタの方に向けられる。より具体的には、注視は、モニタ上に表示される没入型仮想環境内にあるオブジェクトに向けられる。すなわち、参加者が自分のコンピュータモニタを見るとき、注視追跡を使用して参加者の注視の物理的な方向を求める。一実施形態では、方向は或る物理的な座標系に対する角度として表現され、方向の水平成分を表すことができる。他の実施形態は方向の垂直成分の包含によく適する。
【００３５】
本発明の実施形態は、モニタ上に表示される没入型仮想環境内にあるオブジェクトに向けられる注視を対象としているように記載されるが、本発明の他の実施形態は、没入型仮想環境内にある空間の特定のポイントに向けられた注視を対象とすることによく適する。すなわち、オブジェクトは、没入型仮想環境内の座標空間内の特定のポイントを表す。
【００３６】
２３０において、本実施形態は、閲覧参加者が注視しているモニタ上のポイントを求める。すなわち、閲覧参加者が注視している方向および閲覧参加者およびモニタの相対位置を知ることで、閲覧参加者が見ているモニタ上のポイントを求めることが可能である。
【００３７】
２４０において、本実施形態は、没入型仮想環境内の複数のオブジェクトがモニタ上のどこに現れるかを求める。標準のコンピュータグラフィックスが３Ｄモデルから二次元（２Ｄ）画像へのレンダリングに使用される場合、３Ｄモデル内のオブジェクトが２Ｄ画像のどこに現れるかを求めることが可能である。モニタ上の没入型仮想環境の画像はコンピュータグラフィックスによって作成されるため、モニタ上の没入型仮想環境からのオブジェクトの位置を求めることができる。
【００３８】
具体的には、本実施形態は事前に没入型仮想環境を作成している。したがって、本実施形態はすべてのオブジェクトおよび没入型仮想環境の座標空間内のそれぞれの対応する位置を理解している。さらに、本実施形態は、モニタ上に没入型仮想環境内のいずれの視点からも没入型仮想環境内のオブジェクトを表示することが可能である。したがって、本実施形態は、モニタ上に表示される没入型仮想環境内のオブジェクトを理解することが可能であり、モニタの閲覧面上のオブジェクトに関連する物理的な位置を理解する。
【００３９】
２５０において、本実施形態は続いて、閲覧参加者が注視している被閲覧オブジェクトを求める。被閲覧オブジェクトを求めることは、本実施形態は没入型仮想環境内のオブジェクト、モニタ上のそれぞれの対応する表現、およびモニタの平坦な閲覧面上のオブジェクトの位置の間の関係を理解することから可能である。
【００４０】
２６０において、本実施形態は続いて、閲覧参加者と没入型仮想環境内の被閲覧オブジェクトの間の仮想方向を求める。すなわち、没入型仮想環境において、被閲覧オブジェクトは、閲覧参加者から没入型仮想環境における座標系に相対する或る方向にある。
【００４１】
２７０において、本実施形態は、物理的な方向と、閲覧参加者の３Ｄモデルが没入型仮想環境の結合３Ｄモデルに配置されたときの仮想方向とに基づいて閲覧参加者の３Ｄモデルを回転させる。すなわち、閲覧参加者が没入型仮想環境内の被閲覧オブジェクトに面するように、閲覧参加者の３Ｄモデルは回転して、閲覧参加者の実際の注視を示す。
【００４２】
その後、閲覧参加者の３Ｄモデルは没入型仮想環境の３Ｄモデルに挿入されて、閲覧参加者および仮想環境の３Ｄモデルを含む結合モデルを作成する。
【００４３】
２８０において、本実施形態は続いて、閲覧参加者の物理的な方向および仮想方向に基づいて閲覧参加者のビューをレンダリングする。このようにして閲覧参加者の３Ｄモデルは、結果得られる閲覧参加者のビューが被閲覧オブジェクトに面している閲覧参加者を示すように、没入型仮想環境の３Ｄモデルに挿入される。
【００４４】
図３Ａおよび図３Ｂは、本発明の実施形態による、没入型仮想環境に挿入されたときに、注視を正確に表すように閲覧参加者の３Ｄモデルを回転させるプロセスを示す。より具体的には、図３Ａは物理的な環境内の閲覧参加者の物理的な注視を示し、図３Ｂは没入型仮想環境内の閲覧参加者の代表的な仮想注視を示す。
【００４５】
具体的には、図３Ａは、本発明の一実施形態による、閲覧参加者３１０の注視の物理的な方向を示す、物理的な環境内の閲覧参加者３１０の上から下を見た図３００Ａである。物理的な環境では、閲覧参加者３１０はモニタ３３０を見る。特に、閲覧参加者３１０はモニタ３３０上のオブジェクト３４０を見る。図３Ａに示すように、閲覧参加者３１０の注視の物理的な方向は、或る物理的な座標系３２０に対する角度δとして表される。具体的には、角度δは、閲覧参加者３１０とモニタ上に現れるオブジェクト３４０との間に引かれるライン３５０、および物理的な座標系における基準方向であるライン３６０から求められる。角度δは、本実施形態では、方向の水平成分のみを表す。しかし、本発明の他の実施形態は、垂直成分を含む注視方向の表現によく適する。
【００４６】
本実施形態では、任意の注視追跡メカニズムを実施して、閲覧参加者の注視が向けられているモニタ上の位置を求めることができる。すなわち、注視追跡メカニズムは、閲覧参加者の注視が向けられた方向δを推定することが可能である。たとえば、或る注視追跡メカニズムは、１つまたは複数の光源を採用して目の瞳孔の反応を刺激するリモートアイトラッキングシステムを備える。この反応は様々なアイトラッキングシステム内の瞳孔の追跡に使用される。
【００４７】
具体的には、角度δおよびモニタ３３０に対する閲覧参加者３１０の位置を知ることで、閲覧参加者３１０が見ているモニタ上のポイントを求めることが可能である。特に、標準のコンピュータグラフィックスが３Ｄモデルから２Ｄ画像へのレンダリングに使用される場合、３Ｄモデルでのオブジェクトが画像のどこに現れるかを求めることは簡単である。上述したように、モニタ３３０上の仮想環境の画像はコンピュータグラフィックスによって作成されるため、仮想環境からのオブジェクトがモニタ上に現れる位置を求めることができる。その結果、閲覧参加者が自分のモニタ上で、仮想環境内のオブジェクト（または別の参加者）の画像を見ている場合、被閲覧オブジェクトを特定することができる。
【００４８】
図３Ｂは、本発明の一実施形態による、閲覧参加者３１０の３Ｄモデルを回転させて、閲覧参加者３１０の注視の正確な方向を表現することを示す、没入型仮想環境３００Ｂ内の図３Ａの閲覧参加者３１０のビューを示す。没入型仮想環境３００Ｂでは、被閲覧オブジェクト３４０は、没入型仮想環境３００Ｂの座標系３８０に対して、ライン３７０に沿った或る方向、かつ閲覧参加者３１０から角度θのところにある。角度θは、注視を適宜伝達する際の閲覧参加者３１０の仮想ポーズも表す。
【００４９】
一実施態様では、閲覧参加者３１０の３Ｄモデルは或る物理的な座標系３２０に対して再構築され、次いで、物理的な基準方向３６０が仮想基準方向３９０に一致するように仮想環境３００Ｂに挿入される。このような場合、閲覧参加者が自分のモニタ３３０上のオブジェクト３４０の画像を見た場合、物理的な注視方向は物理的な基準方向に対してδである。閲覧参加者３１０の３Ｄモデルを仮想環境３００Ｂに挿入した後、注視は物理的な基準方向に対してδである。閲覧参加者３１０の３Ｄモデルを仮想環境３００Ｂに挿入した後、注視は仮想座標系の基準方向３９０に対してδである。閲覧参加者のモデル３１０が量−δだけ回転する場合、モデル３１０は仮想座標系の基準方向３９０を注視する。続けて、閲覧参加者の３Ｄモデル３１０が量θだけ回転する場合、閲覧参加者モデル３１０の注視方向はθになる。したがって、閲覧参加者のモデル３１０は被閲覧オブジェクト３４０に面することになる。要約として、閲覧参加者の３Ｄモデル３１０は、仮想環境３００Ｂに配置された場合、被閲覧オブジェクト３４０に向けられた注視を適宜表現するために、角度θからδを差し引いた角度（θ−δ）だけ回転しなければならない。角度θは閲覧参加者の仮想ポーズの向き部分である。
【００５０】
閲覧参加者のレンダリングビューは、第１および第２のオーダの両方において注視を効果的に伝達することが可能である。図３Ｂにおける第１のオーダの注視伝達に関して、仮想環境３００Ｂ内に離れてある被閲覧参加者等の被閲覧オブジェクト３４０には、閲覧参加者３１０の対面ビューが提示される。すなわち、没入型仮想環境の結合モデルのビューが被閲覧オブジェクトに作成される場合、結合モデルは没入型仮想環境内の被閲覧オブジェクトの位置からレンダリングされる。閲覧参加者が仮想空間内のその位置に面するように向けられている場合、被閲覧オブジェクトは閲覧参加者の対面したアイコンタクトビューを見ることになる。したがって、第１のオーダのアイコンタクトが実現する。
【００５１】
また、本実施形態は、第２のオーダの注視伝達を効果的に伝達する閲覧参加者のレンダリングビューを生成することが可能である。第３の参加者が没入型仮想環境内のどこかに存在するものと想定する。さらに、被閲覧オブジェクトおよび閲覧参加者が第３の参加者の視点にレンダリングされるものと想定する。閲覧参加者は被閲覧オブジェクトに面するように向いているため、閲覧参加者および被閲覧オブジェクトのいずれのレンダリングも、第３の参加者の視点へのレンダリングを含め、被閲覧オブジェクトに面した閲覧参加者を示すことになる。したがって、第２のオーダのアイコンタクトも実現する。
【００５２】
一実施形態では、閲覧参加者のレンダリングビューは、再構築技法を閲覧参加者の複数のリアルタイムビデオストリームに適用することによって生成される。すなわち、閲覧参加者の３Ｄモデルは、閲覧参加者のリアルタイムビデオストリームから再構築される。このようにして、参加者のよりリアルな表現が、仮想会議室等の没入型仮想環境内に提示される。様々な再構築方法を本発明の実施形態において実施することができる。たとえば、１つの方法は、「Image-based Visual Hulls」Matusik他、SIGGRAPH 2000, PP.369, 374に開示されている。
【００５３】
別の実施形態では、閲覧参加者のリアルタイムのリアルな表現を提供するのではなく、３Ｄモデルが予め存在する。たとえば、予め存在するアニメのようなアバター（avatar）で仮想環境内の参加者を表すことができる。アニメのようなアバターは、仮想環境内の視線方向を表現することが可能なように十分詳細に設計することができる。
【００５４】
さらに別の手法では、新ビュー合成技法を使用して、閲覧参加者を没入型仮想環境内にレンダリングすることができる。新ビュー合成技法は、オブジェクトを任意の視点にレンダリングすることが可能であり、中間ステップとして３Ｄモデルを作成してもしなくてもよい。この手法では、閲覧参加者は新ビュー合成を使用して、上述したものとまったく同じ視点でレンダリングして、参加者の２Ｄ画像を作成する。没入型仮想環境は別個にレンダリングして、２Ｄ仮想環境画像を作成することができる。次いで、参加者の２Ｄ画像を２Ｄ仮想環境画像に合成して、上述した３Ｄ結合モデルのレンダリングと同一の画像を作成することができる。
【００５５】
別の実施形態では、目の震え（eye jitter）等のヒステリシス効果を最小限に抑えるために、閲覧参加者の注視の仮想表現は被閲覧オブジェクト上にロックされる。具体的には、閲覧参加者の注視の仮想表現は、閲覧参加者がモニタ上に表現された被閲覧オブジェクトから十分遠く離れたところを見るまで、またはモニタ上に表現された被閲覧オブジェクトから十分に長い間目をそらすまで、被閲覧オブジェクト上にロックされる。
【００５６】
本発明の一実施形態によれば、複数の参加者の複数の幾何学的形状レイアウトを、同じ通信セッションに生成することができる。すなわち、たとえば、観察参加者に対する閲覧参加者の位置は、どの幾何学的形状レイアウトが選択されるかに応じて可変である。たとえば、図４Ａは、モニタを通して図１Ｂの参加者Ｗ’が見るビュー４００Ａを示す図である。図４Ａでは、参加者Ｘ、Ｙ、およびＺは第１の幾何学的形状レイアウトではテーブル４０５の周囲に座って見える。図４Ｂは、モニタを通して図１Ｂの参加者Ｗ’が見る異なるビュー４００Ｂを示す図である。異なるビュー４００Ｂは、参加者の第２の幾何学的形状レイアウトを示す。すなわち、仮想環境内の被閲覧参加者の配置は、没入型仮想環境のビュー４００Ａと４００Ｂとで変更された。たとえば、ビュー４００Ａでは、参加者Ｘ、Ｙ、およびＺは左から右に見られる。しかし、ビュー４００Ｂでは、参加者Ｚ、Ｘ、およびＹは左から右に見られる。図２を含む本発明の方法を使用すると、これら複数の幾何学的形状レイアウトは注視を正確に同時に伝達することができる。
【００５７】
フローチャート２００に示す実施形態の方法は特定の順序および量のステップを示すが、本発明は代替の実施形態にも適する。たとえば、方法に提供されるすべてのステップが本発明に必要であるわけではない。さらに、追加のステップを本実施形態に提示されたステップに追加することも可能である。同様に、ステップの順序は用途に応じて変更することが可能である。
【００５８】
このように、本発明、すなわち没入型仮想環境内の注視を伝達する方法の好ましい実施形態について説明した。本発明は特定の実施形態において説明されたが、本発明はこのような実施形態により限定されると解釈されるべきではなく、添付の特許請求の範囲に従って構築されることを理解されたい。
【図面の簡単な説明】
【００５９】
【図１Ａ】本発明の一実施形態による、４人の参加者を含む没入型仮想環境の図である。
【図１Ｂ】本発明の一実施形態による、参加者の注視を追跡することが可能な図１Ａの没入型仮想環境を見ているときの参加者の向きおよび関連するモニタの図である。
【図２】本発明の一実施形態による、没入型仮想環境において注視を伝達するコンピュータ実施方法におけるステップを示す流れ図である。
【図３Ａ】本発明の一実施形態による、閲覧参加者３１０の注視方向を示す物理的な環境内の閲覧参加者３１０の上から下を見た図である。
【図３Ｂ】本発明の一実施形態による、閲覧参加者３１０の正確な注視方向を表現するための閲覧参加者３１０の３Ｄモデルの回転を示す、仮想環境３００Ｂ内の図３Ａの閲覧参加者３１０の図を示す。
【図４Ａ】本発明の一実施形態による、参加者の１つのレイアウトを示す没入型仮想環境のビューの図である。
【図４Ｂ】本発明の一実施形態による、どの仮想環境が選択されるかに応じて変化する図４Ａの参加者のレイアウトを示す没入型仮想環境のビューの図である。
【符号の説明】
【００６０】
Ｗ'、３１０  閲覧参加者
１００Ａ  没入型仮想環境
１００Ｂ  物理的仮想環境
１３０  モニタ
【図１Ａ】
2005216310.tif 000003
【図１Ｂ】
2005216310.tif 000004
【図２】
2005216310.tif 000005
【図３Ａ】
2005216310.tif 000006
【図３Ｂ】
2005216310.tif 000007
【図４Ａ】
2005216310.tif 000008
【図４Ｂ】
2005216310.tif 000009