"物理的空間内の物体を感知し、感知された情報を出力する深度感知カメラの配置構成と、前記物理的空間内の表面上に投影を行うプロジェクタの配置構成と、前記感知された情報および前記投影を処理して仮想対話型空間を物理的空間にマッピングし、物体および表面とのインタラクションのための対話型ディスプレイをエミュレートする制御コンポーネントとを備えることを特徴とする多次元モデリングシステム。前記感知された情報の一部を投影にマッピングして3D物理座標系を作成するマッピングコンポーネントをさらに備え、前記カメラおよび前記プロジェクタが物理的空間に登録されることを特徴とする請求項1に記載のシステム。前記制御コンポーネントが、3D感知情報である感知された情報を2D画像である投影に適用し、前記感知された情報を処理して物理的空間内の物体の深度を推測し、前記投影が、少なくとも2つの投影内の物体が相互参照されて物理的空間において接続性が確立されるように、相互に関連付けられることを特徴とする請求項1に記載のシステム。前記制御コンポーネントが、物理的空間内の表面上への空間ウィジェットの投影を円滑にし、前記空間ウィジェットの対話型操作は、物理的空間で所定の動きを使用して達成されることを特徴とする請求項1に記載のシステム。前記深度感知カメラの感知された情報を利用して、物理的空間にいるユーザに対して仮想物体の位置決めをシミュレートするために前記制御コンポーネントが処理する、3Dメッシュが構築され、前記3Dメッシュは、リアルタイムで構築され、かつ、物理的空間の感知される部分をモデル化することを特徴とする請求項1に記載のシステム。深度感知カメラの配列構成を使用して、物理的空間内の物体を感知し、感知された情報を出力するステップと、プロジェクタの配置構成を使用して、物理的空間内の表面上に画像を投影するステップと、前記感知された情報と前記画像とに基づき、仮想対話型空間を作成して物理的空間に重ねるステップと、前記物理的空間内の表面に対して、物体とのインタラクションを提示するステップとを含むことを特徴とする多次元モデリング方法。前記感知された情報に基づき、物理的空間内の物体の深度を推測するステップをさらに含むことを特徴とする請求項6に記載の方法。前記カメラの物理的空間への登録および前記プロジェクタの物理的空間への登録に基づき、物理的空間の3Dメッシュをリアルタイムで生成するステップをさらに含むことを特徴とする請求項6に記載の方法。物理的空間内の2つの表面を、前記2つの表面の接続インタラクションに基づき、仮想的に関係付けるステップと、空間ウィジェットを物理的空間の対話型表面上に提示するステップと、所定の物理的移動を使用して前記空間ウィジェットを対話型に操作するステップと、をさらに含むことを特徴とする請求項6に記載の方法。物体に対する仮想対話型表面の計算された近接性に基づき、前記物体を仮想的に採取し、前記物体を仮想的に落とすステップをさらに含むことを特徴とする請求項6に記載の方法。以下では、本明細書に記載されるいくつかの新規な実施形態の、基本的な理解を提供するために、簡素化された要約を示す。この要約は、広範囲な概要ではなく、かつ、重要/決定的な要素を確認することまたはその範囲を明確にすること、を意図していない。その唯一の目的は、後に示されるさらに詳細な記載の前置きとして、いくつかの概念を簡素化された形式で示すことである。開示されるアーキテクチャでは、複数の深度感知カメラおよび複数のプロジェクタを組み合わせて、拡張現実および仮想対話のための特定の空間例えば、部屋を対象とする。カメラおよびプロジェクタは校正され、空間内の物体の多次元例えば、3Dのモデルの開発と、制御された様式でグラフィックを同じ物体上に投影する能力を可能にする。このアーキテクチャでは、全ての深度カメラからのデータを、校正されたプロジェクタと組み合わせて統合された多次元モデルに組み込む。さらに、興味深いユーザインタラクションを可能にする。物体を空間内の異なる場所の間で移動させる際に仮想的な連続性を提供するために、ユーザの身体または、視界内の他の物体は、このインタラクションを投影する一時的なキャンバスとして機能することができる。ユーザが身体の一部を動かすと、例えば、空間内において他の物体が何もない状態で、身体の一部は、その環境内の既存のスクリーン/インターフェースの間で推移中のデータのための一時的なスクリーンとして機能することができる。本アーキテクチャにより、物体の接続、物体のピッキング、物体のドロッピング、およびバーチャルメニュー等の空間ウィジェットの採用を含む物理的な空間におけるインタラクションが円滑にされる。上述した関連する目的を達成するために、特定の例示的な態様が、以下の説明および添付の図面に関連して本明細書において記載される。これらの態様は、本明細書に開示される原理を実践することができる種々の方法を示し、その全ての態様および等価物が請求される主題の範囲内にあることが意図される。他の利点および新規な特徴は、以下の発明を実施するための形態において図面と併せて検討することにより、明らかになるであろう。深度カメラとプロジェクタの組み合わせにより、新しい対話型の経験が可能にされる。リアルタイムにアップデートされる高密度の3Dメッシュ相互に接続される例えば三角形等の多角形の網のリッチな経験は、コンピュータビジョンについての考え方に変化をもたらす。メッシュを高レベルの抽象プリミティブに単純化しようと苦心するよりはむしろ、多くのインタラクションは、メッシュに対する直接的なそれほど破壊的でない変換およびシミュレーションにより達成することができる。そうすることで、ユーザの正確な物理的な形状およびユーザの環境について、より基本となるプロパティを利用することができる。本アーキテクチャでは、深度感知カメラとプロジェクタを組み合わせた機能を使用して、ディスプレイとしての環境の最小の角さえも感知し利用する。例えば、本明細書において採用する場合、深度感知カメラは、色に加えて、各画素位置において最も近い物理的表面までの範囲距離を直接感知することができる。代替の一実装において、3D飛行時間型カメラを採用することができる。例えば、ユーザは接触を使用して、機器を装備していないテーブルに投影される仮想物体を操作し、物体を一方の手でテーブルから他方の手の中に移動させることにより物体をつかみ、ユーザが対話型の壁のディスプレイの方へ歩くときも手の中に物体が見え、そして、壁に触れることにより壁に物体を置くことができる。本アーキテクチャでは、環境内のどこにある表面も有効にされ、空間はコンピュータであり、ユーザの身体でさえもディスプレイの表面とすることができる。換言すれば、全ての物理的表面を対話型ディスプレイとすることができる。対話型ディスプレイがアクティブであるだけでなく、ディスプレイ間の空間も同様にアクティブであり、ユーザは、一方を他方に接続させて両方のディスプレイに触れる等、興味を持てるやり方でディスプレイに係わることが可能である。グラフィックをユーザの身体上に投影させ、仮想物体をあたかも実物であるかのように持つこと、または、手の上に投影されるメニューによって選択すること等、空中のインタラクションを可能にすることができる。複数の校正された深度カメラおよびプロジェクタを組み合わせて、ユーザが器具を使用することなく、グラフィックを物体に例えば、動画、静止画投影することができる。カメラおよびプロジェクタは実世界の単位で1つの座標系に合わせて校正され、特定のインタラクションにどのカメラまたはディスプレイを最終的に使用するかを意識しない、対話型の経験のオーサリングを可能にする。感知された3Dデータを2D画像に選択的に投影することで、熟知の2D画像処理技術を使用して3D空間について推論することを可能にする。そのような投影を使用して、例えば、表面のような機能性を、機器を装備しないテーブル上にエミュレートすることができる。複数の投影をお互いに関連付けて、2つまたはそれ以上の投影での物体を相互参照させて、実空間における接続性を確立することができるようにする。これを使用して、複雑でエラーが起こりやすい追跡技術に頼らずに、ユーザが2つのシミュレートされる表面にいつ触れているのか物体が一方から他方に移動する時等を検出することができる。加えて、深度カメラにより感知される3Dメッシュで表され身体の一部に置かれている、仮想物体の物理特性をシミュレートすることにより仮想物体を持つことができる。さらに、ユーザは、一方の手の上に投影されるメニューの選択を、空中で所定の動きに従って例えば、上下に手を動かすことにより変更することができる。本アーキテクチャにより、ユーザまたは部屋をセンサまたはマーカで拡張することなく、日常環境において対話性および可視化が可能にされる。インタラクションには、シミュレートされた対話型表面、身体を通る表面間での移行、物体をつかむこと、および空間メニューが含まれる。シミュレートされる対話型表面について、部屋の表面は、ユーザが手のジェスチャを使用し触れて、投影される内容を操作することができる対話型ディスプレイとなることが可能にされる。一実装において、対話型の壁および対話型のテーブルを提供することができる。しかし、任意の数の同様の表面を生成して採用することが可能であることを理解すべきである。壁もテーブルも個別のディスプレイなのではなく、標準的な家具に対して上部のプロジェクタおよびカメラから投影および感知することができる。深度感知ビデオカメラの技術は、カラー映像に加え、正確な画素単位の範囲のデータを提供する。そのようなカメラは、ロボット工学、およびゲームやジェスチャ入力システム等の視覚に基づく人間とコンピュータのインタラクションのシナリオにおいて応用される。深度感知カメラを採用して対話型テーブルトップシステムを円滑にすることができ、カメラがテーブル表面上にある物体の高さマップを形成する。例えば、プレイヤがテーブル上に置かれた実物体の上を仮想の車で走行できるシミュレーションゲーム例えば、トライビングゲームに高さマップが使用される。プレイヤは、例えば、折り畳まれた紙の小片を使用して、斜面や他の障害物のコースを配置することができる。第1のプロジェクタが表面上での車の位置を表示し、車が斜面上を走ると、例えば、変換によって車が飛行するようにできる。第2のプロジェクタは、表面全体の合成グラフィックのビュー、または、車の背後からの従来のアーケードビューを示すことができる。開示されるアーキテクチャは、複数の深度感知カメラおよびプロジェクタを採用して、あるボリュームの空間例えば、部屋の中に3Dレンダリング対話型の経験を提供する。カメラは、各画素の範囲深度および色を含む出力を提供する。これにより、表面については、表面に対して、またその表面に関連する物体移動しているものまたは静止しているもの上にプロジェクタのグラフィックを調整する能力が促進される。カメラの出力とプロジェクタの校正を統合された表現として空間で組み合わせる多次元モデルが作られる。カメラの位置決めおよび方向付けは、静止している時および空間を移動している時にリアルタイムで空間に物体の形状のフル3Dレンダリングをキャプチャしかつ提供するような様式で行われる。統合されたモデルを有するという強みは、データの収集に利用される実機からオーサリングおよびインタラクションの設計を切り離すことができることである。ここで図面を参照すると、全体を通して同様の数字が同様の要素を参照するために使用される。以下の記載において、説明の目的で、全体の理解を提供するために多数の特定の詳細が記載される。しかし、新規な実施形態は、これらの特定の詳細なしでも実践することができることは明らかであろう。他の例において、周知の構造および装置が、その説明を容易にするためにブロック図の形式で示される。請求される主題の精神および範囲にある全ての修正、等価物、および代替を対象とすることが意図される。図1は、開示されるアーキテクチャに従う、多次元モデリングシステム100を例示する。システム100には、物理的空間106内の物体104例えば、カメラからの距離および色を感知し、感知された情報108を出力する深度感知カメラ102の配置構成と、物理的空間106内の表面114例えば、物体104、物理的空間106の壁、空間106等にいるユーザ等に投影112を行うプロジェクタ110の配置構成と、感知された情報108および投影112を処理して仮想対話型空間118を物理的空間106に例えば、連続してマッピングし、物体104および表面114とのインタラクション例えば、ユーザのための対話型ディスプレイをエミュレートする制御コンポーネント116と、が含まれる。なお、矩形の2D空間として示されているが、物理的空間106は1つの内側表面または複数の内側表面を含むことができる3D空間であり、表面とは、空間106の内側の壁および、床、天井、壁につるされるボード等の物体、物体104の表面、ユーザの身体の一部または全身の表面、等とすることができる。仮想空間118は、明確にするために、物理的空間106からオフセットされているように例示されており、実際は、ディスプレイを介して見ると、仮想空間118と物理的空間106との間の界面は識別しにくいであろう。システム100は、感知された情報の一部を投影にマッピングしてモノリシック3D物理座標系を作成するマッピングコンポーネントをさらに備えることができる。制御コンポーネント116は、3D感知情報である感知された情報108を、2D画像である投影112に適用する。カメラ102およびプロジェクタ110は、物理的空間106に対して登録される。投影112は、少なくとも2つの投影112内の物体が相互参照されて物理的空間106において接続性が確立されるように相互に関連付けられる。制御コンポーネント116は、物理的空間106内の表面上への空間ウィジェットの投影を円滑にし、空間ウィジェットの対話型操作は、物理的空間106で所定の動き例えば、手のジェスチャを使用して達成される。深度感知カメラ102の感知された情報108を利用して、物理的空間106にいるユーザに対して仮想物体の位置決めをシミュレートするために制御コンポーネント116が処理する3Dメッシュが構築される。3Dメッシュはリアルタイムで構築され、物理的空間106の感知される部分をモデル化する。制御コンポーネント116は、感知された情報108を処理して物理的空間106内の物体104の深度を推測する。図2は、開示されるアーキテクチャに従う、多次元モデリングシステム200の代替実施形態を例示する。システム200には、空間106内の物体例えば、物体202を感知し、感知された情報108DSCSI例えば、DSCSI1、DSCSI2、...を出力する深度感知カメラDSC102の配置構成が含まれる。システム200にはまた、空間106に対して投影112PS1、PS2、...で示されるを行うプロジェクタP110P1、P2、...で示されるの配置構成が含まれる。マッピングコンポーネント204は、感知された情報108の一部を投影112にマッピングしてマッピング情報を作成する。モデリングコンポーネント206は、感知された情報108およびマッピング情報に基づき多次元モデル208を作成する。モデル208は、空間106内の物体202とのインタラクションに採用される。3D環境において、複数の深度感知カメラは、空間例えば、部屋にある物体、例えば、空間内の家具や人、の3D形状に関する詳細な情報を提供する。深度カメラにより返される画像の情報を使用して、空間内で観測される表面の正確な実世界の座標例えば、ミリメータ単位でを計算することができる。これにより、3D幾何学モデルが使用されることになる。複数のカメラからのデータ例えば、感知された情報を、相対的なお互い同士に対する、または、何らかの選択された物理的世界の座標系に対する方向および位置に正確に基づき、統合されたモデル208にまとめることができる。この方向および位置情報は標準的な校正手順により算出することができる。同様に、複数のプロジェクタを別の標準校正手順により3Dモデルに組み込んでも良く、その結果、任意の表面上に、その表面が少なくとも1つのカメラおよび少なくとも1つのプロジェクタにより見える場合は、グラフィックの提示に有用なモデルが得られる。例えば、表面からプロジェクタまでの距離を考慮せずに特定の大きさで見えるように、グラフィックを表面に投影することができる。概して、グラフィックの物体を標準のグラフィック技術を使用して3Dモデル内に位置付けることができる場合、カメラとプロジェクタの両方の視線等の特定の制限はあるが、グラフィックの物体を物理的実世界において正確にレンダリングすることができる。この基本モデルを使用して有用なインタラクションを可能にすることができ、これには以下が含まれる。仮想物体を空間内の机の上に投影することができる。ユーザが机に近づき物体を例えば、一方の手で他方の中に振り落とすと、ユーザが壁のディスプレイの方に歩く時にも物体は手の中に見える。ユーザが仮想物体を投擲の動きで壁のディスプレイに投げると、物体は壁のディスプレイに向かって飛び、壁のディスプレイ上に現れる。1つのディスプレイから別のディスプレイへの仮想物体の移動はこのように達成される。部屋の中の何らかの表面上にレンダリングされた仮想のデータソース、および近隣のデータシンクについて考察する。ユーザは、一方の手でソースに触れ、他方の手でシンクに触れることによりソースをシンクに接続させる。接続はユーザの身体上に投影されたグラフィックによって示すことができ、データそのものをユーザ上に直接レンダリングさせることができる。なお、データソースとデータシンクは、静止した表面上に投影される像と同様に基本的なものすることができ、または、ソースまたはシンクのそれぞれを人とすることができる。他の人と握手することによりデータを移動させることが可能であり、インタラクションが発生する時に手の上に投影されてこの接続をグラフィックで見ることができると考えられる。従って、開示されるアーキテクチャに基づき、異なる種類の新しい空中UI制御を実装することが可能である。さらに、例えば、表面例えば、床上のある地点がメニュー選択の存在を示すことについて考察する。ユーザはその地点の上方に手を合わせることができ、システムが、現在の選択を直接ユーザの手の上に投影することにより応答する。ユーザは、手を上げるまたは下げることにより、または他のジェスチャを行うことにより、選択を変更することが可能である。開示されるアーキテクチャの空間例えば、部屋におけるインタラクションを追跡かつ推論する能力により、個々の対話型表面をシームレスでモノリシックな対話型面に接続させることが円滑にされる。ユーザは、単に物体に触れ、次に所望の場所に触れることにより、対話型表面間で身体を通して物体を移行させることができる。システムは両方の接触が同一人物に属することを推測し、表面間の接続を確立する。例えば、ユーザがテーブル上の画像に触れ、次に壁にも触れると、画像は壁に移行される。換言すれば、身体を通る移行は2つの表面に同時に触れることにより達成される。移行をトリガするために両方の表面に同時に触れるとはいえ、最初に触れられた物体はソース送信元であり、2番目に触れられた表面は送信先となる。ユーザの身体を通してなされる接続を示すために、短時間のハイライト例えば、2秒をユーザに投影するという形式で視覚的な確認をすることが可能であり、物体が移動されたことを他の人に通知するのに役立ち、誰が移動を行ったのかを示す。代替の実装において、物体の対象送信先への移動の手段として同時に触れるのではなく、経路と速度を3Dメッシュにおいて採用してソースに対する送信先を推測することが可能である。さらに別の実装において、連続した接触を表面接続の決定要因とすることができ、最初にソースにユーザの手が触れ、次に、ソースに触れた2秒以内に送信先表面にユーザの手が触れる場合に、接続がなされたとも考えることができる。身体を通して接続を行うことに加えて、ユーザは、文字通り対話型表面から物体を引きずり出して手で拾い上げることができる。システムは、実際にはユーザの手または任意の他の身体の部分を追跡はせず、各物体に物理特性的な挙動を与える。物体をテーブルから拾い上げることは、例えば、物体を手の中に拭い込むことにより達成することが可能である。物体を拾い上げることに続いて、手の中にあることに関連して物体の像描写を提示することができる。ユーザは、実際に物体を手の中にとること、物体を環境内の他の人に渡すこと、および、物体を対話型表面間で運ぶことができる。仮想物体を手の中に持っている時に、任意の対話型表面に触れると、身体を通る瞬時の移行がなされ、物体を表面上に戻して置くための簡単で一貫した方法をユーザに体得させる。空中において、利用可能な投影領域はユーザの手の大きさに制限され、大きな仮想物体を投影することが困難になる。空中においてユーザの手に大きな仮想物体を投影することに対処するため、各仮想物体を、手の中に保持される間は小さなカラーボールで表現することができる。空間内のユーザの位置を正確に検出する能力を使用して、種々の空間インターフェースを有効にすることができる。例えば、床の上の投影されたメニューマーカの上の垂直な空間に手を置くことにより、空間垂直メニューを起動することができる。他のトリガを採用することが可能である。手を上下に動かすことで、ユーザの手に直接投影される異なるオプションを明らかにすることができる。メニュー選択肢の上に例えば、2秒間存在することを、選択を行うトリガとすることができる。上述のように、利用できる表面が他に無い時、ユーザの身体の部分を空中における投影用のキャンバスとして使用することが可能である。一実装において、深度感知カメラは、画素単位の深度推定量を、センサからのセンチメートル単位の距離の推定される深度分解能と共に報告することが可能である。深度は構造化光アプローチを使用して計算することができる。カメラには、赤外線IRカメラ、RGB赤緑青カメラおよびIRカメラからほぼ数センチメートルに位置決めされたIR光源の組み合わせを採用することができる。この光源は環境上にパターンを投影する。カメラは、シーンに重ねられるこのパターンをキャプチャし、画像内のパターンの歪みから深度を計算する。得られる深度画像は、画像内の画素毎にミリメートル単位の深度推定量を含有する。画像の各部の3D位置を知ることで空間内のエンティティの分割機能が円滑にされる。基本の3Dメッシュユーザのいない空間のメッシュを、収集かつ使用してシーンにおける任意の新しい物体を解像することができるすなわち、基本メッシュとは異なる深度値を持つ画素。一実装において、アーキテクチャは3つの異なる深度感知カメラと3つのプロジェクタを採用し、それぞれが独立して設置され視野を有する。カメラおよびプロジェクタは1つの3D座標系に登録される。深度カメラが実世界に対応する深度値を報告し、プロジェクタがカメラの値を使用して校正されるため、カメラとプロジェクタの両方が実世界例えば、物理的空間106で登録される。校正の第1のステップは、深度カメラを校正することである。カメラを物理的空間で登録するためにカメラの画像内の3地点同一内で良いを使用することができる。逆反射の点の固定グリッド既知の実世界での位置を空間内で位置決めして、これらの地点の内の少なくとも3つが各カメラから見えるようにする。逆反射の点によりカメラの赤外線画像内の校正地点が簡単に識別されるが、これらの地点が周囲の環境よりも非常に明るく見えるためである。各校正地点の3D空間位置を計算するために、周囲の画素の深度値のサンプリングおよび平均化が実行され、深度推定として使用される。この領域平均化法では、任意の1地点における深度を読み込む際のカメラのノイズも減少する。実世界の3地点がカメラによりサンプリングされて識別される時に、3Dカメラ姿勢推定がカメラ毎に実行され繰り返され、その後、全てのカメラが同一の座標系に対して校正される。校正ルーチンの第2のステップは、上述の校正されたカメラを考慮した、プロジェクタの登録とすることができる。このステップでは、少なくとも1地点が同一平面外にある4つの校正地点を利用することができる。これらの4地点は深度カメラにより正確に識別されプロジェクタの画像内に配置され、その後アルゴリズムを使用してプロジェクタの位置と方向を発見することができる。この処理ではプロジェクタの焦点距離と投影の中心を利用する。深度カメラにより点の位置を正確に推測可能であるため、再度、逆反射の点をシーン内の任意の場所に位置付けることができる。シミュレートされた対話型表面の校正について、対話型表面は手動で指定可能である。別々の矩形表面を使用する場合、それぞれを、深度カメラ画像における表面の左上、右上、左下の角を特定することにより別々に校正することができる。代替の実装において、全ての表面が対話型にされる。新しく投影された対話型表面を指定するのと同時に、3つの校正地点が表面の上の対話型空間の範囲を特定し、表面の上のボリューム内のユーザの全ての動作を追跡する。校正に基づき、空間の感知された部分全体をモデル化する3Dメッシュをリアルタイムにキャプチャすることが可能である。仮想物体を、同一シーン内でメッシュの上部に位置付けして良い。そして、プロジェクタの校正により、これらの物体は実際の物体の上部の実空間に正確に投影される。本アーキテクチャでは1つまたは複数のアルゴリズムを採用して、ユーザがいつ空間にいるのか、ユーザがいつ対話型表面に触れるか、ユーザがメニューに対応する空間のアクティブな領域にいつ手を挿入するか、等を検出する。例えば、検出された2人のユーザからのメッシュが、別々に追跡されて視覚的に違いが付けられる例えば、異なる色相で色付けされる。以下は、2D画像処理を使用してインタラクションを実装する技術である。3Dデータの投影を計算して新しい画像作成することは、仮想カメラ対応する実際のカメラは無いにより生成されたものと考えることができる。そのような新しい画像は、最初に、全ての深度感知カメラ画像内の各地点をローカルなカメラ座標からワールド座標に変換し、次に仮想カメラのビュー行列と投影行列により仮想カメラ座標に変換することによって、計算することができる。この地点のz値は目的の画像内のそのx,y位置に書き込まれる。3つ全て深度カメラからのデータは、このように1つの仮想カメラビューに対してレンダリングされる。仮想カメラを使用している時、仮想カメラ画像のビュー行列および投影行列は、実際の深度カメラの構成とは無関係に選択することができる。各仮想カメラが複数の深度カメラからの深度データを組み込むことができるため、仮想カメラビューを消費する側は、深度カメラの特定の位置及び方向、または複数のカメラが存在すると言う事実さえについても懸念する必要が無い。複数の仮想カメラビューを計算することができ、それぞれを正確に調整して特定のインタラクションをサポートすることができる。仮想カメラは、近クリップ面および遠クリップ面を使用して空間の特定のボリュームを選択することができる。例えば、3つの正投影を使用することが可能であり、1つの投影が部屋の平面ビューを与え、2つの投影がテーブルトップおよび壁のディスプレイ表面の真上でインタラクションをキャプチャするべく構成される。一度計算すると、仮想カメラ画像は2D画像処理技術を使用して処理することができる。仮想カメラ画像は、例えば、対話型の表示を取得することにより生成される画像と事実上同様にテーブルトップの真上に現れる。開示されるアーキテクチャは、これらのシステムに特有のパイプラインの処理を再現することにより対話型表面の挙動をエミュレートする。接触は接続されるコンポーネントを計算することにより発見され、時間をかけて追跡される。仮想物体例えば、移動、回転、スケーリングのヒットテストおよびマルチタッチ操作が必然的にサポートされる。テーブルと壁の両方の仮想カメラビューにおける接触が発見された後、平面ビューは、テーブルトップ上の接触および壁のディスプレイ上の接触が、ユーザが両方のディスプレイに同時に触れている時のように、物理的に接続されるかどうかの判定に役立つ。あるビューから別のビューへの接続コンポーネントにインデックスを付けるテーブルを構築すること、および、入力された深度画像およびワールド座標系により全てのビューが関連付けられるという事実を有効利用することにより、接続性を計算することが可能である。マップは、平面ビューにおけるある場合には対応する物体接続されるコンポーネントを深度画像の画素位置毎に示す、深度カメラ画像毎に計算される。マップを使用して、第2のパスが実行されて、テーブルトップビューにおいて観測される物体毎に、テーブルの物体に属する全ての画素に対応する平面ビューコンポーネントのセットが収集される。対応する平面ビューの物体のセットは各テーブルの物体と共に記憶される。この処理は壁のビューに対して繰り返される。そして、テーブルおよび壁の接触が平面ビュー内の物体例えば、ユーザの身体により物理的に接続されるのは、テーブルトップおよび壁の物体と共に記憶される物体の共通部分が空でない場合、すなわち、物体が、共通部分における平面ビューの物体により接続される場合である。エミュレートされた対話型表面上に現れる仮想物体は、例えば、物体が対話型表面の縁に近づく時、および、近くに現れる表面ユーザの手等がある時に、ユーザの手で採取されるまた拾い上げられる。一度採取されると、物体の動きは、平面ビュー内の可能性のある新しい場所の窓に対して目的関数を最大化することにより判定される。一実装において、目的関数は、物体の動きの量を最小化する複数の因子の線形結合であり、観測される表面に対応しない地点を無効とし、より低い位置への移動を促し、観測される表面が平らである場所への移動を促すすなわち、領域の表面高さの分散が小さい。目的関数を実験的に選択して、表面上を移動するボールの動きを、確実にボールが表面の縁から落ちないようにしながら、大まかにエミュレートすることができる。より複雑な実装において、物理エンジンを採用して、メッシュを用いて直接、仮想物体のインタラクションを制御することができる。対話型表面上に物体を落とすことは、対話型表面近隣の物体を保持することにより拾い上げるのと逆の順番で達成することができる。平面ビューにおいて仮想物体を保持する物体接続されるコンポーネントが、例えば、テーブルトップまたは壁のビューのどちらかの物体に接続されることを判定することにより、物体を落とすことができる。この場合、仮想物体は対話型表面上に落とされる。これは、仮想物体を一方の手で保持しながら送信先のディスプレイに触れることにより、または、保持する物体を送信先のディスプレイに近づけることにより、達成することができる。空間メニューは、仮想カメラ例えば、特定の場所の上の長くて狭い柱状の空間を表現するカメラに基づく別のインタラクションである。インタラクションには、ユーザが特定のメニュー項目の3D空間位置に対して手を位置づけることが含まれる。例えば、床に固定して投影されるマーカ等、メニューがどこに配置されるかを示すべく空間メニューをマークすることができる。マーカは、空間的基準として機能し、該基準の上の柱状の空間を介して3D選択のタスクの複雑性を一次元スイープに減少させる。加えて、システムでは、メニューを操作するユーザの頭の位置を推論することも可能であり、身体上の最高地点として検出することができる。検出された頭の位置に対してメニュー項目を方向付け、メニュー項目を現在のユーザに対して正確に読み取り可能にする。原則的には、空間メニューはユーザから離れたオンデマンドの空間ウィジェットである。異なる態様の環境例えば、空間ボタン、スライダ等を制御するため、また、態様の挙動を関連する空間メニューを有する各物体の状況にあてはめるために、他の空間ウィジェットを実装することができる。本アーキテクチャにより円滑にされる別のシナリオには、複数のユーザ間の接続を伴う。例えば、あるユーザがテーブル上の物体に触れ、別のユーザが壁に触れている際に、ユーザ同士が握手をするとそのユーザの物理接続が計算仮想リンクを形成し、これがテーブルから壁への物体の移動を可能にする。代替の実装において、表面は移動または形状の変更が可能とされ、これによりさらに、2つの机を必要に応じて一緒に移動させること、壁のディスプレイを机に変更することにより、または、手に持った紙に対話型能力を与える際等、即時のタスクの必要性に対して空間内のディスプレイの動的な再構成を適合させることができる。さらなる拡張性としては、全ての感知された表面を1つの連続する対話型ディスプレイとして動作させることが可能であり、この上で仮想物体が移動され操作されて良い。連続する対話型表面にはユーザの身体を含むことができる。例えば、ユーザの手を投影された赤の塗料の溜め部に置くと赤くなるようにすることができる。青の塗料に触れると、より紫色を帯びた色になる。別の例では、ユーザが部屋の中のボタンに触れると、ユーザの腕に沿って広がったメニューを使用し、他方の手で選択を行う。2人の人が単に握手するだけで接続情報を交換することができ、この移動はユーザの身体上にグラフィックのアニメーションで示される。別の例では、ユーザが母国語を話す時その翻訳がユーザのシャツに直接提示され他の人が読めるようにする。物理エンジンを利用するさらに複雑な実装では、物体を壁のディスプレイに向かって投げる等のより現実的なシミュレートされた動きが可能にされ、物体が壁に当たる時に物体を出現させる。物体がテーブルの縁に近づくと、床に落ちる前に物体をフラフラと揺動させることができる。言い換えると、提供される多次元モデリングシステムは、物理的空間内の物体の画素毎の距離値を感知し、感知された3D情報を出力する深度感知カメラの配置構成と、物理的空間内の表面に2D投影を行うプロジェクタの配置構成と、感知された3D情報および投影を処理して仮想カメラの透視ビューから作成されるような仮想カメラ画像にする制御コンポーネントとを備え、仮想カメラ画像が物理的空間内の物体および表面とのユーザインタラクションのための対話型ディスプレイをエミュレートするべく採用される。物理的空間内の2つの表面は、2つの表面との物理的なユーザインタラクションに基づき仮想的に関連付けられる。制御コンポーネントは、物体を仮想的に採取することおよび物体を仮想的に落すことを、物体に対する仮想対話型表面の計算された近接性に基づき円滑にする。制御コンポーネントは、感知された情報を処理して、仮想カメラのビューに対する物理的空間内の物体の距離を推測し、物理的空間内の対話型表面上への空間ウィジェットの提示、および所定の物理的移動を使用した空間ウィジェットの対話型操作を円滑にする。本明細書には、開示されるアーキテクチャの新規な態様を実行するための例示の方法論を代表するフローチャートのセットが含まれる。一方、説明を簡単にする目的で、例えば、フローチャートまたはフロー図の形式で本明細書に示される1つまたは複数の方法論は、一連の動作として示され説明されるが、方法論が動作の順序により制限されず、それに従っていくつかの動作が、本明細書に示され説明される動作とは異なる順序および/または他の動作と同時に発生して良いということは理解および認識されるべきである。例えば、当業者は、方法論を代替えとして一連の相互に関係づけられる状態または事象として状態図等に表すことができることは理解および認識するであろう。さらに、方法論において例示される全ての動作が、新規な実装のために必要とされるわけではない。図3は、開示されるアーキテクチャに従う多次元モデリング方法を例示する。300にて、深度感知カメラの配置構成を使用して物理的空間内の物体が感知されて、感知された情報が出力される。302にて、プロジェクタの配置構成を使用して物理的空間内の表面上に画像が投影される。304にて、感知された情報および画像に基づき、仮想対話型空間が作成されて物理的空間に重ねられる。306にて、物体との仮想インタラクションが物理的空間内の表面に対して提示される。図4は、図3の方法のさらなる態様を例示する。なお、矢印は、別々にまたは他のブロックと組み合わせて、図3のフローチャートにより表される方法の追加の態様として含めることができるステップを、各ブロックが表すことを示す。複数のブロックを図3のフローチャートへの追加のステップとしてみなすことができることは理解すべきである。400にて、物理的空間内の物体の深度が、感知された情報に基づき推測される。402にて、物理的空間の3Dメッシュが、物理的空間へのカメラの登録および物理的空間へのプロジェクタの登録に基づきリアルタイムで生成される。404にて、物理的空間内の2つの表面が、該2つの表面との接続インタラクションに基づき仮想的に関係付けられる。406にて、物体が仮想的に採取され、その物体は物体に対する仮想対話型表面の計算された近接性に基づき仮想的に落とされる。408にて、空間ウィジェットが物理的空間の対話型表面上に提示され、空間ウィジェットは所定の物理的移動を使用して対話型に操作される。本出願において使用される時、用語コンポーネントおよびシステムは、コンピュータ関連のエンティティを指すことが意図され、ハードウェア、ソフトウェアと有形のハードウェアの組み合わせ、ソフトウェア、または、実行中のソフトウェア、のいずれかである。例えば、コンポーネントは、有形のコンポーネント、例えば、プロセッサ、チップメモリ、大容量記憶装置例えば、光ドライブ、ソリッドステートドライブ、および/または磁気記憶媒体ドライブ、およびコンピュータ、ならびに、ソフトウェアコンポーネント、例えば、プロセッサ上で稼働する処理、オブジェクト、実行ファイル、モジュール、実行のスレッド、および/またはプログラム、とすることができるがこれに限定されない。例として、サーバ上で稼働するアプリケーションとサーバの両方をコンポーネントとすることができる。1つまたは複数のコンポーネントは、処理および/または実行のスレッド内に常駐させることができ、また、コンポーネントは、1つのコンピュータに置くこと、および/または、2つまたはそれ以上のコンピュータ間に分散させることが可能である。単語例は本明細書で使用されて、例、事例、または例示として機能することが意味されることとする。本明細書に例として記載される任意の態様または設計は、必ずしも他の態様または設計よりも好適または有利であるとは解釈されない。ここで、図5を参照すると、開示されるアーキテクチャに従う、拡張現実およびインタラクションを実行するコンピュータシステム500のブロック図が例示される。その種々の態様のための追加の文脈を提供するために、図5および以下の記載では、種々の態様を実装可能な適切なコンピュータシステム500の簡単な、全体的な説明を提供することが意図される。上記の説明は、1つまたは複数のコンピュータ上で実行可能なコンピュータ実行可能命令の一般的文脈によるが、当業者は、新規な実施形態を他のプログラムモジュールとの組み合わせで、および/または、ハードウェアとソフトウェアの組み合わせとして実装可能であることも認識するであろう。種々の態様を実装するためのコンピュータシステム500には、処理装置504複数可、システムメモリ506等のコンピュータ可読記憶装置、およびシステムバス508を有するコンピュータ502が含まれる。処理装置504複数可は、シングルプロセッサ、マルチプロセッサ、シングルコアユニット、およびマルチコアユニット等の種々の市販のプロセッサのいずれかとすることができる。さらに、新規な方法は、ミニコンピュータ、メインフレームコンピュータ、また、パーソナルコンピュータ例えば、デスクトップ、ラップトップ等、ハンドヘルドコンピュータ装置、マイクロプロセッサベースまたはプログラム可能な家庭用電化製品等であって、それぞれが1つまたは複数の関連する装置に操作可能に連結される装置、を含む他のコンピュータシステム構成を用いて実践可能であることを当業者は理解するであろう。システムメモリ506には、揮発性VOLメモリ510例えば、RAMrandomaccessmemoryおよび不揮発性メモリNON-VOL512例えば、ROM、EPROM、EEPROM等等のコンピュータ可読記憶装置物理記憶媒体を含むことができる。基本入出力システムBIOSは不揮発性メモリ512に記憶させることができ、起動時等に、コンピュータ502内のコンポーネント間でのデータおよび信号の通信を円滑にする基本ルーチンを含む。揮発性メモリ510は、データをキャッシュするための静的RAM等の高速RAMを含むこともできる。システムバス508は、システムメモリ506を含むがこれに限定されないシステムコンポーネントのための処理装置504複数可に対するインターフェースを提供する。システムバス508は、様々な市販のバスアーキテクチャのいずれかを使用して、メモリバスメモリコントローラはあっても無くても良い、および周辺機器用バス例えば、PCI、PCIe、AGP、LPC等に対してさらに相互接続可能な、いくつかのタイプのバス構造のうちのいずれかとすることができる。コンピュータ502には、機械可読記憶サブシステム514複数可、およびシステムバス508および他の所望のコンピュータコンポーネントに対する記憶サブシステム514複数可のインターフェースのための記憶インターフェース516複数可がさらに含まれる。記憶サブシステム514複数可物理記憶媒体には、例えば、ハードディスクドライブHDD、磁気フロッピーディスクドライブFDD、および/または光ディスク記憶ドライブ例えば、CD-ROMドライブ、DVDドライブ、の内の1つまたは複数を含むことができる。記憶インターフェース516複数可には、例えば、EIDE、ATA、SATA、およびIEEE1394等のインターフェース技術を含むことができる。1つまたは複数のプログラムおよびデータは、メモリサブシステム506、機械可読着脱可能メモリサブシステム518例えば、フラッシュドライブフォームファクタ技術、および/または記憶サブシステム514複数可例えば、光、磁気、ソリッドステートに記憶させること可能であり、オペレーションシステム520、1つまたは複数のアプリケーションプログラム522、他のプログラムモジュール524、およびプログラムデータ526が含まれる。1つまたは複数のアプリケーションプログラム522、他のプログラムモジュール524、およびプログラムデータ526には、例えば、図1のシステム100のエンティティおよびコンポーネント、図2のシステム200のエンティティおよびコンポーネント、および図4から5のフローチャートにより表される方法を含むことができる。一般にプログラムには、特定のタスクの実行、または特定の抽象データ型の実装をなすルーチン、メソッド、データ構造、他のソフトウェアコンポーネント等が含まれる。オペレーティングシステム520、アプリケーション522、モジュール524、および/または、データ526の内の全てまたは一部を、例えば、揮発性メモリ510等のメモリにキャッシュすることもできる。開示されるアーキテクチャは、種々の市販のオペレーティングシステム、またはオペレーティングシステム例えば、仮想マシンとしての組み合わせを用いて実装可能であることは理解すべきである。記憶サブシステム514複数可およびメモリサブシステム506および518は、データ、データ構造、コンピュータ実行化の命令等を揮発的におよび不揮発的に記憶するためのコンピュータ可読媒体として機能する。そのような命令は、コンピュータまたは他の機械により実行されると、該コンピュータまたは他の機械に方法の1つまたは複数の動作を実行させることができる。動作を実行する命令は、1つの媒体に記憶させることができ、または、複数の媒体に亘って記憶させて、命令の全てが同一の媒体上にあるかどうかに係わらず、命令を1つまたは複数のコンピュータ可読記憶媒体上に集約的に現れるようにすることができる。コンピュータ可読媒体は、コンピュータ502によりアクセス可能、かつ、着脱可能または着脱不可能な揮発性および不揮発性の内部および/または外部媒体を含む、任意の利用可能な媒体とすることができる。コンピュータ502では、媒体はデータの記憶を任意の適切なデジタルフォーマットで受け入れる。開示されるアーキテクチャの新規な方法を実行するためのコンピュータ実行可能命令を記憶するためのZIPドライブ、磁気テープ、フラッシュメモリカード、フラッシュドライブ、カートリッジ、等の他のタイプのコンピュータ可読媒体を採用可能であることは、当業者は理解すべきである。ユーザは、コンピュータ502、プログラム、およびデータとのインタラクションを、キーボードおよびマウス等の外部ユーザ入力装置528を使用して行うことができる。他の外部ユーザ入力装置528には、マイク、IR赤外線リモートコントロール、ジョイスティック、ゲームパッド、カメラ認識システム、スタイラスペン、タッチスクリーン、ジェスチャシステム例えば、目の動き、頭の動き等、および/または類似するものを含むことができる。ユーザは、コンピュータ502、プログラム、およびデータとのインタラクションを、タッチパッド、マイク、キーボード等のコンピュータ取り付けのユーザ入力装置530を使用して行うことができ、例えば、コンピュータ502は携帯用コンピュータである。これらおよび他の入力装置は、入出力I/O装置インターフェース532複数可を介してシステムバス508を通り処理装置504複数可に接続されるが、パラレルポート、IEEE1394シリアルポート、ゲームポート、USBポート、IRインターフェース等の他のインターフェースにより接続可能である。I/O装置インターフェース532複数可はまた、プリンタ、音声装置、カメラデバイス等の出力周辺機器534の使用を円滑にするもので、例えば、サウンドカードおよび/またはオンボードの音声処理機能等である。1つまたは複数のグラフィックインターフェース536複数可一般的にはGPUgraphicsprocessingunitとも呼ばれるが、コンピュータ502と外部ディスプレイ538複数可例えば、LCD、プラズマおよび/またはオンボードディスプレイ540例えば、携帯用コンピュータのとの間のグラフィックおよび映像信号を提供する。グラフィックインターフェース536複数可は、コンピュータシステムボードの一部として製造されるものとすることもできる。コンピュータ502は、ネットワーク環境例えば、IPベースのにおいて、有線/無線の通信サブシステム542を介した1つまたは複数のネットワークおよび/または他のコンピュータとの論理接続を使用して動作可能である。他のコンピュータには、ワークステーション、サーバ、ルータ、パーソナルコンピュータ、マイクロプロセッサベースの娯楽用機器、ピア装置または他の一般的なネットワークノードを含むことができ、また、典型的には、コンピュータ502に関して説明した要素の多くまたは全てを含むことができる。論理接続には、ローカルエリアネットワークLAN、ワイドエリアネットワークWAN、ホットスポット等への有線/無線接続を含むことができる。LANおよびWANのネットワーク環境は事務所および会社では一般的なものであり、イントラネット等の企業規模のコンピュータネットワークを円滑にし、その全てがインターネット等のグローバル通信ネットワークに対して接続されて良い。ネットワーク環境において使用される時、コンピュータ502はネットワークに対して有線/無線通信サブシステム542例えば、ネットワークインターフェースアダプタ、オンボードトランシーバサブシステム等を介して接続されて、有線/無線ネットワーク、有線/無線プリンタ、有線/無線入力装置544等と通信する。コンピュータ502には、モデム、またはネットワーク上で通信を確立するための他の手段を含むことができる。ネットワーク環境において、コンピュータ502に関連するプログラムおよびデータは、分散システムとの関連で、リモートのメモリ/記憶装置に記憶させることができる。図示されるネットワーク接続は例であること、かつ、コンピュータ間の通信リンクを確立する他の手段が使用可能であることは理解されるであろう。コンピュータ502は、IEEE802.xx系標準の等の無線技術を使用して有線/無線の装置またはエンティティ、例えば、プリンタ、スキャナ、デスクトップおよび/または携帯用のコンピュータ、携帯情報端末PDA、通信衛星、無線で検出可能なタグに関連する任意の機器または場所例えば、キオスク、新聞売店、トイレ、および電話との無線通信例えば、IEEE802.11の無線通信による変調技術において動作可能に設置される無線装置、と通信するべく動作可能である。これには、少なくともホットスポット用のWi-Fiすなわち、ワイヤレスフィディリティー、WiMax、およびBluetooth登録商標の無線の技術が含まれる。従って、通信は、従来のネットワークを用いる所定の構造、または単純に少なくとも2つの装置間のアドホック通信とすることができる。Wi-Fiネットワークは、IEEE802.1lxa、b、g、等と呼ばれる無線技術を使用して、安全で、信頼性のある、高速の無線接続を提供する。Wi-Fiネットワークを使用して、コンピュータを、お互い同士、インターネット、有線ネットワークIEEE802.3に関連する媒体および機能を使用するに接続させることができる。上述の内容には、開示されるアーキテクチャの例が含まれる。もちろん、考え得る全ての組み合わせのコンポーネントおよび/または方法論を記載することは不可能であるが、当業者は、多くのさらなる組み合わせおよび置換が可能であることを理解するであろう。従って、新規のアーキテクチャは、添付の請求項の精神および範囲に含まれる全てのそのような変更、修正、および変形を包含することが意図される。さらに、用語含むが発明を実施するための形態または特許請求の範囲のどちらかで使用される限りにおいて、そのような用語は、請求項において遷移語として採用される用語備えるの解釈と同様に、包括的である。"