(57)【要約】複数の深度カメラおよび複数のプロジェクタを組み合わせて、特定の空間（例えば、部屋）を対象とするアーキテクチャである。カメラおよびプロジェクタは校正され、空間内の物体の多次元（例えば、３Ｄ）のモデルの開発と、制御された様式でグラフィックを同じ物体上に投影する能力を可能にする。このアーキテクチャでは、全ての深度カメラからの深度データと色情報を、校正されたプロジェクタと組み合わせて統合された多次元モデルに組み込む。物体を空間内の異なる場所の間で移動させる際に仮想的な連続性を提供するために、ユーザの身体は、このインタラクションを投影するキャンバスを提供することができる。ユーザが空間内において身体の一部を動かすと、他の物体が何もない状態で、身体の一部は、「推移中」のデータのための一時的な「スクリーン」として機能することができる。
2013520751.tif 000002
【特許請求の範囲】
【請求項１】
物理的空間内の物体を感知し、感知された情報を出力する深度感知カメラの配置構成と、
前記物理的空間内の表面上に投影を行うプロジェクタの配置構成と、
前記感知された情報および前記投影を処理して仮想対話型空間を物理的空間にマッピングし、物体および表面とのインタラクションのための対話型ディスプレイをエミュレートする制御コンポーネントと
を備えることを特徴とする多次元モデリングシステム。
【請求項２】
前記感知された情報の一部を投影にマッピングして３Ｄ物理座標系を作成するマッピングコンポーネントをさらに備え、前記カメラおよび前記プロジェクタが物理的空間に登録されることを特徴とする請求項１に記載のシステム。
【請求項３】
前記制御コンポーネントが、３Ｄ感知情報である感知された情報を２Ｄ画像である投影に適用し、前記感知された情報を処理して物理的空間内の物体の深度を推測し、前記投影が、少なくとも２つの投影内の物体が相互参照されて物理的空間において接続性が確立されるように、相互に関連付けられることを特徴とする請求項１に記載のシステム。
【請求項４】
前記制御コンポーネントが、物理的空間内の表面上への空間ウィジェットの投影を円滑にし、前記空間ウィジェットの対話型操作は、物理的空間で所定の動きを使用して達成されることを特徴とする請求項１に記載のシステム。
【請求項５】
前記深度感知カメラの感知された情報を利用して、物理的空間にいるユーザに対して仮想物体の位置決めをシミュレートするために前記制御コンポーネントが処理する、３Ｄメッシュが構築され、前記３Ｄメッシュは、リアルタイムで構築され、かつ、物理的空間の感知される部分をモデル化することを特徴とする請求項１に記載のシステム。
【請求項６】
深度感知カメラの配列構成を使用して、物理的空間内の物体を感知し、感知された情報を出力するステップと、
プロジェクタの配置構成を使用して、物理的空間内の表面上に画像を投影するステップと、
前記感知された情報と前記画像とに基づき、仮想対話型空間を作成して物理的空間に重ねるステップと、
前記物理的空間内の表面に対して、物体とのインタラクションを提示するステップと
を含むことを特徴とする多次元モデリング方法。
【請求項７】
前記感知された情報に基づき、物理的空間内の物体の深度を推測するステップをさらに含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記カメラの物理的空間への登録および前記プロジェクタの物理的空間への登録に基づき、物理的空間の３Ｄメッシュをリアルタイムで生成するステップをさらに含むことを特徴とする請求項６に記載の方法。
【請求項９】
物理的空間内の２つの表面を、前記２つの表面の接続インタラクションに基づき、仮想的に関係付けるステップと、空間ウィジェットを物理的空間の対話型表面上に提示するステップと、所定の物理的移動を使用して前記空間ウィジェットを対話型に操作するステップと、をさらに含むことを特徴とする請求項６に記載の方法。
【請求項１０】
物体に対する仮想対話型表面の計算された近接性に基づき、前記物体を仮想的に採取し、前記物体を仮想的に落とすステップをさらに含むことを特徴とする請求項６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多次元モデリングシステム、及び、多次元モデリング方法に関する。
【背景技術】
【０００２】
近年のタッチセンサ式の対話型ディスプレイは、ユーザが仮想物体に触れることができることから訴求力があるものと考えられることが多い。マルチタッチの特徴と高速のグラフィック能力を組み合わせて、これらのシステムの「ダイレクトタッチ」の態様により、従来の入力装置で利用可能であったものよりも、より説得力のある物理的な物体（紙文書、写真等）の操作のシミュレーションが可能にされる。
【０００３】
近年の研究によりセンシングとディスプレイ技術の使用が実証され、対話型表面の直上でのインタラクションを可能にしたが、これらはディスプレイの物理的な範囲に限定される。仮想現実および拡張現実の技術を使用して、完全な仮想３Ｄ環境、または、現実の世界と仮想の世界が混合した場所にユーザを置くことにより、ディスプレイの制限の範囲を超えることができる。残念ながら、真に没入させるためには、そのようなアプローチでは典型的には、煩わしいヘッドマウントディスプレイおよび追跡装置を必要とする。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
以下では、本明細書に記載されるいくつかの新規な実施形態の、基本的な理解を提供するために、簡素化された要約を示す。この要約は、広範囲な概要ではなく、かつ、重要／決定的な要素を確認することまたはその範囲を明確にすること、を意図していない。その唯一の目的は、後に示されるさらに詳細な記載の前置きとして、いくつかの概念を簡素化された形式で示すことである。
【課題を解決するための手段】
【０００５】
開示されるアーキテクチャでは、複数の深度感知カメラおよび複数のプロジェクタを組み合わせて、拡張現実および仮想対話のための特定の空間（例えば、部屋）を対象とする。カメラおよびプロジェクタは校正され、空間内の物体の多次元（例えば、３Ｄ）のモデルの開発と、制御された様式でグラフィックを同じ物体上に投影する能力を可能にする。このアーキテクチャでは、全ての深度カメラからのデータを、校正されたプロジェクタと組み合わせて統合された多次元モデルに組み込む。さらに、興味深いユーザインタラクションを可能にする。
【０００６】
物体を空間内の異なる場所の間で移動させる際に仮想的な連続性を提供するために、ユーザの身体（または、視界内の他の物体）は、このインタラクションを投影する一時的なキャンバスとして機能することができる。ユーザが身体の一部を動かすと、例えば、空間内において他の物体が何もない状態で、身体の一部は、その環境内の既存のスクリーン／インターフェースの間で「推移中」のデータのための一時的な「スクリーン」として機能することができる。
【０００７】
本アーキテクチャにより、物体の接続、物体のピッキング、物体のドロッピング、およびバーチャルメニュー等の空間ウィジェットの採用を含む物理的な空間におけるインタラクションが円滑にされる。
【０００８】
上述した関連する目的を達成するために、特定の例示的な態様が、以下の説明および添付の図面に関連して本明細書において記載される。これらの態様は、本明細書に開示される原理を実践することができる種々の方法を示し、その全ての態様および等価物が請求される主題の範囲内にあることが意図される。他の利点および新規な特徴は、以下の発明を実施するための形態において図面と併せて検討することにより、明らかになるであろう。
【図面の簡単な説明】
【０００９】
【図１】開示されるアーキテクチャに従う、多次元モデリングシステムを例示する図である。
【図２】開示されるアーキテクチャに従う、多次元モデリングシステムの代替実施形態を例示する図である。
【図３】開示されるアーキテクチャに従う、多次元モデリング方法を例示する図である。
【図４】図３の方法のさらなる態様を例示する図である。
【図５】開示されるアーキテクチャに従う、拡張現実およびインタラクションを実行するコンピュータシステムのブロック図を例示する図である。
【発明を実施するための形態】
【００１０】
深度カメラとプロジェクタの組み合わせにより、新しい対話型の経験が可能にされる。リアルタイムにアップデートされる高密度の３Ｄメッシュ（相互に接続される例えば三角形等の多角形の網）のリッチな経験は、コンピュータビジョンについての考え方に変化をもたらす。メッシュを高レベルの抽象プリミティブに単純化しようと苦心するよりはむしろ、多くのインタラクションは、メッシュに対する直接的なそれほど破壊的でない変換およびシミュレーションにより達成することができる。そうすることで、ユーザの正確な物理的な形状およびユーザの環境について、より基本となるプロパティを利用することができる。
【００１１】
本アーキテクチャでは、深度感知カメラとプロジェクタを組み合わせた機能を使用して、ディスプレイとしての環境の最小の角さえも感知し利用する。例えば、本明細書において採用する場合、深度感知カメラは、色に加えて、各画素位置において最も近い物理的表面までの範囲（距離）を直接感知することができる。代替の一実装において、３Ｄ飛行時間型カメラを採用することができる。
【００１２】
例えば、ユーザは接触を使用して、機器を装備していないテーブルに投影される仮想物体を操作し、物体を一方の手でテーブルから他方の手の中に移動させることにより物体をつかみ、ユーザが対話型の壁のディスプレイの方へ歩くときも手の中に物体が見え、そして、壁に触れることにより壁に物体を置くことができる。
【００１３】
本アーキテクチャでは、環境内のどこにある表面も有効にされ、空間はコンピュータであり、ユーザの身体でさえもディスプレイの表面とすることができる。換言すれば、全ての物理的表面を対話型ディスプレイとすることができる。対話型ディスプレイがアクティブであるだけでなく、ディスプレイ間の空間も同様にアクティブであり、ユーザは、一方を他方に接続させて両方のディスプレイに触れる等、興味を持てるやり方でディスプレイに係わることが可能である。グラフィックをユーザの身体上に投影させ、仮想物体をあたかも実物であるかのように持つこと、または、手の上に投影されるメニューによって選択すること等、空中のインタラクションを可能にすることができる。
【００１４】
複数の校正された深度カメラおよびプロジェクタを組み合わせて、ユーザが器具を使用することなく、グラフィックを物体に（例えば、動画、静止画）投影することができる。カメラおよびプロジェクタは実世界の単位で１つの座標系に合わせて校正され、特定のインタラクションにどのカメラまたはディスプレイを最終的に使用するかを意識しない、対話型の経験のオーサリングを可能にする。
【００１５】
感知された３Ｄデータを２Ｄ画像に選択的に投影することで、熟知の２Ｄ画像処理技術を使用して３Ｄ空間について推論することを可能にする。そのような投影を使用して、例えば、表面のような機能性を、機器を装備しないテーブル上にエミュレートすることができる。複数の投影をお互いに関連付けて、２つまたはそれ以上の投影での物体を相互参照させて、実空間における接続性を確立することができるようにする。これを使用して、複雑でエラーが起こりやすい追跡技術に頼らずに、ユーザが２つのシミュレートされる表面にいつ触れているのか（物体が一方から他方に移動する時等）を検出することができる。
【００１６】
加えて、深度カメラにより感知される３Ｄメッシュで表され身体の一部に置かれている、仮想物体の物理特性をシミュレートすることにより仮想物体を「持つ」ことができる。さらに、ユーザは、一方の手の上に投影されるメニューの選択を、空中で所定の動きに従って（例えば、上下に）手を動かすことにより変更することができる。
【００１７】
本アーキテクチャにより、ユーザまたは部屋をセンサまたはマーカで拡張することなく、日常環境において対話性および可視化が可能にされる。インタラクションには、シミュレートされた対話型表面、身体を通る表面間での移行、物体をつかむこと、および空間メニューが含まれる。
【００１８】
シミュレートされる対話型表面について、部屋の表面は、ユーザが手のジェスチャを使用し触れて、投影される内容を操作することができる対話型「ディスプレイ」となることが可能にされる。一実装において、対話型の壁および対話型のテーブルを提供することができる。しかし、任意の数の同様の表面を生成して採用することが可能であることを理解すべきである。壁もテーブルも個別のディスプレイなのではなく、標準的な家具に対して上部のプロジェクタおよびカメラから投影および感知することができる。
【００１９】
深度感知ビデオカメラの技術は、カラー映像に加え、正確な画素単位の範囲のデータを提供する。そのようなカメラは、ロボット工学、およびゲームやジェスチャ入力システム等の視覚に基づく人間とコンピュータのインタラクションのシナリオにおいて応用される。
【００２０】
深度感知カメラを採用して対話型テーブルトップシステムを円滑にすることができ、カメラがテーブル表面上にある物体の高さマップを形成する。例えば、プレイヤがテーブル上に置かれた実物体の上を仮想の車で走行できるシミュレーションゲーム（例えば、トライビングゲーム）に高さマップが使用される。プレイヤは、例えば、折り畳まれた紙の小片を使用して、斜面や他の障害物のコースを配置することができる。第１のプロジェクタが表面上での車の位置を表示し、車が斜面上を走ると、例えば、変換によって車が飛行するようにできる。第２のプロジェクタは、表面全体の合成グラフィックのビュー、または、車の背後からの従来のアーケードビューを示すことができる。
【００２１】
開示されるアーキテクチャは、複数の深度感知カメラおよびプロジェクタを採用して、あるボリュームの空間（例えば、部屋）の中に３Ｄレンダリング・対話型の経験を提供する。カメラは、各画素の範囲（深度）および色を含む出力を提供する。これにより、表面については、表面に対して、またその表面に関連する物体（移動しているものまたは静止しているもの）上にプロジェクタのグラフィックを調整する能力が促進される。カメラの出力とプロジェクタの校正を統合された表現として空間で組み合わせる多次元モデルが作られる。カメラの位置決めおよび方向付けは、静止している時および空間を移動している時にリアルタイムで空間に物体の形状のフル３Ｄレンダリングをキャプチャしかつ提供するような様式で行われる。統合されたモデルを有するという強みは、データの収集に利用される実機からオーサリングおよびインタラクションの設計を切り離すことができることである。
【００２２】
ここで図面を参照すると、全体を通して同様の数字が同様の要素を参照するために使用される。以下の記載において、説明の目的で、全体の理解を提供するために多数の特定の詳細が記載される。しかし、新規な実施形態は、これらの特定の詳細なしでも実践することができることは明らかであろう。他の例において、周知の構造および装置が、その説明を容易にするためにブロック図の形式で示される。請求される主題の精神および範囲にある全ての修正、等価物、および代替を対象とすることが意図される。
【００２３】
図１は、開示されるアーキテクチャに従う、多次元モデリングシステム１００を例示する。システム１００には、物理的空間１０６内の物体１０４（例えば、カメラからの距離および色）を感知し、感知された情報１０８を出力する深度感知カメラ１０２の配置構成と、物理的空間１０６内の表面１１４（例えば、物体１０４、物理的空間１０６の壁、空間１０６等にいるユーザ）等に投影１１２を行うプロジェクタ１１０の配置構成と、感知された情報１０８および投影１１２を処理して仮想対話型空間１１８を物理的空間１０６に（例えば、連続して）マッピングし、物体１０４および表面１１４とのインタラクション（例えば、ユーザ）のための対話型ディスプレイをエミュレートする制御コンポーネント１１６と、が含まれる。なお、矩形の２Ｄ空間として示されているが、物理的空間１０６は１つの内側表面または複数の内側表面を含むことができる３Ｄ空間であり、表面とは、空間１０６の内側の壁（および、床、天井）、壁につるされるボード等の物体、物体１０４の表面、ユーザの身体の一部または全身の表面、等とすることができる。仮想空間１１８は、明確にするために、物理的空間１０６からオフセットされているように例示されており、実際は、ディスプレイを介して見ると、仮想空間１１８と物理的空間１０６との間の界面は識別しにくいであろう。
【００２４】
システム１００は、感知された情報の一部を投影にマッピングしてモノリシック３Ｄ物理座標系を作成するマッピングコンポーネントをさらに備えることができる。制御コンポーネント１１６は、３Ｄ感知情報である感知された情報１０８を、２Ｄ画像である投影１１２に適用する。カメラ１０２およびプロジェクタ１１０は、物理的空間１０６に対して登録される。投影１１２は、少なくとも２つの投影１１２内の物体が相互参照されて物理的空間１０６において接続性が確立されるように相互に関連付けられる。
【００２５】
制御コンポーネント１１６は、物理的空間１０６内の表面上への空間ウィジェットの投影を円滑にし、空間ウィジェットの対話型操作は、物理的空間１０６で所定の動き（例えば、手のジェスチャ）を使用して達成される。深度感知カメラ１０２の感知された情報１０８を利用して、物理的空間１０６にいるユーザに対して仮想物体の位置決めをシミュレートするために制御コンポーネント１１６が処理する３Ｄメッシュが構築される。３Ｄメッシュはリアルタイムで構築され、物理的空間１０６の感知される部分をモデル化する。制御コンポーネント１１６は、感知された情報１０８を処理して物理的空間１０６内の物体１０４の深度を推測する。
【００２６】
図２は、開示されるアーキテクチャに従う、多次元モデリングシステム２００の代替実施形態を例示する。システム２００には、空間１０６内の物体（例えば、物体２０２）を感知し、感知された情報１０８（ＤＳＣＳＩ）（例えば、ＤＳＣＳＩ1、ＤＳＣＳＩ2、．．．）を出力する深度感知カメラ（ＤＳＣ）１０２の配置構成が含まれる。システム２００にはまた、空間１０６に対して投影１１２（ＰＳ1、ＰＳ2、．．．で示される）を行うプロジェクタ（Ｐ）１１０（Ｐ1、Ｐ2、．．．で示される）の配置構成が含まれる。
【００２７】
マッピングコンポーネント２０４は、感知された情報１０８の一部を投影１１２にマッピングしてマッピング情報を作成する。モデリングコンポーネント２０６は、感知された情報１０８およびマッピング情報に基づき多次元モデル２０８を作成する。モデル２０８は、空間１０６内の物体２０２とのインタラクションに採用される。
【００２８】
３Ｄ環境において、複数の深度感知カメラは、空間（例えば、部屋）にある物体、例えば、空間内の家具や人、の３Ｄ形状に関する詳細な情報を提供する。深度カメラにより返される画像の情報を使用して、空間内で観測される表面の正確な実世界の座標（例えば、ミリメータ単位で）を計算することができる。これにより、３Ｄ幾何学モデルが使用されることになる。複数のカメラからのデータ（例えば、感知された情報）を、相対的な（お互い同士に対する、または、何らかの選択された物理的世界の座標系に対する）方向および位置に正確に基づき、統合されたモデル２０８にまとめることができる。この方向および位置情報は標準的な校正手順により算出することができる。
【００２９】
同様に、複数のプロジェクタを別の標準校正手順により３Ｄモデルに組み込んでも良く、その結果、任意の表面上に、その表面が少なくとも１つのカメラおよび少なくとも１つのプロジェクタにより見える場合は、グラフィックの提示に有用なモデルが得られる。例えば、表面からプロジェクタまでの距離を考慮せずに特定の大きさで見えるように、グラフィックを表面に投影することができる。概して、グラフィックの物体を標準のグラフィック技術を使用して３Ｄモデル内に位置付けることができる場合、カメラとプロジェクタの両方の視線等の特定の制限はあるが、グラフィックの物体を物理的実世界において正確にレンダリングすることができる。
【００３０】
この基本モデルを使用して有用なインタラクションを可能にすることができ、これには以下が含まれる。仮想物体を空間内の机の上に投影することができる。ユーザが机に近づき物体を（例えば、一方の手で）他方の中に振り落とすと、ユーザが壁のディスプレイの方に歩く時にも物体は手の中に見える。ユーザが仮想物体を投擲の動きで壁のディスプレイに投げると、物体は壁のディスプレイに向かって飛び、壁のディスプレイ上に現れる。１つのディスプレイから別のディスプレイへの仮想物体の移動はこのように達成される。
【００３１】
部屋の中の何らかの表面上にレンダリングされた仮想の「データソース」、および近隣の「データシンク」について考察する。ユーザは、一方の手でソースに触れ、他方の手でシンクに触れることによりソースをシンクに接続させる。接続はユーザの身体上に投影されたグラフィックによって示すことができ、データそのものをユーザ上に直接レンダリングさせることができる。なお、データソースとデータシンクは、静止した表面上に投影される像と同様に基本的なものすることができ、または、ソースまたはシンクのそれぞれを人とすることができる。他の人と握手することによりデータを移動させることが可能であり、インタラクションが発生する時に手の上に投影されてこの接続をグラフィックで見ることができると考えられる。
【００３２】
従って、開示されるアーキテクチャに基づき、異なる種類の新しい空中ＵＩ制御を実装することが可能である。さらに、例えば、表面（例えば、床）上のある地点がメニュー選択の存在を示すことについて考察する。ユーザはその地点の上方に手を合わせることができ、システムが、現在の選択を直接ユーザの手の上に投影することにより応答する。ユーザは、手を上げるまたは下げることにより、または他のジェスチャを行うことにより、選択を変更することが可能である。
【００３３】
開示されるアーキテクチャの空間（例えば、部屋）におけるインタラクションを追跡かつ推論する能力により、個々の対話型表面をシームレスでモノリシックな対話型面に接続させることが円滑にされる。ユーザは、単に物体に触れ、次に所望の場所に触れることにより、対話型表面間で「身体を通して」物体を移行させることができる。システムは両方の接触が同一人物に属することを推測し、表面間の接続を確立する。例えば、ユーザがテーブル上の画像に触れ、次に壁にも触れると、画像は壁に移行される。換言すれば、身体を通る移行は２つの表面に同時に触れることにより達成される。
【００３４】
移行をトリガするために両方の表面に同時に触れるとはいえ、最初に触れられた物体はソース（送信元）であり、２番目に触れられた表面は送信先となる。ユーザの身体を「通して」なされる接続を示すために、短時間のハイライト（例えば、２秒）をユーザに投影するという形式で視覚的な確認をすることが可能であり、物体が移動されたことを他の人に通知するのに役立ち、誰が移動を行ったのかを示す。
【００３５】
代替の実装において、物体の対象送信先への移動の手段として同時に触れるのではなく、経路と速度を３Ｄメッシュにおいて採用してソースに対する送信先を推測することが可能である。さらに別の実装において、連続した接触を表面接続の決定要因とすることができ、最初にソースにユーザの手が触れ、次に、ソースに触れた２秒以内に送信先表面にユーザの手が触れる場合に、接続がなされたとも考えることができる。
【００３６】
身体を通して接続を行うことに加えて、ユーザは、文字通り対話型表面から物体を引きずり出して手で拾い上げることができる。システムは、実際にはユーザの手（または任意の他の身体の部分）を追跡はせず、各物体に物理特性的な挙動を与える。物体をテーブルから拾い上げることは、例えば、物体を手の中に拭い込むことにより達成することが可能である。物体を拾い上げることに続いて、手の中にあることに関連して物体の像描写を提示することができる。
【００３７】
ユーザは、実際に物体を手の中にとること、物体を環境内の他の人に渡すこと、および、物体を対話型表面間で運ぶことができる。仮想物体を手の中に持っている時に、任意の対話型表面に触れると、身体を通る瞬時の移行がなされ、物体を表面上に戻して置くための簡単で一貫した方法をユーザに体得させる。
【００３８】
空中において、利用可能な投影領域はユーザの手の大きさに制限され、大きな仮想物体を投影することが困難になる。空中においてユーザの手に大きな仮想物体を投影することに対処するため、各仮想物体を、手の中に保持される間は小さなカラーボールで表現することができる。
【００３９】
空間内のユーザの位置を正確に検出する能力を使用して、種々の空間インターフェースを有効にすることができる。例えば、床の上の投影されたメニューマーカの上の垂直な空間に手を置くことにより、空間垂直メニューを起動することができる。他のトリガを採用することが可能である。手を上下に動かすことで、ユーザの手に直接投影される異なるオプションを明らかにすることができる。メニュー選択肢の上に（例えば、２秒間）存在することを、選択を行うトリガとすることができる。上述のように、利用できる表面が他に無い時、ユーザの身体の部分を空中における投影用のキャンバスとして使用することが可能である。
【００４０】
一実装において、深度感知カメラは、画素単位の深度推定量を、センサからのセンチメートル単位の距離の推定される深度分解能と共に報告することが可能である。深度は構造化光アプローチを使用して計算することができる。カメラには、赤外線（ＩＲ）カメラ、ＲＧＢ（赤緑青）カメラおよびＩＲカメラからほぼ数センチメートルに位置決めされたＩＲ光源の組み合わせを採用することができる。この光源は環境上にパターンを投影する。カメラは、シーンに重ねられるこのパターンをキャプチャし、画像内のパターンの歪みから深度を計算する。得られる「深度画像」は、画像内の画素毎にミリメートル単位の深度推定量を含有する。
【００４１】
画像の各部の３Ｄ位置を知ることで空間内のエンティティの分割機能が円滑にされる。基本の３Ｄメッシュ（ユーザのいない空間のメッシュ）を、収集かつ使用してシーンにおける任意の新しい物体を解像することができる（すなわち、基本メッシュとは異なる深度値を持つ画素）。
【００４２】
一実装において、アーキテクチャは３つの異なる深度感知カメラと３つのプロジェクタを採用し、それぞれが独立して設置され視野を有する。カメラおよびプロジェクタは１つの３Ｄ座標系に登録される。深度カメラが実世界に対応する深度値を報告し、プロジェクタがカメラの値を使用して校正されるため、カメラとプロジェクタの両方が実世界（例えば、物理的空間１０６）で登録される。
【００４３】
校正の第１のステップは、深度カメラを校正することである。カメラを物理的空間で登録するためにカメラの画像内の３地点（同一内で良い）を使用することができる。逆反射の点の固定グリッド（既知の実世界での位置）を空間内で位置決めして、これらの地点の内の少なくとも３つが各カメラから見えるようにする。逆反射の点によりカメラの赤外線画像内の校正地点が簡単に識別されるが、これらの地点が周囲の環境よりも非常に明るく見えるためである。各校正地点の３Ｄ空間位置を計算するために、周囲の画素の深度値のサンプリングおよび平均化が実行され、深度推定として使用される。この領域平均化法では、任意の１地点における深度を読み込む際のカメラのノイズも減少する。
【００４４】
実世界の３地点がカメラによりサンプリングされて識別される時に、３Ｄカメラ姿勢推定がカメラ毎に実行され繰り返され、その後、全てのカメラが同一の座標系に対して校正される。
【００４５】
校正ルーチンの第２のステップは、上述の校正されたカメラを考慮した、プロジェクタの登録とすることができる。このステップでは、少なくとも１地点が同一平面外にある４つの校正地点を利用することができる。これらの４地点は深度カメラにより正確に識別されプロジェクタの画像内に配置され、その後アルゴリズムを使用してプロジェクタの位置と方向を発見することができる。この処理ではプロジェクタの焦点距離と投影の中心を利用する。深度カメラにより点の位置を正確に推測可能であるため、再度、逆反射の点をシーン内の任意の場所に位置付けることができる。
【００４６】
シミュレートされた対話型表面の校正について、対話型表面は手動で指定可能である。別々の矩形表面を使用する場合、それぞれを、深度カメラ画像における表面の左上、右上、左下の角を特定することにより別々に校正することができる。代替の実装において、全ての表面が対話型にされる。新しく投影された対話型表面を指定するのと同時に、３つの校正地点が表面の上の対話型空間の範囲を特定し、表面の上のボリューム内のユーザの全ての動作を追跡する。
【００４７】
校正に基づき、空間の感知された部分全体をモデル化する３Ｄメッシュをリアルタイムにキャプチャすることが可能である。仮想物体を、同一シーン内でメッシュの上部に位置付けして良い。そして、プロジェクタの校正により、これらの物体は実際の物体の上部の実空間に正確に投影される。
【００４８】
本アーキテクチャでは１つまたは複数のアルゴリズムを採用して、ユーザがいつ空間にいるのか、ユーザがいつ対話型表面に触れるか、ユーザがメニューに対応する空間のアクティブな領域にいつ手を挿入するか、等を検出する。例えば、検出された２人のユーザからのメッシュが、別々に追跡されて視覚的に違いが付けられる（例えば、異なる色相で色付けされる）。
【００４９】
以下は、２Ｄ画像処理を使用してインタラクションを実装する技術である。３Ｄデータの投影を計算して新しい画像作成することは、「仮想カメラ」（対応する実際のカメラは無い）により生成されたものと考えることができる。そのような新しい画像は、最初に、全ての深度感知カメラ画像内の各地点をローカルなカメラ座標からワールド座標に変換し、次に仮想カメラのビュー行列と投影行列により仮想カメラ座標に変換することによって、計算することができる。この地点のｚ値は目的の画像内のその（ｘ，ｙ）位置に書き込まれる。３つ全て深度カメラからのデータは、このように１つの仮想カメラビューに対して「レンダリング」される。
【００５０】
仮想カメラを使用している時、仮想カメラ画像のビュー行列および投影行列は、実際の深度カメラの構成とは無関係に選択することができる。各仮想カメラが複数の深度カメラからの深度データを組み込むことができるため、仮想カメラビューを消費する側は、深度カメラの特定の位置及び方向、または複数のカメラが存在すると言う事実さえについても懸念する必要が無い。
【００５１】
複数の仮想カメラビューを計算することができ、それぞれを正確に調整して特定のインタラクションをサポートすることができる。仮想カメラは、近クリップ面および遠クリップ面を使用して空間の特定のボリュームを選択することができる。例えば、３つの正投影を使用することが可能であり、１つの投影が部屋の「平面」ビューを与え、２つの投影がテーブルトップおよび壁のディスプレイ表面の真上でインタラクションをキャプチャするべく構成される。
【００５２】
一度計算すると、仮想カメラ画像は２Ｄ画像処理技術を使用して処理することができる。仮想カメラ画像は、例えば、対話型の表示を取得することにより生成される画像と事実上同様にテーブルトップの真上に現れる。開示されるアーキテクチャは、これらのシステムに特有のパイプラインの処理を再現することにより対話型表面の挙動をエミュレートする。接触は接続されるコンポーネントを計算することにより発見され、時間をかけて追跡される。仮想物体（例えば、移動、回転、スケーリング）のヒットテストおよびマルチタッチ操作が必然的にサポートされる。
【００５３】
テーブルと壁の両方の仮想カメラビューにおける接触が発見された後、平面ビューは、テーブルトップ上の接触および壁のディスプレイ上の接触が、ユーザが両方のディスプレイに同時に触れている時のように、物理的に接続されるかどうかの判定に役立つ。あるビューから別のビューへの接続コンポーネントにインデックスを付けるテーブルを構築すること、および、入力された深度画像およびワールド座標系により全てのビューが関連付けられるという事実を有効利用することにより、接続性を計算することが可能である。
【００５４】
マップは、平面ビューにおける（ある場合には）対応する物体（接続されるコンポーネント）を深度画像の画素位置毎に示す、深度カメラ画像毎に計算される。マップを使用して、第２のパスが実行されて、テーブルトップビューにおいて観測される物体毎に、テーブルの物体に属する全ての画素に対応する平面ビューコンポーネントのセットが収集される。対応する平面ビューの物体のセットは各テーブルの物体と共に記憶される。この処理は壁のビューに対して繰り返される。そして、テーブルおよび壁の接触が平面ビュー内の物体（例えば、ユーザの身体）により物理的に接続されるのは、テーブルトップおよび壁の物体と共に記憶される物体の共通部分が空でない場合、すなわち、物体が、共通部分における平面ビューの物体により接続される場合である。
【００５５】
エミュレートされた対話型表面上に現れる仮想物体は、例えば、物体が対話型表面の縁に近づく時、および、近くに現れる表面（ユーザの手等）がある時に、ユーザの手で採取される（また「拾い上げられる」）。一度採取されると、物体の動きは、平面ビュー内の可能性のある新しい場所の窓に対して目的関数を最大化することにより判定される。一実装において、目的関数は、物体の動きの量を最小化する複数の因子の線形結合であり、観測される表面に対応しない地点を無効とし、より低い位置への移動を促し、観測される表面が平らである場所への移動を促す（すなわち、領域の表面高さの分散が小さい）。
【００５６】
目的関数を実験的に選択して、表面上を移動するボールの動きを、確実にボールが表面の縁から落ちないようにしながら、大まかにエミュレートすることができる。より複雑な実装において、物理エンジンを採用して、メッシュを用いて直接、仮想物体のインタラクションを制御することができる。
【００５７】
対話型表面上に物体を「落とす」ことは、対話型表面近隣の物体を保持することにより拾い上げるのと逆の順番で達成することができる。平面ビューにおいて仮想物体を保持する物体（接続されるコンポーネント）が、例えば、テーブルトップまたは壁のビューのどちらかの物体に接続されることを判定することにより、物体を落とすことができる。この場合、仮想物体は対話型表面上に落とされる。これは、仮想物体を一方の手で保持しながら送信先のディスプレイに触れることにより、または、保持する物体を送信先のディスプレイに近づけることにより、達成することができる。
【００５８】
空間メニューは、仮想カメラ（例えば、特定の場所の上の長くて狭い柱状の空間を表現するカメラ）に基づく別のインタラクションである。インタラクションには、ユーザが特定のメニュー項目の３Ｄ空間位置に対して手を位置づけることが含まれる。例えば、床に固定して投影されるマーカ等、メニューがどこに配置されるかを示すべく空間メニューをマークすることができる。マーカは、空間的基準として機能し、該基準の上の柱状の空間を介して３Ｄ選択のタスクの複雑性を一次元スイープに減少させる。
【００５９】
加えて、システムでは、メニューを操作するユーザの頭の位置を推論することも可能であり、身体上の最高地点として検出することができる。検出された頭の位置に対してメニュー項目を方向付け、メニュー項目を現在のユーザに対して正確に読み取り可能にする。原則的には、空間メニューはユーザから離れたオンデマンドの空間ウィジェットである。異なる態様の環境（例えば、空間ボタン、スライダ等）を制御するため、また、態様の挙動を関連する空間メニューを有する各物体の状況にあてはめるために、他の空間ウィジェットを実装することができる。
【００６０】
本アーキテクチャにより円滑にされる別のシナリオには、複数のユーザ間の接続を伴う。例えば、あるユーザがテーブル上の物体に触れ、別のユーザが壁に触れている際に、ユーザ同士が握手をするとそのユーザの物理接続が計算仮想リンクを形成し、これがテーブルから壁への物体の移動を可能にする。 
【００６１】
代替の実装において、表面は移動または形状の変更が可能とされ、これによりさらに、２つの机を必要に応じて一緒に移動させること、壁のディスプレイを机に変更することにより、または、手に持った紙に対話型能力を与える際等、即時のタスクの必要性に対して空間内のディスプレイの動的な再構成を適合させることができる。
【００６２】
さらなる拡張性としては、全ての感知された表面を１つの連続する対話型ディスプレイとして動作させることが可能であり、この上で仮想物体が移動され操作されて良い。連続する対話型表面にはユーザの身体を含むことができる。例えば、ユーザの手を（投影された）赤の塗料の溜め部に置くと赤くなるようにすることができる。青の塗料に触れると、より紫色を帯びた色になる。別の例では、ユーザが部屋の中のボタンに触れると、ユーザの腕に沿って広がったメニューを使用し、他方の手で選択を行う。２人の人が単に握手するだけで接続情報を交換することができ、この移動はユーザの身体上にグラフィックのアニメーションで示される。別の例では、ユーザが母国語を話す時その翻訳がユーザのシャツに直接提示され他の人が読めるようにする。
【００６３】
物理エンジンを利用するさらに複雑な実装では、物体を壁のディスプレイに向かって投げる等のより現実的なシミュレートされた動きが可能にされ、物体が壁に「当たる」時に物体を出現させる。物体がテーブルの縁に近づくと、床に落ちる前に物体をフラフラと揺動させることができる。
【００６４】
言い換えると、提供される多次元モデリングシステムは、物理的空間内の物体の画素毎の距離値を感知し、感知された３Ｄ情報を出力する深度感知カメラの配置構成と、物理的空間内の表面に２Ｄ投影を行うプロジェクタの配置構成と、感知された３Ｄ情報および投影を処理して仮想カメラの透視ビューから作成されるような仮想カメラ画像にする制御コンポーネントとを備え、仮想カメラ画像が物理的空間内の物体および表面とのユーザインタラクションのための対話型ディスプレイをエミュレートするべく採用される。物理的空間内の２つの表面は、２つの表面との物理的なユーザインタラクションに基づき仮想的に関連付けられる。
【００６５】
制御コンポーネントは、物体を仮想的に採取することおよび物体を仮想的に落すことを、物体に対する仮想対話型表面の計算された近接性に基づき円滑にする。制御コンポーネントは、感知された情報を処理して、仮想カメラのビューに対する物理的空間内の物体の距離を推測し、物理的空間内の対話型表面上への空間ウィジェットの提示、および所定の物理的移動を使用した空間ウィジェットの対話型操作を円滑にする。
【００６６】
本明細書には、開示されるアーキテクチャの新規な態様を実行するための例示の方法論を代表するフローチャートのセットが含まれる。一方、説明を簡単にする目的で、例えば、フローチャートまたはフロー図の形式で本明細書に示される１つまたは複数の方法論は、一連の動作として示され説明されるが、方法論が動作の順序により制限されず、それに従っていくつかの動作が、本明細書に示され説明される動作とは異なる順序および／または他の動作と同時に発生して良いということは理解および認識されるべきである。例えば、当業者は、方法論を代替えとして一連の相互に関係づけられる状態または事象として状態図等に表すことができることは理解および認識するであろう。さらに、方法論において例示される全ての動作が、新規な実装のために必要とされるわけではない。
【００６７】
図３は、開示されるアーキテクチャに従う多次元モデリング方法を例示する。３００にて、深度感知カメラの配置構成を使用して物理的空間内の物体が感知されて、感知された情報が出力される。３０２にて、プロジェクタの配置構成を使用して物理的空間内の表面上に画像が投影される。３０４にて、感知された情報および画像に基づき、仮想対話型空間が作成されて物理的空間に重ねられる。３０６にて、物体との仮想インタラクションが物理的空間内の表面に対して提示される。
【００６８】
図４は、図３の方法のさらなる態様を例示する。なお、矢印は、別々にまたは他のブロックと組み合わせて、図３のフローチャートにより表される方法の追加の態様として含めることができるステップを、各ブロックが表すことを示す。複数のブロックを図３のフローチャートへの追加のステップとしてみなすことができることは理解すべきである。４００にて、物理的空間内の物体の深度が、感知された情報に基づき推測される。４０２にて、物理的空間の３Ｄメッシュが、物理的空間へのカメラの登録および物理的空間へのプロジェクタの登録に基づきリアルタイムで生成される。４０４にて、物理的空間内の２つの表面が、該２つの表面との接続インタラクションに基づき仮想的に関係付けられる。４０６にて、物体が仮想的に採取され、その物体は物体に対する仮想対話型表面の計算された近接性に基づき仮想的に落とされる。４０８にて、空間ウィジェットが物理的空間の対話型表面上に提示され、空間ウィジェットは所定の物理的移動を使用して対話型に操作される。
【００６９】
本出願において使用される時、用語「コンポーネント」および「システム」は、コンピュータ関連のエンティティを指すことが意図され、ハードウェア、ソフトウェアと有形のハードウェアの組み合わせ、ソフトウェア、または、実行中のソフトウェア、のいずれかである。例えば、コンポーネントは、有形のコンポーネント、例えば、プロセッサ、チップメモリ、大容量記憶装置（例えば、光ドライブ、ソリッドステートドライブ、および／または磁気記憶媒体ドライブ）、およびコンピュータ、ならびに、ソフトウェアコンポーネント、例えば、プロセッサ上で稼働する処理、オブジェクト、実行ファイル、モジュール、実行のスレッド、および／またはプログラム、とすることができるがこれに限定されない。例として、サーバ上で稼働するアプリケーションとサーバの両方をコンポーネントとすることができる。１つまたは複数のコンポーネントは、処理および／または実行のスレッド内に常駐させることができ、また、コンポーネントは、１つのコンピュータに置くこと、および／または、２つまたはそれ以上のコンピュータ間に分散させることが可能である。単語「例」は本明細書で使用されて、例、事例、または例示として機能することが意味されることとする。本明細書に「例」として記載される任意の態様または設計は、必ずしも他の態様または設計よりも好適または有利であるとは解釈されない。
【００７０】
ここで、図５を参照すると、開示されるアーキテクチャに従う、拡張現実およびインタラクションを実行するコンピュータシステム５００のブロック図が例示される。その種々の態様のための追加の文脈を提供するために、図５および以下の記載では、種々の態様を実装可能な適切なコンピュータシステム５００の簡単な、全体的な説明を提供することが意図される。上記の説明は、１つまたは複数のコンピュータ上で実行可能なコンピュータ実行可能命令の一般的文脈によるが、当業者は、新規な実施形態を他のプログラムモジュールとの組み合わせで、および／または、ハードウェアとソフトウェアの組み合わせとして実装可能であることも認識するであろう。
【００７１】
種々の態様を実装するためのコンピュータシステム５００には、処理装置５０４（複数可）、システムメモリ５０６等のコンピュータ可読記憶装置、およびシステムバス５０８を有するコンピュータ５０２が含まれる。処理装置５０４（複数可）は、シングルプロセッサ、マルチプロセッサ、シングルコアユニット、およびマルチコアユニット等の種々の市販のプロセッサのいずれかとすることができる。さらに、新規な方法は、ミニコンピュータ、メインフレームコンピュータ、また、パーソナルコンピュータ（例えば、デスクトップ、ラップトップ等）、ハンドヘルドコンピュータ装置、マイクロプロセッサベースまたはプログラム可能な家庭用電化製品等であって、それぞれが１つまたは複数の関連する装置に操作可能に連結される装置、を含む他のコンピュータシステム構成を用いて実践可能であることを当業者は理解するであろう。
【００７２】
システムメモリ５０６には、揮発性（ＶＯＬ）メモリ５１０（例えば、ＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ））および不揮発性メモリ（ＮＯＮ−ＶＯＬ）５１２（例えば、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等）等のコンピュータ可読記憶装置（物理記憶媒体）を含むことができる。基本入出力システム（ＢＩＯＳ）は不揮発性メモリ５１２に記憶させることができ、起動時等に、コンピュータ５０２内のコンポーネント間でのデータおよび信号の通信を円滑にする基本ルーチンを含む。揮発性メモリ５１０は、データをキャッシュするための静的ＲＡＭ等の高速ＲＡＭを含むこともできる。
【００７３】
システムバス５０８は、システムメモリ５０６を含むがこれに限定されないシステムコンポーネントのための処理装置５０４（複数可）に対するインターフェースを提供する。システムバス５０８は、様々な市販のバスアーキテクチャのいずれかを使用して、メモリバス（メモリコントローラはあっても無くても良い）、および周辺機器用バス（例えば、ＰＣＩ、ＰＣＩｅ、ＡＧＰ、ＬＰＣ等）に対してさらに相互接続可能な、いくつかのタイプのバス構造のうちのいずれかとすることができる。
【００７４】
コンピュータ５０２には、機械可読記憶サブシステム５１４（複数可）、およびシステムバス５０８および他の所望のコンピュータコンポーネントに対する記憶サブシステム５１４（複数可）のインターフェースのための記憶インターフェース５１６（複数可）がさらに含まれる。記憶サブシステム５１４（複数可）（物理記憶媒体）には、例えば、ハードディスクドライブ（ＨＤＤ）、磁気フロッピーディスクドライブ（ＦＤＤ）、および／または光ディスク記憶ドライブ（例えば、ＣＤ−ＲＯＭドライブ、ＤＶＤドライブ）、の内の１つまたは複数を含むことができる。記憶インターフェース５１６（複数可）には、例えば、ＥＩＤＥ、ＡＴＡ、ＳＡＴＡ、およびＩＥＥＥ１３９４等のインターフェース技術を含むことができる。
【００７５】
１つまたは複数のプログラムおよびデータは、メモリサブシステム５０６、機械可読着脱可能メモリサブシステム５１８（例えば、フラッシュドライブフォームファクタ技術）、および／または記憶サブシステム５１４（複数可）（例えば、光、磁気、ソリッドステート）に記憶させること可能であり、オペレーションシステム５２０、１つまたは複数のアプリケーションプログラム５２２、他のプログラムモジュール５２４、およびプログラムデータ５２６が含まれる。
【００７６】
１つまたは複数のアプリケーションプログラム５２２、他のプログラムモジュール５２４、およびプログラムデータ５２６には、例えば、図１のシステム１００のエンティティおよびコンポーネント、図２のシステム２００のエンティティおよびコンポーネント、および図４から５のフローチャートにより表される方法を含むことができる。
【００７７】
一般にプログラムには、特定のタスクの実行、または特定の抽象データ型の実装をなすルーチン、メソッド、データ構造、他のソフトウェアコンポーネント等が含まれる。オペレーティングシステム５２０、アプリケーション５２２、モジュール５２４、および／または、データ５２６の内の全てまたは一部を、例えば、揮発性メモリ５１０等のメモリにキャッシュすることもできる。開示されるアーキテクチャは、種々の市販のオペレーティングシステム、またはオペレーティングシステム（例えば、仮想マシンとして）の組み合わせを用いて実装可能であることは理解すべきである。
【００７８】
記憶サブシステム５１４（複数可）およびメモリサブシステム（５０６および５１８）は、データ、データ構造、コンピュータ実行化の命令等を揮発的におよび不揮発的に記憶するためのコンピュータ可読媒体として機能する。そのような命令は、コンピュータまたは他の機械により実行されると、該コンピュータまたは他の機械に方法の１つまたは複数の動作を実行させることができる。動作を実行する命令は、１つの媒体に記憶させることができ、または、複数の媒体に亘って記憶させて、命令の全てが同一の媒体上にあるかどうかに係わらず、命令を１つまたは複数のコンピュータ可読記憶媒体上に集約的に現れるようにすることができる。
【００７９】
コンピュータ可読媒体は、コンピュータ５０２によりアクセス可能、かつ、着脱可能または着脱不可能な揮発性および不揮発性の内部および／または外部媒体を含む、任意の利用可能な媒体とすることができる。コンピュータ５０２では、媒体はデータの記憶を任意の適切なデジタルフォーマットで受け入れる。開示されるアーキテクチャの新規な方法を実行するためのコンピュータ実行可能命令を記憶するためのＺＩＰドライブ、磁気テープ、フラッシュメモリカード、フラッシュドライブ、カートリッジ、等の他のタイプのコンピュータ可読媒体を採用可能であることは、当業者は理解すべきである。
【００８０】
ユーザは、コンピュータ５０２、プログラム、およびデータとのインタラクションを、キーボードおよびマウス等の外部ユーザ入力装置５２８を使用して行うことができる。他の外部ユーザ入力装置５２８には、マイク、ＩＲ（赤外線）リモートコントロール、ジョイスティック、ゲームパッド、カメラ認識システム、スタイラスペン、タッチスクリーン、ジェスチャシステム（例えば、目の動き、頭の動き等）、および／または類似するものを含むことができる。ユーザは、コンピュータ５０２、プログラム、およびデータとのインタラクションを、タッチパッド、マイク、キーボード等のコンピュータ取り付けのユーザ入力装置５３０を使用して行うことができ、例えば、コンピュータ５０２は携帯用コンピュータである。これらおよび他の入力装置は、入出力（Ｉ／Ｏ）装置インターフェース５３２（複数可）を介してシステムバス５０８を通り処理装置５０４（複数可）に接続されるが、パラレルポート、ＩＥＥＥ１３９４シリアルポート、ゲームポート、ＵＳＢポート、ＩＲインターフェース等の他のインターフェースにより接続可能である。Ｉ／Ｏ装置インターフェース５３２（複数可）はまた、プリンタ、音声装置、カメラデバイス等の出力周辺機器５３４の使用を円滑にするもので、例えば、サウンドカードおよび／またはオンボードの音声処理機能等である。
【００８１】
１つまたは複数のグラフィックインターフェース５３６（複数可）（一般的にはＧＰＵ（ｇｒａｐｈｉｃｓ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）とも呼ばれる）が、コンピュータ５０２と外部ディスプレイ５３８（複数可）（例えば、ＬＣＤ、プラズマ）および／またはオンボードディスプレイ５４０（例えば、携帯用コンピュータの）との間のグラフィックおよび映像信号を提供する。グラフィックインターフェース５３６（複数可）は、コンピュータシステムボードの一部として製造されるものとすることもできる。
【００８２】
コンピュータ５０２は、ネットワーク環境（例えば、ＩＰベースの）において、有線／無線の通信サブシステム５４２を介した１つまたは複数のネットワークおよび／または他のコンピュータとの論理接続を使用して動作可能である。他のコンピュータには、ワークステーション、サーバ、ルータ、パーソナルコンピュータ、マイクロプロセッサベースの娯楽用機器、ピア装置または他の一般的なネットワークノードを含むことができ、また、典型的には、コンピュータ５０２に関して説明した要素の多くまたは全てを含むことができる。論理接続には、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ホットスポット等への有線／無線接続を含むことができる。ＬＡＮおよびＷＡＮのネットワーク環境は事務所および会社では一般的なものであり、イントラネット等の企業規模のコンピュータネットワークを円滑にし、その全てがインターネット等のグローバル通信ネットワークに対して接続されて良い。
【００８３】
ネットワーク環境において使用される時、コンピュータ５０２はネットワークに対して有線／無線通信サブシステム５４２（例えば、ネットワークインターフェースアダプタ、オンボードトランシーバサブシステム等）を介して接続されて、有線／無線ネットワーク、有線／無線プリンタ、有線／無線入力装置５４４等と通信する。コンピュータ５０２には、モデム、またはネットワーク上で通信を確立するための他の手段を含むことができる。ネットワーク環境において、コンピュータ５０２に関連するプログラムおよびデータは、分散システムとの関連で、リモートのメモリ／記憶装置に記憶させることができる。図示されるネットワーク接続は例であること、かつ、コンピュータ間の通信リンクを確立する他の手段が使用可能であることは理解されるであろう。
【００８４】
コンピュータ５０２は、ＩＥＥＥ８０２．ｘｘ系標準の等の無線技術を使用して有線／無線の装置またはエンティティ、例えば、プリンタ、スキャナ、デスクトップおよび／または携帯用のコンピュータ、携帯情報端末（ＰＤＡ）、通信衛星、無線で検出可能なタグに関連する任意の機器または場所（例えば、キオスク、新聞売店、トイレ）、および電話との無線通信（例えば、ＩＥＥＥ８０２．１１の無線通信による変調技術）において動作可能に設置される無線装置、と通信するべく動作可能である。これには、少なくともホットスポット用のＷｉ−Ｆｉ（すなわち、ワイヤレスフィディリティー）、ＷｉＭａｘ、およびＢｌｕｅｔｏｏｔｈ（登録商標）の無線の技術が含まれる。従って、通信は、従来のネットワークを用いる所定の構造、または単純に少なくとも２つの装置間のアドホック通信とすることができる。Ｗｉ−Ｆｉネットワークは、ＩＥＥＥ８０２．１ｌｘ（ａ、ｂ、ｇ、等）と呼ばれる無線技術を使用して、安全で、信頼性のある、高速の無線接続を提供する。Ｗｉ−Ｆｉネットワークを使用して、コンピュータを、お互い同士、インターネット、有線ネットワーク（ＩＥＥＥ８０２．３に関連する媒体および機能を使用する）に接続させることができる。
【００８５】
上述の内容には、開示されるアーキテクチャの例が含まれる。もちろん、考え得る全ての組み合わせのコンポーネントおよび／または方法論を記載することは不可能であるが、当業者は、多くのさらなる組み合わせおよび置換が可能であることを理解するであろう。従って、新規のアーキテクチャは、添付の請求項の精神および範囲に含まれる全てのそのような変更、修正、および変形を包含することが意図される。さらに、用語「含む」が発明を実施するための形態または特許請求の範囲のどちらかで使用される限りにおいて、そのような用語は、請求項において遷移語として採用される用語「備える」の解釈と同様に、包括的である。
【図１】
2013520751.tif 000003
【図２】
2013520751.tif 000004
【図３】
2013520751.tif 000005
【図４】
2013520751.tif 000006
【図５】
2013520751.tif 000007
【国際調査報告】
2013520751.tif 000008
2013520751.tif 000009
2013520751.tif 000010
2013520751.tif 000011