(57)【要約】共有される空間的拡張現実感（SSAR）に関するさまざまな技術が記述される。部屋内のセンサー・ユニットが、部屋内の二人以上のユーザーの位置および該二人以上のユーザーの視線方向を示すセンサー信号を出力する。少なくとも一つの仮想オブジェクトのビューが、該二人以上のユーザーのそれぞれについて別個に計算され、プロジェクターが部屋においてそのようなビューを投影する。投影されたビューにより、二人以上のユーザーは同時に該仮想オブジェクトを空間中に知覚する。
2017538990.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一つのプロセッサと；
前記少なくとも一つのプロセッサによって実行される複数のコンポーネントを含むメモリとを有するコンピューティング・システムであって、前記複数のコンポーネントは：
部屋内における第一のユーザーの第一の位置および第二のユーザーの第二の位置を計算する追跡器コンポーネントであって、前記追跡器コンポーネントは前記第一の位置および前記第二の位置を少なくとも一つのセンサー・デバイスによって生成される少なくとも一つの信号に基づいて計算する、追跡器コンポーネントと；
前記第一のユーザーの前記第一の位置に基づいて、前記第一のユーザーに呈示されるべき、仮想オブジェクトを含む第一のビューを計算し；
前記第二のユーザーの前記第二の位置に基づいて、前記第二のユーザーに呈示されるべき、前記仮想オブジェクトを含む第二のビューを計算し；
少なくとも一つのフレームを少なくとも一つのプロジェクターに送信するレンダリング・コンポーネントとを含み、前記少なくとも一つのフレームは、前記少なくとも一つのプロジェクターをして、前記部屋内の投影表面に像を投影させるものであり、前記像は：
前記第一のビューの少なくとも一部；または
前記第二のビューの少なくとも一部のうちの少なくとも一方を含み、前記第一のユーザーおよび前記第二のユーザーの両方が前記第一のユーザーと前記第二のユーザーの間の空間における前記仮想オブジェクトを知覚するようにする、
コンピューティング・システム。
【請求項２】
前記追跡器コンポーネントがさらに、前記第一のユーザーの第一の視線方向および前記第二のユーザーの第二の視線方向を、前記センサー・デバイスによって生成された前記少なくとも一つの信号に基づいて計算し、前記レンダリング・コンポーネントはさらに、前記第一の視線方向に基づいて前記第一のビューを、前記第二の視線方向に基づいて前記第二のビューを計算する、請求項１記載のコンピューティング・システム。
【請求項３】
前記メモリがさらに、前記部屋のコンピュータ実装された三次元幾何学的モデルを有しており、前記レンダリング・コンポーネントはさらに、前記部屋の前記コンピュータ実装された三次元幾何学的モデルに基づいて前記第一のビューおよび前記第二のビューを計算する、請求項１または２記載のコンピューティング・システム。
【請求項４】
前記レンダリング・コンポーネントはさらに、前記少なくとも一つのセンサー・デバイスによって生成される前記少なくとも一つの信号に基づいてリアルタイムで前記コンピュータ実装される三次元幾何学的モデルを更新する、請求項３記載のコンピューティング・システム。
【請求項５】
前記少なくとも一つのフレームは第一のフレームおよび第二のフレームを含み、前記少なくとも一つのプロジェクターは第一のプロジェクターおよび第二のプロジェクターを含み、前記レンダリング・コンポーネントは、前記第一のフレームを前記第一のプロジェクターに送信し、前記第二のフレームを前記第二のプロジェクターに送信し、前記第一のフレームは前記第一のプロジェクターに前記第一のビューを投影させ、前記第二のフレームは前記第二のプロジェクターに前記第二のビューを投影させる、請求項１記載のコンピューティング・システム。
【請求項６】
前記追跡器コンポーネントが、前記仮想オブジェクトに関して前記第一のユーザーによって実行されるジェスチャーを検出し、前記レンダリング・コンポーネントが、前記第一のビューおよび前記第二のビューを、前記追跡器コンポーネントによって検出される前記ジェスチャーに基づいて計算する、請求項１記載のコンピューティング・システム。
【請求項７】
前記仮想オブジェクトが三次元オブジェクトである、請求項１記載のコンピューティング・システム。
【請求項８】
少なくとも一つのセンサー・ユニットによって生成される少なくとも一つのセンサー信号に基づいて部屋における第一のユーザーの第一の視線方向を計算する段階と；
前記少なくとも一つのセンサー・ユニットによって生成される前記少なくとも一つのセンサー信号に基づいて前記部屋における第二のユーザーの第二の視線方向を計算する段階と；
前記第一のユーザーの前記第一の視線方向および前記第二のユーザーの前記第二の視線方向に基づいて前記部屋内の少なくとも一つのプロジェクターに少なくとも一つのフレームを送信する段階とを含み、前記少なくとも一つのフレームは、前記第一のユーザーおよび前記第二のユーザーが前記第一のユーザーと前記第二のユーザーの間の空間における仮想オブジェクトを知覚するよう、前記少なくとも一つのプロジェクターに、前記部屋における表面に像を投影させるものである、
方法。
【請求項９】
前記第一のユーザーの前記第一の視線方向および前記部屋のコンピュータ実装される幾何学的モデルに基づいて前記第一のユーザーのための第一のビューを計算する段階と；
前記第二のユーザーの前記第二の視線方向および前記部屋の前記コンピュータ実装される幾何学的モデルに基づいて前記第二のユーザーのための第二のビューを計算する段階と；
前記第一のユーザーのための前記第一のビューおよび前記第二のユーザーのための前記第二のビューに基づいて前記少なくとも一つのフレームを生成する段階とをさらに含む、
請求項８記載の方法。
【請求項１０】
前記少なくとも一つのセンサー・ユニットによって生成される前記少なくとも一つのセンサー信号に基づいてリアルタイムで前記幾何学的モデルを更新する段階をさらに含む、請求項９記載の方法。
【請求項１１】
リアルタイムで前記幾何学的モデルを更新する段階が、前記部屋内の前記第一のユーザーおよび前記第二のユーザーの検出された位置に基づいて前記幾何学的モデルを更新することを含む、請求項１０記載の方法。
【請求項１２】
前記少なくとも一つのセンサー・ユニットによって生成された前記少なくとも一つのセンサー信号に基づく前記部屋内の表面の反射率；または
前記少なくとも一つのセンサー・ユニットによって生成された前記少なくとも一つのセンサー信号に基づく前記部屋内の前記表面の色属性
のうちの少なくとも一方を推定する段階と；
前記表面の反射率および前記表面の色属性の前記少なくとも一方に基づいて前記少なくとも一つのフレームを生成する段階とをさらに含む、
請求項８記載の方法。
【請求項１３】
前記仮想オブジェクトに関して前記第一のユーザーまたは前記第二のユーザーの一方によって実行されるジェスチャーを検出する段階と；
前記ジェスチャーに基づいて前記フレームを生成する段階とをさらに含む、
請求項８記載の方法。
【請求項１４】
前記像が、前記第一のユーザーおよび前記第二のユーザーに、前記仮想オブジェクトが前記第一のユーザーと前記第二のユーザーの間の空間において動いていることを知覚させるものである、請求項１３記載の方法。
【請求項１５】
命令を有するコンピュータ可読記憶媒体であって、前記命令は、プロセッサによって実行されたときに前記プロセッサに：
部屋における第一のユーザーまたは第二のユーザーの少なくとも一方の動きを検出する段階であって、前記第一のユーザーおよび前記第二のユーザーは前記部屋において互いに向き合っている、段階と；
前記部屋のコンピュータ実装される幾何学的モデルおよび前記部屋における前記第一のユーザーまたは前記第二のユーザーの前記少なくとも一方の前記動きに基づいて前記第一のユーザーのための、仮想オブジェクトを含む第一のビューを計算する段階と；
前記部屋の前記コンピュータ実装される幾何学的モデルおよび前記部屋における前記第一のユーザーまたは前記第二のユーザーの前記少なくとも一方の前記動きに基づいて前記第二のユーザーのための、前記仮想オブジェクトを含む第二のビューを計算する段階と；
少なくとも一つのフレームを少なくとも一つのプロジェクターに送信する段階とを実行させるものであり、前記少なくとも一つのフレームは、前記少なくとも一つのプロジェクターをして、前記第一のユーザーおよび前記第二のユーザーが前記第一のユーザーと前記第二のユーザーの間の空間において前記仮想オブジェクトが動いていることを知覚するよう、
前記部屋における前記第一のビューの少なくとも一部または
前記部屋における前記第二のビューの少なくとも一部
のうちの少なくとも一方を投影させるものである、
コンピュータ可読記憶媒体。
【発明の詳細な説明】
【背景技術】
【０００１】
空間的拡張現実感（SAR:  spatial  augmented  reality）技法は、投影光を用いて物理的な環境の見え方を変えることによって拡張された現実感の経験を作り出す。多くの拡張現実感アプローチは、ハンドヘルドまたは頭部装着デバイスでのライブ・ビデオ・フィード上にグラフィックをレンダリングすることに関わるのに対し、SARは物理的なオブジェクトに対して直接グラフィックを配置し、よってユーザーの注意を現実世界から逸らさない。「シースルー」頭部装着ディスプレイは同様の効果を達成できるが、通常の頭部装着ディスプレイは限られた視野をサポートし、いくらかかさばり、そのため潜在的にはユーザー間の面と向かっての対話の妨げとなる。
【発明の概要】
【発明が解決しようとする課題】
【０００２】
正しい状況のもとでは、SARシステムはオブジェクトの表面の見え方を変更して、そのような表面があたかも特定の素材でできているかのうように見えさせることができる。たとえば、SARシステムは、カーペットを敷いた床がユーザーにとって苔むした沼のように見えるようにすることができる。この効果を達成するためには、物理的な環境の精密な幾何学的モデルが必要とされる。幾何学的モデルは、現実世界の表面幾何構造の変動によって引き起こされる投影された像の歪みを考慮に入れるよう、投影されるグラフィックを変更するために使われる。しかしながら、SARの使用は現在、通常のSARシステムが単一ビューのための拡張グラフィックをサポートするため、制限されており、よって通常のSARシステムは単一ユーザーをサポートする。
【課題を解決するための手段】
【０００３】
下記は、本稿でより詳細に述べられる主題の手短かな概要である。この概要は、請求項の範囲に関して制限するものであることは意図されていない。
【０００４】
本稿では、コンピューティング・システムが記述される。本コンピューティング・システムは、少なくとも一つのプロセッサと、前記少なくとも一つのプロセッサによって実行される複数のコンポーネントを含むメモリとを有しており、前記複数のコンポーネントは、部屋内における第一のユーザーの第一の位置および第二のユーザーの第二の位置を計算するよう構成された追跡器コンポーネントを含み、前記追跡器コンポーネントは前記第一の位置および前記第二の位置を少なくとも一つのセンサー・デバイスによって生成される少なくとも一つの信号に基づいて計算する。前記複数のコンポーネントはさらに、１）前記第一のユーザーの前記第一の位置に基づいて、前記第一のユーザーに呈示されるべき、仮想オブジェクトを含む第一のビューを計算し；２）前記第二のユーザーの前記第二の位置に基づいて、前記第二のユーザーに呈示されるべき、前記仮想オブジェクトを含む第二のビューを計算し；３）少なくとも一つのフレームを少なくとも一つのプロジェクターに送信するよう構成されているレンダリング・コンポーネントを含み、前記少なくとも一つのフレームは、前記少なくとも一つのプロジェクターをして、前記部屋内の投影表面に像を投影させ、前記像は：前記第一のビューの少なくとも一部；または前記第二のビューの少なくとも一部のうちの少なくとも一方を含み、前記第一のユーザーおよび前記第二のユーザーの両方が前記第一のユーザーと前記第二のユーザーの間の空間における前記仮想オブジェクトを知覚するようにする。
【図面の簡単な説明】
【０００５】
【図１】共有される空間的拡張現実感（SSAR）を実現するよう構成されている設備を含む例示的な部屋を示す図である。
【図２】プロジェクターにSSARを実現する像を投影させるよう構成されている例示的なシステムの機能ブロック図である。
【図３】部屋内で互いに向き合っている二人のユーザーが該ユーザー間の空間における仮想オブジェクトを知覚するよう、プロジェクターが部屋内の投影表面に像を投影する部屋を示す図である。
【図４】互いに向き合っている二人のユーザーが該ユーザー間の空間において動いている仮想オブジェクトを知覚するよう、プロジェクターが部屋内の投影表面に像を投影する部屋を示す図である。
【図５】互いに向き合っている二人のユーザーが該二人のユーザー間の空間における仮想オブジェクトを知覚するよう、部屋の投影表面に像を投影するオーバーヘッド・プロジェクターをもつ例示的な部屋を示す図である。
【図６】投影表面を同時に見る二人のユーザーに基づいてプロジェクターが投影表面に像を投影する例示的な部屋を示す図である。
【図７】プロジェクターが互いに向き合っているモバイル・ユーザーに像を投影し、それらのユーザーが投影表面のはたらきをする例示的な部屋を示す図である。
【図８】二人のユーザーが該二人のユーザーの間の空間における仮想オブジェクトを知覚するよう、部屋内の投影表面に像を投影するための例示的な方法論を示す流れ図である。
【図９】二人のユーザーに該二人のユーザーの間の空間において動いている仮想オブジェクトを知覚させる像を、検出されたジェスチャーに基づいて部屋内の投影表面に投影するための例示的な方法論を示す流れ図である。
【図１０】部屋内の少なくとも二人のユーザーのうちの一人によって述べられた認識された音声コマンドに基づいて、部屋内の投影表面に像を投影するための例示的な方法論を示す流れ図である。
【図１１】少なくとも二つのプロジェクターを駆動するための例示的な方法論であって、該二つのプロジェクターによって部屋の投影表面に投影された像が互いに向き合っている二人のユーザーに該二人のユーザーの間の空間における仮想オブジェクトを知覚させるようなものを示す流れ図である。
【図１２】例示的なコンピューティング・システムである。
【発明を実施するための形態】
【０００６】
共有される空間的拡張現実感（SSAR:  shared  spatial  augment  reality）に関するさまざまな技術がここで図面を参照して記述される。図面において、全体を通じて同様の要素を指すために同様の参照符号が使われる。以下の記述において、説明の目的のために、一つまたは複数の側面の十全な理解を提供するために、数多くの個別的詳細が記述される。しかしながら、そのような側面がこうした個別的詳細なしで実施されてもよいことは明白でありうる。他の場合には、一つまたは複数の側面の記述を容易にするために、よく知られた構造および装置がブロック図で示される。さらに、ある種のシステム・コンポーネントによって実行されるとして記述されている機能が複数のコンポーネントによって実行されてもよいことは理解されるものとする。同様に、たとえば、あるコンポーネントが、複数のコンポーネントによって実行されるとして記述されている機能を実行するよう構成されていてもよい。
【０００７】
さらに、用語「または」は、排他的な「または」ではなく包含的な「または」を意味することが意図されている。すなわち、特に断わりのない限り、あるいは文脈から明瞭でない限り、「XがAまたはBを用いる」は自然な包含的な置換の任意のものを意味することが意図されている。すなわち、「XはAまたはBを用いる」という句は、XがAを用いる；XがBを用いる；またはXがAおよびBの両方を用いるの任意のものによって満たされる。さらに、本願および付属の請求項で使われるところの冠詞「a」および「an」は、そうでないことが記載されているまたは単数形に向けられていることが文脈から明らかなのでない限り、一般に「一つまたは複数」を意味すると解釈されうる。
【０００８】
さらに、本稿での用法では、「コンポーネント」および「システム」の用語は、プロセッサによって実行されたときにある種の機能を実行させるコンピュータ実行可能命令をもって構成されたコンピュータ可読データ記憶を包含することが意図されている。コンピュータ実行可能命令は、ルーチン、関数などを含んでいてもよい。コンポーネントまたはシステムは、単一の装置上に局在化していてもよく、あるいはいくつかの装置にまたがって分散されていてもよいことは理解されるものとする。さらに、本稿での用法では、用語「例示的」は何かの例解または例のはたらきをすることを意味することが意図されており、選好を示すことは意図されていない。
【０００９】
本稿では、部屋内の投影表面に投影された像により部屋内の二人以上のユーザーが該二人のユーザーの間の空間内の仮想オブジェクトを同時に知覚するようにするSSARに関するさまざまな技術が記述される。すなわち、両ユーザーが仮想オブジェクトを、該二人のユーザーの間の空間にあるものとして（あたかも実際のオブジェクトが該二人のユーザーの間の空間にあるかのように）知覚する。さらに、本稿に記載される技術は、二人のユーザーが空間における仮想オブジェクトの動きを同時に知覚するようにできる。それによりたとえば、第一のユーザーは仮想オブジェクトが近づいてくるのを知覚することができ、その間、第二のユーザーは仮想オブジェクトが遠ざかっていくのを知覚することができる。SSARは、少なくとも一つのプロジェクターをして、部屋の投影表面に像を投影させることによって実現できる。ここで、第一のユーザーも第二のユーザーも拡張現実感（AR）ヘッドギアを装着する必要がない。
【００１０】
ここで図１を参照するに、部屋１００が示されている。ここで、部屋はプロジェクターおよびセンサーを備えている。本稿で述べるように、これらのプロジェクターは、これらのセンサーによって出力されるデータに基づいて部屋１００の投影表面に像を投影するよう構成されている。ここで、投影された像が、部屋１００における少なくとも二人のユーザーのためにSSARを実現する。部屋１００は第一の壁１０２、第一の壁１０２と直交する第二の壁１０４、第一の壁１０２と平行な第三の壁１０６および床１０８によって境される。第一の壁１０２は第三の壁１０６と平行であり第二の壁１０４と直交するものとして示されているが、部屋１００は正方形または長方形である必要はない。一例では、壁１０２〜１０６および床１０８は投影表面のはたらきをする。部屋１００は天井および第四の壁（図示せず）をも含む。さらに、部屋１００は家具、電子機器、ラグ、カーペットなどを含むことができ、これらも投影表面のはたらきをすることができる。
【００１１】
第一のユーザー１１０および第二のユーザー１１２は部屋１００内におり、互いに面している。たとえば、第一のユーザー１１０は第一の壁１０２に近接していてもよく、第二のユーザー１１２は第三の壁１０６に近接していてもよい。すると、第一のユーザー１１０は、第二のユーザー１１２に面しているときには、第三の壁１０６と、（第一のユーザー１１０の視野の周縁部における）第二の壁１０４および床１０８の一部とを見る。同様に、第二のユーザー１１２は、第一のユーザー１１０に面しているときには、第一のユーザー１１０と、第一の壁１０２と、（第二のユーザー１１２の視野の周縁部における）第二の壁１０４および床１０８の一部とを見る。
【００１２】
部屋１００はその中に、第一のプロジェクター１１４と、第二のプロジェクター１１６と、第三のプロジェクター１１８とを有している。第一のプロジェクター１１４は、第一のユーザー１１０の頭上で第一の壁１０２に取り付けられている。第一のプロジェクター１１４は、部屋１００の右側の投影表面、たとえば第三の壁１０６、第二の人物１１２、第二の壁１０４の右のほうの部分、床１０８の右のほうの部分などに像を投影するよう構成されている。第三のプロジェクター１１８は第二のユーザー１１２の頭上で第三の壁１０６に取り付けられている。第三のプロジェクター１１８は、部屋１００の左側の投影表面、たとえば第一の壁１０２、第二の壁１０４の左のほうの部分、第一のユーザー１１０および床１０８の左のほうの部分に像を投影するよう構成されている。第二のプロジェクター１１８は第二の壁１０４に取り付けられており、第一のプロジェクター１１４と第三のプロジェクター１１８によって投影される像における「ギャップを埋める」ために部屋１００内の投影表面に像を投影するよう構成される。たとえば、第一のプロジェクター１１４と第三のプロジェクター１１８の両方が像を投影できない床１０８の部分があることがある。第二のプロジェクター１１６は、床１０８のそのような部分に像を投影するとともに、部屋１００の他の部分において重なる像を提供するよう構成されることができる。
【００１３】
部屋１００には三つのプロジェクターがあるものとして示されているが、より多数または少数のプロジェクターが部屋内に含まれていてもよいことは理解しておくものとする。たとえば、下記の実施形態において示されるように、部屋１００は、第一の壁１０２、第二の壁１０４、第三の壁１０６および床１０８に像を同時に投影するよう構成された（たとえば天井に位置するまたは天井に取り付けられる）単一のプロジェクターを含んでいてもよい。別の例では、第一のプロジェクター１１４と第三のプロジェクター１１８のみが部屋１００にあってもよい。さらにもう一つの例では、三つより多くのプロジェクターが部屋１００に位置されていてもよい。
【００１４】
のちにより詳細に述べるように、SSARが実現されるよう、プロジェクター１１４〜１１８は部屋１００内の投影表面（壁およびユーザー１１０および１１２を含む）に像を投影する。より詳細には、プロジェクター１１４〜１１８によって投影された像は第一のユーザー１１０および第二のユーザー１１２の両方に、該第一のユーザー１１０と第二のユーザー１１２の間の空間内の少なくとも一つの仮想オブジェクト１２０を同時に知覚させる。仮想オブジェクト１２０は、ボール、地球儀、建物などといった三次元オブジェクトであることができる。別の例では、仮想オブジェクト１２０は地図のような平面オブジェクトであってもよい。
【００１５】
プロジェクター１０２〜１０６によって投影される像を計算するために、部屋１００の三次元幾何学的モデルが生成され、リアルタイムで更新され、ユーザー１１０および１１２のビューが決定され、リアルタイムで更新される。各ユーザーのビューは、部屋１００内の各ユーザーの位置（たとえば各ユーザーの頭の位置）および各ユーザーの視線方向の関数である。複数のセンサー・ユニット１２２〜１２６が部屋に含まれることができ、各センサー・ユニット１２２〜１２６は少なくとも一つの信号を生成するよう構成されており、前記少なくとも一つの信号はそのセンサーからのそのセンサーの視野内のオブジェクトの奥行きを示し、さらにそれらのオブジェクトの型を示す。たとえば、各センサー・ユニット１２２〜１２６は、互いに較正されている赤緑青（RGB）カメラおよび奥行きセンサー（カメラ）を含むことができ、各センサーによって出力される前記少なくとも一つの信号はカラー・ビデオ・フィードおよび奥行きフィード（ビデオ・フレームおよび奥行きフレーム）であることができる。
【００１６】
より具体的には、部屋１００は、第一のプロジェクター１１４に近接して位置される第一のセンサー・ユニット１２２と、第二のプロジェクター１１６に近接して位置される第二のセンサー・ユニット１２４と、第三のプロジェクター１１８に近接して位置される第三のセンサー・ユニット１２６とを含むものとして示されている。上記のように、センサー・ユニット１２２〜１２６は、RGBカメラおよび／または奥行きカメラを含むことができる。奥行きカメラは、構造化光技術、飛行時間技術などのようないかなる好適な奥行き感知技術に基づく奥行きフレームを生成することもできる。時間とともにセンサー・ユニット１２２〜１２６によって生成される信号は、部屋１００におけるユーザー１１０および１１２の動きを示す。後述するように、センサー・ユニット１２２〜１２６によって生成される信号に基づいて、ユーザー１１０および１１２がそれぞれ仮想オブジェクト１２０の空間的に正しいビューを与えられるよう、プロジェクター１１４〜１１８のそれぞれについてリアルタイムで像が計算されることができ、プロジェクター１１４〜１１８は像を出力することができる。ここで、仮想オブジェクト１２０はユーザー１１０〜１１２のうちの少なくとも一人の検出された動きの関数として空間内で位置決めされる。たとえば、仮想オブジェクト１２０は三次元の地球儀であってもよく、第一のユーザー１１０は地球儀のほうに手をさしのべ、ジェスチャーを示すことができる。第三のセンサー・ユニット１２６は該ジェスチャーを捕捉する信号（たとえばカラー・フレームおよび奥行きフレーム）を生成することができ、該ジェスチャーは該信号に基づいて検出されることができる。ジェスチャーが検出されるのに応答して、プロジェクター１１４〜１１８による投影のための像が計算される。ここで、像は、投影されたときに、第一のユーザー１１０および第二のユーザー１１２に地球儀が自転していることを知覚させる。別の例では、仮想オブジェクト１２０はボールであってもよく、第二のユーザー１１２があたかもそのボールを第一のユーザー１１０のほうに投げるかのようなジェスチャーをすることができる。第一のセンサー・ユニット１２２は、そのようなジェスチャーを示すセンサー信号を生成することができ、プロジェクター１１４〜１１８は、部屋１００において投影表面に像を投影するようにされることができる。そのような投影された像は、第一のユーザー１１０および第二のユーザー１１２に、ボールが第二のユーザー１１２から第一のユーザー１１０の方向に進んでいることを知覚させる。より簡単に言うと、第一のユーザー１１０および第二のユーザー１１２は、いずれもボールが第一のユーザー１１０と第二のユーザー１１２の間で移動することを知覚し、自分たちが互いとキャッチボールをしているという知覚を与えられることができる。ボールは仮想であり、その経験は投影された像によって引き起こされたものなのであるが。
【００１７】
ここで図２を参照するに、センサー・ユニット１２２〜１２６によって生成されるセンサー信号に基づいてプロジェクター１１４〜１１８によって投影されるべき像を計算するよう構成されている例示的なコンピューティング装置２００が示されている。コンピューティング装置２００は単一のコンピューティング装置として示されているが、コンピューティング装置２００が、互いと通信し、互いに対して同期して作用する複数のコンピューティング装置であってもよいことは理解されるものとする。さらに、コンピューティング装置２００は部屋１００内のプロジェクター１１４〜１１８およびセンサー・ユニット１２２〜１２６に近接して位置されていてもよい。もう一つの例では、コンピューティング装置２００はデータ・センターに位置していることができ、プロジェクター１１４〜１１８およびセンサー・ユニット１２２〜１２６と好適な高速ネットワーク接続によって通信することができる。さらに、コンピューティング装置２００は、センサー・ユニット１２２〜１２６によって生成されるセンサー信号を処理し、プロジェクター１１４〜１１８による投影のために像を計算することができるいかなる好適なコンピューティング装置であってもよい。こうして、コンピューティング装置２００は、サーバー・コンピューティング装置、デスクトップ・コンピューティング装置、ラップトップ・コンピューティング装置、タブレット（スレート）コンピューティング装置、携帯電話、ウェアラブル・コンピューティング装置などであってもよい。
【００１８】
コンピューティング装置２００はプロセッサ２０２と、プロセッサ２０２にとってアクセス可能なデータおよび命令を有するメモリ２０４とを有する。より具体的には、メモリ２０４はプロセッサ２０２によって実行される複数のコンポーネントを含む。これらのコンポーネントは、プロセッサ２０２によって実行されたときにある機能を実行する。前記複数のコンポーネントは、部屋のあたりに位置されたセンサー・ユニット１２２〜１２６によって出力される信号に基づいて部屋１００の三次元幾何学的モデル２０７を生成するよう構成されている較正器コンポーネント２０６を含む。前に示したように、センサー・ユニット１２２〜１２６はRGBカメラおよび奥行きカメラを含むことができる。較正器コンポーネント２０６は、センサー・ユニット１２２〜１２６を較正してグローバル座標系を決定し、グローバル座標系において部屋１００の三次元幾何学的モデル２０７を生成することができる。
【００１９】
限定しない例において、較正器コンポーネント２０６は、各プロジェクターおよびセンサー・ユニットの姿勢、焦点距離および光学中心を決定するよう構成されることができる。たとえば、較正器コンポーネント２０６は、各プロジェクターが順に一連のグレー符号パターンを表示し、センサー・ユニット１２２〜１２６のRGBカメラが部屋１００の投影表面上の該グレー符号パターンの画像を捕捉するというオフライン手順において、そのような情報を復元することができる。較正器コンポーネント２０６は、センサー・ユニット１２２〜１２６によって出力される画像におけるグレー符号パターンの位置を識別することができ、センサー・ユニット１２２〜１２６のうち一つまたは複数のセンサー・ユニットのカラー・カメラの座標系における三次元点からプロジェクターの画像における対応する点へのマッピングを決定することができる。
【００２０】
プロジェクターおよびセンサー・ユニットが対で共位置にある例では、較正器コンポーネント２０６は、各プロジェクター‐センサー・ユニット対の相対姿勢を決定することができる。これはセンサー・ユニットのすべてのRGBカメラを駆動して他のプロジェクターのグレー符号パターンを観察し、他のプロジェクターによって出力される像がRGBカメラについてのプロジェクターと重なる領域に注目し、重なる領域の対応する3D点を整列させる変換を計算することによる。このプロセスは、すべてのプロジェクターおよびセンサー・ユニットについてのグローバル座標系の決定につながる。動的プロジェクション・マッピングは、部屋１００の精密な表面幾何構造をも必要とする。上記のように、各センサー・ユニットは奥行きカメラを含むことができる。ここで、奥行きカメラによって出力される奥行きデータの精度は奥行きカメラによって報告される奥行きの範囲にわたってほぼ一定であることができる。グローバル座標系およびセンサー・ユニット１２２〜１２６の奥行きカメラによって出力された奥行きデータを使って、部屋１００の3D幾何学的モデル２０７が生成できる。
【００２１】
メモリ２０４はさらに追跡器コンポーネント２０８を含む。追跡器コンポーネント２０８は、センサー・ユニット１２２〜１２６によって出力されるセンサー・データ２０９および部屋１００の3D幾何学的モデル２０７を受領するよう構成されており、さらに、センサー・データ２０９および部屋１００の3D幾何学的モデル２０７に基づいて位置データ２１０を計算するよう構成されている。位置データ２１０は、部屋１００内の第一のユーザー１１０および第二のユーザー１１２の位置、第一のユーザー１１０および第二のユーザー１１２の部屋１００内の推定された視線方向ならびにユーザー１１０〜１１２の推定された視野を含むことができる（ここで、視野は、ユーザー１１０〜１１２の視野内の部屋の投影表面（単数または複数）の部分（単数または複数）の識別情報を含む）。
【００２２】
視線方向に関し、たとえば追跡器コンポーネント２０８は、部屋１００内の各ユーザーの頭の3D位置および部屋１００内の各ユーザーの頭の傾きに基づいて各ユーザーについての視線方向を推定することができる。さらに、追跡器コンポーネント２０８は、センサー・データ２０９に基づいて各ユーザーのそれぞれの目の位置を識別することができ、ユーザーのそれぞれの目の位置に基づいて各ユーザーの視線方向を推定することができる。加えて、追跡器コンポーネント２０８は、腕の動き、手の動き、頭の動き、指の動きなどを含むユーザー１１０〜１１２の末端部の動きを計算するために骨格追跡（skeletal  tracking）を実行することができる。
【００２３】
追跡器コンポーネント２０８は、ユーザー１１０および１１２の推定された視線方向に基づいてユーザー１１０および１１２のそれぞれの視野を推定することができる。より具体的には、部屋１００の3D幾何学的モデル２０７およびユーザー１１０および１１２の視線方向に基づいて、追跡器コンポーネント２０８は、ユーザー１１０〜１１２の部屋１００内での現在位置および現在の視線方向が与えられたときに、ユーザー１１０〜１１２によって見られる投影表面（単数または複数）の部分（単数または複数）を識別することができる。
【００２４】
メモリ２０４は、部屋１００内のプロジェクター１１４〜１１８について、プロジェクター１１４〜１１８によって投影されるフレーム２１４を生成するレンダリング・コンポーネント２１２をも含む。ここで、フレーム２１４は、ユーザー１１０〜１１２によって知覚されるべき仮想オブジェクト１２０、ユーザー１１０〜１１２が該仮想オブジェクト１２０を知覚すべき空間内の位置、追跡器コンポーネント２０８によって計算された位置データ２１０およびプロジェクターのカバー範囲に基づく。
【００２５】
より具体的には、レンダリング・コンポーネント２１２は第一のユーザー１１０のための第一のビューおよび第二のユーザー１１２のための第二のビューを計算する。ここで、第一のユーザー１１０は第一のビューを知覚し、第二のユーザー１１２は第二のビューを知覚するものである。上記のように、レンダリング・コンポーネント２１２は、追跡器コンポーネント２０８によって出力された位置データ２１０および部屋１００の3D幾何学的モデル２０７（部屋１００におけるユーザー１１０および１１２の位置を反映するようリアルタイムで更新される）に基づいてこれらのビューを計算する。これらの計算されたビューは、プロジェクター１１４〜１１８にわたって抽象化されることができる。第一のユーザー１１０のための第一のビューは、第一のユーザー１１０に、部屋１００内の空間内のある特定の位置に仮想オブジェクト１２０があることを知覚させるために部屋１００内のどこに像が投影されるべきかを示し、一方、第二のユーザー１１２のための第二のビューは、第二のユーザー１１２に、部屋１００内の空間内の前記特定の位置に仮想オブジェクト１２０があることを知覚させるために部屋１００内のどこに像が投影されるべきかを示す。較正の間に決定されるプロジェクター１１４〜１１８の既知のカバー範囲および計算されたビューに基づき、レンダリング・コンポーネント２１２は、それぞれのプロジェクター１１４〜１１８についてのフレーム２１４を生成し、それらのフレーム１１４〜１１８をプロジェクター１１４〜１１８に送信することができる。プロジェクター１１４〜１１８はそれぞれのフレーム２１４を、その受領に応答して投影し、投影された像がユーザー１１０〜１１２の両方に、部屋１００内の空間内の仮想オブジェクト１２０を知覚させる。
【００２６】
さらに、第一および第二のユーザー１１０および１１２自身が投影表面であってもよいので、レンダリング・コンポーネント２１２は、第一のユーザー１１０のための第一のビューを部屋１００における第二のユーザー１１２の位置に基づいて計算することができる。同様に、レンダリング・コンポーネント２１２は、第二のユーザー１１２のための第二のビューを部屋における第一のユーザー１１０の位置に基づいて計算することができる。ここで、部屋１００におけるユーザー１１０および１１２の位置は追跡器コンポーネント２０８によって計算される。前に示したように、追跡器コンポーネント２０８およびレンダリング・コンポーネント２１２はそれぞれ位置データ２１０およびフレーム２１４をリアルタイムで計算することができる。それにより、プロジェクター１１４〜１１８によって投影される像が、部屋１００においてユーザー１１０および／またはユーザー１１２が位置および／または視線方向を変える際に、更新される。
【００２７】
ここで図３を参照するに、部屋１００のもう一つの例示的な描画が示されている。図３に描かれる部屋１００では、第一のプロジェクター１１４、第一のセンサー・ユニット１２２、第三のプロジェクター１１８および第三のセンサー・ユニット１２６がその中に含まれている。第一のプロジェクター１１４は部屋の第三の壁１０６に像を投影するよう構成され、一方、第三のプロジェクター１１８は部屋１００の第一の壁１０２に像を投影するよう構成される。
【００２８】
第三のセンサー・ユニット１２６によって出力される信号および部屋１００の3D幾何学的モデル２０７に基づいて、追跡器コンポーネント２０８は、参照符号３０２によって描かれるような、第一のユーザー１１０についての第一の視野を計算できる。同様に、第一のセンサー・ユニット１２２によって出力されるセンサー信号および部屋１００の3D幾何学的モデル２０７に基づいて、追跡器コンポーネント２０８は、参照符号３０４によって描かれるような、第二のユーザー１１２についての第二の視野を計算できる。
【００２９】
レンダリング・コンポーネント２１２は、それぞれ視野３０２および３０４ならびにユーザー１１０および１１２が仮想オブジェクト１２０を知覚すべき空間内の位置に基づいて、第一のユーザー１１０のための第一のビューおよび第二のユーザー１１２のための第二のビューを計算する。たとえば、レンダリング・コンポーネント２１２は、仮想オブジェクト１２０が第一のユーザー１１０および第二のユーザー１１２によって、第一のユーザー１１０と二のユーザー１１２の間の空間内の特定の位置にあるとして知覚されるべきであるとの指示を受領することができる。すると、レンダリング・コンポーネント２１２は、ユーザー１１０および１１２に同時に、仮想オブジェクト１２０を空間内のその位置にあるものとして知覚させる、ユーザー１１０および１１２のそれぞれのためのビューを計算する。こうして、仮想オブジェクト１２０は二度レンダリングされる。第一のユーザー１１０のために一度、第二のユーザー１１２のために一度である。第一のユーザー１１０および第二のユーザー１１２が反対方向を見ているので、第一のユーザー１１０は第二のユーザー１１２のために意図されたグラフィックを見る可能性は低く、逆も成り立つ。たとえば第二のユーザー１１２のために意図された像は第一のユーザー１１０の背後の第一の壁１０２に（あるいは第一のユーザー１１０の身体上に）現われるからである。レンダリング・コンポーネント２１２は、第一のユーザー１１０が仮想オブジェクト１２０をどこに知覚するべきかの部屋１００内での所望される空間位置を知っているので、レンダリング・コンポーネント２１２は、第一のプロジェクター１１４によって第三の壁１０６に投影されたときに、第一のユーザー１１０に仮想オブジェクト１２０が部屋１００内で該所望される空間位置にあることを知覚させる適切なサイズおよび配向をもつ仮想オブジェクト１２０のレンダリングを含む、第一のプロジェクター１１４によって投影されるべきフレームを生成することができる。
【００３０】
同様に、レンダリング・コンポーネント２１２は、部屋１００内での仮想オブジェクト１２０の意図された空間位置を知っているので、レンダリング・コンポーネント２１２は、第三のプロジェクター１１８によって第一の壁１０２に投影されたときに、第二のユーザー１１２に仮想オブジェクト１２０が部屋１００内で該所望される空間位置にあることを知覚させる適切なサイズおよび配向をもつ仮想オブジェクト１２０のレンダリングを含む、フレームを生成することができる。図３に示されるように、第一のプロジェクター１１４は、第一のユーザー１１０に該意図される空間位置にある仮想オブジェクト１２０を知覚させる第三の壁１０６上での適切な位置および配向での、第三の壁１０６上での仮想オブジェクト１２０の第一のレンダリング３０６を投影することができる。同様に、同時に、第三のプロジェクター１１８は、第二のユーザー１１２に（たとえば第一のユーザー１１０と第二のユーザー１１２の間の）該意図される空間位置にある仮想オブジェクト１２０を知覚させる第一の壁１０２上での仮想オブジェクト１２０の第二のレンダリング３０８を投影する。
【００３１】
ここで図４を参照するに、部屋１００のもう一つの例示的な描画が示されている。図３では、仮想オブジェクト１２０は、第一のユーザー１１０および第二のユーザー１１２の両方から距離においてほぼ等価な空間内の位置にあるものとして示されている。図４では、仮想オブジェクト１２０は空間内で第二のユーザー１１２より第一のユーザー１１０に近いものとして示されている。先述したように、第一のセンサー・ユニット１２２および第三のセンサー・ユニット１２６によって出力される信号に基づいて、追跡器コンポーネント２０８は位置データ２１０を計算することができる。該位置データ２１０は、部屋１００内での第一のユーザー１１０および第二のユーザー１１２の位置ならびにユーザー１１０および１１２の視野を含む。
【００３２】
レンダリング・コンポーネント２１２は、ユーザー１１０および１１２の視野に基づいて、またさらに仮想オブジェクト１２０と、部屋１００内のどこで仮想オブジェクト１２０がユーザー１１０および１１２によって知覚されるべきかの空間位置とに基づいて、第一のユーザー１１０のための第一のビューおよび第二のユーザー１１２のための第二のビューを計算することができる。仮想オブジェクト１２０は第一のユーザーの近くにあるように第一のユーザー１１０に対して見えるべきであるので、レンダリング・コンポーネント２１２によって計算される第一のビューは、第三の壁１０６に投影されるべき仮想オブジェクト１２０の第一のレンダリング４０２を含むことができる。仮想オブジェクト１２０の第一のレンダリング４０２は第三の壁１０６の上で比較的大きく、第一のユーザー１１０に、仮想オブジェクト１２０が第一のユーザー１１０に比較的近いという知覚を与える。対照的に、第二のユーザー１１２のためにレンダリング・コンポーネント２１２によって計算される第二のビューは、第一の壁１０２に投影される仮想オブジェクト１２０の第二のレンダリング４０４を含むことができ、仮想オブジェクト１２０の第二のレンダリング４０４は比較的小さく、第二のユーザー１１２に、仮想オブジェクト１２０が空間において第二のユーザー１１２から比較的大きな距離離れて位置しているという知覚を与える。先述したように、追跡器コンポーネント２０８およびレンダリング・コンポーネント２１２はリアルタイムで動作することができ、第一のユーザー１１０および第二のユーザー１１２のために計算されるビューがリアルタイムで計算され、仮想オブジェクト１２０のレンダリングが仮想オブジェクト１２０の位置が変わるにつれて、第一のユーザー１１０の位置が変わるにつれて、および／または第二のユーザー１１２の位置が変わるにつれて、第一のユーザー１１０または第二のユーザー１１２いずれかの視線方向が変わるにつれて、などで更新される。
【００３３】
図５は、部屋１００のもう一つの描画である。この例では、単一のプロジェクター５０２が部屋に含まれており、プロジェクター５０２は部屋１００の天井に取り付けられているまたは部屋１００の天井に埋め込まれている。プロジェクター５０２は、プロジェクター５０２が少なくとも第一の壁１０２および第三の壁１０６に同時に像を投影することができるよう、広角プロジェクターであることができる。上記のように、レンダリング・コンポーネント２１２は、第一のユーザー１１０のための第一のビューおよび第二のユーザー１１２のための第二のビューを計算するが、プロジェクター５０２は両方のビューを投影する。すなわち、レンダリング・コンポーネント２１２によって生成されるフレーム２１４は、第一のビューおよび第二のビュー両方を表わす。
【００３４】
ここで図６を参照するに、部屋１００のもう一つの例示的な描画が与えられている。この描画では、第一のユーザー１１０および第二のユーザー１１２それぞれについてレンダリング・コンポーネント２１２によって計算された第一および第二のビューが投影表面上で重なり合う。換言すれば、第一のユーザー１１０は第二のユーザー１１２のために意図された仮想オブジェクト１２０のレンダリングを（第一のユーザー１１０のために意図された仮想オブジェクト１２０のレンダリングのほかに）知覚し、第二のユーザー１１２は第一のユーザー１１０のために意図された仮想オブジェクト１２０のレンダリングを（第二のユーザー１１２のために意図された仮想オブジェクトのレンダリングのほかに）知覚することになる。
【００３５】
レンダリング・コンポーネント２１２がこの状況を検出するとき、レンダリング・コンポーネント２１２は多様な技法のうちの任意のものを実行することができる。第一の例では、レンダリング・コンポーネント２１２はユーザー１１０および１１２のためのビューをブレンドすることができる。それにより、第一のユーザー１１０のための第一のビューおよび第二のユーザー１１２のための第二のビューが同時に部屋１００において投影される。換言すれば、ユーザー１１０および１１２はいずれも、床１０８上の仮想オブジェクト１２０の二つのビューを知覚してもよい。仮想オブジェクト１２０が地面の上にあると知覚されるべきであるときは、二人のユーザー１１０および１１２のための二つのビューが重なり合う。別の例では、レンダリング・コンポーネント２１２は、ユーザー１１０および１１２の両方によって知覚されるべき単一のビューをレンダリングできる。たとえば、仮想オブジェクト１２０のレンダリングは、普通ならユーザー１１０および１１２に呈示されるところの仮想オブジェクト１２０の二つのレンダリングの間に置かれる。さらに別の例では、二人のユーザーの一方１１０または１１２が優勢ユーザーであってもよく、レンダリング・コンポーネントがビューが重なり合うことを検出するとき、レンダリング・コンポーネント２１２は優勢なビューに基づいてフレームを生成し、仮想オブジェクトのレンダリングは、優勢ユーザーが空間内の適切な位置にあるものとして仮想オブジェクト１２０を知覚するように示される。
【００３６】
ここで図７を参照するに、部屋１００の別の例示的な描画が与えられている。この例では、ユーザー１１０および１１２自身が投影表面のはたらきをする。すなわち、レンダリング・コンポーネント２１２は、部屋内のユーザー１１０および１１２の位置およびユーザー１１０および１１２の形状に基づいてこれらのユーザーのためのビューを計算する。ここで示した例では、レンダリング・コンポーネント２１２は、仮想オブジェクト１２０の第一のレンダリング７０２が少なくとも部分的に第二のユーザー１１２上に投影されるよう第一のユーザー１１０のための第一のビューを計算する。同時に、レンダリング・コンポーネント２１２は、仮想オブジェクト１２０の第二のレンダリング７０４が少なくとも部分的に第一のユーザー１１０上に投影されるよう第二のユーザー１１２のための第二のビューを計算する。
【００３７】
ビューを計算するときに位置データ２１０を考慮に入れることに加えて、レンダリング・コンポーネント２１２は、部屋１００内の投影表面のテクスチャー、パターンおよび／または反射性質を考慮に入れることができる。たとえば、第一のユーザー１１０は反射性の明るい色のシャツを着ている一方、それほど反射性でない暗い色のズボンをはいていることがある。レンダリング・コンポーネント２１２は、そのような情報を、部屋１００内の第三のセンサー・ユニット１２６によって出力される画像に基づいて見きわめることができる。次いで、レンダリング・コンポーネント２１２は、第三のプロジェクター１１８が第一のユーザー１１０上に、異なるテクスチャー、反射性、パターンなどを考慮に入れた像を投影するよう、ビューを計算し、フレーム２１４を構築してもよい。さらに、レンダリング・コンポーネント２１２は、これに限られないが色相、テクスチャーなどといった部屋内の投影表面の色属性に基づいてビューを計算し、フレーム２１４を構築することができる。
【００３８】
図１および図３〜図７は部屋内のプロジェクターおよびセンサーの例示的な配置を示しているが、他の配置および拡張が考えられていることは理解されるものとする。たとえば、プロジェクターおよびセンサー・ユニットが部屋内の壁に固定されるのではなく、プロジェクターおよび／またはセンサー・ユニットはユーザー１１０〜１１２が身につけるヘッドギアにおいて実装されることができる。部屋１００内のユーザー１１０〜１１２の視野がヘッドギア内のプロジェクターの検出された位置に基づいて決定できるよう、プロジェクターは、それに付随した慣性センサーを有することができる。レンダリング・コンポーネント２１２は、それらのプロジェクターの検出された位置に基づいてユーザー１１０〜１１２のためのビューを生成することができる。もう一つの例では、レンダリング・コンポーネント２１２は各ユーザーについて二つのビューを計算することができる。各ユーザーのそれぞれの目について一つのビューである。そのような場合、部屋１００は、第一のプロジェクターが一方の目のためのビューを投影し、第二のプロジェクターが他方の目のためのビューを投影する、立体視用に配置されたプロジェクターを含むことができる。そのような場合、各ユーザーはシャッター眼鏡をかけることができる。
【００３９】
さらに、上記から、ユーザー１１０および１１２がユーザー１１０と１１２の間の空間内の一つまたは複数の仮想オブジェクトと対話できる数多くのSSAR用途が考えられていることが見きわめられる。たとえば、仮想オブジェクトに触れることが、ユーザーについての、追跡される手の位置または奥行きマップから取られた点のいずれかを仮想オブジェクト１２０の幾何構造と交わらせることによって、実装されることができる。
【００４０】
もう一つの例では、レンダリング・コンポーネント２１２はプロジェクター１１４〜１１８をして像を投影させることで、ユーザー１１０または１１２が、該ユーザーの一方が仮想オブジェクト１２０を手に持っていると知覚するようにできる。さらにもう一つの例では、仮想オブジェクト１２０は、手がセンサー１２２〜１２６の一つまたは複数によって三次元で追跡される際に、その手の上方で調整される点に追随するようスクリプトされてもよい。上記のように、レンダリング・コンポーネント２１２は、仮想オブジェクト１２０の二つのレンダリングを生成する。各ユーザーに一つである。たとえば第一のユーザー１１０が自分の体の前方に手を上げている間、第一のユーザーのビューは、可能性としては第二のユーザー１１２の身体にまたがる、部屋１００の遠くの表面における大きな投影を含む。その間、第二のユーザー１１２のビューは、可能性としては第一のユーザー１１０の胴体にわたるオブジェクトの小さな投影を含む。
【００４１】
さらにもう一つの例では、保持されたオブジェクトが、放すための何らかの条件を満たすことによって、落とされたりまたは投げられたりすることができる。たとえば、手の速度または加速度が何らかの閾値を超えるときに、保持されたボールが投げられてもよい。放す瞬間、ボールは投げる手の速度を取ってもよい。キャッチすることまたは拾うことは、単にオブジェクトが追跡される手に十分に近い時を検査することによって実装されてもよい。
【００４２】
他の例では、仮想オブジェクトの部屋内の表面またはユーザーとの衝突が検出され、リアルな衝突応答につながることができる。部屋の静的な部分についての事前計算された衝突幾何構造が使われることができ、動いているオブジェクトの形状が近似されることができる。レンダリング・パイプラインを用いることで部屋の静的な部分にテクスチャーを適用することは比較的ストレートだが、ユーザーのような動いているオブジェクトにテクスチャーを適用することは、投影表面のリアルタイム追跡を必要とする。オプティカルフローのような低レベルの動き特徴がこのリアルタイム追跡のために使用できる。リアルタイム・オプティカルフローは、（IR）センサーからの赤外線（IR）ビデオから計算されることができる。テクスチャーの初期配置を決定し、次いでオプティカルフローによって推定される動きを使って多数のフレームにわたって表面に追随することによって、動いているオブジェクトにテクスチャーが適用されることができる。
【００４３】
先に示したように、仮想オブジェクト１２０は、三次元モデル、ボールなどといったいかなる好適な仮想オブジェクトであってもよい。さらに、レンダリング・コンポーネント２１２は、ユーザー１１０および１１２がいずれもユーザー１１０および１１２の間の空間における複数の仮想オブジェクトを知覚するよう、同時に複数の仮想オブジェクトをレンダリングすることができる。さらにもう一つの例では、ユーザー１１０および１１２の間の空間にテキストがレンダリングされることができる。たとえば、第一のユーザー１１０および第二のユーザー１１２は異なる言語を話してもよい。本稿に記載される側面は、ユーザー１１０および１１２のいずれかの発話の検出と、第一のユーザー１１０と第二のユーザー１１２との間での発話吹き出しの表示とを許容することができる。各ユーザーは、それぞれ自分が理解する言語で、適切な向きで、該発話を見ることになる。
【００４４】
本稿に記載される特徴が特に好適でありうる、ゲーム、ヘルスケアなどにおける数多くの応用もある。たとえば、本稿に記載される特徴は、医師が実際にオブジェクトを使うことを要求することなく、はいってくるオブジェクトに対する患者の反射を医師が観察することを許容できる。こうして、医師は、実際にユーザーに対してボールを投げる必要なしに、ユーザーがボールをキャッチできるかどうかを観察できる。本稿に記載される特徴は、物理的なオブジェクトの使用を要求することなく二人の患者がSSAR経験をもつことのできる理学療法用途にも好適でありうる。たとえば、二人の患者は、ボールを使うことを必要とせずにキャッチボール・ゲームをしてもよく、仮想テニスのゲームなどをしてもよい。本稿に記載されるシステムは両方のユーザーから正しく知覚されるテニス・ラケットおよびボールをレンダリングできるからである。
【００４５】
図８〜図１１は、SSARに関係する例示的な方法論を示している。これらの方法論は、逐次的に実行される一連の工程として示され、記述されているが、これらの方法論がシーケンスの順序によって限定されないことは理解され、認識されるものとする。たとえば、いくつかの工程は、本稿で記載されるのとは異なる順序で生起することができる。さらに、工程は、別の工程と並行して生起することができる。さらに、いくつかの事例では、本稿で記載される方法論を実装するためにすべての工程が必要とされるのではないこともある。
【００４６】
さらに、本稿に記載される工程は、一つまたは複数のプロセッサによって実装されるおよび／またはコンピュータ可読媒体もしくはメディアに記憶されることのできるコンピュータ実行可能命令であってもよい。コンピュータ実行可能命令は、ルーチン、サブルーチン、プログラム、実行のスレッドおよび／またはその他を含むことができる。さらに、これらの方法論の工程の結果はコンピュータ可読媒体に記憶される、表示装置上に表示されるなどされることができる。
【００４７】
ここで図８を参照するに、SSARを実現するための例示的な方法論８００が示されている。方法論８００は８０２において始まり、８０４において、環境（部屋）において互いに向き合っている二人のユーザーの視野が検出される。先に示したように、視野は、環境における二人のユーザーの位置、環境におけるユーザーの頭の傾きなどを示すセンサー信号に基づいて検出されることができる。８０６では、少なくとも一つの信号が少なくとも一つのプロジェクターに送信される。該少なくとも一つの信号は、該少なくとも一つのプロジェクターをして投影表面上に像を投影させるものである。ここで、像は、投影表面に投影されたとき、二人のユーザーに、該二人のユーザーの間の空間内の仮想オブジェクトを知覚させるものである。方法論８００は８０８において終了するものとして示されているが、方法論８００は反復されることができることは理解しておくものとする。それにより、視野および／または仮想オブジェクトの空間位置が変化するにつれて像はリアルタイムで更新される。
【００４８】
ここで図９を参照するに、環境において像を投影するための例示的な方法論９００が示されている。方法論９００は９０２において始まり、９０４において、第一のユーザーによって実行されるジェスチャーが検出される。ここで、第一のユーザーは部屋において第二のユーザーに向き合っている。ジェスチャーは、奥行きカメラによって出力される奥行き画像、RGBカメラによって出力されるカラー画像などといった、センサー・ユニットによって出力される信号に基づいて検出されることができる。９０６では、該ジェスチャーに基づいて、少なくとも一つの信号が少なくとも一つのプロジェクターに送信される。該少なくとも一つの信号は、該少なくとも一つのプロジェクターをして投影表面上に像を投影させるものである。ここで、像は、二人のユーザーに、該二人のユーザーの間の空間内で動く仮想オブジェクトを知覚させるものである。たとえば、検出されたジェスチャーは投げる動きであってもよく、像は、二人のユーザーに、一方のユーザーから他方のユーザーのほうに動くボールを知覚させてもよい。別の例では、ジェスチャーはスワイプであってもよく、プロジェクターによって投影される像は、二人のユーザーに、該二人のユーザーの間の空間内で回転する地球儀を知覚させてもよい。方法論９００は９０８において完了する。
【００４９】
ここで図１０を参照するに、二人のユーザーに、該二人のユーザーの間の空間内の仮想オブジェクトを知覚させる像を部屋において投影することを容易にするもう一つの例示的な方法論１０００が示されている。方法論１０００は１００２において始まり、１００４において、第一のユーザーによって言葉で発された単語または句が検出される。ここで、第一のユーザーは部屋において第二のユーザーに向き合っている。たとえば、マイクロフォンが第一のユーザーによって述べられた話された発声を捕捉することができ、マイクロフォンによって出力された信号に基づいて、発声の少なくとも一つの単語が検出されることができる。１００６では、検出された単語または句に基づいて、少なくとも一つの信号が少なくとも一つのプロジェクターに送信される。該少なくとも一つの信号は、該少なくとも一つのプロジェクターをして部屋内で像を投影させるものである。ここで、像は、二人のユーザーに、該二人のユーザーの間の空間内の仮想オブジェクトを知覚させるものである。別の例では、検出された単語または句に基づいて、前記少なくとも一つのプロジェクターに送信された前記少なくとも一つの信号は、仮想オブジェクトに見え方または位置を変えさせることができる。方法論１０００は１００８において完了する。
【００５０】
ここで図１１を参照するに、二人の別個のユーザーのために環境において二つのビューを同時に投影するための例示的な方法論１１００が示される。これらのビューは二人のユーザーにSSAR経験をもたせるものである。方法論１１００は１１０２において始まり、１１０４において、第一のセンサー装置によって出力された第一の信号が受領される。第一の信号はたとえば、奥行き画像、カラー画像または部屋における第一のユーザーの位置を示す他の信号であることができる。１１０６では、第一のユーザーの視線方向を計算するために第一の信号が処理される。たとえば、第一の信号は部屋内の第一のユーザーのカラー画像および奥行き画像であるまたはこれらの画像を含むことができ、これらの画像に基づいて、第一のユーザーの頭の傾きおよび目の近似的な位置が決定されることができ、それにより第一のユーザーの視線方向が推定される（および第一のユーザーの視野が推定される）ことが許容される。
【００５１】
１１０８では、第二のセンサー・ユニットによって出力された第二の信号が受領される。たとえば、第二のセンサー・ユニットは第二のユーザーのほうを向けられていることができ、第一のセンサー信号と同様に、第二の信号は奥行き画像、カラー画像などであるまたはこれらの画像を含むことができる。１１１０では、第二の信号が処理されて、第一のユーザーの視線方向における第一のユーザーの環境のコンピュータ実装されるモデルが更新される。たとえば、第二のセンサー信号は部屋における第二のユーザーの位置、形状および動きを示すことができる。ここで、第二のユーザーは前記像のための投影表面のはたらきをしてもよい。
【００５２】
１１１２では、第一のユーザーのためのビューが、第一のユーザーの視線方向と、環境のコンピュータ実装されるモデルと、第一のユーザーによって仮想オブジェクトが知覚されるべき空間内の位置とに基づいて計算される。１１１４では、諸第一のコマンドが、第一のプロジェクターに送信される。ここで、該諸第一のコマンドは、第一のプロジェクターをして、環境において第一のユーザーのためのビューを投影させるものである。よって、第一のユーザーは、仮想オブジェクトを、環境内の空間において適切な位置にあるものとして知覚する。
【００５３】
１１１６では、受領１１０８された第二のセンサー・ユニットによって出力された第二の信号が処理されて、第二のユーザーの視線方向が計算される。１１１８では、第一の信号が処理されて、第二のユーザーの視線方向における環境のコンピュータ実装されるモデルが更新される。１１２０では、環境における第二のユーザーのためのビューが：１）第二のユーザーの視線方向；２）環境のコンピュータ実装されるモデル；および３）仮想オブジェクトが第二のユーザーによって知覚されるべき空間内の所望される位置に基づいて計算される。１１２２では、諸第二のコマンドが、第二のプロジェクターに送信される。ここで、該諸第二のコマンドは、第二のプロジェクターをして、環境において第二のユーザーのためのビューを投影させるものである。次いで、方法論１１００は１１０４に戻る。第一のユーザーおよび第二のユーザーが共有される経験を与えられるよう、上記の工程のいくつかが同時に行なわれてもよいことが理解されるものとする。
【００５４】
本稿に記載される数多くの側面に関係するさまざまな例についてここで記載しておく。
【００５５】
〔実施例１〕少なくとも一つのプロセッサと；前記少なくとも一つのプロセッサによって実行される複数のコンポーネントを含むメモリとを有するコンピューティング・システムであって、前記複数のコンポーネントは：部屋内における第一のユーザーの第一の位置および第二のユーザーの第二の位置を計算するよう構成された追跡器コンポーネントであって、前記追跡器コンポーネントは前記第一の位置および前記第二の位置を少なくとも一つのセンサー・デバイスによって生成される少なくとも一つの信号に基づいて計算する、追跡器コンポーネントと；前記第一のユーザーの前記第一の位置に基づいて、前記第一のユーザーに呈示されるべき、仮想オブジェクトを含む第一のビューを計算し；前記第二のユーザーの前記第二の位置に基づいて、前記第二のユーザーに呈示されるべき、前記仮想オブジェクトを含む第二のビューを計算し；少なくとも一つのフレームを少なくとも一つのプロジェクターに送信するよう構成されたレンダリング・コンポーネントとを含み、前記少なくとも一つのフレームは、前記少なくとも一つのプロジェクターをして、前記部屋内の投影表面に像を投影させるものであり、前記像は：前記第一のビューの少なくとも一部；または前記第二のビューの少なくとも一部のうちの少なくとも一方を含み、前記第一のユーザーおよび前記第二のユーザーの両方が前記第一のユーザーと前記第二のユーザーの間の空間における前記仮想オブジェクトを知覚するようにする、コンピューティング・システム。
【００５６】
〔実施例２〕前記追跡器コンポーネントがさらに、前記第一のユーザーの第一の視線方向および前記第二のユーザーの第二の視線方向を、前記センサー・デバイスによって生成された前記少なくとも一つの信号に基づいて計算するよう構成されており、前記レンダリング・コンポーネントはさらに、前記第一の視線方向に基づいて前記第一のビューを、前記第二の視線方向に基づいて前記第二のビューを計算するよう構成されている、実施例１記載のコンピューティング・システム。
【００５７】
〔実施例３〕前記メモリがさらに、前記部屋のコンピュータ実装された三次元幾何学的モデルを有しており、前記レンダリング・コンポーネントはさらに、前記部屋の前記コンピュータ実装された三次元幾何学的モデルに基づいて前記第一のビューおよび前記第二のビューを計算するよう構成されている、実施例１または２記載のコンピューティング・システム。
【００５８】
〔実施例４〕前記レンダリング・コンポーネントはさらに、前記少なくとも一つのセンサー・デバイスによって生成される前記少なくとも一つの信号に基づいてリアルタイムで前記コンピュータ実装される三次元幾何学的モデルを更新するよう構成されている、実施例３記載のコンピューティング・システム。
【００５９】
〔実施例５〕前記少なくとも一つのフレームは第一のフレームおよび第二のフレームを含み、前記少なくとも一つのプロジェクターは第一のプロジェクターおよび第二のプロジェクターを含み、前記レンダリング・コンポーネントは、前記フレームを前記第一のプロジェクターに送信し、前記第二のフレームを前記第二のプロジェクターに送信するよう構成されており、前記第一のフレームは前記第一のプロジェクターに前記第一のビューを投影させ、前記第二のフレームは前記第二のプロジェクターに前記第二のビューを投影させる、実施例１ないし４のうちいずれか一項記載のコンピューティング・システム。
【００６０】
〔実施例６〕前記少なくとも一つのフレームがさらに第三のフレームを含み、前記少なくとも一つのプロジェクターがさらに第三のプロジェクターを含み、前記レンダリング・コンポーネントは、前記第三のフレームを前記第三のプロジェクターに送信するよう構成されており、前記第三のフレームは前記第三のプロジェクターに前記第一のビューの一部および前記第二のビューの一部を投影させる、実施例５記載のコンピューティング・システム。
【００６１】
〔実施例７〕前記追跡器コンポーネントが、前記仮想オブジェクトに関して前記第一のユーザーによって実行されるジェスチャーを検出するよう構成されており、前記レンダリング・コンポーネントがさらに、前記第一のビューおよび前記第二のビューを、前記追跡器コンポーネントによって検出される前記ジェスチャーに基づいて計算するよう構成されている、実施例１ないし６のうちいずれか一項記載のコンピューティング・システム。
【００６２】
〔実施例８〕前記追跡器コンポーネントが、前記第一のユーザーによって話される単語を受領するよう構成されており、前記レンダリング・コンポーネントがさらに、前記第一のビューおよび前記第二のビューを、前記追跡器コンポーネントによって受領される前記単語に基づいて計算するよう構成されている、実施例１ないし７のうちいずれか一項記載のコンピューティング・システム。
【００６３】
〔実施例９〕前記仮想オブジェクトが三次元オブジェクトである、実施例１ないし８のうちいずれか一項記載のコンピューティング・システム。
【００６４】
〔実施例１０〕前記少なくとも一つの信号が、赤緑青画像または奥行き画像の少なくとも一方を含む、実施例１ないし９のうちいずれか一項記載のコンピューティング・システム。
【００６５】
〔実施例１１〕少なくとも一つのセンサー・ユニットによって生成される少なくとも一つのセンサー信号に基づいて部屋における第一のユーザーの第一の視線方向を計算する段階と；前記少なくとも一つのセンサー・ユニットによって生成される前記少なくとも一つのセンサー信号に基づいて前記部屋における第二のユーザーの第二の視線方向を計算する段階と；前記第一のユーザーの前記第一の視線方向および前記第二のユーザーの前記第二の視線方向に基づいて前記部屋内の少なくとも一つのプロジェクターに少なくとも一つのフレームを送信する段階とを含み、前記少なくとも一つのフレームは、前記第一のユーザーおよび前記第二のユーザーが前記第一のユーザーと前記第二のユーザーの間の空間における仮想オブジェクトを知覚するよう、前記少なくとも一つのプロジェクターに、前記部屋における表面に像を投影させるものである、方法。
【００６６】
〔実施例１２〕前記第一のユーザーの前記第一の視線方向および前記部屋のコンピュータ実装される幾何学的モデルに基づいて前記第一のユーザーのための第一のビューを計算する段階と；前記第二のユーザーの前記第二の視線方向および前記部屋の前記コンピュータ実装される幾何学的モデルに基づいて前記第二のユーザーのための第二のビューを計算する段階と；前記第一のユーザーのための前記第一のビューおよび前記第二のユーザーのための前記第二のビューに基づいて前記少なくとも一つのフレームを生成する段階とをさらに含む、実施例１１記載の方法。
【００６７】
〔実施例１３〕前記少なくとも一つのセンサー・ユニットによって生成される前記少なくとも一つのセンサー信号に基づいてリアルタイムで前記幾何学的モデルを更新する段階をさらに含む、実施例１２記載の方法。
【００６８】
〔実施例１４〕リアルタイムで前記幾何学的モデルを更新する段階が、前記部屋内の前記第一のユーザーおよび前記第二のユーザーの検出された位置に基づいて前記幾何学的モデルを更新することを含む、実施例１３記載の方法。
【００６９】
〔実施例１５〕前記少なくとも一つのセンサー・ユニットによって生成された前記少なくとも一つのセンサー信号に基づく前記部屋内の表面の反射率；または前記少なくとも一つのセンサー・ユニットによって生成された前記少なくとも一つのセンサー信号に基づく前記部屋内の前記表面の色属性のうちの少なくとも一方を推定する段階と；前記表面の反射率および前記表面の色属性の前記少なくとも一方に基づいて前記少なくとも一つのフレームを生成する段階とをさらに含む、実施例１１ないし１４のうちいずれか一項記載の方法。
【００７０】
〔実施例１６〕前記仮想オブジェクトに関して前記第一のユーザーまたは前記第二のユーザーの一方によって実行されるジェスチャーを検出する段階と；前記ジェスチャーに基づいて前記フレームを生成する段階とをさらに含む、実施例１１ないし１５のうちいずれか一項記載の方法。
【００７１】
〔実施例１７〕前記像が、前記第一のユーザーおよび前記第二のユーザーに、前記仮想オブジェクトが前記第一のユーザーと前記第二のユーザーの間の空間において動いていることを知覚させるものである、実施例１６記載の方法。
【００７２】
〔実施例１８〕前記少なくとも一つのフレームは第一のフレームおよび第二のフレームを含み、前記少なくとも一つのフレームを送信することは：第一のプロジェクターに、前記第一のプロジェクターをして前記第一のユーザーの第一の目のための像を投影させる前記第一のフレームを送信し；第二のプロジェクターに、前記第二のプロジェクターをして前記第一のユーザーの第二の目のための像を投影させる前記第二のフレームを送信することを含む、実施例１７記載の方法。
【００７３】
〔実施例１９〕前記第一の視線方向を計算する工程、前記第二の視線方向を計算する工程および前記部屋内の前記少なくとも一つのプロジェクターに前記少なくとも一つのフレームを送信する工程を、前記第一の視線方向または前記第二の視線方向の少なくとも一方の変更の関数として前記像がリアルタイムで更新されるよう、連続的に実行することをさらに含む、実施例１１ないし１８のうちいずれか一項記載の方法。
【００７４】
〔実施例２０〕命令を有するコンピュータ可読記憶媒体であって、前記命令は、プロセッサによって実行されたときに前記プロセッサに：部屋における第一のユーザーまたは第二のユーザーの少なくとも一方の動きを検出する段階であって、前記第一のユーザーおよび前記第二のユーザーは前記部屋において互いに向き合っている、段階と；前記部屋のコンピュータ実装される幾何学的モデルおよび前記部屋における前記第一のユーザーまたは前記第二のユーザーの前記少なくとも一方の前記動きに基づいて前記第一のユーザーのための、仮想オブジェクトを含む第一のビューを計算する段階と；前記部屋の前記コンピュータ実装される幾何学的モデルおよび前記部屋における前記第一のユーザーまたは前記第二のユーザーの前記少なくとも一方の前記動きに基づいて前記第二のユーザーのための、前記仮想オブジェクトを含む第二のビューを計算する段階と；少なくとも一つのフレームを少なくとも一つのプロジェクターに送信する段階とを実行させるものであり、前記少なくとも一つのフレームは、前記少なくとも一つのプロジェクターをして、前記第一のユーザーおよび前記第二のユーザーが前記第一のユーザーと前記第二のユーザーの間の空間において前記仮想オブジェクトが動いていることを知覚するよう、前記部屋における前記第一のビューの少なくとも一部または前記部屋における前記第二のビューの少なくとも一部のうちの少なくとも一方を投影させるものである、コンピュータ可読記憶媒体。
【００７５】
〔実施例２１〕少なくとも一つのセンサー・ユニットによって生成される少なくとも一つのセンサー信号に基づいて部屋における第一のユーザーの第一の視線方向を計算する手段と；前記少なくとも一つのセンサー・ユニットによって生成される前記少なくとも一つのセンサー信号に基づいて前記部屋における第二のユーザーの第二の視線方向を計算する手段と；前記第一のユーザーの前記第一の視線方向および前記第二のユーザーの前記第二の視線方向に基づいて前記部屋内の少なくとも一つのプロジェクターに少なくとも一つのフレームを送信する手段とを有し、前記少なくとも一つのフレームは、前記第一のユーザーおよび前記第二のユーザーが前記第一のユーザーと前記第二のユーザーの間の空間における仮想オブジェクトを知覚するよう、前記少なくとも一つのプロジェクターに、前記部屋における表面に像を投影させるものである、コンピューティング・システム。
【００７６】
ここで図１２を参照するに、本稿に開示されるシステムおよび方法論に基づいて使用できる例示的なコンピューティング装置１２００の高レベルの図解が示されている。たとえば、コンピューティング装置１２００は、部屋におけるユーザーの視野を推定するよう構成されているシステムにおいて使用されてもよい。もう一つの例として、コンピューティング装置１２００は、プロジェクターによって投影されるべき投影フレームを生成するよう構成されているシステムにおいて使用されることができる。コンピューティング装置１２００は、メモリ１２０４に記憶された命令を実行する少なくとも一つのプロセッサ１２０２を含む。前記命令は、たとえば、上記で論じた一つまたは複数のコンポーネントによって実行されるものとして記述されている機能を実装するための命令または上述した方法の一つまたは複数を実装するための命令であってもよい。プロセッサ１２０２は、システム・バス１２０６によってメモリ１２０４にアクセスしてもよい。実行可能命令を記憶することに加えて、メモリ１２０４は画像、奥行きデータなどをも記憶してもよい。
【００７７】
コンピューティング装置１２００はさらに、システム・バス１２０６によってプロセッサ１２０２がアクセスできるデータ記憶部１２０８を含む。データ記憶部１２０８は、実行可能命令、画像などを含んでいてもよい。コンピューティング装置１２００は、外部装置がコンピューティング装置１２００と通信することを許容する入力インターフェース１２１０をも含む。たとえば、入力インターフェース１２１０は、外部コンピュータ装置から、ユーザーから、などから命令を受領するために使われてもよい。コンピューティング装置１２００は、コンピューティング装置１２００に一つまたは複数の外部装置とインターフェースをもたせる出力インターフェース１２１２をも含む。たとえば、コンピューティング装置１２００は、出力インターフェース１２１２によってテキスト、画像などを表示してもよい。
【００７８】
コンピューティング装置１２００と入力インターフェース１２１０および出力インターフェース１２１２を介して通信する外部装置が、対話するためにユーザーが用いることのできる実質的に任意の型のユーザー・インターフェースを提供する環境において含まれることができることが考えられている。ユーザー・インターフェースの型の例はグラフィカル・ユーザー・インターフェース、ナチュラル・ユーザー・インターフェースなどを含む。たとえば、グラフィカル・ユーザー・インターフェースは、キーボード、マウス、リモコンなどといった入力装置を用いてユーザーからの入力を受け入れてもよく、ディスプレイのような出力装置で出力を提供してもよい。さらに、ナチュラル・ユーザー・インターフェースは、ユーザーが、キーボード、マウス、リモコンなどといった入力装置によって課される制約がない仕方でコンピューティング装置１２００と対話できるようにしてもよい。むしろ、ナチュラル・ユーザー・インターフェースは音声認識、タッチおよびスタイラス認識、画面上および画面に隣接するもの両方のジェスチャー認識、エア・ジェスチャー、頭および目の追跡、声および発話、視覚、タッチ、ジェスチャー、機械知性などに依拠することができる。
【００７９】
さらに、単一システムとして図示されているものの、コンピューティング装置１２００は分散式システムであってもよいことは理解されるものとする。このように、たとえば、いくつかの装置がネットワーク接続により通信していてもよく、集団として、コンピューティング装置１２００によって実行されるものとして記述されているタスクを実行してもよい。
【００８０】
本稿に記載されるさまざまな機能はハードウェア、ソフトウェアまたはその任意の組み合わせで実装されることができる。ソフトウェアで実装される場合、それらの機能はコンピュータ可読媒体上に記憶されることができ、あるいはコンピュータ可読媒体上の一つまたは複数の命令またはコードとして伝送されることができる。コンピュータ可読媒体はコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体はコンピュータによってアクセスされることができる任意の利用可能な記憶媒体であることができる。限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROMまたは他の光ディスク記憶、磁気ディスク記憶または他の磁気記憶デバイス、あるいは命令またはデータ構造の形で所望されるプログラム・コードを記憶するために使用でき、コンピュータによってアクセスされることのできる他の任意の媒体を含むことができる。本稿で使われるところのディスク（diskまたはdisc）は、コンパクトディスク（CD）、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク（DVD）、フロッピーディスクおよびブルーレイディスク（BD）を含む。ここで、diskは通例、データを磁気的に再生し、discは通例データをレーザーを用いて光学的に再生する。さらに、伝搬される信号はコンピュータ可読記憶媒体の範囲内には含まれない。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータ・プログラムの転送を容易にする任意の媒体を含む通信媒体をも含む。たとえば接続は通信媒体であることができる。たとえば、ソフトウェアがウェブサイト、サーバーまたは他のリモート源から同軸ケーブル、光ファイバー・ケーブル、撚り線対、デジタル加入者線（DSL）または赤外線、電波およびマイクロ波のような無線技術を使って伝送される場合には、その同軸ケーブル、光ファイバー・ケーブル、撚り線対、DSLまたは赤外線、電波およびマイクロ波のような無線技術が通信媒体の定義に含まれる。上記の組み合わせもコンピュータ可読媒体の範囲内に含められるべきである。
【００８１】
代替的または追加的に、本稿に記載される機能は少なくとも部分的には一つまたは複数のハードウェア論理コンポーネントによって実行されることができる。たとえば、限定なしに、使用できるハードウェア論理コンポーネントの例示的な型は、フィールドプログラマブルゲートアレイ（FPGA）、プログラムスペシフィック集積回路（ASIC）、プログラムスペシフィックスタンダードプロダクト（ASSP）、システムオンチップのシステム（SOC）、複雑プログラマブル論理デバイス（CPLD）などを含む。
【実施例】
【００８２】
例１：プロトタイプ・システム
三つの高精細度ビデオ・プロジェクターを含むプロトタイプ・システムを構築した。各プロジェクターは、RGBカメラおよび奥行きカメラを含む奥行きユニットと対にされた。プロジェクターおよびセンサー・ユニットは、大きな部屋において互いにほぼ向き合っている二人のユーザーのまわりで表示するとともに感知する位置に取り付けられた。プロジェクター・カメラ対のうちの二つが、二人のユーザーのそれぞれの頭上約2フィートの天井に取り付けられた。これらは、ほぼ互いに向かい合い、反対側の壁および床の一部をカバーするよう配向された。一般に、各ユーザーのビューはその上方のプロジェクターによってレンダリングされる。あるユーザーのビューのための動的プロジェクション・マッピングのための表面幾何構成は、その上方のプロジェクターと一緒のセンサー・ユニットによって与えられた。一方、該ユーザーの身体追跡は反対向きのセンサー・ユニットによってサポートされた。プロジェクターおよびカメラのこの対称的な配置は、二体（dyadic）相互作用の対称的な性質に従う。第三のプロジェクター・カメラ対が下向きに天井に取り付けられた。最初の二つのプロジェクターによってカバーされる領域の間の領域をカバーするためである。
【００８３】
単一のコンピューティング装置がシステムのためのソフトウェアをホストした。該コンピューティング装置が三つのプロジェクターすべてを駆動する。すべての奥行きデータは、利用可能な三次元ゲーム生成フレームワークを使って単一のシーンにマージされた。これは部屋内のすべての感知された幾何構成および仮想オブジェクトの概観を与えたものであり、新たな対話的アプリケーションをスクリプトするために使用可能である。さらに、該フレームワークは照明、影および手続き的なテクスチャリング方法といったさまざまな表面シェーダーを含んでおり、これらはよりリアルに見える仮想オブジェクトを生成する助けになる。
【００８４】
例２：較正およびシーン・モデリング
動的プロジェクション・マッピングのために使われた各プロジェクターおよびセンサー・ユニットの姿勢、焦点距離および光学中心を決定するために較正を行なった。この情報は、各プロジェクターが順に一連のグレー符号パターンを表示するオフライン自動手順において復元された。これらのパターンが、対にされたセンサー・ユニットのカラー・カメラによって観察された。センサー・ユニットに対応する利用可能な座標マッピング関数を与えられて、このグレー符号パターンは、センサー・ユニットの座標系内の三次元点からプロジェクターの画像の対応する点への精密なマッピングを確立するために使われた。
【００８５】
各プロジェクター・センサー対の相対姿勢は、センサー・ユニットのカラー・カメラにさらに他のすべてのプロジェクターのグレー符号パターンを観察させ、他のプロジェクターが当該カメラ自身の対にされたプロジェクターと重なる領域に着目し、重なり合う領域の対応する3D点を整列させる変換を計算することによって確立された。このプロセスは、すべてのプロジェクターおよびカメラについての世界座標系を与えた。
【００８６】
物理的な環境の表面幾何構成は、センサー・ユニットにおける飛行時間奥行きカメラの使用を通じて得られた。奥行きカメラについての奥行きデータの精度は奥行きの範囲（0.5m〜4.5m）にわたってほぼ一定であった。物理的な環境の表面幾何構成は動的プロジェクション・マッピングのために使われた。
【００８７】
ユーザーの身体のような環境中の動いているオブジェクトは、部屋の静的な幾何構成とは別個に扱われた。これは、主として二つの理由により行なわれた：１）第一に、システムは、動いているオブジェクトによって普通なら隠蔽される部屋の領域に投影しうる；２）静的な幾何構成は、動的な幾何構成に対して実行するのが難しいさまざまなオフライン解析および最適化手順をサポートする。
【００８８】
例３：動的プロジェクション・マッピング
すべてのプロジェクターおよび奥行きカメラのパラメータならびに部屋の幾何構成を与えられて、部屋内の物理的なオブジェクトの表面外観を変えるグラフィックがレンダリングされることができる。これは、較正から計算されるところの、3D世界座標点からプロジェクターの画像における2D点へのマッピングを用いる単一のバーテックス・シェーダーとして実装されることができる。
【００８９】
所与のユーザーの視点から正しく見えるように仮想3Dオブジェクトをレンダリングすることは、より複雑であり、複数回パス（multi-pass）のレンダリング・プロセスとして実装された。それにより仮想オブジェクトおよび本物の物理的な幾何構成が、所望される視点から、オフスクリーンでレンダリングされた。このオフスクリーン・レンダリングは次いで、標準的な投影テクスチャリング手順において表面幾何構成およびプロジェクター・パラメータと組み合わされた。ここで、物理的な幾何構成のみがレンダリングされた。ユーザーの視点は、身体追跡によって決定される頭の位置に追随するよう設定された。
【００９０】
例４：複数ビューのサポート
二つの反対側の向かい合うプロジェクターの配置は、各プロジェクターが主としてその下に立っているユーザーに対応するビューを表示するよう選ばれた。たとえば地面の数フィート上で両ユーザーの間に配置された仮想オブジェクトは二度レンダリングされる。各ユーザーについて一度ずつである。それらのユーザーは反対方向を見るので、一方のユーザーは他方のユーザーのために意図されるグラフィックを見る可能性は低い。前記他方のユーザーのために意図されるグラフィックは前記一方のユーザーの背後の壁に、あるいは前記一方のユーザー自身の身体上に現われるからである。
【００９１】
仮想オブジェクトが両ユーザー間で地面のより近くに配置されたときは、一方のユーザーのために意図されたオブジェクトのビューが他方のユーザーによって見られた。プロトタイプでは、各ユーザーのビューは、標準的なパースペクティブ・グラフィック・カメラとしてモデル化された。各ビューの宛先とされる物理的な表面が重なり合う場合には、それらのレンダリングはブレンドされ、最終的に両方が可視になる。たとえば、同じオブジェクトの二つのビューが床上に現われた。オブジェクトが地面の上に置かれるときは、オブジェクトの二つのレンダリングは重なり合い、地面において出会った。
【００９２】
例５：対話
正しくレンダリングされた仮想3Dオブジェクトを見ることに加えて、ユーザーはそれらのオブジェクトとさまざまな仕方で対話した。身体追跡技術ならびに奥行きおよび赤外線画像から導出される低レベル特徴によってサポートされるいくつかの対話が活用された。たとえば、仮想オブジェクトに「触れること」が、追跡された手の位置またはユーザーの奥行きマップから取られた点のいずれかを仮想オブジェクトの幾何構成と交差させることによって、実装された。
【００９３】
ユーザーが仮想オブジェクトを手で保持できるようにする対話的アプリケーションが開発された。仮想オブジェクトは、手がセンサー・ユニットによって3Dで追跡される際に、その手のすぐ上の点に追随するようスクリプトされてもよい。上記のマルチビュー・レンダリングは各ユーザーのビューについて一度、オブジェクトをレンダリングした。ユーザーが自分の体の前方に手を上げている間、該ユーザーのビューは、他方のユーザーの身体にまたがる、部屋の遠くの表面における大きな投影を含んでいた。その間、第二のユーザーのビューは、第一のユーザーの胴体にわたるオブジェクトの小さな投影を含んでいた。
【００９４】
対話的アプリケーションにおいては、保持されたオブジェクトが、放すための何らかの条件を満たすことによって、落とされたりまたは投げられたりすることができる。たとえば、手の検出された速度および／または加速度が閾値を超えるときに、保持されたボールが投げられた。放す瞬間、ボールは投げる手の速度を取った。キャッチすることまたは「拾う」ことは、オブジェクトが追跡される手に十分に近かった時を試験することによって実装された。
【００９５】
仮想オブジェクトの部屋またはユーザーとの衝突を検出し、リアルな衝突応答につながるもう一つの対話的アプリケーションが開発された。プロトタイプは、部屋の静的な部分についての事前計算された衝突幾何構造を使い、動いているオブジェクトの形状を近似した。たとえば、ユーザーといくつかの球体衝突体である。プロトタイプのレンダリング・パイプラインを用いることで部屋の静的な部分にテクスチャーが適用されたが、ユーザーのような動いているオブジェクトにテクスチャーを適用することは、投影表面のリアルタイム追跡を必要とした。オプティカルフローのような低レベルの動き特徴が動いているオブジェクトにテクスチャーを適用するために使われた。リアルタイム・オプティカルフローは、センサー・ユニットの奥行きカメラによって出力される赤外線ビデオから計算された。テクスチャーの初期配置を決定し、次いでオプティカルフローによって推定される動きを使って多数のフレームにわたって表面に追随することによって、動いているオブジェクトにテクスチャーが適用された。
【００９６】
例６：仮想オブジェクトのレンダリング
動的プロジェクション・マッピングの初期デモンストレーションとして、いくつかの静的なモデルが部屋の中央にあるコーヒーテーブルの上方に配置された。これらの静的なモデルは飛行機、レーシングカーおよび地球儀を含んでいた。両方のユーザーが飛行機の良好な感覚を得た一方、地球儀はより困難だった。各ユーザーが地球儀の異なる側を見るからである。地球儀に「タッチする」または地球儀と交差することによって地球儀を回す能力がコーディングされた。
【００９７】
例７：ファイヤボール・ゲーム
仮想オブジェクトを保持してそれを投げる能力を正確に試験するために、プレーヤーが手を挙げることによって火球を呼び出す格闘スタイルのゲームを作成した。火球は手の上、数インチのところにホバーするように見えた。プレーヤーは素速く火球を相手プレーヤーに投げつけることができる。火球が壁に当たったら、衝突点において一時的に損傷がレンダリングされる。ユーザーに当たったら、負傷を示すテクスチャーがユーザーに適用された。この視覚効果は、上記のようにオプティカルフローを使ってそのプレーヤー上の投影表面を追跡し、攻撃側プレーヤーは得点を上げた。火球を放すことは、火球を保持する手の速度についての閾値を超えることによってトリガーされた。方向は、追跡された頭の位置から手を通じる射線を計算することによって決定された。少し練習することで、プレーヤーは火球を正確に方向付けることができた。
【００９８】
例８：キャッチボール
プロトタイプは、二人のユーザーが仮想テニスボールでキャッチボールをすることを許容するようコーディングされた。この経験は、ボールをキャッチする手段を加えることによって、先の例を拡張した。ボールが手に十分近ければ、それは「キャッチされた」と考えられ、手に入れられた。次いで、プレーヤーはそれを相手プレーヤーに投げることができる。プレーヤーがボールを捕れなかった場合には、ボールはユーザーまたは部屋内の他のオブジェクトと衝突した。この場合、ボールはバウンドして、物理的にもっともらしい仕方で転がった。プレーヤーがボールをキャッチする能力は、空間において仮想オブジェクトを知覚するプレーヤーの能力により直接決まった。
【００９９】
実験データ
二体投影SARシステムの有効性を鑑定するために、１）ユーザーが仮想オブジェクトを正しく知覚したかどうか；および２）ユーザーが協働者の仮想オブジェクトとの対話をどこで理解するかに焦点を当てて二つのユーザー実験を実施した。
【０１００】
第一の実験は、仮想オブジェクトの空間的な存在の感覚を伝えるための単一ユーザー単眼視点ビューの有効性を調べることに焦点を当てた。特に、第一の実験は、参加者が、投影された仮想オブジェクトを、投影表面に見えているだけではなく、空間的なものとして知覚できるかどうかを分析した。さらに、その完遂に影響する因子を分析した。第二の実験は、二人の協働者が、面と向かったシナリオにおいて、両者の間の仮想オブジェクトについて論じるときに、互いの指すことによる参照〔ポインティング参照〕（pointing  references）をどのくらいよく理解したかを定量化した。
【０１０１】
実験１：オブジェクト存在
仮想オブジェクトの存在の指標として、投影された仮想オブジェクトまでの距離およびそのサイズを評価するよう参加者に依頼した。投影された試験オブジェクトは三つの異なるサイズ（小＝10cm、中＝15cm、大＝20cmの辺）の緑の立方体であり、参加者から三つの異なる距離に仮想的に位置決めされた（近い＝1.5m、中間＝2.5m、遠く＝3.5m）。参加者の視点からは、仮想オブジェクトの画像は常に部屋の背後の壁（ユーザーから約3.75m離れている）に投影された。
【０１０２】
オブジェクトのサイズは、試験された諸距離を横断して（意図的に）きわめて混同されやすいものとしたことを注意しておく。実際、最も近い位置に投影されるとき、最小のオブジェクトは最も遠い距離での最大のオブジェクトとほぼ同じ視角を張るものだった。
【０１０３】
さまざまなサイズおよび距離に加えて、このタスクを実行するための二つの異なる条件を導入した。物理マーカーありおよびなしである。「マーカーあり」条件は、仮想オブジェクトが現われることのできる位置に正確に配置された三本の黒い棒を含み、一方、「マーカーなし」条件はこれらの棒を除去した。正しく観察されれば、仮想オブジェクトは物理マーカー上に載っているように見えるはずである。目標は、参加者に、どこでオブジェクトが物理マーカーと一緒であるかを知らせることではなく、仮想オブジェクトと比べることのできる現実世界の物理的なアンカーを与えることによって参加者を支援することである。参加者は相変わらず、三つのマーカーのうちのどれに仮想オブジェクトが取り付けられているかを判別するよう求められた。参加者が投影された仮想オブジェクトの空間的な配置を正しく理解できたという仮設（H1）に加えて、仮想オブジェクトの可能な位置をマークする物理的なオブジェクトをもつことが評価〔レーティング〕のタスクを簡単にするとの仮設が立てられた（H2）。これは、協働者の手の中に投影された仮想オブジェクトは常に、純粋に空中に配置されたオブジェクトよりも空間的であり、本物らしく思えたという観察によって動機付けられたものである。本実験における物理マーカーは、ユーザーの手に代わる制御された代理のはたらきをした。
【０１０４】
最後に、参加者は、投影表面により近い、たとえば参加者からより隔たっている、オブジェクトを評価することにおいてより正確であろうとの仮設が立てられた（H3）。そのような場合には、現実世界および仮想オブジェクトの位置はより密接に一致するからである。これは、より隔たったオブジェクトはより小さな視角をなすので見るのがより困難であるために人間はより近いオブジェクトを評価するほうが良好であるという現実世界の挙動とは逆である。
【０１０５】
各参加者はまず、システムに対する手短かな紹介を与えられ、自分の投影されるビューが示される部屋の側を向いて立つよう依頼された。参加者の正面には、短いコーヒーテーブルがあり、その上に前記三つの立方体の三つの物理的なモデルが置かれていた。それらの物理的な立方体は、投影される仮想立方体のスケールに正確に一致していた。仮想オブジェクトが見えることになる三つの可能な位置が、床の上で数字でマーク付けされた（１−近い、２−中間、３−遠い）。
【０１０６】
参加者は、各オブジェクトの（「小」「中」または「大」を示す）サイズおよび（マークされた床位置に対応する「１」「２」または「３」を示す）距離を口頭で評価するよう求められた。調整役が参加者らの評価を記録し、次の試行に進んだ。すべての参加者にわたって同じ量の刺激を保証するために、オブジェクトは正確に5秒間投影され、その後消えた。参加者は、自信があると感じたらすぐ自分の評価を与えるよう指示され、その応答時間が、オブジェクトの出現から調整役のエントリーの時間までの時間として記録された。鑑定の簡単のため、試行は条件ごとにグループ化された。物理マーカーのセットアップは時間がかかり、大きなデータセットの収集を難しくするからである。順序の効果を減らすために、サイズおよび距離試行の呈示は各条件ブロック内でランダム化され、諸条件の順序は諸ユーザーにわたって釣り合いを取られた。各条件の前に、参加者は、それぞれのサイズおよび距離の組み合わせで各オブジェクトが（上記の5秒の制限なしに）示され、研究調整役が参加者にその評価に対するフィードバックを与える練習セッションを与えられた。
【０１０７】
参加者は、最初、オブジェクトが背後の壁上の同じ物理的位置に現われるように位置された。参加者は、明示的に、判断する助けになるなら動き回ってもよいと告げられたが、床にマークされた初期位置からほぼ一歩以内に留まるよう求められた。投影が単眼的である間は、参加者は陰影、パースペクティブ、影、サイズおよび運動視差を含む他の奥行き手がかりを使うことができた。
【０１０８】
全体として、参加者は仮想オブジェクトのサイズ（70.7%）よりも距離（88.8%）を評価することに、より正確だった。距離およびサイズの両方を考えると、参加者は試行の66.5%において正しい評価を与えた。これは偶然（9通りの組み合わせのうちの1）よりも有意によい。これらの知見は、ユーザーがパースペクティブSARシナリオにおいて仮想オブジェクトを空間的存在をもつものとして知覚でき、実際に知覚するというH1仮設を支持する。
【０１０９】
全部で792回の試行のうち、サイズや距離の基礎真実から二オプション以上離れている（たとえばサイズが「大きい」を「小さい」と誤る）のは9個の評価のみだった。各カテゴリーにおいて三つの可能なオプションしか与えられていないので、これは驚くことではないが、これは事実上、参加者はターゲットどおり（「正しい」）またはターゲット一つ外れている（「正しくない」）のいずれかであったことを意味する。
【０１１０】
参加者の応答は、サイズ、距離のそれぞれならびにサイズと距離の組み合わされた評価について、二値変数（「正しい」または「正しくない」）に符号化された。そのような二値応答を与えられると、標準的な線形回帰モデルまたは分散分析（ANOVA:  analysis  of  variance）は、正規分布から引き出されるスカラー応答を前提とするので、適切ではない。ユーザーの評価の正しさの統計的な分析の適切な方法は、「反復指標ロジスティック回帰（repeated  measures  logistic  regression）」である。この場合、ロジスティック回帰は多様な因子（たとえば異なるサイズ、距離または条件）と二値帰結（「正しい」または「正しくない」）との間の相関を計算した。ロジスティック回帰のための有意性メトリックはワルド・カイ二乗（Wald  Chi-Square）（χ2）である。
【０１１１】
分析は、条件、サイズおよび距離の因子を含むモデル上で実行された。全体的な正しさ（たとえばサイズおよび距離の両方について正しい）を分析するとき、距離についての有意な効果が見出された（χ2＝11.746、df＝2、p＝0.003；p値≦0.05が統計的に有意な効果を示す）が、サイズや条件については見出されなかった。距離は評価に対する強い効果があり、「遠い」距離（3.5m離れている）は「近い」および「中間」よりも有意に正確であった。この結果は、より近いオブジェクトのほうが評価するのが簡単であるという現実世界の挙動とは逆だが、投影表面に近いほどユーザーは投影された3D仮想オブジェクトの空間的特性を正しく知覚するのが容易になるというH3仮設を確証する。実験では、「遠い」距離は、オブジェクトが投影されている背後の壁からたった25cm離れていた。
【０１１２】
参加者は物理的マーカーありの条件において（67.4%）マーカーなし（65.6%）よりも正しかったものの、条件は、統計的に有意な効果をもつとは見出されなかった。この結果は、仮設H2を確証しなかった。なぜ仮設H2が成り立たなかったのかを理解するために、これらの結果をさらに分析した。マーカーの存在は、オブジェクトが投影表面から遠く離れているとき（「近い」および「中間」距離）は参加者の評価を平均6%改善したが、実は「遠い」距離ではそのパフォーマンスに有害だった。これは、「遠い」位置では参加者が、距離を判断するのを助けるために投影壁自身という大きな物理的参照をすでに有しており、投影されるオブジェクトの前の複数の棒の存在によって単に惑わされた可能性がある。よって、仮想オブジェクトが投影表面からさらに離れるときは、物理的マーカーの存在は有益であった可能性がある。
【０１１３】
さらに、サイズ*距離の相互作用はきわめて有意な効果を有していた（χ2＝47.482、df＝4、p＜.001）。これは驚くことではない。組み合わせのいくつかは簡単に識別可能であり（たとえば、遠い距離にある小さな立方体は最小の投影されたオブジェクトであった）、いくつかはきわめて混同されやすかった（たとえば、近い位置にある中くらいの大きさの立方体は中間位置にある大きな立方体と容易に混同される）からである。
【０１１４】
応答時間は、調整役が結果をログ記録して試行を進める時間（約1秒）を含んでいた。平均応答時間は6.47sであった（標準偏差＝2.27s）。反復指標ANOVAが応答時間に対して実行され、評価分析と密接に相関していることが見出された。参加者は、より正確であるとも見出される条件に対応して、有意に、より速かった。このことは、これらの結果には、多くのターゲット狙い（targeting）実験に共通するスピードと精度のトレードオフが当てはまらないことを示している。
【０１１５】
実験２：二個組（dyad）における協働者の空間的参照の理解
参加者が、パートナーが短い棒を目のレベルに持ち上げて、参加者と調整役との間に見える16個の球のうちの一つを指すことを観察するタスクが設計された。参加者はパートナーがどの球を指していたかを言葉で示した。それらの球は4×4のグリッドに配置され、明瞭に番号付けされた。この構成では、グリッド内の球は部分的には空間における人体に、部分的にはその背後の壁に投影された。
【０１１６】
グリッド内の各球は10cmの直径であり、球は11cm（中心から中心まで）離れていた。グリッドは床の上方1.5メートルのところに浮遊していた。ターゲットのこの特定の配置は、第一の実験（上述した）において、多くの現実世界の面と向かってのタスク（たとえば二人の人が両名の間の建築モデルについて議論する）における要件を模倣するための十分な空間分解能を提供しつつ潜在的に混同されやすいほど十分に密であることが見出されたものである。ライフルのようなねらいをつけるジェスチャーによるターゲット狙い（targeting）は自然な指す様式ではないが、個々人のねらいをつけるスタイルの曖昧さを回避するためにこの姿勢が選ばれた。
【０１１７】
ターゲット狙いのパフォーマンスを複数の条件の間で比較するのではなく、この実験は、参加者がパートナーの参照を理解する全体的な正確さを定量化するために設計された。よって、その推定における誤差（メートル単位）が、示した球から実際のターゲットとされた球までの距離として測定された。
【０１１８】
第一の実験からの参加者の同じグループがこの実験に参加した。各参加者は第一の実験と同じ位置に立った。その協働者は部屋の反対側に立った（約2.5m離れている）。実験開始時に、協働者は、グリッドにおける特定の番号を付されたボールを指すようシステムによってサイレントに促された。次いで、参加者は、どの球を協働者が指していたと思うかを言葉で示した。試行には時間制限がなかったが、参加者は、自分の評価に自信があると感じたらすぐに応答するよう指示された。研究調整役の一人がその応答を記入して試行を終結した。協働者は各試行の間で中立姿勢（ターゲットを狙っていない）に戻った。実験を行なう前に、各参加者は15回の練習試行のセットを与えられ、その間に、自分のパフォーマンスについてのフィードバックを与えられた。ターゲット球の呈示の順序はランダム化され、各参加者は、各球条件について二つの評価を与え、全部で32個の評価となった。
【０１１９】
参加者たちは、合計352回の試行のうち54.5%において正しいターゲットを特定した。これは偶然（16分の1）より有意に高く、選択されたターゲットと真のターゲットとの間の距離を考えると感心させられる。すべての試行にわたって平均すると、この空間誤差は0.056m（標準偏差＝0.063m）であって。この低い値は、参加者が正しくないターゲットを選択したときは直近の隣接ターゲットの一つを示した場合が圧倒的に多かったことを示している（ターゲット自身は0.11m離れていた）。誤差は一様分布ではなかった。たとえば、右下のターゲットは、右上コーナーのターゲットに比べて二倍より大きな誤差を示した。
【０１２０】
二つの隣接するターゲット球をターゲットとして狙うことにおける角度差は約4.5°であった。参加者がターゲット参照を12cm半径以内で言い当てることができたことには感心させられる。そのことは、本プロトタイプ・システムが、相互の空間的理解を可能にする仕方で、二人の妨げられないユーザーの間に仮想情報を呈示することができることの証拠を与える。
【０１２１】
上記されたことは、一つまたは複数の実施形態の例を含む。もちろん、上述した諸側面を記述する目的のための上記の装置または方法論のあらゆる考えられる修正および変更を記述することは不可能であるが、当業者は、さまざまな側面の多くのさらなる修正および置換が可能であることを認識できる。よって、記載された諸側面は、付属の請求項の精神および範囲内にはいるすべての変更、修正および変形を包含することが意図されている。さらに、用語「含む」が詳細な説明または請求項において使われる限りにおいて、そのような用語は、請求項における移行語として用いられるときに用語「有する」が解釈されるのと同様の仕方で、包含的であることが意図されている。
【図１】
2017538990.tif 000003
【図２】
2017538990.tif 000004
【図３】
2017538990.tif 000005
【図４】
2017538990.tif 000006
【図５】
2017538990.tif 000007
【図６】
2017538990.tif 000008
【図７】
2017538990.tif 000009
【図８】
2017538990.tif 000010
【図９】
2017538990.tif 000011
【図１０】
2017538990.tif 000012
【図１１】
2017538990.tif 000013
【図１２】
2017538990.tif 000014
【国際調査報告】
2017538990.tif 000015
2017538990.tif 000016
2017538990.tif 000017