(57)【要約】カメラが、作業空間内に位置する物理的なオブジェクトを識別する。ディスプレイは、第１のディジタル情報を前記作業空間内に表示する。レイヤリングモジュールは、前記物理的なオブジェクトを前記作業空間内の第１のレイヤとして扱い、前記第１のディジタル情報を前記作業空間内の第２のレイヤとして扱う。コントローラは、前記第１のディジタル情報の表示を介して前記第１のレイヤ及び前記第２のレイヤの視覚的な隣接性を制御する。【選択図】図１
2014527643.tif 000002
【特許請求の範囲】
【請求項１】
作業空間内に位置する物理的なオブジェクトを識別するためのカメラと、
該作業空間内に第１のディジタル情報を表示するためのディスプレイと、
前記物理的なオブジェクトを前記作業空間内の第１のレイヤとして扱うため及び前記第１のディジタル情報を該作業空間内の第２のレイヤとして扱うためのレイヤリングモジュールと、
前記第１のディジタル情報の表示を介して前記第１のレイヤ及び前記第２のレイヤの視覚的な順序を制御するためのコントローラと
を備えているシステム。
【請求項２】
前記カメラが、赤外線カメラ又は可視光カメラの少なくとも一方である、請求項１に記載のシステム。
【請求項３】
前記コントローラが更に、前記第１のディジタル情報に対する前記物理的なオブジェクトの位置の変化に応じて、前記第１のレイヤと前記第２のレイヤとの間の既存の視覚的な順序を維持するように、前記第１のディジタル情報の表示を変更する、請求項１に記載のシステム。
【請求項４】
ユーザ入力を受信するためのユーザ入力モジュールを更に備えており、
前記コントローラが、前記第１のレイヤ及び前記第２のレイヤの視覚的な順序を変更するよう前記第１のディジタル情報の表示を変更する、
請求項１に記載のシステム。
【請求項５】
前記ディスプレイが、前記作業空間内に第２のディジタル情報を表示し、
前記レイヤリングモジュールが、該第２のディジタル情報を前記作業空間内の第３のレイヤとして扱い、
前記コントローラが、前記第１のレイヤ、前記第２のレイヤ、及び前記第３のレイヤの間の視覚的な順序を変更するよう前記第１のディジタル情報及び前記第２のディジタル情報の表示を制御する、
請求項１に記載のシステム。
【請求項６】
前記ディスプレイがディジタルプロジェクタである、請求項１に記載のシステム。
【請求項７】
複数の命令を記憶したコンピュータ読み取り可能記憶媒体であって、該命令がその実行時に、
作業空間内に位置する物理的なオブジェクトを識別し、
該物理的なオブジェクトを第１のレイヤに関連付けし、
ディジタル情報を第２のレイヤとして前記作業空間内に表示し、
前記第１のレイヤと前記第２のレイヤとの間の視覚的な隣接性を変更する、
という各ステップをコンピュータに行わせるものである、コンピュータ読み取り可能記憶媒体。
【請求項８】
前記表示されたディジタル情報に対する前記物理的なオブジェクトの位置の変化に応じて前記第１のレイヤと前記第２のレイヤとの間の既存の視覚的な隣接性を維持するステップをコンピュータに行わせる命令を更に含む、請求項７に記載のコンピュータ読み取り可能記憶媒体。
【請求項９】
更なるディジタル情報を第３のレイヤとして前記作業空間内に表示し、及び、前記第１のレイヤ、前記第２のレイヤ、及び前記第３のレイヤの間の視覚的な隣接性を変更する、という各ステップをコンピュータに行わせる命令を更に含む、請求項７に記載のコンピュータ読み取り可能記憶媒体。
【請求項１０】
作業空間内に位置する物理的なオブジェクトを識別し、
該物理的なオブジェクトを第１のレイヤに関連付けし、
ディジタル情報を第２のレイヤとして前記作業空間内に投影し、
前記第１のレイヤと前記第２のレイヤとの間の視覚的な隣接性を変更する、
という各ステップからなる、プロジェクタカメラシステムのための方法。
【請求項１１】
前記物理的なオブジェクトが赤外線検知を介して識別される、請求項１０に記載の方法。
【請求項１２】
前記ディジタル情報がディジタルイメージ又はディジタルビデオフィードからなる、請求項１０に記載の方法。
【請求項１３】
前記投影されたディジタル情報に対する前記物理的なオブジェクトの位置の変化に応じて前記第１のレイヤと前記第２のレイヤとの間の既存の視覚的な隣接性を維持するステップを更に含む、請求項１０に記載の方法。
【請求項１４】
前記視覚的な隣接性を変更する前記ステップが、
ユーザ入力を受信し、
該ユーザ入力に応じて前記第１のレイヤ及び前記第２のレイヤの視覚的な隣接性を変更する、
という各ステップからなる、請求項１０に記載の方法。
【請求項１５】
更なるディジタル情報を第３のレイヤとして前記作業空間内に投影し、及び、前記第１のレイヤ、前記第２のレイヤ、及び前記第３のレイヤの間の視覚的な隣接性を変更する、という各ステップを更に含む、請求項１０に記載の方法。
【発明の詳細な説明】
【背景技術】
【０００１】
ディジタル情報の共有及び該ディジタル情報に基づく協働は、次第に一般的なものとなりつつある。入力装置はディジタル情報（例えばコンピューティング装置、ディジタルカメラ、スキャナ装置等によるユーザ入力）を捕捉する。出力装置はユーザ又はユーザグループによる消費のためにディジタル情報を出力する。出力装置は、ディジタルディスプレイ、又はディスプレイスクリーン上もしくは作業空間内にディジタル情報を表示するディジタルプロジェクタを含むことが可能である。
【図面の簡単な説明】
【０００２】
【図１】様々な実施形態によるシステムを示すブロック図である。
【図２】様々な実施形態によるシステムを示す外観の斜視図である。
【図３】様々な実施形態によるシステムにおける論理レイヤを示す斜視図である。
【図４】様々な実施形態によるシステムにおけるレイヤ状態を示すブロック図である。
【図５】様々な実施形態によるシステムにおける動作のフローチャートである。
【図６】様々な実施形態によるシステムにおける動作のフローチャートである。
【発明を実施するための形態】
【０００３】
以下の説明は、本発明の実施形態を例示すべく提示する複数の図面に関する説明を含む。それら図面は、例示を目的とするものであって制限として解釈すべきものではない。本書で用いる場合、１つ以上の「実施形態」に対する言及は、本発明の少なくとも１つの実施形態に含まれる特定の機能、構造、又は特徴を説明するものとして理解されるべきである。このため、本書中で現れる「一実施形態では」又は「代替的な実施形態では」といった表現は、本発明の様々な実施形態及び実施態様を説明するものであり、その全てが同一の実施形態を意味する必要はない。しかし、それら実施形態は、必ずしも互いに排他的なものである必要はない。
【０００４】
本書で説明する実施形態は、プロジェクションキャプチャシステムに関するものである。同一の作業空間内でプロジェクション、キャプチャ、及びユーザ入力制御を同時に組み合わせることにより、ミクストリアリティ（Mixed Reality）の（例えば、物理的及び仮想的な）協働が容易となる。例えば、仮想的なオブジェクトは、ユーザのコンピュータ上のファイル（例えば、電子的なプレゼンテーション用スライド、電子的な文書、ディジタル写真など）とすることが可能である。物理的なオブジェクトは、２次元オブジェクト（例えば、写真、文書など）又は３次元オブジェクト（例えば、模型、小型装置など）とすることが可能である。本書で説明するように、物理的なオブジェクト及び仮想的なオブジェクトは、視覚的に置換可能な「レイヤ」として取り扱われる。本書で説明するように、かかるレイヤは、論理的なレイヤを表すものであり、これにより、１つのレイヤ（例えば物理的なオブジェクト又は一組のディジタル情報）がもう１つのレイヤ上に位置する外観を有するように、本書で説明するシステム及び装置が作業空間環境を制御することを可能となる。異なる場所にいる複数のユーザが別個のプロジェクションキャプチャシステムを介して協働する協働環境では、各ユーザは、ローカルオブジェクトとリモートオブジェクト（物理的及び仮想的なもの）の両方を見て対話することが可能である。これは、各システムのカメラがライブ（例えばビデオ）フィードをその投影のために他の場所に送信するからである。
【０００５】
図１は、様々な実施形態によるシステムを示すブロック図である。図１は、様々な実施形態による特定の構成要素及びモジュール等を含む。しかし、別の実施形態では、より多数の、より少数の、及び／又は他の、構成要素、モジュール、及び該構成要素／モジュールの組み合わせを、本書で説明する教示に従って使用することが可能である。更に、本書で説明する様々な構成要素及びモジュール等は、１つ以上のソフトウェアモジュール、ハードウェアモジュール、専用ハードウェア（例えば、特定用途向けハードウェア、特定用途向け集積回路（ASIC）、埋込型コントローラ、ハードワイヤード回路など）、又はそれらの幾つかの組み合わせとして実施することが可能である。図１に示す様々なモジュール及び／又は構成要素は、本書で説明する操作及び機能を実行するためにプロセッサにより実行され及びメモリに格納される命令を含むコンピュータ読み取り可能記憶媒体として実施することが可能である。
【０００６】
システム100は、カメラ110、ディスプレイ120、レイヤリングモジュール130、及びコントローラ140を含む。カメラ110、ディスプレイ120、及びレイヤリングモジュール130は、コントローラ140に動作可能な状態で接続されて、作業空間内の複数のレイヤ間の視覚的な隣接性の変更を容易にする。一実施形態では、ディスプレイ120は、作業表面上にマップを表示する。ディスプレイ120は、作業表面上に配置されたディスプレイスクリーンとすることが可能であり、又はディジタルプロジェクションにより作業表面上に情報を表示するディジタルプロジェクタとすることが可能である。更に、カメラ110は、該作業表面上に配置された物理的なオブジェクト（例えば、家又はビルの模型）を検出する。カメラ110は、可視光カメラ（例えば、ディジタルイメージカメラ、ディジタルビデオカメラ等）又は赤外線（IR）カメラとすることが可能である。
【０００７】
レイヤリングモジュール130は、前記物理的なオブジェクトを１つの視覚的なレイヤに関連付けし、及び投影されたマップを別の視覚的なレイヤに関連付けする。様々なレイヤについての状態情報を維持することにより、コントローラ140は、それらのレイヤの視覚的な隣接性を制御することが可能である。換言すれば、１つのレイヤは、別のレイヤの「上にある」ものとして最初に現れることが可能であるが、コントローラ140は、その視覚的な隣接性を、その「下の」レイヤが視覚的に「上の」レイヤとなるように変更することが可能である。
【０００８】
図２及び図３は、様々な実施形態によるシステムの外観を示す斜視図である。図２及び図３は、様々な実施形態による特定の構成要素及びモジュール等を含む。しかし、別の実施形態では、本書で説明する教示に従って、より少数の及び／又は他の構成要素、モジュール、及び該構成要素／モジュールの組み合わせ等を使用することが可能である。更に、本書で説明する様々な構成要素及びモジュール等は、１つ以上のソフトウェアモジュール、ハードウェアモジュール、専用ハードウェア（例えば、特定用途向けハードウェア、特定用途向け集積回路（ASIC）、埋込型コントローラ、ハードワイヤード回路等）、又はそれらの幾つかの組み合わせとして実施することが可能である。
【０００９】
システム200は、上部210及び基部220を含む。基部220は、赤外線（IR）カメラ224を含み、及びその他の構成要素（例えば、プロセッサ、メモリ、レイヤリングモジュール、及びコントローラ等）を収容する。プロジェクタ222は、任意の適当な光投影装置（例えば、LED(Laser Emitting Diode)及びDLP（Digital Light Processing）プロジェクションを含むもの）とすることが可能である（但しそれらには限定されない）。様々な実施形態では、プロジェクタ222は、上部210に向かってディジタル情報を投影し、該上部210においてミラーが該投影を作業表面230上へと反射する。IRカメラ224は、作業表面230上に位置する物理的なオブジェクトの位置を検出する。
【００１０】
プロジェクタ222は、ディジタル情報のプロジェクション250（例えば複数のライン）を作業表面230上に投影する。オブジェクト260は、作業表面230上に配置された物理的なオブジェクトである。IRカメラ224は、該オブジェクト260の位置を検出する。レイヤリングモジュール（例えば、レイヤリングモジュール130）は、プロジェクション250を１つの論理的なレイヤに関連付けし、及びオブジェクト260を別の論理的なレイヤに関連付けする。図２に示すように、オブジェクト260は、プロジェクション250の「上に」位置するように現れる。換言すれば、オブジェクト260はフォアグランドレイヤとなるように現れ、プロジェクション250はバックグランドレイヤとなるように現れる。
【００１１】
図３は、上述した論理的なレイヤを示している。レイヤ310は、作業表面230を表している。レイヤ320は、プロジェクション250を表し、この例ではレイヤ310の上にある。レイヤ330は、オブジェクト260を表し、この例ではレイヤ320の上にある。オブジェクト及びディジタル的に投影された情報が論理的なレイヤに関連付けされると、レイヤリングモジュールが、該レイヤの視覚的な順序に関する状態情報を維持する。
【００１２】
システム200はまた、ユーザが該システム200と対話することを可能にするユーザ入力装置240を含む。様々な実施形態では、ユーザ入力（UI）装置240は、作業空間230内における該UI装置240の位置を検出するための赤外線ディジタルスタイラス及び／又は赤外線カメラを含む。任意の適当なUI装置を使用することが可能であるが、ディジタルスタイラスは、検知用パッド又はその他の特別な表面を伴うことなく作業空間230の表面に沿った入力を含む３次元での入力を可能にするという利点を有するものである。このため、システム200は、様々な作業表面で使用することが可能である。
【００１３】
UI装置240又はその他の入力機構から受信したユーザ入力は、作業空間230内の各レイヤの視覚的な隣接性を変更するための要求を指示することが可能である。例えば、UI装置240でオブジェクト260に触れることにより、オブジェクト260をフォアグランドレイヤにしてプロジェクション250をバックグランドレイヤにするための要求を指示することが可能である。作業空間230の表面に触れることにより、プロジェクション250をフォアグランドレイヤにしてオブジェクト260をバックグランドレイヤにするための要求を指示することが可能である。システム200は、この入力及びレイヤリングモジュールからの状態情報を使用して各レイヤの視覚的な順序が変更される（例えば、フォアグランドレイヤ及びバックグランドレイヤが交換される）ようにプロジェクタ222からのプロジェクションを変更することが可能である。
【００１４】
図４は、プロジェクションキャプチャシステムにおける各レイヤ（現実及び仮想）の状態の変化を示すブロック図である。説明の目的上、オブジェクトが配置されディジタル情報が投影される作業空間の表面をレイヤL0とみなす。このため、レイヤL1は、レイヤL0と視覚的に隣接する（例えばレイヤL0上にある）ことになり、及びレイヤL2は、レイヤL1と視覚的に隣接する（例えばレイヤL1上にある）ことになる。図示のように、状態410は、レイヤL1に関連付けされた物理的なオブジェクト（例えば、マップ、文書、その他の２次元又は３次元オブジェクトなど）を含む。換言すれば、該物理オブジェクトは、レイヤL0に視覚的に隣接する。ディジタル情報のプロジェクション（例えば、イメージ、文書など）は、最初はレイヤL2に関連付けされてレイヤL1に視覚的に隣接する。このため、状態410では、ディジタル情報のプロジェクションは、物理的なオブジェクトの「上に」あるものとして該システムのユーザに対して視覚的に現れる。
【００１５】
レイヤの視覚的隣接性を変更するためのユーザ入力又はその他の制御信号に応じて、該システムのレイヤリングモジュールは、レイヤの関連付けを状態410から状態420へと変更する。状態420では、物理的なオブジェクトはレイヤL2となり、ディジタル情報のプロジェクションはレイヤL1となる。物理的なオブジェクトの視覚的な外観をプロジェクションの「上になる」よう生成するために、該システムは、単純に、作業空間内へのディジタル情報の投影を中止することが可能である。
【００１６】
状態412は、最初にレイヤL1に関連付けされたディジタル情報（例えば、マップ、文書、イメージなど）のプロジェクションを含む。換言すれば、該プロジェクションは、レイヤL0に視覚的に隣接する。物理的なオブジェクト（例えば、２次元又は３次元）は、最初にレイヤL2に関連付けされてレイヤL1に視覚的に隣接する。該プロジェクションの「上に」ある物理的なオブジェクトの視覚的な外観を達成するために、該システムは、該物理的なオブジェクトの座標に対応するディジタル情報（例えば、マップ又はイメージデータなど）を該プロジェクションから除外することが可能である。例えば、該システムは、物理的なオブジェクトが配置された位置で空白を投影する一方、作業空間内の他の位置でオリジナルのディジタル情報（例えば、マップ又はイメージデータなど）をそのまま投影することが可能である。代替的には、該システムは、物理的なオブジェクトのディジタルイメージを（例えば、該物理的なオブジェクトの真上から）キャプチャして、該イメージを、（空白を投影する代わりに）該物理的なオブジェクトが配置されている位置に投影することが可能である。何れの実施形態も、物理的なオブジェクトの外観が、投影されたディジタル情報の「上に」位置する、という効果を有するものである。
【００１７】
各レイヤの視覚的な隣接性を変更するためのユーザ入力又はその他の制御信号に応じて、該システムのレイヤリングモジュールは、レイヤの関連付けを状態412から状態422へと変更する。状態422では、物理的なオブジェクトはレイヤL1となり、ディジタル情報のプロジェクションはレイヤL2となる。投影されたディジタル情報の視覚的な外観を物理的なオブジェクトの「上に」なるよう生成するために、該システムは、単純に、物理的なオブジェクトが配置されている位置を含む作業空間内にディジタル情報の全てを投影することが可能である。
【００１８】
バーチャルコラボレーション（仮想的な協働）のために遠隔地で多数のプロジェクションキャプチャシステムを使用することが可能である、ということに留意されたい。図４に示す状態は、かかるコラボレーションの一例を示したものである。第１の場所にいるユーザは、状態410に従う物理的なオブジェクト及びプロジェクションを有することが可能である。同時に、第２の場所にいるユーザは、状態412に従う物理的なオブジェクト及びプロジェクションを有することが可能である。換言すれば、状態410により表されるシステムは、物理的なオブジェクトのディジタルイメージをキャプチャして、該ディジタルイメージを協働するシステムへ送信することが可能であり、この場合、該ディジタルイメージは、状態412に従って投影される。同様に、第２の場所にいるユーザは、状態412に従う物理的なオブジェクトを有する。この物理的なオブジェクトもまた、ディジタル的にキャプチャされて他のシステムへ送信され、状態410でプロジェクションとして表示される。このようにして、異なる場所にいるシステムのユーザは、現実的なオブジェクト及び仮想的なオブジェクトの両方を使用して協働することが可能である。
【００１９】
図５は、様々な実施形態によるシステムにおける動作のフローチャートである。図５は、特定の実施形態による特定の操作及び実行順を含む。しかし、異なる実施形態では、他の操作、本開示の操作の１つ以上の省略、及び／又は他の実行順序による手順を本開示の教示に従って使用することも可能である。
【００２０】
システムは、作業空間内の物理的なオブジェクトを識別する（ステップ510）。該物理的なオブジェクトは、２次元又は３次元のものとすることが可能である。該オブジェクトは、カメラ（例えば、赤外線、ディジタルイメージキャプチャ、ディジタルビデオなど）により識別することが可能である。様々な実施形態において、該識別は、作業空間内のオブジェクトの位置（例えば座標）の判定を含む。レイヤリングモジュールは、物理的なオブジェクトを第１のレイヤに関連付けする（ステップ520）。該システムはまた、ディジタル情報（例えばイメージ）を第２のレイヤとして作業空間内に表示する（例えば投影する）（ステップ530）。この場合も、該レイヤリングモジュールが、投影された情報と第２のレイヤとの間の関連付けを維持する。
【００２１】
該システムは、おそらくは、ユーザ入力に応じて、第１のレイヤと第２のレイヤとの間の視覚的な隣接性を変更する（ステップ540）。例えば、第１のレイヤは、最初に作業空間の表面に視覚的に隣接する（例えば該表面の「上に」現れる）ことが可能である。第２のレイヤは、最初に該第１のレイヤに視覚的に隣接する（例えば該第１のレイヤの「上に」現れる）ことが可能である。ユーザ要求またはその他の制御信号に応じて、該システムは、それらレイヤの視覚的な順序を入れ替える。このため、第２のレイヤが、作業空間の表面に視覚的に隣接するようになる一方、第１のレイヤが、該第２のレイヤに視覚的に隣接するようになる。
【００２２】
図６は、様々な実施形態によるシステムにおける動作のフローチャートである。図６は、特定の実施形態による特定の操作及び実行順を含む。しかし、異なる実施形態では、他の操作、本開示の操作の１つ以上の省略、及び／又は他の実行順序による手順を本開示の教示に従って使用することも可能である。
【００２３】
プロジェクションキャプチャシステムは、作業空間内の物理的なオブジェクトを識別する（ステップ610）。この場合も、該物理的なオブジェクトは、２次元又は３次元のものとすることが可能である。該オブジェクトは、カメラ（例えば、赤外線、ディジタルイメージキャプチャ、ディジタルビデオなど）により識別することが可能である。システムのレイヤリングモジュールは、物理的なオブジェクトを第１のレイヤに関連付けする（ステップ620）。該システムはまた、ディジタル情報（例えばイメージ）を第２のレイヤとして作業空間内に表示する（例えば投影する）（ステップ630）。この場合も、該レイヤリングモジュールが、投影された情報と第２のレイヤとの間の関連付けを維持する。
【００２４】
該システムは、物理的なオブジェクトの位置の変化を検出する（ステップ640）。例えば、該システムは、物理的なオブジェクトの位置を検出するために、赤外線カメラ又は可視光カメラ（例えば、ディジタルスチルカメラ又はディジタルビデオカメラ）を含むことが可能である。物理的なオブジェクトの位置の変化の検出に応じて、該システムは、第１のレイヤと第２のレイヤとの間の視覚的な隣接性を維持する（ステップ650）。例えば、作業空間が４象限へと論理的に分割される場合に、物理的なオブジェクトは、第１象限を占有するものとして最初に検出され得る。（１つのレイヤに関連付けされた）該物理的なオブジェクトが（それとは異なるレイヤに関連付けされた）投影されたディジタル情報の「上に」最初に視覚的に存在する場合には、該システムは、それらレイヤの視覚的な順序と一致して第１象限に位置することになるディジタル情報の投影をやめることが可能である。しかし、第１象限から第２象限への物理的なオブジェクトの移動の検出に応じて、該システムは、第１象限に関連付けされたディジタル情報を投影すると共に、第２象限に関連付けされたディジタル情報をプロジェクションから除外し、これにより物理的なオブジェクトが投影されたディジタル情報の「上に」ある外観が維持される。
【００２５】
本書で開示する実施形態では、方法及びシステムは、第１のレイヤ及び第２のレイヤの視覚的な隣接性を管理する。本書で開示する方法及びシステムは、３つ以上のレイヤへと容易に拡張させることが可能である。例えば、投影されたディジタル情報の更なる複数のレイヤをプロジェクションキャプチャシステムにより管理することが可能である。また、更なる複数の物理的なオブジェクトをそれぞれ別個のレイヤに関連付けすることが可能である。これら多数の物理的なレイヤ及び投影されたレイヤ間の視覚的な隣接性は、本開示の実施形態に従って管理することが可能である。
【００２６】
本開示の実施例及び本発明の実施形態に対して本発明の範囲から逸脱することなく様々な修正を加えることが可能である。このため、本開示の実例及び実施形態は、本発明の例示であって制限的な意味を有するものではないものと解釈されるべきである。
【図１】
2014527643.tif 000003
【図２】
2014527643.tif 000004
【図３】
2014527643.tif 000005
【図４】
2014527643.tif 000006
【図５】
2014527643.tif 000007
【図６】
2014527643.tif 000008
【国際調査報告】
2014527643.tif 000009
2014527643.tif 000010