コントローラと、前記コントローラに動作可能に接続された、作業空間内の物体の静止画像およびビデオ画像を取り込むための作業空間カメラと、前記コントローラに動作可能に接続されたプロジェクタとを備え、前記コントローラは、前記作業空間カメラおよび前記プロジェクタを制御して、前記作業空間内の実物体の像が取り込まれ、前記物体像が前記作業空間の中に投影されるように構成される投影取込システム。前記コントローラは、前記プロジェクタを制御して、前記物体像が前記実物体の1対1比率のデジタル複写物として前記作業空間の中に投影されるように構成される請求項1に記載のシステム。前記コントローラは、前記プロジェクタを制御して、前記物体像が前記作業空間の中の、前記物体像が取り込まれたときに前記実物体が占めていたのと同じ位置に投影されるように構成される請求項2に記載のシステム。前記コントローラ、前記カメラ、前記プロジェクタが、単一の携帯型ユニットとして一緒に収容される請求項1に記載のシステム。前記コントローラに動作可能に接続された、前記作業空間内の実物体を前記作業空間の中に投影された物体像と区別するための物体認識デバイスをさらに備える請求項1に記載のシステム。前記コントローラが、前記カメラおよび前記プロジェクタを制御して、前記物体像が前記作業空間内で変更されているときに前記物体像の画像が取り込まれ、かつ前記変更された物体像が前記作業空間の中に投影されるように構成される請求項1に記載のシステム。前記投影取込デバイスの外部デバイスからデジタル情報を受け取り、また外部デバイスへデジタル情報を送出できる、コントローラと動作可能に接続された入出力部と、ビデオおよび音声情報を外部デバイスに送出するための、および外部デバイスからビデオおよび音声情報を受け取るための前記入出力部とそれぞれ動作可能に接続されたビデオ会議カメラ、マイクロフォンおよびスピーカとをさらに備える請求項1に記載のシステム。前記コントローラ、前記カメラ、前記プロジェクタ、前記入出力部、前記マイクロフォン、および前記スピーカが、単一の携帯型ユニットとして一緒に収容される請求項7に記載のシステム。実行されたときに、カメラが第1の作業空間内の実物体の像を取り込むことになり、プロジェクタが、前記第1の作業空間の中に前記物体像を前記実物体の1対1比率のデジタル複写物として投影することになるプログラムを含むプロセッサ実行可能媒体。実行されたときに、前記プロジェクタが前記物体像を前記第1の作業空間の中の、前記物体像が取り込まれたときに前記実物体が占めていたのと同じ位置に投影することになるプログラムを含む請求項9に記載の媒体。実行されたときに、複数のプロジェクタのそれぞれが前記物体像を、前記第1の作業空間を含む複数の作業空間のそれぞれの中に同時に投影することになるプログラムを含む請求項9に記載の媒体。実行されたときに、前記複数の作業空間のうちの1つ以上において前記物体像を変更することが可能になり、複数のプロジェクタのそれぞれが、変更された物体像を、前記第1の作業空間を含む複数の作業空間のそれぞれの中に同時に投影することになるプログラムを含む請求項11に記載の媒体。第1の作業空間内の実物体のデジタル画像を取り込むステップと、前記第1の作業空間を含む複数の作業空間の中に前記物体像を同時に投影するステップと、変更された物体像のデジタル画像を、それが前記作業空間のうちの1つで変更されているときに取り込むステップと、前記変更された物体像を、前記第1の作業空間を含む複数の作業空間の中に同時に投影するステップとを含む作業空間共同作業方法。前記物体像を複数の作業空間の中に同時に投影するステップが、前記物体像を前記第1の作業空間の中の前記実物体の上に投影するステップを含む請求項13に記載の方法。前記物体像を複数の作業空間の中に投影するステップが、前記実物体の1対1比率のデジタル複写物の像を前記複数の作業空間の中に投影するステップを含む請求項13に記載の方法。本発明は、隔のユーザが情報を複数の場所で同時に共有および操作することを可能にすることを目的とする。同じ部品番号は、すべての図にわたって同じまたは類似の部品を示す。図に示され以下で説明される例は、この発明を実施するための形態に続く特許請求の範囲で定義される本発明を説明するものであるが、限定するものではない。新規の投影取込システムが、物理的作業面上で実物体および仮想物体を用いて作業する対話型ユーザ体験を改善するために、また複数の遠隔ユーザ間の仮想共同作業を改善するために開発されてきた。この新規システムは、例えば、普通の作業面上に配置される1つまたは複数の独立型携帯デバイスとして実施することができる。デジタルカメラ、プロジェクタ、および制御プログラムが一緒にデスクトップユニット内に収容され、このユニットにより、実物体および投影/仮想物体を複数の遠隔ユーザ間で同時に操作および共有できる投影強化仮想現実が可能になる。このような携帯型デバイスは、大規模の企業ビジネス環境に適しているだけでなく小規模のビジネスにも、また個人消費者にさえも適した比較的安価なプラットフォーム全体にわたって、対話型共同作業のためにほとんどいつどこにでも配置することができる。本明細書では、実物体とは、画像として表示、投影、またはそれ以外で描写されない物体を意味し、仮想物体とは、画像として表示、投影、またはそれ以外で描写される物体を意味する。まず図1~19を参照して、新規の投影取込システムおよび携帯型投影取込デバイスの例を説明する。次に図20~28を参照して、共同作業環境における新規の投影取込システムおよびデバイスの実施の例を説明する。投影取込システムおよびデバイス図1Aおよび図1Bは、新規の投影取込システム10の一例、およびシステム10に付随する対話型作業空間を示す斜視外部図である。図2は、外部筐体13が取り除かれた投影取込システム10の一例を示す斜視図である。図3は、図2に示されたシステム10のブロック図である。図1A、1B、2および3を参照すると、投影取込システム10は、デジタルカメラ14、プロジェクタ16、およびコントローラ18を含む。カメラ14が作業空間12内の物体20の像を取り込むために、またプロジェクタ16が物体像22を作業空間12の中に投影するために、またいくつかの例では、カメラ14が投影物体像22の像を取り込むために、カメラ14およびプロジェクタ16はコントローラ18に動作可能に接続される。筐体13の下方部分は、透明窓21をプロジェクタ16および赤外線カメラ30の上に含む。図1Aに示された例では、作業空間12内の作業面24の上に置かれた2次元物体20ハードコピー写真がカメラ14図2によって撮影され、物体20が作業空間12の側方に移動されており、また物体像22が、これをカメラ14図2によって撮影および/または別の方法でユーザが操作し、作業空間12の中に再投影することができる作業面24の上に投影されている。図1Bに示された例では、作業面24の上に置かれた3次元物体20立方体がカメラ14図2によって撮影され、物体20が作業空間12の側方に移動されており、また物体像22が、これをカメラ12によって撮影および/または別の方法でユーザが操作し、作業空間12の中に再投影することができる作業空間12の中に投影されている。システム10の1つの例示的実施態様では、物体20の像がカメラ14によって取り込まれたときの物体20の位置と同じ作業空間24内の位置に物体像22を投影するように、コントローラ18がプログラムされ、プロジェクタ16が構成される。したがって、物体20の1対1比率のデジタル複写物22をその原物の上に投影して、ローカルユーザ、または同じ投影作業空間12で共同作業する複数の遠隔ユーザが、要望通りにデジタル複写物をその場所で操作、移動、およびそれ以外に変更することを可能にすることができる。投影像はまた、原物から遠ざけるように移動させて、同一の作業空間12でユーザが原物と複写物を一緒に用いて作業することを可能にすることもできる。システム10はまた、ユーザがシステム10と対話することを可能にするユーザ入力デバイス26を含む。ユーザは、入力デバイス26を介して作業空間12内の物体20および/または物体像22と対話することができ、物体像22は、共同作業ユーザ対話のために遠隔システム10上の別の作業空間12図示せずに送信することができ、また必要に応じて物体像22は、さらなるユーザ対話のために、カメラ14によって撮影して近くの、および/または遠隔の作業空間12の中に再投影することもできる。図1Aでは、作業面24は、机上の一部、または下にある他の支持構造物23の一部である。図1Bでは、作業面24は、タッチセンス領域を含むことができる携帯マット25の上にある。図1Aでは、例えば、ユーザ制御パネル27が作業面24上に投影されているのに対し、図1Bでは、制御パネル27は、マット25のタッチセンス領域に埋め込まれていてよい。同様に、A4、手紙または他の標準サイズ文書配置領域29が、図1Aの作業面24の上に投影されても、図1Bのマット25に印刷されてもよい。もちろん、作業面24の他の構成も可能である。例えば、システム10のいくつかの用途では、作業面24の色、テクスチャまたは他の特性を制御するために別の空白マット25を使用することが望ましいことがあり、したがって制御パネル27および文書配置領域29は、図1Aの机上23に投影されるのと全く同様に、図1Bの空白マット25の上に投影されてもよい。図4に示された例では、ユーザ入力デバイス26は、赤外線デジタルスタイラス28と、作業空間12内のスタイラス28を検出する赤外線カメラ30とを含む。適切などんなユーザ入力デバイスも使用することができるが、デジタルスタイラスには、作業面24に沿って入力することを含め、3次元の入力が感知パッドまたは他の特別な面を用いずに可能になるという利点がある。したがってシステム10は、非常に多種多様な作業面24の上で使用することができる。また、作業面24が通常は水平の向きであることにより、作業面24が多くの一般の仕事に有用になる。作業面24の上で従来の筆記用具を使用できることは、垂直または移動型のコンピューティングインターフェースと比べて有利である。対話型表示部を作業机上に投影することにより、計算の仕事が実際の机上に存在し得る標準物体と混合され、したがって、物理的物体が投影物体と共存することができる。そのため、実際の筆記用具ならびにそれらのスタイラス28のようなデジタル対応物を使用する快適さは、効果的な使用法モデルになる。パッドのない3次元デジタルスタイラスにより、作業面24の上で従来の用具を使用することが感知パッドで邪魔されずに、物理的物体の上部または近くに注釈をつけることが可能になる。システム10の1つの例示的実施態様では、プロジェクタ16がカメラ14の光源として機能する。カメラ取込領域32図12とプロジェクタ表示領域34図14は、作業面24の上で重なる。したがって、かなりの動作効率を得ることが、プロジェクタ16を画像投影とカメラ照明の両方に使用して可能である。プロジェクタ16から作業空間12を通って作業面24に至る光路は、作業面24および作業空間12内の物体からの、カメラ14をくらませる鏡面グレアを回避しながら最小限の影遮蔽でユーザディスプレイ対話を可能にするように、カメラ14に対して配置されなければならない。以下で説明するシステム構成では、作業空間12内の2次元および3次元物体の適切な照明および投影に望まれるプロジェクタ光路の十分に急な入射角を維持しながら、従来のカメラ照明の幾何学的配置により生じるグレア誘発アーティファクトが回避される。理想的にはプロジェクタ16は、作業空間12の真上の、作業面24の上方の無限の高さに設置して平行光線を確保する。もちろん、この構成は現実的ではない。プロジェクタ16が作業面24の上方の現実的な高さまで下方に移動されたとしても依然として真下に向きながら、プロジェクタの光は、光沢面または半光沢面、および物体でまっすぐ後ろにカメラ14の中に反射されて、くらませる鏡面グレアが作り出される。したがってグレアスポットは、カメラ取込領域32の外に移動されなければならない。鏡面グレアとは、入射光線の入射角と反射光線の反射角が等しく、入射方向、反射方向および法線方向が同一平面上にある、鏡面反射によるグレアのことを指す。この鏡面グレアの問題に対する商業的に妥当な解決策を実現するために、カメラ14およびプロジェクタ16は、取込領域32および表示領域34の中心から遠ざけるように移動され、プロジェクタ16は、図5および図6に示されるように、基部36の近くに低く配置され、折返し鏡38がプロジェクタの光路の中に導入されて、作業面24の上方の高い所にプロジェクタ位置がシミュレートされる。プロジェクタ16のシミュレートされた位置、および対応する鏡38上方の光路が図5および図6に想像線で示されている。しかし、図5および図6に示された構造をより詳細に説明する前に、カメラ取込領域32の外にグレアスポットを移動させるための他のあり得る構成に伴う問題を考察することは有用である。図7で、カメラ14は取込領域32の中心に配置され、オーバヘッドプロジェクタ16が、カメラ14によりプロジェクタ光路が遮られないようにわずかに中心から外れている。図7の構成では、鏡面グレアスポット39入射光線41と反射光線43の交点の所は取込領域32の中に入り、したがって、取込領域32内の一部の物体および像に対してカメラ14をくらませる。加えて、カメラ14とプロジェクタ16の両方が基部の上方の高い所に配置されている図7に示された構成では、システム10は上部が重くなり、したがって、市販製品実施態様には望ましくない。プロジェクタ16が、図8に示されるように、グレアスポット39をカメラ取込領域32の外に移動させるのに必要な距離だけ側方に配置される場合には、対応する必要なプロジェクタレンズオフセットは実現可能ではない。また、図8に示されたシステム10の構成のいかなる製品実施態様も、望ましくないことには幅広になり上部が重くなる。図9に示されるように、カメラ14を取込領域32の上で中心から外すと、プロジェクタ16が中に入ってシステムの幅が小さくなるが、プロジェクタレンズオフセットは依然としてあまりに大きく、また製品は依然として上部が重い。図10に示された構成では、プロジェクタ16が、許容できるレンズオフセットに十分近くなることが可能なようにある高さまで持ち上げられるが、もちろん、今度は製品があまりに高くなり、かつ上部が重くなる。最も望ましい解決策は、図10の高く密な構造が折返し鏡38を使用してシミュレートされる、図5および図11に示されたプロジェクタ16の折返し光路である。図5および図11で、プロジェクタ16、および上方の光路は、鏡38の反射面の上で折り返されて、図10の構造のものと同じ光路が作業面24へ投射される。この折返し効果は図5で最もよく分かり、折返し角Θ1Θ2およびΦ1Φ2である。図5および図6に示されるように、カメラ14は、それがプロジェクタの光路を遮らないように作業空間12の上方の鏡38の前に置かれる。カメラ14は、カメラ14とプロジェクタ16の両方に対して許容できるオフセットでグレアスポット39を取込領域32の外にとどめておくように、幾何学的配置全体の一部として中心からY方向に外して配置される図5。プロジェクタ16は、プロジェクタ16からの光が鏡38で反射され作業空間12に入るように、鏡38上に焦点が合わされる。プロジェクタ16を下方に低く移動し、折返し鏡38をプロジェクタ光路に導入することによって、グレアスポット39が許容できるプロジェクタオフセットで取込領域32の外にとどめておかれ、システム10は十分に幅が狭く、短く、かつ安定して上部が重くない、商業的に魅力のある製品実施態様を支持する。したがって、図1A、1Bおよび図2を再び参照すると、システム10の構成要素は、単一のデバイス40として一緒に収容することができる。また図3を参照すると、一体化独立型デバイス40としてシステム10を実施する助けとするために、コントローラ18は、デバイス40に一緒に収容されたプロセッサ42、メモリ44、および入出力部46を含むことができる。入出力部46は、図20~22を参照して以下で説明するように、デバイス40が外部デバイスから情報を受け取り、また外部デバイスへ情報を送出することを可能にする。図3には、入出力部46がコントローラ18の一部であるとして示されているが、入出力部46の一部または全部がコントローラ18から分かれていてもよい。図3に示されたコントローラ18の構成では、カメラ14およびプロジェクタ16の機能を制御し調和させるためのシステムプログラムが、プロセッサ42によって実行するために実質的にコントローラメモリ44に常駐することができ、それによって独立型デバイス40が可能になり、またカメラ14およびプロジェクタ16の特別なプログラムの必要性が低減する。コントローラ18用のプログラムは、1つまたは複数のソフトウエアモジュール、ハードウェアモジュール、特定目的ハードウェア例えば、特定用途ハードウェア、特定用途集積回路ASIC、埋込コントローラ、ハードワイヤード回路など、またはこれらの何らかの組合せを含む、プロセッサ実行可能媒体の適切などんな形でも実施することができる。また、例えばコントローラ18が、カメラ14およびプロジェクタ16から遠隔のコンピュータまたはサーバを使用して全部または一部形成される他の構成も可能であるが、図1A、1Bおよび図2に示されたデバイス40などの小型の独立型機器が、一体化された小型の移動型デバイス40の形で完全な機能をユーザに提供する。次に図12を参照すると、カメラ14が作業空間12上方の鏡38の前、取込領域32の中心からオフセットされた位置に配置されている。上記のように、このカメラ14のオフセット位置は、プロジェクタ16の光路を遮らずに作業空間12内の物体を撮影する場合に鏡面グレアを回避する助けになる。カメラ14は一般に、作業空間12内で静止画像およびビデオ画像を選択的に取り込むための適切な任意のデジタルカメラであるが、システム10のほとんどの用途では、高解像度デジタルカメラが使用されることが予想される。本明細書で高解像度デジタルカメラとは、少なくとも1200万画素のセンサアレイを有するカメラを意味する。いくつかの基本走査機能および複写機能では低解像度カメラが許容できることもあり得るが、1200万画素未満の解像度は現在のところ、操作および共同作業の機能全般に関して十分に細密なデジタル画像を生成するのには不適切である。高解像度センサを有する小型高品質デジタルカメラは今や全く一般的であり、様々なカメラメーカから市販されている。多くのデジタルカメラに利用可能な高性能デジタル信号処理DSPチップと対をなす高解像度センサにより、画像処理時間が十分に高速になって例えばクリックからプレビューまでの時間が1秒未満、ほとんどのシステム10の用途に対して許容できる性能が提供される。次に図13もまた参照すると、図示の例では、カメラセンサ50が作業面24の平面に平行な面方向に向けられ、光がシフトレンズ52を介してセンサ50の上に焦点を合わされる。このセンサ50およびレンズ52の構成を用いて、物体像についてのデジタルキーストン補正なしで、光学的にキーストン歪みを補正することができる。カメラ14の視野により、カメラ14が像を実際上取り込むことができる3次元取込空間51が作業空間12内に画定される。取込空間51は、作業面24上のカメラ取込領域32によってX次元およびY次元の境界が定められる。レンズ52は、取込空間51に対応する固定距離、固定焦点および固定ズームについて最適化することができる。図14を参照すると、プロジェクタ16は、プロジェクタ16からの光が鏡38で反射されて作業空間12に入るように、プロジェクタ表示領域34の外側の基部36の近くに配置され鏡38に焦点が合わされる。プロジェクタ16および鏡38により、プロジェクタ16が像を有効に表示することができる3次元表示空間53が作業空間12内に画定される。プロジェクタ表示空間53は、カメラ取込空間51図12と重なり、作業面24上の表示領域34によってX次元およびY次元の境界が定められる。プロジェクタ16は一般に、適切な任意の光プロジェクタであるが、LEDまたはレーザをベースとするDLPデジタル光処理プロジェクタの小型サイズおよび電力効率が、システム10のほとんどの用途には望ましい。プロジェクタ16にはまた、投影像の完全な光学キーストン補正を可能にするシフトレンズを使用することもできる。上記のように、鏡38を使用すると、一体化独立型デバイス40の商業的に妥当な高さが依然として可能でありながら、プロジェクタ16のオーバヘッド配置によく似て、プロジェクタの有効光路長が増加する。独立型デバイス40としてのシステム10の適切な特性の一例が、表1に列記されている。表1の寸法参照値は図5および図6に対するもの。プロジェクタ16は、静止画像およびビデオの取込みのためのカメラ12の光源として機能するので、投影光は、鏡面グレアによる欠陥を引き起こし得るいかなる周辺光も圧倒するのに十分なだけ明るくなければならない。システム10およびデバイス40の典型的な机上用途では、周辺光を圧倒するのに200ルーメン以上の投影光が十分な明るさであることが確定されている。ビデオ取込みおよびリアルタイムビデオ共同作業では、物体1つまたは複数20に光を当てるために、プロジェクタ16が作業空間12の中を白色光で照らす。LEDプロジェクタ16では、白色光を構成する赤色、緑色および青色のLEDの時間順序がカメラ14のビデオフレームレートと同期される。プロジェクタ16のリフレッシュレートおよび各LEDサブフレームリフレッシュ期間は、ビデオ画像中の虹バンディングおよび他の望ましくない効果を回避するために、各取込フレームに対するカメラのある整数の露出時間でなければならない。また、カメラのビデオフレームレートは、ACライン周波数の2倍例えば、60HzAC電源ラインでは120Hzで通常はちらつくどんな周辺蛍光照明の周波数とも同期されなければならない。周辺光周波数を検知し、それに応じてカメラ14のビデオフレームレートを調整するには周辺光センサを使用することができる。静止画像取込みでは、プロジェクタの赤色、緑色および青色のLEDは、作業空間12内の光輝度を増すためにカメラフラッシュに対して同時にオンして、周辺光を圧倒する助けにすると共に、速いシャッタスピードおよび/または小さな絞り値を可能にして画像中のノイズを低減することができる。図に示され上述された独立型デバイス40に一体化されたシステム10の例示的構成では、製品サイズ、性能、使いやすさおよびコストの間の望ましいバランスが達成される。プロジェクタ16の折返し光路により、カメラ12の取込領域内の鏡面グレアを防止するためにプロジェクタの実効的な配置が作業空間12の上方の高い所に維持されながら、デバイス40の高さが低減する。このプロジェクタの光路により、水平作業面24が急角度で照らされて、3D物体像取込みが可能になる。長い光路と急角度のこの組合せが、取込領域全体にわたって光減衰を最小限にしてカメラフラッシュの光均一性を最大化する。加えて、折返し光路により、製品安定性のためにプロジェクタ16を基部36の近くに配置することが可能になる。システム10で使用するための適切な入力デバイスおよび技法には、例えば、フィンガタッチ、タッチジェスチャ、スタイラス、空中ジェスチャ、音声認識、頭部追跡、および視線追跡が含まれる。タッチパッドを使用して、グラフィックユーザインターフェースをナビゲートするための、あるいは、プッシュ、フリック、スワイプ、スクロール、ピンチとズーム、および2本指回転などの直観的ジェスチャ操作を実施するためのマルチタッチインターフェースが可能になる。構造化光、飛行時間、分散光パターンまたは立体視覚を用いる深度カメラもまた使用して、タッチパッドを用いずに空中ジェスチャ検出または制限タッチ検出、およびタッチジェスチャ検出を可能にすることもできる。タッチなしデジタルスタイラスは特に、システム10のユーザ入力部26としてよく適している。すなわち、図に示された例では、ユーザ入力部26には赤外線デジタルスタイラス28と、作業空間12内のスタイラス28を検出する赤外線カメラ30とが含まれる。上記のように、タッチなしデジタルスタイラスには、作業面24に沿って入力することを含め、3次元の入力が感知パッドまたは他の特別な面を用いずに可能になるという利点がある。次に図4および図15を参照すると、入力デバイス26は、赤外線スタイラス28、赤外線カメラ30およびスタイラス充電ドック54を含む。スタイラス28は、赤外線発光体56と、発光体56をタッチに基づいて自動的にオンオフするタッチセンス先端スイッチ58と、発光体56を手動でオンオフする手動オン/オフスイッチ60とを含む。先端スイッチ58および手動スイッチ60は、図4のブロック図に示されている。発光体56は、例えば、図15に示されているようにスタイラス28の先端に配置して、カメラ30と発光体56の間の開けた見通し線の維持を助けることができる。発光体56はまた、発光体がオンであるかオフであるかをユーザが判断する助けになるように、可視光を発光することもできる。先端スイッチ58は、例えば約2gの力を接触感知するものとして、従来の筆記用具をシミュレートすることができる。スタイラスの先端が作業面24または他の物体に接触すると、先端スイッチ58はその接触を検出し、発光体56をオンにする。オンになる発光体56が、タッチ接触事象を信号伝送するカメラ30によって検出されるマウスボタンクリック、またはタッチパッド上のフィンガタッチと同様。カメラ30は、接触していることの信号伝送を継続して、発光体56がオンのままである限りスタイラス28のいかなる動きも追跡する。ユーザは、スタイラス28をどの面のまわりにもペンのように滑らせて、その面をトレースすることも、制御機能を活性化することもできる。スタイラス先端がもはや物体と接触していない場合は、発光体56はオフに切り替えられ、カメラ30は、接触していないことを信号伝送する。手動光スイッチ60を使用して、非接触事象を信号伝送することができる。例えば、3次元作業空間12で作業しているとき、ユーザは、手動で仮想接触事象を信号伝送することによって、作業面24上の投影像を修正、変更、またはそれ以外の操作を望むことがある。赤外線カメラ30および鏡38により、赤外線カメラ30がスタイラス28からの光を実際上検出できる3次元赤外線取込空間61が作業空間12内に画定される。取込空間61は、作業面24上の赤外線カメラ取込領域62によってX次元およびY次元の境界が定められる。図14と図15を比較することによって最もよく分かる図示の例では、赤外線カメラ取込空間61は、プロジェクタ表示空間53と同一の広がりを持つ。したがって、赤外線カメラ30は、表示空間53内のどこでもスタイラス活性化を取り込むことができる。図16に示された1つの例示的実施態様では、カメラ30は投影光路の中に組み込まれ、その結果、スタイラス28が、すなわち赤外線カメラ30からのトラッキング信号が、作業空間12内のどこでもプロジェクタディスプレイと適切に整合することを確実にする助けになるように、プロジェクタ視野と赤外線カメラ視野が一致することになる。図16を参照すると、プロジェクタ16内の赤色、緑色および青色LED66、68および70によって発生した可視光64は、様々な光学部品72シフトレンズ74を含むを通過して鏡38図14に向かって出る。作業空間12内において鏡38で反射してプロジェクタ16に向かうスタイラス28からの赤外光75は、赤外線ビームスプリッタ78によってシフトレンズ80を通して赤外線カメラセンサ76まで導かれる。前述のカメラ14の例示的構成と同様に、カメラ30の赤外光センサ76は作業面24の面と平行な面方向に向けることができ、光は、完全光学キーストン補正のためのシフトレンズ80を通してセンサ76の上に焦点を合わせることができる。図16に示されるように、プロジェクタ16と赤外線カメラ30を一緒に単一の筐体82に収納することが、いくつかの商用の実施態様では望ましいことがある。図16に示される赤外線カメラ30の幾何学的配置構成は、作業面24の上のスタイラス28がどんな高さにあろうと、スタイラス追跡信号がディスプレイと整合することを確実にする助けになる。プロジェクタ視野と赤外線カメラ視野が一致しない場合には、作業面24の上の複数の高さでスタイラス追跡を較正することが困難になって、所望のスタイラス入力位置と結果として得られる表示位置との間に視差シフトのリスクが生じ得る。作業空間12は通常、物体20を支持する物理的作業面24を含むことが予想されるが、作業空間12はまた、物理的作業面がない全くの投影作業空間として実施することもできる。加えて、作業空間12は、2次元および3次元物体を用いて作業するための3次元作業空間としても、2次元物体だけを用いて作業するための2次元作業空間としても実施することができる。作業空間12の構成は通常、システム10のハードウェア要素およびプログラム要素によって主として決定されるが、作業空間12の構成はまた、物理的作業面24の特性によって影響を受けることもある。したがって、システム10およびデバイス40のいくつかの例では、デバイス36が動作中のとき物理的作業空間内で操作されるべきシステム10に仮想作業空間が付随するという意味で、作業空間12がシステム10の一部であると考えることが適切なことがあり、別の例では、作業空間12がシステム10の一部ではないと考えることが適切なことがある。図17~19は、携帯型投影取込デバイス40、およびデバイス40に付随する対話型作業空間12の別の例を示す斜視図である。図17~19を参照すると、携帯型デバイス40は、取込領域32および取込空間51内の物体20の静止画像およびビデオ画像を取り込むためのデジタルカメラ14と、取込領域32および取込空間51内の物体を照らすため、および表示領域34の上にまた表示空間53の中に画像を投影するためのプロジェクタ16とを含む。取込領域32内に配置された2次元物体20ハードコピー写真がカメラ14によって撮影されており図17および図18、物体20が取込領域32から取り出され、また物体画像22が、それをカメラ14によって撮影し、かつ/またはそれ以外にユーザによって操作することができる場合に、表示領域34の上に投影されている図19。この例では、デバイス40はまた、カメラ14からのライブ映像、以前にカメラ14によって取り込まれた画像、または表示空間53の中に投影されたグラフィックユーザインターフェースGUI86を介してユーザによって操作されているときの画像が表わされたもの、を選択的に表示するための電子ディスプレイ84を含む。GUI86は、図17~19に示された例の中の表示領域32の上に投影されている。カメラ14、プロジェクタ16およびディスプレイ84は、コントローラ18を介して動作可能に一緒に接続され、単一の携帯型デバイス40として筐体13の中に一緒に収納される。プロジェクタ16は、光を表示空間53の中および表示領域34の上に直接投影するために、筐体13内の高い所にあるカメラ14の下に配置される。プロジェクタ表示空間53および表示領域34は、カメラ取込空間51および取込領域32と重なり合い、その結果、プロジェクタ16は、空間51内および領域32上の実物体20の像を取り込むカメラ14の光源として機能することができ、またカメラ14は、空間51内および領域32上に投影された画像20の像を取り込むことができるようになる。図17および図18の取込ボタン88、ならびに図19の取消ボタン90、固定ボタン92、およびOKボタン94などのデバイス制御ボタンが例えば含まれるGUI86を生成するようにコントローラ18がプログラムされ、そのGUI86をプロジェクタ16が投影する。図17~19のデバイス40はまた、より複雑なGUI、およびコントローラ18内の対応する制御プログラム、ならびに他のユーザ入力デバイス1つまたは複数を含むこともできるが、図17~19のデバイス構成は、あまり高価ではない消費者向け机上製品市場により適した、基本的なデジタル複写機能および画像操作機能を示す。図に示された、1つのカメラ14および1つのプロジェクタ16を有するシステム10およびデバイス40の例は、2つ以上のカメラ14および/または2つ以上のプロジェクタ16を使用することを除外するものではない。実際は、システム10およびデバイス40のいくつかの用途では、複数のカメラ、複数のプロジェクタ、または複数の他のシステム構成要素を含むことが望ましいことがある。共同作業環境における投影取込図20~22は、投影取込デバイス40を他のデバイスと共に使用するための3つの例示的シナリオを示す。図20の使用シナリオでは、投影取込デバイス40は、コンピュータワークステーション88および移動型デバイス90とリンクされる。図21の使用シナリオでは、複数の投影取込デバイス40がサーバ92を介して一緒にリンクされる。図22の使用シナリオでは、投影取込デバイス40、コンピュータワークステーション88、および移動型デバイス90がサーバ92を介して一緒にリンクされる。図20~22の各リンク94は一般に、ケーブル、無線、光ファイバ、または遠隔接続のうちの1つ以上を表し、この遠隔接続は、通信リンク、赤外線リンク、無線周波数リンク、またはリンクされたデバイス間の電子通信を可能にする他の任意のコネクタもしくはシステムを介する。個別リンク94が示されているが、複数のデバイスが同一のリンクを利用してもよい。また、他の使用シナリオも実現可能である。例えば、サーバ92を用いずに、複数の投影取込デバイス40を一緒に直接リンクすることができる。図20~22に示されたシナリオのそれぞれでは、個々のユーザがデバイス40、88、90を用いて仮想物体を生成、操作、転送、および格納することができ、また複数のユーザが実物体と仮想物体の組合せを用いてデバイス40、88、90の間で共同作業することができる。仮想物体は、例えば、投影取込デバイス40において投影像として描写されるデジタルコンテンツ、ならびに別のデバイス88および90においてスライド、文書、デジタル写真などとしてディスプレイ上に描写されるデジタルコンテンツを含む。図1A、1B、図2および図3に関して前に述べたように、各投影取込デバイス40は、物体20の像がカメラ14によって取り込まれたときの物体20の位置と同じ作業空間24内の位置に物体像22を投影するように構成することができる。したがって、物体20の1対1比率のデジタル複写物22をその原物の上に投影して、デバイス40において投影された、またはデバイス88、90において表示された作業空間12で共同作業する複数の遠隔ユーザが、要望通りにデジタル複写物をその場所で操作、移動、およびそれ以外に変更することを可能にすることができる。適切な任意の変更技法が、例えば、ピンチとズームなどのタッチ認識およびジェスチャ認識、または投影デバイス40のIRスタイラス28からの入力、および/またはコンピュータデバイス88、90のデジタルファイルを変更することを含め、使用されてよい。投影像はまた、原物から遠ざけるように移動させて、同一の作業空間12でユーザが原物と複写物を一緒に用いて作業することを可能にすることもできる。図23は、音声およびビデオ遠隔会議機能部96を含む投影取込デバイス40の一例を示すブロック図である。図23を参照すると、会議機能部96は、前向きカメラ98、マイクロフォン100、およびスピーカ102を含む。会議機能部96の追加により、デバイス40は、フル装備共同作業ツールとして機能することが可能になる。図23の投影取込デバイス40はまた、作業空間内の実物体と仮想物体を区別するための物体認識デバイス104を含む。図示の例では、物体認識デバイス104は、赤外線カメラ106および赤外発光体108を含む。作業空間カメラ14が実物体および投影像仮想物体を見る場合、赤外線カメラ106は実物体だけを見ることになる。したがって、カメラ14および106からのビデオストリームまたは静止画像データを使用して、例えばコントローラ18に常駐するプログラムにより、作業空間において実物体を仮想物体と区別することができる。作業空間を照らすLED、レーザ、または他の適切な赤外発光体108をカメラ106と共に使用して、物体認識を改善することができる。また、物体認識カメラ106とIRスタイラス感知図4、図15および図16のカメラ30の両方のために同一の赤外線カメラを使用することも可能であり得るとはいえ、物体認識のためのカメラフレームレートは通常、スタイラス位置感知のためのフレームレートほど高いことが必要ではないが、高い解像度が必要になり得ることが予想される。その結果、いくつかの実施態様では、物体認識とスタイラス感知で別々の赤外線カメラを使用することが望ましい場合がある。IRカメラ106は、適切な物体認識デバイス104の一例にすぎない。他の実施態様も実現可能である。作業空間において実物体を仮想物体と区別するために、例えば、IRカメラの代わりに深度カメラをデバイス40に使用することができる。図24は、共同作業環境において図23の投影取込デバイス40を実施するためのプログラムおよび信号処理の1つの例示的アーキテクチャを示す。この例では、実物体と仮想物体は別々に管理される。作業空間カメラ14を用いて取り込まれた実物体は動画ビデオを介して管理されるのに対し、仮想物体はビットマップ画像、ベクトルグラフィックオブジェクト、およびテキストなどの静止画像グラフィック要素を介して管理される。独立型投影取込デバイス40では、図24に示されたブロックはコントローラ18で実施される。図24を参照すると、作業空間カメラ14および前向きカメラ98からのビデオストリームは、出力ビデオ管理部110に行き、ここでブロック112のリンクされたデバイスへ出力される。作業空間カメラからの静止画像は、オブジェクト管理部114に転送される。オブジェクト管理部114は、プロジェクタ表示用画像オブジェクトをブロック116で合成すること、およびリンクされたデバイスへの出力用画像オブジェクトをブロック118で合成することを含め、デジタルコンテンツを格納および操作するシステム構成要素である。会議マイクロフォン100からの音声信号は出力音声管理部120へ行き、ここでブロック112のリンクされたデバイスへ出力される。ブロック122のリンクされたデバイスからの入力は適切な管理部に転送され、静止画像はオブジェクト管理部114に転送され、ビデオは、オブジェクト合成116およびプロジェクタ16へ出力するために入力ビデオ管理部124に転送され、音声は、スピーカ102へ出力するために入力音声管理部126に転送される。次に、実物体と仮想物体の間の対話を管理する一例を図25~28を参照して説明する。この例では、実物体および仮想物体は、視覚的に交換可能な論理層として取り扱われ、この論理層により投影取込デバイスが、その作業空間を解釈および制御することが可能になり、また共同作業環境において各ユーザが近くの物体および遠隔の物体と効果的に対話するのを助けることが可能になる。図25は、この階層化技法を投影取込デバイスコントローラ18に常駐するプログラムモジュール128によって実施する一例を示すブロック図である。階層化モジュール128は、実物体を1つの視覚層または層の組と関連づけ、仮想物体をもう1つの視覚層または層の組と関連づける。図24を参照して上述したように、作業空間カメラ14を用いて取り込まれた実物体はデジタル動画ビデオを介して管理されるのに対し、仮想物体はデジタル静止画像グラフィック要素を介して管理される。オブジェクト管理部114は、階層化モジュール128で実施される視覚的階層化を含め、デジタルコンテンツを格納および操作する。一例では、それぞれのビデオ画像および静止画像のデジタル要素は、XYZ座標系内の位置と関連づけられる。階層化モジュール128は、そのXYZ位置情報を使用して、座標系の各面XY面、XZ面、YZ面内の層について各要素の相対位置を特徴づける。次に、各要素の視覚的位置は、対応する層1つまたは複数を操作することによって変更することができる。例えば、1つのオブジェクトまたはオブジェクト内の要素に対するXY層が、別のオブジェクトに対するXY層の上にあるように最初は見えることがある場合、コントローラ18は、一方または両方の層をZ方向に移動することによって、この視覚的位置を変更することができる。次に、図26および図27を参照して階層化技法を説明する助けにする。図26は、作業面24に投影された仮想チェッカー盤132上に実際の駒130が配置されている、投影取込デバイス40および作業空間12を示す。作業空間12はまた、例えば図22の1つまたは複数のリンクされたデバイス40、88、90からのデジタルコンテンツを使用してチェッカー盤132の上に投影された仮想駒134を含む。図26で、実線は実物体を示し、破線は仮想物体を示す。図27は、図26の物体のZ軸階層化を示す。重ねキング駒のZ軸位置が層138の上に論理層136によって表わされる。層138は、層140の上の単駒の位置を表わす。層140は、作業面24の位置を表わす層142の上の仮想チェッカー盤132の位置を表わす。物体または物体中の要素の位置が論理層と関連づけられた後、階層化モジュール128図25は、層の視覚的順序についての状態情報を維持する。視覚的関係が変更されるとき、例えば図26の駒が移動された場合、層は、デジタル要素のうちの1つ以上と関連づけられた新しい位置データに従って再順序付けされる。一般に、また図23および図25のブロック図と共に図28の流れ図を参照すると、コントローラ18は、ブロック202で作業空間12内の実物体の存在および位置を、例えば作業空間カメラ14および物体認識デバイス104を使用して特定する。ブロック204で、階層化モジュール128は、実物体を第1の論理層または3次元空間配置では論理層の第1の組と関連づける。ブロック206で仮想物体物体像が、作業空間12の中の第2の論理層に対応する位置に投影される。次に、物体のうちの1つの位置変更に応じて、またはいくつかの他のユーザ入力に応じて、階層化モジュール128は、ブロック208で論理層の視覚的隣接関係を変えて変更/入力を反映する。例えば、第1の層は最初、作業面24に視覚的に隣接し、第2の層は第1の層に視覚的に隣接することがある。変更/入力に応じて層の順序が逆転され、その結果、第2の層は作業面24に視覚的に隣接することになり、第1の層は第2の層に視覚的に隣接することになる。図20~22に示されたものなどの共同作業環境において投影取込システム10を使用することにより例えば携帯型デバイス40を介して、各共同作業者は、近くの物体と遠隔の物体の両方を見ること、および両方と対話することが可能になる。リンクされたデバイス間のライブビデオ供給では、様々な異なる入力デバイスおよび入力技法によってリアルタイムでユーザ入力を共用する。共同作業者対話は、すべての参加者が投影取込デバイス40またはシステム10を使用しているときにはより広範囲にわたり得るが、効果的な共同作業環境が、異なるタイプのデバイスを使用して依然として利用可能である。一方の参加者が投影取込システム10を使用し、他方の参加者がシステム10のクライアントプログラムを実行するデバイスを使用する場合、興味深い共同作業が可能になる。このような混合環境では、システム10の作業空間と対話する代わりに、参加者は、マウス、キーボードまたはタッチパッドを使用して、そのクライアントプログラムを介して対話する。プロジェクションディスプレイの代わりに、共同作業デバイス88または90のクライアントプログラムは、コンピュータ作業空間内のウインドウディスプレイを使用してもよい。また、オーバヘッドカメラの代わりに、クライアントアプリケーションではスクリーンショットを使用して物体像を取り込むこともできる。この発明を実施する形態の初めに述べたように、図に示され上述された例は、本発明を説明するものであるが限定するものではない。他の例、実施形態、および実施態様も実現可能である。したがって、上記の説明は、以下の特許請求の範囲に定義される本発明の範囲を限定すると解釈されるべきではない。