"データを処理する装置であって、3次元カメラを有する、場面を獲得するための検知要素と、前記3次元カメラにリンクし、そして前記3次元カメラの出力を使用して前記場面の深さマップを生成するようにプログラムされ、そして場面分析をして、画像をその上に投影するための事前設定の判断基準に適合する前記場面内の1つの3次元物体を識別する、プロセッサと、及び前記プロセッサの命令に応答して1つの画像を形成するコンテンツプロジェクタと、を有することを特徴とする装置。前記1つの画像を形成することは前記1つの画像を前記1つの3次元物体の上に投影することを含む、ことを特徴とする請求項1に記載の装置。前記1つの画像を形成することは前記1つの画像をユーザの網膜上に投影することを含む、ことを特徴とする請求項1に記載の装置。前記1つの画像を形成することは前記1つの画像をシースルーの眼鏡上に投影することを含む、ことを特徴とする請求項1に記載の装置。前記1つの画像を形成することは前記1つの画像を1つの3次元仮想空間に投影することを含む、ことを特徴とする請求項1に記載の装置。前記プロセッサの命令は前記場面分析に対する応答であり、前記プロセッサは前記場面分析に応答して、少なくとも1つの投影パラメータとコンテンツを変化させることについて前記コンテンツプロジェクタと協働する、ことを特徴とする請求項1に記載の装置。前記プロセッサはユーザと前記場面との相互作用に応答して、前記1つの画像の特性を変化させることについて前記コンテンツプロジェクタと協働する、ことを特徴とする請求項1に記載の装置。前記相互作用は前記1つの3次元物体に向かう前記ユーザの視線ベクトルの変化を含む、ことを特徴とする請求項7に記載の装置。前記相互作用は前記1つの3次元物体に関連する前記ユーザの所作を含む、ことを特徴とする請求項7に記載の装置。前記1つの画像の特性を変更することは、少なくとも1つの寸法を変化させることと、歪みの補償とを含む、ことを特徴とする請求項7に記載の装置。前記場面の1つの2次元画像を獲得するための2次元カメラをさらに有し、前記プロセッサが前記1つの2次元画像の中の前記1つの3次元物体に関する情報を認識するように動作し、そして認識された前記情報に応答して前記プロセッサが、前記コンテンツプロジェクタに前記1つの3次元物体のメタデータを前記1つの画像内に含むように命令するように動作する、ことを特徴とする請求項1に記載の装置。前記1つの3次元物体を識別することは、自由度6を持つ前記1つの3次元物体の位置を対照座標系に対し識別することを含み、前記コンテンツプロジェクタは前記1つの3次元物体の縮尺、ピッチ、ヨー、及び角度的回転を補償するように動作可能である、ことを特徴とする請求項1に記載の装置。前記1つの3次元物体を識別することは、3次元物体の定義のデータベースを参照し、そして前記1つの3次元物体を前記データベース内の前記定義と比較することを含む、ことを特徴とする請求項1に記載の装置。着用可能モニタをさらに有し、前記コンテンツプロジェクタは前記1つの画像を仮想画像として前記着用可能モニタに形成するように動作可能である、ことを特徴とする請求項1に記載の装置。前記検知要素、前記プロセッサ、及び前記コンテンツプロジェクタは前記着用可能モニタに包含される、ことを特徴とする請求項14に記載の装置。前記着用可能モニタはシースルー眼鏡を含む、ことを特徴とする請求項14に記載の装置。前記コンテンツプロジェクタは、ユーザと相互作用するため仮想面上に前記1つの画像を形成するように動作可能である、ことを特徴とする請求項1に記載の装置。前記プロセッサは、所作に応答してコンピュータアプリケーションを制御するように動作可能であり、そして、前記1つの画像は前記コンピュータアプリケーションを制御するためのユーザインタフェースを含む、ことを特徴とする請求項1に記載の装置。前記1つの画像は書かれたコンテンツを含む、ことを特徴とする請求項1に記載の装置。データ処理システムを有する拡張された相互作用の方法であって、場面の1つの3次元画像を獲得するステップと、デジタルプロセッサを使用して、前記1つの3次元画像を処理してその中の3次元物体を位置決めし、そして前記3次元物体が事前設定の判断基準を満たすことを判断するステップと、そしてユーザが相互作用する、コンテンツを包含する1つの画像を形成するステップと、を有する、ことを特徴とする方法。前記コンテンツを包含する1つの画像を形成するステップは、前記3次元物体の1つの上に前記コンテンツを包含する1つの画像を投影するステップを含む、ことを特徴とする請求項20に記載の方法。前記コンテンツを包含する1つの画像を形成するステップは、前記ユーザの網膜上に前記コンテンツを包含する1つの画像を投影するステップを含む、ことを特徴とする請求項20に記載の方法。前記コンテンツを包含する1つの画像を形成するステップは、シースルー眼鏡上に前記コンテンツを包含する1つの画像を投影するステップを含む、ことを特徴とする請求項20に記載の方法。前記コンテンツを包含する1つの画像を形成するステップは、3次元仮想空間に前記コンテンツを包含する1つの画像を投影するステップを含む、ことを特徴とする請求項20に記載の方法。前記ユーザと前記場面との相互作用に応答して前記コンテンツを包含する1つの画像の特徴を変更するステップをさらに有する、ことを特徴とする請求項20に記載の方法。前記相互作用は、前記ユーザの前記3次元物体の内の1つに向く視線ベクトルの変化を含む、ことを特徴とする請求項25に記載の方法。前記相互作用は前記ユーザの前記3次元物体の内の1つに関連する所作を含む、ことを特徴とする請求項25に記載の方法。前記コンテンツを包含する1つの画像の特性を変更することは、少なくとも1つの寸法を変化させることと、歪みの補償とを含む、ことを特徴とする請求項25に記載の方法。前記場面の1つの2次元画像を前記1つの3次元画像と重ね合わせて獲得するステップと、前記1つの2次元画像内で前記3次元物体に関連する情報を認識するステップと、そして認識された前記情報に応答して前記コンテンツを包含する1つの画像を変化させるステップと、をさらに有する、ことを特徴とする請求項20に記載の方法。前記コンテンツを包含する1つの画像に関連する所作を認識するステップと、そして前記所作に応答してコンピュータアプリケーションを制御するステップと、をさらに有する、ことを特徴とする請求項20に記載の方法。前記コンテンツを包含する1つの画像は前記コンピュータアプリケーションの制御のためのユーザインタフェースを有する、ことを特徴とする請求項30に記載の方法。前記1つの3次元画像を処理するステップは、自由度6を持つ前記3次元物体の内の1つの位置を対照座標系に対し識別するステップを有し、そしてコンテンツ包含する1つの画像を形成するステップは、前記3次元物体の内の1つの縮尺、ピッチ、ヨー、及び角度的回転を補償するステップを有する、ことを特徴とする請求項20に記載の方法。前記1つの3次元画像を処理するステップは、3次元物体の定義のデータベースを参照するステップと、そして前記3次元物体を前記データベース内の前記定義と比較するステップと、を有することを特徴とする請求項20に記載の方法。前記3次元物体の内の1つはヒト類似形状の一部である、ことを特徴とする請求項20に記載の方法。データ処理システムとの拡張された相互作用の方法であって、その上に画像を投影するための第1の判断基準を満たす3次元物体を含む場面の深さマップを受信するステップと、前記場面の1つの2次元画像を受信するステップと、デジタルプロセッサを使用して、前記深さマップを処理して前記3次元物体の位置を決めるステップと、コンピュータアプリケーションを実行して前記1つの2次元画像を分析し、第2の判断基準に従って最も適合する前記3次元物体の内の1つを識別するステップと、前記コンピュータアプリケーションに対するユーザインタフェースを、コンテンツを含む画像として前記最も適合する3次元物体の内の1つの上に投影するステップと、前記デジタルプロセッサを使用して、所作を認識するステップと、前記所作を前記ユーザインタフェースとの相互作用として解釈するステップと、そして前記相互作用に応答して前記コンピュータアプリケーションを制御するステップと、を有することを特徴とする方法。前記深さマップを処理するステップは、自由度6を有する前記最も適合する3次元物体の内の1つの位置を対照座標系に対し識別するステップを有し、そして前記ユーザインタフェースを投影するステップは、前記最も適合する3次元物体の内の1つの縮尺、ピッチ、ヨー、及び角度的回転を補償するステップを有する、ことを特徴とする請求項35に記載の方法。前記深さマップを処理するステップは、3次元物体の定義のデータベースを参照するステップと、そして前記3次元物体を前記データベース内の前記定義と比較するステップと、を有することを特徴とする請求項35に記載の方法。前記深さマップ内の前記3次元物体の内の1つはヒト類似形状の一部である、ことを特徴とする請求項35に記載の方法。データ処理システムとの拡張された相互作用の方法であって、その上に画像を投影するための第1の判断基準を満たす3次元物体を含む場面の深さマップを受信するステップと、デジタルプロセッサを使用して、前記深さマップを処理して前記3次元物体の位置を決めるステップと、コンピュータアプリケーションを実行して、第2の判断基準に従って最も適合する前記3次元物体の内の1つを識別するステップと、前記3次元物体の内の1つの1つの画像を仮想面上に投影するステップと、前記デジタルプロセッサを使用して、所作を認識するステップと、前記所作を前記3次元物体の内の1つの前記1つの画像との相互作用として解釈するステップと、そして前記相互作用に応答して前記コンピュータアプリケーションを制御するステップと、を有することを特徴とする方法。前記深さマップを処理するステップは、自由度6を有する前記3次元物体の内の1つの位置を対照座標系に対し識別するステップを有し、そして前記3次元物体の内の1つの前記1つの画像を投影するステップは、前記3次元物体の内の1つの縮尺、ピッチ、ヨー、及び角度的回転を補償するステップを有する、ことを特徴とする請求項39に記載の方法。前記深さマップを処理するステップは、3次元物体の定義のデータベースを参照するステップと、そして前記深さマップ内の前記3次元物体を前記データベース内の前記定義と比較するステップと、を有することを特徴とする請求項39に記載の方法。前記3次元物体の内の1つの前記1つの画像はコンピュータアプリケーションを制御するためのユーザインタフェースを含む、ことを特徴とする請求項39に記載の方法。データ処理システムとの拡張された相互作用の方法であって、その上に画像を投影するための第1の判断基準を満たす3次元物体を含む場面の深さマップを受信するステップと、デジタルプロセッサを使用して、前記深さマップを処理して前記3次元物体の位置を決めるステップと、コンピュータアプリケーションを実行して、第2の判断基準に従って最も適合する前記3次元物体の内の1つを識別するステップと、前記3次元物体の内の1つの1つの画像を着用可能モニタ上に投影するステップと、前記デジタルプロセッサを使用して、所作を認識するステップと、前記所作を前記3次元物体の内の1つの前記1つの画像との相互作用として解釈するステップと、そして前記相互作用に応答して前記コンピュータアプリケーションを制御するステップと、を有することを特徴とする方法。前記深さマップを処理するステップは、自由度6を有する前記3次元物体の内の1つの位置を対照座標系に対し識別するステップを有し、そして前記3次元物体の内の1つの前記1つの画像を投影するステップは、前記3次元物体の内の1つの縮尺、ピッチ、ヨー、及び角度的回転を補償するステップを有する、ことを特徴とする請求項43に記載の方法。前記深さマップを処理するステップは、3次元物体の定義のデータベースを参照するステップと、そして前記3次元物体を前記データベース内の前記定義と比較するステップと、を有することを特徴とする請求項43に記載の方法。前記3次元物体の内の1つの前記1つの画像は前記コンピュータアプリケーションを制御するためのユーザインタフェースを含む、ことを特徴とする請求項43に記載の方法。以下の記述では本発明の種々の原理を十分に理解するため多くの特定の詳細が示される。しかし当業者にとってこれらの詳細の全てが本発明を実施するために必要であるとは限らないことは明白である。本明細書では不必要に一般的概念を不明確にしないように、周知の回路、制御ロジック、従来技術のアルゴリズムやプロセスに対するコンピュータプログラム命令の詳細は示されない。ここで使用されるコンテンツ投影とは、コンテンツの画像をシースルーの眼鏡のような着用可能透明モニタ上に形成すること、その場合画像は眼鏡着用者以外には見えないが、又は物理的物体上に形成すること、その場合はその物体と相互作用する誰にでも見えるが、を含む。この用語は上記の事例に留まらない。それは網膜投影、シースルー眼鏡上への投影、画像の仮想空間への投影、例えばホログラムとして、及び拡大現実を生成する他の技術、を含む多くの手段で画像を形成することを含む。システム構成図1は本発明の開示された実施形態に従って構築され、作動する相互作用3次元ビデオディスプレイシステム10の概略鳥瞰図である。システム10は3-D3次元カメラ12を有し、カメラ12は赤外プロジェクタ及びプロジェクタ帯域に対してオープンな対応するCMOS/CCDを有してもよい。3-Dカメラ12は、ユーザの身体又は少なくとも身体の一部、コンピュータアプリケーションを制御するためユーザが操作または振り回す接触可能実体、及び3-Dカメラ12の視野内の他の物体を含む3-D情報を獲得する。この種の3-D画像化組立体の詳細は特許文献4及び特許文献5に記載され、それはここに参照され採り入れられる。3-Dカメラ12は一般的に近赤外スペクトルで動作する。しかし、本発明の原理は、3-Dカメラ12が電磁エネルギーを近赤外スペクトル以外、例えば遠赤外又は紫外エネルギーで獲得することを可能にする変更においても同様に適用可能である。システム10はまた、2-D2次元カメラ14を有し、それは可視光スペクトルで動作し、場面内の書込まれた情報の自動的解釈を可能にするのに十分な解像度で場面を獲得でき、そして典型的に赤緑青RGB出力信号を生成する。3-Dカメラ12と2-Dカメラ14は、全てコンピュータ18のようなプロセッサの制御の下でコンテンツプロジェクタ16と協働する。3-Dカメラ12と2-Dカメラ14を含むシステム10に適合するユニットはプライムセンス社、米国27513ノースカロライナ州Cary,CambayCt.104から入手可能なプライムセンサ登録商標リファレンスデザインである。コンテンツプロジェクタ16はミクロビジョン社、米国6222ワイオミング州Redmond,185thAve.NEから入手可能なPi-coP登録商標ディスプレイエンジンでもよい。ある実施形態では3-Dカメラ12と2-Dカメラ14はプライムセンサ登録商標リファレンスデザインの変化形としてコンテンツプロジェクタ16に統合されてもよい。ある実施形態では、3-Dカメラ12と2-Dカメラ14は、スポットのパターンを物体上に投影しそして投影されたパターンの画像を獲得する赤外線プロジェクタを含む統合モジュールである。あるいは、赤外線プロジェクタは他のモジュール不図示として実現されてもよい。赤外線プロジェクタは2010年8月11日出願の特許文献6及び2010年12月22日出願の特許文献7の教授に従って実施可能であり、これら文献はここに参照され採り入れられる。この暫定出願はまた深さマッピングに必要な赤外線と、可視コンテンツの両方を投影するためにスキャン用ハードウェアを再使用する方法を教授している。プロセッサは一般的に引用されるタイトル3次元場面の分析の特許文献8の教授を使用して場面を分析してもよく、この文献はここに参照され採り入れられる。コンピュータ18は、以下に記載される機能を実行するようにソフトウェア内でプログラムされる汎用コンピュータプロセッサを有してもよい。ソフトウェアは電子形態で、例えばネット経由でプロセッサにダウンロードされてもよく、或いは、非一過性接触可能記憶媒体、例えば、光学、磁気、又は電子的記憶媒体上に提供されてもよい。さらに或いは、画像化機能の一部又は全部がカスタム、準カスタムIC又はプログラム可能デジタル信号プロセッサDSPのような専用ハードウェア内に実装されてもよい。コンピュータ18は例示のため3-Dカメラとは別のユニットとして図1に示されるが、コンピュータの一部又は全部の処理機能は3-Dカメラ12と2-Dカメラ14の躯体に又は躯体内に付属する適切な専用回路により実行されてもよい。以下の議論に見られるようにシステム10の要素は小型化されそして着用可能モニタに包含可能であり、それによりユーザは動き回って自由に、ほぼリアルタイムで場面シーンと相互作用できる。いずれの場合も3-Dカメラ12と2-Dカメラ14はセンサ要素として機能し、場面ユーザとその周辺を観察する。コンピュータ18は、認識要素として機能し、これら周辺内の場面とユーザの相互作用をコンテンツプロジェクタ16により提供された情報により媒介され又は提供されるように理解する。コンピュータ18はプライムセンサレファレンスデザインと共にプライムセンス社から入手可能なNite登録商標ミドルウェアを使用してもよい。例えば、プライムセンサレファレンスデザインはコンピュータ18のアプリケーションレイヤに制御ウィジェットを提供し、それによりユーザの所作又は姿勢を既知の決定論的アプリケーション入力に翻訳するアプリケーションプログラムインタフェースAPを提供する。そのミドルウェアは、赤外線プロジェクタを有する3-Dカメラ12と2-Dカメラ14を含むシステム10の構成要素により生成されたデータに画像処理操作を実行し、ユーザ20及び獲得された場面の3次元マップを再構築する。3次元マップとはある所与の物体の表面を表わす1組の3次元座標を意味する。3次元マップのある形態は深さ画像又は深さマップと呼ばれ、そこでは各ピクセルは、2次元画像でのその点の輝度及び色彩ではなく、カメラから場面内の対応する点までの距離を示す1つの値を有する。コンピュータ18はその後、対照実体の表面上の点の3次元座標を、パターン内のスポットの横方向ずれに基づいて三角法により計算する。代表的なアプリケーションでは、3-Dカメラ12で獲得された情報は、コンテンツプロジェクタ16を駆動するコンピュータ18により処理される。コンピュータ18はユーザに対し自然な又は作為的な経験を生成するように設計されたプログラムに従って作動してもよい。図1に示すように、システム10は場面内の1つの本を認識し、そして販売オファー2475.99ドルで買いましょうをその本22の上に投影した。ユーザはそのオファーに手の所作ジェスチャーで応答していて、それはコンピュータ18への入力としての役割を果たす。コンピュータ機器のジェスチャー制御は特許文献5により公知であり、その文献はここに参照され採り入れられるが、それはまた仮想画像空間への場面の投影の方法を教授している。ジェスチャー制御はNiteミドルウェアの機能性に含まれ、その機能は3-Dカメラ12と2-Dカメラ14によって獲得されたユーザ20の所作、例えば販売オファーに対する応答、を解釈する。さらに、ユーザ20と本22及び販売オファー24との相互作用が、例えば本22を掴むユーザ20により発現すると、コンピュータ18内で実行される凝視識別モジュールが、ユーザ20が本22を見ていると認識してもよい。獲得された2次元画像を処理することにより、本のタイトルがコンピュータ18内で認識、解釈可能である。その後、最適投影パラメータを計算して、書評が本22の上に投影されてもよい。ユーザ20は投影された書評を、あたかもそれをディスプレイスクリーン上で見ているようにスクロールし、書評と相互作用してもよい。このように、システム10は、ユーザ20と協働して、ユーザ20の利便のために、本22を特別なやり方で仮想情報スクリーンに変換する。システム10はディスプレイスクリーン28及びキーボード30やマウス32のような従来技術の入力装置を選択肢として含んでもよく、それらは管理目的、例えば、システム構成のため及びユーザ20によるシステム10の作動制御のためのユーザインタフェースを提供する。図2は発明の1実施形態に従う図1のシステム10のブロック図である。場面34が2つのカメラ2-Dカメラ36と3-Dカメラ38により同時に獲得され、それらのカメラは別個のユニットでも、組合わされたユニットに統合されていてもよい。或いは、場面は2-Dカメラ36のみにより獲得され、又は3-Dカメラ38のみにより獲得されてもよいが、いずれの場合も獲得された画像に対し画像解析が行われる。上述のようにこれらカメラはプライムセンサレファレンスデザインとして実現されてもよい。2-Dカメラ36と3-Dカメラ38によるデータ出力はプロセッサ40への入力であり、それらはミドルウェア、例えば上記のNiteミドルウェアを実行する。ミドルウェアは2つのカメラに獲得された場面を重ね合わせる。ミドルウェアは物体分析モジュール42を含み、それは場面34内の物体を識別し、そしてそれら物体の上にコンテンツを投影することに関するそれら物体の適合性を判断する。ミドルウェアのもう1つの要素であるプロジェクタ制御モジュール44は場面34内の物体、例えば物体46の座標と特性を変換し、そして投影用の1つの画像を準備する。モジュール44はプロジェクタ48に対し適切な命令を発し、それにより画像、一般的に情報コンテンツを含む、が物体46上に投影される。命令は物体46の寸法、姿勢及び構成に起因する歪みに対する補正を含んでもよい。さらに或いはプロジェクタ48はこのような歪みを補正するそれ自身のメカニズムを有してもよい。ユーザの位置と姿勢は投影パラメータを計算する時に考慮されてもよい。例えば、上記のように、投影されたコンテンツへの視線ベクトルはユーザが場面内で動くと変化する。投影パラメータは、ユーザにとって現実的な経験であると装うため、このような変化を補償するように調整される、例えば、寸法、視差及び類似の歪みに対して調整されてもよい。このような調整の1つの例は、3次元物体は異なる方向から見ると異なって見える、即ち、物体の異なる側面又は異なる2次元投影が観察者に見えるようになる、という事実に対する調整である。投影コンテンツは視線ベクトル及び仮想物体に対するユーザの位置の関数として調整可能であり、それにより実際に観察者がいる中で物体が実際に存在するという現実的な経験を生成する。視線ベクトルは周知の既存技術により観測可能である。例えば、シースルーの眼鏡に埋め込まれた装置の場合は、ヘッド位置の向きは、世界の装置に対する厳密な位置合わせにより得られる。視線方向はまた、例えば、Tobiiテクノロジー社、バージニア州フォールズチャーチ、ワシントンストリート510N、スイート200から入手できる視標追跡製品を使用して測定可能である。視線はその後センサによって得られた3次元情報を使用して物体の座標に翻訳されてもよい。物体認識体の部位を識別し追跡する技術はタイトル3-Dマップからの骨格の抽出のよく指定される特許文献9により公知であり、この文献はここに参照され採り入れられる。本質的に、これはヒト類似形状を含む場面の深さマップの一時的シークエンスの受取りを伴う。デジタルプロセッサは少なくとも1つの深さマップを処理し、頭又は手のような目的の身体部位の位置を発見し、そして位置に基づいてヒト類似形状の寸法を推定する。プロセッサは推定寸法に基づいてヒト類似形状の動きをシークエンスに亘って追跡する。これらの教授は上記のNiteミドルウェアに採用され、そして当業者により他の公知の認識ルーチンを組み合わせて改良可能である。例えば、体の頭部を識別する場合、3次元形態を分割しそして分析して右腕と左腕を識別し、その後それらの腕の間の空間を検索して頭部を見つけてもよい。さらに或いは、認識技術が使用されてもよい。深さマップは頭又は他の物体の2次元画像と重ね合わされてもよい。プロセッサはパターンまたは顔認識技術を適用して2次元画像内のヒト類似形状の顔を識別してもよい。2次元画像内の顔の位置は3次元形態の頭の位置と関連付けられる。同一の技術を使用して、場面全体が分析され、分割され、既知のカテゴリーの物体が、画像をその上に投影する物体の候補として識別される。物体プロセッサ図3は本発明の1実施形態に従って構築され、稼動するプロセッサ40図2の構成要素である、例示的物体分析器56の一部分の機能的要素を示すブロック図である。処理装置50は選択肢としてのホストコンピュータ54へのUSBポート52を有する、単一の半導体基板上の独自の集積回路に組み立てられてもよい。処理装置50は物体分析器56を含む他のインタフェースをも有してもよい。物体分析器56はデータベース58にリンクされ、それは物体分析器56に認知されそして評価されるべき物体の記述を含むライブラリを保持する。当業者は処理装置50の他の構成を構成可能であろう。上述のように、処理装置50は命令メモリ60及びデータメモリ62内に存在するミドルウェアにより制御可能である。深さプロセッサ64は3Dカメラ12図1が捕獲した情報を処理して深さマップを生成する。深さプロセッサ64はメモリ66内の独自のメモリ空間を使用する。以下に示すように、このメモリはコントローラ68からもアクセス可能であるが、一般的にはホストコンピュータ54からはアクセス不能である。むしろ、深さプロセッサ64はアプリケーションプログラムインタフェースAPI経由でホストコンピュータ54によりプログラムされる。深さプロセッサ64は深さCMOSインタフェース70経由で3Dカメラ12図1から入力IRデータを受け取る。深さプロセッサ64はビデオデータを処理して連続する深さマップ、即ち深さデータのフレームを生成する。深さプロセッサ64はこれらのデータをUSBFIFO先入れ先だしユニット74内の深さFIFOメモリ72にロードする。深さ入力と処理操作に並行して、カラー処理ブロック76が入力カラービデオデータを2Dカメラ14図1からカラーCMOSセンサインタフェース78経由で受け取る。カラー処理ブロック76は生の入力データをRGBビデオデータの出力フレームに変換し、これらのデータをUSBFIFOユニット74内のRGBFIFOメモリ80にロードする。或いは、カラー処理ブロック76がYUV又はバイエルモザイクフォーマットなどの他のフォーマットのビデオデータを出力してもよい。USBFIFOユニット74は種々のデータ供給元とUSBコントローラ82との間のバッファレベルとして動作する。ユニット74は種々のデータタイプを異なるクラスUSBビデオクラスやUSB音響クラスなどに従ってパックしフォーマットし、またさらにUSBバンド幅データ損出を防止するように働く。それはUSBコントローラにデータを送信する前に、USBプロトコル及びフォーマットに従ってデータをUSBパケット内に配列する。高度高パフォーマンスバスAHBのような高帯域幅バスマトリックス84が処理装置50の構成要素間のデータ輸送に使用され、特にホストコンピュータ54への転送用のUSBFIFOユニット74からUSBコントローラ82への送信に使用される。AHBはARM社、英国ケンブリッジ市、により発表されたバスプロトコルである。USBFIFOユニット74にパケットが準備済みで、そしてUSBコントローラ82の内部メモリに空きが有る場合、USBコントローラ82はダイレクトメモリアクセスDMAを使用して、データを深さFIFOメモリ72、RGBFIFOメモリ80及び音響FIFOメモリ86から高帯域幅AHBスレーブモジュール88及び高帯域幅AHBバスマトリックス84経由で読み出す。USBコントローラ82はUSBポート経由ホストコンピュータ54への出力のため、カラー、深さ及び音響データを、単一のデータ流にマルチプレクスする。USB通信のため、処理装置50はUSB物理層インタフェース、PHY90を有し、それはUSBコントローラ82により操作されてホストコンピュータ54のUSBポートと適合するUSBケーブル経由で通信してもよい。USBPHYのタイミングは、周知のように水晶振動子92及び位相固定ループPLLにより制御される。或いはUSBコントローラ82は選択肢としてホストコンピュータ54とUSB2.0送受信機マクロセルインタフェースUTMI及び外部PHY96経由で通信してもよい。プロジェクタ制御モジュール98のような種々の外部装置が処理装置50とホストコンピュータ54と協働するため接続してもよく、プロジェクタ制御モジュール98は処理装置50及びホストコンピュータ54から命令を受け取り所望の画像を空間内の特定の座標に投影する。コントローラ68は、ブートアップ、自己診断テスト、構成、電源及びインタフェース管理、及びパラメータ調整を含む、処理装置50の機能の管理に責任を負っている。コントローラ68は、高帯域幅バスAHBマトリックス84上のデータ移動を制御するためのデジタル信号プロセッサDSPコア100及びAHBマスタ102を有してもよい。一般的に、コントローラ68はブート読み出し専用メモリ104からブートし、そしてその後プログラムコードをフラッシュメモリ不図示からフラッシュメモリインタフェース106経由で命令RAM60及びデータメモリ62にロードする。コントローラ68は更に外部コンピュータ110によるデバッグのため、共同テスト行動委員会JTAGインタフェースのようなテストインタフェースを有してもよい。コントローラ68は構成データ及びパラメータを処理装置50の他の構成要素に、高度ペリフェラルバスAPBのような構成登録インタフェース112経由で配布し、コントローラ68は構成登録インタフェース112に高帯域幅バスAHBマトリックス84及びAPBブリッジ114経由で接続している。処理装置50の更なる詳細は前述の特許文献4に記載されている。物体分析図3を引き続き参照して、物体分析器は深さプロセッサ64により作られたデータをカラー処理ブロック76とUSBFIFOユニット74と協働して評価し、3Dカメラ12図1により獲得された場面を評価する。物体分析器56によって実行されるアルゴリズムはホストコンピュータ54内のアプリケーションプログラムにより指示されてもよい。例えば物体分析器56はデータベース58内で特定された場面内の1つ以上の既知の物体を検索し報告するように命令されてもよい。その後ホストコンピュータ54はコンテンツプロジェクタ16図1に画像を、選択された物体上に投影するように命令してもよい。さらに或いは、物体分析器56は、データベース58に頼ることなく、事前設定の判断基準に合致する物体を識別し報告するように命令されてもよい。識別された物体に関して物体分析器56によって通信されるデータは、一般的に物体の寸法と位置及び方向、好適には対照座標系に対する縮尺、ピッチ、ヨー及び回転角度を含む自由度6を有する。この情報によりプロジェクタは、投影された画像を適切に縮尺しそして歪めることにより歪みを補償して、その画像を選択された物体上に投影し、観察者が実質的に歪みの無い画像を見ることが可能となる。投影された画像の構成は、例えばタイトル画像処理装置、画像処理方法及びプログラムの特許文献10から公知である。複雑な光学的装置のコストを無くし、そして簡単に軸外し画像変形のような影響を避けることを可能にするため、画像がソフトウェア内で構成されてもよい。或いは上記のように商業的に利用可能な投影が、歪み制御のための自身の補償を提供してもよい。図4は本発明の1実施形態に従った場面内の3次元物体を識別する方法の例示的フロー図である。説明の利便性のため、方法は図1及び図3の装置に関連して開示されているが、異なる構成にも適用可能である。説明の容易さのため、処理ステップは図4の特定の直線的な順列で示されるが、多くの処理ステップが非同期で並行処理され、又は別の順序で処理可能なことは自明である。当業者は、1つの処理プロセスが代替として多くの相互に関連した状態又はイベント、例えば状態図として表示可能であることを理解しよう。さらに、全ての表示されたステップがプロセスの実行に必要ではないかもしれない。またさらに、詳細の多くはホストコンピュータ54の命令及びアプリケーションプログラムの要求により変化する可能性がある。観察者が本屋にいると仮定する。最初のステップ116においてホストコンピュータ54で実行されるアプリケーションプログラムがテキスト情報を表示する開いた本を識別しようとする。これはデータベース58内の既知の定義を有する3次元物体であり、それは少なくとも1つの一般的に明るい色の平らな表面を有している。3Dカメラ12が起動され、そして3次元の場面が処理装置50の中に獲得される。物体分析器56が場面を評価し、3次元場面内の物体を位置決めし、そして識別する。判断ステップ118において1つの平らな表面が場面内で位置を突き止められたかが判断される。つぎに判断ステップ120に進み、そこで平らな表面が本に対する判断基準に適合するかが判断される。判断基準には、中でも、他の物体との近接度、及び閉じた又は開いた本に対応する幾何学的詳細を含む。判断ステップ120がはいの場合、最後のステップ122に進む。本の座標と向きが物体分析器56によりコントローラ68に報告され、コントローラ68は、プロジェクタ制御モジュール98に対しホストコンピュータ54と協働してアプリケーション判断画像MENU-1を識別された本の上に表示するように命令する。画像は例えばそのアイテムを購入する、又は追加の詳細情報、例えば本の書評、や人気ランキングを獲得する、という選択肢を含んでもよい。実際、3Dカメラ12が本のタイトルの獲得に成功した場合、追加の詳細情報が投影画面に含まれてもよい。ホストコンピュータ54がインターネット経由でローカルの又は分散データベースにアクセス可能であり、又は自動的に問合せすることが出来ると仮定されている。判断ステップ120における判断がいいえの場合、判断ステップ124に進む。場面内に処理すべき物体がまだあるかが判断される。判断ステップ124における判断がはいの場合、判断ステップ118に戻る。判断ステップ124における判断がいいえの場合、方法の第2の状態が始まる。アプリケーションプログラムは、3Dカメラに見える場合、画像がユーザの手に投影される第2の選択肢を選択すると仮定されている。判断ステップ126に進み、場面内に身体部分があるかが判断される。これは上記特許文献10の教授を使用して達成できる。判断ステップ126における判断がはいの場合、判断ステップ128に進み、身体部分が手であるかが判断される。判断ステップ128における判断がはいの場合、最終ステップ130に進み、それはステップ122と類似している。しかしこのステップでは手に異なるメニューMENU-2が投影され、それは、例えば、コンピュータアプリケーションを管理する制御選択肢を含んでもよい。最終ステップ122及び130の両方において、ユーザがコンテンツと相互作用する場合に、ユーザの側に自然な感覚を形成するように画像が構成される。判断ステップ128における判断がいいえの場合、判断ステップ132に進み、場面内にまだ身体部分があるかが判断される。判断ステップ132における判断がはいの場合、判断ステップ126に戻る。そうでない場合、最終ステップ134に進み、従来のメニューが表示スクリーン上に表示される。最終ステップ134は画像をその上に投影する適合する外部の物体が識別できなかったことを意味する。図4の方法は変更可能であり、そして支配的なアプリケーションプログラムの仕様に適合する必要性に基づいて作成されることに留意されたい。種々の物体と画像の認識と優先順位付けは、特定の場面の構成とプログラム自体のニーズを包含するようにプログラムされることが可能である。代替実施形態1この実施形態は第1の実施形態と類似するが、異なる点は、画像の投影のためとユーザがアクセスするための便利な仮想面が提供される点である。図5には、一般的に携帯電話、例えばスマートフォンなどの携帯情報機器138のスクリーン136が示され、それは本発明の実施形態に従って仮想表面上に投影される。このような機器は便利な相互作用及びメディアの使用には小さすぎる。スクリーン136は小型プロジェクタ140及び検知機器142を内蔵し、それらは図1の実施形態における3Dカメラ12とコンテンツプロジェクタ16と同じ機能を果たす。この目的に適したプロジェクタは、例えばミクロビジョン社から入手可能である。この実施形態では、プロジェクタ140は1つの画像を仮想投影面144に投影し、その画像はスクリーン136に比べて拡大されている。操作の1つのモードではプロジェクタ140はスクリーン136上に表示された情報の拡大バージョンを生成してもよい。他の1つのモードでは、検知機器142が外部の場面を獲得する。携帯情報機器138は図4を参照して上記で記載された場面分析方法を実行するように構成されてもよい。この事例では、開いた本146が外部場面内で識別された。携帯情報機器138内で実行されるアプリケーションプログラムは、プロジェクタ140に本146の画像148を仮想投影面144に投影させ、メニュー150を画像148上に重ね合わせる。メニュー150はユーザに本146をセールス価格75.99ドルで購入するか、表示をキャンセルするかを訊ねている。代替実施形態2第1の実施形態では、画像は物理的物体、例えば、本又は手の上の投影として記述された。この実施形態では、プロジェクタはコンテンツを眼鏡のような着用可能モニタ上に投影する機器として実施されている。この実施形態では、図4の最終ステップ122と130は変更される。図6は、本発明の1実施形態に従った装着可能モニタを含む相互作用3次元ビデオディスプレイシステムを示す図である。システムは、それぞれの画像を物体自体ではなく装着可能モニタに投影する。このような機器は、図4を参照して記述された方法によって形成されるコンピュータ生成画像が、生成され、かつ選択肢として現実世界の視野に重ね合わされることを許容する可能性を提供する。このような機器は、一方で外部場面を見ながら、コンピュータ生成画像を部分反射鏡経由で投影することにより動作してもよい。あるいは機器がコンピュータ生成画像と現実世界の視野を電子的に混合してもよい。図6の事例では、ユーザ152は立体画像を表示可能な着用可能モニタ154を着用している。着用可能モニタ154はシステム10図1の構成要素と類似の構成要素を有し、またインタフェースされている。システム10と同様に、着用可能モニタ154は外部場面を分析するように適応されている。この事例では、それは本146を識別し、そして画像148図5と同じ情報を含む画像156を生成する。着用可能モニタ154は分離されたユニットでも、システム10の他の構成要素を包含してもよい。図6の実施形態において、着用可能モニタ154は、小型プロジェクタ158及び検出要素160を含む。さらに或いは、着用可能モニタ154は外部のプロセッサ又は検知装置と無線リンク経由で通信してもよい。着用可能モニタ154として使用可能な着用可能ヘルメット搭載ディスプレイ及びシースルー眼上着用ディスプレイはノベロNovero社のマディソン製品群又はルマスLumus社、2BergmanStreetRehovot76705,イスラエルより入手可能である。画像156は着用可能モニタ154内で実際に形成されるが、ある実施形態では図6に示すように、ユーザ152には、空間の外部領域内に重ね合わされているように観察されてもよい。このような実施形態における着用可能モニタ154は位置決め、頭追跡、及び視標追跡サブシステムを具備してもよい。当業者は、本発明が上記において特に示され記述されたものに限定されないことを理解しよう。本発明の範囲は上記の種々の特徴の組合せやサブ組合せを含み、また上記の記載を読んだ当業者が想起する従来技術にない変形や変更を含む。"