(57)【要約】デバイスは、コンピュータへの入力として、人（または、別のオブジェクト）の動きおよび位置を用いて、人とコンピュータシステムデバイスとの間の、容易で、かつ、妨げの無いインタラクションを可能にする。ある構成において、その表示は、人の動作がユーザの周囲に表示されるように、ユーザの周囲に投影され得る。ビデオカメラおよびプロジェクタは、異なる波長で動作する。そのようなデバイスの使用は、クラブまたはイベントにおける人々のための双方向照射効果、双方向広告表示などを含むが、これらに限定されない。コンピュータ生成文字およびバーチャルオブジェクトは、通行人の動きに反応し、社会的空間およびビデオゲームシステムのための双方向間接照明を生成し、双方向情報空間および芸術設備を作成し得る。パターン化照射および輝度ならびに勾配処理を用いて、ビデオイメージの背景に対してオブジェクトを検出する機能を向上し得る。【選択図】図１
2005500719.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトを検出し、応じた表示を生成するシステムであって、
第１の波長範囲で電磁エネルギーを出力する第１のソースと、
該第１のソースの電磁エネルギーのオブジェクトからの反射を検出する検出器と、
該検出器に結合され、検出された反射を用いて、表示信号を生成するプロセッサと、
第２の波長範囲で電磁エネルギーを出力する第２のソースであって、該第２のソースは、該表示信号に応じて可視表示を生成し、該第１の波長範囲および該第２の波長範囲は異なっている、第２のソースと
を備える、システム。
【請求項２】
前記第１のソースは、可視スペクトルではない光を出力し、前記第２のソースは、該可視スペクトルである光を出力する、請求項１に記載のシステム。
【請求項３】
前記第１のソースは、赤外光を出力する、請求項２に記載のシステム。
【請求項４】
前記第２のソースは、ビデオプロジェクタを含む、請求項１に記載のシステム。
【請求項５】
前記ビデオプロジェクタは、前記オブジェクトの上からイメージを投影する、請求項４に記載のシステム。
【請求項６】
前記ビデオプロジェクタは、前記オブジェクトに隣接する表面にイメージを投影する、請求項４に記載のシステム。
【請求項７】
前記表面は、リア投影システムの一部である、請求項６に記載のシステム。
【請求項８】
前記表面は、フロント投影システムの一部である、請求項６に記載のシステム。
【請求項９】
前記オブジェクトは、人間のユーザを含む、請求項１に記載のシステム。
【請求項１０】
前記第１のソースは、照射のパターンを含む、請求項１に記載のシステム。
【請求項１１】
前記パターンは、ランダムドットパターンを含む、請求項１０に記載のシステム。
【請求項１２】
前記照射のパターンを生成する赤外発光ダイオードクラスタをさらに備える、請求項１０に記載のシステム。
【請求項１３】
影響イメージを判定するプロセスをさらに備え、前記影響イメージは、前記オブジェクトに起因するオブジェクトイメージの周囲の領域を含む、請求項１に記載のシステム。
【請求項１４】
前記可視表示はアイテムを含み、
前記システムは、
前記影響イメージの勾配を判定するプロセスと、
前記勾配を用いて、前記オブジェクトと該アイテムとの間のインタラクションを判定するプロセスと
をさらに備える、請求項１３に記載のシステム。
【請求項１５】
前記可視表示は、文字のレンダリングを含む、請求項１に記載のシステム。
【請求項１６】
人間のユーザのイメージを得るための方法であって、該人間のユーザは、表示されたイメージに隣接しており、
該方法は、
第１の波長の光を用いて、該人間のユーザを照射するステップと、
該第１の波長の光に応じたカメラを用いて、該人間のユーザのイメージを検出するステップと、
該第１の波長とは異なる第２の波長の光を用いて、該表示されたイメージを生成するステップと、
を包含する、方法。
【請求項１７】
多数のカメラが用いられる、請求項１６に記載の方法。
【請求項１８】
少なくとも２つのカメラを用いて立体効果を生じる、請求項１７に記載の方法。
【請求項１９】
プラズマスクリーンを用いて該表示されたイメージを生成する、請求項１６に記載の方法。
【請求項２０】
前記表示されたイメージは、広告を含む、請求項１６に記載の方法。
【請求項２１】
前記表示されたイメージは、ビデオゲームの一部である、請求項１６に記載の方法。
【請求項２２】
前記第１の波長の光をストローブするステップをさらに包含する、請求項１６に記載の方法。
【請求項２３】
イメージ検出および表示についての情報が複数のシステムの間を転送され得るように該複数のシステムを相互接続するステップをさらに包含する、請求項１６に記載の方法。
【請求項２４】
該転送された情報を用いて、２つ以上の表示から単一の表示を作成するステップをさらに包含する、請求項２３に記載の方法。
【請求項２５】
カメラでキャプチャされたイメージ内のオブジェクトを検出する方法であって、
パターン化された照射を用いて、該オブジェクトではなく、背景を照射するステップと、
処理システムを用いて、該背景以外の該オブジェクトを規定するステップと
を包含する、方法。
【請求項２６】
前記パターン化された照射は、ランダムドットパターンを含む、請求項２５に記載の方法。
【請求項２７】
前記パターン化された照射は、チェッカーボードパターンを含む、請求項２５に記載の方法。
【請求項２８】
前記パラーン化された照射は、前記オブジェクトも照射する、請求項２５に記載の方法。
【請求項２９】
カメラでキャプチャされたイメージ内のオブジェクトを検出する方法であって、
パターン化された背景を用いるステップと、
処理システムを用いて、該背景以外の該オブジェクトを規定するステップと
を包含する、方法。
【請求項３０】
オブジェクトのビデオアイテムとのインタラクションを算出する方法であって、
プロセッサを用いて、該オブジェクトの勾配を判定するステップと、
プロセッサを用いて、該ビデオアイテムの境界を判定するステップと、
該勾配および該境界を用いることによって、インタラクションを特定するステップと
を包含する、方法。
【請求項３１】
プロセッサを用いて、前記オブジェクトに起因するエリアの輝度を判定するステップと、
該エリアの輝度および前記境界を用いてインタラクションを特定するステップと
をさらに包含する、請求項３０に記載の方法。
【請求項３２】
前記インタラクションは、前記アイテムを押す人である、請求項３０に記載の方法。
【請求項３３】
前記インタラクションは、前記アイテムを触る人である、請求項３０に記載の方法。
【請求項３４】
前記インタラクションは、前記アイテムを変形する人である、請求項３０に記載の方法。
【請求項３５】
前記インタラクションは、前記アイテムを操作する人である、請求項３０に記載の方法。
【請求項３６】
オブジェクトを検出し、応じた出力を生成するシステムであって、
第１の波長範囲で電磁エネルギーを出力する第１のソースと、
該第１のソースの電磁エネルギーのオブジェクトからの反射を検出する検出器と、
該検出器に結合され、検出された反射を用いて、表示信号を生成するプロセッサと、
第２の波長範囲で電磁エネルギーを出力する第２のソースであって、該第２のソースは、該表示信号に応じた可視表示を生成し、該第１の波長範囲および該第２の波長範囲は異なっている、第２のソースと、
オーディオを出力するオーディオ出力と
を備える、システム。
【発明の詳細な説明】
【背景技術】
【０００１】
（関連出願の相互参照）
本出願は、全ての目的に対して本文書中で十分に説明されるように本明細書中で参照として援用する、「ＩＮＴＥＲＡＣＴＩＶＥ  ＶＩＤＥＯ  ＤＩＳＰＬＡＹ  ＳＹＳＴＥＭ  ＴＨＡＴ  ＵＳＥＳ  ＶＩＤＥＯ  ＩＮＰＵＴ」と称して２００１年６月５日に出願された同時係属中の米国仮特許出願第６０／２９６，１８９号の優先権を主張する。
【０００２】
（発明の背景）
本発明は、一般的にイメージ処理システムに関し、より詳細には、ビデオ表示とのインタラクションを可能にするために人間のユーザのイメージを受信かつ処理するシステムに関する。
【０００３】
イメージ処理は、分析、教育、商業および娯楽の多くの領域において利用される。イメージ処理の一局面は、人間の形状および動きを検出することによる人間−コンピュータインタラクションを含み、イメージとのインタラクションを可能にする。このような処理の適用は、デジタル形状または他のデータを規定する、オブジェクトを描き出す、表現形式を生成する等のために、効果的または面白いイメージとのインタラクティブな方法を利用し得る。
【０００４】
人間の身体の位置および動きを検出することは、「モーションキャプチャ」と呼ばれる。モーションキャプチャ技術によって、人間のパフォーマの動きの数学的記述が、コンピュータまたは他の処理システムに入力される。自然の身体の動きは、運動競技の動きを研究する、後の再生またはシミュレーションのためのデータをキャプチャする、医学的処理のための分析を増強させる等のために、コンピュータへの入力として利用され得る。
【０００５】
モーションキャプチャは利益および利点を提供するが、モーションキャプチャ技術は、複雑になりがちである。いくらかの技術は、人間のアクタが、いくつかの位置における高視認性（ｖｉｓｉｂｉｌｉｔｙ）ポイントを有する特別スーツを着用することを必要とする。他のアプローチでは、無線周波数または他のタイプのエミッタ、多重センサおよび検出器、ブルースクリーン、拡張後処理等を利用する。単純な可視光イメージキャプチャに基づく技術は、通常、明確かつ正確なモーションキャプチャを提供するのに十分に正確ではない。
【０００６】
いくらかのモーションキャプチャの適用により、アクタまたはユーザは、コンピュータシステムによって生成かつ表示されるイメージとインタラクトすることができる。例えば、アクタは、いくつかのオブジェクトの巨大ビデオスクリーン投影の前面に立ってもよい。アクタは、動くことができ、そうでなければ、身体の動きを利用して、オブジェクトを生成し、修正し、かつ、操作する。アクタの動きに基づく異なる効果が、処理システムによって計算され得、かつ、表示スクリーン上に表示され得る。例えば、コンピュータシステムは、表示スクリーンの前面のアクタのパスをトラックし、表示スクリーン上にパスの近似または運動競技の解釈を提供し得る。アクタがインタラクトするイメージは、例えば床、壁または他の表面上であり得る。３次元空間で浮遊し得る、１つ以上のモニタ、投影スクリーンまたは他のデバイス上に表示される。任意のタイプの表示デバイスまたは技術は、ユーザが制御またはインタラクトし得るイメージを表示するために利用され得る。
【０００７】
ポイントオブセール（ｐｏｉｎｔ−ｏｆ−ｓａｌｅ）、小売広告、宣伝、アーケード、娯楽場所等のいくつかの適用では、非常に目立たない方法で訓練されていないユーザ（例えば、通行人）の運動をキャプチャすることが望ましい。理想的には、ユーザは、特別の準備または訓練を必要とせず、システムは、過度の高価な装置を利用しない。また、モーションキャプチャに利用されるシステムでは、好ましくは、アクタは、ユーザに対して不可視であるかまたは検出されないべきである。多くの実世界の適用は、複雑かつ変化する背景および前景のオブジェクト、キャプチャの短い時間間隔、変化する光条件、および、モーションキャプチャを困難にし得る他の要因が存在する環境において作用しなければならない。
【発明の開示】
【課題を解決するための手段】
【０００８】
（発明の簡単な要旨）
本発明は、ユーザ（または別のオブジェクト）の動きおよび位置をコンピュータへの入力として利用して、ユーザおよびコンピュータ表示システムとの間のインタラクションを可能にする。コンピュータは、ユーザの位置および動きに応じた表示を生成する。生成される表示は、動き、修正され、またはそうでなければ、ユーザの身体の動きによって制御され得るオブジェクトまたは形状を含み得る。
【０００９】
本発明の好ましい実施形態では、表示されるイメージは、リアルタイムでユーザの運動の影響を受ける。表示がユーザの周りを投影し得ることにより、そのユーザの運動は、ユーザから放射される効果を生成し、かつ、ユーザに近接した表示領域に影響を与える。または、ユーザがビデオイメージ内のアイテムをノックする、押す、移動する、変形させる、触る等によってビデオオブジェクトに影響を与え得る。双方向イメージを表示するために利用される光とユーザを検出するために利用される光との間のインターフェイスは、実質的に異なる波長の光を利用することによって最小化される。
【００１０】
１つの実施形態では、ユーザは、人間の眼には見えない赤外光によって照射される。赤外光感知カメラは、位置および運動分析のために、ユーザのイメージをキャプチャするように利用される。可視光は、相互通信イメージ、オブジェクト、パターンもしくは他の形状および効果を表示するために、スクリーン、ガラスまたは他の表面上にプロジェクタによって投影される。表示の表面がユーザの周りに配列され得ることにより、表示内のそれらの物理的な存在は、それらのバーチャルな存在に対応し、バーチャルオブジェクトとの物理的な接触およびインタラクションを体験させる。
【００１１】
本発明の１局面は、単純で非可視の統一された「投光照明（ｆｌｏｏｄｌｉｇｈｔ）」ではなくパターン化された照明を利用し得る。パターン化された照明によって、チェッカーボード、ランダムドットパターン等のパターンが投影される。カメライメージを解釈し、ある場面における背景および／または他のアイテムからオブジェクトを検出するために、コンピュータ上で実行する処理によって利用される。パターンは、（検出されるべきオブジェクト上に影響を与えないように）背景として生成され得、または、パターンは、検出かつモーションキャプチャされるべき背景、前景およびオブジェクトを照射するようにカメラの可視のシーンの全てを介して投影され得る。
【００１２】
パターン化された照明を達成する１つの方法は、スライドプロジェクタにおける赤外ＬＥＣクラスタまたは他の非可視光ソースの利用を含む。別のアプローチは、パターンを生成するために、偏向され、シャッターされ、スキャンされる等の赤外線ビームを利用し得る。
【００１３】
パターン化された照明を達成するための別の方法は、規則的な「投光照明」を利用するが、カメラのそれぞれの周波数で黒い（ｄａｒｋ）かまたは高度に反射性のあるインク、色素または塗料を利用して、上記のパターンをカメラの可視領域にマークすることである。このインク、色素または塗料は、表示の美しさを改善するように、人間の眼に不可視にされ得る。
【００１４】
本発明の別の局面は、オブジェクト−イメージのインタラクションを判定するために、勾配アプローチを利用する。「影響イメージ」は、勾配オーラまたはグレースケール遷移を検出されたオブジェクトの周囲に形成することによって形成される。検出されたオブジェクトが動く際に、勾配オーラは、リアルタイムで計算される。勾配オーラがビデオイメージまたはアイテムに影響を与える際に、影響を受けるアイテムの領域における明度および勾配が計算される。インタラクション（例えば、アイテムを押す）の強度および方向は、それぞれ、影響を受ける領域の明度および勾配の関数である。
【００１５】
１つの実施形態において、本発明は、オブジェクトを検出し、応じた表示を生成するシステムを提供する。本システムは、第１の波長範囲で電磁エネルギーを出力する第１のソースと、第１のソースの電磁エネルギーのオブジェクトからの反射を検出する検出器と、検出器に結合され、検出された反射を用いて、信号表示を生成するプロセッサと、第２の波長範囲で電磁エネルギーを出力する第２のソースであって、第２のソースは、表示信号に応じて可視表示を生成し、第１の波長範囲および第２の波長範囲は異なっている、第２のソースとを備える。
【００１６】
別の実施形態では、本発明は、カメラによってキャプチャされるイメージでオブジェクトを検出する方法を提供する。本方法は、パターン化された照射を利用して、オブジェクトと背景を異なるように照射するステップと、処理システムを利用して、背景以外のオブジェクトを規定するステップとを包含する。
【００１７】
別の実施形態では、本発明は、オブジェクトのビデオアイテムとのインタラクションを算出する方法であって、プロセッサを用いてオブジェクトの勾配を判定するステップと、プロセッサを用いてビデオアイテムの境界を判定するステップと、勾配および境界を用いることによってインタラクションを識別するステップとを包含する。
【発明を実施するための最良の形態】
【００１８】
（本発明の詳細な説明）
本発明のいくつかの構成が、以下に説明される。一般的に、本発明は、第１の光源を用いてユーザまたは他のオブジェクトを照射する。第１の光源は、人間に不可視である光を利用する。例えば、赤外または紫外光が利用され得る。第１の光源の波長の範囲の光を感知するカメラを利用して、第１の光源によって照射されるユーザを検出する。コンピュータ（または、他の処理システム）を利用して、検出されたオブジェクトイメージを処理し、表示のイメージを生成する。第２の光源（例えば、プロジェクタ、ビデオスクリーン等）を利用して、生成される表示イメージを人間のユーザまたは観測者に表示する。表示されるイメージは、カメラのオブジェクト検出との干渉を最小化する波長にある。典型的には、可視スペクトルは、イメージを表示するために利用される。
【００１９】
好ましい実施形態では、表示は、ユーザのバーチャルな存在がユーザの物理的な存在と一直線になるようにユーザを囲む。従って、表示上のバーチャルなシーンは、ユーザの周囲に物理的な位置を有し、ディスプレイ内のユーザの動きは、バーチャルシーン内のユーザの表現の動きと同一になる。例えば、ユーザは、バーチャルオブジェクトの物理的位置に影響を与え得、このことにより、バーチャルな表現に、コンピュータシステム内のバーチャルなオブジェクトを触らせ得ることがわかる。本明細書中における単語「触る（ｔｏｕｃｈ）」または「触っている「ｔｏｕｃｈｉｎｇ）」の利用は、人間およびイメージアイテム等のオブジェクトとの物理的な接触を意味しない。むしろ、触ることの概念は、物理的空間におけるオブジェクトの位置およびアクションが、生成されるイメージ内の動くアイテムの効果を含む、生成されるイメージ内の効果に変換されることを意味する。
【００２０】
表示されるイメージまたはアイテムは、オブジェクト、パターン、形状もしくは任意の可視パターン、効果等を含み得る。本発明の局面は、クラブまたはイベント中の人間に対する双方向照明効果、通行人の動きに反応する双方向広告表示、文字、およびバーチャルオブジェクト、レストラン、ショッピングモール、運動競技場、小売店、ロビーもしくは公園等の公の空間用の双方向の周囲の照明、ビデオゲームシステム、ならびに、双方向情報表示等の用途のために利用され得る。他の用途が可能であり、本発明の範囲内におさまる。
【００２１】
図１は、同時に位置するカメラおよびプロジェクタを利用した本発明のフロント投影実施形態を示す。図１において、人間１は、赤外（または他の非可視光）ランプ２によって照射される。人間のイメージは、赤外（または他の非可視光）カメラ３によって撮影される。この信号は、リアルタイム４でコンピュータ５に送信される。コンピュータは、オブジェクト検出アルゴリズムを実行し、リアルタイムでビデオ効果を生成する。この効果は、リアルタイムでビデオプロジェクタ７に送信される６。プロジェクタは、その結果生じるイメージをスクリーン８またはいくつかの他の表面上に投影する。ビデオ効果は、その後、スクリーン上にリアルタイムで表示され９、人間と一直線に並べられる。
【００２２】
図２は、本システムの頭上投影構成を示す。コンポーネント１０は、前述のシステムを含む。コンポーネント１０は、ここでは垂直に備え付けられたところが示されるが、１０内のカメラ、プロジェクタおよび光源はまた、水平にも備え付けられ得、鏡によって下方に方向を変えられ得る。地面上で動く人間１１は、人間の周囲の地面１２上に投影されるビデオ信号を有し得る。人間自身の影は、プロジェクタが頭の真上にある場合は、最小量のイメージを覆い隠す。
【００２３】
図３および図４は、カメラおよびプロジェクタのための２つより多い代替の構成を示す。両図では、カメラ２０は、スクリーン２３正面の人２２等のオブジェクトをキャプチャする。カメラから見た角度は２１で示される。図３では、プロジェクタ２５は、スクリーンの背後に配置される。プロジェクタ２４からのキャスト光は、両側からスクリーン上で見られ得る。図４では、スクリーンに対して斜角でプロジェクタ２５が存在し、その光円錐２４が示される。これらの両方の構成は、投射された像を妨げる影がない可能性をより大きくする。
【００２４】
上記にこの構成で説明されたように、ビデオカメラは、コンピュータに入力するために特定の位置で場面をキャプチャするために使用される。ほとんどのデバイスの構成では、カメラは、出力ビデオディスプレイの部分を映す。望ましくないビデオフィードバックを回避するためには、ビデオディスプレイによって使用されない波長でカメラが動作し得る。ほとんどの場合、ディスプレイは、可視光スペクトルを使用する。この場合、カメラは非可視光（赤外光等）波長で撮影されなければならず、従って、ビデオディスプレイ出力が検出されない。
【００２５】
ビデオ撮影された場面は、カメラの波長の光で照射されなければならない。赤外光の場合、太陽光、加熱ランプ、赤外ＬＥＤを含む光源が、場面を照射するために使用され得る。これらの光は、任意の場所に配置され得るが、これらの光からの擬似的な影のカメラのビューは、カメラに近接して光源を配置することによって最小化され得る。以下に説明されたパターン化された照射とは対照的に、１つ以上の光などの光源は、均一な照明を用いてオブジェクトを照射し得る。好適な実施形態では、ビデオ信号は、リアルタイムでコンピュータにエクスポートされる。しかし、他の実施形態は、リアルタイムまたはほぼリアルタイムで達成する必要はなく、イメージを表示するかなり前に、オブジェクトまたはビデオイメージ（すなわち、ディスプレイイメージ）を処理し得る。
【００２６】
このコンポーネントがモジュラーであるように設計される。以前のコンポーネントからのビデオ入力を利用し、そしてその結果をビデオディスプレイに出力する任意のコンピュータソフトウエアが本明細書中で使用され得る。
【００２７】
このコンポーネントのほとんどの例は、２つの部分を有する。第１の部分は、静的背景から可動オブジェクトの検出を処理する一方で、第２の部分は、ビデオ出力を発生させるためにオブジェクト情報を利用する。各部分の多くの例が本明細書中で説明されるが、これらの例は、単に例示的であることを意味するに過ぎず、決して排他的ではない。
【００２８】
第１の部分では、背景が何であるかにかかわらず、静的背景から可動オブジェクト（例えば人々）を分離するために、ビデオカメラからの生イメージがリアルタイムで処理される。この処理は以下のように行われ得る。
【００２９】
第１に、ビデオカメラからの入力フレームが、データの量を低減し、検出プロセスを簡略化するためにグレイスケールに変換される。次に、入力フレームは、ノイズを低減するためにわずかに不鮮明にされ得る。
【００３０】
長期間にわたって移動しない任意のオブジェクトが背景であると推定される。従って、照明または背景条件を変化させるように最終的に適応させることができる。背景のモデルイメージは、多くの方法によって生成され得る。多くの方法の各々は、ある時間範囲にわたって入力フレームを調べる。一方法では、最後のいくつかの入力フレーム（またはそのフレームのサブセット）は、平均し、メジアンを生成し、一定の輝度の期間を検出し、または他のヒューリスティクスのいずれかによって、背景のモデルを生成するように調べられる。入力フレームが調べられる時間の長さは、背景のモデルが入力イメージの変化に適応するレートを決定する。
【００３１】
別の方法では、現在のフレームの重み付き平均および以前の時間ステップから背景モデルを計算することによって、背景モデルが各時間ステップ（またはより頻繁に）において生成される。現在のフレームの重みは、この計算では比較的小さい。従って、実際の背景の変化は、背景モデルに徐々に取り込まれる。この重みは、背景モデルが入力イメージの変化に適応するレートで変更するように調整され得る。
【００３２】
関心のあるオブジェクトは、背景からの輝度が異なることが推定される。各時間ステップにおいてオブジェクトを見出すために、現在のビデオ入力が背景のモデルイメージから減算される。特定の位置におけるこの差の絶対値が特定の閾値よりも大きい場合、その位置がオブジェクトとして分類され、そうでなければ、背景として分類される。
【００３３】
第２の部分は、イメージのオブジェクト／背景分類（恐らく他のデータに加えて）を入力として取得する任意のプログラムであり得、この入力に基づくビデオイメージを恐らくリアルタイムで出力する。このプログラムは、無数の形態を取り得、従って、コンピュータアプリケーションとして広く定義される場合に存在する。例えば、このコンポーネントは、検出されたオブジェクトの形状のスポットライトを生成するのと同様に簡単であり得るか、またはオブジェクトとして検出された人々によってなされたジェスチャーを介して制御されたペイントプログラムと同様に複雑化される。さらに、アプリケーションは、音声、温度、キーボード、入力等の入力の他の形態、およびオーディオ、触覚、仮想現実、芳香等の出力のさらなる形態を使用し得る。
【００３４】
アプリケーションの１つの主要なクラスは、オブジェクト／背景分類を入力として使用する特殊効果を含む。例えば、星、線、または他の形状が「オブジェクト」として分類された位置のランダム部分における出力ビデオイメージにおいて描画され得る。次いで、これらの形状は、経時的に徐々に消えるように設定され得、それにより、人々が動くと、人々の後ろに過渡的な軌跡を残す。以下は、同じクラスにおける他の効果の例である。
【００３５】
−オブジェクトの周りの輪郭およびリップル
−オブジェクトの存在によって変形されるグリッド
−フレームおよびウインド（ｗｉｎｄ）のシミュレーション、およびオブジェクトに適用された他のマトリクス畳み込み
−別個に検出される、音楽のビートにパルスを与える特殊効果
アプリケーションの別の主要なクラスは、現実オブジェクトが仮想オブジェクトおよび文字と相互作用することを可能にする。例えば、ダックリング（ｄｕｃｋｌｉｎｇ）の群を示すイメージがディスプレイの正面を歩く任意のリアルオブジェクト（例えば人）の背後に追従するようにプログラムされ得る。
【００３６】
さらに、カメラの正面を動く人々によってプレイされ得るコンピュータゲームは、アプリケーションの別のクラスを形成する。
【００３７】
しかし、このリストは排他的ではない。すなわち、プログラム可能であるように設計され、従って、任意のアプリケーションを実行し得る。
【００３８】
以前のコンポーネントからソフトウエアを処理する出力が視覚的に表示される。可能なディスプレイは、ビデオプロジェクタ、テレビジョン、プラズマディスプレイ、およびレーザショーを含むが、これらに限定されない。表示されたイメージは、ビデオカメラの入力レンジを用いて調整され得、これにより、ビデオエフェクトは、これらを引き起こす人々の位置を調整する。ビデオカメラのいくつかの構成が、非可視光でオブジェクトを検出し得るため、カメラを妨害するディスプレイの問題が避けられる。
【００３９】
異なるコンポーネントに対して多くの可能な構成がある。例えば、カメラおよび多くのビデオプロジェクターは、同じ場所に位置して、同じ方向を指し示され得る。カメラおよびプロジェクターは、次いで、図１に示されるように、壁を指し示され得、図２に示されるように、地面を指し示され得、ミラーを用いて再び向けられ得、または、任意の他の面を指し示され得る。あるいは、プロジェクターは、図３に示されるようにスクリーンの背後に置かれてもよい。これにより、その表示が図１の表示と同一となるが、人物がもはや投影を邪魔しないので、その人物は、影を作らない。図４に示すように、スクリーンに対して斜めの角度にプロジェクターを置くことによって、影も防ぐことができる。ビデオディスプレイは、また、大画面表示テレビ、プラズマディスプレイ、または、ビデオ壁であってもよい。上記の全ての構成では、ビデオディスプレイがビデオ入力と一列に並んでいるが、このことは、必ずしも必要ではない。すなわち、ビデオディスプレイは、任意の場所に置かれ得る。前述のリストは、排他的なものではない。すなわち、多くのさらなる可能な構成が存在する。
【００４０】
全システムは、ネットワーキングされ得、ビジョンの情報および処理ソフトウェアの状態の情報をシステム間で交換することができる。従って、あるシステムのビジョン信号で検出されたオブジェクトは、別のシステムでの処理ソフトウェアに影響し得る。さらに、あるシステムのディスプレイのビジョンアイテムは、他のシステムに移動し得る。複数のシステムのディスプレイが共に配置されて、これらのディスプレイが１つのより大きなシステムを形成する場合、オブジェクトおよび相互作用がディスプレイの境界を介して継ぎ目無く移動して、複数のシステムが１つの非常に大きなシステムであるかのように機能するように、複数のシステムが作られ得る。
【００４１】
ビジョンシステムに伴うある共通する問題は、カメラとは全く異なる角度からのカメラの視界周辺の制御不可能な照射（例えば、日光）が存在する場合、オブジェクトは、地面に影を作ることである。これらの影が十分に強い場合、ビジョンシステムは、これらの影をオブジェクトと間違い得る。これらの影が検出されて、カメラの光源からのストロボによって取り除かれてもよい。周辺の光のみを含むカメラ入力イメージを、周辺の光とカメラの光との両方を含むカメラ入力イメージから引くことによって、カメラの光のみが用いられているかのように（従って、検出可能な影を周辺の光から排除している）シーンを捉えるイメージをシステムは生じる。
【００４２】
並行照射またはパターン化マーキングを用いることによって、カメラでキャプチャされたイメージによってオブジェクトを検出する際のさらなる正確さが得られる。
【００４３】
コンピュータ用の１つのフラッドライト照射システムを用いることの１つの欠点は、カメラによってビジョンされるオブジェクトの色が非常に似ている場合、オブジェクトを検出することが非常に困難であり得るということである。カメラがモノクロームで動作する場合、オブジェクトと背景とが同じものに見える可能性が高い。
【００４４】
パターン化されたオブジェクトを用いて、カメラのビジョン可能な領域を覆うことによって、オブジェクト検出が改善され得る。近接して混じった２つ以上の色を含むパターンが用いられる場合、他のオブジェクトが同様の見た目を有することはほとんど起こり得ない。なぜなら、パターンの少なくとも１つの色は、周辺のオブジェクトの色と異なって見える。パターン化されたオブジェクト（例えば、スクリーン）が背景として用いられる（検出されるべきオブジェクトは、背景の前にある）場合、パターン化されたスクリーンの前を通過するオブジェクトは、ビジョンアルゴリズムによってより容易に検出される。
【００４５】
例えば、赤外線ビジョンへの適用の場合、パターン化されたオブジェクトは、人間の目に白く見えるが、人間の目にはビジョン不可能であるがカメラにはビジョン可能な明暗のチェックのパターンを含む背景のマットであり得る。可視スペクトルにはないパターンを用いることによって、パターン化されたマットは、システムの美観と干渉しない。表示システム（例えば、投影ビデオ）は、上記のように、出力イメージをマット上に投影し得る。コンピュータシステム等の処理システムで実行するシステムは、ビジョンアルゴリズムが任意の他の背景を学ぶ様態と同じ様態でパターン化された背景を学び得るが、背景パターンが提供され得、マットの前でより容易にオブジェクトを検出する。また、背景光の明るさの変化に適応するシステムの能力は、逆に影響され得ない。
【００４６】
パターン化された照明も、光源からカメラのビジョン可能な領域上に投影され得る。カメラおよおび可視不可能な光源が異なる、オフセットした場所にある限り、視差効果によって、投影されたパターンについてのカメラのビジョンは、オブジェクトがカメラのビューイングエリアを通して移動するにつれて、歪めさせられる。この歪みによって、類似する色を有するオブジェクトが互いに際立つことが助けられる。カメラから見られる２つのイメージ間の差がある場合、その結果は、２つのイメージの間で現れた、消えたまたは移動された任意のオブジェクトの形状を示す。背景の前にあるオブジェクトのイメージが背景のみのイメージから差し引かれる場合、その結果は、背景がある場所ではゼロのイメージ、および、背景がない場所ではゼロではないイメージとなる。この技術は、本明細書中に記述された本発明の他の局面と共に用いられ得る。
【００４７】
パターン化された光源は、いくつかの手段を用いて達成され得る。１つの方法は、赤外線発光ダイオード（ＬＥＤ）クラスタ、または、可視ではない別の光源をスライドプロジェクターに用いることである。レンズのセットは、所望のパターンを含むスライドを通して、光源を焦点に集めるように用いられ、これにより、パターンのイメージをカメラのビューイングエリアに映す。別の方法では、赤外線レーザビームは、カメラのビューイングエリアに光のパターンを生成するために、レーザパターン生成機または他の散乱デバイス上に照らされ得る。光は、パターンを達成するために、偏光、遮断、スキャン等され得る。多くの他の方法が可能である。
【００４８】
パターン化された光源はまた、３−Ｄコンピュータ映像に対して有効である。Ｍａｒｒ−Ｐｏｇｇｉｏアルゴリズム等の３−Ｄコンピュータ映像の技術は、若干異なる角度から取られた同じシーンの２つのイメージを入力として得る。これらのイメージに対するパターンは、マッチアップされて、変位量（つまり、イメージの各点におけるカメラからの距離）を決定する。均一な色のオブジェクトを取り扱う際に、このアルゴリズムの性能は、劣化する。なぜなら、均一な色によって、イメージの対における対応するセクションをマッチアップすることが困難となるからである。従って、光源をパターン化することによって、いくつかの３−Ｄコンピュータ映像アルゴリズムの距離評価が改善され得る。
【００４９】
これらの３−Ｄ映像アルゴリズムへの２つの入力イメージは、通常、シーンで指し示されたカメラの対を用いることによって生成される。しかし、ただ１つだけのカメラを用いることも可能である。第２のイメージは、投影されたパターンのうちの全体的に歪められていないバージョン（以前に公知である）であり得る。このパターンのイメージは、第２のカメラがパターン化された光源と丁度同じ位置に置かれたとした場合に、その第２のカメラが見るものと、基本的に同一である。従って、１つのカメラビュー、および、投影されたパターンは、共に、３−Ｄ映像アルゴリズムへの入力として用いられ得る。あるいは、第２のイメージは、同じカメラから取られる、背景のみのイメージであり得る。
【００５０】
複数の異なった種類のパターンが用いられ得る一方で、高解像度ランダムドットパターンは、２Ｄおよび３Ｄ映像の両方に対して特定の有利な点を有する。ドットパターンがランダムであるため、ドットパターンが著しい大きさである各セクションが、任意の他のパターンのセクションのように見えることはまずない。従って、ビューイングエリアにおけるオブジェクトの存在によって引き起こされるパターンのずれは、そこにオブジェクトを有しないパターンと類似に見えることはまずない。これは、パターンにおけるずれ、従ってオブジェクトを検出するビジョンアルゴリズムの能力を最大化する。グリッド等の規則的なパターンを用いることによって特定の困難が引き起こされ得る。なぜなら、パターンの異なったセクションは同一であり、ずれたパターンを、多くの場合、ずれていないパターンのように見せるからである。
【００５１】
図５Ａ〜図５Ｄは、オブジェクトを検出する際のランダムドットパターンの有用性を示す。図５Ａは、通常の照明下にいる人の絵を示す。背景に類似の輝度を有し、これは検出を困難にする。図５Ｂにおいて、ランダムドットパターンは、カメラの近傍の光源から背景に投影される。人がこのパターンの前に立った場合、図５Ｃに示されるように、この人から反射されたパターンがずらされる。図５Ｂにおけるイメージと図５Ｃにおけるイメージとの間の差異をとることによって、その人の強い信号を有するイメージエリアを規定する図５Ｄのイメージが取得される。
【００５２】
オブジェクト検出を改善するために他のアプローチが用いられ得る。例えば、光源は、周期的に「ストローブされる（ｓｔｒｏｂｅｄ）」か、またはオンおよびオフされ得、影の検出は、他の光源（例えば、周囲光）が原因で、より容易にされる。
【００５３】
一旦オブジェクトが検出および規定されると、好適な実施形態は、オブジェクトとイメージアイテムとのインタラクションの程度および方向を判定するために、勾配オーラを用いる。
【００５４】
図６Ａは、ビデオオブジェクトとインタラクションする人のユーザを示す。
【００５５】
図６Ａにおいて、オブジェクト３０４が検出され、輪郭の形態で示される。コンピュータの処理範囲におけるオブジェクトの１表現は、図６Ａにおいて示される輪郭鮮明度（ｏｕｔｌｉｎｅ  ｄｅｆｉｎｉｔｉｏｎ）を用い得る。ビデオ画面３０２は、ボールのイメージ３０６等のいくつかのイメージアイテムを表示する。
【００５６】
図６Ｂは、図６Ａの３０８のエリアの影響イメージを示す。
【００５７】
図６Ｂにおいて、逐次的に大きくなる輪郭エリアを生成するためにユーザの脚３２０および下腿の輪郭イメージが用いられる。もとの輪郭エリア３２０の領域には、白色に対応するピクセルの輝度の大きい値が割り当てられる。各連続的輪郭エリア３２２、３２４、３２６、３２８、３３０は、漸進的に小さくなる値が割り当てられ、従って、初期の輪郭（白色）エリアから遠く離れた点が小さいピクセル値を有する。任意の数の輪郭エリアが用いられ得ることに留意されたい。さらに、輪郭エリアのサイズおよび増分は、所望に応じて変更され得る。例えば、不連続なエリアではなく連続的な勾配を用いることが可能である。すべての輪郭エリアの集まりは「影響イメージ（ｉｎｆｌｕｅｎｃｅ  ｉｍａｇｅ）」と呼ばれる。
【００５８】
影響イメージは、異なったイメージアイテムと比較される。図６Ｂにおいて、ボールアイテム３０６は、勾配エリア３２６、３２８および３３０に影響を及ぼす。当該分野で公知のように、影響を受けたエリアのピクセル値フィールドの勾配の方向の方向線が決定される。図６Ｂは、アイテム３０６内の３つの例示的方向を示す。方向線は、例えば、平均化によって組み合わされ得るか、または選択単一線（ｓｅｌｅｃｔ  ｓｉｎｇｌｅ  ｌｉｎｅ）が用いられ得る。処理は、さらに、アイテムによって影響が及ぼされた最も明るい輪郭エリアが輪郭エリア３２６であることを検出する。他のアプローチが可能である。例えば、輝度および勾配は、イメージアイテムのエリアにおける各点を介してか、またはこれらの点のサブセットに関して平均化され得る。さらに、いくつかの実施形態は、輝度および勾配に加えて接触の持続時間（ｄｕｒａｔｉｏｎ  ｏｆ  ｃｏｎｔａｃｔ）をファクタとして含み得る。
【００５９】
人等のオブジェクトと、画面上のアイテムとの間のインタラクションは、影響を受けた輪郭エリアの輝度および１つ以上の方向線を用いて計算された方向の両方を用いて計算される。影響を受けた輝度は、ユーザがアイテムに「触る」強さに対応する。勾配は、アイテムが触れられる方向（または、アイテムに触れる方向、演算サイン（ｓｉｇｎ）に依存する）に対応する。
【００６０】
本発明は、その特定の実施形態を参照して述べられたが、これらの実施形態は例示的であり、本発明を限定するものではない。例えば、好適な実施形態は、検出器としてカメラを用いるが、異なったタイプの検出デバイスが用いられ得る。カメラは、デジタルまたはアナログであり得る。深さ情報および位置を提供するためにステレオカメラが用いられ得る。処理および表示が行われなかった場合、フィルムおよび他のタイプの媒体が用いられ得、データがプロセッサに入力される前にデジタルデータ交換が行われ得る。光センサまたは検出器が用いられ得る。例えば、光検出器のアレイは、カメラの代わりに用いられ得る。本明細書中で考慮されない他の検出器が用いられ得、適切な結果をもたらす。
【００６１】
一般に、任意のタイプの表示デバイスが本発明と共に用いられ得る。例えば、ビデオデバイスが種々の実施形態および構成で記載されたが、他のタイプのビジュアルプレゼンテーションデバイスが用いられ得る。発光ダイオード（ＬＥＤ）アレイ、有機ＬＥＤ（ＯＬＥＤ）、発光ポリマー（ＬＥＰ）、電磁、カソード線、プラズマ、機械式、または他の表示システムが用いられ得る。
【００６２】
バーチャルリアリティ、３次元または他のタイプの表示が用いられ得る。例えば、ユーザは、イメージングゴーグルまたはフードを着用し得、生成された周囲に浸る。このアプローチにおいて、生成された表示は、増強または強化されたリアリティを生成するためにユーザが知覚する周囲と位置合わせされ得る。１実施形態は、ユーザがキャラクタのイメージとインタラクションすることを可能にし得る。キャラクタは、コンピュータによって生成され、人間のアクタ等によって演じられ得る。キャラクタは、ユーザのアクションおよび身体位置に反応し得る。インタラクションは、言葉、オブジェクトの共同操作などを含み得る。
【００６３】
複数のシステムが、例えば、デジタルネットワークを介して相互接続され得る。例えば、イーサネット（Ｒ）、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４（ファイアーワイヤ）等が用いられ得る。８０２．１１ｂ等によって規定されるような無線通信リンクが用いられ得る。複数のシステムを用いて、異なった地理的位置におけるユーザが協同し、競合し、または、そうでない場合、生成されたイメージを通じて互いにインタラクションし得る。２つ以上のシステムによって生成されたイメージは、一緒に「並べて表示され（ｔｉｌｅｄ）」得るか、そうでない場合、複合表示を生成するために組み合わされ得る。
【００６４】
光と対照的に、他のタイプの照明が用いられ得る。例えば、レーダ信号、マイクロ波または他の電磁波が、検出されるべきオブジェクト（例えば、金属オブジェクト）がそのような波に高度に反射性である状況における利点のために用いられ得る。システムの局面を例えば、空中または水中で音波を用いることによって等、他の形態の検出に適合させることが可能である。
【００６５】
オブジェクトイメージ信号を受信および処理、ならびに表示信号を生成するためにコンピュータシステムが記載されたが、任意の他のタイプの処理システムが用いられ得る。例えば、汎用コンピュータを用いない処理システムが用いられ得る。カスタムまたはセミカスタム回路あるいはチップに基づいた設計を用いる処理システム、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、マルチプロセッサ、非同期または任意のタイプのアーキテクチャ設計または方法体系が本発明を使用するために適切であり得る。
【００６６】
従って、本発明の範囲は、添付の請求項によってのみ決定されるべきである。
【図面の簡単な説明】
【００６７】
【図１】図１は、同時に配置されたプロジェクタおよびカメラを用いた好ましい実施形態の第１の構成を示す。
【図２】図２は、頭上投影構成を示す。
【図３】図３は、リア投影構成を示す。
【図４】図４は、サイド投影構成を示す。
【図５Ａ】図５Ａは、均一照射の下の対象を示す。
【図５Ｂ】図５Ｂは、ランダムドットパターン照射の下の背景を示す。
【図５Ｃ】図５Ｃは、ランダムドットパターン照射の下の対象および背景を示す。
【図５Ｄ】図５Ｄは、ランダムドットパターン照射を利用した背景から対象を検出した結果を示す。
【図６Ａ】図６Ａは、ビデオオブジェクトとインタラクトする人間のユーザを示す。
【図６Ｂ】図６Ｂは、影響イメージを示す。
【国際公開パンフレット】
2005500719.tif 000003
2005500719.tif 000004
2005500719.tif 000005
2005500719.tif 000006
2005500719.tif 000007
2005500719.tif 000008
2005500719.tif 000009
2005500719.tif 000010
2005500719.tif 000011
2005500719.tif 000012
2005500719.tif 000013
2005500719.tif 000014
2005500719.tif 000015
2005500719.tif 000016
2005500719.tif 000017
2005500719.tif 000018
2005500719.tif 000019
2005500719.tif 000020
2005500719.tif 000021
2005500719.tif 000022
2005500719.tif 000023
2005500719.tif 000024
2005500719.tif 000025
2005500719.tif 000026
2005500719.tif 000027
2005500719.tif 000028
【国際公開パンフレット（コレクトバージョン）】
2005500719.tif 000029
2005500719.tif 000030
【国際調査報告】
2005500719.tif 000031
2005500719.tif 000032
2005500719.tif 000033
2005500719.tif 000034