(57)【特許請求の範囲】
【請求項１】
相互作用型ディスプレイとのジェスチャベースのユーザインタラクションを処理するための方法であって、
物理的空間に対応する情報を１つまたは複数のカメラから受信することであって、前記物理的空間が、複数のゾーンを含むことと、
前記受信された情報に少なくとも部分的に基づき、前記複数のゾーンの１つまたは複数において、ユーザの少なくとも第１の部分を検出することと、
前記ユーザの前記少なくとも第１の部分が前記複数のゾーンのうち第１のゾーンにおいて検出されたことに基づいて、仮想オブジェクトと、前記ユーザを表す第１の指示であって、前記第１のゾーンにおいて前記ユーザの前記第１の部分が前記仮想オブジェクトと相互作用できるかどうかを示す第１の指示とを含む第１の画像を生成し、前記相互作用型ディスプレイに前記第１の画像を表示することと、
前記ユーザの前記少なくとも第１の部分が前記複数のゾーンのうち第２のゾーンにおいて検出されたことに基づいて、仮想オブジェクトと、前記第１の指示と、前記ユーザを表す第２の指示であって、前記第２のゾーンにおいて前記ユーザの前記第１の部分が前記仮想オブジェクトと相互作用できるかどうかを示す第２の指示とを含む第２の画像を生成し、前記相互作用型ディスプレイに前記第２の画像を表示することと、
を含み、
前記第２の画像に含まれる前記第１の指示の表示特性は、前記第１の画像に含まれる前記第１の指示の表示特性とは異なる、方法。
【請求項２】
前記第１の画像に含まれる前記第１の指示の表示特性は、前記ユーザの前記第１の部分が前記仮想オブジェクトと相互作用できることを示す、請求項１に記載の方法。
【請求項３】
前記所定の１つまたは複数のゾーンが、表示装置に最も近い１つまたは複数のゾーンを含む、請求項２に記載の方法。
【請求項４】
前記指示がアイコンであり、前記画像における前記アイコンの位置が、前記物理的空間における前記ユーザの前記第１の部分の位置に対応する、請求項１に記載の方法。
【請求項５】
前記複数のゾーンの１つまたは複数における前記ユーザの前記少なくとも第１の部分の前記検出が、表示装置から前記ユーザの前記少なくとも第１の部分までの距離、またはカメラから前記ユーザの前記少なくとも第１の部分までの距離の少なくとも１つに基づいている、請求項１に記載の方法。
【請求項６】
相互作用型ディスプレイとのユーザインタラクションを処理するためのシステムであって、
複数のゾーンを有する三次元空間を示す情報を受信するための手段と、
前記受信された情報に少なくとも部分的に基づいて、前記複数のゾーンの１つにおいてユーザにおける部分の位置を決定するための手段と、
画像を生成するための手段であって、前記画像が、
仮想オブジェクトと、
前記複数のゾーンの１つにおける前記ユーザの前記部分の前記決定された位置に基づいた、前記ユーザを表す指示であって、前記ユーザが前記仮想オブジェクトと相互作用ができるかどうかの指示と、
を含む手段と、
を含み、
前記画像を生成するための手段は、前記ユーザの前記部分が前記複数のゾーンのうち第１のゾーンにおいて検出された場合、第１の指示を含む第１の前記画像を生成し、前記ユーザの前記部分が前記複数のゾーンのうち第２のゾーンにおいて検出された場合、前記第１の指示と第２の指示とを含む第２の前記画像を生成し、
第２の前記画像に含まれる前記第１の指示の表示特性は、第１の前記画像に含まれる前記第１の指示の表示特性とは異なる、システム。
【請求項７】
前記ユーザにおける前記部分ができる前記相互作用が、前記複数のゾーンのそれぞれにおいて異なる、請求項６に記載のシステム。
【請求項８】
受信ための前記手段、決定のための前記手段、または生成のための前記手段の１つまたは複数を含むコンピューティング装置をさらに含む、請求項６に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２００７年９月１４日に出願された米国仮特許出願第６０／９９３，９０７号の優先権の利益を主張し、その開示を参照により本明細書に援用する。
【０００２】
背景
発明の分野
本発明は、一般に、相互作用型表示システム（interactive display systems）に関する。より具体的には、本発明は、三次元環境において相互作用型ディスプレイとのジェスチャベースのユーザインタラクションを処理するためのユーザインタフェースに関する。
【背景技術】
【０００３】
関連技術の詳細
多くの既存の相互作用技術は、二次元カメラのようなものに依存する。これらのカメラによって生成された二次元データは、前景を背景から分離する目的で確実に解析するのが困難である。その結果、ユーザの手または他の付属器官を分離し、それらの対応する動作を追跡するのが困難である。
【０００４】
不十分な分離およびデータ追跡は、相互作用型表示システムへのデータ提供に関する困難につながる。相互作用型表示システムが、それを介してレンダリングされる情報を制御または操作するためのデータを収集できない場合には、ユーザは、キーボード、ジョイスティックおよびアクチュエータなどの物理的対象のボタン押下または操作に依存するように強いられる可能性がある。ひとたびユーザが、入力を提供するために物理的機器に依存するように強いられると、相互作用型表示システムによって提示される利点の多くが失われる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
相互作用型表示システムに対するジェスチャベースのユーザインタラクションを処理するための必要性がある。
【課題を解決するための手段】
【０００６】
概要
第１の実施形態において、相互作用型ディスプレイとのジェスチャベースのユーザインタラクションを処理するための方法が開示される。この方法を介して、定義された三次元空間におけるオブジェクトに関する三次元情報が収集される。定義された三次元空間におけるユーザの手に対応する三次元情報の一部が、識別される。デジタルオブジェクトのスクリーン画像が、ユーザの物理的形状に関連しかつ近似するスクリーン画像として、表示される。表示されたスクリーン画像は、ユーザの画像に近似し、かつ表示されたデジタルオブジェクトと相互作用しない（does not interact）。定義された三次元空間におけるユーザの手に対応するアイコンが表示される。アイコンは、表示されたデジタルオブジェクトと相互作用することができる。
【０００７】
相互作用型ディスプレイとのジェスチャベースのユーザインタラクションを処理するための第２の方法は、さらなる実施形態において開示される。このさらなる実施形態において、定義された三次元空間におけるユーザに関する三次元情報が収集される。定義された三次元空間には、体積ゾーン（volumetric zone）が含まれる。三次元情報によって定義されるユーザのそれぞれにおける部分が、体積ゾーンの１つまたは複数に位置する。三次元情報の一部が、定義された三次元空間におけるユーザのうちの１人の手に対応する。デジタルオブジェクトが、表示されたデジタルとユーザの１人が現在相互作用できるかどうかの指示として、スクリーン上に表示される。この指示は、体積ゾーンの１つまたは複数におけるユーザの位置に対応する。
【０００８】
第３の実施形態は、相互作用型ディスプレイとのジェスチャベースのユーザインタラクションを処理するためのさらに別の方法に関する。定義された三次元空間におけるオブジェクトに関する三次元情報が収集され、三次元情報の一部が、定義された三次元空間におけるユーザの手に対応するものとして識別される。デジタルオブジェクトのスクリーン画像が表示され、かつそれは、ユーザがデジタルオブジェクト用の活性化レベル閾値を超えたかどうかに対応する視覚的に知覚可能な活性化状態を有する。デジタルオブジェクトのスクリーン画像と相互作用するためのアイコンが表示されるが、このアイコンは、定義された三次元空間におけるユーザの手に対応する。活性化レベルは、経時的なユーザの手の位置に対応する。
【０００９】
さらなる実施形態において、相互作用型ディスプレイとのジェスチャベースのユーザインタラクションを処理するためのさらなる方法が開示される。定義された三次元空間におけるオブジェクトに関する三次元情報が収集され、三次元情報の一部が、定義された三次元空間におけるユーザの手に対応するものとして識別される。デジタルオブジェクトのスクリーン画像が表示されるが、それは、活性化レベル閾値を有する。デジタルオブジェクトのスクリーン画像と相互作用するためのアイコンが表示されるが、このアイコンは、定義された三次元空間におけるユーザの手に対応する。アイコンは、表示されたデジタルオブジェクトの活性化レベル閾値を超えた場合にのみ、デジタルオブジェクトに関連する動作を制御してもよい。アイコンが経時的にデジタルオブジェクトに関連する領域に隣接しているとその結果として、デジタルオブジェクトの活性化レベル閾値を超える。
【図面の簡単な説明】
【００１０】
【図１】例示的なフラットパネルインタフェースシステムを示す。
【図２】体積ゾーンを含む相互作用型表示空間を示す。
【図３】体積ゾーンを含む相互作用型表示空間の代替実施形態を示す。
【図４】ジェスチャベースの相互作用を処理するための例示的な方法を示す。
【図５】選択レベルと関連して手／ユーザ表現を示す。
【図６】ユーザの物理的位置をデジタルオブジェクトの表示仮想世界にどのようにマッピングできるかを示す。
【図７】ユーザの物理的位置をデジタルオブジェクトの表示仮想世界にどのようにマッピングできるかの代替実施形態を示す。
【発明を実施するための形態】
【００１１】
詳細な説明
図１は、例示的なフラットパネルインタフェースシステム１００を示す。システム１００には、ディスプレイ１６０、三次元視覚システム１１０、コンピューティングシステム１３０、およびオプションの照明器１２０が含まれる。システム１００は、任意の様々なフォームファクタ（form factor）に従って構成してもよい。
【００１２】
ディスプレイ１６０は、ビデオ画像を表示できるディスプレイを含む任意の様々な構成を想定してもよい。一実施形態において、ディスプレイ１６０は、液晶ディスプレイ（ＬＣＤ）、プラズマスクリーン、または有機発光ダイオードディスプレイ（ＯＬＥＤ）スクリーンなどのフラットパネルディスプレイである。代替として、ディスプレイには、限定するわけではないが、ブラウン管（ＣＲＴ）、電子インクスクリーン、リアプロジェクションディスプレイ、フロントプロジェクションディスプレイ、NECによって販売されているＷＴ６００プロジェクタなどのオフアクシス（off-axis）フロント（またはリア）プロジェクタ、レンズ状の三次元ビデオスクリーンなどの三次元画像を生成するスクリーン、または米国のIO2 TechnologyによるHeliodisplayTMスクリーンなどのフォグスクリーンを含んでもよい。多くのスクリーンをタイルのように並べて、単一のより大きなディスプレイを形成してもよい。システム１００は、２つ以上の相互作用型ディスプレイ１６０を含んでもよく、それによって、二人以上のユーザが、システム１００と同時に相互作用してもよい。
【００１３】
（図１の構成のような）一構成において、システム１００の様々な要素は、壁に取り付けてもよい。代替として、システム１００の要素は、天井に取り付けても、自立型であっても、テーブルに取り付けても、または両面構成であってもよい。自立型システムには、大きな台座を含んでもよく、または安定のためにグランドにボルトで留めてもよい。
【００１４】
三次元オブジェクトを組み込んだ、システム１００の実施形態は、三次元ハードウェアおよびソフトウェアシステムを利用してもよく、それによってディスプレイ１６０は、例えば、円筒状または球状であってもよい。これら、および床、テーブル上面または壁投影システムを含む構成などの他のフォームファクタ構成も、同様に三次元視覚システムを利用可能である。かかる実施形態において、三次元視覚システム１１０は、ディスプレイの回りのエリアをカバーしてもよい。プロジェクタを用いて、床投影などの表示を生成してもよく、この場合には、天井に取り付けられたプロジェクタが、グラウンドに画像を投影し、ユーザ１４０がスクリーンエリアを歩けるようにする。投影はまた、テーブル、壁または任意の他の表面上に行ってもよい。多数のプロジェクタおよび多数の三次元視覚システムを用いて、床、壁または他の表面上に、相互作用の拡大エリアを生成してもよい。
【００１５】
システム１００の実施形態は、サイズが異なってもよい。例えば、三次元視覚システム１１０は、ラップトップコンピュータモニタの上部に装着し、それによって、システム１００を持ち運び可能にしてもよい。ラップトップ自体は、コンピューティングシステム１３０として動作し、かつ三次元視覚ソフトウェア、および視覚効果の生成を扱ってもよい。
【００１６】
上記のように、システム１００には、照明器１２０を含んでもよい。図１における三次元視覚システム１１０および照明器１２０の位置は、実例である。三次元視覚システム１１０および照明器１２０は、ディスプレイ１６０および／または互いに対して、様々な位置に配置してもよい。さらに、三次元視覚システム１１０および照明器１１０の多数の事例があってもよい。三次元視覚システム１１０および／または照明器１２０は、１つもしくは複数の鏡、または他の反射面（図示せず）を用いて、相互作用エリア１７０の位置を変更してもよい。
【００１７】
システム１００は、マイクロホンまたはマイクロホンアレイを用いて音声入力を捕捉してもよく、スピーカを用いて音声出力を生成してもよい。マイクロホンは、背景ノイズなしに特定のユーザから音声をよりよく捕捉するために、指向性であってもよい。スピーカもまた、特定のユーザおよび特定のエリアに音声を集めるために、指向性であってもよい。指向性スピーカの例には、Brown InnovationsによるMaestroTMおよびSoloSphereTM、さらにDakota Audio、HolosonicsおよびThe American Technology Corporation of San Diego (ATCSD)によって製造されたこれらのシステムが含まれる。
【００１８】
三次元視覚システム１１０は、ステレオ視覚を用いて実現してもよい。ステレオ視覚システムは、２以上のカメラからの情報を用いて、三次元画像を構成する。Marr-Poggioアルゴリズムに基づいたものなどのアルゴリズムを用いる三次元コンピュータビジョン技術は、わずかに異なる角度から取られた同じシーンの２以上の画像を入力として取り入れてもよい。
【００１９】
Marr-Poggioベースのアルゴリズムは、それらが、異なるカメラの画像から同じ物理的対象の同じ部分に対応するテクスチャパッチを見つけるという点において、単にステレオアルゴリズムの一例である。画像におけるパッチの位置間の差によって、カメラからそのパッチまでの距離を決定し、かくしてそのパッチ用の三次元位置データを提供することが可能になる。
【００２０】
しかしながら、このアルゴリズムの性能は、均一な色の対象を処理する場合に、低下する傾向がある。なぜなら、均一な色のために、異なる画像において対応するパッチを照合させることが困難になるからである。したがって、照明器１２０が、テクスチャのある光を生成する（create light that is textured）場合には、そうしなければ均一である色のテクスチャリングによって、いくつかの三次元コンピュータビジョンアルゴリズムの距離推定を改善することができる。
【００２１】
三次元視覚システム１１０において使用可能な例示的なステレオカメラには、TyzxのDeepSeaTMおよびPoint GreyのBumblebeeTMが含まれる。これらのカメラは、白黒またはカラーであってもよく、かつ可視光線、近赤外線、遠赤外線および紫外線を含む電磁スペクトルの１つまたは複数の特定の帯域に感光性であってもよい。
【００２２】
三次元視覚システム１１０はまた、タイムオブフライト方式のカメラを用いて実現してもよい。タイムオブフライト方式のカメラは、画像の各画素の距離情報を検出する。各画素についての距離情報には、カメラから、その画素において見られる対象までの距離を含んでもよい。タイムオブフライト方式のカメラは、不可視光線パルスが、カメラに隣接して位置し得る光源から、撮像されている対象まで伝わり、次いでカメラに戻るまでにどれくらい時間がかかるかを計ることによって、この距離データを取得する。光パルスは、素早く反復され、それによって、タイムオブフライト方式のカメラが、ビデオカメラのフレームレートと同様のフレームレートを有し得るようにしてもよい。タイムオブフライト方式のカメラは、典型的には、３０フレーム／秒で１〜２メートルのレンジを有し、このレンジは、露光時間の延長によって拡大することができるが、これが、今度は、フレームレートを低下させる。タイムオブフライト方式のカメラの製造業者には、カリフォルニア州サニーベールのCanesta Inc.およびイスラエルの3DV Systemsが含まれる。
【００２３】
三次元視覚システム１１０の実施形態はまた、レーザ距離計、ストラクチャードライトプロジェクタとペアにされたカメラ、レーザスキャナ、レーザラインスキャナ、超音波イメージャ、いくつかのカメラからの前景画像の交差を通して三次元データを導出するシステム、および／または上記したものの任意の組み合わせを用いて実現してもよい。多数の三次元視覚システム１１０を同時に用いてもよく、それによって、それらの三次元データは、一緒にマージされて、相互作用エリアにおける対象を記述する統合データセットを生成する。
【００２４】
システム１００のいくつかの実施形態では、背景照明は十分である場合があるが、（例えば、三次元視覚システム１１０またはコンピューティング装置１３０において）処理装置によってステレオアルゴリズムの実行を通して処理されるテクスチャデータを改善するために、照明器１２０を用いることが必要になる可能性がある。相互作用エリアにおける対象を光のパターンで照明することによって、照明器１２０は、パッチを照合させるためにステレオアルゴリズムによって利用可能なテクスチャデータの量を向上させる。照明器１２０は、パターン化されたおよび／または不均一な光パターンを生成して、ステレオアルゴリズムを用いた対象の検出を改善してもよい。いくつかの例では、照明器１２０は、単に、ディスプレイ１６０と相互作用するユーザ１４０の追加的な照明を提供してもよい。
【００２５】
照明器１２０には、高出力発光ダイオード（ＬＥＤ）、白熱電球、ハロゲン電球、メタルハライド電球およびアークランプなどの集中光源（concentrated light sources）を含んでもよい。２つ以上の集中光源が、同時に使用可能であり、第１の光源と同じ散乱システムまたは別個の散乱システムを用いてもよい。放物面反射鏡を備えたランプまたは１つもしくは複数の狭角ＬＥＤなどの実質的なコリメート光源を集中光源の代わりに用いて、同様の結果を達成してもよい。
【００２６】
ランダムドットパターン、可変長スケールでノイズを提供するフラクタルノイズパターン、および平行線セットを含むパターンなどの様々なパターンを、照明器１２０によって用いてもよい。平行線は、任意であってもよく、かつ価値のあるテクスチャリングを提供するために、それらの距離に関して変化させてもよい。様々な方法を用いて、かかるパターンを生成してもよい。例えば、照明器１２０には、ビデオ入力ケーブルを介して供給される任意の画像を投影するように設計されたビデオプロジェクタを含んでもよい。画像は、経時的に変化して、三次元視覚システム１１０の性能を最適化してもよい。例えば、パターンは、三次元視覚システムの１１０のカメラ画像が、光で飽和しつつあるエリアでは薄暗くてもよく、または対象がカメラに接近しているエリアでは、より高い解像度になってもよい。２つ以上のビデオプロジェクタを用いて、相互作用エリア全体をカバーしてもよい。
【００２７】
照明器１２０はまた、ストラクチャードライトプロジェクタを用いて、静的または時変パターンを投影してもよい。ストラクチャードライトプロジェクタの例には、ABWのLCD-640TMおよびMiniRot-H1TMが含まれる。別の実施形態において、パターンは、光源、画像を有する透明なスライド、およびスライドの画像を投影するレンズ系または曲面鏡系を含むスライドプロジェクタによって生成してもよい。２つ以上のスライドプロジェクタを用いて、相互作用エリア全体をカバーしてもよい。別の実施形態において、パターンは、高度集中光源（小さなエリアから発する光）によって生成される。代替として、反射または屈折系を用いてもよい。
【００２８】
照明器１２０はまた、不可視または最小限に可視の光源、例えば近赤外線光源を用いて、ユーザによって気づかれる可能性があるグランドにおける可視パターンの生成を回避してもよい。代替として、照明器１２０は、可視および不可視光の両方を放射する光源を有してもよく、可視光線を低減するフィルタを含んで不可視光線を残してもよい。照明器１２０およびカメラは、同期されたカメラの露出中に、照明器１２０のパルシングを通してストロボを焚いてもよく、それによって周囲光の影響が、低減または除去される。三次元視覚システム１１０には、照明器１２０から放射されない波長の光を抑える光学フィルタを含み、照明器１２０からの光を、視覚システム１１０によって捕捉される画像においてより顕著に特徴付けることができるようにしてもよい。
【００２９】
三次元視覚システム１１０において、または視覚システム１１０に結合されたコンピューティング装置１３０において、視覚ソフトウェアを実行してもよい。視覚ソフトウェアの実行によって、捕捉された画像データの有用性を向上させることが可能になる。例えば、多数の三次元カメラが用いられる場合に、視覚ソフトウェアは、カメラからのデータを同じ座標空間にマージできるように（すなわち、２つのカメラが、２つの異なる角度から同様のエリアをカバーして、複数の角度からエリアのカバレッジを提供する）、カメラの較正の際に支援することができる。かかるカメラは、異なるエリアをカバーしてもよく、これらのエリアでは、一方のカメラがクローズアップの相互作用に集中し、他方のカメラが、離れた相互作用に集中してもよい。ステレオ処理の品質および解像度はまた、視覚ソフトウェアの実行を介して変更または達成してもよい。例えば、ディスプレイ１６０に最も近いエリアは、ディスプレイ１６０近くのユーザ１４０の個々の指１５０をより正確に解像するために、より高い解像度で処理してもよい。
【００３０】
いくつかの方法を用いて、三次元データにおける不正確さおよびノイズを除去してもよい。例えば、背景法を用いて、特定の期間にわたって動かなかったことが分かっている三次元データをカメラ視野のエリアからマスクしてもよい。これらの背景法（背景除去法としても知られている）は、適応性があって、それらが、経時的に背景における変化に適応できるようにし得る。これらの背景法は、背景を形成しかつ前景を決定するために、輝度、クロミナンスおよび／またはカメラからの距離データを用いてもよい。ひとたび前景が決定されると、前景領域の外から収集された三次元データは、除去してもよい。
【００３１】
さらなる実施形態において、カラーカメラを用いて、ディスプレイ１６０の前のユーザ１４０および他の対象の三次元データ用のクロミナンスデータを取得してもよい。このクロミナンスデータを用いて、ユーザ１４０のカラー三次元表現を取得してもよく、これによって、ユーザの外観（likeness）を認識および追跡することが可能になる。続いて、認識および追跡されたユーザ１４０の外観を表示してもよい。
【００３２】
ノイズフィルタリングは、カメラから、カメラの視点から見たカメラ画像の各画素までの距離である奥行き画像にか、または視覚システム１１０によって収集された三次元データに直接適用してもよい。メディアンフィルタリングなどの平滑化および平均化技術は、奥行きの不正確さを低減するために、カメラの奥行き画像に適用してもよい。孤立点または点の小さなクラスタは、それらが、より大きな形状に対応しない場合には、三次元データセットから除去し、かくしてノイズを取り除き、ユーザを完全な状態に（intact）しておいてもよい。
【００３３】
三次元データを様々な方法で分析して、高レベルの情報を生成してもよい。例えば、ユーザの指先、指および手を検出してもよい（図１の要素１５０として集合的に表現される）。そうするための方法には、様々な形状認識および対象認識アルゴリズムが含まれる。対象は、二次元および／または三次元の空間、時間、クロミナンスもしくは輝度データの任意の組み合わせを用いて、セグメント化してもよい。さらに、対象は、前述した領域の様々な線形または非線形変換の下でセグメント化してもよい。対象検出アルゴリズムの例には、限定するわけではないが、可変テンプレートマッチング、ハフ変換、ならびに適切に変換された空間における、空間的に隣接する画素および／またはボクセルの統合（aggregation）が含まれる。
【００３４】
別の例として、ユーザ１４０に属する三次元点をクラスタ化して、ユーザに属する点のクラスタが識別されるようにラベル付けしてもよい。ユーザ１４０の頭および腕（１９０）などの様々な身体部分は、マーカとしてセグメント化してもよい。点はまた、ｋ平均法または階層的クラスタリングなどの教師なしの方法を用いて、三次元空間においてクラスタ化してもよい。次に、識別されたクラスタは、特徴抽出および分類エンジンを開始してもよい。特徴抽出および分類ルーチンは、三次元空間データに制限されるのではなく、二次元空間、輝度、クロミナンスまたはそれらの変換などの他のデータ領域における前述の特徴抽出または分類に適用してもよい。
【００３５】
限定するわけではないが、ＥＭアルゴリズム、勾配降下法、パーティクルフィルタリングおよび特徴追跡を含む様々な方法を介して、所与のユーザ１４０に属する三次元点に骨格モデル（skeletal model）をマッピングしてもよい。さらに、固有顔（ｅｉｇｅｎｆａｃｅ）またはフィッシャー顔（ｆｉｓｈｅｒｆａｃｅ）などの顔認識アルゴリズムは、ユーザおよびユーザの表情を識別するために、二次元ならびに／または三次元空間、時間、クロミナンスおよび輝度データなど、視覚システムからのデータを用いてもよい。用いられる顔認識アルゴリズムは、画像ベースまたはビデオベースであってもよい。この情報は、特に、次の状況で、ユーザを識別するために用いてもよい。すなわち、ユーザが相互作用エリアから立ち去り、かつそこに戻る状況と、同様に、顔、性別、アイデンティティ、人種、表情または他の特徴に基づいて、表示内容との相互作用を変化させる状況において用いてもよい。
【００３６】
押す、つかむ、引っ張る、落とす、つつく、ならびに／または指を用いて形状を描く、つまむ、およびかかる他の動作などの特定のジェスチャを認識するために、指先または他の身体部分を経時的に追跡してもよい。
【００３７】
三次元視覚システム１１０は、ユーザ１４０以外の特定の対象を検出するように特に構成してもよい。この検出は、対象の外観または形状の特定の態様を認識するために実行可能な対象認識アルゴリズム、識別情報を提供するためにＲＦＩＤリーダ（図示せず）によって読み出される、対象における無線周波数識別（ＲＦＩＤ）タグ、および／または識別情報を提供するために、対象上に特定のパターンでストロボが焚かれる光源を利用してもよい。
【００３８】
三次元視覚システム１１０によって検出されるユーザ１４０または他の対象は、ディスプレイ１６０に表現してもよい。ディスプレイ１６０におけるユーザ１４０のこの表現１６２は、ユーザが、ディスプレイ１６０に表示された仮想デジタルオブジェクト１６４（仮想オブジェクトまたはデジタルオブジェクトと交換可能に呼んでもよい）と相互作用できるようにする際に役立ち得る。相互作用は、デジタルオブジェクト１６４に対するユーザ位置（１６２）のビジュアルな指示を与えることによって、容易にしてもよい。
【００３９】
この表現には、ユーザまたは他の対象のデジタルシャドウを含んでもよい。例えば、ユーザの身体に対応する三次元データの平坦表面上への投影を表現する二次元形状である。二次元形状は、サイズに対してと同様に、ユーザの形状に近似してもよい。本発明の特定の実施形態に依存して、ユーザ（またはユーザにおける部分）の表現は、ディスプレイ１６０上のデジタルオブジェクト１６４と相互作用してもしなくてもよい。
【００４０】
また、ユーザまたは他の対象のデジタル輪郭を用いて、デジタルオブジェクト１６４との相互作用に関してユーザ１６２をディスプレイ１６０上に表現してもよい。輪郭は、デジタルシャドウのエッジと見なすことができる。デジタルシャドウに似たこの輪郭は、ユーザの形状およびサイズに近似してもよい。この形状は、カラーにするか、強調表示するか、レンダリングするか、さもなければ表示の前に任意に処理してもよい。
【００４１】
ユーザの手（１５０）もしくは他の身体部分（１９０）または他の対象を表現する様々な他の画像、アイコンまたは二次元もしくは三次元レンダリングは、デジタルオブジェクト１６４と相互作用するためにディスプレイ１６０上でレンダリングしてもよい。例えば、ユーザの手１５０は、ユーザの実際の手の近似としてか、または実際の手に対応する「手のような」アイコンとして、ディスプレイ１６０上に表現してもよい。
【００４２】
他の相互作用および表現方法には、以下のものが含まれる。
【００４３】
仮想空間においてレンダリングされるユーザの形状は、ユーザの手がスクリーン上のオブジェクトと相互作用する位置にある場合に表示される、ユーザの手１５０上のマーカと組み合わせてもよい。例えば、手の上のマーカは、手がスクリーンへ指された場合にのみ現れてもよい。
【００４４】
視覚システム１１０からの三次元データの点クラウドのうちユーザまたは他の対象を表現する点は、オブジェクトとして表示してもよいが、これらのオブジェクトは、小さくても、かつ／または半透明であってもよい。
【００４５】
ユーザの指（１５０）の位置を表現するカーソルを用いてもよい。これらのカーソルは、ユーザ１４０の指１５０が、仮想空間において特定のタイプの相互作用ができる場合に、表示されるかまたは外観を変化させてもよい。
【００４６】
ユーザの身体の様々な部分（１９０）と共に動くか、かつ／またはそれらに装着された対象を利用してもよい。例えば、ユーザ１４０は、ユーザの頭１９０の動きおよび回転と共に動いて回転するヘルメットを有してもよい。
【００４７】
ユーザ１４０の身体位置または他の対象が動くときに、それらと合致するデジタルアバター。一実施形態において、デジタルアバターは、ユーザの位置の骨格モデルにマッピングされる。
【００４８】
前述の表現の任意の組み合わせ。
【００４９】
いくつかの実施形態において、表現は、スクリーン上のオブジェクトとのユーザの許容された相互作用形態に基づいて、外観を変化させもよい。例えば、ユーザ１４０は、ディスプレイ１６０からのある距離内に来るまでは灰色の影として表示され、オブジェクトと相互作用できなくてもよく、このある距離の点において、ユーザの影は色を変化させ、スクリーン上のオブジェクトと相互作用を始めることができる。
【００５０】
三次元視覚システム１１０によって抽出および収集できる多数の潜在的特徴、およびスクリーンに表示できる様々な仮想オブジェクト１６４が与えられたとすると、ユーザ１４０と仮想オブジェクト１６４との間に多数の潜在的相互作用（potential interactions）がある。潜在的相互作用のいくつかの例には、三次元に拡張できる二次元力ベースの相互作用（two-dimensional force-based interactions）および影響画像ベースの相互作用（influence image based interactions）が含まれる。したがって、ユーザの位置に関する三次元データを用いて、三次元オブジェクトの動作に影響する三次元影響画像を生成することが可能である。二次元および三次元の両方におけるこれらの相互作用によって、仮想オブジェクト１６４にユーザが伝える力の強さおよび方向を計算し、それによって、ディスプレイ１６０上のオブジェクトの動作にユーザがどのように影響を与えるかに対するユーザ制御を提供することが可能になる。
【００５１】
ユーザ１４０（またはユーザの表示された表現１６２）は、仮想空間においてデジタルオブジェクト１６４と交差することによってそれらと相互作用してもよい。この交差は、三次元において計算してもよく、またはユーザからの三次元データは、投影により二次元に下げ、二次元交差として計算してもよい。
【００５２】
視覚効果は、ユーザからの三次元データに基づいて生成してもよい。例えば、白熱、ワーピング、粒子の放出、炎のたなびきまたは他の視覚効果は、三次元位置データまたはそのある部分を用いて生成してもよい。視覚効果は、特定の身体部分の位置に基づいてもよい。例えば、ユーザは、自分の手を合わせることによって仮想の火の玉を生成することが可能である。ユーザ１４０は、特定のジェスチャを用いて、スクリーン上に表示された仮想デジタルオブジェクト１６４を拾い上げるか、落とすか、移動させるか、回転させるか、さもなければ修正してもよい。
【００５３】
ディスプレイ１６０上に描写される仮想空間は、二次元または三次元で表示してもよい。いずれの場合にも、システム１００は、ユーザ１４０に関する情報を、ディスプレイ１６０の仮想空間に表示されるデジタルオブジェクト１６４および他の画像（例えば、ユーザ表現１６２）に関する情報とマージする。ユーザ１４０が、仮想空間に二次元で描写される場合には、ユーザの位置に関する三次元データは、二次元平面上に投影してもよい。
【００５４】
ディスプレイ１６０の前の物理的空間１８０と、ディスプレイ１６０に表示された仮想空間との間のマッピングは、任意に定義でき、かつ経時的に変化することさえできる。ユーザ１４０がディスプレイ１６０上で見る実際のシーンは、物理的空間１８０の定義に基づいて異なってもよい。同様に、仮想空間（または単にユーザ表現１６２）は、二次元であってもよい。この場合には、ユーザの仮想表現１６２の奥行き構成要素は、無視してもよい。
【００５５】
マッピングは、ユーザ１４０が見る仮想空間におけるユーザ表現１６２の動きが、ユーザ１４０の実際の動きの鏡像と類似しているように、鏡の方法と似た方法で働いてもよい。マッピングは、次のように較正してもよい。すなわち、ユーザ１４０が、自分の身体の一部（１５０）に触れるか、またはそれをスクリーンディスプレイ１６０の近くに持って行くと、ユーザの仮想表現１６２が、ユーザの身体の同じ部分に触れるか、またはそれをスクリーン１６０の同じ部分の近くに持って行くように、較正してもよい。マッピングはまた、ユーザ１４０がスクリーン１６０に接近するにつれて、スクリーン１６２の表面から後退して見えるようにユーザ表現１６２を表示してもよい。
【００５６】
視覚システムの前の空間を多数の体積空間に分割し、かつ収集されたデータをこれらの空間へと分類することによって、多数の相互作用エリアを生成してもよい。図２は、体積ゾーンを含む相互作用型表示空間を示す。表示空間には、視覚システム２２０およびディスプレイ２１０が含まれる。
【００５７】
図２において、「接触」空間２５０は、相互作用を示す指を捕捉し、「主要ユーザ」空間２４０は、スクリーンに最も近い人々の身体を捕捉し、「遠方ユーザ」空間２３０は、より離れた人々の身体を捕捉する。スクリーン上のユーザ表現は、ユーザが存在するのがどの領域であるかに依存して、異なってもよい。例えば、「接触」空間２５０における指は、カーソルによって表現してもよく、「主要ユーザ」空間２４０における身体２６０は、カラーの輪郭によって表現してもよく、「遠方ユーザ」エリア２３０における身体２７０は、灰色の輪郭によって表現してもよい。空間の境界は、変動してもよい。例えば、「主要ユーザ」空間２５０に誰もいない場合には、その空間の境界は、「遠方ユーザ」空間２７０をカバーするように拡大してもよい。
【００５８】
スクリーンからある一定の距離を超えているかまたは「遠方ユーザ」空間２７０にいるユーザは、スクリーン上のオブジェクトと相互作用する能力を低減または除去されてもよい。これによって、スクリーンに近いユーザは、より遠方のユーザからの干渉なしに仮想オブジェクトと相互作用することが可能になる。いくつかの例において、ユーザは、ディスプレイ２１０に近すぎ、その近接性ゆえに、同様にスクリーン上のオブジェクトと相互作用できない可能性がある。ユーザの現在の場所、および／またはディスプレイ２１０上のオブジェクトと相互作用するユーザの能力を示す様々なしるしを、ディスプレイ２１０上に表現してもよい。
【００５９】
現在の相互作用の能力に関するしるしの提供は、１つまたは複数の理由に関連してもよい。例えば、ディスプレイは、手が届かない可能性があり、または特定の状況が、多数のユーザが同時に相互作用することを要求し、かついずれか１人のユーザがすぐ近くに来て相互作用を支配するのをやめさせるように要求する可能性がある。他の状況には、ディスプレイが窓の後ろにあり、近距離からの相互作用が不可能な状況が含まれる。この場合には、「近すぎる」相互作用空間を生成してもよい。
【００６０】
いくつかの実施形態において、前述の体積エリアの外のユーザをこれらのエリアへと引き付けるために、様々な効果を表示するか、または音声を発してもよい。一実施形態において、ディスプレイは、現在誰も相互作用空間にいなくて、第１のユーザが相互作用空間へと移動した場合には、非常に大きて目立ったフラッシュまたは他の反応を表示する。この機能は、現在誰も相互作用していない場合に、ユーザの注意をディスプレイに引き付けるように設計され、相互作用空間へ進んでいるユーザは、その周辺視野でディスプレイを見るだけでもよい。
【００６１】
前に言及したように、本発明の視覚システムは、ユーザの手および身体を検出し得る。手および身体の検出は、範囲、輝度、色および／または他のデータを用いてもよい。手および身体の検出方法は、生の色／輝度画像、距離画像、三次元点クラウド、および／または他のデータに適用してもよい。手および身体の検出方法はまた、前述のデータセットに基づいて、任意の変換または投影されたデータに適用してもよい。
【００６２】
身体は、三次元クラウドにおける空間的に分離された点クラスタとして検出してもよい。身体はまた、点クラウドを床平面上に投影し、かつ高密度の領域を識別することによって、検出してもよい。身体はまた、急速に変化する奥行き領域を除去した後で、投影された奥行き画像における大きな連結された構成要素を探すことによって識別してもよい。身体はまた、生の三次元データまたは適切な投影に対して、テンプレートマッチングまたは骨格マッチングを実行することによって識別してもよい。予備識別が、１つの投影において行われ、次に別個の投影においてさらに改善してもよい。例えば、視覚システムは、平面図を用いて、ユーザ身体用のラフな境界ボックスを選択してもよい。次に、境界ボックス内の点の前面投影を用いて、非常に近いユーザを分離してもよい。
【００６３】
手は、孤立オブジェクトとして、またはユーザの一部として検出してもよい。前者の場合において、手は、ユーザに関連付けてもよい。検出された手の位置および動作は、ユーザ、ディスプレイ、または事前に定義されるかもしくは相互作用の間に動的に生成される空間のある領域に関連して定義してもよい。多くの可能な座標系が、所望の効果に依存して、この関連を特定するために使用可能である。例えば、手が出てくるユーザの肩を中心にした極座標系を用いてもよい。手の検出方法には、身体の骨格フィッティングを介した識別と、テンプレートマッチングを介した識別と、カラーベースのスキンセグメンテーションを介した識別と、身体関連オブジェクトとしての識別と、連結された構成要素の特性に基づいた識別と、を含んでもよい。
【００６４】
ひとたびユーザの身体が識別されると、ボックス、球体または円筒などの境界領域が、ユーザを中心に設定されてもよい。この領域の外部であるが、しかし身体に連結されたオブジェクトは、手の候補になってもよい。これらの連結されたオブジェクトは、さらにセグメント化して、「先端」または手を識別してもよい。手は、境界ボックスまたは定義可能な身体上のある点から最も離れた点など、これらのオブジェクトの極端な領域を取ることによって、識別してもよく、最大距離未満のある閾値内の任意の点は、手の一部と見なすことができる。手はまた、テンプレートマッチングを介して、これらの領域から抽出してもよい。手はまた、限定するわけではないが、曲率、境界ボックスまたは身体からの距離、および色特性を含む様々な特徴に基づいて、この領域から区分けしてもよい。腕の骨格モデルがまた、ＥＭアルゴリズムを用いて、この領域に適し得る。
【００６５】
図３は、体積ゾーンを含む相互作用型表示空間の他の実施形態を示す。図３において、相互作用ディスプレイ３１０およびカメラ／照明器システム３２０は、「近すぎる」空間３５０、「手」空間３４０および「遠方ユーザ」空間３３０からなる相互作用空間を生成する。「遠方ユーザ」空間３３０におけるユーザは、自分の全身で相互作用できるだけであり、自分の全身ユーザ表現をディスプレイ上で見ることができる。「手」空間３４０におけるユーザは、自分の身体と同様に自分の手で相互作用でき、全身表現と同様に手表現をディスプレイ上で見ることができる。
【００６６】
自分の手を「近すぎる」空間３５０に置くユーザは、自分の手または身体のいずれかで相互作用できない可能性があり、ユーザの手の位置における消えかかっている煙の一吹きまたはユーザの身体の薄れる画像などの視覚的なスクリーン表現が、相互作用するにはユーザが接近しすぎていることについてユーザに手掛かりを与える可能性がある。例えば、ユーザ３６０は、自分の手の視覚表現が煙の一吹きへ変わるのを見る可能性があり、自分の手を用いてスクリーン上のオブジェクトと相互作用する能力を失う可能性がある。対照的に、ユーザ３７０は、「手」空間３４０にいる場合、自分の手を用いてスクリーン上のオブジェクトと相互作用する完全な能力を有し、ユーザ３６０とは異なる、自分の手の表現を見る。「近すぎる」空間の内側エッジは、カメラ視野の境界または照明器の照明フィールドと一致してもよい。
【００６７】
ディスプレイは、ユーザの身体または特定の身体部分の表現を表示して、ディスプレイに表示される仮想空間内のユーザの位置に関してユーザに視覚フィードバックを提供するようにし、かつディスプレイに表示されるオブジェクトとの正確な相互作用を容易にするようにしてもよい。ディスプレイはまた、ユーザの手の表現を表示してもよい。ユーザとディスプレイとの間の多くの相互作用が、ユーザの手を介する可能性があるので、ユーザの手を特に強調表示することは有利であり得る。手表現は、ある種のジェスチャの使用を伝えるために手が身体から十分に離れている場合にのみ、表示してもよい。手のために用いられる表現は、手の位置または手がどのように動いているかに依存してもよい。それはまた、手がオブジェクトを選択できるかまたはオブジェクトと相互作用できるかどうかを反映してもよい。それは、擬人化された手、異なるタイプのオブジェクト、またはこれら２つの組み合わせであってもよい。
【００６８】
一実施形態において、手表現は、ユーザまたはユーザの手が、ディスプレイの前の特定の空間内に存在する場合のみ現れてもよい。代替として、ユーザの全身表現は、ユーザの手表現が表示され始めたときに消えていくかまたは変形され、ユーザの手表現が取り除かれると戻される。
【００６９】
図４は、ジェスチャベースの相互作用を処理するための例示的な方法を示す。ステップ４１０において、ステレオまたはタイムオブフライト方式のカメラなど、自身の環境に関してリアルタイムの三次元データを収集できるカメラが、１つもしくは複数の人間ユーザまたは他の対象の動作を捕捉する。ステップ４２０において、三次元カメラからのデータは、三次元点クラウドの形態を取ってもよいが、コンピュータビジョンシステムによって分析され、座標変換を適用することで、ディスプレイに対する相対的なデータの位置およびディスプレイに表示される仮想オブジェクトを決定することができる。ステップ４３０において、コンピュータビジョンシステムは、このデータを分析し、ユーザの体および手、ならびに可能性として他の身体部分の位置を決定する。これらの身体部分は、人単位でグループ化してもよく、それらの位置は、速度、加速度および他の特徴を決定するために、経時的に追跡してもよい。
【００７０】
ステップ４４０において、各手が、仮想オブジェクトの選択に関連する動作、または仮想オブジェクトとの他の相互作用を行っている程度が決定される。ステップ４５０において、各手の視覚表現（これは、手による選択または他の動作のレベルに依存して異なってもよい）が、決定される。次に、これらの視覚表現は、ステップ４７０において生成されるユーザの身体の表現、および、ユーザが相互作用していた仮想オブジェクト（シミュレーション４９０によって制御される）と共に、ステップ４８０においてディスプレイ上でレンダリングされる。ディスプレイ上で表現をレンダリングすることによって、ユーザは、スクリーン上の仮想オブジェクトに対する、自分の身体および手の位置に関する視覚フィードバックを受け取ることができる。
【００７１】
別に、各手の選択レベルは、ステップ４５０によって決定されるが、ステップ４６０で処理されて、手がいずれかの仮想オブジェクトと相互作用したかどうかをシミュレーション４９０で決定する。図４に表示されるユーザインタラクションプロセスは、非常に素早く繰り返して発生し得るので、それは、リアルタイム相互作用の印象をもたらす。
【００７２】
図４に示すプロセスは、単に１つの可能な実施形態を示す。代替実施形態を実行してもよい。例えば、シミュレーション４９０におけるオブジェクトは、それらの回りの視覚信号を分析して、近くに手があるかまたは選択行動が生じているかどうかを決定し、それによって、ステップ４４０および４３０の必要性を回避するようにしてもよい。
【００７３】
図５は、選択レベルと関連して手／ユーザ表現を示す。ステップ５１０において、手がオブジェクトを選択している程度が決定される。図示の実施形態において、胴体（torso）から手までのＺ軸に沿った単純な距離が決定される。ユーザが自分の腕を前に伸ばすにつれて、この値は増加する。ステップ５２０において、ディスプレイ上における手の視覚表現が、ステップ５１０で計算された距離値に基づいて決定される。手表現は、距離が増加するにつれて、開いた手から単一の人差し指へと徐々に閉じる。これは、ユーザの部分的選択レベル、すなわち、ユーザの手が、オブジェクトを選択する能力を獲得する閾値への到達からどれくらい離れているかに関して、ユーザにフィードバックを与える。手が閾値を横断して選択モード（このモードで手は、オブジェクトを選択する能力を有する）に入った場合に、十字線が現れる。手が上げられない場合には、手表現は表示されない。別に、ステップ５１０で計算された距離は、ステップ５３０において「活性化レベル」として働くが、ステップ５３０では、手は、活性化レベルが例えば０．５を超える場合に、オブジェクトを選択できるようになる。図５に示す例は、１つの可能な実施形態として、単なる実例である。多数の他の選択方法を用いて、活性化レベルを計算することができる。
【００７４】
一実施形態において、ユーザの手または身体は、物理的衝突の二次元または三次元シミュレーションを介して、仮想オブジェクトと相互作用することができる。一実施形態において、ディスプレイに表示される仮想空間における各手の位置は、仮想オブジェクトの動作を管理する物理的シミュレーションへの入力として用いられる。手は、特定の半径の球体など、事前に定義できる特定の形状か、またはユーザの手自体の二次元もしくは三次元形状から導出できる特定の形状でモデル化してもよい。一実施形態において、手の視覚表現は、物理的シミュレーションによるモデルの役をしてもよい。
【００７５】
物理的シミュレーションにおける手のモデルを用いて、ディスプレイに表示された仮想オブジェクトとの重複および衝突を検出することが可能である。経時的な手の位置を用いて、速度および加速度を導出することができ、これらによって、ディスプレイ上の仮想オブジェクトとの現実的な衝突を計算することが可能になろう。衝突は、非弾性的、部分的に弾性的、または完全に弾性的であってもよく、当業者に周知の標準的な衝突式を用いて計算してもよい。手は、仮想オブジェクトによって物理的に動かすことができないので、手は、衝突後速度を計算するために、まるで無限の質量を有するかのように扱ってもよい。
【００７６】
腕、頭などの他の身体部分または全身を、同様の方法で物理的シミュレーションに入力してもよい。手または他の身体部分に関する動作情報を用いて、液体もしくは波動シミュレーション、または速度もしくは加速度に依存する粒子放出など、衝突以外の相互作用を計算してもよい。
【００７７】
また、手または他の身体部分に装着された仮想オブジェクトを用いて、仮想オブジェクトと相互作用してもよい。例えば、仮想の剣を、ユーザの手に装着してもよい。オブジェクトの向きは、ユーザの手、前腕または腕の向きを分析することによって計算し、ユーザがオブジェクトの向きを容易に制御できるようにしてもよい。このオブジェクトを物理エンジンによって分析して、他のオブジェクトとの相互作用を決定してもよい。
【００７８】
図６は、ユーザの物理的位置をデジタルオブジェクトの表示仮想世界にどのようにマッピングできるかを示す。図６において、ユーザ６２０は、ディスプレイ６３０の前で相互作用している。ユーザ６２０は、相互作用空間６１０内にいるが、この相互作用空間６１０は、その内部ではユーザの相互作用がディスプレイに影響し得る空間である。軸６６０は、座標系を定義する。ＸおよびＹ軸は、ディスプレイ６３０上の水平および垂直位置を定義し、一方でＺ軸は、ディスプレイ６３０からの垂直距離を定義する。この相互作用空間６１０において、ユーザ６２０は、スクリーン６３０に表示された仮想オブジェクト６４０と相互作用するために、自分の手６７０を上げている。
【００７９】
一実施形態において、手６７０と仮想オブジェクト６４０との間の重複または接近は、Ｚ軸上における手の位置をディスプレイ表面の（Ｘ、Ｙ）平面に投影し、かつ次に手６７０および仮想オブジェクト６４０の相対（Ｘ、Ｙ）位置を分析することによって計算される。さらに、手６４０の表現６５０は、Ｚ軸に沿って手の位置を投影することによって計算された位置で、ディスプレイ６３０上に表示される。この表現は、ディスプレイ６３０の仮想世界におけるユーザの手６７０の位置に関する視覚フィードバックをユーザ６２０に提供する。
【００８０】
図７は、ユーザの物理的位置をデジタルオブジェクトの表示仮想世界にどのようにマッピングできるかの代替実施形態を示す。一実施形態において、ディスプレイ７３０は、二次元表面上に画像を表示し、シャドウまたはミストなどの奥行きの手掛かりが、奥行きを伝えるために用いられる。別の実施形態において、ディスプレイ７３０は、ユーザ７２０にとって三次元に見える画像を生成できるディスプレイであり、表示画像が、スクリーンの前または後ろの特定の距離にあるという錯覚を与える。限定するわけではないが、立体投影およびレンズ状ビデオスクリーンを含む多数の三次元表示メカニズムが存在し、市販されている。
【００８１】
ユーザ７２０は、相互作用空間７１０で相互作用する。ユーザ７１０が自分の手７７０を伸ばすと、この手の仮想表現７５０をディスプレイ７３０によって表示してもよい。ユーザの手７７０が、ディスプレイ７３０によって表示された仮想オブジェクト７４０の回りの接触空間７８０内に入ると、相互作用が生じる。座標軸７６０は、参考のために示されている。
【００８２】
スクリーン上のオブジェクトを選択するためにシステムが利用できる多くの可能な方法がある。検出漏れおよび誤検出の両方を最小限にし、それによって、ユーザが、選択したくないオブジェクトを偶発的に選択すること、および選択したいオブジェクトを選択できないことを防ぐことが重要である。これらのユーザ動作を計算するために用いられる情報は、限定するわけではないが、現在および過去の手の位置および速度、腕の角度、現在および過去の頭の位置、ならびに現在および過去の胴体の位置を含む、視覚システムからの様々な入力を用いてもよい。
【００８３】
選択は、選択すべきオブジェクトまたは領域の上に手を静かに保つことによって行うことができる。手を静かに保つ動作は、いくつかの方法で検出することができる。例えば、活性化レベルを経時的に追跡してもよく、活性化レベルが閾値を超えれば、オブジェクトまたは領域が選択される。部分的な選択は、活性化レベルに基づいて表示してもよい。経時的な手の位置が、活性化レベルに寄与してもよい。例えば、手が、オブジェクトもしくは領域の上を素早く動いているか、またはオブジェクトもしくは領域の外にある場合には、式によって決定された量だけ活性化レベルを低下してもよく、一方で、手が、オブジェクトもしくは領域の上にあり、かつゆっくりと動いているか停止している場合には、式によって決定された量だけ活性化レベルを高くしてもよい。式は、手がゆっくりと動けば、それだけ速く活性化レベルが上昇するように、手の動きの速度を考慮してもよい。
【００８４】
特定の値未満の、指定の時間範囲にわたる手の平均速度が、選択メカニズムとして動作してもよい。速度は、ディスプレイ上の相互作用ゾーンを定義する二次元平面にわたって、ディスプレイの前における三次元空間にわたって、またはある他の方法、例えば図６および７に示すＸおよびＹ軸で定義してもよい。
【００８５】
他の選択メカニズムには、次のものが含まれる。すなわち、指定の時間範囲にわたる手の最大速度が、特定の値未満であることと、ある二次元（例えば、図６および７に示すＸおよびＹ軸）または三次元座標系における手の位置が、指定の期間にわたって指定の領域内にとどまることと、ある二次元（例えば、図６および７に示すＸおよびＹ軸）または三次元座標系における手の位置の変動が、指定の期間にわたって特定の値未満にとどまることと、手の位置データが、ある時間間隔にわたって平均され、次に、平均された位置データが、本明細書で説明する技術のいずれかまたは別の技術を用いて、第２の時間間隔にわたって試験されることと、が含まれる。
【００８６】
選択はまた、突くような動作で、手をスクリーンまたは仮想オブジェクトに向かって突き出すことによって行うことができる。この突く動作は、様々な方法で検出することができる。例えば、スクリーンからの手の距離が、特定の期間内に閾値を超える量だけ減少することと、Ｚ軸に沿った、スクリーンに対する手の速度が、特定の値を超え、手がスクリーンに向かって移動していることと、Ｚ軸に沿った、スクリーンに対する手の時間平均速度が、指定の期間にわたって特定の値を超え、手がスクリーンに向かって移動していることと、手のＸおよびＹ速度（または時間平均されたＸおよびＹ速度）が、指定の期間にわたって閾値未満にとどまるという追加的な基準を伴った上記の例のいずれかと、である。これによって、ユーザがその手を揺り動かし、ユーザの速度が指定の方向範囲内の方向にあり、かつ速度が所定量を超える場合の、偶発的選択が防がれる。かかる一実施形態において、この方向範囲は、Ｚ軸に沿ってスクリーンの方向を直接示すベクトルの指定の角度内（within a specified angle of a vector pointing directly along the Z axis toward the screen）の方向からなる。
【００８７】
選択はまた、スクリーンまたは任意の三次元領域からユーザの手までの距離に基づいて行ってもよい。したがって、ユーザが「選択ゾーン」の中へ自分の手を伸ばした場合には、オブジェクトを選択することができる。選択はまた、ユーザの身体に対するユーザの手の位置に基づいて行うことができる。この動作は、様々な方法で検出することができる。例えば、ユーザの手が、そのユーザの頭、胴体、肩または重心からの閾値距離より大きいことと、ユーザの手から、そのユーザの頭、胴体、肩、重心までの距離に対するユーザの身長の比率が、ある量未満になり、これによって、より背が低い人々およびより背の高い人々が、同様の動作をしてオブジェクトを選択できることを保証することと、いくつかの方法で距離を定義してもよく、例えば、それは、（スクリーンに向けて）Ｚ軸に沿った、または三次元空間（Ｘ、Ｙ、Ｚ）における、または重み付き座標系における距離からなってもよいことと、などがある。
【００８８】
選択は、ユーザが、指定の位置の上で自分の手を素早く揺り動かすことに基づいて行うことができる。素早い揺動は、ユーザの手の平均速度が特定の時間間隔にわたって閾値量を超えるが、しかし位置が特定の範囲内にとどまることによって、検出することができる。選択はまた、ユーザの手の平均速度が特定の時間間隔にわたって閾値量を超えるが、しかし位置の変動が特定量未満にとどまることに基づいて、行うことができる。
【００８９】
選択はまた、特定のジェスチャの実行に基づいて行ってもよい。
【００９０】
異なる人々が、オブジェクトを選択するために、異なる方法を直観的に用いる可能性があるので、多数の選択方法を可能にすることは有利になり得る。したがって、例えば、ユーザが特定の期間を超えてオブジェクトの上に自分の手を静かに保つ場合、またはオブジェクトに向けて素早く突く動作をする場合に、ユーザは、オブジェクトを選択することができる。
【００９１】
偶発的な選択を防ぐために、多数の選択方法には、選択をトリガすることを同時に実行するように要求してもよい。例えば、ユーザは、指定の期間にわたって自分の手を静かに保ち、かつ自分の手を自分の身体から少なくとも最小距離に保つ必要があってもよい。
【００９２】
選択プロセスにおいてフィードバックを用いて、選択が行われている事実を示してもよい。一実施形態において、ユーザの手のためのスクリーン上の表現は、手がオブジェクトを選択している場合には変化する。別の実施形態において、ユーザの手のためのスクリーン上の表現は、手の位置または動作に基づいて手がオブジェクトを選択しているであろう場合には、たとえオブジェクトがそのエリアになくても、変化する。さらなる実施形態において、スクリーン上のオブジェクトは、ユーザがオブジェクトを選択するかまたは部分的に選択したときに、変化する。
【００９３】
代替として、手のスクリーン上の表現は、手がオブジェクトを選択し始めたときに、変化し始めてもよい。これは、選択プロセスの性質に関しての視覚フィードバックをユーザに提供し、ユーザが、偶発的選択を防ぐのを支援する。一実施形態において、ユーザ表現における変化は、選択検出アルゴリズムの特定の値に基づいて、一連の画像から選択される。例えば、選択検出アルゴリズムが、ユーザの身体から手までの距離に基づく場合には、手は、アニメーションシーケンスに沿って外観を徐々に変化させることができるが、この場合に、アニメーションシーケンスからのフレームは、距離値を用いて選択される。
【００９４】
多数のユーザが、同時にディスプレイと相互作用することができる。カメラシステムは、多数の身体を感知することができ、視覚システムは、多数のユーザの身体からのデータを明確にする（disambiguating）ことができる。この明確化によって、視覚システムは、各手を特定のユーザの身体に割り当てることができる。その結果、異なる身体および手は、異なるユーザ表現を有することができ、またディスプレイ上に表示された仮想オブジェクトとの異なる相互作用を有することができる。さらに、ディスプレイは、特定のユーザを無視するか、または１人のユーザもしくはユーザグループが特定の相互作用セットを制御できるようにすることができる。
【００９５】
上記の構成要素および機能は、コンピュータ可読記憶媒体に記憶された命令で構成することができる。命令は、プロセッサによって取り出し、実行することができる。命令のいくつかの例は、ソフトウェア、プログラムコードおよびファームウェアである。記憶媒体のいくつかの例は、メモリデバイス、テープ、ディスク、集積回路およびサーバである。命令は、プロセッサによって実行されるときに動作可能であり、本発明に従って動作するようにプロセッサに命令する。当業者は、命令、プロセッサおよび記憶媒体に精通している。
【００９６】
様々な実施形態を上記で説明したが、それらが、単に例として提示され、限定ではないことを理解されたい。例えば、ユーザインタフェースに関連する要素のいずれも、上記で述べた所望の機能のいずれを用いてもよい。したがって、好ましい実施形態の幅および範囲は、上記の例示的な実施形態のいずれによっても限定すべきでない。
【００９７】
例えば、１つまたは複数の表示システムからの情報は、様々な用途を考慮する高速データ接続上で共有してもよい。例えば、ディスプレイのユーザは、ジェスチャベースのインタフェースを用いて、セカンドライフ（Second Life）、ゼア（There）またはワールドオブウォークラフト（World of Warcraft）などのオンライン仮想世界、ならびにその世界内部のオブジェクトおよびアバターをナビゲートし、それらと相互作用することができてもよい。さらに、ユーザの位置および動作の三次元データは、送信されてオンライン仮想世界において表示され、それによって、オンライン仮想世界の他のユーザが、ディスプレイのユーザを見て相互作用できるようにすることができる。これらの他のユーザは、様々なインタフェース（例えば、従来のキーボードおよびマウスインタフェース）または別のディスプレイを用いて、仮想世界で相互作用してもよい。ユーザは、互いに近くてもまたは離れていてもよい。
【００９８】
現在説明している実施形態のインタフェースは、可能性のある様々な用途に備えることができる。例えば、スポーツに関して、ユーザは、コンピュータ、またはスクリーンに表示された人間の相手と、ボクシングをするか、（仮想ラケットで）テニスをするか、仮想ボールを投げるか、または他のスポーツ活動に従事してもよい。仮想世界ナビゲーションの状況において、ユーザは、上体を曲げるなどの自然な身体動作を用いて仮想世界を動き回り、かつ自分の手を用いて仮想世界のオブジェクトと相互作用してもよい。仮想キャラクタは、前述のインタフェースシステムを介して制御してもよいが、このインタフェースシステムでは、スクリーン上のデジタルキャラクタは、人々がディスプレイのそばを通過するときに、ディスプレイの前の人々と話をし、遊び、その他には相互作用することもできる。このデジタルキャラクタは、コンピュータ制御してもよく、または遠隔地にいる人間によって制御してもよい。
【００９９】
本発明の実施形態は、相互作用型製品デモおよび相互作用型ブランド体験を含む広告や、ユーザグループが、協力的な方法で、スクリーン上に表現されたデータを移動および操作できるマルチユーザ作業空間の、新しい実施を可能にする。また、ビデオゲームは、ユーザが、ジェスチャおよび自然な身体動作を介してゲームをし、かつ自分のスクリーン上のキャラクタを制御できるように、前述のインタフェースシステムを実現してもよい。また、このシステムを介して、モデルリングおよび衣服の「試着」を利用してもよく、このシステムでは、衣服は、ディスプレイ上でユーザの画像上に置かれ、したがって、ユーザが仮想的に衣服を試着できるようにする。
【図１】
0005430572.tif 000002
【図２】
0005430572.tif 000003
【図３】
0005430572.tif 000004
【図４】
0005430572.tif 000005
【図５】
0005430572.tif 000006
【図６】
0005430572.tif 000007
【図７】
0005430572.tif 000008