(57)【要約】  光フォールオフの原理に基づいて、モバイルオブジェクトを含むシーンに係る奥行き画像を計算することに関する技術が、ここにおいて説明される。モバイルオブジェクトを含むシーンの赤外画像が取得される。ここで、赤外画像は、それぞれの複数の輝度値を有する複数のピクセルを有している。前記シーンの奥行き画像は、赤外画像におけるそれぞれの輝度値の二乗平均に少なくとも部分的に基づいて計算される
2015517134.tif 000002
【特許請求の範囲】
【請求項１】
モバイルオブジェクトを含むシーンに係る一連の赤外画像を受け取る受信コンポーネントであり、
前記一連の赤外画像は、赤外線カメラによって時間にわたり取得され、
前記一連の赤外画像におけるそれぞれの赤外画像は、それぞれの複数の輝度値を有する複数のピクセルを含んでいる、受信コンポーネントと；
前記一連の赤外画像のそれぞれの画像に対して、それぞれの奥行き画像を算出する奥行き計算コンポーネントであり、
前記奥行き画像は、それぞれの複数の値を有する複数のピクセルを含んでおり、前記値は、前記シーンを照らすための赤外光を発光する発光器に関する、前記複数のピクセルによってそれぞれに表されるオブジェクトのポイントの奥行きを示しており、
前記複数の値は、前記赤外画像における前記複数のピクセルに係るそれぞれの輝度値の二乗平均に少なくとも部分的に基づいて計算される、計算コンポーネントと；
前記奥行き計算コンポーネントによって計算された前記奥行き画像に少なくとも部分的に基づいて、コンピューティングデバイスのディスプレイ画面上にグラフィカルデータをレンダリングするレンダリングコンポーネントと、
を含む、システム。
【請求項２】
前記システムは、モバイルコンピューティングデバイスを含む、
請求項１に記載のシステム。
【請求項３】
前記奥行き計算コンポーネントは、以下の式を使用して前記複数の値を計算し、
【数３】
2015517134.tif 000005
ここで、ｌ（ｐ）はピクセルｐに対する前記赤外画像における輝度値であり、ｒｐは前記発光器とピクセルｐによって表される前記オブジェクト上のポイントとの間の距離であり、そして、ｋｐは定数である、
請求項１に記載のシステム。
【請求項４】
前記受信コンポーネントは、さらに、
第１のＲＧＢカメラによって取得された前記シーンの第１の画像、および、第２のＲＧＢカメラによって取得された前記シーンの第２の画像、を受け取り、
前記第１のＲＧＢカメラと前記第２のＲＧＢカメラは、立体視的に配置されており、
前記奥行き計算コンポーネントは、前記第１のＲＧＢカメラによって取得された前記第１の画像と前記第２のＲＧＢカメラによって取得された前記第２の画像に少なくとも部分的に基づいて、前記奥行き画像を算出する、
請求項１に記載のシステム。
【請求項５】
前記システムは、さらに、校正コンポーネントを含み、
前記校正コンポーネントは、
両眼視技術に基づいて前記奥行き計算コンポーネントによって計算された奥行き画像、および、
校正パラメータを学習するために、前記赤外線カメラによって取得された画像に基づいて、前記奥行き計算コンポーネントによって計算された奥行き画像を校正し、
前記校正パラメータは、
両眼視技術に基づいて、前記奥行き計算コンポーネントによって計算された奥行き画像のピクセルと、
前記赤外線カメラによって取得された画像に基づいて、前記奥行き計算コンポーネントによって計算された奥行き画像のピクセル、との間のマッピングを表す、
請求項４に記載のシステム。
【請求項６】
前記奥行き計算コンポーネントは、前記第１のＲＧＢカメラによって取得された前記第１の画像と前記第２のＲＧＢカメラによって取得された前記第２の画像に基づいて、前記シーンに係る最初の奥行き画像を計算し、かつ、
前記奥行き計算コンポーネントは、前記最初の奥行き画像に少なくとも部分的に基づいて、前記奥行き画像を算出する、
請求項５に記載のシステム。
【請求項７】
前記奥行き計算コンポーネントは、前記最初の奥行き画像を複数のセグメントに分割し、それぞれのセグメントは、それぞれの範囲内にある奥行き値をもった前記最初の奥行き画像におけるピクセルを含んでおり、
前記奥行き計算コンポーネントは、前記校正パラメータに基づいて、前記複数のセグメントを前記赤外画像のそれぞれの部分に対してマップし、かつ、
前記奥行き計算コンポーネントは、前記複数のセグメントを前記赤外画像の前記それぞれの部分に対するマッピングに少なくとも部分的に基づいて、前記奥行き画像を算出する、
請求項６に記載のシステム。
【請求項８】
前記オブジェクトは、人間の手であり、
前記システムは、さらに、ジェスチャ認識コンポーネントを含み、
前記ジェスチャ認識コンポーネントは、前記奥行き画像に少なくとも部分的に基づいて、前記コンピューティングデバイスの前記ディスプレイ画面上に表示されている少なくとも一つのグラフィカルオブジェクトに関して人間の手によって行われるジェスチャを認識し、
前記レンダリングコンポーネントは、前記人間の手によって行われる前記ジェスチャに少なくとも部分的に基づいて、前記コンピューティングデバイスの前記ディスプレイ画面上に前記グラフィカルデータをレンダリングする、
請求項１に記載のシステム。
【請求項９】
赤外線カメラから、モバイルオブジェクトを含むシーンに係る一連の赤外画像を受け取るステップであり、
前記一連の赤外画像におけるそれぞれの赤外画像は、それぞれの複数の輝度値を有する複数のピクセルを含んでいる、ステップと；
前記一連の赤外画像のそれぞれの画像に対して、オブジェクトのそれぞれの部分に対する一連の奥行き値を生成するために、前記オブジェクトのそれぞれの奥行き値を計算するステップであり、
それぞれの赤外画像に対する前記奥行き値は、前記赤外画像に対する前記それぞれの複数の輝度値の二乗平均に少なくとも部分的に基づいて計算される、ステップと；
前記オブジェクトのそれぞれの部分に対する前記一連の奥行き値に少なくとも部分的に基づいて、コンピューティングデバイスのディスプレイ画面上にグラフィカルデータをレンダリングするステップと、
を含む、方法。
【請求項１０】
前記オブジェクトは、人間の手であり、
前記方法は、さらに、
前記人間の手のそれぞれの部分に対する一連の奥行き値に少なくとも部分的に基づいて、前記コンピューティングデバイスの前記ディスプレイ画面上のグラフィカルオブジェクトに関して前記人間の手によって行われるジェスチャを認識するステップと、
前記人間の手によって行われる前記ジェスチャの認識に少なくとも部分的に基づいて、前記コンピューティングデバイスの前記ディスプレイ画面上に前記グラフィカルデータをレンダリングするステップと、
を含む、請求項９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光フォールオフに基づく奥行き画像の生成に関する。
【背景技術】
【０００２】
コンピューティングデバイスの製造者及びそうしたコンピューティングデバイス上で実行されるオペレーティングシステムの開発者は、そうしたコンピューティングデバイス、オペレーティングシステム、および、そこで実行されるアプリケーションとの直感的で便利なユーザインタラクションを促進するために、それぞれの製品の改良を継続している。慣習的に、キーボードやマウスといった、入力デバイスが、ユーザからの入力を受け取るために使用されてきており、入力は、いくつかのコンピューティングオペレーションを実行するために利用される。従って、ユーザが、コンピューティングデバイス、オペレーティングシステム、及び/又は、アプリケーションが所定のタスクを実行することを望む場合に、ユーザは、一連のマウスクリック、マウスの移動、及び/又は、キー打ちによって、コンピューティングデバイスに対してインストラクションを伝送する。
【０００３】
近年、コンシューマレベルのコンピューティングデバイスは、上述した従来のユーザ入力デバイスと比べたときに、より直感的で便利なインタラクションを促進する技術を備えてきている。例えば、多くの携帯電話は、タッチ感応ディスプレイ画面を備えており、ユーザが、ディスプレイ画面上のグラフィカルなオブジェクトとインタラクションすることができる。一本以上の指でディスプレイ画面にコンタクトして、グラフィカルなオブジェクトに関してジェスチャを行うことによるものである。しかしながら、タッチ感応ディスプレイによって認識され得るジェスチャは、いくらか制限されることが容易に確認することができる。従来のタッチ感応ディスプレイ画面は、指／手の曖昧性除去をサポートしていないし、深さ認識もサポートしていないからである。さらに、ユーザはディスプレイ画面と直接的にインタラクションする必要があるので、ジェスチャは、ディスプレイ画面のサイズに制限されてしまう。
【０００４】
３次元空間においてユーザによって行われたジェスチャの認識は、インストラクションセットを拡張することができる。インストラクションセットは、そうしたジェスチャを通じてコンピューティングデバイスに対してユーザによって明らかにされ得るものである。参照ポイントまたは平面（コンピューティングデバイスまたはディスプレイ画面上の所定のポイント）に関するオブジェクト（人間の手）の奥行きを認識するための従来技術は、大量生産のために実用的に配備するにはあまりに高価すぎるか、比較的に細粒状のジェスチャの認識をサポートするために十分な解像度を欠いているか、のいずれかである。例えば、３次元の奥行き認識を実行するために現在使用されている技術のタイプは、両眼視システム、構造化照明システム（ｓｔｒｕｃｔｕｒｅｄ  ｌｉｇｈｔ  ｓｙｓｔｅｍ）、および、飛行時間システム（ｔｉｍｅ  ｏｆ  ｆｌｉｇｈｔ  ｓｙｓｔｅｍ）を含んでいる。両眼視システムは、立体視的に配置されたＲＧＢカメラからの画像のマッチングによって、オブジェクト上のポイントの奥行きを算出する。両眼視システムに関する一般的な欠陥は、参照ポイントからの奥行きが望ましくは確認されているオブジェクトが、特定のテクスチャのタイプを有する必要があることである。さらに、結果として生じる奥行き画像の解像度は、指のわずかな動きといった、細粒状のジェスチャが十分正確に認識できるためには、不十分である。
【０００５】
構造化照明システムは、赤外光のパターンを用いてシーン（ｓｃｅｎｅ）を照らす赤外光源を使用する。シーンにおけるオブジェクトの赤外光源に関する奥行きが、取得された赤外画像におけるそうしたパターンの検出された変形に基づいて算出される。奥行き画像を生成するとき、パターンを認識するためには、取得された赤外画像における大量のピクセルが分析される必要がある。従って、再び、結果として生じる奥行き画像の解像度は、所定のジェスチャを正確に認識するためには不十分である。飛行時間システムは、赤外発光器から赤外光が送信されたときから（シーンにおけるオブジェクトに反射した後で）そうした光が受光器によって受信されたときまでの間の時間量を測定するセンサを含んでいる。そうしたシステムは、コンシューマレベルのデバイスに使うには現在手が出ないほどに高価であり、低価格のセンサが使用される場合は、再び、結果として生じる奥行き画像の解像度は、所定のジェスチャを正確に認識するためには不十分である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
結果として生じる奥行き画像の解像度は、所定のジェスチャを正確に認識するためには不十分である。
【課題を解決するための手段】
【０００７】
以降は、ここにおいて詳細に説明される技術的事項の簡単なまとめである。このまとめは、特許請求の範囲に関して限定することを意図するものではない。
【０００８】
ここにおいて説明されるのは、時間にわたり参照ポイントまたは平面に関してオブジェクトの部分に係る奥行きを表す奥行き画像を生成することに関連する種々の技術である。より特定的には、ここにおいて説明されるのは、光フォールオフ（ｌｉｇｈｔ  ｆａｌｌｏｆｆ）の原理に基づいてシーンに係る奥行き画像を生成する種々の技術である。一つの典型的な実施例においては、人間の手、腕、または、人体の他の部分によって行われたジェスチャが、光フォールオフの原理を使用する奥行き検出技術の利用を通じて認識され、センサユニットに関する人間の手、腕、または、人体の他の部分の距離を表す奥行き画像を生成する。そうしたジェスチャ認識技術は、従来のデスクトップコンピューティングデバイス、ラップトップコンピューティングデバイス、携帯電話、タブレットコンピューティングデバイス、等に関連して使用され得る。
【０００９】
一つの典型的な実施例において、シーンに係る奥行き画像の生成に関して使用されているセンサユニットは、赤外光を用いてシーンを照らす赤外光源を含んでいる。センサユニットは、さらに、シーンの赤外画像を取得する赤外線カメラを含んでいる。ここで、シーンは、人間の手または人間の両手といった、モバイルオブジェクトを含んでいる。例えば、赤外線カメラは、毎秒３０フレーム又はそれ以上のフレームレートで画像を取得する赤外線ビデオカメラであってよい。このように、赤外線カメラは、時間にわたり、シーンにおけるオブジェクトの動きを取得することができる。赤外線カメラによって取得されたそれぞれの画像は、それぞれに複数の輝度値（ｉｎｔｅｎｓｉｔｙ  ｖａｌｕｅ）を有する複数のピクセルを含んでいる。それぞれのピクセルに対する輝度値は、ピクセルによって表されるシーンの部分に対する奥行き値を算出するために使用され得る。従って、望むのであれば、シーンの奥行き画像は、赤外線カメラによって取得された画像の解像度と同等な解像度を有することができる。
【００１０】
上述のように、奥行き画像は、光フォールオフの原理の利用を通じて算出することができる（ここで、赤外画像において取得された赤外光の輝度は、赤外光源からの距離の逆二乗に基づいている）。従って、一つの典型的な実施例において、画像における所定のピクセルに対応する奥行き値は、ピクセルの輝度値と定数に基づいて算出され得る。ここで、定数は、赤外光源によって発光された赤外光の輝度、ピクセルによって表されるオブジェクトの部分に係る反射率、および、ピクセルによって表されるオブジェクトの部分の赤外光源に関する方向に基づくものである。一つの典型的な実施例において、定数は、赤外光源の既知の輝度、典型的な人の手の既知の反射率、および、人の手の赤外光源に関する平均的な方向に基づいて設定され得る（可能性として取得された赤外画像における人の手の位置に基づくもの）。さらに、定数は、経験的なテストを通じて精密化され得る。
【００１１】
別の典型的な実施例においては、第１の解像度でのシーンに係る第１の奥行き画像を生成するために、従来の奥行き検出システムが使用され得る。続いて、第２の解像度において、シーンに係る第２の奥行き画像が生成される。ここで、第２の解像度は、第１の解像度よりも高いものである。シーンに係る第２の奥行き画像は、第１の奥行き画像と光フォールオフの原理に基づいて生成され得る。プロシージャは、時間にわたりシーンに係る複数の高解像度の奥行き画像を生成するために繰り返されてよい。
【００１２】
コンピューティングデバイスのディスプレイ画面上に表示された一つまたはそれ以上のグラフィカルオブジェクトに関してモーションキャプチャおよびジェスチャ認識を時間にわたり実行するために、高解像度の奥行き画像をモニタすることができる。一連の奥行き画像に基づいて認識され得る人の手によって行われる典型的なジェスチャは、これらに限定されるわけではないが、以下のものを含んでいる。手首を中心に手を上向きに回転させるジェスチャ（上向きウェーブ）、手首を中心に手を左向き又は右向きに回転させ手の指は伸びており手の平はディスプレイ画面の表面に平行であるジェスチャ（左向き又は右向きウェーブ）、人差し指を伸ばして人差し指をディスプレイ画面上に表示されたグラフィカルオブジェクトに向かって移動するジェスチャ、人差し指と親指を一緒につまんでそれを解除するジェスチャ、手首を中心に手を左向き又は右向きに回転させ手の指はディスプレイ画面の表面に対して垂直に伸びており手の平はディスプレイ画面の底面に平行であるジェスチャ、他のジェスチャ等である。一つの典型的な実施例において、認識され得る手（または他の身体）のジェスチャは、コンピューティングデバイス（または赤外線カメラ）のディスプレイ画面から少なくとも１ｃｍ離れて、かつ、コンピューティングデバイス（または赤外線カメラ）のディスプレイ画面から２０ｃｍ離れる限りで実行され得る。他の実施例においては、ユーザがセンサユニットから数フィートに位置する場合、ユーザによって行われるジェスチャを検出するために、赤外光源の輝度を増加することができる。
【００１３】
添付の図面と説明を読んで理解すれば、他の態様が正しく理解されるであろう。
【図面の簡単な説明】
【００１４】
【図１】図１は、シーンに係る奥行き画像の生成を促進する典型的なシステムの機能ブロックダイヤグラムを示している。
【図２】図２は、３次元空間において人の手によって行われるジェスチャの認識を促進する典型的なシステムの機能ブロックダイヤグラムを示している。
【図３】図３は、３次元空間において人の手によって行われるジェスチャの認識を促進する典型的なシステムの機能ブロックダイヤグラムを示している。
【図４】図４は、典型的なセンサユニットの機能ブロックダイヤグラムを示している。
【図５】図５は、光フォールオフの原理の利用を通じてシーンに係る奥行き画像を生成するための典型的な方法を説明するフローチャートを示している。
【図６】図６は、認識されたジェスチャに少なくとも部分的に基づいて、コンピューティングデバイスのディスプレイ画面上にグラフィカルデータをレンダリングするための典型的な方法を説明するフローチャートを示している。
【図７】図７は、コンピューティングデバイスのディスプレイ画面上に表示された一つまたはそれ以上のグラフィカルオブジェクトに関して行われる典型的なジェスチャを示している。
【図８】図８は、図７で示された典型的なジェスチャに関連してユーザに対して表示される一連のグラフィカルユーザインターフェイスを示している。
【図９】図９は、コンピューティングデバイスのディスプレイ画面上に表示された一つまたはそれ以上のグラフィカルオブジェクトに関して行われる別の典型的なジェスチャを示している。
【図１０】図１０は、図９で示された典型的なジェスチャに関連してユーザに対して表示される一連のグラフィカルユーザインターフェイスを示している。
【図１１】図１１は、コンピューティングデバイスのディスプレイ画面上に表示された一つまたはそれ以上のグラフィカルオブジェクトに関して行われる更に別の典型的なジェスチャを示している。
【図１２】図１２は、図１１で示された典型的なジェスチャに関連してユーザに対して表示される一連のグラフィカルユーザインターフェイスを示している。
【図１３】図１３は、コンピューティングデバイスのディスプレイ画面上に表示された一つまたはそれ以上のグラフィカルオブジェクトに関して行われる更になお別の典型的なジェスチャを示している。
【図１４】図１４は、コンピューティングデバイスのディスプレイ画面上に表示された一つまたはそれ以上のグラフィカルオブジェクトに関して行われる別の典型的なジェスチャを示している。
【図１５】図１５は、図１４で示された典型的なジェスチャに関連してユーザに対して表示される一連のグラフィカルユーザインターフェイスを示している。
【図１６】図１６は、コンピューティングデバイスのディスプレイ画面上に表示された一つまたはそれ以上のグラフィカルオブジェクトに関して行われる更に別の典型的なジェスチャを示している。
【図１７】図１７は、図１６で示された典型的なジェスチャに関連してユーザに対して表示される一連のグラフィカルユーザインターフェイスを示している。
【図１８】図１８は、コンピューティングデバイスのディスプレイ画面上に表示された一つまたはそれ以上のグラフィカルオブジェクトに関して行われる更になお別の典型的なジェスチャを示している。
【図１９】図１９は、図１８で示された典型的なジェスチャに関連してユーザに対して表示される一連のグラフィカルユーザインターフェイスを示している。
【図２０】図２０は、コンピューティングデバイスのディスプレイ画面上に表示された一つまたはそれ以上のグラフィカルオブジェクトに関して行われる別の典型的なジェスチャを示している。
【図２１】図２１は、図２０で示された典型的なジェスチャに関連してユーザに対して表示される一連のグラフィカルユーザインターフェイスを示している。
【図２２】図２２は、典型的なコンピューティングシステムを示している。
【発明を実施するための形態】
【００１５】
これより、シーンに係る奥行き画像を生成すること、シーンでの３次元空間において行われたジェスチャを認識すること、および、認識されたジェスチャに基づいてコンピューティングデバイスのディスプレイ画面上にグラフィカルデータをレンダリングすることに関する種々の技術が、図面を参照して説明される。ここで、類似の参照番号は全体を通じて類似のエレメントを表している。加えて、典型的なシステムに係るいくつかの機能ブロックダイヤグラムが、ここにおいて、説明目的のために示され、記載されている。しかしながら、所定のシステムコンポーネントによって実行されるものであるとして説明されている機能性は、複数のコンポーネントによって実行され得ることが理解されるべきである。同様に、例えば、複数のコンポーネントによって実行されるものであるとして説明されている機能性を実行するように一つのコンピュータが構成されてよい。加えて、ここにおいて使用されるように、用語「典型的な」は、ある物の説明または例示として役立つことを意味するように意図されたものであり、嗜好を示すように意図されたものではない。
【００１６】
ここにおいて使用されるように、用語「コンポーネント」と「システム」は、コンピュータで実行可能なインストラクションを用いて構成されたコンピュータで読取り可能なデータ記録を包含するように意図されている。インストラクションは、プロセッサによって実行されるときに実施されるべき所定の機能性を生じるものである。従って、「コンポーネント」は、ハードウェアとソフトウェアの組合せを包含するように意図されている。コンピュータで実行可能なインストラクションは、ルーチン、ファンクション、等を含んでよい。コンポーネントまたはシステムは、単一のデバイス上に配置され、または、いくつかのシステムにわたり配分されてもよいことも理解されるべきである。さらに、用語「メモリ」および「プロセッサ」は、単一または複数形式の両方を包含するように意図されている。従って、プロセッサは、インストラクションを実行する単一のプロセッサとインストラクションをシリアル又はパラレルに実行する複数のプロセッサも同様に包含するように意図されている。
【００１７】
図１を参照すると、少なくとも一つのオブジェクトを含んでいるシーンに係る奥行き画像の生成を促進する典型的なシステム１００の機能ブロックダイヤグラムが示されている。一つの典型的な実施例において、モバイルコンピューティングデバイスは、システム１００の少なくとも一部を含んでよい。ここで、モバイルコンピューティングデバイスは、携帯電話、タブレットコンピューティンデバイス、ラップトップコンピューティンデバイス、等であってよい。別の実施例において、デスクトップコンピューティングデバイスは、システム１００の少なくとも一部を含んでよい。このように、ハウジングは、システム１００の少なくとも一部分を含んでよい。
【００１８】
システム１００は、赤外線発光器１０４と赤外線カメラ１０６を含むセンサユニット１０２を含んでいる。赤外線発光器１０４は、既知の輝度／周波数の赤外光でシーンを照らすように構成されている。赤外線カメラ１０６は、赤外線発光器１０４によって発光された赤外光出力によって照らされたシーンの画像を取得する。一つの実施例に応じて、赤外線カメラ１０６は（例えば、毎秒３０フレームまたはそれ以上の）ビデオレートで画像を取得することができる。別の実施例において、赤外線カメラ１０６は、毎秒１０フレームから毎秒３０フレームの間のビデオレートにおいて画像を取得してよい。示されるように、赤外線カメラ１０６によって映されたシーンはオブジェクト１０８を含んでよく、ここで、オブジェクト１０８はモバイルオブジェクトである。一つの典型的な実施例において、オブジェクト１０８は、人間の手または手のセット、人間の腕、人間の足、または、他の好適な体の部位のうちの一つである。赤外線カメラ１０６によって生成され出力されたシーンのそれぞれの画像は、複数の輝度値それぞれを有する複数のピクセルを有している。
【００１９】
システム１００は、さらに、時間にわたり赤外線カメラ１０６からの一連の赤外画像を受け取る受信コンポーネント１１０を含んでいる。奥行き計算コンポーネント１１２は、受信コンポーネント１１０と通信して、赤外線カメラ１０４によって取得されたそれぞれの画像に対するシーンの奥行き画像を算出する。奥行き計算コンポーネント１１２によって算出された奥行き画像は、複数のピクセルとそれぞれの奥行き値（ｄｅｐｔｈ  ｖａｌｕｅ）を有している。ここで、奥行き値の一部は、赤外線発光器１０４に関するオブジェクト１０８の部分の奥行きを表している。一つの典型的な実施例において、奥行き計算コンポーネント１１２は、シーンの奥行き画像を算出するために、光フォールオフの原理を利用することができる。ここで、奥行き画像の解像度は、奥行き画像を算出するために奥行き計算コンポーネントによって使用された赤外画像の解像度と同等である。
【００２０】
システム１００は、さらに、コンピューティングデバイスのディスプレイ画面１１４を含んでいる。レンダリングコンピューティングシステム１１６は、奥行き計算コンポーネント１１２によって算出された奥行き画像を受け取って、奥行き計算コンポーネント１１２によって算出された奥行き画像に少なくとも部分的に基づいてディスプレイ画面１１４上にグラフィカルデータ１１８をレンダリングする。上述のように、一つの典型的な実施例において、オブジェクト１０８はディスプレイ画面１１４上に表示されたグラフィカルオブジェクトに関してジェスチャを行っている人間の手であってよい。奥行き計算コンポーネント１１２は、人間の手を含む一連の奥行き画像を生成することができ、一連の奥行き画像を分析することにより人間の手によって行われるジェスチャを認識することができる。レンダリングコンポーネント１１６は、次に、認識されたジェスチャに少なくとも部分的に基づいて、グラフィカルデータ１１８を生成することができる。ジェスチャは、３次元空間において行われ、ディスプレイ画面１１４またはセンサユニット１０２から少し離れて行われ得る。例えば、人間の手が、ディスプレイ画面１１４またはセンサユニット１０２から、１メートルと２０センチとの間にあってよい。別の実施例において、人間の手は、ディスプレイ画面１１４またはセンサユニット１０２から、５センチから２０センチの間にあってよい。さらに別の実施例において、人間の手は、ディスプレイ画面１１４またはセンサユニット１０２から、１メートルから５メートルの間にあってよい。従って、ディスプレイ画面１１８はタッチ感応ディスプレイ画面である必要はないことが確認され得る。
【００２１】
上述のように、奥行き計算コンポーネント１１２は、奥行き画像を生成するために光フォールオフの原理を利用することができる。光フォールオフの原理は、検出器（赤外線カメラ１０６）によって観察された照明輝度が、光源（赤外線発光器１０４）からの距離の逆二条に比例することを利用する。アルゴリズム的に、および赤外線カメラ１０６によって取得された赤外画像に関して、この原理は以下のように表わすことができる。
【数１】
2015517134.tif 000003
ここで、ｌ（ｐ）はピクセルｐの輝度値であり、ｒｐは赤外線発光器１０４とピクセルｐによって表わされるオブジェクト１０８上のポイントとの間の距離であり、そして、ｋｐは、赤外線発光器１０４によって発光される赤外光の輝度、ピクセルｐによって表わされるポイントにおけるオブジェクト１０８の反射率、および、ピクセルｐによって表わされるポイントにおけるオブジェクト１０８の向きに関連する定数である。特に、ｋｐ＝Ｌ（θ）ρ（θ、φ）である。ここで、Ｌ（θ）はインシデント方向θに沿った赤外光の放射輝度（ｒａｄｉａｎｃｅ）であり、ρ（θ、φ）はピクセルｐによって表されるオブジェクト上のポイントに係る双方向の反射率分布の関数であり、φは赤外線発光器１０４に関するピクセルｐによって表されるポイントの向きである。
【００２２】
ｒｐに対して解くと、数式（１）は、以下のように書き直すことができる。
【数２】
2015517134.tif 000004
従って、奥行き計算コンポーネント１１２は、赤外線カメラ１０６によって取得された赤外画像におけるピクセルの輝度値の平方根に少なくとも部分的に基づいて、シーン画像の奥行きを算出することができる。一つの実施例に応じて、ｋｐに対する値は、経験的に決定され得る。例えば、赤外線発光器１０４によって発光される赤外光の輝度は既知であり、オブジェクト１０８の反射率の値を見積ることができる。一つの実施例において、人間の手に対応する奥行き値を検出することが望ましい場合、典型的な人間の手の反射率を確認して、ｋｐに対する値を選択するときに利用することができる。
【００２３】
図２をこれから参照すると、人間の手によって行われるジェスチャの認識を促進する典型的なシステム２００が説明されている。システム２００は、センサユニット２０２を含んでいる。ここで、センサユニット２０２は、赤外線発光器２０４、赤外線カメラ２０６、第１のＲＧＢカメラ２０８、および、第２のＲＧＢカメラ２１０を含んでいる。第１のＲＧＢカメラ２０８と第２のＲＧＢカメラ２１０は、シーンに係る画像をステレオで取得するように、お互いに関して配置されている。赤外線カメラ２０６、第１のＲＧＢカメラ２０８、および、第２のＲＧＢカメラ２１０は、時間においてお互いに同期している。
【００２４】
校正フェイズにおいて、第１のＲＧＢカメラ２０８と第２のＲＧＢカメラ２１０は、既知のパターンを伴うオブジェクトを含んでいるシーンに係る同期された画像それぞれを取得する。受信コンポーネント１１０は画像を受け取り、奥行き計算コンポーネント１１２は、従来の立体視的奥行き検出オペレーションによりＲＧＢ画像に基づいて第１の奥行き画像を算出する。赤外線カメラ２０６は（ＲＤＢ画像と同期して）シーンの画像を取得し、奥行き計算コンポーネント１１２は、上記に説明してきたように、光フォールオフの原理を使用して第２の奥行き画像を生成する。
【００２５】
システム２００は、さらに、ＲＧＢ画像の立体視的分析を介して生成された奥行きア像と光フォールオフの原理に基づいて生成された奥行き画像との間の校正パラメータを学習する、校正コンポーネント２１２を含んでいる。校正パラメータは、２つの異なる技術によって生成されたそれぞれの奥行き画像におけるピクセル間のマッピングを表している。
【００２６】
校正コンポーネント２１２の校正パラメータの学習に続いて、人間の手２１４を含むシーンの画像を取得するために、センサユニット２０２が使用され得る。受信コンポーネント１１０は、第１のＲＧＢカメラ２０８、第２のＲＧＢカメラ２１０、および、赤外線カメラ２０６から同期された画像を受け取る。奥行き計算コンポーネント１１２は、受信コンポーネント１１０と通信して、第１のＲＧＢカメラ２０８および第２のＲＧＢカメラ２１０によって取得されたＲＧＢ画像それぞれに基づいて、（第１の解像度において）シーンの第１の奥行き画像を算出する。奥行き計算コンポーネント１１２は、従来の両眼視技術を通じて、この第１の奥行き画像を算出することができる。この第１の奥行き画像は、次に、奥行き値に基づいて複数のセグメントに分割される。第１のセグメントが第１の範囲における奥行き値を有するピクセルを含み、第２のセグメントがオーバーラップしない第２の範囲における奥行き値を有するピクセルを含むようにである、等。第１の奥行き画像を分割するために使用される範囲は、経験的に決定され得る。
【００２７】
校正フェーズの最中に、校正コンポーネント２１２によって学習された校正パラメータを使用して、第１の奥行き画像からの複数のセグメントが（対応する既知の奥行きをもったもの）、赤外線カメラ２０６によって生成された赤外画像における対応するピクセルに対してマップされ得る。赤外画像に対してマップされたそれぞれのセグメントに対して、マップされたセグメントにおける赤外画像のピクセルが選択される。ピクセルは、ランダム選択を含む、あらゆる好適な技術を通じて選択することができる。セグメントの重心を計算して重心にあるピクセルを選択すること、等を通じて選択することができる。選択されたピクセルの輝度値Ｉ（ｐ）、および、そうしたピクセルについてマップされたセグメントに対する距離ｒｐを使用して、定数ｋｐを算出することができる。ｋｐの値は、次に、セグメントにおけるそれぞれのピクセルｐに対するｒｐを算出するために使用される。このことは、全てのセグメントに対して行われ得る。結果として生じる奥行き画像は、両眼視技術と光フォールオフ原理の組み合わせに基づくものであるが、従って、赤外画像の解像度と同等の（そして、典型的には両眼視技術に基づいて生成された奥行き画像よりも高い）解像度を有する。
【００２８】
奥行き計算コンポーネント１１２は、赤外線カメラ２０６によって取得されたそれぞれの赤外画像に対する高解像度の奥行き画像を算出する。一連の奥行き画像が分析されて、人間の手２１４の動きが取得され、及び/又は、人間の手２１４によって行われるジェスチャを認識されるようにである。このために、システム２００は、さらに、ジェスチャ認識コンポーネント２１６を含んでおり、奥行き計算コンポーネント１１２から一連の奥行き画像を受け取り、ディスプレイ画面１１４上に表示されている少なくとも一つのグラフィカルオブジェクトに関して人間の手２１４によって行われるジェスチャを認識する。ジェスチャ認識コンポーネント２１６は、ジェスチャが少なくとも一つのグラフィカルオブジェクトに関して行われたことを特定するレンダリングコンポーネント１１６に対して信号を出力する。そして、レンダリングコンポーネント１１６は、ジェスチャ認識コンポーネント２１６によって認識された人間の手のジェスチャに少なくとも部分的に基づいて、ディスプレイ画面１１４上にグラフィカルデータ１１８をレンダリングする。
【００２９】
ジェスチャ認識コンポーネント２１６は、ユーザによって行われ得る比較的多くのジェスチャを認識することができる。このことは、少なくとも部分的には、ユーザによって行われるジェスチャがディスプレイ画面１１４の表面領域に限定されないことによる。さらに、奥行き計算コンポーネント１１２は、比較的高解像度の奥行き画像を生成するので、ジェスチャ認識コンポーネント２１６は、ユーザの指と手との間の曖昧性を解消することができ、それにより、認識することができるジェスチャセットの可能性を拡張している。従って、例えば、ユーザの左手によって行われるジェスチャは第１の所望の成果を有し、一方で、ユーザの右手によって行われる同様なジェスチャが、第２の（異なる）所望の成果を有することができる。ジェスチャ認識コンポーネント２１６は、手、指、そして、ユーザ間での曖昧性を解消することができ、それにより、所定のユーザはカスタマイズされたジェスチャを作成することができる。比較的に大きなジェスチャの用語範囲も同様に作成できる。
【００３０】
図３をこれから参照すると、ディスプレイ画面１１４上に表示されたグラフィカルオブジェクトに関して人間の手によって行われるジェスチャの認識を促進する典型的なシステム３３０が示されている。システム３００は、センサユニット３０２を含んでいる。ここで、センサユニット３０２は、第１の赤外線発光器３０４、対応する第１の赤外線カメラ３０６、第２の赤外線発光器３０８、および、対応する第２の赤外線カメラ３１０を含んでいる。第１の赤外線発光器３０４は、第１の周波数において赤外光を発光するように構成されており、第１の赤外線カメラ３０６は、第１の周波数に係る赤外光を検出するように構成されている。同様に、第２の赤外線発光器３０８は、第２の周波数において赤外光を発光するように構成されており、第２の赤外線カメラ３１０は、第２の周波数における赤外光を検出するように構成されている。第１の赤外線カメラ３０６、および、第２の赤外線カメラ３１０は、時間においてお互いに同期している。さらに、第１の赤外線発光器３０４は、所定のパターンの赤外光を出力する。
【００３１】
校正フェイズにおいて、受信コンポーネント１１０は、第１の赤外線カメラ３０６によって取得された画像を受け取り、奥行き計算コンポーネント１１２は、従来の構造化照明技術により第１の奥行き画像を算出する。受信コンポーネント１１０は、また、第２の赤外線カメラ３１０によって取得された画像を受け取り、奥行き計算コンポーネント１１２は、上述のように、光フォールオフの原理に基づいて第２の奥行き画像を算出する。校正コンポーネント２１２は、第１の奥行き画像におけるピクセルを第２の奥行き画像におけるピクセルに対してマップする校正パラメータを学習する。そうした校正パラメータは、構造化照明技術に基づいて生成された奥行き画像を第２の赤外線カメラ３１０によって取得された赤外画像に対してマップするために継続的に使用されてよい（第２の赤外線カメラ３１０によって生成された画像の解像度が、前述の第２の奥行き画像の解像度と同等だからである）。
【００３２】
校正パラメータが学習された後に続いて、システム３００は、人間のジェスチャ（例えば、ディスプレイ画面１１４上のグラフィカルオブジェクトに関して人間の手によって行われたジェスチャ）を認識するように展開され得る。オペレーションにおいて、第１の赤外線カメラ３０６と第２の赤外線カメラ３１０は、人間の手を含むシーンの赤外画像をそれぞれ取得する。受信コンポーネント１１０は、これらの画像を受け取り、奥行き計算コンポーネントは、従来の構造化照明技術を使用して第１の赤外線カメラ３０６によって取得された画像に基づいて奥行き画像を生成する。当業者であれば理解されるように、奥行き画像は、第１の赤外線カメラ３０６によって取得された画像の解像度より低い解像度を有する。奥行き計算コンポーネント１１２は、次に、奥行き画像を複数のセグメントに分割する（図２に関して説明したセグメント化と同様である）。奥行き計算コンポーネント１１２は、校正コンポーネント２１２により学習された校正パラメータを使用して、セグメントを、第２の赤外線カメラ３１０によって出力された赤外画像に対してマップすることができる。奥行き計算コンポーネント１１２は、次に、図２に関して説明したように、それぞれのセグメントに対するｋｐを算出することによって、高解像度の奥行き画像を生成するようにアクトすることができる。
【００３３】
ジェスチャ認識コンポーネント２１６は、奥行き計算コンポーネント１１２からシーンに係る一連の高解像度の奥行き画像を受け取り、ディスプレイ画面１１４上のグラフィカルオブジェクトに関して人間の手２１４によって行われているジェスチャを認識する。レンダリングコンポーネント１１６は、次に、ジェスチャ認識コンポーネント２１６によって認識されたジェスチャに基づいて、ディスプレイ画面１１４上にグラフィカルデータをレンダリングする。
【００３４】
従って、光フォールオフの原理に基づく奥行き検出が、従来の奥行き検出技術と組み合わせて使用できることが確認されており、モーションキャプチャ及び/又はジェスチャ認識に関連する利用のためのシーンに係る高解像度の奥行き画像を生成することができる。両眼視技術と構造化照明技術が光フォールオフ技術と組み合わせ可能であるものとして説明されてきたが、他の奥行き検出技術も光フォールオフの原理に基づく奥行き検出と組み合わせることができることが理解されるべきである。例えば、飛行時間検出システムが、上述の光フォールオフ技術と組み合わせて使用することができる。
【００３５】
図４をこれから参照すると、センサユニット１０２の典型的な描写が示されている。センサユニット１０２は、赤外線発光器１０４と赤外線カメラ１０６を含んでいる。赤外線発光器１０４は、赤外光を出力する点光源である。センサユニット１０２は、さらに、赤外線発光器１０４から発光された赤外光を２つのビームに分割するビームスプリッタ４０２を含んでいる。オブジェクト１０８を含むシーンを赤外光を用いて照らすための第１ビーム、および、増幅目的のために使用される第２ビームである。シーンから（例えば、オブジェクト１０８から）反射された赤外光は、ビームスプリッタ４０２に衝突して、第２ビームと結合され、それによって増幅された信号を生成している。センサユニット１０２は、また、鏡を含んでおり、増幅された信号を赤外線カメラ１０６に対して方向付ける。図４に示すようなセンサユニット１０２は典型的な構成であって、他の構成も、添付の特許請求の範囲内にあるものと理解され、意図されているものである。
【００３６】
図５と図６をこれから参照すると、種々の典型的な方法が図示され、説明されている。本方法は、順番に実行される一連のアクトであるとして説明されているが、本方法は、シーケンスの順番に限定されるものではないことが理解されるべきである。例えば、いくつかのアクトは、ここにおいて説明される順番とは異なる順番で生じてもよい。加えて、一つのアクトが別のアクトと同時に生じてもよい。さらに、いくつかの実施例では、ここにおいて説明される方法を実施するためには全てのアクトが必要とされるものではない。
【００３７】
さらに、ここにおいて説明されるアクトは、一つまたはそれ以上のプロセッサによって実行され、及び/又は、コンピュータで読取り可能な媒体またはメディア上に保管され得る、コンピュータで実行可能なインストラクションであってよい。コンピュータで実行可能なインストラクションは、ルーチン、サブルーチン、プログラム、実行スレッド、及び/又は、類似のものを含んでいる。さらにまた、方法に係るアクトの結果は、コンピュータで読取り可能な媒体に保管され、ディスプレイデバイス上に表示され、及び/又は、類似のことがなされる。コンピュータで読取り可能な媒体は、あらゆる好適なコンピュータで読取り可能な記録デバイスであってよい。メモリ、ハードドリアブ、ＣＤ、ＤＶＤ、フラッシュドライブ、または類似のもの、といったものである。ここにおいて使用されるように、用語「コンピュータで読取り可能な媒体」は、プロパゲートされた信号を包含するように意図されたものではない。
【００３８】
図５だけを参照すると、光フォールオフの原理に基づいた奥行き画像の算出を促進する典型的な方法５００が説明されている。方法５００は、５０２で開始し、５０４では、赤外光源からの赤外光で照らされたシーンの赤外画像が赤外線カメラで受け取られる。シーンは、いくつかのオブジェクトを含んでいる。人間の指、手、または類似のもの、といったものである。
【００３９】
５０６では、赤外光源に関する、オブジェクトのポイントの奥行きが、オブジェクトのそれぞれのポイントを表わすピクセルに係るそれぞれの輝度の二乗平均に基づいて計算される。５０８では、赤外線カメラが次の画像を受け取ったか否かが判断される。次の画像が受け取られた場合、次に、本方法は５０４に戻る。従って、３次元におけるオブジェクトの動きが時間にわたりモニタできるように、一連の奥行き画像が生成され得る。こうして、オブジェクトが人間の手である場合、手によって行われたジェスチャが認識され得る。赤外線カメラが受け取った画像がそれ以上存在しない場合、本方法は、次に、５１０において終了する。
【００４０】
図６をこれから参照すると、ディスプレイ画面上のグラフィカルオブジェクトに関して認識されたジェスチャに少なくとも部分的に基づいて、コンピューティングデバイスのディスプレイ画面上のグラフィカルデータのレンダリングを促進する典型的な方法５００が説明されている。方法６００は、６０２で開始し、６０４では、赤外光源によって照らされた人間の手の赤外画像に係るシーケンスが赤外線カメラで受け取られる。６０６では、画像に係るシーケンスにわたり、赤外光源に関して人間の手のポイントの奥行きが計算される。別の言葉で言えば、一連の奥行き画像が計算される。上述のように、一連の奥行き画像における奥行き画像は、光フォールオフの原理に少なくとも部分的に基づいて計算され得る。
【００４１】
６０８では、一連の奥行き画像の分析に基づいて、人間の手によって行われたジェスチャが認識されたか否かに関して判断がなされる。ジェスチャが認識されていない場合、本方法は、次に、６０４に戻る。６０８において、人間の手が所定のジェスチャを演じたと判断された場合、次に、６１０において、認識されたジェスチャに少なくとも部分的に基づいて、コンピューティングデバイスのディスプレイ画面上にグラフィカルデータがレンダリングされる。本方法６００は、６１２で終了する。
【００４２】
図７から図２１をまとめて参照すると、奥行き計算コンポーネント１１２によって算出される奥行き画像に基づいて、ジェスチャ認識コンポーネント２１６によって認識され得る種々の典型的なジェスチャが図示され、説明されている。そうしたジェスチャに対応するグラフィカルユーザインターフェイスの数多くのシーケンスも、また、示されている。これらは説明目的のために明らかにされたものであり、ジェスチャ認識コンポーネント２１６によって認識され得る比較的に少ない数のジェスチャは除かれていることが理解されるべきである。
【００４３】
図７だけをこれから参照すると、コンピューティングデバイスのディスプレイ画面上に示されたグラフィカルオブジェクトに関してユーザによって行われ得る典型的なジェスチャ７００が説明されている。手７０２は、最初に、指がディスプレイ画面７０４の表面に垂直に伸び、手の平がディスプレイ画面７０４の下端と概ね平行であるように位置している。手７０２は、次に、ユーザの手首を中心に上向きに回転される。手の伸ばした指がディスプレイ画面７０４の表面と平行であるように動かされる。そうした上向きウェーブ動作は、ディスプレイ画面７０４上に表示されるグラフィカルオブジェクトに関して行われ得る。上述のように、このジェスチャは、奥行き計算コンポーネント１１２によって算出された奥行き画像に基づいて、ジェスチャ認識コンポーネント２１６によって認識することができる。
【００４４】
図８を参照すると、ジェスチャ７００に対応するグラフィカルインターフェイス８０２−８０６のシーケンス８００が示されている。グラフィカルインターフェイス８０２−８０６は、ディスプレイ画面７０４上に表示されるものである。グラフィカルインターフェイス８０２は、ユーザがジェスチャ７００を演じる以前に、ユーザに対して表示され得るロック画面を示している。ここで、ロック画面は、ロック画面情報８０８を含んでいる。ロック画面情報８０８は、以下のものを含んでよい。例えば、コンピューティングデバイスをアンロックするためにユーザによって演じられる一つまたはそれ以上のジェスチャに関するインストラクション、現在時刻、レビューされるべきあらゆる形式のコミュニケーションの受信（ｅメール、インスタントメッセージ、テキストメッセージ、等）をユーザが有しているか否かを表わすグラフィカルデータ、他の情報である。
【００４５】
グラフィカルインターフェイス８０４は、ジェスチャ認識コンポーネント２１６によって認識されているジェスチャ７００に応じて、ユーザに対して表示され得るグラフィカルな移行を示している。ここで、ロック画面は、ディスプレイ画面７０４を上向きに離れて移行するように表されており、持ち上げられるカーテンに似ている。移行の方向は、矢印８１０によって示されている。ロック画面が上向きに移行するにつれて、複数の選択可能なタイル８１２を有するホーム画面が表される。ここで、選択可能なタイルは、所定のオブジェクト、コンピュータで実行可能なアプリケーション、または類似のもの（当業者であれば理解されるように）に対応している。ロック画面の移行レートは、一つの典型的な実施例においては、手７０２が手首を中心に回転されるスピードに基づいてよい。グラフィカルユーザインターフェイス８０６は、上向きでディスプレイ画面７０４から離れるロック画面の継続した移行を示している。より多くのホーム画面がディスプレイ画面７０４上に表示されるようにである。こうした視覚的な移行は、ユーザに対してディスプレイ画面７０４上に完全なホーム画面が表示されるまで継続され得る。
【００４６】
図９をこれから参照すると、コンピューティングデバイスのディスプレイ画面上に示されたグラフィカルオブジェクトに関してユーザによって行われ得る別の典型的なジェスチャ９００が説明されている。手７０２は、最初に、手７０２の指が上向きに伸び、手の平がディスプレイ画面７０４と平行であるように位置している。手７０２は、次に、ユーザの手首を中心に左向き又は右向きのいずれかに回転される。ユーザがディスプレイ画面７０４に向かって手を振っているようにである。
【００４７】
図１０を参照すると、ジェスチャ９００に対応するグラフィカルユーザインターフェイス１００２−１００６のシーケンス１０００が示されている。ユーザがジェスチャ９００を演じる以前に、グラフィカルインターフェイス１００２はディスプレイ画面７０４上に表される。ここで、グラフィカルインターフェイス１００２は、ホーム画面を表しており、複数の選択可能なタイル８１２を含んでいる。ジェスチャ９００が演じられると（例えば、手７０２が手首を中心に左向きに回転される）、ホーム画面がディスプレイ画面７０４を左側に離れるように移行し、第２の画面がディスプレイ画面７０４の右側から左側に向かって移行される。そうした移行の始まりが、矢印１００８によって示される移行の方向とともに、グラフィカルユーザインターフェイス１００４に示されている。グラフィカルユーザインターフェイス１００６に示されるように、第２の画面は、右側からディスプレイ画面７０４の上に移行を続ける（書類を視野の中にスライドするのに類似している）。一方、ホーム画面は、ディスプレイ画面７０４を離れるように左側への移行を続ける。グラフィカルユーザインターフェイス間での移行の方向は、手首を中心に回転する手の方向に依存し得ることが確認できる。さらに、画面間の移行のスピードは、手首を中心にユーザの手７０２を回転するスピードに基づくことができる。
【００４８】
図１１をこれから参照すると、コンピューティングデバイスのディスプレイ画面上に示されたグラフィカルオブジェクトに関してユーザによって行われ得るさらに別の典型的なジェスチャ１１００が説明されている。典型的なジェスチャ１１００において、手７０２は、ディスプレイ画面７０４の表面と概ね平行であり、人差し指だけがそこから伸びている（ディスプレイ画面７０４の表面と概ね平行である）。手７０２の人差し指は、次に、矢印１１０２で示されるように、ディスプレイ画面７０４に向かって移動される。このように、ジェスチャ１１００は、手７０２の人差し指を用いて行われるタッピング動作である。
【００４９】
図１２をこれから参照すると、ジェスチャ１１００に対応するグラフィカルユーザインターフェイス１２０２−１２０６のシーケンス１２００が示されている。グラフィカルユーザインターフェイス１２０２は、複数の選択可能なタイル８１２を含む、ホーム画面を表している。グラフィカルユーザインターフェイス１２０２は、また、グラフィカル表示１２０６も含んでおり、複数の選択可能なタイル８１２における一つまたはそれ以上の選択可能なタイルに関する手７０２の人差し指の位置についてユーザに知らせる。グラフィカルユーザインターフェイス１２０２において示される実施例において、手７０２の人差し指は、ディスプレイ画面７０４に関して位置しており、手７０２の人差し指がディスプレイ画面７０４に向かって移動される場合、２番目の選択可能なタイルが複数のタイル８１２の中から選択される。
【００５０】
グラフィカルユーザインターフェイス１２０４は、ユーザが演じているジェスチャ１１００に応じて、ユーザに対して提供されるビジュアルフィードバックを説明している。示されているように、ユーザがジェスチャを演じることを通じて、複数の選択可能なタイル８１２の中から２番目のタイルが選択されている。
【００５１】
図１３をこれから参照すると、コンピューティングデバイスのディスプレイ画面上に示されたグラフィカルオブジェクトに関してユーザによって行われ得るさらにまた別の典型的なジェスチャ１３００が説明されている。典型的なジェスチャ１３００において、手７０２の掌は、ディスプレイ画面７０４の下端に対して概ね平行であり、ディスプレイ画面７０４の表面に対して垂直である。手７０２の親指と人差し指は、お互いに関して移動され、一緒になったり離れたりして、ピンチ（ｐｉｎｃｈｉｎｇ）ジェスチャを行う。ゲーム環境においては、例えば、ピンチジェスチャは、ジェスチャ認識コンピュータ１１６によって認識され得るもので、ディスプレイ画面７０４上の特定のグラフィカルオブジェクトを「掴む」ことができる。例えば、ぱちんこ（ｓｌｉｎｇｓｈｏｔ）動作を必要とするゲーム環境において、ユーザは、手７０２を用いてピンチジェスチャを行うことができる。ディスプレイ画面７０４から離して手７０２を（ピンチ位置における親指と人差し指と供に）移動することによって、ぱちんこのゴムが引かれる。親指と人差し指を離すと、ぱちんこは、ディスプレイ画面７０４上に表されたターゲットに向かって投射体をリリースする。
【００５２】
図１４これから参照すると、コンピューティングデバイスのディスプレイ画面上に示されたグラフィカルオブジェクトに関してユーザによって行われ得る別の典型的なジェスチャ１４００が説明されている。典型的なジェスチャ１４００において、ユーザの手７０２は、最初、手７０２の掌が、ディスプレイ画面７０４に平行であって、ディスプレイ画面７０４に直面しているオープンな位置にある。加えて、手の指が、掌から伸び、ディスプレイ画面７０４の両側と平行である。ジェスチャ１４００において、手７０２は、次に、閉じられて拳を作成する（ユーザがオブジェクトを掴んでいるかのようにである）。
【００５３】
図１５をこれから参照すると、ジェスチャ１４００に対応するグラフィカルユーザインターフェイス１５０２−１５０４のシーケンス１５００が示されている。ジェスチャ１５００が演じられ認識される以前に、グラフィカルユーザインターフェイス１５０２がディスプレイ画面７０４上に表示される。ここで、グラフィカルユーザインターフェイス１５０２は、アプリケーションのためのものである。ユーザはジェスチャ１４４０を演じて、アプリケーションを最小化または終了するといった、アプリケーションに関するいくつかのタスクを実行する。グラフィカルユーザインターフェイス１５０４は、ジェスチャ１４００を認識しているジェスチャ認識コンポーネント２１６に対応しており、アプリケーションのためのツールバーがグラフィカルユーザインターフェイス１５０４の中に示されている。
【００５４】
図１６をこれから参照すると、コンピューティングデバイスのディスプレイ画面上に示されたグラフィカルオブジェクトに関してユーザによって行われ得る別の典型的なジェスチャ１６００が説明されている。典型的なジェスチャ１６００において、手７０２は拳になっており、手の平は、ディスプレイ画面７０４の表面に対して平行である。続いて、手７０２が、拳の形式を維持したまま、ディスプレイ画面７０４の表面に対して概ね平行であるままの方向に移動される。
【００５５】
図１７をこれから参照すると、ジェスチャ１６００に対応するグラフィカルユーザインターフェイス１７０２−１７０６のシーケンス１７００が示されている。グラフィカルユーザインターフェイス１７０２は、ユーザが図１４に示されるジェスチャ１４００を演じたときに表示されるツールバーを示している。手７０２を拳の形式に維持したまま、手７０２をディスプレイ画面７０４に関して特定の量だけ（そして、任意的には特定の速度で）移動することによって、ユーザは、ディスプレイ画面７０４上に示されているアプリケーションを終了／最小化したいと望んでいることを示すことができる。グラフィカルユーザインターフェイス１７０４は、ディスプレイ画面７０４の外へ移動されているアプリケーションを示している（拳の移動方向に対応する方向におけるものである）。これによって、複数の選択可能なタイル８１２を含んでいるホーム画面を提供している。グラフィカルユーザインターフェイス１７０６は、アプリケーションのグラフィカルユーザインターフェイスのディスプレイ画面７０４からの継続した移動を示している。
【００５６】
図１８をこれから参照すると、コンピューティングデバイスのディスプレイ画面上に示されたグラフィカルオブジェクトに関してユーザによって行われ得る別の典型的なジェスチャ１８００が説明されている。典型的なジェスチャ１８００において、ユーザの手７０２は、ディスプレイ画面７０４の表面に対して垂直に手の指が伸び、手の平がディスプレイ画面７０４の下端に平行であり、下向きに面しているように、最初に構成されている。手７０２は、次に、ユーザの手首を中心に左向き又は右向きのいずれかに回転される。このジェスチャ１８００は、例えば、複数の選択可能なデータコレクションの中から一つのデータコレクションを選択するために使用することができる。
【００５７】
図１９をこれから参照すると、ジェスチャ１８００に対応するグラフィカルユーザインターフェイス１９０２−１９０４のシーケンス１９００が示されている。グラフィカルユーザインターフェイス１９０２は、それぞれのデータコレクションを表わす複数のグラフィカルオブジェクトを含んでいる。例えば、そうしたデータコレクションは、ワードプロセッサファイルまたは他の文書を含んでいるファイルホルダであり得る。別の実施例において、データコレクションは、写真、ビデオ、または類似のもののコレクションであり得る。
【００５８】
グラフィカルユーザインターフェイス１９０２において、ディスプレイ画面７０４に関するユーザの手７０２の位置によって３番目のデータコレクションが最初に選択されたことが確認できる。このことは、グラフィカルユーザインターフェイス１９０２において３番目のデータコレクションが太字で表示されていることで表されている。グラフィカルユーザインターフェイス１９０４は、ユーザの手７０２によって行われたジェスチャ１８００の認識に基づくデータコレクションの選択の変更を示している。例えば、ユーザは、手首を中心に左向きに手７０２を回転させて、３番目のデータコレクションから１番目のデータコレクションに選択を変更する。１番目のデータコレクションの選択は、グラフィカルデユーザインターフェイス１９０４において１番目のデータコレクションを太字で表すことで示されている。
【００５９】
図２０にこれから移ると、コンピューティングデバイスのディスプレイ画面上に示されたグラフィカルオブジェクトに関してユーザによって行われ得るまた別の典型的なジェスチャ２０００が説明されている。ジェスチャ２０００は、図７で示されたジェスチャ７００と類似している。しかしながら、ジェスチャ２０００は、異なるグラフィカルオブジェクトに関して（異なるコンテクストにおいて）行われる。手７０２は、最初に、手７０２の掌がディスプレイ画面７０４の下端に平行であり、下向きに面しており、手７０２の指が、ディスプレイ画面７０４の表面に対して垂直に掌から伸びている。手７０２は、次に、手首を中心に上向きに回転される。
【００６０】
図２１をこれから参照すると、ジェスチャ２０００に対応するグラフィカルインターフェイス２１０２−２１０４のシーケンス２１００が示されている。グラフィカルユーザインターフェイス２１０２に示すように、図１８で示されたジェスチャを介してユーザによって１番目のデータコレクションが選択されている。認識されたジェスチャ２０００に応じて（１番目のデータコレクションが選択された後で）、グラフィカルユーザインターフェイス２１０４がユーザに対して提示される。ここで、グラフィカルユーザインターフェイス２１０４は、ユーザに対して個々のデータオブジェクトを表すように１番目のデータコレクションが拡張されたことを示している。例えば、１番目のデータコレクションが所定のイベントに対応する複数の画像を含んでいる場合に、ユーザはディスプレイ画面７０４に関してジェスチャ２０００を行ない、データコレクションにおける個々の画像をユーザに対して表示することができる。それ以降、例えば、ユーザは、特定の一つの画像を選択するために図１１で示されたジェスチャ１１００を使用することができる。
【００６１】
上述のように、ここにおいて図７から図２１は、上記に説明された３次元奥行き検出に基づいて認識され得るジェスチャの比較的小さなサブセットを説明するために提示されてきている。他の多くのジェスチャが考えられる。例えば、複数の手のジェスチャが考えられる。ここにおいて、ユーザは、彼女の左手と右手の両方の人差し指を伸ばして、グラフィカルオブジェクトを選択することができ、人差し指のお互いに関する位置に基づいてグラフィカルオブジェクトを拡大または縮小することができる。例えば、両手の人差し指を離すように動かすことでグラフィカルオブジェクトを拡大し、一方、両手の人差し指を共に近づくように動かすことでグラフィカルオブジェクトのサイズをを縮小させる。
【００６２】
図２２をこれから参照すると、ここにおいて説明されたシステムおよび方法に従って使用することができる典型的なコンピューティングデバイス２２００のハイレベルな図が示されている。例えば、コンピューティングデバイス２２００は、光フォールオフの原理に基づくシーンに係る奥行き画像の計算をサポートするシステムにおいて使用される。別の実施例においては、コンピューティングデバイス２２００の少なくとも一部が、３次元空間において行われたジェスチャの認識をサポートするシステムにおいて使用される。コンピューティングデバイス２２００は、メモリ２２０４の中に保管されているインストラクションを実行する少なくとも一つのプロセッサ２２０２を含んでいる。メモリ２２０４は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、または他の好適なメモリであってよく、または、含んでいる。インストラクションは、例えば、上記の一つまたはそれ以上のコンポーネントによって実行されるものとして説明された機能性を実施するためのインストラクション、または、上記の一つまたはそれ以上の方法を実施するためのインストラクションであり得る。プロセッサ２２０２は、システムバス２２０６を通ってメモリ２２０４にアクセスすることができる。実行可能なインストラクションを保管することに加えて、メモリ２２０４は、また、奥行き画像、赤外画像、ＲＧＢ画像、校正パラメータ、等も保管し得る。
【００６３】
コンピューティングデバイス２２００は、加えて、システムバス２２０６を通ってプロセッサ２２０２によってアクセス可能なデータ記憶装置２２０２を含んでいる。データ記憶装置は、ハードディスク、メモリ、等を含む、あらゆる好適なコンピュータで読取り可能なストレージであってよく、または、含んでいる。データ記憶装置２２０８は、実行可能なインストラクション、赤外画像、ＲＧＢ画像、奥行き画像、校正パラメータ、等を含んでよい。コンピューティングデバイス２２００は、また、外部デバイスがコンピューティングデバイス２２００と通信できるようにする入力インターフェイス２２１０も含んでいる。例えば、入力インターフェイス２２１０は、外部のコンピュータデバイスから、ユーザから、等のインストラクションを受け取るために使用され得る。コンピューティングデバイス２２００は、また、コンピューティングデバイス２２００を一つまたはそれ以上の外部のデバイスとインターフェイスで接続する出力インターフェイス２２１２も含んでいる。例えば、コンピューティングデバイス２２００は、出力インターフェイス２２１２を通って、テキスト、画像、等を表示し得る。
【００６４】
従って、単一のシステムとして説明されている一方で、コンピューティングデバイス２２００は、分散システムであり得ることが理解されるべきである。このように、例えば、いくつかのシステムがネットワーク接続を通って通信することができ、コンピューティングデバイス２２００によって実行されるものであるとして説明されたタスクを集合的に実行することができる。
【００６５】
いくつかの実施例は、説明目的のために提供されてきたことに留意すべきである。これらの実施例は、ここに添付される特許請求の範囲を限定するものとして理解されるべきではない。加えて、ここにおいて提供された実施例は、特許請求の範囲内にあるように変形され得ることが認識されるべきである。
【図１】
2015517134.tif 000006
【図２】
2015517134.tif 000007
【図３】
2015517134.tif 000008
【図４】
2015517134.tif 000009
【図５】
2015517134.tif 000010
【図６】
2015517134.tif 000011
【図７】
2015517134.tif 000012
【図８】
2015517134.tif 000013
【図９】
2015517134.tif 000014
【図１０】
2015517134.tif 000015
【図１１】
2015517134.tif 000016
【図１２】
2015517134.tif 000017
【図１３】
2015517134.tif 000018
【図１４】
2015517134.tif 000019
【図１５】
2015517134.tif 000020
【図１６】
2015517134.tif 000021
【図１７】
2015517134.tif 000022
【図１８】
2015517134.tif 000023
【図１９】
2015517134.tif 000024
【図２０】
2015517134.tif 000025
【図２１】
2015517134.tif 000026
【図２２】
2015517134.tif 000027
【国際調査報告】
2015517134.tif 000028
2015517134.tif 000029