(57)【要約】  コンピューティングデバイスに入力された多次元ジェスチャは、意図されない方向における動作の効果をロックまたは低減させる機構を提供することによって改善されることが可能である。１つの例では、ユーザは二次元においてナビゲーションし、その後、三次元における動作を通して選択行為を提供することが可能である。ジェスチャを分析するコンピューティングデバイスが選択行為を検出できる場合は、デバイスは、正しい選択行為が実施されることを確保するために、対応する三次元外に動作を限定することができる。様々なしきい値、値、または動作を使用して、本明細書中で論議されるあらゆる適切な目的のために、１つ以上の軸において動作を限定することが可能である。【選択図】図３（ａ）
2015510648.tif 000002
【特許請求の範囲】
【請求項１】
コンピューティングデバイスのための入力を可能にするコンピュータ実装方法であって、
前記コンピューティングデバイスのカメラを使用して画像情報を捕獲することと、
前記捕獲された画像情報から、前記コンピューティングデバイスに対するユーザの特徴の位置であって、少なくとも二次元において判定される、位置を判定することと、
前記ユーザによって実施された所定の行為を検出することと、
前記所定の行為を検出することに応答して、少なくとも一次元において前記コンピューティングデバイス上で実行するアプリケーションに提供される入力位置の変化の量を限定することと、を含む、コンピュータ実装方法。
【請求項２】
前記特徴の前記位置は、三次元において判定されることが可能であり、前記入力位置の変化の量を限定することは、前記変化の量を一次元または二次元に限定することを含む、請求項１に記載のコンピュータ実装方法。
【請求項３】
前記入力位置の前記変化の量を限定することは、前記ユーザが前記所定の行為を実施している間に、少なくとも一次元において前記入力位置をロックすることを含む、請求項１に記載のコンピュータ実装方法。
【請求項４】
前記入力位置の前記変化の量を限定することは、前記少なくとも一次元における前記特徴の対応する移動に対する、少なくとも一次元に沿った前記入力位置の変化の量を減少させることを含む、請求項１に記載のコンピュータ実装方法。
【請求項５】
前記所定の行為は、ユーザが前記特徴を選択しきい値を超えて移動させること、前記特徴を所定の形状の形にすること、所定のジェスチャを実施すること、または所定のコマンドを話すことのうちの少なくとも１つを含む、請求項１に記載のコンピュータ実装方法。
【請求項６】
前記特徴は、前記ユーザの手、頭、指、もしくは親指、または前記ユーザによって保持されている物体のうちの１つである、請求項１に記載のコンピュータ実装方法。
【請求項７】
前記変化の量を限定している間に位置データを記憶することであって、前記位置データは前記所定の行為が誤検出されたと判定されたときに利用されることができる、記憶すること、をさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項８】
複数の特徴の位置が判定され、前記複数の特徴のうちの少なくとも１つのために提供される前記入力位置の前記変化の量が、前記特徴に対応する所定の行為の検出時に、少なくとも一次元において限定される、請求項１に記載のコンピュータ実装方法。
【請求項９】
前記特徴の前記判定された位置の変化は、前記特徴または前記コンピューティングデバイスのうちの少なくとも１つの移動に対応する、請求項１に記載のコンピュータ実装方法。
【請求項１０】
少なくとも１つの光センサを使用して前記コンピューティングデバイスの近くの光の量を判定することと、
前記光の量が最小光しきい値未満であるときに、前記コンピューティングデバイスの少なくとも１つの照明要素を作動させることと、をさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項１１】
前記位置の前記判定中に、前記コンピューティングデバイスの動作センサを使用して前記コンピューティングデバイスの動作量を判定することと、
前記特徴の前記位置の変化を判定するときに、前記コンピューティングデバイスの前記動作を考慮に入れることと、をさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項１２】
コンピューティングデバイスであって、
デバイスプロセッサと、
カメラと、
１組の行為を実施するために前記プロセッサによって実行されるように動作可能な命令を含むメモリデバイスと、を備え、前記コンピューティングデバイスが、
前記コンピューティングデバイスの前記カメラを使用して画像情報を捕獲することと、
前記捕獲された画像情報から、前記コンピューティングデバイスに対するユーザの特徴の位置であって、少なくとも二次元において判定される、位置を判定することと、
前記ユーザによって実施された所定の行為を検出することと、
前記所定の行為の検出に応答して、前記特徴の実際の位置の変化に関して、少なくとも一次元において、前記コンピューティングデバイスに関して前記特徴の前記判定位置に対応して、位置データの変化の量を限定することと、を可能にする、コンピューティングデバイス。
【請求項１３】
前記特徴の前記位置は三次元において判定されることができ、前記位置データの変化の量を限定することは、前記ユーザが前記所定の行為を実施している間に、前記変化の量を一次元もしくは二次元に限定すること、または少なくとも一次元において前記位置データをロックすること、を含む、請求項１２に記載のコンピューティングデバイス。
【請求項１４】
前記所定の行為は、ユーザが前記特徴を選択しきい値を超えて移動させること、前記特徴を所定の形状の形にすること、所定のジェスチャを実施すること、または所定のコマンドを話すこと、のうちの少なくとも１つを含む、請求項１２に記載のコンピューティングデバイス。
【請求項１５】
複数の特徴の前記位置が判定され、前記複数の特徴のうちの少なくとも１つに対する前記位置データの前記変化の量は、前記特徴に対応する所定の行為の検出時に少なくとも一次元において限定される、請求項１２に記載のコンピューティングデバイス。
【発明の詳細な説明】
【背景技術】
【０００１】
人々は非常に多様な仕事を実施するために、ますます可搬型電子デバイスを利用している。様々な仕事が増加するにつれ、新しくまた役立つ様式でこれらのデバイスと相互活動する望みが増加する。そのような相互活動手法の１つは、デバイスの検出可能範囲内でのジェスチャまたは特定的動作を行うことを伴う。例えば、ユーザは特定の方向に手または腕を動かしてデバイスに対して入力を提供することが可能である。残念ながら、明瞭な水平および垂直動作等の特定の動作は、人間であるユーザにとっては自然ではない。しばしば入力のいくらかの流れまたは角度が存在するが、これは、特に、単一のそれぞれの転心においてそれぞれ取り付けられた人間の指、手、および腕の結果であり、ユーザの動作に伴って典型的に幾らかの量の回転に繋がる。デバイスの解像度または感度等の要因に左右されて、非直線性または他のそのような偏差のこの量は、デバイスに提供される不正確または判定不能な入力に繋がる可能性がある。
【図面の簡単な説明】
【０００２】
本開示に従う様々な実施形態が、図面を参照して記述される。  
【図１】様々な実施形態に従い、電子デバイスに対して動作を基本とした入力を提供するユーザの例を図解する。
【図２（ａ）】ユーザは、ユーザが選択する要素を指定するために二次元または三次元の動作を提供すること、そして様々な実施形態に従い、その要素を選択するために単一次元に沿って動作を利用することができる、プロセス例を図解する。
【図２（ｂ）】ユーザは、ユーザが選択する要素を指定するために二次元または三次元の動作を提供すること、そして様々な実施形態に従い、その要素を選択するために単一次元に沿って動作を利用することができる、プロセス例を図解する。
【図３（ａ）】様々な実施形態に従い、使用されることが可能な特徴の場所を判定するためのカメラベースの手法を図解する。
【図３（ｂ）】様々な実施形態に従い、使用されることが可能な特徴の場所を判定するためのカメラベースの手法を図解する。
【図３（ｃ）】様々な実施形態に従い、使用されることが可能な特徴の場所を判定するためのカメラベースの手法を図解する。
【図４（ａ）】様々な実施形態に従い、インターフェース物体を選択することを試みている間に、ユーザが行い得る自然動作の例を図解する。
【図４（ｂ）】様々な実施形態に従い、インターフェース物体を選択することを試みている間に、ユーザが行い得る自然動作の例を図解する。
【図４（ｃ）】様々な実施形態に従い、インターフェース物体を選択することを試みている間に、ユーザが行い得る自然動作の例を図解する。
【図５（ａ）】様々な実施形態に従い、受諾および／または処理をする入力方向の数を判定するために使用されることが可能な動作しきい値または基準の例を図解する。
【図５（ｂ）】様々な実施形態に従い、受諾および／または処理をする入力方向の数を判定するために使用されることが可能な動作しきい値または基準の例を図解する。
【図５（ｃ）】様々な実施形態に従い、受諾および／または処理をする入力方向の数を判定するために使用されることが可能な動作しきい値または基準の例を図解する。
【図５（ｄ）】様々な実施形態に従い、受諾および／または処理をする入力方向の数を判定するために使用されることが可能な動作しきい値または基準の例を図解する。
【図５（ｅ）】様々な実施形態に従い、受諾および／または処理をする入力方向の数を判定するために使用されることが可能な動作しきい値または基準の例を図解する。
【図５（ｆ）】様々な実施形態に従い、受諾および／または処理をする入力方向の数を判定するために使用されることが可能な動作しきい値または基準の例を図解する。
【図６】様々な実施形態に従い、利用可能な、方向の適切な数に沿った入力を受諾するためのプロセス例を図解する。
【図７】様々な実施形態に従い、使用されることが可能なコンピューティングデバイス例を図解する。
【図８】図７において図解されるようなコンピューティングデバイスのコンポーネントの構成要素例を図解する。
【図９】様々な実施形態が実装されることが可能な環境例を図解する。
【発明を実施するための形態】
【０００３】
本開示の様々な実施形態に従うシステムおよび方法は、電子デバイスに入力を提供するための従来型手法において体験される１つ以上の前述のおよび他の欠陥を克服し得る。特に、様々な実施形態は、ユーザが、デバイスから遠方において実施される動作またはジェスチャを使用して、電子デバイスに対して様々なタイプの入力を提供することを可能にする。少なくともいくつかの実施形態では、ユーザは、コンピューティングデバイスの１つ以上のカメラの視野内において、ジェスチャまたは他のそのような動作を実施することができる。カメラは、ジェスチャを実施するために使用される少なくとも１つのユーザ特徴または物体の位置を特定し、追跡するために分析されることが可能である画像情報を捕獲することが可能である。コンピューティングデバイスは、認識されたジェスチャを利用して、選択される文字等の提供される入力、行われるナビゲーション、等を判定することが可能である。
【０００４】
様々な実施形態に従う手法は、自然な人間の動きおよび他のそのような要因の理由による流れまたは意図されない変化を考慮に入れることによって、動作またはジェスチャをベースにした入力の正確さを改善可能である。ジェスチャは二次元または三次元でしばしば実施可能であるが、しかしユーザは、人体の機構の理由により、正確な様式でジェスチャを実施しないことが多い。様々な実施形態が、異なるタイプの行為またはジェスチャを判定することを試みることが可能であり、これは、デバイスに対して１つの軸または方向に沿う動作を使用して実施される選択動作等である。ユーザは、これらの行為を実施している間、他の方向における動作を利用し得るとしても、デバイスは１つ以上の他の方向に動作の量をロックまたは限定することが可能であり、意図された入力の正確さを改善することを試みることができる。本明細書中の他所において論議および提案される適切な目的のために、そのような手法をあらゆる次元、軸、平面、方向、またはそれらの組み合わせについて使用されることが可能である。そのような手法は、また、デバイスがユーザ特徴または他のそのような物体に対して移動される場合に利用されることが可能である。
【０００５】
様々な他のアプリケーション、プロセス、および使用が、様々な実施形態に対して以下に提示される。
【０００６】
論議されるように、様々な手法が、ユーザが動作またはジェスチャ入力を通してデバイスに入力を提供することを可能とする。例えば、図１は状況例１００を図解し、そこではユーザ１０２は少なくとも１つのカメラ１０６またはコンピューティングデバイス１０４のセンサの視野１０８内で、ユーザの指先１１０等の特徴を動かすことによって、コンピューティングデバイス１０４に入力を提供することができる。この例におけるデバイスはスマートフォン、タブレットコンピュータ、または携帯情報端末等の可搬型コンピューティングデバイスであるが、あらゆる適切なコンピューティングまたは電子デバイスは、様々な実施形態の態様を活用することが可能であることを理解されるべきであり、それにはパーソナルコンピュータ、セットトップボックス、高機能テレビ、テレビゲームシステム等を含み得る。この例では、コンピューティングデバイスは、ユーザの指先１１０の画像および／または映像を捕獲し、またユーザがデバイスに対して提供しようとする入力を判定することを試みるために、時の経過につれて特徴の相対的位置および／または動作を分析するように動作可能な単一カメラを含む。しかしながら、様々な実施形態に従い、デバイスに対して、類似のまたは異なる場所において追加カメラまたは代替センサまたは要素が存在することが可能であることを理解されるべきである。画像はあらゆる適切なアルゴリズムを使用して分析が可能であり、関心のある特徴を認識および／またはその位置を特定し、ならびに、時間をかけてその特徴を追跡することができる。捕獲された画像情報からの特徴追跡の例は、例えば、「Ｍｏｖｅｍｅｎｔ  Ｒｅｃｏｇｎｉｔｉｏｎ  ａｓ  Ｉｎｐｕｔ  Ｍｅｃｈａｎｉｓｍ」という名称の、２００８年１２月１０日に出願された、同時係属米国特許出願第１２／３３２，０４９号に見つけることができ、これは参照によってここに明細書中に組み込まれる。
【０００７】
デバイスに対して特徴または物体の動作を追跡することができることにより、デバイスは、例えば、ユーザがデバイス上に表示されるインターフェースとの相互活動を行うこと、またインターフェースの一部として表示、さもなくば提示される１つ以上の物体を選択することを可能とすることができる。例えば、図２（ａ）の状況２００において、ユーザはデバイスに対して仮想平面においてユーザの手２０６を動かすことができ、これはデバイスの表示画面に対して水平および垂直方向等であり、これにより、仮想カーソル２０８をコンピューティングデバイス上に表示される仮想キーパッド２０４を横切って動かすことができる。カーソル２０８は、ユーザがデバイスに物理的に接触することなくカーソルを制御することができるようにするために、ユーザの手、指、または他のそのような特徴がデバイスに対して動くのにあわせて、動くことが可能である。カーソルおよびキーボードはこの例において使用される一方、あらゆる適切なインターフェース要素は、様々な実施形態の範囲内において、本明細書中に論議される手法を利用することが可能であることを理解されるべきである。
【０００８】
ユーザが仮想キーパッド２０４上で文字または符号等のインターフェース物体を選択することを希望するとき、ユーザは追跡される特徴で選択行為を実施することが可能である。図２（ｂ）の状況例２２０において、この選択行為はデバイスに向けての特徴の移動を含み、これは、ユーザの手全体２０６を動かすことによるか、ユーザの指先で「押す」動作を行うかである。デバイスは、デバイスの表示画面に直角な軸に沿ったこの動作（本明細書中ではｚ動作として参照される）を、カーソルを移動させるための表示画面に対して平行な面における動作（本明細書中ではｘ／ｙ動作として参照される）から区別することができる。ｚ動作は、次に、現在表示されるインターフェース物体が選択されることとなることをデバイスに対して表示するために使用されることが可能である。少なくともいくつかの実施形態では、ｘ／ｙ動作は表示画面に対して平行な面内になければならない必要はなく、また少なくともいくらかの傾斜または角度は様々な実施形態の範囲内において許されることが可能であることを理解されるべきである。
【０００９】
述べたように、様々な実施形態に従う手法は、画像情報または他のセンサデータを捕獲および分析し、そのような入力を提供（または提供を支援）することのできるユーザの特徴の相対的距離および／または場所等の情報を判定することができる。例えば、図３（ａ）、３（ｂ）、および３（ｃ）は、様々な実施形態に従い、利用されることが可能であるユーザの少なくとも１つの特徴の相対的方向および／または場所を判定するための１つの手法例を図解する。この例では、入力は、デバイスに対してユーザの指先３０４の位置を監視することによってコンピューティングデバイス３０２に対して提供されることが可能である。いくつかの実施形態では、単一のカメラを使用してユーザの指先を含む画像情報を捕獲することができ、相対場所は画像内の指先の位置から二次元で判定されることが可能であり、距離は画像内の指先の相対的寸法によって判定される。他の実施形態では、距離検出器または他のそのようなセンサを使用して距離情報を提供することができる。この例における図解されたコンピューティングデバイス３０２は、代りに、デバイス上に位置付けされた少なくとも２つの異なる画像捕獲要素３０６、３０８を含み、デバイスが立体撮像（または別のそのような手法）を利用可能であるような十分な間隔を有し、三次元においてデバイスに対して１つ以上の特徴の相対的位置を判定することができる。この例ではデバイスの頂部および底部近くに２つのカメラが図解されているが、様々な実施形態の範囲内において、デバイス上の様々な他の場所に同一または異なるタイプの追加または代替的撮像要素が存在可能であることは理解されるべきである。カメラは、フルカラーカメラ、赤外線カメラ、白黒カメラ等を含むことが可能である。さらに、「頂部」および「上部」等の用語は説明の明瞭化のために使用され、そうでないように述べられていない限り、具体的向きを必要とすることは意図されていないことは理解されるべきである。
【００１０】
この例では、上部カメラ３０６は特徴が上部カメラ３０６の視野３１０内にあることおよび上部カメラとそれらの特徴との間に障害物がない限り、ユーザの指先３０４を見ることができる。コンピューティングデバイス上で実行される（さもなくばコンピューティングデバイスと通信する）ソフトウェアが、カメラの視野角、情報が現在捕獲されているズームレベル、およびあらゆる他のそのような関連情報等の情報を判定することができる場合は、ソフトウェアは、上部カメラに対する指先の概略方向３１４を判定することが可能である。入力が１つのカメラに対する相対方向のみに基づいて判定される場合には、概略方向３１４は、第２のカメラまたはセンサ等の必要なく、適切入力を提供するために十分であり得る。いくつかの実施形態では、超音波検出、特徴寸法分析、活動照明を通した輝度分析、または他のそのような距離測定手法等の方法を使用して、位置判定を支援することも可能である。
【００１１】
この例では、第２のカメラを使用して場所判定を支援し、ならびに、立体撮像を通して距離判定を可能にする。図３（ａ）の下部カメラ３０８も、特徴が下部カメラ３０８の視野３１２内に少なくとも部分的に入っている限り、指先３０４を撮像することができる。上に記述されたものと類似するプロセスを使用して、適切なソフトウェアは、下部カメラによって捕獲された画像情報を分析し、ユーザの指先に対する概略方向３１６を判定することができる。画像の中心（または他の）点からの距離を見ることおよびそれをカメラの視野の角度測定と比較することによって、少なくともいくつかの実施形態では、方向を判定することが可能である。例えば、捕獲された画像の中ほどの特徴は、それぞれの捕獲要素の恐らく真正面である。特徴が画像の縁にある場合には、その特徴は捕獲要素の画像平面に対して直角なベクトルから４５度の角度に恐らくある。縁と中心との間の位置は中間角度に対応するが、これは当業者には明白であろうし、そして立体撮像技術において知られていることであろう。少なくとも２つの画像捕獲要素からの方向ベクトルが所与の特徴について一旦判定されると、それらのベクトルの交差点が判定可能であり、これは、それぞれの特徴の三次元における概略相対的位置に対応する。
【００１２】
そのような手法例をさらに図解すると、図３（ｂ）および３（ｃ）は、図３（ａ）のカメラ３０６、３０８を使用して捕獲可能である指先の画像例３２０、３４０を図解する。この例では、図３（ｂ）は、図３（ａ）の上部カメラ３０６を使用して捕獲可能である画像例３２０を図解する。１つ以上の画像分析アルゴリズムを使用して画像を分析し、パターン認識、形状認識、または別のそのようなプロセスを実施し、ユーザの指先、親指、手、または他のそのような特徴等の関心のある特徴を識別することができる。特徴検出、顔特徴抽出、特徴認識、立体視覚感知、符号認識、属性見積もり、または放射基底関数（ＲＢＦ）分析手法を含み得る、画像内の特徴を識別するための手法は当業者にはよく知られており、本明細書中では詳細には論議されない。特徴を識別すると、ここではユーザの手３２２であるが、少なくとも関心のある１点３２４、ここではユーザの人差指の先端、が判定される。上に論議されたように、ソフトウェアは、カメラに関する情報と共にこの点の場所を使用して、指先に対する相対方向を判定可能である。図３（ｃ）に図解されるように、下部カメラ３０８によって捕獲された画像３４０で類似手法を使用することができ、手３４２が位置し、対応する点３４４に対する方向が判定される。図３（ｂ）および３（ｃ）に図解されるように、少なくとも一部はカメラの間隔の理由により、特徴の相対位置における偏差があり得る。さらに、関心のある特徴の三次元における物理的場所の理由により、偏差があり得る。三次元における指先の位置を判定するために方向ベクトルの交差を探すことにより、対応する入力が、正確さの判定されたレベル以内で判定されることが可能である。より高い正確さが必要な場合は、より高い解像度および／または追加要素が様々な実施形態において使用されることが可能である。さらに、三次元において相対的位置を判定するためのあらゆる他の立体的または類似手法を、様々な実施形態の範囲内において使用されることも可能である。
【００１３】
論議されたように、画像情報を使用して、コンピューティングデバイスに対するユーザの特徴を追跡可能であり、これによりユーザがコンピューティングデバイスに入力を提供することを可能にする。ユーザはデバイスに対して、典型的に一次元、二次元、または三次元で動き、そして少なくともいくつかの実施形態では、選択動作、行為、またはジェスチャを実施して特定図形要素を選択することが可能である。少なくともいくつかのケースでは、この選択行為は指を前方に向けて押し、仮想的に品目を「押す」または「押さえる」ことを含むことが可能である。他の目的のためにも類似ジェスチャが使用されることが可能であり、ユーザが指を前方に向けて押して画面のあるエリアを拡大したり、さもなくば、ｚ方向に沿って行為を実施する等である。図４（ａ）は、そのような行為を示す状況例４００を示す。この例では、ユーザは前以てｘ／ｙ方向に指を動かし（図２（ａ）に関して論議されたように）カーソル４０８をコンピューティングデバイス上に表示された仮想キーボード４０６の望まれる符号へ動かされるようにした。カーソルが、例えば、望まれる符号の上に位置付けされたように図解されたとき、ユーザは、ユーザの手４０２上の指先をデバイスに向けて移動する等の選択動作を実施することができる。デバイスの視点から言えば、ユーザは、図解された標的ベクトル４１０に沿って、ｚ方向に、実質的にデバイスに向けて動作を提供すべきである。
【００１４】
残念ながら、人体の構造および自然な人間の動作のタイプはそのような動作を容易に演出しない。例えば、図４（ｂ）は状況例４２０を図解するが、そこでは、ユーザの手４０２の指先の位置は、ユーザの見地からは「前方へ」動かされている。しかしながら、理解可能なように、指が転心としての指関節において取り付けられているという事実は、指先を、前方に加えて下方向への移動を生じさせた。コンピューティングデバイスの見地からは、その点における指先は、ｘ／ｙ方向における横方向位置が変化したため、異なるベクトル４２２に沿って選択していると見做されることが可能である。このｘ／ｙ移動中は、カーソルは横方向にも移動したと判定されることが可能であり、これは、ユーザが不本意に誤った符号を選択することおよび／またはデバイスが動作を誤って解釈して誤った文字を選択することに帰結可能である。図４（ｃ）は類似状況例４４０を図解し、そこでは、ユーザはユーザの手４０２を動かして指先を前方に移動した。理解可能なように、手首および／または肘の転心は指先が類似ｘ／ｙ動作を行うことを生じさせ、それにより、コンピューティングデバイスは、選択動作を、意図されたベクトル４１０とは異なるベクトル４４２、またはそれらの中間のいずれか、に対応するように解釈し得る。
【００１５】
しかしながら、類似問題がｘ／ｙ方向においても生じる可能性があることを理解されるべきである。例えば、ユーザの手による左−右スクロール動作を行うことを希望しているユーザは、人間の転心および自然な動作の理由により、軌跡内に典型的に少なくともいくらかのレベルの円弧を有する。同様に、上方向動作を行って指でページを上方向へスクロールすることを希望しているユーザは、また典型的にいくらかのｚコンポーネント成分を有する。入力が主として１つまたは２つの軸に沿った動作を有することが意図されているときは、ユーザにとってコンピューティングデバイスによって正確に解釈されることが可能である入力を提供することは困難であり得、それは、自然な動作は２つまたは３つの軸におけるコンポーネント成分を有する可能性があるからである。
【００１６】
さらに、精密なジェスチャを実施するためのユーザの能力は、ユーザが、ジェスチャを行っている特徴またはジェスチャを分析しているデバイスに向かう以外の方向、を見ているときは、制御を行うことはより困難となる可能性がある。例えば、部屋内の別の人物と話をしながら、そこではユーザはデバイスまたはジェスチャではなく他の人物を見ているが、ユーザはデバイスに対してジェスチャ入力を提供する場合がある。同様に、ユーザの膝の中のタブレットコンピュータまたはスマートフォン等の第１のデバイスに対してジェスチャ入力を提供しながら、ユーザがテレビまたはモニター等の第２のデバイスを見ている場合がある。いくつかのケースでは、第１のデバイスはジェスチャ入力を判定し、そして入力データを第２のデバイスに提供するために使用され得る。他のそのような状況も生じる可能性がある。ユーザが他所を見ているとき、もしもユーザがデバイスまたはジェスチャを見ていた場合よりも、検出デバイスに対して角度がより大きな、または少なくとも精密さの劣るジェスチャをユーザが行う傾向があり得、これは、正しい入力を判定するためのデバイスの能力、または意図されたジェスチャを正しく実施するユーザにさらに影響を与える可能性がある。
【００１７】
様々な実施形態に従うシステムおよび方法は、様々なジェスチャまたはユーザによる他の動作中は、デバイスが「ロック」をすること、さもなくば特定の動作軸を限定することを可能にすることにより、改善されたジェスチャまたは動作を基本とした入力のために備えることが可能である。例えば、デバイスは、ユーザが選択ジェスチャを行っているときを判定することが可能であり、また検出された動作を選択ジェスチャの軸（複数の場合もある）に限定することが可能である。様々なしきい値、感度、または限定は適時設定または調整されることが可能であり、ジェスチャの解釈および／または入力の判定の正確さを改善し得る。
【００１８】
例えば、図５（ａ）は、様々な実施形態に従って使用されることが可能な、動作解釈手法例５００を図解する。この例では、ユーザはユーザの指５０２等の特徴を使用して、コンピューティングデバイス５０４上に表示される仮想キーパッドから符号を選択する。仮想カーソルまたは他の表示器を、画面を「横切って」動かすために、ユーザは、例えば動きベクトル５０６によって図解されるように、表示画面の平面に対して実質的に平行な面においてユーザの指を移動させることが可能である。この平面の距離またはベクトルは、デバイスによって検出または見積もられた、ユーザの指までの元の距離に少なくとも一部は基づいて判定されることが可能である。ユーザが符号を選択することを希望するときは、ユーザはその指（または別の指）をデバイスに向けて移動し、その符号キーを仮想的に「タップ」する。選択行為またはジェスチャとして認識されるためには、この例では、ユーザは最小量指を前方に移動しなければならない。したがって、ユーザはその中で選択行為を実施するために指を移動しなければならない移動の距離は、デバイスからのしきい値５０８距離として設定されることが可能である。ユーザがそのしきい値距離の中で指を動かさない場合は、ユーザによるｘ／ｙ平面における指の移動（または別のそのような行為）の帰結としてのｚのあらゆる変異は、距離における自然変位として解釈されることが可能である。
【００１９】
ユーザがその選択しきい値距離内で指先（または他の追跡される特徴）を動かすと、その動きは選択行為を表すことが可能である。さらに、入力の正確さを改善するために、この実施形態におけるデバイスは、特徴が選択しきい値距離内を通過するときにｚ方向移動のみを考慮するように構成されることが可能である。そのような手法は、選択動作中にユーザの指が不注意にｘ／ｙに動いて誤った符号を選択することを阻止する。ｘ／ｙにおける位置は、特徴がしきい値５０８を通過したときに、またはｚ動作の始まりにおいてロックされることが可能であり、バッファ処理された場所データまたは他のそのような情報に依存し得る。例えば、図５（ｂ）は、ユーザの指５１２が選択しきい値内を通過した、状況例５１０を図解する。ｚ方向における移動に加え、ｘ／ｙ方向においてもいくらかの移動があったことは理解可能である。少なくとも１つの実施形態では、デバイスは、選択動作が開始した時に指があった位置の追跡を維持することが可能であり、また、選択行為のためにこれらのｘ／ｙ座標を利用することが可能である。いくつかの実施形態では、ｘ／ｙ動作の感度は代わりに調整されることが可能であり、それによりそれらの方向における動作は依然として可能であるが、より大きな量の動作が、選択しきい値内にある間入力ｘ／ｙ位置を変えるために必要とされる。
【００２０】
図５（ｃ）は、ｘ／ｙ方向における動作はｚ方向における動作の量で限定されることが可能である別の状況例５２０を図解する。この例では、デバイスは、ｘ／ｙ方向における移動の量に正比例するｚ方向における変異量を斟酌する。例えば、ユーザは動きベクトル５２２に沿ってカーソルを移動したい場合もあるが、しかし、ｚ方向移動の角度θまで（例えば、１０〜２０度）がｘ／ｙ移動の量のために斟酌され、相対距離しきい値５２４として帰結する。このように、もしもユーザがｘ／ｙにおいて非常に少量の移動を有する場合は、選択行為を表すためにはｚにおけるあらゆる少量の移動でも十分であり得、その点にて、ｘ／ｙにおける入力の変化は本明細書中の他所で論じられるようにロックまたは限定されることが可能である。ｘ／ｙにおける移動の量が増加するにつれ、選択行為を表すｚにおける移動の量はそれにつれて増加する。このように、図５（ｄ）で図解されるように、第１の指位置５３２への指の移動は選択入力を表さないが、しかし第２の指位置５３４への指の移動は選択入力を表し、ｘ／ｙにおける選択位置は、指が移動を開始した、距離しきい値を交差した、または別のそのような位置である。
【００２１】
図５（ｅ）は、別の手法例５４０を図解しており、そこでは、動作入力は、ｘ／ｙ方向において移動５４２の少なくともしきい値量が存在するまでは、ｚ方向にロックされることが可能である。このように、前方に動く指は、ｘ／ｙ位置がしきい値５４２内に留まる限り、ｚ方向に沿ってのみ移動するとして取り扱われるであろう。しきい値外のあらゆる移動は、二次元または三次元における入力として取り扱われることが可能である。例えば、図５（ｆ）において、指位置５４４はしきい値外へ移動し、したがって、動作は選択行為としては解釈されない。
【００２２】
様々な他のタイプのしきい値または限定も、様々な実施形態の範囲内で使用されることが可能であること、また、しきい値はあらゆる方向におけるまたはあらゆる適切な軸に沿った移動に適用可能であることは理解されるべきである。さらに、これらのしきい値の位置および／または値も、ユーザによって、デバイスによって、アプリケーション等によって変わる可能性がある。いくつかの実施形態では、しきい値は固定距離または比例距離である可能性があり、一方、他の実施形態では、しきい値はユーザ距離、現在の条件の下での正確さ等の要因に基づいて変わる可能性がある。さらに、いくつかの実施形態では、ユーザはしきい値を手動で設定または調整可能であり、一方他の実施形態では、しきい値は自動的に判定され、または較正手順の一部として生成される。様々な他の方式もまた、様々な実施形態の範囲内で使用されることが可能である。
【００２３】
動作入力のロックまたは限定は、検出ハードウェアの部分として、分析ソフトウェアの部分として、またはあらゆる他の適切な場所において実施されることが可能である。態様も、アプリケーション、ＡＰＩ、またはオペレーティングシステムレベル等の様々な異なるレベルにおいても実装されることが可能である。例えば、選択行為を検出したジェスチャセンサは、ｘ／ｙにおける移動を無視、またはｚにおける移動のみを報告し得る。選択行為を判定するアルゴリズムは、選択行為が終了、または別のそのような行為が発生するまで、ｚデータのみを分析し得る。いくつかの実施形態では、アプリケーションは三つの次元すべてにおいてデータを受諾およびバッファ処理し得るが、特定の動作または行為時に１つ以上の軸に沿って入力をロックまたは限定する。データがバッファ処理される場合は、追加の長所は、動作は選択行為の部分ではなかった、さもなくば入力がロックまたは限定されるべきではなかった、とデバイスが後に判定する場合に、データは分析されることが可能であるということである。様々な他の手法も、様々な実施形態の範囲内で使用されることが可能である。
【００２４】
図６は、様々な実施形態に従って使用されることが可能なジェスチャおよび／または動作入力を使用して、コンピューティングデバイスに入力を提供するためのプロセス例６００を図解する。本明細書中に論じられるあらゆるプロセスに関し、そうでないように述べられていない限り、様々な実施形態の範囲内で、類似または代替順序で、または並行して実施される、追加の、より少ない、または代替ステップが存在し得ることは理解されるべきである。この例では、特徴追跡はコンピューティングデバイス上で作動６０２する。追跡はユーザによって手動で、またはアプリケーション、作動、始動、または他のそのような行為に応答して自動的に作動することが可能である。さらに、プロセスが追跡する特徴は、ユーザ、提供者、または他のそのような実体によって指定または調整されることが可能であり、そして指先、手、親指、肘、または他のそのような特徴等のあらゆる適切な特徴を含むことが可能である。少なくともいくつかの実施形態では、光センサを使用して、または捕獲された画像情報の強度を分析等により、画像捕獲および分析のための十分な電照があるかどうかに関して判定を行うことが可能である。少なくともいくつかの実施形態では、電照が十分ではないという判定は、１つ以上のタイプの照明がデバイス上で作動するようにすることができる。少なくともいくつかの実施形態では、これは画像情報を捕獲することを試みる少なくとも１つのカメラの視野内で特徴を照明するために位置付けされた１つ以上の白色ＬＥＤを作動することを含むことが可能である。本明細書中の他所で論じられるように、他のタイプの照明が使用されることが可能であり、これは、画像の背景にある物体から前景にある特徴を分離することにおいて有用な赤外線（ＩＲ）放射等である。ユーザの特徴の位置を特定するのを支援するためのＩＲ放射の使用例は、例えば「Ｏｖｅｒｃｏｍｉｎｇ  Ｍｏｔｉｏｎ  Ｅｆｆｅｃｔｓ  ｉｎ  Ｇｅｓｔｕｒｅ  Ｒｅｃｏｇｎｉｔｉｏｎ」という名称で２０１１年８月４日に出願された同時係属米国特許出願第１３／１９８，００８号に見つけられることが可能であり、これは参照によって本明細書中にここにおいて組み込まれる。
【００２５】
プロセス中、１つ以上の選択されたカメラまたはジェスチャセンサは、本明細書中の他所で論じられる画像情報を捕獲することが可能である。選択されたカメラは、表示要素またはデバイスの他の指定されたエリアの正面にある領域の少なくとも一部分を含む視野を有することが可能であり、それにより、カメラはその要素と相互活動をしているときに特徴を撮像することが可能である。捕獲された画像情報、これは様々な実施形態において一連の静止画像またはビデオストリーム情報が可能、は分析され、可視手のユーザの人差指先の相対的位置等の、監視される少なくとも１つの特徴の相対的位置を判定または特定６０４を試みることができる。本明細書中の他所で論じられるように、様々な画像認識、輪郭付き合わせ、色付き合わせ、または他のそのような手法を使用して、捕獲された画像情報から関心のある特徴を識別することが可能である。特徴の位置が特定され、その相対距離が判定されると、その特徴の動作は時間をかけて監視６０６されることが可能であり、ユーザが提供される入力を表示する行為を実施しているかどうかを判定する等を行う。
【００２６】
論じられるように、少なくとも１つのしきい値または他のそのような測定値または基準を利用して、入力を受諾または判定するための軸の数を判定することが可能である。動作の監視中、デバイスは、動作が提供される入力に対して、あるしきい値と合致、その内部、外部、そうでなければそこに到達または超越するかどうかを判定６０８可能である。動作がしきい値の外であると判定された場合、デバイスは少なくとも二次元において入力を可能とする６１０ことが可能である。この例においてもしも動作がしきい値内であると判定された場合は、入力は少なくとも一次元低減６１２されることが可能である。論じられるように、これは入力の正確さを改善するために、一以上の方向に動作をロックまたは限定することを伴うことが可能である。特定の動作に関しては、入力はある方向または平面等に効果的に強いられ得る。動作がしきい値に対して変化するにつれ、次元入力もまた調整可能である。
【００２７】
本明細書中に論議される例の多くはテキスト入力および要素選択に関するが、様々な他の使用はまた本明細書中に論議される手法から利益を得ることが可能であることは理解されるべきである。例えば、ユーザは、動作およびジェスチャ入力をナビゲーション、ゲーム、作図、または他のそのような目的のために利用し得る。ユーザが特定の行為または動作を行うとき、デバイスは、入力の正確さを改善するために、入力の１つ以上の方向を効果的に締め出すことが可能である。上に論じられたしきい値に加え、またはその代わりに、他の行為またはジェスチャを使用して、入力の１つ以上の方向をロックするときを判定するのを支援することが可能である。例えば、ユーザの手で特定のジェスチャまたは形状を形成し得るが、これは、指と親指をまとめるまたは別の特定の手ジェスチャを行う等である。他の実施形態では、速度を使用して他の軸を締め出すときを判定することを試み得る。例えば、ｚにおける選択行為は比較的高速として判定され得、一方位置の流れによりｚにおける変異は比較的低速となることが可能であり、したがって、ｚにおける行為は、選択行為を表すために少なくとも最低速度を有する必要がある。いくつかの実施形態では、表示装置上の選択可能物体に相対して、またはロッキングが意味を成すまたは長所を提供するような他の位置に特徴が位置付けされたときのみにロッキングは発生する。特定の文脈を使用して入力をロックする時点を判定することも可能であり、これは、ユーザが作図に対してタイピング、スクロールに対してフリップを行っている等のときである。少なくともいくつかの実施形態では、インターフェースは、入力がロックされるときのアイコンまたは他の表示器を示し得、それにより、ユーザは動作がデバイスによってどのように解釈されるかを知ることができる。
【００２８】
パターンまたはジェスチャ認識アルゴリズムは動作をどのように解釈するかを判定するのを支援する組み込まれたいくらかの知能を有することも可能である。例えば、パターン認識は「自動訂正」タイプ機能を有すことが可能であり、その場合、最小量の確信または自信等が与えられている場合、キーボード上の別の文字に隣接している文字だけずれた単語は、意図された入力であると自動的に判定され得る。パターン突き合わせにおける小さな偏差の取り扱い、ならびにテキスト入力の自動訂正の実施のための様々な手法は当技術分野においてよく知られており、したがって本明細書中では詳細には論じられない。
【００２９】
述べられたように、様々な手法を使用して、時の経過と共に特定の特徴の位置を特定し、追跡することを試みることが可能である。そのような方式の１つは、分析のための画像を捕獲するためにデジタルカメラで周囲光撮像（静止または映像）を利用する。少なくともいくつかの事例では、しかしながら、周囲光画像はいくつかの異なる物体の情報を含むことが可能であり、それゆえ、分析には非常にプロセッサおよび時間集約型となる可能性がある。例えば、画像分析アルゴリズムは、画像内の様々な他の物体から手を差分化しなければならず、そして手の向きとは関わりなく、手を手として識別しなければならないであろう。そのような手法は、例えば、形状または輪郭突き合わせを必要とする可能性があり、これは依然として比較的プロセッサ集約型となる可能性がある。よりプロセッサ集約型の低い手法は、分析の前に背景から手を分離することを伴う可能性がある。
【００３０】
少なくともいくつかの実施形態では、発光ダイオード（ＬＥＤ）または他の照明ソースが、画像捕獲要素が画像情報を捕獲しようとする短い時間期間にわたって、照明を生むために起動される可能性がある。ＬＥＤはさらに遠くにある他の要素よりも、デバイスに比較的近い特徴をはるかに多く照明可能であり、したがって、画像の背景部分はかなり暗くなる可能性がある（さもなくば、実装に左右される）。１つの例では、ＬＥＤまたは他の照明ソースが、少なくとも１つのカメラまたはセンサの画像捕獲時間中に作動する（例えば、フラッシュまたはストロボ）。ユーザの手がデバイスに比較的近い場合には、その手は画像内において比較的明るく現われるであろう。したがって、背景画像は、完全に近いほどではないとしても、比較的暗く現れる。この手法は、少なくともいくつかの実施形態においては、赤外線（ＩＲ）撮像についてとりわけ有益となる可能性がある。そのような画像はずっと分析が容易となる可能性があり、それは手が背景から効果的に分離されているからであり、このようにして、様々な画像を追跡することがより容易となる可能性がある。さらに、追跡のための関連特徴を判定することを試みるための分析を行うための、画像のより小さい部分が存在する。検出時間が短い実施形態においては、例えＬＥＤ自体が単位時間当たりの電力消費が比較的大きくても、少なくともいくつかの実施形態では、ＬＥＤを点滅することによって比較的少ない電力が消費されるであろう。
【００３１】
そのような手法は、明るいまたは暗い両方の条件おいて働くことが可能である。光センサを使用して、少なくともいくつかの実施形態において、少なくとも一部は電照の懸念の理由により照明が必要とされるときを判定することができる。他の実施形態では、デバイスは、ＬＥＤを脈動または閃光させるときを判定するために、現在の条件の下で画像を処理するために必要な時間量等の要因を見つめ得る。さらに他の実施形態では、少なくとも最小量の充電がバッテリーに残っているときは、デバイスは脈動電照を利用し得、その後は、ＬＥＤはユーザまたはアプリケーション等によって指示されない限り、発光し得ない。いくつかの実施形態では、短い検出時間でジェスチャセンサを使用して情報を照明、捕獲するために必要とされる電力の量は、照明なしで、巻き込みシャッターカメラで周囲光画像を捕獲するために必要とされる電力の量より少ないことが可能である。
【００３２】
いくつかの実施形態では、コンピューティングデバイスは、場所判定を支援することを試みるため、電子ジャイロスコープ等の１つ以上の動作判定要素を利用し得る。例えば、デバイスの回転は画像内で代表される物体の急激な転位を生じさせる可能性があり、これは位置追跡アルゴリズムが処理可能なよりも高速であり得る。画像捕獲中のデバイスの移動を判定することにより、デバイス移動の効果を取り除き、追跡されるユーザ特徴に関するより正確な三次元位置情報を提供することが可能である。
【００３３】
図７は、本明細書中で論議され提案された様々な実施形態に従う方法を実施するために使用されることが可能である、コンピューティングデバイス例７００を図解する。この例では、デバイスは、表示要素７０２と同一のデバイスの側の様々な場所に位置付けされた４つの画像捕獲要素７０４、７０６、７１２、７１４を有し、デバイスが、ユーザが少なくとも部分的に表示要素の正面にいる典型的動作中に、デバイスのユーザに関する画像情報を捕獲することを可能にする。この例では、各捕獲要素は可視および／または赤外線（ＩＲ）スペクトルにわたる画像情報を捕獲することができるカメラであり、そして少なくともいくつかの実施形態では、可視とＩＲ動作モードから選択可能である。しかしながら、他の実施形態においては、類似または代替タイプのより少ないまたは追加の要素が存在可能であり、また、カメラ、赤外線検出器、ジェスチャセンサ、および様々なデバイスで使用されるそのような要素の組み合わせが存在可能であることは理解されるべきである。
【００３４】
この例では、光センサ７０８が含まれており、これは捕獲される物体のおおよその方向における光の量を判定するために使用されることが可能であり、そして本明細書中の他所において論じられる、白色発光ダイオード（ＬＥＤ）または赤外線（ＩＲ）放射装置等の少なくとも１つの照明要素７１０が含まれ、例えば、光センサによって判定される不十分な周囲光が存在する、または反射されたＩＲ放射が捕獲されるときに、特定範囲の方向において照明を提供する。デバイスは、ユーザに、１つ以上の場所において圧力を提供することによって、デバイスに対して「圧搾」入力を提供することを可能にする材料および／またはコンポーネントを有することが可能である。デバイスケースは、ユーザがケースの一部分に沿って指または他の物体を摺動させることによって入力を提供することを可能にする接触感知式材料を含むことも可能である。様々な他の要素および要素の組み合わせも、本明細書中に含まれる教えおよび提案に照らして明白であるところの、様々な実施形態の範囲内において使用されることが可能である。
【００３５】
本明細書中で記述される様々な機能性を提供するため、図８は、図７に関して記述されるデバイス７００等の、コンピューティングデバイス８００の１組の基本コンポーネント例を図解する。この例では、デバイスは少なくとも１つのメモリデバイスまたは要素８０４内に記憶されることが可能な命令を実行するための、少なくとも１つの中央プロセッサ８０２を含む。当業者には明白であろうが、デバイスは多くのタイプのメモリ、プロセッサ８０２によって実行するプログラム命令のための第１のデータ記憶域等のデータ記憶域または非一時的コンピュータ可読記憶媒体を含むことが可能であり、同一のまたは別々の記憶域が画像またはデータのために使用されることが可能であり、取り外し可能記憶メモリは他のデバイス等と情報を共有するために利用されることが可能である。デバイスはタッチスクリーン、電子インク（ｅインク）、有機発光ダイオード（ＯＬＥＤ）または液晶表示装置（ＬＣＤ）等のいくつかのタイプの表示要素８０６を典型的に含むが、可搬型媒体プレーヤー等のデバイスは、音響スピーカーを通してなど、他の手段を介して情報を伝達し得る。少なくともいくつかの実施形態では、表示画面は、例えば、容量性または抵抗型接触技術を使用する接触またはスワイプベースの入力のために備える。
【００３６】
論じられているように、多くの実施形態におけるデバイスは、少なくとも１つの画像捕獲要素８０８を含み、これはデバイスの近隣にあるユーザ、人々、または物体を撮像することができる１つ以上のカメラ等である。画像捕獲要素は、決定された解像度、焦点距離、視認可能エリア、および捕獲率を有するＣＣＤまたはＣＭＯＳ画像捕獲要素等のあらゆる適切な技術を含む、または少なくとも一部はそれに基づくことが可能である。画像捕獲要素は、また、ユーザのジェスチャまたは動作を判定することにおいて使用するための画像情報を捕獲するように動作可能な少なくとも１つのＩＲセンサまたは検出器を含むことが可能である。デバイス例は、少なくとも１つの動作判定コンポーネント８１０を含み、これは、入力判定を支援するためのデバイスの動作を判定するために使用される電子ジャイロスコープ等である。デバイスは少なくとも１つの照明要素８１２を含むことも可能であり、照明を提供するための１つ以上の光源（例えば、白色光ＬＥＤ、ＩＲ放射装置、またはフラッシュランプ）および／または周囲光または強度等を検出するための１つ以上の光センサまたは検出装置を含み得る。
【００３７】
デバイス例は、ユーザから従来型入力を受け取ることのできる、少なくとも１つの追加入力デバイスを含むことができる。この従来型入力は、例えば、押しボタン、タッチパッド、タッチスクリーン、ホイール、ジョイスティック、キーパッド、マウス、トラックボール、キーパッドまたはあらゆる他のそのようなデバイスまたはユーザがデバイスに対してコマンド入力可能な要素を含むことが可能である。これらのＩ／Ｏデバイスは、いくつかの実施形態では、無線赤外線またはブルートゥースまたは他のリンクによってさえも接続されることが可能である。いくつかの実施形態では、しかしながら、そのようなデバイスはいかなるボタンも含まず、ユーザがデバイスと接触することなくデバイスを制御することができるような、視覚的（例えばジェスチャ）および音響的（例えば話す）コマンドの組み合わせのみを通して制御され得る。
【００３８】
論じられているように、異なる手法が、記述された実施形態に従い、様々な環境において実装されることが可能である。例えば、図９は様々な実施形態に従う態様を実装するための環境例９００を図解する。評価されるであろうが、ウェブベースの環境が説明目的のために使用されるが、適時異なる環境を使用して様々な実施形態を実装し得る。システムは電子クライアントデバイス９０２を含むが、これは適切なネットワーク９０４を介して要請、メッセージまたは情報を送信および受信するように、またデバイスのユーザに情報を運んで戻すように動作可能なあらゆる適切なデバイスを含むことが可能である。そのようなクライアントデバイスの例は、パーソナルコンピュータ、携帯電話、手持ち伝言デバイス、ラップトップコンピュータ、セットトップボックス、携帯用情報端末、電子書籍リーダ等を含む。ネットワークはあらゆる適切なネットワークを含むことが可能であり、イントラネット、インターネット、移動体通信ネットワーク、ローカルエリアネットワークまたはあらゆる他のそのようなネットワークまたはそれらの組み合わせが含まれる。そのようなシステムのために使用されるコンポーネントは、少なくとも一部は、選択されるネットワークおよび／または環境のタイプに左右されることが可能である。そのようなネットワークを介して通信を行うためのプロトコルおよびコンポーネントはよく知られており、本明細書中では詳細には論じられない。ネットワークを介する通信は、有線または無線接続およびそれらの組み合わせを介して可能とされる。この例では、当業者には明白であろうが、他のネットワークに関しては、類似目的のために仕える代替デバイスが使用されることが可能であるが、要請を受け取りそれに応答して内容に仕えるためのウェブサーバ９０６を環境が含むように、ネットワークはインターネットを含む。
【００３９】
図解環境は少なくとも１つのアプリケーションサーバ９０８およびデータストア９１０を含む。いくつかのアプリケーションサーバ、層または他の要素、プロセッサまたはコンポーネントが存在可能であり、これらは連鎖され、そうでなければ構成され得、適切なデータストアからデータを取得する等の仕事を実施するために相互活動可能であることは理解されるべきである。本明細書中での使用においては、用語「データストア」はデータの記憶、アクセスおよび検索をすることのできるあらゆるデバイスまたはデバイスの組み合わせを参照し、これはあらゆる標準的、分散またはクラスタ環境における、データサーバ、データベース、データ記憶デバイスおよびデータ記憶媒体のあらゆる組み合わせおよび数を含み得る。アプリケーションサーバ９０８は、クライアントデバイスのために１つ以上のアプリケーションの態様を実行するために、必要に応じてデータストア９１０と統合化するためおよびアプリケーションのために大多数のデータアクセスおよびビジネス論理を取り扱うためのあらゆる適切なハードウェアおよびソフトウェアを含むことが可能である。アプリケーションサーバは、データストアと協力してアクセス制御サービスを提供し、そしてユーザに転送されるテキスト、図形、音響および／または映像等の内容を生成することができ、これらはＨＴＭＬ、ＸＭＬまたはこの例における別の適切な構造化言語の形で、ウェブサーバ９０６によってユーザに提供され得る。すべての要請および応答の取り扱い、ならびにクライアントデバイス９０２とアプリケーションサーバ９０８との間の内容の配達は、ウェブサーバ９０６によって取り扱われることが可能である。本明細書の他所で論じられるように、本明細書中に論じられる構造化コードは、あらゆる適切なデバイスまたはホスト機械上で実行されることが可能であるため、ウェブおよびアプリケーションサーバは必要とされず、単にコンポーネント例であることが理解されるべきである。
【００４０】
データストア９１０は、いくつかの別個のデータ表、データベースまたは他のデータ記憶機構および特定態様に関連するデータを記憶するために媒体を含むことが可能である。例えば、図解されたデータストアは、内容（例えば、生産データ）９１２およびユーザ情報９１６を記憶するための機構を含み、これらは生産側のための内容を提供するために使用されることが可能である。データストアは、また、ログまたはセッションデータ９１４を記憶するための機構を含むことが示されている。データストア内に記憶される必要のある多数の他の態様が存在可能であり、それらは、ページ画像情報およびアクセス権限情報であり、それらは適時上に列挙されたあらゆる機構またはデータストア９１０内の追加機構内に記憶されることが可能である。データストア９１０は、それと関連する論理を通して、アプリケーションサーバ９０８から命令を受け取り、それに応答してデータを取得、更新さもなくば処理するように動作可能である。１つの例では、ユーザは特定のタイプの品目に関する検索要求を提出し得る。このケースでは、データストアはユーザ情報にアクセスしてユーザの同一性を確かめ、そしてカタログ詳細情報にアクセスしてそのタイプの品目に関する情報を取得可能である。情報は次にユーザに戻されることが可能であり、ユーザがユーザデバイス９０２上のブラウザを介して閲覧することのできるウェブページ上のリスト等の結果の中である。関心のある特定品目に関する情報は、ブラウザの専用ページまたはウィンドウ内で閲覧することが可能である。
【００４１】
各サーバは典型的に、そのサーバの一般的管理および操作のための実行可能プログラム命令を提供するオペレーティングシステムを含み、また典型的に、サーバのプロセッサによって実行されたとき、サーバがその意図された機能を実施することを許可する命令を記憶するコンピュータ可読媒体を含む。オペレーティングシステムに関する好適実装ならびにサーバの一般的機能性はよく知られ、または商業的に利用可能であり、特に本明細書の開示に照らして、当業者によって容易に実装される。
【００４２】
１つの実施形態における環境は、いくつかのコンピュータシステムおよびコンポーネントを利用する分散コンピューティング環境であり、それらは、１つ以上のコンピュータネットワークを使用して通信リンクを介して相互接続され、または、直接接続される。しかしながら、そのようなシステムは、図９に図解されるよりも少ないまたは多い数のコンポーネントを有するシステムにおいても等しく良好に動作可能であることは当業者によって評価されるであろう。このように、図９のシステム９００の描写は、その性質は図解的で本開示の範囲を限定するものではないと解釈されるべきである。
【００４３】
様々な実施形態が、多様なオペレーティング環境においてさらに実装されることが可能であり、これはいくつかのケースでは、任意のいくつかのアプリケーションを操作するために使用されることが可能な１つ以上のユーザコンピュータまたはコンピューティングデバイスを含むことが可能である。ユーザまたはクライアントデバイスは、任意のいくつかの汎用パーソナルコンピュータを含むことが可能であり、それらは、標準オペレーティングシステムを実行するデスクトップまたはラップトップコンピュータ、ならびに、モバイルソフトウェアを実行し、いくつかのネットワーキングおよびメッセージングプロトコルを支持することのできる携帯電話、無線および手持ちデバイス等である。そのようなシステムは、また、あらゆる多様な商業的入手可能オペレーティングシステムおよび開発およびデータベース管理等の目的のための他の既知のアプリケーションを実行するいくつかのワークステーションを含むことが可能である。これらのデバイスはダミー端末、シンクライアント、ゲームシステムおよびネットワークを介して通信をできる他のデバイス等の、他の電子デバイスを含むことも可能である。
【００４４】
ほとんどの実施形態は、あらゆる多様な商業的に利用可能なプロトコルを使用して通信を支持するための当業者にとってはよく知られた少なくとも１つのネットワークを利用するが、それらは、ＴＣＰ／ＩＰ、ＯＳＩ、ＦＴＰ、ＵＰｎＰ、ＮＦＳ、ＣＩＦＳおよびＡｐｐｌｅＴａｌｋ等である。ネットワークは、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、仮想私設網、インターネット、イントラネット、エクストラネット、公衆交換電話網、赤外線ネット、無線ネットワークおよびあらゆるそれらの組み合わせが可能である。
【００４５】
ウェブサーバを利用する実施形態では、ウェブサーバはあらゆる多様なサーバまたは中間層アプリケーションを実行することが可能であり、それらに含まれるのは、ＨＴＴＰサーバ、ＦＴＰサーバ、ＣＧＩサーバ、データサーバ、Ｊａｖａ（登録商標）サーバおよびビジネスアプリケーションサーバである。サーバは、また、ユーザデバイスからの要請に応答して、プログラムまたはスクリプトを実行することができるが、それは、Ｊａｖａ（登録商標）、Ｃ、Ｃ＃もしくはＣ＋＋等の任意のプログラミング言語、または、Ｐｅｒｌ、ＰｙｔｈｏｎもしくはＴＣＬ等の任意のスクリプト言語、および、それらの組み合わせ等によって書かれた１つ以上のスクリプトまたはプログラムとして実装され得る１つ以上のウェブアプリケーションを実行する等による。サーバは、また、データベースサーバを含み得、限定されないが、Ｏｒａｃｌｅ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）、Ｓｙｂａｓｅ（登録商標）およびＩＢＭ（登録商標）から商業的に入手可能なものが含まれる。
【００４６】
環境は、上に論じられたように、多様なデータストアおよび他のメモリおよび記憶媒体を含むことが可能である。これらは多様な場所に駐在可能であり、１つ以上のコンピュータにローカルな（および／またはその中に駐在する）、または、ネットワークを越えてそれらのコンピュータのいずれかもしくはすべてから遠隔にある記憶媒体等である。１組の特定実施形態においては、情報は、当業者にはよく知られた記憶域ネットワーク（ＳＡＮ）に駐在し得る。同様に、コンピュータ、サーバまたは他のネットワークデバイスに帰する機能を実施するためのあらゆる必要なファイルは、適時ローカルにおよび／またはリモートに記憶され得る。システムがコンピュータ化されたデバイスを含む場合、各そのようなデバイスは、バスを介して電子的に連結され得るハードウェア要素を含むことが可能であり、その要素は、例えば、少なくとも１つの中央処理装置（ＣＰＵ）、少なくとも１つの入力デバイス（例えば、マウス、キーパッド、コントローラ、接触感応型表示要素またはキーパッド）および少なくとも１つの出力デバイス（例えば、表示装置、印刷機またはスピーカー）を含む。そのようなシステムは、また、１つ以上の記憶デバイスを含み得、それらはディスクドライブ、光学記憶装置およびランダムアクセスメモリ（ＲＡＭ）または読み取り専用メモリ（ＲＯＭ）等のソリッドステート記憶装置、ならびに、取り外し可能媒体デバイス、メモリカード、フラッシュカード等である。
【００４７】
そのようなデバイスは、コンピュータ可読記憶媒体読み取り装置、通信デバイス（例えば、モデム、ネットワークカード（無線または有線）、赤外線通信デバイス）および上に記述された作業記憶を含むことも可能である。コンピュータ可読記憶媒体読み取り装置は、コンピュータ可読記憶媒体と接続され、またはそれらを受け取るように構成されることが可能であり、それらは、リモート、ローカル、固定および／または取り外し可能記憶デバイス、ならびにコンピュータ可読情報を一時的および／またはより恒久的に包含、記憶、送信、および検索を行うための記憶媒体によって代表される。システムおよび様々なデバイスはまた典型的に、いくつかのソフトウェアアプリケーション、モジュール、サービスまたは少なくとも１つの作業記憶デバイス内に位置する他の要素を含み、それらには、オペレーティングシステムおよびクライアントアプリケーションまたはウェブブラウザ等のアプリケーションプログラムを含む。代替実施形態は、上に記述されたものから多くの変異体を有し得ることを評価されたい。例えば、カスタム化されたハードウェアも使用され得、および／または、特定要素がハードウェア、ソフトウェア（アプレット等の可搬型ソフトウェアを含む）または両方において実装され得る。さらに、ネットワーク入力／出力等の他のコンピューティングデバイスとの接続が採用され得る。
【００４８】
コードまたはコードの一部分を含むための記憶媒体およびコンピュータ可読媒体は、当業界において知られまたは使用されるあらゆる適切な媒体を含むことが可能であり、それらは、限定されないが、情報の記憶および／または送信のためのあらゆる方法または技術において実装される揮発性および不揮発性、取り外し可能および非取り外し可能媒体等の、記憶媒体および通信媒体を含み、情報はコンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータ等であり、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル汎用ディスク（ＤＶＤ）または他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶デバイスまたは望まれる情報を記憶するために使用されることが可能であってシステムデバイスによってアクセスされることが可能であるあらゆる他の媒体を含む。本明細書中に提供される公開および教えに基づき、当業者は様々な実施形態を実装するための他の様式および／または方法を評価するであろう。
【００４９】
明細書および図面は、したがって、制限的意味というよりも例示的と認識されるべきである。しかしながら、様々な修正および変更が、請求項に明示される発明の幅広い精神および範囲から逸脱することなく行われ得ることは明白である。
【００５０】
付記
１．コンピューティングデバイスへの入力を可能にするコンピュータ実装方法であって、
キーボードをコンピューティングデバイスの表示画面上に表示することと、
前記コンピューティングデバイスのカメラを使用して、画像情報を捕獲することと、
前記コンピューティングデバイスのプロセッサを使用して前記画像情報を分析し、前記電子デバイスに対するユーザの指先の位置を判定することと、
前記コンピューティングデバイスの前記表示画面上に表示されたカーソルの現在位置を更新することであって、前記カーソルは前記表示画面に対し、平面内で前記ユーザの前記指先の移動に対応して、二次元において前記キーボードを横切って移動するように構成される、更新することと、
前記捕獲された画像情報から、前記プロセッサを使用して、前記表示画面に向かう前記指先の動作を検出することと、を含み、
前記表示画面に向けた前記指先の位置の変化の量が少なくとも選択しきい値と合致する場合は、
前記カーソルの前記現在位置をロックして、前記位置が、前記表示画面に向けた前記指先の前記動作中に変化しないようにすることと、
前記カーソルの下にある前記キーボードの符号を、前記判定位置における前記表示画面に向けた前記指先の前記動作の結果として、前記コンピューティングデバイス上で実行するアプリケーションへの入力として選択されるようにすることと、を含む、コンピュータ実装方法。  
２．前記表示画面に向かう前記指先の動作の前記量が少なくとも前記判定された選択しきい値と合致しないとき、前記カーソルの前記現在位置が更新を継続することを可能にすることを、さらに含む、付記１に記載のコンピュータ実装方法。  
３．前記選択された動作中に前記指先の検出された動作を記憶することであって、前記選択された動作の開始点における前記平面内の前記指先の判定された位置は、前記符号が選択されたときの前記カーソルの前記現在位置として機能する、記憶すること、をさらに含む、付記１に記載のコンピュータ実装方法。  
４．前記選択されたしきい値は、前記ユーザまたは前記アプリケーションのうちの少なくとも１つに特有である、付記１に記載のコンピュータ実装方法。  
５．コンピューティングデバイスのための入力を可能にするコンピュータ実装方法であって、
前記コンピューティングデバイスのカメラを使用して画像情報を捕獲することと、
前記捕獲された画像情報から、前記コンピューティングデバイスに対するユーザの特徴の位置であって、少なくとも二次元において判定される、位置を判定することと、
前記ユーザによって実施された所定の行為を検出することと、
前記所定の行為を検出することに応答して、少なくとも一次元において前記コンピューティングデバイス上で実行するアプリケーションに提供される入力位置の変化の量を限定することと、を含む、コンピュータ実装方法。  
６．前記特徴の前記位置は、三次元において判定されることが可能であり、前記入力位置の変化の量を限定することは、前記変化の量を一次元または二次元に限定することを含む、付記５に記載のコンピュータ実装方法。  
７．前記入力位置の前記変化の量を限定することは、前記ユーザが前記所定の行為を実施している間に、少なくとも一次元において前記入力位置をロックすることを含む、付記５に記載のコンピュータ実装方法。  
８．前記入力位置の前記変化の量を限定することは、前記少なくとも一次元における前記特徴の対応する移動に対する、少なくとも一次元に沿った前記入力位置の変化の量を減少させることを含む、付記５に記載のコンピュータ実装方法。  
９．前記所定の行為は、ユーザが前記特徴を選択しきい値を超えて移動させること、前記特徴を所定の形状に形作ること、所定のジェスチャを実施すること、または所定のコマンドを話すことのうちの少なくとも１つを含む、付記５に記載のコンピュータ実装方法。  
１０．前記所定の行為は前記ユーザのためにカスタマイズ可能である、付記５に記載のコンピュータ実装方法。  
１１．前記特徴は前記ユーザの手、頭、指、もしくは親指、または前記ユーザによって保持されている物体のうちの１つである、付記５に記載のコンピュータ実装方法。  
１２．前記変化の量を限定している間に位置データを記憶することであって、前記位置データは前記所定の行為が誤検出されたと判定されたときに利用されることができる、記憶すること、をさらに含む、付記５に記載のコンピュータ実装方法。  
１３．複数の特徴の位置が判定され、前記複数の特徴のうちの少なくとも１つのために提供される前記入力位置の前記変化の量が、前記特徴に対応する所定の行為の検出時に、少なくとも一次元において限定される、付記５に記載のコンピュータ実装方法。  
１４．前記特徴の前記判定された位置の変化は、前記特徴または前記コンピューティングデバイスのうちの少なくとも１つの移動に対応する、付記５に記載のコンピュータ実装方法。  
１５．前記特徴の前記位置を判定することは、前記電子デバイスから赤外光を放射することと、前記特徴から反射して戻った赤外光を検出することを含む、付記５に記載のコンピュータ実装方法。  
１６．少なくとも１つの光センサを使用して前記コンピューティングデバイスの近くの光の量を判定することと、
前記光の量が最小光しきい値未満であるときに、前記コンピューティングデバイスの少なくとも１つの照明要素を作動させることと、をさらに含む、付記５に記載のコンピュータ実装方法。  
１７．前記位置の前記判定中に、前記コンピューティングデバイスの動作センサを使用して前記コンピューティングデバイスの動作量を判定することと、
前記特徴の前記位置の変化を判定するときに、前記コンピューティングデバイスの前記動作を考慮に入れることと、をさらに含む、付記５に記載のコンピュータ実装方法。  
１８．コンピューティングデバイスであって、
デバイスプロセッサと、
カメラと、
１組の行為を実施するために前記プロセッサによって実行されるように動作可能な命令を含むメモリデバイスと、を備え、前記コンピューティングデバイスが、
前記コンピューティングデバイスの前記カメラを使用して画像情報を捕獲することと、
前記捕獲された画像情報から、前記コンピューティングデバイスに対するユーザの特徴の位置であって、少なくとも二次元において判定される、位置を判定することと、
前記ユーザによって実施された所定の行為を検出することと、
前記所定の行為の検出に応答して、前記特徴の実際の位置の変化に関して、少なくとも一次元において、前記コンピューティングデバイスに関して前記特徴の前記判定位置に対応して、位置データの変化の量を限定することと、を可能にする、コンピューティングデバイス。  
１９．前記特徴の前記位置は三次元において判定されることができ、前記位置データの変化の量を限定することは、前記ユーザが前記所定の行為を実施している間に前記変化の量を一次元または二次元に限定すること、または、少なくとも一次元において前記位置データをロックすること、を含む、付記１８に記載のコンピューティングデバイス。  
２０．前記所定の行為は、ユーザが前記特徴を選択しきい値を超えて移動させること、前記特徴を所定の形状に形作ること、所定のジェスチャを実施すること、または所定のコマンドを話すこと、の少なくとも１つを含む、付記１８に記載のコンピューティングデバイス。  
２１．前記複数の特徴の前記位置が判定され、また前記複数の特徴の少なくとも１つに対する前記位置データの前記変化の量は、前記特徴に対応する所定の行為の検出時に少なくとも一次元において限定される、付記１８に記載のコンピューティングデバイス。  
２２．命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令は、コンピューティングデバイスの少なくとも１つのプロセッサによって実行されるとき、
前記コンピューティングデバイスの前記カメラを使用して画像情報を捕獲することと、
前記捕獲された画像情報から、前記コンピューティングデバイスに対するユーザの特徴の位置であって、少なくとも二次元において判定される、位置を判定することと、
前記ユーザによって実施される所定の行為を検出することと、
前記所定の行為を検出することに応答して、前記特徴の実際の位置の変化に対して、少なくとも一次元において、前記特徴に対する位置入力データの変化の量を限定することと、を前記コンピューティングデバイスに行わせる、非一時的コンピュータ可読記憶媒体。  
２３．前記命令は実行されると
前記変化の量を限定しながら位置データを記憶することであって、前記位置データは、前記所定の行為が誤検出されたと判定されたときに利用されることのできる、記憶すること、を前記コンピューティングデバイスにさらに行わせる、付記２２の非一時的コンピュータ可読記憶媒体。  
２４．前記命令が実行されると、
少なくとも１つの光センサを使用して前記コンピューティングデバイスの近くの光の量を判定することと、
前記光の量が最小光しきい値未満であるときに、前記コンピューティングデバイスの少なくとも１つの照明要素を作動させることと、を前記コンピューティングデバイスにさらに行わせる、付記２２に記載の非一時的コンピュータ可読記憶媒体。  
２５．前記命令が実行されると、
前記位置の前記判定中に、前記コンピューティングデバイスの動作センサを使用して前記コンピューティングデバイスの動作の量を判定することと、
前記特徴の前記位置の変化を判定するときに、前記コンピューティングデバイスの前記動作を考慮に入れることと、を前記コンピューティングデバイスにさらに行わせる、付記２２に記載の非一時的コンピュータ可読記憶媒体。
【図１】
2015510648.tif 000003
【図２（ａ）】
2015510648.tif 000004
【図２（ｂ）】
2015510648.tif 000005
【図３（ａ）】
2015510648.tif 000006
【図３（ｂ）】
2015510648.tif 000007
【図３（ｃ）】
2015510648.tif 000008
【図４（ａ）】
2015510648.tif 000009
【図４（ｂ）】
2015510648.tif 000010
【図４（ｃ）】
2015510648.tif 000011
【図５（ａ）】
2015510648.tif 000012
【図５（ｂ）】
2015510648.tif 000013
【図５（ｃ）】
2015510648.tif 000014
【図５（ｄ）】
2015510648.tif 000015
【図５（ｅ）】
2015510648.tif 000016
【図５（ｆ）】
2015510648.tif 000017
【図６】
2015510648.tif 000018
【図７】
2015510648.tif 000019
【図８】
2015510648.tif 000020
【図９】
2015510648.tif 000021
【国際調査報告】
2015510648.tif 000022