(57)【要約】コンピューティングシステムへのデータ入力を可能にするシステム及び方法が提供される。このシステムはイメージ捕捉デバイスに機能的に接続され、かつこのイメージ捕捉デバイスによって収集された取得されたイメージ（複数イメージ）に基づいて、入力キーまたはキーボードレイアウト全体のマップをセットするように構成されるコントローラを含む。このシステムは、選択された視野内のユーザ動作および／またはジェスチャのイメージを収集することができ、かつこれらのイメージを処理してこの動作に従ってコマンドを識別し実行することができる。【選択図】なし【特許請求の範囲】
【請求項１】
データ入力システムであって、
ユーザ身体の一部分および物理的キーボードの捕捉されたイメージ（複数イメージ）と関連する出力信号を生成するためのイメージ捕捉デバイスと、
前記出力信号を受信し、かつ捕捉されたイメージ（複数イメージ）に基づいて、入力キー（複数キー）のマップをセットしてかつ表示するように構成されるコントローラと、を備えるシステム。
【請求項２】
前記入力キー（複数キー）のマップが、仮想キーボードの一部である、ことを特徴とする請求項１に記載のシステム。
【請求項３】
前記ユーザ身体の一部分（複数部分）がユーザの手（両手）であり、および、前記コントローラが、前記物理的キーボードに対して配置されるかまたは移動する前記ユーザの手（両手）をシミュレートする仮想の手（両手）を更に表示する、ことを特徴とする請求項２に記載のシステム。
【請求項４】
前記コントローラがさらに、ユーザジェスチャに関する捕捉されたイメージ（複数イメージ）を一意のコマンドとして解釈するように構成されている、ことを特徴とする請求項１に記載のシステム。
【請求項５】
前記コントローラが、さらにユーザジェスチャ（複数ジェスチャ）に従って前記仮想キーボード上のキー（複数キー）を変更するように構成されている、ことを特徴とする請求項４に記載のシステム。
【請求項６】
前記コントローラが、さらにユーザジェスチャ（複数ジェスチャ）に従って前記仮想キーボードの前記レイアウトを変更するように構成されている、ことを特徴とする請求項４に記載のシステム。
【請求項７】
前記コントローラが、さらに前記仮想の手（両手）の外観を変更するように構成されている、ことを特徴とする請求項３に記載のシステム。
【請求項８】
前記物理的キーボードが、ブランクキーボード、紙キーボード、タッチパッド、キーパッド、仮想のキーボードおよび平坦な裸の表面からなるキーボードの群から選択される、ことを特徴とする請求項１に記載のシステム。
【請求項９】
前記コントローラが、ユーザの以前のコマンド（複数コマンド）に基づいて、前記仮想キーボード上に続いて必要な予想されたキーを判定し、かつ表示するように構成されている、ことを特徴とする請求項４に記載のシステム。
【請求項１０】
前記コントローラがさらに、ユーザの以前のコマンド（複数コマンド）に基づいて、前記仮想キーボード上に続いて必要な予想されたキーボードレイアウトを判定し、かつ表示するように構成されている、ことを特徴とする請求項４に記載のシステム。
【請求項１１】
前記ジェスチャが、ユーザの手によって実行される、ことを特徴とする請求項４に記載のシステム。
【請求項１２】
ジェスチャがマウスタイプナビゲーションを実施するために実行される動作、および、コマンドを実施するために実行される動作からなる群から選択される一つ以上のユーザ動作である、ことを特徴とする請求項４に記載のシステム。
【請求項１３】
前記ジェスチャが、手の動き、頭の動き、目の動き、口の動きまたはユーザーコマンドを指示する他の動きを含む群から選択されるユーザの、身体の一つ以上の部分によって実行される、ことを特徴とする請求項４に記載のシステム。
【請求項１４】
前記仮想の手（両手）が、前記仮想キーボードの上に重ねられて、透過的に表示される、ことを特徴とする請求項３に記載のシステム。
【請求項１５】
前記仮想の手の外観が、使用される前記仮想キーボードレイアウトに依存する、ことを特徴とする請求項３に記載のシステム。
【請求項１６】
前記コントローラが、さらに以前のコマンド（複数コマンド）を評価することによって次のキー（複数キー）ラベル（複数ラベル）および次の仮想キーボードレイアウトを予測するように構成されている、ことを特徴とする請求項４に記載のシステム。
【請求項１７】
前記ジェスチャが、対応するマッピングをセットして、かつ表示するために前記物理的キーボードの押し下げられたキーと組み合わせて使われる、ことを特徴とする請求項４に記載のシステム。
【請求項１８】
コンピューティングシステムにデータを入力する方法であって、ユーザ身体の一部分および物理的キーボードのイメージ（複数イメージ）を捕捉するステップと、前記捕捉されたイメージ（複数イメージ）に基づいて仮想キーボード上に入力キー（複数キー）のマッピングをセットして、かつ表示するステップと、を含む方法。
【請求項１９】
前記イメージ（複数イメージ）が、コマンドとして解釈されるべき前記ユーザによってなされるジェスチャに関する、ことを特徴とする請求項１８に記載の方法。
【請求項２０】
前記ジェスチャが、手の動き、頭の動き、目の動きおよび口の動きからなる群から選択される動作（複数動作）に関する、ことを特徴とする請求項１９に記載の方法。
【請求項２１】
キーラベル（複数ラベル）が、前記ジェスチャに応答して前記仮想キーボード上で変化する、ことを特徴とする請求項１９に記載の方法。
【請求項２２】
前記仮想キーボードの前記レイアウトが、前記ジェスチャに応答して変化する、ことを特徴とする請求項１９に記載の方法。
【請求項２３】
さらに、前記ユーザの手（両手）を捕捉して、かつ前記物理的キーボードに対して配置されるかまたは移動する前記ユーザの手（両手）をシミュレートする仮想の手（両手）を表示するステップを含む請求項１８に記載の方法。
【請求項２４】
文字が、前記物理的キーボードの単一のキーストロークを使用して前記コンピューティングシステムに入力される、ことを特徴とする請求項２３に記載の方法。
【請求項２５】
手の動作（複数動作）が、マウスタイプナビゲーションを実施するために仮想マウスをシミュレートする、ことを特徴とする請求項２１に記載の方法。
【請求項２６】
前記仮想の手（両手）が、前記仮想キーボードの上に重ねられて、透過的に表示される、ことを特徴とする請求項２３に記載の方法。
【請求項２７】
前記仮想の手の外観が、使用される前記仮想キーボードレイアウトに依存する、ことを特徴とする請求項２３に記載の方法。
【請求項２８】
さらに、次のキー（複数キー）ラベル（複数ラベル）および次の仮想キーボードレイアウトを予測するために以前のコマンド（複数コマンド）を評価するステップを含む請求項１９に記載の方法。
【請求項２９】
前記ジェスチャが、対応するマッピングをセットして、かつ表示するために前記物理的キーボードの押し下げられたキーと組み合わせて使われる、ことを特徴とする請求項１９に記載の方法。
【請求項３０】
コンピューティングシステムにデータを入力する方法であって、
実際のユーザの手（両手）との相関関係で、かつ物理的キーボードを代表する仮想キーボードの上に重ねられた、仮想の手（両手）を表示するステップと、
ユーザの手によってなされるジェスチャに応答して、前記仮想キーボード上のキーにマップをセットするステップと、を含む方法。
【請求項３１】
前記仮想キーボードの前記レイアウトが、実際のユーザの手によってなされるジェスチャに応答して変化する、ことを特徴とする請求項３０に記載の方法。
【請求項３２】
前記仮想の手（両手）が、前記仮想キーボードの上に重ねられて、透過的に表示される、ことを特徴とする請求項３０に記載の方法。
【請求項３３】
前記仮想の手（両手）の外観が、使用される前記仮想キーボードレイアウトに依存する、ことを特徴とする請求項３０に記載の方法。
【請求項３４】
前記ジェスチャが、前記物理的キーボードの押し下げられたキーと組み合わせて使われる、ことを特徴とする請求項３０に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般にデータ入力デバイスの分野に関する。より詳しくは、本開示は、多言語データ入力を容易にするための方法に、および、多言語データ入力方法を活用するシステムに関する。
【背景技術】
【０００２】
パーソナルコンピュータ（ＰＣ）、携帯電話、パームコンピュータ、航空機コンピュータ、などのような電子システムへの情報の入力は、本願明細書において集合的に「キーボード」と称される、キーを備えたデータ入力装置、例えば英数字キーボード、タッチパッドまたはタッチスクリーンを使用し、ＰＣが発明されて以来ずっと大して変わっていない。
【０００３】
キーボードはテキストおよび（集合的に「シンボル」または「キーラベル」として以下に称される）他のタイプの文字、のようなデータの入力のために、および更に、コンピュータの動作を制御するために設計されているので、ほぼすべてのコンピュータが、ユーザとコンピュータとの間の対話処理の主要な形式としてキーボードを装備している。物理的に、コンピュータキーボードは矩形のまたはほぼ矩形のボタンまたは「キー」の配列である。キーボードは一般的に各キー上に彫られたか、印字されたかまたはさもなければマークされた一つ以上のシンボルを有し、ほとんどの場合、キーの各押圧が、コンピュータに入力されかつ多くの場合コンピュータのディスプレイスクリーン上に表示される、単一のシンボルに対応する。しかしながら、いくつかのシンボルを生成するには、いくつかのキーを、同時にあるいは順番に、押圧して保持する必要がある。他のキーは押圧されると動作を生成することができ、および他の動作が、複数の動作キーを同時に押圧することによって利用可能である。
【０００４】
多数の異なるキーボードレイアウト（キーの配置およびキー上のシンボルの割付け）が、存在する。異なる人々が異なる組のシンボルを使用する必要がある場合があるので、異なるキーボードレイアウトに対する要求が生じ、一般的に、これは彼らが異なる言語で読み書きするためである。用途に従い、キーボード上のキーの数は、一般に標準の１０１キーないし１０４ウィンドウズ（登録商標）キーボードから、いくつかのプログラム可能なキーを備えた１３０キーまで様々に変化する。９０足らずのキーを有する小型の変形もまたあり、それらは通常は、ラップトップにおいて、またはスペースの制約があるデスクトップコンピュータにおいて見られる。大部分の英語コンピュータおよびタイプライターキーボード上で、今日最も一般的なキーボードレイアウトのキーのレイアウトは、文字のキーボードの最上列に見られる最初の６文字にちなんでＱＷＥＲＴＹ設計と呼ばれている。
【０００５】
大部分の情報またはデータは通常は、固定キー機能を備えたキーボードを使用してタイプ入力されるかまたはキー入力される。特にＰＣに関しては、二重言語キーボードは通常は英語のアルファベットと共にキーボードキー上へマークされる第２言語のアルファベットシンボル、または、ソフトウェア命令によって一般に達成される各キーの二重言語機能間の切換えによって、言語を変更することを可能にする入れ替え可能なレイアウト、を有する。標準のキーボードでは、ユーザは、異なるソフトウェアおよびシステム操作方法によって提供される、異なる言語およびオプションを規定する、各々の押し下げられるキー上に設けられた最高３つのシンボルを通常見ることができる。コンピュータマウスもまた、メニューのようなオプションを選択するために、および、グラフィックコマンド入力のために独立に働くことができる。
【０００６】
標準のキーボードは、複数の不都合および制約で苦しむ。例えば、標準のキーボードは通常は、例えばシンボルＦ１ないしＦ１２を備えたファンクションキーを含み、それは別々の命令で規定される機能を隠す。しばしば、ユーザは、これらの隠された機能を学んで記憶しなければならないか、またはルックアップテーブル、「ヘルプ」ディレクトリからもしくは他のソースからそれらの意味を呼び出さなければならない。しかしながら、この種のキーボードはキーの数、したがって、キーファンクションで制限される。通常は、非職業的タイピストは、机の上に配置されるキーボードと通常は机の前により高く配置されるＰＣモニタスクリーンとの間で彼の視線を頻繁に移動して、タイプ入力動作に従わなければならない。特に二重言語キーボードに関しては、頻繁な目の移動ならびに「Ａｌｔ＋Ｓｈｉｆｔ」および「キャプスロック」機能の頻繁な非フィードバック使用は、タイプ入力における誤りにつながる。広範なインターネット使用の出現によって、ＰＣユーザは従来のキーボードを使用するのにますます複雑な入力コマンドを、または各々のキーのより多くの「隠された」機能を記憶する必要がある。
【０００７】
本開示と同じ発明者による、特許文献１は仮想入力環境および可変のキーディスプレイを備えた入力装置の作成のための方法およびシステムを記載している。しかしながら、特許文献１は、仮想キーボードのレイアウトを制御するために、手のジェスチャの使用を教示せず、仮想の手の外観が使用される仮想キーボードのレイアウトに依存することができることも教示していない。加えて、特許文献１は現在の、または将来のコマンドまたはユーザのリクエストを予測するために以前のコマンドを評価しない。
【０００８】
上で述べられたようないくつかの言語、例えば、ロシア語およびヘブライ語に対して、ハードウェアキーボードは一般に英語のアルファベットと共にキーボードキーにエッチングされた第二言語アルファベットシンボルを有する。話し言葉が大きなアルファベットおよび／または多くの文字（例えば５０を超える文字）を有する一部の国では、もう一方の言語の文字全てが物理的キーボード上に表示されることができないので、キーボードは一般に英語の文字だけを含む。この状況はしばしば、この種の言語のユーザがこの種の言語でのデータ入力作業を実行することに対して巨大な問題を作り出す。
【０００９】
この問題が悪化する国の一例はインドであり、それは憲法で規定された文字が２２あり、そして１０の異なる文字を備えた多言語使用の国である。憲法で規定されたもののうち１８のインド言語が、括弧内のそれらの文字と共に次の通りに言及される：ヒンディー語（デバナーガリー文字）、コンカニ語（デバナーガリー文字）、マラーティー語（デバナーガリー文字）、ネパール語（デバナーガリー文字）、サンスクリット語（デバナーガリー文字）、シンド語（デバナーガリー／ウルドゥー文字）、カシミール語（デバナーガリー／ウルドゥー文字）、アッサム語（アッサム文字）、マニプール語（マニプール文字）、ベンガル語（ベンガル文字）、オーリヤ語（オーリヤ文字）、グジャラート語（グジャラート文字）、パンジャブ語（グルムキー文字）、テルグ語（テルグ文字）、カンナダ語（カンナダ文字）、タミル語（タミル文字）、マラーヤラム語（マラーヤラム文字）およびウルドゥー語（ウルドゥー文字）。インドの文字は、一般的に１２−１５の母音、３５−４０の子音および２、３の発音区別符号を有する。これの他に、各々の母音に対して、対応する修飾子シンボルがあり、および、各々の子音に対して、（半文字と呼ばれる）対応する純粋な子音形がある。これにより、この種の言語を入力するのに必要なシンボルの全体の組が通常のキーボードが収めることができるものより多くなる。インドでは、例えばキーボードの欠如に対する解決策の提供を試みるために、異なるインド言語ワードプロセッサが各々、英語のキーの後に隠れているインド文字を指示するハードコピー「マップ」と共に配布される。ほぼ５０のハードコピーマップが、インド語ワードプロセッサの異なる販売業者の間で入手できるが、しかし、ハードウェアメーカは一般にインド言語レイアウトを備えたキーボードを供給しない。９５パーセントを超えるインドの人々は、一般に英語ベースの情報技術に、恩恵を奪われている。
【特許文献１】米国特許６，６１１，２５３
【発明の開示】
【００１０】
以下の実施態様およびその態様が、システム、ツールおよび方法に関連して図と共に説明され、それは、例示的で例証となることを意味され、有効範囲を限定しない。さまざまな実施態様において、上記の問題の一つ以上が縮小されるかまたは除去されており、一方他の実施態様は他の利点または改良を目的とする。
【００１１】
本開示のいくつかの実施態様に従って、コンピューティングシステムにデータを入力するシステム及び方法が、提供される。本願明細書において開示されるシステムは、取得されたイメージと関連する信号に基づいて、入力キー（複数キー）またはキーボードの全体の（または部分的な）レイアウトのマップをセットして、表示するように構成されているコントローラと、このコントローラに機能的に接続されて、かつ取得されたイメージに関する、またはこれと関連する信号をこのコントローラに与えるように構成されるイメージ捕捉デバイスとを含むことができる。このシステムは、一つ以上のジェスチャ、例えばユーザの手、指または他の身体部分によって生成されるかまたは実行されるジェスチャを、収集し、かつ識別する、認識する、または解釈することができ、および、このジェスチャに従ってコマンドを実行することができる。したがって「識別する、認識する、または解釈する」ことによって、特定のコマンドに対して、与えられたジェスチャまたはジェスチャの組合せを（コントローラによって）関連づけて意味される。このシステムは、仮想キーボードおよびユーザの物理的な手の位置（複数位置）および／または動作（複数動作）をシミュレートする仮想の手を、任意選択で即時に表示するモニタまたはディスプレイスクリーンを含むことができる。
【００１２】
いくつかの実施態様において、仮想キーボード上のキー（複数キー）またはキーラベル（複数ラベル）の意味が、ユーザのコマンドに従って動的にアップデート（変更）される。代わりとして、仮想キーボードのレイアウトの全体または一部だけがユーザのコマンドに従って動的にアップデート（変更）される。例えば、仮想キーボードはユーザの手の位置（複数位置）および／または動作（複数動作）に従って動的にアップデート（変更）される。
【００１３】
いくつかの実施態様において、このシステムは、ユーザの以前のコマンド、仮想キーボード上でその後必要とされる予測されたキー（複数キー）および／または仮想キーボードにその後必要とされる予測されたレイアウトに基づいて、評価する、予測する、またはさもなければ判定する、（コントローラが構成される）評価および予測性ソフトウェアアプリケーションを含むことができる。いくつかの実施態様において、手の動作または他のジェスチャがマウスタイプナビゲーションを実行することができる。
【００１４】
本開示の一部として、コンピューティングシステムにデータを入力するための方法が提供される。いくつかの実施態様において、この方法はユーザ身体の、および、物理的キーボードの一部分のイメージ（複数イメージ）を取得するステップと、取得されたイメージ（複数イメージ）に基づいて、キー（複数キー）のマッピングをセットして、表示するステップと、を含むことができる。この方法は、取得されたイメージ（複数イメージ）に関する、またはそれに関連づけられた信号を処理して解釈し、この信号に従って選択されたコマンドおよび／またはシンボルの入力を可能にするステップを更に含むことができる。この方法は更に、イメージ捕捉デバイスのＦＯＶ内に配置される物理的キーボードのキーを識別するためにキーボード識別機能を使用するステップと、物理的キーボードに対して手の位置および／または手の動作を測定するために少なくとも一つ、ユーザの手のイメージを処理するステップと、対応するディスプレイスクリーン上の、例えばコンピュータディスプレイ上のまたはコンピュータディスプレイオブジェクト上の、仮想キーボード上に少なくとも一つの手の位置（複数位置）動作（複数動作）を表示するステップと、を含むことができる。
【００１５】
いくつかの実施態様において、この方法は処理されたイメージに応答して仮想キーボード上のキーラベルを動的にアップデートするステップ、および／または処理されたイメージに応答して仮想キーボードのキーボードレイアウトの全体または一部を動的にアップデートするステップを含むことができる。
【００１６】
いくつかの実施態様において、この方法は仮想マウスを使用して、マウスタイプナビゲーションを実行することを目的とする手の動作、および／またはユーザの入力コマンドおよび／またはデータとして解釈されることができる他の身体動作を含むことができる。用語「他の身体動作」は、例えば手の動き、頭の動き、目の動き、口の動き、またはユーザーコマンドおよび／またはデータ入力を指示することができる他のタイプの動作を指す。
【００１７】
上記した例示的な態様および実施態様に加えて、更なる態様および実施態様が図を参照することで、および、以下の詳細な説明の検討によって明白になるであろう。
【発明を実施するための最良の形態】
【００１８】
複数の例示的な態様および実施態様が上で論じられたとはいえ、従来技術の当業者は、その特定の変更、置換、追加および副次的組合せを認識するであろう。したがって、目的とされることは、以下、添付の特許請求の範囲およびこの後紹介される請求の範囲が、全てのこの種の変更、置換、追加および副次な組合せを含み、同じくそれらの真の趣旨および範囲内にあるものと解釈されることである。
【００１９】
別途特に述べられない限り、以下の説明から明白に理解されることは、この明細書考察の全体にわたって「処理」、「計算」、「算出」、「測定」等のような用語を活用することは、コンピューティングシステムのレジスタおよび／またはメモリの内部の物理的な、例えば電子的な数量として表されるデータを、コンピューティングシステムのメモリ、レジスタまたはその他のこの種の情報記憶、伝達またはディスプレイデバイスの内部の物理量として同じように表される他のデータに、操作しておよび／または変換する、コンピュータまたはコンピューティングシステムまたは類似した電子計算デバイスの動作および／またはプロセスを指すということである。
【００２０】
本願明細書に表示されるプラットホーム、プロセスおよびディスプレイは、本質的にいかなる特定のコンピュータまたは他の装置にも関連しない。さまざまな汎用コンピューティングシステムおよびネットワーク化機器が本願明細書における教示に従うプログラムと共に使われることができるか、または、所望の方法を実行するためにより専門の装置を構成することが、都合がいいと立証することができる。種々のこれらのシステムに対する所望の構成は、下記の説明から現れる。加えて、実施態様はいかなる特定のプログラミング言語も参照して記載されてはいない。理解されるであろうことは、種々のプログラミング言語が、本願明細書において記載されているように本開示の教示を実行するのに用いられることができることである。
【００２１】
以下の詳細な説明において、数多くの具体的な詳細がさまざまな実施態様の完全な理解を提供するために記載される。しかしながら、記載されている実施態様がこれらの具体的な詳細なしで実践されることができることは、当業者に理解されるであろう。
【００２２】
本願明細書において使われる用語「ジェスチャ」は少なくとも、キーボードを操作する人の身体部分（複数部分）によってなされる動作（複数動作）および／または信号（複数信号）および／または指示（複数指示）および／またはサイン（複数サイン）および／または命令（複数命令）および／またはリクエスト（複数リクエスト）、などを含むことができる。「コマンド」によって本願明細書において意味することは、ジェスチャまたはジェスチャの連続もしくは組合せを使用して、選択されたキーの意味もしくは解釈を変更する（シンボルを割り当てるかもしくは再設定する）ために、またはこのジェスチャまたはジェスチャの連続もしくは組合せに従ってキーボードレイアウト全体の意味もしくは解釈を変更するために、コンピュータに指示するか、リクエストするかまたは命じる、ことである。この点で、キーの意味もしくは解釈（押し下げられた時にコンピュータがキーを解釈する方法）は、所定の瞬間に、キー上に物理的にマークされたシンボル（初期のもしくはデフォルトのシンボル）、または特定のコマンドに従ってコンピュータによってキーに割り当てられた（もしくは再設定された）異なるシンボルのどちらかである。
【００２３】
本願明細書に記載されている実施態様は、特に多くのシンボルを有する言語と関連するがそれだけではない、人間と機械の対話（ＨＣＩ）問題の改善を容易にすることができる。この種の実施態様は、操作しやすいデータ入力環境を提示することによって、データ入力の速度を高めて、言語データ入力作業に対する完全解を提供して、タイプミスの数を実質的に減少させて、言語ワードプロセッサのユーザビリティを向上させる。
【００２４】
図１Ａを参照すると、本開示のいくつかの実施態様に従う例示的なデータ入力システムが、部分的に描写されている。データ入力システム１００は、イメージ捕捉デバイス１１０のような少なくとも一つのイメージ捕捉または取込みデバイスを含み、それは例えば、デジタルカメラ、ビデオカメラ、ＰＣカメラ、ウェブカメラ、その他で、コンピュータディスプレイモニタ１２０上に位置することができる。もちろん、ユーザの手（両手）のまたはユーザの身体の、他の部分の位置（複数位置）、場所（複数場所）、動作（複数動作）およびジェスチャ（複数ジェスチャ）がそれに関しては明らかに視認できる、すなわち、それらがイメージ捕捉デバイス１１０のＦＯＶ内に現れる、と仮定するならば、イメージ捕捉デバイス１１０は異なる位置に設置されることができる。データ入力システム１００は更にイメージ捕捉デバイス１１０と関連する、または機能的に接続される、かつイメージ捕捉デバイス１１０によって生成されてコントローラに出力される信号であって、その信号が、ジェスチャ（複数ジェスチャ）または動作（複数動作）に関連して、およびそれらを含むイメージ捕捉デバイス１１０のＦＯＶ内のイメージ（複数イメージ）を表す、信号に基づいて、キー（複数キー）のマップまたはキーボードレイアウト全体のマップをセットするように構成される、コントローラ（図示せず）を含むことができる。「マップをセットする」とは、本願明細書において一般に特定のキーに対する特定のシンボル（複数シンボル）のジェスチャ（複数ジェスチャ）に依存した割付け（またはそれぞれの特定のキーに対するシンボルの、特定の組の割付け）を意味する。より詳しくは、キー（複数キー）のマッピングは、１３１および１３２で、物理的キーボード１３０上に載置される（実物の）手だけが示されるユーザのような、ユーザによってなされるかまたはユーザと関連する動作またはジェスチャに従って、キー（複数キー）に割り当てられる象徴的な意味を変更することを含むことができる。コントローラは、キーボード１３０のようなキーボードからの入力信号を獲得して、ディスプレイスクリーン１２０のようなディスプレイスクリーンを動作させるコンピュータ（ＰＣ、ラップトップなど）の一体的な部分であるか、コンピュータに埋め込まれるか、組み込まれるか、もしくは加えられることができる。
【００２５】
ユーザ（図示せず）は、物理的キーボード１３０に関して、または、それに対して１つの位置から別の位置まで彼の手１３１および／または１３２を移動することができ、一方イメージ捕捉デバイス１１０によって取得される手１３１および１３２のイメージに関する信号が絶えまなく、または、断続的に、処理および解釈のためにデータ入力システム１００に転送される。データ入力システム１００は、ユーザによって彼の手（両手）または他の身体部分（複数部分）によってなされるジェスチャ（複数ジェスチャ）および／または動作（複数動作）を識別するために、取得されたイメージに関する信号を処理して解釈することができ、かつ、このジェスチャ（複数ジェスチャ）および／または動作（複数動作）に従って、またはそれと関連してコマンドを実行することができる。物理的キーボード１３０は、標準のキーボード（その上にマークされるシンボルを備えた）、ブランクキーボード（キー上のマーキングのないキーボード）、紙キーボード（例えば、任意の数のキーを備えたキーボードの図面）、タッチパッド、キーパッド、仮想上のキーボード（テーブルおよびボードのような平坦な裸の表面）、その他であることができる。データ入力システム１００は、また、使用される言語（複数言語）（例えば英語、ヒンディー語およびドイツ語）を処理するのに適しているワードアプリケーション（複数アプリケーション）を活用することができる。
【００２６】
いくつかの実施態様において、データ入力システム１００のコントローラは、イメージ捕捉デバイス１１０によって収集されるイメージを処理するために、デジタル信号処理（「ＤＳＰ」）技術、およびコンピュータスクリーン１２０のようなコンピュータスクリーン上に、仮想キーボード１４０のような対応する仮想キーボードを表示するためのシミュレーション技術を活用することができる。これらの実施態様のうちいくつかの態様において、仮想キーボード１４０上のキーの数、寸法およびスペーシングはユーザの方向づけを容易にするために物理的キーボード１３０のそれらに実質的に似ていることができる。他の態様によれば、仮想キーボード１４０上のキーの数または寸法、または、スペーシングのいずれかが、物理的キーボード１３０のそれらと異なることができる。データ入力システム１００のコントローラによって、キー（複数キー）に割り当てられるシンボル（複数シンボル）または意味および／または仮想キーボード１４０のレイアウト全体に割り当てられるシンボルまたは意味を、取得されるかまたは収集されるイメージ（複数イメージ）からデータ入力システム１００のコントローラによって識別されるか、認識されるか、または解釈されることができる、対応するユーザのジェスチャまたは動作に従って変化させることができる。
【００２７】
本開示のいくつかの実施態様において、データ入力システム１００のコントローラはシミュレーション技術を仮想の手（両手）を作り出して処理するために活用することができて、かつ仮想の手（両手）を、ユーザの（実物の物理的な）手（両手）の位置、場所および動作に従ってディスプレイスクリーン上に出現させて動かすことができる。例えば、仮想の手１２１および１２２が、それぞれ、ユーザの手１３１および１３２を反映して図１Ａ内に示されている。仮想キーボード１４０および／または仮想の手１２１および／または１２２は、データ入力の容易さを促進するために同様にまたは異なって拡大・縮小されることができる。
【００２８】
データ入力システム１００を活用することによって要求された言語でデータを入力するために、ユーザは、１３１および１３２に示すように彼の手を配置することができ、かつ、イメージ捕捉デバイス１１０のＦＯＶ内に、要求された言語と関連した、ジェスチャまたはジェスチャの連続もしくは組合せを作ることができる。ジェスチャまたはジェスチャの連続もしくは組合せは、次いで要求された言語と関連するとしてデータ入力システム１００のコントローラによって認識されるかまたは解釈される。ジェスチャまたはジェスチャの連続もしくは組合せの認識または解釈に応答し、データ入力システム１００のコントローラは仮想キーボード１４０上の選択されたキーに対して要求された言語を構成するシンボル（複数シンボル）を割り当てることができて、かつ現在要求され、割り当てられたシンボル（複数シンボル）を備えた仮想キーボード１４０のレイアウトを表示することができる。データ入力システム１００のコントローラが要求された言語に対応するキーボードレイアウトのマップをセットしたと言うことができる。一旦要求された言語がユーザのコマンドに応答してデータ入力システム１００のコントローラによってセットされると、ユーザは、仮想キーボード１４０上のキーを観測して、物理的キーボード１３０を横切って、彼の手（１３１もしくは１３２）またはその特定の指（複数の指）を動かすことによってデータ入力システム１００にデータを入力することができる。
【００２９】
ユーザは、それぞれの仮想の手（１２１もしくは１２２）またはその対応する仮想の指（複数の指）が、押し下げられるべき仮想キー１４０上の隣のキーの近傍に達して、および、仮想の手１２１または１２２の指がそのキーに重なるまで、彼の手またはその特定の指（複数の指）を動かすことができる。次いで、ユーザは仮想キーボード１４０上の要求されたキーに重なり合う仮想の指に対応する、または関連する、指の下側の物理的キーボード１３０のキーを押し下げることができる。上記の手順は追加的なシンボルを入力するために必要な回数だけ繰り返されることができる。ユーザが異なる言語に変更するかまたはセットすることを望む場合、ユーザは異なる言語に対応するジェスチャまたはジェスチャの連続もしくは組合せのポーズをとることができる。データ入力システム１００のコントローラがキーの異なるマップをセットするよう、異なる言語をセットするよう求められるたびに、コントローラは対応するワードアプリケーション／プロセッサを使用可能にすることができる。例えば、データ入力システム１００のコントローラがフランス語から英語に変更するよう求められたならば、その時、コントローラはフランス語ワードアプリケーション／プロセッサを無効にすることができて、英語のアプリケーション／プロセッサを有効にすることができる。物理的キーボード１３０は、データ入力システム１００のコントローラに、またはコンピュータに機能的に接続され、そのコンピュータ内に、物理的キーボード１３０内のキーと関連するデフォルトのシンボルまたは機能を代表するコントローラ信号に転送するためのデータ入力システム１００のコントローラが存在する。それにもかかわらず、データ入力システム１００のコントローラは、現在のマッピング設定に従って物理的キーボード１３０からそれに転送される信号を解釈するように、構成されるかまたは設定される。
【００３０】
データ入力システム１００は、従来技術解決策をこえるいくつかの利点がある。例えば、このシステムにデータを入力するユーザは、物理的キーボード（例えばキーボード１３０）と得られるタイプ入力を表示するスクリーン（例えばディスプレイスクリーン１２０）との間で、前後に視線を移動する必要はない。その代わりに、ユーザは仮想キーボード（例えば仮想キーボード１４０）を見つめて、かつ仮想の手（例えば仮想の手１２１および１２２）が、彼の（実物の）手（例えば手１３１および１３２）の位置（複数位置）および動作（複数動作）との相関関係で配置されて、動くのを見るだけでよい。
【００３１】
一般に、シンボルまたは機能はユーザによって要求される言語、モードまたは機能に従い（対応する動作またはジェスチャを実行することによって）、キーに割り当てられることができ、その結果、所定のキー、それが新しい言語に割り当てられたあと、ユーザによって押し下げられると、モードまたは機能が、異なる方法でデータ入力システム１００のコントローラによって解釈される。データ入力システム１００のコントローラは、ユーザが与える、またはポーズをとるコマンドに応答して（仮想レイアウト１４０のような）仮想レイアウトの外観を変更することができる。例えば、コントローラは、所望のアプリケーション（複数アプリケーション）に従い、例えば仮想キーボード上のキーの数、キーの寸法、スペーシングおよび／または設置を変更することによって、キーボードアーキテクチャまたはキーの配列を変更することができる。いくつかの実施態様によれば、仮想キーボードのレイアウトは、キーボードが、（それぞれのキー上にマークされる実際のラベルを備えた）実物か、ブランクかまたは紙キーボードであるかどうかにかかわらず、ユーザの手ならびに物理的キーボードの上の、ユーザの手の位置決めおよび動作のリアルタイムシミュレーションに従って変更されることができる。データ入力システム１００の他の利点は、同じ物理的キーボード（例えば物理的キーボード１３０）が、利用可能なワードアプリケーション／プロセッサの数と同じだけの組の（そのそれぞれが異なる言語に帰属する）シンボルを入力するのに用いられることができることである。
【００３２】
いくつかの実施態様において、キーボードキーエントリ（押し下げられるボタン）と共に（先に記載されているように）ユーザの手（両手）の位置のイメージを収集することによって、データ入力システム１００のコントローラは、任意の所定の瞬間にかつリアルタイムで、ユーザの手および指の位置および／または動作を探知することができて、かつ仮想キーボード１４０のキー上の適切な位置に仮想の指を表示することによってそれらを模倣することができる。これによって、ユーザがモニタ１２０上で彼（女）の手の配置および動作を観察することができ、それによって物理的キーボード１３０上の、任意のキー上の彼（女）の指の配置におけるユーザの確実性を、任意の所定の瞬間で、選択された言語に関係なく、キーを押下げる前に、および、物理的キーボード（例えばキーボード１３０）を見下ろす必要なく、与える。実物の指（例えば手１３１の指）が物理的キーボードを横切って動き、かつ物理的キーボード１３０のような、物理的キーボード上のキーを押し下げるかまたはその上の領域に接触する場合、コントローラは、仮想の手（例えば手１２１および１２２）に仮想キーボードに関して指の動作および形状を模倣させることができる。
【００３３】
他の実施態様において、データ入力システム１００は１、２の手、同じく他の身体の、動作のイメージの処理を可能にすることができる。例えば、いくつかの実施態様において、データ入力システム１００はユーザーコマンド、信号および／またはデータ入力を指示するために、頭の動き、目の動き、口の動きまたは他の動作を収集して処理することができる。必要であれば、ユーザの身体の異なる部分が単一のイメージ捕捉デバイスのＦＯＶ内に配置されることができない場合に、イメージ捕捉デバイス１１０のような追加的なイメージ捕捉デバイスが、使われることができる。この種の場合には、各イメージ捕捉デバイスは異なる身体部分と関連するイメージを捕捉するために空間的に設置されることができる。
【００３４】
次に図１Ｂを参照して、例示的な仮想キーボードおよび仮想の手が本開示のいくつかの実施態様に従って示される。コンピュータスクリーン１５５に表示されて示される仮想キーボード１５０は、データ入力システムのコントローラによって、必要または要求に応じて、大きくまたは小さく、調整されるか、構成されるか、または変更されることができる。コントローラは、また、スクリーン１５５に対して仮想キーボード１５０の位置を変更することができる。仮想キーボード１５０は、現在のインド言語キーボードセットアップまたはレイアウトを表示して、使用される言語／文字の組（例えば５０のオプションから）によって、または、ファンクションキーに対してもしくは構成されたキーボードに対して定義されるマクロによって、規定されることができるように示される。物理的な指が（図１Ａの物理的キーボード１３０のような）物理的キーボード上の１つのキーから別のキーに移動し、および後者のキーが押し下げられると、対応する図の変化が、仮想キーボード１５０に関してなされることができ、適切な（所望の）物理的なキーに対するユーザの手の動きを模倣するかまたは反映する、（図１Ｂ内の１６０に示すように）仮想キーボード１５０上の１つの場所から別の場所までの手（両手）の動きに結びつく。いくつかの実施態様において、データ入力システムのコントローラはユーザ発行の直接のコマンドに従ってまたはこの種のコマンドの結果に従ってユーザの手１６０の外観を変更することができる。「ユーザ発行の直接のコマンドに従って」によって意味されるのは（後者の実施態様に関して）、仮想の手（両手）の外観を変更するように機能する物理的キーボード上のキーを押し下げることであり、一方、「この種のコマンドの結果に従って」によって意味されるのは（後者の実施態様に関して）、（先に記載されているようにジェスチャまたは動作のポーズをとることによって）コントローラに対して言語を変更するコマンドを発行し、かつ同時に、使用される言語に従って仮想の手の外観を（コントローラによって）変更することである。仮想の手の外観を変更することは、例えば、ユーザが仮想キーボード１５０の実質的に全ての領域を観察することを可能にするために、仮想の手（両手）を透明、または部分的に透明にすることを含むことができる。透明な仮想の手１６０が、仮想キーボード１５０の上に重ねられて図１Ｂ内に示されている。テキスト１５１は、仮想キーボードレイアウト１５０に現在割り当てられているヒンディー語言語に従って、ヒンディー語シンボルから成って示される。
【００３５】
次に図１Ｃを参照して、異なる仮想キーボードの上に重ねられた仮想の手の３つの例が、本開示のいくつかの実施態様に従って示される。図１Ａのデータ入力システム１００のような、データ入力システムによってユーザが仮想キーボード１５０のような仮想キーボードのラベリングおよび／またはレイアウトを変更することができてもよい。ユーザがインド言語（図１Ｃ内に代表される場合にデバナーガリー文字によるヒンディー語言語）を使用して文書を書き込みたい場合、「ＫＡ」＋「ＨＡＬＡＮＴ」組合せ（ウィンドウズ（登録商標）内の「Ｋ」＋「Ｄ」キー）を用いて、彼／彼女は、第１から第２のレイアウトに（例えばキーボードレイアウト１７０キーボードレイアウトから１７１に）変えることができ、および、仮想キーボード上のキーの、特定の、または全部の外観はしたがって、使われるべき言語および／またはモードおよび／または文字に対する関連するキーおよび／またはレイアウトまたはマップを変更することができる（例えば図１Ｃ内に表される場合に「ＫＡのＨＡＬＡＮＴ形式」）。
【００３６】
他の実施態様において、ユーザはキーボードモードまたは機能を変更することができ、例えば、彼／彼女は、仮想キーボード上のキーの言語、記号、文字、グラフィクスおよびその他の間を、彼（女）の手／指で適切なジェスチャを指示することによって、切り替えることができる。その上、仮想の手（両手）の外観および／または透明度の程度は使用される実際のキーボードに従って変化することができる。例えば、それらが各々異なるキーボードレイアウト（それぞれキーボード１７０および１７１に）に関連するので、仮想の手１７２は、仮想の手１７３と比べてより透明でないように示される。仮想キーボード１７５は、６つの選択されたシンボルだけ（集合的に１７４と示される）を有して示される。仮想キーボード１７５は、半透明として示されることができる。
【００３７】
次に図１Ｄを参照して、それは信号またはジェスチャの例を表し、ユーザが、データ入力システム１００のような、データ入力システムに命令して言語、モード、入力データを変更する、機能を変更するなどのために、イメージ捕捉デバイス１１０のようなイメージ捕捉デバイスに対してポーズをとることができる。例えば、ユーザはイメージ捕捉デバイスによって収集されることができ、仮想キーボードキーを望ましくマップさせられる、選択された信号／ジェスチャを作り出すために、物体および／または彼（女）の左手を使用することができる。図１Ｄは、例えば、そのそれぞれが一意の手のジェスチャ番号に割り当てられている、１０の例示的な手のジェスチャを表す。各々の手のジェスチャ番号は、データ入力システムのコントローラによって実行されるかまたはとられる特定のコマンドまたは動作と関連づけられることができる。例えば、１８２で示される、手のジェスチャ記述１８１と関連づけられた手のジェスチャ番号５は、例えば、仮想キーボードのレイアウトまたはマッピング（例えば図１Ｂの仮想キーボード１５０のレイアウト）を１つの言語から別の言語に変更するために、データ入力システムのコントローラに命令するかまたは信号を送るように指示することができる。その後に、ユーザは、変更された仮想キーボードとの相互関係で移動する対応する仮想の手（両手）を作り出すように、物理的キーボードの上に彼の手（両手）／指を移動することによって他の言語の文字またはシンボルを入力（タイプ）するために変更された仮想レイアウトを使用することができる。
【００３８】
したがって、データ入力システム１００のようなデータ入力システムによって、信号、コマンド、命令などを識別することは、（図１Ａのイメージ捕捉デバイス１１０のようなイメージ捕捉デバイスによって）手のジェスチャまたは信号を最初に識別するかまたは認識することによって、およびそれから、手のジェスチャを対応する手のジェスチャの番号に解釈することによって、かつ、先に記載されているように手のジェスチャ番号を使用して、実施されることができる。
【００３９】
図１Ａのデータ入力システム１００は、例えば物理的キーボード上の「リセット」ボタンを押し下げた後に、ユーザが（イメージ捕捉デバイス１１０に対応するジェスチャまたは動作を表示することによって）、手動でもしくは自動的に信号を受信する、または、選択されたコマンドに従うこと、によって命令される。任意の数およびタイプの手のジェスチャ、信号および／または動作および／または身体部分および／または物体およびその他によって作られる他の適切な信号および／またはジェスチャおよび／または動作が、データ入力システムのコントローラに対するコマンドとして使われることができる。例えば、左手および／または右手の位置および／または動作が収集されることができ、同様に顔の動き、頭の動き、指の動き、肩の動きまたはユーザがコマンドを指示するのに用いることができる他の適切な動作が収集されることができる。このようにして、このデータ入力システムによってユーザが、最小数のキーストロークまたは他の動作で、図１Ｂの仮想キーボード１５０のような仮想キーボードのキーのレイアウト、モード、機能などを変更することができてもよい。
【００４０】
一例において、ユーザは、選択されたレイアウトと関連づけられているジェスチャをして、および続いて、必要データを入力するために、一つ以上のキーをタイプすることができる。レイアウト、キーおよびその他を変更し、かつ必要レイアウトに到達するために、通常はいくつかのキーエントリを必要とするかもしれないこの種のデータ入力は、ジェスチャおよび選択されたキーのタイプ入力の組合せを適用することによって実行されることができる。例えば、ユーザが、物理的キーボードの上にあるキーと比べて、より多くの文字があるヒンディー語文字を入力することを望む場合、ユーザは、例えば仮想キーボード上のキーボードキーラベルおよび／またはレイアウトを変更するために、ジェスチャまたは信号を使用してコマンドを入力することができる。仮想キーボード内のこの変更は、最小数のキーストロークが選択されたキーを入力するのに必要なように、必要な文字を仮想キーボード上に表示させられることができる。したがって、１つのキーストロークだけが、多くの異なった文字によって一組の言語の文字から任意の選択された文字を入力するのに必要とされる。他の動作および／または動作の組合せが、同様に実施される。
【００４１】
いくつかの実施態様によれば、データ入力システムはデータ入力システムのコントローラが、その後ユーザによって要求されるかまたは望まれることができる予想されたキーおよび／またはキーボードレイアウト（マップ）を決定するのを助けるための評価および予測性アプリケーションを含むことができる。この予測性はユーザの以前のコマンド（複数コマンド）、例えば、手のジェスチャ（複数ジェスチャ）、動作（複数動作）、マウス動作（複数動作）、キーエントリおよびその他を用いて以前に発行されたコマンド、の評価に基づくことができる。例えば、多くの文字を有する言語が現在使われている場合、現在用いられる言語のワードアプリケーションは選択された文字のエントリに等しい２つ以上の、特定のキーの組合せを解釈することができる。予測性アプリケーションは、例えば組合せキーの最初のものを打った後に、さまざまな他のキーによって最初のキーの組合せから生じる可能な機能を完了するように他の関連したキーを自動的にアップデートすることができる。例えば、「Ａ」および次いで種々の他のキーを打つと、コマンドの選択を入力し、その時、「Ａ」はある種のファンクションキーとして働く。ユーザが「Ａ」を入力する場合、仮想キーボードは、「Ａ」と組み合わせて入力されることができる全ての関連したコマンドまたはキーを表示するように直ちに変更されることができる。このようにして、ユーザはキーの組合せを発見するために物理的なテーブルを記憶するかまたは使用する必要はなく、むしろ、関連した組合せがリアルタイムで、仮想キーボード上で動的にアップデートされることができる。
【００４２】
次に図１Ｅを参照して、２つの比較研究法テーブルが、本開示のいくつかの実施態様に従って例証される。テーブル１９０はいくつかのインド言語シンボル、および、このインド言語シンボルを得るために入力されるべきそれぞれの英語の文字を表す。例示的なテーブル１９０によれば、インド言語文字が、それに従って英語の文字またはサインの単一の、または、２、３、４つのまたは５つの組合せがタイプ（入力またはキー入力）されなければならない従来の方法を用いて、表されるか、使われるか、または得られることができる。例えば、文字１９３は文字「ｓ」（１９４）を入力することによって得られ、および、文字１９５は文字の組合せ「ｓ／ｔ／ｒ」（１９６）を入力することによって得られる。したがって、５つのキーストロークが文字１９５を得るのに必要である。
【００４３】
テーブル１９１は、対応する手のジェスチャと組み合わせて１つの英語の文字だけを入力すること（１ストライク実施）によって同じインド言語文字（１９７で示される）を得るための方法を表す。例えば、文字１９３は前（１９４）のように、文字「ｓ」（１９８）を入力することによって、かつ、いかなる手のジェスチャも使用せずに得られる。なぜなら、１つの文字（１９４または１９８）を使用することは十分に簡単だからである。しかしながら、文字１９５を得るために５つのキーストローク（１９６）を使用する代わりに、１つの文字（例えば文字「ｓ」）だけが対応する手のジェスチャ１９９（この例ではハンドジェスチャ３）と組み合わせて入力されることができる。
【００４４】
次に図１Ｆを参照して、図１Ｅ内に示されるインド言語文字に対応する、マッピングのいくつかの例が略図で例示されて、記載されている。図１Ｆは、図１Ｅに関連して記載されている。例において、いかなる手のジェスチャも伴わずにこの例に従って、文字「Ｓ」が入力されたので、初期のまたはデフォルトの英語の文字「Ｓ」がシンボリックに（１８４で）インド言語文字１８３に割り当てられて示されている（両方の図内の１８５で、「ハンドジェスチャ」が「なし」に等しい）。他の例において、手のジェスチャと共にこの例に従って、文字「Ｓ」が入力されたので、初期のまたはデフォルトの英語の文字「Ｓ」がシンボリックに（１８６で）インド言語文字１８７に割り当てられて示されている（両方の図内の１８８で、「ハンドジェスチャ」が「なし」に等しい）。
【００４５】
次に図２Ａを参照すると、一連の動作またはプロセスが略図で例示され、データ入力システムを動作させるように実施されることができる。ブロック２００において、ユーザは彼（女）のコンピュータ上にデータ入力システムのソフトウェアを設定するかまたは初期化することができる。一旦ソフトウェアが実行されて、機能すると、較正スクリーンが示されることができ、システムが開始しているかまたは動作を開始したことを指示する。ブロック２０５で、ユーザはカメラの視野内に実物の（物理的な）キーボードを配置することができる。ブロック２１０で、データ入力システムは、例えば、キーボード位置およびキーを識別するためにキーボード識別機能を使用することができ、および、その後キーボードが識別され、かつ、データ入力システムが動作する準備のできていることをユーザに通知することができる。
【００４６】
ブロック２１５で、ユーザはイメージ捕捉デバイスの視野内に彼（女）の手（両手）を配置することができる。ブロック２２０で、データ入力システムは手（両手）のイメージを収集して処理することができ、そしてその後、データ入力システムは手（両手）の識別が完了されたことをユーザに通知することができる。ブロック２２５で、使用される実際の言語に従って、ユーザはワードプロセッシングアプリケーションを動作させることができる。ブロック２３０で、データ入力システムは、選択されたワードプロセッシングアプリケーションに従って、デフォルトの組のキーと共に、データ入力システムのディスプレイ上に仮想キーボードを表示することができる。ユーザは、仮想キーボード上の彼（女）の仮想の手（両手）の関連づけられた動きに注目しながら、選択された言語でデータを入力するために、必要に応じて、コマンドを実物のキーボードにタイプすることができる。仮想キーボードは、仮想の指が選択されたキーを押し下げるために能動的に動くことを表し、それによってコマンドの実際のエントリを指示することができる。
【００４７】
ブロック２３５で、ユーザがキーボードモード、言語、入力コマンドおよびその他を変更することを望む場合、ユーザは１、２の手（または他の身体部分）を用いて選択された信号を作ることができる。この信号（複数信号）は、一組の予め設定された信号または動作から選択されることができる。ブロック２４０で、データ入力システムは、手の信号を収集して処理することができて、必要なユーザーコマンド（複数コマンド）またはデータを入力することができる。ブロック２４５で、仮想キーボード上のキーおよび／またはレイアウトは、例えばファンクションキー、キーの組合せ、マウス動作またはコマンド、キーエントリ（複数エントリ）およびマウス動作（複数動作）の組合せおよびその他を入力することによって、ユーザのコマンド（複数コマンド）に従って変更されることができる。上記のステップの任意の組合せが、実施されることができる。更に、他のステップまたはステップの連続が先に指定されたステップの代わりにおよび／またはこれに加えて使われることができる。
【００４８】
他の実施態様において、この方法は１、２の手、同じく他の身体動作の処理を可能にすることができる。例えば、いくつかの実施態様において、この方法は頭の動き、目の動き、口の動きまたはユーザーコマンド、信号および／またはデータ入力を指示する他の動作を収集して処理することができる。
【００４９】
次に図２Ｂを参照して、いくつかの実施態様に従ってデータ入力システムの一般的なレイアウトおよび機能が、略図で例示されて、記載されている。ブロック２６０で、イメージ捕捉デバイス２９０は、ユーザ（図示せず）の手２９２によって、作られるかまたはとられるジェスチャを収集することができる。ブロック２６５で、収集されたジェスチャは、例えば図１Ｄ内のジェスチャ番号３として識別されることができる。ブロック２７０で、仮想キーボード（２９１）はジェスチャ番号３に対応するレイアウト番号３（例えば）を表示するために変更されることができる。したがって、ブロック２７５で、ワードプロセッサはモード３の動作（言語を変更する）に変化することができる。ブロック２８０で、ユーザは物理的キーボード２９３上のキー（複数キー）を押し下げることができる。ブロック２８５で、データ入力システム２０１のコントローラ（図示せず）は、それが仮想の手２９４の位置（複数位置）および動作（複数動作）を、データ入力システム２０１を使用してユーザの物理的な手２９２の位置（複数位置）および動作（複数動作）に実質的に関連づけると共に、仮想キーボード２９１上で対応するキー（複数キー）を打つユーザの指（複数指）（２９４で示される）をシミュレートして表示することができる。他のステップ、ステップの連続が、使われることができる。コンピュータ２８６は、それが押し下げられたキーを表す信号を受信することができる物理的キーボード２９３に、および、とりわけそれが仮想の手および仮想キーボードのイメージを転送するディスプレイスクリーン２９５に機能的に接続されている。
【００５０】
次に図３を参照して、マウスのような実施が本開示のいくつかの実施態様に従って図と共に記載される。本開示の一部として、仮想の手はマウスのようなナビゲーションをシミュレートするかまたは模倣することができ、ユーザは、仮想マウスを用いてコンピュータ（３０４）にデータを入力することができ、および／またはグラフィックアプリケーションを動作させることができる。コンピュータ３０４は、データ３０６のコントローラ（図示せず）を含む。ブロック３００で、イメージ捕捉デバイス３０１はユーザの動作または身体部分、例えば手（３０２で示される）を収集することができ、それはマウスタイプナビゲーションを実施するために移動することができる。ブロック３０５で、手の動作の方向は、例えばＸＹ平面で、観測されて、コンピュータ３０４に転送される。さらにまたは代わりに、ブロック３１０で、ユーザの動作またはジェスチャ（複数ジェスチャ）がイメージ捕捉デバイス３０１によって収集されることができる。ブロック３１５で、ジェスチャ（複数ジェスチャ）の収集されたイメージ（複数イメージ）が、ユーザのコマンド（複数コマンド）および／またはデータを入力するために処理されることができる。ブロック３２０で、コマンドおよび／またはデータおよびその他はコンピュータ３０４に入力されることができ、それらはそれに応じて、例えばディスプレイ３０３上でナビゲートして、モードおよび／または機能を変更して、特定のコマンドを入力して、およびその他によって、実行される。
【００５１】
コンピュータのスクリーン（例えば図２Ｂのディスプレイスクリーン２９５または図３の３０３）、物理的キーボード（例えば図２Ｂの物理的キーボード２９３）およびイメージ捕捉デバイス（例えば図２Ｂのイメージ捕捉デバイス２９０または図３の３０１）は、任意の適切な従来のディスプレイスクリーン、物理的キーボードまたはイメージ捕捉デバイスである。図２Ｂのコンピュータ２８６または図３のコンピュータ３０４は、それが、その通常のハードウェア部品およびソフトウェア部品に加えて、ユーザによって、なされるかまたはポーズをとられる動作およびジェスチャを判定するために捕捉されたイメージを分析するために、および仮想キーボードおよび仮想の手（両手）を生成して、一般に処理するために、必要な仮想現実を可能にするハードウェアおよびソフトウェアアプリケーションを含むと仮定するならば、任意の適切な従来のコンピュータである。
【００５２】
さまざまな実施態様の上記の記述は、図例および説明の目的のために提示された。本開示を網羅的であるかまたは開示された厳密な形式に限定することを目的とされない。上記の教示を考慮して多くの変更態様、変形例、置換、変更および等価物が可能であることは当業者によって理解されるはずである。したがって、目的とされることは、添付の特許請求の範囲が、全ての変更、置換、追加および副次的組合せを含み、同じくそれらの真の趣旨および範囲内にあると解釈されることである。
【図面の簡単な説明】
【００５３】
簡潔に、例示的な実施態様が、参照された図内に例示される。本願明細書において開示される実施態様および図は限定的よりむしろ例証とみなされるべきであることを目的とされる。しかしながら、その目的、機能および利点と共に、動作の構成および方法の双方に関する開示が、添付の図と共に読み取られる場合、以下の詳細な説明を参照することで最もよく理解されることができ、そこにおいて、
【００５４】
【図１Ａ】本開示のいくつかの実施態様に従う仮想キーボードを例証する図形である。
【図１Ｂ】本開示のいくつかの実施態様に従う仮想キーボードを例証する図形である。
【００５５】
【図１Ｃ】いくつかの実施態様に従って、物理的および／または仮想キーボードとして活用されることができる、限定された数のヒンディー語文字を備えたキーボードの図の例である。
【００５６】
【図１Ｄ】いくつかの実施態様に従って、入力のためのコマンドおよび／またはデータを指示するのに用いられることができるさまざまな指に基づく信号またはジェスチャのグラフ図の例示的な組を示す。
【００５７】
【図１Ｅ】本開示のいくつかの実施態様に従って、取得されたイメージと関連する信号に基づいて入力キーをマップする例、および、取得されたイメージと関連する信号に基づく入力キーのマップの例を示す。
【図１Ｆ】本開示のいくつかの実施態様に従って、取得されたイメージと関連する信号に基づいて入力キーをマップする例、および、取得されたイメージと関連する信号に基づく入力キーのマップの例を示す。
【００５８】
【図２Ａ】本開示のいくつかの実施態様に従ってデータ入力システムを動作させるための例示的な流れ図を示す。
【００５９】
【図２Ｂ】本開示のいくつかの実施態様に従うデータ入力システムの一般的なレイアウトおよび機能に関して略図で例示する。および
【００６０】
【図３】本開示の他の実施態様に従うデータ入力システムの一般的なレイアウトおよび機能に関して略図で例示する。
【００６１】
理解されるであろうことは、説明の簡単さおよび明快さのために、図面内に示される要素が必ずしも一定の比率で描画されるというわけではないことである。例えば、いくつかの要素の寸法は明確にするため他の要素に対して誇張される場合がある。更に、適当であるとみなされる場合、参照番号は、連続的な図面の全体にわたって対応するかまたは類似した要素を指示するために図面の間で繰り返される場合がある。
【符号の説明】
【００６２】
１００データ入力システム
１１０イメージ捕捉デバイス
１２０コンピュータディスプレイモニタ
１２１仮想の手
１２２仮想の手
１３０物理的キーボード
１３１ユーザの手
１３２ユーザの手
１４０仮想キーボード
１５０仮想キーボード
１５５コンピュータスクリーン
１６０ユーザの手
１７０キーボードレイアウト
１７１キーボードレイアウト
１７２仮想の手
１７３仮想の手
１７５仮想キーボード
１８１ジェスチャ記述
１８３文字
１８７文字
１９０テーブル
１９１テーブル
１９３文字
１９４文字
１９５文字
１９６キーストローク
１９７文字
１９８文字
１９９手のジェスチャ
２０１データ入力システム
２８６コンピュータ
２９１仮想キーボード
２９２ユーザの物理的な手
２９３物理的キーボード
２９４ユーザの指
２９５ディスプレイスクリーン              
３０１イメージ捕捉デバイス
３０２ユーザの手
３０３ディスプレイ
３０４コンピュータ
３０６データ
【図１Ａ】
2009527041.tif 000002
【図１Ｂ】
2009527041.tif 000003
【図１Ｃ】
2009527041.tif 000004
【図１Ｄ】
2009527041.tif 000005
【図１Ｅ】
2009527041.tif 000006
【図１Ｆ】
2009527041.tif 000007
【図２Ａ】
2009527041.tif 000008
【図２Ｂ】
2009527041.tif 000009
【図３】
2009527041.tif 000010