(57)【要約】【課題】放射状配置のソフト・キーパッドを含むユーザ・インターフェースを提供すること。【解決手段】処理デバイスは、放射状配置のソフト・キーパッドを含むユーザ・インターフェースを提供するように構成される。放射状配置のソフト・キーパッドは、中心領域および中心領域の周りに配置された１つまたは複数のキーの同心状のグループを含む。たとえば、１つまたは複数のキーの同心状のグループは、中心領域を本質的に取り囲む複数の同心円状のキーの行として配置することができ、同心円状の行のキーはすべて、放射状配置のソフト・キーパッドに同時に見ることができる。放射状配置のソフト・キーパッドは、処理デバイスに関連するディスプレイに例示的に提示され、ユーザは、イメージ・センサの視野の自由空間でハンド・ジェスチャを行うことによって、放射状配置のソフト・キーパッドと対話する。第１のタイプのジェスチャは、キーの選択を制御し、第２および第３のタイプのジェスチャは、選択されたキーの承認および拒否を制御する。【選択図】図１
2015005283.tif 000002
【特許請求の範囲】
【請求項１】
メモリに結合されたプロセッサを含む少なくとも１つの処理デバイス
を含み、
前記少なくとも１つ処理デバイスが、放射状配置のソフト・キーパッドを含むユーザ・インターフェースを提供するように構成され、
前記放射状配置のソフト・キーパッドが、中心領域および前記中心領域の周りに配置された１つまたは複数のキーの同心状のグループを含む、
装置。
【請求項２】
１つまたは複数のキーの同心状のグループが、中心領域を実質的に取り囲むそれぞれの同心円状のキーの行として配置される請求項１に記載の装置。
【請求項３】
前記放射状配置のソフト・キーパッドが、前記処理デバイスに関連するディスプレイに提示され、ユーザが、前記ディスプレイに物理的に接触することなく、イメージ・センサの視野の自由空間でハンド・ジェスチャを行うことによって、前記放射状配置のソフト・キーパッドと対話し、第１のタイプのジェスチャが、前記キーの所与の１つの選択を制御し、それぞれ第２のおよび第３のタイプのジェスチャが、前記選択されたキーのそれぞれの承認および拒否を制御する請求項１に記載の装置。
【請求項４】
前記第１のタイプのジェスチャを検出すると、前記対応する選択されたキーが、前記選択されたキーの追加のインスタンスが生成され、前記選択されたキーの最初のインスタンスの上に、ずらして部分的に重ね合わせられて強調表示される形で提示される請求項３に記載の装置。
【請求項５】
選択されたキーの承認を制御するジェスチャ、および選択されたキーの拒否を制御するジェスチャが、前記ディスプレイの面に直交する軸に沿った追加の動きを必要とすることなく、前記ディスプレイの面に本質的に平行な面の動き特性に基づいて検出される請求項３に記載の装置。
【請求項６】
前記中心領域に向かう選択されたキーの内向きの動きを指示するジェスチャの検出が、前記選択されたキーの承認を示し、前記中心領域から遠ざかる前記選択されたキーの外向きの動きを指示するジェスチャの検出が、選択されたキーの拒否を示し、前記中心領域に向かう、および前記中心領域から遠ざかる前記選択されたキーのそれぞれの内向きおよび外向き動きを指示するジェスチャが、それぞれフリック・ジェスチャを含む請求項１に記載の装置。
【請求項７】
前記放射状配置のソフト・キーパッドが、前記１つまたは複数のキーの同心状のグループから前記中心領域を分離する内側境界線および前記放射状配置のソフト・キーパッドの周囲領域から前記１つまたは複数のキーの同心状のグループを分離する外側境界線を含み、前記内側および外側の境界線の少なくとも１つが、ディスプレイに提示される前記放射状配置のソフト・キーパッドを表示するときに、ユーザに視覚的に知覚可能であり、前記内側境界線を通って前記中心領域に入る選択されたキーの内向きの動きを指示するジェスチャの検出が、前記選択されたキーの承認を示し、前記外側境界線を通って前記周囲領域に入る選択されたキーの外向きの動きを指示するジェスチャの検出が、前記選択されたキーの拒否を示す請求項１に記載の装置。
【請求項８】
前記放射状配置のソフト・キーパッドが、前記ユーザによって以前に選択されたキー承認に基づく１つまたは複数の予測された単語が可能なユーザ選択のために提示される周囲領域をさらに含み、前記１つまたは複数の予測された単語の選択された１つの承認が、前記中心領域に向かう前記選択された単語の内向きの動きを指示するジェスチャの検出に基づいて制御される請求項１に記載の装置。
【請求項９】
放射状配置のソフト・キーパッドを含むユーザ・インターフェースを生成することと、
前記放射状配置のソフト・キーパッドの特定のキーの動作を制御するユーザ入力を処理することと
を含み、
前記放射状配置のソフト・キーパッドは、中心領域および前記中心領域の周りに配置された１つまたは複数のキーの同心状のグループを含み、
メモリに結合されたプロセッサを含む少なくとも１つの処理デバイスに実装される方法。
【請求項１０】
複数のキーを含むユーザ・インターフェースを提供することと、
前記キーの選択された１つの作動を制御するために１つまたは複数のジェスチャを含むユーザ入力を処理することと
を含み、
第１の方向に選択されたキーの動きを指示する第１のジェスチャの検出は、前記選択されたキーの承認を示し、
前記第１の方向とは異なる第２の方向に前記選択されたキーの動きを指示する第２のジェスチャの検出は、前記選択されたキーの拒否を示し、
メモリに結合されたプロセッサを含む少なくとも１つの処理デバイスに実装される
方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、その開示全体が参照により本明細書に組み込まれている、２０１３年６月２０日に出願した米国仮特許出願第６１／８３７，６０４号の優先権を主張するものである。
【０００２】
一般的に、分野はユーザ・インターフェースに関し、より詳細には、ユーザ・インターフェースに情報を入力するため、あるいはユーザ・インターフェースと対話するための手法に関する。
【背景技術】
【０００３】
コンピュータ、テレビ、携帯電話、またはゲーム・システムなど、テキストまたは他の情報を処理デバイスまたはシステムに入力するために、多種多様な異なるユーザ・インターフェースが存在する。たとえば、一部の処理デバイスまたはシステムは、特定のハンド・ジェスチャを使用してユーザが情報を入力することを可能にするために、ジェスチャ認識（ＧＲ）機能を組み込んでいる。残念なことに、従来のＧＲベースのユーザ・インターフェースは、連続するテキスト文字の入力など、特定のタイプの情報入力には特に好適ではない。ＧＲベースのシステムにおけるテキスト入力のための可能な代替案は、従来のキーパッド、フロー・キーパッド（ｆｌｏｗ−ｋｅｙｐａｄ）、または音声からテキストへの変換を含むがそれらに限定されない。それにもかかわらず、他のタイプのデバイスおよびシステムとともに、ＧＲベースのシステムにおいてテキストおよび他の情報を入力する際に使用するのに好適な、より効率的なユーザ・インターフェースに対するニーズが存在する。
【発明の概要】
【課題を解決するための手段】
【０００４】
一実施形態では、メモリに結合されたプロセッサを含む処理デバイスは、放射状配置のソフト・キーパッドを含むユーザ・インターフェースを提供するように構成される。放射状配置のソフト・キーパッドは、中心領域および中心領域の周りに配置された１つまたは複数のキーの同心状のグループを含む。
【０００５】
例示を目的として、１つまたは複数のキーの同心状のグループは、中心領域を本質的に取り囲む複数の同心円状のキーの行として配置することができる。そのような配置では、同心円状の行のキーはすべて、放射状配置のソフト・キーパッドに同時に見ることができる。
【０００６】
一部の実施形態では、放射状配置のソフト・キーパッドは、処理デバイスに関連するディスプレイに提示され、ユーザは、ディスプレイに物理的に接触することなく、イメージ・センサの視野にある自由空間でハンド・ジェスチャを行うことによって、放射状配置のソフト・キーパッドと対話する。
【０００７】
放射状配置のソフト・キーパッドと対話するために、様々な異なるタイプのハンド・ジェスチャを使用することができる。たとえば、処理デバイスは、第１のタイプのジェスチャは、キーの選択を制御し、第２および第３のタイプのジェスチャは、選択したキーの承認および拒否を制御するように構成することができる。これらのジェスチャの少なくとも一部は、指し示す指を使用して行われる、それぞれのフリック・ジェスチャ（ｆｌｉｃｋ  ｇｅｓｔｕｒｅ）を含むことができる。
【図面の簡単な説明】
【０００８】
【図１】例示的な一実施形態において放射状配置のソフト・キーパッドを含むグラフィカル・ユーザ・インターフェースを持つ情報処理システムを示すブロック図である。
【図２】図１のシステムに実装された放射状配置のソフト・キーパッドの１つの可能な構成を示す図である。
【図３】図２の放射状配置のソフト・キーパッドの周囲領域から中心領域への予測された単語の動きを示す図である。
【図４】図２の放射状配置のソフト・キーパッドを介したテキスト入力に関連して使用できる代表的なユーザ・ジェスチャを示す図である。
【図５】図２の放射状配置のソフト・キーパッドに関連する処理動作を実行するために使用される少なくとも１つの処理デバイスの部分を示す図である。
【図６】図５の１つまたは複数の処理デバイス内のコントローラの動作を示す状態遷移図である。
【図７】他の例示的実施形態における放射状配置のソフト・キーパッドを含むグラフィカル・ユーザ・インターフェースを持つ情報処理システムを示すブロック図である。
【発明を実施するための形態】
【０００９】
本発明の実施形態について、ユーザ・ジェスチャまたは他の選択メカニズムを使用してテキストまたは他の情報を入力するためのユーザ・インターフェースを含む代表的な情報処理システムに関連して本明細書に示されるだろう。しかし、本発明の実施形態は、テキストまたは他の情報の効率的な入力のために改善されたユーザ・インターフェースを提供することが望ましい任意の処理システムまたはデバイスに、より一般的に適用可能であることを理解されたい。
【００１０】
したがって、本明細書に使用する「ソフト・キーパッド」という用語は、ユーザ・インターフェースの少なくとも一部を介して提示できる複数の作動可能なキーの多種多様な異なる配置をすべて包含するように広く解釈されることを意図するものである。キーは、テキスト文字の入力に限定されず、入力命令および他の制御情報を含む、ユーザ・インターフェースを介してデバイスまたはシステムに提供できる任意のタイプの入力情報の入力に、より一般的に適用することができる。
【００１１】
また、本明細書に使用する「キー」という用語は、したがって、文字、命令、およびコントロールの多種多様な異なる配置を包含するように広く解釈されることを意図するものである。キーは、ソフト・キーパッドを含まないユーザ・インターフェースの一部でもよく、代わりに、１つまたは複数のキーの他のタイプの配置を使用して実装される。
【００１２】
図１は、放射状配置のソフト・キーパッドを含むグラフィカル・ユーザ・インターフェースを持つ情報処理システム１００の一実施形態を示している。この実施形態におけるシステムは、ラップトップ型またはタブレット型のパーソナル・コンピュータ（ＰＣ）１０２、飛行時間（ＴＯＦ）イメージ・センサまたは赤−緑−青（ＲＧＢ）カラー・イメージ・センサ１０５、および壁かけ式モニタ１０６を含むＧＲベースのシステムの形をしている。ＧＲベースのシステムは、ユーザの手１１０によって行われる複数のジェスチャを認識するように構成される。ＴＯＦまたはＲＧＢセンサ１０５は、ユーザ・ジェスチャが検出されるジェスチャ検出視野（ＦＯＶ）１１１および壁かけ式モニタに関連する投影ＦＯＶ１１２を持つ。
【００１３】
本実施形態の投影ＦＯＶ１１２は、ユーザに見えるように、例示的には、センサ１０５に関連する投影デバイスを通じて、放射状配置のソフト・キーパッドが壁かけ式モニタ１０６に投影されるＦＯＶである。あるいは、そのような投影デバイスは、ラップトップ型またはタブレット型のＰＣ１０２に組み込むことができるか、または放射状配置のソフト・キーパッドは、ラップトップ型またはタブレット型のＰＣ１０２のディスプレイに直接的に表示することができ、その場合、壁かけ式モニタ１０６は排除することができる。
【００１４】
したがって、ＰＣ１０２、センサ１０５、および壁かけ式モニタ１０６の特定の配置は代表的なものを示しているだけであり、他の実施形態では、これらのコンポーネントまたは代替コンポーネントの他の配置を使用することができる。また、センサまたはＦＯＶの構成など、本実施形態の特性は、例示的に例を示すためのみに提示するものであり、いかなる方法においても限定するものとして解釈するべきでない。代替実施形態は、深度イメージャ（ｄｅｐｔｈ  ｉｍａｇｅｒ）、カメラ、または他の同様のデバイスに場合によっては実装される他のタイプのセンサを利用することができ、特定のＦＯＶは、所与の用途において特定のニーズを満たすために変更することができる。一例として、センサが、垂直方向のセンサの向きに対して約４５から９０度だけ回転するように、図１に示した垂直方向のセンサの向きを変更することができる。センサおよび関連するＦＯＶには多数の他の向きが可能である。
【００１５】
一部の実装における図１のシステム１００は、ビデオ・ゲーム・システム、またはユーザ・ジェスチャを認識するためにイメージを生成する他のタイプのＧＲベースのシステムを含む。しかし、本明細書に開示したユーザ・インターフェース手法は、消費者向けキオスクならびに他の非接触型ユーザ・インターフェースによるコンピュータ環境を含む、ジェスチャ・ベースのヒューマン・マシン・インターフェースを必要とする、多種多様な他のシステムで使用できるように構成することができる。さらに、これらの手法は、ジェスチャ認識以外の多数の用途で使用するために構成することができる。したがって、他の実施形態では、ユーザは、ワンド、目の凝視方向、またはキー選択、承認、および拒否を伝達する他の手段を使用して、キーパッドと対話することができる。システムの検出機能は、そのような非ＧＲベースの配置に対応するために、それに応じて変更されるだろうことを当業者は認識するだろう。
【００１６】
図１のシステムにおけるラップトップ型またはタブレット型のＰＣ１０２は、本明細書においてより一般的に「処理デバイス」と呼ぶものの一例である。携帯電話、ゲーム・システム・コンソール、消費者向けキオスク、および他のＧＲベースまたは非ＧＲベースのシステムに関連するデバイスを含む、多種多様な他のタイプの処理デバイスを使用することができる。システムは、他の要素だけでなく、１つまたは複数の処理デバイスを含むことができる。
【００１７】
図１には個別の要素として示しているが、他の実施形態のセンサ１０５は、関連する処理デバイスに少なくとも部分的に組み込むことができる。例を挙げると、ＰＣ１０２などのコンピュータは、センサ１０５を組み込むように構成することができる。また、その用語は本明細書で広く規定されているように、センサ自体を処理デバイスと考えてもよい。壁かけ式モニタ１０６は、対応する処理デバイスのモニタの一例と考えられる。そのようなモニタは、本明細書においてより一般的には「ディスプレイ」と呼ばれる。本明細書に開示するような放射状配置のソフト・キーパッドを提示するために、例を挙げると、図１の実施形態のラップトップ型またはタブレット型のＰＣ１０２のディスプレイ、または携帯電話もしくは他のタイプの処理デバイスのディスプレイなどを含む、他のタイプのモニタまたはディスプレイを使用することができる。
【００１８】
所与の処理デバイスは、一般的にメモリに結合されたプロセッサを含む。プロセッサは、対応するシステムの動作の少なくとも一部を指示するためにメモリに格納されたソフトウェア・コードを実行する。
【００１９】
処理デバイスは、ネットワークを通じて他のシステム要素との通信をサポートするネットワーク・インターフェースを含むことができるが、含む必要はない。一部の実施形態におけるそのようなネットワークは、インターネットなどのワイド・エリア・ネットワーク（ＷＡＮ）、ローカル・エリア・ネットワーク（ＬＡＮ）、セルラー・ネットワーク、または他のタイプのネットワーク、ならびに複数のネットワークの組み合わせを含むことができる。ネットワーク・インターフェースは、１つまたは複数の従来の送受信装置を使用して実装することができる。
【００２０】
プロセッサは、たとえば、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）、中央制御装置（ＣＰＵ）、論理演算ユニット（ＡＬＵ）、デジタル信号プロセッサ（ＤＳＰ）、または他の同様の処理デバイス・コンポーネント、ならびに任意の組み合わせの他のタイプおよび配置の処理回路を含むことができる。
【００２１】
メモリは、図５および図６に示すようなシステムの部分など、システムの機能の部分を実装する際に、プロセッサで実行するためのソフトウェア・コードを格納する。対応するプロセッサにより実行するためにソフトウェア・コードを格納する所与のそのようなメモリは、本明細書において、その中にコンピュータ・プログラム・コードが包含されたコンピュータ可読記憶媒体とより一般的に呼ばれるものの一例であり、たとえば、ランダム・アクセス・メモリ（ＲＡＭ）または読み取り専用メモリ（ＲＯＭ）などの電子メモリ、磁気メモリ、光メモリ、または任意の組み合わせの他のタイプの記憶デバイスを含むことができる。そのようなコンピュータ可読記憶媒体を含む製品（ａｒｔｉｃｌｅ  ｏｆ  ｍａｎｕｆａｃｔｕｒｅ）は、本発明の実施形態であると考えられる。
【００２２】
上記のように、所与の処理デバイスのプロセッサは、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、ＣＰＵ、ＡＬＵ、ＤＳＰ、または他のタイプの処理回路の部分または組み合わせを含むことができる。
【００２３】
したがって、本発明の実施形態は、集積回路の形で実装できることを理解されるだろう。そのような所与の集積回路の実装では、典型的には、半導体ウェーハの表面の繰り返しパターンに同一のダイが形成される。各ダイは、たとえば、本明細書に記述するような処理デバイスの少なくとも一部を含み、他の構造または回路をさらに含むことができる。個々のダイは、ウェーハから切断または切り出され、次に集積回路としてパッケージングされる。当業者は、集積回路を生成するために、ウェーハを切り出し、ダイをパッケージングする方法を知っているだろう。このように製造された集積回路は、本発明の実施形態であると考えられる。
【００２４】
ここでも、図１の情報処理システムの特定の構成は単に代表的なものであり、他の実施形態のシステムは、これらの特に示したものに加えて、またはその代わりに、そのようなシステムの従来の実装で一般的に見られるタイプの１つまたは複数の要素を含む、他の要素を含むことができる。たとえば、処理モジュールおよび他のコンポーネントの他の配置は、センサ、コンピュータ、およびモニタを実装するために使用することができる。したがって、図１の実施形態における複数の要素に関連する機能は、他の実施形態においては、より少数の要素へと組み合わせることができる。また、上記のように、センサ、コンピュータ、およびモニタなどのコンポーネントは、少なくとも部分的に所与の処理デバイスに組み合わせることができる。
【００２５】
すでに述べたように、図１のシステム１００は、システム内のテキスト入力のために、放射状配置のソフト・キーパッドおよび関連するＧＲベースの制御メカニズムを含むユーザ・インターフェースを実装する。図１に示すような実施形態では、放射状配置のソフト・キーパッドは、投影ＦＯＶ１１２を介して壁かけ式モニタ１０６に提示され、センサ１０５によって検出するためにジェスチャ検出ＦＯＶ１１１でハンド・ジェスチャを行うことによって、ユーザは放射状配置のソフト・キーパッドと対話する。しかし、上記のように、ユーザ・インターフェースは、他のタイプの情報を入力するために簡単な方法で構成することができ、したがって、説明のための特定の実施形態に示すテキスト入力の配置に限定されない。また、図１のシステムにおいて放射状配置のソフト・キーパッドを介して情報を入力するためにユーザ・ジェスチャが使用されるが、たとえば、ワンド・ベースまたは凝視ベースの選択メカニズムなど、放射状配置のソフト・キーパッドに関連する他のタイプの選択メカニズムを使用することが可能である。さらに、本発明の実施形態は、放射状配置のソフト・キーパッドを使用せずに実装することができる。したがって、本明細書に記述した様々な制御メカニズムは、必ずしも放射状配置のソフト・キーパッドを含まないユーザ・インターフェースに、より一般的に適用することができる。
【００２６】
図１のシステムでは、テキスト入力は、放射状配置のソフト・キーパッドおよび関連する選択メカニズムを含むユーザ・インターフェースを介して達成される。テキスト入力は、一部の実施形態では、文字予測および単語予測機能を用いて強化される。
【００２７】
明白になるであろうように、説明のための実施形態において放射状配置のソフト・キーパッドおよび関連する文字選択メカニズムを使用することで、多種多様な他のタイプのシステムおよびデバイスだけでなく、ＧＲベースのシステムにおいて改善されたテキスト入力が提供される。たとえば、放射状配置のソフト・キーパッドは、文字配置、文字ごとの動きの選択、毎分の文字数、毎分の単語数、およびエラー率などの要素において拡張された文字指向のテキスト入力を提供するように構成することができる。
【００２８】
図２は、一実施形態における図１のシステムのユーザ・インターフェースに実装された放射状配置のソフト・キーパッド２００の例を示している。本実施形態では、キーは、中心領域２０２の周りに放射状にレイアウトされている。ソフト・キーパッドを用いるユーザ対話は、キーの所与の１つの上にカーソルの位置を決めるために、角運動（ａｎｇｕｌａｒ  ｍｏｔｉｏｎ）または並進運動（ｔｒａｎｓｌａｔｉｏｎａｌ  ｍｏｔｉｏｎ）を用いる指さし型ジェスチャの使用を含む。中心領域２０２は、また、本明細書に記載の一部の実施形態の文脈では「中央領域」と呼ばれる。
【００２９】
本実施形態のキー選択は、キー位置に対するカーソルの動きに基づく収束基準を使用して自動的に発生するため、キーを選択するための突く動作など、追加のジェスチャの動きの必要がなくなる。
【００３０】
本発明の実施形態は、場合によっては以前のユーザ入力に関する履歴データに基づいて、複数のキーのどれが意図した選択である可能性が最も高いかを明確にするためのロジックを組み込むことができる。そのようなロジックは、自由空間で手の動きを使用する文字の選択を支援する際に有益な強化策となる可能性がある。
【００３１】
選択されたキーの承認は、中心領域に向けて、および中心領域を通過してシャドウ・キー（ｓｈａｄｏｗｋｅｙ）をドラッグする角運動または並進運動を含む。
【００３２】
選択されたキーの拒否は、中心領域から離れるようにキーパッドの外部の円形境界の外に向かう他の角運動または並進運動を含む。
【００３３】
熟練したユーザにとって、放射状配置のソフト・キーパッド２００を使用するタイピング・プロセスは、角運動を用いる指さしジェスチャのみを使用する流体運動に近づく。角または並進の指さしの動きを含む同様のキー選択メカニズムが、キーパッドの外部右側の境界の外に配置される予測された単語の選択、承認、および拒否に使用される。
【００３４】
図２に示すような放射状配置のソフト・キーパッド２００は、図１のシステム内のグラフィカル・ユーザ・インターフェースに提示される。たとえば、それはグラフィカル・ユーザ・インターフェースにおいてデスクトップまたはアプリケーションに重ね合わせる形でもよい。上記のように、図１のシステムのユーザ・インターフェースは、壁かけ式モニタ１０６に提示されるが、他の実施形態では、ＰＣ１０２のディスプレイ、または携帯電話、テレビ受像機、または他の処理デバイスもしくはシステムのディスプレイなど、他のディスプレイに提示することができる。
【００３５】
図２に示すように、代表的なキーパッド２００は、キーの内側行およびキーの外側行を含む。キーの内側行および外側行は、中心領域２０２の周りに配置されたキーの「同心状のグループ」と本明細書においてより一般的に呼ばれるものの例である。また、本実施形態では、キーの同心状のグループのキーはすべて、放射状配置のソフト・キーパッド２００に同時に見ることができる。より詳細には、同心円状の行が４つの象限へと分割されていると見なされる場合、４つの象限はすべてそれらの全体が同時に表示される。他の実施形態では、他のタイプの同心状のグループを使用することができる。キーの外側行を超えたキーパッド２００の部分は、他の周囲領域と同様に周囲領域２０４を含む。
【００３６】
図２の代表的な放射状配置のソフト・キーパッドでは、キーの同心状のグループは、より詳細には、中心領域２０２を実質的に取り囲むそれぞれの同心円状のキーの行として配置される。本明細書に使用する「実質的に取り囲む」という用語は、中心領域２０２の半分以上を取り囲むことを含む配置を包含することを意図する。したがって、図２の実施形態では、キーのその行は中心領域２０２を完全に取り囲むとは限らないが、キーの内側行は本質的に中心領域２０２を取り囲む。キーの外側行は、また、中心領域２０２を本質的に取り囲み、より詳細には、中心領域２０２を完全に取り囲む。ただし、右下のより暗く影を付けたキーは、外側行の他のキーよりサイズが大きいことに注意されたい。この実施形態では、より暗く影を付けたキーは、例示的には、キーの外側行の部分と考えられる。
【００３７】
他の実施形態では、正方形、楕円形、または他の形状の同心配置など、代替的な同心状のグループを使用することができる。この文脈で使用される「同心状」という用語は、図２に示し上記したタイプの部分的に取り囲む配置を包含するものと理解されたい。
【００３８】
図２の実施形態における２つの同心円状のキーの行は、完全な英語のアルファベットを表すキーに加えて、複数の追加的な記号または機能を収容するために十分なキー・スペースを提供する。このキー配置は、１つの可能なモードに対応し、他のモードは、大文字、数字など、代替キーの組を含むことができる。
【００３９】
すべての動作モードで固定された割り当てを用いるキーのサブセットを例示的に提示している。キーパッド２００では、キーのこのサブセットは、右下に示したより暗く影を付けたキーを含み、スペースおよびバックスペース（ＢＫ）を含む共通の非英数字および機能を含むが、これらに限定されない。これらのキーのサイズは、他のキーのサイズに比例して拡大され、異なるシェーディングが使用される。より頻繁に選択されることが予測されることを反映している。拡大されたキー・サイズおよび他とは異なるシェーディングの使用により、自由空間における手の動きを使用するそれらのキーの選択が促進される。
【００４０】
モードごとに固定された割り当てを用いて例示的に構成されるキーパッド２００の１つまたは複数のキーは、また、過去のユーザ対話、外部状況もしくは他の要素、またはそれらの組み合わせに基づいて、一時的な動的な再割り当てをサポートすることができる。一実施形態では、これらのキーは特定の象限に位置し、動的に割り当てられた記号または他の特徴を示すために、他とは異なるシェーディング、サイズ、または他の特性（複数可）を利用し、それによって、これらのキーが他のキーと比べて特殊な価値を持っていることをユーザに伝える。
【００４１】
上記のように、放射状配置のソフト・キーパッド２００は、壁かけ式モニタ１０６などのディスプレイに提示され、ユーザは、ディスプレイに物理的に接触することなく、イメージ・センサ１０５の視野１１１にある自由空間でハンド・ジェスチャを行うことによって、放射状配置のソフト・キーパッドと対話する。
【００４２】
一部の実施形態では、第１のタイプのジェスチャは、キーの所与の１つの選択を制御し、それぞれ第２のおよび第３のタイプのジェスチャは、選択されたキーのそれぞれの承認および拒否を制御する。
【００４３】
したがって、たとえば、図２を参照すると、ユーザは、第１のタイプのジェスチャを使用して、図に示すような文字「ｒ」に対応するキーなど、特定のキーを選択する。第１のタイプのジェスチャを検出すると、選択されたキーに対応するキーパッドの部分は、強調表示された形で提示される。
【００４４】
ユーザが「ｇｅｓｔｕｒｅ（ジェスチャ）」という単語をタイプしようと試みるときに、小文字「ｒ」に対応する特定のキーが選択される。以前のキー選択および承認によってすでにタイプされた単語の一部が、「ｇｅｓｔｕ」として中心領域２０２に示される。
【００４５】
図２の選択されたキー「ｒ」について示すように、本実施形態における強調表示された形は、選択されたキーの最初のインスタンスの上に、ずらして部分的に重ね合わせられた選択されたキーの追加のインスタンスを含む。これは、また、本明細書において選択されたキーの「シャドウ・キー」表示として呼ばれるものの一例である。
【００４６】
一部の実施形態では、選択されたキーの承認を制御するジェスチャ、および選択されたキーの拒否を制御するジェスチャは、ディスプレイの面に直交する軸に沿った追加の動きの必要とすることなく、ディスプレイの面に本質的に平行な面の動き特性に基づいて検出される。
【００４７】
たとえば、図２の実施形態の中心領域２０２に向かう選択されたキーの内向きの動きを指示するジェスチャの検出は、選択されたキーの承認を示し、中心領域２０２から遠ざかる選択されたキーの外向きの動きを指示するジェスチャの検出は、選択されたキーの拒否を示している。これらの承認および拒否のジェスチャは、たとえば、素早く上向き（flick up）、素早く下向き（flick down）、素早く左（flick left）、素早く右（flick right）など、指し示す指を使用して行われるそれぞれのフリック・ジェスチャを含むことができる。そのようなフリック・ジェスチャは、より一般的に「指さし」ジェスチャとして本明細書で呼ぶものの例である。追加的に、または代替として、任意の組み合わせの他のタイプのフリック・ジェスチャを使用することができる。
【００４８】
したがって、図２の実施形態の選択されたキーの承認または拒否は、ディスプレイ面に直交する軸に沿って、追加の圧迫または突く動きを必要としないため、特定のキーを作動させるのに必要な直交する動きを減らすことができる。
【００４９】
したがって、放射状配置のソフト・キーパッド２００は、それぞれキーの選択を承認する、またはキーの選択を拒否するために、中心領域２０２に向けて、または中心領域２０２から離れるように、自由空間において高速な手を中心とする角度のあるジェスチャの動きの使用をサポートする。たとえば、自由空間の角運動または絶対運動は、それぞれキー選択の承認またはキー選択の拒否のために、中心領域２０２内、または周囲領域２０４など周囲領域内のどちらかにおいて、選択されたキーの「ドラッグ」あるいは位置を決めるために使用することができる。上記のフリック・ジェスチャを区別する動き特性は、たとえば、運動速度および加速を含む。
【００５０】
図２に示すような放射状配置のソフト・キーパッド２００は、同心円状のキーの行から中心領域２０２を分離する内側境界線２１０および放射状配置のソフト・キーパッドの周囲領域から同心円状のキーの行を分離する外側境界線２１２を含む。内側および外側の境界線２１０および２１２の少なくとも１つは、ディスプレイに提示される放射状配置のソフト・キーパッドを表示するときに、ユーザに視覚的に知覚可能になる。本実施形態では、境界２１０および２１２の両方は、ユーザに見えるものと想定され、それぞれの破線円の形でディスプレイに提示される。他の実施形態では、選択されたキーのそれぞれの承認または拒否のために対応する領域の実用性を強めるために、内側および外側の境界線の他のタイプの注釈を使用することができる。
【００５１】
一部の実施形態では、システムは、内側境界線２１０を通って中心領域２０２に入る選択されたキーの内向きの動きを指示するジェスチャの検出が選択されたキーの承認を示し、外側境界線２１２を通って周囲領域２０４など周囲領域に入る選択されたキーの外向きの動きを指示するジェスチャの検出が選択されたキーの拒否を示すように構成される。
【００５２】
キーパッド２００の周囲領域２０４は、ユーザによって以前に選択されたキー承認に基づいて予測された単語を提示するため、ユーザは、所与の単語の残りをタイプする代わりに予測された単語の１つを選択することができる。したがって、たとえば、図２の例におけるユーザは、対応する文字の個々の選択および承認によって部分的な単語「ｇｅｓｔｕ」をタイプしたものと想定される。示されるように、ユーザはまた文字「ｒ」に対応するキーを選択した。しかし、現在の単語のタイピングを継続するために選択された文字「ｒ」を承認するのではなく、ユーザは、代わりに、周囲領域２０４に提示された予測された単語の対応する１つを選択することができる。予測された単語を生成するために、多種多様な異なる単語予測アルゴリズムを使用することができる。
【００５３】
図２に示すようなキーパッド２００では、小文字「ｒ」に対応するキーを選択すると、「ｇｅｓｔｕｒｅ」、「ｇｅｓｔｕｒｅｄ」、「ｇｅｓｔｕｒｅｓ」、および「ｇｅｓｔｕｒｉｎｇ」を含む複数の予測された単語が、示されるような外側の領域に現れる。予測された単語の１つの選択および承認は、特定のキーを選択および承認するために使用されるのと同様のジェスチャによって制御することができる。より詳細には、選択ジェスチャを使用して予測された単語の特定の１つを選択した後、選択された予測された単語の承認は、中心領域２０２に向けて選択された単語の動きを指示するジェスチャの検出に基づいて制御される。したがって、上に示したように、ユーザは、動きに基づく承認または拒否に続いて、動きに基づく選択を使用して、予測された単語の１つを選択する。たとえば、図３に示すように、ユーザは、承認のために、選択された単語「ｇｅｓｔｕｒｅ」を中心領域に移行させる。
【００５４】
すでに述べたように、本実施形態のキーパッド２００は、４つの象限を含むものと見なすことができ、キーの内側および外側の行は、第１、第２、および第３の象限に本質的に及ぶ。第４の象限は、キーの２行のうち１行だけの部分を含む。これらの第４の象限のキーは、上記のように、図において強調するために影が付けられ、「記号文字」もしく「非英数字」、または単に「記号」と本明細書で呼ばれる、スペース、ＢＫ、＠、および様々な句読点を含む共通のテキスト文字を描写する。少なくとも第１および第２の象限の部分において、キーの内側行は、示されるような追加的なテキスト文字を描写する。これらおよび他の文字は、文字予測アルゴリズムを使用して確立された、予測された文字と組み合わせることができる。
【００５５】
図２で示すようなキーパッド２００は、主要な英字の小文字を提供する第１のモードで構成されることが想定されるが、たとえば英字の大文字モード、記号モード、および数字モードなど、複数の追加的なモードに選択的に配置することができる。多数のモードの他のタイプおよび組み合わせを使用することができる。ユーザは、たとえば、スワイプアップ（swipe-up）の動きまたはスワイプダウン（swipe-down）の動きを含むジェスチャを使用して、これらおよび場合によっては追加的または代替のモード間でキーパッドを移行させるが、イメージ・センサ１０５のＦＯＶ１１１内における自由空間での他の手を中心とするジェスチャの動きを使用することができる。文字予測は過去の入力に基づいて更新され、予測された文字を描写するときに、対応するキーは強調のために影が付けられる。
【００５６】
キーパッド２００は、システム１００のグラフィカル・ユーザ・インターフェースに任意に配置することができ、ユーザ・インターフェース内において任意に拡大縮小するためのサポートを含む。角または並進の手首動作を用いる指さしジェスチャは、キーパッドとのユーザ対話の主要なメカニズムである。キー選択は、具体的には、キーパッド上における複数の加重移動平均を監視することから得られるカーソルの動きに基づいている。選択時に、図２の文字「ｒ」について示すように、選択されたキーのシャドウ・キー表示がカーソルの下に描写される。ユーザは、キーパッドの中心領域に向けて、およびキーパッドの中心領域を通過してカーソルおよびシャドウ・キーをドラッグすることによって選択を承認する。ユーザは、キーパッドの外側境界線の外側にカーソルおよびシャドウ・キーをドラッグすることによって選択を拒否する。
【００５７】
上記のように、単語の選択は文字の選択に類似しており、動きに基づく承認または拒否に続く動きに基づく選択を含む。
【００５８】
図２に示すようなアルファベットおよび記号文字の特定の配置は、例示のみを目的として提示している。本明細書に開示するようなソフト・キーパッドとして、多数の他のタイプの放射状の配置を使用することができる。「放射状配置」という用語は、したがって、中心領域の周りの１つまたは複数の行に複数の選択可能なキーが配置されたキーパッド配置を含むものなどと広く解釈されることを意図するものである。
【００５９】
他の実施形態は、多種多様な他のソフト・キーパッドの配置、またはより一般的には他のユーザ・インターフェースを使用して実装することができる。したがって、本発明の実施形態は、上に記述したタイプの放射状配置またはソフト・キーパッドとともに使用することに限定されない。
【００６０】
以前に記述したように、キーはテキスト文字に対応している必要はなく、その代わりに、所与のシステム内において他のタイプの選択可能なコマンドまたはコントロールを表してもよい。たとえば、キーは、動作を直接的に呼び出すため、放射状配置の中心領域の基礎となるユーザ・インターフェース要素で動作を呼び出すため、または動作モードを選択するために、所与のシステムで選択することができる。後者のモード選択のより具体的な例は、アプリケーション特有のツールボックスから特定のツールを選択することを含むことができる。
【００６１】
また、キー選択に続く承認および拒否の他の定義を使用することができる。たとえば、選択されたキーの承認または拒否のために使用される特定の領域は、任意の配置に配置することができるか、またはキー選択の承認または拒否に対して特定のジェスチャを割り当てることができる。後者のタイプの配置を示すより具体的な例として、角運動の速さに依存して承認または拒否するために、指さしに基づくスワイプとして分類可能な急な角度の指さしの動きを使用することができる。その用語が本明細書で広く使用されるように、そのようなジェスチャはフリック・ジェスチャのタイプと考えることができる。
【００６２】
角または並進の手首動作を用いる指さしジェスチャは、図２の例示的実施形態におけるキーパッドとのユーザ対話における可能な１つのメカニズムであることを上に記述した。図２のキーパッドを使用するのに適した指さしジェスチャの静的な姿勢の一例を図４に示している。しかし、他のタイプの動きだけでなく多数の他のユーザ・ジェスチャを、本明細書に開示するような１つまたは複数のキーを含む放射状配置のソフト・キーパッドまたは他のユーザ・インターフェースのＧＲベースの実施形態で使用できることを理解されるだろう。ここでも、ジェスチャ認識は必須ではなく、他のシステムは、ワンド・ベース、凝視ベース、または他の選択メカニズムに基づいていてもよい。
【００６３】
図５は、図２の放射状配置のソフト・キーパッドに関連する処理動作を実行するために使用される少なくとも１つの処理デバイスの部分を示す。この実施形態に示す各種の処理ブロックは、メモリに結合されたプロセッサを含む少なくとも１つの処理デバイスに実装されるものと想定される。たとえば、その用語が広く本明細書で使用される所与の処理デバイスは、センサ１０５およびＰＣ１０２など、所与の実施形態においてセンサおよび関連するコンピュータの両方を含むことができる。あるいは、センサおよびコンピュータは、場合によっては追加的な処理デバイスにも結合されたネットワークを通じて互いに通信する個別の処理デバイスとして実装することができる。
【００６４】
図５の実施形態では、ＧＲベースのシステム５００は、ジェスチャ前処理モジュール５１０に未加工の像を提供するＴＯＦまたはＲＧＢのセンサ５０２を含む。前処理モジュール５１０は、分類器と呼ばれるジェスチャ分類モジュール５１２に入力される洗練された像を生成する。ジェスチャ分類モジュール５１２は、洗練された像からジェスチャ記述子を生成し、結果として得られるジェスチャ記述子および関連する洗練された像をジェスチャ後処理モジュール５１４に提供する。ジェスチャ分類モジュール５１２の洗練された像は出力時に、洗練された像に対してモジュール５１２によって入力時にさらに洗練することができる。
【００６５】
後処理モジュール５１４は、その出力時に、指さしデータまたは関連する位置メタデータを持つ他の同様のデータを例示的に含む分類アウトプットのサブセットを提供する。分類アウトプットのこのサブセットは、指さしの動きフィルタ５１６でさらに処理され、その出力として、関連するＯＳ／ＳＤＫ５２０を持つオペレーティング・システム（ＯＳ）特有のカーソル・コントローラ５１８に提供される、１つまたは複数のフィルタされた動きから導き出された信号を生成する。ここで、ＳＤＫは、ソフトウェア開発キットを示し、１つまたは複数のアプリケーション処理インターフェース（ＡＰＩ）を含むことができる。
【００６６】
ＯＳ／ＳＤＫ５２０は、放射状配置のソフト・キーパッド２００に関係するユーザ・インターフェース・イベント・メッセージを含む関連するメタデータだけでなく、カーソル位置情報の発信のためにＯＳ特有のＡＰＩを提供する。イベント・メッセージは、たとえば、カーソル−エンター−キー・イベント（ｃｕｒｓｏｒ−ｅｎｔｅｒ−ｋｅｙ  ｅｖｅｎｔ）、カーソル−オーバー−キー・イベント（ｃｕｒｓｏｒ−ｏｖｅｒ−ｋｅｙ  ｅｖｅｎｔ）、カーソル−リーブ−キー・イベント（ｃｕｒｓｏｒ−ｌｅａｖｅ−ｋｅｙ  ｅｖｅｎｔ）などを含む。
【００６７】
本実施形態の図５のソフト・キーパッド・コントローラ５２２は、図６に示す状態遷移図６００に従って動作することが想定される。本実施形態における対応するステート・マシンは、以下の状態を含む。
ＤＩＳＡＢＬＥＤ
ＥＮＡＢＬＥＤ
ＥＮＡＢＬＥＤＷ＿ＫＥＹ＿ＳＥＬ
ＥＮＡＢＬＥＤＷ＿ＫＥＹ＿ＳＥＬ＿ＯＵＴＥＲ
ＥＮＡＢＬＥＤＷ＿ＫＥＹ＿ＳＥＬ＿ＯＫ
ＥＮＡＢＬＥＤＷ＿ＫＥＹ＿ＳＥＬ＿ＣＡＮＣＥＬ
【００６８】
上記の状態の名前において、「Ｗ」は「ｗｉｔｈ」という単語を示し、「ＳＥＬ」は「ｓｅｌｅｃｔｉｏｎ」という単語を示す。ＤＩＳＡＢＬＥＤ状態は、状態遷移図６００に明示的に示していないが、一般的に、放射状配置のソフト・キーパッド２００がアクティブでない状態であり、したがって、ジェスチャ入力を処理する際に使用できないことを示している。上に記載した５つの個別のＥＮＡＢＬＥＤ状態は、状態遷移図６００に示しており、参照番号６０２、６０４、６０６、６０８、および６１０によってそれぞれ示している。
【００６９】
状態遷移図６００に示すように、放射状配置のソフト・キーパッド２００がアクティブで、ユーザからのジェスチャ入力を処理する際に使用するために利用可能なＥＮＡＢＬＥＤ状態６０２から、特定のキーの選択により、ステート・マシンをＥＮＡＢＬＥＤＷ＿ＫＥＹ＿ＳＥＬ状態６０４に移行させ、外側境界線２１２の外部の周囲領域２０４表示される特定の単語の選択により、ステート・マシンをＥＮＡＢＬＥＤ  Ｗ＿ＫＥＹ＿ＳＥＬ＿ＯＵＴＥＲ状態６０６に移行させる。
【００７０】
ＥＮＡＢＬＥＤ  Ｗ＿ＫＥＹ＿ＳＥＬ状態６０４から、選択されたキーのドラッグおよび中心領域２０２内の収束を示すジェスチャ・ベースの入力の検出により、ステート・マシンはＥＮＡＢＬＥＤ  Ｗ＿ＫＥＹ＿ＳＥＬ＿ＯＫ状態６０８に移行されるため、選択されたキーが承認される。
【００７１】
またＥＮＡＢＬＥＤ  Ｗ＿ＫＥＹ＿ＳＥＬ状態６０４から、選択されたキーのドラッグおよび外側境界線２１２を超えた収束を示すジェスチャ・ベースの入力の検出により、ステート・マシンは、ＥＮＡＢＬＥＤ  Ｗ＿ＫＥＹ＿ＳＥＬ  ＣＡＮＣＥＬ状態６１０に移行するため、選択されたキーが拒否される。
【００７２】
ＥＮＡＢＬＥＤ  Ｗ＿ＫＥＹ＿ＳＥＬ＿ＯＵＴＥＲ状態６０６から、周囲領域２０４を超えて十分に遠い「境界外」に選択された単語をドラッグすることを示すジェスチャ・ベースの入力の検出により、ステート・マシンは、ＥＮＡＢＬＥＤ  Ｗ＿ＫＥＹ＿ＳＥＬ＿ＣＡＮＣＥＬ状態６１０に移行するため、選択された単語は拒否される。
【００７３】
またＥＮＡＢＬＥＤ  Ｗ＿ＫＥＹ＿ＳＥＬ＿ＯＵＴＥＲ状態６０６から、外側境界線２１２内に選択された単語をドラッグすることを示すジェスチャ・ベースの入力の検出により、ステート・マシンは、ＥＮＡＢＬＥＤ  Ｗ＿ＫＥＹ＿ＳＥＬ状態６０４に移行し、そこでさらに中心領域２０２内でのドラッグおよび収束により、ＥＮＡＢＬＥＤ  Ｗ＿ＫＥＹ＿ＳＥＬ＿ＯＫ状態６０８に移行するため、選択された単語が承認される。選択された単語は、また、外側境界線２１２を超えてさらにドラッグおよび収束させることによって、ＥＮＡＢＬＥＤ  Ｗ＿ＫＥＹ＿ＳＥＬ＿ＣＡＮＣＥＬ状態６１０に移行させることで、ＥＮＡＢＬＥＤ  Ｗ＿ＫＥＹ＿ＳＥＬ状態６０４から拒否することができる。
【００７４】
状態６０８における選択されたキーまたは単語の承認またはステップ６１０における選択されたキーまたは単語の拒否の後に、選択−承認または選択−拒否の連続するインスタンスの間に指定された「不感時間」を提供するタイマーが作動される。状態６０８または状態６１０において不感時間の期限が切れた後に、示すようにステート・マシンは状態６０２に戻る。
【００７５】
図６に示し上に記述した特定の状態は、単に代表を示すものであり、他の実施形態では、多数の他のタイプの、状態に基づいた制御を使用できることを理解されたい。
【００７６】
また、図５および図６に関連して上に記述した特定のコンポーネント、動作、および他の機能は、例示のみを目的として提示するものであり、本発明の他の実施形態は、本明細書に開示したタイプのユーザ・インターフェースを提供するために、他のタイプおよび配置の処理デバイス・コンポーネント、動作、および他の機能を利用することができる。
【００７７】
一部の実施形態では、光学文字認識（ＯＣＲ）機能のサポートを提供することができる。たとえば、放射状配置のソフト・キーパッドの中心領域は、ＯＣＲをサポートするように構成することができる。このタイプの可能な配置の１つでは、中心領域に文字を「書く」ために、ユーザの指さしに基づくカーソルを使用し、ＯＣＲアルゴリズムへの入力に役立つ履歴位置データのベクトルを得ることができる。このプロセスは、中心領域に書かれた一連の文字をサポートするように拡張することができる。放射状配置のソフト・キーパッドおよび関連する選択メカニズムは、ＯＣＲアルゴリズムを介して分類可能でないテキスト文字の誤り修正または選択のためのメカニズムを提供することによって、ＯＣＲ機能を拡張する。
【００７８】
本発明の所与の実施形態は、個々の文字を分割するために１つまたは複数の追加的な処理動作を使用して、上に記述したタイプのＯＣＲ機能を実装することができる。たとえば、履歴位置データのベクトルは文字間の「ペンの持ち上げ」を示さず、時間で分離された重ね合わせられた文字を含む可能性を考慮して、余白または他の特徴を使用して個々の文字を分割するように、ＯＣＲ分類器を構成することができる。
【００７９】
ここで図７を参照すると、放射状配置のソフト・キーパッドを含むグラフィカル・ユーザ・インターフェースが持つ情報処理システム７００の他の例示的実施形態が示されている。図１の実施形態と同様に、この実施形態は、図２の放射状配置のソフト・キーパッド２００を含むグラフィカル・ユーザ・インターフェースをサポートするためにジェスチャ認識を利用する。
【００８０】
情報処理システム７００は、ネットワーク７０４およびイメージ・センサ７０５と通信するように構成されたイメージ・プロセッサ７０２を含む。イメージ・プロセッサ７０２は、ネットワーク７０４を介して、複数の処理デバイス７０６−１、７０６−２・・・７０６−Ｍに結合される。イメージ・プロセッサ７０２は、ＧＲベースのシステム７１０内に認識サブシステム７０８を実装する。本実施形態のＧＲベースのシステム７１０は、イメージ・センサ７０５からの入力イメージを処理し、対応するＧＲベースの出力を生成する。ＧＲベースの出力は、ＧＲベースのシステム７１０内で利用するか、または処理デバイス７０６の１つまたは複数、もしくはこの図には特に示していない他のシステム・コンポーネントに供給することができる。放射状配置のソフト・キーパッド２００は、処理デバイス７０６の１つに関連するディスプレイに例示的に提示されるが、イメージ・プロセッサ７０２を実装する処理デバイスに関連するディスプレイに代替的に提示することもできる。
【００８１】
ＧＲベースのシステム７１０の認識サブシステム７０８は、より詳細には、静的なジェスチャ認識モジュール７１４および動的なジェスチャ認識モジュール７１５を含む。カーソル・ジェスチャを認識するように構成された認識モジュールなど、追加的な認識モジュールを含めることができる。
【００８２】
認識サブシステム７０８は、追加的なサブシステム７１６から入力を受信し、これは、たとえば、入力フレームの取得、ノイズ削減、バックグラウンドの予測および削除、または他のタイプの前処理のための機能モジュールなど、ＧＲベースのシステム７１０のジェスチャ認識に関連する機能モジュールを実装するように構成された１つまたは複数のイメージ処理サブシステムを例示的に含む。一部の実施形態では、バックグラウンド予測および削除のブロックは、前処理モジュールがイメージに適用された後に入力イメージに適用される個別のサブシステムとして実装される。
【００８３】
しかし、これらの特定の機能モジュールは単に代表的なものであり、本発明の他の実施形態は、追加または代替の機能モジュールの他の配置を使用して構成できることを理解されるだろう。
【００８４】
図７の実施形態では、認識サブシステム７０８は、１組のＧＲアプリケーション７１８の１つまたは複数によって消費するためにＧＲイベントを生成する。アプリケーション７１８の所与の１つは、場合によっては処理デバイス７０６の１つに関連して、図２の放射状配置のソフト・キーパッド２００をサポートするアプリケーションであると想定される。たとえば、ＧＲイベントは、１つまたは複数の入力イメージ・フレーム内の１つまたは複数の特定のジェスチャの認識を示す情報を含むことができるため、１組のＧＲアプリケーション７１８の所与のＧＲアプリケーションは、その情報をそのアプリケーションによって実行される特定のコマンドまたは１組のコマンドに変換することができる。したがって、認識サブシステム７０８は、イメージ内において、指定されたジェスチャ・ボキャブラリからジェスチャを認識し、アプリケーション７１８の１つまたは複数に伝達するために、対応するジェスチャ・パターン識別子（ＩＤ）、および場合によっては追加的な関係するパラメータを生成する。そのような情報の構成は、アプリケーションの特定のニーズに従って構成される。
【００８５】
加えて、またはあるいは、ＧＲベースのシステム７１０は、処理デバイス７０６の１つまたは複数へのＧＲベースの出力として、場合によってはＧＲアプリケーション７１８の１つまたは複数によって生成された、ＧＲイベントまたは他の情報を提供することができる。他の実施形態では、１組のＧＲアプリケーション７１８の少なくとも一部は、処理デバイス７０６の１つまたは複数に少なくとも部分的に実装される。
【００８６】
ＧＲベースのシステム７１０の部分は、イメージ・プロセッサ７０２の個別の処理レイヤを使用して実装することができる。これらの処理レイヤは、より一般的にはイメージ・プロセッサ７０２の「イメージ処理回路」と本明細書で呼ばれるものの少なくとも一部を含む。たとえば、イメージ・プロセッサ７０２は、前処理モジュールを実装する前処理レイヤおよびイメージ・センサ７０５からの入力イメージ・ストリームのフレーム内においてジェスチャの認識に関連する他の機能を実行するための複数のより高い処理レイヤを含むことができる。そのような処理レイヤは、また、ＧＲベースのシステム７１０のそれぞれのサブシステムの形で実装することができる。
【００８７】
しかし、本発明のＧＲベースの実施形態は、静的または動的なハンド・ジェスチャの認識に限定されず、代わりに、ジェスチャ認識を含む多種多様な他のマシン・ビジョン・アプリケーションで使用するために構成することができ、異なる数、タイプ、および配置のモジュール、サブシステム、処理レイヤ、および関連する機能ブロックを含むことができることを理解されるだろう。
【００８８】
たとえば、すでに述べたように、本発明の実施形態は、他のタイプのユーザ・インターフェースに関連して、場合によってはフリック・ジェスチャまたは上に記述したタイプの他のジェスチャを使用して、放射状配置のソフト・キーパッドなしで実装することができる。放射状配置のソフト・キーパッドのない一部の配置では、コントロール（複数可）の近くにジェスチャに制御されるカーソルを移動して、コントロール（複数可）をカーソルに「くっつかせ」、次にコントロール（複数可）を承認または拒否するために、素早く上向きまたは素早く下向きのジェスチャを利用することによって、所与のユーザ・インターフェースに関連する単一のコントロールまたはコントロールのグループを作動させることができる。
【００８９】
また、本実施形態のイメージ・プロセッサ７０２に関連する特定の処理動作は、代わりに、他の実施形態の他のデバイスに少なくとも部分的に実装することができる。たとえば、前処理動作は、イメージ・センサ７０５に少なくとも部分的に実装することができる。また、アプリケーション７１８の１つまたは複数は、処理デバイス７０６の１つなど、サブシステム７０８および７１６とは異なる処理デバイスに実装することも可能である。
【００９０】
さらに、イメージ・プロセッサ７０２自体は、複数の個別の処理デバイスを含むことができるため、ＧＲベースのシステム７１０の異なる部分は、２つ以上の処理デバイスを使用して実装されることを理解されるだろう。本明細書で使用する「イメージ・プロセッサ」という用語は、これらおよび他の配置を包含するように広く解釈されることを意図するものである。
【００９１】
また、イメージ・プロセッサ７０２は、共通の処理デバイスのイメージ・センサ７０５と少なくとも部分的に組み合わせることができることを理解されるだろう。
【００９２】
本実施形態では、イメージ・プロセッサ７０２のＧＲベースのシステム７１０は、ハンド・ジェスチャを認識するように構成されるが、本実施形態は、他のタイプのジェスチャ認識処理を用いて使用するために簡単な方法で構成することができる。
【００９３】
図７の実施形態におけるイメージ・プロセッサ７０２に示すサブシステム、アプリケーション、および他のコンポーネントの特定の配置は、他の実施形態では変えることができる。たとえば、他の場合には従来のイメージ処理用集積回路または本明細書に開示するような処理動作を実行するために適切に変更された他のタイプのイメージ処理回路は、イメージ・プロセッサ７０２のコンポーネント７１４、７１５、７１６、および７１８の１つまたは複数の少なくとも一部を実装するために使用することができる。本発明の１つまたは複数の実施形態に使用できるイメージ処理回路の可能な１つの例は、コンポーネント７１４、７１５、７１６、および７１８の１つまたは複数に関連する機能を実行するために適切に再構成された他の場合には従来のグラフィックス・プロセッサである。
【００９４】
処理デバイス７０６は、たとえば、任意の組み合わせで、コンピュータ、モバイル電話、サーバ、または記憶装置を含むことができる。１つまたは複数のそのようなデバイスは、また、たとえば、イメージ・プロセッサ７０２によって生成されるイメージを提示するために利用されるディスプレイ画面または他のユーザ・インターフェースを含むことができる。したがって、処理デバイス７０６は、例示を目的として、イメージ・プロセッサ７０２から１つまたは複数の処理されたイメージ・ストリームを受信する少なくとも１つのサーバまたは記憶装置を含む、ネットワーク７０４を通じてイメージ・プロセッサ７０２からＧＲベースの出力を受信する多種多様な異なる宛先デバイスを含むことができる。
【００９５】
本実施形態では処理デバイス７０６から離して示しているが、イメージ・プロセッサ７０２は、処理デバイス７０６の１つまたは複数と少なくとも部分的に組み合わせることができる。したがって、たとえば、イメージ・プロセッサ７０２は、処理デバイス７０６の所与の１つを少なくとも部分的に使用して実装することができる。より具体的な例を挙げると、コンピュータまたはモバイル電話は、イメージ・プロセッサ７０２、および場合によってはイメージ・センサ７０５などの所与のイメージ・ソースを組み込むように構成することができる。したがって、情報処理システム７００で入力イメージを提供するために利用されるイメージ・ソースは、コンピュータ、モバイル電話、または他の処理デバイスに関連するカメラまたは他のイメージャを含むことができる。すでに述べたように、イメージ・プロセッサ７０２は、共通の処理デバイスの１つまたは複数のイメージ・ソースまたはイメージの宛先と少なくとも部分的に組み合わせることができる。
【００９６】
本実施形態のイメージ・プロセッサ７０２は、少なくとも１つの処理デバイスを使用して実装するものと想定され、メモリ７２２に結合されたプロセッサ７２０を含む。プロセッサ７２０は、イメージ処理動作のパフォーマンスを制御するためにメモリ７２２に格納されたソフトウェア・コードを実行する。イメージ・プロセッサ７０２は、また、ネットワーク７０４を通じて通信をサポートするネットワーク・インターフェース７２４を含む。ネットワーク・インターフェース７２４は、１つまたは複数の従来の送受信装置を含む。他の実施形態では、イメージ・プロセッサ７０２は、ネットワークを通じて他のデバイスと通信するように構成する必要はなく、そのような実施形態では、ネットワーク・インターフェース７２４を排除することができる。
【００９７】
プロセッサ７２０は、たとえば、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、ＣＰＵ、ＡＬＵ、ＤＳＰ、または他の同様の処理デバイス・コンポーネント、ならびに任意の組み合わせの他のタイプおよび配置のイメージ処理回路を含むことができる。
【００９８】
メモリ７２２は、サブシステム７０８および７１６、ならびにＧＲアプリケーション７１８など、イメージ・プロセッサ７０２の機能の部分を実装する際にプロセッサ７２０によって実行するためのソフトウェア・コードを格納する。すでに述べたように、対応するプロセッサにより実行するためのソフトウェア・コードを格納する所与のそのようなメモリは、本明細書においてより一般的に、そこにコンピュータ・プログラム・コードが包含されたコンピュータ可読記憶媒体と呼ばれるものの一例であり、たとえば、ＲＡＭまたはＲＯＭなど電子メモリ、磁気メモリ、光メモリ、または他のタイプの記憶デバイスを任意に組み合わせて含むことができる。そのようなコンピュータ可読記憶媒体を含む製品は、本発明の実施形態であると考えられる。本明細書で使用する「製品」という用語は、一時的な伝播する信号を除外するものと理解されたい。
【００９９】
図７に示すような情報処理システム７００の特定の構成は、単に代表を示すものであり、他の実施形態のシステム７００は、特に示したものに加えて、またはその代わりに、そのようなシステムの従来の実装で一般的に見られるタイプの１つまたは複数の要素を含む、他の要素を含むことができる。
【０１００】
たとえば、一部の実施形態では、情報処理システム７００は、ビデオ・ゲーム・システムまたはユーザ・ジェスチャを認識するためにイメージ・ストリームを処理する他のタイプのＧＲベースのシステムとして実装される。開示された手法は、ジェスチャ・ベースのヒューマン・マシン・インターフェースを必要とする多種多様な他のシステムで使用するために同様に構成することができ、ロボット工学におけるマシン・ビジョン・システムおよびジェスチャ認識を利用する他の産業用途など、他の用途にも適用することができる。
【０１０１】
また、上記のように、本発明のＧＲベースの実施形態は、ハンド・ジェスチャの認識に使用することに限定されず、他のタイプのジェスチャにも適用することができる。したがって、本明細書で使用する「ジェスチャ」という用語は、広く解釈されることを意図するものである。
【０１０２】
上記の実施形態の様々な態様は、代替実施形態の他のものとは別に使用できることに注意されたい。たとえば、本明細書に開示するようなキー選択、承認、および拒否に使用される特定のジェスチャは、作動可能なキーの異なる多数の配置とともに使用することができる。同様に、図２に示したタイプの放射状配置のソフト・キーパッドは、任意の特定のタイプのジェスチャの使用を必要とせず、本明細書の他の場所に示したように、様々なタイプの非ジェスチャ入力とともに使用することができる。
【０１０３】
本明細書に記述する本発明の実施形態は、説明のみを意図するものであることを再び強調するべきである。たとえば、本発明の他の実施形態は、本明細書に記述した特定の実施形態で利用するもの以外に、多種多様な異なるタイプおよび配置の情報処理システム、処理デバイス、および処理動作を利用して実装することができる。さらに、特定の実施形態を記述する関係で本明細書で行った特定の想定は、他の実施形態で適用する必要はない。以下の請求項の範囲に該当するこれらおよび多数の他の代替実施形態は、当業者には容易に明白になるだろう。
【図１】
2015005283.tif 000003
【図２】
2015005283.tif 000004
【図３】
2015005283.tif 000005
【図４】
2015005283.tif 000006
【図５】
2015005283.tif 000007
【図６】
2015005283.tif 000008
【図７】
2015005283.tif 000009