(57)【要約】【課題】手の仮想表現（仮想手）をレンダリングするためのシステムおよび方法を提供する。【解決手段】手の仮想表現（仮想手）をレンダリングするためのシステムは、手の情報をジェスチャベース入力システムから受信するためのジェスチャ入力受信器；手に基づき仮想手をレンダリングするための仮想手レンダラ；および仮想手を受信装置に伝達するためのディスプレイドライバを含む。仮想手を表示するためのシステムおよび方法も提供される。【選択図】図２
2015125781.tif 000002
【特許請求の範囲】
【請求項１】
手の仮想表現（仮想手）をレンダリングするためのシステムであって、
前記手の情報をジェスチャベース入力システムから受信するためのジェスチャ入力受信器と、
前記手に基づき前記仮想手をレンダリングするための仮想手レンダラと、
前記仮想手を受信装置に伝達するためのディスプレイドライバと
を備える、手の仮想表現（仮想手）をレンダリングするためのシステム。
【請求項２】
前記仮想手レンダラが、検出空間に対する手の検出位置に基づき前記仮想手をレンダリングする、請求項１に記載のシステム。
【請求項３】
前記仮想手レンダラが、前記手のジェスチャに基づき、前記手をレンダリングする、請求項１に記載のシステム。
【請求項４】
前記仮想手レンダラが、前記手のジェスチャに基づき、前記手をレンダリングする、請求項２に記載のシステム。
【請求項５】
前記仮想手レンダラが、前記仮想手をディスプレイにレンダリングしていない場合、前記仮想手のレンダリングを開始し、前記仮想手を前記ディスプレイにレンダリングしている場合、前記仮想手のジェスチャを変える、請求項４に記載のシステム。
【請求項６】
前記仮想手が、前記受信装置と関連付けられたグラフィカルユーザーインタフェース（ＧＵＩ）要素とやりとりするように構成される、請求項１に記載のシステム。
【請求項７】
前記ＧＵＩ要素がプッシュ可能な要素と関連付けられたアイコンである、請求項６に記載のシステム。
【請求項８】
前記ＧＵＩ要素が回転可能な要素と関連付けられたアイコンである、請求項６に記載のシステム。
【請求項９】
手のジェスチャベース入力を受信するステップと、
前記手に基づき仮想手をレンダリングするステップと、
前記仮想手を受信装置に送信するステップと
を含む、手の仮想表現（仮想手）をレンダリングするための方法。
【請求項１０】
前記受信するステップが、前記手と関連付けられたジェスチャを受信するステップをさらに含み、かつ、前記レンダリングするステップが、前記手および前記ジェスチャに基づき前記仮想手をレンダリングするステップをさらに含む、請求項９に記載の方法。
【請求項１１】
前記レンダリングするステップが、前記仮想手を、検出空間内での前記手の位置に対してレンダリングするステップをさらに含む、請求項１０に記載の方法。
【請求項１２】
仮想手が表示されていない場合、前記レンダリングするステップにおいて前記仮想手をレンダリングし、かつ前記仮想手が既に表示されている場合、前記レンダリングするステップにおいて、前記手と関連付けられた検出されたジェスチャに基づき前記仮想手を更新する、請求項９に記載の方法。
【請求項１３】
前記仮想手が、前記受信装置と関連付けられたグラフィカルユーザーインタフェース（ＧＵＩ）要素とやりとりするように構成される、請求項９に記載の方法。
【請求項１４】
前記ＧＵＩ要素がプッシュ可能な要素と関連付けられたアイコンである、請求項１３に記載の方法。
【請求項１５】
前記ＧＵＩ要素が回転可能な要素と関連付けられたアイコンである、請求項１３に記載の方法。
【請求項１６】
前記仮想手が、所定の時間が経過した後、ディスプレイから除去される、請求項９に記載の方法。
【請求項１７】
仮想手と関連付けられたデータを受信するための仮想手受信器と、
受信された前記仮想手に基づきジェスチャを検出するためのジェスチャ検出器と、
前記ジェスチャおよび前記仮想手の位置がコマンドに対応するかどうかを判断するためのコマンド検出器と、
前記コマンドの指示を受信装置に伝達するためのディスプレイドライバと
を備える、仮想手を表示するためのシステム。
【請求項１８】
前記コマンドが電子システムと関連付けられた機能に対応する、請求項１７に記載のシステム。
【請求項１９】
前記電子システムが車両内で実装される、請求項１８に記載のシステム。
【請求項２０】
前記コマンド検出器が、前記ジェスチャが前記関連付けられた位置に対する正しいジェスチャであるかどうかを判断するようにさらに構成される、請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
〔優先権主張〕
本特許出願は、現在係属中の、２０１３年１２月２６日に出願された「Ｒｅｎｄｅｒｉｎｇ  ａ  Ｖｉｒｔｕａｌ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｏｆ  ａ  Ｈａｎｄ」という名称の米国仮特許出願第６１／９２１，００５号に対する優先権を主張する。本特許出願は、米国特許出願第６１／９２１，００５号の詳細な説明全体を包含する。
【背景技術】
【０００２】
様々なインタフェースおよびマシンがジェスチャベース入力を採用する。ジェスチャベース入力は、身体部分（一般的には手）などの、合図からの動きの検出を可能にし、その検出された動きすなわちジェスチャに基づき、コマンドが開始される。ジェスチャベース入力は、ユーザーが、タッチパッドまたは装置と接触することを必要としない。
【０００３】
ジェスチャは、ビデオカメラまたは動作感知装置を介して捕捉される。それに応じて、ビデオカメラが動きを捕捉し、その動きを格納されたコマンドセンター（すなわち、プロセッサおよび記憶装置）と相互に関連付けて、その動きを動作に変換する。
【０００４】
ジェスチャベース入力を、具体的にはジェスチャを作っている手のコンテキストで、実現するために、手に関連したデータのクラウドが作成される。データのクラウドは様々な仮想オブジェクトとやり取りし得る。各仮想オブジェクトは、非有形的または非物理的要素であって、手の動きまたは所定のジェスチャのいずれかによって制御可能であり得、手の動きまたは所定のジェスチャは、ジェスチャベース入力システムによって検出される。仮想オブジェクトは、ディスプレイ上にレンダリングされ得る。
【０００５】
ジェスチャベースシステムは、手の位置を判断し得、その判断した位置に基づき、様々な仮想機能を起動し得る。それに応じて、ジェスチャベースシステムは、手の寸法など、手の様々な態様、手（すなわち、指および他の突起部）の態様に関連した空間の様々な方向および位置を判断し得る。一旦、様々な態様が判断されると、空間内の座標が特定の機能に対応し得る。さらに、第１の時間から第２の時間への、空間での移動も、特定の機能に対応し得る。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ジェスチャベース入力は、様々な状況およびコンテキストで採用される。ジェスチャベース入力は、ユーザーまたはオペレータが、いかなる表面とも接触することなく、入力またはインタフェースと関与することを可能にする。ジェスチャベース入力は、ジェスチャが捕捉され、マシンまたはシステムがそれに応じて制御されるのを可能にする、カメラまたは検出技術によって容易にされる。ジェスチャは、制御して動かすことができる身体部分の任意の一部を指し得る。例えば、手を振ることまたは指さすことをジェスチャと呼び得る。
【０００７】
ジェスチャベースシステムの実装において、ジェスチャをしている道具（すなわち、人の手）が画像捕捉装置、ビデオ捕捉装置、動作感知装置または同様のものによって捕捉され得る。基本的に、ジェスチャベースシステムは、捕捉された手に関連付けられた情報を取得し、手の位置、動き、様々なコマンドおよび機能を引き起こす動作に関する情報を使用する。その結果、ジェスチャベースシステムは、システムとともに使用されて、制御およびそれとのインタラクションを提供し得る。
【０００８】
追加として、ジェスチャベースシステムは、ディスプレイとともに実装され得る。ディスプレイは、ユーザーが利用可能な様々な入力を示し得る。このように、利用可能な入力またはメニューに基づき、ユーザーはディスプレイとやりとりし得る。しかし、ジェスチャベースシステムは空間（すなわち、ジェスチャを捕捉するために指定された空間）内のジェスチャを検出し、ディスプレイは静的位置（例えば、車両のダッシュボード部内、従って、検出の空間から離れている）にあるので、使い易さは妨げられ得る。従来型の入力システムでは、ユーザーは、入力機構上またはその近くに力を直接印加するのに慣れている。これは、従来型のジェスチャベースシステムでは可能にならない。
【課題を解決するための手段】
【０００９】
本明細書で開示する例示的な実施形態は、手の仮想表現（仮想手）をレンダリングするためのシステムおよび方法を提供する。本システムは、手の情報をジェスチャベース入力システムから受信するためのジェスチャ入力受信器；手に基づき仮想手をレンダリングするための仮想手レンダラ；および仮想手を受信装置に伝達するためのディスプレイドライバを含む。仮想手を表示するためのシステムおよび方法も提供される。
【００１０】
本発明の追加の機構が以下の説明に記載され、一部はその説明から明らかであるか、または本発明の実施によって学習され得る。
【００１１】
前述の概要および以下の詳細な説明の両方は、例示的かつ説明的であり、請求される通り本発明のさらなる説明を提供することを意図することを理解されたい。
【００１２】
発明を実施するための形態では、以下の図を参照し、図中、同様の番号は同様の項目を参照する。
【図面の簡単な説明】
【００１３】
【図１】コンピュータ例を図示するブロック図である。
【図２】手の仮想表現をレンダリングするためのシステムの一例である。
【図３】手の仮想表現をレンダリングするための方法の一例である。
【図４】別の例示的な実施形態により仮想手を表示するためのシステムの一例である。
【図５】別の例示的な実施形態により仮想手を表示するための方法の一例である。
【図６Ａ】図２〜図５に示すシステムおよび方法の実施態様例を図示する。
【図６Ｂ】図２〜図５に示すシステムおよび方法の実施態様例を図示する。
【図６Ｃ】図２〜図５に示すシステムおよび方法の実施態様例を図示する。
【発明を実施するための形態】
【００１４】
本発明は、以下で添付の図を参照してさらに完全に説明され、添付の図では本発明の例示的な実施形態が示される。しかし、本発明は、多数の異なる形式で実施され得、本明細書に記載される実施形態に制限されると解釈されるべきでない。むしろ、これらの例示的な実施形態は、本開示が完全であるために提供され、本発明の範囲を当業者に完全に伝達する。本開示の目的のため、「各々のうちの少なくとも１つ」は、列挙された要素のうちの複数の組合せを含む、それぞれの言語に続く列挙された要素の任意の組合せを意味すると解釈されることが理解されるであろう。例えば、「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」は、Ｘのみ、Ｙのみ、Ｚのみ、または２つ以上の項目Ｘ、Ｙ、およびＺの任意の組合せ（例えば、ＸＹＺ、ＸＺ、ＹＺ、Ｘ）を意味すると解釈されるであろう。図および発明を実施するための形態全体を通して、特に断りのない限り、同一の図参照番号は同じ要素、特徴、および構造を参照すると理解される。これらの要素の相対的サイズおよび表現は、明瞭さ、例証、および便宜のために誇張され得る。
【００１５】
本明細書で開示するのは、ディスプレイが組み込まれたジェスチャベースシステムを制御するために手の仮想表現をレンダリングすることを対象とする方法およびシステムである。本明細書で開示する例は手を採用するが、他の要素および身体部分も実装され得る。その結果、仮想手がディスプレイ上にレンダリングされるので、ユーザーには、現実的でコンテキストに即したユーザー体験が提供される。
【００１６】
図１は、コンピュータ例１００を例示するブロック図である。コンピュータ１００は、チップセット１０４に結合された少なくとも１つのプロセッサ１０２を含む。チップセット１０４は、メモリコントローラハブ１２０および入力／出力（Ｉ／Ｏ）コントローラハブ１２２を含む。メモリ１０６およびグラフィックスアダプタ１１２は、メモリコントローラハブ１２０に結合され、ディスプレイ１１８は、グラフィックスアダプタ１１２に結合される。記憶装置１０８、キーボード１１０、ポインティングデバイス１１４、およびネットワークアダプタ１１６は、Ｉ／Ｏコントローラハブ１２２に結合される。コンピュータ１００の他の実施形態は異なるアーキテクチャを有し得る。
【００１７】
記憶装置１０８は、ハードドライブ、コンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、ＤＶＤまたはソリッドステートメモリデバイスなどの、持続性コンピュータ可読記憶媒体である。メモリ１０６は、プロセッサ１０２によって使用される命令およびデータを保持する。ポインティングデバイス１１４は、マウス、トラックボール、または他のタイプのポインティングデバイスであり、データをコンピュータ１００に入力するために、キーボード１１０と組み合わせて使用される。ポインティングデバイス１１４は、ゲーム機コントローラ、またはゲーム機を制御するために使用される任意のタイプの装置でもあり得る。例えば、ポインティングデバイス１１４は、特定のユーザーを検出するために生体認証スキャニングを採用するビデオまたは画像捕捉装置に接続され得る。特定のユーザーは、ポインティングデバイス１１４にコンピュータ１００の様々な態様を制御するように命令するための動きまたはジェスチャを採用し得る。
【００１８】
グラフィックスアダプタ１１２は、画像および他の情報をディスプレイ１１８上に表示する。ネットワークアダプタ１１６は、コンピュータシステム１００を１つまたは複数のコンピュータネットワークに結合する。
【００１９】
コンピュータ１００は、本明細書で説明する機能を提供するためにコンピュータプログラムモジュールを実行するように適合される。本明細書では、用語「モジュール」は、指定された機能を提供するために使用されるコンピュータプログラム論理を指す。従って、モジュールは、ハードウェア、ファームウェア、および／またはソフトウェアで実装できる。一実施形態では、プログラムモジュールは、記憶装置１０８上に格納されて、メモリ１０６内にロードされ、プロセッサ１０２によって実行される。
【００２０】
本明細書で開示するエンティティおよびプロセスによって使用されるコンピュータのタイプは、エンティティによって必要とされる実施形態および処理能力に応じて変わり得る。コンピュータ１００は、モバイル機器、タブレット、スマートフォンまたは上でリストした要素を備えた任意の種類のコンピューティング要素であり得る。例えば、ハードディスク、ソリッドステートメモリまたは記憶装置などの、データ記憶装置は、本明細書で説明する機能を提供するために連携する複数のブレードサーバーを含む分散データベースシステム内に格納され得る。コンピュータは、キーボード１１０、グラフィックスアダプタ１１２、およびディスプレイ１１８などの、前述した構成要素のいくつかを欠き得る。
【００２１】
コンピュータ１００は、本明細書で開示するコンテンツ共有サービスのためのサーバー（図示せず）として機能し得る。コンピュータ１００は、サーバーを作成するために他のコンピュータ１００装置とクラスタ化され得る。
【００２２】
図２は、ディスプレイ２７０が組み込まれたジェスチャベースシステムを制御するために、手の仮想表現をレンダリングするためのシステム２００の一例である。システム２００は、コンピュータ１００などの、装置上で実装され得る。
【００２３】
図２を参照すると、システム２００は、ネットワーク２４０に接続されている。ネットワーク２４０は、システム２００が様々な構成部品と電気的に通信することを可能にし得る。ネットワーク２４０は、任意の種類の局所的またはエリアベースのネットワークであり得る。例えば、システム２００が車両内で実装される場合、ネットワーク２４０および、図２に示す様々な構成部品間の接続は、電子制御装置（ＥＣＵ）によって容易にされ得る。
【００２４】
システム２００は、ジェスチャベース入力システム２５０が採用される任意の環境または状況で実装され得る。例えば、ジェスチャベース入力システム２５０は、車両内に据えられて、車両のオペレータまたは乗客によって行われるジェスチャを監視するために採用され得る。その結果、オペレータが車両を運転している間に、オペレータはジェスチャ検出領域２６０内でジェスチャを行い得る。それに応じて、ジェスチャベース入力システム２５０はジェスチャ検出領域２６０内で行われたジェスチャを検出し、信号または指示をシステム２００に送信し得る。
【００２５】
図２に示すように、付属肢（例えば、物理的な手２６５）がジェスチャ検出領域２６０内で監視されて検出され得る。このように、ジェスチャ入力受信器２１０がそのエリア内で付属肢の実際の存在を検出し得る。追加として、ジェスチャ入力受信器２１０は、手２６５が所定のジェスチャ（例えば、指さし、拳を握る、など）に関連付けられた形状またはパターンを形成しているかどうかを判断するようにも構成され得る。
【００２６】
ジェスチャ入力受信器２１０は、ジェスチャベース入力システム２５０によって捕捉されている要素のデータを受信する。図のように、ジェスチャ検出領域２６０は、ジェスチャ検出領域２６０内で行われた手のジェスチャを検出し得る。例えば、車両のオペレータまたはドライバーの手のジェスチャが、車両のオペレータまたはドライバーがある方向を指さしていることを示す場合、ジェスチャベース入力システム２５０はこれを記録し得る。
【００２７】
ジェスチャベースシステム２５０は、手の様々な態様、輪郭、および手の動作を既に記録し得る。それに応じて、手、すなわち監視された付属肢の現在の位置に関する座標情報が、関連付けられた永続的ストアに格納され得る。その結果、ジェスチャ入力受信器２１０は、ジェスチャベース入力システム２５０によって既に捕捉された情報を受信し得る。
【００２８】
仮想手レンダラ２２０は、ジェスチャ入力受信器２１０によって受信されたデータに基づき、仮想手２７５をレンダリングする。仮想手２７５は、捕捉された手の様々な態様の位置を再構成することにより作成され得る。基本的に、手の骨格構造が取得され得る。仮想手２７５は、骨格構造を表し得る。図のように、仮想手２７５は、物理的な手２６５のグラフィカル版または画素化板として、ディスプレイ２７０上に表示される。
【００２９】
ディスプレイドライバ２３０は、ジェスチャベース入力システム２５０に関連付けられたディスプレイ２７０を駆動する。ディスプレイ２７０およびシステム２５０は、一体的に提供され得る。別の例では、システム２５０は、ビルドオン（ｂｕｉｌｄ−ｏｎ）構成要素として提供され、既存のディスプレイに実装され得る。
【００３０】
ディスプレイドライバ２３０は、レンダリングされた仮想手２７５をディスプレイ２７０上に（直接またはネットワーク２４０を経由してのいずれかで）送信する。例えば、実際の手が空間２６０内で動くと、仮想手２７５がそれに応じて動く。
【００３１】
一例では、様々な入力がディスプレイ上で仮想化され得る。例えば、回転ノブまたはスイッチの動画化版が回転ノブまたはスイッチ（ＧＵＩ要素）のグラフィカル表現としてレンダリングされ得る。その結果、仮想手２７５が、回転ノブを回転するようにシミュレートされた方法で動かされると、ディスプレイ２７０もこの動作を表し得る。
【００３２】
別の例では、レンダリングされた仮想手２７５は、所定の時間の経過に応答して、除去され得る。従って、仮想手２７５は、所定の時間または動作が達せられると、フェードアウトし得る。このように、仮想手２７５はガイドとして機能し得、ユーザーは、仮想オブジェクトに対する手の位置を認識すると、仮想手２７５はディスプレイ２７０から除去され得る。
【００３３】
図３は、ジェスチャベースシステムを制御するために手の仮想表現をレンダリングするための方法３００を図示する。方法３００は、システム３００などの、システム上で実装され得る。
【００３４】
動作３１０で、ジェスチャベース入力信号が受信される。上で説明したように、ジェスチャは、記録された非接触制御または入力信号に対応し得る。ジェスチャは、動作検出装置またはカメラによって記録され得る。ジェスチャは、付属肢（例えば、手）、および付属肢に関連付けられた特定の形状／形の検出を指し得る。
【００３５】
動作３２０で、仮想手が既にレンダリングされているかどうかに関して判断が行われる。ｙｅｓの場合、方法３００は動作３３０に進む。そうでない場合、方法３００は動作３２５に進む。
【００３６】
動作３２５で、仮想手がレンダリングされる。上で説明したように、仮想手は、動作３１０で取得したデータを使用して構築され得る。レンダリングされたデータは、仮想手の動画化版と一致して、その結果、かなりユーザーの手に見えるようにされ得る。
【００３７】
動作３３０で、受信したジェスチャが、仮想手を再レンダリングするために使用される。従って、動作３１０で検出されたジェスチャがディスプレイ上に既に存在している仮想手と異なる場合、新しい捕捉ジェスチャを再現するために仮想手が再レンダリングされる。
【００３８】
動作３４０で、レンダリングされた仮想手がディスプレイに伝達される。レンダリングされた仮想手は、レンダリングされた（仮想ノブまたは仮想スイッチなどの）仮想オブジェクトとやりとりし得る。レンダリングされた仮想ノブおよびスイッチは、仮想ノブとやりとりする実際の手に類似した方法で、仮想手とやりとりし得る。従って、ユーザーが空中で指さして押す動きをすると、ディスプレイ画面は、仮想手がグラフィカルユーザーインタフェースを指さして押しているのを示し得る。
【００３９】
図４は、別の例示的な実施形態により仮想手を表示するためのシステム４００の一例である。システム４００は、前述したコンピュータ１００などの、装置上で実装され得る。システム４００は、仮想手受信器４１０、ジェスチャ検出器４２０、コマンド検出器４３０、およびディスプレイドライバ４４０を含む。ディスプレイドライバ４４０は、ディスプレイ２７０と（直接またはネットワーク２５０を経由してのいずれかで）通信し得る。
【００４０】
さらに、システム４００で説明する態様は、全体として、または選択的にシステム２００と組み合わされ得る。
【００４１】
仮想手受信器４１０は、仮想手、例えば、上で示した仮想手２７５に関連付けられたデータを受信する。仮想手２７５は、特定のジェスチャ（例えば、指さし、選択数の閉じた指、握り拳など）と関連付けられ得る。
【００４２】
ジェスチャ検出器４２０は、仮想手２７５に関連付けられたジェスチャを検出して、検出したジェスチャがコマンド開始技術に対応しているかどうかに関してルックアップテーブルを相互参照する。例えば、指さしジェスチャは、ボタンのアサーションに相関し得る。回転動作は、ノブの回転に対応し得る。
【００４３】
コマンド検出器４３０は、仮想手２７５が、コマンドの開始と一致するディスプレイ２７５上の位置に対応するかどうかを検出する。例えば、図６Ａ〜図６Ｃに示すように、仮想手２７５が、ＧＵＩ要素６００をアサートする位置に移動される。仮想手２７５がコマンドの開始に対応し、コマンドの開始のための所定のエリア内にある場合、その動作に関連付けられた実際のコマンドがディスプレイ２７０に送信される。
【００４４】
ディスプレイドライバ４４０は、コマンドが開始されることをディスプレイ２７０に伝達し得る。それに応じて、ディスプレイ２７０は、検出された動作を実行する仮想手２７５に関連付けられた動画を再現するように指示され得る。別の例では、システム４００は、ディスプレイ２７０に関連付けられた電子システムに、動作を開始する信号を伝達し得る。
【００４５】
図５は、別の例示的な実施形態により仮想手を表示するための方法５００の一例を図示する。方法５００は、前述したコンピュータ１００などの、装置上で実装され得る。
【００４６】
動作５１０で、仮想手が受信される。これは、動作５２０での判断を促し、動作５２０は、現在のジェスチャがコマンドの開始と関連付けられているかどうかを判断する。ｎｏの場合、方法５００は終了に進む。
【００４７】
ｙｅｓの場合、方法５００は動作５３０に進む。動作５３０で、仮想手がＧＵＩ要素上、または所定の距離にあるかに関して判断が行われる。ｙｅｓの場合、ジェスチャおよびＧＵＩ要素に関連付けられたコマンドが、方法５００と関連付けられたインタフェースと通信するディスプレイまたは電子システムのいずれかに送信される。ｎｏの場合、方法５００は終了に進む。
【００４８】
方法５００の別の実施態様では、別の動作（図示せず）が、正しいジェスチャが、やりとりしているＧＵＩ要素と関連付けられているかを検証するために実行され得る。例えば、ＧＵＩ要素が回転ノブのように見える場合、ＧＵＩ要素とやりとりするために、ねじるジェスチャが要求され得る。
【００４９】
図６Ａ〜図６Ｃは、前述したシステム２００およびシステム４００の実施態様例を図示する。
【００５０】
図６Ａに示すように、ジェスチャベース入力システム２５０は、付属肢（手２６５）が電子システムまたはディスプレイ２７０とやりとりしているのを検出する。それに応じて、ディスプレイ２７０は仮想手２７５をディスプレイ上に図示する。仮想手２７５は、手２６５がとっている、ジェスチャまたはスタンスを再現し得る。ディスプレイ２７０には、ＧＵＩ要素６００も示される。ＧＵＩ要素６００は、電子システムの機能の操作に関連付けられ得る。
【００５１】
図６Ｂを参照すると、手２６５はジェスチャを変える（そして、今、手は指さしている姿勢をとっている）。仮想手２７５もこの変化を反映するように再レンダリングされる。
【００５２】
図６Ｃを参照すると、手２６５は、（例えば、空間２６０内で）動かされ得る。手２６５の動きは、仮想手２７５を同様に動かすように動かされ得る。従って仮想手２７５はＧＵＩ要素６００をアサートするように動かされ得る。ディスプレイ２７０はそれに応じて、ＧＵＩ要素６００を再レンダリングして、要素６００がアサートされていることを示し得る。一旦、アサートされると、ＧＵＩ要素６００に関連付けられた機能が開始され得る。
【００５３】
例えば、システム２００および４００が車両内で実装される場合、要素６００のアサーションは、車両の操作（ＨＶＡＣシステムをオンにする、窓を開く、サンルーフを開く、または同様のことなど）に関係する機能と関連付けられ得る。
【００５４】
従って、本明細書で開示する態様を採用すると、ジェスチャベース入力システムは、グラフィカルオブジェクトおよび仮想オブジェクトとやりとりする仮想手を提供することにより、改善されたユーザー体験を提供し得る。
【００５５】
図１に示す装置のいくつかは、コンピューティングシステムを含む。コンピューティングシステムはプロセッサ（ＣＰＵ）ならびに、読取り専用メモリ（ＲＯＭ）およびランダムアクセスメモリ（ＲＡＭ）などのシステムメモリを含む様々なシステム構成要素を、そのプロセッサに結合するシステムバスを含む。他のシステムメモリも使用可能であり得る。コンピューティングシステムは、さらに大きな処理機能を提供するために一緒にネットワーク化された、２つ以上のプロセッサまたは、コンピューティングシステムのグループもしくはクラスタを含み得る。システムバスは、メモリバスまたはメモリコントローラ、周辺機器用バス、および様々なバスアーキテクチャのいずれかを使用するローカルバスを含む、いくつかのタイプのバス構造のいずれかであり得る。ＲＯＭまたは同様のもの内に格納された基本入出力システム（ＢＩＯＳ）は、スタートアップ中などに、コンピューティングシステム内の要素間で情報を伝達するのを支援する基本ルーチンを提供し得る。コンピューティングシステムは、データストアをさらに含み、それは、既知のデータベース管理システムに従ってデータベースを維持する。データストアは、ハードディスクドライブ、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、または磁気カセット、フラッシュメモリカード、デジタル多用途ディスク、カートリッジ、ランダムアクセスメモリ（ＲＡＭ）、および読取り専用メモリ（ＲＯＭ）などの、プロセッサによってアクセス可能なデータを格納できる別のタイプのコンピュータ可読媒体など、多数の形式で実施され得る。データストアは、ドライブインタフェースによってシステムバスに接続され得る。データストアは、コンピュータ可読命令、データ構造、プログラムモジュールおよびコンピューティングシステム用の他のデータの不揮発性記憶を提供する。
【００５６】
人間の（およびいくつかの事例では、マシンの）ユーザーインタラクションを可能にするため、コンピューティングシステムは、会話および音声用のマイクロホン、ジェスチャまたは図形入力用のタッチ感知スクリーン、キーボード、マウス、動作入力などの、入力装置を含み得る。出力装置は、いくつかの出力機構のうちの１つまたは複数を含み得る。いくつかの事例では、多モードシステムは、コンピューティングシステムと通信するために、ユーザーが、複数のタイプの入力を提供するのを可能にする。通信インタフェースは、一般に、コンピューティング装置システムが、様々な通信およびネットワークプロトコルを使用して、１つまたは複数の他のコンピューティング装置と通信するのを可能にする。
【００５７】
前述の開示は、図３および図５に表される実施形態を説明するために、いくつかの流れ図および付随の記述を参照する。開示する装置、構成要素、およびシステムは、これらの図に示されるステップを実行するために任意の適切な技術を使用または実装することを予期する。従って、図３および図５は、例示目的のみであり、説明したステップまたは類似のステップは、同時に、個別に、または組み合わせて、を含む、任意の適切な時に実行され得る。加えて、これらの流れ図内のステップの多くは、同時に、かつ／または示して説明したものとは異なる順序で起こり得る。さらに、開示するシステムは、追加のステップ、より少ないステップ、および／または異なるステップを有する、プロセスおよび方法を使用し得る。
【００５８】
本明細書で開示する実施形態は、本明細書で開示する構造およびそれらの均等物を含め、デジタル電子回路で、またはコンピュータソフトウェア、ファームウェア、もしくはハードウェアで実装できる。いくつかの実施形態は、１つまたは複数のプロセッサによる実行のために有形的コンピュータ記憶媒体上にコード化された、１つまたは複数のコンピュータプログラム、すなわち、コンピュータプログラム命令の１つまたは複数のモジュールとして実装できる。コンピュータ記憶媒体は、コンピュータ可読記憶装置、コンピュータ可読記憶基板、またはランダムもしくはシリアルアクセスメモリであり得るか、またはそれらに含まれ得る。コンピュータ記憶媒体は、複数のＣＤ、ディスク、もしくは他の記憶装置などの、１つもしくは複数の別個の有形的構成要素もしくは媒体でもあり得るか、またはそれらに含まれ得る。コンピュータ記憶媒体は、一時的信号を含まない。
【００５９】
本明細書では、用語プロセッサは、例として、プログラム可能プロセッサ、コンピュータ、チップ上のシステム、または前述したものの複数、もしくは組合せを含め、データ処理のための全ての種類の機器、装置、およびマシンを包含する。プロセッサは、専用論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）を含み得る。プロセッサは、ハードウェアに加えて、問題となっているコンピュータプログラム用の実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォーム実行時環境、仮想マシン、またはそれらの１つもしくは複数の組合せを構成するコードも含み得る。
【００６０】
（プログラム、モジュール、エンジン、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる）コンピュータプログラムは、コンパイラ型言語もしくはインタープリタ型言語、宣言型言語もしくは手続き型言語を含む任意の形式のプログラム言語で書くことができ、そのプログラムは、スタンドアロンプログラムとして、またはモジュール、構成要素、サブルーチン、オブジェクト、もしくはコンピューティング環境内での使用に適した他のユニットとして、を含む、任意の形式で配備できる。コンピュータプログラムは、ファイルシステム内のファイルに対応し得るが、その必要はない。プログラムは、他のプログラムもしくはデータを保持するファイルの一部（例えば、マークアップ言語文書内に格納された１つまたは複数のスクリプト）内、問題となっているプログラム専用の単一のファイル内、または複数の協働ファイル（例えば、１つもしくは複数のモジュール、サブプログラム、またはコードの部分を格納するファイル）内に格納できる。コンピュータプログラムは、１つのコンピュータ上で、または１つの場所に配置されているか、もしくは複数の場所にわたって分散され、通信ネットワークによって相互接続されている、複数のコンピュータ上で、実行されるように配備できる。
【００６１】
個人との対話を提供するために、本明細書で開示する実施形態は、グラフィカルユーザーインタフェース（ＧＵＩ）などの、対話型ディスプレイを使用して実装できる。かかるＧＵＩは、ポップアップまたはプルダウンメニューまたはリスト、選択タブ、スキャン可能な特徴、および人間の入力を受信できる他の特徴などの、双方向の特徴を含み得る。
【００６２】
本明細書で開示するコンピューティングシステムは、クライアントおよびサーバーを含み得る。クライアントおよびサーバーは、一般に、互いにリモートであり、通常、通信ネットワークを通じてやりとりする。クライアントとサーバーの関係性は、それぞれのコンピュータ上で実行していて、互いにクライアント・サーバー関係を有する、コンピュータプログラムのおかげで生じる。いくつかの実施形態では、サーバーは、データ（例えば、ＨＴＭＬページ）をクライアント装置に（例えば、クライアント装置とやりとりするユーザーに対してデータを表示し、ユーザーからユーザー入力を受信する目的で）送信する。クライアント装置で生成されるデータ（例えば、ユーザーインタラクションの結果）は、クライアント装置からサーバーで受信できる。
【００６３】
当業者には、様々な修正および変形が、本発明の精神および範囲から逸脱することなく、本発明内で行われ得ることが明らかであろう。従って、本発明の修正および変形が、添付の請求項およびそれらの均等物の範囲内に入るという条件で、本発明はそれらを包含することを意図する。
【図１】
2015125781.tif 000003
【図２】
2015125781.tif 000004
【図３】
2015125781.tif 000005
【図４】
2015125781.tif 000006
【図５】
2015125781.tif 000007
【図６Ａ】
2015125781.tif 000008
【図６Ｂ】
2015125781.tif 000009
【図６Ｃ】
2015125781.tif 000010