(57)【要約】  ステータス決定を利用する対話型描画認識が記載される。一例では、コンピュータシステムのステータスが決定され、描画のタイプを決定するために利用される。ユーザの描画が観察され、決定された描画のタイプに関連付けられた描画テンプレートのライブラリにアクセスされる。  観察された描画を特定するために、観察された描画が前記複数の描画テンプレートに比較され、特定された描画に属性が割り当てられる。【選択図】図１
2015503794.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータシステムにて、描画のタイプを示す前記コンピュータシステムのステータスを決定する段階と、
前記描画のタイプに関連付けられた複数の描画テンプレートからなるライブラリにアクセスする段階と、
前記コンピュータシステムにてユーザの描画を観察する段階と、
前記観察された描画を特定するために、前記観察された描画を前記複数の描画テンプレートに比較する段階と、
前記特定された描画に複数の属性を割り当てる段階と
を備える方法。
【請求項２】
前記ステータスを決定する段階は、
搭載されているハードウェアのステータス、アクティブなプログラムのステータス、及び、背景プログラムのステータスのうち１つを決定する段階を有する、請求項１に記載の方法。
【請求項３】
前記描画のタイプは、ユーザ入力デバイスのタイプである、請求項１に記載の方法。
【請求項４】
前記デバイスはキーパッドである、請求項３に記載の方法。
【請求項５】
更に、ロードされたアプリケーションとともに利用するための複数の描画テンプレートをロードする段階を備え、
前記ステータスを決定する段階は、
前記ロードされたアプリケーションがアクティブであると決定する段階を有し、
前記ライブラリにアクセスする段階は、
前記アクティブなアプリケーションのために、前記ロードされた複数の描画テンプレートにアクセスする段階を有する、請求項１に記載の方法。
【請求項６】
前記複数の描画テンプレートは、複数のユーザ入力デバイスの複数の異なる構成及びタイプに対応している、請求項５に記載の方法。
【請求項７】
前記複数の描画テンプレートからなるライブラリは、前記コンピュータシステム上で実行されているアプリケーションによって提供される、請求項１に記載の方法。
【請求項８】
前記ライブラリにアクセスする段階は、
前記描画のタイプに基づいて、複数の描画テンプレートからなる複数の異なるライブラリのうち１つを選択する段階を有する、請求項１に記載の方法。
【請求項９】
前記ユーザの描画を観察する段階は、
前記コンピュータシステムに接続されているカメラを利用して前記描画のなかの画像をキャプチャする段階を有する、請求項１に記載の方法。
【請求項１０】
前記キャプチャされた画像の、前記カメラと前記描画との間の相対位置によって生じる歪みを補正する段階を更に備える、請求項９に記載の方法。
【請求項１１】
前記複数の属性を割り当てる段階は、
前記描画に複数の制御面を割り当てる段階を有する、請求項１に記載の方法。
【請求項１２】
前記複数の属性を割り当てる段階は、
前記描画の複数の部分に複数のキーを割り当てる段階を有する、請求項１に記載の方法。
【請求項１３】
コンピュータに、
コンピュータシステムにて、描画のタイプを示す前記コンピュータシステムのステータスを決定する手順と、
前記描画のタイプに関連付けられた複数の描画テンプレートからなるライブラリにアクセスする手順と、
前記コンピュータシステムにてユーザの描画を観察する手順と、
前記観察された描画を特定するために、前記観察された描画を前記複数の描画テンプレートに比較する手順と、
前記特定された描画に複数の属性を割り当てる手順と
を実行させるプログラム。
【請求項１４】
前記ステータスを決定する手順は、
搭載されているハードウェアのステータス、アクティブなプログラムのステータス、及び、背景プログラムのステータスのうち１つを決定する手順を有する、請求項１３に記載のプログラム。
【請求項１５】
前記ライブラリにアクセスする手順は、
前記描画のタイプに基づいて、複数の描画テンプレートからなる複数の異なるライブラリのうち１つを選択する手順を有する、請求項１３に記載のプログラム。
【請求項１６】
コンピュータシステムにて、描画のタイプを示す前記コンピュータシステムのステータスを決定するコマンド実行モジュールと、
ユーザの描画を観察する描画検出モジュールと、
前記描画のタイプに関連付けられた複数の描画テンプレートからなるライブラリにアクセスして、前記観察された描画を特定するために、前記観察された描画を前記複数の描画テンプレートに比較して、前記特定された描画に複数の属性を割り当てる描画オブジェクトテンプレートモジュールと、を備えるシステム。
【請求項１７】
前記描画検出モジュールが利用するための前記描画のなかの画像をキャプチャするカメラを更に備える、請求項１６に記載のシステム。
【請求項１８】
前記特定された描画に関連付けられたユーザのジェスチャを、コマンドとして認識して、実行させるべく前記コマンドを前記コマンド実行モジュールに送るジェスチャ認識モジュールを更に備える、請求項１６に記載のシステム。
【発明の詳細な説明】
【背景技術】
【０００１】
コンピューティングシステムは、しばしば、ユーザが作成するデジタルオブジェクトの外観を決定するためにマウス及びキーボード入力を利用する。通常、キーボード、マウス、及び、ゲームコントローラの入力によって、デジタルオブジェクトの振る舞いが決定される。人々は、オブジェクトを描き、コンピュータにスキャンすることで、手書きの入力をすることができるが、スキャンされた描画は、その後、単一のオブジェクトとなる。ユーザは、例えばリサイズ及び色の変更など、オブジェクトとの対話の機会が限られている。視覚的情報のより自然な入力方法を利用すれば、コンピューティングデバイスとのより豊富なグラフィック対話が可能となるだろう。
【０００２】
タブレットが入力デバイスとして利用されてきた。通常、タブレットは、特定の面上のスタイラスの圧力を検出して、画面上に描画された形状を再生する。タブレットは更に、写真及び描画を修正するためにも利用され、マウス同様のポインティングデバイスとしても利用されてよい。幾つかのバージョンでは、描画面ではなくペンが、デジタルに描画された入力を記録する。これらのペンは、光センサ、及び、場合によっては特にマークされた紙を利用して、描画を検出及び格納する。
【０００３】
幾つかの既存のコンピューティングシステムは、描画されたオブジェクトを、単純なコマンドとして、英数字として、又は、システムにおけるマッチングしたオブジェクトとして認識する。これらシステムは、描画をスキャンして、特定する。しかし、これら対話の性質は限られている。
【０００４】
幾つかの既存のコンピューティングシステムは、「エアジェスチャ」を単純なコマンドとして、又は、一般的にコンピュータゲームへの入力として認識する。エアジェスチャは、カメラによって又は慣性センサを含むデバイスを保持するユーザによって観察されることによって、及び次に、デバイスを動かすことによって認識される。
【図面の簡単な説明】
【０００５】
本発明の実施形態を、同様の参照番号が同様のエレメントを示す添付図面に限定ではなく例示によって示す。
【図１】本発明のある実施形態におけるコンピュータシステムとともに利用されるキーパッドを描画するユーザを示す。
【図２】本発明のある実施形態におけるコンピュータシステムとともに利用されるジョイスティックを描画するユーザを示す。
【図３】本発明の別の実施形態におけるコンピュータシステムとともに利用されるキーパッドを描画するユーザを示す。
【図４】本発明のある実施形態におけるコンピュータシステムとともに利用されるメディアプレーヤコントロールを描画するユーザを示す。
【図５Ａ】本発明のある実施形態におけるコンピュータシステムで描画されるシーンに対して仮想的に（virtually）発射される仮想オブジェクトを描画するユーザを示す。
【図５Ｂ】本発明のある実施形態における、仮想オブジェクトを描き、コンピュータシステムに描画されたシーンでの利用のために該仮想オブジェクトを仮想的に手に取っているユーザを示す。
【図５Ｃ】本発明のある実施形態におけるコンピュータシステムに描画されたシーンに配置される、ユーザが描画した仮想オブジェクトを示す。
【図６】発明のある実施形態におけるユーザが描画したゲーム面及び物理コマンドを示す。
【図７】本発明の別の実施形態において描画するユーザを解釈するコンピュータシステムのプロセスフロー図である。
【図８】本発明のある実施形態における本開示のプロセスを実装するために適したコンピュータシステムを示すブロック図である。
【図９】本発明のある実施形態における本開示のプロセスを実装するために適した図８のコンピュータシステムの別のビューを示すブロック図である。
【発明を実施するための形態】
【０００６】
本発明の実施形態は、新しい方法で描画された入力を認識するシステムを提供する。描画された入力は、例えば、キーパッドとして利用される描画されたテンキーパッド、ポイントアンドクリックデバイスとして利用される描画されたマウス又は「マウス領域（mousing area）」、及び、ラインを手書きで描き、特に、コンピュータが描画されたラインに乗せる登場人物（character）を生成する、描画されたゲーム「Ｌｉｎｅ  Ｒｉｄｅｒ」を含みうる。
【０００７】
図１は、本発明の実施形態での利用に適したコンピュータシステムの例を示す。コンピュータシステム１００は、通常、音声及びビデオ呼び出しのために利用されるカメラ１０２とマイク１０４とを有する。カメラは、三次元ビデオ呼び出しのため、又は、三次元エアジェスチャのための解釈を可能とするためのステレオカメラであってよい。ノートブックスタイルのコンピュータが示されているが、スレートコンピュータ及びタブレットコンピュータが通常同様のハードウェア特徴を持つ。この代わりに、スマートフォン、スマートテレビ、メディアプレーヤ、又は可搬型ゲームデバイスを利用することもできる。デスクトップコンピュータも、以下に示す様々な実施形態で必要となるようなカメラ及びマイクを搭載している場合、利用される場合がある。
【０００８】
実施形態では、本発明は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトラトップコンピュータ、タブレット、タッチパッド、可搬型コンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、情報携帯端末（ＰＤＡ）、セルラー電話器、セルラー電話器／ＰＤＡの組み合わせ、テレビ、スマートデバイス（例えばスマートフォン、スマートタブレット又はスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイス等に組み込まれてよい。
【０００９】
用紙１０６は、カメラ１０２のビュー内に配置される。用紙は、示されているものと同じデスク又は近くの面に配置されてよい。用紙の代わりに、ホワイトボード、チョークボード、又は描画入力を検出して、結果をディスプレイ上に示す表示面等の電子面等の、任意の描画面を利用してもよい。用紙又は類似した物品を利用して、ユーザ１１２は、任意の所望の文字及び形状を描いたり書き込んだりすることができる。図１では、ユーザがキーパッド１１０の絵を描いた。
【００１０】
コンピュータシステムは、用紙を観察して、用紙上に描かれたキーパッドを検出する。これは、特定の実施形態に応じて、様々の手書き、シンボル認識、及びテンプレートマッチング手段（template matching utilities）のいずれかを利用して行われてよい。システムは次に描画を特定しようと試みる。
【００１１】
描画がなされたと認識されると、コンピューティングシステムが起動されて、描画が表す異なるアイテムの可能な数を制限しようと試みることができる。図１では、システムが描画認識を容易にするための２つの異なる手法のいずれか一方又は両方を利用することができる。コンピューティングシステムのディスプレイは、計算機プログラム１０８のためのアクティブな前景ウィンドウを示している。計算機プログラムがアクティブなことから、コンピューティングシステムは、計算機プログラムに関連するものに可能な範囲の描画を限定することができる。計算機プログラムの１つの関連する描画のタイプは、ユーザが描いたテンキーパッド１１０である。描画されたキーパッドは、例示を目的にしていることから非常に簡単なものとなっているが、ユーザは、科学又は金融計算に適した非常に複雑なキーパッドを描画してもよい。加えて、ユーザは、異なるスタイルのデータエントリを示すキーパッドを描画してよい。計算機プログラム又は別個のＩ／Ｏプログラムは、幅広い範囲の異なるタイプのキーパッド及び計算機プログラムに関するものであってよい他の描画にマッチングするテンプレートを有していてよい。
【００１２】
この代わりに又はこれに加えて、コンピューティングシステムは、自身に搭載されたハードウェアを評価してよい。図示されたコンピュータは、テンキーパッドを有していない。図示されているもの等のノートブックコンピュータは、キーボードの文字部分の脇にテンキーパッドを含んでよく、又は、外部周辺キーパッドをサポートしていてもよく、示されている例示的なコンピューティングシステムはいずれも有さない。従って、コンピューティングシステムがユーザが周辺デバイスを描いたことを知ると、テンキーパッド等の、搭載されていない周辺デバイスだけのための描画テンプレートにアクセスしてよい。
【００１３】
アクティブなプログラム又はシステムハードウェアステータス又は両方を利用することにより、システムは、キーパッドに対応していてよいものにテンプレート又は形状認識パターンのセットを限定することができる。これにより、描画認識の信頼性及び速度が増す。そして描画をキーパッドと認識すると、ユーザは、あたかもキーパッドに対するように、キーパッドの描画に対してジェスチャを行い、数字及び文字を入力することができる。計算機プログラムが示されているが、任意の他のプログラムを利用してよい。スプレッドシート、税の確定申告プログラム、及び費用トラッキングプログラム等の他のアプリケーションが全て、専用のテンキーパッドを利用することで恩恵を被ることができる。他のタイプのプログラムにおいては、他のタイプの周辺機器が認識されてよい。ビデオ編集プログラムは、例えばスライダ及びジョグホイール等のためのテンプレートを有してよい。
【００１４】
図２は、コンピュータシステムの類似した利用法を示す。図２の例では、画面上に飛行機１２８が示されていることからわかるように、同じコンピュータが、飛行シミュレータ又は飛行機空中戦ゲームアプリケーションを実行している。コンピューティングシステムは次に、ユーザ１２２が用紙１２６の上にオブジェクト１２０を描画した、と観察する。コンピュータシステムは、飛行シミュレータプログラムについて可能な描画に基づいて、描画されたオブジェクトを、ジョイスティックによく似ていると認識することができる。他の描画も、ゲームに応じて許可されてよい。飛行シミュレータゲームは、更に、航空機のタイプに応じて、無線、位置調整機器、射撃及びデコイシステム（firing and decoy systems）を含む、様々なレバー及びスイッチをサポートしていてよい。飛行シミュレータゲームがアクティブなプログラムであると決定することにより、コンピュータシステムは、描画に関連したデバイスだけのためのテンプレートを適用することができるようになり、ジョイスティックによく似ていない場合であっても、描画がそのように解釈されるようになる。図示した例では、ノブが、例えば押下面とファイヤボタンとを有するものとして示されている。ユーザは次に、ノブとそのベゼルとにタッチして、コンピュータシステムのジョイスティックコマンドの効果を奏することができる。
【００１５】
図３は、ユーザ１３２が、描画されたオブジェクトの性質を示すことと異なる手法を適用する別の代替的実施形態を示す。ユーザ１３２は、用紙１３６の上にキーパッド１３０を描画したが、コンピュータがどのプログラムがアクティブかを決定する代わりに、ユーザが、描画が適用されるプログラムを選択する。アプリケーション選択ウィンドウ１３２は、例示目的で、単に「ＧＡＭＥ」というタイトルのゲーム１３３と、「ＣＡＬＣ」というタイトルの計算機アプリケーション１３４という、２つのアプリケーションのためのタイルを有する。ユーザは、コンピュータが描画を認識するのを助けるための２つのプログラムのうち１つを選択する。コンピュータは、選択を受信して、テンプレート選択システムに適用することで、描画１３０を用紙１３６に適用するためのテンプレートのセットを特定する。２つのアプリケーションのみが示されているが、システムは通常これよりずっと多くの選択肢を提示することができる。アプリケーションは、実施形態に応じて、トラックパッド１０５もしくはキーボード１０３を利用して、又は様々な他の方法のいずれかで選択されてよい。
【００１６】
選択されたプログラムは、コンピュータシステムに、描画されたオブジェクトの性質に関するインディケーションを提供する。コンピュータシステムは、これを利用して、計算機アプリケーションに関連付けられているテンプレートのセットを選択して、その後、キーパッド等の、計算機のための適切な周辺デバイスの特徴に対応する描画の特徴を認識する。このプログラム選択技術は、上述したハードウェアステータス技術と組み合わせられてよい。
【００１７】
図４は、コンピュータを助けて描画を特定する更なる例を示す。図４では、画面に２つのオープンプログラムが描画されている。計算機１４３はアクティブであり、前景にある。メディアプレーヤプリケーション１４１が背景で実行されている。ユーザは、コンピューティングシステムの前の用紙１４６の上にメディアプレーヤを制御するためのキーのセット１４０を描画した。キーは、前のトラック、巻き戻し、再生、早送り、及び次のトラック、音量上下に対する特定の共通のパターンで配置されてよいが、様々な他の従来のボタンの配置も別個に描画されてよい。この例では、コンピュータはまず第１に、前景の計算機プログラムのためのテンプレートに描画をマッチングさせようと試みてよい。それに失敗すると、コンピュータは次にメディアプレーヤプリケーション等の他の実行プログラムのためのテンプレートを試してよい。ひとたびコンピュータがこの描画を観察して、これを用紙１４６上に認識すると、それに特性を割り当て、ユーザはこれをメディアプレーヤを制御するために利用することができる。
【００１８】
ユーザは、用紙上の描画又は外部周辺機器によって計算機を利用したいと望んだりする場合がありえ、次に、メディアプレーヤコントロールを描画して、バックグラウンドミュージックを所望のように調整してよい。ユーザが次に７つのタイル１４０を描画するとき、コンピュータシステムは、実行プログラムに関連付けられているテンプレートライブラリにアクセスする。これにより、描画された制御パネルがメディアプレーヤに関連付られる。
【００１９】
テンプレート間のマッチングは、ユーザが、描画が適用される実行アプリケーションを示すことにより、より迅速に行われてもよい。ユーザは更に、まず、前景で実行されているアプリケーションのテンプレートではなくて、背景アプリケーションテンプレートをマッチングさせようと試みることを優先させてもよい。
【００２０】
図５Ａは、ユーザ１５５が、コンピュータシステム画面上にシーンを提示するアプリケーションに関与している異なるシナリオを示している。この場合、シーンは、海を見下ろす丘の上の城を示している。矢１５０と大砲１５２とをユーザが描画し、これらは前景アプリケーションのコンテキストにおいて、矢及び大砲の仮想オブジェクトとして解釈される。ユーザは、仮想的に矢と大砲とをページ１５６から手１５５で持ち上げて、その後、これらのオブジェクトをディスプレイ上のシーンに対して仮想的に発射することができる。これは、城を攻撃したり、又は、城を外敵からの攻撃から防御する手段として行われてよい（不図示）。
【００２１】
この利用モデルは、用紙及びカメラシステム１０２の幾つかの用途を提示する。まず、コンピュータシステムは、対話のコンテキストを認識する。この例のシステムステータスは、城の攻防に関する特定のゲームが実行されている、というものである。同じ手法を、多くの異なるアプリケーションに適用することもできる。このコンテキストのユーザは、システムカメラ１０２が観察した用紙の上のオブジェクトを描画して、例えば上述した手法を利用して特定を行う。これにおける及び上述した他のコンテキストにおけるオブジェクトの認識は、マッチングされたテンプレート等の例えば描画における認識されたオブジェクトの例示を示すことによりコンピューティングシステムによってユーザについて確認されてよい。混乱した場合には、システムは、代わりにユーザに選択を確認するよう要求してよい。
【００２２】
矢と大砲とを認識した後で、ユーザは、描画されたオブジェクトを仮想オブジェクトとして取り上げる手のジェスチャ等のエアジェスチャ１５２を提供する。手のジェスチャは、カメラ１０２により観察され、ジェスチャのライブラリを利用して認識することができる。認識されたジェスチャは次に、シーン１５４における城又は幾つかの他のオブジェクトに対して、矢、大砲、及び任意の他のサポートされている武器を発射するためのコマンドとして利用されてよい。
【００２３】
更なる代替例として、投射物を投げるジェスチャの代わりに、手１５２でキーボード１０３又はトラックパッド１０５を利用して、コンピュータシステムに対するコマンドを示してもよい。このコマンドは、取り上げる、及び、投げる手のジェスチャのコマンドと同じように利用されてよい。特定のキーボード又はトラックパッドコマンドが、コンテキスト又は特殊ツールに基づいていてよく、又は、アプリケーションを利用して選択を行うことができる。マウス、ジョグホイール、ゲームパッド、又はその他のデバイス等の更なる又は異なる入力デバイスをもつコンピューティングシステムについて、これらの入力デバイスが、示されているキーボード及びトラックパッドの代わりに又はこれに加えて利用されてよい。コンピュータシステムディスプレイ上に表示されているメニューシステムを利用して、マッチングする描画されたオブジェクトについてのカテゴリーを決定することができる。例えばユーザはゲームモードを選択してよい。これにより、描画がジョイスティックによく似ていない場合であっても、描画されたジョイスティックを認識することができる。
【００２４】
描画又は補助的な描画では、描画されたオブジェクトに特定の物理的特性を与えるために、キーボード、音声又は書き込みコマンドも利用することができる。音声コマンド、描画、ジェスチャ、又は接触入力を、描画された矢とともに利用することで、矢が火を噴く先端をもつことを示し、又は、矢が化合物又は従来の弓から発射されていることを示し、又は、矢が長い弓用のサイズであることを示す、等が可能である。別の例として、ミサイルのコンテキストで、特定のミサイルを正確に描画するのが難しい場合がある。しかしユーザは、一般化されたミサイルを描画して、次に、追加的なコマンドを利用して、それにどのように電力を供給するか、その速度及び範囲、的をどのように見つけるか、例えば熱で探す、無線波で探す、位置誘導、遠隔照準等、搭載している弾頭のタイプ、及びアプリケーションがサポートする任意の他の所望のパラメータを示すことができる。これら特徴の全てが、次に、発射中又はその後に、矢、大砲、又はミサイルの物理的特性を決定するために利用されてよい。
【００２５】
図５Ｂで、ユーザは、シーンで発射されていないが、シーンに配置はされている異なるタイプのオブジェクトを描画してよい。この例では、ユーザ１５５は、用紙上に船１５８を描画している。ユーザは次いで、船を取り上げ、ディスプレイが提示するシーン上に配置してよい。図５Ｃに示すように、ユーザは船をシーンの水上に配置している。これは、カメラ１０２によって観察されるので、システムが、船をシーンに加え、シーンは今、船を含んでいる。シーンに配置されると、船は、アプリケーションの性質に応じて、様々な異なる方法のいずれかで制御されてよい。同様の手法を、ビル、道路、又は機械等のオブジェクトが構築されたゲームに適用することもできる。同じ手法は更に、写真又はビデオ編集に、及び、様々なタイプの計画アプリケーションにも適用することができる。
【００２６】
描画されたオブジェクトである船は、船の描画のテンプレートにマッチングしている場合、アプリケーションによって、船の描画であると認識される。アプリケーションは、特定を船であるとして確認して、人員、プロビジョン、動力、及び武器を例えば含む、その物理的その他の特徴を確認する方法を提供してよい。ユーザは次に、船を用紙から取り上げて、シーンに配置したい旨をジェスチャにより示す。船は、特定の実装例に応じて、用紙からディスプレイに移動する又はしないための際に仮想オブジェクトとして表されてもよい。しかしひとたび画面上の位置に配置されると、レンダリングされたシーン及び周囲の表示又はゲーム空間における他のオブジェクトと同様の規則に従う、シーン内のレンダリングされたオブジェクトとなる。
【００２７】
図６は、コンピューティングシステム上でユーザがＬｉｎｅ  Ｒｉｄｅｒゲームをプレイする別の例を示す。ユーザは、用紙１６６上で曲線１６０を描いた。この曲線１６０は、カメラ１０２により観察され、ディスプレイ上にレンダリングされている。アクティブな前景のアプリケーションがＬｉｎｅ  Ｒｉｄｅｒゲームであるので、描画されたオブジェクトは、ライン１６０を、ライダが乗ろうとしているラインとして認識する。ユーザは、Ｌｉｎｅ  Ｒｉｄｅｒが乗るための、シーケンス状の多くのラインを、エラーが生じライダが落ちるまで描画する。ユーザは更に、順方向の加速を示すために進行方向に向かい右手の矢印１６２を描いて、逆方向の加速又はブレーキを示すために進行方向と反対の方向を指す左側の矢印１６４も描いた。これらの矢印は、ライダに適用する加速力を示すために利用されてよい。同様の手法を利用して、上述した船、矢、又は大砲等の他の仮想オブジェクト又はレンダリングされたオブジェクトの物理的特性を表すシンボルを描画してもよい。
【００２８】
コンピュータステータスはさらにユーザに、描画の省略形式表現を行うことも許可する。図４及び図５Ａの例では、厳密には描画が実際のアイテムに見た目が似ていない。しかし、そうであっても、既知のハードウェア又はソフトウェアステータス又は両方の助けを得て、コンピュータシステムは、描画を認識することができる。この原則は他のタイプの描画へも拡張されてよい。したがってユーザは、部分的にキーボードを描画して、「キーボード」ということもでき、システムは、次にこの描画を完全なキーボードと解釈することができる。ユーザは、この代わりに、部分的にマウスを描画して、「マウス」といって、同様の結果を生じさせることもできる。用紙上に描画されたキーボード又はマウスは、ユーザが描画に対してジェスチャをしたり又は描画を実際に物理的に移動すると、次に、コンピュータシステムディスプレイ上で仮想的に「移動」された又は操作された仮想３Ｄオブジェクトとなってよい。仮想入力デバイスは、ユーザの手の変更又はその他の位置に適合するように構成されてよい。
【００２９】
上述したプロセスは、以下のように言い直されたり、簡略化されてよい。コンピュータは、そのステータスを決定して、ステータスをユーザが行うことを意図する描画のタイプのインディケーションとして利用する。描画のタイプが特定されることに呼応して、コンピュータシステムはテンプレートライブラリにアクセスする。コンピュータシステムが利用に際して限られたテンプレートのセットを有するように、テンプレートは、描画のタイプに基づいて選択される。
【００３０】
コンピュータシステムは次に、ユーザの描画を観察する。描画は、カメラ又はタッチセンサ式の表面によって、又は別の方法で観察されてよい。描画においては、描画の反射のバリエーション、台形歪み、質の悪い又は故障したペンを利用することに起因したラインの厚みの不均一、又はその他の歪みが補正されてよい。カメラを利用することにより、ユーザは、望ましい任意の描画面を利用することができ、一方で、既知の書き込み面及びペンを利用することで、カメラが描画を特定及び観察することに関しうる画像の歪み及びエラーを低減させることができる。描画は選択されたテンプレートに比較される。マッチングしたものがみつかると、描画が特定される。
【００３１】
上述した例では、描画がキーパッド、ジョイスティック、武器又はゲームピースとして特定されているが、幅広い様々な他のアイテムのいずれかを描画してもよい。描画を認識すると、コンピュータシステムは、特定した描画に対して属性を割り当てる。これら属性は、アクセス可能な機能、ユーザ入力機能等であってよい。属性は、テンプレートに関する情報を利用して決定されてよい。したがって、描画がキーパッドテンプレートにマッチングしている場合には、テンプレートは、描画の特定の部分に対する接触が、「９」という数のキーの押下に割り当てられる、という情報を含んでよい。テンプレートは、「９」というキーの描画された境界を、テンプレートの一部として含んでよい。
【００３２】
図７は、上述した利用例で実行されるプロセスのプロセスフロー図である。７１０で、コンピュータシステムは、マッチングさせるための任意の所望のテンプレートを開始及びロードする（initiates and loads）。これらテンプレートは、書き込まれた単語、発話、及びエアジェスチャ、並びに描画にマッチングさせるためのテンプレートであってよい。テンプレートは、オペレーティングシステム、別個の描画認識アプリケーション、テンプレートを供給するユーザによって供給されてよく、又は、テンプレートは、ゲーム又は生産性アプリケーションの一部であってよい。
【００３３】
７１２で、ユーザは、上述したキーパッド又はジョイスティック等のシンボル又はオブジェクトを描画する。描画は、これらのオブジェクトのための任意の特定のテンプレート又は定義された形式と厳密にマッチングする必要はない。
【００３４】
７１４で、コンピュータシステムがそのステータスを決定する。上述したように、ステータスは、搭載された周辺機器があるか又はないか等のハードウェア構成、又は、前景又は背景アプリケーションが実行されているか又は実行さていないか等のソフトウェアステータスであってよい。決定されたステータスは、システムに対して、可能な選択肢を低減させたり、又は、システムに選択肢を課したりするためにシステムが利用できる描画のタイプを示す。７１２におけるオブジェクトを描画し、７１４におけるオブジェクトのタイプを決定する、という２つの動作は、任意の順序で実行されてよい。コンピュータシステムは、入力を両方とも受け取り、そのように動作する。
【００３５】
７１８で、システムは、決定されたステータスを利用して、描画に適用することができる描画テンプレートのライブラリにアクセスする。描画は、コンピュータシステムに連結されたカメラを利用して描画の画像をキャプチャすることによりキャプチャされてよい。キャプチャされた画像の形式又は他のデジタルファイルの描画は、次に、他のデジタルファイルとマッチングさせることができるデジタル形式に変換される。形式は、ビットマップ又は他の画像ファイルであってよく、又は、ユーザの描画の主要な特徴の抽象化された（abstracted）数学的表現であってよい。
【００３６】
７２２で、コンピュータシステムは、観察された描画を、７１８でアクセスした描画テンプレートのセットに比較する。これは、７１４で決定された描画タイプに基づく限定されたテンプレートのセットである。比較は、可能なテンプレート数が非常に低減されたために、より速く行うことができる。７２４で、システムはテンプレートを選択して、もしも観察された描画にマッチングしている場合には、７２８で、システムが属性を、描画の描画されたエレメントに対して割り当てる。システムは、全てのテンプレートを巡回して、マッチングするものが特定されないと、システムは他の動作を行う。単に描画を無視してもよい。後の時点で、ユーザがその描画に戻り、描画に詳細を提供する又は修正を加えた後で、システムは、別のマッチングをみつけようと試みることもできる。システムは又、幾つかのテンプレートをユーザに示して選択を乞うことで、又はユーザにそのオブジェクトが何かを書く、いう、又はタイプしてくれるよう頼むことで、ユーザに助けを要求することもできる。例えばシステムは、２又はそれ以上の可能なマッチングを描画に示し、その後、ユーザにテンプレートのうちの１つを正しいマッチングとして選択させることで、ユーザに対してクエリを行うことができる。
【００３７】
この代わりに、システムがその最良の推測を行い、ユーザが描いたものの近似（approximation）を利用してもよい。７１４におけるステータスに基づいて決定された描画タイプのために、近似が可能である。この結果、ユーザは、飛行シミュレータプログラムを利用して、その後、厳密にはジョイスティックには見えないものを描画することが可能である。コンピュータシステムは、非常によくできた描画のみを受理するのではなく、描画がプログラムに関連していることを検知して、ジョイスティック又はその他の航空計器（aeronautical instrument）を探し、その後、描画にジョイスティック設計を課すこともできる。コンピュータは、ジョイスティック属性に対応している５つのタイルのそれぞれに属性を割り当ててよい。マッチングされたテンプレートに応じて、タイルは、ボタン又は面として割り当てられてよい。同じように、キーパッドとして描かれた正方形には、様々な数字用パッドキーの属性が割り当てられてよい。右側の大きいほうの正方形は、例えば「＋」キーとして割り当てられてよく、一番下の正方形は「０」キーとして割り当てられてよい。５つのタイルの曖昧に一般化された描画は、あまりそれらしくみえないが、ジョイスティックボタン又は面として見ることができる。
【００３８】
次にプロセスは、７１２で、次のユーザの描画に戻る。プロセスフローは、完全に無関連の描画からやり直す。例えば、ユーザが、ジョイスティックを用紙のある１つの位置に描画して、その後、用紙の別の位置に、ＷＡＳＤキーの組み合わせ又は矢印キーの組み合わせを描画するような場合があるだろう。ユーザは次に、片手でキーを操作して、ジョイスティックをもう１つの手で操作してよい。
【００３９】
プロセスリターンによってユーザは描画を拡大することもできる。ジョイスティックの例では、ユーザはジョイスティックコマンドを入力して、ジョイスティックに更なるトリガ制御を追加することもできる。コンピュータシステムは、コマンドを受信して、又はその代わりに、ユーザがジョイスティック描画に対して追加をしようとしていると認識して、次に、向上したジョイスティックの描画に対してマッチングさせる異なるテンプレートを探してよい。キーボードでは、ユーザが１つのＷＡＳＤから開始して、後でスペースバー、シフトキー、又は、より多い機能のために望まれうるその他のキーを追加してよい。
【００４０】
図８は、上述した動作をサポートすることができるコンピューティング環境のブロック図である。モジュール及びシステムは、図９に示すものを含む様々な異なるハードウェアアーキテクチャ及びフォームファクタで実装することができる。
【００４１】
コマンド実行モジュール８０１は、コマンドをキャッシュ及び実行し、タスクを示されている他のモジュール及びシステム間に分散させるための中央処理装置を含む。中間結果及び最終結果を格納するための命令スタック及びキャッシュメモリ、並びに、アプリケーション及びオペレーティングシステムを格納するための大容量記憶デバイスを含むこともできる。コマンド実行モジュールは、更に、システムのための集中型調整及びタスク割り当てユニットとして機能してもよい。
【００４２】
画面レンダリングモジュール８２１は、ユーザに見てもらうために、１又は複数の画面の上にオブジェクトを描画する。後述するように、データを描画トラッキングモジュール８０６から受信するよう、及び、画面に描画の表現をレンダリングするよう適合させることもできる。画面レンダリングモジュールは、更に、ユーザと描画との間の対話を、ユーザが操作しているアプリケーション用のコマンドとしてレンダリングする。
【００４３】
ジェスチャ認識モジュール８２２は、ユーザの手及び腕のジェスチャを認識及びトラッキングするよう適合されてよい。このようなモジュールは、手、指、指のジェスチャ、手の動き、及び、描画に対する手の位置を認識するために利用されてよい。例えば、ジェスチャ認識システムは、例えば、ユーザが身体部位のジェスチャを行い、キーボード上の仮想ボタンを押下した、又は、ユーザが身体部位のジェスチャを行い、描画の仮想制御面を動かした、と決定することができる。ジェスチャ認識システムは、カメラ又はカメラのアレイ、マイク又はマイクのアレイ、タッチ画面又はタッチ面、又はポインティングデバイス、又は、これらアイテムの何らかの組み合わせに連結されて、ユーザからのジェスチャ及びコマンドを検出してよい。
【００４４】
ジェスチャ認識の様々な技術のいずれかを利用してよい。システムは、手、指、指のジェスチャ、手の動き、及び描画面に対する手の位置を認識するために利用されてよい。ジェスチャが前に描画され認識されたオブジェクトと、複数の予め定義された方法で対話する場合には、このモジュールは、ジェスチャを、マッチングされたオブジェクトの属性と組み合わせて、コンピューティングシステムがとる動作を決定する。そうでない場合には、ジェスチャは、純粋なジェスチャコマンドとして成立する。ジェスチャは、次いで、コマンド実行モジュール８０１によって実行されるための、コンピュータシステムに対するコマンドに変換されてよい。
【００４５】
描画検出モジュール８２３は、ユーザの手又はペンの位置又は向きをトラッキングするためのカメラ又はその他のセンサを搭載されていてよい。この代わりに、描画検出モジュールのタッチ画面又はタッチ面が、タッチ画面センサを含んでもよい。センサからのデータは、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせに供給されて、画面又は面上のユーザの手の接触ジェスチャを、対応する描画又は画像にマッピングしてよい。描画された入力は、ユーザが一時停止したとき、又はユーザが、ジェスチャ又は音声コマンド等の明示的な動作を行うときに完了すると想定することができる。
【００４６】
描画認識モジュール８２５は、描画され、及び、書かれた入力を認識する。描画認識モジュール８２５は、描画の部分を、コンピューティングデバイスに格納されているテンプレートオブジェクトにマッチングさせることにより、描画された入力を解釈する。このモジュールは、テンプレートのライブラリ全体に対してマッチングさせるよう開始されてもよいし、又は、他のビジュアル入力又はユーザコマンドを利用して、ライブラリのサブセットに対するマッチングを行ってもよい。描画認識モジュールは更に、台形補正を含んでよい。画像がある角度でキャプチャされるとき、テンプレートライブラリに対してマッチングを行う前に、角度をもったビューが生じる歪みを補正する必要がある。台形補正は、カメラ及び描画面の位置に関する知識により補助されてよい。示されているノートブックコンピュータの例では、コンピュータが、デスクにあるケースの一番下から画面ベゼルの一番上のカメラの概ねの高さの値で構成することができる。この値は、ケースの設計によって決定され、同じケースの各コンピュータについて同じとなる。
【００４７】
描画オブジェクトテンプレートモジュール８０４は、キーパッド、タッチパッド、及びコマンドボタン等の入力デバイスのテンプレートを格納する。ユーザが、マッチングする特徴をもつ入力デバイスを描くとき、テンプレートの属性は、描画の振る舞いと、ユーザの対話がそれに影響を及ぼすかとを決定する。
【００４８】
描画トラッキングモジュール８０６は、段階的の又は層的に、複雑な描画の展開をトラッキングする。ユーザが画像の複雑なオブジェクトのエレメントを段階的に追加するとき、このモジュールは、現在の描画された入力と以前の描画された入力との間の差分（delta）を決定する。描画がコンピューティングデバイスに対して移動した場合には、このモジュールは、新たな向きを決定して、描画は移動しても、連続した入力を可能とする。
【００４９】
オブジェクト速度及び方向モジュール８０３は、描画トラッカーモジュール８０６から入力を受け取ることで、移動される描画のダイナミクスを、仮想オブジェクトとして推定するよう適合されてよく、ダイナミクスとは、例えば、その軌跡、速度（線形又は角度）、運動量（線形又は角度）等である。オブジェクト速度及び方向モジュール８０３は更に、例えばユーザのジェスチャの加速、偏向等を推定することにより、任意の物理的力のダイナミクスを推定するよう適合されてよい。オブジェクト速度及び方向モジュール８０３は、更に、画像の動き、サイズ、及び角度の変更を利用して、手及び指の速度等の、オブジェクトの速度を推定してよい。
【００５０】
運動量及び慣性モジュール８０２は、ユーザ入力に基づいて様々な「物理的」振る舞いを許可する。速い又は遅いスクロール又はスワイプを、例えば運動量に結び付けてもよい（attributed to）。このモジュールは、ユーザのジェスチャ及び描画にマッチングさせる物理テンプレートを有して、画面上のオブジェクトの加速等の振る舞いを追加することができる。描画用紙又は三次元空間の平面における描画の動き及びユーザの動きを利用して、描画に関する仮想オブジェクトの速度及び方向を推定することができる。運動量及び慣性モジュール８０２は、オブジェクト及びジェスチャ認識システム８２２に連結されて、手、指、及びその他の身体部位が実行するジェスチャの速度を推定して、これらの推定を適用することで、ジェスチャが影響を与えることになる仮想オブジェクトに対する運動量及び速度を決定する。
【００５１】
三次元画像対話及び効果モジュール８０５は、１又は複数の画面を超えるように見える三次元画像とのユーザの対話をトラッキングする。ｚ軸のオブジェクトの影響（画面の平面への、又は画面の平面から離れる方向の）は、これらオブジェクトの互いに対する相対的影響とともに計算することができる。例えば、ユーザのジェスチャが投入するオブジェクトは、仮想オブジェクトが画面の平面に到達する前に前景の三次元オブジェクトの影響をうける場合がある。これらのオブジェクトは、投射物の方向又は速度を変更して、又は、完全に破壊してよい。オブジェクトは、三次元画像対話及び効果モジュール８０５によって、ディスプレイの１又は複数の前景にレンダリングすることができる。
【００５２】
図７を参照してより詳しく述べるが、図８のコンピューティングシステムは、描画検出モジュール８２３の主導により動作する。アプリケーションの起動又は音声コマンド等の他のユーザ入力によって開始される。ユーザは描画を作成し、次に、（上述したように）描画された入力が完了したことを示す。描画認識モジュール８２５は、描画をテンプレートライブラリに対してマッチングさせる。アプリケーションによって変化しうる、ある程度の確実性をもつマッチングに到達すると、描画トラッキングモジュール８０６は、描画を属性のセットに関連付ける。次いでユーザが、マッチングされた描画の上にジェスチャを行う場合、システムは、属性のマッチングセットに従ってコマンドを実行する。
【００５３】
図９は、パーソナルコンピュータ、ゲームコンソール、スマートフォン、又は可搬型ゲームデバイス等のコンピューティングシステムのブロック図である。コンピュータシステム９００は、情報を通信するためのバス又は他の通信手段９０１と、情報を処理するための、バス９０１に連結されたマイクロプロセッサ９０２等の処理手段とを含む。コンピュータシステム９００は、特に並列パイプラインによってグラフィックをレンダリングするためのグラフィックプロセッサ９０３と、上述した物理的対話を計算するための物理プロセッサ９０５とで増強されてよい。これらのプロセッサは、中央プロセッサ９０２に組み込まれてよく、又は１又は複数の別個のプロセッサとして提供されてよい。
【００５４】
コンピュータシステム９００は更に、プロセッサ９０２によって実行される情報及び命令を格納するための、バス９０１に連結されたランダムアクセスメモリ（ＲＡＭ）又は他のダイナミックデータストレージデバイス等のメインメモリ９０４を含む。メインメモリは更に、プロセッサによる命令の実行中に、一時的変数又は他の中間情報を格納するために利用されてよい。コンピュータシステムは更に、プロセッサのためのスタティック情報及び命令を格納するための、バスに連結された、読み出し専用メモリ（ＲＯＭ）又は他のスタティックデータストレージデバイス等の不揮発性メモリ９０６を含んでよい。
【００５５】
磁気ディスク、光ディスク、又は固体アレイ等の大容量メモリ９０７及び対応するドライブが、更に、情報及び命令を格納するためにコンピュータシステムのバスに連結されてよい。コンピュータシステムは更に、バスによって、情報をユーザに表示するために、液晶ディスプレイ（ＬＣＤ）又は有機発光ダイオード（ＯＬＥＤ）アレイ等の表示デバイス又はモニタ９２１に連結することができる。例えば、上述した様々なビュー及びユーザの対話に加えて、インストールステータス、オペレーションステータス、及びその他の情報のグラフィック及びテキストインディケーションが、表示デバイス上でユーザに提示されてよい。
【００５６】
通常、英数字、機能、及びその他のキーを持つキーボード等のユーザ入力デバイスが、情報及びコマンド選択をプロセッサに通信するためにバスに連結されてよい。更なるユーザ入力デバイスが、マウス、トラックボール、トラックパッド等のカーソル制御入力デバイスを含むことができ、又は、カーソル方向キーは、方向情報及びコマンド選択をプロセッサに通信し、ディスプレイ９２１上のカーソルの動きを制御するために、バスに連結することができる。
【００５７】
カメラ及びマイクのアレイ９２３は、ジェスチャを観察して、オーディオ及びビデオを記録して、上述したビジュアル及びオーディオコマンドを受信するために、バスに連結される。
【００５８】
通信インタフェース９２５もバス９０１に連結される。通信インタフェースは、例えば通信リンクを提供してローカル又はワイドエリアネットワーク（ＬＡＮ又はＷＡＮ）をサポートする目的のために、Ｅｔｈｅｒｎｅｔ（登録商標）、トークンリング、又はその他のタイプの物理的有線又は無線の接続を連結するために利用されるもののような、モデム、ネットワークインタフェースカード、又はその他の公知のインタフェースデバイスを含んでよい。このようにして、コンピュータシステムは更に、例えば複数の周辺デバイス、他のクライアント又は制御面又はコンソール、又はサーバに、イントラネット又はインターネットを含む従来のネットワークインフラストラクチャを介して連結されてよい。
【００５９】
上述した例より少ない又は多い搭載されたシステムが、特定の実装例には好適な場合がある。従って、例示的なシステム８００及び９００の構成は、価格の制約、性能要件、技術的向上、又はその他の状況等の複数のエレメントに応じて実装例毎に変化してよい。
【００６０】
実施形態は、ペアレントボードを利用して相互接続された１又は複数のマイクチップ又は集積回路、ハードワイヤ論理、メモリデバイスが格納しマイクロプロセッサによって実行されるソフトウェア、ファームウェア、特定用途向け集積回路（ＡＳＩＣ）、及び／又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）のいずれか又はこれらの組み合わせとして実装されてよい。「論理」という用語は、例えば、ソフトウェア又はハードウェア及び／又はソフトウェアとハードウェアとの組み合わせを含む。
【００６１】
実施形態は例えば、コンピュータ、コンピュータのネットワーク、又は他の電子デバイス等の１又は複数の機械によって実行されると、１又は複数の機械に本発明の実施形態による動作を実行させる機械実行可能命令を格納した１又は複数の機械可読媒体を含むことができるコンピュータプログラムプロダクトとして提供されてよい。機械可読媒体は、これらに限定はされないが、フロッピー（登録商標）ディスク、光ディスク、ＣＤ−ＲＯＭ（コンパクトディスク−読み出し専用メモリ）、及び光磁気ディスク、ＲＯＭ（読み出し専用メモリ）、ＲＡＭ（ランダムアクセスメモリ）、ＥＰＲＯＭ（消去可能プログラム可能読み出し専用メモリ）、ＥＥＰＲＯＭ（電気的消去可能プログラム可能読み出し専用メモリ）、磁気カード又は光カード、フラッシュメモリ、又はその他のタイプの、機械実行可能命令を格納する用途に適した媒体／機械可読媒体を含んでよい。
【００６２】
更に、実施形態は、コンピュータプログラムプロダクトとしてダウンロードされてよく、プログラムが遠隔コンピュータ（例えばサーバ）から要求を発したコンピュータ（例えばクライアント）に、搬送波内に実現された及び／又は搬送波によって変調された１又は複数のデータ信号によって、又は、通信リンクを介した他の伝播媒体によって（例えばモデム及び／又はネットワーク接続によって）転送されてよい。従って、ここで利用する機械可読媒体は、必須ではないが搬送波等を含んでよい。
【００６３】
「１つの実施形態」「ある実施形態」「例示的な実施形態」「様々な実施形態」等の言及は、記載されている本発明の実施形態が、特定の特徴、構造、又は特性を含みうるが、必ずしも全ての実施形態がこれら特定の特徴、構造、又は特性を含まねばならないというわけではない。更に、一部の実施形態は、他の実施形態について記載した特徴の一部、全てを含んでもよいし、又は、まったく含まなくてもよい。
【００６４】
以下の記載及び請求項において、「連結」およびその派生語が利用される場合がある。「連結」は、２又はそれ以上のエレメント同士が共同したり又は相互作用したりすることを意味するために利用されているが、これらの間に物理的又は電気的なコンポーネントが介在していてもいなくてもよい。
【００６５】
請求項では、そうではないと明記しない限り、共通のエレメントを記載するための「第１」「第２」「第３」等の序数形容詞は、単に、同様のエレメントの異なるインスタンスのことを示していることを意味しているのであって、記載されているエレメントが、時間的、空間的、ランク上、又は任意の他の様式の一定の順序でなくてはならないということを意図しているわけではない。
【００６６】
図面及び前述した説明は、実施形態の例示である。当業者であれば、記載されているエレメントの１又は複数が組み合わせられて１つの機能上のエレメントを構成してもよいことを理解する。この代わりに、特定のエレメントを複数の機能上のエレメントに分割してもよい。１つの実施形態のエレメントを別の実施形態に加えることもできる。例えば、ここで記載するプロセスの順序は、変更することができ、ここで記載した方法に限定されない。更に、フロー図の動作は、必ずしも示されている順序で実装されねばならないというわけではなく、動作全てを実行せねばならないというわけでもない。加えて、これら動作は他の動作に依存せず、他の動作と並列実行されてもよい。実施形態の範囲は、これらの具体例によって限定されない。明細書に明示されていようと又はいまいと、異なる構造、寸法、及び材料の利用等の、複数の変形例が可能である。実施形態の範囲は、少なくとも以下の請求項が示す範囲の広さを持つ。
【図１】
2015503794.tif 000003
【図２】
2015503794.tif 000004
【図３】
2015503794.tif 000005
【図４】
2015503794.tif 000006
【図５Ａ】
2015503794.tif 000007
【図５Ｂ】
2015503794.tif 000008
【図５Ｃ】
2015503794.tif 000009
【図６】
2015503794.tif 000010
【図７】
2015503794.tif 000011
【図８】
2015503794.tif 000012
【図９】
2015503794.tif 000013
【手続補正書】
【提出日】平成26年7月22日(2014.7.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピュータシステムにて、描画のタイプを示す前記コンピュータシステムのステータスを決定する段階と、
前記描画のタイプに関連付けられた複数の描画テンプレートからなるライブラリにアクセスする段階と、
前記コンピュータシステムにてユーザの描画を観察する段階と、
前記観察された描画を特定するために、前記観察された描画を前記複数の描画テンプレートに比較する段階と、
前記特定された描画に複数の属性を割り当てる段階と
を備える方法。
【請求項２】
前記ステータスを決定する段階は、
搭載されているハードウェアのステータス、アクティブなプログラムのステータス、及び、背景プログラムのステータスのうち１つを決定する段階を有する、請求項１に記載の方法。
【請求項３】
前記描画のタイプは、ユーザ入力デバイスのタイプである、請求項１又は２に記載の方法。
【請求項４】
前記デバイスはキーパッドである、請求項３に記載の方法。
【請求項５】
更に、ロードされたアプリケーションとともに利用するための複数の描画テンプレートをロードする段階を備え、
前記ステータスを決定する段階は、
前記ロードされたアプリケーションがアクティブであると決定する段階を有し、
前記ライブラリにアクセスする段階は、
前記アクティブなアプリケーションのために、前記ロードされた複数の描画テンプレートにアクセスする段階を有する、請求項１に記載の方法。
【請求項６】
前記複数の描画テンプレートは、複数のユーザ入力デバイスの複数の異なる構成及びタイプに対応している、請求項５に記載の方法。
【請求項７】
前記複数の描画テンプレートからなるライブラリは、前記コンピュータシステム上で実行されているアプリケーションによって提供される、請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記ライブラリにアクセスする段階は、
前記描画のタイプに基づいて、複数の描画テンプレートからなる複数の異なるライブラリのうち１つを選択する段階を有する、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記ユーザの描画を観察する段階は、
前記コンピュータシステムに接続されているカメラを利用して前記描画のなかの画像をキャプチャする段階を有する、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記キャプチャされた画像の、前記カメラと前記描画との間の相対位置によって生じる歪みを補正する段階を更に備える、請求項９に記載の方法。
【請求項１１】
前記複数の属性を割り当てる段階は、
前記描画に複数の制御面を割り当てる段階を有する、請求項１から１０のいずれか一項に記載の方法。
【請求項１２】
前記複数の属性を割り当てる段階は、
前記描画の複数の部分に複数のキーを割り当てる段階を有する、請求項１から１１のいずれか一項に記載の方法。
【請求項１３】
請求項１から１２のいずれか一項に記載の方法を実行するための手段を備える装置。
【請求項１４】
コンピュータに、
コンピュータシステムにて、描画のタイプを示す前記コンピュータシステムのステータスを決定する手順と、
前記描画のタイプに関連付けられた複数の描画テンプレートからなるライブラリにアクセスする手順と、
前記コンピュータシステムにてユーザの描画を観察する手順と、
前記観察された描画を特定するために、前記観察された描画を前記複数の描画テンプレートに比較する手順と、
前記特定された描画に複数の属性を割り当てる手順と
を実行させるプログラム。
【請求項１５】
前記ステータスを決定する手順は、
搭載されているハードウェアのステータス、アクティブなプログラムのステータス、及び、背景プログラムのステータスのうち１つを決定する手順を有する、請求項１４に記載のプログラム。
【請求項１６】
前記ライブラリにアクセスする手順は、
前記描画のタイプに基づいて、複数の描画テンプレートからなる複数の異なるライブラリのうち１つを選択する手順を有する、請求項１４又は１５に記載のプログラム。
【請求項１７】
コンピュータシステムにて、描画のタイプを示す前記コンピュータシステムのステータスを決定するコマンド実行モジュールと、
ユーザの描画を観察する描画検出モジュールと、
前記描画のタイプに関連付けられた複数の描画テンプレートからなるライブラリにアクセスして、前記観察された描画を特定するために、前記観察された描画を前記複数の描画テンプレートに比較して、前記特定された描画に複数の属性を割り当てる描画オブジェクトテンプレートモジュールと、を備えるシステム。
【請求項１８】
前記描画検出モジュールが利用するための前記描画のなかの画像をキャプチャするカメラを更に備える、請求項１７に記載のシステム。
【請求項１９】
前記特定された描画に関連付けられたユーザのジェスチャを、コマンドとして認識して、実行させるべく前記コマンドを前記コマンド実行モジュールに送るジェスチャ認識モジュールを更に備える、請求項１７又は１８に記載のシステム。
【国際調査報告】
2015503794.tif 000014
2015503794.tif 000015
2015503794.tif 000016