(57)【要約】【課題】マルチポイント感知装置、及びそのマルチポイント感知装置でジェスチャーを実施する方法を提供する。【解決手段】感知装置でジェスチャーを実施する方法及びシステムが開示される。より詳細には、マルチポイント感知装置でのジェスチャーに関連した方法及びシステムが開示される。【選択図】図１
2010517197.tif 000002
【特許請求の範囲】
【請求項１】
１つ以上のオブジェクトから入力を受け取るためのマルチポイント感知エリアを与えるマルチポイント感知装置と、
前記マルチポイント感知装置のマルチポイント感知エリアによって受け取られる所与の入力取り合せに対してジェスチャーセットを決定し、そのジェスチャーセットに含まれた１つ以上のジェスチャーイベントに対して前記所与の入力取り合せを監視し、そしてジェスチャーイベントが前記入力取り合せで遂行されるときにジェスチャーイベントに関連した入力アクションを開始するように構成されたジェスチャーモジュールと、
を備えた電子システム。
【請求項２】
前記マルチポイント感知装置は、タッチ感知装置である、請求項１に記載の電子システム。
【請求項３】
前記マルチポイント感知装置は、接近感知装置である、請求項１に記載の電子システム。
【請求項４】
前記ジェスチャーモジュールは、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組み合わせによって実施される、請求項１に記載の電子システム。
【請求項５】
前記電子システムは、デスクトップ、ラップトップ、タブレット又はハンドヘルドコンピュータを含むコンピュータシステムに関連される、請求項１に記載の電子システム。
【請求項６】
前記電子システムは、セルラーホン、ＰＤＡ、又は専用メディアプレーヤを含むハンドヘルド消費者向け電子装置に関連される、請求項１に記載の電子システム。
【請求項７】
前記ジェスチャーセットは、前記感知エリア内の前記入力取り合せの位置、オープンアプリケーション、オープンアプリケーションの状態、入力ファンクション、又は付加的な入力特性を含む１つ以上のファクタにより決定される、請求項１に記載の電子システム。
【請求項８】
前記入力アクションは、状態コマンドである、請求項１に記載の電子システム。
【請求項９】
前記入力アクションは、操作コマンドである、請求項１に記載の電子システム。
【請求項１０】
前記ジェスチャーイベントは、前記入力取り合せによって遂行される、請求項１に記載の電子システム。
【請求項１１】
前記ジェスチャーイベントは、前記入力取り合せのサブセットにより遂行される、請求項１に記載の電子システム。
【請求項１２】
前記ジェスチャーセットの決定は、特定の入力取り合せを確認することを含み、前記所与の入力取り合せの監視は、前記ジェスチャーセットに関連したジェスチャーイベントを確認することを含む、請求項１に記載の電子システム。
【請求項１３】
前記ジェスチャーイベントの確認は、前記入力取り合せの各入力の特性を分析し、前記入力取り合せに関連した特定パターンを識別し、そして前記ジェスチャーセットを参照して、前記特定パターンが前記ジェスチャーセットに関連したジェスチャーイベントに一致するかどうか調べることを含む、請求項１２に記載の電子システム。
【請求項１４】
ジェスチャーイベントは、動き、タップ、圧力及び休止から選択できるタッチに関連される、請求項１に記載の電子システム。
【請求項１５】
動きは、スライド、スワイプ、フリッキング、及び回転から選択される、請求項１４に記載の電子システム。
【請求項１６】
動きは、２つ以上の入力間の収縮又は膨張である、請求項１４に記載の電子システム。
【請求項１７】
タップは、１／２タップ、全タップ、複数タップ、素早いタップ及びゆっくりのタップから選択される、請求項１４に記載の電子システム。
【請求項１８】
圧力は、重いプレス及び軽いプレスに関連される、請求項１４に記載の電子システム。
【請求項１９】
休止は、長い又は短い固定ポーズに関連される、請求項１４に記載の電子システム。
【請求項２０】
前記ジェスチャーセットは、異なるジェスチャーイベント及び異なるコマンドのマトリクスで構成される、請求項１４に記載の電子システム。
【請求項２１】
前記ジェスチャーセットは、９個の異なるジェスチャーイベント及び９個の異なるコマンドの３ｘ３マトリクスで構成される、請求項２０に記載の電子システム。
【請求項２２】
前記９個の異なるジェスチャーイベントは、ＣＣＷ回転、ＣＷ回転、拡散、収縮、左スワイプ、右スワイプ、アップスワイプ、ダウンスワイプ、及びタップを含む、請求項２０に記載の電子システム。
【請求項２３】
感知エリア内の複数のポイントを同時に検出するステップと、
前記感知エリア内で１つ以上のポイントが検出されたときにコードを決定するステップであって、コードとは、前記感知エリア内のポイントの特定の取り合せであるようなステップと、
１つ以上のジェスチャーイベントにコマンドを関連付けるジェスチャーセットを決定するステップと、
前記ジェスチャーイベントに対してポイントを監視するステップと、
前記ジェスチャーイベントが確認された場合に、前記ジェスチャーイベントに関連したコマンドを遂行するステップと、
を備えたジェスチャー制御方法。
【請求項２４】
前記ポイントは、タッチ感知面に生じるタッチに関連付けられる、請求項２３に記載の方法。
【請求項２５】
前記ポイントは、表面特徴部上に生じる近タッチに関連付けられる、請求項２３に記載の方法。
【請求項２７】
前記コードは、１つ以上の手の全部又は一部分で作られる、請求項２３に記載の方法。
【請求項２８】
前記コードは、多数の未知のポイントに基づく、請求項２３に記載の方法。
【請求項２９】
前記コードは、既知のポイントの特定の取り合せに基づく、請求項２３に記載の方法。
【請求項３０】
前記コードは、ポイントが互いに接近するか、中性位置にあるか、又は分散するかに基づく、請求項２３に記載の方法。
【請求項３１】
前記コードは、接触が互いに隣接するか又はオフセットするかに基づく、請求項２３に記載の方法。
【請求項３２】
前記コードは、それらが左手からものか右手からのものかに基づく、請求項２３に記載の方法。
【請求項３３】
前記コードの決定は、オブジェクトが感知エリアにタッチ又は近タッチすることにより生成される映像を分析し、そしてその映像からポイントの特定の取り合せを確認することを含む、請求項２３に記載の方法。
【請求項３４】
前記ジェスチャーセットは、コードに基づく、請求項２３に記載の方法。
【請求項３５】
前記ジェスチャーセットは、コードの位置、オープンアプリケーション、アプリケーションの状態、及び／又はポイントの特性を含む付加的なファクタにも基づく、請求項３４に記載の方法。
【請求項３６】
前記ジェスチャーセットは、入力ファンクションに関連付けられる、請求項２３に記載の方法。
【請求項３７】
前記入力ファンクションは、ナビゲーションオペレーション、ファイルオペレーション、編集オペレーション、ビューオペレーション、フォーマットオペレーション、ツールオペレーション又はウェブブラウジングオペレーションから選択される、請求項３６に記載の方法。
【請求項３８】
前記コマンドは、状態コマンド及び操作コマンドから選択される、請求項３７に記載の方法。
【請求項３９】
前記ジェスチャーイベントの確認は、ポイントの特性を分析し、特定のパターンを識別し、そしてジェスチャーセットと、ジェスチャーイベントのそのリストとを参照し、パターンがジェスチャーセットのジェスチャーイベントに一致する場合に、そのパターンがジェスチャーイベントであると仮定することを含む、請求項２３に記載の方法。
【請求項４０】
前記ポイントの特性は、動き、タップ、圧力、又は休止を含む一次の事柄と、速度、方向、配向、サイズ、時間巾、形状又は長さを含む二次の事柄とを含む、請求項３９に記載の方法。
【請求項４１】
前記ジェスチャーイベントは、動き、タップ、圧力及び休止に関連付けられる、請求項２３に記載の方法。
【請求項４２】
動きは、スライド、スワイプ、フリック、及び回転から選択される、請求項４１に記載の方法。
【請求項４３】
動きは、２つ以上の入力間での収縮又は膨張である、請求項４１に記載の方法。
【請求項４４】
タップは、Ｙ２タップ、全タップ、複数タップ、素早いタップ、及びゆっくりとしたタップから選択される、請求項４１に記載の方法。
【請求項４５】
圧力は、重いプレス及び軽いプレスに関連される、請求項４１に記載の方法。
【請求項４６】
休止は、長い又は短い固定ポーズに関連される、請求項４１に記載の方法。
【請求項４７】
前記ジェスチャーセットは、異なるジェスチャーイベント及び異なるコマンドのマトリクスで構成される、請求項２３に記載の方法。
【請求項４８】
前記ジェスチャーセットは、９個の異なるジェスチャーイベント及び９個の異なるコマンドの３ｘ３マトリクスで構成される、請求項４７に記載の方法。
【請求項４９】
前記９個の異なるジェスチャーイベントは、ＣＣＷ回転、ＣＷ回転、拡散、収縮、左スワイプ、右スワイプ、アップスワイプ、ダウンスワイプ、及びタップを含む、請求項４８に記載の方法。
【請求項５０】
スイッチングイベントが遂行されたかどうか決定することを更に含み、スイッチングイベントは、オペレーションをリセットするか又はコード変化を開始するイベントを指す、請求項２３に記載の方法。
【請求項５１】
前記スイッチングイベントは、次のオペレーション、即ちａ）所定の時間中に感知エリアから全てのポイントを除去し、ｂ）コードを変更し、ｃ）感知エリアにポイントを追加し／減少し、ｄ）所定の時間中にポイントを固定保持し、ｅ）特定キーのエントリー又はボタンクリックを検出し、又はｆ）ジェスチャーイベントを検出する、の１つにより実施される、請求項２３に記載の方法。
【請求項５２】
タッチ又は近タッチを検出するステップと、
タッチが検出された場合に、そのタッチに対してジェスチャーセットを決定するステップであって、ジェスチャーセットは、コマンドを呼び起こし又は開始するための１つ以上のジェスチャーイベントを含むものであるステップと、
ジェスチャーセットに関連したジェスチャーイベントに対してタッチを監視するステップと、
ジェスチャーセットに関連したジェスチャーイベントが遂行されるときにコマンドを開始するステップと、
を備えた制御オペレーション。
【請求項５３】
前記ジェスチャーセットは、タッチ特性、タッチ位置、オープンアプリケーション及び／又はアプリケーションのモードに依存する、請求項５２に記載のオペレーション。
【請求項５４】
タッチパッド、タッチスクリーン又はタッチ感知ハウジングのようなタッチ装置を経てタッチ又は近タッチが検出される、請求項５２に記載のオペレーション。
【請求項５５】
タッチ動作を監視するステップと、
タッチ動作を第１状態と第２状態との間で区別するステップと、
タッチ動作が第１状態に関連する場合に第１アクションを遂行するステップと、
タッチ動作が第２状態に関連する場合に第２アクションを遂行するステップと、
を備えたジェスチャーオペレーション。
【請求項５６】
前記タッチ動作は、スライド動作であり、前記第１状態は、フリックであり、そして前記第２状態は、スワイプである、請求項５５に記載のジェスチャーオペレーション。
【請求項５７】
タッチ感知面を含む第１の入力装置、及び第２の入力装置を準備するステップと、
入力イベントに対して前記第１の入力装置を監視するステップと、
入力イベントに対して前記第２の入力装置を同時に監視するステップと、
前記第１の入力装置に関連した入力イベントに基づいて入力オペレーションを遂行するステップと、
前記第２の入力装置に関連した入力イベントに基づいて入力オペレーションを同時に遂行するステップと、
を備えた制御オペレーション。
【請求項５８】
前記第１の入力装置は、マウスである、請求項５７に記載の制御オペレーション。
【請求項５９】
入力ファンクションのリストを準備するステップであって、入力ファンクションは、コマンド及びコマンドにリンクされたジェスチャーイベントを有し、コマンドは、入力ファンクションに関係しているステップと、
コードに入力ファンクションを指定するステップと、
コードが確認されたときにそのコードに入力ファンクションをリンクするステップと、
を備えた制御オペレーション。
【請求項６０】
前記入力ファンクションは、ナビゲーションオペレーション、ファイルオペレーション、編集オペレーション、ビューオペレーション、フォーマットオペレーション、ツールオペレーション又はウェブブラウジングオペレーションから選択される、請求項５９に記載の制御オペレーション。
【請求項６１】
前記ジェスチャーイベントは、コードによって遂行されるアクションである、請求項５９に記載の制御オペレーション。
【請求項６２】
前記ジェスチャーイベントは、回転、グループとしての並進移動、互いの並進移動、及び／又はタップから選択される、請求項５９に記載の制御オペレーション。
【請求項６３】
前記ジェスチャーイベントは、直感的な仕方でコマンドにリンクされる、請求項５９に記載の制御オペレーション。
【請求項６４】
相補的コマンドが相補的ジェスチャーイベントにリンクされる、請求項５９に記載の制御オペレーション。
【請求項６５】
コードは、指の取り合せである、請求項５９に記載の制御オペレーション。
【請求項６６】
前記コードへの入力ファンクションの指定は、入力ファンクションのメニューから入力ファンクションを選択し、そしてコードのメニューリストからコードを選択することを含む、請求項５９に記載の制御オペレーション。
【請求項６７】
入力ファンクションのメニューを表示し、
選択された入力ファンクションに関連したコマンド及びコマンドに指定されたジェスチャーイベントを示すジェスチャーセットを表示し、
コードのリストを表示し、
ジェスチャーマップを設定するため、ユーザは、入力ファンクションのリストから希望の入力ファンクションを選択すると共に、コードのリストから希望のコードを選択する、
ことを含む制御パネル。
【請求項６８】
コードを、遂行が最も容易から最も困難へとランク付けし、
オペレーションの頻度を、最大頻度から低頻度へとランク付けし、
最も容易なコードを最大頻度のオペレーションに実質的にマッチングさせ且つ最も困難なコードを低頻度のオペレーションにマッチングさせ、
コード／オペレーショングループ化を微同調させる、
ことを含むジェスチャー設計プロセス。
【請求項６９】
コードは、速度、信頼性、快適性、使い易さ、簡単さ、又は感知エリアのサイズから選択された１つ以上の属性に基づいてランク付けされる、請求項６８に記載のプロセス。
【請求項７０】
微同調は、相補的コマンド、直感性、クロストーク、又は編成を含む１つ以上のファクタに基づく、請求項６８に記載のプロセス。
【請求項７１】
第１の指を検出し、
指の状態を決定し、
１つ以上の付加的な指を検出し、
付加的な指の状態を決定し、
第１の指及び付加的な指の互いの状態のタイミングに基づいて異なる入力モードを実施する、
ことを含むジェスチャーオペレーション。
【請求項７２】
第１の指が２つの状態のうちの第１状態にある場合には、付加的な指が２つの状態のうちの第１状態にあるときに、第１の入力モードが実施され、さもなければ、第２の入力モードが実施される、請求項７１に記載のジェスチャーオペレーション。
【請求項７３】
第１の指の状態は、移動又は固定を含み、付加的な指の状態は、存在するか否かを含み、第１の指が移動である場合に、ポインティング入力モードが実施され、そして第１の指が固定である場合には、付加的な指が存在するとき、ドラグモードが実施される、請求項７１に記載のジェスチャーオペレーション。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、マルチポイント感知装置に関連したジェスチャーに係る。
【０００２】
関連出願との相互参照：
本出願は、参考としてここに援用する２００６年１月３０日に出願された“GESTURING WITH A MULTIPOINT SENSING DEVICE”と題する米国プロビジョナル特許出願第６０／７６３，６０５号の優先権の利益を主張する。
本出願は、参考としてここに援用する２００４年７月３０日に出願された“GESTURES FOR TOUCH SENSITIVE INPUT DEVICES”と題する米国特許出願第１０／９０３，９６４号の一部継続出願である。
本出願は、２００４年１２月１７日に出願された“METHOD AND APPARATUS FOR INTEGRATING MANUAL INPUT”と題する米国特許出願第１１／０１５，４３４号の一部継続出願であり、これは、２００１年１１月２７日に発行された米国特許第６，３２３，８４６号の優先権を主張するものであり、これは、１９９８年１月２６日に出願された米国プロビジョナル特許出願第６０／０７２，５０９号の優先権を主張するものであり、これらは、全て、参考としてここに援用する。
又、本出願は、各々参考としてここに援用する次の特許出願にも関連している。
２００３年９月２日に出願された“AMBIDEXTROUS MOUSE”と題する米国特許出願第１０／６５４，１０８号；
２００４年２月２７日に出願された“SHAPE DETECTING INPUT DEVICE”と題する米国特許出願第１０／７８９，６７６号；
２００４年５月６日に出願された“MULTIPOINT TOUCHSCREEN”と題する米国特許出願第１０／８４０，８６２号；
２００５年４月２６日に出願された“HAND HELD ELECTRONIC DEVICE WITH MULTIPLE TOUCH SENSING DEVICES”と題する米国特許出願第１１／１１５，５３９号；
２００４年７月３０日に出願された“PROXIMITY DETECTOR IN HANDHELD DEVICE”と題する米国特許出願第１１／２４１，８３９号；
２００５年３月４日に出願された“MULTI-FUNCTIONAL HANDHELD DEVICE”と題する米国特許出願第６０／６５８，７７７号；
２００４年７月３０日に出願された“GESTURES FOR TOUCH SENSITIVE INPUT DEVICES”と題する米国特許出願第１０／９０３，９６４号；
２００５年１月１８日に出願された“MODE-BASED GRAPHICAL USER INTERFACES FOR TOUCH SENSITIVE INPUT DEVICES”と題する米国特許出願第１１／０３８，５９０号；
２００５年１月３１日に出願された“GESTURES FOR TOUCH SENSITIVE INPUT DEVICES”と題する米国特許出願第１１／０４８，２６４号；
２００５年９月１６日に出願された“ACTIVATING VIRTUAL KEYS OF A TOUCH-SCREEN VIRTUAL KEYBOARD”と題する米国特許出願第１１／２２８，７３７号；
２００５年９月１６日に出願された“VIRTUAL INPUT DEVICE PLACEMENT ON A TOUCH SCREEN USER INTERFACE”と題する米国特許出願第１１／２２８，７５８号；
２００５年９月１６日に出願された“OPERATION OF A COMPUTER WITH TOUCH SCREEN INTERFACE”と題する米国特許出願第１１／２２８，７００号；
２００４年８月２６日に出願された“VISUAL EXPANDER”と題する米国特許出願第１０／９２７，９２５号；
２００４年８月２５日に出願された“WIDE TOUCHPAD ON A PORTABLE COMPUTER”と題する米国特許出願第１０／９２７，５７５号；
２００７年１月３日に出願された“MULTI-TOUCH GESTURE DICTIONARY”と題する米国特許出願第１１／６１９，５５３号；及び
２００７年１月３日に出願された“MULTI-TOUCH GESTURE DICTIONARY”と題する米国特許出願第１１／６１９，５７１号。
【背景技術】
【０００３】
今日、コンピュータシステムにおいてオペレーションを行うための入力装置は、多数の形式のものが存在する。オペレーションは、一般的に、ディスプレイスクリーン上でカーソルを移動して選択を行うことに対応する。又、オペレーションは、ページング、スクロール、パン、ズーム、等も含む。例えば、入力装置は、ボタン、スイッチ、キーボード、マウス、トラックボール、タッチパッド、ジョイスティック、タッチスクリーン、等を含む。これらの装置の各々は、コンピュータシステムを設計するときに考慮しなければならない利点と欠点を持ち合わせている。
【０００４】
タッチパッドでは、入力ポインタの移動は、ユーザの指（又はスタイラス）がタッチパッドの表面に沿って移動するときにその指の相対的な移動に対応する。他方、タッチスクリーンは、スクリーンをカバーする透明なタッチ感知パネルを有する一種のディスプレイスクリーンである。タッチスクリーンを使用するときには、ユーザは、スクリーン上のＧＵＩオブジェクトを（通常はスタイラス又は指で）直接指すことによりディスプレイスクリーン上で選択を行う。一般的に、タッチ装置は、タッチ及びタッチの位置を確認し、そしてコンピュータシステムは、そのタッチを解釈した後に、そのタッチイベントに基づくアクションを遂行する。
【０００５】
付加的な機能を与えるために、これら入力装置の幾つかでジェスチャーが実施されている。例えば、タッチパッドでは、タッチパッドの表面において１つ以上のタップが検出されたときに選択を行うことができる。あるケースでは、タッチパッドのどの部分をタップしてもよく、又、他のケースでは、タッチパッドの専用部分をタップする。選択に加えて、タッチパッドの縁において指の動きを使用することによりスクロールを開始することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
不都合なことに、ほとんどのタッチ技術は、感知面に複数のオブジェクトが置かれたとしても単一のポイントしか報告できないという事実により、ジェスチャーが甚だしく制限される。即ち、それらは、複数の接触ポイントを同時に追跡する能力に欠ける。抵抗性及び容量性技術では、同時に生じる全てのタッチポイントの平均が決定され、そしてタッチポイントとタッチポイントとの間のどこかに入る単一ポイントが報告される。表面波及び赤外線技術では、マスキングのために同じ水平又は垂直線上に入る複数のタッチポイントの厳密な位置を見分けることが不可能である。いずれにせよ、不完全な結果が生じる。
【０００７】
以上のことから、マルチポイント感知装置、及びそのマルチポイント感知装置でジェスチャーを実施する方法が要望される。
【課題を解決するための手段】
【０００８】
本発明は、一実施形態において、電子システムに係る。この電子システムは、１つ以上のオブジェクトから入力を受け取るためのマルチポイント感知エリアを与えるマルチポイント感知装置を備えている。又、電子システムは、マルチポイント感知装置のマルチポイント感知エリアによって受け取られる所与の入力取り合せ(arrangement)に対してジェスチャーセットを決定し、そのジェスチャーセットに含まれた１つ以上のジェスチャーイベントに対して所与の入力取り合せを監視し、そしてジェスチャーイベントがその入力取り合せで遂行されるときにジェスチャーイベントに関連した入力アクションを開始するように構成されたジェスチャーモジュールも備えている。入力取り合せは、例えば、指及び／又は手の他の部分の取り合せである。
【０００９】
本発明は、別の実施形態において、ジェスチャー制御方法に係る。この方法は、感知エリア内の複数のポイントを同時に検出することを含む。又、この方法は、感知エリア内で１つ以上のポイントが検出されたときにコード(chord)を決定することも含む。コードとは、感知エリア内のポイントの特定の取り合せである。更に、この方法は、１つ以上のジェスチャーイベントにコマンドを関連付けるジェスチャーセットを決定することを含む。加えて、この方法は、ジェスチャーイベントに対してポイントを監視することを含む。更に、この方法は、ジェスチャーイベントが確認された場合に、ジェスチャーイベントに関連したコマンドを遂行することを含む。
【００１０】
本発明は、別の実施形態において、制御オペレーションに係る。この制御オペレーションは、タッチ又は近タッチを検出することを含む。又、オペレーションは、タッチに対してジェスチャーセットを決定することを含む。ジェスチャーセットは、コマンドを呼び起こし又は開始するための１つ以上のジェスチャーイベントを含む。更に、オペレーションは、ジェスチャーイベントに対してタッチを監視することを含む。加えて、オペレーションは、ジェスチャーセットに関連したジェスチャーイベントが遂行されるときにコマンドを開始することを含む。
【００１１】
本発明は、別の実施形態において、ジェスチャーオペレーションに係る。このオペレーションは、タッチ動作を監視することを含む。又、このオペレーションは、タッチ動作を第１状態と第２状態との間で区別することも含む。更に、このオペレーションは、タッチ動作が第１状態に関連している場合に第１アクションを遂行することを含む。加えて、このオペレーションは、動作が第２状態に関連している場合に第２アクションを遂行することを含む。
【００１２】
本発明は、別の実施形態において、制御オペレーションに係る。この制御オペレーションは、第１の入力装置と、この第１の入力装置とは異なる第２の入力装置とを準備することを含む。第１の入力装置は、入力イベントを与えるためのタッチ感知装置のようなオブジェクト感知装置を含む。このオペレーションは、入力イベントに対して第１の入力装置を監視することも含む。更に、このオペレーションは、入力イベントに対して第２の入力装置を同時に監視することも含む。このオペレーションは、更に、第１の入力装置に関連した入力イベントに基づいて入力オペレーションを遂行することも含む。更に、この方法は、第２の入力装置に関連した入力イベントに基づいて入力オペレーションを同時に遂行することも含む。
【００１３】
本発明は、別の実施形態において、制御オペレーションに係る。この制御オペレーションは、入力ファンクションのリストを準備する。入力ファンクションは、コマンド及びコマンドにリンクされたジェスチャーイベントを有する。コマンドは、入力ファンクションに関係している。又、このオペレーションは、コード(chord)に入力ファンクションを指定することも含む。加えて、このオペレーションは、コードが確認されたときにそのコードに入力ファンクションをリンクすることも含む。
【００１４】
本発明は、別の実施形態において、制御パネルに係る。この制御パネルは、入力ファンクションのメニューを表示することを含む。又、この制御パネルは、選択された入力ファンクションに関連したコマンド及びコマンドに指定されたジェスチャーイベントを示すジェスチャーセットを表示することも含む。更に、制御オペレーションは、コードのリストを表示することも含む。ジェスチャーマップを設定するために、ユーザは、入力ファンクションのリストから希望の入力ファンクションを選択し、そしてコードのリストから希望のコードを選択する。
【００１５】
本発明は、別の実施形態において、ジェスチャー設計プロセスに係る。この設計プロセスは、コードのリストを準備し、コードを、最も容易から最も困難へとランク付けすることを含む。又、この設計プロセスは、オペレーションの頻度を、頻度最大から頻度最低へランク付けすることを含む。更に、設計プロセスは、最も容易なコードを頻度最大のオペレーションにマッチングさせ、最も困難なコードを頻度最低のオペレーションにマッチングさせることも含む。更に、この設計プロセスは、コード／オペレーショングループ化を微同調することも含む。
【００１６】
本発明は、別の実施形態において、ジェスチャーオペレーションに係る。このジェスチャーオペレーションは、第１の指を検出することを含む。又、このジェスチャーオペレーションは、指の状態を決定することも含む。指の状態は、例えば、移動又は静止である。更に、ジェスチャーオペレーションは、１つ以上の付加的な指を検出することも含む。例えば、第２の指が検出されてもよい。加えて、このジェスチャーオペレーションは、付加的な指の状態を決定することを含む。付加的な指の状態は、例えば、それらが存在するかどうかである。更に、この方法は、第１の指及び付加的な指の互いの状態のタイミングに基づいて異なる入力モードを実施することを含む。異なるモードは、例えば、ポインティングモード、ドラグモード、等である。
【００１７】
本発明は、同じ構造要素が同じ参照番号で示された添付図面を参照した以下の詳細な説明から容易に理解されよう。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態によるジェスチャー制御オペレーションを例示する。
【図２】本発明の一実施形態による制御オペレーションを例示する。
【図３】本発明の一実施形態による制御オペレーションを例示する。
【図４】本発明の一実施形態による制御オペレーションを例示する。
【図５】本発明の一実施形態による制御オペレーションを例示する。
【図６】本発明の一実施形態による制御オペレーションを例示する。
【図７】本発明の一実施形態によるジェスチャーオペレーションを例示する。
【図８】本発明の一実施形態によるジェスチャーオペレーションを例示する。
【図９】本発明の一実施形態によるジェスチャーオペレーションを例示する。
【図１０】本発明の一実施形態によるジェスチャーオペレーションを例示する。
【図１１】本発明の一実施形態によるジェスチャーオペレーションを例示する。
【図１２】本発明の一実施形態によるジェスチャーオペレーションを例示する。
【図１３】本発明の一実施形態によるジェスチャーオペレーションを例示する。
【図１４】本発明の一実施形態によるジェスチャーオペレーションを例示する。
【図１５】本発明の一実施形態によるジェスチャーオペレーションを例示する。
【図１６】本発明の一実施形態によるジェスチャーオペレーションを例示する。
【図１７】本発明の一実施形態によるジェスチャーオペレーションを例示する。
【図１８】本発明の一実施形態によるジェスチャーオペレーションを例示する。
【図１９】本発明の一実施形態によるジェスチャーオペレーションを例示する。
【図２０】本発明の一実施形態による制御オペレーションを例示する。
【図２１】本発明の一実施形態による制御オペレーションを例示する。
【図２２】本発明の一実施形態による制御オペレーションを例示する。
【図２３】本発明の一実施形態による制御オペレーションを例示する。
【図２４】本発明の一実施形態による制御オペレーションを例示する。
【図２５】本発明の一実施形態による制御オペレーションを例示する。
【図２６】本発明の一実施形態による制御オペレーションを例示する。
【図２７】本発明の一実施形態による制御オペレーションを例示する。
【図２８】本発明の一実施形態による制御オペレーションを例示する。
【図２９Ａ】本発明の一実施形態による制御パネルを示す図である。
【図２９Ｂ】本発明の一実施形態による制御パネルを示す図である。
【図２９Ｃ】本発明の一実施形態による制御パネルを示す図である。
【図２９Ｄ】本発明の一実施形態による制御パネルを示す図である。
【図２９Ｅ】本発明の一実施形態による制御パネルを示す図である。
【図２９Ｆ】本発明の一実施形態による制御パネルを示す図である。
【図２９Ｇ】本発明の一実施形態による制御パネルを示す図である。
【図３０】本発明の一実施形態による制御オペレーションを例示する。
【図３１】本発明の一実施形態によるジェスチャーマッピングメソッドを例示する。
【図３２】本発明の一実施形態によるジェスチャーマッピングメソッドを例示する。
【図３３】本発明の一実施形態によるジェスチャーフィードバックメソッドを例示する。
【図３４】本発明の一実施形態によるジェスチャービューウインドウを示す図である。
【図３５】本発明の一実施形態によりタッチスクリーンを経て実施されるキーボードメソッドを例示する。
【図３６】本発明の一実施形態によるジェスチャー設計プロセスを例示する。
【図３７】本発明の一実施形態によりコードを格付けするマトリクスを示す。
【図３８】本発明の一実施形態により幾つかのオペレーションに対するオペレーションの頻度をランク付けするためのマトリクスを示す。
【図３９】本発明の一実施形態による制御オペレーションを例示する。
【図４０】本発明の一実施形態による制御オペレーションを例示する。
【図４１】本発明の一実施形態による制御オペレーションを例示する。
【図４２】本発明の一実施形態によるジェスチャーマップを示す図である。
【図４３】本発明の一実施形態によるジェスチャーマップを示す図である。
【図４４】本発明の一実施形態によるジェスチャーマップを示す図である。
【図４５】本発明の一実施形態によるジェスチャーセットを示す図である。
【図４６】本発明の一実施形態によるジェスチャーセットを示す図である。
【図４７】本発明の一実施形態によるジェスチャーセットを示す図である。
【図４８】本発明の一実施形態によるジェスチャーセットを示す図である。
【図４９】本発明の一実施形態によるジェスチャーオペレーションを示す図である。
【図５０】本発明の一実施形態によるジェスチャーオペレーションを示す図である。
【図５１】本発明の一実施形態によるジェスチャーオペレーションを示す図である。
【図５２】本発明の一実施形態によるジェスチャーオペレーションを示す図である。
【図５３】本発明の一実施形態によるジェスチャーオペレーションを示す図である。
【図５４】本発明の一実施形態による電子システムのブロック図である。
【発明を実施するための形態】
【００１９】
ジェスチャー及び感知装置でジェスチャーを実施する方法を説明する。より詳細には、ジェスチャー、及びマルチポイント感知装置でジェスチャーを実施する方法を説明する。マルチポイント感知装置は、２つ以上のオブジェクト（指）を同時に又はほぼ同時に区別できるという点で従来の単一ポイント装置に勝る多数の効果を有する。ほとんどのケースでは、マルチポイント感知装置及びこのような装置を使用するシステムは、タッチ又は近タッチイベントに対して表面を監視する。このようなイベントが生じたときには、個別の接触エリア（１つ又は複数）を決定し、そしてそれらの幾何学的特徴及び幾何学的取り合せを経てイベントの性質を識別することができる。識別されると、タッチ又は近タッチイベントが監視されて、それらが種々のジェスチャーイベントに対応するかどうか決定する。
【００２０】
ジェスチャーイベントとは、１つ以上の特定のコンピューティングオペレーションへとマップされる感知面との型にはまった相互作用として定義することができる。ジェスチャーイベントは、種々の手の、より詳細には指の、動き(motion)、タップ(tap)、圧力、休止(dwell)、等を通して行うことができる。表面は、マルチポイント技術に基づくものであるから、手の任意の本数の指又は他の接触部分で複雑なジェスチャーを行うことができる。実際には、このために、手話言語と同様の大ジェスチャー言語を開発することができる。ジェスチャー言語（又はマップ）は、例えば、接触の取り合せ(arrangement of contacts)（例えば、コード(chord)）を確認し、ジェスチャーイベント（例えば、動き）の発生を確認し、そしてジェスチャーイベント及び／又はそのジェスチャーイベントに応答してどんなアクション（１つ又は複数）をとるべきかを１つ以上のソフトウェアエージェントに通知するインストラクションのセットを含む。マルチポイントジェスチャーの例が、例えば、参考としてここに援用する米国特許出願第１０／９０３，９６４号、第１１／０３８，５９０号、及び第１１／０１５，４３４号に見られる。
【００２１】
広範囲の異なるジェスチャーをマルチポイント感知装置に使用することができる。例えば、ジェスチャーは、単一ポイント又はマルチポイントジェスチャー；スタティック又はダイナミックジェスチャー；連続的又は区分化ジェスチャー；等でよい。単一ポイントジェスチャーは、単一接触点で遂行されるジェスチャーであり、例えば、ジェスチャーは、例えば、１本の指、手のひら又はスタイラスからの単一のタッチで遂行される。マルチポイントジェスチャーは、複数のポイントで遂行されるジェスチャーであり、例えば、ジェスチャーは、例えば、複数の指、指及び手のひら、指及びスタイラス、複数のスタイラス及び／又はその組み合わせからの複数のタッチで遂行される。スタティックジェスチャーは、ジェスチャーイベント（例えば、コード）を実質的に含まないジェスチャーであり、そしてダイナミックジェスチャーは、著しいジェスチャーイベント（例えば、動き、タップ、等）を含むジェスチャーである。連続的ジェスチャーは、単一のストロークで行われるジェスチャーであり、そして区分化ジェスチャーは、一連の個別ステップ又はストロークで行われるジェスチャーである。多数の例をここに示すが、それは、一例に過ぎず、それに限定されるものではないことが明らかであろう。
【００２２】
マルチポイント感知装置は、標準サイズのタッチパッド、大きな拡張手のひらパッド、タッチスクリーン、タッチ感知ハウジング、等を含む種々の形態で実施できるが、これらに限定されない。更に、マルチポイント感知装置は、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、並びにハンドヘルドコンピューティング装置、例えば、メディアプレーヤ、ＰＤＡ、セルラーホン、等を含む多数のフォームファクタで位置させることができるが、これらに限定されない。又、マルチポイント感知装置は、専用入力装置、例えば、タッチスクリーンモニタ、キーボード、ナビゲーションパッド、タブレット、マウス、等において見ることができる。マルチポイント感知装置の例は、参考としてここに援用する米国特許出願第１０／８４０，８６２号、第１０／９２７，５７５号に見ることができる。
【００２３】
以下、図１から５４を参照して、幾つかの実施形態を説明する。しかしながら、当業者であれば、本発明は、これら限定された実施形態を越えて拡張し得るので、これら図面に関する詳細な説明は、例示のためのものに過ぎないことが容易に明らかであろう。
【００２４】
図１は、本発明の一実施形態によるジェスチャー制御オペレーション１０を例示する。このオペレーション１０は、ブロック１２で開始され、マルチポイント感知装置が準備される。マルチポイント感知装置は、複数の接触ポイント又は近接触ポイントを同時に検出することができる。マルチポイント感知装置は、例えば、タッチ表面上の複数のオブジェクトを同時に感知できるマルチタッチ感知表面を含むことができる。それとは別に又はそれに加えて、マルチポイント感知装置は、表面に接近するが表面にタッチしないオブジェクトを感知する能力（例えば、接近感知）を含む。マルチポイント感知装置は、タッチスクリーン、タッチパッド、タッチ感知手のひらレスト、タッチ感知ハウジング、等として実施されてもよい。
【００２５】
ブロック１２に続いて、オペレーションは、ブロック１４へ進み、そこで、マルチポイント感知装置によりタッチ又は近タッチが検出されたかどうかについて判断がなされる。タッチが検出されない場合には、オペレーションが待機となる。タッチが検出された場合には、オペレーションは、ブロック１６へ進み、そこで、タッチに関連したコード(chord)が決定される。コードとは、ある入力ファンクションに指定できる接触又は近接触の特定の取り合せである。一般的に述べると、タッチ感知面又はその付近にオブジェクトが置かれたときに、接触パッチが生成され、そしてこれらの接触パッチは、識別可能なパターンを形成する。このパターンは、例えば、機械的な特徴を含むオブジェクト、例えば、スタイラス、印鑑、及び／又は１つ以上の手の部分、例えば、指、親指、手のひら、げんこつ、等の集合で形成することができる。
【００２６】
コードは、広範囲に変えることができ、タッチ面のサイズ、タッチ面がタッチスクリーンであるかタッチパッドであるか、等を含む多数のファクタに基づく。更に、コードは、未知の接触の数、又は既知の接触の特定の取り合せに基づいてもよい。更に、コードは、接触が互いに接近しているか、中性位置にあるか又は分散しているかに基づいてもよい。コードは、更に、接触が互いに隣接しているかオフセットしているかに基づいてもよい。コードは、更に、それが左側からのものか及び／又は右側からのものであるかに基づいてもよい。
【００２７】
コードの決定は、タッチ（オブジェクトがタッチ面にタッチ又は近タッチすることにより生成される映像）を分析し、そして接触の特定の取り合せを確認することを含む。より詳細には、この決定は、各接触の幾何学的特徴及び接触の幾何学的取り合せを経て接触を分類又は識別し、次いで、予想コードのデータベース（例えば、ジェスチャーマップ）を参照することを含む。接触の取り合せが予想コードに一致する場合には、その接触の取り合せは、予想コードであると仮定することができる。これらのステップは、フィルタリングも含む。例えば、幾つかの接触は、実際上、コードの一部分でないことがある。例えば、タッチ手のひらパッドの場合には、手のひらで形成される接触が無視される。というのは、それらは、手の指に対する支持ベースとして働く（例えば、手のひらをタッチ面の上に長時間保持するのは非常に厄介である）からである。タッチスクリーンを伴うタブレットＰＣの場合には、少なくとも１つの手の親指で形成される接触が無視される。というのは、それらは、主として、タブレットＰＣを保持するのに使用されるからである。
【００２８】
ワンハンドコードの例が、以下のテーブル１に示されている。テーブル１は、余すところのないリストではなく、一例として示すもので、これに限定されないことが明らかである。例えば、手のひらは、接触としてカウントされ、テーブル１に示すいずれかの組み合わせに追加され、より多くのコードを生成することができる。更に、テーブル１のリストを、反対の手からの同じリストと組み合わせることにより、更に多くのコード組み合わせを生成できることに注意されたい。又、多数の組み合わせが存在するが、あるコードは、使い易さ、人間工学、直感性、等を含む種々の理由で実現できないことに注意されたい。
【００２９】
コードが決定されると、オペレーションはブロック１８へ進み、アクションを１つ以上のジェスチャーイベントに関連付けるジェスチャーセットが決定される。ジェスチャーセットは、アクションをジェスチャーイベントにリンクするマップである。ジェスチャーセットは、決定されたコードに依存するが、コードの位置、オープンアプリケーション、アプリケーションの状態又はモード、他のタッチ特徴、等を含む他のファクタに依存してもよい。本質的に、コードは、異なるジェスチャーセットが各々関連付けられた入力チャンネルを選択する。あるケースでは、編成の目的及び使い易さのために、チャンネルは、ナビゲーションオペレーション、ファイルオペレーション、編集オペレーション、ビューオペレーション、フォーマットオペレーション、ツールオペレーション、ウェブブラウジングオペレーション、等の特定の入力ファンクションに関連付けられる。これら入力ファンクションの各々は、ジェスチャーイベントに結合されるコマンドの関連セットをもつことができる。
【００３０】
アクションは、ステートコマンド又は操作コマンドである。ステートコマンドは、実施される単一のコマンドである。ステートコマンドは、例えば、ニュー、オープン、クローズ、削除、再命名、全選択、カット、コピー、ペースト、アンドゥ(undo)、リドゥ(redo)、グループ／アングループ、イタリック、ボールド、アンダーライン、前／次、プレイ／ポーズ、ミュート、等を含む。ステートコマンドの他の例は、特定プログラムの起動、プログラムの特定モードの起動、ウェブサイトの起動、ツールバーのオープン化、メニューのオープン化、矢印、バックスペース、スペース、エンター、タブ、キャプスロック(caps lock)、ファンクション、ズーム、拡大／減少、ページング、ボリューム、等を含む。操作コマンドは、選択されたオブジェクトを連続的に操作するコマンドである。操作コマンドは、例えば、ポインティング、トラッキング、ドラギング、スクローリング、パン、ズーミング、サイジング、ストレッチング、ページング、ボリューム、等を含む。これらの例は、それに制限されるものではなく、他のコマンドを使用してもよいことが明らかであろう。
【００３１】
上述したように、ジェスチャーイベントは、タッチ面又はその上で遂行できる型にはまった物理的アクションである。ジェスチャーイベントは、例えば、動き、タップ、圧力変化、休止、等を含む。あるケースでは、ジェスチャーイベントは、コードによって遂行することができる。他のケースでは、ジェスチャーイベントは、コードのサブセットにより遂行することができる。他のケースでは、ジェスチャーイベントは、初期コードに加えて又は初期コードとは別に新たな接触により遂行することができる。ジェスチャーイベントは、以下で詳細に説明する。
【００３２】
ブロック２０では、ジェスチャーイベントに対してタッチを監視することができ、ブロック２２では、ジェスチャーイベントが確認されるかどうか決定することができる。ジェスチャーイベントの確認は、接触（コードに関連した接触及び／又は新たな接触）のタッチ特性を分析し、特定のパターンを識別し、そしてジェスチャーセット及び予想されるジェスチャーイベントのリストを参照することを含む。パターンが、予想されるジェスチャーイベントにマッチする場合には、パターンが、予想されるジェスチャーイベントであると仮定することができる。タッチ特性は、例えば、動き、タップ、圧力変化、休止のような一次の事柄と、スピード（絶対的又は相対的）、方向（絶対的又は相対的）、配向（絶対的又は相対的）、サイズ（絶対的又は相対的）、巾（絶対的又は相対的）、形状（絶対的又は相対的）、長さ（絶対的又は相対的）、等の二次の事柄とを含む。
【００３３】
一実施形態では、ジェスチャーイベントは、ジェスチャーイベントを確認するときにクロストーク又はミステークを防止するために他のジェスチャーイベントから見分けられるように設計又は選択することができる（例えば、典型的に、ジェスチャーイベントを他のジェスチャーイベントから容易に区別することが望まれる）。
【００３４】
この場合も、ジェスチャーイベントは、動き、タップ、圧力、休止、等として分類することができる。動きの場合に、ジェスチャーイベントは、次のように例示される。即ち、任意の方向にスライドする；右、左、上、下にゆっくりと直線的にスワイプする；右、左、上、下に素早くフリックする；時計方向又は反時計方向にゆっくり回転する；時計方向又は反時計方向に素早く回転する；２つ以上の接触を収縮又は拡大する（例えば、接触と接触との間の分離を広げたり閉じたりする）。タップの場合には、ジェスチャーイベントは、更に、次のように例示される。即ち、1/2タップ、全タップ、複数タップ、素早いタップ、ゆっくりのタップ、等。圧力の場合には、ジェスチャーイベントは、更に、軽いプレス又は激しいプレスとして例示される。休止の場合には、ジェスチャーイベントは、更に、長い固定ポーズ又は短い固定ポーズとして例示される。このリストは、これに限定されるものではなく、そしてジェスチャーイベントは、他の仕方及び配向でも分類できることが明らかである。例えば、直線的な動きジェスチャーは、右、左、上、下に限定されず、更に、右上、左上、右下、左下を含むことができる。
【００３５】
ジェスチャーイベントは、基本的なものでも、進歩的なものでもよい。基本的なジェスチャーは、例えば、右へまっすぐスワイプするような１つのアクションを伴うジェスチャーである。進歩的なジェスチャーは、例えば、右へまっすぐスワイプした後にタップするか又は右へまっすぐスワイプし；長いポーズをし、左へまっすぐスワイプし；或いは圧力の増加又は減少を伴ってＣＣＷ回転する、というような複数のアクションを伴うジェスチャーである。進歩的なジェスチャーは、いかなる数のアクションを含んでもよい。基本的ジェスチャーは、使い易く且つ処理が複雑な理由で使用することができる。
【００３６】
ジェスチャーイベントが確認された場合には、オペレーションがブロック２４へ進み、そこで、ジェスチャーイベントに関連したアクション（１つ又は複数）が遂行される。ブロック２４は、ジェスチャーセットを参照して、確認されたジェスチャーイベントに関連したアクション（１つ又は複数）を探索することを含む。探索されると、アクション（１つ又は複数）を開始することができる。アクションがステートコマンドである場合には、ジェスチャーイベントが遂行されるたびに（例えば、ジェスチャーイベントはボタンのように動作する）コマンドを各々開始することができる。あるケースでは、ジェスチャーイベントは、繰り返しステートコマンドを生成するように設計することができる。例えば、ユーザがジェスチャーイベントを拡張又は継続する場合には、複数のステートコマンドを開始することができる。これは、素早く始動するためのゲームモードにおいて、又は作業をアンドゥするときの編集モードにおいて、或いはページを通してフリップするときのブラウズモードにおいて有用である。例えば、素早く右へまっすぐにスワイプすることにより単一のアンドゥコマンドが開始される場合には、素早くまっすぐスワイプした後に１つの連続動作において（タッチ中に）ゆっくりとまっすぐスワイプすることにより繰り返しのアンドゥコマンドを開始することができる。この例では、アンドゥコマンドは、ゆっくりしたまっすぐのスワイプに基づいて繰り返し開始することができる（例えば、アンドゥコマンドは、ゆっくりしたまっすぐなスワイプ中に１００ｍｓごとに始動される）。アクションが操作コマンドである場合には、ジェスチャーイベント中にコマンドを連続的に発生することができる（例えば、コマンドとジェスチャーイベントとの間に１対１の対応関係で）。例えば、コマンドがスクロールである場合には、ジェスチャーイベントが遂行される限り、ジェスチャーイベントのプロパティ（例えば、速度、方向、等）に基づいて、スクロールを遂行することができる。
【００３７】
ブロック２４に続いて、オペレーションは、ブロック２６へ進み、そこで、スイッチングイベントが遂行されたかどうかの決定がなされる。スイッチングイベントとは、オペレーションをリセットするか又はコード変化を開始するイベントを指す。スイッチングイベントは、種々の仕方で実施することができる。例えば、所定の時間中、全ての接触を除去する（例えば、タッチ面から手を持ち上げる）ことにより、実施することができる。又、タッチの間にベースコードを変化させる（例えば、接触を追加／除去する）ことにより、実施されてもよい。又、反対の手で接触を追加／除去する（例えば、他方の手でタッチしている間にその反対の手で１本以上の指を置く）ことにより、実施されてもよい。又、ポーズにより（例えば、接触がプリセットされた時間中固定状態に留まる場合）実施されてもよい。又、標準的なキーボード又はマウスからのキーエントリー又はボタンクリックにより実施されてもよい。又、ジェスチャーイベントを経て実施されてもよい。スイッチングイベントが発生した場合には、オペレーションは、ブロック１２へ戻る。スイッチング事象が発生しない場合には、オペレーションは、ブロック２０へ戻る。
【００３８】
テーブル１：ワンハンドコードの例
未知の接触−標準的取り合せ（手のひらなし又は手のひら無視）
いずれか１本の指
いずれか２本の指
いずれか３本の指
いずれか４本の指
親指＋いずれかの指
親指＋いずれか２本の指
親指＋いずれか３本の指
親指＋４本の指
未知の接触−変更型取り合せ（手のひらなし又は手のひら無視）
隣接する２本の指
隣接しない２本の指
隣接する２本の指＋隣接しない１本の指
親指＋隣接する２本の指
親指＋隣接しない２本の指
親指＋隣接する２本の指＋隣接しない１本の指
隣接する２本の指を閉じる
隣接する２本の指を広げる
隣接する３本の指を閉じる
隣接する３本の指を広げる
隣接する４本の指を閉じる
隣接する４本の指を広げる
親指＋隣接する２本の指を閉じる
親指＋隣接する２本の指を広げる
親指＋隣接する３本の指を閉じる
親指＋隣接する３本の指を広げる
親指＋隣接する４本の指を閉じる
親指＋隣接する４本の指を広げる
既知の接触（手のひらなし又は手のひら無視）
人差し指
中指
薬指
小指
人差し指＋中指
人差し指＋薬指
人差し指＋小指
中指＋薬指
中指＋小指
薬指＋小指
親指＋人差し指
親指＋中指
親指＋薬指
親指＋小指
親指＋人差し指＋中指
親指＋人差し指＋薬指
親指＋人差し指＋小指
親指＋中指＋薬指
親指＋中指＋小指
親指＋薬指＋小指
人差し指＋中指＋薬指
人差し指＋中指＋小指
人差し指＋薬指＋小指
中指＋薬指＋小指
親指＋人差し指＋中指＋薬指
親指＋人差し指＋中指＋小指
親指＋人差し指＋薬指＋小指
親指＋中指＋薬指＋小指
人差し指＋中指＋薬指＋小指
親指＋人差し指＋中指＋薬指＋小指
その他（手のひらを下に向ける）
指を最初に閉じるか又は手のひらをくるむ
人差し指＋残りの指を最初に閉じるか又は手のひらをくるむ
人差し指＋中指＋残りの指を最初に閉じるか又は手のひらをくるむ
人差し指＋中指＋薬指＋小指を最初に閉じるか又は手のひらをくるむ
親指＋残りの指を最初に閉じるか又は手のひらをくるむ
親指＋人差し指＋残りの指を最初に閉じるか又は手のひらをくるむ
親指＋人差し指＋中指＋残りの指を最初に閉じるか又は手のひらをくるむ
親指＋人差し指＋中指＋薬指＋小指を最初に閉じるか又は手のひらをくるむ
親指＋人差し指＋残りの指を最初に閉じるか又は手のひらをくるむ
親指＋人差し指＋中指＋残りの指を最初に閉じるか又は手のひらをくるむ
親指＋人差し指＋中指＋薬指＋小指を最初に閉じるか又は手のひらをくるむ
その他
手の右側
手の左側
手の後側
手の前側（全部）
その他（げんこつを下に向ける−パンチ）
指を最初に閉じるか又は手のひらをくるむ
人差し指を開く＋残りの指を最初に閉じるか又は手のひらをくるむ
人差し指を開く＋中指を開く＋残りの指を最初に閉じるか又は手のひらをくるむ
人差し指を開く＋中指を開く＋薬指を開く＋小指を最初に閉じるか又は手のひらをくるむ
親指＋指を最初に閉じるか又は手のひらをくるむ
親指＋人差し指を開く＋残りの指を最初に閉じるか又は手のひらをくるむ
親指＋人差し指を開く＋中指を開く＋残りの指を最初に閉じるか又は手のひらをくるむ
親指＋人差し指を開く＋中指を開く＋薬指を開く＋小指を最初に閉じるか又は手のひらをくるむ
【００３９】
図２は、本発明の一実施形態による制御オペレーション５０を例示する。このオペレーションは、ブロック５２で始まり、タッチ又は近タッチが検出される。
【００４０】
ブロック５２に続いて、オペレーションは、ブロック５４を進み、そこで、タッチに対してジェスチャーセットが決定される。ジェスチャーセットは、タッチ特性、タッチ位置、オープンアプリケーション、等を含む多数のファクタに依存する。ほとんどのケースでは、ジェスチャーセットは、タッチダウンにおける接触の取り合せに少なくとも一部分基づくものである。
【００４１】
ブロック５４に続いて、オペレーションは、ブロック５６へ進み、そこで、ジェスチャーセットに関連したジェスチャーイベントに対してタッチが監視される。ジェスチャーセットは、コマンドを呼び起こすか又は開始するための１つ以上のジェスチャーイベントを含む（例えば、コマンドは、特定のジェスチャーイベントに結合又はリンクすることができる）。
【００４２】
ブロック５６に続いて、オペレーションは、ブロック５８へ進み、そこで、ジェスチャーイベントが遂行されるときに１つ以上のコマンドが開始される。例えば、ユーザは、スクロール事象を呼び起こし又は開始するために指の特定取り合せをスライドさせることができる。
【００４３】
図３は、本発明の一実施形態による制御オペレーション６０を例示する。制御オペレーション６０は、例えば、図２のブロック５４に対応する。制御オペレーション６０は、ブロック６２において開始し、ここで、接触の初期取り合せが確認される。その後に、ブロック６４において、接触の初期取り合せを、接触の取り合せの記憶されたセットと比較することができる。例えば、システムは、接触の初期取り合せ及びそれに指定されたジェスチャーセットのリストを含むジェスチャーマップを参照する。一致がある場合には、オペレーションがブロック６６へ進み、そこで、確認された初期の接触取り合せに指定されたジェスチャーセットがロードされる。
【００４４】
図４は、本発明の一実施形態による制御オペレーション７０を例示する。制御オペレーション７０は、ブロック７２において開始し、そこで、タッチが検出される。その後に、ブロック７４において、タッチの位置を決定することができる。その後に、ブロック７６において、タッチに関連した接触の取り合せを決定することができる（例えば、タッチパターン）。その後、ブロック７８において、アクティブなアプリケーションを決定することができる。その後、ブロック８０において、アプリケーションの現在状態を決定することができる（例えば、現在モード）。その後、ブロック８２において、前記決定された属性の１つ以上（ブロック７４−８０）に基づいて適切なジェスチャーセットを設定又は選択することができる。例えば、決定された属性を使用して、システムは、前記属性の各々を特定のジェスチャーセットにリンクする記憶されたジェスチャーマップを指す。記憶されたジェスチャーマップは、デフォールトによって生成されてもよいし、又はユーザによってカスタマイズされてもよい。例えば、ユーザは、制御パネルを使用して、ジェスチャーマップに関連した設定を変更してもよいし、或いはトレーニングシーケンスを使用してジェスチャーマップをプログラムしてもよい。
【００４５】
図５は、本発明の一実施形態による制御オペレーション１００を例示する。この制御オペレーションは、ブロック１０２において開始し、ここでは、タッチが検出されたかどうかの決定がなされる。タッチが検出された場合には、オペレーションは、ブロック１０４へ進み、そこで、接触の取り合せが確認される。ブロック１０４は、サブブロック１０６及び１０８を含む。ブロック１０６では、接触パッチを正確に識別できるかどうかの決定がなされる。例えば、接触パッチが人差し指であるか、親指であるか又は手のひらであるか、である。それらを正確に識別できない場合は、オペレーションがブロック１０８へ進み、そこで、接触パッチの数が決定される。例えば、２つの接触パッチがあるか、３つの接触パッチがあるか、等々である。ブロック１０４に続いて、オペレーションはブロック１１０へ進み、そこで、確認された接触取り合せが、ジェスチャーマップにおける記憶された接触取り合せと比較される。一致がない場合には、オペレーションは、ブロック１０２へ戻る。一致が生じた場合には、ブロック１１２へ進み、そこで、ジェスチャーマップを参照した後に、初期の接触取り合せに関連したジェスチャーセットがロードされる。その後に、ブロック１１６において、そのジェスチャーセットに関連したジェスチャーイベントに対してタッチを監視することができる。ジェスチャーイベントが遂行される場合には、オペレーションがブロック１１８へ進み、そこで、ジェスチャーイベントに関連したコマンドが遂行される。
【００４６】
図６は、本発明の一実施形態による制御オペレーション１２０を例示する。この制御オペレーション１２０は、ブロック１２２において開始し、ここでは、タッチ又は近タッチが検出される。その後、ブロック１２４において、タッチに対してコードを決定することができる。その後、ブロック１２６において、コードに関連した入力ファンクションを決定することができる。入力ファンクションは、オペレーション又はオペレーションのグループを示す。オペレーションは、例えば、ナビゲーションオペレーション、ファイルオペレーション、編集オペレーション、ビューオペレーション、挿入オペレーション、フォーマットオペレーション、ツールオペレーション、ウェブオペレーション、等を含む。入力ファンクションは、更に、タッチ面におけるコードの位置、アプリケーション、モード、等を含む環境条件に基づく。その後に、ブロック１２８において、入力ファンクションに関連したジェスチャーセットをアクチベート又はロードすることができる。ジェスチャーセットとは、入力ファンクションに関係した異なるアクションに各々指定されるジェスチャーイベントのグループである。ジェスチャーイベントは、単に初期コードにより、グループとして、グループのサブセットとして、又は互いに対して、遂行される。或いは又、それらは、コードに関連しないオブジェクト（例えば、ベースコードがセットされた後に追加される接触パッチ）により遂行されてもよい。ジェスチャーイベントは、動き、タップ、休止、圧力、等の一次パラメータを含む。又、ジェスチャーイベントは、これら一次パラメータを定義する二次パラメータ、例えば、速度、方向、形状、タイミング／時間巾、長さ、等も含む。その後、ブロック１３０において、ジェスチャーイベントに関連したアクションは、ジェスチャーイベントが遂行されるときに実施することができる。
【００４７】
図７は、本発明の一実施形態によるジェスチャーオペレーション１４０を例示する。このオペレーション１４０は、ブロック１４２において開始し、ここでは、タッチが検出される。ブロック１４４に続いて、オペレーションは、ブロック１４４へ進み、ここでは、接触の取り合せが確認される。その後、ブロック１４６において、確認された接触取り合せに関連したコードを決定することができる。ブロック１４６に続いて、オペレーションはブロック１４８へ進み、ここでは、コードに関連したジェスチャーセットがロードされる。このジェスチャーセットは、タッチ中の接触取り合せで遂行できるジェスチャーイベントを含む。その後、ブロック１５０において、接触取り合せで遂行されるジェスチャーイベントについてタッチを監視することができる。接触取り合せによりジェスチャーイベントが遂行された場合には、オペレーションがブロック１５２へ進み、ここでは、ジェスチャーイベントに関連した制御／／コマンドが開始される。ジェスチャーイベントが遂行されなかった場合には、オペレーションはブロック１５４へ進み、ここでは、タッチがまだ検出されるかどうかについて決定がなされる。タッチがまだ検出される場合には、オペレーションはブロック１５０へ戻ることができる。タッチが検出されない場合には、オペレーションは、ブロック１４２へ戻ることができる。即ち、持ち上げに続くタッチで、コード、ひいては、ジェスチャーセットをリセットする。
【００４８】
図７について上述した初期コード選択モデルは、好都合にも、ユーザがジェスチャーセットに影響を及ぼさずに付加的な指をピックアップ又はドロップできるようにする。これは、２本の指のベースコードを開始するユーザが残りの３本の指をドロップして５本の指全体で手を支持するという点で、より人間工学的である。その結果、より長い時間周期の間にジェスチャーを行うことができる。本質的に、ベースコードに対する変更は無視される。更に、ユーザは、１本を除く全ての指を持ち上げてウォーキングしそして他の指をターゲットに向けてスライドさせることにより、限定スペースのタッチ表面内でポインティング／ドラギング、スクローリング、等を拡張することができる。
【００４９】
図８は、本発明の一実施形態によるジェスチャーオペレーション１６０を例示する。このオペレーション１６０は、ブロック１６２において開始し、ここでは、隣接する２本の指が検出されたかどうかの決定がなされる。もしそうであれば、オペレーションは、ブロック１６４へ進み、ここでは、ポインティングオペレーションが動きに基づいて遂行される。もしそうでなければ、オペレーションはブロック１６６へ進み、ここでは、隣接する３本の指が検出されたかどうかの決定がなされる。もしそうであれば、オペレーションはブロック１６８へ進み、ここでは、ドラグオペレーションが動きに基づいて遂行される。もしそうでなければ、オペレーションはブロック１７０へ進み、ここでは、親指及び隣接する２本の指が検出されたかどうかの決定がなされる。もしそうであれば、オペレーションはブロック１７２へ進み、ここでは、二次的なドラグオペレーションが遂行される。もしそうでなければ、オペレーションはブロック１６２へ戻る。このプロセスは、全ての指がタッチ面から持ち上げられる（例えば、もはやタッチが検出されない）たびに、リセットすることができる。
【００５０】
図９は、本発明の一実施形態によるジェスチャーオペレーション１８０を例示する。このオペレーション１８０は、ブロック１８２で開始し、ここでは、ベースコードが決定される。その後に、オペレーションは、３つの異なるプロセスを別々に又は同時に遂行することができる（並列ブロック１８４−１８８）。ブロック１８４において、ベースコードで動きを検出することができる。その後、ブロック１９０において、動きに基づいてポインティングオペレーションを遂行することができる。ブロック１８６において、新たな第１の指を検出することができる。即ち、ベースコードに関連していない新たな第１の指を検出することができる（ベースコードに加えて）。その後、ブロック１９２において、新たな第１の指が検出されるたびに第１のコマンドを開始することができる。あるケースでは、ユーザは、新たな第１の指を連続的にタップすることにより繰り返しコマンドを遂行することができる。ブロック１８８において、新たな第２の指を検出することができる（ベースコードに加えて）。即ち、ベースコードに関連しない新たな第２の指を検出することができる。その後、ブロック１９４において、新たな第２の指が検出されるたびに第２コマンドを開始することができる。あるケースでは、ユーザは、新たな第２の指を連続的にタップするか又は単に指を押さえつけることにより繰り返しコマンドを遂行することができる。図９に示すオペレーションは、時々、現在コード選択モデルと称される。
【００５１】
図９の一例において、ベースコードは、３本の指（人差し指−中指−薬指、又は親指−中指−薬指）である。従って、ポインティングオペレーションには３本の指を使用することができる。更に、新たな第１の指は、親指であるか、又は親指が既にベースの一部分である場合には人差し指である。親指又は人差し指は、第１コマンドを開始することができる。更に、新たな第２の指は、小指でよい。従って、小指は、第２コマンドを開始することができる。
【００５２】
上述した例は、ゲームモードに有用である。ベースコードは、ポインティングに使用することができ、第１の新たな指は、トリガー動作に使用することができ、そして第２の新たな指は、武器交換に使用することができる。或いは又、標準モードにおいて、ベースコードは、ポインティングに使用することができ、第１の新たな指は、一次クリック及びドラグに使用することができ、そして第２の新たな指は、二次クリック及びドラグに使用することができる。３本指支持は、ゲーム及び標準モードの両方に充分な支持を与える。
【００５３】
図１０は、本発明の一実施形態によるジェスチャーオペレーション２００を例示する。このオペレーション２００は、ブロック２０２において開始し、ここでは、タッチが検出される。ブロック２０４に続いて、オペレーションはブロック２０４へ進み、ここでは、接触の取り合せが確認される。その後、ブロック２０６において、その確認された接触取り合せに関連したコードを決定することができる。ブロック２０６に続いて、オペレーションはブロック２０８へ進み、ここでは、コードに関連したジェスチャーセットがロードされる。ジェスチャーセットは、タッチ中の接触取り合せで遂行できるジェスチャーイベントを含む。その後、ブロック２１０において、接触取り合せにより遂行されるジェスチャーイベントに対してタッチを監視することができる。接触取り合せによりジェスチャーイベントが遂行された場合には、オペレーションはブロック２１２へ進み、そこでは、ジェスチャーイベントに関連した制御／コマンドが開始される。ジェスチャーイベントが遂行されなかった場合には、オペレーションはブロック２１４へ進み、ここでは、タッチ中にベースコード又は接触の現在取り合せがポーズしたかどうかの決定がなされる。もしそうであれば、ポーズがコードスイッチングイベントであると推定することができ、オペレーションはブロック２０４へ進む。もしそうでなければ、オペレーションはブロック２１６へ進み、タッチがまだ検出されるかどうかの決定がなされる。タッチがまだ検出される場合には、オペレーションはブロック２１０へ戻る。タッチが検出されない場合には、オペレーションはブロック２０２へ戻ることができる。
【００５４】
図１０に示すポーズ選択モデルでは、元の指がポーズされるか又は非常にゆっくり移動する場合だけスイッチが生じ得る。従って、ポインティングストロークの中間で指ドロップが生じる限り、ユーザは、１本指から５本指ポインティングへとリラックスすることができる。
【００５５】
図１１は、本発明の一実施形態によるジェスチャーオペレーション２２０を例示する。このオペレーション２２０は、ブロック２２２において開始し、１本指が検出されるかどうかの決定がなされる。もしそうであれば、オペレーションはブロック２２４へ進み、ここでは、動きに基づいてポインティングオペレーションが遂行される。もしそうでなければ、オペレーションはブロック２２６へ進み、隣接する２本の指が検出されるかどうかの決定がなされる。もしそうであれば、オペレーションはブロック２２８へと進み、ここでは、ドラグオペレーションが動きに基づいて遂行される。あるケースでは、ドラグロック／拡張が、クリックにより開始され、そして他のケースでは、親指のドロップにより開始される（隣接する２本の指＋親指）。もしそうでなければ、オペレーションはブロック２３０へ進み、ここでは、隣接しない２本の指が検出されるかどうかの決定がなされる。もしそうであれば、オペレーションはブロック２３２へ進み、ここでは、二次ドラグオペレーションが遂行される。あるケースでは、ドラグロック／拡張が、クリックにより開始され、そして他のケースでは、親指のドロップにより開始される（隣接しない２本の指＋親指）。もしそうでなければ、オペレーションはブロック２３４へ進み、ここでは、３本又は４本の指が検出されるかどうかの決定がなされる。もしそうであれば、動きに基づいてスクローリングを開始することができる（ブロック２３６）。もしそうでなければ、オペレーションはブロック２２２へ戻る。このプロセスは、全ての指がタッチ面から持ち上げられる（例えば、もはやタッチが検出されない）たびに、又はコードがしばらくポーズされる場合に、リセットすることができる。
【００５６】
図１２は、本発明の一実施形態によるジェスチャーオペレーション２４０を例示する。このオペレーション２４０は、ブロック２４２において開始し、ここでは、５本指が検出されるかどうかの決定がなされる。もしそうであれば、オペレーションはブロック２４４へ進み、ここでは、全ての指がタッチ面から持ち上げられるまでポインティングが開始される。ブロック２４６において、ポインティング中に５本指の１本が持ち上げ及びタップを行うかどうかの決定がなされる。もしそうであれば、クリックを行うことができる（ブロック２４８）。ブロック２５０において、５本の指の２本がポインティング中に持ち上げ及びタップを行うかどうかの決定がなされる。もしそうであれば、ドラグを行うことができる（ブロック２５２）。その後、ブロック２５３において、５本の指の１本又は２本がドラギング中に持ち上げ及びタップを行うかどうかの決定がなされる。もしそうであれば、ドロップを行うことができる（ブロック２５４）。もしそうでなければ、ドラギングを続けることができる。ブロック２５０及び２５４の後に、オペレーションはブロック２４４へ戻ることができる。このプロセスは、全ての指がタッチ面から持ち上げられる（例えば、もはやタッチが検出されない）たびに、又はコードがしばらくポーズされる場合に、リセットすることができる。
【００５７】
図１２の別の実施形態では、５本指ベースコードの左向きの指を持ち上げ及びタップすることで、左ボタンクリックを開始し、そしてそのベースコードの右向きの指を持ち上げ及びタップすることで、右ボタンクリックを開始することができる。
【００５８】
図１３は、本発明の一実施形態によるジェスチャーオペレーション２６０を例示する。このオペレーション２６０は、ブロック２６２において開始し、ここでは、タッチが検出される。その後、ブロック２６４において、小指の側部を確認することができる。小指の側部は、（おそらく平らにした親指を除き）他の全ての接触とは個別の長い（非常に偏心した）水平の接触パッチを発生する。従って、ジェスチャーシステムは、水平に偏心した細い接触を小指（又はおそらく親指）として一貫して分類することができる。その後に、ブロック２６６において、小指の側部でスワイプを検出することができる。その後、ブロック２６８において、小指のスワイプに関連した制御又はコマンドを遂行することができる。
【００５９】
側部小指スワイプは、ボリュームアップ／ダウン、スリープ、スクリーンセーバー、等の簡単な制御ジェスチャーに有用である。側部小指スワイプは、単一指タッチを簡単化したものであるが、通常の指先ポインティング／クリックとは個別であることが確認できるものである。又、これは、非常に人間工学的である。というのは、小指の側部でタッチしている間に、親指が空中へとまっすぐ上を向くからである。これは、手首の全位置について最も自然で心地よい。
【００６０】
図１４は、本発明の一実施形態によるジェスチャーオペレーション２８０を例示する。このオペレーション２８０は、ブロック２８２において開始し、ここでは、エクスポーズ(Expose)へのアップ方向スライド及びダッシュボード(Dashboard)へのダウン方向スライドをマップするジェスチャーセットが準備される。
【００６１】
ダッシュボードとは、天気予報、株相場、イエローページ、航空会社のフライト、スポーツのスコア、等の情報をユーザに即座に伝えるカスタマイズ可能なウィジェット（ミニアプリケーション）を含む制御パネルである。ほとんどのケースでは、アクチベートされると、ダッシュボードは、ビュー状態にされ、又、デアクチベートされると、ダッシュボードは、ビューから除去される。ユーザは、ボタンのクリックでインターネットから最新の情報及びタイムリーな情報を受け取り、そしてボタンを放すと、即座にそれを消すことができる。
【００６２】
エクスポーズとは、ウインドウマネージメントプログラムである。このウインドウマネージメントプログラムは、ウインドウの混乱（オープンしたウインドウ及び／又はアプリケーションが多数あるためにドキュメントを見つけたりデスクトップを見たりすることが困難な状態）を通してナビゲートしたり又はそれを軽減したりする上で助けとなるように構成される。エクスポーズは、ジェスチャーにより制御できる３つの異なる動作モードを有し又はそれらから選択することができる。第１のモードは、オールウインドウズ又はタイル、スケール及びショーオール(All Windows or Tile, Scale and Show all)である。このモードで動作するときには、全てのオープンウインドウがタイル化及びスケーリングされて、全てのオープンウインドウをディスプレイスクリーンの内部で同時に見ることができるようにする。即ち、特定のジェスチャーを行うことで、全てのオープンウインドウを即座にタイル化し、それらをスケールダウンし、そしてそれらを手際よく取り合せて、ユーザが各ウインドウでコンテンツを見られるようにする。スケーリングの量又はスケーリングの割合は、ジェスチャーの幾つかの特性、例えば、圧力又は速度に結び付けられる。第２モードは、アプリケーションウインドウズ又はハイライト現在アプリケーションである。このモードは、第１モードと同様に働くが、特定のアプリケーションにしか作用しない。例えば、特定のジェスチャーを行うと、特定のアプリケーションのオープンウインドウが即座にタイル化される一方、他の全てのオープンアプリケーションを灰色の陰影へとフェードさせる。第３モードは、デスクトップ又はハイドオール(Hide All)である。このモードでは、全てのオープンウインドウがスクリーンの縁へ移動され、これにより、デスクトップを空ける。即ち、特定のジェスチャーを行うことで、全てのオープンウインドウを隠し、ユーザがデスクトップに即座にアクセスできるようにする。
【００６３】
その後に、ブロック２８４において、オペレーションは、ベースコード（例えば、２本以上の指）を確認することを含む。その後に、ブロック２８６において、アップ方向スライドがベースコードで検出されたかどうかの決定がなされる。もしそうであれば、オペレーションはブロック２８８へ進み、ここでは、エクスポーズが全てオープンにされる。その後に、ブロック２９０において、ダウン方向スライドがベースコードで検出されたかどうかの決定がなされる。もしそうであれば、オペレーションはブロック２９２へ進み、ここでは、エクスポーズが全てクローズされる。その後、オペレーションはブロック２８６へ戻る。ブロック２８６に戻ると、アップ方向スライドがベースコードにより検出されない場合には、オペレーションはブロック２９４へ進み、ここでは、ダウン方向スライドがベースコードで検出されるかどうかの決定がなされる。もしそうであれば、オペレーションはブロック２９６へ進み、ここでは、ダッシュボードがオープンにされる。その後、ブロック２９８において、アップ方向スライドが検出されたかどうかの決定がなされる。もしそうであれば、オペレーションはブロック３００へ進み、ここでは、ダッシュボードがクローズされる。その後に、オペレーションはブロック２８６へ戻る。ブロック２９４を参照すると、ダウン方向スライドが検出されない場合には、オペレーションはブロック３０１へ進み、ここでは、コードが変化したかどうかの決定がなされる。例えば、１本指を持ち上げる。コードが変化した場合には、オペレーションはブロック３０２へ進み、変更されたコードでポインティングが遂行される。その後、ブロック３０４において、コードがベースコードへ戻るように変化されたかどうかの決定がなされる。もしそうであれば、オペレーションはブロック２８６へ戻る。ジェスチャーオペレーション２８０は、時々、逆方向のキャンセルとも称される。
【００６４】
付加的な実施形態では、図１４に示すオペレーションは、エクスポーズの異なるファンクションに各々関連した右及び左スワイプを含むように変更することができる。
【００６５】
スタティックコマンドジェスチャーとは、特定の接触取り合せをタッチ面に単に配置するだけで遂行されるジェスチャーである。コマンドは、特定の接触取り合せがタッチダウンにおいて識別されるときに開始される。初期の配置に続くジェスチャーイベントはない。コマンドは、単に、タッチが検出されたときに発生される。スタティックコマンドジェスチャーは、特定の手の取り合せが異なるものを意味する手話言語と同様である。スタティックコマンドジェスチャーの状況では、各々の手の取り合せ（又は接触の異なる取り合せ）が異なるコマンドを開始する。
【００６６】
図１５は、本発明の一実施形態によるジェスチャーオペレーション３１０を例示する。このジェスチャーオペレーション３１０は、ブロック３１２において開始し、ここでは、タッチ又は近タッチがタッチ面において検出される。ブロック３１２に続いて、オペレーションはブロック３１４へ進み、ここでは、タッチに関連した接触パッチの取り合せが識別される。接触パッチの取り合せは、片方又は両方の手で行ってもよいし、それとは別に又はそれに加えて、スタイラス又は印鑑のような要素で行ってもよい。接触パッチが手で作られるときには、それらは、指、手のひら、等を含む手の一部分で作られてもよいし、更には、手の向き、指の互いの位置、及び指の向きによって作られてもよい。異なる手の向き及び異なる指の位置／向きは、接触パッチの異なる取り合せを生成する。異なる向きは、例えば、手を下に向けて開く、手を上に向けて開く、手の側部を下にして（親指を上にして）開く、手のひらを下にして手を閉じる、手の背部を下にして手を閉じる、げんこつ状態で手を閉じる、側部を下にして手を閉じる、を含む。異なる指位置は、例えば、広げる、自然、グループ化、等を含む。接触の任意の取り合せを想像することができる（手話言語）。
【００６７】
ブロック３１４に続いて、オペレーションはブロック３１６へ進み、ここでは、接触の特定の取り合せが識別されたときに、それに結びついたコマンドが開始される。コマンドは、広く変更することができる。
【００６８】
図１６は、本発明の一実施形態によるジェスチャーオペレーション３２０を例示する。このジェスチャーオペレーション３２０は、ブロック３２２において開始し、ここでは、動きに対してタッチが監視される。タッチは、例えば、接触の特定の取り合せとして実施される。動きがある場合には、ジェスチャーオペレーションは、ブロック３２４へ進み、ここでは、動きがフリックとスワイプとの間で区別される。フリックは、素早く短い動きである。スワイプは、長いゆっくりした動きである。動きがフリックである場合には、フリックが検出されたときに第１アクションを遂行することができる（ブロック３２６）。動きがスワイプである場合には、スワイプが検出されたときに第２アクションを遂行することができる（ブロック３２８）。
【００６９】
図１７は、本発明の一実施形態によるジェスチャーオペレーション３３０を例示する。このジェスチャーオペレーション３３０は、ブロック３３２において開始し、ここでは、タッチ面（例えば、タッチパッド、タッチスクリーン、等）においてタッチが検出される。ブロック３３２に続いて、オペレーションは、ブロック３３４へ進み、ここでは、タッチに関連した２つの接触が識別される。その後、ブロック３３６において、オペレーションは、ジェスチャーイベントに対してタッチを監視することを含む。ブロック３３８において、第１接触が固定であり且つ第２接触が第１接触の周りで回転されるときに回転コマンドを開始することができる。
【００７０】
多数のユーザは、一度に複数のウインドウをオープンに維持する。これは、ユーザが、必要に応じてウインドウ間を前後に進めるようにする。これは、１つのウインドウからコピーして別のウインドウにペーストするときに有益である。典型的なプロセスでは、ユーザは、ウインドウの１つを選択し、それにより、ウインドウをアクチベートし、次いで、そのウインドウ内でアクションを遂行する。次いで、ユーザは、別のウインドウを選択し、それにより、新たなウインドウをアクチベートすると共に、古いウインドウをデアクチベートし、次いで、新たなウインドウ内でアクションを遂行する。これは、下手なやり方で、多数のステップで構成される。これを克服するために、本発明は、アクチベーション及びデアクチベーションを伴わずにウインドウ間を前後に進む能力をユーザに与える図１８の方法を提供する。ウインドウは、ポインティングメカニズムがウインドウの上に配置されたときにアクティブになる。ポインティングメカニズムは、タッチパッドの場合にはポインタ又はカーソルであり、或いはタッチスクリーンの場合には指である。
【００７１】
図１８は、本発明の一実施形態によるジェスチャーオペレーション３４０を例示する。このジェスチャーオペレーション３４０は、複数のウインドウを準備することを含む（３４２）。例えば、ウインドウは、デスクトップ上のオープンされたプログラムである。その後、ブロック３４４において、オペレーションは、第１ウインドウの上のポインティングメカニズムを検出することを含む。例えば、タッチパッドの場合には、ポインティングメカニズムは、カーソルである。タッチスクリーンの場合には、ポインティングメカニズムは、指又は指のグループである。その後に、ブロック３４６において、タッチを監視して、ポインティングメカニズムに関連したコードが与えられたかどうか決定することができる。タッチパッドの場合には、これは、カーソルがウインドウの上に配置された後に遂行される。タッチスクリーンの場合には、これは、指がウインドウの上に位置される間に遂行される。その後、ブロック３４８において、コード及び第１ウインドウに関連したジェスチャーセットを開始することができる（例えば、ジェスチャーセットは、コード及びウインドウの両方に依存する）。その後、ブロック３５０において、ジェスチャーセットに関連したジェスチャーイベントがタッチ面上で遂行されるときに第１ウインドウにおいてアクションを遂行することができる。その後、ブロック３５２において、オペレーションは、第２ウインドウの上でポインティングメカニズムを検出することを含む。これは、ブロック３４４とは異なる時間に遂行されてもよいし、又はブロック３４４と同時に行われてもよい。ポインティングメカニズムは、第１ウインドウに使用された同じポインティングメカニズムでもよいし（例えば、ポインティングメカニズムが１つのウインドウから別のウインドウへ移動され）、或いはポインティングメカニズムは、第２のポインティングメカニズム（例えば、第２のカーソル又は第２の指）でもよい。その後、ブロック３５４において、タッチ面を監視して、第２のポインティングメカニズムに関連したコードが与えられたかどうか決定することができる。その後、ブロック３５６において、コード及び第２ウインドウに関連したジェスチャーセットを開始することができる。その後、ブロック３５８において、ジェスチャーセットに関連したジェスチャーイベントがタッチ面上で遂行されるときに第２ウインドウにおいてアクションを遂行することができる。
【００７２】
図１８の一例において、タッチスクリーンを使用して、ユーザがコピー及びペーストを遂行する場合に、ユーザは、片方の手からの指（１つ又は複数）を第１ウインドウの上に配置し、そしてコピーされるべきオブジェクトを選択することができる。その後、ユーザは、第１ウインドウの上でコピージェスチャーを遂行することができる。又、ユーザは、第２の手からの指を第２ウインドウの上に配置して、ペーストに対する位置を選択することもできる。その後に、ユーザは、第２ウインドウの上でペーストジェスチャーを遂行することができる。
【００７３】
図１８の別の例では、タッチスクリーンを使用して、ユーザがコピー及びペーストを遂行する場合に、ユーザは、片方の手からの指（１つ又は複数）を第１ウインドウの上に配置し、そしてコピーされるべきオブジェクトを選択することができる。その後に、ユーザは、第１ウインドウの上でコピージェスチャーを遂行することができる。次いで、ユーザは、手を第２ウインドウへ移動することができる。ユーザは、第２ウインドウの上に指を配置し、ペーストのための位置を選択することができる。その後、ユーザは、第２ウインドウの上でペーストジェスチャーを遂行することができる。
【００７４】
図１９は、本発明の一実施形態によるジェスチャーオペレーション３６０を例示する。このジェスチャーオペレーションは、ブロック３６４において開始し、ここでは、第１の手に関連した接触の取り合せが確認される。ブロック３６４に続いて、オペレーションはブロック３６６へ進み、ここでは、第１の手に関連した接触の取り合せに基づくジェスチャーセットがロードされる。ブロック３６６に続いて、オペレーションはブロック３６８へ進み、ここでは、第２の手に関連した接触の第２の取り合せが確認される。ブロック３６８に続いて、オペレーションはブロック３７０へ進み、ここでは、接触の第１の取り合せのジェスチャーセットが、接触の第２の取り合せに基づいて変化又は変更される。明らかなように、第２の手を使用して、異なるジェスチャーセット間を必要に応じて即座に調整することができる。又、これは、より広い範囲の考えられるジェスチャーセットを許すものである。例えば、第１の手が指の本数に基づいて５つのジェスチャーセットを与え、且つ第２の手が指の本数に基づいて５つの変更を与えることができる場合には、１００個のジェスチャーセットを生成することができる。
【００７５】
図１９の一例を言及すると、タッチパッドを使用して、ユーザは、タッチパッド上に２本の指を配置して、２本の指に関連したジェスチャーセットを開始することができる。ユーザは、２本の指を使用してジェスチャーイベントを遂行することができる。ユーザは、２本指のジェスチャーセットにより与えられないアクションを遂行する必要があると決定することができる。それ故、ユーザは、反対の手から２本の指を下す。これは、第１の手によって遂行されるべき全く新しいジェスチャーセットをロードすることができる。
【００７６】
図２０は、本発明の一実施形態による制御オペレーション３８０を例示する。この制御オペレーションは、ブロック３８２において開始し、ここでは、マウス及びタッチ面が準備される。例えば、マウスは、タッチパッドを含むラップトップコンピュータに接続される。ブロック３８２に続いて、オペレーションはブロック３８４へ進み、ここでは、マウスイベント（例えば、カーソルの移動、ボタンのクリック、スクローリング）に対してマウスが監視される。同時に、ブロック３８６において、ジェスチャーイベントに対してタッチ面を監視することができる。ブロック３８８では、マウスイベントに基づいてマウスオペレーションを遂行することができる。同時に、ブロック３９０において、ジェスチャーイベントに基づいてジェスチャーオペレーションを遂行することができる。この方法は、ユーザが片手でマウスを制御しながら、反対の手でジェスチャーを遂行できるようにする。それ故、ユーザは、より生産的となる。
【００７７】
図２０の一例において、スプレッドシートプログラムでは、ユーザは、マウスを使用してセルを選択し、次いで、タッチ面において反対の手でコピージェスチャーを遂行することができる。次いで、ユーザは、スクロール又はパンジェスチャーを使用してスプレッドシートをスクロール又はパンすることができる。希望の位置が見つかると、ユーザは、マウスを使用してペーストするために希望のセル（１つ又は複数）を選択し、次いで、ペーストジェスチャーを遂行することができる。
【００７８】
図２１は、本発明の一実施形態による制御オペレーション４００を例示する。この制御オペレーションは、ブロック４０２において開始し、ここでは、マウス及びタッチ面が準備される。ブロック４０２に続いて、オペレーションはブロック４０４０へ進み、ここでは、マウスイベント（例えば、カーソルの移動、ボタンのクリック、スクローリング）に対してマウスが監視される。同時に、ブロック４０６において、ジェスチャーイベントに対してタッチ面を監視することができる。その後、ブロック４０８において、タッチ面で遂行されるタッチ又はジェスチャーイベントに基づいてマウスモードを変更することができる。例えば、タッチを使用して、他方の手で動作されるマウスのファンクションを変更することができる。一例として、タッチ面に指が存在すると、マウスをトラッキングモードからスクローリングモードへ切り換えることができる。
【００７９】
図２２は、本発明の一実施形態による制御オペレーション４１０を例示する。このオペレーションは、ブロック４１２において開始し、ここでは、タッチ面において第１タッチが検出される。ブロック４１２に続いて、オペレーションはブロック４１４へ進み、ここでは、第１の接触取り合せが確認される。これは、例えば、第１の手で遂行される。同時に、ブロック４１６及び４１８において、タッチ面上で第２のタッチを検出できると共に、第２の接触取り合せを確認することができる。これは、例えば、第２の手で行うことができる。ブロック４２０では、第１の接触取り合せに対するジェスチャーセットをロードすることができる。同時に、ブロック４２２において、第２の接触取り合せに対するジェスチャーセットをロードすることができる。ブロック４２４において、第１のジェスチャーイベントに対して第１のタッチを監視することができる。同時に、ブロック４２６において、第２のジェスチャーイベントに対して第２のタッチを監視することができる。ブロック４２８において、第１のジェスチャーイベントが遂行されるときに、第１のジェスチャーイベントに関連したアクションを実施することができる。同時に、ブロック４３０において、第２のジェスチャーイベントが遂行されるときに、第２のジェスチャーイベントに関連したアクションを実施することができる。
【００８０】
図２３は、本発明の一実施形態による制御オペレーション４４０を例示する。このオペレーション４４０は、ブロック４４２において開始し、ここでは、ＧＵＩオブジェクトが表示される。その後、ブロック４４４において、表示されたＧＵＩオブジェクトの異なるポイントで複数のポインタを検出することができる。タッチスクリーンの場合には、第１ポインタは、第１の手からの指（１つ又は複数）であり、そして第２ポインタは、第２の手からの指（１つ又は複数）である。タッチパッドの場合には、第１ポインタは、第１の手で制御されるカーソルであり、そして第２ポインタは、第２の手で制御されるカーソルである。ポインタが検出されると、ブロック４４５において、ポインタは、表示されたオブジェクトにロックすることができる。これは、ポーズにより遂行される。例えば、ユーザは、ＧＵＩオブジェクト上のポイントにポインタを配置し、次いで、ポインタがロックされるまでそこに休止する。その後、ブロック４４６において、ポインタの位置をそれらのロック位置に対して監視することができる。その後、ブロック４４８において、１つ以上のポインタの位置がそのロック位置に対して移動されるときに、表示されたオブジェクトを変更することができる。例えば、配向、サイズ、及び形状を含むＧＵＩオブジェクトの属性を変更することができる。
【００８１】
図２３の一例を言及すると、オブジェクトを回転するために、ユーザは、そのポインタをＧＵＩオブジェクトに配置し、そしてロックされたときに、１つ以上のポインタを回転することができる。ＧＵＩオブジェクトは、１つ以上のポインタの回転に追従し、これにより、その配向を変化させることができる。そのサイズを変更するために、ユーザは、そのポインタをＧＵＩオブジェクトに配置し、そしてロックされたときに、２つのポインタを互いに一緒に又は離すようにスライドさせることができる。一緒にスライドするときには、オブジェクトのサイズを減少することができる。離すようにスライドするときには、オブジェクトのサイズを増加することができる。その形状を変化させるために、ユーザは、そのポインタをＧＵＩオブジェクトに配置し、そしてロックされたときに、１つのポインタをアップ、ダウン、右、左にスライドさせることができる。オブジェクトから離れるようにスライドするときには、オブジェクトは、スライドの方向に、より大きくすることができる。オブジェクトに向かってスライドするときには、オブジェクトは、スライドの方向に、より小さくすることができる。
【００８２】
図２４は、本発明の一実施形態による制御オペレーション４５０を例示する。このオペレーションは、ブロック４５２において開始し、ここでは、タッチ面において第１タッチが検出される。これは、例えば、第１の手で遂行される。ブロック５４２に続いて、オペレーションはブロック４５４へ進み、ここでは、第１タッチに関連した第１の接触取り合せが確認される。同時に、ブロック４５６及び４５８において、タッチ面上で第２タッチを検出し、そして第２の接触取り合せを確認することができる。これは、例えば、第２の手で遂行することができる。ブロック４６０において、第１のジェスチャーイベントに対して第１タッチを監視することができる。同時に、ブロック４６２において、第２のジェスチャーイベントに対して第２タッチを監視することができる。ブロック４６４において、第１のジェスチャーイベントが遂行されるときに、第１のジェスチャーイベントに関連したポインティングオペレーションを実施することができる。同時に、ブロック４６６において、第２のジェスチャーイベントが遂行されるときに、第２のジェスチャーイベントに関連したポインティングオペレーションを実施することができる。
【００８３】
図２５は、本発明の一実施形態による制御オペレーション４７０を例示する。この制御オペレーションは、ブロック４７２において開始し、ここでは、選択可能なアイテムのグループが表示される。選択可能なアイテムのグループは、例えば、カラーパレット又はツールバーである。ブロック４７２の後に、オペレーションはブロック４７４へ進み、ここでは、選択可能なアイテムのグループの上で第１のポインティングメカニズムが検出される。タッチスクリーンの場合には、ポインティングメカニズムは、指又は指のグループである。タッチパッドの場合には、ポインティングメカニズムは、指又は指のグループによって制御されるカーソル又はツールである。ブロック４７６において、第１のポインティングメカニズムの下のアイテムをアクチベート（選択）することができる。アクチベートされるアイテムは、ポインティングメカニズムの位置に基づく。視覚フィードバックが与えられ、ユーザは、その選択に関して確認することができる。一例として、アクチベートされるアイテムは、第１のポインティングメカニズムがそのアイテムの上に位置されたときにハイライト状態にされる。ブロック４７８において、第２のポインティングメカニズムをウインドウの上で同時に検出することができる（例えば、両ポインティングメカニズムが同時に動作する）。ウインドウは、例えば、描写又はペイントプログラムにおけるキャンバスでよい。タッチスクリーンの場合には、第２のポインティングメカニズムは、指又は指のグループ（第１のポインティングメカニズムとは反対の手の）である。タッチパッドの場合には、第２のポインティングメカニズムは、指又は指のグループにより制御されるカーソル又はツールである。ブロック４８０において、選択されたアイテムを第２のポインタメカニズムに適用することができる。例えば、ツールバーの場合には、第２のポインタメカニズムのツールファンクションは、選択されたアイテムに基づく。更に、ツールパッドの場合には、ツールＵＩ要素がファンクションと共に変化し、ユーザは、どんなツールがアクティブであるか（例えば、鉛筆、ペイントブラシ、等）知ることができる。パレットの場合は、第２のポインタメカニズムの出力が、選択されたアイテムに基づく。例えば、ペインティングの場合に、ユーザがパレットにおいて色を選択すると、第２のポインタの出力がその色に変化する。それ故、ユーザは、ペインティングオペレーション中にキャンバスに塗られる色をオンザフライで調整することができる。
【００８４】
図２６は、本発明の一実施形態による制御オペレーション５００を例示する。この制御オペレーションは、ブロック５０２において開始し、ここでは、メディアアイテムのグループが表示される。メディアアイテムは、例えば、歌、ビデオクリップ、映画、写真、ゲーム、等である。メディアアイテムは、例えば、メディアマネージマンとプログラムによって制御される。クーパーチノのアップル社により製造されたｉＰｈｏｔｏ及びｉＴｕｎｅｓは、メディアマネージメントプログラムの一例である。ブロック５０４において、ポインタメカニズムをアイテムの上で検出して、そのアイテムをハイライトすることができる。ポインタメカニズムは、例えば、マウス又はハンドコード（優性の手）によって制御することができる。ブロック５０６では、タッチ面においてタッチを検出することができる。タッチは、ポインタメカニズムに関連した手とは反対の手で行うことができる。その後、ブロック５０８において、タッチに関連した接触の取り合せを確認することができる。その後、ブロック５１０において、確認された接触取り合せに結び付けられたメタデータを、ハイライト状態のアイテムに挿入することができる。接触の取り合せの各々は、異なるメタデータを有する。例えば、１本の指は、第１のメタデータを有し、２本の指は、第２のメタデータを有し、３本の指は、第３のメタデータを有し、４本の指は、第４のメタデータを有し、５本の指は、第５のメタデータを有し、等々となる。接触の各取り合せに対するメタデータは、同じファンクションに関連してもよいし、又は全く異なるファンクションを有してもよい。
【００８５】
図２６の一例を言及すると、前記プロセスは、メディアアイテムの格付け又はランク付けに使用することができる。例えば、１本の指は、１つ星のランクを歌に結び付け、２本の指は、２つ星のランクを歌に結び付け、３本の指は、３つ星のランクを歌に結び付け、４本の指は、４つ星のランクを歌に結び付け、そして５本の指は、５つ星のランクを歌に結び付ける。
【００８６】
図２６の別の例を言及すると、前記プロセスは、メディアアイテムを識別するのに使用できる。例えば、１本の指は、第１の個人（例えば、妻のダーシー）を写真に結び付け、第２の指は、第２の個人（例えば、娘のハーレイ）を写真に結び付け、第３の指は、第３の個人（例えば、いとこのカムデン）を写真に結び付け、第４の指は、第４の個人（例えば、伯父のチャンス）を写真に結び付け、そして第５の指は、第５の個人（例えば、祖母のシェリー）を写真に結び付ける。タップを使用してリストを拡大することができる。例えば、第１のタッチダウンにおける指の本数を、第２のタッチダウンにおける指の本数に追加して、最終的な接触取り合せを形成することができる。３本の指に続く２本の指は、依然、第５の個人を意味する。５本の指及び１本の指（合計６本の指）は、第６の個人（例えば、曾祖母のテリー）を写真に結び付ける。更に、５本の指及び２本の指は、第７の個人（例えば、犬のプリマ）を写真に結び付け、５本の指及び３本の指は、第８の個人（友人のリサ）を写真に結び付け、５本の指及び４本の指は、第９の個人を写真に結び付け、そして５本の指及び５本の指は、第１０の個人を写真に結び付ける。或いは又、メタデータが個人に関連付けられず、写真の他の特性（例えば、休日、カリフォルニア、風景、家族、等）に関連付けられてもよい。
【００８７】
一般的に述べると、メディアマネージメントプログラムは、メタデータ挿入モードに入れる必要がある。これは、従来、オンスクリーン制御を通して行うこともできるし、又はポインティングメカニズムに関連したコードにより行うこともできる。
【００８８】
図２７は、本発明の一実施形態による制御オペレーション５２０を例示する。この制御オペレーションは、ブロック５２２において開始し、ここでは、制御オブジェクトが表示される。制御オブジェクトは、例えば、オンスクリーンボタン、ダイヤル、スライダー、スイッチ、等である。ブロック５２４において、制御オブジェクトの上でタッチを検出することができる。その後、ブロック５２６において、タッチに関連した接触の取り合せを確認することができる。ブロック５２７において、接触の取り合せが制御オブジェクトの制御に関連した接触の取り合せに一致するかどうかの決定を行うことができる。一致しない場合には、オペレーションがブロック５２８へ進み、ここでは、タッチが無視される。一致する場合には、オペレーションはブロック５３０へ進み、ここでは、制御オブジェクトの制御に関連したジェスチャーイベントに対してタッチが監視される。ジェスチャーイベントが遂行される場合には、それに関連したアクションを制御オブジェクトに適用して、制御オブジェクトがそのコマンドを発生できるようにする（ブロック４３２）。
【００８９】
図２７の一実施形態では、制御オブジェクトの制御を開始する接触の取り合せが複数の接触に基づく一方、無視される接触の取り合せが単一の接触に基づく。
【００９０】
図２８は、本発明の一実施形態による制御オペレーション５４０を例示する。この制御オペレーション５４０は、図２９に示すもののような制御パネルを使用して遂行することができる。このオペレーションは、ブロック５４２において開始し、ここでは、入力ファンクションのリストが準備される。入力ファンクションは、コマンド、及びコマンドにリンクされたジェスチャーイベントを有する。コマンドは、入力ファンクションに関連される。例えば、入力ファンクションが編集である場合には、コマンドは、キャンセル、アンドゥ、ペースト、バックタブ、コピー、タブ、カット、リドゥ、及び全選択である。ジェスチャーイベントは、コードによって遂行できるアクションである。ジェスチャーイベントは、回転（時計方向及び反時計方向）、グループとしての並進移動（アップ、ダウン、右、左）、互いに対する並進移動（広げる、閉じる）、タップ、等を含む。ジェスチャーイベントは、直感的な仕方でコマンドにリンクすることができる。例えば、カットコマンドは、カットアクションと同様に指を一緒に閉じることにより開始される。更に、相補的コマンド（カット／ペースト）は、典型的に、相補的なジェスチャーイベント（広げる／閉じる）にリンクされる。ブロック５４４において、入力ファンクションを特定のコードに指定することができる。コード(chord)は、指の取り合せである。コードは、リストに表示され、ユーザは、特定のコードをハイライト状態にし、次いで、特定の入力ファンクションを選択することができる。コードは、複数の入力ファンクションに指定することができる。
【００９１】
ブロック５４４において、ユーザは、入力ファンクションのメニューから入力ファンクションを選択し、次いで、コードのメニューリストからコードを選択する（例えば、入力ファンクションをハイライト状態にし、次いで、コードを選択する）ことにより、特定のコードに入力ファンクションを指定することができる。コードが選択されると、入力ファンクションを将来の動作のためにそのコードに結び付けることができる（ブロック５４６）。あるケースでは、コードメニューは、それに指定された入力ファンクションの指示を含む。この特定の実施形態では、コマンドは、ジェスチャーイベントに予め指定されてもよい。
【００９２】
図２９Ａ−Ｇは、本発明の一実施形態による制御パネル５５０を示す図である。図２９Ａは、基本的な制御パネルを示し、一方、図２９Ｂ−２９Ｇは、１つの制御パネル実施形態の多数の実施例を示す。
【００９３】
図２９Ａに示すように、制御パネル５５０は、プルダウンウインドウの形態のジェスチャーマップ制御器５５２を含むことができる。ユーザがプルダウンウインドウを選択すると、ユーザには、１つ以上のジェスチャーマップオプションを提示することができる。ユーザには、デフォールト設定（通常は製造者によりセットされた）が提示されてもよいし、或いはユーザは、それら自身のジェスチャーマップを形成できるようにカスタム設定を選択することができる。２つ以上のカスタムマップがあってもよい。例えば、異なるユーザが異なるマップを形成することができる。ユーザは、制御パネルをオープンすると、ジェスチャーマップ制御器を選択し、次いで、ハイライトバーによりカスタムマップのリストを通して進むことにより、希望のカスタムマップを選択することができる。希望のマップが見つかると、ユーザは、単にそれをハイライト状態にし、次いで、一次クリックを遂行して、希望のジェスチャーマップを設定することができる。その後、ユーザは、それらの設定を変更することができる。
【００９４】
又、制御パネル５５０は、これもプルダウンウインドウの形態である入力ファンクションのメニュー５５４を含むことができる。ユーザがプルダウンウインドウを選択すると、ユーザには、１つ以上の入力ファンクションのリストを提示することができる。入力ファンクションは、例えば、なし、ポイント、ポイント／クリック、スクロール、スクロール及び二次クリック、一次クリック及びドラグ、二次クリック及びドラグ、ウインドウ移動、エクスポーズ＆ダッシュボード、ウェブブラウザオペレーション、編集オペレーション、ファイルオペレーション、等を含む。これら入力ファンクションの１つをハイライト状態にするために、ユーザには、ユーザ制御に基づいてリストを横断するハイライトバーを与えることができる。
【００９５】
又、制御パネル５５０は、ハイライト状態にされる入力ファンクションに関連したコマンド、及びコマンドに指定されるジェスチャーイベントを示すジェスチャーセット区分５５６も含むことができる。このジェスチャーセット区分は、フィードバックのためのものに過ぎないが、ジェスチャーイベントにコマンドを指定する（その逆のことも言える）ファンクションを含むこともできる。ウインドウは、広範囲に変更できるが、ここに示す実施形態では、ウインドウは、分離されたボックスを含み、その各々は、ジェスチャーイベント及びそれに関連したコマンドを含む。この実施形態では、ボックスは、３ｘ３マトリクスで設定することができ、それ故、各入力ファンクションに対して９個の異なるジェスチャーイベント及び９個の異なるコマンドがある。ほとんどのケースでは、逆に遂行されるジェスチャーイベントが互いに交差して配置される。例えば、回転ＣＣＷは、回転ＣＷの逆に配置され、拡散は、収縮の逆に配置され、左スワイプは、右スワイプの逆に配置され、アップスワイプは、ダウンスワイプの逆に配置される。もし可能であれば、相補的なコマンドスキャンを逆のジェスチャー事象にリンクして、それらをより直感的なものにすることができる。
【００９６】
又、制御パネル５５０は、コードのメニュー５５８を含むこともできる。コードは、互いに上下に敷設され、スクロールバーによりウインドウを通して進むことができる。コードは、テキスト識別子と、どのようにコードを作るかの例を示すコードインジケータとを含む。ここに示す実施形態では、コードインジケータは、コードを作るのに使用される指が黒い丸で覆われた手の形態である。又、コードは、コードに指定される入力ファンクションのためのテキスト識別子も含む。
【００９７】
一実施形態では、ジェスチャーマップを設定するために、ユーザは、入力ファンクションをハイライト状態にし、次いで、コードメニューを移動することができる。コードメニューに来ると、ユーザは、コードのリストを通して進み、希望のコードをハイライト状態にし、次いで、例えば、クリックにより選択イベントを遂行することにより、その入力ファンクションに対して希望のコードを選択することができる。その後、入力ファンクションをコードに指定することができる。あるケースでは、ユーザが入力ファンクションをコードに指定すると、入力ファンクションの識別子をコードと共にコードメニューに配置することができる。更に、入力ファンクションは、それが指定されたことを指示する識別子を含むことができる。例えば、指定された入力ファンクションによりチェックが入れられてもよい。オペレーション中に、ユーザがマルチポイントタッチ面上にコードメニューに示された指の取り合せを配置すると、その指の取り合せをコードとして確認することができ、その後、コードに指定された入力ファンクションに関連したジェスチャーセットを、一次又はアクティブなジェスチャーセットとして設定することができる。
【００９８】
図２９Ｂは、入力ファンクションがオープンされ、且つユーザがエクスポーズダッシュボード入力ファンクションを４本指コードに指定する実施例を示す。更に、ジェスチャーセットは、エクスポーズ／ダッシュボード入力ファンクションに関連したコマンド、及びそのコマンドを開始するのに使用されるジェスチャーイベントを示す。例えば、スワイプアップ方向は、エクスポーズオール(expose all)を開始でき、右スワイプは、エクスポーズデスクトップを開始でき、左スワイプは、エクスポーズアプリケーションを開始でき、そしてダウン方向スワイプは、ダッシュボードを開始できる。
【００９９】
図２９Ｃは、入力ファンクションがオープンされ、且つユーザが一次クリック及びドラグ入力ファンクションを３本指コードに指定する実施例を示す。更に、ジェスチャーセットは、クリック及びドラグ入力ファンクションに関連したコマンド、及びそのコマンドを開始するのに使用されるジェスチャーイベントを示す。例えば、任意の方向における方向移動は、オブジェクトをドラグするのに使用でき、そしてタップは、クリックを開始するのに使用できる。
【０１００】
図２９Ｄは、入力ファンクションがオープンされ、且つユーザがファイルオペレーション入力ファンクションを「親指＋１本指」コードに指定する実施例を示す。更に、ジェスチャーセットは、ファイルオペレーション入力ファンクションに関連したコマンド、及びそのコマンドを開始するのに使用されるジェスチャーイベントを示す。例えば、回転スワイプＣＣＷは、オープンを開始するのに使用でき、回転スワイプＣＷは、クローズを開始するのに使用でき、拡散は、ニューに対して使用でき、そして収縮は、セーブに使用できる。
【０１０１】
図２９Ｅは、入力ファンクションがオープンされ、且つユーザが編集オペレーション入力ファンクションを「親指＋２本指」コードに指定する実施例を示す。更に、ジェスチャーセットは、編集オペレーション入力ファンクションに関連したコマンド、及びそのコマンドを開始するのに使用されるジェスチャーイベントを示す。例えば、スワイプアップ方向は、アンドゥを開始でき、右スワイプは、タブを開始でき、左スワイプは、ｂｋタブアプリケーションを開始でき、そしてダウン方向スワイプは、リドゥを開始できる。更に、回転スワイプＣＣＷは、キャンセルを開始でき、回転スワイプＣＷは、セレクトオールを開始でき、拡散は、ペーストを開始でき、そして収縮は、カットを開始できる。更に、タップは、コピーを開始できる。
【０１０２】
図２９Ｆは、入力ファンクションがオープンされ、且つユーザがウェブブラウザオペレーション入力ファンクションを「親指＋３本指」コードに指定する実施例を示す。更に、ジェスチャーセットは、ウェブブラウザオペレーション入力ファンクションに関連したコマンド、及びそのコマンドを開始するのに使用されるジェスチャーイベントを示す。例えば、スワイプアップ方向は、ストップを開始でき、右スワイプは、フォワードを開始でき、左スワイプは、バックを開始でき、そしてダウン方向スワイプは、リフレッシュを開始できる。更に、左アップ方向スワイプは、ホームを開始でき、右アップ方向スワイプは、スポットライトを開始でき、左ダウン方向スワイプは、ファインド(find)を開始でき、そして右ダウン方向スワイプは、ブックマークを開始できる。
【０１０３】
図２９Ｇは、入力ファンクションがオープンされ、且つユーザがポイント入力ファンクションを「親指＋４本指」コードに指定する実施例を示す。更に、ジェスチャーセットは、ポイント入力ファンクションに関連したコマンド、及びそのコマンドを開始するのに使用されるジェスチャーイベントを示す。例えば、任意の方向における方向移動は、ポインティングに使用することができる。
【０１０４】
図３０は、本発明の一実施形態による制御オペレーション５８０を例示する。この制御オペレーション５８０は、図２９に示すような制御パネルを使用して遂行することができる。オペレーションは、ブロック５８２において開始し、ここでは、入力ファンクションのリストが準備される。ブロック５８４において、入力ファンクションに関連したコマンドのリストが準備される。ブロック５８６において、コードのリストが準備される。ブロック５８８において、コードに関連したジェスチャーイベントのリストが準備される。ブロック５９０において、入力ファンクションをコードに指定することができる（その逆のことも言える）。ブロック５９２において、コマンドをジェスチャーイベントに指定することができる。別のオペレーションでは、オペレーション５８０は、特定の入力ファンクションに関連したリストをもつのではなく、使用可能な全てのコマンドのリストを準備することを含む。ユーザは、入力ファンクションにコマンドを指定することができる。又、別のオペレーションでは、このオペレーションは、特定のコードに関連したリストをもつのではなく、使用可能な全てのジェスチャーイベントのリストを準備することを含む。ユーザは、ジェスチャーイベントをコードに指定することができる。
【０１０５】
図２９を参照すれば、ユーザは、入力ファンクションのメニューから入力ファンクションを選択し、次いで、コードのメニューリストからコードを選択する（例えば、入力ファンクションをハイライト状態にし、次いで、コードを選択する）ことにより、特定のコードに入力ファンクションを指定する。コードが選択されると、入力ファンクションを将来のオペレーションのためにそのコードに結び付けることができる。あるケースでは、コードメニューは、それに指定された入力ファンクションの指示を含む。更に、ユーザは、ジェスチャーの上にコマンドを移動することによりジェスチャーイベントにコマンドを指定する。例えば、ユーザは、特定のコマンドを選択及びドラグし、そしてそれを希望のジェスチャーイベントの上にドロップさせることができる。その後、コマンドは、将来のオペレーションのためにそのジェスチャーイベントに結び付けることができる。
【０１０６】
図３１は、本発明の一実施形態によるジェスチャーマッピング方法６００を例示する。このマッピング６００は、ブロック６０２において開始し、ここでは、システムがジェスチャーマッピングモードに入れられる。ジェスチャーマッピングモードに入ると、ブロック６０４においてタッチを検出することができる。その後、ブロック６０６において、タッチに関連した接触の取り合せを記憶することができる。例えば、接触の取り合せの映像を発生することができる。その後、ブロック６０８において、タッチをジェスチャーイベントとして監視することができる。その後、ブロック６１０において、ジェスチャーイベントを記憶することができる。その後、ブロック６１２において、接触の取り合せ／ジェスチャーイベントにコマンドを指定することができる。ジェスチャーマッピングモードから出ると、接触の取り合せを下して確認できるようにし、次いで、ジェスチャーイベントを遂行することにより、コマンドを開始することができる。
【０１０７】
図３２は、本発明の一実施形態によるジェスチャーマッピング方法６２０を例示する。このジェスチャーマッピング方法６２０は、ブロック６２２において開始し、ここでは、コマンドメニューがオープンされる。コマンドメニューは、アプリケーションのヘッディングに見られるメニューのいずれかである（例えば、ファイル、編集、ビュー、インサーと、フォーマット、ツール、等）。コマンドメニューがオープンされると、コマンドのリストを表示することができる（ブロック６２４）。ブロック６２４に続いて、ユーザ制御によりコマンドリスト内のコマンドの上にハイライトバーを移動することができる。その後、ブロック６２６において、コマンドがハイライト状態にされる間にタッチ面上でタッチを検出することができる。その後、ブロック６２８において、タッチに関連した接触の取り合せを映像化して記憶することができる。その後、ブロック６３０において、タッチをジェスチャーイベントとして監視することができる。その後に、ブロック６３２において、ジェスチャーイベントを、それが遂行されるときに、映像化して記憶することができる。その後に、ブロック６３４において、接触の初期の取り合せ及びジェスチャーイベントを、ハイライト状態のコマンドに指定することができる。ジェスチャーマッピングモードから出ると、接触の取り合せを下して確認できるようにし、次いで、ジェスチャーイベントを遂行することにより、コマンドを開始することができる。
【０１０８】
図３３は、本発明の一実施形態によるジェスチャーフィードバック方法６４０を例示する。この方法６４０は、ブロック６４２において開始し、ここでは、タッチが検出される。その後、ブロック６４４において、接触の取り合せを確認することができる。その後、ブロック６４６において、少なくとも一部分は接触の取り合せに基づいて、ジェスチャーセットをロードすることができる。その後、ブロック６４８において、タッチ中にポーズ（例えば、ある時間周期中にジェスチャーイベントが遂行されない）を検出することができる。その後、ブロック６５０において、ジェスチャーセットを表示し、ユーザが、コマンド及びそれに結び付けられたジェスチャーイベントを見ることができるようにする。その後、ブロック６５２において、ジェスチャーイベントがスタートしたとき又はプリセットされた時間切れの後にジェスチャーセットをディスプレイから除去することができる。
【０１０９】
図３４は、本発明の一実施形態によるジェスチャービューウインドウ６６０を例示する。ジェスチャービューウインドウとは、ジェスチャーイベントをいかに遂行するか及びジェスチャーイベントが遂行される場合にどんなコマンドが開始されるかに関する情報を含む、ポップアップするジェスチャーメニューである。それ故、ユーザは、ジェスチャーイベントを遂行する前にジェスチャーセットをメモリに素早く銘記することができる。ジェスチャーウインドウ６６０は、第１のタッチダウンポイント（又はポーズ）の近くで且つ他の表示情報の上に表示される半透明又は不透明のウインドウである。ウインドウは、広範囲に変化させられるが、ここに示す実施形態では、ウインドウ６００は、分離されたボックス６６２を含み、その各々は、ジェスチャーイベント６６４及びそれに関連したコマンド６６７を含むことができる。この実施形態では、ボックスは、３ｘ３マトリクスで設定され、それ故、９個の異なるジェスチャーイベント及び９個の異なるコマンドがある。ほとんどのケースでは、逆に遂行されるジェスチャーイベントが互いに交差して配置される。例えば、回転ＣＣＷは、回転ＣＷの逆に配置され、拡散は、収縮の逆に配置され、左スワイプは、右スワイプの逆に配置され、アップスワイプは、ダウンスワイプの逆に配置される。もし可能であれば、相補的なコマンドを逆のジェスチャー事象にリンクして、それらをより直感的なものにすることができる。例えば、カット及びペーストのケースでは、カットが収縮に関連され、一方、ペーストが拡散に関連される。更に、別のものがタップ（丸で示す）に関連されてもよい。
【０１１０】
図３５は、本発明の一実施形態によりタッチスクリーンを経て実施されるキーボード方法６８０を例示する。この方法６８０は、ブロック６８２において開始し、ここでは、タッチスクリーンキーボードがアクチベートされる（例えば、表示されて、入力を受け取る準備がなされる）。その後、ブロック６８４において、キー入力（例えば、表示されたキーを指でタップする）に対してタッチ面を監視することができる。同時に、ブロック６８６において、スワイプするジェスチャーイベントに対してタッチスクリーンを監視することができる。スワイプするジェスチャーイベントが右スワイプである場合には、スペースコマンドを遂行することができる（ブロック６８８及び６９０）。スワイプするジェスチャーイベントが左スワイプである場合には、バックスペース／削除コマンドを遂行することができる（ブロック６９２及び６９４）。スワイプするジェスチャーイベントがダウンスワイプである場合には、エンター／リターンコマンドを遂行することができる（ブロック６９６及び６９８）。スワイプするジェスチャーイベントがアップスワイプである場合には、ページブレークコマンドを遂行することができる（ブロック７００及び７０２）。しかしながら、この方法は、これらのコマンドに限定されず、他のコマンドを遂行できることにも注意されたい。
【０１１１】
コード、ジェスチャーイベント、評価すべきコマンドの組み合わせがこのように多数ある状態では、強さと弱さを分離し、どのコード及びジェスチャーイベントがどのコマンドに良くフィットするかのガイド理論を開発することが有用である。一般的には、最良の指の組み合わせを最も頻度の高いコマンドとマッチングさせることにより長期間のユーザの経験が最大にされると考えられる。平凡な指の組み合わせは、頻度の低いコマンドにのみ使用しなければならない。しかしながら、クロストークのような微妙な問題があるために、この原理のみに従うことでは、多大なユーザ経験を生み出すのに不充分である。
【０１１２】
図３６は、本発明の一実施形態によるジェスチャー設計プロセス７２０を例示する。この設計プロセス７２０は、最も簡単なコードを格付け又はランク付けするブロック７０２を含む。コードは、例えば、速度、信頼性、快適さ、使い易さ、簡単さ、等に基づいて格付けすることができる。又、これは、タッチ面のサイズにも基づく。というのは、小さな表面は、全ての指の組み合わせを受け入れられないからである。図３７は、コードを格付けするためのマトリクスの一例を示す。このマトリクスは、一例に過ぎず、これに限定されないことが明らかである。
【０１１３】
又、この設計プロセスは、オペレーションの頻度を格付け又はランク付けするブロック７０４も含む。例えば、特定のユーザ又はユーザのグループがオペレーションの特定セットをいかに頻繁に遂行するかである。頻度のランク付けは、オペレーションの互いの割合（例えば、ウェブブラウジング・対・編集）に基づいて変更することができる。図３８は、幾つかのオペレーションについてオペレーションの頻度をランク付けするためのマトリクスの一例を示す。このリストは、一例に過ぎず、多数のより多くのオペレーションがあるので、これに限定されないことが明らかである。
【０１１４】
又、この設計プロセスは、最も容易なコードが最も頻度の高いオペレーションと実質的にグループ化又はマッチングされ、そして最も難しいコードが最も頻度の低いオペレーションと実質的にグループ化又はマッチングされるブロック７０６を含むこともできる。
【０１１５】
又、この設計プロセスは、グループの微同調も含むことができる。微同調は、相補的なコマンド、直感性、クロストーク、賢明な編成、等を含む多数のファクタに基づくことができる。明らかなように、設計プロセスは、最も容易なコードを最も頻度の高いオペレーションにマッチングさせるほど簡単なものではない。あるケースでは、最も容易なコードが最も頻度の高いオペレーションに対して有意義でないことがある。従って、容易さと最も高い頻度及び困難さと最も低い頻度を維持するよう試みながらコード及びオペレーションをシフトさせることができる。
【０１１６】
図３９は、本発明の一実施形態による制御オペレーション７４０を例示する。この制御オペレーションは、基本的ジェスチャーマップを準備するブロック７４２においてスタートする。基本的ベースマップは、例えば、コード、コマンド、ジェスチャーイベント、等を含むジェスチャー好み設定を含むことができる。ブロック７４２に続いて、オペレーションはブロック７４４へ進み、ここでは、第１プログラムがアクティブにされる。プログラムは、例えば、ワードプロセスプログラム、メディアマネージメントプログラム、スプレッドシートプログラム、メディア編集プログラム、描写プログラム、等を含む。ブロック７４６において、基本的ジェスチャーマップは、第１プログラムがアクティブである間に第１プログラムに基づいて調整することができる。例えば、このプログラムは、この特定のプログラムに対してコード及びジェスチャーセットの意味を変更正するように基本的ジェスチャーマップに命令する。ブロック７４８において、第２プログラムがアクティブにされる。ブロック７５０において、基本的ジェスチャーマップは、第２プログラムがアクティブである間に第２プログラムに基づいて調整することができる。
【０１１７】
図３９の一例において、メディア編集プログラムは、ジェスチャーマップを次のように調整する。即ち、１本指をポインティング用に；２本指をオブジェクトの移動、スケーリング、回転用に；３本指を一次ドラグ用に；４本指をスクロールパン用に；５本指をポインティング用に。一方、ワードプロセスプログラムは、ジェスチャーマップを次のように調整する。即ち、２本指をテキストポインティングカーソル用に；３本指をテキスト選択用に；４本指をページング、開始行及び終了行用に。
【０１１８】
図４０は、本発明の一実施形態による制御オペレーション７６０を例示する。この制御オペレーションは、３本指コードで実施されるもののようなジェスチャーセットに関連付けることができる。この制御オペレーションは、ブロック７６２においてスタートし、ここでは、右スワイプが検出されるかどうかの決定がなされる。もしそうであれば、オペレーションは、ブロック７６４へ進み、ここでは、第１のエクスポーズファンクションが開始される。もしそうでなければ、オペレーションは、ブロック７６６へ進み、ここでは、左スワイプが検出されるかどうかの決定がなされる。もしそうであれば、オペレーションは、ブロック７６８へ進み、ここでは、第２のエクスポーズファンクションが開始される。もしそうでなければ、オペレーションは、ブロック７７０へ進み、ここでは、アップ方向スワイプが検出されるかどうかの決定がなされる。もしそうであれば、オペレーションは、ブロック７７２へ進み、ここでは、第３のエクスポーズファンクションが開始される。もしそうでなければ、オペレーションは、ブロック７７４へ進み、ここでは、ダウン方向スワイプが検出されるかどうかの決定がなされる。もしそうであれば、オペレーションは、ブロック７７６へ進み、ここでは、ダッシュボードファンクションが開始される。もしそうでなければ、オペレーションは、ブロック７６２へ戻ることができる。
【０１１９】
図４１は、本発明の一実施形態による制御オペレーション７８０を例示する。この制御オペレーションは、ブロック７８２において開始し、ここでは、ベースコードが検出される。このベースコードは、例えば、３本指コードである。タッチストローク中に、ポーズが検出される（ブロック７８４）。その後に、ブロック７８６において、ベースコードのポーズのためにコンテクストメニューをオープンすることができる。その後、ブロック７８８において、アップ又はダウンスライドが検出されるかどうかの決定がなされる。もしそうであれば、オペレーションはブロック７９０へ進み、ここでは、スライド動作に基づいてコンテクストメニューを通してハイライトバーが移動される。その後、ブロック７９２において、タップが検出されるかどうかの決定がなされる。もしそうであれば、オペレーションはブロック７９４へ進み、ここでは、ハイライト状態のアイテムのファンクションが実施される。
【０１２０】
ダッシュボードは、ウィジェットに対するホームであり、即ち共通のタスクを遂行させると共に情報への高速アクセスを与えるミニアプリケーションである。スワイプで、ダッシュボードが現れ、リアルタイム天気、株式チェッカー、フライトインフォメーションのような情報の世界を即座にユーザにもたらすウィジェットで完成される。ダッシュボードは、ユーザが自分の行っていたものへ戻れるように、容易に消える。ダッシュボードは、カリフォルニア州クーパーチノのアップル社により製造される。
【０１２１】
エクスポーズは、ユーザが単一のスワイプ、即ち決して制限されない魅力的なスタイルで、オープンウインドウに即座にアクセスできるようにする。全てのオープンウインドウをサムネールとして表示し、現在アプリケーションのウインドウを見るか、又は全てのウインドウを隠して、デスクトップ上でファイルを素早く探索する。エクスポーズは、カリフォルニア州クーパーチノのアップル社により製造される。
【０１２２】
図４２−４４は、本発明の一実施形態による種々のジェスチャーマップを示す。各々の図は、４つのヘッディング、即ち１）手、２）指の本数（コード）、３）ジェスチャーイベント、及び４）ジェスチャーイベントに関連した振舞い又はアクション、を含む。
【０１２３】
図４５−４８は、本発明の幾つかの実施形態による種々のジェスチャーセットを示す。これらの全ての図において、ジェスチャーセットは、矢印で示された種々の動き（スワイプ、回転、拡散／収縮）、及び丸で示された１つ以上のタップを含む。又、それらは、下に横たわる動きに結び付いたコマンドを含むことができる。ジェスチャーセットは、ユーザの必要性に基づいて異なるコードに適用することができる。一実施例では、図４５のジェスチャーセットは、「親指＋１本指」コードに適用され、図４６のジェスチャーセットは、「親指＋２本指」コードに適用され、図４７のジェスチャーセットは、「親指＋３本指」コードに適用され、そして図４８のジェスチャーセットは、親指＋３本指の拡散コードに適用される。ジェスチャーセット及びコードは、一例に過ぎず、これに限定されるものではないことを理解されたい。例えば、このジェスチャーセットのケースでは、異なるコマンドが使用されてもよく、異なるジェスチャーイベントが使用されてもよく、異なる指定が使用されてもよく、等々である。
【０１２４】
図８−１１に関連した付加的な実施形態を以下に説明する。
【０１２５】
図４９は、本発明の一実施形態によるジェスチャーオペレーション８００を例示する。このオペレーション８００は、ブロック８０２において開始し、ここでは、第１の指だけが検出される。その後、ブロック８０４において、第１の指の状態を決定することができる。この状態は、例えば、指の特定の向き、タッチ面に対する指の位置、指が移動するか固定であるか、指の移動方向、等に対応する。その後に、ブロック８０６において、１つ以上の付加的な指を検出することができる。例えば、第１の指に加えて、異なる第２の指を検出することができる。ブロック８０８において、１つ以上の付加的な指の状態を決定することができる。その後、ブロック８１０において、第１及び付加的な指の状態の互いのタイミングに基づいて異なる入力モードを実施することができる。異なる入力モードは、広範囲に変更することができ、ここに述べるもの、或いは適当な又は既知の入力モードから選択することができる。入力モードの一例は、ポインティングモード又はドラグモードである。他のモードは、例えば、スクロール、パン、等を含む。
【０１２６】
一実施例では、第１の指の状態は、固定又は移動を含み、そして第２の指の状態は、第２の指が存在するかどうかを含む。この実施例では、第１の指しか検出されない場合に、ポインティングオペレーションを実施することができる。更に、第１の指が固定であるときに第２の指が検出された場合にはポインティングオペレーションをドラグオペレーションにスイッチすることができ、そして第１の指が移動であるときに第２の指が検出された場合にはポインティングオペレーションが維持される。このようにするときに、ユーザは、ポインティングオペレーションとドラグオペレーションとの間で容易に前後にスイッチすることができる。例えば、ユーザは、タッチ面上で１本の指を移動してその指又はカーソルをファイルホルダの上に位置付け（例えば、ポインティングさせ）、指又はカーソルをファイルホルダ上でストップし、第２の指をタッチ面に下ろして、ファイルホルダをドラグしたい旨を指示し、次いで、第１の指を別の位置へ移動して、ファイルホルダを新たな位置へドラグすることができる。ユーザは、その指、ひいては、ファイルホルダを移動し続けるか、又は単に第１の指を持ち上げて、ファイルホルダをスクリーン内に最終的に配置することができる。
【０１２７】
図５０は、本発明の一実施形態によるジェスチャーオペレーション８２０を例示する。このオペレーション８２０は、ブロック８２２において開始し、ここでは、第１の指だけが検出される。その後、ブロック８２４において、第１の指の状態を決定することができる。この状態は、例えば、指の特定の向き、タッチ面に対する指の位置、指が移動であるか固定であるか、指の移動方向、等に対応する。その後、ブロック８２６において、第１の指が第１状態にあるときに第１の指で第１の入力モードを実施することができる。ブロック８２８において、変更指イベントを監視することができる。変更指イベントは、第１の指以外の指によって与えることができる。それは、例えば、第２の指である。このイベントは、第２の指の存在であるか、或いはある形式のジェスチャーイベント又は特定のコードである。その後、ブロック８３０において、第１の指が第２状態にありそして変更指イベントが検出されたときに第２のものを実施することができる。この変更イベントは、例えば、第１の指の隣の第２の指の存在である。一実施例では、第１モードはポインティングモードであり、そして第２モードはドラグモードである。もちろん、この実施形態は、必要に応じて、他のモードに適用することができる。
【０１２８】
図５１は、本発明の一実施形態によるジェスチャーオペレーション８４０を例示する。このオペレーション８４０は、ブロック８４２において開始し、ここでは、第１の指が最初に検出される。その後、ブロック８４４において、第１の指が移動したときに第１の指に関連した第１モードを実施することができる。その後、ブロック８２６において、第１の指が検出された後に第２の指を検出することができる。ブロック８２８において、第１の指が固定であり且つ第２の指の存在が検出されたときに第１モードを第２モードにスイッチすることができる。第２の指の存在は、特定の位置であり、例えば、タッチ面の特定の位置、又は第１の指に対する特定の位置である。一実施例では、第２の指は、第１の指の付近で検出されねばならない。その後、ブロック８３０において、第１の指が移動するときに少なくとも第１の指で第２モードを実施することができる。一実施例では、第１モードはポインティングモードであり、そして第２モードはドラグモードである。もちろん、この実施形態は、必要に応じて、他のモードに適用することができる。
【０１２９】
図５２は、本発明の一実施形態によるジェスチャーオペレーション８６０を例示する。このオペレーション８６０は、ブロック８６２において開始し、ここでは、単一の指が検出されるかどうかの決定がなされる。単一の指は、システムのニーズに基づいて識別されてもよいし、されなくてもよい。例えば、あるケースでは、指定の指が識別された場合だけオペレーションが実施されてもよいが、他のケースでは、任意の単一の指が検出された場合にこの方法が実施されてもよい。単一の指が検出された場合には、オペレーションはブロック８６４へ進み、ここでは、指が移動したかどうかの決定がなされる。指が移動した場合には、ブロック８６６において、第１の指の移動でポインティングオペレーションを遂行することができる。第１の指がもはや検出されない場合には、ポインティングオペレーションが終了となる。指が移動しない場合には、ブロック８６８において、第１の指が固定である間に第２の指が検出されたかどうかの決定がなされる。もしそうでなければ、オペレーションはブロック８６２へ戻る。もしそうであれば、オペレーションはブロック８７０へ進み、ここでは、第２の指を検出した後に第１の指が移動したかどうかの決定がなされる。第２の指は、第１の指と共に移動する必要があってもなくてもよい。ほとんどのケースでは、第２の指を持ち上げて、もはや検出されないようにすることができる。第１の指が移動しない場合には、オペレーションはブロック８６８へ戻る。第１の指が移動する場合には、オペレーションはブロック８７２へ進み、ここでは、第１の指の移動に基づいてドラグオペレーションが遂行される。第１の指がもはや検出されない場合には、ドラグオペレーションを終了することができる。
【０１３０】
図５３は、本発明の一実施形態によるジェスチャーオペレーション８８０を例示する。このオペレーション８８０はブロック８８２において開始し、ここでは、第１の指が検出されたかどうかの決定がなされる。第１の指は、システムのニーズに基づいて識別されてもよいし、されなくてもよい。例えば、あるケースでは、指定の指が識別された場合だけオペレーションが実施されてもよいが、他のケースでは、任意の単一の指が検出された場合にこのオペレーションが実施されてもよい。指が検出された場合には、オペレーションはブロック８８４へ進み、ここでは、ポインティングモードが実施される。その後、ブロック８８６において、指が移動したかどうかの決定がなされる。指が移動した場合には、ブロック８８８において、その後の変更イベントが無視される。例えば、検出される付加的な指を無視し、第１の指の移動だけに関与したものとすることができる。その後、ブロック８９０において、移動する指に基づいてポインティングオペレーションを遂行することができる。第１の指がもはや検出されない場合には、ポインティングオペレーションを終了することができる。第１の指が固定である場合には、オペレーションはブロック８９２へ進み、ここでは、変更イベントを探す。変更イベントは、例えば、指の追加、又は新たな指で行うジェスチャー、等である。その後に、ブロック８９４において、特定の変更イベントが検出されたかどうかの決定がなされる。もしそうでなければ、オペレーションはブロック８８６へ戻る。もしそうであれば、オペレーションはブロック８９６へ進み、ここでは、システムがポインティングモードからドラグモードへスイッチされる。第１の指が移動する場合には、オペレーションはブロック８９８へ進み、ここでは、第１の指の移動に基づいてドラグオペレーションが遂行される。第１の指がもはや検出されない場合には、ドラグオペレーションを終了することができる。
【０１３１】
図５４は、本発明の一実施形態による電子システム９５０を例示する。この電子システムは、前記実施形態のどれとでも構成することができる。電子システム９５０は、デスクトップ、ラップトップ、タブレット、又はハンドヘルドコンピュータを含むパーソナルコンピュータシステムのようなコンピュータシステムに対応する。又、電子システムは、セルホン、ＰＤＡ、専用メディアプレーヤ、等を含むハンドヘルド装置のような他の消費者向け電子装置にも対応する。もちろん、電子システムは、他の電子装置に適用することもできる。
【０１３２】
図５４に示す例示的システム９５０は、インストラクションを実行すると共に、システム９５０に関連したオペレーションを遂行するように構成されたプロセッサ９５６を備えている。例えば、メモリから検索されるインストラクションを使用して、プロセッサ９５６は、コンピューティングシステム９５０のコンポーネント間での入力及び出力データの受信及び操作を制御することができる。プロセッサ９５６は、単一チップ、複数のチップ又は複数の電気的コンポーネントにおいて実施することができる。例えば、専用の又は埋め込み型のプロセッサ、単一目的プロセッサ、コントローラ、ＡＳＩＣ、等を含む種々のアーキテクチャーをプロセッサ９５６に対して使用することができる。
【０１３３】
ほとんどのケースでは、プロセッサ９５６は、オペレーティングシステムと共に、コンピュータコードを実行し、データを発生及び使用するように動作することができる。オペレーティングシステムは、一般的に良く知られており、ここでは詳細に説明しない。一例として、オペレーティングシステムは、ＯＳ／２、ＤＯＳ、Ｕｎｉｘ、Ｌｉｎｕｘ、Ｐａｌｍ  ＯＳ、等に対応する。又、オペレーティングシステムは、特殊目的のオペレーティングシステムでもよく、例えば、限定された目的の機器型コンピューティング装置に使用されるものでよい。オペレーティングシステム、他のコンピュータコード及びデータは、プロセッサ９５６に作動的に結合されたメモリブロック９５８内に常駐される。メモリ９５８は、システム９５０により使用されるコンピュータコード及びデータを記憶するための場所を与えることができる。例えば、メモリブロック９５８は、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ハードディスクドライブ、等を含む。又、情報は、取り外し可能な記憶媒体にも常駐でき、必要に応じて、システム９５０へロード又はインストールすることができる。取り外し可能な記憶媒体は、例えば、ＣＤ−ＲＯＭ、ＰＣ−ＣＡＲＤ、メモリカード、フロッピーディスク、磁気テープ、及びネットワークコンポーネントを含む。
【０１３４】
又、システム９５０は、プロセッサ９５６に作動的に結合されたディスプレイ装置９６８も備えている。このディスプレイ装置９６８は、液晶ディスプレイ（ＬＣＤ）（例えば、能動的マトリクス、受動的マトリクス、等）である。或いは又、ディスプレイ装置９６８は、モニタ、例えば、モノクロディスプレイ、カラーグラフィックアダプタ（ＣＧＡ）ディスプレイ、増強型グラフィックアダプタ（ＥＧＡ）ディスプレイ、可変グラフィックアレイ（ＶＧＡ）ディスプレイ、スーパーＶＧＡディスプレイ、陰極線管（ＣＲＴ）、等である。又、ディスプレイ装置は、プラズマディスプレイ、又は電子インクで実施されるディスプレイにも対応する。
【０１３５】
ディスプレイ装置９６８は、システムのユーザと、オペレーティングシステム又はそこで実行されるアプリケーションとの間に使い易いインターフェイスを与えるグラフィックユーザインターフェイス（ＧＵＩ）９６９を表示するように構成できる。一般的に述べると、ＧＵＩ９６９は、プログラム、ファイル、及びグラフィック映像を伴うオペレーションオプションを表す。グラフィック映像は、ウインドウ、フィールド、ダイアログボックス、メニュー、アイコン、ボタン、カーソル、スクロールバー、等を含む。このような映像は、既定のレイアウトで配列されてもよいし、或いはユーザにより行われる特定のアクションにサービスするようにダイナミックに生成されてもよい。オペレーション中に、ユーザは、種々のグラフィック映像を選択してアクチベートし、ファンクション及びそれに関連したタスクを開始することができる。一例として、ユーザは、ウインドウをオープンし、クローズし、最小化し、又は最大化するボタン、或いは特定のプログラムを起動するアイコンを選択することができる。それに加えて又はそれとは別に、ＧＵＩ９６９は、非インタラクティブなテキスト及びグラフィックのような情報をディスプレイ装置９６８のユーザに表示することができる。
【０１３６】
又、システム９５０は、プロセッサ９５６に作動的に結合された１つ以上の入力装置９７０も含むことができる。入力装置９７０は、外界からシステム９５０へデータを転送するように構成できる。入力装置９７０は、システム９５０と一体化されてもよいし、又は個別のコンポーネント（例えば、周辺装置）でもよい。あるケースでは、入力装置９７０は、ワイヤード接続（例えば、ケーブル／ポート）を通してシステム９５０に接続される。他のケースでは、入力装置９７０は、ワイヤレス接続を経てシステム９５０に接続される。一例として、データリンクは、ＰＳ／２、ＵＳＢ、ＩＲ、ＲＦ、ブルーツース、等に対応する。
【０１３７】
入力装置９７０は、例えば、ディスプレイ９６８上のＧＵＩ９６９に対して選択を行い且つトラッキングを遂行するように使用される。又、入力装置９７０は、システム９５０においてコマンドを発行するのにも使用される。
【０１３８】
一実施形態では、入力装置９７０は、ユーザのタッチからの入力を受け取りそしてその情報をプロセッサ５６へ送出するように構成されたタッチ感知装置を含む。一例として、タッチ感知装置は、タッチパッド、タッチスクリーン、及び／又はタッチ感知ハウジングに対応する。
【０１３９】
多くのケースでは、タッチ感知装置は、タッチ感知面におけるタッチ（又は近タッチ）並びにタッチの位置及び大きさを確認することができる。タッチ感知手段は、タッチをプロセッサ９５６へ報告し、そしてプロセッサ９５６は、そのプログラミングに基づいてタッチを解釈することができる。例えば、プロセッサ９５６は、特定のタッチに基づいてタスクを開始することができる。専用のプロセッサを使用して、タッチをローカルで処理し、そしてコンピュータシステムのメインプロセッサの需要を減少することができる。タッチ感知装置は、これに限定されないが、容量性感知、抵抗性感知、表面音波感知、圧力感知、光学的感知、等を含む感知技術に基づく。
【０１４０】
更に、タッチ感知手段は、単一ポイント感知又はマルチポイント感知に基づいてもよい。単一ポイント感知は、単一タッチしか区別できず、一方、マルチポイントタッチは、同時に生じる複数のタッチを区別することができる。それとは別に又はそれに加えて、接近感知装置を使用してもよい。接近感知装置は、タッチ面上ではなく空間におけるオブジェクトを感知することができる。
【０１４１】
一実施形態では、入力装置９７０は、マルチポイント入力装置を含むことができる。マルチポイント入力装置は、同時に２つ以上のオブジェクト（指）を区別できるという点で、従来の単一ポイント装置に勝る効果を有する。一例として、ここで使用できるマルチポイント装置は、どちらも参考としてここに援用する米国特許出願第１０／８４０，８６２号及び第１１／０１５，４３４号に示されて詳細に説明されている。
【０１４２】
本発明の一実施形態によれば、システム９５０は、入力装置９７０（特にタッチ装置）の１つ以上に適用されるジェスチャー９８５を確認し、そしてそのジェスチャー９８５に基づいてシステム９５０の態様を制御するように設計することができる。上述したように、ジェスチャーとは、１つ以上の特定のコンピューティングオペレーションへとマップされる入力装置との型にはまった相互作用として定義される。ジェスチャー９８５は、種々の手の動き、より詳細には指の動きを通して形成される。それとは別に又はそれに加えて、ジェスチャーは、スタイラスで行われてもよい。これらのケースの全てにおいて、入力装置９７０の少なくとも１つ、例えば、タッチ装置は、ジェスチャー９８５を受け取り、プロセッサ９５６は、ジェスチャー９８５に関連したオペレーションを実行するようにインストラクションを実行することができる。更に、メモリブロック９５８は、オペレーティングシステムの一部分又は個別のアプリケーションでもよいジェスチャーオペレーションプログラム９８８を含む。ジェスチャーオペレーションプログラム９８８は、ジェスチャー９８５の発生を確認して、そのジェスチャー９８５、及び／又はそれに応答して取るべきアクション（１つ又は複数）を１つ以上のソフトウェアエージェントに通知する。
【０１４３】
ユーザが１つ以上のジェスチャーを遂行すると、入力装置９７０は、ジェスチャー情報をプロセッサ９５６へ中継する。メモリ９５８からのインストラクション、より詳細には、ジェスチャーオペレーションプログラム９８８を使用して、プロセッサ９５６は、ジェスチャー９８５を解釈し、そしてジェスチャー９８５に基づいて、システム９５０の異なるコンポーネント、例えば、メモリ９５８、ディスプレイ９６８を制御する。ジェスチャー９８５は、メモリ９５８に記憶されたアプリケーションにおけるアクションを遂行し、ディスプレイ９６８に示されたＧＵＩオブジェクトを変更し、メモリ９５８に記憶されたデータを変更し、及び／又はＩ／Ｏ装置においてアクションを遂行するためのコマンドとして識別される。一例として、これらのコマンドは、ズーム、パン、スクロール、ページング、回転、サイジング、等に関連付けられる。更に別の実施例として、これらコマンドは、特定プログラムを起動し、ファイル又はドキュメントをオープンし、メニューを見、選択を行い、インストラクションを実行し、コンピュータシステムへログオンし、許可された個人がコンピュータシステムの限定エリアへアクセスするのを許し、コンピュータデスクトップのユーザの好みの配列に関連したユーザプロフィールをロードし、等々にも関連付けられる。
【０１４４】
一実施形態では、入力装置に接触する指の本数が入力モードを指示する。例えば、１本指での１回のタッチは、トラッキング、即ちポインタ又はカーソル移動或いは選択を行う希望を指示し、一方、例えば、指のグループでの複数回のタッチは、他のジェスチャーを行う希望を指示する。ジェスチャーを実施するための指の本数は、広範囲に変化することができる。一例として、２本指は、第１の入力モードを指示し、３本指は、第３の入力モードを指示し、等々である。或いは又、任意の本数の指、即ち２本以上は、１つ以上のジェスチャー制御を含む同じ入力モードに使用することができる。指の向きも、同様に、希望のモードを示すのに使用される。指のプロフィールを検出して、ユーザが例えば自分の親指又は人差し指を使用したかどうかに基づき異なるモードのオペレーションを許すことができる。
【０１４５】
１つの特定の実施形態では、１本指でトラッキング（又は選択）を開始することができ、そして互いに接近した２本以上の指でスクロール又はパンを開始することができる。２本指は、１本指と２本指との間を容易にトグルできるようにし、即ちユーザは、付加的な指を単に上げ下ろしするだけで非常に容易にモード間をスイッチすることができる。これは、他の形式のモードトグルよりも直感的であるという効果を有する。トラッキングの間に、ユーザがタッチ感知装置のタッチ感知面上で１本指を移動することにより、カーソル移動を制御することができる。タッチ感知装置のセンサ配列体は、指の動きを解釈し、それに対応するカーソルの移動をディスプレイ上に生じさせる信号を発生する。スクロールの間に、ユーザがタッチ感知装置のタッチ感知面上で２本指を移動することにより、スクリーンの移動を制御することができる。組み合わした指を垂直方向に移動するときには、その動きを垂直のスクロールイベントとして解釈することができ、そして組み合わした指を水平方向に移動するときには、その動きを水平のスクロールイベントとして解釈することができる。パン動作についても同じことが言えるが、パン動作は、水平および垂直方向だけではなく、全方向に行うことができる。
【０１４６】
ここに述べる実施形態は、ハードウェア、ソフトウェア、或いはハードウェアとソフトウェアの組み合わせで実施することができる。又、ソフトウェアは、コンピュータ読み取り可能な媒体におけるコンピュータ読み取り可能なコードとして実施することができる。コンピュータ読み取り可能な媒体は、コンピュータシステムにより後で読み取られるデータを記憶することのできるデータ記憶装置である。コンピュータ読み取り可能な媒体は、例えば、リードオンリメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、光学的データ記憶装置、及び搬送波を含む。又、コンピュータ読み取り可能な媒体は、ネットワークで結合されたコンピュータシステム上に分散されて、コンピュータ読み取り可能なコードが分散形態で記憶され実行されるようにすることができる。
【０１４７】
本発明は、多数の実施形態について説明したが、本発明の範囲内に入る変更や置換や等効物が存在する。例えば、本発明は、主として、タッチ装置に向けられたが、本発明は、接近感知装置でも実施できることに注意されたい。更に、方法は、複数の装置にわたってジェスチャーの好みを自動的に同調させるように実施できる。例えば、手のひら装置がホストコンピュータに接続されたときである。又、本発明の方法及び装置を実施する多数の別の方法があることにも注意されたい。例えば、本発明は、主として、マルチポイント感知装置に関連した方法に向けられたが、これら方法の幾つかは、単一ポイント感知装置に向けられてもよいことに注意されたい。それ故、特許請求の範囲は、本発明の真の精神及び範囲内に包含されるこのような全ての変更や置換や等効物を含むものとして解釈されることが意図される。
【符号の説明】
【０１４８】
５５０：制御パネル
５５２：ジェスチャーマップ制御器
５５４：メニュー
５５６：ジェスチャーセット区分
５５８：コードのメニュー
９５６：プロセッサ
９５８：メモリ
９６８：ディスプレイ
９７０：入力装置
９８５：ジェスチャー
９８８：ジェスチャープログラム
【図１】
2010517197.tif 000003
【図２】
2010517197.tif 000004
【図３】
2010517197.tif 000005
【図４】
2010517197.tif 000006
【図５】
2010517197.tif 000007
【図６】
2010517197.tif 000008
【図７】
2010517197.tif 000009
【図８】
2010517197.tif 000010
【図９】
2010517197.tif 000011
【図１０】
2010517197.tif 000012
【図１１】
2010517197.tif 000013
【図１２】
2010517197.tif 000014
【図１３】
2010517197.tif 000015
【図１４】
2010517197.tif 000016
【図１５】
2010517197.tif 000017
【図１６】
2010517197.tif 000018
【図１７】
2010517197.tif 000019
【図１８】
2010517197.tif 000020
【図１９】
2010517197.tif 000021
【図２０】
2010517197.tif 000022
【図２１】
2010517197.tif 000023
【図２２】
2010517197.tif 000024
【図２３】
2010517197.tif 000025
【図２４】
2010517197.tif 000026
【図２５】
2010517197.tif 000027
【図２６】
2010517197.tif 000028
【図２７】
2010517197.tif 000029
【図２８】
2010517197.tif 000030
【図２９Ａ】
2010517197.tif 000031
【図２９Ｂ】
2010517197.tif 000032
【図２９Ｃ】
2010517197.tif 000033
【図２９Ｄ】
2010517197.tif 000034
【図２９Ｅ】
2010517197.tif 000035
【図２９Ｆ】
2010517197.tif 000036
【図２９Ｇ】
2010517197.tif 000037
【図３０】
2010517197.tif 000038
【図３１】
2010517197.tif 000039
【図３２】
2010517197.tif 000040
【図３３】
2010517197.tif 000041
【図３４】
2010517197.tif 000042
【図３５】
2010517197.tif 000043
【図３６】
2010517197.tif 000044
【図３７】
2010517197.tif 000045
【図３８】
2010517197.tif 000046
【図３９】
2010517197.tif 000047
【図４０】
2010517197.tif 000048
【図４１】
2010517197.tif 000049
【図４２】
2010517197.tif 000050
【図４３】
2010517197.tif 000051
【図４４】
2010517197.tif 000052
【図４５】
2010517197.tif 000053
【図４６】
2010517197.tif 000054
【図４７】
2010517197.tif 000055
【図４８】
2010517197.tif 000056
【図４９】
2010517197.tif 000057
【図５０】
2010517197.tif 000058
【図５１】
2010517197.tif 000059
【図５２】
2010517197.tif 000060
【図５３】
2010517197.tif 000061
【図５４】
2010517197.tif 000062
【手続補正書】
【提出日】平成21年9月30日(2009.9.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１つ以上のオブジェクトから入力を受け取るためのマルチポイント感知エリアを与えるマルチポイント感知装置と、
前記マルチポイント感知装置のマルチポイント感知エリアによって受け取られる所与の入力取り合せに対してジェスチャーセットを決定し、そのジェスチャーセットに含まれた１つ以上のジェスチャーイベントに対して前記所与の入力取り合せを監視し、そしてジェスチャーイベントが前記入力取り合せで遂行されるときにジェスチャーイベントに関連した入力アクションを開始するように構成されたジェスチャーモジュールと、
を備えた電子システム。
【請求項２】
前記ジェスチャーセットは、前記感知エリア内の前記入力取り合せの位置、オープンアプリケーション、オープンアプリケーションの状態、入力ファンクション、又は付加的な入力特性を含む１つ以上のファクタにより決定される、請求項１に記載の電子システム。
【請求項３】
前記入力アクションは、状態コマンドである、請求項１に記載の電子システム。
【請求項４】
前記入力アクションは、操作コマンドである、請求項１に記載の電子システム。
【請求項５】
前記ジェスチャーイベントは、前記入力取り合せによって遂行される、請求項１に記載の電子システム。
【請求項６】
前記ジェスチャーイベントは、前記入力取り合せのサブセットにより遂行される、請求項１に記載の電子システム。
【請求項７】
前記ジェスチャーセットの決定は、特定の入力取り合せを確認することを含み、前記所与の入力取り合せの監視は、前記ジェスチャーセットに関連したジェスチャーイベントを確認することを含む、請求項１に記載の電子システム。
【請求項８】
前記ジェスチャーイベントの確認は、前記入力取り合せの各入力の特性を分析し、前記入力取り合せに関連した特定パターンを識別し、そして前記ジェスチャーセットを参照して、前記特定パターンが前記ジェスチャーセットに関連したジェスチャーイベントに一致するかどうか調べることを含む、請求項７に記載の電子システム。
【請求項９】
ジェスチャーイベントは、動き、タップ、圧力及び休止から選択できるタッチに関連される、請求項１に記載の電子システム。
【請求項１０】
動きは、スライド、スワイプ、フリッキング、及び回転から選択される、請求項９に記載の電子システム。
【請求項１１】
動きは、２つ以上の入力間の収縮又は膨張である、請求項９に記載の電子システム。
【請求項１２】
タップは、１／２タップ、全タップ、複数タップ、素早いタップ及びゆっくりのタップから選択される、請求項９に記載の電子システム。
【請求項１３】
圧力は、重いプレス及び軽いプレスに関連される、請求項９に記載の電子システム。
【請求項１４】
休止は、長い又は短い固定ポーズに関連される、請求項９に記載の電子システム。
【請求項１５】
前記ジェスチャーセットは、異なるジェスチャーイベント及び異なるコマンドのマトリクスで構成される、請求項９に記載の電子システム。
【請求項１６】
感知エリア内の複数のポイントを同時に検出するステップと、
前記感知エリア内で１つ以上のポイントが検出されたときにコードを決定するステップであって、コードとは、前記感知エリア内のポイントの特定の取り合せであるようなステップと、
１つ以上のジェスチャーイベントにコマンドを関連付けるジェスチャーセットを決定するステップと、
前記ジェスチャーイベントに対してポイントを監視するステップと、
前記ジェスチャーイベントが確認された場合に、前記ジェスチャーイベントに関連したコマンドを遂行するステップと、
を備えたジェスチャー制御方法。
【請求項１７】
前記コードの決定は、オブジェクトが感知エリアにタッチ又は近タッチすることにより生成される映像を分析し、そしてその映像からポイントの特定の取り合せを確認することを含む、請求項１６に記載の方法。
【請求項１８】
前記ジェスチャーイベントの確認は、ポイントの特性を分析し、特定のパターンを識別し、そしてジェスチャーセットと、ジェスチャーイベントのそのリストとを参照し、パターンがジェスチャーセットのジェスチャーイベントに一致する場合に、そのパターンがジェスチャーイベントであると仮定することを含む、請求項１６に記載の方法。
【請求項１９】
前記ジェスチャーイベントは、動き、タップ、圧力及び休止に関連付けられる、請求項１６に記載の方法。
【請求項２０】
前記ジェスチャーセットは、異なるジェスチャーイベント及び異なるコマンドのマトリクスで構成される、請求項１６に記載の方法。
【請求項２１】
スイッチングイベントが遂行されたかどうか決定することを更に含み、スイッチングイベントは、オペレーションをリセットするか又はコード変化を開始するイベントを指す、請求項１６に記載の方法。
【請求項２２】
前記スイッチングイベントは、次のオペレーション、即ちａ）所定の時間中に感知エリアから全てのポイントを除去し、ｂ）コードを変更し、ｃ）感知エリアにポイントを追加し／減少し、ｄ）所定の時間中にポイントを固定保持し、ｅ）特定キーのエントリー又はボタンクリックを検出し、又はｆ）ジェスチャーイベントを検出する、の１つにより実施される、請求項１６に記載の方法。
【請求項２３】
タッチ又は近タッチを検出するステップと、
タッチが検出された場合に、そのタッチに対してジェスチャーセットを決定するステップであって、ジェスチャーセットは、コマンドを呼び起こし又は開始するための１つ以上のジェスチャーイベントを含むものであるステップと、
ジェスチャーセットに関連したジェスチャーイベントに対してタッチを監視するステップと、
ジェスチャーセットに関連したジェスチャーイベントが遂行されるときにコマンドを開始するステップと、
を備えた制御オペレーション。
【請求項２４】
タッチ動作を監視するステップと、
タッチ動作を第１状態と第２状態との間で区別するステップと、
タッチ動作が第１状態に関連する場合に第１アクションを遂行するステップと、
タッチ動作が第２状態に関連する場合に第２アクションを遂行するステップと、
を備えたジェスチャーオペレーション。
【請求項２５】
タッチ感知面を含む第１の入力装置、及び第２の入力装置を準備するステップと、
入力イベントに対して前記第１の入力装置を監視するステップと、
入力イベントに対して前記第２の入力装置を同時に監視するステップと、
前記第１の入力装置に関連した入力イベントに基づいて入力オペレーションを遂行するステップと、
前記第２の入力装置に関連した入力イベントに基づいて入力オペレーションを同時に遂行するステップと、
を備えた制御オペレーション。
【手続補正書】
【提出日】平成21年11月18日(2009.11.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１つ以上のオブジェクトから入力を受け取るためのマルチポイント感知エリアを与えるマルチポイント感知装置と、
前記マルチポイント感知装置のマルチポイント感知エリアによって受け取られる所与の入力取り合せに対してジェスチャーセットを決定し、そのジェスチャーセットに含まれた１つ以上のジェスチャーイベントに対して前記所与の入力取り合せを監視し、そしてジェスチャーイベントが前記入力取り合せで遂行されるときにジェスチャーイベントに関連した入力アクションを開始するように構成されたジェスチャーモジュールと、
を備えた電子システム。
【請求項２】
前記ジェスチャーセットは、前記感知エリア内の前記入力取り合せの位置、オープンアプリケーション、オープンアプリケーションの状態、入力ファンクション、又は付加的な入力特性を含む１つ以上のファクタにより決定される、請求項１に記載の電子システム。
【請求項３】
前記入力アクションは、状態コマンドである、請求項１に記載の電子システム。
【請求項４】
前記入力アクションは、操作コマンドである、請求項１に記載の電子システム。
【請求項５】
前記ジェスチャーイベントは、前記入力取り合せによって遂行される、請求項１に記載の電子システム。
【請求項６】
前記ジェスチャーイベントは、前記入力取り合せのサブセットにより遂行される、請求項１に記載の電子システム。
【請求項７】
前記ジェスチャーセットの決定は、特定の入力取り合せを確認することを含み、前記所与の入力取り合せの監視は、前記ジェスチャーセットに関連したジェスチャーイベントを確認することを含む、請求項１に記載の電子システム。
【請求項８】
前記ジェスチャーイベントの確認は、前記入力取り合せの各入力の特性を分析し、前記入力取り合せに関連した特定パターンを識別し、そして前記ジェスチャーセットを参照して、前記特定パターンが前記ジェスチャーセットに関連したジェスチャーイベントに一致するかどうか調べることを含む、請求項７に記載の電子システム。
【請求項９】
ジェスチャーイベントは、動き、タップ、圧力及び休止から選択できるタッチに関連される、請求項１に記載の電子システム。
【請求項１０】
前記ジェスチャーセットは、異なるジェスチャーイベント及び異なるコマンドのマトリクスで構成される、請求項９に記載の電子システム。
【請求項１１】
感知エリア内の複数のポイントを同時に検出するステップと、
前記感知エリア内で１つ以上のポイントが検出されたときにコードを決定するステップであって、コードとは、前記感知エリア内のポイントの特定の取り合せであるようなステップと、
１つ以上のジェスチャーイベントにコマンドを関連付けるジェスチャーセットを決定するステップと、
前記ジェスチャーイベントに対してポイントを監視するステップと、
前記ジェスチャーイベントが確認された場合に、前記ジェスチャーイベントに関連したコマンドを遂行するステップと、
を備えたジェスチャー制御方法。
【請求項１２】
前記コードの決定は、オブジェクトが感知エリアにタッチ又は近タッチすることにより生成される映像を分析し、そしてその映像からポイントの特定の取り合せを確認することを含む、請求項１１に記載の方法。
【請求項１３】
前記ジェスチャーイベントの確認は、ポイントの特性を分析し、特定のパターンを識別し、そしてジェスチャーセットと、ジェスチャーイベントのそのリストとを参照し、パターンがジェスチャーセットのジェスチャーイベントに一致する場合に、そのパターンがジェスチャーイベントであると仮定することを含む、請求項１１に記載の方法。
【請求項１４】
前記ジェスチャーイベントは、動き、タップ、圧力及び休止に関連付けられる、請求項１１に記載の方法。
【請求項１５】
前記ジェスチャーセットは、異なるジェスチャーイベント及び異なるコマンドのマトリクスで構成される、請求項１１に記載の方法。
【請求項１６】
スイッチングイベントが遂行されたかどうか決定することを更に含み、スイッチングイベントは、オペレーションをリセットするか又はコード変化を開始するイベントを指す、請求項１１に記載の方法。
【請求項１７】
前記スイッチングイベントは、次のオペレーション、即ちａ）所定の時間中に感知エリアから全てのポイントを除去し、ｂ）コードを変更し、ｃ）感知エリアにポイントを追加し／減少し、ｄ）所定の時間中にポイントを固定保持し、ｅ）特定キーのエントリー又はボタンクリックを検出し、又はｆ）ジェスチャーイベントを検出する、の１つにより実施される、請求項１１に記載の方法。
【請求項１８】
タッチ又は近タッチを検出するステップと、
タッチが検出された場合に、そのタッチに対してジェスチャーセットを決定するステップであって、ジェスチャーセットは、コマンドを呼び起こし又は開始するための１つ以上のジェスチャーイベントを含むものであるステップと、
ジェスチャーセットに関連したジェスチャーイベントに対してタッチを監視するステップと、
ジェスチャーセットに関連したジェスチャーイベントが遂行されるときにコマンドを開始するステップと、
を備えた制御オペレーション。
【請求項１９】
タッチ動作を監視するステップと、
タッチ動作を第１状態と第２状態との間で区別するステップと、
タッチ動作が第１状態に関連する場合に第１アクションを遂行するステップと、
タッチ動作が第２状態に関連する場合に第２アクションを遂行するステップと、
を備えたジェスチャーオペレーション。
【請求項２０】
タッチ感知面を含む第１の入力装置、及び第２の入力装置を準備するステップと、
入力イベントに対して前記第１の入力装置を監視するステップと、
入力イベントに対して前記第２の入力装置を同時に監視するステップと、
前記第１の入力装置に関連した入力イベントに基づいて入力オペレーションを遂行するステップと、
前記第２の入力装置に関連した入力イベントに基づいて入力オペレーションを同時に遂行するステップと、
を備えた制御オペレーション。
【国際調査報告】
2010517197.tif 000063
2010517197.tif 000064
2010517197.tif 000065
2010517197.tif 000066
2010517197.tif 000067
2010517197.tif 000068