(57)【要約】請求される主題により、表面コンピューティングで利用するための直観的なジェスチャのセットの生成を容易にするシステムおよび／または方法が提供される。ジェスチャセットクリエイタは、２人またはそれ以上のユーザを、表示されたデータの一部に対する潜在的なエフェクトでプロンプトすることができる。インターフェースコンポーネントは、プロンプトされた潜在的なエフェクトに応答するユーザから少なくとも１つの表面入力を受け取ることができる。表面検出コンポーネントは、コンピュータ視覚ベースの検知技術を利用して表面入力をトラッキングすることができる。ジェスチャセットクリエイタは、２人またはそれ以上のユーザからの表面入力を、それぞれの表面入力間の相関関係に基づきユーザ定義のジェスチャを識別するために、収集し、ユーザ定義のジェスチャは、表示されたデータの一部に対する潜在的なエフェクトを開始する入力として定義される。
2011530135.tif 000002
【特許請求の範囲】
【請求項１】
表面コンピューティングで利用するための直観的なジェスチャのセットの生成を容易にするシステムであって、
２人またはそれ以上のユーザを、表示されたデータの一部に対する潜在的なエフェクトでプロンプトする、ジェスチャセットクリエイタと（１０２、１０６）、
プロンプトされた潜在的なエフェクトに応答してユーザから少なくとも１つの表面入力を受け取る、インターフェースコンポーネントであって、前記表面入力応答は、前記潜在的なエフェクトの反復を試みることである、インターフェースコンポーネント（１０８）と、
前記表面入力をトラッキングする表面検出コンポーネント（１０４）と
を備え、
前記ジェスチャセットクリエイタは、前記２人またはそれ以上のユーザからの表面入力を、それぞれの表面入力間の相関関係に基づきユーザ定義のジェスチャを識別するために、収集し、前記ユーザ定義のジェスチャは、前記表示されたデータの一部に対する潜在的なエフェクトを開始する入力として定義される（１０２）
ことを特徴とするシステム。
【請求項２】
前記表面入力は、タッチイベント、入力、前記表面検出コンポーネントに関する表面への接触、手のジェスチャ、ジェスチャ、手の動き、手の相互作用、オブジェクトの相互作用、表面でインタラクションする手の一部、または、有形のオブジェクト、の内の少なくとも１つであることを特徴とする請求項１に記載のシステム。
【請求項３】
前記潜在的なエフェクトは、データの選択、データセット選択、グループ選択、データの移動、データのパン、データの回転、データの切り取り、データの貼り付け、データの複写、データの削除、受け入れ、ヘルプの要求、拒否、メニューの要求、アンドゥ、データの拡大、データの縮小、ズームイン、ズームアウト、開く、最小化、次へ、前へ、の内の少なくとも１つであることを特徴とする請求項１に記載のシステム。
【請求項４】
前記表面検出コンポーネントは、前記表示されたデータの一部に対する潜在的なエフェクトを実行するユーザ定義のジェスチャを検出することを特徴とする請求項１に記載のシステム。
【請求項５】
前記潜在的なエフェクトは、言葉による説明の一部、映像の一部、音声の一部、テキストの一部、またはグラフィックの一部の内の少なくとも１つとして、ユーザに通信されることを特徴とする請求項１に記載のシステム。
【請求項６】
前記表面検出コンポーネントは、テープルトップインタラクティブ表面、触知できるユーザインターフェース、表面コンピューティングに関するインターフェース、表面コンピューティングシステム、リアプロジェクション方式の表面検出システム、フロントプロジェクション方式の表面検出システム、または、データの一部との物理的なインタラクションを可能にするグラフィックユーザインターフェース、の内の少なくとも１つであることを特徴とする請求項１に記載のシステム。
【請求項７】
１つのユーザ定義のジェスチャセットとされる２つまたはそれ以上のユーザ定義のジェスチャをさらに備え、前記ユーザ定義のジェスチャセットは、第１の１つのものを選択することのジェスチャ、第２の１つのものを選択することのジェスチャ、グループを選択することのジェスチャ、第１の移動のジェスチャ、第２の移動のジェスチャ、パンのジェスチャ、切り取りジェスチャ、第１の貼り付けのジェスチャ、第２の貼り付けのジェスチャ、回転のジェスチャ、複写のジェスチャ、削除のジェスチャ、受け入れのジェスチャ、拒否のジェスチャ、ヘルプのジェスチャ、メニューのジェスチャ、アンドゥのジェスチャ、第１の拡大／縮小のジェスチャ、第２の拡大／縮小のジェスチャ、第３の拡大／縮小のジェスチャ、第４の拡大／縮小のジェスチャ、開くのジェスチャ、ズームイン／アウトのジェスチャ、最小化のジェスチャ、および、次へ／前へのジェスチャ、を含むことを特徴とする請求項１に記載のシステム。
【請求項８】
前記ユーザ定義のジェスチャが、
表面の背景上にチェックマークを描く、受け入れのジェスチャ、
表面の背景上に疑問符を描く、ヘルプのジェスチャ、
左から右へ、表面の背景上で始まって終わり、対象のデータを通り過ぎる線を描く、次へのジェスチャ、
表面の背景上を右から左へ、表面の背景上で始まって終わり、対象のデータを通り過ぎる線を描く、前へのジェスチャ、
オブジェクトを保持して、一方の手の指をオブジェクトの外にドラッグし、別の指でオブジェクトを保持したままにする、メニューのジェスチャ、
表面の背景上で「Ｘ」を描く、第１の拒否のジェスチャ、
スクリーンの外の場所にジャンプでオブジェクトを移動させる、第２の拒否のジェスチャ、
スクリーンの外の場所にドラッグでオブジェクトを移動させる、第３の拒否のジェスチャ、または
表面の背景上でジグザクの走り書きの動きをする、アンドゥのジェスチャ
の内の少なくとも１つであることを特徴とする請求項１に記載のシステム。
【請求項９】
前記ユーザ定義のジェスチャが、
表面の背景上で手のひらでドラッグの動きをする、パンのジェスチャ、
表面の背景上で手で演じられ、引き離す動きをする、第１のズームインのジェスチャ、
表面の背景上で指で演じられ、離して広げる動きをする、第２のズームインのジェスチャ、
表面の背景上で演じられ、つまむのと反対の動きをする、第３のズームインのジェスチャ、
表面の背景上で演じられ、斜めにする動きをする、第４のズームインのジェスチャ、
５本の指を一緒に近接させてオブジェクト上に置き、前記５本の指を離して広げる、第１の拡大のジェスチャ
親指と人差し指を一緒に近接させてオブジェクト上に置き、前記親指と人差し指を離して広げる、第２の拡大のジェスチャ、
数本の指を一緒に近接させてオブジェクト上に置き、前記数本の指のそれぞれを対向する方向に動かす、第３の拡大のジェスチャ、
２つの手全体を一緒に近接させてオブジェクト上に置き、前記２つの手を対向する方向に動かす、第４の拡大のジェスチャ、
オブジェクトに対する拡大のジェスチャである、最大化のジェスチャ、
ジャンプの動きにより対象のオブジェクトを表面の下端に移動させる、第１の最小化のジェスチャ、
ドラッグの動きにより対象のオブジェクトを表面の下端に移動させる、第２の最小化のジェスチャ、または
オブジェクトの隅を保持し、前記オブジェクトを弧を描く動きでドラッグする動きをする、回転のジェスチャ、
の内の少なくとも１つであることを特徴とする請求項１に記載のシステム。
【請求項１０】
前記ユーザ定義のジェスチャが、
背景上で演じられ、手で押しつぶす縮小の動きをする、第１のズームアウトのジェスチャ、
背景上で演じられ、第１の手の第１の指と第２の手の第２の指でつまむ縮小の動きをする、第２のズームアウトのジェスチャ、
背景上で演じられ、手の指でつまむ縮小の動きをする、第３のズームアウトのジェスチャ、
背景上で演じられ、反対に斜めにする縮小の動きをする、第４のズームアウトのジェスチャ、
オブジェクト上で、親指と人差し指を離して広げて、つまんで一緒にする動きをする、第１の縮小のジェスチャ、
オブジェクト上で、５本の指を急に広げてからまとめる動きをする、第２の縮小のジェスチャ、
オブジェクト上で、第１の手の第１の指と第２の手の第２の指を離して広げてからまとめる動きをする、第３の縮小のジェスチャ、または
オブジェクト上で、２つの手を離して広げてからまとめる動きをする、第４の縮小のジェスチャ
の内の少なくとも１つであることを特徴とする請求項１に記載のシステム。
【請求項１１】
前記ユーザ定義のジェスチャが、
オブジェクト上で、手を引き離す動きをする、第１の開くのジェスチャ、
オブジェクト上で、２つまたはそれ以上の指を離して広げる動きをする、第２の開くのジェスチャ、
オブジェクト上で、つまむのと反対の動きをする、第３の開くのジェスチャ、
オブジェクト上で、２回たたく動きをする、第４の開くのジェスチャ、
オブジェクト上で、斜めにする動きをする、第５の開くのジェスチャ、
ジャンプの動きにより対象のオブジェクトを表面のスクリーンの外に移動させる動きをする、第１の削除のジェスチャ、
ドラッグの動きにより対象のオブジェクトを表面のスクリーンの外に移動させる動きをする、第２の削除のジェスチャ、または
削除のために対象のオブジェクトを指定のアイコンに移動させる動きをする、第３の削除のジェスチャ
の内の少なくとも１つであることを特徴とする請求項１に記載のシステム。
【請求項１２】
前記ユーザ定義のジェスチャが、
オブジェクトをたたく動きをする、第１の選択のジェスチャ、
オブジェクトの回りに投げ輪を描く動きする、第２の選択のジェスチャ、
２つまたはそれ以上のオブジェクトをグループにしてたたく動きをする、第１のグループ選択のジェスチャ、
２つまたはそれ以上のオブジェクトをグループにして回りに投げ輪を描く動きをする第２のグループ選択のジェスチャ、または
第１の手でオブジェクトをグループにして保持し、第２の手を使用して、グループにする追加のオブジェクトをたたいて選択する動きをする、第３のグループ選択のジェスチャ
の内の少なくとも１つであることを特徴とする請求項１に記載のシステム。
【請求項１３】
前記ユーザ定義のジェスチャが、
背景上で斜めのスラッシュを描く動きをする、切り取りのジェスチャ、
オブジェクトに第１のたたきをして、背景上で目標の場所を示して第２のたたきをする動きをする、複写のジェスチャ、
オブジェクト上でドラッグの動きをする、第１の移動のジェスチャ、
オブジェクトを保持して、オブジェクトの表面上の目標の場所をたたく動きをする、第２の移動のジェスチャ、
ジャンプの動きでスクリーンの外から入ってくる動きをする、第１の貼り付けのジェスチャ
ドラッグの動きでスクリーンの外から入ってくる動きをする、第２の貼り付けのジェスチャ、または
異なるオブジェクトが選択されていない場合、背景上でたたく動きをする、第３の貼り付けのジェスチャ
の内の少なくとも１つであることを特徴とする請求項１に記載のシステム。
【請求項１４】
少なくとも１つのユーザ定義のジェスチャに関して命令の一部を提供するチュートリアルコンポーネントをさらに備えることを特徴とする請求項１に記載のシステム。
【請求項１５】
前記命令の一部は、映像の一部、テキストの一部、音声の一部、テキストの一部、またはグラフィックの一部の内の少なくとも１つであることを特徴とする請求項１４に記載のシステム。
【請求項１６】
前記ジェスチャセットクリエイタは、少なくとも部分的に履歴データ収集に基づき、前記生成されたユーザ定義のジェスチャセットに周期的な調整を与えることを特徴とする請求項１４に記載のシステム。
【請求項１７】
表面コンピューティングに関連して、表示されたデータの一部と物理的にインタラクションを行うことを容易にする、コンピュータに実装される方法であって、
表示されたデータへのエフェクトでユーザをプロンプトするステップ（７０２，８０２）と、
前記プロンプトされたエフェクトに応答したユーザからの表面入力を受け取るステップであって、前記応答は前記エフェクトを反復するユーザからの試みである、ステップ（７０４，８０２，８０４）と、
前記エフェクトに対する２人またはそれ以上のユーザからの２つまたはそれ以上の表面入力を集約するステップ（７０６，８０４）と、
前記２つまたはそれ以上の表面入力間の相関関係に基づき、前記エフェクトに対するユーザ定義のジェスチャを生成するステップ（７０８，８０４）と
を含むことを特徴とする方法。
【請求項１８】
ユーザに命令して表示されたデータの一部へのエフェクトを反復させるステップと、
命令の一部をユーザに提供するステップであって、前記命令の一部は、前記エフェクトおよび前記ユーザ定義のジェスチャに関する、ステップと
をさらに含むことを特徴とする請求項１７に記載の方法。
【請求項１９】
前記ユーザ定義のジェスチャを検出するステップと、
前記検出されたユーザ定義のジェスチャに基づき前記エフェクトを実行するステップと
をさらに含むことを特徴とする請求項１７に記載の方法。
【請求項２０】
表面コンピューティングで利用するための直観的なジェスチャのセットを容易にするコンピュータに実装されるシステムであって、
表示されたデータの一部に向けられるユーザから少なくとも１つの表面入力を受け取る手段（１０８，７０４，８０４）と、
前記表面入力をトラッキングする手段（１０４，７０４，８０４）と、
ユーザ定義のジェスチャセット内の前記ユーザ定義のジェスチャを識別するためにユーザから前記表面入力を収集する手段であって、前記ユーザ定義のジェスチャセットは、第１の１つのものを選択することのジェスチャ、第２の１つのものを選択することのジェスチャ、グループを選択することのジェスチャ、第１の移動のジェスチャ、第２の移動のジェスチャ、パンのジェスチャ、切り取りのジェスチャ、第１の貼り付けのジェスチャ、第２の貼り付けのジェスチャ、回転のジェスチャ、複写のジェスチャ、削除のジェスチャ、受け入れのジェスチャ、拒否のジェスチャ、ヘルプのジェスチャ、メニューのジェスチャ、アンドゥのジェスチャ、第１の拡大／縮小のジェスチャ、第２の拡大／縮小のジェスチャ、第３の拡大／縮小のジェスチャ、第４の拡大／縮小のジェスチャ、開くのジェスチャ、ズームイン／アウトのジェスチャ、最小化のジェスチャ、および、次へ／前へのジェスチャ、を含む、手段（１０２，１０４，７０６，７０８，８０４）と、
前記識別されたユーザ定義のジェスチャによりトリガされるディスプレイの一部に対する潜在的なエフェクトを実行する手段（１０２，７０８，８０４）と
を備えることを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
表面コンピューティングのためのユーザ定義のジェスチャセットに関する。
【背景技術】
【０００２】
コンピューティングデバイスは、技術的能力が向上し続けており、そのようなデバイスは、限られたデバイス空間内で複数の機能性を提供することが可能である。コンピューティングデバイスは、モバイル通信デバイス、デスクトップコンピュータ、ラップトップ、携帯電話、ＰＤＡ、ページャ、タブレット、メッセンジャデバイス、ハンドヘルド、ポケット翻訳機、バーコードスキャナ、スマートフォン、スキャナ、携帯型ハンドヘルドスキャナ、および、データインタラクションを可能にする任意の他のコンピューティングデバイス、とすることが可能であるが、これに限定されない。各デバイスが、ユーザのために特定の機能を採用するが、デバイスは発展し続け、消費者のニーズにアピールするために、重複する機能性を与えている。言い換えれば、コンピューティングデバイスが、複数の特徴（feature）および／またはアプリケーションを組み込んだため、デバイスはお互いの機能性を侵害することとなった。例えば、携帯電話は、セルラーサービス、電話帳、カレンダー、ゲーム、音声メール、ページング、ウェブブラウジング、ビデオキャプチャ、画像キャプチャ、音声メモ、音声認識、ハイエンドの携帯電話（例えば、スマートフォンは、特徴および機能性において、ますます携帯型コンピュータ／ラップトップと同様のものになっている）、等を提供することができる。
【０００３】
その結果、パーソナルコンピューティングデバイスは、情報を入力するための様々な技術および／または方法を組み込むこととなった。パーソナルコンピューティングデバイスは、キーボード、キーパッド、タッチパッド、タッチスクリーン、スピーカ、スタイラスペン（例えば、ワンド）、ライティングパッド、等であるが、これに限定されないデバイスを採用して、情報を入力することを容易にする。しかし、キーパッド、スピーカおよびライティングパッド等の入力デバイスは、各ユーザがデータ入力の技術（例えば、音声、および／またはライティング）を同様に利用することができないという、ユーザパーソナライゼーションの欠陥を生じる。例えば、アメリカでライティング認識がある消費者は、英語で書くことが可能であるのに、別個のおよび／または異なる文字のバリエーションが存在する。
【０００４】
さらに、そのような上述の技術を介したデータ通信またはデータインタラクションに、コンピューティングデバイスを利用することが可能である。コンピューティングデバイスと共に成長する特定の技術は、インタラクティブ表面または関連する触知できるユーザインターフェース（tangible user interface）に関し、多くの場合表面コンピューティング（surface computing）と称される。表面コンピューティングは、表示されたデータおよび検出された物理的なオブジェクトと、ユーザが物理的にインタラクションを行うことを可能にし、より直観的なデータインタラクションを提供する。例えば、写真を検出してデジタルデータを注釈として付すことが可能であるが、ユーザは、そのような実際の写真および／または注釈データを操作すること、またはそれとインタラクションすることができる。従って、そのような入力技術により、オブジェクトが識別され、トラッキングされ、および、デジタル情報で補強されることが可能にされる。さらに、ユーザは、従来のデータインタラクション技術またはジェスチャが、ほとんどの表面コンピューティングシステムに対して直観的であるとは思わないであろう。例えば、多くの表面コンピューティングシステムが、システム設計者により作成される、典型的なユーザの行動を反映していないジェスチャを採用する。言い換えれば、表面コンピューティングシステムのデータインタラクションの典型的なジェスチャは、非直観的な柔軟性の無いものであり、専門家ではないユーザの視点を考慮に入れていない。
【発明の概要】
【０００５】
以下では、本明細書に記載されるいくつかの態様の基本的理解を提供するために、新手法の簡素化された要約を示す。この要約は、請求される主題の広範囲な概要ではない。請求される主題の要または決定的な要素を確認することも、主題の新手法の範囲を詳述することも意図されない。その唯一の目的は、後に示されるさらに詳細な記載の前置きとして、請求される主題のいくつかの概念を簡素化された形式で示すことである。
【０００６】
主題の新手法は、ユーザ定義のジェスチャセットを生成するために表面入力データの収集を容易にするシステムおよび／または方法に関する。ジェスチャセットクリエイタは、データエフェクトに応答するユーザからの表面入力を評価することが可能であり、ジェスチャセットクリエイタは、２人またはそれ以上のユーザの間の表面入力に基づきユーザ定義のジェスチャを生成することができる。特に、ユーザグループは、表示されるデータ上のエフェクトでプロンプトされ、そのようなエフェクトに対するユーザ定義のジェスチャを識別するために、応答をトラッキングすることができる。例えば、エフェクトは、データの選択、データセットの選択、グループの選択、データの移動、データのパン、データの回転、データの切り取り、データの貼り付け、データの複写、データの削除、受け取り、ヘルプの要求、拒否、メニューの要求、アンドゥ、データの拡大、データの縮小、ズームイン、ズームアウト、開く、最小化、次へ、前へ、の内の１つとすることができる。請求される主題の他の態様において、表面コンピューティングで実現するための、２人またはそれ以上のユーザからのジェスチャセットの識別を容易にする方法が提供される。
【０００７】
以下の記載および付属の図面では、請求される主題の特定の例示の態様を詳細に記載する。これらの態様は、新手法の原理を採用することができる種々の方法のほんのいくつかを示すが、請求される主題には、全てのそのような態様およびそれと同等のものが含まれることが意図される。請求される主題の他の利点および新規な特徴は、以下の新手法についての発明を実施するための形態から、図面と併せて検討する際に明らかにされるであろう。
【図面の簡単な説明】
【０００８】
【図１】ユーザ定義のジェスチャセットを生成するために表面入力データの収集を容易にする例示のシステムのブロック図である。
【図２】表面コンピューティングで実装される、２人またはそれ以上のユーザからのジェスチャセットの識別を容易にする例示のシステムのブロック図である。
【図３】ユーザ定義のジェスチャを識別すること、およびそのようなジェスチャの使用について説明を与えること、を容易にする例示のシステムのブロック図である。
【図４】表示されたデータの一部とのインタラクションを容易にする例示のジェスチャのブロック図である。
【図５】表示されたデータの一部とのインタラクションを容易にする例示のジェスチャのブロック図である。
【図６】ユーザ定義のジェスチャセットを作成するために、別個のユーザからの種々の表面入力間の相関関係を自動的に識別することを容易にする例示のシステムのブロック図である。
【図７】ユーザ定義のジェスチャセットを生成するために、表面入力データを収集するための例示の方法論を例示する図である。
【図８】表面コンピューティングに関連してユーザ定義のジェスチャセットの作成および利用を容易にする例示の方法論を例示する図である。
【図９】請求される主題の新規な態様を採用することが可能である、例示のネットワーク環境を例示する図である。
【図１０】請求される主題に従って採用可能な例示の動作環境を例示する図である。
【発明を実施するための形態】
【０００９】
請求される主題が図面を参照して記載され、それにおいて全体を通して同様の参照番号が、同様の要素の参照に使用される。以下の記載において、説明の目的で、多数の特定の詳細が、主題の新手法の全体の理解を提供するために、記載される。しかし、請求される主題が、これらの特定の詳細無しで実践され得ることは、明らかである。別の例において、周知の構造およびデバイスが、主題の新手法の記載を容易にするために、ブロック図の形式で示される。
【００１０】
本明細書において利用されるような、用語「コンポーネント」、「システム」、「データストア」、「クリエイタ」、「エバリュエータ（評価装置）」、「プロンプタ」等は、コンピュータに関連したエンティティ、または、ハードウェア、ソフトウェア（例えば、実行中の）、および／またはファームウェア、を参照することが意図される。例えば、コンポーネントは、プロセッサ上で稼働するプロセス、プロセッサ、オブジェクト、実行ファイル、プログラム、関数、ライブラリ、サブルーチン、および／または、コンピュータ、またはソフトウェアとハードウェアとの組み合わせ、とすることが可能である。例示の目的で、サーバ上で稼働するアプリケーションおよびそのサーバは双方とも、コンポーネントとすることができる。１つまたは複数のコンポーネントを、１プロセス内に備えることが可能であり、コンポーネントは、１つのコンピュータ上に配置、および／または、２つまたはそれ以上のコンピュータ間に分散、させることが可能である。
【００１１】
さらに、請求される主題は、ソフトウェア、ファームウェア、ハードウェア、または、その任意の組み合わせを製造するための、標準のプログラムおよび／またはエンジニアリング技術を使用する、方法、装置、または製造品として実施され、コンピュータを制御し、開示される主題を実施する。用語「製造品」は本明細書で使用されるとき、任意のコンピュータ可読デバイス、キャリアまたは媒体からアクセス可能なコンピュータプログラムを包含することが意図される。例えば、コンピュータ可読媒体には、磁気記憶装置（例えば、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、．．．）、光ディスク（例えば、ＣＤ（ｃｏｍｐａｃｔ  ｄｉｓｋ）、ＤＶＤ（ｄｉｇｉｔａｌ  ｖｅｒｓａｔｉｌｅ  ｄｉｓｋ）．．．）、スマートカード、および、フラッシュメモリデバイス（例えば、カード、スティック、キードライブ．．．）を含むことができるが、これに限定されない。加えて、電子メールを送信および受信する際に使用されるもの、または、インターネットまたはローカルエリアネットワーク（ＬＡＮ）にアクセスする際に使用されるもの、などのコンピュータ可読電子データを搬送するのに、搬送波を採用することが可能であることは理解されるべきである。もちろん、請求される主題の範囲または精神から逸脱することなく、この構成に多くの修正がなされ得ることを、当業者は、認識するであろう。さらに、単語「例示の」は、本明細書で使用されて、例、事例、または説明図としての役割を果たすことを意味する。本明細書において「例示」として記載される任意の態様または設計は、他の態様または設計に対して、必ずしも好ましいまたは利点のあるものとして解釈されるわけではない。
【００１２】
ここで図面を見ると、図１は、ユーザ定義のジェスチャセットを生成するために表面入力データの収集を容易にするシステム１００を例示する。システム１００には、表面検出コンポーネント１０４を用いた実装支援のための、ユーザ定義のジェスチャを識別するためにユーザ１０６からの表面入力データを集約することが可能なジェスチャセットクリエイタ１０２を含むことができる。特に、ユーザ１０６は、インターフェースコンポーネント１０８を介して、例えば、表示されたデータに関連するプロンプトされたエフェクトに応答して、１つの表面入力または複数の表面入力を与えることができる。そのような表面入力は、ジェスチャセットクリエイタ１０２により収集および分析されて、プロンプトされたエフェクトに対してユーザが定義したジェスチャを識別することが可能であり、それにおいて、２つまたはそれ以上のユーザ定義のジェスチャを１つのユーザ定義のジェスチャセットとすることができる。ジェスチャセットクリエイタ１０２は、表示されたデータに対する潜在的なエフェクトでユーザ１０６をプロンプトする、すなわち潜在的なエフェクトをユーザ１０６に与えることができ、ユーザ１０６は、表面入力を介して自分の応答を与えることができる。そのような表面入力応答は、表示されたデータに対する表面入力を介して、潜在的なエフェクトをどのように実現するかについてのユーザ１０６の直観的な応答を示すことができる。さらに、表面検出コンポーネント１０４は、ユーザ、有形のオブジェクト、またはそれらの任意の適切な組み合わせ、のうちの少なくとも１つからの表面入力を検出することが可能である。そのような表面入力を検出すると、表面検出コンポーネント１０４は、そのような表面入力の位置または場所を解明することができる。
【００１３】
表面検出コンポーネント１０４を利用して、タッチイベント、表面入力および／または表面接触をキャプチャすることが可能である。そのようなキャプチャされた、すなわち検出された、イベント、入力、接触を、ジェスチャ、手の動き、手のインタラクション、オブジェクトインタラクション、および／または、データの一部との任意の他の適切なインタラクションとすることができることは理解すべきである。例えば、手のインタラクションをディスプレイ上の対応するデータインタラクションに変換することができる。別の例において、ユーザは、物理的に存在しかつ検出された立方体と物理的にインタラクションを行うことが可能であり、それにおいて、そのようなインタラクションでは、実世界のそのような立方体の操作も、表示されるデータまたはそのような検出された立方体に関連するデータの操作も可能にされる。表面検出コンポーネント１０４が、任意の適切な検知技術（例えば、視覚ベース、非視覚ベース等の）を利用することができることは理解すべきである。例えば、表面検出コンポーネント１０４は、容量検知、マルチタッチ検知等を提供することができる。
【００１４】
例えば、表示されたオブジェクトの一部を削除するためのプロンプトされたエフェクトを、ユーザに提供することが可能であり、それにおいて、ユーザは、表面入力を介して自分の応答を与えることができる。２人またはそれ以上のユーザおよびそれぞれの表面入力の評価に基づき、ユーザ定義のジェスチャが、表示されたデータの一部を削除することに対して識別され得る。言い換えれば、プロンプトされたエフェクトおよび収集された結果により、ユーザ定義のジェスチャセットを、ユーザ入力の評価に基づき生成することが可能にされる。
【００１５】
プロンプトされたエフェクトは、任意の適切な方法でユーザに通信され得、かつ、音声の一部、映像の一部、テキストの一部、グラフィックの一部等とすることができるがこれに限定されないことは理解すべきである。例えば、プロンプトされたエフェクトを、言葉による説明（verbal instruction）を介してユーザに示すことができる。さらに、ジェスチャセットクリエイタ１０２が、表面入力応答に加えてユーザ１０６からの応答の監視、トラッキング、記録等が可能であることは理解すべきである。例えば、口頭による応答、顔の表情、身体の振舞い等を調べることにより応答の信頼性を評価するために、ユーザ１０６をビデオテープに録画することが可能である。
【００１６】
加えて、システム１００には、任意の適切なおよび／または必要なインターフェースコンポーネント１０８（本明細書においては、「インターフェース１０８」と称する）を含めることができ、それにより、種々のアダプタ、コネクタ、チャネル、通信路等を提供して、ジェスチャセットクリエイタ１０２を、任意のオペレーティングシステムおよび／またはデータベースシステム（複数可）に実質的に統合し、および／または、お互いに統合する。加えて、インターフェース１０８は、種々のアダプタ、コネクタ、チャネル、通信路等を提供することが可能であり、これらにより、ジェスチャセットクリエイタ１０２、表面検出コンポーネント１０４、ユーザ１０６、表面入力、および、システム１００に関連する任意の他のデバイスおよび／またはコンポーネント、とのインタラクションを提供する。
【００１７】
図２は、表面コンピューティングを用いた実装のための、２人またはそれ以上のユーザからのジェスチャセットの識別を容易にする例示のシステム２００を例示する。システム２００には、表示されたデータに対する潜在的なエフェクトへの総意を反映するユーザ定義のジェスチャセットを抽出するために、２人またはそれ以上のユーザ１０６からの表面入力（インターフェース１０８により受け取られ、表面検出コンポーネント１０４によりトラッキングされる）を収集および分析することができる、ジェスチャセットクリエイタ１０２を含むことができる。２つまたはそれ以上のユーザ定義のジェスチャを識別する際、そのようなジェスチャは、ユーザ定義のジェスチャセットと称することができる。表面検出コンポーネント１０４（例えば、コンピュータ視覚ベースの動作検知、表面コンピューティング等）は一度定義されると、少なくとも１つのユーザ定義のジェスチャを検出し、ジェスチャが割り当てられたエフェクト、すなわちリンクされたエフェクトを起動することが可能である。
【００１８】
表示されたデータに対する任意の適切なエフェクトを、ユーザ定義のジェスチャを識別するためにユーザ１０６に提示することができることを理解すべきである。例えば、エフェクトは、データの選択、データのセットまたはグループの選択、データの移動、データのパン、データの回転、データの切り取り、データの貼り付け、データの複写、データの削除、受け取り、ヘルプ、拒否、メニュー、アンドゥ、データの拡大、データの縮小、ズームイン、ズームアウト、開く、最小化、次、前、等とすることができるがこれに限定されない。さらに、ユーザ定義のジェスチャは、任意の適切な手のジェスチャまたは手の一部（例えば、手全体、手のひら、１本の指、２本の指等）により実行される。
【００１９】
システム２００には、システム２００に関する種々のデータを記憶することが可能なデータストア２０４を含むことができる。例えば、データストア２０４には、ジェスチャセットクリエイタ１０２、表面検出コンポーネント１０４、２人またはそれ以上のユーザ１０６、インターフェース１０８、ユーザ２０２等に関する任意の適切なデータを含むことができる。例えば、データストア２０４は、ユーザ定義のジェスチャ、ユーザ定義のジェスチャセット、プロンプトされたエフェクトに対応する収集された表面入力、表示されたデータに対するエフェクト、プロンプト技術（例えば、音声、映像、言葉等）、チュートリアルデータ、相関データ、表面入力収集技術、表面コンピューティングデータ、表面検出技術、ユーザの好み、ユーザデータ等のデータを記憶することができるがこれに限定されない。
【００２０】
データストア２０４は、例えば、揮発性メモリまたは不揮発性メモリとすることができ、または、揮発性および不揮発性のメモリ双方を含むことができる。制限ではなく例示の目的で、不揮発性メモリには、ＲＯＭ（ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ  ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、またはフラッシュメモリを含むことができる。揮発性メモリには、ＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）を含むことができ、これは外部キャッシュメモリとして動作する。制限ではなく例示の目的で、ＲＡＭは、ＳＲＡＭ（ｓｔａｔｉｃ  ＲＡＭ）、ＤＲＡＭ（ｄｙｎａｍｉｃ  ＲＡＭ）、ＳＤＲＡＭ（ｓｙｎｃｈｒｏｎｏｕｓ  ＤＲＡＭ）、ＤＤＲ  ＳＤＲＡＭ（ｄｏｕｂｌｅ  ｄａｔａ  ｒａｔｅ  ＳＤＲＡＭ）、ＥＳＤＲＡＭ（ｅｎｈａｎｃｅｄ  ＳＤＲＡＭ）、ＳＬＤＲＡＭ（Ｓｙｎｃｈｌｉｎｋ  ＤＲＡＭ）、ＲＤＲＡＭ（Ｒａｍｂｕｓ  ｄｉｒｅｃｔ  ＲＡＭ）、ＤＲＤＲＡＭ（ｄｉｒｅｃｔ  Ｒａｍｂｕｓ  ｄｙｎａｍｉｃ  ＲＡＭ）、およびＲＤＲＡＭ（Ｒａｍｂｕｓ  ｄｙｎａｍｉｃ  ＲＡＭ）等の多くの形式で利用可能である。主題のシステムおよび方法のデータストア２０４は、これらおよび任意の他の適切なタイプのメモリおよび／または記憶装置を、これらに限定されることなく、備えることが意図される。加えて、データストア２０４は、サーバ、データベース、リレーショナルデータベース、ハードドライブ、ペンドライブ等とすることができることは理解すべきである。
【００２１】
図３は、ユーザ定義のジェスチャを識別すること、および、そのようなジェスチャの利用に説明を与えること、を容易にするシステム３００を例示する。システム３００には、実験的な表面データ、すなわち複数のユーザ１０６からの表面入力を受け取って、そのような受け取ったデータに関連する相関関係に基づき、ユーザ定義のジェスチャセットを生成することができる、ジェスチャセットクリエイタ１０２を含むことができる。ユーザ定義のジェスチャおよび／またはユーザ定義のジェスチャセットが、表面コンピューティング技術（例えば、テーブルトップ、インタラクティブなテーブルトップ、インタラクティブなユーザインターフェース、表面検出コンポーネント１０４、表面検出システム等）に関連して、利用可能であることは、理解すべきである。
【００２２】
システム３００には、プロンプタ・エバリュエータ３０２をさらに含むことができる。プロンプタ・エバリュエータ３０２は、以下の内の少なくとも１つを提供することができる。すなわち、表示されたデータへの潜在的なエフェクトに関するプロンプト、または、集約されたテスト表面入力データ（例えば、テスト段階または実験段階にある、プロンプトされたエフェクトに応答する表面入力）の評価、である。プロンプタ・エバリュエータ３０２は、任意の適切なデータの一部を少なくとも１人のユーザ１０６に通信して、表面検出コンポーネント１０４および／またはインターフェース１０８を介して応答を生成することができる。特に、プロンプトは、潜在的なジェスチャの表示されたデータに対する潜在的なエフェクトの伝達とすることができる。さらに、プロンプトを、音声の一部、映像の一部、グラフィックの一部、テキストの一部、言葉による説明の一部、等とすることができることは理解すべきである。さらに、プロンプタ・エバリュエータ３０２は、比較分析および／または同意の程度に関する計算（例えば、以下でさらに詳細に記載される）を提供して、ユーザ定義のジェスチャを反映可能な、ユーザ１０６からの同様の表面入力を識別することができる（例えば、潜在的なエフェクトに応答してユーザが提供する同様の表面入力を、ユーザ定義のジェスチャとして識別することができる）。加えて、プロンプタ・エバリュエータ３０２は、表面入力、ユーザの反応、言葉による応答等を含むがこれに限定されない、任意の適切なプロンプトされたエフェクトから収集されたデータを分析することが可能であることは理解すべきである。
【００２３】
システム３００には、命令の一部を提供して、生成されたユーザ定義のジェスチャセットに対して、ユーザに情報提供またはユーザを教育することができる、チュートリアルコンポーネント３０４をさらに含むことができる。例えば、チュートリアルコンポーネント３０４は、音声の一部、映像の一部、グラフィックの一部、テキストの一部等を提供して、ジェスチャセットクリエイタ１０２により作成された少なくとも１つのユーザ定義のジェスチャをユーザに通知することができる。例えば、チュートリアルは、ジェスチャおよび表示されたデータへのそのようなジェスチャのエフェクトに関する例を提供する、簡単な映像とすることができる。
【００２４】
多くの表面コンピューティングのプロトタイプが、システム設計者により作成されたジェスチャを採用してきた。そのようなジェスチャは、初期の調査に対しては適切であるが、必ずしもユーザの行動を反映するものではない。主題の新手法は、テーブルトップジェスチャの設計へのアプローチを提供するが、これは、まず、ジェスチャのエフェクトを描き、次に、ユーザにそれを生じさせる原因となるものを演じてもらうことにより、専門家ではないユーザからジェスチャを導き出すことに依る。合計で１０８０個の２０人の参加者からのジェスチャの記録を取り、分析し、１つおよび／または２つの手で実行される２７個のコマンドに対する発話思考のデータと対に組み合わせた。請求される主題により、ユーザは自分が使う指の本数をほとんど気にしないこと、２つより１つの手で行うことを好むこと、デスクトップの慣用語（idioms）がユーザのメンタルモデルに強力に影響を与えること、および、いくつかのコマンドは、ジェスチャについての同意の程度をほとんど導き出さず、スクリーン上のウィジェットの必要性が示唆されること、を示す研究結果を提供することができる。主題の新手法により、完全なユーザ定義のジェスチャセット、定量的同意率、表面技術の実装、および、表面ジェスチャの分類法がさらに提供される。
【００２５】
これらの特異性を調査するために、推測性（guessability）学習方法論が採用されるが、これは、ジェスチャのエフェクトを参加者に提示し、そのジェスチャを引き起こすことになる原因を導き出すというものである。例えば、発話思考（think-aloud）プロトコル・映像分析を使用して、ユーザのメンタルモデルを明らかにするリッチな定性的データを得ることができる。表面コンピューティングシステム／コンポーネントに詳細な記録を取りながらカスタムソフトウェアを使用することにより、ジェスチャのタイミング、動作、および／または好みに関する定量的測定値を得ることができる。その結果は、ユーザ定義のジェスチャの詳細な実態、ならびに、それらを伴うメンタルモデルおよびパフォーマンス、である。ジェスチャ定義に関する主題の新手法により実現される原理に基づいたアプローチは、ジェスチャセットの開発において、原理よりむしろユーザを採用した最初のものである。さらに、タッチスクリーンデバイスを扱う経験が無い専門家ではないユーザが明示的に採用され、そのようなユーザがインタラクティブなテーブルトップについて、設計者およびシステム構築者とは異なる行動をとり、かつ推論することが期待された。
【００２６】
主題の新手法は、以下のことを表面コンピューティングに提供する。（１）分類法を含む、ユーザ定義の表面ジェスチャの定量的および定性的特性、（２）ユーザ定義のジェスチャセット、（３）表面ジェスチャ作成時のユーザのメンタルモデルについての見識、（４）表面コンピューティング技術およびユーザインターフェース設計の実装についての理解。ユーザ中心の設計を、人間のコンピュータインタラクションの基礎とすることができる。しかし、ユーザは、設計者ではないため、設計に有益なユーザの行動を導き出すことに注意が払われる。
【００２７】
人間がインタラクティブなコンピュータシステムを使用するとき、ユーザとコンピュータの対話、入力および出力の言語により仲介される会話、が行われる。任意の対話におけるように、この会話を行うにはフィードバックが不可欠である。人と人の間で何かが間違って理解されると、言い直される。ユーザとコンピュータの対話でも同じことが当てはまる。フィードバックまたはその欠如により、ユーザのアクションが受諾されるかまたは抑止されるかのどちらかであり、ユーザに自分のメンタルモデルを修正させ、新しいアクションを取らせることになる。
【００２８】
表面コンピューティングのためのユーザ定義のジェスチャセットの開発においては、ユーザの行動に影響を及ぼすジェスチャ認識の変動（vicissitude）が、その影響の為に制限された。別の言い方をすれば、実行における大きな隔たりが対話から取り除かれ、ユーザの行動が受容される、実質的に「独白（monologue）」の環境が作成された。これにより、ユーザの修正されない行動を観察すること、および、それを受け入れる駆動システムの設計が可能にされる。ユーザの修正されない行動を調べる別の理由は、インタラクティブなテーブルトップ（例えば、表面検出システム、表面コンピューティング等）が、すぐに使えることの重要性が高い、公共の場で使用されるからである。
【００２９】
ユーザ定義のジェスチャセットは、主題の新手法により生成することができる。特定のジェスチャセットは、２０名の専門家ではない参加者に、表面コンピューティングシステム（例えば、インタラクティブなテーブルトップ、インタラクティブなインターフェース等）でジェスチャを演じさせることにより作成された。偏った判断を避けるため、特定のオペレーティングシステムに特有の要素を利用せずまたは示さなかった。同様に、特定のアプリケーションドメインを想定しなかった。その代わりに、参加者は、二次元形状の単純なブロックの世界において動作した。各参加者は、ジェスチャ（例えば、テーブルまたは表面を移動するオブジェクト）のエフェクトを見て、そのエフェクトが引き起こされるであろうと自分が思うジェスチャを演じるよう求められる（例えば、左手の人差し指でオブジェクトを保持したまま右手の人差指で目標の場所をたたく）。言語学的には、ジェスチャのエフェクトは、ジェスチャサインにより示される指示対象（referent）である。２７個の指示対象が提示され、１つおよび２つの手に対してジェスチャが導き出された。システム３００により、テーブルとの手の接触をトラッキングして記録を取った。参加者は、発話思考プロトコルを使用し、ビデオテープに録画されて主観的な選好が可能にされた。
【００３０】
最終的なユーザ定義のジェスチャセットは、各コマンドに対してジェスチャを選択する時に参加者が提示する同意の程度または相関関係に照らして開発された。所与のコマンドに対して同じジェスチャを使用した参加者が多いほど、ジェスチャがそのコマンドに割り当てられる可能性が高い。結局、ユーザ定義のジェスチャセットは、実際のユーザの行動に基づいた、驚くほど一貫性のある収集物として現れた。
【００３１】
主題の新手法では、２０名の参加者またはユーザに２７個のコマンド（例えば、指示対象）のエフェクトを提示し、次に、対応するジェスチャ（例えば、サイン）を選択するよう彼らに求めた。コマンドは、アプリケーションにとらわれず、既存のデスクトップシステムおよびテーブルトップシステムから得られた。概念上直接的なコマンドもあれば、より複雑なコマンドもあった。各指示対象の概念的な複雑さは、参加者がジェスチャを行う前に評価された。
【００３２】
任意の適切な数のユーザを活用してジェスチャセットを作成することが可能であることは理解すべきである。さらに、各ユーザは、種々の特徴または資質を持つことができる。例えば、２０名の有料の参加者を使用することができ、１１名の男性と９名の女性で平均年齢は４３．２歳（ｓｄ（標準偏差）＝１５．６）であった。参加者は、一般市民から採用されて、コンピュータ科学者またはユーザインターフェース設計者ではなかった。
【００３３】
ユーザ定義のジェスチャセットの生成は、表面検出コンポーネント１０４および／または任意の他の適切な表面コンピューティングシステム（例えば、インタラクティブなテーブルトップ、インタラクティブなインターフェース、表面視覚システム等）上において、実現することが可能である。例えば、アプリケーションを利用して、２７個の指示対象を例示する記録されたアニメーションおよびスピーチをユーザに提示することができるが、任意の適切な数の指示対象を主題の新手法に利用可能であることは理解すべきである。例えば、パンの指示対象に対して、記録音声は、「パンして下さい。スクリーンのビューを動かして、隠れたスクリーンのコンテンツを見せるふりをして下さい。これは例です」とすることができる。記録が終了した後、ソフトウェアにより、左から右に動くオブジェクトのフィールドをアニメーション表示した。アニメーションの後、ソフトウェアは、パンのエフェクトの前の状態のオブジェクトを示し、ユーザがジェスチャを演じるのを待った。
【００３４】
システム３００では、テーブルまたは表面の真下から参加者の手を監視し、接触情報を報告することができる。接触および／または表面入力は、ミリ秒のタイムスタンプを有する楕円として記録が取られる。これらの記録は、次に解析されて、実験的レベルの量が計算される。参加者の手はまた、例えば、４つの角度からビデオテープに録画することができる。加えて、ユーザは、各セッションを観察して、特に発話思考データに関して、詳細な記録を取った。
【００３５】
システム３００では、２７個の指示対象が参加者にランダムに提示された。各指示対象に対して、参加者は、発話思考を行いながら、１つの手のジェスチャおよび２つの手のジェスチャを演じた。各ジェスチャの後、参加者には、２つの７段階のリッカート尺度が示された。指示対象に対する１つおよび２つの手のジェスチャを演じた後、参加者はまた、手をいくつ使うのが好ましいかを質問された。２０名の参加者、２７個の指示対象、ならびに、１つおよび２つの手、を用いて、合計で２０×２７×２＝１０８０個のジェスチャが作られた。このうち、参加者の困惑の為、６個が廃棄された。
【００３６】
主題の新手法により、ユーザの行動に基づく表面ジェスチャの多目的な分類を確立することができる。収集されたデータの処理作業を通して、システム３００では、繰り返しそのような分類を発展させ、表面ジェスチャの設計空間が獲得される助けとなった。作者またはユーザは、各ジェスチャを、形式、性質、結びつき、および流れという４つの次元に沿って手動で分類することが可能である。各次元内において、複数のカテゴリがあり、以下の表１に示される。
【００３７】
【表１】
2011530135.tif 000003
【００３８】
形式の次元の範囲は、１つの手の範囲内である。２つの手のジェスチャではそれぞれの手に別々に適用される。１点接触および１点進路は、静止の体勢ならびに静止の体勢および進路のそれぞれの特別の場合である。これらは、マウスのアクションに類似していることから区別することが可能である。参加者が頻繁に行ったように、ユーザが何気なく同じ点に２本以上の指で接触した場合でも、ジェスチャは、１点接触または進路と見なされる。そのような場合は報告中に調査され、ジェスチャのユーザのメンタルモデルが１点のみ必要とすることが判明した。
【００３９】
性質の次元においては、象徴的なジェスチャを、視覚的描写とすることができる。例としては、キャレット（「＾」）をトレースして挿入を行う、または、了承するためにテーブル上でＯＫの体勢（「
【００４０】
【化１】
2011530135.tif 000004
」）を形成すること、がある。物理的なジェスチャは、物理的なオブジェクトがあるテーブルに対して表向きには同じエフェクトを有する。隠喩的なジェスチャは、その他のものに対して、その他のものと共に、または、その他のもののように、ジェスチャが動作される時、発生し得る。例としては、指を円形にトレースして「渦巻の輪」をシミュレーションすること、２本の指を使用してスクリーン上を「歩く」こと、手が虫眼鏡であるように振舞うこと、本のページをめくるかのように拭い去ること、または、架空のボタンを単にたたくこと、がある。ジェスチャ自体は、その隠喩的な性質を現すには十分ではないが、答えはユーザのメンタルモデルにある。
【００４１】
結びつきの次元においては、オブジェクト中心のジェスチャは、ジェスチャが影響を及ぼすかまたは形成するオブジェクト（複数可）についての情報を必要とする。例としては、オブジェクトの上部で縮小させるために２本の指を一緒に挟み込むこと、がある。実世界依存のジェスチャは、実世界に対して定義され、ディスプレイの右上の角をたたくこと、または、オブジェクトをスクリーンの外にドラッグすること、などがある。実世界非依存のジェスチャは、実世界についての情報を必要とせず、かつ、概してどこにでも発生可能である。このカテゴリには、実世界の特徴ではない一時的なオブジェクト上を除いたどこにても発生可能なジェスチャを含むことができる。最後に、混合依存は、ある事項について実世界依存であるが、別の事項については実世界非依存またはオブジェクト中心であるジェスチャに対して発生する。これは、２つの手のジェスチャに対して発生することがあり、この場合、１つの手がオブジェクト上で動作し、他方の手がどこかで動作する。
【００４２】
ジェスチャの流れは、ジェスチャが、演じられる場合、範囲が定められる場合、認識される場合、および、イベントとして応答される場合、離散される。例としては、疑問符（「？」）をトレースしてヘルプを出すこと、がある。流れは、ほとんどの参加者のサイズ変更のジェスチャの間などの、進行中の認識が求められる場合に、継続する。
【００４３】
主題の新手法は、ユーザ定義のジェスチャセットを作成することが可能である。セットが作成されるプロセスおよびセットのプロパティが以下で検討される。表面コンピューティングのための従来のジェスチャセットとは異なり、このセットは、観察されたユーザの行動に基づき、かつ、ジェスチャをコマンドにリンクさせる。２０名全ての参加者（例えば、任意の適切な数の参加者が利用可能である）が、ジェスチャを１つの手および２つの手の各指示対象に対して提供した後、各指示対象内のジェスチャがクラスタ化され、各クラスタに調和したジェスチャを保持させるようにした。任意の適切な同意の程度または相関関係が、システム３００（例えば、プロンプタ・エバリュエータ３０２、ジェスチャセットクリエイタ１０２等）により実現可能であることは理解すべきである。次に、クラスタのサイズを使用して、１つの数字で参加者間の総意の程度を反映する、同意率Ａを計算した。
【００４４】
【数１】
2011530135.tif 000005
【００４５】
数式１において、ｒは全ての指示対象Ｒのセット内の指示対象、Ｐｒは、指示対象ｒに対して提案されるジェスチャのセット、Ｐｉは、Ｐｒからの同一のジェスチャのサブセットである。Ａの範囲は、［｜Ｐｒ｜−１，１］である。例として、多少の動き（ｍｏｖｅ）（２つの手）および単一の（１つの手）の選択（ｓｅｌｅｃｔ）の、同意率を考える。両方とも、４つのクラスタを持つことができる。前者は、１２、３、３および２のサイズのクラスタを持ち、後者は、１１、３、３および３のサイズのクラスタを持っていた。多少の動き（ｍｏｖｅ）については、以下のように計算される。
単一の選択（ｓｅｌｅｃｔ）については、以下のように計算される。
【００４６】
【数２】
2011530135.tif 000006
【００４７】
【数３】
2011530135.tif 000007
１つの手および２つの手のジェスチャについての全体的な同意の程度は、それぞれ、Ａ１Ｈ＝０．３２３、Ａ２Ｈ＝０．２８５であった。
【００４８】
一般に、ユーザ定義のジェスチャセットは、各指示対象に大きなクラスタを取ること、および、それらのクラスタのジェスチャを指示対象に割り当てること、により開発された。しかし、同じジェスチャを使用して２つの異なるコマンドを実行する場合、対立が発生する。この場合、最大のクラスタが勝つ。主題の新手法により生成され提供される、結果として得られるユーザ定義のジェスチャセットは、対立が無く、提案される全てのジェスチャの５７．０％に及ぶ。
【００４９】
エイリアシングが示されて、入力の推測性を劇的に増加させた。ユーザ定義のセットにおいて、１０個の指示対象が１つのジェスチャに割り当てられ、４個の指示対象が２つのジェスチャを有し、３個の指示対象が３個のジェスチャを有し、４個の指示対象が４個のジェスチャを有し、１個の指示対象が５個のジェスチャを有する。最終的なセットには４８個のジェスチャが存在する。これらの内、３１個（６４．６％）が１つの手で演じられ、１７個（３５．４％）が２つの手で演じられる。
【００５０】
満足のいくことに、高い程度の一貫性および並列性が、我々のユーザ定義のセットには存在する。二分された指示対象では、可逆的なジェスチャが使用され、同じジェスチャが同様の操作に再利用される。例えば、４個の別個のジェスチャで達成される、拡大は、オブジェクトに対して実行されるが、同じ４個のジェスチャが、背景で実行される場合は「ズーム」に使用され、コンテナ（例えば、フォルダ）上で実行される場合は「開く」に使用される。加えて、柔軟性が認められ、指の本数はほとんど問題にならず、しばしば、指、手のひら、または、手の端を同じエフェクトに使用することができる。
【００５１】
おそらく驚くことではないが、指示対象の概念的な複雑さは、指示対象のＡ／Ｖプロンプトの終了時と参加者の最初の表面への接触時との間の時間で評価されるように、ジェスチャのプランニング時間（Ｒ２＝．５１，Ｆｌ１、２５＝２６．０４，ｐ＜．０００１）と著しく相関関係があった。一般に、指示対象が複雑なほど、参加者がジェスチャを明確に表すことを開始するまでの時間が、より多くかかった。単純な指示対象は、プランニングに約８秒かかった。複雑な指示対象は約１５秒かかった。しかし、概念的な複雑さは、ジェスチャを明確に表すための時間とはそれほど相関関係が無かった。
【００５２】
各ジェスチャを演じた後、参加者は、それを２つのリッカート尺度で評価することができる。最初の文は「私が選んだジェスチャは、その意図される目的に良く合っている」というものである。２番目の文は、「私が選んだジェスチャは、演じやすい」というものである。尺度は両方とも、１＝ほとんどそう思わない、から７＝非常にそう思う、までの順序の応答を求めるものであった。
【００５３】
所与の指示対象に対する大きなクラスタの構成部材であるジェスチャは、非常に良いという評価を得（χ２＝４２．３４，ｄｆ＝１，ｐ＜．０００１）、評価が高いことにより、実際、より悪いジェスチャを超えて、より良いジェスチャが識別される、ということを示した。この知見は、ジェスチャ設計へのこのアプローチの根底にある前提の検証に大いに役立つ。
【００５４】
指示対象の概念的な複雑さは、自分のジェスチャの良さについての参加者の感情に著しく影響を与えた（χ２＝１９．９２，ｄｆ＝１，ｐ＜．０００１）。より単純な指示対象が約５．６という評価を得、より複雑なものが約４．９という評価であって、参加者が自信が無いと感じるジェスチャが、複雑な指示対象により導き出されるということが示唆された。
【００５５】
プランニング時間はまた、自分のジェスチャの良さについての参加者の感情に著しく影響を与えた（χ２＝３３．６８，ｄｆ＝１，ｐ＜．０００１）。一般に、プランニング時間が減るにつれ、良いという評価が増え、良いジェスチャは、より容易に参加者に分かる、ということが示唆される。
【００５６】
プランニング時間とは異なり、明確に表すための時間は、参加者の良いという評価にそれほど影響を与えなかったが、簡単さの認識に影響を及ぼした（χ２＝４．３８，ｄｆ＝１，ｐ＜．０５）。演じるのに時間がかかったジェスチャが、より簡単であるという評価を得たが、これはおそらく、そのジェスチャが、より滑らかであるかまたはあまり急がないものであるためであろう。難しいと評価されたジェスチャは、約１．５秒かかり、簡単と評価されたものは約３．７秒かかった。
【００５７】
ジェスチャにおけるタッチイベントの数は、その簡単さの認識に著しく影響を及ぼした（χ２＝２４．１１，ｄｆ＝１，ｐ＜．０００１）。最も少ないタッチ動作を伴うジェスチャが、最も難しい（例えば、１）、または最も簡単（例えば、７）のどちらかの評価を得た。より多くの動作を伴うジェスチャは、簡単さの中程度の範囲にあるという評価を得た。
【００５８】
全体としては、参加者は、２５個の指示対象に対しては１つの手のジェスチャを好み、他の２つに対しては均等に分かれた。全体として、２つの手が好まれるジェスチャが導き出された指示対象は無かった。１つの手および２つの手が同等に好まれるものが導き出された指示対象は、挿入と最小化であったが、これらは、既存のジェスチャを再利用したものであるためユーザ定義のジェスチャセットには含まれていなかった。
【００５９】
上述したように、ユーザ設計のセットには、３１個（６４．６％）の１つの手のジェスチャおよび１７個（３５．４％）の２つの手のジェスチャがある。参加者が１つの手のジェスチャを好むことは明確であったが、いくつかの２つの手のジェスチャは、良いという同意率を得、１つの手のバージョンを良好に補間した。
【００６０】
二分された指示対象の例としては、縮小／拡大、前へ／次へ、ズームイン／ズームアウト、などがある。人々は概して、学習ソフトウェアがこれらの指示対象を順番に提示することがほとんどなかったにもかかわらず、二分された指示対象に対して可逆的なジェスチャを採用した。この行動は、最終的なユーザ設計のジェスチャセットにおいて反映され、そこでは二分された指示対象には可逆的なジェスチャが使用される。
【００６１】
概念的な複雑さに従った指示対象の順位と、降順の１つの手の同意の程度に従った指示対象の順序とは同じでなない。従って、参加者および作者は、常に同じ指示対象を複雑であると見なしたわけではなかった。参加者は、単純化してしまう仮定とすることが多かった。１人の参加者は、ズームインするようプロンプトされると、「ああ、これは拡大と同じだ」と言った。同様のメンタルモデルが、拡大と最大化、縮小と最小化、および、パンと移動、でも現れた。このことにより、我々は、ジェスチャセットを統一して、ジェスチャのエフェクトがどこで発生するのか、例えば、オブジェクトにあるのかまたは背景にあるのか、に基づき、ジェスチャのエフェクトの曖昧さを除去することになった。
【００６２】
一般に、１から３本の指でタッチすることは大抵「一点」と見なされ、５本指または手のひら全体では、意図的に多くしたと思われるようであった。その一方、４本指は、「グレー領域」を成し、そこでは指の本数が問題であるかどうかが組み合わせられた。指の本数に基づくジェスチャを区別してきた従来のテーブルトップシステムを前提とすると、これらの知見は妥当である。
【００６３】
複数の人々が、テーブルの投影されたスクリーンの端を超えた世界を想像した。例えば、彼らは、スクリーンの外の場所からスクリーン上にドラッグし、クリップボードとして扱った。彼らはまた、削除および拒否のために、戻しが無い場所としてスクリーンの外の領域にドラッグした。１人の参加者は、上部にドラッグして出すことが「削除」、左にドラッグして出すことが「切り取り」というように、異なる事を意味する、異なるスクリーンの外の領域を想像した。「貼り付け」のために、彼女は確実に左側から中にドラッグして、意図的に「貼り付け」と「切り取り」を関連付けようとした。そのようなジェスチャ（例えば、スクリーンの外、クリップボード複写のジェスチャ等）は、システム３００により採用可能であることを理解すべきである。
【００６４】
主題の新手法では、避けられない偏った判断、ならびに認識の動作および技術的制限に由来する行動の変化を伴わずに、ユーザとシステムとの間の対話を取り除き、ユーザの「自然な」行動についての見識が得られた。一例において、ユーザ定義のジェスチャセットを検証することが可能である。
【００６５】
図４および図５を参照すると、図４はジェスチャセット４００を例示し、図５は、ジェスチャセット５００を例示する。ジェスチャセット４００およびジェスチャセット５００は、表示されたデータの一部とのインタラクションを容易にする。潜在的なエフェクトを指示対象と称することができることは、理解すべきである。図４におけるジェスチャセット４００には、第１の単一選択ジェスチャ４０２、第２の単一選択ジェスチャ４０４、グループ選択ジェスチャ４０６、第１の移動ジェスチャ４０８、第２の移動ジェスチャ４１０、パンジェスチャ４１２、切り取りジェスチャ４１４、第１の貼り付けジェスチャ４１６、第２の貼り付けジェスチャ４１８、回転ジェスチャ４２０、および複写ジェスチャ４２２、を含むことができる。図５におけるジェスチャセット５００には、削除ジェスチャ５０２、受け入れ（accept）ジェスチャ５０４、拒否ジェスチャ５０６、ヘルプジェスチャ５０８、メニュージェスチャ５１０、アンドゥジェスチャ５１２、第１の拡大／縮小ジェスチャ５１４、第２の拡大／縮小ジェスチャ５１６、第３の拡大／縮小ジェスチャ５１８、第４の拡大／縮小ジェスチャ５２０、開くジェスチャ５２２、ズームイン／アウトジェスチャ５２４、最小化ジェスチャ５２６、および、次へ／前へジェスチャ５２８、を含むことができる。
【００６６】
以下の表（表２）には、さらに指示対象、潜在的なエフェクト、および／または、ユーザ定義のジェスチャを記載した。
【００６７】
【表２−１】
2011530135.tif 000008
【００６８】
【表２−２】
2011530135.tif 000009
【００６９】
【表２−３】
2011530135.tif 000010
【００７０】
図６は、インテリジェンスを採用して、別個のユーザからの種々の表面入力間の相関関係を自動的に識別し、ユーザ定義のジェスチャセットを作成する、システム６００を例示する。システム６００には、ジェスチャセットクリエイタ１０２、表面検出コンポーネント１０４、表面入力、および／または、インターフェース１０８、が含まれ、これらは、前の図面で説明したそれぞれのコンポーネント、インターフェース、および表面入力とほぼ同様である。システム６００には、インテリジェントコンポーネント６０２がさらに含まれる。インテリジェントコンポーネント６０２は、ジェスチャセットクリエイタ１０２により利用されて、表面コンピューティングに関連してデータインタラクションを容易にすることができる。例えば、インテリジェントコンポーネント６０２は、ジェスチャ、表面入力、プロンプト、チュートリアル、個人設定、ユーザの好み、表面検出技術、表面入力に対するユーザの意図、指示対象、等を推測することが可能である。
【００７１】
インテリジェントコンポーネント６０２は、情報価値（ＶＯＩ）計算を採用して、受け取った表面入力に基づきユーザ定義のジェスチャを識別することができる。例えば、ＶＯＩ計算を利用することにより、検出された入力（例えば、表面入力等）に関する、ほとんどの理想のおよび／または適切なユーザ定義のジェスチャを、識別することが可能である。さらに、インテリジェントコンポーネント６０２が、イベントおよび／またはデータを介して獲得された観察記録の組から、システム、環境および／またはユーザについて根拠を与えること、または、それらの状態を推測することができることは理解すべきである。例えば、推測を採用して特定のコンテキストまたはアクションを識別することが可能であり、または、推測により、状態全体に渡り確率分布を生成することが可能である。推測は確率的なものとすることができ、つまり、データおよびイベントについての考慮に基づき、興味の対象の状態全体に渡る確率分布の計算、である。推測はまた、イベントおよび／またはデータのセットからより高いレベルのイベントを構成するために採用される技術に言及することもきる。そのような推測により、イベントが時間的に密接した相関関係にあるかどうか、および、イベントおよびデータが、１つまたはいくつかのイベントおよびデータソースに由来するものであるのかどうか、にかかわらず、観察されたイベントおよび／または記憶されるイベントデータの組から、新しいイベントまたはアクションが構成されることになる。種々の（明示的および／または暗示的にトレインされた）分類のスキームおよび／またはシステム（例えば、サポートベクタマシン、ニューラルネットワーク、エキスパートシステム、ベイジアン信念ネットワーク、ファジー理論、データ融合エンジン．．．）を、請求される主題に関連して、自動的なおよび／または推測されたアクションを実行することに関連して採用することができる。
【００７２】
分類器は、入力属性ベクトルｘ＝（ｘ１，ｘ２，ｘ３，ｘ４，ｘｎ）を、入力があるクラスに属することの信頼度にマッピングする関数であり、即ち、ｆ（ｘ）＝信頼度（クラス）となる。このような分類は、確率論的分析および／または統計に基づく分析を採用して（例えば、分析の効用およびコストに分解（factoring）する）、自動的に行われることをユーザが望むアクションを予知または推測することができる。サポートベクタマシン（ＳＶＭ）は、採用可能な分類器の一例である。ＳＶＭは、可能な入力の空間において超曲面（ｈｙｐｅｒｓｕｒｆａｃｅ）を発見することによって動作するもので、超曲面は、誘起判断基準を非誘起イベントから分割しようとする。直観的に、これによって、訓練データと同一ではないが近いデータをテストするための分類は、正しくなる。他の直接的および間接的モデル分類のアプローチには、例えば、ナイーブベイ、ベイジアンネットワーク、決定木、ニューラルネットワーク、ファジー論理モデルが含まれ、異なるパターンの独立性を与える確率論的分類モデルを採用することができる。本明細書で使用される場合、分類はまた、優先するモデルを顕出するために利用する統計的回帰を含む。
【００７３】
ジェスチャセットクリエイタ１０２は、種々のタイプのユーザインターフェースを提供して、ユーザとジェスチャセットクリエイタ１０２に連結される任意のコンポーネントとの間のインタラクションを容易にする、プレゼンテーションコンポーネント６０４をさらに利用することができる。図示するように、プレゼンテーションコンポーネント６０４は、ジェスチャセットクリエイタ１０２と共に利用可能な別個のエンティティである。しかし、プレゼンテーションコンポーネント６０４および／または同様のビューコンポーネントを、ジェスチャセットクリエイタ１０２および／またはスタンドアロンのユニットに組み込むことが可能であることは理解すべきである。プレゼンテーションコンポーネント６０４は、１つまたは複数のグラフィカルユーザインターフェース（ＧＵＩ）、コマンドラインインターフェース等を提供することができる。例えば、ＧＵＩを描出して、ユーザに、データのロード、インポート、読み込み等のための領域または手段を提供することができ、また、ＧＵＩには、そのようなことの結果を提示する領域を含むことができる。これらの領域には、ダイアログボックス、静的制御部、ドロップダウンメニュー、リストボックス、ポップアップメニュー、アズ・エディット制御部（ａｓ  ｅｄｉｔ  ｃｏｎｔｒｏｌ）、コンボボックス、ラジオボタン、チェックボックス、プッシュボタン、およびグラフィックボックスを含む、既知のテキストおよび／またはグラフィックの領域が備えられる。加えて、ナビゲーションのための垂直および／または水平スクロールバー、領域が可視かどうかを決めるためのツールバーボタンのような、プレゼンテーションを容易にするユーティリティを採用することができる。例えば、ユーザは、ジェスチャセットクリエイタ１０２に連結されるおよび／または組み込まれるコンポーネントの内の１つまたは複数とのインタラクションを行うことができる。
【００７４】
また、ユーザは、その領域でインタラクションを行い、例えば、マウス、ローラボール、タッチパッド、キーパッド、キーボード、タッチスクリーン、ペン、および／または音声駆動、身体の動きの検出、等の種々のデバイスを介して、情報を選択かつ提供することができる。典型的には、プッシュボタンまたはキーボード上の入力キーのような機構を採用して、続いて情報を入力することができる。しかし、請求される主題はそのように制限されないことは理解すべきである。例えば、単にチェックボックスをハイライトすることによって、情報の伝達を開始することができる。別の例においては、コマンドラインインターフェースを採用することができる。例えば、コマンドラインインターフェースは、テキストメッセージを与えることによって、ユーザに情報の入力をプロンプトすることができる（例えば、ディスプレイ上のテキストメッセージおよびオーディオトーンを介して）。次に、ユーザは、インターフェースプロンプトで与えられる選択肢に対応する英数字入力、または、プロンプト中に示される質問に対する回答、等の適切な情報を提供することができる。コマンドラインインターフェースは、ＧＵＩおよび／またはＡＰＩと関連して採用可能であることは理解すべきである。加えて、コマンドラインインターフェースはハードウェア（例えば、ビデオカード）および／またはグラフィックサポートが限られているディスプレイ（例えば、白黒、およびＥＧＡ、ＶＧＡ、ＳＶＧＡ等）、および／または低帯域幅通信チャネルと関連して採用することができる。
【００７５】
図７から８は、請求される主題に従う方法論および／またはフロー図を例示する。説明の簡素化のために、方法論は、一連の動作として示し説明する。主題の新手法は、例示の動作により、および／または、動作の順番により、制限されないことは、認められかつ理解されるべきである。例えば、動作は種々の順番でおよび／または同時に、かつ、本明細書に提示および説明されない他の動作と共に、生じ得る。さらに、請求される主題に従って方法論を実現するためには、図示する全ての動作が必要なわけではない。加えて、方法論を、代わりに、状態図またはイベントを介して相互に関係付けられた一連の状態として表すことができることは、当業者は認めかつ理解するであろう。加えて、以降および本明細書全体において開示される方法論は、製造品上に記憶されて、そのような方法論をコンピュータに伝送かつ転送することを容易にすることができることは、さらに理解すべきである。製造品という用語は、本明細書において使用されるとき、コンピュータ可読デバイス、キャリア、または媒体からアクセス可能なコンピュータプログラムを包含することが意図される。
【００７６】
図７は、ユーザ定義のジェスチャセットを生成するために表面入力データの収集を容易にする、方法７００を例示する。参照番号７０２において、ユーザは、表示されたデータ上のエフェクトでプロンプトされる。例えば、プロンプトは、ユーザが、表面入力および表面コンピューティングシステム／コンポーネントを介して、表示されたデータ上のエフェクトの反復を試みる、という命令とすることができる。参照番号７０４において、表面入力は、プロンプトされたエフェクトに応答するユーザから受け取られ、それにおいて、応答は、そのエフェクトの反復を試みる、というものである。例えば、エフェクトは、データの選択、データセットまたはグループの選択、データの移動、データのパン、データの回転、データの切り取り、データの貼り付け、データの複写、データの削除、受け入れ、ヘルプ、拒否、メニュー、アンドゥ、データの拡大、データの縮小、ズームイン、ズームアウト、開く、最小化、次へ、前へ、等とすることができるがこれに限定されない。
【００７７】
参照番号７０６において、２人またはそれ以上のユーザからの２つまたはそれ以上の表面入力を、エフェクトに対して集約することができる。一般に、任意の適切な数のユーザが、表面入力データの収集のために、プロンプトされ、トラッキングされる。参照番号７０８において、ユーザ定義のジェスチャを、２つまたはそれ以上の表面入力間の相関関係の評価に基づき、エフェクトに対して生成することができる。言い換えれば、ユーザ定義のジェスチャは、エフェクトに応答して相関関係のある表面入力データを与える２人またはそれ以上のユーザ間の相関関係に基づき、識別される。ユーザ定義のジェスチャを、表示されたデータの一部に対してエフェクトを実行するために利用することができる。例えば、データの移動等のエフェクトが、ユーザの表面入力を受け取るためにプロンプトされ（例えば、データ上へのドラッグの動き）、それにおいて、そのようなデータは、ユニバーサルなユーザ定義のジェスチャを識別するために、異なるユーザに評価させることができる。
【００７８】
図８は、表面コンピューティングに関連してユーザ定義のジェスチャセットを作成かつ利用するための方法８００を例示する。参照番号８０２において、ユーザは、少なくとも１つの表面入力で、表示されたデータの一部へのエフェクトを反復するよう命令され得る。表面入力は、タッチイベント、入力、接触、ジェスチャ、手の動き、手の相互作用、オブジェクトの相互作用、および／または、表示されたデータの一部との任意の他の適切な相互作用、とすることができるがこれに限定されないことは理解すべきである。
【００７９】
参照番号８０４において、インタラクティブ表面上のユーザからの表面入力を、エフェクトにリンクしたユーザ定義のジェスチャを作成するために、分析することができる。例えば、ユーザ定義のジェスチャは、第１の単一選択ジェスチャ、第２の単一選択ジェスチャ、グループ選択ジェスチャ、第１の移動ジェスチャ、第２の移動ジェスチャ、パンジェスチャ、切り取りジェスチャ、第１の貼り付けジェスチャ、第２の貼り付けジェスチャ、回転ジェスチャ、複写ジェスチャ、削除ジェスチャ、受け入れジェスチャ、拒否ジェスチャ、ヘルプジェスチャ、メニュージェスチャ、アンドゥジェスチャ、第１の拡大／縮小ジェスチャ、第２の拡大／縮小ジェスチャ、第３の拡大／縮小ジェスチャ、第４の拡大／縮小ジェスチャ、開くジェスチャ、ズームイン／アウトジェスチャ、最小化ジェスチャ、次へ／前へジェスチャ、等とすることができるがこれに限定されない。
【００８０】
参照番号８０６において、命令の一部がユーザに与えられ、それにおいて、命令の一部はエフェクトおよびユーザ定義のジェスチャに関係付けることができる。例えば、命令の一部は、ユーザ定義のジェスチャおよび／または表示されたデータへのエフェクトの簡潔な説明を提供することができる。参照番号８０８において、ユーザ定義のジェスチャを検出することができ、かつ、エフェクトを実行することができる。
【００８１】
請求される主題の種々の態様を実現するための追加のコンテキストを提供するために、図９から１０および以降の検討では、主題の新手法の種々の態様を実現することができる適切なコンピュータ環境の簡単な、一般的な説明を提供することが意図される。例えば、ユーザ定義のジェスチャセットの生成のために、通信されるエフェクトに応答するユーザ表面入力を評価するジェスチャセットクリエイタは、先行する図面で説明したように、そのような適切なコンピュータ環境において実現可能である。請求される主題は、ローカルコンピュータおよび／またはリモートコンピュータ上で稼働するコンピュータプログラムのコンピュータ実行可能命令の一般的コンテキストで記載されたが、主題の新手法を、他のプログラムモジュールと組み合わせて実現することもできることを、当業者は認識するであろう。一般に、プログラムモジュールには、特定のタスクを実行するおよび／または特定の抽象データ型を実装する、ルーチン、プログラム、コンポーネント、データ構造、等が含まれる。
【００８２】
さらに、当業者は理解するであろうが、発明に関する方法は、他のコンピュータシステム構成で実践することができ、これには、シングルプロセッサまたはマルチプロセッサのコンピュータシステム、ミニコンピュータ、メインフレームコンピュータ、加えて、パーソナルコンピュータ、ハンドヘルドコンピューティングデバイス、マイクロプロセッサベースのおよび／またはプログラム可能な家庭用電化製品、等が含まれ、それぞれ１つまたは複数の関連するデバイスと操作可能に通信することができる。請求される主題の例示の態様はまた、通信ネットワークを通してリンクされるリモート処理デバイスにより特定のタスクが実行される、分散コンピュータ環境において実践することができる。しかし、全てではないが、いくつかの主題の新手法の態様は、スタンドアロンのコンピュータ上で実践できる。分散コンピュータ環境において、プログラムモジュールを、ローカルおよび／またはリモートのメモリストレージデバイスに配置することができる。
【００８３】
図９は、請求される主題がインタラクションを行うことができるサンプルのコンピュータ環境９００の概略ブロック図である。システム９００には、１つまたは複数のクライアント９１０が含まれる。クライアント９１０は、ハードウェアおよび／またはソフトウェア（例えば、スレッド、プロセス、コンピューティングデバイス）とすることができる。システム９００にはまた、１つまたは複数のサーバ９２０が含まれる。サーバ９２０は、ハードウェアおよび／またはソフトウェア（例えば、スレッド、プロセス、コンピューティングデバイス）とすることができる。サーバ９２０は、主題の新手法を採用することにより、例えば、スレッドを収容して変換を実行することができる。
【００８４】
クライアント９１０とサーバ９２０との間の１つの可能な通信は、２つまたはそれ以上のコンピュータプロセス間で伝送されるよう適合されたデータパケットの形式とすることができる。システム９００には、クライアント９１０とサーバ９２０との間の通信を容易にするために採用することができる通信フレームワーク９４０が含まれる。クライアント９１０は、クライアント９１０にローカルな情報を記憶するために採用することができる１つまたは複数のクライアントデータストア９５０に操作可能に接続される。同様に、サーバ９２０は、サーバ９２０にローカルな情報を記憶するために採用することができる１つまたは複数のサーバデータストア９３０に操作可能に接続される。
【００８５】
図１０を参照すると、請求される主題の種々の態様を実現するための例示の環境１０００には、コンピュータ１０１２が含まれる。コンピュータ１０１２には、処理ユニット１０１４、システムメモリ１０１６、および、システムバス１０１８が含まれる。システムバス１０１８は、システムメモリ１０１６を含むがこれに限定されないシステムコンポーネントを処理ユニット１０１４に連結させる。処理ユニット１０１４は、任意の種々の利用可能なプロセッサとすることができる。デュアルマイクロプロセッサおよび他のマルチプロセッサのアーキテクチャを、処理ユニット１０１４として採用することも可能である。
【００８６】
システムバス１０１８は、いくつかのタイプのバス構造の内の任意のものとすることができ、これには、メモリバスまたはメモリコントローラ、周辺機器用バスまたは外部バス、および／または任意の様々な利用可能なバスアーキテクチャを使用するローカルバスが含まれ、利用可能なバスアーキテクチャには、ＩＳＡ（Ｉｎｄｕｓｔｒｉａｌ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ）、ＭＳＡ（Ｍｉｃｒｏ  Ｃｈａｎｎｅｌ  Ａｒｃｈｉｔｅｃｔｕｒｅ）、ＥＩＳＡ（Ｅｘｔｅｎｄｅｄ  ＩＳＡ）、ＩＤＥ（Ｉｎｔｅｌｌｉｇｅｎｔ  Ｄｒｉｖｅ  Ｅｌｅｃｔｒｏｎｉｃｓ）、ＶＬＢ（ＶＥＳＡ  Ｌｏｃａｌ  Ｂｕｓ）、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ）、カードバス、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）、ＡＧＰ（Ａｄｖａｎｃｅｄ  Ｇｒａｐｈｉｃｓ  Ｐｏｒｔ）、ＰＣＭＣＩＡ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ  Ｍｅｍｏｒｙ  Ｃａｒｄ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ａｓｓｏｃｉａｔｉｏｎ）バス、ファイヤワイヤ（ＩＥＥＥ１３９４）、および、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍｓ  Ｉｎｔｅｒｆａｃｅ）、が含まれるがこれに限定されない。
【００８７】
システムメモリ１０１６には、揮発性メモリ１０２０および不揮発性メモリ１０２２が含まれる。基本入出力システム（ＢＩＯＳ）は、起動時等にコンピュータ１０１２内の要素間で情報を転送する基本ルーチンを含有しており、不揮発性メモリ１０２２に記憶される。制限ではなく例として、不揮発性メモリ１０２２には、ＲＯＭ（ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ  ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ  ｅｒａｓａｂｌｅ  ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、またはフラッシュメモリを含むことができる。揮発性メモリ１０２０には、外部キャッシュメモリとして動作するＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）が含まれる。制限ではなく例として、ＲＡＭは、ＳＲＡＭ（ｓｔａｔｉｃ  ＲＡＭ）、ＤＲＡＭ（ｄｙｎａｍｉｃ  ＲＡＭ）、ＳＤＲＡＭ（ｓｙｎｃｈｒｏｎｏｕｓ  ＤＲＡＭ）、ＤＤＲ  ＳＤＲＡＭ（ｄｏｕｂｌｅ  ｄａｔａ  ｒａｔｅ  ＳＤＲＡＭ）、ＥＳＤＲＡＭ（ｅｎｈａｎｃｅｄ  ＳＤＲＡＭ）、ＳＬＤＲＡＭ（Ｓｙｎｃｈｌｉｎｋ  ＤＲＡＭ）、ＲＤＲＡＭ（Ｒａｍｂｕｓ  ｄｉｒｅｃｔ  ＲＡＭ）、ＤＲＤＲＡＭ（ｄｉｒｅｃｔ  Ｒａｍｂｕｓ  ｄｙｎａｍｉｃ  ＲＡＭ）、および、ＲＤＲＡＭ（Ｒａｍｂｕｓ  ｄｙｎａｍｉｃ  ＲＡＭ）、等の多くの形式で利用可能である。
【００８８】
コンピュータ１０１２にはまた、着脱可能／着脱不可能、揮発性／不揮発性のコンピュータ記憶媒体が含まれる。図１０は、例えば、ディスクストレージ１０２４を例示する。ディスクストレージ１０２４には、磁気ディスクドライブ、フロッピー（登録商標）ディスクドライブ、テープドライブ、Ｊａｚドライブ、Ｚｉｐドライブ、ＬＳ−１００ドライブ、フラッシュメモリカード、またはメモリスティック、が含まれるがこれに限定されない。加えて、ディスクストレージ１０２４には、記憶媒体を別個に含むことができ、または、ＣＤ−ＲＯＭ（ｃｏｍｐａｃｔ  ｄｉｓｋ  ＲＯＭ）デバイス、ＣＤ−Ｒドライブ（ＣＤ  ｒｅｃｏｒｄａｂｌｅ  ｄｒｉｖｅ）、ＣＤ−ＲＷドライブ（ＣＤ  ｒｅｗｒｉｔａｂｌｅ  ｄｒｉｖｅ）、または、ＤＶＤ−ＲＯＭ（ｄｉｇｉｔａｌ  ｖｅｒｓａｔｉｌｅ  ｄｉｓｋ  ＲＯＭ）ドライブ等の光ディスクドライブを含むがこれに限定されない他の記憶媒体と組み合わせて含むことができる。ディスクストレージデバイス１０２４とシステムバス１０１８の接続を容易にするため、インターフェース１０２６等の着脱可能または着脱不可能のインターフェースが、典型的には使用される。
【００８９】
図１０では、ユーザと適切な動作環境１０００で説明した基本コンピュータリソースとの間の仲介として動作するソフトウェアが説明されることは理解すべきである。そのようなソフトウェアには、オペレーティングシステム１０２８が含まれる。オペレーティングシステム１０２８は、ディスクストレージ１０２４上に記憶されるものであり、コンピュータシステム１０１２のリソースを制御し割り付けるよう動作する。システムアプリケーション１０３０は、システムメモリ１０１６内またはディスクストレージ１０２４上に記憶されるプログラムモジュール１０３２およびプログラムデータ１０３４を介して、オペレーティングシステム１０２８によるリソースの管理を活用する。請求される主題が、種々のオペレーティングシステムまたはオペレーティングシステムの組み合わせにより実現することができることは理解すべきである。
【００９０】
ユーザは、入力デバイス１０３６を介してコンピュータ１０１２にコマンドまたは情報を入力する。入力デバイス１０３６には、マウス等のポインティングデバイス、トラックボール、スタイラスペン、タッチパッド、キーボード、マイク、ジョイスティック、ゲームパッド、パラボラアンテナ、スキャナ、テレビチューナカード、デジタルカメラ、デジタルビデオカメラ、ウェブカメラ、などが含まれるがこれに限定されない。これらおよび他の入力デバイスは、インターフェースポート（複数可）１０３８を介してシステムバス１０１８を通り、処理ユニット１０１４に接続される。インターフェースポート１０３８には、例えば、シリアルポート、パラレルポート、ゲームポート、および、ＵＳＢ（ｕｎｉｖｅｒｓａｌ  ｓｅｒｉａｌ  ｂｕｓ）が含まれる。出力装置１０４０は、入力デバイス１０３６と同じタイプのポートのいくつかを使用する。従って、例えば、ＵＳＢポートを使用して、コンピュータ１０１２に入力を与え、かつ、コンピュータ１０１２から出力装置１０４０に情報を出力することができる。出力アダプタ１０４２は、他の出力装置１０４０の中でも、特別なアダプタを必要とする、モニタ、スピーカおよびプリンタ等のいくつかの出力装置１０４０が存在することを例示するために与えられる。出力アダプタ１０４２には、制限ではなく例として、出力装置１０４０とシステムバス１０１８の間の接続手段を提供するビデオカードおよびサウンドカードが含まれる。他のデバイスおよび／またはデバイスのシステムが、リモートコンピュータ（複数可）１０４４のように、入力および出力両方の機能を提供することに留意すべきである。
【００９１】
コンピュータ１０１２は、リモートコンピュータ１０４４等の１つまたは複数のリモートコンピュータへの論理接続を使用する、ネットワーク化された環境において動作することができる。リモートコンピュータ１０４４は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ワークステーション、マイクロプロセッサベースの電化製品、ピアデバイス、または他の共通ネットワークノード、等とすることができ、典型的には、コンピュータ１０１２に関連して説明した要素の内の多くまたは全てを含む。簡潔にする目的で、メモリストレージデバイス１０４６のみが、リモートコンピュータ１０４４と共に例示される。リモートコンピュータ１０４４は、コンピュータ１０１２に、ネットワークインターフェース１０４８を介して論理的に接続され、そして、通信接続１０５０を介して物理的に接続される。ネットワークインターフェース１０４８には、ローカルエリアネットワーク（ＬＡＮ）およびワイドエリアネットワーク（ＷＡＮ）等の有線および／または無線の通信ネットワークが包含される。ＬＡＮ技術には、光ファイバ分散データインタフェース（ＦＤＤＩ）、銅線分散データインタフェース（ＣＤＤＩ）、イーサネット（登録商標）、トークンリング、等が含まれる。ＷＡＮ技術には、２地点間リンク、ＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ  Ｓｅｒｖｉｃｅｓ  Ｄｉｇｉｔａｌ  Ｎｅｔｗｏｒｋｓ）やその変形などのような回線交換ネットワーク、パケット交換ネットワーク、および、ＤＳＬ（Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅｓ）、が含まれるがこれに限定されない。
【００９２】
通信接続（複数可）１０５０は、ネットワークインターフェース１０４８をバス１０１８に接続するために採用されるハードウェア／ソフトウェアに言及する。通信接続１０５０は、明確に例示するためにコンピュータ１０１２内部に示されるが、コンピュータ１０１２の外部とすることもできる。ネットワークインターフェース１０４８への接続に必要なハードウェア／ソフトウェアには、例示の目的のみのため、通常の電話回線用のモデム、ケーブルモデムおよびＤＳＬモデム含むモデム、ＩＳＤＮアダプタ、ならびにイーサネット（登録商標）カード、等の内部技術および外部技術が含まれる。
【００９３】
上述したものには、主題の新手法の例が含まれる。もちろん、請求される主題を記載する目的で、あらゆる考え得るコンポーネントまたは方法論の組み合わせを記載することは不可能であるが、当業者は、多くのさらなる主題の新手法の組み合わせおよび置き換えが可能であることを認識するであろう。従って、請求される主題では、添付の請求項の精神および範囲内にある全てのそのような変更、修正、および変動を包含することが意図される。
【００９４】
特に、上述のコンポーネント、デバイス、回路、システムなどにより実行される種々の機能については、そのようなコンポーネントの説明に使用される用語（「手段」に言及することを含む）は、特に示さない限り、たとえ開示される構造と構造的には等価でなくとも、請求される主題の本明細書に例示される例の態様において機能を実行する、記載のコンポーネント（例えば、機能的に等価なもの）の特定の機能を実行する、任意のコンポーネントに対応することが意図される。これに関して、新手法には、システム、ならびに、請求される主題の種々の方法の動作および／またはイベントを実行するためのコンピュータ実行可能命令を有するコンピュータ可読媒体、が含まれることも認識されるであろう。
【００９５】
本手法を実現する複数の方法が存在し、例えば、適切なＡＰＩ、ツールキット、ドライバコード、オペレーティングシステム、制御、スタンドアロンまたはダウンロード可能なソフトウェアオブジェクト等であり、アプリケーションおよびサービスに本発明の広告技術を使用させることを可能にする。請求される主題では、ＡＰＩ（または他のソフトウェアオブジェクト）の観点からの使用、ならびに、本発明に従う広告技術に従って動作するソフトウェアオブジェクトまたはハードウェアオブジェクトの観点からの使用、が考えられる。従って、本明細書に記載される種々の新手法の実現には、全体的にハードウェアにおける態様、部分的にハードウェアかつ部分的にソフトウェアにおける態様、また同様にソフトウェアにおける態様、を有することができる。
【００９６】
前述のシステムは、いくつかのコンポーネント間のインタラクションに関して記載された。理解されるであろうが、そのようなシステムおよびコンポーネントには、それらのコンポーネントまたは特定のサブコンポーネント、特定のコンポーネントまたはサブコンポーネントの内のいくつか、および／または、追加のコンポーネントを含むことができ、かつ、前述したものの種々の置き換えおよび組み合わせによる。サブコンポーネントはまた、親のコンポーネント（階層的な）内に含まれるのではなく、他のコンポーネントに通信可能に連結されるコンポーネントとして実装することもできる。加えて、１つまたは複数のコンポーネントが、集計機能を提供する単一のコンポーネントに組み合わされる、または、いくつかの別個のサブコンポーネントに分割されることもできること、また、任意の１つまたは複数の管理層等の中間層を提供して、統合された機能性を提供するためにそのようなサブコンポーネントと通信可能に連結させることができること、に留意すべきである。本明細書に記載される任意のコンポーネントはまた、本明細書に特には記載されないが、当業者には一般に既知である、１つまたは複数の他のコンポーネントとインタラクションを行うことができる。
【００９７】
加えて、主題の新手法の特定の特徴がいくつかの実装の内の１つのみについて開示されたが、そのような特徴は、任意の所与のまたは特定の適用には望ましくかつ有利であるような他の実装の１つまたは複数の他の特徴と組み合わせることができる。さらに、用語「含む」、「含んでいる」、「有する」、「含有する」、これらの変形、および、他の同様の単語が、「発明を実施するための形態」または「特許請求の範囲」で使用される範囲において、これらの用語が、任意の追加のまたは他の要素を排除せずに、公の遷移語としての用語「備える」と同様の様式で、包括的であることが意図される。
【図１】
2011530135.tif 000011
【図２】
2011530135.tif 000012
【図３】
2011530135.tif 000013
【図４】
2011530135.tif 000014
【図５】
2011530135.tif 000015
【図６】
2011530135.tif 000016
【図７】
2011530135.tif 000017
【図８】
2011530135.tif 000018
【図９】
2011530135.tif 000019
【図１０】
2011530135.tif 000020
【国際調査報告】
2011530135.tif 000021
2011530135.tif 000022