(57)【特許請求の範囲】
【請求項１】
コマンドを起動するための方法であって、
コマンドの起動に使用するジェスチャの方向を、グラフィック・エレメントを用いて示唆すること、
デバイスにおいて前記ジェスチャをユーザから受け取ることであって、前記ジェスチャは入力メカニズムを介して受け取られ、前記ジェスチャは前記入力メカニズムのあらかじめ決定済みの操作である、こと、
前記グラフィック・エレメントを表すアイコンから予め定められた距離内で前記ジェスチャが行われたかに基づいて、前記ジェスチャに関連付けされたユーザ・インターフェース内の複数のグラフィック・エレメントから、１つのグラフィック・エレメントを決定すること、および
決定された前記グラフィック・エレメントに関連付けされたコマンドを起動すること、
を包含する方法。
【請求項２】
請求項１に記載の方法であって、
前記グラフィック・エレメントはアイコンであり、かつ前記グラフィック・エレメントを用いて前記ジェスチャを示唆することは、前記グラフィック・エレメントに関連するアイコンを表示することを含む、方法。
【請求項３】
請求項２に記載の方法であって、
前記アイコンの色、形状、および／または空間的な配置が、
前記ジェスチャに関連付けされた前記グラフィック・エレメントのタイプを示すことができる、方法。
【請求項４】
請求項１から３のいずれか１項に記載の方法であって、
前記ジェスチャに関連付けされた前記グラフィック・エレメントを決定することは、
前記ジェスチャの場所を決定することを含む、方法。
【請求項５】
請求項１から４のいずれか１項に記載の方法であって、
前記ジェスチャに関連付けされた前記グラフィック・エレメントを決定することは、
前記ジェスチャの場所を決定すること、
前記ユーザ・インターフェースに対する前記ジェスチャの方向を決定すること、
一般化された距離メトリックを計算することであって、前記一般化された距離メトリックは、
グラフィック・エレメントによって決定される場所、
前記ジェスチャによって決定される場所、
前記ジェスチャによって決定される方向、および
前記グラフィック・エレメントによって示唆される前記方向に基づく、こと、および
前記一般化された距離メトリックを最適化する前記グラフィック・エレメントに関連付けされたコマンドを起動すること、
を含む、方法。
【請求項６】
請求項１から５のいずれか１項に記載の方法であって、
前記ジェスチャを受け取ることは、さらに、ジェスチャの組み合わせを受け取ることを含み、かつ
前記ジェスチャに関連付けされた前記グラフィック・エレメントを決定することは、さらに、前記ジェスチャの組み合わせに関連付けされたユーザ・インターフェース内のグラフィック・エレメントを決定することを含む、
方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピューティング・デバイスに関する。より詳細に述べれば、本発明は、ジェスチャを行うことによってユーザ・インターフェース内のコマンドを起動するための方法および装置に関する。
【背景技術】
【０００２】
携帯電話、携帯情報端末（ＰＤＡ）、および携帯メディア・プレーヤ等のリソースが限られた多くのモバイル・デバイスは、伝統的なキーボードおよび／またはマウスに代わってユーザからの入力を受け入れるタッチ・スクリーンを有する。しかしながら、これらのデバイスのスクリーンは、しばしば極めて小さく、通常は、限られたスクリーン空間内に可能な限り多くの情報を表示するために高い解像度を提供する。しかしながら、この限られたスクリーン空間は、多数の入力誤りを導き得る。
【０００３】
たとえば、一部のタッチ・デバイスにはスタイラスがついてこないか、または使用できない。これらのデバイスは、デバイスに入力を提供するために拇指または指の使用を必要とする。しかしながらユーザが、別のオブジェクトと極めて接近しているオブジェクトを選択したいと欲したとき、その隣接するオブジェクトを偶発的に選択することなく意図しているオブジェクトを選択することが非常に困難となる可能性がある。さらにこの問題は、一般に、選択しようとしているオブジェクトを拇指または指が覆い隠すという事実によって一層悪化される。
【０００４】
これらの問題を緩和するために、一部のデバイスは、シフトおよび拡大ウインドウを採用して意図されたオブジェクトの選択を容易にしている。ユーザが指をディスプレイの上に置き、あらかじめ決定された時間にわたってその状態を維持すると、ユーザの指のすぐ下に内容を表示する小さ目のウインドウがポップアップする。いくつかのデバイス上では、このウインドウが、指先のすぐ下のエリアの拡大も行う。しかしながら、これらのアプローチもまた問題を伴う可能性がある。たとえば、ユーザは、シフト・ウインドウが表示されるまであらかじめ決定済みの時間を待機しなければならない。ユーザが複数のオブジェクトの選択を必要としている場合には、このプロセスがかなりの時間となり得る。さらに、シフト・ウインドウがスクリーン上のほかのオブジェクトを覆い隠す可能性もある。
【０００５】
それに加えて、意図されたオブジェクトとほかのオブジェクトがディスプレイ内において互いに重なる場合に、このアプローチは、意図されたオブジェクトを選択するという問題をほとんど解決しない。たとえば、ディスプレイ上の複数の場所オブジェクトは、それらの場所が同一の建物内の一続きの別々の部屋を表すときに互いに物理的に重なることがある。
【発明の開示】
【課題を解決するための手段】
【０００６】
本発明の１つの実施態様は、コマンドの起動を容易にするシステムを提供する。動作の間、このシステムは、グラフィック・エレメントを用いて、コマンドの起動に使用するジェスチャを示唆する。その後システムは、デバイスにおいてユーザからジェスチャを受け取る。ジェスチャは入力メカニズムを経由して受け取られることに留意されたい。また、そのジェスチャが、入力メカニズムのあらかじめ決定済みの操作であることにも留意されたい。システムは、その後、そのジェスチャに関連付けされたユーザ・インターフェース内のグラフィック・エレメントを決定する。最後に、ジェスチャと関連付けされたグラフィック・エレメントを決定すると、システムは、そのグラフィック・エレメントに関連付けされたコマンドを起動する。
【０００７】
本発明のいくつかの実施態様においては、グラフィック・エレメントはアイコンであり、グラフィック・エレメントを用いてジェスチャを示唆することは、オブジェクトに関連するアイコンを表示することを含む。
【０００８】
本発明の一部の実施態様においては、アイコンの色、形状、および／または空間的な配置が、ジェスチャの方向、またはジェスチャに関連付けされたオブジェクトのタイプのうちの少なくとも１つを示すことができる。
【０００９】
本発明の一部の実施態様においては、ジェスチャに関連付けされたグラフィック・エレメントを決定することは、ジェスチャの場所を決定することを含む。また、システムは、グラフィック・エレメントを表すアイコンのあらかじめ決定済みの距離内においてジェスチャが行われているか否かも決定する。
【００１０】
本発明の一部の実施態様においては、ジェスチャに関連付けされたグラフィック・エレメントを決定することは、ジェスチャの場所を決定することを含む。また、システムは、ユーザ・インターフェースに対するジェスチャの方向も決定する。続いて、システムは、一般化された距離メトリックを計算する。一般化された距離メトリックは、グラフィック・エレメントによって決定される場所、ジェスチャによって決定される場所、ジェスチャによって決定される方向、およびグラフィック・エレメントによって示唆される方向に基づく。さらにシステムは、一般化された距離メトリックを最適化するグラフィック・エレメントに関連付けされたコマンドを起動する。
【００１１】
本発明の一部の実施態様においては、ジェスチャを受け取ることは、ジェスチャの組み合わせを受け取ることをさらに含む。それらの実施態様においては、ジェスチャに関連付けされたグラフィック・エレメントを決定することは、ジェスチャの組み合わせに関連付けされたユーザ・インターフェース内のグラフィック・エレメントを決定することを含む。
【００１２】
本発明の一部の実施態様においては、ジェスチャが第１のあらかじめ決定済みのスレッショルドを超えるか、またはジェスチャが第２のあらかじめ決定済みのスレッショルドを超えない場合に、システムは、そのジェスチャはグラフィック・エレメントを選択するために意図されたものでないと決定する。第１および第２のスレッショルドは、時間および／または距離に基づくことが可能である。
【００１３】
本発明の一部の実施態様においては、第２のグラフィック・エレメントのあらかじめ決定済みの距離内にあるグラフィック・エレメントは、第２のオブジェクト（グラフィック・エレメント）に関連付けされたジェスチャと異なるジェスチャと関連付けされる。
【００１４】
本発明の一部の実施態様においては、ジェスチャをユーザから受け取る間、システムは、そのジェスチャの完了時に選択されることになるユーザ・インターフェース内のグラフィック・エレメントを示す視覚的フィードバックをユーザに提供する。
【００１５】
本発明の一部の実施態様においては、システムは、ユーザの過去のジェスチャの癖を学習し、それによってユーザのジェスチャの誤りを低減する。
【００１６】
本発明の一部の実施態様においては、入力メカニズムは、タッチ・スクリーン、マウス、トラックボール、タッチ・パッド、ライト・ペン、ジョイスティック、および視線追跡デバイスのうちの少なくとも１つを含むことが可能である。デバイスは、携帯電話、携帯情報端末（ＰＤＡ）、携帯メディア・プレーヤ、ゲーム・システム、カメラ、およびタブレット・コンピュータのうちの少なくとも１つを含むことが可能なハンドヘルド・デバイスである。
【００１７】
本発明の一部の実施態様においては、システムは、受け取ったジェスチャが任意のグラフィック・エレメントによって示唆される任意の可能ジェスチャとも充分に異なることを決定し、それによって、ユーザが、ジェスチャを示唆するグラフィック・エレメントに関連付けされたコマンドの起動に代えて、異なるコマンドを起動することを可能にする。
【発明を実施するための最良の形態】
【００１８】
本発明の１つの実施態様は、ジェスチャを行うことによってユーザ・インターフェース内におけるコマンドの起動を容易にするシステムを提供する。動作の間、システムは、デバイス上でグラフィック・エレメントをユーザに表示する。このグラフィック・エレメントは、ユーザに、コマンドの起動に使用するジェスチャを示唆する。その後システムは、デバイスにおいてユーザからジェスチャを受け取る。ジェスチャは入力メカニズムを経由して受け取られることに留意されたい。また、そのジェスチャが、入力メカニズムのあらかじめ決定済みの操作であることにも留意されたい。システムは、その後、そのジェスチャと関連付けされたコマンドを起動する。
【００１９】
注意を要するが、ここに与えられている例示的な実施態様はオブジェクトの選択に指向されているが、本発明の実施態様がオブジェクトの選択のアプリケーションに限定されない。一般性を失うことなく、本発明の実施態様は、オブジェクトの選択も含めた任意のコマンドの起動のために使用可能である。
【００２０】
たとえば、ユーザは、携帯電話上のタッチ・スクリーンにわたる上向きの動きで自分自身の指をスライドさせることができる。その後、電話が、ユーザから受け取った上に向かう動きのジェスチャに対応する、タッチ・スクリーン上に表示されるオブジェクトを選択する。
【００２１】
本発明の一部の実施態様においては、グラフィック・エレメントは、オブジェクトに関連付けされたアイコンである。たとえば、地図上でレストランを表すアイコンが、ディスプレイのトップを指す赤の矢印を含むことができる。これは、ユーザに、そのアイコンの直近においてディスプレイにわたる上に向かう動きとして自分自身の指または拇指をドラッグしてそのレストランを選択することを示す。
【００２２】
本発明の一部の実施態様においては、アイコンの色が、ジェスチャの方向、またはジェスチャに関連付けされたオブジェクトのタイプを示す。たとえば、本発明の１つの実施態様においては、すべての上向きのジェスチャが上を指す赤の矢印によって表され、すべての上右向きのジェスチャが上右を指すオレンジの矢印によって表される。
【００２３】
注意を要するが、色が必ずしも特定のジェスチャに関連付けされる必要はない。実際、本発明の１つの実施態様においては、カテゴリ、またはオブジェクトに関連付けされるそのほかの何らかのメタデータを表すために色が使用される。たとえば、本発明の１つの実施態様においては、各アイコンが地図上のレストランを表し、各アイコンが、対応するレストランを選択するためのジェスチャを含む。この実施態様においては、色が、それぞれのレストランで出される料理のタイプを表す。本発明の別の実施態様においては、色が、それぞれのレストランの食事の平均的な値段を表す。
【００２４】
本発明の一部の実施態様においては、ジェスチャに関連付けされたユーザ・インターフェース内のオブジェクトを決定することは、ジェスチャの場所を決定することを含む。またシステムは、オブジェクトを表すアイコンのあらかじめ決定済みの距離内においてジェスチャが行われたか否かも決定する。たとえば、本発明の一部の実施態様においては、複数のオブジェクトが同一のジェスチャに関連付けされることが可能である。一部の実施態様においては、ジェスチャに関連付けされたもっとも近いオブジェクトが選択される。別の実施態様においては、ジェスチャに関連付けされたもっとも近いオブジェクトが、そのオブジェクトのあらかじめ決定済みの距離内においてそのジェスチャが行われた場合に限って選択される。一部の実施態様においては、ジェスチャがオブジェクト上で始まるか、終わるか、交差する場合に限ってそのオブジェクトが選択される。
【００２５】
本発明の一部の実施態様においては、ジェスチャに関連付けされたオブジェクトを決定することは、ジェスチャの場所を決定することを含む。またシステムは、ユーザ・インターフェースに関するジェスチャの方向も決定する。続いてシステムは、ジェスチャの場所のあらかじめ決定済みの距離内にあり、かつ関連付けされたジェスチャを有する複数のオブジェクトを決定するが、その場合の関連するジェスチャの方向は、入力メカニズムから受け取られたジェスチャの方向からあらかじめ決定済みの回転オフセット内にあるものとする。最後にシステムは、関連付けされたジェスチャの距離および方向について関数を実行することによって複数のオブジェクトからそのオブジェクトを決定する。
【００２６】
たとえば、ユーザが上右に向かうジェスチャを行い、そのジェスチャが、２つのオブジェクトからほぼ等距離にある状況を考える。また、一方のオブジェクトの選択に関連付けされるジェスチャの方向はまっすぐ上であり、他方のオブジェクトの選択に関連付けされるジェスチャの方向は右であるとする。この状況は、それら２つのオブジェクトのうちのいずれを選択するかについて曖昧性をもたらす。この状況は、複数の方法で解決できる。たとえば、本発明の１つの実施態様においては、システムがオブジェクトおよびジェスチャを３次元空間内でマップする。各オブジェクトのジェスチャは、ｘ、ｙ、およびθによって表すことができる座標のセットを有する。ユーザから受け取られるジェスチャもまた、ｘ、ｙ、およびθによって表すことが可能な座標のセットにマップすることができる。その後、それらの座標セットに数学的関数を適用して、いずれのオブジェクトを選択するかについて決定できる。１つの実施態様においては、システムは、一般化された距離メトリックを最適化するオブジェクトを選択する。この距離メトリックは、（１）オブジェクトの場所およびジェスチャの場所、および（２）ジェスチャの方向と、オブジェクトに関連付けされたグラフィック・エレメントによって示唆される方向の間の差に基づくことが可能である。
【００２７】
本発明の一部の実施態様においては、関数は、距離が回転オフセット（θ）より重く重み付けされるように重み付けされる。別の実施態様においては、θがより重要である。
【００２８】
本発明の一部の実施態様においては、θに割り当てられる重みは、θの値に依存する。たとえば、ユーザが右利きであり、自分の右の拇指を使用してタッチ・スクリーン上でジェスチャを行うとき、ジェスチャの方向が上右であることをθが示す場合にはシステムはより高くθに重み付けし、ジェスチャの方向が上左であることをθが示す場合にはシステムはより低くθに重み付けできる。これは、本質的に右利きの人が自分の右手でモバイル・デバイスを保持している間にそのスクリーンに沿って自分の拇指を上右に動かす方が、同じ人が自分の拇指を上左に動かすより容易であることによる。したがって、上左に行うジェスチャがジェスチャに誤りを生じる可能性の方が潜在的に大きい。
【００２９】
本発明の一部の実施態様においては、オブジェクトの選択の間に潜在的な曖昧性が存在する場合には、システムは両方のオブジェクトを選択するが、別の実施態様においては、システムはいずれのオブジェクトも選択しない。本発明の一部の実施態様においては、システムは、２つのオブジェクトの間でユーザが選択することを可能にするダイアログを呈示する。
【００３０】
本発明の一部の実施態様においては、ジェスチャを受け取ることは、さらに、ジェスチャの組み合わせを受け取ることを含む。それらの実施態様においては、ジェスチャに関連付けされたオブジェクトを決定することは、ジェスチャの組み合わせに関連付けされたユーザ・インターフェース内のオブジェクトを決定することを含む。
【００３１】
本発明の一部の実施態様においては、ジェスチャがあらかじめ決定済みのスレッショルドを超えると、システムは、そのジェスチャにはオブジェクトの選択が意図されていないと決定する。注意されたいが、このスレッショルドは、時間的な量、またはジェスチャの長さを含むことができる。たとえば、ユーザがジェスチャを描くために長い時間を要している場合、そのジェスチャは意図的でない接触に帰する可能性がある。さらに、ジェスチャが連続的かつ多様な動きを伴っている場合は、ユーザがオブジェクトの選択以外の別の機能の実行を試みている可能性がある。たとえばユーザが、地図上のオブジェクトの選択ではなく、さらに右方への地図のパンを試みることがある。追加の実施態様においては、システムは、ジェスチャが有効となるためにジェスチャが超えるべき最小スレッショルドを採用することも可能である。たとえば、ジェスチャの始点および終点が特定の距離を超えない場合、またはジェスチャの持続が短すぎる場合、システムは、そのジェスチャがユーザによってキャンセルされたと見なすことができる。注意されたいが、一部の実施態様においては、スレッショルドが時間または距離、または両方に基づくことが可能である。
【００３２】
本発明の一部の実施態様においては、第２のオブジェクトのあらかじめ決定済みの距離内にあるオブジェクトが、第２のオブジェクトに関連付けされたジェスチャと異なるジェスチャと関連付けされる。たとえば、２つのオブジェクトがスクリーンの反対の側にあり、同一の割り当て済みジェスチャを有する場合に、デバイスは、ユーザがいずれのオブジェクトの選択を試みていたかをユーザがジェスチャを行ったディスプレイの側に基づいて比較的容易に決定する。しかしながら２つにオブジェクトが比較的近い場合、それらに同一のジェスチャが割り当てられていれば、誤ったオブジェクトを選択する誤り率が有意に高くなる。
【００３３】
本発明の一部の実施態様においては、種々のオブジェクトにジェスチャを割り当てることは、潜在的な選択誤りを最小化する方法で行われる。さらに、本発明の一部の実施態様においては、対応するジェスチャを表示するオブジェクトに関連付けされたアイコンは、そのオブジェクトを起源とし、そのジェスチャの方向を指す。それらの実施態様においては、システムは、関連付けされるアイコンの重複を低減する態様でジェスチャを割り当てることができる。
【００３４】
本発明の一部の実施態様においては、ユーザからジェスチャを受け取る間に、システムは、そのジェスチャの完了時に選択されることになるユーザ・インターフェース内のオブジェクトを示す視覚的フィードバックをユーザに提供する。注意されたいが、これは、ユーザが意図しているオブジェクト以外のオブジェクトを選択していることを視覚的フィードバックが示す場合に、ユーザが『ストロークの途中で』ジェスチャを変更することを可能にする。
【００３５】
本発明の一部の実施態様においては、オブジェクトがほかのいずれかのオブジェクトのあらかじめ決定済みの距離内にないとき、システムは、入力メカニズムを介してユーザからオブジェクトの伝統的な選択を受け取る。伝統的な選択に応答して、システムはオブジェクトを選択する。たとえば、ディスプレイ上のオブジェクトがほかのいずれかのオブジェクトの拇指数個分の幅の内にないとき、そのオブジェクトの上を単純にたたくことがそのオブジェクトを選択することになる。本発明の別の実施態様においては、ほかのオブジェクトに対するオブジェクトの近接とは無関係に、両方のオブジェクト選択方法が利用できる。
【００３６】
本発明の一部の実施態様においては、入力メカニズムが、タッチ・スクリーン、マウス、トラックボール、タッチ・パッド、ライト・ペン、ジョイスティック、および視線追跡デバイスを含むことができる。注意されたいが、前リストは例示目的のためだけに提供されている。本発明がそれらの入力デバイスに限定されることはなく、むしろその逆に任意の入力デバイスを使用することが可能である。
【００３７】
本発明の一部の実施態様においては、デバイスは、携帯電話、携帯情報端末（ＰＤＡ）、携帯メディア・プレーヤ、ゲーム・システム、カメラ、タブレット・コンピュータ、またはそのほかの、ディスプレイおよび入力メカニズムを含む任意のデバイスを含むことが可能なハンドヘルド・デバイスである。
【００３８】
図１は、本発明の実施態様に従ったコンピューティング環境１００を図解している。コンピューティング環境１００は、概して、マイクロプロセッサ、メインフレーム・コンピュータ、ディジタル信号プロセッサ、携帯コンピューティング・デバイス、パーソナル・オーガナイザ、デバイス・コントローラ、または家電製品内のコンピューティング・エンジンに基づく任意のタイプのコンピュータ・システムを含むことができる多数のコンピュータ・システムを含む。より詳細には、図１を参照すると、コンピューティング環境１００は、クライアント１１０〜１１２、ユーザ１２０および１２１、サーバ１３０〜１５０、ネットワーク１６０、データベース１７０、およびデバイス１８０を含んでいる。
【００３９】
クライアント１１０〜１１２としては、コンピューティング能力を含み、ネットワークにわたる通信のためのメカニズムを含むネットワーク上の任意のノードを挙げることができる。
【００４０】
同様にサーバ１３０〜１５０としては、概して、クライアントからのコンピューティングおよび／またはデータ・ストレージ・リソースに対する要求に応じるためのメカニズムを含むネットワーク上の任意のノードを挙げることができる。
【００４１】
ユーザ１２０および１２１としては、個人、個人のグループ、組織、組織のグループ、コンピューティング・システム、コンピューティング・システムのグループ、またはそのほかの、コンピューティング環境１００とのインタラクションが可能な任意のエンティティを挙げることができる。
【００４２】
ネットワーク１６０としては、コンピューティング・ノードを互いに結合することが可能な任意タイプの有線または無線通信チャンネルを挙げることができる。これは、限定ではないが、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、またはネットワークの組み合わせを含む。本発明の１つの実施態様においては、ネットワーク１６０はインターネットを含む。本発明の一部の実施態様においては、ネットワーク１６０は、電話および携帯電話ネットワークを含む。
【００４３】
データベース１７０としては、不揮発性ストレージにデータをストアするための任意タイプのシステムを挙げることができる。これは、限定ではないが、磁気、光、光磁気ストレージ・デバイスに基づくシステムをはじめ、フラッシュ・メモリおよび／またはバッテリ・バックアップ付きメモリに基づくストレージ・デバイスを含む。注意されたいがデータベース１７０は、ネットワークを介してサーバ（サーバ１５０等）に、クライアントに、または直接結合できる。
【００４４】
デバイス１８０としては、クライアント１１２等のクライアントに結合できる任意タイプの電子デバイスを挙げることができる。これは、限定ではないが、携帯電話、携帯情報端末（ＰＤＡ）、スマートフォン、携帯音楽プレーヤ（ＭＰ３プレーヤ等）、ゲーム・システム、ディジタル・カメラ、携帯ストレージ・メディア、またはそのほかの、クライアントに結合可能な任意のデバイスを含む。注意されたいが、本発明の一部の実施態様においては、デバイス１８０は、直接ネットワーク１６０に結合されること、およびクライアント１１０〜１１２と同じ態様で機能することが可能である。デバイス１８０は、デバイスのための入力メカニズムをはじめ、ユーザ１２０および１２１に対する情報の表示のための出力メカニズムの両方を提供するタッチ・ディスプレイを含むことができる。
【００４５】
注意されたいが、本発明の異なる実施態様が異なる構成を使用することがあり、コンピューティング環境１００内に図解されている構成に限定されない。
【００４６】
図２は、本発明の実施態様に従ったジェスチャを介するオブジェクトの選択を図解している。本発明の実施態様は、セクション２０２に図解されているとおり、ユーザ１２０がデバイス１８０等のデバイスのスクリーン上のオブジェクトの上をたたくことによって目標を選択することが可能であり、システムがスクリーン上の接触点からもっとも近いアイテムとして目標を決定する直接ポインティングに基づく。したがって、ユーザ１２０が目標の正確なポジションを押す必要がない。またシステムは、単純にたたくことによる選択が困難に見える場合に指ジェスチャを組み込んで目標の選択の曖昧性を除く。たとえばユーザ１２０は、最初に目標の周囲に拇指を置くことによって希望する目標を選択できる。この例においては、ユーザが目標の正確なポジションをポイントする必要がない。ユーザ１２０は、希望するオブジェクトのアイコンによって示されるジェスチャを実行する。その後システムが、セクション２００に図解されているとおり、最初の接触からもっとも近く、かつ実行されたジェスチャに関連付けされている目標として目標を決定する。
【００４７】
ジェスチャには、ユーザ１２０が目標のポジションだけでなく、ユーザがスクリーンに触れる前に目標を選択するためのジェスチャを観察できるようにアイコンによって視覚的なキュー（合図）が与えられる。これは、カーソルのポジションを調整するモデルを頭の中に描く時間およびシステムからの応答（たとえば、メニュー表示または呼び出し）を待機する時間の両方を低減できる。
【００４８】
多くの異なるジェスチャがユーザ１２０によって視覚化されることが可能であるが、それらの差がわずかである場合、ユーザ１２０は、確信を持ってそれらを明確に実行することができない。本発明の一部の実施態様においては、ユーザ１２０がほかとの区別を容易に行うことが可能なジェスチャのセットをシステムが使用するものとする。注意されたいが、単純性とスケーラビリティの間にはトレードオフが存在する。言い換えると、より単純なジェスチャのセットは、身体的な要求および学習能力に関してより好ましいが、区別可能なジェスチャの数が小さいことからあまりスケーラブルではない。
【００４９】
本発明の１つの実施態様においては、システムは、差別化および実行が一般に容易であることから上に向かうストローク、または左に向かうストローク等の方向性ジェスチャを使用する。たとえばシステムは、８つの主要な方向性ジェスチャのセット（Ｎ、ＮＥ、Ｅ、ＳＥ、Ｓ、ＳＷ、Ｗ、およびＮＷ）を使用できる。注意が重要であるが、対角方向のジェスチャを行う上でユーザ１２０が困難を有することもあり得るが、８つの方向性ジェスチャのセットは、スクリーン上の選択可能なオブジェクトの数を増加させることができる。
【００５０】
本発明の一部の実施態様においては、ジェスチャの異なる性質を使用することによってジェスチャのスケーラビリティを増加できる。たとえばシステムは、２つの明確なジェスチャとして、同一の方向内であっても長短のストロークを使用することが可能である。別の実施態様は、多レベルのジェスチャを使用してジェスチャのスケーラビリティを増加する。たとえば、システムは、ユーザ１２０に、２つの連続するジェスチャ（たとえば、上へ向かうストロークに続く左へ向かうストローク）の実行を要求する。しかしながらこれは、小さいアイコンの使用によって多レベルのジェスチャを示すことがより困難であるという問題を呈する。
【００５１】
図３は、本発明の実施態様に従った種々のアイコン・スタイルを図解している。本発明の１つの実施態様においては、アイコンが、それらのポジションおよび関連するジェスチャの両方をユーザ１２０に伝えるものとする。ボックス３００〜３０８は、ポジションおよびジェスチャを伝える種々のアイコンを図解している。注意されたいが、ボックス３００〜３０４および３０８は、色もまたジェスチャの方向を示す。たとえば、赤のアイコンは、北へ向かうジェスチャを表す。スクリーンの各辺もまた、ジェスチャの方向に対応する色を有する。たとえば、赤は上へ向かうジェスチャを表し、赤いラインがスクリーンの上辺に表示される。概して言えば、色または形状またはそれらの組み合わせは、下にあるオブジェクトを選択するためのジェスチャを示唆できる。追加の実施態様においては、オブジェクトのアイコンがボタン等の従来的な見かけを有し、それらのアイコン（１つまたは複数）の空間的な配置によってジェスチャを示唆できる。たとえば、２つの従来的なボタンが表示される場合、ユーザは、左へ向かうジェスチャを行うことによって左側のボタンを選択し、右へ向かうジェスチャを行うことによって右側のボタンを選択できる。
【００５２】
図４は、本発明の実施態様に従ってジェスチャの場所を図解している。本発明の一部の実施態様においては、どのジェスチャが実行されるか、およびどこでそのジェスチャが実行されるかの両方に注意することがともに重要になる。どこでジェスチャが実行されるかを決定するための２つの異なる方法が図４に図解されている。一方の方法は、ジェスチャが生じるポジションについて最初の接触点に注目することになる（ジェスチャ４００）。他方の方法は、最初の接触点とリリース点の間の中間点を使用することになる（ジェスチャ４０２）。後者の方法においては、ユーザ１２０が、ジェスチャの前に目標に触れるのではなく、目標を横切る。本発明の一部の実施態様においては、ユーザ１２０が自分自身の好みに従って決定方法を設定する。注意されたいが、本発明の実施態様はこれら２つの方法に限定されない。概して言えば、システムは、ジェスチャに基づき、そのジェスチャの生じる点として決定可能な任意のポイントを使用することが可能である。
【００５３】
システムは、ユーザによって実行されたジェスチャの方向を、最初の接触点とリリース点の間の方向を計算することによって決定する。本発明の一部の実施態様においては、システムは、より複雑なジェスチャ認識を使用する。
【００５４】
図５は、本発明の実施態様に従った組み合わせジェスチャのアイコンを図解している。本発明の一部の実施態様においては、システムは、アイコン５００によって表されるくちばしアイコン等の単一ジェスチャ・アイコンを２つ組み合わせることによって多レベルのジェスチャ（アイコン５０２）を表すアイコンを使用する。（注意されたいが、この開示においては、アイコンのとがった先端が鳥のくちばしを想起させることから『くちばし』と呼ばれる。）たとえば、前面の北向きのくちばしおよび背面の西向きのくちばしを有するアイコンは、ユーザ１２０が西へ向かうジェスチャに続いて北へ向かうジェスチャを行うことによって関連付けされたオブジェクトを選択できることを表す。この多レベルのアイコンにおいてはジェスチャの複雑性が増加することになるが、多レベルのアイコンは、区別可能なジェスチャの設計のためにより多くの余地を提供する。
【００５５】
図６は、本発明の実施態様に従った異なるジェスチャの変形に伴う選択解像度を図解している。より詳細に述べれば、図６は、１レベルのジェスチャまたは２レベルのジェスチャの下に解像度がどの程度まで増加可能かを図解している。人間の視覚的能力の限界からユーザ１２０は、約０．３平方ミリメートル未満を区別することができない。したがって、ユーザ１２０は、約９平方ミリメートルとなる指を用いた単一入力に要求される面積の概略で９００倍の細かさの解像度において視覚的に情報を処理できる。またユーザ１２０は、約２４の１レベル・ジェスチャのアイコンを容易に認識できるが、本発明の多くの実施態様におけるジェスチャの代表的な数は、主として空間的な制約に起因して８である。したがってジェスチャの数が、入力解像度の増加を制限する。２レベルのジェスチャの場合であれば、ジェスチャの数を５６とすることができるが、その視認性は、空間的制約によって定義される領域内には１６のアイコンしか存在できないことを意味する。
【００５６】
図７は、本発明の実施態様に従ったアイコンの配置を図解している。本発明の一部の実施態様においては、自動的にアイコンを配置して重複およびオクルージョン(occlusion、咬合または閉塞)を最小化する。種々の方法を使用してアイコンの選択を最適化できる。たとえば、いくつかの実施態様においては、アイコンの『くちばし』がアイコンの残りの部分より重要になり、したがってシステムは、アイコンのくちばしが見えなくなることを可能な限り回避する。このオクルージョンは、選択可能なアイテムが互いに接近して配置されるときに生じる。さらに、別の実施態様は、アイコンの異なる部分を使用してオブジェクトの位置を識別できる。たとえばアイコン７００は中心が対応するオブジェクトを表すが、アイコン７０２はくちばしがオブジェクトを表す。
【００５７】
図８は、本発明の実施態様に従ったジェスチャを用いてオブジェクトを選択するプロセスを図解したフローチャートを示している。動作の間、システムは、デバイス１８０上においてグラフィック・エレメントをユーザ１２０に表示する（動作８０２）。注意されたいが、このグラフィック・エレメントは、オブジェクトに関連付けされ、ユーザ１２０に対してそのオブジェクトの選択に使用するジェスチャを示唆する。その後システムは、デバイス１８０においてユーザ１２０からジェスチャを受け取る（動作８０４）。ジェスチャは入力メカニズムを介して受け取られることに留意されたい。またそのジェスチャが、入力メカニズムのあらかじめ決定済みの操作であることにも留意されたい。システムは、ユーザ・インターフェースに関するそのジェスチャの方向も決定する（動作８０６）。
【００５８】
次にシステムは、ジェスチャの場所のあらかじめ決定済みの距離内にあり、かつ関連するジェスチャを有する複数のオブジェクトを決定するが、その場合の関連するジェスチャの方向は、入力メカニズムから受け取ったジェスチャの方向からあらかじめ決定済みの回転オフセット内にあるものとする（動作８０８）。その後システムは、関連するジェスチャの距離および方向について関数を実行することによってそれらの複数のオブジェクトからオブジェクトを決定する（動作８１０）。最後にジェスチャに関連付けされたオブジェクトを決定すると、システムは、そのオブジェクトを選択する（動作８１２）。
【００５９】
本発明のシステムの１つの重要な特徴は、どの目標を選択するかの決定である。特に、ユーザのジェスチャが、２またはそれより多くのアイコンのいずれの選択をユーザが欲しているかを明確に示していないおそれのある場合が存在する。
【００６０】
これは、たとえば、２つのアイコンが互いに近接しており、異なるジェスチャの方向を有している場合に、ユーザがそれらの間においてジェスチャを開始し、それら２つのアイコンの角度の間の中間の角度となる方向のジェスチャである場合に生じ得る。この特定の場合においては、タイ(tie)のようであり、１つの実施態様ではシステムが恣意的にまたは適宜に選択を行うことができる。それにもかかわらずユーザのジェスチャが、一方のアイコンにわずかに近づいて位置決めされるが、角度が他方のアイコンによって示されるジェスチャの方により近いことがあり得る。『平行移動』(translation)（この場合は、ジェスチャの開始点）または『回転』（角度）のうちのいずれが重要であるか？
【００６１】
この疑問に答える１つの方法は、かなりの量のユーザ・データをオフラインで収集し、どのように誤りが生じているかを測定することである。１つの実施態様においては、ユーザがポジションにおいてより誤りがちである場合には、ポジションがより重く重み付けされることになる。ユーザが角度においてより誤りがちである場合には、角度がより重く重み付けされることになる。
【００６２】
ユーザがユーザ・インターフェースとどのようにインタラクションするかを観察することによって、システムは、ユーザがジェスチャの平行移動の誤りまたはジェスチャの回転の誤りのいずれを犯しやすいかを決定できる。システムは、この情報を使用してユーザのジェスチャの誤りまたは曖昧性を低減することができる。たとえば北東方向のジェスチャと北方向のジェスチャが容易に区別できないユーザは、アイコンが４つのジェスチャ（北、東、南、および西）だけを使用すれば、互いの間隔が近づいていてもより良好に行うことができる。
【００６３】
１つの実施態様においては、各アイコンの方向が慎重に選択されて誤りが最小化され、かつアイコンの重複が最小化される。別の実施態様においては、システムが固定された数（たとえば８）のジェスチャの方向の中で選択せず、それに代えてはるかに多くの数のジェスチャ方向を可能にし（たとえば数百）、特定の局所的なポジションの配置についてジェスチャの選択誤りを最小化できる方向を選択する。たとえば、ジェスチャの方向が互いに１２０度異なる場合には、正三角形における３つのポジションがもっとも良好に区別されることになる（３×１２０＝３６０、つまり真円となるため）。
【００６４】
もう１つの問題は、ジェスチャからアイコンまでの平行移動をどのように測定するかということである。アイコンは、地図上のどこに目標が位置するかを正確に示す何らかの視覚的特徴（たとえばくちばしの先端）を有するが、これが距離メトリックを計算するときに使用する最良の点とならないこともある。ユーザがアイコンを視覚的に単一のオブジェクトとして扱うことから、ユーザのジェスチャの開始とアイコンの『質量中心』の間、またはアイコンの球の中心点までの距離を測定する方がより適切と見られる。
【００６５】
またシステムが、アイコンとジェスチャの間の距離の測定時にジェスチャの開始点以外の点を使用することもできる。たとえばシステムは、アイコンによって決定される点とジェスチャの中央の点を比較することができる。その種のシステムは、ユーザが開始点をそれほど慎重に位置決めする必要がないことからわずかにより高速であるという利点を有する。しかしながらその種のシステムは、ユーザの開始点が離れすぎていると、正しい角度でアイコンを通ってジェスチャを行う方法がないためにより高い誤り率を被ることになり、誤りを訂正することは不可能である。
【００６６】
ジェスチャを使用して曖昧性を取り除くテクニックは、テキスト入力にも有用となり得る。ソフト・キーボードを、個別の文字がジェスチャの方向を示唆する表示器を有するように設計できる。これは、今日利用可能なものよりはるかに小さいスクリーン上におけるソフト・キーボードを可能にする。その種のシステムが非常に小さいジェスチャをサポートすることは、その場合にスクリーン上で拇指をドラッグするのではなく拇指を転がすことによってジェスチャを完了できることから特に有用となるであろう。転がすことは、表面摩擦を伴わないことからユーザにとって便利である。
【００６７】
本発明の実施態様の１つの応用にプルダウン・メニューがある。ユーザがスクリーン上をたたくことによってプルダウン・メニューを選択する場合、メニュー項目がその後に続いてジェスチャを行う方向を示せば、ユーザは、メニュー項目から示された方向に出ることによってメニュー項目の間を区別することが可能になる。
【００６８】
１つの実施態様においては、ジェスチャの開始点に戻るジェスチャを行うことによって操作をキャンセルすることができる。
【００６９】
別の実施態様においては、システムは、任意のアイコンによって示唆される任意のジェスチャとも充分に異なるジェスチャを区別することが可能であり、その結果ユーザは、ジェスチャを使用して目標オブジェクトに関連付けされていない動作をトリガすることができる。たとえば、ユーザは、いずれのアイコンからも充分に離れているジェスチャを描き、そのジェスチャを使用して地図背景をドラッグするといったオブジェクトの選択以外の操作を行うことができる。
【００７０】
一部の実施態様においては、タッチ・スクリーン表面にわたる拇指のドラッグによるのではなく、デバイスを物理的に動かすことによってジェスチャを行うことが可能である。物理的なデバイスの動きは、加速度計またはジャイロスコープを介して検出可能であり、今日の一部の携帯電話では利用できる。その種のシステムが、『触れている』状態と『触れていない』状態の区別のためにタッチ・スクリーンが有している当たり前のメカニズムを有していないことから、システムは、この区別を行う追加のメカニズムを持たなければならない。これは、たとえばデバイス上の（おそらくは、ユーザが片手でデバイスを把持している間に快適にボタンを押すことが可能な場所にある）ボタンによって可能になる。加えてシステムは、各ボタンについて新しいジェスチャのセットを可能にする複数のボタンを使用することも可能である。その場合にはアイコンは、ジェスチャを行う方向だけでなく、押すべきボタンも示すことになる。たとえば、２つのボタン、すなわち明るいボタンと暗いボタンがあるとする。その場合にアイコンは、より明るいか、またはより暗いものとなって、いずれのボタンが使用されるべきかを示すことになる。
【００７１】
複数のアイコンのセットを起動に基づかせることは、適正なハードウエアを有していればオリジナルのタッチ・スクリーン・システムを用いても行うことができる。圧力の検出が可能なタッチ・スクリーンは、ジェスチャの方向および押す強さを示すアイコンを使用することができる。または、従来的なタッチ・スクリーンがシングル‐タップ選択およびダブル‐タップ選択をサポートしていることがあり、ダブル‐タップ・アイコンとシングル‐タップ・アイコンが何らかの方法で、たとえばより暗く、より広いか、またはより複雑な陰影を有することによって区別される。
【００７２】
実用的なシステムにおいては、通常、目標にアイコンを割り当てる方法を決定するためのアルゴリズムが存在する。理想的には、このアルゴリズムが２つのゴールの達成をねらいとする。第１は、すべてのアイコンが良好に分離されることである。すべてが同一のジェスチャを示唆するいくつかのアイコンの配置が互いに近づきすぎており、ユーザが比較的容易に１つの目標を選択できない場合には、それらのアイコンが良好に分離されているとは見なされない。
【００７３】
１つの実施態様においては、システムは、類似のジェスチャを示唆するすべてのアイコンが少なくとも距離ｄだけ分離されることを保証するという基準を満たすことができる。タッチ・スクリーンの場合には、以前の調査でｄが約０．５ｃｍとなることがわかった。
【００７４】
別の実施態様においては、システムは、類似のジェスチャを示唆する各アイコンが、２ｄ×２ｄの正方形内においてそのジェスチャを示唆する唯一のアイコンとなるように、各アイコンの周囲に辺の長さが２ｄの正方形が描けることを保証するという基準を満たすことができる。このようにシステムは、２つのアイコンが互いに直に隣接できることから、しかしそれらの周りに互いから離れて広がる正方形を描くことが可能であり、それらが依然として良好に分離されることから、アイコンの割り当てにおいてより多くの自由度を可能にするが、それにもかかわらずアイコンが良好に分離されることを可能にする。
【００７５】
第２のゴールは、アイコンの良好な視認性である。アイコンが重なると、それらが見づらくなることがあり、それらのアイコンに関連付けされたジェスチャの決定が困難になることがある。『くちばし』が識別可能であることは、それらがジェスチャの識別に特に有用であることから特に重要である。
【００７６】
所定のジェスチャを選択するオブジェクトの決定のために良好に定義されたアルゴリズムがあれば、システムは、誤りおよび選択の時間を最小化する方法で目標にアイコンを理想的に割り当てる。１つの実施態様においては、システムは、この問題の解決にグラフ彩色テクニックを採用する。
【００７７】
最適ではない可能性もあるが、より高速に動作するヒューリスティック・アルゴリズムの例は次のように動作する。アイコンは、くちばしの先端が目標のポジションと整列するようにスクリーン上に配置される。これは、目標点がアイコンの中心をヒットするようにアイコンを位置決めするメカニズムと比べて、より大きなアイコン位置決めの自由をアルゴリズムに与える。用語『近隣(neighborhood)』は、半径１ｃｍ内のすべての目標を言う。各目標は、グラフ内のノードとして表される。各ノードは、８つの可能アイコンを表す８つのサブノードを有し、各サブノードは、アイコンの対応する選択がオクルージョンまたは空間的制約違反をもたらす尤度（または可能性）を表す重みを有する。オクルージョンの尤度は、同一ポジション内にアイコンを位置決めするかもしれない近くの目標が存在するとき増加する。このアルゴリズムは、各サブノードの初期重みをオクルージョンのみに基づいて計算する。
【００７８】
初期重みの割り当ての後、アルゴリズムは、近隣にもっとも多くのノードを有するノードのためのサブノードを選び取ることによって開始する。選択されるサブノードは、もっとも軽い重みを伴うものである。その後、同じアイコンの選択を表すサブノードに対して大きな重みを追加することによって近隣のノードの重みを更新する。したがって、アルゴリズムは、近隣ノードのために同一のアイコンを使用しがちでなくなり、空間的制約を犯しにくくなる。最大数の近隣ノードを伴うノードのための最小重みサブノードを選択する各ステップで、この貪欲な方法でアルゴリズムが進行する。すべての選択可能なアイテムのためのアイコン配置を終了すると計算が停止する。
【００７９】
図９は、本発明の１つの実施態様に従ったジェスチャ選択インターフェースを伴う例示的なコンピュータ・システムを図解している。１つの実施態様においては、コンピュータおよび通信システム９００が、入力および出力両方のデバイスとして資するタッチ・スクリーン・ディスプレイ９０２に結合される。コンピュータおよび通信システム９００は、プロセッサ９０４、メモリ９０６、およびストレージ・デバイス９０８を含む。
【００８０】
ストレージ・デバイス９０８は、ジェスチャ駆動オブジェクト選択システム９１６をはじめ、アプリケーション９２０および９２２等のそのほかのアプリケーションをストアする。１つの実施態様においては、ジェスチャ駆動オブジェクト選択システム９１６がさらに、片手操作をサポートし、ユーザが１本の指で、好ましくは拇指でコンピュータおよび通信システム９００を操作することを可能にするユーザ・インターフェース９１８を容易にするプログラムを含む。
【００８１】
動作の間は、ジェスチャ駆動オブジェクト選択システム９１６が、ストレージ・デバイス９０８からメモリ９０６にロードされ、その後、プロセッサ９０４によって実行される。プログラムの実行間は、プロセッサ９０４が上記の機能を実行する。
【００８２】
注意されたいが、特許請求の範囲の中の用語『コマンドを起動する』は、『オブジェクトを選択する』を含む意味の一般化された用語として解釈されるべきである。『たたく』は、『ジェスチャによってその後絞り込まれる目標の概略の選択を実行する』を意味する一般化された用語として解釈されるべきである。『ジェスチャ』は、『迅速な実行が可能であり、かつ最初にたたくことによる概略の選択の曖昧性を取り除くためにその後にパラメータが使用される、パラメータ化されたインターフェース操作を実行する』を意味する一般化された用語として解釈されるべきである。『アイコン』は、『視覚的に（たとえば、伝統的に定義されるとおりのアイコン）または非視覚的に（たとえば、アイコンの相対的空間的配置）示されることができるジェスチャを示唆する任意のインジケータ』を意味する一般化された用語として解釈されるべきである。
【図面の簡単な説明】
【００８４】
【図１】本発明の実施態様に従ったコンピューティング環境を図解した説明図である。
【図２】本発明の実施態様に従ったジェスチャを介したオブジェクト選択を図解した説明図である。
【図３】本発明の実施態様に従った種々のアイコンのスタイルを図解した説明図である。
【図４】本発明の実施態様に従ったジェスチャの場所を図解した説明図である。
【図５】本発明の実施態様に従った組み合わせジェスチャのアイコンを図解した説明図である。
【図６】本発明の実施態様に従った異なるジェスチャの変形を用いた選択解像度を図解した説明図である。
【図７】本発明の実施態様に従ったアイコンの配置を図解した説明図である。
【図８】本発明の実施態様に従ったジェスチャを用いてオブジェクトを選択するプロセスを図解したフローチャートである。
【図９】本発明の１つの実施態様に従ったジェスチャ選択インターフェースを伴う例示的なコンピュータ・システムを図解した説明図である。
【符号の説明】
【００８５】
１００  コンピューティング環境、１１０〜１１２  クライアント、１２０、１２１  ユーザ、１３０〜１５０  サーバ、１６０  ネットワーク、１７０  データベース、１８０  デバイス、２００  セクション、３００〜３０８  ボックス、４００  ジェスチャ、４０２  ジェスチャ、５００  アイコン、５０２  アイコン、７００  アイコン、７０２  アイコン、９００  コンピュータおよび通信システム、９０２  タッチ・スクリーン・ディスプレイ、９０４  プロセッサ、９０６  メモリ、９０８  ストレージ・デバイス、９１６  ジェスチャ駆動オブジェクト選択システム、９１８  片手操作ユーザ・インターフェース、９２０、９２２  アプリケーション。
【図１】
0005334450.tif 000002
【図２】
0005334450.tif 000003
【図３】
0005334450.tif 000004
【図４】
0005334450.tif 000005
【図５】
0005334450.tif 000006
【図６】
0005334450.tif 000007
【図７】
0005334450.tif 000008
【図８】
0005334450.tif 000009
【図９】
0005334450.tif 000010