(57)【要約】  タッチ・スクリーン・センサーを有する携帯用電子デバイスにおいて実行可能なコンピューター・プログラムを提供する。このコンピューター・プログラムは、ユーザー入力に応答して、直接入力モードと相対的ジェスチャー認識モードとの間で切り換えるためにモード切換ユーザー入力を受けるように構成された入力モード切換モジュールを含むことができる。更に、このコンピューター・プログラムは、ジェスチャー・ベース制御モジュールも含むことができる。このジェスチャー・ベース制御モジュールは、相対的ジェスチャー認識モードでは、ユーザーの指と、グラフィカル・ユーザー・インターフェース・エレメントが選択不可能である所定領域におけるタッチ・スクリーン・センサーの表面との間において、タッチ・スクリーン・センサー上で接触点を認識し、接触点から始まるユーザータッチ入力に基づいて検出されたジェスチャーを識別し、検出されたジェスチャーに基づいて携帯用電子デバイスの動作を調節するために、メッセージをアプリケーション・プログラムに送るように構成されている。【選択図】図１
2012502393.tif 000002
【特許請求の範囲】
【請求項１】
タッチ・スクリーン・センサー（１６２）を有する携帯用電子デバイス（１００）において実行可能なコンピューター・プログラム（１３０）であって、
ユーザー入力（１５２）に応答して、直接入力モードと相対的ジェスチャー認識モードとの間で切り換えるためにモード切換ユーザー入力（１５２）を受けるように構成された入力モード切換モジュール（１３５）であって、前記直接入力モードでは、前記携帯用電子デバイス（１００）のグラフィカル・ユーザー・インターフェース（１６４）の１つ以上のグラフィカル・ユーザー・インターフェース・エレメント（１６５）が、前記ユーザーのタッチ入力を通じて選択可能であり、前記相対的ジェスチャー認識モードでは、前記グラフィカル・ユーザー・インターフェース（１６４）の少なくとも所定領域（１７０）にある前記グラフィカル・ユーザー・インターフェース・エレメント（１６５）が選択不可能である、入力モード切換モジュール（１３５）と、
前記相対的ジェスチャー認識モードでは、ユーザーの指と、前記グラフィカル・ユーザー・インターフェース・エレメント（１６８）が選択不可能である前記所定領域（１７０）における前記タッチ・スクリーン・センサー（１６２）の表面との間において、前記タッチ・スクリーン・センサー（１６２）上で接触点（１７４）を認識し、前記所定領域（１７０）において、前記接触点（１７４）に近接してジェスチャー制御部（１７２）を提示するように構成されたジェスチャー・ベース制御モジュール（１４０）であって、更に、前記接触点（１７４）から始まるユーザータッチ入力（１５６）に基づいて、検出されたジェスチャー（１５８）を識別し、前記検出されたジェスチャー（１５８）に基づいて前記携帯用電子デバイス（１００）の動作を調節するために、メッセージをアプリケーション・プログラム（１１０）に送るように構成された、ジェスチャー・ベース制御モジュール（１４０）と、
を含む、コンピューター・プログラム。
【請求項２】
請求項１記載のコンピューター・プログラムにおいて、前記モード切換ユーザー入力が、前記携帯用電子デバイスと関連付けられたクラッチ・キーを通じたユーザー入力、および前記ユーザーの指と前記タッチ・スクリーン・センサーの表面との間における接触を通じたユーザー入力とから成る１群から選択される、コンピューター・プログラム。
【請求項３】
請求項１記載のコンピューター・プログラムにおいて、前記ジェスチャー制御部がトランスポート制御部を含み、該トランスポート制御部のための基準フレームを、前記所定領域内における前記接触点に素早く動かすように構成された、コンピューター・プログラム。
【請求項４】
請求項３記載のコンピューター・プログラムにおいて、
前記ジェスチャー・ベース制御モジュールが、前記ジェスチャー・ベース制御モジュールによって識別された前記検出されたジェスチャーにしたがって、前記携帯用電子デバイスの動作を調節するために、メッセージをメディア再生アプリケーションに送るように構成されており、
前記トランスポート制御部の再生制御モードにおいて、前記検出されたジェスチャーが、前記基準フレームに対する前記ユーザーの指の実質的に水平方向の動きの検出に基づいて識別され、それに応答して前記メディア再生の時間的位置を調節し、
前記トランスポート制御部の音量制御モードにおいて、前記検出されたジェスチャーが、前記基準フレームに対する前記ユーザーの指の実質的に垂直な方向の検出に基づいて識別され、それに応答して、前記メディア再生の音量を調節し、
前記トランスポート制御部の一時停止制御モードにおいて、前記検出されたジェスチャーが、前記基準フレームに対するユーザーの指の叩く動きの検出に基づいて識別され、それに応答して前記メディア再生の一時停止状態を変化させる、コンピューター・プログラム。
【請求項５】
請求項１記載のコンピューター・プログラムにおいて、
前記ジェスチャー制御部が仮想ゲーム制御部を含み、該仮想ゲーム制御部が、前記接触点において該仮想ゲーム制御のための仮想制御スティック制御部を生成するように構成され、
前記ジェスチャー・ベース制御モジュールが、更に、前記仮想ゲーム制御スティックの周囲に制御部外周を定めるように構成され、
前記ジェスチャー・ベース制御モジュールが、更に、前記仮想制御スティック制御部の前記制御部外周または接触点からの相対的距離に基づいて、前記携帯用電子デバイスの動作を調節するために、メッセージをコンピューター・ゲーム・アプリケーション・プログラムに送るように構成された、コンピューター・プログラム。
【請求項６】
請求項５記載のコンピューター・プログラムにおいて、
前記ジェスチャー・ベース制御モジュールが、更に、前記制御部外周において前記仮想制御スティック制御部の最大目盛りのふれを定めるように構成され、
前記仮想制御スティック制御部を通じて前記仮想ゲーム制御部が受けたユーザータッチ入力に基づいて前記検出されたジェスチャーが前記制御部外周内にあるときに前記コンピューター・ゲーム・アプリケーション・プログラムに送られた前記メッセージが、前記仮想制御スティック制御部の最大目盛りのふれに対する前記仮想制御スティック制御部の測定されたふれに比例し、
前記仮想制御スティック制御部を通じて前記仮想ゲーム制御部が受けた前記ユーザータッチ入力に基づいて前記検出されたジェスチャーが前記制御部外周の外側で受けられたときに前記コンピューター・ゲーム・アプリケーション・プログラムに送られた前記メッセージが、前記仮想制御スティック制御部の最大目盛りのふれと実質的に同じである、コンピューター・プログラム。
【請求項７】
請求項１記載のコンピューター・プログラムにおいて、前記ジェスチャー・ベース制御モジュールが、更に、前記携帯用電子デバイスのグラフィカル・ユーザー・インターフェースとは独立して、前記所定領域を位置付けるように構成された、コンピューター・プログラム。
【請求項８】
請求項１記載のコンピューター・プログラムであって、更に、前記ジェスチャー・ベース制御モジュールが開発者指定制御パラメーターにアクセスすることを可能にするように構成され、前記ジェスチャー制御部が、前記開発者指定制御パラメーターにしたがって動作するように構成された、コンピューター・プログラム。
【請求項９】
請求項８記載のコンピューター・プログラムにおいて、前記開発者指定制御パラメーターが、音量パラメーター、再生速度パラメーター、再生方向パラメーター、制御部外周定めパラメーター、および所定領域定めパラメーターから成る１群から選択される、コンピューター・プログラム。
【請求項１０】
タッチ・スクリーン・センサー（１６２）を有する携帯用電子デバイス（１００）の制御方法であって、
モード切換ユーザー入力（１５２）に応答して相対的ジェスチャー認識モードを開始させるステップであって、前記相対的ジェスチャー認識モードにおいて、グラフィカル・ユーザー・インターフェース（１６４）の所定領域（１７０）の中にある１つ以上のグラフィカル・ユーザー・インターフェース・エレメント（１６５）が選択不可能である、ステップと、
前記相対的ジェスチャー認識モードにおいて前記グラフィカル・ユーザー・インターフェース・エレメント（１６８）が選択不可能であるる前記所定領域（１７０）において、ユーザーの指と前記タッチ・スクリーン・センサー（１６２）の表面との間の接触点（１７４）を前記タッチ・スクリーン・センサー（１６２）において認識するステップと、
前記相対的ジェスチャー認識モードにおいて前記グラフィカル・ユーザー・インターフェース・エレメント（１６８）が選択不可能である前記所定領域（１７０）において、前記接触点（１７４）に近接して、所定制御部外周（１７６）を有するジェスチャー制御部（１７２）を提示するステップと、
前記タッチ・スクリーン・センサー（１６２）によって前記タッチ・スクリーン・センサー（１６２）内において前記グラフィカル・ユーザー・インターフェース・エレメント（１６８）が選択不可能である前記所定領域（１７０）において前記ジェスチャー制御部（１７２）が受けた前記接触点（１７４）から始まるユーザータッチ入力（１５６）に基づいて、検出されたジェスチャー（１５８）を識別するステップと、
前記所定制御部外周（１７６）上にある所定の位置（１７８）から前記検出されたジェスチャー（１５８）までの相対的距離に基づいて、または前記接触点（１７４）から前記検出されたジェスチャー（１５８）までの相対的距離に基づいて、前記携帯用電子デバイス（１００）の動作を調節するステップと、
を含む、方法。
【請求項１１】
請求項１０記載の方法において、前記モード切換ユーザー入力が、前記携帯用電子デバイスと関連付けられたクラッチ・キーを通じたユーザー入力、および前記ユーザーの指と前記タッチ・スクリーン・センサーの表面との間における接触を通じたユーザー入力とから成る１群から選択される、方法。
【請求項１２】
請求項１０記載の方法において、
ジェスチャー制御部を提示するステップが、トランスポート制御部を提示することを含み、
ジェスチャー制御部を提示するステップが、更に、前記トランスポート制御部のための基準フレームを、前記所定領域内における前記接触点に素早く動かすことを含む、方法。
【請求項１３】
請求項１２記載の方法において、前記携帯用電子デバイスの動作を調節するステップが、
前記基準フレームに対するユーザーの指の実質的に水平な方向によって識別された前記検出されたジェスチャーに応答して、メディア再生の時間的位置を調節するステップと、
前記基準フレームに対するユーザーの指の実質的に垂直な方向によって識別された前記検出されたジェスチャーに応答して、メディア再生の音量を調節するステップと、
前記基準フレームに対するユーザーの指の叩く動きによって識別された前記検出されたジェスチャーに応答して、メディア再生の一時停止状態を調節するステップと、
を含む、方法。
【請求項１４】
請求項１０記載の方法において、前記接触点に近接して、所定制御部外周を有するジェスチャー制御部を提示するステップが、前記接触点において、仮想ゲーム制御のために仮想制御スティック制御部を生成することを含み、前記所定制御部外周が、該所定制御部外周において仮想制御スティック制御部の最大目盛りのふれを有する、方法。
【請求項１５】
請求項１４記載の方法において、前記携帯用電子デバイスの動作を調節するステップが、
前記タッチ・スクリーン・センサーが受けた前記ジェスチャーが前記所定制御部外周内において受けられた場合、前記仮想制御スティック制御部の最大目盛りのふれに対する、前記仮想制御スティック制御部の測定されたふれに比例する応答を、前記仮想ゲーム制御部から出力するステップと、
前記相対的ジェスチャーが前記所定制御部外周の外側で受けられた場合、前記仮想制御スティック制御部の最大目盛りのふれと実質的に同じである応答を、前記仮想ゲーム制御部から出力するステップと、
を含む、方法。
【発明の詳細な説明】
【従来技術】
【０００１】
[0001]  タッチ・スクリーンが装備されている携帯用電子デバイスは、タッチ・スクリーン・センサーによって検知されるタッチ入力を通じて、画面上に表示されているグラフィカル・ユーザー・インターフェース・エレメントと直接対話処理することを可能にする。ユーザーは、視覚的に画面を検査し、グラフィカル・ユーザー・インターフェース・エレメントが表示されている画面の位置にタッチする。このタッチ入力は、グラフィカル・ユーザー・インターフェース・エレメントの位置において起こると、デバイスによって検知され、携帯用電子デバイスにおいてしかるべき機能を誘起する。
【発明の概要】
【発明が解決しようとする課題】
【０００２】
[0002]  このようなデバイスに伴う欠点の１つは、ユーザーが画面を視覚的に検査できない、または検査しないことを好むときには、対話処理することが困難になるということである。例えば、ユーザーが運動しているとき、地下鉄に乗っているとき等には、ユーザーは長時間画面を見ることは不便であるまたは望ましくないと思うことがある。この結果、ユーザーによる入力誤りが生じたり、または望ましくないときにユーザーに画面を見させたりすることになり、総じてユーザー体験においていらいらすることもある。
【課題を解決するための手段】
【０００３】
[0003]  タッチ・スクリーン・センサーを有する携帯用電子デバイスにおいて実行可能なコンピューター・プログラムを提供する。このコンピューター・プログラムは、ユーザー入力に応答して、直接入力モードと相対的ジェスチャー認識モードとの間で切り換えるためにモード切換ユーザー入力を受けるように構成されている入力モード切換モジュールを含むことができる。直接入力モードでは、携帯用電子デバイスのグラフィカル・ユーザー・インターフェースの１つ以上のグラフィカル・ユーザー・インターフェース・エレメントが、ユーザーのタッチ入力を通じて選択可能となる。相対的ジェスチャー認識モードでは、グラフィカル・ユーザー・インターフェースの少なくとも所定領域のあるグラフィカル・ユーザー・インターフェース・エレメントが、選択不可能とされる。更に、このコンピューター・プログラムは、相対的ジェスチャー認識モードでは、ユーザーの指と、グラフィカル・ユーザー・インターフェース・エレメントが選択不可能である所定領域におけるタッチ・スクリーン・センサーの表面との間における、タッチ・スクリーン・センサー上で接触点を認識し、接触点に近接してジェスチャー制御部を、所定領域内に提示するように構成されている、ジェスチャー・ベースの制御モジュールも含むことができる。ジェスチャー・ベース制御モジュールは、更に、接触点から始まるユーザー接触入力に基づいて検出されたジェスチャーを識別し、検出されたジェスチャーに基づいて携帯用電子デバイスの動作を調節するために、メッセージをアプリケーション・プログラムに送るように構成することもできる。
【０００４】
[0004]  この摘要は、詳細な説明において以下で更に説明する概念から選択したものを、簡略化した形態で紹介するために設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を限定するために用いられることを意図するのでもない。更に、特許請求する主題は、本開示の任意の部分に記されている欠点の内任意のものまたは全てを解決する実施態様に限定されるのでもない。
【図面の簡単な説明】
【０００５】
【図１】図１は、タッチ・スクリーン・センサーを装備され、直接入力モードと相対的ジェスチャー認識モードとの間で切り換えるコンピューター・プログラムを実行するように構成されている計算機の一実施形態の模式図である。
【図２】図２は、図１の携帯用電子デバイスにおいて、メディア再生アプリケーション・プログラムと共に用いるための、相対的ジェスチャー認識モードにおけるトランスポート制御部を示す。
【図３】図３は、図１の携帯用電子デバイスにおいて、コンピューター・ゲーム・アプリケーション・プログラムと共に用いるための、相対的ジェスチャー認識モードにおける仮想ゲーム制御部を示す。
【図４】図４は、タッチ・スクリーン・センサーを有する携帯用電子デバイスを制御する方法を示す。
【発明を実施するための形態】
【０００６】
[0009]  図１は、計算機を示し、この計算機とは、例えば、携帯用メディア・プレーヤまたはウェブ対応(web-enabled)移動体電話機のような、携帯用電子デバイス１００とすることができる。携帯用電子デバイス１００は、プロセッサー１０４を含む。プロセッサー１０４は、メモリー１０８および大容量ストレージ１０６と通信バス１０２を通じて電子的に通信し、メモリー１０８の一部を用いて１つ以上のアプリケーション・プログラム１１０を実行するように構成されている。更に、携帯用電子デバイスは、タッチ・スクリーン・センサー１６２を有するディスプレイ１６０も含む。ディスプレイ１６０は、１つ以上のグラフィカル・ユーザー・インターフェース・エレメント１６５を有するグラフィカル・ユーザー・インターフェース１６４を表すことができる。
【０００７】
[0010]  グラフィカル・ユーザー・インターフェース１６４は、直接入力モードに設定することができ、このモードでは、グラフィカル・ユーザーインターフェースの１つ以上のグラフィカル・ユーザー・インターフェース・エレメント１６５は、選択可能なグラフィカル・ユーザー・インターフェース・エレメント１６６となっており、ディスプレイ１６０上における選択可能なグラフィカル・ユーザー・インターフェース・エレメント１６６の位置においてタッチ・スクリーン・センサー１６２によって検知されるユーザーのタッチ入力によって選択可能である。選択可能なグラフィカル・ユーザー・インターフェース・エレメント１６６の例には、ボタン、スライダ、スクロール・バー、ハイパーリンク、プル・ダウン・メニュー、アイコン等が含まれる。これらの種々の選択可能グラフィカル・ユーザー・インターフェース・エレメント１６６の挙動は、例えば、コンピューター・プログラム１３０によってプログラミングすることができる。コンピューター・プログラム１３０は、アプリケーション・プログラミング・インターフェースとすることができる。つまり、選択可能なグラフィカル・ユーザー・インターフェース・エレメント１６６を選択したユーザータッチ入力に応答して、携帯用電子デバイスは、選択可能なグラフィカル・ユーザー・インターフェース・エレメント１６６と関連のある、プル・ダウン・メニューの選択肢を選択する、ウィンドウをスクロールする等のような、プログラミングされた挙動を呈することができる。
【０００８】
[0011]  ユーザーが入力モードを切り換えることを可能にするために、携帯用電子デバイス１００は、アプリケーション・プログラミング・インターフェースのような、コンピューター・プログラム１３０を含むことができる。このコンピューター・プログラム１３０は、モード切換ユーザー入力１５２を受けて、モード切換ユーザー入力１５２に応答して直接入力モードと相対的ジェスチャー認識モードとの間で切り換えるように構成されている入力モード切換モジュール１３５を含む。相対的ジェスチャー認識モードでは、グラフィカル・ユーザー・インターフェース１６４の少なくとも所定領域１７０における１つ以上のグラフィカル・ユーザー・インターフェース・エレメント１６５が、選択不可能なグラフィカル・ユーザー・インターフェース・エレメント１６８とされる。言い換えると、相対的ジェスチャー認識モードにおける特定の選択不可能なグラフィカル・ユーザー・インターフェース・エレメント１６８に隣接する位置において受けられる入力が、携帯用電子デバイス１００に、直接入力モードにおけるそのユーザー・インターフェース・エレメントと関連付けられてプログラミングされた機能を実行させることはない。むしろ、相対的ジェスチャー認識モードにおけるタッチ入力１５６は、基礎となるグラフィカル・ユーザー・インターフェース・エレメント１６５とは関係なく、相対的ジェスチャー入力として処理される。これについては、以下で説明する。
【０００９】
[0012]  相対的ジェスチャー認識モードでは、コンピューター・プログラム１３０の中にあるジェスチャー・ベース制御モジュール１４０は、グラフィカル・ユーザー・インターフェース・エレメント１６８が選択不可能となる所定領域１７０におけるユーザーの指とタッチ・スクリーン・センサー１６２の表面との間において、タッチ・スクリーン・センサー１６２上において接触点１７４を認識し、更に、所定領域１７０において、接触点１７４に隣接してジェスチャー制御部１７２を提示するように構成されている。ジェスチャー・ベース制御モジュール１４０は、更に、接触点１７４から始まるユーザータッチ入力１５６に基づいて、検出されたジェスチャー１５８を識別し、この検出されたジェスチャー１５８に基づいて携帯用電子デバイス１００の動作を調節するために、アプリケーション・プログラム１１０にメッセージを送るように構成されている。
【００１０】
[0013]  また、コンピューター・プログラム１３０は、ジェスチャー・ベース制御モジュール１４０が開発者指定制御パラメーター１４９にアクセスすることを可能にするように構成することができる。ジェスチャー制御部１７２は、開発者指定制御パラメーター１４９にしたがって動作するように構成されている。開発者指定制御パラメーター１４９は、開発者指定制御パラメーター・インターフェース１８０からジェスチャー・ベース制御モジュール１４０によって受けることができる。開発者指定制御パラメーター１４９は、例えば、ソフトウェア開発キット（ＳＤＫ）を通じてアプリケーション・プログラム開発者によって指定することができ、ジェスチャー制御部１７２の機構(feature)および機能(functionality)をカスタム化するためのパラメーターを含むことができる。例えば、開発者指定制御パラメーター１４９は、音量パラメーター、再生速度パラメーター、再生方向パラメーター、制御部外周設定パラメーター、および所定領域定めパラメーター(defined region definition parameter)を含むことができる。このように、開発者は、ジェスチャー制御部１７２を音量制御部または再生制御部となるように定めることができ、この制御部の制御部外周または他の幾何学的特性、およびジェスチャー入力を受けるように構成されるディスプレイの所定領域を指定することができる。
【００１１】
[0014]  これらの開発者指定制御パラメーターにしたがって、または代わりにコンピューター・プログラム１３０によって指定される他の予め定められたパラメーターにしたがって、相対的ジェスチャー認識モードにおいて、ジェスチャー・ベース制御モジュール１４０は、所定領域１７０内にジェスチャー制御部１７２を提示するように構成され、ジェスチャー制御部１７２はタッチ入力１５６を受けるように構成されている。所定領域１７０内において検出されたジェスチャー１５８を識別することによって、ジェスチャー・ベース制御モジュール１４０は、相対的ジェスチャー認識モードにおいてフロント・エンド・プロセッサーとして機能して、直接入力モードではグラフィカル・ユーザー・インターフェース１６４に向けられるはずの入力を受ける。フロント・エンド・プロセッサーとして動作すると、ジェスチャー・ベース制御モジュール１４０は、携帯用電子デバイス１００のグラフィカル・ユーザー・インターフェース１６４上に表示される種々のエレメントとは独立して、所定領域１７０を位置付けて、この所定領域１７０がグラフィカル・ユーザー・インターフェース１６４の一部または全体にわたって浮遊するように構成することができることは認められよう。
【００１２】
[0015]  相対的ジェスチャー認識モードは、コンピューター・プログラム１３０の入力モード切換モジュール１３５によるモード切換ユーザー入力１５２の受信によって開始させることができる。図１では、モード切換ユーザー入力１５２をタッチ入力であるとして示されている。このタッチ入力は、携帯用電子デバイス１００と関連のあるクラッチ・キー１５４によって受けることができる。クラッチ・キー１５４は、スイッチまたはボタンのような、キーとすることができ、このキーは携帯用電子デバイス１００の筐体上に物理的に配置され、あるいは携帯用電子デバイス１００と通信する１対のヘッドフォンのような、アクセサリ上に配置することもできる。クラッチ・キー１５４は、例えば、ボタンまたは容量性スイッチとすることができる。あるいは、モード切換ユーザー入力１５２は、ユーザーの指とタッチ・スクリーン・センサー１６２との間におけるタッチによって受けることができる。このタッチが、例えば、画面上のボタン、タッピング(tapping)、またはジェスチャーの選択となることができる。
【００１３】
[0016]  モード切換ユーザー入力１５２を受け取った後、入力モード切換モジュール１３５は、相対的ジェスチャー認識モードを開始させ、メッセージをジェスチャー・ベース制御モジュール１４０に出力する。具体的には、入力モード切換モジュール１３５は、ジェスチャー・ベース制御モジュール１４０内にある接触点認識部１４２に要求メッセージを送り、相対的ジェスチャー認識モードが開始されたことを示し、グラフィカル・ユーザー・インターフェース・エレメント１６８が選択不可能である所定領域１７０における接触点１７４を接触点認識部１４２が返すことを要求する。
【００１４】
[0017]  要求メッセージを受信すると、接触点認識部１４２は、タッチ・スクリーン・センサー１６２の表面上で、所定領域１７０内において接触点１７４を認識する。接触点１７４は、ユーザーの指（図１ではタッチ入力１５６として表されている）と、所定領域１７０におけるタッチ・スクリーン・センサー１６２の表面との間におけるタッチによって形成される。
【００１５】
[0018]  接触点１７４を認識すると、接触点認識部１４２は、所定領域１７０において認識された接触点１７４に隣接して定められた外周１７６を有するジェスチャー制御部１７２を提示するように構成することができる。接触点認識部１４２は、制御部外周定め部(control parameter definer)１４４から、制御部外周１７６のパラメーターを指定する入力を受けることができる。接触点認識部１４２は、制御部外周定め部１４４から制御部外周定めパラメーターを受けることができる。制御部外周定めパラメーターは、例えば、制御部外周を計算するための式を指定することができる。制御部の外周は、接触点１７４からの距離Ｄに基づくことができる。一例では、制御部外周は、コンピューター・プログラム１３０を通じてアクセス可能な１組の標準的な制御定義(control definitions)からの、予め設定されている制御部外周であってもよい。別の例では、制御部外周定め部１４４は、制御部外周定めパラメーターを含む入力を受けることができる。この制御部外周定めパラメーターは、開発者指定パラメーター・モジュール１４８からの１組の開発者指定制御部外周１４９に含まれており、こうして開発者が制御部外周のサイズおよび形状を指定することを可能にする。
【００１６】
[0019]  尚、ジェスチャー制御部１７２は、関連のあるアイコンを含むことができ、このアイコンは部分的に半透明であってもよいが、他の実施形態では、ジェスチャー制御部１７２は視覚的に知覚可能でなくてもよいことは認められよう。アイコンが存在する場合、アイコンは制御部外周および／または接触点を視覚的に示すことができ、あるいはユーザーに他のアイコン状情報(iconographic information)を提供することができる。この他のアイコン状情報は、例えば、仮想制御スティック制御部(virtual control stick control)の場合には撓みの角度および度数を含み、線形スライダ制御部の場合撓みの度合いを含むことができる。実施形態によっては、本明細書において記載するようにジェスチャーを受け入れることに加えて、タッピング入力に応答することもできる。
【００１７】
[0020]  ジェスチャー制御部１７２を提示した後、接触点認識部１４２は、検出されたジェスチャー１５８の識別を要求するメッセージを識別部１４６に送るように構成されている。このメッセージは、図１では接触点１７４から始まるように示されている。識別部１４６は、ジェスチャー・ベース制御モジュール１４０内にあり、接触点認識部１４２からのメッセージや、ライブラリー１９０および開発者指定パラメーター・モジュール１４８からの入力を受ける。
【００１８】
[0021]  これらの入力に基づいて、識別部１４６は、タッチ・センサーを通じて受けられたタッチ入力を、接触点１７４から発して検出されたジェスチャー１５８として識別するように構成されている。例えば、図１では、識別部１４６は、ライブラリー１９０から入力を受けるように示されている。ライブラリー１９０は、予め定められたジェスチャー１９２についての定義を含むように示されている。つまり、識別子１４６は、少なくとも部分的に、検出されたジェスチャーの解釈に基づいて、検出されたジェスチャー１５８を識別することができる。この解釈は、グラフィカル・ユーザー・インターフェース・エレメント１６８が選択不可能な所定領域１７０においてタッチ・スクリーン・センサー１６２を通じてジェスチャー制御部１７２が受けた、検出ジェスチャー１５８と、ライブラリー１９０内にある１組の１つ以上の予め定められたジェスチャー１９２の内の１つに対応する定義との比較を含む。
【００１９】
[0022]  尚、検出されたジェスチャー１５８の解釈は、１つ以上の開発者指定制御パラメーター１４９に基づいてもよいことは認められよう。開発者指定制御パラメーター１４９は、開発者指定パラメーター・モジュール１４８に含まれ、開発者指定制御パラメーター・インターフェース１８０から受けられる。このように、アプリケーション・プログラム１１０の開発者が、検出されたジェスチャー１５８の解釈を指定することもできる。例えば、開発者は、所定領域１７０内において検出されたジェスチャー１５８を無視してもよいドメイン（例えば、「デッド・ゾーン」）、開発者指定規則にしたがって検出されたジェスチャー１５８を解釈する判別パラメーター、実際の検出ジェスチャーと偽りの検出ジェスチャーとの間で判別を行うロジック等を示すことができる。このように、開発者は、個々のアプリケーション・プログラム１１０にしたがって識別部１４６の動作を個別に決定することができる。
【００２０】
[0023]  検出されたジェスチャー１５８を解釈した後、識別部１４６は、ジェスチャー・ベース制御モジュールの通信モジュール１５０を通じて、メッセージをアプリケーション・プログラム１１０に送る。このメッセージは、検出されたジェスチャー１５８をアプリケーション・プログラム１１０に伝え、このアプリケーション・プログラムに、検出されたジェスチャー１５８に基づいて携帯用電子デバイス１００の動作を調節させるように機能することができる。
【００２１】
[0024]  例えば、識別部１４６は、接触点１７４から識別された検出ジェスチャー１５８までの相対的距離に基づいて、携帯用電子デバイス１００の動作を調節するように、アプリケーション・プログラム１１０に命令するように構成することができる。これの一例を図２に示す。図２では、ジェスチャー・ベース制御モジュール１４０によって識別された、検出ジェスチャー１５８にしたがって携帯用電子デバイス１００の動作を調節するために、コンピューター・プログラム１３０のジェスチャー・ベース制御モジュール１４０がメッセージをメディア再生アプリケーション・プログラムに送るように構成されている。Ｖ軸は、Ｈ軸に対して直交する垂直方向を表し、Ｈ軸は水平方向を表す。
【００２２】
[0025]  引き続き図２を参照すると、ジェスチャー制御部１７２（図１）が、携帯用電子デバイス１００のタッチ・スクリーン・センサー１６２内にある所定領域１７０におけるトランスポート制御部(transport control)２００として提示されている。クラッチ・キー１５４が図２では携帯用電子デバイス１００のエッジ上に示されており、これを作動させると、相対的ジェスチャー認識モードを開始させることができる。所定領域１７０内における指のタッチを受けると、接触点認識部１４２はトランスポート制御部２００を提示する。トランスポート制御部２００は、所定領域１７０内における接触点１７４に、トランスポート制御部２００のための基準フレーム２１０を素早く動かす(snap)ように構成されている。この例は、トランスポート制御部２００の再生制御モードを表し、検出されたジェスチャー１５８は、基準フレーム２１０に対するユーザーの指の実質的に垂直な方向の検出に基づいて、識別部１４６によって識別され、それに応答して、通信モジュール１５０がメッセージを識別部１４６からアプリケーション・プログラム１１０に送り、メディア再生の音量を調節する。
【００２３】
[0026]  検出されたジェスチャー１５８の実施的に正の垂直方向は、メディア再生の音量を増大させるために、ライブラリー１９０内における予め定められたジェスチャー１９２に対応するものとして解釈することができる。更に、メディア再生の音量強度は、図示の距離Ｂにしたがって判定することができる。距離Ｂは、接触点１７４と検出されたジェスチャー１５８の終点との間の距離を示す。例えば、音量強度は、距離Ｂの絶対量(measure)にしたがって決定することができる。つまり、Ｂが５測定距離単位であると判定された場合、音量強度を、例えば、５音量単位だけ変化させることができる。別の例では、音量強度は、特定の音量レベルに対する距離Ｂによって判定することができる。この特定の音量レベルは、アプリケーション・プログラム１１０について開発者によって指定された１組の開発者指定制御パラメーター１４９（図１）の中で指定することができる。つまり、Ｂが５測定距離単位であると判定された場合、音量強度を、例えば、予め定められた音量レベルの５パーセントだけ変化させることができる。代替例では、距離Ｂが制御部外周定めパラメータ（図示せず）に対応する距離の５パーセントであると判定された場合、対応する５パーセントだけ音量強度を変化させることができる。
【００２４】
[0027]  一時停止制御部を実装するには、例えば、検出されたジェスチャー１５８は、基準フレーム２１０に対するユーザーの指の叩く動き(tapping movement)の検出に基づいて識別することができる。これに応答して、ジェスチャー・ベース制御モジュールは、タッピング入力をアプリケーション・プログラムに送ることができ、アプリケーション・プログラムは、メディア再生の一時停止状態を変化させるように、このタッピング入力を解釈することができる。早送りおよび／または巻き戻し制御部を実装するには、基準フレーム２１０に対するユーザーの指の動きの実質的に水平方向の検出に基づいて、検出されたジェスチャー１５８を識別すればよく、これに応答して、ジェスチャー・ベース制御モジュールは、検出されたジェスチャー１５８をアプリケーション・プログラムに送ることができ、一方アプリケーション・プログラムはメディア再生の時間的位置を調節することができる。尚、メディア再生は、携帯用電子デバイス１００に格納されているオーディオ・メディアまたはビジュアル・メディアであってもよく、あるいはネットワークから携帯用電子デバイス１００が受信したメディアであってもよいことは認められよう。更に、トランスポート制御部２００は、再生されるメディアのタイプにしたがって構成することもできる。例えば、メディア再生が無線局からのブロードキャスト・ストリームである場合、前述の早送りおよび／または巻き戻し制御部は、代わりに、無線周波数の順方向および逆方向の走査を制御することができ、前述のタッピング入力が局の事前設定(station preset)を作動させることができる等となる。
【００２５】
[0028]  更に、トランスポート制御部２００は、ジェスチャー・ベーストランスポート制御部に加えて、アプリケーション・プログラムのコンテキストにしたがって、ジェスチャー・ベースであってもジェスチャー・ベースでなくてもよい制御選択肢を提示することもできることも、更に認められよう。例えば、トランスポート制御部２００は、ウェブ・ブラウザー・アプリケーション・プログラムのコンテキストで提示され、メディア再生を制御するためのトランスポート制御部に加えて、ウェブ・ブラウザに関連する制御部も提示することができる。別の例では、トランスポート制御部２００がコンピューター・ゲーム・アプリケーション・プログラムのコンテキストで提示される場合、コンピューター・ゲームに関連する制御部を提示することができ、例えば、トランスポート制御部が、ゲーム音楽や、ゲームを一時停止しゲーム選択肢を選択するためのジェスチャーベース・メニューを制御する。このように、開発者はトランスポート制御部をアプリケーション・プログラムに調和させることができる。
【００２６】
[0029]  加えて、ジェスチャー・ベース制御モジュールは、所定制御部外周１７６上の所定の位置１７８から検出されたジェスチャー１５８までの相対的距離に基づいて、携帯用電子デバイス１００の動作を調節するように、アプリケーション・プログラムに命令するように構成することができる。例えば、図３に示すように、コンピューター・プログラムは、コンピューター・ゲーム・アプリケーション・プログラムとすることができ、コンピューター・プログラム１３０のジェスチャー・ベース制御モジュール１４０は、制御部外周１７６または接触点１７４からの仮想制御スティック制御部３０２の相対的距離に基づいて、携帯用電子デバイス１００の動作を調節するために、メッセージをコンピューター・ゲーム・アプリケーション・プログラムに送るように構成することができる。尚、図３において、Ｙ軸はＸ軸に対して直交する垂直方向を表し、Ｘ軸は水平方向を表すことは認められよう。追加の参照符号Ｒは、平面ＸＹに対して垂直な回転軸を中心とする回転方向を表し、平面ＸＹはタッチ・スクリーン・センサー１６２の表面に対して並列である。この例では、回転軸は接触点１７４において平面ＸＹと交差する。ことは認められよう。
【００２７】
[0030]  引き続き図３を参照すると、ジェスチャー制御部１７２（図１）は仮想ゲーム制御部３００として提示されている。仮想ゲーム制御部３００は、相対的ジェスチャー認識モードにおいて所定領域１７０内でタッチ入力を受けると、接触点１７４において仮想制御スティック制御部３０２を生成する(spawn)ように構成されている。仮想制御スティック制御部３０２を生成するプロセスは、接触点１７４において仮想制御スティック制御部３０２のインスタンスを作成するものとして認められよう。ジェスチャー・ベース制御モジュール１４０は、更に、携帯用電子デバイス１００のタッチ・スクリーン・センサー１６２内にある所定領域１７０において仮想ゲーム制御スティック制御部３０２を取り囲む制御部外周１７６を定めるように構成されている。ジェスチャー・ベース制御モジュール１４０は、更に、制御部外周１７６において仮想制御スティック制御部３０２の最大目盛り(full-scale)のふれＦを定めるように構成することもできる。更に、仮想制御スティック制御部３０２を通じて仮想ゲーム制御部３００が受けたユーザータッチ入力１５６（図１）に基づいて検出されたジェスチャー１５８が制御部外周１７６の内部にあるときにコンピューター・ゲーム・アプリケーション・プログラムに送られたメッセージは、仮想制御スティック制御部３０２の最大目盛りのふれFに関して、仮想制御スティック制御部３０２の測定されたふれPに比例する。更にまた、仮想制御スティック制御部３０２を通じて仮想ゲーム制御部３００が受けたユーザータッチ入力１５６に基づいて検出されたジェスチャー１５８が制御部外周１７６の外側で受けられたときにコンピューター・ゲーム・アプリケーション・プログラムに送られたメッセージは、仮想制御スティック制御部３０２の最大目盛りのふれＦと実質的に同じである。
【００２８】
[0031]  図３に示す例は、仮想ゲーム制御部３００のコンピューター・ゲーム制御モードを表し、制御部外周１７６内における接触点１７４からの距離Ｐにおいて、仮想制御スティック制御部３０２を図示する。このような例では、検出されたジェスチャー１５８は、ユーザーの指とタッチ・スクリーン・センサー１６２の表面との間で接触点１７４において検出されたタッチに基づいて、識別部１４６（図１）によって識別される。これに応答して、通信モジュール１５０は、仮想制御スティック制御部３０２の距離Ｐおよび最大目盛りのふれＦの割合に基づいて、携帯用電子デバイス１００の動作を調節するために、メッセージをアプリケーション・プログラム１１０に送る。例えば、比例応答が線形比例であり、測定された距離Ｐが最大目盛りのふれＦの８０パーセントを表す場合、通信モジュール１５０は、動作パラメーターの８０パーセントだけ携帯用電子デバイス１００の出力を調節するために、メッセージをアプリケーション・プログラム１１０に送る。コンピューター・ゲーム・アプリケーション・プログラムのコンテキストでは、動作パラメーターは走行(travel)の速度とするとよいが、他の動作パラメーターも同様に調節できることは認められよう。例えば、接触点１７４に対する所定領域１７０内における仮想制御スティック制御部３０２の相対的位置が、方向動作パラメーターを与えることができる。具体的には、検出されたジェスチャー１５８によって記述された仮想制御スティック制御部３０２の経路に沿った動きを解釈し、ゲーム・キャラクタの走行経路、回転運動の方向（キャラクタまたは視点スイベル(point-of-view swivel)のような）等として出力することができる。更に、動作パラメーターおよびこれらと関連のある出力を比例させる方法のこれらの例は、開発者がアプリケーション・プログラム１１０について指定した１組の開発者指定制御パラメーター１４９（図１）の中で指定すればよいことも認められよう。このように、ジェスチャー・ベース制御モジュール１４０は、携帯用電子デバイス１００の動作を調節するために、メッセージをアプリケーション・プログラム１１０に送ることができる。
【００２９】
[0032]  先に説明した種々の実施形態において、ユーザーの指とタッチ・パッド・センサーとの間の接触が、例えば、所定の時間期間中に終了したことを接触点認識部が検出したとき、ジェスチャー・ベース制御モード・モジュール１４０は識別部１４６によってジェスチャーを識別するのを中止し、タッチを検出しようとし始めることが認められよう。新たな接触点１７４が検出されると、新たなジェスチャー制御部１７２がインスタンス化され、その結果、基準フレーム２１０が効果的に新たな接触点１７４の位置に素早く動く(snap)ことが認められよう。このように、ユーザーが所定領域１７０内部でタッチ・スクリーン・センサー１６２に接触することを選択したときはいつでも、ジェスチャー制御部がその位置に生成され、こうしてディスプレイ１６０上の種々の位置においてユーザー入力が可能になる。このような柔軟な入力により、ユーザーは、事実上ディスプレイ１６０を試験することなく、そして選択可能でないグラフィカル・ユーザー・インターフェース・エレメントを無意識に作動させることなく、携帯用電子デバイス１００を容易に制御することができる。
【００３０】
[0033]  図４は、タッチ・スクリーン・センサーを有する携帯用電子デバイスを制御する方法４００の一実施形態を図示するフローチャートを示す。方法４００は、図１から図３の携帯用電子デバイスを含む、タッチ・スクリーン・センサーを有する任意の適した携帯用電子デバイスによって実現することができる。
【００３１】
[0034]  方法４００は、４０２において、モード切換ユーザー入力に応答して、相対的ジェスチャー認識モードを開始させる。相対的ジェスチャー認識モードでは、グラフィカル・ユーザー・インターフェースの所定領域の中にある１つ以上のグラフィカル・ユーザー・インターフェース・エレメントは選択不可能とされる。モード切換ユーザー入力は、携帯用電子デバイスと関連付けられたクラッチ・キーを通じたユーザー入力、およびユーザーの指とタッチ・スクリーン・センサーの表面との間における接触を通じたユーザー入力とから成る１群から選択することができる。例の中には、４０２において相対的ジェスチャーを開始させることは、更に、グラフィカル・ユーザー・インターフェースの所定領域を位置付けることを含むことができる。この領域の中では、グラフィカル・ユーザー・インターフェース・エレメントは、グラフィカル・ユーザー・インターフェースとは独立して、選択不可能になる。言い換えると、一旦相対的ジェスチャー認識モードが作動させられると、タッチ・スクリーン・センサー上のどこにでも所定領域を位置付けることができ、タッチ・スクリーン・センサーの部分的領域(subregion)またはタッチ・スクリーン・センサー船体を含むことができる。
【００３２】
[0035]  更に、方法４００は、４０４において、相対的ジェスチャー認識モードではグラフィカル・ユーザー・インターフェース・エレメントが選択不可能となる所定領域において、ユーザーの指とタッチ・スクリーン・センサーの表面との間において、タッチ・スクリーン・センサー上の接触点を認識することを含む。次に、方法４００は、４０６において、相対的ジェスチャー認識モードではグラフィカル・ユーザー・インターフェース・エレメントが選択不可能となる所定領域において、接触点に近接する所定制御部外周を有するジェスチャー制御部を提示することを含む。
【００３３】
[0036]  尚、４０６においてジェスチャー制御部を提示することは、前述のような、トランスポート制御部を提示することを含むこともできることは認められよう。加えて、ジェスチャー制御部を提示することは、更に、所定領域内にある接触点に、トランスポート制御部のための基準フレームを素早く動かすことも含むことができる。更に、接触点に近接する所定制御部外周を有するジェスチャー制御部を提示することは、その接触点において仮想ゲーム制御部のための仮想制御スティック制御部を生成することを含むことができ、所定制御部外周は、所定制御部外周において、仮想制御スティック制御部の最大限のふれを有する。相対的ジェスチャー認識モードにあるデバイス、およびこのように提示されたジェスチャー制御部によって、タッチ・スクリーン・センサーの所定領域内部で、検出されたジェスチャーを受けて、識別することができる。
【００３４】
[0037]  更に、方法４００は、４０８において、タッチ・スクリーン・センサーを通じて、タッチ・スクリーン・センサー内部において、グラフィカル・ユーザー・インターフェース・エレメントが選択不可能となる所定領域においてジェスチャー制御部が受けた接触点から発したユーザータッチ入力に基づいて、検出されたジェスチャーを識別することを含む。一例では、検出されたジェスチャーを識別することは、更に、タッチ・スクリーン・センサーを通じて、グラフィカル・ユーザー・インターフェース・エレメントが選択不可能となる所定領域においてジェスチャー制御部が受けた検出ジェスチャーの、予め定められたジェスチャーのライブラリの中にある１組の１つ以上の予め定められたジェスチャーの内の１つに対応する定義との比較に少なくとも部分的に基づいて、検出されたジェスチャーを解釈することを含む。
【００３５】
[0038]  更に、方法４００は、４０８において、ジェスチャー・ベース制御モジュールが開発者指定制御パラメーターにアクセスすることを可能にすることも含むことができる。ジェスチャー制御部は、この開発者指定制御パラメーターにしたがって動作するように構成されている。一例では、開発者指定制御パラメーターは、音量パラメーター、再生速度パラメーター、再生方向パラメーター、制御部外周定めパラメーター、および  所定領域定めパラメーターから成る１群から選択することができる。このように、開発者は、例えば、ソフトウェア開発キットを通じて、個々のアプリケーション・プログラムに特異な制御パラメーターを携帯用電子デバイスに合わせて指定することができる。
【００３６】
[0039]  最後に、方法４００は、更に、４１０において、所定制御部外周上における所定の位置から、そのように識別された検出ジェスチャーまでの相対的距離に基づいて、または接触点から、そのように識別された検出ジェスチャーまでの相対的距離に基づいて、携帯用電子デバイスの動作を調節することを含む。一例では、携帯用電子デバイスの動作を調節することは、基準フレームに対するユーザーの指の実質的に水平な方向によって識別される検出ジェスチャーに応答して、メディア再生の時間的位置を調節することを含む。他の例では、デバイスの動作を調節することは、基準フレームに対するユーザーの指の実質的に垂直な方向によって識別された検出ジェスチャーに応答して、メディア再生の音量を調節することを含む。更に別の例では、デバイスの動作を調節することは、基準フレームに対するユーザーの指の実質的に水平な方向によって識別された検出ジェスチャーに応答して、メディア再生の一時停止状態を調節することを含む。
【００３７】
[0040]  加えて、携帯用電子デバイスの動作を調節することは、タッチ・スクリーン・センサーが受けたジェスチャーが、所定制御部外周の中で受けられた場合、仮想制御スティック制御部の最大目盛りのふれに対する仮想制御スティック制御部の測定されたふれに比例する応答を、仮想ゲーム制御部から出力することも含むことができる。そして、携帯用電子デバイスの動作を調節することは、更に、相対的ジェスチャーが所定制御部外周の外側で受けられた場合、仮想制御スティックの最大目盛りのふれと実質的に同じである応答を、仮想ゲーム制御部から出力することも含むことができる。
【００３８】
[0041]  前述の方法は、本明細書において説明したシステムと同様、ユーザーがデバイスを視覚的に試験しない状況において、そして選択不可能にされているグラフィカル・ユーザー・インターフェース・エレメントの無意識の選択をすることなく、携帯用電子デバイスのユーザー制御をし易くするために用いることができる。
【００３９】
[0042]  尚、図４に示した方法は、この方法を実行するために計算機によって実行可能な命令を含むコンピューター読み取り可能記憶媒体上に存在できることは認められよう。更に、本明細書において記載した計算機は、本明細書において記載したプログラムを実行するように構成されている任意の適した計算機であればよいことも認められよう。例えば、計算機は、メインフレーム・コンピューター、パーソナル・コンピューター、ラップトップ・コンピューター、携帯用データ・アシスタント（ＰＤＡ）、コンピューター対応ワイヤレス電話機、ネットワーク状計算機、または他の適した計算機であればよく、そしてインターネットのような、コンピューター・ネットワークを通じて互いに接続することができる。これらの計算機は、通例、プロセッサーと、関連のある揮発性メモリーおよび不揮発性メモリーとを含み、揮発性メモリーおよびプロセッサーの一部を用いて、不揮発性メモリーに格納されているプログラムを実行するように構成されている。本明細書において用いる場合、「プログラム」という用語は、本明細書において記載した１つ以上の計算機によって実行または利用することができるソフトウェアまたはハードウェア・コンポーネントを指し、実行可能なファイル、データ・ファイル、ライブラリー、ドライバ、スクリプト、データベース・レコード等の個々のものまたは集団を含むことを意味する。尚、プログラム命令が格納されているコンピューター読み取り可能媒体を供給することもでき、このプログラム命令を計算機によって実行すると、前述した方法をその計算機に実行させ、前述のシステムの動作を生じることは認められよう。
【００４０】
[0043]  尚、本発明の範囲は、添付した特許請求の範囲によって定められるのであって、それに先立つ説明によって定められるのではないので、本明細書における実施形態は、限定的ではなく例示的であることは言うまでもなく、したがって、特許請求の範囲の境界、あるいはそのような境界の均等物に該当する全ての変更は、特許請求の範囲によって包含されることを意図している。
【図１】
2012502393.tif 000003
【図２】
2012502393.tif 000004
【図３】
2012502393.tif 000005
【図４】
2012502393.tif 000006
【国際調査報告】
2012502393.tif 000007
2012502393.tif 000008