(57)【特許請求の範囲】
【請求項１】
ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力装置において、
前記表示画面には、それぞれ識別情報が付された少なくとも２つの領域が設定され、
図形、文字を含むジェスチャーについて、入力操作の際に前記表示画面において通過する前記領域の順路を、各領域の前記識別情報によって定義したジェスチャー順路規則を保存するジェスチャー順路規則保存部と、
前記表示画面へのジェスチャーの入力に伴い、前記ポインティングデバイスにより前記表示画面内の前記領域が順次指定されたときに、指定された各領域の前記識別情報を入力操作の順路情報として、一時的に保存する操作順路情報保存部と、
前記ジェスチャー順路規則と前記入力操作の順路情報とを比較して、一致する場合には、前記表示画面に描かれたジェスチャーが前記ジェスチャー順路規則で定義されているジェスチャーであることを判定する、ジェスチャー判定部とを備え、
前記ジェスチャー順路規則に対して、さらに入力操作ぶれで通過する領域の識別情報を追加し、
前記表示画面へのジェスチャーの入力の結果、前記操作順路情報保存部に保存された入力操作の順路情報に、前記入力操作ぶれで通過する領域の識別情報が含まれている場合には、前記ジェスチャー判定部は、当該入力操作ぶれ領域の識別情報を無視して、前記ジェスチャー順路規則と前記入力操作の順路情報とを比較することを特徴とするジェスチャー操作入力装置。
【請求項２】
前記ポインティングデバイスはタッチパネル又はマウスを含むことを特徴とする、請求項１に記載のジェスチャー操作入力装置。
【請求項３】
前記表示画面に設定された領域は３行３列のマトリックス上の領域を含むことを特徴とする、請求項１に記載のジェスチャー操作入力装置。
【請求項４】
前記ジェスチャー順路規則保存部に保存されるジェスチャー順路規則は、丸図形、クレッシェンド図形、デクレッシェンド図形、レ文字、逆レ文字、Ｚ文字、Ｎ文字、ｅ文字のジェスチャー順路規則を含むことを特徴とする、請求項１に記載のジェスチャー操作入力装置。
【請求項５】
前記ジェスチャー順路規則保存部に保存されるジェスチャー順路規則はインターネットを介して、登録、追加、変更されることを特徴とする、請求項１に記載のジェスチャー操作入力装置。
【請求項６】
ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力方法において、
前記表示画面には、それぞれ識別情報が付された少なくとも２つの領域を設定する工程と、
前記表示画面にジェスチャーの入力に伴い、前記ポインティングデバイスにより前記表示画面内の前記領域が順次指定されたときに、指定された各領域の前記識別情報を入力操作の順路情報として、一時的に保存する工程と、
図形、文字を含むジェスチャーについて、入力操作の際に前記表示画面において通過する前記領域の順路を、各領域の前記識別情報によって定義したジェスチャー順路規則と、前記入力操作の順路情報とを比較して、一致する場合には、前記表示画面に描かれたジェスチャーが前記ジェスチャー順路規則で定義されているジェスチャーであることを判定する工程と、
前記ジェスチャー順路規則に対して、さらに入力操作ぶれで通過する領域の識別情報を追加する工程と、
前記表示画面へのジェスチャーの入力の結果、前記操作順路情報保存部に保存された入力操作の順路情報に、前記入力操作ぶれで通過する領域の識別情報が含まれている場合には、当該入力操作ぶれ領域の識別情報を無視して、前記ジェスチャー順路規則と前記入力操作の順路情報とを比較する工程と、を備えことを特徴とするジェスチャー操作入力方法。
【請求項７】
ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力プログラムにおいて、
前記表示画面には、それぞれ識別情報が付された少なくとも２つの領域を設定する手順と、
前記表示画面にジェスチャーの入力に伴い、前記ポインティングデバイスにより前記表示画面内の前記領域が順次指定されたときに、指定された各領域の前記識別情報を入力操作の順路情報として、一時的に保存する手順と、
図形、文字を含むジェスチャーについて、入力操作の際に前記表示画面において通過する前記領域の順路を、各領域の前記識別情報によって定義したジェスチャー順路規則と、前記入力操作の順路情報とを比較して、一致する場合には、前記表示画面に描かれたジェスチャーが前記ジェスチャー順路規則で定義されているジェスチャーであることを判定する手順と、
前記ジェスチャー順路規則に対して、さらに入力操作ぶれで通過する領域の識別情報を追加する手順と、
前記表示画面へのジェスチャーの入力の結果、前記操作順路情報保存部に保存された入力操作の順路情報に、前記入力操作ぶれで通過する領域の識別情報が含まれている場合には、当該入力操作ぶれ領域の識別情報を無視して、前記ジェスチャー順路規則と前記入力操作の順路情報とを比較する手順と、を備えることを特徴とするジェスチャー操作入力プログラム。
【請求項８】
ポインティングデバイスを介して表示画面に情報の入力操作を行う携帯デバイスにおいて、
前記表示画面には、それぞれ識別情報が付された少なくとも２つの領域を設定し、
図形、文字を含むジェスチャーについて、入力操作の際に前記表示画面において通過する前記領域の順路を、各領域の前記識別情報によって定義したジェスチャー順路規則を保存するジェスチャー順路規則保存部と、
前記表示画面へのジェスチャーの入力に伴い、前記ポインティングデバイスにより前記表示画面内の前記領域が順次指定されたときに、指定された各領域の前記識別情報を入力操作の順路情報として、一時的に保存する操作順路情報保存部と、
前記ジェスチャー順路規則と前記入力操作の順路情報とを比較して、一致する場合には、前記表示画面に描かれたジェスチャーが前記ジェスチャー順路規則で定義されているジェスチャーであることを判定する、ジェスチャー判定部とを備え、
前記ジェスチャー順路規則に対して、さらに入力操作ぶれで通過する領域の識別情報を追加し、
前記表示画面へのジェスチャーの入力の結果、前記操作順路情報保存部に保存された入力操作の順路情報に、前記入力操作ぶれで通過する領域の識別情報が含まれている場合には、前記ジェスチャー判定部は、当該入力操作ぶれ領域の識別情報を無視して、前記ジェスチャー順路規則と前記入力操作の順路情報とを比較することを特徴とする携帯デバイス。
【請求項９】
ポインティングデバイスを介して表示画面に情報の入力操作を行う携帯デバイスにおいて、
前記表示画面には、それぞれ識別情報が付された少なくとも２つの領域を設定し、
図形、文字を含むジェスチャーについて、入力操作の際に前記表示画面において通過する前記領域の順路を、各領域の前記識別情報によって定義したジェスチャー順路規則を保存するジェスチャー順路規則保存部と、
前記表示画面へのジェスチャーの入力に伴い、前記ポインティングデバイスにより前記表示画面内の前記領域が順次指定されたときに、指定された各領域の前記識別情報を入力操作の順路情報として、一時的に保存する操作順路情報保存部と、
前記ジェスチャー順路規則と前記入力操作の順路情報とを比較して、一致する場合には、前記表示画面に描かれたジェスチャーが前記ジェスチャー順路規則で定義されているジェスチャーであることを判定する、ジェスチャー判定部とを備え、
前記表示画面に少なくとも２つのダイアログボックスを表示し、前記ダイアログボックスにそれぞれ特定の図形を対応させ、前記表示画面に当該特定の図形が描かれた場合に、当該図形が描かれたことを判定し、対応する前記ダイアログボックスの選択と認定することを特徴とする携帯デバイス。
【請求項１０】
前記表示画面に少なくとも２つのメニューアイコンを表示し、前記メニューアイコンにそれぞれ特定の図形を対応させ、前記表示画面に当該特定の図形が描かれた場合に、当該図形が描かれたことを判定し、対応する前記メニューアイコンの選択と認定することを特徴とする、請求項８に記載の携帯デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はポインティングデバイスを備えた携帯デバイスに関する。特に、本発明は、小型で入力操作を容易にするジェスチャー入力操作装置、方法、プログラム及び携帯デバイスに関する。
【背景技術】
【０００２】
昨今、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ：携帯情報端末）、携帯電話、携帯プレーヤを含む携帯デバイスでタッチパネルが採用されてきている。
図１９は関連する携帯デバイスとユーザのダイアログの概要を説明する図である。本図に示すように、この携帯デバイスでは、画面上の画像を削除する場合には、「画像を削除しますか？」の表示に対して、選択操作は画面上に表示されたボタン「はい」又は「いいえ」に触れることで行われている。
しかし、携帯デバイスの限られた画面サイズではボタン自体も大きく表示することができないため、小さい領域にタッチする必要があり操作ミスを起こしやすいという問題があった。さらに、ボタンの表示領域を大きくすると選択できる項目が少なくなってしまうという問題があった。
このような問題に対応するための、タッチパネルに関連する技術として以下のものがある。
例えば、特許文献１には、正確なタッチパネル操作が困難な場合であっても、ユーザの指示どおり正しく動作させることを目的とする車載情報端末が記載されている。具体的には、この目的を達成するため特許文献１にはタッチパネル操作のタッチ位置の変化を検出する技術が記載されている。この技術を用いた端末では、タッチ位置が変化しない場合はタッチパネル操作のタッチ位置における画面表示内容に対応する処理内容を実行する。一方、タッチ位置が変化した場合は、端末はその軌跡から操作ジェスチャーを認識し、その操作ジェスチャーに対応する処理内容を実行する。
また、例えば特許文献２には、カーナビゲーション装置のタッチパネルディスプレーにおけるコマンド入力方式が記載されている。このコマンド入力方式では、スクロールボタンやコマンドボタン等が地図等の上に重ねられて表示されても、下の地図等が隠されるというような弊害がない。これは線分や三角形のような複数の線画をコマンドに割当て、ユーザがコマンドを意味する線画をタッチパネルディスプレーに指で描くと、この線画が認識され、対応するコマンドが実行されるためである。
【特許文献１】特開２００７−１４５１０６号公報
【特許文献２】特開平１１−０８５３９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１では、タッチ位置の軌跡から操作ジェスチャーを認識するが、操作ジェスチャーの認識に文字認識、図形認識の従来技術を使用すると、処理量が膨大になるという問題がある。
また、上記特許文献２では、線画、三角形のような線画を認識するが、図形認識の関連技術を使用すると、やはり処理量が膨大になるという問題がある。
したがってこれらの技術は処理能力、記憶容量、電源容量などのリソースが限られた携帯デバイスにとっては負担が大きく、適用が難しい。
本発明は上記問題点に鑑みて、ポインティングデバイスを介して表示画面全体を使った操作で入力を容易にでき、且つ処理量の過度の増加を抑制し小型化に寄与できるジェスチャー入力操作装置、方法、プログラム及び携帯デバイスを提供することを目的とする。
【課題を解決するための手段】
【０００４】
前記問題点を解決するために、本発明のジェスチャー操作入力装置は、ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力装置であって、前記表示画面には、それぞれ識別情報が付された少なくとも２つの領域を設定し、図形、文字を含むジェスチャーについて、入力操作の際に前記表示画面において通過する前記領域の順路を、各領域の前記識別情報によって定義したジェスチャー順路規則を保存するジェスチャー順路規則保存部と、前記表示画面へのジェスチャーの入力に伴い、前記ポインティングデバイスにより前記表示画面内の前記領域が順次指定されたときに、指定された各領域の前記識別情報を入力操作の順路情報として、一時的に保存する操作順路情報保存部と、前記ジェスチャー順路規則と前記入力操作の順路情報とを比較して、一致する場合には、前記表示画面に描かれたジェスチャーが前記ジェスチャー順路規則で定義されているジェスチャーであることを判定する、ジェスチャー判定部とを備える。
さらに、本発明のジェスチャー操作入力方法は、ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力方法であって、前記表示画面には、それぞれ識別情報が付された少なくとも２つの領域を設定する工程と、前記表示画面にジェスチャーの入力に伴い、前記ポインティングデバイスにより前記表示画面内の前記領域が順次指定されたときに、指定された各領域の前記識別情報を入力操作の順路情報として、一時的に保存する工程と、図形、文字を含むジェスチャーについて、入力操作の際に前記表示画面において通過する前記領域の順路を、各領域の前記識別情報によって定義したジェスチャー順路規則と、前記入力操作の順路情報とを比較して、一致する場合には、前記表示画面に描かれたジェスチャーが前記ジェスチャー順路規則で定義されているジェスチャーであることを判定する工程とを備える。
さらに、本発明のジェスチャー操作入力プログラムは、ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力プログラムであって、前記表示画面には、それぞれ識別情報が付された少なくとも２つの領域を設定する手順と、前記表示画面にジェスチャーの入力に伴い、前記ポインティングデバイスにより前記表示画面内の前記領域が順次指定されたときに、指定された各領域の前記識別情報を入力操作の順路情報として、一時的に保存する手順と、図形、文字を含むジェスチャーについて、入力操作の際に前記表示画面において通過する前記領域の順路を、各領域の前記識別情報によって定義したジェスチャー順路規則と、前記入力操作の順路情報とを比較して、一致する場合には、前記表示画面に描かれたジェスチャーが前記ジェスチャー順路規則で定義されているジェスチャーであることを判定する手順とを備える。
さらに、本発明の携帯デバイスは、ポインティングデバイスを介して表示画面に情報の入力操作を行う携帯デバイスであって、前記表示画面には、それぞれ識別情報が付された少なくとも２つの領域を設定し、図形、文字を含むジェスチャーについて、入力操作の際に前記表示画面において通過する前記領域の順路を、各領域の前記識別情報によって定義したジェスチャー順路規則を保存するジェスチャー順路規則保存部と、前記表示画面へのジェスチャーの入力に伴い、前記ポインティングデバイスにより前記表示画面内の前記領域が順次指定されたときに、指定された各領域の前記識別情報を入力操作の順路情報として、一時的に保存する操作順路情報保存部と、前記ジェスチャー順路規則と前記入力操作の順路情報とを比較して、一致する場合には、前記表示画面に描かれたジェスチャーが前記ジェスチャー順路規則で定義されているジェスチャーであることを判定する、ジェスチャー判定部とを備える。
【発明の効果】
【０００５】
以上説明したように、本発明によれば、ポインティングデバイスを介して表示画面全体を使った操作で入力を容易にでき、且つ処理量の過度の増加を抑制し小型化に寄与できるジェスチャー入力操作装置、方法、プログラム及び携帯デバイスを提供することができる。
【図面の簡単な説明】
【０００６】
【図１】本発明の実施の形態に係るジェスチャー操作入力装置の概略構成を示すブロック図である。
【図２】図１における表示画面１０４の領域分割例を説明する図である。
【図３】表示画面１０４の画面を右上から真中に指でなぞるジェスチャーを判定する例を説明する図である。
【図４】図１におけるジェスチャー操作入力装置１００の一連の動作例を説明するフローチャートである。
【図５】ジェスチャー順路規則保存部１０３Ａに保存される「丸図形」のジェスチャー順路規則の具体的な例を示す図である。
【図６】ジェスチャー順路規則保存部１０３Ａに保存される「クレッシェンド図形」のジェスチャー順路規則の具体的な例を示す図である。
【図７】ジェスチャー順路規則保存部１０３Ａに保存される「デクレッシェンド図形」のジェスチャー順路規則の具体的な例を示す図である。
【図８】ジェスチャー順路規則保存部１０３Ａに保存される「レ文字及び逆レ文字」のジェスチャー順路規則の具体的な例を示す図である。
【図９】ジェスチャー順路規則保存部１０３Ａに保存される「Ｚ文字及びＮ文字」のジェスチャー順路規則の具体的な例を示す図である。
【図１０】ジェスチャー順路規則保存部１０３Ａに保存される「ｅ文字」のジェスチャー順路規則の具体的な例を示す図である。
【図１１】図５でジェスチャー順路規則保存部１０３Ａに保存したジェスチャー順路規則を視覚的に３行×３列のマトリックス状の領域に描画したジェスチャーを示す図である。
【図１２】図６でジェスチャー順路規則保存部１０３Ａに保存したジェスチャー順路規則を視覚的に３行×３列のマトリックス状の領域に描画したジェスチャーを示す図である。
【図１３】図７でジェスチャー順路規則保存部１０３Ａに保存したジェスチャー順路規則を視覚的に３行×３列のマトリックス状の領域に描画したジェスチャーを示す図である。
【図１４】図８でジェスチャー順路規則保存部１０３Ａに保存したジェスチャー順路規則を視覚的に３行×３列のマトリックス状の領域に描画したジェスチャーを示す図である。
【図１５】図９でジェスチャー順路規則保存部１０３Ａに保存したジェスチャー順路規則を視覚的に３行×３列のマトリックス状の領域に描画したジェスチャーを示す図である。
【図１６】図１０でジェスチャー順路規則保存部１０３Ａに保存したジェスチャー順路規則を視覚的に３行×３列のマトリックス状の領域に描画したジェスチャーを示す図である。
【図１７】ジェスチャー入力操作装置を携帯デバイスに適用し、ユーザと携帯デバイスのダイアログを行う例を示す図である。
【図１８】ジェスチャー入力操作装置を携帯デバイスに適用し、携帯デバイスでのユーザによるメニュー操作を行う例を示す図である。
【図１９】従来の携帯デバイスとユーザのダイアログの概要を説明する図である。
【図２０】本発明に係る第３の実施の形態を示すジェスチャー操作入力装置の概略構成を示すブロック図である。
【符号の説明】
【０００７】
［００５４］
１００…ジェスチャー操作入力装置
１０１…ポインティングデバイス
１０２…制御部
１０２Ａ…ジェスチャー判定部
１０２Ｂ…領域設定部
１０３…記憶部
１０３Ａ…ジェスチャー順路規則保存部
１０３Ｂ…操作順路情報保存部
１０４…表示画面
０１０１、０１２０、０１０３、…、０３０１、０３０２、０３０３…領域の行列番号
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態について図面を参照して説明する。
図１は本実施の形態に係るジェスチャー操作入力装置の概略構成を示すブロック図である。
本図に示すように、ジェスチャー操作入力装置１００はポインティングデバイス１０１、制御部１０２、記憶部１０３、並びに表示画面１０４で構成される。制御部１０２はジェスチャー判定部１０２Ａを有しており、記憶部１０３はジェスチャー順路規則保存部１０３Ａ及び操作順路情報保存部１０３Ｂを有している。
表示画面１０４は、それぞれ識別情報が付された少なくとも２つの領域が設定されている。ユーザはポインティングデバイス１０１を介して、表示画面１０４上に各種図形、文字を描くことによりジェスチャーを入力する。ジェスチャーの入力操作の際、前記ポインティングデバイスにより前記表示画面上を通過する前記領域が順次指定される。指定された各領域の前記識別情報は入力操作の順路情報として、操作順路情報保存部１０３Ｂに一時的に保存される。
一方、入力されるべき各種のジェスチャーについては予め、ジェスチャーが入力される際に前記表示画面上を通過する前記領域の順路を、各領域の前記識別情報で定義しておき、ジェスチャー順路規則として、ジェスチャー順路規則保存部１０３Ａに保存しておく。
ジェスチャー判定部１０２Ｂは、ポインティングデバイスから入力操作があったときに、入力操作の順路情報をジェスチャー順路規則と比較し、定義されたジェスチャー順路のいずれかに一致する場合は、そのジェスチャーが入力されたと判定する。
以上のような構成により、この実施の形態では、ポインティングデバイスを介して表示画面１０４全体を使った操作で入力を容易にでき、また入力されるジェスチャーの軌跡自体や図形そのものを認識するような場合に比べて、処理量を大幅に抑制できる。
次に本発明の他の実施の形態の具体的な構成とその動作の例を説明する。図１に示すジェスチャー操作入力装置は携帯デバイスに使用するものとし、ポインティングデバイス１０１はタッチパネルで構成される。制御部１０２はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：中央処理装置）で構成され、ジェスチャー判定部１０２Ａの動作はソフトウエアで実行される。記憶部１０３はＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ：ランダム・アクセス・メモリ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ：リード・オンリ・メモリ）で構成される。ジェスチャー判定部１０２Ａにより実行されるソフトウエアはＲＯＭに記憶され、また、ジェスチャー順路規則保存部１０３ＡもＲＯＭで構成される。さらに、表示画面１０４の領域分割の設定および各領域の識別情報に関してもＲＯＭに保存しておく。なお、上記のデータを保存するＲＯＭを書き換え可能ＲＯＭとし、必要に応じて設定し直せるようにしてもよい。一方、操作順路情報保存部１０３ＢはＲＡＭで構成される。また表示画面１０４はＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ：液晶ディスプレイ）で構成され、表示画面１０４にはポインティングデバイス１０１であるタッチパネルが設けられている。
図２は図１における表示画面１０４の領域分割例を説明する図である。本図に示すように、表示画面１０４は、一例として、３行×３列のマトリックス状の領域に分割され、各領域には識別情報として４桁の行列番号数字が、例えば、０１０１、０１０２、０１０３、…、０３０１、０３０２、０３０３のように、設定される。先ず、簡単な例でジェスチャー判定の概要を以下に説明する。
図３はタッチパネルが設けられた表示画面１０４の画面を、右上から真中に指でなぞるジェスチャーを判定する例を説明する図である。一例として、表示画面１０４上を指でなぞるジェスチャーが右上の領域０３０１、真中の領域０２０２を通るジェスチャーと判定する場合について説明する。
このジェスチャーに対応する一番単純なジェスチャー順路規則として、ジェスチャー順路規則保存部１０３Ａには、行列番号０３０１、０２０２が予め保存される。ただし、タッチパネルでのユーザの入力操作は多少ぶれがあるため、指が領域０３０１と０２０２の間を通るときに隣接する領域０２０１や０３０２を通ることも十分考えられる。例えば、図３では領域０２０１を通っている。そのため、このジェスチャーに対応するジェスチャー順路規則としてはさらに０２０１や０３０２が追加され、（０３０１、ｘ０３０２、ｘ０２０１、０２０２）という形でジェスチャー順路規則保存部１０３Ａに保存される。ここで、「ｘ」で始まる行列番号ｘ０３０２、ｘ０２０１は、領域０３０１及び０２０２を通過する間に隣接する領域０３０２又は０２０１を通ってもよいということを判定するための、ジェスチャーの入力操作ぶれに起因する脇道順路の行列番号である。
ユーザの指が表示画面１０４上をなぞると、ポインティングデバイス１０１であるタッチパネルが指の触れた領域を指定する。指定された領域の行列番号の順路は操作順路情報保存部１０３Ｂに記憶される。ユーザが領域０３０１と０２０２を通るジェスチャーを多少のぶれを伴いつつ入力する場合に、操作順路情報保存部１０３Ｂに記憶されうる領域の行列番号の順路の代表的ないくつかの例を以下に示す。
例１：０３０１、０２０２                      …一致の判定
例２：０３０１、０３０２、０２０２            …一致の判定
例３：０３０１、０２０１、０２０２            …一致の判定
例４：０３０１、０２０１、０３０２、０２０２  …一致の判定
例５：０３０１、０３０２、０２０１、０２０２  …一致の判定
例６：０３０１、０２０２、０１０２            …不一致の判定
例７：０３０１、０２０２、０２０３            …不一致の判定
例８：０３０１、０２０２、０１０３            …不一致の判定
例９：０２０２、０３０１                      …不一致の判定
例１０：０２０１、０２０２                    …不一致の判定
例１１：０３０２、０２０２                    …不一致の判定
例１２：０３０１、０２０２、０２０１          …不一致の判定
例１３：０３０１、０２０２、０３０２          …不一致の判定
例１４：０２０１、０３０１、０２０２          …不一致の判定
例１５：０３０２、０３０１、０２０２          …不一致の判定
例１６：０３０１、０３０２、０２０２、０２０１…不一致の判定
例１７：０３０１、０２０１、０２０２、０３０２…不一致の判定
操作順路情報保存部１０３Ｂでは、領域０３０１と０２０２を通るジェスチャーに対して上記例のいずれかの順路が発生し、操作順路情報として保存されることになる。
制御部１０２のジェスチャー判定部１０２Ａは、ジェスチャー順路規則保存部１０３Ａに保存されているジェスチャー順路規則（０３０１、ｘ０３０２、ｘ０２０１、０２０２）と操作順路情報保存部１０３Ｂに保存された操作順路情報を比較する。両者を比較する際には、「ｘ」のある行列番号ｘ０３０２、ｘ０２０１と一致する操作順路情報の番号については、脇道順路として設定される。ジェスチャー判定部１０２Ａは、この脇道順路の操作順路情報の行列番号を含めて、行列番号０３０１、０２０２のジェスチャー順路規則の行列番号を比較して、一致、不一致の判定を行う。ジェスチャー判定部１０２Ａはその判定結果を用いて操作順路情報保存部１０３Ｂに保存された操作順路情報がジェスチャーに該当するか否かを判定する。
上記例１−１７に対して、ジェスチャー判定部１０２Ａでは、上記例１−５は一致の判定を行い、ジェスチャー順路規則保存部１０３Ａが保存するジェスチャーに該当すると判定する。一方、ジェスチャー判定部１０２Ａでは、上記例６−１７は不一致の判定を行い、ジェスチャー順路規則保存部１０３Ａが保存するジェスチャーに該当しないと判定する。
ここで、上記例１１−１７でも、ジェスチャー順路規則保存部１０３Ａに保存されたジェスチャー順路規則では「ｘ」のある行列番号があるが、「ｘ」のある行列番号が「ｘ」のない行列番号の間にないので、脇道順路としないことにする。このため、これらの順路は不一致と判断される。
同様に、上記例１０では、０２０１はジェスチャー順路規則保存部１０３Ａに保存されたジェスチャー順路規則では「ｘ」のある行列番号があるが、「ｘ」のない行列番号の間にないので、脇道順路としないことにする。このため、やはり不一致と判断される。
このように入力操作のぶれは許容し、一方で、ぶれとは無関係な許容は排除する。
図４は図１におけるジェスチャー操作入力装置１００の一連の動作例を説明するフローチャートである。
本図に示すように、ステップＳ２０１において、マトリックス設定部１０２Ａによりマトリックス上の領域に設定されている表示画面１０４上に指がタッチしたとする。
ステップＳ２０２において、制御部１０２は、表示画面１０４上にタッチされた領域をポインティングデバイス１０１のタッチパネルで指定し、指定された領域の行列番号を操作順路情報保存部１０３Ｂに保存させる。
ステップＳ２０３において、制御部１０２は、ポインティングデバイス１０１のタッチパネルで指定された領域の行列番号の変化により指が別の領域に移動したかを判断する。別の領域に移動していなければステップＳ２０５に進む。
ステップＳ２０４において、制御部１０２は、別の領域に移動している場合にはタッチされている領域の行列番号の順路を操作順路情報保存部１０３Ｂに保存する。
ステップＳ２０５において、制御部１０２は表示画面１０４上からタッチした指を離したかを判断する。離していない場合にはステップＳ２０３に戻る。
ステップＳ２０６において、ジェスチャー判定部１０２Ｂは、操作順路情報保存部１０３Ｂに保存された領域の行列番号の順路とジェスチャー順路規則保存部１０３Ａに保存されたジェスチャー順路規則とを比較する。
ステップＳ２０７において、ジェスチャー判定部１０２Ｂは、上記比較で、ジェスチャー順路規則保存部１０３Ａに一致するジェスチャー順路規則がない場合には、操作順路情報保存部１０３Ｂに保存された領域の行列番号の順路はジェスチャーでないと判定し、ステップＳ２０９に進む。
ステップＳ２０８において、ジェスチャー判定部１０２Ｂは、上記比較で、ジェスチャー順路規則保存部１０３Ａに一致するジェスチャー順路規則がある場合には、操作順路情報保存部１０３Ｂに保存された領域の行列番号の順路はジェスチャーとして判定し、所定のジェスチャー入力処理として扱い、処理を終了する。
ステップＳ２０９において、指定されたタッチを通常のタッチ操作又はドラッグ操作として扱い、処理を終了する。
次に、ジェスチャー順路規則保存部１０３Ａに保存されるジェスチャー順路規則の具体的な例によって、本発明の実施の形態を説明する。
先ず、表示画面１０４上にはジェスチャー判定部１０２Ａにより図２に示す３行×３列のマトリックス状の領域が設定され、それぞれの領域に行列番号が設定されているとする。
ジェスチャー順路規則保存部１０３Ａには、図５〜１０に示すように「丸図形」、「クレッシェンド図形」、「デクレッシェンド図形」、「レ文字」、「逆レ文字」、「Ｚ文字」、「Ｎ文字」、「ｅ文字」について、それぞれジェスチャー順路規則の各種バリエーションが保存される。
１つのジェスチャーに対して順路規則の各種バリエーションを設定するのは、ユーザが指で表示画面１０４上にジェスチャーを描画する毎に全く同じ形のジェスチャーをなぞることは困難であり、少しずつ異なる形のジェスチャーとなりうるためである。
図１１〜１６は図５〜１０でジェスチャー順路規則保存部１０３Ａに保存したジェスチャー順路規則を、それぞれ視覚的に３行×３列のマトリックス状の領域に描画したジェスチャーとして示す図である。
以下に、図５〜１０に示すジェスチャー順路規則が保存されたジェスチャー順路規則保存部１０３Ａを有するジェスチャー操作入力装置１００を備えた携帯デバイスの実施の形態について説明する。
図１７は、ジェスチャー入力操作装置を携帯デバイスに適用し、ユーザと携帯デバイスのダイアログを行う例を示す図である。ここでは、画像の削除に対して携帯デバイスの表示画面１０４上でユーザと携帯デバイスの間で確認のダイアログを行う例を示している。携帯デバイスは、「画像Ｉｍｇ．００１ｇｉｆ削除しますか？」に対してユーザに「はい」、「いいえ」の応答を求める際に、「はい」に対しては「丸図形」のジェスチャーの操作入力を求め、「いいえ」に対しては「レ文字」のジェスチャーの操作入力を求める。ユーザは、「はい」の選択に対して「丸図形」のジェスチャーを描き、「いいえ」の選択に対して「レ文字」のジェスチャーを描く。ジェスチャーの操作入力後には図４のフローチャートに従い、ジェスチャーの判定を行う。
このようにして、選択アイコンにジェスチャーを示す図をデザインすると従来のキー操作での選択とタッチでの操作を両立することも可能で、ユーザにもわかりやすいデザインとなる。また、既存のレイアウトを大きく変更することなくタッチパネルを採用できるため、ソフト開発費を抑えることができる。
図１８はジェスチャー入力操作装置が適用された携帯デバイスでのユーザによるメニュー操作を行う例を示す図である。本図に示すように、メニューの選択に対して携帯デバイスの表示画面１０４上に、ジェスチャーの操作入力を求めるための複数のメニュー、例えばメール、電話帳、ブラウザ、テレビ、Ｊａｖａ（登録商標）、カメラが表示される。例えばメール機能の起動は「Ｎ文字」、電話帳機能の起動は「逆レ文字」、ブラウザ機能の起動は「ｅ文字」、テレビ機能の起動は「デクレッシェンド図形」、Ｊａｖａ（登録商標）機能の起動は「丸図形」、カメラ機能の起動は「Ｚ文字」が、それぞれ描かれる。ジェスチャーの操作入力後には図４のフローチャートに従い、ジェスチャーの判定が行われる。
このようにして、メニューアイコンにジェスチャーを示す図をデザインすると従来のキー操作での選択とタッチでの操作を両立することも可能である。ユーザにもわかりやすいデザインとなる。また、既存のレイアウトを大きく変更することなくタッチパネルを採用できるため、ソフト開発費を抑えることができる。
したがってこの実施の形態では、表示画面１０４上のタッチパネル全体を使って操作できるため、タッチパネル面積を大きくとることができ、携帯デバイス等でも、細かい操作を要求されず、小さなボタンを苦労して選択しなくても済むようになるという効果がある。
さらに、ポインティングデバイス１０１操作中の処理内容（図４のステップＳ２０３、２０４）が非常に単純であるため、ＣＰＵ資源が限られる携帯デバイス等でもすばやい操作レスポンスが可能になるという効果がある。
さらに、ジェスチャー順路規則保存部１０３Ａに要求されるメモリ量は非常に小さく、表示画面１０４上を２回回るジェスチャー操作でも１００バイト程度に収めることが可能である。したがってジェスチャー順路規則保存部１０３Ａが１００種類のジェスチャー順路規則を持ったとしても、１０ｋバイト程度のデータに収まる計算であり、ＲＯＭ、ＲＡＭ容量が制限される携帯デバイスでも有効になるという効果がある。
さらにこの実施の形態は、タッチパネル全体を使った大雑把な操作で済むため、タッチペンなど精細な操作をするための外部部品が不要であり、タッチペン自体や、その保存領域が省略可能になりサイズ、コストの両方を縮小することができるという効果がある。
さらにこの実施の形態は、ジェスチャーが描ければよいので、表示画面１０４上に選択のためのボタン、リストを表示する必要がなくなり、ボタン自体の描画を省略して他の表示に利用することが可能となる。例えば、一般的な端末デバイスではマルチタスクの起動等はいったん起動メニューなどを表示し、機能を選択して起動するのが一般的である。しかしジェスチャー操作ならば、例えば、「Ｎ文字」のジェスチャーでメール機能を起動する場合に、別の機能を操作中に「Ｎ文字」のジェスチャーを表示画面１０４に描くことで直接にメール機能を起動することが可能である。マルチタスク、機能連携をサポートする携帯デバイスでは、現在開いているデータや、機能の内容がジェスチャー操作によって起動された機能に引き継がれてもよい。例えば、「Ｎ文字」のジェスチャーでメール機能が起動されている場合に、「逆レ文字」のジェスチャーで電話帳機能を起動し、メールの宛先欄に予め操作していた電話帳の相手を指定することで、よりスムーズなユーザインタフェースが実現可能となる。
また、タッチ操作、ドラッグ操作が可能な画面で、ジェスチャー機能も同時に有効とすることも可能である。
また、ジェスチャー順路規則保存部１０３Ａへの保存内容を変更するだけでジェスチャーを追加、削除、変更することも可能である。
なお、以上の実施の形態では、ポインティングデバイス１０１としてタッチパネルを例に挙げたが、「選択したまま移動」いわゆるドラッグ操作が可能であるほかのポイントデバイスとしてマウスでも実施可能である。すなわち、マウスによるクリックし始めから離すところまでをジェスチャーと判定可能であるためである。
また、ジェスチャー順路規則保存部１０３Ａに保存しておくジェスチャー順路規則のデータはインターネット上などからダウンロードし、登録、追加、変更できるようにしてもよい。ジェスチャー順路規則保存部１０３Ａに保存されている内容は１ジェスチャーに対して１００バイト程度の非常に単純な構造を持つデータのため登録、追加、変更は容易である。
また、ジェスチャー操作入力装置１００から表示画面１０４を省略し、ジェスチャー判定部１０２Ａを有する制御部１０２から端末側にジェスチャー操作を信号として送信するデバイスとしてジェスチャー操作入力装置１００をパッケージ化することができる。このパッケージは、ジェスチャー操作判定をサポートした単体のタッチデバイスとして販売可能である。
また、図２では表示画面１０４上を３行３列のマトリックス上の領域に分割して説明した。画面の領域分割設定に関しては、領域数が少なすぎると入力可能な図形パターンが限られ、逆に多すぎると考慮すべきバリエーションや脇道順路が増え、ハードウェア資源として効率的でなくなる。３行３列のマトリックスは、２行２列のマトリックスに比べ格段に多様な図形およびそのバリエーションに対応することができ、かつ上述したレベルの単純な二次元図形を描く分には十分な領域設定パターンといえる。
しかしながら、領域の分割数にはもちろん制限は特にあるわけではなく、用途に応じて２行２列、４行４列、１０行１０列でもよい。なお、行と列の分割数も必ずしも同一である必要はなく、例えば３行３列ではなく、３行２列としてもよい。また図２では、表示画面１０４上に３行３列のマトリックス上の領域分割線を表示しているが、分割線を表示する必要はなく、タッチパネルが領域ごとに物理的に分かれている必要もない。
〔第３の実施の形態〕
図２０は本発明の第３の実施の形態を示すジェスチャー操作入力装置の概略構成を示すブロック図である。本図に示すように、ジェスチャー操作入力装置１００はポインティングデバイス１０１、ジェスチャー判定部１０２Ａ及び領域設定部１０２Ｂを有する制御部１０２、ジェスチャー順路規則保存部１０３Ａ及び操作順路情報保存部１０３Ｂを有する記憶部１０３、並びに表示画面１０４で構成され、携帯デバイスに使用される。
〔第４の実施の形態〕
ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力装置において、前記表示画面に複数の領域を設定し、各領域に番号を付ける領域設定部と、図形、文字を含むジェスチャーに対して前記表示画面に領域を予め決められた順路で通過する領域の番号で形成されるジェスチャー順路規則を保存するジェスチャー順路規則保存部と、前記表示画面にジェスチャーが描かれて、前記ポインティングデバイスにより前記表示画面に設定された領域が複数指定された場合、指定された領域の番号を入力操作の順路情報として一時的に保存する操作順路情報保存部と、前記操作順路情報保存部に保存されたジェスチャー順路規則と前記操作順路情報保存部に保存された入力操作の順路情報とを比較して一致する場合には入力操作の順路情報は前記表示画面に描かれたジェスチャーとして判定するジェスチャー判定部とを備える。
〔第５の実施の形態〕
前記ジェスチャー順路規則保存部に保存されるジェスチャー順路規則に対して通過する領域と通過する領域の間に入力操作ぶれで通過する隣接の領域がある場合には通過する領域と通過する領域の番号の間に入力操作ぶれ領域の番号をジェスチャー順路規則に保存し、前記ジェスチャー判定部は、前記操作順路情報保存部に保存される入力操作の順路情報が前記操作順路情報保存部に保存されるジェスチャー順路規則の入力操作ぶれ領域の番号と一致する場合には一致する入力操作の順路情報の領域の番号を無視し、無視した番号を除いた入力操作の順路情報の領域の番号と、無視した入力操作ぶれ領域の番号を除いたジェスチャー順路規則の領域の番号を比較する。
〔第６の実施の形態〕
前記ポインティングデバイスはタッチパネル又はマウスを含む。
〔第７の実施の形態〕
前記領域設定部が設定する領域は３行３列のマトリックス上の領域を含む。
〔第８の実施の形態〕
前記ジェスチャー順路規則保存部に保存されるジェスチャー順路規則は、丸図形、クレッシェンド図形、デクレッシェンド図形、レ文字、逆レ文字、Ｚ文字、Ｎ文字、ｅ文字のジェスチャー順路規則を含む。
〔第９の実施の形態〕
前記ジェスチャー順路規則保存部に保存されるジェスチャー順路規則はインターネットを介して、登録、追加、変更される。
〔第１０の実施の形態〕
ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力方法において、前記表示画面に複数の領域を設定し、各領域に番号を付ける工程と、前記表示画面にジェスチャーが描かれて、前記ポインティングデバイスにより前記表示画面に設定された領域が複数指定された場合、指定された領域の番号を入力操作の順路情報として一時的に保存する工程と、図形、文字を含むジェスチャーに対して前記表示画面に領域を予め決められた順路で通過する領域の番号で保存されたジェスチャー順路規則と保存された入力操作の順路情報とを比較して一致する場合には入力操作の順路情報は前記表示画面に描かれたジェスチャーとして判定する工程とを備える。
〔第１１の実施の形態〕
ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力プログラムにおいて、前記表示画面に複数の領域を設定し、各領域に番号を付ける手順と、前記表示画面にジェスチャーが描かれて、前記ポインティングデバイスにより前記表示画面に設定された領域が複数指定された場合、指定された領域の番号を入力操作の順路情報として一時的に保存する手順と、図形、文字を含むジェスチャーに対して前記表示画面に領域を予め決められた順路で通過する領域の番号で保存されたジェスチャー順路規則と保存された入力操作の順路情報とを比較して一致する場合には入力操作の順路情報は前記表示画面に描かれたジェスチャーとして判定する手順とを備える。
〔第１２の実施の形態〕
ポインティングデバイスを介して表示画面に情報の入力操作を行う携帯デバイスにおいて、前記表示画面に複数の領域を設定し、各領域に番号を付ける領域設定部と、図形、文字を含むジェスチャーに対して前記表示画面に領域を予め決められた順路で通過する領域の番号で形成されるジェスチャー順路規則を保存するジェスチャー順路規則保存部と、前記表示画面にジェスチャーが描かれて、前記ポインティングデバイスにより前記表示画面に設定された領域が複数指定された場合、指定された領域の番号を入力操作の順路情報として一時的に保存する操作順路情報保存部と、前記操作順路情報保存部に保存されたジェスチャー順路規則と前記操作順路情報保存部に保存された入力操作の順路情報とを比較して一致する場合には入力操作の順路情報は前記表示画面に描かれたジェスチャーとして判定するジェスチャー判定部とを備える。
〔第１３の実施の形態〕
前記表示画面に「はい」又は「いいえ」の確認のダイアログが表示され、前記表示画面に丸図形が描かれた場合描かれた丸図形を判定し「はい」の確認とし、レ文字が描かれた場合描かれたレ文字を判定し「いいえ」の確認とする。
〔第１４の実施の形態〕
前記表示画面に「メール」、「電話帳」、「ブラウザ」、「ワンセグ」、「Ｊａｖａ（登録商標）］、「カメラ」を含むメニューが表示され、前記表示画面にＮ文字が描かれた場合描かれたＮ文字を判定しメール機能の起動と確認し、前記表示画面に逆レ文字が描かれた場合描かれた逆レ文字を判定し電話帳機能の起動と確認し、前記表示画面にｅ文字が描かれた場合描かれたｅ文字を判定しブラウザ機能の起動と確認し、前記表示画面にデクレッシェンド図形が描かれた場合描かれたデクレッシェンド図形を判定しワンセグ機能の起動と確認し、前記表示画面に丸図形が描かれた場合描かれた丸図形を判定しＪａｖａ（登録商標）機能の起動と確認し、さらに、前記表示画面にＺ図形が描かれた場合描かれたＺ図形を判定しカメラ機能の起動と確認する。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施形態及び実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
なお、この出願は、２００８年９月３日に出願された日本出願特願２００８−２２６４９２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０００９】
以上、携帯デバイスへの適用について説明したが、携帯デバイスとして携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ：携帯情報端末）、ＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙ−ｐｈｏｎｅ  Ｓｙｓｔｅｍ：簡易型携帯電話機）、ＤＥＣＴ（Ｄｉｇｉｔａｌ  Ｅｎｈａｎｃｅｄ  Ｃｏｒｄｌｅｓｓ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ：デジタルコードレス電話）、携帯型オーディオプレーヤー、携帯型ビデオプレーヤー、携帯型ゲーム機、電子辞書等への本発明の利用も可能である。
【図１】
0005494483.tif 000002
【図２】
0005494483.tif 000003
【図３】
0005494483.tif 000004
【図４】
0005494483.tif 000005
【図５】
0005494483.tif 000006
【図６】
0005494483.tif 000007
【図７】
0005494483.tif 000008
【図８】
0005494483.tif 000009
【図９】
0005494483.tif 000010
【図１０】
0005494483.tif 000011
【図１１】
0005494483.tif 000012
【図１２】
0005494483.tif 000013
【図１３】
0005494483.tif 000014
【図１４】
0005494483.tif 000015
【図１５】
0005494483.tif 000016
【図１６】
0005494483.tif 000017
【図１７】
0005494483.tif 000018
【図１８】
0005494483.tif 000019
【図１９】
0005494483.tif 000020
【図２０】
0005494483.tif 000021