(57)【要約】【課題】ストローク及びジェスチャにおいて誤認識せず、単純な操作で連続するジェスチャ入力を可能とし、利便性を向上させること。【解決手段】ペンデバイスにより指示された位置座標を入力するタブレット機能付ディスプレイと、ジェスチャを受け付けるジェスチャ入力モードの設定及び解除を、タブレット機能付ディスプレイ上の表示領域をペンデバイスが接触していた時間に基づいて切り替えるモード切替手段と、ジェスチャ入力モードが設定されていた場合にタブレット機能付ディスプレイ上に描かれた軌跡によるジェスチャに対応した処理を実行するジェスチャ処理部とを備えたこと。【選択図】        図１
2006099468.tif 000002
【特許請求の範囲】
【請求項１】
座標入力面から位置座標を入力する入力手段と、
前記入力手段により入力された連続する複数の前記位置座標による特定の軌跡に対応して実行する処理を示すジェスチャを受け付けるジェスチャ入力モードの設定及び解除を、前記入力手段から前記座標入力面上の任意の領域の前記位置座標が入力された入力タイミングに基づいて切り替えるモード切替手段と、
前記モード切替手段による切り替えにより、前記ジェスチャ入力モードが設定された場合、前記入力手段により入力された前記軌跡による前記ジェスチャに対応した処理を実行するジェスチャ処理手段と、
を備えたことを特徴とするジェスチャ入力装置。
【請求項２】
前記モード切替手段は、前記入力タイミングとして入力された時間が、予め定められた時間以上である場合に前記ジェスチャ入力モードの設定及び解除を切り替えること
を特徴とする請求項１に記載のジェスチャ入力装置。
【請求項３】
前記モード切替手段は、前記ジェスチャ入力モードが設定されていた場合、前記入力タイミングに基づいて前記ジェスチャ入力モードを解除に切り替え、前記ジェスチャ入力モードを解除されていた場合、前記入力タイミングに基づいて前記ジェスチャ入力モードを設定に切り替え、
前記モード切替手段による切り替えにより、前記ジェスチャ入力モードが解除された場合、前記入力手段により入力された前記軌跡の形状を表示する処理を行うストローク処理手段と、
をさらに備えたことを特徴とする請求項１または請求項２に記載のジェスチャ入力装置。
【請求項４】
前記座標入力面上の予め定められた検知領域と、該検知領域内で入力可能なジェスチャを示すジェスチャ情報と、を対応付けた領域ジェスチャ対応情報を記憶する領域ジェスチャ対応記憶手段と、
前記領域ジェスチャ対応記憶手段が記憶する前記領域ジェスチャ対応情報から、前記入力手段から入力された前記座標入力面上の前記位置座標を含む前記検知領域と対応付けられた前記ジェスチャ情報を取得する取得手段と、
前記取得手段により取得した前記ジェスチャ情報を表示するジェスチャ表示手段と、
をさらに備えたことを特徴とする請求項１乃至請求項３のいずれか１つに記載のジェスチャ入力装置。
【請求項５】
前記ジェスチャ情報と、前記ジェスチャ情報が示す前記ジェスチャが入力された頻度情報と、を対応付けたジェスチャ頻度対応情報を記憶するジェスチャ頻度対応記憶手段と、
前記取得手段は、前記領域ジェスチャ対応情報から、前記入力手段から入力された前記座標入力面上の前記位置座標を含む前記検知領域から、前記領域ジェスチャ対応情報で対応付けられた前記ジェスチャ情報を取得し、前記ジェスチャ頻度対応情報より取得した前記ジェスチャ情報と対応付けられた前記頻度情報に基づいて、前記ジェスチャ情報を取得すること
を特徴とする請求項４に記載のジェスチャ入力装置。
【請求項６】
前記取得手段は、前記領域ジェスチャ対応情報から、前記入力手段から入力された前記座標入力面上の前記位置座標を含む前記検知領域において、前記領域ジェスチャ対応情報で対応付けられた前記ジェスチャ情報を取得し、前記ジェスチャ頻度対応情報より、取得した前記ジェスチャ情報と対応付けられた前記頻度情報が最も高いものから順に予め定められた数の前記ジェスチャ情報を取得することを特徴とする請求項５に記載のジェスチャ入力装置。
【請求項７】
前記ジェスチャ表示手段は、前記取得手段により取得した前記ジェスチャ情報をポップアップ形式で表示することを特徴とする請求項４乃至請求項６のいずれか１つに記載のジェスチャ入力装置。
【請求項８】
前記ジェスチャ処理手段は、前記ジェスチャ入力モードが設定されていた場合、前記入力手段により入力された前記軌跡、及び前記軌跡の占める領域が前記座標入力面上の予め定められた領域より大きいか否かにより定められる前記ジェスチャに対応した処理を行うこと
を特徴とする請求項１乃至請求項７のいずれか１つに記載のジェスチャ入力装置。
【請求項９】
前記ジェスチャ処理手段は、前記入力手段により入力された前記軌跡が占める領域の面積を算出する領域算出手段を、さらに備え、前記ジェスチャ入力モードが設定されていた場合、前記入力手段により入力された前記軌跡且つ前記軌跡の占める領域が前記座標入力面上の予め定められた領域より大きいか否かにより定められるジェスチャ、及び前記領域算出手段により算出された面積と前記座標入力面上の予め定められた領域の面積との比率に基づいた処理を行うこと
を特徴とする請求項８に記載のジェスチャ入力装置。
【請求項１０】
前記ジェスチャ処理手段により行われた処理の結果を表示する表示手段と、
をさらに備えたことを特徴とする請求項１乃至請求項９に記載のジェスチャ入力装置。
【請求項１１】
座標入力面から位置座標を入力する入力ステップと、
前記入力ステップにより入力された連続する複数の前記位置座標による特定の軌跡に対応して実行する処理を示すジェスチャを受け付けるジェスチャ入力モードの設定及び解除を、前記入力ステップから前記座標入力面上の任意の領域の前記位置座標が入力された入力タイミングに基づいて切り替えるモード切替ステップと、
前記モード切替ステップによる切り替えにより、前記ジェスチャ入力モードが設定された場合、前記入力ステップにより入力された前記軌跡による前記ジェスチャに対応した処理を実行するジェスチャ処理ステップと、
を備えたことを特徴とするジェスチャ入力方法。
【請求項１２】
座標入力面から位置座標を入力する入力手順と、
前記入力手順により入力された連続する複数の前記位置座標による特定の軌跡に対応して実行する処理を示すジェスチャを受け付けるジェスチャ入力モードの設定及び解除を、前記入力手順から前記座標入力面上の任意の領域の前記位置座標が入力された入力タイミングに基づいて切り替えるモード切替手順と、
前記モード切替手順による切り替えにより、前記ジェスチャ入力モードが設定された場合、前記入力手順により入力された前記軌跡による前記ジェスチャに対応した処理を実行するジェスチャ処理手順と、
をコンピュータに実行させるジェスチャ入力プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、座標入力面に対してジェスチャ入力を行うジェスチャ入力装置、ジェスチャ入力方法及びジェスチャ入力プログラムに関し、さらにジェスチャ入力を行うか否かを切り替える技術に関するものである。
【背景技術】
【０００２】
従来から、手書き認識技術の進歩によりタブレット型ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）等の様々な機器にはペン入力インターフェースが組み込まれている。ペン入力インターフェースは、キーボードを使い慣れていない利用者について利便性を向上させ、またキーボードやマウスが組み込めない機器の入力デバイスとして利用可能である。特にペン入力インターフェースを用いたジェスチャ認識は、簡単な操作で様々なコマンドを入力することが可能である。しかし、ジェスチャ認識においては、ジェスチャ入力と、文字を書くなどのストローク入力等の他のペン入力との違いを判定することが困難であった。
【０００３】
そこで、入力したストロークがジェスチャであるか否か判別する技術が提案されている（例えば、特許文献１参照）。また、ジェスチャ入力に切り替える切替ボタンを備え、切替ボタンを押下した状態で、ペンがタブレットに接触し、そのままペンをタブレットから離さずに、ペンが一定時間内にドラッグされるとジェスチャ入力であると判定する技術が提案されている（例えば、特許文献２参照）。
【０００４】
【特許文献１】特開２００３−３０８４８２号公報
【特許文献２】特開２００１−１１７６８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載された技術では、入力されたストロークからジェスチャであるか否か判断するため、入力したストロークがジェスチャと同じあるいは類似の場合はストロークをジェスチャと判断される可能性があり、誤認識してしまうという問題がある。
【０００６】
また、上記特許文献２に記載された技術では、ペン操作のみでジェスチャ入力と他のペン入力を切り替えることができず、またジェスチャ入力をするたびにボタンを押下する必要があり、連続してジェスチャ入力する場合には操作が煩雑になるという問題がある。
【０００７】
本発明は、上記に鑑みてなされたものであって、ストローク及びジェスチャにおいて誤認識せず、かつ連続するジェスチャ入力を可能として、利便性が向上したジェスチャ入力装置、ジェスチャ入力方法及びジェスチャ入力プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明は、座標入力面から位置座標を入力する入力手段と、前記入力手段により入力された連続する複数の前記位置座標による特定の軌跡に対応して実行する処理を示すジェスチャを受け付けるジェスチャ入力モードの設定及び解除を、前記入力手段から前記座標入力面上の任意の領域の前記位置座標が入力された入力タイミングに基づいて切り替えるモード切替手段と、前記モード切替手段による切り替えにより、前記ジェスチャ入力モードが設定された場合、前記入力手段により入力された前記軌跡による前記ジェスチャに対応した処理を実行するジェスチャ処理手段と、を備えたことを特徴とする。
【０００９】
また、本発明は、座標入力面から位置座標を入力する入力ステップと、前記入力ステップにより入力された連続する複数の前記位置座標による特定の軌跡に対応して実行する処理を示すジェスチャを受け付けるジェスチャ入力モードの設定及び解除を、前記入力ステップから前記座標入力面上の任意の領域の前記位置座標が入力された入力タイミングに基づいて切り替えるモード切替ステップと、前記モード切替ステップによる切り替えにより、前記ジェスチャ入力モードが設定された場合、前記入力ステップにより入力された前記軌跡による前記ジェスチャに対応した処理を実行するジェスチャ処理ステップと、を備えたことを特徴とする。
【００１０】
また、本発明は、座標入力面から位置座標を入力する入力手順と、前記入力手順により入力された連続する複数の前記位置座標による特定の軌跡に対応して実行する処理を示すジェスチャを受け付けるジェスチャ入力モードの設定及び解除を、前記入力手順から前記座標入力面上の任意の領域の前記位置座標が入力された入力タイミングに基づいて切り替えるモード切替手順と、前記モード切替手順による切り替えにより、前記ジェスチャ入力モードが設定された場合、前記入力手順により入力された前記軌跡による前記ジェスチャに対応した処理を実行するジェスチャ処理手順と、をコンピュータに実行させる。
【発明の効果】
【００１１】
本発明によれば、入力手段が座標入力面上の任意の領域の前記位置座標が入力された入力タイミングに基づいて、ジェスチャ入力モードの設定及び解除を切り替えるため、ジェスチャ入力モードの切り替えることが容易に行えるという効果を奏する。また、ジェスチャ入力モードではジェスチャであるか否かを判定する必要がないため、ストローク及びジェスチャの誤認識は発生せず、またジェスチャ入力モードでは連続するジェスチャ入力を可能であるため、利便性を向上するという効果を奏する。
【発明を実施するための最良の形態】
【００１２】
以下に添付図面を参照して、この発明にかかるジェスチャ入力装置、ジェスチャ入力方法及びジェスチャ入力プログラムを適用したＰＤＡの最良な実施の形態を詳細に説明する。
【００１３】
（第１の実施の形態）
図１は、第１の実施の形態にかかるＰＤＡ１００の構成を示すブロック図である。本図に示すようにＰＤＡ１００の内部は、タブレット機能付ディスプレイ１０１と、入力処理部１０２と、入力モード切替部１０３と、入力モード判定部１０４と、ジェスチャ認識部１０５と、ジェスチャ処理部１０６と、ストローク処理部１０７と、表示処理部１０８を備え、ＰＤＡ１００に備えられたペンデバイス１５０によりジェスチャ入力やストローク入力が行われる。
【００１４】
また、ジェスチャとは、ボタンのタップやメニューの選択とは異なり、ＰＤＡ１００内部で予め定められた軌跡と実行する処理とを対応付けて保持し、ペンデバイス１５０で予め定められた軌跡を描くことで、対応付けられた機能あるいは処理を実行させる操作をいう。
【００１５】
ペンデバイス１５０は、利用者が後述するタブレット機能付ディスプレイ１０１に対して入力を行うためのデバイスであり、磁気信号をペン先から出力する。
【００１６】
タブレット機能付ディスプレイ１０１は、ペンデバイス１５０の位置座標を入力するための磁気センサが備えられている平面状のディスプレイである。なお、本実施の形態のタブレット機能付ディスプレイ１０１は磁気センサを用いているためペンデバイス１５０が接触していなくとも、ペンデバイス１５０が出力する磁気信号を検出することで、３次元空間上のペンデバイス１５０の位置座標を入力することが可能となる。タブレット機能付ディスプレイ１０１は、ペンデバイス１５０が発する磁気信号を検出し、検出した信号を後述する入力処理部１０２に出力する。利用者はペンデバイス１５０を用いて、タブレット機能付ディスプレイ１０１に対してペン先で位置座標を指示すること、あるいは軌跡を描くことで、ＰＤＡ１００に対して処理の指示や、文字、記号、図形などの画像情報の手書き入力が可能となる。
【００１７】
また、タブレット機能付ディスプレイ１０１は、後述する表示処理部１０８により行われた処理の結果を表示する。
【００１８】
入力処理部１０２は、タブレット機能付ディスプレイ１０１から入力された信号を解析して、ペンデバイス１５０の空間内での位置座標や、動き等の軌跡に関する情報、タブレット機能付ディスプレイ１０１と接触しているか否かの情報、ペンデバイス１５１が接触してから離れるまでの時間等を保持するペン入力情報を生成する。また、入力処理部１０２は、処理したペン入力情報が、ペンデバイス１５０がタブレット機能付ディスプレイ１０１の表示範囲内の任意の点で接触していた旨を示す情報である場合は、入力モード切替部１０３に出力する。また、入力処理部１０２は、タブレット機能付ディスプレイ１０１にペンデバイス１５０で軌跡が描かれた場合、例えば連続して検出した磁気信号の位置座標の連結処理あるいは関数を用いた軌跡の算出処理など、既に知られた導出方法を用いて連続する点から軌跡を導出する。
【００１９】
入力モード切替部１０３は、入力処理部１０２により入力されたペン入力情報が、ペンデバイス１５０がタブレット機能付ディスプレイ１０１上の表示領域内の任意の一点を２秒以上離されなかった旨を示していた場合、入力モードの切り替えを行う。詳細な例としては、入力モード切替部は、上記切り替え条件を満たしたときに入力モードが文字や図形入力を行うためのストローク入力モードであれば、ジェスチャ入力モードに切り替える。また、上記切り替え条件を満たしたときに入力モードがジェスチャ入力モードであれば、ストローク入力モードに切り替える。また、入力されるペン入力情報は空間内での位置座標及び接触しているか否かを保持しているため、連続してペン入力情報が入力されることで、入力モード切替部１０３は、ペンデバイス１５１がタブレット機能付ディスプレイ１０１の表示領域の接触時間を得ることが可能となる。
【００２０】
本実施の形態において入力モードは、ストローク入力モードとジェスチャ入力モードの２種類とするが、入力モードを２種類に制限するものではない。また、入力モード切替部１０３による入力モードの切り替えの条件を表示領域内の任意の一点を２秒以上接触している場合に制限するものではなく、タブレット機能付ディスプレイ１０１の任意の領域内を予め定められた時間接触していれば入力モードを切り替えるように構成してもよい。また、利用者が入力モードを切り替えるための接触している時間を設定することにしてもよい。
【００２１】
また、入力モードの切り替える条件を予め定められた時間をペンデバイス１５０が接触していた場合に限りものではなく、例えば予め定められた時間内にペンデバイス１５０がタブレット機能付ディスプレイ１０１に２回接触した場合など、予め定められた期間内の接触回数に基づいて入力モードを切り替える等の設定をしても良い。
【００２２】
入力モード判定部１０４は、入力モード切替部１０３より切り替えられた入力モードを判定し、入力モードがストローク入力モードと判定した場合には、入力処理部１０２が出力したペン入力情報をストローク処理部１０７に出力し、入力モードがジェスチャ入力モードと判定した場合には、入力処理部１０２が出力したペン入力情報をジェスチャ認識部１０５に出力する。
【００２３】
ジェスチャ認識部１０５は、入力処理部１０２から入力されたペン入力情報が保持していたタブレット機能付ディスプレイ１０１上に描かれた軌跡からジェスチャを認識する。ジェスチャ認識の方式は、既存のいかなる方式を用いても良い。
【００２４】
ジェスチャ処理部１０６は、ジェスチャ認識部１０５が認識したジェスチャに対応付けられた処理を行う。例えば、ジェスチャ’チェック’と対応付けられた処理が’選択’とする場合において、予め定められた領域内で、認識されたジェスチャが’チェック’であれば、ジェスチャ処理部１０６は、予め定められた領域が指し示していた候補等を選択する処理を行う。
【００２５】
ストローク処理部１０７は、入力されたペン入力情報から、保持していたペンデバイス１５０がタブレット機能付ディスプレイ１０１上に描かれた表示領域内の軌跡のみ抽出し、表示処理部１０８に出力する。これにより表示処理部１０８は、表示領域内に描かれた軌跡を表示することが可能となる。
【００２６】
表示処理部１０８は、ジェスチャ処理部１０６によりジェスチャに対応付けられた処理の結果を表示する、あるいはストローク処理部１０７により抽出処理されたペンデバイス１５０がタブレット機能付ディスプレイ１０１上に描いた軌跡を表示するための処理を行う。
【００２７】
次に、以上により構成された本実施の形態に係るＰＤＡ１００においてペンデバイス１５０により入力されてからタブレット機能付ディスプレイ１０１に表示するまでの全体処理について説明する。図２は本実施の形態にかかるＰＤＡ１００においてペンデバイス１５０により入力されてからタブレット機能付ディスプレイ１０１に表示するまでのフローチャートである。
【００２８】
タブレット機能付ディスプレイ１０１は、ペンデバイス１５０を用いて指示された位置座標を入力する（ステップＳ２０１）。次に入力処理部１０２は、タブレット機能付ディスプレイ１０１から入力された位置座標等に基づいてペン入力情報を生成する（ステップＳ２０２）。そして入力処理部１０２は、ペン入力情報が、ペンデバイス１５０によるタブレット機能付ディスプレイ１０１の表示範囲内の任意の点の接触している旨を示す情報であるか否かを判定し（ステップＳ２０３）、接触している旨を示す情報である場合は、ペン入力情報を入力モード切替部１０３に出力する（ステップＳ２０３：Ｙｅｓ）。
【００２９】
そして、入力モード切替部１０３は、ペン入力情報より、ペンデバイス１５０がタブレット機能付ディスプレイ１０１上の表示領域内の任意の一点を２秒以上接触していたか否かを判定する（ステップＳ２１０）。そして２秒以上接触していたと判定した場合（ステップＳ２１０：Ｙｅｓ）は、入力モード切替部１０３は、入力モードを切り替える（ステップＳ２１１）。詳細な例としては、入力モード切替部１０３は、入力モードがストローク入力モードの場合はジェスチャ入力モードに切り替え、入力モードがジェスチャ入力モードの場合、ストローク入力モードに切り替える。また、２秒以上接触していなかったと判定した場合（ステップＳ２１０：Ｎｏ）、入力モード切替部１０３は特に処理を行わない。
【００３０】
そして、ペン入力情報が接触していた旨を示す情報ではない場合（ステップＳ２０３：Ｎｏ）、入力モード判定部１０４は、入力モードがジェスチャ入力モードであるか否かを判定する（ステップＳ２０４）。
【００３１】
入力モード判定部１０４がジェスチャ入力モードと判定した場合（ステップＳ２０４：Ｙｅｓ）、入力処理部１０２により生成されたペン入力情報は、ジェスチャ認識部１０５に出力される。次にジェスチャ認識部１０５は、ペン入力情報が保持していたタブレット機能付ディスプレイ１０１上に描かれた軌跡からジェスチャを認識する（ステップＳ２０５）。そしてジェスチャ処理部１０６は、ジェスチャ認識部１０５により認識されたジェスチャに対応付けられた処理を行う（ステップＳ２０６）。
【００３２】
入力モード判定部１０４がジェスチャ入力モードではないと判定した場合（ステップＳ２０４：Ｎｏ）、ストローク処理部１０７は入力したペン入力情報が保持していたタブレット機能付ディスプレイ１０１上に描かれた軌跡を抽出する処理を行う（ステップＳ２０７）。
【００３３】
そして、表示処理部１０８は、ステップＳ２０６による処理の結果を表示するための処理、あるいはステップＳ２０７により抽出処理されたタブレット機能付ディスプレイ１０１上に描かれた軌跡を表示するための処理を行う（ステップＳ２０８）。そしてタブレット機能付ディスプレイ１０１は、表示処理部１０８で処理された結果を表示する（ステップＳ２０９）。
【００３４】
なお、上述した処理手順では、入力モード切替部１０３により入力モードが切り替えられたあと、特に表示などの処理は行わないこととしたが、入力モードが切り替わった旨を表示する処理を行っても良い。
【００３５】
また上述した処理手順により、利用者はペンデバイス１５０をタブレット機能付ディスプレイ１０１の任意の一点を接触することで、入力モードを切り替えることが可能となり、さらにジェスチャ入力モード時には、利用者は連続してジェスチャ入力が可能となる。
【００３６】
図３は、本実施の形態にかかるＰＤＡ１００についてジェスチャ入力及びストローク入力された画面の一例を示したものである。詳細な例としては、最初に利用者はジェスチャ入力モード時に、４０１及び４０２で示された領域にチェックと対応付けられた軌跡を連続して描いてジェスチャ入力を行った。ＰＤＡ１００はそれぞれの領域でジェスチャを認識し、タブレット機能付ディスプレイ１０１にチェックされた旨の表示がなされた。その後、利用者は、ペンデバイス１５０によりタブレット機能付ディスプレイ１０１内の一点を２秒以上接触させることで、ＰＤＡ１００は入力モードをストローク入力モードに切り替えた。そして利用者は、ペンデバイス１５０により４０３で示された領域に「汗が出てくる」とストローク入力することで、ＰＤＡ１００は４０３の領域に入力された文字を表示した。
【００３７】
図４は、本実施の形態にかかるＰＤＡ１００のハードウェア構成を示した図である。本実施の形態にかかるＰＤＡ１００は、制御装置となるＣＰＵ（Central Processing Unit）６０１と、外部記憶装置となるＲＯＭ（Read Only Memory）６０２やＲＡＭ６０３と、タブレット機能付ディスプレイなどの表示部６０４と、タブレット機能付ディスプレイからの信号を入力するための入力Ｉ／Ｆ６０５と、外部装置あるいはネットワークと接続する通信Ｉ／Ｆ６０６を備えたハードウェア構成となっている。そしてＲＯＭ６０２にはＰＤＡ全体を制御するためのＯＳ等の基本プログラムやＰＤＡで使用可能なアプリケーションソフトが格納されている。
【００３８】
本実施の形態のＰＤＡ１００で実行されるジェスチャ入力プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。そして通信Ｉ／Ｆ６０６を介して外部装置からインストールすることが可能となる。
【００３９】
また、本実施の形態のＰＤＡ１００で実行されるジェスチャ入力プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施の形態のＰＤＡ１００で実行されるジェスチャ入力プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００４０】
また、本実施の形態のジェスチャ入力プログラムを、ＲＯＭ６０２等に予め組み込んで提供するように構成してもよい。
【００４１】
本実施の形態のＰＤＡ１００で実行されるジェスチャ入力プログラムは、上述した各部（入力処理部、入力モード切替部、入力モード判定部、ストローク処理部、ジェスチャ認識部、ジェスチャ処理部、表示処理部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）６０１が上記記憶媒体からジェスチャ入力プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、入力処理部、入力モード切替部、入力モード判定部、ストローク処理部、ジェスチャ認識部、ジェスチャ処理部、表示処理部が主記憶装置上に生成されるようになっている。
【００４２】
なお、本実施の形態では、ジェスチャ入力装置としてＰＤＡ１００を用いたが、ＰＤＡ１００ではなく、ＰＣ(Personal Computer)等を用いて実現しても良い。例えばテーブルに設置したタブレットとペンデバイスを利用してジェスチャ入力を行い、入力されたジェスチャに対応した処理の結果をＰＣのディスプレイに表示する構成を有している場合において、タブレットの任意の領域に予め定められた時間をペンデバイスが接触している時に、ジェスチャ入力モードとストローク入力モードを切り替える等が考えられる。
【００４３】
以上のように、第１の実施の形態においては、ジェスチャ入力とストローク入力の誤判定が無く、また、ジェスチャ入力時において、ジェスチャ入力をする間隔が空いた場合であっても連続したジェスチャの入力を認識することが可能である。さらにはペンデバイス１５０がタブレット機能付ディスプレイ１０１の接触時間により容易に入力モードを切り替えることが可能である。このため、第１の実施の形態にかかるＰＤＡ１００では、誤認識が低減し、連続してジェスチャ入力が可能なため利便性が向上した。
【００４４】
（第２の実施の形態）
第１の実施の形態では、ＰＤＡ１００はタブレット機能付ディスプレイ１０１の任意の一点をペンデバイス１５０で２秒以上接触している場合に、入力モードを切り替えることとした。しかしながら、入力モードがジェスチャ入力の場合、タブレット機能付ディスプレイ１０１上のどの領域でどのジェスチャを入力することが可能なのか、利用者は予め知る必要がある。このため第２の実施の形態では、タブレット機能付ディスプレイ１０１上の領域内で入力することが可能なジェスチャを表示することとした。
【００４５】
図５は、本発明の第２の実施の形態にかかるＰＤＡ３００の構成を示すブロック図である。上述した第１の実施の形態にかかるＰＤＡ１００とは、ジェスチャ候補取得部３０１と記憶部３０２が追加され、入力処理部１０２とは処理が異なる入力処理部３０５に変更され、表示処理部１０８とは処理が異なる表示処理部３０３に変更されている点で異なる。以下の説明では、上述した実施の形態１と同一の構成要素には同一の符号を付してその説明を省略している。そして本実施の携帯にかかるＰＤＡ３００は上述した構成を備えることで、ペンデバイス１５０の磁気信号により、ペンデバイス１５０とタブレット機能付ディスプレイ１０１は非接触の状態であるが、一定の範囲内にあると認識された場合、入力可能なジェスチャをポップアップ形式で表示することを可能とする。
【００４６】
記憶部３０２は、表示ジェスチャテーブル及びジェスチャ領域テーブルを記憶し、後述するジェスチャ候補取得部３０１により表示するジェスチャを取得する時に用いられる。
【００４７】
図６は、本実施の形態に係る記憶部３０２が記憶する表示ジェスチャテーブルの一例を示した図である。本図に示すように、セットＩＤと、ジェスチャＩＤ、ジェスチャ名、表示フラグを対応付けたレコードを保持する。セットＩＤはジェスチャ領域テーブルにおいてジェスチャ領域と対応付けられたＩＤである。そしてジェスチャＩＤはジェスチャを認識するための軌跡と対応付けられたＩＤである。ジェスチャ名は、ジェスチャを示す名称であり、タブレット機能付ディスプレイ１０１上に入力可能なジェスチャを表示する時に用いられる。また、表示フラグは表示するか否かを示すフラグであり、表示フラグが’１’の場合に表示することとする。なお、ジェスチャを認識するための軌跡とジェスチャＩＤとの対応については本実施の形態では省略する。
【００４８】
図７は、本実施の形態に用いられるジェスチャ領域テーブルの一例を示した図である。本図に示すように、ジェスチャ領域と、上述したセットＩＤを対応付けたレコードを保持する。なお、ジェスチャ領域を示すＧｅｓｕｔｕｒｅＡｒｅａ１等は、タブレット機能付ディスプレイ１０１に表示される画面において予め定められた領域をいう。
【００４９】
図８は、タブレット機能付ディスプレイ１０１上に表示された画面の予め定められた領域と、ジェスチャ領域名とを対応付けて示した説明図である。本図で示すようにタブレット機能付ディスプレイ１０１に表示された画面の各領域についてジェスチャ領域が割り当てられている。また、表示される画面が異なる毎に異なるジェスチャ領域を保持している。そして上述したテーブルを記憶部３０２が記憶することで、領域毎に認識するジェスチャを異ならせることを可能とする。
【００５０】
図５に戻り、入力処理部３０５は、タブレット機能付ディスプレイ１０１から入力された信号から、ペンデバイス１５０がタブレット機能付ディスプレイ１０１と非接触の状態であるが、ペンデバイス１５０とタブレット機能付ディスプレイ１０１の距離が一定の範囲内にあると判断した場合、非接触である旨及びタブレット機能付ディスプレイ１０１上で磁気信号が最も強く入力された位置座標をペン入力情報としてジェスチャ候補取得部３０１に出力する。またペンデバイス１５０がタブレット機能付ディスプレイ１０１に接触している場合の処理は、第１の実施の形態にかかる入力処理部１０２と同様の処理とする。
【００５１】
ジェスチャ候補取得部３０１は、入力モード判定部１０４がジェスチャ入力モードと判定した場合に限り、入力されたペン入力情報から、表示ジェスチャテーブル及びジェスチャ領域テーブルに基づいて、表示するジェスチャのジェスチャＩＤとジェスチャ名を取得する。なお、具体的な取得手順は後述する。
【００５２】
表示処理部３０３は、第１の実施の形態にかかる表示処理部１０８と比べて、ジェスチャ表示処理部３０４を追加された。また、表示処理部３０３は、ジェスチャの表示以外の処理については第１の実施の形態にかかる表示処理部１０８と同様の処理を行う。
【００５３】
ジェスチャ表示処理部３０４は、ジェスチャ候補取得部３０１からジェスチャＩＤとジェスチャ名が入力された場合、ジェスチャＩＤに対応するジェスチャの軌跡及びジェスチャ名をポップアップ形式で表示する。
【００５４】
次に、以上により構成された本実施の形態に係るＰＤＡ３００においてペンデバイス１５０を検知してから入力可能なジェスチャをポップアップ形式で表示するまでの処理について説明する。図９は本実施の形態にかかるＰＤＡ３００においてペンデバイス１５０を検知してから入力可能なジェスチャをポップアップ形式で表示するまでのフローチャートである。
【００５５】
タブレット機能付ディスプレイ１０１は、ペンデバイス１５０より出力される磁気信号を入力する（ステップＳ６０１）。そして入力処理部３０５は、タブレット機能付ディスプレイ１０１からの入力された信号を解析して求められた位置座標の入力処理を行う（ステップＳ６０２）。例えば、入力処理部３０５は、信号を解析した結果としてペンデバイス１５０がタブレット機能付ディスプレイ１０１に接触していないと判断した場合、ペンデバイス１５０から出力される磁気信号がタブレット機能付ディスプレイ１０１上でもっとも強く検知された位置座標を、ペンデバイス１５０を検知した位置座標として入力処理を行い、非接触である旨及び位置座標から生成されたペン入力情報を出力する。なお、ペンデバイス１５０がタブレット機能付ディスプレイ１０１に接触していると判断した場合は、第１の実施の形態で示した処理手順を行う（図示しない）。
【００５６】
次に、入力モード判定部１０４は、入力モードがジェスチャ入力モードか否かを判定する（ステップＳ６０３）。そして入力モード判定部１０４が、ジェスチャ入力モードではないと判定した場合（ステップＳ６０３：Ｎｏ）、処理を行わず終了する。
【００５７】
入力モード判定部１０４がジェスチャ入力モードであると判定した場合（ステップＳ６０３：Ｙｅｓ）、ジェスチャ候補取得部３０１は、入力処理部３０５から入力されたペン入力情報による位置座標がどのジェスチャ領域内か判断し、入力可能なジェスチャのジェスチャＩＤ及びジェスチャ名を取得する（ステップＳ６０４）。なお、具体的なジェスチャＩＤ及びジェスチャ名の取得手順は後述する。
【００５８】
ジェスチャ表示処理部３０４は、ジェスチャ候補取得部３０１が取得したジェスチャＩＤと対応付けられたジェスチャの軌跡を示したアイコン及びジェスチャ名をポップアップ形式で表示するための処理を行う（ステップＳ６０５）。そして、タブレット機能付ディスプレイ１０１は、ジェスチャ表示処理部３０４により入力された信号に基づいて、入力可能なジェスチャをポップアップ形式で表示する（ステップＳ６０６）。
【００５９】
次に、以上により構成された本実施の形態に係るＰＤＡ３００のジェスチャ候補取得部３０１がペン入力情報に基づいて、表示するジェスチャの候補を取得するまでの処理について説明する。図１０は本実施の形態にかかるＰＤＡ３００のジェスチャ候補取得部３０１がペン入力情報に基づいて、表示するジェスチャの候補を取得するまでの全体処理を示すフローチャートである。
【００６０】
ジェスチャ候補取得部３０１は、入力処理部３０５から入力されたペン入力情報が保持するペンデバイス１５０の磁気信号を検出した位置座標が、どのジェスチャ領域内にあるのか特定する（ステップＳ９０１）。
【００６１】
次に、ジェスチャ候補取得部３０１は、特定されたジェスチャ領域から、ジェスチャ領域テーブルを検索してセットＩＤを取得する（ステップＳ９０２）。例えば、特定されたジェスチャ領域がＧｅｓｔｕｒｅＡｒｅａ１であった場合、ジェスチャ候補取得部３０１は、図７で示したジェスチャ領域テーブルを検索すると、セットＩＤ’０１’を取得する。
【００６２】
そして、ジェスチャ候補取得部３０１は、取得したセットＩＤに基づいて、表示ジェスチャテーブルを検索して表示するジェスチャＩＤ及びジェスチャ名を取得する（ステップＳ９０３）。ただし、表示フラグが’１’の場合のジェスチャＩＤ及びジェスチャ名のみ取得する。例えば、セットＩＤ’０１’で表示フラグ’１’という条件に基づいて、ジェスチャ候補取得部３０１が、図６で示した表示ジェスチャテーブルを検索することで、ジェスチャＩＤ’０１’でジェスチャ名’Ｃｈｅｃｋ’及びジェスチャＩＤ’０２’でジェスチャ名’Ｃｉｒｃｌｅ’を取得する。そしてジェスチャ候補取得部３０１は、取得したジェスチャをジェスチャ表示処理部３０４に出力する。
【００６３】
図１１は、上述した処理に基づいて入力可能なジェスチャがポップアップ形式で表示されたタブレット機能付ディスプレイ１０１の画面例を示した図である。上述した処理により、タブレット機能付ディスプレイ１０１は’Ｃｈｅｃｋ’、’Ｃｉｒｃｌｅ’について表示する。ジェスチャ７０２、７０３はジェスチャＩＤに対応した軌跡を表示したものであり、ペンデバイス１５０で表示された軌跡を描くことで、ジェスチャに対応した処理がなされる。またジェスチャ名’Ａｌｌ’は入力可能な全てのジェスチャを表示するためのジェスチャであり、ポップアップ形式で表示するときは常に表示される。なお、ジェスチャ’Ａｌｌ’に対応した軌跡７０４を描いた場合は、表示フラグに関係なく表示ジェスチャテーブルが保持するペンデバイス１５０を検知した位置座標を含むジェスチャ領域と対応した全てのジェスチャをタブレット機能付ディスプレイ１０１上に表示する。
【００６４】
なお、ジェスチャ入力モードであると判定された場合に限り、入力可能なジェスチャをポップアップ形式で表示することに制限するものではなく、ストローク入力モードの場合に入力可能なジェスチャをポップアップ形式で表示することにしても良い。
【００６５】
また、タブレット機能付ディスプレイ１０１がペンデバイス１５０とタブレット機能付ディスプレイ１０１は非接触の状態であるが、一定の範囲内にあるとの認識は磁気信号の強さにより判断するが、この一定範囲内により示されるタブレット機能付ディスプレイ１０１とペンデバイス１５０の間の距離は、実際の磁気信号の強さ及び利用者の使用時の利便性を考慮して決定する。
【００６６】
なお、非接触と判断された場合に入力可能なジェスチャをポップアップ形式で表示することに制限するものではなく、接触している場合に入力可能なジェスチャを表示しても良い。ただし、入力モードの切り替えを予め定められた時間内に２回接触した場合等とし、入力モードの切り替えの処理とポップアップ形式で表示する処理を混同させないようにする必要がある。
【００６７】
また、入力可能なジェスチャを表示するのはポップアップ形式で表示することに制限するものではなく、利用者が入力可能なジェスチャを視認できる形式で表示するものであれば良い。
【００６８】
以上のように、第２の実施の形態にかかるＰＤＡ３００により、ジェスチャ領域毎に入力可能なジェスチャを表示することで、利用者は入力可能なジェスチャを視認してからジェスチャを入力することが可能となったため、ＰＤＡ３００の利便性が向上した。
【００６９】
（第３の実施の形態）
第２の実施の形態では、ＰＤＡ３００は領域に応じて表示フラグが’１’であれば入力可能なジェスチャを全て表示した。しかし第３の実施の形態では、ジェスチャが入力された頻度に基づいて、入力可能なジェスチャを表示することとした。
【００７０】
図１２は、第３の実施の形態にかかるＰＤＡ１０００の構成を示すブロック図である。上述した第２の実施の形態にかかるＰＤＡ３００とは、ジェスチャ履歴更新部１００３が追加され、ジェスチャ候補取得部３０１と処理が異なるジェスチャ候補取得部１００１に変更され、また記憶部３０２と記憶するテーブルが異なる記憶部１００２に変更されている点で異なる。以下の説明では、上述した実施の形態１と同一の構成要素には同一の符号を付してその説明を省略している。
【００７１】
記憶部１００２は、表示ジェスチャ履歴テーブル及びジェスチャ領域テーブルを記憶し、後述するジェスチャ候補取得部１００１により表示するジェスチャを取得する時に用いられる。なお、ジェスチャ領域テーブルの構造は第２の実施の形態におけるジェスチャ領域テーブルと同じ構造であるため説明を省略する。
【００７２】
図１３は、本実施の形態に用いられる表示ジェスチャ履歴テーブルの一例を示した図である。本図に示すように、セットＩＤと、ジェスチャＩＤ、ジェスチャ名、頻度を対応付けたレコードを保持する。セットＩＤ、ジェスチャＩＤ、ジェスチャ名は第２の実施の形態にかかる表示ジェスチャテーブルで説明したので省略する。頻度は、対応付けられたジェスチャが利用者から入力された回数を示したものである。
【００７３】
図１２に戻り、ジェスチャ候補取得部１００１は、入力モード判定部１０４がジェスチャ入力モードと判定した場合に、入力されたペン入力情報から、表示ジェスチャテーブル及びジェスチャ領域テーブルに基づいて、入力可能なジェスチャのうち入力された頻度が高い順から１つのジェスチャに対応したジェスチャＩＤとジェスチャ名を取得する。なお、具体的な取得手順は後述する。
【００７４】
ジェスチャ履歴更新部１００３は、記憶部１００２が記憶する表示ジェスチャ履歴テーブルに対して、ジェスチャ認識部１０５が認識したジェスチャと対応付けられた履歴に１を加算して更新する。ジェスチャ履歴更新部１００３を備えることで、最新の履歴情報により、入力された頻度が最も高い順から入力可能なジェスチャをポップアップ形式で表示することが可能となる。
【００７５】
そして、以上により構成された本実施の形態に係るＰＤＡ１０００においてペンデバイス１５０を検知してから入力可能なジェスチャをポップアップ形式で表示するまでの処理は、図９で示した第２の実施の形態に係るポップアップ形式で表示するまでの処理と原則として同様であるが、ステップＳ６０４で行われたジェスチャ候補取得部３０１による処理だけ、ジェスチャ候補取得部１００１による処理に変更する必要がある。この全体の処理手順は省略する。
【００７６】
次に、以上により構成された本実施の形態に係るＰＤＡ１０００のジェスチャ候補取得部１００１がペン入力情報に基づいて、表示するジェスチャの候補を取得するまでの処理手順を説明する。図１４は本実施の形態にかかるＰＤＡ１０００のジェスチャ候補取得部３０１がペン入力情報に基づいて、表示するジェスチャの候補を取得するまでのフローチャートである。
【００７７】
まず、ジェスチャ候補取得部１００１は、第２の実施の形態にかかる図１０のステップＳ９０１〜Ｓ９０２と同様にして、ペンデバイス１５０の磁気信号を検出した位置座標に基づいて、セットＩＤを取得する（ステップＳ１２０１〜Ｓ１２０２）。
【００７８】
そして、ジェスチャ候補取得部１００１は、表示ジェスチャ履歴テーブルを検索し、取得したセットＩＤとセットＩＤが同一且つ頻度が最も高いジェスチャのジェスチャＩＤ及びジェスチャ名を取得する（ステップＳ１２０３）。例えば、ジェスチャ候補取得部１００１は、セットＩＤ’０１’で頻度が最も高いという条件で、図１３で示した表示ジェスチャ履歴テーブルを検索する。次に検索結果として、ジェスチャ候補取得部１００１は、セットＩＤ’０１’、頻度'５'と対応付けられていたジェスチャＩＤ’０１’及びジェスチャ名’Ｃｈｅｃｋ’を取得する。そしてジェスチャ候補取得部１００１は、取得したジェスチャＩＤ及びジェスチャ名をジェスチャ表示処理部３０４に出力する。
【００７９】
そして、ジェスチャ表示処理部３０４が、入力されたジェスチャＩＤ及びジェスチャ名に基づいてジェスチャを表示するための処理を行うことで、タブレット機能付ディスプレイ１０１に入力可能で最も頻度が高いジェスチャが表示される。
【００８０】
図１５は、上述した処理に基づいて入力可能なジェスチャがポップアップ形式で表示されたタブレット機能付ディスプレイ１０１の画面例を示した図である。タブレット機能付ディスプレイ１０１は入力可能であり最も頻度が高いジェスチャである’Ｃｈｅｃｋ’を表示する。また第２の実施の形態と同様にジェスチャ名’Ａｌｌ’は入力可能な全てのジェスチャを表示するためのジェスチャであり、ポップアップ形式で表示するときは常に表示される。なお、ジェスチャ’Ａｌｌ’に対応した軌跡を描いた場合は、頻度に関係なく表示ジェスチャ履歴テーブルが保持するペンデバイス１５０を検知した位置座標のジェスチャ領域と対応した入力可能な全てのジェスチャをタブレット機能付ディスプレイ１０１上に表示する。
【００８１】
図１６は、ＰＤＡ１０００がジェスチャ認識を一度も行われていない状態においてポップアップ形式で表示したタブレット機能付ディスプレイ１０１の画面例を示した図である。初期状態では記憶部１００２が記憶する表示ジェスチャ履歴テーブルの頻度が全て’０’と設定されているため、ジェスチャ候補取得部１００１は最も高い頻度のジェスチャが無いため、本図のように表示する。他の表示方法として、初期状態においてはタブレット機能付ディスプレイ１０１上に全てのジェスチャを表示すること等も考えられる。
【００８２】
なお、頻度が高い順から１つ表示することに制限するものではなく頻度の高い順から予め定められた数だけ表示するものであれば良い。また、本実施の形態は、頻度の高い順から表示することに制限するものではなく、頻度を用いてジェスチャを表示するか否か判定するものであればよい。表示方法の他の例としては、頻度が低い順からジェスチャを表示することが考えられる。
【００８３】
また、本実施の形態においては、頻度に基づいて表示するジェスチャを判定することとしたが、頻度以外の情報に基づいて、ジェスチャを表示することも考えられる。例えば、頻度ではなく、最後に入力されたジェスチャから順に表示することも考えられる。この場合、記憶部で保持するテーブルは、表示ジェスチャ履歴テーブルの列’頻度’の代わりに列’更新時刻’を保持する表示ジェスチャ更新時刻テーブルとする。そして表示ジェスチャ更新時刻テーブルに対して更新時刻を更新するジェスチャ時刻更新部を備え、ジェスチャが入力される毎に、ジェスチャに対応した更新時刻を更新する。これにより最後に入力されたジェスチャが表示されるため利便性が向上した。また、更新時刻と頻度を組み合わせてジェスチャをポップアップ形式で表示することにしても良い。
【００８４】
第３の実施の形態においては、ジェスチャ領域毎に使用した頻度の高い順にジェスチャを表示することとした。このため使用頻度が低いため重要度が低いと考えられるジェスチャを表示せず、また使用頻度が高いため重要度が高いと考えられるジェスチャのみ表示するため、利用者はジェスチャが表示された直後に重要度が高いジェスチャを視認することで所望の操作を行えることとなり、ＰＤＡ１０００の利便性が向上した。
【００８５】
また、利用者のジェスチャを利用した頻度に基づいてジェスチャを表示するか否かを判断するため、利用者の利用状況に基づいて適切なジェスチャの表示が可能となり、ＰＤＡ１０００の利便性が向上した。
【００８６】
（第４の実施の形態）
第３の実施の形態にかかるＰＤＡまでは、認識されるジェスチャのサイズについて判断しなかった。第４の実施の形態にかかるＰＤＡでは、認識されるジェスチャのサイズにより行う処理を変更するものである。
【００８７】
図１７は、第４の実施の形態にかかるＰＤＡ１６００の構成を示すブロック図である。上述した第１の実施の形態にかかるＰＤＡ１００とは、ジェスチャ認識部１０５とは処理が異なるジェスチャ認識部１６０１に変更され、ジェスチャ処理部１０６と処理が異なるジェスチャ処理部１６０３に変更された点で異なる。以下の説明では、上述した実施の形態１と同一の構成要素には同一の符号を付してその説明を省略している。
【００８８】
ジェスチャ認識部１６０１は、入力されたペン入力情報が保持していたタブレット機能付ディスプレイ１０１上に描かれた軌跡からジェスチャを認識する。また、ジェスチャ認識部１６０１は、領域算出部１６０２を備えており、ジェスチャとして描かれた軌跡による領域の大きさを算出する。なお、ジェスチャ認識の方式は、既存のいかなる方法を用いても良い。
【００８９】
領域算出部１６０２は、ジェスチャとして描かれた軌跡が占める領域の面積を算出する。領域算出部１６０２は、軌跡が占める領域の面積として、タブレット機能付ディスプレイ１０１の描画領域の辺と平行となる辺を有する矩形の面積であり、ジェスチャとして描かれた軌跡と外接する矩形の面積を算出する。
【００９０】
ジェスチャ処理部１６０３は、ジェスチャ認識部１０５が認識したジェスチャ及び領域算出部１６０２が算出した領域の面積に基づいて処理を行う。例えば、タブレット機能付ディスプレイ１０１に描画されているのが地図であり、認識されたジェスチャが拡大縮小である場合に、ジェスチャとして描かれた軌跡が占める領域及び地図の表示領域の面積に基づいて拡大率を導出し、タブレット機能付ディスプレイ１０１には導出された拡大率により地図を拡大して表示する等の処理を行う。なお、具体的な処理は後述する。
【００９１】
次に、以上により構成された本実施の形態に係るＰＤＡ１６００においてペンデバイス１５０より入力されてからタブレット機能付ディスプレイ１０１に表示するまでの処理を説明する。図１８は本実施の形態にかかるＰＤＡ１６００においてペンデバイス１５０で入力されてタブレット機能付ディスプレイ１０１に表示するまでフローチャートである。なお、本図においてはペン入力の接触時間による入力モードの切り替え処理を省略する。
【００９２】
タブレット機能付ディスプレイ１０１は、ペンデバイス１５０を用いて指示された位置座標を入力する（ステップＳ１７０１）。次に入力処理部１０２は、タブレット機能付ディスプレイ１０１から入力された位置座標等に基づいてペン入力情報を生成する（ステップＳ１７０２）。そして入力モード判定部１０４は、入力モードがジェスチャ入力モードであるか否かを判定する（ステップＳ１７０３）。なお、入力モード判定部１０４が、入力モードがストローク入力モードと判定した場合は（ステップＳ１７０３：Ｎｏ）、第１の実施の形態で示した処理手順と同様にペン入力情報をストローク処理部１０７に出力し、ストローク処理部１０７が処理を行う（図示しない）。
【００９３】
入力モード判定部１０４がジェスチャ入力モードと判定した場合（ステップＳ１７０３：Ｙｅｓ）、入力処理部１０２により生成されたペン入力情報は、ジェスチャ認識部１０５に出力される。ジェスチャ認識部１６０１はペン入力情報が保持していたタブレット機能付ディスプレイ１０１上に描かれた軌跡からジェスチャを認識する（ステップＳ１７０４）。そして、領域算出部１６０２は、タブレット機能付ディスプレイ１０１上に描かれた軌跡が占める領域の面積を算出する（ステップＳ１７０５）。
【００９４】
ジェスチャ処理部１６０３は、ジェスチャ認識部１６０１により認識されたジェスチャ及び領域算出部により算出された領域の面積に基づいた処理を行う（ステップＳ１７０６）。詳細な例としては、算出された領域の面積が地図の表示領域の面積と比較し、比較した結果に基づいて拡大するか縮小するかを決定する。さらには面積の比率に応じて拡大率あるいは縮小率を決定することも考えられる。
【００９５】
次に表示処理部１０８は、ステップＳ１７０６による処理結果を表示するための処理を行う（ステップＳ１７０７）。そしてタブレット機能付ディスプレイ１０１は、表示処理部１０８で処理された結果を表示する（ステップＳ１７０８）。
【００９６】
上述した処理手順により、入力されたジェスチャのみならず、軌跡として描かれた領域の占める面積に基づいた処理が可能となる。
【００９７】
次に、上述した処理手順において、ジェスチャ認識部１６０１が縮小拡大を示すジェスチャと認識した場合の処理について説明する。図１９は、ジェスチャ認識部１６０１が縮小拡大を示すジェスチャと認識した場合の図１８のステップＳ１７０４からステップＳ１７０６までの詳細な処理手順を示すフローチャートである。なお、本処理手順において、タブレット機能付ディスプレイ１０１は、地図を表示しているものとする。
【００９８】
ジェスチャ認識部１６０１は、ペン入力情報が保持していたタブレット機能付ディスプレイ１０１上に描かれた軌跡から、拡大縮小を示すジェスチャを認識する（ステップＳ１８０１）。
【００９９】
次に領域算出部１６０２は、タブレット機能付ディスプレイ１０１上に描かれた軌跡が占める領域の面積を算出する（ステップＳ１８０２）。
【０１００】
そしてジェスチャ処理部１６０３は、ジェスチャ認識部１６０１から入力された情報から拡大縮小を行うこととし、さらに領域算出部１６０２により算出された領域の面積が地図の描画領域の面積より大きいか否かを判定する（ステップＳ１８０３）。
【０１０１】
ジェスチャ処理部１６０３は、領域算出部１６０２により算出された領域の方が小さいと判定した場合（ステップＳ１８０３：Ｎｏ）、ジェスチャ処理部１６０３は、領域算出部１６０２により算出された領域の面積と地図の描画領域の面積の比率を算出する（ステップＳ１８０４）。
【０１０２】
図２０は、ジェスチャ処理部１６０３が地図の描画領域より算出された領域の面積の方が小さいと判定された場合の画面例を示した図である。黒線で示された楕円がペンデバイス１５０で描かれたジェスチャであり、領域算出部１６０２により算出される領域は、破線による矩形で示された領域１９０１となる。そして、ジェスチャ処理部１６０３は、ステップＳ１８０３において、領域１９０１による面積と、地図の描画領域１９０２の面積の比較を行った。次にジェスチャ処理部１６０３は、ステップＳ１８０４において、地図の描画領域１９０２の面積と領域１９０１による面積の比率を算出した。
【０１０３】
図１９に戻り、ジェスチャ処理部１６０３は、算出された比率を拡大率として地図を描画する旨を表示処理部１０８に出力する（ステップＳ１８０５）。つまり拡大率が入力された表示処理部１０８は、領域１９０１で示された領域を描画領域１９０２全体に表示するための処理を行う。
【０１０４】
ジェスチャ処理部１６０３は、領域算出部１６０２により算出された領域の方が大きいと判定した場合（ステップＳ１８０３：Ｙｅｓ）、ジェスチャ処理部１６０３は、デフォルトの縮小率で地図を描画する旨を表示処理部１０８に出力する（ステップＳ１８０６）。デフォルトの縮小率とは、予め設定されている縮小率を示し、利用者の利便性に基づいて設定するものとする。デフォルトの縮小率としては、例えば１／２などが考えられる。
【０１０５】
図２１は、ジェスチャ処理部１６０３が地図の描画領域より算出された領域の面積の方が大きいと判定された場合の画面例を示した図である。そして、黒線で示された楕円がペンデバイス１５０で描かれたジェスチャであり、領域算出部１６０２により算出される領域は、破線による矩形で示された領域２００１となる。そして、ジェスチャ処理部は、ステップＳ１８０３において、領域２００１による面積と、地図の描画領域１９０２の面積の比較を行った。
【０１０６】
そして、上述した処理により縮小拡大する旨を取得した表示処理部１０８は、縮小拡大表示するための処理が行い、タブレット機能付ディスプレイ１０１は縮小拡大した地図を表示することが可能となる。
【０１０７】
本実施の形態のＰＤＡ１６００は、ペンデバイスで描画するときにジェスチャのサイズを変更するだけで、縮小か拡大か選択することが可能となり、さらに拡大率をも変更することが可能となった。
【０１０８】
なお、本実施の形態は、ジェスチャの大小の判定を、面積に基づいて判定するものに制限するものではない。
【０１０９】
また、本実施の形態においては、ジェスチャとして描かれた軌跡の面積に基づいて拡大縮小する場合について説明したが、描画領域を変更するジェスチャが認識された場合において、ジェスチャの向きと方向に基づいて描画範囲を変更するなど様々な処理に用いることが考えられる。例えば、ジェスチャとして矢印が描かれた場合、矢印方向の地図の表示する処理を行う場合、矢印の大きさに比例して地図を描画する領域の移動量が決定される等が考えられる。
【０１１０】
なお、本実施の形態においては、第１の実施の形態に係るＰＤＡ１００のジェスチャ認識部１０５の処理をジェスチャ認識部１６０１に変更した形態の説明をしたが、第２の実施の形態に係るＰＤＡ３００あるいは第３の実施の形態に係るＰＤＡ１０００のジェスチャ認識部１０５をジェスチャ認識部１６０１に変更し、かつジェスチャ処理部１０６をジェスチャ処理部１６０３に変更した形態で、上述した処理を実施しても良い。
【０１１１】
第４の実施の形態においては、利用者に描かれた軌跡の領域の大きさに基づいて、ＰＤＡ１６００で行う処理を簡単に変更することが可能となった。
【産業上の利用可能性】
【０１１２】
ジェスチャ入力装置、ジェスチャ入力方法及びジェスチャ入力プログラムは、ジェスチャ入力を行う装置等に有用であり、特に、ペンデバイスにより入力された軌跡をジェスチャ入力とするか否かを切り替える技術として有用である。
【図面の簡単な説明】
【０１１３】
【図１】第１の実施の形態に係るＰＤＡの構成を示すブロック図である。
【図２】第１の実施の形態に係るＰＤＡにおいてペンデバイスによる入力からタブレット機能付ディスプレイに表示するまでのフローチャートである。
【図３】第１の実施の形態に係るＰＤＡについてジェスチャ入力及びストローク入力された画面例を示した図である。
【図４】第１の実施の形態に係るＰＤＡのハードウェア構成を示した図である。
【図５】第２の実施の形態に係るＰＤＡの構成を示すブロック図である。
【図６】第２の実施の形態に係るＰＤＡの記憶部が記憶する表示ジェスチャテーブルの一例を示した図である。
【図７】第２の実施の形態に係るＰＤＡの記憶部が記憶するジェスチャ領域テーブルの一例を示した図である。
【図８】第２の実施の形態に係るＰＤＡのタブレット機能付ディスプレイ上に表示された画面の予め定められた領域とジェスチャ領域名とを対応付けて示した説明図である。
【図９】第２の実施の形態に係るＰＤＡにおいてペンデバイスを検知してから入力可能なジェスチャをポップアップ形式で表示するまでのフローチャートである。
【図１０】第２の実施の形態に係るＰＤＡのジェスチャ候補取得部がペン入力情報に基づいて、表示するジェスチャの候補を取得するまでのフローチャートである。
【図１１】第２の実施の形態に係るＰＤＡにおいて入力可能なジェスチャがポップアップ形式で表示されたタブレット機能付ディスプレイの画面例を示した図である。
【図１２】第３の実施の形態にかかるＰＤＡの構成を示すブロック図である。
【図１３】第３の実施の形態に係るＰＤＡの記憶部が記憶する表示ジェスチャ履歴テーブルの一例を示した図である。
【図１４】第３の実施の形態に係るＰＤＡのジェスチャ候補取得部がペン入力情報に基づいて、表示するジェスチャの候補を取得するまでのフローチャートである。
【図１５】第３の実施の形態に係るＰＤＡにおいて入力可能なジェスチャがポップアップ形式で表示されたタブレット機能付ディスプレイ１０１の画面例を示した図である。
【図１６】第３の実施の形態に係るＰＤＡがジェスチャ認識を一度も行われていない状態においてポップアップ形式で表示したタブレット機能付ディスプレイの画面例を示した図である。
【図１７】第４の実施の形態に係るＰＤＡの構成を示すブロック図である。
【図１８】第４の実施の形態に係るＰＤＡにおいてペンデバイスで入力されてタブレット機能付ディスプレイに表示するまでフローチャートである。
【図１９】第４の実施の形態に係るＰＤＡにおいてジェスチャ認識部が縮小拡大を示すジェスチャと認識してから、認識したジェスチャに対応した処理を行うまでのフローチャートである。
【図２０】第４の実施の形態に係るＰＤＡにおいてジェスチャ処理部が地図の描画領域より、領域算出部で算出された領域の面積の方が小さいと判定された場合の画面例を示した図である。
【図２１】第４の実施の形態に係るＰＤＡにおいてジェスチャ処理部が地図の描画領域より、領域算出部で算出された領域の面積の方が大きいと判定された場合の画面例を示した図である。
【符号の説明】
【０１１４】
１００、３００、１０００、１６００  ＰＤＡ
１０１  タブレット機能付ディスプレイ
１０２、３０５  入力処理部
１０３  入力モード切替部
１０４  入力モード判定部
１０５、１６０１  ジェスチャ認識部
１０６  ジェスチャ処理部
１０７  ストローク処理部
１０８、３０３  表示処理部
１５０  ペンデバイス
３０１、１００１  ジェスチャ候補取得部
３０２、１００２  記憶部
３０４  ジェスチャ表示処理部
４０１、４０２  予め定められたジェスチャを認識する領域
４０３  ストローク入力を行った領域
５０１  ＧｅｓｕｔｕｒｅＡｒｅａ１
５０２  ＧｅｓｕｔｕｒｅＡｒｅａ２
５０３  ＧｅｓｕｔｕｒｅＡｒｅａ３
５０４  ＧｅｓｕｔｕｒｅＡｒｅａ４
５０５  ＧｅｓｕｔｕｒｅＡｒｅａ５
５０６  ＧｅｓｕｔｕｒｅＡｒｅａ６
６０１  ＣＰＵ
６０２  ＲＯＭ
６０３  ＲＡＭ
６０４  表示部
６０５  入力Ｉ／Ｆ
６０６  通信Ｉ／Ｆ
７０１、１３０１、１４０１  ジェスチャのポップアップ表示
７０２〜７０４、１３０２、１３０３  ジェスチャの軌跡
１００３  ジェスチャ履歴更新部
１６０２  領域算出部
１６０３  ジェスチャ処理部
１９０１  ジェスチャとして描かれた領域の面積
１９０２  地図の描画領域
【図１】
2006099468.tif 000003
【図２】
2006099468.tif 000004
【図３】
2006099468.tif 000005
【図４】
2006099468.tif 000006
【図５】
2006099468.tif 000007
【図６】
2006099468.tif 000008
【図７】
2006099468.tif 000009
【図８】
2006099468.tif 000010
【図９】
2006099468.tif 000011
【図１０】
2006099468.tif 000012
【図１１】
2006099468.tif 000013
【図１２】
2006099468.tif 000014
【図１３】
2006099468.tif 000015
【図１４】
2006099468.tif 000016
【図１５】
2006099468.tif 000017
【図１６】
2006099468.tif 000018
【図１７】
2006099468.tif 000019
【図１８】
2006099468.tif 000020
【図１９】
2006099468.tif 000021
【図２０】
2006099468.tif 000022
【図２１】
2006099468.tif 000023