(57)【要約】【課題】ジェスチャーの軌跡を表すストロークの形状、繰り返し回数を限定することなく、同じジェスチャーの繰り返し入力が容易に行えるジェスチャー判定装置を提供する。【解決手段】（ａ）ジェスチャーの軌跡を表す時系列な点座標が入力される度に、当該入力された点座標とそれ以前に入力された点座標からなる入力軌跡と、記憶手段に記憶されている各ジェスチャーの軌跡の特徴とを比較し、該入力軌跡がいずれか１つのジェスチャーの軌跡の特徴を満足するとき、そのジェスチャーを該入力軌跡に対応するジェスチャーと判定し、該ジェスチャーの識別情報を出力し、（ｂ）点座標が入力される度に、当該入力された点座標と当該点座標が入力された時点から予め定められた時間前までの間に入力された点座標とを含む複数の点座標が、予め定められた距離内に停留している停留状態であるか否かを判定し、停留状態と判定され、且つそれ以前にジェスチャーが判定されているとき、該ジェスチャーの識別情報を出力する。【選択図】      図３
2009093291.tif 000002
【特許請求の範囲】
【請求項１】
ジェスチャーの軌跡を表す時系列な点座標を入力する入力手段と、
複数のジェスチャーのそれぞれについて、該ジェスチャーと判定するために必要な軌跡の特徴と該ジェスチャーの識別情報とを記憶する記憶手段と、
前記入力手段で点座標が入力される度に、当該入力された点座標とそれ以前に入力された点座標からなる入力軌跡と、前記記憶手段に記憶されている各ジェスチャーの軌跡の特徴とを比較し、該入力軌跡が前記複数のジェスチャーのうち１つの軌跡の特徴を満足するとき、そのジェスチャーを該入力軌跡に対応するジェスチャーと判定し、該ジェスチャーの識別情報を出力するジェスチャー判定手段と、
前記入力手段で点座標が入力される度に、当該入力された点座標と当該点座標が入力された時点から予め定められた時間前までの間に入力された点座標とを含む複数の点座標が、予め定められた距離内に停留している停留状態であるか否かを判定する停留判定手段と、
前記停留判定手段で停留状態と判定され、且つそれ以前に前記ジェスチャー判定手段でジェスチャーが判定されているとき、該ジェスチャーの識別情報を出力する繰り返し出力手段と、
を含むジェスチャー判定装置。
【請求項２】
前記繰り返し出力手段は、前記停留判定手段で停留状態と判定される以前に前記ジェスチャー判定手段で複数のジェスチャーが判定されているとき、該複数のジェスチャーのうち最後に判定されたジェスチャーの識別情報を出力することを特徴とする請求項１記載のジェスチャー判定装置。
【請求項３】
前記入力手段は、位置座標検知面上で検知された前記点座標を入力し、
前記繰り返し出力手段は、さらに、前記位置座標検知面の予め定められた領域内に、前記複数の点座標の全部または一部が停留しているとき、前記ジェスチャーの識別情報を出力することを特徴とする請求項１記載のジェスチャー判定装置。
【請求項４】
前記領域は、前記位置座標検知面の周辺部に設けられている事を特徴とする請求項３記載のジェスチャー判定装置。
【請求項５】
前記記憶手段に記憶されている各ジェスチャーの軌跡の特徴は、該ジェスチャーと判定するために必要な条件であることを特徴とする請求項１記載のジェスチャー判定装置。
【請求項６】
ジェスチャーの軌跡を表す時系列な点座標を入力する入力手段と、
複数のジェスチャーのそれぞれについて、該ジェスチャーと判定するために必要な軌跡の特徴と該ジェスチャーの識別情報とを記憶する記憶手段と、
前記入力手段で点座標が入力される度に、当該入力された点座標とそれ以前に入力された点座標からなる入力軌跡からジェスチャーを判定するジェスチャー判定手段と、
前記入力手段で点座標が入力される度に、前記入力軌跡が停留状態であるか否かを判定する停留判定手段と、
前記入力手段で点座標が入力される度に、前記ジェスチャー判定手段で判定されたジェスチャーの繰り返しが指示されているか否かを判定する繰り返し判定手段と、
を備えたジェスチャー判定装置におけるジェスチャー判定方法であって、
前記入力手段が、前記点座標を入力する入力ステップと、
前記ジェスチャー判定手段が、前記入力ステップで入力された点座標とそれ以前に入力された点座標からなる入力軌跡と、前記記憶手段に記憶されている各ジェスチャーの軌跡の特徴とを比較し、該入力軌跡が前記複数のジェスチャーのうち１つの軌跡の特徴を満足するとき、そのジェスチャーを該入力軌跡に対応するジェスチャーと判定し、該ジェスチャーの識別情報を出力するステップと、
前記停留判定手段が、前記入力された点座標と当該点座標が入力された時点から予め定められた時間前までの間に入力された点座標とを含む複数の点座標が、予め定められた距離内に停留している停留状態であるか否かを判定するステップと、
前記繰り返し判定手段が、前記停留状態と判定され、且つそれ以前にジェスチャーが判定されているとき、該ジェスチャーの繰り返しと判定し、該ジェスチャーの識別情報を出力するステップと、
を含むジェスチャー判定方法。
【請求項７】
コンピュータを、
ジェスチャーの軌跡を表す時系列な点座標を入力する入力手段、
複数のジェスチャーのそれぞれについて、該ジェスチャーと判定するために必要な軌跡の特徴と該ジェスチャーの識別情報とを記憶する記憶手段、
前記入力手段で点座標が入力される度に、当該入力された点座標とそれ以前に入力された点座標からなる入力軌跡と、前記記憶手段に記憶されている各ジェスチャーの軌跡の特徴とを比較し、該入力軌跡が前記複数のジェスチャーのうち１つの軌跡の特徴を満足するとき、そのジェスチャーを該入力軌跡に対応するジェスチャーと判定し、該ジェスチャーの識別情報を出力するジェスチャー判定手段、
前記入力手段で点座標が入力される度に、当該入力された点座標と当該点座標が入力された時点から予め定められた時間前までの間に入力された点座標とを含む複数の点座標が、予め定められた距離内に停留している停留状態であるか否かを判定する停留判定手段、
前記停留判定手段で停留状態と判定され、且つそれ以前に前記ジェスチャー判定手段でジェスチャーが判定されているとき、該ジェスチャーの識別情報を出力する繰り返し出力手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャーの軌跡から該ジェスチャーを判定するジャスチャー判定装置に関する。
【背景技術】
【０００２】
指やペンなどで操作するコンピュータや携帯電話といった電子機器では、指やペンなどによるジェスチャーの軌跡を表すストローク（例えば筆跡）を入力し、この入力ストロークの形状、方向、大きさなどの情報に基づいて、対応するジェスチャーを判定するジェスチャー判定機能がある。例えば、このジェスチャー判定機能を使うことで、判定されたジェスチャーの種類に応じて、ポインタの移動、カーソル移動、文字の削除、空白や改行の挿入といったコマンドを電子機器に指示できる。通常、これらのコマンドは連続して繰り返し入力することが多いのだが、従来のジェスチャー判定装置では、連続して入力する場合に不便な点があった。
【０００３】
例えば、特許文献１では、１画単位でジェスチャーを判定しなければいけないため、図１に示すように、同じ形状のジェスチャーを何度も繰り返し入力しなければならなかった。
【０００４】
特許文献２記載の円形のジェスチャーの場合、連続して無限回数コマンド入力が可能になるが、コマンドの種類は時計回りと反時計回りの２種類に限定されるため、２種類を超えるコマンドを指示したいときには不向きである。
【０００５】
特許文献３記載のエッジモーション機能は、指がタッチパッドの端に達しても、その指を離すまでポインタの移動を継続させるという機能である。これにより、ユーザは、指がタッチパッドの端に到達してもポインタの移動を継続できる。この機能では、指の停留ではなく、指がタッチパッドの端にあることを判定し、そのときに特別なポインタの移動処理を行っている。また、指がタッチパッドの中心部分から端へ移動した以降に至る一連の操作の中で、同じポインタ移動を継続して指示するができない場合がある。たとえば図２に示すように、それまでのポインタの動きが左上に移動しているにもかかわらず、指が左端に達してからは、ポインタは左方向に移動してしまう。
【特許文献１】特開２００２−２０３２０８号公報
【特許文献２】特開平９−２３０９９３号公報
【特許文献３】特開２００４−９４９６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
以上説明したように、従来は、ジェスチャーの軌跡を表すストロークの形状や、繰り返し回数に制限されて、同じジェスチャーの繰り返し入力が容易に行えないという問題点があった。
【０００７】
そこで、本発明は上記問題点に鑑み、ジェスチャーの軌跡を表すストロークの形状、繰り返し回数を限定することなく、同じジェスチャーの繰り返し入力が容易に行えるジェスチャー判定装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
（ａ）ジェスチャーの軌跡を表す時系列な点座標が入力される度に、当該入力された点座標とそれ以前に入力された点座標からなる入力軌跡と、記憶手段に記憶されている各ジェスチャーの軌跡の特徴とを比較し、該入力軌跡がいずれか１つのジェスチャーの軌跡の特徴を満足するとき、そのジェスチャーを該入力軌跡に対応するジェスチャーと判定し、該ジェスチャーの識別情報を出力し、（ｂ）点座標が入力される度に、当該入力された点座標と当該点座標が入力された時点から予め定められた時間前までの間に入力された点座標とを含む複数の点座標が、予め定められた距離内に停留している停留状態であるか否かを判定し、停留状態と判定され、且つそれ以前にジェスチャーが判定されているとき、該ジェスチャーの識別情報を出力する。
【発明の効果】
【０００９】
繰り返し回数を限定することなく、同じジェスチャーの繰り返し入力が容易に行える。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態について図面を参照して説明する。
【００１１】
図３は、本実施形態に係るジェスチャー判定装置を適用した判定部１００の構成例と、該判定部１００を用いて、指やペンなどで操作するＰＤＡやタブレットＰＣなどの携帯型情報端末装置全体の構成例を示したものである。
【００１２】
図３の携帯型端末装置は、大きく分けて、判定部１００、ペンや指などによるジェスチャーの軌跡を表す時系列な座標データを検出するための、例えば位置座標検知面（例えばタブレット面）を有するタブレットやタッチパネル等の入力部１０１、判定部１００で判定されたジェスチャーの識別情報（ジェスチャーコード）が入力され、該ジェスチャーコードに対応するコマンドを実行する処理部１０２、及びディスプレイ１０３からなる。
【００１３】
判定部１００は、軌跡情報入力部１、ジェスチャー判定部２、停留判定部３、ジェスチャリピート判定部４、及び第１の記憶部５を含む。
【００１４】
入力部１０１は、ユーザがペンや指などを用いて行ったジェスチャーの軌跡（ストロークまたは筆跡）を表す時系列な座標データを検出し、これが判定部１００の軌跡情報入力部１に入力される。
【００１５】
ここでは、入力部１０１は、例えば、ペンや指などでタブレット上に筆記する筆跡を表す点座標を一定時間間隔に検出し、これが判定部１００の軌跡情報入力部１に入力される。
【００１６】
筆跡を表す座標データは以下に示すような時系列データとして表現できる。
【００１７】
Ｐ１（Ｘ［１］、Ｙ［１］）、…、Ｐｉ（Ｘ［ｉ］，Ｙ［ｉ］）、…、Ｐｋ（Ｘ［ｋ］，Ｙ［ｋ］）
Ｐｉは時刻ｉでの入力部１０１の座標入力平面上の筆点である。Ｘ［ｉ］、Ｙ［ｉ］はＰｉのＸ座標とＹ座標である。ジェスチャーの軌跡、すなわちここでは筆跡（ストローク）は、一定時間間隔の点列で表され、各点座標はそのときのペン先あるいは指先の位置を表す。以下では、Ｙ座標は下方向が正、Ｘ座標は右方向が正として説明を行う。
【００１８】
次に、図４に示すフローチャートを参照して、図３の判定部１００の処理動作の概略を説明する。
【００１９】
入力部１０１で検出されたペン先や指先などによるジェスチャーの軌跡を表す筆点の座標は、一定時間間隔で軌跡情報入力部１に入力される（ステップＳ１０１）。
【００２０】
ジェスチャー判定部２は、筆点の座標が入力される度に、当該入力された筆点とそれ以前に入力された筆点からなる入力軌跡（入力ストローク）の向き、長さ、形状などの特徴から、該入力ストロークがジェスチャーであるか否かを判定する（ステップＳ１０２）。ジェスチャーであると判定された場合には、そのジェスチャーの種類を表す識別情報、すなわち、ジェスチャーコードを処理部１０２へ出力する（ステップＳ１０５）。ジェスチャー判定部２の判定結果は、筆点の座標が入力される時間間隔でジェスチャーリピート判定部４にも出力される。ジェスチャーと判定されなかった場合も、その旨がジェスチャーリピート判定部４に出力されてもよい。
【００２１】
第１の記憶部５は、異なる複数のジェスチャーのそれぞれについて、該ジェスチャーと判定するために必要な入力ストロークの特徴（入力ストロークの向き、長さ、形状などに対する条件など）と該ジェスチャーの識別情報（ジェスチャーコード）とを記憶する。
【００２２】
ジェスチャー判定部２は、筆点が入力される度に、当該入力された筆点とそれ以前に入力された筆点からなる入力ストロークの向き、長さ、形状などと、第１の記憶部５に記憶されている各ジェスチャーの特徴とを比較し、該入力ストロークが、どのジェスチャーの特徴を満たすかを調べる。入力ストロークが、第１の記憶部５に記憶されているいずれか１つのジェスチャーの特徴を満たすとき、該入力ストロークは該ジェスチャーと判定し、該ジェスチャーのコードを出力する。
【００２３】
一方、停留判定部３も、一定時間間隔で筆点の座標が入力される度に、当該入力時刻に入力ストロークが停留状態にあるかどうかを判定する（ステップＳ１０３）。滞留状態とは、予め定められた時間（Ｔ）以上、その間に入力された各筆点が予め定められた距離内に停留している状態をいう。
【００２４】
ジェスチャーリピート判定部４は、一定時間間隔で筆点の座標が入力される度に、停留判定部３の判定結果と、ジェスチャー判定部２の判定結果を基に、現在時刻以前にジェスチャー判定部２で判定されたジェスチャーの繰り返しが指示されているか否かを判定する。すなわち、入力ストロークが停留状態であり、且つジェスチャー判定部２で当該入力時刻以前に既にジェスチャーが判定されているとき、当該入力時刻以前にジェスチャー判定部２で判定された複数のジェスチャーのうちの最後のジェスチャーを繰り返すジェスチャーリピートを行うと判定する（ステップＳ１０４）。
【００２５】
ステップＳ１０４において、ジェスチャーリピート判定部４が当該入力時刻において、ジェスチャーリピートを行うと判定した場合、ステップＳ１０５へ進み、当該入力時刻以前にジェスチャー判定部２で判定された複数のジェスチャーのうちの最後のジェスチャーの識別情報（ジェスチャーコード）を処理部１０２へ出力する。
【００２６】
以上のステップＳ１０１〜ステップＳ１０５の処理を軌跡情報入力部１に筆点の座標が入力される度に行う。
【００２７】
以下、マウスポインターやカーソルを上、下、左、右、右上、右下、左上、左下の８方向に移動するカーソル移動操作を行うコマンドに対応付けられたジェスチャーを判定する場合を例にとり説明する。
【００２８】
図５は、８方向のカーソル移動操作に対応付けられた８つのジェスチャーの軌跡（ストローク）を示したもので、８方向のカーソル移動操作には、カーソルを移動させたい方向に軌跡を描くジェスチャーがそれぞれ割り当てられている。
【００２９】
この８方向のジェスチャーを例にとり、筆点Ｐｉ（Ｘ［ｉ］、Ｙ［ｉ］）が入力された時のジェスチャー判定部２の処理動作（図４のステップＳ１０２、ステップＳ１０５）を図６に示すフローチャートを参照して説明する。なお、ここでは、時刻ｉを、ペン先や指先などが入力部１０１の位置座標検知面に触れたことが検出されてから、ペン先や指先が離れるまでの間に一定時間間隔で検出された筆点の番号として表す。
【００３０】
ペン先や指先などが入力部１０１の入力面に触れたことが検出されたときを時刻ｉ＝１とする（ステップＳ１）。
【００３１】
ペン先や指先などが入力部１０１の位置座標検知面に触れたとき（時刻ｉ＝１）に入力部１で検出された筆点の座標データＰｉ（Ｘ［ｉ］，Ｙ［ｉ］）＝Ｐ１（Ｘ［１］，Ｙ［１］）が軌跡情報入力部１に入力される（ステップＳ２）。このとき時刻ｉは「１」であるので（ステップＳ３）、ステップＳ４へ進み、該筆点を、ジェスチャーを判定するための入力ストロークの起点（Ｘ0，Ｙ0）に設定する。すなわち、（Ｘ0，Ｙ0）＝（Ｘ［１］，Ｙ［１］）とする（ステップＳ４）。
【００３２】
次に、ステップＳ５へ進み、起点（Ｘ0，Ｙ0）から入力された筆点Ｐｉ（Ｘ［ｉ］，Ｙ［ｉ］）までの入力ストロークのＸ座標、Ｙ座標の差Ｄx、Ｄyを求める。
【００３３】
Ｄｘ＝Ｘ［ｉ］−Ｘ0
Ｄｙ＝Ｙ［ｉ］−Ｙ0
さらにステップＳ６ヘ進み、Ｄｘ、Ｄｙが、第１の記憶部５に記憶されているいずれか１つのジェスチャーの特徴を満たし、ジェスチャーであると判定された場合には、時刻ｉにおけるジェスチャー判定結果として、該ジェスチャーの識別情報を処理部１０２及びジェスチャーリピート判定部４に出力する。その後、ステップＳ８へ進む。
【００３４】
Ｄｘ、Ｄｙが、第１の記憶部５に記憶されているどのジェスチャーの特徴も満足しない場合には、時刻ｉにおいてジェスチャーと判定されなかったので、ステップＳ７へ進む。なお、このとき、時刻ｉにおいてジェスチャーと判定されなかった旨のジェスチャー判定結果をジェスチャーリピート判定部４に出力するようにしてもよい。
【００３５】
なお、現在時刻ｉは「１」であり、ジェスチャーと判定されなかったので、ステップＳ６からステップＳ７ヘ進む。
【００３６】
ステップＳ７において、次の筆点の入力時刻i＝２になると、ステップＳ２へ進み、２番目の筆点の座標データＰ２（Ｘ［２］，Ｙ［２］）が入力され、ステップＳ３に進む。ステップＳ３では、時刻ｉは「２」であるので、ステップＳ５へ進み、起点（Ｘ0，Ｙ0）から筆点Ｐ２までの入力ストロークのＸ座標、Ｙ座標の差Ｄx、Ｄyを求める。そして、ステップＳ６ヘ進み、Ｄｘ、Ｄｙからジェスチャーと判定されなかった場合には、ステップＳ７へ進み、ステップＳ２〜ステップＳ６を繰り返す。
【００３７】
時刻ｉ＝ｋのときに、筆点Ｐｋ（Ｘ［ｋ］，Ｙ［ｋ］）が入力され（ステップＳ１〜ステップＳ２）、ステップＳ３からステップＳ５へ進み、起点（Ｘ0，Ｙ0）＝（Ｘ［１］，Ｙ［１］）から筆点Ｐｋまでの入力ストロークのＸ座標、Ｙ座標の差Ｄx、Ｄyを求める。
【００３８】
ステップＳ６では、Ｄｘ、Ｄｙが、第１の記憶部５に記憶されているジェスチャーの特徴を満たすかどうか調べる。
【００３９】
第１の記憶部５には、以下に示すような各ジェスチャーに対し、該ジェスチャーと判定するために必要な入力ストロークの向き、長さ等の特徴（入力ストロークに対する条件）が予め記憶されている。
【００４０】
なお、ここでは、Ｙ座標は下方向が正、Ｘ座標は右方向が正として表し、Ｈはジェスチャー判定のための予め定められた閾値である。
【数１】
2009093291.tif 000003
【００４１】
ステップＳ６では、起点（Ｘ0，Ｙ0）から筆点Ｐｋまでの入力ストロークのＤｘ、Ｄｙと、第１の記憶部５に記憶されている各ジェスチャーに対応する条件とを比較して、該入力ストロークのＤｘ、Ｄｙが条件を満足するジェスチャーを探索する。
【００４２】
該入力ストロークのＤｘ、Ｄｙが満足する条件のジェスチャーが１つだけであれば、該入力ストロークを該ジェスチャーと判定して、時刻ｋにおけるジェスチャーの判定結果として、該ジェスチャーの識別情報を処理部１０２及びジェスチャーリピート判定部４に出力する。その後、ステップＳ８へ進む。
【００４３】
なお、該入力ストロークのＤｘ、Ｄｙが満足する条件のジェスチャーが複数あれば、当該複数のジェスチャーのうち、その条件に対する該入力ストロークのＤｘ、Ｄｙの満足度が最も大きいジェスチャーを選択して、これを判定結果とする。例えば、上記条件の場合、左辺が最も大きい値となるジェスチャーを選択する。
【００４４】
ステップＳ８では、ジェスチャーを判定するための入力ストロークの起点（Ｘ0，Ｙ0）を、筆点Ｐｋの座標データに更新する。すなわち、（Ｘ0，Ｙ0）＝（Ｘ［ｋ］，Ｙ［ｋ］）とする（ステップＳ８）。その後ステップＳ７、ステップＳ２へ進み、次の（時刻ｉ＝ｋ＋１の）筆点の座標データＰｋ＋１（Ｘ［ｋ＋１］，Ｙ［ｋ＋１］）が入力される。
【００４５】
以降は、ペン先や指先が入力面を離れて、１ストロークの入力が終了するまで、一定時間間隔で筆点Ｐｉが入力される度に、上記ステップＳ２からステップＳ８の処理を繰り返す。
【００４６】
ペン先や指先が入力面を離れて、１ストロークの入力が終了した後、再び、ペン先や指先などが入力部１０１の入力面に触れたことが検出されて、別のストロークの入力が開始されると、ステップＳ１から処理を開始する。
【００４７】
次に、図７に示すフローチャートを参照して、停留判定部３とジェスチャーリピート判定部４で実行されるジェスチャーリピート判定処理（図４のステップＳ１０３、ステップＳ１０４、ステップＳ１０５）について説明する。
【００４８】
停留判定部３では、筆点が軌跡情報入力部１から入力される度に、当該入力時刻に筆跡が停留状態にあるかどうかを判定する。すなわち、時刻ｉに、筆点Ｐｉが軌跡情報入力部１を介して入力されると（ステップＳ１１）、当該入力時刻ｉに筆跡が停留状態にあるかどうかを判定する（ステップＳ１２）。
【００４９】
例えば、時刻iで停留状態であると判定するための条件は、
時刻ｉ−Ｔから時刻iまでの筆点の座標が一定距離内にあること
つまり、
ｉ−Ｔ＜＝ｋ，ｌ＜＝ｉを満たすすべてのｋ，ｌで
｜Ｘ［ｋ］−Ｘ［ｌ］｜＜Ｓｘ、｜Ｙ［ｋ］−Ｙ［ｌ］｜＜Ｓｙを満たすとき、
時刻ｉにおいて停留状態であると判定する。ここで、Ｓｘ、Ｓｙは停留状態であると判定するためのｘ、ｙ方向の範囲の閾値である。Ｔは停留状態と判定するために予め定められた時間、すなわち停留時間である。
【００５０】
ステップＳ１２において、時刻iに停留状態であると判定されると、ステップＳ１３へ進み、停留状態でない場合には（上記条件を満たさない場合には）ステップＳ１１へ戻り、次の筆点に対する処理に移る。
【００５１】
ステップＳ１３では、ジェスチャーリピート判定部４は、停留判定部３の停留判定結果と、ジェスチャー判定部２のジェスチャー判定結果とを用いて、時刻ｉにおいて、ジェスチャーの繰り返しが指示されているか否か、すなわち、ジェスチャーリピートを行うか否かを判定する。
【００５２】
ジェスチャーリピートとは、入力ストロークをその直前に判定されたジェスチャーと同じジェスチャーとみなし、そのジェスチャーコードを出力することである。
【００５３】
ジェスチャーリピート判定部４は、（ジェスチャーリピート判定条件１）停留判定部３が時刻ｉで停留状態と判定し、且つ（ジェスチャーリピート判定条件２）ジェスチャー判定部２が時刻ｉ以前に（例えば、時刻ｉ＝１〜ｉまでの間に）既にジェスチャーと判定しているとき、時刻ｉ以前にジェスチャー判定部２で判定された複数のジェスチャーのうちの最後のジェスチャーを繰り返すジェスチャーリピートを行うと判定する。
【００５４】
ステップＳ１３において、ジェスチャーリピート判定部４が時刻ｉにおいて、ジェスチャーリピートを行う判定した場合、ステップＳ１４へ進み、時刻ｉ以前にジェスチャー判定部２で判定された複数のジェスチャーのうちの最後のジェスチャーの識別情報（ジェスチャーコード）を処理部１０２へ出力する。
【００５５】
ステップＳ１３において、時刻ｉ以前に（例えば、時刻ｉ＝１〜ｉまでの間に）、ジェスチャー判定部２でジェスチャーを１つも判定していなかったときには、ステップＳ１１へ戻る。
【００５６】
例えば、ユーザが入力部１０１の位置座標検知面上で、図８（ａ）に示すような軌跡を入力したとする。図８（ａ）において、図６の処理により、時刻ｉ＝ｋ、ｋ＋２、ｋ＋４、ｋ＋６に筆点が入力されたときには、左上ジェスチャーと判定されている。その後、図７に示した処理により、ｉ＝ｋ＋１０に停留状態と判定され、さらに、ジェスチャーリピートと判定されている。このとき、ｉ＝ｋ＋１０直前に左上ジェスチャーと判定されているので、ｉ＝ｋ＋１０以降は、停留状態と判定されている間、左上ジェスチャーを繰り返すジェスチャーリピートと判定される。
【００５７】
ユーザが入力部１０１の位置座標検知面上で、図８（ｂ）に示すような軌跡を入力したとする。図８（ｂ）において、図６の処理により、時刻ｉ＝ｋ、ｋ＋２、ｋ＋４に筆点が入力されたときには、左上ジェスチャーと判定され、時刻ｉ＝ｋ＋６、ｋ＋８、ｋ＋１０に筆点が入力されたときには、右上ジェスチャーと判定されている。その後、図７に示した処理により、ｉ＝ｋ＋１２に停留状態と判定され、さらに、ジェスチャーリピートと判定されている。このとき、ｉ＝ｋ＋１２直前に右上ジェスチャーと判定されているので、ｉ＝ｋ＋１２以降は、停留状態と判定されている間、右上ジェスチャーを繰り返すジェスチャーリピートと判定される。
【００５８】
入力部１のタブレット面などの位置座標検知面（筆跡入力領域）上に、図９に示すように、ジェスチャーリピート判定領域を設けてもよい。図９では、ジェスチャーリピート判定領域は、位置座標検知面の周辺部分（図９では斜線部分）９に設けているが、この場合に限らず、位置座標検知面の中央や、左辺及び右辺の周辺部分、上辺の周辺部分、下辺の周辺部分などに設けてもよい。ジェスチャーリピート判定領域は、位置座標検知面の一部であれば、どこに設けてもよい。
【００５９】
ジェスチャーリピート判定領域を設けた場合、時刻ｉでジェスチャーリピートと判定するためには、ジェスチャーリピートの判定条件として、上記（ジェスチャーリピート判定条件１）及び（ジェスチャーリピート判定条件２）の他に、さらに、時刻ｉ−Ｔから時刻iまでに入力された全ての筆点、またはそのうちの一部（例えば時刻ｉに入力された筆点など）の座標がジェスチャーリピート判定領域の内部にあること、という３つ目の条件が必要となる。すなわち、例えば、次の（ジェスチャーリピート判定条件３）を加える。
【００６０】
（ジェスチャーリピート判定条件３）時刻iでの座標（Ｘ［ｉ］，Ｙ［ｉ］）がジェスチャーリピート判定領域の内部にあること。
【００６１】
筆跡がある微小領域内に一定時間（停留時間Ｔ）以上停留した場合、それは、ジェスチャーリピートのための停留以外にも、単なる書きよどみの場合もあり得る。
【００６２】
そこで、ジェスチャーリピート判定領域を設けて、上記（ジェスチャーリピート判定条件３）を追加することで、ジェスチャーリピートのための停留なのか、単なる書きよどみなのかを正確に判別することができる。
【００６３】
以上説明したように、判定部１００のジェスチャー判定部２、ジェスチャーリピート判定部４から出力されたジェスチャーコードは、処理部１０２のコード変換部１１において、該ジェスチャーコードに対応するコマンドに変換される。
【００６４】
処理部１０２の第２の記憶部１２には、例えば、図１０に示すように、ジェスチャーコードと、これに対応するコマンドとが対応付けて記憶されている。
【００６５】
コード変換部１１は、判定部１００から出力されたジェスチャーコードに対応するコマンドを第２の記憶部１２から検索して、得られたコマンドを処理部１０２内部に出力する。処理部１０２では、このコマンドに基づく処理結果をディスプレイ１０３に表示する。その結果、例えば、「上ジェスチャー」というジェスチャーコードが判定部１００から出力された場合には、ディスプレイ１０３に表示されているカーソルが画面上を上方向に移動する。
【００６６】
また、図８（ａ）に示したように、連続して左上ジェスチャーと判定された後に、ジェスチャーリピートと判定された場合には、その間、ディスプレイ１０３に表示されているカーソルが画面上を左上方向に移動し続ける。
【００６７】
なお、判定部１００は、コード変換部１１及び第２の記憶部１２を含み、ジェスチャー判定部２またはジェスチャーリピート判定部４から出力されたジェスチャーコードをコード変換部１１でコマンドに変換してから処理部１０２に出力してもよい。
【００６８】
以上説明したように、上記実施形態によれば、入力部１０１で位置座標検知面上でペン先や指先が触れて、1ストロークの始点の座標が検知されてから、ペン先や指先が位置座標検知面から離れるまでの1ストロークのジェスチャーの軌跡を表す時系列な点座標が入力される度に、ジェスチャー判定部２が、当該入力された点座標とそれ以前に入力された点座標からなる入力軌跡（入力ストローク）の特徴量と、第１の記憶部５に記憶されている各ジェスチャーの軌跡の特徴とを比較し、該入力軌跡の特徴量が第１の記憶部５に記憶されている複数のジェスチャーのうち１つの軌跡の特徴を満足するとき、そのジェスチャーを該入力軌跡に対応するジェスチャーと判定し、該ジェスチャーの識別情報を出力する。
【００６９】
一方、停留判定部３では、点座標が入力される度に、当該入力された点座標と当該点座標が入力された時点から予め定められた時間前までの間に入力された点座標とを含む複数の点座標が、予め定められた距離内に停留している停留状態であるか否かを判定し、ジェスチャーリピート判定部４は、停留状態と判定され、且つそれ以前にジェスチャーが判定されているとき、該ジェスチャーの繰り返し（ジェスチャーリピート）と判定し、該ジェスチャーの識別情報を出力する。
【００７０】
1ストロークを入力部１０１に入力する1回のジェスチャーを行うことで、1ストロークの途中の複数の段階でジェスチャーを判定できるので、1画筆記する間に連続して複数回（同じまたは異なる複数の）ジェスチャーを入力できる。従って、同じまたは複数の異なるコマンドを連続して入力することができるとともに、一定時間（停留時間Ｔ）、筆点を1カ所に停留させることで、その直前に判定されたジェスチャーに対応するコマンドを何度でも（停留している間ずっと）繰り返し入力することができる。
【００７１】
上記実施形態によれば、従来のジェスチャー判定機能では不便だった、カーソル移動、1文字削除のような連続して行うことが多い操作（コマンド）をユーザが容易に連続して繰り返し指示できるジェスチャーリピート機能を実現できる。
【００７２】
なお、上記実施形態では、第１の記憶手段に記憶されている各ジェスチャーの軌跡の特徴は、該ジェスチャーと判定するために必要な入力ストロークの向き、長さ等に対する条件であったが、この場合に限らず、入力ストロークのパターンでであってもよい。
【００７３】
また、上記実施形態では、ストロークの形状を限定するものではなく、いかなる形状のストロークからでもジェスチャーを判定することができる。また、その途中の複数の段階でもジェスチャーを判定することができる。従って、どのようなジェスチャーからでも、その軌跡を表す点座標が所定時間間隔で取得することができれば、該ジェスチャーを認識することができる。
【００７４】
このように、本願発明によれば、1画分のストローク筆記途中で、少なくとも1回ジェスチャーが判定された後に、一定時間（停留時間Ｔ）、筆点を1カ所に停留させることで、その直前に判定されたジェスチャーの繰り返しを指示するこができ、1画のストロークを入力するジェスチャーで、繰り返し回数を制限することなく、連続的なコマンド入力が容易に行える。
【００７５】
本発明の実施の形態に記載した本発明の手法（判定部１００の各構成部の機能）は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に格納して頒布することもできる。
【００７６】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００７７】
【図１】従来のジェスチャー判定手法を説明するための図。
【図２】従来のジェスチャー判定手法を説明するための図。
【図３】本発明の実施形態に係る判定部と、この判定部を用いた携帯型情報端末装置全体の構成例を示す図。
【図４】図３の判定部の処理動作の概略を説明するためのフローチャート。
【図５】８方向のカーソル移動操作に対応付けられた８つのジェスチャーの軌跡（ストローク）を示した図。
【図６】ジェスチャー判定部の処理動作を説明するためのフローチャート。
【図７】停留判定部及びジェスチャーリピート判定部の処理動作を説明するためのフローチャート。
【図８】ジェスチャーリピートと判定される軌跡の具体例を示した図。
【図９】位置座標検知面上のジェスチャーリピート判定領域を示す図。
【図１０】図３の第２の記憶部におけるジェスチャーコード及びコマンドの記憶例を示した図。
【符号の説明】
【００７８】
１…軌跡情報入力部
２…ジェスチャー判定部
３…停留判定部
４…ジェスチャーリピート判定部
５…第１の記憶手段
１１…コード変換部
１２…第２の記憶部
１００…判定部
１０１…入力部
１０２…処理部
１０３…ディスプレイ
【図１】
2009093291.tif 000004
【図２】
2009093291.tif 000005
【図３】
2009093291.tif 000006
【図４】
2009093291.tif 000007
【図５】
2009093291.tif 000008
【図６】
2009093291.tif 000009
【図７】
2009093291.tif 000010
【図８】
2009093291.tif 000011
【図９】
2009093291.tif 000012
【図１０】
2009093291.tif 000013