(57)【特許請求の範囲】
【請求項１】
液晶ディスプレイ等の表示手段と、
入力ペン等の入力手段により指示された表示手段の表示面上での連続する座標のストロークを出力する座標抽出手段と、
座標抽出手段から出力される最初の座標に対応する表示位置が編集対象となる情報が表示される有効領域であるか否かを判定する判定手段と、
判定手段により有効領域であると判定された最初の座標位置にカーソルを移動するポインティング処理手段と、
判定手段により有効領域外であると判断された最初の座標に連続するストロークは取り込まず、有効領域であると判定された最初の座標に連続するストロークを取り込み予め記憶された基本ストロークと照合し最も近似する基本ストロークに対応する編集コマンドを出力するジェスチャー認識手段と、
ジェスチャー認識手段から出力される編集コマンドに基づき表示手段上の上記有効領域に表示されたカーソルで指示される情報を編集する編集手段とを備えているジェスチャー処理装置。
【請求項２】
上記判定手段は有効領域内の最初の座標に連続する座標についての領域判定を行わないようにした請求項１記載のジェスチャー処理装置。
【請求項３】
液晶ディスプレイ等の表示手段と、入力ペン等の入力手段により指示された表示手段の表示面上での連続する座標のストロークを出力する座標抽出手段とを備えるジェスチャー処理装置におけるジェスチャー処理方法であって、
座標抽出手段から出力される最初の座標に対応する表示位置が編集対象となる情報が表示される予め定められた有効領域であるか否かを判定し、
有効領域外であると判断された最初の座標に連続するストロークは取込まず、有効領域であると判定された最初の座標位置にカーソルを移動した後、有効領域であると判定された最初の座標に連続するストロークを取り込み予め記憶された基本ストロークと照合し最も近似する基本ストロークに対応する編集コマンドを出力し、
出力された編集コマンドに基づき表示手段上の上記有効領域に表示されたカーソルで指示される情報を編集するジェスチャー処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画面上でペン等による手書きでの編集を行えるようにした情報処理装置であり、詳しくは、ジェスチャー処理装置及びジェスチャー処理方法に関するものである。
【０００２】
【従来の技術】
近年、液晶表示等の表示部分と、入力ペン等との当接部位の座標を検出するタブレットとを一体化した表示装置を備え、入力ペンにより直接編集できるように設定された情報機器、いわゆるペン情報入力方式の情報機器が市場に現れている。したがって、上記表示装置は、紙とペンを連想させるように、あたかも原稿用紙での校正と同様のことを、上記タブレット上で実現できるものとなっており、上記のような情報機器としては、例えばシャープ社製の日本語ワードプロセッサ"WV- S200"等が知られている。
【０００３】
これらのペン情報入力機器において、その特性をより生かすための機能として、ジェスチャー機能というものが考えられた。このようなジェスチャー機能は、予め設定して記憶しておいた編集記号により、入力ペンでタブレット上の所望する位置の文字等を、任意の編集記号で描画することにより、表示装置上の文章を編集できるようになっている。
【０００４】
【発明が解決しようとする課題】
ところが、上記従来では、描画開始時のペンダウン時から、描画完了時のペンアップが完了した後に、その入力ペンによるジェスチャー機能が有効か無効かを判別しており、ジェスチャー機能の動作に時間がかかっていた。また、上記従来では、描画中に入力ペンが、ジェスチャー機能の無効領域である、アイコン等の領域を通ると、ジェスチャー機能をキャンセルしていたため、そのようなキャンセル時には再度設定し直して、入力ペンによりタブレット上を描画する必要があり、ジェスチャー機能に手間取っているという問題を生じている。
【０００５】
また、上記従来では、例えば、ユーザーが意図しないで、消去や抹消系の編集記号を入力して、意図しない文章に編集することがあり、そのような文章を元に戻すのに手間取るという問題も生じている。
【０００６】
さらに、上記従来では、ジェスチャー機能を有効に機能させるために、入力ペンの軌跡や編集記号のリスト等を表示できるようになっているが、そのような表示の消去と表示とを繰り返すと、その処理時間が大きくなり処理速度が遅くなるという問題も生じている。
【０００７】
【課題を解決するための手段】
本発明のジェスチャー処理装置は、以上の課題を解決するために、液晶ディスプレイ等の表示手段と、入力ペン等の入力手段により指示された表示手段の表示面上での連続する座標のストロークを出力する座標抽出手段と、座標抽出手段から出力される最初の座標に対応する表示位置が編集対象となる情報が表示される有効領域であるか否かを判定する判定手段と、判定手段により有効領域であると判定された最初の座標位置にカーソルを移動するポインティング処理手段と、判定手段により有効領域外であると判断された最初の座標に連続するストロークは取り込まず、有効領域であると判定された最初の座標に連続するストロークを取り込み予め記憶された基本ストロークと照合し最も近似する基本ストロークに対応する編集コマンドを出力するジェスチャー認識手段と、ジェスチャー認識手段から出力される編集コマンドに基づき表示手段上の上記有効領域に表示されたカーソルで指示される情報を編集する編集手段とを備えていることを特徴としている。
【０００８】
さらに、本発明のジェスチャー処理装置の上記判定手段は有効領域内の最初の座標に連続する座標についての領域判定を行わないようにしたことを特徴としている。
【０００９】
また、本発明のジェスチャー処理方法は、液晶ディスプレイ等の表示手段と、入力ペン等の入力手段により指示された表示手段の表示面上での連続する座標のストロークを出力する座標抽出手段とを備えるジェスチャー処理装置におけるジェスチャー処理方法であって、座標抽出手段から出力される最初の座標に対応する表示位置が編集対象となる情報が表示される予め定められた有効領域であるか否かを判定し、有効領域外であると判断された最初の座標に連続するストロークは取込まず、有効領域であると判定された最初の座標位置にカーソルを移動した後、有効領域であると判定された最初の座標に連続するストロークを取り込み予め記憶された基本ストロークとを照合し最も近似する基本ストロークに対応する編集コマンドを出力し、出力された編集コマンドに基づき表示手段上の上記有効領域に表示されたカーソルで指示される情報を編集することを特徴としている。
【００１１】
上記の本発明によれば、ジェスチャー機能時に上記入力ペン等の入力手段により指示されて座標抽出手段により上記表示面上での最初に指示された座標の出力によって、上記ジェスチャー機能の有効と無効とを判定する判定手段と、その後のストロークによって編集コマンドを出力するジェスチャー認識手段とが設けられているから、ジェスチャー機能の有効／無効とその意図するコマンドとを正確に判断し抽出することができる。
【００１２】
また、本発明によれば入力手段による最初の座標を出力した後に入力されたストロークの座標については、有効／無効の領域判定を行わないようにしたので、最初の座標が有効であれば、例えば、その後の連続したストロークがジェスチャー機能の無効領域に描かれても、ジェスチャー機能そのものが無効となることがない。
【００１３】
【発明の実施の形態】
本発明の一実施例について図１ないし図２３に基づいて説明すれば、以下の通りである。情報処理装置としてのジェスチャー処理装置では、図２に示すブロック図のように、プログラムを実行する中央処理装置（Central Processing Unit 、以下、ＣＰＵという）１が設けられ、そのＣＰＵ１のバスライン１８に、各種データを記憶して読み出すためのＲＡＭ２、制御プログラムを格納しておくＲＯＭ３、プリンタ５を制御するプリンタコントローラ４、外部記憶手段としてのＩＣカード６に対して読み書きするためのＩＣカードインターフェース７、およびフロッピーディスクドライブ（以下、ＦＤＤという）８を制御するＦＤコントローラ９が接続されている。
【００１４】
さらに、上記バスライン１８には、入力手段としてのキーボード１０からの信号を上記バスライン１８に入力するためのキーインターフェース１１と、液晶ディスプレイ等の表示装置１４（表示手段）を制御するための表示コントロール１５とが接続されている。
【００１５】
その上、上記バスライン１８には、上記表示装置１４の画像上と当接して、情報を入力したり、選択したりする入力ペン１２からの信号をペン座標に変換して上記バスライン１８に入力するためのペンインターフェース１３が接続されており、よって、上記入力ペン１２は、上記画像上を示す、いわゆるポインティング機能や、上記画像上を所定のイメージを描画することにより、画像上の情報を選択したり、編集記号を入力したりできるジェスチャー機能のための入力手段となっている。
【００１６】
また、上記バスライン１８には、手書き編集インターフェース１６が接続されており、その手書き編集インターフェース１６では、後に詳述するように、上記の入力ペン１２からのペン座標をそれぞれ示す各座標データの信号により、メモリである手書き認識辞書（記憶手段）１７に基づいて、上記各座標データの認識結果を上記バスライン１８に出力するようになっている。
【００１７】
また、上記手書き認識辞書１７では、文字や記号を示す各基本ストロークが、後述する（１）横書きジェスチャーコマンドテーブル、（２）手書き文字テーブルと（３）縦書きジェスチャーコマンドテーブルというように内容により分類されてそれぞれ格納されている。このような基本ストロークの例としては、改行を示す編集記号である逆Ｌ字が、図３に示すように、９×９の枡目のそれぞれ相当する位置に〇で示したように埋まって示されている。
【００１８】
一方、図２に示すように、前記表示装置１４の画面上に、その画面の各座標を検出するための透明なタブレット（座標抽出手段）１９が一体的に形成されていて、上記タブレット１９は、表示装置１４の文字配列、例えば図４（ｂ）に示す縦40行、横80例に対応するように、図４（ａ）に示す碁盤の目状に各ＸＹ（ 640×400 ）座標が設定されている。
【００１９】
これにより、図２に示す前記入力ペン１２の先端部が、上記タブレット１９上に当接すると、そのタブレット１９におけるペン座標が、前記ペンインターフェース１３にて検出され、座標コードに変換されてバスライン１８に出力される。
【００２０】
なお、上記のタブレットの方式としては、入力ペン１２が当接して描画すると、その軌跡の各座標が検出できるものであれば特に限定されないが、例えば静電結合式タブレットや、電気ひずみおよび磁気ひずみ式タブレット、また、感圧式や超音波式や電気機械式タブレットも使用できる。
【００２１】
このような上記構成を用いて、表示装置１４上に文章を作成する場合、キーボード１０から入力された文字や記号が、キーインターフェース１１にて所定の文字コードや記号コードにそれぞれ変換されて、それら各コードがＣＰＵ１（図１におけるテキスト編集部１ａ）により一旦ＲＡＭ２に順次格納される（図１におけるテキストメモリ２ａ）。
【００２２】
その後、そのＲＡＭ２に格納されたコードを、キーボード１０からの指示とＲＯＭ３に格納されているプログラムとに基づいて、ＣＰＵ１が、表示装置１４に表示できるようにＲＡＭ２上に再度配列する（図１におけるビットマップメモリ２ｂ）。続いて、上記ＲＡＭ２上の各コード配列を、表示コントロール１５を介して表示装置１４上に表示するようなっている。
【００２３】
また、上記構成では、このように一旦表示装置１４上に表示された文章を、キーボード１０、表示装置１４上に設定されたアイコン、または後述する入力ペン１２による指示により編集できて、上記ＣＰＵ（編集手段）１は、所定のプログラムおよび上記指示に従って、ＲＡＭ２におけるビットマップメモリ２ｂの各コード配列を並べ換える、つまり編集することができるようになっている。
【００２４】
次に、表示装置１４上に表示されている文章の編集を容易にするためのジェスチャー機能について説明する。まず、図１に示すように、ＣＲＴや液晶等の表示装置１４と、その表示面上に設けられた透明なタブレット１９とが一体に構成されたディスプレイタブレット２０上で、その表示装置１４上で表示されている文章等の画像の所望の位置において、例えば編集記号を示すイメージを入力ペン１２にて描画する。
【００２５】
そのような描画の各座標データは、上記タブレット１９に接続されている軌跡座標抽出部２１にて順次検出される。このとき、上記座標データの内、上記入力ペン１２とタブレット１９とが最初に当接したＸＹ座標であるペンダウン座標が、図５に示すタブレット１９におけるジェスチャー機能の有効領域１９ａ内であるか無効領域１９ｂ内であるかを、上記軌跡座標抽出部２１からの座標データが入力されるジェスチャー判定部（判定手段）２２にて判定される。
【００２６】
さらに、上記ジェスチャー判定部２２では、上記のペンダウン座標が有効であると判定されると、そのペンダウン座標が、表示装置１４における各表示画面に応じて設定され、入力ペン１２により選択等が実行されるペンボタン領域であるか否かが判定される。
【００２７】
その後、上記ペンダウン座標が、有効領域内であり、かつ、ペンボタン領域でないことが判定されると、上記ジェスチャー判定部２２から座標データが入力される軌跡判定部２３は、ジェスチャー機能のＯＮを示すジェスチャー機能ＯＮフラグをフラグ指示部（停止手段）２４にセットする。
【００２８】
このフラグ指示部２４に、ジェスチャー機能ＯＮフラグがセットされていると、上記の描画軌跡を示す各座標データは、ペンダウン座標も含めて軌跡判定部２３に接続されている座標データバッファ２５にそれぞれ順次記憶される。
【００２９】
その上、上記フラグ指示部２４にジェスチャー機能ＯＮフラグがセットされていると、前記ジェスチャー判定部２２は、入力される座標データが有効領域内であるか否か、およびペンボタン領域であるか否かの判定を停止して、入力された座標データを全て有効として軌跡判定部２３に出力するようになっている。
【００３０】
上記の入力ペン１２による描画が終了して、入力ペン１２がタブレット１９から離間するペンアップの状態となると、軌跡判定部２３は上記のジェスチャー機能ＯＮフラグがセットされていることを確認して、上記各軌跡座標データの全てが上記データバッファ２５からジェスチャーコマンド判定部（ジェスチャー認識手段）２６に出力される。
【００３１】
なお、上記のように各座標データが全てジャスチャーコマンド判定部２６に出力されると、上記フラグ指示部２４によるジェスチャー機能ＯＮフラグがリセットされるようになっている。
【００３２】
上記各軌跡座標データは、そのジャスチャーコマンド判定部２６にて正規化されて図２に示す手書き認識辞書１７に含まれるジェスチャーコマンドテーブル２７にそれぞれ格納されている基本ストロークのデータと照合される。なお、上記のジャスチャーコマンド判定部２７は前記の手書き編集インターフェース１６に含まれ、また、前記の軌跡座標抽出部２１、ジェスチャー判定部２２、軌跡判定部２３およびフラグ指示部２４は、前記のペンインターフェース１３に含まれており、前記の座標データバッファ２５はＲＡＭ２に記憶領域が設定されている。
【００３３】
上記のジェスチャーコマンドテーブル２７には、図示している一字抹消コマンド２７ａ、スペース挿入コマンド２７ｂ、手書き文字入力コマンド２７ｃに対応する基本ストロークの他に、例えば図６および図７に示す複数の基本ストロークが、それぞれ対応するコマンドと共に記憶されている。
【００３４】
また、上記ジェスチャーコマンドテーブル２７における各基本ストロークを、ジャスチャーコマンド判定部２６からアクセス可能とアクセス不可とをそれぞれ選択して設定できるコマンド選択部（選択手段）３２が設けられており、そのコマンド選択部３２での選択は、テキスト編集部１ａを介して入力ペン１２やキーボード１０等の入力手段によって設定できるようになっている。
【００３５】
なお、上記コマンド選択部３２では、各基本ストロークを個々にジャスチャーコマンド判定部２６からアクセス可能とアクセス不可とが選択設定できるようになっており、また、上記各基本ストロークをグルーピングして、各グループ毎に、アクセス可能とアクセス不可とが選択設定（設定手段）できるようにもなっている。
【００３６】
また、上記の各基本ストロークにそれぞれ対応する各コマンドのアクセス可能とアクセス不可とを表にして記憶して、その表を任意に呼び出して表示装置１４で表示するための登録バッファ３３が設けられている。さらに、この登録バッファ３３では、上記コマンド選択部３２においてグルーピングされている場合、例えば、全て無効、一部有効、全て有効から選択できるように、グルーピングの表も記憶できるようになっている。
【００３７】
前記のジャスチャーコマンド判定部２７は、上記の各基本ストロークとの照合の結果、前記の軌跡座標と最も近似する基本ストロークに対応したコマンドを、テキスト編集部１ａに出力すると共に、供給された軌跡座標から上記コマンドにより処理される文字または文字列の座標情報、つまり表示装置１４における位置情報を上記テキスト編集部１ａに出力する。
【００３８】
これにより、上記テキスト編集部１ａは、テキストメモリ２ａ内の文字や記号の配列の上記位置情報の文字や記号を、削除したり、その位置に挿入したりして編集できることになる。このとき、テキスト編集部１ａは、上記のようなジェスチャー機能の起動時に、つまり入力ペン１２による入力操作を開始する直前に、表示装置１４において表示されているテキストメモリ２ａ内の画面情報を、呼び出して一時記憶しておくメモリである画面情報バッファ（記憶領域）３１が設定されている。なお、上記画面情報バッファ３１では、次の画面情報が記憶されると、以前の記憶された画面情報はクリアされるようになっている。
【００３９】
これにより、上記の編集を取り消す場合等、予め以前の画面情報が記憶されているため、例えば図１７に示すように、入力ペン１２の軌跡表示、認識領域の矩形表示、認識情報の表示、認識表示の一覧、処理結果の取消か否かを問うメッセージ等を表示しても、編集画面の再表示、認識機能実行、編集処理の取消し等の実行が迅速化できる。
【００４０】
また、上記のテキスト編集部１ａは、ジャスチャーコマンド判定部２７からのコマンドのみが入力されるだけでなく、前述したようにキーボード１０からのコマンドも入力されて、そのコマンドによる編集等ができるようになっている。
【００４１】
一方、上記の軌跡座標の処理とは独立して、軌跡座標抽出部２１により抽出された軌跡座標データは、軌跡描画部２８に出力されて上記軌跡座標データをつないだ軌跡イメージとなる。
【００４２】
生成された軌跡イメージは、ビットマップメモリ２ｂに現在形成されている文字列、記号列またはイメージと合成されて、そのビットマップメモリ２ｂに記憶される。したがって、オペレータが入力ペン１２で、タブレット１９をなぞって入力したジェスチャーイメージは、リアルタイムに表示装置１４上に表示されることになる。
【００４３】
このようなジェスチャー編集の操作例を図８および図９に示す。まず、図８において、ディスプレイタブレット２０に表示されているテキストの内、文字「え」を一字抹消する場合、入力ペン１２にて「え」の文字の上を「Ｖ」のようにジェスチャー、つまり描画した後、上記入力ペン１２をディスプレイタブレット２０上から離す。
【００４４】
なお、上のような描画の際、その開始位置が、上記の文字の範囲内で有ることが上記の文字の認識において肝要である。特に指示する文字の認識を容易にするため、上記の文字のほぼ中央部から描画を開始することが望ましい。
【００４５】
続いて、その軌跡座標が抽出されて軌跡イメージがディスプレイタブレット２０における表示装置１４に表示されると共に、基本ストロークとの照合により得られた「Ｖ」の描画に相当する一字抹消のコマンドと共に、上記の「え」の文字の位置情報が、テキスト編集部１ａに出力される。
【００４６】
その後、上記の位置情報に基づいて、表示装置１４におけるカーソル１４ａが元の位置、例えば「ほ」の文字の位置から入力ペン１２にて操作された位置、つまり上記の場合文字「え」の位置に移動した後、前記のテキストメモリ２ａ内の上記の「え」を、上記のコマンドに基づき抹消することにより、ビットマップメモリ２ｂ内の上記の「え」の文字が消去され、上記表示装置１４における上記の「え」が抹消される。このようにしてジェスチャー編集が完了する。
【００４７】
また、図９に示すように、各編集記号を図示しない入力ペンにより、ディスプレイタブレット２０上に描画することにより、上記と同様に、ジェスチャー編集が可能となっている。なお、上記の編集記号のイメージである基本ストロークは任意に設定できるようになっている。
【００４８】
次に、上記の構成によるポインティング機能について説明する。まず、従来のワードプロセッサでは、テキスト上の複数文字を領域指定する場合等にはカーソルを順次移動させていたが、上記構成では、カーソル１４ａの位置を直接入力ペン１２の指示によりダイレクトに移動指示が可能となっている。
【００４９】
なお、前記のジェスチャーとポインティングとの切り替えは、抽出された座標が軌跡を伴わない一点の座標であるか否か、すなわち上記各座標が連続であるか否かによって判断しており、このような判断は、前記軌跡判定部２３にて行われている。
【００５０】
そこで、例えば、ポインティングであると判断した場合、得られた座標は、ジェスチャーコマンドテーブル２７と照合せず、その座標の位置情報のみをテキスト編集部１ａに出力させている。このようなポインティング機能の操作例は図１０に示す通りである。
【００５１】
次に、上記構成を用いて、手書き文字入力について説明する。手書き文字入力は、前記のジェスチャー編集が軌跡座標と予め記憶した基本ストロークとを照合する処理と同等の処理方法により実行できるようになっている。
【００５２】
つまり、図１に示すように、ジャスチャーコマンド判定部２６と処理上の同等位置に、すなわち手書き編集インターフェース１６に、手書き文字認識部２９が形成され、手書き文字を予め記憶している手書き文字テーブル３０が、ジェスチャーコマンドテーブル２７と同様に図２に示す手書き認識辞書１７に形成されている。
【００５３】
上記の手書き文字認識部２９は、軌跡座標抽出部２１から供給される軌跡座標と、手書き文字テーブル３０に記憶されている複数の基本文字ストロークとを照合し、最も近似する基本文字ストロークに対応する文字コードを上記の手書き文字テーブル３０からテキスト編集部１ａに出力させる。
【００５４】
このような手書き文字入力機能と、前記のジェスチャー編集機能との異なる点は、手書き文字認識部２９が位置情報を出力しないことである。なお、上記の手書き文字入力機能は、キーボード１０からの指示や、表示装置１４上のアイコンからの指示から立ち上げ可能にしており、また、ディスプレイタブレット２０のタブレット１９上に、図６に示すように、「△」をジェスチャーすることにより、ジェスチャー編集機能から立ち上げ可能となっている。
【００５５】
このような手書き文字入力機能の操作例について説明すると、図１１に示すように、手書き文字入力機能が立ち上げられると、ディスプレイタブレット２０の所定位置に、手書き文字入力のためのウインドウ１４ｂが表示され、そのウインドウ１４ａ内の第１入力エリアに、入力ペン１２にて文字を、例えば「す」と手書きする。
【００５６】
その後、次の入力のため隣接する第２エリアに入力ペン１２を接触させると、そのとき上記の第１エリアに手書きされた軌跡座標の文字認識が、前記の手書き文字テーブル３０を参照して前記手書き文字認識部２９にて前述したように実行され、その認識結果の文字をカーソル１４ａが示す位置に入力して表示するようになっている。
【００５７】
これにより、例えば草書体などの字体を予め、手書き文字テーブル３０に記憶させておき、その草書体を手書きで入力して、上記手書き文字テーブル３０における草書字体を表示・印刷等が可能となっている。
【００５８】
次に、ジェスチャー編集機能における上記構成の動作例について図１２のフローチャートを参照しながら説明すると、まず、入力ペン１２の先端部がディスプレイタブレット２０上の所望する位置で当接または押圧、つまりダウンされると、その時の座標が、ペンインターフェース１３を介して示される。
【００５９】
一方、表示装置１４における例えばアイコン領域や、ペンボタン領域での入力ペン１２の機能は選択機能である。したがって、上記のようなジェスチャー編集機能のディスプレイタブレット２０上での有効範囲は、上記の各領域を除外したタブレット１９領域となる。
【００６０】
このことから、上記ディスプレイタブレット２０におけるタブレット１９では、例えば図１３に示すように、上記のディスプレイタブレット２０において用いられる各画面に応じて予め、タブレット１９における有効領域１９ａと、ジェスチャー機能に優先する例えばアイコン領域を示す無効領域１９ｂと、ジェスチャー機能に優先するペンボタン領域１９ｃがそれぞれ設定されている。
【００６１】
そこで、前述したようにペンダウンが実行されて、その座標データ信号が軌跡座標抽出部２１に出力されると、まず、その最初の入力ペン１２の接触座標であるペンダウン座標を検出し（ステップ１、以下ステップをＳと略す）、前記の有効領域座標とを比較し（Ｓ２）、その結果、上記ペンダウン座標が、有効領域座標外であればジェスチャー機能は無効となりジェスチャー機能が終了する。
【００６２】
また、上記ペンダウン座標が、有効領域座標内であれば、次のステップとして、ジェスチャー機能を禁止する他の要因の一つであるペンボタン領域が、上記ペンダウン座標に有るか否かを検出し（Ｓ３）、そのペンダウン座標が、上記ペンボタン領域の座標上であれば、そのペンボタン処理のルーティンに移行する（Ｓ４）。
【００６３】
一方、上記ペンダウン座標が、ペンボタン領域の座標外であれば、そのペンダウン座標を記憶しておき、入力ペン１２による次の座標データが入力されると、その座標データと上記のペンダウン座標とを比較して、上記入力座標が上記ペンダウン座標に対して連続、つまり、そのＸ座標、Ｙ座標の少なくとも一方が連続てあることが８座標分連続か否かを判定する（Ｓ５）。
【００６４】
このとき、上記各座標データが連続軌跡であれば、ジェスチャー機能をＯＮとして、ジェスチャーＯＮフラグがセットされる（Ｓ６）と共に、入力ペン１２がジェスチャー機能の有効領域外、つまりアイコン領域等を通っても、そのアイコン領域での入力ペン１２のアイコン指示機能は停止される。また、上記Ｓ５における判定が連続軌跡ではない場合、ポインティング処理ルーティンに移行する（Ｓ７）。
【００６５】
なお、上記のＳ５とＳ６のステップを逆、すなわちジェスチャーＯＮフラグのセットが先でもよい。この場合、各座標データが連続でない時、ポインティング処理ルーティンに移行するが、その際には上記ジェスチャーＯＮフラグがリセットされるようになっている。
【００６６】
その後、ジェスチャー操作、つまり入力ペン１２によるタブレット１９上での所定のイメージの入力操作が行われて、入力ペン１２とタブレット１９との当接が解除、すなわち入力ペン１２がアップされると、図１４のフローチャートに示すように、まず、上記のようにジェスチャー機能がＯＮであることを示す前記フラグがセットされているか否かを判定し（Ｓ１１）、上記フラグがセットされていなければ、上記の入力操作がジェスチャー機能と無関係な動作と判定されて、ジェスチャー機能を終了する。
【００６７】
また、上記フラグがセットされていれば、ジャスチャーコマンド判定部２６は、ペンダウン座標からペンアップの座標に至る入力ペン１２の各座標データを、認識処理のために、まず、専用の座標データメモリに正規化して格納する（Ｓ１２）。
【００６８】
次に、上記各座標データの認識処理を、ジャスチャーコマンド判定部２６にて実行し（Ｓ１３）、続いて、ジェスチャーコマンドテーブル２７との比較の上で認識ＯＫであれば（Ｓ１４）、その認識結果にそった各編集処理を実行して（Ｓ１５）、ジェスチャー編集が完了する。また、上記の認識処理で認識不能な場合はエラー処理（Ｓ１６）に移行して、上記のジェスチャー編集を終了する。
【００６９】
このように上記実施例の構成では、ペンアップに際しては、そのときのペン座標が、ジェスチャー機能の有効領域外であっても、その時点でジェスチャー機能ＯＮとなっておれば、ジェスチャー認識を実行できるようになっており、さらに、ペンダウン座標が、前記有効領域内、およびペンボタン領域外であれば、上記ペンダウン座標に続く描画軌跡の座標が、上記の有効領域外、およびペンボタン領域内であって、その描画軌跡の座標データを有効として、その認識処理に移行できるようになっている。
【００７０】
したがって、上記構成は、例えば図１５に示すように、Ａ点で、図示しない入力ペンがダウンされた場合、Ａ点はジェスチャー有効領域１９ａ内にあるため、そのダウン移行後の入力ペンの描画によるジェスチャー機能がＯＮとなり、その入力ペンによる描画が完了後、その入力ペンのアップ座標が例えＢ点となり、そのＢ点がジェスチャー有効領域１９ａ外、つまり無効領域１９ｂとなっても、上記の描画、すなわちジェスチャーは有効となる。また、描画軌跡の途中における各座標が、上記無効領域１９ｂとなっても同様である。
【００７１】
しかし、上記構成は、例えば図１６に示すように、ジェスチャー有効領域外、すなわち無効領域１９ａ内となるＣ点にて、図示しない入力ペンがダウンされると、その入力ペンによる操作はジェスチャー機能ＯＦＦとなり、例えばアイコン処理等に移行することとなる。
【００７２】
ところで、従来のようなジェスチャー機能では、描画が完了した後に、その描画が有効であるか否かを判定していたため、その判定に時間がかかっており、また、上記のような入力ペンによる描画の途中において、その入力ペンが、ジェスチャーの有効領域外の無効領域や、ペンボタン領域となるタブレット領域と当接すると、そのジェスチャー機能の処理が停止して、エラー処理に移行していた。
【００７３】
このため、上記従来では、入力ペンの操作を、操作開始だけではなく操作完了までの操作に気を使う必要があり、そのジェスチャー機能における描画に手間取り、その操作性が劣化していた。
【００７４】
しかしながら、上記実施例の構成では、入力ペン１２によるペンダウン座標がジェスチャー機能の有効領域１９ａ内であれば、ジェスチャー機能を開始すると共に、入力ペン１２による描画中は、その入力ペン１２がジェスチャーの有効領域１９ａ外、つまり無効領域１９ｂまたはペンボタン領域１９ｃに当接しても、その描画を有効としている。
【００７５】
これにより、上記構成は、ペンダウン座標によってジェスチャー機能を開始できるから、そのジェスチャー機能に必要な、例えばジェスチャーコマンドテーブル２７の呼び出し等を予め準備できるから、ジェスチャー機能の迅速化を図ることが可能となり、その上、入力ペン１２による描画中において、上記有効領域を特に意識する必要がなく、ジェスチャー機能の操作性を向上できるものとなっている。
【００７６】
次に、上記ジェスチャー機能におけるコマンド選択機能の際の各動作について図１８のフローチャートを参照しながら説明する。上記のコマンド選択機能の処理を、キーボード１０等の入力手段からの指示信号により起動させると、まず、認識でき得る全てのコマンドの処理機能名を呼び出した後（Ｓ２１）、その各処理機能名を表の項目として表示装置１４にて表示する（Ｓ２２）。
【００７７】
続いて、キーボード１０における実行キーにより、各項目毎に有効／無効を選定した後（Ｓ２３）、キー操作にて有効／無効コマンドの更新か否かを例えば図１９に示すように設定する（Ｓ２４）。このとき、新たに選定した有効／無効コマンドに更新する場合は、実行キーをＯＮとして、上記の選定データを取り込んで（Ｓ２５）、更新し（Ｓ２６）、表示装置１４における画面をクリアして（Ｓ２７）、前記の処理を完了し、一方、新たに選定した有効／無効コマンドに更新しない場合は、解除キーをＯＮして更新しないで、表示装置１４における画面をクリアして（Ｓ２７）、前記処理を終了する。
【００７８】
次に、上記コマンド選択機能における登録・呼出処理についての際の各動作について図２０のフローチャートを参照しながら説明する。まず、上記の登録・呼出処理を、入力ペン１２やキーボード１０等の入力手段からの指示信号により起動させると、まず、登録処理か呼出処理かを判断し（Ｓ３１）、登録処理であれば、現在の有効／無効コマンドデータの全てを表示装置１４に呼び出して（Ｓ３２）、確認した後、登録名をキーボード１０等から入力して（Ｓ３３）、その登録メイト共に上記有効／無効コマンドデータを登録バッファ３３に記憶させて（Ｓ３４）、上記登録処理を完了する。
【００７９】
一方、前記Ｓ３１において呼出処理であれば、登録名を入力して選択した後（Ｓ３５）、登録バッファ３３内の登録名を検索し（Ｓ３６）、その登録名に該当する有効／無効コマンドデータを呼び出して表示装置１４に表示し（Ｓ３７）、それまでの有効／無効コマンドデータを上記登録名の有効／無効コマンドデータに更新して（Ｓ３８）、呼出処理を完了する。
【００８０】
このように上記実施例の構成では、個々のコマンドに対して、それぞれ有効と無効とを設定できることにより、ユーザーが必要とするジェスチャー機能のは有効とすることができる。これにより、不必要なジェスチャー機能の認識による誤動作を防止することができ、さらに、ユーザーが認識するジェスチャーコマンドの数を低減できるから、コマンドのユーザー認識率を高めることができる。
【００８１】
したがって、上記構成は、ジェスチャー機能に用いる各コマンドの誤認識を低減できて、ユーザーの意図に、より正確な編集処理が可能となる。
【００８２】
また、上記構成では、複数のユーザーが同一の情報処理装置を用いる場合等において、ユーザー毎にコマンドの有効／無効とを選定して、その選定内容を記憶、つまり登録しておくことができる。これにより、複数のユーザーが個々に必要とするジェスチャー機能をいつでも任意に選定できて、各ユーザーの編集方法等に合った編集処理が容易に可能となる。
【００８３】
その上、上記構成は、ユーザーが替わる毎に個々のユーザーに必要なジェスチャー機能を代えた時、不用意に不必要なジェスチャー機能による誤った編集を行うことに起因する文章等の作成に手間取るということを軽減できる。
【００８４】
次に、上記のコマンド選択機能における有効／無効のグルーピングによるモード選択処理について図２１を参照しながら説明する。上記構成がジェスチャー機能中において、キーボード１０や入力ペン１２等によって、モード選択キーによる割り込みを発生させると、まず、認識でき得る全てのコマンドの処理機能名を呼び出した後、その各処理機能名を表の項目として表示装置１４にて表示する（Ｓ４１）。
【００８５】
続いて、キーボード１０における実行キーにより、各項目毎に有効／無効を選定して、有効コマンドグループと無効コマンドグループとを設定した後（Ｓ４２）、いままでの有効／無効コマンドを上記のように選定したコマンドに更新するか否かをキー操作にて設定する（Ｓ４３）。
【００８６】
このとき、新たに選定した有効／無効コマンドに更新する場合は、実行キーをＯＮとして、上記の選定データを取り込んで更新し（Ｓ４４）、表示装置１４における画面をクリアして（Ｓ４５）、前記のモード選択処理を完了し、一方、新たに選定した有効／無効コマンドに更新しない場合は、解除キーをＯＮして更新しないで、表示装置１４における画面をクリアし（Ｓ４５）、前記モード選択処理を終了する。
【００８７】
このように上記構成では、ジェスチャー機能における無効コマンドを設定できることにより、上述したようにジェスチャー機能におけるジェスチャーコマンドの誤認識を防止することができる。
【００８８】
その上、上記構成は、例えば消去・抹消系のコマンドを無効とし、他のコマンドを有効とする設定により、ジェスチャー編集は有効とすることができるが、ジェスチャー動作によって、表示装置１４上における文章等の画像が誤消去される虞が回避される。このような一部有効のジェスチャー機能選択の画面の例を図２１に示す。
【００８９】
このように一部有効を選択できるから、ジェスチャー機能を扱う初心者に対し、表示装置１４上における文章等の画像が誤消去される虞を防止する効果が特に大きく、上記構成を操作する際の不手際による文章等の再作成といった手間を省くことができて、操作性を向上させることができる。
【００９０】
また、上記構成は、画面情報バッファ３１を設けて、図２３のフローチャートに示すように、ジェスチャー機能が立ち上がると、その時の表示装置１４上の画像情報を上記画面情報バッファ３１に記憶、すなわちセーブさせておく（Ｓ５１）。
【００９１】
続いて、入力ペン１２がダウンされて（Ｓ５２）、上記入力ペン１２により編集機能を指示するコマンドが入力されて（Ｓ５３）、編集範囲の認識が確定して（Ｓ５４，Ｓ５５）、上記入力ペン１２がアップすると（Ｓ５２）、上記コマンドおよび編集範囲をジャスチャーコマンド判定部２６に出力し（Ｓ５６）する。
【００９２】
その後、表示装置１４の表示画面を前記の画面情報バッファ３１にセーブした画面情報を上記表示画面を戻す（Ｓ５７）。続いて、テキストメモリ２ａにも記憶されている上記画面情報に対して、編集動作等の機能を実行し、その結果を表示装置１４に表示する（Ｓ５８）。
【００９３】
次に、その表示装置１４の表示画面を取り消すか否かを判別し（Ｓ５９）、取り消さない場合は上記のジェスチャー機能を完了し、取り消す場合は、前記の画面情報バッファ３１にセーブされている画面情報に表示装置１４の表示画面を戻し、かつ、上記テキストメモリ２ａ内の画面情報も元に戻す（Ｓ６０）。
【００９４】
このように上記構成は、ジェスチャー機能の入力ペン１２による操作直前の表示装置１４上の画像情報を上記画面情報バッファ３１に記憶させるから、前述したようにジェスチャー機能の取り消し等の際の、元の画像への復帰を迅速化できるものとなっている。
【００９５】
【発明の効果】
本発明のジェスチャー処理装置及びジェスチャー処理方法では、入力手段により表示面上に対し指示を開始、つまり最初の座標を指示したときにジェスチャー機能の有効と無効とを判定し、その後に続くストロークに基づいて編集コマンドを抽出するので、ジェスチャー機能の有効時における、有効領域に表示された情報の編集というジェスチャー機能の的確・迅速な処理が可能となる。また、本発明のジェスチャー処理装置及びジェスチャー処理方法では、入力手段により表示画面上の任意の位置にストロークを指示する途中に上記入力手段がジェスチャー無効領域を通っても、ジェスチャー機能が無効とならず、従来のようにジェスチャー機能が無効となって、再度入力手段により指示するといった手間を省くことができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明のジェスチャー処理装置の要部ブロック図である。
【図２】本発明のジェスチャー処理装置のブロック図である。
【図３】本発明のジェスチャー処理装置における基本ストロークの認識例を示す説明図である。
【図４】本発明のジェスチャー処理装置のディスプレイタブレットにおける位置情報を示す説明図であって、（ａ）はタブレット、（ｂ）は表示装置の表示面である。
【図５】本発明のディスプレイタブレットにおけるジェスチャー機能有効領域とジェスチャー機能無効領域とを示す説明図である。
【図６】本発明の基本ストロークの各例とそれらにそれぞれ対応するコマンドを示す説明図である。
【図７】本発明の基本ストロークの各例とそれらにそれぞれ対応するコマンドを示す説明図である。
【図８】本発明のジェスチャー処理装置におけるジェスチャー機能の編集動作例を示す説明図である。
【図９】本発明のジェスチャー処理装置におけるジェスチャー機能の各編集動作例を示す説明図である。
【図１０】本発明のジェスチャー処理装置におけるポインティング機能の動作例を示す説明図である。
【図１１】本発明のジェスチャー処理装置における手書き文字入力機能の動作例を示す説明図である。
【図１２】本発明のジェスチャー機能におけるペンダウン時のフローチャートである。
【図１３】本発明のディスプレイタブレットにおけるペンボタン領域を示す説明図である。
【図１４】本発明のジェスチャー機能におけるペンアップ時のフローチャートである。
【図１５】本発明のジェスチャー機能におけるディスプレイタブレット上での軌跡の例を示す説明図である。
【図１６】本発明のジェスチャー機能におけるディスプレイタブレット上での他の軌跡の例を示す説明図である。
【図１７】本発明のジェスチャー機能におけるディスプレイタブレットでの表示例を示す説明図である。
【図１８】本発明のジェスチャー機能における呼び出しの有効／無効を設定する際のフローチャートである。
【図１９】本発明のジェスチャー機能における呼び出しの有効／無効を設定する際の表示装置での表示例を示す説明図である。
【図２０】本発明のジェスチャー機能における登録・呼出を設定する際のフローチャートである。
【図２１】本発明のジェスチャー機能におけるモードの設定の際のフローチャートである。
【図２２】本発明のモードを選択する際の表示装置での表示例を示す説明図である。
【図２３】本発明のジェスチャー機能における画像情報のセーブ方法を示すフローチャートである。
【符号の説明】
１２  入力ペン
１４  表示装置
１９  タブレット
２２  ジェスチャー判定部（判定手段）
【図１】
0003874571.tif 000002
【図２】
0003874571.tif 000003
【図３】
0003874571.tif 000004
【図４】
0003874571.tif 000005
【図５】
0003874571.tif 000006
【図６】
0003874571.tif 000007
【図７】
0003874571.tif 000008
【図８】
0003874571.tif 000009
【図９】
0003874571.tif 000010
【図１０】
0003874571.tif 000011
【図１１】
0003874571.tif 000012
【図１２】
0003874571.tif 000013
【図１３】
0003874571.tif 000014
【図１４】
0003874571.tif 000015
【図１５】
0003874571.tif 000016
【図１６】
0003874571.tif 000017
【図１７】
0003874571.tif 000018
【図１８】
0003874571.tif 000019
【図１９】
0003874571.tif 000020
【図２０】
0003874571.tif 000021
【図２１】
0003874571.tif 000022
【図２２】
0003874571.tif 000023
【図２３】
0003874571.tif 000024