(57)【特許請求の範囲】
【請求項１】
所定の処理を指示するコマンドの入力方法として、所定の記号であるジェスチャを入力することによってコマンドを入力するジェスチャ入力と、ジェスチャ入力以外の入力方法によってコマンドを入力する非ジェスチャ入力とを有するペン入力型情報処理装置であって、
入力がジェスチャ入力によるものか非ジェスチャ入力によるものかを判別する入力判別手段と、
入力が非ジェスチャ入力によるものであると入力判別手段によって判別されたとき、入力されたコマンドに対応したジェスチャを表示装置に表示するジェスチャ処理手段と、
入力が非ジェスチャ入力によるものであると入力判別手段によって判別されたときには、入力されたコマンドに対応したジェスチャが表示装置に表示された後にコマンドを実行し、入力されたコマンドがジェスチャ入力によるものであると入力判別手段によって判別されたときには、直ぐにコマンドを実行するコマンド処理手段と、
を備えることを特徴とするペン入力型情報処理装置。
【請求項２】
前記ジェスチャ処理手段は、
入力が非ジェスチャ入力によるものであると入力判別手段によって判別されたとき、入力されたコマンドに対応したジェスチャの名称を検索するジェスチャ検索手段と、
ジェスチャ検索手段で検索されたジェスチャの名称に対応したジェスチャを表示するための情報を検索するジェスチャ生成手段と、
ジェスチャ生成手段で検索された情報に基づいて、ジェスチャを表示装置に表示させるジェスチャ表示手段と、
を備えることを特徴とする請求項１記載のペン入力型情報処理装置。
【請求項３】
コマンド処理手段は、入力が非ジェスチャ入力によるものであると入力判別手段によって判別されたときには、入力されたコマンドに対応したジェスチャを表示装置に表示することなく、直ぐにコマンドを実行することを特徴とする請求項１記載のペン入力型情報処理装置。
【請求項４】
前記入力判定手段は、入力が非ジェスチャ入力によるものと判別した場合であっても、その入力に対応するジェスチャが登録されていないときには、直ぐに上記コマンド処理手段を起動することを特徴とする請求項１記載のペン入力型情報処理装置。
【請求項５】
所定の記号であるジェスチャを入力することによってコマンドを入力するジェスチャ入力と、ジェスチャ入力以外の入力方法によってコマンドを入力する非ジェスチャ入力とを有するペン入力型情報処理装置におけるコマンド入力方法であって、
入力がジェスチャ入力によるものか非ジェスチャ入力によるものかを判別する入力判別工程と、
入力が非ジェスチャ入力によるものであると入力判別工程において判別されたとき、入力されたコマンドに対応したジェスチャを表示装置に表示するジェスチャ処理工程と、
入力が非ジェスチャ入力によるものであると入力判別工程において判別されたときには、入力されたコマンドに対応したジェスチャが表示装置に表示された後にコマンドを実行し、入力されたコマンドがジェスチャ入力によるものであると入力判別工程において判別されたときには、直ぐにコマンドを実行するコマンド処理工程と、
を有することを特徴とするコマンド入力方法。
【請求項６】
前記ジェスチャ処理工程は、
入力が非ジェスチャ入力によるものであると入力判別工程によって判別されたとき、入力されたコマンドに対応したジェスチャの名称を検索するジェスチャ検索工程と、
ジェスチャ検索工程で検索されたジェスチャの名称に対応したジェスチャを表示するための情報を検索するジェスチャ生成工程と、
ジェスチャ生成工程で検索された情報に基づいて、ジェスチャを表示装置に表示させるジェスチャ表示工程と、
を含むことを特徴とする請求項５記載のコマンド入力方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ペン入力装置を用いてジェスチャと呼ばれる所定の記号を入力することによりコマンドを入力することが可能なペン入力型情報処理装置及びコマンド入力方法に関する。
【０００２】
【従来の技術】
ペン入力型情報処理装置は、ペン入力装置を備えた情報処理装置であり、一般にペンコンピュータと呼ばれている。ここで、ペン入力装置は、例えば、ペンとタブレットが対となった入力装置であり、タブレット上においてペンによって指示された点の座標データや、タブレット上においてペンによって描画された文字や図形等の座標データ等が入力されるようになっている。このようなペン入力装置において、タブレットは、通常、透明な部材によって形成され、コンピュータによって処理された結果が表示される液晶ディスプレイ等の表示装置上に配されている。すなわち、通常、ペン入力型情報処理装置では、表示装置に表示された情報を見ながら、表示装置上においてペンによって点を指示したり、文字や図形等を描画することにより、それらの点、文字又は図形等に対応した座標データ等が入力されるようになっている。
【０００３】
このようなペン入力型情報処理装置において、所定の処理を指示するコマンドの入力方法として、ペン入力型情報処理装置の特徴を生かしたジェスチャ入力が知られている。
【０００４】
ジェスチャ入力とは、予め、校正記号等のような所定の記号をジェスチャとして登録しておくとともに、それらのジェスチャに対応したコマンドを登録しておき、ペンによってタブレット上にジェスチャが描画されたときに、そのジェスチャに対応したコマンドが入力されるようにする方法である。
【０００５】
具体的には、例えば、表示装置上に「このファイルは・・・」という文章が表示されているときに、「ファイル」という文字の上に消去を指示するジェスチャが描画されると、「ファイル」という文字の消去を指示するコマンドが入力され、その結果、「ファイル」という文字が消去されて、表示装置上に「このは・・・」という文章が表示される。
【０００６】
このようなジェスチャ入力では、コマンドの入力と、そのコマンドの処理の対象の指定とが同時に行われるので、所望する処理の指示を少ない操作によって入力することができる。例えば、上述の例では、「ファイル」という文字の上に消去を指示するジェスチャを描画するだけで、コマンドの処理の対象として「ファイル」という文字が指定されるとともに、これらの文字の消去を指示するコマンドが入力される。
【０００７】
このように、ジェスチャ入力では、コマンドとその処理対象とを少ない操作によって指定することができるので、利用頻度の高いコマンドの入力にジェスチャ入力を用いることにより、それらのコマンドを手早く入力することが可能となり、作業効率が向上する。
【０００８】
しかし、ジェスチャ入力に使用されるジェスチャの形状は、通常、対応するコマンドの抽象的表現に基づいて定義されるため、ユーザにとって覚えにくいものとなっている。したがって、従来のジェスチャ入力では、ジェスチャを覚えるという負担が、ユーザにかかってしまうという問題があった。
【０００９】
また、ジェスチャの形状が覚えにくいため、通常、ジェスチャは、全てのコマンドに対して定義されるのではなく、使用頻度が高いと思われる限られた少数のコマンドに対してだけ定義される。そして、その他のコマンドについては、後述するような、ジェスチャ入力以外の入力方法である非ジェスチャ入力によって入力するようにされている。したがって、従来のジェスチャ入力では、ジェスチャ入力の利点が、ジェスチャが定義された少数のコマンドに対してだけ生かされ、ジェスチャが定義されていないその他の多くのコマンドに対しては生かされないこととなる。
【００１０】
一方、非ジェスチャ入力としては、例えば、タブレット上の所定の点がペンによって指示されたときに、その点の座標データに対応して登録されているコマンドが入力されるようにする方法がある。すなわち、この方法では、例えば、表示装置上に表示されたアイコンやメニュー等にコマンドを登録しておき、アイコンやメニュー等に登録されたコマンドをペンで押さえることにより、そのコマンドがコンピュータに入力される。
【００１１】
このようなコマンドの入力方法を用いて、例えば、表示装置上に表示されている「このファイルは・・・」という文章から「ファイル」という文字を消去したいときには、先ず、「ファイル」という文字を指定し、その後、指定された文字を消去するコマンドをアイコンやメニュー等から選択して指示する。これにより、「ファイル」という文字が消去されて、表示装置上に「このは・・・」という文章が表示される。
【００１２】
このような入力方法では、表示装置上に表示されたアイコンやメニュー等を選択してペンで押さえることによってコマンドが入力されるので、アイコンやメニュー等からコマンドを推測できるようにしておけば、ユーザが操作に慣れていなくても、所望する処理の指示方法を推測できるという利点がある。
【００１３】
また、このような入力方法では、アイコンやメニュー等からコマンドを推測できるようにしてあれば、アイコンやメニューに登録されているコマンドを完全に覚える必要がないため、アイコンやメニュー等に多くのコマンドを登録しておいても、ユーザに負担がかかるようなことはない。したがって、このような入力方法では、ジェスチャ入力に比べて、より多くのコマンドを登録しておくことができるという利点もある。
【００１４】
しかし、このような入力方法では、処理の対象を指定した上でコマンドを入力しなければならないため、ジェスチャ入力よりも、所望する処理の指示を入力するのに、より多くの操作を必要とする。例えば、上述の例では、「ファイル」という文字を消去するために、「ファイル」という文字を指定する操作と、指定された文字を消去するコマンドを入力する操作とが必要となっている。このように、非ジェスチャ入力では、所望する処理の指示を入力するのに必要な操作が多いため、ジェスチャ入力に比べて操作が煩わしいという問題がある。特に、メニューが階層構造となっている場合には、所望するコマンドがメニュー上に現れるまで、メニューの選択を繰り返さなければならず、非常に操作が煩わしいものとなってしまう。
【００１５】
【発明が解決しようとする課題】
以上のように、ジェスチャ入力では、ジェスチャを覚えなければならないという負担がユーザにかかってしまうという問題があり、一方、非ジェスチャ入力では、コマンドの入力に多くの操作が必要であり、操作が煩わしいという問題がある。
【００１６】
そこで本発明は、このような従来の実情に鑑みて提案されたものであり、コマンドを少ない操作で入力できるジェスチャ入力が可能で、しかも、ジェスチャ入力に必要なジェスチャを覚えることが可能なペン入力型情報処理装置及びコマンド入力方法を提供することを目的としている。
【００１７】
【課題を解決するための手段】
上述の目的を達成するために完成された本発明に係るペン入力型情報処理装置は、所定の処理を指示するコマンドの入力方法として、所定の記号であるジェスチャを入力することによってコマンドを入力するジェスチャ入力と、ジェスチャ入力以外の入力方法によってコマンドを入力する非ジェスチャ入力とを有するペン入力型情報処理装置であって、入力がジェスチャ入力によるものか非ジェスチャ入力によるものかを判別する入力判別手段と、入力が非ジェスチャ入力によるものであると入力判別手段によって判別されたとき、入力されたコマンドに対応したジェスチャを表示装置に表示するジェスチャ処理手段と、入力が非ジェスチャ入力によるものであると入力判別手段によって判別されたときには、入力されたコマンドに対応したジェスチャが表示装置に表示された後にコマンドを実行し、入力されたコマンドがジェスチャ入力によるものであると入力判別手段によって判別されたときには、直ぐにコマンドを実行するコマンド処理手段とを備えることを特徴とするものである。
【００１８】
ここで、ジェスチャ処理手段は、例えば、入力が非ジェスチャ入力によるものであると入力判別手段によって判別されたとき、入力されたコマンドに対応したジェスチャの名称を検索するジェスチャ検索手段と、ジェスチャ検索手段で検索されたジェスチャの名称に対応したジェスチャを表示するための情報を検索するジェスチャ生成手段と、ジェスチャ生成手段で検索された情報に基づいて、ジェスチャを表示装置に表示させるジェスチャ表示手段とを備える。
【００１９】
このペン入力型情報処理装置では、非ジェスチャ入力によってコマンドが入力されたときに、ジェスチャ処理手段によって、当該コマンドに対応したジェスチャが表示装置に表示される。したがって、ユーザは、非ジェスチャ入力によってコマンドを入力する毎に、そのコマンドに対応したジェスチャを視認でき、ジェスチャを容易に覚えることができる。
【００２０】
なお、このペン入力型情報処理装置は、コマンドが非ジェスチャ入力によって入力されたときに、コマンドに対応したジェスチャを表示装置に表示することなく、直ぐにコマンドを実行するように、設定を変更できるようになっていることが好ましい。
【００２１】
このように設定を変更できるようになっていれば、例えば、ユーザにとってジェスチャの表示が不要となったときに、ジェスチャの表示を行わないようにすることができる。そして、このようにジェスチャを表示しないように設定を変更したときには、ジェスチャの表示を行わない分だけ、処理が高速に行われることとなる。
【００２２】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で任意に変更可能であることは言うまでもない。
【００２３】
本実施の形態に係るペン入力型情報処理装置は、所定の処理を指示するコマンドの入力方法として、所定の記号であるジェスチャを入力することによってコマンドを入力するジェスチャ入力と、ジェスチャ入力以外の入力方法によってコマンドを入力する非ジェスチャ入力とを有している。そして、図１に示すように、このペン入力型情報処理装置１は、主に、演算処理を行う中央演算処理装置（以下、ＣＰＵと称する。）２を備えた演算処理部３と、プログラムやデータ等が保存される記憶部４と、入力を受け付ける入力部５と、ＣＰＵ２による処理の結果が出力される出力部６とから構成される。
【００２４】
上記記憶部４は、ハードディスク装置やフレキシブルディスク装置等のような外部記録装置７と、内部記憶装置（以下、メモリと称する。）８とを備えており、これらの外部記録装置７及びメモリ８は、それぞれシステムバス９を介してＣＰＵ２に接続されている。ここで、外部記憶装置７には、カナ漢字変換プログラムや手書き文字認識プログラム等のプログラムや、それらのプログラムの実行に必要なデータ等が保存されており、一方、メモリ８には、ＣＰＵ２による処理の実行時に、処理対象のプログラムやデータ等が保持される。すなわち、ＣＰＵ２による処理は、必要なプログラムやデータ等が外部記憶装置７から読み出されてメモリ８上に展開された上で行われる。
【００２５】
そして、ＣＰＵ２による処理の結果は出力部６に出力される。ここで、出力部６は、表示装置として液晶ディスプレイ１０を備えており、この液晶ディスプレイ１０は、ディスプレイドライバ１１及び画像データ用メモリ（以下、ＶＲＡＭと称する。）１２を介して、ＣＰＵ２からのシステムバス９に接続されている。ここで、ＶＲＡＭ１２は、ＣＰＵ２から出力された画像データを一旦保存するためのものであり、ディスプレイドライバ１１は、ＶＲＡＭ１２から画像データを読み出して、その画像データに対応した画像を表示するように液晶ディスプレイ１０を駆動する。
【００２６】
なお、本実施の形態では、表示装置として、小型化及び省電力化に適したディスプレイである液晶ディスプレイ１０を使用するが、ＣＲＴディスプレイやプラズマディスプレイ等を表示装置として使用しても良いことは言うまでもない。
【００２７】
一方、入力を受け付ける入力部５は、入力装置として、ペン１３とタブレット１４が対となったペン入力装置を備えており、これらのペン１３及びタブレット１４は、タブレットドライバ１５を介して、ＣＰＵ２からのシステムバス９に接続されている。ここで、タブレット１４は、透明な部材によって形成され、液晶ディスプレイ１０上に配されている。そして、このタブレット１４は、例えば、Ｘ軸方向に配された複数の電極と、Ｙ軸方向に配された複数の電極とを有しており、これにより、複数の画素に対応した座標データを検出することが可能となっている。そして、タブレットドライバ１５は、タブレット１４のＸ軸方向の各電極に対して所定のクロックにて順次所定の電圧を印加してＸ軸方向のスキャンニングを行うとともに、タブレット１４のＹ軸方向の各電極に対して所定のクロックにて順次所定の電圧を印加してＹ軸方向のスキャンニングを行う。
【００２８】
このようなペン入力装置において、タブレット１４上の任意の位置にペン１３が接触すると、タブレット１４の電極とペン１３との間に電荷が生じる。このとき、タブレットドライバ１５によってＸ軸方向及びＹ軸方向のスキャンニングが行われているので、タブレット１４の電極とペン１３との間に生じた電荷が検出され、これにより、ペン１３が接触したタブレット１４上の画素に対応した座標データが検出される。そして、このように検出された座標データは、タブレットドライバ１５からシステムバス９を介してＣＰＵ２に入力される。
【００２９】
このような入力部５から、ジェスチャ入力によってコマンドを入力する際は、液晶ディスプレイ１０上に配された透明なタブレット１４に、ペン１３でジェスチャを描画する。これにより、ジェスチャを示す複数の座標データが入力されるとともに、ジェスチャの下に表示されていた文字等が処理の対象として入力され、そのジェスチャに対応したコマンドが演算処理部３のＣＰＵ２によって実行される。
【００３０】
また、非ジェスチャ入力によってコマンドを入力する際は、例えば、コマンドによる処理の対象を指定した後、コマンドが登録されたタブレット１４上の特定の領域をペンで指示する。これにより、その点の座標データが入力され、その座標データに対応したコマンドが演算処理部３のＣＰＵ２によって実行される。
【００３１】
なお、入力部５は、以上のようなペン入力装置の他に、マウス等のポインティングデバイスやキーボード等の入力装置を備えていてもよいことは言うまでもない。
【００３２】
以上のようなペン入力型情報処理装置１の構成について、図２を参照しながら更に詳細に説明する。
【００３３】
上記ペン入力型情報処理装置１の演算処理部３は、入力処理手段２１と、イベント監視手段２２と、イベント処理手段２３とを備えている。
【００３４】
上記入力処理手段２１は、入力部５からの入力を受け付けて処理する手段であり、例えば、入力部５から処理対象を指示する入力があったときには、指示された対象をイベントオブジェクトとして、記憶部４内に設けられた一時的な記憶領域であるグローバルエリア３１に保存する。すなわち、例えば、入力部５から文字列の選択を指示する入力があったとき、入力処理手段２１は、当該文字列をイベントオブジェクトとしてグローバルエリア３１に保存する。
【００３５】
また、入力処理手段２１は、非ジェスチャ入力によってコマンドの入力があったときには、記憶部４内に保存されているイベントテーブル３２を参照して、その入力に対応したイベントを生成する。ここで、イベントとは、特定の出来事に対応して生成される特定のデータであり、イベントテーブル３２には、特定の出来事とイベントとの対応関係が記録されている。
【００３６】
また、入力処理手段２１は、ジェスチャ入力によってコマンドの入力があったときには、予め記憶部４内に保存されているジェスチャテーブル３３を参照して、その入力に対応したイベントを生成する。ここで、ジェスチャテーブル３３には、ジェスチャが記録されており、入力処理手段２１は、このジェスチャテーブル３３を参照して、ユーザによって入力された複数の座標データ、すなわちタブレット１４上におけるペン１３の軌跡を示す座標データからジェスチャを識別し、そのジェスチャに対応したイベントを生成する。
【００３７】
そして、このように入力処理手段２１によって生成されたイベントは、イベントオブジェクトと共に、イベント監視手段２２に渡される。
【００３８】
イベント監視手段２２は、イベントの生成を監視する手段であり、ペン入力型情報処理装置１のオペレーティングシステムの基本となるカーネルプログラムによって駆動される。そして、このイベント監視手段２２は、ペン入力型情報処理装置１が起動された後、図３のステップＳ１に示すように、イベントの生成を検出するルーチンを繰り返し行う。そして、例えば、入力処理手段２１によってイベントが生成され、イベント監視手段２２にイベントが渡されたときに、このイベント監視手段２２は、図３のステップＳ２に示すように、イベント処理手段２３を起動する。
【００３９】
このようにイベント監視手段２２によって起動されるイベント処理手段２３は、イベントとイベントオブジェクトに基づいて所定の処理を実行する手段であり、入力判別手段２４と、ジェスチャ処理手段２５と、コマンド処理手段２６とを備えている。
【００４０】
上記入力判別手段２４は、入力がジェスチャ入力によるものか非ジェスチャ入力によるものかを判別する手段であり、この入力判別手段２４は、入力が非ジェスチャ入力によるものであるときには、ジェスチャ処理手段２５を起動し、入力がジェスチャ入力によるものであるときには、コマンド処理手段２６を起動する。ただし、入力判別手段２４は、入力が非ジェスチャ入力によるものであっても、その入力に対応するジェスチャが登録されていないときには、直ぐにコマンド処理手段２６を起動する。
【００４１】
そして、入力が非ジェスチャ入力のときに起動されるジェスチャ処理手段２５は、入力されたコマンドに対応したジェスチャを出力部６の液晶ディスプレイ１０に表示させるものであり、ジェスチャ検索手段２５ａと、ジェスチャ生成手段２５ｂと、ジェスチャ表示手段２５ｃとを備えている。
【００４２】
上記ジェスチャ検索手段２５ａは、入力が非ジェスチャ入力によるものであると入力判別手段２４によって判別されたときに起動され、記憶部４内のイベントジェスチャテーブル３４を参照して、入力処理手段２１で生成されたイベントに対応したジェスチャの名称を検索する。すなわち、このジェスチャ検索手段２５ａでは、入力されたコマンドに対応したジェスチャの名称が検索されることとなる。ここで、イベントジェスチャテーブル３４は、予め記憶部４内に保存されているデータであり、イベントとジェスチャの対応が記録されている。
【００４３】
そして、ジェスチャ生成手段２５ｂは、ジェスチャテーブル３３を参照して、ジェスチャ検索手段２５ａで検索されたジェスチャの名称に対応したジェスチャを表示するための情報を検索する。なお、ジェスチャを表示するための情報には、ジェスチャを表示する際の手順等の情報が含まれており、以下の説明では、このような情報のことを「手続き」と呼ぶ。
【００４４】
このようにジェスチャ生成手段２５ｂで検索された手続きは、ジェスチャ表示手段２５ｃに渡され、ジェスチャ表示手段２５ｃは、この手続きに基づいて、ジェスチャを出力部６の液晶ディスプレイ１０に表示させる。これにより、入力されたコマンドに対応したジェスチャが液晶ディスプレイ１０に表示されることとなる。そして、ジェスチャ表示手段２５ｃによるジェスチャの表示処理の完了後、コマンド処理手段２６が起動される。
【００４５】
コマンド処理手段２６は、コマンドを実行する手段であり、上述したように、入力が非ジェスチャ入力によるものであると入力判別手段２４によって判別されたときには、入力されたコマンドに対応したジェスチャが液晶ディスプレイ１０に表示された後に起動され、入力がジェスチャ入力によるものであると入力判別手段２４によって判別されたときには、直ぐに起動される。
【００４６】
そして、このコマンド処理手段２６は、コマンド検索手段２６ａと、コマンド実行手段２６ｂとを備えており、コマンド検索手段２６ａは、記憶部４内のコマンドアドレステーブル３５を参照して、イベントに対応したコマンドを実行するためのプログラムのアドレスを検索する。ここで、コマンドアドレステーブル３５は、予め記憶部４内に保存されているデータであり、コマンドを実行するためのプログラムのアドレスとイベントとの対応が記録されている。そして、コマンド実行手段２６ｂは、コマンド検索手段２６ａで検索されたプログラムのアドレスを受け取り、そのプログラムを起動して、イベントオブジェクトに対してコマンドを実行し、その結果を出力部６に出力する。
【００４７】
以上のようなペン入力型情報処理装置１による情報処理方法について、図４に示すフローチャートを用いて説明する。なお、図４のフローチャートは、入力部５からの入力に対応したイベントが入力処理手段２１によって生成され、このイベントを受け取ったイベント監視手段２２によって入力判別手段２４が起動された段階から開始している。
【００４８】
先ず、ステップＳＴ１において、入力判別手段２４は、イベント監視手段２２から受け取ったイベントに基づいて、入力部５からの入力がジェスチャ入力によるものであったか否かを判別する。そして、入力が非ジェスチャ入力によるものであるときは、ステップＳＴ２に進み、入力がジェスチャ入力によるものであるときは、ステップＳＴ５に進む。
【００４９】
ステップＳＴ２では、ジェスチャ処理手段２５内のジェスチャ検索手段２５ａが起動され、このジェスチャ検索手段２５ａは、イベントジェスチャテーブル３４を参照して、入力判別手段２４から受け取ったイベントに対応したジェスチャの名称を検索する。そして、ジェスチャ検索手段２５ａによってジェスチャの名称が検索されたら、ステップＳＴ３に進む。
【００５０】
ステップＳＴ３では、ジェスチャ生成手段２５ｂが起動され、このジェスチャ生成手段２５ｂは、ジェスチャテーブル３３を参照して、ステップＳＴ２で検索されたジェスチャの名称に対応したジェスチャを表示するための手続きを検索する。そして、ジェスチャ生成手段２５ｂによって手続きが検索されたら、ステップＳＴ４に進む。
【００５１】
ステップＳＴ４では、ジェスチャ表示手段２５ｃが起動され、このジェスチャ表示手段２５ｃは、ステップＳＴ３で検索された手続きを実行し、ジェスチャを液晶ディスプレイ１０に表示する。そして、ジェスチャ表示手段２５ｃによってジェスチャが表示されたら、ステップＳＴ５に進む。
【００５２】
ステップＳＴ５では、コマンド処理手段２６が起動され、このコマンド処理手段２６は、入力処理手段２１で生成されたイベントに対応した処理を実行する。そして、以上の処理により、処理が完了する。
【００５３】
つぎに、以上のようなペン入力型情報処理装置１による情報処理方法について、具体的な例を挙げて更に詳細に説明する。なお、以下に説明する情報処理では、図５に示すように、液晶ディスプレイ１０に「そのファイルは・・・」という文章４０が表示されているときに、非ジェスチャ入力によってコマンドを入力して文章４０から「ファイル」という文字を消去し、液晶ディスプレイ１０に「このは・・・」という文章が表示されるようにする。
【００５４】
上述の処理を行う際、ユーザは、先ず、図６に示すように、文字列「ファイル」４１を処理の対象とする指示を入力部５から入力する。
【００５５】
このとき、演算処理部３の入力処理手段２１は、入力部５からの入力を受け付け、文字列「ファイル」４１をイベントオブジェクトとしてグローバルエリア３１に保存する。
【００５６】
次に、ユーザは、液晶ディスプレイ１０に予め表示されているメニュー４２内の文字列「編集」が表示されている領域４３をペンで押さえる。これにより、ペンによって押さえられた点の座標データが入力部５から入力される。
【００５７】
このとき、演算処理部３の入力処理手段２１は、入力部５からの入力を受け付け、イベントテーブル３２を参照して、入力部５から入力された座標データに対応するイベントを生成し、このイベントをイベント監視手段２２に渡す。そして、このイベントを受け取ったイベント監視手段２２は、イベント処理手段２３内の入力判別手段２４を起動するとともに、このイベントを入力判別手段２４に渡す。ここで、入力は非イベント入力によるものであるが、この入力に対応するジェスチャは登録されていないので、入力判別手段２４は、直ぐにコマンド処理手段２６を起動し、イベントをコマンド処理手段２６に渡す。そして、コマンド処理手段２６内のコマンド検索手段２６ａは、コマンドアドレステーブル３５を参照して、イベントに対応したコマンドを実行するためのプログラムのアドレスを検索し、コマンド実行手段２６ｂは、そのプログラムを実行する。その結果、図７に示すように、文字列「編集」が表示されている領域４３の下部に、「編集」のサブメニューとして、文字列に対する編集操作コマンドを列挙したアイテムのリスト４４が表示される。
【００５８】
次に、ユーザは、所望する処理である文字列消去のコマンドを入力するために、「編集」のサブメニュー内の文字列「カット」が表示されている領域４５をペンで押さえる。これにより、ペンによって押さえられた点の座標データ、すなわち文字列消去のコマンドに対応した座標データが入力部５から入力される。
【００５９】
このとき、演算処理部３の入力処理手段２１は、入力部５からの入力を受け付け、イベントテーブル３２を参照して、入力部５から入力された座標データに対応するイベント、すなわち文字列消去のコマンドに対応したイベント「menu-item-cut 」を生成し、このイベント「menu-item-cut 」と、グローバルエリア３１に保存されていたイベントオブジェクト「ファイル」とをイベント監視手段２２に渡す。そして、このイベント「menu-item-cut 」及びイベントオブジェクト「ファイル」を受け取ったイベント監視手段２２は、イベント処理手段２３内の入力判別手段２４を起動するとともに、このイベント「menu-item-cut 」及びイベントオブジェクト「ファイル」を入力判別手段２４に渡す。ここで、入力は非イベント入力によるものであり、この入力に対応するジェスチャは登録されているので、入力判別手段２４は、ジェスチャ処理手段２５を起動し、ジェスチャ処理手段２５にイベント「menu-item-cut 」及びイベントオブジェクト「ファイル」を渡す。
【００６０】
そして、ジェスチャ処理手段２５内のジェスチャ検索手段２５ａは、イベントジェスチャテーブル３４を参照して、イベント「menu-item-cut 」に対応したジェスチャの名称であるジェスチャ名「gesture-jaggy 」を検索する。その後、ジェスチャ生成手段２５ｂは、ジェスチャテーブル３３を参照して、ジェスチャ検索手段２５ａによって検索されたジェスチャ名「gesture-jaggy 」に対応したジェスチャを表示するための手続きを検索する。そして、ジェスチャ表示手段２５ｃは、ジェスチャ生成手段２５ｂによって検索された手続きを実行し、ジェスチャを液晶ディスプレイ１０に表示する。その結果、図８に示すように、文字列「ファイル」の上に、文字列消去を指示するジェスチャ４６が表示される。
【００６１】
以上のようなジェスチャ処理手段２５による処理の完了後、コマンド処理手段２６が起動される。このとき、コマンド処理手段２６は、イベント「menu-item-cut 」及びイベントオブジェクト「ファイル」を受け取る。そして、コマンド処理手段２６内のコマンド検索手段２６ａは、コマンドアドレステーブル３５を参照して、イベント「menu-item-cut 」に対応したコマンドを実行するためのプログラムのアドレスを検索し、コマンド実行手段２６ｂは、そのプログラムを実行する。その結果、図９に示すように、文字列「ファイル」が消去され、液晶ディスプレイ１０に「このは・・・」という文章４７が表示される。
【００６２】
つぎに、上述のように、ジェスチャ生成手段２５ｂによって検索され、ジェスチャ表示手段２５ｃによって実行される手続きについて具体的に説明する。
【００６３】
予め、ジェスチャテーブル３３には、図１０に示すように、「gesture_name」というフィールドに「jaggy 」というジェスチャ名が記述されており、「description 」というフィールドに、ジェスチャの描画方法が記述されている。ここで、フィールド「description 」に記述されている関数「makeBox」は、イベントオブジェクトを含む最小の長方形を求める関数であり、関数「h_or_v」は、長方形の長い方の辺をＸ軸、短い方の辺をＹ軸とした相対座標を求める関数である。
【００６４】
そして、このようにジェスチャテーブル３３に記述された内容が、ジェスチャを表示するための手続きとして、ジェスチャ生成手段２５ｂによって検索され、ジェスチャ表示手段２５ｃによって実行されることとなる。
【００６５】
この手続きでは、具体的には、図１１に示すように、先ず、関数「makeBox」により、イベントオブジェクト「ファイル」を含む最小の長方形５０が求められ、次に、関数「h_or_v」により、その長方形５０の長い方の辺をｘ１軸、短い方の辺をｙ１軸とした相対座標が求められる。その後、長方形５０のＸ軸方向の辺の長さをＸ、Ｙ軸方向の辺の長さをＹとして、相対座標におけるジェスチャを示す座標リストＬ１が生成される。ここで、座標リストＬ１は、例えば、［（０，０），（Ｘ／４，Ｙ），（Ｘ／４，０），（Ｘ／２，Ｙ），（Ｘ／２，０），（３Ｘ／４，Ｙ）］とされる。その後、生成された座標リストＬ１が絶対座標に変換され、絶対座標に変換された座標リストＬ２に示された座標点を順次結ぶように線が描かれ、その結果、「ファイル」という文字列消去を指示するジェスチャ５１が描画されることとなる。
【００６６】
なお、以上の説明では、コマンドが非ジェスチャ入力によって入力されたときに、当該コマンドに対するジェスチャが液晶ディスプレイに表示されるものとして説明してきたが、このペン入力型情報処理装置１は、コマンドが非ジェスチャ入力によって入力されても、当該コマンドに対するジェスチャを液晶ディスプレイ１０に表示することなく、直ぐに当該コマンドを実行するように、設定が変更できるようになっていてもよい。
【００６７】
このように設定を変更できるようになっていれば、例えば、ユーザにとってジェスチャの表示が不要となったときに、ジェスチャの表示を行わないようにすることができる。そして、このようにジェスチャを表示しないように設定を変更したときには、ジェスチャの表示を行わない分だけ、処理を高速に行うことが可能となる。
【００６８】
【発明の効果】
本発明に係るペン入力型情報処理装置及びコマンド入力方法では、非ジェスチャ入力とジェスチャ入力の両方が可能とされているので、非ジェスチャ入力とジェスチャ入力の両方の長所を生かすことができる。すなわち、ユーザが操作に慣れていない段階では、ユーザが操作方法を推測しやすい非ジェスチャ入力を用いることができ、ユーザが操作に慣れた段階で、手早く入力することができるジェスチャ入力を用いることができる。
【００６９】
そして、このペン入力型情報処理装置及びコマンド入力方法では、非ジェスチャ入力によってコマンドを入力する毎に、そのコマンドに対応したジェスチャが表示されるので、ユーザは、非ジェスチャ入力を繰り返すうちに、自然にジェスチャを覚えることができる。しかも、このペン入力型情報処理装置では、非ジェスチャ入力によってコマンドを入力する毎に、そのコマンドに対応したジェスチャが表示されるので、ユーザは、利用頻度が高いコマンドほど、そのコマンドに対するジェスチャを覚えやすく、非常に効率良くジェスチャを覚えることできる。
【００７０】
このように、本発明によれば、作業効率に優れたジェスチャ入力に必要なジェスチャが容易に習得可能なペン入力型情報処理装置及びコマンド入力方法を提供することができる。
【００７１】
また、本発明に係るペン入力型情報処理装置及びコマンド入力方法では、非ジェスチャ入力とジェスチャ入力とを併用しており、しかも、ジェスチャ入力に用いるジェスチャが覚えやすいため、より多くのコマンドに対してジェスチャを定義してもユーザに負担がかかるようなことはない。したがって、定義するジェスチャの数を制限する必要がなく、より多くのコマンドに対してジェスチャを定義することが可能となる。そして、より多くのコマンドに対してジェスチャを定義できるので、手早く入力できるというジェスチャ入力の利点を、より多くのコマンドに対して生かすことが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したペン入力型情報処理装置の一構成例を示すブロック図である。
【図２】図１に示したペン入力型情報処理装置について、演算処理部及び記憶部の構成を詳細に示したブロック図である。
【図３】イベント監視手段によるイベント監視のフローチャートである。
【図４】図１に示したペン入力型情報処理装置による情報処理方法のフローチャートである。
【図５】本発明を適用したペン入力型情報処理装置の表示画面の例であり、「そのファイルは・・・」という文章が表示されている状態を示す図である。
【図６】本発明を適用したペン入力型情報処理装置の表示画面の例であり、文字列「ファイル」が処理対象として選択されたときの状態を示す図である。
【図７】本発明を適用したペン入力型情報処理装置の表示画面の例であり、「編集」のサブメニューが表示された状態を示す図である。
【図８】本発明を適用したペン入力型情報処理装置の表示画面の例であり、文字列「ファイル」の消去を指示するジェスチャが表示された状態を示す図である。
【図９】本発明を適用したペン入力型情報処理装置の表示画面の例であり、文字列「ファイル」が消去された状態を示す図である。
【図１０】ジェスチャテーブルの記述内容の一例を示す図である。
【図１１】文字列「ファイル」の消去を指示するジェスチャを表示する様子を示す模式図である。
【符号の説明】
１  ペン入力型情報処理装置
２  ＣＰＵ
３  演算処理部
４  記憶部
５  入力部
６  出力部
７  外部記憶装置
８  メモリ
９  システムバス
１０  液晶ディスプレイ
１１  ディスプレイドライバ
１２  ＶＲＡＭ
１３  ペン
１４  タブレット
１５  タブレットドライバ
２１  入力処理手段
２２  イベント監視手段
２３  イベント処理手段
２４  入力判別手段
２５  ジェスチャ処理手段
２５ａ  ジェスチャ検索手段
２５ｂ  ジェスチャ生成手段
２５ｃ  ジェスチャ表示手段
２６  コマンド処理手段
２６ａ  コマンド検索手段
２６ｂ  コマンド実行手段
３１  グローバルエリア
３２  イベントテーブル
３３  ジェスチャテーブル
３４  イベントジェスチャテーブル
３５  コマンドアドレステーブル
【図１】
0003704777.tif 000002
【図２】
0003704777.tif 000003
【図３】
0003704777.tif 000004
【図４】
0003704777.tif 000005
【図５】
0003704777.tif 000006
【図６】
0003704777.tif 000007
【図７】
0003704777.tif 000008
【図８】
0003704777.tif 000009
【図９】
0003704777.tif 000010
【図１０】
0003704777.tif 000011
【図１１】
0003704777.tif 000012