(57)【特許請求の範囲】
【請求項１】
画面表示されたオブジェクトの表示を指示手段の指示に応じて制御する表示制御装置において、
前記指示手段の状態を検出する検出手段と、
前記指示手段の動きに対応づけて前記オブジェクトへの映像効果を記憶した管理表と、
前記検出手段により検出された前記指示手段の状態に応じて前記指示手段の動きを認識し、前記指示手段の動きに応じて前記管理表を参照して、前記管理表から取得された映像効果に応じて前記オブジェクトの表示を制御する表示制御手段とを有し、
前記表示制御手段は、前記オブジェクトを移動させるときに、前記指示手段により前記オブジェクトを選択した後、前記指示手段を画面より離間させる動作により前記オブジェクトに影付けを行なうことを特徴とする表示制御装置。
【請求項２】
前記表示制御手段は、前記指示手段の移動に応じて前記オブジェクトを移動させることを特徴とする請求項１記載の表示制御装置。
【請求項３】
前記表示制御手段は、前記オブジェクトを選択した後、前記指示手段を画面より離間させる動作に代えて、前記指示手段により前記オブジェクトを囲む動作により前記オブジェクトに影付けを行なうことを特徴とする請求項１又は２記載の表示制御装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は表示制御装置に係り、特に、ペンを入力デバイスとして用いるコンピュータの表示制御装置に関する。
近年、携帯型情報端末機器の入力デバイスとしてペン型の入力デバイスを装備した機器が増えている。これはペン型の入力デバイスがキーボードと違い入力方法が人間の感覚に合致しているためである。
【０００２】
このようなペン型入力デバイスはポインティングデバイスとしても有効に使用でき、今後、入力インタフェースとしての活用が期待されている。
【０００３】
【従来の技術】
コンピュータなどにおいては直感的にわかりやすいインタフェースを実現するためにアイコン等の図形を用いて使用者とのやりとりを行ういわゆるＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）なるインタフェースが用いられている。従来のＧＵＩでは様々なメタファーを用いて操作性を向上させていた。
【０００４】
【発明が解決しようとする課題】
しかるに、従来のＧＵＩではユーザーが行なっている操作の過程が表示に反映されていなかったため、操作が処理のどの段階にあるかが直感的に認識できないなどの問題点があった。
【０００５】
本発明は上記の点に鑑みてなされたもので、ユーザーが操作の過程を直感的に認識しやすい表示とする表示制御装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、画面表示されたオブジェクトの表示を指示手段の指示に応じて制御する表示制御装置において、指示手段の位置を検出する検出手段と、指示手段の動きに対応づけてオブジェクトへの映像効果を記憶したジェスチャ管理表と、検出手段により検出された指示手段の動きに応じてジェスチャ管理表を参照して、ジェスチャ管理表から取得された映像効果に応じてオブジェクトの表示を制御する表示制御手段とを有し、表示制御手段はオブジェクトを移動させるときに、指示手段によりオブジェクトを選択した後、指示手段を画面より離間させる動作によりオブジェクトに影付けを行なうことを特徴とする。
【０００７】
本発明によれば、オブジェクトを移動させるときに、指示手段によりオブジェクトを選択した後、指示手段を画面より離間させる動作によりオブジェクトに影付けを行なうことにより、オブジェクトの移動を直感的に把握できる。
【００１３】
【発明の実施の形態】
図１に本発明の一実施例のブロック構成図を示す。本実施例のコンピュータ１は、ペン型の入力デバイスを有するシステムで、ユーザーが処理の指示を行うためのペン２、ペン２の状態を検出するためのタブレット３、処理情報やアイコンなどの表示を行うためのディスプレイ４、タブレット３により認識したペン２の状態に応じてディスプレイ４に表示されたオブジェクトに映像効果を付与するとともに各種処理を実行するＣＰＵ５、処理データなどを保持するメモリ６等より構成されている。
【００１４】
タブレット３は、例えば電磁誘導型タブレットよりなり、ペン２の先端のタブレット３の表面への接触及び非接触時の位置及びペン２のタブレット３の表面への接触・非接触を検知できる構成とされている。タブレット３で検出されたペン２の状態はＣＰＵ５に供給される。ディスプレイ４は、例えばＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ；液晶ディスプレイ）よりなり、ＣＰＵ５、又は、メモリ６から供給される表示データに応じた画像を表示する。
【００１５】
ＣＰＵ５にはタブレット３で検出されたペン２の状態に関する情報が供給され、タブレット３から供給されたペン２の状態の情報に応じて後述するようにオブジェクトの移動・削除などを処理を実行し、ディスプレイ４に表示するオブジェクトの表示制御する。
【００１６】
図２に本発明の一実施例のＣＰＵの機能ブロック図を示す。ＣＰＵ５は、タブレット３から供給されるペン２の状態を示す情報からペン２の状態を認識するペン状態認識部１１、ペン状態認識部１１で認識したペン２の状態に応じてユーザーが指示したジェスチャコマンドを認識するジェスチャ認識部１２、ジェスチャ認識部１２で認識されたジェスチャコマンドに応じて操作対象（オブジェクト）を選択するオブジェクト選択部１３、オブジェクト選択部１３で選択されたオブジェクトに対してジェスチャコマンドに応じたビジュアルエフェクトをかけるビジュアルエフェクト部１４より構成される。
【００１７】
ＣＰＵ５でのオブジェクトの動作は、メモリ６に設定されたジェスチャ操作管理表２１により管理されている。
図３に本発明の一実施例のジェスチャ動作を管理する管理表の構成図を示す。図３（Ａ）は、ジェスチャ操作管理表２１の構成図、図３（Ｂ）は、ジェスチャ操作を管理するポインタ管理表２２の構成図を示す。
【００１８】
ジェスチャ操作管理表２１はジェスチャ操作が格納されたジェスチャ項目ａ、ジェスチャに応じた映像効果が格納された映像効果項目ｂ、次のジェスチャが認識されるまでに実行される処理が格納された経過処理項目ｃより構成され、一連のジェスチャ毎に、処理順に格納されている。図３（Ａ）には２種類の移動処理（１）、（２）と削除処理との３種類の処理が登録されている。
【００１９】
ジェスチャ項目ａは、ペン２の動きにより認識すべき操作を示しており、ここでは、選択（１）、（２）、切断（１）、（２）、ポイント（１）、（２）が示されている。選択（１）は、オブジェクト（アイコン）に接触しているペン２をタブレット３を介してディスプレイ４面から離間させる動作によりアイコンを選択するジェスチャを示している。また、選択（２）は、タブレット３を介してディスプレイ４面にペン２を接触させた状態で、アイコンの周囲を囲むジェスチャを示している。選択（１）、（２）のジェスチャによりアイコンを選択することができる。
【００２０】
また、切断（１）は、アイコンを右から左に横切る動作を、切断（２）は、アイコンを左から右に横切るジェスチャを示している。切断（１）、（２）によりアイコンが上下に切断することができる。
ポイント（１）は、ペン２をタブレット３を介してディスプレイ４面に接触させる動作を示している。ポイント２は、ペン２をタブレット３を介してディスプレイ４面より離す動作を示している。ポイント（１）、（２）のジェスチャによりアイコンのポインティングをできる。
【００２１】
映像効果項目ｂには、ジェスチャ項目ａで認識されたジェスチャに応じて実施する映像効果が設定されている。映像効果としては、アイコンに影を付ける表示、アイコンの影を消去する表示、元のアイコン位置を破線にする表示、アイコンを実線化する表示、アイコンに斜めに切断線を入れる表示、アイコンに十字に切断線を入れ、アイコンを消去する表示が設定されている。
【００２２】
経過処理ｃには、次のジェスチャが認識されるまでに実行すべき処理が設定されている。経過処理ｃに設定される処理としては、アイコンの移動を可能とするアイコン移動処理、次のジェスチャを有効とする時間を設定するタイマーを起動するタイマー起動処理が設定されている。
【００２３】
また、ポインタ管理表２２は、処理されるジェスチャ操作名ｄ、次に認識すべきジェスチャを認識するための次認識ジェスチャ項目ｅより構成され、現在処理中のジェスチャと次に認識すべきジェスチャとが管理されている。
図４に本発明の一実施例の並列動作を管理する管理表の構成図を示す。図４（Ａ）は、ジェスチャ項目ａの各ジェスチャの動作状態を管理する認識ジェスチャ表２３の構成図、図４（Ｂ）は、経過処理項目ｃの処理の動作状態を管理するための経過処理管理表２４の構成図を示す。
【００２４】
認識ジェスチャ表２３は、ジェスチャ操作管理表２１のジェスチャ項目ａに設定された選択（１）、（２）、切断（１）、（２）、ポイント（１）、（２）が次に実行可能か否かを示す有効フラグｆ、認識処理を初期状態から行う必要があるか否かを示すリセットフラグｇ、ジェスチャの認識が成功したか否かを示す認識成功フラグｈ、認識した対象とするオブジェクトを示す選択オブジェクトポインタｉより構成される。
【００２５】
有効フラグｆは、次にジェスチャが実行可能な項目はセット（｀１｀）され、ジェスチャが実行不可能な項目はリセット（｀０｀）される。すなわち、次に実行されるべきジェスチャを示している。
また、リセットフラグｇは、ジェスチャの認識が行われていないときにはセット（｀１｀）され、ジェスチャの認識が実行されている最中にはリセット（｀０｀）される。
【００２６】
また、認識成功フラグｈは、ジェスチャの認識処理が行われ、ジェスチャが認識されたときにはセット（｀１｀）され、ジェスチャが認識できなっかたとき、及び、通常はリセット（｀０｀）されている。
選択オブジェクトポインタｉは、ジェスチャによって認識されたオブジェクト（アイコン）を呼び出すためのポインタを登録する。
【００２７】
経過処理管理表２４は、ジェスチャ操作管理表２１の経過処理項目ｃに設定されたアイコン移動、タイマ起動などの処理項目毎に処理の有無を示す有効フラグｊ，次の処理が実行の有無を示す不成功フラグｋより構成される。有効フラグｊは、ジェスチャが認識されて経過処理が行われるときは、セット（｀１｀）されて、処理が実行されていないときには、リセット（｀０｀）される。
【００２８】
また、不成功フラグｋは、経過処理中に処理の実行が実行不可能になったときに、セット（｀１｀）され、通常はリセット状態（｀０｀）に保持される。例えば、タイマ起動時に一定時間経過しても次のジェスチャが認識されないときにセットされる。後述するように、この不成功フラグｋがセットされたときにはシステム全体が初期化されて、システムが待ち状態に陥らないように構成されている。
【００２９】
まず、移動（１）処理について説明する。図５に本発明の一実施例の移動処理（１）の動作説明図を示す。
移動処理（１）では、最初に選択（１）ジェスチャを認識しようと試みる。ここで、選択（１）ジェスチャは、図５（Ａ）に示すようにディスプレイ４に表示されたアイコン３１等のオブジェクトにタブレット３を介してタッチしているペン２を画面から離す動きである。なお、ペン２が指示している位置は、画面上にペンカーソル３２として表示される。ペンカーソル３２は、例えば、白抜きの矢印として画面表示される。
【００３０】
この選択（１）ジェスチャを認識したときにポインタ管理表２２のジェスチャ操作名ｄが移動処理（１）に設定され、次認識ジェスチャ項目ｅがジェスチャ操作管理表２１の移動処理（１）のジェスチャ項目ａの２段目を示す｀２｀が設定される。また、ジェスチャ操作管理表２１の映像効果項目ｂが実施され、図５（Ｂ）に示すように映像効果としてアイコン３１に影３３が付けられる。このときの経過処理ｃとしては次のジェスチャであるポイント（１）ジェスチャが認識されるまで、アイコン３１をペン２の位置に応じて移動させる処理が実施される。ここで、ポイント（１）ジェスチャは、ペン２を画面に接触させる動作である。
【００３１】
次に、ポイント（１）ジェスチャが認識されると、アイコン３１に付けられた影３３を消去し、アイコン３１の移動が停止される。このとき、移動処理（１）では、図５（Ｃ）に示すようにアイコン３１の移動が停止したときに元のアイコン位置にアイコン３１｀を破線で表示させる。ここで、一定時間内に図５（Ｄ）に示すように再びペン２により元の位置の破線のアイコン３１｀を接触したときには、元のアイコン位置に元のアイコン３１｀を再び実線として表示させ、アイコンの複写が行える構成とされている。このため、ポイント（１）ジェスチャ認識時に経過処理ｃとしてタイマーが起動され、次のジェスチャである選択（１）ジェスチャがタイマーが切れる前に実施されたときには、映像効果項目ｂのアイコン３１の実線化が行われる。
【００３２】
次に、移動処理（２）について説明する。図６に本発明の一実施例の移動処理（２）の動作説明図を示す。
移動処理（２）では、図６（Ａ）に示すように選択（２）によりペン２をディスプレイ面に接触させずに移動させようとするアイコン３１の周囲を囲むように動かすことによりアイコン３１の選択が行われ、図６（Ｂ）に示すように選択されたアイコン３１に影３３が付けられる。このとき、タイマーが起動され、一定時間内に次のジェスチャであるポイント（１）が認識されれば、図６（Ｃ）に示すようにアイコン３１が元の位置Ｐ０からポイント（１）で指示された位置Ｐ１にアイコン３１が移動される。
【００３３】
また、一定時間が経過しても何のジェスチャも実施されないときには、映像効果としてアイコンに付けられた影３３が消去される。
ポイント（１）のジェスチャによりアイコン３１が移動された場合には、次にポイント（２）のジェスチャの認識を待機する。ここで、ポイント（２）のジェスチャが実施されると図６（Ｄ）に示されるようにアイコン３１に映像効果として付けられた影が消去される。
【００３４】
次に、削除処理について説明する。図７に本発明の一実施例の削除処理の動作説明図を示す。
削除処理は、切断（１）、（２）の２つのジェスチャにより実現されている。まず、図７（Ａ）に示すようにペン２をアイコン３１上を右から左に横切らせる切断（１）ジェスチャにより図７（Ｂ）に示すように映像効果として削除しようとするアイコン３１に切断線３４が表示される。このとき、経過処理としてタイマーが起動され、一定時間内にペン２をアイコン３１上を左から右に横切らせる切断（２）ジェスチャを認識すれば、図７（Ｃ）に示すように切断線３４に加えて切断線３５を表示して、アイコン３１を削除する。
【００３５】
また、一定時間が経過しない内に図７（Ｄ）に示すアイコン３１の周囲を囲むようにペン２を移動させる選択（２）のジェスチャを行うことにより、切断線３４が消去され、元の状態に復元される。
さらに、一定時間経過しても切断（２）又は選択（２）のジェスチャが行われないときには、切断線３４が消去され、元の状態に復元される。
【００３６】
以上のように、移動処理（１）、（２）、削除処理は、メモリ６に保持されたジェスチャ操作管理表２１、ポインタ管理表２２、認識ジェスチャ表２３、経過処理管理表２４に従ってＣＰＵ５が動作されることにより実行される。
図８に本発明の一実施例のＣＰＵの動作フローチャートを示す。
【００３７】
ＣＰＵ５は、動作開始時にはまず、メモリ６に格納されたポインタ管理表２２、認識ジェスチャ表２３、経過処理管理表２４を初期化する（ステップＳ１−１）。次に、ＣＰＵ５は、ペン状態認識部１１によりタブレット３からの情報を取得し、ディスプレイ４上でのペン２の状態情報を取得する（ステップＳ１−２）。
【００３８】
次に、ＣＰＵ５は、ジェスチャ認識部１２によりステップＳ１−２で取得したペン２の情報から後述する認識処理によりユーザーの行ったジェスチャを認識する（ステップＳ１−３〜Ｓ１−８）。ＣＰＵ５は、ジェスチャを認識すると、ジェスチャ操作管理表２１を検索し、ジェスチャ操作管理表２１に設定された経過処理を実施すると共に認識ジェスチャ表２３の内容を更新する（ステップＳ１−９、Ｓ１−１０）。
【００３９】
また、ＣＰＵ５は、続けて認識したジェスチャに応じてジェスチャ操作管理表２１に設定された映像効果を表示し、ステップＳ１−２に戻る（ステップＳ１−１３）。なお、認識されたジェスチャが存在しない場合及びジェスチャの認識に失敗した場合には、映像効果は実施しないでステップＳ１−２戻り、再びジェスチャの認識を実施する（ステップＳ１−１１、Ｓ１−１２）。
【００４０】
ＣＰＵ５は、上記ステップＳ１−２〜Ｓ１ー１３を繰り返し、ディスプレイ４に表示されたアイコンなどのオブジェクトに対してあらかじめ設定された映像効果を付与する。
図９に本発明の一実施例の選択（１）を認識するための処理の動作フローチャートを示す。
【００４１】
ステップＳ１−３の選択（１）ジェスチャを認識するための処理では、まず、認識ジェスチャ表２３の有効フラグｆを検知する（ステップＳ２−１）。ここで、有効フラグｆがリセットされていれば、ジェスチャを認識できない状態にあるため、認識処理は終了される。また、有効フラグｆがセットされていれば、ジェスチャを認識できる状態であるため、次に認識ジェスチャ表２３のリセットフラグｇを検知する（ステップＳ２−２）。リセットフラグｇがセットされていれば、認識を初期状態から行う必要があることを示しているため、まず、ペン２がディスプレイ４に接触しているか否か、すなわち、ペン２がタブレット３に接触しているか否かが判断される（ステップＳ２−３）。ペン２がディスプレイ４に接触している場合には、初期状態ではないため、そのまま処理を終了する。また、ペン２がディスプレイ４に接触していない場合には、リセットフラグｇをリセットし、ペン２の一連の動作を認識するため一連の座標を順次格納した座標リストをクリアし、このとき取得した座標データを先頭座標に設定する（ステップＳ２−４〜Ｓ２−６）。以上により初期化が終了する。
【００４２】
次に取得した座標データを座標リストに追加する（ステップＳ２−７）。ここで、ステップＳ２−２でリセットフラグｇがリセットされている場合には、ステップＳ２−７で続けて座標データが追加される。
ここで、追加された座標データが座標リストの先頭座標か否かが判断される（ステップＳ２−８）。ステップＳ２−８でペン２の指示位置が先頭座標のときには、まだ選択（１）が選択された状態ではないため、処理を終了する。また、ステップＳ２−８で座標データが先頭座標ではないときには選択（１）処理か否かを判断するために、次に先頭座標近傍に位置するか否かが判断される（ステップＳ２−９）。
【００４３】
ステップＳ２−９でペン２の座標が座標リストの先頭座標近傍にないときには、選択（１）が選択されないと判断できるため、選択（１）のリセットフラグｇをセットして処理を終了する（ステップＳ２−１４）。また、ステップＳ２−９でペン２の座標が座標リストの先頭座標近傍に留まっているときには、選択（１）が選択される可能性があるため、次に選択（１）のジェスチャーであるペン２がディスプレイ４に接触しているか否かが判断される（ステップＳ２−１０）。
【００４４】
ステップＳ２−１０でペン２がディスプレイ４に接触していなければ、選択（１）が選択されたと判断できないため、処理を終了する。また、ステップＳ２−１０でペン２がディスプレイ４に接触していれば、選択（１）が選択されたと判断でき、次にペン２が指示している座標に位置するアイコンを検索する（ステップＳ２−１１）。
【００４５】
ステップＳ２−１１の検索の結果、ペン２が指示している座標にアイコンがあれば、そのアイコンを選択（１）により選択されたアイコンとして認識ジェスチャ表２３の認識成功フラグｈをセットし、選択オブジェクトポインタｉに選択されたアイコンを識別する情報を設定する（ステップＳ２−１２、Ｓ２−１３）。また、ステップＳ２−１１の検索の結果、ペン２が指示している座標にアイコンが存在しなければ、選択（１）が実施されたとは判断できないため、選択（１）のリセットフラグｇをセットして処理を終了する（ステップＳ２−１２、Ｓ２−１４）。
【００４６】
以上により選択（１）のジェスチャが認識される。
図１０に本発明の一実施例の選択（２）を認識するための処理の動作フローチャートを示す。
ステップＳ１−４の選択（２）ジェスチャを認識するための処理では、まず、認識ジェスチャ表２３の有効フラグｆを検知する（ステップＳ３−１）。ここで、有効フラグｆがリセットされていれば、ジェスチャを認識できない状態にあるため、認識処理は終了される。また、有効フラグｆがセットされていれば、ジェスチャを認識できる状態であるため、次に認識ジェスチャ表２３のリセットフラグｇを検知する（ステップＳ３−２）。リセットフラグｇがセットされていれば、認識を初期状態から行う必要があることを示しているため、まず、ペン２がディスプレイ４に接触しているか否か、すなわち、ペン２がタブレット３に接触しているか否かが判断される（ステップＳ３−２）。ペン２がディスプレイ４に接触している場合には、初期状態ではないため、そのまま処理を終了する。また、ペン２がディスプレイ４に接触していない場合には、リセットフラグｇをリセットし、ペン２の一連の動作を認識するため一連の座標を順次格納した座標リストをクリアし、このとき取得した座標データを先頭座標に設定する（ステップＳ３−４〜Ｓ３−６）。以上により初期化が終了する。
【００４７】
次に取得した座標データを座標リストに追加する（ステップＳ３−７）。ここで、ステップＳ３−２でリセットフラグｇがリセットされている場合には、次にペン２がディスプレイ４に接触しているか否かが判断される（ステップＳ３−８）。
【００４８】
ステップＳ３−８でペン２がディスプレイ４に接触している場合には、選択（２）のジェスチャではないので、次に初期状態となるように設定されるようにリセットフラグｇをセットして処理を終了する（ステップＳ３−９）。また、ステップＳ３−８でペン２がディスプレイ４に接触していない場合には、選択（２）のジェスチャである可能性があるため、そのときペン２が指示している座標をペン２の軌跡を保持している座標リストに追加する（ステップＳ３−７）。
【００４９】
ステップＳ３−７で座標リストに座標データが新たに追加されると、次に、追加された座標データが座標リストの先頭座標か否かが判断される（ステップＳ３−１０）。ステップＳ３−１０でペン２の指示位置が先頭座標のときには、まだ選択（２）が選択された状態ではないため、処理を終了する。また、ステップＳ３−１０で座標データが先頭座標ではないときには選択（２）処理か否かを判断するために、次に先頭座標近傍に位置するか否かが判断される（ステップＳ３−１１）。
【００５０】
ステップＳ３−１１でペン２の座標が座標リストの先頭座標近傍にないときには、選択（２）が選択されないかまたは選択（２）のジェスチャの途中であると判断できるため、このまま処理を終了する。また、ステップＳ３−１１でペン２の座標が座標リストの先頭座標近傍に存在するときには、選択（２）が選択される可能性があるため、次に選択（２）のジェスチャーであるペン２の軌跡により形成された閉領域に含まれるアイコンを検索する（ステップＳ３−１２）。
【００５１】
ステップＳ３−１２の検索の結果、ペン２が指示した座標の軌跡により形成された閉領域内にアイコンがあれば、そのアイコンを選択（２）により選択されたアイコンとして認識ジェスチャ表２３の認識成功フラグｈをセットし、選択オブジェクトポインタｉに選択されたアイコンを識別する情報を設定する（ステップＳ３−１３、Ｓ３−１４）。また、ステップＳ３−１３の検索の結果、ペン２が指示した座標の軌跡により形成された閉領域内にアイコンが存在しなければ、選択（２）が実施されたとは判断できないため、選択（２）のリセットフラグｇをセットして処理を終了する（Ｓ３−１３、Ｓ３−９）。
【００５２】
以上により選択（２）のジェスチャが認識される。
図１１に本発明の一実施例の切断（１）を認識するための処理の動作フローチャートを示す。
ステップＳ１−５の切断（１）ジェスチャを認識するための処理では、まず、認識ジェスチャ表２３の有効フラグｆを検知する（ステップＳ４−１）。ここで、有効フラグｆがリセットされていれば、ジェスチャを認識できない状態にあるため、認識処理は終了される。また、有効フラグｆがセットされていれば、ジェスチャを認識できる状態であるため、次に認識ジェスチャ表２３のリセットフラグｇを検知する（ステップＳ４−２）。リセットフラグｇがセットされていれば、認識を初期状態から行う必要があることを示しているため、まず、ペン２がディスプレイ４に接触しているか否か、すなわち、ペン２がタブレット３に接触しているか否かが判断される（ステップＳ４−３）。ペン２がディスプレイ４に接触している場合には、初期状態ではないため、そのまま処理を終了する。また、ペン２がディスプレイ４に接触していない場合には、リセットフラグｇをリセットし、ペン２の一連の動作を認識するため一連の座標を順次格納した座標リストをクリアし、このとき取得した座標データを先頭座標に設定する（ステップＳ４−４〜Ｓ２−６）。以上により初期化が終了する。
【００５３】
次に取得した座標データを座標リストに追加する（ステップＳ４−７）。ここで、ステップＳ４−２でリセットフラグｇがリセットされている場合には、ステップＳ４−７で続けて座標データが追加される。
ここで、追加された座標データが座標リストの先頭座標か否かが判断される（ステップＳ４−８）。ステップＳ４−８でペン２の指示位置が先頭座標のときには、まだ切断（１）が選択された状態ではないため、処理を終了する。また、ステップＳ４−８で座標データが先頭座標ではないときには切断（１）処理か否かを判断するために、次に切断（１）のジェスチャーであるペン２がディスプレイ４に接触しているか否かが判断される（ステップＳ４−９）。
【００５４】
ステップＳ４−９でペン２がディスプレイ４に接触していなければ、切断（１）が選択されたと判断できないため、処理を終了する。また、ステップＳ４−９でペン２がディスプレイ４に接触していれば、切断（１）が選択される可能性があると判断でき、次に座標リストよりペン２の軌跡が左から右に横切るアイコンを検索する（ステップＳ４−１０）。
【００５５】
ステップＳ４−１０の検索の結果、ペン２の軌跡が左から右に横切るアイコンがあれば、そのアイコンを切断（１）により選択されたアイコンとして認識ジェスチャ表２３の認識成功フラグｈをセットし、選択オブジェクトポインタｉに切断しようとするアイコンを識別する情報を設定する（ステップＳ４−１２）。また、ステップＳ４−１０の検索の結果、ペン２の軌跡が左から右に横切るアイコンが存在しなければ、切断（１）が実施されたとは判断できないため、切断（１）のリセットフラグｇをセットして処理を終了する（ステップＳ４−１３）。
【００５６】
以上により切断（１）のジェスチャが認識される。
図１２に本発明の一実施例の切断（２）を認識するための処理の動作フローチャートを示す。
ステップＳ１−６の切断（２）ジェスチャを認識するための処理では、まず、認識ジェスチャ表２３の有効フラグｆを検知する（ステップＳ５−１）。ここで、有効フラグｆがリセットされていれば、ジェスチャを認識できない状態にあるため、認識処理は終了される。また、有効フラグｆがセットされていれば、ジェスチャを認識できる状態であるため、次に認識ジェスチャ表２３のリセットフラグｇを検知する（ステップＳ５−２）。リセットフラグｇがセットされていれば、認識を初期状態から行う必要があることを示しているため、まず、ペン２がディスプレイ４に接触しているか否か、すなわち、ペン２がタブレット３に接触しているか否かが判断される（ステップＳ５−３）。ペン２がディスプレイ４に接触している場合には、初期状態ではないため、そのまま処理を終了する。また、ペン２がディスプレイ４に接触していない場合には、リセットフラグｇをリセットし、ペン２の一連の動作を認識するため一連の座標を順次格納した座標リストをクリアし、このとき取得した座標データを先頭座標に設定する（ステップＳ５−４〜Ｓ５−６）。以上により初期化が終了する。
【００５７】
次に取得した座標データを座標リストに追加する（ステップＳ５−７）。ここで、ステップＳ５−２でリセットフラグｇがリセットされている場合には、ステップＳ５−７で続けて座標データが追加される。
ここで、追加された座標データが座標リストの先頭座標か否かが判断される（ステップＳ５−８）。ステップＳ４−８でペン２の指示位置が先頭座標のときには、まだ切断（２）が選択された状態ではないため、処理を終了する。また、ステップＳ５−８で座標データが先頭座標ではないときには切断（２）処理か否かを判断するために、次に切断（２）のジェスチャーであるペン２がディスプレイ４に接触しているか否かが判断される（ステップＳ５−９）。
【００５８】
ステップＳ５−９でペン２がディスプレイ４に接触していなければ、切断（２）が選択されたと判断できないため、処理を終了する。また、ステップＳ５−９でペン２がディスプレイ４に接触していれば、切断（２）が選択される可能性があると判断でき、次に座標リストよりペン２の軌跡が左から右に横切るアイコンを検索する（ステップＳ５−１０）。
【００５９】
ステップＳ５−１０の検索の結果、ペン２の軌跡が右から左に横切るアイコンがあれば、そのアイコンを切断（２）により選択されたアイコンとして認識ジェスチャ表２３の認識成功フラグｈをセットし、選択オブジェクトポインタｉに切断しようとするアイコンを識別する情報を設定する（ステップＳ５−１２）。また、ステップＳ５−１０の検索の結果、ペン２の軌跡が右から左に横切るアイコンが存在しなければ、切断（２）が実施されたとは判断できないため、切断（１）のリセットフラグｇをセットして処理を終了する（ステップＳ５−１３）。
【００６０】
以上により切断（２）のジェスチャが認識される。
図１３に本発明の一実施例のポイント（１）を認識するための処理の動作フローチャートを示す。
ステップＳ１−７のポイント（１）ジェスチャを認識するための処理では、まず、認識ジェスチャ表２３の有効フラグｆを検知する（ステップＳ６−１）。ここで、有効フラグｆがリセットされていれば、ジェスチャを認識できない状態にあるため、認識処理は終了される。また、有効フラグｆがセットされていれば、ジェスチャを認識できる状態であるため、次に認識ジェスチャ表２３のリセットフラグｇを検知する（ステップＳ６−２）。リセットフラグｇがセットされていれば、認識を初期状態から行う必要があることを示しているため、まず、ペン２がディスプレイ４に接触しているか否か、すなわち、ペン２がタブレット３に接触しているか否かが判断される（ステップＳ６−３）。ペン２がディスプレイ４に接触している場合には、ポイント（１）は認識できないため、そのまま処理を終了する。また、ペン２がディスプレイ４に接触していない場合には、リセットフラグｇをリセットし、認識処理が実行中であることを設定する（ステップＳ６−４）。
【００６１】
ポイント（１）処理か否かを判断するために、次にポイント（１）のジェスチャーであるペン２がディスプレイ４に接触しているか否かが判断される（ステップＳ６−５）。
ステップＳ６−５でペン２がディスプレイ４に接触していなければ、ポイント（１）が選択されたと判断できないため、処理を終了する。また、ステップＳ６−５でペン２がディスプレイ４に接触していれば、ポイント（１）が選択される可能性があると判断でき、ペン２が指示している位置のアイコンを検索する（ステップＳ６−６）。
【００６２】
ステップＳ６−６の検索の結果、ペン２が指示している位置にアイコンがあれば、そのアイコンをポイント（１）により選択されたアイコンとして認識ジェスチャ表２３の認識成功フラグｈをセットし、選択オブジェクトポインタｉに指示されたアイコンを識別する情報を設定する（ステップＳ６−７）。また、ステップＳ６−６の検索の結果、ペン２が指示している位置にアイコンが存在しなければ、ポイント（１）が実施されたとは判断できないため、ポイント（１）のリセットフラグｇをセットして処理を終了する（ステップＳ６−８）。
【００６３】
以上によりポイント（１）のジェスチャが認識される。
図１４に本発明の一実施例のポイント（２）を認識するための処理の動作フローチャートを示す。
ステップＳ１−８のポイント（２）ジェスチャを認識するための処理では、まず、認識ジェスチャ表２３の有効フラグｆを検知する（ステップＳ７−１）。ここで、有効フラグｆがリセットされていれば、ジェスチャを認識できない状態にあるため、認識処理は終了される。また、有効フラグｆがセットされていれば、ジェスチャを認識できる状態であるため、次に認識ジェスチャ表２３のリセットフラグｇを検知する（ステップＳ７−２）。リセットフラグｇがセットされていれば、認識を初期状態から行う必要があることを示しているため、まず、ペン２がディスプレイ４に接触しているか否か、すなわち、ペン２がタブレット３に接触しているか否かが判断される（ステップＳ７−３）。ペン２がディスプレイ４に接触していない場合には、ポイント（２）は認識できないため、そのまま処理を終了する。また、ペン２がディスプレイ４に接触している場合には、リセットフラグｇをリセットし、認識処理が実行中であることを設定する（ステップＳ７−４）。以上により初期化が終了する。
【００６４】
ポイント（２）処理か否かを判断するために、次にポイント（２）のジェスチャーであるペン２がディスプレイ４に接触しているか否かが判断される（ステップＳ７−５）。
ステップＳ７−５でペン２がディスプレイ４に接触していれば、ポイント（２）が選択されたと判断できないため、処理を終了する。また、ステップＳ７−５でペン２がディスプレイ４に接触していなければ、ポイント（２）が選択された可能性があると判断でき、ペン２が指示している位置のアイコンを検索する（ステップＳ７−６）。
【００６５】
ステップＳ７−６の検索の結果、ペン２が指示している位置にアイコンがあれば、そのアイコンをポイント（２）により選択されたアイコンとして認識ジェスチャ表２３の認識成功フラグｈをセットし、選択オブジェクトポインタｉに指示されたアイコンを識別する情報を設定する（ステップＳ７−７）。また、ステップＳ６−６の検索の結果、ペン２が指示している位置にアイコンが存在しなければ、ポイント（２）が実施されたとは判断できないため、ポイント（２）のリセットフラグｇをセットして処理を終了する（ステップＳ７−８）。
【００６６】
以上によりポイント（２）のジェスチャが認識される。
ＣＰＵ５は、図８に示すようにステップＳ１−３〜Ｓ１−８の認識処理が層構造をなし、ペン２の座標及びディスプレ４との接触状態を取得しながら、図９〜図１４に説明した認識処理が順次実行され、認識結果に応じて映像効果を表示する。
このように、本実施例によれば、アイコンを移動させようとするときには移動しようとするアイコンを選択（１）又は（２）により選択することにより、映像効果としてアイコンに影が付きアイコンが画面から浮き上がったかのような表示とされアイコンが選択されたことが直感的に認識できるようになる。また、アイコンを削除するときには、ペン２により削除しようとするアイコンに×を書くことによりアイコンに切断線が表示され、アイコンがこれから削除されることが直感的に認識できる。このとき、途中でペン２により○を書くジェスチャを行えば、アイコンが復元される。このように、直感的にアイコンの削除や移動を行え、使い勝手の良い入出力インタフェースを実現できる。
【００６７】
なお、本実施例では、移動処理及び削除処理時の表示制御について説明したがこれに限ることはなく、ジェスチャ管理表２１に他の処理のときの表示制御を設定すれば、上述した移動処理及び削除処理と同様に直感的な表示が行える。また、本実施例では、アイコンの移動・削除についての説明を行っているがアイコンに限ることはなく、他の図形・文字に対しても同様に対応できる。
【００６８】
【発明の効果】
上述の如く、本発明によれば、オブジェクトを移動させるときに、指示手段によりオブジェクトを選択した後、指示手段を画面より離間させる動作によりオブジェクトに影付けを行なうことにより、オブジェクトの移動を直感的に把握できる等の特長を有する。
【図面の簡単な説明】
【図１】本発明の一実施例のブロック構成図である。
【図２】本発明の一実施例の要部のブロック構成図である。
【図３】本発明の一実施例のジェスチャ動作を管理する管理表の構成図である。
【図４】本発明の一実施例の並列動作を管理する管理表の構成図である。
【図５】本発明の一実施例の移動処理（１）の動作説明図である。
【図６】本発明の一実施例の移動処理（２）の動作説明図である。
【図７】本発明の一実施例の削除処理の動作説明図である。
【図８】本発明の一実施例のＣＰＵの動作フローチャートである。
【図９】本発明の一実施例の選択（１）を認識するための処理の動作フローチャートである。
【図１０】本発明の一実施例の選択（２）を認識するための処理の動作フローチャートである。
【図１１】本発明の一実施例の切断（１）を認識するための処理の動作フローチャートである。
【図１２】本発明の一実施例の切断（２）を認識するための処理の動作フローチャートである。
【図１３】本発明の一実施例のポイント（１）を認識するための処理の動作フローチャートである。
【図１４】本発明の一実施例のポイント（２）を認識するための処理の動作フローチャートである。
【符号の説明】
１  コンピュータシステム
２  ペン
３  タブレット
４  ディスプレイ
５  ＣＰＵ
６  メモリ
１１  ペン状態認識部
１２  ジェスチャ認識部
１３  オブジェクト選択部
１４  ビジュアル・エフェクト部
２１  ジェスチャ操作管理表
２２  ポインタ管理表
２３  認識ジェスチャ表
２４  経過処理管理表
３１  アイコン
３２  ペンカーソル
３３  影
３４、３５  切断線
【図１】
0003688361.tif 000002
【図２】
0003688361.tif 000003
【図３】
0003688361.tif 000004
【図４】
0003688361.tif 000005
【図５】
0003688361.tif 000006
【図６】
0003688361.tif 000007
【図７】
0003688361.tif 000008
【図８】
0003688361.tif 000009
【図９】
0003688361.tif 000010
【図１０】
0003688361.tif 000011
【図１１】
0003688361.tif 000012
【図１２】
0003688361.tif 000013
【図１３】
0003688361.tif 000014
【図１４】
0003688361.tif 000015