(57)【要約】【課題】容易かつ短時間に所望の図形を描画すること。【解決手段】多段階のジェスチャ認識を用いてディスプレイ画面上に幾何学的図形を生成するシステム及び方法を提供する。この方法は、第１タッチ入力を受け付けるタッチセンサ式インターフェースを有するディスプレイ画面に依存する。この方法は、第１ジェスチャとして認識された第１タッチ入力を認識することに応答して、ディスプレイ画面に基準位置を確立する。次にタッチセンサ式インターフェースは、基準位置での開始ポイント、そして終了ポイントを有する第２タッチ入力を受け付ける。幾何学的図形は、第２ジェスチャとして認識された第２タッチ入力に応答して解釈され、そしてこの方法は、ディスプレイ画面上に解釈された幾何学的図形の画像を示す。人の指、マーキング装置、またはその両方を、タッチ入力に使用してよい。【選択図】図１２
2014182814.tif 000002
【特許請求の範囲】
【請求項１】
表示面上の操作を受け付ける操作受付手段と、
前記操作受付手段により受け付けられた操作に基づいて、幾何学的図形の画像を生成する図形画像生成手段と、
前記図形画像生成手段により生成された画像を前記表示面に表示させる表示制御手段と、を備え、
前記図形画像生成手段は、前記操作受付手段により基準位置を設定するための第１操作と、該基準位置と同一または該基準位置から近傍の位置から開始される第２操作とが受け付けられると、前記基準位置を描画の開始位置として、前記第２操作が示す軌跡から解釈される幾何学的図形の画像を生成することを特徴とする、描画装置。
【請求項２】
前記操作受付手段は、前記第１操作の受付から第１所定時間以内に開始される操作を前記第２操作として受け付けることを特徴とする、請求項１に記載の描画装置。
【請求項３】
前記操作受付手段は、第２所定時間以上継続して同一位置を指定する操作Ａを前記第１操作として受け付ける場合、前記第２所定時間以上継続して指定された位置を前記基準位置として設定し、往来する操作Ｂを前記第１操作として受け付ける場合、前記操作Ｂの軌跡上において定められる位置を前記基準位置として設定することを特徴とする、請求項１または２に記載の描画装置。
【請求項４】
前記操作受付手段は、同時に複数の位置の指定を検出可能であって、第１オブジェクトを用いて操作される前記操作Ａを検出しながら、第２オブジェクトを用いて操作される前記第２操作を検出することを特徴とする、請求項３に記載の描画装置。
【請求項５】
前記図形画像生成手段は、前記基準位置を描画の開始位置とした前記第２操作が示す軌跡が未完全な幾何学的図形であると判断する場合、該軌跡に対して予め関連付けられた完全な幾何学的図形の画像を生成することを特徴とする、請求項１〜４のいずれかに記載の描画装置。
【請求項６】
前記表示制御手段は、前記基準位置を描画の開始位置とした前記第２操作が示す軌跡が未完全な幾何学的図形であると前記図形画像生成手段によって判断される場合において、該軌跡に対して予め関連付けられた完全な幾何学的図形を示すアイコンを選択可能にポップアップ表示し、
前記図形画像生成手段は、前記選択されたアイコンに従って、完全な幾何学的図形の画像を生成することを特徴とする、請求項５に記載の描画装置。
【請求項７】
前記図形画像生成手段は、前記選択されたアイコンが示す幾何学的図形の属性の設定が前記操作受付手段により受け付けられると、該選択されたアイコンおよび該設定された属性に従って、幾何学的図形の画像を生成することを特徴とする、請求項６に記載の描画装置。
【請求項８】
前記操作受付手段は、指およびマーキングデバイスの少なくとも一方のオブジェクトを検出するタッチセンサ式インターフェースであることを特徴とする、請求項１〜７のいずれかに記載の描画装置。
【請求項９】
表示面上の操作を受け付けるステップと、
前記受け付けられた操作に基づいて、幾何学的図形の画像を生成するステップと、
前記生成された画像を前記表示面に表示させるステップと、を含み、
前記画像を生成するステップは、前記基準位置を設定するための第１操作と、該基準位置と同一または該基準位置から近傍の位置から開始される第２操作とが受け付けられると、前記基準位置を描画の開始位置として、前記第２操作が示す軌跡から解釈される幾何学的図形の画像を生成することを特徴とする、描画方法。
【請求項１０】
前記操作を受け付けるステップは、前記第１操作の受付から第１所定時間以内に開始される操作を前記第２操作として受け付けることを特徴とする、請求項９に記載の描画方法。
【請求項１１】
前記操作を受け付けるステップは、第２所定時間以上継続して同一位置を指定する操作Ａを前記第１操作として受け付ける場合、前記第２所定時間以上継続して指定された位置を前記基準位置として設定し、往来する操作Ｂを前記第１操作として受け付ける場合、前記操作Ｂの基点となる位置を前記基準位置として設定することを特徴とする、請求項９または１０に記載の描画方法。
【請求項１２】
前記操作を受け付けるステップは、同時に複数の位置の指定を検出可能であって、第１オブジェクトを用いて操作される前記操作Ａを検出しながら、第２オブジェクトを用いて操作される前記第２操作を検出することを特徴とする、請求項１１に記載の描画方法。
【請求項１３】
前記描画を生成するステップは、前記基準位置を描画の開始位置とした前記第２操作が示す軌跡が未完全な幾何学的図形であると判断する場合、該軌跡に対して予め関連付けられた完全な幾何学的図形の画像を生成することを特徴とする、請求項９〜１２のいずれかに記載の描画方法。
【請求項１４】
ディスプレイ装置と情報処理装置とを含む描画システムであって、
前記情報処理装置は、
前記ディスプレイ装置の表示面上において受け付けられた操作に基づいて、幾何学的図形の画像を生成する図形画像生成手段と、
前記図形画像生成手段により生成された画像を前記ディスプレイ装置に表示させる表示制御手段と、を備え、
前記図形画像生成手段は、前記ディスプレイ装置により基準位置を設定するための第１操作と、該基準位置と同一または該基準位置から近傍の位置から開始される第２操作とが受け付けられると、前記基準位置を描画の開始位置として、前記第２操作が示す軌跡から解釈される幾何学的図形の画像を生成することを特徴とする、描画システム。
【請求項１５】
前記ディスプレイ装置は、第２所定時間以上継続して同一位置を指定する操作Ａを前記第１操作として受け付ける場合、前記第２所定時間以上継続して指定された位置を前記基準位置として設定し、往来する操作Ｂを前記第１操作として受け付ける場合、前記操作Ｂの基点となる位置を前記基準位置として設定することを特徴とする、請求項１４に記載の描画システム。
【請求項１６】
前記図形画像生成手段は、前記基準位置を描画の開始位置とした前記第２操作が示す軌跡が未完全な幾何学的図形であると判断する場合、該軌跡に対して予め関連付けられた完全な幾何学的図形の画像を生成することを特徴とする、請求項１４または１５に記載の描画システム。
【請求項１７】
前記ディスプレイ装置は、指およびマーキングデバイスの少なくとも一方のオブジェクトを検出するタッチセンサ式インターフェースを含むことを特徴とする、請求項１４〜１６のいずれかに記載の描画システム。
【請求項１８】
請求項１〜８のいずれかに記載の描画装置を動作させるためのプログラムであって、コンピュータを前記の各手段として機能させるための描画プログラム。
【請求項１９】
請求項１８に記載された描画プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、描画装置、描画方法および描画プログラムに関し、特に情報処理装置を利用して図形を描画するための描画装置、描画方法および描画プログラムに関する。
に関する。
【背景技術】
【０００２】
従来、コンピュータ・プログラム、ディスプレイ、スタイラスペンは、コンピュータシステムと情報を伝え合うことにより、幾何学的図形、図表および線画を生成する方法として使用されている。このようなシステムの大半において、規則的な幾何学的図形を生成するには、一般的にシステムユーザに提示されたツール・パレットからのツールの選択が要求される。つまり、長方形を生成するために、まず長方形が生成されることを示すボタンコントロールをクリックまたはタップすることにより、長方形生成モードが選択され、次に例えばマウスボタンをクリックして、ホールドし、マーキー表示をドラッグする。マウスボタンから指を離した後、マーキーのアウトラインは、長方形の境界で可視図形線に置き換えられる。
【０００３】
このような動作は、マウスの代わりにスタイラスペンまたはデジタル・ライティング手段を操作することにより行われることもあるが、その場合であっても、所望の図形を生成するためには、ツール・パレットから次の動作を事前に選択し、次にスタイラスペンを用いて、図形の大きさ、描画する位置等を指定する等の所定の操作が必要である。このような技術と類似して、引用文献１には、選択された図形描画アイコンを表示画面上に描画表示する技術が開示されている。具体的に、選択された図形描画アイコンに予め定められた指定のパターンで、表示画面上の座標位置が指定されることにより、選択された図形描画用アイコンが示す図形を描画することが可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３２６６９１号公報（２００４年１１月１６日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述のような従来技術は、複数の描画アイコンの中から所望の図形を示すアイコンを探す必要があるため、アイコンの特定に時間を要するといった問題がある。
【０００６】
本発明は、上記課題を解決するためになされたものであり、この発明の目的は、容易かつ短時間に所望の図形を描画することが可能な描画装置、描画方法および描画プログラムを提供することである。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る描画装置は、表示面上の操作を受け付ける操作受付手段と、前記操作受付手段により受け付けられた操作に基づいて、幾何学的図形の画像を生成する図形画像生成手段と、前記図形画像生成手段により生成された画像を前記表示面に表示させる表示制御手段とを備え、前記図形画像生成手段は、前記操作受付手段により基準位置を設定するための第１操作と、該基準位置と同一または該基準位置から近傍の位置から開始される第２操作とが受け付けられると、前記基準位置を描画の開始位置として、前記第２操作が示す軌跡から解釈される幾何学的図形の画像を生成する。
【０００８】
本発明の実施形態は、指およびマーキングオブジェクトを使用して、ディスプレイ表面と情報を伝え合うためのシステムおよび方法がここに開示され、特に幾何学的図形を描くためのやり取りを目的としている。これら手段は、ディスプレイパネルにおけるタッチインターフェース技術の高度化および新たなスタイラス技術の可能性に依存しており、ディスプレイ表面において、一方の手の指および他方の手に持ったスタイラスペンからのタッチの併用を可能にする。ある局面において、指先のタッチの位置を特定することによって、第１ポイントを設定し、スタイラスの先は、指先の位置に隣接され、スタイラスが第１ポイントからある方向に離れて移動すると、第２以降のポイントを描く。方向における重要な変化および／またはスタイラスペンの連続する軌跡の形状によって、基本的なシステムは、第１ポイントとスタイラスの位置の組み合わせによる経時的な分析によって、具体的な規則的幾何学的図形を生成する。生成後、上述の方法以外に、指のタッチは、拡大縮小、回転などのような典型的に想定される方法で、生成されて幾何学的オブジェクトを直接操作するために使用されてもよい。
【０００９】
これら動作は、位置を決めて、パレットからのツールを選択するといった不要な動作を避け、様々な図を必要とし、または、図形を生成するための操作を制御する。そのように、ここに記載の手段は、異なる幾何のいくつかの図形をすばやく生成することをユーザが望む場合、多くの無駄な動きおよび時間を回避できるので、ユーザの体験の向上を提示する。指タッチの使用のみ、またはスタイラスペンのタッチの使用のみを提供する他のバリエーションでは、置き換えられたジェスチャ・シーケンスにより、同じ操作性がユーザに可能となる。
【００１０】
その結果、多段階のジェスチャ認識を用いて、ディスプレイ画面上に幾何学的図形を生成する方法が提供される。この方法は、第1タッチ入力を受け付けるタッチセンサ式インターフェースを有するディスプレイ画面に依存する。この方法は、第１ジェスチャとしての第１タッチ入力を認識することに応じて、ディスプレイ画面に基準位置を設定する。１つの態様において、このステップは、非一時的メモリに格納された処理装置が実行可能な指示のシーケンスとして使用可能な、ソフトウェアアプリケーションにより実行される。次にタッチセンサ式インターフェースは、基準位置での開始ポイント、そして終了ポイントを有する第２タッチ入力を受け付ける。幾何学的図形は、第２ジェスチャとして認識された第２タッチ入力に応答して解釈され、そしてこの方法は、ディスプレイ画面上に解釈された幾何学的図形の画像を示す。
【００１１】
タッチセンサ式インターフェースは、人の指、マーキングデバイス、または人の指とマーキングデバイスの組み合わせのようなオブジェクトを検出する結果として、第１及び第２タッチ入力を受け付ける（認識する）。単独のオブジェクト（指またはマーキングするオブジェクト）を用いる１つの態様において、タッチセンサ式インターフェースは、第１動作を実行する第１オブジェクトを検出することにより、第１タッチ入力を受け付ける。基準位置は、第１ジェスチャとして認識された第１動作に応答して設定され、第２ジェスチャは、第１オブジェクトが、基準位置から所定時間と所定距離内で再検出されたときに認識される。あるいは、タッチセンサ式インターフェースが、第１オブジェクトにより実行される特定の動きを検出することで第１タッチ入力を受け付けるように、または、第１オブジェクトが、所定の（最小）時間分ディスプレイ画面に対して固定基準位置で維持されるように、指とマーキングデバイスの両方を使用してよい。次いで、タッチセンサ式インターフェースは、基準位置からディスプレイ画面上の所定距離内にある開始ポイントで第２オブジェクトを検出することにより、第２タッチ入力を受け付ける。
【００１２】
上記方法の更なる詳細、幾何学的図形を生成するための処理装置が実行可能な指示、及び多段階のジェスチャ認識を用いて幾何学的図形を生成する対応するシステムが以下に提供されている。
【発明の効果】
【００１３】
本発明は、容易かつ短時間に所望の図形を描画することができるといった効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】多段階のジェスチャ認識を用いて、ディスプレイ画面上に幾何学的図形を生成するためのシステムを示す概略的なブロック図である。
【図２Ａ】タッチセンサ入力を生成するための単独のオブジェクトの使用を示す図である。
【図２Ｂ】タッチセンサ入力を生成するための単独のオブジェクトの使用を示す図である。
【図３】幾何学的図形を生成するための２オブジェクト方法を示す図である。
【図４】部分的な幾何学的図形を定める第２タッチ入力を示す図である。
【図５Ａ】２つの異なるマーキングオブジェクトを使用した一連の動作を示す。
【図５Ｂ】２つの異なるマーキングオブジェクトを使用した一連の動作を示す。
【図５Ｃ】２つの異なるマーキングオブジェクトを使用した一連の動作を示す。
【図５Ｄ】２つの異なるマーキングオブジェクトを使用した一連の動作を示す。
【図５Ｅ】２つの異なるマーキングオブジェクトを使用した一連の動作を示す。
【図５Ｆ】２つの異なるマーキングオブジェクトを使用した一連の動作を示す。
【図５Ｇ】２つの異なるマーキングオブジェクトを使用した一連の動作を示す。
【図５Ｈ】２つの異なるマーキングオブジェクトを使用した一連の動作を示す。
【図５Ｉ】２つの異なるマーキングオブジェクトを使用した一連の動作を示す。
【図６】図３によって示された方法の実行における処理の流れを示すフローチャートである。
【図７Ａ】ポップアップメニューを使用した様々なジェスチャ認識システムである。
【図７Ｂ】ポップアップメニューを使用した様々なジェスチャ認識システムである。
【図７Ｃ】ポップアップメニューを使用した様々なジェスチャ認識システムである。
【図７Ｄ】ポップアップメニューを使用した様々なジェスチャ認識システムである。
【図８】図６に示されたフローチャートの変形例であり、図７Ａ〜７Ｄに関連した処理を示す。
【図９Ａ】単独のオブジェクトのジェスチャ認識システムにおける一連の処理を示す。
【図９Ｂ】単独のオブジェクトのジェスチャ認識システムにおける一連の処理を示す。
【図９Ｃ】単独のオブジェクトのジェスチャ認識システムにおける一連の処理を示す。
【図９Ｄ】単独のオブジェクトのジェスチャ認識システムにおける一連の処理を示す。
【図９Ｅ】単独のオブジェクトのジェスチャ認識システムにおける一連の処理を示す。
【図９Ｆ】単独のオブジェクトのジェスチャ認識システムにおける一連の処理を示す。
【図１０】タッチセンサ、位置判断、記憶、ジェスチャ認識およびジェスチャ解釈によって本発明を可能にするシステムの機能ブロック図を示す。
【図１１】図９Ａ〜９Ｆに記載の例に関連した処理を示すフローチャートである。
【図１２】多段階ジェスチャ認識を用いて、ディスプレイ画面上に幾何学的図形を生成するための方法を示すフローチャートである。
【図１３】多段階ジェスチャ認識を使用してディスプレイ画面上の幾何学的図形を生成するために、非一時的メモリに記憶されたプロセッサ実行可能な指示を示すブロック図である。
【発明を実施するための形態】
【００１５】
＜第１実施例＞
図１は、多段階のジェスチャ認識を用いて、ディスプレイ画面上に幾何学的図形を生成するためのシステムを示す概略的なブロック図である。システム１００は、ディスプレイ表面１０３によって示されるようなタッチセンサ式インターフェースを有するディスプレイ画面１０２を含む。多くの利用可能なタッチセンサ技術が存在するが、現在主に２つの技術が採用されている。マルチタッチ機能を必要としない低コストのシステムは、抵抗膜方式を使用しており、Ｘ，Ｙのバスラインの間の接続を形成するタッチにより、変形される導電性ネットワークの抵抗値を測定する。最も一般的に使用されるマルチタッチセンサ技術は、投影型静電容量方式と呼ばれ、クロスポイントアレイにおける各電極間の容量値を測定する。センサに指が近づくことにより、アレイにおいて指が近づいたポイントの相互キャパシタンスを変化させる。これら両技術は、ディスプレイとは独立に製造され、ディスプレイの前面に取り付けられる。
【００１６】
システム１００は、処理装置１０４、非一時的メモリ１０６およびソフトウェアアプリケーション１０８を含み、コンピュータ実行可能な指示として利用可能なソフトウェアアプリケーション１０８は、非一時的メモリ１０６に記憶されている。システム１００に含まれるコンピュータ１１２において、情報を処理するための処理装置１０４は、バス１１０または情報を伝えるための他の通信手段と接続されている。非一時的メモリ１０６は、ランダムアクセスメモリ（ＲＡＭ）または他の動的記憶装置のような主記憶装置を含んでもよく、バス１１０に接続され、処理装置１０４によって実行されるための情報および指示を記憶する。メモリ１０６は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）および高速キャッシュメモリを含んでもよい。メモリ１０６は、処理装置１０４による使用のためのデータおよび指示を記憶するための１以上の磁気ディスク、磁気テープまたは光ディスクを有したマスストレージを含んでもよい。ワークステーションパソコン（ＰＣ）用に、例えば、ディスクドライブまたはテープドライブの形で、少なくとも１つのマスストレージシステムは、オペレーティングシステムおよびアプリケーションソフトウェアを記憶する。マスストレージは、フロッピーディスク（登録商標）、コンパクトディスク読出専用メモリ（ＣＤ−ＲＯＭ）または集積回路不揮発性メモリアダプタ（ＰＣ−ＭＣＩＡアダプタ）のような様々なポータブルメディアのための１以上のドライブを含み、データ／コードを処理装置１０４に入力し、データ／コードを処理装置１０４から出力する。これらメモリは、コンピュータ読取可能な媒体と呼ばれる。コンピュータ読取可能な媒体に含まれる指示によって、ある幾何学的図形に用いられるジェスチャとしてのディスプレイ画面タッチ入力を認識することにより関連付けられたステップが処理装置に実行される。また、これら機能は、ハードウエアにおいて実行されてもよい。そのようなコンピュータシステムの実用的な実装は、当業者に周知である。
【００１７】
コンピュータ１１２は、パーソナルコンピュータ（ＰＣ）、ワークステーションまたはサーバであってもよい。処理装置または中央演算装置（ＣＰＵ）１０４は、単一のマイクロプロセッサであってもよいし、マルチプロセッサシステムとしてコンピュータを構成するために複数のマイクロプロセッサを含んでもよい。さらに、各処理装置は、単一コアまたは複数のコアから構成されてもよい。明示的ではないが、処理装置１０４は、関連するデジタルシグナルプロセッサ（ＤＳＰ）および関連するグラフィックプロセッシングユニット（ＧＰＵ）をさらに含む。
【００１８】
コンピュータ１１２は、ディスプレイ画面１０２および英数字キーおよび他のキーの情報を入力するためのキーボード１１６のために、ライン１１４上に適切な入出力（Ｉ／Ｏ）ポートをさらに含む。コンピュータは、グラフィックサブシステム１１８を含んでもよく、ディスプレイ画面１０２のための出力ディスプレイを駆動する。ライン１１４上における入力制御装置は、マウス、タッチパッド、トラックボールまたはカーソル方向キーのようなカーソル制御装置（図示せず）をさらに含んでもよい。ライン１１４上の周辺装置への接続形態は、有線接続であってもよいし、無線通信であってもよい。
【００１９】
上述のように、ディスプレイ画面１０２は、ライン１１４上に電気的インターフェースを有し、タッチ入力に応じて電気信号を供給する。ディスプレイ画面のタッチセンサ式インターフェース１０３は、第１タッチ入力を受け付けると、ソフトウェアアプリケーション１０８は、第１ジェスチャとしての第１タッチ入力を認識することに応じて、ディスプレイ画面上に基準位置を設定する。基準位置は、ディスプレイ画面に示されてもよいし、示されなくてもよい。そして、ディスプレイ画面のタッチセンサ式インターフェース１０３は、基準位置における開始ポイントと終了ポイントとを有する第２タッチ入力を受け付け、ライン１１４上に、対応する電気信号を供給する。ソフトウェアアプリケーション１０８は、第２タッチ入力が第２ジェスチャとして認識されることに応じて解釈された幾何学的図形を生成し、ライン１１４上の電気信号をディスプレイ画面１０２に供給し、解釈された幾何学的図形の画像を表示させる。
【００２０】
タッチセンサ式インターフェース１０３は、指、マーキングデバイスまたはこれらの組み合わせのようなオブジェクトを検知することに応じて、第１タッチ入力および第２タッチ入力を認識または受け付ける。ただし、２つの異なるオブジェクトが第１タッチ入力および第２タッチ入力を生成するために使用されると、その順序は、指に続いてマーキングデバイスであってもよし、マーキングデバイスに続いて指であってもよい。いくつかの局面において、２つのオブジェクトは、ともにマーキングデバイスであってもよく、それらは異なるものでも、同じものでもよい。同様に、２つのオブジェクトは、両方指であってもよい。マーキングデバイスは、受動的であってよく、タッチセンサ式インターフェースと通信する磁気、電気、光または超音波の手段を含む。
【００２１】
図２Ａ，２Ｂは、タッチセンサ入力を生成するための単独のオブジェクトの使用を示す図である。タッチセンサ式インターフェースは、第１動作２０４を行う第１オブジェクト２００を検出することに応じて、第１タッチ入力を受け付ける。ソフトウェアアプリケーションは、第１動作が第１ジェスチャとして認識されることに応じて基準位置２０６を設定する。ここで、第１動作２０４は、往来する動作であり、そのときの基準位置２０６は、軌跡上において定められる位置であればよく、例えば往来する動作の起点であってもよいし、軌跡上の端または中央であってもよい。なお、第１動作２０４は、往来する動作として示されているが、様々な他のタイプの動作が同じ機能を行うよう使用されると理解されるべきである。タッチセンサ式インターフェースは、第１タッチ入力の受け付けにより開始するタイムアウト期間の終了より先に第１オブジェクト２００を再検知（再取得）することに応じて、第２タッチ入力を受け付ける。ここで使用されるように、システムは、第１タッチ入力から第２タッチ入力に移動するとき、第１オブジェクトを連続的に追跡するとしても、第１オブジェクトを再検知すると呼ばれる。ある局面において、第２タッチ入力の開始ポイント２０８は、基準位置２０６から所定距離２０２で生じる。他の局面において、基準位置および開始ポイントは、同じである。２オブジェクト方法のより詳細な例は、以下に示される。
【００２２】
図３は、幾何学的図形を生成するための２オブジェクト方法を示す図である。タッチセンサ式インターフェースは、ディスプレイ画面に関し、所定期間（例えば最小期間）第１オブジェクト２００が固定基準位置２０６において維持されていることを検知することに応じて、第１タッチ入力を受け付ける（認識する）。また、上述したように、第１タッチ入力は、特定（第１）動作を行う第１オブジェクトに応じて、認識されてもよい。一般的に、ジェスチャ認識は、時間および期間の機能と、オブジェクトのタッチの性質としてタッチの検知およびタッチ位置の記憶を含む。そのように、「タッチし続けること」は、「タップ」、「ダブルタップ」、「スライド」、「スワイプ」などの他の一般的なものを含む原理で、ジェスチャである。特定のジェスチャが、特定の目的のために定められてもよいし、その目的の内容で認識されてもよい。
【００２３】
タッチセンサ式インターフェースは、第１オブジェクトが基準位置２０６に維持され、基準位置２０６からディスプレイ画面上の所定距離２０２内において第２オブジェクト３００（第１オブジェクトと異なる。）を検知することに応じて、第２タッチ入力の開始ポイントを受け付ける（認識する）。ある局面において、第２タッチ入力は、第１タッチ入力の受け付けを開始して所定期間内で検知される。
【００２４】
図４は、部分的な幾何学的図形を定める第２タッチ入力を示す図である。図２Ａまたは図３のバリエーションに適用すれば、タッチセンサ式インターフェースは、基準位置２０６と終了ポイント４００との間に定められる部分的な幾何学的図形を検知することに応じて、第２タッチ入力を受け付ける。この局面において、ソフトウェアアプリケーションは、第２タッチ入力が部分的な幾何学的図形を定めることに応じて、完全な幾何学的図形を生成してもよい。この例において、部分的な幾何学的図形は、直角な２つの線であり、完全な幾何学的図形は、長方形である。追加の例は、以下に示される。上述の図は、最小動作で所望の図形を描くための、指とスタイラスとを区別するシステムにおいて、指先とマーキングデバイスの組の新しい使用を示す。システムは、タッチポイントと、単一、継続的または分離した描画ジェスチャとを使用して、形状の意図を伝える。例えば、システムは、タッチポイントと、単一、継続的または分離した描画ジェスチャとを使用して、多角形図形において多角形図形の辺の数を数える。システムは、指先またはスタイラスの先の相互作用によって可能である。
【００２５】
図５Ａ〜図５Ｉは、２つの異なるマーキングオブジェクトを使用した一連の動作を示す。上述のように、システムは、プロセッサ、メモリ、指先から表面上でタッチを検知し、別々に、または共同にマーキングデバイスからのタッチを独自に同一に検知し、両２種類のタッチの位置を追跡する機能を有するディスプレイ表面を含む。図５Ａに示されるように、第１ジェスチャは、ディスプレイ表面上に１つの指先を配置することによって認識され、続いてすぐに指先に隣接して、書込スタイラスの先を配置することによって第２ジェスチャが始められる（図５Ｂ）。第２ジェスチャは、図のジェスチャ（図５Ｃ）のような指先位置から離して、ディスプレイ表面に接触して、まっすぐに書込スタイラスを最初に動かし、そして、いくつかの可能な角度で、新たな多数ラインセグメントおよび直線、湾曲、区別可能な追加のセグメントのような１以上の属性を用いて、描く方向を変更することによって終える。指先および書込スタイラスの先がディスプレイ表面から離れると、ジェスチャが終了する。
【００２６】
描かれたジェスチャを示すデータは、分析され、最初のライン構成要素に関して、図構成要素、線画、描図の残りが抽出される。最初のライン構成要素は、システムに大きさを示し、その大きさはジェスチャの連続構成要素の分析に基づいて修正される。つまり、第１の描画が長さＬの線、第２構成要素が弧セグメントＡである場合、構成要素は、線の真ん中を中心とし、半径Ｌ／２の円を生成する要求をシステムに示す。また、示していないが、図は、基準位置２０６に中心を有した半径Ｌの円として解釈されてもよい。第２構成要素が弧である場合、指の位置に向けて弧の端を継続することによって、直線セグメントの第３構成要素を追加することで、完全な円ではなく扇形（図示せず）を生成する。
【００２７】
以下に示されるように、他のジェスチャ表現において、描く動作およびジェスチャの結果は、目に見えるようにレンダリングされたデジタルインクとして示される。レンダリングされたインクは、取り除かれ、ある形式でレンダリングされた、意図された幾何学的図形に置き換えられる。しかしながら、これらは、ユーザによって、様々な好ましいきっかけおよびフィードバックであるが、システムに必須ではない選択的な細部である。目に見える軌跡がなくても、ジェスチャの実行だけで、ジェスチャ認識に基づく意図したシステムの反応が十分である。
【００２８】
ディスプレイ画面に１以上の幾何学的図形をレンダリングすることも可能である。図５Ｅの円を完成させた後、第２タッチ入力が第１ラインＬ（図５Ｆ）に対しておよそ９０度の角度を成す、長さＭの直線セグメントである第２構成要素を有した第２の図が追加されてもよい。システムは、指先の位置を頂点とし、長さＬの第１辺、長さＭの第２辺を有した長方形（図５Ｇ）の要求として第２タッチ入力を解釈する。
【００２９】
第２構成要素が、第１ラインＬに対しておよそ４５度の角度を成す、長さＬの直線セグメントである場合、システムは、この組み合わせを、指先の位置における９０度の頂点および長さＬの２つの辺を有する直角三角形（図示せず）の要求として解釈してもよい。
【００３０】
同様に、第２タッチ入力の第２構成要素が、第１ラインＬに対して角度θ（θは、鈍角または鋭角である。）の長さＭの直線である場合、システムは、この組み合わせを、指先の位置における頂点および長さＬの第１辺および長さＭの第２辺の三角形の要求として解釈する。第１辺と第２辺とは角度θをなし、残りの辺および角度は、三角法から算出される。２つの幾何学的図形が上述されたが、システムは、特定の数に限定するものではなく、第２図形の生成後、任意に図および形状が追加されてもよい。
【００３１】
４辺を超える多角形については、長方形を形成するために使用されるジェスチャより多くなる。第１ラインに対しておよそ９０度の角度の長さＭの第２直線セグメントの後、識別可能な角度で分岐する短い第３直線セグメントＮ（図５Ｈ）は、１つの追加の辺を有した四角形、すなわち五角形（図５Ｉ）の要求として、システムによって解釈される。同様に、ジグザグ形式または他の区別可能な急な軌跡の変化により追加された追加の短いセグメントは、多角形に辺を加える（図示せず）。したがって、第４セグメントＯの追加は、六角形、第５セグメントＰの追加は、七角形等を示す。これらすべての多角形（図示せず）について、最初のラインの長さＬは、指の位置における頂点と、対向する、または対向する最も近い頂点との間の距離として最初の図形の大きさを決定する。
【００３２】
システムによって生成される任意の長方形は、好ましい大きさ、回転などを達成するために、ユーザによって次の変化を可能にする図に示される。
【００３３】
最初の大きさを決定するための最初のラインの長さＬの具体的な利用は、ユーザによって再度定められ、規定の形状の円の直径であってもよい。ユーザは、すべての生成された形状についてそのような解釈を選択するか、具体的な形状を個別に扱ってもよい。例えば、最初の長さＬは、長方形についての辺であってもよいし、直角三角形についての長辺であってもよいし、鈍角三角形についての底辺であってもよい。
【００３４】
また、示されていないが、規則的な図形の最初の向きは、第１解釈、第２解釈によって最初のラインＬの方向に関連していてもよい。第１解釈は、円の直径をＬ’（Ｌに相当する）に平行にすることを示す。第２解釈は、直角三角形の長辺をＬ’に平行にし、長方形の長辺をＬ’に平行にすることを示す。また、類似の解釈が他の最初の形状の向きに理論的に割り当てられる。
【００３５】
図６は、図３によって示された方法の実行における処理の流れを示すフローチャートである。ステップ６００は、ディスプレイ画面へのタッチ入力（例えば指）を検出し、位置を特定する。ステップ６０２は、タッチ継続時間を判断し、第１ジェスチャとして第１タッチを認識する。ステップ６０４は、第２タッチ入力（例えばスタイラス）を検出し、位置を特定する。ステップ６０６は、第１タッチ入力と第２タッチ入力との間の近接を判断する。ステップ６０８において、近接閾値を超えたと判断するならば、ステップ６１０は、第２タッチを第２ジェスチャとして認識し、ステップ６１２は、幾何学的図形を生成する。第１，２タッチ入力がステップ６０８における近接を判断できない場合、ジェスチャ認識処理は、ステップ６１４において終了する。
【００３６】
＜第２実施例＞
図７Ａ〜７Ｄは、ポップアップメニューを使用した様々なジェスチャ認識システムである。第１ジェスチャの認識に続いて、システムは、指のタッチに反応し、ペンのラインセグメントは、規則的な幾何学的図形（図７Ｂ）の生成のために、ユーザに提供するための少数のオプション（図７Ａ）を有したポップアップメニューを提供する。これらオプションは、少なくとも形状が線画または塗りつぶされているかどうか、容易に線カラー、線の太さのようなベクトルベースのコンピュータグラフィック、塗りつぶしの色、透明度（図７Ｃ，７Ｄ）などによって提供される他の特徴に拡張される。
【００３７】
また、第２タッチ入力の第２ラインセグメントが弧である場合、ユーザがメニューを利用して、完全な円または扇形を生成するようシステムに指示すること、同時に他の特徴を設定することが簡単になる。
【００３８】
図８は、図６に示されたフローチャートの変形例であり、図７Ａ〜７Ｄに関連した処理を示す。ステップ６００は、ディスプレイ画面に対する第１タッチ入力（例えば指）を検出し、位置を特定する。そして、ステップ６０２は、タッチ継続時間を判断し、第１タッチ入力を第１ジェスチャとして認識する。ステップ６０４は、第２タッチ入力（例えばスタイラス）を検出し、位置を特定する。ステップ６０６は、第１タッチ入力と第２タッチ入力との間の近接を判断する。ステップ６０８において、近接閾値を超えたと判断されるならば、ステップ６１０は第２タッチ入力を第２ジェスチャとして認識する。ステップ８００は、認識されたジェスチャに関連したポップアップウインドウを提供する。そして、ステップ８０２は、ポップアップメニューを操作して、幾何学的図形を生成する。第１，２タッチ入力がステップ６０８における近接を判断できない場合、ジェスチャ認識は、ステップ６１４において終了する。
【００３９】
＜第３実施例＞
図９Ａ〜９Ｆは、単独のオブジェクトのジェスチャ認識システムにおける一連の処理を示す。他の局面において、第１ジェスチャは、ディスプレイ表面における位置に、単一の指先を配置し（図９Ａ）、円形に指先を移動させ（図９Ｂ）、指先を引き上げる（図９Ｃ）ことから成る。すぐ後に続いて、およそ同じ位置に指先を戻すことによって、第２ジェスチャが始められる（図９Ｄ）。第２ジェスチャは、描画として、指先の位置から離して、ディスプレイ表面に接触しながら、線状に指先を動かし、いくつかの可能な角度で、新たな多数のラインセグメントおよび直線、湾曲、区別可能な追加のセグメントのような１以上の属性を用いて、描く方向を変更することによって終える（図９Ｅ）。指先および書込スタイラスの先がディスプレイ表面から離れると、ジェスチャは終了する（図９Ｆ）。ここで、オブジェクトは、指先として示されているが、マーキングオブジェクトであってもよい。
【００４０】
図１０は、タッチセンサ、位置判断、記憶、ジェスチャ認識およびジェスチャ解釈によって本発明を可能にするシステムの機能ブロック図を示す。ブロック図は、必要な検知、データ通信、計算を行うソフトウェアモジュールにおける典型的な流れを示す。
【００４１】
図１１は、図９Ａ〜９Ｆに記載の例に関連した処理を示すフローチャートである。ステップ１１００は、ディスプレイ画面に対する第１タッチ入力を検出し、位置を特定する。ステップ１１０２は、所定期間、タッチの位置の変更を判断する。ステップ１１０４は、最初に検出された位置に近接したタッチが離れるのを検出する。ステップ１１０６は、第２タッチの最初の位置を検出し、位置を特定する。ステップ１１０８において、ステップ１１０６が第１タッチの認識から所定期間内に生じる場合、方法は、ステップ１１１０に進める。ステップ１１１０は、第１判断と第２判断との近接が判断される。ステップ１１１２において空間的な近接閾値を超えたと判断する場合、ステップ１１１４は、第２タッチを第２ジェスチャとして認識する。そして、ステップ１１１６は、幾何学的図形を生成する。時間的または空間的な近接判断ができない場合、ステップ１１１８，１１２０は、ジェスチャ認識処理を終了する。
【００４２】
図１２は、多段階ジェスチャ認識を用いて、ディスプレイ画面上に幾何学的図形を生成するための方法を示すフローチャートである。方法が一連の番号が付された処理として記載されているが、順序は、必ずしも処理の順序を示すものではない。これら処理のいくつかは、スキップされてもよいし、並行して実行されてもよいし、厳密な順序が定められることなく、実行されてもよい。しかしながら、一般的に、方法は、記載の処理の番号の順に従う。方法は、ステップ１２００で開始する。
【００４３】
方法は、ステップ１２００で開始する。ステップ１２０２において、タッチセンサ式インターフェースを有するディスプレイ画面は、第１タッチ入力を受け付ける。ステップ１２０４において、非一時的メモリに記憶されたプロセッサ実行可能な指示として利用可能なソフトウェアアプリケーションは、第１タッチ入力が第１ジェスチャであることを認識することに応じて、ディスプレイ画面上に基準位置を設定する。なお、この基準位置は、ディスプレイ画面上に示されてもよいし、示されなくてもよい。ステップ１２０６において、タッチセンサ式インターフェースは、基準位置における開始ポイントと、終了ポイントを有する第２タッチ入力を受け付ける。第２タッチ入力は、ディスプレイ画面上に示されてもよいし、示されなくてもよい。ステップ１２０８において、ソフトウェアアプリケーションは、第２タッチ入力が第２ジェスチャとして認識されることに応じて、解釈される幾何学的図形を生成する。ステップ１２１０は、解釈された幾何学的図形の画像をディスプレイ画面に提示する。
【００４４】
ある局面において、ステップ１２０６において第２タッチ入力を受け付けるステップは、基準位置と終了ポイントとの間において、部分的な幾何学的図形を定める第２タッチ入力を含む。ステップ１２０８において、解釈された幾何学的図形を生成するステップは、部分的な幾何学的図形を定める第２タッチ入力に応じて、完全な幾何学的図形を生成するステップを含む。
【００４５】
上述のように、タッチセンサ式インターフェースは、指、マーキングデバイスまたはこれらの組み合わせのようなオブジェクトを検出することによって、ステップ１２０２および１２０６それぞれにおいて、第１，２タッチ入力を受け付けるか、認識する。例えば、単独のオブジェクトを使用することによって、タッチセンサ式インターフェースは、ステップ１２０２において第１動作を行う第１オブジェクトを検出する。ステップ１２０４は、第１動作が第１ジェスチャとして認識されることに応じて、基準位置を設定する。そして、ステップ１２０６は、第１オブジェクトを再度検知することによって、第２タッチ入力を受け付ける。より明確には、ステップ１２０６は、第１タッチ入力の受け付けにより開始するタイムアウト期間の終了より先に第１オブジェクトを再検出する。ステップ１２０６の他の変形例において、タッチセンサ式入力は、第１タッチ入力からタッチ画面上の所定距離内における第１オブジェクトを再検出する。方法は、第１オブジェクトが第１タッチ入力と第２タッチ入力との間において、ディスプレイ画面のタッチセンサ式インターフェースによって継続的に検出されるとしても、第１オブジェクトを再検出するという。
【００４６】
２つのオブジェクトを使用する他の局面において、ステップ１２０２は、タッチセンサ式インターフェースが第１オブジェクトがディスプレイ画面の固定基準位置において所定期間維持されていることを検出するとき、第１タッチ入力を受け付ける。また、ステップ１２０２は、第１オブジェクトが第１動作を行うことに応じて、第１タッチ入力を受け付ける。ステップ１２０６において、第２タッチ入力は、基準位置からディスプレイ画面上の所定距離以内の開始ポイントにおいて、タッチセンサ式インターフェースが第２オブジェクト（第１オブジェクトと異なる）を検出するとき、受け付けられる。ある局面において、ステップ１２０６は、第２オブジェクトを検出しながら、第１オブジェクトが基準位置に維持されていることを検出する。
【００４７】
図１３は、多段階ジェスチャ認識を使用してディスプレイ画面上の幾何学的図形を生成するために、非一時的メモリに記憶されたプロセッサ実行可能な指示を示すブロック図である。通信モジュール１３０２は、タッチ入力に応じて、ディスプレイ画面のタッチセンサ式インターフェースから、ライン１３０４を介して電気信号を受け付ける。ジェスチャ認識モジュール１３０６は、第１タッチ入力に応じて、第１ジェスチャを認識し、ディスプレイ画面上に基準位置を設定する。ジェスチャ認識モジュール１３０６は、基準位置における開始ポイントと終了ポイントを有するものとして第２ジェスチャを認識し、図形モジュール１３０８は、解釈された幾何学的図形を生成する。そして、通信モジュール１３０２は、解釈された幾何学的図形に関連した指示を示す電気信号をライン１３１０に供給する。ある局面において、指示は、視覚化のためにディスプレイ画面に送信された、解釈された幾何学的図形の画像を示す。
【００４８】
他に、指示は、外部モジュールに送られてもよく、他の情況において、関連した意味を伝える指示を解釈する。例えば、長方形は、家に帰すための指示を示してもよいし、三角形は、紙幣を払うための指示であってもよい。他の局面において、画像は、レビューおよび／または修正のために最初にディスプレイ画面に送られ、後に外部モジュールに送られる。
【００４９】
ある局面において、ジェスチャ認識モジュール１３０６は、基準位置と終了ポイントの間において、部分的な幾何学的図形を定める第２ジェスチャを認識し、図形モジュール１３０８は、部分的な幾何学的図形に応じて解釈された完全な幾何学的図形を生成する。
【００５０】
上述したように、通信モジュール１３０２は、ディスプレイ画面のタッチセンサ式インターフェースが指、マーキングデバイスまたはこれら組み合わせのようなオブジェクトを検出することに応じて、タッチ入力を受け付ける。単独のオブジェクトが使用される場合、ジェスチャ認識モジュール１３０６は、第１オブジェクトが第１動作を行うことを検出されたとき、第１ジェスチャを認識し、基準位置を設定する。ジェスチャ認識モジュール１３０６は、第１タッチ入力の受け付けで開始するタイムアウト期間の終了より先に生じる第２タッチ入力に応じて、第２ジェスチャを認識する。
【００５１】
また、代わりに、または、追加で、ジェスチャ認識モジュール１３０６は、第１タッチ入力からタッチ画面上で所定距離内に生じる第２タッチ入力に応じて、第２ジェスチャを認識してもよい。
【００５２】
２つのオブジェクトが使用される場合、ジェスチャ認識モジュール１３０６は、第１オブジェクトが第１動作を行うことに応じて、または、所定期間ディスプレイ画面に関して固定基準位置において維持されることに応じて、第１ジェスチャを認識する。そして、ジェスチャ認識モジュール１３０６は、第２オブジェクト（第１オブジェクトと異なる）が基準位置からディスプレイ画面上の所定距離内の開始ポイントにおいて検出されることに応じて、第２ジェスチャを認識する。ある局面において、ジェスチャ認識モジュールは、第２オブジェクトを検出しながら、第１ジェスチャが基準位置に維持されることに応じて、第２ジェスチャを認識する。
【００５３】
この出願において使用されているように、「構成要素」、「モジュール」、「システム」および「アプリケーション」等の用語は、ハードウエア、ファームウエア、ハードウエアおよびソフトウェアのような組み合わせのようなシステムについて述べることを意図している。ソフトウェアは、コンピュータ読取可能な媒体に記憶されたソフトウェア、または、実行のソフトウェアである。例えば、モジュールは、限定するものではないが、処理装置および／またはコンピュータにおいて動作する処理である。例示のように、演算装置において動作するアプリケーションは、モジュールであってもよい。１以上のモジュールが処理および／または実行内において存在し、モジュールは、１つのコンピュータに集中される、および／または、２つ以上のコンピュータ間で配分される。また、これらモジュールは、様々なデータ構造を有する様々なコンピュータ読取可能な媒体から実行することができる。モジュールは、１以上のデータパケット（例えば、ローカルシステム、分配システムおよび／またはインターネットのようなネットワークを介して信号によって他のステムとやり取りするモジュールからのデータ）を有する信号に従うようなローカル処理および／または遠隔処理によって通信してもよい。
【００５４】
図１はコンピュータに存在するものとして、ディスプレイとは分けてソフトウェアアプリケーションを示しているが、動作分析機能は、「スマート」ディスプレイによって実行されると理解されるべきである。上述のジェスチャ認識または図形モジュールは、ディスプレイメモリに記憶され、ディスプレイ処理装置によって動作されるソフトウェアであってもよい。
【００５５】
ここで使用されているように、「コンピュータ読取可能な媒体」という用語は、実行用の処理装置に指示を与えることに関与する任意の媒体について述べている。そのような媒体は、限定するものではないが、不揮発性媒体、揮発性媒体、伝送媒体を含む多くの形式を取り得る。不揮発性媒体は、例えば光学ディスクまたは磁気ディスクを含む。揮発性媒体は、動的メモリを含む。コンピュータ読取可能な媒体の一般的な形式は、例えばフロッピィディスク、フレキシブルディスク、ハードディスク、磁気テープまたは他の磁気媒体、ＣＤ−ＲＯＭ、他の光学媒体、パンチカード、紙テープ、ホールパターンを有した他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＦＬＡＳＨ−ＥＥＰＲＯＭ、他のチップまたはカートリッジ、後述のキャリアウェーブ、コンピュータ読取可能な他の媒体。
【００５６】
システム、方法およびソフトウェアモジュールは、多段階ジェスチャ認識を用いて、ディスプレイ画面に幾何学的図形を生成することにより提供される。具体的な動作、図形、マーキング解釈およびマーキングオブジェクトユニットは、発明を例示するために示されている。しかしながら、本発明は、単にこれらに限定するものではない。幾何学的図形がここに記載されているが、システムおよび方法は、幾何学的ではない図形を生成するために使用されてもよい。本発明の他の変形および実施形態が当業者によって起きる。
【００５７】
（まとめ）
以上説明したように、本発明の態様１における描画装置は、表示面上の操作を受け付ける操作受付手段（タッチセンサ式インターフェース１０３）と、前記操作受付手段により受け付けられた操作に基づいて、幾何学的図形の画像を生成する図形画像生成手段（図形モジュール１３０８）と、前記図形画像生成手段により生成された画像を前記表示面に表示させる表示制御手段とを備え、前記図形画像生成手段は、前記操作受付手段により基準位置を設定するための第１操作と、該基準位置と同一または該基準位置から近傍の位置から開始される第２操作とが受け付けられると、前記基準位置を描画の開始位置として、前記第２操作が示す軌跡から解釈される幾何学的図形の画像を生成する。
【００５８】
上記の構成によれば、基準位置を設定するための第１操作と、該基準位置と同一または該基準位置から近傍の位置から開始される第２操作とが受け付けられると、基準位置を描画の開始位置として、第２操作が示す軌跡から解釈される幾何学的図形の画像が生成され、表示されるので、ユーザが表示面上に描きたい図形の軌跡を描くことで、所望の幾何学的図形を描画させることができる。これにより、従来とは異なり所望の図形を描画する際に、ユーザは、その図形を示すアイコンを探す必要がないため、容易かつ短時間に所望の図形を描画させることができる。
【００５９】
また、本発明の態様２における描画装置において、前記操作受付手段は、前記第１操作の受付から第１所定時間以内に開始される操作を前記第２操作として受け付ける。
【００６０】
上記の構成によれば、第１操作と関係のない操作を受け付けないようにすることができる。
【００６１】
また、本発明の態様３における描画装置において、前記操作受付手段は、第２所定時間以上継続して同一位置を指定する操作Ａを前記第１操作として受け付ける場合、前記第２所定時間継続して指定された位置を前記基準位置として設定し、往来する操作Ｂを前記第１操作として受け付ける場合、前記操作Ｂの基点となる位置を前記基準位置として設定することが好ましい。
【００６２】
また、本発明の態様４における描画装置において、前記操作受付手段は、同時に複数の位置の指定を検出可能であって、第１オブジェクトを用いて操作される前記操作Ａを検出しながら、第２オブジェクトを用いて操作される前記第２操作を検出する。
【００６３】
上記の構成によれば、ユーザは、複数のオブジェクトを用いて操作することができる。
【００６４】
また、本発明の態様５における描画装置において、前記図形画像生成手段は、前記基準位置を描画の開始位置とした前記第２操作が示す軌跡が未完全な幾何学的図形であると判断する場合、該軌跡に対して予め関連付けられた完全な幾何学的図形の画像を生成する。
【００６５】
上記の構成によれば、ユーザは、未完全な幾何学的図形を示す軌跡を描いたとしても、完全な所望の幾何学的図形を容易かつ短時間に描画することができる。
【００６６】
また、本発明の態様６における描画装置において、前記表示制御手段は、前記基準位置を描画の開始位置とした前記第２操作が示す軌跡が未完全な幾何学的図形であると前記図形画像生成手段によって判断される場合において、該軌跡に対して予め関連付けられた完全な幾何学的図形を示すアイコンを選択可能にポップアップ表示し、前記図形画像生成手段は、前記選択されたアイコンに従って、完全な幾何学的図形の画像を生成する。
【００６７】
上記の構成によれば、描画の開始位置とした第２操作が示す軌跡に対して予め関連付けられた完全な幾何学的図形を示すアイコンが選択可能にポップアップ表示され、選択されたアイコンに従って、完全な幾何学的図形の画像が生成される。このため、該軌跡から解釈される幾何学的図形として複数の候補が存在する場合に、ユーザはより望ましい図形を候補から自由に選択することができる。
【００６８】
また、本発明の態様７における描画装置において、前記図形画像生成手段は、前記選択されたアイコンが示す幾何学的図形の属性の設定が前記操作受付手段により受け付けられると、該選択されたアイコンおよび該設定された属性に従って、幾何学的図形の画像を生成する。
【００６９】
上記の構成によれば、幾何学的図形を加工することができる。
【００７０】
また、本発明の態様８における描画装置において、前記操作受付手段は、指およびマーキングデバイスの少なくとも一方のオブジェクトを検出するタッチセンサ式インターフェースであることが好ましい。
【００７１】
本発明の各態様に係る描画装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記描画装置が備える各手段として動作させることにより上記描画装置をコンピュータにて実現させる描画プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【００７２】
また、本発明に係る各態様は、以下のように表現してもよい。
【００７３】
本発明に係る一態様に係る方法は、多段階ジェスチャ認識を用いてディスプレイ画面に幾何学的図形を生成するための方法であって、タッチセンサ式インターフェースを有するディスプレイ画面は、第１タッチ入力を受け付け、ソフトウェアプリケーションは、不揮発性記録媒体に記憶されたプロセッサ実行可能な指示として利用可能で、前記第１タッチ入力を第１ジェスチャとして認識することに応じて、前記ディスプレイ画面上に基準位置を設定し、前記タッチセンサ式インターフェースは、前記基準位置における開始ポイントと終了ポイントとを有する第２タッチ入力を受け付け、前記ソフトウェアプリケーションは、第２タッチ入力が第２ジェスチャとして認識されることに応じて解釈される幾何学的図形を生成し、前記ディスプレイ画面上に、前記解釈された幾何学的図形の画像を提示する。
【００７４】
また、本発明に係る一態様の方法において、前記タッチセンサ式インターフェースは、指、マーキングデバイスまたはこれら組み合わせから選択されたオブジェクトを検出するタッチセンサ式インターフェースを含む前記第１タッチ入力および前記第２タッチ入力を受け付ける。
【００７５】
また、本発明に係る一態様の方法において、前記第１タッチ入力を受け付ける前記タッチセンサ式インターフェースは、第１動作を行う第１オブジェクトを検出するタッチセンサ式インターフェースを含み、前記ディスプレイ画面上に基準位置を設定するステップは、前記ソフトウェアアプリケーションによって前記第１動作が第１ジェスチャとして認識されることに応じて前記基準位置を設定するステップを含み、前記第２タッチ入力を受け付ける前記タッチセンサ式インターフェースは、前記第１オブジェクトを再検出するタッチインターフェースを含む。
【００７６】
また、本発明に係る一態様の方法において、前記第２タッチ入力を受け付ける前記タッチセンサ式インターフェースは、前記第１タッチ入力の受け付けにより開始するタイムアウト期間の終了より先に前記第１オブジェクトを再検出するタッチセンサ入力を含む。
【００７７】
また、本発明に係る一態様の方法において、前記第２タッチ入力を受け付ける前記タッチセンサ式インターフェースは、前記第１タッチ入力から前記タッチ画面上の所定距離内に前記第１オブジェクトを再検出するタッチセンサ入力を含む。
【００７８】
また、本発明に係る一態様の方法において、前記第１タッチ入力を受け付ける前記タッチセンサ式インターフェースは、所定期間ディスプレイ画面に関して固定基準位置に維持される動作または第１動作を実行する動作のいずれかを生じる、第１オブジェクトを検出するタッチセンサ式インターフェースを含み、前記開始ポイントを有する前記第２タッチ入力を受け付ける前記タッチセンサ式インターフェースは、前記基準位置から前記ディスプレイ画面上の所定距離内の開始ポイントにおいて、前記第１オブジェクトと異なる第２オブジェクトを検出するタッチセンサ式インターフェースを含む。
【００７９】
また、本発明の一態様に係る方法において、前記第２タッチ入力を受け付ける前記タッチセンサ式インターフェースは、前記第２オブジェクトを検出しながら、前記第１オブジェクトが前記基準位置に維持されていることを検出するタッチセンサ式インターフェースを含む。
【００８０】
また、本発明に係る一態様の方法において、開始ポイントおよび終了ポイントを有する第２タッチ入力を受け付ける前記タッチセンサ式インターフェースは、前記基準位置と前記終了ポイントとの間の部分的な幾何学的図形を定める第２タッチ入力を含み、前記解釈された幾何学的図形を生成する前記ソフトウェアプリケーションは、前記第２タッチ入力が前記部分的な幾何学的図形を定めることに応じて、完全な幾何学的図形を生成するステップを含む。
【００８１】
また、本発明に係る一態様の指示は、不揮発性媒体に記憶された、多段階ジェスチャ認識を用いて、ディスプレイ画面上に幾何学的図形を生成するための指示であって、通信モジュールは、タッチ入力に応じて、ディスプレイ画面のタッチセンサ式インターフェースから電気信号を受け付け、ジェスチャ認識モジュールは、第１タッチ入力に応じて第１ジェスチャを認識し、ディスプレイ画面に基準位置を設定し、前記基準位置における開始ポイントと終了ポイントを有する第２タッチ入力に応じて第２ジェスチャを認識し、図形モジュールは、認識されたジェスチャに応じて、解釈された幾何学的図形を生成し、通信モジュールは、前記解釈された幾何学的図形に関連した指示を示すディスプレイ画面に電気信号を供給する。
【００８２】
また、本発明に係る一態様の指示は、前記通信モジュールは、指、マーキングデバイスまたはこれら組み合わせのいずれかのオブジェクトを検出するディスプレイ画面のタッチセンサ式インターフェースに応じてタッチ入力を受け付ける。
【００８３】
また、本発明に係る一態様の指示において、前記ジェスチャ認識モジュールは、検出される第１オブジェクトが第１動作を実行することに応じて、前記第１ジェスチャを認識し、前記基準位置を設定し、前記ジェスチャ認識モジュールは、前記第１オブジェクトが再検出されることに応じて前記第２ジェスチャを認識する。
【００８４】
また、本発明に係る一態様の指示において、前記ジェスチャ認識モジュールは、前記第２タッチ入力が前記第１タッチ入力の受け付けで開始するタイムアウト期間の終了より先に生じることに応じて、前記第２ジェスチャを認識する。
【００８５】
また、本発明に係る一態様の指示において、前記ジェスチャ認識モジュールは、前記第２タッチ入力が前記タッチ画面上において前記第１タッチ入力から所定距離内に生じることに応じて、前記第２ジェスチャを認識する。
【００８６】
また、本発明に係る一態様の指示において、前記ジェスチャ認識モジュールは、第１オブジェクトが所定期間ディスプレイ画面に関して固定基準位置に維持される動作または第１動作を実行する動作のいずれかの動作を生じることに応じて、前記第１ジェスチャを認識し、前記第１オブジェクトと異なる第２オブジェクトが基準位置からディスプレイ画面上の所定距離内の開始ポイントにおいて検出されることに応じて前記第２ジェスチャを認識する。
【００８７】
また、本発明に係る一態様の指示において、前記ジェスチャ認識モジュールは、前記第２オブジェクトを検出しながら、前記第１オブジェクトが前記基準位置において維持されていることに応じて、前記第２ジェスチャを認識する。
【００８８】
また、本発明に係る一態様の指示において、前記図形モジュールは、前記基準位置と前記終了ポイントとの間の部分的な幾何学的図形を定める前記第２ジェスチャを受け付け、前記第２タッチ入力が前記部分的な幾何学的図形を定めることに応じて解釈される完全な幾何学的図形を生成する。
【００８９】
また、本発明に係る一態様のシステムは、多段階ジェスチャ認識を用いて、ディスプレイ画面に幾何学的図形を生成するためのシステムであって、第１タッチ入力を受け付けるためのタッチセンサ式インターフェースを有し、タッチ入力に応じて電気信号を供給するための電気的インターフェースを有するディスプレイ画面と、処理装置と、不揮発性メモリと、前記不揮発性メモリに記憶されたプロセッサ実行可能な指示として利用可能であって、前記第１タッチ入力を第１ジェスチャとして認識することに応じて、前記ディスプレイ画面上に基準位置を設定するソフトウェアプリケーションと、前記ディスプレイ画面のタッチセンサ式インターフェースは、前記基準位置における開始ポイントと終了ポイントを有する第２タッチ入力を受け付け、対応する電気信号を供給し、前記ソフトウェアプリケーションは、前記第２タッチ入力が第２ジェスチャとして認識されることに応じて解釈される幾何学的図形を生成し、前記解釈された幾何学的図形を示す電気信号をディスプレイ画面に供給する。
【００９０】
また、本発明に係る一態様のシステムにおいて、前記タッチセンサ式インターフェースは、指、マーキングデバイスまたはこれらの組み合わせのいずれかのオブジェクトを検出することに応じて、第１タッチ入力および第２タッチ入力を受け付ける。
【００９１】
また、本発明に係る一態様のシステムにおいて、前記タッチセンサ式インターフェースは、第１動作を実行する第１オブジェクトを検出することに応じて、前記第１タッチ入力を受け付け、前記ソフトウェアプリケーションは、前記第１動作が第１ジェスチャとして認識されることに応じて、前記基準位置を設定し、前記タッチセンサ式インターフェースは、前記第１タッチ入力の受け付けで開始するタイムアウト期間の終了より先に、前記第１オブジェクトを再検出することに応じて、前記第２タッチ入力を受け付ける。
【００９２】
また、本発明に係る一態様のシステムにおいて、前記タッチセンサ式インターフェースは、所定期間、前記ディスプレイ画面に関して固定基準位置において維持される動作または第１動作を実行する動作を生じる第１オブジェクトを検出することに応じて、前記第１タッチ入力を受け付け、前記タッチセンサ式インターフェースは、前記基準位置において維持されている前記第１オブジェクトを検出し、前記基準位置からディスプレイ画面上の所定距離内に、前記第１オブジェクトと異なる第２オブジェクトを検出すること応じて、前記第２タッチ入力の開始ポイントを受け付ける。
【００９３】
また、本発明に係る一態様のシステムにおいて、前記タッチセンサ式インターフェースは、前記基準位置と前記終了ポイントとの間において定められた部分的な幾何学的図形を検出することに応じて、前記第２タッチ入力を受け付け、前記ソフトウエエアアプリケーションは、前記第２タッチ入力が前記部分的な幾何学的図形を定めることに応じて、完全な幾何学的図形を生成する。
【符号の説明】
【００９４】
１００  システム（描画システム）
１０２  ディスプレイ画面（ディスプレイ装置）
１０３  タッチセンサ式インターフェース（操作受付手段）
１０４  処理装置（描画装置）
１０６  メモリ
１１２  コンピュータ（情報処理装置）
１３０６  ジェスチャ認識モジュール
１３０８  図形モジュール
２００  第１オブジェクト
３００  第２オブジェクト
【図１】
2014182814.tif 000003
【図２Ａ】
2014182814.tif 000004
【図２Ｂ】
2014182814.tif 000005
【図３】
2014182814.tif 000006
【図４】
2014182814.tif 000007
【図５Ａ】
2014182814.tif 000008
【図５Ｂ】
2014182814.tif 000009
【図５Ｃ】
2014182814.tif 000010
【図５Ｄ】
2014182814.tif 000011
【図５Ｅ】
2014182814.tif 000012
【図５Ｆ】
2014182814.tif 000013
【図５Ｇ】
2014182814.tif 000014
【図５Ｈ】
2014182814.tif 000015
【図５Ｉ】
2014182814.tif 000016
【図６】
2014182814.tif 000017
【図７Ａ】
2014182814.tif 000018
【図７Ｂ】
2014182814.tif 000019
【図７Ｃ】
2014182814.tif 000020
【図７Ｄ】
2014182814.tif 000021
【図８】
2014182814.tif 000022
【図９Ａ】
2014182814.tif 000023
【図９Ｂ】
2014182814.tif 000024
【図９Ｃ】
2014182814.tif 000025
【図９Ｄ】
2014182814.tif 000026
【図９Ｅ】
2014182814.tif 000027
【図９Ｆ】
2014182814.tif 000028
【図１０】
2014182814.tif 000029
【図１１】
2014182814.tif 000030
【図１２】
2014182814.tif 000031
【図１３】
2014182814.tif 000032