(57)【要約】【課題】ユーザとインタフェースする、コンピュータによって実施される方法及び装置を開示する。【解決手段】識別は、表面上に筆記具装置によって作成されるマーキングについて行われる。マーキングの位置及びサイズが識別される。マーキングに隣接する第１のインタフェース領域が計算され、コンピュータ機能がこの第１のインタフェース領域と関連付けられる。【選択図】図１０Ａ
2007128484.tif 000002
【特許請求の範囲】
【請求項１】
ユーザと相互作用する、コンピュータによって実施される方法であって、
表面上に筆記具装置によってマーキングが行われたということを識別する工程と、
前記表面上の前記マーキングの位置を識別し、前記マーキングのサイズを識別する工程と、
第１のインタフェース領域の位置及びサイズを自動的に計算する工程とを備え、
前記第１のインタフェース領域は前記マーキングに隣接して配置され、
更に、第１のコンピュータ機能を前記第１のインタフェース領域と関連付ける工程と、
前記第１のインタフェース領域のユーザ選択に応じて、前記マーキングに関連したデータに対して前記第１のコンピュータ機能を行う工程とを備えることを特徴とする、コンピュータによって実施される方法。
【請求項２】
請求項１記載の方法であって、
第１のインタフェース領域の前記位置及び前記サイズは、前記マーキングの前記位置及び前記サイズによって変わってくることを特徴とする方法。
【請求項３】
請求項２記載の方法であって、
前記第１のインタフェース領域の高さが、前記マーキングの高さによって変わってくることを特徴とする方法。
【請求項４】
請求項３記載の方法であって、
前記第１のインタフェース領域の幅が、前記マーキングの前記高さによって変わってくることを特徴とする方法。
【請求項５】
請求項３記載の方法であって、
前記第１のインタフェース領域の幅が、固定であることを特徴とする方法。
【請求項６】
請求項１記載の方法であって、
前記マーキングが語であり、前記第１のインタフェース領域が目に見えないことを特徴とする方法。
【請求項７】
ユーザとインタフェースする、コンピュータによって実施される方法であって、
記述マーキングがユーザによって選択されたということを識別する工程を備え、
前記記述マーキングは、記述表面上に配置され、
更に、前記記述マーキングに関連したインタフェース領域をメモリからアクセスする工程と、
第１のインタフェース領域の位置及びサイズを自動計算する工程とを備え、
前記第１のインタフェース領域は前記記述マーキングに隣接して配置され、
更に、第１のコンピュータ機能を前記第１のインタフェース領域と関連付ける工程と、
前記第１のインタフェース領域のユーザ選択に応じて、前記記述マーキングに関連したデータに対して前記第１のコンピュータ機能を行う工程とを備えることを特徴とする、コンピュータによって実施される方法。
【請求項８】
請求項１又は７記載の方法であって、更に、
前記表面の第２のインタフェース領域の位置及びサイズを自動計算する工程を備え、
前記第２のインタフェース領域は、前記マーキングに隣接して配置され、前記第１のインタフェース領域と重ならず、
更に、第２のコンピュータ機能を前記第２のインタフェース領域と関連付ける工程と、
前記第２のインタフェース領域のユーザ選択に応じて、前記第２のコンピュータ機能を前記データに対して行う工程とを備えることを特徴とする方法。
【請求項９】
請求項１又は８記載の方法であって、
前記第１のインタフェース領域は、前記記述マーキングの、空間的に左に配置され、
更に、前記第２のインタフェース領域は、前記記述マーキングの、空間的に右に配置されることを特徴とする方法。
【請求項１０】
請求項１又は８記載の方法であって、
前記第１のインタフェース領域は前記マーキングの、空間的に上に配置され、
更に、前記第２のインタフェース領域は、前記マーキングの、空間的に下に配置されることを特徴とする方法。
【請求項１１】
請求項７記載の方法であって、
前記ユーザ選択は、前記筆記具装置の先によって、前記第１のインタフェース領域内に配置された、前記表面の領域をユーザが接触することによって行われることを特徴とする方法。
【請求項１２】
請求項７記載の方法であって、
第１のインタフェース領域の前記位置及び前記サイズは、前記記述マーキングの前記インタフェース領域の位置及びサイズによって変わってくることを特徴とする方法。
【請求項１３】
請求項１２記載の方法であって、
前記第１のインタフェース領域の高さは、前記記述マーキングの前記インタフェース領域の高さによって変わってくることを特徴とする方法。
【請求項１４】
請求項１３記載の方法であって、
前記第１のインタフェース領域の幅は、前記記述マーキングの前記インタフェース領域の前記高さによって変わってくることを特徴とする方法。
【請求項１５】
請求項１３記載の方法であって、
前記第１のインタフェース領域の幅は、固定であることを特徴とする方法。
【請求項１６】
請求項７記載の方法であって、
前記記述マーキングは語であり、
前記第１のインタフェース領域は目に見えないことを特徴とする方法。
【請求項１７】
ユーザとインタフェースする、コンピュータによって実施される方法であって、
表面上に筆記具装置によって第１のマーキングが作成されたということを識別する工程と、
前記表面上の前記第１のマーキングの位置を識別し、前記第１のマーキングのサイズを識別する工程と、
各々が、前記第１のマーキングに隣接して配置されるが、お互いに重ならない第１の複数のインタフェース領域の各々の位置及びサイズを自動的に計算する工程とを備え、
前記第１の複数のインタフェース領域は、前記第１のマーキングの前記サイズに基づいてサイジングされ、
更に、前記第１の複数のインタフェース領域の各インタフェース領域と、個別のコンピュータ機能とを関連付ける工程と、
前記第１の複数のインタフェース領域のうちの第１のインタフェース領域のユーザ選択に応じて、前記第１のマーキングに関連したデータに対して第１のコンピュータ機能を行う工程とを備え、
前記第１のコンピュータ機能は、前記第１の複数のインタフェース領域の前記第１のインタフェース領域に関連付けられることを特徴とする、コンピュータによって実施される方法。
【請求項１８】
請求項１７記載の方法であって、更に、
前記表面上に前記筆記具装置によって第２のマーキングが作成されたということを識別する工程と、
前記表面上の前記第２のマーキングの位置を識別し、前記第２のマーキングのサイズを識別する工程と、
各々が、前記第２のマーキングに隣接して配置されるが、お互いに重ならない第２の複数のインタフェース領域の各々の位置及びサイズを自動的に計算する工程とを備え、
前記第２の複数のインタフェース領域の各々は、前記第２のマーキングの前記サイズに基づいてサイジングされ、
更に、前記第２の複数のインタフェース領域の各インタフェース領域と個別のコンピュータ機能とを関連付ける工程と、
前記第２の複数のインタフェース領域の第１のインタフェース領域のユーザ選択に応じて、前記第２のマーキングに関連したデータに対して前記第１のコンピュータ機能を行う工程とを備え、
前記第１のコンピュータ機能は、前記第２の複数のインタフェース領域の前記第１のインタフェース領域に関連付けられることを特徴とする方法。
【請求項１９】
請求項１８記載の方法であって、
前記第１の複数のインタフェース領域のコンピュータ機能は、前記第２の複数のインタフェース領域のコンピュータ機能と同じであることを特徴とする方法。
【請求項２０】
請求項１７記載の方法であって、
前記第１の複数のインタフェース領域の第２のインタフェース領域のユーザ選択に応じて、前記第１のマーキングに関連したデータに対して第２のコンピュータ機能を行う工程を備え、
前記第２のコンピュータ機能は、前記第１の複数のインタフェース領域の前記第２のインタフェース領域に関連付けられることを特徴とする方法。
【請求項２１】
請求項１７記載の方法であって、
前記第１の複数のインタフェース領域は、前記第１のインタフェース領域と、第２のインタフェース領域とを備え、
更に、前記第１のインタフェース領域は、前記第１のマーキングの、空間的に左に配置され、前記第２のインタフェース領域は、前記第１のマーキングの、空間的に右に配置されることを特徴とする方法。
【請求項２２】
請求項１７記載の方法であって、
前記第１の複数のインタフェース領域は、前記第１のインタフェース領域と、第２のインタフェース領域とを備え、
更に、前記第１のインタフェース領域は、前記第１のマーキングの、空間的に上に配置され、前記第２のインタフェース領域は、前記第１のマーキングの、空間的に下に配置されることを特徴とする方法。
【請求項２３】
請求項１７記載の方法であって、
前記ユーザ選択は、前記筆記具装置によって、前記第１のインタフェース領域内に配置される、前記表面の領域をユーザが接触することによって行われることを特徴とする方法。
【請求項２４】
請求項１７記載の方法であって、
前記第１の複数のインタフェース領域の各インタフェース領域の高さは、前記第１のマーキングの高さに基づくことを特徴とする方法。
【請求項２５】
請求項１７記載の方法であって、
前記第１のマーキングは語であり、前記第１の複数のインタフェース領域の各インタフェース領域は目に見えないことを特徴とする方法。
【請求項２６】
電子装置であって、
筆記用具と、
バスに結合されるプロセッサと、
前記バスに結合されるメモリと、
前記バスに結合され、前記筆記用具に隣接して配置される光検出器とを備え、
前記メモリは、ユーザとインタフェースする方法を前記プロセッサに、実行すると実施させる命令を備え、
前記方法は、
表面上に筆記具装置によってマーキングが行われたということを識別する工程と、
前記表面上の前記マーキングの位置を識別し、前記マーキングのサイズを識別する工程と、
第１のインタフェース領域の位置及びサイズを自動的に計算する工程とを備え、
前記第１のインタフェース領域は前記マーキングに隣接して配置され、
前記方法は更に、第１のコンピュータ機能を前記第１のインタフェース領域と関連付ける工程と、
前記第１のインタフェース領域のユーザ選択に応じて、前記マーキングに関連したデータに対して前記第１のコンピュータ機能を行う工程とを備えることを特徴とする電子装置。
【請求項２７】
請求項２６記載の電子装置であって、
前記方法は更に、
前記表面の第２のインタフェース領域の位置及びサイズを自動的に計算する工程を更に備え、
前記第２のインタフェース領域は、前記マーキングに隣接して配置され、前記第１のインタフェース領域に重ならず、
前記方法は更に、
第２のコンピュータ機能を前記第２のインタフェース領域と関連付ける工程と、
前記第２のインタフェース領域のユーザ選択に応じて、前記データに対して前記第２のコンピュータ機能を行う工程とを備えることを特徴とする電子装置。
【請求項２８】
請求項２７記載の電子装置であって、
前記第１のインタフェース領域は、前記マーキングの、空間的に左に配置され、
更に、前記第２のインタフェース領域は、前記マーキングの、空間的に右に配置されることを特徴とする電子装置。
【請求項２９】
請求項２７記載の電子装置であって、
前記第１のインタフェース領域は、前記マーキングの、空間的に上に配置され、
更に、前記第２のインタフェース領域は、前記マーキングの、空間的に下に配置されることを特徴とする電子装置。
【請求項３０】
請求項２６記載の電子装置であって、
前記ユーザ選択は、前記筆記用具の先によって、前記第１のインタフェース領域内に配置された、前記表面の領域にユーザが接触することによって行われることを特徴とする電子装置。
【請求項３１】
請求項２６記載の電子装置であって、
第１のインタフェース領域の前記位置及び前記サイズは、前記マーキングの前記位置及び前記サイズによって変わってくることを特徴とする電子装置。
【請求項３２】
請求項３１記載の電子装置であって、
前記第１のインタフェース領域の高さは、前記マーキングの高さによって変わってくることを特徴とする電子装置。
【請求項３３】
請求項３２記載の電子装置であって、
前記第１のインタフェース領域の幅は、前記マーキングの前記高さによって変わってくることを特徴とする電子装置。
【請求項３４】
請求項２６記載の電子装置であって、
前記マーキングは語であり、前記第１のインタフェース領域は目に見えないことを特徴とする電子装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書記載の実施例は、ユーザ・インタアクティブ装置の分野に関する。本書面は、記述表面の、動的に生成されるインタフェース領域との相互作用によってコンピュータ機能を引き起こす方法及びシステムを教示する。
【背景技術】
【０００２】
この２０年間に、デスクトップ型コンピュータ・システム、ラップトップ型コンピュータ・システム、ハンドヘルド型コンピュータ・システム及びタブレット型コンピュータ・システムなどのパーソナル・コンピューティング装置の利用は、急激に成長してきた。こうしたパーソナル・コンピューティング装置によって、広範囲にわたる、インタアクティブなアプリケーション、ビジネス・ユーティリティ、通信機能、及び娯楽の可能性が、ユーザに提供されている。
【０００３】
現行のパーソナル・コンピューティング装置は、ユーザ・インタフェースを介してこうしたインタアクティブなアプリケーションへのアクセスを備える。通常のコンピューティング装置は、モニタやディスプレイの画面などの表示装置を用いて情報をユーザに呈示し、かつ、マウス、キーボード、ジョイスティックやスタイラスなどの入力装置を用いてユーザから情報を受信する画面上グラフィカル・インタフェースを有する。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ペンや紙の利用は、識字社会では、コンピューティング・システムよりもなお、遍在している。現行のコンピューティング装置のグラフィカル・ユーザ・インタフェースは、多くのコンピューティング・アプリケーションとの効果的な相互作用を備える一方、通常の画面上グラフィカル・ユーザ・インタフェースは、ペン又は鉛筆と、紙との通常の利用を模倣するのが困難である。例えば、デスクトップ型コンピュータ・システム及びラップトップ型コンピュータ・システムは通常、ペンに似たインタフェースを有するものでない。更に、コンピュータへの入力は、電子ディスプレイ上に示され、かつ、紙上又は、物理的な表面上に記述される情報のように永続的でかつアクセス可能であるという訳でない。
【０００５】
最後に、ペンに似たインタフェースによって紙の表面上に描かれる画像及び記述は、利便性、永続性及び有形性を有するが、ペンに似たインタフェースを用いて記述されると紙の表面上のマーキングを容易に再使用することを可能にするものでない。すなわち、ペンに似た特定のコンピュータ・システムは、紙上の特定のユーザ記述アイテムの認識を備え、認識されると、ペンに似たコンピュータ・システムは、特定の措置を直ちに講じ得る。しかし、ユーザがそのコンピュータ機能を再び行いたい場合、アイテムは紙上にもう一度記述されなければならない。特に、ペンに似たこうしたコンピュータ・ユーザ・インタフェースは、ユーザが、紙上の記述アイテムと直接相互作用して（例えば、マウス・クリックと非常によく似た、ペンによって軽く触れることによって選択して）、所望のコンピュータ機能を自動的に引き起こすことを可能にするものでない。
【課題を解決するための手段】
【０００６】
よって、記述表面に関連した、動的に生成されるインタフェース領域とのユーザ相互作用によってコンピュータ機能が引き起こされるインタアクティブな装置のユーザ・インタフェースを記載する。コンピュータ・システムは、記述表面上に記述されたマーキングを識別するか、既存の記述マーキングとのユーザ相互作用を認識する。マーキングに隣接して、コンピュータ・システムは、マーキングに関連した１つ又は複数のインタフェース領域を生成する。インタフェース領域は、記述表面の空間座標に対して、コンピュータ・メモリ内に規定され、ユーザの目には見えない。こうした領域のうちの１つとのユーザ相互作用によって、相互作用領域に関係し、マーキングにも関係する所定のコンピュータ機能が引き起こされる。別のコンピュータ機能を各インタフェース領域によって引き起こし得る。コンピュータ・システムは、関連したマーキングの位置（及びサイズ）に基づいてインタフェース領域を動的に配置させ、かつ、動的にサイジングし得る。複数のマーキングによって、複数の領域がもたらされ、別々の領域が各々のマーキングと関連付けられる。一実施例では、領域は、記述語の前方及び／又は後方に設定される。領域は、例えば、記述語の上及び／又は下に設定し得るものでもある。別の実施例では、コンピュータ・システムは、ペン・ベースのインタアクティブなコンピュータ・システムである。
【０００７】
一特定例では、ペン・ベースのインタアクティブなコンピュータ・システムを用いて、表面上の記述語を認識し得る。一アプリケーションでは、ペン・ベースのコンピュータ・システムは、その語の、一言語から別の言語への翻訳を備える。語が記述された後（又は、語が存在しており、その語が選択された後）、コンピュータ・システムは、表面上の空間的に語の前方に第１のインタフェース領域を自動生成し、表面上の空間的に語の後方に第２のインタフェース領域を自動生成する。第１領域とのユーザ相互作用によって、第１の領域と、語とに関する第１のコンピュータ機能が引き起こされる（例えば、語の翻訳は、コンピュータによって可聴形式でレンダリングされる。）。第２領域とのユーザ相互作用によって、第２の領域と、語とに関する第２のコンピュータ機能が引き起こされる（例えば、語の翻訳バージョンは、可聴形式でレター毎に読まれる。）。なお、インタフェース領域は、記述語に隣接する何れかの位置に配置され得るものであり、本明細書記載の特定の位置は例示的なものに過ぎない。一実施例では、領域は、その高さが記述語の高さと同様であり、かつ、その幅が固定であるか、記述語のサイズ又は形状に関係するものであり得るようにサイジングされる。
【０００８】
本発明の実施例は、別々のマーキングのインタアクティブな領域間の干渉を解決する処理も含む。こうした処理は、共有モデル、タイムアウト・モデル、ポップアップ・モデル及び／又は警告モデルを含み得る。本発明の実施例は、必要に応じて、常にメモリ内に全てのインタアクティブな領域を永続的に記憶する訳ではないことによって、コンピュータ資源が節減されるようにインタアクティブな領域を自動計算する効率的な処理も含む。
【０００９】
特に、本発明の実施例は、ユーザとインタフェースする、コンピュータによって実施される方法に関し、該方法は、表面上に筆記具装置によってマーキングが作成されたことを識別する工程と、表面上のマーキングの位置を識別し、マーキングのサイズを識別する工程と、マーキングに隣接して配置される第１のインタフェース領域の位置及びサイズを自動計算する工程と、第１のコンピュータ機能を第１のインタフェース領域と関連付ける工程と、第１のインタフェース領域のユーザ選択に応じて、マーキングに関連したデータに対して第１のコンピュータ機能を行う工程とを備える。実施例は上記を含み、更に、マーキングに隣接して配置され、第１のインタフェース領域に重ならない、表面の第２のインタフェース領域の位置及びサイズを自動計算する工程と、第２のコンピュータ機能を第２のインタフェース領域と関連付ける工程と、第２のインタフェース領域のユーザ選択に応じて、第２のコンピュータ機能をデータに対して行う工程とを更に備える。実施例は上記を含み、第１のインタフェース領域は、マーキングの空間的に左に配置され、更に、第２のインタフェース領域は、マーキングの空間的に右に配置される。
【００１０】
実施例は、ユーザとインタフェースする、コンピュータによって実施される方法も含み、方法は、記述マーキングがユーザによって選択されたということを識別する工程を備え、記述マーキングは、記述表面上に配置され、更に、記述マーキングに関連したインタフェース領域をメモリからアクセスする工程と、第１のインタフェース領域の位置及びサイズを自動計算する工程とを備え、第１のインタフェース領域は、記述マーキングに隣接して配置され、更に、第１のコンピュータ機能を第１のインタフェース領域と関連付ける工程と、第１のインタフェース領域のユーザ選択に応じて、記述マーキングに関連したデータに対して第１のコンピュータ機能を行う工程とを備える。実施例は上記も含み、更に、表面の第２のインタフェース領域の位置及びサイズを自動計算する工程を備え、第２のインタフェース領域はマーキングに隣接して配置され、第１のインタフェース領域に重ならず、更に、第２のコンピュータ機能を第２のインタフェース領域と関連付ける工程と、第２のインタフェース領域のユーザ選択に応じて、データに対して第２のコンピュータ機能を行う工程とを備える。実施例は、上記も含み、第１のインタフェース領域は、記述マーキングの、空間的に左に配置され、第２のインタフェース領域は、記述マーキングの、空間的に右に配置される。
【００１１】
実施例は、上記によってプログラムされるインタアクティブな装置にも関する。
【発明を実施するための最良の形態】
【００１２】
例を添付図面に示す、本発明による種々の実施例を次に、詳細に参照することとする。本発明は種々の実施例に関して説明するが、こうした種々の実施例は、本発明を限定することを意図するものでない。むしろ、本発明は、本特許請求の範囲によって解される、本発明の範囲内に含まれ得る代替、修正及び均等物を包含することが意図される。更に、本発明による種々の実施例の以下の詳細の説明では、数多くの特定の詳細を表して、徹底的に本発明が分かるようにしている。しかし、こうした特定の詳細なしで本発明を実施し得るということは当業者に明らかである。一方、周知の方法、手順、構成部分及び回路は、不必要に本発明の局面が分かりにくくならないようにするために詳細に説明していない。
【００１３】
以下の、詳細な説明の一部分は、コンピュータ・メモリ上で行い得る、データ・ビットに対する演算の手順、工程、論理ブロック、処理や他の記号表現によって呈示している。例えば、処理５００、５５０、６００及び７００である。こうした記述及び表現は、成果の本質を他の当業者に最も効果的に当業者が伝えるうえで用いる手段である。手順、コンピュータ実行工程、論理ブロック、処理等は、本明細書及び特許請求の範囲においても一般的にも所望の結果につながる、筋の通った一連の工程又は命令として考え出されている。工程は、物理的数量の物理的操作を必要とする。必然的ではないが通常、こうした数量は、コンピュータ・システムにおける記憶、転送、合成、比較や他の操作ができる電気信号又は磁気信号の形式を呈する。ビット、値、要素、記号、文字、項、数等としてこうした信号を表すことが、主に慣用の理由で、場合によっては好都合であることが明らかとなった。
【００１４】
しかし、こうした語や同様な語は全て、適切な物理的数量と関連付けることとし、こうした領域に付される好都合なラベルに過ぎないということを念頭におくべきである。以下の記載によって明らかであるように、別途明記しない限り、「認識」、「開始」、「伝達」、「埋め込み」、「結合」、「アクセス」、「識別」、「受信」、「出力」、「生成」、「判定」、「関連付け」、「記憶」等などの語を利用した記載は、コンピュータ・システムのレジスタ内及びメモリ内の物理的（電子的）数量として表すデータを操作し、そうしたデータを、コンピュータ・システムのメモリ内若しくはレジスタ内や、他のそうした情報記憶装置内、情報伝送装置内や情報表示装置内に物理的数量として同様に表される他のデータに変換するコンピュータ・システムや同様な電子計算機装置の動作及び処理を表す。
【実施例】
【００１５】
ユーザが描く例示的なインタフェース
図１は、ペン・ベースのコンピュータ・システムのユーザ・インタフェースを構成する、例えば、記述可能な表面上の、例示的なユーザ記述マーキングを示す。この例では、コンピュータ・システムは、例えば、一言語（英語）から別の言語（スペイン語）への、言語翻訳アプリケーション・プログラムを実行するよう命令されている。このアプリケーションは、この例では、丸を備えた「Ｔ」である特殊マーキング２をユーザが描くことによって引き起こし得る。このマーキング２の隣にある任意的なチェックマークも用いて、アプリケーションのパラメータを選択し得る。こうしたパラメータは、ペン型コンピュータの先でマーキング２上にユーザが軽く触れることに応じて、（例えば、連続したオーディオ・レンディションによって）スクロールし得る。所望のパラメータがアナウンスされた後、ユーザはチェックマークを描いてそれを選択し得る。
【００１６】
ユーザによる語、例えば、「ｃａｔ」４、の記述に応じて、アプリケーション・プログラムは、スペイン語の対応語「ｇａｔｏ」をアナウンスする。同じことが、記述語「ｄｏｇ」についても起こり得る、例えば、コンピュータは「ｐｅｒｒｏ」をアナウンスする。本願では、ユーザが翻訳を繰り返させたい場合、ユーザ記述インタフェース・アイテム１０を紙上に記述しなければならない。ユーザ１０がこのアイテム１０をペンの先で選択する場合、コンピュータは、最も直近で選択された語、例えば、ｃａｔ４又はｄｏｇ６の対応語をアナウンスすることになる。対応語がレターで読まれるようにユーザがしたい場合、記述アイテム８の選択によってこの機能が行われることになる。この場合も又、最も直近で選択された語が読まれることになる。
【００１７】
残念ながら、頻繁に実行される機能、すなわち主要機能の場合、語を選択し、次に紙の特定の他の部分に移り、描かれた別個の機能アイテム、例えば、アイテム８又は１０を選択してその語に施すということはユーザによって冗長になり得る。この場合、ユーザは自ら、常に紙上に軽く触れて、翻訳及び／又はスペルの機能を行い得る。更に、ユーザは、１つ又は２つの語を翻訳したいに過ぎない場合、図１の例を行ううえでのユーザ・インタフェースのオーバヘッドは、極めて大きいように見え得る。例えば、ユーザは、アイテム２を描いて翻訳アプリケーションを引き起こし、次に、「翻訳」アイテム１０を記述し、次に任意的に「スペル」アイテム８を記述し、更に、翻訳しようとする語、例えば、「ｃａｔ」４を描き、アイテム８上又はアイテム１０上に軽くふれなければならない。同様な機能を実現するが、ユーザが描く必要があるアイテムが少ないユーザ・インタフェースを備えることが効果的である。最後に、コンピュータ・システム内で永続性を有する、紙上に描かれる各アイテムは、コンピュータ資源を消費することになる。コンピュータ・システム・メモリを消費しなくてよいようにアイテム８及び１０が特に描かれることを必要としないユーザ・インタフェースを備えることが効果的である。
【００１８】
以下に更に説明するように、本発明の実施例は、上記欠点をなくす、描かれたアイテムの効果的なユーザ・インタフェースを備える。
【００１９】
本発明の実施例の、例示的な装置プラットフォーム
図２は、本発明の種々の実施例を実施し得るインタアクティブな電子装置１００の構成図である。一般的には、装置１００は、ペン形状かペン・ベースのコンピュータ・システム若しくはペンに似たコンピュータ・システム、又は光学式装置として表し得るものであり、特に、光学式読み取り装置、光学式ペン、又はディジタル・ペン若しくはディジタル・ペン型コンピュータとして表し得る。
【００２０】
図２の実施例では、装置１００は、ハウジング６２内にプロセッサ３２を含む。一実施例では、ハウジング６２は一般的に、ペンや他の筆記用具又は筆記器具の形態及び形状を有する。プロセッサ３２は、以下に説明する装置１００の機能を実施するのに用いる情報及び命令を処理するよう動作可能である。更に、プロセッサ３２は、装置１００に結合される何れかのメモリ又は機能カートリッジ（例えば、２８）に関連した機能を実施するのに用いる情報及び命令を処理するよう動作可能である。
【００２１】
一実施例では、装置１００は、オーディオ出力装置３６、表示装置４０を含み得るものであり、オーディオ出力装置３６も表示装置４０もプロセッサ３２に結合し得る。別の実施例では、オーディオ出力装置及び／又は表示装置は、任意的であるか、装置１００から物理的に分離される一方、無線接続及び／又は有線接続によって装置１００と通信する。無線通信の場合、装置１００は、送信器又は送受信器３３を含み得る。オーディオ出力装置３６は、スピーカ又は（、例えば、イヤフォン若しくはヘッドフォン用）オーディオ・ジャックを含み得る。表示装置４０は、液晶ディスプレイ（ＬＣＤ）や特定の他の適切な種類のディスプレイであり得る。
【００２２】
図２の実施例では、装置１００は、プロセッサ３２に結合され、装置１００を駆動させ、制御する入力ボタン３８を含み得る。例えば、入力ボタン３８によって、ユーザは、情報及びコマンドを装置１００に入力するか、装置１００をオン又はオフ状態にすることが可能になる。装置１００は、バッテリなどの電源３４も含み得るが、そうしたものに限定されるものでない。
【００２３】
装置１００は、プロセッサ３２に結合される、光源又は光エミッタ４４と、光センサ又は光検出器４２も含み得る。光エミッタ４４は、例えば、発光ダイオード（ＬＥＤ）であり得るものであり、光検出器４２は、例えば、電荷結合素子（ＣＣＤ）や相補型金属酸化物半導体（ＣＭＯＳ）のイメ―ジャ・アレイであってよい。光エミッタ４４は表面７０又はその一部分を照射する。表面７０を反射する光は、光検出器４２によって受光され、記録され得る。
【００２４】
一実施例では、マーキング・パターンは、装置１００とともに用いるよう、表面７０に印刷される。表面７０は、紙や他の種類の表面などの、マーキング・パターンの印刷（、又は形成若しくは付着）を行い得る何れかの適切な表面であり得る。光エミッタ４４及び光検出器４２を保持し得る装置１００の下端部３９が、表面７０に押し当てられるか表面７０の近くに配置される。装置１００が表面７０に対して移動するにつれ、マーキングのパターンを光エミッタ４４及び光検出器４２によって読み取り、記録し、識別し得る。以下に更に詳細に記載するように、一実施例では、表面７０上のマーキングを用いて、表面７０に対する装置１００の位置を判定する（例えば、図３及び４参照。）。別の実施例では、表面７０上のマーキングを用いて情報をコード化し得る。表面７０の捕捉画像は、装置１００によって解析（処理）して、マーキングを復号化し、コード化情報を復元することができる。
【００２５】
図２の装置１００は、プロセッサ３２に結合されるメモリ装置４８も含み得る。一実施例では、メモリ装置４８は、メモリ・カートリッジ又はメモリ・カードとして実施される取り外し可能なメモリ装置である。別の実施例では、メモリ装置４８は、プロセッサ３２用情報及び命令を記憶する揮発性メモリ及び／又は非揮発性メモリを含み得る。例えば、メモリ装置４８は、プロセッサ３２用情報及び命令を記憶するランダム・アクセス・メモリ（ＲＡＭ）及び／又は読み取り専用メモリ（ＲＯＭ）を含み得るが、そうしたものに限定されるものでない。
【００２６】
図２の実施例では、装置１００は、装置１００の、光検出器４２及び光エミッタ４４と同じ端部（例えば、３９）に位置する筆記具エレメント５２を含み得る。筆記具エレメント５２は、例えば、ペン、鉛筆、マーカ、スタイラス等であり得るものであり、格納式であってもなくてもよい。特定のアプリケーションでは、筆記具エレメント５２はなくてよい。他のアプリケーションでは、ユーザは、筆記具エレメント５２を用いて、レター、数字、記号、デザイン等などの文字を含むマーク、マーキングを表面７０上に作成し得る。こうしたユーザ作成マークは、表面７０上の位置によって、装置１００によって走査（例えば、撮像）し、解釈し得る。ユーザ作成マークの位置は、表面７０上に印刷されるマーク・パターンを用いて判定し得る（例えば、以下の図４及び図５の説明を参照。）。一実施例では、ユーザ作成マーキングは、装置１００によって、手書き文字を認識する光学式文字認識（ＯＣＲ）手法を用いて解釈し得る。
【００２７】
表面７０は、紙であり得るが、紙以外の材料から成る表面も用い得る。表面７０は、フラット・パネル・ディスプレイ画面（例えば、ＬＣＤ）であってよく、電子ペーパー（例えば、電子インクを利用した再構成可能ペーパー）であってもよい。更に、表面７０は平坦であってもなくてもよい。例えば、表面７０は、球体の表面として実施し得る。更に、表面７０は、通常の（例えば、レターサイズの）紙よりも小さくても大きくてもよい。一般的に、表面７０は、マーキング（例えば、レター、数字、記号、文字等）を印刷するか他の方法で付着させることができる何れかの種類の表面であり得る。あるいは、表面７０は、マーキングが可視であるように見えるように、装置１００による表面上の動作に応じて表面の特性が変化する種類の表面であり得る。
【００２８】
図２は、本発明の種々の実施例による、装置１００との組み合わせで利用し得る例示的なカートリッジ２８も示す。特に、カートリッジ２８を装置１００に結合（又は接続）することによって、カートリッジ２８は、表面７０の特定部分と組み合わせて用いることができる、そのメモリ３０から、装置１００のメモリ４８に１つ又は複数のアプリケーションの複製のダウンロードを可能にすることによって装置１００の機能を拡張することができる。そういうものとして、装置１００は、カートリッジ２８から受け取る１つ又は複数のアプリケーションを利用することができる。
【００２９】
特に、本発明の一実施例によれば、カートリッジ２８は、カートリッジ・ハウジング３１内に全て配置させ得る、メモリ３０と、機能ロジックと、インタフェース３５と、任意的な周辺装置４１とを含み得る。一実施例では、カートリッジ・ハウジング３１は、ペンのキャップ、又は筆記器具若しくは筆記用具（例えば、装置１００）のキャップの形態を有し得る。例えば、一実施例では、カートリッジ・ハウジング３１は、装置１００のハウジング６２の上部３７及び下部３９にわたってしっかりフィットさせるよう企図し得る。そういうものとして、カートリッジ２８のハウジング３１は、ペンのキャップをペンにしっかりフィットさせる場合と同様に装置１００にしっかりフィットさせ得るように成形させ得る。特に、カートリッジ２８のハウジング３１は、装置１００のハウジング６２の上部３７上にしっかりフィットさせるよう企図し得る。更に、カートリッジ２８のハウジング３１は、装置１００のハウジング６２の下部３９上にしっかりフィットさせるようにも企図し、筆記具エレメント５２、光検出器４２及び／又は光エミッタ４４を覆い、かつ／又は保護する装置１００のキャップ（又はカバー）としてカートリッジ２８を利用することが可能になるようにし得る。なお、カートリッジ２８は、装置１００の下部３９にしっかりフィットさせると、受動的に記憶し得る。
【００３０】
図２では、装置１００は、装置１００にカートリッジ（例えば、２８）が結合することが可能になるインタフェース３７を含み得る。なお、カートリッジ２８のハウジング３１を、装置１００のハウジング６２の上部３７上にしっかりフィットさせると、カートリッジ２８のインタフェース３５は装置１００のインタフェース３７に電気的に結合し得る。このようにして結合される場合、カートリッジ２８を、装置１００のプロセッサ３２、電源３４及びメモリ装置４８に結合し得る。そういうものとして、一実施例では、装置１００のプロセッサ３２は、カートリッジ２８のメモリ３０から、上に記憶する対象の装置１００のメモリ４８に、何れかの常駐アプリケーションの複製を自動的にダウンロードし得る。なお、メモリ３０によって記憶される上記情報の全部（又は一部）の複製は、上に記憶する対象の装置１００のメモリ４８にダウンロードし得る。一実施例では、何れかの他の情報とともに１つ又は複数のアプリケーションがカートリッジ２８のメモリ３０から装置１００のメモリ４８にダウンロードされた後、カートリッジ２８は、装置１００から、取り外し得る（切り離し得る）。なお、カートリッジ２８が装置１００から切り離されても、装置１００は、カートリッジ２８からダウンロードされた、１つ又は複数のアプリケーションと、何れかの他の情報とをなお利用し得る。
【００３１】
カートリッジ２８は、カートリッジ２８によって記憶される１つ又は複数のアプリケーションと関連し得る１つ又は複数の周辺装置（例えば、４１）を任意的に含み得るものでもある。例えば、任意的な周辺装置４１は、ぶるぶるパック、発光ダイオード（ＬＥＤ）、アップグレードされたディスプレイ、アップグレードされたスピーカ等として実施し得るが、そうしたものに限定されるものでない。なお、カートリッジ２８のメモリ３０は、広範囲にわたる各種方法で実施し得る。例えば、メモリ３０は、長期間にわたって電源から切断された後、データを記憶し得る、フラッシュ・メモリ、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、消去可能な、プログラム可能読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能な、プログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）及び／又は何れかの他の非揮発性メモリによって実施し得るが、そうしたものに限定されるものでない。
【００３２】
図３は、本発明の種々の実施例を実施し得る別のインタアクティブな電子装置２００の構成図である。装置２００は、本明細書に前述した、プロセッサ３２、電源３４、オーディオ出力装置３６、入力ボタン３８、メモリ装置４８、光検出器４２、光エミッタ４４及び筆記具エレメント５２及びインタフェース３７を含む。しかし、図２の実施例では、光検出器４２、光エミッタ４４及び筆記具エレメント５２は、ハウジング６２内に光デバイス２０１として実施され、プロセッサ３２、電源３４、オーディオ出力装置３６、入力ボタン３８、インタフェース３７及びメモリ装置４８は、ハウジング７４を含むプラットフォーム２０２として実施される。本実施例では、光デバイス２０１は、ケーブル１０２によってプラットフォーム２０２に結合される。しかし、無線接続をかわりに用い得る。図３によって示すエレメントは、上記のもの以外の組み合わせで光デバイス２０１とプラットフォーム２０２との間に分布させ得る。
【００３３】
加えて、図３は、本明細書に前述した、メモリ３０、インタフェース３５及び、任意的な周辺装置４１を含み得るカートリッジ２８も示す。更に、カートリッジ２８は又、プラットフォーム２０２のハウジング７４の側部２０４にカートリッジ２８がしっかり結合されることが可能になるよう成形されるハウジング３１’を含み得る。なお、ハウジング３１’は、図１のハウジング３１とは異なる形状を有する。一実施例では、インタフェース３７が、光デバイス２０１の一部として実施される場合、カートリッジ２８のハウジング３１’を、光デバイス２０１にカートリッジ２８がしっかり結合されることが可能になり得るようにカートリッジ２８のハウジング３１’を修正し得る。
【００３４】
図４は、本発明の一実施例による、マーク・パターンを備えた紙１５を示す。図４の実施例では、紙１５は、マーク１８のパターンから成る光学的に読み取り可能な位置コード１７の形式のコード化パターンを備える。図４のマーク１８は、分かりやすくするために大いに拡大されている。実際には、マーク１８は、人間の視覚系によって容易に区別可能でないことがあり得るものであり、紙１５上ではグレイスケールとして見えることがあり得る。一実施例では、マーク１８は点として実施される。しかし、本発明はそのように限定されるものでない。マーク１８によって、表面７０に対する空間グリッドが作成される。ペンを下げ次第、インタアクティブな装置（１００又は２００）は、ペンの先端部の位置に近い、マーク１８の一意のパターンを識別し得る。この一意のパターンは、ペンの先端部がある、表面７０上の位置も識別する。
【００３５】
図５は、本発明の一実施例による、図３の位置コード１７の拡大部分１９を示す。装置１００や２００（図２及び図３）などの光デバイスは、位置コード１７の領域の画像を記録するよう配置し得る。一実施例では、光デバイスは、ラスタ点２２で交差するラスタ・ライン２１を備えるラスタの形式の基準系にマーク１８をフィットさせる。マーク１８の各々は、ラスタ点２２と関連付けられる。例えば、マーク２３は、ラスタ点２４と関連付けられる。画像／ラスタ内のマークについて、マークに関連付けられるラスタ点からのマークの変位が判定される。こうした変位を用いて、画像／ラスタ内のパターンが、基準系におけるパターンと比較される。基準系におけるパターン各々は、表面７０上の特定の位置と関連付けられる。よって、画像／ラスタ内のパターンを基準系におけるパターンと照合することによって、表面７０上のパターンの位置と、よって、表面７０に対する光デバイスの位置とを判定し得る。更なる情報は、米国特許第６，５０２，７５６号明細書、西暦２００２年６月２６日付出願の米国特許出願公開１０／１７９，９６６号明細書、国際公開第０１／９５５５９号パンフレット、国際公開第０１／７１４７３号パンフレット、国際公開第０１／７５７２３号パンフレット、国際公開第０１／２６０３２号パンフレット、国際公開第０１／７５７８０号パンフレット、国際公開第０１／０１６７０号パンフレット、国際公開第０１／７５７７３号パンフレット、国際公開第０１／７１４７５号パンフレット、国際公開第０１／７３９８３号パンフレット及び国際公開第０１／１６６９１号パンフレットに記載の、全ての目的で、全ての内容を本明細書及び特許請求の範囲に援用する特許及び特許出願に記載されている。
【００３６】
図２をもう一度参照すれば、表面７０上の４つの位置又は領域をレターＡ、Ｂ、Ｃ及びＤによって示す（こうした文字は、表面７０上に印刷されないが、表面７０上の位置を示すのに本明細書では用いている。）表面７０上にはそうした領域が多く存在し得る。表面７０上の各領域と関連付けられるのは、一意のマーク・パターンである。表面７０上の領域は重なり得るが、それは、重なる領域間で一部のマークが共有されても、領域内の、マークのパターンは、その領域になお一意であるからである。
【００３７】
図２の例では、装置１００を用いて（特に、筆記具エレメント５２を用いて）、ユーザは、例えば、表面７０上の位置Ａにある、丸を付けたレター「Ｍ」から成る文字を作成し得る（一般的に、ユーザは、表面７０上の何れかの位置に文字を作成し得る。）。ユーザは、そうした文字を装置１００からのプロンプト（例えば、可聴プロンプト）に応じて作成し得る。ユーザが文字を作成すると、装置１００は、文字が作成される位置に一意に存在するマーキング・パターンを記録する。装置１００は、このマーキング・パターンを、直近に作成された文字と関連付ける。丸を付した「Ｍ」の上に装置１００が後に配置されると、装置１００は、それと関連付けられるマーク・パターンを認識し、丸を付した「Ｍ」と関連付けられるものとして位置を認識する。事実上、装置１００は、文字自体を認識することによるのではなく、文字が配置される位置にあるマーキング・パターンを用いて文字を認識する。
【００３８】
一実施例では、文字が、特定のコマンドと関連付けられる。上記例では、ユーザは、特定のコマンドを識別する文字を作成（例えば、記述）することができ、記述文字の上に装置１００を配置させるだけでコマンドを繰り返し引き起こすことができる。すなわち、コマンドを引き起こす都度、コマンドの文字を再度記述しなくてよい。その代わりに、ユーザは１度、コマンドの文字を記述し、同じ記述文字を、用いる、例えば、ペンの先で選択することによってコマンドを繰り返し引き起こすことができる。
【００３９】
図５は、本発明の一実施例による、コード化情報を記憶するのに用い得る、表面１９上の（例えば、紙上の）点領域を示す。この情報を読み取るために、ペン・ベースのコンピュータ１００を、上記領域の何れかの部分上に下ろす。図５の例は、紙を示すが、本発明の実施例は、前述のような、各種材料でできた他の種類及び形状の表面上に実施し得る。
【００４０】
領域は、点などのマークのパターンを含む。実施例では、パターンを復号化して、より大きなマップ領域内の一意の位置を得る。この位置は（ｘ，ｙ）座標対のものであり得る。この領域の表面は、更に別の情報を含み得る。例えば、表面は、点パターンとともに、その上に印刷されたテキスト・ベース又は画像ベースの情報を含み得る。特定の例として、表面は、カートリッジ２８によって記憶される１つ又は複数のアプリケーションと組み合わせて利用し得る、１つ又は複数の画像及び、上記で参照したマーキング・パターンを含み得る。領域におけるマーク・パターンによってコード化される情報は、各種方法で用い得る。例えば、復号化位置情報を用いて、その位置に関連したアプリケーションを識別し得る。
【００４１】
本発明による、描かれたユーザ・インタフェース
図６Ａは、本発明の実施例による例示的な記述ユーザ・インタフェースを示す。上記のインタアクティブな装置を用いて、図６Ａに示すマーキングを作成し得る。例えば、アプリケーションを呼び起こすために、ユーザは、任意的な隣接チェックマーク３１５を備えるマーキング３１０（丸を付した「Ｔ」）を描き得る。一実施例では、これによって、翻訳アプリケーションすなわち翻訳器アプリケーションが引き起こされる。別の実施例では、アプリケーションは、ユーザが描いた入力を受ける辞書アプリケーションや何れかの他のアプリケーションであり得る。本発明の実施例によれば、ユーザはその場合、筆記具装置を用いて、マーキング、又は語、例えば「ｃａｔ」３３０を描くか記述することが可能になる。これに応じて、インタアクティブなコンピュータは、記述語３３０の周りに空間的な境界３３５、この例では矩形を生成する。このことは、記述語の空間領域の最大座標（ｘ，ｙ）から最小座標（ｘ，ｙ）までによって範囲が規定される矩形を計算することによって行い得る。その結果は、長さＬ（ｍａｘ  ｘ  −  ｍｉｎ  ｘ）及び高さｈ（ｍａｘ  ｙ  −  ｍｉｎ  ｙ）の境界３３５である。境界３３５は、「語領域」若しくは「語インタフェース領域」、又は「空間的な境界」と呼ばれることもあり得る。
【００４２】
本発明の実施例によれば、インタアクティブなコンピュータは更に、境界３３５に隣接し、（かつ、よって、記述語３３０に隣接する）、目に見えない、インタフェース領域３２０ａ及び３２０ｂをメモリに自動生成する。インタフェース領域３２０ａ及び３２０ｂの各々は、幅ｗ及び高さｈのものである。この例では、各々のインタフェース領域の高さは、境界３３５と同じ高さのものであるものとして規定される。一実施例では、幅は固定幅であってよく、境界３３５の幅及び／又は高さによって変わってくるものであってもよい。なお、同じ記述語のインタフェース領域は、お互いに空間的に重なるものでなく、関連した境界と重なるものでない。
【００４３】
なお、各インタフェース領域は、特殊なコンピュータ機能をそれに割り当てている。例えば、一実施例では、インタフェース領域３２０ａは、ユーザによって選択されると、関連した語３３０を翻訳させる。この例では、翻訳は、（英語からスペイン語への翻訳の場合、）「ｃａｔ」の対応語、例えば、スペイン語の「ｇａｔｏ」の可聴アナウンスを意味する。一実施例では、インタフェース領域のユーザ選択は、その領域内でユーザがインタアクティブな装置の先で軽く触れることを意味する。選択は、領域内で、ユーザが、２回軽く触れる、かつ／又は、記号や他のマーキングを記述することも意味し得る。更に、ユーザが領域３２０ｂを選択すると、これによって、関連した語３３０が、例えば、「ｇ」、「ａ」、「ｔ」、「ｏ」と可聴アナウンスにおいて、読まれることになる。したがって、翻訳機能はインタフェース領域３２０ａと関連付けられ、スペル機能はインタフェース領域３２０ｂと関連付けられる。更に、何れのコンピュータ機能も、こうした２つのインタフェース領域の関連語３３０を自動的に処理する。なお、別々の語の、同様に配置されたインタフェース領域は一般的に、同じコンピュータ機能の関連付けを行わせるが、その関連語を処理する。
【００４４】
境界、すなわち語インタフェース領域３３５もアクティブ領域である。すなわち、記述語３３０が複数の対応語を有する場合、ユーザは、インタフェース領域３３５内に軽く触れることによって、対応語のリストを１つずつ循環することによって適切な対応語を選択し得る。この実施例では、軽く触れる都度、ラウンドロビン方式で次の対応語をアナウンスさせる。この場合、インタフェース領域３２０ａ及び３２０ｂは、ユーザによって直近に選択された対応語を処理することになる。
【００４５】
なお、何れかの機能をインタフェース領域と関連付け得るものであり、何れかのアプリケーションがそうした機能を利用し得る。例えば、翻訳アプリケーションのかわりに、辞書アプリケーションを用い得る。この場合、アクティブ領域は、関連した語を定義するコンピュータ機能を引き起こし得るか、関連した語の反対語、同義語、同語源の語や、同様な語を備える。こうした機能は、何らかのかたちでインタフェース領域３２０ａ及び３２０ｂに割り当て得る。
【００４６】
なお、インタフェース領域３２０ａ及び３２０ｂは、関連した語３３０をユーザが記述し次第生成されるばかりでなく、例えば、境界３３５内に軽く触れることによって、ユーザが語３３０を選択する際にはいつでも自動生成され得るものでもある。
【００４７】
自動生成されるインタフェース領域３２０ａ及び３２０ｂを用いることの１つの利点は、（図１に示す、）翻訳のマーキング及び／又は、スペルのマーキングを、ユーザが別個に描かなくてよいというものである。むしろ、対象語３３０が描かれ次第、ユーザは、語の前方又は後方に軽く触れて、期待される機能を引き起こすに過ぎない。
【００４８】
図６Ｂは、記述語３３０が、一通りでないサイズのものであり得る、例えば、レターが、一定のサイズのものでないことがあり得るということを示す。この場合、最後のレター「ｔ」は、記述語のレターのうちの残りのものよりも大きい。この場合、語のアクティブ領域すなわち空間的な境界３３５を高さ方向に引き延ばして最後のレターｔを含めるようにする。更に、インタフェース領域３２０ａ及び３２０ｂの高さｈも、境界３３５の高さｈに合うようにする。この場合も又、インタフェース領域３２０ａ及び３２０ｂの幅ｗは、固定幅（例えば、ｘセンチ等）のものであってよく、境界３３５の高さｈ又は幅Ｌによって変わってくるものであってもよい。
【００４９】
図７Ａに示すように、新たなインタフェース領域は、ユーザによって作成される記述語毎に規定される。図７Ａは、２つの記述語、「ｃａｔ」３３０及び「ｄｏｇ」３５０を示す。図６Ａの同様なインタフェース領域３２０ａ及び３２０ｂは、記述語３５０について示す。しかし、ユーザが語「ｄｏｇ」３５０を記述し次第、インタアクティブなコンピュータは、語の境界３５５を自動的に規定し、更に、その関連語３５０の両側にインタフェース領域３４０ａ及び３４０ｂを自動生成する。前述のように、各インタフェース領域の高さｈ２は、境界３５５の高さと同じである。更に、各インタフェース領域の幅ｗ２は、固定であってよく、関連した境界３５５の高さｈ２又は幅ｌ２によって変わってくるものであってもよい。
【００５０】
なお、一般的に、同じアプリケーション・プログラム内では、別のマーキングの同じ空間位置のインタフェース領域は、同じコンピュータ機能を有する。すなわち、インタフェース領域３２０ａも３４０ａも同じコンピュータ機能を有するが、各々のマーキング３３０及び３５０を処理する。特に、一実施例では、同じアプリケーション・プログラム内で、同じコンピュータ機能が、図６Ａに関して説明したようにインタフェース領域３４０ａ及び３４０ｂに割り当てられる。すなわち、翻訳器アプリケーションが操作可能であるとすれば、翻訳機能がインタフェース領域３４０ａに割り当てられ、スペル機能がインタフェース領域３４０ｂに割り当てられる。この差は、各々のコンピュータ機能が、関連語「ｄｏｇ」を処理することになるという点である。インタフェース領域３４０ａがユーザによって選択されると、コンピュータは、「ｄｏｇ」の、スペイン語の対応語をアナウンスする。更に、インタフェース領域３４０ｂがユーザによって選択される場合、「ｄｏｇ」の対応語が、例えば、「ｐ」、「ｅ」、「ｅ」、「ｒ」、「ｏ」と、読まれる。
【００５１】
図７Ａの例では、インタフェース領域の幅は、その関連語のサイズによって変わってくる。すなわち、記述語「ｄｏｇ」３５０のサイズは、記述語「ｃａｔ」３３０のサイズよりも小さい。よって、インタフェース領域３４０ａ及び３４０ｂの幅ｗ２は、インタフェース領域３２０ａ及び３２０ｂの幅ｗ１よりも小さい。本発明の実施例によれば、インタフェース領域の幅は、関連語又はその機能の幅及び／又は高さによって変わってくるものであり得る。更に、インタフェース領域の高さは、その関連語の高さに一致するよう設定される。
【００５２】
図７Ｂは、インタフェース領域の幅が固定であり、関連語のサイズによって変わってくるものでないこと以外は図７Ａと同様な例を示す。ここでは、インタフェース領域３２０ａの幅は、記述語「ｃａｔ」が記述語「ｄｏｇ」３５０よりも大きくても、インタフェース領域３４０ａの幅と同じである。しかし、インタフェース領域の高さは、ｈ１及びｈ２によって示される、関連語の高さに一致するよう設定される。固定幅は、何れかの妥当なサイズのものであり得るものであり、一実施例では、幅はおおよそ０．６２５ｃｍ以上２．５ｃｍ以下であるが、標準的な筆記用具の先端部のサイズによってユーザが容易に選択可能な何れかのサイズであり得る。
【００５３】
本発明の実施例は、コンピュータ・メモリに語の境界３３５及び３５５を永続的に記憶し得るが、コンピュータ資源、例えば、メモリ及び処理能力を節減しようとして、メモリへのインタフェース領域（３２０ａ、３２０ｂ、３４０ａ、３４０ｂ）の記憶は永続的に行っても行わなくてもよい。すなわち、語の境界が分かり、保存されると、インタフェース領域は必要な場合にすばやく計算することができ、よって、対象アプリケーションがアクティブである間、必ずしも、メモリに永続的に記憶しなくてよい。一実施例では、関連語のアクティブ領域は、直近に用いられた語についてのみ保存（例えば、メモリに保持）され、直近に用いられた語でない別の語に関連したインタフェース領域は、ユーザがその語と相互作用すると、すばやく計算される。このようにして、どの時点でも少数のインタフェース領域のみがアクティブであればよい。
【００５４】
図８は、別々の記述語のインタフェース領域がお互いに重なる場合を示す。これは、重なる領域内でユーザが選択する場合の期待されるコンピュータ機能に関するあいまいさが生じ得るため、ないようにすべき状態である。こうした種類の重なりの生起が許容される場合、予期しない結果が生じ得る。本発明の実施例は、インタフェースの重なりがないように、多くのやり方で解決されるようにしている。まず、第２の記述語（例えば、「ｄｏｇ」３５０）が、既存の記述語（例えば、「ｃａｔ」３３０）に近すぎる場所に記述される場合、一実施例は、第２の語が近すぎるということ、例えば、「既存の語からもっと離れた場所に語を記述してください。」、「もっと右の方に新たな語を記述してください。」等である。この場合、重なるインタフェース領域３４０ａは、実際には全く発生しないが、それは、ユーザは、「ｄｏｇ」３５０を別の場所に記述して、重ならないようにするよう命令されるからである。これが、「警告」実施例である。
【００５５】
別の実施例では、インタアクティブなコンピュータは、ユーザが第２の語「ｄｏｇ」３５０を記述し終えることを可能にし、重なる、境界３３５と３５５との間の空間を共有することがもうないように幅（又は、場合によっては高さ）の方向においてインタフェース領域３２０ｂ及び３４０ａを調節する（例えば、縮める）に過ぎない。これが、「共有」実施例である。
【００５６】
更に別の実施例では、インタアクティブなコンピュータによって、インタフェース領域が重なることが可能になるが、それは、どの時点でも、直近で記述された語及び／又は選択された語のインタフェース領域のみがアクティブであるからである。これは、「ポップアップ」インタフェース領域として表す。例えば、ユーザが「ｄｏｇ」３５０を記述すると、インタフェース領域３４０ａ及び３４０ｂが生成され、アクティブにされる。しかし、既存のインタフェース領域３２０ａ及び３２０ｂは更に、イナクティブにされる。よって、アクティブなインタフェース領域のうちでは、領域３２０ｂと３４０ｂとの重なりはないが、それは、インタフェース領域３２０ｂは、その時点において、その点でアクティブでないからである。領域３４０ａの何れかの点内の選択はよって、予期しないコンピュータ機能を引き起こさないものであるが、それは、領域３４０ａに関連した機能が実行することになるからである。更に、ユーザが次に境界３３５内で選択した場合、インタフェース領域３２０ａ及び３４０ａは、アクティブになり（例えば、表面に「ポップアップし」）、インタフェース領域３４０ａ及び３４０ｂは、イナクティブになってしまい、この場合も又、重なる状態が何ら残らないことになる。
【００５７】
別の実施例では、重なる状態が生じる場合、最後に（直近で）描かれたインタフェース領域が支配し、他方のインタフェース領域は、イナクティブになる。これは、（コンピュータ・グラフィックス処理の類推による、）Ｚ値が最大のインタフェース領域が、他のものと重なる場合にアクティブ状態に留まる「Ｚオーダー」の実施例である。図８の場合、インタフェース領域３４０ａが支配することになり、インタフェース領域３２０ｂは、「ｄｏｇ」３５０が「ｃａｔ」３３０の後に記述されたのでイナクティブになる。
【００５８】
別の実施例では、インタフェース領域は、一定期間後「タイムアウト」する。よって、「ｃａｔ」３３０が記述され、インタフェース領域３２０ａ及び３２０ｂが生成され、アクティブ状態に留まっていたものとする。タイムアウト期間が規定される。タイムアウト期間中に、インタフェース領域３２０ａ及び３２０ｂとの相互作用も境界３５５との相互作用も起こらない場合、インタフェース領域３２０ａ及び３２０ｂはイナクティブになる。タイムアウトによって領域３２０ｂがイナクティブになった後に領域３４０ａが生成される場合、重なる状態は何ら存在しない。
【００５９】
図９は、記述語の上及び下の領域についてもインタフェース領域を規定し得るということを示す。この例では、インタフェース領域４３０ａ及び４３０ｂは、記述語「ｗｈｉｔｅ」４１０の上及び下に規定される。この場合、インタフェース領域４３０ａ及び４３０ｂの幅は、記述語４１０について規定される境界４１５の幅と同じである。インタフェース領域４３０ａ及び４３０ｂの高さは、固定の寸法のものであってよく、関連した記述語４１０の高さ及び／又は幅によって変わってくるものであってもよい。上記のように、インタフェース領域は、左側についても右側についても、例えば、インタフェース領域４２０ａも４２０ｂも、規定し得る。
【００６０】
この特定例では、４つのインタフェース領域が、記述語４１０に対して自動的に規定される。この場合、アプリケーションは、インタフェース領域４３０ａ、４３０ｂ、４２０ａ、４２０ｂに何れかの順序で各々割り当てられる１）定義、２）反対語、３）同義語や４）同語源の語などのコンピュータ機能を備える辞書アプリケーションであり得る。
【００６１】
なお、特定例をインタフェース領域の配置について表したが、本発明の実施例は、記述語に隣接した、インタフェース領域の何れかの空間的な配置にもよく適しており、よって、語に可視的に関連付けられる。左、右、上及び下のインタフェース領域配置は例示的なものに過ぎない。更に、インタフェース領域のサイズは、本発明の範囲内で変え得るものでもある。インタフェース領域は、固定幅、可変幅又はその組み合わせのものであり得る。更に、矩形領域を、インタフェース領域の形状として説明している。しかし、こうしたものは例示的なものに過ぎず、他の周知の幾何形状、例えば、円形、三角形、不正則な形状も採用し得る。更に、記述語は、インタフェース領域の生成を引き起こす例として用いている。しかし、何れかの記述アイテム、例えば、数字、レター、等式、グラフィックス、名称、図等を用いてインタフェース領域生成を引き起こし得る。最後に、翻訳器、辞書等などの例示的なアプリケーションを本明細書に記載している。こうしたものは例示的なものに過ぎない。入力としての記述アイテムの意味付け（解釈）を行うコンピュータ機能を提供する何れかのアプリケーションを本発明の範囲内で用い得る。
【００６２】
図１０Ａは、本明細書及び特許請求の範囲記載のユーザ・インタフェース領域を生成する、コンピュータによって実施される処理５００を示す。処理５００は、図２及び図３に関して説明したインタアクティブな装置上で実施し得る。一実施例では、処理５００は、インタアクティブな装置のメモリ装置内に記憶され、そのプロセッサ上で実施されるコンピュータ・コードとして実施し得る。処理５００は、ユーザが記述する記述語に応じたインタフェース領域の生成に注力する。
【００６３】
工程５１０では、記述表面の上、例えば紙等の上にユーザがマーキング、例えば語を記述することをコンピュータが検出する。語の空間的な境界（すなわち、「語の境界」）、例えば、語を包含する矩形のもの、が更に計算される。工程５１５で、記述語の空間的な境界が更に、メモリに記憶される。工程５２０では、空間的な領域に隣接したインタフェース領域（アクティブ領域）が自動生成される。インタフェース領域は、空間的な境界に隣接して配置され、よって、インタフェース領域の位置は、空間的な境界の位置によって変わってくる。更に、一実施例では、インタフェース領域の高さは空間的な境界の高さに一致するので、インタフェース領域のサイズは、空間的な境界のサイズによって変わってくるものであり、よって、記述語のサイズによって変わってくる。各インタフェース領域は、現在実行中のアプリケーション・プログラムによっても変わってくる、それに関連した特定のコンピュータ機能を有する。
【００６４】
工程５２５では、インタフェース領域のうちの１つとユーザが相互作用する（例えば、インタフェース領域のうちの１つ内で１回軽く触れるか、２回軽く触れるか、記述する）かについての検査が行われる。そうでない場合、工程５３０に進むが、そうである場合、工程５３５で、選択インタフェース領域に関連したコンピュータ機能が、選択インタフェース領域に関連した記述語に関して実行される。ユーザ相互作用は更に、工程５３０で、記述語の空間的な境界に対して検査される。そうである場合、空間的な境界に関連したコンピュータ機能が、関連した記述語に関して行われる。当該処理は、別の記述語が作成されるまで５２５で繰り返され、その時点で、新たな語が記述されることに応じて工程５１０に進む。
【００６５】
図１０Ｂは、本明細書及び特許請求の範囲記載のユーザ・インタフェース領域を生成する、コンピュータによって実施される処理５５０を示す。処理５５０は、図２及び図３に関して説明したインタアクティブな装置上で実施し得る。一実施例では、処理５５０は、インタアクティブな装置のメモリ装置内に記憶され、そのプロセッサ上で実行されるコンピュータ・コードとして実施し得る。処理５５０は、既存の記述語のユーザ選択に応じた、インタフェース領域の生成に注力する。この場合、（例えば、図１０Ａの処理５００の機能によって、）１つ又は複数の記述語が既に生成されているものとする。こうした記述語に関連した空間的な境界は更に、メモリ内に記憶される。図１０Ｂに関しては、記述語のインタフェース領域が全て、メモリ内に永続的に記憶される訳でないことがあり得るものとする。しかし、記述語が選択されると、それに相当するインタフェース領域がすばやく計算される。
【００６６】
工程５６０では、ユーザが既存のものを選択し、空間的な境界を記憶したか（例えば、空間的な境界内でユーザが、１回軽く触れたか、２回軽く触れたか、何かを記述したか）の検査が行われる。そうである場合、次に工程５２０で、選択された空間的な境界のインタフェース領域が自動生成される、工程５２０乃至５４０は、インタフェース領域を用いて特定のコンピュータ機能を引き起こすことができるという点で図１０Ａに類似している。
【００６７】
図１１は、記述表面上で空間的に重なるインタフェース領域を検出し、解決する、本発明の実施例によって用いる概括的な手順６００を示す。処理６００は、図２及び図３に関して説明したインタアクティブな装置上で実施し得る。一実施例では、処理６００は、インタアクティブな装置のメモリ装置内に記憶され、そのプロセッサ上で実行されるコンピュータ・コードとして実施し得る。工程６１０では、インタアクティブな装置は、第１のマーキングの、ユーザによる記述を検出し、第１のマーキングのサイズ及び位置に基づいて第１のマーキングに関連したインタフェース領域を自動生成する。工程６１５では、インタアクティブな装置は、記述表面上に第２のマーキングをユーザが記述することを検出し、第２のマーキングの位置及びサイズを記録する。
【００６８】
工程６２０では、インタアクティブな装置は、第２のマーキングに関連したインタアクティブな領域の位置及びサイズを計算する。更に、装置は、何れかの他のインタアクティブな領域、例えば、第１のマーキングのインタアクティブな領域とこうしたインタアクティブな領域が重なるか否かを検出する。一実施例では、重なりは、インタフェース領域の空間座標の比較によって検出される。座標が一致し次第、重なりが検出される。重なりが何ら検出されない場合、工程６３０で、インタアクティブな装置は、第２のマーキングに関連したインタフェース領域を生成し、アクティブにする。
【００６９】
しかし、工程６２５では、重なりを解決する処理に入って、重なっているインタフェース領域間の空間的なあいまいさを解決する。いくつかの解決処理のうちの１つを上記のように行い得る。一実施例では、工程６２５で、インタアクティブな装置は、第２のマーキングが第１のマーキングに近すぎるということをユーザに警告し得る。これが、警告モデルである。この実施例では、工程６３０には入らないが、それは、第２のマーキングのインタフェース領域は何ら作成されないからである。ユーザはその場合、既存の記述と重ならない位置に第２のマーキングを描くことが奨励される。第２の実施例では、共有モデルを用い得る。この場合、工程６２５で、重なっているインタアクティブな領域間で、第１マーキングと第２のマーキングが共有するのに十分な空間があるかを判定する。そうである場合、重なっている領域の幅（又は、場合によっては高さ）は、重なりがなくなるまで縮められる。工程６３０は更に、第２のマーキングの、新たなインタフェースを作成する。共有を可能にするのに十分な空間がない場合、工程６３０には入らない。
【００７０】
第３の実施例、タイムアウト・モデルでは、工程６２５で、インタアクティブな装置はまず、第１のインタフェース領域に関連したマーキングがタイムアウトしたかを検査する。すなわち、所定のタイムアウト期間、第１のマーキング又は、その関連インタフェース領域のうちの何れかとユーザ相互作用が何ら行われていない場合、こうしたオブジェクトはもうアクティブでないものとする。第１のマーキングがタイムアウトした場合、工程６３０に入って第２のインタフェース領域を生成する。第１のマーキングがなおアクティブな場合、共有を試行し得る。共有を可能にするのに十分な空間がない場合、工程６３０には入らない。
【００７１】
第４の実施例では、ポップアップ・モデルを用いる。このモデルでは、領域の１つが現在、アクティブでない限り、インタフェース領域が重なることが可能である。よって、工程６２５では、第１のマーキングに関連したインタフェース領域がアクティブか否かが判定される。そうでない場合、工程６３０に入る。こうしたインタフェースがアクティブな場合、共有を試行し得る。共有を可能にするうえで十分な空間がない場合、工程６３０には入らない。
【００７２】
図１２は、インタフェース領域を維持するうえでコンピュータ資源を節減する、本発明の実施例によって用い得る手順７００を示す。一般的に、実施例によれば、インタフェース領域はメモリに永続的に記憶される訳でなく、むしろ、必要に応じて計算され、用いられる。処理７００は、図２及び図３に関して説明したインタアクティブな装置上で実施し得る。一実施例では、処理７００は、インタアクティブな装置のメモリ装置内に記憶されたコンピュータ・コードとして実施し、そのプロセッサ上で実行し得る。
【００７３】
工程７１０では、インタアクティブな装置は、記述表面の座標（ｘ，ｙ）と、例えば、その上にペンを軽く１度又は２度触れるか、記述することによってユーザが相互作用することを検出する。インタアクティブな装置は、工程７１５で、（記述マーキングに相当する、）そのメモリに記憶された空間的な境界を走査して、（ｘ，ｙ）の位置に最も近い空間的な境界を判定する。インタアクティブ装置は更に工程７２０で、工程７１５で判定された空間的な境界に関連したインタフェース領域を計算する。工程７２５では、工程７２０で計算されたインタフェース領域の何れか内に（ｘ，ｙ）座標が収まるか否かを更に判定する。そうである場合、工程７１５で判定された空間的な境界に関連したマーキング上の（ｘ，ｙ）座標のインタフェース領域に関連したコンピュータ機能を行う工程７３０に入る。
【００７４】
（ｘ，ｙ）の位置が、インタフェース領域内に収まらない場合、工程７２５から、工程７３５に入る。工程７３５では、インタフェース装置は、工程７１５で判定された空間的な境界内に（ｘ，ｙ）座標が収まるかを検査する。そうである場合、その空間的な境界に関連したコンピュータ機能が工程７４０で実行される。処理は更に、繰り返される。
【００７５】
処理７００の利点は、インタフェース領域はメモリに永続的に記憶されなくてよいが、必要に応じて計算されるという点である。各マーキングに関連した空間的な境界は永続的に記憶される。なお、この領域相互作用処理７００は、一実施例によって、図１０Ａ及び図１０Ｂの工程５２５として実施し得る。
【００７６】
概して、本書面は、記述表面の、動的に生成されたインタフェース領域とのユーザ相互作用によってコンピュータ機能が引き起こされる装置・ユーザ・インタフェースを開示する。コンピュータ・システムは、記述表面上に記述されるマーキング又は、既存の記述マーキングのユーザ選択を識別する。マーキングに隣接して、コンピュータ・システムは、マーキングに関連した１つ又は複数のインタフェース領域を生成する。こうした領域のうちの１つとのユーザ相互作用によって、相互作用領域に関するコンピュータ機能が引き起こされる。別々の機能が各領域によって引き起こされ得る。コンピュータ・システムは、マーキングの位置（及びサイズ）に基づいてインタフェース領域の配置を動的に行い、インタフェース領域のサイジングを動的に行い得る。複数のマーキングによって、複数の領域がもたらされ、別々の領域が各々のマ―キングと関連付けられる。一実施例では、領域は、記述語の前方及び／又は後方に設定される。領域は、例えば、記述語の上部及び／又は下部にも設定し得る。別の実施例では、コンピュータ・システムは、ペン・ベースのインタアクティブなコンピュータ・システムである。
【００７７】
本発明による種々の特定の実施例の上記記載は、例証及び説明の目的で呈示した。そうしたものは、網羅的であることを意図するものでなく、開示されたまさにその形態に本発明を限定することを意図するものでもなく、明らかに、多くの修正及び変形が、上記教示に鑑みて考えられる。本発明は、本特許請求の範囲及びその均等物によって解し得る。
【図面の簡単な説明】
【００７８】
【図１】ペン型コンピュータ・システムのユーザ・インタフェースを示す図である。
【図２】本発明の種々の実施例を実施し得るインタアクティブな電子装置を示す構成図である。
【図３】本発明の種々の実施例を実施し得る別のインタアクティブな電子装置を示す構成図である。
【図４】本発明の一実施例による、マーク・パターンを備える例示的な紙を示す図である。
【図５】本発明の一実施例による、例示的な紙上のマーク・パターンを示す拡大図である。
【図６Ａ】アクティブな領域を自動生成する、本発明の実施例による、ペン型コンピュータ装置のユーザ・インタフェースを備える、その上にマーキングを記述させた記述表面を示す図である。
【図６Ｂ】本発明の実施例による、ペン・ベースのコンピュータ装置のユーザ・インタフェースを備える、その上に例示的なマーキングを記述させた記述表面を示す図である。
【図７Ａ】本発明の実施例による、各々のマーキングによって、高さでも幅でもサイジングされる、関連したアクティブな領域を各々が備える２つの例示的なマーキングをその上に記述させた記述表面を示す図である。
【図７Ｂ】本発明の実施例による、各々のマーキングによって、高さにおいてサイジングされ、幅が固定される、関連したアクティブな領域を各々が備える２つの例示的なマーキングをその上に記述させた記述表面を示す図である。
【図８】お互いに空間的に干渉する２つの別々のマーキングのアクティブな領域を示す図である。
【図９】本発明の実施例による、その上にマーキングを記述させ、かつ、自動生成される４つの例示的なアクティブ領域を有する記述表面を示す図である。
【図１０Ａ】本発明の実施例による、ユーザによるマーキング記述に応じて、記述に関連したインタフェース領域を自動生成する、コンピュータによって実施される処理を示す流れ図である。
【図１０Ｂ】本発明の実施例による、既存の記述がユーザによって選択されることに応じて、記述に関連したインタフェース領域を自動生成する、コンピュータによって実施される処理を示す流れ図である。
【図１１】本発明の実施例による、インタフェース領域間の空間的な干渉を解決する、コンピュータによって実施される処理を示す流れ図である。
【図１２】本発明の実施例による、ユーザ動作に最も近い境界を判定した後、境界のインタフェース領域を「フロー上で」計算する、コンピュータによって実施される処理を示す流れ図である。
【符号の説明】
【００７９】
２  マーキング
４  記述
６  記述
８  ユーザ記述インタフェース・アイテム
１０  ユーザ記述インタフェース・アイテム
１５  紙
１７  位置コード
１８  マーク
１９  １７の拡大部分
２１  ラスタ・ライン
２２  ラスタ点
２３  マーク
２４  ラスタ点
２８  カートリッジ
２９  上部
３０  メモリ
３１  ハウジング
３２  プロセッサ
３３  送受信器
３４  電源
３５  インタフェース
３６  オーディオ出力装置
３７  インタフェース
３８  入力ボタン
３９  下部
４０  表示装置
４１  周辺装置
４２  光検出器
４４  光エミッタ
４８  メモリ装置
５２  筆記具エレメント
６２  ハウジング
７０  表面
７４  ハウジング
１００  装置
１０２  ケーブル
２００  装置
２０１  光デバイス
２０２  プラットフォーム
２０４  側部
３１０  マーキング
３１５  チェックマーク
３２０  インタフェース領域
３３０  記述語
３３５  空間的な境界
３４０  インタフェース領域
３５０  記述語
３５５  境界
４１０  記述語
４１５  境界
４２０  インタフェース領域
４３０  インタフェース領域
【図１】
2007128484.tif 000003
【図２】
2007128484.tif 000004
【図３】
2007128484.tif 000005
【図４】
2007128484.tif 000006
【図５】
2007128484.tif 000007
【図６Ａ】
2007128484.tif 000008
【図６Ｂ】
2007128484.tif 000009
【図７Ａ】
2007128484.tif 000010
【図７Ｂ】
2007128484.tif 000011
【図８】
2007128484.tif 000012
【図９】
2007128484.tif 000013
【図１０Ａ】
2007128484.tif 000014
【図１０Ｂ】
2007128484.tif 000015
【図１１】
2007128484.tif 000016
【図１２】
2007128484.tif 000017