(57)【要約】【課題】認識されるテキストと有界領域とによってペン・デバイスのユーザ・インタフェースを実施する方法及びシステム【解決手段】方法は、テキスト列を認識する工程と、認識すると、テキスト列に関する機能又はアプリケーションをアクセスする工程とを含む。出力が機能によって備えられ、機能がテキスト列と関連付けられる。あるいは、テキスト列の選択は、テキスト列の認識結果を現在アクティブなアプリケーションに自動的に施す。方法は、有界領域内の駆動を認識する工程と、駆動によって、有界領域に関する機能を自動的にアクセスする工程とを含む。有界領域内で認識されるテキスト列は、テキスト列及び有界領域によって出力を生成する。【選択図】図１０
2006195996.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ・コマンドを解釈する方法であって、
記述可能な表面の有界領域内のペン・デバイスの駆動を認識する工程と、
前記駆動によって、前記有界領域に関する前記ペン・デバイスの機能をアクセスする工程と、
前記機能によって出力を備える工程と、
前記有界領域と前記機能を関連付ける工程とを備えることを特徴とする方法。
【請求項２】
請求項1記載の方法であって、
前記出力は、前記機能に関するオーディオ出力を備えることを特徴とする方法。
【請求項３】
請求項1記載の方法であって、
前記有界領域との前記機能の前記関連付けを記憶することによって前記機能の後のアクセスを可能にする工程を更に備えることを特徴とする方法。
【請求項４】
請求項3記載の方法であって、
前記有界領域との前記機能の前記関連付けの前記記憶は、前記有界領域との前記ペン・デバイスの相互作用を介して所定時間量、前記機能の永続的な利用可能性を実施することを特徴とする方法。
【請求項５】
請求項1記載の方法であって、
前記有界領域が、前記ペン・デバイスによって前記表面上にユーザによって描かれることを特徴とする方法。
【請求項６】
請求項5記載の方法であって、
前記表面は、紙を備えることを特徴とする方法。
【請求項７】
請求項1記載の方法であって、
前記表面上のグラフィック・エレメント・アイコンの複数のオプションのうちの１つをまず選択することによって前記有界領域に関する前記機能を判定する工程を更に備えることを特徴とする方法。
【請求項８】
請求項7記載の方法であって、
前記複数のオプションのうちの前記１つの前記選択によって前記有界領域の作成をプロンプトする工程を更に備えることを特徴とする方法。
【請求項９】
請求項1記載の方法であって、
前記有界領域が予め印刷された有界領域であり、該有界領域に関する前記機能が所定のものであることを特徴とする方法。
【請求項１０】
請求項1記載の方法であって、
前記駆動は、前記有界領域内にユーザ記述テキストを備え、
更に、該ユ―ザ記述テキストを特定の語として自動的に認識する工程を更に備えることを特徴とする方法。
【請求項１１】
請求項10記載の方法であって、
前記出力を備える工程は、
前記有界領域に関する前記機能に前記特定の語を自動的に施して、該自動的に施した結果を生成する工程を備えることを特徴とする方法。
【請求項１２】
請求項11記載の方法であって、
前記結果が可聴的にレンダリングされることを特徴とする方法。
【請求項１３】
請求項1記載の方法であって、
前記複数の有界領域と前記複数の機能との前記関連付けを各々記憶することによって相当する複数の有界領域について複数の機能の後のアクセスを可能にする工程を更に備えることを特徴とする方法。
【請求項１４】
ユーザ・コマンドを解釈する方法であって、
記述可能な表面上のテキスト列を認識する工程と、
該認識によって、前記テキスト列に関する、ペン・デバイスの機能をアクセスする工程と、
前記機能によって出力を備える工程と、
前記機能を前記テキスト列と関連付ける工程とを備えることを特徴とする方法。
【請求項１５】
請求項14記載の方法であって、
前記出力が、前記機能に関するオーディオ出力を備えることを特徴とする方法。
【請求項１６】
請求項14記載の方法であって、
前記テキスト列との前記機能の前記関連付けを記憶することによって前記機能の後のアクセスを可能にする工程を更に備えることを特徴とする方法。
【請求項１７】
請求項16記載の方法であって、
前記テキスト列との前記機能の前記関連付けの前記記憶は、前記ペン・デバイスとの前記テキスト列の相互作用を介して、所定の時間量、前記機能の永続的な利用可能性を実施することを特徴とする方法。
【請求項１８】
請求項14記載の方法であって、
前記テキスト列は、前記ペン・デバイスによって記述表面上にユーザによって描かれることを特徴とする方法。
【請求項１９】
請求項18記載の方法であって、
前記記述表面が紙を備えることを特徴とする方法。
【請求項２０】
請求項14記載の方法であって、
グラフィック・エレメント・アイコンの複数のオプションのうちの１つを選択することによって前記テキスト列に関する前記機能を判定する工程を更に備えることを特徴とする方法。
【請求項２１】
請求項19記載の方法であって、
前記複数のオプションのうちの前記１つの前記選択によって前記テキスト列の作成をプロンプトする工程を更に備えることを特徴とする方法。
【請求項２２】
請求項14記載の方法であって、
前記テキスト列は、前記有界領域に関し、所定のものである機能を有する予め印刷された有界領域内で認識されることを特徴とする方法。
【請求項２３】
請求項14記載の方法であって、
前記有界領域に関する前記機能によって前記有界領域内のテキスト列入力に関する機能を選択する工程を更に備えることを特徴とする方法。
【請求項２４】
請求項14記載の方法であって、
グラフィック・エレメント・アイコンの複数のオプションのうちの１つを選択することによって、前記テキスト列に用いる複数の機能のうちの１つを選択する工程を更に備えることを特徴とする方法。
【請求項２５】
請求項14記載の方法であって、
前記ペン・デバイスによって前記テキスト列の選択を認識する工程と、
前記テキスト列に関する前記機能をアクセスする工程と、
前記機能によって前記出力を備える工程とを更に備えることを特徴とする方法。
【請求項２６】
ユーザ・コマンドを解釈する方法であって、
ユーザ記述テキスト列を特定の語として認識する工程を備え、
前記ユーザ記述テキスト列は、記述可能な表面上にペン・デバイスを用いて記述され、
更に、前記特定の語を第１のアプリケーションに施して、該施した第１の結果を生成する工程を備え、
前記第１のアプリケーションは、前記ペン・デバイス上で実行するよう動作可能な複数のアプリケーションのうちの１つであり、
更に、前記結果を前記ペン・デバイスを用いて可聴的にレンダリングする工程を備えることを特徴とする方法。
【請求項２７】
請求項26記載の方法であって、
前記記述可能な表面上の画像と前記ペン・デバイスが相互作用することに応じて第２のアプリケーションが選択されるということを認識する工程と、
前記ユーザ記述テキスト列が、前記ペン・デバイスが前記ユーザ記述テキスト列と相互作用することに応じて選択されるということを認識する工程と、
前記特定の語を前記第２のアプリケーションに自動的に施して、該自動的に施した第２の結果を生成する工程と、
前記ペン・デバイスを用いて前記第２の結果を可聴的にレンダリングする工程とを更に備えることを特徴とする方法。
【請求項２８】
デバイスであって、
記述可能な表面から画像を検出する光センサと、
センサに結合されるプロセッサと、
該プロセッサに結合されるメモリとを備え、
該メモリは、
前記表面上に作成されるグラフィック・エレメント・アイコンを認識する工程と、
該グラフィック・エレメント・アイコンに関する機能をアクセスする工程と、
ユーザ記述テキスト列を特定の語として認識する工程と、
前記特定の語により、かつ、前記機能により、出力を備える工程と、
前記ユーザ記述テキスト列と前記機能を関連付ける工程とを備える、ユーザ・コマンドを解釈する方法を前記プロセッサに、実行すると実施させる命令を備えることを特徴とするデバイス。
【請求項２９】
請求項28記載のデバイスであって、
前記出力は、前記機能に関し、かつ、前記ユーザ記述テキスト列に関するオーディオ出力を備えることを特徴とするデバイス。
【請求項３０】
請求項28記載のデバイスであって、
前記ユーザ記述テキスト列との前記機能の前記関連付けを記憶することによって前記機能の後のアクセスを可能にする工程を更に備えることを特徴とするデバイス。
【請求項３１】
請求項30記載のデバイスであって、
前記ユーザ記述テキスト列との前記機能の前記関連付けの前記記憶は、前記テキスト列との前記ペン・デバイスを用いた相互作用を介して所定時間量、前記機能の永続的な利用可能性を実施することを特徴とするデバイス。
【請求項３２】
請求項28記載のデバイスであって、
前記ユーザ記述テキスト列が、前記ペン・デバイスによって前記表面上に作成されることを特徴とするデバイス。
【請求項３３】
請求項32記載のデバイスであって、
前記表面は、紙を備えることを特徴とするデバイス。
【請求項３４】
請求項28記載のデバイスであって、
前記グラフィック・エレメント・アイコンの複数のオプションのうちの１つを選択することによって前記テキスト列に関する前記機能を判定する手段を更に備えることを特徴とするデバイス。
【請求項３５】
請求項28記載のデバイスであって、
前記機能によって前記テキスト列の作成をプロンプトする手段を更に備えることを特徴とするデバイス。
【請求項３６】
請求項28記載のデバイスであって、
前記機能によって有界領域の作成をプロンプトする手段と、
前記有界領域内の前記テキスト列の作成をプロンプトして前記機能を実施する手段とを更に備えることを特徴とするデバイス。
【請求項３７】
請求項36記載のデバイスであって、
前記有界領域に関する前記機能によって前記有界領域内のテキスト列入力に関する機能を選択する手段を更に備えることを特徴とするデバイス。
【請求項３８】
請求項28記載のデバイスであって、
グラフィック・エレメント・アイコンの複数のオプションのうちの１つを選択することによって前記テキスト列に用いる複数の機能のうちの１つを選択する手段を更に備えることを特徴とするデバイス。
【請求項３９】
ペン・デバイスであって、
記述可能な表面上の画像を検出する光センサと、
筆記器具と、
バスに結合されるプロセッサと、
スピーカと、
前記バスに結合され、
前記筆記器具を用いて前記記述可能な表面上に記述されるユーザ記述テキスト列を特定の語として認識する工程と、
前記ペン・デバイス上で実行するよう動作可能な複数のアプリケーションのうちの１つである第１のアプリケーションに前記特定の語を施して、該施した第１の結果を生成する工程と、
該結果を前記スピーカを用いて可聴的にレンダリングする工程とを備える、ユーザ・コマンドを解釈する方法を、実行すると実施する命令を備えるメモリとを備えることを特徴とするデバイス。
【請求項４０】
請求項39記載のデバイスであって、前記方法は、
前記記述可能な表面上の画像と前記ペン・デバイスが相互作用することに応じて第２のアプリケーションが選択されるということを認識する工程と、
前記ユーザ記述テキスト列が、該ユ―ザ記述テキスト列と前記ペン・デバイスが相互作用することに応じて選択されるということを認識する工程と、
前記特定の語を前記第２のアプリケーションに自動的に施して、該施した第２の結果を生成する工程と、
前記第２の結果を前記スピーカを用いて可聴的にレンダリングする工程とを備えることを特徴とするデバイス。
【請求項４１】
ペン・デバイスであって、
記述可能な表面上の画像を検出する光センサと、
筆記器具と、
バスに結合されるプロセッサと、
スピーカと、
前記バスに結合され、
前記ペン・デバイス上で実行するよう動作可能な第１のアプリケーションに前記記述可能な表面の第１の有界領域を規定する工程と、
前記ペン・デバイス上で実行するよう動作可能な第２のアプリケーションに前記記述可能な表面の第２の有界領域を規定する工程と、
前記第１の有界領域内の第１のユーザ記述データに応じて、該第１のユーザ記述データを第１の表現として認識し、該第１の表現を前記第１のアプリケーションに自動的に施して、該自動的に施された第１の結果を生成する工程と、
前記スピーカを用いて前記第１の結果を可聴的にレンダリングする工程とを備える、
ユーザ・コマンドを解釈する方法を、実行されると実施する命令を備えるメモリとを備えることを特徴とするペン・デバイス。
【請求項４２】
請求項41記載のペン・デバイスであって、前記方法が、
前記第２の有界領域内の第２のユーザ記述データに応じて、該第２のユーザ記述データを第２の表現として認識し、該第２の表現を前記第２のアプリケーションに自動的に施して、該自動的に施された第２の結果を生成する工程と、
前記スピーカを用いて前記第２の結果を可聴的にレンダリングする工程とを備えることを特徴とするペン・デバイス。
【請求項４３】
請求項41記載のペン・デバイスであって、
前記第１の有界領域を前記第１のアプリケーションに規定する工程が、
前記記述可能な表面上の画像と前記ペン・デバイスが相互作用することに応じて前記第１のアプリケーションが選択されるということを認識する工程と、
前記表面上の前記第１の有界領域を描くことを、前記スピーカを用いてプロンプトする工程と、
前記第１の有界領域を、前記ペン・デバイスを用いて前記第１の有界領域を描くことに応じて規定する工程と、
前記第１の有界領域を前記第１のアプリケーションと関連付ける工程とを備えることを特徴とするペン・デバイス。
【請求項４４】
請求項43記載のペン・デバイスであって、
前記第２の有界領域を前記第２のアプリケーションに規定する工程が、
前記記述可能な表面上の画像と前記ペン・デバイスが相互作用することに応じて前記第２のアプリケーションが選択されるということを認識する工程と、
前記表面上の前記第２の有界領域を描くことを、前記スピーカを用いてプロンプトする工程と、
前記第２の有界領域を、前記ペン・デバイスを用いて前記第２の有界領域を描くことに応じて規定する工程と、
前記第２の有界領域を前記第２のアプリケーションと関連付ける工程とを備えることを特徴とするペン・デバイス。
【請求項４５】
ユーザからの入力を受け入れる方法であって、
記述可能な表面上の有界領域内の、ペン・デバイスの駆動を認識する工程と、
前記駆動によって、前記有界領域に関する前記ペン・デバイスの機能をアクセスする工程と、
前記機能によって出力を備える工程と、
前記有界領域と前記機能とを関連付ける工程とを備えることを特徴とする方法。
【請求項４６】
請求項45記載の方法であって、
前記出力が、前記機能に関するオーディオ出力を備えることを特徴とする方法。
【請求項４７】
請求項46記載の方法であって、
前記オーディオ出力が、ペン・デバイスを介して備えられることを特徴とする方法。
【請求項４８】
請求項47記載の方法であって、
前記オーディオ出力は、第２のデバイスが前記ペン・デバイスと通信することによって備えられることを特徴とする方法。
【請求項４９】
請求項45記載の方法であって、
前記出力は、前記機能に関する視覚出力を備えることを特徴とする方法。
【請求項５０】
請求項49記載の方法であって、
前記視覚出力は、ペン・デバイスを介して備えられることを特徴とする方法。
【請求項５１】
請求項50記載の方法であって、
前記視覚出力は、第２のデバイスが前記ペン・デバイスと通信することによって備えられることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書記載の実施例は、インタアクティブなデバイス、コンピュータ、電子デバイス、電気器具、玩具等の制御及び利用に関する。本書面は、認識されるテキストと有界領域とによってデバイスのユーザ・インタフェースを実施する方法及びシステムに関する。
【背景技術】
【０００２】
光学式読み取り装置や光学式ペンなどのデバイスは、通常、検出器やイメージャに向けて表面を反射する光を発出する。デバイスを表面に向けて（か、その逆に）移動させると、連続した画像がすばやく捕捉される。画像を解析することによって、表面に対する、光デバイスの移動を追跡することができる。
【０００３】
1つのタイプの光学式ペンは、非常に小さな点が上に印刷される紙に用いる。点は、ページ上に、間隔がわずかに約0.3ミリメートルであるパターンで印刷される。ページ上の何れかの領域内の点のパターンは、その領域に一意である。光学式ペンは事実上、場合によっては一秒間に100回以上表面のスナップショットを得るものである。各スナップショットにおいて捕捉される点位置を解釈することによって、光学式ペンは、その、ページに対する位置を高精度で判定することができる。
【０００４】
表面に対する光学式ペンの位置についての情報を利用するアプリケーションが考え出されてきたか、考え出されている。ブルートゥースや他の無線機能を備える光学式ペンを、他のデバイスにリンクし、電子メールやファクシミリを送るのに用いることができる。
【０００５】
組み込みコンピュータ・システムの能力と、そうしたシステムが実施することができる機能の複雑度との増大によって、より直感的かつユーザ・フレンドリなかたちでそうした能力をアクセスすることに対する必要性が生まれた。従来技術の光学式ペンは通常、ユーザが光学式ペンの1つ又は複数のボタン/スイッチ又は制御部を操作して1つ又は複数のソフトウェア・プログラム、ルーチン、組み込みデバイス等を起動させることによってその意図された機能を実施するものである。ペンは、コンピュータ・システムを含むか、コンピュータ・システムと通信することがあり得る。そうした制御部を駆動させると、ペン・デバイスはその意図された機能を行う。ペン自体の上に備える限定された数及び構成のスイッチ、ボタン等や、何れかの遠隔結合コンピュータ・システム・デバイスによって、一層能力が増大している光学式ペンの機能をアクセスすることは、十分な解決策ではない。
【０００６】
従来技術の解決策の１つは、光学式ペンを用いてユーザ定義コマンドを認識し、そのコマンドを用いてペンの特定の機能を引き起こす（例えば、PCT出願公開01/48590A1。）例えば、ユーザの記述は、（例えば、リアルタイムで）認識され、光学式ペンに対するコマンドとして解釈され得る。この解決策の欠点は、ペンの機能の相互作用及び制御が、ユーザの手書きが（例えば、ユーザが紙上にコマンドを筆記するにつれて）リアルタイムで認識されることを必要とすることを伴う。この解決策は、光学式ペンのより複雑な機能との相互作用が、ユーザが1つ又は複数のコマンドを繰り返し筆記してペンによって備えられる種々の選択、オプション又は機能をアクセスすることを必要とすることが理由で、満足なものでない。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
この解決策は、非常に単純な、単一工程型のアプリケーション（例えば、「オフにする」、「記憶する」等。）については満足なものであり得るが、より複雑で、満足なもので、豊富な機能が望まれる場合に過度に煩雑かつ限定的である。
【課題を解決するための手段】
【０００８】
よって、それに関連したコンピュータ・システムを有するペン・デバイスのより複雑な機能との相互作用を可能にし、ペン・デバイスによって備えられる種々の選択、オプション及び機能へのより効率的なアクセスを可能にするユーザ・インタフェースの方法及びシステムが、有用なものとなる。更に望まれるのは、ペン・ベースのコンピュータ・システムのオペレーティング・システムとユーザが相互作用することを可能にする、ユーザ・インタフェースと、ユーザ・インタフェースを用いた手法である。本発明による実施例は、これらや他の効果を備える。
【０００９】
一実施例では、本発明は、認識されるテキストと有界領域とによってデバイスのユーザ・インタフェースを実施する方法として実施される。方法は、テキスト列（例えば、語）を認識する工程と、認識すると、テキスト列に関する機能をアクセスする工程とを含む。出力が機能によって備えられ、機能がテキスト列と関連付けられる。一実施例では、機能はテキスト列と永続的に関連付けられる。よって、ペン・デバイスによってテキスト列が選択される都度、機能が別個の時間、引き起こされる。一実施例では、テキスト列を取り囲む有界領域が規定される。ペン・デバイスによる、有界領域内の何れかの点の選択は、その場合、テキスト列の選択を示す。例示的な機能は、例えば、テキスト列（例えば、語）が一言語（例えば、英語）から別の言語に翻訳される翻訳機能や、語の定義が備えられる辞書機能や、類語辞典機能等であり得る。
【００１０】
方法は、有界領域内の駆動（例えば、ユーザ記述）を認識する工程と、駆動によって、有界領域に関する機能又はアプリケーション・プログラムを自動的にアクセスする工程とを含む。例示的な機能は、例えば、電卓有界領域内に入力されるテキストが数値文字等として認識される電卓機能であり得る。このようにして、有界領域内で認識されるテキスト文字又はテキスト列は、テキスト列によって出力を自動的に生成し、有界領域に関連したアプリケーション又は機能によっても出力を自動的に生成する。このことは、アプリケーションに関連した有界領域内にユーザが記述することに応じて自動的に選択されるアプリケーション・プログラムをユーザが別の方法で選択する必要なしで達成される。
【００１１】
出力は通常、オーディオ出力装置（例えば、デバイスに結合されるスピーカ）を介して備えられるオーディオ出力である。機能は、テキスト列及び/又は有界領域と永続的に関連付けられ、それによって、テキスト列の後の駆動（例えば、軽く触れること）によって（例えば、後の特定時点で）機能の後のアクセスが可能になる。
【００１２】
概して、本書面は、認識されるテキストと有界領域とによってペン・デバイスのユーザ・インタフェースを実施する方法及びシステムを開示する。方法は、テキスト列を認識する工程と、認識すると、テキスト列に関する機能又はアプリケーションをアクセスする工程とを含む。出力が機能によって備えられ、機能がテキスト列と関連付けられる。あるいは、テキスト列の選択は、テキスト列の認識結果を現在アクティブなアプリケーションに自動的に施す。方法は、有界領域内の駆動を認識する工程と、駆動によって有界領域に関する機能を自動的にアクセスする工程とを含む。有界領域内でテキスト列が認識されることによって、テキスト列及び有界領域によって出力が生成される。
【発明を実施するための最良の形態】
【００１３】
本発明のこうした目的及び効果や他の目的及び効果は、種々の添付図面において示される以下の詳細な説明を検討した後に当業者によって認識されるものである。
【００１４】
本明細書に組み入れられ、本明細書の一部を構成する添付図面は、本発明の実施例を示し、本明細書とともに本発明の原理を説明する役目を担う。
【００１５】
例を添付図面に示す、本発明の好ましい実施例を次に、詳細に参照することとする。本発明は、好ましい実施例に関して説明することとするが、そうしたものは、そうした実施例に本発明を限定することを意図するものでないこととする。逆に、本発明は、本特許請求の範囲記載の、本発明の技術思想内及び範囲内に含まれ得る代替、修正及び均等物を包含することが意図されている。更に、本発明の実施例の以下の詳細な説明では、数多くの特定の詳細を表して、本発明が徹底的に分かるようにしている。しかし、本発明を、こうした特定の詳細なしで実施してもよいということが当業者によって認識されるものである。一方、周知の方法、手順、構成部分及び回路は、本発明の実施例の局面を不必要にわかりにくくすることがないように、詳細には説明していない。
【００１６】
以下の、詳細な説明の一部分は、コンピュータ・メモリ内のデータ・ビットに対する演算の手順、工程、論理ブロック、処理や他の記号表現によって表す。こうした記述や表現は、成果の本質を最も効果的にデータ処理技術分野の当業者が他の当業者に伝えるのに用いる手段である。手順、コンピュータ実行工程、論理ブロック、処理等は、本明細書及び特許請求の範囲でも一般的にも、所望の結果につながる、自己整合性を有する一連の工程や命令であるものと考えられている。工程は、物理的数量の物理的操作を必要とするものである。必然的にではないが通常は、こうした数量は、コンピュータ・システムでの記憶、転送、合成、比較や他の方法による操作が可能な電気信号又は磁気信号の形式を呈する。こうした信号をビット、値、要素、記号、文字、項、数等として表すことが場合によっては主に、慣用の理由で好都合であることが明らかになった。
【００１７】
しかし、こうした語や同様な語は、適切な物理的数量と関連付けられることとし、こうした数量に付される好都合なラベルに過ぎないということを念頭におくこととする。以下の記載から明らかであるように、別途明記しない限り、本発明を通して、「処理」、「計算」、「構成」、「生成」等などの語を利用した記載は、レジスタ内及びメモリ内の物理的（電子的）数量として表すデータを操作し、物理的数量として同様に表す他のデータに変換する、マイクロコントローラ、コンピュータ・システムや同様な電子計算機装置の動作及び処理を表すということが分かる。
【実施例】
【００１８】
図1は、本発明の実施例を実施することができるペン・デバイス100の構成図である。一般的に、ペン・デバイス100は、光デバイス、特に、光学式読み取り装置、光学式ペン又はディジタル・ペンとして表し得る。デバイスは、上に常駐するコンピュータ・システム及びオペレーティング・システムを含み得る。アプリケーション・プログラムも上に常駐し得る。
【００１９】
図1の実施例では、ペン・デバイス100は、ハウジング62内にプロセッサ32を含む。一実施例では、ハウジング62は、ペンや、他の筆記若しくはマーキングの用具又は器具の形態を有する。プロセッサ32は、以下に記載する、ペン・デバイス100の機能を実施するのに用いる情報及び命令を処理するよう動作可能である。
【００２０】
本実施例では、ペン・デバイス100は、プロセッサ32に結合されるオーディオ出力装置36及び表示装置40を含み得る。他の実施例では、オーディオ出力装置及び/又は表示装置は、ペン・デバイス100とは物理的に分離されている一方、有線接続又は無線接続によってペン・デバイス100と通信する。無線通信の場合、ペン・デバイス100は、送受信器又は送信器（図1に示していない）を含み得る。オーディオ出力装置36は、スピーカ又はオーディオ・ジャック（例えば、イヤフォン用若しくはヘッドフォン用）を含み得る。表示装置40は、液晶表示（LCD）や特定の他の適切なタイプの表示であり得る。
【００２１】
図1の実施例では、ペン・デバイス100は、プロセッサ32に結合され、ペン・デバイス100を駆動させ、制御する入力ボタン38を含み得る。例えば、入力ボタン38によって、ユーザが、情報及びコマンドをペン・デバイス100に入力するか、ペン・デバイス100をオン/オフにすることが可能になる。ペン・デバイス100は、バッテリなどの電源34も含む。
【００２２】
ペン・デバイス100は、プロセッサ32に結合される、光源又は光エミッタ44及び、光センサ又は光検出器42も含む。光エミッタ44は、例えば発光ダイオード(LED)であってよく、光検出器42は、例えば、電荷結合素子(CCD)や相補型金属酸化物半導体(CMOS)のイメ―ジャ・アレイであってよい。光エミッタ44は表面70又はその一部分を照射する。表面70を反射する光は、光検出器42によって受光され、記録される。
【００２３】
表面70は、紙であり得るが、本発明はそのように限定されるものでない。例えば、表面70は、LCD（液晶表示）、CRT（陰極線管）、タッチ画面、電子インクを備える表面、再構成可能な紙や他のタイプの電子的にアクティブな表面（例えば、ラップトップ型PCやタブレット型PCの表示）を備え得る。
【００２４】
一実施例では、マーキングのパターンが、表面70上に印刷される。光エミッタ44及び光検出器42を収容するペン・デバイス100の端部は、表面70に押し当てられるか表面70の近くに配置される。ペン・デバイス100が表面70に対して移動するにつれ、マーキングのパターンが光エミッタ44及び光検出器42によって読み取られ、記録される。以下に更に詳細に記載するように、一実施例では、表面70上のマーキングを用いて、表面に対するペン・デバイス100の位置を判定する（図3及び4）。別の実施例では、表面70上のマーキングを用いて情報をコード化する（図5及び6）。表面70の捕捉画像は、ペン・デバイス100によって解析（処理）して、マーキングを復号化し、コード化情報を復元することができる。
【００２５】
情報のコード化のための表面マーキングと、電子デバイスによるそうしたマーキングの読み取り/記録とに関する更なる記載は、アノト社に譲渡され、内容全体を本明細書及び特許請求の範囲に援用する、米国特許第6,502,756号明細書、西暦2002年6月26日付出願の米国特許出願公開10/179,966号明細書、国際公開第01/95559号パンフレット、国際公開第01/71473号パンフレット、国際公開第01/75723号パンフレット、国際公開第01/26032号パンフレット、国際公開第01/75780号パンフレット、国際公開第01/01670号パンフレット、国際公開第01/75773号パンフレット、国際公開第01/71475号パンフレット、国際公開第01/73983号パンフレット及び国際公開第01/16691号パンフレットに見出し得る。
【００２６】
図1のペン・デバイス100は、プロセッサ32に結合されるメモリ装置48も含む。一実施例では、メモリ装置48は、メモリ・カートリッジ又はメモリ・カードとして実施される取り外し可能なメモリ装置である。別の実施例では、メモリ装置48は、プロセッサ32用情報及び命令を記憶するランダム・アクセス（揮発性）メモリ（ＲＡＭ）並びに読み取り専用（非揮発性）メモリ（ＲＯＭ）を含む。
【００２７】
図1の実施例では、ペン・デバイス100は、光検出器42及び光エミッタ44と同じ、ペン・デバイス100の端部に配置される筆記具エレメント52を含む。筆記具エレメント52は、例えば、ペン、鉛筆、マーカ等であり得るものであり、格納式であってもなくてもよい。特定のアプリケーションでは、筆記具エレメント52は必要でない。他のアプリケーションでは、ユーザは、筆記具エレメント52を用いて、レター、語、数字、数学記号等などの文字を含む、表面70上のマーク（例えば、グラフィカル・エレメント）を作成することができる。こうしたマークを、走査（イメージング）し、表面70上の位置によって、ペン・デバイス100によって解釈することができる。ユーザ作成マークの位置は、表面70上に印刷されるマーク・パターンを用いて判定することができる。以下の図3及び4の記載参照。一実施例では、ユーザ作成マーキングは、手書き文字を認識する光学式文字認識(OCR)手法を用いてペン・デバイス100によって解釈することができる。
【００２８】
前述のように、表面70は、例えば紙などの、上に記述するのに適切な何れかの表面であり得るが、紙以外の材料から成る表面も用い得る。更に、表面70は平坦であってもなくてもよい。例えば、表面70は、球体の表面として実施し得る。更に、表面70は通常の（例えば、216mm×279.5mm（レターサイズ）の）紙ページに対して大きくても小さくてもよい。
【００２９】
図2は、本発明の実施例を実施することができる別のデバイス200の構成図である。デバイス200は、本明細書に前述した、プロセッサ32、電源34、オーディオ出力装置36、入力ボタン38、メモリ装置48、光検出器42、光エミッタ44及び筆記具エレメント52を含む。しかし、図2の実施例では、光検出器42、光エミッタ44及び筆記具エレメント52は、ハウジング62内に光デバイス201として実施され、プロセッサ３２、電源34、オーディオ出力装置36、入力ボタン38及びメモリ装置48は、ハウジング74内にプラットフォーム202として実施される。本実施例では、光デバイス201は、ケーブル102によってプラットフォーム202に結合される。しかし、無線接続をかわりに用いることができる。図2によって示すエレメントは、上記のもの以外の組み合わせで光デバイス201とプラットフォーム202との間に分布させ得る。
【００３０】
図3は、本発明の一実施例による、マークのパターンを備えた紙15を示す。図3の実施例では、紙15は、マーク18のパターンから成る光学的に読み取り可能な位置コード17の形式のコード化パターンを備える。図3のマーク18は、分かりやすくするために大いに拡大されている。実際には、マーク18は、人間の視覚系によって容易に区別可能でないことがあり得るものであり、紙15上ではグレイスケールとして見えることがあり得る。一実施例では、マーク18は点として実施される。しかし、本発明はそのように限定されるものでない。
【００３１】
図4は、図3の位置コード17の拡大部分19を示す。デバイス100やデバイス200（図1及び2）などの光デバイスは、位置コード17の領域の画像を記録するよう配置される。一実施例では、光デバイスは、ラスタ点22で交差するラスタ・ライン21を備えるラスタの形式の基準系にマーク18を合わせる。マーク18の各々は、ラスタ点22と関連付けられる。例えば、マーク23は、ラスタ点24と関連付けられる。画像/ラスタ内のマークについて、マークに関連付けられるラスタ点からのマークの変位が判定される。こうした変位を用いて、画像/ラスタ内のパターンが、基準系におけるパターンと比較される。基準系におけるパターン各々は、表面70上の特定の位置と関連付けられる。よって、画像/ラスタ内のパターンを基準系におけるパターンと照合することによって、表面70上のパターンの位置と、よって、表面70に対する光デバイスの位置とを判定することができる。
【００３２】
情報のコード化のための表面マーキングと、電子デバイスによるそうしたマーキングの読み取り/記録に関する更なる記載は、アノト社に譲渡され、内容全体を本明細書及び特許請求の範囲に援用する、米国特許第6,502,756号明細書、西暦2002年6月26日付出願の米国特許出願公開10/179,966号明細書、国際公開第01/95559号パンフレット、国際公開第01/71473号パンフレット、国際公開第01/75723号パンフレット、国際公開第01/26032号パンフレット、国際公開第01/75780号パンフレット、国際公開第01/01670号パンフレット、国際公開第01/75773号パンフレット、国際公開第01/71475号パンフレット、国際公開第01/73983号パンフレット及び国際公開第01/16691号パンフレットに見出し得る。
【００３３】
図1をもう一度参照すれば、表面70上の4つの位置又は領域をレターA、B、C及びDによって示す（こうした文字は、表面70上に印刷されないが、表面70上の位置を示すのに本明細書では用いている。）。表面70上にはそうした領域が多く存在し得る。表面70上の各領域と関連付けられるのは、一意のマーク・パターンである。表面70上の領域は重なり得るが、それは、重なる領域間で一部のマークが共有されても、領域内の、マークのパターンは、その領域になお一意であるからである。
【００３４】
図1の例では、ペン・デバイス100を用いて（特に、筆記具エレメント52を用いて）、ユーザは、例えば、表面70上の位置Aにある、丸を付けたレター「M」から成る文字を作成し得る（一般的に、ユーザは、表面70上の何れかの位置に文字を作成し得る。）。ユーザは、そうした文字をペン・デバイス100からのプロンプト（例えば、可聴プロンプト）に応じて作成し得る。ユーザが文字を作成すると、ペン・デバイス100は、文字が作成される位置に一意に存在するマーキング・パターンを記録する。ペン・デバイス100は、このマーキング・パターンを、直近に作成された文字と関連付ける。丸を付した「M」の上にペン・デバイス100が後に配置されると、ペン・デバイス100は、それと関連付けられるマーク・パターンを認識し、丸を付した「M」と関連付けられるものとして位置を認識する。事実上、ペン・デバイス100は、文字自体を認識することによるのではなく、文字が配置される位置にあるマーキング・パターンを用いて文字を認識する。
【００３５】
一実施例では、上記文字は、ペン・デバイス100の1つ又は複数のコマンドに関連した
「グラフィック・エレメント」を備える。コマンドを備える、ペン・デバイス100によって実施される機能と関連付けられ、そうした機能をアクセスするのに用いるそうしたグラフィック・エレメントは、ペン・デバイス100の機能又はアプリケーションをアクセスすることに関連しない他の記述された文字、マーク等と区別するために、以降、「グラフィック・エレメント・アイコン」として表す。直近で説明した例では、ユーザは、特定のコマンドを識別するグラフィック・エレメント・アイコンを作成（記述）することができ、グラフィック・エレメント・アイコン（例えば、記述された文字）の上にペン・デバイス100を単に配置させることによって繰り返しそのコマンドを引き起こすことができる。一実施例では、筆記器具が、グラフィカル文字の上に配置される。すなわち、ユーザは、コマンドをペン・デバイス100によって引き起こすこととする都度、コマンドに対する文字を記述しなくてよい。その代わりに、ユーザは、コマンドに対するグラフィック・エレメント・アイコンを一度、記述し、記述された同じグラフィック・エレメント・アイコンを用いて繰り返しコマンドを引き起こすことができる。この属性は、「永続性」として表し、以下に更に詳細に説明する。このことは、ユーザによって記述されないが、表面上に予め印刷され、しかし、ペン・デバイス100によって選択可能であるグラフィカル・エレメント・アイコンに関してもあてはまる。
【００３６】
一実施例では、グラフィック・エレメント・アイコンは、線がレター又は数字に外接して描かれたレター又は数字を含み得る。レター又は数字に外接して描かれた線は、円形、楕円形、正方形、多角形等であり得る。そうしたグラフィック・エレメントは、通常のレターや数字の代わりに、ユーザによって選択することができる、「ボタン」に似たものに見える。こうした類のグラフィック・エレメント・アイコンを作成することによって、ユーザは、機能的アイコンなどのグラフィック・エレメント・アイコンを、ペン・デバイス100によってデータとして扱われ得る通常のレターや数字から視覚的に区別することができる。更に、こうした類のグラフィック・エレメント・アイコンを作成することによって、ペン・デバイスは、機能的タイプ又はメニュー・アイテム・タイプのグラフィック・エレメントを、非機能的タイプ又は非メニュー・アイテム・タイプのグラフィック・エレメントからより好適に区別することもでき得る。例えば、ユーザは、周りに円を有して、インタアクティブな「メニュー」・グラフィック・エレメント・アイコンをもたらすレター「M」であるグラフィック・エレメント・アイコンを作成し得る。
【００３７】
ペン・デバイス100は、語におけるレター「M」と区別されたものとして、中にレター「M」を備える、重なる円形又は正方形を、機能的なグラフィック・エレメントとして認識するようプログラムし得る。グラフィック・エレメント・アイコンは、特定距離（例えば、2,5cm、3.75cm等）内にそれに隣接する小さい「チェックマーク」記号も含み得る。チェックマークは、グラフィック・エレメント・アイコンと関連付けられることになる。そうした機能的なグラフィック・エレメントを認識し、それを他の、非機能的なグラフィック・エレメントと区別するコンピュータ・コードは、ペン・デバイス内のメモリ装置に存在し得る。プロセッサは、ペン・デバイス100が、関連した種々の機能、動作等を行うことができるように、グラフィック・エレメント・アイコンを認識し、そうしたグラフィック・エレメント・アイコンの位置を識別することができる。こうした実施例では、メモリ装置は、ユーザによって生成される何れかのグラフィック・エレメントを、表面上のその位置と相互に関係させるコンピュータ・コードを備え得る。ペン・デバイス100は、（例えば、ユーザが記述し始める際に）表面上の「ダウンタッチ」若しくは「ダウンストローク」又は、表面上に下ろされることを認識し、（例えば、ユーザが記述し終わる際に）表面からの「アップストローク」又は、表面から引き上げられることを認識する。そうしたダウンストローク及びアップストロークは、ペン・デバイス100によって、例えば、特定の機能が引き起こされる時点と、引き起こされる特定の機能/アプリケーション（例えば、ＯＣＲ処理を引き起こすこと）とのインディケータとして解釈することができる。特に、アップストロークがすばやく続くダウンストローク（例えば、表面上にペン・デバイスが軽く触れること）は、アプリケーション（例えば、グラフィック・エレメント・アイコン、テキスト列等の選択）によって特定の動作と関連付けることができる。
【００３８】
なお、「グラフィック・エレメント」という汎用語は、ユーザによって作成される何れかの適切なマーキングを含み得るものであり、デバイスの1つ又は複数の機能をアクセスするのに用いる、機能的グラフィック・エレメントを表すグラフィック・エレメント・アイコンと区別できる。
【００３９】
上記の通り、グラフィック・エレメント・アイコンは、ペン・デバイス100によって作成される（例えば、ユーザによって描かれる）ことがあり得るものであり、予め存在するもの（例えば、紙上に印刷されたエレメント）でもあり得る。グラフィック・エレメントの例は、記号や、レター及び/又は数字などのしるし、文字、語、形状、線等を含むが、こうしたものに限定されるものでない。上記エレメントは、形状が正則でも非正則でもあり得る。ユーザ記述/ユーザ作成のグラフィック・エレメントは、通常、ペン・デバイス100を用いて作成される。更に、グラフィック・エレメント・アイコンは、常にではないが通常は、文字（例えば、レター「Ｍ」）の周りに外接する線（例えば、円）を組み入れて、そうしたグラフィック・エレメント・アイコンの、ユーザとペン・デバイス100とに対する区別性を高める。例えば、一実施例では、文字の周りの円を終えた後のアップストロークによって、グラフィカル・エレメント・アイコンをユーザが直近で作成したということをペン・デバイス100に特に示し得る。
【００４０】
図5は、本発明の一実施例による、コンピュータによって実施される処理550の工程の流れ図を示す。処理550は、本発明の一実施例による、デバイス（例えば、ペン・デバイス100）によって実施されるユーザ・インタフェース処理の基本動作工程を、グラフィック・エレメント、筆跡、マーク等の形式でのユーザ入力をそれが解釈し、要求される機能をユーザに備えるにつれ、表す。
【００４１】
処理550は工程551から始まり、工程551では、ペン・デバイス100のコンピュータ実施機能が、（例えば、ユーザによって作成される、）作成グラフィック・エレメント・アイコンを認識する。あるいは、グラフィック・エレメントは、表面上に予め印刷され得るものであり、その位置はペン・デバイス100が分かっているものであり得る。工程551では、ユーザが、初めてグラフィック・エレメントを記述する場合、ペン・デバイス100は、光センサ及びプロセッサを用いて記述に対してＯＣＲ（光学式文字認識）を行って、ユーザ記述グラフィカル・エレメントを識別する。一実施例では、表面上のその一意の位置も更に記録される。工程552では、グラフィカル・エレメント・アイコンに関する機能は、認識されると、アクセスされる。この機能は、例えば、ユーザが後に起動する所定の機能リスト（例えば、メニュー選択又はサブメニュー・オプション）を発音（例えば、可聴的にレンダリング）し得るメニュー機能であり得る。工程553では、機能によるオーディオ出力が備えられる。このオーディオ出力は、例えば、選択リスト内でユーザがいる特定の選択の発音であり得る。工程554では、機能は、グラフィカル・エレメント・アイコンと永続的に関連付けられ、それによって、グラフィカル・エレメント・アイコンの後の駆動（例えば、ペン・デバイス100によって軽く触れること）による、（例えば、後の特定時点での、）機能の、後のアクセスが可能になる。例えば、メニュー機能の場合、リスト化されたメニュー選択を、メニュー・グラフィック・エレメント・アイコンを単に、駆動させる（例えば、それに軽く触れる）ことによって後の特定の時点でユーザが後にアクセスすることができる。
【００４２】
なお、ペン・デバイス100の出力は、オーディオ出力に加えてか、オーディオ出力のかわりに、視覚出力（例えば、ディスプレイを介したもの、指示灯等）であり得る。視覚出力及び/又はオーディオ出力は、ペン・デバイス100から直接来るものでもよく、通信するようペン・デバイス100に結合される別の装置（例えば、パソコン、スピーカ、LCDディスプレイ等）からのものでもよい。
【００４３】
なお、複数の別々のグラフィカル・エレメントが、表面上に、かつ、いつでも存在し得るものであり、それらの選択が、ペン・デバイス100によって実行する対象の種々の機能を、例えば、引き起こしたアプリケーション、引き起こしたサブメニュー・オプション等に備え得る。
【００４４】
このようにして、本発明の実施例は、コンピュータ・システム、特に、例えばペン・デバイス100を備えるペン・ベースのコンピュータ・システムの機能をたどるユーザ・インタフェース手段を実施する。グラフィカル・エレメント・アイコンによって実施されるユーザ・インタフェースは、ペン・デバイス100内で実行するいくつかのソフトウェア・アプリケーションと相互作用する方法を備える。前述のように、ペン・デバイス100からの出力は、オーディオ出力を含み得るものであり、よって、ユーザ・インタフェース手段によって、ペン・デバイス100のアプリケーション及び機能と「対話」をユーザが行うことが可能になる。すなわち、ユーザ・インタフェースによって、ユーザ及びペン・デバイス100がお互いに相互作用することを可能にする、グラフィック・エレメント・アイコンなどの相互に認識されるアイテムをユーザが作成することが可能になる。前述のように、相互に認識されるアイテムは、表面上、通常、紙上でユーザが描く記号若しくはマーク又はアイコンである。
【００４５】
別々のグラフィック・エレメント・アイコンは、別々の意味と、別々の、ユーザとの相互作用の方法とを有する。一般的には、特定のグラフィック・エレメント・アイコンについて、相互作用の方法によって、ペン・デバイスの、別々のコンピュータ実施機能が呼び出されることになる。例証的な目的で、上記メニュー例の場合、メニュー機能によって、グラフィック・エレメントに関する機能リストをユーザが繰り返す（例えば、メニュー上で軽く触れる回数、グラフィック・エレメント・アイコンが機能リストを繰り返す）ことが可能になる。ペン・デバイスからのオーディオは、軽く触れるにつれて機能又はモードを発音することができる。発音された機能/モードのうちの１つを更にユーザによって、（例えば、グラフィック・エレメント・アイコンに関連した、先行して描かれたチェックマーク・グラフィック・エレメントを描くか選択する）更なる特定の相互作用を介して選択することができる。選択されると、選択された特定の機能の機能性、オプション、及び更なるサブメニューを更にユーザによってアクセスすることができる。あるいは、可聴的にレンダリングされるサブオプションのうちの1つ自体がメニュー・グラフィカル・アイコンである場合、表面上のその表現をユーザが描き、それを選択することによって選択することができる。
【００４６】
図6は、本発明の一実施例による処理650の、コンピュータによって実施される工程の流れ図を示す。処理650は、本発明の一実施例による、インタアクティブなデバイス（例えば、ペン・デバイス100）の、ネストされたいくつかの階層機能をアクセスする（例えば、たどる）ユーザ・インタフェース処理の基本動作工程を表す。処理650は、図8A、8B及び8Cを参照しながら説明する。
【００４７】
処理650は工程651から始まり、工程651では、ペン・デバイス100の、コンピュータによって実施される機能は、メニュー・アイコン「M」として図8Aに示す作成グラフィック・エレメント・アイコンを認識する。工程551と同様に、グラフィック・エレメント・アイコンは、表面上に、ユーザが記述してもよく、予め印刷してもよい。1つのケースでは、グラフィック・エレメント・アイコンは、それに関連付けられ、それ自体が更なる選択を備え得る更なるグラフィック・エレメント・アイコン（例えば、階層配置）の選択のリストを備え得る。工程652では、かつ、図8Aに示すように、認識されると、グラフィック・エレメント・アイコンに関する第１の階層的な機能メニューがアクセスされる。この例では、認識されると、工程651のメニュー・アイコン「M」によって、図8Aに示すように、サブオプションのリスト（例えば、システム「S」、ゲーム「G」、参考書「R」及びツール「T」）が1度に1つのオプションについて（例えば、可聴プロンプトを介して）可聴的にレンダリングされる。オプションは、ペン・デバイス（例えば、ペン・デバイス100）による工程651のメニュー・アイコンの連続した選択に応じてレンダリングされる。
【００４８】
工程653では、かつ、図8Bに示すように、発音される機能のうちの１つ、この例では参考書グラフィック・エレメント・アイコン「R」が、メニュー・グラフィック・エレメント・アイコンの適切な数の駆動（例えば、軽く触れる動作）によって選択され、駆動は、チェックマーク・アイコン870に関連する。工程654では、機能の起動によって、第２の階層的な機能メニューについて第２のグラフィック・エレメント・アイコンの作成をプロンプトし得る。第２のグラフィック・エレメント・アイコン、この例では参考書アイコン「R」は更に、ユーザによって表面上に描かれ得る。図8Cに示すように、その選択によって、上記のように（例えば、可聴プロンプトを介して）第２のサブメニュー・アイテム・リスト（例えば、類語辞典「TH」、辞書「D」及びヘルプ「H」）が可聴的にレンダリングされる。その後、工程655で、第２のグラフィック・エレメント・アイコンの発音された機能のうちの１つを、適切な数の駆動によって起動させて、第２の階層レベル機能のうちの１つを選択する。
【００４９】
このようにして、１つのメニューによって、それら自体が更なるサブメニューを有するいくつかのサブメニューを呼び出すことができる。よって、別々のレベルのグラフィック・エレメント・アイコンを階層的に配置することができる。一般的に、機能メニューを呈示する最上位レベルのグラフィック・エレメント・アイコンは、グループ・グラフィック・エレメント・アイコンとして表す。アプリケーション・グラフィック・エレメント・アイコンは、特定のアプリケーションについて構成オプション又はアプリケーション設定のメニューを一般的に呈示する第２レベルのグラフィック・エレメント・アイコンである。例えば、アプリケーション・グラフィック・エレメント・アイコンは、グループ・グラフィック・エレメント・アイコンの特別ケースと見なし得る。一般的に、アプリケーション・グラフィック・エレメント・アイコンは、それに関連した専門アプリケーション関連のデフォールト特性を有する。
【００５０】
このようにして、ユーザは、メニュー・アイテム・リストからメニュー・アイテムを更に選択し得る。メニュー・アイテムは、ディレクトリ名、サブディクトリ名、アプリケーション名又は特定データ群名を含み得る。ディレクトリ名又はサブディレクトリ名の例は、「ツール」（例えば、多くの別々の状況下で適用可能な、有用なインタアクティブ機能）と、「参考書」（例えば、辞書などの参考マテリアル）と、（例えば、種々のゲーム用の）「ゲーム」等とに限定されないがこれらを含む。特定のアプリケーション名（又はサブディレクトリ名）の例は、「電卓」、「スペルチェック」及び「翻訳」を含む。特定のデータ群例は、外国語の語とその定義との群、電話帳、カレンダー、予定表等を含み得る。更なるメニュー・アイテム例を、以下図7に示す。
【００５１】
特定のオーディオ命令を種々のメニュー・アイテムに備え得る。例えば、ユーザが「電卓」というメニュー・アイテムを選択した後、ペン・デバイスは、紙上に数字0乃至9と、演算子「±」、「−」、「×」、「/」及び「=」とを描き、更に数字を選択して数値計算を行うようユーザに命令し得る。別の例では、ユーザが「翻訳」というメニュー・アイテムを選択した後、ペン・デバイスは、第２の言語名を記述し、それに丸を付けることをユーザに命令し得る。ユーザがこれを行った後、ペン・デバイスは更に、英語で語を筆記し、更に、丸を付けた第２の言語を選択して、筆記された語の第２の言語への翻訳を聴くようユーザに命令し得る。そうした後、ペン・デバイス内のオーディオ出力装置は、第２の言語でその語を復唱し得る。
【００５２】
図7は、各オプションのグラフィカル・エレメント・アイコン表現を含む、本発明の実施例によるメニュー・アイテム・ツリー・ディレクトリを示す。メニュー・アイテム・ツリー・ディレクトリは、メニュー・グラフィック・エレメント・アイコンから始めて、オーディオ・メニューを実施することができる。図7の最上部から始めれば、第１のオーディオ・サブディレクトリは、ツールＴのサブディレクトリとなる。ツールＴのサブディレクトリの下には、翻訳TRのサブディレクトリ、電卓Ｃのサブディレクトリ、スペルチェックＳＣのサブディレクトリ、秘書ＰＡのサブディレクトリ、目覚まし時計ＡＬのサブディレクトリ、及び家庭教師TUの機能があり得る。翻訳ＴＲのサブディレクトリの下には、スペイン語ＳＰの翻訳機能、フランス語ＦＲの翻訳機能、及びドイツ語ＧＥの翻訳機能があることになる。秘書ＰＡのサブディレクトリの下には、カレンダーＣ、電話帳PL及び予定表ＴＤの機能又はサブディレクトリがあることになる。参考書Rのサブディクトリの下には、類語辞典THの機能と、辞書Dのサブディレクトリと、ヘルプHの機能があり得る。辞書Dのサブディレクトリの下には、英語Eの機能、スペイン語SFの機能、及びフランス語FRの機能があり得る。ゲームGのサブディレクトリの下には、ワードスクラブルWS、青色ポテトFPや手書きメモDOなどのゲームがあり得る。他のゲームも本発明の別の実施例にあり得る。システムＳのサブディレクトリの下には、セキュリティＳＥの機能と、個人化Ｐの機能があり得る。
【００５３】
上記ディレクトリ、サブディレクトリ及び機能の一部に関する詳細は、以下に備える。メニュー・アイテム・ツリー・ディレクトリによって示されるように、ユーザは、種々のメニュー・アイテムの復唱を聴き、更に、所望のメニュー・アイテムを選択することによって何れかの所望のパスを先に進むか、たどり得る。所望のメニュー・アイテムの後の選択は、何れかの適切な方法で行い得る。例えば、一部の実施例では、ユーザは、作成グラフィック・エレメント上の「ダウンタッチ」（例えば、ダウンストローク）によってオーディオ・メニューをペン・デバイスにスクロールさせることができる。「ダウンタッチ」は、ペン・デバイス内のエレクトロニクスによって、何れかの適切な機構による「駆動」として認識し得る。例えば、ペン・デバイスを、選択グラフィック・エレメントに向けてそれを下方に移動させることに関連した画像の変化を認識するようプログラムし得る。
【００５４】
別の例では、圧力感応型スイッチを、ペン・デバイスの端部によって、紙に圧力が印加されると圧力スイッチが起動するようにペン・デバイスに備え得る。これによって、オーディオ・メニューをスクロールする旨をペン・デバイスに通知する。例えば、ペン・デバイスによって、丸を付したレター「Ｍ」を選択した後、（又は、丸を付したレター「Ｍ」を選択して、それによってペン・デバイス内の圧力スイッチを起動させた後、）ペン・デバイス内のオーディオ出力装置は、「ツール」のみを復唱し得る。ユーザは、丸を付したレター「M」の2度目の選択を行って、「参考書」というメニュー・アイテムをオーディオ出力装置に復唱させ得る。このことを、所望の回数、繰り返してオーディオ・メニューをスクロールし得る。特定のメニュー・アイテムを選択するために、ユーザは、紙上に特徴的なマークを作成し得るものであり、走査装置によって特定のジェスチャを備え得るものでもある。例えば、ユーザは、「ツール」という語を聴いた後に、丸を付したレター「M」の隣に「チェックマーク」（や他のグラフィック・エレメント）を描いてサブディレクトリ「ツール」を選択し得る。こうしたものなどの方法を用いて、ユ―ザは、メニュー・アイテム・ツリー内を、意図されたディレクトリ、サブディレクトリ又は機能に向けてたどり得る。別のグラフィック・エレメント又は別のジェスチャの作成を用いて、ペン・デバイスを上方にスクロールさせ得る。あるいは、ボタンや他のアクチュエータをペン・デバイス内に備えて、メニューをスクロールし得る。「ツール」は、選択されると、前述の通りにではあるが、そのサブディレクトリ・メニューに関して動作することになる。
【００５５】
他の実施例では、メニュー・グラフィック・エレメント・アイコン（例えば、丸を付したレター「Ｍ」）を作成した後、ユーザは、メニュー・グラフィック・エレメント・アイコンを選択し得る。走査装置内のソフトウェアは、丸を付したレターをメニュー記号として認識し、ユーザによるダウンタッチなしで、「ツール」と、「参考書」と、「ゲーム」と、「システム」とのメニュー・アイテムを順次にかつ、間を空けた時間間隔で走査装置に復唱させる。オーディオ命令は、ユーザに備え得る。例えば、ペン・デバイスは、「「ツール」ディレクトリを選択するために、レター「Ｔ」を記述し、それに丸を付ける」と言うことがあり得る。メニュー・アイテムを選択するために、ユーザは、レター「Ｔ」を作成し、それに丸を付け得る。このことは、サブディレクトリ「ツール」をユーザが選択したということをペン・デバイスに示す。更に、ペン・デバイスは、ユーザに、「ツール」ディレクトリの下にあるメニュー・アイテムを復唱することができる。よって、メニュー・アイテム・ツリーにおける特定のディレクトリ、サブディレクトリ又は機能に、そのディレクトリ、サブディレクトリ又は機能を表すグラフィック・エレメントをシート上に作成し、それと相互作用することによって直接進むことが可能である。あるいは、メニュー・アイテムが表面上に既に存在する場合、ユーザはそれといつでも相互作用してその機能を選択することができる。
【００５６】
なお、図7に表すグラフィック・エレメント・アイコンの、ディクトリ内、サブディレクトリ内、オプション・メニュー等内のアイテムの順序は、ユーザによって変えることができる。例えば、ユーザは、特定のアプリケーションをアクセスし、そのアプリケーションを用いて、1つ又は複数のディレクトリ、サブディレクトリ等のアイテムが可聴的にレンダリングされる順序を変えることができる。同様に、ユーザは、特定のディレクトリ/サブディレクトリ等内の1つ又は複数のアイテムに関連した特定のオーディオ出力を変えることができる、例えば、ユーザは、アイテムの可聴的にレンダリングされる出力によって、アイテムについて自分の声を録音し、予め録音された楽曲（例えば、MP3等）を用いること等を行うことができる。更に、1つ又は複数のディレクトリ、サブディレクトリ等に対して更なるアイテムを、例えば、ペン・デバイスに備えられるソフトウェア及び/又はファームウェアの更新（例えば、新たなソフトウェアをベースとした機能のアップロード）によって追加することができる。
【００５７】
なお、グラフィック・エレメント・アイコンの複数のインスタンス（例えば、複数のメニュー・アイコン）の個々の状態は、特定のインスタンス各々と永続的に関連付けることができる。例えば、2つ以上のグラフィック・エレメント・アイコンが、（例えば、ユーザによって作成されるか、予め印刷される等の、）共通の表面上に存在する場合、それらの状態又は、オプションのディレクトリ内の特定の位置をアイコン毎に保持すなわち記憶し得る。例えば、第１のメニュー・アイコンが現在、オプション3（例えば、「ゲーム」）上にあり、第２のメニュー・アイコンが現在、オプション1（例えば、「ツール」）上にある場合、ユーザは、分岐し、他のアプリケーション（例えば、電卓、辞書等）を用いた他のタスクを行い、第1のメニュー・アイコン又は第２のメニュー・アイコンに、後の特定時点で戻ることができ、それらは、自らの最新状態（例えば、第１のメニュー・アイコンの場合は「ゲーム」であり、第２のメニュー・アイコンの場合は「ツール」である。）を正しく保持することになる。
【００５８】
同様に、グラフィカル・エレメント・アイコンの複数のインスタンス（例えば、複数のメニュー・アイコン）の個々の状態を複数のインスタンス間で連携させ、特定のインスタンス各々と永続的に関連付けることができる。（例えば、ユーザによって作成されたか、予め印刷された等の、）共通の表面上に2つ以上のグラフィック・エレメント・アイコンが存在する、連携された状態の場合、それらの状態をアイコン毎に記憶することができるが、各インスタンスにオプションが及ぶようにそうした状態を連携させることができる。例えば、第１のメニュー・アイコンが、オプション2（例えば、「システム」）上に現在ある場合、第２のメニュー・アイコンは、オプション3（例えば、「ツール」）上になるようにその状態を連携させることになる。ユーザは、他の介入タスクを行い、後の特定時点で、第１のメニュー・アイコン又は第２のメニュー・アイコンに戻ることができ、それらは、連携された状態（例えば、第１のメニュー・アイコンの場合は「システム」であり、第２のメニュー・アイコンの場合は「ツール」である。）を正しく保持することになる。
【００５９】
図9は、本発明の一実施例による、上にいくつかのグラフィック・エレメント・アイコンを記述させた表面910（例えば、紙）を示す。図9は、グループ・グラフィック・エレメント・アイコン（例えば、メニュー・アイコン「M」と、ゲーム・アイコン「G」）及びアプリケーション・アイコン（例えば、電卓アイコン「C」）との例を示す。グラフィック・エレメント・アイコンは、ユーザが紙910上に記述してもよく、予め印刷してもよい。上記のように、グループ・グラフィック・エレメント・アイコンは一般的に、リスト・オプションを可聴的にレンダリングする。例えば、位置901にペン・デバイス100によって繰り返し軽く触れることによって、図7記載の、メニュー・ディレクトリのオプション（例えば、システム、ゲーム、参考書及びツール）を進む。例えば、メニュー・アイコンに2回軽く触れることによって、ペン・デバイス100に「システム」を可聴的にレンダリングさせ、更に、ゲーム・サブディレクトリの選択を示す、「ゲーム」の可聴的なレンダリングを行わせることになる。ゲーム・サブディレクトリを更に、位置902（例えば、チェックマーク）に触れることによって起動させることができ、起動は、オーディオ音によってユーザに向けて確認することができる。
【００６０】
後に、ペン・デバイス100は、図9に示すゲーム・グラフィック・エレメント・アイコンを、作成する（例えば、描く）ことをユーザに可聴的にプロンプトする。位置903にあるゲーム・アイコンにペン・デバイス100によって繰り返し軽く触れることによって更に、図7記載のように、ゲーム・サブディレクトリのオプション（例えば、ワードスクラブル、青色ポテト及び手書きメモ）にペン・デバイス100に進めさせる。ゲーム・サブディレクトリ・アイテムのうちの選択された１つは更に、位置904（例えば、ゲームに関連したチェックマーク）に軽く触れることによって選択し得るものであり、あるいは、まだその場所にない場合、チェックマークを描くことによっても選択し得る。
【００６１】
なお図9を参照すれば、電卓アイコン「C」を軽く触れることによって、電卓アプリケーションが起動される。このようにして、電卓アイコンは、メニュー・アイテムやサブディレクトリのオプションのリストをレンダリングするものでないが、むしろ、アプリケーション自体、この場合、電卓アプリケーションを直接、起動させる。電卓アプリケーションが呼び出されると、ペン・デバイス100は、（例えば、オーディオ音をレンダリングすることによって）起動を確認し、（例えば、ユーザに、表面上に数字0乃至9と、演算子「±」、「−」、「×」、「/」及び「=」とを描き、更に、数字を選択して数値計算を行うようユーザに命令することによる、）電卓の使用に備えるうえでの一連の動作によってユーザに可聴的にプロンプトする。
【００６２】
重要なことは、上記例では、OCR（光学式文字認識）処理は、ユーザによる初めての記述（例えば、図9に示す「M」）が行われると、一度だけ、マーク、単一の文字（例えば、レター「M」）又はテキスト列（例えば、語）に対して行う必要がある。上記のように、ペン・デバイス100は、表面910上のグラフィック・エレメントの位置が、表面910上にコード化されたデータをペン・デバイス100が読み取ることによって判定することができる機能を含む。これによって、ペン・デバイス100が、特定の文字、特定の記号、特定のテキスト列等の位置を記憶することが可能になる。ペン・デバイス100はよって、（例えば、ユーザがペン・デバイス100で後の特定時点で特定の語の上に触れる際に）表面上の特定の語の同じ位置を認識することによって特定の語の後の選択を識別することができる。ユーザが語を後に選択すると、先行した行われたOCR処理の結果が呼び出され、こうした結果が、例えば、アクティブなアプリケーション（例えば、辞書）によって用いられる。よって、（例えば、語、文字、数字等に対する）OCR処理の結果を記憶することと、後の時点で1つ又は複数のアプリケーションに用いるよう、これらの結果を後に呼び出すことができることによって、本発明の実施例によって実施されるユーザ・インタフェースの応答性及び性能が大いに向上する。リソース集約性を有するＯＣＲ処理は、ペン・デバイス100のコンピュータ・システム・リソースによって一度のみ行えばよい。
【００６３】
図9は、ペン・デバイス100の「プロンプト・信頼」機能を用いて作成される、ユーザによって記述される語906（例えば、テキスト列）も示す。本発明の実施例によれば、一部の語、テキスト列、マーク、記号や他のグラフィック・エレメントは、OCRを用いて処理されなくてよい。例えば、特定の語、グラフィック・エレメント等をユーザによって、ペン・デバイス100からの可聴プロンプトに応じて作成することができ、ペン・デバイスは、特定の語（例えば、「大統領」）を記述し、（例えば、プロンプトからの）関連付けとともに、記述された語の位置を後に記憶する旨をユーザにプロンプトする。作成された語の後の選択は、上記のように位置によって認識される。例えば、ペン・デバイス100は、「大統領」906という語を記述する旨をユーザに命令することができる。プロンプトに応じて、ユーザは、「大統領」という語を記述し、ペン・デバイス100は、語が後に選択されると、プロンプトに応じてユーザが記述したことは実際に「大統領」という語であったと、みなす、すなわち信頼することになる。すなわち、ペン・デバイス100は、プロンプトに「応じたユーザの記述と、ラベル「大統領」とを関連付ける。アプリケーションに応じて、語に下線を引くこと、語の周りに箱、さもなければ、特定の特徴的なマーク/グラフィック・エレメントを配置させることをユーザはプロンプトされ得る。
【００６４】
プロンプトされた語をユーザが記述し終わると、ペン・デバイス100は、例えば、動作がないこと（例えば、ユーザがもう記述していないこと）をデータ入力終結イベントとして認識することによってユーザが終えているということを認識する。このようにして、「タイムアウト」機構を用いて、データ入力の最後を認識することができる。別の終結イベントとして、上記のように、語に下線が引かれているか、語の周りに箱があるケースがあり得る。終結イベントの更なる例は、内容を全て、本明細書及び特許請求の範囲に援用する、「TERMINATION  EVENTS」と題する、Marggraff他による西暦2005年1月12日付出願の、本発明の譲受人に譲渡された米国特許出願公開（代理人ドケット番号LEAP-P0320）に記載されている。
【００６５】
このようにして、本発明の実施例のプロンプト・信頼機能によって、ユーザとペン・デバイス100との間で相互に分かる意味を有するグラフィック・エレメントの作成が可能になる。重要なことは、大統領という語に対してＯＣＲ処理は何ら行われないということである。「プロンプト・信頼」機能を用いて作成されたグラフィック・エレメントは、他のアプリケーション、オプション、メニュー、機能等に関連付けることができ、それによって、（例えば、軽く触れることによって）プロンプト・信頼グラフィック・エレメントを選択することによって、上記のうちの何れかを引き起こすことができる。何れかのＯＣＲ処理の要件をなくすことによって、ペン・デバイス100に対する計算量上の要求が軽減され、よって、ユーザ・インタフェースの応答性が向上する。
【００６６】
図10は、本発明の一実施例による処理570の工程の流れ図を示す。処理570は、本発明の一実施例による、インタアクティブなデバイス（例えば、ペン・デバイス100）の機能及びアプリケーションをアクセスする有界領域ユーザ・インタフェース処理の基本動作工程を表す。
【００６７】
処理570は工程571から始まり、工程571では有界領域が規定される。工程572では、ペン・デバイス100のコンピュータ実施機能が、表面の有界領域内の駆動を認識する。駆動は、有界領域内のペン・デバイスの接触（例えば、ペンの先を下ろすこと）、有界領域内のペン・デバイスの一画又はマーク（例えば、文字又はマークを描くこと）等であり得る。本明細書及び特許請求の範囲中で表す有界領域は、境界によって囲まれた表面領域を表す。有界領域の一例として、紙の表面上に描かれる、ユーザによって作成された箱がある。箱内の紙の領域は、有界領域を備える。工程571では、有界領域を、そのように行う旨の、ペン・デバイスによる可聴的なコマンド又はプロンプトに応じてユーザによって描き得る。すなわち、アプリケーションの選択後、ユーザが分かる第１の動作は、ユーザが箱を描くというものであり得る。箱や他の囲いが描かれた後、ペン・デバイスは更に、箱を、アプリケーション又は機能と関連付ける。
【００６８】
工程573では、駆動が有界領域内で検出されると、有界領域に関する機能又はアプリケーション・プログラムが自動的に引き起こされる。有界領域は通常、ペン・デバイスが有界領域内の駆動を認識すると引き起こす特定の機能（又はアプリケーション）に影響を及ぼす特定の機能と関係付けられる。特定の機能の一例として、電卓有界領域へのユ―ザ入力が、認識処理を向上させるためにレターではなく数字として優先的に認識される電卓機能がある。この例では、電卓を表す有界領域内の何れかのユーザ記述によって、電卓機能が自動的に引き起こされ、それは更に記述に施される。記述は既に作成されているが、ユーザが筆記ツール（例えば、ペン・デバイス100）によってそうしたものを選択するに過ぎない場合に同じことがあてはまる。
【００６９】
工程574では、有界領域に特有な機能によって出力が備えられる。例えば、上記の電卓の例を続ければ、出力は、ユーザが入力する数値演算の結果を表すオーディオ出力となる。その後、工程575では、永続性が達成されるように特定の機能が有界領域と関連付けられる。上記のように、この永続性属性によって、ユーザが、他の介入タスクを行い、他の介入動作を行い、後の特定時点で有界領域に戻り、それが意図されたようにそれを機能させる（例えば、有界領域はなお、電卓としてふるまう。）ことが可能になる。有界領域の電卓の例は、図11の説明において更に説明する。
【００７０】
図11は、本発明の一実施例による電卓有界領域アプリケーションを示す。図11は、空白の紙からユーザが紙電卓を作成することができる方法を示す。この例では、上記「電卓」アプリケーションをユーザが選択した後、ペン・デバイスは、方形有界領域211を描くことをユーザにプロンプトし、この有界領域内に数字0乃至9と、演算子「＋」、「−」、「×」、「/」及び「=」とを筆記することをユーザにプロンプトする。ユーザは、周りに丸を備える数字と、加算、減算、乗算、除算及び等号などの演算の数学演算子とを含むグラフィック・エレメント210を作成する。他の実施例では、図11に示す数字の周りに丸を備えなくてよい。ペン・デバイス100は、作成グラフィック・エレメントの位置を認識し、作成される実際のグラフィック・エレメントを認識する。
【００７１】
ユーザは更に、少なくとも２つのグラフィック・エレメントを選択して、そうした少なくとも２つのグラフィカル・エレメントの選択に関するオーディオ出力を受信することができる。例えば、ユーザは、グラフィック・エレメント系列「4」「±」「7」「=」を選択して、ペン・デバイス100による「11」の復唱を聴き得る。紙電卓は上記のように永続的なものであり、よって後に再使用することができるが、それは、ペン・デバイスがこのメモリ装置にグラフィック・エレメントの位置を記憶したからである。この実施例は、物理的な電卓を生徒が利用可能でない学校において有用であり得る。
【００７２】
なお、有界領域は、予め印刷してもよく、ユーザが描いてもよい。例えば、紙電卓は、上記のようにプロンプトに応じてユーザが作成し得るものであり、紙213上に予め印刷し得るものでもある。何れの場合も、ユーザがこの有界領域211内に記述すると、電卓アプリケーションのみがアクティブであり、ペン・デバイスは、認識処理を省力化するために、レターではなく、数字のみをみる。
【００７３】
更に、ユーザは、有界領域に割り当てられるアプリケーション又は機能を起動させるうえでグラフィカル・エレメント・アイコンを選択しなくてよい。有界領域が作成された方法に応じて、有界領域に関連した機能（例えば、電卓）は持続し、後の駆動によって自動的に引き起こされる。更に、ユーザは複数の有界領域を規定することができ、各領域は別のアプリケーションに割り当てられる。例えば、なお図11を参照すれば、ユーザは、上記方法で電卓有界領域211を規定し、更に、（例えば、参考書サブメニュー「Ｒ」やツール・サブメニュー「Ｔ」から）同じ紙213上の辞書有界領域212を規定することができる。辞書有界領域212は、有界領域212内に入力されるテキスト列（例えば、「塁壁」という語）の定義を可聴的にレンダリングすることによって機能する。よって、有界領域212内に入力されるテキストは辞書機能に関連し、語（例えば、レター）として認識される一方、有界領域211内に入力されるテキストは電卓機能に関連し、数字（例えば、等式）として認識される。あるいは、ユーザは、2つ以上が同じ機能のインスタンスである複数の有界領域を規定し得る。
【００７４】
図12Aは、本発明の一実施例によるコンピュータ実施処理580の工程の流れ図を示す。処理580は、本発明の一実施例による、ペン・デバイス（例えば、デバイス100）の機能をアクセスするテキスト列認識ユーザ・インタフェース処理の基本動作工程を表す。この処理580は、「アクティブなテキスト」と呼ばれる、ペン・ベースのコンピュータ・システムの動作のモードを表す。
【００７５】
処理580は工程581から始まり、工程581では、デバイス100のコンピュータ実施機能は、ペン・デバイスによってユーザ記述され得るテキスト列（例えば、語）を認識する。工程582では、認識によって、現在選択されている機能、又はテキスト列に関する機能がアクセスされる。工程583では、機能により、かつ、テキスト列により、出力が備えられる。例示的な機能は、例えば、語が一言語（例えば、英語）から別の言語に翻訳される翻訳機能、語の定義が備えられる辞書機能、類語辞典機能等であり得る。後に、工程584では、永続性が達成されるように、特定の機能がテキスト列と関連付けられる。上記のように、この永続性属性によって、ユーザが、他の介入タスクを行い、他の介入動作を行い、後の特定時点でテキスト列に戻り、その意図されたようにそれを機能させる（例えば、テキスト列はなお、類語辞典、辞書、翻訳等としてふるまう。）。これは、ペン・デバイスによってテキスト列を選択するだけで行われる。工程585では、後の特定時点で、ユーザは、ペン・デバイスによってテキスト列を（例えば、テキスト列に触れることによって）選択する。後に、工程586では、選択に応じて、ペン・デバイスは、テキスト列に関連した機能を選択し、もう一度出力を備える（例えば、翻訳された出力を備える、定義を備える。）。
【００７６】
このようにして、ユーザはテキスト（例えば、語）を記述することができ、ペン・デバイスはこの語と、紙上のその位置とを記憶する。テキストはよって、（例えば、グラフィカル・エレメント・アイコンのように）種々の機能を引き起こすことができる、紙上のアクティブな領域になる。
【００７７】
図12Bは、本発明の一実施例によるコンピュータ実施処理590の工程の流れ図を示す。処理590の実施例では、テキストに対して行う機能は、現在選択されているアプリケーションのみに依拠し、テキスト列はその場合、データのみとして扱われる。このことは処理590によって表す。
【００７８】
処理590は工程591から始まり、工程591では、ユーザはテキスト列を記述する。工程592では、ペン・デバイスは、テキスト列を特定の語として自動的に認識する。工程593では、（現在アクティブな）第１のアプリケーションが特定の語に施され、（特定の語を処理する）アプリケーションの結果が、ペン・デバイスによって可聴的にレンダリングされる。例えば、ユーザがテキストを選択すると、専用アプリケーション特有の機能を開始させることができ、選択されるアプリケーションによって種々の機能が引き起こされる。工程594では、第２のアプリケーションが起動される。工程595では、ユーザはもう一度テキスト列を選択し、特定の語が自動的に呼び出される。更に、工程596では、第２のアプリケーションが特定の語に自動的に施され、（特定の語を処理する）第２のアプリケーションの結果が可聴的にレンダリングされる。
【００７９】
この実施例では、1つ又は複数のグラフィック・エレメント・アイコンを用いて、テキスト列（例えば、語）に関連した機能を変えることができる。例えば、辞書アプリケーション、翻訳アプリケーション等を、各々のグラフィカル・エレメント・アイコンによって選択することができる。同様に、複数のグラフィック・エレメント・アイコンは、同じ語から相当する複数の別々の機能（例えば、定義を得ること、翻訳を得ること等）を引き起こし得る。
【００８０】
よって、例えば、処理590によって、インタフェース方法が可能になり、それによって、（例えば、翻訳グラフィック・アイテム・アイコンに触れることによって）翻訳アプリケーションがアクティブの場合、語の選択によって、特定の語を別の言語に翻訳することが引き起こされる。しかし、（例えば、辞書グラフィック・アイテム・アイコンに触れることによって）辞書アプリケーションがアクティブである場合に、ユーザが特定の語を選択すると、ペン・デバイスは特定の語の定義を備える。このようにして、ユーザは、特定の語と関連した複数のアプリケーションを有する。対照的に、処理580では、翻訳アプリケーションがアクティブな場合、語を選択することによって、特定の語の別の言語への翻訳が引き起こされる。ユーザは更に、分岐して他の介入タスク（例えば、電卓アプリケーション、ゲーム等）を行い得る。更に、後の特定時点で、１つのアプリケーションはテキスト列に関連付けられた状態に留まるので、特定の語の翻訳をもう一度ユーザが聴きたい（例えば、ペン・デバイスは、特定の語の翻訳を可聴的にレンダリングする。）場合にユーザは単に、テキスト列を（例えば、それに触れることによって）もう一度選択する。翻訳は、単一のアプリケーションのみが特定の語と関連付けられているので自動的にレンダリングされる。
【００８１】
重要なことは、上記例では、ユーザによる最初の記述（例えば、図11に示す「塁壁」）が行われると、OCR（光学式文字認識）処理をマーク、単一の文字、又はテキスト列（例えば、語）に対して一度だけ行えばよいということである。上記のように、ペン・デバイス100は、表面213上のグラフィック・エレメントの位置を（例えば、表面213上でコード化されたデータをペン・デバイス100が読み取ることによって）判定することができる機能を含む。これによって、特定の語の位置をペン・デバイス100が記憶することが可能になる。ペン・デバイス100はよって、（例えば、後の特定時点で特定の語の上にユーザがペン・デバイス100を触れる場合に）表面213上の特定の語の同じ位置を認識することによって特定の語の後の選択を識別することができる。ユーザによる語の後の選択によって、先行して行われたOCR処理の結果が呼び出され、こうした結果が、例えば、アクティブなアプリケーション（例えば、辞書）によって用いられる。よって、（例えば、語、文字、数字等に対する）OCR処理の結果を記憶し、後の時点で1つ又は複数のアプリケーションに用いるうえでそうした結果を呼び出すことができることによって、本発明の実施例によって実施されるユーザ・インタフェースの応答性及び性能を大いに向上する。リソース集約型OCR処理は、ペン・デバイス100のコンピュータ・システム・リソースによって一度だけ行えばよい。
【００８２】
なお、有界領域を用いて、テキスト列（例えば、語）に関連した機能に影響を及ぼすか、そうした機能を変えることができる。例えば、辞書アプリケーションに相当する有界領域は、有界領域内で語が、記述されるか（既に記述されている場合、選択される）場合に語の定義を常に供給し得る。同様に、テキスト列を用いて、有界領域に関連した機能を変えるかそうした機能に影響を及ぼし得る。
【００８３】
図13A及び13Bは、本発明の一実施例によるテキスト列認識アプリケーションの例を示す。図13A及び13Bに表すように、ユーザは、丸で囲まれたグラフィック・エレメント302Dを筆記し得る。ペン・デバイス100が語「辞書」を復唱した後、ユーザは、ペン・デバイス100によってチェックマーク304を作成して、辞書機能が選択されるということを示し得る。グラフィカル・エレメント302が作成された後、ペン・デバイス100は、線306によって囲まれた語「フランス語」308を含む別のグラフィック・エレメント305（例えば、有界領域）を作成することをユーザに更にプロンプトし得る。ペン・デバイス100は更に、語を記述することをユーザにプロンプトし得るものであり、ユーザは、テキスト列「Hello」310を記述し得る。ユーザは更に、語「Hello」を選択し、更に、グラフィカル・エレメント305を選択して、デバイス100によって復唱される語「Bon  jour」を聴き得る。
【００８４】
上記例によって例証されるように、ユーザによって作成される少なくとも２つのグラフィック・エレメントは、言語名を備える第１のグラフィック・エレメント（例えば、テキスト列）と、上記言語とは別の言語における語を備える第２のグラフィック・エレメントとを備え得る。ユーザは語を選択し、更に言語名を選択し得るものであり、当該言語での
語を合成音声によって聴くことを含む少なくとも１つのオーディオ出力を聴き得る。当該言語は、スペイン語、フランス語、ドイツ語、中国語、日本語等などの、英語でない言語であり得るものであり、当該語は英語のものであり得る。英語・外国語辞書は、ペン・デバイスのメモリ装置にコンピュータ・コードとして記憶し得る。
【００８５】
本発明の特定の実施例の上記記載は、例証及び説明の目的で呈示した。こうした記載は、網羅的であることも、開示したまさにその形態に本発明を限定することも意図するものでなく、明らかに、多くの修正及び変形が上記教示に鑑みて可能である。実施例は、本発明の原理とその実用的な応用とを最もうまく説明して、それによって、想定される特定の用途に適した種々の修正に本発明及び種々の実施例を当業者が最もうまく利用することが可能になるように選び、説明した。本発明の範囲は、本特許請求の範囲及びその均等物によって規定されることが意図されている。
【図面の簡単な説明】
【００８６】
【図１】本発明の実施例を実施することができるデバイスを示す構成図である。
【図２】本発明の実施例を実施することができる別のデバイスを示す構成図である。
【図３】本発明の一実施例による、マークのパターンが備えられた例示的な紙を示す図である。
【図４】本発明の一実施例による、例示的な紙上のマークのパターンを示す拡大図である。
【図５】本発明の一実施例によるデバイス・ユーザ・インタフェース処理の工程を示すコンピュータ制御フローチャートである。
【図６】本発明の一実施例による階層的なデバイス・ユーザ・インタフェース処理の工程を示すコンピュータ制御フローチャートである。
【図７】本発明の実施例によるメニュー・アイテム・ツリー・ディレクトリを示す図である。
【図８Ａ】本発明の一実施例によるメニュー・アイテム可聴プロンプト処理を示す図である。
【図８Ｂ】本発明の一実施例によるメニュー・アイテム選択処理を示す図である。
【図８Ｃ】本発明の一実施例によるサブメニュー・アイテム選択処理を示す図である。
【図９】本発明の一実施例による、表面上の複数の各種グラフィカル・アイテム・アイコンを示す図である。
【図１０】本発明の一実施例による、有界領域ユーザ・インタフェース処理のコンピュータ実施工程を示す流れ図である。
【図１１】本発明の一実施例による電卓有界領域アプリケーションを示す図である。
【図１２Ａ】本発明の第１の実施例による、テキスト列認識ユーザ・インタフェース処理のコンピュータ実施工程を示す流れ図である。
【図１２Ｂ】本発明の第２の実施例による、テキスト列認識ユーザ・インタフェース処理のコンピュータ実施工程を示す流れ図である。
【図１３Ａ】本発明の一実施例による辞書テキスト列認識の第１の例を示す図である。
【図１３Ｂ】本発明の一実施例による辞書テキスト列認識の第２の例を示す図である。
【符号の説明】
【００８７】
15  紙
17  位置コード
18  マーク
19  17の拡大部分
21  ラスタ・ライン
22  ラスタ点
23  マーク
24  ラスタ点
32  プロセッサ
34  電源
36  オーディオ出力装置
38  入力ボタン
40  表示装置
42  光検出器
44  光エミッタ
48  メモリ装置
52  筆記具エレメント
62  ハウジング
70  表面
74  ハウジング
100  デバイス
102  ケーブル
200  デバイス
201  光デバイス
202  プラットフォーム
210  グラフィック・エレメント
211  有界領域
212  有界領域
213  表面
302  グラフィック・エレメント
304  チェックマーク
305  グラフィック・エレメント
306  線
308  語
310  テキスト列
870  チェックマーク・アイコン
901  位置
902  位置
904  位置
906  語
910  表面
【図１】
2006195996.tif 000003
【図２】
2006195996.tif 000004
【図３】
2006195996.tif 000005
【図４】
2006195996.tif 000006
【図５】
2006195996.tif 000007
【図６】
2006195996.tif 000008
【図７】
2006195996.tif 000009
【図８Ａ】
2006195996.tif 000010
【図８Ｂ】
2006195996.tif 000011
【図８Ｃ】
2006195996.tif 000012
【図９】
2006195996.tif 000013
【図１０】
2006195996.tif 000014
【図１１】
2006195996.tif 000015
【図１２Ａ】
2006195996.tif 000016
【図１２Ｂ】
2006195996.tif 000017
【図１３Ａ】
2006195996.tif 000018
【図１３Ｂ】
2006195996.tif 000019
【外国語明細書】
2006195996.tif 000020
2006195996.tif 000021
2006195996.tif 000022
2006195996.tif 000023
2006195996.tif 000024
2006195996.tif 000025
2006195996.tif 000026
2006195996.tif 000027
2006195996.tif 000028
2006195996.tif 000029
2006195996.tif 000030
2006195996.tif 000031
2006195996.tif 000032
2006195996.tif 000033
2006195996.tif 000034
2006195996.tif 000035
2006195996.tif 000036
2006195996.tif 000037
2006195996.tif 000038
2006195996.tif 000039
2006195996.tif 000040
2006195996.tif 000041
2006195996.tif 000042
2006195996.tif 000043
2006195996.tif 000044
2006195996.tif 000045
2006195996.tif 000046
2006195996.tif 000047
2006195996.tif 000048
2006195996.tif 000049
2006195996.tif 000050
2006195996.tif 000051
2006195996.tif 000052
2006195996.tif 000053
2006195996.tif 000054
2006195996.tif 000055
2006195996.tif 000056
2006195996.tif 000057
2006195996.tif 000058
2006195996.tif 000059
2006195996.tif 000060
2006195996.tif 000061
2006195996.tif 000062
2006195996.tif 000063
2006195996.tif 000064
2006195996.tif 000065
2006195996.tif 000066
2006195996.tif 000067
2006195996.tif 000068
2006195996.tif 000069
2006195996.tif 000070
2006195996.tif 000071
2006195996.tif 000072
2006195996.tif 000073
2006195996.tif 000074
2006195996.tif 000075
2006195996.tif 000076
2006195996.tif 000077
2006195996.tif 000078
【図１】
2006195996.tif 000079
【図２】
2006195996.tif 000080
【図３】
2006195996.tif 000081
【図４】
2006195996.tif 000082
【図５】
2006195996.tif 000083
【図６】
2006195996.tif 000084
【図７】
2006195996.tif 000085
【図８Ａ】
2006195996.tif 000086
【図８Ｂ】
2006195996.tif 000087
【図８Ｃ】
2006195996.tif 000088
【図９】
2006195996.tif 000089
【図１０】
2006195996.tif 000090
【図１１】
2006195996.tif 000091
【図１２Ａ】
2006195996.tif 000092
【図１２Ｂ】
2006195996.tif 000093
【図１３Ａ】
2006195996.tif 000094
【図１３Ｂ】
2006195996.tif 000095