(57)【要約】【課題】ユーザー書き込みの選択可能項目に関連付けられた機能と対話するための効率的なユーザーインターフェースを提供する対話装置。また、上記の必要を満たし、前記機能と対話できるようにするのを補佐するユーザーへの音声指示を提供する対話装置。また、前記最初の必要を満たし、追加的なユーザー対話をまず必要とすることなく特定の機能の自動実行を提供する対話装置。【解決手段】ユーザーにある機能と対話するよう音声で指示する方法。ある機能がユーザー書き込みの選択可能項目と関連付けられる。ユーザー書き込みの選択可能項目は次いである面上で認識される。ユーザー書き込みの選択可能項目の認識に反応して、当該機能の動作に関係した第一の指示メッセージが、ユーザーからのさらなる対話を必要とすることなく音声で表現される。【選択図】図２Ｂ
2007128481.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーにある機能と対話するよう音声で指示するための方法であって：
ある機能をユーザー書き込みの選択可能項目と関連付け、
前記ユーザー書き込みの選択可能項目をある面上で認識し、
前記ユーザー書き込みの選択可能項目の前記認識に反応して、前記ユーザーからのさらなる対話を必要とすることなく前記機能の動作に関係する第一の指示メッセージを音声で表現する、
ことを含むことを特徴とする方法。
【請求項２】
コンピュータシステムをしてユーザーにある機能と対話するよう音声で指示するための方法を実行せしめるためのコンピュータ可読プログラムコードが具現されているコンピュータ使用可能媒体であって、前記方法が請求項１記載の諸ステップを有することを特徴とする媒体。
【請求項３】
バスと、
プロセッサと、
前記バスに結合された音声出力装置と、
ユーザーが筆記可能面に書けるようにするための筆記要素と、
前記筆記可能面に対する前記筆記要素の位置を検出するための、前記バスに結合された光検出器と、
前記バスに結合されたプロセッサと、
前記バスに結合されたメモリユニット、
とを有する対話装置であって、前記メモリが、実行されたときに前記プロセッサをして、ユーザーにある機能と対話するよう音声で指示するための請求項１記載の諸ステップを有する方法を実現せしめる命令を保存していることを特徴とする装置。
【請求項４】
前記第一の指示メッセージが、前記ユーザーに、該ユーザーが前記機能と対話できるようにする少なくとも一つのユーザーインターフェース要素を描くよう指示することを特徴とする、請求項１、２または３のうちいずれか一項記載の方法、媒体または装置。
【請求項５】
請求項４記載の方法、媒体または装置であって：
前記第一の指示メッセージの前記音声による表現から所定の時間期間内に前記面上に書き込みが描かれたかどうかを判定し、
前記所定の時間期間内に前記面上にいかなる書き込みも描かれていなかった場合に、前記第一の指示メッセージを繰り返す、
ステップをさらに有することを特徴とする方法、媒体または装置。
【請求項６】
請求項４記載の方法、媒体または装置であって：
前記ユーザーインターフェース要素が前記面上に適正に描かれたかどうかを判定し、
前記ユーザーインターフェース要素が前記面上に適正に描かれていなかった場合に、前記ユーザーが前記ユーザーインターフェース要素を適正に描く仕方についてのヒントを有する第二の指示メッセージを音声で表現する、
ことをさらに有することを特徴とする、方法、媒体または装置。
【請求項７】
前記ユーザーインターフェース要素が適正に描かれていた場合に、第三の指示メッセージを音声で表現し、および／または前記機能を実行することをさらに含むことを特徴とする、請求項６記載の方法、媒体または装置。
【請求項８】
前記ユーザー書き込みの選択可能項目とのユーザーの対話に反応して、前記第一の指示メッセージを反復することをさらに含むことを特徴とする、請求項１、２または３のうちいずれか一項記載の方法、媒体または装置。
【請求項９】
前記第一の指示メッセージを音声で表現するのに先立って前記機能を実行することをさらに含むことを特徴とする、請求項１、２または３のうちいずれか一項記載の方法、媒体または装置。
【請求項１０】
前記ユーザー書き込みの選択可能項目の前記認識が、前記ユーザー書き込みの選択可能項目が完成していることを示す終了イベントを検出することに反応して実行されることを特徴とする、請求項１、２または３のうちいずれか一項記載の方法、媒体または装置。
【請求項１１】
請求項１、２または３のうちいずれか一項記載の方法、媒体または装置であって、前記ユーザー書き込みの選択可能項目の前記認識が：
ペンコンピュータの先端の位置を光学的に記録し、
該位置の画像認識を実行して前記のユーザー書き込みの選択可能項目を認識する、
ことを含んでいることを特徴とする方法、媒体または装置。
【請求項１２】
前記第一の指示メッセージの前記音声による表現が、ペンコンピュータのある音声出力装置または前記出力装置によって実行されることを特徴とする、請求項１、２または３のうちいずれか一項記載の方法、媒体または装置。
【請求項１３】
ある機能をユーザー書き込みの選択可能項目と関連付け、
前記ユーザー書き込みの選択可能項目をある面上で認識し、
前記ユーザー書き込みの選択可能項目の前記認識に反応して、ユーザーと前記面との間のさらなる対話をまず必要とすることなく前記機能をすぐに実行する、
ことを含むことを特徴とする、自動的にある機能を実行する方法。
【請求項１４】
コンピュータシステムをしてある機能を自動的に実行するための方法を実行せしめるためのコンピュータ可読プログラムコードが具現されているコンピュータ使用可能媒体であって、前記方法が請求項１３記載の諸ステップを有することを特徴とする媒体。
【請求項１５】
バスと、
プロセッサと、
前記バスに結合された音声出力装置と、
ユーザーが筆記可能面にユーザー書き込みの選択可能項目を作成できるようにするための筆記要素と、
前記筆記可能面上で情報を検出するための、前記バスに結合された光検出器と、
前記バスに結合されたプロセッサと、
前記バスに結合されたメモリユニット、
とを有する対話装置であって、前記メモリが、実行されたときに前記プロセッサをして、自動的にある機能を実行するための請求項１３記載の諸ステップを有する方法を実現せしめる命令を保存していることを特徴とする装置。
【請求項１６】
請求項１３、１４または１５記載の方法、媒体または装置であって、前記機能の動作に関係した指示メッセージを、前記ユーザーと前記面との間のさらなる対話をまず必要とすることなく音声で表現することをさらに有しており、前記指示メッセージの前記音声による表現が、ユーザーが前記面と対話しないまま所定の時間期間が経過するのに反応して実行されることを特徴とする、方法、媒体または装置。
【請求項１７】
ユーザーが前記のユーザー書き込みの選択可能項目と対話するのに反応して、前記機能を再実行または実行することをさらに含むことを特徴とする、請求項１３、１４または１５記載の方法、媒体または装置。
【請求項１８】
前記ユーザー書き込みの選択可能項目の前記認識が前記のユーザー書き込みの選択可能項目が完成していることを示す終了イベントを検出することに反応して実行されることを特徴とする、請求項１３、１４または１５記載の方法、媒体または装置。
【請求項１９】
前記したユーザーと前記面との間のさらなる対話をまず必要とすることなく前記機能をすぐに実行することが、前記ユーザーによる前記面上の補助的な書き込みをまず必要とすることなく前記機能をすぐに実行することであることを特徴とする、請求項１３、１４または１５記載の方法、媒体または装置。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
本出願は、2004年3月17日にJames  Marggraff  et  al.によって出願された“SCANNING  APPARATUS”と題する、本出願人が保有する同時係属米国特許出願、事務所整理番号020824-004610US、出願番号第10/803,806号の部分継続出願であり、該出願はここにその全体において参照によって組み込まれる。
【０００２】
本出願は、2004年6月3日にJames  Marggraff  et  al.によって出願された“USER  CREATED  INTERACTIVE  INTERFACE”と題する、本出願人が保有する同時係属米国特許出願、事務所整理番号020824-009500US、出願番号第10/861,243号の部分継続出願であり、該出願はここにその全体において参照によって組み込まれる。
【０００３】
本出願は、2005年1月12日にJames  Marggraff  et  al.によって出願された“A  METHOD  AND  SYSTEM  FOR  IMPLEMENTING  A  USER  INTERFACE  FOR  A  DEVICE  EMPLOYING  WRITTEN  GRAPHICAL  ELEMENTS”と題する、本出願人が保有する同時係属米国特許出願、事務所整理番号LEAP-P0313、出願番号第11/034,491号の部分継続出願であり、該出願はここにその全体において参照によって組み込まれる。
【０００４】
本出願は、2005年1月12日にJames  Marggraff  et  al.によって出願された“A  METHOD  AND  SYSTEM  FOR  IMPLEMENTING  A  USER  INTERFACE  FOR  A  DEVICE  THROUGH  RECOGNIZED  TEXT  AND  BOUNDED  AREAS”と題する、本出願人が保有する同時係属米国特許出願、事務所整理番号LEAP-P0316、出願番号第11/035,155号の部分継続出願であり、該出願はここにその全体において参照によって組み込まれる。
【０００５】
本出願は、2005年1月12日にJames  Marggraff  et  al.によって出願された“TERMINATION  EVENTS”と題する、本出願人が保有する同時係属米国特許出願、事務所整理番号LEAP-P0320、出願番号第11/035,003号の部分継続出願であり、該出願はここにその全体において参照によって組み込まれる。
分野
本書面の諸実施形態は、対話装置の分野に関する。より特定的には、本書面の諸実施形態は、ペンをベースとした対話装置に関する。より詳細には、本書面はユーザーに、ある機能と対話するよう音声の形で指示するための方法および装置を記載する。
【背景技術】
【０００６】
光学式読み取り装置または光ペンのような装置は従来、光を放出し、ある表面から反射された光が検出器または撮像器に入射するというものであった。装置が表面に対して動く（あるいは逆に表面が装置に対して動く）につれ、一連の画像が高速に取り込まれる。それらの画像を解析することによって、当該光デバイスの表面に対する動きを追跡できる。
【０００７】
ある種類の光ペンは、微細な点が印刷されている紙とともに使われる。点はそのページ上に公称間隔約0.3ミリメートル（0.01インチ）のパターンで印刷されている。ページ上のいかなる領域内の点のパターンもその領域に一意的なものである。光ペンは本質的にはその表面のスナップショットを、可能性としては１秒間に100回以上撮る。各スナップショットにおいて取り込まれた点の位置を解釈することによって、光ペンは当該ページに対してその位置を精密に決定できる。
【０００８】
表面に対する光ペンの位置についての情報を利用するアプリケーションはすでに開発されたか、あるいは現在開発中である。ブルートゥースまたはその他の無線機能を用いた光ペンは他の装置にリンクされ、電子メール（eメール）またはファクスを送るのに使うことができる。
【０００９】
組み込みコンピュータシステムの性能が増し、実装できる機能が複雑になることで、そのような性能を利用する、より直感的でユーザーフレンドリーな方法に対する必要性が生じている。典型的な従来技術の光ペンは、意図された機能を実施するのに、ユーザーが光ペンの一つまたは複数のボタン／スイッチまたはコントロールを操作して一つまたは複数のソフトウェアプログラム、ルーチン、組み込みデバイスなどを作動させることによっている。ペンはコンピュータシステムを含んでいてもよいし、コンピュータシステムと通信するのでもよい。前記のようなコントロールの作動に際して、ペンデバイスはその意図された機能を実行する。ますます強力になる光ペンの機能に、ペン自身か何らかのリモートに結合されたコンピュータシステムかに設けられている限られた数および構成設定のスイッチ、ボタンなどを通じてアクセスすることは満足のいく構成ではない。
【００１０】
従来技術の解決策の一つは、光ペンを使ってユーザー定義のコマンドを認識することを利用し、そのコマンドを利用してペンの何らかの機能を呼び出すことである（たとえばPCT公開WO/01/48590A1）。たとえば、ユーザーの書き込みが認識され（たとえばリアルタイムに）、当該光ペンに対するコマンドとして解釈されることができる。この解決策の欠点としては、対話およびペンの機能の制御のためにユーザーの手書きをリアルタイムで（たとえば、ユーザーがコマンドを紙に書き付けるときに）認識することが必要になるという事実に関わる。この解決策は、光ペンのより複雑な機能との対話のためには、ユーザーはペンによって提供される異なる選択、オプションまたは機能にアクセスするための一つまたは複数のコマンドを繰り返し書き付けなければならないという事実のため、満足いくものではない。この解決策は過度に単純な、単一ステップ型の用途（たとえば「スイッチオフ」「保存」など）には満足いくものであるかもしれないものの、より複雑な、申し分のない、豊かな機能が望まれる場面ではあまりにわずらわしく、制限的である。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
したがって、ユーザー書き込みの選択可能項目に関連付けられた機能と対話するための効率的なユーザーインターフェースを提供する対話装置に対する必要性が存在する。また、上記の必要を満たし、前記機能と対話できるようにするのを補佐するユーザーへの音声指示を提供する対話装置に対する必要性も存在する。また、前記最初の必要を満たし、追加的なユーザー対話をまず必要とすることなく特定の機能の自動実行を提供する対話装置に対する必要性も存在する。
【課題を解決するための手段】
【００１２】
本発明、ユーザーにある機能と対話するよう音声で指示する方法のさまざまな実施形態がここに記載される。ある機能がユーザー書き込みの選択可能項目と関連付けられる。ユーザー書き込みの選択可能項目がある面上で認識される。ある実施形態では、前記ユーザー書き込みの選択可能項目の認識は、前記のユーザー書き込みの選択可能項目が完了したことを示す終了イベントを検出することに反応して実行される。ある実施形態では、ユーザー書き込みの選択可能項目の認識は、ペンコンピュータの先端の位置を光学的に記録し、該位置の画像認識を実行して前記のユーザー書き込みの選択可能項目を認識することを含んでいる。
【００１３】
前記のユーザー書き込みの選択可能項目の認識に反応して、前記機能の動作に関係した第一の指示メッセージが、ユーザーからのさらなる対話を必要とすることなく音声で表現される。ある実施形態では、前記第一の指示メッセージはユーザーに、該ユーザーが前記機能と対話できるための少なくとも一つのユーザーインターフェース要素を描くよう指示する。ある実施形態では、前記機能は前記第一の指示メッセージを音声で表現するのに先立って実行される。ある実施形態では、前記第一の指示メッセージを音声で表現することは、ペンコンピュータの音声出力装置によって実行される。
【００１４】
ある実施形態では、前記第一の指示メッセージが音声で表現されてから所定の時間期間内に書き込みが面上に描かれたかどうかが判定される。所定の時間期間内に面上に書き込みが描かれなかったとすれば、前記第一の指示メッセージが反復される。
【００１５】
ある実施形態では、ユーザーインターフェース要素が面上に適正に描かれたかどうかが判定される。ユーザーインターフェース要素が面上に適正に描かれていなかった場合、ユーザーがユーザーインターフェース要素を適正に描く仕方についてのヒントを含む第二の指示メッセージが音声で表現される。ある実施形態では、前記ユーザーインターフェース要素が適正に描かれていたとすれば、第三の指示メッセージが音声で表現される。ある別の実施形態では、ユーザーインターフェース要素が適正に描かれていた場合に、その機能が実行される。ある実施形態では、ユーザー書き込みの選択可能項目とのユーザーの対話に反応して、前記第一の指示メッセージが反復される。
【００１６】
もう一つの実施形態では、本発明は、ある機能と対話するようユーザーに音声で指示するための、前記記載の方法を実施するよう動作しうる、バス、プロセッサ、メモリユニット、音声出力装置、書き込み要素および光検出器を含む対話装置を提供する。もう一つの実施形態では、本発明は、コンピュータシステムをしてユーザーにある機能と対話するよう音声で指示するための前記記載の方法を実行せしめるためのコンピュータ可読プログラムコードが具現されているコンピュータ使用可能媒体を提供する。
【００１７】
ここに記載される他のさまざまな実施形態において、本発明は、自動的にある機能を実行する方法を提供する。ある機能がユーザー書き込みの選択可能項目と関連付けられる。該ユーザー書き込みの選択可能項目がある面上で認識される。ある実施形態では、前記ユーザー書き込みの選択可能項目の認識は前記のユーザー書き込みの選択可能項目が完了したことを示す終了イベントを検出することに反応して実行される。
【００１８】
前記のユーザー書き込みの選択可能項目の認識に反応して、前記機能は、ユーザーと面との間のさらなる対話をまず必要とすることなくすぐ実行される。ある実施形態では、前記機能はユーザーが面上に補助的な書き込みをすることをまず必要とすることなくすぐ実行される。
【００１９】
ある実施形態では、前記機能の動作に関係した指示メッセージが、ユーザーと面との間のさらなる対話をまず必要とすることなく音声で表現される。ある実施形態では、前記指示メッセージは、ユーザーが面と対話しないまま所定の時間期間が経過するのに反応して音声で表現される。ある実施形態では、ユーザーが前記のユーザー書き込みの選択可能項目と対話するのに反応して、前記機能が再実行される。
【００２０】
もう一つの実施形態では、本発明は、ある機能を自動的に実行するための前記記載の方法を実施するよう動作しうる、バス、プロセッサ、メモリユニット、音声出力装置、書き込み要素および光検出器を含む対話装置を提供する。もう一つの実施形態では、本発明は、コンピュータシステムをしてある機能を自動的に実行するための前記記載の方法を実行せしめるためのコンピュータ可読プログラムコードが具現されているコンピュータ使用可能媒体を提供する。
【００２１】
さまざまな実施形態において、前記ユーザー書き込みの選択可能項目は：プロセッサによって実行可能なアプリケーションプログラムの記号表現、プロセッサによって実行可能なアプリケーションプログラムのメニュー項目、ナビゲーション項目、データ、アプリケーションオプション選択手段、またはその他の選択可能項目を含む。
【発明の効果】
【００２２】
本書面は、ある機能と対話するようユーザーに音声で指示するための方法を、限定なしに記載する。ある機能がユーザー書き込みの選択可能項目に関連付けられる。該ユーザー書き込みの選択可能項目がある面上で認識される。前記ユーザー書き込みの選択可能項目の認識に反応して、前記機能の動作に関係した第一の指示メッセージがユーザーからのさらなる対話を必要とすることなく音声で表現される。
【００２３】
付属の図面は本明細書に組み込まれ、その一部をなすものであるが、本発明の諸実施形態を説明するものであって、本記載とともに本発明の原理を説明するはたらきをする。
【００２４】
これから本発明、ユーザーが面上に書かれた選択可能項目を作成してそれと対話することを可能にする対話装置のさまざまな実施形態を詳細に見ていくことにする。その例は付属の図面に示されている。本発明はこれらの実施形態との関連で記述されるが、本発明をこれらの実施形態に限定することが意図されていないことは理解されるものとする。逆に、本発明は、付属の請求項において定義される本発明の精神および範囲内に含まれうるさまざまな代替、修正および等価物をカバーすることが意図されている。さらに、本発明の以下の詳細な記載においては、本発明の完全なる理解を与えるために数多くの特定の詳細が述べられるが、通常の当業者は本発明がこうした特定の詳細なしでも実施しうることは認識するであろう。その一方、よく知られた方法、手順、構成要素および回路は本発明の諸側面を無用に埋没させることがないよう、詳細には記述していない。
【００２５】
以下の詳細な記述のいくつかの部分は、データビットに対してコンピュータメモリ上で実行できる操作の、手順、ステップ、論理ブロック、プロセスおよびその他の記号表現を用いて呈示される。これらの記述および表現は、データ処理分野の当業者が自分たちの仕事の内容を他の当業者に最も効率よく伝達するために使っている手段である。手順、コンピュータで実行されるステップ、論理ブロック、プロセスなどはここでは、そして一般にも、所望の結果に導くステップまたは命令の自己完結的なシーケンスであると考えられる。ステップは、物理量の物理的な操作を必要とするものである。必須ではないが通例、こうした物理量は電気的または磁気的信号の形を取り、保存、転送、組み合わせおよびその他の操作がコンピュータシステム内でできるものである。時に、主として慣用上の理由により、これらの信号をビット、値、要素、シンボル、キャラクタ、項、数などと称することが便利であることが立証されている。
【００２６】
しかし、これらおよび同様の用語のすべては適切な物理量に関連付けられてはいるが、そうした物理量に適用される単なる便利なラベルであるということを留意しておくべきである。特に断りのない限り、また以下の議論から明らかでない限り、本発明を通じて、「関連付ける」または「認識する」または「表現する」または「必要とする」または「決定する」または「反復する」または「実行する」または「検出する」まはた「指示する」などといった用語を使っての議論は、電子的システム（たとえば図１の対話装置１００）または同様の電子的計算装置の動作およびプロセスであって、当該電子的装置のレジスタおよびメモリ内の物理量（電子的な量）として表現されたデータを操作し、当該電子的装置のメモリまたはレジスタまたはその他同様の情報の記憶、伝送もしくは表示装置内の物理量として同様に表現された別のデータに変換するものをいうものである。
【発明を実施するための最良の形態】
【００２７】
本発明のさまざまな実施形態、ある機能と対話するようユーザーに音声で指示するための方法および装置がここで記載される。ある実施形態によれば、記載される諸実施形態は、ユーザーがある面上に書き込まれた選択可能項目を作成し、それと対話することを可能にする。本発明は、ユーザーに、電子的なディスプレイを紙片のような任意の書き込み可能面で置き換えるインターフェースを提供する。ユーザーは、ユーザー書き込みの選択可能項目を前記面上に作成しうる。該ユーザー書き込みの選択可能項目は関連付けられた機能を実行し、および／またはユーザー書き込みデータ、たとえば単語、文字、数、記号などを表すものである。ユーザー書き込みの選択可能項目は面上に持続し、ユーザーが当該対話装置の動作を通じてさまざまな選択可能項目に関連付けられた機能を実行できるようにする。ある実施形態では、ある特定のユーザー書き込みの選択可能項目がある特定の機能に関連付けられていると認識することに反応して、前記対話装置は音声で前記機能の動作に関係した指示メッセージを表現する。別の実施形態では、ある特定のユーザー書き込みの選択可能項目がある特定の機能と関連付けられていると認識することに反応して、前記対話装置はすぐに前記機能を実行する。
【００２８】
図１は、本発明のある実施形態に基づく対話装置１００を示している。対話装置１００はプロセッサ１１２、メモリユニット１１４、音声出力装置１１６、筆記要素１１８および光検出器１２０を殻１３０内に含んでいる。ある実施形態では、プロセッサ１１２、メモリユニット１１４、音声出力装置１１６および筆記要素１１８はバス１２２を通じて通信できるよう結合されている。
【００２９】
ある実施形態では、殻１３０はスタイラスまたは筆記具（たとえばペンのような）の形をしている。ユーザーは対話装置１００を、スタイラスを持つのと同じような仕方で持つ。筆記要素１１８は、ユーザーが該筆記要素１１８を書き込み可能面（図示せず）と接触できるように位置させられるような具合に殻１３０の一端に位置している。筆記要素１１８は、ペン、鉛筆、マーカー、クレヨンまたはマークを付ける他のいかなる材料を含んでいてもよい。筆記要素１１８はまたマークを付けない先端を含んでいてもよいことを理解しておくべきである。使用の間、ユーザーは対話装置１００を、紙のような面に書くための筆記具として使うのと同じような仕方で持ち、使用することができる。
【００３０】
筆記要素１１８はユーザー書き込みの選択可能項目を面上に作成するのに使われうる。「ユーザー書き込みの選択可能項目」とはユーザーによって作成されたいかなるマークでもよい。面（たとえば紙）の上にあるマークが付けられる場合、前記ユーザー書き込みの選択可能項目はプリント要素であってもよい。ユーザー書き込みの選択可能項目は、これに限定されるわけではないが、記号、文字および／もしくは数字のような印、キャラクタ、単語、図形、線などを含む。その形は規則的であっても不規則であってもよく、典型的には前記スタイラスを使って作成される。
【００３１】
対話装置１００によってユーザーは、該対話装置１００によって提供されるさまざまな機能を表すユーザー書き込みの選択可能項目を作成できるようになる。ある実施形態では、ユーザー書き込みの選択可能項目はプロセッサ１１２によって実行可能なアプリケーションプログラム（たとえば電卓アプリケーションまたは辞書アプリケーション）の記号表現を含む。別の実施形態では、ユーザー書き込みの選択可能項目はナビゲーション項目（たとえばメニュー）、前記プロセッサによって実行可能なアプリケーションプログラムのメニュー項目、アプリケーションオプション選択手段またはデータのインスタンス（たとえば単語）を含みうる。
【００３２】
いくつかの実施形態では、ユーザー書き込みの選択可能項目は線で囲んだ文字または数字を含むことができる。文字または数字を囲む線は、円、卵形、四角、多角形などでありうる。そのようなユーザー書き込みの選択可能項目は、普通の文字および数字ではなく、ユーザーによって選択されうる「ボタン」のように見える。この種のユーザー書き込みの選択可能項目を作成することによって、ユーザーは、通常の文字および数字から機能アイコンのようなユーザー書き込みの選択可能項目を視覚的に区別することができる。また、この種のユーザー書き込みの選択可能項目を作成することにより、対話装置１００が、機能的またはメニュー項目型のユーザー書き込みの選択可能項目を、機能的でないまたはメニュー項目型でないユーザー書き込みの項目から区別しやすくなるようにできる。たとえば、ユーザーは、丸で囲まれた文字「M」を用いてあるユーザー書き込みの選択可能項目を作成することによって、対話的な「メニュー」アイコンを作成しうる。対話装置１００は、重なっている円または四角とその中の文字「M」とを、単語中の文字「M」とは区別される機能的なユーザー書き込みの選択可能項目と認識するようプログラムされうる。そのような機能的なユーザー書き込みの選択可能項目を認識し、それを他の機能的でないユーザー書き込みの項目から区別するためのコンピュータコードが、対話装置１００内のメモリユニット１１４内にあることができる。
【００３３】
別の実施例では、記載されたユーザー書き込みの選択可能項目は、対話的な音楽キーボードアイコンを作成するために丸囲みの文字「FT」のような多重キャラクタを含んでいてもよい。他の実施例では、記載されているユーザー書き込みの選択可能項目は多重機能を含んでいてもよい。たとえば、時間（time）機能を表す丸の中の文字「T」と日付（date）機能を表す丸の中の文字「D」の両方がより大きな丸の中にあってもよい。この大きな丸が一つのユーザー書き込みの選択可能項目を表し、それによりこの大きな丸と対話するユーザーは、時間機能と日付機能両方の実行を開始する。
【００３４】
図２Ａから２Ｄは本発明の諸実施例に基づく、紙面上の例示的なユーザー書き込みの選択可能項目を示している。図２Ａを参照すると、ユーザー書き込みの選択可能項目２０６は、まわりを囲む丸２０４をもつ文字「M」２０２である。ユーザー書き込みの選択可能項目２０６は、対話装置の筆記要素（たとえば図１の筆記要素１１８）を用いて紙面２００上に描かれる。
【００３５】
ある実施形態では、ユーザー書き込みの選択可能項目２０６は当該対話装置のメニュー機能を表す。ある特定のメニュー項目、ディレクトリまたはサブディレクトリの選択を指示するため、ユーザーはもう一つのユーザー書き込みの選択可能項目を作成するか、あるいは当該対話装置１００を用いてある動きをする。たとえば、そのユーザーがメニューのサブディレクトリの下に進みたいとき、ユーザーはシート２００上にチェックマーク２１０を描くことによって選択がなされたことを示すことができる。チェックマークを描いたあとは、その後の選択のたびに、あるいは対話装置１００のシート２００へのユーザー書き込みの選択可能項目２０６の近くでの「下降タッチ」のたびに、ユーザー書き込みの選択可能項目２０６に関連付けられた諸メニュー項目が音声出力装置１１６によって音声で再生されうる。その際、チェックマークを用いた対話によって音声で表現された最後のオプションが選択される。たとえば、ユーザーが「電卓」という単語が読み上げられるのを聞いたのち「電卓」機能を選択すれば、対話装置１００の動作モードを電卓機能に変更できる。
【００３６】
図２Ｂは、シート２００の空白の部分にユーザーがどのようにして紙電卓を作成できるかを示している。この例では、ユーザーが上述したように「電卓」機能を選択したのち、対話装置１００は音声でユーザーに、数字０〜９および演算子＋、−、×、／および＝を書き付けるよう促す。たとえば、ユーザーは、数字と、加減乗除および等号のような演算のための数学的演算子とを含むユーザー書き込みの選択可能項目２２０を作成するよう促されうる。これらは物理的に面上に描かれる。対話装置１００は作成されたグラフィック要素の位置を認識し、作成された実際のユーザー書き込みの選択可能項目を認識する。次いでユーザーは少なくとも二つのユーザー書き込みの選択可能項目を選択し、それら少なくとも二つのグラフィック要素の選択に関係した音声出力を受け取ることができる。たとえば、ユーザーはグラフィック要素「４」「＋」「７」「＝」のシーケンスを選択して対話装置１００が結果「１１」を読み上げるのを聞くことができる。
【００３７】
対話装置１００がユーザー書き込みの選択可能項目をメモリユニット１１４に保存するので、ユーザー書き込みの選択可能項目２０６によって表されるメニューおよびユーザー書き込みの選択可能項目２２０によって表される紙電卓は、後刻再利用することができる。また、ペンとユーザー書き込みの選択可能項目２２０との対話によっても電卓機能は自動的に呼び出される。
【００３８】
図２Ｂはデータ２３０も含んでいる。図２Ｂに示した例では、データ２３０は単語「CAT」である。データ２３０は、対話装置１００上で動作するアプリケーションによって使用されうるいかなる情報でもよい（たとえば英数字記号、絵、線画、マークなど）ことを理解しておくべきである。書かれたとき、テキスト文字列CATは自動的に「猫」という単語として認識される。面上でのその位置も記録される。対話装置１００のこのテキスト文字列との対話は自動的に同定された単語CATを呼び出す。
【００３９】
図２Ｃを参照すると、ユーザー書き込みの選択可能項目２４２はまわりに丸が描かれた文字「T」である。ユーザー書き込みの選択可能項目２４２は、対話装置の筆記要素（たとえば図１の筆記要素１１８）を用いてシート２００上に描かれる。ある実施例では、ユーザー書き込みの選択可能項目２４２は当該対話装置の時間機能を表す。その時間機能を実行すると、対話装置は現在時刻を音声で表現する。ある実施例では、当該対話装置はまた現在の日付をも音声で表現する。
【００４０】
ある実施形態では、ひとたびユーザー書き込みの選択可能項目２４２が描かれたら、ユーザーとシート２００との間のさらなる対話を必要とすることなく、関連する時間機能がすぐに実行される。たとえば、時間機能は、ユーザーがいかなる補助的な書き込み（たとえばチェックマーク）をシート２００上に描くことも必要とすることなく、ひとたびユーザー書き込みの選択可能項目２４２が認識されるやすぐに実行されうる。実施例によっては、ユーザーによって補助的な書き込みが与えられるものとし、チェックマーク２１０の記入に基づいて上記した機能が提供されてもよいが、これは必須ではないことを理解しておくべきである。たとえば、ユーザーの操作感を最適にするために追加的なユーザー対話を必要とすることなく機能をすぐ実行することが望ましいことがありうる。
【００４１】
引き続き図２Ｃを参照すると、ユーザー書き込みの選択可能項目２４４はまわりを丸で囲まれた文字「C」である。ユーザー書き込みの選択可能項目２４４は、対話装置の筆記要素（たとえば図１の筆記要素１１８）を用いてシート２００上に描かれる。ある実施例では、ユーザー書き込みの選択可能項目２４４は、図２Ｂに基づいて上記したような当該対話装置の電卓（calculator）機能を表す（たとえばユーザー書き込みの選択可能項目２２０）。
【００４２】
ある実施形態では、ひとたびユーザー書き込みの選択可能項目２４４が描かれたら、ユーザーとシート２００との間のさらなる対話を必要とすることなく、電卓機能の動作に関係する指示メッセージが音声で表現される。たとえば、ひとたびユーザー書き込みの選択可能項目２４４が認識されるや、ユーザーがいかなる補助的な書き込み（たとえばチェックマーク）をシート２００上に描くことも必要とすることなく、ユーザーに電卓またはその一部分を描くよう指示する指示メッセージが音声で表現される。上記したように、実施例によっては、ユーザーによって補助的な書き込みが与えられるものとし、チェックマーク２１０の記入に基づいて上記した機能が提供されてもよいが、これは必須ではないことを理解しておくべきである。たとえば、ユーザーの操作感を最適にするために追加的なユーザー対話を必要とすることなく当該機能の使用についての指示をユーザーに提供することが望ましいことがありうる。
【００４３】
図２Ｄを参照すると、ユーザー書き込みの選択可能項目２５４はまわりに丸が描かれた文字「FT」である。ユーザー書き込みの選択可能項目２５４は、対話装置の筆記要素（たとえば図１の筆記要素１１８）を用いてシート２００上に描かれる。ある実施例では、ユーザー書き込みの選択可能項目２５４は当該対話装置の音楽キーボード機能を表す。
【００４４】
ある実施形態では、ひとたびユーザー書き込みの選択可能項目２５４が描かれたら、ユーザーとシート２００との間のさらなる対話を必要とすることなく、音楽キーボード機能の動作に関係する指示メッセージが音声で表現される。たとえば、ひとたびユーザー書き込みの選択可能項目２５４が認識されるや、ユーザーにキーボード２５６またはその一部分を描くよう指示する指示メッセージが、ユーザーがいかなる補助的な書き込み（たとえばチェックマーク）をシート２００上に描くことも必要とすることなく、音声で表現されうる。
【００４５】
光検出器１２０がスタイラス形対話装置１００の一端にある。光検出器１２０は面上の情報を検出するよう動作しうる。たとえば、光検出器１２０は電荷結合素子を有しうる。ある実施例では、対話装置はまた、光検出器１２０によって検出される面の一部分を照明するための発光器をも有する。光検出器１２０によって検出された情報はプロセッサ１１２に伝送される。
【００４６】
プロセッサ１１２は対話装置１００の機能を実装するための好適な電子装置を含みうる。プロセッサ１１２はユーザー書き込みの選択可能項目を認識することができ、それらのユーザー書き込みの選択可能項目の位置を同定することができ、それにより対話装置１００はさまざまな動作を実行することができる。これらの実施形態において、メモリユニット１１４は、ユーザーによって生成されたいかなるユーザー書き込みの選択可能項目をも面上のその位置に関連付けるためのコンピュータコードを有しうる。
【００４７】
メモリユニット１１４は、対話装置１００の機能のいずれかを実行するためのコンピュータコードを含む。ある実施形態では、メモリユニット１１４に保存され、プロセッサ１１２上で実現されるコンピュータコードは、ユーザー書き込みの選択可能項目のユーザー選択に反応するようになっており、該選択に反応してユーザー書き込みの選択可能項目に関連付けられた機能を実行するよう動作しうる。別の実施形態では、メモリユニット１１４に保存され、プロセッサ１１２上で実現されるコンピュータコードは、音声出力装置１１６に、可能なユーザー書き込みの選択可能項目のリストを音声で表現するよう指示するよう動作しうる。ここで、プロセッサ１１２はユーザーが複数のユーザー書き込みの選択可能項目を書いたことを検出するよう動作可能であり、前記複数のユーザー書き込みの選択可能項目のうちの一つまたは複数のユーザー書き込みの選択可能項目のユーザー選択に反応するようになっているプロセッサ１１２は、前記選択されたユーザー書き込みの選択可能項目のそれぞれに関連付けられた異なる機能を実行するよう動作可能である。
【００４８】
ある実施形態では、プロセッサ１１２は、記号認識またはキャラクタ認識を使った選択に反応してユーザー書き込みの選択可能項目を自動的に同定するよう動作しうる。別の実施形態では、プロセッサ１１２は、ユーザー書き込みの選択可能項目の、それが書かれたときの面上での面位置を自動的に記録するよう動作しうる。プロセッサ１１２は、ユーザー書き込みの選択可能項目の検出された面位置に基づくユーザー選択に反応してユーザー書き込みの選択可能項目を自動的に同定するよう動作しうる。
【００４９】
ある実施形態では、本発明は、対話装置１００のオペレーティングシステムを提供する。そのオペレーティングシステムは、面上のユーザー書き込みの選択可能項目を検出し、そのユーザー書き込みの選択可能項目をある機能と関連付け、ユーザーの前記ユーザー書き込みの選択可能項目との対話に反応して前記関連付けられた機能を実行するよう動作可能である。
【００５０】
別の実施形態では、メモリユニット１１４は、プリントされた文字を認識するためのコンピュータコード、ユーザーの手書きを認識してそのユーザーの手書きを解釈するためのコンピュータコード（たとえば手書き文字認識ソフトウェア）、物品上の位置をそれぞれのプリント要素と相関させるためのコンピュータコード、テキストを音声に変換するためのコード（たとえばテキストトゥースピーチ・エンジン）、メニュー項目を読み上げるためのコンピュータコード、言語の翻訳を実行するためのコンピュータコード（英語‐外国語辞書）などを有していてもよい。テキストを音声に変換するためのソフトウェアはいくつかの異なる販売元から市販されている。
【００５１】
メモリユニット１１４はまた、オーディオおよびビデオ出力のためのコードをも有しうる。たとえば、サウンド効果のためのコード、単語を発音するためのコード、授業計画および教育についてのコード、質問のためのコードなどはみなメモリユニット１１４に保存されていることができる。これらのようなオーディオ出力のためのコードは、物品そのものにではなく、不揮発性メモリに（持続的または半持続的な仕方で、すなわちたとえ対話装置のスイッチがオフにされても当該データが保持されるように）保存されうる。本出願において記載されているこれらおよびその他の機能についてのコンピュータコードがメモリユニット１１４に含められることができ、C、C++などを含むいかなる好適なプログラミング言語を使って作成されてもよい。
【００５２】
メモリユニット１１４は、ROMまたはフラッシュメモリカートリッジのようなリムーバブルメモリユニットであってもよい。他の実施形態では、メモリユニット１１４は一つまたは複数のメモリユニット（たとえば、RAM、ROM、EEPROMなど）を含んでいてもよい。メモリユニット１１４はいかなる好適な磁気的、電子的、電磁的、光学的または電気光学的データ記憶装置を含んでいてもよい。たとえば、一つまたは複数の半導体ベースの素子がメモリユニット１１４内にあってもよい。
【００５３】
音声出力装置１１６は、スピーカーまたはイヤホンまたはヘッドホンを結合するためのオーディオジャック（たとえばイヤホンまたはヘッドホンジャック）を含みうる。ある実施例では、音声出力装置１１６は、可能なユーザー書き込みの選択可能項目のリストを音声で表現するよう動作しうる。音声出力装置１１６はまた、ユーザー書き込みの選択可能項目のユーザー選択に反応して情報を音声で表現するよう動作しうる。
【００５４】
対話装置１００はまた、あらかじめプリントされた面上の選択可能項目に関連付けられた機能を認識して実行するようにも動作可能であることを理解しておくべきである。あらかじめプリントされた面上の選択可能項目のユーザー選択に反応するようになっているある実施例では、プロセッサ１１２は、ユーザーがあらかじめプリントされた選択可能項目を選択するのに反応して該あらかじめプリントされた選択可能項目に関連付けられた機能を実行するよう動作可能である。ある実施形態では、プロセッサ１１２はあらかじめプリントされた選択可能項目を、記号認識を使って自動的に同定するよう動作しうる。ある別の実施形態では、プロセッサ１１２はあらかじめプリントされた選択可能項目を、該あらかじめプリントされた選択可能項目の検出された面位置に基づいて自動的に同定するよう動作しうる。さらに、ある別の実施形態では、プロセッサ１１２はアプリケーションプログラムを、面上の境界で区切られたある特定の領域に基づいて同定するよう動作しうる。境界で区切られた異なる領域が異なるアプリケーションプログラムに関連付けられるようにするのである。
【００５５】
いくつかの実施形態では、前記面はあらかじめプリントされた選択可能項目がある、またはない、１枚の紙のシートでありうる。図３は、本発明のある実施形態に基づくマークのパターンを設けられた紙１５を示している。図３の実施例では、紙１５は、マーク１８のパターンからなる光学的読み取り可能な位置コード１７の形でコード化パターンを設けられている。図３のマーク１８は明確のため大幅に拡大されている。実際には、マーク１８は人間の視覚系では容易なことでは見分けられず、紙１５の上の灰色階調のように見えることもある。ある実施形態では、マーク１８は点として具現されるが、本発明はそれに限定されるものではない。
【００５６】
図４は、図３の位置コード１７の拡大部分１９を示している。対話装置１００（図１）のような対話装置は、位置コード１７の領域のイメージを記録するよう位置付けられる。ある実施例では、当該光デバイスはマーク１８を、ラスタ点２２で交わるラスタ線２１をもつラスタの形の基準系にあてはめる。各マーク１８はあるラスタ点２２に対応する。たとえば、マーク２３はラスタ点２４に対応する。イメージ／ラスタ内のマークについて、マークの、該マークに対応するラスタ点からの変位が決定される。これらの変位を使って、イメージ／ラスタ内のパターンが基準系のパターンと比較される。基準系の各パターンは面７０上の特定の位置に対応している。よって、イメージ／ラスタ内のパターンを基準系のパターンと突き合わせることによって、面７０上での当該パターンの位置、よって光デバイスの面７０に対する位置を決定することができる。
【００５７】
ある実施形態では、シート１５上のマークのパターンは実質不可視のコードである。該コードはユーザーの目には「実質不可視」であり、ページ上の選択可能項目の絶対的または相対的位置に対応しうる。「実質不可視」はまた、ユーザーの目に完全に不可視、またはやや不可視であるコードを含む。たとえば、ユーザーの目にやや不可視である点コードが紙の全面にプリントされている場合、そのシートは通常見る距離から見たときは明灰色の階調をもつように見えることがある。場合によっては、ユーザーが対話装置１００で前記コードをスキャンしたのち、対話装置１００内の音声出力装置１１６はそのコードに関連付けられたユーザー書き込みの選択可能項目に対応する（ビープ音のような無差別の音声出力ではなく）一意的な音声出力を生成する。
【００５８】
ある実施形態では、前記実質不可視のコードは点パターンによって埋め込まれる。可視の、あるいは「サブリミナルに」プリントされた点パターンを読む技術は存在しており、市販されている。これらのプリントされた点パターンはユーザーの目には実質不可視であり、点パターンとして存在しているコードは通常の使用ではユーザーの目によっては検出不可能である（通常のバーコードと違って）。点パターンはたとえば、二進コードにおけるように１と０を表せる小さな点と大きな点の特定の組み合わせによって具現できる。点パターンは、前記プリント要素をプリントするのに使われるインクとは異なるインクでプリントすることができ、そうすれば対話装置１００は点パターンを特定的に読むことができる。
【００５９】
スウェーデンの会社アノト（Anoto）は大きな文書集合にわたってかちあわない使用のための非常に大きな一意的データ空間を可能にするパターンを生成するアルゴリズムを使った技術を採用している。そのパターンは完全にプリントされたとすると、8.5″×11″の任意のページの任意の２ｃｍ角の正方形を一意的に認識できるようにして７０兆ページをカバーする。特定の点パターンを含む用紙はAnotoから市販されている。以下の特許および特許出願はAnotoに譲渡されており、この基本技術を記述しており、すべてここに参照によってその全体においてあらゆる目的について組み込まれる：米国特許第6,502,756号、2002年6月26日に出願された米国特許出願第10/179,966号、WO01/95559、WO01/71473、WO01/75723、WO01/26032、WO01/75780、WO01/01670、WO01/75773、WO01/71475、WO00/73983、WO01/16691。
【００６０】
いくつかの実施形態では、点パターンは、データブロックのマーカー、音声データおよび／または誤り検出データを表すデータのような他の種類のデータは含まなくてもよい。上述したように、対話装置１００におけるプロセッサ１１２は探索表を使ってスタイラスの位置を決定でき、その位置情報に基づいて音声を取得して再生できる。これはいくつかの利点がある。たとえば、マーカー、音声および誤り検出のためのデータがプリントされている紙に比べ、本発明の諸実施形態は、マーカー、音声および誤り検出のためのデータは紙にプリントされる必要がないので、必要とするドット数がより少なくなる。たとえば紙から音声データを省略することによって、実際の音声データが紙の上のスペースを占有しなくてすむので、紙面上のより多くのスペースを対話用にできる。さらに、本発明の諸実施形態では音声のためのコンピュータコードが対話装置１００に保存されているので、紙のしわや破れなどによって再生される音声が損なわれたり変化を受けたりする可能性が少なくなる。
【００６１】
ここでは特に点パターンのコードを記述しているものの、本発明の他の実施形態では他の種類の実質不可視のコードを使うこともできることを理解しておくべきである。たとえば、物品上のアレイ内にバーコードが配置されるなら、赤外線バーコードを使うこともできる。例示的に、１枚の紙は実質不可視のバーコードの100×100のアレイを含み、各バーコードがその紙の上の異なるｘｙ位置に対応するようにできる。アレイ中のバーコードの相対的または絶対的な位置は、対話装置１００のメモリユニット１１４内などに保存される。
【００６２】
前述したように、いくつかの実施形態では、前記実質不可視の諸コードは、シート上の前記複数の場所および／または任意の選択可能項目の位置に直接または間接に関係しうる。いくつかの実施形態では、前記実質不可視のコードは、シート（または他の面）上の前記複数の場所の位置に直接関係することができる。そうした実施形態では、シート上の異なる場所の位置はコードそのものによって与えられうる。たとえば、第一の場所にある第一のコードが、前記第一の場所についての当該シート上での空間座標（たとえば特定のｘｙ位置）についてのコードを含んでおり、第二の場所にある第二のコードが当該シート上の前記第二の場所の空間座標についてのコードを含んでいるなどである。
【００６３】
シート上のさまざまな場所にさまざまなユーザー書き込みの選択可能項目があることができる。これらのユーザー書き込みの選択可能項目は前記コードの上に重ねて形成されうる。たとえば、第一のユーザー書き込みの選択可能項目が前記第一のコードに重なる前記第一の場所に形成されうる。第二のユーザー書き込みの選択可能項目が前記第二のコードに重なる前記第二の場所に形成されるなどである。ユーザーが前記第一のユーザー書き込みの選択可能項目を形成すると、スキャン装置がその形成された第一のプリント要素を認識し、実質同時にその形成された第一のユーザー書き込みの選択可能項目に関連付けられた第一のコードをスキャンする。対話装置１００内のプロセッサ１１２は、前記第一の場所の特定の空間座標を決定でき、前記第一のユーザー書き込みの選択可能項目を前記空間座標と相関させることができる。
【００６４】
ユーザーが前記第二のユーザー書き込みの選択可能項目を形成すると、スキャン装置がその形成された第二のユーザー書き込みの選択可能項目を認識し、実質同時にその第二のコードをスキャンする。次いでプロセッサ１１２は、前記第二の場所の空間座標を決定でき、前記第二のユーザー書き込みの選択可能項目を前記空間座標と相関させることができる。ユーザーはその後次いで、対話装置１００を使って第一および第二のユーザー書き込みの選択可能項目を選択でき、対話装置１００は追加的な処理を実行できる。たとえば、この方法論を使って、ユーザーはユーザー定義のインターフェースまたは機能デバイスを空白の紙面上に作成することができる。
【００６５】
対話装置１００はまた、相対的または絶対的な位置を、前記のメモリユニット１１４内の形成されたユーザー書き込みの選択可能項目に対応付ける、あるいは相関させる機構をも含んでいることができる。この機構は、物品上の特定のユーザー書き込みの選択可能項目に関係するデータを物品上の特定の位置に相関させる探索表などである。探索表はメモリユニット１１４に保存されていることができる。プロセッサ１１２はその探索表を使ってユーザー書き込みの選択可能項目を特定の位置に同定することができ、それによりプロセッサ１１２はその後の動作を実行することができる。
【００６６】
実質不可視のコードをもつ面はいかなる好適な形でもよい。たとえば、その面は１枚の紙、メモ帳、ルーズリーフ用紙、ポスター、プラカード、メニュー、シール、タブ、製品梱包材、箱、トレーディングカード、磁石（たとえば冷蔵庫に貼る磁石）、ホワイトボード、テーブルトップなどでありうる。さらに、その表面はいかなる材料でできていてもよく、材料としては紙、木、金属、プラスチックなどを含むがこれに限定されるものではない。これらの、またはその他の種類のいかなる面でも、あらかじめプリントされた選択可能項目ありでも、なしでも用いることができる。面がシートであれば、そのシートはいかなる好適なサイズのものでもよく、いかなる好適な材料でできていてもよい。たとえば、シートは紙ベースでもよく、あるいはプラスチックフィルムでもよい。いくつかの実施形態では、面は三次元的な表面をもつ三次元的な物品でもよい。その三次元的な表面は、人体をかたどった形、動物（たとえば恐竜）、乗り物、キャラクタまたはその他の形を含みうる。
【００６７】
いくつかの実施形態では、面はシートであり、そのシートはプリントされた文字または数字のようなあらかじめプリントされた選択可能要素（たとえば、ユーザーがそのシートにユーザー書き込みの選択可能項目を作成する前に付けられたマーク）がなくてもよい。他の実施形態では、シート上にあらかじめプリントされた選択可能要素（たとえば、ユーザーがユーザー書き込みの選択可能項目をシート上に作成する前のもの）があってもよい。あらかじめプリントされたプリント要素は、数字、アイコン、文字、丸、単語、記号、線などを含むことができる。たとえば、本発明の諸実施形態は、あらかじめプリントされた注文用紙または投票用紙といったあらかじめプリントされた書式を利用することができる。
【００６８】
対話装置１００は、いかなる好適な形でもよい。ある実施形態では、対話装置１００はスタイラスのような形をしたスキャン装置である。ある実施形態では、対話装置１００はポケットサイズである。前記スタイラスは、プラスチック製または金属製でありうるスタイラス殻を含む。スタイラス殻にはつかむ領域があってもよい。
【００６９】
図５は、本発明のある実施形態に基づく、面上のユーザー書き込みの選択可能項目との対話を容易にするためのプロセス５００の諸ステップのフローチャートを示している。プロセス５００は、本発明のある実施形態に基づく対話装置（たとえば対話装置１００）によって実現される、ユーザー書き込みの選択可能項目、グラフィック要素、書き込み、マークなどの形のユーザー入力を解釈し、要求された機能をユーザーに提供するユーザーインターフェースプロセスの基本動作ステップを描いている。
【００７０】
ステップ５１０で、デバイス１００のコンピュータ実現機能が、書き込み可能面上にユーザー書き込みの選択可能項目を検出する。ステップ５１２で、ユーザー書き込みの選択可能項目が該ユーザー書き込みの選択可能項目の機能とともに認識される。この機能はたとえば、ユーザーがその後作動させるための機能（たとえばメニュー選択肢）の所定のリストを発音できるメニュー機能であることができる。ステップ５１４では、前記ユーザー書き込みの選択可能項目との対話が検出される。この対話は前記ユーザー書き込みの選択可能項目を書くこと、前記ユーザー書き込みの選択可能項目と前記対話装置を用いて対話すること（たとえば前記ユーザー書き込みの選択可能項目をたたくなど）、または関係するユーザー書き込みの選択可能項目（たとえば図２Ｂのチェックマーク２１０）と対話することを含みうる。この機能は前記ユーザー書き込みの選択可能項目と持続的に関連付けられ、それによりそのグラフィック要素アイコンのその後の対話（たとえばたたくこと）によってその機能のその後の利用（たとえば後刻のいつか）を可能にする。たとえば、メニュー機能の場合、リストされるメニュー選択肢が、その後、単にメニューグラフィック要素アイコンを作動させる（たとえばそれをたたく）ことによって後刻のいつかユーザーによって利用されることができる。
【００７１】
このようにして、本発明の諸実施形態は、「ペンと紙」型インターフェースを使って対話装置（たとえば図１の対話装置１００）の機能をナビゲートするためのユーザーインターフェース手段を実現する。ユーザー書き込みの選択可能項目によって実現されるユーザーインターフェースは対話装置１００内で走るいくつかのソフトウェアアプリケーションと対話する方法を提供する。上述したように、対話装置１００への入力は、ユーザーがユーザー書き込みの選択可能項目を作成するだとか、あるいはユーザーがユーザー書き込みのもしくはあらかじめプリントされた選択可能項目と対話するだとかといったようなユーザーの行動を含む。ペンからの出力は音声出力であり、よってこのユーザーインターフェース手段では、ユーザーはペンの用途および機能との「ダイアログ」を続けることができる。換言すれば、このユーザーインターフェースでは、ユーザーは、双方によって認識される項目、すなわちユーザー書き込みの選択可能項目などを作成することができる。それにより、ユーザーとペンとは互いに対話できる。上記したように、双方によって認識される項目は典型的には、ユーザーが紙などの面に描く記号またはマークまたはアイコンである。
【実施例】
【００７２】
図６は、本発明の他の諸実施形態を実現できるペンデバイス１５０のブロック図である。一般に、ペンデバイス１５０は光デバイス、より特定的には光学式読み取り機、光ペンまたはデジタルペンと呼ぶことができる。このデバイスはコンピュータシステムおよびそこに存在するオペレーティングシステムを含みうる。アプリケーションプログラムもそこに存在しうる。
【００７３】
図６の実施形態では、ペンデバイス１５０は殻６２内にプロセッサ３２を含んでいる。ある実施例では、殻６２はペンまたはその他の筆記またはマーク付けの用具または器具の形をもつ。プロセッサ３２は、ペンデバイス１５０の機能を実現するために使われる情報および命令を処理するために動作しうる。これについて以下に述べる。
【００７４】
本実施形態では、ペンデバイス１５０はプロセッサ３２に結合された音声出力装置３６および表示装置４０を含みうる。他の実施形態では、音声出力装置および／または表示装置はペンデバイス１５０からは物理的に離れているが、有線または無線接続のいずれかを通じてペンデバイス１５０と通信している。無線通信については、ペンデバイス１５０はトランシーバーまたは送信機を含みうる（図６には示さず）。音声出力装置３６はスピーカーまたはオーディオジャック（たとえばイヤホンまたはヘッドホンのための）を含みうる。表示装置４０は液晶表示装置（LCD）または何らかの他の好適な種類の表示装置でありうる。
【００７５】
図６の実施形態では、ペンデバイス１５０はペンデバイス１５０を作動させ、制御するためのプロセッサ３２に結合された入力ボタン３８を含みうる。たとえば、入力ボタン３８により、ユーザーは情報およびコマンドをペンデバイス１５０に入力することができ、あるいはペンデバイス１５０のスイッチをオンもしくはオフにすることができる。ペンデバイス１５０はまた、バッテリーなどの電源３４をも含む。
【００７６】
ペンデバイス１５０はまた、プロセッサ３２に結合された、光源または発光器４４ならびに光センサーまたは光検出器４２をも含む。たとえば発光器４４は発光ダイオード（LED）であってよい。光検出器４２はたとえば電荷結合素子（CCD）または相補的金属酸化物半導体（CMOS）撮像素子アレイであってよい。発光器４４は面７０またはその一部分を照明する。前記面７０から反射された光は光検出器４２において受光され、記録される。
【００７７】
面７０は１枚の紙などであるが、本発明はそれに限定されるものではない。たとえば、面７０はLCD（液晶表示装置）、CRT（陰極線管）、タッチスクリーンまたはその他の同様の種類の能動的な電子的表面（たとえばラップトップパソコン、タブレットパソコンのディスプレイ）であってもよい。同様に、面７０は電子インクを含む面または再構成可能ペーパー（reconfigurable  paper）を含む面であることもできる。
【００７８】
ある実施形態では、面７０上にマークのパターンがプリントされる。ペンデバイス１５０の、発光器４４および光検出器４２を保持する端は、面７０に押しつけて、あるいは近づけて位置される。ペンデバイス１５０が面７０に対して動かされるにつれ、発光器４４と光検出器４２とによってマークのパターンが読み取られ、記録される。上でより詳細に議論したように、ある実施形態では、面７０上のマークはペンデバイス１５０の面に対する位置を決定するために使われる（図３および図４参照）。別の実施形態では、面７０上のマークは情報をエンコードするために使われる（図８および図９参照）。取り込まれた面７０のイメージは、マークをデコードしてエンコードされた情報を復元するためにペンデバイス１５０によって解析（処理）される。
【００７９】
情報をエンコードするためのマーク付けおよびそのようなマークの電子的装置による読み取り／記録に関するさらなる記述は、以下の特許および特許出願において見出すことができる。これらはAnotoに譲渡されており、みなここに参照によってその全体において組み込まれる：米国特許第6,502,756号、2002年6月26日に出願された米国特許出願第10/179,966号、WO01/95559、WO01/71473、WO01/75723、WO01/26032、WO01/75780、WO01/01670、WO01/75773、WO01/71475、WO00/73983、WO01/16691。
【００８０】
図６のペンデバイス１５０はまた、プロセッサ３２に結合されたメモリユニット４８をも含んでいる。ある実施例では、メモリユニット４８は、メモリカートリッジまたはメモリカードとして具現されるリムーバブルメモリユニットである。別の実施例では、メモリユニット４８は、プロセッサ３２のための情報および命令を保存するためのランダムアクセス（揮発性）メモリ（RAM）および読み出し専用（不揮発性）メモリ（ROM）を含む。
【００８１】
図６の実施形態では、ペンデバイス１５０は、ペンデバイス１５０の光検出器４２および発光器４４と同じ側の端に位置する筆記要素５２を含む。筆記要素５２はたとえばペン、鉛筆、マーカーなどであることができ、引っ込み可能であってもなくてもよい。ある種のアプリケーションでは、筆記要素５２は必要とされない。他のアプリケーションでは、ユーザーは面７０上に文字、単語、数字、数学的記号などといったキャラクタを含むマーク（たとえばグラフィック要素またはユーザー書き込みの選択可能項目）を付けるために筆記要素５２を使うことができる。こうしたマークはスキャン（撮像）され、面７０上での位置に従ってペンデバイス１５０によって解釈されることができる。ユーザー生成マークの位置は、面７０上にプリントされているマークのパターンを使って決定できる（前記の図３および図４の議論を参照）。ある実施形態では、ユーザー生成マークは、手書きキャラクタを認識する光学式文字認識（OCR）技術を使ってペンデバイス１５０によって解釈できる。
【００８２】
上述したように、面７０は、その上に書くのに好適ないかなる面でもよく、紙がその例であるが、紙以外の材料からなる面を使ってもよい。また、面７０は平らであってもなくてもよい。たとえば、面７０は球の表面として具現することもできる。さらに、面７０は通常の（たとえば8.5×11インチ）紙のページより小さかったり、あるいは大きかったりしてもよい。
【００８３】
図７は、本発明の諸実施形態が実現できるもう一つの装置２５０のブロック図である。装置２５０はプロセッサ３２、電源３４、音声出力装置３６、入力ボタン３８、メモリユニット４８、光検出器４２、発光器４４および筆記要素５２という本稿で先に述べたものを含んでいる。ただし、図７の実施形態では、光検出器４２、発光器４４および筆記要素５２は光デバイス２５１の殻６２の内部に実装され、プロセッサ３２、電源３４、音声出力装置３６、入力ボタン３８およびメモリユニット４８はプラットフォーム２５２として殻７４の内部に実装される。本実施形態では、光デバイス２５１はプラットフォーム２５２にケーブル１０２によって結合されているが、代わりに無線接続を使うこともできる。図７に示されている要素は、上記したのとは別の組み合わせで光デバイス２５１とプラットフォーム２５２との間で分配されてもよい。
【００８４】
戻って図６を参照すると、面７０上の４つの位置または領域が文字Ａ、Ｂ、Ｃ、Ｄによって示されている（これらの文字は面７０にプリントされているわけではなく、面７０上の位置を示すためにここで使っている）。面７０上にはそのような領域が多数あってもよい。面７０上の各領域には一意的なマークパターンが関連付けられている。面７０上の諸領域は重なり合ってもよい。一部のマークが重なり合う複数の領域の間で共有されていたとしても、ある領域内のマークのパターンはそれでもその領域に一意的だからである。
【００８５】
図６の例では、ペンデバイス１５０（詳しくは筆記要素５２）を使って、ユーザーは、面７０上の位置Ａにたとえば丸囲みの文字「Ｍ」からなるキャラクタを作成しうる（一般に、ユーザーがこのキャラクタを作成するのは面７０上のいかなる位置であってもよい）。ユーザーはそのようなキャラクタを、ペンデバイス１５０からのプロンプト（たとえば音声プロンプト）に応答して作成しうる。ユーザーがそのキャラクタを作成したとき、ペンデバイス１５０は、そのキャラクタが作成された位置に一意的に存在するマークのパターンを記録する。ペンデバイス１５０は、そのマークのパターンを作成されたばかりのキャラクタと関連付ける。ペンデバイス１５０がその後丸囲みの「Ｍ」の上に位置されると、ペンデバイス１５０はそれに関連付けられたマークのパターンを認識し、その位置を丸囲みの「Ｍ」に関連付けられたものとして認識する。要するに、ペンデバイス１５０はキャラクタを、該キャラクタそのものを認識することによるのではなく、該キャラクタが位置する場所のマークパターンを使って認識するのである。
【００８６】
ある実施例では、上記したキャラクタは、ペンデバイス１５０の一つまたは複数のコマンドに関連付けられた「グラフィック要素」をなす。ペンデバイス１５０の実装する、コマンドをなす機能に関連付けられ、それにアクセスするために用いられるグラフィック要素は、以下では、ペンデバイス１５０の機能またはアプリケーションへのアクセスに関連付けられていないその他の書かれたキャラクタ、マークなどから区別するために、「グラフィック要素アイコン」と称することを注意しておく。たった今述べた例では、ユーザーは、特定のコマンドを同定するグラフィック要素アイコンを作成する（書く）ことができ、そのグラフィック要素アイコン（たとえば書かれた文字）の上にペンデバイス１５０を位置させるだけで繰り返しそのコマンドを呼び出すことができる。ある実施形態では、筆記具は、グラフィックキャラクタの上に位置される。換言すれば、ユーザーは、ペンデバイス１５０があるコマンドを呼び出すたびにそのコマンドのためのキャラクタを書く必要はない。その代わり、ユーザーはコマンドに対するグラフィック要素アイコンを一度だけ書き、その同じ書かれたグラフィック要素アイコンを使ってそのコマンドを繰り返し呼び出すことができる。この性質は「持続性」と称され、以下でより詳細に述べる。これは、ユーザー書き込みによるのではなく面上にあらかじめプリントされている、やはりペンデバイス１５０によって選択可能なグラフィック要素アイコンに関してもあてはまる。
【００８７】
ある実施形態では、グラフィック要素アイコンはまわりを囲む線をもつ文字または数字を含みうる。文字または数字を囲む線は円、卵形、四角、多角形などであってもよい。そのようなグラフィック要素は、通常の文字および数字ではなく、ユーザーによって選択できる「ボタン」のように見える。この種のグラフィック要素アイコンを作成することによって、ユーザーは機能アイコンのようなグラフィック要素アイコンを、ペンデバイス１５０によってデータとして扱われうる通常の文字および数字から視覚的に区別することができる。また、この種のグラフィック要素アイコンを作成することによって、ペンデバイスは、機能的またはメニュー項目型のグラフィック要素を、機能的でないまたはメニュー項目型でないグラフィック要素から区別しやすくできる。たとえば、ユーザーは、丸で囲まれた文字「M」であるグラフィック要素アイコンを作成することによって、対話的な「メニュー」グラフィック要素アイコンを作成することができる。
【００８８】
ペンデバイス１５０は、重なっている円または四角とその中の文字「M」とを、単語中の文字「M」とは区別される機能的なグラフィック要素と認識するようプログラムされうる。前記グラフィック要素アイコンはまた、ある距離（たとえば1インチ、1.5インチなど）以内でそれに隣接する小さな「チェックマーク」をも含みうる。チェックマークはそのグラフィック要素アイコンと関連付けられる。そのような機能的なグラフィック要素を認識し、それを他の機能的でないグラフィック要素から区別するためのコンピュータコードが、当該ペンデバイス内にあることができる。プロセッサは前記グラフィック要素アイコンを認識することができ、それらのグラフィック要素アイコンの位置を同定することができ、ペンデバイス１５０がそれらに関連付けられたさまざまな機能、動作などを実行できるようにすることができる。これらの実施形態において、前記メモリユニットは、ユーザーによって生成された任意のグラフィック要素を面上でのその位置に相関させるためのコンピュータコードを含みうる。ペンデバイス１５０は、「下降タッチ」または「下降ストローク」または面上に置かれる（たとえばユーザーが書き始めるときに）ことを認識し、「上昇ストローク」または前記面から引き上げられる（たとえばユーザーが書き終わったときに）ことを認識する。そのような下降ストロークおよび上昇ストロークはペンデバイス１５０によって、たとえば、ある機能がいつ呼び出され、どの特定の機能／アプリケーションが呼び出されているかについての指標（たとえばOCR処理のトリガー）として解釈されることができる。特に、上昇ストロークにすばやく続けられる下降ストローク（たとえば、ペンデバイスで面の上をたたくこと）は、アプリケーションに依存したある特定の動作（たとえば、グラフィック要素アイコン、テキスト文字列などの選択）と関連付けられることができる。
【００８９】
一般的な用語「グラフィック要素」がユーザーによって作成されるいかなる好適なマークをも含みうるものであり、当該デバイスの一つまたは複数の機能にアクセスするために使われる機能的なグラフィック要素を指すグラフィック要素アイコンとは区別されるものであることを注意しておく。
【００９０】
上述したように、グラフィック要素アイコンは、ペンデバイス１５０によって作成されることができ（たとえばユーザーが描く）、あるいはまたあらかじめ存在していることもできる（たとえば紙面上のプリントされた要素）ことを注意しておく。グラフィック要素の例は、これに限定されるものではないが、記号、文字および／もしくは数字のような印、キャラクタ、単語、図形、線などを含む。その形は規則的であっても不規則であってもよい。ユーザー書き込み／作成のグラフィック要素は典型的には、ペンデバイス１５０を使って作成される。
【００９１】
さらに、グラフィック要素アイコンは、常にではないが通例、キャラクタ（たとえば文字「M」）のまわりに囲み線（たとえば丸）を組み込んで、ユーザーおよびペンデバイス１５０の両者にとって区別性を増すようにしている。たとえば、ある実施形態では、キャラクタのまわりの丸を書き終わったあとの上昇ストロークによって、ユーザーがグラフィック要素アイコンの作成をちょうど終えたことをペンデバイス１５０に明確に示すことができる。
【００９２】
図８Ａおよび図８Ｂは、本発明のある実施形態に基づくコンピュータ実現プロセス８００の諸ステップのフローチャートを示している。プロセス８００は、本発明のある実施形態に基づくある装置（たとえば図１の対話装置１００）によって実現される機能と対話するようユーザーに音声で指示するための、グラフィック要素、書き込み、マークなどの形でのユーザー入力を解釈し、その要求された機能に関する音声指示をユーザーに与えるプロセスの基本動作ステップを描いている。
【００９３】
プロセス８００は、図８Ａのステップ８０５で始まる。ここで対話装置１００のコンピュータ実現機能はある機能をユーザー書き込みの選択可能項目と関連付ける。ある実施形態では、対話装置１００は、実行可能アプリケーションプログラム、メニュー項目、アプリケーションオプション選択手段またはデータのインスタンスといったいくつかの機能をその中に保存して持っている。これらの機能はそれぞれのユーザー書き込みの選択可能項目と関連付けられている。たとえば、まわりを囲む丸をもつ文字C（たとえば、図２Ｃのユーザー書き込みの選択可能項目２４４）は電卓機能に関連付けられたものでありうる。
【００９４】
ステップ８１０では、対話装置はある面上に書かれたユーザー書き込みの選択可能項目を認識する。前記ユーザー書き込みの選択可能項目はユーザーが作成する。ある実施形態では、ユーザー書き込みの選択可能項目は、光検出器１２０を使って筆記要素１１８の位置を光学的に記録することによって認識される。ペンデバイス１００は、前記位置の画像認識を実行することによって前記ユーザー書き込みの選択可能項目を認識する。ある実施形態では、ユーザー書き込みの選択可能項目の認識は、ユーザー書き込みの選択可能項目が完成したことを示す終了イベントを検出するのに反応して実行される。ユーザーが前記ユーザー書き込みの選択可能項目を書き終わると、対話装置１００は、たとえば不活動（たとえばユーザーがもはや書き込みを行っていない）をデータ入力終了イベントとして認識することなどによってユーザーが終えたという事実を認識する。このようにして、「時間切れ」機構を使ってデータ入力の終了を認識できる。もう一つ終了イベントとして可能なのは、ユーザーが単数または複数の当該文字のまわりに丸を完成させるということである。終了イベントのさらなる諸例は、2005年1月12日にJames  Marggraff  et  al.によって出願された“TERMINATION  EVENTS”と題する、本出願人に譲渡された米国特許出願、事務所整理番号LEAP-P0320、出願番号第11/035,003号において記載されており、該出願はここにその全体において組み込まれる。
【００９５】
ある実施形態では、ステップ８１５で示されるように、ユーザーが面上にいかなる補助的な書き込み（たとえばチェックマーク）を描くことも必要とすることなく機能が実行される。たとえば、前記機能が時間機能の場合、ひとたび時間機能に関連付けられたユーザー書き込みの選択可能項目が認識されれば、その時間機能はすぐに実行される。時間機能の場合、現在時刻が音声で表現されうる。ステップ８１５は任意的であり、プロセス８００においてこの時点では機能を実行する必要はないことは理解しておくものとする。
【００９６】
ステップ８２０では、前記のユーザー書き込みの選択可能項目の認識に反応して、前記関連付けられた機能の動作に関係した第一の指示メッセージが、当該面上でユーザーからのさらなる対話を必要とすることなく（たとえばユーザーがチェックマークのようないかなる補助的な書き込みを描くことも必要とすることなく）音声で表現される。ある実施形態では、前記第一の指示メッセージはユーザーに、該ユーザーが前記機能と対話できるようにする少なくとも一つのユーザーインターフェース要素を描くよう指示する。たとえば、図２Ｃを参照すると、ユーザー書き込みの選択可能項目２４４の認識に反応して、ユーザーに電卓を描くための枠を描くよう指示する指示メッセージが音声で表現される。別の例では、図２Ｄを参照すると、ユーザー書き込みの選択可能項目２５４の認識に反応して、ユーザーに二本の水平線を描くよう指示する指示メッセージが音声で表現される。
【００９７】
ステップ８２５では、前記第一の指示メッセージが音声で表現されてから所定の時間（たとえば３秒または５秒）内に書き込み（たとえばユーザーインターフェース要素）が面上に描かれたかどうかが判定される。所定の時間期間内に書き込みが描かれなかったとすれば、ステップ８３０で示すように、前記第一の指示メッセージが反復される。代替的に、面上に書き込みが描かれていたら、プロセス８００は図８Ｂのステップ８３５へと進む。
【００９８】
ここで図８Ｂを参照すると、ステップ８３５では、本発明のある実施形態によれば、ユーザーインターフェース要素が面上に適正に描かれたかどうかが判定される。たとえば、上記の電卓機能を考える。ユーザーは最初に枠を描くよう指示される。ひとたび面上で書き込みが検出されれば、対話装置１００はそれが適正に描かれているかどうかを判定する。電卓機能の場合、対話装置１００は、ユーザーが枠を描いたかどうか、およびその枠が追加的なユーザーインターフェース要素（たとえば数字および演算子）を描くために適切な大きさであるかどうかを判定する。
【００９９】
ユーザーがユーザーインターフェース要素を適正に描いていなかった場合、ステップ８４０で示すようにユーザーがユーザーインターフェース要素を適正に描くべき仕方についてのヒントを含む第二の指示メッセージが音声で表現される。たとえば、ユーザーが電卓を描くべき枠を描いたが、すべての必要な情報を収めるには小さすぎると判定された場合、第二の指示メッセージはより大きな枠を描くようユーザーに指示することができる。別の例では、音楽キーボード機能を使おうとしており、最初に二本の水平線を引くよう指示されたユーザーを考える。ユーザーが描いた線が水平でない（たとえば垂直または対角線状）と判定された場合、第二の指示メッセージはそのユーザーに水平線とは横方向であることを伝えてもよい。
【０１００】
ひとたびユーザーインターフェース要素が適正に描かれたとすれば、プロセス８００はステップ８４５および／またはステップ８５０に進む。ステップ８４５および８５０は任意的であり、実装するのはこれらのステップの一方または両方とすることができることは理解されるものとする。
【０１０１】
ステップ８４５では、第三の指示メッセージが表現される。たとえば、ユーザーは電卓の枠の中に０から９の数字を書くよう指示されうる。するとプロセス８００は、書き込みが書かれたかどうか、およびその書き込みが適正であるかどうかを判定する、ステップ８２５から８４０で述べたものに似たステップを実行しうることは理解されるであろう。また、ユーザーにユーザーインターフェース要素を描くよう指示するための指示メッセージはいくつ音声で表現してもよいことも理解されるであろう。ユーザーインターフェース要素の複雑さに応じて、特定のユーザーインターフェース要素を描く方法をユーザーに精確に説明するためにはいくつかの指示メッセージが必要となりうる。たとえば、シャープやフラットのキーに加えて音量調節およびテンポ調節をもつ音楽キーボードは、シャープやフラットのキー、音量調節またはテンポ調節を含まない音楽キーボードよりも多くの指示メッセージを必要とすることがある。
【０１０２】
ステップ８５０では、当該機能が実行される。たとえば、ひとたび電卓が描かれたら、ユーザーはその電卓と対話して数学的計算を実行することができる。ある実施例では、電卓の使用準備ができたことをユーザーに伝えるメッセージが音声で表現される。
【０１０３】
このようにして、本発明の諸実施形態は、ユーザーに、選択された機能の使用に関する指示メッセージを提供する。特に、指示メッセージは当該機能を実行するのに先立って、ユーザーが面とさらなる対話をすることを必要とすることなく音声で表現される。たとえば、ユーザーが電卓を利用するためには、まず電卓を描かなければならない。ユーザーは電卓機能を実行するのに先立って必要なユーザーインターフェース要素を描くよう指示される。
【０１０４】
図９は、本発明のある実施形態に基づく、コンピュータ実現プロセス９００の諸ステップのフローチャートを示している。プロセス９００は、本発明のある実施形態に基づくある装置（たとえば図１の対話装置１００）によって実現される機能を自動的に実行するための、グラフィック要素、書き込み、マークなどの形でのユーザー入力を解釈し、その要求された機能に関する音声指示をユーザーに与えるプロセスの基本動作ステップを描いている。
【０１０５】
プロセス９００は、ステップ９０５で始まる。ここで対話装置１００のコンピュータ実現機能はある機能をユーザー書き込みの選択可能項目と関連付ける。ある実施形態では、対話装置１００は、実行可能アプリケーションプログラム、メニュー項目、アプリケーションオプション選択手段またはデータのインスタンスといったいくつかの機能をその中に保存して持っている。これらはそれぞれのユーザー書き込みの選択可能項目と関連付けられている。たとえば、まわりを囲む丸をもつ文字T（たとえば、図２Ｃのユーザー書き込みの選択可能項目２４２）は時間機能に関連付けられたものでありうる。
【０１０６】
ステップ９１０では、対話装置はある面上に書かれたユーザー書き込みの選択可能項目を認識する。前記ユーザー書き込みの選択可能項目はユーザーが作成する。ある実施形態では、ユーザー書き込みの選択可能項目は、光検出器１２０を使って筆記要素１１８の位置を光学的に記録することによって認識される。ペンデバイス１００は、前記位置の画像認識を実行することによって前記ユーザー書き込みの選択可能項目を認識する。ある実施形態では、ユーザー書き込みの選択可能項目の認識は、ユーザー書き込みの選択可能項目が完成したことを示す終了イベントを検出するのに反応して実行される。ユーザーが前記ユーザー書き込みの選択可能項目を書き終わると、対話装置１００は、たとえば不活動（たとえばユーザーがもはや書き込みを行っていない）をデータ入力終了イベントとして認識することなどによってユーザーが終えたという事実を認識する。このようにして、「時間切れ」機構を使ってデータ入力の終了を認識できる。もう一つ終了イベントとして可能なのは、ユーザーが単数または複数の当該文字のまわりに丸を完成させるということである。終了イベントのさらなる諸例は、米国特許出願2005年1月12日にJames  Marggraff  et  al.によって出願された“TERMINATION  EVENTS”と題する、本出願人に譲渡された米国特許出願、事務所整理番号LEAP-P0320、出願番号第11/035,003号において記載されており、該出願はここにその全体において組み込まれる。
【０１０７】
ステップ９１５では、前記機能の実行は、ユーザーと面との間のさらなる対話を必要とすることなく（たとえばユーザーがチェックマークのようないかなる補助的な書き込みを描くことも必要とすることなく）すぐに行われる。たとえば、前記機能が時間機能の場合、ひとたび時間機能に関連付けられたユーザー書き込みの選択可能項目が認識されれば、その時間機能はすぐに実行される。時間機能の場合、現在時刻が音声で表現されてもよい。
【０１０８】
ステップ９２０では、当該機能が実行されてから所定の時間（たとえば３秒または５秒）内にユーザーとユーザー書き込みの選択可能項目との対話があるかどうかが判定される。所定の時間期間内にユーザーの対話がなかったとすれば、ステップ９２５で示すように、関連付けられた機能の動作に関係した第一の指示メッセージが、ユーザーからのさらなる対話を必要とすることなく音声で表現される。たとえば、当該機能が時計機能である場合、その関連付けられているユーザー書き込みの選択可能項目と対話することで時刻が繰り返されることをユーザーに伝える指示メッセージが音声で表現されうる。
【０１０９】
あるいはまた、所定の時間内にユーザーのユーザー書き込みの選択可能項目との対話があると判定された場合、ステップ９３０で示すように、当該機能は再実行される。たとえば、図２Ｃを参照すると、ユーザーがユーザー書き込みの選択可能項目２４２と対話する（たとえばたたく）場合、現在時刻が音声で表現される。ある実施形態では、ユーザー書き込みの選択可能項目２４２との対話のたびに時間機能は現在時刻と現在日時との間でトグルする。このようにして、本発明の諸実施形態はユーザーに選択された機能のすぐの実行を提供する。特に、当該機能はユーザーが面とさらなる対話をすることを必要とすることなく実行される。したがって、ユーザーは、ある種類の情報を提供する機能がすぐに実行されうるような効率的なユーザーインターフェースを提供される。
【０１１０】
本発明の諸実施形態は、ペンデバイスの位置決定のためにマークによってエンコードされた面を使うコンテキストにおいて記載されてきたが、本発明の実施形態は、エンコードされた面を必要としないその他の手段を使って位置を決定するペンデバイスとともに使用するのにも好適であることを注意しておく。たとえば、ある実施形態では、ペンデバイスは、たとえば動きセンサー、ジャイロスコープなどといった一つまたは複数の場所特定機構を組み込むことができ、与えられる面の精密な位置を精確に保存するよう構成されることができる。前記面の精密な位置は、たとえば、当該面（たとえば長方形の用紙）の向かい合う角を順次タッチすることによって保存できる。するとペンデバイスは、ユーザーによって面上に書かれたグラフィック要素の位置を、保存されている面の精密な位置と自らの位置決定手段の結果とを比較することによって認識する。
【０１１１】
本発明、ある機能と対話するようユーザーに音声で指示する方法のさまざまな実施形態がこうして記載されている。本発明は特定の実施形態において記述されてきたが、本発明がそのような実施形態によって限定されるものと解釈されるべきではなく、付属の請求項に従って解釈されるべきであることは理解されるであろう。
【図面の簡単な説明】
【０１１２】
【図１】本発明のある実施形態に基づく対話装置を示す図である。
【図２Ａ】本発明の諸実施形態に基づく、例示的な紙面上のユーザー書き込みの選択可能項目を示す図である。
【図２Ｂ】本発明の諸実施形態に基づく、例示的な紙面上のユーザー書き込みの選択可能項目を示す図である。
【図２Ｃ】本発明の諸実施形態に基づく、例示的な紙面上のユーザー書き込みの選択可能項目を示す図である。
【図２Ｄ】本発明の諸実施形態に基づく、例示的な紙面上のユーザー書き込みの選択可能項目を示す図である。
【図３】本発明のある実施形態に基づく、マークのパターンをもつ例示的な紙面を示す図である。
【図４】本発明のある実施形態に基づく、例示的な紙面のマークのパターンの拡大を示す図である。
【図５】本発明のある実施形態に基づく、面上のユーザー書き込みの選択可能項目との対話を容易にするためのプロセスの諸ステップのフローチャートである。
【図６】本発明の諸実施形態が実装されうる別の装置のブロック図である。
【図７】本発明の諸実施形態が実装されうる別の装置のブロック図である。
【図８Ａ】本発明のある実施形態に基づく、ユーザーにある機能と対話するよう音声で指示するプロセスのフローチャートの前半である。
【図８Ｂ】本発明のある実施形態に基づく、ユーザーにある機能と対話するよう音声で指示するプロセスのフローチャートの後半である。
【図９】本発明のある実施形態に基づく、ある機能を自動的に実行するためのプロセスのフローチャートである。
【符号の説明】
【０１１３】
１５  シート
１７  位置コード
１８  マーク
１９  位置コードの拡大部分
２１  ラスタ線
２２  ラスタ点
２３  マーク
２４  ラスタ点
３２  プロセッサ
３４  電源
３６  音声出力装置
３８  入力ボタン
４０  表示装置
４２  光検出器
４４  発光器
４８  メモリユニット
５２  筆記要素
６２  殻
７０  面
７４  殻
１００  対話装置
１０２  ケーブル
１１２  プロセッサ
１１４  メモリユニット
１１６  音声出力装置
１１８  筆記要素
１２０  光検出器
１２２  バス
１３０  殻
１５０  装置
２００  シート
２０２  文字「M」
２０４  囲みの丸
２０６  選択可能項目
２１０  チェックマーク
２２０  選択可能項目
２３０  データ
２４２  選択可能項目
２４４  選択可能項目
２５０  装置
２５１  光デバイス
２５２  プラットフォーム
２５４  選択可能項目
２５６  キーボード
５１０  少なくとも一つのユーザー書き込みの選択可能項目を検出
５１２  ユーザー書き込みの選択可能項目とそれに関連付けられた機能を認識
５１４  ユーザー書き込みの選択可能項目との対話を検出
５１６  対話に反応して関連付けられた機能を実行
８０５  ある機能をユーザー書き込みの選択可能項目と関連付ける
８１０  面上のユーザー書き込みの選択可能項目を認識
８１５  機能を実行
８２０  ユーザーからのさらなる対話を必要とすることなく機能の動作に関係した第一の指示メッセージを音声で表現
８２５  所定の時間期間内に書き込みあり？
８３０  第一の指示メッセージを繰り返す
８３５  ユーザーインターフェース要素は適正に描かれているか？
８４０  第二の指示メッセージを音声で表現
８４５  第三の指示メッセージを音声で表現
８５０  機能を実行
９０５  ある機能をユーザー書き込みの選択可能項目と関連付ける
９１０  面上のユーザー書き込みの選択可能項目を認識
９１５  ユーザーと面との間のさらなる対話をまず必要とすることなくすぐに機能を実行
９２０  所定の時間期間内にユーザー対話あり？
９２５  ユーザーからのさらなる対話を必要とすることなく機能の動作に関係した第一の指示メッセージを音声で表現
９３０  機能を再実行
【図１】
2007128481.tif 000003
【図２Ａ】
2007128481.tif 000004
【図２Ｂ】
2007128481.tif 000005
【図２Ｃ】
2007128481.tif 000006
【図２Ｄ】
2007128481.tif 000007
【図３】
2007128481.tif 000008
【図４】
2007128481.tif 000009
【図５】
2007128481.tif 000010
【図６】
2007128481.tif 000011
【図７】
2007128481.tif 000012
【図８Ａ】
2007128481.tif 000013
【図８Ｂ】
2007128481.tif 000014
【図９】
2007128481.tif 000015
【外国語明細書】
2007128481.tif 000016
2007128481.tif 000017
2007128481.tif 000018
2007128481.tif 000019
2007128481.tif 000020
2007128481.tif 000021
2007128481.tif 000022
2007128481.tif 000023
2007128481.tif 000024
2007128481.tif 000025
2007128481.tif 000026
2007128481.tif 000027
2007128481.tif 000028
2007128481.tif 000029
2007128481.tif 000030
2007128481.tif 000031
2007128481.tif 000032
2007128481.tif 000033
2007128481.tif 000034
2007128481.tif 000035
2007128481.tif 000036
2007128481.tif 000037
2007128481.tif 000038
2007128481.tif 000039
2007128481.tif 000040
2007128481.tif 000041
2007128481.tif 000042
2007128481.tif 000043
2007128481.tif 000044
2007128481.tif 000045
2007128481.tif 000046
2007128481.tif 000047
2007128481.tif 000048
2007128481.tif 000049
2007128481.tif 000050
2007128481.tif 000051
2007128481.tif 000052
2007128481.tif 000053
2007128481.tif 000054
2007128481.tif 000055
2007128481.tif 000056
2007128481.tif 000057
2007128481.tif 000058
2007128481.tif 000059
2007128481.tif 000060
2007128481.tif 000061
2007128481.tif 000062
2007128481.tif 000063
2007128481.tif 000064
2007128481.tif 000065
2007128481.tif 000066
2007128481.tif 000067
2007128481.tif 000068
2007128481.tif 000069
2007128481.tif 000070
2007128481.tif 000071
【図１】
2007128481.tif 000072
【図２Ａ】
2007128481.tif 000073
【図２Ｂ】
2007128481.tif 000074
【図２Ｃ】
2007128481.tif 000075
【図２Ｄ】
2007128481.tif 000076
【図３】
2007128481.tif 000077
【図４】
2007128481.tif 000078
【図５】
2007128481.tif 000079
【図６】
2007128481.tif 000080
【図７】
2007128481.tif 000081
【図８Ａ】
2007128481.tif 000082
【図８Ｂ】
2007128481.tif 000083
【図９】
2007128481.tif 000084