(57)【要約】  対話的装置が開示される。当該対話的装置は、スタイラス殻と、該スタイラス殻に結合されたプロセッサと、（ｉ）スタイラスを使って作成された複数のグラフィック要素を認識するためのコンピュータコード、（ｉｉ）前記スタイラスを使ってのユーザー定義シーケンスにおける前記グラフィック要素の少なくとも二つの選択を認識するためのコンピュータコード、（ｉｉｉ）前記形成されたグラフィック要素に関係する少なくとも一つの音声出力を再生するためのコンピュータコードを有するメモリユニットと、音声出力装置とを含む。
2007504565.tif 000002
【特許請求の範囲】
【請求項１】
スタイラスを使ってグラフィック要素を作成し、
前記グラフィック要素の作成後に複数のメニュー項目中の少なくとも一つのメニュー項目の音声読み上げを聞き、
前記複数のメニュー項目からメニュー項目を選択する、
ことを含むことを特徴とする方法。
【請求項２】
前記スタイラスが、プロセッサ、放出器、検出器、スピーカーを有する対話的装置の形であって、前記放出器、検出器、スピーカーが前記プロセッサに動作的に結合していることを特徴とする、請求項１記載の方法。
【請求項３】
前記グラフィック要素を前記スタイラスを用いて（ａ）の後（ｂ）の前に選択することをさらに含むことを特徴とする、請求項１記載の方法。
【請求項４】
前記グラフィック要素がプリント要素であることを特徴とする、請求項１記載の方法。
【請求項５】
前記スタイラスがアンテナを有することを特徴とする、請求項１記載の方法。
【請求項６】
前記グラフィック要素が紙面上に作成されることを特徴とする、請求項１記載の方法。
【請求項７】
前記グラフィック要素が記号を含むことを特徴とする、請求項１記載の方法。
【請求項８】
前記グラフィック要素が記号および該記号を囲む線を含むことを特徴とする、請求項１記載の方法。
【請求項９】
ユーザーが前記メニュー項目を選択したのち、前記スタイラスに動作的に付随している音声合成器がユーザーに追加的なグラフィック要素を作成するよう指示を与えることを特徴とする、請求項１記載の方法。
【請求項１０】
前記複数のメニュー項目が、電卓メニュー項目、調査メニュー項目およびゲームメニュー項目のうちの少なくとも一つを含むことを特徴とする、請求項１記載の方法。
【請求項１１】
スタイラス殻と、
前記スタイラス殻に結合したプロセッサと、
（ｉ）ユーザーが前記スタイラスを使って作成したグラフィック要素を認識するためのコンピュータコード、（ｉｉ）前記グラフィック要素がユーザーによって作成された後に複数のメニュー項目中の少なくとも一つのメニュー項目の音声読み上げを再生するためのコンピュータコード、（ｉｉｉ）前記複数のメニュー項目からのユーザーによるメニュー項目の選択を認識するためのコンピュータコードを有するメモリユニットと、
音声出力装置と、
を有する対話的装置であって、前記音声出力装置および前記メモリユニットが前記プロセッサに動作的に結合していることを特徴とする対話的装置。
【請求項１２】
前記プロセッサ、前記音声出力装置、前記メモリユニットが前記スタイラス殻の内側にあることを特徴とする、請求項１１記載の対話的装置。
【請求項１３】
前記プロセッサ、前記音声出力装置、前記メモリユニットが前記スタイラス殻に結合されているプラットフォーム内にあることを特徴とする、請求項１１記載の対話的装置。
【請求項１４】
前記プロセッサ、前記音声出力装置、前記メモリユニットがみな前記スタイラス殻の内側にあり、前記スタイラス殻がさらに前記プロセッサに結合された発光器および光検出器を有することを特徴とする、請求項１１記載の対話的装置。
【請求項１５】
前記グラフィック要素が文字または数字を含むことを特徴とする、請求項１１記載の対話的装置。
【請求項１６】
前記メモリユニットが物品上の実質不可視のコードを認識するためのコンピュータコードを有することを特徴とする、請求項１１記載の対話的装置。
【請求項１７】
前記メモリユニットが物品上の実質不可視のコードを認識するためのコンピュータコードを有しており、前記実質不可視のコードが点コードの形であることを特徴とする、請求項１１記載の対話的装置。
【請求項１８】
前記メモリユニットが物品上の実質不可視のコードを認識するためのコンピュータコードを有しており、前記実質不可視のコードが相対位置または絶対位置をエンコードする点コードの形であることを特徴とする、請求項１１記載の対話的装置。
【請求項１９】
（ａ）請求項１８記載の対話的装置と、
（ｂ）前記実質不可視のコードを含む物品、
とを有することを特徴とするシステム。
【請求項２０】
（ａ）請求項１８記載の対話的装置と、
（ｂ）前記実質不可視のコードを含む物品、
とを有し、前記物品が１枚の紙を含むことを特徴とするシステム。
【請求項２１】
（ａ）請求項１８記載の対話的装置と、
（ｂ）前記実質不可視のコードを含む物品、
とを有し、前記物品がいかなる事前のプリントもされていない１枚の紙を含むことを特徴とするシステム。
【請求項２２】
（ａ）請求項１８記載の対話的装置と、
（ｂ）前記実質不可視のコードを含む物品、
とを有し、前記物品が事前のプリントを含む１枚の紙を含むことを特徴とするシステム。
【請求項２３】
（ａ）スタイラス殻と、前記スタイラス殻に結合したプロセッサと、音声合成器と、（ｉ）ユーザーが前記スタイラスを使ってグラフィック要素を作成できるようにするためのコンピュータコード、（ｉｉ）前記グラフィック要素作成後に複数のメニュー項目中の少なくとも一つのメニュー項目の音声読み上げを再生するためのコンピュータコード、（ｉｉｉ）ユーザーが前記複数のメニュー項目からメニュー項目を選択できるようにするためのコンピュータコード、（ｉｖ）物品上の実質不可視なコードを認識するためのコンピュータコードを有し、前記実質不可視のコードが相対位置または絶対位置をエンコードする点コードの形であるメモリユニットと、音声出力装置とを有する対話的装置であって、前記音声合成器、前記音声出力装置および前記メモリユニットが前記プロセッサに動作的に結合しており、前記メモリユニットが前記スタイラス殻の内側にある対話的装置、ならびに、
（ｂ）前記物品、
を有することを特徴とするシステム。
【請求項２４】
前記実質不可視のコードが点コードであることを特徴とする、請求項２３記載のシステム。
【請求項２５】
前記メモリユニットが、前記グラフィック要素が順次選択されるたびに前記対話的装置に前記メニュー項目を読み上げさせるためのコンピュータコードを有することを特徴とする、請求項２３記載のシステム。
【請求項２６】
前記実質不可視のコードが前記物品の前記絶対位置に関係することを特徴とする、請求項２３記載のシステム。
【請求項２７】
前記物品が１枚の紙を含むことを特徴とする、請求項２３記載のシステム。
【請求項２８】
前記物品が事前にプリントされたプリント要素のない１枚の紙を含むことを特徴とする、請求項２３記載のシステム。
【請求項２９】
前記物品が事前にプリントされたプリント要素を含む１枚の紙を含むことを特徴とする、請求項２３記載のシステム。
【請求項３０】
前記グラフィック要素が、少なくとも一つの印と、少なくとも一つの印および該少なくとも一つの印を囲む線の組み合わせとからなる群から選択される一つを含むことを特徴とする、請求項２３記載のシステム。
【請求項３１】
（ａ）スタイラスを使って複数のグラフィック要素を形成し、
（ｂ）前記スタイラスを使ってユーザー定義のシーケンスにおける前記グラフィック要素の少なくとも二つを選択し、
（ｃ）前記形成されたグラフィック要素に関係する少なくとも一つの音声出力を聞く、
ことを含むことを特徴とする方法。
【請求項３２】
請求項３１記載の方法であって、
前記複数のグラフィック要素が複数の数字および数学的演算子を含み、
（ｂ）が、第一の数字、第一の数学的演算子、第二の数字、第二の数学的演算子を選択することを含み、前記第一の数字、第一の数学的演算子、第二の数学的演算子が一緒になって数学上の問題を形成し、前記選択された第一の数字、第一の数学的演算子、第二の数学的演算子に関係する前記少なくとも一つの音声出力が前記数学上の問題の答えを含むことを特徴とする方法。
【請求項３３】
前記スタイラスが、放出器、検出器、プロセッサ、スピーカーを有しており、前記放出器、検出器、スピーカーが前記プロセッサに結合していることを特徴とする、請求項３１記載の方法。
【請求項３４】
前記スタイラスがプラットフォームに結合されており、該プラットフォームが前記グラフィック要素が形成されるシートを支持することを特徴とする、請求項３１記載の方法。
【請求項３５】
前記少なくとも二つのグラフィック要素が文字であることを特徴とする、請求項３１記載の方法。
【請求項３６】
前記少なくとも二つのグラフィック要素が言語名を表す第一のグラフィック要素と、前記言語とは異なる言語の単語を表す第二のグラフィック要素とを含み、選択が前記単語を選択し、それから前記言語名を選択することを含み、前記少なくとも一つの音声出力を聞くことが合成音声が前記言語の前記単語を発音するのを聞くことを含むことを特徴とする、請求項３１記載の方法。
【請求項３７】
前記少なくとも二つのグラフィック要素が言語名を表す第一のグラフィック要素と、前記言語とは異なる言語の単語を表す第二のグラフィック要素とを含み、選択が前記単語を選択し、それから前記言語名を選択することを含み、前記少なくとも一つの音声出力を聞くことが合成音声が前記言語の前記単語を発音するのを聞くことを含み、前記言語が英語以外の言語であり、前記単語が英語であることを特徴とする、請求項３１記載の方法。
【請求項３８】
前記スタイラスが筆記要素を含み、前記複数のグラフィック要素の形成がシート上に複数のグラフィック要素を書くことを含むことを特徴とする、請求項３１記載の方法。
【請求項３９】
前記スタイラスが筆記要素を含み、前記複数のグラフィック要素の形成がシート上に複数のグラフィック要素を書くことを含み、前記シートが複数の実質不可視のコードを含むことを特徴とする、請求項３１記載の方法。
【請求項４０】
前記スタイラスが筆記要素を含み、前記複数のグラフィック要素の形成がシート上に複数のグラフィック要素を書くことを含み、前記シートが複数の実質不可視のコードを含んでおり事前にプリントされたプリント要素がないことを特徴とする、請求項３１記載の方法。
【請求項４１】
スタイラス殻と、
前記スタイラス殻に結合されたプロセッサと、
（ｉ）スタイラスを使って作成された複数のグラフィック要素を認識するためのコンピュータコード、（ｉｉ）前記スタイラスを使ってのユーザー定義シーケンスにおける前記グラフィック要素の少なくとも二つの選択を認識するためのコンピュータコード、（ｉｉｉ）前記形成されたグラフィック要素に関係する少なくとも一つの音声出力を再生するためのコンピュータコードを有するメモリユニットと、
音声出力装置、
とを有する対話的装置であって、前記音声出力装置および前記メモリユニットが前記プロセッサに動作的に結合していることを特徴とする対話的装置。
【請求項４２】
前記スタイラスが筆記要素を有することを特徴とする、請求項４１記載の対話的装置。
【請求項４３】
前記プロセッサ、前記メモリユニット、前記音声出力装置が前記スタイラス殻の内側にあることを特徴とする、請求項４１記載の対話的装置。
【請求項４４】
前記メモリユニットがさらに、物品上にプリントされた実質不可視のコードを認識するためのコンピュータコードを有することを特徴とする、請求項４１記載の対話的装置。
【請求項４５】
前記メモリユニットがさらに、物品上にプリントされた実質不可視のコードを認識するためのコンピュータコードを有し、前記実質不可視のコードが点コードを含むことを特徴とする、請求項４１記載の対話的装置。
【請求項４６】
当該装置がさらにプラットフォームを有し、前記メモリ、前記プロセッサ、前記音声出力装置が該プラットフォーム内にあることを特徴とする、請求項４１記載の対話的装置。
【請求項４７】
前記グラフィック要素が数字を含み、前記メモリユニットがさらに数字を計算するためのコードを有することを特徴とする、請求項４１記載の対話的装置。
【請求項４８】
当該対話的装置が引き込み可能な筆記要素を有することを特徴とする、請求項４１記載の対話的装置。
【請求項４９】
前記メモリユニットがさらに、文字、数字、フォニックスのうちの少なくとも一つについて教えるためのコンピュータコードを有することを特徴とする、請求項４１記載の対話的装置。
【請求項５０】
前記メモリユニットが合成音声に複数のメニュー項目を読み上げさせるコンピュータコードを有することを特徴とする、請求項４１記載の対話的装置。
【請求項５１】
スタイラス殻と、前記スタイラス殻に結合されたプロセッサと、（ｉ）スタイラスを使って作成された複数のグラフィック要素を認識するためのコンピュータコード、（ｉｉ）前記スタイラスを使ってのユーザー定義シーケンスにおける前記グラフィック要素の少なくとも二つの選択を認識するためのコンピュータコード、（ｉｉｉ）前記形成されたグラフィック要素に関係する少なくとも一つの音声出力を再生するためのコンピュータコードを有するメモリユニットと、音声出力装置とを有しており、前記音声出力装置および前記メモリユニットが前記プロセッサに動作的に結合している対話的装置、ならびに、
その上に前記グラフィック要素が作成される物品、
とを有することを特徴とするシステム。
【請求項５２】
前記物品が１枚の紙を含むことを特徴とする、請求項５１記載のシステム。
【請求項５３】
前記物品が１枚の紙を含み、該１枚の紙が複数の実質不可視のコードを含むことを特徴とする、請求項５１記載のシステム。
【請求項５４】
前記物品が１枚の紙を含み、該１枚の紙が点コードを含んでいる複数の実質不可視のコードを含むことを特徴とする、請求項５１記載のシステム。
【請求項５５】
前記物品が１枚の紙を含み、該１枚の紙が複数の実質不可視のコードを含み、該実質不可視のコードが相対位置情報または絶対位置情報を含んでいることを特徴とする、請求項５１記載のシステム。
【請求項５６】
前記物品が１枚の紙を含み、該１枚の紙が複数の実質不可視のコードを含み、該コードが点コードであり、前記１枚の紙には事前にプリントされたプリント要素が実質ないことを特徴とする、請求項５１記載のシステム。
【請求項５７】
前記プロセッサ、前記音声出力装置、前記メモリユニットがスタイラス殻の内側にあることを特徴とする、請求項５１記載のシステム。
【請求項５８】
前記対話的装置が自己完結型の装置の形であることを特徴とする、請求項５１記載のシステム。
【請求項５９】
前記メモリユニットが複数のメニュー項目のためのコンピュータコードを有することを特徴とする、請求項５１記載のシステム。
【請求項６０】
前記メモリユニットが英語−外国語辞書のためのコンピュータコードを有することを特徴とする、請求項５１記載のシステム。
【発明の詳細な説明】
【背景技術】
【０００１】
ユーザーがスタイラスを使ってプリント媒体上でプリント要素を選択したのちに何らかのフィードバックを得られるようにするシステムはいくつかある。
【０００２】
そのような一つのシステムがオハラら（米国特許ＵＳ５，４８５，１７６）において記載されている。この特許では、ユーザーはスタイラスを使ってプラットフォーム上にある書籍中のプリント要素を選択する。プラットフォームはビデオモニタに接続されている。ユーザーがプリント要素を選択したのち、選択されたプリント要素に対応する視覚的出力がビデオモニタ上に表示される。
【０００３】
オハラらによって記載されているシステムは有用ではあるものの、改良の余地がある。たとえば、そのシステムは主として音声出力ではなく視覚的な出力をするものであって、書き込み機能もない。
【０００４】
ユーザーがフィードバックを得られるようにするもう一つのシステムはブライトアイ・テクノロジー（Ｂｒｉｇｈｔｅｙｅ  ＴｅｃｈｎｏｌｏｇｙＴＭ）からのスキャン・ア・ページ・オア・ワード（Ｓｃａｎ−Ａ−Ｐａｇｅ  ｏｒ  ＷｏｒｄＴＭ）である。理解の限りにおいて、このシステムはスキャン用スタイラスおよびパソコンによって実行される光学式文字認識ソフトウェアを使って印刷された単語を認識するものである。単語をスキャンしてそれが認識されると、認識された単語が合成音声によって読み上げられる。このシステムも有用ではあるものの、その対話機能は限定的である。たとえば、これは単語のようなプリント要素をスキャンして当該プリント要素に関係したオーディオを聞くことに限定されている。
【０００５】
上記のシステムにはほかの問題もある。たとえば、前記システムはいずれも、ユーザーが紙その他の媒体上にユーザー定義アプリケーションまたはユーザー対話システムを作成できるようにはなっていない。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の諸実施形態は、これらのことを含むさまざまな問題に取り組む試みである。
【課題を解決するための手段】
【０００７】
ここに記載される諸実施形態は、ユーザーがユーザー定義アプリケーションを紙の上に作成することを可能にし、あるいはユーザーがこれまで考えられていなかった仕方で紙と対話することを可能にし、あるいはその両方を可能にする。たとえば、いくつかの実施形態では、ユーザーは対話的スタイラスを使って、紙の上にグラフィック要素を作成することによってユーザー定義のユーザーインターフェースを作成することができる。ユーザーはその後、ペン式コンピュータと対話するのと同様の仕方でそのグラフィック要素と対話することができる。ただ違うのは、ペン式コンピュータは存在しないという点である。ユーザーの観点からは、生命のない一片の紙に生命が与えられ、ユーザーにとってインターフェースとして機能するようになるのである。
【０００８】
一つの実施形態は：    （ａ）スタイラスを使ってグラフィック要素を作成し、（ｂ）該グラフィック要素作成後に複数のメニュー項目中の少なくとも一つのメニュー項目の音声読み上げを聞き、（ｃ）前記複数のメニュー項目から一つのメニュー項目を選択する、ことを有する方法に向けられる。
【０００９】
別の実施形態は：    スタイラス殻と、プロセッサと、（ｉ）ユーザーが前記スタイラスを使って作成したグラフィック要素を認識するためのコンピュータコード、（ｉｉ）前記グラフィック要素がユーザーによって作成された後に複数のメニュー項目中の少なくとも一つのメニュー項目の音声読み上げを再生するためのコンピュータコード、（ｉｉｉ）前記複数のメニュー項目からのユーザーによるメニュー項目の選択を認識するためのコンピュータコードを有するメモリユニットと、音声出力装置とを有する対話的装置であって、前記音声出力装置および前記メモリユニットが前記プロセッサに動作的に結合している装置に向けられる。
【００１０】
別の実施形態は：    （ａ）スタイラスを使って複数のグラフィック要素を形成し、（ｂ）前記スタイラスを使ってユーザー定義シーケンスにおいて前記グラフィック要素の少なくとも二つを選択し、（ｃ）前記形成されたグラフィック要素に関係する少なくとも一つの音声出力を聞く、ことを含む方法に向けられる。
【００１１】
別の実施形態は：    スタイラス殻と、前記スタイラス殻に結合されたプロセッサと、（ｉ）スタイラスを使って作成された複数のグラフィック要素を認識するためのコンピュータコード、（ｉｉ）前記スタイラスを使ってのユーザー定義シーケンスにおける前記グラフィック要素の少なくとも二つの選択を認識するためのコンピュータコード、（ｉｉｉ）前記形成されたグラフィック要素に関係する音声出力を再生するためのコンピュータコードを有するメモリユニットと、音声出力装置とを有する対話的装置であって、前記音声出力装置および前記メモリユニットが前記プロセッサに動作的に結合している装置に向けられる。
【００１２】
これらのものを含むさまざまな実施形態について以下でさらに詳細に説明する。
【発明を実施するための最良の形態】
【００１３】
本発明の諸実施形態には対話的装置が含まれる。代表例としての対話的装置は、スタイラス殻と、該スタイラス殻に結合されたプロセッサと、メモリユニットと、音声出力装置とを有する。前記プロセッサは前記メモリユニットおよび前記音声出力装置に動作的に結合されている。いくつかの実施形態では、前記メモリユニットは、（ｉ）前記スタイラスを使ってユーザーにより作成されたグラフィック要素を認識するためのコンピュータコードと、（ｉｉ）前記グラフィック要素がユーザーによって作成された後に複数のメニュー項目中の少なくとも一つのメニュー項目の音声読み上げを再生するためのコンピュータコードと、（ｉｉｉ）前記複数のメニュー項目からのユーザーによるメニュー項目の選択を認識するためのコンピュータコードとを有することができる。代替的または追加的に、前記メモリユニットは、（ｉ）スタイラスを使って作成された複数のグラフィック要素を認識するためのコンピュータコードと、（ｉｉ）前記スタイラスを使ってのユーザー定義シーケンスにおける前記グラフィック要素の少なくとも二つの選択を認識するためのコンピュータコードと、（ｉｉｉ）前記形成されたグラフィック要素に関係する少なくとも一つの音声出力を再生するためのコンピュータコードとを有していてもよい。好ましくは、当該対話的装置は自己完結的なスタイラスであり、前記プロセッサ、メモリユニットおよび音声出力装置は前記スタイラス殻の内部にある。
【００１４】
当該対話的装置はいかなる好適な題目をも教授し、あるいは学習するのに使うことができる。たとえば、当該対話的装置は、文字、数字、算数（加減乗除や代数など）、社会科、フォニックス、言語、歴史などといった科目を教えるようあらかじめプログラムすることができる。
【００１５】
いくつかの実施形態では、当該対話的装置は紙面上の実質不可視のコードをスキャンしてもよい。この種の対話的装置は、２００３年３月１８日に出願された米国特許出願第６０／４５６，０５３号および２００４年３月１７日に出願された米国特許第１０／８０３，８０３号において記載されている。これらはあらゆる目的についてその全体において参照によってここに組み込まれる。当該対話的装置は、前記プロセッサに結合された発光器および光検出器を含んでいてもよい。当該対話的装置は任意的に、複数の位置をもつある面を有する物品上の実質不可視のコードを光学的にスキャンすることもできる。前記複数の位置にはそれぞれ異なるコードがあり、前記面上の前記複数の位置の所在位置（たとえば相対空間座標または絶対空間座標）に関係するものでありうる。前記位置におけるプリント要素のようなグラフィック要素をユーザーが形成してもよいし、あるいはそれらの位置にあらかじめプリントされたプリント要素が存在していてもよいし、その両方でもよい。
【００１６】
「グラフィック要素」はユーザーによって作成されるいかなる好適な印をも含みうる。印が紙の上につけられる場合、そのグラフィック要素はプリント要素でありうる。あるいはまた、印は液晶ディスプレイのような消去可能書き込み媒体内にあってもよい。そのような場合においては、グラフィック要素は仮想グラフィック要素でありうる。好適なグラフィック要素としては、記号、文字および／または数字のような印（ｉｎｄｉｃｉａ）、キャラクタ、単語、図形、線などが含まれるが、これらに限られるものではない。形は規則的でも不規則でもよく、典型的には前記スタイラスを使って作成される。
【００１７】
いくつかの実施形態では、前記グラフィック要素は線で囲んだ文字または数字を含みうる。文字や数字を囲む線は丸、長円、四角、多角形などでありうる。そのようなグラフィック要素は、普通の文字や数字ではなく、ユーザーによって選択されうる「ボタン」のように見える。この種のグラフィック要素を作成することによって、ユーザーは機能アイコンのようなグラフィック要素を普通の文字や数字から視覚的に区別することができる。また、この種のグラフィック要素を作成することによって、当該対話的装置もまた、機能的またはメニュー項目型のグラフィック要素を、機能的でもメニュー項目でもない型のグラフィック要素から区別しやすくなる。たとえば、ユーザーは、丸囲みの文字「Ｍ」というグラフィック要素を作成することによって対話的な「メニュー」アイコンを作成することができる。当該対話的装置は、文字「Ｍ」に重なった丸または四角を単語中の文字「Ｍ」とは区別される機能的なグラフィック要素であると認識するようプログラムされていてもよい。そのような機能的グラフィック要素を認識して他の非機能的グラフィック要素から区別するためのコンピュータコードは、当該対話的装置の前記メモリユニット内に常駐することができる。
【００１８】
前記プロセッサはグラフィック要素を認識することができ、それらのグラフィック要素の位置を同定することができ、それにより当該対話的装置はさまざまな処理を実行できる。これらの実施形態において、前記メモリユニットはユーザーによって生成された任意のグラフィック要素をその前記面上の所在位置と相関させるためのコンピュータコードを有していてもよい。
【００１９】
いくつかの実施形態では、前記物品は一枚の紙でよく、あらかじめプリントされたプリント要素があることもあれば、ないこともある。その紙は実質不可視なコードを有していてもよい。コードはユーザーの目には「実質的に不可視」であり、ページ上のプリント要素の絶対位置または相対位置に対応していてもよい。「実質的に不可視」とはまた、ユーザーの目に完全に不可視である、あるいはわずかに不可視であるコードをも含む。たとえば、ユーザーの目にわずかに不可視な点コードが紙の全面にプリントされている場合、その紙は普通に見る距離から見た場合、明灰色の網がかかっているように見えるかもしれない。場合によっては、ユーザーが当該対話的装置を用いてそのコードをスキャンしたのち、当該対話的装置の音声出力装置が、そのコードに関連付けられたグラフィック要素に対応する一意的な音声出力（ビープ音のような区別のない音声出力ではなく）を生成する。
【００２０】
好ましくは、前記実質不可視なコードは点パターンによって具現される。可視の、あるいは「サブリミナル的に」プリントされた点パターンを読む技術は存在しており、商業ベースで利用できる。これらのプリントされた点パターンはユーザーの目には実質不可視であり、点パターンとして存在するコードはユーザーの目には普通には検出できない（普通のバーコードとは違って）。点パターンは、たとえば二進符号化でのように１と０を表せる小さな点と大きな点の特定の組み合わせなどによって具現できる。点パターンはプリント要素をプリントするのに使われるインクとは異なるインクを用いてプリントすることができ、それにより当該対話的装置は点パターンだけを読むことができる。
【００２１】
スウェーデンのアノト社が採用しているある技術は、アルゴリズムを使ってパターンを生成するが、それによると大きな文書集合にわたって衝突なく使うための非常に大きな一意的データ空間を可能にする。そのパターンは、完全にプリントしたとすると、どのページにも任意の２ｃｍ四方の一意的認識がある８．５″×１１″のページで７０兆ページにも及ぶ。その特定の点パターンを含む紙はアノト社から発売されている。アノト社に与えられている以下の特許および特許出願がこの基本的技術を説明しており、すべて、あらゆる目的についてその全体において参照によってここに組み込まれる：米国特許第６，５０２，７５６号、米国特許出願第１０／１７９，９６６号２００２年６月２６日出願、ＷＯ０１／９５５５９、ＷＯ０１／７１４７３、ＷＯ０１／７５７２３、ＷＯ０１／２６０３２、ＷＯ０１／７５７８０、ＷＯ０１／０１６７０、ＷＯ０１／７５７７３、ＷＯ０１／７１４７５、ＷＯ００／７３９８３、ＷＯ０１／１６６９１。
【００２２】
いくつかの実施形態では、点パターンは、データブロックを示すマーカーを表すデータ、音声データおよび／または誤り検出データといった他の種類のデータがないこともある。別記したように、当該対話的装置のプロセッサは探索表を使ってスタイラスの位置を決定でき、その位置情報に基づいて音声を取得し、再生することができる。これにはいくつかの利点がある。たとえば、マーカー、音声、誤り検出などのデータがプリントされている紙に比べ、本発明の諸実施形態ではマーカー、音声、誤り訂正のためのデータが紙にプリントされる必要がないため、必要とする点の数はより少なくなる。たとえば、紙から音声データを省くことによって、実際の音声データが紙面を占有する必要がなくなるので、紙面上のより多くのスペースを対話的に使うことができる。さらに、本発明の諸実施形態では音声のためのコンピュータコードは当該対話的装置の中に保存されるため、たとえば紙のしわや破れによって再生される音声が壊れたり変わったりしてしまう可能性は少なくなる。
【００２３】
ここでは特に点パターンコードについて述べているが、本発明の他の実施形態においては他の種類の実質不可視のコードを使うこともできる。たとえば、物品上のある配列内に赤外線バーコードが配置されていれば、該赤外線バーコードを使うことができる。例として、紙面が実質不可視のバーコードの１００×１００の配列を含んでいることができる。各コードは紙面上で異なるｘ−ｙ位置と関連付けられている。配列内の諸バーコードの相対位置または絶対位置は当該対話的装置のメモリユニット内に保存されうる。
【００２４】
上記したように、好ましい実施形態においては、実質不可視のコードは、紙面上の前記複数の位置および／または任意のプリント要素の所在位置に直接的または間接的に関係していてもよい。いくつかの実施形態では、実質不可視のコードは紙（または他の物品）上の前記複数の位置の所在位置に直接的に関係していることができる。これらの実施形態においては、紙面上の前記異なる位置の所在位置はコードそのものによって与えられることができる。たとえば、第一の位置にある第一のコードは、紙面上の前記第一の位置についての空間座標（特定のｘ−ｙ位置など）についてのコードを含んでおり、第二の位置における第二のコードは紙面上の前記第二の位置の空間座標のためのコードを含んでいるなどである。紙面上の異なる位置にはユーザーが生成したプリント要素のような異なるグラフィック要素が存在することができる。これらのプリント要素は前記コードに重ねて形成されてもよい。たとえば、第一のプリント要素が前記第一の位置に形成されて前記第一のコードに重なることができる。第二のプリント要素が前記第二の位置に形成されて前記第二のコードに重なることができる。ユーザーが第一のプリント要素を形成すると、スキャン装置は形成された第一のプリント要素を認識し、該形成された第一のプリント要素に付随する前記第一のコードを実質同時にスキャンする。当該対話的装置のプロセッサは前記第一の位置の前記特定の空間座標を決定することができ、前記第一のプリント要素を前記空間座標と相関させることができる。ユーザーが第二のプリント要素を形成すると、スキャン装置は形成された第二のプリント要素を認識し、前記第二のコードを実質同時にスキャンする。次いでプロセッサが前記第二の位置の空間座標を決定することができ、前記第二のプリント要素を前記空間座標と相関させることができる。するとユーザーはその後、前記ユーザーが形成した第一および第二のプリント要素を当該対話的装置を使って選択することができ、当該対話的装置は追加的な処理を実行できる。たとえば、のちに述べるように、この方法論を使ってユーザーはユーザー定義インターフェースまたは機能デバイスを白紙の上に作成することができる。
【００２５】
当該対話的装置はまた、相対位置または絶対位置を前記形成されたグラフィック要素にマッピングする、あるいは相関させる機構を前記メモリユニット内に含んでいてもよい。その機構は、前記物品上の特定のグラフィック要素に関係するデータを物品上の特定の位置に相関させる探索表でもよい。この探索表はメモリユニット内に保存できる。プロセッサはこの探索表を使って特定位置におけるグラフィック要素を識別することができ、それによりその後の処理を実行することができる。
【００２６】
前記実質不可視のコードをもつ前記物品はいかなる好適な形であってもよい。たとえば、当該物品は一枚の紙、メモ帳、ファイル用紙、ポスター、プラカード、メニュー、シール、見出し紙、製品包装、箱、トレーディングカード、磁石（たとえば冷蔵庫に貼る磁石）などでありうる。これらのものを含むさまざまな種類の物品のいかなるものを使用してもよく、あらかじめプリントされたプリント要素はあってもなくてもよい。その物品がシートであれば、そのシートはいかなる好適な大きさのものでもよく、いかなる好適な材質でできていてもよい。たとえば、シートは紙質でもいいし、プラスチックフィルムでもよい。
【００２７】
いくつかの実施形態では、前記物品は３次元的な表面をもつ３次元物品であってもよい。その３次元的な面は、人体や動物（恐竜など）、乗り物、キャラクタをかたどった像、その他の像であってもよい。
【００２８】
上記したように、いくつかの実施形態では、前記物品はシートであり、シートはプリントされた文字や数字のようなあらかじめプリントされたプリント要素（ユーザーがそのシート上にグラフィック要素を作成する前に作られる印など）がなくてもよい。他の実施形態では、シート上にあらかじめ（ユーザーがそのシート上にグラフィック要素を作成する前などに）プリントされたプリント要素があってもよい。あらかじめプリントされたプリント要素は数字、アイコン、文字、円、単語、記号、線などを含むことができる。たとえば、本発明の諸実施形態は、あらかじめプリントされた注文用紙や投票用紙といったあらかじめプリントされた形を利用することができる。
【００２９】
当該対話的装置はいかなる好適な形であってもよい。ある実施形態では、当該対話的装置はスタイラスの形をしたスキャン装置であり、好ましくはポケットサイズである。該スタイラスは、スタイラス殻を含むが、該スタイラス殻はプラスチック製でも金属製でもよい。スタイラス殻には握りの部分があってもよい。当該対話的装置が携帯型で自己完結のスタイラスの形であれば、当該対話的装置は４オンス〔約１１０ｇ〕程度の重さでありえ、４０時間程度のバッテリー寿命をもちえ、当該対話的装置の機能を制御するためのプロセッサ（カスタムチップなどを含む）を使うことができる。スタイラスは、イヤホンジャック、データポート、フラッシュメモリ、バッテリー、スタイラス先端部の光学式スキャナ（光検出器および発光器をもつ）、スピーカーを含んでいてもよい。スタイラスはその下半分ではペンと似た形状でよく、上部ではユーザーの親指と人差し指の間に快適に納まるよう広がっていることができる。
【００３０】
他の実施形態では、当該対話的装置はスタイラスおよびプラットフォーム（クリップボードに似たものでよい）を有する。スタイラスはプラットフォームにつながれており、スピーカー、バッテリーおよびフラッシュ／カートリッジコネクタを含んでいてもよい。プラットフォームは使い勝手のためシートを留めることができる。
【００３１】
発光器および光検出器をもつ対話的装置について詳細に記載しているが、当該対話的装置は他の形をとってもよく、発光器および光検出器を含む必要はない。たとえば、いくつかの実施形態では当該対話的装置はスタイラスを使うタブレットＰＣまたは携帯情報端末（ＰＤＡ）のようなタブレット型コンピュータの形でありうる。タブレットＰＣまたはＰＤＡのメモリユニットはこの出願において記載されている機能のいかなるものを実行するためのコンピュータコードももつことができる。グラフィック要素は液晶ディスプレイ中に作成することもでき、ユーザーはその後それらの作成されたグラフィック要素とここに記載されている仕方で対話することができる。これらの実施形態においては、スタイラスは能動電子素子を含んでいてもよいし、いなくてもよい。たとえば、多くのＰＤＡに存在する技術を使って、全く電子回路を含まないスタイラスを本発明のいくつかの実施形態において使うこともできる。下記にて詳細に説明するように、通常の技量を有する当業者はここに記載されているさまざまな本発明の機能をそのような市販の装置にプログラムすることができる。
【００３２】
さらに別の諸実施形態では、当該対話的装置は、２００３年６月９日に出願された米国特許出願第１０／４５７，９８１号および２００４年５月２８日に出願された「手書き認識を含む印刷媒体装置」（Ｐｒｉｎｔ  Ｍｅｄｉａ  Ａｐｐａｒａｔｕｓ  Ｉｎｃｌｕｄｉｎｇ  Ｈａｎｄｗｒｉｔｉｎｇ  Ｒｅｃｏｇｎｉｔｉｏｎ）と題する米国特許出願第＿＿＿＿＿＿＿＿＿＿号（代理人整理番号０２０８２４−００９２００ＵＳ）において記載されている種類のものであってもよい。これらの文書はここに参照によって組み込まれる。これらの実施形態においては、当該対話的装置は電気記録式位置特定装置であって、面と、プロセッサと、複数の第一のアンテナ素子と、スピーカーのような音声出力装置とを有するプラットフォームをもつ。第二のアンテナ素子および筆記具を含むスタイラスが前記プラットフォームに結合されうる。前記第一のアンテナ素子は信号送信アンテナ素子であってよく、前記第二のアンテナ素子は信号受信アンテナ素子であってよい（または両者の役割を逆にする）。一枚の紙（実質不可視のコードがないもの）を前記プラットフォームの所定の位置に置くことができる。前記第一のアンテナ素子は前記面上の異なるｘ−ｙ位置において異なる信号（たとえば振幅が異なる信号）を送信することができ、これらの異なる信号はスタイラス内の前記第二のアンテナ素子によって受信されることができる。ここで、第一のアンテナ素子および第二のアンテナ素子は紙を通して容量的に結合されることができる。よって、ユーザーが前記紙の上にグラフィック要素を作成すると、プロセッサが作成されているグラフィック要素の位置を決定することができる。２００４年５月２８日に出願された「手書き認識を含む印刷媒体装置」と題する米国特許出願第＿＿＿＿＿＿＿＿＿＿号（代理人整理番号０２０８２４−００９２００ＵＳ）（ここにその全体が参照によって組み込まれている）において記載されているように、プロセッサはまた、市販の文字認識ソフトウェアを使ってどんなグラフィック要素が作成されているかを決定することもできる。前記文書に記載されているように、文字認識ソフトウェアは、米国ワシントン州サマミッシュのエキスパート・アイ社（Ｘｐｅｒｔ  Ｅｙｅ，  Ｉｎｃ．）（ｗｗｗ．ｅｘｐｅｒｔｅｙｅ．ｃｏｍ）およびフランス国パリのヴィジョン・オブジェ社（Ｖｉｓｉｏｎ  Ｏｂｊｅｃｔｓ，  Ｉｎｃ．）から発売されている。これらの法人によって売られている種類のようなソフトウェアは、ここに記載されている当該対話的装置のいずれにおいても使用することができる。このソフトウェアが紙を使用する電気記録式位置特定装置（あるいはここに記載されている他の何らかの対話的装置）において使用される場合、そのソフトウェアはユーザーがその紙の上に作成したグラフィック要素を認識することができる。下記の多くの例から明らかとなるように、ユーザーによって作成されるグラフィック要素を判別し、それらのグラフィック要素の位置を判別することによって、いくつかの有用な機能が当該対話的装置によって実行されうる。
【００３３】
図１は、本発明のある実施形態に基づくシステムを示している。該システムは、対話的装置１００および物品７０を含んでいる。当該対話的装置１００はスタイラスの形である。
【００３４】
当該対話的装置１００はスタイラス殻６２の内部にプロセッサ３２を含んでいる。スタイラス殻６２は、直接、あるいは途中の物理構造を介して、プロセッサ３２に結合されている。当該対話的装置１００はまた、該プロセッサ３２に結合された音声出力装置３６および表示装置４０を含んでいる。音声出力装置３６はスピーカーまたはオーディオジャック（イヤホンジャックまたはヘッドホンジャック）を含みうる。表示装置４０はＬＣＤ（液晶ディスプレイ）またはその他いかなる好適な表示装置をも含みうる。触覚フィードバックを与える装置（図示せず）がスタイラス殻６２に備わっていてもよい。
【００３５】
いくつかの実施形態では、表示装置４０はスタイラス殻６２に物理的に結合されている。別の実施形態では、表示装置４０は当該対話的装置１００の他の部分からは分離されていることもでき、無線データ伝送機構（たとえば、ＩＲすなわち赤外線信号データ伝送機構）によって他の部分と通信してもよい。そのような別個の表示装置４０によって、ユーザーは自分と当該対話的装置１００との対話によって生成されるいかなる視覚的フィードバックをも見ることができるようになり、そのような表示装置４０は教室での使用に好適である。
【００３６】
入力ボタン３８もあって、電気的にプロセッサ３２に結合されていてユーザーが情報（開始、終了、入力など）を当該装置１００に入力したり、当該装置１００をオン／オフしたりできるようになっている。バッテリーのような電源３４がスタイラス殻６２内にあり、プロセッサ３２および当該対話的装置１００の他の構成要素に電気を供給している。
【００３７】
発光器４４および光検出器４２がスタイラス形の当該対話的装置１００の一端にある。発光器４４および光検出器４２はプロセッサ３２に結合されている。発光器４４はたとえばＬＥＤ（発光ダイオード）またはその他の光源であってよく、光検出器４２はたとえば電荷結合素子であってよい。
【００３８】
プロセッサ３２は、当該対話的装置１００の機能を実装するためのいかなる好適な電子回路を含んでいてもよい。たとえば、プロセッサ３２は、合成音声を生成するための音声合成回路と、該音声を増幅するための増幅回路と、当該対話的装置１００へのあらゆる入力および当該対話的装置１００によって与えられるあらゆる出力を制御するための回路と、光検出器４２から受け取った信号をデジタル信号に変換するためのアナログ−デジタル変換器とをもつマイクロプロセッサを含んでいてもよい。
【００３９】
当該対話的装置１００にはメモリユニット４８も存在する。メモリユニット４８はプロセッサ３２に結合されている。メモリユニット４８はＲＯＭまたはフラッシュメモリカートリッジのような着脱可能なメモリユニットであってもよい。他の実施形態では、メモリユニット４８は、完全にスタイラス殻６２に内蔵の一つまたは複数のメモリユニット（たとえばＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭなど）を有していてもよい。他の実施形態では、メモリユニット４８はスタイラス殻６２の内部および／または外部の二つ以上のメモリ装置の組み合わせであってもよい。
【００４０】
メモリユニット４８はいかなる好適な磁気、電気、電磁、光、電気光学式データ記憶装置を含んでいてもよい。たとえば、メモリユニット４８内に一つまたは複数の半導体ベースの素子があってもよい。
【００４１】
メモリユニット４８は当該対話的装置１００の機能のいかなるものを実行するためのコンピュータコードをも含みうる。たとえば、メモリユニット４８が含みうるものとして、プリントされた文字を認識するためのコンピュータコード、ユーザーの手書きを認識したりユーザーの手書きを解釈したりするためのコンピュータコード（たとえば手書き文字認識ソフトウェア）、物品上の位置をそれぞれのプリント要素と相関させるためのコンピュータコード、文字を音声に変換するためのコード（たとえば、テキスト・ツー・スピーチ・エンジン）、メニュー項目を読み上げるためのコンピュータコード、言語の翻訳を実行するためのコンピュータコード（英語から外国語への辞書）などがある。テキストを音声に変換するソフトウェアはいくつかの異なる発売元から市販されている。メモリユニット４８はまた、音声または視覚的出力のためのコードをも含みうる。たとえば、音響効果のためのコード、単語を発音するためのコード、授業計画や教育のためのコード、テストのためのコードなどはみな、メモリユニット４８に保存されることができる。これらのような音声出力のためのコードは、前記物品そのものではなく、不揮発性メモリに（当該対話的装置の電源を切ってもデータが保持されるような恒久的または半恒久的な仕方で）保存されうる。本出願において記載されているこれらのものを含むさまざまな機能のためのコンピュータコードは、メモリユニット４８に含まれることができ、Ｃ、Ｃ＋＋などを含むいかなる好適なプログラミング言語を使って作成することもできる。
【００４２】
スタイラス形の当該対話的装置１００の発光器４４および光検出器４２と同じ側の端に筆記要素５２がある。筆記要素５２は、マーカー、クレヨン、ペンまたは鉛筆であってよく、引き込み式であってもなくてもよい。引き込み式であれば、筆記要素５２はアクチュエータに結合されていてもよい。ユーザーはアクチュエータを作動させて筆記要素をスタイラス殻から外に出したりスタイラス殻の中に引っ込めたりするのである。使用されるとき、ユーザーはスタイラス形の当該対話的装置１００を持ち、それを使ってシート上に書き込みをする。ユーザーがつけた印もまた発光器４４および光検出器４２を使ってスキャンすることができ、プロセッサ３２がユーザーが書いたものを解釈しうる。
【００４３】
図１に示されている物品７０は２次元的で、たとえば一枚の紙である。図１において、文字Ａ、Ｂ、Ｃ、Ｄは物品７０上の異なる位置を表している。物品７０上の異なる位置Ａ、Ｂ、Ｃ、Ｄは異なるコード（図示せず）および異なるプリント要素（図示せず）をもつことができる。コードおよびプリント要素は位置Ａ、Ｂ、Ｃ、Ｄにおいて重なり合っていてもよい。異なるコードはユーザーの目には実質不可視であり、ユーザーは肉眼では普通にはコードを見ることはできない。
【００４４】
例として、ユーザーは物品７０上にメニューアイコンを作成するために当該対話的装置１００の筆記要素５２を用いて丸囲みの文字「Ｍ」を作成しうる。丸囲みの文字「Ｍ」（図１には示さず）は位置Ａにおける実質不可視のコードに重なって位置Ａにプリントされる。ユーザーが後刻文字「Ｍ」を選択してスキャンしたとき、発光器４４が光信号を生成し、それが位置Ａにおける前記実質不可視のコードから反射されて光検出器４２によって受信される。プロセッサ３２は位置Ａの所在位置を決定し、メモリユニット４８から文字「Ｍ」に対応する音声を取得し、あるいは文字「Ｍ」に関係した機能を実行する。たとえば、当該対話的装置１００を使って文字「Ｍ」が選択されたのち、そして当該対話的装置１００が位置Ａにおいて実質不可視なコードをスキャンしたのち、プロセッサ３２は当該対話的装置１００をメニュー対話モードに移行させうる。そのモードではユーザーはメニュー項目をスクロールさせて一つのメニュー項目を選択することができる。プロセッサ３２は、文字「Ｍ」が逐次選択されるたびに、ユーザーのために音声出力装置３６にメニュー項目のリストを一つずつ発生させることができる。たとえば、当該対話的装置１００を用いて文字「Ｍ」が最初に選択されると音声出力装置３６は「電卓」と読み上げ、当該対話的装置１００を用いて文字「Ｍ」が２回目に選択されると音声出力装置３６は「翻訳」と読み上げるようにされる、などである。作成されたグラフィック要素をその後選択していくたびに、当該対話的装置に異なるメニュー項目を読み上げさせることができるのである。
【００４５】
筆記要素５２は物品７０の特定の場所に書き込みをするのに使うことができる。適切な手書き認識および／または光学式文字認識ソフトウェア（メモリユニット４８内のコンピュータコードとして保存されていることができる）を使うことによって、ユーザーが書いた内容がプロセッサ３２によって解釈されることができ、それによりプロセッサ３２はユーザーが何を書いたかを、またユーザーが書き込みをしている位置の特定の場所をも判別することができる。下記にてより詳細に説明するように、この情報を使って、当該システムおよび当該対話的装置は、言語翻訳または数学的処理といったより複雑な処理を実行するよう適応させることができる。
【００４６】
図２は本発明の別の実施形態を示している。この例では、同様の符号は同様の要素を表し、同様の要素の以前の説明を繰り返す必要はない。この実施形態においては、当該対話的装置１００はスタイラス１００（ａ）およびプラットフォーム１００（ｂ）を含む。ケーブル１０２がプラットフォーム１００（ｂ）をスタイラス１００（ａ）に結合する。プラットフォーム１００（ｂ）は２次元的な物品７０の台となる。この実施形態では、プロセッサ３２、電源３４、音声出力装置３６、ボタン３８およびメモリユニット４８はスタイラス１００（ａ）ではなくプラットフォーム１００（ｂ）に含まれている。他の実施形態では、ケーブルがなく、スタイラス１００（ａ）とプラットフォーム１００（ｂ）（またはその他のベース機）との間を無線接続することも可能である。
【００４７】
図２に示した実施形態では、スタイラス１００（ａ）に含まれる電子回路要素はより少なくなっており、スタイラス１００（ａ）は図１に示したスタイラス形の対話的装置ほどかさばらないようにできる。使用される前記物品が１枚の紙であれば、その紙はプラットフォーム１００（ｂ）上に置かれてプラットフォーム１００（ｂ）が台となる。
【００４８】
図３は、本発明のある実施形態に基づく対話的装置において使うことのできるいくつかの電気要素のブロック図である。当該対話的装置はプロセッサ１０１および該プロセッサ１０１に結合したメモリユニット１０３を含んでいる。プロセッサ１０１およびメモリユニット１０３は、一つまたは複数のコンピュータチップだけによって具現してもよいし、一つまたは複数のメモリ記憶装置（たとえば、メモリスティック、メモリカードなど）と組み合わせて具現してもよい。いくつかの実施形態では、プロセッサ１０１はアプリケーション固有回路を含んでいてもよく、プロセッサ１０１に音声合成器が（たとえば、内部に、あるいは該プロセッサに結合されて）付随していてもよい。光検出器１０５および発光器もプロセッサ１０１に動作的に結合している。表示装置１１１（たとえばＬＣＤまたはＬＥＤ画面）や音声出力装置１０９（たとえば、スピーカーまたはイヤホン）のような出力装置がプロセッサ１０１に結合されていてもよい。これらの要素に関係する追加的な例の詳細は上記および下記にて与えられている。
【００４９】
本発明の諸実施形態において、ユーザーがグラフィック要素を作成し、ユーザーがその後そのグラフィック要素を選択すると、複数のメニュー項目が音声の形でユーザーに提示されうる。するとユーザーはそのメニュー項目リストからメニュー項目を選択する。メニュー項目としては、ディレクトリ名、サブディレクトリ名、アプリケーション名、特定のデータセットの名称などが含まれうる。ディレクトリ名またはサブディレクトリ名の例としては、「ツール」（たとえば、さまざまな状況で使える対話的な有用な機能を呼び出す）、「調査」（たとえば、辞書のような参考資料を呼び出す）、「ゲーム」（たとえば、さまざまなゲームを呼び出す）などが含まれうる。特定のアプリケーション（またはサブディレクトリ）名の例としては、「電卓」「スペルチェック」「翻訳」が含まれうる。データセットの具体的な例としては、外国語とその意味の集合、電話番号リスト、カレンダー、予定表などが含まれうる。メニュー項目のさらなる例は図４に示されている。
【００５０】
前記のさまざまなメニュー項目について特定の音声案内を与えることができる。たとえば、ユーザーが「電卓」というメニュー項目を選択すると、当該対話的装置はユーザーに数字０〜９および演算子＋−×÷＝を紙に書いて、その数字を選択して計算を実行するよう案内することができる。別の例では、ユーザーが「翻訳」というメニュー項目を選択すると、当該対話的装置はユーザーに第二言語の名を書いて丸で囲むよう案内することができる。ユーザーがそれを行うと、当該対話的装置はさらにユーザーに、英語の単語を書いて丸で囲んだ第二言語名を選択すれば書いた単語が第二言語に翻訳されたものを聞けるなどと案内しうる。ユーザーがそうすると、当該対話的装置の音声出力装置が指定された単語を第二言語で読み上げうる。
【００５１】
図４は、本発明のある実施形態に基づくメニュー項目ツリーディレクトリを示している。メニュー項目ツリーディレクトリはメニューＭ記号から始まって音声メニューを具現することができる。
【００５２】
図４の先頭から見ていくと、最初の音声サブディレクトリはツールＴサブディレクトリとなる。ツールＴサブディレクトリの下には翻訳ＴＲサブディレクトリ、電卓Ｃサブディレクトリ、スペルチェックＳＣサブディレクトリ、個人情報管理（ｐｅｒｓｏｎａｌ  ａｓｓｉｓｔａｎｔ）ＰＡサブディレクトリ、アラーム時計ＡＬサブディレクトリ、家庭教師ＴＵ機能がありうる。翻訳ＴＲサブディレクトリの下にはスペイン語ＳＰ、フランス語ＦＲ、ドイツ語ＧＥの翻訳機能などがありうる。個人情報管理ＰＡサブディレクトリの下には、カレンダーＣＡ、電話番号リストＰＬ、予定表（ｔｏ  ｄｏ  ｌｉｓｔ）ＴＤの機能またはサブディレクトリがありうる。
【００５３】
調査（ｒｅｆｅｒｅｎｃｅ）Ｒサブディレクトリの下には、シソーラスＴＨ機能、辞書Ｄサブディレクトリ、ヘルプＨ機能がありうる。辞書Ｄサブディレクトリの下には、英語Ｅ機能、スペイン語ＳＰ機能、フランス語ＦＲ機能がありうる。
【００５４】
ゲームＧサブディレクトリの下にはワード・スクランブルＷＳ、ファンキー・ポテト（ｆｕｎｋｙ  ｐｏｔａｔｏｅｓ）ＦＰ、お絵かき（ｄｏｏｄｌｅｒ）ＤＯといったゲームがありうる。本発明の他の実施例ではこれ以外のゲームが存在することもある。
【００５５】
システムＳサブディレクトリの下には、セキュリティＳＥ機能および個人設定Ｐ機能がありうる。
【００５６】
上記の諸ディレクトリ、サブディレクトリおよび機能のうちのいくつかに関してはのちに詳細に説明する。
【００５７】
メニュー項目ツリーディレクトリによって示されるように、ユーザーはさまざまなメニュー項目の読み上げを聞いて所望のメニュー項目を選択することによって、いかなる所望の経路をたどって進むこともできる。一連の所望のメニュー項目の選択は、いかなる好適な仕方で生起してもよい。
【００５８】
たとえば、いくつかの実施形態では、ユーザーは当該対話的装置に音声メニューのスクロールを、作成したグラフィック要素の「下降タッチ」によって起こさせることができる。「下降タッチ」を当該対話的装置内の電子回路で認識するのは、いかなる好適な機構を用いてもよい。たとえば、当該対話的装置は選択されるグラフィック要素に向かって自分が下向きに動くのに付随して画像が変わっていくのを認識するようプログラムされていてもよい。別の例では、当該対話的装置に感圧スイッチを設けて、当該対話的装置の端が紙に圧力を加えると、感圧スイッチが作動するようにしてもよい。これにより当該対話的装置は音声メニューをスクロールするよう指示される。たとえば、当該対話的装置を用いて丸囲みの文字「Ｍ」を選択すると（これにより当該対話的装置の感圧スイッチが作動する）、当該対話的装置の音声出力装置は「ツール」と読み上げ、ほかには何もしなくてよい。ユーザーは丸囲み文字「Ｍ」をもう一度選択してもよく、すると音声出力装置は「調査」というメニュー項目を読み上げる。このことは、音声メニューをスクロールさせたいだけ、何度でも繰り返すことができる。特定のメニュー項目を選択するためには、ユーザーは紙に特徴的な印を作成したり、スキャン装置を用いて特定のジェスチャーをしたりすることができる。たとえば、ユーザーが「ツール」という単語を聞いて丸囲み文字「Ｍ」の横に「チェック印」（またはその他のグラフィック要素）を書くことでサブディレクトリ「ツール」を選択してもよい。このような方法を使うことで、ユーザーはメニュー項目ツリー内の意図したディレクトリ、サブディレクトリまたは機能に向けて進むことができる。当該対話的装置に上向きにスクロールさせるには、別のグラフィック要素の作成または別のジェスチャーを使うことができる。代替的な方法として、当該対話的装置内にメニューをスクロールさせるためのボタンその他の操作部を設けてもよい。
【００５９】
別の諸実施形態では、丸囲み文字「Ｍ」を作成したのち、次のように進んでもよい。ユーザーはその丸囲み文字「Ｍ」を選択する。スキャン装置のソフトウェアがその丸囲み文字「Ｍ」をメニュー記号であると認識し、該スキャン装置にメニュー項目「ツール」「調査」「ゲーム」「システム」を逐次読み上げさせる。これはユーザーが下降タッチをしなくても間をおいてある間隔で進められる。音声案内をユーザーに与えることもでき、たとえば、当該対話的装置は「『ツール』ディレクトリを選択するには、『Ｔ』という文字を書いて丸で囲んでください」のように言ってもよい。そのメニュー項目を選択するために、ユーザーは文字「Ｔ」を書いて丸で囲む。これが当該対話的装置にユーザーがサブディレクトリ「ツール」を選択したことを示す。すると、当該対話的装置は「ツール」ディレクトリの下にあるメニュー項目をユーザーのために読み上げることができる。こうして、紙にディレクトリ、サブディレクトリまたは機能を表すグラフィック要素を作成することによって、メニュー項目ツリー内の特定のディレクトリ、サブディレクトリまたは機能に直接進むことが可能となる。
【実施例１】
【００６０】
図５は、本発明のある実施形態に基づく方法を説明するフローチャートを示している。この方法は、ユーザーにグラフィック要素を作成するよう促すこと（ステップ４００）を含んでいる。促す手段は、当該対話的装置がユーザーに単語、文字、記号その他のグラフィック要素を紙の上に書くよう求める音声プロンプトであってよい。当該対話的装置は作成されたグラフィック要素を認識し（ステップ４０２）、当該対話的装置はユーザーのためにメニュー項目リストを読み上げる（ステップ４０４）。次にユーザーがメニュー項目を選択し、当該対話的装置は選択されたメニュー項目を認識し（ステップ４０６）、選択されたメニュー項目に基づいて動作を変更する（ステップ４０８）。当該対話的装置は、これらのステップが実行されうるようプログラムされうる。これらのステップを実行するためのコンピュータコードはメモリユニット内に存在しうる。
【００６１】
図６の（ａ）および（ｂ）は、図５に示したフローチャートに基づく方法がどのようにはたらくかの図解を示している。最初に、自己完結式スタイラスの形の対話的装置１００がユーザーにグラフィック要素を作成するよう促しうる（ステップ４００）。次いでユーザーは紙２０２の上に一つまたは複数のグラフィック要素を作成することができる。この例では、グラフィック要素２０６は、文字「Ｍ」２０１のまわりに丸２０４を描いた文字「Ｍ」２０１を含みうる。このグラフィック要素２０６は当該対話的装置１００にある筆記要素（図示せず）を用いて描かれる。
【００６２】
グラフィック要素２０６が作成されると、当該対話的装置１００はいくつかのメニュー項目を読み上げうる（ステップ４０４）。たとえば、当該対話的装置１００は、ユーザーが文字Ｍ２０１とそれを囲む丸２０４とを含むグラフィック要素２０６を書き終わったことを認識してもよい。上記したように、当該対話的装置１００は光学式文字認識ソフトウェアを内蔵していてもよく、当該対話的装置１００は文字「○」と文字「Ｍ」が重なり合っていれば（すなわち、物理的に概して同じ位置にあれば）それはユーザーが当該対話的装置内部の音声メニュー２０６を作動させたことを示しているということを認識する（ステップ４０６）ようプログラムされていてもよい。当該対話的装置１００はまた、ユーザーが当該対話的装置１００を使ってグラフィック要素２０６を再び選択すると各サブディレクトリ名を読み上げるようプログラムされていることもできる。たとえば、当該対話的装置１００を用いてグラフィック要素２０６を４回続けて「下降タッチ」したら当該対話的装置１００はサブディレクトリ名「ツール」「調査」「ゲーム」「システム」をそれぞれ読み上げるなどである。
【００６３】
特定のメニュー項目、ディレクトリ、サブディレクトリの選択を示すには、ユーザーは当該対話的装置１００を用いて別のグラフィック要素を作成してもよいし、あるジェスチャーをしてもよい。たとえばユーザーが「ツール」サブディレクトリをさらに下に進みたい場合、たとえばユーザーは紙２０２にチェック印２０８を書いて選択がなされたことを示してもよい。チェック記号を書いたのち、その後の選択のたびに、すなわち当該対話的装置１００の紙面２０２上への「下降タッチ」のたびに「電卓」「スペルチェック」「個人情報管理」「家庭教師」の語が当該対話的装置１００によって読み上げられることができる。ユーザーが「電卓」の語が読み上げられるのを聞いたのち、「電卓」機能を選択することによって当該対話的装置１００の動作モードを電卓機能に変えることができる（ステップ４０８）。ユーザーは紙面２０２上に別のチェック印（図示せず）を書いて電卓機能を選択したことを示してもよい。
【実施例２】
【００６４】
図７は、本発明の別の実施形態を説明するフローチャートを示している。この方法では、当該対話的装置はユーザーに少なくとも二つのグラフィック要素を作成するよう促す（ステップ５００）。次いで当該対話的装置はユーザーによる前記グラフィック要素の選択および順序を認識する。すると、当該対話的装置は選択されたグラフィック要素に関係する少なくとも一つの出力を与える（ステップ５０４）。
【００６５】
前記少なくとも一つの出力は、前記選択されたグラフィック要素にいかなる仕方で関係することもできる。たとえば、少なくとも一つの出力は、前記グラフィック要素の内容に関係している一つまたは複数の音響を含みうる。たとえば、下記の電卓の例では、１と４などの二つの数字が紙の上に書かれていることがある。次いでユーザーがそれらを選択して加算する。音声出力「５」が当該対話的装置によって与えられうるが、これは選択されたグラフィック要素１および４などに関係している。別の例では、下記のワード・スクランブル・ゲームで示されるように、紙の上にいくつかの丸が書かれていることがあり、それらの丸に単語（紙に書かれてはいない）が関連付けられていることができる。ユーザーがこれらの丸を特定の順番で選択すると、選択された丸の順列に対応する単語の列が当該対話的装置から音として出力されうる。当該対話的装置によって出力される音は選択されたグラフィック要素に関係しているが、必ずしもグラフィック要素の内容に関係するわけではない。
【００６６】
図８には図７で示されている方法の実施例が示されている。図８は、ユーザーが白紙からどのようにして紙上電卓を作成できるかを示す。この例では、ユーザーが上記のようにして「電卓」機能を選択したのち、スキャン装置がユーザーに数字０〜９および演算子＋−×÷＝を書き下すよう促す（ステップ５００）。ユーザーは、丸囲みの数字および加減乗除といった演算や等号のための算術演算子を含むグラフィック要素２１０を作成する。他の実施形態では、図８に示した数字のまわりの丸は必要でない。当該対話的装置１００は作成されたグラフィック要素の位置を認識し、作成された実際のグラフィック要素を認識する（ステップ５０２）。次いでユーザーは、少なくとも二つのグラフィック要素を選択し、これら二つのグラフィック要素の選択に関係した音声出力を受け取ることができる。たとえば、ユーザーは一連のグラフィック要素「４」「＋」「７」「＝」を選択して当該対話的装置１００が「１１」と読み上げるのを聞くといった具合である（ステップ５０４）。当該対話的装置はメモリユニット内にグラフィック要素の位置を保存しているので、紙上電卓はあとで再使用することもできる。この実施形態は、生徒が物理的な電卓を利用できない学校において有用となりうる。
【実施例３】
【００６７】
図９の（ａ）および（ｂ）は、本発明の別の実施形態を示している。図９の（ａ）を参照すると、ユーザーは丸で囲まれたＤというグラフィック要素３０２を書きつける。当該対話的装置１００が「辞書」という語を読み上げたのち、ユーザーは当該対話的装置１００を用いてチェック記号３０４を作成して辞書機能が選択されたことを示すことができる。グラフィック要素３０２を作成したのち、当該対話的装置１００はさらにユーザーに別のグラフィック要素３０５を作成するよう促しうる。それには線３０６で囲まれた単語「フランス語」（Ｆｒｅｎｃｈ）３０８が含まれる。次いで当該対話的装置１００はユーザーに単語を書くよう促し、ユーザーはたとえば「Ｈｅｌｌｏ」という単語３１０を書く（図７のステップ５００）。次に、ユーザーは「Ｈｅｌｌｏ」の語を、次いでグラフィック要素３０５を選択し、当該対話的装置１００が「Ｂｏｎｊｏｕｒ！」の語を読み上げるのを聞くことができる（図７のステップ５０４および５０６）。
【００６８】
上例によって示されているように、ユーザーによって作成された前記少なくとも二つのグラフィック要素は、言語名を表す第一のグラフィック要素および該言語とは異なる言語の単語を表す第二のグラフィック要素を含みうる。ユーザーは前記単語を選択し、次に前記言語名を選択することができ、すると少なくとも一つの音声出力を聞くことができる。それには合成音声が前記言語での前記単語を発音するのを聞くことが含まれる。
【００６９】
図８および図９で示されているように、本発明の実施形態はいくつかの利点がある。丸囲みの文字や記号はユーザーが対話できるボタンと類似する。それによりユーザーは、事実上いつでもどこでも自分のカスタムユーザーインターフェースを作成することができる。これにより、それまで存在していなかった、完全にユーザー自身によって作成された何かと対話する、便利で興味深く、楽しい方法が提供される。これは標準的なキーボードのような標準的なユーザーインターフェースとは異なるものである。
【００７０】
翻訳機能のボタンを示しているが、ユーザーは紙その他の物品上に他の機能ボタンを作成することができる。たとえば、他のボタンの例としては、ヘルプボタン、記録ボタン（当該対話的装置がレコーダを有しており、記録機能を有している場合）、音量ボタン、ゲームボタンなどが含まれる。ユーザーはまた、当該対話的装置を用いて、データ入力やその後の対話のための英数字キーボードを作成することもできる。
【００７１】
いくつかの実施形態では、ユーザーはグラフィック要素を書くことができ、ユーザーはそれらのグラフィック要素と遊びおよび／または教育的な仕方で対話しうる。たとえば、ユーザーは１から５までの数字を紙の上に書き、当該対話的装置が紙面上のそれぞれの位置を記憶することができる。ユーザーはゲームをプレイするための「ゲーム」ボタンを書くことができる。たとえば、当該対話的装置はユーザーに２より大きく５より小さい数字を一つみつけるよう促すようプログラムされていてもよい。そしてユーザーは前記数字のうちの一つを選択することによってその数が何であるかを当てようとする。ユーザーの選択に反応して当たりまたははずれの音声フィードバックがユーザーに与えられてもよい。
【実施例４】
【００７２】
図１０ａはいくつかの丸６０２、６０４、６０６、６０８、６１０が書かれたシートを示している。これらはワード・スクランブル（ｗｏｒｄ  ｓｃｒａｍｂｌｅ）のようなゲームで使うことができる。たとえば、グラフィック要素６００（ワード・スクランブルを表す丸囲みの文字「ＷＳ」）を作成したのち、当該対話的装置（図示せず）はワード・スクランブル・モードにはいりうる。当該対話的装置はユーザーに「スクランブラー円を５つ描いてください」のように案内することができる（図７のステップ５００）。ユーザーが５つの丸６０２、６０４、６０６、６０８、６１０を書いたのち、音声クリップ（図１０ａでは括弧内に示されている）がそれらに割り当てられる。次いでユーザーは、文を生成するための丸の正しい順列を選択するよう促される。たとえば、当該対話的装置はこのように言う。「スクランブルされた文を元に戻すような順番にスクランブラー円にタッチしてください。どうぞ！」ユーザーが５つの丸にたとえば６０２、６０４、６０６、６０８、６１０の順にタッチすると、「ｒａｔ  ｆａｔ  ｔｈｅ  ａｔｅ  ｃｈｅｅｓｅ」という句が生成される（図７のステップ５０２および５０４）。最終的にはユーザーは選択すべき正しい丸の順列が６０６、６０４、６０２、６０８、６１０であることがわかり、当該対話的装置は「Ｔｈｅ  ｆａｔ  ｒａｔ  ａｔｅ  ｃｈｅｅｓｅ．」という文を出力する（図７のステップ５０２および５０４）。その時点において、丸の正しい順列を選択したことについて、ユーザーに報酬出力が与えられてもよい。当該対話的装置はユーザーにもう一度プレイしたいかどうかを尋ねてもよい。当該対話的装置は再びユーザーによって作成されたグラフィック要素を認識し、それらをシート上の位置と相関させる。
【実施例５】
【００７３】
図１０ｂはグラフィック要素を用いた別のシートを示している。これは辞書機能および翻訳機能を実行するもう一つの方法を説明するために使われうる。図１０ｂを参照すると、ユーザーは最初に白紙から始め、丸囲みの文字Ｍを図のように描く。次いで、ユーザーは当該対話的装置（図示せず）を使って丸囲みの文字「Ｍ」に「タッチ」する。ユーザーがメニュー項目「辞書」を聞いたのち、ユーザーはその横にチェック印を描いて前記辞書メニュー項目が選択されたことを示す。すると当該対話的装置は辞書モードに移行する。当該対話的装置は次いでユーザーにたとえば「意味を知りたい単語を書いてください」のように促す。するとユーザーは図１０ｂに示すように「ｍａｇｉｃ」〔魔法〕という単語を書く。「ｍａｇｉｃ」の語が書かれると、当該対話的装置は「ｍａｇｉｃ」が書かれたことを認識することができ、「Ｍａｇｉｃ。その意味は、自然界の力を操る力、または神秘的に見える力です」のように言うことができる。ユーザーはいかなる好適な単語を書いてもよく、辞書の定義を受け取ることができる。
【００７４】
ユーザーが「ｍａｇｉｃ」という語のような単語を書いたのち、ユーザーはその単語の最後の文字（「ｃ」）にタッチして当該対話的装置に意図する単語を書き終わったこと、および当該対話的装置が辞書の定義を表示すべきであることを伝えてもよい。あるいはまた、ユーザーが少し待つと、当該対話的装置のタイムアウト機構が当該対話的装置に自動的に「ｍａｇｉｃ」という単語の辞書の定義を表示させるようになっていてもよい。前者の方策のほうが、ユーザーが所望のフィードバックを受け取るまで待たなくてすむので好ましい。この方策においては、最後の文字のまわりに仮想ボックスが設けられていてもよい。ユーザーがこの仮想ボックス内のいかなる領域を選択しても、当該対話的装置に、ユーザーが意図した単語を書き終わったということが示されうる。たとえば、ユーザーがスタイラスで最後の文字にタッチしたとき、ユーザーはスタイラスに書き込みが終わったことを伝えている。あるスタイラスの実施形態では、スタイラスの端に感圧スイッチが設けられていることがあり、下向きに圧力を加えると筆記要素が押し上げられる。上記したように、スタイラスは書かれた文字を認識するようプログラムされていてもよい。感圧スイッチが作動させられ、短時間のうちに書かれた文字が再び認識された場合、スタイラスはそのシーケンスが終了したと判定することができ、意図されたフィードバックをユーザーに与えることができる。この方法論は数字のシーケンス、記号のシーケンスなど他のキャラクタのシーケンスについても使うことができる。
【００７５】
これによりいくつかの問題が解決される。第一に、あるシーケンスのうちの最後の文字を選択することによって、ユーザーは書き終わったことをスタイラスにすばやく伝えることができる。シーケンスの最後の文字を選択することは、ユーザーが書き終わってフィードバックを待っていることをスタイラスに伝える自然で効率的な方法である。第二に、最後の文字を選択することによって、スタイラスはそのシーケンスが終了したことを知り、スタイラス内部のスキャン回路をシャットダウンすることができる。これはバッテリーを節約する。第三に、終了を示すためにシーケンスの最後の文字を選択しても、高々最後の文字の近くに点が形成されるだけである。これにより紙が乱雑になるのが避けられる。第四に、シーケンスの最後の文字はユーザーがフィードバックを要求する自然な終了点である。終了を示すためにそれを選択することはユーザーにとって直感的である。
【００７６】
再び図１０ｂを参照すると、ユーザーはその後、翻訳機能を表す丸囲みの文字ＴＲを書いてもよい。ユーザーがそうすると、当該対話的装置はたとえば「翻訳メニューを聞くにはＴＲにタッチしてください」のように言うことができる。下降タッチするたびに当該対話的装置が順次たとえば「英語からスペイン語」「英語からフランス語」「英語からドイツ語」などと言うようにできる。ユーザーが「英語からスペイン語」のオプションを聞いた場合、ユーザーは丸囲みのＴＲの横にチェック印を書くことができる。次いでユーザーがたとえば「ｂｙｅ」と書くと、当該対話的装置はたとえば「Ｂｙｅ。Ａｄｉｏｓ。Ａ−ｄ−ｉ−ｏ−ｓ」と言うことができる。ユーザーが次にたとえば「ｆｒｉｅｎｄ」と書くと、当該対話的装置はたとえば「Ｆｒｉｅｎｄ。Ｅｌ  ａｍｉｇｏ。Ｅｌ（間隔）ａ−ｍ−ｉ−ｇ−ｏ」と言うことができる。
【実施例６】
【００７７】
図１１ａはアラーム時計機能をどのように使うことができるかを示している。丸囲みの「ＡＬ」を作成するようユーザーが促されてもよいし、そのことはユーザーがあらかじめ知っていてもよい。これはユーザーが丸囲みの文字Ｍを書き、メニュー項目リストを聞いて、文字Ｍの近くにチェック印を書くことによってアラーム時計機能を選択したあとで起こる。するとユーザーは文字ＡＬを書いて丸で囲む。すると当該対話的装置は「アラーム時計。アラーム時計のオプションを使うには、ＡＬにタッチしてください」と言う。下降タッチのたびに当該対話的装置は「アラーム時計」サブディレクトリの下の「アラームを追加」「アラームを確認」「現在時刻」の機能を読み上げるようになっている。たとえば「アラームを追加」を選択するためには、ユーザーは丸囲みの文字ＡＬの横にチェック印を作成する。すると当該対話的装置はユーザーにたとえば「月日を書いてください」のように促す。するとユーザーは５月９日という意味で「５−９」と書く。すると当該対話的装置はユーザーにたとえば「時刻を書いてください」のように促す。するとユーザーは「２：００ＰＭ」と書く。時刻を書いたのち、当該対話的装置は「ここでメッセージを書いてください」と言う。そこでユーザーは「ジムに電話」と書き、次いで当該対話的装置はそのメッセージを読み上げテキストに変換し、「ジムに電話。アラームが設定されました」と言う。５月９日の午後２：００になると、当該対話的装置は自動的に「ジムに電話」と読み上げる。
【００７８】
アラーム確認（ｒｅｖｉｅｗ  ａｌａｒｍ）モードでは、ユーザーはアラーム確認のために丸囲みのＲＡ（図示せず）などを書く。順次タッチするたびに、当該対話的装置は各アラームメッセージを順次発音するようになっている。たとえば、文字ＲＡに３回続けてタッチすると、当該対話的装置は次の３つのメッセージ（当該対話的装置のメモリユニットに保存されている）およびそれが再生される月日と時刻を再生する。
【実施例７】
【００７９】
図１１ｂは電話番号リスト（ｐｈｏｎｅ  ｌｉｓｔ）機能をどのように使うことができるかを示している。図のように、ユーザーは促されたのちに丸囲みの文字ＰＬを書くことができる。これはユーザーが丸囲みの文字Ｍを書き、メニュー項目リストを聞いて、文字Ｍの近くにチェック印を書くことによって電話番号リスト機能を選択したあとで起こる。次いでユーザーは文字ＰＬに当該対話的装置でタッチする。順次文字ＰＬに当該対話的装置でタッチするたびに、当該対話的装置は「電話番号リスト」サブディレクトリ内の「電話番号にアクセス」「電話番号を追加」「電話番号を削除」の機能を読み上げるようになっている。ユーザーはたとえば「電話番号を追加」を選択することにし、文字ＰＬの横にチェック印を書くことによってこの選択を示しうる。すると当該対話的装置はユーザーに「名前を書いてください」などと促し、ユーザーは「ジョー・スミス」という名前を当該対話的装置を用いて書く。テキスト・ツー・スピーチ・ソフトウェアエンジンを使って、当該対話的装置は「ジョー・スミス」の名前を読み上げ、次いでユーザーに「電話番号を書いてください」と促す。するとユーザーは「５５５−５５５−５５５５」と書き、当該対話的装置はこの電話番号をユーザーに読み上げる（テキスト・ツー・スピーチ・ソフトウェアエンジンを使って）。
【００８０】
ジョー・スミスの電話番号は後刻、「電話番号リスト」サブディレクトリ内の「電話番号にアクセス」機能を利用し、次いで「ジョー・スミス」の名を書くことによって取得することができる。「ジョー・スミス」と書くと、これが当該対話的装置によって認識され、ジョー・スミスの電話番号が当該対話的装置内のメモリユニットから取得され、当該対話的装置のスピーカーまたはイヤホンを通じてユーザーに読み上げられる。
【実施例８】
【００８１】
図１２は、新規の別のコンテンツを当該対話的装置に与えるのに使うことのできるコンピュータシステムを示している。図１２は、データベース４５５に結合されたサーバーコンピュータ４５３を示している。サーバーコンピュータ４５３はたとえばウェブサイトを運営しており、ユーザーはそのウェブサイトに接触してユーザーは新規コンテンツを取得する。データベース４５５は当該対話的装置４５９のための新規コンテンツを保存していることができる。新規コンテンツは音声出力のためのコンピュータコード、視覚的出力のためのコンピュータコード、ＯＳのためのコンピュータコードなどを含みうる。データベース４５５およびサーバーコンピュータ４５３は２つのブロックとして図示されているが、これらを具現するのは単一の計算装置であってもよく、協働する多数の計算装置であってもよい。
【００８２】
通信媒体４５１はサーバーコンピュータ４５３と複数のクライアントコンピュータ４５７（ａ）、４５７（ｂ）とを結合する。クライアントコンピュータ４５７（ａ）、４５７（ｂ）は通常のパソコンでありうる。通信媒体４５１はインターネットやイントラネットを含むいかなる好適な通信ネットワークであってもよい。２つのクライアントコンピュータが示されているが、本発明の実施形態においては多数のクライアントコンピュータがあってもよい。
【００８３】
対話的装置４５９はここに記載されている当該対話的装置のいかなるものであってもよい。対話的装置４５９はクライアントコンピュータ４５７（ａ）と有線または無線の接続を含むいかなる好適な接続を通じて通信していてもよい。クライアントコンピュータ４５７（ａ）を通じて対話的装置４５９は通信媒体４５１を介してサーバーコンピュータ４５３と連続的または非連続的に通信することができる。好適なクライアントコンピュータとしては、市販の多くのパソコンが含まれる。
【００８４】
ここではハードウェアおよびソフトウェアのさまざまな記述が与えられている。当業者はここに記載されている当該対話的装置の機能を実現するために使うことのできるハードウェアおよびソフトウェアの多くの異なる組み合わせを知ることが理解される。
【００８５】
ここで用いられてきた用語や表現は説明の言葉として使われているのであって、限定のためではない。また、そのような用語や表現の使用には、示され、述べられている特徴またはその一部分の等価物を排除する意図はない。特許請求の範囲内においてさまざまな修正が可能であることが認識される。
【００８６】
さらに、本発明のいかなる実施形態のいかなる一つまたは複数の特徴も、本発明の範囲から外れることなく、本発明の他のいかなる実施形態のいかなる一つまたは複数の特徴と組み合わせることもできる。たとえば、図４〜１１に関連して述べたいかなる実施形態も、図１または図２のいずれかにおいて示された対話的装置とともに使うことができる。
【００８７】
大略的にまとめると、この文書は少なくとも一つの対話的装置を開示している。当該対話的装置は、スタイラス殻と、該スタイラス殻に結合されたプロセッサと、（ｉ）スタイラスを使って作成された複数のグラフィック要素を認識するためのコンピュータコード、（ｉｉ）前記スタイラスを使ってのユーザー定義シーケンスにおける前記グラフィック要素の少なくとも二つの選択を認識するためのコンピュータコード、（ｉｉｉ）前記形成されたグラフィック要素に関係する少なくとも一つの音声出力を再生するためのコンピュータコードを有するメモリユニットと、音声出力装置とを含む。
【００８８】
上記において言及されているすべての参考文献、特許出願および特許は、あらゆる目的についてその全体において参照によってここに組み込まれる。そのいずれも、本願発明の従来技術であると認められるものではない。
【図面の簡単な説明】
【００８９】
【図１】２次元物品および対話的装置を含む対話的システムの概略図である。
【図２】２次元物品およびプラットフォームを含む対話的装置を含む対話的システムの概略図である。
【図３】本発明のある実施形態に基づく対話的装置のいくつかの電子的構成要素のブロック図である。
【図４】本発明のある実施形態に基づくツリーメニューの概略図である。
【図５】本発明のある実施形態に基づく方法を示すフローチャートである。
【図６】（ａ）および（ｂ）は、スタイラスの使用によって、グラフィック要素を作成し、それと対話することで対話的装置にメニュー項目リストを提示させ、ユーザーがメニュー項目を選択できるようにする様子を示す概略図である。
【図７】本発明のある実施形態に基づく方法を示すフローチャートである。
【図８】ユーザーが紙の上に複数の数字を書いてカスタム電卓を生成できる本発明の実施形態を示す図である。
【図９】（ａ）および（ｂ）は紙の上に翻訳機を生成する仕方を示す図である。
【図１０ａ】「ワード・スクランブル」と呼ばれるゲームにおいて使われる丸を描いた紙を示す図である。
【図１０ｂ】別の翻訳機および辞書をどのように使用しうるかを示す、印の付いた紙を示す図である。
【図１１ａ】アラーム時計機能をどのように使用できるかを示す図である。
【図１１ｂ】電話番号リスト機能をどのように使用できるかを示す図である。
【図１２】本発明のある実施形態に基づく通信システムのブロック図である。
【図１】
2007504565.tif 000003
【図２】
2007504565.tif 000004
【図３】
2007504565.tif 000005
【図４】
2007504565.tif 000006
【図５】
2007504565.tif 000007
【図６】
2007504565.tif 000008
【図７】
2007504565.tif 000009
【図８】
2007504565.tif 000010
【図９（ａ）】
2007504565.tif 000011
【図９（ｂ）】
2007504565.tif 000012
【図１０（ａ）】
2007504565.tif 000013
【図１０（ｂ）】
2007504565.tif 000014
【図１１ａ】
2007504565.tif 000015
【図１１ｂ】
2007504565.tif 000016
【図１２】
2007504565.tif 000017
【手続補正書】
【提出日】平成18年3月3日(2006.3.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
（ａ）ハンドヘルドデバイスによって作成されたグラフィック要素を認識し、
（ｂ）前記グラフィック要素の認識後に複数のメニュー項目のうちから少なくとも一つのメニュー項目の音声読み上げを生成し、
（ｃ）前記ハンドヘルドデバイスの前記グラフィック要素に関係したその後の活性化に際して前記複数のメニュー項目からのメニュー項目の選択を認識する、
ことを含むことを特徴とする方法。
【請求項２】
前記ハンドヘルドデバイスが、プロセッサ、放出器、検出器、スピーカーを有する対話的装置の形であって、前記放出器、検出器、スピーカーが前記プロセッサに動作的に結合していることを特徴とする、請求項１記載の方法。
【請求項３】
前記グラフィック要素がプリント可能面上にあり、前記グラフィック要素がプリント要素であり、前記ハンドヘルドデバイスがアンテナを有し、前記プリント可能面が紙であり、前記グラフィック要素が記号ならびに／または記号および該記号を囲む線を含み、前記複数のメニュー項目が、電卓メニュー項目、調査メニュー項目およびゲームメニュー項目のうちの少なくとも一つを含むことを特徴とする、請求項１記載の方法。
【請求項４】
前記メニュー項目の選択を認識したのち、前記ハンドヘルドデバイスに動作的に付随している音声合成器が追加的なグラフィック要素を作成するよう指示を音声で読み上げることを特徴とする、請求項１記載の方法。
【請求項５】
ハンドヘルドデバイス殻と、
前記ハンドヘルドデバイス殻に結合したプロセッサと、
（ｉ）ハンドヘルドデバイスによって作成されたグラフィック要素を認識するためのコンピュータコード、
（ｉｉ）前記グラフィック要素がユーザーによって作成された後に複数のメニュー項目中の少なくとも一つのメニュー項目の音声読み上げを再生するためのコンピュータコード、および、
（ｉｉｉ）前記複数のメニュー項目からのユーザーによるメニュー項目の選択を認識するためのコンピュータコード、
を有するメモリユニットと、
音声出力装置、
とを有する対話的装置であって、前記音声出力装置および前記メモリユニットが前記プロセッサに動作的に結合していることを特徴とする対話的装置。
【請求項６】
前記プロセッサ、前記音声出力装置、前記メモリユニットが前記ハンドヘルドデバイス殻の内側にあり、前記プロセッサ、前記音声出力装置、前記メモリユニットが前記ハンドヘルドデバイス殻に結合されているプラットフォーム内にあることを特徴とする、請求項５記載の対話的装置。
【請求項７】
前記プロセッサ、前記メモリユニット、前記音声出力装置がみな前記ハンドヘルドデバイス殻の内側にあり、前記ハンドヘルドデバイス殻がさらに前記プロセッサに結合された発光器および光検出器を有することを特徴とする、請求項５記載の対話的装置。
【請求項８】
前記グラフィック要素が文字または数字を含み、前記メモリユニットが物品上の実質不可視のコードを認識するためのコンピュータコードを有しており、前記実質不可視のコードが点コードの形であることを特徴とする、請求項５記載の対話的装置。
【請求項９】
前記メモリユニットが物品上の実質不可視のコードを認識するためのコンピュータコードを有しており、前記実質不可視のコードが相対位置または絶対位置をエンコードする点コードの形であることを特徴とする、請求項５記載の対話的装置。
【請求項１０】
（ａ）請求項９記載の対話的装置と、
（ｂ）前記実質不可視のコードを含む物品、
とを有し、前記物品がいかなる事前のプリントもされていない紙または事前のプリントを含む紙を含んでいることを特徴とするシステム。
【請求項１１】
（ａ）スタイラス殻と、前記スタイラス殻に結合したプロセッサと、音声合成器と、
（ｉ）ユーザーが前記スタイラスを使ってグラフィック要素を作成できるようにするためのコンピュータコード、
（ｉｉ）前記グラフィック要素作成後に複数のメニュー項目中の少なくとも一つのメニュー項目の音声読み上げを再生するためのコンピュータコード、
（ｉｉｉ）ユーザーが前記複数のメニュー項目からメニュー項目を選択できるようにするためのコンピュータコード、および、
（ｉｖ）物品上の実質不可視なコードを認識するためのコンピュータコードを有し、前記実質不可視のコードが相対位置または絶対位置をエンコードする点コードの形であるメモリユニットと、音声出力装置とを有する対話的装置であって、前記音声合成器、前記音声出力装置および前記メモリユニットが前記プロセッサに動作的に結合しており、前記音声合成器、前記音声出力装置、前記プロセッサおよび前記メモリユニットが前記スタイラス殻の内側にある対話的装置、
を有することを特徴とするシステム。
【請求項１２】
前記実質不可視のコードが点コードであり、前記メモリユニットが、前記グラフィック要素が順次選択されるたびに前記対話的装置に前記メニュー項目を読み上げさせるためのコンピュータコードを有しており、前記実質不可視のコードが前記物品上の前記絶対位置に関係し、前記グラフィック要素が少なくとも一つの印と、少なくとも一つの印および該少なくとも一つの印を囲む線の組み合わせとからなる群から選択される一つを含むことを特徴とする、請求項１１記載のシステム。
【請求項１３】
前記物品が事前にプリントされたプリント要素のない１枚の紙、または事前にプリントされたプリント要素を含む１枚の紙を含むことを特徴とする、請求項１１記載のシステム。
【請求項１４】
ある面上の作成された複数のグラフィック要素を認識し、
前記グラフィック要素の少なくとも一つの選択を認識し、該認識がスタイラスによって、該スタイラスの前記少なくとも一つのグラフィック要素に関係した活性化に際して実現され、
前記少なくとも一つのグラフィック要素に関係した機能にアクセスし、
前記機能に従って少なくとも一つの音声出力を提供する
ことを含むことを特徴とする方法。
【請求項１５】
請求項１４記載の方法であって、前記複数のグラフィック要素が複数の数字および数学的演算子を含み、前記選択の認識が、第一の数字、第一の数学的演算子、第二の数字および第二の数学的演算子の選択を認識することを含み、前記第一の数字、第一の数学的演算子、第二の数学的演算子が一緒になって数学上の問題を形成し、前記選択された第一の数字、第一の数学的演算子、第二の数学的演算子に関係する前記少なくとも一つの音声出力が前記数学上の問題の答えを含むことを特徴とする方法。
【請求項１６】
前記スタイラスが、放出器、検出器、プロセッサ、スピーカーを有しており、前記放出器、検出器、スピーカーが前記プロセッサに結合されており、前記スタイラスがプラットフォームに結合されており、該プラットフォームが前記グラフィック要素が形成されるシートを支持しており、前記グラフィック要素が文字であることを特徴とする、請求項１４記載の方法。
【請求項１７】
前記グラフィック要素が言語名を含む第一のグラフィック要素と、前記言語とは異なる言語の単語を含む第二のグラフィック要素とを含み、前記選択の認識が前記単語の選択を認識し、それから前記言語名の選択を認識することを含み、前記少なくとも一つの音声出力が合成音声によって前記言語の前記単語を音声として表現することを含むことを特徴とする、請求項１４記載の方法。
【請求項１８】
前記グラフィック要素が言語名を含む第一のグラフィック要素と、前記言語とは異なる言語の単語を含む第二のグラフィック要素とを含み、前記選択の認識が前記単語の選択を認識し、それから前記言語名の選択を認識することを含み、前記少なくとも一つの音声出力が合成音声によって前記言語の前記単語を音声として表現することを含み、前記言語が英語以外の言語であり、前記単語が英語であることを特徴とする、請求項１４記載の方法。
【請求項１９】
前記スタイラスが筆記要素を含み、前記グラフィック要素がシート上の作成されたグラフィック要素であって前記スタイラスを用いて生成されるものであり、前記シートが複数の実質不可視のコードを含み、事前にプリントされたプリント要素がないことを特徴とする、請求項１４記載の方法。
【請求項２０】
デバイス殻と、
前記デバイス殻に結合されたプロセッサと、
（ｉ）デバイスを使って作成された複数のグラフィック要素を認識するためのコンピュータコード、
（ｉｉ）前記デバイスを使ってのユーザー定義シーケンスにおける前記グラフィック要素の少なくとも二つの選択を認識するためのコンピュータコード、および、
（ｉｉｉ）前記形成されたグラフィック要素に関係する少なくとも一つの音声出力を再生するためのコンピュータコード、
を有するメモリユニットと、
音声出力装置、
とを有する対話的装置であって、前記音声出力装置および前記メモリユニットが前記プロセッサに動作的に結合されていることを特徴とする対話的装置。
【請求項２１】
前記デバイスが筆記要素を有し、前記プロセッサ、前記メモリユニット、前記音声出力装置が前記デバイス殻の内側にあり、前記メモリユニットが、物品上にプリントされた実質不可視のコードを認識するためのコンピュータコードを有することを特徴とする、請求項２０記載の対話的装置。
【請求項２２】
前記メモリユニットがさらに、物品上にプリントされた実質不可視のコードを認識するためのコンピュータコードを有しており、前記実質不可視のコードが点コードを含むことを特徴とする、請求項２０記載の対話的装置。
【請求項２３】
当該装置がさらにプラットフォームを有し、前記メモリ、前記プロセッサ、前記音声出力装置が該プラットフォーム内にあり、当該対話的装置が引き込み可能な筆記要素を有することを特徴とする、請求項２０記載の対話的装置。
【請求項２４】
前記グラフィック要素が数字を含み、前記メモリユニットがさらに数字を計算するためのコードを有し、前記メモリユニットがさらに、文字、数字、フォニックスのうちの少なくとも一つについて教えるためのコンピュータコードを有し、前記メモリユニットが合成音声に複数のメニュー項目を読み上げさせるコンピュータコードを有することを特徴とする、請求項２０記載の対話的装置。
【請求項２５】
デバイス殻と、前記デバイス殻に結合されたプロセッサと、
（ｉ）デバイスを使って作成された複数のグラフィック要素を認識するためのコンピュータコード、
（ｉｉ）前記デバイスを使ってのユーザー定義シーケンスにおける前記グラフィック要素の少なくとも二つの選択を認識するためのコンピュータコード、および、
（ｉｉｉ）前記形成されたグラフィック要素に関係する少なくとも一つの音声出力を再生するためのコンピュータコード、を有するメモリユニットと、音声出力装置とを有しており、前記音声出力装置および前記メモリユニットが前記プロセッサに動作的に結合されている対話的装置、
とを有することを特徴とするシステム。
【請求項２６】
前記グラフィック要素が作成されている物品をさらに有し、前記物品が１枚の紙を含み、該１枚の紙が複数の実質不可視のコードを含み、該実質不可視のコードが相対位置情報もしくは絶対位置情報または点コードであるコードを含んであり、前記１枚の紙には事前にプリントされたプリント要素が実質ないことを特徴とする、請求項２５記載のシステム。
【請求項２７】
前記プロセッサ、前記音声出力装置、前記メモリユニットがデバイス殻の内側にあり、前記対話的装置が自己完結型の装置の形であり、前記メモリユニットが複数のメニュー項目のためのコンピュータコードを有することを特徴とする、請求項２５記載のシステム。
【請求項２８】
前記メモリユニットが英語−外国語辞書のためのコンピュータコードを有することを特徴とする、請求項２５記載のシステム。
【請求項２９】
面上の作成されたグラフィック要素を認識し、
前記グラフィック要素に関係する機能にアクセスし、
前記機能に従った出力を提供し、
前記グラフィック要素と前記機能を関連付ける、
ことを含むことを特徴とする、ユーザーコマンドを解釈する方法。
【請求項３０】
前記出力が前記機能に関係した音声出力を含んでおり、当該方法がさらに、前記機能と前記グラフィック要素との関連付けを保存することによって前記グラフィック要素のその後の選択に反応しての前記機能へのその後のアクセスを可能にするステップを有しており、前記機能と前記グラフィック要素との関連付けを保存することによって所定の時間の間、前記グラフィック要素との対話を通じて前記機能の持続的な利用可能性を実現し、当該方法がさらに、前記グラフィック要素の少なくとも一つの活性化を解釈することによって前記グラフィック要素に関係した複数の機能の一つにアクセスするステップを有しており、前記少なくとも一つの活性化が前記複数の機能の前記一つを選択し、前記少なくとも一つの活性化が前記グラフィック要素の少なくとも一回のタップを認識することを含んでおり、当該方法がさらに、前記複数の機能の前記一つが選択されたときに複数の音声出力の一つを提供するステップを有することを特徴とする、請求項２９記載の方法。
【請求項３１】
前記グラフィック要素がペンデバイスによって前記面上に作成され、前記面が紙であることを特徴とする、請求項２９記載の方法。
【請求項３２】
前記複数の機能が所定のメニューオプションを含んでおり、および／または前記複数の機能が前記グラフィック要素に関係したアプリケーションの複数の構成設定オプションを含んでおり、該複数の構成設定オプションの少なくとも一つが前記アプリケーションのデフォルトの構成設定を含んでおり、当該方法がさらに、
機能の階層構造を実現し、
グラフィック要素の対応する階層構造を通じて前記機能の階層構造へのアクセスを提供する、
ステップをさらに有することを特徴とする、請求項３０記載の方法。
【請求項３３】
第一の階層レベル機能を選択するためのグラフィック要素の少なくとも一つの活性化を認識し、
第二のグラフィック要素の作成を促し、
第二の階層レベルのある機能を選択するための第二のグラフィック要素の少なくとも一つの活性化を認識し、
前記第二の階層レベルの機能に関係した音声出力を提供し、
前記第二の階層レベルの機能を前記第二のグラフィック要素と関連付ける、
ステップをさらに有することを特徴とする、請求項３２記載の方法。
【請求項３４】
ハンドヘルドデバイスを用いて対話する方法であって、
前記ハンドヘルドデバイスの筆記要素を使って実行される、書き込み可能面上での第一のグラフィックアイコンの選択を認識し、
前記選択に反応して、前記第一のグラフィックアイコンに関連付けられた、前記ハンドヘルドデバイスによって呼び出されて動作できる第一のオプションのリストを音声の形で表現し、
前記第一のオプションの一つの選択に反応して前記第一のオプションの前記一つを呼び出す、
ことを含むことを特徴とする方法。
【請求項３５】
前記第一のオプションが呼び出されうる少なくとも一つのアプリケーションを含んでおり、前記第一のオプションの前記一つが前記ハンドヘルドデバイスに常駐するアプリケーションプログラムであり、前記第一のオプションの前記リストの音声の形での前記表現が、前記筆記要素による前記第一のグラフィックアイコンの選択に反応して前記第一のオプションのそれぞれを一つずつラウンドロビンの様式で音声の形で表現することを含んでおり、当該方法がさらに、前記第一のオプションの前記一つが音声の形で表現されたあと前記筆記要素が前記第一のグラフィックアイコンの一部分を選択するのに反応して前記第一のオプションの前記一つの選択を識別することを含んでおり、前記第一のグラフィックアイコンの前記一部分がチェックマークのシンボルであり、前記一部分の前記選択が前記ハンドヘルドデバイスを用いてユーザーが行う動作を認識することを含んでいる、ことを特徴とする、請求項３４記載の方法。
【請求項３６】
前記第一のグラフィックアイコンが前記面上にユーザーが書き込んだものであり、当該方法がさらに、前記第一のグラフィックアイコンを自動的に識別することを含んでおり、前記第一のグラフィックアイコンの前記自動識別が前記ハンドヘルドデバイスのプロセッサを使って実行されることを特徴とする、請求項３４記載の方法。
【請求項３７】
前記第一のグラフィックアイコンが前記面上に事前にプリントされており、前記第一のグラフィックアイコンがメニュー項目であり、前記第一のオプションが前記ハンドヘルドデバイスによって呼び出されて動作できるオプション階層構造内のサブメニュー項目である、ことを特徴とする、請求項３４記載の方法。
【請求項３８】
前記第一のオプションが第二のグラフィックアイコンと関連付けられているオプションを含んでおり、当該方法がさらに：
前記選択が前記ハンドヘルドデバイスの前記筆記要素を使って実行される前記書き込み可能面上の前記第二のグラフィックアイコンの選択を認識し、
前記選択に反応して、前記第二のグラフィックアイコンと関連付けられた、前記ハンドヘルドデバイスによって呼び出されて動作できる第二のオプションのリストを音声の形で表現し、
前記第二のオプションの一つの選択に反応して前記第二のオプションの前記一つを呼び出す、
ことを含むことを特徴とする、請求項３４記載の方法。
【請求項３９】
前記第二のオプションが呼び出されうる少なくとも一つのアプリケーションを含んでおり、前記第二のオプションの前記一つが前記ハンドヘルドデバイスに常駐するアプリケーションプログラムであり、前記第二のオプションの前記リストの音声の形での前記表現が、前記筆記要素による前記第二のグラフィックアイコンの選択に反応して前記第二のオプションのそれぞれを一つずつラウンドロビンの様式で音声の形で表現することを含んでおり、当該方法がさらに、前記第二のオプションの前記一つが音声の形で表現されたあと前記筆記要素が前記第二のグラフィックアイコンの一部分を選択するのに反応して前記第二のオプションの前記一つの選択を識別することを含んでいる、ことを特徴とする、請求項３８記載の方法。
【請求項４０】
前記第二のグラフィックアイコンが前記面上にユーザーが書き込んだものであり、当該方法がさらに、前記第二のグラフィックアイコンを自動的に識別するステップを含んでおり、前記第二のグラフィックアイコンの前記自動識別が前記ハンドヘルドデバイスのプロセッサを使って実行されることを特徴とする、請求項３８記載の方法。
【請求項４１】
前記第一のオプションの前記一つがテキスト認識機能を含んでおり、前記ハンドヘルドデバイスが、書かれた単語の最後の文字をユーザーがタップすることを認識することによって該単語の終わりを認識するよう構成されていることを特徴とする、請求項３４記載の方法。
【請求項４２】
前記第一のオプションの前記一つがテキスト認識機能を含んでおり、前記ハンドヘルドデバイスが、書かれた単語のまわりにユーザーが箱形または丸を描くことを認識することによって該単語の終わりを認識するよう構成されており、前記第一のオプションの前記一つが辞書機能を含んでおり、前記ハンドヘルドデバイスがユーザーが書いた単語を認識して前記ユーザーが書いた単語に関係する記述を音声の形で表現するよう構成されており、前記第一のオプションの前記一つが電卓機能を含んでおり、前記ハンドヘルドデバイスが複数の数字および演算子を含むユーザーが書いた複数のグラフィック要素を認識するよう構成されており、前記ハンドヘルドデバイスが第一の数字、第一の数学的演算子、第二の数字および第二の数学的演算子の選択を認識するよう構成されており、前記第一の数字、第一の数学的演算子、第二の数字が一緒になって数学の問題を形成し、前記ハンドヘルドデバイスが前記数学問題への答えを含む少なくとも一つの音声出力を音声の形で表現するよう構成されていることを特徴とする、請求項３４記載の方法。
【請求項４３】
前記第一のオプションの前記一つが翻訳機能を含んでおり、前記ハンドヘルドデバイスが、ユーザーが書いた複数のグラフィック要素を認識するよう構成されており、第一のグラフィック要素が言語名を含み、第二のグラフィック要素が前記言語とは異なる言語の単語を含んでおり、前記ハンドヘルドデバイスが前記単語の選択を認識し、前記言語名の選択を認識し、前記言語における前記単語を音声の形で表現するよう構成されていることを特徴とする、請求項３４記載の方法。
【請求項４４】
前記第一のオプションの前記一つがワード・スクランブル機能を含んでおり、前記ハンドヘルドデバイスが一つのセンテンスをなす単語からなるユーザーが書いた複数のグラフィック要素を認識するよう構成されており、前記ハンドヘルドデバイスが前記単語の逐次的な選択を認識して前記センテンスの前記単語が正しい順番で逐次選択された際には前記センテンスを音声の形で表現するよう構成されており、前記第一のオプションの前記一つがアラーム時計機能を含んでおり、前記ハンドヘルドデバイスがユーザーが書いたアラーム時刻を認識して前記ユーザーが書いたアラーム時刻に関係したアラームを音声の形で表現するよう構成されており、前記第一のオプションの前記一つが電話帳機能を含んでおり、前記音声の形で表現される前記第二のオプションのリストが前記第二のオプションの一つの選択に反応して前記電話帳機能の前記第二のオプションの当該一つを呼び出して電話番号にアクセスすること、電話番号を追加すること、または電話番号を削除することを含んでいる、ことを特徴とする、請求項３４記載の方法。
【請求項４５】
前記ハンドヘルドデバイスが該ハンドヘルドデバイスの外部にあるリモートコンピュータシステムと連絡があるプロセッサを有しており、前記リモートコンピュータシステムがサーバーであり、前記プロセッサが前記サーバーと対話するのに無線通信を使用することを特徴とする、請求項３４記載の方法。
【国際調査報告】
2007504565.tif 000018