(57)【要約】【課題】ユーザ作成グラフィカル・エレメントによってデバイス用ユーザ・インタフェースを実施する方法及びシステム【解決手段】方法は、ユーザによって作成されるグラフィカル・エレメント・アイコンを認識する工程を含む。認識されると、グラフィカル・エレメント・アイコンに関する機能がアクセスされ、機能による出力が備えられる。機能は、グラフィカル・エレメント・アイコンと永続的に関連付けられる。メニューの選択及びナビゲーションは、グラフィック・エレメント・アイコンとの相互作用によって実施される。グラフィカル・エレメント・アイコンに関連したオプション・リストは可聴的にレンダリングされる。オプションのうちの１つの選択に応じて、選択されたオプションが引き起こされる。【選択図】図５
2006244463.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ・コマンドを解釈する方法であって、
表面上に作成されるグラフィカル・エレメント・アイコンを認識する工程と、
前記グラフィカル・エレメント・アイコンに関する機能をアクセスする工程と、
前記機能によって出力を備える工程と、
前記グラフィカル・エレメント・アイコンに前記機能を関連付ける工程とを備えることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、
前記グラフィカル・エレメント・アイコンとの前記機能の前記関連付けを記憶することによって前記グラフィカル・エレメント・アイコンの後の選択に応じて前記機能の後のアクセスを可能にする工程を更に備えることを特徴とする方法。
【請求項３】
請求項２記載の方法であって、
前記グラフィカル・エレメント・アイコンとの前記機能の前記関連付けの前記記憶は、前記グラフィカル・エレメント・アイコンとの相互作用を介して所定時間量、前記機能の永続的な利用可能性を実施することを特徴とする方法。
【請求項４】
ユーザ・コマンドを解釈する方法であって、
表面上に作成されるグラフィカル・エレメント・アイコンを認識する工程と、
前記グラフィカル・エレメント・アイコンに関する機能をアクセスする工程と、
前記機能によってオーディオ出力を備える工程と、
前記グラフィカル・エレメント・アイコンと前記機能との関連付けを記憶することによって前記機能の後のアクセスを可能にする工程とを備え、
前記関連付けの前記記憶は、前記グラフィカル・エレメント・アイコンとの相互作用を介して所定時間量、前記機能の永続的な利用可能性を実施することを特徴とする方法。
【請求項５】
請求項１又は４記載の方法であって、
前記グラフィカル・エレメント・アイコンは、ペン・デバイスによって前記表面上に作成されることを特徴とする方法。
【請求項６】
請求項１又は４記載の方法であって、
機能の階層を実施する工程と、
グラフィカル・エレメント・アイコンの相当する階層を介して前記機能の階層へのアクセスを備える工程とを更に備えることを特徴とする方法。
【請求項７】
請求項４記載の方法であって、
前記機能の動作方法を示す旨の、前記機能に関する少なくとも１つのオーディオのヒントを備える工程を更に備えることを特徴とする方法。
【請求項８】
請求項７記載の方法であって、
前記グラフィカル・エレメント・アイコンの少なくとも１つの駆動を認識して、第１の階層レベルの機能を選択する工程と、
第２のグラフィカル・エレメント・アイコンの作成をプロンプトする工程と、
前記第２のグラフィカル・エレメント・アイコンの少なくとも１つの駆動を認識して、第２の階層レベルの機能を選択する工程と、
前記第２の階層レベルの機能に関するオーディオ出力を備える工程と、
前記第２の階層レベルの機能を前記第２のグラフィカル・エレメント・アイコンと関連付ける工程とを更に備えることを特徴とする方法。
【請求項９】
デバイスであって、
画像を表面から検出する光センサと、
センサに結合されるプロセッサと、
該プロセッサに結合されるメモリとを備え、
該メモリは、
前記表面上に作成されるグラフィカル・エレメント・アイコンを認識する工程と、
前記グラフィカル・エレメント・アイコンに関する機能をアクセスする工程と、
前記機能によって出力を備える工程と、
前記グラフィカル・エレメント・アイコンに前記機能を関連付ける工程とを備える、ユーザ・コマンドを解釈する方法を、実行されると前記デバイスに実施させる命令を記憶することを特徴とするデバイス。
【請求項１０】
請求項９記載のデバイスであって、
前記出力は、前記機能に関するオーディオ出力を備えることを特徴とするデバイス。
【請求項１１】
請求項９記載のデバイスであって、
前記グラフィカル・エレメント・アイコンとの前記機能の前記関連付けを記憶することによって前記機能の後のアクセスを可能にする工程を更に備えることを特徴とするデバイス。
【請求項１２】
請求項１１記載のデバイスであって、
前記グラフィカル・エレメント・アイコンとの前記機能の前記関連付けの前記記憶は、前記グラフィカル・エレメント・アイコンとの相互作用を介して所定時間量、前記機能の永続的な利用可能性を実施することを特徴とするデバイス。
【請求項１３】
請求項９記載のデバイスであって、
筆記器具を更に備え、
前記グラフィカル・エレメント・アイコンは、前記表面上の前記筆記器具によって作成されることを特徴とするデバイス。
【請求項１４】
請求項１３記載のデバイスであって、
前記表面は、紙を備えることを特徴とするデバイス。
【請求項１５】
請求項９記載のデバイスであって、前記方法は、
前記グラフィカル・エレメント・アイコンの少なくとも１つの駆動を解釈することによって前記グラフィカル・エレメント・アイコンに関する複数の機能のうちの１つをアクセスする工程を更に備え、
前記少なくとも１つの駆動は、前記複数の機能のうちの前記１つを選択することを特徴とするデバイス。
【請求項１６】
請求項１５記載のデバイスであって、
前記少なくとも１つの駆動は、前記グラフィカル・エレメント・アイコンに少なくとも１回軽く触れることが認識されることを備えることを特徴とするデバイス。
【請求項１７】
請求項１５記載のデバイスであって、前記方法は、
前記複数の機能のうちの前記１つが選択される場合に複数のオーディオ出力のうちの１つを備える工程を更に備えることを特徴とするデバイス。
【請求項１８】
請求項１５記載のデバイスであって、
前記複数の機能は、所定のオプション・メニューを備えることを特徴とするデバイス。
【請求項１９】
請求項１５記載のデバイスであって、
前記複数の機能は、前記グラフィカル・エレメント・アイコンに関するアプリケーションの複数の構成オプションを備えることを特徴とするデバイス。
【請求項２０】
請求項１９記載のデバイスであって、
前記複数の構成オプションのうちの少なくとも１つが、前記アプリケーションのデフォールト構成を備えることを特徴とするデバイス。
【請求項２１】
請求項１９記載のデバイスであって、前記方法は、
機能の階層を実施する工程と、
グラフィカル・エレメント・アイコンの相当する階層を介して前記機能の階層へのアクセスを備える工程とを更に備えることを特徴とするデバイス。
【請求項２２】
請求項２１記載のデバイスであって、前記方法は、
前記グラフィカル・エレメント・アイコンの少なくとも１つの駆動を認識して第１の階層レベルの機能を選択する工程と、
第２のグラフィカル・エレメント・アイコンの作成をプロンプトする工程と、
前記第２のグラフィカル・エレメント・アイコンの少なくとも１つの駆動を認識して第２の階層レベルの機能を選択する工程と、
前記第２の階層レベルの機能に関するオーディオ出力を備える工程と、
前記第２の階層レベルの機能を、前記第２のグラフィカル・エレメント・アイコンと関連付ける工程とを更に備えることを特徴とするデバイス。
【請求項２３】
請求項９記載のデバイスであって、前記方法は、
前記機能の動作方法を示す旨の、前記機能に関する少なくとも１つのオーディオのヒントを備える工程を更に備えることを特徴とするデバイス。
【請求項２４】
ペン・ベースのコンピュータ・システムと相互作用する方法であって、
記述可能な表面上の第１のグラフィカル・アイコンの選択を認識する工程を備え、
前記選択は、前記ペン・ベースのコンピュータ・システムの筆記器具を用いて行われ、
更に、前記選択に応じて、前記第１のグラフィカル・アイコンに関連した第１のオプションのリストを可聴的にレンダリングする工程を備え、前記第１のオプションは、前記ペン・ベースのコンピュータ・システムによって引き起こされるよう動作可能であり、
更に、前記第１のオプションのうちの１つの選択に応じて、前記第１のオプションのうちの前記１つを引き起こす工程を備えることを特徴とする方法。
【請求項２５】
請求項２４記載の方法であって、
前記第１のオプションが、引き起こす対象の少なくとも１つのアプリケーションを備えることを特徴とする方法。
【請求項２６】
請求項２４記載の方法であって、
前記第１のオプションのうちの前記１つが、前記ペン・ベースのコンピュータ・システム上に常駐しているアプリケーション・プログラムであることを特徴とする方法。
【請求項２７】
請求項２４記載の方法であって、
前記第１のオプションの前記リストを前記可聴的にレンダリングする工程が、
前記筆記器具による前記第１のグラフィカル・アイコンの選択に応じて、ラウンドロビン方式で前記第１のオプションの各々を１度に１つずつ可聴的にレンダリングする工程を備えることを特徴とする方法。
【請求項２８】
請求項２７記載の方法であって、
前記第１のオプションのうちの前記１つが可能的にレンダリングされた後に、前記第１のグラフィカル・アイコンの一部分を前記筆記器具が選択することに応じて前記第１のオプションのうちの前記１つの選択を識別する工程を更に備えることを特徴とする方法。
【請求項２９】
請求項２８記載の方法であって、
前記第１のグラフィカル・アイコンの前記一部分が、チェックマークの記号であることを特徴とする方法。
【請求項３０】
請求項２４記載の方法であって、
前記第１のグラフィカル・アイコンが前記表面上にユーザによって記述され、
更に、前記第１のグラフィカル・アイコンを自動的に識別する工程を備え、
前記第１のグラフィカル・アイコンを自動的に識別する工程が、前記ペン・ベースのコンピュータ・システムのプロセッサを用いて行われることを特徴とする方法。
【請求項３１】
請求項２４記載の方法であって、
前記第１のグラフィカル・アイコンが前記表面上に予め印刷されることを特徴とする方法。
【請求項３２】
請求項２４記載の方法であって、
前記第１のグラフィカル・アイコンはメニュー・アイテムであり、
前記第１のオプションは、前記ペン・ベースのコンピュータ・システムによって引き起
こされるよう動作可能なオプション階層内のサブメニュー・アイテムであることを特徴とする方法。
【請求項３３】
請求項２４記載の方法であって、
前記第１のオプションは、関連した第２のグラフィカル・アイコンを有するオプションを備え、
更に、前記記述可能な表面上の前記第２のグラフィカル・アイコンの選択を認識する工程を備え、前記選択は、前記ペン・ベースのコンピュータ・システムの前記筆記器具を用いて行われ、
更に、前記選択に応じて、前記第２のグラフィカル・アイコンに関連した第２のオプションのリストを可聴的にレンダリングする工程を備え、前記第２のオプションは、前記ペン・ベースのコンピュータ・システムによって引き起こされるよう動作可能であり、
更に、前記第２のオプションのうちの１つの選択に応じて、前記第２のオプションのうちの前記１つを引き起こす工程を備えることを特徴とする方法。
【請求項３４】
請求項３３記載の方法であって、
前記第２のオプションは、引き起こす対象の少なくとも１つのアプリケーションを備えることを特徴とする方法。
【請求項３５】
請求項３３記載の方法であって、
前記第２のオプションのうちの前記１つが、前記ペン・ベースのコンピュータ・システム上に常駐しているアプリケーション・プログラムであることを特徴とする方法。
【請求項３６】
請求項３３記載の方法であって、
前記第２のオプションの前記リストを前記可聴的にレンダリングする工程が、
前記第２のオプションの各々をラウンドロビン方式で一度に１つずつ、前記筆記器具による前記第２のグラフィカル・アイコンの選択に応じて可聴的にレンダリングする工程を備えることを特徴とする方法。
【請求項３７】
請求項３６記載の方法であって、
前記第２のオプションの前記１つが可聴的にレンダリングされた後に、前記第２のグラフィカル・アイコンの一部分を前記筆記器具が選択することに応じて前記第２のオプションのうちの前記１つの選択を識別する工程を更に備えることを特徴とする方法。
【請求項３８】
請求項３３記載の方法であって、
前記第２のグラフィカル・アイコンは前記表面上にユーザによって記述され、
更に、前記第２のグラフィカル・アイコンを自動的に識別する工程を更に備え、
該第２のグラフィカル・アイコンを自動的に識別する工程が、前記ペン・ベースのコンピュータ・システムのプロセッサを用いて行われることを特徴とする方法。
【請求項３９】
ペン・ベースのコンピュータ・システムであって、
筆記器具と、
スピーカと、
バスに結合されるメモリ装置と、
前記バスに結合される光センサと、
前記バスに結合され、かつ、
記述可能な表面上の第１のグラフィカル・アイコンの、前記筆記器具を用いて行われる選択を認識する工程と、
前記選択に応じて、前記第１のグラフィカル・アイコンに関連した、前記ペン・ベースのコンピュータ・システムによって引き起こされるよう動作可能である第１のオプションのリストを可聴的にレンダリングする工程と、
前記第１のオプションのうちの１つの選択に応じて、前記第１のオプションのうちの前記１つを引き起こす工程とを備える、ユーザと相互作用する方法を、実行されると実施する命令を備えるプロセッサとを備えることを特徴とするシステム。
【請求項４０】
請求項３９記載のシステムであって、
前記第１のオプションのうちの前記１つが、前記ペン・ベースのコンピュータ・システム上に常駐しているアプリケーション・プログラムであることを特徴とするシステム。
【請求項４１】
請求項３９記載のシステムであって、
前記第１のオプションの前記リストを前記可聴的にレンダリングする工程が、
前記筆記器具による前記第１のグラフィカル・アイコンの選択に応じて、ラウンドロビン方式で前記第１のオプションの各々を１度に１つずつ可聴的にレンダリングする工程を備えることを特徴とするシステム。
【請求項４２】
請求項４１記載のシステムであって、前記方法は
前記第１のオプションのうちの前記１つが可能的にレンダリングされた後に、前記第１のグラフィカル・アイコンの一部分を前記筆記器具が選択することに応じて前記第１のオプションのうちの前記１つの選択を識別する工程を更に備えることを特徴とするシステム。
【請求項４３】
請求項４２記載のシステムであって、
前記第１のグラフィカル・アイコンの前記一部分が、チェックマークの記号であることを特徴とするシステム。
【請求項４４】
請求項３９記載のシステムであって、
前記第１のグラフィカル・アイコンが前記表面上にユーザによって記述され、
前記方法は、前記第１のグラフィカル・アイコンを自動的に識別する工程を更に備え、
前記第１のグラフィカル・アイコンを自動的に識別する工程が、前記ペン・ベースのコンピュータ・システムの前記プロセッサを用いて行われることを特徴とするシステム。
【請求項４５】
請求項３９記載のシステムであって、
前記第１のグラフィカル・アイコンはメニュー・アイテムであり、
前記第１のオプションは、前記ペン・ベースのコンピュータ・システムによって引き起
こされるよう動作可能なオプション階層内のサブメニュー・アイテムであることを特徴とするシステム。
【請求項４６】
請求項３９記載のシステムであって、
前記第１のオプションは、関連した第２のグラフィカル・アイコンを有するオプションを備え、
前記方法は更に、前記記述可能な表面上の前記第２のグラフィカル・アイコンの選択を認識する工程を備え、前記選択は、前記筆記器具を用いて行われ、
前記方法は更に、前記選択に応じて、前記第２のグラフィカル・アイコンに関連した第２のオプションのリストを前記スピーカを介して可聴的にレンダリングする工程を備え、前記第２のオプションは、前記ペン・ベースのコンピュータ・システムによって引き起こされるよう動作可能であり、
前記方法は更に、前記第２のオプションのうちの１つの選択に応じて、前記第２のオプションのうちの前記１つを引き起こす工程を備えることを特徴とするシステム。
【請求項４７】
請求項４６記載のシステムであって、
前記第２のオプションのうちの前記１つが、前記ペン・ベースのコンピュータ・システム上に常駐しているアプリケーション・プログラムであることを特徴とするシステム。
【請求項４８】
請求項４６記載のシステムであって、
前記第２のオプションの前記リストを前記可聴的にレンダリングする工程が、
前記筆記器具による前記第２のグラフィカル・アイコンの選択に応じて、ラウンドロビン方式で前記第２のオプションの各々を１度に１つずつ可聴的にレンダリングする工程を備えることを特徴とするシステム。
【請求項４９】
請求項４８記載のシステムであって、前記方法は、
前記第２のオプションのうちの前記１つが可能的にレンダリングされた後に、前記第２のグラフィカル・アイコンの一部分を前記筆記器具が選択することに応じて前記第２のオプションのうちの前記１つの選択を識別する工程を更に備えることを特徴とするシステム。
【請求項５０】
請求項４６記載のシステムであって、
前記第２のグラフィカル・アイコンが前記表面上にユーザによって記述され、
前記方法は、前記第２のグラフィカル・アイコンを自動的に識別する工程を更に備え、
前記第２のグラフィカル・アイコンを自動的に識別する工程が、前記ペン・ベースのコンピュータ・システムの前記プロセッサを用いて行われることを特徴とするシステム。
【請求項５１】
請求項１記載の方法であって、
前記ユーザ・コマンドが、機能を実施するようユーザによって入力されることを特徴とする方法。
【請求項５２】
請求項１又は５１記載の方法であって、
前記出力は、前記機能に関するオーディオ出力を備えることを特徴とする方法。
【請求項５３】
請求項５２記載の方法であって、
前記オーディオ出力は、ペン・デバイスによって備えられることを特徴とする方法。
【請求項５４】
請求項５３記載の方法であって、
前記オーディオ出力は、前記ペン・デバイスと通信する第２のデバイスを介して備えられることを特徴とする方法。
【請求項５５】
請求項５１記載の方法であって、
前記出力は、前記機能に関する視覚出力を備えることを特徴とする方法。
【請求項５６】
請求項５５記載の方法であって、
前記視覚出力は、ペン・デバイスを介して備えられることを特徴とする方法。
【請求項５７】
請求項５６記載の方法であって、
前記視覚出力は、第２のデバイスが前記ペン・デバイスと通信することによって備えられることを特徴とする方法。
【請求項５８】
請求項５１記載の方法であって、
前記グラフィカル・エレメント・アイコンは、ペン・デバイスによって前記表面上に作成されることを特徴とする方法。
【請求項５９】
請求項５８記載の方法であって、前記グラフィカル・エレメント・アイコンは、
前記表面上のユーザ記述文字を認識する工程と、
前記文字を取り囲む、ユーザによって記述される丸を認識する工程とによって作成されることを特徴とする方法。
【請求項６０】
請求項５９記載の方法であって、
前記ユーザによって丸が記述された後の前記ペン・デバイスのアップストロークによって前記文字に対するＯＣＲ処理を開始する工程を更に備えることを特徴とする方法。
【請求項６１】
請求項５９記載の方法であって、
前記グラフィカル・エレメント・アイコンまでの所定の距離内のユーザ記述チェックマークを認識する工程と、
前記チェックマークを前記グラフィカル・エレメント・アイコンと関連付ける工程とを更に備えることを特徴とする方法。
【請求項６２】
請求項６１記載の方法であって、
前記チェックマークは、前記グラフィカル・エレメント・アイコンによって選択される複数の機能のうちの１つを引き起こすよう構成されることを特徴とする方法。
【請求項６３】
請求項５又は５１記載の方法であって、
前記表面は紙を備えることを特徴とする方法。
【請求項６４】
請求項５１記載の方法であって、
前記表面は電子的にアクティブな表面を備えることを特徴とする方法。
【請求項６５】
請求項６４記載の方法であって、
前記電子的にアクティブな表面は、タブレット型ＰＣのディスプレイを備えることを特徴とする方法。
【請求項６６】
請求項１、４又は５１記載の方法であって、
前記グラフィカル・エレメント・アイコンの少なくとも１つの駆動を解釈することによって前記グラフィカル・エレメント・アイコンに関する複数の機能のうちの１つをアクセスする工程を備え、
前記少なくとも１つの駆動は、前記複数の機能のうちの前記１つを選択することを特徴とする方法。
【請求項６７】
請求項６６記載の方法であって、
前記複数の機能は、所定のオプション・メニューを備えることを特徴とする方法。
【請求項６８】
請求項６６記載の方法であって、
前記少なくとも１つの駆動は、前記グラフィカル・エレメント・アイコンに少なくとも１回、軽く触れることを認識する工程を備えることを特徴とする方法。
【請求項６９】
請求項６６記載の方法であって、
前記複数の機能のうちの前記１つが選択される場合に複数のオーディオ出力のうちの１つを備える工程を更に備えることを特徴とする方法。
【請求項７０】
請求項６６記載の方法であって、
前記複数の機能が、１つ又は複数のアプリケーションを含む所定のオプション・メニューを備えることを特徴とする方法。
【請求項７１】
請求項６６記載の方法であって、
前記複数の機能が、前記グラフィカル・エレメント・アイコンに関するアプリケーションの複数の構成オプションを備えることを特徴とする方法。
【請求項７２】
請求項７１記載の方法であって、
前記複数の構成オプションのうちの少なくとも１つが、前記アプリケーションのデフォールト構成を備えることを特徴とする方法。
【請求項７３】
請求項６６記載の方法であって、
前記複数の機能の順序が、ユーザによって構成可能であることを特徴とする方法。
【請求項７４】
請求項６６記載の方法であって、
少なくとも１つの新たな機能を、ソフトウェア更新又はファームウェア更新によって前記複数の機能に追加することができることを特徴とする方法。
【請求項７５】
請求項６６記載の方法であって、
前記複数の機能のうちの前記１つが選択される場合に複数のオーディオ出力のうちの１つを備える工程を更に備え、
前記オーディオ出力は、ユーザによって構成可能であることを特徴とする方法。
【請求項７６】
請求項５１記載の方法であって、
相当する複数の各々のグラフィカル・エレメント・アイコンとの相互作用を認識することによって複数の機能をアクセスする工程と、
前記複数の機能毎に個別の状態を維持する工程とを備え、
前記個別の状態は、前記相互作用から生じることを特徴とする方法。
【請求項７７】
請求項５１記載の方法であって、
各インスタンスに相当する、相当する複数の各々のグラフィカル・エレメント・アイコンとの相互作用を認識することによって単一の機能の複数のインスタンスをアクセスする工程と、
前記複数のインスタンス毎に個別の独立状態を維持する工程とを更に備えることを特徴とする方法。
【請求項７８】
請求項７７記載の方法であって、
前記複数のグラフィカル・エレメント・アイコンのうちの少なくとも１つが予め印刷され、前記複数のグラフィカル・エレメント・アイコンのうちの少なくとも１つがユーザによって作成されることを特徴とする方法。
【請求項７９】
請求項５１記載の方法であって、
各インスタンスに相当する、相当する複数の各々のグラフィカル・エレメント・アイコンとの相互作用を認識することによって単一の機能の複数のインスタンスをアクセスする工程と、
連携された状態を前記複数のインスタンス毎に維持する工程とを更に備えることを特徴とする方法。
【請求項８０】
請求項７９記載の方法であって、
前記複数のグラフィカル・エレメント・アイコンのうちの少なくとも１つが予め印刷され、前記複数のグラフィカル・エレメント・アイコンのうちの少なくとも１つがユーザによって作成されることを特徴とする方法。
【請求項８１】
請求項５１記載の方法であって、
前記グラフィカル・エレメントのラベルに関するプロンプトを備えることによって、グラフィカル・エレメントの作成をプロンプトする工程と、
前記グラフィカル・エレメントの前記作成の終結を認識する工程と、
前記ラベルを前記グラフィカル・エレメントと関連付ける工程とを更に備えることを特徴とする方法。
【請求項８２】
請求項８１記載の方法であって、
機能を前記グラフィカル・エレメントと関連付ける工程を更に備え、
前記機能が、前記ラベルに関係することを特徴とする方法。
【請求項８３】
請求項８１記載の方法であって、
前記ラベルが、前記グラフィカル・エレメントに対してＯＣＲ（光学式文字認識）を行うことなく前記グラフィカル・エレメントと関連付けられることを特徴とする方法。
【請求項８４】
請求項５１記載の方法であって、
ペン装置内の位置判定手段を用いて、前記表面上の前記作成グラフィカル・エレメント・アイコンの位置を判定することによって、前記表面上の前記作成グラフィカル・エレメント・アイコンを認識する工程を更に備え、
前記位置判定手段が、前記表面上の位置コードを必要とすることなく前記位置を判定するよう構成されることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
実施例は、インタアクティブなデバイス、コンピュータ、電子デバイス、電気器具、玩具等の制御及び利用に関する。実施例は、記述グラフィカル・エレメントを用いるデバイス用ユーザ・インタフェースを実施する方法及びシステムに関する。
【背景技術】
【０００２】
光学式読み取り装置や光学式ペンなどのデバイスは、通常、検出器やイメージャに向けて表面を反射する光を発出する。デバイスを表面に向けて（か、その逆に）移動させると、連続した画像がすばやく捕捉される。画像を解析することによって、表面に対する、光デバイスの移動を追跡することができる。
【０００３】
１つのタイプの光学式ペンは、非常に小さな点が上に印刷される紙に用いる。点は、ページ上に、間隔がわずかに約０．３ミリメートルであるパターンで印刷される。ページ上の何れかの領域内の点のパターンは、その領域に一意である。光学式ペンは事実上、場合によっては一秒間に１００回以上表面のスナップショットを得るものである。各スナップショットにおいて捕捉される点位置を解釈することによって、光学式ペンは、その、ページに対する位置を高精度で判定することができる。
【０００４】
表面に対する光学式ペンの位置についての情報を利用するアプリケーションが考え出されてきたか、考え出されている。ブルートゥースや他の無線機能を備える光学式ペンを、他のデバイスにリンクし、電子メールやファクシミリを送るのに用いることができる。
【０００５】
組み込みコンピュータ・システムの能力と、そうしたシステムが実施することができる機能の複雑度との増大によって、より直感的かつユーザ・フレンドリなかたちでそうした能力をアクセスすることに対する必要性が生まれた。従来技術の光学式ペンは通常、ユーザが光学式ペンの１つ又は複数のボタン／スイッチ又は制御部を操作して１つ又は複数のソフトウェア・プログラム、ルーチン、組み込みデバイス等を起動させることによってその意図された機能を実施するものである。ペンは、コンピュータ・システムを含むか、コンピュータ・システムと通信することがあり得る。そうした制御部を駆動させると、ペン・デバイスはその意図された機能を行う。ペン自体の上に備える限定された数及び構成のスイッチ、ボタン等や、何れかの遠隔結合コンピュータ・システム・デバイスによって、一層能力が増大している光学式ペンの機能をアクセスすることは、十分な解決策ではない。
【０００６】
従来技術の解決策の１つは、光学式ペンを用いてユーザ定義コマンドを認識し、そのコマンドを用いてペンの特定の機能を引き起こす（例えば、ＰＣＴ出願公開０１／４８５９０Ａ１。）例えば、ユーザの記述は、（例えば、リアルタイムで）認識され、光学式ペンに対するコマンドとして解釈され得る。この解決策の欠点は、ペンの機能の相互作用及び制御が、ユーザの手書きが（例えば、ユーザが紙上にコマンドを筆記するにつれて）リアルタイムで認識されることを必要とすることを伴う。この解決策は、光学式ペンのより複雑な機能との相互作用が、ユーザが１つ又は複数のコマンドを繰り返し筆記してペンによって備えられる種々の選択、オプション又は機能をアクセスすることを必要とすることが理由で、満足なものでない。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
この解決策は、非常に単純な、単一工程型のアプリケーション（例えば、「オフにする」、「記憶する」等。）については満足なものであり得るが、より複雑で、満足なもので、豊富な機能が望まれる場合に過度に煩雑かつ限定的である。
【課題を解決するための手段】
【０００８】
よって、それに関連したコンピュータ・システムを有する光学式ペン・デバイスのより複雑な機能との相互作用を可能にし、ペン・デバイスによって備えられる種々の選択、オプション及び機能へのより効率的なアクセスを可能にするユーザ・インタフェースの方法及びシステムが、有用なものとなる。更に望まれるのは、ペン・デバイス上に常駐しているオペレーティング・システムとの相互作用又はペン・デバイスとの通信に有用な、方法及びインタアクティブなインタフェースである。本発明による実施例は、これらや他の効果を備える。
【０００９】
一実施例では、本発明は、表面上の、ユーザ作成グラフィカル・エレメント若しくはユーザ記述グラフィカル・エレメント及び／又は印刷グラフィカル・エレメントを用いるデバイス用ユーザ・インタフェースを実施する方法として実施される。方法は、表面上の、（例えば、ユーザによって作成される）作成グラフィカル・エレメント・アイコンを認識する工程を含む。認識されると、グラフィカル・エレメント・アイコンに関する機能がアクセスされ、機能による出力が備えられる。機能は、ペン・デバイス上にあり得るものであり、ペン・デバイスを用いて記述グラフィカル・エレメントを記述し得る。グラフィカル・エレメント・アイコンは、そういうものとしてデバイスの機能（例えば、光センサ、組み込みコンピュータ・システム等）によって認識される、ユーザによって表面上に作成される記号、文字又はマークであり得る。出力は通常、オーディオ出力装置（例えば、デバイスに結合されるか、デバイス上に常駐しているスピーカ）を介して備えられるオーディオ出力である。機能は、グラフィカル・エレメント・アイコンと永続的に関連付けられ、それによって、ペン・デバイスによるグラフィカル・エレメント・アイコンの後の駆動（例えば、軽く触れること）によって（例えば、後の特定時点で）機能の後のアクセスが可能になる。
【００１０】
一実施例では、記述グラフィカル・エレメント又は印刷グラフィカル・エレメントの選択は、ユーザによって記述し、選択し得る更なる選択のリストをペン・デバイスに、可聴的にレンダリングさせる。この場合、第１のグラフィック・エレメント・アイコンは、選択されると、第１のグラフィック・エレメント・アイコンに関するサブメニュー・アイテムをペン・デバイスにレンダリングさせるメニュー・アイテムとしての役割を果たす。サブメニュー・アイテムの何れか又は全てを、表面上に記述し、それ自体を選択し、それによってペン・デバイスに関連機能を行わせ得る。
【００１１】
概して、本書面は、ユーザ作成グラフィカル・エレメントによってデバイス用ユーザ・インタフェースを実施する方法及びシステムを開示する。方法は、ユーザによって作成されるグラフィカル・エレメント・アイコンを認識する工程を含む。認識されると、グラフィカル・エレメント・アイコンに関する機能がアクセスされ、機能による出力が備えられる。機能は、グラフィカル・エレメント・アイコンと永続的に関連付けられる。メニューの選択及びナビゲーションは、グラフィカル・エレメント・アイコンとの相互作用によって実施される。グラフィカル・エレメント・アイコンに関連したオプションのリストが可聴的にレンダリングされる。オプションのうちの１つの選択に応じて、選択されたオプションが引き起こされる。
【発明を実施するための最良の形態】
【００１２】
本明細書に組み入れられ、本明細書の一部を構成する添付図面は、本発明の実施例を示し、本明細書とともに本発明の原理を説明する役目を担う。
【００１３】
本発明のこうした目的及び効果や他の目的及び効果は、種々の添付図面において示される以下の詳細な説明を検討した後に当業者によって認識されるものである。
【００１４】
例を添付図面に示す、本発明の好ましい実施例を次に、詳細に参照することとする。本発明は、好ましい実施例に関して説明することとするが、そうしたものは、そうした実施例に本発明を限定することを意図するものでないこととする。逆に、本発明は、本特許請求の範囲記載の、本発明の技術思想内及び範囲内に含まれ得る代替、修正及び均等物を包含することが意図されている。更に、本発明の実施例の以下の詳細な説明では、数多くの特定の詳細を表して、本発明が徹底的に分かるようにしている。しかし、本発明を、こうした特定の詳細なしで実施してもよいということが当業者によって認識されるものである。一方、周知の方法、手順、構成部分及び回路は、本発明の実施例の局面を不必要にわかりにくくすることがないように、詳細には説明していない。
【００１５】
以下の、詳細な説明の一部分は、コンピュータ・メモリ内のデータ・ビットに対する演算の手順、工程、論理ブロック、処理や他の記号表現によって表す。こうした記述や表現は、成果の本質を最も効果的にデータ処理技術分野の当業者が他の当業者に伝えるのに用いる手段である。手順、コンピュータ実行工程、論理ブロック、処理等は、本明細書及び特許請求の範囲でも一般的にも、所望の結果につながる、自己整合性を有する一連の工程や命令であるものと考えられている。工程は、物理的数量の物理的操作を必要とするものである。必然的にではないが通常は、こうした数量は、コンピュータ・システムでの記憶、転送、合成、比較や他の方法による操作が可能な電気信号又は磁気信号の形式を呈する。こうした信号をビット、値、要素、記号、文字、項、数等として表すことが場合によっては主に、慣用の理由で好都合であることが明らかになった。
【００１６】
しかし、こうした語や同様な語は、適切な物理的数量と関連付けられることとし、こうした数量に付される好都合なラベルに過ぎないということを念頭におくこととする。以下の記載から明らかであるように、別途明記しない限り、本発明を通して、「処理」、「計算」、「構成」、「生成」等などの語を利用した記載は、レジスタ内及びメモリ内の物理的（電子的）数量として表すデータを操作し、物理的数量として同様に表す他のデータに変換する、マイクロコントローラ、コンピュータ・システムや同様な電子計算機装置の動作及び処理を表すということが分かる。
【実施例】
【００１７】
図１は、本発明の実施例を実施することができるペン・デバイス１００の構成図である。一般的に、ペン・デバイス１００は、光デバイス、特に、光学式読み取り装置、光学式ペン又はディジタル・ペンとして表し得る。デバイスは、上に常駐するコンピュータ・システム及びオペレーティング・システムを含み得る。アプリケーション・プログラムも上に常駐し得る。
【００１８】
図１の実施例では、ペン・デバイス１００は、ハウジング６２内にプロセッサ３２を含む。一実施例では、ハウジング６２は、ペンや、他の筆記若しくはマーキングの用具又は器具の形態を有する。プロセッサ３２は、以下に記載する、ペン・デバイス１００の機能を実施するのに用いる情報及び命令を処理するよう動作可能である。
【００１９】
本実施例では、ペン・デバイス１００は、プロセッサ３２に結合されるオーディオ出力装置３６及び表示装置４０を含み得る。他の実施例では、オーディオ出力装置及び／又は表示装置は、ペン・デバイス１００とは物理的に分離されている一方、有線接続又は無線接続によってペン・デバイス１００と通信する。無線通信の場合、ペン・デバイス１００は、送受信器又は送信器（図１に示していない）を含み得る。オーディオ出力装置３６は、スピーカ又はオーディオ・ジャック（例えば、イヤフォン用若しくはヘッドフォン用）を含み得る。表示装置４０は、液晶表示（ＬＣＤ）や特定の他の適切なタイプの表示であり得る。
【００２０】
図１の実施例では、ペン・デバイス１００は、プロセッサ３２に結合され、ペン・デバイス１００を駆動させ、制御する入力ボタン３８を含み得る。例えば、入力ボタン３８によって、ユーザが、情報及びコマンドをペン・デバイス１００に入力するか、ペン・デバイス１００をオン／オフにすることが可能になる。ペン・デバイス１００は、バッテリなどの電源３４も含む。
【００２１】
ペン・デバイス１００は、プロセッサ３２に結合される、光源又は光エミッタ４４及び、光センサ又は光検出器４２も含む。光エミッタ４４は、例えば発光ダイオード（ＬＥＤ）であってよく、光検出器４２は、例えば、電荷結合素子（ＣＣＤ）や相補型金属酸化物半導体（ＣＭＯＳ）のイメ―ジャ・アレイであってよい。光エミッタ４４は表面７０又はその一部分を照射する。表面７０を反射する光は、光検出器４２によって受光され、記録される。
【００２２】
表面７０は、紙であり得るが、本発明はそのように限定されるものでない。例えば、表面７０は、ＬＣＤ（液晶表示）、ＣＲＴ（陰極線管）、タッチ画面、電子インクを備える表面、再構成可能な紙や他のタイプの電子的にアクティブな表面（例えば、ラップトップ型ＰＣやタブレット型ＰＣの表示）を備え得る。
【００２３】
一実施例では、マーキングのパターンが、表面７０上に印刷される。光エミッタ４４及び光検出器４２を収容するペン・デバイス１００の端部は、表面７０に押し当てられるか表面７０の近くに配置される。ペン・デバイス１００が表面７０に対して移動するにつれ、マーキングのパターンが光エミッタ４４及び光検出器４２によって読み取られ、記録される。以下に更に詳細に記載するように、一実施例では、表面７０上のマーキングを用いて、表面に対するペン・デバイス１００の位置を判定する（図３及び４）。別の実施例では、表面７０上のマーキングを用いて情報をコード化する（図５及び６）。表面７０の捕捉画像は、ペン・デバイス１００によって解析（処理）して、マーキングを復号化し、コード化情報を復元することができる。
【００２４】
情報のコード化のための表面マーキングと、電子デバイスによるそうしたマーキングの読み取り／記録とに関する更なる記載は、アノト社に譲渡され、内容全体を本明細書及び特許請求の範囲に援用する、米国特許第６，５０２，７５６号明細書、西暦２００２年６月２６日付出願の米国特許出願公開１０／１７９，９６６号明細書、国際公開第０１／９５５５９号パンフレット、国際公開第０１／７１４７３号パンフレット、国際公開第０１／７５７２３号パンフレット、国際公開第０１／２６０３２号パンフレット、国際公開第０１／７５７８０号パンフレット、国際公開第０１／０１６７０号パンフレット、国際公開第０１／７５７７３号パンフレット、国際公開第０１／７１４７５号パンフレット、国際公開第０１／７３９８３号パンフレット及び国際公開第０１／１６６９１号パンフレットに見出し得る。
【００２５】
図１のペン・デバイス１００は、プロセッサ３２に結合されるメモリ装置４８も含む。一実施例では、メモリ装置４８は、メモリ・カートリッジ又はメモリ・カードとして実施される取り外し可能なメモリ装置である。別の実施例では、メモリ装置４８は、プロセッサ３２用情報及び命令を記憶するランダム・アクセス（揮発性）メモリ（ＲＡＭ）並びに読み取り専用（非揮発性）メモリ（ＲＯＭ）を含む。
【００２６】
図１の実施例では、ペン・デバイス１００は、光検出器４２及び光エミッタ４４と同じ、ペン・デバイス１００の端部に配置される筆記具エレメント５２を含む。筆記具エレメント５２は、例えば、ペン、鉛筆、マーカ等であり得るものであり、格納式であってもなくてもよい。特定のアプリケーションでは、筆記具エレメント５２は必要でない。他のアプリケーションでは、ユーザは、筆記具エレメント５２を用いて、レター、語、数字、数学記号等などの文字を含む、表面７０上のマーク（例えば、グラフィカル・エレメント）を作成することができる。こうしたマークを、走査（イメージング）し、表面７０上の位置によって、ペン・デバイス１００によって解釈することができる。ユーザ作成マークの位置は、表面７０上に印刷されるマーク・パターンを用いて判定することができる。以下の図３及び４の記載参照。一実施例では、ユーザ作成マーキングは、手書き文字を認識する光学式文字認識（ＯＣＲ）手法を用いてペン・デバイス１００によって解釈することができる。
【００２７】
前述のように、表面７０は、例えば紙などの、上に記述するのに適切な何れかの表面であり得るが、紙以外の材料から成る表面も用い得る。更に、表面７０は平坦であってもなくてもよい。例えば、表面７０は、球体の表面として実施し得る。更に、表面７０は通常の（例えば、２１６ｍｍ×２７９．５ｍｍ（レターサイズ）の）ページに対して大きくても小さくてもよい。
【００２８】
図２は、本発明の実施例を実施することができる別のデバイス２００の構成図である。デバイス２００は、本明細書に前述した、プロセッサ３２、電源３４、オーディオ出力装置３６、入力ボタン３８、メモリ装置４８、光検出器４２、光エミッタ４４及び筆記具エレメント５２を含む。しかし、図２の実施例では、光検出器４２、光エミッタ４４及び筆記具エレメント５２は、ハウジング６２内に光デバイス２０１として実施され、プロセッサ３２、電源３４、オーディオ出力装置３６、入力ボタン３８及びメモリ装置４８は、ハウジング７４内にプラットフォーム２０２として実施される。本実施例では、光デバイス２０１は、ケーブル１０２によってプラットフォーム２０２に結合される。しかし、無線接続をかわりに用いることができる。図２によって示すエレメントは、上記のもの以外の組み合わせで光デバイス２０１とプラットフォーム２０２との間に分布させ得る。
【００２９】
図３は、本発明の一実施例による、マークのパターンを備えた紙１５を示す。図３の実施例では、紙１５は、マーク１８のパターンから成る光学的に読み取り可能な位置コード１７の形式のコード化パターンを備える。図３のマーク１８は、分かりやすくするために大いに拡大されている。実際には、マーク１８は、人間の視覚系によって容易に区別可能でないことがあり得るものであり、紙１５上ではグレイスケールとして見えることがあり得る。一実施例では、マーク１８は点として実施される。しかし、本発明はそのように限定されるものでない。
【００３０】
図４は、図３の位置コード１７の拡大部分１９を示す。デバイス１００やデバイス２００（図１及び２）などの光デバイスは、位置コード１７の領域の画像を記録するよう配置される。一実施例では、光デバイスは、ラスタ点２２で交差するラスタ・ライン２１を備えるラスタの形式の基準系にマーク１８を合わせる。マーク１８の各々は、ラスタ点２２と関連付けられる。例えば、マーク２３は、ラスタ点２４と関連付けられる。画像／ラスタ内のマークについて、マークに関連付けられるラスタ点からのマークの変位が判定される。こうした変位を用いて、画像／ラスタ内のパターンが、基準系におけるパターンと比較される。基準系におけるパターン各々は、表面７０上の特定の位置と関連付けられる。よって、画像／ラスタ内のパターンを基準系におけるパターンと照合することによって、表面７０上のパターンの位置と、よって、表面７０に対する光デバイスの位置とを判定することができる。
【００３１】
情報のコード化のための表面マーキングと、電子デバイスによるそうしたマーキングの読み取り／記録に関する更なる記載は、アノト社に譲渡され、内容全体を本明細書及び特許請求の範囲に援用する、米国特許第６，５０２，７５６号明細書、西暦２００２年６月２６日付出願の米国特許出願公開１０／１７９，９６６号明細書、国際公開第０１／９５５５９号パンフレット、国際公開第０１／７１４７３号パンフレット、国際公開第０１／７５７２３号パンフレット、国際公開第０１／２６０３２号パンフレット、国際公開第０１／７５７８０号パンフレット、国際公開第０１／０１６７０号パンフレット、国際公開第０１／７５７７３号パンフレット、国際公開第０１／７１４７５号パンフレット、国際公開第０１／７３９８３号パンフレット及び国際公開第０１／１６６９１号パンフレットに見出し得る。
【００３２】
図１をもう一度参照すれば、表面７０上の４つの位置又は領域をレターＡ、Ｂ、Ｃ及びＤによって示す（こうした文字は、表面７０上に印刷されないが、表面７０上の位置を示すのに本明細書では用いている。）。表面７０上にはそうした領域が多く存在し得る。表面７０上の各領域と関連付けられるのは、一意のマーク・パターンである。表面７０上の領域は重なり得るが、それは、重なる領域間で一部のマークが共有されても、領域内の、マークのパターンは、その領域になお一意であるからである。
【００３３】
図１の例では、ペン・デバイス１００を用いて（特に、筆記具エレメント５２を用いて）、ユーザは、例えば、表面７０上の位置Ａにある、丸を付けたレター「Ｍ」から成る文字を作成し得る（一般的に、ユーザは、表面７０上の何れかの位置に文字を作成し得る。）。ユーザは、そうした文字をペン・デバイス１００からのプロンプト（例えば、可聴プロンプト）に応じて作成し得る。ユーザが文字を作成すると、ペン・デバイス１００は、文字が作成される位置に一意に存在するマーキング・パターンを記録する。ペン・デバイス１００は、このマーキング・パターンを、直近に作成された文字と関連付ける。丸を付した「Ｍ」の上にペン・デバイス１００が後に配置されると、ペン・デバイス１００は、それと関連付けられるマーク・パターンを認識し、丸を付した「Ｍ」と関連付けられるものとして位置を認識する。事実上、ペン・デバイス１００は、文字自体を認識することによるのではなく、文字が配置される位置にあるマーキング・パターンを用いて文字を認識する。
【００３４】
一実施例では、上記文字は、ペン・デバイス１００の１つ又は複数のコマンドに関連した
「グラフィック・エレメント」を備える。コマンドを備える、ペン・デバイス１００によって実施される機能と関連付けられ、そうした機能をアクセスするのに用いるそうしたグラフィック・エレメントは、ペン・デバイス１００の機能又はアプリケーションをアクセスすることに関連しない他の記述された文字、マーク等と区別するために、以降、「グラフィック・エレメント・アイコン」として表す。直近で説明した例では、ユーザは、特定のコマンドを識別するグラフィック・エレメント・アイコンを作成（記述）することができ、グラフィック・エレメント・アイコン（例えば、記述された文字）の上にペン・デバイス１００を単に配置させることによって繰り返しそのコマンドを引き起こすことができる。一実施例では、筆記器具が、グラフィカル文字の上に配置される。すなわち、ユーザは、コマンドをペン・デバイス１００によって引き起こすこととする都度、コマンドに対する文字を記述しなくてよい。その代わりに、ユーザは、コマンドに対するグラフィック・エレメント・アイコンを一度、記述し、記述された同じグラフィック・エレメント・アイコンを用いて繰り返しコマンドを引き起こすことができる。この属性は、「永続性」として表し、以下に更に詳細に説明する。このことは、ユーザによって記述されないが、表面上に予め印刷され、しかし、ペン・デバイス１００によって選択可能であるグラフィカル・エレメント・アイコンに関してもあてはまる。
【００３５】
一部の実施例では、グラフィック・エレメント・アイコンは、線がレター又は数字に外接して描かれたレター又は数字を含み得る。レター又は数字に外接して描かれた線は、円形、楕円形、正方形、多角形等であり得る。そうしたグラフィック・エレメントは、通常のレターや数字の代わりに、ユーザによって選択することができる、「ボタン」に似たものに見える。こうした類のグラフィック・エレメント・アイコンを作成することによって、ユーザは、機能的アイコンなどのグラフィック・エレメント・アイコンを、ペン・デバイス１００によってデータとして扱われ得る通常のレターや数字から視覚的に区別することができる。更に、こうした類のグラフィック・エレメント・アイコンを作成することによって、ペン・デバイスは、機能的タイプ又はメニュー・アイテム・タイプのグラフィック・エレメントを、非機能的タイプ又は非メニュー・アイテム・タイプのグラフィック・エレメントからより好適に区別することもでき得る。例えば、ユーザは、周りに円を有して、インタアクティブな「メニュー」・グラフィック・エレメント・アイコンをもたらすレター「Ｍ」であるグラフィック・エレメント・アイコンを作成し得る。
【００３６】
ペン・デバイス１００は、語におけるレター「Ｍ」と区別されたものとして、中にレター「Ｍ」を備える、重なる円形又は正方形を、機能的なグラフィック・エレメントとして認識するようプログラムし得る。グラフィック・エレメント・アイコンは、特定距離（例えば、２，５ｃｍ、３．７５ｃｍ等）内にそれに隣接する小さい「チェックマーク」記号も含み得る。チェックマークは、グラフィック・エレメント・アイコンと関連付けられることになる。そうした機能的なグラフィック・エレメントを認識し、それを他の、非機能的なグラフィック・エレメントと区別するコンピュータ・コードは、ペン・デバイス内のメモリ装置に存在し得る。プロセッサは、ペン・デバイス１００が、関連した種々の機能、動作等を行うことができるように、グラフィック・エレメント・アイコンを認識し、そうしたグラフィック・エレメント・アイコンの位置を識別することができる。こうした実施例では、メモリ装置は、ユーザによって生成される何れかのグラフィック・エレメントを、表面上のその位置と相互に関係させるコンピュータ・コードを備え得る。ペン・デバイス１００は、（例えば、ユーザが記述し始める際に）表面上の「ダウンタッチ」若しくは「ダウンストローク」又は、表面上に下ろされることを認識し、（例えば、ユーザが記述し終わる際に）表面からの「アップストローク」又は、表面から引き上げられることを認識する。そうしたダウンストローク及びアップストロークは、ペン・デバイス１００によって、例えば、特定の機能が引き起こされる時点と、引き起こされる特定の機能／アプリケーション（例えば、ＯＣＲ処理を引き起こすこと）とのインディケータとして解釈することができる。特に、アップストロークがすばやく続くダウンストローク（例えば、表面上にペン・デバイスが軽く触れること）は、アプリケーション（例えば、グラフィック・エレメント・アイコン、テキスト列等の選択）によって特定の動作と関連付けることができる。
【００３７】
なお、「グラフィック・エレメント」という汎用語は、ユーザによって作成される何れかの適切なマーキングを含み得るものであり、デバイスの１つ又は複数の機能をアクセスするのに用いる、機能的グラフィック・エレメントを表すグラフィック・エレメント・アイコンと区別できる。
【００３８】
上記の通り、グラフィック・エレメント・アイコンは、ペン・デバイス１００によって作成される（例えば、ユーザによって描かれる）ことがあり得るものであり、予め存在するもの（例えば、紙上に印刷されたエレメント）でもあり得る。グラフィック・エレメントの例は、記号や、レター及び／又は数字などのしるし、文字、語、形状、線等を含むが、こうしたものに限定されるものでない。上記エレメントは、形状が正則でも非正則でもあり得る。ユーザ記述／ユーザ作成のグラフィック・エレメントは、通常、ペン・デバイス１００を用いて作成される。更に、グラフィック・エレメント・アイコンは、常にではないが通常は、文字（例えば、レター「Ｍ」）の周りに外接する線（例えば、円）を組み入れて、そうしたグラフィック・エレメント・アイコンの、ユーザとペン・デバイス１００とに対する区別性を高める。例えば、一実施例では、文字の周りの円を終えた後のアップストロークによって、グラフィカル・エレメント・アイコンをユーザが直近で作成したということをペン・デバイス１００に特に示し得る。
【００３９】
図５は、本発明の一実施例による、コンピュータによって実施される処理５５０の工程の流れ図を示す。処理５５０は、本発明の一実施例による、デバイス（例えば、ペン・デバイス１００）によって実施されるユーザ・インタフェース処理の基本動作工程を、グラフィック・エレメント、筆跡、マーク等の形式でのユーザ入力をそれが解釈し、要求される機能をユーザに備えるにつれ、表す。
【００４０】
処理５５０は工程５５１から始まり、工程５５１では、ペン・デバイス１００のコンピュータ実施機能が、（例えば、ユーザによって作成される、）作成グラフィック・エレメント・アイコンを認識する。あるいは、グラフィック・エレメントは、表面上に予め印刷され得るものであり、その位置はペン・デバイス１００が分かっているものであり得る。工程５５１では、ユーザが、初めてグラフィック・エレメントを記述する場合、ペン・デバイス１００は、光センサ及びプロセッサを用いて記述に対してＯＣＲ（光学式文字認識）を行って、ユーザ記述グラフィカル・エレメントを識別する。一実施例では、表面上のその一意の位置も更に記録される。工程５５２では、グラフィカル・エレメント・アイコンに関する機能は、認識されると、アクセスされる。この機能は、例えば、ユーザが後に起動する所定の機能リスト（例えば、メニュー選択又はサブメニュー・オプション）を発音（例えば、可聴的にレンダリング）し得るメニュー機能であり得る。工程５５３では、機能によるオーディオ出力が備えられる。このオーディオ出力は、例えば、選択リスト内でユーザがいる特定の選択の発音であり得る。工程５５４では、機能は、グラフィカル・エレメント・アイコンと永続的に関連付けられ、それによって、グラフィカル・エレメント・アイコンの後の駆動（例えば、ペン・デバイス１００によって軽く触れること）による、（例えば、後の特定時点での、）機能の、後のアクセスが可能になる。例えば、メニュー機能の場合、リスト化されたメニュー選択を、メニュー・グラフィック・エレメント・アイコンを単に、駆動させる（例えば、それに軽く触れる）ことによって後の特定の時点でユーザが後にアクセスすることができる。
【００４１】
なお、ペン・デバイス１００の出力は、オーディオ出力に加えてか、オーディオ出力のかわりに、視覚出力（例えば、ディスプレイを介したもの、指示灯等）であり得る。視覚出力及び／又はオーディオ出力は、ペン・デバイス１００から直接来るものでもよく、通信するようペン・デバイス１００に結合される別の装置（例えば、パソコン、スピーカ、ＬＣＤディスプレイ等）からのものでもよい。
【００４２】
なお、複数の別々のグラフィカル・エレメントが、表面上に、かつ、いつでも存在し得るものであり、それらの選択が、ペン・デバイス１００によって実行する対象の種々の機能を、例えば、引き起こしたアプリケーション、引き起こしたサブメニュー・オプション等に備え得る。
【００４３】
このようにして、本発明の実施例は、コンピュータ・システム、特に、例えばペン・デバイス１００を備えるペン・ベースのコンピュータ・システムの機能をたどるユーザ・インタフェース手段を実施する。グラフィカル・エレメント・アイコンによって実施されるユーザ・インタフェースは、ペン・デバイス１００内で実行するいくつかのソフトウェア・アプリケーションと相互作用する方法を備える。前述のように、ペン・デバイス１００からの出力は、オーディオ出力を含み得るものであり、よって、ユーザ・インタフェース手段によって、ペン・デバイス１００のアプリケーション及び機能と「対話」をユーザが行うことが可能になる。すなわち、ユーザ・インタフェースによって、ユーザ及びペン・デバイス１００がお互いに相互作用することを可能にする、グラフィック・エレメント・アイコンなどの相互に認識されるアイテムをユーザが作成することが可能になる。前述のように、相互に認識されるアイテムは、表面上、通常、紙上でユーザが描く記号若しくはマーク又はアイコンである。
【００４４】
別々のグラフィック・エレメント・アイコンは、別々の意味と、別々の、ユーザとの相互作用の方法とを有する。一般的には、特定のグラフィック・エレメント・アイコンについて、相互作用の方法によって、ペン・デバイスの、別々のコンピュータ実施機能が呼び出されることになる。例証的な目的で、上記メニュー例の場合、メニュー機能によって、グラフィック・エレメントに関する機能リストをユーザが繰り返す（例えば、メニュー上で軽く触れる回数、グラフィック・エレメント・アイコンが機能リストを繰り返す）ことが可能になる。ペン・デバイスからのオーディオは、軽く触れるにつれて機能又はモードを発音することができる。発音された機能／モードのうちの１つを更にユーザによって、（例えば、グラフィック・エレメント・アイコンに関連した、先行して描かれたチェックマーク・グラフィック・エレメントを描くか選択する）更なる特定の相互作用を介して選択することができる。選択されると、選択された特定の機能の機能性、オプション、及び更なるサブメニューを更にユーザによってアクセスすることができる。あるいは、可聴的にレンダリングされるサブオプションのうちの１つ自体がメニュー・グラフィカル・アイコンである場合、表面上のその表現をユーザが描き、それを選択することによって選択することができる。
【００４５】
図６は、本発明の一実施例による処理６５０の、コンピュータによって実施される工程の流れ図を示す。処理６５０は、本発明の一実施例による、インタアクティブなデバイス（例えば、ペン・デバイス１００）の、ネストされたいくつかの階層機能をアクセスする（例えば、たどる）ユーザ・インタフェース処理の基本動作工程を表す。処理６５０は、図８Ａ、８Ｂ及び８Ｃを参照しながら説明する。
【００４６】
処理６５０は工程６５１から始まり、工程６５１では、ペン・デバイス１００の、コンピュータによって実施される機能は、メニュー・アイコン「Ｍ」として図８Ａに示す作成グラフィック・エレメント・アイコンを認識する。工程５５１と同様に、グラフィック・エレメント・アイコンは、表面上に、ユーザが記述してもよく、予め印刷してもよい。１つのケースでは、グラフィック・エレメント・アイコンは、それに関連付けられ、それ自体が更なる選択を備え得る更なるグラフィック・エレメント・アイコン（例えば、階層配置）の選択のリストを備え得る。工程６５２では、かつ、図８Ａに示すように、認識されると、グラフィック・エレメント・アイコンに関する第１の階層的な機能メニューがアクセスされる。この例では、認識されると、工程６５１のメニュー・アイコン「Ｍ」によって、図８Ａに示すように、サブオプションのリスト（例えば、システム「Ｓ」、ゲーム「Ｇ」、参考書「Ｒ」及びツール「Ｔ」）が１度に１つのオプションについて（例えば、可聴プロンプトを介して）可聴的にレンダリングされる。オプションは、ペン・デバイス（例えば、ペン・デバイス１００）による工程６５１のメニュー・アイコンの連続した選択に応じてレンダリングされる。
【００４７】
工程６５３では、かつ、図８Ｂに示すように、発音される機能のうちの１つ、この例では参考書グラフィック・エレメント・アイコン「Ｒ」が、メニュー・グラフィック・エレメント・アイコンの適切な数の駆動（例えば、軽く触れる動作）によって選択され、駆動は、チェックマーク・アイコン８７０に関連する。工程６５４では、機能の起動によって、第２の階層的な機能メニューについて第２のグラフィック・エレメント・アイコンの作成をプロンプトし得る。第２のグラフィック・エレメント・アイコン、この例では参考書アイコン「Ｒ」は更に、ユーザによって表面上に描かれ得る。図８Ｃに示すように、その選択によって、上記のように（例えば、可聴プロンプトを介して）第２のサブメニュー・アイテム・リスト（例えば、類語辞典「ＴＨ」、辞書「Ｄ」及びヘルプ「Ｈ」）が可聴的にレンダリングされる。その後、工程６５５で、第２のグラフィック・エレメント・アイコンの発音された機能のうちの１つを、適切な数の駆動によって起動させて、第２の階層レベル機能のうちの１つを選択する。
【００４８】
このようにして、１つのメニューによって、それら自体が更なるサブメニューを有するいくつかのサブメニューを呼び出すことができる。よって、別々のレベルのグラフィック・エレメント・アイコンを階層的に配置することができる。一般的に、機能メニューを呈示する最上位レベルのグラフィック・エレメント・アイコンは、グループ・グラフィック・エレメント・アイコンとして表す。アプリケーション・グラフィック・エレメント・アイコンは、特定のアプリケーションについて構成オプション又はアプリケーション設定のメニューを一般的に呈示する第２レベルのグラフィック・エレメント・アイコンである。例えば、アプリケーション・グラフィック・エレメント・アイコンは、グループ・グラフィック・エレメント・アイコンの特別ケースと見なし得る。一般的に、アプリケーション・グラフィック・エレメント・アイコンは、それに関連した専門アプリケーション関連のデフォールト特性を有する。
【００４９】
このようにして、ユーザは、メニュー・アイテム・リストからメニュー・アイテムを更に選択し得る。メニュー・アイテムは、ディレクトリ名、サブディクトリ名、アプリケーション名又は特定データ群名を含み得る。ディレクトリ名又はサブディレクトリ名の例は、「ツール」（例えば、多くの別々の状況下で適用可能な、有用なインタアクティブ機能）と、「参考書」（例えば、辞書などの参考マテリアル）と、（例えば、種々のゲーム用の）「ゲーム」等とに限定されないがこれらを含む。特定のアプリケーション名（又はサブディレクトリ名）の例は、「電卓」、「スペルチェック」及び「翻訳」を含む。特定のデータ群例は、外国語の語とその定義との群、電話帳、カレンダー、予定表等を含み得る。更なるメニュー・アイテム例を、以下図７に示す。
【００５０】
特定のオーディオ命令を種々のメニュー・アイテムに備え得る。例えば、ユーザが「電卓」というメニュー・アイテムを選択した後、ペン・デバイスは、紙上に数字０乃至９と、演算子「±」、「−」、「×」、「／」及び「＝」とを描き、更に数字を選択して数値計算を行うようユーザに命令し得る。別の例では、ユーザが「翻訳」というメニュー・アイテムを選択した後、ペン・デバイスは、第２の言語名を記述し、それに丸を付けることをユーザに命令し得る。ユーザがこれを行った後、ペン・デバイスは更に、英語で語を筆記し、更に、丸を付けた第２の言語を選択して、筆記された語の第２の言語への翻訳を聴くようユーザに命令し得る。そうした後、ペン・デバイス内のオーディオ出力装置は、第２の言語でその語を復唱し得る。
【００５１】
図７は、各オプションのグラフィカル・エレメント・アイコン表現を含む、本発明の実施例によるメニュー・アイテム・ツリー・ディレクトリを示す。メニュー・アイテム・ツリー・ディレクトリは、メニュー・グラフィック・エレメント・アイコンから始めて、オーディオ・メニューを実施することができる。図７の最上部から始めれば、第１のオーディオ・サブディレクトリは、ツールＴのサブディレクトリとなる。ツールＴのサブディレクトリの下には、翻訳ＴＲのサブディレクトリ、電卓Ｃのサブディレクトリ、スペルチェックＳＣのサブディレクトリ、秘書ＰＡのサブディレクトリ、目覚まし時計ＡＬのサブディレクトリ、及び家庭教師ＴＵの機能があり得る。翻訳ＴＲのサブディレクトリの下には、スペイン語ＳＰの翻訳機能、フランス語ＦＲの翻訳機能、及びドイツ語ＧＥの翻訳機能があることになる。秘書ＰＡのサブディレクトリの下には、カレンダーＣ、電話帳ＰＬ及び予定表ＴＤの機能又はサブディレクトリがあることになる。参考書Ｒのサブディクトリの下には、類語辞典ＴＨの機能と、辞書Ｄのサブディレクトリと、ヘルプＨの機能があり得る。辞書Ｄのサブディレクトリの下には、英語Ｅの機能、スペイン語ＳＦの機能、及びフランス語ＦＲの機能があり得る。ゲームＧのサブディレクトリの下には、ワードスクラブルＷＳ、青色ポテトＦＰや手書きメモＤＯなどのゲームがあり得る。他のゲームも本発明の別の実施例にあり得る。システムＳのサブディレクトリの下には、セキュリティＳＥの機能と、個人化Ｐの機能があり得る。
【００５２】
上記ディレクトリ、サブディレクトリ及び機能の一部に関する詳細は、以下に備える。メニュー・アイテム・ツリー・ディレクトリによって示されるように、ユーザは、種々のメニュー・アイテムの復唱を聴き、更に、所望のメニュー・アイテムを選択することによって何れかの所望のパスを先に進むか、たどり得る。所望のメニュー・アイテムの後の選択は、何れかの適切な方法で行い得る。例えば、一部の実施例では、ユーザは、作成グラフィック・エレメント上の「ダウンタッチ」（例えば、ダウンストローク）によってオーディオ・メニューをペン・デバイスにスクロールさせることができる。「ダウンタッチ」は、ペン・デバイス内のエレクトロニクスによって、何れかの適切な機構による「駆動」として認識し得る。例えば、ペン・デバイスを、選択グラフィック・エレメントに向けてそれを下方に移動させることに関連した画像の変化を認識するようプログラムし得る。
【００５３】
別の例では、圧力感応型スイッチを、ペン・デバイスの端部によって、紙に圧力が印加されると圧力スイッチが起動するようにペン・デバイスに備え得る。これによって、オーディオ・メニューをスクロールする旨をペン・デバイスに通知する。例えば、ペン・デバイスによって、丸を付したレター「Ｍ」を選択した後、（又は、丸を付したレター「Ｍ」を選択して、それによってペン・デバイス内の圧力スイッチを起動させた後、）ペン・デバイス内のオーディオ出力装置は、「ツール」のみを復唱し得る。ユーザは、丸を付したレター「Ｍ」の２度目の選択を行って、「参考書」というメニュー・アイテムをオーディオ出力装置に復唱させ得る。このことを、所望の回数、繰り返してオーディオ・メニューをスクロールし得る。特定のメニュー・アイテムを選択するために、ユーザは、紙上に特徴的なマークを作成し得るものであり、走査装置によって特定のジェスチャを備え得るものでもある。例えば、ユーザは、「ツール」という語を聴いた後に、丸を付したレター「Ｍ」の隣に「チェックマーク」（や他のグラフィック・エレメント）を描いてサブディレクトリ「ツール」を選択し得る。こうしたものなどの方法を用いて、ユ―ザは、メニュー・アイテム・ツリー内を、意図されたディレクトリ、サブディレクトリ又は機能に向けてたどり得る。別のグラフィック・エレメント又は別のジェスチャの作成を用いて、ペン・デバイスを上方にスクロールさせ得る。あるいは、ボタンや他のアクチュエータをペン・デバイス内に備えて、メニューをスクロールし得る。「ツール」は、選択されると、前述の通りにではあるが、そのサブディレクトリ・メニューに関して動作することになる。
【００５４】
他の実施例では、メニュー・グラフィック・エレメント・アイコン（例えば、丸を付したレター「Ｍ」）を作成した後、ユーザは、メニュー・グラフィック・エレメント・アイコンを選択し得る。走査装置内のソフトウェアは、丸を付したレターをメニュー記号として認識し、ユーザによるダウンタッチなしで、「ツール」と、「参考書」と、「ゲーム」と、「システム」とのメニュー・アイテムを順次にかつ、間を空けた時間間隔で走査装置に復唱させる。オーディオ命令は、ユーザに備え得る。例えば、ペン・デバイスは、「「ツール」ディレクトリを選択するために、レター「Ｔ」を記述し、それに丸を付ける」と言うことがあり得る。メニュー・アイテムを選択するために、ユーザは、レター「Ｔ」を作成し、それに丸を付け得る。このことは、サブディレクトリ「ツール」をユーザが選択したということをペン・デバイスに示す。更に、ペン・デバイスは、ユーザに、「ツール」ディレクトリの下にあるメニュー・アイテムを復唱することができる。よって、メニュー・アイテム・ツリーにおける特定のディレクトリ、サブディレクトリ又は機能に、そのディレクトリ、サブディレクトリ又は機能を表すグラフィック・エレメントをシート上に作成し、それと相互作用することによって直接進むことが可能である。あるいは、メニュー・アイテムが表面上に既に存在する場合、ユーザはそれといつでも相互作用してその機能を選択することができる。
【００５５】
なお、図７に表すグラフィック・エレメント・アイコンの、ディクトリ内、サブディレクトリ内、オプション・メニュー等内のアイテムの順序は、ユーザによって変えることができる。例えば、ユーザは、特定のアプリケーションをアクセスし、そのアプリケーションを用いて、１つ又は複数のディレクトリ、サブディレクトリ等のアイテムが可聴的にレンダリングされる順序を変えることができる。同様に、ユーザは、特定のディレクトリ／サブディレクトリ等内の１つ又は複数のアイテムに関連した特定のオーディオ出力を変えることができる、例えば、ユーザは、アイテムの可聴的にレンダリングされる出力によって、アイテムについて自分の声を録音し、予め録音された楽曲（例えば、ＭＰ３等）を用いること等を行うことができる。更に、１つ又は複数のディレクトリ、サブディレクトリ等に対して更なるアイテムを、例えば、ペン・デバイスに備えられるソフトウェア及び／又はファームウェアの更新（例えば、新たなソフトウェアをベースとした機能のアップロード）によって追加することができる。
【００５６】
なお、グラフィック・エレメント・アイコンの複数のインスタンス（例えば、複数のメニュー・アイコン）の個々の状態は、特定のインスタンス各々と永続的に関連付けることができる。例えば、２つ以上のグラフィック・エレメント・アイコンが、（例えば、ユーザによって作成されるか、予め印刷される等の、）共通の表面上に存在する場合、それらの状態又は、オプションのディレクトリ内の特定の位置をアイコン毎に保持すなわち記憶し得る。例えば、第１のメニュー・アイコンが現在、オプション３（例えば、「ゲーム」）上にあり、第２のメニュー・アイコンが現在、オプション１（例えば、「ツール」）上にある場合、ユーザは、分岐し、他のアプリケーション（例えば、電卓、辞書等）を用いた他のタスクを行い、第１のメニュー・アイコン又は第２のメニュー・アイコンに、後の特定時点で戻ることができ、それらは、自らの最新状態（例えば、第１のメニュー・アイコンの場合は「ゲーム」であり、第２のメニュー・アイコンの場合は「ツール」である。）を正しく保持することになる。
【００５７】
同様に、グラフィカル・エレメント・アイコンの複数のインスタンス（例えば、複数のメニュー・アイコン）の個々の状態を複数のインスタンス間で連携させ、特定のインスタンス各々と永続的に関連付けることができる。（例えば、ユーザによって作成されたか、予め印刷された等の、）共通の表面上に２つ以上のグラフィック・エレメント・アイコンが存在する、連携された状態の場合、それらの状態をアイコン毎に記憶することができるが、各インスタンスにオプションが及ぶようにそうした状態を連携させることができる。例えば、第１のメニュー・アイコンが、オプション２（例えば、「システム」）上に現在ある場合、第２のメニュー・アイコンは、オプション３（例えば、「ツール」）上になるようにその状態を連携させることになる。ユーザは、他の介入タスクを行い、後の特定時点で、第１のメニュー・アイコン又は第２のメニュー・アイコンに戻ることができ、それらは、連携された状態（例えば、第１のメニュー・アイコンの場合は「システム」であり、第２のメニュー・アイコンの場合は「ツール」である。）を正しく保持することになる。
【００５８】
図９は、本発明の一実施例による、上にいくつかのグラフィック・エレメント・アイコンを記述させた表面９１０（例えば、紙）を示す。図９は、グループ・グラフィック・エレメント・アイコン（例えば、メニュー・アイコン「Ｍ」と、ゲーム・アイコン「Ｇ」）及びアプリケーション・アイコン（例えば、電卓アイコン「Ｃ」）との例を示す。グラフィック・エレメント・アイコンは、ユーザが紙９１０上に記述してもよく、予め印刷してもよい。上記のように、グループ・グラフィック・エレメント・アイコンは一般的に、リスト・オプションを可聴的にレンダリングする。例えば、位置９０１にペン・デバイス１００によって繰り返し軽く触れることによって、図７記載の、メニュー・ディレクトリのオプション（例えば、システム、ゲーム、参考書及びツール）を進む。例えば、メニュー・アイコンに２回軽く触れることによって、ペン・デバイス１００に「システム」を可聴的にレンダリングさせ、更に、ゲーム・サブディレクトリの選択を示す、「ゲーム」の可聴的なレンダリングを行わせることになる。ゲーム・サブディレクトリを更に、位置９０２（例えば、チェックマーク）に触れることによって起動させることができ、起動は、オーディオ音によってユーザに向けて確認することができる。
【００５９】
後に、ペン・デバイス１００は、図９に示すゲーム・グラフィック・エレメント・アイコンを、作成する（例えば、描く）ことをユーザに可聴的にプロンプトする。位置９０３にあるゲーム・アイコンにペン・デバイス１００によって繰り返し軽く触れることによって更に、図７記載のように、ゲーム・サブディレクトリのオプション（例えば、ワードスクラブル、青色ポテト及び手書きメモ）にペン・デバイス１００に進めさせる。ゲーム・サブディレクトリ・アイテムのうちの選択された１つは更に、位置９０４（例えば、ゲームに関連したチェックマーク）に軽く触れることによって選択し得るものであり、あるいは、まだその場所にない場合、チェックマークを描くことによっても選択し得る。
【００６０】
なお図９を参照すれば、電卓アイコン「Ｃ」を軽く触れることによって、電卓アプリケーションが起動される。このようにして、電卓アイコンは、メニュー・アイテムやサブディレクトリのオプションのリストをレンダリングするものでないが、むしろ、アプリケーション自体、この場合、電卓アプリケーションを直接、起動させる。電卓アプリケーションが呼び出されると、ペン・デバイス１００は、（例えば、オーディオ音をレンダリングすることによって）起動を確認し、（例えば、ユーザに、表面上に数字０乃至９と、演算子「±」、「−」、「×」、「／」及び「＝」とを描き、更に、数字を選択して数値計算を行うようユーザに命令することによる、）電卓の使用に備えるうえでの一連の動作によってユーザに可聴的にプロンプトする。
【００６１】
重要なことは、上記例では、ＯＣＲ（光学式文字認識）処理は、ユーザによる初めての記述（例えば、図９に示す「Ｍ」）が行われると、一度だけ、マーク、単一の文字（例えば、レター「Ｍ」）又はテキスト列（例えば、語）に対して行う必要がある。上記のように、ペン・デバイス１００は、表面９１０上のグラフィック・エレメントの位置が、表面９１０上にコード化されたデータをペン・デバイス１００が読み取ることによって判定することができる機能を含む。これによって、ペン・デバイス１００が、特定の文字、特定の記号、特定のテキスト列等の位置を記憶することが可能になる。ペン・デバイス１００はよって、（例えば、ユーザがペン・デバイス１００で後の特定時点で特定の語の上に触れる際に）表面上の特定の語の同じ位置を認識することによって特定の語の後の選択を識別することができる。ユーザが語を後に選択すると、先行した行われたＯＣＲ処理の結果が呼び出され、こうした結果が、例えば、アクティブなアプリケーション（例えば、辞書）によって用いられる。よって、（例えば、語、文字、数字等に対する）ＯＣＲ処理の結果を記憶することと、後の時点で１つ又は複数のアプリケーションに用いるよう、これらの結果を後に呼び出すことができることによって、本発明の実施例によって実施されるユーザ・インタフェースの応答性及び性能が大いに向上する。リソース集約性を有するＯＣＲ処理は、ペン・デバイス１００のコンピュータ・システム・リソースによって一度のみ行えばよい。
【００６２】
図９は、ペン・デバイス１００の「プロンプト・信頼」機能を用いて作成される、ユーザによって記述される語９０６（例えば、テキスト列）も示す。本発明の実施例によれば、一部の語、テキスト列、マーク、記号や他のグラフィック・エレメントは、ＯＣＲを用いて処理されなくてよい。例えば、特定の語、グラフィック・エレメント等をユーザによって、ペン・デバイス１００からの可聴プロンプトに応じて作成することができ、ペン・デバイスは、特定の語（例えば、「大統領」）を記述し、（例えば、プロンプトからの）関連付けとともに、記述された語の位置を後に記憶する旨をユーザにプロンプトする。作成された語の後の選択は、上記のように位置によって認識される。例えば、ペン・デバイス１００は、「大統領」９０６という語を記述する旨をユーザに命令することができる。プロンプトに応じて、ユーザは、「大統領」という語を記述し、ペン・デバイス１００は、語が後に選択されると、プロンプトに応じてユーザが記述したことは実際に「大統領」という語であったと、みなす、すなわち信頼することになる。すなわち、ペン・デバイス１００は、プロンプトに「応じたユーザの記述と、ラベル「大統領」とを関連付ける。アプリケーションに応じて、語に下線を引くこと、語の周りに箱、さもなければ、特定の特徴的なマーク／グラフィック・エレメントを配置させることをユーザはプロンプトされ得る。
【００６３】
プロンプトされた語をユーザが記述し終わると、ペン・デバイス１００は、例えば、動作がないこと（例えば、ユーザがもう記述していないこと）をデータ入力終結イベントとして認識することによってユーザが終えているということを認識する。このようにして、「タイムアウト」機構を用いて、データ入力の最後を認識することができる。別の終結イベントとして、上記のように、語に下線が引かれているか、語の周りに箱があるケースがあり得る。終結イベントの更なる例は、内容を全て、本明細書及び特許請求の範囲に援用する、「ＴＥＲＭＩＮＡＴＩＯＮ  ＥＶＥＮＴＳ」と題する、Ｍａｒｇｇｒａｆｆ他による西暦２００５年１月１２日付出願の、本発明の譲受人に譲渡された米国特許出願公開（代理人ドケット番号ＬＥＡＰ−Ｐ０３２０）に記載されている。
【００６４】
このようにして、本発明の実施例のプロンプト・信頼機能によって、ユーザとペン・デバイス１００との間で相互に分かる意味を有するグラフィック・エレメントの作成が可能になる。重要なことは、大統領という語に対してＯＣＲ処理は何ら行われないということである。「プロンプト・信頼」機能を用いて作成されたグラフィック・エレメントは、他のアプリケーション、オプション、メニュー、機能等に関連付けることができ、それによって、（例えば、軽く触れることによって）プロンプト・信頼グラフィック・エレメントを選択することによって、上記のうちの何れかを引き起こすことができる。何れかのＯＣＲ処理の要件をなくすことによって、ペン・デバイス１００に対する計算量上の要求が軽減され、よって、ユーザ・インタフェースの応答性が向上する。
【００６５】
本発明の実施例は、マーキングによってコード化された表面を用いて、ペン・デバイスの位置を判定するという状況で説明したが、本発明の実施例は、コード化された表面を必要としない他の手段を用いて位置を判定するペン・デバイスに用いることが適切である。例えば、一実施例では、ペン・デバイスは、例えば、モーションセンサ、ジャイロスコープ等などの１つ又は複数の位置特定機構が組み入れられ得るものであり、特定の表面（例えば、紙）の正確な位置を高精度で記憶するよう構成され得る。表面の正確な位置は、例えば、表面（例えば、矩形の紙）の、対向する隅部を順次触ることによって記憶することができる。ペン・デバイスは更に、記憶された正確な表面位置を、その位置判定手段の結果と比較することによって表面上の、ユーザによって記述されたグラフィック・エレメントの位置を認識することになる。
【００６６】
本発明の特定の実施例の上記記載は、例証及び説明の目的で呈示した。こうした記載は、網羅的であることも、開示したまさにその形態に本発明を限定することも意図するものでなく、明らかに、多くの修正及び変形が上記教示に鑑みて可能である。実施例は、本発明の原理とその実用的な応用とを最もうまく説明して、それによって、想定される特定の用途に適した種々の修正に本発明及び種々の実施例を当業者が最もうまく利用することが可能になるように選び、説明した。本発明の範囲は、本特許請求の範囲及びその均等物によって規定されることが意図されている。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施例を実施することができるデバイスを示す構成図である。
【図２】本発明の実施例を実施することができる別のデバイスを示す構成図である。
【図３】本発明の一実施例による、マークのパターンが備えられた例示的な紙を示す図である。
【図４】本発明の一実施例による、例示的な紙上のマークのパターンを示す拡大図である。
【図５】本発明の一実施例によるデバイス・ユーザ・インタフェース処理の工程を示すコンピュータ制御フローチャートである。
【図６】本発明の一実施例による階層的なデバイス・ユーザ・インタフェース処理の工程を示すコンピュータ制御フローチャートである。
【図７】本発明の実施例によるメニュー・アイテム・ツリー・ディレクトリを示す図である。
【図８Ａ】本発明の一実施例によるメニュー・アイテム可聴プロンプト処理を示す図である。
【図８Ｂ】本発明の一実施例によるメニュー・アイテム選択処理を示す図である。
【図８Ｃ】本発明の一実施例によるサブメニュー・アイテム選択処理を示す図である。
【図９】本発明の一実施例による、表面上の複数の各種グラフィカル・アイテム・アイコンを示す図である。
【符号の説明】
【００６８】
１７  位置コード
１８  マーク
１９  １７の拡大部分
２１  ラスタ・ライン
２２  ラスタ点
２３  マーク
２４  ラスタ点
３２  プロセッサ
３４  電源
３６  オーディオ出力装置
３８  入力ボタン
４０  表示装置
４２  光検出器
４４  光エミッタ
４８  メモリ装置
５２  筆記具エレメント
６２  ハウジング
７０  表面
７４  ハウジング
１００  デバイス
１０２  ケーブル
２００  デバイス
２０１  光デバイス
２０２  プラットフォーム
【図１】
2006244463.tif 000003
【図２】
2006244463.tif 000004
【図３】
2006244463.tif 000005
【図４】
2006244463.tif 000006
【図５】
2006244463.tif 000007
【図６】
2006244463.tif 000008
【図７】
2006244463.tif 000009
【図８Ａ】
2006244463.tif 000010
【図８Ｂ】
2006244463.tif 000011
【図８Ｃ】
2006244463.tif 000012
【図９】
2006244463.tif 000013
【外国語明細書】
2006244463.tif 000014
2006244463.tif 000015
2006244463.tif 000016
2006244463.tif 000017
2006244463.tif 000018
2006244463.tif 000019
2006244463.tif 000020
2006244463.tif 000021
2006244463.tif 000022
2006244463.tif 000023
2006244463.tif 000024
2006244463.tif 000025
2006244463.tif 000026
2006244463.tif 000027
2006244463.tif 000028
2006244463.tif 000029
2006244463.tif 000030
2006244463.tif 000031
2006244463.tif 000032
2006244463.tif 000033
2006244463.tif 000034
2006244463.tif 000035
2006244463.tif 000036
2006244463.tif 000037
2006244463.tif 000038
2006244463.tif 000039
2006244463.tif 000040
2006244463.tif 000041
2006244463.tif 000042
2006244463.tif 000043
2006244463.tif 000044
2006244463.tif 000045
2006244463.tif 000046
2006244463.tif 000047
2006244463.tif 000048
2006244463.tif 000049
2006244463.tif 000050
2006244463.tif 000051
2006244463.tif 000052
2006244463.tif 000053
2006244463.tif 000054
2006244463.tif 000055
2006244463.tif 000056
2006244463.tif 000057
2006244463.tif 000058
2006244463.tif 000059
2006244463.tif 000060
2006244463.tif 000061
2006244463.tif 000062
2006244463.tif 000063
2006244463.tif 000064
2006244463.tif 000065
2006244463.tif 000066
2006244463.tif 000067
2006244463.tif 000068
2006244463.tif 000069
【図１】
2006244463.tif 000070
【図２】
2006244463.tif 000071
【図３】
2006244463.tif 000072
【図４】
2006244463.tif 000073
【図５】
2006244463.tif 000074
【図６】
2006244463.tif 000075
【図７】
2006244463.tif 000076
【図８Ａ】
2006244463.tif 000077
【図８Ｂ】
2006244463.tif 000078
【図８Ｃ】
2006244463.tif 000079
【図９】
2006244463.tif 000080