(57)【要約】【課題】ユーザが、表面上に記述された選択可能アイテムを作成し、そうしたアイテムと相互作用することを可能にするインタアクティブなデバイス。【解決手段】本発明は、紙などの何れかの表面によって電子ディスプレイを置き換えるインタフェースをユーザに備える。ユーザは、関連した機能を実行する、選択可能なユーザ記述アイテムを表面上に作成し得る。選択可能なユーザ記述アイテムは、表面上で永続的なものであり、それによって、インタアクティブなデバイスの動作を通して、選択可能な別々のアイテムに関連した機能をユーザが実行することが可能になる。ユーザが紙と直接、相互作用することを可能にすることによって、本発明は、選択可能なユーザ記述アイテムの作成と、こうしたアイテムに関連した機能の実行とに関した柔軟性の向上をユーザに備える、インタアクティブなデバイスを備える一意のユーザ・インタフェースを備える。【選択図】図８
2006197596.tif 000002
【特許請求の範囲】
【請求項１】
インタアクティブなデバイスであって、
バスと、
該バスに結合されるプロセッサと、
前記バスに結合されるメモリ装置と、
前記バスに結合されるオーディオ出力装置と、
表面上に、選択可能なユーザ記述アイテムをユーザが作成することを可能にする筆記具エレメントと、
前記バスに結合され、前記表面上の情報を検出する光検出器とを備え、
前記プロセッサ上に実施されるソフトウェアは、前記選択可能なユーザ記述アイテムのユーザ選択に応答し、かつ、該選択に応じて、前記選択可能なユーザ記述アイテムと関連した機能を実行するよう動作可能であることを特徴とするインタアクティブなデバイス。
【請求項２】
請求項1記載のインタアクティブなデバイスであって、
前記プロセッサは、記号認識を用いた前記選択に応じて前記選択可能なユーザ記述アイテムを自動的に識別するよう動作可能であることを特徴とするインタアクティブなデバイス。
【請求項３】
請求項1記載のインタアクティブなデバイスであって、
前記プロセッサは、前記表面上の、前記選択可能なユーザ記述アイテムの表面位置を自動的に記録するよう動作可能であることを特徴とするインタアクティブなデバイス。
【請求項４】
請求項1又は3記載のインタアクティブなデバイスであって、
前記プロセッサは、前記選択可能なユーザ記述アイテムの前記表面位置又は前記選択可能なユーザ記述アイテムの検出表面位置に基づいた前記選択に応じて前記選択可能なユーザ記述アイテムを自動的に識別するよう動作可能であることを特徴とするインタアクティブなデバイス。
【請求項５】
請求項1記載のインタアクティブなデバイスであって、
前記オーディオ出力装置は、前記表面上の選択可能な１つのユーザ記述アイテムとの相互作用に応じて、選択可能なユーザ記述アイテムとして考えられるもののリストを可聴的にレンダリングするよう動作可能であることを特徴とするインタアクティブなデバイス。
【請求項６】
請求項5記載のインタアクティブなデバイスであって、
前記オーディオ出力装置は、前記選択可能なユーザ記述アイテムとして考えられるものを描く方法を説明する指示を可聴的にレンダリングすることを特徴とするインタアクティブなデバイス。
【請求項７】
請求項1記載のインタアクティブなデバイスであって、
前記選択可能なユーザ記述アイテムは、前記プロセッサによって実行可能なアプリケーション・プログラムの記号表現と、前記プロセッサによって実行可能なアプリケーション・プログラムのメニュー・アイテムと、前記インタアクティブなデバイスのオペレーティング・システムに関連したメニュー・アイテムの階層関係におけるメニュー・アイテムの階層のメニュー・アイテムとのうちの少なくとも１つを備えることを特徴とするインタアクティブなデバイス。
【請求項８】
請求項1記載のインタアクティブなデバイスであって、
前記選択可能なユーザ記述アイテムは、ナビゲーション・アイテムと、データと、アプリケーション・オプション・セレクタとのうちの少なくとも１つを備えることを特徴とするインタアクティブなデバイス。
【請求項９】
請求項1記載のインタアクティブなデバイスであって、
前記表面は、コード化された紙上のパターンに表面位置情報をコード化させた、コード化された紙を備えることを特徴とするインタアクティブなデバイス。
【請求項１０】
請求項1記載のインタアクティブなデバイスであって、
前記バスと、前記プロセッサと、前記メモリ装置と、前記オーディオ出力装置と、前記光検出器と、前記筆記具エレメントには、ペン形状の単一のハウジングを備えることを特徴とする請求項1記載のインタアクティブなデバイス。
【請求項１１】
請求項1記載のインタアクティブなデバイスであって、
前記ソフトウェアは、前記選択可能なユーザ記述アイテムの前記選択に応じて情報を可聴的にレンダリングするよう前記オーディオ出力装置に指示するよう動作可能であることを特徴とするインタアクティブなデバイス。
【請求項１２】
請求項1記載のインタアクティブなデバイスであって、
前記光検出器は、前記表面上の、前記選択可能なユーザ記述アイテムを検出するためのものであることを特徴とするインタアクティブなデバイス。
【請求項１３】
請求項1記載のインタアクティブなデバイスであって、
前記ソフトウェアは、前記表面上の、予め印刷された選択可能アイテムのユーザ選択に応答し、前記予め印刷された選択可能アイテムをユーザが選択することに応じて前記予め印刷された選択可能アイテムに関連した機能を実行するよう動作可能であることを特徴とするインタアクティブなデバイス。
【請求項１４】
請求項13記載のインタアクティブなデバイスであって、
前記予め印刷された選択可能アイテムと前記選択可能なユーザ記述アイテムが、前記予め印刷された選択可能アイテムと前記選択可能なユーザ記述アイテムのオプションが、前記予め印刷された選択可能アイテムと前記選択可能なユーザ記述アイテムとに及ぶように状態において連携されることを特徴とするインタアクティブなデバイス。
【請求項１５】
請求項13記載のインタアクティブなデバイスであって、
前記ソフトウェアは、記号認識を用いて前記予め印刷された選択可能アイテムをユーザが選択することに応じて前記予め印刷された選択可能アイテムを自動的に識別するよう動作可能であることを特徴とするインタアクティブなデバイス。
【請求項１６】
請求項13記載のインタアクティブなデバイスであって、
前記プロセッサは、前記予め印刷された選択可能アイテムの表面位置に基づいて前記予め印刷された選択可能アイテムをユーザが選択することに応じて前記予め印刷された選択可能アイテムを自動的に識別するよう動作可能であることを特徴とするインタアクティブなデバイス。
【請求項１７】
請求項1記載のインタアクティブなデバイスであって、
前記光検出器は、前記表面上の位置に基づいて前記選択可能なユーザ記述アイテムを認識するうえでの情報を前記プロセッサに備えるよう動作可能であり、かつ、前記プロセッサが、前記位置に基づいた前記選択可能なユーザ記述アイテムの選択を認識することができるような情報を前記プロセッサに備えるよう動作可能であることを特徴とするインタアクティブなデバイス。
【請求項１８】
請求項1記載のインタアクティブなデバイスであって、
前記プロセッサは、前記表面の特定の有界領域の選択に基づいてアプリケーション・プログラムを識別するよう動作可能であり、
別々の有界領域が、別々のアプリケーション・プログラムと関連付けられることを特徴とするインタアクティブなデバイス。
【請求項１９】
コンピュータ・システムのオペレーティング・システムであって、
該オペレーティング・システムは、記述可能な表面上の、選択可能なユーザ記述アイテムを検出し、該選択可能なユーザ記述アイテムを機能と関連付け、前記選択可能なユーザ記述アイテムとのユーザ相互作用に応じて、前記機能を自動的に実行するよう動作可能であることを特徴とするオペレーティング・システム。
【請求項２０】
請求項19記載のオペレーティング・システムであって、
前記ユーザ相互作用は、前記選択可能なユーザ記述アイテムを筆記器具によってユーザが接触させるというものであることを特徴とするオペレーティング・システム。
【請求項２１】
請求項19記載のオペレーティング・システムであって、
記号認識を用いて前記選択可能なユーザ記述アイテムを自動的に検出するよう更に動作可能であることを特徴とするオペレーティング・システム。
【請求項２２】
請求項19記載のオペレーティング・システムであって、
前記表面上の前記選択可能なユーザ記述アイテムの表面位置を自動的に記録するよう更に動作可能であることを特徴とするオペレーティング・システム。
【請求項２３】
請求項19記載のオペレーティング・システムであって、
前記選択可能なユーザ記述アイテムの表面位置に基づいた前記ユーザ相互作用に応じて前記選択可能なユーザ記述アイテムを自動的に検出するよう更に動作可能であることを特徴とするオペレーティング・システム。
【請求項２４】
請求項23記載のオペレーティング・システムであって、
前記表面は記述可能な表面であり、前記ユーザ相互作用は、前記選択可能なユーザ記述アイテムを筆記器具によってユーザが接触させるというものであることを特徴とするオペレーティング・システム。
【請求項２５】
請求項19記載のオペレーティング・システムであって、
前記ユーザ作用に応じて前記選択可能なユーザ記述アイテムに関連した情報を可聴的にレンダリングすることをオーディオ出力装置に指示するよう更に動作可能であることを特徴とするオペレーティング・システム。
【請求項２６】
請求項19記載のオペレーティング・システムであって、
前記選択可能なユーザ記述アイテムは、前記プロセッサによって実行可能なアプリケーション・プログラムの記号表現と、前記プロセッサによって実行可能なアプリケーション・プログラムのメニュー・アイテムと、前記オペレーティング・システムに関連したメニュー・アイテムの階層構造におけるメニュー・アイテムの階層のメニュー・アイテムとのうちの少なくとも１つを備えることを特徴とするオペレーティング・システム。
【請求項２７】
請求項19記載のオペレーティング・システムであって、
前記選択可能なユーザ記述アイテムは、ナビゲーション・アイテムと、データと、アプリケーション・オプション・セレクタとのうちの少なくとも１つを備えることを特徴とするオペレーティング・システム。
【請求項２８】
請求項19記載のオペレーティング・システムであって、
前記表面は、コード化された紙上のパターンに表面位置情報をコード化させた、コード化された紙を備えることを特徴とするオペレーティング・システム。
【請求項２９】
請求項19記載のオペレーティング・システムであって、
前記コンピュータ・システムは、光検出器と、オーディオ出力装置と、筆記具エレメントと、プロセッサと、メモリ装置とを備える、ペン・ベースのデバイスであることを特徴とするオペレーティング・システム。
【請求項３０】
記述可能な表面上の、選択可能なユーザ記述アイテムとの相互作用を容易にする方法であって、
機能に関連した、選択可能な少なくとも１つのユーザ記述アイテムを検出する工程を備え、
前記選択可能なユーザ記述アイテムは前記記述可能な表面上にあり、
更に、前記選択可能なユーザ記述アイテムとの相互作用を検出する工程を備え、
前記相互作用は、前記選択可能なユーザ記述アイテムを筆記具エレメントが接触することを備え、
更に、前記相互作用に応じて、ペン・デバイスがプロセッサを備え、前記筆記具エレメントが前記機能を実行することを特徴とする方法。
【請求項３１】
請求項30記載の方法であって、
前記選択可能なユーザ記述アイテムは、前記プロセッサによって実行可能なアプリケーション・プログラムの記号表現と、前記プロセッサによって実行可能なアプリケーション・プログラムのメニュー・アイテムと、前記インタアクティブなデバイスのオペレーティング・システムに関連したメニュー・アイテムの階層関係におけるメニュー・アイテムの階層のメニュー・アイテムとのうちの少なくとも１つを備えることを特徴とする方法。
【請求項３２】
請求項30記載の方法であって、
前記選択可能なユーザ記述アイテムは、ナビゲーション・アイテムと、データと、アプリケーション・オプション・セレクタとのうちの少なくとも１つを備えることを特徴とする方法。
【請求項３３】
請求項30記載の方法であって、
前記機能は、アプリケーションと、ナビゲーション・アイテムのリストを備えるメニューの可聴的なレンダリングとのうちの少なくとも一方であることを特徴とする方法。
【請求項３４】
請求項30記載の方法であって、
前記選択可能な少なくとも１つのユーザ記述アイテムの識別情報を可聴的にレンダリングすることを特徴とする方法。
【請求項３５】
インタアクティブなデバイスであって、
バスと、
該バスに結合されるプロセッサと、
前記バスに結合されるメモリ装置と、
前記バスに結合されるオーディオ出力装置と、
記述可能な表面上に、選択可能なユーザ記述アイテムをユーザが作成することを可能にする筆記具エレメントと、
前記バスに結合され、前記記述可能な表面上の情報を検出する光検出器とを備え、
前記プロセッサ上に実施されるソフトウェアは、選択可能なユーザ記述アイテムであることが考えられるものを識別するリストを可聴的にレンダリングするよう前記オーディオ出力装置に指示するよう動作可能であり、
前記プロセッサは、選択可能な複数のユーザ記述アイテムをユーザが記述したということを検出するよう動作可能であり、
前記プロセッサは、前記選択可能な複数のユーザ記述アイテムのうちの、選択可能な1つ又は複数のユーザ記述アイテムのユーザ選択に応答し、かつ、
前記選択可能なユーザ記述アイテムの各々に関連した別々の機能を、前記選択可能なユーザ記述アイテムの各々の選択に応じて実行するよう動作可能であることを特徴とするインタアクティブなデバイス。
【請求項３６】
請求項35記載のインタアクティブなデバイスであって、
前記ユーザ選択は、前記筆記具エレメントによる、前記選択可能なユーザ記述アイテムとの接触を備えることを特徴とするインタアクティブなデバイス。
【請求項３７】
請求項35記載のインタアクティブなデバイスであって、
前記プロセッサは、記号認識を用いた前記ユーザ選択に応じて前記選択可能な複数のユーザ記述アイテムを自動的に識別するよう動作可能であることを特徴とするインタアクティブなデバイス。
【請求項３８】
請求項35記載のインタアクティブなデバイスであって、
前記プロセッサは、前記表面上に、前記選択可能な複数のユーザ記述アイテムの表面位置を自動的に記録するよう動作可能であることを特徴とするインタアクティブなデバイス。
【請求項３９】
請求項35記載のインタアクティブなデバイスであって、
前記プロセッサは、前記選択可能なユーザ記述アイテムの検出表面位置に基づいた前記ユーザ選択に応じて1つ又は複数の前記選択可能なユーザ記述アイテムを自動的に識別するよう動作可能であることを特徴とするインタアクティブなデバイス。
【請求項４０】
請求項35記載のインタアクティブなデバイスであって、
前記選択可能な複数のユーザ記述アイテムは、前記プロセッサによって実行可能なアプリケーション・プログラムの記号表現と、前記プロセッサによって実行可能なアプリケーション・プログラムのメニュー・アイテムと、前記インタアクティブなデバイスのオペレーティング・システムに関連したメニュー・アイテムの階層関係におけるメニュー・アイテムの階層のメニュー・アイテムとを備えることを特徴とするインタアクティブなデバイス。
【請求項４１】
請求項35記載のインタアクティブなデバイスであって、
前記選択可能な複数のユーザ記述アイテムは、ナビゲーション・アイテムと、データと、アプリケーション・オプション・セレクタとのうちの少なくとも１つを備えることを特徴とするインタアクティブなデバイス。
【請求項４２】
請求項35記載のインタアクティブなデバイスであって、
前記表面は、コード化された紙上のパターンに表面位置情報をコード化させた、コード化された紙を備えることを特徴とするインタアクティブなデバイス。
【請求項４３】
請求項35記載のインタアクティブなデバイスであって、
前記ソフトウェアは、前記表面上の、予め印刷された選択可能アイテムのユーザ選択に応答し、かつ、前記予め印刷された選択可能アイテムをユーザが選択することに応じて前記予め印刷された選択可能アイテムに関連した機能を実行するよう動作可能であることを特徴とするインタアクティブなデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本書面の実施例は、インタアクティブなデバイスに関する。特に、本書面の実施例は、インタアクティブな、ペン・ペースのデバイスに関する。
【背景技術】
【０００２】
この20年の間に、デスクトップ型コンピュータ・システム、ラップトップ型コンピュータ・システム、ハンドヘルド型コンピュータ・システム及びタブレット型コンピュータ・システムなどのパーソナル・コンピューティング・デバイスの利用は、こうしたデバイスが我々の社会において遍在するほどに成長してきた。こうしたパーソナル・コンピューティング・デバイスによって、ビジネス機能、通信能力及び、娯楽の可能性を大幅に拡充させる、信じられない範囲のインタアクティブなアプリケーションがユーザに提供されている。
【０００３】
現行のパーソナル・コンピューティング・デバイスは、ユーザ・インタフェースを用いることによってこうしたインタアクティブなアプリケーションへのアクセスを備える。通常のコンピューティング・デバイスは、モニタや表示画面などの表示デバイスを用いて情報をユーザに呈示し、かつ、マウス、キーボード、ジョイスティックやスタイラスなどの入力デバイスを用いてユーザから情報を受信するグラフィカル・インタフェースを有する。
【０００４】
ペンや紙の利用は、識字社会では、コンピューティング・システムよりもなお、遍在している。現行のコンピューティング・デバイスのグラフィカル・ユーザ・インタフェースは、多くのコンピューティング・アプリケーションとの効果的な相互作用を備える一方、通常のグラフィカル・ユーザ・インタフェースは、ペン又は鉛筆と、紙との通常の利用を模倣するのが困難である。例えば、デスク型コンピュータ・システム及びラップトップ型コンピュータ・システムは通常、ペンに似たインタフェースを有するものでない。更に、コンピュータへの入力は、電子ディスプレイ上に示され、かつ、紙上に記述される情報のように永続的でかつアクセス可能であるという訳でない。更に、パームトップ型コンピュータ・システム又はタブレット型コンピュータ・システムの画面は筆記具エレメントの利用を模倣し得るが、入力は、電子的に記憶され、かつ、永続的でもアクセス可能でもない。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
よって、表面上の印刷アイテムとインタフェースして、印刷アイテムと関連付けられる機能を起動させるインタアクティブなデバイスに対する必要性が存在する。この必要性を満たし、機能と関連した、表面上の、選択可能なユーザ記述アイテムをユーザが作成することを可能にするインタアクティブなデバイスに対する必要性も存在する。上記必要性を満たし、かつ、選択可能なユーザ記述アイテムのユーザ選択に応答して関連機能を実行するインタアクティブなデバイスに対する必要性も存在する。
【課題を解決するための手段】
【０００６】
ユーザが、表面上に記述された選択可能アイテムを作成し、そうしたアイテムと相互作用することを可能にするインタアクティブなデバイスという本発明の種々の実施例を、本明細書及び特許請求の範囲に記載する。本発明は、電子ディスプレイを紙などの何れかの表面によって置き換えるインタフェースをユーザに備える。ユーザは、関連した機能を実行する、表面上の、選択可能なユーザ記述アイテムを作成し得る。表面は、関連機能を実行する、予め印刷された選択可能アイテムも含み得る。選択可能なユーザ記述アイテムと、予め印刷された選択可能アイテムは、インタアクティブなデバイスの動作を通して、選択可能な種々のアイテムに関連した機能をユーザが実行することを可能にして、表面上で永続的なものである。ユーザが紙と直接、相互作用することを可能にすることによって、本発明は、選択可能なユーザ記述アイテムの作成と、こうしたアイテムに関連した機能の実行とに関する柔軟性の向上をユーザに提供する、インタアクティブなデバイスを備える一意のユーザ・インタフェースを設ける。
【０００７】
一実施例では、本発明は、バスと、プロセッサと、メモリ装置と、オーディオ出力装置と、筆記具エレメントと、光検出器とを含むインタアクティブなデバイスを備える。一実施例では、オーディオ出力装置は、選択可能なユーザ記述アイテムとして考えられるもののリストを可聴的にレンダリングするよう動作可能である。筆記具エレメントによって、表面上に、選択可能なユーザ記述アイテムをユーザが作成することが可能になる。光検出器は、表面上の情報を検出するためのものである。プロセッサ上で実施されるソフトウェアは、選択可能なユーザ記述アイテムのユーザ選択に応答し、かつ、選択に応じて、選択可能なユーザ記述アイテムに関連した機能を実行するよう動作可能である。
【０００８】
一実施例では、プロセッサは、記号認識を用いた選択に応じて、選択可能なユーザ記述アイテムを自動的に識別するよう動作可能である。一実施例では、プロセッサは、表面上の、選択可能なユーザ記述アイテムの表面位置を自動的に記録するよう動作可能である。一実施例では、プロセッサは、選択可能なユーザ記述アイテムの検出表面位置に基づいた選択に応じて、選択可能なユーザ記述アイテムを自動的に識別するよう動作可能である。一実施例では、ソフトウェアは、更に、表面上の、予め印刷された選択可能アイテムのユーザ選択に応答し、かつ、予め印刷された選択可能アイテムをユーザが選択することに応じて、予め印刷された選択可能アイテムに関連した機能を実行するよう動作可能である。
【０００９】
別の実施例では、本発明は、コンピュータ・システムのオペレーティング・システムを備え、オペレーティング・システムは、表面上の、選択可能なユーザ記述アイテムを検出し、選択可能なユーザ記述アイテムを機能と関連付け、選択可能なユーザ記述アイテムとのユーザ相互作用に応じて、機能を実行するよう動作可能である。一実施例では、オペレーティング・システムは、記号認識を用いて選択可能なユーザ記述を自動的に識別するよう動作可能である。一実施例では、オペレーティング・システムは、表面上の、選択可能なユーザ記述アイテムの表面位置を自動的に記録するよう動作可能である。一実施例では、オペレーティング・システムは、選択可能なユーザ記述アイテムの表面位置に基づいたユーザ相互作用に応じて、選択可能なユーザ記述アイテムを自動的に識別するよう動作可能である。
【００１０】
別の実施例では、本発明は、表面上の、選択可能なユーザ記述アイテムとの相互作用を容易にする方法を備える。機能に関連した少なくとも１つの、選択可能な記述アイテムが検出される。選択可能なユーザ記述アイテムとの相互作用が検出される。相互作用に応じて、機能が実行される。
【００１１】
種々の実施例では、選択可能なユーザ記述アイテムは、プロセッサによって実行可能なアプリケーション・プログラムの記号表現と、プロセッサによって実行可能なアプリケーション・プログラムのメニュー・アイテムと、ナビゲーション・アイテムと、データと、アプリケーション・オプション・セレクタと、選択可能な別のアイテムとのうちの１つを含む。
【発明を実施するための最良の形態】
【００１２】
概して、本書面は、ユーザが、表面上に記述された選択可能アイテムを作成し、そうしたアイテムと相互作用することを可能にするインタアクティブなデバイスを開示する。本発明は、電子ディスプレイを、紙などの何れかの表面によって置き換えるインタフェースをユーザに備える。ユーザは、関連した機能を実行する、表面上の、選択可能なユーザ記述アイテムを作成し得る。選択可能なユーザ記述アイテムは、表面上で永続的なものであり、インタアクティブなデバイスの動作を通して、選択可能な種々のアイテムに関連した機能をユーザが実行することが可能になる。ユーザが紙と直接、相互作用することを可能にすることによって、本発明は、選択可能なユーザ記述アイテムの作成と、こうしたアイテムに関連した機能の実行とに関する柔軟性の向上をユーザに提供する、インタアクティブなデバイスを備える一意のユーザ・インタフェースを設ける。
【００１３】
本明細書に組み入れられ、本明細書の一部を構成する添付図面は、本発明の実施例を示し、本明細書とともに本発明の原理を説明する役目を担う。
【００１４】
次に、例を添付図面に示す、ユーザが、表面上に記述された選択可能アイテムを作成し、そうしたアイテムと相互作用することを可能にするインタアクティブなデバイスという本発明の種々の実施例を詳細に参照することとする。本発明はこうした実施例に関して説明するが、こうした実施例は、本発明をそうした実施例に限定することを意図するものでないこととする。むしろ、本発明は、本特許請求の範囲記載の本発明の技術思想及び範囲の中に含み得る代替、修正及び均等物を包含することが意図されている。更に、本発明の以下の詳細な説明では、数多くの特定の詳細を表して、本発明が徹底的に分かるようにしている。しかし、本発明を、こうした特定の詳細なしで実施してもよいということが当業者によって認識されるものである。一方、周知の方法、手順、構成部分及び回路は、本発明の局面を不必要にわかりにくくすることがないように、詳細には説明していない。
【００１５】
以下の、詳細な説明の特定部分は、コンピュータ・メモリ上で行うことができる、データ・ビットに対する演算の手順、工程、論理ブロック、処理や他の記号表現によって表す。こうした記述や表現は、成果の本質を最も効果的にデータ処理技術分野の当業者が他の当業者に伝えるのに用いる手段である。手順、コンピュータ実行工程、論理ブロック、処理等は、本明細書及び特許請求の範囲でも一般的にも、所望の結果につながる、自己整合性を有する一連の工程や命令であるものと考えられている。工程は、物理的数量の物理的操作を必要とするものである。必然的にではないが通常は、こうした数量は、コンピュータ・システムでの記憶、転送、合成、比較や他の方法による操作が可能な電気信号又は磁気信号の形式を呈する。こうした信号をビット、値、要素、記号、文字、項、数等として表すことが場合によっては主に、慣用の理由で好都合であることが明らかになった。
【００１６】
しかし、こうした語や同様な語は、適切な物理的数量と関連付けられることとし、こうした数量に付される好都合なラベルに過ぎないということを念頭におくこととする。以下の記載から明らかであるように、別途明記しない限り、本発明を通して、「検出」、「実行」、「識別」、「レンダリング」、「選択」、「認識」、「関連付け」、「記録」、「指示」等などの語を利用した記載は、電子デバイスのレジスタ内及びメモリ内の物理的（電子的）数量として表すデータを操作し、電子デバイスのメモリ内若しくはレジスタ内や、他のそうした情報記憶装置内、伝送装置内又は表示装置内に物理的数量として同様に表す他のデータに変換する、電子システム（例えば、図1のインタアクティブなデバイス100）の動作及び処理や、同様な電子計算機装置の動作及び処理を表すということが分かる。
【００１７】
ユーザが、表面上に記述された選択可能アイテムを作成し、そうしたアイテムと相互作用することを可能にするインタアクティブなデバイスという本発明の種々の実施例を本明細書及び特許請求の範囲に記載する。本発明は、電子ディスプレイを、紙などの何れかの記述可能な表面によって置き換えるインタフェースをユーザに備える。ユーザは、関連した機能を実行し、かつ/又は、ユーザ記述データ、例えば、語、文字、数字、記号等を表す、表面上の、選択可能なユーザ記述アイテムを作成し得る。表面は、関連した機能を実行する、予め印刷された選択可能アイテムも含み得る。選択可能なユーザ記述アイテムと、予め印刷された選択可能アイテムは、表面上で永続的なものであり、インタアクティブなデバイスの動作を通して種々の選択可能アイテムと関連した機能をユーザが実行することが可能になる。ユーザが直接、紙と相互作用することを可能にすることによって、本発明は、選択可能なユーザ記述アイテムの作成と、こうしたアイテムに関連した機能の実行とに関する柔軟性の向上とをユーザに備える、インタアクティブなデバイスを備える一意のユーザ・インタフェースを備える。
【実施例】
【００１８】
図1は、本発明の実施例によるインタアクティブなデバイス100を示す。インタアクティブなデバイス100は、プロセッサ112と、メモリ装置114と、オーディオ出力装置116と、筆記具エレメント118と、光検出器120とをハウジング130内に含む。一実施例では、プロセッサ112と、メモリ装置114と、オーディオ出力装置116と、光検出器120は、通信するよう、バス122を介して結合される。
【００１９】
一実施例では、ハウジング130は、スタイラス又は（例えば、ペンに似た）筆記器具の形状を有する。ユーザは、スタイラスを持つのと同様にインタアクティブなデバイス100を持ち得る。筆記具エレメント118は、ユーザが筆記具エレメント118を、記述可能な表面（図示せず）と接触させて配置させることができるようにハウジングの一方端部に配置される。筆記具エレメント118は、ペン、鉛筆、マーカ、クレヨンや何れかの他のマーキング用具を含み得る。なお、筆記具エレメント118は、非マーキング先端部も含み得る。使用中、ユーザは、インタアクティブなデバイス100を持ち、それを筆記具と同様に用いて、紙上などの表面上に記述することができる。
【００２０】
筆記具エレメント118は、表面上の、選択可能なユーザ記述アイテムを作成するのに用い得る。「選択可能なユーザ記述アイテム」は、ユーザによって作成される何れかのマーキングを含み得る。マーキングが表面上（例えば、紙上）に行われる場合、選択可能なユーザ記述エレメントは、印刷エレメントであり得る。選択可能なユーザ記述アイテムは、記号や、レター及び/又は数字、文字、語、形状、線等などのしるしを含むが、そうしたものに限定されるものでない。上記アイテムは、形状が正則でも非正則でもよく、通常、スタイラスを用いて作成される。
【００２１】
インタアクティブなデバイス100によって、インタアクティブなデバイス100によって備えられる種々の機能を表す選択可能なユーザ記述アイテムをユーザが作成することが可能になる。一実施例では、選択可能なユーザ記述アイテムは、プロセッサ112によって実行可能なアプリケーション・プログラム（例えば、電卓アプリケーションや辞書アプリケーション）の記号表現を含む。別の実施例では、選択可能なユーザ記述アイテムは、ナビゲーション・アイテム（例えば、メニュー）、プロセッサによって実行可能なアプリケーション・プログラムのメニュー・アイテム、アプリケーション・オプション・セレクタや、データのインスタンス（例えば、語）を含み得る。
【００２２】
一部の実施例では、選択可能なユーザ記述アイテムは、線がレター又は数字に外接して描かれたレター又は数字を含み得る。レター又は数字に外接して描かれた線は、円形、楕円形、正方形、多角形等であり得る。そうした選択可能なユーザ記述アイテムは、通常のレターや数字の代わりに、ユーザによって選択することができる、「ボタン」に似たものに見える。こうした類の、選択可能なユーザ記述アイテムを作成することによって、ユーザは、機能的アイコンなどの選択可能なユーザ記述アイテムを通常のレターや数字から視覚的に区別することができる。更に、こうした類の、選択可能なユーザ記述アイテムを作成することによって、インタアクティブなデバイス100も、機能的タイプ又はメニュー・アイテム・タイプの、選択可能なユーザ記述アイテムを、非機能的タイプ又は非メニュー・アイテム・タイプのユーザ記述アイテムからより好適に区別することもでき得る。例えば、ユーザは、周りに円を有して、インタアクティブな「メニュー」・アイコンを作成するレター「M」である、選択可能なユーザ記述アイテムを作成し得る。インタアクティブなデバイス100は、語におけるレター「M」と区別されたものとして、中にレター「M」を備える、重なる円形又は正方形を、機能的な、選択可能なユーザ記述アイテムとして認識するようプログラムし得る。そうした機能的な、選択可能なユーザ記述アイテムを認識し、それを他の、非機能的なユ―ザ記述アイテムと区別するコンピュータ・コードは、インタアクティブ・デバイス100内のメモリ装置114に存在し得る。
【００２３】
図2A及び図2Bは、本発明の実施例による、紙上の例示的な、選択可能なユーザ記述アイテムを示す。図2Aを参照すれば、選択可能なユーザ記述エレメント206は、レター「M」202の周りに丸204を備えるレター「M」202である。選択可能なユーザ記述アイテム206が、インタアクティブなデバイスの筆記具エレメント（例えば、図1の筆記具エレメント118）によって紙200上に描かれる。
【００２４】
一実施例では、選択可能なユーザ記述アイテム206は、インタアクティブなデバイスのメニュー機能を表す。特定のメニュー・アイテム、ディレクトリやサブディレクトリの選択を示すために、ユーザは、選択可能な別のユーザ記述アイテムを作成してもよく、インタアクティブなデバイス100によってジェスチャを行ってもよい。例えば、ユーザが、メニューのサブディレクトリの先に進みたい場合、ユーザは更に、紙200上にチェックマーク210を描いて、選択が行われたということを示し得る。チェックマークを描いた後、選択可能なユーザ記述アイテム206に関連したメニュー・アイテムを、紙200上で、選択可能なユーザ記述アイテム206近くでインタアクティブなデバイス100の後の選択すなわち「ダウンタッチ」各々の後にオーディオ出力装置116によって可聴的にレンダリングし得る。チェックマーク210との相互作用によって更に、可聴的にレンダリングされた最後のオプションを選択する。例えば、ユーザが「電卓」の語の復唱を聴いた後に、インタアクティブなデバイス100の動作のモードを「電卓」機能を変更するよう更に選択し得る。
【００２５】
図2Bは、紙200のブランク部分上に、紙電卓を作成し得る方法を示す。この例では、ユーザが上記「電卓」機能を選択した後、インタアクティブなデバイス100は、数字0乃至9と演算子「+」、「−」、「×」、「/」及び「=」を筆記する旨をユーザに可聴的にプロンプトする。例えば、ユーザは、数字と、加算、減算、乗算、除算や等号などの演算用の算術演算子とを含む、選択可能なユーザ記述アイテム220を作成するようプロンプトされ得る。これらは、表面上に鋭く描かれる。インタアクティブなデバイス100は、作成されたグラフィック・エレメントの位置を認識し、作成された実際の選択可能なユーザ記述アイテムを認識する。ユーザは更に、選択可能な少なくとも２つのユーザ記述アイテムを選択して、そうした少なくとも２つのグラフィック・エレメントの選択に関するオーディオ出力を受けることができる。例えば、ユーザは、「4」「+」「7」「=」というグラフィック・エレメント系列を選択して、インタアクティブな装置100が「11」という結果の復唱を聴くことがあり得る。
【００２６】
選択可能なユーザ記述アイテム206によって表されるメニューと、選択可能なユーザ記述アイテム220によって表される紙電卓は、後の時点に再使用することができるが、それは、インタアクティブなデバイス100が、選択可能なユーザ記述アイテムの位置をメモリ装置114に記憶したからである。更に、ペンと、選択可能なユーザ記述アイテム220との相互作用によって、電卓機能が自動的に呼び出されることになる。
【００２７】
図2Bも、データ230を含む。図2Bに示す例では、データ230は、「CAT」という語である。なお、データ230は、インタアクティブなデバイス100上で動作するアプリケーションによって用い得る何れかの情報（例えば、英数字記号、画像、図形、マーキング等）であり得る。記述されると、「CAT」というテキスト列は猫という語として自動的に認識される。表面上のその位置も記録される。インタアクティブなデバイス100のこのテキスト列との相互作用によって、「CAT」という、識別された語が自動的に呼び出される。
【００２８】
光検出器120は、スタイラス形状のインタアクティブなデバイス100の一方端部にある。光検出器120は、表面上の情報を検出するよう動作可能である。例えば、光検出器120は電荷結合素子を備え得る。一実施例では、インタアクティブなデバイスは、光検出器120によって検出される表面部分を照射する光エミッタも備える。光検出器120によって検出される情報は、プロセッサ112に送信される。
【００２９】
プロセッサ112は、インタアクティブなデバイス100の機能を実施するうえで適切な何れかのエレクトロニクスを含み得る。プロセッサ112は、インタアクティブなデバイス110が種々の動作を行うことができるように、選択可能なユーザ記述アイテムを認識することができ、そうした選択可能なユーザ記述アイテムの位置を識別することができる。こうした実施例では、メモリ装置114は、ユーザによって作成された何れかの、選択可能なユーザ記述アイテムを表面上の位置と相互に関係させるコンピュータ・コードを備え得る。
【００３０】
メモリ装置114は、インタアクティブなデバイス100の機能の何れかを行うコンピュータ・コードを備える。一実施例では、メモリ装置114に記憶され、プロセッサ112上で実施されるコンピュータ・コードは、選択可能なユーザ記述アイテムのユーザ選択に応答し、選択可能なユーザ記述アイテムに関連した機能を選択に応じて実行するよう動作可能である。別の実施例では、メモリ装置114に記憶され、プロセッサ112上で実施されるコンピュータ・コードは、選択可能なユーザ記述アイテムとして考えられるもののリストを可聴的にレンダリングする旨をオーディオ出力装置114に指示するよう動作可能であり、プロセッサ112は、選択可能な複数のユーザ記述アイテムをユーザが記述したということを検出するよう動作可能であり、選択可能な複数のユーザ記述アイテムのうちの、選択可能な1つ又は複数のユーザ記述アイテムのユーザ選択に応じて、選択された、選択可能なユーザ記述アイテムの各々に関連した別々の機能を実行するよう動作可能である。
【００３１】
一実施例では、プロセッサ112は、記号認識又は文字認識を用いた選択に応じて、選択可能なユーザ記述アイテムを自動的に識別するよう動作可能である。別の実施例では、プロセッサ112は、記述される表面上の、選択可能なユーザ記述アイテムの表面位置を自動的に記録するよう動作可能である。プロセッサ112は、選択可能なユーザ記述アイテムの検出表面位置に基づいたユーザ選択に応じて、選択可能なユーザ記述アイテムを自動的に識別するよう動作可能である。
【００３２】
一実施例では、本発明は、インタアクティブなデバイス100のオペレーティング・システムを備える。オペレーティング・システムは、表面上の、選択可能なユーザ記述アイテムを検出し、選択可能なユーザ記述アイテムを機能と関連付け、選択可能なユーザ記述アイテムとのユーザ相互作用に応じて、関連付けられた機能を実行するよう動作可能である。
【００３３】
他の実施例では、メモリ装置114は、印刷文字を認識するコンピュータ・コードと、ユーザの手書きを認識し、ユーザの手書きを解釈するコンピュータ・コード（例えば、手書き文字認識ソフトウェア）と、物品上の位置を各々の印刷エレメントと相互に関係させるコンピュータ・コードと、テキストを音声に変換するコード（例えば、テキスト・ツー音声エンジン）と、メニュー・アイテムを復唱するコンピュータ・コードと、言語の翻訳を行うコンピュータ・コード（英語・外国語辞書）等を備え得る。テキストを音声に変換するソフトウェアは、いくつかの別々のベンダから市場で入手可能である。
【００３４】
メモリ装置114は、オーディオ出力及び視覚出力用のコードも備え得る。例えば、音響効果用コード、発話用コード、授業計画及び指導用コード、質問用コード等を全て、メモリ装置114に記憶し得る。こうしたものなどのオーディオ出力用コードは、物品自体の上ではなく、（インタアクティブな装置がオフにされてもデータが保持されるように永続的又は半永続的に）非揮発性メモリに記憶し得る。本願記載のこうした機能及び他機能用コンピュータ・コードは、メモリ装置114に含め得るものであり、C、C++等を含む何れかの適切なプログラミング言語を用いて作成することができる。
【００３５】
メモリ装置114は、ROMカートリッジやフラッシュ・メモリ・カートリッジなどの取り外し可能なメモリ装置であり得る。他の実施例では、メモリ装置114は、1つ又は複数のメモリ装置（例えば、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ等）を備え得る。メモリ装置114は、何れかの適切な磁気的、電子的、電磁気的又は電気光学的なデータ記憶装置を備え得る。例えば、1つ又は複数の半導体ベースの装置がメモリ装置114内にあり得る。
【００３６】
オーディオ出力装置116は、スピーカ又は、イヤピース若しくはハンドセットに結合するオーディオ・ジャック（例えば、イアピース・ジャックやヘッドフォン・ジャック）を含み得る。一実施例では、オーディオ出力装置116は、選択可能なユーザ記述アイテムとして考えられるもののリストを可聴的にレンダリングするよう動作可能である。オーディオ出力装置116も、選択可能なユーザ記述アイテムのユーザ選択に応じて情報を可聴的にレンダリングするよう動作可能であり得る。
【００３７】
なお、インタアクティブなデバイス100も、表面上の、予め印刷された選択可能アイテムに関連した機能を認識し、実行するよう動作可能である。一実施例では、表面上の、予め印刷された選択可能アイテムのユーザ選択に応じて、プロセッサ112は、予め印刷された選択可能アイテムをユーザが選択することに応じて、予め印刷された選択可能アイテムに関連した機能を実行するよう動作可能である。一実施例では、プロセッサ112は、記号認識を用いて、予め印刷された、選定可能なものを自動的に識別するよう動作可能である。別の実施例では、プロセッサ112は、予め印刷された選択可能アイテムの検出表面位置に基づいて、予め印刷された選択可能アイテムを自動的に識別するよう動作可能である。更に、別の実施例では、プロセッサ112は、別々の有界領域が、別々のアプリケーション・プログラムと関連付けられるように、表面の特定の有界領域に基づいてアプリケーション・プログラムを識別するよう動作可能である。
【００３８】
一部の実施例では、表面は、予め印刷された選択可能アイテムを備えているか備えていない紙であり得る。図3は、本発明の一実施例による、マークのパターンを備えた紙15を示す。図3の実施例では、紙15は、マーク18のパターンから成る光学的に読み取り可能な位置コード17の形式のコード化パターンを備える。図3のマーク18は、分かりやすくするために大いに拡大されている。実際には、マーク18は、人間の視覚系によって容易に区別可能でないことがあり得るものであり、紙15上ではグレイスケールとして見えることがあり得る。一実施例では、マーク18は点として実施される。しかし、本発明はそのように限定されるものでない。
【００３９】
図4は、図3の位置コード17の拡大部分19を示す。インタアクティブなデバイス100（図1）などのインタアクティブなデバイスは、位置コード17の領域の画像を記録するよう配置される。一実施例では、光デバイスは、ラスタ点22で交差するラスタ・ライン21を備えるラスタの形式の基準系にマーク18を合わせる。マーク18の各々は、ラスタ点22と関連付けられる。例えば、マーク23は、ラスタ点24と関連付けられる。画像/ラスタ内のマークについて、マークに関連付けられるラスタ点からのマークの変位が判定される。こうした変位を用いて、画像/ラスタ内のパターンが、基準系におけるパターンと比較される。基準系におけるパターン各々は、表面70上の特定の位置と関連付けられる。よって、画像/ラスタ内のパターンを基準系におけるパターンと照合することによって、表面70上のパターンの位置と、よって、表面70に対する光デバイスの位置とを判定することができる。
【００４０】
一実施例では、シート15上のマークのパターンは、実質的に非可視的なコードである。コードは、ユーザの目に対して「実質的に非可視的」であり、ページ上の選択可能なアイテムの絶対位置又は相対位置に相当し得る。「実質的に非可視的」であることは、ユーザの目に対して完全に非可視的であるかわずかに非可視的であるコードも含む。例えば、ユーザの目に対してわずかに非可視的である点コードが、紙の上じゅうに印刷されている場合、紙は垂直の視距離から視ると淡いグレイシェードを有するように見えることがあり得る。場合によっては、ユーザがコードをインタアクティブなデバイス100によって走査した後、インタアクティブなデバイス100内のオーディオ出力装置116は、（ビープ音等の無差別のオーディオ出力ではなく、）コードに関連した選択可能なユーザ記述アイテムに相当する一意のオーディオ出力を生成する。
【００４１】
一実施例では、実質的に非可視的なコードは、点パターンによって実施される。可視的であるか「サブリミナル」印刷された点パターンを読み取る技術が存在し、こうした技術は市場で入手可能である。こうした印刷された点パターンは、点パターン内に存在するコードが、（通常のバーコードと違って）通常の使用においてはユーザの目によって検出することができないほど、ユーザの目に対して実質的に非可視的である。点パターンは、例えば、2進コ―ド化のように1及び0を表すことができる、小さい点と大きい点との特定の組み合わせによって実施することができる。点パターンは印刷エレメントを印刷するのに用いるインクとは異なるインクによって印刷することができるので、インタアクティブなデバイス100は点パターンを明確に読み取ることができる。
【００４２】
スウェーデンの企業であるアノト社は、非常に大きな一意のデータ空間を多数の文書群にわたって競合せずに使用することができるパターンを生成するアルゴリズムを用いる技術を利用する。完全に印刷される場合、そのパターンは、何れかのページ上の何れかの、辺が2センチメートルの正方形が一意に認識される、70兆の、216mm×279.5mmの（レターサイズの）ページに及ぶことになる。特定の点パターンを含む紙は、アノト社から市場で入手可能である。米国特許第6,502,756号明細書、西暦2002年6月26日付出願の米国特許出願公開10/179,966号明細書、国際公開第01/95559号パンフレット、国際公開第01/71473号パンフレット、国際公開第01/75723号パンフレット、国際公開第01/26032号パンフレット、国際公開第01/75780号パンフレット、国際公開第01/01670号パンフレット、国際公開第01/75773号パンフレット、国際公開第01/71475号パンフレット、国際公開第01/73983号パンフレット及び国際公開第01/16691号パンフレットに記載の特許及び特許出願は、アノト社に譲渡されており、この基本技術を記載しており、全ての目的で、全ての内容を本明細書及び特許請求の範囲に援用する。
【００４３】
一部の実施例では、点パターンは、データ・ブロック、オーディオ・データ及び/又はエラー検出データ用のマーカを表すデータなどの他のタイプのデータがないものであり得る。前述の通り、インタアクティブなデバイス100内のプロセッサ112は、ルックアップ・テーブルを用いてスタイラスの位置を判定することができ、オーディオを、位置情報に基づいて取り出し、再生することができる。このことは利点を有する。例えば、マーカ、オーディオ及びエラー検出用のデータを上に印刷させた紙と比較して、本発明の実施例が必要とする点の数はより少ないが、それは、マーカ、オーディオ及びエラー検出用のデータを紙上に印刷しなくてよいからである。例えば、オーディオ・データを紙から削除することにより、インタアクティブにレンダリングすることができる、紙上の空間は増えるが、それは、実際のオーディオ・データが紙上の空間を埋めなくてよいからである。更に、オーディオ用コンピュータ・コードが、本発明の実施例におけるインタアクティブなデバイス100に記憶されるので、生成されるオーディオが、例えば、紙におけるしわや裂け目によって損なわれるか改変されることになる可能性は低くなる。
【００４４】
なお、点パターン・コードを本明細書及び特許請求の範囲で説明するが、他のタイプの実質的に非可視的なコードも本発明の他の実施例に用い得る。例えば、バーコードが物品上のアレイ内に配置されている場合、赤外線バーコードを用い得る。例証的には、紙は、100x100の、実質的に非可視的なバーコードのアレイを含み得るものであり、各コードは、紙上の別々のx‐y位置と関連付けられる。アレイ内のバーコードの相対位置又は絶対位置は、インタアクティブなデバイス100内のメモリ装置114に記憶し得る。
【００４５】
なお、一部の実施例では、実質的に非可視的なコードは、紙上の、複数の場所及び/又は何れかの選択可能なアイテムの、位置に直接的又は間接的に関係し得る。一部の実施例では、実質的に非可視的なコードは、紙上（や他の表面上）の複数の場所の位置に直接関係し得る。こうした実施例では、紙上の別々の場所の位置は、コード自体によって備え得る。例えば、第１の場所での第１のコードは、紙上の第１の場所の空間座標（例えば、特定のx‐y位置）のコードを含み得る一方、第２の場所での第２のコードは、紙上の第２の場所の空間座標のコードを含み得る。
【００４６】
別々の、選択可能なユーザ記述アイテムは、紙上の別々の場所にあり得る。こうした選択可能なユーザ記述アイテムは、コードにわたって形成し得る。例えば、第１の選択可能なユーザ記述アイテムは、第1のコードと重なる第１の場所で形成し得る。第２の選択可能なユーザ記述アイテムは、第２のコードと重なる第２の場所で形成し得る。ユーザが第１の選択可能なユーザ記述アイテムを形成すると、走査装置は、形成された第１の印刷エレメントを認識し、形成された第１の選択可能なユーザ記述アイテムに関連付けられる第１のコードを実質的に同時に走査する。インタアクティブ・デバイス100内のプロセッサ112は、第１の場所の特定の空間座標を判定することができ、第１の選択可能なユーザ記述アイテムを空間座標と相互に関係させることができる。
【００４７】
ユーザが第２の選択可能なユーザ記述アイテムを形成すると、走査装置は、形成された第２の選択可能なユーザ記述アイテムを認識し、第２のコードを実質的に同時に走査する。プロセッサ112は更に、第２の場所の空間座標を判定することができ、第２の選択可能なユーザ記述アイテムを空間座標と相互に関連させることができる。ユーザは更に、第１の選択可能なユーザ記述アイテムと第２の選択可能なユーザ記述アイテムとをインタアクティブなデバイス100を用いて選択することができ、インタアクティブなデバイス100は、更なる動作を行うことができる。例えば、この方法論を用いれば、ユーザは、ブランクの紙上にユーザ定義インタフェース又は機能的デバイスを作成することができる。
【００４８】
インタアクティブなデバイス100は、メモリ装置114内の形成された選択可能なユーザ記述アイテムと、相対位置又は絶対位置をマッピングするか、相互に関係させる機構も含み得る。この機構は、物品上の特定の選択可能なユーザ記述アイテムに関したデータを、物品上の特定の位置に相互に関係させるルックアップ・テーブルであり得る。このルックアップ・テーブルは、メモリ装置114に記憶し得る。プロセッサ112は、プロセッサ112が後の動作を行うことができるように、ルックアップ・テーブルを用いて、特定の位置で、選択可能なユーザ記述アイテムを識別することができる。
【００４９】
実質的に非可視的なコードを備える表面は、何れかの適切な形態のものであり得る。例えば、表面は、単一の紙、メモ帳、濾紙、ポスター、プラカード、メニュー、ステッカ、タブ、製品パッケージ、箱、トレーディングカード、磁石（例えば、冷蔵庫の磁石）、ホワイトボード、天板等であり得る。更に、表面は、紙、木、金属、プラスチック等に限定されないがそれらを含む何れかの材料から成るものであり得る。何れかの、こうしたタイプや他のタイプの表面を、予め印刷された選択可能アイテムとともに用い得るものであり、そうしたアイテムなしでも用い得る。表面がシートの場合、シートは、何れかの適切なサイズのものであり得るものであり、何れかの適切な材料でできたものであり得る。例えば、シートは紙ベースのものであってよく、プラスチック・フィルムであってもよい。一部の実施例では、表面は、3次元の表面を備える3次元の物品であり得る。3次元の表面は、人体、動物（例えば、恐竜）、車両、キャラクターや他のフィギュアの成形フィギュアを含み得る。
【００５０】
一部の実施例では、表面はシートであり、シートは、印刷されたレター又は数字（例えば、選択可能なユーザ記述アイテムをシート上にユーザが作成する前に作成されるマーキング）などの予め印刷された選択可能なエレメントがないものであり得る。別の実施例では、予め印刷された選択可能アイテムは、（例えば、選択可能なユーザ記述アイテムをシート上にユーザが作成する前の）シート上にあり得る。予め印刷された印刷エレメントは、数字、アイコン、レター、丸、語、記号、線等を含み得る。例えば、本発明の実施例は、予め印刷された注文伝票や投票用紙などの予め印刷された帳票を利用し得る。
【００５１】
インタアクティブなデバイス100は、何れかの適切な形態のものであり得る。一実施例では、インタアクティブなデバイス100は、スタイラスとしての形状を有する走査装置である。一実施例では、インタアクティブなデバイス100はポケット・サイズのものである。スタイラスは、プラスチック又は金属でできたものであり得るスタイラス・ハウジングを含む。グリップ部分がスタイラス・ハウジング上にあり得る。
【００５２】
図5は、本発明の一実施例による、表面上の、ユーザが描いた選択可能アイテムとの相互作用を容易にする処理500の工程の流れ図を示す。処理500は、本発明の一実施例による、インタアクティブなデバイス（例えば、インタアクティブなデバイス100）によって実施されるユーザ・インタフェース処理の基本動作工程を、ユーザが記述した、選択可能なアイテム、グラフィック・エレメント、筆跡、マーク等の形式でのユーザ入力をそれが解釈し、要求される機能をユーザに備えるにつれ、表す。
【００５３】
工程510では、デバイス100のコンピュータ実施機能が記述可能な表面上の選択可能なユーザ記述アイテムを検出する。工程512では、選択可能なユーザ記述アイテムが、選択可能なユーザ記述アイテムの機能とともに認識される。この機能は、例えば、ユーザが後に起動する所定の機能リスト（例えば、メニュー選択）を発音し得るメニュー機能であり得る。工程514では、ユーザが描いた選択可能なアイテムとの相互作用が検出される。この相互作用は、選択可能なユーザ記述アイテムを記述する工程、選択可能なユーザ記述アイテムと、インタアクティブなデバイスによって、相互作用する（例えば、選択可能なユーザ記述アイテムに軽く触れる）工程、又は関連した選択可能なユーザ記述アイテム（例えば、図2Bのチェックマーク210）と相互作用する工程を含み得る。機能は、選択可能なユーザ記述アイテムと永続的に関連付けられ、それによって、グラフィカル・エレメント・アイコンの後の相互作用（例えば、軽く触れること）による、（例えば、後の特定時点での、）機能の、後のアクセスが可能になる。例えば、メニュー機能の場合、リスト化されたメニュー選択を、メニュー・グラフィック・エレメント・アイコンを単に、起動させる（例えば、それに軽く触れる）ことによって後の特定の時点でユーザが後にアクセスすることができる。
【００５４】
このようにして、本発明の実施例は、ペン及び紙のタイプのインタフェースを用いてインタアクティブなデバイス（例えば、図1のインタアクティブなデバイス100）の機能をたどるユーザ・インタフェース手段を実施する。選択可能なユーザ記述アイテムによって実施されるユーザ・インタフェースは、インタアクティブなデバイス100内で実行するいくつかのソフトウェア・アプリケーションと相互作用する方法を備える。前述のように、インタアクティブなデバイス100への入力は、選択可能なユーザ記述アイテムをユーザが作成することや、ユーザ記述アイテム又は、予め印刷された選択可能なアイテムとユーザが相互作用することなどのユーザ動作を含む。ペンからの出力は、オーディオ出力であり、よって、ユーザ・インタフェース手段によって、ペンのアプリケーション及び機能と「対話」をユーザが行うことが可能になる。すなわち、ユーザ・インタフェースによって、ユーザ及びペンがお互いに相互作用することを可能にする、表面上の、選択可能なユーザ記述アイテムなどの相互に認識されるアイテムをユーザが作成することが可能になる。前述のように、相互に認識されるアイテムは、通常、紙上などの表面上でユーザが描く記号若しくはマーク又はアイコンである。
【００５５】
本発明の他の実施例
図6は、本発明の他の実施例を実施することができるペン・デバイス150の構成図である。一般的に、ペン・デバイス150は、光デバイス、特に、光学式読み取り装置、光学式ペン若しくはディジタル・ペンとして表し得る。デバイスは、上に常駐した、コンピュータ・システム及びオペレーティング・システムを含み得る。アプリケーション・プログラムも上に常駐しているものであり得る。
【００５６】
図6の実施例では、ペン・デバイス150は、ハウジング62内にプロセッサ32を含む。一実施例では、ハウジング62は、ペンや他の筆記若しくはマーキングの用具又は器具の形態を有する。プロセッサ32は、以下に記載する、ペン・デバイス150の機能を実施するのに用いる情報及び命令を処理するよう動作可能である。
【００５７】
本実施例では、ペン・デバイス150は、プロセッサ32に結合される、オーディオ出力装置36及び表示装置40を含み得る。他の実施例では、オーディオ出力装置及び/又は表示装置は、ペン・デバイス150とは物理的に分離されている一方、有線接続又は無線接続によってペン・デバイス150と通信する。無線通信の場合、ペン・デバイス150は、送受信器又は送信器（図６に示していない）を含み得る。オーディオ出力装置36は、スピーカ又はオーディオ・ジャック（例えば、イヤフォン用若しくはヘッドフォン用）を含み得る。表示装置40は、液晶表示や特定の他の適切なタイプの表示であり得る。
【００５８】
図6の実施例では、ペン・デバイス150は、プロセッサ32に結合され、ペン・デバイス150を駆動させ、制御する入力ボタン38を含み得る。例えば、入力ボタン38によって、ユーザが、情報及びコマンドをペン・デバイス150に入力するか、ペン・デバイス150をオン/オフにすることが可能になる。ペン・デバイス150は、バッテリなどの電源34も含む。
【００５９】
ペン・デバイス150は、プロセッサ32に結合される、光源又は光エミッタ44及び、光センサ又は光検出器42も含む。光エミッタ44は、例えば発光ダイオード(LED)であってよく、光検出器42は、例えば、電荷結合素子(CCD)や相補型金属酸化物半導体(CMOS)のイメ―ジャ・アレイであってよい。光エミッタ44は表面70又はその一部分を照射する。表面70を反射する光は、光検出器42によって受光され、記録される。
【００６０】
表面70は、紙であり得るが、本発明はそのように限定されるものでない。例えば、表面70は、LCD（液晶ディスプレイ）、CRT（陰極線管）、タッチスクリーンや他の同様なタイプのアクティブな電子表面（例えば、ラップトップ型PCやタブレット型PCのディスプレイ）であり得る。同様に、表面70は、電子インクを備える表面や再構成可能なペーパーを備える表面であり得る。
【００６１】
一実施例では、マーキングのパターンが表面70上に印刷される。光エミッタ44及び光検出器42を収容するペン・デバイス150の端部は、表面70に押し当てられるか表面70の近くに配置される。ペン・デバイス150が表面70に対して移動するにつれ、マーキングのパターンが光エミッタ44及び光検出器42によって読み取られ、記録される。以下に更に詳細に記載するように、一実施例では、表面70上のマーキングを用いて、表面に対するペン・デバイス150の位置を判定する（図3及び4）。別の実施例では、表面70上のマーキングを用いて情報をコード化する（図8及び9）。表面70の捕捉画像は、ペン・デバイス150によって解析（処理）して、マーキングを復号化し、コード化情報を復元することができる。
【００６２】
情報をコード化する表面マーキングと、電子デバイスによるそうしたマーキングの読み取り/記録とに関する更なる記載は、アノト社に譲渡されており、全ての内容を本明細書及び特許請求の範囲に援用する、米国特許第6,502,756号明細書、西暦2002年6月26日付出願の米国特許出願公開10/179,966号明細書、国際公開第01/95559号パンフレット、国際公開第01/71473号パンフレット、国際公開第01/75723号パンフレット、国際公開第01/26032号パンフレット、国際公開第01/75780号パンフレット、国際公開第01/01670号パンフレット、国際公開第01/75773号パンフレット、国際公開第01/71475号パンフレット、国際公開第01/73983号パンフレット及び国際公開第01/16691号パンフレットで見つけ得る。
【００６３】
図6のペン・デバイス150は、プロセッサ32に結合されるメモリ装置48も含む。一実施例では、メモリ装置48は、メモリ・カートリッジ又はメモリ・カードとして実施される取り外し可能なメモリ装置である。別の実施例では、メモリ装置48は、プロセッサ32用情報及び命令を記憶するランダム・アクセス（揮発性）メモリ（ＲＡＭ）並びに読み取り専用（非揮発性）メモリ（ＲＯＭ）を含む。
【００６４】
図6の実施例では、ペン・デバイス150は、光検出器42及び光エミッタ44と同じ、ペン・デバイス150の端部に配置される筆記具エレメント52を含む。筆記具エレメント52は、例えば、ペン、鉛筆、マーカ等であり得るものであり、格納式であってもなくてもよい。特定のアプリケーションでは、筆記具エレメント52は必要でない。他のアプリケーションでは、ユーザは、筆記具エレメント52を用いて、レター、語、数字、数学記号等などの文字を含む、表面70上のマーク（例えば、グラフィカル・エレメントや、選択可能なユーザ記述アイテム）を作成することができる。こうしたマークを、走査（イメージング）し、表面70上の位置によって、ペン・デバイス150によって解釈することができる。ユーザ作成マークの位置は、表面70上に印刷されるマーク・パターンを用いて判定することができる。上記図3及び4の記載参照。一実施例では、ユーザ作成マーキングは、手書き文字を認識する光学式文字認識(OCR)手法を用いてペン・デバイス150によって解釈することができる。
【００６５】
前述のように、表面70は、例えば、紙などの、上に記述するのに適した何れかの表面であり得るが、紙以外の材料から成る表面も用い得る。更に、表面70は平坦であってもなくてもよい。例えば、表面70は、球体の表面として実施し得る。更に、表面70は通常の（例えば、216mm×279.5mm（レターサイズ）の）ページに対して大きくても小さくてもよい。
【００６６】
図7は、本発明の実施例を実施することができる別のデバイス250の構成図である。デバイス250は、本明細書に前述した、プロセッサ32、電源34、オーディオ出力装置36、入力ボタン38、メモリ装置48、光検出器42、光エミッタ44及び筆記具エレメント52を含む。しかし、図7の実施例では、光検出器42、光エミッタ44及び筆記エレメント52は、ハウジング62内に光デバイス251として実施され、プロセッサ32、電源34、オーディオ出力装置36、入力ボタン38及びメモリ装置48は、ハウジング74内にプラットフォーム252として実施される。本実施例では、光デバイス251は、ケーブル102によってプラットフォーム252に結合される。しかし、無線接続をかわりに用いることができる。図7によって示すエレメントは、上記のもの以外の組み合わせで光デバイス251とプラットフォーム252との間に分布させ得る。
【００６７】
図6をもう一度参照すれば、表面70上の4つの位置又は領域をレターA、B、C及びDによって示す（こうした文字は、表面70上に印刷されないが、表面70上の位置を示すのに本明細書では用いている。）表面70上にはそうした領域が多く存在し得る。表面70上の各領域と関連付けられるのは、一意のマーク・パターンである。表面70上の領域は重なり得るが、それは、重なる領域間で一部のマークが共有されても、領域内の、マークのパターンは、その領域になお一意であるからである。
【００６８】
図6の例では、ペン・デバイス150を用いて（特に、筆記具エレメント52を用いて）、ユーザは、例えば、表面70上の位置Aにある、丸を付けたレター「M」から成る文字を作成し得る（一般的に、ユーザは、表面70上の何れかの位置に文字を作成し得る。）。ユーザは、そうした文字をペン・デバイス150からのプロンプト（例えば、可聴プロンプト）に応じて作成し得る。ユーザが文字を作成すると、ペン・デバイス150は、文字が作成される位置に一意に存在するマーキング・パターンを記録する。ペン・デバイス150は、このマーキング・パターンを、直近に作成された文字と関連付ける。丸を付した「M」の上にペン・デバイス150が後に配置されると、ペン・デバイス150は、それと関連付けられるマーク・パターンを認識し、丸を付した「M」と関連付けられるものとして位置を認識する。事実上、ペン・デバイス150は、文字自体を認識することによるのではなく、文字が配置される位置にあるマーキング・パターンを用いて文字を認識する。
【００６９】
一実施例では、上記文字は、ペン・デバイス150の1つ又は複数のコマンドに関連した
「グラフィック・エレメント」を備える。コマンドを備える、ペン・デバイス150によって実施される機能と関連付けられ、そうした機能をアクセスするのに用いるそうしたグラフィック・エレメントは、ペン・デバイス150の機能又はアプリケーションをアクセスすることに関連しない他の記述された文字、マーク等と区別するために、以降、「グラフィック・エレメント・アイコン」として表す。直近で説明した例では、ユーザは、特定のコマンドを識別するグラフィック・エレメント・アイコンを作成（記述）することができ、グラフィック・エレメント・アイコン（例えば、記述された文字）の上にペン・デバイス150を単に配置させることによって繰り返しそのコマンドを引き起こすことができる。
一実施例では、筆記器具が、グラフィカル文字の上に配置される。すなわち、ユーザは、コマンドをペン・デバイス150によって引き起こすこととする都度、コマンドに対する文字を記述しなくてよい。その代わりに、ユーザは、コマンドに対するグラフィック・エレメント・アイコンを一度、記述し、記述された同じグラフィック・エレメント・アイコンを用いて繰り返しコマンドを引き起こすことができる。この属性は、「永続性」として表し、以下に更に詳細に説明する。このことは、ユーザによって記述されないが、表面上に予め印刷され、しかし、ペン・デバイス150によって選択可能であるグラフィカル・エレメント・アイコンに関してもあてはまる。
【００７０】
一部の実施例では、グラフィック・エレメント・アイコンは、線がレター又は数字に外接して描かれたレター又は数字を含み得る。レター又は数字に外接して描かれた線は、円形、楕円形、正方形、多角形等であり得る。そうしたグラフィック・エレメントは、通常のレターや数字の代わりに、ユーザによって選択することができる、「ボタン」に似たものに見える。こうした類のグラフィック・エレメント・アイコンを作成することによって、ユーザは、機能的アイコンなどのグラフィック・エレメント・アイコンを、ペン・デバイス150によってデータとして扱われ得る通常のレターや数字から視覚的に区別することができる。更に、こうした類のグラフィック・エレメント・アイコンを作成することによって、ペン・デバイスは、機能的タイプ又はメニュー・アイテム・タイプのグラフィック・エレメントを、非機能的タイプ又は非メニュー・アイテム・タイプのグラフィック・エレメントからより好適に区別することもでき得る。例えば、ユーザは、周りに円を有して、インタアクティブな「メニュー」・グラフィック・エレメント・アイコンをもたらすレター「M」であるグラフィック・エレメント・アイコンを作成し得る。
【００７１】
ペン・デバイス150は、語におけるレター「M」と区別されたものとして、中にレター「M」を備える、重なる円形又は正方形を、機能的なグラフィック・エレメントとして認識するようプログラムし得る。グラフィック・エレメント・アイコンは、特定距離（例えば、2,5cm、3.75cm等）内にそれに隣接する小さい「チェックマーク」記号も含み得る。チェックマークは、グラフィック・エレメント・アイコンと関連付けられることになる。そうした機能的なグラフィック・エレメントを認識し、それを他の、非機能的なグラフィック・エレメントと区別するコンピュータ・コードは、ペン・デバイス内のメモリ装置に存在し得る。プロセッサは、ペン・デバイス150が、関連した種々の機能、動作等を行うことができるように、グラフィック・エレメント・アイコンを認識し、そうしたグラフィック・エレメント・アイコンの位置を識別することができる。こうした実施例では、メモリ装置は、ユーザによって生成される何れかのグラフィック・エレメントを、表面上のその位置と相互に関係させるコンピュータ・コードを備え得る。ペン・デバイス150は、（例えば、ユーザが記述し始める際に）表面上の「ダウンタッチ」若しくは「ダウンストローク」又は、表面上に下ろされることを認識し、（例えば、ユーザが記述し終わる際に）表面からの「アップストローク」又は、表面から引き上げられることを認識する。そうしたダウンストローク及びアップストロークは、ペン・デバイス150によって、例えば、特定の機能が引き起こされる時点と、引き起こされる特定の機能/アプリケーション（例えば、ＯＣＲ処理を引き起こすこと）とのインディケータとして解釈することができる。特に、アップストロークがすばやく続くダウンストローク（例えば、表面上のペン・デバイスに軽く触れること）は、アプリケーション（例えば、グラフィック・エレメント・アイコン、テキスト列等の選択）によって特定の動作と関連付けることができる。
【００７２】
なお、「グラフィック・エレメント」という汎用語は、ユーザによって作成される何れかの適切なマーキング（例えば、選択可能なユーザ記述アイテム）を含み得るものであり、デバイスの1つ又は複数の機能をアクセスするのに用いる、機能的グラフィック・エレメントを表すグラフィック・エレメント・アイコンと区別できる。
【００７３】
上記の通り、グラフィック・エレメント・アイコンは、ペン・デバイス150によって作成される（例えば、ユーザによって描かれる）ことがあり得るものであり、予め存在するもの（例えば、紙上に印刷されたエレメント）でもあり得る。グラフィック・エレメントの例は、レター及び/又は数字、文字、語、形状、線等などのしるしを含む。上記エレメントは、形状が正則でも非正則でもあり得る。ユーザ記述/ユーザ作成のグラフィック・エレメントは、通常、ペン・デバイス150を用いて作成される。更に、グラフィック・エレメント・アイコンは、常にではないが通常は、文字（例えば、レター「Ｍ」）の周りに外接する線（例えば、円）を組み入れて、そうしたグラフィック・エレメント・アイコンの、ユーザとペン・デバイス150とに対する区別性を高める。例えば、一実施例では、文字の周りの円を終えた後のアップストロークによって、グラフィカル・エレメント・アイコンをユーザが直近で作成したということをペン・デバイス150に特に示し得る。
【００７４】
図8は、本発明の一実施例による、コンピュータによって実施される処理550の工程の流れ図を示す。処理550は、本発明の一実施例による、デバイス（例えば、ペン・デバイス150）によって実施されるユーザ・インタフェース処理の基本動作工程を、グラフィック・エレメント、筆跡、マーク等の形式でのユーザ入力をそれが解釈し、要求される機能をユーザに備えるにつれ、表す。
【００７５】
処理550は工程551から始まり、工程551では、ペン・デバイス150のコンピュータ実施機能が、（例えば、ユーザによって作成される、）作成グラフィック・エレメント・アイコンを認識する。あるいは、グラフィック・エレメントは、表面上に予め印刷され得るものであり、その位置はペン・デバイス150が分かっているものであり得る。工程551では、ユーザが、初めてグラフィック・エレメントを記述する場合、ペン・デバイス150は、光センサ及びプロセッサを用いて記述に対してＯＣＲ（光学式文字認識）を行って、ユーザ記述グラフィカル・エレメントを識別する。一実施例では、表面上のその一意の位置も更に記録される。工程552では、グラフィカル・エレメント・アイコンに関する機能は、認識されると、アクセスされる。この機能は、例えば、ユーザが後に起動する所定の機能リスト（例えば、メニュー選択又はサブメニュー・オプション）を発音（例えば、可聴的にレンダリング）し得るメニュー機能であり得る。工程553では、機能によるオーディオ出力が備えられる。このオーディオ出力は、例えば、選択リスト内でユーザがいる特定の選択の発音であり得る。工程554では、機能は、グラフィカル・エレメント・アイコンと永続的に関連付けられ、それによって、グラフィカル・エレメント・アイコンの後の駆動（例えば、軽く触れること）による、（例えば、後の特定時点での、）機能の、後のアクセスが可能になる。例えば、メニュー機能の場合、リスト化されたメニュー選択を、メニュー・グラフィック・エレメント・アイコンを単に、駆動させる（例えば、それに軽く触れる）ことによって後の特定の時点でユーザが後にアクセスすることができる。
【００７６】
なお、複数の別々のグラフィカル・エレメントが、表面上に、かつ、いつでも存在し得るものであり、それらの選択が、ペン・デバイス150によって実行する対象の種々の機能を、例えば、引き起こしたアプリケーション、引き起こしたサブメニュー・オプション等に備え得る。
【００７７】
なお、ペン・デバイス150の出力は、オーディオ出力に加えてか、オーディオ出力のかわりに、視覚出力（例えば、ディスプレイを介したもの、指示灯等）であり得る。視覚出力及び/又はオーディオ出力は、ペン・デバイス150から直接来るものでもよく、通信するようペン・デバイス150に結合される別の装置（例えば、パソコン、スピーカ、LCDディスプレイ）からのものでもよい。
【００７８】
このようにして、本発明の実施例は、コンピュータ・システム、特に、例えばペン・デバイス150を備えるペン・ベースのコンピュータ・システムの機能をたどるユーザ・インタフェース手段を実施する。グラフィカル・エレメント・アイコンによって実施されるユーザ・インタフェースは、ペン・デバイス150内で実行するいくつかのソフトウェア・アプリケーションと相互作用する方法を備える。前述のように、ペン・デバイス150からの出力は、オーディオ出力を含み得るものであり、よって、ユーザ・インタフェース手段によって、ペン・デバイス150のアプリケーション及び機能と「対話」をユーザが行うことが可能になる。すなわち、ユーザ・インタフェースによって、ユーザ及びペン・デバイス150がお互いに相互作用することを可能にする、グラフィック・エレメント・アイコンなどの相互に認識されるアイテムをユーザが作成することが可能になる。前述のように、相互に認識されるアイテムは、表面上、通常、紙上でユーザが描く記号若しくはマーク又はアイコンである。
【００７９】
別々のグラフィック・エレメント・アイコンは、別々の意味と、別々の、ユーザとの相互作用の方法とを有する。一般的には、特定のグラフィック・エレメント・アイコンについて、相互作用の方法によって、ペン・デバイスの、別々のコンピュータ実施機能が呼び出されることになる。例証的な目的で、上記メニュー例の場合、メニュー機能によって、グラフィック・エレメントに関する機能リストをユーザが繰り返す（例えば、メニュー上で軽く触れる回数、グラフィック・エレメント・アイコンが機能リストを繰り返す）ことが可能になる。ペン・デバイスからのオーディオは、上記のようにメニュー上で軽く触れるにつれて機能又はモードを発音することができる。発音された機能/モードのうちの１つを更にユーザによって、（例えば、グラフィック・エレメント・アイコンに関連した、先行して描かれたチェックマーク・グラフィック・エレメントを描くか選択する）更なる特定の相互作用を介して選択することができる。選択されると、選択された特定の機能の機能性、オプション、及び更なるサブメニューを更にユーザによってアクセスすることができる。あるいは、可聴的にレンダリングされるサブオプションのうちの1つ自体がメニュー・グラフィカル・アイコンである場合、表面上のその表現をユーザが描き、それを選択することによって選択することができる。
【００８０】
図9は、本発明の一実施例による処理650の、コンピュータによって実施される工程の流れ図を示す。処理650は、本発明の一実施例による、インタアクティブなデバイス（例えば、ペン・デバイス150）の、ネストされたいくつかの階層機能をアクセスする（例えば、たどる）ユーザ・インタフェース処理の基本動作工程を表す。処理650は、図11A、11B及び11Cを参照しながら説明する。
【００８１】
処理650は工程651から始まり、工程651では、ペン・デバイス150の、コンピュータによって実施される機能は、メニュー・アイコン「M」として図11Aに示す作成グラフィック・エレメント・アイコンを認識する。工程551と同様に、グラフィック・エレメント・アイコンは、表面上に、ユーザが記述してもよく、予め印刷してもよい。1つのケースでは、グラフィック・エレメント・アイコンは、それに関連付けられ、それ自体が更なる選択を備え得る更なるグラフィック・エレメント・アイコン（例えば、階層配置）の選択のリストを備え得る。工程652では、かつ、図11Aに示すように、認識されると、グラフィック・エレメント・アイコンに関する第１の階層的な機能メニューがアクセスされる。この例では、認識されると、工程651のメニュー・アイコン「M」によって、図11Aに示すように、サブオプションのリスト（例えば、システム「S」、ゲーム「G」、参考書「R」及びツール「T」）を1度に1つのオプションについて（例えば、可聴プロンプトを介して）可聴的にレンダリングされる。オプションは、ペン・デバイス（例えば、ペン・デバイス150）による工程651のメニュー・アイコンの連続した選択に応じてレンダリングされる。
【００８２】
工程653では、かつ、図１１Bに示すように、発音される機能のうちの１つ、この例では参考書グラフィック・エレメント・アイコン「R」が、メニュー・グラフィック・エレメント・アイコンの適切な数の駆動（例えば、軽く触れる動作）によって選択され、駆動は、チェックマーク・アイコン870に関連する。工程654では、機能の起動によって、第２の階層的な機能メニューについて第２のグラフィック・エレメント・アイコンの作成をプロンプトし得る。第２のグラフィック・エレメント・アイコン、この例では参考書アイコン「R」は更に、ユーザによって表面上に描かれ得る。図11Cに示すように、その選択によって、上記のように（例えば、可聴プロンプトを介して）第２のサブメニュー・アイテム・リスト（例えば、類語辞典「TH」、辞書「D」及びヘルプ「H」）が可聴的にレンダリングされる。その後、工程655で、第２のグラフィック・エレメント・アイコンの発音された機能のうちの１つを、適切な数の駆動によって起動させて、第２の階層レベル機能のうちの１つを選択する。
【００８３】
このようにして、１つのメニューによって、それら自体が更なるサブメニューを有するいくつかのサブメニューを呼び出すことができる。よって、別々のレベルのグラフィック・エレメント・アイコンを階層的に配置することができる。一般的に、機能メニューを呈示する最上位レベルのグラフィック・エレメント・アイコンは、グループ・グラフィック・エレメント・アイコンとして表す。アプリケーション・グラフィック・エレメント・アイコンは、特定のアプリケーションについて構成オプション又はアプリケーション設定のメニューを一般的に呈示する第２レベルのグラフィック・エレメント・アイコンである。例えば、アプリケーション・グラフィック・エレメント・アイコンは、グループ・グラフィック・エレメント・アイコンの特別ケースと見なし得る。一般的に、アプリケーション・グラフィック・エレメント・アイコンは、それに関連した専門アプリケーション関連のデフォールト特性を有する。
【００８４】
このようにして、ユーザは、メニュー・アイテム・リストからメニュー・アイテムを更に選択し得る。メニュー・アイテムは、ディレクトリ名、サブディクトリ名、アプリケーション名又は特定データ群名を含み得る。ディレクトリ名又はサブディレクトリ名の例は、「ツール」（例えば、多くの別々の状況下で適用可能な、有用なインタアクティブ機能）と、「参考書」（例えば、辞書などの参考マテリアル）と、（例えば、種々のゲーム用の）「ゲーム」等とに限定されないがこれらを含む。特定のアプリケーション（又はサブディレクトリ）の例は、「電卓」、「スペルチェック」及び「翻訳」を含む。特定のデータ群例は、外国語の語とその定義との群、電話帳、カレンダー、予定表等を含み得る。更なるメニュー・アイテム例を、以下図10に示す。
【００８５】
特定のオーディオ命令を種々のメニュー・アイテムに備え得る。例えば、ユーザが「電卓」というメニュー・アイテムを選択した後、ペン・デバイスは、紙上に数字0乃至9と、演算子「±」、「−」、「×」、「/」及び「=」とを描き、更に数字を選択して数値計算を行うようユーザに命令し得る。別の例では、ユーザが「翻訳」というメニュー・アイテムを選択した後、ペン・デバイスは、第２の言語名を記述し、それに丸を付けることをユーザに命令し得る。ユーザがこれを行った後、ペン・デバイスは更に、英語で語を筆記し、更に、丸を付けた第２の言語を選択して、筆記された語の第２の言語への翻訳を聴くようユーザに命令し得る。そうした後、ペン・デバイス内のオーディオ出力装置は、第２の言語でその語を復唱し得る。
【００８６】
図10は、各オプションのグラフィカル・エレメント・アイコン表現を含む、本発明の実施例によるメニュー・アイテム・ツリー・ディレクトリを示す。メニュー・アイテム・ツリー・ディレクトリは、メニュー・グラフィック・エレメント・アイコンから始めて、オーディオ・メニューを実施することができる。図10の最上部から始めれば、第１のオーディオ・サブディレクトリは、ツールＴのサブディレクトリとなる。ツールＴのサブディレクトリの下には、翻訳TRのサブディレクトリ、電卓Ｃのサブディレクトリ、スペルチェックＳＣのサブディレクトリ、秘書ＰＡのサブディレクトリ、目覚まし時計ＡＬのサブディレクトリ、及び家庭教師Ｔの機能があり得る。翻訳ＴＲのサブディレクトリの下には、スペイン語ＳＰの翻訳機能、フランス語ＦＲの翻訳機能、及びドイツ語ＧＥの翻訳機能があることになる。秘書ＰＡのサブディレクトリの下には、カレンダーＣ、電話帳PL及び予定表ＴＤの機能又はサブディレクトリがあることになる。参考書Rのサブディクトリの下には、類語辞典THの機能と、辞書Dのサブディレクトリと、ヘルプHの機能があり得る。辞書Dのサブディレクトリの下には、英語Eの機能、スペイン語SFの機能、及びフランス語FRの機能があり得る。ゲームGのサブディレクトリの下には、ワードスクラブルWS、青色ポテトFPや手書きメモDOなどのゲームがあり得る。他のゲームも本発明の別の実施例にあり得る。システムＳのサブディレクトリの下には、セキュリティＳＥの機能と、個人化Ｐの機能があり得る。
【００８７】
上記ディレクトリ、サブディレクトリ及び機能の一部に関する詳細は、以下に備える。メニュー・アイテム・ツリー・ディレクトリによって示されるように、ユーザは、種々のメニュー・アイテムの復唱を聴き、更に、所望のメニュー・アイテムを選択することによって何れかの所望のパスを先に進むか、たどり得る。所望のメニュー・アイテムの後の選択は、何れかの適切な方法で行い得る。例えば、一部の実施例では、ユーザは、作成グラフィック・エレメント上の「ダウンタッチ」（例えば、ダウンストローク）によってオーディオ・メニューをペン・デバイスにスクロールさせることができる。「ダウンタッチ」は、ペン・デバイス内のエレクトロニクスによって、何れかの適切な機構による「駆動」として認識し得る。例えば、ペン・デバイスを、選択グラフィック・エレメントに向けてそれを下方に移動させることに関連した画像の変化を認識するようプログラムし得る。
【００８８】
別の例では、圧力感応型スイッチを、ペン・デバイスの端部によって、紙に圧力が印加されると圧力スイッチが起動するようにペン・デバイスに備え得る。これによって、オーディオ・メニューをスクロールする旨をペン・デバイスに通知する。例えば、ペン・デバイスによって、丸を付したレター「Ｍ」を選択した後、（又は、丸を付したレター「Ｍ」を選択して、それによってペン・デバイス内の圧力スイッチを起動させた後、）ペン・デバイス内のオーディオ出力装置は、「ツール」のみを復唱し得る。ユーザは、丸を付したレター「M」の2度目の選択を行って、「参考書」というメニュー・アイテムをオーディオ出力装置に復唱させ得る。このことを、所望の回数、繰り返してオーディオ・メニューをスクロールし得る。特定のメニュー・アイテムを選択するために、ユーザは、紙上に特徴的なマークを作成し得るものであり、走査装置によって特定のジェスチャを備え得るものでもある。例えば、ユーザは、「ツール」という語を聴いた後に、丸を付したレター「M」の隣に「チェックマーク」（や他のグラフィック・エレメント）を描いてサブディレクトリ「ツール」を選択し得る。こうしたものなどの方法を用いて、ユ―ザは、メニュー・アイテム・ツリー内を、意図されたディレクトリ、サブディレクトリ又は機能に向けてたどり得る。別のグラフィック・エレメント又は別のジェスチャの作成を用いて、ペン・デバイスを上方にスクロールさせ得る。あるいは、ボタンや他のアクチュエータをペン・デバイス内に備えて、メニューをスクロールし得る。「ツール」は、選択されると、前述の通りにではあるが、そのサブディレクトリ・メニューに関して動作することになる。
【００８９】
他の実施例では、メニュー・グラフィック・エレメント・アイコン（例えば、丸を付したレター「Ｍ」）を作成した後、ユーザは、メニュー・グラフィック・エレメント・アイコンを選択し得る。走査装置内のソフトウェアは、丸を付したレターをメニュー記号として認識し、ユーザによるダウンタッチなしで、「ツール」と、「参考書」と、「ゲーム」と、「システム」とのメニュー・アイテムを順次にかつ、間を空けた時間間隔で走査装置に復唱させる。オーディオ命令は、ユーザに備え得る。例えば、ペン・デバイスは、「「ツール」ディレクトリを選択するために、レター「Ｔ」を記述し、それに丸を付ける」と言うことがあり得る。メニュー・アイテムを選択するために、ユーザは、レター「Ｔ」を作成し、それに丸を付け得る。このことは、サブディレクトリ「ツール」をユーザが選択したということをペン・デバイスに示す。更に、ペン・デバイスは、ユーザに、「ツール」ディレクトリの下にあるメニュー・アイテムを復唱することができる。よって、メニュー・アイテム・ツリーにおける特定のディレクトリ、サブディレクトリ又は機能に、そのディレクトリ、サブディレクトリ又は機能を表すグラフィック・エレメントをシート上に作成し、それと相互作用することによって直接進むことが可能である。あるいは、メニュー・アイテムが表面上に既に存在する場合、ユーザはそれといつでも相互作用してその機能を選択することができる。
【００９０】
なお、図10に表すグラフィック・エレメント・アイコンの、ディクトリ内、サブディレクトリ内、オプション・メニュー等内のアイテムの順序は、ユーザによって変えることができる。例えば、ユーザは、特定のアプリケーションをアクセスし、そのアプリケーションを用いて、1つ又は複数のディレクトリ、サブディレクトリ等のアイテムが可聴的にレンダリングされる順序を変えることができる。同様に、ユーザは、特定のディレクトリ./サブディレクトリ等内の1つ又は複数のアイテムに関連した特定のオーディオ出力を変えることができる、例えば、ユーザは、アイテムの可聴的にレンダリングされる出力によって、アイテムについて自分の声を録音し、予め録音された楽曲（例えば、MP3等）を用いること等を行うことができる。更に、1つ又は複数のディレクトリ、サブディレクトリ等に対して更なるアイテムを、例えば、ペン・デバイスに備えられるソフトウェア及び/又はファームウェアのアップデート（例えば、新たなソフトウェアをベースとした機能のアップロード）によって追加することができる。
【００９１】
なお、グラフィック・エレメント・アイコンの複数のインスタンス（例えば、複数のメニュー・アイコン）の個々の状態は、特定のインスタンス各々と永続的に関連付けることができる。例えば、2つ以上のグラフィック・エレメント・アイコンが、（例えば、ユーザによって作成されるか、予め印刷される等の、）共通の表面上に存在する、連携された状態では、それらの状態又は、オプションのディレクトリ内の特定の位置をアイコン毎に記憶し得る。例えば、第１のメニュー・アイコンが現在、オプション3（例えば、「ゲーム」）上にあり、第２のメニュー・アイコンが現在、オプション1（例えば、「ツール」）上にある場合、ユーザは、分岐し、他のアプリケーション（例えば、電卓、辞書等）を用いた他のタスクを行い、第1のメニュー・アイコン又は第２のメニュー・アイコンに、後の特定時点で戻ることができ、それらは、自らの最新状態（例えば、第１のメニュー・アイコンの場合は「ゲーム」であり、第２のメニュー・アイコンの場合は「ツール」である。）を正しく保持することになる。
【００９２】
同様に、グラフィカル・エレメント・アイコンの複数のインスタンス（例えば、複数のメニュー・アイコン）の個々の状態を複数のインスタンス間で連携させ、特定のインスタンス各々と永続的に関連付けることができる。（例えば、ユーザによって作成されたか、予め印刷された等の、）共通の表面上に2つ以上のグラフィック・エレメント・アイコンが存在する、連携された状態の場合、それらの状態をアイコン毎に記憶することができるが、各インスタンスにオプションが及ぶようにそうした状態を連携させることができる。例えば、第１のメニュー・アイコンが、オプション2（例えば、「システム」）上に現在ある場合、第２のメニュー・アイコンは、オプション3（例えば、「ツール」）上になるようにその状態を連携させることになる。ユーザは、他の介入タスクを行い、後の特定時点で、第１のメニュー・アイコン又は第２のメニュー・アイコンに戻ることができ、それらは、連携された状態（例えば、第１のメニュー・アイコンの場合は「システム」であり、第２のメニュー・アイコンの場合は「ツール」である。）を正しく保持することになる。
【００９３】
図12は、本発明の一実施例による、上にいくつかのグラフィック・エレメント・アイコンを記述させた表面910（例えば、紙）を示す。図12は、グループ・グラフィック・エレメント・アイコン（例えば、メニュー・アイコン「M」と、ゲーム・アイコン「G」）及びアプリケーション・アイコン（例えば、電卓アイコン「C」）との例を示す。グラフィック・エレメント・アイコンは、ユーザが紙910上に記述してもよく、予め印刷してもよい。上記のように、グループ・グラフィック・エレメント・アイコンは一般的に、リスト・オプションを可聴的にレンダリングする。例えば、位置901にペン・デバイス150によって繰り返し軽く触れることによって、図10記載の、メニュー・ディレクトリのオプション（例えば、システム、ゲーム、参考書及びツール）を進む。例えば、メニュー・アイコンに2回軽く触れることによって、ペン・デバイス150に「システム」を可聴的にレンダリングさせ、更に、ゲーム・サブディレクトリの選択を示す、「ゲーム」の可聴的なレンダリングを行わせることになる。ゲーム・サブディレクトリを更に、位置902（例えば、チェックマーク）に触れることによって起動させることができ、起動は、オーディオ音によってユーザに向けて確認することができる。
【００９４】
後に、ペン・デバイス150は、図12に示すゲーム・グラフィック・エレメント・アイコンを、作成する（例えば、描く）ことをユーザに可聴的にプロンプトする。位置903にあるゲーム・アイコンにペン・デバイス150によって繰り返し軽く触れることによって更に、図10記載のように、ゲーム・サブディレクトリのオプション（例えば、ワードスクラブル、青色ポテト及び手書きメモ）にペン・デバイス150に進めさせる。ゲーム・サブディレクトリ・アイテムのうちの選択された１つは更に、位置904（例えば、ゲームに関連したチェックマーク）に軽く触れることによって選択し得るものであり、あるいは、まだその場所にない場合、チェックマークを描くことによっても選択し得る。
【００９５】
なお図12を参照すれば、電卓アイコン「C」を軽く触れることによって、電卓アプリケーションが起動される。このようにして、電卓アイコンは、メニュー・アイテムやサブディレクトリのオプションのリストをレンダリングするものでないが、むしろ、アプリケーション自体、この場合、電卓アプリケーションを直接、起動させる。電卓アプリケーションが呼び出されると、ペン・デバイス150は、（例えば、オーディオ音をレンダリングすることによって）起動を確認し、（例えば、ユーザに、表面上に数字0乃至9と、演算子「±」、「−」、「×」、「/」及び「=」とを描き、更に、数字を選択して数値計算を行うようユーザに命令することによる、）電卓の使用に備えるうえでの一連の動作によってユーザに可聴的にプロンプトする。
【００９６】
重要なことは、上記例では、OCR（光学式文字認識）処理は、ユーザによる初めての記述（例えば、図12に示す「M」）が行われると、一度だけ、マーク、単一の文字（例えば、レター「M」）又はテキスト列（例えば、語）に対して行う必要がある。上記のように、ペン・デバイス150は、表面910上のグラフィック・エレメントの位置が、表面910上にコード化されたデータをペン・デバイス150が読み取ることによって判定することができる。これによって、ペン・デバイス150が、特定の文字、特定の記号、特定のテキスト列等の位置を記憶することが可能になる。ペン・デバイス150はよって、（例えば、ユーザがペン・デバイス150で後の特定時点で特定の語の上に触れる際に）表面上の特定の語の同じ位置を認識することによって特定の語の後の選択を識別することができる。ユーザが語を後に選択すると、先行した行われたOCR処理の結果が呼び出され、こうした結果が、例えば、アクティブなアプリケーション（例えば、辞書）によって用いられる。よって、（例えば、語、文字、数字等に対する）OCR処理の結果を記憶することと、後の時点で1つ又は複数のアプリケーションに用いるよう、これらの結果を後に呼び出すことができることによって、本発明の実施例によって実施されるユーザ・インタフェースの応答性及び性能が大いに向上する。リソース集約性を有するＯＣＲ処理は、ペン・デバイス150のコンピュータ・システム・リソースによって一度のみ行えばよい。
【００９７】
図12は、ペン・デバイス150の「プロンプト・信頼」機能を用いて作成される、ユーザによって記述される語906（例えば、テキスト列）も示す。本発明の実施例によれば、一部の語、テキスト列、マーク、記号や他のグラフィック・エレメントは、OCRを用いて処理されなくてよい。例えば、特定の語、グラフィック・エレメント等をユーザによって、ペン・デバイス150からの可聴プロンプトに応じて作成することができ、ペン・デバイスは、特定の語（例えば、「大統領」）を記述し、（例えば、プロンプトからの）関連付けとともに、記述された語の位置を後に記憶する旨をユーザにプロンプトする。作成された語の後の選択は、上記のように位置によって認識される。例えば、ペン・デバイス150は、「大統領」906という語を記述する旨をユーザに命令することができる。プロンプトに応じて、ユーザは、「大統領」という語を記述し、ペン・デバイス150は、語が後に選択されると、プロンプトに応じてユーザが記述したことは実際に「大統領」という語であったと、みなす、すなわち信頼することになる。アプリケーションに応じて、語に下線を引くこと、語の周りに箱、さもなければ、特定の特徴的なマーク/グラフィック・エレメントを配置させることをユーザはプロンプトされ得る。
【００９８】
プロンプトされた語をユーザが記述し終わると、ペン・デバイス150は、例えば、動作がないこと（例えば、ユーザがもう記述していないこと）をデータ入力終結イベントとして認識することによってユーザが終えているということを認識する。このようにして、「タイムアウト」機構を用いて、データ入力の最後を認識することができる。別の終結イベントとして、上記のように、語に下線が引かれているか、語の周りに箱があるケースがあり得る。終結イベントの更なる例は、内容を全て、本明細書及び特許請求の範囲に援用する、「TERMINATION  EVENTS」と題する、Marggraff他による西暦2005年1月12日付出願の、本発明の譲受人に譲渡された米国特許出願公開（代理人ドケット番号LEAP-P0320）に記載されている。
【００９９】
このようにして、本発明の実施例のプロンプト・信頼機能によって、ユーザとペン・デバイス150との間で相互に分かる意味を有するグラフィック・エレメントの作成が可能になる。重要なことは、大統領という語に対してＯＣＲ処理は何ら行われないということである。「プロンプト・信頼」機能を用いて作成されたグラフィック・エレメントは、他のアプリケーション、オプション、メニュー、機能等に関連付けることができ、それによって、（例えば、軽く触れることによって）プロンプト・信頼グラフィック・エレメントを選択することによって、上記のうちの何れかを引き起こすことができる。何れかのＯＣＲ処理の要件をなくすことによって、ペン・デバイス150に対する計算量上の要求が軽減され、よって、ユーザ・インタフェースの応答性が向上する。
【０１００】
本発明の実施例は、マーキングによってコード化された表面を用いて、ペン・デバイスの位置を判定するという状況で説明したが、本発明の実施例は、コード化された表面を必要としない他の手段を用いて位置を判定するペン・デバイスに用いることが適切である。例えば、一実施例では、ペン・デバイスは、例えば、モーションセンサ、ジャイロスコープ等などの1つ又は複数の位置特定機構が組み入れられ得るものであり、特定の表面（例えば、紙）の正確な位置を高精度で記憶するよう構成され得る。表面の正確な位置は、例えば、表面（例えば、矩形の紙）の、対向する隅部を順次触ることによって記憶することができる。ペン・デバイスは更に、記憶された正確な表面位置を、その位置判定手段の結果と比較することによって表面上の、ユーザによって記述されたグラフィック・エレメントの位置を認識することになる。
【０１０１】
記述可能な表面上にインタアクティブなエレメントを有するユーザ・インタフェースを備える、本発明の種々の実施例をよって説明する。本発明は、特定の実施例において説明したが、本発明は、そうした実施例によって限定されるものとして解されないこととし、むしろ、本特許請求の範囲によって解されることとする。
【図面の簡単な説明】
【０１０２】
【図１】本発明の実施例によるインタアクティブなデバイスを示す図である。
【図２Ａ】本発明の実施例による、紙上の例示的な、選択可能なユーザ記述アイテムを示す図である。
【図２Ｂ】本発明の実施例による、紙上の例示的な、選択可能なユーザ記述アイテムを示す別の図である。
【図３】本発明の一実施例による、マークのパターンを備える例示的な紙を示す図である。
【図４】本発明の一実施例による、例示的な紙上のマークのパターンを示す拡大図である。
【図５】本発明の一実施例による、表面上の、選択可能なユーザ描写アイテムとの相互作用を容易にする処理の工程を示す流れ図である。
【図６】本発明の実施例を実施することができる別のデバイスを示す構成図である。
【図７】本発明の実施例を実施することができる別のデバイスを示す構成図である。
【図８】本発明の一実施例によるデバイス・ユーザ・インタフェース処理の工程を示す流れ図である。
【図９】本発明の一実施例による階層的デバイス・ユーザ・インタフェース処理の工程を示す流れ図である。
【図１０】本発明の実施例によるメニュー・アイテム・ツリー・ディレクトリを示す図である。
【図１１Ａ】本発明の一実施例によるメニュー・アイテム可聴プロンプト処理を示す図である。
【図１１Ｂ】本発明の一実施例によるメニュー・アイテム選択処理を示す図である。
【図１１Ｃ】本発明の一実施例によるサブメニュー・アイテム選択処理を示す図である。
【図１２】本発明の一実施例による、表面上の、複数の各種グラフィカル・アイテム・アイコンを示す図である。
【符号の説明】
【０１０３】
15  紙
17  位置コード
18  マーク
19  17の拡大部分
21  ラスタ・ライン
22  ラスタ点
23  マーク
24  ラスタ点
32  プロセッサ
34  電源
36  オーディオ出力装置
38  入力ボタン
40  表示装置
42  光検出器
44  光エミッタ
48  メモリ装置
52  筆記具エレメント
62  ハウジング
70  表面
74  ハウジング
100  インタアクティブなデバイス
102  ケーブル
112  プロセッサ
114  メモリ装置
116  オーディオ出力装置
118  筆記具エレメント
120  光検出器
122  バス
130  ハウジング
150  デバイス
200  紙
202  レター
204  丸
206  選択可能なユーザ記述アイテム
210  チェックマーク
220  選択可能なユーザ記述アイテム
230  データ
250  デバイス
251  光デバイス
252  プラットフォーム
870  チェックマーク・アイコン
901  位置
902  位置
903  位置
904  位置
906  語
【図１】
2006197596.tif 000003
【図２Ａ】
2006197596.tif 000004
【図２Ｂ】
2006197596.tif 000005
【図３】
2006197596.tif 000006
【図４】
2006197596.tif 000007
【図５】
2006197596.tif 000008
【図６】
2006197596.tif 000009
【図７】
2006197596.tif 000010
【図８】
2006197596.tif 000011
【図９】
2006197596.tif 000012
【図１０】
2006197596.tif 000013
【図１１Ａ】
2006197596.tif 000014
【図１１Ｂ】
2006197596.tif 000015
【図１１Ｃ】
2006197596.tif 000016
【図１２】
2006197596.tif 000017
【外国語明細書】
2006197596.tif 000018
2006197596.tif 000019
2006197596.tif 000020
2006197596.tif 000021
2006197596.tif 000022
2006197596.tif 000023
2006197596.tif 000024
2006197596.tif 000025
2006197596.tif 000026
2006197596.tif 000027
2006197596.tif 000028
2006197596.tif 000029
2006197596.tif 000030
2006197596.tif 000031
2006197596.tif 000032
2006197596.tif 000033
2006197596.tif 000034
2006197596.tif 000035
2006197596.tif 000036
2006197596.tif 000037
2006197596.tif 000038
2006197596.tif 000039
2006197596.tif 000040
2006197596.tif 000041
2006197596.tif 000042
2006197596.tif 000043
2006197596.tif 000044
2006197596.tif 000045
2006197596.tif 000046
2006197596.tif 000047
2006197596.tif 000048
2006197596.tif 000049
2006197596.tif 000050
2006197596.tif 000051
2006197596.tif 000052
2006197596.tif 000053
2006197596.tif 000054
2006197596.tif 000055
2006197596.tif 000056
2006197596.tif 000057
2006197596.tif 000058
2006197596.tif 000059
2006197596.tif 000060
2006197596.tif 000061
2006197596.tif 000062
2006197596.tif 000063
2006197596.tif 000064
2006197596.tif 000065
2006197596.tif 000066
2006197596.tif 000067
2006197596.tif 000068
2006197596.tif 000069
2006197596.tif 000070
2006197596.tif 000071
2006197596.tif 000072
2006197596.tif 000073
2006197596.tif 000074
2006197596.tif 000075
2006197596.tif 000076
2006197596.tif 000077
2006197596.tif 000078
2006197596.tif 000079
2006197596.tif 000080
2006197596.tif 000081
2006197596.tif 000082
2006197596.tif 000083
2006197596.tif 000084
2006197596.tif 000085
2006197596.tif 000086
【図１】
2006197596.tif 000087
【図２Ａ】
2006197596.tif 000088
【図２Ｂ】
2006197596.tif 000089
【図３】
2006197596.tif 000090
【図４】
2006197596.tif 000091
【図５】
2006197596.tif 000092
【図６】
2006197596.tif 000093
【図７】
2006197596.tif 000094
【図８】
2006197596.tif 000095
【図９】
2006197596.tif 000096
【図１０】
2006197596.tif 000097
【図１１Ａ】
2006197596.tif 000098
【図１１Ｂ】
2006197596.tif 000099
【図１１Ｃ】
2006197596.tif 000100
【図１２】
2006197596.tif 000101