(57)【特許請求の範囲】
【請求項１】
少なくとも一つのジャイロセンサを有し、
筆記動作により生じる前記ジャイロセンサの検出結果の変化を表す電気信号を生成するペン装置において、
前記ペン装置による筆記対象物上を走査可能な位置に光学センサを有し、
少なくとも一つの電子情報と対応付けられた画像と、前記筆記対象物上の位置を識別するための位置識別信号とが印刷された前記筆記対象物上における、前記位置識別情報を前記光学センサが読み取った結果と、
前記ジャイロセンサの検出結果の変化を表す電気信号とに基づいて、
前記筆記対象物に行われた筆記内容を表す電気信号を生成することを特徴とするペン装置。
【請求項２】
請求項１に記載のペン装置において、
前記筆記対象物に筆記を行うペン先を有することを特徴とするペン装置。
【請求項３】
請求項１に記載のペン装置において、
生成した筆記内容を、前記電子情報を保存記憶している外部処理装置に送信する送信部を有することを特徴とするペン装置。
【請求項４】
請求項１に記載のペン装置において、
生成した筆記内容を、
前記電子情報を記憶し、前記筆記内容を表す電気信号を受信し、受信した前記筆記情報を解釈し、記憶してある前記電子情報を変更する外部処理装置に送信する送信部を有することを特徴とするペン装置。
【請求項５】
少なくとも一つの電子情報を記憶する情報処理装置と、
前記電子情報と対応付けられた画像が印刷された筆記対象物と、
少なくとも一つのジャイロセンサを有し、筆記動作により生じる、前記ジャイロセンサで検出する物理量の変化を表す電子信号を生成するペン装置と、
からなるシステムであって、
前記筆記対象物には、
前記筆記対象物上の位置を識別するための、位置識別信号が印刷され、
前記ペン装置は、
前記筆記対象物に筆記を行うためのペン先と、
前記筆記対象物に印刷された前記位置識別信号を読み取る光学センサとを有し、
該光学センサの検出結果と前記電子信号に基づいて前記筆記対象物に行われた筆記内容を表す電子信号を生成し、
該筆記内容を表す電子信号を、前記情報処理装置に送信する送信部をさらに有することを特徴とするシステム。
【請求項６】
請求項５記載のシステムにおいて、前記処理装置はペン装置から受信した筆記内容を表す電気信号を解釈し、記憶している前記電子情報を変更することを特徴とするシステム。
【請求項７】
請求項６記載のシステムにおいて、前記処理装置は解釈した結果を任意の表示画面に表示させることを特徴とするシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、同一文書のハードコピーバージョンと電子バージョンとの双方と同時に対話することをユーザに許容することにより行われるハードコピー文書とこれに対応する電子バージョンとの取り扱いの分野に関する。
【０００２】
【従来の技術】
文書を読んだり文書に注釈を付ける等のある種の作業には多くの人がハードコピー文書を好む一方で、電子化文書は、保存、検索、通信等の作業に好ましいと思われる。そこで、両方の方法のユーザフレンドリーな面を最大限に拡張する文書システムを提供することが望まれる。
【０００３】
【発明が解決しようとする課題】
残念ながら、ハードコピー文書と電子化文書との間には大きな技術的障害が存在している。例えば、電子的記号は紙面に容易に変換することができるが、印刷した文書はコンパクトな電子記号へ容易に変換されない。また、それぞれの媒体とのヒューマン・インタフェースも根本的に異なり、紙面（または類似の表面）に書き込むことは子供にとっても自然であるが、電子化文書を作成するには、一般に、アプリケーション・ソフトウェア、キーボード、マウス、ディスプレイ等の使用を必要とする。
【０００４】
そこで、本発明は、
（ａ）小型かつ可搬型であること
（ｂ）ペンを使用するのと同様に自然であること
（ｃ）電子化文書および紙面の両方で機能すること
（ｄ）大型スキャナやデジタル・パッドのような装置が持つ複雑さや不便さを回避可能なこと
というような条件を満たすヒューマン・インタフェース入出力装置としての電子文書操作システム及び電子文書操作方法を提供することを目的とする。
【０００５】
結果的に、ユーザは、紙面文書の作成や取り扱いを容易に行うことができ、一方では、作成され取り扱われた紙面文書に対応する電子符号化画像を同時に作成することができる。これは、紙面に書き込むことができ、同時に書き込み状態を検出することができ、そして、書き込まれたマーキングを解釈しこれを電子符号化文書とすることができるような手持ちのペン様の装置によって達成される。また、画像の検出は、手書き変更を受けさせる文書形式の識別をシステムに許容する。
【０００６】
【課題を解決するための手段】
請求項１記載の発明は、少なくとも一つのジャイロセンサを有し、筆記動作により生じる前記ジャイロセンサの検出結果の変化を表す電気信号を生成するペン装置において、前記ペン装置による筆記対象物上を走査可能な位置に光学センサを有し、少なくとも一つの電子情報と対応付けられた画像と、前記筆記対象物上の位置を識別するための位置識別信号とが印刷された前記筆記対象物上における、前記位置識別情報を前記光学センサが読み取った結果と、前記ジャイロセンサの検出結果の変化を表す電気信号とに基づいて、前記筆記対象物に行われた筆記内容を表す電気信号を生成する。
請求項２記載の発明は、請求項１記載のペン装置において、前記筆記対象物に筆記を行うペン先を有する。
請求項３記載の発明は、請求項１記載のペン装置において、生成した筆記内容を、前記電子情報を保存記憶している外部処理装置に送信する送信部を有する。
請求項４記載の発明は、請求項１に記載のペン装置において、生成した筆記内容を、前記電子情報を記憶し、前記筆記内容を表す電気信号を受信し、受信した前記筆記情報を解釈し、記憶してある前記電子情報を変更する外部処理装置に送信する送信部を有する。
請求項５記載の発明は、少なくとも一つの電子情報を記憶する情報処理装置と、前記電子情報と対応付けられた画像が印刷された筆記対象物と、少なくとも一つのジャイロセンサを有し、筆記動作により生じる、前記ジャイロセンサで検出する物理量の変化を表す電子信号を生成するペン装置と、からなるシステムであって、前記筆記対象物には、前記筆記対象物上の位置を識別するための、位置識別信号が印刷され、前記ペン装置は、前記筆記対象物に筆記を行うためのペン先と、前記筆記対象物に印刷された前記位置識別信号を読み取る光学センサとを有し、該光学センサの検出結果と前記電子信号に基づいて前記筆記対象物に行われた筆記内容を表す電子信号を生成し、該筆記内容を表す電子信号を、前記情報処理装置に送信する送信部をさらに有する。
請求項６記載の発明は、請求項５載のシステムにおいて、前記処理装置はペン装置から受信した筆記内容を表す電気信号を解釈し、記憶している前記電子情報を変更する。
請求項７記載の発明は、請求項６記載のシステムにおいて、前記処理装置は解釈した結果を任意の表示画面に表示させる。
【００２４】
【発明の実施の形態】
Ａ．応用範囲
ペン様の装置やペン装置に基づく対話型文書システムは、以下のようなシステムに限定されるわけではないが、それらのシステムを含む多数の文書システムに応用される。
【００２５】
〈カレンダーブック〉
予定表の物理的なページに入力されたアポイントメントを検出し、解釈し、電子予定表にも同様の内容を記録するようなシステムである。
【００２６】
〈様式処理〉
指定様式の書き込みによって対応する電子様式を作成するシステムであり、必要に応じて紙面を法的根拠又は安全のために保存する。このシステムにより、コンピュータデータ入力における大幅なコスト削減が得られる。
【００２７】
〈署名確認〉
署名を特徴付けている空間的位置、筆圧、時間の経過、方向性というパラメータに関連付けて署名を記憶する。そして、実際の署名時の動作と記憶内容とを参照し、署名の真偽を判別するシステムである。このようなシステムにより、署名認識の信頼性が向上する。特に、記憶内容のパラメータは署名を外部から観察しただけでは判断できないので、署名の偽造が困難となる。
【００２８】
〈双方向ファクシミリ〉
ユーザがウェブファックスに類似の「リンク」を用いて文書を受信できるようにするファクシミリシステムである。このシステムでは、宛先が検出解釈されれば通信リンクが提供される。したがって、発信元のユーザが単に所望する宛先を書き込むだけで、選択したユーザに書面が転送される。また、ユーザは文書に注釈をつけ、ファクシミリスキャナを使用せずにその注釈付きの文書を送信又は保存することができる。
【００２９】
〈文書編集〉
単語に×印をつけたり、他の編集操作のために印刷上の記号表記を使用することによって、紙面文書を編集し、注釈を付け、他の場所へ送信することができるようにしたシステムである。紙面の変更は電子化文書に直ちに影響を及ぼすため、その文書へのアクセス又はその文書の通信が全ての編集又は注釈を反映することになり、これによって電子化文書を真の元文書として用いることができる。
【００３０】
〈情報管理〉
参照文書の記述を走査することにより、複写をすることなく、指定されたファイルに格納されたその文書（又はその参照）を得ることができるようにしたシステムである。
【００３１】
〈文書検索〉
幾つかのキーワードや大まかな説明を書き込むか又は○で囲むかすることにより、又は図形を描くことにより、電子データベースを検索するシステムである。この場合、書込内容が解釈されるとデータ位置が提供される。
【００３２】
〈ノートブック〉
紙面にノートをとるための用途と、紙面にそれまでに書き込まれたノートを電子的に取り込むための用途とを持つペン装置を使用し、順番通りに（あるいは何らかの構成に従い）電子メモリファイルに記載事項を記憶するシステムである。
【００３３】
Ｂ．システムの詳細
Ｂ１．カレンダーブック
Ａ．の項で概略説明したように様々な文書システムが考えられるので、当業者に他の応用例への拡張が容易に理解されるような単一の応用例、ここでは物理的文書としてのカレンダーブックを例に挙げて本発明の詳細を説明する。
【００３４】
ここで、カレンダーブックと称するものは、日、週、月、又は年等の通常の暦時の一部分を表わすページを有する通常のカレンダーに類似している。それぞれの時間部分はさらに必要に応じて細分化され、一年は月と週に、１月は週と日に、日は時間とその小区分に分けられている。そして、デジタル的に符号化された情報が各ページに印刷され、これにより、ペン装置は、そのページの様式とそのページに展開された暦時の区分とを識別する適切なデジタル符号を読み取ることができる。
【００３５】
図１は、１ページ１日の様式を用いるカレンダーブックのページ２０を示す。このバージョンでは、それぞれの日毎に、選択可能な情報オプションを印刷することができる。日付（年月日）とユーザＩＤとを特定するためのバーコードであるバーコード識別子１３のための領域の脇には、ある領域２１が設けられている。この領域２１には、日付（年号は任意）も印刷されている。各欄２２，２２’の長方形部分は、適切なマーク（例えばチェックマーク）を記入することにより、時間を選択し識別するように利用することができる。それらの欄２２、２２’は、同一の意味を有し、半分の幅を使用して分割線２３で分割されるように示され、１５分毎に分けられた２つの記入事項がそれぞれに記入できるように設けられている。例えば、ベーカー氏とのアポイントメントは午前１０時に表示され、チャーリー氏とのアポイントメントは１０時１５分に示されている。換言すると、この例では、１時間が１５分の区画に分割されている。もちろん、その他の増分、例えば１時間３０分や１０分というような時間を指定しても良い。ユーザの選択は、供用しようとする用途と利用できる紙面の寸法（ならびにその詳細）に制限されるのみである。１日の時刻は、決められたカレンダーページの様式に対して書き込まれた記入事項の位置でも示される。ペン装置は、書き込みのためのペン先を備え、コンピュータに伝達して解釈、記憶、グラフィック表示するための光学的データ、位置的データ、及び書き込み筆圧データを得る。
【００３６】
グラフィック表示は、陰極管（ＣＲＴ）ディスプレイを使用して即座にフィードバックを提供することができる。つまり、ここでいうフィードバックというのは、ペン装置の位置的ペン先筆圧データ又はそのデータについての文字認識装置による書き込みメッセージの解釈に基づく書き込みメッセージの単純な再現を意味する。後者の場合、正しく認識されなかった書き込みデータは抹消又は上書きされる。
【００３７】
バーコードは、ペン装置の側面のバーコードスキャナによって読み込まれる。バーコード認識装置は、正規バーコードの検索において一定に走査するか、あるいは、ペン装置がバーコードの読み取りに適した水平位置に向いていることを位置センサが示している場合に動作する。
【００３８】
Ｂ２．動作モード
図２は、特定のカレンダーブックの基本的動作モードを説明するフローチャートである。動作はステップ５００で始まり、一定様式が指定されておりその内容がそのカレンダーブックについての構成情報とともに記憶されていると仮定している。構成データはカレンダーの種類、時間間隔や部分と書き込み空間を定義する時刻レイアウトを含む。また、有効性の検査としてバーコードＩＤを調べるユーザリストを記憶してある。
【００３９】
ステップ５０１では、ペン装置が水平方向に移動し、カレンダーブック操作が領域１３に配置されたバーコードの読み取りで開始されたかをコンピュータが調べる。違う場合、システムは、ペン装置の動きを監視する待機ループに進む。適当な水平方向の動きが検出されると、ペン装置でバーコード領域１３が走査されることによりバーコードＩＤが読み取られるステップ５０２に処理が進む。有効なバーコード信号が発生した場合、ステップ５０３からステップ５０５に進み、それ以外の場合にはステップ５０４へ進んでアクセスが拒否されたことをユーザに通知するための聴覚的、視覚的警報を設定し、システムがステップ５０１に復帰する。バーコードは正規符号のリストと比較することもでき、一致した場合にはカレンダーブックアクセス要求が有効とみなされて処理を５０５に進めることができる。この分岐で、ペン装置のユーザは、バーコードの読み込みを再試行したり、バーコードの読み込みに失敗した原因をシステムに問い合せることができる。
【００４０】
ステップ５０５では、カレンダーブックのページの電子紙面が画面（ＣＲＴ又はＬＣＤ）に表示され、表示にはそのページの先行する全ての入力内容が含まれる。書き込み筆圧信号が閾値を越えたかを調べるテストステップ５０６を通り、処理は別の待機ループに入る。閾値を越えた場合にはペン装置の操作が開始されたことの指標と捉えて処理はステップ５１１へ進み、それまでの待機ループインデックス（ステップ５０７）をクリアする。それ以外の場合には、ループが横断したパス（又は時間）の量をカウントするステップ５０７を含む待機ループへ入る。ステップ５０８では予め設定してある時間を超過したかを調べ、超過していない場合にはステップ５０６に戻る。それ以外の場合、ステップ５０７のループカウントインデックスがステップ５０９でクリアされてステップ５０１に戻る前にステップ５１０で表示が中断される。
【００４１】
ステップ５１２は、ジャイロスコープ速度情報を用いることで書き込みエントリの位置を設定する。バーコードページ識別の位置を調べジャイロスコープ速度情報と組み合わせることにより、筆圧がかけられる位置をステップ５０６で知ることができる。この情報は電子グラフィックディスプレイ上での対応する電子入力を特定するために使用する。
【００４２】
ステップ５１２から、処理はステップ６００に進み、カレンダーブックのページにペン装置で入力したメッセージを解釈する。この処理は図３にさらに詳細に図示してある。ペン装置からの複数センサ出力信号は、電気的形状、好ましくは２進符号化データである。この例では、４種類のデータを使用し処理している。プロセッサステップ６０１でのペン装置圧力処理、プロセッサステップ６０２でのジャイロスコープ復元力、プロセッサステップ６０３でのペン装置で書き込んだメッセージを表わす光学データ、及びプロセッサステップ６０４での印刷済みカレンダーブックのページからのカレンダー及び位置データを識別するための特別なキューを表わす補助データ信号の４種類である。それぞれのプロセッサステップ６０１〜６０４は、関連するデータ供給源から信号の特徴を抽出する。特定の書き込みデータ入力は、例えば印刷済みカレンダーブックのページに由来する時間符号、名前と場所を含む書き込み部分等の多数の独立したメッセージ単位を含むことがある。メッセージ入力シーケンスは、ベクトルプロセッサステップ６０５で各種処理したプロセッサステップ６０１〜６０４でのデータを使用してメッセージ部分に解析される。つまり、ペン先から紙面への筆圧が一定時間に渡り存在していることで、メッセージ部分の書き込みを表わす。圧力間隔の間のギャップは、部分の間のギャップを表わすことができる。ギャップは、単語を書き込んだ後、例えば、「ｔ」の交差を記載したことや、「ｉ」の点（・）を打ったことも表わすことができる。後者の場合、ジャイロスコープデータがペン装置の後退移動とそれに続けて固定位置の点打ち動作又は「ｔ」の横棒の前方掃引に結合したペン装置の加圧を確認できる。時間的に同期した複数センサデータを使用することにより、ペン装置で書き込んだメッセージを使用して独立して解釈可能な動作へと入力メッセージを解析できる。図示しないベクトル解析プロセッサは、プロセッサステップ６０１〜６０４で得られたデータを使用してベクトル解析処理をし（６０５）、解析したベクトルに基づき得られた標本を記憶し（６０６）、記憶された標本、つまり、解析したベクトルを図示しない標本記憶ユニットに予め記憶されている標本毎の組と比較器ステップ６０７で比較することにより識別されるそれぞれの書き込み部分を表わす一組のベクトルを発生する。ステップ６０８では、それぞれの解析した部分が考えられる解析メッセージ部分に対応する一組の候補ベクトルを生成し、これが生起確率の降順に、すなわち正しいメッセージ部分となるように配列されるのが好ましい。
【００４３】
メッセージ選択ステップ６０８からの生起可能な候補メッセージ単位はシーケンスインデックス０＜ｋ＜Ｋ−１によって配列され、Ｋメッセージ部分の発生順序を表わす。ｋ番目のメッセージ単位は、０＜ｌk ＜Ｌk −１であるようなインデックスｌk で表わされる生起候補Ｌk を有し、ｌk はｌk の値の増加で生起確率の減少を表わす。
【００４４】
書き込みメッセージのファクシミリ再構成を表示するための手段をシステムが提供すべきであることから、解析ベクトルプロセッサ６０５の出力はジャイロスコープと筆圧データについて演算を行なって書き込み中のペン先の筆跡を再構成する筆跡再構成ジェネレータ６０９の出力も提供する。デジタル化した筆跡は衝突の解決のため図４の入力点Ｅに渡される。幾つかの用途では、元の書き込みメッセージのファクシミリが好適であり、それ以外の用途では文字パターン認識技術に基づく英数字解釈した表現のバックアップを提供する。
【００４５】
ステップ７００は、図４に図示したように多ステップ処理である。ステップ７０１では、メッセージ単位インデックスｋと生起候補インデックスｌk がクリアされる（ｋ＝０、ｌk ＝０）。ステップ７０２ではｋ番目のメッセージ単位のｌk 候補がメモリから取り出されステップ７０３でペン装置により実際のカレンダーのページへ書き込まれたメッセージに対応する位置で、適切なカレンダーブックのページに重ね合される試行メッセージ単位としてグラフィック表示される。この時点で、カレンダーブックユーザはテストステップ７０４において試行メッセージ単位を検証することができる。ステップ７０４からは３種類の分岐出力が提供される。テストステップ７０４で候補試行メッセージ単位が正しいかどうかが不明な場合、待機ループインデックスステップ７０５と、図２の入力Ｂに戻るかステップ７０４に戻るかすることで処理を中断すべきかを決定するための待機ループインデックスを調べるテストステップ７０６とからなる待機ループに入る。
【００４６】
候補試行メッセージ単位が正しいことを適切なペン装置の動き（例えば正しい場合にはチェックマーク、正しくなければ×印を書く真似をするか又は実際に書き込むなど）でユーザがペン装置により示した場合、処理はステップ７１０に進み、待機ループインデックスをリセットし、さらにステップ７１１でインデックスｋをインクリメントし、ｌk を０に設定する。ステップ７１２で全てのメッセージ単位が表示されたかを調べるテストを行ない、表示されていない場合にはステップ７０２に戻る。
【００４７】
テストステップ７０４で候補試行メッセージ単位が正しくないことをユーザが示した場合、処理はステップ７０７に進み、待機ループインデックスをクリアしてさらにステップ７０８に進み生起候補インデックスｌk をインクリメントする。ステップ７０９では、ｌk を調べて全ての候補が終了したかを決定し、違う場合には処理はステップ７０２に戻る。全ての候補が終了した場合、処理は図２の入力Ｂを経由して始めに戻る。
【００４８】
全てのメッセージ単位がステップ７１２で分類されると（画面上のグラフィックメッセージが正しいことを前提として）、処理は２つのイベントが同じ時刻にスケジュールに組み込まれているため何らかの衝突が存在するかを調べる。衝突が存在していない場合、ステップ７１４でカレンダーブック入力を記憶し処理は図２の入力Ｂに進む。衝突が存在する場合、衝突警報を画面表示に提供するか何らかの他の手段例えば聴覚的アラーム（ステップ７１５）を提供し、待機ループでユーザに応答する時間を与える（ステップ７１７、７１８）。時間内に応答がない場合、処理は図２の入力Ｂに戻って中断する。新規メッセージを入力しないことをユーザが示す場合には、ステップ７１６が図２の入力Ｂに戻り処理を中断する。ステップ７１６で新規エントリを入力するとユーザが示した場合には、ステップ７１９でそれまでのメッセージを消去するかを問い合せしてから新規エントリを入力する。ペン装置からの適当な信号によりそれまでのメッセージを上書きするとユーザが示した場合には、処理はステップ７２０に進み、それ以外は書き込みメッセージの両方の態様がステップ７２１で保持される。
【００４９】
図４のステップ７００は、ステップ７０４の手書き文字認識装置からの正しく識別された候補を選択するように設計されている。しかし、変形例として、図３の処理ステップ６０１〜６０４の処理済みデータ出力を任意の書き込みシミュレーションステップ６０９に送信し、処理済みセンサデータを使用して手書き認識処理ステップを使用することなくユーザの書き込みメッセージの複製を生成し、文書への手書きメッセージの複製として表示するステップを設けても良い。また、両方の態様の書き込みメッセージ（メッセージのＡＳＣＩＩ符号化した解釈ともとのメッセージの複製）を将来の参照のために保持しておき、カレンダーブックディスプレイ上に選択的に表示することもできる。このオプションを提供することにより、手書き認識処理は１００％正確である必要がなくなる。
【００５０】
この方法において、電子的に記憶したバージョンのカレンダーブックは、紙面と筆跡が極めて一致している本物の元文書として用いることができる。紙面が多数の変更で管理できなくなった時は、何もエントリがない新規ページ又は全ての最新エントリを有する新規ページであるそのページの新規印刷出力を入手することができる。
【００５１】
元文書が電子的態様で存在しているので、電子的エージェントがこの情報を用いて例えばユーザにアポイントメントを思い出させ、別のエージェントとスケジュールのグループ分けを実行し、一連のスケジュールを検討し、任意のアポイントメントに関する支援情報を提供することにより、ユーザを補助することができる。
【００５２】
Ｂ３．カレンダーブックシステム
図５に図示したカレンダーブックシステムは、次の４種類の主要ハードウェア要素を含む。
【００５３】
（１）前述したようなカレンダーブックのページ１０又は２０
（２）ユーザにデータ入力手段（印刷したデジタルと手書きの両方の）を提供する手動装置・筆記装置としてのペン装置９１
（３）ペン装置９１から受信したデータを電子的に処理記憶し、信号調整ユニット９６と任意のグラフィック画面ディスプレイ９５とを含む親機処理ユニットとしての親機９２
（４）ペン装置９１と親機９２との間の通信チャンネル９３
Ｂ３．１  ペン装置９１
ペン装置９１は、「通常の」ペン、すなわち筆記装置として構成され、図６に図示するように、カレンダーブックのページ１０に書き込むために便利に保持し使用できるようにしてある。インク（又はその他の書き込み媒体）を接触により紙面に提供するためのペン先を提供することに加えて、ペン装置９１は電池電源２５０と、ユーザが書き込んだデータ又は印刷済みのデジタル情報をカレンダーブックのページから解釈するための情報を提供する変換器とを含み、変換器は以下を含む。
【００５４】
位置センサ２１０：回転部材が部材に力が加えられ部材が加速されない限り固定された回転軸の周囲を回転し続けるようなジャイロスコープ（ジャイロ）で慣性基準系が構成される。ジャイロ方向変換器（フリージャイロ）は、自由度２度でペン装置９１の３つの方向、ピッチ、ヨー、ロール（又はｘ、ｙ、ｚ軸）のうちのそれぞれ２つについて出力を提供するために使用する。速度ジャイロは方向速度変換器で角速度（方向変化の時間率）に比例した出力信号を提供する。カレンダーブックのページの平面を表わす２軸の変化速度は、ペン装置９１の使用に関連する動きと相対的位置を解釈するために使用する。加速度計は加速度信号の２重積分により位置センサでも使用する。
【００５５】
ペン装置９１に赤外線（ＩＲ）検出器を装備した場合、所定位置に配置してある２つ又はそれ以上の外部ＩＲ放射走査供給源を使用して、それぞれのＩＲ走査供給源がペン装置９１を照明する角度を測定する三角法技術によりペン装置９１の位置を追跡することができる。これ以外にも赤外線送信機をペン装置９１に装備し所定位置に配置した２つ又はそれ以上の外部走査受信機を用いて三角法でペン装置９１の位置を追跡するために用いることもできる。図７は、それぞれ５０１、５１１、５２１と表記してある３つの外部位置を用いるＩＲ追跡システムの配置を示す。それぞれの位置は、位置５０１、５１１、５２１にそれぞれ関連した指向性走査ビーム（受信又は送信）５０２、５１２、５２２を有する。５３０で表わしてある斜線の領域はビームの交差を表わし予測されるペン装置９１の位置に対応する。
【００５６】
圧力センサ１００：ペン装置９１のペン先の軸に接続してある歪みゲージ（又はピエゾ電気又は復元力変換器）を使用して、ペン軸が接続されたペン装置９１の内壁に取り付けてある可撓性ダイアフラムに取り付けられダイアフラム１１２の中心を直角に通過する４対の直交する歪みゲージにかかる力を測定することによりペン先へ印加される力を記録する。図８は、圧力センサをペン装置９１に取り付ける方法を示す。このような構造の動作は、クレインら（Crane et al.）の米国特許第２９７６５号に説明されている。
【００５７】
図８は、インクタンクを含むペン軸１１４の下端にペン先としてのボールペン先１１６を内蔵するペン装置９１の円筒状の下端部１１０を示す。円筒状の下端部１１０の内壁に取り付けてある非伝導性可撓性ダイアフラム１１２で支持された軸は、ボールペン先１１６に力がかかった時にダイアフラム１１２を変形させる。その結果、ダイアフラム１１２に固定してある歪みゲージ１２１〜１２８がペン先１１６にかかる力に応じてダイアフラム１１２の変形に従い曲げられ（又は圧縮され）る。このようにして、ペン先１１６にかかる力が歪みゲージ１２１〜１２８の抵抗変化に変換される。
【００５８】
歪みゲージは対にしてダイアフラム１１２の対向する側面に取り付けられているので、それぞれの対（１２１、１２２）、（１２３、１２４）、（１２５、１６）、（１２７、１２８）には上下の歪みゲージに対向する力（張力対圧縮力）がかかるようになる。ｘ−ｙ面（カレンダーブックのページの紙面）でペン先１１６に力がかかる場合、対角線方向に対向する対に対向する張力と圧縮力がかかる。しかしｘ−ｙ平面に対して直角に力がかかる場合、全ての対が同様の歪みを受ける。このような特性によって、ＸとＹをｘ−ｙ平面またＺをｘ−ｙ平面に直角とする３つの直交成分（Ｘ，Ｙ，Ｚ）にペン先の力の分離が可能となる。つまり、図９に図示してあるように歪みゲージ１２１〜１２８を接続して歪みゲージ接続を図１０に図示する複数ブリッジ回路に印加することにより、ペン先圧力がそれぞれＸ，Ｙ，Ｚ成分として出力端子１５２、１７４、１６０で分解される。
【００５９】
図１０の歪みゲージブリッジ回路は対雑音性を大きくするためペン装置ユニット内部に取り付けるのが好ましい。
【００６０】
図８では、ペン軸１１４がｚ´軸に平行でｘ´−ｙ´平面に直角に図示してあるが、カレンダーブックのページの書き込み表面（ｘ−ｙ面）は、「自然に」保持したペン装置がペン軸１１４とカレンダーブックのページ表面の間に９０度以下の内角を形成するため、一般にｚ´軸に直角にはならない。共通の原点（ペン先）を共有する２つの座標系（ｘ，ｙ，ｚ）と（ｘ´，ｙ´，ｚ´）の変換は以下のベクトル比例式にしたがって簡単に実現できる。
【００６１】
【数１】
0003691912.tif 000002
【００６２】
ここで、［λn 、μn 、γn ］は１≦ｎ≦３で（ｘ，ｙ，ｚ）単位ベクトルの（ｘ´，ｙ´，ｚ´）単位ベクトルに対する方向コサインベクトルを表わす（例えば、「科学技術のための数学ハンドブック」、コーン＆コーン著、マグロウヒルブック社、１９６１年、３．１節〜３．１２節「直交デカルト座標系の変換と回転」を参照のこと）。
【００６３】
カレンダーブックのページ（ｘ−ｙ面）に対するペン軸１１４の角度方向と力の（ｘ´，ｙ´，ｚ´）成分を知ることで、（ｘ，ｙ，ｚ）系での水平と垂直の力が容易に得られる。また、慣性系（ジャイロ）に対するペン装置９１座標の回転も上記変換の使用で対応することができる。
【００６４】
ペン軸１１４の角度回転はペン装置９１が任意のユーザにより使用されるたびに同じになる。これによってシステムは、任意のユーザがページにそれぞれ垂直方向の力を加え、横方向に線を引き、長手方向に線を引く場合のそれぞれで、方向コサイン値の正しい値又は等価に回転方向の正しい値を、垂直方向の力（ｚ）、横方向に垂直方向を加えた力（ｘ、ｚ）、及び長手方向と垂直方向の合力（ｙ、ｚ）のサンプルを取り出すことにより、「学習」することができる。
【００６５】
ペン先応力の座標変換はベクトルの情報内容が直線座標変換で変化しないことから重要ではない。しかし、力の正規化を行なってペン装置がどのように保持されたかとは関係しないようにするためには有用であろう。もっとも、非正規化応力はどのようにペン装置を保持し使用したかに関係するパラメータが付加されることで署名の検証に有用である。
【００６６】
圧力センサ情報はカレンダーブックのページへの手書き入力を行なう時の認識のためと容易にメッセージ認識をするためエントリーをメッセージ単位に解析するために有用である。また署名の検証にも有用である。
【００６７】
光学センサ２２０，２４０，２６０：電荷結合素子（ＣＣＤ）光学走査変換器はＣＣＤアレイで包含されるカレンダーブックのページの走査部分からの反射光の変化を読み取るために使用する。変換器を使用して識別するカレンダーブックのページのバーコードを走査する。ＣＣＤアレイはペン装置９１の幾つかの異なる領域に配置されている。
【００６８】
（ａ）ペン装置９１の長さに沿って直線的な側面に取り付けたＣＣＤアレイ２２０はページの大きい部分を走査するために有用である。
【００６９】
（ｂ）ペン装置９１ペン先又はペン先の一側面に取り付けたＣＣＤアレイ２６０は予め印刷してあるマークを認識することにより文書の局部的内容とペン装置９１のペン先の正確な位置を識別するために有用である。
【００７０】
（ｃ）ペン装置９１の後方（すなわち「消しゴム」側）端部に取り付けたＣＣＤアレイ２４０は側面に取り付けたアレイより直感的に受け入れ易い。
【００７１】
位置とは関係なく、ＣＣＤセンサはデジタル的に符号化され予め印刷された情報を読み取り少くとも初歩的な光学文字認識（ＯＣＲ）を支持できなければならない。ＣＣＤの特定の選択によって関連する照明条件が設定される。
【００７２】
通信チャンネル９３は、ペン装置９１とペン装置センサの信号処理の大半を行なう親機９２を連結するために必要である。ペン装置９１を親機９２に接続する細いリード線を使用する有線通信リンクを用いることもできるが、赤外線又は無線技術のどちらかを使用する無線接続が好適である。この目的で送信機・受信機ユニット２３０がペン装置９１に内蔵されている。
【００７３】
図１１は、ペン装置９１の電子システムのブロック図で、動きに関連した力、書き込みによるペン先の応力、光学的読み取りのための反射光を含むシステムへの物理的入力を左側に示してある。これらの物理的入力は位置センサ２１０、圧力センサ１００、光学センサ２２０、２４０、２６０にそれぞれ印加される。センサ出力はマルチプレクサ（ＭＵＸ）２７５により図示しない通信インタフェースを備えた送信機２３０の変調器へ多重化される。ＭＵＸ２７５は時分割又は周波数分割マルチプレクサのどちらでも良い。ペン装置９１のシステム全体の制御は制御装置２７０によって提供される。
【００７４】
Ｂ３．２  親機９２
図１２に図示する親機９２は、制御処理ユニット９４と信号処理ユニット９６とから構成されている。信号処理ユニット９６は、ペン装置９１と通信し、センサ信号を受信し、センサ信号を処理してグラフィック画面ディスプレイ９５等のフィードバック装置を駆動する。制御処理ユニット９４は、ＣＰＵ９４０、キーボード９４３、メモリ９４２を含み、グラフィック画面ディスプレイ９５と接続するノートブック型キーボードコンピュータと類似している。さらに、信号調整ユニット９６は、通信リンク９３及びデマルチプレクサ９６２との通信インタフェースである通信チャンネルインタフェース９６１の一部としての送受信機と、インタフェース９６１とアナログ−デジタル変換器からのセンサ信号を予備調整してデジタル化したセンサ関連信号をマルチプレクサ９６７経由でＣＰＵ９４０へ供給して処理するための信号調整電子回路（９６３〜９６６）とを含む。親機９２は、Ｉ／Ｏインタフェース９４４経由で広帯域ネットワーク（ＷＡＮ）とも接続でき、ユーザの文書の電子化文書を取り込み変更することができる。任意の補助プロセッサ９４１（破線で図示してある）を使用して通常ＣＰＵで行なわれるよりも集中的なデジタル信号処理を要求する手書きメッセージ認識アルゴリズムを実行させることができる。
【００７５】
マイクロ電子技術の進歩によって親機の機能の大半をペン装置９１のユニットに組み込むことができるようになる。特に、センサ信号の調整、２進符号化した信号生成、及びバッファリングと一時記憶のためのキャッシュメモリを組み込むことができる。
【００７６】
Ｃ．その他の用途と変形
ペン装置と親機システムを使用するカレンダーブックシステムの上記の説明は手書き入力対話型紙面及び電子化文書取り扱い処理システムの動作を説明するための利便な手段として用いた。
【００７７】
詳細な説明のＡ項に列挙したようなその他の用途のいずれも有することに注意すべきであり、基本的システム設定は同一である。
【００７８】
（ａ）書き込み表面と予め印刷してある情報を有する物理的文書と、
（ｂ）予め印刷してある情報（バーコード）を読み取り、筆圧を検出し、ペン装置の動きを検出し、手書き文字を検出し、及び情報を親機に送信するペン装置と、
（ｃ）ペン装置が生成した情報を受信し、情報を解釈して物理的文書の電子化し記憶してある文書を変更し、解釈した結果をユーザに表示して訂正を受け入れる親機と、
を含む。
【００７９】
したがって、カレンダーブックシステムの説明は一般的に手書き入力対話型紙面及び電子化文書取り扱い処理システムを支持するために充分な媒介物として用いた。特化したアプリケーション・プログラム・パッケージでそれぞれ別個の用途と文書形式について前述したシステムをカスタマイズすることになろう。
【００８０】
ペン装置９１とこれの使用についての前述の説明では文書表面の光学的読み取りとメッセージ書き込みを強調したが、ペン装置９１はこれのジャイロスコープ及び／又は加速度計から文書への物理的書き込みに関連しない非接触動作を表わすための情報も提供できる。システムへの入力のこの態様の例を２つ列挙すると、肯定（正しい）を表わす「チェック」信号と否定（間違い）を表わす「×」信号がある。その他の動作も任意の状況において特殊なメッセージ（例えば、編集において、横方向への揺れる動きがそれまでに書き込まれているメッセージの上で実行された場合には抹消を表わし、書き込まれたメッセージの上ではなくメッセージの下で行なわれた場合には「下線」を表わすことができる等）を表わすように指定することもできる。
【００８１】
色の選択的使用も認証されたそれぞれのユーザのペン装置９１について書き込み開始時にＩＤ符号を生成することにより複数ユーザから識別するために使用することもできる。カラーディスプレイはそれぞれのユーザについて異なる色符号化を用いることでエントリの供給源を容易に識別できよう。
【００８２】
１つ又はそれ以上のボタンを設けてバーコードを読み取ることを表わす等の幾つかの動作を開始することができる。
【００８３】
ペン装置９１は書き込み以外の目的にも使用することができる。例えば、ペン装置９１はポインタとして、又はグラフィックディスプレイ上のスレーブマウス・カーソルを駆動する「マスターマウス」として、又は３次元仮想現実ディスプレイを移動するために使用することができる。ボタンはマウスボタンとして使用できる。
【００８４】
ペン装置９１のさらに別の変形は、三角法技術を使用する位置特定のため複数の（赤外線）送信機の出力を受信するための受信機を有することができる。この変形は黒板への書き込み又はその他の大きな表面への書き込みならびに盤面表示に使用できる。
【００８５】
以上、実施の形態として本発明を説明したが、各種の変更や前述したような変形は、特許請求の範囲に記載されている本発明の広範な趣旨と範囲から逸脱することなく本発明に含まれることが明らかであろう。したがって、明細書及び図面中に記載された実施の形態は、本発明の範囲を制限するものではない。
【００８６】
【発明の効果】
本発明は、上述のように構成したので、ペン装置の動きを再構成し、筆記内容を電子化文書として再現することができる。したがって、
（ａ）小型かつ可搬型であること
（ｂ）ペンを使用するのと同様に自然であること
（ｃ）電子化文書および紙面の両方で機能すること
（ｄ）大型スキャナやデジタル・パッドのような装置が持つ複雑さや不便さを回避可能なこと
というような条件を満たすヒューマン・インタフェース入出力装置としての電子文書操作システムを提供することが可能となる。
【図面の簡単な説明】
【図１】カレンダーブックのページの様式を示す平面図である。
【図２】カレンダーブックシステムの基本的動作の流れを示すフローチャートである。
【図３】ペン装置の入力データを解釈するためのステップ６００のフローチャートである。
【図４】入力選択ステップ７００のフローチャートである。
【図５】カレンダーブックシステムの概略構成を示す模式図である。
【図６】ペン装置の構造を示す斜視図である。
【図７】赤外線ペン装置方位測定システムのジオメトリを示す模式図である。
【図８】ペン装置の歪みゲージトランスデューサの構成を示す斜視図である。
【図９】可撓性ダイアフラムの歪みゲージの相互接続を示す回路図である。
【図１０】歪みゲージトランスデューサデータを処理し、ｘ，ｙ，ｚ軸応力成分を発生するために用いられる３重ブリッジ回路を示す回路図である。
【図１１】ペン装置のブロック図である。
【図１２】親機処理ユニットのブロック図である。
【符号の説明】
１０，２０        物理的文書
１３              バーコード
９１              手動装置，筆記装置
９２              親機処理ユニット
９３              通信チャンネル
９６              通信調整ユニット
１００，２１０    変換器
１１６            ペン先
２３０，９６１    通信インタフェース
９４２            メモリ
【図１】
0003691912.tif 000003
【図２】
0003691912.tif 000004
【図３】
0003691912.tif 000005
【図４】
0003691912.tif 000006
【図５】
0003691912.tif 000007
【図６】
0003691912.tif 000008
【図７】
0003691912.tif 000009
【図８】
0003691912.tif 000010
【図９】
0003691912.tif 000011
【図１０】
0003691912.tif 000012
【図１１】
0003691912.tif 000013
【図１２】
0003691912.tif 000014