(57)【特許請求の範囲】
【請求項１】
メッセージ(651)が符号化された印刷文書(650)を使用するためのシステムであって、
印刷文書(650)の画像の部分を収集する可動の画像センサ(615)であって、前記画像の部分の各々に、（１）前記印刷文書内の絶対位置(119,121)及び（２）メッセージの断片(110,109,101)が符号化され、各断片の部分とそれに対応する絶対位置との間に既知のマッピングが存在する、可動の画像センサ(615)と、
前記画像センサ(615)に接続され、前記画像センサの相対運動(150)を判定するとともに、前記画像から前記メッセージの断片及び絶対位置を抽出する画像分析器(614)であって、前記マッピングに示される前記絶対位置に対応する断片位置に従って前記断片を並べ替えることにより、前記メッセージを抽出する画像分析器(614)と
からなるシステム。
【請求項２】
前記画像分析器(614)は、最後に認識した絶対位置に基づいて連続した画像間の変化を測定することにより前記画像センサ(615)の相対運動(150)を判定し、前記画像センサが前記印刷文書の外まで移動したときでも、前記相対運動を抽出できるように構成される、請求項１に記載のシステム。
【請求項３】
前記印刷文書は、地図(200)、カレンダー(400)、カタログ、顧客リスト、及び索引からなるグループの中から選択される、請求項１に記載のシステム。
【請求項４】
抽出された前記メッセージ、及び、（１）前記画像センサーの相対運動と（２）前記印刷文書内の絶対位置のうちの少なくとも一方に応じて、所定の動作を実行する計算モジュール(610)をさらに含む、請求項１に記載のシステム。
【請求項５】
前記所定の動作は、
情報記憶装置(611,601)から情報を取得する動作と、
前記計算モジュール(610)の内部状態を変更する動作と、
情報を情報記憶装置(611,601)に記憶する動作と、
前記絶対位置、前記相対位置、及び、前記計算装置(610)の内部状態のうちの少なくとも１つを使用する処理命令のシーケンスを含むマクロを取得し、実行する動作と
の中から選択された少なくとも１つの動作である、請求項４に記載のシステム。
【請求項６】
前記所定の動作(708)を実行した結果または副次的作用を表示するための少なくとも１つの出力装置(613,605)をさらに含み、該少なくとも１つの出力装置(613,605)のそれぞれは、プリンタ(605)、視覚表示装置(613)、音声装置、視聴覚装置、及び、マルチメディア装置からなるグループの中から選択された１種類の装置である、請求項４に記載のシステム。
【請求項７】
少なくとも１つの出力装置は視覚表示装置であり、前記画像センサと前記視覚表示装置が１つの物理ユニットに一体化され、それによって表示が前記印刷文書(650)上のウィンドウ(303)のように見える、請求項６に記載のシステム。
【請求項８】
メッセージが符号化された印刷文書を使用するための方法であって、
画像センサ(615)を用いて前記印刷文書(650)から、（１）前記印刷文書内の絶対位置及び（２）前記メッセージの断片が符号化された画像の部分を収集するステップであって、各断片の部分とそれに対応する絶対位置との間に既知のマッピングが存在する、画像の部分を収集するステップ(704)と、
前記画像センサ(615)の相対運動を判定するステップ(702,703,707)と、
前記画像から絶対位置(119,121)及び前記メッセージの断片(110,109)を抽出するステップ(704)と、
前記既知のマッピングに示される前記絶対位置に対応する断片位置に従って前記断片を並べ替えることにより、前記メッセージを再構成するステップと、
前記メッセージ、及び、（１）前記画像センサの相対運動と（２）前記印刷文書内の絶対位置のうちの少なくとも一方に応じて、所定の動作を実行するステップ(708)と
からなる方法。
【請求項９】
前記所定の動作(708)は、
情報記憶装置(611,601)から情報を取得する動作と、
計算モジュール(610)の内部状態を変更する動作と、
前記絶対位置、前記相対位置、及び、前記計算装置(610)の内部状態のうちの少なくとも１つを使用する処理命令のシーケンスを含むマクロを取得し、実行する動作と
の中から選択された少なくとも１つの動作であり、
前記計算モジュールの内部状態の変更は、前記可動の装置(615)と通信するユーザインタフェース(612)を用いて入力することにより指示され、該内部状態の変更により後続の動作(708)の実行に影響を与える、請求項８に記載の方法。
【請求項１０】
前記画像センサ(615)の相対運動を判定するステップ(703)は、最後に認識した絶対位置に基づいて連続した画像間の変化を測定することをさらに含み、前記画像センサが前記印刷文書(650)の外まで移動したときでも前記相対運動を抽出することができる、請求項８に記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は携帯型表示装置に関し、詳しくは符号化された情報が印刷された印刷物を読み取り、詳細な情報を表示する表示装置に関する。
【従来の技術】
計算装置用の表示装置の設計には常に妥協が必要である。表示装置を大きくすると、その装置は実用上高価で大きなものになる。表示装置を小さくすると、一度に表示できる情報が少なくなる。したがって、大きな文書を閲覧する場合であっても、ユーザは一度に小さな部分しか見ることができず、制御部分を操作して、まずある部分を、次に別の部分をというように、目に見える部分を調節しなければならない場合が多々ある。これでもよいが、非効率的である。
【０００２】
印刷文書は、ほとんどのコンピュータ表示装置よりも読みやすい。印刷文書は、コンピュータ表示装置よりも大きくすることができ、また解像度を高くすることができる。また、印刷文書は、素速くめくることができ、例えば、会社のカタログに精通している販売員は、関心のある品物が記載されている場所をきわめて素速く探すことができる。しかしながら、印刷文書は内容が不変であり、情報が古い場合があるという欠点を有する。
【０００３】
印刷物と対話する１つの方法がスウェーデンのＣ  ＴｅｃｈｎｏｌｏｇｉｅｓＡＢの子会社であるＡｎｏｔｏ  ＡＢによって述べられている。この方法は、２ｍｍ×２ｍｍの正方形区画の各々に固有のアドレスが印刷された特別な用紙フォームを印刷する。Ａｎｏｔｏ(R)システムは、印刷されたパターンを認識する内蔵カメラを備えたペンを使用する。ユーザがこのペンでその用紙に書き込むと、ペンがアドレス情報を読み取り、そのアドレスをサーバへ送信する。サーバは、ペンが記録した動きを、固定アドレス空間の中から識別部分を賃借／購入しているエンティティへ転送する。例えば、Ｆｉｌｏｆａｘ  Ｇｒｏｕｐ  Ｌｉｍｉｔｅｄが固定アドレス空間のうちの一部を電子メール用に購入しているものと仮定する。この場合、ユーザはＦｉｌｏｆａｘ(R)から電子メール用紙を購入することができる。ユーザがこの電子メール用紙に書き込み、「送信」ボックスをチェックすると、ペンはその記録した動き（ペンが通過したページ上のアドレスのリスト）をＡｎｏｔｏ（R)サーバへ送信する。サーバはそのアドレスを調べ、それらのアドレスがＦｉｌｏｆａｘに賃貸されてることを認識し、その記録された動きをその会社（Ｆｉｌｏｆａｘ）のサーバへ転送する。そしてＦｉｌｏｆａｘのサーバがペンの動きを電子メールなどの電子メッセージに変換し、それを電子メールでユーザへ送信する。
【０００４】
Ａｎｏｔｏ(R)システムの欠点は、符号化されたアドレスが固定の大きさであることである。印刷されたページのうちの１つのページ上の各位置は、６０００万ｋｍ2の格子内の絶対位置に対応する。これは、印刷された形態についてはうまくゆくが（数千もの同じように印刷された文書に対して、固定アドレスのうちの小部分を繰り返し使用することができる）、ユーザが印刷した文書については可能でない。さらに、Ａｎｏｔｏ(R)システムのパターンは、アドレス全体を２ｍｍ×２ｍｍの正方形に入れるため、約１０００ｄｐｉの高解像度プリンタで印刷しなければならない。また、このシステムは、入力装置としてペンと印刷された紙との組み合せだけしか使用しないので、彼らのとった方法では、ペンが紙を認識している間に位置情報を提供することしかできない。したがって、このシステムは、最新情報をユーザに表示する手段を提供するものではなく、またペンがページの縁から外れると機能しなくなる。
【０００５】
印刷文書を識別したりアドレス即ちＵＲＩ（Uniform Resource Identifier）を指定したりする印刷媒体上のアドレスを符号化するため、現在いくつかの手段を利用することが可能である。例えば、文書上にバーコードその他の識別マークを印刷する場合がある。その後、そのバーコードを読み取って文書を呼び出し、ポインティング・デバイス（マウスなど）を用いてその文書を調べることができる。
【０００６】
また、入力装置として印刷されたバーコードを使用することもできる。例えば店内において、店員は、品物番号を手動で入力するのではなく、印刷されたバーコードを走査する場合がある。大量の情報を印刷されるマーク内に符号化し、その後その情報を走査によって抽出する場合がある。そのような例には、Ｘｅｒｏｘ社によって開発されたｄａｔａｇｌｙｐｈやＤｉｇｉｍａｒｋによって開発されたデジタル透かしシステムが含まれる。
【０００７】
【発明が解決しようとする課題】
印刷文書と対話するための多数の装置および方法が存在するが、大きなキーボード及び大きな表示装置の両方をごく自然な形で印刷文書に置き換えることを可能にする装置及び方法が必要とされている。
【０００８】
【課題を解決するための手段】
コンピュータ表示装置の利点（最新情報への迅速なアクセスを提供する）と紙の文書の利点（広い表示領域及び高解像度の表示領域を提供する）とを組み合せることが望まれている。また、印刷文書を用いて大量の比較的静的な情報を提供する一方、計算装置を用いて比較的少量の最新情報を提供することが望ましい。
【０００９】
さらに、この印刷文書を用いて計算装置の入力手段を補い、印刷文書と小型装置との組合せが大きな表示装置及び大きなキーボードの両方の代替として機能するようにすることが望ましい。
【００１０】
本発明の実施形態は、特別に印刷された用紙を用いて、計算装置を十分に利用するのに通常必要とされる大きな表示装置及びユーザインタフェースを補い、あるいはそれらを置き換える。一実施形態は、単一のセンサしか必要とせず、広範囲の動作をサポートした方法を提供する。小型の計算装置と印刷されたページとの組合せが、大きな表示装置及びキーボードを備えたフルサイズのコンピュータに匹敵し得ることを示す。
【００１１】
本発明の実施形態は、符号化されたメッセージをその複数のコピーがページ全体に分散されるように設け、そのメッセージが任意の大きなサイズを有するように設けることにより、従来技術の欠点を克服する。この方法において、メッセージは、印刷された新しい文書ごとに固有なものにし、完全なウェブ・アドレスおよび／またはセキュリティ機能を含むことができる。メッセージは複数の位置に現われるので、文書の一部分を失った場合でもメッセージ全体を得ることができる。メッセージ及び絶対位置が両方とも同じ方法で符号化されるので、それらを単一の画像センサで読み取ることができ、また用紙上のセンサの１回の動作で読み取ることができる。
【００１２】
さらに、このセンサは装置の相対運動の検出にも使用することができる。センサが移動するのに従って、センサはその下にある面の画像を用いて相対運動を検出することができる。この測定された相対運動とページ上に符号化された絶対位置情報とを比較することにより、装置のモーションセンサをそのページに対して較正することができるため、その後モーションセンサが紙の縁を超えてスライドしたときでも、相対位置情報を提供し続けることができる。このように、ユーザは実際の紙の文書の境界を越えて操作することができる。
【００１３】
例示的実施形態において、携帯型装置と特別に印刷されたページとの組合せは、陸路の旅行計画を立てるのに使用される。この場合、印刷されたページは人間のユーザには地図に見えるが、符号化された位置情報と、そのページが地図であること及びその位置データを解釈する方法を携帯型走査装置に指示するメッセージとが含まれる。この携帯型装置は、透明でも不透明でもよいグラフィック表示装置を含み、裏面に画像センサを有する。この画像センサは、符号化された情報の読み取りに使用されるとともに、装置の相対運動を検出するのにも使用される。ユーザが地図上でＰＤＡ（携帯情報端末や他の携帯型装置）をスライドさせると、ＰＤＡは前記メッセージを抽出し、ＰＤＡの下にある領域に関連した都市／名所の詳細を表示し始める。旅行計画を立てる場合、ユーザは、ＰＤＡを興味のある名所の上に移動させ、それぞれの名所が表示装置の中にあるときに「選択」ボタンを押す。このように、印刷されたページと携帯型装置の組合せを用いると、大量の情報がきわめて自然な方法で素速く入力される。終了したら、ＰＤＡを地図上の「ルートを計画する」と印刷された部分へスライドさせる。すると、ＰＤＡがルートの計画を立ててそれを表示する。このときユーザが望むならば、ＰＤＡを地図上へスライドさせて戻すことにより、画面上でそのルートを上に重ねたまま下の地図を見ることができる。このように、印刷されたページと携帯型装置との組合せは、巨大な表示装置の代替としても機能する。そしてユーザは、携帯型装置を何らかの適当な平面上へ単にスライドさせるだけで、その携帯型装置を下にある印刷された地図から外しても画面上の地図を操作することができる。
【００１４】
本発明の例示的実施形態を図面に示し、図面中で類似の符号は類似の要素を指すものとする。
【００１５】
【発明の実施の形態】
本出願の多数の革新的な教示について、特に現在好ましい例示的な実施形態を参照して説明する。しかしながら、この種の実施形態が、本明細書における革新的な教示の多くの有利な用途のうちのわずかな例を提供しているに過ぎないことを理解されたい。概して本出願の明細書で行う説明は、特許請求の範囲に記載した様々な発明のいずれかを必ずしも画定するものではない。さらに、説明の中には、創意に富む特徴に当てはまるものもあるし、当てはまらないものもある。
【００１６】
本発明の例示的実施形態において、システムは、符号化された情報を保持する印刷されたページと、前記符号化された情報を読み取ると共に相対運動を検出することが可能な携帯型走査装置と、前記符号化された情報および測定された運動に応じて何らかの動作を実行することが可能な計算装置（記憶装置にアクセスできる）と、ユーザとさらに対話を行なうための表示・ユーザインタフェース構成要素とを含む。
【００１７】
印刷されたページ上に符号化された情報には、デジタルメッセージと絶対位置情報とが含まれる。これらは、ドットの集合をページ上に印刷することにより符号化することができる。本発明の態様の中には、このドットは肉眼で見ることができないものもある。メッセージ及び絶対位置を符号化するための１つの方法は、正確な位置からほんのわずかにずらしてドットを印刷することである。情報を符号化する方法は、ドットをその正確な位置からずらす量と方向である。ドットを印刷する代替の方法は、ブランク・スポットが情報がないことを意味し、情報がある場所にはスポットが配置されるように、２進法のようにドット及び既知のスペースを印刷することである。
【００１８】
ページ上にドットを印刷する別の方法は、人間の目には見えないがカメラには見えるインクでメッセージの実際の文字と位置とを単に印刷することである。その後、通常の光学文字認識技術（ＯＣＲ）を用いて、カメラでそれらの文字を読み取る。この方法には、近赤外線で目に見えるインクを使用することができる。様々な方法を用いてメッセージ及び位置をページ上に符号化し、機械で読み取り可能にする方法は、当業者には明らかであろう。
【００１９】
次に、図面を参照すると、図１には符号化されたメッセージの表現を含むページが示されている。この例示的実施形態において、印刷文書に対応するメッセージは、「ＡＢＣ」である。メッセージの断片（例えば「Ａ」、「Ｂ」および「Ｃ」）は、ページ上の様々な偽似ランダム位置に符号化されている。例えば、メッセージの「Ａ」部分は、ポイント１０１および１０３に符号化されている。メッセージの「Ｂ」部分は、ポイント１０５、１０７および１０９に位置している。メッセージの「Ｃ」部分は、ポイント１１０、１１３、１１５および１１７に位置している。また、印刷されたページ上には絶対位置情報も符号化されている。再び図１を参照すると、例えば、左上角部分は１１９において「０，０」で符号化され、中心部分は１２１において「１，１」で符号化されている。
【００２０】
この例示的実施形態における絶対位置とメッセージ断片との間の固定マッピングを表１に示す。
【００２１】
【表１】
0004347578.tif 000002
【００２２】
一実施形態において、印刷されたページの帯状区画（ｓｗａｔｈ）を読み取る可搬型装置（携帯型装置の場合もある）によって、印刷されたページを走査する。図１を再び参照すると、スワスが破線１５０で示されている。この例示的実施形態において、カメラやスキャナは破線１５０で示された経路に沿ってページ上で移動される。この移動の間、読み取られたメッセージ断片及び絶対位置は、（０，０）、（１，１）、そして（１，０）となる。メッセージ断片はＣＢＡの順序で読み取られるが、各断片が絶対位置にマッピングされており、装置がその絶対位置を読み取って上記表１のような表を用いてそれを復号するため、断片はＡＢＣとして復号される。
【００２３】
ページ全体を走査する場合、走査装置はすべてのメッセージ情報を自由に得ることになる。ページの一部分が失われた場合や破損した場合であっても、そのメッセージは、ページ中に存在するメッセージ断片Ａ、Ｂ、およびＣ、１０１、１０３、１０５、１０７、１０９、１１０、１１３、１１５および１１７の冗長性により、まだ回復可能であることが多い。メッセージ断片が印刷されるページ上に現れる頻度及び解像度を判定するために様々な方式を使用することができることは、当業者には明らかである。プリンタ及びスキャナの解像度、人間目の視認性、携帯型装置がメッセージ全体を取得するための運動の範囲などに関して様々なトレードオフが存在する。当業者は、所望の用途について必要な要件を判定し、それにしたがってトレードオフを調節するであろう。
【００２４】
例示的実施形態において、携帯型装置は符号化された情報の読み取りと携帯型装置の相対運動の判定との両方が可能な撮像装置を含む。これを実施する１つの方法は、小さなデジタルカメラとレンズとを使用し、カメラの焦点を装置が乗っている面上の小さなスポットに合わせるようにすることである。このカメラは、標準のコンピュータ・ビジョン技術を使用して画像に印刷されたドットを認識し、それらのドットの測定された位置から情報を抽出することにより、符号化された情報を検出することができる。カメラは、スキャナがたまたま乗っている面の画像を取得し、次に標準のコンピュータ・ビジョン技術を使用し、時間の経過による画像間の変化を分析してその面の表面における相対的な直線（平行）移動と回転とを判定することにより、装置の相対運動を検出することができる（これは、現行の光学マウスの動作法と類似している）。
【００２５】
この装置は、印刷されたページ上をスライドするとき、測定された装置の相対運動と観測された絶対位置とを比較することにより、その測定された運動を較正することができる。その後、この装置は測定された装置の運動と共にこれらの較正パラメタを用いて相対位置を計算することができる。例えば、１０ｃｍの水平方向の運動が印刷された絶対位置の５単位分に対応するものとこの装置が認識している場合、この装置を右へ３０ｃｍ移動させると、この装置は開始地点から右へ１５単位の相対運動であることを計算する。この装置は、用紙上から開始（最初の絶対位置の取得および装置自体の較正を）する限り、印刷されたページの境界を大きく超えても関連情報を提供し続けることができる。撮像装置と画像を分析する計算部分とは別個のモジュール内にあってもよく、あるいは単一の独立型モジュール内で実施してもよい。そのようなシステムの実施形態は、当業者には明らかである。
【００２６】
例示的実施形態において、携帯型装置は表示装置を含む。この表示装置は、既存の液晶ディスプレイ（ＬＣＤ）技術によって実施することができる。この技術により、表示装置は、透明（この場合、表示される情報は表示装置の下にある面に重ね合わせたように見える）にも、不透明（この場合、標準のノートブック型コンピュータの表示装置のように見える）にもすることができる。当業者であれば、そのような用途に適した代替の表示技術が多数存在し、その選択は複数の設計トレードオフによって決まることが分かるはずである。また、情報をユーザに提供する代替の方法があることも明らかなはずである。例えば、携帯型装置はプリンタを含む場合がある。一実施形態において、このプリンタは携帯型装置から物理的に分離された標準のオフィス・プリンタである。他の実施形態として、このプリンタは携帯型装置内に配置された独立のモジュールの場合もある。代替の実施形態において、このプリンタは、携帯型装置の下にある面に直接印刷することができ、符号化された位置情報を取得しているのと同一のページ上に情報を印刷することができる。その場合、携帯型装置はユーザの手の動きに完全に依存し、可動部品が不要になる場合がある（インク滴を除く）。また、携帯型装置は、音声再生モジュールやビデオ再生モジュールを含む場合もある。
【００２７】
例示的実施形態において、携帯型装置はユーザインタフェースを含む。このユーザインタフェースは、押しボタン、ダイヤル、またはスライダにより実施することができる。携帯型装置に含めるべき制御手段の数と種類の決定にはトレードオフが存在する。当業者であれば、携帯型装置が意図する特定の用途に基づいてそのような選択をすることが可能であろう。
【００２８】
例示的実施形態において、携帯型装置はコンピュータも含む。このコンピュータは、スキャナにより検出されたメッセージを認識し、符号化されたメッセージ、検出された位置情報（絶対位置と相対位置との両方）、ユーザインタフェースの状態（ユーザが何らかのボタンを押しているときの）、および、前に記憶されたユーザインタフェースの状態に応じて、あらかじめプログラムされた動作を実行する。例えば、この携帯型装置と特別に印刷されたページとの組合せを用いて陸路の旅行を計画するとする。この場合、印刷されたページは、人間のユーザには地図として見えるが、あるメッセージと符号化された位置情報とを含む。ユーザがＰＤＡを地図上でスライドさせると、その符号化されたメッセージが抽出され、コンピュータはそのページが特定の地図を表していることを認識する。次いでコンピュータは、絶対位置情報と相対位置情報とを組み合わせ、携帯型装置の下にある印刷されたページの領域に関連する都市／名所のリストを内部データベースから取り出すことができる。そしてそれらの都市／名所をユーザに表示する。旅行を計画するためには、ユーザが携帯型装置を興味のある名所の上に移動させ、それぞれの名所が表示装置内にあるときに「選択」ボタンを押す。これを行うたびにコンピュータは現在表示されている都市／名所の情報及びその位置を記憶する。このように、印刷されたページと携帯型装置との組合せを用いると、大量の情報をきわめて自然な方法で迅速に入力することができる。これが終了したら、ユーザは、携帯型装置を「ルートを計画する」と印刷された地図の部分にスライドさせる。するとコンピュータがそのメッセージと絶対位置との組合せを認識し、記憶されたすべての場所を通るルートの計画を立てる。そしてコンピュータはそのルートをユーザに表示する。コンピュータは、携帯型装置が移動されるたびに新しい位置を判定し、装置の下にある地図の部分に対応するルートの部分を描画する。ユーザが望む場合、携帯型装置を地図上にスライドさせて戻すことにより、画面上でそのルートを上に重ねたまま下の地図を見ることができる。そして、ユーザは何らかの適当な平面上で携帯型装置をスライドさせるだけで、画面上の地図を引き続き操作することができる。この場合、コンピュータは使用可能な絶対位置が存在しないことを認識し、相対位置情報と最後に認識した絶対位置とを使用する。また、ユーザは、表示装置をズームインまたはズームアウトさせて、コンピュータが生成した表示の倍率を変更するとともに、携帯型装置の移動と表示装置内のアイテムの移動との関係を変更するオプションも有する。当業者であれば、この関係は画面表示が仮想文書上のウィンドウであるかのようにユーザに見えるように計算されるものであり、コンピュータのズーム制御が仮想文書を拡大または縮小する効果を持つことは明らかであろう。
【００２９】
一実施形態において、メッセージにはセキュリティ情報や認証情報を含めることができる。メッセージ内にセキュリティ情報が符号化された文書を走査する場合、使用しているアクセス装置によっては、ユーザはパスワードの入力を要求されたり、ユーザの識別（ＩＤ）が確認される場合がある。例えば、ユーザは既にログオンして自分を識別させていることが必要な場合がある。
【００３０】
代替の実施形態において、販売の目的でメッセージ内に追加の情報を符号化することができる。例えば企業が各顧客に文書を送付する場合、印刷物の各々に顧客のＩＤ番号を埋め込むことができる。その後、それらの文書のうちの１つに対してインターネットへのアクセス権を有する装置を使用すると、その装置（ユーザ権限を有する）は特定の顧客の印刷物が特定の装置によってアクセスされていることをその企業へ通知する。これにより、例えば、企業は何人の異なる人がそれぞれの特定の印刷物を使用しているかを追跡することができる。
【００３１】
他の実施形態において、メッセージは処理命令の埋め込みシーケンスすなわちマクロを含む場合がある。このマクロは、絶対位置情報及び相対位置情報のうちの一方または両方の情報を引数として使用する。マクロが走査され抽出されると、計算装置によってその処理命令が解釈され、すなわち実行される。マクロを用いた代替の実施形態において、このマクロは、少なくとも１つの記憶装置のデータを取得または変更するための命令を含み、取得した情報をマクロの実行に利用する。例えば、本システムは、ユーザインタフェースの状態を記憶したり、記憶装置上のデータベースから表示用の情報を検索したりすることができる。
【００３２】
他の実施形態において、ある装置を用いて印刷されたページ上の絶対位置に関連するさらに詳細な情報を検索または表示する場合がある。ここで図２を参照すると、ある市場について販売地域２００が図示されている。４つの配送センターまたは営業所が、符号２０１、２０３、２０５および２０７で図示されている。販売員が、訪問販売の際に、各センターの全在庫リストの印刷したものではなくこの印刷ページを持っていると想定する。追加の情報が必要になった場合、本発明の一実施形態を用いて現場でその情報を生成することができる。販売員は、カメラや走査装置を備えた（通常裏側に設けられる）専用のＰＤＡを所持する。カメラや走査装置の位置が携帯型装置の人間工学に依存することは、当業者には明らかであろう。図３は、販売地域２００が印刷されたページの上におかれた特別なＰＤＡ３０１を図示している。
【００３３】
次に、図３を参照すると、ＰＤＡ３０１がたまたまニューヨーク（ＮＹ）を表す営業所２０３の上に置かれているところを示している。この場合、ＰＤＡは、営業所名３０３、取引高３０５、平均価格３０７、顧客数３０９など、その地域に関連した情報を表示する。表示される情報が所望の用途によって決まるものであり、アプリケーションプログラマによって定義されるものであることは、当業者には明らかであろう。実施形態によっては、これらの関連情報を表示させる前に、マウスやボタンのクリック／押下など、ユーザによる操作が必要になる場合もある。この操作により、ＰＤＡその他の装置を印刷されたページ上で移動させたときに表示画面が様々な関連データで次々と更新される際の視覚的な混乱が防止される。
【００３４】
他の実施形態において、本システムは、関連情報ではなく最新のカレンダ情報にアクセスするために用いられる。ここで図４を参照すると、ある選択された週のカレンダ表現４００が図示されている。このカレンダは、その週のそれぞれの日について項目を記憶している。このカレンダは、印刷した時点では正確であるが、印刷し直すことなく何度も更新される場合がある。例えば、カレンダの所有者が出張旅行中であり、項目を更新してもプリンタにアクセスすることができない場合などである。次に、図５を参照すると、ＰＤＡ３０１が週のうちのある日、例えば木曜日５０１の上に置かれている。印刷された木曜日のイベントは１項目４０１しか示されていないが（４００）、ＰＤＡ３０１に表示されたイベントは４項目５０３を表示するように更新されてる。さらに、装置を印刷されたカレンダの下方へスライドさせると次の週が表示され、さらにスライドさせるとさらに次の週が表示され、以下同じように表示される。このときユーザは、ズームイン及びズームアウトの制御を用い、及び、上下左右にスライドさせることにより、印刷されたページをまったく使用することなく日、週、月および年などの様々なカレンダエントリ間を移動することができる。当業者であれば、このような方法でユーザのカレンダ全体にアクセスすることができること、及びこの技術を他の分野にも適用できることは明らかであろう。
【００３５】
他の実施形態として、すべての販売員がメモリカードを備えた特別なＰＤＡを所持するシステムもある。このメモリカードは、各製品のコストおよび現在の入手しやすさや他の関連データに関する社内秘密情報を保持する。この装置は、これらすべての情報をメモリカードに組み込まれた状態で保持しており、販売員はこの装置を単に持ち歩くだけでよい。この実施形態の利点は、販売員が装置内部の情報にきわめて自然な方法でアクセスできることである。例えば、販売員は、自分たちが販売しているすべての様々な製品の写真付きの印刷カタログを所持し、自分たちの顧客が興味をもった特定の製品の載っているページをめくって開く。次いで、販売員は単にＰＤＡでそのページを走査するだけで、それらの製品が入手可能か否か、それらの製品の入手方法、現在の価格、注文残高などの最新情報をＰＤＡの画面上にポップアップさせることができる。印刷されたページは比較的静的な情報についてのインタフェースとして機能し、ＰＤＡは情報の比較的動的な部分のインタフェースとして機能する。
【００３６】
この話の中で、印刷されたページは一方の角に、「入手しやすさ」と書かれているが中に数字は書かれていないブランクボックスが印刷される場合がある。他方の角には、「コスト」と書かれたブランクボックスが印刷される。ユーザがＰＤＡをコストボックスの上にスライドさせると、コストが表示される。ユーザがＰＤＡを入手しやすさボックスの上にスライドさせると、ＰＤＡの表示装置に現在の入手しやすさが表示される。一実施形態において、この情報はＰＤＡ内にローカルに保持される。この実施形態の利点は、ネットワーク内の他のサーバやシステムと通信する必要がないことである。販売員は、格子を含む別の印刷されたページを所持する。左から右へ様々な産業分野が書かれている。各産業分野の見出しの下には、一番上のＡから一番下のＺまでアルファベットが書かれている。特定の顧客に関する情報にアクセスするためには、販売員は、ＰＤＡを自分が興味のある分野までページ上でスライドさせ、次いで上下にスライドさせてすべての顧客をスクロール表示させるだけでよい。販売員は、アルファベットの適切な文字までまっすぐにスライドさせることによって、いずれの特定の顧客にも迅速に到達することができる。このような方法によると、販売員は、１つの装置で製品データベースと顧客データベースとの両方を扱うことができ、印刷されたページ上で装置をスライドさせること以外にユーザ操作を必要としない。さらに、ページ上に符号化されるメッセージが冗長的に符号化されているので、販売員は各印刷ページ全部を持ち歩く必要がない。販売員は、いったん顧客リスト及び製品カタログに精通すれば、顧客リストの小部分とカタログの小部分とを１ページに印刷することができる。そして、どちらかにアクセスするためには、販売員は、装置をその小部分の上にスライドさせ、次いで装置を持ち上げて机の上に置き、引き続きスライドさせる。その結果、画面上では、印刷されたページ全体が装置の下に存在するときとまったく同じになる。
【００３７】
ユーザ（販売員）は、すべての関連データをこの印刷されたページにローカルに有する。他の実施形態において、このデータは、有線方式または無線方式でネットワークを介して取り出すこともできる。他の実施形態として、一部のデータをローカルに記憶し、一部のデータをリモートに記憶することもできる。
【００３８】
図６は、本発明の一実施形態を利用したシステム６００を示している。記憶装置またはメモリ６０１は、複数の文書および／または関連データを保持している。この記憶装置は通常、ＣＰＵその他の計算装置６０３を介して印刷装置６０５に接続される。実施形態によっては、この印刷装置は、埋め込みプロセッサを有し、記憶装置６０１に直接アクセスする場合がある。印刷装置は、記憶装置からメッセージおよび絶対位置情報６５１が符号化された文書を得てページ６５０上に印刷することができる。この印刷装置の仕様が情報を符号化するために選択された方法に依存することは、当業者には明らかであろう。例えばアドレスが肉眼で見えないようにしたい場合、印刷装置６０５は特別なインクを使用する場合がある。前述のような様々なトレードオフに基づいて、様々な解決策を実施することができる。
【００３９】
一実施形態において、携帯型装置は、ＣＰＵ６１０、記憶装置６１１、ユーザインタフェース６１２、表示装置６１３、画像センサ６１３、および画像分析器６１４を含む。画像センサは、装置が置かれた面の画像を取得する。画像分析器は、その画像を分析してメッセージと絶対位置（携帯型装置が印刷文書６５０の上にある場合）と相対運動（装置が置かれている面に関係なく）とを抽出する。画像分析器はメッセージを認識するとＣＰＵ６１０に警告を出し、ＣＰＵ６１０がそのメッセージを記憶装置から検索して適当なあらかじめプログラムされた動作を実行する。ユーザは、ユーザインタフェース６１２を用いてそのような動作を変更したり、表示装置６１３を見て結果や副次的作用を観察したりすることができる。
【００４０】
実施形態によっては、記憶装置６１１は、リモート接続６０７を介したリモートの記憶装置６０１によって補充または置換される場合がある。リモートの記憶装置６０１への接続は、ローカル・エリア・ネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、広域分散ネットワーク、イントラネット、エクストラネット、無線ネットワークなどを介して行なうことができる。
【００４１】
実施形態によっては、様々な構成要素は必ずしもすべてが物理的に接続されていなくてもよく、専用接続または共用接続を用いて有線手段または無線手段により接続された個別のコンテナ内にあってもよい。例えば、画像センサをペン（印刷装置）内に配置し、画像分析器、ＣＰＵおよび表示装置をＰＤＡ内に配置するということもできる。
【００４２】
図７は、本発明の一実施形態を用いた方法を説明する流れ図を示している。ブロック７０１において特別なプリンタを用いて文書を印刷し、前述のようにこのブロックでメッセージおよび位置情報が文書に符号化される。この文書には通常、メッセージおよび位置情報の他にも有用なデータが印刷される。ユーザが印刷文書と対話したい場合、ブロック７０２において撮像装置をその文書上でスライドさせる。ブロック７０３においてこの装置は、装置が移動するのに従って相対運動を連続的に計算する。
【００４３】
ブロック７０４において装置が印刷ページの上にある間、画像分析システムは符号化の存在を検出し、画像からメッセージの断片及び絶対位置を抽出する。
【００４４】
装置がページ上を移動されるのにつれてさらに多くのメッセージが収集され、メッセージ全体が蓄積されるまで収集される。ブロック７０５において全てのメッセージが収集されたか否かを判定する。全メッセージが収集されると、ブロック７０６においてシステムはその特定のメッセージに対応するあらかじめプログラムされた動作を検索する。
【００４５】
ブロック７０４において装置が絶対位置情報を抽出することができる場合には、ブロック７０７においてその知識を利用して測定された相対運動を較正する。最後に認識した絶対位置と測定された相対運動とを共に用いて、新しい位置を計算する。次いでブロック７０８において、この計算した位置に基づいてあらかじめプログラムされた動作を実行する。
【００４６】
最後にブロック７０９において、そのあらかじめプログラムされた動作の結果をユーザに表示する。そして、ユーザは装置を動かし続けることができるため、表示装置が連続的に更新される。
【００４７】
あらかじめプログラムされた動作を実行するためには、装置は、メッセージ及びアプリケーションに基づいてローカル位置またはリモート位置から関連データを取得しなければならない場合がある。このメッセージがセキュリティレベルまたは認証レベルによって定義されている場合、何らかのデータを表示または出力する前にユーザの認証がなされる。この機能を可能にするために、現在既知の認証方法や将来発明される何らかの認証方法を使用できることは、当業者には明らかであろう。
【００４８】
本明細書に用いた用語および説明は、単なる例示の目的で記載したものであり、限定の意図はない。当業者であれば特許請求の範囲に規定される本発明の思想および範囲内で多数の様々な変形及び均等を実施すること可能であり、すべての用語は特にことわりがない限り最も広義な意味で解釈すべきである。
【００４９】
以下においては、本発明の種々の構成要件の組み合わせからなる例示的な実施態様を示す。
１．メッセージ(651)で符号化された印刷文書(650)を使用するためのシステムであって、
印刷文書(650)の画像の部分であって該画像の部分の各々が（１）前記印刷文書内の絶対位置(119,121)と（２）メッセージの断片(110,109,101)とを用いて符号化されていて該断片とそれに対応する絶対位置との間に既知のマッピングが存在するようになっている画像の部分を収集する可動の画像センサ(615)と、
前記画像センサ(615)に接続され、前記画像センサの相対運動(150)を判定するとともに、前記画像から前記メッセージの断片及び前記絶対位置を抽出して、前記マッピングを用いて該断片からメッセージを抽出する画像分析器(614)と、
からなるシステム。
２．前記画像分析器(615)は、連続した画像間の変化を測定することにより前記画像センサ(615)の相対運動(150)を判定し、前記画像センサが前記印刷文書上にないときでも前記相対運動を抽出できるようになっている、上記１のシステム。３．前記印刷文書は、地図(200)、カレンダー(400)、カタログ、顧客リスト及び索引からなるグループの中から選択される、上記１のシステム。
４．抽出された前記メッセージ、及び、前記画像センサーの相対運動と前記印刷文書内の絶対位置とのうちの少なくとも一方に応じて所定の動作を実行する計算モジュール(610)をさらに含む、上記１のシステム。
５．前記所定の動作は、
情報記憶装置(611,601)から情報を取得する動作と、
前記計算モジュール(610)の内部状態を変更する動作と、
情報を情報記憶装置(611,601)に記憶する動作と、
前記絶対位置、前記相対位置、及び、前記計算装置(610)の内部状態のうちの少なくとも１つを用いた処理命令のシーケンスを含むマクロを取得及び実行する動作との中から選択された少なくとも１つの動作である、上記４のシステム。
６．プリンタ(605)、視覚表示装置(613)、音声装置、視聴覚装置、及び、マルチメディア装置からなるグループの中から選択された１種類の装置であって、前記所定の動作(708)を実行した結果または副次的作用を表示するための少なくとも１つの出力装置(613,605)をさらに含む、上記４のシステム。
７．前記少なくとも１つの出力装置が視覚表示装置であり、前記画像センサ及び前記視覚表示装置が１つの物理ユニットに一体化されていて、これによって表示が前記印刷文書(650)上のウィンドウ(303)のように見える、上記６のシステム。８．メッセージが符号化された印刷文書を使用するための方法であって、
画像センサ(615)を用いて前記印刷文書(650)の中から、前記印刷文書内の絶対位置と前記メッセージの断片とが符号化され、該断片の各々とそれに対応する絶対位置との間に既知のマッピングが存在するようになっている画像の部分を収集するステップ(704)と、
前記画像センサ(615)の相対運動を判定するステップ(702,703,707)と、
前記画像から絶対位置(119,121)及び前記メッセージの断片(110,109)を抽出するステップ(704)と、
前記既知のマッピングを用いて前記断片から前記メッセージを再構成するステップと、
前記メッセージ、及び、前記画像センサの相対運動と前記印刷文書内の絶対位置とのうちの少なくとも一方に応じて所定の動作を実行するステップ(708)と、
からなる方法。
９．前記所定の動作(708)は、
情報記憶装置(611,601)から情報を取得する動作と、
前記計算モジュール(610)の内部状態を変更する動作と、
前記絶対位置、前記相対位置、及び、前記計算装置(610)の内部状態のうちの少なくとも１つを用いた処理命令のシーケンスを含むマクロを取得及び実行する動作との中から選択された少なくとも１つの動作であり、
前記計算モジュールの内部状態の変更は前記可動の装置(615)と通信するユーザインタフェース(612)を用いて入力することにより指示され、該内部状態の変更により後続の動作(708)に影響を与える、上記８の方法。
１０．前記画像センサ(615)の相対運動を判定するステップ(703)は連続した画像間の変化を測定することをさらに含み、前記画像センサが前記印刷文書(650)上になくても前期相対運動を検出できるようになっている、上記８の方法。
【００５０】
【発明の効果】
本発明は、小型の携帯型装置と印刷文書との組み合わせにより、従来の大きな表示装置及び入力装置を置き換えることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に従って、アドレスを用いて符号化された印刷ページを示す図である。
【図２】本発明の実施形態の応用例に使用することができるような区域地図による印刷された販売地域の図である。
【図３】ＰＤＡが印刷された販売地域地図の虫めがねとして機能する本発明の一実施形態の応用例を示す図である。
【図４】本発明の一実施形態の応用例に使用することができるようなカレンダ・ページを示す図である。
【図５】ＰＤＡが印刷されたカレンダ文書の虫めがねと機能する本発明の一実施形態の応用例を示す図である。
【図６】本発明の一実施形態によるシステムを示すブロック図である。
【図７】本発明の一実施形態の方法を示すフロー図である。
【符号の説明】
１０１、１０９、１１０  メッセージの断片
１１９、１２１  絶対位置
１５０  相対運動
２００  地図
３０３  ウィンドウ
４００  カレンダ・ページ
６０５  プリンタ
６１０  計算処理モジュール
６０１、６１１  情報記憶装置
６１２  ユーザ・インタフェース
６１３  表示装置
６０５、６１３  出力装置
６１４  画像分析器
６１５  画像センサ
６５０  印刷文書
６５１  メッセージ
【図１】
0004347578.tif 000003
【図２】
0004347578.tif 000004
【図３】
0004347578.tif 000005
【図４】
0004347578.tif 000006
【図５】
0004347578.tif 000007
【図６】
0004347578.tif 000008
【図７】
0004347578.tif 000009