(57)【要約】【課題】  ビット・ストリームについての符号化方式を提供し、符号化済みビット・ストリームを表示または印刷するための、システムおよび方法を提供すること。【解決手段】  符号化済みビット・ストリームを使用して、カメラ付きペンが符号化済みビット・ストリームの一部のイメージを取り込むことができる。次いで、取り込まれたイメージを復号して、符号化済みビット・ストリームに関してイメージの位置の指示を提供することができる。この符号化方式は、配向に関する情報を含み、したがって復号はより容易になる。【選択図】  図６Ａ
2004152269.tif 000002
【特許請求の範囲】
【請求項１】
ドキュメントのイメージを符号化するためのシステムであって、
ビット・ストリームを受け取る入力と、
少なくとも２つの視覚表現のデータを有する記憶装置と、
前記少なくとも２つの視覚表現のデータを使用して前記ビット・ストリームを符号化し、配向情報を有する符号化されたビット・ストリームを生成するプロセッサと、
前記符号化されたビット・ストリームを出力する出力と
を備えることを特徴とするシステム。
【請求項２】
前記出力はペーパー・プリンタであることを特徴とする請求項１に記載のシステム。
【請求項３】
前記出力はコンピュータ表示装置であることを特徴とする請求項１に記載のシステム。
【請求項４】
前記少なくとも２つの視覚表現のうちの１つは、暗のピクセルのバーであることを特徴とする請求項１に記載のシステム。
【請求項５】
前記少なくとも２つの視覚表現のうちの１つは、規則的に交互に並んだ暗のピクセルと明のピクセルからなるバーであることを特徴とする請求項１に記載のシステム。
【請求項６】
前記少なくとも２つの視覚表現のうちの１つは、不規則に交互に並んだ暗のピクセルと明のピクセルからなるバーであることを特徴とする請求項１に記載のシステム。
【請求項７】
前記少なくとも２つの視覚表現のうちの１つは、交互に並んだ暗のピクセルと明のピクセルからなる少なくとも２本のバーであることを特徴とする請求項１に記載のシステム。
【請求項８】
符号化済みビット・ストリームを復号するシステムであって、
符号化済みデータ・ストリームの一部を表すイメージをカメラから受け取る入力と、
前記イメージの回転を決定することおよび前記イメージを復号することを含む前記イメージを処理するプロセッサと
を備えることを特徴とするシステム。
【請求項９】
前記プロセッサは、事前定義済みのグリッド配向から前記イメージの回転を決定し、前記イメージ中のパターンの回転を決定することを特徴とする請求項８に記載のシステム。
【請求項１０】
符号化済みイメージを復号する方法であって、
前記符号化済みイメージを受け取るステップと、
事前定義済みのグリッド配向に整合するように前記符号化済みイメージの回転を決定するステップと、
前記回転の決定に基づいて前記符号化済みイメージからパターンを取り出すステップと、
前記パターンの配向を決定するステップと、
前記配向の決定に基づいて前記パターンを回転させるステップと、
前記回転させたパターンを復号してデータ・ストリームを取り出すステップと
を備えることを特徴とする方法。
【請求項１１】
前記回転を決定するステップは、水平と垂直のうちの少なくとも一方から前記符号化済みイメージの回転を決定することを含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記配向を決定するステップはさらに、
前記パターン中に見いだされない形状のタイプを決定するステップと、
前記見いだされない形状のタイプに関連する角度で前記パターンを回転させるステップと
を含むことを特徴とする請求項１０に記載の方法。
【請求項１３】
前記配向を決定するステップはさらに、
前記パターン中に見いだされない形状のタイプを決定するステップと、
前記パターン中に見いだされない前記形状のタイプが事前定義済みの見いだされない形状と一致する角度に前記パターンを回転させるステップと
を含むことを特徴とする請求項１０に記載の方法。
【請求項１４】
コンピュータによって実施される命令を含むコンピュータ可読媒体であって、前記命令は、
事前定義済みのグリッド配向に整合するように符号化済みイメージの回転を決定すること、
前記回転の決定に基づいて前記符号化済みイメージからパターンを取り出すこと、
前記パターンの配向を決定すること、
前記配向の決定に基づいて前記パターンを回転させること、および
前記回転させたパターンを復号してデータ・ストリームを取り出すこと
を備えることを特徴とするコンピュータ可読媒体。
【請求項１５】
前記回転を決定するステップは、水平と垂直のうちの少なくとも一方から前記符号化済みイメージの回転を決定することを含むことを特徴とする請求項１４に記載のコンピュータ可読媒体。
【請求項１６】
前記配向を決定するステップはさらに、
前記パターン中に見いだされない形状のタイプを決定するステップと、
前記見いだされない形状のタイプに関連する角度で前記パターンを回転させるステップと
を備えることを特徴とする請求項１４に記載のコンピュータ可読媒体。
【請求項１７】
前記配向を決定するステップはさらに、
前記パターン中に見いだされない形状のタイプを決定するステップと、
前記パターン中に見いだされない形状のタイプが事前定義済みの見いだされない形状と一致する角度に前記パターンを回転させるステップと
を含むことを特徴とする請求項１４に記載のコンピュータ可読媒体。
【請求項１８】
データ構造を有するコンピュータ可読媒体であって、前記データ構造は、
明のイメージの少なくとも別の行に関連付けられた暗のイメージの行によって表される第１のデータ領域と、
明のイメージの少なくとも別の列に関連付けられた暗のイメージの列によって表される第２のデータ領域と
を含み、
前記第１のデータ領域はデータ・ストリームの第１ビットを表し、
前記第２のデータ領域はデータ・ストリームの第２ビットを表す
ことを特徴とするコンピュータ可読媒体。
【請求項１９】
前記コンピュータ可読媒体は印刷された紙であることを特徴とする請求項１８に記載のコンピュータ可読媒体。
【請求項２０】
前記コンピュータ可読媒体はコンピュータ・ディスプレイであることを特徴とする請求項１８に記載のコンピュータ可読媒体。
【請求項２１】
前記第１および第２のデータ領域は水平および垂直の配向を有することを特徴とする請求項１８に記載のコンピュータ可読媒体。
【請求項２２】
前記第１および第２のデータ領域は水平および垂直でない配向を有することを特徴とする請求項１８に記載のコンピュータ可読媒体。
【請求項２３】
前記第１および第２のデータ領域は、規則的に交互に並んだ暗部と明部を有することを特徴とする請求項１８に記載のコンピュータ可読媒体。
【請求項２４】
前記第１および第２のデータ領域は、不規則に交互に並んだ暗部と明部を有することを特徴とする請求項１８に記載のコンピュータ可読媒体。
【請求項２５】
前記第１および第２のデータ領域は、少なくとも２つの行および列にわたって交互に並んだ暗部と明部を有することを特徴とする請求項１８に記載のコンピュータ可読媒体。
【請求項２６】
文書識別子を有する文書に注釈を関連付ける方法であって、
前記文書識別子の符号化済みバージョンを前記文書の印刷バージョンと共に印刷するステップと、
前記文書識別子の前記符号化済みバージョンを、ペンに関連付けられたカメラによって取り込むステップと、
前記文書識別子の前記符号化済みバージョンを復号するステップと、
前記ペンによって作成された注釈を、前記文書識別子によって識別される前記文書に関連付けるステップと
を備えることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル・ペンを使用して媒体とインターラクションすることに関する。より詳細には、本発明は、１つまたは複数の表面とのインターラクション（interaction）の期間中にデジタル・ペンの位置を決定することに関する。
【背景技術】
【０００２】
コンピュータ・ユーザは、パーソナル・コンピュータとインターラクションする（interacting）方法としてマウスおよびキーボードを使用することに慣れている。パーソナル・コンピュータは、書かれた文書を超えた多くのの利点をもたらすが、ほとんどのユーザは、引き続き、印刷された紙を使用して一定の仕事をしている。これらの仕事のいくつかには、書かれた文書を読むことや書かれた文書に注釈を付けることが含まれる。この注釈付けの場合、印刷文書は、ユーザによって注釈が付けられたことでより一層重要な意味を帯びる。しかし、注釈付きの印刷文書を有することに伴う難点の１つは、後で電子形式のこの文書の中に注釈を再入力する必要があることである。これには、元のユーザまたは別のユーザが注釈に目を通し、それらをパーソナル・コンピュータに入力することが必要とされる。場合によっては、ユーザは注釈および元のテキストをスキャンして読み込み、それによって新しい文書を作成することになる。これらの複数のステップは、繰り返して処理することになって、印刷文書とこの文書の電子バージョンとの間のインターラクション（interaction）を困難にする。さらに、走査して読み込んだイメージは修正できないことが多い。元のテキストから注釈を分離する方法がない場合もある。これにより、注釈を使用するのが困難になる。したがって、注釈を処理するための改良された方法が必要とされている。
【０００３】
あるイメージ・パターンを図１０に示す。このパターンは、アノト・ペン（アノト社製）によって、紙の上のペンの位置を決定するのに使用するものである。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
図１０に示すようなイメージ・パターンは、任意の部分から配向してパターンの正確な回転を決定することが容易には行いにくい。回転の決定が、データ・ストリーム中に符号化された情報を見つけるためにパターン自体を復号することに基づく場合、この決定は、データ・ストリーム自体を復号してパターンの正確な配向（orientation）を決定するための多大な処理を必要とする。大きな労力を要するこの復号手法では、取り込んだイメージ部分を位置決めするためだけにかなりのハードウェア・リソースが必要なので、そのパターンについての迅速な採用（取得）が妨げられる。このパターンの使用を短いメモ以上（例えば、手書きのみによる大きな文書を構図するパターンに）に拡大するのは難しい。というのは、１つのインクストロークに関係するカメラ・イメージそれぞれをすべての配向で完全に処理して、パターンの正しい配向を決定することが必要な場合があるからである。データ・ストリームを表すための改良型のパターンが必要とされている。
【課題を解決するための手段】
【０００５】
本発明の態様は、前述の問題の少なくとも１つに対する解決法を提供し、それにより、観察されるイメージ上で１つまたは複数の位置を突き止めることを可能にする。観察されるイメージは、印刷された紙上にあってもよく、表示されたコンピュータイメージ上にあってもよい。本発明の態様は、暗のイメージの行と列で表された符号化パターンを含む。そのイメージは、行または列にわたって連続的でもよく、行または列の中で交互に配置されてもよく、多くの行または列にわたって交互に配置されてもよく、これらの変形でもよい。
【０００６】
本発明のこれらおよび他の態様は、後続の図面および関連する記述を通してわかるであろう。
【０００７】
以上の本発明の概要、ならびに以下の好ましい実施形態の詳細な説明は、特許請求する本発明に関して、限定としてではなく、例として含められている添付の図面と併せて読めばよりよく理解される。
【発明を実施するための最良の形態】
【０００８】
本発明の態様は、取り込まれたイメージの位置を、より大きなイメージとの関係で決定することに関する。本明細書で述べる位置決定方法およびシステムは、多機能ペンとの組み合わせにおいて使用することができる。
【０００９】
以下の記述は、読者のために小見出しで分けてある。小見出しには、用語、汎用コンピュータ、イメージメージ取り込みペン、ビット表現、表現の分析、位置決定、データ・ストリームの符号化、およびアプリケーションが含まれる。
【００１０】
用語
ペン  −  インクを蓄積する能力を含むことも含まないこともある任意の筆記具。いくつかの例では、インク機能なしのスタイラスを本発明の実施形態によるペンとして使用することができる。
【００１１】
カメラ  −  イメージメージ取り込みシステム（an image capture system）。
【００１２】
汎用コンピュータ
図１は、本発明の様々な態様を実現するのに使用できる従来型の汎用デジタル・コンピューティング環境の例に関する機能ブロック図である。図１で、コンピュータ１００は、処理ユニット１１０と、システム・メモリ１２０と、システム・メモリを含めた様々なシステム構成要素を処理ユニット１１０に結合するシステム・バス１３０とを備える。システム・バス１３０は、メモリ・バスまたはメモリ・コントローラを含むいくつかのタイプのバス構造のいずれか、周辺バス、および様々なバスアーキテクチャのいずれかを使用するローカルバスとすることができる。システム・メモリ１２０は、読み取り専用メモリ（ＲＯＭ）１４０およびランダム・アクセス・メモリ（ＲＡＭ）１５０を含む。
【００１３】
起動中などにコンピュータ１００内の要素間の情報転送を助ける基本ルーチンを含むＢＩＯＳ（ｂａｓｉｃ  ｉｎｐｕｔ／ｏｕｔｐｕｔ  ｓｙｓｔｅｍ）１６０がＲＯＭ１４０に記憶されている。コンピュータ１００は、また、ハードディスク（図示せず）に対して読み書きするためのハードディスク・ドライブ１７０と、取り外し可能磁気ディスク１９０に対して読み書きするための磁気ディスク・ドライブ１８０と、ＣＤ  ＲＯＭやその他の光媒体などの取り外し可能光ディスク１９２に対して読み書きするための光ディスク・ドライブ１９１も含む。ハードディスク・ドライブ１７０、磁気ディスク・ドライブ１８０、および光ディスク・ドライブ１９１は、それぞれハードディスク・ドライブ・インターフェース１９２、磁気ディスク・ドライブ・インターフェース１９３、および光ドライブ・インターフェース１９４によってシステム・バス１３０に接続される。ドライブおよびそれらに関連するコンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラム・モジュール、およびその他のデータなどの情報の不揮発性記憶域をパーソナル・コンピュータ１００に提供する。この例示的な動作環境では、磁気カセット、フラッシュ・メモリ・カード、デジタル・ビデオ・ディスク、ベルヌーイ・カートリッジ、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）など、コンピュータからアクセス可能なデータを記憶することのできる他のタイプのコンピュータ可読媒体も使用できることは、当業者には理解されるであろう。
【００１４】
ハードディスク・ドライブ１７０、磁気ディスク１９０、光ディスク１９２、ＲＯＭ１４０、またはＲＡＭ１５０には、オペレーティング・システム１９５、１つまたは複数のアプリケーション・プログラム１９６、その他のプログラム・モジュール１９７、およびプログラム・データ１９８を含めて、いくつかのプログラム・モジュールを記憶することができる。ユーザは、キーボード１０１やポインティング・デバイス１０２などの入力デバイスを介して、コンピュータ１００にコマンドおよび情報を入力することができる。その他の入力デバイス（図示せず）には、マイクロホン、ジョイスティック、ゲーム・パッド、衛生受信アンテナ、スキャナなどを含めることができる。これらおよび他の入力デバイスは、システム・バスに結合されたシリアル・ポート・インターフェース１０６を介して処理ユニット１１０に接続されることが多いが、パラレル・ポート、ゲーム・ポート、ユニバーサル・シリアルバス（「ＵＳＢ」）など、他のインターフェースによって接続されてもよい。さらに、これらのデバイスは、適切なインターフェース（図示せず）を介してシステム・バス１３０に直接に接続されてもよい。モニタ１０７または他のタイプの表示デバイスもまた、ビデオアダプタ１０８などのインターフェースを介してシステム・バス１３０に接続される。モニタに加えて、パーソナル・コンピュータは通常、スピーカやプリンタなど他の周辺出力デバイス（図示せず）も備える。好ましい一実施形態では、フリー・ハンド入力をデジタルで取り込むために、ペン・ディジタイザ１６５および付属のペンまたはスタイラス１６６が備わる。ペン・ディジタイザ１６５とシリアル・ポートの間に直接接続が示してあるが、実際には、ペン・ディジタイザ１６５は、当技術分野で周知のようにパラレル・ポートまたは他のインターフェースおよびシステム・バス１３０を介して処理ユニット１１０に直接に結合してもよい。さらに、図ではディジタイザ１６５がモニタ１０７から離れているが、ディジタイザ１６５の使用可能入力領域がモニタ１０７の表示領域と共存することが好ましい。さらに、ディジタイザ１６５は、モニタ１０７に一体化させてもよく、モニタ１０７に重なるか他の方法でモニタ１０７に付属する別個のデバイスとして存在してもよい。
【００１５】
コンピュータ１００は、リモート・コンピュータ１０９など１つまたは複数のリモート・コンピュータへの論理接続を用いて、ネットワーク化された環境で動作することができる。リモート・コンピュータ１０９は、サーバ、ルータ、ネットワークＰＣ、ピア・デバイス、またはその他の一般的なネットワーク・ノードとすることができ、図１にはメモリ記憶デバイス１１１しか示していないが、通常はコンピュータ１００に関して上述した要素の多くまたはすべてを含む。図１に示す論理接続は、ローカル・エリア・ネットワーク（ＬＡＮ）１１２および広域ネットワーク（ＷＡＮ）１１３を含む。このようなネット・ワーキング環境は、オフィス、企業全体のコンピュータ・ネットワーク、イントラ・ネット、およびインターネットでよく見られるものである。
【００１６】
コンピュータ１００は、ＬＡＮネット・ワーキング環境で使用されるときは、ネットワーク・インターフェースまたはアダプタ１１４を介してローカルネットワーク１１２に接続される。ＷＡＮネット・ワーキング環境で使用されるときは通常、インターネットなどの広域ネットワーク１１３を介して通信を確立するためのモデム１１５または他の手段を備える。モデム１１５は内蔵でも外付けでもよく、シリアル・ポート・インターフェース１０６を介してシステム・バス１３０に接続される。ネットワーク化された環境では、コンピュータ１００に関して示したプログラム・モジュールまたはその一部を、リモートのメモリ記憶デバイスに記憶することができる。
【００１７】
図示のネットワーク接続は例示的なものであり、コンピュータ間の通信リンクを確立する他の手段も使用できることは理解されるであろう。ＴＣＰ／ＩＰ、イーサネット（登録商標）、ＦＴＰ、ＨＴＴＰ、ブルートゥース、ＩＥＥＥ８０２．１１ｘなど、様々な周知のプロトコルのいずれかが存在することを想定しており、システムは、ユーザがウェブ・ベースのサーバからウェブ・ページを取り出すことができるようにクライアント−サーバ構成で操作することができる。様々な従来型のウェブ・ブラウザのいずれかを使用して、ウェブ・ページ上のデータを表示および操作することができる。
【００１８】
イメージ取り込みペン
本発明の態様には、符号化済みデータ・ストリームを表示形式中で位置付けることが含まれる。表示形式は、印刷された紙（または他の物理媒体）でもよく、符号化済みデータ・ストリームを別のイメージまたはイメージのセットと共に投影する表示装置でもよい。例えば、符号化済みデータ・ストリームは、紙の上の物理的なイメージとして、または表示イメージの上に置かれたイメージとして表すこともでき、あるいはディスプレイ・スクリーン（したがって、ペンで取り込んだどんなイメージ部分も表示画面上で位置決めすることが可能である）と組み合わせられるか、またはディスプレイ・スクリーンを薄く覆っている物理的な符号化済みパターン（修正不可能なパターン）とすることもできる。
【００１９】
取り込んだイメージの位置をこのように決定することを用いて、紙、媒体、または表示画面とのユーザとの間の相互作用（インターラクション）の位置を決定することができる。本発明のいくつかの態様では、ペンは、紙の上に筆記するインクペンとすることができる。他の態様では、ペンは、コンピュータ・ディスプレイの表面上にユーザが筆記するスタイラスとすることができる。どんなインターラクションでも、文書上の、またはコンピュータ画面上に表示された文書をサポートする、符号化済みイメージに関する知識と共に、システムに返すように提供することができる。カメラの位置を繰り返し取り込むことにより、システムは、ユーザによって制御されているスタイラスの動きを追跡することができる。
【００２０】
図６Ａおよび６Ｂに、カメラ６０３を有するペン６０１を説明する例を示す。ペン６０１は、チップ６０２を含み、インクつぼを含む場合と含まない場合がある。カメラ６０３は、表面６０７からイメージ６０４を取り込む。ペン６０１はさらに、破線ボックス６０６中に表すように追加のセンサおよび／またはプロセッサも備えることができる。これらのセンサおよび／またはプロセッサ６０６はまた、別のペン６０１および／またはパーソナル・コンピュータに情報を送信する機能（例えばブルートゥースや他の無線プロトコルを介して）を備えることができる。
【００２１】
図６Ｂは、カメラ６０３によって観察されるイメージを表す。説明的な一例では、カメラ６０３の視野は３２×３２ピクセルである（Ｎ＝３２）。したがって図６Ｂは、縦３２ピクセル×横３２ピクセルの視野を示す。Ｎのサイズは、所望のイメージ解像度の程度に基づいて調節可能である。また、ここでは説明のためにカメラ６０３の視野を正方形として示しているが、視野には、当技術分野で知られている他の形状を含めることができる。
【００２２】
カメラ６０３からペン６０１への入力は、イメージ・フレームの系列｛Ｉｉ｝、ｉ＝１，２，…，Ａと定義することができ、Ｉｉはサンプリング時間ｔｉでペン６０１によって取り込まれる。サンプリング・レートは、固定でもよく、文書のサイズに基づいて可変としてもよい。取り込まれるイメージ・フレームのサイズは、文書のサイズおよび必要とされる正確さの程度に応じて大きくても小さくてもよい。また、カメラ・イメージ・サイズも、探索される文書のサイズに基づいて決定することができる。
【００２３】
カメラ６０３で取り込んだイメージは、処理システムによって直接に使用することもでき、事前フィルタリングを施すこともできる。この事前フィルタリングは、ペン６０１中で行ってもよく、ペン６０１の外部（例えばパーソナル・コンピュータ）で行ってもよい。
【００２４】
図６Ｂのイメージ・サイズは３２×３２ピクセルである。各符号化ユニット・サイズが３×３ピクセルの場合は、取り込まれる符号化ユニットの数は約１００ユニットになる。符号化ユニット・サイズが５×５の場合は、取り込まれる符号化ユニットの数は約３６になる。
【００２５】
図６Ａには、位置６０４からのパターンのイメージ６１０が形成されるイメージ面６０９も示してある。対象面６０７上のパターンから受け取られた光が、レンズ６０８によって集束される。レンズ６０８は単一レンズでもマルチ・パート・レンズシステム（multi-part lens system）でもよいが、ここでは、わかりやすくするために単一レンズとして表してある。イメージ取り込みセンサ６１１がイメージ６１０を取り込む。
【００２６】
イメージ・センサ６１１は、イメージ６１０を取り込めるよう十分に大きいものとすることができる。あるいはイメージ・センサ６１１は、位置６１２でペン・チップ６０２のイメージを取り込めるよう十分に大きいものとすることができる。参照のために、位置６１２におけるイメージを仮想ペン・チップ（pen tip；ペンの先端）と呼ぶ。ペン・チップとレンズ６０８とイメージ・センサ６１１との関係は一定なので、イメージ・センサ６１１に対する仮想ペン・チップの位置は固定されていることに留意されたい。仮想ペン・チップ６１２の位置（Ｌｖｉｒｔｕａｌ−ｐｅｎｔｉｐで表す）から実際のペン・チップ６０２の位置（Ｌｐｅｎｔｉｐで表す）への変換については、取り込まれたイメージ６１０との関係で実際のペン・チップの位置を決定することができる。
【００２７】
以下の変換ＦＳ→Ｐが、カメラで取り込んだイメージを紙の上における実際のイメージに変換する。
【００２８】
【数１】
2004152269.tif 000003
【００２９】
筆記中、ペン・チップと紙は同じ面上にある。したがって、仮想ペン・チップから実際のペン・チップへの変換もまたＦＳ→Ｐであり、以下のとおりである。
【００３０】
【数２】
2004152269.tif 000004
【００３１】
変換ＦＳ→Ｐは、透視変換と呼ぶことができる。これは、ＦＳ→Ｐの推定として以下のように単純化される。
【００３２】
【数３】
2004152269.tif 000005
【００３３】
上式で、θ、ｓｘ、ｓｙは、位置６０４で取り込まれたパターンの、回転および２つの配向のスケールである。さらに、取り込まれたイメージメージを紙の上の対応する背景イメージメージと照合することにより、Ｆ’Ｓ→Ｐをさらに正確にしてＦＳ→Ｐにすることができる。「さらに正確にする（Refine）」とは、再帰法と呼ばれる一種の最適化アルゴリズムによって、より正確な透視行列ＦＳ→Ｐ（８つのパラメータ）を得ることを意味する。再帰法では、行列Ｆ’Ｓ→Ｐを初期値として扱う。ＦＳ→Ｐは、ＳとＰの間の変換をＦ’Ｓ→Ｐよりも正確に表す。
【００３４】
次に、仮想ペン・チップの位置を、較正によって決定することができる。
ペン・チップ６０２を、紙の上の既知の位置Ｌｐｅｎｔｉｐに配置する。次に、ペンを傾けて、カメラ６０３が種々のペン姿勢で一連のイメージを取り込めるようにする。各イメージを取り込むごとに、変換ＦＳ→Ｐを受け取ることができる。この変換から、ペン・チップの仮想イメージメージの位置Ｌｖｉｒｔｕａｌ−ｐｅｎｔｉｐ
【００３５】
【数４】
2004152269.tif 000006
【００３６】
および
【００３７】
【数５】
2004152269.tif 000007
【００３８】
を得ることができる。それぞれのイメージから受け取ったＬｖｉｒｔｕａｌ−ｐｅｎｔｉｐを平均することにより、仮想ペン・チップの正確な位置Ｌｖｉｒｔｕａｌ−ｐｅｎｔｉｐを決定することができる。
【００３９】
仮想ペン・チップの位置Ｌｖｉｒｔｕａｌ−ｐｅｎｔｉｐがすでにわかった。また、取り込まれたイメージから変換ＦＳ→Ｐも得ることができる。最後に、この情報を用いて、以下のように実際のペン・チップの位置Ｌｐｅｎｔｉｐ
【００４０】
【数６】
2004152269.tif 000008
【００４１】
を決定することができる。
【００４２】
ビット表現
図２Ａに、第１ビットおよび第２ビットについてのサンプル符号化技法を示す。第１ビット２０１（例えば「１」）が、暗のインクの列で表されている。第２ビット２０２（例えば「０」）が、暗のインクの行で表されている。任意の色のインクを使用して様々なビットを表すことができることを理解されたい。選択されるインク色の要件は、イメージ取込みシステムによって区別可能なように媒体の背景と強い対比をなすことだけである。図２Ａのビットは、３×３のセル行列で表されている。行列のサイズは、イメージ取込みシステムのサイズおよび解像度に基づいて、任意のサイズに修正することができる。図２Ｃ〜２Ｅに、ビット０および１の代替表現を示す。図２Ａ〜２Ｅのサンプル符号化に関する１または０の表現は、影響なく交換できることを理解されたい。図２Ｃには、インタリーブ構成になっている２つの行または列を占めるビット表現を示す。図２Ｄには、断続形式になっている行および列の代替ピクセル構成を示す。最後に、図２Ｅには、不規則な間隔のフォーマット（例えば２つの暗のブロックの後に１つの明のブロックが続く）になっている列および行のピクセル表現を示す。
【００４３】
再び図２Ａを参照するが、ビットが３×３行列で表され、イメージング・システムがこの３×３行列中で１つの暗の行と２つの明の行を検出した場合は、０（または１）が表されている。１つの暗の列と２つの明の列を検出した場合は、１（または０）が表されている。
【００４４】
この場合、１ビットを、複数のブロックまたはピクセルまたはドットを使用して表している。単一のピクセル（またはブロックまたはビット）を使用して１ビットを表すのは脆弱である。埃、紙の折り目、平らでない表面などにより、データ・ユニットの単一ビット表現を読み取る際に困難が生じる。
【００４５】
ビット・ストリームを使用して、図２Ｂのグラフィカル・パターン２０３を生み出す。グラフィカル・パターン２０３は、１２行と２７列を含む。これらの行と列は、ビット表現２０１および２０２を使用してビット・ストリームをグラフィカル表現に変換することによって形成される。図２Ｂは、以下のビット表現を有するものと見なすことができる。
【００４６】
【数７】
2004152269.tif 000009
【００４７】
様々なビット・ストリームを使用して、図２Ｂに示すイメージメージ２０３を生み出すことができる。例えば、１と０のランダム・シーケンスまたは擬似ランダム・シーケンスを使用することができる。ビット・シーケンスは、行、列、斜めで構成することができ、または他の任意の定式的な順序付けに従うことができる。例えば、上記の行列は、左から右に進んで下に移る場合、以下のビット・ストリームによって形成することができる。
【００４８】
【数８】
2004152269.tif 000010
【００４９】
上から下に進んで右に移る場合、上記の行列は、以下のビット・ストリームによって形成することができる。
【００５０】
【数９】
2004152269.tif 000011
【００５１】
斜めに進んでラップする場合、上記の行列は、以下のビット・ストリームを表すことができる。
【００５２】
【数１０】
2004152269.tif 000012
【００５３】
表現の分析
図２Ｂはまた、イメージ２０３からのピクセル・ブロックの表現を含む。表示されたイメージメージ２０４〜２１１は、５×５ピクセル・ブロックを示す。ピクセル・ブロック２０４は、明の行の間に１つの暗の行があるのを示す。ピクセル・ブロック２０５は、明の列の間に１つの暗の列があるのを示す。ピクセル・ブロック２０６は、左下向きのコーナーを示す。ピクセル・ブロック２０７は、右上向きのコーナーを示す。ピクセル・ブロック２０８は、左側に半分の暗の行が付いている暗の列を示す。ピクセル・ブロック２０９は、上に半分の暗の列が付いている暗の行を示す。ピクセル・ブロック２１０は、半分の暗の行を示す。ピクセル・ブロック２１１は、半分の暗の列を示す。ピクセル・ブロックの組み合わせを分析すると、ピクセルのすべての組み合わせは、ピクセル・ブロック２０４〜２１１に見られるイメージ・セグメントで形成できることが理解される。
【００５４】
図２Ｂで生成されたパターンは、線分が迷路を形成し、４つの全側面上のどの領域も、この迷路によって完全には囲まれていないという点で迷路パターンと呼ぶことができる。
【００５５】
さらに、より小さいピクセル・ブロック・セットで、あり得るすべてのピクセルの組み合わせを表そうと試みることもできる。単純に、図３Ａ〜３Ｄに示す４つの各ブロックがイメージ２０３中に見出されると予想されるであろう。しかし、８つのピクセル・ブロック２０４〜２１１には、３つのタイプのコーナーしかない。この例では、図３Ａとして表されるピクセル・ブロックはない。イメージ・セグメント２０１および２０２は、あるタイプのコーナーを除去するように選択されることができるという事実によって、それにより、見いだされないコーナー・タイプに基づいて取り込んだイメージの配向を決定する機会がもたらされる。
【００５６】
図４に進むが、カメラで取り込んだイメージ４０１を分析し、イメージ４０１で実際に表される位置について解釈可能なように、その配向を決定することができる。まず、イメージ４０１をよく調べ、ピクセルが水平および垂直に整列するようにイメージを回転させるのに必要な角度θを決定する。潜在的なグリッドを水平および垂直でない構成（例えば４５度）に回転させることを含めて、代替のグリッド整列も可能であることに留意されたい。ユーザは、他のパターンよりも先に水平および垂直のパターンに気付く傾向があるので、水平および垂直でない構成を用いることで、ユーザの視覚的混乱をなくすという利点をおそらくもたらすことができる。話を簡単にするために、そのグリッドのその配向（潜在的なグリッドの水平と垂直の回転ならびに他の任意の回転）を、事前定義済みグリッド配向と総称する。
【００５７】
次に、イメージ４０１を分析して、どのコーナーが見いだされないかを決定する。イメージ４０１を復号の準備のできたイメージ４０３まで回転させるのに必要な回転量ｏを、ｏ＝（θ＋回転量｛どのコーナーが見いだされないかによって定義される｝）として示す。この回転量を図５の式で示す。再び図４を参照するが、まず、水平および垂直（または他の事前定義済みグリッド配向）の構成のピクセルに達するためのピクセル配置によって角度θを決定し、４０２に示すようにイメージを回転させる。次いで、分析を行って見いだされないコーナーを決定し、イメージ４０２を回転させて４０３のようなイメージを提示して、イメージを復号に向けて準備する。ここでは、イメージを反時計回りに９０度回転させ、それによりイメージ４０３の位置が取り出されている。
【００５８】
回転角度θは、見いだされないコーナーを反映するようイメージ４０１を回転させる前に適用しても後に適用してもよいことを理解されたい。
【００５９】
最後に、イメージ４０３中の符号を読み出し、イメージ２０３を生み出すのに使用された元のビット・ストリームと相互に関連付けられる。この相互の関連付けはいくつかの方法で行うことができる。例えば再帰的手法で行うことができ、その場合、復元されたビット・ストリームを、元のビット・ストリーム内にある他のすべてのビット・ストリーム・フラグメントと比較する。第２に、復元されたビット・ストリームと元のビット・ストリームとの間で、例えばこの２つのビット・ストリーム間のハミング距離を用いて統計分析を行うこともできる。様々な手法を用いて、復元されたビット・ストリームの位置を元のビット・ストリーム内で決定できることを理解されたい。
【００６０】
位置決定
図７に、ペン・チップの位置を決定するプロセスを示す。入力は、カメラによって取り込まれたイメージであり、出力は、全体的なイメージと比較した場合のイメージの位置座標とすることができる。また、出力は、取り込まれたイメージの回転角度を含む場合がある（そうでない場合もある）。
【００６１】
ステップ７０１で、カメラからイメージを受け取る。次にステップ７０２で、取り込まれたイメージの回転角度の決定などを試みる際に、受け取ったイメージを任意選択で前処理して（ステップ７０２の破線の輪郭で示すように）、明のピクセルと暗のピクセルの間のコントラストを調節する。
【００６２】
次にステップ７０３で、イメージを分析して、イメージ内のビット・ストリームを決定する。
【００６３】
次にステップ７０４で、そのビット・ストリームを元のビット・ストリームと比較し、元のビット・ストリーム内における受け取ったビット・ストリームの位置（ロケーション）を決定する。この比較は、元のビット・ストリームがどれだけラップされて（包まれて）イメージ２０３が生み出されているかをシステムが認識しているときに行うことができる。最後に、取り込まれたイメージの位置をステップ７０４で決定すると、ステップ７０５でペン・チップ（ペンの先端）の位置を決定することができる。
【００６４】
図８に、ペン・チップの位置を決定するための図７の手法をより詳細に示す。まずステップ８０１で、カメラからイメージを受け取る。次いでステップ８０２で、任意選択でイメージにイメージ前処理を施すことができる（ステップ８０２の破線の輪郭で示すように）。ステップ８０３でパターンを取り出す。ここで、様々な線上のピクセルを取り出してパターンの配向を見つけ、角度θを決定することができる。
【００６５】
次にステップ８０４で、受け取ったイメージを分析して、潜在的なピクセル分布およびグリッド・ラインを決定する。ステップ８０５でグリッド・ラインが見つかった場合は、ステップ８０６でパターンから符号（コード）を取り出す。次いでステップ８０７で符号（コード）を復号し、ステップ８０８でペン・チップ（ペンの先端）の位置（ロケーション）を決定する。ステップ８０５でグリッド・ラインが見つからなかった場合は、ステップ８０９でエラーを返す。
【００６６】
データ・ストリームの符号化
図９に、記憶された方式を用いてデータ・ストリームを符号化するプロセスを示す。ステップ９０１で、プロセッサがデータ・ストリームを受け取る。ステップ９０２で、記憶装置９０３からのビット表現でデータ・ストリームを符号化する。次に、プロセッサは、結果として得られたイメージを出力９０４として出力する。次いでこの出力は、ステップ９０５において任意選択で印刷するか、ステップ９０６において任意選択で表示装置上に表示することができる。ステップ９０５で印刷されるページまたはステップ９０６における表示に関連して、得られたイメージは、グラフィカル形式にレンダリングして、別のイメージまたは文書コンテンツ上に印刷され、あるいは重ねられるイメージとしてプリンタに送ることができる（ステップ９０５）。同様に、得られたイメージは、他の情報と組み合わせて、ステップ９０６でディスプレイするためにレンダリングすることができる。得られたイメージのレンダリングした形式を他のコンテンツと関連付けるプロセスは、一般に、透かし入れ（ウォーター・マーキング）と呼ばれる。例えば、そのイメージは、表示上で透かしとして表示することができ、あるいはディスプレイ自体の中に符号化することができる（例えば、ディスプレイの形成プロセス中に、または透過レイヤとして後で加える）。
【００６７】
適用例
本明細書で述べた符号化システムは、多くの方法で使用することができる。第１に、この符号化システムは、既存のイメージと組み合わせたイメージとして、または紙に印刷されるイメージとして、印刷される紙に組み込むことができる。この符号化システムを表すイメージは、白紙に印刷することもでき、他の情報を含む紙（例えば記入用紙）に追加することもできる。埋め込み情報を有するイメージを追加するプロセスは、文書またはページに透かしを入れることを含むことができる。これには、イメージ上に透かしを写真複写すること、埋め込み透かし付きで紙を印刷すること、透かしを別のイメージと組み合わせて一緒に印刷すること、およびこれらの様々な組み合わせを含めることができる。また、このシステムによって使用される符号化済み情報は、デバイスまたはシステムのディスプレイ・スクリーンの上に配置された透明なシート内に組み込むこともでき、あるいは、保護フィルムを含めて、ディスプレイと共に使用できる表面内に組み込むこともできる。
【００６８】
一例では、この符号化システムを液晶ディスプレイに組み込むことができる。ＬＣＤ技術分野で知られているように、ＬＣＤの各ピクセルピッチにはフレームがあり、全ＬＣＤピクセルのフレームを繋ぎ合わせてグリッドにすることができる。今述べたシステムを追加することにより、グリッド上に符号化済み情報を追加することができる。符号化済み情報を含むグリッドにフィルムを利用することもできる。フィルムを調節して、可視光で情報を提供するようにすることもでき、赤外線光を選択的に吸収するフィルム中に情報を提供することもでき、様々な光波長の下で蛍光発光するフィルム中に情報を提供することもできる。さらに、ＬＣＤは、光を発散または吸収してペンまたはカメラに情報パターンを投影するように制御することもできる。
【００６９】
例えば、８００〜９００ｎｍなど特定のスペクトルの赤外線反射フィルムは、そのフィルムは符号化済み情報を持たせて、ＬＣＤグリッド上に配置することができ、次に、赤外線ダイオードおよびカメラ（赤外線フィルタが付いていてもよい）を有するペンが、ＬＣＤ表面にわたって動きながら赤外線イメージを取り込むことができる。この例では、ＬＣＤグリッド上のパターンだけが、８００〜９００ｎｍなど特定の赤外線光を反射する。したがって、赤外線イメージ中のパターンを他の領域と区別することができる。赤外線イメージを処理して復号し、ペン・チップの位置を決定することができる。
【００７０】
パターンのサイズは、レンズ設計パラメータおよび解像度要件に従って選択することができる。例えば、０．２１３ｍｍ×０．２１３ｍｍピクセルピッチおよび５ｍｍ＊５ｍｍカメラレンズ視野を達成するには、パターンサイズを２＊２ピクセルに設定すればよく、各２＊２ピクセルが１つの符号を含む。
【００７１】
この符号化システムは、ラップトップのモニタ、タブレット／スタイラス・ベースの入力コンピュータのモニタ、パーソナル・データ・アシスタントのモニタ、電話機のモニタ、またはディスプレイ付きの任意のデバイスに組み入れることができる。
【００７２】
別の適用例は、文書に文書識別を関連付けることを含む。一般に、文書の題名（タイトル）または参照（レファレンス）番号を文書上に印刷することができる。文書の参照番号または他の情報（一般に文書識別子と呼ばれる）の符号化済みバージョンを、文書の一部（例えば隅）に印刷することができる。この場合、文書番号の符号化済みイメージをペンのカメラで取り込み、符号化済みイメージを復号して文書番号を得てから、その文書番号で識別される文書に、受け取った注釈を関連付けることができる。
【００７３】
添付の特許請求の範囲を用いて本発明を定義したが、本発明は、本明細書で述べた要素およびステップの任意の組み合わせまたは下位の組み合わせを含むものとし、したがってこれらの特許請求の範囲は例示的なものである。したがって、本発明を定義するための代替の組み合わせには任意の数があり、これらの組み合わせは、説明と特許請求の範囲と図面とを含めた本明細書からの１つまたは複数の要素の、様々な組み合わせまたは下位の組み合わせを組み込む。本発明の態様の代替の組み合わせを、単独で、あるいは本明細書に定義した１つまたは複数の要素またはステップとの組み合わせで、本発明の修正または改変としてあるいは本発明の一部として利用できることは、本明細書に鑑みて関連技術の当業者には明らかであろう。本明細書に含まれる本発明についての書面記述は、このような修正および改変をすべてカバーするものとする。
【図面の簡単な説明】
【００７４】
【図１】本発明の実施形態と共に使用することのできるコンピュータの一般的な記述を示す図である。
【図２Ａ】本発明の実施形態による様々な符号化システムの１つを示す図である。
【図２Ｂ】本発明の実施形態による様々な符号化システムの１つを示す図である。
【図２Ｃ】本発明の実施形態による様々な符号化システムの１つを示す図である。
【図２Ｄ】本発明の実施形態による様々な符号化システムの１つを示す図である。
【図２Ｅ】本発明の実施形態による様々な符号化システムの１つを示す図である。
【図３Ａ】図２Ａおよび２Ｂによる符号化システムに関連する、結果として得られる可能性のある４つのコーナーの１つを示す図である。
【図３Ｂ】図２Ａおよび２Ｂによる符号化システムに関連する、結果として得られる可能性のある４つのコーナーの１つを示す図である。
【図３Ｃ】図２Ａおよび２Ｂによる符号化システムに関連する、結果として得られる可能性のある４つのコーナーの１つを示す図である。
【図３Ｄ】図２Ａおよび２Ｂによる符号化システムに関連する、結果として得られる可能性のある４つのコーナーの１つを示す図である。
【図４】本発明の実施形態による、取り込まれたイメージ部分の回転を示す図である。
【図５】図２Ａから２Ｅの符号化システムと共に用いられる様々な回転角度を示す図である。
【図６Ａ】本発明の実施形態によるイメージ取り込みシステムを示す図である。
【図６Ｂ】本発明の実施形態による、イメージ取り込みシステムに対応する取り込まれたイメージを示す図である。
【図７】本発明の実施形態による、取り込まれたイメージの位置を決定する方法を示す図である。
【図８】本発明の実施形態による、図７の取り込まれたイメージの位置を決定する方法をより詳細に示す図である。
【図９】本発明の実施形態による、データを符号化するプロセスを示す図である。
【図１０】文書中の符号化空間に関する従来のスキーム（方式）を示す図である。
【符号の説明】
【００７５】
１００  コンピュータ
１０１  キーボード
１０２  マウス
１０６  シリアル・ポート・インターフェース
１０７  モニタ
１０８  ビデオアダプタ
１０９  リモート・コンピュータ
１１０  処理ユニット
１１１  メモリ記憶デバイス
１１２  ローカル・エリア・ネットワーク
１１３  広域ネットワーク
１１４  ネットワーク・インターフェース
１１５  モデム
１２０  システム・メモリ
１３０  システム・バス
１４０  ＲＯＭ
１５０  ＲＡＭ
１６０  ＢＩＯＳ
１６５  ディジタイザ
１６６  ペンまたはスタイラス
１７０  ハードディスク・ドライブ
１８０  磁気ディスク・ドライブ
１９０  取り外し可能磁気ディスク
１９１  光ディスク・ドライブ
１９２  取り外し可能光ディスク
１９２  ハードディスク・インターフェース
１９３  磁気ディスク・ドライブ・インターフェース
１９４  光ドライブ・インターフェース
１９５  オペレーティング・システム
１９６  アプリケーション・プログラム
１９７  その他のプログラム・モジュール
１９８  プログラム・データ
６０１  ペン
６０２  ペン・チップ
６０３  カメラ
６０４  イメージ
６０６  センサおよび／またはプロセッサ
６０７  対象面
６０８  レンズ
６０９  イメージ面
６１０  イメージ
６１１  イメージ取り込みセンサ
６１２  仮想ペン・チップ
【図１】
2004152269.tif 000013
【図２Ａ】
2004152269.tif 000014
【図２Ｂ】
2004152269.tif 000015
【図２Ｃ】
2004152269.tif 000016
【図２Ｄ】
2004152269.tif 000017
【図２Ｅ】
2004152269.tif 000018
【図３Ａ】
2004152269.tif 000019
【図３Ｂ】
2004152269.tif 000020
【図３Ｃ】
2004152269.tif 000021
【図３Ｄ】
2004152269.tif 000022
【図４】
2004152269.tif 000023
【図５】
2004152269.tif 000024
【図６Ａ】
2004152269.tif 000025
【図６Ｂ】
2004152269.tif 000026
【図７】
2004152269.tif 000027
【図８】
2004152269.tif 000028
【図９】
2004152269.tif 000029
【図１０】
2004152269.tif 000030