(57)【特許請求の範囲】
【請求項１】
画像を取り込むカメラを含むペンを使用して電子文書の印刷版に注釈を書いている間に前記カメラによって取り込まれた前記電子文書の印刷版の部分の画像に前記電子文書のどの部分が対応するかを特定する方法であって、
前記電子文書の印刷版の部分の前記取り込まれた画像を取得すること（７０１）であって、前記電子文書は、前記電子文書の中の異なる位置を一意的に識別するパターンを有する、取得すること、
ある領域において前記パターンが所定のスレッショルド量だけ隠ぺいされていると決定される場合に、該領域を、前記パターンが少なくとも部分的に隠ぺいされている前記電子文書の隠ぺい領域として特定すること（７０５）、
前記取り込まれた画像内で参照ピクセルを指定すること（７０３）、
前記参照ピクセルと一致する可能性のある、前記電子文書の前記隠ぺい領域内のピクセルを識別すること、
前記参照ピクセルが前記識別されたピクセルの１または複数と比較されるように、前記取り込まれた画像を前記電子文書の異なる部分と比較すること（７１１）、および、
前記比較に基づいて、前記参照ピクセルと一致する、前記電子文書内の識別されたピクセルを特定すること
を備えたことを特徴とする方法。
【請求項２】
前記参照ピクセルと一致する可能性のある、前記電子文書の前記隠ぺい領域内のピクセルを識別することは、
前記参照ピクセルと前記取り込まれた画像内の前記パターンの表現の最も接近するセルとの間の偏移距離を特定すること、および、
前記パターンの前記最も接近するセルから前記偏移距離だけ偏移している、前記電子文書の前記隠ぺい領域内のピクセルを識別すること
を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記取り込まれた画像をアフィン変換して、前記取り込まれた画像の縮尺および回転を、前記電子文書の縮尺および回転にマッチングさせることをさらに備えたことを特徴とする請求項１に記載の方法。
【請求項４】
前記取り込まれた画像をアフィン変換すること、および、
前記アフィン変換され取り込まれた画像を９０°の倍数で回転させること
をさらに備えたことを特徴とする請求項３に記載の方法。
【請求項５】
前記取り込まれた画像を前記電子文書の異なる部分と比較することは、それぞれの回転されアフィン変換された取り込まれた画像と前記電子文書の異なる部分を比較することを含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記参照ピクセルと一致する、前記電子文書内の識別されたピクセルを特定することは、前記画像と電子文書の部分とのそれぞれの比較に対する相関値を特定することを含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記参照ピクセルと一致する、前記電子文書内の識別されたピクセルを特定することは、
他のすべての比較相関値よりもスレッショルド量だけ高い最も高い比較相関値を識別すること、および、
前記参照ピクセルが、前記最も高い比較相関値との比較に使用される電子文書ピクセルに対応することを判定すること
をさらに含むことを特徴とする請求項６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ドキュメントのどこの部分が、その部分の取り込まれた画像と対応するかを判定することに関する。本発明の様々な態様は、特に、文書上のマークの場所をその文書の画像を取り込むことによって識別することに応用が可能である。
【背景技術】
【０００２】
コンピュータ上に記憶された電子文書は、書面の文書に対して多くの利点を提供するが、多くのユーザは、電子文書の印刷版を用いて何らかの作業を行うことを続けている。これらの作業としては、例えば、文書を読むことや注釈をつけることがある。注釈がつくと、文書の紙版は、特別な重要性をもつことになる。なぜならば、注釈は、典型的には、ユーザにより直接に印刷文書上に書き込むからである。しかしながら、文書の印刷版に直接、注釈をつけることの１つの問題は、後で注釈を電子形態に変換することの困難さにある。理想的には、電子的に記憶される注釈は、手書きの注釈が文書の紙版に対応するのと同様に、文書の電子版に対応しなくてはならない。
【０００３】
このような対応は、通常、元のユーザまたは別のユーザが苦労して注釈を読んで、それらを個人的にコンピュータに入力する必要がある。場合によっては、ユーザは、紙文書上に書かれた注釈を電子的に走査し、それによって新しい電子文書を作成することができる。このような複数ステップがあると、文書の印刷版と文書の電子版とを調和させることを、反復的に行うことが難しくなる。さらに、走査画像は、編集できないことが頻繁にある。したがって、元の文書のテキストから注釈を分離する方法がないこともある。このことが注釈の使用を困難にしている。
【０００４】
この問題に取り組むために、印刷文書上にペンで書かれる注釈を取り込むためのペンが開発されている。この種のペンは、これはユーザが注釈を書くときの印刷文書の画像を取り込むカメラを含んでいる。しかしながら、この種のペンのいくつかの例では、ペンは、カメラには見えないインクを使用することができる。例えば、そのペンは、ノンカーボンインクとカメラの赤外線照射とを使用することができ、これによって、そのインクで書かれた注釈を、カメラで「見る」ことができなくなる。この種のペンでは、注釈を書いている間にペンが取り込んだ画像から、文書上に注釈を形成しているペン先の動きを推測することになる。しかしながら、画像を元の電子文書と関連づけるために、文書に対する画像の位置を特定しなくてはならない。したがって、この種のペンは、紙上の異なる場所を一意的に識別するパターンを含む紙と共に使用されることが多い。このパターンを解析することによって、画像を受け取るコンピュータは、紙のどの部分（したがって印刷文書のどの部分）が画像に取り込まれたかを特定することができる。
【０００５】
そのようなパターン化された紙またはその他の媒体を使用すると、紙文書上に書かれた注釈を、電子形態に変換し、文書の電子版と正しく関連づけることができるが、この技法は常に確実ではない。例えば、紙上のテキストを含む文書は、パターンの領域を隠ぺいする可能性がある。ペンがこれらの領域の１つの画像を取り込むと、コンピュータは、画像によって取り込まれた文書部分の場所を、正確に判定できない可能性がある。その代わりに、コンピュータは、画像に取り込まれた文書部分の場所を識別する代替技法を使用しなくてはならない。例えば、コンピュータは、取り込まれた画像と電子文書とのピクセル単位の比較を実行することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ピクセル単位の比較は、通常、取り込まれた画像内の文書の部分を識別するが、この技法は、処理のオーバヘッドが大きい。例えば、この技法を実施するためには、典型的には、取り込まれた画像と文書画像の間の変換、例えば回転および縮尺を最初に推定して、それによって取り込まれた画像をワープし（warp）、ピクセル単位で文書画像とマッチングする（match）ことができる。変換が未知の場合には、すべての可能な回転および縮尺を考慮しなくてはならない。さらに、画像内で参照ピクセルを選択する。次に、ワーされた画像中のすべてのピクセルを、電子文書内の対応するピクセルと比較し、それによって画像参照ピクセルを電子文書の第１の場所と比較する。次に、この比較を反復して、参照ピクセルが最終的に電子文書内の各場所と比較されるようにしなくてはならない。画像ピクセルと電子文書の間の最も高い対応を示す比較は、電子文書に関連する参照ピクセルの位置、したがって画像に取り込まれた文書の部分を識別する。したがって、コンピュータが、文書全体について画像のピクセル単位の比較を実行する必要なく、取り込まれた画像中の文書の部分の場所を特定できるようにする技法を提供することが望ましい。
【課題を解決するための手段】
【０００７】
本発明の様々な実施形態は、取り込まれた画像に対応する文書の部分を特定する効率的な技法を有利に提供する。本発明の様々な実施形態によれば、パターンが少なくとも部分的に隠ぺいされた文書の領域が識別される。画像中の参照ピクセルが選択され、取り込まれた画像の回転および縮尺が推定され、そしてピクセルとパターンの間の偏移（offset）が特定される。次に、ピクセル単位の比較が、ワープされた画像と文書の間で行われ、その結果、参照ピクセルは、識別された領域内にあり、かつパターンから特定の偏移を有する文書中の場所とだけ比較される。次に、画像ピクセルと電子文書の間の最も高い一致を示す比較は、電子文書に関連する参照ピクセルの位置を識別する。この技法を用いると、参照ピクセルと文書のその他の部分との比較を、回避することができ、それによって画像内に取り込まれた文書の部分の場所を特定するのに要する処理オーバヘッドが減少する。
【発明を実施するための最良の形態】
【０００８】
図１は、本発明の様々な態様を実装するのに使用することのできる、従来の汎用デジタル計算環境の例を示す機能ブロック図である。図１において、コンピュータ１００は、処理ユニット１１０、システムメモリ１２０、およびシステムメモリの処理ユニット１１０への結合を含む様々なシステム構成要素を結合する、システムバス１３０を含む。このシステムバス１３０は、メモリバスもしくはメモリコントローラ、周辺バス、および様々なバスアーキテクチャの任意のものを使用するローカルバスを含む、いくつかの種類のバスアーキテクチャの任意のものでよい。システムメモリ１２０は、読取り専用メモリ（ＲＯＭ）１４０およびランダムアクセスメモリ（ＲＡＭ）１５０を含む。
【０００９】
スタートアップ時などに、コンピュータ１００内の要素間での情報の転送を助ける基本ルーチンを含む、基本入出力システム１６０（ＢＩＯＳ）がＲＯＭ１４０に記憶されている。また、コンピュータ１００は、ハードディスク（図示せず）に対して読出しおよび書込みを行うためのハードディスクドライブ１７０、取り外し可能磁気ディスク１９０に対する読出しおよび書込みを行う磁気ディスクドライブ１８０、およびＣＤ  ＲＯＭまたはその他の光学媒体などの取り外し可能光学ディスク１９２に対して読出しおよび書込みを行う光学ディスクドライブ１９１を含む。ハードディスクドライブ１７０、磁気ディスクドライブ１８０、および光学ディスクドライブ１９１は、それぞれハードディスクドライブインタフェース１９２、磁気ハードディスクドライブインタフェース１９３、および光学ディスクドライブインタフェース１９４によってシステムバス１３０に接続されている。これらのドライブおよびそれらに関連するコンピュータ読み取り可能媒体は、コンピュータ読み取り可能命令、データ構造、プログラムモジュールおよびパーソナルコンピュータ１００用のその他のデータに対する不揮発性記憶を可能にする。当業者であれば、磁気カセット、フラッシュメモリカード、デジタルビデオディスク、ベルヌーイカートリッジ、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）などの、コンピュータによりアクセス可能なデータを記憶することのできるその他の種類のコンピュータ読み取り可能媒体も、例示のオペレーティング環境において使用できることを認識するであろう。
【００１０】
ハードディスクドライブ１７０、磁気ディスク１９０、光学ディスク１９２、ＲＯＭ１４０またはＲＡＭ１５０には多数のプログラムモジュールを記憶することが可能であり、それには、オペレーティングシステム１９５、１または複数のアプリケーションプログラム１９６、その他のプログラムモジュール１９７、およびプログラムデータ１９８が含まれる。ユーザは、キーボード１０１およびポインティングデバイス１０２などの入力デバイスを介して、コンピュータ１００に指令および情報を入力することができる。その他の入力デバイス（図示せず）には、マイクロフォン、ジョイスティック、ゲームパッド、サテライトディッシュ、スキャナーなどがある。これらおよびその他の入力デバイスは、システムバスに結合されたシリアルポートインタフェース１０６を介して処理ユニット１１０に接続されることが多いが、パラレルポート、ゲームポートまたはユニバーサルシリアルバス（ＵＳＢ）などのその他のインタフェースによって接続することもできる。さらに、これらのデバイスは、適当なインタフェース（図示せず）を介してシステムバス１３０に直接接続することもできる。モニタ１０７またはその他の種類の表示デバイスも、ビデオアダプタ１０８などのインタフェースを介してシステムバス１３０に接続される。モニタの他に、パーソナルコンピュータには、通常、スピーカやプリンタなどのその他の周辺出力デバイス（図示せず）が含まれる。好ましい一実施形態においては、フリーハンド入力をディタルで取り込むために、ペンデジタイザ１６５と付属のペンまたはスタイラス１６６が提供される。ペンデジタイザ１６５とシリアルポートの間の直接接続を示してあるが、実際には、ペンデジタイザ１６５は、パラレルポートまたは当該技術において知られているその他のインタフェースおよびシステムバス１３０を介して、処理ユニット１１０に直接、結合することができる。さらに、デジタイザ１６５はモニタ１０７から離れて示されているが、デジタイザ１６５の利用可能な入力領域をモニタ１０７の表示領域と同じ広がりにすることが好ましい。さらに、デジタイザ１６５は、モニタ１０７内に一体化するか、またはモニタ１０７に重ねるか、またはその他の方法で付属させた別個のデバイスとすることもできる。
【００１１】
コンピュータ１００は、遠隔コンピュータ１０９などの、１または複数の遠隔コンピュータへの論理接続を使用してネットワーク化された環境内で作動することが可能である。この遠隔コンピュータ１０９は、サーバ、ルーター、ネットワークＰＣ、ピアデバイスまたはその他の共通ネットワークノードとすることが可能であり、一般的には、コンピュータ１００に関して上述した要素の多くまたはすべてを含むが、メモリ記憶装置１１１だけを、図１に示してある。図１に示す論理接続には、ローカルエリアネットワーク（ＬＡＮ）１１２およびワイドエリアネットワーク（ＷＡＮ）１１３がある。このようなネットワーキング環境は、オフィス、企業内コンピュータネットワーク、イントラネットおよびインターネットにおいて普及している。
【００１２】
ＬＡＮネットワーキング環境において使用されるときには、コンピュータ１００は、ネットワークインタフェースまたはアダプタ１１４を介してローカルネットワーク１１２に接続される。ＷＡＮネットワーキング環境で使用されるときには、パーソナルコンピュータ１００は、一般にモデム１１５またはインターネットなどのワイドエリアネットワーク１１３上で通信を確立するためのその他の手段を含む。モデム１１５は、内蔵式でも外付け式でもよく、シリアルポートインタフェース１０６を介してシステムバス１３０に接続される。ネットワーク化された環境において、パーソナルコンピュータ１００、またはその部分と関係して示したプログラムモジュールは、遠隔メモリ記憶装置に記憶することができる。
【００１３】
図示したネットワーク接続は説明のためのものであり、コンピュータ間の通信リンクを確立するその他の技法も使用することができることが認識されるであろう。ＴＣＰ／ＩＰ、イーサネット（登録商標）、ＦＴＰ、ＨＴＴＰ、ブルートゥース（Bluetooth）、ＩＥＥＥ８０２．１１ｘその他などの多種多様な良く知られたプロトコルの任意のものがあることを仮定しており、システムはクライアントサーバ構成で動作して、ユーザに、ウェブベースのサーバからウェブページを検索することを可能にする。様々な従来型のウェブブラウザを使用して、ウェブページ上のデータを表示かつ操作することができる。
【００１４】
（画像取り込み装置）
本発明の様々な実施形態を利用して、一連の画像によって取り込まれた文書の部分の場所を特定することができる。上記のように、画像に取り込まれた文書の部分の場所の特定は、紙、表示スクリーン、またはその他の文書の表示手段とユーザとの相互作用の場所を確かめるのに使用することができる。本発明のいくつかの実施形態によれば、画像は、紙上にインクで書くのに使用するインクペンによって取得することができる。本発明のその他の実施形態では、ペンは、文書を表示するデジタイザの表面上に電子インクで「書く」ために使用するスタイラスとすることができる。
【００１５】
図２Ａおよび２Ｂは、本発明の様々な実施形態に使用することのできるペン２０１の例を示す。ペン２０１は、チップ２０２とカメラ２０３とを含む。チップ２０２は、インク容器を含んでも、含まなくてもよい。カメラ２０３は、表面２０７から画像２０４を取り込む。ペン２０１には、破線ボックス２０６に表わすように、追加のセンサおよび／またはプロセッサを含めてもよい。また、これらのセンサおよび／またはプロセッサ２０６は、（例えば、ブルートゥースまたはその他の無線プロトコルを介して）別のペン２０１および／またはパーソナルコンピュータに情報を伝達する能力を含んでもよい。
【００１６】
図２Ｂは、カメラ２０３より見た画像を表す。説明のための一例においては、カメラ２０３によって取り込まれる画像の解像度は、Ｎ×Ｎピクセル（ここでＮ＝３２）である。したがって、図２Ｂは、長さ３２ピクセル、幅３２ピクセルの例示画像を示す。Ｎの大きさは調整可能であり、Ｎの値が大きくなると、画像の解像度は高くなる。また、カメラ２０３によって取り込まれた画像を、ここでは説明の目的で正方形として示してあるが、カメラの視野は、当該技術分野で知られている、その他の形状を含んでもよい。
【００１７】
カメラ２０３によって取り込まれる画像は、画像フレームの列｛Ｉｉ｝として定義することができ、ここでＩｉは、サンプリング時刻ｔｉにペン２０１によって取り込まれる。サンプリング速度は、システム構成および性能要件に応じて、大きくまたは小さくすることができる。取り込まれた画像フレームの大きさは、システム構成および性能要件に応じて、大きくても小さくてもよい。またここで、カメラ２０３によって取り込まれる画像は、処理システムが直接に使用するか、または予備フィルタリングにかけることができることを認識すべきである。この予備フィルタリングは、ペン２０１で行っても、またはペン２０１の外部（例えば、パーソナルコンピュータ）で行ってもよい。
【００１８】
図２Ａは、場所２０４からのパターンの画像２１０がその上に形成される画像面２０９も示している。対象面２０７上のパターンから受け取る光が、レンズ２０８によって焦点を合わせられる。本発明の様々な実施形態によれば、レンズ２０８は、単一レンズとするか、または複合部品のレンズシステムとすることができるが、本明細書では簡単にするために単一レンズとして表す。画像取り込みセンサ２１１は、画像２１０を取り込む。
【００１９】
画像センサ２１１は、画像２１０を取り込むのに十分な大きさとすることができる。代替選択肢としては、画像センサ２１１を、場所２１２で、ペン先２０２の画像を取り込むのに十分な大きさにする。参照のために、場所２１２における画像を、仮想ペン先と呼ぶことにする。ここで注意すべきは、画像センサ２１１に対する仮想ペン先場所は、ペン先、レンズ２０８、および画像センサ２１１の間の関係が一定であるので、固定されていることである。
【００２０】
上述のように、ペン２０１は、典型的には、紙の上に印刷された文書などの、媒体上の位置を識別するためのパターンを表示する媒体と共に使用される。有利には、このパターンを使用して、カメラ２０３によって取り込まれる画像２１０を、媒体上の外見に対応する形態に変換することができる。例えば、以下の変換ＦＳ→Ｐは、カメラ２０３が取り込む画像２１０を一枚の紙の上の実画像に変換する。  
Ｌｐａｐｅｒ＝ＦＳ→Ｐ（ＬＳｅｎｓｏｒ）
書込み中、ペン先と紙は同一面上にある。したがって、仮想ペン先から実ペン先への変換も、やはりＦＳ→Ｐとなる。  
Ｌｐｅｎｔｉｐ＝ＦＳ→Ｐ（Ｌｖｉｒｔｕａｌ−ｐｅｎｔｉｐ）
この変換ＦＳ→Ｐは、アフィン変換として推定することができる。これは、ＦＳ→Ｐの推定として、次式、
【００２１】
【数１】
0004651391.tif 000002
【００２２】
のように簡略化され、ここでθｘ、θｙ、ｓｘおよびｓｙは、場所２０４で取り込まれたパターンの２つの方向の回転および縮尺である。さらに、取り込まれた画像を、対応する紙上の実画像とマッチングさせることによって、Ｆ’Ｓ→Ｐを精密化（refine）することができる。「精密化する」とは、再帰法と呼ばれる、一種の最適化アルゴリズムによって、変換ＦＳ→Ｐのさらに精密な推定を得ることである。再帰法は、マトリックスＦ’Ｓ→Ｐを初期値として扱う。精密化された推定は、ＳとＰの間の変化をより精密に記述する。
【００２３】
仮想ペン先の場所は、較正によってさらに精度よく特定することができる。仮想ペン先の場所を較正するために、ユーザは、紙上の固定された場所Ｌｐｅｎｔｉｐ上にペン先２０２を置く。次に、ユーザは、ペンを傾けて、カメラ２０３が、異なるペン姿勢での一連の画像を取り込めるようにする。取り込まれた各画像について、変換ＦＳ→Ｐが得られる。この変換から、仮想ペン先の場所Ｌｖｉｒｔｕａｌ−ｐｅｎｔｉｐが得られる。  
Ｌｖｉｒｔｕａｌ−ｐｅｎｔｉｐ＝ＦＰ→Ｓ（Ｌｐｅｎｔｉｐ）
ここで、Ｌｐｅｎｔｉｐは、（０，０）として初期化され、また次式が成り立つ。  
ＦＰ→Ｓ＝（ＦＳ→Ｐ）−１
各画像から得られるＬｖｉｒｔｕａｌ−ｐｅｎｔｉｐを平均化することによって、仮想ペン先の場所Ｌｖｉｒｔｕａｌ−ｐｅｎｔｉｐを特定することができる。Ｌｖｉｒｔｕａｌ−ｐｅｎｔｉｐが得られると、Ｌｐｅｎｔｉｐのより正確な推定値が得られる。数回の反復の後に、仮想ペン先の正確な場所Ｌｖｉｒｔｕａｌ−ｐｅｎｔｉｐを特定することができる。
【００２４】
（媒体上の位置を識別するためのパターン）
上述のように、本発明の様々な実施形態が、取り込まれた画像に対応する文書の部分を特定するために利用されるが、ここで文書を表示する媒体も、媒体上の異なる位置を識別するためのパターンを含む。すなわち、このパターンは、表示形態での符号化データストリームであると考えることができる。このパターンを表示する媒体は、印刷した紙（またはその他の物理的媒体）とするか、またはその代わりに別の１または１組の画像と合わせて符号データストリームを投影するディスプレイとすることができる。例えば、符号化データストリームは、紙上の物理的画像として、または表示画像の上に重ねた画像として表わすか、あるいはディスプレイスクリーンと組み合わせるか、それに重ねた（その結果、ペンによって取り込まれる画像部分はすべてディスプレイスクリーン上で位置決め可能である）物理的符号化パターン（すなわち、修正不能パターン）とすることができる。
【００２５】
図３Ａは、第１ビットおよび第２ビットを媒体上の位置を識別するためのパターンに符号化する、符号化技法の一例を示す。第１ビット３０１（例えば、「１」の値を有する）は、黒いインクの列で表されている。第２のビット３０２（例えば、「０」の値を有する）は、黒いインクの行で表される。しかしながら、ここで様々なビットを表わすのに任意のカラーインクを使用できることを認識すべきである。選択するインクの色における唯一の要件は、それが媒体の背景と十分なコントラストを有して、画像取り込みシステムによって区別が可能であることである。この例においては、図３Ａのビットは、３×３のドットマトリックスで表わされている。このマトリックスの大きさは、媒体の画像を取り込むのに使用されている画像取り込みシステムの大きさおよび解像度に基づいて、任意所望の大きさに修正することができる。
【００２６】
０および１の値を用いるビットの代替表現を図３Ｃ〜図３Ｅに示してある。ここで、図３Ａ〜図３Ｅのサンプル符号化に対する１または０の表現は、影響を与えることなく切り替えることができることを認識すべきである。図３Ｃは、交差配列にした２つの行または列を占めるビット表現を示す。図３Ｄは、破線形態の行および列にしたピクセルの代替配列を示す。最後に図３Ｅは、不規則間隔の形式（例えば、２つの黒の点の後に１つの空白点が続く）にした行と列のピクセル表現を示す。
【００２７】
ここで、代替的なグリッド整列も可能であることに注意すべきである。これは、下にあるグリッドの非水平および非垂直配列（例えば、ここでパターンの正しい方向が４５度である）への回転を含む。非水平や非垂直の配列を使用すると、ユーザは、水平および垂直パターンを他のものよりも先に気づきやすいので、ユーザの視覚的な不注意をなくすことができる利点が期待できる。しかしながら、簡単にするために、グリッドの方位（下にあるグリッドの水平、垂直およびその他所望の回転）は、まとめて事前定義グリッド方位と呼ぶことにする。
【００２８】
図３Ａに戻ると、ビットが３×３のマトリックスの要素で表わされ、画像システムが、３×３領域内で１つの黒の行と２つの白の行を検出すると、この領域はゼロの値（あるいは、１の値）として検出される。３×３の領域で、黒の列と２つの白の列が検出されると、その領域は、１の値（あるいは、ゼロの値）として検出される。したがって、図２Ｂの画像２１０の大きさが３２×３２ピクセルであり、各符号化ユニットの大きさが３×３ピクセルであれば、取り込まれる符号ユニットの数は、約１００ユニットとなる。符号化ユニットサイズが５×５であれば、取り込まれる符号化ユニットの数は約３６である。
【００２９】
図３Ａに示すように、複数のピクセルまたはドットを使用して１ビットを表わすことができる。単一のピクセル（またはドット）を使用して１ビットを表わすのは脆弱である。塵、紙の折り目、非平坦表面、その他によって，データユニットの単一要素表現の読み取りが困難となる。しかしながら、ビットを表わす複数の要素を用いても、文書内のタイプ印字されたテキストなどの、パターンを有する媒体上に表示される他のテキストによって、パターン内の１または複数のビットが隠ぺいされる可能性がある。
【００３０】
ビットストリームを使用して、図３Ｂのグラフィックパターン３０３を生成することができる。グラフィックパターン３０３は、１２の行と１８の列を含む。より具体的には、行および列は、ビット表現３０１および３０２を使用してグラフィックパターン３０３に変換されたビットストリームによって形成される。すなわち、図３Ｂのパターン３０３は、以下のビット表現を有すると見ることができる。
【００３１】
【数２】
0004651391.tif 000003
【００３２】
様々なビットストリームを使用して、図３Ｂに示す画像３０３を生成することができる。例えば、１およびゼロのランダムまたは擬似ランダム列を使用することができる。このビット列は、行、列、斜め、または任意その他の定型順序に配列することができる。例えば、上記のマトリックスは、左から右に、次に下に進むと、以下のビットストリームによって形成することができる。  
0100  0111  0110  0100  1000  1110  0111  0100  1100
上記のマトリックスは、上から下へ、次に右に進めば、以下のビットストリームによって形成することができる。  
0101  1100  0011  0010  0110  1001  1001  1110  0010
上記マトリックスは、斜めに進み次に折り返すと、次のビットストリームを表わすことができる。  
0110  0000  0101  0101  1000  0011  1111  1010  1010
【００３３】
図３Ｂは、画像３０３からのピクセルブロックの拡大を含む。拡大３０４〜２１１は、５×５ピクセルブロックを示す。ピクセルブロック３０４は、白の行の間の黒の行を示す。ピクセルブロック３０５は、白の列の間の黒の列を表わす。ピクセルブロック３０６は、下左角を示す。ピクセルブロック３０７は、上右角を示す。ピクセルブロック３０８は、左に黒の半分の行を含む黒の列を示す。ピクセルブロック３０９は、行の上に黒の半分の列を含む黒の行を示す。ピクセルブロック３１０は、黒の半分の行を示す。ピクセルブロック３１１は、黒の半分の列を示す。ピクセルブロックの組合せを解析することによって、すべてのピクセルの組合せを、ピクセルブロック３０４〜３１１にある画像セグメントによって形成できることを認識すべきである。図３Ｂに示す種類のパターンは、「迷路」パターンと呼ぶことができるが、それはラインセグメントが、どの領域も迷路によって４辺を完全に包囲されることのない、迷路を形成しているように見えるからである。
【００３４】
これ以上の説明がなくとも、図３Ｆ〜図３Ｉに示すピクセルの４つの「角」の組合せのそれぞれは、画像３０３に示す迷路パターン内にあることが予測されるであろう。しかしながら、図３Ｂでわかるように、３つの種類の角だけが、８つのピクセルブロック３０４〜３１１内に実際に存在する。この例においては、図３Ｆに示すピクセルの組合せによる角がない。画像セグメント３０１および３０２を選択してこの方法で角の１つの種類を消去することによって、失われた種類の角に基づき、取り込まれた画像の方位を特定することができる。
【００３５】
例えば、図４に示すように、カメラ２０３によって取り込まれた画像４０１を解析して、画像４０１が実際に表す位置を説明可能なように、その方位を特定することができる。最初に、画像４０１を調べて、画像４０１の中で迷路パターンを形成するピクセルと、このパターンのピクセルが水平および垂直に整列されるように、画像を回転するのに必要な角度θとを特定する。ここで、上述のように、下にあるグリッドを非水平や非垂直の配列に回転させることを含めて、代替的な（例えば、パターンの適正な方位が４５度である）グリッド整列が、本発明の異なる実施態様について可能であることに留意すべきである。
【００３６】
次に、画像４０１を解析して、どの角が足りないかを特定する。画像４０１を、復号化が可能な画像４０３に回転するのに必要な回転量ｏを、ｏ＝（θ＋回転量（どの角が足りないかで定義される））として示してある。回転量は、図５に式によって示される。図４に戻ると、角度θは、最初に、ピクセルの水平および垂直（または、その他の所定のグリッド方位）配列に達するピクセルの配置によって特定し、画像を４０２で示すように回転する。次に、足りない角を特定する解析を実施して、画像６０２を画像６０３に回転させて、画像の復号のための設定をする。ここで、画像は、反時計回りに９０度回転されて、その結果、画像６０３は正しい方位となり、復号のために使用することができる。
【００３７】
回転角θは、画像６０１の回転の前または後に適用して、足りない角を説明することができることを認識すべきである。また、取り込まれた画像内でのノイズを考慮すると、４つの種類の角のすべてが存在する可能性があることを認識すべきである。したがって、本発明の様々な実施形態については、それぞれの種類の角の数を数えて、角の数が最小である種類を、足りない角の種類であると特定することができる。
【００３８】
最終的に、画像４０３内の符号が読み出されて、画像３０３を生成するのに使用された元のビットストリームとの相関を求める。この相関は多数の方法で実施することができる。例えば、それは再帰技法で実施して、この方法では、復元されたビットストリームが、元のビットストリーム内のその他すべてのビットストリーム断片に対して比較される。第２に、例えば、２つのビットストリームの間のハミング距離（hamming distance）を使用して、復元ビットストリームと元のビットストリームの間の統計解析を実施することができる。種々の技法を使用して、元のビットストリーム内における復元ビームストリームの場所を特定することができることがわかる。
【００３９】
上述したことから、上記の迷路パターンは、一枚の紙やデジタイザのディスプレイなどの媒体の表面上に情報を符号化するのに使用できることが認識されるであろう。次に、この情報が、ペン２０１のカメラ２０３によって１または複数の画像に取り込まれて復号される。媒体の表面に符号化することのできる特に有用な種類の情報は、位置情報である。ビットストリームの部分が媒体上で反復されないと、コンピュータ１０１は、特有のビットストリームを含む文書の部分を特定することができる。
【００４０】
パターンの全部分が画像内に取り込まれると、コンピュータ１０１は、上述のように、画像内に取り込まれた文書の部分を特定することができる。しかしながら、状況によっては、パターンの一部が隠ぺいされることがある。例えば、媒体が、タイプ印字されたテキストを含む文書であると、このテキストがパターン内の１または複数のビットを部分的に隠ぺいする可能性がある。上記の例（各ビットが３×３マトリックスのピクセルからなり、カメラ２０３の解像度が３２×３２ピクセルである）について、６０以上のビットが画像から識別される場合には、コンピュータ１０１が、画像内に取り込まれた文書部分の位置を特定できる可能性が高い。しかしながら、その画像内で３６から６０ビットを識別できる場合でも、コンピュータ１０１は、画像に取り込まれた文書の位置を特定できる可能性がある。さらに、画像から３５以下のビットしか識別できない場合には、コンピュータ１０１は画像内に取り込まれた文書の位置を特定することはできないことになる。
【００４１】
（高速画像マッチングによるローカリゼーション）
上記のように、画像から不十分な数のビットが識別されるときには、コンピュータ１０１は、文書のどの部分が画像に取り込まれたかを特定することができない。代わりに、コンピュータ１０１は、画像内に書類のどの部分が取り込まれたかを特定するのに、代替技法を利用しなくてはならない。取り込まれた画像と文書画像の間の変換（例えば、回転、縮尺、その他）を最初に推定して、それによって、取り込まれた画像を、電子文書画像のそれと同一の回転および縮尺を有するようにワープできるようにしなくてはならない。変換が未知の場合には、可能性のあるすべての回転および縮尺を考慮しなくてはならない。結果的に、文書が電子形態で記憶されている場合には、コンピュータ１０１は、電子文書の各場所について、ワープされた画像内のすべてのピクセルのピクセル単位比較を実施することができる。しかしながら、この技法は、多数の比較プロセスを必要とすることがある。例えば、１頁の電子文書は、１４１０×２０１９のピクセルを含むことがあり、２，８８９，０９０（１４１０×２０１９）回の比較が必要となる。さらに、各比較プロセスが、多数のピクセルを比較する。例えば、１つの取り込まれた画像は、１０２４（３２×３２）ピクセルを含むことがある。したがって、この技法は、大きなプロセッサオーバヘッドを必要として、時間がかかる。
【００４２】
その代わりに、コンピュータ１０１は、本発明の様々な実施形態による、高速画像マッチングを実施することによって画像をローカライズすることができる。以下に詳細を説明するように、取り込まれた画像内に参照ピクセルを選択する。電子文書内の、参照ピクセルと対応付けることのできない場所（例えば、ピクセル）は消去される。次に、コンピュータ１０１は、画像を文書とピクセル単位の比較を実行して、その結果、参照ピクセルは、消去されなかった文書内の場所とだけ比較される。このようにして、画像に取り込まれた文書の場所が識別される。
【００４３】
図６は、本発明の様々な実施形態による高速画像マッチングを実行するのに利用できるツール６０１を示す。このツール６０１には、画像受取りモジュール６０３、迷路パターン解析モジュール６０５、文書画像解析モジュール６０７、ピクセル偏移特定モジュール６０９、および画像比較モジュール６１１が含まれる。以下により詳細に述べるように、画像受取りモジュール６０３は、物理媒体上に表示された文書の一部分の画像を受け取り、これは、上述したような、迷路パターンなどのパターンを含む。次に、迷路パターン解析モジュール６０５がその画像を解析して、詳細を上記した迷路パターンなどの、画像内のパターンの回転および縮尺を得る。次に、文書画像解析モジュール６０７が、文書の電子版を解析して、例えば、文書内のテキストまたは図表によって、パターンが部分的に覆い隠されている場所を特定する。より具体的には、図示した本発明の実施形態については、文書画像解析モジュール６０７は、文書の電子版を解析して、確実な位置情報を提供するにはパターンが隠ぺいされすぎている領域を特定する。
【００４４】
次に、ピクセル偏移特定モジュール６０９が、取り込まれた画像内の参照ピクセルと取り込まれた画像内のパターンとの偏移を特定し、同時に画像比較モジュール６１１が、ワープされた（迷路パターン解析モジュール６０５から得られた回転および縮尺情報によってワープされた）画像を文書の電子版と比較する。より具体的には、画像比較モジュール６１１は、識別された隠ぺいされた領域にあり、かつ特定された偏移を有する文書場所に基づいて、ワープされた画像と文書の電子版をピクセル単位で比較する。図示した実施形態について、１または複数のモジュール６０３〜６１１を、コンピュータ１０１などのコンピュータ上で実行される命令によって実現することができる。しかしながら、本発明のさらに別の実施形態については、１または複数のモジュール６０３〜６１１は、ハードウェア構成要素を使用して実現することができる。
【００４５】
図７Ａ〜７Ｃは、例えば、ツール６０１などのツールを使用する、本発明の様々な実施例によって、使用可能な高速画像マッチングの方法を示す。ステップ７０１において、画像受取りモジュール６０３は、物理媒体上に表示される文書の部分の画像を受け取る。この媒体は、例えば、一枚の紙、文書の表示およびペン２０１からの入力の受け取りの両方の可能なデジタイザディスプレイ、またはその他任意の種類の物理媒体とすることができる。図示した実施形態については、受け取られた画像は、位置同定されていない、その他の技法を使用して文書の特定の部分と関連付けることのできない画像である。
【００４６】
次に、ステップ７０３において、画像に対して参照ピクセルが選択される。本発明の様々な実施形態については、参照ピクセルは、画像内の中央ピクセルとすることができる。以下の説明から明らかになるように、中央ピクセルを参照ピクセルに使用すると、プロセスに関連するいくつかの計算が求めやすくなる。しかしながら、本発明の別の実施形態については、参照ピクセルは任意の所望のピクセルとすることができる。例えば、参照ピクセルは、交替で画像内の上左端のピクセル、画像内の下左端ピクセル、画像内の上右端ピクセル、または下右端ピクセルとすることができる。
【００４７】
次に、文書画像解析モジュール６０７は、文書の電子版を解析して、パターンが部分的に隠ぺいされた領域（以後、便宜的に「隠ぺい領域」と呼ぶ）、文書内の領域を特定する。本発明の様々な実施形態によれば、文書画像解析モジュール６０７は、パターンがスレッショルド量だけ隠ぺいされている、文書内の領域を明確に特定する。より具体的には、文書画像解析モジュール６０７は、パターンの多すぎる部分が隠ぺいされており、そのためにコンピュータ１０１がそれらの領域内の位置情報を特定することのできない、文書内の領域を識別する。
【００４８】
上記に詳細に説明したように、本発明の様々な実施例は、パターン内の各ビットが３×３ピクセルのマトリックスからなるパターンを使用する。さらに、本発明のいくつかの実施形態については、パターン化された文書の部分の画像を取り込むのに使用するカメラ２０３の解像度は、３２×３２ピクセルとすることができる。この配設によって、画像を解析するコンピュータ１０１は、６０以上のビットが画像から識別できれば、画像内に取り込まれる文書の部分の位置を特定できることになる。しかしながら、画像内で５９以下のビットが識別できる場合には、コンピュータ１０１は、画像内取り込まれた文書部分の位置を特定することはできない可能性がある。したがって、文書部分の画像がこの配設を用いて識別できない場合には、画像は、５９以下のパターンビット以外のすべてが隠ぺいされている、文書内の３２×３２ピクセル領域からなるものでなくてはならない。５９以下の非隠ぺいビットを有する文書内の３２×３２ピクセル領域を識別することによって、文書画像解析モジュール６０７は、画像の供給源として文書内の他の領域（すなわち、６０以上のビットが表示されている領域）を除外することができる。
【００４９】
文書画像解析モジュール６０７は、ステップ７０３において選択される参照ピクセルに対して、文書の隠ぺい領域を識別することに留意すべきである。例えば、中央ピクセルが、参照ピクセルとして選択されると、隠ぺい領域は、周囲のピクセルの３２×３２配列が、５９以下の非隠ぺいビットを有するピクセルで構成されることになる。同様に、参照ピクセルが、画像内の上右端のピクセルであれば、隠ぺい領域は、文書の下方かつ左方の３２×３２のピクセル配列が、５９以下の非隠ぺいビットを有する、文書ピクセルで構成されることになる。他方で、参照ピクセルが画像内の下右端ピクセルであれば、隠ぺい領域は、上方かつ右方の３２×３２のピクセル配列が５９以下の非隠ぺいビットを有する、文書ピクセルで構成されることになる。
【００５０】
ステップ７０６において、迷路パターン解析モジュール６０５は、受け取った画像の、文書に対する回転と縮尺を特定し、ピクセルオフセット特定モジュール６０９は、参照ピクセルのパターンからの偏移を特定する。ステップ７０７において、受け取られた画像は、回転および縮尺情報を用いてワープされる。例えば、上記に詳細を説明したように、ユーザは、カメラ２０３を包含するペン２０１を傾斜および回転させて、結果として得られる画像を、実際の文書に対して不規則な形状にすることがある。したがって、取込み画像の各ピクセルの正しい位置は、文書の個々の場所を指定するのに使用する座標値に変換しなくてはならない。例えば、画像が３２×３２ピクセルの場合には、ワーププロセスは、文書座標系に従ってすべてのピクセル１０２４の相対位置座標を計算することになる。したがって、ワープ操作は、アフィン変換であり、変換マトリックスを使用して実行される。これには、画像の回転および縮尺の変更を含むことになる。
【００５１】
画像は、上記に詳細に説明したように、迷路パターン解析から特定される縮尺および回転によってワープされる。上述のように、パターンは、互いに直交して、規則的な距離で間隔を空けられた直線で構成されている。したがって、画像内のパターンを識別することによって、迷路パターン解析モジュール６０５は、ｘおよびｙ方向に沿った画像パターンと文書パターンの間の角度差を特定することができる。また、迷路パターン解析モジュール６０５は、画像パターンの間隔と文書パターンの間隔との間の差異を特定することもできる。これらの差異に基づいて、迷路パターン解析モジュール６０５は、画像が文書の座標系に対応するように画像をワープするための変換を求めることができる。
【００５２】
上述のように、角の形状などのパターンの特異な特徴を使用して、文書に対する画像の絶対角度方位を識別することができる。しかしながら、これらの特異な特徴の発生（または欠如）が画像内で隠ぺいされると、迷路パターン解析モジュール６０５は、文書に対して画像の絶対角度方位を特定することができないことがある。このような状況では、ピクセル偏移特定モジュール６１１が、ワーププロセスを９０°間隔で４回反復して、文書座標に最適の方位のワープを識別することを確実にする。例えば、初期画像８０１を図８に示してある。この図は、追加の回転のない（すなわち、０°のワープ回転における）画像の第１のワープ８０３、および９０°の追加の回転をさせた（すなわち、９０°のワープ回転における）画像の第２のワープ８０５を示している。また図８は、１８０°の追加の回転を含む（すなわち１８０°のワープ回転における）画像の第３のワープ８０７、および２７０°の追加の回転を含む（すなわち２７０°のワープ回転における）画像の第４のワープ８０９も示している。以下により詳細を述べるように、ワープされた画像の回転のそれぞれは、文書と比較されることになる。
【００５３】
次に、ピクセル偏移特定モジュール６０９は、参照ピクセルからパターンの最も接近するセルまでの距離を特定する。さらに、この距離は、（文書内の場所が、例に示すようにデカルト座標系を使用して特定される場合には）ｘ方向およびｙ方向の両方で計算される。元の画像における迷路パターンの偏移が（ｄｘ，ｄｙ）で定義され、ワープマトリックスがＭである場合には、ワープ画像内のパターンからの参照ピクセルの偏移（（ｄｘ１，ｄｙ１）で表す）は、次式  
（ｄｘ１，ｄｙ１）Ｔ＝Ｍ（ｄｘ，ｄｙ）Ｔ
で計算することができ、ここで、Ｔはマトリックスに対する「転置」演算子である。
【００５４】
文書の電子版の座標系に対する偏移が特定されると、ステップ７０９においてピクセル偏移特定モジュール６０９は、文書内の各場所を検査して、その場所が参照ピクセルと同じ偏移を共有するかどうかを判定する。より具体的には、先に識別された文書の隠ぺい領域における各場所（ｘ，ｙ）が試験されて、その場所が参照ピクセルと同一の偏移を共有するかどうかを調べられる。隠ぺい領域におけるある場所の、（ｘ方向およびｙ方向の両方における）最も接近するパターンセルへの偏移が、０．７ピクセルなどのスレッショルド量によって参照ピクセルの偏移に合致する場合には、その場所は、画像内の参照ピクセルに対する可能なマッチングであると考えられる。したがって、文書場所ｘ，ｙは、次式：
ＣｅｌｌＤｉｓｔａｎｃｅ（ｘ＋ｄｘ１，ｈ）＜０．７；および
ＣｅｌｌＤｉｓｔａｎｃｅ（ｙ＋ｙｄ１，ｈ）＜０．７
が成り立つときに、画像内の参照ピクセルへの可能なマッチングであると考えられ、ここでｈは、迷路パターンセルの大きさであり、ＣｅｌｌＤｉｓｔａｎｃｅは、次式、
【００５５】
【数３】
0004651391.tif 000004
【００５６】
で定義され、ここでｍｏｄ（ａ，ｂ）はａ  ｍｏｄ  ｂを意味する。  
スレッショルド値０．７は、可能性のあるラスタ誤差および画像をワープする際に発生する可能性のあるその他の誤差を考慮するために選択されることに注意すべきである。望みに応じて、その他のスレッショルド値を代わりに使用することもできる。参照ピクセルの偏移に十分にマッチングする偏移を有する文書内の場所は、便宜上「マッチング場所」と呼ぶ。
【００５７】
ステップ７１１において、画像比較モジュール６１１は、マッチング場所（すなわち、画像の参照ピクセルの偏移に合致する隠ぺい領域内の場所）に基づいて、画像を文書と比較する。より具体的には、ワープされた画像は、文書の異なる部分と比較して、その結果、ワープされた画像内の参照ピクセルと文書内の各マッチング場所とが比較（文書内のマッチング場所とだけ比較）される。先に述べたように、この比較プロセスは、画像の各ワープ回転について反復される。ワープされた画像と文書の部分との比較は、例えば、文書部分のグレースケール値とワープされた画像のグレースケール値との相関を求めることである。もちろん、ワープされた画像を文書部分と比較する任意適当な技法を使用することができる。
【００５８】
ワープされた画像と文書部分との比較が、１または複数の望ましいスレッショルド要件を満たすと、画像比較モジュール６１１が、取り込まれた画像が文書部分の画像であると判定することになる。例えば、上述したように、ワープされた画像と文書部分とのそれぞれの比較によって、相関結果が生成される。本発明の様々な実施形態について、画像比較モジュール６１１は、例えば０．５（５０％）以上の相関を生成する比較を識別することになる。次に、画像比較モジュール６１１は、最高の相関を有する第１の比較および２番目に高い相関を有する第２の比較を識別することになる。第１の比較の相関値が、第２の比較の相関値よりも０．１高い（すなわち１０％高い）場合には、画像比較モジュール６１１は、ステップ７１７において、第１の比較に使用した画像部分は、画像に取りこまれた文書部分であると判定することになる。
【００５９】
どの比較相関値もスレッショルド量（例えば、０．５）を満たさない場合には、画像は、文書の特定の部分にマッチングされないことになる。同様に、いずれの比較相関値も他方の比較相関値よりも十分に高くない場合には、画像は文書の特定の部分にはマッチングされないことになる。画像が特定の文書部分にマッチングできない場合には、ステップ７１９において、別の位置決め未定の画像を画像受取りモジュール６０３が受け取り、上記の技法が反復される。
【００６０】
（結論）
本発明を実施するのに現時点で好ましい態様を含む特定の例について記述したが、当業者であれば、添付の請求項に記載された本発明の趣旨と範囲に入る、上記のシステムおよび技法についての多数の変形例および組合せがあることを認識するであろう。
【図面の簡単な説明】
【００６１】
【図１】本発明の実施形態と共に使用することのできるコンピュータの全体図である。
【図２Ａ】本発明の様々な実施形態にかかるペンの例を示す図である。
【図２Ｂ】本発明の様々な実施形態により得られる画像の解像度を示す図である。
【図３Ａ】本発明の実施形態による符号化システムの例を示す図である。
【図３Ｂ】本発明の実施形態による符号化システムの例を示す図である。
【図３Ｃ】本発明の実施形態による符号化システムの例を示す図である。
【図３Ｄ】本発明の実施形態による符号化システムの例を示す図である。
【図３Ｅ】本発明の実施形態による符号化システムの例を示す図である。
【図３Ｆ】本発明の実施形態による符号化システムの例を示す図である。
【図３Ｇ】本発明の実施形態による符号化システムの例を示す図である。
【図３Ｈ】本発明の実施形態による符号化システムの例を示す図である。
【図３Ｉ】本発明の実施形態による符号化システムの例を示す図である。
【図４】符号化パターンを使用して、文書の一部分から取り込まれた画像の回転を特定することを可能にする方法を示した図である。
【図５】文書の一部分から取り込まれた画像の回転を特定するのに使用することのできる公式を示す図である。
【図６】本発明の様々な実施形態にかかる取り込まれた画像を文書の一部分にマッチングするのに使用することができるツールを示す図である。
【図７Ａ】本発明の実施形態にかかる取り込まれた画像を文書の一部分にマッチングする方法を示すフローチャートである。
【図７Ｂ】本発明の実施形態にかかる取り込まれた画像を文書の一部分にマッチングする方法を示すフローチャートである。
【図７Ｃ】本発明の実施形態にかかる取り込まれた画像を文書の一部分にマッチングする方法を示すフローチャートである。
【図８】取り込まれた画像をワープして、９０°の倍数で回転させる方法を示す図である。
【符号の説明】
【００６２】
６０１  ツール
６０３  画像受取りモジュール
６０５  迷路パターン解析モジュール
６０７  文書画像解析モジュール
６０９  ピクセル偏移特定モジュール
６１１  画像比較モジュール
【図１】
0004651391.tif 000005
【図２Ａ】
0004651391.tif 000006
【図２Ｂ】
0004651391.tif 000007
【図３Ａ】
0004651391.tif 000008
【図３Ｂ】
0004651391.tif 000009
【図３Ｃ】
0004651391.tif 000010
【図３Ｄ】
0004651391.tif 000011
【図３Ｅ】
0004651391.tif 000012
【図３Ｆ】
0004651391.tif 000013
【図３Ｇ】
0004651391.tif 000014
【図３Ｈ】
0004651391.tif 000015
【図３Ｉ】
0004651391.tif 000016
【図４】
0004651391.tif 000017
【図５】
0004651391.tif 000018
【図６】
0004651391.tif 000019
【図７Ａ】
0004651391.tif 000020
【図７Ｂ】
0004651391.tif 000021
【図７Ｃ】
0004651391.tif 000022
【図８】
0004651391.tif 000023