(57)【特許請求の範囲】
【請求項１】
電子書類を受信し、文字、図形又は記号を１つ以上含む第１の境界枠と文字、図形又は記号を１つ以上含む第２の境界枠とを前記電子書類の中で判定し、文字列情報を生成し、前記電子書類及び前記文字列情報の関連付けを行うインデキシングモジュールと、
前記電子書類と、前記文字列情報と、前記電子書類及び前記文字列情報の関連性とを格納するデータストレージと、
検索対象の画像について前記インデキシングモジュールが生成した文字列情報と、前記データストレージに保存されている過去に受信した電子書類の文字列情報とを比較することで、前記検索対象の画像に対応する電子書類を検索する検索モジュールと
を有し、前記文字列情報は、前記第１の境界枠の場所、前記第１の境界枠から伸びる線と前記第１の境界枠の中心及び前記第２の境界枠の中心を結ぶ線との間に形成される第１の角度を量子化したもの、及び前記第２の境界枠の幅を規定する第２の角度を量子化したものを表す文字列を含む、システム。
【請求項２】
前記文字列情報がプレインテキストにより表現されている、請求項１記載のシステム。
【請求項３】
前記文字列情報は、前記電子書類の２次元構造からエンコードされた１次元の文字列情報である、請求項１記載のシステム。
【請求項４】
前記インデキシングモジュールは、前記電子書類と、前記電子書類のページと、前記ページ中の場所と、前記文字列情報とを関連付ける、請求項１記載のシステム。
【請求項５】
前記検索モジュールは、前記データストレージ及び前記インデキシングモジュールと通信を行うことで、文字列情報に含まれている文字列に関連付けられている１つ以上の元の電子書類を検索する、請求項１記載のシステム。
【請求項６】
前記検索対象の画像について前記インデキシングモジュールが生成した文字列情報は、受信した画像パッチから生成されている、請求項１記載のシステム。
【請求項７】
前記検索モジュールは、前記検索対象の画像に合致する見込みの高い電子書類の順序リストを抽出及び提示する、請求項１記載のシステム。
【請求項８】
前記電子書類中のスクリプトを量子化された特徴ベクトルのシーケンスに変換することで、電子書類を文字列情報に変換するグラフエンコーダを更に有する請求項１記載のシステム。
【請求項９】
前記第１及び/又は第２の角度を量子化するのに使用される量子化パラメータを修正することが可能な量子化モジュールを更に有する請求項１記載のシステム。
【請求項１０】
前記第１及び第２の境界枠が互いに隣接する幾何学的位置関係にあり、前記文字列情報が該幾何学的位置関係を表す、請求項１記載のシステム。
【請求項１１】
前記電子書類に含まれている文字列が西洋又は東洋の言語で表現されている、請求項１記載のシステム。
【請求項１２】
インデキシングモジュールが、電子書類を受信し、文字、図形又は記号を１つ以上含む第１の境界枠と文字、図形又は記号を１つ以上含む第２の境界枠とを前記電子書類の中で判定し、文字列情報を生成し、前記電子書類及び前記文字列情報の関連付けを行うステップと、
検索モジュールが、検索対象の画像について前記インデキシングモジュールが生成した文字列情報と、データストレージに保存されている過去に受信した電子書類の文字列情報とを比較することで、前記検索対象の画像に対応する電子書類を検索するステップと
を有し、前記データストレージは、前記電子書類と、前記文字列情報と、前記電子書類及び前記文字列情報の関連性とを格納し、
前記文字列情報は、前記第１の境界枠の場所、前記第１の境界枠から伸びる線と前記第１の境界枠の中心及び前記第２の境界枠の中心を結ぶ線との間に形成される第１の角度を量子化したもの、及び前記第２の境界枠の幅を規定する第２の角度を量子化したものを表す文字列を含む、検索方法。
【請求項１３】
前記文字列情報がプレインテキストにより表現されている、請求項１２記載の検索方法。
【請求項１４】
前記文字列情報は、前記電子書類の２次元構造からエンコードされた１次元の文字列情報である、請求項１２記載の検索方法。
【請求項１５】
前記関連付けを行うステップにおいて、前記電子書類と、前記電子書類のページと、前記ページ中の場所と、前記文字列情報とを関連付ける、請求項１２記載の検索方法。
【請求項１６】
前記検索するステップにおいて、文字列情報に含まれている文字列に関連付けられている１つ以上の元の電子書類を検索する、請求項１２記載の検索方法。
【請求項１７】
前記検索対象の画像について前記インデキシングモジュールが生成した文字列情報は、受信した画像パッチから生成されている、請求項１２記載の検索方法。
【請求項１８】
前記検索するステップにおいて、前記検索対象の画像に合致する見込みの高い電子書類の順序リストを抽出及び提示する、請求項１２記載の検索方法。
【請求項１９】
前記第１及び第２の境界枠が互いに隣接する幾何学的位置関係にあり、前記文字列情報が該幾何学的位置関係を表す、請求項１２記載の検索方法。
【請求項２０】
前記電子書類に含まれている文字列が西洋又は東洋の言語で表現されている、請求項１２記載の検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に画像又は一部の電子書類を使って電子書類を検索するシステム及び方法に関連する。電子書類をシンセティックテキスト(synthetic  text)に変換し、入力画像をシンセティックテキストに変換し、シンセティックテキストを比較して一致を探すことで、電子書類を検索するシステム及び方法に、本発明は特に関連する。
【背景技術】
【０００２】
ノイズの多い状況又は書類の非常に小さな一部しか与えられていない状況で電子書類を探すことは、非常に困難な問題である。書類の集まりが大きければ大きいほど、問題は困難になる。例えば、セルラ電話のカメラで撮影した印刷ページの一部のぼやけた又は判読しづらい画像の場合、資料の集成が大規模であれば、電子テキスト書類を検索することは困難である。この問題100は図１Ａに示されており、画像入力例102及び対応する元の電子書類104が図示されている。更に、書類104の中での場所(ロケーション)106及び対応する文字(テキスト)106を特定することは、更に困難である。高品質でないカメラや画像捕捉装置の急増と共に及び画像の送信に使用できる便利さと共に、この問題は深刻化するばかりである。
【０００３】
この問題に対処する従来法の１つは、画像の特徴を抽出し、その特徴の大半を含む書類をインデックスを使って検索する。例えば、インバーテッドファイル(inverted  file)を使用して、画像の個々の特徴を索引付けする。しかしながらその特徴は、矛盾無く正確に合致するほど充分な情報内容を用意していない。更に、入力画像の貧弱な品質に起因して、入力画像中の特徴を特定することはしばしば困難になる。入力画像の中で特徴が特定できた場合でさえ、ノイズが情報を劣化させ、時折その情報は合致する電子書類を発見できるほどには充分でない。言い換えれば、特徴が不適切に認識され、不適切な書類に合致することを招いてしまう。
【０００４】
他の方法は入力画像に光文字認識(OCR)を適用し、OCRプロセスの結果を使って書類中の文字列(又は文字列)を探すことである。しかしながら、この方法も上記と同じ問題を有し、画像品質が非常に悪いとOCRは効果的には作動しない。OCRが作動した場合でさえ、認識の際の誤り率が非常に高いので効果的でないサーチになってしまう。なぜなら、照合する書類は元の画像とそれほど相関を持っていないからである。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の課題は、電子書類をシンセティックテキストに変換することで電子書類を検索するシステムにより、従来の欠点を克服することである。
【課題を解決するための手段】
【０００６】
元の書類(オリジナル書類)の小さな一部分からでさえ、ハイレベルにノイズを含む画像を照合し、その小さな一部分の抽出元の書類の電子バージョンに至ることができる点で、本発明は特に有利である。言い換えれば、本発明は画像特徴を抽出するシステムをもたらし、その画像特徴は、曖昧な画像でも信頼性高く認識可能であり、書類を区別できるていどに充分識別できる。本発明は合致する書類を探す際に演算効率の良いインデキシング法をもたらし、その書類はノイズを含む特徴によっては影響されず、その方法はサンプル画像及び書類中の特徴の場所を当てにしている。
【０００７】
本発明のシステムは、電子書類をシンセティック言語でプレインテキスト書類に変換し、非常に拘束でスケーラブルな既存のテキスト書類検索アルゴリズムを活用できるようにし、テキストサーチの速度で任意の電子書類を検索可能にする。本発明は有利なことに電子書類とプレインテキストとの完全な正しい対応付け(マッピング)を用意し、プレインテキストはシンセティック言語におけるものであり、書類のシンセティックテキスト表現は、単独で、検索を実行するのに充分である。より具体的には、シンセティックテキストは、OCRとは異なり、（もしあったとしても）元の書類の自然言語内容を表現しない。本発明は、書類中の２次元情報を当てにして、２次元構造を１次元シンセティック言語にエンコードし、２次元書類がテキストサーチの速度で探索できるようにする。一形態では、システムは、インデキシングモジュール、検索モジュール、エンコーダ、量子化モジュール、検索エンジン及び制御モジュールをバスに結合された形式で含んでいる。多数の電子書類は先ずインデキシングモジュールで索引付けされ、シンセティックテキストライブラリに格納される。そして、検索モジュールは入力画像をシンセティックテキストに変換し、シンセティックテキストライブラリの中でそのシンセティックテキストに合致するものを探す。合致するものは、対応する電子書類を検索するために使用される。複数の合致及び対応する電子書類が、シンセティックテキストの類似度に応じた順序で検索及び格付けされてもよいことに留意すべきである。
【０００８】
１つ以上の形態における本発明は、書類をシンセティックテキストに変換することで書類を索引付けする方法を含み、及び本発明は書類を検索する方法も含み、該方法は、画像をシンセティックテキストに変換し、該シンセティックテキストとシンセティックテキストに変換されている書類とを比較して一致を探す。
【０００９】
ここで説明される特徴及び利点並びに更なる特徴及び利点は、以下の説明及び図面から当業者には明らかになるであろう。更に、本願で使用されている言葉は、原則として説明及び理解を意図して選択されているにすぎず、本発明の意図する範囲を限定しようとするものではないことに留意すべきである。
【発明を実施するための最良の形態】
【００１０】
本発明は添付図面と共に非限定的な実施例により説明され、図中同様な要素に言及するために同様な参照番号が使用される。
【実施例１】
【００１１】
電子書類をシンセティックテキストに変換し、そのシンセティックテキストを使って電子書類を検索するシステム及び方法が、説明される。以下の説明では、説明の目的で多くの具体的詳細が説明され、本発明の十分な理解を図っている。しかしながら、本発明はそのような具体的詳細によらずに実施できることは当業者に明らかであろう。また、本発明を曖昧にすることを避けるため、構造や装置はブロック図形式で示される。
【００１２】
本明細書における「一実施例」又は「実施例」は、その実施例に関して説明される特定の特質、構造又は特徴が、本発明の少なくとも１つの実施例に含まれることを意味する。本明細書の様々な場所で「一実施例」なる用語が使用されていることは、全て同じ実施例であることを必ずしも意味しているわけではない。
【００１３】
以下の詳細な説明の一部は、コンピュータメモリ内のデータビットを処理するアルゴリズム及び記号表現で与えられる。これらのアルゴリズムの説明及び表現は、データ処理技術分野の当業者が他の当業者に彼らの仕事内容を最も効率的に伝えるのに使用される手段である。ここで、アルゴリズムは一般に所望の結果に導く首尾一貫した一連のステップと考えられる。そのステップは物理量の物理的処理を必要とするものである。必須ではないが、通常それらの物理量は、格納、転送、結合、比較その他の処理を施すことの可能な電気的な又は磁気的な信号の形態をとる。原則的な一般的な用法の観点から、ビット、値、エレメント、シンボル、キャラクタ、期間、数等としてそれらの信号に言及することが折に触れて便利なことが分かる。
【００１４】
しかしながら、これらの及び類似の用語の全ては、適切な物理量に関連しており且つそれらの量に付された便宜的なラベルにすぎないことに留意を要する。特に断りのない限り、以下の説明から明らかなように、本説明を通じて、「処理」、「演算」、「計算」、「決定」又は「表示」等のような用語を用いる説明は、コンピュータシステム又は同様な電子コンピュータ装置の動作や処理に関連し、その動作や処理は、コンピュータシステムのレジスタ及びメモリの中で物理的な（電子的な）量として表現されるデータを、コンピュータシステムメモリやレジスタその他の情報ストレージ、伝送又は表示装置の中で物理量として同様に表現される他のデータに変換及び処理することが、理解されるであろう。
【００１５】
本発明はここで説明される処理を実行する装置にも関連している。その装置は、必要な目的に応じて特別に構築されてもよいし、コンピュータに格納されているコンピュータプログラムによって選択的にアクティブにされる又は再構成される汎用コンピュータで構築されてもよい。そのようなコンピュータプログラムはコンピュータ読取可能な記憶媒体に格納されてもよく、その記憶媒体は、限定ではないが、フロッピディスク、光ディスク、CD-ROM、磁気光ディスク、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気又は光カード等の如何なるタイプのディスクを含んでもよいし、或いは電子的な命令を格納するのに指摘した如何なるタイプの媒体を含んでもよいし、ディスクも媒体もそれぞれコンピュータシステムバスに結合される。
【００１６】
最後に、ここで説明されるアルゴリズム及び表示は、特定のコンピュータその他の装置のどれにも固有に関連するものではない。様々な汎用システムがここで教示するものによるプログラムと共に使用されてよく、或いは、必要な方法ステップを実行するように、よりいっそう特化した装置を構築することが便利なことが分かるかもしれない。これら様々なシステムに必要な構造は以下の説明から明らかになるであろう。更に、本発明は特定のプログラミング言語のどれにも依存しない。ここで説明される本発明の教示内容を実現するのに様々なプログラミング言語が使用されてよいことが分かるであろう。
【００１７】
システム
図１Ｂは本発明によるシステム例150の機能を示す図である。本発明は、有利なことに、書類の非常に小さな部分及び／又はノイズの多い画像152に基づいて、元の電子書類を特定する。システム150は画像152を受信し、画像は例えばセルラ電話(図示せず)に取り付けられているようなカメラで撮られた書類の小さな部分である。システム150は画像152をシンセティックテキスト表現158に変換し、これについては後に詳しく説明される。好ましくは、過去の何らかの時点でシステム150は複数の電子書類154a-nも受信しており；その書類を処理して対応するシンセティックテキストを生成し；それらを索引付けし、シンセティックテキスト書類のライブラリ160を構築している。システム150はシンセティックテキスト158とシンセティックテキストライブラリ160とを比較する。一実施例では、シンセティックテキストライブラリにおける書類の集成106の中で、シンセティックテキスト158の文字列を探すことで、上記の比較が行われる。これは、既存のテキストサーチエンジンのどれでもをその比較に使用してよい点で、特に有利である。従って、既存のテキスト検索エンジンの能力を余すところ無く活用できる。合致する書類164及び場所が確認され、インデックスを使用して元の書類166を検索する。これらはユーザに提示される又は表示されてもよい。
【００１８】
図２を参照するに、本発明の一実施例により構築されたシステム150の機能ブロック図が示されている。システム150は、好ましくは、制御部250、ディスプレイ装置210、キーボード212及びカーソル制御部214を有する。システム150は、通信装置216及び１つ以上の入力／出力(I/O)装置218を選択的に含む。
【００１９】
制御部250は、算術論理演算部、マイクロプロセッサ、汎用コンピュータ又は他の情報機器を有し、これらはディスプレイ装置210に電子表示信号を提供するように備わっている。一実施例では、制御部250はグラフィックユーザインターフェース(GUI)を有する汎用コンピュータを有し、例えば、そのGUIはウインドウズ(登録商標)又はユニックス(登録商標)のようなオペレーティングシステム上で動作するジャバ(Java(登録商標))で書かれたプログラムによって生成されてもよい。
【００２０】
更に図２を参照するに、制御部250はプロセッサ202、メインメモリ204及びデータストレージ装置206を含むように示され、それら全てはシステムバス208に通信可能に結合されている。
【００２１】
プロセッサ202は、データ信号を処理し、様々なコンピュータアーキテクチャを備えていてもよく、コンピュータアーキテクチャは、複合命令セットコンピュータ(CISC)アーキテクチャ、縮小命令セットコンピュータ(RISC)アーキテクチャ又は組み合わせの命令セットを実現するアーキテクチャを含んでよい。図２には１つのプロセッサしか図示されていないが、複数のプロセッサが含まれてもよい。
【００２２】
メインメモリ204は、プロセッサ202で実行されてもよい命令及び／又はデータを格納する。命令及び／又はデータは、本願で説明される技法の全部又は何らかの一部分を実行するコードを有する。メインメモリ204は、ダイナミックランダムアクセスメモリ(RAM)装置、スタティックランダムアクセスメモリ(SRAM)装置、又は当該技術分野で既知の他のメモリ装置でもよい。メモリ204は図３に関連して更に詳細に説明される。
【００２３】
データストレージ装置206は、プロセッサ202用のデータ及び命令を格納し、１つ以上の装置を有する。１つ以上の装置は、ハードディスクドライブ、フロッピディスクドライブ、CD-ROM装置、DVD-ROM装置、DVD-RAM装置、DVD-RW装置、フラッシュメモリ装置又は当該技術分野で既知の他の大容量ストレージ装置等を含む。一実施例では、データストレージ装置206はディスプレイ装置210で提示するデータを含む。別の実施例では、データストレージ装置は、システム150から離れてはいるが、高速アクセス通信可能に結合されている。
【００２４】
システムバス208は、制御部250の中で情報及びデータを通信するための共有バスを表す。システムバス208は１つ以上のバスを表現し、その１つ以上のバスは、工業規格アーキテクチャ(ISA)バス、周辺コンポーネント相互接続(PCI)バス、ユニバーサルシリアルバス(USB)又は同様な機能を備えた当該技術分野で既知の他のバスを含む。システムバス208を介して制御部250に結合される追加的なコンポーネントは、ディスプレイ装置210、キーボード212、カーソル制御部214、通信装置216及びI/Oデバイス218を含む。
【００２５】
ディスプレイ装置210は、上述したような電子画像及びデータを表示するように用意された如何なる装置を表現してもよい。一実施例では、表示装置210は、コンピュータ用の多くの従来のディスプレイシステムと同様な、表示領域を用意した液晶ディスプレイ(LCD)及び発光ダイオード(LED)であり、ステータスフィードバック、動作設定及び他の情報をユーザに与える。他の実施例では、ディスプレイ装置210は、例えば陰極線管ディスプレイでもよい。
【００２６】
キーパッド212は制御部250に結合された英数字入力装置を表し、情報及びコマンド選択内容をプロセッサ202に伝達する。キーパッド212はQWERTYキーパッド、キーのパッド、又はタッチスクリーン上でそのように表現されたものでもよい。
【００２７】
カーソル制御部214は、コマンド選択内容だけでなく位置データをもプロセッサ202に伝達するように備わっているユーザ入力装置を表現する。カーソル制御部は、トラックボール、スタイラス、ペン、タッチスクリーン、カーソル指示キー、又はカーソルを動かす他の手段を含んでもよい。一実施例では、カーソル制御部214はディジタイザであり、接触感知式の透明パネルが表示装置210の画面をカバーしている。
【００２８】
システム150は、以下に説明されるような通信装置216及び１つ以上の入力／出力(I/O)装置218を選択的に含む。
【００２９】
通信装置216はネットワークコントローラでもよく、制御部250をネットワーク（図示せず）に信号線220を介して結合し、ネットワークは複数の処理システムを含んでもよい。処理システムのネットワークは、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)（例えば、インターネット）及び／又は他の何らかの相互接続されたデータ経路(そのデータ経路で複数の装置が通信可能である)を含んでもよい。制御部250は、ネットワークのような他のシステムに対する他の通常の接続も有し、当業者に理解されるようなTCP/IP、http、https及びSMTPのような標準的なネットワークプロトコルを使ってファイル(メディアオブジェクト)を分配する。通信装置216は、他の実施例では、ブルートゥース(登録商標)トランシーバ、無線トランシーバ又は赤外線トランシーバを含み、チャネル220と共に通信を行う。
【００３０】
I/Oデバイス218はバス208に結合される。これらのI/O装置は一実施例ではシステムの一部分でもよい。I/O装置218は、オーディオ入力／出力装置を備え、マイクロホンを介して音声入力を受信し、スピーカを介して音声出力を送信してもよい。選択的に、I/Oオーディオ装置218は、１つ以上のアナログトゥディジタル又はディジタルトゥアナログ変換器、及び／又は１つ以上のディジタル信号プロセッサを含み、オーディオ処理を行ってもよい。一実施例では、I/O装置218は、汎用コンピュータシステムの中で使用するように設計された汎用のオーディオアドイン(general  purpose  audio  add-in)／拡張カードである。更に別の実施例では、入力／出力装置は、静止画及び動画並びに音を捕捉するカメラである。
【００３１】
システム150は、本発明の精神及び範囲から逸脱せずに、図２に示されるものより多い又は少ない要素を含んでよいことが、当業者に明らかであろう。例えば、システム150は、追加的なメモリ（例えば、第１又は第２レベルキャッシュ）又は１つ以上の特定用途向け集積回路(ASIC)を含んでもよい。同様に、追加的な要素が制御部250に結合され、制御部はRFIDタグリーダ、ディジタルスチル若しくはビデオカメラ又は他の装置(制御部250に電子データをダウンロードする及び／又は取得するように備わっていてもいなくてもよい)を含む。１つ以上の要素が省略されてもよい。
【００３２】
図３はシステム150のメモリ装置204の一例を示すブロック図である。メモリ装置204は、好ましくは、オペレーティングシステム302、アプリケーション304、インデキシングモジュール306、検索モジュール308、インデックス書類ストレージ310、スネークエンコーダ312、SIFTエンコーダ314、量子化モジュール316、検索エンジン318及び制御モジュール320を含む。メモリ装置204は、一時的にデータを格納するバッファを含んでいることも、当業者は認識するであろう。メモリ204はプロセッサ202で実行されてよい命令及び／又はデータを格納する。命令及び／又はデータは、上記の技法の全部又は何れかを実行するためのコードで構成される。これらのモジュール302-320は、通信及び協同するようにバス208によってプロセッサ202に結合される。本発明はメモリ204のモジュール又は一部として説明されるが、そのモジュール又は一部分は永続的なデータ格納装置206のような他の媒体に格納されてもよいことを、当業者は認識するであろう。
【００３３】
オペレーティングシステム302は、WINDOWS(登録商標)、SOLARIS(登録商標)、BREW(登録商標)、BREW(登録商標)、SYMBIAN(登録商標)、MAC-OS(登録商標)又はLINUX(登録商標)ベースのオペレーティングシステム等のような通常のタイプの何れかである。
【００３４】
メモリ204は１つ以上のアプリケーションプログラム304も含み、アプリケーションプログラムは、限定ではないが、ワードプロセシングアプリケーション、電子メールアプリケーション、財務アプリケーション及びウェブブラウザアプリケーションを含む。
【００３５】
インデキシングモジュール306は、本発明に従って、元の電子書類又は画像を索引付けするソフトウエア及びルーチンを含む。インデキシングモジュール306は、書類の電子バージョンから着手する。これは、元の書類、元の書類の画像でもよく、或いは元の書類の非常にノイズの多い画像の一部でもよい。基本的には、インデキシングモジュール306は、それが受信した電子書類のシンセティックテキスト(synthetic  text)を生成する。インデキシングモジュール306は、書類、ページ及びページ内の場所を、生成したシンセティックテキストと関連付ける。これは、シンセティックテキストを、元の電子書類に戻すインデックスとして使用可能にする。一実施例では、インデキシングモジュール306は、電子書類を受信し、テキストの境界枠(bounding  box)及び電子書類中の他の内容(コンテンツ)を特定し、その境界枠をシンセティックテキストに変換する。一実施例では、シンセティックワードは画像中の境界枠毎に作成される。インデキシングモジュール306の様々な例は、図４−６を参照しながら以下で詳細に説明される。索引付けを実行するため、インデキシングモジュール306は、スネークエンコーダ312、SIFTエンコーダ314及び量子化モジュール316に通信可能に結合される。これらの要素312,314,316及びそれらと協同するインデキシングモジュール306は以下で説明される。インデキシングモジュール306は、シンセティックテキストライブラリ160を生成するために使用されることが、理解されるべきである。インデキシングモジュール306によって書類がいったん処理されると、対応するシンセティックテキストが、インデックス書類ストレージ310に格納可能になる。インデックス書類ストレージ310に格納されたシンセティックテキスト表現の集成が、シンセティックテキストライブラリ160を形成する。
【００３６】
検索モジュール308は、入力画像に対応する1つ以上の書類を検索するソフトウエア及びルーチンである。検索モジュール308は、インデキシングモジュール306に関連して動作し、入力画像をシンセティックテキストに変換する。検索モジュール308は、インデキシングモジュール306と共に入力画像を処理することで生成されたシンセティックテキストを使用して、インデックス書類ストレージ310をサーチする。検索モジュール308は、検索エンジン318と協働するように通信可能に結合され、サーチ機能を提供する。更に、検索モジュール308は、合致するシンセティックテキストの部分に対応する１つ以上の元の電子書類を、シンセティックテキストライブラリ160から検索する。一実施例では、検索モジュール308は、入力画像に合っている傾向の最も強い書類のリストを順に与える。検索モジュール308の機能は、図7-9を参照しながら以下で更に詳細に説明される。
【００３７】
インデックス書類ストレージ310は、通常のタイプのストレージである。ストレージは揮発性及び不揮発性双方の組み合わせでもよい。インデックス書類ストレージ310は、元の電子画像又は書類、対応するシンセティックテキスト、シンセティックテキストと元の電子画像又は書類との間のインデックス等を格納する。例えば、一実施例では、インデックス書類ストレージは：XMLファイルのようなコンピュータ読取可能な形式の電子書類と、そのXMLファイルに対応するシンセティックテキストと、XMLファイル及びシンセティックテキスト間のインデックスとを含む。別の実施例では、例えば、インデックス書類ストレージは、元のアプリケーションファイル(例えば、MS-Wordファイル)、そのアプリケーションファイルがどのように印刷され又は表示されるかを表す画像ファイル、シンセティックテキスト、そして、シンセティックテキスト及びアプリケーションファイル間の1つ以上のインデックスを含む。
【００３８】
スネークエンコーダ312及びSIFTエンコーダ314は、シンセティックテキストを生成するために本発明で使用可能な２つのエンコーダ例である。エンコーダ312,314は別々に又は共に使用されてもよい。入力画像からシンセティックテキストを生成するために、様々な他のタイプのエンコーダが使用されてよいことを当業者は認識するであろう。他の実施例では、スパイラルエンコーダが使用される。スパイラルエンコーダは、境界枠に基づく点で以下に説明されるスネークエンコーダと同様であり、境界枠各々について１つのシンセティックワードを生成する。それは、各ワードから始まるパスを生成するのに同じ原理を使用し、そのパスをエンコードする。パスはワード周囲のスパイラルであり、ワードの中心を接続し、エンコードされるものは、セグメントの角度、及び／又はセグメントで結ばれる２ワードの相対的な長さ、及び／又は境界枠のアスペクト比、又は当業者に理解されるような他の同様なパラメータである。更に別の実施例では、エンコーダはグラフエンコーダである。グラフエンコーダは、境界枠各々についてグラフを生成する境界枠に基づく一群のエンコーダである。ある境界枠は異なる変形例では使用されないかもしれないが、グラフはワードのペア又は３ワードのグループ各々に作成され、或いはグラフは不連続でもよく又はパスでなくてもよく（例えば星形でもよい）、グラフの何らかのパラメータを特徴としてエンコードする。スネークエンコーダ及びスパイラルエンコーダは、グラフエンコーダの内の２つの具体例である。
【００３９】
スネークエンコーダ312は、画像をシンセティックテキストにエンコードするソフトウエア及びルーチンである。特に、スネークエンコーダ312は、西洋のキャラクタベースの言語を含む書類をエンコードするのに適している。特に、スネークコーディングは、西洋のスクリプトで書かれたページを、特徴ベクトルのシーケンスに変換する。テキストのパッチの画像から抽出されたこれらのベクトルの僅かなシーケンス（そのテキストのパッチの中で、ワードの境界ボックスが抽出可能である）は、書類データベースの中で元の場所を一意に特定するのに使用可能である。図10A-10Dを参照しながら、スネークエンコーダ312により実行されるプロセスが詳細に説明される。本実施例では、ワードの境界枠のレイアウトが特徴として変換され、書類データベース内での特定の場所 (書類ID、ページ番号及びページ上のx,y座標) を特定する。特に、隣接する境界枠の幾何学的関係が、シンセティックテキストのワードにエンコードされる。一実施例では、シンセティックテキストの1つのワードが、ページ上の各境界枠について生成される。所与の境界枠1008に関し、境界枠1008の中心から始まる区分的な線状経路(線分)上の境界枠の相対的な場所及びサイズの情報を、エンコーダは格納し、境界枠の中心を左右交互に下向きにつなぐ。図10Aは、複数の境界枠を含む書類画像1002を示す。所与の境界枠をエンコードする例が示され、所与の境界枠から画像の末端に至る経路において、境界枠の中心1004を使って蛇行した経路1006を生成している。代替実施例では、蛇行したパターンが所与の境界枠より下の所定数個の境界枠だけに続けられるように符号化（エンコード）は修正可能なことが、理解されるべきである。この固有のパスが文字列として符号化される。所与の境界枠1008の経路は、先ず境界枠の左下に進み、次に右下に交代している。特徴ベクトル内の各成分は、量子化されている角度に対応する。特定の例が図10Aに示されている。文字列中の各キャラクタは、量子化されている角度に対応する。文字列中の奇数番号のキャラクタは、経路中の境界枠の相対的な場所を記述する。図10Bを参照するに、所与の経路1006に関し、文字列中の奇数番号のキャラクタは、次の境界ボックスに向かう量子化された角度として示され、例えば、α1014、γ1016、ε1018及びθ1020のように示される。図10Cを参照するに、所与の経路1006に関し、偶数番号のキャラクタが、後続の境界枠の幅を、量子化された角度として記述しており、例えば、β1024、δ1026、ζ1028及びη1030のように示される。こうして、境界枠1008に対応するシンセティックテキストは、図10Dに示されるように、文字列αβγδεζθη1040になる。エンコーディング法を利用することは、多くの理由で有利である。第１に、角度を利用することは有利なことにエンコードをスケールに依存しないようにする。従ってカメラからの入力画像のスケールが元の画像から大きく異なっていたとしても、本発明では、２つの画像は一致したものとして認識される。第２に、蛇行の長さは、コレクションサイズ及び量子化レベルに応じて調整できる。蛇行の長さは、２ラインから残りのライン数までの（ページの終わりに至るまでの）いくつのライン数でもよい。これは特に有利である。なぜなら、シンセティックテキストライブラリ160のサイズに基づいて、利用可能な及び／又は必要な処理能力に本発明を合わせることが可能だからである。
【００４０】
一実施例では、ある特定のインデックスで望まれる全書類の全ページが上記のプロセスに従うエンコードを行っている。これは、ページ中の全ての境界枠がシンセティックワードを生成していることを意味する。印刷書類の場合、境界枠はプリンタドライバから取得可能であり、一般的には２次元画像処理よりも効率的である。これは、符号化がもたらすシンセティックテキストの利点であり、各ページが索引付けされてインデックス書類ストレージ310に格納されていることによる。
【００４１】
SIFTエンコーダ314は、画像をシンセティックテキストにエンコードするソフトウエアルーチンである。特に、SIFTエンコーダ314は、東洋の表意文字の言語を含む書類をエンコードするのに適している。SIFTエンコーダ314は、スネークエンコーダ312のものと同様な機能を実行する。SIFTエンコーダ314は、書類の中でスケール不変特徴変換(SIFT:  Scale  Invariant  Feature  Transformation)特徴に基づいて特徴ベクトルを生成する。特に、SIFT特徴は、アジアのスクリプトを含む書類に適用される場合、文字列に整合し、本発明によりそれらを適切にする。図11を参照するに、アジアのキャラクタを含む書類の場合のSIFT特徴の一例が示されている。SIFT特徴はキャラクタ間の領域各々について生成される。各SIFT特徴は、クラスタリング及び量子化を通じて、シンセティック言語のワードに変換される。文字列に整合するSIFT特徴の順序は、本発明が、一連のワードをパラグラフに変換することを可能にする。
【００４２】
スネークエンコーダ312又はSIFTエンコーダ314の代わりに、他の様々な符号化が使用されてもよいことを、当業者は認識するであろう。スネーク符号化は、２次元レイアウトを１次元の文字列にエンコードする基本特性を有する。主要な原理は、縦向きのレイアウト情報をワード内の文字列として、横向きの情報をワードの連結(concatenation)としてエンコードすることである。これは、次々に１列を格納することで、２次元行列をベクトルとして分類／整理することに似ている。他の符号化は、同じ特性を使用可能である。画像を含む、又は画像及び文字を含むパッチをエンコードできる符号化も可能である。スネークコーディングは、ローカルな方法を利用して、特徴ベクトル(即ち、パス上での角度)をワードに量子化する。即ち、角度は別々に量子化される。代替実施例では、分類子に基づいて特徴又はワードのグループをエンコードする方法が使用されてもよい。この方法では、ある分類子が使用され、所与のパスを数千カテゴリの内の１つに分類する。カテゴリをエンコードするワードは、実際にはパスを格納するのに使用される。分類子は、トレーニング例として多くの監視されるパスの下で、監視されていないクラスタリングを使用して構築される。より複雑な例の場合、パッチの人為的な画像処理により得られる同じレイアウトに対応する多くのパスは、同じクラスタに割り当てられるという制約を伴い且つ分類子が画像ノイズに更に堅牢になるという制約を伴う分類子に与えられる。同様に、有効化段階でインスタンスが混同するクラス−複数−には、「類似」(similar)ワードが与えられ、テキストサーチを行う際、その２つのクラスは、ある形式の編集距離の下で、近いものと考えられる（目下のスネークコーディングではそれは自然に起こっている。）。
【００４３】
量子化モジュール316は、スネークエンコーダ312又はSIFTエンコーダ314と共に協同して、符号化の調整及び最適化を行うソフトウエアルーチンを含む。一実施例では、角度の量子化（角度をキャラクタに変換すること）は、三角法の計算を避けるため、その角度の正接を線形に(y=x)量子化することで行われる。例えば、量子化の一例は以下の表１に示されている。
【００４４】
【表１】
0005176730.tif 000002
ビンの実際のサイズは調整可能である。量子化する境界枠がノイズの多い画像から取得される場合、より粗いビンはより少ない誤差をもたらすが、固有のパターンは少なくなる。そのような粗い量子化の例は以下の表２に示されている。
【００４５】
【表２】
0005176730.tif 000003
スネークエンコーダ312の場合、ノイズは偶数及び奇数のキャラクタで別様に影響を及ぼす。なぜならスネークエンコーダは異なる幾何学的性質をエンコードしているからである。従って一実施例では、偶数及び奇数キャラクタの異なる量子化が用意される。一実施例では、感度分析が実行され、問題の幾何学形状に起因して、様々なビンが様々なノイズレベルを体験するように、量子化を行う。更に別の実施例では、本発明は複数レベルの量子化を使用できる。第１レベルの量子化は、当然に、包括的なレベルにわたる量子化である。第２レベルの量子化は、精度を増した繊細なレベルのものである。検索モジュール308は、先ず第１レベルの量子化を使用することで、インデックス書類ストレージ310に格納されている書類の集成における一部の書類を特定する。そして、第２レベルの量子化を使って、特定されている第１の部分から更に少ない部分の書類を検索し、書類が認識される精度及び速度を向上させる。
【００４６】
検索エンジン318は、シンセティックテキストの文字列をシンセティックテキストのライブラリと比較するソフトウエア及びルーチンである。本発明の特に有利な点の１つは、既存のサーチエンジンの技術を活用及び適用できることである。検索エンジン318はグーグル(Google)、ヤフー(Yahoo)、オーバーチュア(Overture)等の現在利用可能な様々な商用サーチエンジンのどれでもよい。テキスト文字列を探すことができ且つページランク順に結果を返すことのできる如何なるサーチエンジンが使用されてもよい。検索エンジン318は、インデキシングモジュール306により生成されたシンセティックテキストの文字列を受信し、インデックス書類ストレージ310に格納済みのシンセティックライブラリ160の中で合致するパターンを探す。検索エンジン318は、一実施例では、検索モジュール308の制御の下で対話式に処理を進め、本発明による画像照合を実行する。
【００４７】
制御モジュール320は本発明によるプロセスを制御するソフトウエアルーチンである。特に、制御モジュール320は、図4-9を参照しながら以下で説明される方法に従って、メモリ装置204の他の要素とやりとりを行う。制御モジュール320は、メモリ204の他のモジュールを制御する別個のモジュールとして示されているが、当業者は、その制御機能がメモリ204の他のモジュールの中に分散されてもよいこと及び（独立した)制御モジュール320は省略されてもよいことを認識するであろう。
【００４８】
方法
図４は本発明により書類を索引付けする方法例のフローチャートを示す。本方法は電子書類を受信又は取得することで始まる402。そして本方法はエンコード用の２次元構造を決める404。一実施例では、その２次元構造は、図10を参照しながら説明されたような境界枠(bounding  box)である。代替実施例では、その２次元構造は図11に関して説明されたSIFT特徴である。次に、本方法はステップ402で受信した電子書類中の２次元構造を確認する406。そして本方法は、確認した２次元構造を１次元構造にエンコードする408。このエンコーディングには、上述のエンコード方法のどれを使用してもよい。そして、その１次元構造に書類及び場所が関連付けられる。最終的に、本方法はその関連性及び対応する１次元構造を例えばデータベースに格納する。このプロセスは、電子書類中の複数の２次元構造について反復され、例えば、所与の書類の或るページに関し、多くの関連付け／１次元構造のペアが存在する。更に、シンセティックテキストのライブラリ160を構築するのに書類がいくつ使用されてもよく、そのライブラリは、後に、対応する電子書類を発見するための検索に使用される。
【００４９】
図５を参照しながら、書類の索引付けを行う本発明による第２の方法例のフローチャートを説明する。本方法は電子書類を受信又は取得することで始まる502。次に、本方法は電子書類内のワード周囲の境界ボックスを決めることで、エンコード用の２次元構造を決定する504。次に、電子書類中の境界ボックスの各々が確認される506。そして、電子書類中で確認された境界枠どうしの空間的関係が、シンセティックテキストにエンコードされる508。特に、グラフエンコーダ(例えば、スネークエンコーダ312)を使用して、電子書類中の境界枠各々についてテキスト文字列を生成する。エンコーディングステップ508で生成されたシンセティックテキスト(例えば、テキスト文字列)の文字は、書類及び書類中の場所(その場所から文字が生成されている)に関連付けられる。例えば、書類ID、ページ及び書類中の境界枠のx,y座標が、テキスト文字列に関連付けられる。最終的に、その関連性は格納される512。例えば、シンセティックテキスト、書類名及び書類中の場所は、ルーセン(lucene)インデックスと共に格納されてもよい。
【００５０】
図６を参照しながら、書類の索引付けを行う本発明による第３の方法例のフローチャートを説明する。この第３の例は、アジアの言語又は表意文字を含む書類を索引付けするように意図されている。書類を索引付けする第３の方法例は、電子書類を受信／取得することで始まる602。本方法では、電子書類中のキャラクタ／ワード／キャラクタ間のスペースの各々について、SIFT特徴が決定される604。次に、電子書類中のSIFT特徴が確認される606。そして、SIFT特徴の空間的関係が、シンセティックテキストにエンコードされる608。例えば、SIFTエンコーダ314を使用して、書類画像中のSIFT特徴からテキスト文字列を生成することができる。次に、シンセティックテキストは、SIFT特徴に対応する書類及びページ、ページ上の場所(その場所から文字が生成されている)に関連付けられる610。この情報はデータベースに格納される612。
【００５１】
図７を参照しながら、書類の検索を行う本発明による第１の方法例を説明する。本方法は、図４に関して説明されたように、少なくとも１つの元の書類を１次元構造にエンコードすることで始まる702。或いは本方法では、長期に亘って作成され且つ比較の際にアクセス可能なシンセティックテキストのライブラリが既に存在していることを仮定してもよい。本方法は画像パッチを受信する704。例えば、図１Ｂに示されるような画像パッチ152が受信される。そして本方法は画像パッチ152における１つ以上の２次元構造1008を特定する。そのような２次元構造は、境界枠のような多種多様なフォーマットや、画像データの領域又は空白領域を反映する多種多様な形状のポリゴンを使用してよいことを、当業者は認識するであろう。そして、本方法は、ステップ706で特定された画像パッチ152の２次元構造を１次元構造にエンコードする708。エンコードされた１次元構造を使って、本方法は、エンコードされた元の電子書類の中で、何らかの合致する１次元構造を探す。様々な通常のサーチエンジンが、テキストのような１次元構造を比較するために使用されてよいことを、当業者は認識するであろう。テキストサーチが使用できる点で、本発明は特に有利である。テキストサーチは、大規模な書類の集成について速やかに実行できるので、テキストサーチは有利である。更に、テキストサーチは、既存のサーチ技法を活用することができ、接頭辞(prefix)サーチを実行でき、合致するスコアを提供でき、多種多様なパラメータにより一致度を格付けできる。多様な既存のサーチエンジンのどれどもをサーチに使用できる点で、本発明は特に有利である。通常のサーチエンジンの場合と同様に、サーチステップは、多種多様なパラメータで順序付けられた複数の合致結果をもたらすかもしれない。エンコードされたオリジナル電子書類から、合致する１次元構造がいったん特定されると、本方法は、その合致する一次元構造に対応する元の書類を取り出す712。この取り出すステップは、合致に関連する特定のページ及び場所を検索すること、及びそれをユーザに提示することを含む。本発明の特に有利な点の1つは、他の照合技法とは異なり、シンセティックテキストの利用、既存のサーチ技術の利用、及び量子化を調整可能にすることを組み合わせることで、高精度に且つ後検出の少ない書類検索をもたらすことである。
【００５２】
図８を参照しながら、書類の検索を行う本発明による第２の方法例を説明する。図４に関連して説明されたように、本方法は複数の電子書類をシンセティックテキストにエンコードすることで始まる802。本法は長期に亘って反復的に実行され、合致する電子書類を発見するために探索されるシンセティックテキストのライブラリを作成する。次に、本方法は画像パッチ152を受信する804。画像パッチ152の中のワードについて、本方法は１つ以上の境界枠1008を特定する806。次に、本方法はその画像パッチ152内の境界枠1008をシンセティックテキストにエンコードする808。本発明の場合、エンコーディングは、各境界枠を個々に選択し、その後にその境界枠についてスネークエンコーディングを画像パッチの末端に至るまで実行する好ましい。その結果、画像パッチ内の境界枠各々が、シンセティックテキストの文字列に変換される。ステップ808での上記のエンコーディング結果は、以前にエンコードされているオリジナル電子書類の中でサーチを行うのに使用可能である。オリジナル書類(元の書類)はそのシンセティックテキストにエンコードされており、しかもパッチもシンセティックテキストにエンコードされているので、このサーチは、簡易な比較作業になる。当業者に理解されるように及び通常のサーチエンジンで行われているように、精度を増すためにテキスト比較を増やすことができる。更に、認識を改善するため、入力画像のシンセティックテキストが修正可能であり、例えばパッチの末端のどの境界枠についてもシンセティックテキストを生成しないようにし、それにより、パッチのサイズによって引き起こされる如何なるエッジの影響も回避できる。サーチステップ810で一致が発見さえると、その一致するシンセティックテキストに対応する少なくとも１つのオリジナル書類を、本方法は検索する。上述したように、シンセティックテキストに合致する全てがランキング順にユーザに提示可能であり、その提示方法はウェブページがどのように表現されるかに似ている。
【００５３】
図９を参照しながら、書類の検索を行う本発明による第３の方法例を説明する。図９に示される方法は、図７及び図８に関して説明された方法と似ているが、図９では入力画像パッチがSIFT特徴を含んでいる書類を検索することが意図されている。本方法は図８を参照しながら説明されたものとほぼ同様のステップを有する。しかしながら、画像パッチの中で特徴を判定するステップ906が、SIFT特徴を判定することに留意すべきである。同様に、エンコーディングステップ908は、SIFTエンコーダ314を使ってSIFT特徴をシンセティックテキストの文字列に変換する。また、図９の方法は、上述の方法と同様に、アジアの概念のグラフィック言語を含む書類を処理する際に同様な利点を有する。
【００５４】
図１２Ａ及び１２Ｂは、エンコード結果、画像パッチ及び基礎書類を、強調して示される重複する合致したシンセティックテキストと共に示す。図12Aは画像パッチを処理した結果のシンセティックテキスト例を示す。図12Bは、該当する電子書類の集まりに対応するシンセティックテキストのライブラリを示す。図12A,12Bにおける領域は、書類のライブラリ及び入力シンセティックテキスト間での関連する一致部分を示す。これらの合致する文字列のインスタンスは、正確に合致する尤度の順にランク付けすることができる。更に、シンセティックテキストのライブラリの一部を生成したことに関連する電子書類が検索され、合致するランキング順にユーザに提示可能である。
【００５５】
本発明は様々なサーチ法を使用することで増強可能なことを当業者は認識するであろう。上記の説明では、通常のサーチエンジンを利用すること、及び入力画像パッチを処理することで生成されたシンセティックテキストの入力を利用することが仮定されていた。しかしながら、画像が取得される際、新たな語彙目録(lexicon)の中でパラグラフが生成される。このパラグラフは、問い合わせ語句(クエリ)で構成され、その問い合わせ語句によってオリジナル書類が検索される。しかしながら、テキストサーチエンジンに提示される場合、過去の結果を利用してその問い合わせ語句にワードを追加して問い合わせ語句を洗練することは有益であろう。例えば、代替的な綴りが作成され(例えば、或る値が量子化境界の近辺にある場合、量子化誤差が生じやすいことに起因して、そのような代替性が生じる)、それがサーチエンジンに入力されるかもしれない。そのような代替的なサーチは、以下の１）、２）及び３）を考慮することで最適化可能である：１）プレフィックスサーチの必要性。パッチの中で見える行は、ページの中で完全なワードを形成する程度に充分下に到達してないかもしれないからである；２）エンコーディングでの冗長性。例えば、スネークエンコーダを使用する際、通常、パッチの中の上位２行が情報のほとんどを含み、従ってそれらを問い合わせ語句として提示することで充分かもしれない；及び３）予測可能な方法でノイズがエンコーディングの何らかの文字を変えてしまう可能性。例えば、或る値は量子化境界に近かったために変わってしまうかもしれない。
【００５６】
上記の実施例に対する特定の変形例は、スペリング変化を利用することである。例えば、スパイラル符号化用問い合わせ語句(スパイラルコーディングクエリ)中の用語全体について起こりやすいスペリング変化を使って精度を上げることができる。この方法は、各用語でエンコードされた浮動点特徴と量子化境界との距離を考慮し、その所与の特徴がエンコードされる文字を決定する。量子化境界に近い特徴は、ノイズの多い画像の場合、変化を多く受けやすい。この新たな方法を使用すると、より少ないスペリング候補が生成され、誤判定の回数及びスコアを減らす。この改善は、(より少数のスペリング候補が検査されるので)認識速度を向上させ、及び／又は用語当たりのスペリング候補数を近似的に一定に維持するスケーラビリティを強化する(問い合わせ時間及び認識速度は、近似的に一定に留まる。)。これは、エンコードされた特徴当たりのビット数を増やすことで達成可能である。ビット数を増やすことで綴り誤り率が増えるが、各用語の一意性は増える。
【００５７】
以上、本発明の実施例の説明が例示及び記述の観点からなされてきた。説明が網羅的なものであることを意図してはおらず、説明された厳密な形式に本発明を限定する意図でもない。多くの修正及び変形が上記の教示内容に照らして可能である。本発明はこの詳細な説明によっては限定されず、本願の特許請求の範囲によって規定される。当業者に理解されるように、本発明は、その本質的特徴又は精神から逸脱せずに、他の特定の形態に具現化されてもよい。同様に、モジュール、ルーチン、特徴、属性、方法及び他の性質に関する特手の名称や区分けは、必須でも重要でもなく、本発明又はその特徴を実現する手段は、別の名称、区分け及び／又は形式をとってもよい。更に、当業者に明白なように、モジュール、ルーチン、特徴、属性、方法及び他の本発明の性質は、ソフトウエア、ハードウエア若しくはファームウエアによって、又はそれらの如何なる組み合わせによって実現されてもよい。例えばモジュールであるコンポーネントがソフトウエアとして実現される場合はいつでも、そのコンポーネントは、スタンドアローンプログラムとして、大規模なプログラムの一部分として、複数の別々のプログラムとして、静的に又は動的にリンクしたライブラリとして、カーネルローダブルモジュールとして、デバイスドライバとして実現されてもよいし、及び／又は、コンピュータプログラミングの技術分野の当業者にとって現在既知の若しくは将来既知になる何らかの他の方法で実現されてもよい。更に、本発明は、何らかの特定のプログラミング言語で実現されることに限定されず、何らかの特定のオペレーティングシステムや環境で実現されることにも限定されない。従って、本発明の開示内容は例示的であり、本発明の範囲を限定するものでもなく、本発明は特許請求の範囲の記載によって規定される。
【図面の簡単な説明】
【００５８】
【図１Ａ】本発明により解決される問題を上位概念的に示す図である。
【図１Ｂ】本発明の一実施例による機能を示す図である。
【図２】書類の索引付け及び検索を行う本発明によるシステムのブロック図を示す。
【図３】図２のシステムのメモリ例のブロック図を示す。
【図４】書類の索引付けを行う本発明による第１の方法例のフローチャートを示す。
【図５】書類の索引付けを行う本発明による第２の方法例のフローチャートを示す。
【図６】書類の索引付けを行う本発明による第３の方法例のフローチャートを示す。
【図７】書類の検索を行う本発明による第１の方法例のフローチャートを示す。
【図８】書類の検索を行う本発明による第２の方法例のフローチャートを示す。
【図９】書類の検索を行う本発明による第３の方法例のフローチャートを示す。
【図１０Ａ】本発明の一実施例により２次元データを１次元データにエンコードする様子を示す図である。
【図１０Ｂ】本発明の第１の実施例により２次元データを１次元データにエンコードする様子を示す図である。
【図１０Ｃ】本発明の第１の実施例により２次元データを１次元データにエンコードする様子を示す図である。
【図１０Ｄ】本発明の第１の実施例により２次元データを１次元データにエンコードする様子を示す図である。
【図１１】本発明の第２の実施例によりエンコードする様子を示す図である。
【図１２Ａ】エンコード結果、画像パッチ及び基礎書類を、強調して示される重複する合致したシンセティックテキストと共に示す図である。
【図１２Ｂ】エンコード結果、画像パッチ及び基礎書類を、強調して示される重複する合致したシンセティックテキストと共に示す図である。
【符号の説明】
【００５９】
１０２  画像入力例
１０４  対応する元の電子書類
１０６  書類104の中での場所
１０６  対応するテキスト
１５０  システム
１５２  画像
１５４  複数の電子書類
１５８  シンセティックテキスト表現
１６０  シンセティックテキストライブラリ
１６４  合致する書類
１６６  元の書類
２１０  ディスプレイ装置
２１２  キーボード
２１４  カーソル制御部
２１６  通信装置
２１８  入力／出力(I/O)装置
２５０  制御部
３０２  オペレーティングシステム
３０４  アプリケーション
３０６  インデキシングモジュール
３０８  検索モジュール
３１０  インデックス書類ストレージ
３１２  スネークエンコーダ
３１４  SIFTエンコーダ
３１６  量子化モジュール
３１８  検索エンジン
３２０  制御モジュール
１００２  書類画像
１００４  境界枠の中心
１００６  蛇行した経路
１００８  所与の境界枠
【図２】
0005176730.tif 000004
【図３】
0005176730.tif 000005
【図４】
0005176730.tif 000006
【図５】
0005176730.tif 000007
【図６】
0005176730.tif 000008
【図７】
0005176730.tif 000009
【図８】
0005176730.tif 000010
【図９】
0005176730.tif 000011
【図１Ａ】
0005176730.tif 000012
【図１Ｂ】
0005176730.tif 000013
【図１０Ａ】
0005176730.tif 000014
【図１０Ｂ】
0005176730.tif 000015
【図１０Ｃ】
0005176730.tif 000016
【図１０Ｄ】
0005176730.tif 000017
【図１１】
0005176730.tif 000018
【図１２Ａ】
0005176730.tif 000019
【図１２Ｂ】
0005176730.tif 000020