(57)【特許請求の範囲】
【請求項１】
入力文書画像が使用する記憶容量を減少させるため、テンプレート識別子のシーケンスを用いて入力文書画像を表現し、
上記入力文書画像中のテキストを表わすテキスト文字列を生成するため、言語統計量に従って上記テンプレート識別子をアルファベット文字で置換する方法。
【請求項２】
上記テキスト文字列中で予測条件を満たすアルファベット文字を選択し、ｎが整数を表わすときにｎ−グラムを作成するため上記アルファベット文字を組み合わせることにより、上記テキスト文字列からｎ−グラムインデックス項を抽出する請求項１記載の方法。
【請求項３】
上記ｎ−グラムは３−グラムである請求項２記載の方法。
【請求項４】
上記テキスト文字列中で上記予測条件を満たす文字数は上記テキスト文字列中の文字数よりも少ない請求項２記載の方法。
【請求項５】
上記予測条件は、実質的にすべての選択された文字が上記テキスト文字列中のスペース文字の後に続くという条件である請求項２記載の方法。
【請求項６】
上記ｎ−グラムインデックス項に基づいて上記入力文書画像をデータベース内の複数の記号的に圧縮された文書画像と比較し、上記複数の文書画像の中の一つの文書画像が上記入力文書画像と一致するかどうかを判定する請求項２記載の方法。
【請求項７】
上記複数の文書画像の中の一つの文書画像が上記入力文書画像と一致した場合に、上記複数の文書画像の中の一つの文書画像が機密文書であるかどうかを判定する請求項６記載の方法。
【請求項８】
上記複数の文書画像の中の一つの文書画像が上記入力文書画像と一致し、かつ、機密文書である場合に、上記入力文書画像に対する操作の前に、ユーザに認可情報を入力させる請求項７記載の方法。
【請求項９】
上記複数の文書画像の中の一つの文書画像が上記入力文書画像と一致した場合に、上記複数の文書画像の中の一つの文書画像が包括的な文書画像の一部分を形成するかどうかを判定する請求項６記載の方法。
【請求項１０】
上記複数の文書画像の中の一つの文書画像が上記入力文書画像と一致し、大きい文書画像の一部分を形成する場合に、上記複数の文書画像の中の一つの文書画像のハードコピー又は包括的な文書画像をユーザに選択させる請求項６記載の方法。
【請求項１１】
上記複数の文書画像の中の一つの文書画像が上記入力文書画像と一致した場合に、上記複数の文書画像の中の一つの文書画像が著作権付きであるかどうかを判定する請求項６記載の方法。
【請求項１２】
上記アルファベット文字による上記テンプレート識別子の置換は、上記テンプレート識別子のシーケンス中の少なくとも１個のテンプレート識別子よりも先行するテンプレート識別子を置換するため選択された少なくとも２個のアルファベット文字のシーケンスに従って選択されたアルファベット文字を用いて少なくとも１個のテンプレート識別子を置換することにより行なわれる請求項１記載の方法。
【請求項１３】
上記アルファベット文字による上記テンプレート識別子の置換は、上記テンプレート識別子のシーケンス中の少なくとも１個のテンプレート識別子よりも先行するテンプレート識別子を置換するため選択された全てのアルファベット文字のシーケンスに従って選択されたアルファベット文字を用いて少なくとも１個のテンプレート識別子を置換することにより行なわれる請求項１記載の方法。
【請求項１４】
言語統計量に従う上記アルファベット文字による上記テンプレート識別子の置換は、隠れマルコフモデルに従って選択されたアルファベット文字を用いてテンプレート識別子を置換することにより行なわれる請求項１記載の方法。
【請求項１５】
言語統計量に従う上記アルファベット文字によるテンプレート識別子の置換は、テンプレート識別子の出現頻度に部分的に基づいてアルファベット文字をテンプレート識別子にマッピングすることによって暗号文を解読する請求項１記載の方法。
【請求項１６】
暗号文を解読するため隠れマルコフモデルを使用する請求項１５記載の方法。
【請求項１７】
第１の記号的に圧縮された文書画像内のテンプレート識別子のシーケンスに基づいて第１のテキスト文字列を生成し、第２の記号的に圧縮された文書画像内のテンプレート識別子のシーケンスに基づいて第２のテキスト文字列を生成する解読モジュールと、
上記解読モジュールから上記第１及び第２のテキスト文字列を受信するため接続され、予測条件に基づいて上記第１及び第２のテキスト文字列からｎ−グラムインデックス項を抽出するよう構成されている条件付きｎ−グラムモジュールと、
上記条件付きｎ−グラムモジュールによって抽出されたインデックス項に基づいて上記第１の記号的に圧縮された文書画像と上記第２の記号的に圧縮された文書画像の間の類似性の測度を生成する比較モジュールとを具備した文書処理システム。
【請求項１８】
上記解読モジュールと上記条件付きｎ−グラムモジュールの中の少なくとも一方はプログラミングされたプロセッサにより実現されている請求項１７記載の文書処理システム。
【請求項１９】
上記解読モジュールは、隠れマルコフモデルを上記第１の記号的に圧縮された文書画像内の上記テンプレート識別子のシーケンスに適用することにより上記第１のテキスト文字列を生成する請求項１７記載の文書処理システム。
【請求項２０】
上記第２の記号的に圧縮された文書画像は記号的に圧縮された文書画像のデータベースから獲得される請求項１７記載の文書処理システム。
【請求項２１】
上記第１の記号的に圧縮された文書画像を生成するため、原文書からデジタル化された原文書を生成し、上記デジタル化された原文書を記号的に圧縮する走査及び圧縮モジュールを更に有する請求項１７記載の文書処理システム。
【請求項２２】
上記文書処理システムはコピー装置である請求項２１記載の文書処理システム。
【請求項２３】
上記文書処理システムはファクシミリ装置である請求項２１記載の文書処理システム。
【請求項２４】
記号的に圧縮された文書画像と関連したインデックス項とを含むデータベースに接続された第２のインタフェースを更に有し、
上記条件付きｎ−グラムモジュールは上記第２のテキスト文字列から抽出されたｎ−グラムインデックス項を上記データベースに格納するよう構成されている請求項１７記載の文書処理システム。
【請求項２５】
上記比較モジュールは、上記第１のテキスト文字列から抽出されたｎ−グラムインデックス項を上記条件付きｎ−グラムモジュールから受信し、上記第２のテキスト文字列から抽出されたｎ−グラムインデックス項を上記第２のインタフェースから受信するよう構成されている請求項２４記載の文書処理システム。
【請求項２６】
上記類似性の測度は、上記第１の記号的に圧縮された文書画像と上記第２の記号的に圧縮された文書画像が一致するかどうかを判定するため使用される請求項１７記載の文書処理システム。
【請求項２７】
上記第１の記号的に圧縮された文書画像と上記第２の記号的に圧縮された文書画像が一致する場合に、上記第１の記号的に圧縮された文書画像から伸長された文書画像と、上記第２の記号的に圧縮された文書画像を包含する第３の記号的に圧縮された文書画像から伸長された文書画像の間の選択をユーザに入力させるユーザインタフェースを更に有し、
上記ユーザインタフェースを介して受信された入力に従って、上記第１の記号的に圧縮された文書画像から伸長された文書画像、又は、上記第３の記号的に圧縮された文書画像から伸長された文書画像を出力する出力モジュールを更に有する請求項２６記載の文書処理システム。
【請求項２８】
上記第２の記号的に圧縮された文書画像に関連した属性情報に基づいて上記第２の記号的に圧縮された文書画像が機密文書であるかどうかを判定し、上記第２の記号的に圧縮された文書画像が機密文書であり、かつ、上記第１の記号的に圧縮された文書画像と上記第２の記号的に圧縮された文書画像が一致する場合に、上記第１の記号的に圧縮された文書画像の出力を許可する前にユーザに認可情報を入力させるよう構成されているセキュリティモジュールを更に有する請求項２６記載の文書処理システム。
【請求項２９】
上記第１の記号的に圧縮された文書画像から伸長された文書画像を印刷するかどうかを示す信号を上記セキュリティモジュールから受信するよう構成されているプリンタを更に有する請求項２８記載の文書処理システム。
【請求項３０】
上記第１の記号的に圧縮された文書画像を送信するかどうかを示す信号を上記セキュリティモジュールから受信するよう構成されている送信モジュールを更に有する請求項２８記載の文書処理システム。
【請求項３１】
上記第２の記号的に圧縮された文書画像が著作権付き文書であるかどうかを判定する監視モジュールを更に有する請求項２６記載の文書処理システム。
【請求項３２】
上記監視モジュールは、上記第２の記号的に圧縮された文書画像が著作権付き文書であり、かつ、上記第１の記号的に圧縮された文書画像と上記第２の記号的に圧縮された文書画像が一致する場合に、上記第１の記号的に圧縮された文書画像から伸長された文書画像の出力に対する著作権ライセンス料金を自動的に課金するよう構成されている請求項３１記載の文書処理システム。
【請求項３３】
記号的に圧縮された文書画像内のテンプレート識別子のシーケンスに基づいてテキスト文字列を再現するため、上記記号的に圧縮された文書画像内のテンプレート識別子のシーケンスに隠れマルコフモデルを適用する解読モジュールを具備した装置。
【請求項３４】
テキスト内で予測条件を満たすアルファベット文字を自動的に選択し、
ｎ−グラムを作成するため上記選択されたアルファベット文字を連結することにより、テキストからｎ−グラムを抽出する、請求項１に記載の方法。
【請求項３５】
上記予測条件は上記選択されたアルファベット文字が上記テキスト内でスペース文字の後に続く条件である請求項３４記載の方法。
【請求項３６】
入力文書画像によって使用される記憶容量を減少させるためテンプレート識別子のシーケンスにより表現された入力文書画像からテキスト文字列を生成させる命令のプログラムが格納された少なくとも一つのコンピュータ読み取り可能な媒体を含む記録媒体であって、
上記命令のプログラムは、コンピュータの１台以上のプロセッサによって実行されるときに、上記入力文書画像内のテキストを表現するテキスト文字列を生成させるため、上記１台以上のプロセッサに言語統計量に従って上記テンプレート識別子をアルファベット文字で置換させる、記録媒体。
【請求項３７】
上記少なくとも一つのコンピュータ読み取り可能な媒体は少なくとも一つの不揮発性記憶装置を含む請求項３６記載の記録媒体。
【請求項３８】
上記少なくとも一つのコンピュータ読み取り可能な媒体は伝搬されたデータ信号を含む請求項３６記載の記録媒体。
【請求項３９】
上記命令のプログラムは、コンピュータの１台以上のプロセッサにより実行されるときに、ｎが整数を表わす場合に、上記１台以上のプロセッサに上記テキスト文字列中で予測条件を満たすアルファベット文字を選択させ、上記選択されたアルファベット文字を組み合わせることにより、上記テキスト文字列からｎ−グラムインデックス項を抽出させる請求項３６記載の記録媒体。
【請求項４０】
入力文書画像によって使用される記憶容量を減少させるためテンプレート識別子のシーケンスにより表現された入力文書画像からテキスト文字列を生成させる命令のプログラムが格納された少なくとも一つのコンピュータ読み取り可能な媒体を含む記録媒体であって、
上記命令のプログラムは、コンピュータの１台以上のプロセッサによって実行されるときに、上記テンプレート識別子のシーケンスにより作成された暗号文を解読させるため、上記１台以上のプロセッサに隠れマルコフモデルを使用させる、記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文書画像処理の分野に係り、特に、記号的に圧縮された文書画像処理に関する。
【０００２】
【従来の技術】
電子文書画像の蓄積及び伝送は徐々に広まり始め、新しいより効率的な文書圧縮技術の開発並びに標準化が急がれている。たとえば、文書画像の記号的圧縮は、JBIG2標準及び関連した商品の登場と共に普及しつつある。記号的圧縮技術は、一般的に使用されているGroup 4 圧縮標準（CCITT  仕様  T.6）よりも５０％乃至１００％だけ圧縮効率が改善される。損失のある記号的圧縮方式は、Group 4 方式よりも４乃至１０倍だけ優れた圧縮効率を達成し得る。
【０００３】
記号的圧縮において、文書画像はパターンテンプレートのライブラリに関して符号化される。ライブラリのテンプレートは、典型的に、文書内で類似した形状を有する関連したコンポーネント（たとえば、アルファベット文字）を一つに分類（クラスタリング）することにより得られる。あるテンプレートは、類似形状の関連したコンポーネントの各クラスタを表現するために選択若しくは生成される。画像内の関連したコンポーネントは、テンプレート識別子のシーケンスと、前のコンポーネントからの空間オフセットとによって表現される。このように、原文書の近似物は、類似形状の関連したコンポーネントを重複して蓄積することなく獲得される。個々のコンポーネントと代表的なテンプレートとの間の僅かな差違は、この方法によって符号化されない他の全てのコンポーネントと共に、オプション的に残差として符号化される。
【０００４】
【発明が解決しようとする課題】
文書分類、複製検出、及び、言語識別のような多くの文書管理行動は、文書画像の意味的内容に基づいている。したがって、従来の文書管理システムでは、圧縮文書画像は、最初に伸長され、次に、分類、言語識別及び重複検出に必要な意味的情報を再現するため、光学式文字認識（OCR）を受ける。記号的に圧縮された文書画像のデータベースの場合に、伸長とOCRの実施は、膨大な処理リソースを消費する。また、OCRエンジンは、一般的に、認識できる活字の数と種類が制限されるので、通常のOCR技術を用いて意味的情報を再現することは、一部の記号的圧縮文書の場合には不可能である。
【０００５】
本発明は、記号的に圧縮された文書画像から情報を抽出する方法及び装置の提供を目的とする。
【０００６】
【課題を解決するための手段】
本発明による記号的圧縮文書画像からの情報抽出方法及び装置によれば、入力文書画像は、入力文書画像によって消費される記憶容量を減少させるため、テンプレート識別子のシーケンスにより表現される。テンプレート識別子は、入力文書画像内のテキストを表現するテキスト文字列を生成するため、言語統計量に従ってアルファベット文字で置換される。一実施例において、テンプレート識別子は、隠れマルコフモデルに従ってアルファベット文字で置換される。また、条件付きｎ−グラム技術が文書マッチング及びその他のアプリケーションのためインデックス項を獲得するため使用される。
【０００７】
本発明の上記並びにその他の特徴及び利点は、添付図面と、以下の詳細な説明とにより明らかにされる。
【０００８】
【発明の実施の形態】
以下、添付図面を参照して本発明の実施例を説明するが、本発明はかかる実施例に限定されるものではない。また、図面を通じて同じ参照番号は同等の構成要素を示す。
【０００９】
以下に説明する実施例において、意味的情報は、好ましくは、隠れマルコフモデルに基づいて圧縮文書画像内でテンプレート識別子のシーケンスを暗号文として取り扱い、この暗号文を解読することにより記号的圧縮文書画像から直接的に抽出される。この方法によって、記号的圧縮文書画像のテキスト表現は、圧縮処理中に識別された記号シーケンスに基づいて生成され、伸長やＯＣＲ操作を行なう必要が無い。圧縮文書画像から再現されたテキストは、言語統計量に基づいているので、原文書におけるテキストの確率論的推定を表現し、一般的に誤りが含まれる。それにもかかわらず、テキスト表現は、たとえば、言語識別、文書照合（たとえば、複製検出及びその他の目的のため）、並びに、文書分類のような完全な再現を必要としない多数の文書処理操作のため使用される。
【００１０】
［記号的圧縮］
記号的圧縮において、文書画像中のコンポーネントは分類され、重複したビットマップを蓄積して帯域幅を無駄遣いすることを回避するため、類似したパターンの各クラスタに割り当てられた１個の整数によって符号化される。整数は、オフセットのエントロピーを低減するため、読み出し順に粗くソートされる。後述するように、圧縮比を改良する目的のための両方の手段によって、解読技術を圧縮文書処理にを容易に適用できる。尚、用語「文書画像」は、テキストが印刷された１枚の紙面若しくは類似した媒体のデジタル画像を意味する。
【００１１】
図1は、テキスト文字列"A hat is a hat is a hat."を含む文書画像１２の記号的圧縮を説明する図である。関連したコンポーネント（すなわち、接触している黒画素のグループ）は、識別され、類似性に応じてクラスタリングされる。文書画像１２において、たとえば、（文書内のアルファベット文字毎に１個ずつの）１６個の関連したコンポーネントが識別され、（固有のアルファベット文字毎に１個ずつの）６個の異なるクラスタに分類される。図中の矢印２１及び２３は、入力画像１２の中でクラスタリングされたコンポーネントの間の対応関係を示す。たとえば、５個の'a'のクラスタはテンプレート'a'により表わされ、１個の'A'のクラスタはテンプレート'A'によって表わされる。
【００１２】
文書画像１２内でクラスタリングされたコンポーネントのシーケンスは、記号的圧縮システム２０によって記号的圧縮表現１４に処理される。記号的圧縮表現１４には、テンプレート識別子０−５を有するビットマップテンプレートの組１６と、原画像中でのビットマップテンプレートの出現系列を表わすテンプレート識別子のシーケンス１７と、関連した各コンポーネントに対する相対幾何学的オフセット１８（たとえば、(+2,0)は、コンポーネントが前のコンポーネントに対し右側に２画素（若しくは、他の単位でもよい）、下側に０画素の場所にあることを意味する）と、圧縮された残差画像１９とが含まれる。残差画像は、原画像とビットマップテンプレートの間の差分を表わす。このデータは、算術的符号化又は別の技術を用いて圧縮することができる。、また、記号的圧縮画像の損失のある表現は、残差画像を全体として入れることにより獲得される。記号的圧縮技術は、カラー文書のための一部の多層圧縮フォーマットにも使用される。
【００１３】
記号的圧縮フォーマットは、特に意味的情報を抽出するために有用であることがわかる。略文字のサイズを有する関連したコンポーネントのクラスタは、文字であると考えられる。また、テンプレート識別子のシーケンスを暗号文として取り扱うことにより、文字解釈を得るために解読技術を適用することが可能である。次に、暗号文を解読することにより、記号的圧縮文書画像から直接的に平文を再現する実現可能性が示される。また、隠れマルコフモデル（HMM）を用いて暗号文問題を解決する新しい方法が開示される。
【００１４】
図１に示された例の場合、大文字の'A'を除いて、ビットマップテンプレートと英語アルファベット文字との間に１対１の対応関係がある。これは、単純な暗号文として知られている理想的な場合である。１に対する"A"、２に対する"h"などのように各テンプレート識別子が対応したアルファベット文字で置換される場合、原メッセージはコンポーネント識別子のシーケンスから再現され得る。しかし、実際には、大文字と小文字の"a"の場合のように、単一のアルファベット記号に対し多数のテンプレートが作成される場合がある。より現実的な環境では、単一パターンが、画像分離及びセグメンテーションエラーに起因して部分的な記号若しくは多数の記号に対応する可能性がある。
【００１５】
［マルコフモデリング］
隠れマルコフモデルの暗号文問題への適用を明らかにするためには、マルコフモデルを概略的に理解することが役立つ。マルコフモデルは、従来、自然言語をモデル化するため使用され、ラベル付き状態の集合と、状態間の遷移を支配する確率分布の二つの主要なコンポーネントを含む。異なる言語には異なる確率分布が当てはまる。マルコフ過程は、ある初期確率に従う状態から始まり、状態のラベルを出力し、現在状態の遷移確率に従って選択された別の状態、可能であれば同じ状態に移ることにより、ラベルのシーケンスを生成する。この過程は次の状態で繰り返される。状態及び遷移確率が所与の言語の統計に従って適切に構成されたとき、このように生成されたラベルのシーケンスはその言語と類似した特性をもち、個々のラベルは言語のアルファベット文字に対応する。ｋ次のマルコフ過程において、任意の時点である状態をとる確率は前のｋ個の状態だけに依存する。必要とされる遷移確率が指数関数的な数になることに起因して、実際には低次マルコフモデルが使用される。
【００１６】
低次マルコフモデルは、文法及び綴り字のような言語の全ての構文的な局面を完全には表現できないが、コンパクト、かつ、明確な言語源を提供し、その言語源から更なる解析が導かれる。マルコフモデルは、各状態を固定した可観測ラベルと明示的に関連付けるが、隠れマルコフモデル（HMM）は、ラベルの集合の中の一つのラベルを各状態で生成させることを許容することにより付加的な抽象レイヤを導入する。隠れマルコフモデルにおける状態トラバースは、マルコフモデルにおける状態トラバースと同じ過程をたどる。しかし、所定の状態で固定したラベルを生成する代わりに、ラベル集合中の１個のラベルが状態と関連した記号確率に応じて生成される。かくして、トラバースされた状態のシーケンスと観察されたラベルのシーケンスの間には明示的な対応関係が無いので、隠れマルコフモデルと呼ばれる。トラバースされる状態について明示的な知識を用いること無く、記号生成分布を決定する方法は、理論的に基本的な問題である（たとえば、L. R. Rabiner and B. H. Juang, "An Introduction to Hidden Markov Models", IEEE ASSP Magazine, pp.4-16, January 1986を参照のこと）。学習アルゴリズムは、モデルの制約下で記号シーケンスを観察する確率を最大にすること目指す。
【００１７】
状態トラバースのマルコフ過程は特定の平文メッセージがある確率で生成され得る言語源（ソース）であると考えるならば、HMMでトラバースされた状態に付加された記号生成は、暗号文の暗号化過程を記述し、平文中の各文字は同時に暗号記号で置換される。ソース言語をマルコフ過程としてモデル化することと、記号確率によって暗号化関数を表現することの類似性は、HMMを用いて暗号文を解読するための基礎である。状態確率は言語統計量を用いて初期化され、記号確率は期待値最大化("EM")アルゴリズムを用いて推定される。他の実施例では、別の技術を用いて記号確率を推定される。
【００１８】
［隠れマルコフモデルを用いた暗号文の解読］
アルファベット文字ＡからＺまでを表現する状態をもつ１次マルコフ過程の初期確率及び遷移確率が英語の１−グラム及び条件付き２−グラム統計量を用いて初期化される場合を考える。（尚、条件付き２−グラム統計量は、前の文字αが与えられた場合に、文字βが現れる確率を意味する。たとえば、英語の場合に文字"q"の後には必ず"u"が続くので、条件付き確率は、Prob(u|q)=1  である。）割り当てられた確率に従ってトラバースされた状態のシーケンスは、少なくとも両方が類似した文字及び文字対の出現頻度を有する程度で、英文テキストに類似している。逆に、英文テキストの節は状態トラバースのシーケンスに対応する。しかし、この構造を保つことによって、状態のラベルを観察する代わりに、状態によって生成された暗号記号が観察される。元の平文がわかっているとき(或いは、状態が等価的にトラバースされたとき)、記号確率は通過したすべての状態に関して決定され得る。状態シーケンスに関する知識を用いない場合、隠れマルコフ学習は、記号シーケンスを観察する確率を最大化することにおり、記号確率を推定するメカニズムを与える。
【００１９】
１次隠れマルコフモデルの場合に、モデルには、平文のアルファベット中の文字を表現するｎ個の状態が存在する。各状態αには、状態遷移確率
【００２０】
【外１】
0004021119.tif 000002
と、記号確率
【００２１】
【外２】
0004021119.tif 000003
とが関連付けられる。シーケンス中の第１の状態は、初期確率Ｉαに従って選択される。次の状態は、遷移確率に従って生成され、各状態毎に分布
【００２２】
【外３】
0004021119.tif 000004
で記号｛C1，C2，．．．，Cm｝の中の１個を出力する。状態αから状態βへの遷移確率は、文字αの後に文字βが続く２−グラム出現頻度から計算され得る。すなわち、
【００２３】
【数１】
0004021119.tif 000005
である。初期状態確率Ｉαは、αの文字頻度である。初期確率及び遷移確率は、共に、ソース言語のコーパスから推定され、一定を保ち、ソース言語の１次マルコフモデルを与える。推定されるパラメータは記号確率
【００２４】
【外４】
0004021119.tif 000006
だけである。反復回数ｔにおける確率推定値が
【００２５】
【外５】
0004021119.tif 000007
であるとすると、記号ｃiは、状態αで生成され、新しい推定値が
【００２６】
【数２】
0004021119.tif 000008
により獲得される。
【００２７】
Ｆk（α）及びBk（α）は、それぞれ、シーケンスの先頭の記号及び最後の記号から反対の端に向かって帰納的に計算される。このため、これらは、一般的に事前確率及び事後確率のように呼ばれる。
【００２８】
一実施例において、記号確率は、次式に従って初期化される。
【００２９】
【数３】
0004021119.tif 000009
直観的に、１０００個の整数のシーケンス中に整数１５が１回だけ出現したとき、"15"は、ソーステキスト中に頻繁に出現することが予測される文字である文字'a'若しくは'e'である可能性は低い。したがって、記号確率は、２項分布を用いて暗号文中の整数の出現回数及び英文中における文字の期待頻度とに基づいて初期化される。
【００３０】
図２には、本発明の一実施例によるHMMベースの解読システムが示されている。テンプレート識別子シーケンス１７は、記号的圧縮文書画像から獲得され、HMM解読モジュール２７に入力される。HMM解読モジュール２７は、解読結果３３を生成するため、解析的に表現された上記の文字遷移確率３１を適用する。解読結果３３は完全に正しいわけではない。しかし、この解読結果は、屡々、以下に説明するような種々の文書処理作業の場合に妥当である。
【００３１】
解読結果３３が不完全であることには幾つかの理由がある。第1に、既に説明した通り、解読問題は、単純な置き換え問題ではない。たとえば、大文字及び小文字と、多数の活字が存在する場合、1個のアルファベット記号に対し２個以上のテンプレートが生じる。映像欠陥及びセグメンテーション問題は、テンプレートと記号のマッピングを複雑化する。さらに、短いシーケンス及び稀なパターンは、解読のための十分な統計量をもたない。十分な標本が得られる場合でも、数字列のようなコンテンツは、屡々、コンテキスト（前後関係）の不足に起因して解読できない。それにもかかわらず、たとえば、言語識別、重複検出、文書分類などの文書処理作業に役立つ十分な情報が再現される。
【００３２】
HMMベースの解読方式は好ましい方式であるが、テンプレート識別子のシーケンスによって表現された暗号文を解読するため、他の実施例では別の技術が使用される。このような技術には、たとえば、緩和法、辞書パターン照合法及び最適化法などが含まれる。
【００３３】
図３には、多重言語環境において記号的圧縮文書の言語を同時に解読、識別するため使用されるHMMベース解読法が説明されている。記号的圧縮文書１４から抽出されたテンプレート識別子シーケンス１７は、異なる言語３１Ａ−３１Ｃの統計量に応じて初期化された並列HMMベースの解読モジュール２７Ａ−２７Ｃで同時に解読される。一実施例において、各ＨＭＭベースの解読モジュール２７Ａ−２７Ｃは、解読結果と信頼性スコアを生成する。信頼性スコアは、テンプレート識別子シーケンス１７が言語モデルの統計量に対応する程度を表現する。異なるＨＭＭベースの解読モジュール２７Ａ−２７Ｃで生成された信頼性スコアは、（図示された比較器３４によって）比較され、ＨＭＭベースの解読モジュールを初期化するため使用された言語の中で最高の信頼性スコアを発生した言語が原文書の最も確からしい言語として選択される。識別された言語及び対応したテキスト解釈は、多重言語文書データベース３７をアクセスするため使用される。図３に示された例において、英語で初期化された解読モジュール２７Ａの信頼性スコアは０．９２であり、他の解読モジュールの信頼性スコアは、０．２５及び０．２２のように著しく低い。かくして、記号的圧縮文書は英語の文書であると考えられ、図３に示されるように、英語の解読結果は、多重言語文書データベース３７にアクセスするため選択器３６によって選択される。
【００３４】
上記の言語識別技術は、記号的圧縮文書から平文を抽出するため言語統計量を使用する有利な局面、すなわち、この技術の新しい言語への適合可能性が示されている。言語の文字セットと、（たとえば、学習用テキストを与えることによって）言語統計量の一部の測定量とを指定することにより、ＨＭＭベースの解読技術は、新しい言語と共に使用するため容易に適合される。
【００３５】
［解読結果を使用する文書照合］
本発明の一実施例によれば、文書照合のための情報を抽出するため、ｎ−グラム技術がＨＭＭ解読結果に適用される。ｎ−グラムは、アルファベット文字の系列であり、たとえば、２グラムは２個の文字のシーケンスであり、３グラムは３個の文字のシーケンスであり、以下同様である。２個の文書の類似度を測定するｎ−グラム法は、典型的に、各文書からｎ個の連続文字の全てのシーケンスを抽出する。この文書の類似度は、共通したｎ−グラムの個数の関数として表わされる。
【００３６】
ｎ−グラムベースの技術は、エラー許容性と言語独立性の傾向があるので、部分的に解読された文字解釈からの情報抽出に特に適している。しかし、正規のｎ−グラムは情報抽出にロバスト性のある解決策を与えるが、文書照合を含むようなアプリケーションに対し有効なインデックス付けスキームを提供しない。ｎ−グラム技術の冗長性は、多数のインデックス項を生じ、ｎ−グラム統計量の包括的な挙動は個々の文書間の差違を不鮮明にする。類似した内容をもつ稠密に分類された文書は、特定の文書を見つけるためのインデックス付け法のエラー許容度を減少させる。このような言語の平均に向かう傾向は、言語の平均に最も良く合う方法で文書を解釈するＨＭＭベースの解読処理によって更に強められる。このような問題に対する一つの解決法は、より効率的なインデックス項を得るために、より高次のｎ−グラム（すなわち、より大きいｎの値）を使用することである。残念ながら、メモリ消費量及び計算量は、ｎ−グラムの次数が増加すると共に実質的に増加する。
【００３７】
一実施例によれば、本明細書中で条件付きｎ−グラムと呼ばれる修正ｎ−グラムが文書インデックス項を生成するため使用される。条件付きｎ−グラムは、高次ｎ−グラムの次数を折り重ねた形のｎ−グラムである。適切に定義された条件が使用されるとき、条件付きｎ−グラムは、より効率的なインデックス項と、より均一に分布した文書空間とを獲得するため、従来のｎ−グラムの冗長性の一部を取り除くことができる。
【００３８】
条件付きｎ−グラムは、予測条件を満足する連続的な文字から生成される。たとえば、「スペース文字の後に続く文字」の予測は、連続した語の第１文字からｎ−グラムを作成する。この予測を利用する条件付きｎ−グラムは、以下に図４を参照して説明する。条件付きｎ−グラムは、予測条件を満たす文字列に基づいて作成されるので、文書中の文字の総数の部分集合に基づいて生成され、１文書当たりに生成される項は、従来の無条件ｎ−グラムよりも減少する。したがって、冗長性の程度は無条件ｎ−グラムよりも低下し、より効率的なインデックス項が得られる。
【００３９】
図４は、従来の３グラム生成と、条件付きｎ−グラム技術を使用して実現される３グラム生成とを比較する図である。条件付きｎ−グラム技術で使用される予測条件は、３グラムで使用するためのスペース文字の後に続く文字だけを選択することである。入力テキスト５０の句は、"image_based_document_duplicate_detection"である。アンダースコア記号'_'は、スペース文字を表現するため使用されている。従来の無条件３グラムモジュール５１は、３グラム"ima, mag, age, ge_, e_b, …, ion"を生成し、入力テキスト内の先頭と末尾の文字のペア以外の各文字は３個の３グラムに出現する。これに対し、条件付き３グラムモジュール５３は、スペース文字の後に続く文字だけ（先頭の'i'を含む）を選択するので、作成される３グラムは著しく減少する。たとえば、例示された入力文字列５０を使用した場合、条件付きｎ−グラムモジュール５３により、３個の３グラム"ibd, bdd, ddd"だけが生成される。一方、従来のｎ−グラムモジュールは、３８個の３グラムを生成する。また、スペースの後に続く文字のシーケンスは、一般的に、言語の統計量による影響を殆ど受けないので、スペースの後の文字に基づく条件付きｎ−グラムによる生成法は、従来のｎ−グラム技術において示されていた言語平均に向かって収束する傾向が軽減する。図４には特定の予測条件が示されているが、他の実施例における条件付きｎ−グラム生成のため、別の種々の予測条件を使用することが可能である。他の予測の例には、テキスト中でスペースに先行する文字を使用すること、テキスト中のｎ個毎に１個の文字を使用すること、テキスト中の所定の空間座標にある文字（たとえば、文書画像の上、下、若しくは、左右から一定距離にある文字）を使用することなどが含まれるが、これらの例に限定されるものではない。
【００４０】
一実施例において、ＨＭＭベースの解読を用いて生成され、条件付きｎ−グラムが抽出された２個の文書の類似性は、ｎ−グラム頻度ベクトルの内積を加算することにより測定される。すなわち、一方の文書中の各ｎ−グラムの出現回数は、他方の文書中の同じｎ−グラムの出現回数によって乗算される。これらの内積は加算され、文書間の類似性のスカラー測度が得られる。所定の閾値を越える内積の和を生ずる文書は、重複している（複製である）とみなされる。他の実施例において、類似性の別の測度が生成され、適応的若しくは動的に決定された閾値が所定の閾値の代わりに使用される。
【００４１】
図５には、一実施例による文書処理システム１０１の標準的な構成が示されている。記号的圧縮文書画像１４Ａ、１４Ｂは、ネットワーク通信インタフェース、又は、コピー機若しくはファクシミリ機のデジタル走査及び圧縮ユニットのような入力文書インタフェース５８を介して受信される。解読モジュール２７は、記号的圧縮文書画像１４Ａ及び１４Ｂを解読して、それぞれの解読結果５６Ａ及び５６Ｂ（たとえば、テキスト文字列）を生成する。条件付きｎ−グラムモジュール５４は、解読結果からそれぞれのｎ−グラムインデックス項の集合５７Ａ及び５７Ｂを抽出し、ｎ−グラムインデックス項は比較モジュール５５に供給され、比較モジュール５５は、たとえば、ｎ−グラムインデックス項５７Ａ及び５７Ｂの内積和を計算することにより比較スコアを生成する。比較スコアは、記号的圧縮文書画像の間の類似性の測度を表現し、種々のアプリケーションにおいて文書照合を支援するため使用される。
【００４２】
更に図５を参照するに、記号的圧縮文書画像１４Ａ及び１４Ｂを同時に処理する代わりに、圧縮文書画像が異なる時点に処理し、圧縮文書画像１４Ａ、１４Ｂの一方又は両方を、条件付きｎ−グラムモジュール５４によって予め抽出されたインデックス項と共に文書画像データベース６５に記憶してもよい。たとえば、インデックス項５７Ａは、データベースインタフェース５９を介して文書画像データベース６５に書き込まれ、記号的圧縮文書画像１４Ａと関連付けられる。この装置を用いることにより、予め抽出されたインデックス項はデータベース６５内で記号的圧縮文書画像と関連付けられ、到来した記号的圧縮文書画像（たとえば、１４Ｂ）から抽出されたインデックス項と比較するため利用できる。その場合、比較モジュール５５は、予め生成され記憶されたインデックス項の集合を文書画像データベース６５から獲得し、獲得されたインデックス項の集合を解読された到来文書画像から抽出されたインデックス項と比較することにより、比較スコアを生成する。或いは、インデックス項の両方の集合を文書画像データベース６５から獲得してもよい。
【００４３】
図６には、条件付きｎ−グラムを使用する文書照合を利用する文書コピーシステム８０が示される。問い合わせ文書６０は、従来のＯＣＲ技術、又は、上記のＨＭＭベースの解読技術のいずれかを用いて文書からテキストを再現するデジタルコピー機６１によってコピーされる（ＨＭＭベースの解読技術を用いる場合には、問い合わせ文書６０は最初に記号的に圧縮されている）。上記の条件付きｎ−グラム技術は、問い合わせ文書６０のためのインデックス項を生成するため適用される。問い合わせ文書６０からのｎ−グラム頻度ベクトルとデータベース６５内の文書からのｎ−グラム頻度ベクトルとに基づく内積の和は、データベース６５内の文書が所定の閾値よりも大きい内積の和を生ずるまで、計算される（スコアはすべてのデータベース文書に対し生成され、最大の内積和を生ずる文書が選択される）。このような内積和が得られないとき、問い合わせ文書６０は、データベース６５内に複製物が存在しないと考えられ、それ自体が後続の問い合わせ文書との比較のためデータベース６５に記憶される。これに対し、データベース６５内の文書が十分に大きい内積和を生ずるとき、この文書は問い合わせ文書６０と一致した（すなわち、問い合わせ文書６０の複製である）と考えられる。他の実施例の場合、ＨＭＭベースの解読及び条件付きｎ−グラム抽出は、新しい各文書がデータベース６５に格納されるときに行なっても構わない点に注意する必要がある。かくして抽出された条件付きｎ−グラムは、それ自体がデータベース６５に記憶され、その条件付きｎ−グラムが得られた記号的圧縮文書と関連付けられる。このような実施例の場合、文書照合を行なうために必要な時間は短くなる。その理由は、抽出されたｎ−グラムがデータベース６５に存在し、新しい文書コピー要求毎に応答して生成する必要が無いからである。
【００４４】
データベース６５内の文書がコピーを要求された文書と一致するかどうかを判定する能力は、多数の有用なアプリケーションがある。たとえば、問い合わせ文書６０がデータベース６５に存在するより大きい文書６２の一部分であるとき、問い合わせ文書６０をデジタルコピー機６１に提示することにより、ユーザはより大きい包括的な文書６２が存在することを通知され、問い合わせ文書６０のハードコピーを受け取るか、若しくは、包括的な文書６２の全体を受け取るかを選択するように促される。かくして、ユーザは、たとえば、膨大な文書の１ページ、若しくは、数ページを提示すると、文書全体を出力として受けることができる（たとえば、文書６２がプリンタ６３によって印刷される）。さらに、文書画像データベース６５は、多数の規準（たとえば、文書内容、作成時刻、作成者など）によってソートされるので、問い合わせ文書６０と一致する文書の記憶場所は、他の関連した文書を見つけるために利用され得る。たとえば、ユーザは、多数のデータベースソート規準の中の一つの規準を選択するよう促され、問い合わせ文書６０に関連した文書（たとえば、類似した主題を含む文書、原作者、蓄積日付など）のリストが提示される。
【００４５】
他の文書処理作業は、文書コピーシステム８０を用いて行なわれる。たとえば、文書セキュリティは、コピーを要求された文書が、機密であることが示されたデータベース内の文書と一致したかどうかを判定することにより強化される。一致する場合、個別のコピーの要求は、機密情報をコピーする認可を確立するため、パスワード若しくは他の情報（たとえば、指紋又はユーザコードのような個人識別情報）を供給する必要がある。組織的な要求に依存して、機密文書の階層構造がこのようなシステムの周辺に編成され、データベース内の各文書は、コピーが許可される前に適切な認可レベルによって満たされるべき関連した機密度を有する。
【００４６】
機密情報の保護に加えて、文書コピーシステム８０は、認可されていない著作権侵害を防止し、若しくは、文書をコピーしようとする人に対しライセンス料金を自動的に課すために使用される。上記の機密文書保護と同様に、各文書は、文書が著作権によって保護されているかどうかを示す属性を有し、著作権によって保護されている場合、著作権保有者の身元、著作権ライセンス料金の総額、及び、その他のこのような情報を有する。一実施例において、コピーシステム８０は、著作権ライセンス料金を課金するため時折アクセスされるデータベースに、著作権保護された素材をコピーする権利と、コピー要求者の身元を記録する。或いは、コピーシステムは、要求されたコピーを実時間的に通知するため、電気通信リンク（たとえば、コンピュータネットワーク）を介して著作権情報センター若しくは同様の商業的なセンターに接続される。著作権情報センターは、取り引きを記録し、コピー要求者に電子的に、若しくは、通常の送付技術を用いて請求書を発行する。
【００４７】
著作権及び機密保護に加えて、たとえば、特定の文書がコピーされた回数、機密文書のコピーの日付及び出所、機密情報をコピーした人の身元などを含む有用な統計情報が文書コピーシステム８０によって記録される。
【００４８】
図７には、条件付きｎ−グラムを用いる文書照合を利用する文書ファクシミリ送信システム１００が示される。問い合わせ文書６０は、遠隔地への伝送用のファクシミリ機７１に入力される。上記のデジタルコピー機６１と同様に、ファクシミリ機７１は、記号的圧縮文書画像のデータベース６５にコピーされ、上記技術を用いて（たとえば、送信されるべき文書から抽出された条件付きｎ−グラムの内積和を生成することにより）文書照合が行なわれる。一実施例において、データベース６５は条件付き文書画像を収容し、送信要求された文書がデータベース内の機密文書と一致することが判定されると、機密若しくは重大な素材が送信できるようになる。一実施例において、ユーザ許可がこのような判定に応じて要求され、使用できないとき、機密情報の送信は拒否される。図７に示されるように、多種類の警告が発行される。また、送信日時、送信された文書の出所、送信要求者の身元は、後の検査のために記録される。ユーザの身元は、たとえば、ファクシミリ送信システム１００（たとえば、オーディトロン(auditron)若しくは同等の機械）を利用するためユーザによって入力されたコードによって判定される。
【００４９】
［処理システムの概要］
図８は、本発明の実施例で使用される演算を処理する処理システム１５０のブロック図である。処理システム１５０は、処理ユニット１５１と、メモリ１５３と、表示装置１５５と、カーソル制御装置１５７と、キーパッド１５８と、通信装置１５９とを含み、各構成要素はバス構造１６１に接続される。処理システム１５０は、デスクトップ若しくはラップトップコンピュータ、又は、ワークステーション若しくは大型コンピュータなどである。或いは、処理システム１５０は、記号的圧縮文書画像を処理することが望ましいコピーシステム、ファクシミリシステム、或いは、他の電子システムでもよい。カーソル制御装置１５７は、表示装置１５５に表示された要素を操作するマウス、トラックボール、スタイラス、若しくは、その他の装置である。キーパッド１５８は、ユーザがアルファベットデータを処理システム１５０に入力することができるキーパッド若しくはその他の装置である。Ｉ／Ｏ装置１６３は、処理システム１５０によって行なわれる特定の機能に従って設けられる。
【００５０】
処理ユニット１５１は、１台以上の汎用プロセッサ、１台以上のデジタルシグナルプロセッサ、又は、命令のシーケンスを実行できるその他の装置を具備する。処理ユニット１５１は、処理システム１５０の複数台のコンピュータに分散されてもよい。処理ユニットは、ネイティブ若しくはバーチャルな機械命令でプログラムされたとき、上記のＨＭＭベース解読演算及び条件付きｎ−グラム抽出演算、並びに、言語識別、文書分類及び文書照合演算を実行するため使用される。
【００５１】
通信装置１５９は、モデム、ネットワークカード、若しくは、その他の装置でもよく、処理システム１５０を電子装置のネットワーク（たとえば、インターネットのようなコンピュータネットワーク）に接続する。通信装置は、導体若しくは無線媒体を介して伝搬される信号を生成し、受信するため使用される。伝搬された信号は、たとえば、ワールド・ワイド・ウェブ上のサイト（又は、その他のコンピュータネットワーク）と交信し、記号的圧縮文書画像、更新されたプログラムコード、若しくは、機能拡張プログラムコードを受信するため使用され、これらのプログラムコードは、本発明の実施例を実現するために処理ユニットによって実行される。
【００５２】
一実施例において、メモリ１５３は、システムメモリ１６６と、不揮発性大容量記憶装置１６７と、可搬記憶媒体１６８とを含む。可搬記憶媒体１６８は、たとえば、コンパクトディスク読み出し専用メモリ（ＣＤＲＯＭ）、フロッピーディスク、若しくは、その他の可搬記憶媒体である。プログラムコードは、上記のＨＭＭベース解読演算及び条件付きｎ−グラム抽出演算、並びに、言語識別、文書分類及び文書照合演算を実行する命令のシーケンスを含み、処理システム１５０によって読み取り可能な可搬記憶媒体に記録され、ここに開示された実施例に従って処理システム１５０を動作させるために使用される。不揮発性大容量記憶媒体１６７は、任意の数の不揮発性記憶媒体上の情報を記憶する装置であり、磁気テープ、磁気ディスク、光ディスク、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、或いは、その他のコンピュータが読み取り可能な媒体であればよい。本発明の種々の実施例に従って処理システム１５０の動作を制御するプログラムコード及びデータは、インストールプログラムの制御下で可搬記憶媒体１６８から不揮発性大容量記憶装置１６７に転送される。文書画像のデータベースは不揮発性大容量記憶装置１６７に保持される。
【００５３】
一実施例において、処理システム１５０に電源が供給されたとき、オペレーティングシステムのプログラムコードは、処理ユニット１５１、若しくは、直接メモリアクセスコントローラ（図示しない）のような他の装置によって、不揮発性大容量記憶装置１６７からシステムメモリ１６６にロードされる。オペレーティングシステムを構成する命令シーケンスは、本発明の実施例を実現する上記のプログラムコードを含む他の命令シーケンスを、不揮発性大容量記憶装置１６７からシステムメモリ１６６にロードするため処理ユニット１５１によって実行される。かくして、本発明の実施例は、コンピュータ読み取り可能記録媒体から命令のシーケンスを獲得し、上記の伝搬された信号を取り込み、処理ユニット１５１によって命令のシーケンスを実行することによって実現される。
【００５４】
本発明の実施例を実現するための処理システムについて説明したが、上記の個々の処理演算は、列挙された演算を実行するため配線による論理回路を収容する特定のハードウェアコンポーネントによって、又は、プログラミングされた処理コンポーネントと配線による論理回路の組み合わせによって実行しても構わないことに注意する必要がある。上記の説明において、本発明は、列挙された演算が特定のハードウェアコンポーネントの組み合わせによって実行される一つの実施例に限定されるべきではない。
【００５５】
【実施例】
［実験結果］
文書比較を行なうため組み合わされたＨＭＭベース解読法と条件付きｎ−グラム生成の実験的性能が調査された。ＨＭＭベース解読技術は、100,000語以上の英単語のコーパスから計算された文字遷移確率を用いて学習された。
【００５６】
テキストの量の関数としての文字解読率（テスト文書内で解読された文字数）は、最初に、完全な簡単な暗号文問題について調べられた。以下の表は、完全な簡単な暗号文に使用された種々の長さのテキストに対する文字解読率を示す。
【００５７】
【表１】
0004021119.tif 000010
この結果から、文字２グラム統計量を使用した場合に、１２００文字のテストデータだけに関して９９％の解読率が達成されたことがわかる。同様の性能は、８００個のテストデータと３グラム統計量とを用いた場合に達成される。これは、３グラムに存在する付加的な前後関係情報の値を示す。
【００５８】
ＨＭＭベース解読技術は、数枚の合成画像（すなわち、ハードコピーから獲得されたのではなく、そのまま電子形式にされた文書画像）と、ワシントン大学のデータベース中の３枚のテキストだけの画像とから抽出されたテンプレート識別子のシーケンスに関してテストされた。I. Witten, A. Moffat and T. Bell, "Managing Gigabytes: Compressing and Indexing Documents and Images", Van Nostrand Reinhold, New York, 1994に記載されたmgticアルゴリズムは、記号的圧縮を実行するため使用される。テスト文書中の文字の８０％￥乃至９５％が正確に解読された。
【００５９】
文書照合のための条件付きｎ−グラム技術の性能は、ワシントン大学（UW）データベース中の９７９種の文書に関してテストされた。このデータベースは、１４６組の複製文書のペアを格納する。各ペアの要素は、同じ文書の異なる世代の写真コピーを走査して作成された。UWデータベースの検証ファイル（すなわち、既知の正確な情報）の中の約１０％の文字は、HMMによって９０％の正確さの解読率をシミュレートするため変更された。
【００６０】
条件付きｎ−グラム、並びに、条件付き３グラム及び５グラムは、９７９種のＵＷ文書から抽出された。各文書は、共通して存在するｎ−グラムの出現頻度の重み付き和を用いて類似性スコアを計算することによって他の９７８種の文書と比較された。最大の類似性スコアをもつ１０種の文書が、最も類似している文書が先頭になるようにソートされたリストが出力された。理想的には、データベース内に文書の複製物が存在するならば、リストの先頭の文書が元の文書の複製物である。
【００６１】
以下の表は、条件付きｎ−グラムと無条件ｎ−グラムに関する複製検出率及び必要な記憶容量の比較を示している。
【００６２】
【表２】
0004021119.tif 000011
正答率トップ１は、最高類似性スコアを持つ２９２種のテスト文書が複製物であるパーセンテージを表わす。この表の第１行目には、この比較技術によって出力された第１の選択が正答である頻度が示されている。正答率トップ１０は、最高類似性スコアをもつ１０種の文書の中に複製物が含まれている文書のパーセンテージである。各ｎ−グラム技術によって必要とされる記憶空間は、インデックス付きｎ−グラムの総数によって示される。
【００６３】
上記表の結果から、条件付き３グラムは複製検出において１００％の正答率を達成することがわかる。これに対し、無条件３グラムにより達成される正答率は、第１の選択で８１．８５％であり、トップ１０の選択範囲で９７．９５％である。無条件５グラムも１００％の正答率を達成する。しかし、無条件５グラムは、条件付き３グラムに対し、記憶必要量が約４０：１の割合で増加し、それに比例して処理も増加する点が犠牲になる。
【００６４】
以上の通り、記号的圧縮画像から情報を抽出する方法及び装置が開示された。この技術は、隠れマルコフモデルを使用する新規の解読法に基づいている。ＨＭＭベースの解読によって再現されたテキストの誤り率は、一般的に、従来のＯＣＲシステムによって得られる誤り率よりも高くなるが、言語識別、複製検出、キーワードインデックス付け、及び、文書セキュリティ強化などを含み、これらの例に限定されないある種の文書処理作業に対して十分な情報が得られることが実証された。特に、複製文書を検出するために有効な情報抽出のための条件付きｎ−グラムベースの方法も開示されている。
【００６５】
実験結果からＨＭＭベースの解読法は、４００個足らずの文字を含む記号的に圧縮された英語の文書画像内のテキストの９８％以上を正しく解読できることがわかった。ＨＭＭベース解読法は、条件付きｎ−グラム技術と組み合わせることにより、約９７９種の画像を含むデータベース内で複製物を正しく検出できた。
【００６６】
以上の詳細な説明において、本発明は、具体的な実施例を参考にして説明されている。しかし、特許請求の範囲に記載された本発明の精神及び範囲を逸脱すること無く、上記の具体的な実施例に対し種々の変形並びに変更をなし得ることは明白である。したがって、明細書及び図面に記載された事項は、本発明を制限するものではなく、本発明の例を示すためのものであることが認められるべきである。
【図面の簡単な説明】
【図１】テキスト画像の記号的圧縮の説明図である。
【図２】本発明の一実施例による隠れマルコフモデルベースの解読システムの説明図である。
【図３】多種言語使用環境における記号的圧縮文書の言語を同時に解読、識別するため隠れマルコフモデルベースの解読を使用する例の説明図である。
【図４】従来の３グラム(trigram)生成を条件付きｎ−グラム技術を使用して実現された３グラム生成と比較する図である。
【図５】本発明の一実施例による文書処理システムの標準的な構成図である。
【図６】条件付きｎ−グラムを使用する文書照合を利用する文書複写システムの説明図である。
【図７】条件付きｎ−グラムを使用する文書照合を利用する文書ファックス送信システムの説明図である。
【図８】本発明の実施例で使用される処理動作を実行するため利用される処理システムのブロック図である。
【符号の説明】
１４Ａ，１４Ｂ    記号的圧縮文書画像
２７    解読モジュール
５４    条件付きｎ−グラムモジュール
５５    圧縮モジュール
５６Ａ，５６Ｂ，５６Ｃ    テキスト文字列
５７Ａ，５７Ｂ，５７Ｃ    インデックス項
５８    入力文書インタフェース
５９    データベースインタフェース
６５    文書画像データベース
１０１    文書処理システム
【図１】
0004021119.tif 000012
【図２】
0004021119.tif 000013
【図３】
0004021119.tif 000014
【図４】
0004021119.tif 000015
【図５】
0004021119.tif 000016
【図６】
0004021119.tif 000017
【図７】
0004021119.tif 000018
【図８】
0004021119.tif 000019