"注釈付き文書の画像から文書を再構築するためのコンピュータ実装方法であって、少なくとも2つの注釈付き文書画像より成るセットをコンピュータメモリ内へ受信することであって、前記注釈付き文書画像は各々静止エレメントと注釈付きデータとを備えることと、注釈付き文書画像の各々について、前記注釈付き文書画像セットにおける少なくとも1つの他の注釈付き文書画像に対するアラインメントを実行することと、前記アラインされた注釈付き文書画像を基礎として、前記アラインされた注釈付き文書画像から導出された少なくとも幾つかの注釈付きデータが曖昧にされる合意文書画像を形成することと、前記合意文書画像を基礎としてクリーンな文書を形成することと、前記クリーンな文書をビューイング用に出力デバイスを介して表示することを含む方法。注釈付き文書の画像からクリーンな文書を再構築するためのコンピュータベースシステムであって、コンピュータプロセッサと、コンピュータメモリであって、グローバルアラインメントモジュールと、合意画像形成モジュールと、クリーンアップモジュールとを格納するコンピュータメモリとを備え、前記グローバルアラインメントモジュールは、注釈付き文書画像の各々について、前記注釈付き文書画像のセット内の少なくとも1つの他の注釈付き文書画像に対するアラインメントを実行するように動作可能であり、前記合意画像形成モジュールは、少なくとも前記アラインされた注釈付き文書画像を基礎として、前記アラインされた注釈付き文書画像から導出された少なくとも幾つかの注釈付きデータが曖昧にされている合意文書画像を形成するように動作可能であり、かつ、クリーンアップモジュールは、少なくとも前記合意文書画像を基礎としてクリーンな文書を形成し、かつ、前記クリーンな文書を出力デバイス上へビューイング用に表示するように動作可能であり、前記コンピュータプロセッサは前記モジュールを実装するコンピュータベースシステム。前記グローバルアラインメントモジュールは、前記注釈付き文書画像内の幾つかのブロックを選択することと、代表画像内の、前記注釈付き文書画像内のブロックにサイズ及びロケーションが対応する同数のブロックを選択することと、前記注釈付き文書画像の各ブロック内の少なくとも1つの点を、前記代表画像における対応するブロック内の少なくとも1つの点へマップする変換マトリクスを計算することを含む方法を実行する、請求項2に記載のシステム。前記注釈付き文書画像のセットにおける各注釈付き文書画像に対して、前記注釈付き文書画像を二次ブロックのグリッドに分割し、前記注釈付き文書画像内の各ブロックの、前記代表画像内のブロックとの一致を決定し、前記代表画像内に対応するブロックを取得するために、前記決定された一致する二次ブロック及びグローバルアラインメント情報を用いて、平行移動ベクトルを前記注釈付き文書画像内の各ブロックの中心へ割り当てるベクトルフィールドを生成するように動作可能なローカルアラインメントモジュールをさらに備える、請求項2に記載のシステム。各注釈付き文書画像を前記クリーンな文書と比較することにより前記注釈付き文書画像のセットから注釈情報データを抽出することを、前記クリーンな文書内のバウンディングボックスと、前記注釈付き文書画像内の対応するバウンディングボックスとを識別することと、diff演算を実行して、前記注釈付き文書画像の各ボックス内に含まれる、前記クリーンな文書の前記対応するボックスには存在しない注釈ピクセルを抽出することと、各バウンディングボックスについて、そのサイズ及びロケーション、抽出された注釈ピクセル及び前記注釈データが抽出される前記注釈付き文書画像を識別する識別子を出力することと、前記抽出された注釈ピクセルを出力デバイス上で表示すること、を含むプロセスを実行することによって行なうように動作可能な注釈抽出モジュールをさらに備える、請求項2に記載のシステム。従って、過去に全く目にしたことがない新しいタイプの書式に関しても、注釈付き文書の画像から注釈付きデータを分離するための、ほぼ完全に自動化された方法を保有することが望ましい。例示的な実施形態の一態様では、注釈付き文書の画像から文書を再構築するためのコンピュータ実装方法が提供される。本方法は、少なくとも2つの注釈付き文書画像のセットをコンピュータメモリ内へ受信することであって、注釈付き文書画像は各々静止エレメントと注釈付きデータとを備えることと、注釈付き文書画像の各々について、上記注釈付き文書画像セットにおける少なくとも1つの他の注釈付き文書画像に対するアラインメントを実行することを含む。次に、アラインされた注釈付き文書画像を基礎として、上記アラインされた注釈付き文書画像から導出された少なくとも幾つかの注釈付きデータが曖昧にされた合意文書画像が形成される。クリーンな文書は、この合意文書画像を基礎として形成され、かつクリーンな文書は出力デバイスを介するビューイング用に表示される。別の態様では、注釈付き文書の画像からクリーンな文書を再構築するためのコンピュータベースシステムが提供される。本システムは、コンピュータプロセッサと、グローバルアラインメントモジュール、合意画像形成モジュール及びクリーンアップモジュールを格納するコンピュータメモリとを含む。グローバルアラインメントモジュールは、注釈付き文書画像の各々について、選択された代表画像に対するグローバルアラインメントを実行するように構成される。合意画像形成モジュールは、少なくともアラインされた注釈付き文書画像を基礎として、上記アラインされた注釈付き文書画像から導出された少なくとも幾つかの注釈付きデータが曖昧にされている合意文書画像を形成するように構成される。クリーンアップモジュールは、少なくともこの合意文書画像を基礎としてクリーンな文書を形成しかつクリーンな文書を出力デバイス上へビューイング用に表示するように構成される。コンピュータプロセッサは、これらのモジュールを実装する。さらに別の態様において、コンピュータプログラムプロダクトは有形媒体符号化命令を含み、上記命令は、コンピュータ上で実行されると、注釈付き文書画像のセットについて、上記注釈付き文書画像セットから代表画像を選択することと、注釈付き文書画像セットにおける複数の他の画像の各々に対して、選択された代表画像に関するグローバルアラインメントを実行してアラインされた注釈付き文書画像のセットを形成することと、アラインされた注釈付き文書画像のセットを基礎として合意文書画像を形成することと、合意文書画像を基礎としてクリーンな文書を形成することを含む方法を実行する。注釈付き文書画像の各々について、注釈付き画像がクリーンな画像と比較されて注釈が識別され、注釈が出力される。本方法及びシステムは、注釈付き文書画像のセットから代表画像を選択し、かつ注釈付き文書画像セット内の各注釈付き文書画像について、選択された代表画像に対するグローバルアラインメントを実行するように適合化されてもよい。本方法及びシステムは、選択された代表画像及び注釈付き文書画像のセットを基礎として合意文書画像を形成するように適合化されてもよい。本方法及びシステムのクリーンな文書は、全ての類似文書上に複写されるための静止エレメントを含む固定されたページレイアウトを有する文書であってもよい。本方法及びシステムは、少なくとも合意文書画像を基礎とし、ごま塩ノイズ及び隔絶された白黒ピクセルを除去しかつ破断したラインを修復することによってクリーンな文書を形成するように適合化されてもよい。本方法及びシステムは、注釈付き文書画像のセットから注釈情報データを、各注釈付き文書画像をクリーンな文書と比較することによって抽出するように適合化されてもよい。本方法及びシステムは、クリーンな文書内のバウンディングボックス及び注釈付き文書画像内の対応するバウンディングボックスを識別し、注釈付き文書画像の各ボックス内に含まれる、クリーンな文書の対応するボックスには存在していない注釈ピクセルを抽出するためにdiff演算を実行し、かつ各バウンディングボックスについて、サイズ及びロケーション、抽出された注釈ピクセル及び注釈データが抽出された注釈付き文書画像を識別する識別子を出力することによって、注釈情報を抽出するように適合化されてもよい。本方法及びシステムによって選択される代表画像は、注釈付き文書画像のスキューの測度、注釈付き文書画像の鮮明さの測度及び注釈付き文書画像のライン品質の測度のうちの1つを基礎とするものであってもよい。本方法及びシステムの選択される代表画像及び注釈付き文書画像セットは、合意文書画像の形成前にぼかされてもよい。本方法及びシステムは、各注釈付き文書画像について、この注釈付き文書画像内の幾つかのブロックを選択し、代表画像において、上記注釈付き文書画像内のブロックとサイズ及びロケーションが一致する同数のブロックを識別し、かつ注釈付き文書画像の各ブロック内の少なくとも1点を代表画像内の対応するブロック内の少なくとも1点へマップする変換マトリクスを計算することによって、グローバルアラインメントを実行するように適合化されてもよい。本方法及びシステムの変換マトリクスは、注釈付き文書画像内の各ブロックに関する変換の平均であってもよい。本方法及びシステムは、注釈付き文書のブロック内の黒ピクセルと代表文書のブロック内の黒ピクセルとの重なりの測度を計算することによって、注釈付き文書画像の各ブロック内の少なくとも1点を代表画像内の対応するブロック内の少なくとも1点へマップするように適合化されてもよい。本方法及びシステムは、注釈付き文書画像のブロックと代表画像のブロックとの間の重なり合った黒ピクセルの数を、注釈付き文書画像のブロック及び代表画像の対応するブロックにおける黒ピクセルの平均数で除したものとして定義される品質スコアを算出することによって、黒ピクセルの重なりの測度を計算するように適合化されてもよい。本方法及びシステムは、変換マトリクスを計算するために粗い探索から細かい探索までの階層的探索を用いてもよい。本方法及びシステムの変換マトリクスは、回転、平行移動、均一なスケーリング、ページカールの補正及びキーストーニングの補正を考慮に入れてもよい。本方法及びシステムは、注釈付き文書画像のセットにおける各注釈付き文書画像について、上記注釈付き文書画像を二次ブロックのセットに分割し、注釈付き文書画像内の各二次ブロックと代表画像内の個々の二次ブロックとの一致を決定し、かつ一致が決定された複数の二次ブロックについて、グローバルアラインメント情報を基礎として、代表画像内の対応するブロックを取得するために注釈付き文書画像内の各二次ブロックへ平行移動ベクトルを割り当てるベクトルフィールドを生成することによって、注釈付き文書画像のセットについてローカルアラインメントを実行するように適合化されてもよい。本方法及びシステムのベクトルフィールドは、少なくとも1つの二次ブロックの平行移動ベクトルを推定するためにラプラス平滑化処理を用いてもよい。ラプラス平滑化処理は、少なくとも1つの二次ブロックに近接する二次ブロックからのベクトルを平均することによってベクトルを外挿してもよい。本方法及びシステムは、各々が合意文書画像内に一意の位置を有する複数の合意ピクセルを決定し、割り当てられた注釈付き文書画像の各々における対応するピクセルの特性を合計することを包含し、かつ上記合計を所定のしきい値と比較することによって、合意文書画像を形成するように適合化されてもよい。さらに、上記合計は、代表画像内の対応するピクセルの加重値を含んでもよい。本明細書では、注釈付き文書画像のセットからクリーンな文書を再構築するための方法及びシステムを開示する。本明細書で使用しているように、クリーンな文書は、固定されたテキスト、固定された境界及び全ての類似文書において複写されるための他のページエレメント等の静止エレメントを含む固定されたページレイアウトを有する文書である。例えば、図1はクリーンな文書例2を示している。クリーンな文書2は、ユーザによって情報を記入される注釈を付けられるべき未記入の書式と見なすことができる。従って、注釈付き文書は、ユーザまたは他のエージェントコンピュータシステム等によって追加された可変データ注釈を含む修正されたクリーン文書である。注釈付き文書画像は、走査され、ダウンロードされかつ別途コンピュータメモリへ入力されている注釈付き文書からの1つまたは複数の画像である。図2及び図3は、注釈付き文書画像の例4、6を示す。この例示的な実施形態では、文書画像に対して、回転、平行移動及びx、y座標の分離スケーリングを考慮に入れる多変数変換が実行される。これは、2つ以上の注釈付き文書画像間のグローバルアラインメントを達成する。複数文書のアラインメントの後、本例示的方法及びシステムは、複数の注釈付き文書画像に共通するピクセルを含む新しい画像を計算する。これは、最初のグローバル変換が単に1ページ画像の他のページ画像に対する平行移動であった早期のアラインメント方法とは対照的である。図4を参照すると、注釈付き文書画像のセットからクリーンな文書2を再構築するための例示的なシステム100が示されている。システム100は、注釈付き文書画像のセット104を受信するための入力デバイス102を含む。本明細書に提示している本例示的システム及び方法の説明を単純にするために、注釈付き文書画像のセット104は単一のクリーンな文書2に対応する2つ以上の注釈付き文書画像から成ることを想定するが、本方法及びシステムは、複数のクリーン文書に対応する注釈付き文書画像の集合体の処理に使用されることも可能である。入力に先立って、注釈付き文書画像のセット104は、スキャナによって生成されるROMまたはRAMドライブ等の任意の適切な有形媒体に格納されてもよく、かつ/または、例えばインターネットを介してシステム100へ搬送波の形式で入力されてもよい。或いは、注釈付き文書画像104は、システム100自体の内部で生成されてもよい。入力デバイス102は、モデムリンク、有線または無線接続、USBポート、フロッピーまたはハードディスクレシーバまたはこれらに類似するものを含んでもよく、かつシステム100の他のコンポーネントと結合されても、分離されてもよい。システム100は、処理の間に注釈付き文書画像104を格納するためのデータメモリ106を含む。システム100のメインメモリ108は、代表スキャン選択モジュール110と、グローバルアラインメントモジュール112と、任意選択のローカルアラインメントモジュール114と、合意画像形成モジュール116と、クリーンアップモジュール118と、注釈抽出モジュール119とを格納する。モジュール110、112、114、116、118及び119からの出力はメモリ106、108に格納されてもよく、または出力デバイス120を介してクライアント端末130またはプリンタ132の一方またはそれ以上へ、任意選択としてインターネット等のネットワーク134を通じて出力されてもよい。出力クリーンな文書2または抽出された注釈157等は、ビューイング用にクライアント端末130またはプリンタ132上で表示されてもよい。任意選択の代表スキャン選択モジュール110は、入力として入力デバイス102を介して注釈付き文書画像のセット104を受信し、この注釈付き文書画像のセット104から注釈付き文書画像のセット104を代表する最良のものと考えられる注釈付き文書画像150を選択する。選択された代表の注釈付き文書画像150は、次にスキャン選択モジュール110からグローバルアラインメントモジュール112へ送られる。グローバルアラインメントモジュール112は、他の注釈付き文書画像104の各々に対して剛体変換回転及び/または平行移動等を実行し、これらを、選択された代表の注釈付き文書画像150へさらに密にアラインする。任意選択のステップであることから代表の注釈付き文書画像が選択されていなければ、グローバルアラインメントモジュール112は、注釈付き文書画像104の各々について、他のロケーション情報に関する剛体及び/または相対変換を実行する。例えば、グローバルアラインメントモジュール112は、各注釈付き文書画像が、画像の端に平行する、かつ上記端から定距離を有するテキストの一番上の行または文書内の所定の行を有するように、各注釈付き文書画像をアラインしてもよい。グローバルアラインメントモジュール112の出力は、任意選択のローカルアラインメントモジュール114へ送られる変換マトリクス152等の変換セットである。ローカルアラインメントモジュール114はさらに、とりわけページカール、キーストーニング斜角から撮られた写真等、他を補正する技術を用いて、選択された代表文書画像150に関して注釈付き文書画像のセット104をアラインする。ローカルアラインメントモジュール114の出力は、合意画像形成モジュール116へ送られるアラインされた文書画像154のセットである。合意画像形成モジュール116はアラインされた各画像を処理し、かつ少なくとも複数のアラインされた画像に幾何学的に共通するピクセルを識別して合意画像156を形成する。共通するピクセルを有することをそのピクセルが合意画像156に属するとして識別される前に必要とされる注釈付き文書画像のしきい値数はシステム実装に依存するが、これについては後に詳述する。合意画像形成モジュール116が合意画像156を形成すると、合意画像156は任意選択としてクリーンアップモジュール118へ送られる。クリーンアップモジュール118は、合意画像156内のごま塩ノイズ等の望ましくないアーチファクトを識別し、かつクリーンな文書2をメモリ106、108、クライアント端末130及びプリンタ132のうちの1つまたはそれ以上へ出力する。注釈抽出モジュール119は、注釈付き文書画像をクリーンな文書2と比較することによって注釈付き文書画像114の各々から注釈情報を抽出する。この例示的なシステムでは、コンポーネント110、112、114、116、118及び119はメインメモリ108に格納されたソフトウェア命令を備え、これはコンピュータプロセッサ122によって実行される。コンピュータのCPU等のプロセッサ122は、メモリ108に格納された処理命令を実行することによってコンピュータシステム100の全体的なオペレーションを制御してもよい。コンポーネント102、106、108、110、112、114、116、118、119、120及び122は、データ制御バス124によって接続されてもよい。認識されるであろうが、システム100は、同じ機能性を維持しながらより少ない、またはより多いコンポーネントを含んでもよい。例えば、コンポーネント110、112、114、116、118、119は、より少ないコンポーネントを形成するために結合されても、より多い個々のコンポーネントを形成するために機能を分離されてもよい。認識されるであろうが、クリーン文書再構築システム100は、パーソナルコンピュータ、PDA、ラップトップコンピュータ、サーバコンピュータ、文書処理ケイパビリティを有するスキャンデバイスまたはこれらの組合せ等の1つまたは複数のコンピューティングデバイスを備えてもよい。メモリ106、108は一体型であっても分離型であってもよく、ランダムアクセスメモリRAM、読取り専用メモリROM、磁気ディスクまたはテープ、光ディスク、フラッシュメモリまたはホログラフィックメモリ等の任意タイプのコンピュータ読取り可能媒体を表してもよい。ある実施形態では、メモリ106、108は、ランダムアクセスメモリと読取り専用メモリとの組合せを備える。実施形態によっては、プロセッサ122とメモリ106及び/または108とが1つのチップ内に組み合わされてもよい。図5を参照すると、注釈付き文書画像のセットからクリーンな文書を再構築するための例示的な方法が示されている。本方法は、図4に示すシステム100を使用してもよい。本例示的方法が図示されているステップより少ない、多い、または異なるステップを含んでもよく、かつ図示されている順序で進行する必要もないことは認識されるべきである。図5に示されている方法は、コンピュータ上で実行され得るコンピュータプログラムプロダクトにおいて実装されてもよい。コンピュータプログラムプロダクトは、コンピュータプログラムが記録されるディスクまたは他のメモリ格納デバイス等の有形コンピュータ読取り可能記録媒体であっても、制御プログラムがデータ信号として具現される伝送可能な搬送波であってもよい。図示されている方法は、完全自動式であってもよく、本明細書に記載しているような何らかのユーザ入力を含んでもよい。本方法は、ステップS100で開始される。ステップS200において、クリーン文書再構築システム100は、入力デバイス102を介してコンピュータメモリ106へ少なくとも2つの注釈付き文書画像のセット104を受信する。セット104内の各注釈付き文書画像は同じ形式またはクリーンな文書画像に対応しているべきであって、唯一異なる注釈を有する。例えば、図2及び図3の注釈付き文書画像4及び6は、画像4及び6が各々10a及び10b等の注釈を含むクリーン文書2の上位セットであることから、共に図1のクリーンな文書画像即ち、未記入の書式2に対応している。ある実施形態では、2つの注釈付き文書画像は、これらの2つの注釈付き文書画像が少なくとも所定の比率例えば、50のピクセルを共有していれば同じクリーンな文書画像に対応している。例えば、2つの注釈付き文書画像は、画像の大きさに関して同じ位置に存在する同じ改行及び同じフォントを有する所定量のテキストを共有してもよい。出力されるクリーンな文書画像の品質は、少なくとも部分的に、入力される注釈付き文書画像の数に依存する。本例示的方法及びシステムでは少なくとも10、かつある実施形態では約20またはそれ以上の白黒、グレースケール及び/またはカラー画像がシステム100へ入力される。注釈付き文書画像は、TIFF、JPG、GIF、PDF、他等の処理ソフトウェアによる認識が可能な任意のフォーマットであってもよい。任意選択として、グレースケールまたはカラー画像は、処理の前に2値白黒画像に変換されてもよい。ステップS300では、代表スキャン選択モジュール110が入力された注釈付き文書画像のセット104から1つの注釈付き文書画像を選択し、選択された注釈付き文書画像を代表の注釈付き文書画像150として設定する。代表の注釈付き文書画像150は、入力された注釈付き文書画像のセット104から外されてもよいが、この限りではない。ある代替実施形態では、代表の注釈付き文書画像150はユーザによって手動で選択されてもよい。ある注釈付き文書画像が代表の注釈付き文書画像として選択されることに適するかどうかを決定し得る要素としては、上記注釈付き文書画像のスキュー、鮮明さ及びライン品質が含まれるが、この限りではない。例えば、ある注釈付き文書画像は、それが文書の余白に対して歪められておらず、鮮明でくっきりとしたエッジを有しかつ濃くて容易に区別可能な行を有していれば、代表の注釈付き文書画像と見なされてもよい。代表の注釈付き文書画像150の決定に際しては、これらの要素の任意のもの、または全てが考慮されてもよい。その目的は、最良の注釈付き画像生成元であったクリーンな画像と構造が最もよく類似していると予想されたものを代表の注釈付き文書画像として選択することにあるが、処理ソフトウェアは必ずしも人が最良であると考える注釈付き画像を選択しない場合がある。本例示的実施形態では、代表の注釈付き文書画像の決定に際して、文書画像の鮮明さ、または品質よりも文書画像のスキューの方に重きがおかれる。説明を目的として、ここでは図2を最良の注釈付き画像として選択する。ステップS350において、代表スキャン選択モジュール110または他の任意の適切なモジュールは、任意選択として入力された注釈付き文書画像のセット104及び選択された代表の注釈付き文書画像150をぼかす。使用されるぼかしアルゴリズム及び/またはコンポーネントは、任意の適切なぼかしアルゴリズムを実装してもよい。例えば、所定の実施形態は、周知のガウスぼかしアルゴリズムを実装して注釈付き文書画像104、150をぼかす。他の実施形態では、文書画像の黒ピクセルは膨張される。膨張は、出力されるピクセルの値が入力されるピクセルの近傍における全ピクセルの最大値であるオペレーションを示す。例えば、2値画像において、入力されるピクセルの近傍における任意のピクセルが黒であれば、出力されるピクセルは黒に設定される。ぼかしの目的は、1つまたは2つのピクセルによるピリオドまたはライン等の比較的小さいオブジェクトであっても幅はアライン可能であることの保証にある。ステップS400において、グローバルアラインメントモジュール112は、入力された注釈付き文書画像のセット104内の各注釈付き文書画像A1,A2,...,Anを、選択された代表の注釈付き文書画像B150に対してアラインするグローバルアラインメントを実行する。簡単に言えば、グローバルアラインメントモジュール112は、Ai内の幾つかの初ブロック478図13例えば、本例示的実施形態では約20個-50個のブロックを選択し、相互相関及び粗い探索から細かい探索までの階層的探索を用いてB内のその対応する即ち、一致する初ブロック478を識別する。本例示的実施形態では、文書画像Ai内の選択された初ブロック478は、多くの黒またはカラーの場合は暗いピクセルを含む複合ブロックである。例えば、ある初ブロック478は、それが10を超える黒ピクセルを含んでいれば選択されてもよい。初ブロック478は、少なくとも50ピクセルまたは少なくとも100ピクセルを含んでもよく、かつ実施形態によっては、約100,000ピクセルまで含んでもよい。選択された初ブロックは全て同じサイズ及び形状であってもよく、異なる形状及び/またはサイズであってもよい。ある実施形態では、初ブロック478は長方形であるが、他の形状も企図されている。概して、初ブロック478は画像面積の約5以下の面積を占める。初ブロック478図13の一致する各ペアは、1対の点、即ちAi内のx,y及びB内のx’,y’を与える。一般的な最小二乗法不良一致を除去する異常値排除を有するを用いて、グローバルアラインメントモジュール112は、Ai内の点をB内の点に近似的にマップする変換マトリクスを計算する。変換マトリクスは、回転及び平行移動等の剛体運動のみを許容してもよい。所定の実施形態では、変換マトリクスはファックスマシンで発生することが多いx及びy方向に一様なスケーリングまたは異なるスケーリングも許容してもよく、かつ/またはページカール、キーストーニング、他を含む、但しこれらに限定されない変形部を補正するための追加的な変換も提供してもよい。ステップS400は、図6にさらに詳述されている。グローバルアラインメント法はステップS350から開始されかつS402で始まり、各注釈付き文書画像Aiについて、選択された代表の注釈付き文書画像B150に関して実行される。ステップS402において、グローバルアラインメントモジュール112は、画像Ai内の複数の初ブロックを選択する。例えば、図13は、選択された複数の初ブロック478を有する図3の注釈付き文書画像6を示している。本例示的実施形態では、30個以上の初ブロック478が選択されている。さらに所定の実施形態では、初ブロック478は、文書画像Aiに渡って一様のサイズ、非重複及び一様分布のうちの少なくとも何れかである。初ブロック478は互いに隣接していても、任意サイズのスペースによって分離されてもよい。300DPI文書画像の場合、初ブロック478は、典型的には128x128ピクセルのサイズを有する。初ブロックは、ランダムに選択されても、擬似ランダムに選択されても、ユーザによって選択されてもよいが、この限りではない。初ブロックが擬似ランダムに選択される実施形態では、初ブロックはユーザの手助けによって選択されてもよく、かつ/または所定の条件を満たすように選択されてもよい。ステップS404において、グローバルアラインメントモジュール112は、文書画像Aiの初ブロック478図13の各々について、文書画像B内の対応する初ブロック478に対する最近一致を決定する。まず、Aiの初ブロックの同じx及びy座標を用いてB内の初ブロックを位置決めすることによって、Aiの初ブロック478が暫定的にBの初ブロック478に一致される。文書画像の初ブロックの最近一致は、有効変換の下で文書画像Aiの初ブロック478に最も近接して似ている選択された文書画像Bの初ブロックを発見することによって決定される。有効変換には、文書画像の初ブロックの平行移動、文書画像の初ブロックの回転、文書画像の初ブロックのスケーリング及び文書画像の初ブロックのアフィン変換が含まれるが、この限りではない。文書画像の初ブロック478の最近一致は、上記一致の品質に対応する品質スコアにも関連づけられてもよい。所定の実施形態では、選択された文書画像の初ブロックの品質はゼロから1までのスケールで評価される。但し、ゼロは一致が発見されないことを示し、1は完全一致を示す。完全一致は、選択された文書画像の何らかの初ブロックが、回転等の有効変換下で文書画像の初ブロックに正確に一致する場合にのみ存在する。このような実施形態下では、品質スコアは、適用された任意の変換に続く文書画像の初ブロックと選択された文書画像の初ブロックとの間の重なり合う黒ピクセル数を、文書画像の初ブロック及びこれに対応する選択された文書画像の初ブロックにおける黒ピクセルの平均数で除したものとして定義されてもよい。さらに、所定の実施形態において、最近一致の品質スコアが信頼度しきい値より低ければ、方法S400の残りのステップに関して文書画像の対応する初ブロックは無視されてもよい一致なし。文書画像の対応する初ブロックが注釈データのみまたは主として注釈データを含んでいれば、品質スコアは信頼度しきい値より低くなると思われる。文書画像の初ブロック478図13の最近一致を発見するためには、粗い探索から細かい探索までの階層的探索手順が使用されてもよい。図7を参照すると、図8の例示的な15ピクセルx15ピクセルの探索ウィンドウ453へ適用されるような階層的探索手順450が示されている。例示を目的として、探索ウィンドウ453は、図2及び図3における初ブロック478内にも示されている。階層的探索手順は、ステップS452において、文書画像Aiの初ブロックを中心として探索ウィンドウ453を画定することによって始まる。探索ウィンドウは、Aiの選択された初ブロックに対応する選択された代表画像B内のブロックを発見するために使用される。近似ロケーションを決定するより高度な方法が使用されてもよいが、所定の実施形態では、文書画像の初ブロックのロケーションは単に、選択された文書内の対応するロケーションにマップされる。例えば、幅w0及び高さh0を有する文書画像内のロケーションx0,y0における初ブロックについて考察されたい。選択された文書画像が幅w1及び高さh1を有していれば、選択された文書内の対応するロケーションx1,y1は下記のように定義されることが可能である。ステップS454において、グローバルアラインメントモジュール112は、探索ウィンドウ453より小さくかつ探索ウィンドウ内に中心を置かれた第1のボックス点457で画定されているを画定する。ステップS456において、グローバルアラインメントモジュール112は、第1のボックス内に位置決めされた点457のセットの一致スコアを決定する。所定の実施形態では、一致スコアは、4つ角と、各辺の中点と、ボックスの中心との離隔された9点について決定されるが、離隔された点の数はこれより少なく、または多く選択されてもよい。ある点の一致スコアは、文書画像Aiの初ブロックを上記点に近接する選択された文書画像Bの領域へ一致させるべく試行することによって決定される。オペレータは、オペレータによる近接の定義が広義であるほど階層的探索手順450は遅くなるという理解の下で、近接を自らが適当と思うように定義してもよい。よってステップS458では、最も高い一致スコアこの図では、右上の点457を有する点が選択される。例えば、図2及び図3の探索ウィンドウ453は各々ドル記号を含むが、これは、対応する点に関して高い一致スコアを与える。ステップS460では、先のボックスより小さくかつ先のボックスからの最近一致の辺りに中心を置かれたボックスが点463によって画定される。ステップS462において、グローバルアラインメントモジュール112は、より小さいボックス内に位置決めされた点について、第1のボックスに類似する方法で一致スコアを決定する。ステップS464では、最も高い一致スコアを有する点この場合は、右中央の点463が選択される。ステップS466において、グローバルアラインメントモジュール112は、より小さいボックスの点が類似する一致スコアを有するかどうかを決定する。例えば、点463の一致スコアは互いに比較され、点間の差が所定のしきい値内例えば、0.0から1.0までに含まれるかどうかが決定される。より小さいボックスの点が互いに類似していなければ、ステップS460、S462、S464及びS466が繰り返される。ステップS468において、グローバルアラインメントモジュール112は、最近一致が探索ウィンドウ453の境界においでであるかどうかを決定する。例えば、点471で表される右側の点のうちの何れかがそのボックスの最近一致であると決定されれば、選択される点は探索ウィンドウの境界に存在する。最近一致が境界上に存在しなければ、方法450はS472へ進む。存在すれば、方法450は、ステップS470において最近一致の辺りに中心が置かれる新しい探索ウィンドウを画定し、ステップS454からS468までを繰り返す。本方法におけるこの時点で、グローバルアラインメントモジュール112は、文書画像Ai内に、文書画像B内の点セットに対応する9点までのセットを識別している。図6に戻って参照すると、ステップS406において、グローバルアラインメントモジュール112は、Aiへ適用されると文書画像Aiを文書画像Bへアラインする文書画像Aiの変換マトリクスを決定する。この決定は、最近一致間の差を最小化するための最小二乗分析及び文書画像の対応する初ブロック478図13を用いて行われる。基本的には、その目的は、文書画像Aiの初ブロック内の点を選択された文書画像Bの対応する初ブロック内の点へマップすることにある。これを実行する際には、最小二乗分析は1つまたは複数の有効変換を考慮してもよい。但し、有効変換には、回転、平行移動、スケーリング、ページカール、キーストーニング、他が含まれるが、この限りではない。所定の実施形態では、最小二乗分析は、誤一致の点ペアに対するプロセス感度を下げるために異常値排除も含む場合がある。例証のために、選択された文書画像B内の初ブロックrsのロケーションを、文書画像Ai内の対応する初ブロックrdのロケーションの関数fとしてモデリングできるものとする。さらに、関数fは、関数fが2つの初ブロック間でどのようにマッピングするかを制御する可変パラメータのベクトルβをとるものとする。パラメータには、回転、スケーリング、平行移動、他の量が含まれてもよい。よって、誤差Sの二乗和は、と定義されることが可能である。但し、nはステップS402で選択された初ブロックの数に一致し、fは新しい点となる点xi,yiへの変換を適用する関数であり、dは点xi,yiと平行移動点fxi,yiとの距離の測度であり、iは選択された文書画像B即ち、最近一致内のi番目の初ブロックに対応し、かつfxi,yiは文書画像Ai内のi番目の初ブロックのロケーションに対応する。二乗和Sが画定されると、文書画像Aiの変換は、ベクトルβの可変パラメータを解くことによって決定される。即ち、ベクトルβはm個のパラメータを有し、かつβjはj番目のパラメータに対応するものとする。j番目のパラメータに対する解は、一次方程式等の従来技術を用いてパラメータβjを解くことにより決定されることが可能である。認識されるべきものであるように、このようにして決定される可変パラメータは、選択された文書の初ブロック478図13への文書画像の初ブロックのマッピングに付随する誤差の二乗和を最小化する。変換マトリクスが文書画像全体に渡って剛体的に適用される傾向があることを想定すれば、可変パラメータは、文書画像の変換をグローバルに画定するために用いられることが可能である。このグローバルに画定される変換は、文書画像Aiについて計算される変換マトリクスの平均であってもよい。従って、ステップS406の終わりでは、グローバルアラインメントモジュール112は文書画像Aiの各々について1つの変換マトリクス152を決定している。再度図5を参照すると、ステップS500において、ローカルアラインメントモジュール114は、任意選択として、入力された注釈付き文書画像のセット104内の各注釈付き文書画像A1,A2,...,Anについて、選択された代表の注釈付き文書画像B150に関するさらなるローカルアラインメントを実行する。このステップは、グローバルなアラインメント変換は複数の初ブロック478図13に渡る平均変換である、という事実を明らかにする手助けをする。文書画像Aiの各領域は、全て個々に計算されて文書画像Aiへ適用されるその固有の、僅かに異なる変換を有する。簡単に言えば、文書画像Aiは、Aiを非重複のまたは部分的にのみ重なる二次ブロック480図14のグリッドに分割することによってBへ局所的にアラインされる。例えば、128x128ピクセルは、選択された代表の文書画像Bにおける対応ブロックが決定されているAi内の各二次ブロックの妥当な二次ブロックサイズマッチである。これらのマッチングは、B内の対応するブロックを取得するためにAi内のブロックの中心へ平行移動ベクトルを割り当てるベクトルフィールドと考えることができる。初期ベクトルは、グローバルアラインメントステップS400において計算される変換マトリクスによって決定されるが、最終ベクトルはx及びyの各々において初期ベクトルから約5ピクセルまで偏向されてもよい。確信的には一致され得ない二次ブロックのベクトルは、ラプラス平滑化処理を用いてその近傍から外挿されることが可能であり、この場合、上記ベクトルはその通常は4つの近傍ベクトルの平均に設定される。画像Ai内の任意の点x,yにおける平行移動ベクトルを発見するために、x,yを包囲する4つのグリッド点における平行移動ベクトルからの双線形補間即ち、2点間の変換推定の発見が用いられる。適用される変換ベクトルのセットにアラインされた画像は、A’iで示される。ステップS500は、図9において詳述されている。任意選択であるローカルアラインメント法S500はステップS400の後に開始され、S552で始まる。方法S500は、注釈付き文書画像Aiの各々について、かつ二次ブロックの各々について、選択された代表の注釈付き文書画像B150に関して実行される。ステップS552において、ローカルアラインメントモジュール114は文書画像Aiを、上記文書画像全体を包含する二次ブロック480図14のセットに分割する。但し、各二次ブロック480は上下左右境界上の二次ブロックを除くに近傍ブロックを有する。認識されるべきものであるように、二次ブロック480は文書画像の単なる一領域である。所定の実施形態では、二次ブロック480は、非重複的、二次ブロック480間の間隙を防止するために少し例えば、10ピクセルだけ重複的、かつ一様サイズのうちの少なくとも1つである。ローカルアラインメントモジュール114またはユーザは、二次ブロック480のサイズを、任意選択として少なくとも下記の考慮事項、即ち1二次ブロックのサイズが小さいほど、必要な処理時間は長くなること、及び2二次ブロックのサイズが大きいほど、ローカルアラインメントの効果は下がること、を加重した後に選択してもよい。本例示的実施形態では、300DPI1インチ当たりのドット数文書画像のブロックサイズは128x128ピクセルであり、即ち、各二次ブロック480は少なくとも1cm2の面積を有してもよく、かつ画像は少なくとも50個または少なくとも100個の二次ブロックに、例えば二次ブロック5000個にまで分割されてもよい。ステップS554において、ローカルアラインメントモジュール114は、Ai内の各ブロックについて文書B内のブロックとの最近一致を決定する。あるブロックの最近一致は、有効変換下の上記ブロックに最もよく似ている選択された文書画像Bの初ブロック478図13を発見することによって決定される。さらに、最近一致は、一致の品質に対応する品質スコアを含んでもよい。従って、認識されるべきであるように、あるブロックの最近一致は、図7に関連して論じた文書画像の初ブロック478の最近一致と同じ方法で決定されてもよく、よって前述の論考に注目されたい。ステップS556において、ローカルアラインメントモジュール114は、ステップS554で決定された選択された文書画像B内の最近一致の二次ブロック480図14に対応する文書画像Ai内の各ブロックの平行移動ベクトルを決定する。文書画像Ai内の二次ブロック480の平行移動ベクトルは、単に、二次ブロック480が選択された文書画像B内のその最近一致にアラインするために必要とする平行移動の量である。所定の実施形態では、ある最近一致の品質スコアが信頼度しきい値より下であれば、二次ブロック480の平行移動ベクトルはその近傍の平行移動ベクトルから外挿されてもよい。即ち、このような二次ブロック480の平行移動ベクトルは、その近傍の平均平行移動ベクトルに設定されることが可能である。図10を参照すると、文書画像に適用された平行移動ベクトルのセットを示す文書画像の歪みマップが示されている。本例では、文書画像が6x8グリッドの二次ブロック480図14に分割されているが、これより少ない、または多い二次ブロックが使用されてもよい。各ブロックは、1つの平行移動ベクトル単に平行移動方向を示す矢印によって指示されているに関連づけられている。ブロックの離散セットの平行移動ベクトルしか決定されていないが、双線形補間を用いれば、文書画像Ai内の任意の点に関する平行移動ベクトルを、上記点を包囲する4つのグリッド点における平行移動ベクトルから決定することができる。ステップS558において、ローカルアラインメントモジュール114は、ステップS556からの決定された平行移動を適用することによって文書画像Ai内の各ブロックをシフトする。ステップS560において、ローカルアラインメントモジュール114は、ステップS558からのシフトされたブロックを組み立てる纏めてスティッチすることによって変換された文書画像A’iを生成する。従って、ステップS560が実行された後は、変換された文書画像154のセットA’1,A’2,...,A’nが生成される。但し、nは入力された文書画像のセット104内の文書画像の数である。制御は次に、S600へ進む。ステップS600において、合意画像形成モジュール116は、アラインされた文書画像154A’1,A’2,...,A’nを結合して合意画像156を形成する。合意画像156を形成するためにアラインされた文書画像154を結合する方法は幾つか存在する。任意選択として、任意カラーのアラインされた文書画像は、さらなる処理の前にグレースケールまたは2値白黒画像に変換されてもよい。アラインされた文書画像を結合する下記の例は何れも、別々に、または組み合わせて使用されてもよい。1つの方法は、単に、所定の特性カラー値または2進値等について全画像を合計し、次に適切な値で合計をスレッショルドして、図11に示すようにこれを白黒画像にすることである。合計はピクセル単位であり、よって位置x,yにおける合意ピクセルCx,yは合計からスレッショルドされる。5Bx,yΣniA’ix,y≧t但し、Bx,y及びA’ix,yはピクセルのカラー値但し、白は0、黒は1であり、iは1からnまでの範囲の指数であり、nはシステム100へ入力される注釈付き文書画像の数であり、tはしきい値である。言い替えれば、位置x,yにおけるピクセルは、その計算された合計がしきい値以下であれば合意画像から曖昧にされる。例えば、50個の注釈付き文書画像の場合、しきい値は、複合画像内のピクセルが黒に設定されるために文書画像A’iの少なくとも例えば30個がロケーションx,yにおいて黒ピクセルを有するように設定されてもよく、グレースケール及びカラー画像の場合、所定のしきい値を超える合計されたカラー特性強度等に設定されてもよい。また、選択された文書画像B内のx,yにおけるピクセルのカラー/強度も、式5に示すように、合計へと計数されてもよい。合意画像を形成する別の方法は、文書画像B及びA’1,A’2,...,A’n内のロケーションx,yにおける各ピクセルが、もしそのピクセルが黒であれば、またはグレースケール及びカラー画像の場合、そのピクセルが所定のしきい値を超えるカラー特性強度等を有していれば計数されるプロセスを提案することによる。例えば、合意画像形成モジュール116は、Cx,yが黒であるために、文書画像B及びA’1,A’2,...,A’n内のx,yにおけるピクセルの3分の2が黒であることを要求してもよい。合意画像を形成するためのさらに別の方法は、選択された代表の文書画像Bを特別に処理することである。例えば、Cx,yは、Bx,yが黒でありかつA’1x,y,A’2x,y,...,A’nx,yの3分の2が黒である場合にのみ黒に設定される。ステップS600が実行された後は、図11に示されているもの等の合意画像8が生成される。合意画像8は、図2及び図3に示す画像4及び画像6等の注釈付き文書画像から形成されることに起因して、十分に画定されたライン境界等及びラベル食料品及び娯楽等の特徴を含む。さらに、重なり合う散乱ピクセルのみを有する注釈付き文書画像104に対する異形及び注釈のスキャンから形成されるノイズ12が存在する場合がある。このノイズ12は、クリーンな文書2を生成するために合意画像8から除去されてもよい。例えば、ステップS700において、クリーンアップモジュール118は、クリーンな文書画像2を形成するために、ごま塩ノイズ、隔絶された白黒ピクセル及びピクセルの小さい接続されたコンポーネントを除去することによって合意画像8を清浄化する。クリーンアップモジュール118は、破断された水平及び垂直ラインも修復する場合がある。ステップS750において、注釈抽出モジュール119は、入力された注釈付き文書画像104の各々から注釈情報データ157を、入力された文書画像104をクリーンな文書2と比較することによって抽出する。本例示的実施形態では、注釈抽出モジュール119は、画像データが存在している注釈付き文書画像における空のフィールド及び対応するバウンディングボックスまたはエリアに対応するクリーン文書内のバウンディングボックスまたはエリアを識別し、微分diff演算を実行して注釈付き文書画像から注釈情報データを抽出する。抽出される注釈情報データには、注釈自体、バウンディングボックスの座標及び注釈が抽出された注釈付き文書画像を識別する識別子が含まれてもよい。バウンディングボックスは、クリーン文書において、幾何学的配置を基礎として識別される。例えば、図1において、点P1、P2、P3、P4によって境界をつけられるボックスは、長方形未記入の書式では一般的であると思われるを形成するためにP1、P2、P3、P4を結ぶラインを有することから、クリーンな文書2の明確なエレメントとして識別される。対応するボックスは、次に、図2のアラインされた注釈付き文書画像4内に同じ相対的な点P1、P2、P3、P4を用いて決定される。バウンディングボックスが決定された後、注釈付きバウンディングボックス内に存在する、クリーンなバウンディングボックスには存在しないピクセルを抽出するために、diff演算が実行される。ある実施形態では、このステップは、アラインされた注釈付き画像ではなく原初の注釈付き画像に対して実行されてもよい。注釈付き画像4のバウンディングボックスP1、P2、P3、P4に関してdiff演算が実行された後は、図12の注釈データ情報が入手される。本例において、注釈データ情報は、リンゴ、バナナ、ピザ、クッキー、バターと記入する表記法、注釈付き文書画像4を識別する識別子及びその情報が正確にはどこから抽出されたかを知るために他のコンポーネントによって用いられてもよい座標P1、P2、P3、P4を含む。注釈付き画像から抽出された画像データは、手書きの注釈の場合、テキストのコンテンツを決定するためにOCRまたはワード認識技術を用いて処理されてもよい。さらに、注釈データ情報が抽出された後、注釈抽出モジュール119は、任意選択として、ワード検出アルゴリズムを用いて注釈データを処理してもよい。ステップS800において、クリーン文書再構築システム100は、クリーンな文書画像2及び抽出された注釈データ157を、出力デバイス120を介してメモリ106へ、またはクライアント端末130またはプリンタ132等の別の出力デバイスへ出力する。任意選択として、クライアント端末130、プリンタ132及び/または他の任意の出力デバイスは、インターネット等のネットワーク134を介して接続されてもよい。本方法は、S900で終了する。"