(57)【特許請求の範囲】
【請求項１】
手書き注釈及び少なくとも１つの印刷テキスト行を有するスキャンした文書イメージから上記手書き注釈を検知する方法であって、
上記印刷テキスト行と相関する一定のパターンを含む少なくとも１つの投影ヒストグラムを、上記スキャンした文書イメージに関して生成する工程と、
上記スキャンした文書イメージに対して連結成分の解析をおこなうことにより、上記手書き注釈及び上記印刷テキスト行のうち少なくとも一方とそれぞれ相関する少なくとも１つの併合テキスト行を生成する工程と、
上記併合テキスト行の垂直方向又は水平方向における位置と、上記投影ヒストグラムの一定のパターンとして現れる，上記スキャンした文書イメージにおける余白境界の垂直方向又は水平方向における位置とを比較する工程と、
上記比較の結果、上記併合テキスト行が上記余白境界内に位置するとき、上記併合テキスト行は上記印刷テキスト行であると判断する一方、上記併合テキスト行が上記余白境界内に位置しないとき、上記併合テキスト行は上記手書き注釈であると判断することにより、上記手書き注釈と上記印刷テキスト行とを区別する工程とを備えた方法。
【請求項２】
上記投影ヒストグラムは、垂直方向の投影ヒストグラム、水平方向の投影ヒストグラム、及びこれらの組み合わせの中から選択される請求項１記載の方法。
【請求項３】
上記スキャンした文書イメージの投影ヒストグラムからテキスト行のピークを検知する工程をさらに備えた請求項１記載の方法。
【請求項４】
上記連結成分の解析をおこなう工程は、
上記スキャンした文書イメージ上の互いに関係する暗色画素を連結することにより、連結成分を生成する工程と、
上記連結成分の境界箱を生成する工程と、
同じテキスト行内の上記境界箱の行併合をおこなうことにより、上記併合テキスト行を生成する工程とをさらに備えた請求項１記載の方法。
【請求項５】
上記行併合工程は、行併合をおこなう境界箱が同じテキスト行に存在しなくなるまで繰り返される請求項４記載の方法。
【請求項６】
上記境界箱の１つが完全に別の境界箱内にある場合、上記行併合工程により、これら２つの境界箱が併合される請求項４記載の方法。
【請求項７】
上記境界箱のうちの２つが隣接するとともに同じ行の上にある場合、上記行併合工程により、これら２つの境界箱が併合される請求項４記載の方法。
【請求項８】
上記境界箱のサイズと上記印刷テキスト行のサイズとを比較することにより、上記印刷テキスト行と上記手書き注釈とを分離する工程をさらに備えた請求項１記載の方法。
【請求項９】
手書き注釈及び少なくとも１つの印刷テキスト行を有するスキャンした文書イメージから上記手書き注釈を検知する方法であって、
上記印刷テキスト行と相関する余白境界を含む垂直方向及び水平方向の投影ヒストグラムを、上記スキャンした文書イメージに関して生成する工程と、
上記スキャンした文書イメージ上で互いに関連する暗色画素を連結することにより、連結成分を生成する工程と、
上記連結成分のうち互いに関係する連結成分を全て囲む境界箱を生成する工程と、
同じテキスト行内の上記境界箱の行併合をおこなうことにより、上記手書き注釈及び上記印刷テキスト行のうち少なくとも一方とそれぞれ相関する少なくとも１つの併合テキスト行を生成する工程と、
上記スキャンした文書イメージの垂直方向の投影ヒストグラムから２つのピークを検知する工程と、
上記併合テキスト行の垂直方向における位置と、上記２つのピークから特定される，上記スキャンした文書イメージにおける余白境界の垂直方向における位置とを比較する工程と、
上記比較の結果、上記併合テキスト行が上記余白境界内に位置するとき、上記併合テキスト行は上記印刷テキスト行であると判断する一方、上記併合テキスト行が上記余白境界内に位置しないとき、上記併合テキスト行は上記手書き注釈であると判断することにより、上記手書き注釈と上記印刷テキスト行とを区別する工程とを備えた方法。
【請求項１０】
文書の履歴を記録する方法であって、
印刷テキスト行及び手書き注釈を有する文書をスキャンする工程と、
上記印刷テキスト行と相関する一定のパターンを含む少なくとも１つの投影ヒストグラムを、上記スキャンした文書イメージに関して生成する工程と、
上記スキャンした文書イメージに対して連結成分の解析をおこなうことにより、上記手書き注釈及び上記印刷テキスト行のうち少なくとも一方とそれぞれ関係する少なくとも１つの併合テキスト行を生成する工程と、
上記併合テキスト行の垂直方向又は水平方向における位置と、上記投影ヒストグラムの一定のパターンとして現れる，上記スキャンした文書イメージにおける余白境界の垂直方向又は水平方向における位置とを比較する工程と、
上記比較の結果、上記併合テキスト行が上記余白境界内に位置するとき、上記併合テキスト行は上記印刷テキスト行であると判断する一方、上記併合テキスト行が上記余白境界内に位置しないとき、上記併合テキスト行は上記手書き注釈であると判断することにより、上記スキャンした文書の印刷テキスト行から上記手書き注釈を分離する工程と、
上記スキャンした文書と上記印刷テキスト行のみを含むオリジナル文書とを比較する工程と、
上記オリジナル文書の前のバージョンの存在を判定する工程と、
上記分離した手書き注釈に基づき、上記スキャンした文書の履歴を記録する工程とを備えた方法。
【請求項１１】
上記連結成分の解析をおこなう工程は、
上記スキャンした文書イメージ上で互いに関係する暗色画素を連結することにより、連結成分を生成する工程と、
上記連結成分の境界箱を生成する工程と、
同じテキスト行内の上記境界箱の行併合をおこなうことにより、上記併合テキスト行を生成する工程とをさらに備えた請求項１０記載の方法。
【請求項１２】
上記オリジナル文書の存在を検知する工程と、
上記スキャンした文書の印刷テキスト行と上記検知したオリジナル文書とが異なるとき、上記印刷テキスト行を上記オリジナル文書として保存する工程と、
上記スキャンした文書を、上記オリジナル文書の二次バージョンとして記録する工程とをさらに備えた請求項１０記載の方法。
【請求項１３】
上記文書の履歴を記録する工程は、
上記オリジナル文書の前のバージョンが検知されなかった場合、上記スキャンした文書を上記オリジナル文書の二次バージョンとして記録する工程と、
上記オリジナル文書の前のバージョンが少なくとも１つ検知された場合、上記スキャンした文書を上記オリジナル文書の最新のバージョンとして記録する工程とをさらに備えた請求項１０記載の方法。
【請求項１４】
印刷テキスト行のみを含むオリジナルバージョンと、印刷テキスト行及び手書き注釈を含む少なくとも１つの二次バージョンとを有する文書のうち上記オリジナルバージョンの文書を確実に伝送する方法であって、
上記少なくとも１つの二次バージョンの文書をスキャンする工程と、
上記印刷テキスト行と相関する余白境界を含む垂直方向及び水平方向の投影ヒストグラムを、上記スキャンした文書イメージに関して生成する工程と、
上記スキャンした文書イメージ上の互いに関連する暗色画素を連結することにより、連結成分を生成する工程と、
上記連結成分のうち互いに関係する連結成分を全て囲む境界箱を生成する工程と、
同じテキスト行内の上記境界箱の行併合をおこなうことにより、上記手書き注釈及び上記印刷テキスト行のうち少なくとも一方とそれぞれ相関する少なくとも１つの併合テキスト行を生成する工程と、
上記スキャンした文書イメージの垂直方向の投影ヒストグラムから２つのピークを検知する工程と、
上記併合テキスト行の垂直方向における位置と、上記２つのピークから特定される，上記スキャンした文書イメージにおける余白境界の垂直方向における位置とを比較する工程と、
上記比較の結果、上記併合テキスト行が上記余白境界内に位置するとき、上記併合テキスト行は上記印刷テキスト行であると判断する一方、上記併合テキスト行が上記余白境界内に位置しないとき、上記併合テキスト行は上記手書き注釈であると判断することにより、上記スキャンした文書の印刷テキスト行から上記手書き注釈を分離する工程と、
上記手書き注釈から分離した印刷テキスト行と関係するオリジナルバージョンの文書を判定する工程と、
上記オリジナルバージョンの文書を判定する工程の後、上記印刷テキスト行を伝送する工程とを備えた方法。
【請求項１５】
上記伝送工程は、
上記印刷テキスト行が上記オリジナルバージョンの文書と同一であるとき、上記オリジナルバージョンを伝送する工程と、
上記印刷テキスト行が上記オリジナルバージョンの文書と異なるとき、上記印刷テキスト行を伝送する工程とをさらに備えた請求項１４記載の方法。
【請求項１６】
印刷テキスト行のみを含むオリジナルバージョンと、印刷テキスト行及び手書き注釈を含む少なくとも１つの二次バージョンとを有する文書を、データベース中に蓄えられたオリジナルバージョンの文書を用いて効率的に圧縮する方法であって、
上記少なくとも１つの二次バージョンの文書をスキャンする工程と、
上記印刷テキスト行と相関する余白境界を含む垂直方向及び水平方向の投影ヒストグラムを、上記スキャンした文書イメージに関して生成する工程と、
上記スキャンした文書イメージ上の互いに関連する暗色画素を連結することにより、連結成分を生成する工程と、
上記連結成分のうち互いに関係する連結成分を全て囲む境界箱を生成する工程と、
同じテキスト行内の上記境界箱の行併合をおこなうことにより、上記手書き注釈及び上記印刷テキスト行のうち少なくとも一方とそれぞれ相関する少なくとも１つの併合テキスト行を生成する工程と、
上記スキャンした文書イメージの垂直方向の投影ヒストグラムから２つのピークを検知する工程と、
上記併合テキスト行の垂直方向における位置と、上記２つのピークから特定される，上記スキャンした文書イメージにおける余白境界の垂直方向における位置とを比較する工程と、
上記比較の結果、上記併合テキスト行が上記余白境界内に位置するとき、上記併合テキスト行は上記印刷テキスト行であると判断する一方、上記併合テキスト行が上記余白境界内に位置しないとき、上記併合テキスト行は上記手書き注釈であると判断することにより、上記手書き注釈と上記印刷テキスト行とを分離する工程と、
上記手書き注釈から分離した印刷テキスト行と上記オリジナルバージョンの文書とを比較する工程と、
上記オリジナルバージョンの文書に関連して上記手書き注釈のみを保存する工程とを備えた方法。
【請求項１７】
上記手書き注釈を保存する工程は、
上記手書き注釈と上記データベース中のオリジナルバージョンとを関連付ける工程をさらに備えた請求項１６記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、主に情報処理に関する。特に、本発明は、オリジナルテキスト及び付加情報を有するスキャンした文書イメージから上記付加情報を区別する方法に関する。
【０００２】
【従来の技術】
過去数十年間にわたるコンピュータを利用したシステムの急速な発展に伴ない、今日では事務従事者が文書処理のためにコンピュータシステムを利用することが一般的なこととなり、そのようなコンピュータ化された事務処理システムを用いて、印刷された文書、スプレッドシート、ビジネスプレゼンテーションなどを含むあらゆる種類の文書が作られているとともに、編集及び修正されている。このようなコンピュータシステムには高性能の文書編集ツールが含まれるが、印刷文書を編集したり、あるいは印刷文書に注釈を施す場合、単に、印刷文書のコピーの本文の上又は余白に注釈を書き込む方が、文書編集ツールなどを利用するよりも好都合なことがある。例えば、文書を編集したり、あるいは文書に注釈を施す者が該文書の電子的コピーを入手できないことがあるが、そういった場合、コンピュータによる文書編集ツールの利用は不可能だと考えられる。
【０００３】
さらに、印刷文書を編集する又は印刷文書に注釈を施す者が、文書に手書きで修正や追加を行なった後に、編集及び注釈が施されていないオリジナルの状態の文書のコピーを必要とする場合もある。そのためには、オリジナルの状態の文書のコピーを前もって余分に取っておかなければならない。編集箇所及び注釈箇所を手作業で削除あるいは隠すことにより、大幅に編集された文書を再構成しようとした者であれば、このような作業がいかに単調であり且つ多くの時間を必要とするか理解できるであろう。印刷文書から該印刷文書に施された手書き注釈を自動的に分離する方法が開発されれば、上述したような作業の単調さが大幅に緩和される可能性がある。
【０００４】
手書き注釈を施すことにより、文書の再構成における問題とは別の処理上の問題がさらに生じる。すなわち、どのように手書き注釈を識別且つ利用して、文書をコード化し、コンピュータによるデータベースにおいて保存及び検索できるようにするかという問題である。例えば、紙の文書のスキャンイメージを、スキャンする前の文書に施された手書き注釈に基づいて類別、保存、及び検索することが可能になれば、非常に有益である。これにより、コード化された指示を識別及び読み取る作業や、文書を適切に保存する作業をイメージングシステムに任せつつ、手作業で文書を迅速にコード化することが可能になる。
【０００５】
一般的に、スキャンした文書イメージの付加情報を検知及び利用することは非常に重要である。その理由は、付加情報が加えられた文書は、その内容により、元のスキャンした文書イメージよりも豊富な情報を有する場合があるからである。先ず、印刷文書、そして場合によるとその画像は、文書のオリジナリティーを示す一方、手書き注釈、スタンプなどの付加情報はオリジナルの文書に対して加えられた変更を表す。次に、オリジナルの文書と該文書に加えられた変更との区別は、文書管理システムに様々な形で利益をもたらす。例えば、ＯＣＲ／ＩＣＲ、又はその他のパターンを認識及び／又は整合する技術を用いて、手書き注釈が加えられた文書を分離することにより、付加情報の内容を元に戻すこともできる。また、手書き注釈が加えられた文書の本来の内容を元に戻すことにより、文書の履歴を記録することも可能である。さらに、付加情報を漏らすことなく、文書の本来の内容を確実に伝送すること、そして効率的に圧縮及び保存するための方式を実現することもできる。オリジナルの文書が既にデータベースに保存されている場合、付加情報を有する文書のコピーを全てデータベースに保存する必要はなく、付加情報のみを保存するだけで良い。
【０００６】
印刷文書から手書き注釈を分離する必要への取り組みとして、幾つかの試みがなされてきた。その１つとして、銀行小切手のイメージを圧縮し、手書きの書き込みを元の小切手用紙から分離する方法がある。このような方法では、磁気インキ文字認識装置（ＭＩＣＲ）用の文書の識別子に全面的に依存して、元の小切手用紙から手書きの書き込みが分離される。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述のような試みでは、文書の識別子に求められる条件により、Ｘ線や核磁気共鳴（ＮＭＲ）によるイメージなどを用いる非常に特殊な分野に限定されるため、そのコストが高く、有用性が損なわれている。
【０００８】
フォーム処理の分野においては、別の限定的な適用がなされている。例えば、フォーム処理において、フォーム上の手書きの記載は、標準のテンプレートを用いることにより抽出することができる。このような簡便な方法は、雑誌の定期購買申込用紙や口座申込用紙など同様のフォーマットを有するフォームを大量に処理する上で有用である。しかしながら、異なる種類の文書を処理する場合、テンプレートを取り替える必要が生じる。その理由は、テンプレートを利用して異なる種類の文書を処理する場合、限られた種類の文書しか処理できないからである。実際には、文書管理システムにおいては、商取引に用いる手紙やフォーム、イメージ、ファックス文書など、あらゆる種類の文書が扱われる。従って、このようなフォーム処理方法は、その利用が限定されており、非常に多くの時間を要するとともに有用でない場合がある。
【０００９】
上述のような情報処理方法は、意図された利用範囲においては有効であることが証明された。その一方、自動的に付加情報を分離することにより、本質的な利益が得られる新たな技術の開発が求められている。さらに、この新たな技術は、特定の分野やフォーマットに限定されないにも拘らず、本文から付加情報を極めて効率的に分離することができることが大いに望ましい。
【００１０】
そこで、本発明の目的は、前述の要求にこたえ、手書き注釈及び少なくとも１つの印刷テキスト行を有するスキャンした文書イメージから上記手書き注釈を検知する方法を提供することである。
【００１１】
【課題を解決するための手段】
上記の目的を達成するために、本発明の方法において、先ず、スキャンした文書イメージに関して、少なくとも１つの投影ヒストグラムを生成する。上記投影ヒストグラムは、印刷テキスト行と相関する一定のパターンを含む。次に、上記スキャンした文書イメージに対して連結成分の解析をおこない、少なくとも１つの併合テキスト行を生成する。上記連結成分の解析により、上記スキャンした文書イメージ上において互いに関連する暗色画素が連結され、連結成分が生成される。そして、境界箱が作成され、全ての関連する連結成分が囲われる。行併合は、上記スキャンした文書イメージに対して行なわれ、同様のテキスト行内の境界箱が併合されることにより、上記少なくとも１つの併合テキスト行が生成される。上記併合テキスト行は、上記手書き注釈及び上記印刷テキスト行のうち少なくとも一方とそれぞれ相関する。上記併合テキスト行と上記投影ヒストグラムの一定のパターンとを比較することにより、上記印刷テキスト行と上記手書き注釈とが区別される。
【００１２】
尚、本発明、その目的及び利点を更に十分に理解するため、本願明細書の以下の記述及び添付図面を参照されたい。
【００１３】
【発明の実施の形態】
図面のうち図１は、本発明の教示に従った、スキャンした文書イメージから付加的な手書き注釈を検知及び分離する方法１０を示す。尚、本発明は、手書き注釈及び少なくとも１つの印刷テキスト行を有するイメージを含むあらゆる文書イメージに適用が可能である。方法１０は、好ましくは以下の手順で行なわれる。先ず、スキャンした文書イメージに関して、少なくとも１つの投影ヒストグラムを生成する（ステップ１４及び１６）。通常は、上記投影ヒストグラムから印刷テキスト行と相関する一定したパターンが得られる（ステップ１８）。次に、上記スキャンした文書イメージに対して連結成分の解析をおこない（ステップ２０）、少なくとも１つの併合したテキスト行を生成する（ステップ２２）。上記併合テキスト行は、上記手書き注釈及び印刷テキスト行のうち少なくとも一方とそれぞれ関係する。上記併合テキスト行と上記投影ヒストグラムの一定のパターンとを比較することにより、上記手書き注釈と上記印刷テキスト行とが区別される（ステップ２４ないし２８）。
【００１４】
具体的には、先ず、ステップ１２において、印刷テキスト行を含むとともに手書き注釈が余白の上又はその近傍に施された文書をスキャンする。ステップ１４及び１６においては、上記スキャンした文書イメージに関して、垂直方向及び水平方向の投影ヒストグラムをそれぞれ生成する。ステップ１８では、これらのヒストグラムに基づき、上記印刷テキスト行の余白境界が特定される。次に、ステップ２０において、上記スキャンした文書イメージに対して連結成分の解析をおこない、境界箱を作成する。ステップ２２においては、上記連結成分の境界箱に対して行の併合を行ない、少なくとも１つの併合行を生成する。ステップ２４では、ステップ１８で特定されたテキスト行の余白境界、及びステップ２２で生成された併合行に基づき、判読可能なテキスト行を削除する。ステップ２４の後、少数の小さな連結成分又は境界箱を除いて、上記印刷テキスト行の大多数と上記手書き注釈とは分離されている。ステップ２６においては、上記印刷テキスト行と手書き注釈とをさらに区別し、上記テキストの余白境界と相関しない小さな境界箱を有する残りのテキスト行を検知する。そして、ステップ２８において、ステップ２６で検知された手書き注釈も上記スキャンした文書イメージから分離する。
【００１５】
図面のうち図２は、本発明に従い、ステップ１４及び１６（図１）で生成された投影ヒストグラムを示している。印刷テキスト行５２及び手書き注釈５４を有するスキャンした文書イメージ５０に関して、垂直方向及び水平方向の投影ヒストグラム５６及び６２をそれぞれ生成する。投影ヒストグラム５６及び６２の最初の急上昇５８及び６４、また最後の急降下６０及び６６は、スキャンした文書イメージ５０の余白境界を示す。具体的には、最初の急上昇５８及び６４は、投影ヒストグラム５６及び６２の限界内での最大の上昇を示すとともに、余白から印刷テキスト行５２への移り変わりを表す。同様に、最後の急降下６０及び６６は、投影ヒストグラム５６及び６２の限界内での最大の降下を示すとともに、印刷テキスト行５２から余白、すなわち空白への移り変わりを表す。
【００１６】
図２に最善の形で示されているように、印刷テキスト行５２は、一般的に、英語文書の余白境界内で横方向に配列されている。これに対し、手書き注釈５４は、スキャンした文書イメージ５０の空白であれば所かまわず書き込まれており、テキスト行の余白境界を越えて書き込まれていることも多い。尚、文書の種類は、英語の文書に限定されない。例えば、文書の余白境界内で縦方向に印刷テキスト行が配列され且つ手書き注釈が空いている余白に書き込まれた中国語や日本語の文書など、一定のパターンを有するあらゆる文書が用いられても良い。
【００１７】
垂直方向及び水平方向の投影ヒストグラム５６及び６２は、文書イメージ５０内におけるテキストの配置の規則性を示す。水平方向の投影ヒストグラム６２から最初の急上昇６４及び最後の急降下６６を検知することにより、左側及び右側の余白、すなわち空白が特定される。その一方、垂直のヒストグラム５６から最初の急上昇５８及び最後の急降下６０を検知することにより、上側と底側の余白が特定される。さらに、垂直方向の投影ヒストグラム５６は、各印刷テキスト行５２に関して、一定のパターンの輝度を示す。印刷テキスト行５２は、２つの輝度のピーク５７をそれぞれ有し、これら２つの輝度のピーク５７は、各印刷テキスト行５２の上端及び下端の位置と対応している。文書の余白に書き込まれた手書き注釈５４は、投影ヒストグラム５６及び６２に波紋を生じさせる場合があるが、余白境界はその影響を受けることなく検知される。
【００１８】
図面のうち図３Ａ及び３Ｂは、スキャンした文書イメージ５０に対して連結成分の解析を行なった様子を示す。図３Ａは、印刷テキスト行５２及び手書き注釈５４を含むスキャンした文書イメージ５０の上部を示している。本発明において、連結成分の生成には、ランレングス法による高速アルゴリズムが好ましい。ランレングス法によるアルゴリズムにより、暗色画素の連続的な列、及びこれらの画素とこれらに隣接する画素との連結性を判定し、関連する画素を発見する。ランレングス法による高速アルゴリズムのより詳細な説明は、本発明と同じ譲受人に譲受された米国特許出願「円領域抽出アルゴリズムの性能を高めるランレングス法による連結成分及び等高線描画」（Ｒｕｎ−ｌｅｎｇｔｈ  Ｂａｓｅｄ  Ｃｏｎｎｅｃｔｅｄ  Ｃｏｍｐｏｎｅｎｔｓ  ａｎｄ  Ｃｏｎｔｏｕｒ  Ｆｏｌｌｏｗｉｎｇ  ｆｏｒ  Ｅｎｈａｎｃｉｎｇ  ｔｈｅ  ｐｅｒｆｏｒｍａｎｃｅ  ｏｆ  Ｃｉｒｃｌｅｄ  Ｒｅｇｉｏｎ  Ｅｘｔｒａｃｔｉｏｎ  Ａｌｇｏｒｉｔｈｍ）において開示されている。尚、連結成分の解析をおこなうための別の方法を用いることも可能である。
【００１９】
図３Ｂに最善の形で示されているように、印刷テキスト行５２及び手書き注釈５４の境界箱７２及び７４は、スキャンした文書イメージ５０に対して連結成分の解析が終了した後に生成される。境界箱７２及び７４は、関連する連結成分を併合するようそれぞれ構成されている。各境界箱のサイズは適切に選択され、考慮する全ての暗色画素が境界箱内に存在する。連結成分の解析後、連結成分の境界箱７２及び７４に対して行併合ステップ２２（図１）が行なわれ、図４Ａ及び４Ｂに示すように、同じ行内の個々の文字が併合される。
【００２０】
図４Ａは、連結成分の解析が行なわれた後の、スキャンした文書イメージ５０の上部を示す。印刷テキスト行及び手書き注釈は、境界箱７２及び７４によりそれぞれ囲われている。印刷テキスト行の境界箱７２は、境界箱７４よりも一定した形状となっている。印刷テキスト行の境界箱７２は、例えば、同様の高さを有しており且つ上端の位置も同様である。これに対し、手書き注釈の境界箱７４の形状は、境界箱７２の形状と比べて一定していない。また、手書き注釈の境界箱７４は、互いに異なるサイズ及び高さを有している。
【００２１】
行併合ステップ２２においては、２つの境界箱７３、７５が任意に選択され、行が併合される。例えば、印刷テキスト行の境界箱７２のうち何れか２つ、手書き注釈の境界箱７４のうち何れか２つ、又は印刷テキスト行の境界箱７２のうち１つと手書き注釈の境界箱７４のうち１つが任意に選択されても良い。行併合ステップ２２で用いられるアルゴリズムでは、何れか２つの任意の境界箱７３、７５のそれぞれの上端の位置、高さ、及び互いからの水平方向の距離が考慮される。これら２つの選択した境界箱７３、７５のうち一方が完全に他方の境界箱内にある場合、これら２つの選択した境界箱７３、７５は併合される。また、２つの選択した境界箱７３、７５が隣接するとともに同じ行の上にある場合、これら２つの境界箱７３、７５は併合される。すなわち、これら２つの選択した境界箱間の上端位置から計測した水平距離が所定の閾より下であり、これら２つの選択した境界箱７３、７５の高さが同様である場合、これら２つの境界箱は併合される。行併合のプロセスは、行併合をおこなうことができなくなるまで繰り返される。その理由は、併合した境界箱は、第３の境界箱７２、７４とさらに併合することも可能であるからである。
【００２２】
図面の図４Ｂに示されるように、行併合の後、（図２の印刷テキスト行５２が併合された）併合テキスト行８２は、一様の高さの長い境界箱を形成する。一定の形状を有する併合テキスト行８２の境界箱は、垂直方向の投影ヒストグラム５６中の対のピーク５７（図２にも図示）と対応している。しかしながら、図４Ａ及び４Ｂに示すように、手書き注釈の境界箱７４は、通常、サイズが著しく異なる連結成分によりつくられる。従って、手書き注釈の境界箱７４が併合する可能性は概して低く、通常は投影ヒストグラム５６と対応しない。
【００２３】
図面の図４Ａ、４Ｂ及び５においては、印刷テキスト行を削除するステップ２４がより詳細に示されている。垂直方向及び水平方向の投影ヒストグラム５６及び６２が生成された後、各併合テキスト行８２と対応するピークは、ピーク５７として特徴付けられる。対のピーク５７の高さは同様であり、互いからの距離は所定の範囲内である。対のピーク５７は、各印刷テキスト行の上端及び下端の位置をそれぞれ示す。対のピーク５７の先端間の距離を用いて、対応する印刷テキスト行の高さを計算することも可能である。垂直方向の投影ヒストグラム５６が有するテキスト行のピーク５７は、ステップ９０において検知される。
【００２４】
ステップ９０においてテキスト行のピークが検知された後、ステップ９２において、対のピーク５７間の中心に当る位置にある併合テキスト行８２及び８４がスキャンされる。ステップ９４では、各併合テキスト行８２及び８４が個々に吟味され、余白境界内に全ての境界箱７２、７４が位置するかどうかが判定される。境界箱７２、７４が余白境界の内側にない場合、ステップ９６において、併合テキスト行８２、８４は削除されない。そして、ステップ９２で、ピーク５７間の中心に当る位置にある次の併合テキスト行８２、８４がスキャンされる。
【００２５】
境界箱７２、７４がステップ９４の条件を満たす場合、ステップ９８において、これらの境界箱はさらに吟味され、その高さがピークの高さに近いかどうかが判断される。境界箱７２、７４がピークの高さと同様の高さを有していない場合、ステップ１００において、スキャンされた併合テキスト行８２、８４は削除されない。そして、ステップ９２で、ピーク５７間の中心に当る位置にある次の併合テキスト行がスキャンされる。境界箱７２、７４がステップ９８の条件を満たす場合、ステップ１０２において、スキャンされた併合テキスト行は印刷テキスト行であると見なされ、削除される。その後、印刷テキスト行削除ステップ２４のプロセスはステップ９２へと戻り、全ての併合テキスト行８２、８４がスキャンされるまで、併合テキスト行が次々とスキャンされ続ける。
【００２６】
ステップ１０４で、全てのテキスト行が併合された境界箱が吟味された後、ステップ１０６において、次のピークが検知される。ステップ１０８において、スキャンした文書イメージに対する同様の削除プロセスは、全てのピークが検知され且つ吟味されるまでおこなわれる。印刷テキスト行削除ステップ２４のプロセスにより、本文の可能性がある印刷テキスト行５２（図２）のみが確実に削除される。本文の可能性があるテキスト行のみを確実に削除するため、投影ヒストグラムのピークの位置及び幅は、削除する印刷テキスト行の位置及び高さと照合確認される。従って、余白境界内にある併合テキスト行８２及び８４のみが削除の対象として考慮される。
【００２７】
図６は、印刷テキスト行５２（図２）と手書き注釈５４（図２）との間の区別をさらにつけるためのステップ２６を示す。印刷テキスト行削除ステップ２４の後、印刷テキスト行の境界箱のうち僅かを除く、印刷テキスト行の大多数が削除されている。例えば、テキスト行内の幾つかの小さな連結成分の境界箱は、削除されていないことも考えられる。これらの小さな連結成分には、通常の境界箱のサイズではない文章の句読点又は特殊な記号が含まれる。非常に短い印刷テキスト行の境界箱は、検知される可能性が低い。その理由は、投影ヒストグラムにより示されるこれらの境界箱の低い輝度は、その他の印刷テキスト行の一定のパターンの輝度と同等でないからである。これに対し、手書き注釈の断片の中の幾つかの小さな連結成分が削除されている場合がある。その理由は、これらの連結成分が偶然にも印刷テキスト行の余白境界内に位置するとともに、検知されたピークと揃っているためである。
【００２８】
印刷テキスト行削除ステップ２４（図５）の後、ステップ１１０において、アルゴリズムにより、残った成分が所定の小さなサイズよりも小さいサイズを有しているかどうかが判定される。これらの残った成分のサイズが所定の小さなサイズよりも小さい場合、ステップ１１２において、アルゴリズムにより、これらの残った成分が削除されたテキスト行内あるいはその近傍にあるかどうかが判定される。これらの残った成分が削除されたテキスト行内あるいはその近傍にあると判定された場合、ステップ１１４において、これら残った成分は文章内の句読点又は特殊な記号と見なされ、削除される。
【００２９】
これらの残った成分が削除されたテキスト行内あるいはその近傍にない場合、ステップ１１６において、アルゴリズムにより、これらの残った成分が他のテキストから孤立しているかどうかが判定される。これらの残った成分が孤立している場合、ステップ１１８において、これらの残った成分はノイズと見なされ、削除される。これらの残った成分が孤立していない場合、ステップ１２０において、これらの残った成分は手書き注釈と見なされ、そのまま残される。
【００３０】
ステップ１１０で、これらの残った成分が所定の小さなサイズよりも大きいサイズを有していると判定された場合、ステップ１２２において、アルゴリズムにより、これらの残った成分が所定の大きなサイズよりも大きいサイズを有しているかどうかが判定される。これらの残った成分が所定の大きなサイズよりも大きいサイズを有していると判定された場合、ステップ１２４において、これらの残った成分は手書き注釈と見なされ、そのまま残される。
【００３１】
これらの残った成分のサイズが所定の大きなサイズよりも大きくない場合、ステップ１２６において、これらの残った成分の高さと削除されたテキスト行の大多数の高さとが比較されるとともに、これらの残った成分の境界箱が余白境界内にあるかどうかが判定される。これらの残った成分の高さが削除されたテキスト行の大多数の高さと同様でないか、又はこれらの残った成分の境界箱が文書の余白境界内にない場合、ステップ１２４において、残った成分は手書き注釈と見なされ、そのまま残される。
【００３２】
これらの残った成分がステップ１２６の条件を満たす場合、ステップ１２８において、これらの残った成分が左側の余白境界６４（図２の投影ヒストグラム６２の最初の急上昇６４）と揃っているかどうかが判定される。これらの残った成分が左側の余白境界６４と揃っていない場合、ステップ１２４において、これらの残った成分は手書き注釈と見なされ、そのまま残される。これらの残った成分が左側の余白境界６４と揃っている場合、ステップ１３０において、これらの残った成分は、垂直方向の投影ヒストグラム５６のピークの輝度が低すぎて検知できない短い印刷テキスト行と見なされ、削除される。
【００３３】
さらなるテキスト行の削除がおこなわれるステップ１３０では、テキスト行の削除により削除された各成分がさらに吟味され、手書き注釈に属する可能性のある連結成分が削除されていないかどうかが判定される。本発明において、不規則な形状の一群に囲まれた境界箱は、上述の条件を全て満たす場合でも手書き注釈と見なされる。これらの不規則な形状の一群に囲まれた境界箱は、ステップ２６（図１）の最後で元に戻される。
【００３４】
図面の図７及び図８は、手書き注釈を検知した結果、及びスキャンした文書イメージ５０（図２）から手書き注釈を分離した結果をそれぞれ示す。分離ステップ２８（図１）の後、手書き注釈は、行併合が行なわれた境界箱８５として残され、印刷テキスト行は処分されるか又は保存される。その後、手書き注釈５４が抽出されるが、これも処分されても良いし又は後の利用のために保存されて良い。
【００３５】
図９は、本発明を、文書の履歴を記録する方法２００に、どのように適用するかを第１の実施例として示している。ここで、文書は１つ以上のバージョン、即ち、少なくともオリジナルバージョン（第１のバージョン）と、修正されたバージョン（二次バージョン）とを有していても良い。オリジナルバージョンは印刷テキスト行のみを含むのに対し、二次バージョンは印刷テキスト行と付加的な手書き注釈とを含む。紙の文書をスキャンした場合、オリジナルバージョン（印刷テキスト行）は、文書のデーターベースに電子化されて存在している場合もあるし、存在しない場合もある。
【００３６】
この方法のプロセスが始まるステップ２０２では、手書き注釈とともに印刷テキスト行を有する文書がスキャンされる。ステップ２０４においては、上述のスキャンした文書イメージから手書き注釈を検知及び分離する方法に従って、スキャンした文書イメージの手書き注釈と印刷テキスト行とが区別される。ステップ２０６では、抽出された印刷テキスト行がデータベースの全ての文書と比較され、ステップ２０８においては、データベースにオリジナルバージョンと同一のオリジナル文書が存在するかどうかが判定される。ステップ２０８において、抽出した印刷テキスト行と同一のオリジナル文書がデータベースに存在する場合、この文書は、スキャンした文書イメージのオリジナルバージョンとして確認される。２つの同様の文書、即ち同一の文書を検知する方法は、幾つかの出版物により開示されている。１９９７年２月に行なわれたＩＳ＆ＴとＳＰＩＥ共催のエレクトロニック・イメージングに関するシンポジウムの文書理解ＩＶの議事録、「同一文書の検知」（８８ページ〜９４ページ）（”Ｄｕｐｌｉｃａｔｅ  ｄｏｃｕｍｅｎｔ  ｄｅｔｅｃｔｉｏｎ”  ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｄｏｃｕｍｅｎｔ  Ｒｅｃｏｇｎｉｔｉｏｎ  ＩＶ（ＩＳ＆Ｔ／ＳＰＩＥ  Ｅｌｅｃｔｒｏｎｉｃ  Ｉｍａｇｉｎｇ），  ｐａｇｅｓ  ８８−９４，  Ｆｅｂｒｕａｒｙ，  １９９７））において、スピッツ（Ｓｐｉｔｚ）は、文字形状のコードを特徴として利用し、これらを標準のストリングマッチングアルゴリズムを用いて比較している。また、１９９７年８月に行なわれた第４回文書解析・理解国際会議の議事録の「文書イメージのデータベース中の同一データ検知」（３１４ページから３１８ページ）（”Ｔｈｅ  ｄｅｔｅｃｔｉｏｎ  ｏｆ  ｄｕｐｌｉｃａｔｅｓ  ｉｎ  ｄｏｃｕｍｅｎｔ  ｉｍａｇｅ  ｄａｔａｂａｓｅｓ”  ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｆｏｕｒｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｄｏｃｕｍｅｎｔ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ｐａｇｅｓ  ３１４−３１８，  Ａｕｇｕｓｔ  １９９７）において、ドゥアマン（Ｄｏｅｒｍａｎｎ）らは形状コードを用い、同一文書の検知において生じる問題に全体的なレイアウトの観点から対処している。
【００３７】
抽出した印刷テキスト行と同一のオリジナル文書が発見されない場合、ステップ２１２において、分離した印刷テキスト行がオリジナル文書として保存される。ステップ２１８では、手書き注釈及び印刷テキスト行を有するスキャンした文書イメージがこのオリジナル文書の二次バージョンとして記録され、プロセスが終了する。ステップ２０８で、分離した印刷テキスト行が１つのオリジナル文書と関係している場合、ステップ２１０において、このオリジナル文書に修正が施されているかどうか（オリジナル文書の二次バージョンが存在するかどうか）がさらに判定される。この確認されたオリジナル文書が他に二次バージョンを有していない場合、ステップ２２２において、スキャンした文書イメージが、同一と確認されたオリジナル文書の二次バージョンとして保存され、プロセスが終了する。同一と確認されたオリジナル文書が少なくとも１つのバージョンを有する場合、ステップ２２０において、スキャンされた文書が、同一と確認されたオリジナル文書の最新のバージョンとして保存され、プロセスが終了する。上述の本発明の適用は、特に、異なる位置及び時間において複数の人々により修正された文書の履歴を保存する方法に対して行なわれることを想定しているが、この方法に限定されるものではない。
【００３８】
図１０は、本発明を、文書のオリジナルバージョンを確実に伝送する方法３００に、どのように適用するかを第２の実施例として示す。ここで、文書は２つのバージョン、即ち、オリジナルバージョン及び少なくとも１つの二次バージョンを有している。オリジナルバージョンは印刷テキスト行を含むのに対し、二次バージョンは印刷テキスト行とともに手書き注釈も含む。
【００３９】
この方法のプロセスが始まるステップ３０２では、印刷テキスト行及び手書き注釈を有する文書の二次バージョンがスキャンされる。次に、ステップ３０４において、上述の付加情報を検知及び分離する方法１０（図１）に従って、手書き注釈が印刷テキスト行から分離される。この分離の後、得られた文書を伝送する手段は２つある。第１の手段（ステップ３０６）は、付加情報である手書き注釈が伝送されてしまうのを回避する目的で、抽出した印刷テキスト行のみを伝送するというものである。
【００４０】
場合によっては、文書のオリジナルバージョン（印刷テキスト行）と同一のオリジナル文書がデータベースに存在するとき、このオリジナル文書を伝送する第２の手段（ステップ３０８）を用いることも可能である。第２の手段（ステップ３０８）には、ステップ３１０、３１２及び３１４が含まれる。ステップ３１０において、抽出した印刷テキスト行とデータベース中の全てのオリジナル文書とが比較される。ステップ３１２で、抽出した印刷テキスト行と同一のオリジナル文書がデータベースから確認された場合、ステップ３１４において、この同一と確認されたオリジナル文書が代わりに伝送される。抽出した印刷テキスト行と同一のオリジナル文書が確認されない場合、ステップ３０６において、抽出した印刷テキスト行が伝送される。時折、異なる時間において、同一の文書の様々なバージョンが伝送されるが、手書き注釈の分離結果における僅かな差異により、それぞれの時間において異なる印刷テキスト行が抽出されてしまうこともある。しかし、第２の手段（ステップ３０８）を適用した場合、その度に、オリジナルバージョンと同一のオリジナル文書が受取人に伝送される。上述の本発明の適用は、特に、手書きの秘密情報を含む文書のオリジナルバージョンを確実に伝送する方法に対して行なわれることを想定しているが、この方法に限定されるものではない。
【００４１】
図１１は、本発明をどのように、圧縮方法４００に適用するかを第３の実施例として示す。ここで、文書は、データベースにオリジナル文書として保存される印刷テキスト行を有するオリジナルバージョンを含む一方、印刷テキスト行とともに手書き注釈も有する二次バージョンをさらに含む。
【００４２】
この方法のプロセスが開始されるステップ４０２においては、印刷テキスト行及び手書き注釈を有する文書の二次バージョンがスキャンされる。次に、ステップ４０４では、上述の付加情報を検知及び分離する方法１０（図１）に従って、手書き注釈が印刷テキスト行から分離される。その後、ステップ４０６において、分離した印刷テキスト行とデータベース中の全てのオリジナル文書とが比較され、ステップ４０８において、分離した印刷テキスト行と同一のオリジナル文書が発見される。印刷テキスト行と同一のオリジナル文書が存在しない場合、ステップ４１０において、抽出した印刷テキスト行がオリジナル文書として保存され、ステップ４１２において、手書き注釈が異なる記憶場所に保存される。ステップ４１４において、手書き注釈が保存された記憶場所は、オリジナル文書の記憶場所と関連付けられ、プロセスは終了する。抽出したテキスト行と同一のオリジナル文書がデータベース中にあった場合、ステップ４１６において、手書き注釈のみが保存され、ステップ４１８で、この手書き注釈と確認されたオリジナル文書とが関連付けられ、プロセスが終了する。この場合、抽出した印刷テキスト行は無視され、記憶場所のスペースが節約される。
【００４３】
当業者であれば、上述の説明から本発明の広範な教示が様々な形で実現可能であることが理解できる。従って、本発明を具体例と関連して説明してきたが、本発明の真の範囲はこれらにより限定されるべきではない。その理由は、本発明の図面、明細書、及び特許請求の範囲を検討することにより、本発明の変更が可能であることは、当業者にとって明らかであるからである。
【図面の簡単な説明】
【図１】本発明に係るスキャンした文書イメージから手書き注釈を検知及び分離する方法を示すフローチャート。
【図２】印刷テキスト行及び手書き注釈を有するとともに垂直方向及び水平方向の投影ヒストグラムが配置された、スキャンした文書イメージのサンプルを示す図。
【図３】スキャンした文書イメージ（図３Ａ）に対してどのように連結成分の解析（図３Ｂ）を行なうかを例示する図。
【図４】図２のスキャンした文書イメージ中の連結成分の境界箱（図４Ａ）に対してどのように行併合（図４Ｂ）を行なうかを例示する図。
【図５】本発明に係る判読可能なテキスト行を削除する工程を示すフローチャート。
【図６】本発明に係るスキャンした文書イメージの印刷テキスト行と手書き注釈とをさらに区別する工程を示すフローチャート。
【図７】図２のスキャンした文書イメージから手書き注釈の境界箱を検知及び分離した状態を示す図。
【図８】図２のスキャンした文書イメージから抽出した手書き注釈を示す図。
【図９】本発明に従った、少なくとも１つの二次バージョンを有する文書の履歴を記録する方法に対して本発明をどのように適用するかを示すフローチャート。
【図１０】本発明に従った、印刷テキスト行及び付加情報を有する文書の伝送を確実にする方法に対して本発明をどのように適用するかを示すフローチャート。
【図１１】本発明の教示に従った効率的な圧縮方法に対して本発明をどのように適用するかを示すフローチャート。
【符号の説明】
１０      手書き注釈を検知及び分離する方法
５０      スキャンした文書イメージ
５２      印刷テキスト行
５４      手書き注釈
５６      垂直方向の投影ヒストグラム
５７      ピーク
５８      垂直方向の投影ヒストグラム５６の最初の急上昇
６０      垂直方向の投影ヒストグラム５６の最後の急降下
６２      水平方向の投影ヒストグラム
６４      水平方向の投影ヒストグラム６２の最初の急上昇（左側の余白）
６６      水平方向の投影ヒストグラム６２の最後の急降下
７２      印刷テキスト行の境界箱
７４      手書き注釈の境界箱
８２      併合テキスト行
８４      併合テキスト行
８５      行併合が行なわれた境界箱
２００    文書の履歴を記録する方法
３００    文書のオリジナルバージョンを確実に伝送する方法
４００    圧縮方法
【図１】
0003623200.tif 000002
【図２】
0003623200.tif 000003
【図３】
0003623200.tif 000004
【図４】
0003623200.tif 000005
【図５】
0003623200.tif 000006
【図６】
0003623200.tif 000007
【図７】
0003623200.tif 000008
【図８】
0003623200.tif 000009
【図９】
0003623200.tif 000010
【図１０】
0003623200.tif 000011
【図１１】
0003623200.tif 000012