(57)【要約】      （修正有）【課題】グレースケール文書画像、特に、テキスト及び非テキスト内容の双方を含む文書画像を二値化する方法を提供する。【解決手段】グレースケール画像から位相一致マップが計算され、該グレースケール画像のテキスト及び非テキスト領域を分割するのに用いられる。位相一致マップは、テーブルライン等のロングラインを抽出するのにも用いられ、このロングラインは任意に画像から削除することができる。グレースケール画像のテキスト及び非テキスト領域は、画像パッチに分割される。テキスト領域については、位相一致マップから取得された連結成分が画像パッチの生成に用いられ、これにより各画像パッチはテキスト文字を含む。画像パッチは独自の閾値を用いて個別に二値化され、その後、合成されてグレースケール画像の二値画像が生成される。方法はＯＣＲ又は文書認証の目的でも使用することが出来る。【選択図】図１
2014057306.tif 000002
【特許請求の範囲】
【請求項１】
テキスト領域を含むグレースケール文書画像を処理する方法であって、
（ａ）前記グレースケール文書画像から位相一致マップを計算する工程であって、異なる方向における複数の位相一致マップを計算する工程と、前記異なる方向における複数の位相一致マップを合成することにより合成位相一致マップを計算する工程と、を含む工程と、
（ｂ）前記位相一致マップを使用して、前記グレースケール文書画像を前記テキスト領域及び非テキスト領域に分割する工程であって、
（ｂ１）前記異なる方向における複数の位相一致マップ及び前記合成位相一致マップを用いてテクスチャ解析を実行する工程と、
（ｂ２）前記合成位相一致マップからエッジを抽出してバイナリーエッジマップを生成する工程と、
（ｂ３）前記バイナリーエッジマップから連結成分を抽出し、該連結成分のリストを生成する工程と、
（ｂ４）前記連結成分の統計的特徴を取得する工程と、
（ｂ５）前記工程（ｂ１）のテクスチャ解析の結果及び前記工程（ｂ４）で取得した前記連結成分の統計的特徴に基づき、前記グレースケール文書画像を、テキストを含む可能性が高い前記テキスト領域と、テキストを含む可能性が低い前記非テキスト領域と、に分割する工程と、
を含む工程と、
を含むことを特徴とする方法。
【請求項２】
前記工程（ａ）の前に、前記グレースケール文書画像にエッジ保存フィルタリングを適用する工程を更に含むことを特徴とする、請求項１に記載の方法。
【請求項３】
前記工程（ｂ２）は、２つの閾値を用いたヒステリシス法を実行して前記合成位相一致マップを二値化する工程を含むことを特徴とする、請求項１に記載の方法。
【請求項４】
前記工程（ｂ４）における前記連結成分の統計的特徴は、前記連結成分の高さ及び幅の分布を含むことを特徴とする、請求項１に記載の方法。
【請求項５】
前記工程（ｂ５）は、前記グレースケール文書画像の各領域が前記テキスト領域である可能性を表すテキスト確率マップを計算する工程と、前記テキスト確率マップを閾値化して、前記グレースケール文書画像の各領域が前記テキスト領域であるか前記非テキスト領域であるかを表す二値テキスト分割マップを生成する工程と、を含むことを特徴とする、請求項１に記載の方法。
【請求項６】
（ｃ）前記工程（ｂ３）で生成された前記連結成分のリストを用いて、前記グレースケール文書画像の前記テキスト領域を複数の第一の画像パッチに分割する工程と、
（ｄ）前記複数の第一の画像パッチの各々を、該画像パッチに特化した閾値を用いて二値化し、複数の第一の二値化画像パッチを生成する工程と、
を更に含むことを特徴とする、請求項１に記載の方法。
【請求項７】
前記工程（ｄ）で生成された前記複数の第一の二値化画像パッチを二値画像に合成する工程を更に含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記工程（ｂ）の後に、
前記グレースケール文書画像の前記非テキスト領域を複数の第二の画像パッチに分割する工程と、
前記複数の第二の画像パッチの各々を、該画像パッチに特化した閾値を用いて二値化し、複数の第二の二値化画像パッチを生成する工程と、
前記複数の第一の二値化画像パッチと、前記複数の第二の二値化画像パッチとを二値画像に合成する工程と、
を更に含むことを特徴とする請求項６に記載の方法。
【請求項９】
前記工程（ａ）において計算された前記異なる方向における複数の位相一致マップは、０度における位相一致マップと、９０度における位相一致マップとを含み、
前記方法は、
（ｅ１）前記０度における位相一致マップ及び前記９０度における位相一致マップのそれぞれから水平及び垂直ラインを抽出する工程と、
（ｅ２）抽出された前記水平及び垂直ラインに基づいてテーブルを抽出する工程と、
（ｅ３）前記工程（ｂ３）で抽出された前記連結成分と、前記工程（ｂ４）で取得された前記連結成分の統計的特徴とを解析することにより、ロングラインを抽出する工程と、
（ｅ４）前記工程（ｂ３）で生成された前記連結成分のリストから、前記工程（ｅ１）で抽出された前記水平及び垂直ラインと、前記工程（ｅ３）で抽出された前記ロングラインとを削除する工程と、
を更に含み、
前記分割工程（ｃ）は、前記削除工程（ｅ４）の後、前記連結成分のリストを用いて行われることを特徴とする請求項６に記載の方法。
【請求項１０】
前記複数の第一の画像パッチの各々について、
（ｆ１）前記閾値を用いて前記画像パッチを二値化した後、前記二値化画像パッチからエッジを抽出してエッジマップのパッチを生成する工程と、
（ｆ２）前記工程（ｆ１）で生成された前記エッジマップのパッチを、前記工程（ｂ２）で生成された前記エッジマップの対応するパッチと比較する工程と、
（ｆ３）前記工程（ｆ２）の比較結果に基づき、調整された閾値を用いて、前記画像パッチを再度二値化する工程と、
を更に含むことを特徴とする請求項６に記載の方法。
【請求項１１】
前記工程（ｄ）の後、前記複数の第一の二値化画像パッチからテキスト文字を抽出する工程を更に含むことを特徴とする請求項６に記載の方法。
【請求項１２】
グレースケール文書画像の少なくともテキスト領域を二値化する方法であって、
（ａ）前記グレースケール文書画像から合成位相一致マップを計算する工程であって、
（ａ１）異なる方向における複数の位相一致マップを計算する工程と、
（ａ２）前記複数の位相一致マップを合成して前記合成位相一致マップを生成する工程と、
を含む工程と、
（ｂ）前記合成位相一致マップを用いて、前記グレースケール文書画像を前記テキスト領域及び非テキスト領域に分割する工程であって、
（ｂ１）前記合成位相一致マップからエッジを抽出してバイナリーエッジマップを生成する工程と、
（ｂ２）前記バイナリーエッジマップから連結成分を抽出し、該連結成分のリストを生成する工程と、
（ｂ３）前記連結成分の統計的特徴に基づき、前記グレースケール文書画像を、テキストを含む可能性が高い前記テキスト領域と、テキストを含む可能性が低い前記非テキスト領域と、に分割する工程と、
を含む工程と、
（ｃ）前記工程（ｂ２）で生成された前記連結成分のリストを用いて、前記グレースケール文書画像の前記テキスト領域を複数の画像パッチに分割する工程と、
（ｄ）前記複数の画像パッチの各々を、該画像パッチに特化した閾値を用いて二値化し、複数の二値化画像パッチを生成する工程と、
を含むことを特徴とする方法。
【請求項１３】
グレースケール文書画像におけるテーブルの抽出方法であって、
（ａ）前記グレースケール画像の水平方向の第一の位相一致マップと、前記グレースケール画像の垂直方向の第二の位相一致マップとを計算する工程と、
（ｂ）前記第一の位相一致マップと、前記第二の位相一致マップとをそれぞれ二値化して、第一の二値化マップと、第二の二値化マップとを生成する工程と、
（ｃ）前記第一の二値化マップにおける複数の水平ラインと、前記第二の二値化マップにおける複数の垂直ラインとを識別する工程と、
（ｄ）前記複数の水平ラインと、前記複数の垂直ラインとに基づき、前記グレースケール文書画像の前記テーブルを抽出する工程と、
を含むことを特徴とする方法。
【請求項１４】
データ処理装置を制御するためのコンピュータ読み取り可能なプログラムコードが内蔵された、コンピュータ使用可能な非一時的媒体を備えたコンピュータプログラム製品であって、前記コンピュータ読み取り可能なプログラムコードは、前記データ処理装置に、テキスト領域を含むグレースケール文書画像を処理するプロセスを実行させるように構成されており、前記プロセスは、
（ａ）前記グレースケール文書画像から位相一致マップを計算する工程であって、異なる方向における複数の位相一致マップを計算する工程と、前記異なる方向における複数の位相一致マップを合成することにより合成位相一致マップを計算する工程と、を含む工程と、
（ｂ）前記位相一致マップを使用して、前記グレースケール文書画像を前記テキスト領域及び非テキスト領域に分割する工程であって、
（ｂ１）前記異なる方向における複数の位相一致マップ及び前記合成位相一致マップを使用してテクスチャ解析を実行する工程と、
（ｂ２）前記合成位相一致マップからエッジを抽出してバイナリーエッジマップを生成する工程と、
（ｂ３）前記バイナリーエッジマップから連結成分を抽出し、該連結成分のリストを生成する工程と、
（ｂ４）前記連結成分の統計的特徴を取得する工程と、
（ｂ５）前記工程（ｂ１）のテクスチャ解析の結果及び前記工程（ｂ４）で取得した前記連結成分の統計的特徴に基づき、前記グレースケール文書画像を、テキストを含む可能性が高い前記テキスト領域と、テキストを含む可能性が低い前記非テキスト領域と、に分割する工程と、
を含む工程と、
を含むことを特徴とするコンピュータプログラム製品。
【請求項１５】
前記プロセスは、前記工程（ａ）の前に、前記グレースケール文書画像にエッジ保存フィルタリングを適用する工程を更に含むことを特徴とする、請求項１４に記載のコンピュータプログラム製品。
【請求項１６】
前記工程（ｂ２）は、２つの閾値を用いたヒステリシス法を実行して前記合成位相一致マップを二値化する工程を含むことを特徴とする、請求項１４に記載のコンピュータプログラム製品。
【請求項１７】
前記工程（ｂ４）の前記連結成分の統計的特徴は、前記連結成分の高さ及び幅の分布を含むことを特徴とする、請求項１４に記載のコンピュータプログラム製品。
【請求項１８】
前記工程（ｂ５）は、前記グレースケール文書画像の各領域が前記テキスト領域である可能性を表すテキスト確率マップを計算する工程と、前記テキスト確率マップを閾値化して、前記グレースケール文書画像の各領域が前記テキスト領域であるか前記非テキスト領域であるかを表す二値テキスト分割マップを生成する工程と、を含むことを特徴とする、請求項１４に記載のコンピュータプログラム製品。
【請求項１９】
前記プロセスは、
（ｃ）前記工程（ｂ３）で生成された前記連結成分のリストを用いて、前記グレースケール文書画像の前記テキスト領域を複数の第一の画像パッチに分割する工程と、
（ｄ）前記複数の第一の画像パッチの各々を、該画像パッチに特化した閾値を用いて二値化し、複数の第一の二値化画像パッチを生成する工程と、
を更に含むことを特徴とする、請求項１４に記載のコンピュータプログラム製品。
【請求項２０】
前記プロセスは、前記工程（ｄ）で生成された前記複数の第一の二値化画像パッチを二値画像に合成する工程を更に含むことを特徴とする請求項１９に記載のコンピュータプログラム製品。
【請求項２１】
前記プロセスは、前記工程（ｂ）の後に、
前記グレースケール文書画像の前記非テキスト領域を複数の第二の画像パッチに分割する工程と、
前記複数の第二の画像パッチの各々を、該画像パッチに特化した閾値を用いて二値化し、複数の第二の二値化画像パッチを生成する工程と、
前記複数の第一の二値化画像パッチと、前記複数の第二の二値化画像パッチとを二値画像に合成する工程と、
を更に含むことを特徴とする請求項１９に記載のコンピュータプログラム製品。
【請求項２２】
前記工程（ａ）において計算された前記異なる方向における複数の位相一致マップは、０度における位相一致マップと、９０度における位相一致マップとを含み、
前記プロセスは、
（ｅ１）前記０度における位相一致マップ及び前記９０度における位相一致マップのそれぞれから水平及び垂直ラインを抽出する工程と、
（ｅ２）抽出された前記水平及び垂直ラインに基づいてテーブルを抽出する工程と、
（ｅ３）前記工程（ｂ３）で抽出された前記連結成分と、前記工程（ｂ４）で取得された前記連結成分の統計的特徴とを解析することにより、ロングラインを抽出する工程と、
（ｅ４）前記工程（ｂ３）で生成された前記連結成分のリストから、前記工程（ｅ１）で抽出された前記水平及び垂直ラインと、前記工程（ｅ３）で抽出された前記ロングラインとを削除する工程と、
を更に含み、
前記分割工程（ｃ）は、前記削除工程（ｅ４）の後、前記連結成分のリストを用いて行われることを特徴とする請求項１９に記載のコンピュータプログラム製品。
【請求項２３】
前記プロセスは、前記複数の第一の画像パッチの各々について、
（ｆ１）前記閾値を用いて前記画像パッチを二値化した後、前記二値化画像パッチからエッジを抽出してエッジマップのパッチを生成する工程と、
（ｆ２）前記工程（ｆ１）で生成された前記エッジマップのパッチを、前記工程（ｂ２）で生成された前記エッジマップの対応するパッチと比較する工程と、
（ｆ３）前記工程（ｆ２）の比較結果に基づき、調整された閾値を用いて、前記画像パッチを再度二値化する工程と、
を更に含むことを特徴とする請求項１９に記載のコンピュータプログラム製品。
【請求項２４】
前記プロセスは、前記工程（ｄ）の後、前記複数の第一の二値化画像パッチからテキスト文字を抽出する工程を更に含むことを特徴とする請求項１９に記載のコンピュータプログラム製品。
【請求項２５】
データ処理装置を制御するためのコンピュータ読み取り可能なプログラムコードが内蔵された、コンピュータ使用可能な非一時的媒体を備えたコンピュータプログラム製品であって、前記コンピュータ読み取り可能なプログラムコードは、前記データ処理装置に、グレースケール文書画像の少なくともテキスト領域を二値化するプロセスを実行させるように構成されており、前記プロセスは、
（ａ）前記グレースケール文書画像から合成位相一致マップを計算する工程であって、
（ａ１）異なる方向における複数の位相一致マップを計算する工程と、
（ａ２）前記複数の位相一致マップを合成して前記合成位相一致マップを生成する工程と、
を含む工程と、
（ｂ）前記合成位相一致マップを用いて、前記グレースケール文書画像を前記テキスト領域及び非テキスト領域に分割する工程であって、
（ｂ１）前記合成位相一致マップからエッジを抽出してバイナリーエッジマップを生成する工程と、
（ｂ２）前記バイナリーエッジマップから連結成分を抽出し、該連結成分のリストを生成する工程と、
（ｂ３）前記連結成分の統計的特徴に基づき、前記グレースケール文書画像を、テキストを含む可能性が高い前記テキスト領域と、テキストを含む可能性が低い前記非テキスト領域と、に分割する工程と、
を含む工程と、
（ｃ）前記工程（ｂ２）で生成された前記連結成分のリストを用いて、前記グレースケール文書画像の前記テキスト領域を複数の画像パッチに分割する工程と、
（ｄ）前記複数の画像パッチの各々を、該画像パッチに特化した閾値を用いて二値化し、複数の二値化画像パッチを生成する工程と、
を含むことを特徴とするコンピュータプログラム製品。
【請求項２６】
データ処理装置を制御するためのコンピュータ読み取り可能なプログラムコードが内蔵された、コンピュータ使用可能な非一時的媒体を備えたコンピュータプログラム製品であって、前記コンピュータ読み取り可能なプログラムコードは、前記データ処理装置に、グレースケール文書画像のテーブルを抽出するプロセスを実行させるように構成されており、前記プロセスは、
（ａ）前記グレースケール画像の水平方向の第一の位相一致マップと、前記グレースケール画像の垂直方向の第二の位相一致マップとを計算する工程と、
（ｂ）前記第一の位相一致マップと、前記第二の位相一致マップとをそれぞれ二値化して、第一の二値化マップと、第二の二値化マップとを生成する工程と、
（ｃ）前記第一の二値化マップにおける複数の水平ラインと、前記第二の二値化マップにおける複数の垂直ラインとを識別する工程と、
（ｄ）前記複数の水平ラインと、前記複数の垂直ラインとに基づき、前記グレースケール文書画像の前記テーブルを抽出する工程と、
を含むことを特徴とするコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、グレースケール文書画像を二値化する方法に関し、特に、画像位相一致を用いて文書画像を二値化及び分割する方法に関する。
【背景技術】
【０００２】
文書処理においては、多くの場合、カラー又はグレースケール文書画像から二値画像を生成する必要がある。二値化は、前記画像からテキストを抽出する処理（光学文字認識又はＯＣＲと呼ばれる）の一部である場合がある。例えば、一般的に、スキャナはまずハードコピー文書を走査してグレースケール又はカラー画像とし、その後、二値化を行って二値（ピュアブラック及びホワイト）画像を生成し、及び／又はＯＣＲを行って前記走査画像からテキスト内容を抽出する。デジタルカメラ及びスマートフォンが広く普及するのに伴い、ユーザは、文書や、テキスト又はラベルが付いた物の写真を撮ることが可能であり、カラー又はグレースケール写真を二値画像に変換する処理、及び／又はテキスト内容を抽出する処理が必要とされる。多くの場合、前記文書画像（走査画像又はカメラで取った写真）は、テキスト内容及び画像やグラフィックス等の非テキスト内容の双方を含む。二値化処理は、多くの場合、テキスト及び非テキスト内容を識別して、文書画像全体をテキスト及び非テキスト内容に分割することを要する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、画像位相一致を用いて文書画像（カラー又はグレースケール）を二値化及び分割する方法並びに関連する装置に関する。
【課題を解決するための手段】
【０００４】
本発明の目的は、テキスト及び非テキスト内容の双方を含む文書画像を正確かつ確実に二値化及び分割する方法を提供することである。
【０００５】
本発明の追加的な特徴及び利点は以下の記載において述べられ、その一部は当該記載から明らかであるか、本発明の実施により知るところとなる。本発明の目的及び他の利点は、明細書の記載、特許請求の範囲、及び添付図面で詳しく示された構造により実現され、取得される。
【０００６】
これらの及び／他の目的を達成するために、具現化され広く記載されているように、本発明は、テキスト領域を含むグレースケール文書画像を処理する方法であって、（ａ）前記グレースケール文書画像から位相一致マップを計算する工程であって、異なる方向における複数の位相一致マップを計算する工程と、前記異なる方向における複数の位相一致マップを合成することにより合成位相一致マップを計算する工程と、を含む工程と、（ｂ）前記位相一致マップを使用して、前記グレースケール文書画像を前記テキスト領域及び非テキスト領域に分割する工程であって、（ｂ１）前記異なる方向における複数の位相一致マップ及び前記合成位相一致マップを用いてテクスチャ解析を実行する工程と、（ｂ２）前記合成位相一致マップからエッジを抽出してバイナリーエッジマップを生成する工程と、（ｂ３）前記バイナリーエッジマップから連結成分を抽出し、該連結成分のリストを生成する工程と、（ｂ４）前記連結成分の統計的特徴を取得する工程と、（ｂ５）前記工程（ｂ１）のテクスチャ解析の結果及び前記工程（ｂ４）で取得した前記連結成分の統計的特徴に基づき、前記グレースケール文書画像を、テキストを含む可能性が高い前記テキスト領域と、テキストを含む可能性が低い前記非テキスト領域と、に分割する工程と、を含む工程と、を含むことを特徴とする方法を提供する。
【０００７】
前記方法は、（ｃ）前記工程（ｂ３）で生成された前記連結成分のリストを用いて、前記グレースケール文書画像の前記テキスト領域を複数の第一の画像パッチに分割する工程と、（ｄ）前記複数の第一の画像パッチの各々を、該画像パッチに特化した閾値を用いて二値化し、複数の第一の二値化画像パッチを生成する工程と、を更に含む。
【０００８】
他の側面において、本発明は、グレースケール文書画像の少なくともテキスト領域を二値化する方法であって、（ａ）前記グレースケール文書画像から合成位相一致マップを計算する工程であって、（ａ１）異なる方向における複数の位相一致マップを計算する工程と、（ａ２）前記複数の位相一致マップを合成して前記合成位相一致マップを生成する工程と、を含む工程と、（ｂ）前記合成位相一致マップを用いて、前記グレースケール文書画像を前記テキスト領域及び非テキスト領域に分割する工程であって、（ｂ１）前記合成位相一致マップからエッジを抽出してバイナリーエッジマップを生成する工程と、（ｂ２）前記バイナリーエッジマップから連結成分を抽出し、該連結成分のリストを生成する工程と、（ｂ３）前記連結成分の統計的特徴に基づき、前記グレースケール文書画像を、テキストを含む可能性が高い前記テキスト領域と、テキストを含む可能性が低い前記非テキスト領域と、に分割する工程と、を含む工程と、（ｃ）前記工程（ｂ２）で生成された前記連結成分のリストを用いて、前記グレースケール文書画像の前記テキスト領域を複数の画像パッチに分割する工程と、（ｄ）前記複数の画像パッチの各々を、該画像パッチに特化した閾値を用いて二値化し、複数の二値化画像パッチを生成する工程と、を含むことを特徴とする方法を提供する。
【０００９】
他の側面において、本発明は、グレースケール文書画像におけるテーブルの抽出方法であって、（ａ）前記グレースケール画像の水平方向の第一の位相一致マップと、前記グレースケール画像の垂直方向の第二の位相一致マップとを計算する工程と、（ｂ）前記第一の位相一致マップと、前記第二の位相一致マップとをそれぞれ二値化して、第一の二値化マップと、第二の二値化マップとを生成する工程と、（ｃ）前記第一の二値化マップにおける複数の水平ラインと、前記第二の二値化マップにおける複数の垂直ラインとを識別する工程と、（ｄ）前記複数の水平ラインと、前記複数の垂直ラインとに基づき、前記グレースケール文書画像の前記テーブルを抽出する工程と、を含むことを特徴とする方法を提供する。
【００１０】
他の側面において、本発明は、データ処理装置を制御するためのコンピュータ読み取り可能なプログラムコードが内蔵された、コンピュータ使用可能な非一時的媒体（例えば、メモリ又は記憶デバイス）を備えたコンピュータプログラム製品であって、前記コンピュータ読み取り可能なプログラムコードは、前記データ処理装置に、上記方法を実行させるように構成されていることを特徴とするコンピュータプログラム製品を提供する。
【００１１】
上述した概要及び以下の詳細な説明は共に、例示的かつ説明的なものであって、特許請求の範囲に記載された本発明について更なる説明を提供することを意図するものである。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態による文書二値化方法を示すフローチャートである。
【図２】本発明の実施形態による文書二値化方法を示すフローチャートである。
【図３】画像及びマップの例であり、オリジナルグレースケール文書画像を示す。
【図４】画像及びマップの例であり、４つのスケール及び２つの方向が合成された、文書画像の最終位相一致マップを示す。
【図５】画像及びマップの例であり、２つの閾値によるヒステリシス技術を最終位相一致マップに適用して得られたエッジマップを示す。
【図６】画像及びマップの例であり、文書画像に対するテキスト分割マップを示す。
【発明を実施するための形態】
【００１３】
本発明の実施形態は、グレースケール文書画像、特に、テキスト及び非テキスト（例えば、画像、グラフィクス）内容の双方を含む文書画像を二値化する方法を提供する。この方法は、グレースケール画像に対する位相一致マップを計算し、該位相一致マップを利用してグレースケール画像のテキスト領域及び非テキスト領域を分割する。位相一致マップは、テキスト領域におけるテーブルライン等のロングライン、及び非テキスト領域におけるロングラインを抽出するのにも用いられ、これらは任意に画像から削除されうる。テキスト分割の後、グレースケール画像のテキスト及び非テキスト領域は画像パッチに分割される。テキスト領域に対しては、位相一致マップから得られた連結成分が画像パッチの生成に用いられ、このため、各画像パッチはテキスト文字を含む。グレースケール画像の画像パッチは個々に解析されて画像パッチに対する二値化の閾値が取得され、その後、画像パッチを二値化するのに用いられる。二値化画像パッチは合成され、グレースケール画像の二値画像が生成される。
【００１４】
前記方法は、テキスト内容の抽出（一般に、ＯＣＲ、光学文字認識と呼ばれる）、又は文書内容の認証にも用いることができる。いずれの処理も、上記処理によって得られる二値化されたテキスト領域を利用する。
【００１５】
図１及び図２は、本発明の実施形態による文書二値化方法を示すフローチャートである。
【００１６】
図１に示すように、本処理の出発材料はグレースケール文書画像である。オリジナル文書画像がカラー画像である場合は、公知技術の一つを用いてグレースケール画像に変換することができる。例えば、グレースケール変換への以下の色を使用することができる。
【数１】
2014057306.tif 000003
（ＶＲ，ＶＧ及びＶＢはそれぞれＲ，Ｇ及びＢチャンネルの数値であり、Ｉはグレースケール値である。或いは、後述の二値化処理が個々の色成分（すなわちＲ，Ｇ及びＢ）に対して行われてもよい。）
【００１７】
まず、エッジ保存フィルタリングがグレースケール文書画像に適用され、該画像のエッジ特徴が保存される一方で、ノイズが除去される（ステップＳ１）。異方性拡散法（anisotropic diffusion）、バイラテラルフィルタリング（bilateral filtering）等の種々のエッジ保存フィルタが公知であり、本工程に用いることができる。他の適当なエッジ保存フィルタを用いることも可能である。
【００１８】
次に、異なるスケール及び異なる方向を用いた前記画像に対する位相一致計算が行われる（ステップＳ２）。コンピュータ画像処理において、位相一致は、画像の周波数成分間の位相関係を表す尺度である。Kovesi, P.の「Image Features from Phase Congruency」(Videreの「Journal of Computer Vision Research」第１巻，第３号，１〜２６ページ，１９９９年夏)（以下「Kovesi 1999」と称する）は、位相一致を用いてエッジ状の画像特徴を抽出することについて記載している。Kovesi 1999は要約において、「ステップエッジ、ライン及びマッハバンド等の画像特徴はすべて、前記画像のフーリエ成分が最大限に同位相となる位置を生じさせる」と述べている。特徴を選び出すための位相一致の使用は、勾配ベースの手法よりも顕著な利点を有する。位相一致は、画像輝度又はコントラストにおける変化に対して不変の無次元量である。したがって、それは特徴点の有意性の絶対尺度を提供し、幅広い種類の画像に適用可能な普遍的な閾値の使用を可能とする。Kovesi 1999に記載された位相一致の計算は、下記の簡略化された方法にまとめられる。更に詳しい点は参考文献自体から得ることができ、それは関連技術における通常の技術の範囲内であると考えられる。ただし、位相一致を計算する他の適当な手段が使用されうることは当然である。
【００１９】
Ｓ（ｘ）が１Ｄ（一次元）信号を表し、Ｍｅｎ及びＭｏｎがスケールｎにおける信号Ｓ（ｘ）の偶対称（コサイン）及び奇対称（サイン）ウェーブレットを表す場合に、反応ベクトルを形成しながら各フィルタ対の反応について判断することが可能となる。
【数２】
2014057306.tif 000004
（Ｆｅｎ及びＦｏｎはスケールｎにおける偶対称及び奇対称ウェーブレット変換である。）
【００２０】
スケールｎにおける振幅は以下の通りである。
【数３】
2014057306.tif 000005
【００２１】
スケールｎにおける位相角は以下の通りである。
【数４】
2014057306.tif 000006
【００２２】
スケールｎにおける位相偏移は以下の通りである。
【数５】
2014057306.tif 000007
【００２３】
位相一致は以下のように計算される。
【数６】
2014057306.tif 000008
（ｕ＞０のときｆｐ［ｕ］＝ｕ、ｕ£０のときｆｐ［ｕ］＝０、Ｔはノイズ閾値、ｑ（ｘ）は加重関数である。Ｔ及びｑ（ｘ）を計算する方法に関する詳細はKovesi 1999に記載されている。）
【００２４】
上記定義を２Ｄ（二次元）に拡張するため、上記で定義された位相一致数値は、２Ｄ画像の複数の方向（角度）の各々について計算することが可能であり、結果は以下のようにまとめられる。
【数７】
2014057306.tif 000009
（ｑｏｒ（ｘ，ｙ），Ａｏｒ，ｎ（ｘ，ｙ）及びDfｏｒ，ｎ（ｘ，ｙ）は、方程式１の対応する変数と同様であるが、方向ｏｒにおいて計算される。総和は、様々なスケールｎ及び様々な方向ｏｒにわたるものである。）
【００２５】
特定の方向における位相一致は、方程式２より、方向ｏｒについて加算を行うことなく取得される。方程式２により定義された、すなわちスケールｎ及び方向ｏｒにわたって加算を行った後の位相一致は、合成位相一致又は最終位相一致と呼ぶことができる。
【００２６】
ステップＳ２において、画像に対する位相一致マップは、方程式２を用いて、異なるスケール及び異なる方向にわたる加算により計算される。スケール及び方向の数は、実用上の配慮に基づいて選択可能である。あまりに少ないスケール及び方向を用いれば、高品質の位相一致マップを得ることができない。あまりに多くのスケール及び方向を用いれば、演算密度が増加し、速度が低下してしまう。また、あまりに多くの方向を使用すれば、マップが画像のわずかな変化に対しても過敏になりかねない。ステップＳ２のいくつかの実施において、方程式２の総和は４〜６のスケール、及び６〜８の方向（すなわち、３０度毎、２２．５度毎等。１８０度及び０度は方程式２の目的において同様であることに留意されたい）を含んでもよい。
【００２７】
図４は、図３に示すサンプルグレースケール画像に対する最終位相一致マップを示している。最終マップは、４つの異なるスケール（３，６，１２及び２４）及び４つの異なる方向（０，４５，９０及び１３５度）のマップを計算し、合成してから計算された。
【００２８】
上記の方法を用いて計算された最終位相一致マップは、一般的に、オリジナルグレースケール文書画像における有意なエッジ及び線特徴に対応するラインを含むことがわかる。例えば、画像におけるステップエッジ及び細線は、位相一致マップにおいて一般的に線として反映され、極太線は、位相一致マップにおいて一般的に二重線として反映される。
【００２９】
ステップＳ２において計算され、異なるスケール及び／又は方向におけるマップ等の種々の中間マップを含む位相一致マップは、下記に更に詳細に記載するように、テクスチャ解析、エッジ抽出、並びに水平及び垂直ライン抽出を含む、いくつかの文書画像の解析方法に用いられる。
【００３０】
ステップＳ３において、位相一致マップを用いてテクスチャ解析が実行される。すべてのスケール及び方向が合成された最終位相一致マップだけでなく、異なる方向及びスケールにおける複数の位相一致マップも、本工程において使用される。画像処理において、「テクスチャ」は一般的に、水平又は垂直ライン、特定の角度のライン、三角形等の特定の単純形状等の繰返しの特徴的パターンに関連している。通常、文書のテキスト領域と画像又はグラフィクス領域とは異なるテクスチャを有している。よって、テクスチャ解析はテキスト及び画像／グラフィクス領域の識別に用いることができる。Jung, K., Kim, K., 及びJain, A.の「Text Information Extraction in Images and Video（A Survey (2004), セクション２．２．２）」は、テクスチャに基づいて文書画像におけるテキスト領域及び画像領域を分割する方法を記載している。本文献に記載の方法を、ステップＳ２において生成された位相一致マップに適用して、位相一致マップのテキスト領域及び非テキスト領域を分割することが可能である。本文献に記載のテクスチャ解析はグレースケール画像に適用され、ステップＳ３にこのような解析を適用した場合、位相一致マップはグレースケール画像として処理される。
【００３１】
ステップＳ４では、ステップＳ２において生成された最終位相一致マップにおいてエッジ抽出が行われる。本工程は位相一致マップを二値化する工程を含み、その結果は、位相一致マップのエッジに対応するエッジ画素を含む二値画像としてのエッジマップである。
【００３２】
好ましい実施形態においては、高閾値及び低閾値を位相一致マップに適用することにより、ヒステリシス法が閾値化技術として用いられる。第一の閾値化工程では、高閾値が位相一致マップに適用され、第一のエッジマップが生成される。第一のエッジマップの使用により、第一のエッジマップにおけるエッジラインの方向に沿った画素は、それらの画素値が高閾値を下回る場合であっても、エッジ画素である可能性が高いと判断することができる。こうして、第二の工程において、これらの画素（第一のエッジマップにおけるすべてのエッジの方向に沿った画素）に低閾値が適用される。画素が既存のエッジに連結しており、その値が低閾値を越えている場合は、それはエッジ画素であると考えられ、エッジマップに加えられる。簡易化された方式では、第二の工程において、既存のエッジのエッジ方向は計算されず、既存のエッジに連結するすべての画素がチェックされる。そして、画素が既存のエッジに連結しており、その値が低閾値を越えている場合は、それはエッジ画素であると考えられる。
【００３３】
図５は、２つの閾値（Ｔ１＝０．１，Ｔ２＝０．０５）で上述の簡易化された方式を用いて、ヒステリシス技術を同じ位相一致マップに適用して得られたエッジマップである。
【００３４】
テキストについては、エッジマップの結果、二重線の文字が得られることが多い。該二重線は、モルフォロジー演算の適用により任意に一重線に統合することができ、これによって図５に示すような一重線の文字が得られる（元々厚かった文字が二重のまま残っているのも見られる）。
【００３５】
次に、連結成分解析がステップＳ４で得られた二値画像に適用され、二値画像における連結成分が抽出される（ステップＳ５）。二値画像の連結成分は、互いに連結している同じ値（本実施例ではホワイト）の画素のグループである。例えば、テキスト（図５のマップにおける右側の部分等）を含む二値画像において、テキストの各文字は、１〜２個の連結成分を形成する可能性が高い。図５のマップにおいて、左側の画像の各実線も、連結成分を形成する可能性が高い。ステップＳ５により、連結成分のリストが作成される。
【００３６】
そして、ステップＳ５で抽出された連結成分の特徴が解析され、連結成分の統計情報が得られる（ステップＳ６）。例えば、各連結成分は、その高さ及び幅によって測定され、すべての連結成分の高さ及び幅の分布が解析されうる。通常、テキストについては、連結成分の大部分は、同様の高さ及び幅を有することが多いテキスト文字であり、したがって、画像又はグラフィクスの連結成分と比較して、高さ及び幅の分布が比較的狭いことが多い。非テキスト（画像、グラフィクス）特性についての連結成分は、テキスト文字のそれよりも、非常に大きい傾向にある。
【００３７】
その後、ステップＳ７において、ステップＳ６で得られた連結成分の統計値は、グレースケール文書画像をテキスト及び画像領域に分割するために用いられる。ステップＳ７における画像分割にも、ステップＳ３におけるテクスチャ解析の結果が利用される。前述のように、テクスチャ解析はテキスト及び画像／グラフィクス領域を識別するのに用いることができる。
【００３８】
より具体的には、テクスチャ解析（ステップＳ３）の結果及び連結成分の統計的分析（ステップＳ６）に基づいて、テキスト確率マップが計算される。テキスト確率マップでは、マップ（グレースケール文書画像の小領域に対応しうる）の画素が、画素（領域）がテキスト領域である可能性を表す値を有する。テキスト確率マップを計算する様々な方法がある。例えば、それは、連結成分の大きさの分布によって重み付けされた（例えば、非常に大きい及び非常に小さい連結成分は、より一般的な大きさのものより小さい重みを割り当てられる）、テクスチャの局所密度（ウィンドウサイズによって分けられるローカルウィンドウのテクスチャの量）を用いて計算することができる。その後、テキスト確率マップは閾値を境に二値化され、ステップＳ７における分割の出力として、二値テキスト分割マップが生成される。テキスト分割マップの二値の画素値は、各画素（文書画像の小領域に対応する）がテキスト領域であるか非テキスト領域であるかを示す。図６は、図３に示す文書画像に対するテキスト分割マップを示している。
【００３９】
テキスト分割の後、グレースケール文書画像の非テキスト領域は、小さな画像パッチに分割されてもよい（ステップＳ８）。各パッチは、例えば、６４×６４画素の矩形である。画像パッチは、後でグレースケール文書画像を二値化するのに用いられる。テキスト領域における連結成分は、二値化のための画像パッチを定める役目を果たすことができるので（以下により詳細に記載する）、テキスト領域はステップＳ８によって画像パッチに分割されなくてもよい。文書処理の目的が、文書の二値画像を生成することよりも、テキスト内容を抽出すること（ＯＣＲ）である場合は、非テキスト領域は問題としなくてもよく、ステップＳ８は必要なくなる。
【００４０】
ステップＳ２に戻り、位相一致マップが計算された後、０度及び９０度の方向における２つの位相一致マップから、水平及び垂直ラインが抽出される（ステップＳ９）。グレースケール文書画像における水平ラインは、０度の位相一致マップにおいては顕著な傾向にあるが、９０度の位相一致マップにおいてはそうではなく、垂直ラインについては逆のことが言える。これらの特徴を水平及び垂直ラインの抽出に用いることができる。本工程は、まず、閾値化によって０度及び９０度の位相一致マップをバイナリーマップに変換する工程を含む。次に、多くの代替技術をバイナリーマップに適用して、ラインを抽出することができる。一例では、連結成分が抽出され、各連結成分の長さ、幅、及びアスペクト比（長さ割る幅）が調べられる。アスペクト比が非常に大きい又は非常に小さい連結成分は、水平又は垂直ラインとして識別される。更に、ラインの２つの端に隣接し、同じ方向に延在する連結成分は、同じラインの一部として識別することができる。他の例では、ハフ変換（Hough transform）等のライン検出器のアルゴリズムを０度及び９０度のバイナリーマップに直接適用して、ラインを検出する。
【００４１】
水平及び垂直ラインは、テーブルの一部、ハイライトの囲い、テキストのアンダーライン等として文書に存在することがある。一般的に、テーブルは同様の長さの複数の水平ライン及び同様の長さの複数の垂直ラインを含み、二組のラインは互いに交差してグリッドを形成する。更に、通常はラインの間にテキストが存在する。これらの特徴を識別することにより、ステップＳ９で抽出した水平及び垂直ラインに基づいてテーブルを抽出することができる（ステップＳ１０）。より具体的には、本工程は、検出された水平及び垂直ラインの位置を識別し、二組のラインが互いに交差するか否かを決定する工程を含む。テーブルは抽出された後、ＯＣＲによるテキスト抽出及びテーブル形式の破棄や、複製テキスト文書におけるテーブルの複製等、所望の様々な方法で処理することができる。
【００４２】
その後、０度及び９０度の方向の位相一致マップだけでなく、ステップＳ５で得た連結成分リスト及びステップＳ６で得た連結成分統計情報も、文書画像から個々のロングラインを抽出するのに用いられる（ステップＳ１１）。本工程において、個々のロングラインは水平及び垂直ラインに限定されず、また、直線に限定されない。ラインは、連結成分の統計情報に基づいてロングラインと見なすことができる。前述のように、一般的に、テキストの連結成分は、ある特徴的な高さ及び幅の値の前後における狭い範囲内に分布する。よって、連結成分リストにおけるラインがテキストの特性値よりはるかに大きい高さ及び／又は幅を有し、テキストの分布範囲外となる場合は、ロングラインであると見なされる。０度及び９０度の方向における位相一致マップは、水平及び垂直ラインが強調されるため、個々のロングラインを抽出するのに便利である。更に、それらは斜線が強調されるマップに合成することができる。２つの方向を合成する簡易な方法は以下の通りである。
【数８】
2014057306.tif 000010
（ＰＣ０及びＰＣ９０は、それぞれ０度及び９０度一致マップを示す。個々のロングラインはこれらのマップから抽出されることができる。）
【００４３】
ステップＳ９、Ｓ１０及びＳ１１において「抽出する」とは、マップにおいて関連する特徴を識別し分離することを意味する。テーブル及び個々のロングラインの抽出後、必要に応じ、それらはエッジマップ（ステップＳ４で生成）及び連結成分リスト（ステップＳ５で生成）から削除されてもよい（ステップＳ１２）。ステップＳ１２は、文書画像処理の全体的な目的に応じて任意に行われる。例えば、文書画像処理の目的がテキスト内容の抽出（ＯＣＲ）のみである場合は、テーブルラインを削除及び破棄してよく、テーブル内のテキストは光学文字認識され、結果として生じるテキスト文書に置かれる（特定のテキストが元々テーブルに含まれていたことを示す注釈がテキスト文書に挿入される）。テキストに対するアンダーラインは、文字認識を複雑化する可能性があるので、ＯＣＲを目的とする場合も削除することができる。同様に、文書画像処理の目的が文書内容の認証（例えば、文書内容が基準となる文書と同じであるか否かの決定）のみの場合は、テーブルラインやその他のラインは重要でない可能性があるので、ステップＳ１２により削除することができる。一方、文書画像処理の目的が、走査したグレースケール又はカラー画像から二値画像を生成することである場合は、テーブルライン及び他のラインは保持されるべきである。すなわち、このような状況では、ステップＳ１２の削除は実行されない。
【００４４】
ステップＳ１３において、画像パッチ、すなわちグレースケール文書画像の小領域が抽出され、テキスト領域及び非テキスト領域のために個々に解析される。前述のように、非テキスト領域（画像及びグラフィクス）については、ステップＳ８において該領域が画像パッチに分割される。文書画像処理の目的が非テキスト領域の処理を必要としない場合は、これらの領域は本工程で削除することができる。テキスト領域については、ステップＳ５で得た連結成分が画像パッチの抽出に使用される。テキストの連結成分ごとに、連結成分を含む凸包或いは矩形の境界ボックスにより、マージンを加えて、画像パッチが規定されうる。その結果、各画像パッチはテキスト文字を含む。
【００４５】
ステップＳ１３において、グレースケール文書画像の各画像パッチが解析され、該画像パッチを二値化するのに適した閾値が決定される。次に、ステップＳ１３で決定された閾値を用いて、各画像パッチが二値化される（ステップＳ１４）。つまり、各画像パッチは、該画像パッチに特化して決定された閾値を用いて二値化される。文書画像処理の目的がテキスト内容を抽出することのみである場合は、ステップＳ１３及びＳ１４は非テキスト領域に適用されない。     
【００４６】
次に、ステップＳ１５〜Ｓ１７がテキストの画像パッチごとに任意に実行され、ステップＳ１４の二値化結果が検証される。ステップＳ１５では、テキストの二値化画像パッチに対してエッジ検出が行われ、エッジマップのパッチが生成される。ステップＳ４と同様に、本処理は、二重線を一重線に統合するためのモルフォロジー演算を含んでもよい。ステップＳ１６では、二値化画像パッチから得たエッジマップのパッチ（ステップＳ１５より）が、位相一致マップから生成された、対応するエッジマップのパッチ（ステップＳ４より）と十分に類似するか否かが決定される。２つのエッジマップのパッチ間の類似度を規定するために、種々の測定基準を用いることができる。一例として、２つのマップ間のハウスドルフ距離（Hausdorff distance）が用いられる。２つの画像間のハウスドルフ距離が小さいほど、両者の類似度は高い。２つのエッジマップが十分に類似していない場合（ステップＳ１６：「Ｎ」）、画像パッチの閾値が調整され、画像パッチが再び二値化される。
【００４７】
二値化が条件を満たす場合（ステップＳ１６：「Ｙ」）、それがテキストの画像パッチであるならば、二値化画像パッチからテキスト（文字）が抽出される（ステップＳ１８）。本工程は任意であり、文書画像処理の目的がＯＣＲ又はテキストに基づく文書認証である場合に行うことができる。ステップＳ１３〜Ｓ１８を繰り返すことにより、次の画像パッチが処理される（ステップＳ１９：「Ｎ」）。すべての画像パッチが処理されると（ステップＳ１９：「Ｙ」）、すべての二値化画像パッチは合成され、二値化された文書画像が生成される（ステップＳ２０）。二値化された文書画像には、二値画像における小さな孤立した領域の削除等の後処理を加えることができる（ステップＳ２１）。ステップＳ２０及びＳ２１は任意であり、文書画像処理の目的が二値化又は画像に基づく文書認証である場合に行われる。
【００４８】
図１及び２の文書画像処理プロセスの結果は、処理の目的に応じ、二値文書画像若しくは文書のテキスト内容を含むテキスト文書、又はその両方である。文書画像処理の目的が認証である場合、二値化された文書画像又は抽出されたテキスト内容を用いて認証工程（図２において図示せず）を実行し、文書内容が真正であるか否かを決定することができる。この目的のため、いかなる適切な認証方法を用いてもよい。
【００４９】
上述した方法は、一又は複数のプロセッサ及びメモリ並びに／又は記憶デバイスを備えるデータ処理装置において実行することができる。データ処理装置は単独の汎用コンピュータであってもよく、又はプリンタ、スキャナ、コピー機若しくは多機能デバイス（コピー機能、プリント機能、及び走査機能を実行可能なデバイス）の一部であってもよい。また、データ処理装置は、メモリ又は記憶デバイスに記憶されたコンピュータプログラムを実行するプロセッサによって前記方法を実行する。一の側面では、本発明はデータ処理装置に具現化される。他の側面では、本発明は、データ処理装置を制御するためのコンピュータ読み取り可能なプログラムコードが内蔵された、コンピュータ使用可能な非一時的媒体に具現化されるコンピュータプログラム製品である。他の側面では、本発明はデータ処理装置によって実行される方法である。
【００５０】
複数のプロセッサを使用した並行処理が、位相一致マップの計算（ステップＳ２）等の上記方法の特定部分の実行に適用されてもよい。
【００５１】
本発明の方法及び関連する装置に、本発明の趣旨及び範囲から逸脱することなく種々の改良及び変更を加え得ることは、当業者において明らかであろう。  このように、本発明は、特許請求の範囲及びその均等物の範囲内における改良及び変更を包含することが意図されている。
【図１】
2014057306.tif 000011
【図２】
2014057306.tif 000012
【図３】
2014057306.tif 000013
【図４】
2014057306.tif 000014
【図５】
2014057306.tif 000015
【図６】
2014057306.tif 000016
【外国語明細書】
2014057306000001.pdf
2014057306000002.pdf
2014057306000003.pdf
2014057306000004.pdf