(57)【要約】【課題】  文字の認識率を向上させる。【解決手段】  画像処理方法では、画素の濃度に関する複数の閾値を用いて、画像を２値化し、複数の閾値毎に、２値化した一方の値を有する画像を構成する画素が連結した第１連結成分を画像から抽出し、複数の閾値にそれぞれ対応する第１連結成分の包含関係を階層的に示すツリーを生成し、ツリーの各階層における第１連結成分と文字パターンとの類似度を算出し、類似度に基づいてツリーの各階層における第１連結成分に対応する文字画像中から、第１文字画像を選択し、第１文字画像の属性と共通の属性を有する第１連結成分を、第２文字画像として選択し、選択した第１文字画像および第２文字画像をテキストパターンとして抽出する。【選択図】  図１
2017091164.tif 000002
【特許請求の範囲】
【請求項１】
画素の濃度に関する複数の閾値を用いて、画像を２値化し、前記複数の閾値毎に、２値化した一方の値を有する前記画像を構成する画素が連結した第１連結成分を前記画像から抽出し、
前記複数の閾値にそれぞれ対応する前記第１連結成分の包含関係を階層的に示すツリーを生成し、
前記ツリーの各階層における前記第１連結成分と文字パターンとの類似度を算出し、
前記類似度に基づいて前記ツリーの各階層における前記第１連結成分に対応する文字画像中から、第１文字画像を選択し、
前記第１文字画像の属性と共通の属性を有する前記第１連結成分を、第２文字画像として選択し、
選択した前記第１文字画像および前記第２文字画像をテキストパターンとして抽出する
ことを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
前記ツリーの所定数の階層間において、面積の差が所定量以内の前記第１連結成分を前記第１文字画像の探索対象として選択した後、前記探索対象の前記第１連結成分と文字パターンとを比較して前記類似度を算出し、
前記第１文字画像の並びの規則を算出し、
前記並びの規則に基づいて、前記第２文字画像が存在する領域の候補である候補文字領域を設定し、前記候補文字領域に重なり、かつ、前記第１文字画像の属性と共通の属性を有する前記第１連結成分を、前記第２文字画像として選択する
ことを特徴とする画像処理方法。
【請求項３】
請求項２に記載の画像処理方法において、
前記第２文字画像を選択する処理では、前記第１文字画像の探索対象として選択した前記第１連結成分に対応する階層と異なる階層の前記第１連結成分を探索して、前記第２文字画像を検出する
ことを特徴とする画像処理方法。
【請求項４】
請求項２または請求項３に記載の画像処理方法において、
前記第１連結成分を前記画像から前記複数の閾値毎に抽出する際に用いる２値化処理と異なる２値化手法を用いて前記画像を２値化し、２値化した一方の値を有する画素が連結した第２連結成分をさらに生成し、
前記第１文字画像の属性と共通の属性を有する前記第１連結成分が前記候補文字領域から検出されない場合、前記候補文字領域に重なり、かつ、前記第１文字画像の属性と共通の属性を有する前記第２連結成分を、前記第２文字画像として選択する
ことを特徴とする画像処理方法。
【請求項５】
請求項４に記載の画像処理方法において、
前記第１連結成分を前記画像から前記複数の閾値毎に抽出する際に用いる２値化処理では、前記画像に含まれる全ての画素で共通の閾値を用いて各画素を２値化し、
前記２値化手法では、画素毎に閾値を設定して各画素を２値化する
ことを特徴とする画像処理方法。
【請求項６】
請求項１に記載の画像処理方法において、
前記第１文字画像の属性と共通の属性を有する前記第１連結成分に対応する文字画像中から、前記第２文字画像を前記類似度に基づいて選択する
ことを特徴とする画像処理方法。
【請求項７】
請求項２または請求項３に記載の画像処理方法において、
前記候補文字領域に重なり、かつ、前記第１文字画像の属性と共通の属性を有する前記第１連結成分に対応する文字画像中から、前記第２文字画像を前記類似度に基づいて選択する
ことを特徴とする画像処理方法。
【請求項８】
請求項４または請求項５に記載の画像処理方法において、
前記候補文字領域に重なり、かつ、前記第１文字画像の属性と共通の属性を有する前記第１連結成分に対応する文字画像中から、前記第２文字画像を前記類似度に基づいて選択し、
前記第２連結成分から前記第２文字画像を選択する処理では、前記候補文字領域に重なり、かつ、前記第１文字画像の属性と共通の属性を有する前記第２連結成分と文字パターンとの類似度を第２類似度として算出し、前記第２類似度に基づいて、前記候補文字領域に重なり、かつ、前記第１文字画像の属性と共通の属性を有する前記第２連結成分に対応する文字画像中から、前記第２文字画像を選択する
ことを特徴とする画像処理方法。
【請求項９】
画像処理をコンピュータに実行させる画像処理プログラムにおいて、
画素の濃度に関する複数の閾値を用いて、画像を２値化し、前記複数の閾値毎に、２値化した一方の値を有する前記画像を構成する画素が連結した第１連結成分を前記画像から抽出し、
前記複数の閾値にそれぞれ対応する前記第１連結成分の包含関係を階層的に示すツリーを生成し、
前記ツリーの各階層における前記第１連結成分と文字パターンとの類似度を算出し、
前記類似度に基づいて前記ツリーの各階層における前記第１連結成分に対応する文字画像中から、第１文字画像を選択し、
前記第１文字画像の属性と共通の属性を有する前記第１連結成分を、第２文字画像として選択し、
選択した前記第１文字画像および前記第２文字画像をテキストパターンとして抽出する
ことを特徴とする画像処理プログラム。
【請求項１０】
画素の濃度に関する複数の閾値を用いて、画像を２値化し、前記複数の閾値毎に、２値化した一方の値を有する前記画像を構成する画素が連結した第１連結成分を前記画像から抽出する第１連結成分抽出部と、
前記複数の閾値にそれぞれ対応する前記第１連結成分の包含関係を階層的に示すツリーを生成するツリー生成部と、
前記ツリーの各階層における前記第１連結成分と文字パターンとの類似度を算出する文字認識部と、
前記類似度に基づいて前記ツリーの各階層における前記第１連結成分に対応する文字画像中から、第１文字画像を選択する第１選択部と、
前記第１文字画像の属性と共通の属性を有する前記第１連結成分を、第２文字画像として選択する第２選択部と、
選択した前記第１文字画像および前記第２文字画像をテキストパターンとして抽出するテキスト抽出部と
を有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理プログラムおよび画像処理装置に関する。
【背景技術】
【０００２】
画像に含まれる文字列を検出して抽出する様々な技術が提案されている。例えば、成分ツリーを用いてテキストを抽出する文字認識装置が提案されている(例えば、特許文献１、２参照)。成分ツリーは、画素の濃度値を閾値以上か否かで分けた２値化画像の要素を、閾値を変更したときの包含関係に基づいて関連付けたツリー状（階層構造）のグラフである。２値化画像の要素は、例えば、閾値以上の濃度値を有する画素が連結した連結成分である。以下、２値化画像の要素は、連結成分とも称される。テキストに含まれる文字は、例えば、濃度が互いに同じで、かつ、背景と濃度が異なる場合、成分ツリーの連結成分として抽出される。したがって、文字認識装置は、成分ツリーの各連結成分に対して文字認識等の処理を実行して、テキストを抽出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−２６２９０号公報
【特許文献２】特開２０１３−１７５０８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
文字の背景が複雑な背景である場合、文字とほぼ同じ輝度のノイズ（背景の一部）が文字に隣接して存在する場合がある。この場合、文字の他にノイズも、成分ツリーの要素の１つとして抽出される。この場合、ノイズを文字として誤検出するおそれがある。また、文字列の一部に影がかかっている状態で撮影された画像では、影がかかった影領域と影領域以外の領域とで輝度が異なり、影領域の文字を正確に認識できない場合がある。
【０００５】
１つの側面では、本件開示の画像処理方法、画像処理プログラムおよび画像処理装置は、画像に含まれる文字の抽出精度を向上させることにより、文字の認識率を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
一観点によれば、画像処理方法では、画素の濃度に関する複数の閾値を用いて、画像を２値化し、複数の閾値毎に、２値化した一方の値を有する画像を構成する画素が連結した第１連結成分を画像から抽出し、複数の閾値にそれぞれ対応する第１連結成分の包含関係を階層的に示すツリーを生成し、ツリーの各階層における第１連結成分と文字パターンとの類似度を算出し、類似度に基づいてツリーの各階層における第１連結成分に対応する文字画像中から、第１文字画像を選択し、第１文字画像の属性と共通の属性を有する第１連結成分を、第２文字画像として選択し、選択した第１文字画像および第２文字画像をテキストパターンとして抽出する。
【０００７】
別の観点によれば、画像処理プログラムは、画素の濃度に関する複数の閾値を用いて、画像を２値化し、複数の閾値毎に、２値化した一方の値を有する画像を構成する画素が連結した第１連結成分を画像から抽出し、複数の閾値にそれぞれ対応する第１連結成分の包含関係を階層的に示すツリーを生成し、ツリーの各階層における第１連結成分と文字パターンとの類似度を算出し、類似度に基づいてツリーの各階層における第１連結成分に対応する文字画像中から、第１文字画像を選択し、第１文字画像の属性と共通の属性を有する第１連結成分を、第２文字画像として選択し、選択した第１文字画像および第２文字画像をテキストパターンとして抽出する画像処理をコンピュータに実行させる。
【０００８】
別の観点によれば、画像処理装置は、画素の濃度に関する複数の閾値を用いて、画像を２値化し、複数の閾値毎に、２値化した一方の値を有する画像を構成する画素が連結した第１連結成分を画像から抽出する第１連結成分抽出部と、複数の閾値にそれぞれ対応する第１連結成分の包含関係を階層的に示すツリーを生成するツリー生成部と、ツリーの各階層における第１連結成分と文字パターンとの類似度を算出する文字認識部と、類似度に基づいてツリーの各階層における第１連結成分に対応する文字画像中から、第１文字画像を選択する第１選択部と、第１文字画像の属性と共通の属性を有する第１連結成分を、第２文字画像として選択する第２選択部と、選択した第１文字画像および第２文字画像をテキストパターンとして抽出するテキスト抽出部とを有する。
【発明の効果】
【０００９】
本件開示の画像処理方法、画像処理プログラムおよび画像処理装置は、画像に含まれる文字の抽出精度を向上させることにより、文字の認識率を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】画像処理方法、画像処理プログラムおよび画像処理装置の一実施形態を示す図である。
【図２】画像処理方法、画像処理プログラムおよび画像処理装置の別の実施形態を示す図である。
【図３】図２に示した画像処理装置により実行される処理の流れの一例を示す図である。
【図４】図２に示した画像処理装置の動作の一例を示す図である。
【図５】図４に示した候補文字の探索処理の一例を示す図である。
【図６】画像処理方法、画像処理プログラムおよび画像処理装置の別の実施形態を示す図である。
【図７】図６に示した局所的２値化部の動作の一例を示す図である。
【図８】図６に示した局所的２値化部により生成される連結成分の一例を示す図である。
【図９】図６に示した画像処理装置の動作の一例を示す図である。
【図１０】図９に示した候補文字の探索処理の一例を示す図である。
【図１１】画像処理方法、画像処理プログラムおよび画像処理装置の別の実施形態を示す図である。
【図１２】図１１に示した候補文字探索部の動作の一例を示す図である。
【図１３】画像処理方法、画像処理プログラムおよび画像処理装置の別の実施形態を示す図である。
【図１４】図１３に示した候補文字探索部の動作の一例を示す図である。
【図１５】画像処理プログラムを実行するハードウェアの一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、実施形態について、図面を用いて説明する。
【００１２】
図１は、画像処理方法、画像処理プログラムおよび画像処理装置の一実施形態を示す。なお、図１では、画像処理方法の一例として、画像処理装置１００により実行される処理の流れの概要を括弧内に示す。図１に示す画像処理装置１００は、画像ＩＭＧからテキストパターンＴＸＰを抽出し、抽出したテキストパターンＴＸＰを文字認識装置２００に出力する。文字認識装置２００は、画像処理装置１００から受けたテキストパターンＴＸＰに対して、文字認識の処理を実行する。これにより、テキストパターンＴＸＰに対応する文字が認識される。図１では、グレースケールの画像ＩＭＧを例にして画像処理装置１００の動作（すなわち、画像処理方法）を説明する。
【００１３】
図１に示す例では、画像ＩＭＧは、文字列”１２３４”のうちの文字列”３４”に影がかかった状態で撮影された画像であり、文字列”３４”の背景の濃度は、文字列”１２”の背景の濃度より濃く、文字列”１２”の濃度より薄い。また、文字列”３４”の背景は、文字列”１２”の濃度とほぼ等しい濃度の領域ＮＳ（ＮＳ１、ＮＳ２、ＮＳ３）を含む。すなわち、文字列”３４”の背景は、濃度が場所によって異なる複雑な背景である。以下、領域ＮＳは、ノイズＮＳとも称される。図１に示す例では、ノイズＮＳは、文字列“３４”に重なっている。なお、ノイズＮＳは、文字列“３４”に重ならずに、文字列“３４”に隣接する位置に存在する場合もある。
【００１４】
画像処理装置１００は、連結成分抽出部１１０と、ツリー生成部１２０と、文字認識部１３０と、第１選択部１４０と、第２選択部１５０と、テキスト抽出部１６０とを有する。なお、画像処理装置１００は、ハードウェアのみで実現されてもよく、画像処理プログラム等のソフトウェアによりハードウェアを制御することにより実現されてもよい。例えば、画像処理装置１００は、ＣＰＵ（Central Processing Unit）等のプロセッサを含むコンピュータが画像処理プログラムを実行することにより実現されてもよい。すなわち、連結成分抽出部１１０、ツリー生成部１２０、文字認識部１３０、第１選択部１４０、第２選択部１５０およびテキスト抽出部１６０は、プロセッサが画像処理プログラムを実行することにより実現されてもよい。
【００１５】
連結成分抽出部１１０は、画素の濃度を判別する複数の閾値ＴＨ（ＴＨ１、ＴＨ２、ＴＨ３、ＴＨ４、ＴＨ５）を用いて、画像ＩＭＧをそれぞれ２値化する。そして、連結成分抽出部１１０は、複数の閾値ＴＨ（ＴＨ１、ＴＨ２、ＴＨ３、ＴＨ４、ＴＨ５）毎に、２値化した一方の値を有する画素が連結した第１連結成分Ｃ（以下、連結成分Ｃとも称する）を画像ＩＭＧから抽出する。図１に示す例では、連結成分抽出部１１０は、閾値ＴＨ１を用いて、連結成分Ｃ１０を画像ＩＭＧから抽出し、閾値ＴＨ２を用いて、連結成分Ｃ２０、Ｃ２１、Ｃ２２を画像ＩＭＧから抽出する。また、連結成分抽出部１１０は、閾値ＴＨ３を用いて、連結成分Ｃ３０、Ｃ３１、Ｃ３２、Ｃ３３を画像ＩＭＧから抽出し、閾値ＴＨ４を用いて、連結成分Ｃ４０、Ｃ４１、Ｃ４２、Ｃ４３を画像ＩＭＧから抽出する。さらに、連結成分抽出部１１０は、閾値ＴＨ５を用いて、連結成分Ｃ５０、Ｃ５１を画像ＩＭＧから抽出する。
【００１６】
なお、閾値ＴＨ１は、閾値ＴＨ１、ＴＨ２、ＴＨ３、ＴＨ４、ＴＨ５の中で最も薄い濃度である。閾値ＴＨ２は、閾値ＴＨ１より濃い濃度であり、閾値ＴＨ３は、閾値ＴＨ２より濃い濃度である。また、閾値ＴＨ４は、閾値ＴＨ３より濃い濃度であり、閾値ＴＨ５は、閾値ＴＨ４より濃い濃度である。また、画像ＩＭＧ内の文字列”１２”の背景の濃度は、画像ＩＭＧ内で最も薄く、閾値ＴＨ１以上で閾値ＴＨ２未満である。画像ＩＭＧ内の文字列”３４”の背景の濃度は、閾値ＴＨ２以上で閾値ＴＨ３未満である。画像ＩＭＧ内の文字列”１２”およびノイズＮＳの濃度は、閾値ＴＨ４以上で閾値ＴＨ５未満であり、画像ＩＭＧ内の文字列”３４”の濃度は、閾値ＴＨ５以上である。
【００１７】
すなわち、画像ＩＭＧ内の文字列”１２３４”およびノイズＮＳの濃度は、閾値ＴＨ４以上であるため、閾値ＴＨ３より濃い。したがって、図１に示す例では、閾値ＴＨ３を用いて画像ＩＭＧから抽出した連結成分Ｃ３０、Ｃ３１、Ｃ３２、Ｃ３３は、閾値ＴＨ４を用いて画像ＩＭＧから抽出した連結成分Ｃ４０、Ｃ４１、Ｃ４２、Ｃ４３と同一（またはほぼ同一）である。
【００１８】
例えば、閾値ＴＨ３以上の濃度値を有する画素が連結した連結成分Ｃ３０、Ｃ３１、Ｃ３２、Ｃ３３のうち、連結成分Ｃ３０、Ｃ３１は、文字列”１２”の各文字を黒色にした画像を示す。連結成分Ｃ３２は、文字”３”およびノイズＮＳ１、ＮＳ２を黒色にした画像を示し、連結成分Ｃ３３は、文字”４”およびノイズＮＳ３を黒色にした画像を示す。
【００１９】
そして、閾値ＴＨ４以上の濃度値を有する画素が連結した連結成分Ｃ４０、Ｃ４１、Ｃ４２、Ｃ４３のうち、連結成分Ｃ４０、Ｃ４１は、文字列”１２”の各文字を黒色にした画像を示す。連結成分Ｃ４２は、文字”３”およびノイズＮＳ１、ＮＳ２を黒色にした画像を示し、連結成分Ｃ４３は、文字”４”およびノイズＮＳ３を黒色にした画像を示す。
【００２０】
なお、閾値ＴＨ１以上の濃度値を有する画素が連結した連結成分Ｃ１０は、画像ＩＭＧ全体を黒色にした画像を示す。閾値ＴＨ２以上の濃度値を有する画素が連結した連結成分Ｃ２０、Ｃ２１、Ｃ２２のうち、連結成分Ｃ２０、Ｃ２１は、文字列”１２”の各文字を黒色にした画像を示し、連結成分Ｃ２２は、文字列”３４”および文字列”３４”の背景を黒色にした画像を示す。また、閾値ＴＨ５以上の濃度値を有する画素が連結した連結成分Ｃ５０、Ｃ５１は、文字列”３４”の各文字を黒色にした画像を示す。
【００２１】
ツリー生成部１２０は、連結成分抽出部１１０により抽出された連結成分Ｃを参照する。そして、ツリー生成部１２０は、複数の閾値ＴＨにそれぞれ対応する連結成分Ｃの包含関係を階層的に示すツリーＣＴを生成する。例えば、ツリー生成部１２０は、各連結成分Ｃの画像ＩＭＧ内での位置および大きさを示す情報を連結成分抽出部１１０から受け、複数の閾値ＴＨにそれぞれ対応する連結成分Ｃの包含関係を、各連結成分Ｃの画像ＩＭＧ内での位置および大きさに基づいて調査する。なお、連結成分Ｃの大きさは、例えば、連結成分Ｃに外接する矩形の大きさである。
【００２２】
図１に示す例では、連結成分Ｃ１０は、連結成分Ｃ２０、Ｃ２１、Ｃ２２を包含する。連結成分Ｃ２０、Ｃ２１は、連結成分Ｃ３０、Ｃ３１をそれぞれ包含し、連結成分Ｃ２２は、連結成分Ｃ３２、Ｃ３３を包含する。連結成分Ｃ３０、Ｃ３１、Ｃ３２、Ｃ３３は、連結成分Ｃ４０、Ｃ４１、Ｃ４２、Ｃ４３をそれぞれ包含し、連結成分Ｃ４２、Ｃ４３は、連結成分Ｃ５０、Ｃ５１をそれぞれ包含する。
【００２３】
したがって、ツリー生成部１２０は、連結成分Ｃ１０を連結成分Ｃ２０、Ｃ２１、Ｃ２２に関連付けする。また、ツリー生成部１２０は、連結成分Ｃ２０、Ｃ２１を連結成分Ｃ３０、Ｃ３１にそれぞれ関連付けし、連結成分Ｃ２２を連結成分Ｃ３２、Ｃ３３に関連付けする。そして、ツリー生成部１２０は、連結成分Ｃ３０、Ｃ３１、Ｃ３２、Ｃ３４を連結成分Ｃ４０、Ｃ４１、Ｃ４２、Ｃ４３にそれぞれ関連付けし、連結成分Ｃ４２、Ｃ４３を連結成分Ｃ５０、Ｃ５１にそれぞれ関連付けする。これにより、連結成分Ｃ１０、Ｃ２０、Ｃ２１、Ｃ２２、Ｃ３０、Ｃ３１、Ｃ３２、Ｃ３３、Ｃ４０、Ｃ４１、Ｃ４２、Ｃ４３、Ｃ５０、Ｃ５１を複数の閾値ＴＨ１、ＴＨ２、ＴＨ３、ＴＨ４、ＴＨ５で階層化したツリーＣＴが生成される。このように、ツリー生成部１２０は、互いに異なる閾値ＴＨを用いて抽出された連結成分Ｃの間で、包含関係を有する連結成分Ｃを関連付けて、連結成分Ｃを複数の閾値ＴＨで階層化したツリーＣＴを生成する。
【００２４】
文字認識部１３０は、連結成分Ｃと文字パターンとの類似度を算出する。例えば、文字認識部１３０は、ツリー生成部１２０により生成されたツリーＣＴを参照し、ツリーＣＴの各階層（各閾値ＴＨ）における連結成分Ｃと文字パターンとを比較して類似度を算出する。なお、文字認識部１３０は、ツリーＣＴの中で閾値ＴＨを変化させたときの面積の変化量が所定量以内の連結成分Ｃ（例えば、連結成分Ｃ４０、Ｃ４１、Ｃ４２、Ｃ４３）を選択し、選択した連結成分Ｃと文字パターンとを比較して類似度を算出してもよい。この場合、ツリーＣＴ内の全ての連結成分Ｃと文字パターンとを比較する場合に比べて、文字パターンと比較する連結成分Ｃの数を少なくすることができる。
【００２５】
第１選択部１４０は、ツリーＣＴの各階層における連結成分Ｃに対応する文字画像中から、第１文字画像ＦＣを類似度に基づいて選択する。例えば、第１選択部１４０は、連結成分Ｃと文字パターンとの類似度を示す情報を文字認識部１３０から受ける。そして、第１選択部１４０は、類似度が予め設定された第１判定値以上の連結成分Ｃを第１文字画像ＦＣとして選択する。第１判定値は、固定値でもよいし、画像処理装置１００のユーザ等により可変に設定されてもよい。
【００２６】
図１に示す例では、類似度が第１判定値以上の連結成分Ｃは、連結成分Ｃ３０、Ｃ３１、Ｃ４０、Ｃ４１である。このため、第１選択部１４０は、連結成分Ｃ３０、Ｃ４０のいずれかと連結成分Ｃ３１、Ｃ４１のいずれかとを、第１文字画像ＦＣとして選択する。例えば、第１選択部１４０は、閾値ＴＨ３より濃い閾値ＴＨ４を用いて画像ＩＭＧから抽出された連結成分Ｃ４０、Ｃ４１を第１文字画像ＦＣとして選択する。そして、第１選択部１４０は、第１文字画像ＦＣ（連結成分Ｃ４０、Ｃ４１）の画像ＩＭＧ内での位置、サイズ、文字の線幅等を第１文字画像ＦＣの属性として算出する。
【００２７】
第２選択部１５０は、第１文字画像ＦＣの属性を示す情報を第１選択部１４０から受ける。そして、第２選択部１５０は、ツリーＣＴの各階層における第１文字画像ＦＣを除く連結成分Ｃのうち、第１文字画像ＦＣの属性と共通の属性を有する連結成分Ｃを、第２文字画像ＳＣとして選択する。例えば、第１文字画像ＦＣの属性と共通の属性を有する連結成分Ｃであるか否かが文字の線幅に基づいて判定される場合、第２選択部１５０は、第１文字画像ＦＣを除く連結成分Ｃの線幅（例えば、線幅の平均値）を算出する。そして、第２選択部１５０は、第１文字画像ＦＣの線幅との差が所定値以内の線幅である連結成分Ｃを、第１文字画像ＦＣの属性と共通の属性を有する連結成分Ｃと判定し、第２文字画像ＳＣとして選択する。
【００２８】
例えば、連結成分Ｃ４２、Ｃ４３では、ノイズＮＳが文字列“３４”に重なっているため、第１文字画像ＦＣの線幅と連結成分Ｃ４２、Ｃ４３の線幅との差は、所定値より大きい。連結成分Ｃ５０、Ｃ５１では、ノイズＮＳが含まれないため、第１文字画像ＦＣの線幅と連結成分Ｃ５０、Ｃ５１の線幅との差は、所定値以下である。このため、第２選択部１５０は、連結成分Ｃ４２、Ｃ４３を第２文字画像ＳＣとして選択せずに、連結成分Ｃ５０、Ｃ５１を第２文字画像ＳＣとして選択する。
【００２９】
このように、第２選択部１５０は、第１文字画像ＦＣの属性と同じまたは同様な属性を有する連結成分Ｃを、第２文字画像ＳＣとして選択する。これにより、背景が複雑である場合（ノイズＮＳを含む背景）でも、第１文字画像ＦＣの属性と異なる属性を有するノイズＮＳ等を排除した正しい文字列（連結成分Ｃ５０、Ｃ５１）を抽出することができる。
【００３０】
テキスト抽出部１６０は、第１選択部１４０により選択された第１文字画像ＦＣおよび第２選択部１５０により選択された第２文字画像ＳＣをテキストパターンＴＸＰとして抽出し、抽出したテキストパターンＴＸＰを文字認識装置２００に出力する。
【００３１】
このように、画像処理装置１００は、第１文字画像ＦＣの属性と異なる属性を有するノイズＮＳ等を排除した正しい文字列（連結成分Ｃ５０、Ｃ５１）を抽出できる。この結果、ノイズＮＳを含む連結成分Ｃ４２、Ｃ４３を有するテキストパターンＴＸＰを用いて文字認識の処理を実行する場合に比べて、文字の認識率を向上させることができる。
【００３２】
なお、画像処理装置１００の構成および動作は、図１に示す例に限定されない。例えば、画像処理装置１００は、カラー画像をグレースケールの画像ＩＭＧに変換する変換部を有してもよい。あるいは、画像処理装置１００は、文字認識装置２００を含んでもよい。また、連結成分抽出部１１０は、例えば、画像ＩＭＧ内の文字列の濃度が背景より薄い場合（文字が白色である場合等）、閾値ＴＨ以下の濃度値を有する画素が連結した連結成分Ｃを画像ＩＭＧから抽出してもよい。また、第１文字画像ＦＣの属性は、第２選択部１５０で算出されてもよい。あるいは、第２選択部１５０は、第１文字画像ＦＣの属性と共通の属性を有する連結成分Ｃに対応する文字画像中から、文字パターンとの類似度に基づいて、第２文字画像ＳＣを選択してもよい。例えば、第２選択部１５０は、第１文字画像ＦＣの属性と共通の属性を有する連結成分Ｃのうち、文字パターンとの類似度が所定の判定値以上の連結成分Ｃを、第２文字画像ＳＣとして選択してもよい。
【００３３】
以上、図１に示す実施形態では、第１選択部１４０は、文字パターンとの類似度が第１判定値以上の連結成分Ｃを第１文字画像ＦＣとして選択する。そして、第２選択部１５０は、ツリーＣＴの各階層における連結成分Ｃのうち、第１文字画像ＦＣの属性と共通の属性を有する連結成分Ｃを、第２文字画像ＳＣとして選択する。第１文字画像ＦＣの属性と異なる属性の連結成分Ｃ（Ｃ４２、Ｃ４３等）は、第２文字画像ＳＣとして選択されない。このため、背景が複雑である場合でも、ノイズＮＳ等を排除した正しい文字列（連結成分Ｃ５０、Ｃ５１）を抽出することができる。すなわち、画像ＩＭＧに含まれる文字の抽出精度を向上させることができ、文字の認識率を向上させることができる。
【００３４】
図２は、画像処理方法、画像処理プログラムおよび画像処理装置の別の実施形態を示す。図１で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図２に示す画像処理装置１０１は、画像ＩＭＧからテキストパターンＴＸＰを抽出し、抽出したテキストパターンＴＸＰを文字認識装置２００に出力する。なお、画像処理装置１０１は、ハードウェアのみで実現されてもよく、画像処理プログラム等のソフトウェアによりハードウェアを制御することにより実現されてもよい。例えば、画像処理装置１０１は、コンピュータが画像処理プログラムを実行することにより実現されてもよい。
【００３５】
画像処理装置１０１は、連結成分抽出部１１０と、ツリー生成部１２０と、文字候補抽出部１２２と、文字認識部１３０と、基準文字選択部１４２と、領域設定部１５２と、候補文字探索部１５４と、テキスト抽出部１６０とを有する。図２以降では、第１文字画像ＦＣおよび第２文字画像ＳＣは、基準文字ＦＣおよび候補文字ＳＣともそれぞれ称される。
【００３６】
連結成分抽出部１１０およびツリー生成部１２０は、図１に示した連結成分抽出部１１０およびツリー生成部１２０と同一または同様である。
【００３７】
文字候補抽出部１２２は、ツリー生成部１２０により生成されたツリーＣＴを参照し、ツリーＣＴの所定数の階層間において、面積の差が所定量以内の連結成分Ｃを基準文字ＦＣの探索対象として選択する。例えば、文字候補抽出部１２２は、ＭＳＥＲ（Maximally Stable Extremal Regions）等の領域検出方式を用いて、ツリーＣＴの中で閾値ＴＨを変化させたときの面積の変化量が所定量以内の連結成分Ｃを、基準文字ＦＣの探索対象として選択する。
【００３８】
文字認識部１３０は、例えば、基準文字ＦＣの探索対象を示す情報を文字候補抽出部１２２から受ける。そして、文字認識部１３０は、探索対象の連結成分Ｃと文字パターンとを比較し、探索対象の連結成分Ｃと文字パターンとの類似度を算出する。
【００３９】
基準文字選択部１４２は、第１選択部の一例であり、図１に示した第１選択部１４０と同一または同様である。例えば、基準文字選択部１４２は、連結成分Ｃと文字パターンとの類似度を示す情報を文字認識部１３０から受け、類似度が第１判定値以上の連結成分Ｃを第１文字画像ＦＣとして選択する。そして、基準文字選択部１４２は、基準文字ＦＣの画像ＩＭＧ内での位置、サイズ、文字の線幅等を基準文字ＦＣの属性として算出する。
【００４０】
領域設定部１５２は、基準文字ＦＣの属性を示す情報を基準文字選択部１４２から受け、基準文字ＦＣの並びの規則を算出する。そして、領域設定部１５２は、図３に示すように、基準文字ＦＣの並びの規則に基づいて、候補文字ＳＣが存在する領域の候補である候補文字領域ＡＲＣ（ＡＲＣ１、ＡＲＣ２）を設定する。
【００４１】
候補文字探索部１５４は、候補文字領域ＡＲＣの画像ＩＭＧ内での位置および大きさ等を示す情報および基準文字ＦＣの属性を示す情報を領域設定部１５２から受ける。そして、候補文字探索部１５４は、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃを、候補文字ＳＣとして選択する。なお、候補文字探索部１５４は、基準文字ＦＣの属性を示す情報を基準文字選択部１４２から受けてもよい。
【００４２】
テキスト抽出部１６０は、図１に示したテキスト抽出部１６０と同一または同様である。例えば、テキスト抽出部１６０は、基準文字選択部１４２により選択された基準文字ＦＣおよび候補文字探索部１５４により選択された候補文字ＳＣをテキストパターンＴＸＰとして抽出し、抽出したテキストパターンＴＸＰを文字認識装置２００に出力する。
【００４３】
なお、画像処理装置１０１の構成および動作は、図２に示す例に限定されない。例えば、画像処理装置１０１は、カラー画像をグレースケールの画像ＩＭＧに変換する変換部を有してもよい。あるいは、画像処理装置１０１は、文字認識装置２００を含んでもよい。また、基準文字ＦＣの属性は、領域設定部１５２等で算出されてもよい。あるいは、基準文字ＦＣの並びの規則は、基準文字選択部１４２で算出されてもよい。
【００４４】
図３は、図２に示した画像処理装置１０１により実行される処理の流れの一例を示す。なお、図３では、グラフカットと呼ばれる手法を用いてテキストパターンＴＸＰを抽出する例を比較例として括弧内に示す。閾値ＴＨ、画像ＩＭＧ内の文字列”１２３４”および背景の濃度等は、図１に示した例と同じである。なお、画像処理装置１０１により実行される処理の流れは、図３に示す例に限定されない。
【００４５】
先ず、連結成分抽出部１１０は、閾値ＴＨ１を用いて、連結成分Ｃ１０を画像ＩＭＧから抽出し、閾値ＴＨ２を用いて、連結成分Ｃ２０、Ｃ２１、Ｃ２２を画像ＩＭＧから抽出する。また、連結成分抽出部１１０は、閾値ＴＨ３を用いて、連結成分Ｃ３０、Ｃ３１、Ｃ３２、Ｃ３３を画像ＩＭＧから抽出し、閾値ＴＨ４を用いて、連結成分Ｃ４０、Ｃ４１、Ｃ４２、Ｃ４３を画像ＩＭＧから抽出する。さらに、連結成分抽出部１１０は、閾値ＴＨ５を用いて、連結成分Ｃ５０、Ｃ５１を画像ＩＭＧから抽出する。そして、ツリー生成部１２０は、連結成分Ｃ１０、Ｃ２０、Ｃ２１、Ｃ２２、Ｃ３０、Ｃ３１、Ｃ３２、Ｃ３３、Ｃ４０、Ｃ４１、Ｃ４２、Ｃ４３、Ｃ５０、Ｃ５１の包含関係を階層的に示すツリーＣＴを生成する。
【００４６】
文字候補抽出部１２２は、ツリーＣＴの所定数の階層間において、面積の差が所定量以内の連結成分Ｃ４０、Ｃ４１、Ｃ４２、Ｃ４３を基準文字ＦＣの探索対象として選択する。なお、所定量は、固定値でもよいし、画像処理装置１００のユーザ等により可変に設定されてもよい。
【００４７】
基準文字選択部１４２は、基準文字ＦＣの探索対象として選択された連結成分Ｃ４０、Ｃ４１、Ｃ４２、Ｃ４３のうち、連結成分Ｃと文字パターンとの類似度が第１判定値以上の連結成分Ｃ４０、Ｃ４１を基準文字ＦＣ１、ＦＣ２としてそれぞれ選択する。また、基準文字選択部１４２は、基準文字ＦＣ１の中心座標、基準文字ＦＣ２の中心座標および基準文字ＦＣ１、ＦＣ２の大きさ等を、基準文字ＦＣの属性として算出する。図３に示した文字”１”、”２”をそれぞれ囲む破線の矩形は、基準文字ＦＣ１、ＦＣ２の領域（大きさ）をそれぞれ示す。
【００４８】
領域設定部１５２は、基準文字ＦＣ１の中心座標、基準文字ＦＣ２の中心座標および基準文字ＦＣ１、ＦＣ２の大きさ等に基づいて、基準文字ＦＣ１、ＦＣ２の並びの規則を算出する。そして、領域設定部１５２は、基準文字ＦＣの大きさに合わせた大きさの候補文字領域ＡＲＣ１、ＡＲＣ２を、基準文字ＦＣ１、ＦＣ２の並びの規則に基づいて設定する。
【００４９】
例えば、領域設定部１５２は、候補文字領域ＡＲＣの大きさを、基準文字ＦＣ１、ＦＣ２の大きさの平均と同じまたはほぼ同じ大きさに決定する。そして、領域設定部１５２は、候補文字領域ＡＲＣを、画像ＩＭＧの端から端まで基準文字ＦＣ１、ＦＣ２の間隔と同じ間隔で配置し、基準文字ＦＣ１の中心と基準文字ＦＣ２の中心とを通過する線上に候補文字領域ＡＲＣの中心が重なるように、設定する。これにより、候補文字領域ＡＲＣ１、ＡＲＣ２が設定される。
【００５０】
なお、基準文字選択部１４２により選択された基準文字ＦＣが１つの場合、領域設定部１５２は、基準文字ＦＣの領域（図３に示した破線の矩形）を横方向に延在した範囲を、候補文字領域ＡＲＣに設定してもよい。あるいは、領域設定部１５２は、基準文字ＦＣの領域を縦方向に延在した範囲を候補文字領域ＡＲＣに設定してもよいし、基準文字ＦＣの領域を横方向に延在した範囲と基準文字ＦＣの領域を縦方向に延在した範囲との両方を候補文字領域ＡＲＣに設定してもよい。
【００５１】
候補文字探索部１５４は、候補文字領域ＡＲＣ１に重なる連結成分Ｃ４２、Ｃ５０のうち、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃ５０を、候補文字ＳＣ１として選択する。また、候補文字探索部１５４は、候補文字領域ＡＲＣ２に重なる連結成分Ｃ４３、Ｃ５１のうち、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃ５１を、候補文字ＳＣ２として選択する。
【００５２】
なお、図３に示す例では、連結成分Ｃ４２、Ｃ４３と文字パターンとの類似度が第１判定値未満であることは、基準文字ＦＣの選択時に判定されている。このため、候補文字探索部１５４は、基準文字ＦＣに対応する閾値ＴＨ４以下の閾値ＴＨ１−ＴＨ４に対応する連結成分Ｃを判定対象から除いてもよい。この場合、候補文字探索部１５４は、閾値ＴＨ５に対応する連結成分Ｃ５０、Ｃ５１が候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有するか否かを、判定する。図３に示す例では、上述したように、連結成分Ｃ５０、Ｃ５１は、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有するため、候補文字ＳＣ１、ＳＣ２としてそれぞれ選択される。
【００５３】
テキスト抽出部１６０は、基準文字ＦＣ１、ＦＣ２および候補文字ＳＣ１、ＳＣ２（すなわち、連結成分Ｃ４０、Ｃ４１、Ｃ５０、Ｃ５１）を、テキストパターンＴＸＰとして抽出する。
【００５４】
ここで、比較例（グラフカット）について説明する。比較例のツリーＣＴｅｘでは、各連結成分Ｃの文字認識距離に比例して増加するコストＤ（Ｄ２０、Ｄ２１、Ｄ２２、Ｄ３０、Ｄ３１、Ｄ３２、Ｄ３３、Ｄ４０、Ｄ４１、Ｄ４２、Ｄ４３、Ｄ５０、Ｄ５１）がツリーＣＴの階層間のエッジに与えられる。文字認識距離は、連結成分Ｃと文字パターンとの類似度が高くなるほど小さくなる。したがって、コストＤは、連結成分Ｃと文字パターンとの類似度が高くなるほど小さくなる。
【００５５】
また、比較例のツリーＣＴｅｘでは、同じ階層の連結成分Ｃを結ぶエッジ（以下隣接エッジとも称する）が追加され、所定の定数がコストＨとして隣接エッジに与えられる。隣接エッジは、画像ＩＭＧ内で所定の距離以下で互いに隣接する連結成分Ｃを結ぶ線である。図３に示す比較例では、図を見やすくするために、連結成分Ｃ４１、Ｃ４２間の隣接エッジに与えられたコストＨ４以外のコストＨの記載を省略している。
【００５６】
グラフカットでは、カットラインＣＵＴ（ＣＵＴ１、ＣＵＴ２）により切断されるエッジのコストＤ、Ｈの総和が小さくなるように、ツリーＣＴｅｘがソース側とシンク側とに分割される。そして、シンク側の連結成分Ｃのうち、カットラインＣＵＴに近い連結成分ＣがテキストパターンＴＸＰとして抽出される。
【００５７】
例えば、カットラインＣＵＴ１で切断されるエッジのコストＤ、Ｈの総和は、コストＤ４０、Ｄ４１、Ｄ４２、Ｄ４３の総和である。また、カットラインＣＵＴ１で切断されるエッジのコストＤ、Ｈの総和は、コストＤ４０、Ｄ４１、Ｈ４、Ｄ５０、Ｄ５１の総和である。したがって、図３に示した画像ＩＭＧからテキストパターンＴＸＰを抽出する場合でも、コストＤ４２とコストＤ４３との和がコストＨ４、Ｄ５０、Ｄ５１の総和より小さい場合、ツリーＣＴｅｘは、カットラインＣＵＴ１で分割される。この場合、ノイズＮＳを含む連結成分Ｃ４２、Ｃ４３がテキストパターンＴＸＰの一部として抽出されるため、文字の認識を誤るおそれがある。すなわち、グラフカットでは、互いに異なる階層の連結成分Ｃの類似度の差が小さい場合（すなわち、コストＤの階層間での差が小さい場合）、ノイズＮＳを含む連結成分Ｃを抽出するおそれがある。
【００５８】
これに対し、画像処理装置１０１は、上述したように、基準文字ＦＣの属性と異なる属性を有するノイズＮＳ等を排除した正しい文字列（連結成分Ｃ５０、Ｃ５１）を抽出できる。この場合、ノイズＮＳを含む連結成分Ｃ４２、Ｃ４３を有するテキストパターンＴＸＰを用いて文字認識の処理を実行する場合に比べて、文字の認識率を向上させることができる。
【００５９】
図４は、図２に示した画像処理装置１０１の動作の一例を示す。なお、画像処理装置１０１の動作は、図４に示す例に限定されない。図４に示す動作は、ハードウェアのみで実現されてもよく、画像処理プログラム等のソフトウェアによりハードウェアを制御することにより実現されてもよい。例えば、画像処理プログラム等のソフトウェアは、コンピュータに含まれるプロセッサに図４に示す動作を実行させてもよい。すなわち、コンピュータは、画像処理プログラムを読み取り、図４に示す動作を実行してもよい。図４に示す動作をコンピュータに実行させるプログラムは、画像処理プログラムの一態様である。
【００６０】
ステップＳ１００では、画像処理装置１０１は、図３で説明したように、連結成分Ｃを画像ＩＭＧから抽出し、抽出した連結成分Ｃの包含関係を階層的に示すツリーＣＴを生成する。ステップＳ１００の処理が実行された後、画像処理装置１０１の動作は、ステップＳ１５０に移る。
【００６１】
ステップＳ１５０では、画像処理装置１０１は、基準文字ＦＣの探索対象を決定する。例えば、画像処理装置１０１は、図３で説明したように、ツリーＣＴの所定数の階層間で面積の差が所定量以内の連結成分Ｃを基準文字ＦＣの探索対象として選択する。ステップＳ１５０の処理が実行された後、画像処理装置１０１の動作は、ステップＳ２００に移る。
【００６２】
ステップＳ２００では、画像処理装置１０１は、ステップＳ１５０で決定した探索対象の連結成分Ｃに対して、文字認識の処理を実行する。これにより、基準文字ＦＣの探索対象として選択された連結成分Ｃと文字パターンとの類似度が算出される。ステップＳ２００の処理が実行された後、画像処理装置１０１の動作は、ステップＳ２５０に移る。
【００６３】
ステップＳ２５０では、画像処理装置１０１は、ステップＳ１５０で決定した探索対象の連結成分Ｃを探索範囲にして、基準文字ＦＣの探索を実行する。例えば、画像処理装置１０１は、ステップＳ２００の文字認識の処理により算出した類似度が第１判定値以上の連結成分Ｃを探索対象の連結成分Ｃから検出した場合、検出した連結成分Ｃを基準文字ＦＣとして選択する。ステップＳ２５０の処理が実行された後、画像処理装置１０１の動作は、ステップＳ３００に移る。
【００６４】
ステップＳ３００では、画像処理装置１０１は、ステップＳ１５０で決定した探索対象に基準文字ＦＣが存在するか否かを判定する。基準文字ＦＣが存在する場合、画像処理装置１０１の動作は、ステップＳ３５０に移る。すなわち、画像処理装置１０１は、文字パターンとの類似度が第１判定値以上の連結成分ＣをステップＳ２５０の探索で検出した場合、ステップＳ３５０の処理を実行する。一方、基準文字ＦＣが存在しない場合、画像処理装置１０１は、テキストパターンを抽出する処理を終了する。すなわち、画像処理装置１０１は、文字パターンとの類似度が第１判定値以上の連結成分ＣをステップＳ２５０の探索で検出できなかった場合、テキストパターンを抽出する処理を終了する。
【００６５】
ステップＳ３５０では、画像処理装置１０１は、ステップＳ１５０で決定した探索対象の全ての連結成分Ｃが基準文字ＦＣであるか否かを判定する。探索対象の全ての連結成分Ｃが基準文字ＦＣである場合、画像処理装置１０１の動作は、ステップＳ６００に移る。すなわち、画像処理装置１０１は、ステップＳ２５０の探索で探索対象の全ての連結成分Ｃを基準文字ＦＣとして選択した場合、ステップＳ４００、Ｓ４５０、Ｓ５００、Ｓ５５０の処理をスキップして、ステップＳ６００の処理を実行する。
【００６６】
一方、探索対象の連結成分Ｃのいずれかが基準文字ＦＣでない場合、画像処理装置１０１の動作は、ステップＳ４００に移る。すなわち、画像処理装置１０１は、文字パターンとの類似度が第１判定値以上の連結成分Ｃと文字パターンとの類似度が第１判定値未満の連結成分Ｃとの両方が探索対象に存在することをステップＳ２５０の探索で検出した場合、ステップＳ４００の処理を実行する。
【００６７】
ステップＳ４００では、画像処理装置１０１は、基準文字ＦＣの属性を算出するとともに、候補文字領域ＡＲＣを設定する。例えば、画像処理装置１０１は、ステップＳ２５０の探索で検出した基準文字ＦＣの画像ＩＭＧ内での位置、サイズ、文字の線幅等を基準文字ＦＣの属性として算出する。そして、画像処理装置１０１は、図３で説明したように、基準文字ＦＣの並びの規則を算出し、算出した基準文字ＦＣの並びの規則に基づいて、候補文字領域ＡＲＣを設定する。ステップＳ４００の処理が実行された後、画像処理装置１０１の動作は、ステップＳ４５０に移る。
【００６８】
ステップＳ４５０では、画像処理装置１０１は、ステップＳ４００で設定した候補文字領域ＡＲＣから１つの候補文字領域ＡＲＣを選択する。ステップＳ４５０の処理が実行された後、画像処理装置１０１の動作は、ステップＳ５００に移る。
【００６９】
ステップＳ５００では、画像処理装置１０１は、候補文字の探索処理を実行する。候補文字の探索処理では、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃが候補文字ＳＣとして選択される。候補文字の探索処理の詳細は、図５で説明する。ステップＳ５００の処理が実行された後、画像処理装置１０１の動作は、ステップＳ５５０に移る。
【００７０】
ステップＳ５５０では、画像処理装置１０１は、ステップＳ４００で設定した候補文字領域ＡＲＣの中に、ステップＳ４５０で選択されていない候補文字領域ＡＲＣ（未選択の候補文字領域ＡＲＣ）が存在するか否かを判定する。未選択の候補文字領域ＡＲＣが存在する場合、画像処理装置１０１の動作は、ステップＳ４５０に戻る。なお、ステップＳ４００で設定した候補文字領域ＡＲＣのうち、ステップＳ５００の候補文字の探索処理に用いられた候補文字領域ＡＲＣ（ステップＳ４５０で既に選択された候補文字領域ＡＲＣ）は、ステップＳ４５０で実行される選択の対象から除外される。
【００７１】
一方、未選択の候補文字領域ＡＲＣが存在しない場合、画像処理装置１０１の動作は、ステップＳ６００に移る。すなわち、画像処理装置１０１は、ステップＳ４００で設定した候補文字領域ＡＲＣの全てに対してステップＳ５００の候補文字の探索処理を実行した後に、ステップＳ６００の処理を実行する。
【００７２】
ステップＳ６００では、画像処理装置１０１は、ステップＳ２５０の処理で選択した基準文字ＦＣとステップＳ５００の候補文字の探索処理で選択した候補文字ＳＣとを、テキストパターンＴＸＰとして抽出する。なお、候補文字ＳＣが選択されていない場合、基準文字ＦＣのみがテキストパターンＴＸＰとして抽出される。ステップＳ６００の処理の終了により、テキストパターンを抽出する処理は、終了する。
【００７３】
図５は、図４に示した候補文字の探索処理の一例を示す。図５に示す候補文字の探索処理は、図４に示したステップＳ４５０の処理が実行された後、図４に示したステップＳ５００の候補文字の探索処理として、画像処理装置１０１の候補文字探索部１５４により実行される。そして、図５に示す候補文字の探索処理が終了した後、画像処理装置１０１の動作は、図４に示したステップＳ５５０に移る。
【００７４】
ステップＳ５１２では、候補文字探索部１５４は、基準文字ＦＣに対応する閾値ＴＨの１つ下の閾値ＴＨ（ツリーＣＴにおける１つ下の階層の閾値ＴＨ）を、探索処理の対象の閾値ＴＨに設定する。図３に示した例では、基準文字ＦＣに対応する閾値ＴＨが閾値ＴＨ４であるため、閾値ＴＨ４の１つ下の閾値ＴＨは、閾値ＴＨ４より１段階濃い閾値ＴＨ５である。なお、閾値ＴＨ以下の濃度値を有する画素を連結した連結成分Ｃの包含関係を階層的に示すツリーＣＴでは、基準文字ＦＣに対応する閾値ＴＨの１つ下の閾値ＴＨは、基準文字ＦＣに対応する閾値ＴＨより１段階薄い閾値ＴＨである。
【００７５】
また、基準文字ＦＣに対応する閾値ＴＨがツリーＣＴにおいて最下層の閾値ＴＨである場合、候補文字探索部１５４は、基準文字ＦＣに対応する閾値ＴＨを対象の閾値ＴＨに設定してもよいし、対象の閾値ＴＨを設定せずに候補文字の探索処理を終了してもよい。ステップＳ５１２の処理が実行された後、候補文字探索部１５４の動作は、ステップＳ５１４に移る。
【００７６】
ステップＳ５１４では、候補文字探索部１５４は、対象の閾値ＴＨに対応する連結成分ＣがツリーＣＴに存在するか否かを判定する。対象の閾値ＴＨに対応する連結成分ＣがツリーＣＴに存在する場合、候補文字探索部１５４の動作は、ステップＳ５１６に移る。一方、対象の閾値ＴＨに対応する連結成分ＣがツリーＣＴに存在しない場合、候補文字の探索処理は、終了する。
【００７７】
ステップＳ５１６では、候補文字探索部１５４は、対象の閾値ＴＨに対応する連結成分Ｃを探索して、図４に示したステップＳ４５０で選択した候補文字領域ＡＲＣに重なる連結成分Ｃを検出する。なお、候補文字探索部１５４は、一部が候補文字領域ＡＲＣに重なる連結成分Ｃを、候補文字領域ＡＲＣに重なる連結成分Ｃとして検出してもよいし、全体が候補文字領域ＡＲＣに重なる連結成分Ｃを、候補文字領域ＡＲＣに重なる連結成分Ｃとして検出してもよい。あるいは、候補文字探索部１５４は、連結成分Ｃの大きさと候補文字領域ＡＲＣに重なる部分の大きさとの割合に応じて、候補文字領域ＡＲＣに重なる連結成分Ｃとして検出するか否かを決定してもよい。
【００７８】
基準文字ＦＣの並びの規則を満足しないノイズＮＳ等は、基準文字ＦＣ等の文字と同じ濃度でも、候補文字領域ＡＲＣに重ならない場合、ステップＳ５１６の処理により、テキストパターンＴＸＰの候補から排除される。したがって、文字の背景が複雑な場合でも、テキストパターンＴＸＰを正しく抽出することができる。ステップＳ５１６の処理が実行された後、候補文字探索部１５４の動作は、ステップＳ５１８に移る。
【００７９】
ステップＳ５１８では、候補文字探索部１５４は、対象の閾値ＴＨに対応する連結成分Ｃのいずれかが候補文字領域ＡＲＣに重なる連結成分Ｃであるか否かを判定する。すなわち、候補文字探索部１５４は、候補文字領域ＡＲＣに重なる連結成分ＣをステップＳ５１６の探索で検出したか否かを判定する。候補文字領域ＡＲＣに重なる連結成分Ｃが対象の閾値ＴＨに対応する連結成分Ｃから検出された場合、候補文字探索部１５４の動作は、ステップＳ５２０に移る。一方、候補文字領域ＡＲＣに重なる連結成分Ｃが対象の閾値ＴＨに対応する連結成分Ｃから検出されない場合、候補文字探索部１５４の動作は、ステップＳ５２４に移る。
【００８０】
ステップＳ５２０では、候補文字探索部１５４は、候補文字領域ＡＲＣに重なる連結成分Ｃの線幅を算出する。ステップＳ５２０の処理が実行された後、候補文字探索部１５４の動作は、ステップＳ５２２に移る。
【００８１】
ステップＳ５２２では、候補文字探索部１５４は、候補文字領域ＡＲＣに重なる連結成分Ｃの線幅（ステップＳ５２０で算出した線幅）が基準文字ＦＣの線幅（図４に示したステップＳ４００で算出された線幅）とほぼ同じか否かを判定する。例えば、候補文字探索部１５４は、候補文字領域ＡＲＣに重なる連結成分Ｃの線幅と基準文字ＦＣの線幅との差が所定値以内の場合、候補文字領域ＡＲＣに重なる連結成分Ｃの線幅が基準文字ＦＣの線幅とほぼ同じであると判定する。候補文字領域ＡＲＣに重なる連結成分Ｃの線幅が基準文字ＦＣの線幅とほぼ同じである場合、候補文字探索部１５４の動作は、ステップＳ５２８に移る。すなわち、候補文字領域ＡＲＣに重なる連結成分Ｃの線幅と基準文字ＦＣの線幅との差が所定値以内の場合、候補文字探索部１５４の動作は、ステップＳ５２８に移る。一方、候補文字領域ＡＲＣに重なる連結成分Ｃの線幅と基準文字ＦＣの線幅との差が所定値より大きい場合、候補文字探索部１５４の動作は、ステップＳ５２４に移る。
【００８２】
ステップＳ５２４では、候補文字探索部１５４は、対象の閾値ＴＨがツリーＣＴにおいて最下層の閾値ＴＨであるか否かを判定する。対象の閾値ＴＨがツリーＣＴにおいて最下層の閾値ＴＨである場合、候補文字の探索処理は、終了する。一方、対象の閾値ＴＨがツリーＣＴにおいて最下層の閾値ＴＨでない場合、候補文字探索部１５４の動作は、ステップＳ５２６に移る。
【００８３】
ステップＳ５２６では、候補文字探索部１５４は、対象の閾値ＴＨを１つ下の閾値ＴＨｐに変更する。ステップＳ５２６の処理が実行された後、候補文字探索部１５４の動作は、ステップＳ５１４に戻る。
【００８４】
ステップＳ５２８では、候補文字探索部１５４は、候補文字領域ＡＲＣに重なる連結成分Ｃを候補文字ＳＣとして選択する。これにより、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの線幅とほぼ同じ線幅の連結成分Ｃが、候補文字ＳＣとして選択される。なお、基準文字ＦＣの線幅は、基準文字ＦＣの属性である。したがって、基準文字ＦＣの線幅とほぼ同じ線幅の連結成分Ｃは、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃである。すなわち、候補文字探索部１５４は、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃを、候補文字ＳＣとして選択する。ステップＳ５２８の処理の終了により候補文字の探索処理が終了し、候補文字探索部１５４の動作は、図４に示したステップＳ５５０に移る。
【００８５】
このように、候補文字探索部１５４は、基準文字ＦＣの探索対象として選択した連結成分Ｃに対応する階層と異なる階層の連結成分Ｃを探索して、候補文字ＳＣを検出する。なお、候補文字の探索処理は、図５に示す例に限定されない。例えば、候補文字探索部１５４は、ツリーＴＣの全ての階層の連結成分Ｃを探索して、候補文字ＳＣを検出してもよい。
【００８６】
以上、図２から図５に示す実施形態においても、図１に示した実施形態と同様の効果を得ることができる。例えば、画像処理装置１０１は、文字パターンとの類似度が第１判定値以上の連結成分Ｃを基準文字ＦＣ（第１文字画像ＦＣ）として選択する。そして、画像処理装置１０１は、基準文字ＦＣの並びの規則に基づいて設定した候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃを、候補文字ＳＣ（第２文字画像ＳＣ）として選択する。
【００８７】
基準文字ＦＣの並びの規則を満足しない連結成分Ｃ、基準文字ＦＣの属性と異なる属性の連結成分Ｃ等は、候補文字ＳＣとして選択されない。このため、背景が複雑である場合でも、ノイズＮＳ等を排除した正しい文字列（連結成分Ｃ）を抽出することができる。すなわち、画像ＩＭＧに含まれる文字の抽出精度を向上させることができ、文字の認識率を向上させることができる。
【００８８】
図６は、画像処理方法、画像処理プログラムおよび画像処理装置の別の実施形態を示す。図６に示す画像処理装置１０２では、局所的２値化部１１２が図２に示した画像処理装置１０１に追加されている。また、画像処理装置１０２は、候補文字探索部１５５を図２に示した候補文字探索部１５４の代わりに有する。画像処理装置１０２のその他の構成および動作は、画像処理装置１０１と同一または同様である。図１から図５で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。
【００８９】
画像処理装置１０２は、画像ＩＭＧからテキストパターンＴＸＰを抽出し、抽出したテキストパターンＴＸＰを文字認識装置２００に出力する。なお、画像処理装置１０２は、ハードウェアのみで実現されてもよく、画像処理プログラム等のソフトウェアによりハードウェアを制御することにより実現されてもよい。例えば、画像処理装置１０２は、コンピュータが画像処理プログラムを実行することにより実現されてもよい。
【００９０】
画像処理装置１０２は、連結成分抽出部１１０と、局所的２値化部１１２と、ツリー生成部１２０と、文字候補抽出部１２２と、文字認識部１３０と、基準文字選択部１４２と、領域設定部１５２と、候補文字探索部１５５と、テキスト抽出部１６０とを有する。
【００９１】
局所的２値化部１１２は、画像ＩＭＧに含まれる画素毎に閾値ＴＨを設定して各画素を２値化する。これにより、画像ＩＭＧが２値化される。以下、局所的２値化部１１２により２値化された画像ＬＢＩＭＧは、局所的２値化画像ＬＢＩＭＧとも称される。局所的２値化画像ＬＢＩＭＧは、２値化した一方の値を有する画素が連結した第２連結成分ＣＬ（以下、連結成分ＣＬとも称する）を有する。
【００９２】
例えば、局所的２値化部１１２は、Ｎｉｂｌａｃｋと呼ばれる２値化手法を用いて、画素毎に閾値ＴＨを算出する。画像ＩＭＧの座標（ｘ，ｙ）の画素を２値化する際の閾値ＴＨは、座標（ｘ，ｙ）を中心としたＮ×Ｎのウインドウ内の画素値の平均ｍおよび標準偏差σと、定数ｋとを用いて、式（１）で表される。なお、式（１）の”＊”は、乗算を示している。
【００９３】
ＴＨ＝（ｍ−ｋ＊σ）    ・・・（１）
そして、局所的２値化部１１２は、式（１）で表される閾値ＴＨを用いて画像ＩＭＧを２値化し、２値化した一方の値を有する画素が連結した連結成分ＣＬを生成する。例えば、局所的２値化部１１２は、定数ｋ、ウインドウのサイズＮを変更して、複数の局所的２値化画像ＬＢＩＭＧを生成し、生成した複数の局所的２値化画像ＬＢＩＭＧを候補文字探索部１５５に出力する。
【００９４】
ここで、連結成分抽出部１１０により実行される２値化処理では、図３で説明したように、画像ＩＭＧに含まれる全ての画素で共通の閾値ＴＨを用いて各画素を２値化する。すなわち、局所的２値化部１１２により実行される２値化処理は、第１連結成分Ｃを画像ＩＭＧから複数の閾値ＴＨ毎に抽出する際に用いる２値化処理と異なる２値化手法の一例である。なお、局所的２値化部１１２は、Ｎｉｂｌａｃｋと異なる２値化手法を用いて、画像ＩＭＧの各画素を２値化してもよい。
【００９５】
候補文字探索部１５５は、候補文字領域ＡＲＣの画像ＩＭＧ内での位置および大きさ等を示す情報および基準文字ＦＣの属性を示す情報を領域設定部１５２から受ける。なお、候補文字探索部１５４は、基準文字ＦＣの属性を示す情報を基準文字選択部１４２から受けてもよい。また、候補文字探索部１５５は、複数の局所的２値化画像ＬＢＩＭＧを局所的２値化部１１２から受ける。そして、候補文字探索部１５５は、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃを、候補文字ＳＣとして選択する。
【００９６】
また、候補文字探索部１５５は、基準文字ＦＣの属性と共通の属性を有する第１連結成分Ｃが候補文字領域ＡＲＣから検出されない場合、局所的２値化画像ＬＢＩＭＧ内の第２連結成分ＣＬを探索する。そして、候補文字探索部１５５は、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する第２連結成分ＣＬを、候補文字ＳＣとして選択する。
【００９７】
テキスト抽出部１６０は、基準文字選択部１４２により選択された基準文字ＦＣおよび候補文字探索部１５５により選択された候補文字ＳＣをテキストパターンＴＸＰとして抽出し、抽出したテキストパターンＴＸＰを文字認識装置２００に出力する。なお、画像処理装置１０２の構成および動作は、図６に示す例に限定されない。例えば、局所的２値化部１１２により生成される局所的２値化画像ＬＢＩＭＧの数は１つでもよい。
【００９８】
図７は、図６に示した局所的２値化部１１２の動作の一例を示す。すなわち、図７は、局所的２値化画像ＬＢＩＭＧを生成する処理の一例を示す。なお、局所的２値化部１１２の動作は、図７に示す例に限定されない。
【００９９】
ステップＳ１１２では、局所的２値化部１１２は、パラメータＮ、ｋの値を設定する。ステップＳ１１２の処理が実行された後、局所的２値化部１１２の動作は、ステップＳ１１４に移る。
【０１００】
ステップＳ１１４では、局所的２値化部１１２は、２値化対象の画素の位置を示す座標（ｘ，ｙ）のｘとｙの両方をＮ／２に設定する。なお、図７に示す動作では、ｘは、画像ＩＭＧ内の横方向の位置を示し、ｙは、画像ＩＭＧ内の縦方向の位置を示す。ステップＳ１１４の処理が実行された後、局所的２値化部１１２の動作は、ステップＳ１１６に移る。
【０１０１】
ステップＳ１１６では、局所的２値化部１１２は、座標（ｘ，ｙ）を中心としたＮ×Ｎのウインドウ内の画素値の平均ｍおよび標準偏差σを算出する。ステップＳ１１６の処理が実行された後、局所的２値化部１１２の動作は、ステップＳ１１８に移る。
【０１０２】
ステップＳ１１８では、局所的２値化部１１２は、画像ＩＭＧの座標（ｘ，ｙ）の画素値が図６で説明した閾値ＴＨ”（ｍ−ｋ＊σ）”以下か否かを判定する。座標（ｘ，ｙ）の画素値が”（ｍ−ｋ＊σ）”以下である場合、局所的２値化部１１２の動作は、ステップＳ１２２に移る。一方、座標（ｘ，ｙ）の画素値が”（ｍ−ｋ＊σ）”より大きい場合、局所的２値化部１１２の動作は、ステップＳ１２０に移る。
【０１０３】
ステップＳ１２０では、局所的２値化部１１２は、局所的２値化画像ＬＢＩＭＧの座標（ｘ，ｙ）の画素値を”１”に設定する。すなわち、局所的２値化部１１２は、座標（ｘ，ｙ）の画素値が”（ｍ−ｋ＊σ）”より大きい場合、局所的２値化画像ＬＢＩＭＧの座標（ｘ，ｙ）の画素値を”１”に設定する。ステップＳ１２０の処理が実行された後、局所的２値化部１１２の動作は、ステップＳ１２４に移る。
【０１０４】
ステップＳ１２２では、局所的２値化部１１２は、局所的２値化画像ＬＢＩＭＧの座標（ｘ，ｙ）の画素値を”０”に設定する。すなわち、局所的２値化部１１２は、座標（ｘ，ｙ）の画素値が”（ｍ−ｋ＊σ）”以下である場合、局所的２値化画像ＬＢＩＭＧの座標（ｘ，ｙ）の画素値を”０”に設定する。ステップＳ１２２の処理が実行された後、局所的２値化部１１２の動作は、ステップＳ１２４に移る。
【０１０５】
ステップＳ１２４では、局所的２値化部１１２は、位置ｘが”画像の幅−Ｎ／２”未満か否かを判定する。位置ｘが”画像の幅−Ｎ／２”未満である場合、局所的２値化部１１２の動作は、ステップＳ１２６に移る。一方、位置ｘが”画像の幅−Ｎ／２”以上である場合、局所的２値化部１１２の動作は、ステップＳ１２８に移る。
【０１０６】
ステップＳ１２６では、局所的２値化部１１２は、位置ｘの値をインクリメントする（ｘ＝ｘ＋１）。ステップＳ１２６の処理が実行された後、局所的２値化部１１２の動作は、ステップＳ１１６に戻る。
【０１０７】
ステップＳ１２８では、局所的２値化部１１２は、位置ｙが”画像の高さ−Ｎ／２”未満か否かを判定する。位置ｙが”画像の高さ−Ｎ／２”未満である場合、局所的２値化部１１２の動作は、ステップＳ１３０に移る。一方、位置ｙが”画像の高さ−Ｎ／２”以上である場合、局所的２値化部１１２は、局所的２値化画像ＬＢＩＭＧを生成する処理を終了する。
【０１０８】
ステップＳ１３０では、局所的２値化部１１２は、位置ｙの値をインクリメント（ｘ＝ｘ＋１）するとともに、位置ｘの値をＮ／２に設定する。ステップＳ１３０の処理が実行された後、局所的２値化部１１２の動作は、ステップＳ１１６に戻る。
【０１０９】
図８は、図６に示した局所的２値化部１１２により生成される連結成分ＣＬの一例を示す。２値化処理の対象となる入力画像ＩＭＧ２は、数字の３を示す文字ＣＨ（ＣＨ１、ＣＨ２）を含む。文字ＣＨの一部分である部分ＣＨ１、ＣＨ２では、濃度が異なる。例えば、文字ＣＨの部分ＣＨ１の濃度は、背景ＢＧ（ＢＧ０、ＢＧ１、ＢＧ２、ＢＧ３、ＢＧ４、ＢＧ５）のうちの背景ＢＧ２の濃度と同じである。そして、文字ＣＨの部分ＣＨ２の濃度は、背景ＢＧのうちの最も濃い背景ＢＧ５より濃い。
【０１１０】
また、文字ＣＨの背景ＢＧの濃度は、画像ＩＭＧ２内の位置によって異なる。例えば、背景ＢＧ０の濃度は、背景ＢＧの中で最も薄く、背景ＢＧ１の濃度は、背景ＢＧ０の濃度より濃い。背景ＢＧ２の濃度は、背景ＢＧ１の濃度より濃く、背景ＢＧ３の濃度は、背景ＢＧ２の濃度より濃い。背景ＢＧ４の濃度は、背景ＢＧ３の濃度より濃く、背景ＢＧ５の濃度は、背景ＢＧ４の濃度より濃い。
【０１１１】
局所的２値化部１１２は、ウインドウのサイズＮ、定数ｋの値を適切に設定することにより、正しい文字ＣＨ（数字の３）に対応する連結成分ＣＬ１０（第２連結成分ＣＬ１０）を含む局所的２値化画像ＬＢＩＭＧ２を生成できる。なお、局所的２値化画像ＬＢＩＭＧ２は、文字ＣＨに対応する連結成分ＣＬ１０の他に、背景ＢＧ５に近い形の連結成分ＣＬ１２（第２連結成分ＣＬ１２）を含む。連結成分ＣＬ１２は、連結成分ＣＬ１０と分かれているため、候補文字領域ＡＲＣに重ならない場合、テキストパターンＴＸＰの候補から排除される。したがって、文字候補探索部１５５は、文字の背景ＢＧが複雑な場合でも、局所的２値化部１１２が生成した局所的２値化画像ＬＢＩＭＧ２を用いることにより、正しい文字ＣＨ（数字の３）に対応する連結成分ＣＬ１０を画像ＩＭＧ２から抽出できる。
【０１１２】
比較例は、１つの閾値ＴＨ（例えば、背景ＢＧ４の濃度と同じ濃度の閾値ＴＨ）を用いて画像ＩＭＧ２を２値化した２値化画像ＢＩＭＧ２を示す。２値化画像ＢＩＭＧ２は、文字ＣＨの部分ＣＨ２と背景ＢＧ４、ＢＧ５とを連結した連結成分Ｃｅｘを有する。文字ＣＨの部分ＣＨ１の濃度が背景ＢＧ２の濃度と同じであるため、比較例では、ツリーＣＴの各階層に対応する閾値ＴＨのいずれを用いても、文字ＣＨ（数字の３）を正しく抽出することができない。
【０１１３】
このように、一文字の中で濃度が変化する場合、文字の一部の濃度が背景の濃度とほぼ同じである場合等でも、局所的２値化部１１２により生成された局所的２値化画像ＬＢＩＭＧ２を用いることにより、正しい文字列（連結成分ＣＬ１０）を抽出することができる。この結果、画像ＩＭＧに含まれる文字の抽出精度を向上させることができ、文字の認識率を向上させることができる。
【０１１４】
図９は、図６に示した画像処理装置１０２の動作の一例を示す。なお、画像処理装置１０２の動作は、図９に示す例に限定されない。図９に示す動作は、ハードウェアのみで実現されてもよく、画像処理プログラム等のソフトウェアによりハードウェアを制御することにより実現されてもよい。例えば、画像処理プログラム等のソフトウェアは、コンピュータに含まれるプロセッサに図９に示す動作を実行させてもよい。すなわち、コンピュータは、画像処理プログラムを読み取り、図９に示す動作を実行してもよい。図９に示す動作をコンピュータに実行させるプログラムは、画像処理プログラムの一態様である。
【０１１５】
図９に示す動作では、ステップＳ１００、Ｓ１５０、Ｓ２００、Ｓ２５０、Ｓ３００、Ｓ３５０およびＳ４００等の処理と並行に実行される複数のステップＳ１１０（Ｓ１１０（１）、・・・、Ｓ１１０（ｎ））の処理が図４に示した動作に追加されている。また、図９に示す動作では、図４に示したステップＳ５００の処理の代わりに、ステップＳ５００ａの処理が実行される。図９に示す動作のその他のステップＳは、図４に示した動作と同一または同様である。図４で説明したステップＳと同一または同様のステップＳについては、同一または同様の符号を付し、これ等については、詳細な説明を省略する。
【０１１６】
複数のステップＳ１１０（Ｓ１１０（１）、・・・、Ｓ１１０（ｎ））は、図７に示した動作であり、パラメータＮ、ｋの値を除いて、互いに同じである。例えば、複数のステップＳ１１０では、画像処理装置１０２は、ステップＳ１１０毎に異なるパラメータＮ、ｋを用いて、図７に示した動作（ステップＳ１１２−Ｓ１３０）を実行し、複数の局所的２値化画像ＬＢＩＭＧを生成する。なお、複数のステップＳ１１０は、互いに並列に実行されてもよいし、順次に実行されてもよい。ステップＳ１１０の処理およびステップＳ４５０の処理が実行された後、画像処理装置１０２の動作は、ステップＳ５００ａに移る。
【０１１７】
ステップＳ５００ａでは、画像処理装置１０２は、ステップＳ１００の処理で生成したツリーＴＣと複数のステップＳ１１０の処理で生成した複数の局所的２値化画像ＬＢＩＭＧとを用いて、候補文字の探索処理を実行する。ステップＳ５００ａで実行される候補文字の探索処理の詳細は、図１０で説明する。
【０１１８】
図１０は、図９に示した候補文字の探索処理の一例を示す。図１０に示す候補文字の探索処理は、画像処理装置１０２の候補文字探索部１５５により実行される。そして、図１０に示す候補文字の探索処理が終了した後、画像処理装置１０２の動作は、図９に示したステップＳ５５０に移る。
【０１１９】
ステップＳ５１０では、候補文字探索部１５５は、候補文字の探索処理（１）を実行する。候補文字の探索処理（１）は、図５に示した候補文字の探索処理（ステップＳ５１２−Ｓ５２８）である。ステップＳ５１０の処理が実行された後、候補文字探索部１５５の動作は、ステップＳ５３０に移る。
【０１２０】
ステップＳ５３０では、候補文字探索部１５５は、ステップＳ５１０の候補文字の探索処理（１）で候補文字ＳＣを選択したか否かを判定する。候補文字ＳＣが選択された場合、候補文字の探索処理は、終了する。一方、候補文字ＳＣが選択されていない場合、候補文字探索部１５４の動作は、ステップＳ５３２に移る。
【０１２１】
ステップＳ５３２では、候補文字探索部１５５は、複数の局所的２値化画像ＬＢＩＭＧのうち、探索処理の対象の局所的２値化画像ＬＢＩＭＧを探索して、図９に示したステップＳ４５０で選択した候補文字領域ＡＲＣに重なる連結成分ＣＬを検出する。なお、候補文字探索部１５５は、一部が候補文字領域ＡＲＣに重なる連結成分ＣＬを、候補文字領域ＡＲＣに重なる連結成分ＣＬとして検出してもよい。あるいは、候補文字探索部１５５は、全体が候補文字領域ＡＲＣに重なる連結成分ＣＬを、候補文字領域ＡＲＣに重なる連結成分ＣＬとして検出してもよい。また、候補文字探索部１５５は、連結成分ＣＬの大きさと候補文字領域ＡＲＣに重なる部分の大きさとの割合に応じて、候補文字領域ＡＲＣに重なる連結成分ＣＬとして検出するか否かを決定してもよい。
【０１２２】
基準文字ＦＣの並びの規則を満足しないノイズＮＳ等は、基準文字ＦＣ等の文字と同じ濃度でも、候補文字領域ＡＲＣに重ならない場合、ステップＳ５３２の処理により、テキストパターンＴＸＰの候補から排除される。したがって、文字の背景が複雑な場合でも、テキストパターンＴＸＰを正しく抽出することができる。ステップＳ５３２の処理が実行された後、候補文字探索部１５５の動作は、ステップＳ５３４に移る。
【０１２３】
ステップＳ５３４では、候補文字探索部１５５は、候補文字領域ＡＲＣに重なる連結成分ＣＬが対象の局所的２値化画像ＬＢＩＭＧ内に存在するか否かを判定する。すなわち、候補文字探索部１５５は、候補文字領域ＡＲＣに重なる連結成分ＣをステップＳ５３２の探索で検出したか否かを判定する。候補文字領域ＡＲＣに重なる連結成分ＣＬが対象の局所的２値化画像ＬＢＩＭＧ内に存在する場合、候補文字探索部１５５の動作は、ステップＳ５３６に移る。一方、候補文字領域ＡＲＣに重なる連結成分Ｃが対象の局所的２値化画像ＬＢＩＭＧ内に無い場合、候補文字探索部１５５の動作は、ステップＳ５４０に移る。
【０１２４】
ステップＳ５３６では、候補文字探索部１５５は、候補文字領域ＡＲＣに重なる連結成分ＣＬの線幅を算出する。ステップＳ５３６の処理が実行された後、候補文字探索部１５５の動作は、ステップＳ５３８に移る。
【０１２５】
ステップＳ５３８では、候補文字探索部１５５は、候補文字領域ＡＲＣに重なる連結成分ＣＬの線幅（ステップＳ５３６で算出した線幅）が基準文字ＦＣの線幅（図９に示したステップＳ４００で算出された線幅）とほぼ同じか否かを判定する。例えば、候補文字探索部１５５は、候補文字領域ＡＲＣに重なる連結成分ＣＬの線幅と基準文字ＦＣの線幅との差が所定値以内の場合、候補文字領域ＡＲＣに重なる連結成分ＣＬの線幅が基準文字ＦＣの線幅とほぼ同じであると判定する。候補文字領域ＡＲＣに重なる連結成分ＣＬの線幅が基準文字ＦＣの線幅とほぼ同じである場合、候補文字探索部１５５の動作は、ステップＳ５４４に移る。すなわち、候補文字領域ＡＲＣに重なる連結成分ＣＬの線幅と基準文字ＦＣの線幅との差が所定値以内の場合、候補文字探索部１５５の動作は、ステップＳ５４４に移る。一方、候補文字領域ＡＲＣに重なる連結成分ＣＬの線幅と基準文字ＦＣの線幅との差が所定値より大きい場合、候補文字探索部１５５の動作は、ステップＳ５４０に移る。
【０１２６】
ステップＳ５４０では、候補文字探索部１５５は、候補文字ＳＣの探索が実行されていない別の局所的２値化画像ＬＢＩＭＧが存在するか否かを判定する。すなわち、候補文字探索部１５５は、複数の局所的２値化画像ＬＢＩＭＧの全てを探索したか否かを判定する。別の局所的２値化画像ＬＢＩＭＧが存在する場合、候補文字探索部１５５の動作は、ステップＳ５４２に移る。一方、別の局所的２値化画像ＬＢＩＭＧが無い場合、候補文字の探索処理は、終了する。
【０１２７】
ステップＳ５４２では、候補文字探索部１５５は、対象の局所的２値化画像ＬＢＩＭＧを別の局所的２値化画像ＬＢＩＭＧに変更する。ステップＳ５４２の処理が実行された後、候補文字探索部１５５の動作は、ステップＳ５３２に戻る。
【０１２８】
ステップＳ５４４では、候補文字探索部１５５は、候補文字領域ＡＲＣに重なる連結成分ＣＬを候補文字ＳＣとして選択する。これにより、例えば、基準文字ＦＣの属性と共通の属性を有する第１連結成分Ｃが候補文字領域ＡＲＣから検出されない場合でも、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する第２連結成分ＣＬが、候補文字ＳＣとして選択される。ステップＳ５４４の処理の終了により候補文字の探索処理が終了し、候補文字探索部１５５の動作は、図９に示したステップＳ５５０に移る。
【０１２９】
なお、候補文字の探索処理は、図１０に示す例に限定されない。例えば、候補文字探索部１５５は、ステップＳ５３０の処理を省いてもよい。この場合、候補文字探索部１５５は、ステップＳ５３２−Ｓ５４４の処理とステップＳ５１０の処理とを並列に実行してもよい。ステップＳ５３０の処理を省いた場合、ステップＳ５１０の処理で候補文字ＳＣが選択されたか否かに拘わらず、ステップＳ５３２等の局所的２値化画像ＬＢＩＭＧを用いた探索処理が実行される。したがって、ステップＳ５１０の処理とステップＳ５４４の処理との両方で候補文字ＳＣが選択された場合、候補文字探索部１５５は、線幅が基準文字ＦＣの線幅に近い方の候補文字ＳＣを、テキストパターンＴＸＰの一部として選択する。
【０１３０】
以上、図６から図１０に示す実施形態においても、図２から図５に示した実施形態と同様の効果を得ることができる。例えば、画像処理装置１０２は、連結成分Ｃの包含関係を階層化したツリーＴＣを探索して基準文字ＦＣ（第１文字画像ＦＣ）を選択した後、基準文字ＦＣの並びの規則に基づいて候補文字領域ＡＲＣを設定する。そして、画像処理装置１０２は、ツリーＴＣを探索し、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃを候補文字ＳＣ（第２文字画像ＳＣ）として選択する。
【０１３１】
基準文字ＦＣの並びの規則を満足しない連結成分Ｃ、基準文字ＦＣの属性と異なる属性の連結成分Ｃ等は、候補文字ＳＣとして選択されない。このため、背景が複雑である場合でも、ノイズＮＳ等を排除した正しい文字列（連結成分Ｃ）を抽出することができる。すなわち、画像ＩＭＧに含まれる文字の抽出精度を向上させることができ、文字の認識率を向上させることができる。
【０１３２】
また、画像処理装置１０２は、基準文字ＦＣの属性と共通の属性を有する第１連結成分Ｃを候補文字領域ＡＲＣから検出できない場合、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する第２連結成分ＣＬを候補文字ＳＣとして選択する。これにより、一文字の中で濃度が変化する場合、文字の一部の濃度が背景の濃度とほぼ同じである場合等でも、正しい文字列（連結成分ＣＬ）を抽出することができる。この結果、画像ＩＭＧに含まれる文字の抽出精度を向上させることができ、文字の認識率を向上させることができる。
【０１３３】
図１１は、画像処理方法、画像処理プログラムおよび画像処理装置の別の実施形態を示す。図１１に示す画像処理装置１０１Ａは、候補文字探索部１５４Ａを図２に示した候補文字探索部１５４の代わりに有する。画像処理装置１０１Ａのその他の構成および動作は、画像処理装置１０１と同一または同様である。図１から図１０で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。
【０１３４】
画像処理装置１０１Ａは、画像ＩＭＧからテキストパターンＴＸＰを抽出し、抽出したテキストパターンＴＸＰを文字認識装置２００に出力する。なお、画像処理装置１０１Ａは、ハードウェアのみで実現されてもよく、画像処理プログラム等のソフトウェアによりハードウェアを制御することにより実現されてもよい。例えば、画像処理装置１０１Ａは、コンピュータが画像処理プログラムを実行することにより実現されてもよい。
【０１３５】
画像処理装置１０１Ａは、連結成分抽出部１１０と、ツリー生成部１２０と、文字候補抽出部１２２と、文字認識部１３０と、基準文字選択部１４２と、領域設定部１５２と、候補文字探索部１５４Ａと、テキスト抽出部１６０とを有する。
【０１３６】
候補文字探索部１５４Ａは、候補文字領域ＡＲＣの画像ＩＭＧ内での位置および大きさ等を示す情報および基準文字ＦＣの属性を示す情報を領域設定部１５２から受ける。また、候補文字探索部１５４Ａは、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃに対して、文字認識の処理を実行する。これにより、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃと文字パターンとの類似度が算出される。そして、候補文字探索部１５４Ａは、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃに対応する文字画像中から、候補文字ＳＣを類似度に基づいて選択する。例えば、候補文字探索部１５４Ａは、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃのうち、類似度が第２判定値以上の連結成分Ｃを、候補文字ＳＣとして選択する。
【０１３７】
第２判定値は、固定値でもよいし、画像処理装置１０１Ａのユーザ等により可変に設定されてもよい。また、第２判定値は、基準文字選択部１４２で使用される第１判定値と同じ値でもよいし、第１判定値と異なる値でもよい。例えば、第２判定値は、第１判定値より小さい値でもよい。
【０１３８】
なお、画像処理装置１０１Ａの動作は、図４に示したステップＳ５００の候補文字の探索処理として、図１２に示す処理が実行されることを除いて、図４に示した動作と同一または同様である。
【０１３９】
画像処理装置１０１Ａの構成および動作は、図１１に示す例に限定されない。例えば、候補文字探索部１５４Ａは、基準文字ＦＣの属性を示す情報を基準文字選択部１４２から受けてもよい。また、候補文字探索部１５４Ａは、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃに対する文字認識の処理を、文字認識部１３０に実行させてもよい。
【０１４０】
図１２は、図１１に示した候補文字探索部１５４Ａの動作の一例を示す。なお、図１２は、候補文字探索部１５４Ａにより実行される候補文字の探索処理を示す。例えば、図１２に示す候補文字の探索処理は、図４に示したステップＳ４５０の処理が実行された後、図４に示したステップＳ５００の候補文字の探索処理として、画像処理装置１０１Ａの候補文字探索部１５４Ａにより実行される。そして、図１２に示す候補文字の探索処理が終了した後、画像処理装置１０１Ａの動作は、図４に示したステップＳ５５０に移る。
【０１４１】
図１２に示す動作では、ステップＳ５２３ａ、Ｓ５２３ｂの処理が図５に示した動作に追加されている。図１２に示す動作のその他のステップＳは、図５に示した動作と同一または同様である。図５で説明したステップＳと同一または同様のステップＳについては、同一または同様の符号を付し、これ等については、詳細な説明を省略する。
【０１４２】
ステップＳ５２３ａの処理は、候補文字領域ＡＲＣに重なる連結成分Ｃの線幅が基準文字ＦＣの線幅とほぼ同じである場合、実行される。例えば、ステップＳ５２２の判定により、候補文字領域ＡＲＣに重なる連結成分Ｃの線幅と基準文字ＦＣの線幅との差が所定値以内であると判定された場合、候補文字探索部１５４Ａの動作は、ステップＳ５２３ａに移る。一方、候補文字領域ＡＲＣに重なる連結成分Ｃの線幅と基準文字ＦＣの線幅との差が所定値より大きい場合、候補文字探索部１５４Ａの動作は、ステップＳ５２４に移る。
【０１４３】
ステップＳ５２３ａでは、候補文字探索部１５４Ａは、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃに対して、文字認識の処理を実行する。これにより、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃと文字パターンとの類似度が算出される。ステップＳ５２３ａの処理が実行された後、候補文字探索部１５４Ａの動作は、ステップＳ５２３ｂに移る。
【０１４４】
ステップＳ５２３ｂでは、候補文字探索部１５４Ａは、ステップＳ５２３ａの文字認識の処理で算出した類似度が第２判定値以上であるか否かを判定する。すなわち、候補文字探索部１５４Ａは、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃと文字パターンとの類似度が第２判定値以上であるか否かを判定する。類似度が第２判定値以上である場合、候補文字探索部１５４Ａの動作は、ステップＳ５２８に移る。一方、類似度が第２判定値未満である場合、候補文字探索部１５４Ａの動作は、ステップＳ５２４に移る。
【０１４５】
このように、候補文字探索部１５４Ａは、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃのうち、類似度が第２判定値以上の連結成分Ｃを、候補文字ＳＣとして選択する。なお、候補文字探索部１５４Ａの動作は、図１２に示す例に限定されない。
【０１４６】
以上、図１１から図１２に示す実施形態においても、図２から図５に示した実施形態と同様の効果を得ることができる。例えば、画像処理装置１０１Ａは、連結成分Ｃの包含関係を階層化したツリーＴＣを探索して基準文字ＦＣ（第１文字画像ＦＣ）を選択した後、基準文字ＦＣの並びの規則に基づいて候補文字領域ＡＲＣを設定する。そして、画像処理装置１０１Ａは、ツリーＴＣを探索し、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃのうち、文字パターンとの類似度が第２判定値以上の連結成分Ｃを候補文字ＳＣとして選択する。
【０１４７】
基準文字ＦＣの並びの規則を満足しない連結成分Ｃ、基準文字ＦＣの属性と異なる属性の連結成分Ｃ、文字パターンとの類似度が第２判定値未満の連結成分Ｃ等は、候補文字ＳＣとして選択されない。このため、背景が複雑である場合でも、ノイズＮＳ等を排除した正しい文字列（連結成分Ｃ）を抽出することができる。すなわち、画像ＩＭＧに含まれる文字の抽出精度を向上させることができ、文字の認識率を向上させることができる。
【０１４８】
図１３は、画像処理方法、画像処理プログラムおよび画像処理装置の別の実施形態を示す。図１３に示す画像処理装置１０２Ａは、候補文字探索部１５５Ａを図６に示した候補文字探索部１５５の代わりに有する。画像処理装置１０２Ａのその他の構成および動作は、画像処理装置１０２と同一または同様である。図１から図１２で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。
【０１４９】
画像処理装置１０２Ａは、画像ＩＭＧからテキストパターンＴＸＰを抽出し、抽出したテキストパターンＴＸＰを文字認識装置２００に出力する。なお、画像処理装置１０２Ａは、ハードウェアのみで実現されてもよく、画像処理プログラム等のソフトウェアによりハードウェアを制御することにより実現されてもよい。例えば、画像処理装置１０２Ａは、コンピュータが画像処理プログラムを実行することにより実現されてもよい。
【０１５０】
画像処理装置１０２Ａは、連結成分抽出部１１０と、局所的２値化部１１２と、ツリー生成部１２０と、文字候補抽出部１２２と、文字認識部１３０と、基準文字選択部１４２と、領域設定部１５２と、候補文字探索部１５５Ａと、テキスト抽出部１６０とを有する。
【０１５１】
候補文字探索部１５５Ａは、候補文字領域ＡＲＣの画像ＩＭＧ内での位置および大きさ等を示す情報および基準文字ＦＣの属性を示す情報を領域設定部１５２から受ける。また、候補文字探索部１５５Ａは、複数の局所的２値化画像ＬＢＩＭＧを局所的２値化部１１２から受ける。
【０１５２】
そして、候補文字探索部１５５Ａは、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃに対して、文字認識の処理を実行する。これにより、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃと文字パターンとの類似度が算出される。そして、候補文字探索部１５５Ａは、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃに対応する文字画像中から、候補文字ＳＣを類似度に基づいて選択する。例えば、候補文字探索部１５５Ａは、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃのうち、類似度が第２判定値以上の連結成分Ｃを、候補文字ＳＣとして選択する。
【０１５３】
また、候補文字探索部１５５Ａは、連結成分Ｃの包含関係を示すツリーＴＣから候補文字ＳＣが検出されない場合、少なくとも１つの局所的２値化画像ＬＢＩＭＧを探索して、候補文字ＳＣを検出する。例えば、候補文字探索部１５５Ａは、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分ＣＬ（第２連結成分ＣＬ）に対して、文字認識の処理を実行する。これにより、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分ＣＬと文字パターンとの類似度が算出される。そして、候補文字探索部１５５Ａは、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分ＣＬに対応する文字画像中から、候補文字ＳＣを類似度に基づいて選択する。例えば、候補文字探索部１５５Ａは、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分ＣＬのうち、類似度が第３判定値以上の連結成分Ｃを、候補文字ＳＣとして選択する。
【０１５４】
第３判定値は、固定値でもよいし、画像処理装置１０２Ａのユーザ等により可変に設定されてもよい。また、第３判定値は、基準文字選択部１４２で使用される第１判定値と同じ値でもよいし、第１判定値と異なる値でもよい。例えば、第３判定値は、第１判定値より小さい値でもよい。また、第３判定値は、第２判定値と同じ値でもよいし、第２判定値と異なる値でもよい。
【０１５５】
なお、画像処理装置１０２Ａの動作は、図９に示したステップＳ５００ａの候補文字の探索処理として、図１４に示す処理が実行されることを除いて、図９に示した動作と同一または同様である。
【０１５６】
画像処理装置１０２Ａの構成および動作は、図１３に示す例に限定されない。例えば、候補文字探索部１５５Ａは、基準文字ＦＣの属性を示す情報を基準文字選択部１４２から受けてもよい。また、候補文字探索部１５５Ａは、連結成分Ｃ、ＣＬに対する文字認識の処理を、文字認識部１３０に実行させてもよい。
【０１５７】
図１４は、図１３に示した候補文字探索部１５５Ａの動作の一例を示す。なお、図１４は、候補文字探索部１５５Ａにより実行される候補文字の探索処理を示す。例えば、図１４に示す候補文字の探索処理は、図９に示したステップＳ４５０の処理が実行された後、図９に示したステップＳ５００ａの候補文字の探索処理として、画像処理装置１０２Ａの候補文字探索部１５５Ａにより実行される。そして、図１４に示す候補文字の探索処理が終了した後、画像処理装置１０２Ａの動作は、図９に示したステップＳ５５０に移る。
【０１５８】
図１４に示す動作では、ステップＳ５１０ａの候補文字の探索処理（２）が図１０に示したステップＳ５１０の候補文字の探索処理（１）の代わりに実行され、ステップＳ５３９ａ、Ｓ５３９ｂの処理が図１０に示した動作に追加されている。図１４に示す動作のその他のステップＳは、図１０に示した動作と同一または同様である。図１０で説明したステップＳと同一または同様のステップＳについては、同一または同様の符号を付し、これ等については、詳細な説明を省略する。
【０１５９】
例えば、ステップＳ５１０ａの候補文字の探索処理（２）は、図１２に示した候補文字の探索処理（ステップＳ５１２−Ｓ５２８）である。ステップＳ５１０ａの処理が実行された後、候補文字探索部１５４Ａの動作は、ステップＳ５３０に移る。
【０１６０】
また、ステップＳ５３９ａの処理は、候補文字領域ＡＲＣに重なる連結成分ＣＬ（第２連結成分ＣＬ）の線幅が基準文字ＦＣの線幅とほぼ同じである場合、実行される。例えば、ステップＳ５３８の判定により、候補文字領域ＡＲＣに重なる連結成分ＣＬの線幅と基準文字ＦＣの線幅との差が所定値以内であると判定された場合、候補文字探索部１５５Ａの動作は、ステップＳ５３９ａに移る。一方、候補文字領域ＡＲＣに重なる連結成分ＣＬの線幅と基準文字ＦＣの線幅との差が所定値より大きい場合、候補文字探索部１５５Ａの動作は、ステップＳ５４０に移る。
【０１６１】
ステップＳ５３９ａでは、候補文字探索部１５５Ａは、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分ＣＬに対して、文字認識の処理を実行する。これにより、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分ＣＬと文字パターンとの類似度が算出される。ステップＳ５３９ａの処理が実行された後、候補文字探索部１５５Ａの動作は、ステップＳ５３９ｂに移る。
【０１６２】
ステップＳ５３９ｂでは、候補文字探索部１５５Ａは、ステップＳ５３９ａの文字認識の処理で算出した類似度が第３判定値以上であるか否かを判定する。すなわち、候補文字探索部１５５Ａは、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分ＣＬと文字パターンとの類似度が第３判定値以上であるか否かを判定する。類似度が第３判定値以上である場合、候補文字探索部１５５Ａの動作は、ステップＳ５４４に移る。一方、類似度が第３判定値未満である場合、候補文字探索部１５５Ａの動作は、ステップＳ５４０に移る。
【０１６３】
このように、候補文字探索部１５５Ａは、連結成分Ｃの包含関係を示すツリーＴＣから候補文字ＳＣが検出されない場合、局所的２値化画像ＬＢＩＭＧ内の連結成分ＣＬを探索する。そして、候補文字探索部１５５Ａは、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分ＣＬのうち、類似度が第３判定値以上の連結成分ＣＬを、候補文字ＳＣとして選択する。
【０１６４】
なお、候補文字探索部１５５Ａの動作は、図１４に示す例に限定されない。例えば、候補文字探索部１５５Ａは、ステップＳ５３０の処理を省いてもよい。この場合、候補文字探索部１５５Ａは、ステップＳ５３２−Ｓ５４４の処理とステップＳ５１０ａの処理とを並列に実行してもよい。ステップＳ５３０の処理を省いた場合、ステップＳ５１０ａの処理で候補文字ＳＣが選択されたか否かに拘わらず、ステップＳ５３２等の局所的２値化画像ＬＢＩＭＧを用いた探索処理が実行される。したがって、ステップＳ５１０ａの処理とステップＳ５４４の処理との両方で候補文字ＳＣが選択された場合、候補文字探索部１５５は、文字パターンとの類似度が高い方の候補文字ＳＣを、テキストパターンＴＸＰの一部として選択する。
【０１６５】
以上、図１３から図１４に示す実施形態においても、図６から図１０に示した実施形態と同様の効果を得ることができる。例えば、画像処理装置１０２Ａは、連結成分Ｃの包含関係を階層化したツリーＴＣを探索して基準文字ＦＣ（第１文字画像ＦＣ）を選択した後、基準文字ＦＣの並びの規則に基づいて候補文字領域ＡＲＣを設定する。そして、画像処理装置１０２Ａは、ツリーＴＣを探索し、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する連結成分Ｃのうち、文字パターンとの類似度が第２判定値以上の連結成分Ｃを候補文字ＳＣとして選択する。
【０１６６】
基準文字ＦＣの並びの規則を満足しない連結成分Ｃ、基準文字ＦＣの属性と異なる属性の連結成分Ｃ、文字パターンとの類似度が第２判定値未満の連結成分Ｃ等は、候補文字ＳＣとして選択されない。このため、背景が複雑である場合でも、ノイズＮＳ等を排除した正しい文字列（連結成分Ｃ）を抽出することができる。すなわち、画像ＩＭＧに含まれる文字の抽出精度を向上させることができ、文字の認識率を向上させることができる。
【０１６７】
さらに、画像処理装置１０２Ａは、基準文字ＦＣの属性と共通の属性を有する第１連結成分Ｃを候補文字領域ＡＲＣから検出できない場合、局所的２値化画像ＬＢＩＭＧ内の第２連結成分ＣＬを探索する。そして、画像処理装置１０２Ａは、候補文字領域ＡＲＣに重なり、かつ、基準文字ＦＣの属性と共通の属性を有する第２連結成分ＣＬのうち、文字パターンとの類似度が第３判定値以上の連結成分Ｃを、候補文字ＳＣとして選択する。これにより、一文字の中で濃度が変化している場合、文字の一部の濃度が背景の濃度とほぼ同じ場合等でも、正しい文字列（連結成分ＣＬ）を抽出することができる。この結果、画像ＩＭＧに含まれる文字の抽出精度を向上させることができ、文字の認識率を向上させることができる。
【０１６８】
図１５は、画像処理プログラムを実行するハードウェアの一例を示す。なお、図１から図１４で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。例えば、画像処理プログラムは、図１、図２、図６、図１１、図１３に示した画像処理装置１００、１０１、１０２、１０１Ａ、１０２Ａの機能をコンピュータＣＰで実現する。
【０１６９】
コンピュータＣＰは、例えば、プロセッサＰＵ、メモリＭＥＭ、ハードディスク装置ＨＤＤ、入出力インタフェースＩＦおよび光学ドライブ装置ＯＤＲを有する。プロセッサＰＵ、メモリＭＥＭ、ハードディスク装置ＨＤＤ、入出力インタフェースＩＦおよび光学ドライブ装置ＯＤＲは、バスＢＵＳに接続される。画像処理装置１００、１０１、１０２、１０１Ａ、１０２Ａの機能は、例えば、プロセッサＰＵと、メモリＭＥＭと、ハードディスク装置ＨＤＤと、入出力インタフェースＩＦとにより実現される。
【０１７０】
光学ドライブ装置ＯＤＲは、光ディスク等のリムーバブルディスクＲＤを装着可能であり、装着したリムーバブルディスクＲＤに記録された情報の読み出しおよび記録を実行する。また、コンピュータＣＰは、入出力インタフェースＩＦを介してコンピュータＣＰの外部と通信する。例えば、入出力インタフェースＩＦは、画像ＩＭＧを受け、プロセッサＰＵ等に転送する。
【０１７１】
メモリＭＥＭは、例えば、コンピュータＣＰのオペレーティングシステムを格納する。また、メモリＭＥＭは、画像処理装置１００、１０１、１０２、１０１Ａ、１０２Ａの動作をプロセッサＰＵが実行するための画像処理プログラム等のアプリケーションプログラムを格納する。
【０１７２】
画像処理プログラム等のアプリケーションプログラムは、光ディスク等のリムーバブルディスクＲＤに記録して頒布することができる。例えば、コンピュータＣＰは、画像処理プログラム等のアプリケーションプログラムを、リムーバブルディスクＲＤから光学ドライブ装置ＯＤＲを介して読み出し、メモリＭＥＭやハードディスク装置ＨＤＤに格納してもよい。また、コンピュータＣＰは、画像処理プログラム等のアプリケーションプログラムを、インターネット等のネットワークに接続する通信装置（図示せず）を介してダウンロードし、メモリＭＥＭやハードディスク装置ＨＤＤに格納してもよい。
【０１７３】
画像処理プログラムを実行するハードウェアは、図１５に示す例に限定されない。例えば、コンピュータＣＰは、光学ドライブ装置ＯＤＲが省かれてもよい。
【０１７４】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
【符号の説明】
【０１７５】
１００、１０１、１０１Ａ、１０２、１０２Ａ‥画像処理装置；１１０‥連結成分抽出部；１１２‥局所的２値化部；１２０‥ツリー生成部；１２２‥文字候補抽出部；１３０‥文字認識部；１４０‥第１選択部；１４２‥基準文字選択部；１５０‥第２選択部；１５２‥領域設定部；１５４、１５４Ａ、１５５、１５５Ａ‥候補文字探索部；１６０‥テキスト抽出部；ＣＰ‥コンピュータ；ＨＤＤ‥ハードディスク装置；ＩＦ‥入出力インタフェース；ＭＥＭ‥メモリ；ＯＤＲ‥光学ドライブ装置；ＰＵ‥プロセッサ
【図１】
2017091164.tif 000003
【図２】
2017091164.tif 000004
【図３】
2017091164.tif 000005
【図４】
2017091164.tif 000006
【図５】
2017091164.tif 000007
【図６】
2017091164.tif 000008
【図７】
2017091164.tif 000009
【図８】
2017091164.tif 000010
【図９】
2017091164.tif 000011
【図１０】
2017091164.tif 000012
【図１１】
2017091164.tif 000013
【図１２】
2017091164.tif 000014
【図１３】
2017091164.tif 000015
【図１４】
2017091164.tif 000016
【図１５】
2017091164.tif 000017