(57)【特許請求の範囲】
【請求項１】
入力された黒ラン連結成分の画像を、形状が同一の画像毎にグループ化し、注目グループ内の画像と参照グループ内の画像との位置関係に関する情報を利用して該入力された個々の画像が単独文字画像であるか否かを判断する処理を、文字切り出しの前処理として行い、
前記判断する処理で、注目グループ内の画像と参照グループ内の画像とが同じ位置関係にあるか否かに関する情報を該注目グループ内の画像が単独文字画像であるか否かの判断に利用することを特徴とする文字切り出し方法。
【請求項２】
請求項１記載の文字切り出し方法において、前記判断する処理で、注目グループ内の画像と参照グループ内の画像との距離に関する情報も該注目グループ内の画像が単独文字画像であるか否かの判断に利用することを特徴とする文字切り出し方法。
【請求項３】
請求項１記載の文字切り出し方法において、前記判断する処理で、注目グループ内の画像と複数の参照グループ内の画像とが同じ位置関係にないと判断される場合には、該注目グループ内の画像は単独文字画像ではないと判断することを特徴とする文字切り出し方法。
【請求項４】
請求項１又は２記載の文字切り出し方法において、前記判断する処理で、注目グループ内の画像に関し、他の全てのグループを参照グループとして単独文字画像であるか否かの判断を行った後、該注目グループ内の画像の中で単独文字画像でないと判断された画像の割合もしくは数に基づいて、該注目グループ内の全ての画像が単独文字画像であるか否かの最終判断をすることを特徴とする文字切り出し方法。
【請求項５】
請求項１、２、３又は４記載の文字切り出し方法において、前記判断する処理で、単独文字画像であるか否かの判断を一定数以上の画像が含まれるグループのみ対象にして行うことを特徴とする文字切り出し方法。
【請求項６】
入力された黒ラン連結成分の画像を、形状が同一の画像毎にグループ化し、注目グループ内の画像と参照グループ内の画像との位置関係に関する情報を利用して該入力された個々の画像が単独文字画像であるか否かを判断する判断処理を、文字切り出しの前処理として行う手段を有し、
前記手段は、注目グループ内の画像と参照グループ内の画像とが同じ位置関係にあるか否かに関する情報を該注目グループ内の画像が単独文字画像であるか否かの判断に利用することを特徴とする文字切出し装置。
【発明の詳細な説明】
【０００１】
【発明の属する分野】
本発明は、文字認識装置の文字切り出し技術に関する。
【０００２】
【従来の技術】
ＯＣＲにおいては、画像の潰れ／かすれによる文字画像の分離／接続のため、文字切り出しが正常に働かないことがある。文字切り出しが正常でない場合、認識結果を誤るだけでなく、認識結果の修正作業が煩雑になり、ユーザーの負担の増加が著しい。
【０００３】
文字画像を正しく切り出すためには、そのような分離／接続している文字画像の統合／分割を行う必要があるが、従来は、特開平１−１１４９９２号公報に見られるように、画像の大きさに基づいて、画像の統合／分離の判断をする方法が採用されることが多かった。
【０００４】
【発明が解決しようとする課題】
しかしながら、プロポーショナル印字された英文書や、英文／英単語の混在した日本語文書等では、個々の画像の大きさだけでは、その画像の分離／接続の判断が困難であり文字切り出し性能の向上を期待できない。
【０００５】
本発明の目的は、そのような文書に対する文字切り出し精度を向上させることが可能な文字切り出し方法及び装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明は、文字認識の前処理として、入力画像中の画像が単独文字画像（単独で１文字を構成する画像）であるか否かの判断を行う。このような前処理を行えば、その後の文字切り出しにおいて、とり得るパスが減るため処理負担が軽減するとともに、画像の統合／分離の誤りも生じにくくなり文字切り出しの精度が向上する。
【０００７】
しかし、個々の画像の大きさに着目する方法によっては、プロポーショナル印字の英文書や英文／英単語の混在した日本語文書等においては、そのような単独文字画像の判断を精度よく行うことは期待できない。
【０００８】
そのような文書においても精度よく単独文字画像であるか否かを判断するため、本発明は画像の並びに着目した知識を利用する。この知識とは「入力画像中に同一形状の画像Ａ１，Ａ２，．．．が複数存在し、その各画像Ａ１，Ａ２，．．．が単独文字画像であるならば、Ａ１，Ａ２，．．．の前後に様々な異なった画像が来る可能性が高い。他方、その画像Ａ１，Ａ２，．．．が文字画像の分離画像であれば、それぞれの前後の同じ位置に残りの部分である同一形状の画像ａ１，ａ２，．．．が来るであろう。そして、このことは、プロポーショナル印字の英文書や英文／英単語の混在した日本語文書等においても適用できる。」というものである。しかして、プロポーショナル印字の英文書や英文／英単語の混在した日本語文書等に対しても、前処理において単独文字画像か否かの判断を精度よく行うことができ、したがって、文字切り出しの精度も向上する。
【０００９】
【発明の実施の形態】
本発明の実施の形態を明らかにするため、図面を参照し本発明の実施例について説明する。
【００１０】
図１は、本発明の一実施例である文字認識システムのブロック図である。このブロック図は、説明の便宜のため処理の流れに対応付けて簡略化されており、実際のハードウエア構成を忠実に表すものではない。実際的には、この文字認識システムは、画像その他のデータを格納するための１つ又は複数のメモリ、処理のためのプログラムのような固定情報を格納する１つ又は複数のメモリ、プログラムに従って必要な処理及び制御を実行するＣＰＵ、外部とのデータ入出力のための入出力機器とそのインターフォース等により構成される。
【００１１】
図１において、画像入力部５０はイメージスキャナ等により文書の２値画像データを入力し、図示しないメモリに格納する。行切り出し部５１では、入力された文書画像より黒ラン連結成分の外接矩形を抽出し、外接矩形の文字行方向の接続関係を調べることによって文字行の範囲を切り出す。以下の処理において「画像」とは、この外接矩形の内部の画像を意味する。
【００１２】
文字切り出し前処理部５２は、本発明の要旨に関わる部分であり、行切り出し段階で切り出された画像の中から、単独で１つの文字画像であると判断できる画像（単独文字画像）を抽出する。この処理は、本実施例では１行単位で行われるが、処理単位は複数行、ページ等、基本的に任意でよい。ただし、処理単位が大きくなるほど処理の負担は大きくなる。この文字切り出し前処理部５２は処理内容の観点から同一画像グルーピング処理部５２Ａ、グループ間パラメータ算出部５２Ｂ及び単独文字画像抽出部５２Ｃに分けることができるが、それぞれの部分の処理内容は後述する。
【００１３】
文字切り出し部５３では、行切り出し部により切り出された画像より、個々の文字の画像を切り出すが、この際に、文字切り出し前処理部５２で単独文字画像として抽出された画像はそのまま文字画像として切り出し、統合／分離の対象から外す。このように、文字切り出しの前処理で単独文字画像と判断可能な画像を抽出しておくと、全ての画像を文字候補として文字切り出しを行う場合に比べ、文字切り出しの処理量が減少するとともに、不適切な切り出しが起こりにくくなる。
【００１４】
文字認識部５４では切り出された各文字画像に対する文字認識を行う。この文字認識の結果はメモリに一時的に蓄積された後、あるいは、そのまま、出力部５５により外部に出力される。なお、文字認識の結果を文字切り出し部５３にフィードバックし、文字切り出しを修正する方法が採用されてもよい。
【００１５】
以下、本発明の要旨に関わる部分である文字切り出し前処理部５２の処理内容について詳細に説明する。図２は、文字切り出し前処理部５２の処理の一例を示すフローチャートである。図３は図２中の最初のステップＳ１００の処理、すなわち文字切り出し前処理部５２内の同一画像グルーピング部５２Ａの処理の一例を示すフローチャートである。
【００１６】
まず、同一画像グルーピング処理について説明する。この処理は、行切り出しの際に抽出された画像の中で、形状が同一の画像と見なせる画像をグループ化することを目的としている。
【００１７】
行中の画像の中から同一か否か比較する画像の組を選び（ステップＳ２０１）、その画像の高さの差又は幅の差のいずれかでも所定の閾値ＷＤ＿ｔｈより大きいか調べる（ステップＳ２０２）。高さの差又は幅の差の一方でもＷＤ＿ｔｈより大きければ、その２つの画像は非同一と判断する（ステップＳ２０７）。ステップＳ２０２において高さの差も幅の差もＷＤ＿ｔｈ以下ならば、それぞれの画像の重心を求め、画像の左上角を基準とした重心の位置の差が所定の閾値ＳＴ＿ｔｈより大きいか調べ（ステップＳ２０３）、大きいならば、その２つの画像の非同一と判断する（ステップＳ２０７）。
【００１８】
ステップＳ２０３で重心位置の差がＳＴ＿ｔｈ以下ならば、その２つの画像の重心位置を合わせて排他的論理和（ＥＯＲ）画像を作成する（ステップＳ２０４）。このＥＯＲ画像に対して２×２画素のマスク処理を行い、２×２画素の領域内に黒画素（２つの画像の画素値が異なる画素）が３個以上検出されるか調べ
（ステップＳ２０５）、３個以上検出されたならば、２つの画像を非同一と判断する（ステップＳ２０７）。ステップＳ２０５において、全ての２×２画素領域を処理しても黒画素が３個以上検出されなかったときには、その２つの画像を同一と判断する（ステップＳ２０６）。
【００１９】
１組の画像の同一又は非同一を判断した後、まだ判断が済んでいない画像の組が残っているならば、ステップＳ２０８からステップＳ２０１へ戻り、残っている別の画像の組について同様の同一性判定の処理を行う。
【００２０】
全ての画像の組について同一／非同一を判断したならば、同一と判断された画像のグループにグループ固有のグループ番号を割り当てる（ステップＳ２０９）。この際、画像Ａと画像Ｂが同一と判断され、画像Ｂと画像Ｃが同一と判断された場合、仮に画像Ａと画像Ｃとが非同一と判断されたとしても、画像Ａ，Ｂ，Ｃを同じグループの画像として同じグループ番号を割り当てる。
【００２１】
最後に、各グループについて、グループ内の画像の大きさを調べ、グループ内に１つでも大きさが異常な画像がみつかったときには、そのグループを異常画像グループとしマークを付ける（ステップＳ２１０）。異常な大きさとは、文字認識の対象文字となり得ないほど大きいか又は小さいということである。具体的には、画像の大きさの上限をＳmax，下限をＳmin、画像の幅をＲＷ，画像の高さをＲＨとしたとき、次の条件のいずれかを満たす画像を異常画像とする。
条件１：  ＲＷ＞Ｓmax  又は  ＲＨ＞Ｓmax
条件２：  ＲＷ＜Ｓmin  かつ  ＲＨ＜Ｓmin
【００２２】
図２のフローチャートに戻って、ステップＳ１０１以下の処理を説明するが、その前に、単独文字画像の抽出処理の概要を説明する。
【００２３】
基本的には、ある同一画像グループ（注目グループ、異常画像グループは除く）内の画像に注目し、それが他の同一画像グループ（参照グループ、異常画像グループの場合もある）内の画像と統合される可能性があるか判断する。すなわち、分離文字画像である可能性、つまり単独文字画像でない可能性を判断する。
【００２４】
注目グループＧａにｎ個の画像Ａ１，Ａ２，．．．，Ａｎがあり、参照グループＧｂにｍ個の画像Ｂ１，Ｂ２，．．．，Ｂｍがあり、それぞれのグループ内の画像間で、例えば次のような位置関係が同じ画像の組があるとする。
Ｃ１＝（Ａ２，Ｂ１）
Ｃ２＝（Ａ３，Ｂ３）
．．．
ＣN ＝（Ａn＿１，Ｂm）
これらの画像の組について、後述のグループ間パラメータを用いて統合の可能性を判断する。全てのグループの組合せについて同様の判断を行って、グループＧａの画像について例えば表１に示すような結果が得られたとする。
【００２５】
【表１】
0003600364.tif 000002
【００２６】
この表１は、グループＧａの画像Ａ１〜Ａ８の中で、Ａ１はグループＧｂの画像と統合可能性があり、Ａ２はグループＧｃの画像と統合可能性があり、Ａ３はグループＧｃとグループＧｄの画像と統合可能性があり、Ａ４はグループＧｂの画像と統合可能性があり、．．．、Ａ６はどのグループの画像とも統合可能性がなく、．．．．、Ａ８はグループＧｄの画像と統合可能性がある、ことを表している。すなわち、この例では、グループＧａ内の８個の画像のうち、７個の画像は少なくとも一つの他のグループの画像と統合可能性がある。この統合可能性のある画像の割合をＡｌとし、これが予め決めたしきい値Ａｌ＿ｔｈより小さい場合に、グループＧａの画像を単独文字画像と判断する。つまり、「グループＧａの画像が単独文字画像ならば、それが部分文字画像の場合に比べ、各画像の前後に色々な文字画像が来るはずで割合Ａｌは小さいはずだ」という知識を利用する。この例では、Ａｌ＝７／８であり、Ａｌ＿ｔｈ＝０．８とすると、グループ
Ｇａの画像は単独文字画像ではないと判断されることになる。
【００２７】
図２に戻る。ステップＳ１０１において、カウンタＣＴを０に初期化する。このカウンタＣＴは、処理ループ内で単独文字画像が抽出されたときにステップＳ１１１でインクリメントされるカウンタである。新たな単独文字画像が抽出されなくなると、カウンタＣＴは０のままであるためステップＳ１１３で終了と判断され、処理を終了する。換言すれば、単独文字画像が抽出されなくなるまで処理を繰り返して行う。
【００２８】
ステップＳ１０２において、同一画像グルーピング処理によって得られた同一画像グループの中から、異常画像グループでなく、また、既に単独文字画像として抽出されたグループでない一つのグループを、注目グループとして選ぶ。
【００２９】
次のステップＳ１０３において、同一画像グループ（異常画像グループも含む）の中から、既に単独文字画像として抽出されたグループでも現在の参照グループでもない一つの同一画像グループを参照グループとして選ぶ。
【００３０】
ステップＳ１０４において、注目グループ内の画像（注目画像）と参照グループ内の画像（参照画像）について、位置関係の同じ注目画像と参照画像の組を収集し、位置関係の同じ注目画像と参照画像の組に関して下記のグループ間パラメータＤ，Ｎ，ｎ，ｍ，Ｐｓ，Ｐｖを算出する（グループ間パラメータ算出部５２Ｂの処理）。この際、例えば、重心の相対的な位置関係が、縦、横共に±１画素の範囲内にあるときに、それら画像は同じ位置関係にあると判断する。例えば、注目画像Ａ２の重心の３画素右、１１画素上に参照画像Ｂ２の重心があり、注目画像Ａ３の重心の２画素右、１１画素上に参照画像Ｂ３の重心がある場合、これら２つの画像の組は位置関係が同じと判断する。
【００３１】
１）画像間距離；Ｄ
注目画像と参照画像の重心の距離である。
【００３２】
２）参照画像同一位置存在数；Ｎ
注目画像から見て、参照画像が同じ位置関係にある数である。図４において、具体的には説明する。
ある行から、同一画像グルーピング処理によって、図４の（Ａ）に示すようなグループ番号１〜グループ番号７までの７グループが抽出されたとする。グループ番号２を注目グループ、グループ番号４を参照グループとしたときに、注目画像と参照画像が同じ位置関係になるのは図４（Ｂ）に示すように２通りである。つまり、Ｎ＝２である。また、グループ番号５を注目グループ、グループ番号２を参照グループとしたときは、図４（Ｃ）に示すようにＮ＝１である。
【００３３】
３）注目グループ内画像数；ｎ
注目グループに選ばれた同一画像グループに含まれる画像数である。これは同一画像グルーピング処理の段階で予め求めておいてもよい。図４（Ａ）に示す例で、グループ番号２を注目グループとしたときは、ｎ＝３である。
【００３４】
４）参照グループ内画像数；ｍ
参照グループに選ばれた同一画像グループに含まれる画像数であり、同一画像グルーピング処理の段階で予め求めておいてもよい。図４（Ａ）の例において、グループ番号４を参照グループとしたときは、ｍ＝２である。なお、参照グループが異常画像グループであるときには、ｍ＞ｍ＿ｔｈを満たす値をｍに設定する（ｍ＿ｔｈは予め定められた一定値）。
【００３５】
５）参照画像存在確率；Ｐｓ
注目画像から見て、参照画像が同じ位置関係にある確率であり、具体的には次式で計算される。
Ｐｓ＝ｍａｘ（Ｎ／ｍ，Ｎ／ｎ）
図４（Ａ）の例において、グループ番号２を注目グループ、グループ番号４を参照グループとした場合、Ｐｓ＝ｍａｘ（２／２，２／３）＝２／２となる。また、グループ番号５を注目グループ、グループ番号２を参照グループとした場合には、Ｐｓ＝ｍａｘ（１／３，１／３）＝１／３となる。
【００３６】
６）参照外画像参照画像位置存在数；Ｐｖ
注目画像から見て、参照画像の位置で参照グループ以外の画像が占める面積の割合である。図５により説明する。
図５において、（Ａ）は図４の（Ａ）と同じ行の同一画像グルーピングの結果を示している。グループ番号２を注目グループ、グループ番号４を参照グループとした場合、図５（Ｂ）に示すように、注目画像から見て参照画像の位置でグループ番号３の画像が占める面積（斜線領域）の、注目画像の面積（斜線領域）に対する割合がＰｖであり、例えばＰｖ＝０．１８となる。なお、参照外画像の数は考慮しない。例えば、グループ番号３の画像が図５（Ｂ）のような位置関係に来る場合が２つ以上あっても、Ｐｖは変わらない。また、グループ番号５を注目グループ、グループ番号２を参照グループとした時、グループ番号２の画像が占める面積割合は０．８２、グループ番号６の画像が占める面積割合は０．８７であり、これ以外に参照グループ２と同じ位置関係になる参照外画像はないので、Ｐｖ＝０．８２＋０．８７＝１．６９となる。
【００３７】
ステップＳ１０５において、前ステップで得られたパラメータに関し、次の全ての条件が満たされる時には、その注目画像と参照画像の組は統合される可能性があると判断し、ステップＳ１０６で、その注目画像と参照画像に統合可マークを付け次のステップＳ１０７へ進む。条件の一つでも満たされないときには、ステップＳ１０６はスキップされる。
【００３８】
条件ａ：Ｄ＜Ｄ＿ｔｈ，
ただし、Ｄ＿ｔｈは予め定められた値である。
条件ｂ：（Ｐｓ＞Ｐｓ＿ｔｈ）又は（Ｐｖ＜Ｐｖ＿ｔｈ）
ただし、Ｐｓ＿ｔｈ，Ｐｖ＿ｔｈは予め定められた値である。
条件ｃ：（Ｎ＞Ｎ＿ｔｈ）かつ（ｎ＞ｎ＿ｔｈ）かつ（ｍ＞ｍ＿ｔｈ）
ただし、Ｎ＿ｔｈ，ｎ＿ｔｈ，ｍ＿ｔｈは予め定められた値である。
なお、上記条件ａは、あまりに離れた画像は統合すべきでないと判断するため設けられている。
【００３９】
ステップＳ１０７において、現在の注目グループに関し、未だ参照グループとして選ばれていない同一画像グループ（単独文字画像と判断されたグループを除く、異常画像グループも含む）が残っているか調べ、残っているならばステップＳ１０３に戻り、参照グループを改めて選び、ステップＳ１０４以下の処理を実行する。
【００４０】
現在の注目グループに対し全ての同一画像グループを参照グループとして処理を行ったならば、ステップＳ１０８において、注目グループに選ぶべき同一画像グループ（単独文字画像と判断されたグループは除く）が残っているか調べる。残っていなければステップＳ１０９に進むが、残っているならばステップＳ１０２に戻り、次の注目グループを選び、ステップＳ１０３以下の処理を行う。
【００４１】
ステップＳ１０９において、異常画像グループを除いた同一画像グループの中から、単独文字画像と判断された以外の一つの同一画像グループを選ぶ。次のステップＳ１１０において、前ステップで選んだグループ内の画像の数Ｔと、そのグループ内の画像の中で統合可マークが付いている画像の割合Ａｌを計算し、
Ａｌ≦Ａｌ＿ｔｈ  かつ  Ｔ＞Ｔ＿ｔｈ
（Ａｌ＿ｔｈ，Ｔ＿ｔｈは予め定められる値）
のときに、当該グループは単独文字画像と判断し（グループ内の全ての画像が単独文字画像とされる）、ステップＳ１１１においてカウンタＣＴをインクリメントする。そして、ステップＳ１０９に戻って別の１グループを選び、ステップＳ１１０の条件判定を行い、条件を満たすときにはカウンタＣＴをインクリメントする処理を繰り返す。そして、ステップＳ１１２において、異常画像グループと既に単独文字画像と判断されたグループを除いた全てのグループについて処理したと判定すると、ステップＳ１１３でカウンタＣＴが０であるか判定する。
【００４２】
ＣＴ＝０ならば、新たに単独文字画像とされた同一画像グループが一つも見つからなかったということであるので処理は終了するが、ＣＴ≠０ならば、新たに単独文字画像とされたグループが見つかったということであり、さらに新たな単独文字画像が見つかる可能性があるためステップＳ１０１に戻り、処理を再開する。
【００４３】
【発明の効果】
請求項１乃至７の各項記載の発明によれば、文字認識の前処理として、入力画像中の画像が単独文字画像（単独で１文字を構成する画像）であるか否かの判断を行うため、その後の文字切り出しにおいて、とり得るパスが減るため処理負担が軽減するとともに、画像の統合／分離の誤りも生じにくくなり文字切り出しの精度が向上する。また、個々の画像のサイズに着目するのではなく、同一形状の画像毎に画像をグループ化し、あるグループ内の画像と他のグループ内の画像の位置関係に着目した知識を利用することによって、単独文字画像であるか否かを判断するため、プロポーショナル印字の英文書や英文／英単語の混在した日本語文書等に対しても、前処理において単独文字画像か否かの判断を精度よく行うことができ、したがって文字切り出しの精度も向上する、等の効果を得られる。
【図面の簡単な説明】
【図１】本発明による文字認識システムのブロック図である。
【図２】文字切り出し前処理のフローチャートである。
【図３】同一画像グルーピング処理のフローチャートである。
【図４】統合可能性判断用パラメータの説明のための図である。
【図５】統合可能性判断用パラメータの説明のための図である。
【符号の説明】
５０  画像入力部
５１  行切り出し部
５２  文字切り出し前処理部
５２Ａ  同一画像グルーピング部
５２Ｂ  グループ間パラメータ算出部
５２Ｃ  単独文字画像抽出部
５３  文字切り出し部
５４  文字認識部
５５  出力部
【図１】
0003600364.tif 000003
【図２】
0003600364.tif 000004
【図３】
0003600364.tif 000005
【図４】
0003600364.tif 000006
【図５】
0003600364.tif 000007