(57)【特許請求の範囲】
【請求項１】
文字認識の前処理として文字切り出しを行う文字切り出し方法であって、
入力画像より切り出された黒画素連結成分の画像に対し、同一と判断される画像をグループ化し、グループ単位で画像の統合又は分離の判断及び処理を行う工程を備え、
前記グループ単位での画像の統合又は分離の判断及び処理を行う工程において、あるグループＡの画像と別のあるグループＢの画像が常に同じ順序で前後して出現する場合に、グループＡの画像とグループＢの画像を統合すべきと判断することを特徴とする文字切り出し方法。
【請求項２】
前記グループ単位での画像の統合又は分離の判断及び処理を行う工程において、画像数が所定値より少ないグループの画像は統合の対象から除外することを特徴とする請求項１記載の文字切り出し方法。
【請求項３】
前記グループ単位での画像の統合又は分離の判断及び処理を行う工程において、グループＡ及びＢの画像を統合した場合の画像の幅、高さ及び縦横比が所定の基準を満たすときに限り、グループＡ及びグループＢの画像を統合することを特徴とする請求項１記載の文字切り出し方法。
【請求項４】
文字認識の前処理として文字切り出しを行う文字切り出し方法であって、
入力画像より切り出された黒画素連結成分の画像に対し、同一と判断される画像をグループ化し、グループ単位で画像の統合又は分離の判断及び処理を行う工程を備え、
前記グループ単位での画像の統合又は分離の判断及び処理を行う工程において、あるグループＡの画像に別のあるグループＢの画像が包含されていて、グループＡの画像よりグループＢの画像を取り除いた画像Ｃと、グループＢの画像との重なり度合が所定値より小さい場合に、グループＡの画像をグループＢの画像と画像Ｃとに分割することを特徴とする文字切り出し方法。
【請求項５】
文字認識の前処理として文字切り出しを行う文字切り出し方法であって、
入力画像より切り出された黒画素連結成分の画像に対し、同一と判断される画像をグループ化し、グループ単位で画像の統合又は分離の判断及び処理を行う工程を備え、
前記グループ単位での画像の統合又は分離の判断及び処理を行う工程において、あるグループＡのすべての画像に別のあるグループＢのすべての画像が包含されていて、グループＡの画像よりグループＢの画像を取り除いた画像Ｃの図形の複雑さが所定値より大きい場合にグループＡの画像をグループＢの画像と画像Ｃに分割することを特徴とする文字切り出し方法。
【請求項６】
前記グループ単位での画像の統合又は分離の判断及び処理を行う工程において、画像数が所定値より少ないグループの画像は分離の対象から除外することを特徴とする請求項４又は５記載の文字切り出し方法。
【請求項７】
前記グループ単位での画像の統合又は分離の判断及び処理を行う工程において、グループＡの画像の分割はグループＡの画像数よりグループＢの画像数が多いときに限ることを特徴とする請求項４又は５記載の文字切り出し方法。
【請求項８】
文字認識の前処理として文字切り出しを行う文字切り出し方法であって、
入力画像より切り出された黒画素連結成分の画像に対し、同一と判断される画像をグループ化し、グループ単位で画像の統合又は分離の判断及び処理を行う工程を備え、
前記グループ単位での画像の統合又は分離の判断及び処理を行う工程において、あるグループＡの画像に別のあるグループＢ及びグループＣの画像が包含されていて、グループＢの画像とグループＣの画像との位置関係が、グループＡの画像内におけるグループＢの画像とグループＣの画像との位置関係と、常に同じとは限らない場合に、グループＡの画像をグループＢの画像とグループＣの画像とに分割することを特徴とする文字切り出し方法。
【請求項９】
前記グループ単位での画像の統合又は分離の判断及び処理を行う工程において、グループＡの画像の分割は、グループＡの画像数、グループＢの画像数及びグループＣの画像数が所定値より多いときに限ることを特徴とする請求項８記載の文字切り出し方法。
【請求項１０】
前記グループ単位での画像の統合又は分離の判断及び処理を行う工程において、グループＡの画像の分割は、グループＢの画像数及びグループＣの画像数がグループＡの画像数より多いときに限ることを特徴とする請求項８記載の文字切り出し方法。
【請求項１１】
前記グループ単位での画像の統合又は分離の判断及び処理を行う工程において、グループＡの分割は分割後の各画像の幅、高さ及び縦横比が所定の基準を満たすときに限ることを特徴とする請求項４又は８記載の文字切り出し方法。
【請求項１２】
文字認識の前処理として文字切り出しを行う文字切り出し装置であって、
入力画像より切り出された黒画素連結成分の画像に対し、同一と判断される画像をグループ化し、グループ単位で画像の統合又は分離の判断及び処理を行う手段を有し、
前記手段は、あるグループＡの画像と別のあるグループＢの画像が常に同じ順序で前後して出現する場合に、グループＡの画像とグループＢの画像を統合すべきと判断することを特徴とする文字切り出し装置。
【請求項１３】
文字認識の前処理として文字切り出しを行う文字切り出し装置であって、
入力画像より切り出された黒画素連結成分の画像に対し、同一と判断される画像をグループ化し、グループ単位で画像の統合又は分離の判断及び処理を行う手段を有し、
前記手段は、あるグループＡの画像に別のあるグループＢの画像が包含されていて、グループＡの画像よりグループＢの画像を取り除いた画像Ｃと、グループＢの画像との重なり度合が所定値より小さい場合に、グループＡの画像をグループＢの画像と画像Ｃとに分割することを特徴とする文字切り出し装置。
【発明の詳細な説明】
【０００１】
【発明の属する分野】
本発明は文字認識技術に係り、特に、文字認識における文字切り出し技術に関する。
【０００２】
【従来の技術】
ＯＣＲにおいては、画像のつぶれ又はかすれによる文字画像の分離又は接続のため、文字切り出しが正常に動作しない場合がある。文字切り出しが正常に動作しない場合、認識結果に間違いが生じるだけでなく、認識結果の修正作業も複雑になり、ユーザの負担が著しく増大する。
【０００３】
分離又は接続した文字画像を統合又は分離する方法としては、特開平１−１１４９９２号公報に見られるように、行方向の射影と行の垂直方向の射影により文字画像を矩形として抽出し、この矩形の大きさによって統合又は分離を判断する方法が知られている。
【０００４】
【発明が解決しようとする課題】
しかしながら、文字矩形の大きさだけに着目する手法は、日本語文字だけからなる文書に対しては良好な文字切り出しを期待できる場合が多いものの、プロポーショナルピッチで印字された英文や英語／英単語が混在した日本語文書に対する切り出し精度は良好とは言い難い。本発明の目的は、そのような文書に対する文字切り出し性能を向上させることにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、本発明によれば、改良された文字切り出し方法及び文字切り出し装置が提供される。
【０００６】
請求項１記載の発明による文字切り出し方法は、文字認識の前処理として文字切り出しを行う文字切り出し方法であって、入力画像より切り出された黒画素連結成分の画像に対し、同一と判断される画像をグループ化し、グループ単位で画像の統合又は分離の判断及び処理を行う工程を備え、前記グループ単位で画像の統合又は分離の判断及び処理を行う工程において、あるグループＡの画像と別のあるグループＢの画像が常に同じ順序で前後して出現する場合に、グループＡの画像とグループＢの画像を統合すべきと判断することを特徴とするものである。
【０００７】
請求項２記載の発明による文字切り出し方法は、請求項１記載の発明による文字切り出し方法において、前記グループ単位で画像の統合又は分離の判断及び処理を行う工程で、画像数が所定値より少ないグループの画像は統合の対象から除外することを特徴とするものである。
【０００８】
請求項３記載の発明による文字切り出し方法は、請求項１記載の発明による文字切り出し方法において、前記グループ単位で画像の統合又は分離の判断及び処理を行う工程で、グループＡ及びＢの画像を統合した場合の画像の幅、高さ及び縦横比が所定の基準を満たすときに限り、グループＡ及びグループＢの画像を統合することを特徴とするものである。
【０００９】
請求項４記載の発明による文字切り出し方法は、文字認識の前処理として文字切り出しを行う文字切り出し方法であって、入力画像より切り出された黒画素連結成分の画像に対し、同一と判断される画像をグループ化し、グループ単位で画像の統合又は分離の判断及び処理を行う工程を備え、このグループ単位で画像の統合又は分離の判断及び処理において、あるグループＡの画像に別のあるグループＢの画像が包含されていて、グループＡの画像よりグループＢの画像を取り除いた画像Ｃと、グループＢの画像との重なり度合が所定値より小さい場合に、グループＡの画像をグループＢの画像と画像Ｃとに分割することを特徴とするものである。
【００１０】
請求項５記載の発明による文字切り出し方法は、文字認識の前処理として文字切り出しを行う文字切り出し方法であって、入力画像より切り出された黒画素連結成分の画像に対し、同一と判断される画像をグループ化し、グループ単位で画像の統合又は分離の判断及び処理を行う工程を備え、このグループ単位で画像の統合又は分離の判断及び処理において、あるグループＡのすべての画像に別のあるグループＢのすべての画像が包含されていて、グループＡの画像よりグループＢの画像を取り除いた画像Ｃの図形の複雑さが所定値より大きい場合にグループＡの画像をグループＢの画像と画像Ｃに分割することを特徴とするものである。
【００１１】
請求項６記載の発明による文字切り出し方法は、請求項４又は５記載の発明による文字切り出し方法において、前記グループ単位で画像の統合又は分離の判断及び処理を行う工程で、画像数が所定値より少ないグループの画像は分離の対象から除外することを特徴とするものである。
【００１２】
請求項７記載の発明による文字切り出し方法は、請求項４又は５記載の発明による文字切り出し方法において、前記グループ単位で画像の統合又は分離の判断及び処理を行う工程で、グループＡの画像の分割はグループＡの画像数よりグループＢの画像数が多いときに限ることを特徴とするものである。
【００１３】
請求項８記載の発明による文字認識方法は、文字認識の前処理として文字切り出しを行う文字切り出し方法であって、入力画像より切り出された黒画素連結成分の画像に対し、同一と判断される画像をグループ化し、グループ単位で画像の統合又は分離の判断及び処理を行う工程を備え、このグループ単位で画像の統合又は分離の判断及び処理で、あるグループＡの画像に別のあるグループＢ及びグループＣの画像が包含されていて、グループＢの画像とグループＣの画像との位置関係が、グループＡの画像内におけるグループＢの画像とグループＣの画像との位置関係と、常に同じとは限らない場合に、グループＡの画像をグループＢの画像とグループＣの画像とに分割することを特徴とするものである。
【００１４】
請求項９記載の発明の文字切り出し方法は、請求項８記載の発明による文字切り出し方法において、前記グループ単位で画像の統合又は分離の判断及び処理を行う工程で、グループＡの画像の分割は、グループＡの画像数、グループＢの画像数及びグループＣの画像数が所定値より多いときに限ることを特徴とするものである。
【００１５】
請求項１０記載の発明による文字切り出し方法は、請求項８記載の発明による文字切り出し方法において、前記グループ単位で画像の統合又は分離の判断及び処理を行う工程で、グループＡの画像の分割は、グループＢの画像数及びグループＣの画像数がグループＡの画像数より多いときに限ることを特徴とするものである。
【００１６】
請求項１１記載の発明による文字切り出し方法は、請求項４又は８記載の発明による文字切り出し方法において、前記グループ単位で画像の統合又は分離の判断及び処理を行う工程で、グループＡの分割は分割後の各画像の幅、高さ及び縦横比が所定の基準を満たすときに限ることを特徴とするものである。
【００１７】
請求項１２記載の発明による文字切り出し装置は、文字認識の前処理として文字切り出しを行う文字切り出し装置であって、入力画像より切り出された黒画素連結成分の画像に対し、同一と判断される画像をグループ化し、グループ単位で画像の統合又は分離の判断及び処理を行う手段を有し、前記手段は、あるグループＡの画像と別のあるグループＢの画像が常に同じ順序で前後して出現する場合に、グループＡの画像とグループＢの画像を統合すべきと判断することを特徴とするものである。
【００１８】
請求項１３記載の発明による文字切り出し装置は、文字認識の前処理として文字切り出しを行う文字切り出し装置であって、入力画像より切り出された黒画素連結成分の画像に対し、同一と判断される画像をグループ化し、グループ単位で画像の統合又は分離の判断及び処理を行う手段を有し、前記手段は、あるグループＡの画像に別のあるグループＢの画像が包含されていて、グループＡの画像よりグループＢの画像を取り除いた画像Ｃと、グループＢの画像との重なり度合が所定値より小さい場合に、グループＡの画像をグループＢの画像と画像Ｃとに分割することを特徴とするものである。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を用いて説明する。
【００２０】
図１は、本発明を実施するための装置構成の一例を示すブロック図である。ここに示す構成はＯＣＲの文字切り出し部に関するものであり、実際のＯＣＲでは一般に、前段に行切り出し部が、後段に文字認識部が存在する。
【００２１】
図１において、画像入力部１０１より画像のデータが入力される。入力される画像は、図示しない行切り出し部により原稿画像より切り出された行中の黒画素連結成分であり、１文字に相当するもの、文字が分解したもの（例えば漢字の偏や旁）、あるいは複数の文字が部分的又は全体的に接続したものがある。入力画像は画像バッファ１０３に一時的に保存される。本発明は、このような入力画像に対し必要な統合処理又は分離処理を施すことにより、１つ１つの文字画像を正しく切り出すことを目的としている。
【００２２】
同一画像グルーピング部１０５は、入力された画像の中から、同一画像と判断される画像をグループ分けし、各画像にグループの番号をラベリングするとともに、各グループを代表する画像を作成する。この同一画像グルーピングの結果は、例えば、各グループ毎に、ラベル、代表画像、そのグループに属する各画像の外接矩形の対角２頂点座標のリストとして同一画像データバッファ１０７に保存される。同一画像グルーピングの具体的方法は後述する。
【００２３】
包含関係検出部１０９はグルーピングされた各グループの画像の相互間の包含関係を調べ、その結果を包含関係データバッファ１１１に保存する。この包含関係の具体的検出方法は後述する。
【００２４】
画像統合処理部１１３は、隣り合う画像が分離文字であると判断される場合に、それを統合する処理をする。この統合の具体的方法は後述する。統合された場合には、統合後の画像に新たなグループ番号が付けられ、同一画像データバッファ１０７の内容が更新される。
【００２５】
画像分離処理部は、統合処理後の同一画像データバッファ１０７の内容を参照し、各グループの代表画像が分離すべきものであるか否かを判断し、分離すべきと判断される場合には、それを分離し、この分離により新たな画像のグループが生じる場合には、その画像に新たなグループ番号を割り当てる。そして、分離の結果に応じて、同一画像データバッファ１０７の内容を更新する。この分離の具体的方法は後述する。
【００２６】
文字切り出し結果出力部１１７は、以上の統合処理及び分離処理の後の同一画像データバッファ１０７の内容に基づき、文字切り出し結果を図示しない文字認識部に出力する。文字切り出し結果の出力形態は、文字認識部の処理形態に依存して決まる。例えば、文字と判断された各グループの代表画像を、その出現位置の座標とともに文字認識部に出力するか、あるいは、文字と判断された画像の出現順に、対応したグループの代表画像をグループ番号と一緒に出力するが、同じグループの画像が２回以上出現する場合には、最初に出現した時だけ代表画像を出力する。文字認識部においては、同じ文字画像については、それが行中で何度も出現しても、時間のかかる文字画像の特徴抽出や辞書マッチング等の処理を１度だけ行い、その結果を同じ文字画像の各出現位置で出力するという処理形態をとることができるので、処理時間が短縮される。ただし、各文字画像に対応したグループの代表画像を、単純に出現順に出力することもできる。この場合は、当然、同じ文字画像であっても出現する度に特徴抽出と辞書マッチング等の処理を実行することになる。
【００２７】
なお、画像統合処理と画像分離処理の両方を適用するのが最も精度のよい文字切り出しが可能であるが、必要な精度あるいは処理する画像の品質等の条件によっては、いずれか一方の処理だけを行うことも可能である。以下、以上の各処理の内容について、図面を参照し具体例を説明する。
【００２８】
［同一画像グルーピング処理の具体例］
同一画像グルーピング部１０５における同一画像グルーピング処理の具体的方法の一例を述べる。
【００２９】
(１)  画像入力部１０１より入力された画像中から比較する画像の組を抽出し、その画像の高さの差又は幅の差のいずれかかが予め定めた値ＷＤ＿ｔｈより大きい場合には、画像は非同一と判断し、次の画像の組の処理に移る。
【００３０】
(２)  上記ステップ（１）で非同一と判断されなかった画像それぞれの重心（画像の左上コーナーを基準）を求め、重心の位置の差が予め定めた値ＳＴ＿ｔｈより大きい場合には、画像は非同一と判断し、上記ステップ（１）に戻り次の画像の組を処理する。
【００３１】
(３)  上記ステップ（２）で非同一と判断されなかった画像の重心を一致させて、画像の排他的論理和（ＥＯＲ）画像を作成する。
【００３２】
(４)  上記ステップ（３）で作成されたＥＯＲ画像に対して２×２のマスク処理を行い、２×２の領域内に３画素以上の黒画素（２つの画像の画素値が異なる画素）が検出されたならば、画像は非同一と判断し、上記ステップ（１）より次の画像の組を処理する。すべての２×２の領域に３画素以上の黒画素が検出されないならば、画像を同一と判断し、上記ステップ（１）に戻り次の画像の組を処理する。
【００３３】
(５)  全ての画像の組について以上のステップにより非同一又は同一の判断がなされたならば、同一と判断された画像同士に同じグループ番号を割り当てる。例えば、画像Ａと画像Ｂが同一と判断され、画像Ｂと画像Ｃが同一と判断された場合には、仮に、画像Ａと画像Ｃが非同一と判断されたとしても、画像Ａ，Ｂ，Ｃを同じグループとし、同一のグループ番号を割り当てる。
【００３４】
そして、各グループの画像を代表する画像を作成する。その方法であるが、例えば、最も単純な方法としては、そのグループの最初に入力された画像を代表画像とする。あるいは、同じグループの画像を平均化して代表画像とする方法等が可能である。なお、このような同一画像のグルーピングに関連した公知文献として米国特許第５，３０３，３１３号公報がある。
【００３５】
図２に、入力画像の例を入力順（行中における出現順）に並べて示す。この例は例えば１行分である。この入力画像群に対する同一画像グルーピング処理の結果を図３に示す。図３に示す画像は各グループの代表画像であり、その下の数字がグループ番号である。このようにして得られた各グループの代表画像を用いることにより、図２の入力文字画像列は図４のように表すことができ、各代表画像のグループ番号はその上または下に示されている。同一画像グルーピング処理を終わった段階の同一画像データバッファ１０７の内容は、実質的に図４の情報を表している。
【００３６】
［画像統合処理の具体例］
画像統合処理部１１３は、グルーピングされた各グループの画像の位置関係から画像の統合判定を行い、統合すべきグループの画像を統合する。ここに述べる具体例の基本的内容は、あるグループの画像の前又は後に別のあるグループの画像が常に出現する場合に、それらグループの画像を統合すべきと判断し、その統合を行い、統合後の画像に新たなグループ番号を割り当てるというものである。図５のフローチャートを参照し、処理内容をさらに詳しく説明する。
【００３７】
まず、グループＡとして一つのグループを選択する（ステップ５０１）。選択したグループの画像の数すなわち当該グループにグルーピングされた入力画像の数が２（一般的には、２以上のある整数）以上であるか調べ（ステップ５０３）、２未満すなわち１である場合には、ステップ５０１に戻り次のグループをグループＡとして選択する。
【００３８】
グループＡが決まると、それ以外のグループの中からグループＢとしての一つのグループを選択する（ステップ５０５）。選択したグループの画像の数が２
（一般的には、２以上のある整数）以上であるか調べる（ステップ５０７）。画像数が２未満ならば、ステップ５０５に戻り、別のグループをグループＢとして選ぶ。
【００３９】
グループＢが決まると、同一画像データバッファ１０７の内容を参照し、グループＢの画像が常にグループＡの画像の前隣又は後隣に出現するか調べる（ステップ５０９）。常に前隣又は後隣に出現する場合、位置関係の観点からは、当該グループＡの画像とグループＢの画像は統合されるべきと判断されるが、さらに、両グループの画像を統合した場合に、統合画像が１文字として妥当であるか否かを調べるため、統合画像の幅、高さ、縦横比が予め定めた基準を満たしているか調べる（ステップ５１１）。基準を満たしているならば、隣り合っているグループＡとグループＢの画像を統合し、統合した画像に新たなグループ番号を割り当て、統合内容に従って同一画像データバッファ１０７の内容を更新する（ステップ５１３）。ステップ５０５からステップ５１３までの処理ループ（図５の右側のループ）は、現在のグループＡとして選ばれたグループ以外の全てのグループに対し繰り返される。現在のグループＡに対する処理が終わると、ステップ５０１に戻り、別のグループをグループＡとして選び、同様の処理を繰り返す。
【００４０】
図２に示した文字画像列の場合、図４から明らかなように、グループ番号２の画像の右隣に常にグループ番号３の画像が出現する。そして、隣り合う両グループの画像を統合した画像は、幅、高さ、縦横比が１文字としての基準を満たす。したがって、隣り合う両グループの画像は統合され、統合された画像に新たなグループ番号（１４）が割り当てられる。他方、グループ番号４の画像については、図４から明らかなように、左隣にグループ番号３の画像又はグループ番号１０の画像が位置し、左隣に常に同じグループ番号の画像が存在するわけでなく、右隣についてもグループ番号５又はグループ番号２の画像が出現し、常に同じグループ番号の画像が存在するわけではない。よって、グループ番号４の画像は左右の画像とは統合されない。かくして、図６に示す統合処理結果が得られる。
【００４１】
［包含関係の検出と画像分離処理の具体例１］
図７のフローチャートを参照して画像分離処理の一例を説明する。まず、グループＡとして一つのグループを選択し（ステップ７０１）、グループＢとして一つのグループを選択する（ステップ７０２）。
【００４２】
次に、グループＡの代表画像がグループＢの代表画像に包含されているか包含関係を調べる（ステップ７０５）。具体的には、両グループの代表画像同士の左上コーナー、右上コーナー、左下コーナー、右下コーナーそれぞれについて位置合わせをし、小さいほうの代表画像の範囲内で画像の一致／不一致を判定する。この一致／不一致の判定方法は、例えば、小さいほうの代表画像の範囲内についてＥＯＲ画像を作成し、このＥＯＲ画像に対して２×２のマスク処理を行い、２×２の領域内に一定数以上（例えば３画素以上）の黒画素（２つの画像の画素値が異なる画素）が検出されたならば、２つの画像は不一致と判断する。すべての２×２の領域に一定数以上の黒画素が検出されないならば、一致と判断する。このような画像の一致／不一致の判定に関連した公知文献として前記米国特許第５，３０３，３１３号公報がある。
【００４３】
例えば、グループ番号１の代表画像とグループ番号７の代表画像については、図８に示すように、いずれのコーナーの位置合わせをしても画像は一致しないので、包含関係はないと判断される。これに対し、グループ番号１０の代表画像とグループ番号８の代表画像については、図９に示すように、左下コーナーを位置合わせした場合に一致するため、グループ番号８の代表画像はグループ番号１０の代表画像に包含されていると判断される。
【００４４】
ステップ７０５で包含されていないと判断された場合は、ステップ７０３に戻り別のグループがグループＢとして選ばれ、ステップ７０５の処理に進む。ステップ７０５で包含されていると判断された場合は、大きい方の画像つまりグループＢの代表画像から小さい方のグループＡの代表画像を除いた画像（Ｃ）とグループＡの代表画像との重なりの度合について判定を行う（ステップ７０７）。この例では、包含される側のグループＡの代表画像と画像Ｃとの重なり幅Ｋと、画像Ｃの幅Ｗｃの比を重なり（カーニング）の度合Ｏｌ＝Ｋ／Ｗｃとし、これがある値、例えば１／８より大きいときには、グループＢの画像を分離すべきでないと判断し、ステップ７０３に戻り別のグループをグループＢとして選ぶ。
【００４５】
重なりの度合Ｏｌが１／８以下であれば、重なり度合の観点からはグループＢの画像をグループＡの代表画像と、画像Ｃとに分離してよいと判断されるが、さらに、仮に分離したとして分離後の各画像が１文字として妥当であるか判断するため、各画像の幅、高さ、縦横比が予め定められた基準を満たすか調べる（ステップ７０９）。両方の画像がその基準を満足するならば、この分割を実際に実施し、画像Ｃに新たなグループ番号を割り当て、分割結果に従って同一画像データバッファ１０７の内容を更新する（ステップ７１０）。その後、ステップ７０３に戻り、別のグループＢについて同様の処理を繰り返す。
【００４６】
グループＡとして現在選ばれているグループに対して、それ以外のすべてのグループがグループＢとして順次選ばれ処理されたならば、ステップ７０１に戻り、次のグループがグループＡとして選ばれ、図７の右側に示すグループＢに関する処理が繰り返される。最後のグループをグループＡとした同様の処理が終わると、分離処理は完了する。
【００４７】
分割される例を図１０により説明する。グループＡとしてグループ番号８が選ばれ、グループＢとしてグループ番号１０が選ばれた場合である。図９に関連して説明したように、グループ番号１０とグループ番号８の代表画像は、左下コーナーを合わせた時に一致し、包含関係有りと判断される。そして、図１０に示すように、グループ番号１０の代表画像からグループ番号８の画像を除いた画像ＣとグループＡの代表画像との重なり幅Ｋが３画素、画像Ｃの幅Ｗｃが３５画素とすると、重なりの度合Ｏｌ＝３／３５は１／８より小さい。したがって、画像Ｃ及びグループ番号８の画像それぞれの幅、高さ、縦横比が基準を満たすならば、グループ番号１０の画像（ｅとａが接続した画像）はグループ番号８の画像と、画像Ｃとに分割され、画像Ｃには新たなグループ番号が割り当てられる。
【００４８】
図１１は分割されない例である。この例は、グループＢの代表画像がひらがな「ぱ」の画像、グループＡの代表画像が半濁点「゜」の画像の場合である。グループＢの画像からグループＡの画像を差し引いた画像Ｃと、グループＡの画像との重なりＫが１１画素、グループＡの画像の幅Ｗｃが１４画素であったとすると、重なりの度合ＯＬ＝１１／１４は１／８より大きいので、分割すべきでないと判断される。
【００４９】
なお、グループの画像数、すなわち、そのグループの代表画像で代表された画像の数はグループによって様々であり最小値は１である。処理の確度を向上させるため、ステップ７０１及びステップ７０３で、グループの画像数をチェックし、画像数が一定値より多いグループだけを処理対象にしてもよい。
【００５０】
［包含関係の検出と画像分離処理の具体例２］
図１２のフローチャートを参照し、画像分離処理の他の例を説明する。まず、一つのグループをグループＡとして選び（ステップ１２０１）、そのグループの画像数が一定の値Ｔｇより多いか調べる（ステップ１２０３）。画像数がＴｇより少ないときはステップ１２０１に戻り次のグループをグループＡとして選ぶ。
【００５１】
グループＡとしてのグループが決まると、グループＢとしてのグループを選ぶ（ステップ１２０５）。そして、グループＢの画像数がグループＡの画像数より多いか調べ（ステップ１２０７）、そうでなければステップ１２０５に戻りグループＢを選び直す。
【００５２】
グループＢの画像数がグループＡの画像数より多いときは、グループＢの代表画像がグループＡの代表画像に包含されているか判定する（ステップ１２０９
）。この包含関係の判定方法は図７のステップ７０５と同じである。包含されていないと判定した場合、ステップ１２０５に戻りグループＢを選び直す。
【００５３】
包含されていると判定した場合、グループＡの代表画像からグループＢの代表画像を差し引いた画像（Ｃ）の複雑度の判定を行う（ステップ１２１０）。ここで述べる例では、画像Ｃの平均ラン数（各ラインの黒ランの数を全ラインについて平均した値）を複雑度として用いる。平均ラン数は、直線線分については１になり、画像が複雑になるにつれて値が大きくなる。そして、平均ラン数が所定の値、例えば１．４１より大きい場合は、グループＡの画像をグループＢの代表画像と画像Ｃに分割して画像Ｃに新たなグループ番号を割り当て、分割結果に従って同一画像データバッファ１０７の内容を更新する（ステップ１２１２）。このように分割を行った場合、ステップ１２０１に戻りグループＡとしてのグループを選び直し、このグループに対して、分割が行われるまでグループＢを変更しながら同様の処理を繰り返す。平均ラン数が１．４１以下の場合、ステップ１２０５に戻りグループＢとしてのグループを選び直す。グループＡとして選ばれた一つのグループに対し、すべてのグループをグループＢとして処理しても、分割が行われない場合にはグループＡが選び直される。
【００５４】
ステップ１２１０の判定の例を図１３及び図１４により説明する。図１３は分割される例であり、グループＡとしてのグループ番号１０の代表画像にグループＢとしてのグループ番号８の画像が包含されることは前述の通りである。そして、グループ番号１０の代表画像からグループ番号８の代表画像を差し引いた画像Ｃの平均ラン数は例えば２．０１であり、１．４１より大きいので、グループＡの画像はグループ番号８の代表画像と画像Ｃに分割される。図１４は分割されない例であり、グループＡの代表画像からグループＢの代表画像を差し引いた画像Ｃは、ほぼ斜めの線１本になり、平均ラン数は１に近い値、例えば１．２２となり、これは１．４１以下であるので分割は行われない。
【００５５】
ここで、ステップ１２０７の目的であるが、かすれ気味の画像が入力された場合、画像が分離している場合が多いので、分離した場合の確度がかなり高いと考えられる場合にのみ画像の分離を行った方が良好な結果を得られる可能性が高い。このような場合、分離される側となるグループＡの画像数よりグループＢの画像数が多い場合にのみ分離処理の対象範囲とすれば、処理結果の確度の向上を期待でき、これがステップ１２０７の狙いである。
【００５６】
なお、ステップ１２１０とステップ１２１２の間に、前述したような、分割した場合の各画像の幅、高さ及び縦横比のチェックのためのステップを追加することもできる。
【００５７】
［包含関係の検出及び画像分離処理の具体例３］
図１５のフローチャートを参照し、画像分離処理の他の例を説明する。まずグループＡとしての一つのグループを選び（ステップ１５０１）、そのグループの画像数が所定値Ｔｇより多いか調べる（ステップ１５０３）。画像数がＴｇ以下ならば、ステップ１５０１に戻りグループＡとしてのグループを選び直す。
【００５８】
画像数がＴｇより多いグループＡが決まると、グループＢとしての一つのグループとグループＣとしての一つのグループを選ぶ（ステップ１５０７）。そして、グループＢの画像数及びグループＣの画像数が共にグループＡの画像数より多いか調べる（ステップ１５０９）。グループＢ，Ｃのいずれか一方の画像数がグループＡの画像数以下ならば、その画像数の少ないグループＢ又はＣとしてのグループを選び直す。グループＢ，Ｃの両方の画像数がグループＡの画像数以下ならば、ステップ１５０７に戻り、グループＡ，Ｂそれぞれを選び直す。ステップ１５０９の目的は図１２のステップ１２０７と同様、かすれ気味の画像の場合の処理の確度を向上させるためである。
【００５９】
このようにして、グループＡより画像数の多いグループＢ，Ｃの組が選ばれると、グループＢ，Ｃ両方の代表画像がグループＡの代表画像に包含されているか調べる（ステップ１５１１）。この包含関係の検出は図７のステップ７０５と同様である。すなわち、図８及び図９に関連して述べたように、グループＡの代表画像とグループＢの代表画像の間、及び、グループＡの代表画像とグループＣの代表画像の間で、左上コーナー、右上コーナー、左下コーナー又は右下コーナーを位置合わせし、グループＢ又はＣの代表画像の範囲内で画像の一致を調べ、一致するときにグループＢ又はＣの画像はグループＡの画像に包含されると判断する。
【００６０】
グループＢ又はＣの代表画像が包含されないと判断された場合には、ステップ１５０７に戻りグループＢ又はＣを選び直す。グループＢ，Ｃ両方の代表画像が包含されないと判断された場合には、ステップ１５０７に戻り両グループを選び直す。
【００６１】
このようして、グループＡの代表画像に包含されるグループＢ，Ｃの組み合わせが選ばれると、グループＢの画像とグループＣの画像が、グループＡの代表画像内での位置関係と常に同じ位置関係で出現するか調べる（ステップ１５１３）。そうである場合、グループＡの画像は一つの文字である可能性が低いので分割をせず、ステップ１５０７に戻りグループＢ，Ｃの組み合わせを選び直す。
【００６２】
グループＢ，Ｃが常に同じ位置関係では出現しない場合、グループＡの画像はグループＢ，Ｃの画像がつながった可能性が高いと考えられるので、グループＡの画像をグループＢの代表画像とグループＣの代表画像に分割し、分割結果に応じて同一画像データバッファ１０７の内容を更新する（ステップ１５１７）。そして、ステップ１５０１に戻り、グループＡを選び直し、また、ステップ１５０７に戻りグループＢ，Ｃの組み合わせを選び直し、新しいグループＡに対する同様の分割処理を開始する。グループＡを分割しないことに確定した場合も、同様にグループＡの選び直し、それに対する処理を開始する。
【００６３】
分割処理の例を説明する。例えば、入力画像に対する同一画像グルーピングにより図１６に示す結果が得られたとする。図４との違いは、最初の「好」はグループ番号２，３の画像に２分割されたが、最後の「好」は分割されずグループ番号１０が割り当てられたこと、それによりグループ番号が一部変わったことである。
【００６４】
図１７に示すように、グループ番号１０がグループＡに、グループ番号２がグループＢに、グループ番号３がグループＣに、それぞれ選ばれた場合を考える。グループ番号２，３の代表画像はいずれもグループ番号１０の代表画像に包含されている。そして、図１６に見られるように、グループ番号２の画像は必ずグループ番号３の画像の左側に位置し、グループ番号３の画像は必ずグループ番号２の画像の右側に位置し、この位置関係はグループ番号１０の代表画像内におけるグループ番号２，３の画像の位置関係と等しい。よって、グループ番号１０の画像は分割されない。
【００６５】
次に、図１８に示すように、グループ番号８がグループＡに、グループ番号７がグループＢに、グループ番号４がグループＣに、それぞれ選ばれた場合を考える。グループ番号７，４の代表画像はいずれもグループ番号８の代表画像に包含される。しかし、図１６に見られるように、グループ番号７の画像の右側には必ずしもグループ番号４の画像が位置しているわけではなく、グループ番号４の画像の左側には必ずしもグループ番号７の画像が位置しているわけでもない。よって、画像数の条件に問題がなければ、グループ番号８の画像はグループ番号７の代表画像とグループ番号４の代表画像とに分割される。
【００６６】
なお、ステップ１５１３の後に図７のステップ７０９と同様の判定ステップを追加してもよい。すなわち、分割後の各画像つまりグループＢ，Ｃの画像の幅、高さ及び縦横比が一定の基準を満たすか調べ、満たさない場合には分割の対象から除外するようにしてもよい。
【００６７】
【発明の効果】
請求項１乃至１３の各項記載の発明によれば、入力画像中の同一と判断される画像がグループ化され、画像の統合又は分離の判断と処理はグループ単位で行われる。そして、請求項１、２、３又は１２記載の発明によれば、あるグループの画像と別のあるグループの画像とを統合するか否かの判断材料として、それらグループの画像の位置関係が利用されるが、この位置関係は、プロポーショナル印字の英文や英文／英単語が混在した日本語文書における文字ピッチや文字サイズの変動によって直接的に影響を受けるものではない。また、請求項４乃至１１、１３の各項記載の発明によれば、あるグループの画像を分離するか否かの判断材料として、そのグループの画像と他のグループとの包含関係及び／又は包含されるグループの画像の位置関係が利用されるが、これも文字ピッチや文字サイズの変動によって直接的に影響を受けるものではない。したがって、請求項１乃至１３の各項記載の発明によれば、射影を利用して抽出した個々の文字矩形毎に、そのサイズに着目して統合／分離の判断をする従来方法に比べ、プロポーショナルピッチで印字された英文や英文／英単語が混在した日本語文書のような文字ピッチや文字サイズが変動する文書に対しても、画像の統合／分離を的確に行い、より精度のよい文字切り出しを達成できる。
【００６８】
請求項３又は１１記載の発明によれば、画像の統合又は分離に際し、統合または分離した場合の画像の文字としての妥当性を幅、高さ及び縦横比によりチェックするため、このチェックをしない場合よりも不適切な統合又は分離を減らし、文字切り出し精度を向上させることができる。
【００６９】
請求項２、６、７、９又は１０記載の発明によれば、統合又は分離の際にグループの画像数を考慮し、画像数の少ないグループの画像の不適切な統合又は分離を回避するため、グループの画像数を考慮しない方法にくらべ、かすれ気味の画像が入力するような場合の統合及び分離の確度が向上し、ひいては文字切り出し精度が向上する。
【００７０】
請求項４記載の発明によれば、あるグループの画像を分割する際に、その画像より包含されるグループの画像を取り除いた画像と同グループの画像との重なり度合を考慮することにより、半濁点のある文字等の誤分割を減らすることができる。
【００７１】
請求項５記載の発明によれば、あるグループの画像を分割する際に、その画像より包含されるグループの画像を取り除いた画像の図形の複雑さ、例えば平均ラン数を考慮することにより、かすれ画像が入力されたような場合に、単純なカタカナ等の誤分割を減らすことができる。
【図面の簡単な説明】
【図１】本発明を実施するための装置構成の一例を示すブロック図である。
【図２】入力画像群の例を示す図である。
【図３】同一画像グルーピングにより得られたグループの代表画像とグループ番号の例を示す図である。
【図４】図２の入力画像群をグループの代表画像で表現した図である。
【図５】画像統合処理の一例を示すフローチャートである。
【図６】画像統合処理の結果の一例を示す図である。
【図７】画像分離処理の一例を示すフローチャートである。
【図８】代表画像同士の包含関係の検出を例示する図である。
【図９】代表画像同士の包含関係の検出を例示する図である。
【図１０】グループＢの代表画像からそれに包含されるグループＡの代表画像を差し引いた画像Ｃと、グループＡの代表画像との重なり度合による分割判定を例示する図である。
【図１１】グループＢの代表画像からそれに包含されるグループＡの代表画像を差し引いた画像Ｃと、グループＡの代表画像との重なり度合による分割判定を例示する図である。
【図１２】画像分離処理の他の例を示すフローチャートである。
【図１３】グループＡの代表画像からそれに包含されるグループＢの代表画像を差し引いた画像Ｃの平均ラン数による分割判定を例示する図である。
【図１４】グループＡの代表画像からそれに包含されるグループＢの代表画像を差し引いた画像Ｃの平均ラン数による分割判定を例示する図である。
【図１５】画像分離処理の他の例を示すフローチャートである。
【図１６】  入力画像群に対する同一画像グルーピングの結果の他の例を示す図である。
【図１７】グループＡの代表画像に包含されるグループＢ，Ｃの画像の位置関係による分割判定を例示する図である。
【図１８】グループＡの代表画像に包含されるグループＢ，Ｃの画像の位置関係による分割判定を例示する図である。
【符号の説明】
１０１  画像入力部
１０３  画像バッファ
１０５  同一画像グルーピング部
１０７  同一画像データバッファ
１０９  包含関係検出部
１１１  包含関係データバッファ
１１３  画像統合処理部
１１５  画像分離処理部
１１７  文字切り出し結果出力部
【図１】
0003600343.tif 000002
【図２】
0003600343.tif 000003
【図３】
0003600343.tif 000004
【図４】
0003600343.tif 000005
【図５】
0003600343.tif 000006
【図６】
0003600343.tif 000007
【図７】
0003600343.tif 000008
【図８】
0003600343.tif 000009
【図９】
0003600343.tif 000010
【図１０】
0003600343.tif 000011
【図１１】
0003600343.tif 000012
【図１２】
0003600343.tif 000013
【図１３】
0003600343.tif 000014
【図１４】
0003600343.tif 000015
【図１５】
0003600343.tif 000016
【図１６】
0003600343.tif 000017
【図１７】
0003600343.tif 000018
【図１８】
0003600343.tif 000019