(57)【特許請求の範囲】
【請求項１】
入力された文書画像を２値化し、この２値化画像をその画像中の画素連結成分を求めた外接矩形データに変換し、この外接矩形の位置と大きさに基づき前記外接矩形の重心位置をピークとする射影情報を求めることにより行候補領域を検出し、この行候補領域が行方向に２分して検出されるとき、各外接矩形単位で求められた射影情報をそれぞれの行候補領域について重ね合わせることにより行候補領域の行射影情報を求め、一方の行射影情報の極大点の位置を他方の行射影情報と比較することによりそれぞれの行候補領域の統合の可否を判定し、この判定結果に基づいて行候補領域の統合を行うことにより文字行を検出し、
また、前記行候補領域の行射影情報から得られる射影値の極大値および極小値から行候補領域を行方向と直交する方向に複数行に分割すべきか否かを判定し、複数行に分割すべきと判定されたとき行射影情報から得られる射影値のうち、予め定められた閾値より値が大きい複数の領域をそれぞれ行領域として求め、それぞれの外接矩形の重心位置とそれぞれの行領域とを比較して、外接矩形の重心位置がどの行領域に含まれるかに基づき外接矩形をそれぞれの行領域に区別し、さらにどの行領域にも含まれない外接矩形の重心位置については、この外接矩形を前記極小値で二つに分割し、分割後の外接矩形はそれぞれの重心が属する側の行領域に含まれるものとして区別し、これら区別されたそれぞれの行の外接矩形を統合することにより文字行を検出することを特徴とする行検出方法。
【請求項２】
文書画像を光電変換して入力する画像入力手段と、
この画像入力手段で入力された画像を２値化し、この２値化画像をその画像中の画素連結成分を求めた外接矩形データに変換する変換手段と、
この変換手段により変換された前記外接矩形データに基づき外接矩形を統合して複数の行候補領域を検出する行候補検出手段と、
この行候補検出手段で検出された行候補ごとに、それぞれの行候補領域に属する外接矩形データに基づき、それぞれの外接矩形単位の射影情報を求め、それぞれの外接矩形の射影情報に基づき前記行候補領域の行方向射影情報を算出する算出手段と、
この算出手段で算出された行候補領域の行方向射影情報に基づき文字行を検出する文字行検出手段と、
この文字行検出手段で検出された文字行から文字を検出して文字認識を行う文字認識手段とを備え、
前記文字行検出手段は、
前記行候補検出手段で検出された行候補領域が行方向に２分して検出されるとき、前記算出手段で算出された一方の行候補領域の行射影情報の極大点の位置を他方の行候補領域の行射影情報と比較することによりそれぞれの行候補領域の統合の可否を判定し、この判定結果に基づいて行候補領域の統合を行うことにより文字行を検出し、
また、前記行候補検出手段で検出された行候補領域の行射影情報から得られる射影値の極大値および極小値から行候補領域を行方向と直交する方向に複数行に分割すべきか否かを判定し、複数行に分割すべきと判定されたとき行射影情報から得られる射影値のうち、予め定められた閾値より値が大きい複数の領域をそれぞれ行領域として求め、それぞれの外接矩形の重心位置とそれぞれの行領域とを比較して、外接矩形の重心位置がどの行領域に含まれるかに基づき外接矩形をそれぞれの行領域に区別し、さらにどの行領域にも含まれない外接矩形の重心位置については、この外接矩形を前記極小値で二つに分割し、分割後の外接矩形はそれぞれの重心が属する側の行領域に含まれるものとして区別し、これら区別されたそれぞれの行の外接矩形を統合することにより文字行を検出することを特徴とする文字認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば、光学的文字読取装置（ＯＣＲ）等において、紙に書かれた文書を直接読み取って文字認識する際に、その文書画像から文字行を検出する文字検出方法および、それを用いた文字認識装置に関する。
【０００２】
【従来の技術】
例えば、手書きまたは活字で記載された書状をスキャナ等の画像読取装置で読取り、その読み取られた文書画像から文字を認識して文章情報を取り出す文字認識装置において、文書画像から文字または文字列を切り出す処理が必要である。
【０００３】
文字列を検出する方法としては、例えば、画像上の黒画素の固まりに外接する矩形情報を求め、それらを統合して文字列を検出する方法等がある。この文字行検出方法は、まず、スキャナ等により読み取られた書状の画像に対し、微分・２値化処理を施して２値化画像を求める。さらに、２値化画像上の黒画素の連結している画像領域を求めて、その領域に外接する矩形情報を求める。その後、求めた各矩形領域の形状・位置などを基に、外接矩形領域を統合して行候補領域を切り出す。
【０００４】
このようにして切り出された行領域候補は、たとえば、スキャナ等で読み取られた書状が汚れていたり、行が斜めに書かれていたり、あるいは同一行内で文字サイズが不均等であるために外接矩形情報が不正確で、本来１行であったものが複数行に分かれて切り出されたり、隣合う複数の行がまとめて１行として切り出されたりする場合がある。
【０００５】
そこで、従来の行検出方法では、各行候補領域内の射影情報を算出して行候補領域の統合・分割を行うようになっている。すなわち、行候補領域の２値化画像が切り出されると（図１１のステップＳ１００）、図１１のフローチャートに示した手順に従って行方向の射影情報が算出される。
【０００６】
まず、行領域候補内の各画素を順に評価して（ステップＳ１０１）、その画素が黒画素であった場合は（ステップＳ１０３）、行方向にその画素を射影した位置の射影値を増やし射影情報を更新する（ステップＳ１０４）。
【０００７】
全ての画素についての評価が終了すると行方向の射影情報が求まる（ステップＳ１０５）。例えば、図３（ａ）のような行画像内の黒画素を行方向に射影した場合、図３（ｃ）のような結果を得る。
【０００８】
このようにして求められた各行候補領域の射影情報をもとに、行候補の分離位置の検出あるいは各行候補領域の統合の可否を判断し、最終的に行を検出するようになっていた。
【０００９】
【発明が解決しようとする課題】
しかし、従来の行検出方法では、各行候補領域内の画素を１つずつ黒画素か否か判定して、黒画素である場合は現在の射影情報に加算するといった判定処理が必須であるので一行あたりの計算量が多くなり、また、高速に演算するためには専用のハードウェアが必要であった。
【００１０】
また、行候補の分割・統合処理を何度も実行する場合には処理時間が長くかかるという問題点があった。
さらに、行に属する文字を画素情報として扱っているので、例えば、書状に文字が斜めに書かれている場合等の文字行の検出の精度が低いという問題点があった。
そこで、本発明は、高速で、行検出精度の高い行検出方法およびそれを用いた文字認識装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の行検出方法は、入力された文書画像を２値化し、この２値化画像をその画像中の画素連結成分を求めた外接矩形データに変換し、この外接矩形データに基づき外接矩形を統合して行候補領域を検出し、この検出された行候補領域に属する外接矩形データに基づき、それぞれの外接矩形単位の射影情報を求め、それぞれの外接矩形の射影情報に基づき前記行候補領域の行方向射影情報を算出し、この行方向射影情報に基づき、前記行候補領域から文字行を検出することにより、高速でしかも精度の高い文字行検出が行える。
【００１２】
また、前記外接矩形の位置と大きさに基づき前記外接矩形の射影情報を求め、各行候補領域毎にそれに属する全ての外接矩形の射影情報を重ね合わせることにより前記行候補領域のそれぞれの行方向射影情報を算出することにより、射影情報の計算の高速化が図れる。
【００１３】
また、前記外接矩形の位置と大きさに基づき前記外接矩形の重心位置をピークとする射影情報を求め、各行候補領域毎にそれに属する全ての外接矩形の射影情報を重ね合わせることにより前記行候補領域のそれぞれの行方向射影情報を算出することにより、射影情報の計算の高速化が図れる。
【００１４】
また、前記行候補領域の行方向射影情報から得られる射影値の極大値および極小値から行候補領域を行方向と直交する方向に複数行に分割すべきか否かを判定し、複数行に分割すべきと判定されたとき行方向射影情報の極小値に基づき行分割位置を求め、それぞれの外接矩形の重心位置と行分割位置とを比較することにより外接矩形を複数の行に区分し、この区分されたそれぞれの行の外接矩形を統合することにより文字行を検出することにより、文字行検出が高速に、しかも高精度に行える。
【００１５】
また、前記行候補領域の行方向射影情報から得られる射影値の極大値および極小値から行候補領域を行方向と直交する方向に複数行に分割すべきか否かを判定し、複数行に分割すべきと判定されたとき行方向射影情報に基づいてそれぞれの行領域を求め、それぞれの外接矩形の重心位置と行領域とを比較して外接矩形をそれぞれの行に区分し、この区分されたそれぞれの行の外接矩形を統合することにより文字行を検出することにより、文字行検出が高速に行え、しかも高精度に行える。
【００１６】
また、前記行候補領域の行方向射影情報から得られる射影値の極大値および極小値から行候補領域を行方向と直交する方向に複数行に分割すべきか否かを判定し、複数行に分割すべきと判定されたとき行方向射影情報に基づいてそれぞれの行領域を求め、それぞれの外接矩形の重心位置と行領域とを比較して、当該外接矩形の重心位置がそれぞれの行領域間に存在するとき、当該外接矩形をそれぞれの行領域に分割することにより文字行を検出することにより、文字行検出が高速に行え、しかも高精度に行える。
【００１７】
また、本発明の行検出方法は、入力された文書画像を２値化し、この２値化画像をその画像中の画素連結成分を求めた外接矩形データに変換し、この外接矩形データに基づき行候補領域を検出し、この行候補領域が行方向に２分して検出されるとき、各外接矩形単位で求められた射影情報をそれぞれの行候補領域について重ね合わせることにより行候補領域の行射影情報を求め、一方の行射影情報の極大点の位置を他方の行射影情報と比較することによりそれぞれの行候補領域の統合の可否を判定し、この判定結果に基づいて行候補領域の統合を行うことにより文字行を検出することにより文字行検出が高速に行え、しかも高精度に行える。
【００１８】
本発明の文字認識装置は、文書画像を光電変換して入力する画像入力手段と、この画像入力手段で入力された画像を２値化し、この２値化画像をその画像中の画素連結成分を求めた外接矩形データに変換する変換手段と、
この変換手段により変換された前記外接矩形データに基づき外接矩形を統合して行候補領域を検出する行候補検出手段と、
この行候補検出手段で検出された行候補領域に属する外接矩形データに基づき、それぞれの外接矩形単位の射影情報を求め、それぞれの外接矩形の射影情報に基づき前記行候補領域の行方向射影情報を算出する算出手段と、
この算出手段で算出された行候補領域の行方向射影情報に基づき文字行を検出する文字行検出手段と、
この文字行検出手段で検出された文字行から文字を検出して文字認識を行う文字認識手段と、
を具備しすることにより、高速でしかも精度の高い文字行検出が行え、従って、高速でしかも文字認識率の高い文字認識が可能となる。
【００１９】
また、前記算出手段は、前記外接矩形の位置と大きさに基づき前記外接矩形の射影情報を求め、行候補領域に属する全ての外接矩形の射影情報を重ね合わせることにより前記行候補領域の行方向射影情報を算出することにより、射影情報の計算の高速化が図れる。
【００２０】
また、前記算出手段は、前記外接矩形の位置と大きさに基づき前記外接矩形の重心位置をピークとする射影情報を求め、行候補領域に属する全ての外接矩形の射影情報を重ね合わせることにより前記行候補領域の行方向射影情報を算出することにより、射影情報の計算の高速化が図れる。
【００２１】
また、前記文字行検出手段は、前記算出手段で算出された行候補領域の行方向射影情報から得られる射影値の極大値および極小値から行候補領域を行方向と直交する方向に複数行に分割すべきか否かを判定し、複数行に分割すべきと判定されたとき行方向射影情報の極小値に基づき行分割位置を求め、それぞれの外接矩形の重心位置と行分割位置とを比較することにより外接矩形を複数の行に区分し、この区分されたそれぞれの行の外接矩形を統合することにより文字行を検出することにより、文字行検出が高速に行え、しかも高精度に行える。
【００２２】
また、前記文字行検出手段は、前記算出手段で算出された行候補領域の行方向射影情報から得られる射影値の極大値および極小値から行候補領域を行方向と直交する方向に複数行に分割すべきか否かを判定し、複数行に分割すべきと判定されたとき行方向射影情報に基づいてそれぞれの行領域を求め、それぞれの外接矩形の重心位置と行領域とを比較して外接矩形をそれぞれの行に区分し、この区分されたそれぞれの行の外接矩形を統合することにより文字行を検出することにより、文字行検出が高速に行え、しかも高精度に行える。
【００２３】
また、前記文字行検出手段は、前記算出手段で算出された行候補領域の行方向射影情報から得られる射影値の極大値および極小値から行候補領域を行方向と直交する方向に複数行に分割すべきか否かを判定し、複数行に分割すべきと判定されたとき行方向射影情報に基づいてそれぞれの行領域を求め、それぞれの外接矩形の重心位置と行領域とを比較して、当該外接矩形の重心位置がそれぞれの行領域間に存在するとき、当該外接矩形をそれぞれの行領域に分割することにより文字行を検出することにより、文字行検出が高速に行え、しかも高精度に行える。
【００２４】
また、前記文字行検出手段は、
前記行候補検出手段で検出された行候補領域が行方向に２分して検出されるとき、前記算出手段で算出された一方の行候補領域の行方向射影情報の極大点の位置を他方の行候補領域の行射影情報と比較することによりそれぞれの行候補領域の統合の可否を判定し、この判定結果に基づいて行候補領域の統合を行うことにより文字行を検出することにより、文字行検出が高速に行え、しかも高精度に行える。
【００２５】
【発明の実施の形態】
以下、本発明の一実施形態について図面を参照して説明する。
図１は、本実施形態に係る行検出方法を適用した文字認識装置の構成を示したもので、例えば、コンピュータ用の光学的文字読取装置（ＯＣＲ）として紙に書かれた文字を直接読み取ったり、郵便物処理システム等に用いられて書状上の画像から宛名情報を認識したりするものである。
【００２６】
図１において、画像入力部１は、スキャナ等から構成され、例えば書状上の画像を光学的に読取り電気信号に変換して出力するようになっている。なお、ここで扱う文字は手書き文字であっても活字文字であってもよい。
【００２７】
画像入力部１で読み取られた書状の文書画像に対し、２値化処理部２で所定の２値化処理を施して２値化画像を求め、それを黒画素連結領域抽出部３に送る。黒画素連結領域抽出部３は、文書の２値化画像の黒画素の連結している領域を抽出して、その各領域に外接する矩形情報を求めるようになっている。ここで求められた各黒画素連結領域の外接矩形情報は候補検出部４に送られる。
【００２８】
行候補検出部４は、各矩形情報に含まれる各矩形領域の形状・位置などを基に、外接矩形領域を統合して行候補領域を切り出して、その行候補の矩形情報を抽出するようになっている。各行候補領域の矩形情報、および、それに含まれる黒画素連結領域の外接矩形情報（以下、黒画素外接矩形情報と呼ぶこともある）は所定のメモリに記憶される。
【００２９】
行方向射影情報算出部５は、切り出された行候補のそれぞれについて、その行方向の射影情報を算出するようになっている。その詳細は後述する。
行の分割・統合部６は、算出された射影情報に基づき、行候補領域の分割・統合処理を行って最終的に文字行の検出を行うようになっている。その詳細は後述する。
【００３０】
文字認識部７は、検出された文字行から文字を検出して、具備された辞書８を参照して文字認識を行うようになっている。
本発明の行検出方法は、特に、行方向射影情報算出部５、行の分割・統合部６の処理に特徴付けられるものである。
【００３１】
次に、行方向射影情報算出部５における行候補領域の行方向射影情報の算出処理について、図２に示すフローチャートを参照して説明する。
まず射影情報を求めたい行候補の矩形情報と、その行候補に属するｎ個（ｎ＞１）の黒画素外接矩形情報を所定のメモリから読み出す（ステップＳ１）。
【００３２】
次に、ｎ個の黒画素外接矩形のそれぞれについて（ステップＳ２）、行候補内での位置および形状に基づき、後述する手順に従って、関数Ｆi （ｘ）（１＜ｉ＜ｎ）を求める（ステップＳ４）。このとき、ｘ軸方向は行方向と垂直な方向に取り、座標系の取り方は行に対する相対座標系であってもよいし、書状の座標系をそのまま使用しても良い。
【００３３】
その行候補に属する全ての黒画素外接矩形についての関数Ｆi （ｘ）を求めたら（ステップＳ３〜ステップＳ５）、ステップＳ６に進む。
ステップＳ６では、全て（ｉ＝１〜ｎ）の黒画素外接矩形についての関数Ｆi （ｘ）を加算した式（１）で定義されるＧ（ｘ）を算出する。
【００３４】
【数１】
0004011646.tif 000002
【００３５】
すなわち、Ｇ（ｘ）は、黒画素外接矩形情報から算出した行方向の射影情報とみなすことができる。
例えば、画像入力部１で読み取られた書状上の画像から検出された行候補が図３（ａ）で示すものであるとき、この行候補は、図３（ｂ）に示すような黒画素外接矩形から構成されているものとする。このとき、図２の処理が実行されて、最終的にステップＳ６において算出される行方向射影情報Ｇ（ｘ）は、図３（ｃ）に示すような形状の射影情報を表現するものとなる。
【００３６】
次に、黒画素外接矩形から関数Ｆｉ（ｘ）を算出する方法の一具体例について図４を参照して説明する。
図４において、行候補領域２１に対する相対座標系を考え、行方向にＹ軸、行垂直方向（行方向と直交する方向）にＸ軸を取る。行候補領域２１に属する第ｉ番目の黒画素外接矩形２２がＸ軸方向のＸｓからＸｅの範囲に存在している場合、Ｆｉ（ｘ）は式（２）で定義する。
【００３７】
【数２】
0004011646.tif 000003
【００３８】
式（２）において、定数ａ＝１とした場合を図４に示す。なお、定数ａの値は「１」に限らず、他の値であってもよい。
式（２）で示す関数Ｆｉ（ｘ）は、図４に示すように、黒画素外接矩形２２の行垂直方向（ｘ方向）に占める範囲ΔＸ（＝Ｘｅ−Ｘｓ）の中心（Ｘｓ＋ΔＸ／２）において最大値（例えば、ΔＸ／２）、黒画素外接矩形２２のｘ方向の２つの端点で最小値（例えば、「０」）をとるような二等辺三角形状のものであるが、これは、一般に文字行の行中心に文字線密度が集中して射影値が高くなることに対応している。すなわち、関数Ｆｉ（ｘ）は、行の重心に射影値のピークがくるように定義するのが望ましく、特に、式（２）に限定するものではない。
【００３９】
式（２）において、ａは定数としているが、ａは黒画素外接矩形の位置・形状の関数であってもよい。
次式（３）は、式（２）で定義されるＦｉ（ｘ）のａの部分がΔＸi とΔＹi の関数である場合の一例である。ここで、ΔＸi とΔＹi をそれぞれ
ΔＸi （＝Ｘei−Ｘsi）
ΔＹi （＝Ｙei−Ｙsi）
とする。
【００４０】
【数３】
0004011646.tif 000004
式（３）において、定数ａ＝１とした場合を図５に示す。なお、定数ａの値は  「１」に限らず、他の値であってもよい。
【００４１】
式（３）の関数Ｅは、黒画素外接矩形ｉの位置の関数であってもよい。
次式（４）は、関数Ｅが黒画素外接矩形ｉの重心の位置（Ｘgi、Ｙgi）の関数である場合の一例である。ここで、
（Ｘgi、Ｙgi）＝（（Ｘｓｉ＋Ｘｅｉ）／２、（Ｙｓｉ＋Ｙｅｉ）／２）
とする。
【００４２】
【数４】
0004011646.tif 000005
【００４３】
式（４）において、ａ＝１、ｂ＝１とした場合を図６に示す。なお、図６では、Ｙ１の値は定数としているが、何らかの関数で定義されるものであってもよく、例えば、黒画素外接矩形が属する行領域位置情報から算出されるものであってもよい。
また、関数Ｆｉ（ｘ）は、式（５）に示すように、ｎ（≧２）次式であってもよい。
【００４４】
【数５】
0004011646.tif 000006
【００４５】
式（５）において、定数ａ＝１、ｎ＝２とした場合を図７に示す。なお、式（５）において、定数ａは「１」以外の値であってもよい。
さらに、関数Ｆｉ（ｘ）は二等辺三角形状に限らず、例えば、台形状のものでもよい。その場合の関数Ｆｉ（ｘ）を式（６）に示す。
【００４６】
【数６】
0004011646.tif 000007
【００４７】
式（６）において、定数ａ＝３、ｂ＝２／３とした場合を図８に示す。式（６）で定義した関数Ｑi は、ΔＸｉのみの関数であり、ａ、ｂは定数としているが、ａ、ｂは、黒画素外接矩形の位置・形状の関数であってもよい。
【００４８】
このように、外接矩形単位の射影情報を各黒画素の加算により求める代わりに簡易な関数によって簡略的に求めることにより高速な処理が可能となるものである。
【００４９】
また、図４〜図８では、黒画素外接矩形の座標系として、行に対する相対座標を用いる場合を扱っているが、書状画像の座標系を使用してもよい。
さて、行候補領域２１に属する全ての黒画素外接矩形から算出された関数Ｆｉ（ｘ）を加算することにより、式（１）より、行候補領域２１の行方向射影情報Ｇ（ｘ）が得られるわけであるが、この行方向射影情報Ｇ（ｘ）は、結局、行候補領域２１の画素点分布射影を表していることになる。そして、行方向射影情報Ｇ（ｘ）の極大点の位置が行候補領域２１の重心位置にほぼ一致してただ１つあるとき、その行候補領域は分割する必要のない文字行である可能性が非常に高いことになる。
【００５０】
次に、行の分割・統合部６における行の分割処理について、図９に示すフローチャートを参照して説明する。
図１の行候補検出部４では、例えば、書状が汚れていたり、行が斜めに書かれていたり、文字サイズが不均一であるといった場合に、隣合う複数の行がまとめて１つの行候補領域として検出される可能性が高い。
【００５１】
そこで、本来複数の行であるものがまとめて１行として検出された行を分割する場合には、従来手法では行候補領域内の２値化画像の画素を行方向に射影して作成した射影情報で極大値・極小値を取る位置を見つけ、最小の極小値があらかじめ用意した方法で求まる基準値より小さい場合は射影情報が最小極小値をとる位置で行を行垂直方向に２つに分割する。
【００５２】
しかし、この従来手法では、画素単位に処理を行っていたため、書状の座標系に対し文字行が傾いて記載されている場合、書状から行情報を切り出した時に隣合う行の領域同士が重なり合っており、行分割の際に隣接行の一部を取り込んで再分割されてしまうといった問題点がある。
【００５３】
そこで、本発明に係る行分割処理は、行候補領域内の黒画素外接矩形情報を用いて、行の分割位置を求めることを特徴とする。
以下、行候補領域の行方向にｙ軸、行垂直方向にｘ軸を取って説明する。
【００５４】
まず、行方向射影情報算出部５で算出された各行候補領域の行方向射影情報Ｇ（ｘ）の最小極小値の位置αを求める（ステップＳ１０）。
すなわち、図１０（ａ）に示すように、行候補領域３１の行方向射影情報Ｇ（ｘ）から行候補領域３１の画素点分布射影３２が２つの極大点Ａ、Ｂを持ち、その間に最小極小値が１つ存在する場合、この行候補領域３１は２つの行が混じり合っている可能性が高い。
【００５５】
この最小極小値が予め定められた基準値と比較し、基準値より小さい場合は行を直線ｘ＝α（３３）を基準に行垂直方向に分割することになる。
行を分割する際には、各黒画素外接矩形について重心位置をもとめ（図１０の×印）、重心がｘ＝αを境にしたどちら側に位置するかを評価する。例えば、黒画素外接矩形の重心が図１０の極大点位置Ａに近い場合はＡ側の、極大点位置Ｂに近い場合はＢ側の行に属するものと判断し、それぞれを区別して登録する（ステップＳ１２）。
【００５６】
行候補領域３１内の全黒画素外接矩形についてステップＳ１１、ステップＳ１２の評価が終ると、図１０（ｂ）に示すように、Ａ側に属する黒画素外接矩形を統合することによって新たな行３５を抽出する。同様にＢ側に属する黒画素外接矩形を統合することによって新たな行３６を抽出する（ステップＳ１３）。
【００５７】
次に、行の分割・統合部６における、他の行の分割処理について、図１１に示すフローチャートを参照して説明する。すなわち、ここでは、隣り合う行と文字の一部が接触しているために２行が１行として検出された行を再分割する処理について説明する。
【００５８】
以下、行候補領域の行方向にｙ軸、行垂直方向にｘ軸を取って説明する。
まず、図９、図１０の説明と同様、図１２（ａ）に示すような行方向射影情報算出部５で算出された各行候補領域４１の行方向射影情報Ｇ（ｘ）の最小極小値の位置αを求める（ステップＳ２０）。この最小極小値が予め定められた基準値と比較し、基準値より小さい場合は行を直線ｘ＝α（３３）を基準に行垂直方向に分割することになる。
【００５９】
行を分割する際には、まず、射影情報Ｇ（ｘ）のうち、文字の大きさ等を考慮した予め定められた閾値ｔｈより値が大きい範囲、すなわち、図１２の領域Ａａ、Ｂｂを求める。なお、ここでは、領域Ａａ、Ｂｂを求めるのに、閾値ｔｈを用いる方法を述べているが、直線ｘ＝αの両側からそれぞれ最大値の位置をもとめ、その位置から一定幅範囲をとってＡａ、Ｂｂとする方法も考えられる。
【００６０】
次に、各黒画素外接矩形について重心位置（図１２（ａ）の行候補領域４１内の各黒画素外接矩形の×印）を求め、重心が領域Ａａ、Ｂａのいずれに含まれているかを調べる（ステップＳ２３、ステップＳ２４）。領域ＡａまたはＢａに含まれている場合は、それぞれその黒画素外接矩形は、その含まれている領域側の行に属するものと判断し、それぞれを区別して登録する（ステップＳ２５、ステップＳ２６）。
【００６１】
黒画素外接矩形の重心が領域ＡａにもＢａにも含まれていない場合は、ステップＳ２７に進み、その黒画素外接矩形をｘ＝αの位置で２つに分割し、分割後の矩形はそれぞれの重心が属する側の行に属するものと判断して、それぞれを区別して登録する（ステップＳ２８）。
【００６２】
行候補領域４１内の全黒画素外接矩形について、ステップＳ２３〜ステップＳ２８評価が終了すると（ステップＳ２２）、図１２（ｂ）に示すように、領域Ａａ側に属する黒画素外接矩形を統合することによって新たな行５４を抽出する。同様に、領域Ｂａ側に属する黒画素外接矩形を統合することによって新たな行５５を抽出する（ステップＳ２９）。
【００６３】
次に、行の分割・統合部６における行の統合処理について、図１３に示すフローチャートを参照して説明する。
図１の行候補検出部４では、例えば、書状が汚れていたり、行が斜めに書かれていたり、文字サイズが不均一であるといった場合に、本来１行であったものが複数の行候補領域に分かれて検出される可能性が高い。
【００６４】
そこで、本発明の行の統合処理は、行候補領域内の黒画素外接矩形情報を用いて算出された行方向射影情報に基づき行の統合を行うものである。以下、行候補領域の行方向にｙ軸、行垂直方向にｘ軸を取って説明する。
【００６５】
図１４（ａ）に示すような２つの行候補領域ＳとＴを統合すべきか否は、まずｙ軸方向の行間距離Δｙが予め用意された固定のしきい値または予め用意された計算方法で算出されたしきい値よりも大きいか否かで判定する（ステップＳ３０）。もしもしきい値よりも大きい場合は行候補領域ＳとＴはそれぞれ別個の行であると判断できるので、これらの統合は行わない（ステップＳ３２）。一方、Δｙがしきい値よりも小さい場合はステップＳ３１に進む。
【００６６】
ステップＳ３１では、図１の行方向射影情報算出部５で算出された行候補領域ＳおよびＴのそれぞれの行方向射影情報ＧS （ｘ）、ＧT （ｘ）から、文字サイズ等を考慮した最も文字行らしい範囲ＰS 、ＰT （図１４（ｂ）参照）をあらかじめ用意された統計的な手法等を用いて算出する。
【００６７】
次に、ＧS （ｘ）の極大値がＰT のピーク範囲に含まれるか、または、ＧT （ｘ）の極大値がＰS のピーク範囲に含まれるかを調べる（ステップＳ３３、Ｓ３４）。
【００６８】
少なくとも一方の条件が満たされている場合は、図１４（ｃ）に示すように、行候補領域ＳとＴを統合し、行候補領域ＡとＢに属する黒画素外接矩形情報を１つにまとめることによって２行を統合したあとの行候補領域７２の矩形情報および、行候補領域７２内の黒画素外接矩形情報を得る（ステップＳ３６）。どちらの条件も満たされない場合は行候補領域ＡとＢの統合は行わない（ステップＳ３５）。
【００６９】
図１の行の分割・統合部６で、行候補検出部４で検出された全ての行候補に対し、図９、図１１、図１３に示した行の分割・統合処理を繰り返し実行して、各行候補の分割・統合が行われなくなった時点で最終的に文字行が検出されることになる。
【００７０】
以上、説明したように、上記実施形態によれば、画像入力部１で文書画像を入力し、その文書画像を２値化処理部２で２値化して得られた２値化画像を、黒画素連結領域抽出部３でその２値化画像中の画素連結成分を求めた外接矩形データに変換し、行候補検出部４で前記外接矩形データに基づき前記画素連結成分を統合して行候補領域を検出し、行方向射影情報算出部５で、この検出された行候補領域のそれぞれに属する外接矩形データに基づき、その外接矩形の射影情報を求めて、この外接矩形の射影情報に基づき前記行候補領域のそれぞれの行方向射影情報を算出し、この算出された各行候補領域の行方向射影情報と前記外接矩形データに基づき行分割・統合部６で前記行候補領域に対し分割・統合処理を施して文字行を検出し、文字認識部７でその検出された各文字行から文字を検出して文字認識を行うことにより、高速でしかも精度の高い文字行検出が行え、従って、高速でしかも文字認識率の高い文字認識が可能となる。
【００７１】
また、行方向射影情報算出部５は、外接矩形の位置と大きさに基づき前記外接矩形の重心位置をピークとする射影情報Ｆｉ（ｘ）を求め、各行候補領域毎に属する全ての外接矩形の射影情報Ｆｉ（ｘ）を重ね合わせて、行方向射影情報Ｇ（ｘ）を算出することにより、各行候補領域に属する黒画素外接矩形の位置情報と幅情報から行方向の射影情報が算出できるため行候補領域の射影情報計算が高速に実行できる。
【００７２】
また、行の分割・統合部６は、行候補領域の行方向射影情報から得られる射影値の極大点位置と、その行候補領域に属する各外接矩形の重心位置を比較して前記行候補領域の分割位置を求め、その分割位置に基づき行候補領域を分割し、隣接する２つの行候補領域の行方向射影情報を比較して、一方の行候補領域の行方向射影情報から得られる射影値の極大点位置が他方の行候補領域の行方向射影情報に基づき予め定められる範囲内にあるとき、前記２つの行候補領域を統合することにより、従来よりも同一時間内により多くの行の分割判定および統合処理が実行でき、行検出性能を向上できる。すなわち、行が書状に対し斜めに書かれている場合にも行の分割、統合判定処理が高精度に行え、各行候補は、その行候補に属する文字を画素情報としてでなく矩形情報の形で持っているので、隣接行からの文字の入り込みの検出が容易で、行の分割判定処理が高精度に行える。
【００７３】
【発明の効果】
以上説明したように、本発明によれば、高速でしかも行検出精度の高い行検出方法およびそれを用いた文字認識装置を提供できる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る行検出方法を用いた文字認識装置の構成を概略的に示した図。
【図２】行方向射影情報算出処理動作を説明するためのフローチャート。
【図３】行方向射影情報について説明するための図。
【図４】行方向射影情報算出処理の一例を具体的に説明するための図。
【図５】行方向射影情報算出処理の他の例を具体的に説明するための図。
【図６】行方向射影情報算出処理のさらに他の例を具体的に説明するための図。
【図７】行方向射影情報算出処理のさらに他の例を具体的に説明するための図。
【図８】行方向射影情報算出処理のさらに他の例をを具体的に説明するための図。
【図９】行の分割処理を説明するための図。
【図１０】図５の行の分割処理を具体的に説明するための図。
【図１１】その他の行の分割処理動作を説明するためのフローチャート。
【図１２】図７の行の分割処理を具体的に説明するための図。
【図１３】行の統合処理動作を説明するためのフローチャート。
【図１４】行の統合処理を具体的に説明するための図。
【図１５】従来の行方向射影情報算出処理動作を説明するためのフローチャート。
【符号の説明】
１…画像入力部、２…２値化処理部、３…黒画素連結領域抽出部、４…行候補領域検出部、５…行方向射影情報算出部、６…行の分割・統合部、７…文字認識部、８…辞書。
【図１】
0004011646.tif 000008
【図２】
0004011646.tif 000009
【図３】
0004011646.tif 000010
【図４】
0004011646.tif 000011
【図５】
0004011646.tif 000012
【図６】
0004011646.tif 000013
【図７】
0004011646.tif 000014
【図８】
0004011646.tif 000015
【図９】
0004011646.tif 000016
【図１０】
0004011646.tif 000017
【図１１】
0004011646.tif 000018
【図１２】
0004011646.tif 000019
【図１３】
0004011646.tif 000020
【図１４】
0004011646.tif 000021
【図１５】
0004011646.tif 000022