(57)【特許請求の範囲】
【請求項１】
画像を文字行画像に分割する方法であって、
入力画像を、それぞれ予め定められた幅を有し、並んで配置される複数の画像セグメントに分割するセグメント分割ステップと、
前記画像セグメントの各画素行における黒画素の数に基づいて各画像セグメントの画素分布統計を取得する第１画素分布統計ステップと、
画像全体の各画素行における黒画素の数に基づいて画像全体の画素分布統計を取得する第２画素分布統計ステップと、
前記第１画素分布統計ステップで取得した前記画像セグメントの画素分布統計に基づいて、前記画像セグメントを複数のセグメントブロックに分割する第１セグメントブロック分割ステップと、
前記第１セグメントブロック分割ステップで分割された複数のセグメントブロックのうち、適正に分割されなかったセグメントブロックを判定し、当該適正に分割されなかったと判定されたセグメントブロックを、前記第２画素分布統計ステップで取得した前記画像全体の画素分布統計に基づいて更に複数のセグメントブロックに分割する第２セグメントブロック分割ステップと、
前記第１セグメントブロック分割ステップで分割されたセグメントブロックと、前記第２セグメントブロック分割ステップで分割されたセグメントブロックとを、各セグメントブロックの位置に基づいて文字行画像に統合する行画像形成ステップと、
を有する方法。
【請求項２】
前記第１セグメントブロック分割ステップでは、前記画像セグメントの画素分布統計における白画素行を分割境界として使用することで、前記画像セグメントを複数のセグメントブロックに分割し、
当該分割されたセグメントブロックの平均高さに基づいて、過大なセグメントブロックが存在する否かを判定し、
過大なセグメントブロックが存在すると判定された場合は、前記第１画素分布統計ステップで取得した前記画像セグメントの画素分布統計に基づいて当該過大なセグメントブロックを更に複数のセグメントブロックに分割することを特徴とする請求項１に記載の方法。
【請求項３】
前記セグメントブロックの平均高さを取得して、過小なセグメントブロックが存在するか否かを判定し、その過小なセグメントブロックを隣接するセグメントブロックと結合する結合ステップを更に有することを特徴とする請求項１に記載の方法。
【請求項４】
前記第１セグメントブロック分割ステップでは、前記セグメントブロックを更に分割した後に、そのセグメントブロックの平均高さを再計算し、分割後のセグメントブロックが過大であるか再判定することを特徴とする請求項２に記載の方法。
【請求項５】
請求項１に記載の方法により入力画像を文字行画像に分割する行分割ステップと、
前記行分割ステップで得られた前記文字行画像から文字を抽出し認識する文字抽出・認識ステップと、
を有する文字画像認識方法。
【請求項６】
画像を文字行画像に分割する装置であって、
入力画像を、それぞれ予め定められた幅を有し、並んで配置される複数の画像セグメントに分割するセグメント分割手段と、
前記画像セグメントの各画素行における黒画素の数に基づいて各画像セグメントの画素分布統計を取得する第１画素分布統計手段と、
画像全体の各画素行における黒画素の数に基づいて画像全体の画素分布統計を取得する第２画素分布統計手段と、
前記第１画素分布統計手段により取得された前記画像セグメントの画素分布統計に基づいて、前記画像セグメントを複数のセグメントブロックに分割する第１セグメントブロック分割手段と、
前記第１セグメントブロック分割手段により分割された複数のセグメントブロックのうち、適正に分割されなかったセグメントブロックを判定し、当該適正に分割されなかったと判定されたセグメントブロックを、前記第２画素分布統計手段により取得された前記画像全体の画素分布統計に基づいて更に複数のセグメントブロックに分割する第２セグメントブロック分割手段と、
前記第１セグメントブロック分割手段により分割されたセグメントブロックと、前記第２セグメントブロック分割手段により分割されたセグメントブロックとを、各セグメントブロックの位置に基づいて文字行画像に統合する行画像形成手段と、
を有する装置。
【請求項７】
前記第１セグメントブロック分割手段は、前記画像セグメントの画素分布統計における白画素行を分割境界として使用することで、前記画像セグメントを複数のセグメントブロックに分割し、
当該分割されたセグメントブロックの平均高さに基づいて、過大なセグメントブロックが存在する否かを判定し、
過大なセグメントブロックが存在すると判定された場合は、前記第１画素分布統計荷より取得された前記画像セグメントの画素分布統計に基づいて当該過大なセグメントブロックを更に複数のセグメントブロックに分割することを特徴とする請求項６に記載の装置。
【請求項８】
前記セグメントブロックの平均高さを取得して、過小なセグメントブロックが存在するか否かを判定し、その過小なセグメントブロックを隣接するセグメントブロックと結合する結合手段を更に有することを特徴とする請求項６に記載の装置。
【請求項９】
前記第１セグメントブロック分割手段は、前記セグメントブロックを更に分割した後に、そのセグメントブロックの平均高さを再計算し、分割後のセグメントブロックが過大であるか再判定することを特徴とする請求項７に記載の装置。
【請求項１０】
請求項６に記載の装置によって入力画像を文字行画像に分割する行分割手段と、
前記行分割手段によって得られた前記文字行画像から文字を抽出し認識する文字抽出・認識手段と、
を有する文字画像認識装置。
【請求項１１】
コンピュータに、
入力画像を、それぞれ予め定められた幅を有し、並んで配置される複数の画像セグメントに分割するセグメント分割ステップ、
前記画像セグメントの各画素行における黒画素の数に基づいて各画像セグメントの画素分布統計を取得する第１画素分布統計ステップ、
画像全体の各画素行における黒画素の数に基づいて画像全体の画素分布統計を取得する第２画素分布統計ステップ、
前記第１画素分布統計ステップで取得した前記画像セグメントの画素分布統計に基づいて、前記画像セグメントを複数のセグメントブロックに分割する第１セグメントブロック分割ステップ、
前記第１セグメントブロック分割ステップで分割された複数のセグメントブロックのうち、適正に分割されなかったセグメントブロックを判定し、当該適正に分割されなかったと判定されたセグメントブロックを、前記第２画素分布統計ステップで取得した前記画像全体の画素分布統計に基づいて更に複数のセグメントブロックに分割する第２セグメントブロック分割ステップ、
前記第１セグメントブロック分割ステップで分割されたセグメントブロックと、前記第２セグメントブロック分割ステップで分割されたセグメントブロックとを、各セグメントブロックの位置に基づいて文字行画像に統合する行画像形成ステップ、
を実行させるためのプログラム。
【請求項１２】
コンピュータに、
入力画像を、それぞれ予め定められた幅を有し、並んで配置される複数の画像セグメントに分割するセグメント分割ステップ、
前記画像セグメントの各画素行における黒画素の数に基づいて各画像セグメントの画素分布統計を取得する第１画素分布統計ステップ、
画像全体の各画素行における黒画素の数に基づいて画像全体の画素分布統計を取得する第２画素分布統計ステップ、
前記第１画素分布統計ステップで取得した前記画像セグメントの画素分布統計に基づいて、前記画像セグメントを複数のセグメントブロックに分割する第１セグメントブロック分割ステップ、
前記第１セグメントブロック分割ステップで分割された複数のセグメントブロックのうち、適正に分割されなかったセグメントブロックを判定し、当該適正に分割されなかったと判定されたセグメントブロックを、前記第２画素分布統計ステップで取得した前記画像全体の画素分布統計に基づいて更に複数のセグメントブロックに分割する第２セグメントブロック分割ステップ、
前記第１セグメントブロック分割ステップで分割されたセグメントブロックと、前記第２セグメントブロック分割ステップで分割されたセグメントブロックとを、各セグメントブロックの位置に基づいて文字行画像に統合する行画像形成ステップ、
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文字画像を画像行に分割する方法および装置に関し、特に、文字画像認識のための行分割に関する。
【０００２】
【従来の技術】
従来の文書画像認識アルゴリズムは、図１Ａのフローチャートとして示される。図１Ｂは、従来の文書画像認識装置の構成の一例を示す。まず、ステップＳ１０１において、手段１１２は、入力手段１１１により（例えば走査などによる）入力された文書画像を文字画像行に分割する。ステップＳ１０２において、手段１１３は、各画像行中の文字を個々の文字に分割する。ステップＳ１０３において、手段１１４は、分割された各文字の特徴を抽出し、ステップＳ１０４において、文字の照合／認識を行なう。ステップＳ１０５において、出力手段１１５は、認識の結果を出力する。文書画像認識方法においては、画像の行分割の精度が文字認識の最終結果の精度に直接影響することになる。
【０００３】
従来の文字画像行分割アルゴリズムは、図２のフローチャートとして示される。まず、ステップＳ２０１において、入力文書画像は、水平方向に一定の幅（例えば、４００画素の幅）で幾つかの画像セグメントに分割される。ステップＳ２０２では、４００画素の幅の各画素行に含まれる黒画素（黒色の画素）の数の計算・記録が行なわれる。ステップＳ２０３において、各画像セグメントは、その中に含まれる白画素行（すなわち、黒画素の数が０個の画素行）に基づいて、垂直方向に複数のセグメントブロックに分割され、幅、高さ及び位置などのセグメントブロックに関する情報が記録される。
【０００４】
次に、ステップＳ２０４において、セグメントブロックの平均の高さなどが、過大なセグメントブロックのその後の分割および過小なセグメントブロックの結合の際の基準として計算される。ステップＳ２０５において、過大なセグメントブロックは、セグメントブロックの平均高さに基づいて更に分割される。ステップＳ２０６において、セグメントブロックのチェックが行なわれ、過小なセグメントブロックは隣接するセグメントブロックに結合される。ステップＳ２０７において、セグメントブロックは、セグメントブロックの位置に基づいて画像行に統合される。
【０００５】
例えば、図３において、文書画像は、幅方向に２つの画像セグメントに分割することができる。第１のセグメントに関し、各画素行における黒画素の分布統計が図４に示される。図４において、横軸はセグメント中の画素行を表し、縦軸は各画素行における黒画素の数を表す。第２のセグメントに関し、各画素行における黒画素の分布統計が図５に示される。
【０００６】
従来のアルゴリズム（図２参照）を使用して図３に示す文字画像を分割する場合、まず、各画素行の画素の分布統計（図４及び図５参照）を使用することによって、２つのセグメントは黒画素の数が０である白画素行に基づいて、それぞれ複数のセグメントブロックに分割される。続いて、セグメントブロックの平均高さが計算され、分割済みのセグメントブロックを更に分割する際の基準として使用される。各セグメントの過大なセグメントブロック、すなわち、セグメントブロックの平均高さを所定の程度で上回るセグメントブロックは、セグメント中の黒画素の分布統計の特性図における山と谷の関係に基づいて更に分割される。各セグメント中の、所定の程度でセグメントブロックの平均高さを下回るセグメントブロックは、隣接するセグメントブロックに結合される。
【０００７】
【発明が解決しようとする課題】
図３の文書画像を図２に示すフローチャートに従って画像行に分割すると、文字認識の結果は図９に示すようになる。この結果から、行分割におけるエラーによって、元々２１行であった有効テキストは、わずか８行に分割されてしまっている。加えて、画像行の位置およびサイズにおけるエラーにより、認識結果は非常に悪い。
【０００８】
このようなことから、本発明は、文書画像の文字行分割の精度、特に、多少のノイズを有する文書画像の文字行分割の精度を向上し、もって文字認識の精度を向上させることを目的とする。
【０００９】
【課題を解決するための手段】
本発明によれば、画像を文字行画像に分割する方法であって、入力画像を、各々所定の幅を有し、並んで配置される複数の画像セグメントに分割するセグメント分割ステップと、前記画像セグメントの各画素行における黒画素の数に基づいて各画像セグメントの画素分布統計を取得し、画像全体の各画素行における黒画素の数に基づいて画像全体の画素分布統計を取得する画素分布統計ステップと、前記画素分布統計ステップで取得した前記画像セグメントの画素分布統計と前記画像全体の画素分布統計とに基づいて、前記画像セグメントを複数のセグメントブロックに分割するセグメントブロック形成ステップと、前記分割されたセグメントブロックを文字行画像に統合する行画像形成ステップとを有する方法が提供される。
【００１０】
また、本発明によれば、画像を文字行画像に分割する装置であって、入力画像を、各々が所定の幅を有し、並んで配置される複数の画像セグメントに分割するセグメント分割手段と、前記画像セグメントの各画素行における黒画素の数に基づいて各画像セグメントの画素分布統計を取得し、画像全体の各画素行における黒画素の数に基づいて画像全体の画素分布統計を取得する画素分布統計手段と、前記画素分布統計手段により取得された前記画像セグメントの画素分布統計と前記画像全体の画素分布統計とに基づいて、前記画像セグメントを複数のセグメントブロックに分割するセグメントブロック形成手段と、前記分割されたセグメントブロックを文字行画像に統合する行画像形成手段とを有する装置が提供される。
【００１１】
また、本発明によれば、上述の方法により入力画像を文字行画像に分割する行分割ステップと、前記行分割ステップで得られた前記文字行画像から文字を抽出し認識する文字抽出・認識ステップとを有する文字画像認識方法が提供される。
【００１２】
また、本発明によれば、上述の装置によって入力画像を文字行画像に分割する行分割手段と、前記行分割手段によって得られた前記文字行画像から文字を抽出し認識する文字抽出・認識手段とを有する文字画像認識装置が提供される。
【００１３】
また、本発明によれば、入力画像を、各々所定の幅を有し、並んで配置される複数の画像セグメントに分割するセグメント分割ステップ、前記画像セグメントの各画素行における黒画素の数に基づいて各画像セグメントの画素分布統計を取得し、画像全体の各画素行における黒画素の数に基づいて画像全体の画素分布統計を取得する画素分布統計ステップ、前記画素分布統計ステップで取得した前記画像セグメントの画素分布統計と前記画像全体の画素分布統計とに基づいて、前記画像セグメントを複数のセグメントブロックに分割するセグメントブロック形成ステップ、前記分割されたセグメントブロックを文字行画像に統合する行画像形成ステップ、をコンピュータに実行させるためのプログラムが提供される。
【００１４】
また、本発明によれば、入力画像を、各々所定の幅を有し、並んで配置される複数の画像セグメントに分割するセグメント分割ステップ、記画像セグメントの各画素行における黒画素の数に基づいて各画像セグメントの画素分布統計を取得し、画像全体の各画素行における黒画素の数に基づいて画像全体の画素分布統計を取得する画素分布統計ステップ、前記画素分布統計ステップで取得した前記画像セグメントの画素分布統計と前記画像全体の画素分布統計とに基づいて、前記画像セグメントを複数のセグメントブロックに分割するセグメントブロック形成ステップ、前記分割されたセグメントブロックを文字行画像に統合する行画像形成ステップ、をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体も提供される。
【００１５】
【発明の実施の形態】
以下、図面を参照しながら本発明の好適な実施形態を説明する。
【００１６】
画像のセグメントにおけるノイズが比較的特定の領域に集中している場合には、そのノイズが領域中の白画素行を「覆ってしまう」であろうことが、従来のアルゴリズムの解析により明らかである。ノイズが激しい場合、画素分布統計の特性図における「山」と「谷」との間の差が減少し、テキスト行の位置の判定が更に困難になる。したがって、本件発明者は、新たな文字画像行分割の方法を提案する（図６Ａを参照されたい。）。
【００１７】
図６Ｃに示すように、文書画像入力手段６０１（スキャナなど）によって、文書画像が、文書画像を文字画像行に分割するための文字画像行分割手段６０２に入力される。文字分割手段６０３は、文字画像行を各文字に分割する。文字特徴抽出・認識手段６０４は、分割された文字の特徴を抽出し、文字の認識を行なう。認識結果は、表示、格納、文書処理などの後続する処理を行なうために、出力手段６０５により出力される。
【００１８】
文字画像行分割手段６０２は、図６Ａのフローチャートに従って、文書画像を文字画像行に分割する。文字画像行分割手段６０２の構成の一例を、図６Ｄに示す。
【００１９】
ステップＳ３０１からＳ３０９において、文書画像のセグメントが、セグメントブロックに分割される。
【００２０】
ステップＳ３０１において、セグメント分割手段６１１は、入力文書画像（図３参照）を水平に並んだ複数の画像セグメントに分割する。この画像セグメントは、それぞれ、所定の幅（例えば、４００画素）を有する。分割された最後のセグメントは、幅が所定の幅に満たない場合でも、１セグメントとみなされる。
【００２１】
ステップＳ３０２において、画素分布統計手段６１２は、図４および図５に示す画素分布統計の特性図が得られるように、各画像セグメントの各画素行に含まれる黒画素の数に基づいて各セグメントの画素分布統計を計算し記録する。図４および図５において、横軸は画素行を表し、縦軸は各画素行における黒画素の数を表す。
【００２２】
ステップＳ３０３において、画素分布統計手段６１２は、図７に示す画素分布統計の特性図が得られるように、画像全体の各画素行に含まれる黒画素の数に基づいて画像全体の画素分布統計を計算し記録する。図７において、横軸は、画像全体の画素行を表し、縦軸は画像全体の各画素行における黒画素の数を表す。
【００２３】
ステップＳ３０４において、セグメントブロック形成手段６１３は、各画像セグメントの画素分布統計の特性図における黒画素の数が０個の白画素行の位置に基づいて、画像セグメントをセグメントブロックに分割する。同時に、セグメントブロックの幅、高さおよび位置などのセグメントブロックに関する情報が記録される。
【００２４】
ステップＳ３０５において、全てのセグメントブロックの平均高さが、その後に行われる分割および結合のための基準として計算される。
【００２５】
普通の文字画像の場合、白画素行だけで全ての文字列を完全に分割することは通常不可能である。例えば、文字行間には黒点などの「ノイズ」が通常存在する。このため、ステップＳ３０６において、平均高さに基づいて過大なセグメントブロックが存在するか否かが判定される。過大なセグメントブロックは、それを含むセグメントの画素分布統計に基づいて、例えば、限度まで分割するための境界として一定の低さの「谷」を使用することによって更に分割される。
【００２６】
ステップＳ３０７において、過大なセグメントブロックを含むセグメントの画素分布統計に基づいて、そのセグメントブロックを適正に分割することができるか否かが判定される。分割が成功すると、ステップＳ３０９において、次のセグメントブロックが存在するか否かが判定される。存在する場合、更なる分割／結合、および、限度まで次の過大なセグメントブロックを更に分割するための基準として、セグメントブロックの平均高さが再計算される。ステップＳ３０７において分割が失敗したと判定される場合、過大なセグメントブロックは、ステップＳ３０８の画像全体の画素分布統計に基づいて更に分割される。続いて、ステップＳ３０９へと進む。
【００２７】
ステップＳ３１０からＳ３１５において、分割されたセグメントブロックは、更に分割／結合される。
【００２８】
ステップＳ３１０において、セグメントの画素分布統計を使用して限度まで過大なセグメントブロックを分割する。
【００２９】
ステップＳ３１１において、分割を適正に行なうことができない場合、例えば、激しい「ノイズ」がセグメントブロックに存在する場合、このセグメントブロックは、それを含むセグメントの画素分布統計に基づいて更に分割することができず、処理はステップＳ３１２へと進む。
【００３０】
ステップＳ３１２において、画像全体の画素分布統計を使用して過大なセグメントブロックを分割する。例えば、画像全体の画素分布統計の特性図における所定の低さの「谷」は、ステップＳ３１０において分割できなかったセグメントブロックを限度まで分割するための境界として使用される。
【００３１】
続いて、処理はステップＳ３１３へと進む。ここで、分割されたセグメントブロックはチェックされ、過小なセグメントブロック（すなわち、所定の低さ）は隣接するセグメントブロックに結合される。ステップＳ３１１において、過大なセグメントブロックがセグメントの画素分布統計に基づいて分割可能であると判定される場合、処理はステップＳ３１３へと進み、チェックおよび小さいセグメントブロックの結合が行なわれる。
【００３２】
ステップＳ３１４において、画像行形成手段６１４は、セグメントブロックの位置に従って、分割されたセグメントブロックを画像行に統合する。ステップＳ３１５において、未処理の次のセグメントブロックが存在するか否かが判定される。ステップＳ３１０からＳ３１４において、全てのセグメントブロックの処理が終了した場合、得られた画像行に対して文字分割プロセス、文字認識プロセスなどの後続のプロセスが実行され、文字画像認識が終了する。
【００３３】
本発明の方法による改善点は、主に以下の２つの側面にあることが理解されよう。
【００３４】
１．各セグメントの画素分布統計および画像全体の画素分布統計が導入される。その利点は、「ノイズ」が特定の領域のみに集中している場合に、画像全体の画素分布統計（画素行方向の黒画素数の分布）が、その領域のノイズの強度による悪影響を受けないことである。したがって、「山」と「谷」との隔たりが「拡張」され、その結果、テキスト行間の境界がより明確になる。
【００３５】
２．行分割の手順が改善される。従来のアルゴリズムでは、セグメントブロックの平均の高さを１度だけ計算し、過大なセグメントブロックが更に分割された後には再計算を行なわない。これは明らかに合理的でない。本発明の改良されたアルゴリズムでは、過大なブロックがそれぞれ分割された後に、セグメントブロックの平均高さを再計算するので、セグメントブロックの適正な高さをより正確に判定することができる。
【００３６】
図６のフローチャートに従い図３の文書画像を複数の行に分割することによって、文字認識の結果は図８に示すようになった。
【００３７】
同図によれば、テキストの全２１行は、正確に分割されているのがお分かりいただけよう。テキスト行をより正確に分割することができるので、文字画像認識の精度がそれに比例して向上する。
【００３８】
以上のように、本発明を特定の実施形態に基づいて説明したが、本発明の主旨はこの実施形態に限定されるものではなく、特許請求の範囲によって画定され導出されるべきでものである。
【００３９】
本実施形態では、以上のような構造を有する文字画像認識装置が、プログラムの読み取りを行なうコンピュータにより実現されうる。コンピュータは、計算プロセスを実行するためのＣＰＵ、プログラムを読み取った後の作業領域として使用されるＲＡＭ、ハードディスク、ＲＯＭおよび取外し可能なディスク（フロッピディスク、ＣＤ−ＲＯＭなど）などの、フローチャートに対応するプロセスを実行するためのプログラムおよび種々のデータを格納するための記録媒体、キーボード、種々の操作を実行するためのポインティングデバイス、処理すべきテキストを表示するためのディスプレイ、および、ネットワークに接続するためのネットワークインタフェースにより構成される。ＣＰＵを実行するためのプログラムは、前述の記録媒体から供給されるものであっても、ネットワークを介して外部の装置から読み出されるものであってもよい。さらに、本実施形態では、コンピュータがプログラムを実行することにより本発明が実現されるが、プログラムの一部または全部が、ハードウェアによる構造であってもよい。
【図面の簡単な説明】
【図１Ａ】従来の文字画像認識方法を示すフローチャートである。
【図１Ｂ】従来の文字画像認識装置の構成の一例を示す図である。
【図２】従来の文字画像の行分割アルゴリズムを示すフローチャートである。
【図３】文字画像認識の対象として処理される文書画像を示す図である。
【図４】図３の文書画像の第１のセグメントの各画素行における黒画素の分布統計を示す特性図である。
【図５】図３の文書画像の第２のセグメントの各画素行における黒画素の分布統計、を示す特性図である。
【図６Ａ】、
【図６Ｂ】本発明の実施形態における文字画像行分割方法を示すフローチャートである。
【図６Ｃ】本発明の実施形態における文字画像認識装置の構成を示す図である。
【図６Ｄ】本発明の実施形態における文字画像行分割手段の構成を示す図である。
【図７】画素の分布統計、すなわち、図３の文字画像全体の各画素行における黒画素の分布統計、を示す特性図である。
【図８】従来のアルゴリズムによる文字認識の結果を示す図である。
【図９】実施形態のアルゴリズムによる文字認識の結果を示す図である。
【図１Ａ】
0003774690.tif 000002
【図１Ｂ】
0003774690.tif 000003
【図２】
0003774690.tif 000004
【図３】
0003774690.tif 000005
【図４】
0003774690.tif 000006
【図５】
0003774690.tif 000007
【図６Ａ】
0003774690.tif 000008
【図６Ｂ】
0003774690.tif 000009
【図６Ｃ】
0003774690.tif 000010
【図６Ｄ】
0003774690.tif 000011
【図７】
0003774690.tif 000012
【図８】
0003774690.tif 000013
【図９】
0003774690.tif 000014