(57)【特許請求の範囲】
【請求項１】
帳票を画像データに変換して得られる画像から、前記帳票の文字記入欄を抽出し、文字記入欄の文字が手書き文字か活字かを判別し、該判別結果に基づき文字認識を行う文字認識方法であって、
前記帳票のレイアウトを解析して、項目領域とそれに続く文字記入欄にグループ分けし、項目領域の文字認識を行って、項目とそれに続く文字記入欄の字種の対応データを参照し、上記項目領域の認識結果に基づき、項目領域に続く文字記入欄の字種を判定し、
上記字種判定結果により、上記グループ毎に項目領域に続く文字記入欄の字種を限定して手書き／活字判別を行う
ことを特徴とする文字認識方法。
【請求項２】
帳票を画像データに変換して得られる画像から、前記帳票の文字記入欄を抽出し、文字記入欄の文字が手書き文字か活字かを判別し、該判別結果に基づき文字認識を行う文字認識方法であって、
前記帳票のレイアウトを解析して、文字記入欄に対してグループを作成し、
同一グループの文字記入欄の手書き／活字判別結果を集計し、集計結果で数の多い方の判別結果を正解として、数の少ない方の判別結果を数の多い方の判別結果に修正することにより、該同一グループに属する各文字記入欄の手書き／活字判別結果を修正する
ことを特徴とする文字認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
近年、入力周辺機器として文字認識技術の需要が増加している。本発明は、この文字認識に使用される文字認識方法および装置に関し、特に本発明は、手書き文字と活字が混在する文書において、より高い認織精度で高速に認識結果を得ることができる文字認識方法に関するものである。
【背景技術】
【０００２】
手書き文字と活字が混在する文書の文字認識においては、通常、手書き文字認識と活字認識の２つの処理を行い、両者の認識結果を比較して信頼度の高い結果を採用していた。この方法は、認識のために手書き文字認識と活字認識を行う必要があり処理時間を要する。
そこで、予め認識の対象となる文字（列）が手書き文字か活字かを判別し、その結果に応じて手書き文字認識もしくは活字認識を行う方法が提案されている（例えば特許文献１参照）。この方法によれば、文字認識処理を２度行う必要がないので処理時間を短縮することができる。
【０００３】
手書き文字／活字判別法としては、例えば、文書や帳票からスキャナ等により文書画像を得て、該文書画像から文字列を抽出し、さらに文字列に含まれる文字を抽出し、全文字についてピッチ、中心位置のずれなどの文字の配置の規則性を求め、文字列の文字の配置に規則性があるときに活字文字列とし、配置に規則性がないときに文字列を手書き文字列と判別する方法が用いられる。
【特許文献１】特開平４−２７３３９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
文字列中の文字の配置の規則性を、文字列中の全文字の文字の高さ方向への中心位置の規則性により表す方法としては、例えば前記したように、文字列から文字を切り出し、高さ方向の文字の中心位置を求めて、中心位置のバラツキが小さい場合は活字、バラツキが大きい場合は手書き文字と判別方法が用いられる。
この方法は、漢字又は数字の場合の多くについては、活字では文字の大きさが一定かつ規則的に配置されているため、中心位置にバラツキが少なく、手書き文字との判別に利用可能な特徴ではある。
【０００５】
しかし、図１４に示すようにカタカナの場合にみられる文字に濁点が含まれる文字列の場合、濁点により文字の中心位置が上にずれ（例えば図中の「ジ」）、活字でも文字の中心位置のバラツキが大きくなる。
また、文字列に小文字が含まれると、文字の中心位置が、下の方向にずれるため、中心位置のバラツキが活字でも大きくなる（図中の「ョ」）。
以上の理由から、カタカナ、平仮名など、濁点、小文字をもつ字種を対象に含む場合、従来方法を適用することはできなかった。
【０００６】
また、前記した手書き／活字判別法は、対象がレイアウト情報の既知な帳票でも、レイアウト情報を手書き／活字判別処理に利用していなかった。
すなわち、予めレイアウト情報が登録されている帳票においては、例えば、金額欄などの項目はこれに続く文字記入領域に数字が書かれることが明白であるが、従来方法では、レイアウト情報から判別できる文字記入欄に書かれる字種に関する情報を利用せずに手書き／活字判別を行っており、手書き文字／活字の判別精度が悪かった。
また、帳票においては、金額欄などの項目に続く文字記入欄は一つの帳票内では手書き文字または活字にほとんどが統一されて文字が記入されるが、この情報も利用しておらず、各文字記入欄毎の手書き／活字判別結果をそのまま利用していた。このため、手書き文字／活字の判別精度を向上させることが難しかった。
本発明は上記した事情を考慮してなされたものであって、文字認識処理における手書き／活字判別の精度を向上させ、文字認識による処理時間を短縮するともに文字認識精度を向上させることである。
【課題を解決するための手段】
【０００７】
図１（ａ）〜（ｂ）は本発明の原理図であり、同図に示すように本発明においては次のようにして上記課題を解決する。
（１）図１（ａ）に示すように、帳票のレイアウトを解析し、項目領域とそれに続く文字記入欄にグループ分けし、まず、項目領域の文字認識を行う。次いで、項目とそれに続く文字記入欄の字種の対応データを参照し、上記項目領域の認識結果に基づき、項目領域に続く文字記入欄の字種を判定し、上記字種判定結果により、上記グループ毎に項目領域に続く文字記入欄の字種を限定して手書き／活字の判別を行う。そして、その結果に基づき手書き文字認識処理もしくは活字認識処理を行う。
上記のように手書き／活字判別処理を行うことにより、字種によって精度の高い判別方法を選択でき、手書き／活字判別の精度を高めることが可能である。
（２）図１（ｂ）に示すように、帳票のレイアウトを解析し、文字記入欄をグループ分けする。次いで、帳票中の各文字記入欄の文字列の手書き／活字判別を行う。さらに、同一グループの文字記入欄の手書き／活字判別結果を集計し、集計結果で数の多い方の判別結果を正解として、数の少ない方の判別結果を数の多い方の判別結果に修正することにより、該同一グループに属する各文字記入欄の手書き／活字判別結果を修正する。そして、その結果に基づき手書き文字認識処理もしくは活字認識処理を行う。
上記のように手書き／活字判別処理を行うことにより、判別を誤っている文字列の判別結果を、同一のグループに属する手書き／活字判別結果により修正することができる。
【発明の効果】
【０００８】
以上説明したように、本発明においては以下の効果を得ることができる。
（１）帳票のレイアウト情報を用いて、文字種を限定して手書き／活字判別を行うことにより、判別精度を向上することができる。
（２）帳票のレイアウト情報により文字記入領域をグループ化し、グループ内の手書き／活字判別結果をもとに、各文字記入領域の判別結果を修正することにより、判別精度を向上することができる。
【発明を実施するための最良の形態】
【０００９】
図２は本発明が適用されるシステムの構成例を示す図である。同図において、１１はＣＰＵであり、ＣＰＵ１１にはバス１０が接続されており、バス１０には、ＲＡＭ１２、ＲＯＭ１３、通信インタフェース１４、外部記憶装置１５、記憶媒体読み取り装置１６、画像読み取りを行うスキャナ１７、ディスプレイ、キーボード等の入出力装置１８等が接続されている。ＲＯＭ１３、ＲＡＭ１２にはＯＳや本実施例の処理を行うためのプログラム、データ等が格納される。
スキャナ１７は、文字認識の対象となる文字等が記録された画像を読み取る。また、入出力装置１８は、キーボードやマウス等の入力デバイス、ディスプレイモニタ、プリンタ等の出力デバイスを含み、本発明のデータ処理を行うためのデータを入力したり、処理されたデータを出力する。
【００１０】
本発明の文字認識処理を行うためのプログラム、データ等は、ハードディスク等の記憶装置１５あるいはＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク等の記録媒体に記録されており、データ処理実行時、記録装置１５から、あるいは、記録媒体読み取り装置１７により記録媒体から読み取られＲＡＭ１２に格納され、ＣＰＵ１１により実行される。また、バス１０には通信インタフェース１４が接続されており、通信回線を介して、データやプログラムの授受を行うことができる。
【００１１】
図３は本発朋の実施例の文字認識処理の処理フローを示す図である。
同図に示すように、スキャナ１７等の画像入力手段により文書又は帳票の画像が獲得され、獲得された画像に対してノイズ除去、傾き補正等の前処理がなされる（ステップＳ１）。ついで、画像から一文字列を抽出して（ステップＳ２）、本発明に係わる手書き／活字の識別が行なわれる（ステップＳ３）。そして、抽出された文字列が手書き文字として判別された場合には、フラグを１に設定し、また活字として判別された場合にはフラグを２に設定する。さらに、手書き文字か活字かの判別不可能の場合には、フラグを３に設定する（ステップＳ４）。
【００１２】
文字認識処理においては上記フラグを参照し、次のように文字認識を行う（ステップＳ５〜Ｓ６）。
(1) 手書き文字と判別された場合には、手書き文字認識処理を行う。
(2) 活字として判別された場合には、活字認識処理を行う。
(3) 手書き文字、活字の判別が不可能な場合には、手書き文字認識処理と活字認識処
理を行い、より信頼性が高い方を採用する。
上記のように、予め手書き文字か活字であるかを判別し、文字認識処理を行うことにより、文字認識処理の信頼性を向上させることができるとともに、手書き文字認識処理と活字認識処理の両方の処理を行うことなく文字認識を行うことができるので処理の高速化を図ることができる。
【００１３】
次に上記文字認識処理における手書き／活字判別処理について説明する。
図４は、文字の中心位置の規則性を抽出して手書き文字と活字の判別を行う、手書き活字判別の処理フローを示す図である。
図４に示すように、まず、抽出した文字列の文字から連結成分を取り出す（ステップＳ１）。例えば、抽出された文字列が前記図１４に示した「モジニンシキショリ」の場合、最初の文字「モ」は文字を構成する全画素が連結しているので図４に示すように１つの連結成分として抽出される。また、例えば、次の文字「ジ」については、５つの連結成分が抽出される。
次に抽出した連結成分から濁点を除去し（ステップＳ２）、連結成分を統合する（ステップＳ３）。すなわち、濁点除去処理で残った連結成分を、適当な条件の元に統合し、文字を構成する単位に分離する。統合条件は、例えば、連結成分の外接矩形同士を比較し、重なりがある場合などに統合する。
図１４の例の場合には図４に示すように「ジ」の濁点が除去され、残りの連結成分が統合される。
【００１４】
ついで、ステップＳ４において、小文字を除去する。図１４の例の場合には、小文字の「ョ」が除去される。
ステップＳ５において、残りの文字数を、予め定められた閾値と比較し、残り文字数が閾値より小さい場合には、ステップＳ６に行き、手書き／活字の判別ができないとしてフラグを３に設定して処理を終わる。
【００１５】
すなわち、抽出した文字数が少ない場合は、後述する文字の中心位置のバラツキの値に信頼性が乏しいため、判別を誤る可能性を有する。従って、抽出した文字数が少ない場合は、判別を保留して、前記(3) のように手書き／活字の両認識処理を行い、信頼性の高い方を採用する。
また、残り文字数が閾値より大きい場合には、ステップＳ７に行き、文字の中心位置の規則性を算出する。すなわち、図５に示すように各文字を分離して抽出し、各文字の高さ方向の中心位置を求める。そして、各文字の中心位置のバラツキを分散などにより数値化する。
次いでステップＳ８において、中心位置のバラツキの大小に応じて手書き文字か活字かを判別する。すなわち、中心位置のバラツキが大きい場合には手書き文字列であるとしてフラグを１に設定し、バラツキが小さい場合には、活字の文字列であるとしてフラグを２に設定する。
【００１６】
図６は上記濁点の除去方法を示す処理フローである。濁点の除去方法としては、図６の処理フローに示すように、まず、ステップＳ１において、所定値より上方にあり、かつ小さい連結成分を抽出する。例えば図７に示すように「ジ」の場合には、所定値より大きな連結成分ｃ，ｄ，ｅが抽出される。
次に、ステップＳ２において、抽出された連結成分の相互間の距離を算出する。図７の例の場合には連結成分ｃ，ｄ，ｅの相互の距離を算出する。
ステップＳ３において、連結成分間の距離が閾値より小さいものがあるかを調べる。そして、連結成分間の距離が閾値より小さいものがない場合には濁点がないとして処理を終了する。また、連結成分間の距離が閾値より小さい場合には、ステップＳ４に行き、距離が閾値より小さい連結成分のペアを濁点として除去する。図７の場合には連結成分ｄ，ｅの距離が閾値より小さいので濁点として除去される。その結果、図８に示すように濁点候補１，２が除去される。
【００１７】
以上のように濁点を除去したのち、前記したように連結成分を統合し、文字を構成する単位に分離する。
この処理により分離抽出された文字から小文字を除去するための処理フローを図９に示す。
まず、ステップＳ１において基準文字を抽出し、ステップＳ２において基準文字の高さ、下座標を抽出する。
【００１８】
例えば、最初の１文字目（図１０の横書き文字列では一番左の文字）の文字を基準文字とし、その高さと高さ方向への下座標を抽出する。なお、その他、文字列の内の高さが最大の文字を基準文字としてもよい。
ステップＳ３において、基準文字と各文字の下座標を比較し、下座標の差が所定値以下の文字の高さと基準文字の高さの差（もしくは比）を算出する。
そして残りの各文字につき、高さが基準文字の高さに比して小さく、下座標が基準文字の下座標に近いものを小文字として除去する（ステップＳ４）。例えば図１０の例の場合には、「ョ」が除去される。
以下、前記したように、小文字を除去して残った文字に対して、文字の中心位置の規則性を、文字の高さ方向の中心位置の座標の分散などにより数値化して求め、この数値の大きさにより、手書き文字か、活字かを判別する。
【００１９】
以上のように、濁点、小文字を除去した文字列中の文字の中心位置の規則性により手書き／活字判別を行っているので、カタカナ、平仮名など、濁点、小文字をもつ字種を対象に含む場合であっても、手書き／活字判別処理を精度よく行うことができる。
なお、文字の中心位置の規則性による判別処理を単独で用いて手書き／活字の判別を行ってもよいが、この特徴量に加えて、文字列から他の特徴量を複数抽出して、これらの特徴と合わせて総合的に判別することも可能である。その場合、判別の方法は、特徴量の大小による判別だけではなく、判別分析などの方法も用いることも可能である。
【００２０】
次に本発明の第１の実施例について説明する。
本実施例の処理フローを図１１に示し、また、本実施例の処理概念図を図１２に示す。  本実施例においては、まず、図１１のステップＳ１において、画像データに変換された帳票に対し、帳票のレイアウトを解析し、ステップＳ２において、項目とそれに続く文字記入領域にグループに分けする。
グループ分けは、帳票の列毎にグループを作成するなどの方法を用いることができる。例えば、図１２の場合には、項目として「銀行名」、「支店名」、「口座番号」、「金額」等の項目文字とそれに続く、文字記入欄にグループ分けされる。
ステップＳ３において、帳票の項目領域に対して文字認識を行い、項目文字を認識する。
【００２１】
次いでステップＳ４において、文字認識の結果得られた情報から、文字記入領域の字種を判定する。例えば、項目領域に「金額」とかかれている場合には、この項目と同じグループに属する文字記入欄の字種を数字と推定する。字種の推定方法としては、例えば、図１１に示すように、項目とそれに続く文字記入欄の字種の対応データを参照し文字記入領域の字種を判定することができる。
ステップＳ５において、上記判定結果から得られた字種に限定して、特徴量を抽出し、手書き文字／活字判別処理を行う。特徴量としては、第１の実施例に示した文字列中に含まれる文字の中心位置のバラツキや、文字の高さのバラツキなどを用いることができる。  また判別方法としては、特徴量を予め設定した閾値を比較して、バラツキの量が閾値以下なら活字、閾値以上なら手書き文字と判別できる。また、特徴量を複数用いて、判別分析などにより特徴空間上で総合的に判別することも可能である。
【００２２】
以上のように本実施例では、帳票のレイアウト情報を利用し、項目領域の文字認識結果に基づき、文字記入欄の字種を限定して手書き／活字判別処理を行っているので、手書き文字／活字判別処理精度を向上させることができる。
なお、上記実施例では、未知の帳票に対しては、項目領域の文字を認識した結果により、この項目と同一のグループに属する文字記入領域の文字の字種を限定して手書き／活字判別を行うようにしたが、帳票のレイアウト情報と文字記入領域の字種情報が予め登録されている場合は、まず処理対象の帳票のレイアウト情報を抽出し、レイアウト情報を用いて帳票照合を行い、登録されている帳票と一致した場合には、登録されている帳票の文字記入欄についての字種情報を用いて、文字記入欄毎に字種を限定して手書き／活字判別を行うことも可能である。
【００２３】
次に本発明の第２の実施例について説明する。本実施例の処理フローを図１３に示す。  図１３のステップＳ１において、画像データに変換された帳票に対して、帳票の構造を解析し、レイアウト情報を取得する。
次に、ステップＳ２において、帳票の文字記入領域をグループ分けする。グループ分けは、帳票の列毎にグループを作成するなどの方法を用いることができる。例えば、前記図１２に示した帳票の場合には、項目「銀行名」の文字記入欄（グループ１）、項目「支店名」の文字記入欄（グループ２）、…、項目「金額」（グループ４）の文字記入欄にグループ分けする。
【００２４】
そして、ステップＳ３において、各文字記入欄の文字列毎に手書き／活字判別を行う。すなわち、図１２の場合、グループ１〜グループ４について文字記入欄の手書き／活字判別を行う。
ステップＳ４において、グループ毎に、手書き／活字判別結果を集計し、ステップＳ５において、上記集計結果で、数の多い方の判別結果を正解とし、数の少ない方の判別結果を数の多い方の判別結果に修正する。
例えば、図１２の例では、グループ１について、手書き文字に判別した結果が多く、活字に判別した結果が少ない場合には、そのグループは手書き文字であるとして、活字と判別した結果を手書き文字の判別結果に修正する。また、逆に活字に判別した結果が多く、手書き文字に判別した結果が少ない場合には、手書き文字と判別した結果を活字の判別結果に修正する。同様に各グループ１〜４について、判別結果を修正する。
以上のように本実施例では、帳票のレイアウト情報を利用し、各グループの手書き／活字判別結果を集計し、集計結果に基づき同じグループに属する文字記入欄の手書き／活字判別処理結果を修正しているので、第２の実施例と同様、手書き文字／活字判別処理精度を向上させることができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の原理図である。
【図２】本発明が適用されるシステムの構成例を示す図である。
【図３】本発朋の実施例の文字認識処理の処理フローを示す図である。
【図４】文字の中心位置の規則性を抽出して手書き文字と活字の判別を行う手書き活字判別の処理フローを示す図である。
【図５】手書き／活字判別処理の概念を説明する図である。
【図６】濁点の除去方法を示す処理フローである。
【図７】濁点の除去方法を説明する図である。
【図８】濁点の除去処理の概念を説明する図である。
【図９】小文字を除去するための処理フローを示す図である。
【図１０】小文字除去処理の概念を説明する図である。
【図１１】本発明の第１の実施例の処理フローである。
【図１２】本発明の第１の実施例の処理概念を説明する図である。
【図１３】本発明の第２の実施例の処理フローである。
【図１４】従来方法で問題となる濁点、小文字を含むカタカナ活字の文字例である。
【符号の説明】
【００２６】
１１  ＣＰＵ
１０  バス
１２  ＲＡＭ
１３  ＲＯＭ１３
１４  通信インタフェース
１５  外部記憶装置
１６  記憶媒体読み取り装置
１７  スキャナ
１８  入出力装置
【図１】
0004968236.tif 000002
【図２】
0004968236.tif 000003
【図３】
0004968236.tif 000004
【図４】
0004968236.tif 000005
【図５】
0004968236.tif 000006
【図６】
0004968236.tif 000007
【図７】
0004968236.tif 000008
【図８】
0004968236.tif 000009
【図９】
0004968236.tif 000010
【図１０】
0004968236.tif 000011
【図１１】
0004968236.tif 000012
【図１２】
0004968236.tif 000013
【図１３】
0004968236.tif 000014
【図１４】
0004968236.tif 000015