(57)【特許請求の範囲】
【請求項１】
手書き文字と活字文字が混在した文字列を認識する文字認識方法であって、
手書き文字と活字文字が混在した入力文字列に対し、活字文字のための第１の文字切り出し及び認識処理を行い、その認識結果文字列について、予め定められた活字文字のキーワードと、当該キーワードの直前及び直後に手書き文字の有無を表わす属性情報とが登録されたキーワードテーブルを照合して、キーワードと合致した前記認識結果文字列の直前又は直後の限定された領域の文字列に対し、手書き文字のための第２の文字切り出し及び認識処理を行い、前記第１の文字切り出し及び認識処理による認識結果文字列中の前記第２の文字切り出し及び認識処理の対象とならなかった文字列と、前記第２の文字切り出し及び認識処理による認識結果文字列を順序付けることにより確定文字列を得ることを特徴とする文字認識方法。
【請求項２】
請求項１記載の文字認識方法において、キーワードテーブルには、各キーワードの直前及び直後の手書き文字の有無に加えて、該手書き文字の文字種を表わす属性情報が登録されており、キーワードと合致した前記認識結果文字列の直前又は直後の限定された領域の文字列に対し、その文字種を前記キーワードテーブルに登録された文字種として手書き文字のための第２の文字切り出し及び認識処理を行うことを特徴とする文字認識方法。
【請求項３】
手書き文字と活字文字が混在した文字列を認識する文字認識装置であって、
手書き文字と活字文字が混在した入力文字列に対し、活字文字のための第１の文字切り出し及び認識処理を行う手段と、
予め定められた活字文字のキーワードと、当該キーワードの直前及び直後に手書き文字の有無を表わす属性情報とが登録されたキーワードテーブルと、
前記第１の文字切り出し及び認識処理を行う手段による認識結果文字列について、前記キーワードテーブルを照合して、キーワードと合致した前記認識結果文字列の直前又は直後の限定された領域の文字列に対し、手書き文字のための第２の文字切り出し及び認識処理を行う手段と、
前記第１の文字切り出し及び認識処理を行う手段による認識結果文字列中の前記第２の文字切り出し及び認識処理を行う手段の対象とならなかった文字列と、前記第２の文字切り出し及び認識処理を行う手段による認識結果文字列を順序付けることにより確定文字列を得る手段とを有することを特徴とする文字認識装置。
【請求項４】
請求項３記載の文字認識装置において、
キーワードテーブルには、各キーワードの直前及び直後の手書き文字の有無に加えて、該手書き文字の文字種を表わす属性情報が登録されており、
第２の文字切り出し及び認識処理を行う手段は、キーワードと合致した前記認識結果文字列の直前又は直後の限定された領域の文字列に対し、その文字種を前記キーワードテーブルに登録された文字種として手書き文字のための文字切り出し及び認識処理を行うことを特徴とする文字認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文字認識技術に係り、特に、活字文字と手書き文字が混在した文字列の文字認識技術に関する。なお、本明細書において、活字文字とは、タイプフェースにより印字された文字のみならず、それと類似したワープロ等の機械的手段により画一的に印字された文字も含む。
【０００２】
【従来の技術】
認識対象の文字列が活字文字列であるか手書き文字列であるかを自動的に識別して処理方法を変更する文字認識の従来技術として、特開平８−１７１６１５号「住所読み取り装置」がある。
【０００３】
この従来技術にあっては、葉書等に記載された住所文字列のイメージに対し文字認識を行い、地名リストに含まれる地名部候補を抽出する。この文字認識では、活字／手書きの区別はしない。次に、地名部候補を構成する文字（セグメント）の並びの直線性、ピッチの均等性、高さ又は幅の安定性などに着目して、地名部候補の活字らしさを判定する。
活字らしい地名候補部が見つかった場合には、その活字らしい地名部候補だけを候補として残すか、他の地名部候補より優先順位を上げるとともに、その活字らしい地名部候補の末尾文字の中心座標、ピッチ、サイズなどを活字属性として抽出する。そして、その地名部につづく番地部も活字として扱い、その地名部について抽出された活字属性に適合したセグメントの組合せからなり、かつ、その地名部に続く番地部としての条件に適合した番地部候補を抽出する。
活字らしい地名部候補が見つからなかった場合には、手書き／活字の区別をせず、地名部候補に対する番地部としての条件を満たす番地部候補を抽出する。
【０００４】
【発明が解決しようとする課題】
前記従来技術は、認識対象の文字列（住所）の前半部分（地名部）が活字文字であれば、後半部分（番地部）も活字文字であることを前提にしている。したがって、本質的に、同じ文字列中に活字文字と手書き文字が混在している場合には十分に対応できない。
【０００５】
なお、同じ文字列に対し、活字文字を対象にした認識処理と手書き文字を対象とした認識処理の両方を実施し、両方の認識結果から最適とみなされる認識結果を選択する方式も考えられる。しかし、２組の認識結果から最適なものを的確に選択することは必ずしも容易ではなく、しかも処理効率が悪く、処理速度の低下を招きやすいため、このような方式は実用的とは言い難い。また、手書き部分と活字部分とを手作業によって指定し、それぞれの部分に適した文字認識を行わせる方式も時には有効であろうが、操作者の負担が大きく、大量の書類を処理する場合には実用的でない。
【０００６】
よって、本発明の一般的な目的は、人手を介入させることなく、活字文字と手書き文字が混在した文字列に対し効率的な処理によって高い認識精度を得ることのできる文字認識方法及び装置を提供することにある。
【０００７】
さて、定型フォーマットの帳票類には、固定的な情報が活字文字として予め記載され、１枚１枚の帳票毎に変動する情報の文字だけを手書き記入するものが多い。例えば、「ＸＸ歳」、「１９ＸＸ年ＸＸ月ＸＸ日」といった、手書き記入された数字やアルファベットなどの文字（ＸＸ）の部分と、予め活字印刷された特定の文字（歳、年、月、日）の部分とが混在した文字列が多く見られる。
【０００８】
本発明の主たる目的は、このような帳票類に頻出する活字文字と手書き文字の混在した文字列に対し、高い認識精度を達成でき、かつ処理効率のよい文字認識方法及び装置を提供することにある。
【０００９】
【課題を解決するための手段】
本発明の骨子は、手書き文字と活字文字が混在した帳票等のイメージに対し予め定められた活字文字のキーワードの認識を行い、認識されたキーワードの直前又は直後の限定された領域のイメージに対して手書き文字の認識を行うことである。
【００１０】
本発明の文字認識方法の特徴をより具体的に述べれば、手書き文字と活字文字が混在した帳票等のイメージに対し、活字文字のための第１の文字切り出し及び認識処理を行い、その認識結果文字列をキーワードテーブルに登録されているキーワードと照合し、キーワードと合致した認識結果文字列の直前又は直後の限定された領域のイメージに対し手書き文字のための第２の文字切り出し及び認識処理を行い、第１の文字切り出し及び認識処理による認識結果文字列中の第２の文字切り出し及び認識処理の対象とならなかった文字列と、第２の文字切り出し及び認識処理による認識結果文字列を順序付けることにより確定文字列を得る。キーワードテーブルには各キーワードの直前又は直後の文字の有無を表す属性情報が記述され、この属性情報に従って第２の文字切り出し及び認識処理の対象となる領域が制御される。さらには、キーワードテーブルには各キーワードの直前又は直後の文字の有無のみならず文字種をも表す属性情報が記述され、この属性情報に従って第２の文字切り出し及び認識処理の対象となる領域及び文字種が制御される。
【００１１】
【発明の実施の形態】
図１は、本発明の一実施例を示すブロック図である。図１において、画像入力部１０１はスキャナ等を用いて帳票のイメージを読み込み、行切り出し部１０２はこの入力イメージより行領域を切り出す。
【００１２】
活字文字切り出し認識部１０３において、文字切り出し部１０４は行切り出し部１０２により切り出された行領域のイメージより文字矩形を切り出す。認識部１０５は、切り出された文字矩形のイメージの特徴量を抽出し、その特徴量と辞書１０６に登録されている各文字の特徴量とを照合することにより文字を認識する。この活字文字切り出し認識部１０３における文字切り出しは、活字ＯＣＲで採用されている手法によって全角サイズを優先的に切り出す方法が望ましいであろうが、帳票に予め印刷されている活字文字を認識する目的に適した手法であれば、どのような文字切り出し手法を採用してもよい。
【００１３】
キーワード照合部１０７は、活字文字切り出し認識部１０３による認識結果文字列をキーワードテーブル１０８と照合し、キーワードテーブル１０８内のキーワードと合致する認識結果文字列を検出する。このキーワードテーブル１０８には、予め帳票上に出現すると予想される、手書き文字の認識のためのキーとなる１字以上の活字文字列（キーワード、記号も含む）と、その前接文字属性及び後接文字属性が記述されている。前接文字属性とは、キーワードの直前に文字（手書き文字）があるか否かと、直前に文字（手書き文字）があるときにはその文字種を示す情報である。後接文字属性は、キーワードの直後に文字（手書き文字）があるか否かと、直後に文字（手書き文字）があるときにはその文字種を示す情報である。
【００１４】
キーワードテーブル１０８の内容を図２に例示する。図２において、例えば「歳」というキーワードは、前接文字属性は「数字」、後接文字属性は「なし」である。これは、キーワード「歳」の直前に文字があり、その文字種は数字であることを意味し、直後には文字が来ないことを意味する。同様に、キーワード「Ｎo.」は、直前に文字がなく、直後に数字が続く。ここに示す例では、前接文字及び後接文字の文字種は数字だけであるが、他の文字種も含み得る。多くの帳票では、手書き記入される文字は数字やアルファベットのような単純な文字種に限定されることが多く、この例もそのような場合を想定している。
【００１５】
再文字切り出し認識領域決定部１０９は、キーワード照合部１０７によって認識結果文字列と合致すると判断されたキーワードの前接文字属性及び後接文字属性を調べ、再文字切り出し認識領域を決定し、その位置及び文字種を手書き文字切り出し認識部１１０へ与えるとともに、再文字切り出し認識領域に含まれない領域の認識結果文字列、つまり手書き文字切り出し認識部１１０の処理対象とならない認識結果文字列は、そのまま確定文字列出力部１１４へ出力する。
【００１６】
図３に示す文字列の例を考える（図中の「Ｘ」は手書き文字を意味し、それ以外の文字は活字文字である）。図３（ａ）の文字列の場合、再文字切り出し認識領域決定部１０９は、キーワード「年」は前接文字があり、その文字種は数字であるので、このキーワードと合致した認識結果文字列の直前の領域２０１を再文字切り出し認識領域として、また数字を文字種として手書き文字切り出し認識部１１０へ指示する。次のキーワード「月」及び「日」も同様に前接文字として数字があるので、それぞれのキーワードと合致した認識結果文字列の直前の領域２０２，２０３を再文字切り出し認識領域として、数字を文字種として手書き文字切り出し認識部１１０へ指示する。再文字切り出し認識の対象とならなかった活字文字に対する認識結果、つまり「１９」「年」「月」「日」はそのまま確定文字列出力部１０９へ送られる。図３（ｂ）の例では、キーワード「Ｎo.」は後接文字があり、その文字種は数字であるので、このキーワードに合致した認識結果文字列の直後の領域２０４を再文字切り出し認識領域として、数字を文字種として手書き文字切り出し認識部１１０へ指示し、「Ｎo.」はそのまま確定文字列出力部１１４へ送る。
【００１７】
手書き文字切り出し認識部１１０は、手書き文字に対応可能な手法により文字切り出し及び認識を行うものである。本実施例では、認識対象として数字やアルファベットのような比較的単純な字種の手書き文字を想定しているので、そのような文字種の手書き文字に対応できる手法であれば、どのような文字切り出し・認識手法でもよい。
【００１８】
手書き文字切り出し認識部１１０において、文字切り出し部１１１は再文字切り出し認識領域決定部１０９より指定された再文字切り出し認識領域に対し、その領域に関連して指示された文字種であるとみなして、手書き文字切り出しを行う。認識部１１２は、切り出された文字より特徴量を抽出し、それを辞書１１３（手書き文字認識用の辞書）の特徴量と照合することにより文字を認識する。字種の異なる２以上の文字が認識結果候補にあがった時には、再文字切り出し認識領域に関して指示された文字種と合致する候補文字を認識結果とする。例えば、図３の再文字切り出し認識領域２０１，２０２，２０３，２０４はいずれも数字として、文字切り出し及び認識がなされることになる。認識結果は確定文字列出力部１１４へ送られる。
【００１９】
確定文字列出力部１１４は、活字文字切り出し認識部１０３による認識結果文字列中の再文字切り出し認識の対象とならなかった文字列と、手書き文字切り出し認識部１１０による認識結果文字列を、入力イメージ上の文字順に従って順序付けし、確定文字列として出力する。
【００２０】
【発明の効果】
本発明の文字認識方法及び装置の主な効果は以下の通りである。
（１）特定の活字文字列（キーワード）と手書き文字列との混在した文字列に対し精度の良い文字認識が可能である。
（２）手書き文字認識は限定された領域についてのみ実行するため、活字のための文字認識と手書き文字のための文字認識の両方を文字列全体に対して実行する方法に比べ効率的な処理が可能になる。
（３）定型フォーマットの帳票等に予め活字印刷された文字列と、任意に手書き記入された文字列とを効率よく高い精度で文字認識することができる。特に、キーワードの属性情報に従って、手書き文字のための文字切り出し及び認識の対象となる領域、又は対象となる領域及び文字種を適切に制御できるため、手書き文字切り出し及び認識の処理効率、認識精度が極めて良好になる。
【図面の簡単な説明】
【図１】  本発明の一実施例を示すブロック図である。
【図２】  キーワードテーブルの内容を例示する図である。
【図３】  活字文字と手書き文字の混在した文字列の例とその再文字切り出し認識領域を説明するための図である。
【符号の説明】
１０１  画像入力部
１０２  行切り出し部
１０３  活字文字切り出し及び認識部
１０４  文字切り出し部
１０５  認識部
１０６  辞書
１０７  キーワード照合部
１０８  キーワードテーブル
１０９  再文字切り出し認識領域決定部
１１０  手書き文字切り出し認識部
１１１  文字切り出し部
１１２  認識部
１１３  辞書
１１４  確定文字列出力部
２０１〜２０４  再文字切り出し認識領域
【図１】
0003725635.tif 000002
【図２】
0003725635.tif 000003
【図３】
0003725635.tif 000004