(57)【要約】【課題】文字の縦横比の変動や文字種による縦横比の違いや、文字が詰められたり徐々に小さく書かれた場合の文字認識精度を向上させる。【解決手段】文字認識対象の画像から文字を含む行矩形を抽出する（Ｓ２０１）。ついてその行矩形において、画素塊を切り分ける（Ｓ２０２）。切り分けた画素塊のうち上下の並びの者や孤立画素塊を結合し、文字切りパターンの単位となる画素塊を決定する（Ｓ２０３、Ｓ２０４）。決定した画素塊のサイズに基づいて、着目画素塊の推定文字サイズを、局所平均から求める（Ｓ２０５）。求めた推定文字サイズに近いサイズとなるように画素塊を結合し（Ｓ２０７）、さらに許容範囲を広げて文字切りパターンの候補を作成する（Ｓ２０８）。求めた各候補について文字認識を行い、評価が最も良い認識結果を選択して出力する（Ｓ２０９）。【選択図】図２
2009193170.tif 000002
【特許請求の範囲】
【請求項１】
画素により構成される画像データから文字列を含む領域を抽出する抽出手段と、
前記領域を、組み合わせの単位となる画素塊に切り分ける切り分け手段と、
前記切り分け手段により切り分けられた画素塊に順次着目し、前記領域内において、着目画素塊を含む局所領域に属する所定の画素塊の幅の平均を、着目画素塊の推定文字サイズとして計算する推定手段と、
互いに隣接する前記画素塊を結合した場合、結合後の画素塊の幅が前記推定文字サイズから第１の許容範囲内であれば、結合後の画素塊がひとつの画素塊となるよう、前記切り分け手段による切り分けを変更した文字切りパターンを作成する文字切り手段と、
前記文字切りパターンに従って切り分けられた画素塊を対象として文字認識を行う認識手段と
を備えることを特徴とする文字認識装置。
【請求項２】
画素により構成される画像データから文字列を含む領域を抽出する抽出手段と、
前記領域を、組み合わせの単位となる画素塊に切り分ける切り分け手段と、
前記切り分け手段により切り分けられた画素塊の位置と幅との関係を二次関数により近似し、該二次関数により得られる各画素塊の位置に対応する幅を、各画素塊の推定文字サイズとして計算する推定手段と、
互いに隣接する前記画素塊を結合した場合、結合後の画素塊の幅が前記推定文字サイズから第１の許容範囲内であれば、結合後の画素塊がひとつの画素塊となるよう、前記切り分け手段による切り分けを変更した文字切りパターンを作成する文字切り手段と、
前記文字切りパターンに従って切り分けられた画素塊を対象として文字認識を行う認識手段と
を備えることを特徴とする文字認識装置。
【請求項３】
互いに隣接する、前記文字切り手段により切り分けが変更された前記画素塊を結合した場合に、結合後の画素塊の幅が前記推定文字サイズから、前記第１の許容範囲よりも広い第２の許容範囲内にあれば、結合後の画素塊がひとつの画素塊となるよう前記文字切り手段による切り分けを変更した文字切りパターンの候補を１または複数作成する候補の作成手段を更に備え、
前記認識手段は、前記文字切り手段により作成された文字切りパターン及び前記候補の作成手段により作成された文字切りパターンの候補それぞれに従って切り分けられた画素塊を対象として文字認識を行い、各文字切りパターンに対応する認識結果のうち最も確からしい認識結果を文字認識の結果として出力することを特徴とする請求項１または２に記載の文字認識装置。
【請求項４】
前記切り分け手段は、連続した画素のまとまりを画素塊として切り分け、切り分けた画素塊に順次着目し、着目画素塊から所定距離以内にある画素塊および、前記文字列の方向と直交する方向に互いに重複する画素塊を、前記組み合わせの単位となる画素塊として切り分ける事を特徴とする請求項１乃至３のいずれか１項に記載の文字認識装置。
【請求項５】
抽出手段と切り分け手段と推定手段と文字切り手段と認識手段とを備えた文字認識装置で実行される文字認識方法であって、
前記抽出手段が、画素により構成される画像データから文字列を含む領域を抽出する抽出工程と、
前記切り分け手段が、前記領域を、組み合わせの単位となる画素塊に切り分ける切り分け工程と、
前記推定手段が、前記切り分け工程により切り分けられた画素塊に順次着目し、前記領域内において、着目画素塊を含む局所領域に属する所定の画素塊の幅の平均を、着目画素塊の推定文字サイズとして計算する推定工程と、
前記文字切り手段が、互いに隣接する前記画素塊を結合した場合、結合後の画素塊の幅が前記推定文字サイズから第１の許容範囲内であれば、結合後の画素塊がひとつの画素塊となるよう、前記切り分け手段による切り分けを変更した文字切りパターンを作成する文字切り工程と、
前記認識手段が、前記文字切りパターンに従って切り分けられた画素塊を対象として文字認識を行う認識工程と
を備えることを特徴とする文字認識方法。
【請求項６】
抽出手段と切り分け手段と推定手段と文字切り手段と認識手段とを備えた文字認識装置で実行される文字認識方法であって、
前記抽出手段が、画素により構成される画像データから文字列を含む領域を抽出する抽出工程と、
前記切り分け手段が、前記領域を、組み合わせの単位となる画素塊に切り分ける切り分け工程と、
前記推定手段が、前記切り分け工程により切り分けられた画素塊の位置と幅との関係を二次関数により近似し、該二次関数により得られる各画素塊の位置に対応する幅を、各画素塊の推定文字サイズとして計算する推定工程と、
前記文字切り手段が、互いに隣接する前記画素塊を結合した場合、結合後の画素塊の幅が前記推定文字サイズから第１の許容範囲内であれば、結合後の画素塊がひとつの画素塊となるよう、前記切り分け手段による切り分けを変更した文字切りパターンを作成する文字切り工程と、
前記認識手段が、前記文字切りパターンに従って切り分けられた画素塊を対象として文字認識を行う認識工程と
を備えることを特徴とする文字認識方法。
【請求項７】
前記文字認識装置は、候補の作成手段を更に備え、
前記候補の作成手段が、互いに隣接する、前記文字切り工程により切り分けが変更された前記画素塊を結合した場合に、結合後の画素塊の幅が前記推定文字サイズから、前記第１の許容範囲よりも広い第２の許容範囲内にあれば、結合後の画素塊がひとつの画素塊となるよう前記文字切り工程による切り分けを変更した文字切りパターンの候補を１または複数作成する候補の作成工程を更に備え、
前記認識工程では、前記文字切り工程により作成された文字切りパターン及び前記候補の作成工程により作成された文字切りパターンの候補それぞれに従って切り分けられた画素塊を対象として文字認識を行い、各文字切りパターンに対応する認識結果のうち最も確からしい認識結果を文字認識の結果として出力することを特徴とする請求項５または６に記載の文字認識方法。
【請求項８】
前記切り分け工程では、連続した画素のまとまりを画素塊として切り分け、切り分けた画素塊に順次着目し、着目画素塊から所定距離以内にある画素塊および、前記文字列の方向と直交する方向に互いに重複する画素塊を、前記組み合わせの単位となる画素塊として切り分ける事を特徴とする請求項５乃至７のいずれか１項に記載の文字認識方法。
【請求項９】
請求項１乃至４のいずれか１項に記載の文字認識装置としてコンピュータを機能させる事を特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば紙文書等に記入された文字を読み取って認識する文字認識装置及び文字認識方法に関する。
【背景技術】
【０００２】
スキャナ等で紙文書に記録された画像を読み取り、読み取った画像から文字を自動的に認識する文字認識処理がある。文字認識処理では、初めに認識対象の領域に含まれる画素塊（または画素ブロックとも呼ぶ。）を切り分ける。そして切り分けた画素塊をそのまま、あるいは複数の画素塊を結合してひとつの個別文字パターンとして切り出し、その特徴を抽出し、抽出した特徴を、認識対象文字の標準パターン情報が格納されている認識辞書と照合する。そして照合の結果、一致する特徴などに基づいて最も確からしい文字を選択し、認識対象の文字パターンの文字コードを決定する。ここで認識対象の画像を画素塊に切り分け、切り分けた画素塊から認識対象となる個々の文字パターンを構成する文字切り処理は以下のような手順で行われていた。
【０００３】
第１の手順では、認識対象の画像を含む矩形領域から、空白により区切られる複数の画素塊を切り出す。そして行矩形の高さ及び切り出した画素塊の幅のうち最大のものを基準値とする。画素塊を結合して個別文字パターンを生成するために、幅が（基準値＋α）以内となる１または複数の画素塊を１つの文字パターンとして認識の対象とする（例えば、特許文献１参照）。
【０００４】
第２の手順では、認識に先立って文字切りの仕方（文字切りパターンと呼ぶことにする。）を決定せず、複数通りの文字切りパターンを作成する。複数通りの文字切りパターンとは、互いに隣接する画素塊を結合するか否かを切り替えることで得られる文字切りパターンの組である。そして、各文字切りパターンについて、その文字切りパターンに従って切り出される文字パターンの文字形状から得られる文字形状評価値と、候補文字パターンを認識辞書と照合して得られる文字認識評価値とに基づいて文字評価値を算出する。文字評価値が最大となる文字切りパターンが文字認識対象の文字切りパターンとなる（例えば、特許文献２参照）。
【特許文献１】特開昭６２−１０７８４号公報
【特許文献２】特開平３−１９１４９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した第１手順では、例えば手書きされた住所を文字認識する場合に、筆記者により文字の縦横比が違っていたり、漢字と数字等の文字種により縦横比が違っていたりする。そのため、市区町村、町名部分では本来の１文字が偏と旁に分離して切り出されて認識されたり、丁目番地部分では本来複数の文字が１文字として切り出されて認識されてしまうといった欠点があった。
【０００６】
また、住所等の記入欄の余白が少なくなると、ユーザは徐々に文字を詰めて書いたり、徐々に小さく書いたりする傾向がある。そのため、詰められたり小さくかかれた部分では、本来個別であるべき複数の文字が、それらを結合した文字として切り出されて認識されるという欠点があった。
【０００７】
また、上述した第２の手順では、切り分けられた画素塊に対し、その組み合わせを全て網羅するような文字切りパターンの組を作ってしまうと評価すべき文字パターンの数が膨大になる。特に第２の手順では、複数の文字切りパターンのそれぞれについて、各文字パターンの文字形状評価値と文字認識評価値とを評価し、それらの値から文字評価値を求める必要があり、計算量が膨大になるという問題があった。
【０００８】
本発明は上記従来例に鑑みて成されたもので、上述した課題を解決し、文字認識精度を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明は以下の構成を備える。
【００１０】
文字認識装置であって、画素により構成される画像データから文字列を含む領域を抽出する抽出手段と、
前記領域を、組み合わせの単位となる画素塊に切り分ける切り分け手段と、
前記切り分け手段により切り分けられた画素塊に順次着目し、前記領域内において、着目画素塊を含む局所領域に属する所定の画素塊の幅の平均を、着目画素塊の推定文字サイズとして計算する推定手段と、
互いに隣接する前記画素塊を結合した場合、結合後の画素塊の幅が前記推定文字サイズから第１の許容範囲内であれば、結合後の画素塊がひとつの画素塊となるよう、前記切り分け手段による切り分けを変更した文字切りパターンを作成する文字切り手段と、
前記文字切りパターンに従って切り分けられた画素塊を対象として文字認識を行う認識手段とを備える。
【００１１】
あるいは、文字認識装置であって、画素により構成される画像データから文字列を含む領域を抽出する抽出手段と、
前記領域を、組み合わせの単位となる画素塊に切り分ける切り分け手段と、
前記切り分け手段により切り分けられた画素塊の位置と幅との関係を二次関数により近似し、該二次関数により得られる各画素塊の位置に対応する幅を、各画素塊の推定文字サイズとして計算する推定手段と、
互いに隣接する前記画素塊を結合した場合、結合後の画素塊の幅が前記推定文字サイズから第１の許容範囲内であれば、結合後の画素塊がひとつの画素塊となるよう、前記切り分け手段による切り分けを変更した文字切りパターンを作成する文字切り手段と、
前記文字切りパターンに従って切り分けられた画素塊を対象として文字認識を行う認識手段とを備える。
【発明の効果】
【００１２】
本発明によれば文字認識精度が向上する。たとえば、文字の縦横比の変動や文字種による縦横比の違いがあっても、あるいは、文字が詰められたり徐々に小さく書かれることがあっても、本来１つの文字を分離した文字として誤認識したり、本来複数の文字を結合した文字として誤認識する可能性を低下させる。また、認識対象の候補となる文字切りパターンを作る前に画素塊を結合することで計算量を減らす効果がある。
【発明を実施するための最良の形態】
【００１３】
［第１の実施形態］
＜文字認識装置の構成＞
図１は本発明を実施するための文字認識装置の構成を示すブロック図である。１０１はＲＯＭ１０２に格納されている制御プログラムに従って本装置全体の制御を行うＣＰＵ、１０２はＣＰＵ１０１が実行する後述するフローチャートに示す処理等本装置の制御プログラム等を格納するＲＯＭである。１０３は帳票画像等を記憶するＲＡＭ、１０４は磁気ディスク等の外部記憶装置である。１０５はディスプレイ、１０６はキーボード、１０７はマウス等のポインティングデバイスである。１０８は帳票画像等を読み取るイメージスキャナである。
【００１４】
本発明は汎用的なコンピュータでも実施可能である。その場合、コンピュータ読取り可能な記憶媒体等で提供されるコンピュータプログラムを外部記憶装置１０４に記憶し、オペレータの指示等によりＣＰＵ１０１で実行するように構成されてもよい。また、１０９はネットワークインターフェースであり、図示しない遠隔地に存在する装置と通信し、プログラムやデータなどを読み込んだり、書き込んだりする。汎用コンピュータを用いる場合には、イメージスキャナ１０８は周辺機器として提供されるイメージスキャナが用いられる。
【００１５】
＜文字認識処理＞
次に本実施形態が実行する文字認識処理を図２のフローチャートを用いて説明する。なお、本説明は横書きの文書に対して行うが、縦書きについても方向を９０度回転した上で同様の方法で可能である。図２の手順は図１の文字認識装置により実行されるプログラムにより実現される。
【００１６】
まず、イメージスキャナ１０８で読み取られた、画素で構成される画像データから、ステップＳ２０１で行抽出を行う。抽出対象の画像データは、外部記憶装置１０４に保存されている画像データ、あるいは他の画像入力装置からネットワークインターフェース１０９を介して受信された画像データであってもよい。行抽出は、行方向に射影を取り、射影の存在する部分を高さとするように行矩形を取ればよい。たとえば、行方向に濃度ヒストグラムを求め、空白と空白との間を高さとする領域が行として抽出される。換言すれば、この領域処理は、画素により構成される画像データから文字列を含む領域を抽出する処理である。
【００１７】
次にＳ２０２で抽出された行矩形から、連続した画素のまとまり（画素塊）を抽出する。画素塊は、たとえば抽出した領域（行矩形とも呼ぶ。）を適当に走査して文字を形成する画素を見つけ、輪郭を追跡して元の画素まで戻ってきたら、それを１つの画素塊とする。輪郭の追跡は、たとえば追跡された画素の座標の列として記録される。そして、その画素塊に外接する、行矩形と各辺が平行な矩形の位置とサイズが計算される。矩形の位置は例えば左上角など予め定めた点で示される。又サイズはたとえば縦横各辺の長さで示される。一旦外接矩形が決定された画素塊は、その外接矩形により示される。すなわち、ステップＳ２０２で画素塊が抽出された後には、画素塊とは画素の集まりではなく、その外接矩形を指す。本実施形態における画素塊の抽出処理の出力は、画素塊の外接矩形の位置とサイズである。これは処理上の便宜であって、もちろん画素の集まりそのものを保存して処理することもできる。ステップＳ２０２では、たとえば行矩形をメモリに複製して画素塊を抽出し、抽出した画素塊については行矩形から削除する。そして残った行矩形の内容について繰り返し画素塊の抽出を行って、行矩形内のすべての画素塊を抽出する。
【００１８】
ステップＳ２０３では、横書きなら上下に存在する画素塊同士を結合する。画素塊を結合するとは、たとえば結合対象の画素塊の外接矩形をすべて包含する最小の外接矩形を、結合後の新たな外接矩形として作成することである。結合対象の画素塊の外接矩形は不要なので消去される。その結果、たとえば冠を部首として持つ文字は画素塊同士が結合し、１文字単位の個別文字パターンとなる。また冠の下に偏と旁がある場合には、その３つの画素塊に外接するひとつの外接矩形が結合後の画素塊として得られる。しかしながら、文字の一部の小画素塊が孤立し、結合しないで残ってしまうことがある。なお上下に存在するとは、文字列の方向と直交する方向について互いに重複すると言い換えることもできる。
【００１９】
そこで、ステップＳ２０４で孤立画素塊と接近して存在する画素塊同士を結合する。結合の条件は、たとえば画素塊が隣接しており、かつ、隣接する画素塊の距離が所定距離以内であることなどである。この距離は絶対的なものではなく、小さい方の外接矩形の短辺の長さの所定数分の１（たとえば４分の１）以下であることなどである。これに、縦横いずれかの辺どうしの比が一定値以上（たとえば４以上）または一定値以下（たとえば４分の１以下）など、付加的な条件を加えることもできる。もちろんこれは一例に過ぎない。また句読点を除外するために、まず画素塊の位置及び形状から句読点（「、」と「。」）を先に認識し、その位置を保存した後、句読点に相当する画素塊を行矩形から削除してしまってもよい。
【００２０】
このようにステップＳ２０２〜Ｓ２０４では、結合されるべき画素塊は結合して、この後のステップで結合される単位となる画素塊に切り分けられる。すなわち、認識対象の文字列が含まれる領域を、文字認識のために組み合わせられる単位となる画素塊に切り分ける。ステップＳ２０３、Ｓ２０４では、ある画素塊に着目した場合、着目画素およびその近傍画素塊の関係のみに従って結合するか否かが決定される。後述のステップＳ２０６やＳ２０８における画素塊の結合では、推定文字サイズという、統計処理により得られた値を用いて結合の有無を決定しており、その点でステップＳ２０３，２０４は、ステップＳ２０６，Ｓ２０８と異なっている。
【００２１】
なお、行矩形について、文字の並び方向に直交する方向のヒストグラムを求め、空白位置で文字切りをしてもよい。このようにすれば、上下に結合すべき画素塊はひとつの画素塊として扱われるため、ステップＳ２０３の処理を省くことができる。
【００２２】
例えば図３の『京』というを含む行矩形からは、ステップＳ２０２で４個の画素塊３０１〜３０４が抽出され、ステップＳ２０３で上下方向に重なる画素塊３０１、３０２、３０３が結合されて１つの画素塊３０５になる。次にステップＳ２０４で孤立画素塊３０４と結合した画素塊３０５に注目し、両者が接近しており一方の画素塊が他方に比べ十分に小さいので、小さい画素塊は大きな画素塊の一部が分離しているものとして結合される。最終的に個別文字パターン３０６が得られる。
【００２３】
ステップＳ２０３の上下結合とＳ２０４の孤立画素塊結合が終わった画素塊が、文字切りパターンの組み合わせの単位となる。まず、この画素塊を使用して、ステップＳ２０５で行方向の位置によって決定する推定文字サイズを求める。文字サイズは横書きでは文字幅、縦書きでは文字高さである。着目画素塊の推定文字サイズは、例えば着目画素塊の２つ前の画素塊と２つ後の画素塊の幅の平均である局所平均とする。ただし２つ前の画素塊や２つ後の画素塊が存在しない場合には別途定めておく。たとえば、先頭から２番目の画素塊に対する推定文字サイズは先頭から１番目と４番目の文字の平均とし、先頭から１番目の推定文字サイズは先頭から２番目とそれと同一の値にする。また末尾から２番目の画素塊に対する推定文字サイズは末尾から１番目と４番目の文字の平均とし、末尾から１番目の文字も同様とする。これにより抽出された全ての画素塊に対し推定文字サイズが決定される。より一般化すれば、推定文字サイズは上述の２つの画素塊の平均とは限らない。着目画素塊を含む、行矩形内の一定サイズの局所領域を定め、その局所領域内の画素塊のサイズから計算した平均値を推定文字サイズとする。上記例では、局所領域内として着目画素塊の前後２画素塊を含む領域を定め、その中に含まれる先頭と末尾の画素塊のサイズの平均を推定文字サイズとしている。すなわち、行矩形において、ステップＳ２０４までの手順で切り分けられた画素塊に順次着目し、着目した画素塊を含む局所領域に属する所定の画素塊の幅の平均を計算する。その結果を、着目画素塊の推定文字サイズとして推定する。推定文字サイズは、着目した画素塊それ自身ではなく、その近傍の画素塊のサイズを参照して着目画素塊のサイズを推定するための値である。たとえば着目画素塊のサイズが推定画素塊のサイズよりも大幅に小さい場合、着目画素塊は独立した文字ではない可能性が高いと推定できる。
【００２４】
図４は入力された文字列の一例であり、図５は画素塊の位置（行方向）をＸ軸に、各画素塊のサイズ（太線）及び各画素塊の推定文字サイズ（局所平均：細線）をＹ軸に表した表である。たとえば「都」は、図４では、「者」４０１と「おおざと」４０２のふたつの画素塊に切り分けられている。図５を参照すると、この両者の実際のサイズ（幅）は、周辺の画素塊の幅に比べて極端に小さい（座標位置５０１，５０２）。ところが推定文字サイズを参照すると、近傍の画素塊よりもむしろ大きい（座標位置５１１，５１２）。これは、画素塊「者」と「おおざと」とが結合してひとつの文字を構成する可能性が高いことを示す。そして実際にその通りである。
【００２５】
このようにして推定文字サイズが求まったら、ステップＳ２０６で、文字列の方向すなわち横書きなら左右方向にある画素塊同士を、ステップＳ２０５でもとめた推定文字サイズを使用して結合する。ただし、結合には条件があり、結合後の画素塊のサイズ（幅）が、結合対象の画素塊の一方の推定文字サイズを基準として第１の許容範囲内であれば、結合する。基準となる推定文字サイズは、予め定めた方の画素塊のそれであってもよいし、あるいは、結合される画素塊の推定文字サイズの平均であっても良い。例えば文字幅の許容範囲を推定文字サイズの０．９倍から１．１倍とし、２つの画素塊を結合した時の文字幅が許容範囲内に入れば、両者を結合する。ここで言う結合は、ステップＳ２０３と同じ事である。すでに画素塊の切り分けは決定されているので、ステップＳ２０６では既存の画素塊の切り分け方を変更して文字切りパターンを作成する処理ということもできる。
【００２６】
ステップＳ２０６では条件が満たされなければ画素塊の結合は行われないので、必ずしも結合が生じるわけではない。ステップＳ２０６で左右結合が発生した場合、ステップＳ２０７で結合後の画素塊の情報を利用してステップＳ２０５の推定文字サイズ算出ステップに戻る。たとえば、結合前の画素塊の外接矩形の位置とサイズを、結合後の画素塊の外接矩形の位置とサイズとで置換し、改めて推定文字サイズの計算から繰り返す。左右結合が発生しなければステップＳ２０８に進む。
【００２７】
ステップＳ２０８では、ここまでのステップで得られた画素塊を組み合わせてラティス構造を生成する。すなわち、ステップＳ２０７までで得られた画素塊の切り分けを示す文字切りパターンを基に、互いに隣接する画素塊を結合するよう画素塊の切り分けを変更して新たな文字切りパターンを生成する。これは基の文字切りパターンに代わるものではなく、追加的に生成される。作成された文字切りパターンが、最終的に決定される文字切りパターンの候補となる。画素塊の結合は、ここでも一定の条件の下で行われる。すなわち、結合後の画素塊のサイズ（幅）が、結合対象の画素塊の一方の推定文字サイズを基準として第２の許容範囲内であれば結合する。第２の許容範囲は第１の許容範囲よりも広い。たとえば、推定文字サイズの１.２倍もしくは文字行高さの１.２倍の大きい方を第２の許容範囲とする。画素塊同士を結合した幅が許容範囲（あるいは閾値）以内となる場合は、文字切りパターンの候補（すなわちラティス構造）に、結合後の文字切りパターンを追加する。ステップＳ２０８では、条件に適合するすべての文字切りパターンの候補が１または複数作成される。
【００２８】
ステップＳ２０９では、ステップＳ２０８で作成された文字切りパターンのそれぞれに従って切り分けられた画素塊を対象として、文字認識が行われる。そして、ひとつの文字切りパターン毎に、各文字の文字の認識結果得られた評価値の合計を計算する。この評価値の合計値を文字切りパターンの候補それぞれについて求め、互いに比較して、評価値が最大となるような（すなわち最も確からしい）文字切りパターンを選択する。選択された文字切りパターンに従って認識された文字列が、認識結果として出力される。文字認識処理自体は公知の方法であって良く、たとえば識別辞書に登録された特徴と、認識対象の画素塊から抽出された特徴とを対比して、最も一致点が多い文字を認識結果として出力する。特徴の一致点が多ければ評価値は高い。
【００２９】
以上の手順により、複数の文字切りパターンの候補それぞれについて文字認識を行ってその結果を評価し、最も適当と判定された文字切りパターンに従って認識された文字列を出力結果とする。また候補となる文字切りパターンは、統計的に可能性が高いと判定された文字切りパターンに限られているために、処理量も従来例に比べて相当小さくて済む。
【００３０】
以上説明したように、本実施形態により、文字が左右に分離してしまう場合でも局所平均から少ない誤差で推定文字サイズが得られる効果がある。また、文字列全体の平均ではなく、局所的な平均を使うので、ユーザが徐々に文字を詰めて書いたり、小さく書いたりしている場合にもより精度よく対応することができる。また、上記処理を繰り返すことで、左右に分離する文字が連続しても、個別文字パターンを徐々に作り出し、最終的には全ての個別文字パターンを抽出できる効果がある。
【００３１】
［変形例］
なお本実施形態ではステップＳ２０７の後には、ステップＳ２０８に進むものとしているが、ステップＳ２０９に進んでも良い。この場合には複数の文字切りパターンの候補は作成されないため、候補の中から適当と推定される認識結果を選択することはないが、処理量は大幅に圧縮される。また、ステップＳ２０７の処理において、統計的に可能性の高い文字切りパターンが決定されているために、認識結果も比較的良好であることが期待できる。
【００３２】
［第２の実施形態］
次に、図１の文字認識装置が実行する、前記実施形態とは異なる第２の実施形態が実行する文字認識処理を図６のフローチャートを用いて説明する。本実施形態は、図２を図６の手順で置換したものであるため、重複する部分の説明は省略する。
【００３３】
＜文字認識処理＞
次に本実施形態が実行する文字認識処理を図６のフローチャートを用いて説明する。なお、本説明は横書きの文書に対して行うが、縦書きについても方向を９０度回転した上で同様の方法で可能である。図６の手順は図１の文字認識装置により実行されるプログラムにより実現される。
【００３４】
まず、イメージスキャナ１０８で読み取られた、画素で構成される画像データから、ステップＳ６０１で行抽出を行う。抽出対象の画像データは、外部記憶装置１０４に保存されている画像データ、あるいは他の画像入力装置からネットワークインターフェース１０９を介して受信された画像データであってもよい。行抽出は、行方向に射影を取り、射影の存在する部分を高さとするように行矩形を取ればよい。たとえば、行方向に濃度ヒストグラムを求め、空白と空白との間を高さとする領域が行として抽出される。換言すれば、この領域処理は、画素により構成される画像データから文字列を含む領域を抽出する処理である。
【００３５】
次にＳ６０２で抽出された行矩形から画素の塊（画素塊）を抽出する。画素塊は、たとえば抽出した領域（行矩形とも呼ぶ。））を適当に走査して文字を形成する画素を見つけ、輪郭を追跡して元の画素まで戻ってきたら、それを１つの画素塊とする。輪郭の追跡は、たとえば追跡された画素の座標の列として記録される。そして、その画素塊に外接する、行矩形と各辺が平行な矩形の位置とサイズが計算される。矩形の位置は例えば左上角など予め定めた点で示される。又サイズはたとえば縦横各辺の長さで示される。一旦外接矩形が決定された画素塊は、その外接矩形により示される。すなわち、ステップＳ６０２で画素塊が抽出された後には、画素塊とは画素の集まりではなく、その外接矩形を指す。本実施形態における画素塊の抽出処理の出力は、画素塊の外接矩形の位置とサイズである。これは処理上の便宜であって、もちろん画素の集まりそのものを保存して処理することもできる。ステップＳ６０２では、たとえば行矩形をメモリに複製して画素塊を抽出し、抽出した画素塊については行矩形から削除する。そして残った行矩形の内容について繰り返し画素塊の抽出を行って、行矩形内のすべての画素塊を抽出する。
【００３６】
ステップＳ６０３では、横書きなら上下に存在する画素塊同士を結合する。画素塊を結合するとは、たとえば結合対象の画素塊の外接矩形をすべて包含する最小の外接矩形を、結合後の新たな外接矩形として作成することである。結合対象の画素塊の外接矩形は不要なので消去される。その結果、たとえば冠を部首として持つ文字は画素塊同士が結合し、１文字単位の個別文字パターンとなる。また冠の下に偏と旁がある場合には、その３つの画素塊に外接するひとつの外接矩形が結合後の画素塊として得られる。しかしながら、文字の一部の小画素塊が孤立し、結合しないで残ってしまうことがある。
【００３７】
そこで、ステップＳ６０４で孤立画素塊と接近して存在する画素塊同士を結合する。結合の条件は、たとえば画素塊が隣接しており、かつ、隣接する画素塊の距離が所定距離以内であることなどである。この距離は絶対的なものではなく、小さい方の外接矩形の短辺の長さの所定数分の１（たとえば４分の１）以下であることなどである。これに、縦横いずれかの辺どうしの比が一定値以上（たとえば４以上）または一定値以下（たとえば４分の１以下）など、付加的な条件を加えることもできる。もちろんこれは一例に過ぎない。また句読点を除外するために、まず画素塊の位置及び形状から句読点（「、」と「。」）を先に認識し、その位置を保存した後、句読点に相当する画素塊を行矩形から削除してしまってもよい。
【００３８】
このようにステップＳ６０２〜Ｓ６０４では、結合されるべき画素塊は結合して、この後のステップで結合される単位となる画素塊に切り分けられる。
【００３９】
ステップＳ６０３の上下結合とＳ６０４の孤立画素塊結合が終わった画素塊が、文字切りパターンの組み合わせの単位となる。この画素塊を使用して、ステップＳ６０５で行方向の位置によって決定する推定文字サイズを求める。ステップＳ６０５の推定文字サイズは、画素塊の行方向の位置をパラメータして対応する幅を与える近似二次関数で決定される。この近似二次関数は、たとえば、実際の各画素塊の位置と幅を示す各点からの距離の二乗和が最小となるように決定される。すなわち、最小二乗法で３つの係数を決定することで、近似二次関数は一意に決定できる。
【００４０】
入力された文字列は実施形態１と同様に図４で示される。図７は行方向をＸ軸にとり、画素塊のサイズを二次関数で近似して得られたグラフである。図７においても、「者」４０１と「おおざと」４０２のふたつの画素塊の推定文字サイズを参照すると、近傍の画素塊並であることが分かる。これは、画素塊「者」と「おおざと」とが結合してひとつの文字を構成する可能性が高いことを示す。
【００４１】
このようにして推定文字サイズが求まったら、ステップＳ６０６で、文字列の方向すなわち横書きなら左右方向にある画素塊同士を、ステップＳ６０５でもとめた推定文字サイズを使用して結合する。ただし、結合には条件があり、結合後の画素塊のサイズ（幅）が、結合対象の画素塊の一方の推定文字サイズを基準として第１の許容範囲内であれば、結合する。基準となる推定文字サイズは、予め定めた方の画素塊のそれであってもよいし、あるいは、結合される画素塊の推定文字サイズの平均であっても良い。例えば文字幅の許容範囲を推定文字サイズの０．９倍から１．１倍とし、２つの画素塊を結合した時の文字幅が許容範囲内に入れば、両者を結合する。すでに画素塊の切り分けは決定されているので、ステップＳ６０６では既存の画素塊の切り分け方を変更して文字切りパターンを作成する処理ということもできる。
【００４２】
この実施形態では、推定文字サイズは二次関数で近似されているため、画素塊の結合が生じても、推定文字サイズを計算し直す必要はない。そこで、ステップＳ６０７では、ここまでのステップで得られた画素塊を組み合わせてラティス構造を生成する。すなわち、ステップＳ６０６までで得られた画素塊の切り分けを示す文字切りパターンを基に、互いに隣接する画素塊を結合するよう画素塊の切り分けを変更して新たな文字切りパターンを生成する。これは基の文字切りパターンに代わるものではなく、追加的に生成される。作成された文字切りパターンが、最終的に決定される文字切りパターンの候補となる。画素塊の結合は、ここでも一定の条件の下で行われる。すなわち、結合後の画素塊のサイズ（幅）が、結合対象の画素塊の一方の推定文字サイズを基準として第２の許容範囲内であれば結合する。たとえば、推定文字サイズの１.２倍もしくは文字行高さの１.２倍の大きい方を第２の許容範囲とする。画素塊同士を結合した幅が許容範囲（あるいは閾値）以内となる場合は、文字切りパターンの候補（すなわちラティス構造）に、結合後の文字切りパターンを追加する。ステップＳ６０７では、条件に適合するすべての文字切りパターンの候補が作成される。
【００４３】
ステップＳ６０８では、ステップＳ６０７で作成された文字切りパターンのそれぞれに従って切り分けられた画素塊を対象として、文字認識が行われる。そして、ひとつの文字切りパターン毎に、各文字の文字の認識結果得られた評価値の合計を計算する。この評価値の合計値を文字切りパターンの候補それぞれについて求め、互いに比較して、評価値が最大となるような文字切りパターンを選択する。選択された文字切りパターンに従って認識された文字列が、認識結果として出力される。
【００４４】
以上の手順により、複数の文字切りパターンの候補それぞれについて文字認識を行ってその結果を評価し、最も適当と判定された文字切りパターンに従って認識された文字列を出力結果とする。また候補となる文字切りパターンは、統計的に可能性が高いと判定された文字切りパターンに限られているために、処理量も従来例に比べて相当小さくて済む。
【００４５】
以上説明したように、本実施形態により、文字が左右に分離してしまう場合でも局所平均から少ない誤差で推定文字サイズが得られる効果がある。また、上記処理を繰り返すことで、左右に分離する文字が連続しても、個別文字パターンを徐々に作り出し、最終的には全ての個別文字パターンを抽出できる効果がある。
【００４６】
本実施形態により、文字が徐々に小さくなるような場合でも、文字サイズの傾向を適切に推定し近似できる効果がある。また画素塊の結合が生じても推定文字サイズを再計算する必要がなく、処理負荷が軽減される。
【００４７】
［変形例］
なお本実施形態ではステップＳ６０６の後には、ステップＳ６０７に進むものとしているが、ステップＳ６０８に進んでも良い。これは第１実施形態と同様である。
【００４８】
［他の実施形態］
なお本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。また本発明の目的は、前述の実施形態の機能を実現するプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体およびプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４９】
また、本発明には、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた場合についても、本発明は適用される。その場合、書き込まれたプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００５０】
【図１】本発明の実施形態１ないし２に係る文字認識装置の構成を示す図である。
【図２】本発明の実施形態１に係る文字認識処理を説明するためのフローチャートである。
【図３】本発明の実施形態１ないし２に係る文字塊の結合処理を説明する図である。
【図４】本発明の実施形態１ないし２に係る入力された文字列画像を示す図である。
【図５】本発明の実施形態１に係る推定文字サイズを示すグラフである。
【図６】本発明の実施形態２に係る文字認識処理を説明するためのフローチャートである。
【図７】本発明の実施形態２に係る推定文字サイズを示すグラフである。
【符号の説明】
【００５１】
１０１・・・ＣＰＵ
１０２・・・ＲＯＭ
１０３・・・ＲＡＭ
１０４・・・外部記憶装置
１０５・・・ディスプレイ
１０６・・・キーボード
１０７・・・ポインティングデバイス
１０８・・・イメージスキャナ
１０９・・・ネットワークインターフェース
【図１】
2009193170.tif 000003
【図２】
2009193170.tif 000004
【図３】
2009193170.tif 000005
【図４】
2009193170.tif 000006
【図５】
2009193170.tif 000007
【図６】
2009193170.tif 000008
【図７】
2009193170.tif 000009