(57)【特許請求の範囲】
【請求項１】
所定の多値画像パターン記憶手段が記憶している多値画像パターンを、複数方向に走査し、各走査線上の各画素について、該画素の濃度と隣接画素の濃度との積と、該画素の濃度と該隣接画素の濃度をある定数から引いた値との積と、該画素の濃度をある定数から引いた値と該隣接画素の濃度との積と、該画素の濃度をある定数から引いた値と該隣接画素の濃度をある定数から引いた値との積、および、その積和を求める積算過程と、
前記積算過程で求めた積和に基づいて、前記多値画像パターンから文字列領域の画像パターンを抽出する文字列抽出過程と、
前記文字列抽出過程で抽出した文字列画像パターンから、該文字列画像パターンを構成する各個別文字の領域である候補画像パターンを抽出する個別文字抽出過程と、
前記個別文字抽出過程で抽出した各個別文字の候補画像パターンについて、所定の辞書から、該候補画像パターンに対応する認識文字パターンを探し出す個別文字照合過程と、
前記個別文字照合過程で探し出した認識文字パターンを出力する画像出力過程と
を具備することを特徴とする文字認識方法。
【請求項２】
請求項１記載の文字認識方法において、
任意の多値画像パターンを入力し、該多値画像パターンに基づいて、多値参照パターンを編集・生成する画像入力過程と、
前記画像入力過程で生成した多値参照パターンと、前記辞書に記憶された参照パターンとに基づいて、該辞書内の参照パターンを更新する参照パターン学習過程と
を具備することを特徴とする文字認識方法。
【請求項３】
請求項１または請求項２のいずれかに記載の文字認識方法において、
前記積算過程は、
前記多値画像パターン記憶手段から多値画像パターンを読み出し、
読み出した多値画像パターンを、水平方向および垂直方向に走査し、
各走査線上の各画素について、該画素の濃度と隣接画素の濃度との積ａと、該画素の濃度と該隣接画素の濃度をある定数から引いた値との積ｂと、該画素の濃度をある定数から引いた値と該隣接画素の濃度との積ｃと、該画素の濃度をある定数から引いた値と該隣接画素の濃度をある定数から引いた値との積ｅと、走査画素数ｎを求め、
各走査線上の全画素について得られたａ，ｂ，ｃ，ｅそれぞれの総和ａｐ，ｂｐ，ｃｐ，ｅｐを求め、
各走査線について、走査開始画素の１つ前の画素から走査終了画素の１つ前の画素までの画素値の和Ｔおよび二乗和Ｔ２、走査開始画素から走査終了画素までの画素値の和Ｘおよび二乗和Ｘ２を求め、
これらの値に基づいて
ｐ＝（ａｐ・ｅｐ−ｂｐ・ｃｐ）／｛ｓｑｒｔ〔（ｎ−１）・Ｔ２−Ｔ２  〕・ｓｑｒｔ〔（ｎ−１）・Ｘ２−Ｘ２  〕｝
を計算する
ことを特徴とする文字認識方法。
【請求項４】
請求項３記載の文字認識方法において、
前記多値画像パターンは、横Ｎｘ  画素×縦Ｎｙ  画素からなり、
前記文字列抽出過程は、
Ｎｘ  ＞Ｎｙ  ならば、
前記積算過程で水平方向の走査において算出したｐの値を、垂直方向の投影軸に投影して、投影分布Ｐｙ  を求め、
該投影分布Ｐｙ  をＮ等分することにより、投影分布Ｑを生成し、
該投影分布Ｑについて、その構成要素が所定のしきい値ＴＱ  より大きい連続区間を求め、
該連続区間内の多値画像パターンを、文字列画像パターンＷとし、
一方、Ｎｙ  ＞Ｎｘ  ならば、
前記積算過程で垂直方向の走査において算出したｐの値を、水平方向の投影軸に投影して、投影分布Ｐｘ  を求め、
該投影分布Ｐｘ  をＮ等分することにより、投影分布Ｑを生成し、
該投影分布Ｑについて、その構成要素が所定のしきい値ＴＱ  より大きい連続区間を求め、
該連続区間内の多値画像パターンを、文字列画像パターンＷとする
ことを特徴とする文字認識方法。
【請求項５】
請求項４記載の文字認識方法において、
前記個別文字抽出過程は、
Ｎx＞Ｎyならば、
Ｎx×Ｗy画素の文字列画像パターンＷを、横（Ｎx・Ｎ／Ｗy）画素×縦Ｎ画素の正規化文字列画像パターンＷNに正規化し、
正規化文字列画像パターンＷNを、垂直方向に走査し、
該走査線上の各画素について、該画素の濃度と隣接画素の濃度との積ａと、該画素の濃度と該隣接画素の濃度をある定数から引いた値との積ｂと、該画素の濃度をある定数から引いた値と該隣接画素の濃度との積ｃと、該画素の濃度をある定数から引いた値と該隣接画素の濃度をある定数から引いた値との積ｅと、走査画素数ｎを求め、
該走査線上の全画素について得られたａ，ｂ，ｃ，ｅそれぞれの総和ａｐ，ｂｐ，ｃｐ，ｅｐを求め、
該走査線について、走査開始画素の１つ前の画素から走査終了画素の１つ前の画素までの画素値の和Ｔおよび二乗和Ｔ２、走査開始画素から走査終了画素までの画素値の和Ｘおよび二乗和Ｘ２を求め、
これらの値に基づいて
ｐ＝（ａｐ・ｅｐ−ｂｐ・ｃｐ）／｛ｓｑｒｔ〔（ｎ−１）・Ｔ２−Ｔ２〕・ｓｑｒｔ〔（ｎ−１）・Ｘ２−Ｘ２〕｝
を計算し、
このｐの値を、水平方向の投影軸に投影して、投影分布Ｐxを求め、
該投影分布Ｐxの要素が所定のしきい値Ｔxより大きい連続区間を求め、
該連続区間の長さが所定値以内である場合には、該連続区間内の文字列画像パターンＷを、候補画像パターンＧとし、
一方、Ｎy＞Ｎxならば、
Ｎy×Ｗx画素の文字列画像パターンＷを、横Ｎ画素×縦（Ｎy・Ｎ／Ｗx）画素の正規化文字列画像パターンＷNに正規化し、
正規化文字列画像パターンＷNを、水平方向に走査し、
該走査線上の各画素について、該画素の濃度と隣接画素の濃度との積ａと、該画素の濃度と該隣接画素の濃度をある定数から引いた値との積ｂと、該画素の濃度をある定数から引いた値と該隣接画素の濃度との積ｃと、該画素の濃度をある定数から引いた値と該隣接画素の濃度をある定数から引いた値との積ｅと、走査画素数ｎを求め、
該走査線上の全画素について得られたａ，ｂ，ｃ，ｅそれぞれの総和ａｐ，ｂｐ，ｃｐ，ｅｐを求め、
該走査線について、走査開始画素の１つ前の画素から走査終了画素の１つ前の画素までの画素値の和Ｔおよび二乗和Ｔ２、走査開始画素から走査終了画素までの画素値の和Ｘおよび二乗和Ｘ２を求め、
これらの値に基づいて
ｐ＝（ａｐ・ｅｐ−ｂｐ・ｃｐ）／｛ｓｑｒｔ〔（ｎ−１）・Ｔ２−Ｔ２〕・ｓｑｒｔ〔（ｎ−１）・Ｘ２−Ｘ２〕｝
を計算し、
このｐの値を、垂直方向の投影軸に投影して、投影分布Ｐyを求め、
該投影分布Ｐyの要素が所定のしきい値Ｔyより大きい連続区間を求め、
該連続区間の長さが所定値以内である場合には、該連続区間内の文字列画像パターンＷを、候補画像パターンＧとする
ことを特徴とする文字認識方法。
【請求項６】
請求項５記載の文字認識方法において、
前記個別文字照合過程は、
前記候補画像パターンＧを、縦Ｎ画素×横Ｎ画素の正規化多値文字パターンＸに正規化し、
正規化多値文字パターンＸと所定の辞書内に記憶されている参照パターンＴとの類似度Ｓ（Ｘ，Ｔｍ  ）を、該辞書内の複数の参照パターンＴについて求め、
該複数の参照パターンＴについて、その類似度Ｓ（Ｘ，Ｔｍ  ）が所定の閾値Ｓｍ  より大きく、かつ、その類似度Ｓ（Ｘ，Ｔｍ  ）が最も大きい参照パターンＴを、候補画像パターンＧの認識文字パターンとする
ことを特徴とする文字認識方法。
【請求項７】
多値画像パターンを記憶する多値画像パターン記憶手段と、
前記多値画像パターン記憶手段が記憶している多値画像パターンを、複数方向に走査し、各走査線上の各画素について、該画素の濃度と隣接画素の濃度との積と、該画素の濃度と該隣接画素の濃度をある定数から引いた値との積と、該画素の濃度をある定数から引いた値と該隣接画素の濃度との積と、該画素の濃度をある定数から引いた値と該隣接画素の濃度をある定数から引いた値との積、および、その積和を求める積算手段と、
前記積算手段が求めた積和に基づいて、前記多値画像パターンから文字列領域の画像パターンを抽出する文字列抽出手段と、
前記文字列抽出手段が抽出した文字列画像パターンから、該文字列画像パターンを構成する各個別文字の領域である候補画像パターンを抽出する個別文字抽出手段と、
前記個別文字抽出手段が抽出した各個別文字の候補画像パターンについて、所定の辞書から、該候補画像パターンに対応する認識文字パターンを探し出す個別文字照合手段と、
前記個別文字照合手段が探し出した認識文字パターンを出力する画像出力手段と
を具備することを特徴とする文字認識装置。
【請求項８】
請求項７記載の文字認識装置において、
任意の多値画像パターンを入力し、該多値画像パターンに基づいて、多値参照パターンを編集・生成する画像入力手段と、
前記画像入力手段が生成した多値参照パターンと、個別文字照合手段内の前記辞書に記憶された参照パターンとに基づいて、該辞書内の参照パターンを更新する参照パターン学習手段と
を具備することを特徴とする文字認識装置。
【請求項９】
請求項７または請求項８のいずれかに記載の文字認識装置において、
前記積算手段は、
前記多値画像パターン記憶手段から多値画像パターンを読み出し、
読み出した多値画像パターンを、水平方向および垂直方向に走査し、
各走査線上の各画素について、該画素の濃度と隣接画素の濃度との積ａと、該画素の濃度と該隣接画素の濃度をある定数から引いた値との積ｂと、該画素の濃度をある定数から引いた値と該隣接画素の濃度との積ｃと、該画素の濃度をある定数から引いた値と該隣接画素の濃度をある定数から引いた値との積ｅと、走査画素数ｎを求め、
各走査線上の全画素について得られたａ，ｂ，ｃ，ｅそれぞれの総和ａｐ，ｂｐ，ｃｐ，ｅｐを求め、
各走査線について、走査開始画素の１つ前の画素から走査終了画素の１つ前の画素までの画素値の和Ｔおよび二乗和Ｔ２、走査開始画素から走査終了画素までの画素値の和Ｘおよび二乗和Ｘ２を求め、
これらの値に基づいて
ｐ＝（ａｐ・ｅｐ−ｂｐ・ｃｐ）／｛ｓｑｒｔ〔（ｎ−１）・Ｔ２−Ｔ２  〕・ｓｑｒｔ〔（ｎ−１）・Ｘ２−Ｘ２  〕｝
を計算する
ことを特徴とする文字認識装置。
【請求項１０】
請求項９記載の文字認識装置において、
前記多値画像パターンは、横Ｎｘ  画素×縦Ｎｙ  画素からなり、
前記文字列抽出手段は、
Ｎｘ  ＞Ｎｙ  ならば、
前記積算手段が水平方向の走査において算出したｐの値を、垂直方向の投影軸に投影して、投影分布Ｐｙ  を求め、
該投影分布Ｐｙ  をＮ等分することにより、投影分布Ｑを生成し、
該投影分布Ｑについて、その構成要素が所定のしきい値ＴＱ  より大きい連続区間を求め、
該連続区間内の多値画像パターンを、文字列画像パターンＷとし、
一方、Ｎｙ  ＞Ｎｘ  ならば、
前記積算手段が垂直方向の走査において算出したｐの値を、水平方向の投影軸に投影して、投影分布Ｐｘ  を求め、
該投影分布Ｐｘ  をＮ等分することにより、投影分布Ｑを生成し、
該投影分布Ｑについて、その構成要素が所定のしきい値ＴＱ  より大きい連続区間を求め、
該連続区間内の多値画像パターンを、文字列画像パターンＷとする
ことを特徴とする文字認識装置。
【請求項１１】
請求項１０記載の文字認識装置において、
前記個別文字抽出手段は、
Ｎx＞Ｎyならば、
Ｎx×Ｗy画素の文字列画像パターンＷを、横（Ｎx・Ｎ／Ｗy）画素×縦Ｎ画素の正規化文字列画像パターンＷNに正規化し、
正規化文字列画像パターンＷNを、垂直方向に走査し、
該走査線上の各画素について、該画素の濃度と隣接画素の濃度との積ａと、該画素の濃度と該隣接画素の濃度をある定数から引いた値との積ｂと、該画素の濃度をある定数から引いた値と該隣接画素の濃度との積ｃと、該画素の濃度をある定数から引いた値と該隣接画素の濃度をある定数から引いた値との積ｅと、走査画素数ｎを求め、
該走査線上の全画素について得られたａ，ｂ，ｃ，ｅそれぞれの総和ａｐ，ｂｐ，ｃｐ，ｅｐを求め、
該走査線について、走査開始画素の１つ前の画素から走査終了画素の１つ前の画素までの画素値の和Ｔおよび二乗和Ｔ２、走査開始画素から走査終了画素までの画素値の和Ｘおよび二乗和Ｘ２を求め、
これらの値に基づいて
ｐ＝（ａｐ・ｅｐ−ｂｐ・ｃｐ）／｛ｓｑｒｔ〔（ｎ−１）・Ｔ２−Ｔ２〕・ｓｑｒｔ〔（ｎ−１）・Ｘ２−Ｘ２〕｝
を計算し、
このｐの値を、水平方向の投影軸に投影して、投影分布Ｐxを求め、
該投影分布Ｐxの要素が所定のしきい値Ｔxより大きい連続区間を求め、
該連続区間の長さが所定値以内である場合には、該連続区間内の文字列画像パターンＷを、候補画像パターンＧとし、
一方、Ｎy＞Ｎxならば、
Ｎy×Ｗx画素の文字列画像パターンＷを、横Ｎ画素×縦（Ｎy・Ｎ／Ｗx）画素の正規化文字列画像パターンＷNに正規化し、
正規化文字列画像パターンＷNを、水平方向に走査し、
該走査線上の各画素について、該画素の濃度と隣接画素の濃度との積ａと、該画素の濃度と該隣接画素の濃度をある定数から引いた値との積ｂと、該画素の濃度をある定数から引いた値と該隣接画素の濃度との積ｃと、該画素の濃度をある定数から引いた値と該隣接画素の濃度をある定数から引いた値との積ｅと、走査画素数ｎを求め、
該走査線上の全画素について得られたａ，ｂ，ｃ，ｅそれぞれの総和ａｐ，ｂｐ，ｃｐ，ｅｐを求め、
該走査線について、走査開始画素の１つ前の画素から走査終了画素の１つ前の画素までの画素値の和Ｔおよび二乗和Ｔ２、走査開始画素から走査終了画素までの画素値の和Ｘおよび二乗和Ｘ２を求め、
これらの値に基づいて
ｐ＝（ａｐ・ｅｐ−ｂｐ・ｃｐ）／｛ｓｑｒｔ〔（ｎ−１）・Ｔ２−Ｔ２〕・ｓｑｒｔ〔（ｎ−１）・Ｘ２−Ｘ２〕｝
を計算し、
このｐの値を、垂直方向の投影軸に投影して、投影分布Ｐyを求め、
該投影分布Ｐyの要素が所定のしきい値Ｔyより大きい連続区間を求め、
該連続区間の長さが所定値以内である場合には、該連続区間内の文字列画像パターンＷを、候補画像パターンＧとする
ことを特徴とする文字認識装置。
【請求項１２】
請求項１１記載の文字認識装置において、
前記個別文字照合手段は、
前記候補画像パターンＧを、縦Ｎ画素×横Ｎ画素の正規化多値文字パターンＸに正規化し、
正規化多値文字パターンＸと所定の辞書内に記憶されている参照パターンＴとの類似度Ｓ（Ｘ，Ｔｍ  ）を、該辞書内の複数の参照パターンＴについて求め、
該複数の参照パターンＴについて、その類似度Ｓ（Ｘ，Ｔｍ  ）が所定の閾値Ｓｍ  より大きく、かつ、その類似度Ｓ（Ｘ，Ｔｍ  ）が最も大きい参照パターンＴを、候補画像パターンＧの認識文字パターンとする
ことを特徴とする文字認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は入力画像が多値画像、特に、かすれ、つぶれなどの雑音が加わった文書画像、縞模様などのデザイン処理を施してある文書画像、さらには白抜き文字画像などが混在する文書画像に対する文字認識方法および装置に関する。
【０００２】
【従来の技術】
従来、漢字ＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅａｄｅｒ）などの文字認識処理装置では、入力された多値の文書画像パターンに対して、（１）しきい値処理により２値化し、２値画像として扱う手法、（２）多値画像から直接文字の特徴量を抽出する手法、の２種類が知られている。
【０００３】
（１）の手法では、２値化された画像に対し、水平または垂直方向に走査して、各走査線ごとに黒画素または白画素の数を射影して、これらの量の投影分布を求め、文字列領域および個別文字領域を抽出する。その後に、切り出された文字ごとに認識のための特徴をベクトルの形で抽出し、予め作成してある標準辞書内の各カテゴリの標準パターンベクトルとの間で類似度または相違度などの識別関数を求めて、最も類似した文字または図形カデゴリを認識結果とする。この方法では、文字パターンが黒文字で、背景部分が白画素からなる文書画像の場合には、投影分布により画像中から個別文字の領域を判定することが可能であるが、広告中の文字に見られるようにデザイン処理された文字や写真の上に書かれた文字などに対しては、背景領域と文字領域の投影分布が類似しているため、うまく個別文字の領域を抽出できない問題点があった。
【０００４】
また、２値画像を対象に、デザイン処理などにロバストな射影尺度により、デザイン処理された画像から文字領域を抽出する方法も知られているが（例えば、澤木、萩田：特願平７−２４８１４７）、この手法では、入力画像として２値画像を対象としているため、多値画像に適用できない問題があった。さらに、多値画像を２値化したのちにこの手法を用いると、しきい値処理により画像が劣化し、文字領域がうまく切り出されない問題があった。
【０００５】
一方、（２）の手法では、多値画像の濃度分布を観測し、山線にあたるところを文字の心線として抽出し、辞書内に予め作成してある各カテゴリの標準心線形状と比較する手法が知られている。しかし、デザイン処理などの雑音が存在する場合には、デザイン部分を誤って文字線として抽出してしまったり、文字線部分を抽出し損ねてしまうという問題点がある。
【０００６】
【発明が解決しようとする課題】
上記のように、従来のＯＣＲをはじめとする文字認識技術は、背景にデザイン処理を行った文字列画像や、かすれ、つぶれのある文字列画像、白抜き文字混在などからなる文字列画像、特に多値画像中のそれらの画像から、文字カテゴリを正しく認識できる手段が十分に確立していなかった。
【０００７】
本発明の目的はこのような問題点に鑑み、多値画像中の、かすれやよごれなどの雑音やデザイン処理された文字列に対しても、文字列領域と背景領域の違いを反映する計数値を用いて文字列の領域および個別文字の候補画像を抽出する方法と、個別文字の候補画像に対してこの計数値を用いて雑音の程度を推定し、認識、棄却の判定に用いる識別関数のしきい値を雑音の程度に応じて変化させる方法とを提供することで、従来法に比べて精度の高い文字認識を実現することである。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明では、新聞見出しのようなデザイン処理された文字列画像パターンから文字領域と背景領域を分離するために、入力される多値画像パターンに対して、複数方向に走査して、走査線上で、ある画素の濃度と隣接画素の濃度の積、およびある画素の濃度と隣接画素の濃度をある定数から引いた値との積、およびある画素の濃度をある定数から引いた値と隣接画素の濃度との積、およびある画素の濃度をある定数から引いた値と隣接画素の濃度をある定数から引いた値との積を計数し、これらの計数値を利用して文字列領域を抽出することを特徴とする。
【０００９】
また、本発明では、抽出した文字列領域の画像パターンの情報をもとにして、複数方向に走査して、走査線上で、ある画素の濃度と隣接画素の濃度の積、およびある画素の濃度と隣接画素の濃度をある定数から引いた値との積、およびある画素の濃度をある定数から引いた値と隣接画素の濃度との積、およびある画素の濃度をある定数から引いた値と隣接画素の濃度をある定数から引いた値との積を計数し、これらの計数値を利用して、個別文字の候補領域を抽出する方法や、文字列中で個別文字カテゴリが照合により確定した文字カテゴリの位置と認識情報をもとに、残りの未処理の個別文字の候補領域を抽出する方法を備えたことを特徴とする。
【００１０】
さらに、個別候補画像パターンと辞書の参照パターンとの照合において、公知の識別関数を用いて識別関数値（類似度）を求め、この値と個別候補画像パターンの雑音の程度によって定まる閾値とをもとに、認識または棄却の判定処理を行うことで、多くの候補画像パターンの中から、正しい文字カテゴリとその位置を選択することを特徴とする。
また、入力された多値画像パターンの情報をもとに、辞書の参照パターンと認識・棄却判定の閾値を新規作成・追加・更新できる特徴をもつ。
これにより、本発明では、入力された多値画像パターンに対して、文書画像全体の傾き補正処理やシェーディング補正処理などの前処理が行われた後の文書等の画像パターンを対象として、文書中の文字列領域を抽出し、各文字列内に含まれる文字カテゴリを辞書の参照パターンとの照合により、認識する。また、誤認識や未学習の文字の画像パターンを辞書の参照パターンに追加作成または更新する。
【００１１】
【発明の実施の形態】
以下、本発明の一実施例を図面により説明する。
図１は本発明の方法を適用する文字認識装置の構成を示すブロック図で、１は多値画像パターン記憶回路、２は積算回路、３は文字列抽出回路、４は個別文字抽出回路、５は個別文字照合回路、６は参照パターン学習回路、７は画像入出力回路である。
図２は上記文字認識装置の動作例を示すフローチャートである。
図３は積算回路２の動作例を説明する説明図。図４は文字列抽出回路３の動作例を説明する説明図。図５は個別文字抽出回路４の動作例を説明する説明図である。
【００１２】
多値画像パターン記憶回路１は、認識対象となる多値画像パターンを記憶している。多値画像パターンはＮ画素からなり、例えば画素の濃度は０．０から１．０の間の小数値で示され、「０．０」は白を、「１．０」は黒を示している。
積算回路２は、多値画像パターン記憶回路１から取り出されたＮ画素からなる多値画像パターンを入力し、複数方向から走査して、文字列領域と背景領域を区別するために、各走査線上にある、ある画素の濃度と隣接する画素の濃度の積、および、ある画素の濃度と隣接する画素の濃度をある定数から引いた値との積、および、ある画素の濃度をある定数から引いた値と隣接する画素の濃度との積、および、ある画素の濃度をある定数から引いた値と隣接する画素の濃度をある定数から引いた値との積を計数し、出力する。
【００１３】
文字列抽出回路３は、積算回路２によって得られた各走査線上の画素の濃度の積和の計数値をもとに文字列領域と背景領域を区別し、入力画像中から文字列領域の画像パターンを出力する。
個別文字抽出回路４は、文字列抽出回路３で得られた文字列領域の画像パターンを入力し、個別文字照合回路５で照合すべき個別文字が含まれる候補画像を選択し、出力する。
個別文字照合回路５は、個別文字抽出回路４で選ばれた個別文字の候補画像パターンを入力し、所定の識別関数を用いて辞書の参照パターンと照合し、各文字カテゴリの識別関数値と候補画像パターンの雑音の程度によって決まるしきい値と比較して、この候補画像パターンの中に認識文字カテゴリがあるかどうかを判定し、ある場合にはこれらの結果を出力する。
【００１４】
参照パターン学習回路６は、画像入出力回路７から出力される画像情報、および、多値画像パターン記憶回路１の多値画像パターン、および、個別文字照合回路５内の辞書の参照パターンを入力し、参照パターンの新規作成・更新を行い、個別文字照合回路５の辞書の参照パターンに追加・更新する。
画像入出力回路７は、個別文字照合回路５から出力される文字カテゴリ番号、識別関数値、多値画像パターン等の認識結果の情報を入力し、これらの情報を表示し、また、マウスやキーボードなどによって画像情報を編集する。さらに、画像入出力回路７は、参照パターン学習回路６に参照パターンの新規作成または更新に必要な情報を送出する。
【００１５】
図１において、入力された多値画像パターンから文字列領域を抽出する処理について説明する。
まず、ステップＳ１（図２参照）では、多値画像パターン記憶回路１から認識対象となる多値画像パターンが読み出され、積算回路２に入力される。横Ｎｘ  画素×縦Ｎｙ  画素からなる多値画像パターンに対して、水平と垂直方向の２方向に文字を走査し、各走査線上の各画素で、画素の濃度と隣接する画素の濃度の積ａ、および、画素の濃度と隣接する画素の濃度をある定数から引いた値との積ｂ、および、画素の濃度をある定数から引いた値と隣接する画素の濃度との積ｃ、および、画素の濃度をある定数から引いた値と隣接する画素の濃度をある定数から引いた値との積ｅ、および、走査画素数ｎを計数する。
【００１６】
さらに、走査開始画素の１つ前の画素から走査終了画素の１つ前の画素までの画素値の和Ｔおよび二乗和Ｔ２、および、走査開始画素から走査終了画素までの画素値の和Ｘおよび二乗和Ｘ２を求める。ここでは例えば、画素値は、０．０から１．０の間の値をとり、黒点は画素値＝１．０に、白点は画素値＝０．０とする。また、定数としては、例えば、１．０を用いる。各走査線上の全画素で得られたａ，ｂ，ｃ，ｅの値を総和した値を、それぞれ、ａｐ，ｂｐ，ｃｐ，ｅｐとして求める。
【００１７】
各走査線上で、ａｐ，ｂｐ，ｃｐ，ｅｐの各計数値を用いて、
〔式１〕
【数１】
0003578247.tif 000002
なるｐの値を求める。ｐの値は、文字領域が背景領域に比べ画素値の変化が小さい場合（例えば文字が無地）でも、大きい場合（例えばテクスチャがかかった文字）でも、文字領域で背景領域よりも大きい値をとる。また、ｐ値は分母の正規化項により、−１≦ｐ≦１の範囲の値をとる。
【００１８】
このｐ値を、各走査方向に対応した投影軸に投影する。位置ｙの水平方向走査で得られるｐ値をｈｙ  とおくと、水平方向走査で投影分布Ｐｙ  ＝（ｈ１  ，ｈ２  ，…，ｈｙ  ，…，ｈＮｙ）が得られる。位置ｘの水平方向走査で得られるｐ値をｖｘ  とおくと、水平方向走査で投影分布Ｐｘ  ＝（ｖ１  ，ｖ２  ，…，ｖｘ  ，…，ｖＮｘ）が得られる。これ以外の走査方向についても計数可能である。
【００１９】
次に、本装置の処理は、ステップＳ２に移り、文字列抽出回路３は、積算回路２から得られた投影分布Ｐｙ  と投影分布Ｐｘ  を入力し、もし、Ｎｘ  ＞Ｎｙ  ならば、水平方向の走査で得られた投影分布Ｐｙ  を、予め設定したＮ区間になるように、Ｎ等分して、新しい投影分布Ｑ＝（ｑ１  ，ｑ２  ，…，ｑｊ  ，…，ｑＮ  ）を求める。さもなければ、垂直方向の走査で得られた投影分布Ｐｘ  を、予め設定したＮ区間になるように、Ｎ等分して、新しい投影分布Ｑ＝（ｑ１  ，ｑ２  ，…，ｑｊ  ，…，ｑＮ  ）を求める。
【００２０】
今、Ｎx ＞Ｎy の場合について説明する。
新しい投影分布Ｑに対して、予め設定したしきい値ＴQ と比較し、ｑj ＞ＴQとなるｊの連続区間〔ｊs ，ｊe 〕（ｊs ≦ｊ≦ｊe ）から文字列の高さＷy （＝ｊe −ｊs ＋１）を求める。
この高さＷy 画素と幅Ｎx 画素によって囲まれる画像領域を文字列画像パターンＷとして出力する。
ここで、文字列が複数行からなる場合は、連続区間が複数個出力されるので、複数個の文字列画像パターンＷを出力する。
【００２１】
次に、本装置の処理はステップＳ３に移り、個別文字抽出回路４は、文字列抽出回路３で得られたＮｘ  ×Ｗｙ  画素の文字列画像パターンＷを、高さがＮ画素なるように正規化処理を行い、正規化された文字列画像パターンＷＮ  を求める。
この正規化文字列画像パターンＷＮ  に対して、積算回路２の処理手順でのべた垂直方向走査によるｐ値の投影分布Ｐｘ  を求め、この投影分布Ｐｘ  に対して、予め設定したしきい値Ｔｘ  と比較し、ｖｊ  ＞Ｔｘ  となるｘの連続区間〔ｘｓ  ，ｘｃ  〕（ｘｓ  ≦ｘ≦ｘｅ  ）を求める。
【００２２】
ｋ個の連続区間［ｘｓ１，ｘｅ１］，［ｘｓ２，ｘｅ２］，…，［ｘｓｋ，ｘｅｋ］に対して、参照パターンに記憶されている文字幅の存在範囲であるｚ１  画素からｚ２  画素の中にはいる、ｚ１  ≦ｘｅｊ−ｘｓｉ＋１≦ｚ２  （ｉ≦ｊ）を満たす区間ｉと区間ｊを求め、個別文字の候補画像パターンＧの文字幅Ｗｘ  （＝Ｘｅｊ−Ｘｓｉ＋１）を求める。これによりＷｘ  ×Ｎ画素からなる個別文字の候補画像パターンＧが複数個得られる。
区間ｉでｘｅｉ−ｘｓｉ＋１＞ｚ２  となる場合は、候補画像パターンＧの左枠の位置ｘｓｉを１画素単位にずらして、その右枠が位置ｘｅｉになるまで個別文字の候補画像パターンＧを複数個作成する。
【００２３】
次に個別文字の候補画像を求める第２の方法では、文字列画像パターンＷに対して、個別文字照合回路５で「ある文字カテゴリに認識した」と判定された個別文字の候補画像パターンＧ以外の未処理区間〔ｘｔ  ，ｘｕ  〕に対して、ｚ１  ≦ｘｕ  −ｘｔ  ≦ｚ２  を満たす区間を求め、幅Ｗｘ  （＝ｘｕ  一ｘｔ  ＋１）×Ｎ画素からなる個別文字候補画像パターンを作成する。この条件を満たす区間が複数個あれば、複数個の個別文字候補画像パターンを出力する。
また、個別文字照合回路５で「ある文字カテゴリに認識した」と判定された個別文字の候補画像パターンＧの区間から文字のピッチ（間隔）を推定し、残りの領域から個別文字候補画像パターンＧを抽出する方法も適用可能である。
【００２４】
これまでは横に長い多値画像パターンが入力された場合に関して主に説明したが、縦に長い多値画像パターンの場合も、ｘ方向とｙ方向の処理を逆にすれば同様に処理できる。
【００２５】
次に、個別文字照合回路５の処理について説明する。
本装置の処理はステップＳ４に移り、まず、Ｗｘ  ×Ｎ画素からなる個別文字候補画像パターンＧを入力し、ｎ（＝Ｎ×Ｎ）画素の正規化多値文字パターンＸ＝（ｘ１  ，ｘ２  ，…，ｘｉ  ，…，ｘｎ  ）を求める。このとき、個別文字候補画像パターンＧが正規化多値文字パターンＸの中心にくるように平行移動しておく。また、次の式を用いて、この正規化多値文字パターンＸに対するｘｉ  の総和Ｈを求める。
【数２】
0003578247.tif 000003
【００２６】
次に、この正規化多値文字パターンＸを辞書の参照パターンＴ＝（ｔ１  ，ｔ２  ，…，ｔｉ  ，…，ｔｎ  ）と比較するためには、公知の識別関数を用いる。例えば、複合類似度（飯島「パターン認識理論」森北出版株式会社）などが挙げられる。
【００２７】
各文字カテゴリｍの参照パターンに対して、Ｘとの類似度Ｓ（Ｘ，Ｔｍ  ）と上記Ｈの値によって決まる参照パターンの閾値Ｓｍ  を用いて、次のように認識または棄却の判走を行う。このＨと閾値Ｓｍ  の関係テーブルは、参照パターン学習回路６によって予め学習されている。
（条件１）  もし、Ｓ（Ｘ，Ｔｍ  ）＞Ｓｍならば、この文字カテゴリｍとして認識できたと判定する。
（条件２）  さもなければ、この文字カテゴリｍではないと判定する。
【００２８】
すべての参照パターンに対して、複数のカテゴリに対して条件１を満たした場合は、類似度が最も大きいカテゴリを認識カテゴリとして出力する。また、条件１を満たすカテゴリが１つもない場合は、この個別文字候補画像パターンＧに対しては認識カテゴリがなかったとして棄却する。
【００２９】
最後に参照パターン学習回路６と画像入出力回路７を用いて、個別文字照合回路５の辞書の参照パターンを追加・更新する処理を説明する。
画像入出力装置７は、個別文字照合回路５から出力される認識文字カテゴリ番号、識別関数値、多値画像パターン等の分類結果の情報を入力し、これらの情報を表示し、また、マウスやキーボードなどによって画像情報を編集する。
【００３０】
認識結果に誤認識がある場合や、新規の文字カテゴリの参照パターンを作成する場合は、画像入出力装置７を用いて、入力の多値画像パターンから、追加、更新すべき認識カテゴリｍの多値参照パターンＴｍ  を編集・作成する。
参照パターン学習回路６では、作成された多値参照パターンと個別文字照合回路５の辞書の参照パターンを用いて、この新規のｎ（＝Ｎ×Ｎ）画素からなる正規化多値参照パターンＴｍ  に対する認識棄却判定の閾値Ｓｍ  を学習する。
【００３１】
今、ｎ（＝Ｎ×Ｎ）画素からなる多値のランダム雑音パターンＲ＝（ｒ１  ，ｒ２  ，…，ｒｉ  ，…，ｒｎ  ）を作成し、辞書の各多値参照パターンＴに重畳して、学習のための入力画像パターンＸを作成する。すなわち、位置ｉの画素値ｘｉ  ＝ｔｉ  ＋ｒｉ  となる。
新規のカテゴリｍの多値参照パターンＴｍ  に対する入力画像パターンＸの類似度Ｓ（Ｘ，Ｔｍ  ）を計算し、すべての参照パターンの中で、ｍ以外のカテゴリで最大の類似度をもとめ、その値をＳｍ  として、個別文字照合回路５の辞書に、新規カテゴリｍの多値参照パターンＴｍ  とその閾値Ｓｍ  を格納する。
【００３２】
本発明の主要部分である積算回路２の具体的な動作例として、多値画像パターン記憶回路１に図３に示すような横２０画素×縦１４画素からなる多値画像パターンの場合について説明する。
この図は「文字」とかかれた文字列画像パターンの背景に網点のデザイン処理が施された入力画像パターンを表わしている。
この多値画像パターンが読み出され、積算回路２に入力される。この入力多値画像パターンに対して、水平方向と垂直方向の２方向に文字を走査し、式１で示したｐ値をそれぞれ、投影軸２−１および投影軸２−２に投影する。
【００３３】
走査の例として図３で、ｙ＝２における水平方向走査２−３では、ａｐ＝３．３４，ｂｐ＝４．８６，ｃｐ＝５．３６，ｅｐ＝５．４４，Ｔ＝８．７０，Ｔ２＝５．３１，Ｘ＝８．２０，Ｘ２＝４．７６，ｎ＝１９が計数され、ｙ＝２におけるｐ値は、
〔式２〕
ｐ＝（３．３４＊５．４４−４．８６＊５．３６）／｛ｓｑｒｔ［１９＊５．３１−８．７０＊８．７０］＊ｓｑｒｔ［１９＊４．７６−８．２０＊８．２０］｝＝−０．３２６
となる。
【００３４】
また、ｙ＝６における水平方向走査２−４では、ａｐ＝４．８６，ｂｐ＝４．２４，ｃｐ＝４．７４，ｅｐ＝５．１６，Ｔ＝９．６０，Ｔ２＝６．３６，Ｘ＝９．１０，Ｘ２＝５．８１，ｎ＝１９が計数され、ｙ＝６におけるｐ値は、
〔式３〕
ｐ＝（４．８６＊５．１６−４．２４＊４．７４）／｛ｓｑｒｔ［１９＊６．３６−９．６０＊９．６０］＊ｓｑｒｔ［１９＊５．８１−９．１０＊９．１０］｝＝０．１７７
となる。
【００３５】
この結果から、網点からなる背景部分のｐ値は、文字線部分の走査で得られるｐ値に比べて小さい値をとることを示し、式１で示すｐ値が文字部と背景部分とをわけるのに有効な尺度であることがわかる。
ｙ＝１からｙ＝１４までの水平方向走査により、投影分布Ｐｙ  が求められる。
【００３６】
文字列抽出回路３では、ｙ＝１からｙ＝１４までの水平方向走査で投影分布Ｐｙ  を入力し、Ｎｘ  ＞Ｎｙ  を満たすので、水平方向の走査で得られた投影分布Ｐｙ  を、予め設定したＮ区間になるようにＮ等分して、新しい投影分布Ｑ＝（ｑ１  ，ｑ２  ，…，ｑｊ  ，…，ｑＮ  ）を求める。ここで、Ｎ＝１１画素とすると、投影分布Ｑの中で、予め設定してあるｐ値のしきい値ＴＱ  ＝−０．５以上となる区間は、ｙ＝２からｙ＝１２までとなり、この結果、横２０画素×縦１１画素の文字列画像パターンＷが抽出される（図４参照）。
【００３７】
個別文字抽出回路４では、文字列抽出回路３で得られた、横２０画素×縦１１画素の文字列画像パターンＷを、高さがＮ＝１１画素なるように正規化処理を行い、２０×１１画素の文字列画像パターンＷＮ  を求める。この例では、Ｗｘ  ＝Ｎなので、文字列画像パターンＷと文字列画像パターンＷＮ  は同じ画像パターンになる。
この正規化された文字列画像パターンＷＮ  に対して、積算回路２の処理手順でのべた、ｘ＝１からｘ＝２０までの垂直方向走査によるｐ値の投影分布Ｐｘ  を求め、この投影分布Ｐｘ  に対して、予め設定したしきい値Ｔｘ  ＝−０．８とした場合、ｖｊ  ＞Ｔｘ  となるｘの連続区間は〔ｘｓ  ＝３，ｘｅ  ＝２０〕となる。
【００３８】
今、参照パターン中で、文字幅がｚ１  ＝２画素とｚ２  ＝１１画素の範囲に決められているとすると、ｘｅ  −ｘｓ  ＋１＞ｚ２  を満たすので、１１×１１画素の個別文字の候補画像パターンＧとして、Ｇの左枠の位置ｘｓ  ＝３から１画素単位にずらして、Ｇの右枠の位置ｘｅ  ＝２０になるまで、８個の個別文字候補画像パターンＧが作成される。図５の４−１１は、Ｇの左枠がｘ＝３である場合を表わし、４−２は、Ｇの左枠がｘ＝４である場合を表わす。
【００３９】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれる。
【００４０】
【発明の効果】
この発明によれば、従来技術では抽出が難しい、かすれ、よごれのような雑音や背景に網点などのテクスチャが重畳した多値画像パターンに対して、画像パターンを走査して新しい計数値を用いて、文字列領域を簡易にかつ正しく抽出することができる。
また、この発明によれば、従来の文字認識法が行っていた雑音やデザイン除去の前処理を行わなくてすむだけでなく、雑音やデザイン除去に誤って文字ストロークを削除してしまうことがないため、後段に行われる文字認識を高精度に行うことができるという利点がある。
【００４１】
また、この発明によれば、雑音を含む文字列画像パターンに対して、雑音背景下で認識が難しい、文字幅が小さいかまたは文字の高さが低い句読点や記号などの文字カテゴリに対しても、正しく認識できる利点がある。
また、この発明によれば、雑音の程度に応じて識別関数値のしきい値を文字カテゴリごとに設定できるので、雑音のない文字から雑音のある文字に対しても認識判定は正しくできる利点がある。
また、この発明によれば、雑音を含む文字列画像パターンに対して、新規に文字カテゴリを追加したり、参照パターンを更新する場合に、これら新規作成・追加・更新の処理が容易である。
【図面の簡単な説明】
【図１】本発明による文字認識装置の構成例を示すブロック図である。
【図２】本装置の動作例を示すフローチャートである。
【図３】本発明による入力の多値画像パターンに対する文字列抽出処理の一例を示す説明図である。
【図４】本発明による個別文字抽出処理の一例を示す説明図である。
【図５】本発明による個別文字候補画像パターンの一例を示す説明図である。
【符号の説明】
１……多値画像パターン記憶回路、  ２……積算回路、
３……文字列抽出回路、  ４……個別文字抽出回路、
５……個別文字照合回路、  ６……参照パターン学習回路、
７……画像入出力回路、
２−１……水平方向走査の投影軸、
２−２，２−３……水平方向走査の例、
３−１……垂直方向走査の投影軸、
３−２，３−３……垂直方向走査の例、
４−１，４−２……個別文字候補画像パターンの例
【図１】
0003578247.tif 000004
【図２】
0003578247.tif 000005
【図３】
0003578247.tif 000006
【図４】
0003578247.tif 000007
【図５】
0003578247.tif 000008