(57)【特許請求の範囲】
【請求項１】
背景が非常にコントラストの高い構造物の図柄を表す場合であっても、画像取入れ用の光電子装置と画像演算システムとを使用して、任意の媒体に印字された文字を電子手段によって自動認識するための方法であって、次の段階で構成され、
ａ）学習段階
ａ−1 ）一つ以上のサンプルの背景だけの画像を取込むことによって背景のモデルを生成すること、
ａ−2 ）一つの記号に対して少なくとも一つの文字を含む白い背景に印字された文字集合の画像を取込むことによって文字（記号、アルファベットおよび／あるいは数字）のモデルを生成すること、
ｂ）認識段階
ｂ−1 ）認識対象のサンプルの画像であって、背景に未確認文字が印字された画像を取込むこと、
ｂ−2 ）取込んだ画像の背景を有する背景のモデルを登録すること、
ｂ−3 ）各未確認文字に対応する背景の小画像から登録された背景のモデルを抽出すること、
ｂ−4 ）文字位置毎に、活字のモデルおよび／あるいは数字のモデルと対応する背景の小画像とを結合すること（結合モデル）。
ｂ−5 ）未確認文字と同一の文字位置に対応する全ての結合モデルとを比較すること、
ｂ−6 ）「テンプレート整合」法によって記号に対応する未確認文字、最適に重畳された結合モデル、を認識すること、から成る方法。
【請求項２】
背景のモデルは、BLS （背景学習集合）の画像の一つである、請求項１に記載の方法。
【請求項３】
背景のモデルは、相いに登録されたBLS 画像の平均画像である、請求項１に記載の方法。
【請求項４】
背景のモデルは、周知の文字／背景分離方法に従って、背景又は文字のいずれかが存在するサンプル集合から求められる、請求項１に記載の方法。
【請求項５】
認識対象の記号のモデルは、CLS の対応する画像の平均画像として求められる、請求項１〜４のいずれか一つに記載の方法。
【請求項６】
認識対象の記号のモデルは、コンピュータファイルから求められる、請求項１〜４のいずれか一つに記載の方法。
【請求項７】
良好に重畳されたカラーチャネルに対して認識を実行するカラー画像取込み系を使用する、請求項１〜６のいずれか一つに記載の方法。
【請求項８】
色の組合せに対して認識を実行するカラー画像取込み系を使用する、請求項１〜６のいずれか一つに記載の方法。
【請求項９】
背景のモデルＭｂと文字のモデルＭｓとの結合Ｍｃは、もし、背景が文字の前に印字される場合、下記式（１）に従って実行され、
【数１】
0004593729.tif 000004
その他場合は、下記式（２）に従って実行され、
【数２】
0004593729.tif 000005
ここで、Ｋ０及びＫ１は用いられたインクの特徴と用紙の特徴とを示す定数である請求項１〜８のいずれか一つに記載の方法。
【請求項１０】
各文字位置の小画像と認識段階に選択された対応する結合モデルとの間の相関係数値と閾値とを比較することによって印字品質を検証する、請求項１〜９のいずれか一つに記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、背景が非常にコントラストの高い構造物の図柄であってそのため文字構造にかなり干渉するような構造物の図柄を表す場合でも、任意の媒体に印字された文字を自動認識する方法に関するものである。
【０００２】
【従来の技術】
周知のシステムは、大抵、非常に巧妙に精巧に設定された閾値を用いて背景から文字を分離することによって、上記の干渉を回避する。しかし、背景の構造物の図柄のコントラストが非常に高い時、特に、文字の位置が構造物の図柄に対して可変である場合、この方法はうまくいかない。その場合、文字の画像には背景の痕跡が残ることがある（閾値を越える痕跡）。あるいは、文字構造の一部は閾値を越えていなければ、文字画像は不完全なものとなる。例えば、紙幣の場合、通し番号の印字は残りの部分の印字とは別の段階( 通常後に）に通常別のプリンタで行われる。そのため、記入は不完全で、通し番号は背景に対して「 移動」 してしまう。通し番号は、紙幣の構造化領域すなわち図柄領域に印字される場合、背景の構造物の図柄に対して移動する。この場合、背景の構造物の図柄のために、文字の検索や文字の区分けを行っても失敗する恐れがある。
【０００３】
実際、一概には言えないが、抽出認識方法は次の段階で構成される。
【０００４】
・文書の画像、より一般的には、認識対象の文字を含むオブジェクトを取込む段階。取込みは、電子カメラで実行される。その後、普通は、コントラストを向上させノイズを削減するために演算が実行される。
【０００５】
・認識対象の文字の位置を画像（電子画像）から検索する段階。検索は、照度の突然の変化（例えば、白から黒への切替わり）、特に変化の空間分布に対する分析に基づいて実施される。
【０００６】
・識別領域を小領域へ区分けする段階。各小領域には文字が一つ存在する。区分けは、例えば、文字行に平行な部分への黒濃度の投影を分析することによって実施される。黒濃度の最小値が文字間の白空間に相関づけられる。
【０００７】
・このように分離された文字を、一つ一つ、重畳性の観点（「 テンプレート整合」 として周知の手法）あるいは垂直や水平や斜めに一列になった特徴的な構造物の図柄の順序（「 特徴抽出」 あるいは構造分析として周知の手法）の見地から、活字全部および／あるいは数字全部の基本型( モデル）と比較する段階。
【０００８】
【発明が解決しようとする課題】
この場合、文字として区分された画像部分に実際の文字の形状とは程遠い構造物の図柄が存在する（例えば、背景の構造物の図柄に属する線）とき、前記の基本型との比較が失敗する恐れが非常に高い。この場合、文字／背景分離段階で非常に極端な閾値を決定した後には文字構造の各部を識別することができない恐れがある。
【０００９】
そのため、前述の高いコントラストを伴い高度に構造化された背景に印字された文字の自動認識方法は真価が十分に発揮されないことになる。
【００１０】
【課題を解決するための手段】
本発明によれば、認識対象の文字が印字されたオブジェクトは、例えば（リニアあるいはマトリックス型白黒あるいはカラー）CCD カメラ等の周知の光電子手段を用いて、認識対象の文字の電子画像を生成するのに望ましい解像度で光学的に分析される。「 限界点」 画像が電子画像として使用される。特に、矩形マトリックスとして組織される濃度値の離散的な集合が使用される。マトリックスの各要素は、所謂ピクセルであり、オブジェクトの対応部分から反射される光の強度に対応する。カラー画像の場合、各ピクセルの赤成分と緑成分と青成分とに対応する三つのマトリックスで構成される。簡単のために、白黒画像の場合について述べる。カラー画像の場合は、同様の動作を三つのマトリックスに対して繰り返すだけである。本発明の目的は、高度に構造化された背景に印字された文字の電子画像における自動認識である。背景のコントラストは文字構造のコントラストに匹敵する( 例: 図１の(c））。本発明にかかわる方法の第一段階は、一つ以上のサンプル背景の図柄だけで文字の何もない画像を取込んで背景のモデルを生成することである（図１の(b））。
【００１１】
特に、所謂サンプル画像の平均画像をモデルとして使用することができる。黒白画像の場合、平均マトリックスは一つであるが、カラー画像の場合、平均マトリックスは赤のと緑のと青のと三つ存在する。認識対象のシンボル（例えば、活字および／あるいは数字）モデルは、白い背景に印字された文字集合の画像を取込むことによって、あるいは、コンピュータファイルの電子画像を直接用いることによって順じ生成される。コンピュータファイルの電子画像は、現在では、大抵の「 フォント」 のものが市販されている。第一の例では、認識対象である各シンボルのモデルが、白い背景に印字された同一の記号の一定数の標本の画像の平均画像として構築される。
【００１２】
シンボルのモデルと背景のモデルとが構築されると、第一段階が終了する。第一段階を「 学習段階」 と呼ぶ。
【００１３】
認識段階では、次の段階が実行される。
−認識対象のサンプルの画像であって、背景に印字された未確認文字が未確認の位置に存在する画像を取込む段階（例えば、図２の(a））。
【００１４】
−周知の画像登録方法のどれか、例えば最大相関法を用いて取込んだ画像に伴う背景モデルを登録する段階。
【００１５】
−取込んだ画像から（登録された）モデルを減算する段階。背景がほとんど除去された差画像から、文字位置が明らかとなる（図２の(b）、画像から登録された背景のモデルを差引いた差）。
【００１６】
−差画像における各文字の位置を検出する段階。これは、濃度の急峻な変化を分析して白黒切替えするなどの文字を探し出し区分けするための周知の方法のどれかに従って実施される。文字位置毎に、シンボルのモデルと同じ寸法の小画像に分離する（図３の(b）、区分けされた文字の小画像）。
【００１７】
−各未確認文字に対応する背景の小画像から登録された背景のモデルを抽出する段階。
【００１８】
−文字位置毎に、シンボルのモデルと対応する背景モデルの小画像とを結合する段階( 図３の(c））。背景のモデルは、認識対象の文字を含む画像の背景と一緒に登録されているので、結合小画像における数字のモデルおよび／あるいは活字のモデル、すなわち相対的な文字／背景位置は未確認画像のと同じである。合成では、未確認画像と同じ背景をもつ記号（活字および／あるいは数字）の新しい基本型( 合成モデル）が、各文字位置毎に生成される。改良された一つ合成方法について「 好適な態様例の説明」 で述べる。ただし、別の人によって提案された方法のいずれも使用することが可能である。
【００１９】
−未確認文字を一つ一つ前段階に結合された全てのモデルと比較する段階。背景が同じで位置が同じ記号のモデルとの比較によって背景付きの文字を認識できる。周知の認識方法のどれか例えばテンプレート整合法や特徴抽出法を使用することも可能である。
【００２０】
【発明の実施の形態】
次に、紙幣に印字された通し番号の自動認識にかかわる好適な態様例の一つについて、本発明の一例として述べる。実際、紙幣の通し番号は、紙幣の図柄の一部あるいは全部として印字されている。特に、紙幣の印字は、異なる方法、一般的には少なくともオフセット法と銅版法とを混合させた方法に従って実施される。後者は、非常にコントラストを高くして多数の線を用いて領域を表す。この領域に通し番号が印字されると、従来の方法では背景から文字を分離してさらに認識することは困難である。シリアル番号は通常、オフセット及び銅板の後、最終製造段階で印刷され、異なる機械によって行なわれる。非常に高性能の登記システムを使用しても、通し番号と背景の図柄との間の相対的な記入具合は変動する。通し番号は普通2 、3 ミリ「 移動」 する。
【００２１】
図４は、紙幣の通し番号を認識するためのシステムの構成を示す。リニアCCD カメラ1 は、レンズ2 と照明系3 と共に使用され紙幣4 の画像を取込む。紙幣4 が吸着リボン5 で搬送される間に、通し番号が読取られる。
【００２２】
カメラによって走査された線は、画像演算サブシステム6 の第一バッファメモリ回路に順次格納され、各紙幣の電子画像が生成される。
【００２３】
画像演算サブシステム6 は、特別のハードウェアかデジタル信号プロセッサ(DSP) や超高速PCなどのプログラム可能コンピュータに基づくものであり、学習段階（背景のモデルと文字のモデル）と認識段階とにおいて様々な演算を実行する。
【００２４】
背景モデル学習段階では、
−「 背景学習集合(BLS)」として選択された番号のない紙幣の画像を取込み適宜のメモリに格納する。
【００２５】
−操作インターフェイス7 のコンソールを用いて、自動的に（例えば、BLS の最初の画像）あるいはオペレータの助けを得てBLS から登録する「 基準」 画像を抽出する。
【００２６】
−まず各画像の基準画像に関して水平変位Δx と垂直変位Δy とを識別し、次に−Δx と−Δy だけ移動させることによって、BLS の全ての画像全部を登録する。本態様例では、変位は最大相関法に従って測定される。例えば、オペレータによって選択された座標(x0 、y0) （文字印刷の領域外）に中心を合わせた基準画像の小さな矩形部分S0( 登録の芯部) と、中心がBLS の画像の各位置( ピクセル) に合わせて少しづつずらされる。寸法が同じ部分S1とを比較して、相関係数が最大になる（二つの画像が最良の状態で重畳されることを示す）位置(x1 、y1) を検出する。ずれは、次の式で与えられる：
Δｘ＝ｘ1 −ｘ0 及びΔｙ＝ｙ1 −ｙ0 
【００２７】
本態様例によれば、背景のモデルMbは、基準画像として登録されたBLS の画像の演算平均として求められる。
【００２８】
シンボルのモデルの学習段階に、画像演算サブシステム6 は、
−白い背景上で印字をしたい紙幣集合の画像を取込む、すなわち、通し番号に用いられて周知の位置に存在する数字および／あるいは活字全部を取込む（文字学習集合(CLS) ）。
【００２９】
−CLS の画像を小画像へと区分けする。各小画像には一つの文字が存在する。本態様例によれば、区分けは、文字が白い背景に印字されているときには非常に有効な標準的な方法であり白黒変遷を分析する方法に従って実施される。
【００３０】
−例えば、基準にとられたCLS の最初の紙幣の位置に対し、登録された小画像の各位置のCLS に対する平均として各シンボル（数字又は文字）のモデルMsを生成する。登録と平均化とは、上記の背景の場合のように実行されるが、登録の芯部は文字の小画像全体に一致する。
普通、紙幣の通し番号は、単一のフォントのアルファベットと数字とで構成されるため、シンボルのCLS 紙幣上の位置は、通常一つで充分である（単一のA,単一のB など）。あるいは、フォントが多数用いられる場合は、フォントと同数の位置がシンボル一つに対して必要である（例えば、ニューヨーク、クーリエ、ジュネーブなど）。
【００３１】
認識段階には、本発明の本態様例によれば、画像演算サブシステム6 は、画像の取込みの後に、
−まず、モデルの学習のために使用したのと同じ登録の芯部と同じ相関方法とを用いて、読取り対象の各紙幣の背景の画像を背景のモデルに登録する。
【００３２】
−完全な紙幣から（登録された）背景のモデルを差引いた差画像を生成し、文字位置を検索する。前記の変遷分析法を使用する。通し番号が印字されるのは背景の図柄からほんの2 、3 ミリだけ移動した位置のため、通常、検索は紙幣の限られた領域に対して実行される。
【００３３】
−異なる画像に登録された文字位置毎に、背景モデルの対応する小画像を抽出する。登録されているので、小画像は未確認の文字が印字された背景の一部となっている。
【００３４】
−各文字位置毎に、背景のモデルMbの対応する小画像と記号のモデルMsとを結合する。
【００３５】
文字と背景とが結合した新しいモデルが、読取り対象の紙幣上の同一の相対位置に各文字位置毎に生成される。本発明のこの態様例では、前記の結合モデルMcは次の等式に従ってピクセル毎に生成される。
【数３】
0004593729.tif 000002
【００３６】
背景が最初に印字されて次に文字が印字される場合、その他の場合は、
【数４】
0004593729.tif 000003
【００３７】
いかなる場合にも、K0及びK1はインクの特徴と用紙の特徴とを示す定数である。等式(1) と(2) において、第一項（K0MbMsの積）にはインクの透過率と用紙の反射率とが反映される。一方、第二項は最後に印字されたインクの表面の反射率と関連する。
【００３８】
−文字位置毎に、紙幣の対応する小画像と新しい全てのモデル（文字と背景）との間の相関係数を算出する。
処理対象の文字は前記の相関係数の最大値に対応する結合モデルのものとして認識される。
【００３９】
−本発明の本態様例によれば、相関係数の最大値は閾値と比較され、これによって、文字の印字品質と各文字位置に対応する小画像の背景の印字品質とが検証される。印字品質が良い（処理対象の小画像と結合モデルとがほぼ同じ）場合、係数は1 に非常に近くなり、一方印字品質が非常に悪いとゼロに近い係数が得られる。
【００４０】
【発明の効果】
以上述べたように、本発明によれば高いコントラストを伴い高度に構造化された背景に印字された文字の自動認識が可能となる。別の好適な態様例としては次のものが上げられる。
ａ）手紙、はがき、ラベル、小切手、又は郵便為替といった紙幣以外の文書中の文字の認識への応用例。
【００４１】
ｂ）リボン搬送系の代わりに寸法の大きな用紙に望ましい搬送系、例えば印刷機のシリンダや参照文献（4 ）の特許に係わる搬送系を用いる例。
ｃ）リニアカメラの代わりにマトリック型カメラを用いる例。
【００４２】
ｄ）BLS の画像の平均画像を背景の登録用の基準画像として使用する例。
ｅ）背景の登録のための登録芯部を、例えば参照文献（1 ）の方法に従って自動的に抽出する例。
ｆ）背景のモデルを平均化以外の方法、例えば参照文献（2 ）の方法に従って構築する例。
【００４３】
参照文献
（1 ）L ．ストリンガ(Stringa):  「 弾力性のあるモデルによる印字品質の自動点検」 （モナコ公国国務省によって認可された特許第2411.99.2479号（1999年4 月27日））
（2 ）L ．ストリンガ(Stringa):「 基準モデルの生成方法」 （米国特許第5.778.088 号（1998年7 月7 日））
（3 ）L ．ストリンガ(Stringa):「 多色画像の印字品質を自動的に調べるための方法」 （欧州特許出願第97810160.8-2304 号）
（4 ）L ．ストリンガ(Stringa):「 印字用紙特に安全保障用紙の品質管理のための設備」 （米国特許第5.598.006 号（1998年1 月28日））
（5 ）ライス・ナギィ・ナルトカ(Rice Nagy Nartkr)：「 光学文字認識」 （クルワール(Kluwer)学術出版（1999年））
【図面の簡単な説明】
【図１】コントラストの高い高度に構造化された背景に印字された文字の一例(1）を示す図である。ここで、（a)は白い背景に印字された文字列であり、（b)は背景の図柄であり、（c)は背景（b)に印字された文字列（a)である。
【図２】コントラストの高い高度に構造化された背景に印字された文字の一例(2）を示す図である。ここで、（a)は図１の(c) と同じである。（b)は、完璧に印字された紙幣の画像から登録された背景モデルを差引いた結果を示す。
【図３】コントラストの高い高度に構造化された背景に印字された文字の一例(3）を示す図である。ここで、（a)は認識対象の文字が存在する紙幣の一部を示し、（b)は区分けの結果としての各文字位置に対応する小画像を示す。（c)は、登録された背景の小画像と全ての可能なシンボルのモデルとが結合されたモデルを各文字位置毎に示す。図示の例では、処理対象の文字(b) は、白い背景に印字されたシンボルのモデル(d) ではなく結合モデル(c) と比較されるため、一層効率良く認識される。（d)は白い背景に印字されたシンボルを示す。
【図４】本文中に記載の認識システムの典型的な構成を示す図である。
【符号の説明】
１…リニアＣＣＤカメラ
２…レンズ
３…照明系
４…紙幣
５…吸着リボン
６…画像演算サブシステム
７…コンピュータ
【図１】
0004593729.tif 000006
【図２】
0004593729.tif 000007
【図３】
0004593729.tif 000008
【図４】
0004593729.tif 000009