(57)【特許請求の範囲】
【請求項１】
入力画像内の認識対象を複数含む一連パターンを認識辞書を用いて認識するとともに該一連パターンの変形を検出する方法であって、
予め備えられた標準の認識辞書を予め定める種々の変形種別により変形する認識辞書変形処理と、
入力画像内の一連パターン中の各認識対象について、それぞれ認識辞書及びその変形辞書を用いた認識処理を行い、各認識対象の認識辞書及びその変形辞書との合致度を計算する認識対象合致度計算処理と、
認識辞書及びその変形辞書毎に、各認識対象毎の合致度に基づいて一連パターンの合致度を計算する一連パターン合致度計算処理と、
上記一連パターン合致度計算処理の結果として得られるすべての変形中から一連パターンの合致度が最良の変形を一連パターンの変形として検出する一連パターン変形検出処理と、
上記検出された一連パターンの変形に対応する認識辞書あるいは変形辞書で得られる認識結果を当該一連パターンの認識結果と決定とする一連パターン認識決定処理と、
を有することを特徴とする画像内の一連パターンの認識および変形検出方法。
【請求項２】
請求項１記載の画像内の一連パターンの認識および変形検出方法において、
認識対象が文字であり、一連パターンは文字列であることを特徴とする画像内の一連パターンの認識および変形検出方法。
【請求項３】
請求項第１記載の画像内の一連パターンの認識および変形検出方法において、
認識対象がナンバープレート上の文字であり、標準の認識辞書は数字、平仮名、ローマ字、漢字、記号を含むことを特徴とする画像内の一連パターンの認識および変形検出方法。
【請求項４】
入力画像内の認識対象を複数含む一連パターンを認識辞書を用いて認識するとともに該一連パターンの変形を検出するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
標準の認識辞書を指定された種々の変形種別により変形する処理ステップと、
入力画像内の一連パターン中の各認識対象について、それぞれ認識辞書及びその変形辞書を用いた認識処理を行い、各認識対象の認識辞書及びその変形辞書との合致度を計算する処理ステップと、
認識辞書及びその変形辞書毎に、各認識対象毎の合致度に基づいて一連パターンの合致度を計算する処理ステップと、
上記一連パターン合致度計算処理の結果として得られるすべての変形中から一連パターンの合致度が最良の変形を一連パターンの変形として検出する処理ステップと、
上記検出された一連パターンの変形に対応する認識辞書あるいは変形辞書で得られる認識結果を当該一連パターンの認識結果とする処理ステップと、
からなるプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラなどで撮影された入力画像内の認識対象を複数含む一連パターンの認識と形状変化の度合を同時に検出する方法及びそのプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来、文字の変形を検出するには、例えば印刷文字では行間が平行であったり、１つの文字列では傾いている場合でも文字の傾いた方向には文字間の分離が生じることなどを利用して、予め文字の変形を前処理として計算し、その後、この変形検出結果に基づいて認識処理を行う方法が用いられている。
【０００３】
【発明が解決しようとする課題】
従来技術のように、変形を予め計算する方法では、変形の検出に失敗すると次のステップである認識処理に行っても意味がないという問題が生じていた。また、対象が文字のような規則性をパターン化できない場合には、前処理としての変形検出は不可能であった。
【０００４】
本発明の目的は、認識対象に傾いているなどの見かけの形状変化が存在する場合にも、該認識対象を複数含む一連パターンを一つの塊りとして、その認識と傾き等の変形を同時にかつ正確に検出する方法及びそのプログラムを記録した記録媒体を提供することにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、請求項１の発明は、予め備えられた標準の認識辞書を予め定める種々の変形種別により変形する認識辞書変形処理と、入力画像内の一連パターン中の各認識対象について、それぞれ認識辞書及びその変形辞書を用いた認識処理を行い、各認識対象の認識辞書及びその変形辞書との合致度を計算する認識対象合致度計算処理と、認識辞書及びその変形辞書毎に各認識対象毎の合致度に基づいて一連パターンの合致度を計算する一連パターン合致度計算処理と、この一連パターン合致度計算処理の結果として得られるすべての変形中から一連パターンの合致度が最良の変形を一連パターンの変形として検出する一連パターン変形検出処理と、該検出された一連パターンの変形に対応する認識辞書あるいは変形辞書で得られる認識結果を当該一連パターンの認識結果と決定する一連パターン認識決定処理とを有することを特徴とする。
【０００６】
また、請求項２の発明は、認識対象が文字であり、一連パターンは文字列であることを特徴とし、請求項３の発明は、認識対象がナンバープレート上の文字であり、標準の認識辞書は数字、平仮名、ローマ字、漢字、記号を含むことを特徴とする。
【０００７】
さらに、請求項４の発明は、入力画像内の認識対象を複数含む一連パターンを認識辞書を用いて認識するとともに該一連パターンの変形を検出するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、標準の認識辞書を指定された種々の変形種別により変形する処理ステップと、入力画像内の一連パターン中の各認識対象について、それぞれ認識辞書及びその変形辞書を用いた認識処理を行い、各認識対象の認識辞書及びその変形辞書との合致度を計算する処理ステップと、認識辞書及びその変形辞書毎に、各認識対象毎の合致度に基づいて一連パターンの合致度を計算する処理ステップと、この一連パターン合致度計算処理の結果として得られるすべての変形中から一連パターンの合致度が最良の変形を一連パターンの変形として検出する処理ステップと、該検出された一連パターンの変形に対応する認識辞書あるいは変形辞書で得られる認識結果を当該一連パターンの認識結果とする処理ステップとからなるプログラムを記録することを特徴とする。
【０００８】
【発明の実施の形態】
以下、本発明の実施例について図面を用いて説明する。
図１は、本発明の画像内の一連パターンの認識および変形検出方法の一実施例の全体的処理手順を示す。図１において、認識辞書変形処理１０１は、もともとからある認識辞書（標準辞書）を予め定めた変形の種別により変形処理する。認識対象合致度計算処理１０２は、別途あたえられる入力画像内の一連パターン中の各認識対象について、変形辞書等を用いて認識処理を行い、各認識対象の辞書との合致度を計算する。一連パターン合致度計算処理１０３は、認識対象合致度計算処理１０２で求まった各認識対象毎の合致度に基づいて、該認識対象を複数含む当該一連パターンとしての総合的な合致度を計算する。この認識辞書変形処理１０１から一連パターン合致度計算処理１０３までを、種々の辞書変形毎に繰り返す。この場合、認識辞書変形処理１０１では、例えば認識辞書を変形する種別及び処理順序を予め設定しておく。一連パターン変形検出処理１０４では、一連パターン合致度計算処理１０３の結果として得られる各辞書毎のすべての変形の一連パターン合致度のうち最良の合致度を示す変形を、当該一連パターンの変形として検出する。また、一連パターン認識決定処理１０５では、この一連パターン変形検出処理１０４で検出された変形に対応する辞書で得られた認識結果を当該一連パターンの認識結果と決定する。
【０００９】
図１の一連の処理は所謂コンピュータ上で自動的に実現されるものである。図２に、本発明にかかる画像内の一連パターンの認識および変形検出方法を実現するコンピュータシステムの概略構成を示す。図において、主制御部（ＣＰＵ）２００はシステム全体を統括的に制御するもので、記憶装置２１０が接続されるとともに、入出力制御部２２０を介して画像入力装置２３０、キーボードやマウス等の一般入力装置２４０及び認識結果モニタ用などの表示装置２５０が接続される。主制御部（ＣＰＵ）２００は、ＯＳ等の制御プログラム、当該一連パターンの認識および変形検出のためのプログラム、および、処理途中結果等を格納する内部メモリを有し、画像入力装置２３０から画像を入力して図１に示したような処理を実行し、その一連パターン変形検出結果や一連パターン認識結果を表示装置２５０に出力する。記憶装置２１０はハードディスクなどで構成され、種々の変形種別とその処理順序を定めた変形方法２１１、標準の認識辞書２１２、及び、該認識辞書２１２より得られる種々の変形辞書２１３が格納される。ここで、変形方法２１１は、入力装置２４０などを用いて予め入力しておく。
【００１０】
なお、図１に示すような一連パターンの認識および変形検出の処理手順を記述したプログラムは、あらかじめコンピュータ読み取り可能な記録媒体、例えばフロッピーディスクやメモリカード、ＭＯ、コンパクトディスク（ＣＤ−ＲＯＭ）、テープなどに記録して提供することが可能である。この記録媒体に記録されたプログラムを図２に示すようなシステムにインストールすることで、本発明の一連パターンの認識および変形検出の自動処理が達成される。
【００１１】
以下に、具体的処理について、認識対象をナンバープレート上の文字として、図３を用いて説明を行う。なお、認識対象はナンバープレート上の大きな４桁の数字（プラス「・」）とする。
【００１２】
図３において、入力画像３０１は、カメラなどから撮影された映像またはこれに前処理を加えた結果である。ここで、認識対象合致度計算処理３０８が、カメラから得られた画像をそのまま利用して辞書との比較を行う場合には、入力画像３０１はカメラからの画像そのものとなり、相関値などの合致度計算処理に用いられることになる。また、認識対象合致度計算処理３０８が２値画像の比較である場合には、前処理として２値化処理が加わり、入力画像３０１は２値画像となる。本例では、予め前処理として２値化処理を行い、認識対象合致度計算処理３０８は、２つの２値化画像の不一致ビット数を計算するものとして説明する。
【００１３】
入力画像３０１内の一連パターン３０２は、認識する対象となる文字列であり、この場合は傾いて撮影されているとする。この認識対象となる一連パターン３０２は、すでに何らかの方法で特定されているとする。認識対象３０３は、一連パターン３０２を構成する各文字であり、該一連パターン内の認識対象の各文字は同一の変形、この場合は傾きが加わっている。
【００１４】
認識辞書３０４は、認識対象３０３などを認識するための標準辞書である。これは正面から撮影した映像を元にしているとする。また、ここでは２値画像を比較する方法を利用するとして説明するので、認識辞書３０４も２値画像とする。
【００１５】
変形方法３０５には、入力画像３０１を得るために想定される種々の変形の種別とその処理順序が記述されている。
【００１６】
認識辞書変形処理３０６は、変形方法３０５に従って認識辞書３０４を変形処理する。その結果が変形辞書３０７である。
【００１７】
認識対象合致度計算処理３０８は、変形辞書３０７（元々の認識辞書３０４も含めて）を用いて入力画像３０１内の一連パターン３０２の各認識対象３０３の合致度３０９を計算する。ここでは、認識対象３０３と変形辞書３０７が双方とも２値画像であることを想定しているので、例えば合致度３０９は２値画像が一致しない画素数（不一致ビット数）とする。この場合、数値が小さいほど合致していることになる。その他に、例えば相関値を計算する方法を用いれば、１に近い値を示すほど合致していることを示す。この辞書との照合処理は、一般的にはいわゆる認識処理と呼ばれる処理であり、認識結果は、対応する辞書（テンプレート）により示される。
【００１８】
一連パターン合致度計算処理３１０は、各認識対象３０３の合致度３０９を総合して、一連パターン３０２としての合致度を計算する。この結果が一連パターン合致度３１１である。認識対象３０３の合致度３０９が２値画像中の一致しない画素の数である場合は、一連パターン合致度計算処理３１０は、単純に合致度３０９の合計で十分である。この場合も数値が小さいほど一連パターンとして良い結果が得られたことになる。
【００１９】
以上の認識辞書変形処理３０６から一連パターン合致度計算処理３１０までを、変形方法３０５で示されるすべての変形につて繰り返す。なお、認識辞書変形処理３０６において、あらかじめ認識辞書３０４について必要なすべての変形処理を行い、種々の変形辞書を作成しておけば、認識対象合致度計算処理３０８と一連パターン合致度計算処理３１０の繰り返しだけですむ。
【００２０】
一連パターン変形検出処理３１２は、一連パターン合致度３１１が最良の結果を示す変形を検出する。これによって得られた変形が一連パターン変形検出結果３１３である。一連パターン認識決定処理３１４は、一連パターン変形検出結果３１３が示す変形に対応する変形辞書で得られる各認識対象３０３の認識結果を当該一連パターン３０２の認識結果として決定する。この結果が一連パターン認識結果３１５となる。
【００２１】
図４乃至図６は、図３で示したような一連パターン３０２を認識する場合の例を具体的に示したものである。
【００２２】
図４において、認識辞書４０１は傾きがない辞書（標準辞書）、変形辞書（１）４０２は右へ傾いた辞書、変形辞書（２）４０３は左に傾いた辞書となっている。変形辞書（１）４０２と変形辞書（２）４０３は辞書４０１から作成される。認識対象の一連パターン４０４は、文字列「１２３７」が左に傾いたパターンを示す。
【００２３】
図５において、５０１〜５０３は、一連パターン４０４の各認識対象文字を、それぞれ独立に４０１〜４０３の辞書を用いて認識した場合の処理を示したものである。図５では、辞書（テンプレート）と認識対象が重ねて表示してある。辞書は中を透かし、認識対象は黒く塗りつぶして表示してある。○印は、不一致ビットが比較的少なくなるパターンを示す。ここで、「２」が２又は７と認識可能であること、「７」が１または７と認識可能であることを示している。
【００２４】
図６は認識結果を示したもので、６００は文字毎に独立に最も類似するとされる結果、即ち、認識対象毎だけに着目した結果を示したものである。この場合、認識結果は「１２３１」となり、最後の「７」が誤っている。
６０１〜６０３は、認識辞書４０１〜４０３を用いて一連パターンとして認識した結果を示す。ここで、６０１は「１７３１」、６０２は「？７？１」、６０３は「１２３７」と認識できている。このうち、一連パターンとしての不一致ビットが最低となるのは、辞書４０３を用いた場合の６０３である。このため、認識対象の一連パターン４０４の認識結果は「１２３７」、同時に当該一連パターン４０４の変形は、辞書４０３の変形に対応する「左に傾いている」と判断できる。
【００２５】
以上のように、１つ１つの認識対象毎では判断が困難な場合でも、これら認識対象を含む一連のパターンの認識を総合して判断することにより、正確な認識が可能となる。
【００２６】
なお、実施形態としては、辞書と入力画像の双方を変形する方法が考えられる。この考え方を利用すれば、以下の効果がある。例えば入力画像の変形程度が非常に大きい可能性がある場合に入力画像を予め複数大きな変形処理を行ってあたかも複数の画像が存在するように用意し、辞書の変形は小さくして少しに留める。これにより、大きな変形を伴う入力画像を辞書の変形は少なく、しかも、きめ細かに比較することができる。これは、辞書側の変形を予め用意しておく場合、その辞書変形以上の変形に対応する場合に利用可能であり、主に変形処理部分のアルゴリズムの簡略化に利用できる。
【００２７】
【発明の効果】
以上説明したように、本発明によれば、一連パターン毎にパターンの変形が一定である場合、認識辞書を行いながら変形を同時に検出することが可能となる。特に、単独の認識対象では変形を判断しにくいパターンにおいては、一連パターンを１つの塊として認識を行うことにより、認識精度の向上と正確な変形判断が可能となる。従って、認識対象に対する条件を緩和でき、例えば、ナンバープレート認識では、正面以外から撮影した映像でも、プレートの文字認識が可能となる。
【図面の簡単な説明】
【図１】本発明方法の一実施例の全体的処理手順を示す図である。
【図２】本発明方法を実現するコンピュータシステムの一実施例のブロック図である。
【図３】本発明方法の一実施例の具体的処理手順を示す図である。
【図４】認識辞書、変形辞書及び一連パターンの具体例である。
【図５】図４の例の認識対象毎の認識処理を示す図である。
【図６】図６の例の認識結果を示す図である。
【符号の説明】
１０１、３０６  認識辞書変形処理
１０２、３０８  認識対象合致度計算処理
１０３、３１０  一連パターン合致度計算処理
１０４、３１２  一連パターン変形検出処理
１０５、３１４  一連パターン認識決定処理
３０１  入力画像
３０２  一連パターン
３０３  認識対象
３０４  認識辞書
３０５  変形方法
３０７  変形辞書
３０９  認識対象合致度
３１１  一連パターン合致度
３１３  一連パターン変形検出結果
３１５  一連パターン認識結果
【図１】
0003574562.tif 000002
【図２】
0003574562.tif 000003
【図３】
0003574562.tif 000004
【図４】
0003574562.tif 000005
【図６】
0003574562.tif 000006
【図５】
0003574562.tif 000007