(57)【要約】【課題】従来は、文字の大きさを基準として文字パターンを検出するため、基準条件を広く設定すると、同等サイズの汚れや影等非文字パターンの誤検出が多くなり文字検出や文字認識の処理時間が掛かり、かつ実際よりも多くの認識結果が出力され、文字列全体の読取精度も低下する。【解決手段】フォーマット情報格納手段に格納された処理対象文字列のフォーマット情報を参照して第１の文字切り出し手段で画像入力手段の画像から文字パターンを切り出し、第１の文字認識手段で認識を行い、認識された文字パターンの属性を属性判定手段で判定する。属性判定された所定条件充足文字パターンの位置座標を基準として当該文字パターン周辺の他の文字パターンを第２の文字切り出し手段で切り出して、第２の文字認識手段で認識を行い、これらの認識結果から入力画像に対する認識結果を得て認識結果出力手段が出力する。【選択図】図１
2006338578.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力する画像入力手段と、処理対象の文字列のフォーマット情報が格納されたフォーマット情報格納手段と、フォーマット情報を参照して入力画像から文字パターンを切り出す第１の文字切り出し手段と、前記第１の文字切り出し手段で切り出された文字パターンの認識を行う第１の文字認識手段と、前記第１の文字認識手段で認識された文字パターンの属性を判定する属性判定手段と、前記属性判定された文字パターンのうち所定の条件を満たす文字パターンの位置座標を基準として当該文字パターン周辺の他の文字パターンを切り出す第２の文字切り出し手段と、前記第２の文字切り出し手段で切り出された文字パターンの認識を行う第２の文字認識手段と、第１の文字認識手段と属性判定手段および第２の文字認識手段の結果から入力画像に対する認識結果を決定して出力する認識結果出力手段を備えたことを特徴とする文字認識装置。
【請求項２】
前記フォーマット情報格納手段は、処理対象文字列を構成する文字パターンを切り出す文字切り出し手段を特定するための情報を含むフォーマット情報を格納することを特徴とする請求項１記載の文字認識装置。
【請求項３】
前記属性判定手段は、前記第１の文字認識手段の出力の属性判定をするために前記第１の文字認識手段の認識評価値と判定対象の文字パターン周辺の画像情報とを参照することを特徴とする請求項１または２記載の文字認識装置。
【請求項４】
前記属性判定手段は前記第２の文字認識手段で認識された文字パターンの属性をも判定することを特徴とする請求項１乃至３の何れかに記載の文字認識装置。
【請求項５】
前記フォーマット情報格納手段は、優先度情報の付いた複数のフォーマット情報を格納し、前記第１の文字切り出し手段は、異なるフォーマット情報に対応する複数のパターン列を検出した場合に、優先度の高いフォーマット情報に対応するパターン列を切り出し結果とすることを特徴とする請求項１乃至４の何れかに記載の文字認識装置。
【請求項６】
前記属性判定手段は、判定対象の文字パターンの属する字種を判定し、前記第２の文字切り出し手段は、字種情報を用いて基準とする文字パターンを決定することを特徴とする請求項１または２記載の文字認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、カメラ等で撮影された車輌のナンバープレート画像における車輌ナンバーを読み取る文字認識装置に関するものである。
【背景技術】
【０００２】
画像中の文字を読み取る場合、文字を検出する処理と検出された文字を認識する処理の二つに大きく分けられる。前者の文字検出における従来の技術としては、例えば、特開平７−９３４７６号公報に示されるものがある。本技術では、まず画像を２値化してラベリング処理し、連結領域を検出する。この連結領域の中から、その大きさが所定範囲内のものを抽出して基準文字とし、さらに、基準文字周辺の濃淡パターンの射影情報を解析して他の文字を切り出す。この一連の動作により、汚れ等のノイズが付いている文字も検出する。
【０００３】
後者の文字認識については、例えば、社団法人電気通信協会発行  橋本新一郎著「文字認識概論」ｐｐ．６４−９３に記載の方法を使用できる。
【０００４】
【特許文献１】特開平７−９３４７６号公報  「文字列検出装置」（図４−図１６、第５頁−第７頁）
【非特許文献１】橋本新一郎著「文字認識概論」社団法人電気通信協会発行、昭和５７年３月２０日、ｐｐ．６４−９３
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記のとおり、従来の文字認識装置は、文字の大きさで基準文字を決めているため、文字の周辺に同等サイズの非文字パターン（汚れや影など）があった場合、この非文字パターンを文字として誤検出してしまい、文字認識の処理時間が必要以上にかかってしまうという課題があった。特に、基準文字と看倣す条件（許容サイズ）を広く設定した場合、画像中のあちこちで基準文字相当の領域を検出してしまうため、文字検出の処理時間も激増し、全体として多大な処理時間がかかってしまうという課題があった。また、誤検出が発生すると、実際に存在する文字数よりも多くの文字数分の認識結果が出力されることになり、文字列全体としての読取精度が低下するという課題もあった。
【０００６】
この発明は、前記のような課題を解決するためになされたものであり、非文字パターンの誤検出を低減させて、認識処理時間の増加や読取精度の低下を抑えると共に、検出処理時間も低減させ、処理速度・精度の両者を向上させる文字認識装置を得ることを目的としている。
【課題を解決するための手段】
【０００７】
この発明に係る文字認識装置は、画像を入力する画像入力手段と、処理対象の文字列のフォーマット情報が格納されたフォーマット情報格納手段と、フォーマット情報を参照して入力画像から文字パターンを切り出す第１の文字切り出し手段と、前記第１の文字切り出し手段で切り出された文字パターンの認識を行う第１の文字認識手段と、前記第１の文字認識手段で認識された文字パターンの属性を判定する属性判定手段と、前記属性判定された文字パターンのうち所定の条件を満たす文字パターンの位置座標を基準として当該文字パターン周辺の他の文字パターンを切り出す第２の文字切り出し手段と、前記第２の文字切り出し手段で切り出された文字パターンの認識を行う第２の文字認識手段と、第１の文字認識手段と属性判定手段および第２の文字認識手段の結果から入力画像に対する認識結果を決定して出力する認識結果出力手段を備える。
【発明の効果】
【０００８】
この発明に係る文字認識装置によれば、文字パターンの切り出しに、フォーマット情報格納手段に格納された処理対象文字列のフォーマット情報を参照しているので、文字列の周辺に文字と同等な大きさの非文字パターンがあったり、文字パターンが他の非文字パターンと接触している場合でも、真の文字パターンを切り出すことができる。
また、切り出された文字パターンを認識した結果を属性判定し、その属性判定の結果から第２の文字切り出し手段が対象とする切り出し領域を限定するので、無駄な検出処理や認識処理を行うことなく、処理時間を必要最小限に抑えることができる。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
以下、この発明の実施の形態１を図について説明する。図１はこの発明の実施の形態１を示す概略構成図である。図において、１はカメラ等で撮影した画素値０〜２５５の値をとる濃淡画像を入力し、２値画像を作成する画像入力手段、２は事前に設定された処理対象文字列のフォーマット情報が格納されたフォーマット情報格納手段、３はフォーマット情報格納手段２に格納されたフォーマット情報を参照して入力画像から文字パターンを切り出す第１の文字切り出し手段、４は第１の文字切り出し手段３で切り出された文字パターンの認識を行う第１の文字認識手段、５は第１の文字認識手段４で認識された文字パターンの属性を判定する属性判定手段、６は属性判定された文字パターンのうち所定の条件を満たす文字パターンの位置座標から当該文字パターン周辺の他の文字パターンを切り出す第２の文字切り出し手段、７は第２の文字切り出し手段６で切り出された文字パターンの認識を行う第２の文字認識手段、８は第１の文字認識手段４と属性判定手段５および第２の文字認識手段７の結果から入力画像に対する認識結果を決定して認識結果を出力する認識結果出力手段である。
【００１０】
次に動作を図により説明する。図２がこの発明の処理フロー図である。ここでは、図３から図６までを用いて動作を説明する。図３は認識対象の文字列画像の例であり、９〜１３が文字パターン、１４〜１５が汚れ等の非文字パターンである。図４は第１の文字切り出し手段３による切り出し結果の例である。図５と図６は第２の文字切り出し手段６の動作を説明するための図であり、１６と１７はパターン検出領域である。
【００１１】
まず画像入力手段１が画素値０〜２５５の値をとる濃淡画像を入力し（ステップＳ１）、これを２値化して２値画像を作成する（ステップＳ２）。２値化の方法としては、例えば、電子情報通信学会論文誌Ｄ  Ｖｏｌ．Ｊ７１−Ｄ  Ｎｏ．５  ｐｐ．８６３−８７３「情景中文字の検出のための動的２値化処理法」に記載の方法を用いる。
【００１２】
その後、フォーマット情報格納手段２の内容を参照して第１の文字切り出し手段３が入力画像から１回目の文字切り出しを行う（ステップＳ３）。本実施の形態では、５文字の数字が均等に並んだ文字列を検出・認識するものとし、フォーマット情報格納手段２には、個々の文字の大きさや間隔に関するフォーマット情報が格納されているものとする。このフォーマット情報は、例えば以下に示す情報である。
（文字列情報１）文字の許容最大幅と許容最小幅、許容最大高さと許容最小高さ、幅・高さ比率の許容最大値と許容最小値。
（文字列情報２）隣接文字間の距離（間隔）の許容最大値と許容最小値。
（文字列情報３）第１の文字切り出し手段３で切り出す必要のある最小文字数。
（文字列情報４）文字列を構成する全文字数（本実施の形態では前記の通り５）。
【００１３】
ステップＳ３において、第１の文字切り出し手段３は、まず従来と同様に、ラベリング処理して連結領域を検出する。さらに、この連結領域の中から、幅、高さ、幅・高さ比率が前記フォーマット情報格納手段２に格納された文字列情報１の許容範囲内にあるものを文字候補パターンとして抽出し、隣接する文字候補パターンの間隔が前記文字列情報２の許容範囲内にある組み合わせを求める。この組み合わせの中で、前記文字列情報３の設定値（切り出す必要のある最小文字数）以上の文字候補パターンを含むものを求め、第１の文字切り出し手段３における１回目の切り出し結果文字列とする。例えば、ステップＳ３の処理で図３の画像からは文字１１〜１３と非文字パターン１４の組み合わせ（図４の破線で囲んだ４パターン）が求められ、前記文字列情報３の値を３とすると、この組み合わせは切り出し結果文字列となり得る。なお、図３の文字９と文字１０については、汚れ１５との接触により全体が大きな一つの連結領域になってしまい、文字候補パターンとはならない。なお、本ステップにおいて、文字列情報３の設定値以上の文字候補パターンを含む組み合わせが一つも求められなければ、入力画像中に認識対象の文字列はないと判断して、処理を終了する。
【００１４】
次に、第１の文字認識手段４が、第１の文字切り出し手段３の切り出したパターンを認識し、各パターンの認識結果として、文字コードと認識評価値を出力する（ステップＳ４）。この認識評価値は、当該パターンと認識結果の文字コードとの類似度合いを示し、値が大きいほど、類似度合いが大きいことを示す。例えば、図４の切り出しパターン１１〜１４については、下記のような認識結果が得られる。
・パターン１１・・・文字コード“６”、認識評価値９０
・パターン１２・・・文字コード“７”、認識評価値９２
・パターン１３・・・文字コード“８”、認識評価値８８
・パターン１４・・・文字コード“２”、認識評価値４５
【００１５】
その後、属性判定手段５は、第１の文字認識手段４が認識したパターンの属性を判定する（ステップＳ５）。本実施の形態では、各パターンの文字らしさを基準として属性判定するものとし、前記認識評価値が所定の閾値以上のパターンを属性Ａ（文字らしいパターン）、閾値未満のパターンを属性Ｂ（文字でない可能性の高いパターン）に判定するものとする。例えば、この閾値を６０とすると、前記の図４の切り出し結果文字列（パターン１１〜１４）については、パターン１１〜１３が属性Ａ、パターン１４が属性Ｂと判定される。
【００１６】
次に、第２の文字切り出し手段６が文字の切り出しを行うが、その最初の段階として、２回目の切り出しの基準となる規準文字を決定する（ステップＳ６）。本ステップでは、切り出し結果文字列の両端（水平並び文字列では左端と右端、垂直並び文字列では上端と下端）から内側に向かって各パターンの属性をチェックし、初めて出現する属性Ａのパターンを文字列の境界パターンとして抽出し、境界パターンに挟まれたパターンと境界パターンとを合わせて規準文字とする。図４の切り出し結果文字列については、左端側から見た場合にパターン１１が境界パターン（左端境界パターン）となり、右端側から見た場合はパターン１３が境界パターン（右端境界パターン）となる。従って本実施の形態ではパターン１１〜１３が規準文字となる。
【００１７】
さらに第２の文字切り出し手段６は、フォーマット情報格納手段２の内容に加え、規準文字の大きさや間隔の情報も使用して２回目の文字切り出しを行う（ステップＳ７）。本ステップでは、文字列の境界パターンから外側へ向かって新たな文字パターンを切り出していくものとする。以下、図４の切り出し結果文字列のケースで動作の例を説明する。図４のケースでは、右端境界パターン１３の右隣には既に属性Ｂ（非文字の可能性が高い）と判定されたパターンが存在するため、第２の文字切り出し手段６は右端境界パターン１３の右側は参照せず、左側境界パターン１１より左側の領域に対象範囲を限定して一つ一つの文字を切り出して行く。まず、規準文字１１〜１３のパターン間距離（間隔）と高さの平均値を求め、左側境界パターン１１から前記パターン間距離の平均値だけ左側の位置に、高さは前記高さ平均値、幅は前記フォーマット情報格納手段２に格納された文字列情報１の許容最大幅となるパターン検出領域を設定し、この領域から一つの文字パターンを検出する。
【００１８】
図５はこの動作例であり、１６がパターン検出領域を示す。この枠内の画像から文字パターンを検出する手法としては、例えば、従来の濃淡パターンの射影情報による方法を用いる。さらに、パターン検出領域１６から文字パターン１０が検出できた場合は、図６に示すように、文字パターン１０の切り出し位置（破線枠）から左側に新たなパターン検出領域１７を設定し、文字パターン９を切り出す。この動作は、規準文字と第２の文字切り出し手段６による切り出し文字数の合計値が前記フォーマット情報格納手段２の文字列情報４（文字列を構成する全文字数）に一致するまで繰り返す。本実施の形態では文字列情報４の値を５としているため、文字パターン９が切り出された時点で、このステップは終了する。
【００１９】
第２の文字認識手段７では、第２の文字切り出し手段６が切り出したパターン９および１０を認識し、各パターンの認識結果として、文字コードと認識評価値を出力する（ステップＳ８）。例えば、図６のパターン９や１０からは下記のような認識結果が得られる。
・パターン９  ・・・文字コード“４”、認識評価値９１
・パターン１０・・・文字コード“５”、認識評価値８９
最後に認識結果出力手段８が、第１の文字認識手段４と属性判定手段５と第２の文字認識手段７の出力から文字列全体の認識結果を決定し、出力する（ステップＳ９）。この文字列全体の認識結果の決定方法としては、例えば、規準文字と第２の文字認識手段７の認識結果を組み合わせたものとし、“４５６７８”を出力する。
【００２０】
本実施の形態では、以上の工程を経ることで、文字列の周辺に文字と同等な大きさの非文字パターンがあったり、文字パターンが他と接触している場合でも、真の文字パターンの認識結果だけを出力することができる。また、属性判定の結果から第２の文字切り出し手段６が対象とする領域を限定したので、無駄な検出処理や認識処理を行うことなく、処理時間を必要最小限に抑えることができる。
【００２１】
なお、本実施の形態では、電子情報通信学会論文誌掲載の方法を用いて２値化したが、これは他の２値化法を用いても良く、ラベリング処理が可能であれば、２値化以外の変換方法でも良い。例えば、各画素を０〜２の３値化し、画素値１の連結領域をラベリング処理で求めるような方法でも良い。また、第２の文字切り出し手段６では、１文字ずつパターン検出領域を設定し射影情報を用いて切り出しを行ったが、これは別の方法でも良く、例えば、ステップＳ２で用いた２値化閾値とは異なる閾値で２値化し、ラベリング処理を行うような方法でも良い。非文字パターンと文字パターンとで濃淡差があれば、この方法でも文字パターン部分だけを抽出できる。
【００２２】
また、認識結果出力手段８は、規準文字と第２の文字認識手段７の認識結果の組み合わせを文字列の認識結果としたが、これは別の方法でも良い。例えば、上記実施の形態では第２の文字認識手段７の認識結果においてパターン９、１０では認識評価値が９１，８９と高いものであった。しかし、このパターンが汚れや影等であり、認識評価値が第１の文字認識手段３の認識結果による認識評価値の低いパターン１４よりもさらに低い場合もあり得る。この様な場合は第１の文字認識手段３の認識結果と第２の文字認識手段７の認識結果とを比較して認識評価値の良い方を基準文字に加えて文字列情報４に定められた全文字数分を抽出して認識結果としても良い。
また、本実施の形態では、第２の文字切り出し手段６が処理を終了してから第２の文字認識手段７が認識処理を行ったが、これは、第２の文字切り出し手段６が１文字切り出して第２の文字認識手段７が当該パターンを認識するという動作を繰り返すような実現方法でも良い。
【００２３】
実施の形態２．
以下、この発明の実施の形態２を図について説明する。概略構成図は実施の形態１と同じく図１である。
次に動作を図により説明する。本実施の形態の処理フローは図７である。ここでは、図８〜１２を用いて動作を説明する。図８は認識対象文字列のバリエーションを示す図である。図９はフォーマット情報格納手段２に格納されたフォーマット情報の一部を示す図であり、１８〜２３は文字パターンを示す矩形である。図１０は認識対象の文字列画像の例であり、２４〜２８が文字パターン、２９は汚れ（非文字パターン）である。図１１は第１の文字切り出し手段３による１回目の切り出し結果の例である。図１２は第２の文字切り出し手段６の動作を説明するための図であり、３０はパターン検出領域である。
実施の形態１では、各文字の大きさや間隔が等しい文字列を対象としたのに対し、本実施の形態では、文字の大きさや間隔が異なる文字列を認識対象とした動作を説明する。
【００２４】
まず、実施の形態１と同様の手順で、画像入力手段１が画素値０〜２５５の値をとる濃淡画像を入力して（ステップＴ１）、２値画像を作成する（ステップＴ２）。次に、認識対象文字列に対応したフォーマット情報が格納されたフォーマット情報格納手段２の内容を参照して第１の文字切り出し手段３が２値化された入力画像から１回目の文字切り出しをする（ステップＴ３）。本実施の形態では、図８に示すように、１〜３桁の小さい数字の後に２〜３桁の大きい数字が続く文字列を認識対象にするものとする（数字０〜９の組み合わせとしては図８に限定せず、例えば３桁であれば、０００〜９９９まであり得る）。
【００２５】
また、本実施の形態におけるフォーマット情報格納手段２の内容は下記とする。
（文字列情報１'）出現可能性のある文字パターンを所定の順序で並べた並び情報。例えば図９の１８〜２３の６パターンから構成される並び情報であり、各パターンについて、以下の情報を持つ。
・小さい数字（Ｓ）と大きい数字（Ｌ）のどちらかを示すパターンサイズ分類情報。
・第１の文字切り出し手段３での検出が必須のパターンか（Ａ）、第１の文字切り出し手段３と第２の文字切り出し手段６のどちらで切り出しても良いパターンか（Ｚ）を示す文字切り出し手段対応情報。
・３文字文字列での先頭文字となりえるか（○）、なりえないか（×）を示す３文字文字列の先頭文字可否情報。
・４文字文字列での先頭文字となりえるか（○）、なりえないか（×）を示す４文字文字列の先頭文字可否情報。
・５文字文字列での先頭文字となりえるか（○）、なりえないか（×）を示す５文字文字列の先頭文字可否情報。
【００２６】
（文字列情報２'）パターンサイズ情報ＳとＬそれぞれの文字についての、許容最大幅と許容最小幅、許容最大高さと許容最小高さ、幅・高さ比率の許容最大値と許容最小値。
（文字列情報３'）パターンサイズ情報ＳとＳ、ＳとＬ、ＬとＬの文字間における、距離の標準値と許容最大値と許容最小値。
ここで、文字列情報１'における文字切り出し手段対応情報は、実施の形態１における文字列情報３を代用するものであるが、パターンサイズ分類情報などと合せ、単なる文字数指定である実施の形態１における文字列情報３よりも細かい指定が可能な形態になっている。
また、上記文字列情報１'の先頭文字可否情報は３〜５文字の文字列のみが定義されている。これは、文字列を構成する文字数の最小値は３、最大値は５であることを意味する。
【００２７】
ステップＴ３において、第１の文字切り出し手段３は、従来と同様に連結領域を検出し、この連結領域の中から、幅、高さ、幅・高さ比率が前記文字列情報２'の許容範囲内にあるものを、Ｓ、Ｌ、あるいはＳとＬ両方のラベルを付けて文字候補パターンとする。そして、文字候補パターンのラベルの組み合わせにおいて、図９の文字切り出し対応情報がＡのパターンを全て含み、かつ間隔が前記文字列情報３'の許容範囲内にあるものを求め、第１の文字切り出し手段３における１回目の切り出し結果文字列とする。この場合、例えば、図１０の画像からは、文字２５〜２８の組み合わせ（図１１の破線で囲んだパターン）が図９におけるパターン２０〜２３と対応付けられ、切り出し結果文字列となる。
ここで、図１０の文字２４については、汚れ２９との接触により文字よりもかなり幅広の連結領域になってしまい、文字候補パターンとはならない。
なお、パターン２５〜２７のどれかが文字候補パターンとならなかった場合は、文字切り出し対応情報Ａのパターンで対応なしのものが発生するため、切り出し結果文字列とはならない。
【００２８】
次に、実施の形態１と同様に、第１の文字認識手段４が、第１の文字切り出し手段３の切り出したパターンを認識し、各パターンの認識結果として、文字コードと認識評価値を出力する（ステップＴ４）。その後、属性判定手段５は、第１の文字認識手段４が認識したパターンの属性を判定するが（ステップＴ５）、本実施の形態では、実施の形態１で用いた認識情報に加え、当該パターン周辺の濃淡画像の情報を用いるものとする。
【００２９】
この濃淡画像情報は、例えば、判定対象の濃淡画像のエッジ強度や、濃淡画像を異なる閾値で２値化した場合の輪郭位置の変化量を用いる。一般に、影や模様に比べて文字パターンはコントラストがはっきりしており、境界部分での濃淡差が大きいため、エッジ強度が大きく、また、２値化した場合の輪郭位置（２値パターンの上下左右端位置）は安定しているという特徴がある。このため、例えば、ＣＧ−ＡＲＴＳ協会発行「ディジタル画像処理」ｐｐ．１１４〜１１６記載の微分フィルタを用いてエッジ強度（勾配の大きさ）を求め、その値を濃淡画像情報による評価値とする。あるいは、複数の異なる閾値で２値化し、２値パターン間で上下左右端位置を求め、異なる閾値間での上下左右端位置のずれ量が小さいほど大きい評価値を与えても良い。すなわち、濃淡画像を入力とし、当該画像中のパターンが文字らしいほど大きな評価値を与える方法であれば良い。
【００３０】
そして、属性判定手段５は、認識評価値が所定の閾値以上で、かつ前記濃淡画像情報の評価値が閾値以上のパターンを属性Ａ（文字らしいパターン）、どちらかが閾値未満のパターンを属性Ｂ（文字でない可能性の高いパターン）に判定するものとする。この結果、例えば、図１１における文字２５〜２８から構成される切り出し結果文字列では、全ての文字候補パターンが属性Ａと判定される。
【００３１】
次に、第２の文字切り出し手段６が、実施の形態１と同様の手順で、２回目の切り出しの基準となる規準文字を決定する（ステップＴ６）。図１１の切り出し結果文字列では、パターン２５が左端境界パターン、パターン２８が右端境界パターンとなり、パターン２５〜２８が規準文字となる。その後、第２の文字切り出し手段６は２回目の文字切り出しを行う（ステップＴ７）。図１１の切り出し結果文字列では、図９のパターン並び情報における右端パターン２３が既にパターン２８に対応づいているため、切り出し結果文字列の右側には他の文字は無いと判断し、左側の領域から新たな文字パターンを切り出していく。
【００３２】
以下、ステップＴ７の処理手順について説明する。まず、第２の文字切り出し手段６での検出可能最大文字数を求める。フォーマット情報格納手段２に格納されたフォーマット情報のうちの文字列情報１'である図９に示すパターン並び情報において、パターン２０〜２３は検出済みであり、この４パターンを含む可能な組み合わせは、この４パターンで４文字文字列を構成するケースと、さらにパターン１９を加えた５文字文字列のケースの二通りであるので、検出可能最大文字数は１となる。
【００３３】
次にパターン検出処理を行う。例えば、文字列情報３´におけるサイズ情報Ｓパターン同士の距離標準値だけパターン２５から左側の位置に、高さはサイズ情報Ｓパターンの許容最大高さ、幅は同じくＳパターンの許容最大幅となるパターン検出領域を設定し、実施の形態１と同様の手順で、この領域からパターン１９に相当する文字パターンの検出を試みる。図１２はこの動作例であり、パターン検出領域３０を対象として検出処理が行われる。この動作は、検出可能最大文字数だけ検出したか、新たなパターンが検出できなくなるまで繰り返す。図１２の例では、パターン検出領域３０からパターン並び情報のパターン１９に対応づく文字パターン２４が検出でき、検出可能最大文字数は１であったため、その時点で終了する。
【００３４】
第２の文字認識手段７では、実施の形態１と同様の手順で、第２の文字切り出し手段６が切り出したパターンを認識し、各パターンの認識結果として、文字コードと認識評価値を出力する（ステップＴ８）。その後、属性判定手段５が、第２の文字認識手段７が認識したパターンの属性判定を行うが（ステップＴ９）、属性判定自体の処理内容はステップＴ５と同じとし、図１２の文字パターン２４は属性Ａに判定されたものとする。最後に認識結果出力手段８が、第１の文字認識手段４と属性判定手段５と第２の文字認識手段７の出力から文字列全体の認識結果を決定し、出力する（ステップＴ１０）。
【００３５】
ここで、ステップＴ５やステップＴ９で属性Ｂと判定されたものは出力しないが、図１０〜１２における文字パターン２４〜２８は全て属性Ａと判断されたため、この５文字分の認識結果を出力する。実施の形態１では文字列の文字数が固定であったため、当該文字数分の認識結果を出せばよかったが、本実施の形態では、文字数が固定でない。例えば、図１０〜１２の例では、第１の文字認識手段が認識した文字２５〜２８の組み合わせでも４文字文字列となりえるし、第２の文字認識手段７が認識した文字２４を加えた組み合わせでも５文字文字列となりえるので、このうちどちらが適正かを判断するため、ステップＴ９で属性判定を行い、ステップＴ１０ではこの判定結果も用いて認識結果を決定する。
【００３６】
本実施の形態では、以上の工程を経ることで、文字並びのバリエーションが豊富な文字列を対象とした場合でも、必要最小限のフォーマット情報を保持するだけでよく、効率の良い切り出し・認識が行え、誤検出や誤認識を抑えることができる。特に、フォーマット情報に文字切り出し手段対応情報を備えたため、処理の前段で検出が必須となる重要な文字パターン（文字列と看倣せるキーとなるパターン）と、それ以外のパターンとを区別して扱うことができる。また、属性情報として画像情報も用いるため、認識評価値だけでは文字か否か判定しにくいパターン（例えば「１」のような単純な形状のパターン）でも判定し易くなる。なお、本実施の形態では、ステップＴ５とステップＴ９で同じ属性判定方法を用いたが、これは異なる方法でも良く、属性の種類もＡ、Ｂの２種類より増やしても良い。また、属性判定用の画像情報としてエッジ強度や輪郭位置の変化量を用いたが、これは別の方法で求めても良い。さらに、文字サイズ情報としてＳとＬの２種類を用いたが、３種類以上に増やしても良い。
【００３７】
実施の形態３．
以下、この発明の実施の形態３を図について説明する。概略構成図は実施の形態１と同じく図１である。
次に動作を図により説明する。本実施の形態の処理フローは実施の形態２と同じく図７である。ここでは、図１３〜１４を用いて動作を説明する。図１３は認識対象の文字列のバリエーションを示す図である。図１４はフォーマット情報格納手段２に格納されたフォーマット情報の一部である文字列情報１'を示す図であり、３１〜３６は文字パターンを示す矩形である。
【００３８】
まず、実施の形態２と同様の手順で、画像入力手段１が濃淡画像を入力して（ステップＴ１）、２値画像を作成する（ステップＴ２）。次に、フォーマット情報格納手段２の内容を参照して第１の文字切り出し手段３が入力画像から文字を切り出す（ステップＴ３）。本実施の形態では、図１３に示すように、中央部分が他より間隔の大きい４ないし５桁の数字の文字列を認識対象にするものとする。フォーマット情報格納手段２に格納されるフォーマット情報における文字列情報１'の内容の例が図１４であり、ここで、本実施の形態における文字切り出し手段対応情報としては、実施の形態２におけるＡ（第１の文字切り出し手段３での検出が必須のパターン）とＺ（第１の文字切り出し手段３と第２の文字切り出し手段６のどちらで切り出しても良いパターン）に加え、第１の文字切り出し手段３で少なくとも１文字は検出を必須とするＢを追加する。
【００３９】
すなわち、図１４の例では、パターン３２、３３、３４の組み合わせか、パターン３３、３４、３５の組み合わせが、第１の文字切り出し手段３で切り出させばならないパターンとなる。ここで、パターン３２〜３５を文字切り出し手段対応情報Ａ、パターン３１、３６をＺとする方法もあるが、そのようにした場合、第１の文字切り出し手段３で４文字切り出さねばならず、文字数４の文字列に対してはマージンが全くなくなる。文字切り出し手段対応情報Ｂを加えたことで、ステップＴ３において少なくとも３文字が検出できれば良くなる。
【００４０】
また、本実施の形態におけるフォーマット情報格納手段２に格納されるフォーマット情報における文字列情報２'、文字列情報３'の内容は下記とする。
（文字列情報２'）パターンサイズ情報Ｌの文字についての、許容最大幅と許容最小幅、許容最大高さと許容最小高さ、幅・高さ比率の許容最大値と許容最小値。
（文字列情報３'）パターンサイズ情報ＬとＬにおいて文字切り出し手段対応情報がＡとＡ、ＡとＢ、ＢとＺの各文字間における、距離の標準値と許容最大値と許容最小値。
【００４１】
第１の文字切り出し手段３でパターン３２、３３、３４の組み合わせか、パターン３３、３４、３５の組み合わせの何れかが切り出された以降の処理は実施の形態２と同じであり、第１の文字認識手段４が第１の文字切り出し手段３の切り出したパターンを認識し（ステップＴ４）、属性判定手段５が属性判定する（ステップＴ５）。さらに第２の文字切り出し手段６が規準文字を決定して（ステップＴ６）２回目の文字切り出しを行い（ステップＴ７）、第２の文字認識手段７が第２の文字切り出し手段６の切り出したパターンを認識して（ステップＴ８）、属性判定手段５が属性判定を行い（ステップＴ９）、認識結果出力手段８が認識結果を出力する（ステップＴ１０）。
【００４２】
この実施の形態では、文字切り出し手段対応情報がより細かく設定され、以上の工程を経ることで、第１の文字切り出し手段３で検出できるパターン数が少ない場合でも、検出漏れを起こしづらくなる。
【００４３】
実施の形態４．
以下、この発明の実施の形態４を図について説明する。概略構成図は実施の形態１と同じく図１である。
次に動作を図により説明する。本実施の形態の処理フローは実施の形態２と同じく図７である。ここでは、図８、１３、１５、１６を用いて動作を説明する。図１５は対象文字列のバリエーションの一つを示す図である。図１６はフォーマット情報格納手段２に格納されたフォーマット情報の一部である文字列情報１'を示す図であり、３７〜３９はそれぞれ異なるフォーマット情報である。本実施の形態では、原動機付き自転車のナンバープレート文字のように多様なバリエーションを持つ文字列に対応するため、フォーマット情報格納手段２に複数のフォーマット情報を格納した例を説明する。
また、文字パターンの大きさを規定する文字列情報２'および文字パターン間の間隔を規定する文字列情報３'はそれぞれの文字列のフォーマットに対応した情報が文字列情報１'と対をなしてフォーマット情報格納手段２に格納されている。
【００４４】
まず、実施の形態２と同様の手順で、画像入力手段１が濃淡画像を入力して（ステップＴ１）、２値画像を作成する（ステップＴ２）。次に、フォーマット情報格納手段２の内容を参照して第１の文字切り出し手段３が入力画像から文字を切り出す（ステップＴ３）。本実施の形態では、図８の文字列、図１３の文字列および図１５の文字列の３つの文字列バリエーションを全て対象とし、フォーマット情報格納手段２には、この３種類に対応したフォーマット情報の文字列情報１'が図１６のように入っているものとする。図１６において、フォーマット情報３７は実施の形態２で用いたものと同じであり、図８の文字列に対応する。フォーマット情報３８は実施の形態３で用いたものと同じであり、図１３の文字列に対応する。フォーマット情報３９は図１５に示すように、文字の大きさ・間隔が等しい４〜５文字の文字列に対応する。また、各フォーマット情報には優先度を付けており、この値が大きいほど優先度が高いものとする。この優先度は、例えば出現頻度の高い文字列の情報に大きな優先度を付けておくなど、あらかじめ定めておく。
【００４５】
ステップＴ３において、第１の文字切り出し手段３は、実施の形態２と同様に文字候補パターンを抽出した後、フォーマット情報３７〜３９の何れかに該当する組み合わせを抽出し、どのフォーマット情報に対応するかを示すフラグを付与して、切り出し結果文字列とする。ここで、本実施の形態では、複数の切り出し結果文字列が得られた場合は、優先度が最も大きいものを一つだけ出力するものとする。例えば、フォーマット情報３７に対応する文字列とフォーマット情報３９に対応する文字列の二つが得られた場合、フォーマット情報優先度の大きいフォーマット情報３７に対応する切り出し結果文字列を出力する。
【００４６】
以降の処理は実施の形態２と同じであり、第１の文字認識手段４が第１の文字切り出し手段３の切り出したパターンを認識し（ステップＴ４）、属性判定手段５が属性判定する（ステップＴ５）。さらに第２の文字切り出し手段６が規準文字を決定して（ステップＴ６）２回目の文字切り出しを行う（ステップＴ７）。このステップＴ７において、本実施の形態では、フォーマット情報を参照して処理を行う際に、切り出し結果文字列に付与されているフラグに対応するフォーマット情報を選択して用いる。その後、第２の文字認識手段７が第２の文字切り出し手段６の切り出したパターンを認識して（ステップＴ８）、属性判定手段５が属性判定を行う（ステップＴ９）。最後に認識結果出力手段８が、第１の文字認識手段４と属性判定手段５と第２の文字認識手段７の出力から文字列全体の認識結果を決定し、出力する（ステップＴ１０）。
【００４７】
この実施の形態では、以上の工程を経ることで、対象とする文字列のバリエーションが非常に多い場合でも、誤検出を抑えつつ、効率よく文字切り出し・認識が行える。なお、本実施の形態では、フォーマット情報を３種類用いた例で説明したが、これは複数であればいくつでも良い。また、フォーマット情報優先度の設定基準を出現頻度とするように説明したが、これは別の基準で決定しても良く、例えば、誤検出の発生頻度を基準として、誤検出が多いフォーマット情報（誤検出を誘発するもの）の優先度を小さくするようにしても良い。
【００４８】
また、フォーマット情報優先度を各フォーマット情報に一つずつ設定する例を説明したが、これはもっと細かく設定しても良く、例えば、同じフォーマット情報であっても、検出された文字数に基づいて異なる優先度の値を与えるようにしても良い。また、第１の文字切り出し手段３で優先度に基づき切り出し結果の選択を行ったが、第１の文字切り出し手段３では得られた複数の切り出し結果文字列を全部出力し、各切り出し結果文字列それぞれについてステップＴ４〜Ｔ９の処理を行い、最後の認識結果決定・出力（ステップＴ１０）で優先度を指標の１つとして選択を行っても良い。この場合、処理量は増えるものの、各切り出し結果文字列の認識評価値も選択基準に含めることが可能となり、選択誤りを少なくできる。
【００４９】
実施の形態５．
以下、この発明の実施の形態５を図について説明する。概略構成図は実施の形態１と同じく図１である。
次に動作を図により説明する。本実施の形態の処理フローは実施の形態２と同じく図７である。ここでは、図８〜９と図１７〜２０を用いて動作を説明する。図１７は認識対象とする文字列のバリエーションを示す図である。図１８は認識対象文字列画像の例であり、４０〜４４が数字の文字パターン、４５はひらがなの文字パターン、４６は汚れである。図１９は第１の文字切り出し手段３による切り出し結果の例である。図２０は第２の文字切り出し手段６の動作を説明するための図であり、４７はパターン検出領域である。本実施の形態では、属性として字種の情報も用いる例を説明する。
【００５０】
まず、実施の形態２と同様の手順で、画像入力手段１が濃淡画像を入力して（ステップＴ１）、２値画像を作成する（ステップＴ２）。次に、フォーマット情報格納手段２の内容を参照して第１の文字切り出し手段３が入力画像から文字を切り出す（ステップＴ３）。本実施の形態では、図１７に示すように、図８の数字３〜５桁の左側にひらがなが１文字ある文字列を対象とし、このうちの数字部分を検出・認識するものとする。フォーマット情報格納手段２に格納されるフォーマット情報における文字列情報１'は、実施の形態２で説明した図９の内容等に加え、数字の左側にひらがなが１文字あるという情報が入っているものとする。
また、実施の形態２と同様に、図９の数字の左側にひらがなが１文字あるという情報に対応する文字列情報２'と文字列情報３'がフォーマット情報格納手段２に格納されている。
ステップＴ３の処理の結果、図１８の画像からは、文字４５、文字４０〜４３の組み合わせ（図１９の破線で囲んだパターン）が図９におけるパターン１８〜２２と対応付けられ、切り出し結果文字列となる。
【００５１】
次に、実施の形態２と同様に、第１の文字認識手段４が、第１の文字切り出し手段３の切り出したパターンを認識し、各パターンの認識結果として文字コードと認識評価値を出力する（ステップＴ４）。その後、属性判定手段５が、第１の文字認識手段４の認識したパターンの属性を判定する（ステップＴ５）。本実施の形態では、ステップＴ５において字種も属性として用いるものとし、属性Ｘ（数字の認識評価値が大きいパターン）、属性Ｙ（ひらがなの認識評価値が大きいパターン）、属性Ｚ（認識評価値が小さく文字でない可能性の高いパターン）の３種類に判定するものとする。この結果、図１９の切り出し結果文字列（パターン４５、４０〜４３）については、属性判定手段５によりパターン４５が属性Ｙ、パターン４０〜４３が属性Ｘと判定される。
なお、パターン４５も属性Ｘと判定された場合は、５文字の数字文字列となり、図９のフォーマット情報と矛盾することなく最大文字数（５）に至っているため、これ以上の文字切り出しは必要なく、以降のステップＴ６〜Ｔ９はスキップするが、ここでは属性Ｙと判定されたため、ステップＴ６に続く。
【００５２】
次に、第２の文字切り出し手段６が、２回目の切り出しの基準となる規準文字を決定する（ステップＴ６）。本実施の形態では、切り出し文字列の両端から内側に向かって各パターンの属性をチェックし、初めて出現する属性Ｘのパターンを文字列の境界パターンとして抽出し、境界パターンに挟まれたパターンと境界パターンとを合わせて規準文字とする。図１９の切り出し結果文字列については、パターン４０（左端境界パターン）とパターン４３（右端境界パターン）が境界パターンとなり、パターン４０、４１，４２，４３が規準文字となる。
【００５３】
さらに第２の文字切り出し手段６は、２回目の文字切り出しを行うが（ステップＴ７）、左端境界パターンの左隣にあるひらがな文字が既に検出されており、切り出し結果文字列の左側には数字パターンのないことが分かっているため、本実施の形態では左側は参照せず、右側の領域から新たな文字パターンを切り出していく。例えば、実施の形態２の文字列情報３´におけるサイズ情報Ｌパターン同士の距離標準値だけパターン４３から右側の位置に、高さはサイズ情報Ｌパターンの許容最大高さ、幅は同じくＬパターンの許容最大幅となるパターン検出領域を設定し、実施の形態１と同様の手順で、この領域から一つの文字パターンを検出する。図２０が動作例であり、パターン検出領域４７から文字パターン４４が検出できる。
【００５４】
以降の処理は実施の形態２と同じであり、第２の文字認識手段７が第２の文字切り出し手段６の切り出したパターンを認識して（ステップＴ８）、属性判定手段５が属性判定を行う（ステップＴ９）。最後に認識結果出力手段８が、第１の文字認識手段４と属性判定手段５と第２の文字認識手段７の出力から文字列全体の認識結果を決定し、出力する（ステップＴ１０）。
【００５５】
本実施の形態は、数字部分を検出して認識するものであるから第２の文字切り出し手段６が、２回目の切り出しの基準となる規準文字を決定する際は属性判定手段５が数字の認識評価値が大きいパターンと属性判定された属性Ｘを抽出して決定する。
以上のように本実施の形態は上述の工程を経ることで、検出・認識対象文字列の周辺に別の文字パターンが存在する場合でも、正しく対象文字列を読み取り、その結果を出力できる。なお、本実施の形態では、数字とひらがなを字種として属性分けしたが、これは、漢字と漢字以外というような別の分け方でも良く、あるいは、数字の０〜４と５〜９を別の字種とするような細かい分け方でも良い。要は検出・認識する対象文字列と同じ属性の文字パターンを抽出して規準文字を決定すればよい。
【００５６】
なお、実施の形態１〜５では、数字の認識結果を出力しているが、これは数字に限るわけではなく何でも良い。また、1段構成の文字列の例で説明したが、複数段文字列の一部の段または全部の段を対象として処理を行っても良い。また、各実施の形態では左側と右側のどちらか一方だけを対象とする例を説明したが、もちろん、第１の文字切り出し手段３の処理結果によっては、両方を対象とする場合もある。
【産業上の利用可能性】
【００５７】
この発明は、例えば、四輪車のナンバー読み取り装置や、近来読み取り要求が強くなってきている原動機付き自転車のナンバー読み取り装置に適用可能である。
【図面の簡単な説明】
【００５８】
【図１】この発明の実施の形態１を示す概略構成図である。
【図２】この発明の実施の形態１における処理フロー図である。
【図３】認識対象文字列画像例の説明図である。
【図４】第１の文字切り出し手段による切り出し結果例の説明図である。
【図５】第２の文字切り出し手段による最初の切り出し結果例の説明図である。
【図６】第２の文字切り出し手段による２度目の切り出し結果例の説明図である。
【図７】この発明の実施の形態２における処理フロー図である。
【図８】この発明の実施の形態２における認識対象の文字列のバリエーションを示す図である。
【図９】この発明の実施の形態２におけるフォーマット情報格納手段における格納情報の一部を示す図である。
【図１０】この発明の実施の形態２における認識対象の文字列画像例の説明図である。
【図１１】この発明の実施の形態２における第１の文字切り出し手段による切り出し結果例の説明図である。
【図１２】この発明の実施の形態２における第２の文字切り出し手段の動作説明用の図である。
【図１３】この発明の実施の形態３における認識対象の文字列のバリエーションを示す図である。
【図１４】この発明の実施の形態３におけるフォーマット情報格納手段における格納情報の一部を示す図である。
【図１５】この発明の実施の形態４における認識対象の文字列のバリエーションを示す図である。
【図１６】この発明の実施の形態４におけるフォーマット情報格納手段における格納情報の一部を示す図である。
【図１７】この発明の実施の形態５における認識対象の文字列のバリエーションを示す図である。
【図１８】この発明の実施の形態５における認識対象文字列画像例の説明図である。
【図１９】この発明の実施の形態５における第１の文字切り出し手段による切り出し結果例の説明図である。
【図２０】この発明の実施の形態５における第２の文字切り出し手段の動作説明用の図である。
【符号の説明】
【００５９】
１；画像入力手段、２；フォーマット情報格納手段、３；第１の文字切り出し手段、４；第１の文字認識手段、５；属性判定手段、６；第２の文字切り出し手段、７；第２の文字認識手段、８；認識結果出力手段。
【図１】
2006338578.tif 000003
【図２】
2006338578.tif 000004
【図３】
2006338578.tif 000005
【図４】
2006338578.tif 000006
【図５】
2006338578.tif 000007
【図６】
2006338578.tif 000008
【図７】
2006338578.tif 000009
【図８】
2006338578.tif 000010
【図９】
2006338578.tif 000011
【図１０】
2006338578.tif 000012
【図１１】
2006338578.tif 000013
【図１２】
2006338578.tif 000014
【図１３】
2006338578.tif 000015
【図１４】
2006338578.tif 000016
【図１５】
2006338578.tif 000017
【図１６】
2006338578.tif 000018
【図１７】
2006338578.tif 000019
【図１８】
2006338578.tif 000020
【図１９】
2006338578.tif 000021
【図２０】
2006338578.tif 000022