(57)【要約】【課題】  車のナンバープレートを正確に自動的に認識可能な画像認識方法を提供する【解決手段】  カラー撮像装置１６により車両ナンバー１２を捉えて撮像信号をデジタル化し、得られた画像データの各画素について、ＲＧＢの色データの値を基にした３次元データとする。各画素についての上記３次元データに対して所定のクラスタ数のカラークラスタリング処理により、上記画像データについて各画素をクラスタ毎に分類し、得られた各クラスタの画像を文字認識の対象とする文字画像データとする。カラークラスタリングにより得られた文字画像データとテンプレート画像とを比較し、上記文字画像データの判別を行なう。次に、文字画像データとテンプレート画像との一致具合を、上記文字画像データの各画素毎に求めて累積し、算出される累積エラー値について、各テンプレートに対するエラー値が最小値となる上記文字画像データを、テンプレート画像の文字であるとする識別を行なう。【選択図】図２
2005250786.tif 000002
【特許請求の範囲】
【請求項１】
カラー撮像装置により車両ナンバーを捉えて撮像信号をデジタル化し、得られた画像データの各画素について、ＲＧＢの色データの値を基にした３次元データとし、各画素についての上記３次元データに対して所定のクラスタ数のカラークラスタリング処理により、上記画像データについて各画素をクラスタ毎に分類し、得られた各クラスタの画像を文字認識の対象とする文字画像データとして、上記カラークラスタリングにより得られた文字画像データとテンプレート画像とを比較し、上記文字画像データの判別を行なうことを特徴とする画像認識方法。
【請求項２】
上記文字画像データとテンプレート画像との一致具合を、上記文字画像データの各画素毎に求めて累積し、算出される累積エラー値について、各テンプレートに対するエラー値が最小値となる上記文字画像データを、上記テンプレート画像の文字であるとする識別を行なうことを特徴とする請求項１記載の画像認識方法。
【請求項３】
上記クラスタ数は、３〜５であることを特徴とする請求項１記載の画像認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両のナンバープレートを撮像して、所定のテンプレートデータと比較判別し、そのナンバープレートの文字を認識する画像認識方法に関する。
【背景技術】
【０００２】
従来、撮像素子により得た画像データから文字情報を認識する場合、画像を２値化してマッチング処理を行うことが一般的であった。この方法は先ず、テンプレート画像と一致するかどうかを確認することができるように、認識対象画像の２値化画像を作成する。次に、適切な一致を確認するテンプレートマッチングを行なう。しかしながら、この２段階処理においては、画像上の汚れやノイズなどのために認識の信頼性が低下する。例えば、車のナンバープレートの自動読み取り等のように、対象画像状態が一様でない場合においては、図８（ａ）のような画像例を２値化した場合、結果として図９のような画像を取得することになる。このように、画像全体に対する単なる２値化画像では画像認識ができない、または認識精度が低くなってしまうものであった。従って、このような画像認識精度でパターンマッチングを行っても、例えばナンバープレートの文字認識性能は極めて低いものとなっていた。
【０００３】
一方、画像認識において、特許文献１，２に示されるように、ＯＣＲ技術が近年進歩している。これらの画像認識方法は、カラーイメージデータを各色毎に分離した複数のイメージデータとして、各色毎に認識処理を行なうものである。これにより、カラー原稿において文字の色とその背景色とが異なる場合において、これらが共に黒（又は白）に変換され文字（文字情報）が失われることを防止することができる。
【特許文献１】特開２００１−２９７３０３号公報
【特許文献２】特開２００４−２１７６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、文字原稿のようなきれいなデータが得られない車のナンバープレートの文字認識の場合、影や汚れにより画像の識別自体が難しいものであった。さらに、平仮名ばかりでなく漢字や２桁３桁の数字など様々なタイプの文字や、小さな文字・数字が同一のプレート上にあり、プレートの汚れ等とそれらとの違いを確認することが困難であり、文字認識のロバスト性を高めることが難しいものであった。
【０００５】
この発明は、上記従来の技術の問題点に鑑みて成されたものであり、車のナンバープレートを正確に自動的に認識可能な画像認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明は、パターン認識、特に車両ナンバーの認識方法において、一般化ハフ変換とカラークラスタリングとの組み合わせを適用し、n個のクラスタに分割を行うカラークラスタリング処理を行い、各クラスタに属する画素に対して包含関係を調べて画素分類し、得られた画像を文字認識の対象となる画像データとし、一般化ハフ変換により文字認識の対象とする画像データとテンプレート画像との比較を行う。その際に、文字として判別された対象画像データとテンプレート画像との一致具合を、算出される累積エラー値、および各テンプレートに対する最小エラー値よって、文字の認識を行なう画像認識方法である。
【０００７】
即ちこの発明は、カラー撮像装置により車両ナンバーを捉えて撮像信号をデジタル化し、得られた画像データの各画素について、ＲＧＢの色データの値を基にした３次元データとし、各画素についての上記３次元データに対して所定のクラスタ数のカラークラスタリング処理により、上記画像データについて各画素をクラスタ毎に分類し、得られた各クラスタの画像を文字認識の対象とする文字画像データとして、上記カラークラスタリングにより得られた文字画像データとテンプレート画像とを比較し、上記文字画像データの判別を行なう画像認識方法である。
【０００８】
さらに、上記文字画像データとテンプレート画像との一致具合を、上記文字画像データの各画素毎に求めて累積し、算出される累積エラー値について、各テンプレートに対するエラー値が最小値となる上記文字画像データを、上記テンプレート画像の文字であるとする識別を行なう画像認識方法である。上記クラスタ数は、３〜５であることが、処理速度と識別精度との関係から好ましい。
【発明の効果】
【０００９】
この発明の画像認識方法によれば、車両のナンバープレートの文字認識を高精度に行うことができ、特に、汚れや影等を含んだナンバープレートであっても、正確に認識することができる。
【発明を実施するための最良の形態】
【００１０】
以下、この発明の実施形態について図面に基づいて説明する。図１〜図８は、この発明の一実施形態を示すもので、この実施形態の車の画像認識方法は、図１に示すように、車両１０のナンバープレート１２を認識するものである。この実施形態では、ナンバープレート１２を読み取る半導体等の撮像素子１４を備えた撮像装置１６を有し、撮像装置１６の出力がコンピュータ２０に入力している。コンピュータ２０は、画像信号が入力され所定の処理を行うキャプチャーボード２１と、所定のプログラムにより画像処理等を行うＣＰＵ２２と、情報を記憶する記憶装置２４等を備え、さらに、画像を表示するモニタ２６、所定の入力を行うキーボード２８、出力機器であるプリンタ３０等が接続されている。
【００１１】
この実施形態の画像認識方法において、ナンバープレート１２を認識する処理は、撮像画像のテンプレートマッチング処理を行う前に、従来の２値化処理の代わりに、画像上の画素をいくつかのクラスタに分割するクラスタリングを行う。このクラスタリングは、各画素が持つ光の３原色の値を用いてクラスタリングするもので、ＲＧＢカラーの情報を元に、撮像画像のうちの各セグメント化された画像に対して実施する。
【００１２】
ここで、図２のステップｓ２に示すカラークラスタリングの前に、図２のステップｓ１において、例えば図６に示すように、ナンバープレート１２上の文字に対応すると思われる場所をセグメント化する処理を行い、認識対象を決める判断を行う。この判断は、セグメント化した際の位置により、漢字、平仮名、数字（大小）の区分を行ない、比較するテンプレートの分類を予め絞り込む。
【００１３】
そこで、クラスタリングについて説明する。クラスタリングとは、多数のデータの集合の中から似ているデータ同士を同一のクラスタとしてまとめ、所定のクラスタ数に分類することを言う。例えば、Ｎ個のクラスタに対するアルゴリズムは、図３及び以下のようになる。
【００１４】
クラスタの数をＮとし、クラスタに割り振られる点を、x1, x2,・・・xｍとする。先ず、各クラスタに対して任意に中心を設定する。例えば、図４に示すように、c1, c2,・・・cN （乱数によるランダム指定）を設定する。そして、撮像素子１４の各画素またはコンピュータ２０の処理における画像の各ピクセルの各点（xi）が、どのクラスタの中心と最も近い位置にあるかを決定する。この操作は、各点をクラスタ化するもので、撮像素子１４の画像データの左上から右下まで全画素である各点、またはコンピュータ２０の処理における画像の全ピクセルである各点を対象とする。これにより、全てのクラスタにおいて、現時点での各クラス内の各点の位置関係から、平均的な新しいクラスタ中心を算出する。そして、各々のクラスタ内の画素データである点群の中心（平均値）が変化したら、上記の新しい中心の算出処理に戻り、これを繰り返す。この後、画素データの点群の中心（平均値）に変化がなくなった時点でクラスタリング処理を終了する。
【００１５】
次に、この実施形態のカラークラスタリングについて説明する。カラークラスタリングにおいては、上述のクラスタリングを、画像データをＲＧＢ毎の処理に拡張するもので、図５に示すように、画像の各点xiは３つの要素（Ｒ，Ｇ，Ｂ）を持った３次元のベクトルで表される。クラスタリングのアルゴリズムについては上記と同様である。また、中心点ベクトル値との距離はユークリッド距離（色距離d：実際には色の差異）により以下のように表される。
【００１６】
色距離ｄは、以下の式により求められる。例えば、ＲＧＢによる３次元ベクトルの２点を、ｘ１，ｘ２とすると、
ｘ1=(x1r, x1g, x1b)、ｘ2=(x2r, x2g, x2b)
この２点間の距離ｄは、ｄ(x1, x2)=‖(x1r, x1g, x1b)−(x2r, x2g, x2b)‖
=‖(x1r−x2r, x1g−x2g, x1b−x2b)‖
= ((x1r−x2r)2+( x1g−x2g)2+( x1b−x2b)2)1/2
と表される。
【００１７】
カラークラスタリング処理は、以下のように行う。ここで、ナンバープレート１２は、図８（ａ）に示す内容のものとすると、その撮像画像が図８（ａ）に示すように影や汚れがある場合、この図８（ａ）の撮像データを４クラスタのカラークラスタリングを行い、さらに２値化することにより、図８（ｂ）に示すようなデータが得られる。
【００１８】
ここで、画像をＩ（ｘ，ｙ）とおいて、クラスタ数ｎの画素群に分割し、名前をＣ１，Ｃ２，・・・Ｃｎとする。
各セットにおいて、
【００１９】
【数１】
2005250786.tif 000003
が成り立つなら、それらの画素は同一クラスタにあることを意味する。
【００２０】
これにより、各クラスタ内の点群から成る全画素の中心値（Ｒ，Ｇ，Ｂの平均色）を算出する。この実施形態では、クラスタ数を４とし、調査対象の画素と４つの仮中心点との距離ｄの中で最も小さい値となる仮中心点を、対象点が属するクラスタの中心（同一色の画素）とする。そして、各クラスタの全画素中心値（平均色）が変動しなくなるまでこの処理を繰り返す。この実施形態において、カラークラスタリングのクラスタ数を「４」としているのは、実験的、経験的に得られた最適の数値である。出現する各クラスタ画像が持つ色レベルは、処理を行なう画像の状態により動的に変動する。
【００２１】
次に、上記カラークラスタリング処理により得られた各セグメント画像を元に、図２のステップｓ３において、画像認識するための比較テンプレートを準備し、以下のようなパターンマッチング処理を行なう。例えば図７に示すように、「富山」の文字のセグメントについて、１セグメント化画像の全体について、各画素の各クラスタに対する包含状態を調べる。クラスタは上記のカラークラスタリング処理により４つに分類されるため、包含関係の調査結果から４つの２値化画像を取得することになる。ここでは、簡便のため、一旦、白黒画像に置き換えて表示している。実際には、カラーのクラスタリング画像から２値化画像を取得する。クラスタに属する画素は「黒：値=1」、属さない場合は「白：値=0」として表す。
【００２２】
そして、図２のルーチンｒ１において、分類毎の各テンプレート画像に対して、対象画像の位置調整を行い、クラスタ化した対象画像との一致状況を調べる。各取得した画像とテンプレート画像との共通領域、および相違する領域（エラー）をそれぞれ求め、分類中の全てのテンプレートについて順に切り替えて一致状況を調べる。そして、共通領域、および相違する領域それぞれの総和を算出する。共通領域の総和が相違する領域の総和よりも面積的に大きい場合、その対象画像は「文字」をあらわす部分として処理される。相違する領域が大きい場合には「背景」部分として処理する。ここで、「文字」および「背景」の判別処理が必要な理由は、得られた４つの２値化クラスタ画像のどれが「文字」らしきものを表しているかを判断するためである。この処理を、図２のルーチンｒ２に示すように、全てのクラスタについて順に行う。
【００２３】
「文字」として処理された対象画像に関して、上記処理中に最もエラー（相違点）の少なかったものが対象の文字（認識結果）として、テンプレートの中から選出される。
【００２４】
このパターンマッチング処理は、以下の様に実施する。
全てのクラスに関して、ｉ＝１・・ｎとし、
【００２５】
【数２】
2005250786.tif 000004
とする。テンプレート画像Ｊに対しＩｉの最良なマッチングを探索する。Ｔは、ＩｉをＪにする変換とする。
【００２６】
【数３】
2005250786.tif 000005
は最小値であることを意味する。
次に、全てのクラスタに対し、ｊ＝１・・・ｎ，ｊ≠ｉ
【００２７】
【数４】
2005250786.tif 000006
である場合、このクラスは前景に属する。
【００２８】
【数５】
2005250786.tif 000007
もし、Err(i)<Errであれば、それまでのマッチングよりも一致度が高い
Errは、パターンＪに対する上記クラスタリングにより到達する最小マッチングエラーを示す。
【００２９】
上記サンプルの場合には４つのクラスタを用いている。Ｉ1，Ｉ2，Ｉ3，Ｉ4は図７のように、左から順に示される。簡便のため、白黒調で表示している。各画像は、クラスタの中のどれか１つが”ON”の時に示す状態に対応している。
【００３０】
通常のパターンマッチング・アルゴリズム（一般化ハフ変換）は、図２のフローチャートに示すように、各テンプレート画像Ｊを最も一致する場所に位置付けるために使用される。ここで変換をＴとして表す。Ｔは
【００３１】
【数６】
2005250786.tif 000008
で示される変換である。つまり、最良のマッチングを探索することは
【００３２】
【数７】
2005250786.tif 000009
がＪ（x,y）と最良のマッチングとなる（tx,ty）を探索することを意味する。
【００３３】
図２のルーチンｒ１内で、一つのクラスタ画像Ｉｉに対して最良のマッチングが探索された後、さらにルーチンｒ２により、他の全てのクラスタについてどれが前景（文字部分）に属し、どれが背景に属するのかをチェックする。この例の場合、クラスタ４が漢字部分「富山」を示す前景に属し、クラスタ１および２は数字部分が前景に属していることが分かる。
【００３４】
そして、文字画像のクラスタリングで与えられ且つ文字として判断された画像が、予め所有している文字に関するどのテンプレートと最も良く合致するかを決定する。図２のステップｓ４において、アルゴリズム上では、全てのテンプレートの中で最良にマッチするテンプレートを与える最小エラーを持ったテンプレートが、対象とする文字であるとする。この段階で、アルゴリズムが文字を認識することを示すことになり、ステップｓ５において、そのテンプレートの文字を選出し、画像認識が完了する。
【００３５】
ここで、上記のアルゴリズムにおいてクラスタ数のパラメータｎは、決定的な重要性を有する。もし、ｎが大きい場合、各クラスタは小さくなり、全ての文字に対して良い結果（エラー値が小さい）を得ることになる。それゆえ、どれが最良であるかを識別することができない。しかし、ｎが大きいことで発生する問題は、アルゴリズムの処理速度が低下することである。その結果として、全てのクラスタが文字の特徴を良く表している部分を含むことが重要になる。経験上、ｎは３〜５の値が最も良い結果を与える。この数値の場合、各クラスは前景／背景に関する有用な情報を含み、アルゴリズムの処理も速くなる。
【００３６】
この実施形態の画像認識方法によれば、画像認識アルゴリズム全体の認識精度が向上した。これ以前のアルゴリズムでは９０％程度の認識率であったものが、このアルゴリズムによりシステム能力として信頼性を有するレベルと言える９８％の認識率を示した。このアルゴリズムを基に、車のナンバープレートの文字認識に使用した場合も、効果的に前景と背景を識別することが可能になり、ナンバープレートの認識に対して著しい認識結果の向上が認められた。
【図面の簡単な説明】
【００３７】
【図１】この発明の一実施形態の画像認識方法のシステムを示す概略図である。
【図２】この実施形態の画像認識方法の処理を示すフローチャートである。
【図３】この実施形態の画像認識方法のカラークラスタリング処理を示すフローチャートである。
【図４】この実施形態の画像認識方法のクラスタリングを示す概念図である。
【図５】この実施形態の画像認識方法のカラークラスタリングを示す概念図である。
【図６】この実施形態の画像認識方法の認識対象の文字を示す図である。
【図７】この実施形態の画像認識方法の認識対象の文字をカラークラスタリングした状態を示す概念図である。
【図８】この実施形態の画像認識方法の認識対象のナンバープレートの撮像状態を示す（ａ）と、カラークラスタリングした状態のナンバープレートを示す図（ｂ）である。
【図９】従来の画像認識方法において２値化したナンバープレートを示す図である。
【符号の説明】
【００３８】
１０  車
１２  ナンバープレート
１４  撮像素子
１６  撮像装置
２０  コンピュータ
２２  ＣＰＵ
２４  記憶装置
２６  モニタ
２８  キーボード
３０  プリンタ
【図１】
2005250786.tif 000010
【図２】
2005250786.tif 000011
【図３】
2005250786.tif 000012
【図４】
2005250786.tif 000013
【図５】
2005250786.tif 000014
【図９】
2005250786.tif 000015
【図６】
2005250786.tif 000016
【図７】
2005250786.tif 000017
【図８】
2005250786.tif 000018