(57)【要約】【課題】高い認識精度で高速に処理を行うことのできる文字認識装置、ナンバープレート認識システムを提供することを目的とする。【解決手段】文字画像を超解像度処理し、特定された高解像度辞書画像を用いて文字認識することで、低解像度の文字画像で失われている細部の情報までを復元して、高い精度で文字認識を行う。文字認識の際には、特定された高解像度辞書画像を用い、これを２値化処理して輪郭線の方向ヒストグラム特徴を求めたり、輝度勾配特徴を用いる。また、文字画像に対応する低解像度辞書画像を特定する際に用いる特徴パターンは、複数のグループにクラスタリングしてデータベースに格納し、各グループの代表パターンを用いて文字画像に対応する低解像度辞書画像を特定するのも有効である。【選択図】図３
2008251029.tif 000002
【特許請求の範囲】
【請求項１】
複数の文字のそれぞれを所定の解像度で撮像したときの辞書画像と、前記複数の文字のそれぞれの特徴的な部分の形状を複数のグループに分けて格納したデータベースと、
前記辞書画像と同等の解像度で撮像されて外部から入力された文字画像を解析し、前記文字画像の特徴的な部分の形状を算出し、算出された前記文字画像の特徴的な部分の形状と前記データベースに格納された前記特徴的な部分の形状とに基づき、前記文字画像にマッチする辞書画像を特定するマッチング処理部と、
前記マッチング処理部で特定された前記辞書画像に対し文字認識処理を施すことで、前記文字画像の文字を認識する認識処理部と、
認識された前記文字を認識結果として出力する結果出力部と、を備えることを特徴とする文字認識装置。
【請求項２】
前記データベースは、複数の前記文字のそれぞれを前記辞書画像の解像度より高解像度で撮像したときの高解像度辞書画像を、前記辞書画像に関連付けて格納し、
前記認識処理部は、前記マッチング処理部で特定された前記辞書画像に関連付けられた前記高解像度辞書画像を前記データベースから呼び出し、当該高解像度辞書画像に対し文字認識処理を施すことで、前記文字画像の文字を認識することを特徴とする請求項１に記載の文字認識装置。
【請求項３】
前記認識処理部は、前記辞書画像から文字が記載されている領域の文字画像を切り出し、切り出された前記画像において背景色以外の部分の面積の、前記文字画像の面積に対する占積率である充填率、または前記辞書画像に微分処理を施すことで得られる背景色と文字の部分による周波数に基づき、前記辞書画像を対象として文字認識を行うか、前記高解像度辞書画像を対象として文字認識を行うかを選択することを特徴とする請求項２に記載の文字認識装置。
【請求項４】
前記認識処理部は、前記辞書画像または前記高解像度辞書画像を２値化処理し、２値化処理した画像において、輪郭線の方向ヒストグラム特徴を求め、統計的パターン認識により前記文字画像の文字を認識することを特徴とする請求項１から３のいずれかに記載の文字認識装置。
【請求項５】
前記認識処理部は、前記辞書画像または前記高解像度辞書画像の輝度勾配方向のヒストグラム特徴に基づき、前記文字画像の文字を認識することを特徴とする請求項１から３のいずれかに記載の文字認識装置。
【請求項６】
前記認識処理部は、文字認識の結果、候補となる文字のそれぞれに対するマハラノビス距離を求め、前記マハラノビス距離から文字認識の信頼度を判定し、その判定結果に基づき、前記辞書画像または前記高解像度辞書画像を２値化処理して文字認識を行うか、前記辞書画像または前記高解像度辞書画像の輝度勾配方向のヒストグラム特徴に基づいて文字認識を行うかを選択することを特徴とする請求項１から３のいずれかに記載の文字認識装置。
【請求項７】
通過する車両のナンバープレートを撮影するカメラと、
前記カメラで撮影した前記ナンバープレートの画像に基づき、前記ナンバープレートに記載された文字を認識する認識部と、
前記認識部で文字を認識するため、複数の文字の特徴パターンを複数にクラスタリングすることで生成されたグループの代表パターンが格納されたデータベースと、を備え、
前記認識部は、前記カメラで撮影した前記ナンバープレートの画像と、前記データベースに格納された前記代表パターンとに基づき、前記ナンバープレートに記載された文字を認識することを特徴とするナンバープレート認識システム。
【請求項８】
前記データベースは、前記各グループの代表パターンと、当該代表パターンが属するグループの特徴パターンとが関連付けて格納され、
前記認識部は、前記カメラで撮影した前記ナンバープレートの画像に対応する前記代表パターンを特定し、特定された前記代表パターンが属する前記グループの特徴パターンに基づき、前記ナンバープレートに記載された文字を認識することを特徴とする請求項７に記載のナンバープレート認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両のナンバープレートの記載内容を自動認識するのに用いて好適な文字認識装置、ナンバープレート認識システムに関する。
【背景技術】
【０００２】
近年、高速道路の料金所等をはじめとして、車両のナンバープレートを自動認識する装置が多く用いられている。その用途としては、例えば、ナンバープレートの記載内容を認識することで、車両の種別等を判別するためである。
ナンバープレートの記載内容を認識するには画像処理技術を用いた文字認識手法が用いられている。
【０００３】
このような文字認識手法は、一般には、対象の文字画像を入力した後、文字と背景を分離するために文字線を強調し（２値化を行う）、文字であると判断できる領域を抽出する（文字切り出し処理）。文字切り出しされた領域において、文字の形状特徴（例えば輪郭線の方向特徴など）を抽出し、パターン認識により文字を認識する。
ところが、解像度の低いカメラで撮影された文字画像（低解像度画像）では、文字線部のかすれ（線の飛び）や文字穴部の潰れが発生しやすくなるため、正しく文字を認識出来ないという問題がある。このため通常は、十分な解像度を有するカメラにて文字画像を撮影することになるが、そのようなカメラは高価である。また解像度の高い画像を得るには、拡大して撮影を行うため、ひとつのカメラで撮影できる領域が小さく、道路上の全ての車両を撮影するには、カメラは複数台必要になる。その結果、システム全体のコストが高くなってしまうのである。
【０００４】
上記の問題を全て解決するための手段として、低解像度で撮影した文字画像を高解像度化して、文字認識をする方法がある。画像を高解像度化して文字認識する従来の手法としては、線形補間やサブピクセル処理が用いられているが、これらはいずれも元の低解像度画像をベースとした高解像度化処理である。したがって、元々失われている細部の情報は復元することは出来ないため、文字を完全に復元できるとは限らず、文字認識精度の向上にはつながりにくい。
【０００５】
このような情報復元の問題を解決するための方法として、事例に基づくSuper Resolution法（以下、超解像処理法と称する）がある（例えば、非特許文献１参照。）。この手法では事前に集めた高解像度画像と、それに対応する低解像度画像とを対にして記憶しておき、認識すべき低解像度の入力画像と、予め記憶した低解像度画像とを比較して最も似通っているものを選び出す。そして、選び出された低解像度画像に対応する高解像度画像を特定し、この高解像度画像を用い、文字認識のための画像処理を行う。このようにして認識すべき低解像度画像を高解像度化することで、低解像度画像で失われている細部の情報まで復元することができ、文字認識精度の向上につながる。
【０００６】
【非特許文献１】S. Baker & T. Kanade, "Limits on Super-Resolution and How to Break Them" IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24, No. 9, September, 2002, pp. 1167 - 1183
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の手法では、入力画像と予め記憶された低解像度画像との総当りマッチング処理を行うため、記憶すべきデータ量や処理時の演算量が膨大なものとなり、高速処理することが難しい。自動車のナンバープレートを読み取る場合、おおよそ１秒以内で処理を完了する必要があり、認識精度の高さはもちろんのこと、処理速度の高さも非常に重要である。
【０００８】
また、特許文献１の手法では、正規化相関計算により、入力画像と予め記憶された低解像度画像のマッチング処理を行っているが、この正規化相関計算は、対象となる文字の変形や歪みに弱いという問題がある。自動車のナンバープレートを読み取る場合、例えば料金所に進入してくる車両は必ずしも一定の角度ではなく、斜めに進入してくることもある。またナンバープレートの取り付け角度が路面に対して略直角ではなく、上向きあるいは下向きに傾斜していることもある。さらには、折り曲げられていたり、事故等によって変形している場合もある。すると、入力画像における文字は変形や歪みを生じることが多く、このような場合、正規化相関計算では、高い認識精度を得るのは困難である。
【０００９】
本発明は、このような技術的課題に基づいてなされたもので、高い認識精度で高速に処理を行うことのできる文字認識装置、ナンバープレート認識システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
かかる目的のもと、本発明の文字認識装置は、複数の文字のそれぞれを所定の解像度で撮像したときの辞書画像と、複数の文字のそれぞれの特徴的な部分の形状を複数のグループに分けて格納したデータベースと、辞書画像と同等の解像度で撮像されて外部から入力された文字画像を解析し、文字画像の特徴的な部分の形状を算出し、算出された文字画像の特徴的な部分の形状とデータベースに格納された特徴的な部分の形状とに基づき、文字画像にマッチする辞書画像を特定するマッチング処理部と、マッチング処理部で特定された辞書画像に対し文字認識処理を施すことで、文字画像の文字を認識する認識処理部と、認識された文字を認識結果として出力する結果出力部と、を備えることを特徴とする。
このようにして、入力された文字画像と辞書画像とのマッチングには、文字の特徴的な部分の形状を用いるわけであるが、データベースに、この文字の特徴的な部分の形状をグループに分けて格納することで、データ記憶量を小さくすることができる。また、特徴的な部分の形状が近いグループをまず特定すれば、そのグループに属する特徴的な部分の形状とのマッチングを行なえば良いので、従来のように総当りでのマッチングを行うことなく、マッチングの効率を向上させることが可能となる。
【００１１】
ここで、データベースに、複数の文字のそれぞれを辞書画像の解像度より高解像度で撮像したときの高解像度辞書画像を、辞書画像に関連付けて格納し、認識処理部において、マッチング処理部で特定された辞書画像に関連付けられた高解像度辞書画像をデータベースから呼び出し、高解像度辞書画像に対し文字認識処理を施すことで、文字画像の文字を認識することもできる。つまり、いわゆる超解像度処理を組み合わせて実行することができる。
【００１２】
また、認識処理部は、辞書画像から文字が記載されている領域の文字画像を切り出し、切り出された画像において背景色以外の部分の面積の、文字画像の面積に対する占積率である充填率、または辞書画像に微分処理を施すことで得られる背景色と文字の部分による周波数に基づき、辞書画像を対象として文字認識を行うか、高解像度辞書画像を対象として文字認識を行うかを選択することもできる。
さらに、認識処理部は、辞書画像または高解像度辞書画像を２値化処理し、２値化処理した画像において、輪郭線の方向ヒストグラム特徴を求め、統計的パターン認識により文字画像の文字を認識したり、辞書画像または高解像度辞書画像の輝度勾配方向のヒストグラム特徴に基づき、文字画像の文字を認識することもできる。加えて、２値化処理と輝度勾配方向のヒストグラム特徴を場合によって切り替えることもできる。すなわち、認識処理部は、文字認識の結果、候補となる文字のそれぞれに対するマハラノビス距離を求め、マハラノビス距離から文字認識の信頼度を判定し、その判定結果に基づき、辞書画像または高解像度辞書画像を２値化処理して文字認識を行うか、辞書画像または高解像度辞書画像の輝度勾配方向のヒストグラム特徴に基づいて文字認識を行うかを選択するのである。
このように、高解像度辞書画像を対象として文字認識を行う超解像度処理や、文字認識の際の手法として用いる２値化処理、輝度勾配方向のヒストグラム特徴を、必要に応じて用いることにより、負荷の高い（演算量が多い）処理を全体として削減し、必要な時のみ文字認識精度を向上させることができる。
【００１３】
上記したような文字認識装置は、文字画像の入力手段を問うものではなく、カメラで撮影した文字画像に限らず、文字認識装置に対して外部から入力できる文字画像であれば、その入力手段（取得手段）はいかなるものであってもよい。また、その文字画像も、いかなるものに記載されたものであってもよい。つまり、文字認識装置としては、文字認識対象をナンバープレートに限定する意図はないのである。
【００１４】
その一方、本発明は、通過する車両のナンバープレートを撮影するカメラと、カメラで撮影したナンバープレートの画像に基づき、ナンバープレートに記載された文字を認識する認識部と、認識部で文字を認識するため、複数の文字の特徴パターンを複数にクラスタリングすることで生成されたグループの代表パターンを格納したデータベースと、を備えたナンバープレート認識システムとして捉えることもできる。この場合、このナンバープレート認識システムは、認識部において、カメラで撮影したナンバープレートの画像と、データベースに格納された代表パターンとに基づき、ナンバープレートに記載された文字を認識することを特徴とする。このようにして、データベースに、この文字の特徴パターンをグループに分けて格納することで、データ記憶量を小さくしたり、マッチングの効率を向上させることが可能となる。
【００１５】
ここで、ナンバープレートに記載された文字を認識するには、代表パターンをそのまま用いることもできる。
これに対し、データベースに、各グループの代表パターンと、代表パターンが属するグループの特徴パターンとを関連付けて格納し、認識部では、カメラで撮影したナンバープレートの画像に対応する代表パターンを特定し、特定された代表パターンが属するグループの特徴パターンに基づき、ナンバープレートに記載された文字を認識することもできる。つまり、代表パターンを特定した後、特定された代表パターンが属するグループを対象とし、カメラで撮影したナンバープレートの画像に最もマッチする特徴パターンを、代表パターンが属するグループから抽出し、これを用いて文字認識を行うのである。
【発明の効果】
【００１６】
本発明によれば、車両のナンバープレートの記載内容の自動認識処理を、高い認識精度で高速に行うことが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、添付図面に示す実施の形態に基づいてこの発明を詳細に説明する。
図１は、本実施の形態におけるナンバープレート認識システム１０の構成を説明するための図である。
ナンバープレート認識システム１０は、道路Ｒ上の車両のナンバープレート１００を撮影すべく、道路Ｒの上方において、斜め下方に向けて設置されたカメラ２０と、このカメラ２０で撮影した画像を基に、ナンバープレート１００に記載された文字の認識を行う文字認識装置３０と、を備えている。
【００１８】
文字認識装置３０は、カメラ２０で撮影した画像の入力を受ける画像入力部３１と、画像入力部３１に入力された画像に基づき、文字認識処理を実行する認識処理部（マッチング処理部、特定処理部、文字認識部、認識部）３２と、認識処理部３２で認識処理を実行するにあたり必要なデータが格納されたデータベース３３と、認識処理部３２での認識処理結果を外部に出力する認識結果出力部（結果出力部）３４と、を備えている。
【００１９】
図２に示すように、データベース３３には、ナンバープレート１００に使用される文字（数字、「−」、「・」等を含む）について、その文字をカメラ２０と同等の解像度で撮影したときの画像（辞書画像：以下、低解像度辞書画像）Ｌと、同じ文字をカメラ２０よりも高解像度で撮影したときの画像（以下、高解像度辞書画像）Ｈのデータが、互いに関連付けられて格納されている。そして、低解像度辞書画像Ｌについては、これを予め解析することで得られる、例えば、その低解像度辞書画像Ｌの各ピクセルの輝度値、輝度値の微分値（水平方向、垂直方向、斜め右下がり方向、斜め右上がり方向）等、文字画像の特徴量を示す指標（以下、特徴量）が、さらに関連付けてデータベース３３に格納されている。
【００２０】
以下、認識処理部３２における文字認識処理方法について説明する。
図３は、本実施の形態における文字認識処理の流れの一例を示すものである。なお、文字認識処理は、コンピュータ装置である文字認識装置３０に予めインストールされたプログラムに基づき、ＣＰＵ、メモリ等が協働することで機能的に発現する認識処理部３２が、自動的に実行するものである。
この図３に示すように、画像入力部３１に画像が入力されると、認識処理部３２は、例えばナンバープレート１００に対応した領域のみの画像を切り出す等、所定の前処理を実行する（ステップＳ１０１）。
そして、ナンバープレート１００において、文字が記載されている領域の画像（以下、文字画像）Ｉを切り出す、文字切り出し処理を実行する（ステップＳ１０２）。このとき、切り出す文字画像Ｉの領域は、１文字毎に切り出すものとする。
【００２１】
そして、超解像度処理を用いた文字認識処理を実行する（ステップＳ１０３）。この文字認識処理では、正規化相関計算ではなく、２値化画像での文字形状特徴抽出によるパターンマッチング処理を用いる。
詳しくは、得られた文字画像Ｉについて認識処理部３２にて解析し、文字画像Ｉの特徴量を示す指標を算出する。そして、図４に示すように、算出された文字画像Ｉの特徴量と、データベース３３に格納された低解像度辞書画像Ｌの特徴量とを比較してマッチングを図り、マッチング度の最も高い低解像度辞書画像Ｌを特定する（ステップＳ１１１）。つまり、いわゆる超解像度処理を行うのである。
続いて、特定された低解像度辞書画像Ｌに関連付けられている高解像度辞書画像Ｈをデータベース３３から呼び出し、認識処理部３２にて、２値化処理する（ステップＳ１１２）。さらに、２値化処理した画像において、輪郭線の方向ヒストグラム特徴を求め、統計的パターン認識により文字を認識する（ステップＳ１１３）。
そして、文字の認識結果を確定し、これを文字認識装置３０のメモリに記憶する（ステップＳ１１４）。
【００２２】
上記の、ステップＳ１１１〜Ｓ１１４の処理を、ステップＳ１０２で切り出した文字画像Ｉの数の分（文字数分）だけループし、個々の文字画像Ｉの文字を認識していく。
そして、全ての文字画像Ｉの認識が完了した時点で、文字認識装置３０のメモリに記憶された個々の文字の認識結果から、ナンバープレート１００に記載されている全ての文字の認識結果を得るのである。
得られた文字の認識結果は、必要に応じ、認識結果出力部３４から外部の他の処理装置、記憶装置等に出力される。
【００２３】
このようにして、文字画像Ｉを超解像度処理し、特定された高解像度辞書画像Ｈを用いて文字認識することで、低解像度の文字画像Ｉで失われている細部の情報までを復元して、高い精度で文字認識を行うことができる。しかも、文字認識の際には、特定された高解像度辞書画像Ｈを用い、これを２値化処理し、輪郭線の方向ヒストグラム特徴を求めることで、変形や歪みに弱い正規化相互相関手法を用いる場合に比較し、文字の認識精度を向上させることができる。
その結果、カメラ２０を従来より低解像度のものとすることも可能となり、カメラ２０自体のコスとを抑えるだけでなく、カメラ２０の台数自体も削減できるので、ナンバープレート認識システム１０のコストを大幅に低減することが可能となる。
【００２４】
さて、上記ステップＳ１０３の文字認識処理においては、２値化処理を用いたが、これに代えて輝度勾配特徴を用いることもできる。
すなわち、図５に示すように、入力画像の前処理（ステップＳ１０１）、文字切り出し処理（ステップＳ１０２）を経た後の文字認識処理（ステップＳ１０３）において、図３のステップＳ１１１と同様にして文字画像Ｉに対する超解像度処理を行い、高解像度辞書画像Ｈを得る（ステップＳ１２１）。
この後、上記のように２値化処理を行うのではなく、得られた高解像度辞書画像Ｈの濃淡に基づく輝度勾配方向のヒストグラム特徴を得て、統計的パターン認識により文字を認識する（ステップＳ１２２）。
【００２５】
そして、文字の認識結果を確定し、これを文字認識装置３０のメモリに記憶する（ステップＳ１２３）。
上記の、ステップＳ１２１〜Ｓ１２３の処理を、ステップＳ１０２で切り出した文字画像Ｉの数の分（文字数分）だけループし、個々の文字画像Ｉの文字を認識していき、全ての文字画像Ｉの認識が完了した時点で、文字認識装置３０のメモリに記憶された個々の文字の認識結果から、ナンバープレート１００に記載されている全ての文字の認識結果を得て、これを、必要に応じ、認識結果出力部３４から外部の他の処理装置、記憶装置等に出力するのである。
【００２６】
このように、２値化処理ではなく、輝度勾配を用いることでも、図３の手法と同様の効果を得ることができる。輝度勾配を用いた場合、２値化処理よりも高い精度での文字認識が期待できる。
【００２７】
また、これら、２値化処理による文字認識と、輝度勾配を用いる文字認識とを組み合わせることもできる。
すなわち、図６に示すように、入力画像の前処理（ステップＳ１０１）、文字切り出し処理（ステップＳ１０２）を経た後の文字認識処理（ステップＳ１０３）において、図３のステップＳ１１１と同様にして文字画像Ｉに対する超解像度処理を行い、高解像度辞書画像Ｈを得る（ステップＳ１３１）。
続いて、得られた高解像度辞書画像Ｈをデータベース３３から呼び出し、認識処理部３２にて、２値化処理する（ステップＳ１３２）。さらに、２値化処理した画像において、輪郭線の方向ヒストグラム特徴を求め、統計的パターン認識により文字を認識する（ステップＳ１３３）。
【００２８】
そして、２値化処理による文字認識の結果、文字の類似度の信頼性が、予め設定したしきい値よりも高いか否かを判定する（ステップＳ１３４）。ここで、文字の類似度の信頼性が高いか否かを判定するには、マハラノビス距離を用いる。すなわち、２値化処理による文字認識の結果、文字の類似度の指標として、マハラノビス距離を求め、このマハラノビス距離が、予め設定したしきい値Ｓ１よりも高いか否かを判定するのである。
このとき、文字認識の結果、しきい値Ｓ１をクリアする文字の候補が複数ある場合、それぞれの文字に対するマハラノビス距離を比較する。この比較は、単にマハラノビス距離の小さい方を、最終的な文字認識結果（の文字）とするのではなく、マハラノビス距離の比に基づき、その比が予め設定したしきい値Ｓ２より大きいか否かで判定するのが好ましい。
【００２９】
具体例を挙げれば、しきい値Ｓ１が０．４０であり、第一候補の文字に対するマハラノビス距離が０．２５であり、第二候補の文字に対するマハラノビス距離が０．４２である場合、第一候補の文字の信頼性が高いと判定するのである。第一候補の文字からして、マハラノビス距離がしきい値Ｓ１を上回っている場合、信頼性が低いと判定する。
また、第一候補の文字に対するマハラノビス距離が０．１０であり、第二候補の文字に対するマハラノビス距離が０．３０である場合、双方の文字がしきい値Ｓ１をクリアしているので、この場合、これらの比（０．３０／０．１０＝３．０）がしきい値Ｓ２より大きいか否かで信頼性を判定するのである。
【００３０】
その結果、認識された文字の類似度の信頼性が高いと判定された場合、その文字を認識結果として確定し、これを文字認識装置３０のメモリに記憶する（ステップＳ１３５）。
【００３１】
一方、ステップＳ１３４にて、文字の類似度の信頼性が低いと判定された場合、引き続き、図５の場合と同様、得られた高解像度辞書画像Ｈの濃淡に基づく輝度勾配方向のヒストグラム特徴を得て、統計的パターン認識により文字を認識する（ステップＳ１３６）。
そして、文字認識の結果、文字の類似度の信頼性が、予め設定したしきい値よりも高いか否かを、ステップＳ１３４と同様にして判定する（ステップＳ１３７）。
その結果、認識された文字の類似度の信頼性が高いと判定された場合、その文字を認識結果として確定し、これを文字認識装置３０のメモリに記憶する（ステップＳ１３８）。これに対し、信頼性が低いと判定された場合は、認識した文字が不明、つまり文字認識をできなかったことを示す、不明判定を出す（ステップＳ１３９）。
【００３２】
上記のようにして、文字の認識結果が確定された場合、これを文字認識装置３０のメモリに記憶した後、上記の、ステップＳ１３１〜Ｓ１３９の処理を、ステップＳ１０２で切り出した文字画像Ｉの数の分（文字数分）だけループし、個々の文字画像Ｉの文字を認識していき、全ての文字画像Ｉの認識が完了した時点で、文字認識装置３０のメモリに記憶された個々の文字の認識結果から、ナンバープレート１００に記載されている全ての文字の認識結果を得て、これを、必要に応じ、認識結果出力部３４から外部の他の処理装置、記憶装置等に出力するのである。
【００３３】
このようにして、２値化による文字認識では信頼性の高い結果が得られないときには、より文字認識精度の高い輝度勾配特徴による文字認識処理を行うことで、より高い精度の認識結果を得ることができる。しかも、計算負荷が高い輝度勾配特徴による文字認識処理を、必要なとき、つまり２値化による文字認識では信頼性の高い結果が得られないときのみ行うことにより、処理を高速に実行することができる。
【００３４】
ところで、上記したような文字認識処理Ｓ１０３において、超解像度処理を必ずしも行わない構成とすることも可能である。
すなわち、図７に示すように、入力画像の前処理（ステップＳ１０１）、文字切り出し処理（ステップＳ１０２）を経た後の文字認識処理（ステップＳ１０３）において、まず、文字の大きさ・充填率を評価する（ステップＳ１４１）。
これには、認識処理部３２において、切り出された文字画像Ｉにおいて、文字（と判断できる部分）の大きさを得るとともに、ナンバープレート１００の背景色（日本国における場合、白、緑、黄、黒、青のいずれか）以外の部分の面積の、文字画像Ｉの面積に対する占積率（これを充填率とする）を計算（評価）する。
そして、文字の大きさが一定値以下であり、かつ、充填率が一定値以上であるか否かを判定する（ステップＳ１４２）。
【００３５】
その結果、文字の大きさが一定値以下であり、かつ、充填率が一定値以上であると判定された場合、図３のステップＳ１１１と同様にして文字画像Ｉに対する超解像度処理を行い、高解像度辞書画像Ｈを得る（ステップＳ１４３）。
続いて、得られた高解像度辞書画像Ｈをデータベース３３から呼び出し、認識処理部３２にて、２値化処理する（ステップＳ１４４）。さらに、２値化処理した画像において、輪郭線の方向ヒストグラム特徴を求め、統計的パターン認識により文字を認識する（ステップＳ１４５）。
【００３６】
これに対し、ステップＳ１４２にて、文字の大きさが一定値以下であり、かつ、充填率が一定値以上であるという条件を満たさないと判定された場合、つまり文字の大きさが一定値以上であるか、充填率が一定値未満であるか、文字の大きさが一定値以上で、かつ充填率が一定値未満である場合は、ステップＳ１４３の超解像度処理をスキップし、ステップＳ１４４、Ｓ１４５に移行し、２値化処理を行った後、ステップＳ１４５にて、２値化処理した画像における輪郭線の方向ヒストグラム特徴を求め、統計的パターン認識により文字を認識するのである。このとき、ステップＳ１４４において２値化処理する対象画像は、超解像度処理を行っていないため、文字画像Ｉそのもの、あるいは文字画像Ｉとマッチング度の高い低解像度辞書画像Ｌとすることができる。処理速度の面から言えば、文字画像Ｉそのものを対象として２値化処理するのが好ましいが、文字認識精度の面から言えば、文字画像Ｉとマッチング度の高い低解像度辞書画像Ｌを対象とするのが好ましい。
【００３７】
そして、文字の認識結果を確定し、これを文字認識装置３０のメモリに記憶する（ステップＳ１４６）。
上記の、ステップＳ１４１〜Ｓ１４６の処理を、ステップＳ１０２で切り出した文字画像Ｉの数の分（文字数分）だけループすることで、ナンバープレート１００に記載されている全ての文字の認識結果を得て、これを、必要に応じ、認識結果出力部３４から外部の他の処理装置、記憶装置等に出力するのである。
【００３８】
このとき、ステップＳ１４４、１４５の文字２値化ステップ、文字認識ステップは、図５に示したような輝度勾配を用いた文字認識処理、あるいは図６に示した、必要に応じて２値化と輝度勾配を切り替える文字認識処理とすることも可能である。
【００３９】
このようにして、図７の例では、文字の大きさが一定値以下であり、かつ、充填率が一定値以上である場合のみ、超解像度処理を行うようにしたのである。これにより、文字が大きい場合や、充填率が低い場合には、超解像度処理を行わないことになる。充填率は、得られた文字の像がぼやけていなければ低く、また複雑な文字でなければ低くなる。つまり、大きな文字や、文字の像がはっきりしている場合、複雑ではない文字の場合には超解像度処理を行わず、処理を高速化することが可能となる。また小さな文字や、得られた文字の像がぼやけている場合、複雑な文字の場合には超解像度処理を行い、文字の認識精度を上げることができる。このようにして、処理を高速化しつつ、必要なときのみ高精度の文字認識を行うことで、高い文字認識精度を得ることが可能となる。
【００４０】
上記図７の例では、充填率を用い、超解像度処理を行うか否かを判定するようにしたが、これに代えて、周波数を用いることもできる。
すなわち、ステップＳ１４２に代えて、ステップＳ１０２で得られた低解像度の文字画像Ｉに対し、微分処理を施し、得られた微分値が、予め定めた一定値以上大きいか否かを判定し、一定値以上であると判定されたときのみ、ステップＳ１４３に進んで超解像度処理を行うのである。微分値が大きいということは、ナンバープレート１００の背景色の部分と文字の部分による周波数が高く、エッジを鮮明化したい部分が多いということである。例えば、図８に示すように、ナンバープレート１００の空白部分Ａ１〜Ａ４の部分は、背景色のみなので、微分値は小さい（ゼロに近い）。また、ナンバープレート１００の、大きな文字が記載された領域Ａ５では、文字が大きいため、周波数が低くなる。これに対し、文字が小さな領域Ａ６〜Ａ８では、周波数が高くなる。
したがって、用いるカメラ２０の仕様等に応じ、文字が小さな領域Ａ６〜Ａ８、あるいは文字が小さな領域Ａ６〜Ａ８の中でも周波数が高い場合に超解像度処理が行われるように、しきい値（一定値）を設定するのである。
【００４１】
このようにしても、上記図７の場合と同様、全体としての処理量（演算量）を大幅に低減し、処理を高速化しつつ、必要なときのみ超解像度処理による高精度の文字認識を行うことで、高い文字認識精度を得ることが可能となる。
【００４２】
さて、上記のようにして、文字認識装置３０において文字認識処理を行うわけであるが、その処理をさらに高速化するには、データベース３３に格納された低解像度辞書画像Ｌ、高解像度辞書画像Ｈのデータ量をなるべく少なくするのが好ましい。
これにはまず、データベース３３に格納するために事前に集められた低解像度辞書画像Ｌの特徴量（特徴パターンベクトル）の各要素の値を量子化する方法がある。例えば、特徴パターンベクトルを構成する各値がそれぞれ２５６階調の値を持つ場合、これを３２階調程度に量子化する。そして、量子化した特徴パターンベクトルを、その低解像度辞書画像Ｌの特徴量としてデータベース３３に格納するのである。これにより、データベース３３に格納するデータ量を実質的に圧縮できる。
【００４３】
また、本発明では、処理をさらに高速化するために、以下に示すような方法を採用する。
低解像度辞書画像Ｌにおける文字は、図９（ａ）に示すような特徴パターン（特徴的な部分の形状）に分解することができる。超解像度処理では、これら特徴パターンの種類、およびそれらの組み合わせを特定することで、文字画像Ｉと低解像度辞書画像Ｌのマッチングを行うことができる。
【００４４】
このような特徴パターンを、ｋ−ｍｅａｎｓ法、ベクトル量子法等の手法によってクラスタリングし、図９（ｂ）に示すように、複数のグループＧ１、Ｇ２、…にグループ化する。つまり特徴パターンが似ているものを同じグループに集めるのである。
そして、グループＧ１、Ｇ２、…のそれぞれにおいて、代表パターンＰ１、Ｐ２、…を決め、この代表パターンＰ１、Ｐ２、…に、そのグループＧ１、Ｇ２、…に属する全ての特徴パターンを関連付けてデータベース３３に格納する。
【００４５】
実際に、文字認識を行う際には、図１０に示すように、文字画像Ｉの特徴パターンと、データベース３３に格納された代表パターンＰ１、Ｐ２、…とのマッチングを行う。そして、マッチングする代表パターン（例えば代表パターンＰ３）が特定されたら、続いて、この代表パターンＰ３に関連付けられているグループＧ３を特定する。そして、このグループＧ３に属する特徴パターンと、文字画像Ｉの特徴パターンとのマッチングを行い、文字画像Ｉに最もマッチング度の高い特徴パターンを特定するのである。
【００４６】
このように、文字画像Ｉと低解像度辞書画像Ｌのマッチングを行うに際し、代表パターンＰ１、Ｐ２、…を用いることで、従来のような総当りでのマッチングを行う必要が無くなり、マッチングに要する演算時間を大幅に短縮することが可能となる。
【００４７】
また、以下のような方法もある。
上記図９に示した方法と同様、低解像度辞書画像Ｌにおける文字の特徴パターンを、ｋ−ｍｅａｎｓ法、ベクトル量子法等の手法によってクラスタリングし、図１１（ａ）に示すように、複数のグループＧ１、Ｇ２、…にグループ化する。そして、グループＧ１、Ｇ２、…のそれぞれにおいて、代表パターンＰ１、Ｐ２、…を決める。
図１１（ｂ）に示すように、データベース３３には、この代表パターンＰ１、Ｐ２、…のみを、データベース３３の低解像度辞書画像Ｌの特徴パターンとして格納する（そのグループＧ１、Ｇ２、…に属する他の全ての特徴パターンはデータベース３３に格納しない）。
【００４８】
そして、実際に文字認識を行う際には、図１２に示すように、文字画像Ｉの特徴パターンと、図１１（ｂ）に示した、データベース３３に格納された代表パターンＰ１、Ｐ２、…とのマッチングを行う。そして、マッチングする代表パターン（例えば代表パターンＰ３）が特定されたら、この代表パターンＰ３を、文字画像Ｉに最もマッチング度の高い特徴パターンとして用いるのである。
【００４９】
このような手法によれば、上記図９、図１０に示した場合と同様、文字画像Ｉと低解像度辞書画像Ｌのマッチングを行うに際し、代表パターンＰ１、Ｐ２、…を用いることで、従来のような総当りでのマッチングを行う必要が無くなり、マッチングに要する演算時間を大幅に短縮することが可能となる。さらに、図９、図１０に示した場合に比較し、マッチングする代表パターンを特定した後、これが属するグループを特定し、さらにそのグループに属する特徴パターンと文字画像Ｉの特徴パターンとのマッチングを行い、文字画像Ｉに最もマッチング度の高い特徴パターンを特定する必要がない。これにより、処理をさらに高速に行うことが可能となる。一方、文字認識精度の面では、代表パターンＰ１、Ｐ２、…をそのまま文字画像Ｉの特徴パターンとのマッチングに用いるので、図９、図１０の手法の方が、文字認識精度が高くなる。どちらの手法を採用するかは、要求される処理速度や文字認識精度等に応じて決めればよい。
また、データベース３３には、代表パターンＰ１、Ｐ２、…のみが格納されるため、データベース３３へのデータ格納量を大幅に少なくすることも可能である。
【００５０】
なお、上記実施の形態で示した各構成、手法は、適宜組み合わせることが可能である。
これ以外にも、本発明の主旨を逸脱しない限り、上記実施の形態で挙げた構成を取捨選択したり、他の構成に適宜変更することが可能である。
【図面の簡単な説明】
【００５１】
【図１】本実施の形態におけるナンバープレート認識システムの構成を示す図である。
【図２】データベースに低解像度辞書画像と高解像度辞書画像を格納することを示す図である。
【図３】超解像度処理後、２値化処理により文字認識する場合の処理の流れを示す図である。
【図４】超解像度処理において、入力された文字画像にマッチングする高解像度辞書画像を得ることを示す図である。
【図５】超解像度処理後、輝度勾配を用いて文字認識する場合の処理の流れを示す図である。
【図６】信頼度に応じて、２値化処理を用いた文字認識と、輝度勾配を用いた文字認識を切り替える場合の処理の流れを示す図である。
【図７】条件に応じて、所定の条件を満たした場合のみ超解像度処理を行う場合の処理の流れを示す図である。
【図８】画像の周波数に関して説明するための図である。
【図９】データベースに、文字の特徴パターンをクラスタリングして格納することを示す図である。
【図１０】クラスタリングして格納された特徴パターンを用い、文字認識を行うことを示す図である。
【図１１】データベースに、文字の特徴パターンをクラスタリングして格納する他の例を示す図である。
【図１２】クラスタリングして格納された特徴パターンを用い、文字認識を行うことを示す図である。
【符号の説明】
【００５２】
１０…ナンバープレート認識システム、２０…カメラ、３０…文字認識装置、３２…認識処理部（マッチング処理部、特定処理部、文字認識部、認識部）、３３…データベース、３４…認識結果出力部（結果出力部）、１００…ナンバープレート、Ｈ…高解像度辞書画像、Ｉ…文字画像、Ｌ…低解像度辞書画像（辞書画像）
【図１】
2008251029.tif 000003
【図２】
2008251029.tif 000004
【図３】
2008251029.tif 000005
【図４】
2008251029.tif 000006
【図５】
2008251029.tif 000007
【図６】
2008251029.tif 000008
【図７】
2008251029.tif 000009
【図８】
2008251029.tif 000010
【図９】
2008251029.tif 000011
【図１０】
2008251029.tif 000012
【図１１】
2008251029.tif 000013
【図１２】
2008251029.tif 000014