(57)【要約】      （修正有）【課題】図柄プレートにおいて高精度に認識できるともに、高精度な認識を維持することを目的とする。【解決手段】車番認識装置１０は、ナンバープレートを撮影する撮像部１と、ナンバープレートの領域を検出するプレート検出部３と、ナンバープレートの領域における一連番号を検出する一連番号検出部４と、一連番号周辺の文字領域の位置を算出する周辺位置算出部５と、検出した一連番号の文字領域の文字色を判定する文字色判定部、文字色判定部の結果から背景色を判定する背景色判定部、周辺位置算出部５で算出した位置領域について、プレート領域のカラー画像で文字および背景の色以外の色成分を抽出するノイズ色検出部及びノイズ色検出部で抽出した色成分の領域を補正する色補正処理部を有する図柄補正処理部９と、色補正処理部を経た後に、切り出した文字領域の画像データを用いて文字認識する文字認識部６とを有する。【選択図】図１
2018120445.tif 000002
【特許請求の範囲】
【請求項１】
ナンバープレートを撮影する撮像部と、
前記ナンバープレート領域を検出するプレート検出部と、
前記ナンバープレート領域における一連番号を検出する一連番号検出部と、
前記一連番号の大きさから前記一連番号周辺の文字領域の位置を算出する周辺位置算出部と、
前記一連番号検出部及び前記周辺位置検出部の出力を用いて図柄補正を行う図柄補正処理部と、
前記図柄補正処理部を経た後に、切り出した文字領域の画像データを用いて文字認識する文字認識部と、を有する車番認識装置であって、
前記図柄補正処理部は、前記一連番号検出部の検出結果の文字領域の色情報を検出し、文字色を判定する文字色判定部と、
前記文字色判定部の結果から背景色を判定する背景色判定部と、
前記周辺位置算出部で算出した位置から求まる領域について、プレート領域のカラー画像で文字および背景の色以外の色成分を抽出するノイズ色検出部と、
前記ノイズ色検出部で抽出した色成分の領域を補正する色補正処理部と、を有することを特徴とする車番認識装置。
【請求項２】
請求項１に記載の車番認識装置であって、
前記色補正処理部は、前記プレート領域における色成分は前記一連番号以外の領域を色成分の平均値又は色成分の頻度が最も多い色成分に置き換え、前記プレート領域における輝度成分は前記一連番号以外の領域を色成分の平均値又は頻度が最も多い輝度値に置き  換えることを特徴とする車番認識装置。
【請求項３】
請求項２に記載の車番認識装置であって、
前記色補正処理部は、一連番号以外の領域の輝度情報を伝播させて前記輝度成分を置き換える処理とすることを特徴とする車番認識装置。
【請求項４】
請求項１ないし３のいずれか１項に記載の車番認識装置であって、
前記撮像部はカラーカメラであり、前記ノイズ色検出部は前記プレート検出部で検出したプレート領域全体の黒、緑、白若しくは黄色のいずれか又は複数の色以外のカラー成分を検出することを特徴とする車番認識装置。
【請求項５】
請求項１に記載の車番認識装置であって、
前記プレート検出部で前記プレート領域を切り出した後に図柄補正を行う第二図柄補正処理部を備えることを特徴とする車番認識装置。
【請求項６】
請求項５に記載の車番認識装置であって、
前記撮像部はカラーカメラであり、
前記第二図柄補正処理部は、赤成分を検出する赤色検出処理部と、
赤色領域の形状を判定する赤色形状判定部と、
赤色形状が斜線の場合に、赤色領域のカラー成分を補正する色補正処理部と、を有することを特徴とする車番認識装置。
【請求項７】
請求項１又は５に記載の車番認識装置であって、
前記文字認識部の文字認識結果を格納する認識結果格納部と、
前記文字認識結果と文字認識度合いを評価する認識評価値を比較し、文字認識度が高い前記認識結果を採用する認識結果採用部と、
前記周辺位置算出部の情報から認識する領域の濃淡補正を行う第三図柄補正処理部と、を備え、
前記第三図柄補正処理部は、前記周辺位置算出部で求めた領域の画像に対し、文字を明るく、背景を暗くする濃度変換を実行し、認識可能な文字が存在するときの濃度の始点及び終点を求める領域決定部と、
文字認識可能な濃度の最低値を段階的に変更する濃度補正部と、を有することを特徴とする車番認識装置。
【請求項８】
請求項１又は５に記載の車番認識装置であって、
事業用プレートであることを判定する事業用判定処理部を備え、
前記事業用判定処理部は、前記一連番号の位置から定まるプレート枠の座標を算出するプレート位置算出部と、
前記プレート枠内側に領域を設定し、前記領域の色成分が緑色でのとき事業用プレートと判断する事業用判定処理部と、を有することを特徴とする車番認識装置。
【請求項９】
請求項１又は５に記載の車番認識装置であって、
事業用プレートであることを判定する事業用判定処理部を備え、
前記事業用判定処理部は、前記一連番号の位置から定まるプレート枠の座標を算出するプレート位置算出部と、
前記プレート位置算出部で求めたプレート枠面積と前記プレート枠内での白領域の面積との比率が、所定の比率より小さい場合に事業用プレートと判断する事業用判定部と、を有することを特徴とする車番認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
テレビカメラで車両を撮影し、その画像からナンバープレートの文字を認識する車番認識装置に関する。
【背景技術】
【０００２】
車番認識は２０数年前から普及し、多くの装置が色々な個所に設置されている。これまでのナンバープレートは白地に緑色の文字、緑地に白文字、黄色地に黒文字、黒地に黄色文字の４種類だけであったが、２０１７年以降、ラグビーワールドカップ向けに図柄プレートが配布される予定である。また、２０２０年の東京オリンピック向けにも図柄プレートが配布される予定である。
【０００３】
車番認識装置の特許は多く出願されているが、これから支給される図柄のプレートについて対応する特許はまだ、公開されていない。特許文献１はナンバープレートを高精度に切り出す方式であり、図柄補正に関しての記載はない。特許文献２は、多車線対応のナンバープレート認識装置（別名、車番認識装置）であり、この文献にも図柄補正の記載はない。一般の文字認識に関して特許文献３がある。この従来技術は、ＯＣＲなどの文字読み取り装置において、カラー成分の色ずれ、色ボケによって文字が綺麗に抽出できない場合の対処方法であり、文字の輪郭のカラー成分あるいは輝度成分を文字の中央のカラー成分、輝度成分に置き換えるものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１０８０６３号公報
【特許文献２】特開２０１６−９５７６３号公報
【特許文献３】特開２００８−２６９５０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
図柄プレートでは、従来の文字検出、文字認識手法では、図柄の影響で文字認識を誤る場合があった。また、ラグビーワールドカップ向け図柄プレートでは、事業用のプレートが、従来の緑地に白文字が、白地のプレート枠だけ緑色となり、自家用、事業用の判断が従来手法では不可能となってきた。
【０００６】
ナンバープレートに描かれている図柄がナンバープレートの文字に接触している場合に、文字認識の対象領域がノイズを含んだ領域となり誤認識する課題がある。また、ナンバープレートには自家用と事業用があるが、事業用のプレートがプレートの枠だけ緑色の場合、従来の緑地背景が事業用、白地が自家用と判断できない問題がある。
【０００７】
そこで本発明では、図柄プレートにおいて高精度に認識できるともに、高精度な認識を維持することが可能となる。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明に係る車番認識装置は、ナンバープレートを撮影する撮像部と、前記ナンバープレートの領域を検出するプレート検出部と、前記ナンバープレートの領域における一連番号を検出する一連番号検出部と、前記一連番号の大きさから前記一連番号周辺の文字領域の位置を算出する周辺位置算出部と、前記一連番号検出部の検出結果の文字領域の色情報を検出し、文字色を判定する文字色判定部と、前記文字色判定部の結果から背景色を判定する背景色判定部、前記周辺位置算出部で算出した位置から求まる領域について、プレート領域のカラー画像で文字および背景の色以外の色成分を抽出するノイズ色検出部と、前記ノイズ色検出部で抽出した色成分の領域を補正する色補正処理部と、前記色補正処理部を経た後に、切り出した文字領域の画像データを用いて文字認識する文字認識部と、を有する。
【発明の効果】
【０００９】
本発明によれば、図柄プレートにおける文字を高精度に認識し、高精度な認識を維持する車番認識装置の提供をすることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施例を説明する構成図である。
【図２】本発明の図柄補正処理の内部構成を説明する図である。
【図３】文字色判定処理のフローを説明する図である。
【図４】文字色判定のH,S,I画像での処理例を説明する図である。
【図５】日本車のナンバープレートの色を説明する図である。
【図６】日本車のナンバープレートの色を判断するフローを説明する図である。
【図７】用途コードを例に、色補正する処理を説明する図である。
【図８】輝度情報を周囲の情報に置き換える処理を説明する図である。
【図９】用途コード領域の補正例を示す図である。
【図１０】同様に用途コード領域の補正例である。
【図１１】本発明の第２の実施例を説明する構成図である。
【図１２】ナンバープレート全体の中から文字色、背景色以外を補正する処理を説明する図である。
【図１３】仮ナンバーの判定処理を説明する図である。
【図１４】配送ナンバーの判定処理を説明する図である。
【図１５】本発明の第３の実施例を説明する構成図である。
【図１６】濃淡画像での図柄補正処理のフローを説明する図である。
【図１７】濃淡画像での図柄補正結果を示す図である。
【図１８】ラグビーワールドカップ向け図柄ナンバーの事業用ナンバー判定処理フローを説明する図である。
【図１９】事業用プレート判定処理部を有する場合の車番認識処理の全体のフローを説明する図である。
【図２０】上記、事業用ナンバーの判定処理を説明する図である。
【図２１】事業用ナンバーの判定処理を説明する図である。
【図２２】従来の車番認識処理の全体のフローを説明する図である。
【図２３】文字認識のフローを説明する図である。
【図２４】従来の車番認識装置の構成を説明する図である。
【図２５】日本車のナンバーの種類を説明する図である
【発明を実施するための形態】
【００１１】
本発明の説明の前に、従来のナンバー認識（特開平６−２１５２９３）の概要を説明する。図２２に処理の流れを示す。図２２では、車のプレート近傍は縦エッジが強いので縦エッジを検出し、これを２値画像とし、２値画像を成形処理することでプレート形状の候補が得られている。このほかにも様々な手法が公開されている。すなわち、入力画像からプレート候補画像を作成する２００と、プレート候補を切り出す２０１と、プレート領域を最適なしきい値で２値化する２０２（この時点で自家用か事業用かが分かる）と、各物体のサイズをチェックするとともに並びをチェックし、一連番号だけを切り出す２０３と、一連番号の傾きを求め、文字が正立するように補正する２０４と、再度、２値化する２０５と、一連番号を検出する２０６と、一連番号の文字の大きさから中型プレートか大型かを判断し、それに応じて周囲の文字位置を計算する２０７と、から構成されている。  
各領域が求まれば、それぞれの領域の画像を切り出し、識別器（ニューラルネットワークやSVM、ランダムフォレストなど、様々ある）で認識する。この例は一例で、他にもナンバープレート認識手法は色々と公開されている。
【００１２】
図２３は分類番号（車種コード）を認識する例を示す。文字色が常に白色（背景が黒）となるように変換し２１０、１桁目の領域を設定２１１、２桁目の領域を設定する２１２、３桁目の領域を設定する２１３。領域設定できれば、あらかじめ設定されているサイズに正規化し２１４、この画像データを用いて文字認識する。文字認識はニューラルネットワーク、SVM（Support Vector Machine）,ランダムフォレスト、最近注目されているDeepLearningなどがある。この認識処理も所定領域を２値化処理し、２値画像で認識する方法もあるが、本発明では、濃淡画像を用いて認識する方式を例にする。
【００１３】
このような処理を実現するハードウエア構成を図２４に示す。ナンバープレート認識装置１０は、カメラ１（カラーカメラやモノクロカメラ、別名撮像部）から取り込んだ映像を記憶する画像メモリ２が複数枚備わっており、この画像メモリ２の画像を処理し、プレート検出部３でプレートを検出し、一連番号検出部４で一連番号を検出する。周辺位置算出部５では、一連番号の大きさから中型プレートか大型プレートかを判断し、一連番号の周辺の文字領域の座標に基づいて位置を計算する（日本のプレートでは、中型・大型があり、一連番号の位置に応じ陸運支局コード（漢字）、車種コード（小さい数字）、用途コード（ひらがな）の領域座標を計算して求めることが可能である）。文字認識部６では、切り出した文字領域の画像データを用いて文字認識する。CPU７は全体の流れを制御するものである。通信制御８は認識結果の送信や、パラメータの受信などを行う。
【００１４】
日本のプレートには、図２５のように登録自動車の自家用、事業用、軽自動車の自家用、事業用の４種類の色だけが存在する。濃淡で認識する場合、文字色が背景より暗ければ自家用、明るければ事業用と判断できる。
【００１５】
このような従来の構成で、将来配布予定の図柄プレートが認識対象となると、図柄のカラー成分がノイズとなる。
【実施例１】
【００１６】
以下、本発明の実施例を図１により説明する。図２２の従来の構成と同じ番号は同じ機能である。本発明では、図１のように一連番号検出部４の出力を用いて、図柄補正する図柄補正処理部９が備わる。図柄補正処理部９は、図２のように、文字色判定部２０と背景色判定部２１とノイズ色検出部２１５とノイズ色補正処理部２２から構成される。
【００１７】
文字色判定部２０は、図１の一連番号検出部４で検出した一連場号の２値画像を用いて処理する。文字判定部２０における処理フローを図３に示す。図３の処理フローでは、入力したカラーカメラの画像データをH,S,I画像に変換する処理３０を含む。H,S,I画像は、それぞれHue angle (色相角度)、Saturation (彩度)、Intensity (強度)を表わす。R、G、B画像を用いても同様な効果があるが、本発明ではH,S,I画像で説明する。なおH,S,I画像についてはH,S,V画像とも別名言い、VはValue（強度）を表す。
【００１８】
このH,S,I画像に対し、一連番号の2値画像とそれぞれAND処理し、一連番号領域のH,S,I画像を作成する３１。一連番号でANDしたH,S,I画像の頻度分布（ヒストグラム）を求める処理３２を含む。また、色ごとに定めたしきい値を設定する処理３３、及びしきい値に応じ文字色を判定する処理３４を含む。
【００１９】
処理フロー図３の具体的な例を図４に示す。プレート領域画像４０に対し、一連番号を検出して、その2値画像とH,S,I画像でAND処理４１をする。H画像の例が４２であり、その文字領域のヒストグラムを表示している。同様にS画像の例が４３、I画像の例が４４である。この３つのヒストグラムを使って色判定を実行する。図４の例では事業用の車（背景が文字より暗い）なので、ヒストグラムを用いて黄色文字か白文字かを判定できれば良い。
【００２０】
文字色判定しきい値は、白色の場合、H画像のしきい値を２４〜１０５とし、S画像のしきい値は０〜９０とする。緑色の場合、H画像のしきい値を１０〜１２６とし、S画像のしきい値を０〜１７０とする。黄色の場合、H画像のしきい値を５０〜１５０とし、S画像のしきい値は０〜２２４とする。黒色の場合、H画像のしきい値を２５〜１５０とし、S画像のしきい値は０〜１７５とする。図４のH,S画像の分布を見ると、H画像のピークは約１３０、S画像のピークは約１１０であり、事業用と分かっているので、文字色は黄色と判断出来る。
【００２１】
なお、これらのしきい値は、例であり対象画像に応じ変更される場合がある。また、H画像は０〜３６０度で表わされる円形の指数であるが、画像処理では８ビット画像が用いられるため０〜２５５の値に変換される（始点の０度をどこに決めるかによっても変化する）。また、S画像は０〜１の値を０〜２５５に変換している。I画像は輝度情報であるので、０〜２５５となる。また、カメラのカラー感度によって、上記しきい値は変更されるので一例である。
【００２２】
ここで、日本車のナンバープレートの色は４種類しかない。これをプレートサイズ、自家用、事業用、登録車、軽自動車で区分けすると、図５のように、中型で自家用車の場合は、登録車か軽自動車であるため、文字色は緑か黒である。その背景色は白か黄色である。また、中型で事業用の場合は、登録車か軽自動車で文字色が白か黄色である。その背景色は緑か黒である。
【００２３】
一方、大型プレートの場合は自家用車であれば文字色は緑色しかなく、事業用であれば白色となる。すなわち、大型の場合は、自家用か、事業用が分かれば文字色は特定できる。
【００２４】
これを図６で示すと、大型か中型かを判定して５０（この処理は図1の一連番号検出部４で実行できる）、大型ならば、自家用か事業用を判定して５１（この処理も図1の一連番号検出部４で文字色が背景より明るいか、暗いかで判断出来る）、事業用なら白文字、自家用なら緑文字と決まる。中型プレートの場合、自家用か事業用かを判定し５２、事業用の場合は文字色を判定し５３、白文字か黄色文字かを判定する。自家用の場合、文字色は黒か、緑であるが、H,S,I画像で文字色を判定できれば、緑文字、黒文字かが分かる。H.S,I画像で緑、黒の色判定は区別が難しい場合は、背景色を背景色判定部２１で判定する５４。その結果、白であれば登録車の自家用車。黄色であれば軽自動車の自家用車となる。以上のような処理を実行すれば、文字色判定、背景色判定が可能となる。
【００２５】
大型/中型判定は、図1の一連番号検出部４で文字検出したときに判断できており、自家用、事業用の判断も同じく一連番号検出部４で判断出来ている（文字検出時にプレートの全体のヒストグラムを求めることで、頻度が多いのが暗い方にあるか、明るい方にあるかで自家用、事業用の判断が可能である。もし、判断を間違えたとしても、一連番号が検出できない場合は反転画像を作成し一連番号を検出するので、一連番号が検出できれば、プレートサイズ（大型、中型）、プレート種別（自家用、事業用）は求まっている）。
【００２６】
以上の処理で文字色判定が実行でき、背景色も特定できる。
【００２７】
図２のノイズ色補正部２２は、周辺位置算出部５で求めた領域において、文字色判定部２０、背景色判定部２１によって求めた文字色と背景色以外のノイズ色をノイズ色検出部２１５で検出し、その領域のH,S,I画像を周囲のH,S,I画像に置き換える処理である。この時、図1の周辺位置算出部５によって、一連番号の座標から、分類番号（小文字の数字）、陸運支局コード（漢字）、用途コード（ひらがな）の領域は計算で求まっているので、それぞれの領域に限定してノイズ色補正処理部２２が補正する（プレート画像領域全体の補正を実行しても構わない）。
【００２８】
図７に用途コード領域の補正の例を示す。この画像６０は自家用車の登録車両（背景が文字より明るく、背景が黄色で無い）なので、緑文字、白背景であるため、緑、白以外の色を検出し補正する。用途コード領域全体のH画像のヒストグラム（濃度頻度分布）を求め６１、この頻度分布で文字色（緑）、背景色(白)以外の濃度の部分を検出６４し、この濃度値を背景のH画像の代表値（ピーク濃度あるいは平均濃度）に変換する。同様に用途コード全体のS画像のヒストグラムを求め６２、この頻度分布で文字色、背景色以外の濃度の部分を検出６５し、S画像の代表値に変換する。濃度の変換は画像処理の濃度変換処理（入力濃度のテーブルと出力濃度のテーブルを用意し、そのテーブルに応じ、濃度変換する処理）を用いれば良い。図７のH画像については、約０〜９０と約１７０〜２５５までは入力、出力の濃度を同じにし、約９０〜１７０の濃度の出力濃度を代表濃度に設定すれば良い。
【００２９】
I画像６３は周辺濃度で置き換える。周辺濃度に置き換える処理として、例えば図８で示す処理がある。図８にI画像の周辺濃度への置き換え処理のフローを示す。元画像８０を水平方向にMAXフィルタ（数画素の最大値を中心画素の濃度と置き換える処理）をN回実行すると、文字領域や、ノイズ成分の輝度情報は他の輝度情報に置き換えできる８１。一方、元画像のノイズ領域を検出した除外領域画像８２(文字色と背景色以外の領域)とMAXフィルタの画像８１をAND処理８３することで、補正する濃度画像ができる８４(白色が置き換える濃度を示す。黒は置き換えない領域)。更に、除外領域８２の反転画像を作成し８５、この画像と元画像８０のAND処理を実行し８６、元の画像の除外以外の領域の濃度を検出しておく８７。そして埋める濃度画像８４と埋めない画像８７でOR処理８８することで、補正画像８９が作成できる。図８の８９では、補正濃度が強調されているように見えるが、実際は文字の背景に近い濃度になる。
【００３０】
補正後の結果を図９に示す。薄い青が少し残っているがピンクの色成分は完全に除去できている９０。これを模式的に示すと、図１０のような補正となる。元画像１００を補正すると、１０１のような画像となる。これによって、文字認識が問題なく可能となる。用途コードの変換例を示したが、陸運支局コード、分類番号も同様な処理で実行する。
【００３１】
本実施例によれば、一連番号を切り出し、文字色、背景色を特定し、その色以外を補正することで図柄のナンバープレートでも高精度に認識できる効果がある。また、本実施例の副産物として、一連番号の色検出、背景色の色判定を実施することで、軽自動車の判定が容易となる。すなわち、文字色が黒で、背景領域に黄色が多い場合、自家用の軽自動車、文字色が黄色で、背景領域に黒が多い場合は、事業用の軽自動車と判定できる。モノクロ画像では、軽自動車の判定は困難であるが（用途コードと、分類番号の組み合わせで判断可能であるが、古い車の分類番号が2桁の場合、この組み合わせでは判断できない場合がある）、カラー画像を利用することで軽自動車の判定が可能となる効果がある。
【実施例２】
【００３２】
実施例１では、一連番号の切り出しには図柄が影響しないことを前提に処理を説明したが、実際には、一連番号の近傍に図柄が来る場合が想定される。この場合、実施例１では一連番号の検出に失敗する。一連番号の検出に失敗すると文字色判定ができないため、図柄色を補正ができなくなる。このため、図１１のプレート検出部３の情報を用いて、第２の図柄補正処理部１１を設ける。
【００３３】
第２の図柄補正処理部１１は、プレート領域を切り出したあと（図１のプレート検出部３の結果）、日本車には基本的に緑、黒、白、黄色しかナンバープレートの色は無いため、緑、黒、白、黄色以外のカラー成分を検出し、その領域のH,S,I画像を補正するものである。この時、文字色のカラー成分が補正されてしまうと文字検出に影響が出るため、文字色、背景色から離れている色成分のみを除去する。実施例１のように詳細なカラー成分除去は不要で、大まかに補正できれば、一連番号は大きな文字であるため、一連番号検出には問題がない（文字に非常に近い色が文字近傍にあると人間でも文字認識が難しくなるため、使用されない）。
【００３４】
図１２に処理の流れを説明する。実際の画像はカラー画像であるが、明細書ではカラー画像が表示できないため濃淡で表わす。図１１のプレート検出部３で検出したプレート領域に対し、カラー画像をH,S,I画像１２０に変換し、緑、黒、白、黄色以外の色成分を検出する１２１。
【００３５】
この領域をH画像はH画像の代表値（プレート領域全体の代表値）で補正し、S画像はS画像の代表値（プレート領域全体の代表値）、I画像はI画像の代表値（平均輝度より明るい濃度のピーク値）で置き換えることで、補正画像１２２を作成でき、一連番号の検出が可能である。H,Sの代表値は平均濃度かピーク濃度で求めることができる。本処理はプレート全体の領域について処理する。
【００３６】
本実施例によれば、一連番号の近傍に図柄があってもカラー成分を補正することで一連番号を正しく検出することが可能となる。
【００３７】
なお、一般文書の場合、文字色、背景色をあらかじめ設定することで、文字色、背景色以外を検出し、上記と同様な補正処理で、文字以外の背景色を補正することも可能である。
【００３８】
また、図１３のように、プレート全体の画像１３０（黒く見える斜線の領域は赤色画像である）のH,S,I画像を用いて、赤色成分を検出し１３１（背景より少し明るい領域）、この画像を2値化して成型処理する１３２（プレート領域における検出された赤色成分の領域について膨張、収縮を数回繰り返すことで成型できる）。この領域の色成分H,S,Iを図１２と同様に補正することで、１３３のような画像が得られる。この結果、臨時運行許可番号標（以下、仮ナンバーと称す）でも数字の認識が可能となる。この赤成分の形状が斜めになっている場合（2値画像の直線近似で右上がりの直線なら仮ナンバー。あるいは、２値画像の右上の水平座標位置と左下の水平位置座標を比較し、左下が小さければ仮ナンバー）仮ナンバーと判定可能となる。なお、通常のプレートと仮ナンバーでは数字の周辺の文字配列が異なる。図１３では、左に地名、右下に地名があり、仮ナンバーの場合はそこの位置を認識することで、地名の認識も可能である（ただし、通常のプレートの地名は水平になっているので、識別器の学習が必要）。
【００３９】
また、図１４のようにプレート領域画像１４０から赤色検出した画像１４１を作成し、これを2値化した画像１４２を作成し、この画像の大きさがプレートサイズであれば、回送運行許可番号標（以下、回送ナンバーと称す）であると判断出来る。
【００４０】
本実施例によれば、赤色成分を検出し、その形状をチェックすることで、仮ナンバーか、回送ナンバーか、通常ナンバーかの判断が可能となるとともに、赤色領域のカラー成分を補正することで、仮ナンバーでも一連番号の検出が可能となり、一連番号の文字認識が可能となる。
【実施例３】
【００４１】
実施例１、２はカラー画像での補正を利用しているが、文字色(たとえば緑色)に近い色を除去することは難しい。このため、文字認識する前処理に濃淡の補正処理を用いる。
【００４２】
具体的には、図１５のように、周辺位置算出部５の情報から、認識する領域の濃淡補正を実施する第３の図柄補正処理部１２を設ける。第三の図柄補正処理部は、領域決定部と濃度補正部から構成されている。
【００４３】
文字認識領域が求まった後、その領域の濃度値を所定の濃度以下は０の濃度に置き換える処理を領域決定部で実行する（ノイズ的な濃度を削除する処理）。この濃度値を濃度補正部で変化させて認識させ、認識できれば終了する流れとなる。第３の図柄補正処理部１２における処理フローを図１６に示す。3回ループ処理する１６０。ループが１回目の場合、基準の濃度値(たとえば、領域の平均濃度の１/３)以下の濃度を０に変換し１６１、文字認識部１６４で文字認識し、その結果を認識結果格納部１６５へ格納する。ループ2回目は、基準濃度値の２倍の濃度以下を０の濃度に変換し１６２、同様に処理する。ループ３回は基準濃度の３倍の濃度以下を０に変換する１６３。
【００４４】
ループが終わると、認識結果採用部にてループごとに求めた認識結果と確信度（評価値）を比較し、確信度が最も高い認識結果を採用する（文字認識後に、確信度が所定値以上ならループを抜けて終了しても良い）。
【００４５】
このようにノイズ成分の濃度を除去しながら認識することで、図１７のように元画像１７０に対し、最初はノイズがあるため、文字認識領域が大きく１７１、認識できないが、濃度値を削除することで適正な領域に文字認識領域が設定されるため１７２、正しい答えが得られる。本方式の着目点は、図柄の色成分を濃淡で表わすと、文字の濃度より暗い濃度であることである。もし、文字色より明るい濃度の図柄があれば補正することは困難である。
【００４６】
本実施例によれば、カラー補正処理で完全に補正できない色の図柄があっても、濃淡画像の補正処理でノイズの画像を削除しながら認識できるので、高い認識率が得られる。なお、ループ処理の回数や、ノイズと判定する濃度の倍率は適時変更してもかまわない。
【実施例４】
【００４７】
ラグビーワールドカップ向けの図柄ナンバープレートでは、事業用のプレートの背景が緑で無く、背景は自家用車と同じ白色で、プレートに描かれている縁だけが緑色となることになっている。この場合、図６の自家用か事業用かの判断を用いると間違ってしまう。このため、事業用の判定を変更する必要がある。図１８のフローの自家用と判断した場合に、ラグビー図柄の事業用判定処理部１８０を追加する。すなわち具体的処理フローは図１９のようになる。事業用判定処理部１８０で自家用か事業用を判断した結果をバスを通じCPUで結果を格納し、プレート認識結果とともに、通信部で結果を送信する。事業用判定処理１８０は、図２０のように、プレートの一連番号を検出する１９０と、一連番号検出時に中型・大型の判定ができているので一連番号の文字ピッチなどからプレート枠の矩形座標が算出可能である１９１から、このプレート枠の矩形座標の内側に数画素の幅を持たせて領域を設定し１９２、この領域の色成分を求める。この領域の色が緑に近い場合は、事業用ナンバーであると判定する。あるいは、算出したプレート枠の面積と、白地の面積の比率を求め、白地が所定値以下であれば、事業用ナンバーと判断できる。図２０のフローを更に詳細にしたものが図２１である。図２１において一連番号検出２０１までは一連番号検出部で実行し、プレート枠位置算出２０２以降は図１９の事業用プレート判定部で処理する。
【００４８】
本実施例によれば、ラグビーワールドカップ向け図柄プレートの特殊な事業用プレートでも自家用、事業用の判定が可能となる。
【符号の説明】
【００４９】
１  カメラ
２  画像メモリ
３  プレート検出部
４  連番号検出部
５  周辺位置算出部
６  文字認識部
９  図柄補正処理部
１１  第２の図柄補正処理部
１２  第３の図柄補正処理部
【図１】
2018120445.tif 000003
【図２】
2018120445.tif 000004
【図３】
2018120445.tif 000005
【図４】
2018120445.tif 000006
【図５】
2018120445.tif 000007
【図６】
2018120445.tif 000008
【図７】
2018120445.tif 000009
【図８】
2018120445.tif 000010
【図９】
2018120445.tif 000011
【図１０】
2018120445.tif 000012
【図１１】
2018120445.tif 000013
【図１２】
2018120445.tif 000014
【図１３】
2018120445.tif 000015
【図１４】
2018120445.tif 000016
【図１５】
2018120445.tif 000017
【図１６】
2018120445.tif 000018
【図１７】
2018120445.tif 000019
【図１８】
2018120445.tif 000020
【図１９】
2018120445.tif 000021
【図２０】
2018120445.tif 000022
【図２１】
2018120445.tif 000023
【図２２】
2018120445.tif 000024
【図２３】
2018120445.tif 000025
【図２４】
2018120445.tif 000026
【図２５】
2018120445.tif 000027