(57)【要約】【課題】  対数変換のように大きな計算量を必要とすることなく、精度のよい画像の分類処理を行うことができるナンバー認識装置及び方法を提供すること。【解決手段】  他車のナンバープレートを含む画像を取り込むカメラ２と、取り込んだ画像に対して、近傍画素との閾値を用いた比較により３値化を行う３値化処理部３２と、を備えるナンバー認識装置１において、取り込んだ画像の輝度平均と輝度分散から閾値の最適な予測値を演算し、３値化処理部３２は閾値の予測値を用いて３値化を行うようにした。【選択図】      図６
2006309650.tif 000002
【特許請求の範囲】
【請求項１】
他車のナンバープレートを含む画像を取り込む撮像手段と、
取り込んだ画像に対して、近傍画素との閾値を用いた比較により３値化を行う画像処理手段と、
を備えるナンバー認識装置において、
取り込んだ画像の輝度平均と輝度分散から前記閾値の最適な予測値を演算する閾値予測手段を設け、
前記画像処理手段は、前記閾値の予測値を用いて３値化を行うようにした、
ことを特徴とするナンバー認識装置。
【請求項２】
請求項１に記載のナンバー認識装置において、
前記閾値予測手段は、
画素を白と判定する場合の閾値＝係数１×輝度平均＋係数２×輝度分散＋係数３とする第１の式と、
画素を黒と判定する場合の閾値＝係数４×輝度平均＋係数５×輝度分散＋係数６とする第２の式と、
により閾値を算出する、
ことを特徴とするナンバー認識装置。
【請求項３】
請求項２に記載のナンバー認識装置において、
前記第１式及び前記第２式は、複数の画像からサンプリングした値を元とする重回帰式である、
ことを特徴とするナンバー認識装置。
【請求項４】
請求項１〜請求項３に記載のナンバー認識装置において、
３値化した画像データからナンバープレートの数字及び文字、記号を認識するパターンマッチング手段を設け、
前記パターンマッチングは、縦方向と横方向の輪郭成分のみをカウントしたヒストグラムを特徴量として処理する、
ことを特徴とするナンバー認識装置。
【請求項５】
請求項４に記載のナンバー認識装置において、
認識された数字及び文字、記号と、ナンバープレートの配置規則とを照らし合わせて、ナンバーを認識する配置規則参照手段を設けた、
ことを特徴とするナンバー認識装置。
【請求項６】
捕り込んだカラー画像を複数諧調輝度の白黒画像に変換し、
画像の輝度平均と輝度分散を演算し、
前記輝度平均と前記輝度分散から、捕り込んだ画像の画素を周囲と比較し、閾値との比較により画素を白、黒、無色に分類する３値化処理の閾値を予測し、
前記予測閾値により３値化処理を行って、３値化した画像データからナンバープレートの認識を行うようにした、
ことを特徴とするナンバー認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ナンバープレートのナンバーを認識するナンバー認識装置及び方法の技術分野に属する。
【背景技術】
【０００２】
従来の技術においては、車載カメラで映像を撮った場合、昼夜や晴雨による照明の変化により、映像のバラツキが生じるため、画像認識処理において対数変換による分類処理を行っている（例えば、非特許文献１参照）。
【非特許文献１】Satoshi Iwakata, Yoshiaki Ajioka, and Masafumi Hagiwara, "Character Extraction Algorithm from Scenery Images by Parallel and Local Processing." 2003 International Symposium on Advanced Intelligent System, P.P 54-57, Sep.2003.
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来において、対数変換は非常に計算量が大きいため、高度な演算能力を必要とする専用プロセッサで対応することになり、システムの価格が高価であるという問題があった。
【０００４】
本発明は、上記問題に着目してなされたもので、その目的とするところは、対数変換のように大きな計算量を必要とすることなく、精度のよい画像の分類処理を行うことができるナンバー認識装置及び方法を提供することにある。
【課題を解決するための手段】
【０００５】
上述の目的を達成するため、本発明では、他車のナンバープレートを含む画像を取り込む撮像手段と、取り込んだ画像に対して、近傍画素との閾値を用いた比較により３値化を行う画像処理手段と、を備えるナンバー認識装置において、取り込んだ画像の輝度平均と輝度分散から前記閾値の最適な予測値を演算する閾値予測手段を設け、前記画像処理手段は、前記閾値の予測値を用いて３値化を行うようにした、ことを特徴とする。
【発明の効果】
【０００６】
本発明では、対数変換を行うことなく、比較的軽い処理によって、精度よく画像の分類処理を行うことができる。
【発明を実施するための最良の形態】
【０００７】
以下に、本発明のナンバー認識装置及び方法を実現する実施の形態を、実施例に基づいて説明する。
【実施例１】
【０００８】
まず構造を説明する。
図１は実施例１のナンバー認識装置の構成を示す概略図である。
ナンバー認識装置１は、カメラ２（撮像手段に相当する）、画像処理部３、車両装置４を主な構成とする。
【０００９】
カメラ２はＣＣＤカメラであり、２４bitのカラー画像を撮像し、画像データ信号として出力する。
画像処理部３は、グレースケール処理部３１、３値化処理部３２（画像処理手段及び閾値予測手段に相当する）、認識処理部３３（パターンマッチング手段に相当する）からなり、カメラ２から入力した画像データの処理を行う。
グレースケール処理部３１は、カラー画像を白黒で８bitの輝度値を持つグレースケール画像に変換する。
【００１０】
３値化処理部３２は、グレースケール画像の各画素を３種（無色、白、黒）に分類し、３値化画像を生成する。この３値化分類には、白と判定するために閾値f1を用い、黒と判定するために閾値f2を用いる。
この閾値f1,f2は、C11,C12,C13,C21,C22,C23を予測式の係数として、
【００１１】
f1＝C11×輝度平均＋C12×輝度分散＋C13・・・・（式１）
【００１２】
f2＝C21×輝度平均＋C22×輝度分散＋C23・・・・（式２）
以上の式から求めたものを用いる。
図２は、輝度平均及び輝度分散と閾値f1の相関関係を示す図である。図３は、輝度平均及び輝度分散と閾値f2の相関関係を示す図である。
このように式１，式２は、予め、実験と重回帰分析により求めておく。
認識処理部３３は、３値化画像から、ナンバープレートに表示されている文字、数字のマッチングによる認識処理を行い、ナンバープレートの大きさを認識する処理を行う。
車両装置４は、得られた車両のナンバーを利用して、より快適に車両を使用するものである。また、車両装置４は、ナンバープレートの大きさから、車間距離を算出するものであってもよい。
【００１３】
次に作用を説明する。
[ナンバープレートの認識作用]
本実施例１のナンバー認識装置において、他車のナンバーを認識するには、まず、カメラ２によりカラー画像を撮像する。
次に画像処理部３のグレースケール処理部３１により、グレースケール画像へ変換し、次に３値化処理部３２で３値化画像を生成する。
なお、近距離で撮影したナンバープレートを認識する場合、その後の文字線抽出処理で、文字線が太すぎて線中央が図４(a)のように中抜けの状態になってしまうことがあるが、実施例１では、画像を縮小して処理することにより中抜けの状態を防止している（図４(b)参照）。なお、図４において、４桁の番号の最も左の４桁目は画像より消去している。
【００１４】
ここで、３値化について説明しておく。図５は３値化における白黒判定の説明を示す図である。対象画素と比べて周辺画素が全体的に暗い場合、対象画素を白として分類する（図５(a)参照）。また、これに対し、対象画素と比べて周辺画素が全体的に明るい場合、対象画素を黒として分類する（図５(b)参照）。
この３値化の際には、上記式１、式２の予測式により求められた閾値f1,f2が用いられる。式１，式２には、輝度平均と輝度分散、つまり撮像された画像データの輝度データの分布の平均である輝度平均と、画像データのデータ分布のばらつき状態を示す輝度分散を考慮している。よって、撮像した画像データの全体の明暗があっても精度よく３値化の分類を行うとともに、その分布状態にも対応して精度よく３値化の分類を行う。
【００１５】
図６は、３値化処理の異なる処理による明暗の場合の違いを示す３値化画像処理結果を示す図である。なお、図６において、４桁の番号の最も左の４桁目は画像より消去している。図１１には照明の暗い状態におけるナンバー抽出例を示す。なお、図１１において、４桁の番号の最も左の４桁目は画像より消去している。図６の３値化の処理において、元の画像、閾値を固定した場合の３値化画像（閾値固定と表記）、実施例１の式１，式２の閾値を用いた場合の３値化画像（多変量解析と表記）、対数変換の場合の３値化画像をそれぞれ明暗の状態で示している。この結果から明らかなように、式１、式２を用いた３値化画像は、全体で言えば対数変換ほどの品質は得られていないが、ナンバープレートに関し、その文字や数字を読み取るのに充分な品質が得られている。
よって、実施例１の閾値f1,f2を用いた３値化により、ナンバープレートの数字や文字を読み取るのに必要な文字線が得られることになる。
【００１６】
ここで、対数変換の場合と本実施例１の予測式を用いる場合との処理時間を比較する。動的な閾値の計算時間を含む、対数変換の場合、主処理が23.34ms、補足処理が3.25ms、合計で26.59msとなる。これに対して本実施例１の予測式の場合において、輝度平均、輝度分散の計算時間を含んでも、主処理が0.0072ms、補足処理が6.37ms、合計で6.38msである。このように、本実施例１では、対数変換の場合に比べて、非常に計算時間を短縮すうことができる。
【００１７】
このようにして、３値化画像を得たならば、次にナンバープレートの数字の認識を行う。
数字の認識は、ラベリングをして数字を切り出した後、領域の特徴量による対象の絞込みをして、その後にパターンマッチングを行うことで実行される。
領域の特徴量とは具体的には、領域の高さ、縦横比、矩形に占める文字面積の比率の３つである。特徴量によって対象を絞り込むことの目的は、パターンマッチングの回数を減らして負荷を軽減することである。
【００１８】
パターンマッチングは、16×16画素に正規化した後、加重方向指数ヒストグラム法を用いて行う。加重方向指数ヒストグラム法は文字変形に強いという特徴があり、文字線の太さの変化や数字の傾きにも、ある程度まで対応できる。
ここで、加重方向指数ヒストグラム法について説明する。入力画像を小領域に分割し、そこでの輪郭方向成分をカウントするヒストグラムを特徴量としている。実施例１においては負荷軽減のため、縦方向と横方向の輪郭方向成分だけみて、斜め方向の輪郭方向成分はみていない。
【００１９】
数字認識を行ったならば、次に、ナンバープレートの認識を行う。実施例１では、ナンバープレートの配置規則を用いている。
まず、対象文字の左隣に文字候補や数字、「・」がないかを調査する（図７参照）。
次に、対象文字と文字候補の位置関係からナンバープレートの位置、大きさを推定する（図８参照）。
ナンバープレートの位置、大きさを推定したならば、一連番号の対象数字以外の推定位置に、予め調査された文字候補や数字、「・」が当てはまるかどうかを調べる（図９参照）。
調べた結果、欠損領域が２つ以下であれば、欠損領域に対してテンプレートマッチングを行う（図１０参照）。
【００２０】
これによって、車両のナンバーが確実に認識される。また、ナンバープレートの大きさも情報として得られるため、その車両までの距離情報も精度よく得られる。
本実施の形態のナンバー認識装置にあっては、次に列挙する効果を得ることができる。
(1)他車のナンバープレートを含む画像を取り込むカメラ２と、取り込んだ画像に対して、近傍画素との閾値を用いた比較により３値化を行う３値化処理部３２と、を備えるナンバー認識装置１において、取り込んだ画像の輝度平均と輝度分散から閾値の最適な予測値を演算し、３値化処理部３２は閾値の予測値を用いて３値化を行うようにしたため、対数変換を行うことなく、比較的軽い処理によって、精度よく画像の分類処理を行うことができる。
さらに、実施例１においては、処理時間を対数変換の場合に比べて約1/4にすることができ、軽い処理となる。そのため、並列演算に適する。この並列演算に適することは、さらなる高速処理化を可能にする。
【００２１】
(2)３値化処理部３２は、画素を白と判定する場合の閾値f1＝係数C11×輝度平均＋係数C12×輝度分散＋係数C13とする第１の式と、画素を黒と判定する場合の閾値f2＝係数C21×輝度平均＋係数C22×輝度分散＋係数C23とする第２の式とにより閾値を算出するため、画像の輝度状態を考慮した閾値により３値化処理を行うことができ、よい精度よく画像の分類処理を行うようにできる。
【００２２】
(3)閾値f1を算出する第１式及び閾値f2を算出する第２式は、複数の画像からサンプリングした値を元とする重回帰式であるため、予め得られたデータを基によく相関性を持つ閾値を得て、より実際の使用に対して精度よく画像の分類処理を行うようにできる。
【００２３】
(4)３値化した画像データからナンバープレートの数字及び文字、記号を認識するパターンマッチング手段を設け、パターンマッチングは、縦方向と横方向の輪郭成分のみをカウントしたヒストグラムを特徴量として処理するため、文字線の太さの変化、数字の傾きにもよく対応して、より精度よくナンバー認識を行うことができる。
【００２４】
(5)認識された数字及び文字、記号と、ナンバープレートの配置規則とを照らし合わせて、ナンバーを認識する配置規則参照手段を設けたため、画像処理と配置規則の２つから確認でき、より精度よくナンバー認識を行うことができる。
【００２５】
(6)捕り込んだカラー画像を複数諧調輝度の白黒画像に変換し、画像の輝度平均と輝度分散を演算し、輝度平均と輝度分散から、捕り込んだ画像の画素を周囲と比較し、閾値との比較により画素を白、黒、無色に分類する３値化処理の閾値を予測し、予測閾値f1,f2により３値化処理を行って、３値化した画像データからナンバープレートの認識を行うようにしたため、対数変換を行うことなく、比較的軽い処理によって、精度よく画像の分類処理を行うことができる。
【００２６】
（その他の実施の形態）
以上、本発明の実施の形態を実施例１に基づいて説明してきたが、本発明の具体的な構成は実施例に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても、本発明に含まれる。
本実施例のナンバー認識装置は、ＥＴＣシステムに組み込むなど、その用途は本明細書中に記載したものに限定しない。
図１に示す構成は、別の構成であってもよい。
【図面の簡単な説明】
【００２７】
【図１】実施例１のナンバー認識装置の構成を示す概略図である。
【図２】輝度平均及び輝度分散と閾値f1の相関関係を示す図である。
【図３】輝度平均及び輝度分散と閾値f2の相関関係を示す図である。
【図４】近距離でナンバープレートを撮影する場合の画像の縮小作用を説明する図である。
【図５】３値化における白黒判定の説明を示す図である。
【図６】３値化処理の異なる処理による明暗の場合の違いを示す３値化画像処理結果を示す図である。
【図７】対象数字の左隣を調査する状態を示す説明図である。
【図８】ナンバープレートの大きさを推定する状態を示す説明図である。
【図９】ナンバープレートの配置規則とのあてはめを行う状態を示す説明図である。
【図１０】テンプレートマッチングを行う状態を示す説明図である。
【図１１】照明の暗い状態でのナンバー抽出例を示す説明図である。
【符号の説明】
【００２８】
１  ナンバー認識装置
２  カメラ
３  画像処理部
３１  グレースケール処理部
３２  ３値化処理部
３３  認識処理部
３４  車両装置
４  車両装置
【図１】
2006309650.tif 000003
【図２】
2006309650.tif 000004
【図３】
2006309650.tif 000005
【図５】
2006309650.tif 000006
【図７】
2006309650.tif 000007
【図８】
2006309650.tif 000008
【図９】
2006309650.tif 000009
【図１０】
2006309650.tif 000010
【図４】
2006309650.tif 000011
【図６】
2006309650.tif 000012
【図１１】
2006309650.tif 000013