(57)【要約】【課題】  文字列の周囲に位置不定の枠線が存在していた場合でも文字列を精度よく認識する。【解決手段】  時系列的に連続する同一の被写体の画像の中から所定の形状に合致する読み取り範囲を切り出し、この切り出し画像の中から対象となるパターン認識行の画像を取り出し、この対象となるパターン認識行の画像に含まれるパターン認識候補を抽出するとともに、このパターン認識候補の中から非パターン認識候補を除去し、非パターン認識候補が除去されたパターン認識候補を確定パターンとして出力する。枠線に囲まれた文字列をパターン認識する場合であって、その枠線の一部が文字列に接近し、文字列と誤認（枠線の縦棒が“Ｉ”や“１”などと誤認）されるような場合においては、これらの誤認文字が非パターン認識候補として除去される。【選択図】  図３
2005352705.tif 000002
【特許請求の範囲】
【請求項１】
同一の被写体の画像を一定又は不定の周期で撮影して時系列的に出力する撮像手段と、
前記画像の中から所定の形状に合致する読み取り範囲を切り出す切り出し手段と、
前記切り出し手段によって切り出された切り出し画像の中から対象となるパターン認識行の画像を取り出すパターン認識行取り出し手段と、
前記パターン認識行の画像に含まれるパターン認識候補を抽出する抽出手段と、
前記パターン認識候補の中から非パターン認識候補を除去する除去手段と、
前記非パターン認識候補が除去されたパターン認識候補を確定パターンとして出力する出力手段と
を備えたことを特徴とするパターン認識装置。
【請求項２】
前記除去手段は、ＤＰマッチングによって前記パターン認識候補の中から非パターン認識候補を除去することを特徴とする請求項１記載のパターン認識装置。
【請求項３】
前記所定の形状は、車両のナンバープレートの外形に相当する形状であり、且つ、前記パターン認識行は、当該ナンバープレート上の文字列行であることを特徴とする請求項１記載のパターン認識装置。
【請求項４】
同一の被写体の画像を一定又は不定の周期で撮影して時系列的に出力する撮像工程と、
前記画像の中から所定の形状に合致する読み取り範囲を切り出す切り出し工程と、
前記切り出し工程によって切り出された切り出し画像の中から対象となるパターン認識行の画像を取り出すパターン認識行取り出し工程と、
前記パターン認識行の画像に含まれるパターン認識候補を抽出する抽出工程と、
前記パターン認識候補の中から非パターン認識候補を除去する除去工程と、
前記非パターン認識候補が除去されたパターン認識候補を確定パターンとして出力する出力工程と
を含むことを特徴とするパターン認識方法。
【請求項５】
前記除去工程は、ＤＰマッチングによって前記パターン認識候補の中から非パターン認識候補を除去することを特徴とする請求項４記載のパターン認識方法。
【請求項６】
前記所定の形状は、車両のナンバープレートの外形に相当する形状であり、且つ、前記パターン認識行は、当該ナンバープレート上の文字列行であることを特徴とする請求項４記載のパターン認識方法。
【請求項７】
枠状の物体又は枠状の図形を含む同一の被写体物を時系列的に撮像した複数の画像の中から、前記枠状の物体又は枠状の図形の周囲の画像を含む枠周囲画像を切り出し、前記複数の画像に対応する各々の該枠周囲画像に対してそれぞれ文字認識を行って複数の文字認識候補の文字を算出し、該文字認識候補の文字列のうち、部分集合の一致度合いが高い文字列を文字認識結果として出力することを特徴とする文字認識方法。
【請求項８】
前記枠周囲画像を上下にサーチして文字領域を含まない部分を検出し、該文字領域を含まない部分を前記枠周囲画像から削除し、該該文字領域を含まない部分を削除した枠周囲画像に対して文字認識を行うことを特徴とする請求項７記載の文字認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターン認識装置、パターン認識方法及び文字認識方法に関し、たとえば、自動車等車両の登録番号（いわゆる車両ナンバー）の認識や、広告看板等に掲載された文字列（例：電話番号、ホームページアドレス、電子メールアドレスなど）の認識に用いて好適なパターン認識装置、パターン認識方法及び文字認識方法に関する。
【背景技術】
【０００２】
パターン認識とは、人間が視覚系を通して外界を認識する行為、つまり、未知の入力パターンと、あらかじめ記憶している標準パターンとの間の類似性を評価し、もっとも類似性の高い標準パターンを入力パターンとして認識する一連の行為をコンピュータに代行させることをいう。
【０００３】
ここで、標準パターンの種類のことを“クラス”という。たとえば、数字の場合は０〜９までの１０個のクラスがある。パターン認識の典型的な対象例は、数字や文字又は記号など（以下「文字等」という。）である。これは、文字等のクラスには上限があり、扱いやすいからである。たとえば、数字やアルファベットは、ＡＳＣＩＩ（American Standard Code for Information Interchange）コードと呼ばれる７ビットの計１２８種類のクラスしかない（正確には空白文字と制御記号を除外した９４種類）。
【０００４】
また、他の欧州言語で用いられるアクセント記号付きの文字やキリル文字、アラビア文字なども表せるようにした拡張ＡＳＣＩＩ文字セット（８ビットＡＳＣＩＩ文字）も定義されている。さらに、６３種類の１バイト仮名文字の規格（ＪＩＳ７／ＪＩＳ８の２方式）や、世界中の主要な文字（日本語、中国語、韓国語等）を一括して扱う多重言語文字セットの規格（いわゆるＵｎｉｃｏｄｅ）なども定義されている。
【０００５】
このように、パターン認識のうち、文字等を認識するものは、たとえば、その対象が数字とアルファベット及び一部の記号である場合、高々９４種類のクラスを評価すればよいので、コンピュータの記憶容量の圧迫を招かず、しかも、コンピュータの処理負担も軽いので実用的である。しかしながら、本発明の思想は、かかる限定的な用途のパターン認識に限定されない。文字等に限らず、クラスとして定義できるものであればよく、任意にデザインされた図形を認識するものであってもよい。以下においては、認識対象のパターンを「文字等」として説明するが、これは説明の簡単化のための便宜である。
【０００６】
パターン認識装置の従来技術について説明する。たとえば、特許文献１には、「時系列文書画像から、少ない計算コスト・メモリ量で広範囲な文書を読み取る方法及び装置」に関する技術が記載されている。
【０００７】
この従来技術によれば、“時系列文書画像”とは、時系列画像取得手段、すなわち、時々刻々と画像を取得し、出力できるビデオカメラのような装置、又は既に収録されている文書動画像を再生することができるビデオ装置などによって取得された画像のこととされている。
【０００８】
一般に、ビデオカメラは毎秒数十フレーム（たとえば、３０フレーム／秒）の静止画像を生成出力し、また、ビデオ装置はビデオカメラの出力画像などを収録（録画）すると共に必要に応じて再生出力するものであるから、上記の“時系列文書画像”は、文書（紙の上に文字列を書き込み又は印刷したもの）を被写体にして、その被写体を所定の時間、ビデオカメラで撮影した動画像であるということができる。そして、この場合の“時系列”とは、一定の周期、たとえば、３０フレーム／秒程度の間隔で静止画が連続していることを意味するものと解される。
【０００９】
さて、この従来技術においては、微小な時間差をおいて獲得した画像（つまり、時系列文書画像）より抽出される文字認識結果は多くの重複を有するので、重複部分を対応づけることによって２つの認識結果を合成することができるという基本的な原理を示した上で、時系列文書画像中の文字数が少ないと、文字の切り出しを誤りやすいという技術課題を示し、動的計画法を用いた非線形な対応づけ（ＤＰマッチング）により切り出し誤りを考慮した対応づけを行い、更に動的計画法の部分区間における累積距離を利用することにより、上記の技術課題の解決、すなわち、認識誤りをおかしやすい文字コード（たとえば、“ば”と“ぱ”など）を正しく識別できるとされている。
【００１０】
ここで、ＤＰマッチングについて概説すると、通常、同じパターンの図形でも標準パターンと未知入力パターンの長さ（特徴ベクトルのデータ個数）が異なることがある。また、同じパターンの長さでも局所的に伸縮してみると非常によく一致することがある。このようなときに有効なのが「動的計画法を用いて二つのパターンの要素間の対応づけ（整列化）を行い、それによって類似度を計算する」という処理である。この処理は、動的計画法（Dynamic Programing）の頭文字をとってＤＰマッチングと呼ばれている。動的計画法は、ある問題を解きたいとき、“それと同じタイプで、それよりサイズが小さい一群の問題”の解を利用すると、計算量が少なく、しかも同じ手続きの繰り返しで解を得ることができという問題解決手法であり、とりわけ、コンピュータ向きの手法である。
【００１１】
【特許文献１】特許第２８５８５６０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、上記の従来技術は、ＤＰマッチングを応用し、認識誤りをおかしやすい文字コードを正しく区別できるようにした点で有益ではあるが、たとえば、位置不定の枠線で囲まれた文字列の認識精度が充分でないという問題点がある。
【００１３】
図２０は、枠線で囲まれた文字列画像の一例を示す図である。この図において、便宜的に示す“１２３４５６”の文字列１は、横長矩形状の枠線２に囲まれている。
【００１４】
これらの文字列１と枠線２とを含む画像３から文字列１を切り出して認識する場合、枠線２の一部が文字として誤認されることがある。たとえば、文字列１と枠線２の距離Ｌが極接近している場合、文字列１の前後に位置する枠線２の一部が“Ｉ”や“１”などと誤認されることがある。この誤認は、ＤＰマッチングを適用しても回避できない。微小な時間差をおいて獲得した画像の各々にも枠線２が写っているからである。なお、枠線２の位置が固定であれば（たとえば、文字列１からの距離Ｌが大きく且つ既知であれば）、文字列１のみの切り出しウィンドウを設定するなどして不要な枠線２の取り込みを抑制し、誤認を回避できると考えられるが、枠線２の位置が不定である場合には、適切な切り出しウィンドウの設定は困難であり、文字列１の誤認を否めない。
【００１５】
このような誤認のケースは、たとえば、装飾枠付の車両のナンバープレートを認識するときに起こり得る。とりわけ、ナンバープレートの縁から内側へと装飾枠がはみ出している場合で、しかも、文字列（車両ナンバー）の先頭や後尾に装飾枠が接近し、あるいは、文字列の一部に装飾枠が重なっている場合などに起こり得る。加えて、ナンバープレートの装飾枠は様々なデザインのものが使用されるため、それらの装飾枠によって形成される枠線の位置も不定となるからである。
【００１６】
なお、“装飾枠”とは、ナンバープレートを補強するため又は美観を高めるために、そのナンバープレートの周囲を取り囲むようにして所望により取り付けられる枠体のことをいう。ナンバープレートフレームともいう。単純なデザインのものから色や形に凝ったものあるいは文字装飾や図形装飾を施したものまで多種多様なものが用いられている。
【００１７】
または、文字列４が横長楕円形状の枠線５に囲まれている場合、上記と同様に、これらの文字列４と枠線５とを含む画像６から文字列４を切り出して認識する際に、やはり、枠線５の一部が文字として誤認（文字列４の前後に位置する枠線５の一部が“（”や“）”など）されることがある。
【００１８】
このような誤認のケースは、たとえば、広告看板等の文字列を認識するときに起こり得る。当該文字列を目立たせるために楕円の枠線で囲むとき、デザインの都合等により、文字列の前後と枠線との間に十二分な空きスペースを確保できない場合などである。
【００１９】
そこで本発明の目的は、認識対象パターン（たとえば、文字列）の周囲に位置不定の枠線が存在していた場合でも、当該文字列を精度よく認識できるパターン認識装置、パターン認識方法及び文字認識方法を提供することにある。
【課題を解決するための手段】
【００２０】
本発明は、同一の被写体の画像を一定又は不定の周期で撮影して時系列的に出力する撮像手段と、前記画像の中から所定の形状に合致する読み取り範囲を切り出す切り出し手段と、前記切り出し手段によって切り出された切り出し画像の中から対象となるパターン認識行の画像を取り出すパターン認識行取り出し手段と、前記パターン認識行の画像に含まれるパターン認識候補を抽出する抽出手段と、前記パターン認識候補の中から非パターン認識候補を除去する除去手段と、前記非パターン認識候補が除去されたパターン認識候補を確定パターンとして出力する出力手段とを備えたことを特徴とする。
好ましくは、前記除去手段は、ＤＰマッチングによって前記パターン認識候補の中から非パターン認識候補を除去することを特徴とする。
また、好ましくは、前記所定の形状は、車両のナンバープレートの外形に相当する形状であり、且つ、前記パターン認識行は、当該ナンバープレート上の文字列行であることを特徴とする。
ここで、前記撮像手段は、前記被写体の画像をリアルタイムに撮影するものであってもよいが、これに限定されず、たとえば、ビデオカメラやビデオ装置のように、事前に撮影し又は録画しておいた前記被写体の画像を再生出力するものであってもよい。
【発明の効果】
【００２１】
本発明では、時系列的に連続する同一の被写体の画像の中から所定の形状に合致する読み取り範囲を切り出し、この切り出し画像の中から対象となるパターン認識行の画像を取り出し、この対象となるパターン認識行の画像に含まれるパターン認識候補を抽出するとともに、このパターン認識候補の中から非パターン認識候補を除去し、非パターン認識候補が除去されたパターン認識候補を確定パターンとして出力するので、たとえば、枠線に囲まれた文字列をパターン認識する場合であって、その枠線の一部が文字列に接近し、文字列と誤認（枠線の縦棒が“Ｉ”や“１”などと誤認）されるような場合においては、これらの誤認文字が非パターン認識候補として除去されるため、正しい文字認識を行うことができ、文字列の周囲に位置不定の枠線が存在していた場合でも、当該文字列を精度よく認識できるパターン認識装置、パターン認識方法及び文字認識方法を提供することができる。
また、枠状の物体又は枠状の図形を含む同一の被写体物を時系列的に撮像した複数の画像の中から、前記枠状の物体又は枠状の図形の周囲の画像を含む枠周囲画像を切り出し、前記複数の画像に対応する各々の該枠周囲画像に対してそれぞれ文字認識を行って複数の文字認識候補の文字を算出し、該文字認識候補の文字列のうち、部分集合の一致度合いが高い文字列を文字認識結果として出力するようにすれば、枠の位置が特定できない連続した動画像であって、しかも、文字の桁数や文字配置の種類が多数存在する場合であっても、文字画像を誤って非文字と誤認識することがない。これは、文字以外の画像に対して認識した結果は、不定文字と判定されるか、あるいは、安定して同一の文字として認識されないからである。
また、前記枠周囲画像を上下にサーチして文字領域を含まない部分を検出し、該文字領域を含まない部分を前記枠周囲画像から削除し、該該文字領域を含まない部分を削除した枠周囲画像に対して文字認識を行うようにすれば、枠との干渉によって文字が誤って排除されるという、セグメンテーション誤りを抑制することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態を、特に限定しないが、「車両ナンバープレート読み取り装置」への適用を例にして図面に基づいて説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等（以下「周知事項」）についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。
【００２３】
図１は、車両ナンバープレート読み取り装置のシステム構成図である。この図において、自動車等車両（以下「自車」という。）１０に搭載された車両ナンバープレート読み取り装置１１（パターン認識装置）は、テレビカメラ１２（撮像手段）と、コントロールユニット１３と、ディスプレイユニット１４とを備える。
【００２４】
テレビカメラ１２は、所定画角の撮影レンズ１５を任意方向（ここでは自車１０の前方とする。）に向けて車体に取り付けられており、自車１０の前方画像を所定の短い周期（たとえば、毎秒３０フレーム程度）で撮影し、時系列的に連続した静止画の集まりである動画を生成し、コントロールユニット１３に出力する。ここで、テレビカメラ１５は、上記の動画を生成できる撮像デバイスを備えたものであればよく、原理的には、たとえば、真空管方式の撮像管を用いたものであってもよいが、消費電力や重量の点で、ＣＣＤ（Charge Coupled Devices）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラなどの半導体撮像デバイスの使用が望ましい。さらに、屋外におけるあらゆる明るさの撮影環境を考慮すると、とりわけダイナミックレンジが広いカメラ（たとえば、ＣＭＯＳカメラ）の使用が望ましい。但し、発明の思想上は、テレビカメラ１５の具体的構成は限定されない。自車１０の前方画像を所定の短い周期（一定の周期が望ましいが、極端に異ならなければ不定の周期でも構わない。）で撮影し、時系列的に連続した静止画の集まりである動画を生成して出力できるものであればよい。
【００２５】
コントロールユニット１３は、テレビカメラ１５からの動画を用いて、認識対象車両（ここでは自車１０の前方に位置する「先行車１６」とする。）のナンバープレート１７の文字列（車両ナンバー）を認識するものであり、また、ディスプレイユニット１４は、文字認識の結果を表示して自車１０の乗員（運転者等）に知らせるものである。
【００２６】
図２は、車両ナンバープレート読み取り装置１１の概念的な機能ブロック図である。車両ナンバープレート読み取り装置１１は、機能別に、画像入力部１８（撮像手段）、位置検出部１９（切り出し手段）、上下方向背景除去部２０（パターン認識行取り出し手段）、文字認識部２１（抽出手段）、補正処理部２２（除去手段）、認識結果出力部２３（出力手段）及び制約条件記憶部２４の各部に分けることができる。
【００２７】
画像入力部１８は、自車１０の前方画像を所定の短い周期で撮影し、時系列的に連続した静止画の集まりである動画を生成して出力するものであり、この画像入力部１８は、上記のテレビカメラ１５に相当する。なお、画像の“入力部”としているのは、テレビカメラ１５の出力画像だけに限定されることなく、たとえば、ビデオ装置の再生画像であってもよいことを意味する。
【００２８】
画像入力部１８以外の各部、すなわち、位置検出部１９、上下方向背景除去部２０、文字認識部２１、補正処理部２２、認識結果出力部２３及び制約条件記憶部２４は、コントロールユニット１３の内部機能ブロックであり、たとえば、コントロールユニット１３がコンピュータとその周辺回路によって構成されているものとするとき、それらのコンピュータや周辺回路等のハードウェアリソースと、当該コンピュータの基本プログラムや各種の応用プログラムなどのソフトウェアリソースとの有機的結合によって実現される機能ブロックであるが、言うまでもなく、それらの機能の全て又は一部をハードロジックで構成しても構わない。
【００２９】
図３は、車両ナンバープレート読み取り装置１１のシステム全体の動作フローを示す図である。この図において、ステップＳ１は画像入力部１８の動作工程（撮像工程）、ステップＳ２は位置検出部１９の動作工程（切り出し工程）、ステップＳ３は上下方向背景除去部２０の動作工程（パターン認識行取り出し工程）、ステップＳ４は文字認識部２１の動作工程（抽出工程）、ステップＳ５は補正処理部２２の動作工程（除去工程）、ステップＳ６は認識結果出力部２３の動作工程（出力工程）である。車両ナンバープレート読み取り装置１１は、これらのステップＳ１〜ステップ６を逐次に実行しながら、先行車１６のナンバープレート１７の文字列（車両ナンバー）を認識し、その認識結果をディスプレイユニット１４に表示するという動作を自車１０の走行中、繰り返し実行する。
【００３０】
なお、ここでは、先行車１６の車両ナンバーの認識結果を単にディスプレイユニット１４に表示しているだけであるが、これに限定されない。たとえば、別途に車両ナンバー登録用のデータベースを備えておき、先行車１６の車両ナンバーの認識結果とデータベースの登録情報とを照合して一致／不一致をディスプレイユニット１４に表示するようにしてもよい。このようにすると、たとえば、盗難車両の照合作業を自動化することができる。
【００３１】
まず、ステップＳ１で、先行車１６を含む動画像を時系列的に連続して取り込み、続くステップＳ２〜ステップＳ６で、動画像を構成する各静止画（フローチャートでは“１画像”と称している。）ごとに所要の処理を行う。すなわち、ステップＳ２で、静止画からナンバープレート１７の画像（少なくともプレート枠と文字列とを含む画像）を切り出し、ステップＳ３で、ナンバープレート１７の切り出し画像から文字列が存在する行の画像（文字列とその文字列の前後に位置するプレート枠とを含む画像）を取り出す。次に、ステップＳ４で、文字列が存在する行の画像から当該行を除く上下の背景を除去して、その背景を除去した画像に含まれる文字を認識し、認識された文字列を仮認識文字列として出力する。次に、ステップＳ５で、ＤＰマッチング処理を行い、仮認識文字列の部分集合の一致度合いが高い文字列を補正認識文字列として決定して出力する。そして、最後に、補正認識文字列をもとに認識結果を判定して、その判定結果をディスプレイユニット１４に出力する。なお、図２の制約条件記憶部２４については後で説明する。
【００３２】
各部の動作を詳しく説明する。
図４は、位置検出部１９の具体的な動作フローを示す図である。
まず、ステップＳ２ａで、画像入力部１８で入力された動画像から１フレームの画像（静止画）を取り出す。
【００３３】
図５は、画像入力部１８で入力された動画像２５を示す図である。動画像２５は、自時系列的に連続した静止画の集まりである動画であり、各々の静止画は図中の符号Ｆ１、Ｆ２、Ｆ３、・・・・で示されている。
【００３４】
次いで、ステップＳ２ｂで、１フレームの画像（静止画）のエッジ抽出を行う。
図６は、エッジ抽出画像２６を示す図である。エッジ抽出とは、画像中の輪郭線を際立たせる処理のことをいう。図示のエッジ抽出画像２６では、先行車１６の後部画像のうち、ボディ外形、リアウィンドウ、テールランプ等の灯火具、リアバンパー、テールゲート開閉ノブなどの輪郭線が強調表示（図では白レベル強調）されていると共に、ナンバープレート外枠と、そのプレート内の文字の外形線も同様に強調表示されている。
【００３５】
次に、ステップＳ２ｃで、エッジ抽出画像２６のサイズを小さくする。ここでは、便宜的にエッジ抽出画像２６のサイズを１９３×９６画素（ピクセル）とし、それを３２×１６画素にサイズに圧縮するものとする。
【００３６】
次いで、ステップＳ２ｄで、サイズ圧縮したエッジ抽出画像２６の中から注目領域（ここではナンバープレート１７）の重心を求める。
【００３７】
図７は、注目領域（ここではナンバープレート１７）の重心を求める際に用いられる概念図であり、ここでは、ニューラルネットワーク（以下「ＮＮ」と略す。）を例にしている。図示のＮＮは、入力層２７、中間層２８及び出力層２９の３層構造を有しており、中間層２８にはナンバープレートの重心座標が学習されている。また、ナンバープレート以外の、たとえば、リアウィンドウ、テールランプ等の灯火具、リアバンパー、テールゲート開閉ノブなどについては抑制学習を行う。入力層２７にサイズ圧縮したエッジ抽出画像２６を与えると、出力層２９からナンバープレートの重心の位置が取り出される。
【００３８】
最後に、ステップＳ２ｅで、ナンバープレートの重心を元画像サイズに投影加算し、部分画像（ナンバープレート領域を含む画像）の切り出し位置を決定し、ステップＳ２ｆで、ナンバープレート画像とその位置を出力する。なお、投影加算の際に、ガウスフィルタを掛けることによって近似的に連続的な分布を作ることができ、位置検出の精度を高めることができる。
【００３９】
図８は、ナンバープレート画像の例を示す図である。図（ａ）において、ナンバープレート画像３１（切り出し画像）は、車両ナンバーの文字列（図では一例として米国ナンバーの“４ＵＭＶ８４４”を示している。）と、その文字列の周囲を取り囲む横長矩形状の枠線とを含み、いずれも白抜きのエッジ線で強調されている。図（ｂ）は、画素数を削減して圧縮したナンバープレート画像３２を示す図である。
【００４０】
図９は、上下方向背景除去部２０の具体的な動作フローを示す図である。
まず、ステップＳ３ａで、ナンバープレート画像３２を入力し、次いで、ステップＳ３ｂで、垂直エッジ画像を水平方向に投影してヒストグラムを作成する。
【００４１】
図１０は、ナンバープレート画像３２とそのヒストグラム分布図である。図（ａ）において、ナンバープレート画像３２の周囲の黒い部分は、ナンバープレートの装飾枠であり、装飾枠に囲まれた白色部分の文字列（“４ＷＰＤ６０２”）は車両ナンバーである。また、車両ナンバーの若干上部には、判読不能な文字列が認められ、また、装飾枠の内部にも、二箇所程度の判読不能な文字列が認められる。
【００４２】
図（ｂ）は、垂直方向のエッジだけを強調した画像３４である。この垂直エッジ強調画像３４には、読み取り対象の文字列（車両ナンバー）３４ａの他に、上記の判読不能文字列に相当するいくつかの文字列３４ｂ、３４ｃ、３４ｄや、ナンバープレートの装飾枠の垂直エッジ部３４ｅ、３４ｆなどの不要部分が含まれている。
【００４３】
さて、このようなナンバープレート画像３２の垂直エッジ画像を水平方向に投影してヒストグラムを作成すると、図（ｂ）に示すように、中央付近の大きな山３５ａと、その上下に位置する小さな二つの山３５ｂ、３５ｃとを有するヒストグラム３５が得られる。大きな山３５ａは、読み取り対象の文字列（車両ナンバー）３４ａの位置を表し、小さな二つの山３５ｂ、３５ｃは、それぞれ読み取り不要文字列３４ｂ、３４ｃ、３４ｄの位置を表している。大きな山３５ａと、小さな二つの山３５ｂ、３５ｃは、明らかに異なっており、特に、大きな山３５ａの裾幅Ａは、小さな二つの山３５ｂ、３５ｃのそれよりも遙かに大きいから、読み取り対象の文字列（車両ナンバー）３４ａの行位置を確実に特定することができる。
【００４４】
したがって、ステップＳ３ｃで、ヒストグラム３５の分布に基づき、画像３４の中心から上下方向に文字列行の検索を行い、ステップＳ３ｄで、文字列行の幅と上下端情報を算出し、ステップＳ３ｅで、プレート領域を含む画像３４に判別分析法による二値化を行い、ステップＳ３ｆで、上下端情報を元に、二値化された画像から文字を含まない上下部分の背景除去を行う。これにより、読み取り対象の文字列（車両ナンバー）３４ａの行のみの画像を取り出すことができる。
【００４５】
図１１は、そのようにして取り出された読み取り対象の文字列（車両ナンバー）３４ａの行のみの画像３６（パターン認識行の画像）を示す図である。図１０の元画像３４と比較すると、読み取り対象の文字列（車両ナンバー）３４ａの行の上下の余分な部分が除去されている。但し、この画像３６は、読み取り対象の文字列（車両ナンバー）３４ａの前後（図面の左右方向）に、ナンバープレートの装飾枠の垂直エッジ部３４ｅ、３４ｆが残っているため、この不要部分を文字として誤認（図示の例の場合は縦棒であるから“Ｉ”や“１”などと誤認）するおそれがある。この不要部分は、次の文字認識部２１と補正処理部２２で取り除かれる。
【００４６】
図１２は、文字認識部２１の具体的な動作フローを示す図である。
この文字認識部２１では、まず、ステップＳ４ａで、ラベリングされた文字の大きさを１２×２４画素に正規化し、次いで、ステップＳ４ｂで、３層英数字認識用ＮＮに入力する。
【００４７】
図１３は、３層英数字認識用ＮＮの概念構造図である。この図において、識別する英数字は“０〜９”、“Ａ〜Ｚ”及び“その他”の３７文字とするが、これは説明の便宜である。３層英数字認識用ＮＮは、入力層３７、中間層３８及び出力層３９からなり、ラベリングされた文字画像４０を入力層３７に与えると、各桁３７文字の中で、もっとも出力値が高いものを当該文字画像４０の文字認識結果として出力する。
【００４８】
図１４は、補正処理部２２の具体的な動作フローを示す図である。
この補正処理部２２では、まず、ステップＳ５ａで、文字認識部２１が出力した文字認識候補を入力し、ステップＳ５ｂで、ＤＰマッチングにより、文字認識候補間の距離が最短で且つ部分集合の一致度合いが最も高い位置を算出する。そして、一致度合いがもっとも高い位置からの文字列を最終的な補正文字認識結果として出力する。
【００４９】
ここで、動画像におけるフレーム毎のナンバープレート文字切り出し精度は、環境変化や車体色などに影響を受けるために安定しない。さらに、車両走行中は画像ブレが生じるため、頻繁に切り出しミスが起き、文字列の桁数を誤る場合も多い。たとえば、バンパーやプレートの境目などを切り出してしまい、文字と誤判定してしまう現象はその典型的な例である。
【００５０】
我が国のナンバープレートは桁数が既知であり、陸支コードや車種コードなども、文字の小ささを除けば数字のみで構成されている。したがって、我が国のナンバープレートを対象とする限り、車両ナンバーや陸支コード及び車種コードの既知の位置情報を用いて補正を行うことも可能であるが、海外のナンバープレートでは、桁数が一定でないものや、また、英数字の組み合わせでだけでなく、記号やマークなどの使用も認められているものもあり、こうした外国のナンバープレートを対象とする場合に、とりわけ誤判別を起こしやすい。
【００５１】
そこで、本実施形態においては、前フレームの認識結果を用いて、現フレームの文字切り出し結果を補正する手法を用いる。この手法では、認識対象とする文字列の桁数は未知であっても構わない。前フレームで切り出された文字列と現フレームの文字列の対応点を求めて、切り出し位置のずれを吸収することにより、誤りを補正する。
【００５２】
対応点の算出には、ＤＰマッチングを用いる。
図１５は、補正処理部２２におけるＤＰマッチングの概念図である。また、次式（１）は、ＤＰマッチングの計算式であり、この式（１）を用いて、前フレームと現フレームとの認識文字列間の最短距離を算出し、その位置を現フレームの補正結果とする。また、位置補正処理後の文字列を時系列データとして文字列スタックに投票し、桁位置ごとに最も出現頻度の高い文字を最終認識結果とする。
【００５３】
【数１】
2005352705.tif 000003
【００５４】
ここで、ｉ、ｊは、それぞれ現フレームと前フレーム内の認識文字の桁位置。ｇ（ｉ、ｊ）は認識文字列の始端から文字（ｉ、ｊ）までの累積距離である。この距離が最短となる位置を現フレームの補正位置とする。
【００５５】
図１６は、認識結果出力部２３の具体的な動作フローを示す図である。
認識結果出力部２３では、ステップＳ６ａで、補正文字認識結果の入力があるか否かを判定し、補正文字認識結果の入力があれば、次に、ステップＳ６ｂで、所定の制約条件を満たしているか否かを判定する。そして、所定の制約条件を満たしていれば、ステップＳ６ｃで、補正文字認識結果が連続して同一であるか否かを判定し、補正文字認識結果が連続して同一であれば、ステップＳ６ｄで、その補正文字認識結果をディスプレイユニット１４に出力する。
【００５６】
なお、所定の制約条件とは、図２の制約条件記憶部２４に記憶されている情報のことである。
図１７は、制約条件記憶部２４に記憶されている情報の一例を示す図である。図示の例では、４つの制約条件が記憶されている。第一の制約条件４１は、「桁数が最小文字数以下のときあるいは最大文字数以上のときには認識結果として出力しない。」というものであり、第二の制約条件４２は、「認識候補文字列が開始文字列に登録されている文字列で始まり、最小文字数以下又は最大文字数以上のときには認識結果として出力しない。」というものであり、第三制約条件４３は、「認識候補文字列の中に中間文字列に登録されている文字列が存在し、最小文字数以下又は最大文字数以上のときには認識結果として出力しない。」というものである。
【００５７】
次に、本実施形態の車両ナンバープレート読み取り装置１１の評価実験について説明する。
評価実験で使用した画像データは、カリフォルニア州の高速道路走行中に、自車１０の前方の視野内をＣＣＤカメラで撮影した多数のモノクロ画像（有用範囲８ビットで切り出した画像）を使用した。画像サイズは６４０×４８０画素である。また、大きな輝度変化に対応するため、ダイナミックレンジの広いＣＣＤカメラを用いた。画像データベースにはナンバープレートが写し込まれている４６種のシーンを格納した。なお、目視でも文字列が読み取れないシーンはデータベースから除去してある。表１に画像データの数を示す。
【００５８】
【表１】
2005352705.tif 000004
【００５９】
画像データは、大きく分けて装飾枠（ナンバープレートの装飾枠）が取り付けてあるものと、装飾枠がないものとに分類される。また、７桁の英数字列のものを標準レイアウトとし、それ以外のものを特殊レイアウトとする。
【００６０】
まず、位置検出処理について説明する。評価実験では、位置検出ＮＮの学習データとして、画像データベースに収められている全１６３９２枚の画像の中から、ナンバープレートが全て異なるように無作為に取り出した５３枚の画像を用いた。また、車のテールランプ部分やエンブレムなど、ＮＮが誤反応しやすい部分が含まれる１７枚の画像を抑制学習に用いた。
【００６１】
位置検出処理において、前フレームでナンバープレートの重心位置が判明している場合には、現フレームを探索するときに画像全体を検索する必要はない。また、画像ブレなどによりエッジが不鮮明な場合は、位置検出ＮＮが背景などに誤反応することもある。そこで、ナンバープレートの位置が前フレームの    処理で判明している場合には、次フレームでその座標近傍のみを探索することにした。これにより、計算量を最小限に抑え、処理速度を向上させることができた。
【００６２】
図１８は、フレーム間移動距離の分布図、図１９（ａ）は、探索領域限定による効果を示す図である。評価に用いた動画像データでのナンバープレートフレーム間移動距離は、図１８のフレーム間移動距離の分布図４５ａ、４５ｂに示すように、ｘ軸方向に最大３５画素、ｙ軸方向に２５画素である。図１９（ａ）の探索領域限定による効果図４６に示すように、各フレームを全検索する方法（棒グラフ４６ａ）に比べて、現フレームの位置検出座標から次フレームの検索領域を制限する方法（棒グラフ４６ｂ）は、位置検出精度が８７．１％（１４２８３／１６３９２）から９４．２％（１５４４６／１６３９２）となり、平均フレームレートは毎秒７．８フレームから毎秒１３．８フレームと大幅に向上した。さらに、文字認識処理においては、英数字が１文字も認識できない場合にも、非存在フレーム、もしくはナンバープレート重心位置の誤検出と判断する（棒グラフ４６ｃ）ことにより、認識率は９５．１％（１５５８３／１６３９２）となり、平均フレームレートも毎秒１４．３フレームに向上した。
【００６３】
位置検出処理により切り出された装飾枠なしのナンバープレート画像（１０６７４枚）と装飾枠ありの画像（４９０９枚）を用いて英数字認識を行った。垂直方向エッジ情報を用いて、文字列の上下端を推定することで、文字列下端に接触している装飾枠などの背景領域を効果的に除去することができた。文字の上下端を決定する閾値は予備実験により、ヒストグラムの最大となる「頻度×０．０８５」とした。この手法により、装飾枠なしのナンバープレート英数字の８９．１％（９５１１／１０６７４）に加え、さらに、装飾枠ありの英数字の８３．５％（４０９９／４９０９）も切り出すことができた。
【００６４】
文字認識処理で得られた文字列情報を用いて、ＤＰマッチングにより前フレームの文字列との対応点を求め、桁位置補正処理を行った。英数字認識ＮＮのみの場合の認識率は７２．５％であるが、ＤＰマッチングを用いた文字列補正処理を加えたことで、桁位置ずれや文字の脱落による誤認識が補正され、認識率９７．８％を得た。
【００６５】
図１９（ｂ）は、ＤＰマッチングによる認識改善例を示す図である。この図において、補正処理なしの場合は、シーンの最後まで誤認識フレームが断続的に存在するのに対し、ＤＰマッチングを用いた補正処理を加えた場合は、始めの２５フレーム程度で認識結果が確定した。これにより、誤認識フレームが補正されていることが確認できた。文字列先頭のセグメンテーション誤りによる誤認識や輝度変化による脱落誤りが生じた場合も同様に認識結果が補正された。
【００６６】
以上のとおり、車両搭載型のナンバープレート認識システムとその評価実験について述べたが、従来のＮＮ法による位置検出処理と文字認識処理に、動画像としての時系列情報を加えたことにより、撮影環境がリアルタイムに変化していくシーンにおいても、車両ナンバーを高精度に認識できることを確認できた。また、従来法では困難であった文字列にナンバープレートの装飾枠が隣接しているような場合においても、適応的に文字列を分離することが確認できた。
【００６７】
以上のとおりであるから、本実施形態によれば、時系列的に同一対象（先行車１６のナンバープレート１７を含む被写体）を撮影して得られた動画を構成する複数の静止画の中で文字を含む枠の位置が特定できない複数の画像から、文字の桁数と文字配置の種類が多数あった場合であっても、装飾の制約条件が少ない枠内にある文字部分の画像にある文字の文字認識を正しく行うことができるという優れた効果が得られる。
【００６８】
また、枠内に表記されたすべての文字と絵を分離して文字認識をしなくても、英数字のみや英数字とカタカナなどの限られた文字のみを正確に認識することができれば、以下に示すような様々な用途で利用できる。
【００６９】
たとえば、車載カメラを使って先行車のナンバープレートや、道路標識、あるいは、看板などに表記された文字を認識して利用することができる。利用の仕方としては、車両の追跡や盗難車等の特定、環境情報や公国情報の取得など様々なものが考えられる。なお、ナンバープレートでは、登録番号の部分が読み取れればよい。
【００７０】
また、動画カメラ付携帯電話に応用してもよい。ポスターやメニュー又は看板などに表記された文字を携帯電話機のカメラで撮影して認識し利用することができる。利用例としては、表記された電話番号やメールアドレスを認識してメールを送信したり電話を掛けたり、または、看板に表記された店舗名を認識して電話番号を検索したり電話を掛けたり、様々なものが考えられる。
【００７１】
また、ビデオカメラで撮影した画像をパソコンなどの画像処理装置に入力して、入力した画像のなかで撮影されていた枠で囲まれた表示板、ポスター、看板、標識、値札、番号札、名札、ナンバープレートなどに表記された文字を認識して利用してもよい。利用例は、画像編集のタイトルとして使ったり、シーン検索のキーワードとして使ったり、または、撮影対象を特定するために使ったりすることができる。
【００７２】
これらの用途で共通する画像の特徴は、時系列で撮影された画像に同じ枠の画像が繰り返して現れる、画像のなかの枠の位置をあらかじめ知ることができない、画像ごとに文字画像の認識しやすさが変動することがある（詳しくは、カメラの動きや対象の動きによって画像中の枠の位置が移動することがある、自然光や照明、影などの環境変化によって枠や文字の照度が変動することがある、カメラと枠を構成する物体との間にある物体の影響で枠や文字が一時的に隠れることがある、枠内に文字以外で大きさと形状が文字と類似する画像が含まれることがある）、などである。
【００７３】
また、ナンバープレートや、道路標識、表示板など特定目的に使われる枠に含まれる画像には、さらに、枠内に表記される文字の種類と大きさや位置には制約がある、文字以外の画像の表記に制約がある、などの特徴がある。これらの特徴を活用することで、さらに認識率を向上させることができる。
【００７４】
本発明では、前記の応用を可能とするため繰り返して撮影した画像（同一対象を複数回撮影して得られる時系列の画像）に含まれる枠の画像に関する特徴を最大限に活用して、枠内に表記された文字のうち限定された文字に関して正確に認識できるようにする。
【００７５】
同一対象を複数回撮影して得られる時系列の画像には、枠の位置はカメラと枠の関係において制約された条件で画像内を移動することがある、時系列画像の中で枠内の同じ位置にある文字において、認識しやすい画像と認識しにくい画像があり、繰り返して撮影して認識すると正しい認識結果が含まれることがある、などの特徴がある。
【００７６】
前後の画像の文字に対応関係があるが、誤認識の可能性があるので完全に一致するとは限らない。このため、複数回撮影した画像の特徴を使って認識精度を向上させようとすると、１枚の画像から文字認識を行う場合には発生しない以下の課題についても解決する必要がある。
【００７７】
つまり、枠の画像内の位置が変動しても対応できるようにして、同じ枠の画像を使って認識精度を向上させる必要がある。また、表記された文字列の文字数は既知ではなく、枠内で認識される文字は全て正しい場合もあるが、誤認識された文字を含むことがあるので、そのような文字認識候補の対応関係をもとに一致度合いを算出して補正するためには、枠内の文字列の前後の部分で抜けが無いように認識する必要がある。また、複数回撮影しても、枠内の文字が枠あるいは枠の外側にあると誤認識されると、認識文字候補として出力されないので、補正できなくなる。また、一致度合いを計算できるためには、認識できない文字が含まれている場合にも、文字認識の際に文字抜けが発生しないようにして文字列の対応関係に関する情報が失われないように、認識できている文字の認識結果を出力する必要がある。
【００７８】
前記、複数回撮影した画像を使って認識精度を向上させるときの課題を以下のようにすることによって解決する。
（イ）以前の画像に対して行った文字認識で枠内に文字列が認識されている場合には、その位置情報をもとに次フレームの探索範囲を限定して、前回の枠とは異なる画像を切り出すことを避ける。
（ロ）文字列の長さ方向に枠周辺の画像を含む画像に対して予測される最大文字数で認識を行い、そこに含まれる文字以外の画像部分を含めて認識し、文字列の抜けが無いように認識する。
（ハ）他の文字や文字以外の画像を、限定された文字と誤認識しないように文字認識を行い、認識できない文字を不定文字として、認識候補文字列の文字の対応関係がずれないように一致度合いを算出する。
【００７９】
なお、文字認識において、類似度が最も近い文字を認識結果とする方式では、英数字以外の文字を英数字と誤認識してしまうので、それをさけるために英数字のいずれかと類似度が高いときにそれを認識候補として出力し、英数字のいずれとも類似度が低い場合には不定文字を認識候補として出力することが望ましい。
【００８０】
以上のとおりにすると、ナンバープレートの位置が特定できない連続した動画像から、文字の桁数と文字配置の種類が多数あり、装飾の制約条件が少ないナンバープレートにおいて、文字画像を誤って文字でないと誤認識することが抑制される。
【００８１】
また、文字以外の画像に対して認識した結果は文字認識部で不定文字と判定されるか、安定して同一の文字として認識されないので、補正処理で排除される。また、枠や装飾と干渉することで文字が誤って排除されるセグメンテーション誤りが抑制される。また、ナンバープレートの一部しか画像に含まれていないとき桁数が少ないときに、撮影範囲に入った文字のみを認識して、撮影範囲外の文字が脱落した認識結果が出力されない。また、ナンバープレートの部分が撮影範囲外から撮影範囲内に移動するときに、一部の文字が脱落する誤認識が発生しない。また、ナンバープレートの部分が撮影範囲内から撮影範囲外に移動するときに、一部の文字が脱落する誤認識が発生しない。
【図面の簡単な説明】
【００８２】
【図１】車両ナンバープレート読み取り装置のシステム構成図である。
【図２】車両ナンバープレート読み取り装置１１の概念的な機能ブロック図である。
【図３】車両ナンバープレート読み取り装置１１のシステム全体の動作フローを示す図である。
【図４】位置検出部１９の具体的な動作フローを示す図である。
【図５】画像入力部１８で入力された動画像２５を示す図である。
【図６】エッジ抽出画像２６を示す図である。
【図７】注目領域（ここではナンバープレート１７）の重心を求める際に用いられる概念図である。
【図８】ナンバープレート画像の例を示す図である。
【図９】上下方向背景除去部２０の具体的な動作フローを示す図である。
【図１０】ナンバープレート画像３２とそのヒストグラム分布図である。
【図１１】読み取り対象の文字列（車両ナンバー）３４ａの行のみの画像３６を示す図である。
【図１２】文字認識部２１の具体的な動作フローを示す図である。
【図１３】３層英数字認識用ＮＮの概念構造図である。
【図１４】補正処理部２２の具体的な動作フローを示す図である。
【図１５】補正処理部２２におけるＤＰマッチングの概念図である。
【図１６】認識結果出力部２３の具体的な動作フローを示す図である。
【図１７】制約条件記憶部２４に記憶されている情報の一例を示す図である。
【図１８】フレーム間移動距離の分布図である。
【図１９】探索領域限定による効果を示す図及びＤＰマッチングによる認識改善例を示す図である。
【図２０】枠線で囲まれた文字列画像の一例を示す図である。
【符号の説明】
【００８３】
Ｓ１  ステップ（撮像工程）
Ｓ２  ステップ（切り出し工程）
Ｓ３  ステップ（パターン認識行取り出し工程）
Ｓ４  ステップ（抽出工程）
Ｓ５  ステップ（除去工程）
Ｓ６  ステップ（出力工程）
１１  車両ナンバープレート読み取り装置（パターン認識装置）
１２  テレビカメラ（撮像手段）
１８  画像入力部（撮像手段）
１９  位置検出部（切り出し手段）
２０  上下方向背景除去部（パターン認識行取り出し手段）
２１  文字認識部（抽出手段）
２２  補正処理部（除去手段）
２３  認識結果出力部（出力手段）
３１  ナンバープレート画像（切り出し画像）
３６  画像（パターン認識行の画像）
【図１】
2005352705.tif 000005
【図２】
2005352705.tif 000006
【図３】
2005352705.tif 000007
【図４】
2005352705.tif 000008
【図５】
2005352705.tif 000009
【図６】
2005352705.tif 000010
【図７】
2005352705.tif 000011
【図８】
2005352705.tif 000012
【図９】
2005352705.tif 000013
【図１０】
2005352705.tif 000014
【図１１】
2005352705.tif 000015
【図１２】
2005352705.tif 000016
【図１３】
2005352705.tif 000017
【図１４】
2005352705.tif 000018
【図１５】
2005352705.tif 000019
【図１６】
2005352705.tif 000020
【図１７】
2005352705.tif 000021
【図１８】
2005352705.tif 000022
【図１９】
2005352705.tif 000023
【図２０】
2005352705.tif 000024