(57)【要約】【課題】  分離文字の抽出精度、文字認識精度を向上させる。【解決手段】  入力された画像から文字塊を抽出し、文字塊または当該文字塊の組み合わせを１つの文字画像として、複数の文字画像で構成される複数の文字列パターンを生成する。その生成された各文字列パターンにおける各文字画像を文字認識することにより、その文字認識結果とその類似度を得る。そして、各文字画像の文字認識結果と類似度とに基づいて、文字列パターンそれぞれについて合計類似度を算出して、最も高い文字列パターンの情報を選択する。その際、文字認識結果が特定文字である文字画像が文字列パターンに含まれている場合、当該特定文字に関する類似度を相対的に低くする重みを付与してから、当該文字列パターンの合計類似度を算出するようにする。【選択図】  図６
2008217348.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像から文字塊を抽出する文字塊抽出手段と、
前記文字塊または当該文字塊の組み合わせを１つの文字画像として、複数の文字画像で構成される複数の文字列パターンを生成する文字列パターン生成手段と、
前記生成された各文字列パターンにおける各文字画像を文字認識することにより、その文字認識結果とその類似度を得る文字認識手段と、
前記文字認識手段で得た各文字画像の文字認識結果と類似度とに基づいて、前記文字列パターンそれぞれについて合計類似度を算出する算出手段と、
前記算出手段で算出した合計類似度が最も高い文字列パターンの情報を選択する選択手段と、を有する文字認識装置であって、
前記算出手段は、前記文字認識結果が特定文字である文字画像が前記文字列パターンに含まれている場合、当該特定文字に関する類似度を相対的に低くする重みを付与してから、当該文字列パターンの合計類似度を算出することを特徴とする文字認識装置。
【請求項２】
前記算出手段は、前記文字認識結果が特定文字である文字画像が前記文字列パターンに含まれている場合、当該特定文字に関する類似度を相対的に低くする重みを付与した後、当該類似度に当該文字画像を構成している文字塊の個数を乗算し、その乗算結果の合計を算出することにより、前記合計類似度を算出することを特徴とする請求項１に記載の文字認識装置。
【請求項３】
前記特定文字は、特徴量の少ない単純な文字であることを特徴とする請求項１に記載の文字認識装置。
【請求項４】
前記特定文字は、数字の１であることを特徴とする請求項１に記載の文字認識装置。
【請求項５】
記憶媒体に格納されたプログラムを文字認識装置が実行することにより、
入力された画像から文字塊を抽出する文字塊抽出ステップと、
前記文字塊または当該文字塊の組み合わせを１つの文字画像として、複数の文字画像で構成される複数の文字列パターンを生成する文字列パターン生成ステップと、
前記生成された各文字列パターンにおける各文字画像を文字認識することにより、その文字認識結果とその類似度を得る文字認識ステップと、
前記文字認識ステップで得た各文字画像の文字認識結果と類似度とに基づいて、前記文字列パターンそれぞれについて合計類似度を算出する算出ステップと、
前記算出ステップで算出した合計類似度が最も高い文字列パターンの情報を選択する選択ステップと、の各ステップを、該文字認識装置が実行する文字認識方法であって、
前記算出ステップでは、前記文字認識結果が特定文字である文字画像が前記文字列パターンに含まれている場合、当該特定文字に関する類似度を相対的に低くする重みを付与してから、当該文字列パターンの合計類似度を算出することを特徴とする文字認識方法。
【請求項６】
コンピュータを、
入力された画像から文字塊を抽出する文字塊抽出手段と、
前記文字塊または当該文字塊の組み合わせを１つの文字画像として、複数の文字画像で構成される複数の文字列パターンを生成する文字列パターン生成手段と、
前記生成された各文字列パターンにおける各文字画像を文字認識することにより、その文字認識結果とその類似度を得る文字認識手段と、
前記文字認識手段で得た各文字画像の文字認識結果と類似度とに基づいて、前記文字列パターンそれぞれについて合計類似度を算出する算出手段と、
前記算出手段で算出した合計類似度が最も高い文字列パターンの情報を選択する選択手段として機能させるためのコンピュータプログラムであって、
前記算出手段では、前記文字認識結果が特定文字である文字画像が前記文字列パターンに含まれている場合、当該特定文字に関する類似度を相対的に低くする重みを付与してから、当該文字列パターンの合計類似度を算出するように機能させることを特徴とするコンピュータプログラム。
【請求項７】
請求項６に記載のコンピュータプログラムを格納した、コンピュータ読取可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字認識処理に関する。
【背景技術】
【０００２】
日本語の文書は、ある程度文字サイズや文字ピッチが一定である場合が多いが、漢字の偏と旁、平仮名の「い」や「に」など、左右や上下に分離する文字が多く、文字認識の際に文字切り出しが難しい。
【０００３】
そこで、行画像より垂直射影をとる等によって文字塊を切り出し、文字塊を結合して１文字と見なすことのできる文字パターンを生成する。そして、生成した全てのパターンについて文字認識を行い、認識結果の確からしさ（例えば、類似度や相違度）を評価することにより、文字パターンを選択し、文字として切り出す方法が考案されている（例えば、特許文献１参照）。
【特許文献１】特開平０１−３０３５８６
【発明の開示】
【発明が解決しようとする課題】
【０００４】
文字塊を結合して、複数の文字パターンを生成し、認識結果の情報を文字切り出しにフィードバックさせる前記従来方法は、文字切り出し精度や文字認識率の向上を期待できるが、左右に分離してしまう文字の切り出し精度に改善の余地が多い。例えば、「川」や「州」のような文字がそれにあたる。例えば、「川」の場合、３つの文字塊が別々の文字画像として分離されたパターンと、その３つの画素塊が１つの文字画像として分離されるパターンなどが考えられる。このとき、画素塊ごとに分離したパターンが数字の「１」やカタカナの「ノ」のイメージに非常に近くなるため、分離したパターンのほうが認識結果の確からしさを示す類似度が高くなり、それが文字として選択されやすくなってしまう。特に、ナンバープレートの陸運局名に使用されるフォントに関しては、文字間がつまっていたり、陸運局に応じて文字ピッチも様々であるため、その傾向が強い。このように、陸運局名と分類番号のような不定ピッチの文字列は、文字切り出しを更に難しくしている。
【０００５】
本発明では、このような分離文字の抽出精度を向上させる方法を提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の文字認識装置は、入力された画像から文字塊を抽出する文字塊抽出手段と、前記文字塊または当該文字塊の組み合わせを１つの文字画像として、複数の文字画像で構成される複数の文字列パターンを生成する文字列パターン生成手段と、前記生成された各文字列パターンにおける各文字画像を文字認識することにより、その文字認識結果とその類似度を得る文字認識手段と、前記文字認識手段で得た各文字画像の文字認識結果と類似度とに基づいて、前記文字列パターンそれぞれについて合計類似度を算出する算出手段と、前記算出手段で算出した合計類似度が最も高い文字列パターンの情報を選択する選択手段と、を有する文字認識装置であって、前記算出手段は、前記文字認識結果が特定文字である文字画像が前記文字列パターンに含まれている場合、当該特定文字に関する類似度を相対的に低くする重みを付与してから、当該文字列パターンの合計類似度を算出することを特徴とする。
【発明の効果】
【０００７】
数字の「１」などの単純な文字（特定文字）に対して、類似度が低めに算出されるような「重み」を付けるようにすることにより、文字画像の抽出精度ならびに文字認識結果の精度を向上させることができる。特に、文字ピッチが不定の文字列などに対して、顕著な効果が現れやすくなる。
【発明を実施するための最良の形態】
【０００８】
（実施例１）
図１は実施例１に係る文字認識装置（ナンバープレート認識装置）の概略構成を示すブロック図である。
【０００９】
１０１はＣＰＵであり、ＲＯＭ１０２に格納されている制御プログラムを実行することにより、本装置全体の制御を行う。１０２はＲＯＭであり、ＣＰＵ１０１が実行するコンピュータプログラムや各種パラメータデータを格納する。コンピュータプログラムは、ＣＰＵ１０１で実行されることにより、後述するフローチャートに示す各処理を実行するための各種手段として、当該装置（コンピュータ）を機能させる。なお、本実施例では、後述するフローチャートの各ステップに対応する処理を、コンピュータ（ＣＰＵ）を用いてソフトウェアで実現することとするが、その処理の一部または全部を電子回路などのハードウェアで実現するようにしても構わない。また、本発明の文字認識装置は、汎用パソコンを用いて実現してもよいし、文字認識（もしくはナンバープレート認識）専用の装置として実現するようにしても構わない。
【００１０】
１０３はＲＡＭであり、画像や各種情報を記憶する。また、ＲＡＭ１０３は、ＣＰＵのワークエリアやデータの一時待避領域として機能する。
【００１１】
１０４は外部記憶装置であり、辞書などの各種データを記憶する。外部記憶装置１０４は、例えば、ハードディスクやＣＤ−ＲＯＭ等で構成される。なお、本発明の装置をコンピュータに実現させるためのコンピュータプログラムは、このコンピュータ読取可能な外部記憶媒体に格納されていても構わないし、ネットワークを介して供給されるようにしても構わない。１０５はディスプレイであり、例えば、ＬＣＤやＣＲＴで構成される。
【００１２】
１０６は入力装置である。例えば、デジカメやスキャナ等の画像入力装置を接続するためのインターフェースであってもよいし、デジカメ等の画像入力装置そのものであっても構わない。また、デジタルカメラの機能の１つとして実現するために、デジカメ内部に本発明の装置構成を組み込んで実現しても構わない。
【００１３】
１０７はネットワークインターフェース（Ｉ／Ｆ）であり、ネットワーク上に接続されている外部装置（例えば、サーバ、外部記憶装置、画像入力装置等）と通信し、プログラムやデータを読み込んだり、書き込んだりする。尚、ネットワークは、典型的にはインターネットやＬＡＮやＷＡＮや電話回線などのいわゆる通信ネットワークであり、データの送受信が可能であれば良い。また、ディスプレイ１０５や入力装置１０６は、ネットワークインターフェース１０８を介して接続されていても良い。
【００１４】
このようなナンバープレート認識装置は、例えば図２に示すシステムにおいて実現される。図２は、本実施例１において採用可能なコンピュータシステムの構成例を示す図である。２０１はコンピュータ装置であり、デジタルカメラ２０２で撮影した画像データを受信して、ナンバープレートに記述されている文字認識のための処理を実行する。
【００１５】
次に、図１の文字認識装置における文字認識処理について説明する。
【００１６】
本実施例では、デジタルカメラ等で撮影した画像内に存在するナンバープレートの文字列を認識する。
【００１７】
図３はナンバープレートの一例である。日本のナンバープレートの場合には、３つの文字列領域が存在する。３０１は陸運局名と分類番号が記載される領域、３０２は平仮名（もしくはアルファベット）の領域、３０３は一連指定番号の領域である。
【００１８】
図４は、本実施例１の文字認識装置における文字認識処理を示すフローチャートである。
【００１９】
ステップＳ４０１で、入力された画像の二値化を行い、当該二値画像から文字塊の切り出しを行う。例えば、水平方向にヒストグラムをとって第１閾値以上の連続個所を文字行として抽出した後、更に、当該文字行部分で垂直方向に黒画素のヒストグラムをとり、第２の所定閾値以上の連続部分を文字塊として切り出すことができる。なお、この文字塊の切り出しは、二値画像を走査して上下左右斜め８方向のいずれかで連結した黒画素を検出し、縦横が所定サイズ以下の連結黒画素を文字塊として抽出するようにしてもよい。このようにして文字塊抽出が行われる。
【００２０】
次に、ステップＳ４０２では、縦横比などの所定条件を満たすような文字画像を生成するために、Ｓ４０１で切り出した文字塊（隣接する文字塊）を組み合わせて該所定条件を満たす文字画像を生成して、文字列パターン（文字塊の結合パターン）を生成する。文字塊を組み合わせる際に複数の組み合わせがある場合は、複数の文字列パターンが生成されることになる。
【００２１】
図５は、図３のナンバープレートの陸運局名と分類番号とについて処理した場合の例であり、５０１がステップＳ４０１の処理を行った後の文字塊のパターンである。そして、ステップＳ４０２の処理を行って図５の５０２〜５０６の文字列パターンを生成する。ここでは、縦横比に一定閾値を持たせ、その閾値内で収まるような文字塊の組み合わせを１つの文字画像として、文字列パターンとして生成している。
【００２２】
ステップＳ４０３では、各文字列パターンに含まれる文字塊の特徴量を文字認識辞書に格納されている特徴量と比較することによって、文字認識結果候補とその類似度を算出する。さらに、ステップＳ４０２で生成された文字列パターンごとの合計類似度を算出する。
【００２３】
ステップＳ４０４では、最も合計類似度の大きい文字列パターンを選択し、文字認識結果の最終的な文字列候補として出力する。
【００２４】
ここでステップＳ４０３の類似度算出の詳細について、図６〜図８を用いて説明する。
【００２５】
図６は本実施例１の類似度算出処理を示すフローチャートである。図７は、図５で示した全ての文字列パターンの組み合わせについて、それぞれの文字認識結果候補とその類似度、並びに、重み付けされた類似度を示す図である。
【００２６】
まず、ステップＳ６０１では、現在処理対象となっている文字列パターン（最初の処理の場合は１番目の文字列パターン）に含まれる各文字画像（１つの文字塊または文字塊の組み合わせ）を文字認識し、それぞれの認識結果候補文字と類似度を得る。類似度は、例えば、文字の特徴量と認識辞書に登録されている特徴量との距離（マハラノビス距離やユークリッド距離など）を用いて算出する。本実施例では、類似度が大きいものほど、正解である確率が高いものとする。
【００２７】
ステップＳ６０２で、異なる文字ピッチが存在する文字列かどうか判断する。異なる文字ピッチが存在する文字列であれば、ステップＳ６０３へ進み、それ以外はステップＳ６０５へ進む。図３の３０１の文字列であれば、異なる文字ピッチが存在する文字列であるので、ステップＳ６０３へ進むが、３０２、３０３の文字列であれば、ステップＳ６０５へ進む。なお、ナンバープレートにおいては、異なる文字ピッチが存在する文字列かどうかは、文字列の位置情報等から判別可能である。つまり、抽出した文字塊の相対的な位置関係に基づき、領域３０１、３０２，３０３の区別を行い、陸運局名と分類番号が記載される領域３０１に含まれる文字列に対しては、異なる文字ピッチが存在する文字列であると判断する。
【００２８】
ステップ６０３では、文字列の認識候補文字に数字の「１」が存在するかを検査する。存在すればステップ６０４へ、存在しなければステップ６０５へ進む。
【００２９】
ステップ６０４では、文字列において、数字の「１」と認識された文字の類似度に重み付けを行う。例えば、類似度に０．７を掛ける。つまり、数字の「１」と認識された場合は、その「１」と認識された文字画像の類似度が、他の文字画像の類似度に比べて相対的に低めの値になるように重みを付与する。図７は、「１」と認識された文字の類似度に０．７を掛けた例を示す。
【００３０】
ステップ６０５では、当該処理対象となっている文字列パターンについて類似度の合計（合計類似度）を算出する。なお、ステップＳ６０１で類似度算出した文字画像が文字塊を組み合わせて生成された文字画像である場合は、当該文字画像の類似度に、当該文字画像を構成している文字塊の個数を掛けて算出（乗算）した後、その乗算結果を合計に用いる。
【００３１】
文字列パターンの合計類似度を算出する式を以下に示す。
【００３２】
【数１】
2008217348.tif 000003
【００３３】
ステップ６０６では、すべての文字列パターンについて合計類似度を算出し終わったか否かを判断する。すべての文字列パターンについて合計類似度を算出したと判断すれば、類似度算出処理を終了し、まだ算出していない文字列パターンがあると判断すれば、次の文字列パターンを処理対象としてステップＳ６０１へ進む。
【００３４】
図８は、上記数式に基づき、図７に示した類似度を利用して、図５に示した全ての文字列パターンの合計類似度を算出した結果の例である。この結果、ステップＳ４０４では最も合計類似度が大きい文字列パターン５０５が選択されて、文字認識結果として出力されることになる。
【００３５】
このように、文字列に「川」や「州」などの分離されやすい文字画像が含まれている場合、どの位置で文字画像として切り出すべきかの判断基準を文字位置だけで判断するのは難しい。特に文字ピッチが可変の文字列から文字画像を抽出する場合は、更に難しくなる。また、数字の「１」などの単純な文字（特徴量の少ない文字）は、分離された文字塊との類似度が高くなりやすいという傾向がある。そこで、上述したように、本発明を用いて、数字の「１」などの特定文字に対して、類似度が低めになるような「重み」を付けるように構成することにより、文字の抽出精度ならびに文字認識結果の精度を向上させることができる。
【００３６】
なお、上述した例では、数字の「１」などの特定文字に対して、類似度が低く計算されるような重みを掛けるようにしたが、逆に、当該特定文字以外のその他の文字に対して類似度が高く計算されるような重み（例えば、１．２）を掛ける構成にしても構わない。
【００３７】
また、上述した例では、数字の「１」に対して重みをつける例について説明したが、その他の文字に対しても重みを付けるようにしても構わない。また、重みは０．７に限るものではなく、その特定文字の種類に応じて重みを変更するようにしても構わない。
【図面の簡単な説明】
【００３８】
【図１】実施例１に係る文字認識装置の概略構成を示すブロック図
【図２】文字認識装置の概略構成を示すシステム図
【図３】ナンバープレートの一例を示す図
【図４】文字認識処理を示すフローチャート
【図５】文字列パターンの組み合わせの例を示す図
【図６】類似度算出処理を示すフローチャート
【図７】各文字画像の文字認識結果の類似度の例を示す図
【図８】各文字列パターンの合計類似度の例を示す図
【図１】
2008217348.tif 000004
【図２】
2008217348.tif 000005
【図３】
2008217348.tif 000006
【図４】
2008217348.tif 000007
【図５】
2008217348.tif 000008
【図６】
2008217348.tif 000009
【図７】
2008217348.tif 000010
【図８】
2008217348.tif 000011