(57)【要約】【課題】文字が含まれる領域に影が掛かっている場合でも、その領域を撮影した画像から文字を正確に認識できる文字認識装置を提供する。【解決手段】文字認識装置は、画像上の文字を含む所定領域内の画素の輝度値のヒストグラムを生成するヒストグラム生成部２２と、ヒストグラムを複数のヒストグラムの山に分割する分割部２３と、各ヒストグラムの山を、組み合わせを変えつつ第１及び第２のグループの何れかに分類し、その組み合わせごとに、所定領域内の画素のうち、第１のグループのヒストグラムの山に対応する輝度値を持つ画素を第１の画素値とし、第２のグループのヒストグラムの山に対応する輝度値を持つ画素を第２の画素値とすることで所定領域の二値画像を複数生成する二値画像生成部２４と、二値画像ごとに写っている文字を検出し、その文字の確からしさを求め、確からしさが最高となる文字を、所定領域に含まれる文字とする認識部２５とを有する。【選択図】図３
2015014940.tif 000002
【特許請求の範囲】
【請求項１】
画像上の文字を含む所定領域内の画素の輝度値のヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラムを、複数のヒストグラムの山に分割し、前記ヒストグラムの山のそれぞれは、輝度値の頻度の極大値を含む分割部と、
前記複数のヒストグラムの山のそれぞれを第１のグループ及び第２のグループの何れかに分類し、かつ前記第１のグループに分類されるヒストグラムの山と前記第２のグループに分類されるヒストグラムの山の組み合わせを変え、前記組み合わせごとに、前記所定領域内の画素のうち、前記第１のグループに分類されたヒストグラムの山に対応する輝度値を持つ画素を第１の画素値とし、一方、前記第２のグループに分類されたヒストグラムの山に対応する輝度値を持つ画素を第２の画素値とすることによって前記所定領域の二値画像を複数生成する二値画像生成部と、
前記複数の二値画像のそれぞれについて、当該二値画像に写っている文字を検出するとともに、当該文字の確からしさを求め、前記複数の二値画像のそれぞれから検出された文字のうち、前記確からしさが最高となる文字を、前記所定領域に含まれる文字とする認識部と、
を有する文字認識装置。
【請求項２】
前記二値画像生成部は、前記複数のヒストグラムの山のうち、文字が写っている可能性のある山を前記第１のグループに分類し、他の山を前記第２のグループに分類した前記ヒストグラムの山の組み合わせに対応する二値画像のみを生成する、請求項１に記載の文字認識装置。
【請求項３】
前記二値画像生成部は、前記ヒストグラムの山の数が４個である場合、輝度値が高い方から順に１番目のヒストグラムの山と３番目のヒストグラムの山を第１のグループに分類し、かつ、２番目のヒストグラムの山と４番目のヒストグラムの山を第２のグループに分類した組み合わせに対応する二値画像と、１番目のヒストグラムの山と２番目のヒストグラムの山を第１のグループに分類し、かつ、３番目のヒストグラムの山と４番目のヒストグラムの山を第２のグループに分類した組み合わせに対応する二値画像とを生成する、請求項２に記載の文字認識装置。
【請求項４】
画像上の文字を含む所定領域内の画素の輝度値のヒストグラムを生成し、
前記ヒストグラムを、複数のヒストグラムの山に分割し、前記ヒストグラムの山のそれぞれは、輝度値の頻度の極大値を含み、
前記複数のヒストグラムの山のそれぞれを第１のグループ及び第２のグループの何れかに分類し、かつ前記第１のグループに分類されるヒストグラムの山と前記第２のグループに分類されるヒストグラムの山の組み合わせを変え、前記組み合わせごとに、前記所定領域内の画素のうち、前記第１のグループに分類されたヒストグラムの山に対応する輝度値を持つ画素を第１の画素値とし、一方、前記第２のグループに分類されたヒストグラムの山に対応する輝度値を持つ画素を第２の画素値とすることによって前記所定領域の二値画像を複数生成し、
前記複数の二値画像のそれぞれについて、当該二値画像に写っている文字を検出するとともに、当該文字の確からしさを求め、前記複数の二値画像のそれぞれから検出された文字のうち、前記確からしさが最高となる文字を、前記所定領域に含まれる文字とする、
ことを含む文字認識方法。
【請求項５】
画像上の文字を含む所定領域内の画素の輝度値のヒストグラムを生成し、
前記ヒストグラムを、複数のヒストグラムの山に分割し、前記ヒストグラムの山のそれぞれは、輝度値の頻度の極大値を含み、
前記複数のヒストグラムの山のそれぞれを第１のグループ及び第２のグループの何れかに分類し、かつ前記第１のグループに分類されるヒストグラムの山と前記第２のグループに分類されるヒストグラムの山の組み合わせを変え、前記組み合わせごとに、前記所定領域内の画素のうち、前記第１のグループに分類されたヒストグラムの山に対応する輝度値を持つ画素を第１の画素値とし、一方、前記第２のグループに分類されたヒストグラムの山に対応する輝度値を持つ画素を第２の画素値とすることによって前記所定領域の二値画像を複数生成し、
前記複数の二値画像のそれぞれについて、当該二値画像に写っている文字を検出するとともに、当該文字の確からしさを求め、前記複数の二値画像のそれぞれから検出された文字のうち、前記確からしさが最高となる文字を、前記所定領域に含まれる文字とする、
ことをコンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、画像上に写っている文字を認識する文字認識装置、文字認識方法及び文字認識用コンピュータプログラムに関する。
【背景技術】
【０００２】
画像に写った文字（記号及び数字を含む）を認識するために、文字が写っている文字領域と文字周囲の背景が写っている背景領域とが正確に識別できることが好ましい。そこで、文字認識装置は、例えば、画像の輝度値分布に基づいて二値化閾値を決定し、その二値化閾値以上の輝度値を持つ画素と二値化閾値未満の輝度値を持つ画素とに二値化することで、文字領域と背景領域とを識別する。しかし、認識対象となる文字が記されている被写体、例えば、ナンバープレートに、他の物体の影が掛かることがある。このような場合、その被写体が写った画像に、文字領域と、背景領域と、影と文字または影と背景が写っている領域とが含まれる。そのため、例え背景が一様であったとしても、輝度値の分布形状が多峰性の形状となる。その結果として、適切な二値化閾値を設定することが困難となり、文字領域と背景領域とが正確に分離されなくなることがある。そこで、濃淡画像に対して様々な二値化閾値を用いて濃淡画像を二値画像に変換し、それぞれの二値化閾値に対する文字認識結果、信頼度及び位置を用いて最適な二値化閾値を決定する技術が提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−１５３１６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、影の掛かり方によっては、文字認識装置は、一つの二値化閾値で文字領域と背景領域を識別できないことがある。例えば、背景領域の輝度が文字領域の輝度よりも高い画像において、背景に影が掛かっている領域の輝度が文字領域の輝度より低いと、文字認識装置は、一つの二値化閾値で文字領域だけを他の領域と識別することはできない。そして文字領域が正確に識別されなければ、文字認識装置は、例えば、背景中の影が掛かっている部分を文字の一部と誤認識することで、文字認識結果が誤りとなるおそれがある。
【０００５】
そこで、本明細書は、文字が含まれる領域に影が掛かっている場合でも、その領域を撮影した画像から文字を正確に認識できる文字認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
一つの実施形態によれば、文字認識装置が提供される。この文字認識装置は、画像上の文字を含む所定領域内の画素の輝度値のヒストグラムを生成するヒストグラム生成部と、ヒストグラムを、複数のヒストグラムの山に分割し、ヒストグラムの山のそれぞれは、輝度値の頻度の極大値を含む分割部と、複数のヒストグラムの山のそれぞれを第１のグループ及び第２のグループの何れかに分類し、かつ第１のグループに分類されるヒストグラムの山と第２のグループに分類されるヒストグラムの山の組み合わせを変え、その組み合わせごとに、所定領域内の画素のうち、第１のグループに分類されたヒストグラムの山に対応する輝度値を持つ画素を第１の画素値とし、一方、第２のグループに分類されたヒストグラムの山に対応する輝度値を持つ画素を第２の画素値とすることによって所定領域の二値画像を複数生成する二値画像生成部と、複数の二値画像のそれぞれについて、その二値画像に写っている文字を検出するとともに、その文字の確からしさを求め、複数の二値画像のそれぞれから検出された文字のうち、確からしさが最高となる文字を、所定領域に含まれる文字とする認識部とを有する。
【０００７】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。
【発明の効果】
【０００８】
本明細書に開示される文字認識装置は、文字が含まれる領域に影が掛かっている場合でも、その領域を撮影した画像から文字を正確に認識できる。
【図面の簡単な説明】
【０００９】
【図１】（ａ）は、影が掛かっている被写体の画像の一例を示す図である。（ｂ）は、（ａ）に示された画像の輝度値のヒストグラムを示す図である。（ｃ）は、（ａ）に示された画像を一つの二値化閾値で二値化することにより得られる二値画像の一例を示す図である。（ｄ）は、（ａ）に示された画像を、文字領域に相当するヒストグラムの山に対応する輝度を持つ画素の集合と他のヒストグラムの山に対応する輝度を持つ画素の集合とに二値化することにより得られる二値画像の一例を示す図である。
【図２】一つの実施形態による文字認識装置の概略構成図である。
【図３】処理部の機能を示すブロック図である。
【図４】輝度値と頻度の組を一つの点とする三角形の一例を示す図である。
【図５】ヒストグラムの山が３個の場合における、二値化閾値と生成される二値画像の関係の一例を示す図である。
【図６】文字認識処理の動作フローチャートである。
【図７】輝度値のヒストグラムの山が４個ある場合における、文字領域、背景領域、文字に影が掛かっている領域及び背景に影が掛かっている領域とヒストグラムの山の対応関係を示す図である。
【発明を実施するための形態】
【００１０】
以下、図を参照しつつ、一つの実施形態による、文字認識装置について説明する。
最初に、一つの二値化閾値だけでは、文字領域を他の領域と識別できない画像の例について説明する。図１（ａ）は、影が掛かっている被写体の画像の一例を示す図である。画像１００では、白い背景に黒い文字が描写されている。また、文字以外の影が掛かっている曲線状の領域１０１も、周囲の背景より黒くなっている。
【００１１】
図１（ｂ）は、図１（ａ）に示された画像の輝度値のヒストグラムを示す図である。図１（ｂ）において、横軸は輝度を表し、縦軸は頻度を表す。ヒストグラムの山１１１〜１１４は、それぞれ、文字に影が掛かった領域の輝度分布、背景に影が掛かった領域の輝度分布、文字領域の輝度分布、背景領域の輝度分布に対応する。ここで、最も輝度値の高い、背景領域と他の領域とを識別するように、ヒストグラムの山１１３と１１４の間に、二値化閾値Thが設定されたとする。
【００１２】
図１（ｃ）は、図１（ａ）に示された画像を、図１（ｂ）に示した二値化閾値Thで二値化することにより得られる二値画像の一例を示す図である。この例では、二値画像１２０では、影が掛かっていない背景領域とその他の領域とに二値化され、背景に影が掛かっている領域と文字領域の識別は困難である。またこの例では、文字領域の輝度の方が背景に影が掛かっている領域の輝度よりも高いため、ヒストグラムの山１１２と１１３の間に二値化閾値Thが設定されたとしても、二値画像は、影が掛かっている領域と影が掛かっていない領域に二値化される。そのため、やはり文字領域だけを他の領域と区別されるように二値化されない。この例では、ヒストグラムの山１１１またはヒストグラムの山１１３に含まれる輝度を持つ画素と、ヒストグラムの山１１２またはヒストグラムの山１１４に含まれる輝度を持つ画素とが区別されるように、画像を二値化することが好ましい。このように画像を二値化することで、図１（ｄ）に示されるように、二値画像１３０では、文字領域１３１が背景領域１３２と区別される。そのため、背景に影が掛かっている領域が文字の一部として誤認識される可能性が低減する。
【００１３】
そこで、この文字認識装置は、文字を含む被写体を撮影した画像の輝度値のヒストグラムを求め、そのヒストグラムを、ヒストグラムの山ごとに分割する。この文字認識装置は、個々のヒストグラムの山を、組み合わせを変えつつ、第１のグループ及び第２のグループの何れかに分類する。この文字認識装置は、組み合わせごとに、第１のグループに分類されたヒストグラムの山に対応する輝度値を持つ画素の値と、第２のグループに分類されたヒストグラムの山に対応する輝度値を持つ画素の値とを異ならせることで二値画像を複数生成する。そしてこの文字認識装置は、二値画像ごとに文字認識を実行し、最も確からしい認識結果に対応する文字を、画像に写っている文字とする。
【００１４】
図２は、一つの実施形態による文字認識装置の概略構成図である。文字認識装置１は、撮像部２が認識対象の少なくとも一つの文字を含む被写体を撮影することにより生成した画像に基づいて、その画像に写っている少なくとも一つの文字を認識する。そのために、文字認識装置１は、画像取得部１１と、出力部１２と、記憶部１３と、記憶媒体アクセス装置１４と、処理部１５とを有する。さらに文字認識装置１は、文字認識結果を表示する液晶ディスプレイなどの表示装置を有してもよい。処理部１５は、画像取得部１１、出力部１２、記憶部１３及び記憶媒体アクセス装置１４と、例えば、バスを介して接続される。
【００１５】
撮像部２は、例えば、デジタルビデオカメラであり、被写体がその撮影範囲内に含まれるように設置される。例えば、認識対象となる文字を含む被写体が車両のナンバープレートである場合、撮像部２は、例えば、道路を走行中の車両の前面が撮影範囲に含まれるように屋外に設置される。そして撮像部２は、被写体を撮影することにより、その被写体が写った画像を生成する。撮像部２は、画像を生成する度に、その画像を画像取得部１１へ出力する。
なお、本実施形態では、撮像部２が生成する画像は、画素値が輝度値のみを有するグレー画像とする。
【００１６】
画像取得部１１は、撮像部２と接続するための通信インターフェース及びその制御回路を有する。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）などの周辺機器接続用の通信規格に従ったインターフェース、あるいはビデオ信号入力用インターフェースとすることができる。
あるいは画像取得部１１は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。この場合には、画像取得部１１は、撮像部２から、通信ネットワークを介して画像を取得する。
画像取得部１１は、画像を取得する度に、その画像を記憶部１３に記憶させる。
【００１７】
出力部１２は、例えば、被写体認識装置１を他の機器と接続するための通信インターフェース及びその制御回路を有する。そのような通信インターフェースは、USBなどの周辺機器接続用の通信規格、あるいはイーサネット（登録商標）などの通信規格に従ったインターフェースとすることができる。
出力部１２は、処理部１５による被写体の認識結果を表す情報を処理部１５から受け取り、その情報を他の機器へ出力する。なお、画像取得部１１と出力部１２とは、一体化されていてもよい。
【００１８】
記憶部１３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１３は、処理部１５上で実行されるコンピュータプログラム、及び画像に写っている文字を認識するために用いられる各種の情報及び文字認識処理の途中で生成される各種のデータを記憶する。また記憶部１３は、文字認識処理が終了するまで、画像取得部１１から受け取った画像を記憶してもよい。
【００１９】
記憶媒体アクセス装置１４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１６にアクセスする装置である。記憶媒体アクセス装置１４は、例えば、記憶媒体１６に記憶された、処理部１５上で実行される文字認識用コンピュータプログラムを読み込み、処理部１５に渡すか、記憶部１３に記憶させる。
【００２０】
処理部１５は、１個または複数個のプロセッサ及びその周辺回路を有する。そして処理部１５は、画像取得部１１から受け取った画像に写った文字を認識する。
【００２１】
図３は、処理部１５の機能を示すブロック図である。処理部１５は、切り出し部２１と、ヒストグラム生成部２２と、分割部２３と、二値画像生成部２４と、認識部２５とを有する。処理部１５が有するこれらの各部は、例えば、処理部１５が有するプロセッサ上で実行されるコンピュータプログラムによって実装される機能モジュールである。あるいは、処理部１５が有するこれらの各部は、それぞれの機能を実現する回路が集積された集積回路として文字認識装置１に実装されてもよい。
【００２２】
切り出し部２１は、画像から、一文字ごとに、文字領域及びその周囲の背景領域を含む、認識対象領域を切り出す。本実施形態では、切り出し部２１は、Y.Ariki and T.Teranishi、''Indexing and classification of TV news articles based on telop recognition''、 Proc. of 4th ICDAR、 pp. 422-497、1997年に開示されているように、認識対象領域からはエッジ成分が多く検出されるという特徴に着目することで、認識対象領域を切り出す。
【００２３】
切り出し部２１は、先ず、prewittフィルタまたはsobelフィルタといったエッジ検出フィルタを用いて、空間的に輝度値が変化するエッジ画素を検出する。そして切り出し部２１は、水平方向及び垂直方向のそれぞれの画素列ごとにエッジ画素の数をカウントする。切り出し部２１は、例えば、画像上で想定される文字の高さに相当する、連続した複数の水平方向の画素列を含むブロックごとにエッジ画素の総数を求め、その総数が所定数以上となるブロックに文字列が含まれていると判定する。そして切り出し部２１は、文字列が含まれるブロックの上下の境界を、それぞれ、認識対象領域の上端及び下端とする。同様に、切り出し部２１は、文字列が含まれるブロックのそれぞれについて、画像上で想定される文字の幅に相当する、連続した複数の垂直方向の画素列を含むサブブロックごとにエッジ画素の総数を求める。そして切り出し部２１は、その総数が所定値以上となるサブブロックに一つの文字が含まれていると判定する。そして切り出し部２１は、文字が含まれるサブブロックの左右の境界を、認識対象領域の左端及び右端とする。これにより、一文字ごとに、その文字を含む認識対象領域が切り出される。
【００２４】
なお、切り出し部２１は、文字を含む領域を切り出すための他の方法を利用して、画像から認識対象領域を切り出してもよい。
【００２５】
ヒストグラム生成部２２は、認識対象領域ごとに、認識対象領域に含まれる各画素の輝度値を調べて、輝度値ごとに、その輝度値を持つ画素の数、すなわち頻度を求めることにより、輝度値のヒストグラムを生成する。なお、ヒストグラム生成部２２は、所定の輝度値の幅を持つ帯域（例えば、輝度値が0〜255で表される場合、2〜8）ごとに、その帯域に含まれる輝度値を持つ画素の数を頻度として求めてもよい。そしてヒストグラム生成部２２は、輝度値のヒストグラムを記憶部１３に記憶する。
【００２６】
分割部２３は、ヒストグラムを、複数のヒストグラムの山に分割する。なお、ヒストグラムの山のそれぞれは、輝度値の頻度の極大値を含む。
【００２７】
そのために、分割部２３は、例えば、特開平８−２２１５１３号公報に開示されているように、輝度値の最小値から最大値までを解析範囲としてヒストグラムの分布の偏りを示すスキュー値を算出する。分割部２３は、ヒストグラムが輝度値の低い方に偏っている場合は、輝度値の最小値から平均値までを解析範囲に設定し直して、再度スキュー値を調べる。一方、分割部２３は、ヒストグラムが輝度値の高い方に偏っている場合は、輝度値の平均値から最大値までを解析範囲に設定し直して、再度スキュー値を調べる。分割部２３は、スキュー値がヒストグラムの分布の偏りが小さいことに相当する値となったときに、その解析範囲内の輝度値の平均値を、ヒストグラムの山と山とを区別する二値化閾値とする。分割部２３は、二値化閾値で二つに区切られた解析範囲のそれぞれを、新たな解析範囲として上記の処理を繰り返す。隣接する二つの二値化閾値の間の度数の合計が所定の頻度閾値（例えば、認識対象領域の全画素数の1/10）未満となったときに、分割部２３は、その直前に求められた二値化閾値を破棄する。そして分割部２３は、それ以前に求められた連続する二つの二値化閾値に挟まれた部分を、一つのヒストグラムの山とする。
【００２８】
あるいは、分割部２３は、解析範囲内でスキュー値がヒストグラムの分布の偏りが小さいことに相当する値となったときに、その解析範囲の輝度値の平均よりも低い輝度値について頻度最大となる第１の輝度値を求める。同様に、分割部２３は、その解析範囲の輝度値の平均よりも高い輝度値について頻度最大となる第２の輝度値を求める。分割部２３は、第１の輝度値と第２の輝度値の間で、頻度が最小となる第３の輝度値を求める。そして分割部２３は、輝度値を横軸、頻度を縦軸として、第１の輝度値〜第３の輝度値のそれぞれについて、その輝度値と対応する頻度の組を一つの点の座標として、それら三点の座標を結ぶ三角形の面積を算出する。
【００２９】
図４は、輝度値と頻度の組を一つの点とする三角形の一例を示す図である。図４において、横軸は輝度値を表し、縦軸は頻度を表す。線４００はヒストグラムを表し、点４０１〜点４０３は、それぞれ、第１〜第３の輝度値とその輝度値についての頻度の組の座標を表す点である。分割部２３は、点４０１〜４０３をそれぞれ頂点とする三角形４１０の面積を算出する。
【００３０】
分割部２３は、その面積が所定の閾値よりも大きければ、第３の輝度値を二値化閾値とする。なお、所定の閾値は、例えば、予め、実験的に決められる。分割部２３は、その面積が所定の閾値よりも大きい場合、解析範囲内で、例えば、大津の二値化法を適用することで、二値化閾値を決定してもよい。一方、その面積が所定の閾値未満であれば、分割部２３は、第３の輝度値を二値化閾値とせず、解析範囲全体が一つのヒストグラムの山に含まれると判定する。
【００３１】
なお、分割部２３は、ヒストグラムを山ごとに区別する他の方法に従って、個々のヒストグラムの山及びその山で最大頻度となる輝度値を求めてもよい。そして分割部２３は、隣接する二つのヒストグラムの山の組ごとに、その二つのヒストグラムの山の最大頻度となる輝度値間を解析範囲として大津の二値化法を適用することにより、その二つのヒストグラムの山の間に二値化閾値を設定してもよい。
【００３２】
分割部２３は、認識対象領域ごとに、それぞれのヒストグラムの山の境界を表す二値化閾値を記憶部１３に記憶する。
【００３３】
二値画像生成部２４は、複数のヒストグラムの山のそれぞれを第１のグループ及び第２のグループの何れかに分類する。その際、二値画像生成部２４は、第１のグループに分類されるヒストグラムの山と第２のグループに分類されるヒストグラムの山の組み合わせを様々に変えてヒストグラムの山の組み合わせを複数作成する。そして二値画像生成部２４は、ヒストグラムの山の組み合わせごとに、認識対象領域内の画素のうち、第１のグループに分類されたヒストグラムの山に対応する輝度値を持つ画素を第１の画素値（例えば、0）とする。一方、二値画像生成部２４は、第２のグループに分類されたヒストグラムの山に対応する輝度値を持つ画素を第２の画素値（例えば、255）とする。これによって、二値画像生成部２４は、認識対象領域ごとに、二値画像を複数生成する。なお、二値画像生成部２４は、考え得る全ての組み合わせについて二値画像を作成してもよく、あるいは、考え得る全ての組み合わせの一部についてのみ二値画像を作成してもよい。
【００３４】
図５は、ヒストグラムの山が３個の場合における、二値化閾値と生成される二値画像の関係の一例を示す図である。図５の上側には、輝度値のヒストグラムの一例が示される。なお、このヒストグラムにおいて、横軸は輝度値を表し、縦軸は頻度を表す。ヒストグラムの山５０１〜５０３は、それぞれ、影が掛かった背景領域、文字領域、影が掛かっていない背景領域に対応する。そして二値化閾値Th1、Th2は、それぞれ、ヒストグラムの山５０１と５０２の間、及びヒストグラムの山５０２と５０３の間に設定される。一方、図５の下側には、生成される二値画像の例が示される。
【００３５】
例えば、二値画像５１１は、二値化閾値Th1より低い輝度値を持つ画素の値が、他の輝度値を持つ画素の値よりも低くなるように認識対象領域を二値化することにより生成される。逆に、二値画像５１２は、二値化閾値Th1より低い輝度値を持つ画素の値が、他の輝度値を持つ画素の値よりも高くなるように認識対象領域を二値化することにより生成される。
また、二値画像５１３は、二値化閾値Th1以上で、かつ、二値化閾値Th2より低い輝度値を持つ画素の値が、他の輝度値を持つ画素の値よりも低くなるように認識対象領域を二値化することにより生成される。逆に、二値画像５１４は、二値化閾値Th1以上で、かつ、二値化閾値Th2より低い輝度値を持つ画素の値が、他の輝度値を持つ画素の値よりも高くなるように認識対象領域を二値化することにより生成される。
さらに、二値画像５１５は、二値化閾値Th2以上の輝度値を持つ画素の値が、他の輝度値を持つ画素の値よりも低くなるように認識対象領域を二値化することにより生成される。逆に、二値画像５１６は、二値化閾値Th2以上の輝度値を持つ画素の値が、他の輝度値を持つ画素の値よりも高くなるように認識対象領域を二値化することにより生成される。
【００３６】
二値画像生成部２４は、認識対象領域ごとに、生成した各二値画像を記憶部１３に記憶する。
【００３７】
認識部２５は、認識対象領域ごとに、二値画像のそれぞれに対して文字認識処理を行って、各二値画像に写っている文字を検出するとともに、その確からしさを求める。そして認識部２５は、二値画像のそれぞれから検出された文字のうち、最も確からしい文字を、その認識対象領域に写っている文字と判定する。
【００３８】
認識部２５は、認識対象領域ごとに、その認識対象領域について求められた二値画像のそれぞれと、認識対象となる個々の文字に対応する複数のテンプレートとの間でテンプレートマッチングを行う。そして認識部２５は、例えば、認識対象領域と各テンプレートとの正規化相互相関値を算出する。そして認識部２５は、認識対象領域の二値画像ごとに、正規化相互相関値の最大値を、その最大値となるテンプレートに対応する文字が認識対象領域に写っている確からしさとして求めるとともに、その最大値に対応するテンプレートの文字を求める。
認識部２５は、各二値画像について求められた確からしさを比較し、確からしさが最大となる文字を、認識対象領域に写っている文字として認識する。
認識部２５は、各認識対象領域について認識された文字を、認識対象領域の並びに従って配列することにより、画像に写っている文字列を認識する。
【００３９】
なお、認識部２５は、画像上に写っている文字を認識する他の方法に従って、認識対象領域の二値画像に写っている文字を検出し、かつその確からしさを求めてもよい。例えば、認識部２５は、認識対象領域の各二値画像から、文字の交点及び端点といった文字の形状に関する特徴量を抽出する。そして認識部２５は、二値画像ごとに、その二値画像から抽出された特徴量を、所定の文字であることの確からしさを出力する識別器に入力することで、二値画像にその所定の文字が写っている確からしさを求めてもよい。そして認識部２５は、二値画像ごとに、確からしさが最大となる文字を、検出された文字とし、その確からしさの最大値を、その二値画像についての文字の確からしさとすればよい。なお、このような識別器は、例えば、多層パーセプトロン、サポートベクターマシンあるいはReal adaBoost識別器とすることができ、認識対象となる文字ごとに予め準備される。そしてこれらの識別器は、予め、認識対象となる文字が写った複数のサンプル画像と、その文字が写っていない複数のサンプル画像とに基づいて、その識別器に応じたいわゆる教師付学習アルゴリズムに従って学習される。
【００４０】
処理部１５は、認識部２５により認識された文字列を表す情報を出力部１２を介して他の機器へ出力する。その際、処理部１５は、認識された文字列を表す情報とともに、その認識に利用した画像も出力部１２を介して他の機器へ出力してもよい。あるいは、処理部１５は、認識部２５により認識された文字列を表す情報を記憶部１３に記憶してもよい。
【００４１】
図６は、処理部１５により実行される文字認識処理の動作フローチャートである。処理部１５は、画像ごとに、この文字認識処理を実行する。
【００４２】
処理部１５の切り出し部２１は、画像から、一文字ごとに認識対象領域を切り出す（ステップＳ１０１）。処理部１５のヒストグラム生成部２２は、認識対象領域ごとに、輝度値のヒストグラムを生成する（ステップＳ１０２）。処理部１５の分割部２３は、輝度値のヒストグラムをヒストグラムの山ごとに分割する（ステップＳ１０３）。
【００４３】
処理部１５の二値画像生成部２４は、各認識対象領域について、各ヒストグラムの山を、組み合わせを変えつつ二つのグループに分類する。そして二値画像生成部２４は、グループごとに異なる値を、そのグループに属するヒストグラムの山に対応する輝度値を持つ画素に割り当てることで複数の二値画像を生成する（ステップＳ１０４）。そして処理部１５の認識部２５は、各認証対象領域についての二値画像ごとに、その二値画像に写っている文字を検出し、かつ、その確からしさを求める（ステップＳ１０５）。認識部２５は、各二値画像のうち、確からしさが最大となる二値画像から検出された文字を、認識対象領域に写っている文字とする（ステップＳ１０６）。そして認識部２５は、各認識対象領域の並び順にしたがって、各認識対象領域について認識された文字を並べることにより、画像に写っている文字列を求め、その文字列を表す情報を出力部１２を介して出力する（ステップＳ１０７）。そして処理部１５は、文字認識処理を終了する。
【００４４】
以上に説明してきたように、この文字認識装置は、画像上の認識対象領域の輝度値のヒストグラムを複数のヒストグラムの山に分割し、各ヒストグラムの山を、組み合わせを変えつつ二つのグループに分類する。この文字認識装置は、グループごとに異なる値を、そのグループに属するヒストグラムの山に対応する輝度値を持つ画素に割り当てることで複数の二値画像を生成する。そしてこの文字認識装置は、二値画像ごとに文字認識を行って、最も確からしい認識結果が得られた二値画像から検出された文字を、実際に画像に写っている文字とする。そのため、この文字認識装置は、被写体領域に影が掛かるなどの理由により、輝度値のヒストグラムが３個以上の山を持つ多峰性の形状を示す場合でも、文字領域と背景領域とを適切に区分した二値画像に基づいて文字認識を行える。そのため、この文字認識装置は、画像に写った文字を正確に認識できる。
【００４５】
次に、第２の実施形態による文字認識装置について説明する。第２の実施形態による文字認識装置は、ヒストグラムの山が４個となる場合に、影による輝度変化の特性を考慮して、生成する二値画像の数を抑制する。
【００４６】
第２の実施形態による文字認識装置は、第１の実施形態による文字認識装置と比較して、処理部１５の二値画像生成部２４の処理が異なる。そこで以下では、二値画像生成部２４について説明する。第２の実施形態による文字認識装置のその他の構成要素については、第１の実施形態による文字認識装置の対応する構成要素の説明を参照されたい。
【００４７】
認識対象領域についての輝度値のヒストグラムの山が４個である場合、ヒストグラムの山ごとに、その山に含まれる輝度値を持つ画素に第１の値または第２の値を割り当てるとすると、二値画像生成部２４は、最大で24=16個の二値画像を生成することになる。
ここで、ヒストグラムの山が４個である場合、それぞれのヒストグラムの山は、影が掛かっていない文字領域と、影が掛かっている文字領域と、影が掛かっていない背景領域と、影が掛かっている背景領域の何れかに対応すると推定される。また、影が掛かった領域に含まれる画素の輝度は低下する。そのため、それぞれのヒストグラムの山と、上記の４種類の領域の取り得る関係は図７のテーブル７００に示される４パターンに限定される。
【００４８】
図７に示されたテーブル７００において、パターン１及びパターン２は、文字領域の輝度が背景領域の輝度よりも高い、いわゆる白抜き文字の場合における、ヒストグラムの山と各領域の想定される関係を示す。一方、パターン３及びパターン４は、文字領域の輝度が背景領域の輝度よりも低い場合における、ヒストグラムの山と各領域の想定される関係を示す。また順位１〜４は、それぞれ、４個のヒストグラムの山の輝度値が高い方からの順位を表す。そして『文字＋影領域』は、影が掛かった文字領域を表し、『背景＋影領域』は、影が掛かった背景領域を表す。
ここで、認識部２５が使用する文字のテンプレートにおいて、文字領域に含まれる画素が第１の画素値（例えば、0）を持ち、文字領域の周囲の画素が第２の画素値（例えば、255）を持つとする。この場合、二値画像に写っている文字と同じ文字のテンプレートの正規化相互相関値が最大となるように二値画像を生成するには、二値画像でも、文字領域に含まれる画素が第１の画素値を持ち、背景領域に含まれる画素が第２の画素値を持つことが好ましい。
【００４９】
パターン１の場合、順位１または２のヒストグラムの山に相当する輝度値を持つ画素に第１の画素値を割り当て、順位３または４のヒストグラムの山に相当する輝度値を持つ画素に第２の画素値を割り当てる。また、パターン２の場合、順位１または３のヒストグラムの山に相当する輝度値を持つ画素に第１の画素値を割り当て、順位２または４のヒストグラムの山に相当する輝度値を持つ画素に第２の画素値を割り当てる。
【００５０】
同様に、パターン３の場合、順位１または２のヒストグラムの山に相当する輝度値を持つ画素に第２の画素値を割り当て、順位２または４のヒストグラムの山に相当する輝度値を持つ画素に第１の画素値を割り当てる。また、パターン４の場合、順位１または３のヒストグラムの山に相当する輝度値を持つ画素に第２の画素値を割り当て、順位２または４のヒストグラムの山に相当する輝度値を持つ画素に第１の画素値を割り当てる。これにより、文字領域と背景領域が分離された二値画像が得られる。
【００５１】
このように、ヒストグラムの山が４個ある場合、上記のパターン１〜パターン４の何れかに該当するので、二値画像生成部２４は、最大で４通りの二値画像のみを生成すればよい。なお、認識部２５が、文字の交点、端点の位置又は数などの特徴量に基づいて文字認識を行う場合には、文字領域と背景領域のどちらの輝度が高くてもよい。そのため、この場合には、二値画像生成部２４は、パターン１または３の場合に相当する二値画像とパターン２または４の場合に相当する二値画像の二つのみを生成すればよい。
【００５２】
このように、第２の実施形態による文字認識装置は、影が掛かった領域の輝度の低下を考慮して、文字が写っている可能性のある輝度のヒストグラムの山とそうでないヒストグラムの山を異なるグループに分類した組み合わせに対応する二値画像のみを生成する。そのため、この文字認識装置は、生成する二値画像の数を抑制できるので、文字認識処理全体の演算量も抑制できる。
なお、輝度値のヒストグラムが５個以上の山を持つ場合についても、二値画像生成部は、そのような輝度分布となる原因を考慮して、文字領域と背景領域とが区別される可能性がある二値画像のみを生成することで、生成する二値画像の数を抑制できる。
また、二値画像生成部２４は、ヒストグラムの山の数が３個以下の場合には、ヒストグラムの山を二つのグループに分類する全ての組み合わせについて二値画像を生成してもよい。そして、ヒストグラムの山の数が４個以上の場合に、二値画像生成部２４は、組み合わせの一部についてのみ二値画像を生成してもよい。
【００５３】
なお、上記の各実施形態または変形例において、撮像部２が生成する画像は、RGB表色系で表されるカラー画像であってもよい。この場合には、処理部１５が、そのカラー画像を、例えばHLS表色系の画像に変換し、その変換された画像の各画素の輝度値に基づいて処理部１５の各処理を実行すればよい。
【００５４】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【符号の説明】
【００５５】
１    文字認識装置
２    撮像部
１１    画像取得部
１２    出力部
１３    記憶部
１４    記憶媒体アクセス装置
１５    処理部
１６    記憶媒体
２１    切り出し部
２２    ヒストグラム生成部
２３    分割部
２４    二値画像生成部
２５    認識部
【図２】
2015014940.tif 000003
【図３】
2015014940.tif 000004
【図４】
2015014940.tif 000005
【図５】
2015014940.tif 000006
【図６】
2015014940.tif 000007
【図７】
2015014940.tif 000008
【図１】
2015014940.tif 000009