(57)【要約】      （修正有）【課題】画像中に連続して存在する英数字を識別するためのシステムで、認識精度を改善する２値化画像を得る。【解決手段】画像をキャプチャーし、画像のパターンを計算することで、画像に２値化のための処理をする。生成された２値化画像は、不要な成分を除去するためにフィルターされる。候補画像は、フィルター化された２値化画像から特定される。得られた全ての候補画像は、存在する有効な英数字を認識するためにさらにセグメント化されたファイナル候補画像を生成するために結合される。【選択図】図１
2013200872.tif 000002
【特許請求の範囲】
【請求項１】
画像中に連続して存在する英数字の識別方法であって、
前記方法は、プロセッサで実行される、
前記連続する英数字を含む前記画像をキャプチャーする工程と、
前記連続する英数字のうちの識別できる文字のセットを得るために、前記画像を処理する工程とを含み、
前記画像を処理する工程は、
バッググラウンドピークとフォアグラウンドピークとを決定するために前記画像中のピクセル輝度分布を認識するためのパターンを計算する工程と、
前記バッググラウンドピークと前記フォアグラウンドピークとの間の複数の動的閾値を選択することで、複数の２値化画像を生成する工程と、
１または２以上の有効な文字を識別するために、複数の画像から不要な成分を除去することによって、前記生成された２値化画像をフィルターする工程と、
所定のグラウンドトゥルース値に対して前記有効な文字を比較することで、１または２以上の候補画像を特定する工程と、
前記候補画像の結合が所定の状態によって決まるように、前記候補画像を結合することによってファイナル候補画像を生成する工程と、を含み、
前記識別方法は、プロセッサで実行される、
前記ファイナル候補画像を所定のセグメントに分割し、前記各セグメントと関連する有効な英数字を認識する工程とをさらに含むことを特徴とする英数字の識別方法。
【請求項２】
前記連続する英数字は、限定されないが、１７の英数字を含んでいる請求項１に記載の英数字の識別方法。
【請求項３】
前記ピクセル輝度を認識するためのパターンは、ヒストグラムの形式である請求項１に記載の英数字の識別方法。
【請求項４】
複数のピクセル値は、前記連続して存在する英数字の数によって決まる請求項１に記載の英数字の識別方法。
【請求項５】
前記不要な成分は、大きい成分と小さい成分とを含み、
特別なレベルを有するピクセルの数が１００より小さいと、成分は前記小さい成分であり、
特別なレベルを有するピクセルの数が幅／４であると、成分は前記大きい成分である請求項１に記載の英数字の識別方法。
【請求項６】
前記１または２以上の候補画像は、オーバーセグメント２値化画像と、アンダーセグメント２値化画像とを無視することによって識別される請求項１に記載の英数字の識別方法。
【請求項７】
前記グラウンドトゥルース値は、前記連続して存在する英数字の数と等しい請求項１に記載の英数字の識別方法。
【請求項８】
前記候補画像を結合するための前記所定の状態は、半分以上の前記候補画像がバックグラウンドである場合、前記候補画像がバッググラウンドとして前記候補画像の全てのピクセルをマークすることによって結合される状態である請求項１に記載の英数字の識別方法。
【請求項９】
前記候補画像は、前記連続して存在する英数字の数と等しい数に分けられる請求項１に記載の英数字の識別方法。
【請求項１０】
前記有効な英数字におけるマルチプルコンポーネントラベルは、モルフォロジカルクロージングを適用することによって統合される請求項１に記載の英数字の識別方法。
【請求項１１】
画像中に連続して存在する英数字を識別するためのシステムであって、
前記システムは、
前記連続して存在する英数字を含む前記画像を取得する画像取得デバイスと、
前記連続する英数字のうちの識別できる文字のセットを得るように構成されたプロセッサとを含み、
前記プロセッサは、
バッググラウンドピークとフォアグラウンドピークとを決定するために前記画像中のピクセル輝度分布を認識するためのパターンを計算するよう構成されたコンピューターモジュールと、
前記バッググラウンドピークと前記フォアグラウンドピークとの間の複数の動的閾値を選択することで、複数の２値化画像を生成するように構成された２値化モジュールと、
１または２以上の有効な文字を識別するために、複数の画像から不要な成分を除去するように構成されたフィルターと、
１または２以上の候補画像を特定するために、所定のグラウンドトゥルース値に対して前記有効な文字を比較するように構成されたコンパレーターと、
前記候補画像の結合が所定の状態によって決まるように、前記候補画像を結合することによってファイナル候補画像を生成するように構成された画像発生器と、を含み、
前記システムは、
前記ファイナル候補画像を所定のセグメントに分け、前記各セグメントと関連する有効な英数字を認識するように構成された出力発生モジュールとをさらに含むことを特徴とするシステム。
【請求項１２】
前記画像取得デバイスは、カメラを含む請求項１１に記載のシステム。
【請求項１３】
前記コンピューターモジュールは、前記ピクセル輝度を認識するためのヒストグラムパターンを計算する請求項１１に記載のシステム。
【請求項１４】
前記前記取得された画像は、１７の前記連続して存在する英数字を含む請求項１１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字を識別するための方法およびシステムに関する。より具体的に、本発明は、画像に連続して存在する英数字を識別するための方法およびシステムに関する。
【背景技術】
【０００２】
車両識別番号（Vihicle Identification Number (VIN)）の画像は、特別な状況において、特別な目的で一般人による携帯電話のカメラによって、何回もキャプチャーされる。キャプチャープロセスにおけるマニュアル操作の関与、不均一で不十分な照明、および高機能な焦点調節機構の使い勝手の悪さなどが、画質を低下させている。
【０００３】
携帯電話によってキャプチャーされたVIN画像に利用できるオープンソースの光学式文字識別（Opticat Character Recognition (OCR)）システムの性能は、画質が種々のノイズによって影響されるため、極端に悪い。したがって、画質を高める技術は、入力としてスキャンされた画像を光学式文字識別システムにかける前に使用される必要がある。２値化技術は、複雑なバックグラウンド（より具体的にはバックグラウンドテキスト）からテキスト領域を得るために、画質を高める技術として使用される。
【０００４】
携帯電話でキャプチャーされた画像におけるテキストのＯＣＲには、種々の欠点がある。従来のシステムにおいて、小さいメモリと遅い処理スピードを有する組み込みモバイルプラットフォーム（embedde mobile platform）上で個別の文字を復元することが必要とされている。２値化技術は、複雑なバックグラウンド（より具体的にはバックグラウンドテキスト）からテキスト領域を得るために、画質を高める技術として使用される。多くの２値化技術が、画像の認識精度を改善するために提案されている。従来の２値化技術は、せいぜい５．８９％までのみ、画像の認識精度を改善することができる。
【０００５】
したがって、より広い範囲に対して画像の認識精度を改善する適切な低複雑度２値化技術を提供することができるシステムと方法が必要性とされている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の第１の目的は、画像に連続して存在する英数字を識別するためのシステムおよび方法を提供することにある。
【０００７】
本発明の別の目的は、キャプチャーされた画像の２値化を実行するためのシステムおよび方法を提供することにある。
【０００８】
また、本発明の他の目的は、２値化画像から不要なセグメント、オーバーセグメント化されたセグメント、およびアンダーセグメント化されたセグメントを取り除くシステムおよび方法を提供することにある。
【０００９】
本発明の他の目的は、有効な英数字におけるマルチプルコンポーネントラベル（multiple component labels）を統合するモルフォロジカルクロージング（morphological closing）を適用するためのシステムおよび方法を提供することにある。
【課題を解決するための手段】
【００１０】
本発明は、画像に連続して存在する英数字を識別するための方法を提供する。その方法は、プロセッサが実行する、連続した英数字を含む画像をキャプチャーする工程と、連続した英数字の中から識別できる文字のセットを得るために画像を処理する工程とを含む。当該処理工程は、バッググラウンドピークを決定するために画像におけるピクセル輝度分布（pixel intensity distribution）を認識するパターンをコンピューターで計算する工程と、バッググラウンドピークとフォアグラウンドピークとの間の複数の動的閾値（dynamic threshold values）を選択することによって複数の２値化画像を生成する工程と、１または２以上の有効な文字を識別するために複数の画像から不要な成分を取り除くことによって得られた２値化画像をフィルターする工程とをさらに含んでいる。その処理は、公知のグラウンドトゥルース値（ground truth value）に対して有効な文字を比較することで１または２以上の候補画像（candidate images）を識別する工程と、候補画像の結合が所定の状態によって決まるように候補画像を結合することでファイナル候補画像を生成する工程と、所定のセグメントにファイナル候補画像を分割し、各セグメントと関連付けられた有効な英数字を認識する工程と、をさらに含んでいる。
【００１１】
本発明は、画像に連続して存在する英数字を識別するためのシステムを提供する。そのシステムは、連続して存在する英数字を含む画像をキャプチャーする画像取得デバイスと、連続した英数字の中から識別できる文字のセットを得るように構成されたプロセッサとを含んでいる。プロセッサは、バッググラウンドピークとフォアグラウンドピークとを決定するための画像におけるピクセル輝度分布を認識するパターンをコンピューターで計算するように構成されたコンピューターモジュールと、バッググラウンドピークとフォアグラウンドピークとの間の複数の動的閾値を選択することによって複数の２値化画像を生成するように構成された２値化モジュールと、１または２以上の有効な文字を識別するために複数の画像から不要な成分を取り除くように構成されたフィルターと、を含んでいる。プロセッサは、１または２以上の候補画像を識別するために、公知のグラウンドトゥルース値に対して有効な文字を比較するように構成されたコンパレーターと、候補画像の結合が所定の状態によって決まるように候補画像を結合することで、ファイナル候補画像を生成するよう構成された画像発生器とをさらに含んでいる。システムは、所定のセグメントにファイナル候補画像を分割するように構成された出力発生モジュールをさらに含み、各セグメントと関連付けられた有効な英数字を認識している。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の実施形態におけるシステムアーキテクチャを示す図である。
【００１３】
【図２】図２は、本発明の別の実施形態における典型的なフローチャート示す。
【００１４】
【図３】図３は、本発明のシステムの別の実施形態におけるモルフォロジカルクロージングを適用した後の画像形式を示す図である。
【００１５】
【図４】図４は、他の実施形態における本発明の２値化技術の分析を従来技術の２値化技術の分析と比較する図である。
【発明を実施するための形態】
【００１６】
本発明の実施形態を以下に説明するとともに、その特徴を説明する。
明細書中、「構成する」、「有する」、「含む」、「含んでいる」およびそれらの他の形式は、同等な意味であり、ある事項またはこれらの文言のいずれか一つに続く事項はそのような事項の包括的なリストであるような意味ではなく、また、列挙された事項のみに限定されるという意味ではない。
【００１７】
明細書および添付のクレームにおいて使用されるように、単数形“a”、“an”、“the”は、文脈が明確に示していなければ、複数形も含むことに注意しなければならない。ここで説明されるシステム、方法、装置、機器と同等、または似ているシステム、方法、装置、機器は、本発明の実施形態の実施またはテストに使用されることができるが、好ましいシステムとパーツは以下に説明される。以下の説明において、説明と理解の目的のために、発明の範囲に限定されない意図で、多数の実施形態が作られた。
【００１８】
本発明の１または２以上の成分は、詳細な説明の理解のためにモジュールとして説明されている。例えば、モジュールは、論理ゲート、半導体デバイス、集積回路または他のどのような個別部品を含むハードウエア回路における内蔵コンポーネントを含んでいてもよい。モジュールは、実施例のプロセッサ用のハードウェアエンティティによって実行されるソフトウェアプログラムの一部であってもよい。ソフトウェアプログラムとしてのモジュールの実行は、プロセッサまたは他のどのようなハードウェアエンティティによって実行されるべき論理演算命令のセットを含んでいてもよい。また、モジュールは、インターフェースを用いて、命令やプログラムのセットで具現化されていてもよい。
【００１９】
開示された実施形態は、本発明の単なる一例にすぎず、他の種々の形態であってもよい。
【００２０】
本発明は、画像に連続して存在する英数字を識別するためのシステムおよび方法に関する。第１段階において、２つの主なピークがスケール画像のパターンから確認され、多数の２値化画像が得られる。不要な成分は、２値化画像から除去される。また、１または２以上の候補画像はセグメント化され、それにより各セグメントがファイナル候補画像を生成するために有効な文字を含むようになっている。
【００２１】
本実施形態に従い、図１を参照すると、システム１００は、連続して存在する英数字を含む画像を取得する画像取得デバイス（image capturing device）１０２を含む（図２のステップ２０２に示される）。また、システム１００は、連続する英数字のうちの中から識別できる文字のセットを得るように構成されたプロセッサ１０４を含んでいる（図２のステップ２０６に示される）。また、プロセッサ１０４は、コンピューターモジュール１０６と、２値化モジュール１０８と、フィルター１１０と、コンパレーター１１２と、画像発生器１１４とを含んでいる。
【００２２】
本実施形態に従い、図１を参照すると、画像取得デバイス１０２は、グレースケールにおける画像を取得する。画像取得デバイス１０２は、カメラを有していてもよい。このカメラは、他の電子機器に連結されていてもよい。特別な例として、カメラは携帯電話に存在していてもよい。画像は、複数のフレーム画像取得デバイス１０２によって取得される。これらの画像は、識別されるべき連続した英数字を含み、したがって、１または２以上のノイズのタイプを含んでいるかもしれない。取得された画像は、プロセッサによってさらに処理される。プロセッサ１０４は、画像に存在する連続した英数字のうちの識別できる文字のセットを作り出す。
【００２３】
特別な例として、連続に存在する英数字の数は、１７英数字を含むが、これに限定されない。
【００２４】
プロセッサ１０４は、コンピューターモジュール１０６をさらに含んでいる。コンピューターモジュール１０６は、バッググラウンドピークとフォアグラウンドピークとを決定するために画像におけるピクセル輝度分布を認識するパターンをコンピューターで計算するように構成されている。ピクセル輝度は、ヒストグラムで認識される。
【００２５】
コンピューターモジュール１０６は、レティネックス方式（retinex strategy）を適用することで入力画質を高めることができる（図２のステップ２０４に示される）。画質の増大は、２つのノイズ源があるという２つの主な観測（observation）に基づいている。一方は、実際、乗法的であり、バックグラウンドテキストおよびガラスからの反射のため現れる。また、コンピューターモジュール１０６は、グレースケール画像に画像を変換する。グレースケール画像は、色がグレーの色調のみであるものである。グレースケール画像の輝度ヒストグラムは、コンピューターで計算される。その輝度ヒストグラムは、画像に発見されるそれぞれ異なった輝度値でその画像にピクセルの数を示すグラフである（図２のステップ２０８に示される）。特別な例として、８ビットグレースケール画像にとって、２５６の異なる輝度がある。その結果、ヒストグラムは、グレースケール値の間で、ピクセルの分布を示す２５６の数をグラフ化して表示している。また、この分布から、２つの主要ピークが特定される。一方は０値付近に位置し、他方は２２５値近くに位置している（図２のステップ２１０に示される）。これらのピークは、画像のバッググラウンド部とフォアグラウンド部として表される。
【００２６】
プロセッサ１０４は、複数の２値化画像を生成するように構成された２値化モジュールをさらに含んでいる。
【００２７】
本実施形態に従い、開示された２値化方法は、２つの主な観測に基づいている。その２つの主な観測は、バックグラウンドテキスト（BGT）と関心テキスト（TOI）との間にわずかなグレースケール変化があるということと、１７英数字が取得された画像に正確に存在するということである。バッググラウンドピークとフォアグラウンドピークとの間の動的閾値（ピクセル値）の特別の数（ｎ）は、２値化のために使用される（図２のステップ２１２に示される）。ピクセルにつき８ビットの画像形式にとって、この数は、ヒューリスティックに得られる１６である。こうして、２値化画像のｎ数はシングルグレースケール画像から得られる（図２のステップ２１４に示される）。
【００２８】
本実施形態に従い、そのような各画像のフォアグラウンドピクセルは、連結成分ラベル化方法（Connnected-component labeling method）を使用してラベル化される。連結成分ラベル化は、グラフ理論のアルゴリズムアプリケーションである。連結成分のサブセットは、与えられたヒューリスティックに基づいて、ユニークにラベル化される。頂点を含み、辺を結合するグラフは、入力画像から構成される。頂点は、ヒューリスティック比較によって要求される情報を含む。一方、辺は、連結された「隣（neighbors）」を示す。アルゴリズムは、グラフをトラバースし、それらの「隣」の相対的価値と連結性に基づいて頂点をラベル化している。ラベル化段階に続き、グラフは、サブセットに区分化される。その後、オリジナルの情報が回復され、処理される。
【００２９】
プロセッサ１０４は、１または２以上の有効な文字を特定するためにｎ数の２値化画像から不要な成分を取り除くように構成されたフィルターをさらに含んでいる（図２のステップ２１６に示される）。非常に大きいまたは非常に小さい成分は除去される。特別なレベルを有するピクセルの数が１００よりも小さい場合、または、成分が３ピクセルよりも小さい高さ（ｈ）または幅（ｗ）を有している場合、成分は非常に小さくなるように構成されている。同様に、特別なレベルを有するピクセルの数が幅／４よりも大きい場合、または、ｈ＞（ｈｔ＿ｉｍａｇｅ／３）またはｗ＞（ｗｄ＿ｉｍａｇｅ／４）である場合（ここで、ｈｔ＿ｉｍａｇｅは画像の高さを表し、ｗｄ＿ｉｍａｇｅは画像の幅を示す。）、成分は、非常に大きくなるように構成されている。
【００３０】
プロセッサ１０４は、１または２以上の候補画像を特定するために、公知のグラウンドトゥルース値（known ground truth value）に対して有効な文字を比較するように構成されたコンパレーター１１２をさらに含んでいる。公知のグラウンドトゥルース値（ｋ）は、連続して存在する英数字の数と等しい。
【００３１】
コンパレーター１１２は、候補画像を特定するために不要な成分を取り除くよう使用される。成分の数がｋ／２よりも小さい場合、それは、実際の文字のｋ数がとても少なくセグメント化されるか、２値化画像がフォアグラウンドとして全ての有効な文字を含んでいないということを意味している（図２のステップ２１８に示される）。したがって、この２値化画像は候補画像として考えられない。同様に、成分の数がｋ＊３よりも大きい場合、一つの有効な文字は、平均で、３セグメントよりも大きくなるようにオーバーセグメント化されている（図２のステップ２１８に示される）。オーバーセグメント２値化画像およびアンダーセグメント２値化画像は、無視される。残りの２値化画像は、候補画像として考えられる。こうして、少数の有効な画像のみがｎ個の２値化画像から外される。典型的に、各入力画像のためのそのような候補画像の数は、３以上である（連続して存在する英数字の数が１７である場合）。
【００３２】
プロセッサ１０４は、候補画像を結合することで、ファイナル候補画像を生成するように構成された画像発生器114をさらに含んでいる（図２のステップ２２０に示される）。候補画像の半分以上においてバックグラウンドテキストとして決定される場合に限り、候補画像は、バックグラウンドテキスト（BGT）としてピクセルをマーキングすることによって結合される。この所定の状態の実現で、ファイナル候補画像は構築される。
【００３３】
システム１００は、出力発生モジュール１１６をさらに含んでいる。その出力発生モジュール１１６は、ファイナル候補画像を所定のセグメントに分割するように構成され、それによって、各セグメントは一つの有効な文字のみを含んでいる。候補画像は、連続して存在する英数字の数と等しい数に分割される（図２のステップ２２２に示される）。
【００３４】
本実施形態に従って、スキュー補正の従来の方法は、予めセグメンテーションに使用される。セグメンテーションの以下の方法は、有効な文字の数が連続して存在する英数字の数ｋと等しいという観測に基づいている。文字数字セグメンテーション認識方法に含まれるステップは、以下の通りである。
・フォアグラウンドピクセルなしにコラム（段）を特定する。連続する列が得られる場合、これらのコラムの中心は候補カットコラム（ＣＣＣ）としてとられる。得られるＣＣＣの数はｎである。
・連続するＣＣＣｓの間の距離（δ）を見つける。第ｉ番目のＣＣＣと第（ｉ＋１）番目のＣＣＣとの間の距離がδｉ＝｜ＣＣＣｉ＋１−ＣＣＣｉ｜として規定される。
・δｉ∀ｉ∈（１、２・・・・・、ｎ）のメジアン（ｍｅｄδ）を見つける。ｎは画像中におけるＣＣＣｓの数を示す。ヒューリスティックに得られるトレランスファクターτは、Ｔｈδ＝（ｍｅｄδ−τ）として規定される閾値（Ｔｈδ）を規定するように使用される。
・ほぼ等間隔のコラムｋ−１成分が得られたら、各セグメントは候補セグメントとして使用される。
・ｎ＞ｋ−１であるなら、有効な文字が横にセグメント化されることが結論付けられる。そのようなＣＣＣｓは、統合され、ｎは繰り返して一つによって少なくされる。
・ｎ＜ｋ−１であるなら、互いに関連する有効な文字が確かにあるということが結論付けられる。
【００３５】
こうして、有効な文字を有するセグメントのｋ数が得られる。得られたセグメントは、オーバーセグメント化された形式であってもよい。
【００３６】
本実施形態に従い、図３を参照すると、いずれかのセグメントがマルチプルコンポーネントラベルを含んでいれば、マルチプルコンポーネントラベルはモルフォロジカルクロージングを適用することによって統合される（図２のステップ２２４に示される）。図３ａはオーバーセグメント化された文字を示し、図３ｂはモルフォロジカルクロージングを適用した後の同じ文字を示す。クロージングは、まるでオープニングが逆に実行されるようなことと似ている。それは、両方の操作にとって、同じ構造要素を使用するダイレーション（dilation）と、それに続くエロージョン（erosion）として単に規定される。したがって、クロージング操作者は、２つの入力を必要とする。それは、クローズされるべき画像と、構造要素とである。グレイレベルクロージングは、グレイレベルダイレーションと、それに続くグレイレベルエロージョンとで直接的に構成される。クロージングはデュアルオープニングである。すなわち、特別な構造要素を有するフォアグラウンドピクセルのクロージングは、同じエレメントを有するバッググラウンドをクロージングすることと等しい。
【００３７】
本実施形態に従い、図４（ｇ）は、図４（ａ）、４（ｂ）、４（ｃ）、４（ｄ）、４（ｅ）、４（ｆ）に示される先行技術に対して、本発明に開示されるような２値化技術の改善された結果を示している。
【実施例】
【００３８】
画像に連続して存在する英数字を識別するためのシステムと方法は、以下の段落で説明される例を実施することによって説明されてもよい。そのようなプロセスは、前記例のみに限定されない。
モバイルにおける解像度２メガピクセルのカメラでキャプチャーされる車両識別番号(VIN)の画像を検討する。画像が複数のノイズによって影響されることを検討する（ナンバープレート上の泥、他の車両による影など）。オリジナルのナンバーは、ＭＨ０５  １４２４  ６６７２００８７である（２つのアルファベットを含む１７の数）。そのうち、明確な数および／またはアルファベットは、Ｍ−０５  １４‐４‐‐‐２００８‐（残りのナンバーは部分的に識別できる）。ＯＣＲ（Optical character recognition）によって識別される前の、数とアルファベットを含むこの画像は、上述された方法とシステムによって改善される。ヒストグラムは、バッググラウンドとフォアグラウンドのピークポイントを与えることでコンピューター計算される。これは、閾値（例えば、１６）を与え、それによって複数の２値化画像が得られる。
【００３９】
これらの２値化画像は、さらにフィルターされ、不要なものは除去され、有効な文字が得られる。これらの有効な文字は、それとグラウンドトゥルース値（本ケースでは１７）とを比較することによって、候補画像を識別するために使用される。ファイナル候補画像は、これらの小さい候補画像を結合することで得られる。こうして、識別できなかった文字が識別される。
【００４０】
このプロセスは、欠けているまたはノイズに影響されたすべての文字の識別のために繰り返し使用される。そして、最後に、画質はＯＣＲによって処理される前に改善される。
【図１】
2013200872.tif 000003
【図２】
2013200872.tif 000004
【図３】
2013200872.tif 000005
【図４】
2013200872.tif 000006
【手続補正書】
【提出日】平成25年4月22日(2013.4.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像中に連続して存在する英数字の識別方法であって、
前記方法は、プロセッサで実行される、
前記連続する英数字を含む前記画像をキャプチャーする工程と、
前記連続する英数字のうちの識別できる文字のセットを得るために、前記画像を処理する工程とを含み、
前記画像を処理する工程は、
バッググラウンドピークとフォアグラウンドピークとを決定するために前記画像中のピクセル輝度分布を認識するためのパターンを計算する工程と、
前記バッググラウンドピークと前記フォアグラウンドピークとの間の複数の動的閾値を選択することで、複数の２値化画像を生成する工程と、
１または２以上の有効な文字を識別するために、複数の画像から不要な成分を除去することによって、前記生成された２値化画像をフィルターする工程と、
所定のグラウンドトゥルース値に対して前記有効な文字を比較することで、１または２以上の候補画像を特定する工程と、
前記候補画像の結合が所定の状態によって決まるように、前記候補画像を結合することによってファイナル候補画像を生成する工程と、を含み、
前記識別方法は、プロセッサで実行される、
前記ファイナル候補画像を所定のセグメントに分割し、前記各セグメントと関連する有効な英数字を認識する工程とをさらに含むことを特徴とする英数字の識別方法。
【請求項２】
前記連続する英数字は、限定されないが、１７の英数字を含んでいる請求項１に記載の英数字の識別方法。
【請求項３】
前記ピクセル輝度を認識するためのパターンは、ヒストグラムの形式である請求項１または２に記載の英数字の識別方法。
【請求項４】
複数のピクセル値は、前記連続して存在する英数字の数によって決まる請求項１ないし３のいずれかに記載の英数字の識別方法。
【請求項５】
前記不要な成分は、大きい成分と小さい成分とを含み、
特別なレベルを有するピクセルの数が１００より小さいと、成分は前記小さい成分であり、
特別なレベルを有するピクセルの数が幅／４であると、成分は前記大きい成分である請求項１ないし４のいずれかに記載の英数字の識別方法。
【請求項６】
前記１または２以上の候補画像は、オーバーセグメント２値化画像と、アンダーセグメント２値化画像とを無視することによって識別される請求項１ないし５のいずれかに記載の英数字の識別方法。
【請求項７】
前記グラウンドトゥルース値は、前記連続して存在する英数字の数と等しい請求項１ないし６のいずれかに記載の英数字の識別方法。
【請求項８】
前記候補画像を結合するための前記所定の状態は、半分以上の前記候補画像がバックグラウンドである場合、前記候補画像がバッググラウンドとして前記候補画像の全てのピクセルをマークすることによって結合される状態である請求項１ないし７のいずれかに記載の英数字の識別方法。
【請求項９】
前記候補画像は、前記連続して存在する英数字の数と等しい数に分けられる請求項１ないし８のいずれかに記載の英数字の識別方法。
【請求項１０】
前記有効な英数字におけるマルチプルコンポーネントラベルは、モルフォロジカルクロージングを適用することによって統合される請求項１ないし９のいずれかに記載の英数字の識別方法。
【請求項１１】
画像中に連続して存在する英数字を識別するためのシステムであって、
前記システムは、
前記連続して存在する英数字を含む前記画像を取得する画像取得デバイスと、
前記連続する英数字のうちの識別できる文字のセットを得るように構成されたプロセッサとを含み、
前記プロセッサは、
バッググラウンドピークとフォアグラウンドピークとを決定するために前記画像中のピクセル輝度分布を認識するためのパターンを計算するよう構成されたコンピューターモジュールと、
前記バッググラウンドピークと前記フォアグラウンドピークとの間の複数の動的閾値を選択することで、複数の２値化画像を生成するように構成された２値化モジュールと、
１または２以上の有効な文字を識別するために、複数の画像から不要な成分を除去するように構成されたフィルターと、
１または２以上の候補画像を特定するために、所定のグラウンドトゥルース値に対して前記有効な文字を比較するように構成されたコンパレーターと、
前記候補画像の結合が所定の状態によって決まるように、前記候補画像を結合することによってファイナル候補画像を生成するように構成された画像発生器と、を含み、
前記システムは、
前記ファイナル候補画像を所定のセグメントに分け、前記各セグメントと関連する有効な英数字を認識するように構成された出力発生モジュールとをさらに含むことを特徴とするシステム。
【請求項１２】
前記画像取得デバイスは、カメラを含む請求項１１に記載のシステム。
【請求項１３】
前記コンピューターモジュールは、前記ピクセル輝度を認識するためのヒストグラムパターンを計算する請求項１１または１２に記載のシステム。
【請求項１４】
前記前記取得された画像は、１７の前記連続して存在する英数字を含む請求項１１ないし１３のいずれかに記載のシステム。
【外国語明細書】
A SYSTEM AND METHOD FOR PROCESSING IMAGE FOR IDENTIFYING ALPHANUMERIC CHARACTERS PRESENT IN A SERIES
FIELD OF THE INVENTION
[0001]  The present invention in general relates to method and system for character identification. More particularly, the invention relates to a method and system for identifying alphanumeric characters present in a series in an image.
BACKGROUND OF THE INVENTION
[0002]  The images of the Vehicle Identification Number (VIN) are captured by the mobile phone camera by common people many of the times for some specific purpose in some extraordinary situations. Manual involvement in the capturing process, uneven and insufficient illumination, and unavailability of sophisticated focusing system yield poor quality images. 
[0003]  The performance of available open source Optical Character Recognition (OCR) systems on VIN images captured by mobile phones is extremely poor because of the image quality affected by various noises. Therefore, image enhancement techniques need to be used before giving a scanned image as an input to Optical character recognition system. Binarization technique is used as an image enhancement technique to get the text region from a complex background, more specifically the background texts.
[0004]  The OCR for texts in mobile camera captured images consists of a variety of shortcomings. In the existing system, it is required to extract individual characters on embedded mobile platform which has low memory and processing speed. Binarization technique is used as an image enhancement technique to get the text region from a complex background, more specifically the background texts. Many Binarization techniques have been proposed to improve the recognition accuracy of the images. The existing Binarization techniques can improve the recognition accuracy of the images only up to 5.89% at most.
[0005]  Therefore, there is a need of a system and method capable of providing a suitable low complexity binarization technique which would improve the recognition accuracy of an image to a greater extent. 
OBJECTS OF THE INVENTION
[0006]  It is the primary object of the invention to provide a system and method for identification of alphanumeric characters present in a series in an image.
[0007]  It is another object of the invention to provide a system and method for performing binarization of the image thus captured.
[0008]  It is yet another embodiment of the invention to provide a system and method for removing unwanted, over-segmented and under-segmented segments from the binarized images.
[0009]  It is yet another object of the invention to provide a system and method for applying morphological closing for merging the multiple component labels in the valid alphanumeric characters.
SUMMARY OF THE INVENTION
[0010]  The present invention provides a method for identification of alphanumeric characters present in a series in an image. The method comprises of processor implemented steps of capturing the image comprising the series of alphanumeric characters and processing the image for producing a set of identifiable characters out of the series of alphanumeric characters. The processing further comprises of computing a pattern for recognizing a pixel intensity distribution in the image for determining a background peak and a foreground peak, generating a plurality of binarized images by selecting a plurality of dynamic threshold values between the background peak and the foreground peak and filtering the generated binarized images by removing unwanted components from plurality of images to identify one or more valid characters. The processing further comprises of identifying one or more candidate images by comparing the valid characters with respect to a known ground truth value, generating a final candidate image by combining the candidate images such that the combination of the candidate images is dependent upon a predefined condition and splitting the final candidate image into a predefined segments and recognizing a valid alphanumeric character associated with each segment therein.
[0011]  The present invention also provides a system for identification of alphanumeric characters present in a series in an image. The system comprises of an image capturing device for capturing the image comprising the alphanumeric characters present in the series and a processor configured to produce a set of identifiable characters out of the series of alphanumeric characters. The processor further comprises of a computing module configured to compute a pattern for recognizing a pixel intensity distribution in the image for determining a background peak and a foreground peak, a binarization module configured to generate a plurality of binarized images by selecting a plurality of dynamic threshold values between the background peak and the foreground peak and a filter configured to remove unwanted components from the plurality of images to identify one or more valid characters. The processor further comprises of a comparator configured to compare the valid characters with respect to a known ground truth value in order to identify one or more candidate images and an image generator configured to generate a final candidate image by combining the candidate images such that the combination of the candidate images is dependent upon a predefined condition. The system further comprises of an output generating module configured to split the final candidate image into a predefined segments and recognizing a valid alphanumeric character associated with each segment therein.
BRIEF DESCRIPTION OF THE DRWAINGS
[0012]  Figure 1 illustrates the system architecture in accordance with an embodiment of the invention.
[0013]  Figure 2 illustrates an exemplary flowchart in accordance with an alternate embodiment of the invention.
[0014]  Figure 3 illustrates the form of image after applying morphological closing in accordance with an alternate embodiment of the system.
[0015]  Figure 4 illustrates comparative analyses of the binarization technique of the present invention with those of the prior arts in accordance with an embodiment of the invention.
DETAILED DESCRIPTION
[0016]  Some embodiments of this invention, illustrating its features, will now be discussed:
The words “comprising”, “having”, “containing”, and “including”, and other forms thereof, are intended to be equivalent in meaning and be open ended in that an item or items following any one of these words is not meant to be an exhaustive listing of such item or items, or meant to be limited to only the listed item or items.
[0017]  It must also be noted that as used herein and in the appended claims, the singular forms “a”, “an”, and “the” include plural references unless the context clearly dictates otherwise. Although any systems, methods, apparatuses, and devices similar or equivalent to those described herein can be used in the practice or testing of embodiments of the present invention, the preferred, systems and parts are now described. In the following description for the purpose of explanation and understanding reference has been made to numerous embodiments for which the intent is not to limit the scope of the invention.
[0018]  One or more components of the invention are described as module for the understanding of the specification. For example, a module may include self-contained component in a hardware circuit comprising of logical gate, semiconductor device, integrated circuits or any other discrete component. The module may also be a part of any software programme executed by any hardware entity for example processor. The implementation of module as a software programme may include a set of logical instructions to be executed by the processor or any other hardware entity. Further a module may be incorporated with the set of instructions or a programme by means of an interface. 
[0019]  The disclosed embodiments are merely exemplary of the invention, which may be embodied in various forms.
[0020]  The present invention relates to a system and a method for identification of alphanumeric characters present in a series in an image. In the very first step, two major peaks are identified from a pattern of the scale image and a number of binarized images are obtained. The components which are unwanted are removed from the binarized images. Further, one or more candidate images are segmented such that each segment contains a valid character in order to generate a final candidate image.
[0021]  In accordance with an embodiment, referring to figure 1, the system (100) comprises of an image capturing device (102) adapted to capture the image comprising the alphanumeric characters present in the series (as shown in step 202 of figure 2), . The system further comprises of a processor (104) which is configured to produce a set of identifiable characters out of the series of alphanumeric characters (as shown in step 206 of figure 2). The processor further comprises of a computing module (106), a binarization module (108), a filter (110), a comparator (112) and an image generator (114). 
[0022]  In accordance with an embodiment, still referring to figure 1, the image capturing device captures the image in a gray scale. The image capturing device may include a camera. This camera may be coupled to some other electronic device. By way of specific example, the camera may be present in a mobile phone. The images are captured by the image capturing device (102) in a plurality of frames. These images may again comprise of a series of alphanumeric characters to be further identified and hence may include one or more type of noise. The captured images are further processed by the processor. The processor (104) then produces a set of identifiable characters out of the series of alphanumeric characters present in the image.
[0023]  By way of a specific example, the number of alphanumeric characters present in the series may include but is not limited to 17 alphanumeric characters.
[0024]  The processor (104) further comprises of a computing module (106) which is configured to compute a pattern for recognizing a pixel intensity distribution in the image for determining a background peak and a foreground peak. The pixel intensity is recognized in a form of a histogram.
[0025]  The computing module (106) enhances the quality of the input image by applying the retinex strategy (as shown in step 204 of figure 2). The image enhancement is based on two main observations that there are two sources of noises. One is multiplicative in nature that appears due to the background text and the reflection from the glass. The computing module (106) further converts the image into a gray scale image. A gray scale image is one in which the only colors are shades of gray. An intensity histogram of the gray scale image is computed which is a graph showing the number of pixels in an image at each different intensity value found in that image (as shown in step 208 of figure 2). By way of specific example, for an 8-bit grayscale image there are 256 different possible intensities, and so the histogram will graphically display 256 numbers showing the distribution of pixels amongst those grayscale values. Further, from this intensity distribution two major peaks are identified, one located near the value 0 and the other located near the value 255 (as shown in step 210 of figure 2). These peaks are represented as the background part and the foreground part of the image respectively. 
[0026]  The processor (104) further comprises of the binarization module (108) which is configured to generate a plurality of binarized images. 
[0027]  In accordance with an embodiment, the disclosed binarization method is based on two main observations that there is a slight gray scale variation between the background text (BGT) and the text of interest (TOI) and strictly 17 alphanumeric characters are present in the captured image. A specific number (n) of dynamic threshold values (pixel values) between the background peak and the foreground peak are used for binarization (as shown in step 212 of figure 2). For an image in 8 bits per pixel format, this number is 16 which are obtained heuristically. Thus, n numbers of binarized images are obtained from the single gray scale image (as shown in step 214 of figure 2). 
[0028]  In accordance with an embodiment, the foreground pixels of each such image is labeled using Connected-component labeling method. Connected-component labeling is an algorithmic application of graph theory, where subsets of connected components are uniquely labeled based on a given heuristic. A graph, containing vertices and connecting edges, is constructed from the input image. The vertices contain information required by the comparison heuristic, while the edges indicate connected 'neighbors'. An algorithm traverses the graph, labeling the vertices based on the connectivity and relative values of their neighbors. Following the labeling stage, the graph may be partitioned into subsets, after which the original information can be recovered and processed.
[0029]  The processor (104) further comprises of a filter (110) which is configured to remove unwanted components from the n number of binarized images to identify one or more valid characters (as shown in step 216 of figure 2). The components that are too small or too big are removed. A component is defined to be too small if the number of pixels with that particular level is less than 100 or if the component has a height (h) or width (w) less than 3 pixels. Similarly, a component is defined to be too big if the number of pixels with that particular level is more than width/4 or if,
h> (ht_image/3) or
w> (wd_image/4)
where,
ht_image is the height of the image and wd_image is the width of the image.
[0030]  The processor (104) further comprises of a comparator (112) configured to compare the valid characters with respect to a known ground truth value in order to identify one or more candidate images. The known ground truth value (k) is equal to the number of alphanumeric characters present in the series. 
[0031]  The comparator (112) is used to remove the unwanted components in order to identify the candidate images. If the number of components is less than k/2, it means that actual k number of characters is either very under segmented or the binarized image doesn't include all valid characters as foreground (as shown in step 218 of figure 2). So this binarized image is not considered as a candidate image. Similarly, if the number of components are greater than k*3 then on the average one valid character is over segmented to more than 3 segments (as shown in step 218 of figure 2). The over-segmented and under segmented binarized images are disregarded. The remaining binarized images are considered as the candidate images. Thus, only a few valid images are left out of n binarized images. Typically, the number of such candidate images for each input image is less than or equal to 3 (for a case where number of alphanumeric characters present in the series are 17).
[0032]  The processor (104) further comprises of an image generator (114) which is configured to generate a final candidate image by combining the candidate images (as shown in step 220 of figure 2). The candidate images are combined by marking the pixels as background text (BGT) only if it is decided as a background text in more than half of the candidate images. On the fulfillment of this predefined condition, the final candidate image is constructed. 
[0033]  The system (100) further comprises of an output generating module (116) which is configured to split the final candidate image into a predefined segments such that each segment contains only one valid character. The candidate image is split into a number equal to the number of alphanumeric characters present in the series (as shown in step 222 of figure 2). 
[0034]  In accordance with an embodiment, a conventional method of skew correction is used prior to the segmentation. The following method of segmentation is based on the observation that the number of valid characters is equal to the number of alphanumeric characters present in the series (k). The steps involved in the character and numeral segmentation and recognition method is as follows:
2013200872.tif 000007
[0035]  Thus, k numbers of segments are obtained, each having a valid character. The segments obtained may be in over segmented form. 
[0036]  In accordance with an embodiment, referring to figure 3, if any such segment includes multiple component labels, they are merged by applying a morphological closing (as shown in step 224 of figure 2). The figure (3a) shows an over-segmented character and figure (3b) shows the same character after applying morphological closing. Closing is similar to as if opening is performed in reverse. It is defined simply as dilation followed by erosion using the same structuring element for both operations. The closing operator therefore requires two inputs: an image to be closed and a structuring element. Gray level closing consists straightforwardly of a gray level dilation followed by gray level erosion. Closing is the dual of opening, i.e. closing the foreground pixels with a particular structuring element, is equivalent to closing the background with the same element.
[0037]  In accordance with an embodiment, figure 4(g) illustrates the improved results of binarization technique as disclosed in the present invention with respect to prior arts shown in figure 4(a), (b), (c), (d), (e) and (f).
BEST MODE/EXAMPLE FOR WORKING OF THE INVENTION
[0038]  The system and method illustrated for identification of alphanumeric characters present in a series in an image may be illustrated by working example stated in the following paragraph; the process is not restricted to the said example only:
Let us consider an image of a vehicle identification number (VIN) captured by a person through his camera of resolution 2mega pixel in his mobile. Let us consider the image is affected by plurality of noise (mud on number plate, shadow of some other vehicle etc). Let originally the number is MH05 1424 66720087 (17 numbers including 2 alphabets). Out which the number and/or alphabets which are clear include M-05 14-4---2008- (rest of the numbers are partially identifiable). This image comprising numbers and alphabets before being identified by OCR (Optical character recognition) is enhanced by the above described method and system. The histogram is first computed giving the peak points of background and foreground. This gives a threshold value (say 16) by which a plurality of binarized images are obtained.
[0039]  These binarized images are further filtered and unwanted are removed and certain valid characters are obtained. These valid characters are used for identifying candidate images by comparing it to a ground truth value (which in our case is 17).  Now, a final candidate image is created by combining these small candidate images and thus missing characters are identified.
[0040]  This process is repeated for identification of all the missing or noise affected characters and finally the quality of image is enhanced before being processed by the OCR.
WE CLAIM:
1. A method for identification of alphanumeric characters present in a series in an image, the method comprising processor implemented steps of:
capturing the image comprising the series of alphanumeric characters;
processing the image for producing a set of identifiable characters out of the series of alphanumeric characters; the processing further comprising:
computing a pattern for recognizing a pixel intensity distribution in the image for determining a background peak and a foreground peak;
generating a plurality of binarized images by selecting a plurality of dynamic threshold values between the background peak and the foreground peak;
filtering the generated binarized images by removing unwanted components from plurality of images to identify one or more valid characters;
identifying one or more candidate images by comparing the valid characters with respect to a known ground truth value;
generating a final candidate image by combining the candidate images such that the combination of the candidate images is dependent upon a predefined condition; and
splitting the final candidate image into a predefined segments and recognizing a valid alphanumeric character associated with each segment therein.
2. The method as claimed in claim 1, wherein the series of alphanumeric characters includes but is not limited to 17 alphanumeric characters.
3. The method as claimed in claim 1, wherein the pattern for recognizing the pixel intensity is in a form of histogram.
4. The method as claimed in claim 1, wherein the plurality of pixel values depends upon the number of alphanumeric characters present in the series.
5. The method as claimed in claim 1, wherein the unwanted components comprises of too big and too small components, such that a component is too small if the number of pixels with that particular level is less than 100 and a component is too big if the number of pixels with that particular level is width/4.
6. The method as claimed in claim 1, wherein the one or more candidate images are identified by disregarding over-segmented and under-segmented binarized images.
7. The method as claimed in claim 1, wherein the ground truth value is equal to the number of alphanumeric characters present in the series.
8. The method as claimed in claim 1, wherein the predefined condition for combining the candidate images refers to marking the pixels of all the candidate images as background if more than half of the candidate images are background.
9. The method as claimed in claim 1, wherein the candidate image is split into a number equal to the number of alphanumeric characters present in the series.
10. The method as claimed in claim 1, wherein the multiple component labels in the valid alphanumeric character are merged by applying morphological closing.
11. A system for identification of alphanumeric characters present in a series in an image, the system comprising: 
an image capturing device for capturing the image comprising the alphanumeric characters present in the series;
a processor configured to produce a set of identifiable characters out of the series of alphanumeric characters; the processor further comprising:
a computing module configured to compute a pattern for recognizing a pixel intensity distribution in the image for determining a background peak and a foreground peak;
a binarization module configured to generate a plurality of binarized images by selecting a plurality of dynamic threshold values between the background peak and the foreground peak;
a filter configured to remove unwanted components from the plurality of images to identify one or more valid characters;
a comparator configured to compare the valid characters with respect to a known ground truth value in order to identify one or more candidate images;
an image generator configured to generate a final candidate image by combining the candidate images such that the combination of the candidate images is dependent upon a predefined condition; and
an output generating module configured to split the final candidate image into a predefined segments and recognizing a valid alphanumeric character associated with each segment therein.
12. The system as claimed in claim 11, wherein the image capturing device includes a camera.
13. The system as claimed in claim 11, wherein the computing module computes a histogram pattern for recognizing the pixel intensity.
14. The system as claimed in claim 11, wherein the captured image includes 17 alphanumeric characters present in the series.
ABSTRACT
A SYSTEM AND METHOD FOR IDENTIFICATION OF ALPHANUMERIC CHARACTERS IN A SERIES IN AN IMAGE 
A system and a method for identification of alphanumeric characters present in a series in an image are disclosed. The system and method captures the image and further processes it for binarization by computing a pattern of the image. The generated binarized images are then filtered for removing unwanted components. Candidate images are identified out of the filtered binarized images. All the obtained candidate images are combined to generate a final candidate image which is further segmented in order to recognize a valid alphanumeric character present in the series.
Figure 1
【図１】
2013200872.tif 000008
【図２】
2013200872.tif 000009
【図３】
2013200872.tif 000010
【図４】
2013200872.tif 000011