(57)【要約】      （修正有）【課題】ナンバープレート自動認識用途における適応的文字切り出しのための方法、システム及びプロセッサ読み取り可能な媒体を提供する。【解決手段】関心領域は、ナンバープレート自動認識エンジンを介して取得されたナンバープレートの画像内で識別されることができる３２。関心領域に関する画像内の文字は、特定の切り出し閾値パラメータに関連付けられたヒストグラム投影を使用して切り出されることができる３４。画像内の文字は、有効文字の最小数が、ナンバープレートを識別するのに十分な文字画像を生成するようにヒストグラム投影及び特定の切り出し閾値パラメータに基づいて判定された場合に反復的に検証されることができる３６。【選択図】図３
2014238829.tif 000002
【特許請求の範囲】
【請求項１】
ナンバープレート自動認識用途における適応的文字切り出しの方法において、
ナンバープレート自動認識エンジンを介して取得されたナンバープレートの画像内の関心領域を識別することと、
特定の切り出し閾値パラメータに関連付けられたヒストグラム投影を使用して前記関心領域に関する前記画像内の前記文字を切り出すことと、
有効文字の最小数が、前記ナンバープレートを識別するのに十分な文字画像を生成するように、前記ヒストグラム投影及び前記特定の切り出し閾値パラメータに基づいて判定された場合に前記画像内の前記文字を反復的に検証することとを備える、方法。
【請求項２】
さらに、前記特定の切り出し閾値パラメータを切断して前記文字の前記切り出しを繰り返して前記文字を検証することにより、前記ヒストグラム投影を増加させることを備える、請求項１に記載の方法。
【請求項３】
さらに、反復的に検証された前記文字に対する切り出し誤り回復動作を行うことを備える、請求項１に記載の方法。
【請求項４】
さらに、反復的に検証されてさらなる処理のために光学式文字認識エンジンに対する前記画像に関連付けられた少なくとも１つの文字画像を出力することを備える、請求項３に記載の方法。
【請求項５】
さらに、前記文字を検証するのに十分信じられる結果が出るまで前記特定の切り出し閾値パラメータの積極性を増加させるように出力測定基準からのフィードバックを使用することを備える、請求項１に記載の方法。
【請求項６】
さらに、全体的な信頼度閾値が反復的に検証された前記文字に関して満たされているかどうかを判定して前記ナンバープレートの識別に役立つことを備える、請求項１に記載の方法。
【請求項７】
ナンバープレート自動認識用途における適応的文字切り出しのシステムにおいて、
プロセッサと、
前記プロセッサに連結されたデータバスと、
前記データバスに連結され、前記プロセッサによって実行可能であって、
ナンバープレート自動認識エンジンを介して取得されたナンバープレートの画像内の関心領域を識別し、
特定の切り出し閾値パラメータに関連付けられたヒストグラム投影を使用して前記関心領域に関する前記画像内の前記文字を切り出し、
有効文字の最小数が、前記ナンバープレートを識別するのに十分な文字画像を生成するように、前記ヒストグラム投影及び前記特定の切り出し閾値パラメータに基づいて判定された場合に前記画像内の前記文字を反復的に検証する
ために構成された命令を含むコンピュータ・プログラムコードを具現化するコンピュータ使用可能な媒体と
を備える、システム。
【請求項８】
前記命令が、さらに、前記特定の切り出し閾値パラメータを切断して前記文字の前記切り出しを繰り返して前記文字を検証することにより、前記ヒストグラム投影を増加させるために構成されている、請求項７に記載のシステム。
【請求項９】
ナンバープレート自動認識用途についての適応的文字切り出しのための処理を生じさせる命令を表すコンピュータコードを記憶するプロセッサ読み取り可能な媒体において、前記コンピュータコードが、
ナンバープレート自動認識エンジンを介して取得されたナンバープレートの画像内の関心領域を識別し、
特定の切り出し閾値パラメータに関連付けられたヒストグラム投影を使用して前記関心領域に関する前記画像内の前記文字を切り出し、
有効文字の最小数が、前記ナンバープレートを識別するのに十分な文字画像を生成するように前記ヒストグラム投影及び前記特定の切り出し閾値パラメータに基づいて判定された場合に前記画像内の前記文字を反復的に検証する
ためのコンピュータコードを含む、プロセッサ読み取り可能な媒体。
【請求項１０】
前記コードが、さらに、前記特定の切り出し閾値パラメータを切断して前記文字の前記切り出しを繰り返して前記文字を検証することにより、前記ヒストグラム投影を増加させるためのコードを含む、請求項９に記載のプロセッサ読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
実施形態は、一般に、データ処理方法及びシステム並びにプロセッサ読み取り可能な媒体に関する。実施形態はまた、ＡＬＰＲ（ナンバープレート自動認識）用途の分野に関する。実施形態は、さらに、取得した画像の文字切り出しに関する。
【背景技術】
【０００２】
ＡＬＰＲは、多くの場合、「インテリジェント」交通インフラストラクチャ用途のコアモジュールとして機能する画像処理アプローチである。ＡＬＰＲなどのナンバープレート認識技術は、画像処理及び文字認識技術を利用してナンバープレートを自動的に読み取ることにより、車両を識別するために使用されることができる。ナンバープレート認識動作は、画像内にナンバープレートを配置し、プレートの撮像画像内の文字を切り出し、識別された文字に対してＯＣＲ（光学式文字認識）処理を行うことによって行われることができる。
【０００３】
ＡＬＰＲ問題は、多くの場合、以下の画像処理動作のシーケンスに分解される。ナンバープレートを含むサブ画像を配置すること（すなわち、プレート位置特定）、個々の文字の画像を抽出すること（すなわち、切り出し）、及び、これらの文字画像に対して光学式文字認識（ＯＣＲ）を実行すること。高精度を達成するＯＣＲのために、適切に切り出された文字を取得する必要がある。
【０００４】
現実的な条件（すなわち、現場配置解決策）のもとに取得されたナンバープレート画像内に存在する厄介なノイズ源が数多くある。これらは、暗い影、（１台の車両から次の車両まで、昼間対夜間など）非均一照明、厄介な光学的幾何形状（チルト、ずれ又は射影歪み）、文字に部分的に接触するプレートフレーム及び／又はステッカー、文字の部分的な隠れ（例えば、トレーラーのヒッチボール）、低コントラスト、及び、一般的な画像ノイズ（例えば、ごま塩ノイズ）を含む。米国において展開されているいくつかのＡＬＰＲシステムについて、文字フォント、幅及び間隔の州間の変化は、適切な文字切り出しの困難さをさらに加える。
【０００５】
ＡＬＰＲ用途における現在の文字切り出しサブシステムは、２段階で構成されている。第１の段階は、垂直投影ヒストグラム（非常に一般的な切り出し技術）を算出して最初の文字境界（カット）を生成し、メディアン文字間隔などの局所的統計情報を使用して（文字を組み合わせることによって生じる）大きなカットを分割し、欠落文字を挿入する。第１の段階において適用される動作は、最小限の計算資源を必要とし、その結果、良好な文字切り出し精度を達成するために各入力画像に適用される。事前画像情報は、この第１の段階において利用されず、様々な州ロゴ、フォント及び文字間隔にわたって強固な性能を可能とする。
【０００６】
第２の段階は、下流の分析にとって有効な画像であるか又は無効であるとの疑いがある傾向がある切り出された画像を分類し、疑わしい文字画像に対して追加分析を適用することにより、切り出し性能をさらに向上させる。この追加分析は、１）ＯＣＲの適用後に、疑わしい文字の有効性を判定するための州固有の規則の適用、及び、２）隣接する疑わしい狭い文字の結合と、結合された文字のＯＣＲの信頼性の評価を含む。
【０００７】
第１の段階が正解に合理的に近い結果を生成しないときに問題が発生する。これは、不十分な数の切り出しカットに起因して第１の段階の出力から欠落している２つ以上の有効な文字画像によって明らかになる。第２の段階は、１文字及び限られたケースでは２文字の誤りを回復することができるが、一般に、２文字以上が欠落している場合には、その結果は、良好なＯＣＲ又は州ＩＤがどのように実行するかにかかわらず、切り出しから生まれる有効な文字画像を欠落しており、正しいナンバープレートを取得する機会がない。
【発明の概要】
【課題を解決するための手段】
【０００８】
ナンバープレート自動認識用途における適応的文字切り出しの方法及びシステムが記載される。関心領域は、ナンバープレート自動認識エンジンを介して取得されたナンバープレートの画像内で識別されることができる。関心領域に関する画像内の文字は、特定の切り出し閾値パラメータに関連付けられたヒストグラム投影を使用して切り出されることができる。有効文字の最小数が、ナンバープレートを識別するのに十分な文字画像を生成するために、ヒストグラム投影と特定の切り出し閾値パラメータとに基づいて判定された場合には、画像内の文字は、反復的に検証することができる。
【０００９】
開示の実施形態は、十分に「信じられる」結果が達成されるまで切り出しパラメータの積極性を増加させるように出力測定基準（例えば、最小ＯＣＲの信頼度閾値によって判定された「有効」文字の数）からのフィードバックによる反復的なアプローチを利用する。そして、この結果は、切り出し内及びＯＣＲへのさらなる処理について沿って渡すことができる。ヒストグラム投影切り出しアプローチについて、調整すべきパラメータは、画像プロファイルがカットされる閾値レベルである。
【図面の簡単な説明】
【００１０】
【図１】図１は、開示された実施形態の１つ以上の態様に係る使用に適用可能なＡＬＰＲシステムのブロック図を図示している。
【図２】図２は、正確なＯＣＲ対ＯＣＲ信頼性データの確率を示すデータを描写したグラフを図示している。
【図３】図３は、好ましい実施形態にしたがって実装可能な文字切り出し方法の論理演算ステップを描写した動作の高レベルのフローチャートを図示している。
【図４】図４は、他の実施形態にしたがって実装可能な文字切り出し方法の論理演算ステップを描写した動作の高レベルのフローチャートを図示している。
【図５】図５は、先行技術の切り出しアルゴリズムを使用して失敗したＲＯＩ（関心領域）画像の例を図示している。
【図６】図６は、開示された実施形態の１つ以上の態様にしたがって成功裏に実現されたＲＯＩ画像の例を図示している。
【図７】図７は、先行技術の切り出しアルゴリズムを使用して失敗したＲＯＩ（関心領域）画像の例を図示している。
【図８】図８は、開示された実施形態の１つ以上の態様にしたがって成功裏に実現されたＲＯＩ画像の例を図示している。
【図９】図９は、他の実施形態にしたがって実装可能なナンバープレートの発行州を識別するためのＡＬＰＲシステムの高レベルのブロック図を図示している。
【図１０】図１０は、開示された実施形態の１つ以上にしたがって実装可能なコンピュータシステムの概略図を図示している。
【図１１】図１１は、開示された実施形態にしたがった拡張データを用いたＡＬＰＲモジュール、オペレーティングシステム及びユーザインターフェースを含むソフトウェアシステムの概略図を図示している。
【発明を実施するための形態】
【００１１】
図１は、開示された実施形態の１つ以上の態様に係る使用に適用可能なＡＬＰＲシステム１０のブロック図を図示している。ＡＬＰＲシステム１０は、一般に、ナンバープレート位置特定モジュール１４にデータ（例えば、画像）を提供する撮像モジュール１２を含む。モジュール１４からの出力は、文字認識モジュール１８に入力されるデータを順次出力する文字切り出しモジュール１６に入力される。文字認識モジュール１８から出力されるデータは、州識別モジュール２０への入力として供給される。それゆえに、図１は、本願明細書においてより詳細に説明されるように、密な境界ボックス画像内の文字境界の初期セットを提供するために垂直投影ヒストグラムを利用する本願明細書に記載された文字切り出しアプローチのための視覚背景を提供する。他のＡＬＰＲシステム１３０はまた、図９を参照しながら本願明細書に記載される。
【００１２】
開示された実施形態の基本的な技術は、十分に「信じられる」結果が達成されるまで切り出しパラメータの積極性を増加させるように出力測定基準（例えば、最小ＯＣＲの信頼度閾値によって判定された「有効」文字の数）からのフィードバックによる反復的なアプローチを利用することである。そして、この結果は、切り出し内及びＯＣＲへのさらなる処理について沿って渡すことができる。ヒストグラム投影切り出しアプローチについて、調整すべきパラメータは、画像プロファイルがカットされる閾値レベルである。
【００１３】
ほとんどのＡＬＰＲ用途のための計算効率の要件を考えると、切り出しパラメータの選択を案内するのに役立つ出力測定基準を算出する方法が効率的であることが必要である。ナンバープレート認識の分野における１つの利点は、いくつかの制約がナンバープレート情報自体の構造に存在しないということである。例えば、所定の管轄区域（州）についてのナンバープレートのレイアウト（記号数、ロゴの存在など）は、通常は事前に公知である。そのため、１つの単純なアプローチは、初期切り出し処理によって生成された切り出された文字の数をナンバープレート上に予想される数と比較することであろう。いかなるナンバープレート画像についても、その特定のプレートにいくつの文字が実際に存在するのかをまだ事前に知らないことに留意されたい。しかしながら、我々は、有効な文字の最小数及び／又は州ロゴの存在などの現場固有の要件のセットを実施することができ、プレート領域画像の切断においてより積極的であってより多くのトリミングされた画像を返すアルゴリズムを強制する、更新されたパラメータセットによって段階１の呼び出し（すなわち、以前に提示された２段階の議論を呼び戻す）を反復的に繰り返すことができる。
【００１４】
そのようなアプローチにおいて、指定された基準が我々の切り出しにおいて過度に積極的になる（画像の過度な切り出し）ことなく満たされたときに止めることができるように、ゆっくりと徐々に段階１の積極性を高めることは重要である。再度、この反復的アプローチからの結果は、上述した従来のアプローチのセクションにおいて記載されたように段階２の分析にさらに供される。そのため、アプローチが段階１において行われるカット数にやや保守的であるように実装されている場合には、段階２は、単一の欠落した文字画像を取得することにおいていくつかの支援を提供するように期待されることができる。しかしながら、画像の非常に過度の切り出しは、回復するのにはるかに困難である傾向がある。
【００１５】
切り出し画像の有効性（「信憑性」）の検査は、複数の手段を介して達成することができる。以下の３つの例は、参照のために本願明細書において設けられており、開示された実施形態の特徴を限定するものではない：
１）  切り出しによって返されるトリミングされた画像の数を単純にカウントすること。
２）  任意のトリミングされた画像が、有効な文字であるか、ロゴであるか又は積層文字であるかどうかを判定するために特定の実装からトリミングされた画像においてトレーニングされた画像ベースの分類器（文字／非文字（ＣＮＣ）分類器）を使用すること。
３）  Ａ〜Ｚ、０〜９、キー記号及び積層文字についてのラベルの結論によって信頼値を返すＯＣＲの分類器を利用すること。（それは切り出し閾値パラメータの最も正確な設定を与えることから、これは好ましい実施形態で実施可能である）。
【００１６】
選択肢１は、ほとんど自明であり、通常、最悪の結果をもたらす。選択肢２を使用して「信じられる」文字画像のカウントを得ることは、分類器によって正として分類される画像の数をカウントすることによって達成することができる。しかしながら、この分類器のための広いクラス内分散を考えると、その結果は、選択肢３の場合と略同様に正確ではない。選択肢３について、我々は、所定の信頼度についての精度のプロットを有し、結果が有効な文字であるとみなされる前に信頼度閾値の要件を使用することができる。これは、図２に図示されている。プレート境界、一般画像及び他の非文字画像は、通常、非常に低いＯＣＲの信頼度を返す。最良の結果は、選択肢３を使用して達成された。有効な文字としての分類についての閾値は、通常、６０％の確率に設定される。
【００１７】
図３は、好ましい実施形態にしたがって実装可能な文字切り出しについての方法３０の論理演算ステップを描写した動作の高レベルのフローチャートを図示している。ブロック２８において示されるように処理が開始される。そして、ブロック３２において示されるように、ステップ又は論理演算は、図１のブロック１４に描写されたプレート位置特定ステップなどのプレート位置特定動作からナンバープレートＲＯＩ（関心領域）画像を取得して実現可能である。
【００１８】
そして、ブロック３４において示されるように、文字切り出し動作がインテリジェントヒストグラム投影に基づいて実行可能である。その後、ブロック３６において記載されるように、切り出しの有効性を判定するために検査が行われることができる。すなわち、「はい」の場合には、有効文字の最小数がＯＣＲ閾値を使用して判定され、その後、ブロック４０、４２において記載された動作が実行された後、処理される。そうでない場合又は「いいえ」の場合には、ヒストグラム切断閾値パラメータなどを増加させるために、ブロック３８において示されるようにステップ又は論理演算が描写されている。ブロック３６において描写された動作からの「はい」応答結果を仮定すると、段階２の切り出し誤り回復動作が実行されることができ、その後、ブロック４２において示されるように、ＯＣＲに対する文字画像の出力が実行されることができる。そして、処理は、ブロック４４において示されるように終了する。
【００１９】
図３は、１つの実施形態についての全体の処理の流れを図示している。結果として得られる切り出しの適応性（すなわち、信憑性）を調べる他のより複雑な方法もまた可能であることに留意されたい。例えば、他の実施形態において、段階１の各反復からの切り出し結果は、切り出しの段階２（マージ及び分割）、文字認識（ＯＣＲ）、最後に州識別を通過する。このようにして、完全なプレートコード及び当初の州の推定が、関連付けられた信頼値によって得られる。再度、最小の信頼度閾値を設定することにより、切り出しの積極性は、必要な信頼度が達成されたか又は我々の所定の探索ウィンドウを使い尽くすまでゆっくりと増加させることができる。探索はまた、最初に必要最小数の信じられる文字を達成するための切り出しパラメータを変更し、その後、信頼度が達成されるまで調整するという２つの段階において実施可能である。この他の実施形態の処理の流れを示すフローチャートが図４に設けられている。
【００２０】
図４は、他の実施形態にしたがって実施可能な文字切り出しのための方法５０の論理演算ステップを描写した動作の高レベルのフローチャートを図示している。ブロック５２において示されるように、処理が開始されることができる。そして、ブロック５４において示されるように、プレート位置特定動作（例えば、図１のブロック１４）を介してナンバープレートＲＯＩ画像を導出するステップ又は論理演算が実行されることができる。その後、ブロック５６において図示されるように、文字切り出しステップ又は論理演算がインテリジェントヒストグラム投影に基づいて実行される。
【００２１】
次に、ブロック５８において示されるように、有効文字の最小数がＯＣＲ閾値を使用して判定されるかどうかを判定するために切り出しの有効性についての検査が行われる。そうでない場合には、ブロック６０において示されるように、ヒストグラム切断閾値パラメータが増加し、ブロック５６において示される動作などが繰り返される。答えが「はい」である場合には、ブロック６２において示される動作が行なわれ、そこでは、段階２の切り出し誤差回復が実行される。そして、ブロック６４において記載されたように、ＯＣＲに対して文字画像を出力するようにステップ又は論理演算が実行される。次に、ブロック６６において図示されるように、切り出された文字のＯＣＲが起こり、その後、ブロック６８において示されるように、ナンバープレートの州の識別が起こる。
【００２２】
ブロック６８に示される動作の実行に続いて、ブロック７０において示されるように、プレート結果の有効性についての検査が行われる。そのような検査において、全体的な信頼度閾値が満たされているかどうかが判定される。そうでない場合には、ブロック６０において示される動作（すなわち、切断閾値パラメータの増加）などが実行される。そうでない場合には、ブロック７２において示されるように、ナンバープレート結果が出力された後、ブロック７４において図示されるように、処理が終了する。
【００２３】
再度、切り出し閾値が過度の切り出しを回避するために小さなステップで増加されなければならないことに留意することが重要である。この主な理由は、正確な切り出しが発生したときに最大信頼値が必ずしも正確に達成されないということである。実際に、ナンバープレート画像内の厄介なノイズ源に起因して、過度の切り出しが発生したとき（例えば、「Ｕ」を半分に割る）に、わずかに高い信頼値を達成することが可能である。それゆえに、結果が「まさに信じられる」ようになるまで反復的に切り出しパラメータの積極性を増加させることにより、過度の切り出しが結果の判定を不明瞭にするのを防止する。
【００２４】
図５は、先行技術の切り出しアルゴリズムを使用して失敗したＲＯＩ（関心領域）画像８０の例を図示している。図５に示された画像８２は、「良好なブロック」（すなわち、双方の隣接するものと列方向ＡＮＤ演算された）を表している。画像８４は、「生ブロック」（すなわち、双方の隣接するものと列方向ＡＮＤ演算された）を表している。画像８６は、当初（ｋ）、右（ｂ）、左（ｒ）及び双方（ｇ）のＡＮＤ演算された画像の垂直投影を表している。グラフ８８は、これらの動作に関連付けられたデータをプロットしている。
【００２５】
図６は、開示された実施形態の１つ以上の態様にしたがって成功裏に実現されたＲＯＩ画像９０の例を図示している。図６に示される画像９２は、「良好なブロック」（すなわち、双方の隣接するものと列方向ＡＮＤ演算された）を表している。画像９４は、「生ブロック」（すなわち、双方の隣接するものと列方向ＡＮＤ演算された）を表している。画像９６は、当初（ｋ）、右（ｂ）、左（ｒ）及び双方（ｇ）のＡＮＤ演算された画像の垂直投影を表している。グラフ９８は、これらの動作に関連付けられたデータをプロットしている。
【００２６】
図７は、先行技術の切り出しアルゴリズムを使用して失敗したＲＯＩ（関心領域）画像１００の例を図示している。図７に示される画像１０２は、「良好なブロック」（すなわち、双方の隣接するものと列方向ＡＮＤ演算された）を表している。画像１０４は、「生ブロック」（すなわち、双方の隣接するものと列方向ＡＮＤ演算された）を表している。画像１０６は、当初（ｋ）、右（ｂ）、左（ｒ）及び双方（ｇ）のＡＮＤ演算された画像の垂直投影を表している。グラフ１０８は、これらの動作に関連付けられたデータをプロットしている。
【００２７】
図８は、開示された実施形態の１つ以上の態様にしたがって成功裏に実現されたＲＯＩ画像１２０の例を図示している。図８に示される画像１２２は、「良好なブロック」（すなわち、双方の隣接するものと列方向ＡＮＤ演算された）を表している。画像１２４は、「生ブロック」（すなわち、双方の隣接するものと列方向ＡＮＤ演算された）を表している。画像１２６は、当初（ｋ）、右（ｂ）、左（ｒ）及び双方（ｇ）のＡＮＤ演算された画像の垂直投影を表している。グラフ１２８は、これらの動作に関連付けられたデータをプロットしている。
【００２８】
それゆえに、ストレス画像のいくつかの例は、参照のため以下に設けられる以前に提案された切り出し方法に供されて示される。図５及び図７は、以前の切り出しアルゴリズムを使用して失敗した関心領域（ＲＯＩ）画像の領域の例を図示している。これらは、通常、文字切り出しアルゴリズムに対する最も困難な入力である。図５において、プレートカバーは、複数の文字を接続し、ヒストグラム投影にみられるように、文字境界が判定されるのが困難である。我々は、ベースラインの段階１のアルゴリズムを使用して最初の「４」と末尾の「０」とを正確に切り出すことができるが、プレートカバーに与えられた中央における「ＶＨＴ２５」とこれらの文字間における過度の背景ノイズとを切り出すことができない。６０％正確さのＯＣＲ閾値と４セグメントの最小値とを使用して定義される３つの有効文字の最小要件を使用して、我々は、切り出しパラメータを更新し、より多くの文字を正確に切り出すまで段階１の反復呼び出しを行う。その結果が図６に示されている。残存する唯一の問題は、接続された「２５」であるが、上述したように、第２の切り出し段階は、これらの種類の微細な誤りを回復するように設計されている。そのため、開示された実施形態は、システム全体の方法論を包含することができる。
【００２９】
図７は、ヒストグラム投影が行われるとき、これらの文字が接続されているかのようにみえるように文字に過度のずれを有する他の典型的な失敗のケースを示している。文字間における背景ノイズの付加は、問題を悪化させる。ベースライン方法は、２つの主要なセグメントである「５ＮＭＸ２」と「５５」とを返す。提案された方法の適用に続いて、図８において、第２の段階の処理によって固定された２つの小さなセグメント「ＮＭ」及び「Ｘ２」を有することがわかる。
【００３０】
いくつかの実施形態は、様々な実世界の料金徴収画像を検査した。全ての場合において、本発明は、性能の改善をもたらした。その改善は、画質によって変化し、画質が不良であった及び／又は画像の解像度が低かった（すなわち、最大ストレスが先行技術について存在していた）場合の実装についてより大きかった。既に高精度のいくつかのＡＬＰＲシステム及び多くのクライアントに特有の非常に厳しい精度要件を考えると、例えば、１パーセント超、全体的なシステムレベルの性能を増加させることは、計り知れない改善である。
【００３１】
開示された実施形態は、二重段階アプローチを使用して現在処理されるいずれかの画像に不具合を発生しない。むしろ、この新たなアプローチは、２段階アプローチが失敗しそうであるケースを識別し、パラメータを慎重に調整し、下流のアルゴリズムが画像を撮像して正確なコードを取得する機会を提供するためのフィードバック機構の一部として切り出しを繰り返す。
【００３２】
図９は、開示された実施形態に係る使用に適用可能なＡＬＰＲシステム１３０の高レベルのシステム図を図示している。図１３に描写されたシステム１３０は、一般に、ナンバープレート１５０を有する車両１５２を含むか又は車両１５２とともに使用可能である。システム１３０は、トリガ１４８と、カメラ１４４と、画像を撮像するための照明器１４６とを含む。システム１３０は、さらに、撮像エンジン１３８、適応的文字切り出しエンジン１４０及びナンバープレート読み取りエンジン１４２を含むローカルプロセッサ１３６を含む。システム１３０は、さらに、ネットワーク１３４（例えば、ローカル無線ネットワーク、インターネット、セルラー通信ネットワーク、他のデータネットワークなど）と、取引を処理して顧客のアカウントを管理するための管理業務システム１３２とを含むことができる。ローカルプロセッサ１３６は、ネットワーク１３４を介して管理業務システム１３２と通信することができる。適応的文字切り出しエンジン１４０は、図１に示される文字切り出しモジュール１６と同様であることに留意されたい。実際に、図９に示されるＡＬＰＲシステム１３０は、類似しているが図１に示されるＡＬＰＲシステム１０の他のバージョンを表している。
【００３３】
図９において、ナンバープレート１５０は、車両１５２の前部に配置されて描写されているが、ナンバープレート１５０はまた、車両１５２の後部にも同様に配置されることができる。いくつかの州（例えば、テキサス州）は、双方の場所、すなわち車両の後部及び前部にナンバープレートを必要とする。１つのシナリオにおいて、車両１５２は、車両１５２のナンバープレート領域を照明する照明器１４６を制御するトリガ装置１４８と、車両１５２におけるナンバープレート１５０の画像を撮像するカメラ１４４とを含むナンバープレート読み取り領域に入る。カメラ１４４は、ローカルプロセッサユニット１３６に対して接続されることができる及び／又はローカルプロセッサユニット１３６と通信することができる。
【００３４】
撮像エンジン１３８は、車両１５２及びナンバープレート１５０を適切に撮像するために、トリガ１４８、照明器１４６及びカメラ１４４を制御する。ナンバープレート１５０及びその文字切り出しデータの画像は、その後、ローカルプロセッサ１３６によってネットワーク１３４経由で管理業務システム１３２に対して送信されることができる。管理業務システム１３２は、ナンバープレート及び州管轄データを処理することができ、料金を請求するか、そうでなければ顧客のアカウントと対話することができ、又は、他の交通機関用途に特定の動作を実行する。
【００３５】
当業者によって理解されるように、開示された実施形態は、方法、データ処理システム又はコンピュータプログラム製品として実現することができる。したがって、実施形態は、全て一般に「回路」又は「モジュール」又は「エンジン」と称される、全体がハードウェア実装、全体がソフトウェアの実施形態又はソフトウェアとハードウェアの態様を組み合わせた実施形態からなる形態をとることができる。例えば、上述した「エンジン」は、ソフトウェアモジュールとすることができる。そのようなエンジン及び／又はモジュールの例は、図９に示される撮像エンジン１３８、適応的文字切り出しエンジン１４０及びナンバープレート読み取りエンジン１４２を含む。
【００３６】
さらにまた、開示されたアプローチは、媒体内に具現化されたコンピュータ使用可能プログラムコードを有するコンピュータ使用可能記憶媒体上のコンピュータプログラム製品の形態をとることができる。ハードディスク、ＵＳＢフラッシュドライブ、ＤＶＤ、ＣＤ−ＲＯＭ、光記憶装置、磁気記憶装置などを含む任意の適切なコンピュータ読み取り可能な媒体が利用されることができる。
【００３７】
本発明の動作を実行するためのコンピュータ・プログラムコードは、オブジェクト指向プログラミング言語（例えば、ＪＡＶＡ（登録商標）、Ｃ＋＋など）で書かれることができる。しかしながら、本発明の動作を実行するためのコンピュータ・プログラムコードはまた、「Ｃ」プログラミング言語などの従来の手続き型プログラミング言語又は例えばＶｉｓｕａｌ  Ｂａｓｉｃなどの視覚指向プログラミング環境で書かれてもよい。
【００３８】
プログラムコードは、全体的にユーザのコンピュータ又は携帯機器上で、スタンドアロンのソフトウェアパッケージとして部分的にユーザのコンピュータ上で、部分的にユーザのコンピュータ及び部分的にリモートコンピュータ上で又は全体的にリモートコンピュータ上で実行することができる。後者のシナリオにおいて、リモートコンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）又はワイド・エリア・ネットワーク（ＷＡＮ）、例えばＷｉＦｉや、ＷｉＭＡＸ、８０２．１１ｘなどの無線データネットワーク、及び、セルラネットワークを介してユーザのコンピュータに接続されることができ、又は、接続は、ほとんどの第三者サポートのネットワーク（例えば、インターネット・サービスプロバイダを介したインターネットを介して）を介して外部のコンピュータに対して行われることができる。
【００３９】
実施形態は、本発明の実施形態に係る方法、システム及びコンピュータプログラム製品並びにデータ構造のフローチャート図及び／又はブロック図を参照しながら本願明細書において少なくとも部分的に記載されている。図示された各ブロック及びブロックの組み合わせは、コンピュータプログラム命令によって実現可能であることが理解されるであろう。これらのコンピュータプログラム命令は、コンピュータのプロセッサ又は他のプログラム可能なデータ処理装置によって実行する命令が、例えば、本願明細書において述べられた様々な命令やモジュールなどの本願明細書において述べられた１つのブロック又は複数のブロックにおいて指定された機能／作用を実現するための手段を構成するように、汎用コンピュータ、専用コンピュータ又は機械を生成するための他のプログラム可能なデータ処理装置のプロセッサに対して提供されることができる。
【００４０】
これらのコンピュータプログラム命令はまた、コンピュータ読み取り可能なメモリに記憶された命令が、１つのブロック又は複数のブロックにおいて指定された機能／作用を実現する命令手段を含む製品を生み出すように、特定の方法で機能するようにコンピュータ又は他のプログラム可能なデータ処理装置に指示することができるコンピュータ読み取り可能なメモリに記憶されることができる。
【００４１】
コンピュータプログラム命令はまた、コンピュータ又は他のプログラム可能な装置上で実行する命令が、１つのブロック又は複数のブロックにおいて指定された機能／作用を実現するためのステップを提供するように、コンピュータ又は他のプログラム可能な装置上で一連の動作ステップが行われてコンピュータ実装処理を生成するようにコンピュータ又は他のプログラム可能なデータ処理装置上にロードされることができる。
【００４２】
図１０〜図１１は、本発明の実施形態が実施されることができるデータ処理環境の例示的な図として設けられる。当然のことながら、図１０〜図１１は、例示であり、開示された実施形態の態様又は実施形態が実施され得る環境に関していかなる限定も主張又は暗示することを意図するものではない。描写された環境に対する多くの変更例が、開示された実施形態の精神及び範囲から逸脱することなく行われることができる。
【００４３】
図１０において図示されるように、開示された実施形態は、例えば、中央処理装置９０１（又は他のプロセッサ）と、メインメモリ９０２と、入力／出力コントローラ９０３と、いくつかの実施形態においては、ＵＳＢ（ユニバーサル・シリアルバス）又は他の適切な周辺接続部とを含むデータ処理システム９００との関連で実装されることができる。システム９００はまた、キーボード９０４と、入力装置９０５（例えば、マウス、トラックボール、ペンデバイスなどのポインティングデバイス）と、表示装置９０６と、大容量記憶装置９０７（例えば、ハードディスク）とを含むことができる。図示されたように、データ処理システム９００の様々な構成要素は、システムバス９１０又は同様のアーキテクチャを介して電子的に通信することができる。システムバス９１０は、例えば、データ処理システム９００内のコンピュータ構成要素間で、又は、他のデータ処理装置、構成要素、コンピュータなどとデータを転送するサブシステムとすることができる。
【００４４】
いくつかの実施形態においては、プロセッサ９０１は、例えば、図９に示される撮像エンジン１３８、適応的文字切り出しエンジン１４０及びナンバープレート読み取りエンジン１４２からの命令を処理することができ、実際に、データ処理システム９００は、ローカルプロセッサ１３６又は例えば図９に示される管理業務システム１３２として機能することができ、さらに、例えば、図９に描写された例示的なＡＬＰＲシステム１３０に示されるようにカメラ１４４、照明器１４６、トリガ１４８などと通信することができることを理解することができる。
【００４５】
図１１は、図１０に描写されたデータ処理システム９００の動作を指示するために使用されることができるコンピュータ・ソフトウェアシステム９５０を図示している。メインメモリ９０２及び大容量記憶装置９０７に記憶されたソフトウェア・アプリケーション９５４は、一般に、カーネル若しくはオペレーティングシステム９５１及びシェル又はインターフェース９５３を含むことができる及び／又はそれらと関連付けられることができる。モジュール（複数可）９５２などの１つ以上のアプリケーションプログラムは、データ処理システム９００による実行のために「ロードされる」（すなわち、大容量記憶装置９０７からメイン・メモリ９０２へと転送される）ことができる。図１１に示される例においては、モジュール９５２は、例えば、本願明細書において図３〜図４に示されたものなどの様々なＡＬＰＲ論理命令又は動作を行うモジュールとして実装されることができる。
【００４６】
データ処理システム９００は、ユーザ９４９によってアクセス可能なユーザインターフェース９５３を介してユーザコマンド及びデータを受信することができる。そして、これらの入力は、オペレーティングシステム９５１及び／又はソフトウェア・アプリケーション９５４及びその任意のソフトウェアモジュール（複数可）９５２からの指示に応じて、データ処理システム９００によって作用されることができる。
【００４７】
それゆえに、本願明細書における議論は、システム及び方法が実施されることができる適切な計算環境の簡潔で一般的な説明を提供することを意図している。必須ではないが、開示された実施形態は、単一のコンピュータによって実行されるプログラムモジュールなどのコンピュータ実行可能な命令の一般的な文脈で記載される。ほとんどの場合、「モジュール」は、ソフトウェア・アプリケーションを構成する。
【００４８】
一般に、プログラムモジュール（例えば、モジュール９５２）は、これに限定されるものではないが、特定のタスクを実行するか又は特定の抽象データ型及び命令を実装するルーチン、サブルーチン、ソフトウェア・アプリケーション、プログラム、オブジェクト、コンポーネント、データ構造などを含むことができる。さらに、当業者は、例えば、開示された方法およびシステムが、ハンドヘルド装置、マルチプロセッサ・システム、データネットワーク、マイクロプロセッサベース又はプログラム可能な家庭用電化製品、ネットワーク化されたパーソナルコンピュータ、ミニコンピュータ、メインフレーム・コンピュータ、サーバなどの他のコンピュータシステム構成によって実施されることができることを理解するであろう。
【００４９】
本願明細書において使用されるモジュールという用語は、特定のタスクを実行するか又は特定の抽象データ型を実装するルーチン及びデータ構造の集合体を指すことができることに留意されたい。モジュールは、定数、データ種別、変数及び他のモジュール又はルーチンによってアクセス可能なルーチンをリスト化するインターフェースと、通常はプライベートであって（そのモジュールのみがアクセス可能）実際にモジュール内のルーチンを実装したソースコードを含む実装という２つの部分から構成されてもよい。モジュールという用語はまた、単にワードプロセッシング、会計、在庫管理などの特定のタスクの実行を支援するために設計されたコンピュータプログラムなどのアプリケーションを指すことができる。
【００５０】
インターフェース９５３（例えば、グラフィカル・ユーザ・インターフェース）は、ユーザが追加入力を供給するか又は特定のセッションを終了するとすぐに結果を表示するのに役立つことができる。いくつかの実施形態においては、オペレーティングシステム９５１及びインターフェース９５３は、「ウィンドウズ（登録商標）」システムとの関連で実施されることができる。勿論、他の種類のシステムが可能であることを理解することができる。例えば、伝統的な「ウィンドウズ（登録商標）」システムよりもむしろ、より一般的には無線システムにおいて用いられる実時間オペレーティングシステム（ＲＴＯＳ）などの他のオペレーションシステムもまた、オペレーティングシステム９５１及びインターフェース９５３に対して使用されることができる。ソフトウェア・アプリケーション９５４は、例えば、本願明細書において述べられた様々なステップ、論理演算及び／又はモジュールを実行するための命令を含むことができるＡＬＰＲモジュール９５２を含むことができる。そのようなステップ又は論理演算の例は、例えば、図３及び図４において示された論理演算を含む。ＡＬＰＲモジュール９５２を介して実施されることができるステップ又は動作の他の例は、図９に示されたＡＬＰＲシステム１３０の様々な「エンジン」又はソフトウェアモジュール及び構成要素を含む。
【００５１】
それゆえに、図１０〜図１１は、開示された実施形態のアーキテクチャ上の限定としてではなく、例として意図されている。さらに、そのような実施形態は、いかなる特定のアプリケーション又は計算若しくはデータ処理環境にも限定されるものではない。代わりに、当業者は、開示されたアプローチが、様々なシステム及びアプリケーションソフトウェアに有利に適用され得ることを理解するであろう。さらに、開示された実施形態は、マッキントッシュ、ＵＮＩＸ（登録商標）、Ｌｉｎｕｘ（登録商標）などを含む様々な異なる計算プラットフォーム上で具現化することができる。
【００５２】
上記に基づいて、好ましい及び他の多数の実施形態が本願明細書に開示されていることを理解することができる。例えば、好ましい実施形態においては、ナンバープレート自動認識用途における適応的文字切り出しのための方法が実現されることができる。そのような方法は、例えば、ナンバープレート自動認識エンジンを介して取得されたナンバープレートの画像内の関心領域の識別、特定の切り出し閾値パラメータに関連付けられたヒストグラム投影を使用した関心領域に関する画像内の文字の切り出し、及び、有効文字の最小数が、ナンバープレートを識別するのに十分な文字画像を生成するようにヒストグラム投影及び特定の切り出し閾値パラメータに基づいて判定された場合における画像内の文字の反復的検証のステップ又は論理演算を含むことができる。
【００５３】
他の実施形態において、ステップ又は論理演算は、特定の切り出し閾値パラメータを切断して文字の切り出しを繰り返して文字を検証することにより、ヒストグラム投影を増加させるために実施されることができる。さらに他の実施形態において、ステップ又は論理演算は、反復的に検証された文字に対して切り出し誤り回復動作を実行するために提供されることができる。さらに他の実施形態において、ステップ又は論理演算は、反復して検証されてさらなる処理のために光学式文字認識エンジンに対する画像に関連付けられた少なくとも１つの文字画像を出力するために実施されることができる。
【００５４】
他の実施形態において、ステップ又は論理演算は、文字を検証するのに十分信じられる結果が出るまで特定の切り出し閾値パラメータの積極性を増加させるように出力測定基準からのフィードバックを使用するために実施されることができる。さらに他の実施形態において、ステップ又は論理演算は、全体的な信頼度閾値が反復的な文字の検証に関して満たされているかどうかを判定し、ナンバープレートの識別に役立つために提供されることができる。
【００５５】
他の実施形態において、ステップ又は論理演算は、特定の切り出し閾値パラメータを切断して文字の切り出しを繰り返して文字を検証することにより、ヒストグラム投影を増加させるために実施されることができ、反復的に検証された文字に対して切り出し誤り回復動作を行う。
【００５６】
他の実施形態において、ナンバープレート自動認識用途における適応的文字切り出しのためのシステムが実現されることができる。そのようなシステムは、例えば、プロセッサと、プロセッサに連結されたデータバスと、コンピュータ・プログラムコードを具現化するコンピュータ使用可能な媒体とを含むことができる。そのようなコンピュータ使用可能媒体は、データバスに連結されることができ、コンピュータ・プログラムコードは、プロセッサによって実行可能であって、例えば、ナンバープレート自動認識エンジンを介して取得されたナンバープレートの画像内の関心領域を識別し、特定の切り出し閾値パラメータに関連付けられたヒストグラム投影を使用して関心領域に関する画像内の文字を切り出し、有効文字の最小数が、ナンバープレートを識別するのに十分な文字画像を生成するようにヒストグラム投影及び特定の切り出し閾値パラメータに基づいて判定された場合に画像内の文字を反復的に検証するように構成された命令を含むことができる。
【００５７】
他のシステムの実施形態において、そのような命令は、さらに、特定の切り出し閾値パラメータを切断して文字の切り出しを繰り返して文字を検証することにより、ヒストグラム投影を増加させるために構成されることができる。他のシステムの実施形態において、そのような命令は、さらに、反復的に検証された文字に対する切り出し誤り回復動作を処理するために構成されることができる。さらに他のシステムの実施形態において、そのような命令は、さらに、反復的に検証されてさらなる処理のために光学式文字認識エンジンに対する画像に関連付けられた少なくとも１つの文字画像を出力するために構成されることができる。さらに他のシステムの実施形態において、そのような命令は、さらに、文字を検証するのに十分信じられる結果が出るまで特定の切り出し閾値パラメータの積極性を増加させるように出力測定基準からのフィードバックを使用するために構成されることができる。
【００５８】
他のシステムの実施形態において、そのような命令は、さらに、全体的な信頼度閾値が文字の反復的な検証に関して満たされているかどうかを判定し、ナンバープレートの識別に役立つために構成されることができる。さらに他のシステムの実施形態において、そのような命令は、さらに、特定の切り出し閾値パラメータを切断して文字の切り出しを繰り返して文字を検証することにより、ヒストグラム投影を増加させ、反復的に検証された文字に対する切り出し誤り回復動作を処理するために構成されることができる。
【００５９】
他の実施形態において、ナンバープレート自動認識用途についての適応的文字切り出しのための処理を生じさせる命令を表すコンピュータコードを記憶するプロセッサ読み取り可能な媒体が実現されることができる。そのようなコンピュータコードは、例えば、ナンバープレート自動認識エンジンを介して取得されたナンバープレートの画像内の関心領域を識別し、特定の切り出し閾値パラメータに関連付けられたヒストグラム投影を使用して関心領域に関する画像内の文字を切り出し、有効文字の最小数が、ナンバープレートを識別するのに十分な文字画像を生成するようにヒストグラム投影及び特定の切り出し閾値パラメータに基づいて判定された場合に画像内の文字を反復的に検証するためのコンピュータコードを含むことができる。
【００６０】
他の実施形態において、そのようなコードは、さらに、特定の切り出し閾値パラメータを切断して文字の切り出しを繰り返して文字を検証することにより、ヒストグラム投影を増加させるためのコードを含むことができる。
【００６１】
さらに他の実施形態において、そのようなコードは、さらに、反復的に検証された文字に対して切り出し誤り回復動作を実行するコードを含むことができる。他の実施形態において、そのようなコードは、さらに、反復的に検証されてさらなる処理のために光学式文字認識エンジンに対する画像に関連付けられた少なくとも１つの文字画像を出力するためのコードを含むことができる。他の実施形態において、そのようなコードは、さらに、文字を検証するのに十分信じられる結果が出るまで特定の切り出し閾値パラメータの積極性を増加させるように出力測定基準からのフィードバックを使用するためのコードを含むことができる。さらに他の実施形態において、そのようなコードは、さらに、全体的な信頼度閾値が反復的に検証された文字に関して満たされているかどうかを判定してナンバープレートの識別に役立つためのコードを含むことができる。
【図２】
2014238829.tif 000003
【図３】
2014238829.tif 000004
【図４】
2014238829.tif 000005
【図９】
2014238829.tif 000006
【図１０】
2014238829.tif 000007
【図１１】
2014238829.tif 000008
【図１】
2014238829.tif 000009
【図５】
2014238829.tif 000010
【図６】
2014238829.tif 000011
【図７】
2014238829.tif 000012
【図８】
2014238829.tif 000013