(57)【要約】【課題】文字などの認識対象画像において一部欠落等がある場合、この認識対象画像に対して適切なリジェクト判定をすることができるリジェクト判定方法を提供すること。【解決手段】実施形態に係るリジェクト判定方法は、入力画像に含まれる認識対象画像の認識結果に基づき取得されるテンプレート画像を細線化し、前記認識対象画像と細線化テンプレート画像とを比較し、比較結果に基づき前記認識対象画像をリジェクトするか否かを判定し、判定結果を出力する。【選択図】      図３
2019159563.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に含まれる認識対象画像の認識結果に基づき取得されるテンプレート画像を細線化し、
前記認識対象画像と細線化テンプレート画像とを比較し、
比較結果に基づき前記認識対象画像をリジェクトするか否かを判定し、
判定結果を出力するリジェクト判定方法。
【請求項２】
前記細線化テンプレート画像を基準として前記認識対象画像の欠落を検出し、
欠落検出結果に基づき前記認識対象画像をリジェクトするか否かを判定する請求項１のリジェクト判定方法。
【請求項３】
欠落箇所の数に基づき前記認識対象画像をリジェクトするか否かを判定する請求項２のリジェクト判定方法。
【請求項４】
欠落箇所の重要度に基づき前記認識対象画像をリジェクトするか否かを判定する請求項２のリジェクト判定方法。
【請求項５】
前記細線化テンプレート画像の各画素における連結数に応じて設定される各画素の重み付けから前記重要度を算出する請求項４のリジェクト判定方法。
【請求項６】
前記細線化テンプレート画像の中心からの距離に応じて設定される各画素の重み付けから前記重要度を算出する請求項４のリジェクト判定方法。
【請求項７】
前記判定結果は、リジェクトの判定に基づき、視覚的に、前記認識対象画像がリジェクトされたことが分かる情報を含む請求項１乃至６の何れか１つのリジェクト判定方法。
【請求項８】
前記判定結果は、リジェクトの判定に基づき、視覚的に、前記入力画像においてどの認識対象画像がリジェクトされたか分かる情報を含む請求項１乃至６の何れか１つのリジェクト判定方法。
【請求項９】
入力画像に含まれる認識対象画像の認識結果に基づき取得されるテンプレート画像を細線化する細線化部と、
前記認識対象画像と細線化テンプレート画像とを比較する比較部と、
比較結果に基づき前記認識対象画像をリジェクトするか否かを判定する判定部と、
判定結果を出力する出力部と、
を備えるリジェクト判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、リジェクト判定方法及びリジェクト判定装置に関する。
【背景技術】
【０００２】
文字認識において、印刷の掠れなどにより一部が欠けた文字を処理する場合がある。従来、このような文字を認識するために、欠けた文字から作成した文字認識辞書を用いる方法がある。その他、欠けや汚れ等による文字の欠損を補い文字を認識する様々な技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−６４０５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記した従来技術は欠けた文字を何らかの数字として読ませるためのものであり、逆に数字として読ませずリジェクトすることができない。また、文字欠けの有無は例えばテンプレートマッチングにより判断可能だが、欠けがあるだけで単純にリジェクトとすると、テンプレートと少し異なるだけのパターンが大量にリジェクトされてしまうため実用的ではない。
【０００５】
本発明の目的は、文字などの認識対象画像において一部欠落等がある場合、この認識対象画像に対して適切なリジェクト判定をすることができるリジェクト判定方法及びリジェクト判定装置を提供することにある。
【課題を解決するための手段】
【０００６】
実施形態に係るリジェクト判定方法は、入力画像に含まれる認識対象画像の認識結果に基づき取得されるテンプレート画像を細線化し、前記認識対象画像と細線化テンプレート画像とを比較し、比較結果に基づき前記認識対象画像をリジェクトするか否かを判定し、判定結果を出力する。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施形態に係るリジェクト判定装置の一例を示すブロック図である。
【図２】図２は、実施形態に係るリジェクト判定装置における欠落確認部の一例を示すブロック図である。
【図３】図３は、実施形態に係るリジェクト判定装置において実行されるリジェクト判定処理の第１例を示すフローチャートである。
【図４】図４は、実施形態に係るリジェクト判定装置において実行されるリジェクト判定処理の第２例を示すフローチャートである。
【図５Ａ】図５Ａは、入力画像中の入力文字パターンの一例を示す図である。
【図５Ｂ】図５Ｂは、図５Ａの入力画像から検出された入力文字パターンの一例を示す図である。
【図５Ｃ】図５Ｃは、マッチング処理部１３２による入力文字パターンと細線化テンプレート画像の比較結果の一例を示す図である。
【図６】図６は、画素連結数と重み付けの関係を説明するための図である。
【図７】図７は、連結数が少ない箇所の欠落、及び連結数が多い箇所の欠落の一例を示す図である。
【図８Ａ】図８Ａは、入力画像の一例を示す図である。
【図８Ｂ】図８Ｂは、リジェクトの判定に基づく判定結果の第１表示例を示す図である。
【図８Ｃ】図８Ｃは、リジェクトの判定に基づく判定結果の第２表示例を示す図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して実施形態について説明する。
【０００９】
図１は、実施形態に係るリジェクト判定装置の一例を示すブロック図である。リジェクト判定装置は、入力画像（全体画像）に含まれる認識対象画像を構成する画素の欠落状況に応じて、認識対象画像をリジェクトするか否かを判定し、判定結果を出力する。画像認識装置は、このリジェクト判定結果を利用することにより、誤認識や誤読を防止又は低減することができる。欠落発生の一因としては、印刷字の掠れなどが挙げられる。
【００１０】
例えば、銀行券又は有価証券の画像を入力画像とし、入力画像に含まれる識別情報（文字の組み合わせ）を認識対象文字列とし、この認識対象文字列を構成する１文字を認識対象画像とする。リジェクト判定装置が、認識対象画像についてリジェクトを判定した場合、画像認識装置は、この認識対象画像を含む識別情報を認識対象から除外する。これにより、識別情報の誤認識や誤読を防止又は低減することができる。本実施形態では、文字は、かな、英数字、及び各種記号を含むものとし、認識対象画像を入力文字パターンと称する。
【００１１】
図１に示すように、例えば、リジェクト判定装置は、１以上のプロセッサ１、メモリ２、及びインタフェース３を備えるコンピュータにより実現することができる。プロセッサ１は、画像処理部１１と、文字認識部１２と、欠落確認部１３とを備え、インタフェース３は、出力部１４を備える。さらに、リジェクト判定装置は、テンプレート画像データベース１５、及びディスプレイ１６等を備える。
【００１２】
プロセッサ１は、メモリ２に記憶されるいくつかのプログラムに基づき、リジェクト判定処理を実行する。メモリ２は、リジェクト判定処理のためのいくつかのプログラムを記憶する。例えば、コンピュータ読み取り可能な記憶媒体を通じてこれらプログラムをリジェクト判定装置へインストールして実行するだけで、上記処理を容易に実現することができる。例えば、リジェクト判定装置は、上記プログラムをネットワーク経由でダウンロードし、ダウンロードしたプログラムを記憶し、プログラムのインストールを完了することができる。或いは、リジェクト判定装置は、上記プログラムを情報記憶媒体から読み取り、読み取ったプログラムを記憶し、プログラムのインストールを完了することができる。
【００１３】
画像処理部１１は、入力画像を処理に適した状態に変換し、文字ごとの画像（入力文字パターン）にする。例えば、画像処理部１１は、エッジ処理等により、入力画像から入力文字パターンを検出する。
【００１４】
文字認識部１２は、入力文字パターンに対し文字認識処理を行う。例えば、文字認識部１２は、入力文字パターンと文字辞書に登録される辞書パターンの類似度に基づき、入力文字パターンを認識する。
【００１５】
欠落確認部１３は、文字認識部１２の入力文字パターンの認識結果に基づきテンプレート画像データベース１５から、入力文字パターンに対応するテンプレート文字パターン（以下、テンプレート画像）を取得し、入力文字パターンとテンプレート画像とを比較して、比較結果に基づき入力文字パターンをリジェクトするか否かを判定する。なお、欠落確認部１３の詳細構成及び動作について後述する。
【００１６】
出力部１４は、文字認識結果を出力する。例えば、出力部１４は、リジェクトするか否かの判定結果（例えば表示情報）を出力する。ディスプレイ１６は、リジェクトの判定結果を示す表示情報に基づきリジェクトの判定結果を視覚的に認識可能な情報として表示する。
【００１７】
テンプレート画像データベース１５は、ハードディスクドライブ等の記憶装置で構成され、文字パターンごとのテンプレート画像を集積する。
【００１８】
図２は、実施形態に係るリジェクト判定装置における欠落確認部の一例を示すブロック図である。図２に示すように、欠落確認部１３は、細線化処理部１３１と、マッチング処理部１３２と、リジェクト判定部１３３とを備える。
【００１９】
細線化処理部１３１は、テンプレート画像データベース１５と接続され、入力文字パターンに対応するテンプレート画像を取得し、取得されるテンプレート画像を細線化処理し、細線化テンプレート画像を取得する。例えば、細線化処理部１３１は、入力文字パターンの二値画像を所定幅の線画像に変換し、入力文字パターンの芯を抽出する。
【００２０】
マッチング処理部１３２は、細線化処理部１３１からの入力文字パターンと細線化テンプレート画像とを画素単位で比較し、細線化テンプレート画像を基準として認識対象画像の欠落を検出する。つまり、マッチング処理部１３２は、細線化テンプレート画像を基準として認識対象画像の欠落状況を検出する。欠落状況は、欠落箇所の数（欠落画素数）又は欠落箇所の重要度である。
【００２１】
リジェクト判定部１３３は、マッチング処理部１３２の比較結果に基づき、入力文字パターンをリジェクトするか否かを判定する。つまり、リジェクト判定部１３３は、入力文字パターンと細線化テンプレート画像の比較により得られた欠落検出結果に基づき、入力文字パターンをリジェクトするか否かを判定する。例えば、リジェクト判定部１３３は、欠落検出結果である欠落箇所の数又は欠落箇所の重要度に基づき、入力文字パターンをリジェクトするか否かを判定する。リジェクト判定部１３３は、各欠落箇所の重要度に基づき入力文字パターンをリジェクトするか否かを判定してもよいし、全ての欠落箇所の重要度の合計値に基づき入力文字パターンをリジェクトするか否かを判定してもよい。
【００２２】
例えば、リジェクト判定部１３３は、入力文字パターンと細線化テンプレート画像の比較により得られた欠落箇所の数に基づき入力文字パターンをリジェクトするか否かを判定する。リジェクト判定部１３３は、欠落箇所の数が欠落数判定閾値以上の場合に、入力文字パターンをリジェクトすると判定し、欠落箇所の数が欠落数判定閾値未満の場合に、入力文字パターンをリジェクトしないと判定する。或いは、リジェクト判定部１３３は、入力文字パターンと細線化テンプレート画像の比較により得られた欠落箇所の重要度に基づき入力文字パターンをリジェクトするか否かを判定する。リジェクト判定部１３３は、全ての欠落箇所のうちの１以上の欠落箇所の重要度が重要度判定閾値以上の場合に、入力文字パターンをリジェクトすると判定し、全ての欠落箇所の重要度が重要度判定閾値未満の場合に、入力文字パターンをリジェクトしないと判定する。或いは、リジェクト判定部１３３は、全ての欠落箇所の重要度の合計値と重要度合計判定閾値とを比較し、重要度の合計値が重要度合計判定閾値以上の場合に、入力文字パターンをリジェクトすると判定し、重要度の合計が重要度合計判定閾値未満の場合に、入力文字パターンをリジェクトしないと判定するようにしてもよい。
【００２３】
図５Ａは、入力画像中の入力文字パターンの一例を示す図である。図５Ａに示す入力文字パターン（数字の「９」）は欠落箇所を含む。図５Ｂは、図５Ａの入力画像から検出された入力文字パターンの一例を示す図である。よって、図５Ｂに示す入力文字パターンは、図５Ａと同様に欠落箇所を含む。図５Ｃは、マッチング処理部１３２による入力文字パターンと細線化テンプレート画像の比較結果の一例を示す図である。つまり、図５Ｃは、入力文字パターンと細線化テンプレート画像の共通画素で構成される入力文字パターンの一例であり、所々切れた部分が、入力文字パターンと細線化テンプレート画像の比較により得られた欠落箇所である。
【００２４】
或いは、リジェクト判定部１３３は、入力文字パターンと細線化テンプレート画像の比較により得られた欠落箇所の重要度に基づき入力文字パターンをリジェクトするか否かを判定する。例えば、リジェクト判定部１３３は、細線化テンプレート画像の各画素における連結数に応じて設定される各画素の重み付けから重要度を算出する。つまり、リジェクト判定部１３３は、欠落箇所の連結数に応じて設定される各画素の重み付けから重要度を算出する。又は、リジェクト判定部１３３は、細線化テンプレート画像の中心からの距離に応じて設定される各画素の重み付けから重要度を算出してもよい。つまり、リジェクト判定部１３３は、欠落箇所の中心からの距離に応じて設定される各画素の重み付けから重要度を算出する。
【００２５】
図６は、画素連結数と重み付けの関係を説明するための図である。図６に示すように、画素連結数が多いほど重み付けを大きくする。図６に示す細線化テンプレート画像（数字の「９」）の場合、中央付近の画素は上側、下側、左側の画素と繋がっているため画素連結数３となる。また、下側の尖端の画素は上方向の画素とのみ繋がっているため画素連結数１となる。細線化テンプレート画像は、元の文字パターンのストロークの中心部分を抽出したものと言えるが、１つしか繋がっていない端の画素と、２つ以上繋がりのある中心部に近い画素とではその文字にとっての重要度に差がある。欠落により文字構造が変化する画素ほど高い重要度を割り当てる。画素連結数３の場合には重み付けを大きくして、画素連結数１の場合には重み付けを小さくする。画素連絡数が多い箇所が欠落していると誤認識を引き起こす可能性が高くなり、逆に、画素連絡数が少ない箇所が欠落していても誤認識を引き起こす可能性が低いためである。
【００２６】
別の視点で、例えば、文字パターンの中心からの距離が近い部分（文字パターンの中心）については画素連結数が多いことがあり、文字パターンの中心からの距離が近い部分の重み付けを大きくし、文字パターンの中心からの距離が遠い部分（文字パターンの端）については画素連絡数が少ないことがあり、文字パターンの中心からの距離が遠い部分の重み付けを小さくしてもよい。
【００２７】
図７に示すように、連結数が少ない箇所（文字パターンの中心から遠い箇所）が欠落しても重み付けは小さく、算出される重要度は低くなり、逆に、連結数が多い箇所（文字パターンの中心から近い箇所）が欠落すると重み付けは大きく、算出される重要度は高くなる。
【００２８】
図３は、実施形態に係るリジェクト判定装置において実行されるリジェクト判定処理の第１例を示すフローチャートである。
【００２９】
細線化処理部１３１は、文字認識部１２の入力文字パターンの認識結果に基づきテンプレート画像データベース１５から、入力文字パターンに対応するテンプレート画像を取得する（ステップＳＴ１１）。さらに、細線化処理部１３１は、取得されるテンプレート画像の細線化処理を実施し（ステップＳＴ１２）、細線化テンプレート画像を取得する。
【００３０】
マッチング処理部１３２は、細線化処理部１３１からの入力文字パターンと細線化テンプレート画像とを画素単位で比較し（ステップＳＴ１３）、細線化テンプレート画像を基準として入力文字パターンの欠落箇所を検出する。
【００３１】
リジェクト判定部１３３は、欠落箇所の画素数が一定値以上、つまり欠落箇所の画素数が欠落数の欠落数判定閾値以上の場合（ステップＳＴ１４、ＹＥＳ）、入力文字パターンをリジェクトすると判定する（ステップＳＴ１５）。また、リジェクト判定部１３３は、欠落箇所の画素数が欠落数判定閾値未満の場合（ステップＳＴ１４、ＮＯ）、入力文字パターンをリジェクトしないと判定する。
【００３２】
その後、出力部１４は、判定結果を出力する。例えば、出力部１４は、リジェクトの判定に基づき、視覚的に、入力文字パターンがリジェクトされたことが分かる情報を含む判定結果を表示するための情報を出力し、ディスプレイ１６はこの情報に基づきその判定結果を表示する。言い換えれば、出力部１４は、リジェクトの判定に基づき、視覚的に、入力画像においてどの認識対象画像がリジェクトされたか分かる情報を含む判定結果を表示するための情報を出力し、ディスプレイ１６はこの情報に基づきその判定結果を表示する。
【００３３】
図４は、実施形態に係るリジェクト判定装置において実行されるリジェクト判定処理の第２例を示すフローチャートである。
【００３４】
細線化処理部１３１は、文字認識部１２の入力文字パターンの認識結果に基づきテンプレート画像データベース１５から、入力文字パターンに対応するテンプレート画像を取得する（ステップＳＴ２１）。さらに、細線化処理部１３１は、取得されるテンプレート画像の細線化処理を実施し（ステップＳＴ２２）、細線化テンプレート画像を取得する。
【００３５】
マッチング処理部１３２は、細線化処理部１３１からの入力文字パターンと細線化テンプレート画像とを、文字構造における各画素の重みを考慮した上で比較する（ステップＳＴ２３）。つまり、マッチング処理部１３２は、細線化処理部１３１からの入力文字パターンと細線化テンプレート画像とを画素単位で比較し、細線化テンプレート画像を基準として入力文字パターンの欠落箇所を検出し、文字構造における各画素の重み付けに基づき、全ての欠落箇所の重要度を算出する。
【００３６】
例えば、図６に示すように、マッチング処理部１３２は、欠落箇所が画素連結数３の場合には第３レベル（第１レベル＜第２レベル＜第３レベル）の重み付け、欠落箇所が画素連結数１の場合には第１レベル（第１レベル＜第２レベル＜第３レベル）の重み付けを選択する。なお、ここでは、欠落箇所の画素連結数に応じた重み付けを選択するケースについて説明するが、欠落箇所の画素連結数が単数か複数かに応じた２種類の重み付けを選択するようにしてもよい。これにより、重み付けのデータベースの作成負荷を軽減することができ、その上、欠落箇所の画素連結数が複数であるものを一律で重要度が高いと判定するので誤認識防止効果も期待できる。
【００３７】
リジェクト判定部１３３は、全ての欠落箇所のうちの１以上の欠落箇所の重要度が重要度判定閾値以上の場合（ステップＳＴ２４、ＹＥＳ）、入力文字パターンをリジェクトすると判定する（ステップＳＴ２５）。また、リジェクト判定部１３３は、全ての欠落箇所の重要度が重要度判定閾値未満の場合（ステップＳＴ２４、ＮＯ）、入力文字パターンをリジェクトしないと判定する。或いは、リジェクト判定部１３３は、全ての欠落箇所の重要度の合計値と重要度合計判定閾値とを比較し、重要度の合計値が重要度合計判定閾値以上の場合に、入力文字パターンをリジェクトすると判定し、重要度の合計が重要度合計判定閾値未満の場合に、入力文字パターンをリジェクトしないと判定するようにしてもよい。
【００３８】
その後、出力部１４は、判定結果を出力する。例えば、出力部１４は、リジェクトの判定に基づき、視覚的に、入力文字パターンがリジェクトされたことが分かる情報を含む判定結果を出力し、ディスプレイ１６はこの情報に基づきその判定結果を表示する。言い換えれば、出力部１４は、リジェクトの判定に基づき、視覚的に、入力画像においてどの認識対象画像がリジェクトされたか分かる情報を含む判定結果を表示するための情報を出力し、ディスプレイ１６はこの情報に基づきその判定結果を表示する。
【００３９】
図８Ａは、入力画像の一例を示す図であり、図８Ｂは、リジェクトの判定に基づく判定結果の第１表示例を示す図であり、図８Ｃは、リジェクトの判定に基づく判定結果の第２表示例を示す図である。
【００４０】
図８Ａに示すように、認識対象画像（英字「Ａ」、「Ｂ」、「Ｃ」、数字「０」、「１」、「２」、「３」、「４」、「５」、「６」、「７」、「８」、「９」）の組み合わせにより、認識対象文字列（ＡＢＣ０１２３４５６７８９）が構成される。
【００４１】
図８Ｂ及び図８Ｃに示すように、ディスプレイ１６は、視覚的に分かり易い判定結果１６１を表示する。判定結果１６１は、入力画像に含まれる認識対象文字列においてどの認識対象文字（認識対象画像）がリジェクトされたか分かる情報を含む。図８Ｂに示すように、判定結果１６１は、一部分の認識対象文字がリジェクトされたことを示すリジェクト情報１６１２を含む。或いは、図８Ｃに示すように、ディスプレイ１６は、オリジナル画像１６０１の項目と判定結果１６１１の項目とを並べて表示し、オリジナル画像１６０１の項目に対応付けて入力画像１６０を表示し、判定結果１６１１の項目に対応付けて判定結果１６１を表示する。
【００４２】
以上の実施形態によるリジェクト判定装置及びリジェクト判定方法は、文字などの認識対象画像において一部欠落等がある場合、この認識対象画像に対して適切なリジェクト判定をすることができる。つまり、リジェクト判定装置及びリジェクト判定方法は、一部欠落を含む入力文字パターンの認識時に、入力文字パターンの欠落状況を検出し、欠落状況に基づきリジェクトするか否かを判定する。認識に不適な文字パターンをリジェクトすることにより、誤認識（誤読）の低減又は防止を図ることができる。また、印字の品質を確保する必要がある場合において、掠れその他の原因による文字の抽出が可能になる。
【００４３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４４】
１…プロセッサ
２…メモリ
３…インタフェース
１１…画像処理部
１２…文字認識部
１３…欠落確認部
１４…出力部
１５…テンプレート画像データベース
１６…ディスプレイ
１３１…細線化処理部
１３２…マッチング処理部
１３３…リジェクト判定部
１６０…入力画像
１６１…判定結果
１６０１…入力画像
１６１１…判定結果
１６１２…リジェクト情報
【図１】
2019159563.tif 000003
【図２】
2019159563.tif 000004
【図３】
2019159563.tif 000005
【図４】
2019159563.tif 000006
【図５Ａ】
2019159563.tif 000007
【図５Ｂ】
2019159563.tif 000008
【図５Ｃ】
2019159563.tif 000009
【図６】
2019159563.tif 000010
【図７】
2019159563.tif 000011
【図８Ａ】
2019159563.tif 000012
【図８Ｂ】
2019159563.tif 000013
【図８Ｃ】
2019159563.tif 000014