(57)【要約】【課題】光の影響による明るさの変動が文字情報の少なくとも一部にある場合でも文字情報を画像中からより精度良く認識することができる文字認識装置を提供する。【解決手段】画像に含まれる各画素の明度情報のみを保持する第一画像の文字認識領域に設定された複数の画素を含む小領域それぞれのうち、明度の分散が小さい小領域に含まれる各画素の明度情報を平均した第二画像を生成する。第二画像の文字認識領域に設定された複数の画素を含む小領域毎に当該小領域に含まれる各画素の明度の度数分布を平均化した第三画像を生成する。第三画像を二値化して文字認識を行う。【選択図】図３
2018160152.tif 000002
【特許請求の範囲】
【請求項１】
画像に含まれる各画素の明度情報のみを保持する第一画像の文字認識領域に設定された複数の画素を含む小領域それぞれのうち、明度の分散が小さい小領域に含まれる各画素の明度情報を平均した第二画像を生成する第一明度調整部と、
前記第二画像の前記文字認識領域に設定された複数の画素を含む小領域毎に当該小領域に含まれる各画素の明度の度数分布を平均化した第三画像を生成する第二明度調整部と、
を備える文字認識装置。
【請求項２】
前記第三画像の前記文字認識領域に設定された小領域内の各画素の明度情報と明度閾値とに基づいて、当該小領域毎に前記第三画像を二値化した第四画像を生成する文字検出部と、
を備える請求項１に記載の文字認識装置。
【請求項３】
前記文字検出部は、前記明度閾値を変更して明度閾値に応じた前記第四画像を生成する
請求項２に記載の文字認識装置。
【請求項４】
前記第四画像の前記文字認識領域における文字の特徴を示す第一特徴情報と、予め記憶する基準文字の特徴を示す第二特徴情報との一致度が最も高い結果となる場合の、前記基準文字を示す認識結果を出力する認識部と、
を備える請求項２または請求項３に記載の文字認識装置。
【請求項５】
画像に含まれる各画素の明度情報のみを保持する第一画像の文字認識領域に設定された複数の画素を含む小領域それぞれのうち、明度の分散が小さい小領域に含まれる各画素の明度情報を平均した第二画像を生成し、
前記第二画像の前記文字認識領域に設定された複数の画素を含む小領域毎に当該小領域に含まれる各画素の明度の度数分布を平均化した第三画像を生成する
文字認識方法。
【請求項６】
文字認識装置のコンピュータを、
画像に含まれる各画素の明度情報のみを保持する第一画像の文字認識領域に設定された複数の画素を含む小領域それぞれのうち、明度の分散が小さい小領域に含まれる各画素の明度情報を平均した第二画像を生成する第一明度調整手段、
前記第二画像の前記文字認識領域に設定された複数の画素を含む小領域毎に当該小領域に含まれる各画素の明度の度数分布を平均化した第三画像を生成する第二明度調整手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字認識装置、文字認識方法、プログラムに関する。
【背景技術】
【０００２】
出荷商品の検査過程において出荷商品に印字またはエンボス加工により付した文字情報を読み取って、正しい文字情報が付されているかを判定する技術がある。例えば特許文献１には文字認識を高精度に行うことが可能な技術が開示されている。また特許文献２には確実に文書画像に埋め込まれている透かし情報を検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１６／０６８３２６号
【特許文献２】特開２００８−８５６９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで画像中に映る文字情報と文字情報以外の位置の画像中の背景との境が明確でなく、光の影響による明るさの変動が文字情報の少なくとも一部にある場合、文字情報を画像中から認識できない場合がある。
【０００５】
そこでこの発明は、上述の課題を解決する文字認識装置、文字認識方法、プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の第１の態様によれば、文字認識装置は、画像に含まれる各画素の明度情報のみを保持する第一画像の文字認識領域に設定された複数の画素を含む小領域それぞれのうち、明度の分散が小さい小領域に含まれる各画素の明度情報を平均した第二画像を生成する第一明度調整部と、前記第二画像の前記文字認識領域に設定された複数の画素を含む小領域毎に当該小領域に含まれる各画素の明度の度数分布を平均化した第三画像を生成する第二明度調整部と、を備えることを特徴とする。
【０００７】
本発明の第２の態様によれば、文字認識方法は、画像に含まれる各画素の明度情報のみを保持する第一画像の文字認識領域に設定された複数の画素を含む小領域それぞれのうち、明度の分散が小さい小領域に含まれる各画素の明度情報を平均した第二画像を生成し、前記第二画像の前記文字認識領域に設定された複数の画素を含む小領域毎に当該小領域に含まれる各画素の明度の度数分布を平均化した第三画像を生成することを特徴とする。
【０００８】
本発明の第３の態様によれば、プログラムは、文字認識装置のコンピュータを、画像に含まれる各画素の明度情報のみを保持する第一画像の文字認識領域に設定された複数の画素を含む小領域それぞれのうち、明度の分散が小さい小領域に含まれる各画素の明度情報を平均した第二画像を生成する第一明度調整手段、前記第二画像の前記文字認識領域に設定された複数の画素を含む小領域毎に当該小領域に含まれる各画素の明度の度数分布を平均化した第三画像を生成する第二明度調整手段、として機能させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像中に映る文字情報と文字情報以外の位置の画像中の背景との境が明確でなく、光の影響による明るさの変動が文字情報の少なくとも一部にある場合でも文字情報を画像中からより精度良く認識することができる。
【図面の簡単な説明】
【００１０】
【図１】文字認識システムを示す図である。
【図２】文字認識装置のハードウェア構成図である。
【図３】文字認識装置の機能ブロック図である。
【図４】第一画像の例を示す図である。
【図５】第一画像の各画素の輝度差を示す図である。
【図６】文字認識装置の処理フローを示す図である。
【図７】第三画像の例を示す図である。
【図８】第三画像の各画素の輝度差を示す図である。
【図９】第四画像の例を示す図である。
【図１０】文字認識装置の最小構成を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態による文字認識システムを図面を参照して説明する。
図１は同実施形態による文字認識システムを示す図である。
文字認識システム１００は文字認識装置１と端末２とが通信ネットワークを介して接続されている。端末２は文字情報が付された対象物を撮影した画像を生成する。端末２は生成した画像を文字認識装置１へ送信する。文字認識装置１は画像に写る印字情報の文字を認識する。
【００１２】
図２は文字認識装置のハードウェア構成図である。
文字認識装置１は、図２で示すようにＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、データベース１０４、インタフェース１０５、通信モジュール１０６の各ハードウェア構成を一例として備える。
【００１３】
図３は文字認識装置の機能ブロック図である。
文字認識装置１のＣＰＵ１０１は文字認識プログラムを実行する。これにより文字認識装置１には、制御部１１、画像取得部１２、小領域設定部１３、第一明度調整部１４、第二明度調整部１５、文字検出部１６、認識部１７の各機能が備わる。
【００１４】
制御部１１は、文字認識装置１に備わる他の機能部を制御する。
画像取得部１２は、端末２が撮影して生成した第一画像のデータを取得する。第一画像は、当該画像に含まれる各画素が明度情報のみを保持しているものとする。本実施形態において明度情報は輝度値である。なお文字認識装置１が明度情報や色情報も含む画像を取得して、グレースケールに変換した第一画像（明度情報のみを保持する画像）のデータを生成してもよい。
小領域設定部１３は、第一画像中の文字認識領域において複数の画素を含む小領域を設定する。
第一明度調整部１４は、明度の分散が小さい小領域に含まれる各画素の明度情報を平均した第二画像を生成する。
第二明度調整部１５は、第二画像の文字認識領域に設定された小領域毎に当該小領域に含まれる各画素の明度の度数分布を平均化した第三画像を生成する。
文字検出部１６は、第三画像の文字認識領域に設定された小領域単位で二値化した第四画像を生成する。
認識部１７は、第四画像の文字認識領域において文字を認識する。
【００１５】
図４は第一画像の例を示す図である。
文字認識装置１が端末２から取得した第一画像は図４で示すように輝度値のみを保持するグレースケールの画像を示す。図４で示す第一画像は、端末２が０、２、３、５、６の数字から成る文字情報を撮影して生成した画像である。
【００１６】
図５は第一画像の各画素の輝度差を示す図である。
図５は図４で示す第一画像において引いた水平な直線ａの位置に対応する各画素の輝度値を示している。第一画像が、エンボス加工等により対象物に付された文字情報や、背景との色の差があまり無い文字情報を映した画像である場合、直線ａの位置に対応する各画素の輝度値の輝度差も小さい。したがって図４で示すような第一画像中において明度閾値に基づいて文字と背景とを２値化して文字認識することが困難な場合がある。そこで文字認識装置１は以下のような処理を行う。
【００１７】
図６は文字認識装置の処理フローを示す図である。
まず文字認識装置１の画像取得部１２は端末２などから第一画像のデータを取得する（ステップＳ１０１）。画像取得部１２は第一画像を小領域設定部１３に出力する。小領域設定部１３は、第一画像の文字認識領域において複数の画素を含む矩形の小領域を設定する（ステップＳ１０２）。例えば小領域は２０画素×２０画素の領域である。文字認識領域は例えば第一画像の全体としてもよい。または文字認識領域は第一画像中に文字情報が含まれると推定される所定の領域としてよい。小領域設定部１３は文字認識領域の座標と、文字認識装置１領域において設定した各小領域の座標の情報を制御部１１へ出力する。
【００１８】
制御部１１は文字認識領域の座標と、文字認識領域において設定された各小領域の座標を記憶する。なお第一画像における文字認識領域の座標と各小領域の座標は予め定められていてもよい。制御部１１は第一明度調整部１４へ処理の開始を指示する。第一明度調整部１４は第一画像において設定された各小領域の座標を取得し、各小領域に含まれる画素の輝度値を取得する。第一明度調整部１４は小領域に含まれる画素の輝度値の分散を小領域毎に算出する。第一明度調整部１４は分散の値が閾値よりも低い小領域を特定する（ステップＳ１０３）。
【００１９】
小領域には文字情報の文字の線の位置に対応する小領域や、文字情報の文字の線の位置に対応しない小領域が存在する。第一画像に映る文字情報の輝度が背景よりも輝度値の低い場合、文字情報が示す文字の線のエッジ部分の位置に対応する小領域は、文字を示す輝度の低い画素と、文字以外の背景の輝度の高い画素が混在する。したがって文字のエッジ部分の位置に対応する小領域は輝度値の分散度が高く、それ以外の小領域は輝度値の分散度が低い場合が多い。第一明度調整部１４は、輝度値の分散度が低い小領域の各画素の輝度値を平均化した第二画像を生成する（ステップＳ１０４）。第二画像は輝度値の分散度が低い背景などの輝度値が平均化されている。これにより第二画像は第一画像における背景部分のノイズがある程度除去される。
【００２０】
制御部１１は第二画像が生成されると第二明度調整部１５の処理の開始を指示する。第二明度調整部１５は第二画像を取得する。第二明度調整部１５は第二画像の小領域に含まれる各画素の輝度値を取得し、その輝度値の度数分布を算出する。第二明度調整部１５は小領域ごとに輝度値の度数分布を平均化した第三画像を生成する（ステップＳ１０５）。第二明度調整部１５は、光が入り込んでいることにより文字認識領域の一部の領域の輝度値が高くなっているような場合でも、そのような輝度値の高い領域の輝度値の影響が、輝度値の低い領域の輝度値に影響せずに小領域それぞれで度数分布を平均化することができる。このような処理により、光が差し込んだ影響により文字認識領域のある一部分の輝度値の高い高輝度領域と、他の部分の輝度値の低い低輝度領域とがある場合でも、高輝度領域の輝度の影響が低輝度領域に反映されずに度数分布を平均化することができる。したがって文字認識領域の高輝度領域の輝度の影響が低輝度領域に反映されずに小領域における輝度値の低い画素については輝度値をより低くして文字であることを明確化し、輝度値の高い画素については輝度値をより高くして背景であることを明確化できる。なお、度数分布の平均化の手法はどのようなものであってもよい。
【００２１】
図７は第三画像の例を示す図である。
文字認識装置１の第二明度調整部１５が生成した第三画像は図５で示すように第一画像と比較して文字と背景との輝度差が現れた画像となる。
【００２２】
図８は第三画像の各画素の輝度差を示す図である。
図８は第三画像において引いた水平な直線ｂの位置に対応する画素の輝度値を示している。第三画像は、第一画像の輝度の低い小領域は輝度値がより低く補正され、輝度の高い小領域はより輝度値が高く補正されている。したがって、エンボス加工により対象物に付された文字情報や、背景との色の差があまり無い文字情報を映した第一画像を取得した場合であっても、ある明度閾値Ｎに基づいて、画像中の文字と背景とを二値化することが図８に示すように容易になる。
【００２３】
制御部１１は第三画像が生成されると文字検出部１６に処理の開始を指示する。文字検出部１６は第三画像を取得する。文字検出部１６は明度閾値Ｎに２５５階調のうちの１を設定する（ステップＳ１０６）。文字検出部１６は、第三画像に設定された小領域内の各画素の明度情報と明度閾値Ｎとに基づいて、当該小領域内の各画素の明度情報の何れかが明度閾値Ｎ以下となるかを判定する。文字検出部１６は小領域内の各画素の明度情報の何れかが明度閾値Ｎ以下となった明度情報を含む小領域は文字領域を示す輝度＝１、明度閾値Ｎ以下となった明度情報を含まない小領域は背景領域を示す輝度＝２５５と設定して二値化した第四画像を生成する（ステップＳ１０７）。
【００２４】
図９は第四画像の例を示す図である。
明度閾値Ｎの設定した値によって第四画像において文字が認識できるかどうかは変化する。図９においては適切な明度閾値Ｎによって第四画像が生成された場合の例である。図９で示すように第四画像において適切な明度閾値Ｎが設定された場合には文字と背景とを認識できる程度の画像が得られる。
【００２５】
制御部１１は第四画像が生成されると認識部１７に処理の開始を指示する。認識部１７は、第四画像の文字認識領域における明度閾値Ｎ以下の画素に基づいて文字の特徴を示す第一特徴情報を抽出する（ステップＳ１０８）。第一特徴情報は、文字の線に位置する小領域の画素値に基づいて、明度閾値Ｎ以下の画素が水平方向に連なるか、左上から右下方向に連なるか、左下から右上方向に連なるか、縦方向に連なるかを示す情報である。つまり特徴情報は文字を構成する線の位置に対応する各小領域における文字の線の方向を示す。または特徴情報は他の特徴を示す情報であってもよい。
【００２６】
文字認識装置１のデータベース１０４には文字ＩＤとその文字の特徴を示す第二特徴情報とが全ての文字について記録されている。第二特徴情報も第一特徴情報と同様の文字の特徴を示す情報である。認識部１７は第一特徴情報と、各文字についての第二特徴情報との一致度を算出する（ステップＳ１０９）。認識部１７は算出した一致度が、過去に設定した明度閾値Ｎによって算出された一致度を上回ったかを判定する（ステップＳ１１０）。ステップＳ１１０においてＹｅｓの場合や、初回の明度閾値Ｎ＝１の処理の場合、認識部１７は明度閾値Ｎと、第一特徴情報と第二特徴情報との一致度が最も高い文字ＩＤと、その文字ＩＤが示す第二特徴情報と第一特徴情報との一致度の対応関係を記録する（ステップＳ１１１）。ステップＳ１１０においてＮｏの場合にはステップＳ１１２に遷移する。
【００２７】
なお、文字認識領域に複数の文字が存在する場合には、認識部１７は文字認識領域から抽出できた全ての全ての文字の第一特徴情報について同様に、対応する第二特徴情報との間でそれぞれ一致度を算出する。そして一例として、認識部１７は、複数の文字の一致度の平均値が、過去に設定した明度閾値Ｎによって算出された複数の文字についての一致度の平均値を上回ったかを判定する。認識部１７は一致度の平均値が過去に記録された一致度の平均値を上回る場合に、明度閾値Ｎと、第一特徴情報と第二特徴情報との一致度が最も高い複数の文字の文字ＩＤと、その各文字ＩＤについての第二特徴情報と第一特徴情報との一致度との対応関係を記録する。
【００２８】
認識部１７は明度閾値Ｎを順次１階調〜２５５階調まで設定したかを判定し（ステップＳ１１２）、Ｎｏ場合には明度閾値Ｎの値に１を加える（ステップＳ１１３）。文字認識装置１はステップＳ１０７からの処理を繰り返す。
【００２９】
認識部１７は明度閾値Ｎを２５５階調の値まで設定した場合、現在記憶している明度閾値Ｎと、一つ又は複数の文字ＩＤと、各文字ＩＤについての一致度とを読み取る（ステップＳ１１４）。認識部１７は読み取った文字ＩＤを認識結果として出力する（ステップＳ１１５）。なお認識部１７は読み取った文字ＩＤの一致度やその平均値が所定の文字認識閾値以上かどうかを判定してもよい。この場合、認識部１７は、文字ＩＤの一致度やその平均値が所定の文字認識閾値以上の場合に、認識結果として文字ＩＤを出力してよい。またこの場合、認識部１７は、文字ＩＤの一致度やその平均値が所定の文字認識閾値未満の場合、認識不可を示す情報を出力してもよい。
【００３０】
上述の処理によれば文字認識装置１はステップＳ１０５の処理により、第二画像の小領域に含まれる各画素の輝度値の度数分布を算出し、小領域ごとに輝度値の度数分布を平均化した第三画像を生成している。このような処理により、光が差し込んだ影響により文字認識領域のある一部分の輝度値の高い高輝度領域と、他の部分の輝度値の低い低輝度領域とがある場合でも、高輝度領域の輝度の影響が低輝度領域に反映されずに度数分布を平均化することができる。したがって文字認識領域の高輝度領域の輝度の影響が低輝度領域に反映されずに小領域における輝度値の低い画素については輝度値をより低くして文字であることを明確化し、輝度値の高い画素については輝度値をより高くして背景であることを明確化できる。そして、文字と背景を明確化して二値化した第四画像を生成するので、光の影響による明るさが文字認識領域の少なくとも一部にある場合でも文字情報を画像中からより精度良く認識することができる。
【００３１】
なお上述の処理においては、端末２が文字認識装置１に第一画像のデータを送信しているが、文字認識装置１において第一画像を生成してもよい。また端末２が文字認識装置１と同様の処理を行うようにしてもよい。
【００３２】
また上述の処理においては端末２が第一画像のデータを文字認識装置１に送信しているが、端末２がステップＳ１０８までの第一特徴情報の抽出処理まで行い、当該第一特徴情報を文字認識装置１に送信してもよい。この場合、文字認識装置１がステップＳ１０９以降の処理を行い、認識結果を端末２へ出力する。これにより特徴情報のみが通信ネットワークを介して文字認識装置１へ送信されるので、通信ネットワークの輻輳を低減することができる。また端末２が第一特徴情報を文字認識装置１に送信する場合、明度閾値Ｎを１から２５５まで設定して繰り返す処理が重くなるため、明度閾値Ｎは予め定めた１つまたは３つ程度の複数に設定して処理を繰り返してもよい。
【００３３】
図１０は文字認識装置の最小構成を示す図である。
図１０で示すように、文字認識装置１は少なくとも第一明度調整部と第二明度調整部を備えればよい。第一明度調整部は、画像に含まれる各画素の明度情報のみを保持する第一画像の文字認識領域に設定された複数の画素を含む小領域それぞれのうち、明度の分散が小さい小領域に含まれる各画素の明度情報を平均した第二画像を生成する。第二明度調整部１５は、第二画像の文字認識領域に設定された小領域毎に当該小領域に含まれる各画素の明度の度数分布を平均化した第三画像を生成する。
【００３４】
上述の文字認識装置１や端末２は内部に、コンピュータシステムを有している。そして、文字認識装置１に上述した各処理を行わせるためのプログラムは、当該文字認識装置１や端末２のコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムを文字認識装置１や端末２のコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００３５】
また、上記プログラムは、前述した各処理部の機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００３６】
１・・・文字認識装置
２・・・端末
１１・・・制御部
１２・・・画像取得部
１３・・・小領域設定部
１４・・・第一明度調整部
１５・・・第二明度調整部
１６・・・文字検出部
１７・・・認識部
１０１・・・ＣＰＵ
１０２・・・ＲＯＭ
１０３・・・ＲＡＭ
１０４・・・データベース
１０５・・・インタフェース
１０６・・・通信モジュール
【図１】
2018160152.tif 000003
【図２】
2018160152.tif 000004
【図３】
2018160152.tif 000005
【図４】
2018160152.tif 000006
【図５】
2018160152.tif 000007
【図６】
2018160152.tif 000008
【図７】
2018160152.tif 000009
【図８】
2018160152.tif 000010
【図９】
2018160152.tif 000011
【図１０】
2018160152.tif 000012