(57)【特許請求の範囲】
【請求項１】
読取領域（Ｒ）に活字文字列（ＭＬ）が記入された文書画像（Ｇｓ）を取得する取得部（２４Ａ）と、
前記読取領域の画像を基準文書画像（Ｇｃ）に基づいて抽出する抽出部（２４Ｂ）と、
前記読取領域に記入された活字文字列の画像を行方向または列方向に沿って、複数の活字文字が連続する連続領域（Ｓ）を特定し、前記連続領域の画像を一文字単位の矩形領域（Ｔ）の画像に分割する分割部（２４Ｃ，２４ＣＵ）と、
前記矩形領域の画像の入力に応じて、当該矩形領域の画像に記入された活字文字の内容を推論する文字列認識モデル（２１Ｃ）を用いて、前記活字文字列の内容を認識する認識部（２４Ｄ）と、
を備える、活字文字列認識装置（２０，２０Ｓ，２０Ｔ）。
【請求項２】
前記分割部は、複数の活字文字を行方向または列方向に膨張処理して連続領域を特定する、
請求項１に記載の活字文字列認識装置（２０，２０Ｓ，２０Ｔ）。
【請求項３】
前記文書画像には、複数の所定項目（Ｋ）に関連付けられて活字文字列が記入されており、
前記文字列認識モデルは、ニューラルネットワークにより構築されているものであって、前記複数の所定項目に関連付けて複数準備されており、
前記抽出部が、複数の所定項目に対応する複数の読取領域を抽出し、
前記認識部が、二以上の所定項目が同一の文字列認識モデルに関連付けられている場合、当該二以上の所定項目から得られた矩形領域を合成し、合成した矩形領域を当該同一の文字列認識モデルに入力する、
請求項１又は２に記載の活字文字列認識装置。
【請求項４】
前記認識部は、
前記文字列認識モデルを用いて推論された活字文字から候補文字列（ＭＫ）を生成し、
前記候補文字列を予め記憶された参照文字列（ＭＳ）と比較して類似度を算出し、
前記類似度が所定値以上の場合、前記参照文字列を前記活字文字列の内容として認識する、
請求項１から３のいずれか１項に記載の活字文字列認識装置。
【請求項５】
前記認識部は、
前記類似度が所定値より小さい場合、前記候補文字列を前記活字文字列の内容として認識する、
請求項４に記載の活字文字列認識装置。
【請求項６】
前記分割部は、
前記読取領域の画像を二値化処理し、
二値化処理した画像を行方向または列方向に沿って、複数の活字文字が連続する連続領域（Ｓ）を特定し、
前記連続領域の画像を、列方向または行方向に走査して一文字単位の二値化された矩形領域の画像に分割する、
請求項１から５のいずれか１項に記載の活字文字列認識装置。
【請求項７】
前記認識部は、前記二値化された矩形領域の画像から、前記活字文字列の内容を認識する、
請求項６に記載の活字文字列認識装置。
【請求項８】
前記認識部は、前記二値化された矩形領域に対応する、二値化される前の矩形領域の画像から、前記活字文字列の内容を認識する、
請求項６に記載の活字文字列認識装置。
【請求項９】
前記分割部は、
前記読取領域の画像を二値化処理し、
二値化処理した画像を行方向または列方向に沿って、複数の活字文字が連続する連続領域（Ｓ）を特定し、
前記連続領域に対応する二値化処理した画像を行方向又は列方向に沿って、一文字に相当する単位長さに基づいて矩形領域の画像に分割する、
請求項１から５のいずれか１項に記載の活字文字列認識装置。
【請求項１０】
前記認識部による活字文字列の認識結果を、文字種別に応じて表示形態を変えて表示する、
請求項１から９のいずれか１項に記載の活字文字列認識装置（２０，２０Ｓ，２０Ｔ）。
【請求項１１】
読取領域（Ｒ）に活字文字列（ＭＬ）が記入された文書画像（Ｇｓ）を取得する取得部（２４Ａ）と、
前記読取領域の画像を基準文書画像（Ｇｃ）に基づいて抽出する抽出部（２４Ｂ）と、
前記読取領域に記入された活字文字列の画像を行毎または列毎に一文字単位の矩形領域（Ｔ）の画像に分割する分割部（２４Ｃ，２４ＣＵ）と、
前記矩形領域の画像の入力に応じて、当該矩形領域の画像に記入された活字文字の内容を推論する文字列認識モデル（２１Ｃ）を用いて、前記活字文字列の内容を認識する認識部（２４Ｄ）と、
を備え、
前記文書画像には、複数の所定項目（Ｋ）に関連付けられて活字文字列が記入されており、
前記文字列認識モデルは、ニューラルネットワークにより構築されているものであって、前記複数の所定項目に関連付けて複数準備されており、
前記抽出部が、複数の所定項目に対応する複数の読取領域を抽出し、
前記認識部が、二以上の所定項目が同一の文字列認識モデルに関連付けられている場合、当該二以上の所定項目から得られた矩形領域を合成し、合成した矩形領域を当該同一の文字列認識モデルに入力する、
活字文字列認識装置（２０，２０Ｓ，２０Ｔ）。
【請求項１２】
読取領域（Ｒ）に活字文字列（ＭＬ）が記入された文書画像（Ｇｓ）を取得する取得部（２４Ａ）と、
前記読取領域の画像を基準文書画像（Ｇｃ）に基づいて抽出する抽出部（２４Ｂ）と、
前記読取領域に記入された活字文字列の画像を行毎または列毎に一文字単位の矩形領域（Ｔ）の画像に分割する分割部（２４Ｃ，２４ＣＵ）と、
前記矩形領域の画像の入力に応じて、当該矩形領域の画像に記入された活字文字の内容を推論する文字列認識モデル（２１Ｃ）を用いて、前記活字文字列の内容を認識する認識部（２４Ｄ）と、
を備え、
前記分割部は、
前記読取領域の画像を二値化処理し、
二値化処理した画像を行方向または列方向に沿って、複数の活字文字が連続する連続領域（Ｓ）を特定し、
前記連続領域の画像を、列方向または行方向に走査して一文字単位の二値化された矩形領域の画像に分割し、
前記認識部は、前記二値化された矩形領域に対応する、二値化される前の矩形領域の画像から、前記活字文字列の内容を認識する、
活字文字列認識装置。
【請求項１３】
コンピュータを、
読取領域（Ｒ）に活字文字列（ＭＬ）が記入された文書画像（Ｇｓ）を取得する取得部（２４Ａ）、
前記読取領域の画像を基準文書画像（Ｇｃ）に基づいて抽出する抽出部（２４Ｂ）、
前記読取領域に記入された活字文字列の画像を行方向または列方向に沿って、複数の活字文字が連続する連続領域（Ｓ）を特定し、前記連続領域の画像を一文字単位の矩形領域（Ｔ）の画像の画像に分割する分割部（２４Ｃ）、
前記矩形領域の画像の入力に応じて、当該矩形領域の画像に記入された活字文字の内容を推論する文字列認識モデル（２１Ｃ）を用いて、前記活字文字列の内容を認識する認識部（２４Ｄ）、
として機能させる、活字文字列認識プログラム。
【請求項１４】
コンピュータを用いて活字文字列の内容を認識する活字文字列認識方法であって、
読取領域（Ｒ）に活字文字列（ＭＬ）が記入された文書画像を取得し、
前記読取領域の画像を基準文書画像（Ｇｃ）に基づいて抽出し、
前記読取領域に記入された活字文字列の画像を行方向または列方向に沿って、複数の活字文字が連続する連続領域（Ｓ）を特定し、前記連続領域の画像を一文字単位の矩形領域（Ｔ）の画像に分割し、
前記矩形領域の画像の入力に応じて、当該矩形領域の画像に記入された活字文字の内容を推論する文字列認識モデル（２１Ｃ）を用いて、前記活字文字列の内容を認識する、
活字文字列認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、活字文字列認識装置、プログラム、及び方法に関する。
【背景技術】
【０００２】
従来、帳票画像に含まれている文字を認識する技術の開発が進められている。例えば、特許文献１（特開２００３−１１５０２８号公報）には、定型帳票が登録されている複数種類の帳票のいずれかに該当しているかを識別する帳票処理技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
処理対象の帳票画像が多数存在する場合、これらの帳票画像に含まれている文字列を高速かつ高精度に読み取ることが求められる。
【課題を解決するための手段】
【０００４】
第１観点の活字文字列認識装置は、取得部と、抽出部と、分割部と、認識部とを備える。取得部は、読取領域に活字文字列が記入された文書画像を取得する。抽出部は、読取領域の画像を基準文書画像に基づいて抽出する。分割部は、読取領域に記入された活字文字列の画像を行毎又は列毎に一文字単位の矩形領域の画像に分割する。認識部は、文字列認識モデルを用いて、活字文字列の内容を認識する。ここで、文字列認識モデルは、矩形領域の画像の入力に応じて、当該矩形領域の画像に記入された活字文字の内容を推論するものである。このような構成により、多数の文書画像（帳票画像を含む）に含まれている文字列を高速かつ高精度に読み取ることができる。【０００５】
第２観点の活字文字列認識装置は、第１観点の活字文字列認識装置であって、抽出部が、複数の所定項目に対応する複数の読取領域を抽出する。また、認識部が、二以上の所定項目が同一の文字列認識モデルに関連付けられている場合、当該二以上の所定項目から得られた矩形領域を合成し、合成した矩形領域を当該同一の文字列認識モデルに入力する。なお、ここでは、文書画像には、複数の所定項目に関連付けられて活字文字列が記入されている。また、文字列認識モデルは、ニューラルネットワークにより構築されているものであって、複数の所定項目に関連付けて複数準備されている。このような構成により、活字文字列の認識速度を速くすることができる。【０００６】
第３観点の活字文字列認識装置は、第１観点又は第２観点の活字文字列認識装置であって、認識部が、文字列認識モデルを用いて推論された活字文字から候補文字列を生成する。また、認識部は、候補文字列を予め記憶された参照文字列と比較して類似度を算出する。そして、認識部は、類似度が所定値以上の場合、参照文字列を活字文字列の内容として認識する。このような構成により、候補文字列が想定される項目について、活字文字列の認識精度を高めることができる。【０００７】
第４観点の活字文字列認識装置は、第３観点の活字文字列認識装置であって、認識部が、類似度が所定値より小さい場合、候補文字列を活字文字列の内容として認識する。このような構成により、自由な記載が認められる項目について活字文字列の認識精度を高めることができる。【０００８】
第５観点の活字文字列認識装置は、第１観点から第４観点の活字文字列認識装置であって、分割部が、読取領域の画像を二値化処理する。また、分割部は、二値化処理した画像を行方向または列方向に沿って、複数の活字文字が連続する連続領域を特定する。そして、分割部は、連続領域の画像を、列方向または行方向に走査して一文字単位の二値化された矩形領域の画像に分割する。このような構成により、活字文字の矩形領域を高精度に分割することができる。【０００９】
第６観点の活字文字列認識装置は、第５観点の活字文字列認識装置であって、認識部が、二値化された矩形領域の画像から、活字文字列の内容を認識する。このような構成により活字文字列の認識速度を速くすることができる。【００１０】
第７観点の活字文字列認識装置は、第５観点の活字文字列認識装置であって、認識部が、二値化された矩形領域に対応する、二値化される前の矩形領域の画像から、活字文字列の内容を認識する。このような構成により活字文字列の認識精度を高めることができる。【００１１】
第８観点の活字文字列認識装置は、第１観点から第４観点の活字文字列認識装置であって、分割部が、読取領域の画像を二値化処理する。また、分割部は、二値化処理した画像を行方向または列方向に沿って、複数の活字文字が連続する連続領域を特定する。そして、分割部は、連続領域に対応する二値化処理した画像を行方向又は列方向に沿って、一文字に相当する単位長さに基づいて矩形領域の画像に分割する。このような構成により、活字文字の矩形領域を高精度に分割することができる。【００１２】
第９観点の活字文字列認識装置は、第１観点から第８観点の活字文字列認識装置であって、認識部による活字文字列の認識結果を、文字種別に応じて表示形態を変えて表示するものである。このような構成により、読取対象の文字種別の正誤を容易に判定できる。【００１３】
第１０観点の活字文字列認識プログラムは、コンピュータを、取得部、抽出部、分割部、認識部、として機能させる。取得部は、読取領域に活字文字列が記入された文書画像を取得する。抽出部は、読取領域の画像を基準文書画像に基づいて抽出する。分割部は、読取領域に記入された活字文字列の画像を一文字単位の矩形領域の画像に分割する。認識部は、文字列認識モデルを用いて、活字文字列の内容を認識する。ここで、文字列認識モデルは、矩形領域の画像の入力に応じて、当該矩形領域の画像に記入された活字文字の内容を推論するものである。このような構成により、多数の文書画像に含まれている文字列を高速かつ高精度に読み取ることができる。【００１４】
第１１観点の活字文字列認識方法は、コンピュータを用いて活字文字列の内容を認識する方法である。この方法では、読取領域に活字文字列が記入された文書画像を取得する。そして、読取領域の画像を基準文書画像に基づいて抽出する。次に、読取領域に記入された活字文字列の画像を一文字単位の矩形領域の画像に分割する。そして、文字列認識モデルを用いて、活字文字列の内容を認識する。ここで、文字列認識モデルは、矩形領域の画像の入力に応じて、当該矩形領域の画像に記入された活字文字の内容を推論するものである。このような構成により、多数の文書画像に含まれている文字列を高速かつ高精度に読み取ることができる。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態に係る活字文字列認識装置２０の構成を示す模式図である。
【図２】同実施形態に係る帳票画像Ｇｓの一例を示す模式図である。
【図３】同実施形態に係る基準帳票画像Ｇｃの一例を示す模式図である。
【図４】同実施形態に係る読取領域の画像の例を示す模式図である。
【図５】同実施形態に係る活字文字列認識装置２０の動作を説明するためのフローチャートである。
【図６】同実施形態に係る分割部２４Ｃの動作を説明するための図である。
【図７】同実施形態に係る分割部２４Ｃの動作を説明するための図である。
【図８】同実施形態に係る認識部２４Ｄの動作を説明するための図である。
【図９】変形例Ｄに係る活字文字列認識装置２０の構成を示す模式図である。
【図１０】変形例Ｅに係る認識部２４Ｄの動作を説明するための図である。
【図１１】第２実施形態に係る活字文字列認識装置２０Ｓの構成を示す模式図である。
【図１２】同実施形態に係る参照文字列データベース２１ＤＳの構成を説明するための模式図である。
【図１３】同実施形態に係る活字文字列認識装置２０Ｓの動作を説明するためのフローチャートである。
【図１４】同実施形態に係る活字文字列認識装置２０Ｓの動作の一例を説明するための図である。
【図１５】同実施形態に係る活字文字列認識装置２０Ｓの動作の一例を説明するための図である。
【図１６】第３実施形態に係る活字文字列認識装置２０Ｔの構成を示す模式図である。
【図１７】第４実施形態に係る活字文字列認識装置２０Ｕの構成を示す模式図である。
【発明を実施するための形態】
【００１６】
以下、本開示に係る活字文字列認識装置の実施形態を図面とともに説明する。なお、以下の説明において、複数ある同一対象を個別に説明する場合、添え字を付して説明する場合がある。例えば「所定項目」を全体として説明する場合には所定項目Ｋと表記し、個々の所定項目を具体的に説明する場合には所定項目Ｋ１〜Ｋ６のように添え字を付して説明する。
【００１７】
＜第１実施形態＞
（１−１）活字文字列認識装置の構成
図１は本実施形態に係る活字文字列認識装置２０の構成を示す模式図である。活字文字列認識装置２０は、後述する文字列認識モデル２１Ｃを用いて帳票画像Ｇｓ内に記載された活字文字列ＭＬの内容を認識する。前提として、本実施形態に係る帳票画像Ｇｓの所定項目欄には、図２に示すように、記入すべき内容が活字で表示されている。なお、帳票画像Ｇｓとは、任意の帳票が写された画像を意味する。また、ここでいう活字文字列を構成する各活字文字は同一の文字幅を有するものである。
なお、以下の説明において、活字文字列認識装置２０は、帳票画像Ｇｓ内に記載された活字文字列の内容を認識するものとして説明しているが、活字文字列認識装置２０の認識対象は帳票画像に限られるものではない。活字文字列認識装置は、文字列が記入された任意の文書が写された「文書画像」の内容を認識可能なものである。
【００１８】
帳票画像Ｇｓの一例として、複数の所定項目Ｋ１〜Ｋ６のそれぞれに関連付けて活字文字列ＭＬ１〜ＭＬ６が記入されるものを用いる。項目Ｋ１は郵便番号、項目Ｋ２は住所、項目Ｋ３は氏名、項目Ｋ４は登録番号、項目Ｋ５は使用物品、項目Ｋ６は使用目的にそれぞれ対応している。ただし、これらの項目の内容は単なる例示であり、これらに限定されるものではない。
【００１９】
活字文字列認識装置２０は、任意のコンピュータにより実現することができ、記憶部２１、入力部２２、出力部２３、及び処理部２４を備える。
【００２０】
記憶部２１は、各種情報を記憶するものであり、メモリ及びハードディスク等の任意の記憶装置により実現される。ここでは、記憶部２１は、文字列認識モデル２１Ｃを構築するニューラルネットワークの重み等の情報を記憶する。
【００２１】
文字列認識モデル２１Ｃは、一文字単位の矩形領域の画像の入力に応じて、当該矩形領域の画像に記入された活字文字の内容を推論するものである。この文字列認識モデル２１Ｃは、活字文字が写された教師画像に基づいて重みが調整された畳み込みニューラルネットワーク（ＣＮＮ）等により構築される。
【００２２】
入力部２２は、キーボード、マウス、タッチパネル等の任意の入力装置により実現され、コンピュータに各種情報を入力する。
【００２３】
出力部２３は、ディスプレイ、タッチパネル、スピーカー等の任意の出力装置により実現され、コンピュータから各種情報を出力する。
【００２４】
処理部２４は、各種情報処理を実行するものであり、ＣＰＵ又はＧＰＵ等のプロセッサ、及びメモリにより実現される。ここでは、コンピュータのＣＰＵ，ＧＰＵ等に記憶部２１に記憶された一又は複数のプログラムが読み込まれることにより、処理部２４が、取得部２４Ａと、抽出部２４Ｂと、分割部２４Ｃと、認識部２４Ｄとして機能する。
【００２５】
取得部２４Ａは、活字文字列ＭＬが記入された帳票画像Ｇｓを取得する。取得部２４Ａは、任意の撮像装置を介して、読取対象の帳票の画像を帳票画像Ｇｓとして取得する。
【００２６】
抽出部２４Ｂは、帳票画像Ｇｓと基準帳票画像Ｇｃとをマッチングして読取領域Ｒを抽出する。なお、ここでいう、マッチングは、画像を直接比較して差分を求めることのみならず、基準帳票画像Ｇｃから取得した所定項目Ｋに対応する座標情報に基づいて、帳票画像Ｇｓから読取領域Ｒを抽出する処理を意味する。
基準帳票画像Ｇｃは、図３に示すように、帳票画像Ｇｓの所定項目Ｋに対応する欄が空白になっているものである。したがって、図２，３に示す例では、帳票画像Ｇｓと基準帳票画像Ｇｃとに基づいて、帳票画像Ｇｓにおける所定項目Ｋ１〜Ｋ６に対応する内容がそれぞれ読取領域Ｒ１〜Ｒ６として抽出される。ここでは、図４（ａ）が項目Ｋ１に対応する読取領域Ｒ１の画像、図４（ｂ）が項目Ｋ２に対応する読取領域Ｒ２の画像、図４（ｃ）が項目Ｋ３に対応する読取領域Ｒ３の画像、図４（ｄ）が項目Ｋ４に対応する読取領域Ｒ４の画像、図４（ｅ）が項目Ｋ５に対応する読取領域Ｒ５の画像、図４（ｆ）が項目Ｋ６に対応する読取領域Ｒ６の画像を示している。なお、基準帳票画像Ｇｃ及び当該基準帳票画像Ｇｃにおける所定項目Ｋに対応する座標情報は、記憶部２１に予め記憶されている。
【００２７】
分割部２４Ｃは、読取領域Ｒに記入された活字文字列ＭＬを一文字単位の矩形領域Ｔに分割する。詳細については後述する。
【００２８】
認識部２４Ｄは、矩形領域Ｔの画像に基づいて活字文字列ＭＬの内容を認識する。ここでは、認識部２４Ｄは、文字列認識モデル２１Ｃを用いて、活字文字列ＭＬの内容を認識する。
【００２９】
（１−２）活字文字列認識装置の動作
図５は本実施形態に係る活字文字列認識装置２０の動作を説明するためのフローチャートである。
まず、任意の撮像装置を介して、読取対象の帳票画像Ｇｓが撮像される。そして、これらの帳票画像Ｇｓが適時、活字文字列認識装置２０の記憶部２１に記憶される（Ａ１）。
【００３０】
次に、活字文字列認識装置２０は、読取領域Ｒの画像を基準帳票画像Ｇｃに基づいて抽出する（Ａ２）。
続いて、活字文字列認識装置２０は、読取領域Ｒに記入された活字文字列ＭＬの画像を行毎に一文字単位の矩形領域Ｔの画像に分割する（Ａ３）。この際、活字文字列認識装置２０は、分割部２４Ｃの機能により、読取領域Ｒを行方向に沿って、複数の活字文字が連続する連続領域Ｓを特定する。項目Ｋ２（住所）を例にとって説明すると、図６に示すように、分割部２４Ｃは、項目Ｋ２の読取領域Ｒ２の画像（図６（ａ））を二値化して、二値化した読取領域の画像を生成する（図６（ｂ））。そして、分割部２４Ｃは、二値化した読取領域Ｒ２の画像を行方向に膨張処理して、文字部分を塗り潰す（図６（ｃ））。これにより、所定の文字間隔で隣接する文字が結合されて、単語間のブランク（空白）までの複数の文字が連続領域Ｓ１〜Ｓ４として特定される。図６に示す例では、「愛知県」「名古屋市」「中区」「Ｘ丁目Ｙ番地ｚ号」が記載された画像がそれぞれ個別の連続領域Ｓ１〜Ｓ４として特定されることになる（図６（ｄ））。
【００３１】
続いて、活字文字列認識装置２０は、分割部２４Ｃの機能により、各連続領域Ｓ１〜Ｓ４を、列方向に走査して一文字毎に分割する。具体的には、連続領域Ｓ１〜Ｓ４を文字間隔以下の幅を有するラインＬで走査し、列方向の輝度値を算出する。そして、算出した輝度値が所定値以下の領域を文字間隔に相当するスペースとみなし、次のスペースまでの部分に相当する画像を一文字単位の矩形領域Ｔとして抽出する。例えば図７に示すように、「愛知県」の文字が連続領域Ｓ１として特定された場合、「愛」「知」「県」のそれぞれの文字が記入された画像が矩形領域Ｔ１〜Ｔ３として抽出される。なお、図７（ａ）は連続領域Ｓ１をラインＬが走査する概念を示した図であり、図７（ｂ）は連続領域Ｓ１における輝度値を示した図である。図７（ｂ）では、連続領域Ｓ１をラインＬで走査したときの列方向の輝度値を、連続領域Ｓ１の画像の水平方向のピクセルに対応させて示している。
【００３２】
次に、活字文字列認識装置２０は、一文字単位に分割された矩形領域Ｔの画像に基づいて活字文字列ＭＬの内容を認識する（Ａ４）。具体的には、活字文字列認識装置２０は、ニューラルネットワークにより構築された文字列認識モデル２１Ｃを用いて、活字文字の内容を推論することで、活字文字列ＭＬの内容を認識する。ここでいう「推論」とは、汎用的な文字画像に基づいて重みが調整されたニューラルネットワークにより算出される活字文字の認識結果のことを意味する。例えば、図８に概念を示すように、「愛」という部分に対応する矩形領域Ｔ１の画像を、文字列認識モデル２１Ｃに入力すると、「愛」「憂」「舜」「受」など「愛」と形状が類似する活字文字が確度ｐとともに推論される。図８の例では、「愛」の確度が９９．５８３０９、「憂」の確度が０．００４０１２４、「舜」の確度が１．２６７７１８６５×（１０の−５乗）、「受」の確度が４．２３８４０５×（１０の−9乗）、であると推論されている。したがって、「愛」の確度が一番大きいので、矩形領域Ｔ１の画像の内容は「愛」であると認識される。
【００３３】
以上のようにして、一文字単位の矩形領域Ｔの全ての画像が文字列認識モデル２１Ｃに入力されると、帳票画像Ｇｓの所定項目Ｋに記載された活字文字列ＭＬが認識される。
【００３４】
なお、上記説明において、単語間のブランクまでを連続領域として特定するようにしていたが、本実施形態に係る活字文字列認識装置２０は、同一行であれば単語間のブランクを考慮せずに連続領域を特定してもよい。図６に示す例でいえば、単語間のブランクを考慮せずに、同一行の連続領域Ｓ１〜Ｓ３が連なった１つの連続領域Ｓを特定してもよい。この場合は「愛知県名古屋市中区」までが連続領域として特定されることになる。このように行毎に連続領域を特定しても一文字単位に分割された矩形領域Ｔを得ることは可能である。
【００３５】
（１−３）活字文字列認識装置の特徴
（１−３−１）
上述したように、本実施形態に係る活字文字列認識装置２０は、取得部２４Ａと、抽出部２４Ｂと、分割部２４Ｃと、認識部２４Ｄとを備える。取得部２４Ａは、読取領域Ｒに活字文字列ＭＬが記入された帳票画像Ｇｓを取得する。抽出部２４Ｂは、読取領域Ｒの画像を基準帳票画像Ｇｃに基づいて抽出する。分割部２４Ｃは、読取領域Ｒに記入された活字文字列ＭＬの画像を行毎又は列毎に一文字単位の矩形領域Ｔの画像に分割する。認識部２４Ｄは、矩形領域Ｔの画像に基づいて活字文字列ＭＬの内容を認識する。このように、帳票に記入された活字文字列ＭＬを一文字単位の画像で抽出できるので、多数の帳票画像に含まれている文字を高速かつ高精度に読み取ることができる。
【００３６】
特に、ここでは、認識部２４Ｄが、文字列認識モデル２１Ｃを用いて、活字文字列ＭＬの内容を認識する。文字列認識モデル２１Ｃは、ニューラルネットワークにより構築されており、矩形領域Ｔの画像の入力に応じて、当該矩形領域Ｔの画像に記入された活字文字の内容を推論する。したがって、このようなニューラルネットワークを用いることで、活字文字列ＭＬの認識精度を高めることができる。
【００３７】
（１−３−２）
また、本実施形態に係る活字文字列認識装置２０では、分割部２４Ｃが、読取領域Ｒの画像を二値化処理する。また、分割部２４Ｃは、二値化処理した画像を行方向に沿って、複数の活字文字が連続する連続領域Ｓを特定する。そして、分割部２４Ｃは、連続領域Ｓの画像を、列方向に走査して一文字単位の二値化された矩形領域Ｔの画像に分割する。このような構成により、連続領域Ｓの画像を活字文字の矩形領域Ｔの画像に高精度に分割できる。そして、一文字単位の画像で最適化されたニューラルネットワークにより構築された文字列認識モデル２１Ｃを用いることで、活字文字を高精度に認識することができる。
【００３８】
なお、ここでは、認識部２４Ｄは、二値化された矩形領域Ｔの画像から活字文字列ＭＬの内容を認識するので、活字文字列ＭＬの認識速度を速くすることができる。補足すると、二値化された矩形領域Ｔの画像ではノイズが除去されているので、活字文字列ＭＬを認識する際に実行する演算負荷を低減することができる。その結果、活字文字列ＭＬの認識速度を速くすることができる。
【００３９】
（１−４）変形例
（１−４−１）変形例Ａ
上記説明において、分割部２４Ｃは、行方向に沿って複数の活字文字が連続する領域を連続領域Ｓとしたが、列方向に沿って複数の活字文字が連続する領域を連続領域とするものでもよい。ただし、分割部２４Ｃが列方向に沿って連続領域を特定する場合、分割部２４Ｃは、連続領域Ｓの画像を、行方向に走査して一文字単位の二値化された矩形領域Ｔの画像に分割する。
【００４０】
（１−４−２）変形例Ｂ
上記説明において、認識部２４Ｄは、二値化された矩形領域Ｔの画像から、活字文字列ＭＬの内容を認識するものとしたが、本実施形態に係る認識部２４Ｄはこれに限定されるものではない。本実施形態に係る認識部２４Ｄは、二値化した矩形領域Ｔの画像から、二値化する前の帳票画像Ｇｓにおける矩形領域の画像を抽出して、活字文字列ＭＬの内容を認識するものでもよい。このような構成により活字文字列ＭＬの認識精度を高めることができる。
【００４１】
補足すると、二値化した読取領域Ｒの画像は、膨張処理等が実行されているので、二値化する前の帳票画像Ｇｓにおける活字文字が記載されている領域とは大きさが異なることがある。そこで、一文字単位の矩形領域を求めるまでは二値化した画像を用い、活字文字の推論の際には二値化する前の画像を用いることで、活字文字の認識精度を高めることができる。この際、二値化処理後に分割された矩形領域Ｔの位置を、二値化処理前の帳票画像Ｇｓに投影させて矩形の画像を抽出し、この画像を文字列認識モデル２１Ｃに入力して文字を推論する。具体的には、図６（ｄ）の二値化処理後の矩形領域Ｔの画像ではなく、図６（ａ）の読取領域から矩形の画像を抽出し、これを用いて文字を推論する。なお、この場合の文字列認識モデル２１Ｃは、二値化した文字画像ではなく、グレースケール又はカラー表示で文字が写された画像を教師画像として学習されたものである。
【００４２】
（１−４−３）変形例Ｃ
上述した処理部２４は、認識部２４Ｄによる活字文字列の認識結果を、文字種別に応じて表示形態を変えて表示する処理を実行するものでもよい。文字列認識モデル２１Ｃを用いて活字文字列の内容を推論した場合、漢字の「工」という文字とカタカナの「エ」という文字、アルファベットの「Ｏ」という文字と数字の「０」という文字などは外形が似ていることから誤って識別されてしまうことがある。そこで、数字・アルファベット・記号の違いに応じて色分け等して表示することで、文字列認識モデル２１Ｃの識別結果の正誤を一見して判定できるようになる。
【００４３】
（１−４−４）変形例Ｄ
上記説明では、読取対象の帳票画像Ｇｓが記憶部２１に記憶されるとしたが、本実施形態に係る活字文字列認識装置２０はこれに限定されるものではない。例えば、図９に示すように、帳票画像Ｇｓは外部記憶装置１２１に記憶するものでもよい。このような構成により、外部記憶装置１２１のセキュリティレベルを上げることができ、帳票画像Ｇｓが流出されるリスクを軽減することができる。
また、活字文字列認識装置２０は、ネットワークを介して外部記憶装置１２１に接続していてよい。さらに、この場合、活字文字列認識装置２０の取得部２４Ａが、帳票画像Ｇｓを読み取るときにのみ外部記憶装置１２１にアクセスして、帳票画像Ｇｓを読み取るものでもよい。
【００４４】
（１−４−５）変形例Ｅ
上記説明では、活字文字列認識装置２０が入力部２２及び出力部２３を具備する構成としたが、本実施形態に係る活字文字列認識装置２０はこれに限定されるものではない。本実施形態に係る活字文字列認識装置は入力部２２及び出力部２３を必ずしも具備するものでなくてもよい。
また、本実施形態に係る活字文字列認識装置２０は複数の装置がネットワークを介して接続されるシステムとして構成されるものでもよい。例えば、図１０に示すように、入力部２２及び出力部２３と同様の機能を有する、入力部１２２及び出力部１２３を備える端末装置１００と、活字文字列認識装置２０とがネットワークを介して接続される活字文字列認識システムであってもよい。また、この場合、活字文字列認識装置２０は複数の端末装置１００と接続されるものでもよい。なお、ここでは便宜上、上記説明における活字文字列認識装置を活字文字列認識システムと呼び変えている。
【００４５】
＜第２実施形態＞
（２−１）活字文字列認識装置の構成
図１１は第２実施形態に係る活字文字列認識装置２０Ｓの構成を示す模式図である。第２実施形態に係る活字文字列認識装置２０Ｓは、参照文字列ＭＳを用いた処理を行なう。以下、既に述べた構成については略同一の符号を付し、重複する説明を省略する。特に、本実施形態に特有の構成については添え字「Ｓ」をつけて説明する。
【００４６】
本実施形態に係る活字文字列認識装置２０Ｓでは、記憶部２１Ｓが、参照文字列データベース２１Ｄを記憶する。参照文字列データベース２１Ｄは、帳票画像Ｇｓ内の所定項目Ｋ１〜Ｋ６毎に関連付けられる参照文字列ＭＳを予め記憶する。例えば、参照文字列データベース２１Ｄは、図１２に示すように、帳票画像Ｇｓの所定項目Ｋ５が「使用物品」である場合、「自家用普通乗用車」「自家用小型乗用車」「自家用軽四輪乗用車」「自家用軽四輪貨物車」「二輪自動車」のそれぞれを参照文字列ＭＳ５ａ〜ＭＳ５ｅとして記憶する。
【００４７】
また、本実施形態に係る活字文字列認識装置２０Ｓでは、認識部２４ＤＳが、後述する候補文字列ＭＫを予め記憶された参照文字列ＭＳと比較して類似度を算出し、類似度の高い参照文字列ＭＳを活字文字列ＭＬの内容として認識する。なお、認識部２４Ｄは、類似度が所定値以下の場合、候補文字列ＭＫを活字文字列ＭＬの内容として認識する。
【００４８】
（２−２）活字文字列認識装置の動作及び特徴
図１３は第２実施形態に係る活字文字列認識装置２０Ｓの動作を説明するためのフローチャートである。
本実施形態に係る活字文字列認識装置２０Ｓにおいては上述したステップＡ４に代えてステップＢ４〜Ｂ８が実行される。したがって、本実施形態に係る活字文字列認識装置２０Ｓにおいても、まずは上述したステップＡ１〜Ａ３と同様の処理が実行される（Ｂ１〜Ｂ３）。
【００４９】
そして、活字文字列認識装置２０Ｓは、文字列認識モデル２１Ｃを用いて推論された活字文字から候補文字列ＭＫを生成する（Ｂ４）。次に、活字文字列認識装置２０Ｓは、候補文字列ＭＫを予め記憶された参照文字列ＭＳと比較して類似度を算出する（Ｂ５）。そして、活字文字列認識装置２０Ｓは、類似度が所定値以上の場合、類似度が最大の参照文字列ＭＳを活字文字列ＭＬの内容として認識する（Ｂ６−Ｙｅｓ，Ｂ７）。一方、活字文字列認識装置２０Ｓは、類似度が所定値より小さい場合、候補文字列ＭＫを活字文字列の内容として認識する（Ｂ６−Ｎｏ，Ｂ８）。
【００５０】
例えば、図１４（ａ）に示すように、活字文字列ＭＬ５に対応する「自家用小型乗用車」と記載された読取領域Ｒ５の画像から、図１４（ｂ）に示すような「自家田小型乗田車」という候補文字列ＭＫ５が生成されるとする。この場合、本実施形態に係る認識部２４ＤＳは、参照文字列ＭＳ５と候補文字列ＭＫ５とを比較し、両者の類似度を算出する。ここでは、図１５に示すように、参照文字列ＭＳ５ａ〜ＭＳ５ｅとして「自家用乗用車」「自家用小型乗用車」「自家用軽四輪乗用車」「自家用軽四輪貨物車」「二輪自動車」が記憶されており、それぞれの類似度が「０．５」「０．７５」「０．４７０５８８」「０．３５２９１」「０．３０７６９２３」と算出されている。この場合、参照文字列ＭＳ５ｂの「自家用小型乗用車」の類似度が０．７５と最も高いので、認識部２４ＤＳは、上述した候補文字列ＭＫを参照文字列ＭＳ５ｂに置き換える。
【００５１】
上述したように、本実施形態に係る活字文字列認識装置２０Ｓは、参照文字列データベース２１Ｄを用いることで、活字文字列ＭＬの認識精度をさらに高めることができる。特に、帳票の所定項目に記載される内容が特定される場合に、多数の帳票画像に含まれている文字を高速かつ高精度に読み取ることができる。
【００５２】
一方、本実施形態に係る活字文字列認識装置２０Ｓは、類似度が所定値以下の場合、候補文字列ＭＫを活字文字列ＭＬの内容として認識する。このような構成により、参照文字列ＭＳとして予め登録しておくことができない場合にも帳票画像Ｇｓに含まれている文字を高精度に読み取ることができる。例えば、帳票の項目によっては、予め設定された項目に加え、自由記載欄を設けることもある。本実施形態に係る活字文字列認識装置２０Ｓでは、類似度が所定値以下の場合には予め設定された項目以外の内容が記入されているとみなし、これを高精度に読み取る。
【００５３】
なお、第２実施形態に係る活字文字列認識装置２０Ｓにおいても第１実施形態の特徴及び変形例をそのまま適用可能である。
【００５４】
＜第３実施形態＞
図１６は第３実施形態に係る活字文字列認識装置２０Ｔの構成を示す模式図である。以下、既に述べた構成については略同一の符号を付し、重複する説明を省略する。特に、本実施形態に特有の構成については添え字「Ｔ」をつけて説明する。
【００５５】
本実施形態に係る記憶部２１Ｔは、複数の所定項目Ｋ１〜Ｋ６に関連付けて複数の文字列認識モデル２１Ｃ１〜２１Ｃｎ（ｎは２以上で項目Ｋの数未満）を記憶する。図１６に示す例では、記憶部２１Ｔに、複数の文字列認識モデル２１Ｃ１〜２１Ｃ４（ｎ＝４）が記憶されているものとする。
【００５６】
また、本実施形態に係る認識部２４ＤＴは、二以上の所定項目が同一の文字列認識モデル２１Ｃｉ（ｉは１から４のいずれかの値）が関連付けられている場合、当該二以上の所定項目から得られた矩形領域の画像を合成し、合成した矩形領域の画像を当該同一の文字列認識モデル２１Ｃｉに入力する。
【００５７】
補足すると、読取対象の帳票画像Ｇｓの所定項目Ｋには、数字だけが記入される項目、カナ文字だけが記入される項目、任意の文字が記入される項目等が存在する。例えば、前述の項目Ｋ２（住所）と項目Ｋ３（氏名）とには任意の文字が記入される。そのため、項目Ｋ２（住所）と項目Ｋ３（氏名）とには、任意の文字を識別可能な文字列認識モデル２１Ｃ２が関連付けられている。このような場合、認識部２４ＤＴは、項目Ｋ２（住所）及び項目Ｋ３（氏名）から得られた矩形領域の画像を合成し、合成した矩形領域の画像を文字列認識モデル２１Ｃ２に一度に入力する。
【００５８】
したがって、活字文字列認識装置２０Ｔは、上述した構成により、二以上の所定項目については同一の文字列認識モデル２１Ｃｉで一度に活字文字列ＭＬを推論するので、活字文字列ＭＬの認識速度を高めることができる。
【００５９】
詳しくは、項目Ｋ２（住所）に対応する矩形領域の画像と項目Ｋ３（氏名）に対応する矩形領域の画像とを個別に文字列認識モデル２１Ｃ２に入力しても、項目Ｋ２（住所）に対応する矩形領域の画像と項目Ｋ３（氏名）に対応する矩形領域の画像とを合成して一度に文字列認識モデル２１Ｃ２に入力したときと比較して、認識精度に差異は生じない。一方、文字列認識モデル２１Ｃ２がニューラルネットワークにより実現されている場合、後者の方が演算速度は速くなる。したがって、第３実施形態に係る活字文字列認識装置２０Ｔのように、文字種が同一の項目についてはまとめて処理することで、帳票画像Ｇｓの読み取り速度を向上することができる。
【００６０】
また、文字列認識モデル２１Ｃｉは、項目毎に使用される文字種に関連付けて構築されるので、活字文字列ＭＬの認識精度及び認識速度を高めることができる。例えば、前述の項目Ｋ１（郵便番号）には数字だけが記入される。そのため、項目Ｋ１（郵便番号）は数字だけを識別可能な文字列認識モデル２１Ｃ１を用いればよく、任意の文字を識別可能な文字列認識モデル２１Ｃ２を用いるのに比して、認識精度及び認識速度を高めることができる。
【００６１】
なお、第３実施形態に係る活字文字列認識装置２０Ｔにおいても第１，２実施形態の特徴及び変形例をそのまま適用可能である。
【００６２】
＜第４実施形態＞
図１７は第４実施形態に係る活字文字列認識装置２０Ｕの構成を示す模式図である。以下、既に述べた構成については略同一の符号を付し、重複する説明を省略する。特に、本実施形態に特有の構成については添え字「Ｕ」をつけて説明する。
【００６３】
本実施形態では、上記ステップＡ３において、一文字単位の矩形画像を抽出する際に別の方法を採用する。
【００６４】
本実施形態に係る活字文字列認識装置２０Ｕは、分割部２４ＣＵを備える。分割部２４ＣＵは、上述したのと同様の処理により、連続領域Ｓ１〜Ｓ４として特定する。すなわち、図６に示す例では、「愛知県」「名古屋市」「中区」「Ｘ丁目Ｙ番地ｚ号」が記載された画像をそれぞれ個別の連続領域Ｓ１〜Ｓ４として特定する（図６（ｄ））。
【００６５】
続いて、分割部２４ＣＵは、連続領域Ｓ１〜Ｓ４に対応する二値化処理した画像を、行方向に沿って、一文字に相当する単位長さに基づいて矩形領域の画像に分割する。具体的には、行方向及び列方向がそれぞれ１５ピクセルの矩形領域に１文字画像が記入されるときに、連続領域Ｓ１に対応する二値化処理した画像が行方向に４８ピクセルの長さを有しているとする。この場合、４８ピクセルを１５ピクセルで割った値３．２を四捨五入等して、分割数を３と決定し、この分割数で、連続領域Ｓ１に対応する二値化処理した画像を分割する。
【００６６】
そして、活字文字列認識装置２０Ｕは、分割された画像を一文字単位に分割された矩形領域Ｔの画像とみなして、文字列認識モデル２１Ｃを用いて、活字文字列ＭＬの内容を認識する。
【００６７】
上述した構成により、活字文字列認識装置２０Ｕは、帳票に記入された活字文字列ＭＬを一文字単位の画像で抽出できるので、多数の帳票画像に含まれている文字を高速かつ高精度に読み取ることができる。
【００６８】
特に、一筆書きで記載できない文字種の場合には、本実施形態による方法で読取精度を高めることができる場合がある。例えば、第１実施形態に係る活字文字列認識装置２０では、連続領域Ｓ１〜Ｓ４を走査するラインＬの幅が狭く、カタカナの「リ」などを「１」「ノ」などと２つの文字として読み取ることがある。本実施形態に係る活字文字列認識装置２０Ｕであれば、１つの文字から２つの文字を読み取ることがなく、同じ文字幅の活字文字を高精度に読み取ることができる。
【００６９】
なお、第４実施形態に係る活字文字列認識装置２０Ｕにおいても、上記（１３−２）以外の第１〜３実施形態の特徴及び変形例をそのまま適用可能である。
【００７０】
＜他の実施形態＞
本開示は、上記各実施形態そのままに限定されるものではない。本開示は、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できるものである。また、本開示は、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の開示を形成できるものである。例えば、実施形態に示される全構成要素から幾つかの構成要素は削除してもよいものである。さらに、異なる実施形態に構成要素を適宜組み合わせてもよいものである。
【符号の説明】
【００７１】
２０    活字文字列認識装置
２０Ｓ  活字文字列認識装置
２０Ｔ  活字文字列認識装置
２０Ｕ  活字文字列認識装置
２１    記憶部
２１Ｃ  文字列認識モデル
２１Ｄ  参照文字列データベース
２２    入力部
２３    出力部
２４    処理部
２４Ａ  取得部
２４Ｂ  抽出部
２４Ｃ  分割部
２４Ｄ  認識部
１００  端末装置
１２１  外部記憶装置
１２２  入力部
１２３  出力部
Ｇｃ    基準帳票画像
Ｇｓ    帳票画像
ＭＬ    活字文字列
ＭＫ    候補文字列
ＭＳ    参照文字列
Ｒ      読取領域
Ｔ      矩形領域
【先行技術文献】
【特許文献】
【００７２】
【特許文献１】特開２００３−１１５０２８号公報
【要約】
活字文字列認識２０は、取得部２４Ａと、抽出部２４Ｂと、分割部２４Ｃと、認識部２４Ｄとを備える。取得部２４Ａは、読取領域Ｒに活字文字列ＭＬが記入された帳票画像Ｇｓを取得する。抽出部２４Ｂは、読取領域Ｒの画像を基準帳票画像Ｇｃに基づいて抽出する。分割部２４Ｃは、読取領域Ｒに記入された活字文字列ＭＬの画像を一文字単位の矩形領域Ｔの画像に分割する。認識部２４Ｄは、矩形領域Ｔの画像に基づいて活字文字列ＭＬの内容を認識する。ここでは、認識部２４Ｄは、矩形領域の画像Ｔの入力に応じて、当該矩形領域の画像Ｔに記入された活字文字ＭＬの内容を推論する文字列認識モデル２１Ｃを用いて、活字文字列ＭＬの内容を認識する。【図１】
0006820578.tif 000002
【図２】
0006820578.tif 000003
【図３】
0006820578.tif 000004
【図４】
0006820578.tif 000005
【図５】
0006820578.tif 000006
【図６】
0006820578.tif 000007
【図７】
0006820578.tif 000008
【図８】
0006820578.tif 000009
【図９】
0006820578.tif 000010
【図１０】
0006820578.tif 000011
【図１１】
0006820578.tif 000012
【図１２】
0006820578.tif 000013
【図１３】
0006820578.tif 000014
【図１４】
0006820578.tif 000015
【図１５】
0006820578.tif 000016
【図１６】
0006820578.tif 000017
【図１７】
0006820578.tif 000018