(57)【要約】【課題】書類サンプルから記入欄の領域を精度良く抽出する。【解決手段】記入領域抽出装置１０において、学習部２２は、複数の書類の画像３０から、書類の種類に応じた特徴を学習して学習モデル３１を得る。特徴領域抽出部２３は、学習モデル３１を用いて、書類サンプルの画像４０から、書類サンプルの種類に応じた特徴を示している領域である特徴領域４３を抽出する。記入領域抽出部２５は、書類サンプルの画像４０における、特徴領域抽出部２３により抽出された特徴領域４３を除いた残りの領域から、記入欄の領域である記入領域４６を抽出する。【選択図】図１
2019133320.tif 000002
【特許請求の範囲】
【請求項１】
書類の種類によって決められた記入欄を含み各記入欄が書類ごとに個別に記入されている複数の書類の画像から書類の種類に応じた特徴を学習して得られる学習モデルを用いて、少なくとも１つの書類サンプルの画像から、前記書類サンプルの種類に応じた特徴を示している領域である特徴領域を抽出する特徴領域抽出部と、
前記書類サンプルの画像における、前記特徴領域抽出部により抽出された特徴領域を除いた残りの領域から、記入欄の領域である記入領域を抽出する記入領域抽出部と
を備える記入領域抽出装置。
【請求項２】
前記特徴領域抽出部は、前記書類サンプルの画像の画素ごとに前記書類サンプルの種類に応じた特徴の顕著性を数値化し、当該顕著性の数値を閾値によって二値化して前記書類サンプルの画像を前記特徴領域と前記残りの領域とに区分する請求項１に記載の記入領域抽出装置。
【請求項３】
前記書類サンプルの画像から、前記書類サンプルにおいてオブジェクトが記載された領域である１つ以上のオブジェクト領域を前記記入領域の候補として抽出するオブジェクト領域抽出部をさらに備え、
前記記入領域抽出部は、前記オブジェクト領域抽出部により抽出されたオブジェクト領域のうち、前記特徴領域に重なるオブジェクト領域を前記記入領域の候補から除外する請求項１または２に記載の記入領域抽出装置。
【請求項４】
前記記入領域抽出部は、前記オブジェクト領域抽出部により抽出されたオブジェクト領域のうち、互いに重なる２つ以上のオブジェクト領域を合成する請求項３に記載の記入領域抽出装置。
【請求項５】
前記記入領域抽出部は、前記オブジェクト領域抽出部により抽出されたオブジェクト領域のうち、互いの距離が閾値以下の２つ以上のオブジェクト領域を合成する請求項３または４に記載の記入領域抽出装置。
【請求項６】
前記記入領域抽出部は、前記オブジェクト領域抽出部により抽出されたオブジェクト領域のうち、面積が閾値以下のオブジェクト領域を前記記入領域の候補から除外する請求項３から５のいずれか１項に記載の記入領域抽出装置。
【請求項７】
前記オブジェクト領域抽出部は、少なくとも文字および印を前記オブジェクトとして認識する請求項３から６のいずれか１項に記載の記入領域抽出装置。
【請求項８】
前記特徴領域抽出部により複数の書類サンプルの画像から前記特徴領域が抽出され、前記記入領域抽出部により異なる書類サンプルの画像における前記特徴領域を除いた残りの領域から抽出された２つ以上の記入領域が互いに重なる場合、当該２つ以上の記入領域を合成する記入領域合成部をさらに備える請求項１から７のいずれか１項に記載の記入領域抽出装置。
【請求項９】
コンピュータに、
書類の種類によって決められた記入欄を含み各記入欄が書類ごとに個別に記入されている複数の書類の画像から書類の種類に応じた特徴を学習して得られる学習モデルを用いて、少なくとも１つの書類サンプルの画像から、前記書類サンプルの種類に応じた特徴を示している領域である特徴領域を抽出する特徴領域抽出処理と、
前記書類サンプルの画像における、前記特徴領域抽出処理により抽出された特徴領域を除いた残りの領域から、記入欄の領域である記入領域を抽出する記入領域抽出処理と
を実行させる記入領域抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記入領域抽出装置および記入領域抽出プログラムに関するものである。
【背景技術】
【０００２】
特許文献１には、複数の定型文書の各々を複数の小領域に分割し、小領域ごとに、ＲＧＢ成分の平均濃度および平均色の特徴量を抽出し、特徴量のバラツキ量を基に、記入欄の領域を抽出する技術が記載されている。
【０００３】
特許文献２には、ニューラルネットワークで生成された中間画像を加工し、損失関数の変化量を基に、対象物の特徴を示す領域の画像を抽出して合成する技術が記載されている。
【０００４】
特許文献３には、低解像度画像に対して局所適応的閾値処理と膨張処理とを行ってカラー成分の局所適応的二値化を行うことにより、文字領域を抽出する技術が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−０６１５２３号公報
【特許文献２】特開２０１７−０５９０９０号公報
【特許文献３】特開２００７−２５１５１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の技術は、ズレおよびノイズの影響を受けやすく、抽出精度がパラメータに大きく左右される。小領域の決め方およびバラツキ量の閾値設定が煩雑であるため、特許文献１に記載の技術を適用しても、実際には十分な精度が得られないおそれがある。
【０００７】
本発明は、書類サンプルから記入欄の領域を精度良く抽出することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様に係る記入領域抽出装置は、
書類の種類によって決められた記入欄を含み各記入欄が書類ごとに個別に記入されている複数の書類の画像から書類の種類に応じた特徴を学習して得られる学習モデルを用いて、少なくとも１つの書類サンプルの画像から、前記書類サンプルの種類に応じた特徴を示している領域である特徴領域を抽出する特徴領域抽出部と、
前記書類サンプルの画像における、前記特徴領域抽出部により抽出された特徴領域を除いた残りの領域から、記入欄の領域である記入領域を抽出する記入領域抽出部と
を備える。
【０００９】
前記特徴領域抽出部は、前記書類サンプルの画像の画素ごとに前記書類サンプルの種類に応じた特徴の顕著性を数値化し、当該顕著性の数値を閾値によって二値化して前記書類サンプルの画像を前記特徴領域と前記残りの領域とに区分する。
【００１０】
前記書類サンプルの画像から、前記書類サンプルにおいてオブジェクトが記載された領域である１つ以上のオブジェクト領域を前記記入領域の候補として抽出するオブジェクト領域抽出部をさらに備え、
前記記入領域抽出部は、前記オブジェクト領域抽出部により抽出されたオブジェクト領域のうち、前記特徴領域に重なるオブジェクト領域を前記記入領域の候補から除外する。
【００１１】
前記記入領域抽出部は、前記オブジェクト領域抽出部により抽出されたオブジェクト領域のうち、互いに重なる２つ以上のオブジェクト領域を合成する。
【００１２】
前記記入領域抽出部は、前記オブジェクト領域抽出部により抽出されたオブジェクト領域のうち、互いの距離が閾値以下の２つ以上のオブジェクト領域を合成する。
【００１３】
前記記入領域抽出部は、前記オブジェクト領域抽出部により抽出されたオブジェクト領域のうち、面積が閾値以下のオブジェクト領域を前記記入領域の候補から除外する。
【００１４】
前記オブジェクト領域抽出部は、少なくとも文字および印を前記オブジェクトとして認識する。
【００１５】
前記特徴領域抽出部により複数の書類サンプルの画像から前記特徴領域が抽出され、前記記入領域抽出部により異なる書類サンプルの画像における前記特徴領域を除いた残りの領域から抽出された２つ以上の記入領域が互いに重なる場合、当該２つ以上の記入領域を合成する記入領域合成部をさらに備える。
【００１６】
本発明の一態様に係る記入領域抽出プログラムは、
コンピュータに、
書類の種類によって決められた記入欄を含み各記入欄が書類ごとに個別に記入されている複数の書類の画像から書類の種類に応じた特徴を学習して得られる学習モデルを用いて、少なくとも１つの書類サンプルの画像から、前記書類サンプルの種類に応じた特徴を示している領域である特徴領域を抽出する特徴領域抽出処理と、
前記書類サンプルの画像における、前記特徴領域抽出処理により抽出された特徴領域を除いた残りの領域から、記入欄の領域である記入領域を抽出する記入領域抽出処理と
を実行させる。
【発明の効果】
【００１７】
本発明では、書類サンプルの画像を細かく分割することなく、その画像における、学習モデルを用いて抽出された特徴領域を除いた残りの領域から、記入欄の領域を抽出するため、ズレおよびノイズの影響を抑えることができる。したがって、本発明によれば、書類サンプルから記入欄の領域を精度良く抽出することができる。
【図面の簡単な説明】
【００１８】
【図１】実施の形態１に係る記入領域抽出装置の構成を示すブロック図。
【図２】実施の形態１に係る記入領域抽出装置の動作を示すフローチャート。
【図３】実施の形態１に係る記入領域抽出装置が行う処理の流れを示す図。
【図４】実施の形態１に係る記入領域抽出装置が行う二値化処理の例を示す図。
【図５】実施の形態１に係る記入領域抽出装置が行う特徴領域抽出処理の例を示す図。
【図６】実施の形態１に係る記入領域抽出装置が行うオブジェクト領域抽出処理の例を示す図。
【図７】実施の形態１に係る記入領域抽出装置が行う記入領域抽出処理の例を示す図。
【図８】実施の形態１に係る記入領域抽出装置が行う記入領域マージ処理の例を示す図。
【図９】実施の形態１に係る記入領域抽出装置が行う記入領域合成処理の例を示す図。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について、図を用いて説明する。各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。なお、本発明は、以下に説明する実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。例えば、以下に説明する実施の形態は、部分的に実施されても構わない。
【００２０】
実施の形態１．
本実施の形態について、図１から図９を用いて説明する。
【００２１】
＊＊＊構成の説明＊＊＊
図１を参照して、本実施の形態に係る記入領域抽出装置１０の構成を説明する。
【００２２】
記入領域抽出装置１０は、コンピュータである。記入領域抽出装置１０は、プロセッサ１１を備えるとともに、メモリ１２等の他のハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
【００２３】
記入領域抽出装置１０は、機能要素として、入力部２１と、学習部２２と、特徴領域抽出部２３と、オブジェクト領域抽出部２４と、記入領域抽出部２５と、記入領域合成部２６と、出力部２７とを備える。入力部２１、学習部２２、特徴領域抽出部２３、オブジェクト領域抽出部２４、記入領域抽出部２５、記入領域合成部２６および出力部２７の機能は、ソフトウェアにより実現される。
【００２４】
プロセッサ１１は、記入領域抽出プログラムを実行する装置である。記入領域抽出プログラムは、入力部２１、学習部２２、特徴領域抽出部２３、オブジェクト領域抽出部２４、記入領域抽出部２５、記入領域合成部２６および出力部２７の機能を実現するプログラムである。プロセッサ１１は、例えば、ＣＰＵ、ＧＰＵ、ＤＳＰ、または、これらのうちいくつか、もしくは、すべての組み合わせである。「ＣＰＵ」は、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略語である。「ＧＰＵ」は、Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略語である。「ＤＳＰ」は、Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒの略語である。
【００２５】
メモリ１２は、記入領域抽出プログラムを記憶する装置である。メモリ１２は、例えば、ＲＡＭ、フラッシュメモリまたはこれらの組み合わせである。「ＲＡＭ」は、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略語である。
【００２６】
記入領域抽出装置１０には、外部のハードウェアとして、ディスプレイ５０が接続される。
【００２７】
ディスプレイ５０は、記入領域抽出プログラムから出力されるデータを画面に表示する機器である。ディスプレイ５０は、例えば、ＬＣＤである。「ＬＣＤ」は、Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙの略語である。なお、ディスプレイ５０は、内部のハードウェアとして、記入領域抽出装置１０に備えられていてもよい。
【００２８】
記入領域抽出装置１０には、内部の他のハードウェアとして、通信デバイス、入力機器またはこれらの両方が備えられていてもよい。
【００２９】
通信デバイスは、記入領域抽出プログラムに入力されるデータを受信するレシーバと、記入領域抽出プログラムから出力されるデータを送信するトランスミッタとを含む。通信デバイスは、例えば、通信チップまたはＮＩＣである。「ＮＩＣ」は、Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄの略語である。
【００３０】
入力機器は、記入領域抽出プログラムへのデータの入力のためにユーザにより操作される機器である。入力機器は、例えば、マウス、キーボード、タッチパネル、スキャナ、または、これらのうちいくつか、もしくは、すべての組み合わせである。
【００３１】
記入領域抽出装置１０には、通信デバイス、入力機器またはその他のインタフェースを介して、複数の書類の画像３０が入力される。それぞれの書類には、書類の種類によって決められた記入欄が含まれている。各記入欄は、書類ごとに個別に記入されている。例えば、書類の種類として、口座開設申込書があり、いずれの口座開設申込書にも、共通して氏名の記入欄が含まれるが、個々の口座開設申込書の記入者が違うため、記入欄に記入される氏名は口座開設申込書によって異なる。
【００３２】
記入領域抽出装置１０には、通信デバイス、入力機器またはその他のインタフェースを介して、少なくとも１つの書類サンプルの画像４０も入力される。本実施の形態では、記入領域抽出装置１０には、複数の書類サンプルの画像４０が入力される。
【００３３】
メモリ１２には、学習モデル３１が記憶されるとともに、記入領域データベース４１が構築される。学習モデル３１は、複数の書類の画像３０から書類の種類に応じた特徴を学習して得られるモデルである。記入領域データベース４１は、複数の書類サンプルそれぞれの画像４０から抽出される記入欄の領域を画像データまたはその他の形式で記録するデータベースである。
【００３４】
記入領域抽出プログラムは、メモリ１２からプロセッサ１１に読み込まれ、プロセッサ１１によって実行される。メモリ１２には、記入領域抽出プログラムだけでなく、ＯＳも記憶されている。「ＯＳ」は、Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍの略語である。プロセッサ１１は、ＯＳを実行しながら、記入領域抽出プログラムを実行する。なお、記入領域抽出プログラムの一部または全部がＯＳに組み込まれていてもよい。
【００３５】
記入領域抽出プログラムおよびＯＳは、補助記憶装置に記憶されていてもよい。補助記憶装置は、例えば、ＨＤＤ、フラッシュメモリまたはこれらの組み合わせである。「ＨＤＤ」は、Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅの略語である。記入領域抽出プログラムおよびＯＳは、補助記憶装置に記憶されている場合、メモリ１２にロードされ、プロセッサ１１によって実行される。
【００３６】
記入領域抽出装置１０は、プロセッサ１１を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、記入領域抽出プログラムの実行を分担する。それぞれのプロセッサは、例えば、ＣＰＵ、ＧＰＵ、ＤＳＰ、または、これらのうちいくつか、もしくは、すべての組み合わせである。
【００３７】
記入領域抽出プログラムにより利用、処理または出力されるデータ、情報、信号値および変数値は、メモリ１２、補助記憶装置、または、プロセッサ１１内のレジスタまたはキャッシュメモリに記憶される。
【００３８】
記入領域抽出プログラムは、入力部２１、学習部２２、特徴領域抽出部２３、オブジェクト領域抽出部２４、記入領域抽出部２５、記入領域合成部２６および出力部２７により行われる処理をそれぞれ入力処理、学習処理、特徴領域抽出処理、オブジェクト領域抽出処理、記入領域抽出処理、記入領域合成処理および出力処理としてコンピュータに実行させるプログラムである。記入領域抽出プログラムは、コンピュータ読取可能な媒体に記録されて提供されてもよいし、記録媒体に格納されて提供されてもよいし、プログラムプロダクトとして提供されてもよい。
【００３９】
記入領域抽出装置１０は、１台のコンピュータで構成されていてもよいし、複数台のコンピュータで構成されていてもよい。記入領域抽出装置１０が複数台のコンピュータで構成されている場合は、入力部２１、学習部２２、特徴領域抽出部２３、オブジェクト領域抽出部２４、記入領域抽出部２５、記入領域合成部２６および出力部２７の機能が、各コンピュータに分散されて実現されてもよい。
【００４０】
＊＊＊動作の説明＊＊＊
図２を参照して、本実施の形態に係る記入領域抽出装置１０の動作を説明する。記入領域抽出装置１０の動作は、本実施の形態に係る記入領域抽出方法に相当する。
【００４１】
ステップＳ１０１において、複数の書類の画像３０が入力部２１に入力される。具体的には、入力部２１が、複数の書類をスキャンする操作をユーザより受け付ける。
【００４２】
ステップＳ１０２において、学習部２２は、入力部２１に入力された複数の書類の画像３０から、書類の種類に応じた特徴を学習して学習モデル３１を得る。具体的には、学習部２２は、書類を分類できるようにＣＮＮを用いて画像３０の特徴を学習する。すなわち、学習部２２は、ステップＳ１０１におけるスキャンの結果である複数枚の画像３０から、ニューラルネットワークを用いて分類問題を学習する。「ＣＮＮ」は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋの略語である。
【００４３】
ステップＳ１０３において、学習部２２は、得られた学習モデル３１をメモリ１２に書き込む。具体的には、学習部２２は、ステップＳ１０２における学習の結果である学習モデル３１をメモリ１２に構築されたデータベースに保存する。
【００４４】
ステップＳ１０４において、入力部２１は、学習が十分であるかどうかをユーザに問い合わせる。学習が十分でないとユーザにより判断された場合、ステップＳ１０５において、書類の数が増やされ、ステップＳ１０１の処理が再び行われる。学習が十分であるとユーザにより判断された場合、ステップＳ１０６において、１つの書類サンプルの画像４０が入力部２１に入力される。具体的には、入力部２１が、１つの書類をスキャンする操作をユーザより受け付ける。
【００４５】
ステップＳ１０７において、特徴領域抽出部２３は、図３から図５に示すように、学習モデル３１を用いて、入力部２１に入力された書類サンプルの画像４０から、書類サンプルの種類に応じた特徴を示している領域である特徴領域４３を抽出する。具体的には、特徴領域抽出部２３は、書類サンプルの画像４０の画素ごとに書類サンプルの種類に応じた特徴の顕著性を数値化してマップ４２を生成する。そして、特徴領域抽出部２３は、生成したマップ４２を二値化して特徴領域４３と残りの領域とに区分する。すなわち、特徴領域抽出部２３は、計算した顕著性の数値を閾値によって二値化して書類サンプルの画像４０を特徴領域４３と残りの領域とに区分する。
【００４６】
より具体的には、特徴領域抽出部２３は、図３および図４に示すように、ステップＳ１０６におけるスキャンの結果である１枚の画像４０における、分類対象の書類の種類に対応した発火位置をＣＡＭまたはＧｒａｄ−ＣＡＭ等の手法によって求めることで、マップ４２としてヒートマップを生成する。そして、特徴領域抽出部２３は、発火位置を閾値で分割してヒートマップを二値化する。すなわち、特徴領域抽出部２３は、ヒートマップを白黒画像に変換する。「ＣＡＭ」は、Ｃｌａｓｓ  Ａｃｔｉｖａｔｉｏｎ  Ｍａｐｐｉｎｇの略語である。「Ｇｒａｄ−ＣＡＭ」は、Ｇｒａｄｉｅｎｔ−ｗｅｉｇｈｔｅｄ  Ｃｌａｓｓ  Ａｃｔｉｖａｔｉｏｎ  Ｍａｐｐｉｎｇの略語である。二値化のための閾値は、固定値でもよいが、ＧＵＩによりユーザが調整できるようにしてもよい。「ＧＵＩ」は、Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅの略語である。
【００４７】
図５の例では、書類サンプルの画像４０の中で、書類の種類を表す「口座開設申込書」という文字列と、口座開設申込書に共通する記入欄の見出しである「氏名」、「生年月日」、「住所」、「電話番号」および「Ｅメール」という文字列とが記載された領域が１つの特徴領域４３として抽出されている。記入欄そのもの、すなわち、口座開設申込書ごとに異なる氏名、生年月日、住所、電話番号およびＥメールが記入された領域は、特徴領域４３ではないと判定されている。
【００４８】
ステップＳ１０８において、オブジェクト領域抽出部２４は、図３および図６に示すように、入力部２１に入力された書類サンプルの画像４０から、書類サンプルにおいてオブジェクトが記載された領域である１つ以上のオブジェクト領域４５を抽出する。本実施の形態では、オブジェクト領域抽出部２４は、少なくとも文字および印をオブジェクトとして認識する。なお、オブジェクト領域抽出部２４は、矩形の枠等の図形をオブジェクトとして認識してもよい。
【００４９】
具体的には、オブジェクト領域抽出部２４は、図３に示すように、ステップＳ１０６におけるスキャンの結果である１枚の画像４０を白黒反転して反転画像４４に変換した後、反転画像４４の白色箇所を膨張させたり、収縮させたりして、１つの文字または１つの印に相当するオブジェクト同士を一塊として認識する。これにより、文字または印の分裂を防ぐことができる。その後、オブジェクト領域抽出部２４は、オブジェクトの輪郭を抽出し、抽出した輪郭を囲む矩形をオブジェクト領域４５として抽出する。オブジェクト領域４５は、次ステップで切り出される領域の候補となる。なお、オブジェクト領域抽出部２４は、画像４０を白黒反転せずに、画像４０の黒色箇所を膨張させたり、収縮させたりして、１つの文字または１つの印に相当するオブジェクト同士を一塊として認識してもよい。
【００５０】
図６の例では、書類の種類を表す「口座開設申込書」という文字列の各文字と、口座開設申込書に共通する記入欄の見出しである「氏名」、「生年月日」、「住所」、「電話番号」および「Ｅメール」という文字列の各文字とのいずれもがオブジェクトに相当する。記入欄に記入された氏名、生年月日、住所、電話番号およびＥメールそのものの文字列の各文字もオブジェクトに相当する。書類サンプルの画像４０の中で、これらのオブジェクトが記載された領域がそれぞれオブジェクト領域４５として抽出されている。
【００５１】
なお、ステップＳ１０８の処理は、ＯＣＲと併用されるか、あるいは、ＯＣＲに置き換えられてもよい。「ＯＣＲ」は、Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎの略語である。
【００５２】
ステップＳ１０９において、記入領域抽出部２５は、図３および図７に示すように、書類サンプルの画像４０における、特徴領域抽出部２３により抽出された特徴領域４３を除いた残りの領域から、記入欄の領域である記入領域４６を抽出する。具体的には、記入領域抽出部２５は、オブジェクト領域抽出部２４により記入領域４６の候補として抽出されたオブジェクト領域４５のうち、特徴領域４３に重なるオブジェクト領域４５を記入領域４６の候補から除外し、残りの候補を記入領域４６として抽出する。より具体的には、記入領域抽出部２５は、ステップＳ１０８で抽出された領域の候補から、ステップＳ１０７で求められた発火位置に重なる矩形を除外し、残りの矩形を記入領域４６として切り出す。
【００５３】
本実施の形態では、記入領域抽出部２５は、オブジェクト領域抽出部２４により抽出されたオブジェクト領域４５のうち、互いに重なる２つ以上のオブジェクト領域４５を合成する。具体的には、記入領域抽出部２５は、図８に示すように、ある矩形Ａ１０１と別の矩形Ａ１０２とが一部重複している場合、これらを１つの矩形Ａ１０３としてマージする。また、記入領域抽出部２５は、図８に示すように、ある矩形Ａ１１１が別の矩形Ａ１１２に内包されている場合、これらを１つの矩形Ａ１１３としてマージする。
【００５４】
また、本実施の形態では、記入領域抽出部２５は、オブジェクト領域抽出部２４により抽出されたオブジェクト領域４５のうち、互いの距離が閾値以下の２つ以上のオブジェクト領域４５を合成する。具体的には、記入領域抽出部２５は、図８に示すように、ある矩形Ａ１２１と別の矩形Ａ１２２とが隣接している場合、これらを１つの矩形Ａ１２３としてマージする。距離の閾値は、０に設定されてもよいし、０よりも大きい値に設定されてもよい。
【００５５】
また、本実施の形態では、記入領域抽出部２５は、オブジェクト領域抽出部２４により抽出されたオブジェクト領域４５のうち、面積が閾値以下のオブジェクト領域４５を記入領域４６の候補から除外する。具体的には、記入領域抽出部２５は、一定の面積以下の矩形を削除する。
【００５６】
記入領域抽出部２５によるマージの条件となる距離の閾値、あるいは、削除の条件となる面積の閾値は、ＧＵＩによりユーザが調整できるようにしてもよい。マージの条件に面積の閾値が加えられてもよい。
【００５７】
図７の例では、「口座開設申込書」、「氏名」、「生年月日」、「住所」、「電話番号」および「Ｅメール」という文字列の各文字のオブジェクト領域４５が特徴領域４３に重なっているため、記入領域４６の候補から除外されている。そして、記入欄に記入された氏名、生年月日、住所、電話番号およびＥメールそのものの文字列の各文字のオブジェクト領域４５が文字列ごとに合成された上で記入領域４６として抽出されている。すなわち、５個の文字列の記入範囲がそれぞれ記入領域４６として抽出されている。なお、氏名の文字列については、第１段階において、姓の各文字のオブジェクト領域４５がマージされて姓に対応する１つの矩形が得られ、名の各文字のオブジェクト領域４５がマージされて名に対応する１つの矩形が得られる。そして、第２段階において、姓に対応する矩形と名に対応する矩形とが互いに近い距離にあることから、これら２つの矩形がマージされて１つの矩形である記入領域４６が得られる。この例では、姓および名に対してまとめて１つの記入領域４６が抽出されているが、姓および名に対して別々の記入領域４６が得られるように、前述した距離の閾値を小さめに設定してもよい。
【００５８】
ステップＳ１１０において、入力部２１は、すべての書類サンプルの画像４０について処理が完了したかどうかをユーザに問い合わせる。処理が完了していないとユーザにより判断された場合、ステップＳ１０６の処理が再び行われる。処理が完了したとユーザにより判断された場合、ステップＳ１１１の処理が行われる。
【００５９】
ステップＳ１１１において、記入領域合成部２６は、図３に示すように、記入領域抽出部２５により異なる書類サンプルの画像４０における特徴領域４３を除いた残りの領域から抽出された２つ以上の記入領域４６が互いに重なる場合、それら２つ以上の記入領域４６を合成する。具体的には、記入領域合成部２６は、ある書類サンプルの１つの矩形と別の書類サンプルの１つの矩形とが重複している場合、それら２つの矩形を１つの矩形としてマージする。これにより、例えば、２つの口座開設申込書のうち、一方の口座開設申込書では住所が住所欄内で左寄りに記入されていて、他方の口座開設申込書では住所が住所欄内で右寄りに記入されていたとすると、住所欄全体を１つの記入領域４６として認識できる。
【００６０】
このように、本実施の形態では、記入領域合成部２６は、複数枚の書類間で重複する矩形をマージする。このマージの条件として、矩形同士の重複部分の面積が設定されてもよい。すなわち、複数枚の書類間で重複する矩形をマージするかどうかが重複部分の面積によって決められてもよい。さらに、記入領域合成部２６は、複数枚の書類間で位置が近い矩形をマージしてもよい。このマージの条件として、矩形間の距離が設定されてもよい。すなわち、複数枚の書類間で位置が近い矩形をマージするかどうかが距離によって決められてもよい。これらのマージの条件となる距離および面積の閾値は、ＧＵＩによりユーザが調整できるようにしてもよい。その場合、ユーザは、距離および面積の条件を緩めながら、矩形を一定の個数に絞り込むことができる。あるいは、距離および面積の閾値の代わりに、矩形の個数をいくつに絞り込むかをユーザが指定できるようにしてもよい。その場合、記入領域合成部２６は、距離および面積の条件を緩めながら、矩形の個数を指定された個数に自動的に絞り込む。具体的には、記入領域合成部２６は、図９に示すように、距離の閾値を調整することで、ある書類サンプルの矩形Ａ１３１と別の書類サンプルの矩形Ａ１３２とを１つの矩形Ａ１３３としてマージするかどうかを選択することができる。
【００６１】
ステップＳ１１２において、記入領域合成部２６は、ステップＳ１１０で抽出され、ステップＳ１１１で適宜合成された記入領域４６を記入領域データベース４１に登録する。記入領域４６は、任意の形式で記録されてよいが、本実施の形態では矩形の１頂点の座標と縦横の長さとによって記録される。
【００６２】
ステップＳ１１３において、出力部２７は、記入領域データベース４１に登録されたデータをディスプレイ５０の画面に出力する。
【００６３】
以上説明したように、本実施の形態において、特徴領域抽出部２３は、ニューラルネットワークによって分類された結果を基に、画像４０の特徴領域４３を抽出する。オブジェクト領域抽出部２４は、画像４０の文字列または印鑑のマーク等のオブジェクト領域４５を特定する。記入領域抽出部２５は、特徴領域４３とオブジェクト領域４５とから、記入領域４６を抽出する。
【００６４】
オブジェクト領域抽出部２４は、１枚の書類のオブジェクト同士を膨張処理により一塊とし、オブジェクトの輪郭を矩形で囲むことによって１枚の書類のオブジェクト領域４５を抽出する。
【００６５】
特徴領域抽出部２３は、ニューラルネットワークの分類結果と、ニューラルネットワークの隠れ層の出力結果とを基に、書類の特徴領域４３を抽出する。
【００６６】
記入領域合成部２６は、記入領域抽出部２５から出力された１枚の書類に対する記入領域４６を、複数枚重ね合わせて重複する矩形を合成する。
【００６７】
＊＊＊実施の形態の効果の説明＊＊＊
本実施の形態では、書類サンプルの画像４０を細かく分割することなく、その画像４０における、学習モデル３１を用いて抽出された特徴領域４３を除いた残りの領域から、記入欄の領域を抽出するため、ズレおよびノイズの影響を抑えることができる。したがって、本実施の形態によれば、書類サンプルから記入欄の領域を精度良く抽出することができる。
【００６８】
従来は、書類から人が記入した情報を取得する場合、人手で取得位置を指定したり、書類のテンプレートを定義したりする必要があるが、本実施の形態によれば、自動的に人手によって入力された文字または印鑑等の領域を特定することができる。そのために、本実施の形態では、ニューラルネットワークによる書類判別結果を基に、判別の大きな要因となった画素群である特徴領域４３を判別結果と中間層のニューロンとから特定し、特徴領域４３を除いたオブジェクト領域４５を記入領域４６とする。すなわち、本実施の形態では、特徴領域４３をニューラルネットワークの分類結果から得る。そして、特徴領域４３以外の場所を、書類のフォーマット以外の領域とすることで、記入領域４６を抽出する。
【００６９】
本実施の形態によれば、テンプレートまたは書類の特徴を定義することなく、複数枚の書類サンプルから自動で記入領域４６を抽出できる。
【００７０】
本実施の形態によれば、書類の分類結果を用いて記入領域４６を抽出できるため、計算リソースを節約できる。すなわち、記入領域４６の抽出のために、新たにＣＮＮを構築したり、記入領域４６の抽出用のルールを作成したりする必要がない。
【００７１】
＊＊＊他の構成＊＊＊
本実施の形態では、入力部２１、学習部２２、特徴領域抽出部２３、オブジェクト領域抽出部２４、記入領域抽出部２５、記入領域合成部２６および出力部２７の機能がソフトウェアにより実現されるが、変形例として、入力部２１、学習部２２、特徴領域抽出部２３、オブジェクト領域抽出部２４、記入領域抽出部２５、記入領域合成部２６および出力部２７の機能がソフトウェアとハードウェアとの組み合わせにより実現されてもよい。すなわち、入力部２１、学習部２２、特徴領域抽出部２３、オブジェクト領域抽出部２４、記入領域抽出部２５、記入領域合成部２６および出力部２７の機能の一部が専用のハードウェアにより実現され、残りがソフトウェアにより実現されてもよい。
【００７２】
専用のハードウェアは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＦＰＧＡ、ＡＳＩＣ、または、これらのうちいくつか、もしくは、すべての組み合わせである。「ＩＣ」は、Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔの略語である。「ＧＡ」は、Ｇａｔｅ  Ａｒｒａｙの略語である。「ＦＰＧＡ」は、Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙの略語である。「ＡＳＩＣ」は、Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔの略語である。
【００７３】
プロセッサ１１および専用のハードウェアは、いずれも処理回路である。すなわち、入力部２１、学習部２２、特徴領域抽出部２３、オブジェクト領域抽出部２４、記入領域抽出部２５、記入領域合成部２６および出力部２７の機能がソフトウェアにより実現されるか、ソフトウェアとハードウェアとの組み合わせにより実現されるかに関わらず、入力部２１、学習部２２、特徴領域抽出部２３、オブジェクト領域抽出部２４、記入領域抽出部２５、記入領域合成部２６および出力部２７の動作は、処理回路により行われる。
【符号の説明】
【００７４】
１０  記入領域抽出装置、１１  プロセッサ、１２  メモリ、２１  入力部、２２  学習部、２３  特徴領域抽出部、２４  オブジェクト領域抽出部、２５  記入領域抽出部、２６  記入領域合成部、２７  出力部、３０  画像、３１  学習モデル、４０  画像、４１  記入領域データベース、４２  マップ、４３  特徴領域、４４  反転画像、４５  オブジェクト領域、４６  記入領域、５０  ディスプレイ。
【図１】
2019133320.tif 000003
【図２】
2019133320.tif 000004
【図３】
2019133320.tif 000005
【図４】
2019133320.tif 000006
【図５】
2019133320.tif 000007
【図６】
2019133320.tif 000008
【図７】
2019133320.tif 000009
【図８】
2019133320.tif 000010
【図９】
2019133320.tif 000011
【手続補正書】
【提出日】平成31年1月3日(2019.1.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
書類の種類によって決められた記入欄を含み各記入欄が書類ごとに個別に記入されている複数の書類の画像から書類の種類に応じた特徴を学習して得られる学習モデルを用いて、少なくとも１つの書類サンプルの画像から、前記書類サンプルの種類に応じた特徴を示している領域である特徴領域を抽出する特徴領域抽出部と、
前記書類サンプルの画像における、前記特徴領域抽出部により抽出された特徴領域を除いた残りの領域から、記入欄の領域である記入領域を抽出する記入領域抽出部と
を備え、
前記特徴領域抽出部は、前記書類サンプルの画像の画素ごとに前記書類サンプルの種類に応じた特徴の顕著性を数値化し、当該顕著性の数値を閾値によって二値化して前記書類サンプルの画像を前記特徴領域と前記残りの領域とに区分する記入領域抽出装置。
【請求項２】
書類の種類によって決められた記入欄を含み各記入欄が書類ごとに個別に記入されている複数の書類の画像から書類の種類に応じた特徴を学習して得られる学習モデルを用いて、少なくとも１つの書類サンプルの画像から、前記書類サンプルの種類に応じた特徴を示している領域である特徴領域を抽出する特徴領域抽出部と、
前記書類サンプルの画像における、前記特徴領域抽出部により抽出された特徴領域を除いた残りの領域から、記入欄の領域である記入領域を抽出する記入領域抽出部と、
前記書類サンプルの画像から、前記書類サンプルにおいてオブジェクトが記載された領域である１つ以上のオブジェクト領域を前記記入領域の候補として抽出するオブジェクト領域抽出部と
を備え、
前記記入領域抽出部は、前記オブジェクト領域抽出部により抽出されたオブジェクト領域のうち、前記特徴領域に重なるオブジェクト領域を前記記入領域の候補から除外する記入領域抽出装置。
【請求項３】
前記記入領域抽出部は、前記オブジェクト領域抽出部により抽出されたオブジェクト領域のうち、互いに重なる２つ以上のオブジェクト領域を合成する請求項２に記載の記入領域抽出装置。
【請求項４】
前記記入領域抽出部は、前記オブジェクト領域抽出部により抽出されたオブジェクト領域のうち、互いの距離が閾値以下の２つ以上のオブジェクト領域を合成する請求項２または３に記載の記入領域抽出装置。
【請求項５】
前記記入領域抽出部は、前記オブジェクト領域抽出部により抽出されたオブジェクト領域のうち、面積が閾値以下のオブジェクト領域を前記記入領域の候補から除外する請求項２から４のいずれか１項に記載の記入領域抽出装置。
【請求項６】
前記オブジェクト領域抽出部は、少なくとも文字および印を前記オブジェクトとして認識する請求項２から５のいずれか１項に記載の記入領域抽出装置。
【請求項７】
前記特徴領域抽出部により複数の書類サンプルの画像から前記特徴領域が抽出され、前記記入領域抽出部により異なる書類サンプルの画像における前記特徴領域を除いた残りの領域から抽出された２つ以上の記入領域が互いに重なる場合、当該２つ以上の記入領域を合成する記入領域合成部をさらに備える請求項１から６のいずれか１項に記載の記入領域抽出装置。
【請求項８】
コンピュータに、
書類の種類によって決められた記入欄を含み各記入欄が書類ごとに個別に記入されている複数の書類の画像から書類の種類に応じた特徴を学習して得られる学習モデルを用いて、少なくとも１つの書類サンプルの画像から、前記書類サンプルの種類に応じた特徴を示している領域である特徴領域を抽出する特徴領域抽出処理と、
前記書類サンプルの画像における、前記特徴領域抽出処理により抽出された特徴領域を除いた残りの領域から、記入欄の領域である記入領域を抽出する記入領域抽出処理と
を実行させ、
前記特徴領域抽出処理は、前記書類サンプルの画像の画素ごとに前記書類サンプルの種類に応じた特徴の顕著性を数値化し、当該顕著性の数値を閾値によって二値化して前記書類サンプルの画像を前記特徴領域と前記残りの領域とに区分する記入領域抽出プログラム。
【請求項９】
コンピュータに、
書類の種類によって決められた記入欄を含み各記入欄が書類ごとに個別に記入されている複数の書類の画像から書類の種類に応じた特徴を学習して得られる学習モデルを用いて、少なくとも１つの書類サンプルの画像から、前記書類サンプルの種類に応じた特徴を示している領域である特徴領域を抽出する特徴領域抽出処理と、
前記書類サンプルの画像における、前記特徴領域抽出処理により抽出された特徴領域を除いた残りの領域から、記入欄の領域である記入領域を抽出する記入領域抽出処理と、
前記書類サンプルの画像から、前記書類サンプルにおいてオブジェクトが記載された領域である１つ以上のオブジェクト領域を前記記入領域の候補として抽出するオブジェクト領域抽出処理と
を実行させ、
前記記入領域抽出処理は、前記オブジェクト領域抽出処理により抽出されたオブジェクト領域のうち、前記特徴領域に重なるオブジェクト領域を前記記入領域の候補から除外する記入領域抽出プログラム。