(57)【要約】【課題】非定型帳票に記載された文字及び数字を適切に認識することができる画像認識装置、画像認識方法、画像認識プログラム及び画像認識システムを提供する。【解決手段】画像認識装置１０は、画像を取得する取得部１１と、画像より小さい複数の部分画像によって画像を覆うように、画像から複数の部分画像を切り出して、部分画像に写された文字及び数字を認識する認識部１２と、文字及び数字の少なくともいずれかのうち、所定の条件を満たす文字及び数字を抽出する抽出部１３と、所定の条件を満たす文字及び数字を出力する出力部１４と、を備える。【選択図】図６
2020170264.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する取得部と、
前記画像より小さい複数の部分画像によって前記画像を覆うように、前記画像から前記複数の部分画像を切り出して、前記部分画像に写された文字及び数字を認識する認識部と、
前記文字及び前記数字の少なくともいずれかのうち、所定の条件を満たす文字及び数字を抽出する抽出部と、
前記所定の条件を満たす文字及び数字を出力する出力部と、
を備える画像認識装置。
【請求項２】
前記認識部は、前記複数の部分画像のうち少なくとも２つが互いに重なり合うように、前記画像から前記複数の部分画像を切り出す、
請求項１に記載の画像認識装置。
【請求項３】
前記抽出部は、前記所定の条件を満たす文字及び数字の座標を抽出し、
前記出力部は、前記所定の条件を満たす文字及び数字を囲むバウンディングボックスを前記画像に重畳させて出力する、
請求項１又は２に記載の画像認識装置。
【請求項４】
学習用画像に対して、前記学習用画像に写された文字及び数字と、前記学習用画像に写された文字及び数字を囲むバウンディングボックスとが関連付けられた学習データを記憶する記憶部と、
前記学習データを用いて、前記部分画像に基づいて、前記部分画像に写された文字及び数字と、前記部分画像に写された文字及び数字を囲むバウンディングボックスとを出力する学習モデルを生成する生成部と、をさらに備える、
請求項３に記載の画像認識装置。
【請求項５】
前記所定の条件を満たす数字は、他の抽出候補となる数字の合計である、
請求項１から４のいずれか一項に記載の画像認識装置。
【請求項６】
前記所定の条件を満たす数字は、他の抽出候補となる数字に所定の税率を掛けた値である、
請求項１から５のいずれか一項に記載の画像認識装置。
【請求項７】
前記所定の条件を満たす数字は、他の抽出候補となる数字よりフォントが大きい、
請求項１から６のいずれか一項に記載の画像認識装置。
【請求項８】
前記所定の条件を満たす文字は、所定の銀行名を含む、
請求項１から７のいずれか一項に記載の画像認識装置。
【請求項９】
前記所定の条件を満たす数字は、前記所定の銀行名から所定の距離以内に記載され、所定の桁数である、
請求項８に記載の画像認識装置。
【請求項１０】
画像認識装置に、
画像を取得することと、
前記画像より小さい複数の部分画像によって前記画像を覆うように、前記画像から前記複数の部分画像を切り出して、前記部分画像に写された文字及び数字を認識することと、
前記文字及び前記数字の少なくともいずれかのうち、所定の条件を満たす文字及び数字を抽出することと、
前記所定の条件を満たす文字及び数字を出力することと、
を実行させる画像認識方法。
【請求項１１】
画像認識装置に、
画像を取得することと、
前記画像より小さい複数の部分画像によって前記画像を覆うように、前記画像から前記複数の部分画像を切り出して、前記部分画像に写された文字及び数字を認識することと、
前記文字及び前記数字の少なくともいずれかのうち、所定の条件を満たす文字及び数字を抽出することと、
前記所定の条件を満たす文字及び数字を出力することと、
を実行させる画像認識プログラム。
【請求項１２】
画像認識装置と、ユーザ端末とを備える画像認識システムであって、
前記画像認識装置は、
前記ユーザ端末から画像を取得する取得部と、
前記画像より小さい複数の部分画像によって前記画像を覆うように、前記画像から前記複数の部分画像を切り出して、前記部分画像に写された文字及び数字を認識する認識部と、
前記文字及び前記数字の少なくともいずれかのうち、所定の条件を満たす文字及び数字を抽出する抽出部と、
前記所定の条件を満たす文字及び数字を、前記ユーザ端末に出力する出力部と、を有する、
画像認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置、画像認識方法、画像認識プログラム及び画像認識システムに関する。
【背景技術】
【０００２】
従来、ＯＣＲ（Optical Character Recognition）技術を用いて、画像に写された文字や数字を認識する画像認識装置が用いられている。
【０００３】
例えば、下記特許文献１には、対象画像から文字情報を抽出し、文字情報の対象画像中の位置に基づいて、その文字情報と対をなす文字情報とを紐づけする画像分析装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−９２４５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば特許文献１に記載の技術では、画像のうち罫線で囲まれた領域を検出し、当該領域に記載された文字を認識している。しかしながら、例えば請求書に記載された請求額や払込先を認識する場合、どの領域に記載された文字及び数字を認識するべきか予め決めることができない。そのため、請求書のような非定型帳票に記載された文字及び数字を適切に認識することが困難だった。
【０００６】
そこで、本発明は、非定型帳票に記載された文字及び数字を適切に認識することができる画像認識装置、画像認識方法、画像認識プログラム及び画像認識システムを提供する。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る画像認識装置は、画像を取得する取得部と、画像より小さい複数の部分画像によって画像を覆うように、画像から複数の部分画像を切り出して、部分画像に写された文字及び数字を認識する認識部と、文字及び数字の少なくともいずれかのうち、所定の条件を満たす文字及び数字を抽出する抽出部と、所定の条件を満たす文字及び数字を出力する出力部と、を備える。
【０００８】
この態様によれば、画像から複数の部分画像を切り出して、部分画像に写された文字及び数字を認識し、所定の条件を満たす文字及び数字を出力することで、文字及び数字の記載箇所が事前に把握できていない非定型帳票の場合であっても、記載された文字及び数字を適切に認識することができる。
【０００９】
上記態様において、認識部は、複数の部分画像のうち少なくとも２つが互いに重なり合うように、画像から複数の部分画像を切り出してもよい。
【００１０】
この態様によれば、画像を複数の部分画像に分割することで文字及び数字の認識精度を高めつつ、複数の部分画像のうち少なくとも２つが互いに重なり合うように切り出すことで、認識漏れを防止することができる。
【００１１】
上記態様において、抽出部は、所定の条件を満たす文字及び数字の座標を抽出し、出力部は、所定の条件を満たす文字及び数字を囲むバウンディングボックスを画像に重畳させて出力してもよい。
【００１２】
この態様によれば、所定の条件を満たす文字及び数字を囲むバウンディングボックスを出力することで、出力された文字及び数字が適切なものであるか容易に確認できるようになる。
【００１３】
上記態様において、学習用画像に対して、学習用画像に写された文字及び数字と、学習用画像に写された文字及び数字を囲むバウンディングボックスとが関連付けられた学習データを記憶する記憶部と、学習データを用いて、部分画像に基づいて、部分画像に写された文字及び数字と、部分画像に写された文字及び数字を囲むバウンディングボックスとを出力する学習モデルを生成する生成部と、をさらに備えてもよい。
【００１４】
この態様によれば、非定型帳票の学習データが与えられた場合に、非定型帳票に記載された文字及び数字を適切に認識することができる学習モデルが得られる。
【００１５】
上記態様において、所定の条件を満たす数字は、他の抽出候補となる数字の合計であってもよい。
【００１６】
この態様によれば、抽出候補となる数字の中から、請求額に相当する数字を抽出することができる。
【００１７】
上記態様において、所定の条件を満たす数字は、他の抽出候補となる数字に所定の税率を掛けた値であってもよい。
【００１８】
この態様によれば、抽出候補となる数字の中から、請求額に相当する数字を抽出することができる。
【００１９】
上記態様において、所定の条件を満たす数字は、他の抽出候補となる数字よりフォントが大きくてもよい。
【００２０】
この態様によれば、抽出候補となる数字の中から、請求額に相当する数字を抽出することができる。
【００２１】
上記態様において、所定の条件を満たす文字は、所定の銀行名を含んでもよい。
【００２２】
この態様によれば、抽出候補となる文字の中から、払込先の銀行名を抽出することができる。
【００２３】
上記態様において、所定の条件を満たす数字は、所定の銀行名から所定の距離以内に記載され、所定の桁数であってもよい。
【００２４】
この態様によれば、抽出候補となる数字の中から、払込先の口座番号を抽出することができる。
【００２５】
本発明の他の態様に係る画像認識方法は、画像認識装置に、画像を取得することと、画像より小さい複数の部分画像によって画像を覆うように、画像から複数の部分画像を切り出して、部分画像に写された文字及び数字を認識することと、文字及び数字の少なくともいずれかのうち、所定の条件を満たす文字及び数字を抽出することと、所定の条件を満たす文字及び数字を出力することと、を実行させる。
【００２６】
この態様によれば、画像から複数の部分画像を切り出して、部分画像に写された文字及び数字を認識し、所定の条件を満たす文字及び数字を出力することで、文字及び数字の記載箇所が事前に把握できていない非定型帳票の場合であっても、記載された文字及び数字を適切に認識することができる。
【００２７】
本発明の他の態様に係る画像認識プログラムは、画像認識装置に、画像を取得することと、画像より小さい複数の部分画像によって画像を覆うように、画像から複数の部分画像を切り出して、部分画像に写された文字及び数字を認識することと、文字及び数字の少なくともいずれかのうち、所定の条件を満たす文字及び数字を抽出することと、所定の条件を満たす文字及び数字を出力することと、を実行させる。
【００２８】
この態様によれば、画像から複数の部分画像を切り出して、部分画像に写された文字及び数字を認識し、所定の条件を満たす文字及び数字を出力することで、文字及び数字の記載箇所が事前に把握できていない非定型帳票の場合であっても、記載された文字及び数字を適切に認識することができる。
【００２９】
本発明の他の態様に係る画像認識システムは、画像認識装置と、ユーザ端末とを備える画像認識システムであって、画像認識装置は、ユーザ端末から画像を取得する取得部と、画像より小さい複数の部分画像によって画像を覆うように、画像から複数の部分画像を切り出して、部分画像に写された文字及び数字を認識する認識部と、文字及び数字の少なくともいずれかのうち、所定の条件を満たす文字及び数字を抽出する抽出部と、所定の条件を満たす文字及び数字を、ユーザ端末に出力する出力部と、を有する。
【００３０】
この態様によれば、画像から複数の部分画像を切り出して、部分画像に写された文字及び数字を認識し、所定の条件を満たす文字及び数字を出力することで、文字及び数字の記載箇所が事前に把握できていない非定型帳票の場合であっても、記載された文字及び数字を適切に認識することができる。
【発明の効果】
【００３１】
本発明によれば、非定型帳票に記載された文字及び数字を適切に認識することができる画像認識装置、画像認識方法、画像認識プログラム及び画像認識システムを提供することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態に係る画像認識システムのネットワーク構成を示す図である。
【図２】本実施形態に係る画像認識装置の機能ブロックを示す図である。
【図３】本実施形態に係る画像認識装置の物理的構成を示す図である。
【図４】本実施形態に係る画像認識アプリケーションの第１画面例を示す図である。
【図５】本実施形態に係る画像認識アプリケーションの第２画面例を示す図である。
【図６】本実施形態に係る画像認識アプリケーションの第３画面例を示す図である。
【図７】本実施形態に係る画像認識装置により切り出される部分画像の例を示す図である。
【図８】本実施形態に係る画像認識装置により実行される伝票作成処理のフローチャートである。
【図９】本実施形態に係る画像認識装置により実行される抽出処理のフローチャートである。
【図１０】本実施形態に係る画像認識装置により実行される学習処理のフローチャートである。
【発明を実施するための形態】
【００３３】
添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
【００３４】
図１は、本発明の実施形態に係る画像認識システム１００のネットワーク構成を示す図である。画像認識システム１００は、画像認識装置１０及びユーザ端末２０を備える。画像認識装置１０は、通信ネットワークＮを介してユーザ端末２０から画像を受信して、画像に写された文字及び数字を認識する。本実施形態では、画像認識装置１０によって、請求書に記載された請求額と払込先の口座番号を認識する例について説明する。もっとも、画像認識装置１０は、請求書以外の非定型帳票の画像に写された文字及び数字を認識してよい。
【００３５】
ユーザ端末２０は、汎用のコンピュータであり、例えばカメラ付きスマートフォンで構成されてよい。ユーザ端末２０は、画像認識アプリケーションを実行し、非定型帳票の画像を撮影して、通信ネットワークＮを介して画像を画像認識装置１０に送信し、その認識結果を画像認識装置１０から受信する。なお、画像認識システム１００は、複数のユーザ端末２０を含んでもよい。
【００３６】
図２は、本実施形態に係る画像認識装置１０の機能ブロックを示す図である。画像認識装置１０は、取得部１１、認識部１２、抽出部１３、出力部１４、記憶部１５及び生成部１６を備える。
【００３７】
取得部１１は、ユーザ端末２０から画像を取得する。取得部１１は、画像とあわせて、当該画像に関連付けられた検収に関する情報を取得してもよい。
【００３８】
認識部１２は、取得した画像より小さい複数の部分画像によって画像を覆うように、画像から複数の部分画像を切り出して、部分画像に写された文字及び数字を認識する。認識部１２は、複数の部分画像のうち少なくとも２つが互いに重なり合うように、画像から複数の部分画像を切り出してよい。認識部１２は、例えば、Ｌ×Ｌピクセルの部分画像を画像から切り出して部分画像に写された文字及び数字を認識し、切り出し箇所を水平方向にＬ／２ずらして他の部分画像を画像から切り出して当該部分画像に写された文字及び数字を認識し、といった処理を繰り返してよい。また、認識部１２は、例えば、Ｌ×Ｌピクセルの部分画像を画像から切り出して部分画像に写された文字及び数字を認識し、切り出し箇所を垂直方向にＬ／２ずらして他の部分画像を画像から切り出して当該部分画像に写された文字及び数字を認識し、といった処理を繰り返してよい。なお、部分画像は長方形であってもよいし、矩形以外の形状であってもよい。このように、画像を複数の部分画像に分割することで文字及び数字の認識精度を高めつつ、複数の部分画像のうち少なくとも２つが互いに重なり合うように切り出すことで、認識漏れを防止することができる。
【００３９】
抽出部１３は、認識した文字及び数字の少なくともいずれかのうち、所定の条件を満たす文字及び数字を抽出する。所定の条件につては、後に詳細に説明する。
【００４０】
出力部１４は、所定の条件を満たす文字及び数字を、ユーザ端末２０に出力する。もっとも、出力部１４は、所定の条件を満たす文字及び数字を他の機器に出力してもよい。このように、本実施形態に係る画像認識装置１０によれば、画像から複数の部分画像を切り出して、部分画像に写された文字及び数字を認識し、所定の条件を満たす文字及び数字を出力することで、文字及び数字の記載箇所が事前に把握できていない非定型帳票の場合であっても、記載された文字及び数字を適切に認識することができる。
【００４１】
抽出部１３は、所定の条件を満たす文字及び数字の座標を抽出し、出力部１４は、所定の条件を満たす文字及び数字を囲むバウンディングボックスを画像に重畳させて出力してもよい。このように、所定の条件を満たす文字及び数字を囲むバウンディングボックスを出力することで、出力された文字及び数字が適切なものであるか容易に確認できるようになる。
【００４２】
記憶部１５は、学習用画像に対して、学習用画像に写された文字及び数字と、学習用画像に写された文字及び数字を囲むバウンディングボックスとが関連付けられた学習データ１５ａを記憶する。また、記憶部１５は、学習モデル１５ｂを記憶する。
【００４３】
生成部１６は、学習データ１５ａを用いて、部分画像に基づいて、部分画像に写された文字及び数字と、部分画像に写された文字及び数字を囲むバウンディングボックスとを出力する学習モデル１５ｂを生成する。生成部１６によって、非定型帳票の学習データ１５ａが与えられた場合に、非定型帳票に記載された文字及び数字を適切に認識することができる学習モデル１５ｂが得られる。
【００４４】
学習モデル１５ｂは、例えば、ニューラルネットワークで構成されてよい。より具体的には、学習モデル１５ｂは、ＣＮＮ（Convolutional Neural Network）によって部分画像の特徴量を算出し、ＬＳＴＭ（Long Short-Term Memory）ブロックを含むＲＮＮ（Recurrent Neural Network）によって特徴量から文字を認識するモデルであってよい。生成部１６は、例えば誤差逆伝播法によって、ＣＴＣ（Connectionist Temporal Classification）損失関数を最小化するようにＣＮＮ及びＲＮＮのパラメータを最適化することで、学習モデル１５ｂを生成してよい。学習モデル１５ｂに含まれるＣＮＮの構成や、ＲＮＮの構成は任意であり、例えば、ＬＳＴＭブロックの代わりにＧＲＵ（Gated Recurrent Unit）を用いてもよい。
【００４５】
図３は、本実施形態に係る画像認識装置１０の物理的構成を示す図である。画像認識装置１０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では画像認識装置１０が一台のコンピュータで構成される場合について説明するが、画像認識装置１０は、複数のコンピュータが組み合わされて実現されてもよい。また、図３で示す構成は一例であり、画像認識装置１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。
【００４６】
ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、画像に写された文字及び数字を認識し、所定の条件を満たす文字及び数字を抽出するプログラム（画像認識プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂやＲＯＭ１０ｃに格納したりする。
【００４７】
ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行する画像認識プログラム、学習データといったデータを記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。
【００４８】
ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば画像認識プログラムや、書き換えが行われないデータを記憶してよい。
【００４９】
通信部１０ｄは、画像認識装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークＮに接続されてよい。
【００５０】
入力部１０ｅは、画像認識装置１０の管理者からデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。
【００５１】
表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、取得した画像、出力する文字及び数字、バウンディングボックス等を表示してよい。
【００５２】
画像認識プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。画像認識装置１０では、ＣＰＵ１０ａが画像認識プログラムを実行することにより、図２を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、画像認識装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。
【００５３】
図４は、本実施形態に係る画像認識アプリケーションの第１画面例を示す図である。画像認識アプリケーションの第１画面例は、ユーザ端末２０に表示される画面の一例であり、検収が行われた案件一覧の例である。
【００５４】
第１画面例では、「検収データ１」と記載された第１検収データＤ１と、「検収データ２」と記載された第２検収データＤ２とが示されている。第１検収データＤ１は、「契約番号：００１」の案件であり、「仕入先：Ａ株式会社」である。また、第２検収データＤ２は、「契約番号：００２」の案件であり、「仕入先：Ｂ株式会社」である。
【００５５】
ユーザは、ユーザ端末２０を用いて、読み取りたい請求書が関係する検収データを選択する。以下の図５及び６では、ユーザ端末２０を用いて、第１検収データＤ１を選択した場合について説明する。第１検収データＤ１を選択すると、ユーザ端末２０の表示は、図５に示す第２画面例に遷移する。
【００５６】
図５は、本実施形態に係る画像認識アプリケーションの第２画面例を示す図である。画像認識アプリケーションの第２画面例は、ユーザ端末２０に表示される画面の一例であり、請求書を撮影する案内画面の例である。
【００５７】
第２画面例では、「請求書撮影」という案内文が表示され、ユーザ端末２０のカメラによって撮影されている画像（スルー画像）が表示される。ユーザは、ユーザ端末２０を用いて、破線の枠内に収まるように請求書を撮影する。なお、「縦撮り」と「横取り」を切り替えて請求書を撮影することができる。
【００５８】
本例の請求書の画像ＩＭＧは、「Ａ株式会社」が発行したものであり、「利用料  ６０００」、「利用料  ４０００」、それらの小計額「１００００」、「消費税  ８００」及び「請求額  １０８００」という記載を含む請求額データＤ３を含む。また、画像ＩＭＧは、「銀行名：Ｃ銀行」、「支店名：Ｄ支店」及び「口座：１２３４５６７」という記載を含む口座データＤ４を含む。
【００５９】
ユーザ端末２０によって画像ＩＭＧが撮影されると、画像ＩＭＧは画像認識装置１０に送信される。その後、画像認識装置１０は、図７に示すように画像ＩＭＧから部分画像を切り出して、部分画像に写された文字及び数字を認識し、所定の条件を満たす文字及び数字を抽出し、抽出した文字、数字及びそれらを囲むバウンディングボックスをユーザ端末２０に送信する。抽出された文字、数字及びそれらを囲むバウンディングボックスを受信すると、ユーザ端末２０の表示は、図６に示す第３画面例に遷移する。
【００６０】
図６は、本実施形態に係る画像認識アプリケーションの第３画面例を示す図である。画像認識アプリケーションの第３画面例は、ユーザ端末２０に表示される画面の一例であり、画像の認識結果を表示する例である。
【００６１】
第３画面例では、請求書の画像に重畳して、請求額「１０８００」を囲む第１バウンディングボックスＢＸ１と、銀行名「Ｃ銀行」を囲む第２バウンディングボックスＢＸ２と、支店名「Ｄ支店」を囲む第３バウンディングボックスＢＸ３と、口座「１２３４５６７」を囲む第４バウンディングボックスＢＸ４と、が表示されている。第１バウンディングボックスＢＸ１は、抽出された数字である「１０８００」を囲むように表示され、第２バウンディングボックスＢＸ２は、抽出された文字である「Ｃ銀行」を囲むように表示され、第３バウンディングボックスＢＸ３は、抽出された文字である「Ｄ支店」を囲むように表示され、第４バウンディングボックスＢＸ４は、抽出された数字である「１２３４５６７」を囲むように表示されている。
【００６２】
請求額「１０８００」、銀行名「Ｃ銀行」支店名「Ｄ支店」及び口座「１２３４５６７」は、画像認識装置１０により抽出された、所定の条件を満たす文字及び数字である。また、第１バウンディングボックスＢＸ１、第２バウンディングボックスＢＸ２、第３バウンディングボックスＢＸ３及び第４バウンディングボックスＢＸ４は、抽出された文字及び数字を囲むバウンディングボックスである。このように、バウンディングボックスを表示することで、抽出された文字及び数字が適切なものであるか容易に確認できるようになる。
【００６３】
ユーザは、支払額「１０８００」、支払期日「２０１９年４月１日」及び口座番号「１２３４５６７」という記載を含む第５データを確認し、内容に誤りがない場合、「送信する」と記載された第２ボタンＢ２をタップして、第５データに基づいて支払伝票を作成する処理を実行する。一方、第５データの内容に誤りがある場合、「撮り直し」と記載された第１ボタンＢ１をタップして図５に示す第２画面例に戻り、請求書の画像を取り直してよい。また、第５データの内容に誤りがある場合、第５データの内容を直接編集してもよい。なお、支払期日の日付は、請求書の画像から抽出されてもよいし、検収データから抽出されてもよい。
【００６４】
図７は、本実施形態に係る画像認識装置１０により切り出される部分画像の例を示す図である。同図では、請求書の画像ＩＭＧと、破線で示した第１部分画像Ｐ１と、一点鎖線で示した第２部分画像Ｐ２と、二点鎖線で示した第３部分画像Ｐ３と、を示している。なお、第１部分画像Ｐ１、第２部分画像Ｐ２及び第３部分画像Ｐ３は、バウンディングボックスではなく、画像ＩＭＧから切り出された画像ＩＭＧの一部である。
【００６５】
画像認識装置１０は、画像ＩＭＧより小さい第１部分画像Ｐ１を画像ＩＭＧから切り出して、第１部分画像Ｐ１に写された文字及び数字を認識する。本例の場合、画像認識装置１０は、第１部分画像Ｐ１に写された「Ａ株式会社」及び「ご利用料金」という文字を認識する。同様に、画像認識装置１０は、画像ＩＭＧより小さい第２部分画像Ｐ２を画像ＩＭＧから切り出して、第２部分画像Ｐ２に写された文字及び数字を認識し、画像ＩＭＧより小さい第３部分画像Ｐ３を画像ＩＭＧから切り出して、第３部分画像Ｐ３に写された文字及び数字を認識する。
【００６６】
本例では、第１部分画像Ｐ１、第２部分画像Ｐ２及び第３部分画像Ｐ３は、互いに重なり合っている。画像認識装置１０は、このように、複数の部分画像のうち少なくとも２つが重畳するように、画像ＩＭＧから複数の部分画像を切り出してよい。そして、複数の部分画像によって画像ＩＭＧを覆うように、画像ＩＭＧから複数の部分画像を切り出し、複数の部分画像それぞれに写された文字及び数字を認識して、それらを統合することで、画像ＩＭＧに写された文字及び数字を認識してよい。
【００６７】
このように、画像ＩＭＧを複数の部分画像に分割することで文字及び数字の認識精度を高めつつ、複数の部分画像のうち少なくとも２つが互いに重なり合うように切り出すことで、認識漏れを防止することができる。
【００６８】
図８は、本実施形態に係る画像認識装置１０により実行される伝票作成処理のフローチャートである。はじめに、画像認識装置１０は、請求書等の非定型帳票の画像を取得する（Ｓ１０）。画像は、例えばユーザ端末２０のカメラで撮影されたものであってよい。
【００６９】
その後、画像認識装置１０は、画像から部分画像を切り出して、学習モデル１５ｂによって文字及び数字を認識する（Ｓ１１）。画像認識装置１０は、全ての部分画像の処理が終了していない場合（Ｓ１２：ＮＯ）、学習モデル１５ｂによって部分画像に写された文字及び数字を認識する処理（Ｓ１１）を繰り返し実行する。
【００７０】
一方、全ての部分画像の処理が終了した場合（Ｓ１２：ＹＥＳ）、画像認識装置１０は、所定の条件を満たす文字及び数字を抽出する（Ｓ１３）。所定の条件を満たす文字及び数字を抽出する処理（Ｓ１３）の詳細は、次図を用いて説明する。
【００７１】
画像認識装置１０は、所定の条件を満たす文字及び数字と、当該文字及び数字を囲むバウンディングボックスとを出力する（Ｓ１４）。所定の条件を満たす文字及び数字と、当該文字及び数字を囲むバウンディングボックスとは、ユーザ端末２０に表示されてよい。
【００７２】
最後に、ユーザ端末２０からの指示に基づいて、画像認識装置１０又は他の装置は、所定の条件を満たす文字及び数字に基づいて、伝票を作成する（Ｓ１５）。以上により、伝票作成処理が終了する。
【００７３】
図９は、本実施形態に係る画像認識装置１０により実行される抽出処理のフローチャートである。同図では、図８の所定の条件を満たす文字及び数字を抽出する処理（Ｓ１３）の詳細を示している。
【００７４】
画像認識装置１０は、抽出候補を読み込んで（Ｓ１３１）、抽出候補となる数字が、他の抽出候補となる数字の合計であるか判定する（Ｓ１３２）。抽出候補となる数字が、他の抽出候補となる数字の合計である場合（Ｓ１３２：ＹＥＳ）、画像認識装置１０は、当該候補を請求額として抽出する（Ｓ１３５）。例えば、図６に示す請求書の場合、第１バウンディングボックスＢＸ１で囲まれた数字は、他の抽出候補となる利用料「６０００」、利用料「４０００」及び消費税「８００」の合計となっており、画像認識装置１０により請求額として抽出される。
【００７５】
このように、画像認識装置１０により抽出される所定の条件を満たす数字は、他の抽出候補となる数字の合計であってよい。これにより、抽出候補となる数字の中から、請求額に相当する数字を抽出することができる。
【００７６】
抽出候補となる数字が、他の抽出候補となる数字の合計でない場合（Ｓ１３２：ＮＯ）、画像認識装置１０は、抽出候補となる数字が、他の抽出候補となる数字に所定の税率を掛けた値であるか判定する（Ｓ１３３）。抽出候補となる数字が、他の抽出候補となる数字に所定の税率を掛けた値である場合（Ｓ１３３：ＹＥＳ）、画像認識装置１０は、当該候補を請求額として抽出する（Ｓ１３５）。例えば、図６に示す請求書の場合、第１バウンディングボックスＢＸ１で囲まれた数字は、他の抽出候補となる数字「１００００」（利用料の小計）に所定の税率８％を掛けた値となっており、画像認識装置１０により請求額として抽出される。
【００７７】
このように、画像認識装置１０により抽出される所定の条件を満たす数字は、他の抽出候補となる数字に所定の税率を掛けた値であってよい。このような処理によっても、抽出候補となる数字の中から、請求額に相当する数字を抽出することができる。
【００７８】
抽出候補となる数字が、他の抽出候補となる数字に所定の税率を掛けた値でない場合（Ｓ１３３：ＮＯ）、画像認識装置１０は、抽出候補となる数字のフォントが、他の抽出候補となる数字より大きいか判定する（Ｓ１３４）。抽出候補となる数字のフォントが、他の抽出候補となる数字より大きい場合（Ｓ１３４：ＹＥＳ）、画像認識装置１０は、当該候補を請求額として抽出する（Ｓ１３５）。例えば、図６に示す請求書の場合、第１バウンディングボックスＢＸ１で囲まれた数字のフォントは、他の抽出候補となる利用料「６０００」、利用料「４０００」、数字「１００００」（利用料の小計）及び消費税「８００」のフォントより大きく、画像認識装置１０により請求額として抽出される。
【００７９】
このように、画像認識装置１０により抽出される所定の条件を満たす文字及び数字は、他の抽出候補となる文字及び数字よりフォントが大きくてもよい。このような処理によっても、抽出候補となる数字の中から、請求額に相当する数字を抽出することができる。
【００８０】
なお、本例では、抽出候補となる数字が、他の抽出候補となる数字の合計であるか判定する処理（Ｓ１３２）と、抽出候補となる数字が、他の抽出候補となる数字に所定の税率を掛けた値であるか判定する処理（Ｓ１３３）と、抽出候補となる数字のフォントが、他の抽出候補となる数字より大きいか判定する処理（Ｓ１３４）とのいずれかにおいて肯定的な判定結果が得られた場合に、画像認識装置１０は、当該候補を請求額として抽出することとしているが（Ｓ１３５）、画像認識装置１０は、３種類の判定を組み合わせて、いずれか２つ以上の判定結果が肯定的である場合に、当該候補を請求額として抽出することとしてもよい。また、画像認識装置１０は、これら３種類の判定と、他の基準を組み合わせてもよい。
【００８１】
その後、画像認識装置１０は、抽出候補となる文字が、所定の銀行名を含むか判定する（Ｓ１３６）。抽出候補となる文字が、所定の銀行名を含む場合（Ｓ１３６：ＹＥＳ）、画像認識装置１０は、さらに、抽出候補となる数字が、所定の銀行名から所定の距離以内に記載され、所定の桁数であるか判定する（Ｓ１３７）。そして、抽出候補となる数字が、所定の銀行名から所定の距離以内に記載され、所定の桁数である場合（Ｓ１３７：ＹＥＳ）、画像認識装置１０は、当該候補を銀行名及び口座番号として抽出する（Ｓ１３８）。一方、抽出候補となる文字が、所定の銀行名を含まない場合（Ｓ１３６：ＮＯ）及び抽出候補となる数字が、所定の銀行名から所定の距離以内に記載されていない場合（Ｓ１３７：ＮＯ）、画像認識装置１０は、文字及び数字の抽出を行わない。例えば、図６に示す請求書の場合、第２バウンディングボックスＢＸ２で囲まれた「Ｃ銀行」という文字は、所定の銀行名であり、画像認識装置１０により銀行名として抽出される。また、図６に示す請求書の場合、第４バウンディングボックスＢＸ４で囲まれた「１２３４５６７」という数字は、所定の銀行名（Ｃ銀行）から所定の距離以内に記載され、所定の桁数（本例では７桁）であり、画像認識装置１０により口座番号として抽出される。なお、画像認識装置１０は、第３バウンディングボックスＢＸ３で囲まれた「Ｄ支店」という文字を、銀行名として抽出してもよい。
【００８２】
このように、画像認識装置１０により抽出される所定の条件を満たす文字は、所定の銀行名を含んでよい。これにより、抽出候補となる文字の中から、払込先の銀行名を抽出することができる。
【００８３】
また、画像認識装置１０により抽出される所定の条件を満たす数字は、所定の銀行名から所定の距離以内に記載され、所定の桁数であってよい。これにより、抽出候補となる数字の中から、払込先の口座番号を抽出することができる。なお、画像認識装置１０は、金融機関コードや支店番号を抽出してもよい。
【００８４】
最後に、画像認識装置１０は、全ての抽出候補を処理したか判定する（Ｓ１３９）。全ての抽出候補を処理していない場合（Ｓ１３９：ＮＯ）、画像認識装置１０は、新たな抽出候補を読み込んで（Ｓ１３１）、Ｓ１３２からＳ１３８の処理を繰り返す。一方、全ての抽出候補を処理した場合（Ｓ１３９：ＹＥＳ）、抽出処理が終了する。
【００８５】
口座番号の抽出処理のように、請求額についても、例えば「請求額」のような文字から所定の距離以内に記載されている数字であるか否かによって抽出できるようにも思われるが、請求額に相当する文字は、書類の作成者によって表現が様々に異なる。そのため、請求額は、文字を基準とした抽出方法では精度良く抽出できないことがある。その点、本実施形態に係る画像認識装置１０は、上述の３種類の判定によって、精度良く請求額を抽出することができる。
【００８６】
図１０は、本実施形態に係る画像認識装置１０により実行される学習処理のフローチャートである。学習処理は、図８に示す伝票作成処理より前に実行される。
【００８７】
はじめに、画像認識装置１０は、学習データを収集、記憶する（Ｓ２０）。そして、画像認識装置１０は、学習データを用いて、学習モデルの学習処理を実行する（Ｓ２１）。例えば、学習モデルがニューラルネットワークで構成される場合、画像認識装置１０は、誤差逆伝播法によって、損失関数を小さくするように、ニューラルネットワークの重みパラメータ及びバイアスパラメータを更新してよい。
【００８８】
その後、学習終了条件を満たさない場合（Ｓ２２：ＮＯ）、画像認識装置１０は、学習処理を繰り返し実行する（Ｓ２１）。一方、学習終了条件を満たした場合（Ｓ２２：ＹＥＳ）、画像認識装置１０は、生成された学習モデルを記憶する（Ｓ２３）。ここで、学習終了条件は、例えば、損失関数の値が所定値以下となることであったり、学習処理の繰り返し回数が所定回数以上となることであったりしてよい。以上により、学習処理が終了する。
【００８９】
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【符号の説明】
【００９０】
１０…画像認識装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１１…取得部、１２…認識部、１３…抽出部、１４…出力部、１５…記憶部、１５ａ…学習データ、１５ｂ…学習モデル、１６…生成部、２０…ユーザ端末、１００…画像認識システム
【図１】
2020170264.tif 000003
【図２】
2020170264.tif 000004
【図３】
2020170264.tif 000005
【図４】
2020170264.tif 000006
【図５】
2020170264.tif 000007
【図６】
2020170264.tif 000008
【図７】
2020170264.tif 000009
【図８】
2020170264.tif 000010
【図９】
2020170264.tif 000011
【図１０】
2020170264.tif 000012