(57)【要約】【課題】記入済みの帳票から所望の情報を抽出可能な帳票読取装置を提供することである。【解決手段】本発明の一態様は、学習済みモデルによって、記入済みの帳票から所定の情報を抽出する抽出部を有する帳票読取装置に関する。【選択図】図３
2020046860.tif 000002
【特許請求の範囲】
【請求項１】
学習済みモデルによって、記入済みの帳票から所定の情報を抽出する抽出部を有する帳票読取装置。
【請求項２】
前記帳票は、口座振替依頼書であり、
前記所定の情報は、口座振替を実行するのに必要な情報である、請求項１記載の帳票読取装置。
【請求項３】
前記学習済みモデルは、抽出対象の所定の情報毎に学習される、請求項１又は２記載の帳票読取装置。
【請求項４】
前記学習済みモデルは、
前記帳票の画像から画像特徴量を抽出する第１のサブモデルと、
前記帳票に予め記載された罫線から罫線特徴量を抽出する第２のサブモデルと、
前記画像特徴量と前記罫線特徴量とから前記所定の情報を抽出する第３のサブモデルと、
を含む、請求項１乃至３何れか一項記載の帳票読取装置。
【請求項５】
抽出対象の記入済みの帳票を取得すると、前記帳票を前記抽出部にわたし、前記抽出部から前記所定の情報を取得するインタフェース部を更に有する、請求項１乃至４何れか一項記載の帳票読取装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に金融技術に関し、より詳細には帳票読取システムに関する。
【背景技術】
【０００２】
現在、銀行における金融サービスを利用する際、顧客は、預金の預入、引出、振込、為替取引等の多くの金融取引を、フィンテックの進展によってインターネットバンキング等を操作することによって電子ベースで実行すること可能である。一方、顧客が依然として紙媒体の書類や帳票に必要事項を記入押印することによって行われる金融取引もある。例えば、顧客口座から公共料金、クレジットカードの利用代金、商品・サービスの購入代金等を定期的に引き落とすための口座振替依頼書は、紙媒体の帳票ベースの金融取引の典型例である。
【０００３】
顧客によって記入押印された口座振替依頼書は顧客口座のある銀行に送付され、記入内容に不備がないかの確認、押印された印鑑の照合、行内システムへの入力等が主として人手によって行われている。例えば、メガバンクでは、日々膨大な数の口座振替依頼書が銀行スタッフによって処理されており、依頼書の処理に係る事務作業の自動化・効率化が強く求められている。例えば、このような目的のため、文字列が多数記載されている帳票画像から高速に項目名と項目値とのペアを抽出するための帳票認識方式などが知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−２０８５８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の文字認識モデルによる帳票認識方式によると、特定タイプの帳票における情報を読み取ることはできるが、多数のタイプの帳票から所望の情報を読取可能な帳票認識方式は知られていない。実際の事務処理では、公共料金、クレジットカード利用代金、購入代金等の個々のサービス毎に書式もレイアウトも異なる独自の口座振替依頼書が用意され、例えば、メガバンクで扱われる口座振替依頼書の種類は、数千タイプ以上にのぼる。このため、異なる書式及びレイアウトによる複数種別の帳票を一括に読取可能な抽出モデルが望まれる。
【０００６】
このように、口座振替依頼書は委託者毎などに異なる書式及びレイアウトによって用意され、委託者識別情報（委託者コードなど）、顧客の口座情報、印影情報などの口座振替を実行するのに必要とされる情報の記載場所も様々である。また、口座振替依頼書には、手書きされた文字や数字と共に、該当事項を選択するためのレ点、丸印などの様々なタイプの情報も含まれており、事務処理の自動化にはこれらの判別も必要となる。このため、従来の文字認識モデルにより対処することは困難である。
【０００７】
上述した問題点を鑑み、本発明の課題は、記入済みの帳票から所望の情報を抽出可能な帳票読取装置を提供することである。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明の一態様は、学習済みモデルによって、記入済みの帳票から所定の情報を抽出する抽出部を有する帳票読取装置に関する。
【発明の効果】
【０００９】
本発明によると、様々な書式及びレイアウトの帳票から様々なタイプの記入内容に基づく所望の情報を抽出することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施例による帳票読取システムを示す概略図である。
【図２】本発明の一実施例による帳票読取装置のハードウェア構成を示すブロック図である。
【図３】本発明の一実施例による帳票読取装置の機能構成を示すブロック図である。
【図４】本発明の一実施例によるニューラルネットワーク構造を示す概略図である。
【図５】本発明の一実施例によるモデル学習処理を示すフローチャートである。
【図６】本発明の一実施例による学習済みモデルによる帳票読取処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面に基づいて本発明の実施の形態を説明する。
【００１２】
以下の実施例では、記入済みの帳票から様々なタイプの情報を抽出する帳票読取装置が開示される。後述される実施例を概略すると、帳票読取装置は、複数種別の記入済みの帳票を入力とし、当該帳票の記入内容に基づく所定の情報を出力するニューラルネットワークなどの学習済みモデルを利用して、入力された帳票から各種情報を抽出する。例えば、帳票読取装置は、入力として口座振替依頼書を取得すると、学習済みモデルを利用して、当該口座振替依頼書の委託者コード、口座情報（口座番号など）、印影情報等の口座振替を実行するのに必要な所定の情報を抽出する。
【００１３】
なお、以下の実施例は口座振替依頼書に関して主として説明されるが、本発明による帳票はこれに限定されず、例えば、紙媒体に記入／押印された他の何れかの帳票に適用されてもよい。また、以下の実施例は抽出対象の情報として、口座振替依頼書などへの記入内容などの金融サービスに関連する情報に着目するが、本発明による抽出対象の情報は、これに限定されず、公共サービスなどにおける氏名、住所、生年月日等の個人情報など、帳票から読取可能な他の何れかの記入情報であってもよい。
【００１４】
まず、図１を参照して、本発明の一実施例による帳票読取システムを説明する。図１は、本発明の一実施例による帳票読取システムを示す概略図である。
【００１５】
図１に示されるように、帳票読取システム１０は、ユーザ端末５０、学習装置６０、ストレージ７０及び帳票読取装置１００を有する。
【００１６】
ユーザ端末５０は、典型的には、帳票読取装置１００に各種指示及び／又はデータを提供するための端末であり、例えば、パーソナルコンピュータなどの通信機能を備えた何れかの情報処理装置であってもよい。
【００１７】
学習装置６０は、帳票と抽出対象の情報とのペアから構成される教師データを利用して学習対象のモデルを学習する。例えば、学習対象のモデルがニューラルネットワークとして構成される場合、学習装置６０は、教師用の帳票を示す画像情報を当該ニューラルネットワークに入力し、出力情報と教師用の抽出対象の情報との誤差に基づき、例えば、バックプロパゲーションに従ってニューラルネットワークのパラメータを更新する。所定の終了条件が充足されると、学習装置６０は、更新されたパラメータによるニューラルネットワークを学習済みモデルとしてストレージ７０に格納する。例えば、学習済みモデルは、抽出対象の個別の情報毎に学習されてもよいし、抽出対象の全て又は一部の情報に対して学習されてもよい。
【００１８】
例えば、記入済みの複数種別の口座振替依頼書から委託者コードを抽出する場合、委託者の名称等が口座振替依頼書に予め印字されているケース、顧客が口座振替依頼書に委託者を手書きにより指定するケース、顧客が選択対象の委託者から特定の委託者の欄を手書きでチェック（例えば、レ点を書き込む、丸印で囲むなど）することによって指定するケースなど、口座振替依頼書の書式に応じて様々なバリエーションがある。また、委託者を特定するレイアウト領域も口座振替依頼書のレイアウトに応じて様々である。このような多種多様な口座振替依頼書から委託者情報、委託者コード等を抽出するニューラルネットワークを取得するため、学習装置６０は、ユーザ端末５０などから提供される記入済みの複数種別の口座振替依頼書と委託者コードとのペアから構成される教師データに対して適切な前処理（委託者コード毎の並び替え、正規化、データ圧縮、罫線抽出など）を実行し、前処理された教師データを利用して、何れか適切な学習アルゴリズム（例えば、Ｒｅｓｎｅｔ、Ｘｃｅｐｔｉｏｎ、ＳＥＮｅｔなど）に従って学習対象のニューラルネットワークを学習する。
【００１９】
また、記入済みの複数種別の口座振替依頼書から口座情報の記載場所及び口座情報を抽出する場合も同様に、口座振替依頼書の書式に応じて様々なバリエーションがあり、また、口座情報の記載場所及び口座情報が記入されるレイアウト領域も口座振替依頼書のレイアウトに応じて様々である。さらに、口座番号等は、典型的には罫線により区切られたマス目に記入してもらう形式となっており、罫線と記入内容とを適切に区別することが可能なモデルが必要とされる。このような多種多様な口座振替依頼書から口座情報の記載場所及び口座情報を抽出するニューラルネットワークを取得するため、学習装置６０は、ユーザ端末５０などから提供される記入済みの複数種別の口座振替依頼書と口座情報の場所又は口座情報とのペアから構成される教師データに対して適切な前処理（罫線抽出のための輪郭抽出、輪郭直線近似、マス目抽出など）を実行し、前処理された教師データを利用して、何れか適切な学習アルゴリズム（例えば、Ｒｅｓｎｅｔ、Ｘｃｅｐｔｉｏｎ、ＳＥＮｅｔなど）に従って学習対象のニューラルネットワークを学習する。
【００２０】
さらに、押印された印影情報を抽出する場合、様々な向きで押印されることが多く、向きに依存しない印影情報の抽出が所望される。例えば、学習装置６０は、ユーザ端末５０などから提供される記入済みの複数種別の口座振替依頼書と押印場所とのペアから構成される教師データに対して適切な前処理（罫線抽出のための輪郭抽出、輪郭直線近似、マス目抽出など）を実行し、前処理された教師データを利用して、何れか適切な学習アルゴリズム（例えば、Ｒｅｓｎｅｔ、Ｘｃｅｐｔｉｏｎ、ＳＥＮｅｔ、ＳＳＤなど）に従って学習対象のニューラルネットワークを学習する。学習済みモデルによって押印場所が特定されると、帳票読取装置１００は、特定された押印場所における画像を抽出することができ、帳票読取装置１００又は他の照合装置（図示せず）などによって、抽出した画像と当該顧客の登録されている印影情報との自動照合が可能になる。
【００２１】
ストレージ７０は、帳票読取装置１００により利用される学習済みモデルを格納する。例えば、学習済みモデルは、学習装置６０によって学習され、記入済みの複数種別の口座振替依頼書から所定の情報（例えば、委託者コード、口座情報の場所、口座情報、印影情報の場所、印影情報など）を抽出するニューラルネットワークなどの機械学習モデルである。
【００２２】
帳票読取装置１００は、以下で詳細に説明されるように、ユーザ端末５０からの帳票読取処理の起動指示に応答して、帳票読取装置１００は、スキャナ（図示せず）などにより読み取られた帳票から生成された画像情報に対して帳票読取処理を実行する。
【００２３】
帳票読取装置１００及び学習装置６０は、典型的には、サーバにより実現され、例えば、図２に示されるようなハードウェア構成を有してもよい。すなわち、帳票読取装置１００及び学習装置６０は、バスＢを介し相互接続されるドライブ装置１０１、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０４、インタフェース装置１０５及び通信装置１０６を有する。
【００２４】
帳票読取装置１００及び学習装置６０における後述される各種機能及び処理を実現するプログラムを含む各種コンピュータプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの記録媒体１０７によって提供されてもよい。プログラムを記憶した記録媒体１０７がドライブ装置１０１にセットされると、プログラムが記録媒体１０７からドライブ装置１０１を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０７により行う必要はなく、ネットワークなどを介し何れかの外部装置からダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータなどを格納する。メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムやデータを読み出して格納する。プロセッサとして機能するＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムやプログラムを実行するのに必要なパラメータなどの各種データに従って、後述されるような帳票読取装置１００及び学習装置６０の各種機能及び処理を実行する。インタフェース装置１０５は、ネットワーク又は外部装置に接続するための通信インタフェースとして用いられる。通信装置１０６は、外部装置と通信するための各種通信処理を実行する。しかしながら、帳票読取装置１００及び学習装置６０は、上述したハードウェア構成に限定されるものでなく、他の何れか適切なハードウェア構成により実現されてもよい。
【００２５】
次に、図３を参照して、本発明の一実施例による帳票読取装置を説明する。図３は、本発明の一実施例による帳票読取装置の機能構成を示すブロック図である。
【００２６】
図３に示されるように、帳票読取装置１００は、インタフェース部１１０及び抽出部１２０を有する。
【００２７】
インタフェース部１１０は、抽出対象の記入済みの帳票を取得すると、当該帳票を抽出部１２０にわたし、抽出部１２０から所定の情報を取得する。具体的には、インタフェース部１１０は、スキャナなどによって帳票をスキャンすることによって生成された複数種別の帳票の画像情報を取得し、取得した画像情報を抽出部１２０にわたす。抽出部１２０によって学習済みモデルを利用した帳票の画像情報に対する抽出処理が実行された後、インタフェース部１１０は、抽出部１２０から取得された情報を取得し、例えば、ユーザ端末５０に送信する。当該情報を受信すると、ユーザ端末５０は、帳票から抽出した所定の情報を格納及び表示することができる。
【００２８】
抽出部１２０は、学習済みモデルによって、記入済みの帳票から所定の情報を抽出する。具体的には、抽出部１２０は、学習装置６０によって学習されたニューラルネットワークなどの機械学習モデルに、インタフェース部１１０から提供された複数種別の帳票の画像情報を入力し、学習済みモデルから出力された当該帳票に関する所定の情報を取得する。例えば、帳票が口座振替依頼書である場合、抽出部１２０は、インタフェース部１１０から提供された口座振替依頼書の画像情報を学習済みモデルに入力し、当該口座振替依頼書の委託者コード、口座情報の場所、口座情報（口座番号など）、印影の場所、印影情報等の所定の情報を出力として取得する。抽出部１２０は、このようにして取得した情報をユーザ端末５０に送信する。
【００２９】
一実施例では、学習済みモデルは、帳票の画像から画像特徴量を抽出する画像特徴抽出モデルと、帳票に予め記載された罫線から罫線特徴量を抽出する罫線特徴抽出モデルと、画像特徴量と罫線特徴量とから所定の情報を抽出する対象情報抽出モデルとを含んでもよい。具体的には、図４に示されるように、学習済みモデルは、帳票画像と帳票に印字された罫線との２つのタイプの入力をそれぞれ処理するマルチモーダルなニューラルネットワーク構造を有し、帳票画像から画像特徴量を抽出する画像特徴量抽出モデルと、罫線画像から罫線特徴量を抽出する罫線特徴量抽出モデルとを含んでもよい。学習装置６０は、前処理として記入済みの複数種別の帳票から帳票画像と罫線画像とを生成し、帳票画像を画像特徴抽出モデルに入力して画像特徴量を取得し、罫線画像を罫線特徴抽出モデルに入力して罫線特徴量を取得する。なお、罫線画像は、必ずしも記入済みの帳票から生成される必要はなく、未記入の対応する帳票から生成されてもよい。学習装置６０は、取得した画像特徴量と罫線特徴量とを対象情報抽出モデルに入力し、所定の情報（例えば、委託者コード、口座情報の場所、口座情報、印影の場所、印影情報など）として出力情報を取得する。学習装置６０は、取得した出力情報と教師データとを比較し、その誤差に従って画像特徴抽出モデル、罫線特徴抽出モデル及び対象情報抽出モデルの各パラメータを更新することによって、これらのモデルを学習する。また、学習済みモデルは、罫線部分の抽出に限定されず、帳票に予め記載された矩形領域などの所定の図形領域を抽出する領域抽出モデルを含んでもよい。
【００３０】
また、一実施例では、学習済みモデルは、帳票の画像から帳票種別を判定する帳票種別判定モデルと、帳票種別毎の対象情報抽出モデルとを含んでもよい。具体的には、学習装置６０は、記入済みの複数種別の帳票と当該帳票の種別とのペアから構成される教師データによって帳票種別判定モデルを学習し、さらに帳票種別毎に対象情報抽出モデルを用意し、記入済みの特定種別の帳票と所定の情報とのペアから構成される教師データによって各対象情報抽出モデルを学習する。抽出部１２０は、記入済みの複数種別の帳票を取得すると、まず帳票の種別を判定するため、当該帳票を帳票種別判定モデルに入力して帳票種別を特定する。その後、抽出部１２０は、特定した帳票種別に対応する対象情報抽出モデルに当該記入済みの帳票を入力して所定の情報（口座情報の場所、口座情報、印影の場所、印影情報など）を抽出する。本実施例によると、帳票種別毎に対象情報抽出モデルを準備する必要はあるが、例えば、帳票の書式又はレイアウト変更があった際には、帳票種別判定モデルと、変更があった帳票の対象情報抽出モデルのみとを再学習すればよく、メンテナンス性に優れたものとなると共に、特定の書式及びレイアウトに特化した対象情報抽出モデルとなるため、抽出精度の向上が見込まれる。
【００３１】
次に、図５を参照して、本発明の一実施例によるモデル学習処理を説明する。図５は、本発明の一実施例によるモデル学習処理を示すフローチャートである。当該モデル学習処理は、学習装置６０、より具体的には、学習装置６０のプロセッサによって実行される。
【００３２】
図５に示されるように、ステップＳ１０１において、学習装置６０は、記入済みの複数種別の帳票と抽出対象の情報（例えば、委託者コード、口座情報の場所、口座情報、印影の場所、印影情報など）とのペアから構成される教師データをユーザ端末５０などから取得する。例えば、学習装置６０は、抽出対象の情報タイプ毎にモデルを学習する。
【００３３】
ステップＳ１０２において、学習装置６０は、訓練用の記入済みの帳票を学習対象モデルに入力する。なお、学習装置６０は、訓練用の記入済みの帳票に対して適切な前処理をし、前処理された帳票を学習対象モデルに入力してもよい。
【００３４】
ステップＳ１０３において、学習装置６０は、学習対象モデルから出力データを取得する。
【００３５】
ステップＳ１０４において、学習装置６０は、訓練用の抽出対象の情報と出力データとを比較し、それらの間の誤差に基づきバックプロパゲーションなどに従って学習対象モデルのパラメータを更新する。
【００３６】
学習装置６０は、終了条件が充足されるまでステップＳ１０１〜Ｓ１０４の処理を各教師データに対して実行し、最終的に取得された学習対象モデルを学習済みモデルとしてストレージ７０に格納する。終了条件としては、所定数の教師データが処理されたこと、誤差が所定の閾値以下になったこと、誤差が収束したことなどであってもよい。
【００３７】
次に、図６を参照して、本発明の一実施例による帳票読取処理を説明する。図６は、本発明の一実施例による学習済みモデルによる帳票読取処理を示すフローチャートである。当該帳票読取処理は、帳票読取装置１００、より具体的には、帳票読取装置１００のプロセッサによって実行される。
【００３８】
図６に示されるように、ステップＳ２０１において、帳票読取装置１００は、抽出対象の記入済み帳票を学習済みモデルに入力する。
【００３９】
ステップＳ２０２において、帳票読取装置１００は、学習済みモデルから所定の情報を取得する。取得される情報は、学習済みモデルに応じて、帳票への記入内容の全て又は一部の情報であってもよい。帳票読取装置１００は、抽出した情報をユーザ端末５０などに送信する。
【００４０】
以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００４１】
１０  帳票読取システム
５０  ユーザ端末
６０  学習装置
７０  ストレージ
１００  帳票読取装置
【図１】
2020046860.tif 000003
【図２】
2020046860.tif 000004
【図３】
2020046860.tif 000005
【図４】
2020046860.tif 000006
【図５】
2020046860.tif 000007
【図６】
2020046860.tif 000008