(57)【要約】【課題】文書の書式種類が多い場合でもそれら書式の種類に応じた任意の書類における任意の記録対象文字を記録する。【解決手段】画像処理装置が、複数の帳票画像データを文字認識処理した結果に基づいて、前記帳票画像データに含まれる文字列の特徴を示す特徴量を前記帳票画像データ毎に抽出する特徴量抽出部と、前記帳票画像データに対応する前記特徴量を用いて記録文字列の特徴量である第一特徴量を生成する読取対象特徴量生成部と、を備える。【選択図】図１
2019008775.tif 000002
【特許請求の範囲】
【請求項１】
複数の帳票画像データを文字認識処理した結果に基づいて、前記帳票画像データに含まれる文字列の特徴を示す特徴量を前記帳票画像データ毎に抽出する特徴量抽出部と、
前記帳票画像データに対応する前記特徴量を用いて記録文字列の特徴量である第一特徴量を生成する読取対象特徴量生成部と、
を備える画像処理装置。
【請求項２】
前記複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった前記記録文字列とを取得する取得部と、を備え、
前記特徴量抽出部は、前記取得部の取得した前記帳票画像データを文字認識処理した結果に基づいて、前記帳票画像データに対応する前記特徴量を抽出し、
前記読取対象特徴量生成部は、前記帳票画像データに対応する前記特徴量を用いて前記記録文字列の第一特徴量を生成する
請求項１に記載の画像処理装置。
【請求項３】
前記複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった前記記録文字列とを取得する取得部と、を備え、
前記特徴量抽出部は、
前記取得部の取得した前記帳票画像データを画像認識処理した結果に基づいて、前記記録文字列の特徴を示す個別第一特徴量と、前記記録文字列以外の認識情報を示す個別第二特徴量とを前記帳票画像データ毎かつ文字列毎に抽出し、
さらに、前記個別第二特徴量に基づいて前記帳票画像データをグループ分けするグループ分類部と、を備え、
前記読取対象特徴量生成部は、前記グループに含まれる前記帳票画像データに対応する前記個別第一特徴量を用いて当該グループごとの前記第一特徴量であるグループ第一特徴量を生成する
請求項１に記載の画像処理装置。
【請求項４】
前記複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった前記記録文字列とを取得する取得部と、
前記特徴量抽出部が前記帳票画像データ毎かつ前記記録文字列毎に抽出した個別第一特徴量に基づいて前記帳票画像データをグループ分けするグループ分類部と、を備え、
前記読取対象特徴量生成部は、前記グループに含まれる前記帳票画像データに対応する前記個別第一特徴量を用いて当該グループごとの前記第一特徴量であるグループ第一特徴量を生成する
請求項１に記載の画像処理装置。
【請求項５】
前記複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった前記記録文字列とを取得する取得部と、を備え、
前記特徴量抽出部は、前記取得部の取得した前記帳票画像データを文字認識処理した結果に基づいて、前記記録文字列の特徴を示す個別第一特徴量を前記帳票画像データ毎かつ前記記録文字列毎に抽出し、
前記読取対象特徴量生成部は、予め設定された所定のグループに含まれる前記帳票画像データに対応する前記個別第一特徴量を用いて当該グループごとの前記第一特徴量であるグループ第一特徴量を生成する
請求項１に記載の画像処理装置。
【請求項６】
前記取得部は新たな帳票画像データを取得し、
前記第一特徴量を用いて、前記新たな帳票画像データから読み取られた文字列のうちの前記記録文字列を記録する記録部と、
を備える請求項２から請求項５の何れか一項に記載の画像処理装置。
【請求項７】
前記取得部は新たな帳票画像データを取得し、
前記記録文字列以外の文字列の特徴量として前記グループ毎に設定されたグループ第二特徴量に基づいて当該新たな帳票画像データの属する前記グループを特定するグループ特定部と、
当該特定したグループについての前記グループ第一特徴量を用いて、前記新たな帳票画像データから読み取られた文字列のうちの前記記録文字列を記録する記録部と、を備える、
請求項３または請求項５に記載の画像処理装置。
【請求項８】
前記読取対象特徴量生成部は、前記記録部が、前記新たな帳票画像データから読み取られた文字列のうち何れかを前記記録文字列として選択することに成功した場合、失敗した場合の何れも、前記第一特徴量を更新する、
請求項６または請求項７に記載の画像処理装置。
【請求項９】
前記読取対象特徴量生成部は、前記記録部による前記記録対象文字列に対して作業者が確認および修正を行い確定した記録対象文字列を用いて前記第一特徴量を更新する、
請求項１から８の何れか一項に記載の画像処理装置。
【請求項１０】
請求項１から９の何れか一項に係る読取対象特徴量生成部の機能を有するサーバ装置と、
前記サーバ装置による第一特徴量を用いて文字認識処理結果の文字列の中から前記記録文字列を取得する端末装置と、
を備える画像処理システム。
【請求項１１】
複数の帳票画像データを認識処理した結果に基づいて、前記帳票画像データに含まれる文字列の特徴を示す特徴量を前記帳票画像データ毎に抽出する工程と、
前記帳票画像データに対応する前記特徴量を用いて記録文字列の特徴量である第一特徴量を生成する工程と、
を含む画像処理方法。
【請求項１２】
コンピュータに、
複数の帳票画像データを認識処理した結果に基づいて、前記帳票画像データに含まれる文字列の特徴を示す特徴量を前記帳票画像データ毎に抽出する工程と、
前記帳票画像データに対応する前記特徴量を用いて記録文字列の特徴量である第一特徴量を生成する工程と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム、画像処理方法、プログラムに関する。
【背景技術】
【０００２】
スキャナ等を用いて取得した文書の画像をＯＣＲ（Optical Character Recognition）処理し、文書を読み取る画像処理装置がある。文書の書式が様々である場合にはこのような画像処理装置では文書の書式定義の情報を予め記憶しておき、読取対象領域を特定することでＯＣＲ処理の精度を高めている。これに関連する技術が特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−４８４４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら上述のように文書の書式の種類が多い場合、その全ての書式定義の情報を画像処理装置に対して記憶させておくことは作業者の労力がかかる。
【０００５】
そこでこの発明は、上述の課題を解決する画像処理装置、画像処理システム、画像処理方法、プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の第１の態様によれば、画像処理装置は、複数の帳票画像データを文字認識処理した結果に基づいて、前記帳票画像データに含まれる文字列の特徴を示す特徴量を前記帳票画像データ毎に抽出する特徴量抽出部と、前記帳票画像データに対応する前記特徴量を用いて前記記録文字列の特徴量である第一特徴量を生成する読取対象特徴量生成部と、を備える。
【０００７】
本発明の第２の態様によれば、画像処理方法は、複数の帳票画像データを文字認識処理した結果に基づいて、前記帳票画像データに含まれる文字列の特徴を示す特徴量を前記帳票画像データ毎に抽出するする工程と、前記帳票画像データに対応する前記特徴量を用いて前記記録文字列の特徴量である第一特徴量を生成する工程と、を含む。
【０００８】
本発明の第３の態様によれば、プログラムは、コンピュータに、複数の帳票画像データを文字認識処理した結果に基づいて、前記帳票画像データに含まれる文字列の特徴を示す特徴量を前記帳票画像データ毎に抽出する工程と、前記帳票画像データに対応する前記特徴量を用いて前記記録文字列の特徴量である第一特徴量を生成する工程と、を実行させるためのプログラムである。
【発明の効果】
【０００９】
本発明によれば、文書の書式種類が多い場合でもそれら書式の種類に応じた任意の書類における任意の記録対象文字を記録することができる。
【図面の簡単な説明】
【００１０】
【図１】画像処理装置を含む画像処理システムの概要を示す図である。
【図２】画像処理装置のハードウェア構成を示す図である。
【図３】画像処理装置の機能ブロック図である。
【図４】文書帳票の一例を示す図である。
【図５】データベースが記憶するデータテーブルの概要を示す図である。
【図６】第一実施形態による画像処理装置の処理フローを示す第一の図である。
【図７】第一実施形態による画像処理装置の処理フローを示す第二の図である。
【図８】第二実施形態による画像処理装置の機能ブロック図である。
【図９】第二実施形態による画像処理装置の処理フローを示す第一の図である。
【図１０】第二実施形態による画像処理装置の処理フローを示す第二の図である。
【図１１】第六実施形態による画像処理装置の処理フローを示す図である。
【図１２】第七実施形態による画像処理システムと既存ＯＣＲシステムとの接続例を示す図である。
【図１３】第六実施形態による画像処理装置の処理フローを示す図である。
【図１４】第八実施形態による画像処理システム２００の概要を示す図である。
【図１５】第八実施形態による端末装置の処理フローを示す図である。
【図１６】第八実施形態によるサーバ装置の処理フローを示す図である。
【図１７】画像処理装置の最小構成を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態による画像処理装置を図面を参照して説明する。
図１は本実施形態による画像処理装置を含む画像処理システムの概要を示す図である。
図１で示すように画像処理システム１００は画像処理装置１、画像読取装置２、記録装置３、データベース４により構成される。
画像処理装置１は画像読取装置２と通信ケーブルにより接続されている。画像読取装置２は光学的に文書帳票などの画像データを取得して画像処理装置１へ出力する。画像処理装置１は文書帳票の画像データをＯＣＲ処理し文字認識する。画像処理装置１は文字認識結果を記録装置３に出力し、記録装置３がその文字認識結果をデータベースに記録する。データベース４は画像処理装置１と記録装置３とに接続されている。データベース４は記録装置３から過去に登録された複数の文書帳票の画像データとその画像データに含まれる文字列のうち記録対象となる文字列を示す記録文字列の対応関係を記憶している。記録文字列が示す文字列は文書帳票に記述される文字列のうちデータベース４に記録、保存しておくべき重要な文字列である。画像処理システム１００を利用する作業者は予め、記録装置３を用いて過去に登録された複数の文書帳票の画像データとその画像データに含まれる文字列のうちの記録文字列をデータベース４に登録しておく。
【００１２】
そして記録装置３には文書帳票の画像データとその画像データに含まれる文字列の情報のうち記録対象となる文字列を示す記録文字列の情報との対応関係が、多くの文書帳票について十分に記録されているものとする。このような状態において、画像処理装置１は処理を行う。
【００１３】
図２は画像処理装置のハードウェア構成を示す図である。
画像処理装置１は図２で示すように、ＣＰＵ（Central Processing Unit）１１、ＩＦ（Interface）１２、通信モジュール１３、ＲＯＭ（Read Only Memory）１４、ＲＡＭ（Random Access Memory）１５、ＨＤＤ（Hard Disk Drive）１６などの構成を備えたコンピュータである。通信モジュール１３は画像読取装置２、記録装置３、データベース４との間で無線通信を行うものであっても、有線通信を行うものであってもよく、それら２つの機能を有していてもよい。
【００１４】
図３は画像処理装置の機能ブロック図である。
画像処理装置１のＣＰＵ１１は記憶するプログラムを実行することにより、制御部１０１、取得部１０２、特徴量抽出部１０３、読取対象特徴量生成部１０４、記録部１０５の機能を備える。
【００１５】
制御部１０１は、他の機能部を制御する。
取得部１０２は、文書帳票の画像データを取得する。
特徴量抽出部１０３は、複数の文書帳票の画像データの文字認識処理結果に基づいて、文書帳票の画像データに含まれる記録文字列の特徴を示す特徴量を文書帳票の画像データ毎に抽出する。
読取対象特徴量生成部１０４は、文書帳票の画像データに対応する特徴量を用いて記録文字列の第一特徴量を生成する。
記録部１０５は、第一特徴量を用いて、新たな文書帳票の画像データから読み取った文字列の情報のうちの記録文字列を抽出して記録する。
【００１６】
このような処理により画像処理装置１は新たな文書帳票の画像データに含まれる記録するべき文字列情報の記録の労力を軽減する。
【００１７】
図４は文書帳票の一例を示す図である。
この図が示すように文書帳票には、その文書を作成した企業のマーク、作成日、作成担当者、文書内容が、その文書帳票に特有のフォーマットで記述されている。文書内容は、例えば文書帳票が発注票であれば発注した商品名やその発注個数などの情報の組が１つまたは複数を示す。作業者はある１つの文書帳票に基づいて、その文書帳票に記述されている文字列のうち記録すべき特定の記録文字列を、記録装置３を用いてデータベース４へ記録する。具体的には作業者は文書帳票を見ながら記録装置３がデータベース４に記録すべき特定の記録文字列を入力する。また作業者は文書帳票の画像データを画像読取装置２に読み込ませる。文書帳票は作業者の操作に基づいて画像読取装置２が読み取り画像処理装置１へ出力する。そして記録装置３は作業者の操作と画像処理装置１の制御とに基づいて、１つの文書帳票についての画像データと、その文書帳票に記述されている文字列のうち記録すべき特定の記録文字列を対応付けてデータベース４に記録する。図４の例においては、日付５１、発注先５２、商品名５３、数量５４、金額５５が記録すべき特定の記録文字列である。文書帳票５には作業者によって記録されない非記録文字列等のその他の情報も印字されている。当該情報は例えば文書帳票を発行した発注者の名称５０１、発注者のエンブレム画像５０２、文書帳票のタイトル５０３、挨拶文５０４などである。
【００１８】
図５はデータベースが記憶するデータテーブルの概要を示す図である。
図５で示すようにデータベース４は文書帳票についての画像データと、その文書帳票に記述されている文字列のうち記録すべき特定の記録文字列を対応付けて記録テーブルに記憶する。
【００１９】
＜第一実施形態＞
図６は第一実施形態による画像処理装置の処理フローを示す第一の図である。
次に画像処理装置１の処理フローについて順を追って説明する。
まずデータベース４にはある文書帳票についての画像データと、その文書帳票に記述されている特定の記録文字列の組み合わせが、その同じ文書帳票複数枚分記録されている。例えば図４で示す文書帳票５についての特定の記録文字列情報が同じ複数枚分記録されているとする。このような状態で作業者が画像処理装置１を起動し、当該画像処理装置１へ処理開始を指示する。
【００２０】
画像処理装置１の取得部１０２はデータベース４から文書帳票５の画像データとその画像データに対応する記録文字列の情報を読み取る（ステップＳ６０１）。取得部１０２は画像データと記録文字列とを特徴量抽出部１０３へ出力する。特徴量抽出部１０３は画像データをＯＣＲ処理して画像データ中の全ての文字列と当該文字列の範囲を示す画像データ内の座標を検出する（ステップＳ６０２）。なお文字列は複数の文字によって構成される文字の纏まりである。特徴量抽出部１０３は他の文字との間隔などによってその１つの纏まりの範囲を解析し、その範囲に含まれる１つまたは複数の文字を文字列として抽出すると共に、その画像データ内の文字列の範囲を示す座標を検出する。文字列として含まれる文字は、表意文字、表音文字などの記号、マーク、アイコン画像などを含んでよい。
【００２１】
特徴量抽出部１０３はＯＣＲ処理により画像データから抽出した文字列と、画像データと共にデータベース４から読み取った記録文字列とを比較する。特徴量抽出部１０３はＯＣＲ処理により画像データから抽出した文字列のうち、記録文字列の文字情報と一致した画像データ中の文字列と、その文字列に含まれる文字の属性と、その範囲の座標とを特定する（ステップＳ６０３）。文字の属性は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなどにより表される情報である。また文字列の範囲の座標には文字列に含まれる先頭文字の座標、終了文字の座標などを示す情報である。特徴量抽出部１０３はそれら特定した情報を含む特徴量を複数枚の同じ文書帳票５について生成する（ステップＳ６０４）。
【００２２】
特徴量は特徴量抽出部１０３によって文書帳票５における記録文字列ごとに生成される。読取対象特徴量生成部１０４はそれら複数枚の同じ文書帳票５における特徴量を取得し、記録文字列に対応する各特徴量に含まれる文字の属性、文字列の範囲を示す座標を解析してそれぞれ１つの特徴量を生成する。この特徴量の解析は機械学習などの処理により行う。機械学習のことを単に学習とも称する。
読取対象特徴量生成部１０４が機械学習などの解析により生成した特徴量を第一特徴量と呼ぶ。つまり読取対象特徴量生成部１０４は同じ文書帳票５の複数枚を用いて、その文書帳票５における記録文字列それぞれの第一特徴量を生成する（ステップＳ６０５）。第一特徴量は記録文字列を認識するための特徴量であり、文字の属性、文字列の範囲を示す座標を含む。読取対象特徴量生成部１０４は文書帳票５における１つ又は複数の記録文字列それぞれの第一特徴量を、文書帳票５の識別子に紐づけてデータベース４に記録する（ステップＳ６０６）。
【００２３】
例えば読取対象特徴量生成部１０４は、文書帳票５に含まれる記録文字列である日付５１、発注先５２、商品名５３、数量５４、金額５５それぞれの、文字属性、文字列の範囲を示す座標などを示す各第一特徴量を、文書帳票５の識別子に紐づけてデータベース４に記録する。
【００２４】
以上の処理により画像処理装置１は、作業者の記録文字列を記録する労力を軽減するために利用する情報（第一特徴量）を機械学習等により生成してデータベース４に蓄積することができる。これにより画像処理装置１は新たな文書帳票についての画像データに基づいて記録文字列を自動でデータベース４に記録していくことができる。以下、その処理について説明する。
【００２５】
図７は第一実施形態による画像処理装置の処理フローを示す第二の図である。
作業者は新たな文書帳票を画像読取装置２に読み取らせる操作を行う。これにより画像読取装置２は文書帳票の画像データを生成して画像処理装置１へ出力する。画像処理装置１の取得部１０２は画像データを取得する（ステップＳ７０１）。取得部１０２は画像データを特徴量抽出部１０３へ出力する。特徴量抽出部１０３は画像データをＯＣＲ処理して、文字列と、文字列に含まれる文字の特徴と、その文字列の範囲の画像データ中の座標を検出する（ステップＳ７０２）。特徴量抽出部１０３はそれら検出した情報を含む第三特徴量を、画像データ中の文字列ごとに生成する（ステップＳ７０３）。つまり第三特徴量は新たに読み込んだ画像データの文書帳票に含まれる文字列の特徴を示す情報である。その後、グループ特定部１０７はデータベース４から、処理対象画像データの文書帳票についての１つまたは複数の第一特徴量を読み出す（ステップＳ７０４）。グループ特定部１０７は記録部１０５へ第三特徴量と第一特徴量を出力する。
【００２６】
記録部１０５は画像データ中の１つまたは複数の文字列についての第三特徴量と、１つ又は複数の第一特徴量とを取得する。記録部１０５は各第一特徴量に含まれる文字列の範囲を示す座標を用いて、各第一特徴量が示す当該座標に対応する座標を有する第三特徴量が全て存在するかを判定する（ステップＳ７０５）。各第一特徴量の座標に対応する座標を有する第三特徴量が全て存在する場合には、記録文字列に対応する文書帳票内の全ての記載事項に文字の記載が存在する。一方、各第一特徴量の座標に対応する座標を有する第三特徴量が全て存在しない場合には、文書帳票内の何れかの記載事項に文字の記載が無い状態である。
【００２７】
ステップＳ７０５でＹＥＳの場合、記録部１０５は、第一特徴量に含まれる文字属性と、座標に基づいて特定された対応する第三特徴量に含まれる文字属性がそれぞれ一致するかどうかを判定する（ステップＳ７０６）。
【００２８】
記録部１０５は、ステップＳ７０６の判定結果がＹＥＳとなり文字属性が一致する場合、現在処理している画像データにおいて１つまたは複数の第三特徴量が示す座標に基づく記録文字列の範囲に矩形枠を表示した確認画面を生成する。記録部１０５はその確認画面をモニタに出力する（ステップＳ７０７）。作業者はこの確認画面に表示された矩形領域を確認して、画像処理装置１が記録しようとする記録文字列を確認することができる。これにより作業者は記録文字列に不足が無いかを確認することができる。確認画面にはＯＫまたはＮＧの何れかのボタンのアイコン画像が表示されている。このボタンのアイコン画像のうちＯＫのボタンを選択することにより作業者は記録文字列としての選択に不足がないことを指示することができる。他方、ボタンのアイコン画像のうちＮＧのボタンを選択することにより作業者は記録文字列としての選択に不足があることを指示することができる。
【００２９】
なお確認画面をモニタに出力する理由を、図４を用いて説明する。図４では、記録文字列のうち商品名５３が６つ記入されている。過去の文書帳票においても６つの商品名５３の記入が最大だった場合、新たな文書帳票に対して、商品名５３は１〜６個の範囲内で自動的に記録文字列と判定される。したがって、例えば新たな帳票では商品名５３が７つ記載されていた場合、１〜６個目までの部分については、ステップＳ７０５、Ｓ７０６いずれもＹＥＳとなるため、画像処理装置１は７個目の文字列を記録せずに終了してしまう。このような事象が改善されるように、画像処理装置１は、ステップＳ７０７で記録文字列を記録する前に、確認画面を表示して、作業者に対して、記録して終了してよいかの確認を行う。
【００３０】
記録部１０５は作業者のボタンのアイコン画像の押下に応じて、記録文字列の選択に不足が無いかを判定する（ステップＳ７０８）。記録部１０５は不足が無い場合には、第三特徴量に含まれる文字列を、文書帳票の識別情報に対応付けて記録テーブルに記録する（ステップＳ７０９）。
【００３１】
例えば、文書帳票の画像データ中から第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３が取得できたとする。そして第三特徴量ａ３が予めデータベースに記録されている第一特徴量ａ１と、第三特徴量ｂ３が第一特徴量ｂ１と、第三特徴量ｃ３が第一特徴量ｃ１と、第三特徴量ｄ３が第一特徴量ｄ１とそれぞれ特徴量が一致したとする。この場合、記録部１０５は、第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３それぞれに含まれる文字列を、文書帳票の記録テーブルに記録する。
【００３２】
上述のステップＳ７０５でＮＯの場合、またはステップＳ７０６でＮＯの場合、またはステップＳ７０８でＮＯの場合、記録部１０５は、第一特徴量が示す当該座標に対応する座標を有する第三特徴量が存在しなかった場合の処理を行う。具体的には記録部１０５は、画像データ中の対応する座標の第三特徴量が存在しなかった第一特徴量の座標の範囲に入力欄を設けた帳票画像の入力用画像データを生成してモニタに出力する（ステップＳ７１０）。入力用画像データはＨＴＭＬやＸＭＬなどのマークアップ言語で記述されたデータであってよい。作業者はこの入力用画像データを見ながら、画像処理装置１のキーボード等の入力装置を操作して、モニタに表示されている入力用画像データ内の入力欄に記録文字列を入力する。当該入力用画像データには保存ボタンが表示されており、保存ボタンの押下操作をすると記録部１０５は既に文書帳票について取得した第三特徴量の他、新たに入力用画像データの入力欄に入力された文字列を含む第三特徴量を生成する（ステップＳ７１１）。記録部１０５は帳票画像データの識別子と入力欄に入力された文字列とを対応付けてデータベース４に記録する。画像処理装置１は図６で示した処理フローを再度実施することにより第一特徴量が更新され、自動的に記録できる文字列の範囲を拡張することができる。これにより、次に同じ文書帳票を処理したときには、自動的に文字列を記録できるようになり、作業者が文字列を入力する手間を省くことができる。記録部１０５は、全ての第三特徴量それぞれに含まれる文字列を、文書帳票の記録テーブルに記録する（ステップＳ７１２）。
【００３３】
このような処理によれば、画像処理装置１は予め作業者が記録しておいた文書帳票の画像データと記録文字列によって、新たに入力させた文書帳票の画像データにおける記録文字列を自動的に記録することができる。したがって画像処理装置１は文書帳票における記録文字列の記録の作業者の労力を軽減することができる。
また文書帳票に記録文字列が記載されていない場合でも、本来、記載されているべき記録文字列に対応する記載事項が記載されていない場合には画像処理装置１は入力用画像データを出力する。これにより文書帳票において記載すべき記載事項に対して入力していない誤りが見つかると共に、その記載事項が示す記録文字列を容易に記録することができる。
【００３４】
＜第二実施形態＞
図８は第二実施形態による画像処理装置の機能ブロック図である。
この図が示すように第二実施形態による画像処理装置１は、図３で示した各機能部に加え、さらにグループ分類部１０６、グループ特定部１０７の機能を有する。画像処理装置１のハードウェア構成は図２で示した構成と同様である。
【００３５】
図９は第二実施形態による画像処理装置の処理フローを示す第一の図である。
次に第二実施形態による画像処理装置１の処理フローについて順を追って説明する。
データベース４には異なる複数の文書帳票についての画像データと、各文書帳票に記述されている特定の記録文字列の組み合わせが、その文書帳票ごとに多数記録されている。例えば図４で示す異なる文書帳票５それぞれについての特定の記録文字列情報が複数枚分記録されているとする。このような状態で作業者が画像処理装置１を起動し、当該画像処理装置１へ処理開始を指示する。
【００３６】
画像処理装置１の取得部１０２はデータベース４から文書帳票５の画像データとその画像データに対応する記録文字列の情報を全て読み込んだかを判定する（ステップＳ９０１）。ＮＯの場合、取得部１０２はデータベース４から文書帳票５の画像データとその画像データに対応する記録文字列の情報を読み取る（ステップＳ９０２）。取得部１０２は画像データと記録文字列とを特徴量抽出部１０３へ出力する。特徴量抽出部１０３は画像データをＯＣＲ処理して画像データ中の全ての文字列とその画像データ内の座標を検出する（ステップＳ９０３）。なお文字列は複数の文字によって構成される文字の纏まりである。特徴量抽出部１０３は他の文字との間隔などによってその１つの纏まりの範囲を解析し、その範囲に含まれる１つまたは複数の文字を文字列として抽出すると共に、その画像データ内の文字列の範囲を示す座標を検出する。文字列として含まれる文字は、表意文字、表音文字などの記号、マーク、アイコン画像などを含んでよい。
【００３７】
特徴量抽出部１０３はＯＣＲ処理により画像データから抽出した文字列と、画像データと共にデータベース４から読み取った記録文字列とを比較する。特徴量抽出部１０３はＯＣＲ処理により画像データから抽出した文字列のうち、記録文字列の文字情報と一致した画像データ中の文字列と、その文字列に含まれる文字の属性と、その範囲の座標とを特定する（ステップＳ９０４）。文字の属性は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなどにより表される情報である。また文字列の範囲の座標には文字列に含まれる先頭文字の座標、終了文字の座標などを示す情報である。特徴量抽出部１０３はそれら特定した情報を含む特徴量を１つの文書帳票５について生成する（ステップＳ９０５）。
【００３８】
特徴量は特徴量抽出部１０３によって文書帳票５における記録文字列ごとに生成される。すなわち、特徴量抽出部１０３は、文書帳票毎かつ記録文字列毎に特徴量を生成する。この文書帳票毎かつ記録文字列毎の特徴量を個別第一特徴量と称する。個別第一特徴量は、文字の属性、文字列の範囲を示す座標の何れか一方または両方を含んでいてもよい。特徴量抽出部１０３は個々の文書帳票５における１つ又は複数の記録文字列それぞれの個別第一特徴量を、文書帳票５の識別子および記録文字列の識別子に紐づけてデータベース４に記録する（ステップＳ９０６）。記録文字列の識別子として、例えばその記録文字列の位置を示す座標値を用いることができる。
【００３９】
例えば特徴量抽出部１０３は、文書帳票５に含まれる記録文字列である日付５１、発注先５２、商品名５３、数量５４、金額５５それぞれの、文字属性、文字列の範囲を示す座標などを示す各個別第一特徴量を、文書帳票５の識別子および記録文字列の識別子に紐づけてデータベース４に記録する。
【００４０】
特徴量抽出部１０３はまた、記録文字列に含まれる文字情報と一致しない画像データ中の非記録文字列と、その非記録文字列に含まれる文字の属性と、その範囲の座標とを特定する（ステップＳ９０７）。特徴量抽出部１０３はそれら特定した情報を含む特徴量を文書帳票５について生成する（ステップＳ９０８）。
【００４１】
特徴量は特徴量抽出部１０３によって文書帳票５における非記録文字列ごとに生成される。すなわち、特徴量抽出部１０３は、文書帳票毎かつ非記録文字列毎に特徴量を生成する。この文書帳票毎かつ非記録文字列毎の特徴量を個別第二特徴量と称する。個別第二特徴量は、文字の属性、文字列の範囲を示す座標の何れか一方または両方を含んでいてもよい。特徴量抽出部１０３は個々の文書帳票５における１つ又は複数の非記録文字列それぞれの個別第二特徴量を、文書帳票５の識別子および非記録文字列の識別子に紐づけてデータベース４に記録する（ステップＳ９０９）。非記録文字列の識別子として、例えばその記録文字列の位置を示す座標値を用いることができる。
【００４２】
例えば特徴量抽出部１０３は、文書帳票５に含まれる非記録文字列である発注者の名称５０１、発注者のエンブレム画像、文書帳票のタイトル５０３、挨拶文５０４などを示す各個別第二特徴量を、文書帳票５の識別子および記録文字列の識別子に紐づけてデータベース４に記録する。
【００４３】
データベース４には異なる複数の文書帳票５の画像データとその画像データに対応する記録文字列の情報が記録されている。画像処理装置１の取得部１０２は全ての文書帳票５についての画像データと記録文字列の情報を読み込むまでステップＳ９０１〜ステップＳ９１１の処理を繰り返す。そしてステップＳ９０１において全て読み込んだと判定したとする（ステップＳ９０１：ＹＥＳ）。
【００４４】
その場合、グループ分類部１０６が文書帳票５の画像データに含まれる個別第二特徴量に基づいて、文書帳票５をグループ分けする（ステップＳ９１２）。例えばグループ分類部１０６は、各文書帳票５を、個別第二特徴量が示す非記録文字列の一致度や、エンブレム画像の一致度、非記録文字列の座標範囲の一致度などに基づいてグループ分けする。グループ分類部１０６はこのグループ分けの処理において文書帳票５のグループ識別子を決定する。グループ分類部１０６は全ての文書帳票５についてグループ分けが終了したかを判定する（ステップＳ９１３）。
【００４５】
グループ分類部１０６は全ての文書帳票５のグループ分けが完了していない場合にはステップＳ９１２の処理を繰り返す。グループ分類部１０６は、全ての文書帳票５のグループ分けが完了した場合には、文書帳票５の識別子とその文書帳票５に付与されたグループ識別子とを対応付けてデータベース４のグループテーブルに記録する（ステップＳ９１４）。
【００４６】
そして読取対象特徴量生成部１０４はあるグループに属する１つまたは複数の文書帳票５の各個別第一特徴量および各個別第二特徴量をデータベース４から読み取り、グループに属する文書帳票５の各個別第一特徴量および各個別第二特徴量に対応する各グループ第一特徴量、各グループ第二特徴量を生成する（ステップＳ９１５）。各グループ第一特徴量はグループに属する文書帳票５の各個別第一特徴量の平均等の値であってもよい。同様に各グループ第二特徴量はグループに属する文書帳票５の各個別第二特徴量の平均等の値であってもよい。各グループ第一特徴量、各グループ第二特徴量は、各個別第一特徴量の平均、各個別第二特徴量の平均でなくとも、所定の統計処理や機械学習等の手法を用いて、グループに属する１つ又は複数の文書帳票５の記録文字列や非記録文字列を特定できるよう算出された特徴量であれば、どのようなもの手法を用いて、各グループ第一特徴量、各グループ第二特徴量を生成してもよい。読取対象特徴量生成部１０４は、グループそれぞれについて各グループ第一特徴量、各グループ第二特徴量を算出し、グループの識別子に対応付けてデータベース４に記録する（ステップＳ９１６）。
【００４７】
以上の処理により画像処理装置１は、作業者の記録文字列を記録する労力を軽減するために必要な情報を文書帳票のグループ毎に生成してデータベース４に蓄積することができる。これにより画像処理装置１は新たな文書帳票についての画像データに基づいて記録文字列を自動でデータベース４に記録していくことができる。以下、その処理について説明する。
【００４８】
図１０は第二実施形態による画像処理装置の処理フローを示す第二の図である。
作業者は新たな文書帳票を画像読取装置２に読み取らせる操作を行う。これにより画像読取装置２は文書帳票の画像データを生成して画像処理装置１へ出力する。画像処理装置１の取得部１０２は画像データを取得する（ステップＳ１００１）。取得部１０２は画像データを特徴量抽出部１０３へ出力する。特徴量抽出部１０３は画像データをＯＣＲ処理して、文字列と、文字列に含まれる文字の特徴と、その文字列の範囲の画像データ中の座標を検出する（ステップＳ１００２）。特徴量抽出部１０３はそれら検出した情報を含む第三特徴量を、画像データ中の文字列ごとに生成する（ステップＳ１００３）。第三特徴量は新たに読み込んだ画像データの文書帳票に含まれる文字列の特徴を示す情報である。
【００４９】
次にグループ特定部１０７が、データベース４からあるグループ第二特徴量のうち新たな文書帳票のグループ特定に利用するグループ第二特徴量を読み取る。当該グループ第二特徴量は例えば文書帳票の画像データに表示される発注者のエンブレム画像５０２に対応する特徴量であってよい。グループ特定部１０７はあるグループ第二特徴量に示す情報が、ステップＳ１００１で取得した文書帳票の画像データから特定できるかどうかを判定する。グループ特定部１０７は全てのグループについてのグループ第二特徴量を用いて同様の処理を行う。グループ特定部１０７はデータベース４から読み取ったグループ第二特徴量に一致する情報が新たに読み込んだ文書帳票の画像データから特定できた場合、そのグループ第二特徴量を有するグループを、新たに読み込んだ文書帳票の画像データのグループと特定する（ステップＳ１００４）。その後、グループ特定部１０７はデータベース４からそのグループについての１つまたは複数のグループ第一特徴量を読み出す（ステップＳ１００５）。グループ特定部１０７は記録部１０５へ第三特徴量と１つまたは複数のグループ第一特徴量を出力する。グループ第一特徴量はそのグループに属する文書帳票内の１つまたは複数の記録文字列を特定するための特徴量である。
【００５０】
記録部１０５は画像データ中の１つまたは複数の文字列についての第三特徴量と、１つまたは複数のグループ第一特徴量とを取得する。記録部１０５は各グループ第一特徴量に含まれる文字列の範囲を示す座標を用いて、各グループ第一特徴量が示す当該座標に対応する座標を有する第三特徴量が全て存在するかを判定する（ステップＳ１００６）。各グループ第一特徴量の座標に対応する座標を有する第三特徴量が全て存在する場合には、記録文字列に対応する文書帳票内の全ての記載事項に文字の記載が存在する。一方、各グループ第一特徴量の座標に対応する座標を有する第三特徴量が全て存在しない場合には、文書帳票内の何れかの記載事項に文字の記載が無い状態である。
【００５１】
ステップＳ１００６でＹＥＳの場合、記録部１０５は、グループ第一特徴量に含まれる文字属性と、座標に基づいて特定された対応する第三特徴量に含まれる文字属性がそれぞれ一致するかどうかを判定する（ステップＳ１００７）。
【００５２】
記録部１０５は、ステップＳ１００７の判定結果がＹＥＳとなり文字属性が一致する場合、現在処理している画像データにおいて１つまたは複数の第三特徴量が示す座標に基づく記録文字列の範囲に矩形枠を表示した確認画面を生成する。記録部１０５はその確認画面をモニタに出力する（ステップＳ１００８）。作業者はこの確認画面に表示された矩形領域を確認して、画像処理装置１が記録しようとする記録文字列を確認することができる。これにより作業者は記録文字列に不足が無いかを確認することができる。確認画面にはＯＫまたはＮＧの何れかのボタンのアイコン画像が表示されている。このボタンのアイコン画像のうちＯＫのボタンを選択することにより作業者は記録文字列としての選択に不足がないことを指示することができる。他方、ボタンのアイコン画像のうちＮＧのボタンを選択することにより作業者は記録文字列としての選択に不足があることを指示することができる。
【００５３】
記録部１０５は作業者のボタンのアイコン画像の押下に応じて、記録文字列の選択に不足が無いかを判定する（ステップＳ１００９）。記録部１０５は不足が無い場合には、第三特徴量に含まれる文字列を、文書帳票の識別情報に対応付けて記録テーブルに記録する（ステップＳ１０１０）。
【００５４】
例えば、文書帳票の画像データ中から第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３が取得できたとする。そして第三特徴量ａ３が予めデータベースに記録されているグループ第一特徴量ｇ１１と、第三特徴量ｂ３がグループ第一特徴量ｇ１２と、第三特徴量ｃ３がグループ第一特徴量ｇ１３と、第三特徴量ｄ３がグループ第一特徴量ｇ１４とそれぞれ特徴量が一致したとする。この場合、記録部１０５は、第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３それぞれに含まれる文字列を、文書帳票の記録テーブルに記録する。
【００５５】
上述のステップＳ１００６でＮＯの場合、またはステップＳ１００７でＮＯの場合、またはステップＳ１００９でＮＯの場合、記録部１０５は、グループ第一特徴量が示す当該座標に対応する座標を有する第三特徴量が存在しなかった場合の処理を行う。具体的には記録部１０５は、画像データ中の対応する座標の第三特徴量が存在しなかったグループ第一特徴量の座標の範囲に入力欄を設けた帳票画像の入力用画像データを生成してモニタに出力する（ステップＳ１０１１）。入力用画像データはＨＴＭＬやＸＭＬなどのマークアップ言語で記述されたデータであってよい。作業者はこの入力用画像データを見ながら、画像処理装置１のキーボード等の入力装置を操作して、モニタに表示されている入力用画像データ内の入力欄に記録文字列を入力する。当該入力用画像データには保存ボタンが表示されており、保存ボタンの押下操作をすると記録部１０５は既に文書帳票について取得した第三特徴量の他、新たに入力用画像データの入力欄に入力された文字列を含む第三特徴量を生成する（ステップＳ１０１２）。記録部１０５は帳票画像データの識別子と入力欄に入力された文字列とを対応付けてデータベース４に記録する。画像処理装置１は図９で示した処理フローを再度実施することによりグループ第一特徴量およびグループ第二特徴量が更新され、自動的に記録できる文字列の範囲を拡張することができる。これにより、次に同じ文書帳票を処理したときには、自動的に文字列を記録できるようになり、作業者が文字列を入力する手間を省くことができる。記録部１０５は、全ての第三特徴量それぞれに含まれる文字列を、文書帳票の記録テーブルに記録する（ステップＳ１０１３）。
【００５６】
このような処理によれば、画像処理装置１は予め作業者が記録しておいた複数の異なる文書帳票の画像データと記録文字列によって、新たに入力させた文書帳票の種別によらずにその文書帳票の画像データにおける記録文字列を自動的に記録することができる。したがって画像処理装置１は文書帳票における記録文字列の記録の作業者の労力を軽減することができる。
また文書帳票に記録文字列が記載されていない場合でも、本来、記載されているべき記録文字列に対応する記載事項が記載されていない場合には画像処理装置１は入力用画像データを出力する。これにより文書帳票において記載すべき記載事項に対して入力していない誤りが見つかると共に、その記載事項が示す記録文字列を容易に記録することができる。
【００５７】
＜第三実施形態＞
なお、画像処理装置１の処理の他の例としては、作業者が予め文書帳票のグループを画像処理装置１に登録しておいてもよい。例えば作業者は、過去において文書帳票の画像データを登録する際、文書帳票の種類に合わせてグループ識別子を入力しておき文書帳票の画像データと紐づけてデータベース４に登録しておく。これにより、同一グループ内に画像処理装置１の処理誤り等により異種の帳票が混じることがなくなり、精度のよいグループ第一特徴量およびグループ第二特徴量を抽出することができる。なおこの場合、登録時は作業者が文書帳票のグループを入力するが、新たな帳票に対しては、ステップＳ１００４と同じく、グループ第二特徴量を用いてグループ特定する。
【００５８】
＜第四実施形態＞
また、画像処理装置１の処理の他の例としては、ステップＳ９１２で画像処理装置１は個別第二特徴量を用いて文書帳票をグループ分けするだけでなく、個別第一特徴量を用いて、また個別第二特徴量と共に個別第一特徴量を用いて、文書帳票をグループ分けするようにしてもよい。個別第一特徴量は記録文字列の特徴量であるが、同じ種類の文書帳票であれば、記録文字列の座標やその文字属性は同じであると考えられ、個別第一特徴量を用いて帳票をグループ分けすることが可能となる。
この場合、取得部１０２が、複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった記録文字列とを取得する。そしてグループ分類部１０６が個別第一特徴量に基づいて帳票画像データをグループ分けする。そして、読取対象特徴量生成部１０４は、グループに含まれる帳票画像データに対応する個別第一特徴量を用いて当該グループごとの記録文字列のグループ第一特徴量を生成する。
また、最初のグループ分けを第三実施形態で示すように作業者が行い、新たな文書帳票に対してはステップＳ１００４の処理により個別第一特徴量を用いてグループ分けするようにしてもよい。これにより、ＯＣＲ処理において精度よく記録文字列を読み取ることが可能となる。
【００５９】
＜第五実施形態＞
第二実施形態においてはステップＳ１００４において第二特徴量に基づいて新たな帳票のグループを特定している。しかしながら、別の処理態様として、画像処理装置１はグループを特定する処理を行わずに、作業者により設定された全グループに対して、１グループごとに順に特定してグループ第一特徴量を読み出し、第三特徴量と一致する個数をカウントする。正しいグループの場合には最も多くグループ第一特徴量と第三特徴量とが一致するはずなので、画像処理装置１は一致個数が最も多いときの特定グループの第三特徴量それぞれに含まれる文字列をステップＳ１００８において記録する。これにより、グループを特定しなくても記録文字列を記録することができる。
この場合、グループ第一特徴量の生成用にデータベース４に蓄えられる文書帳票の画像データが、作業者によって予めグループ分けされていてもよい。取得部１０２は、複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった記録文字列とを取得する。そして、特徴量抽出部１０３は、取得部１０２の取得した帳票画像データを文字認識処理した結果に基づいて、記録文字列の特徴を示す個別第一特徴量を抽出する。読取対象特徴量生成部１０４は、予め設定された所定のグループに含まれる帳票画像データに対応する個別第一特徴量を用いて当該グループごとの記録文字列のグループ第一特徴量を生成する。
【００６０】
＜第六実施形態＞
第一実施形態の図７の処理で、画像処理装置１が、文字認識に成功した場合、失敗した場合のいずれも特徴量の機械学習を行うようにしてもよい。第六実施形態では、この点について説明する。
第六実施形態は、第一実施形態の図７の処理以外は第一実施形態と同様であり、図１〜６を援用する。
【００６１】
図１１は、第六実施形態による画像処理装置の処理フローを示す図である。図１１のステップＳ１１０１〜Ｓ１１０８は、図７のステップＳ７０１〜Ｓ７０８と同様である。図１１のステップＳ１１１０〜１１１２は、図７のステップＳ７０９〜Ｓ７１１と同様である。図１１のステップＳ１１１４は、図７のステップＳ７１２と同様である。
従って、図１１の処理では、図７のステップＳ７０８とＳ７０９との間にステップＳ１１０９が入り、図７のステップＳ７１１とＳ７１２との間にステップＳ１１１３が入っていることになり、それ以外は、図７と同様である。
ステップＳ１１０９、Ｓ１１１３の何れでも、画像処理装置１の読取対象特徴量生成部１０４が図６の処理を行って第一特徴量を更新する。読取対象特徴量生成部１０４は、未学習の状態から図６の処理をやり直す必要はなく、画像データ１枚分の追加学習を行えばよい。
【００６２】
ここで、ＯＣＲ処理に失敗した場合（ＯＣＲ処理では記録文字列を適切に得られなかった場合）のみ学習を行うように、図１１のステップＳ１１０９では機械学習を行わず、ステップＳ１１１３でのみ機械学習を行うことが考えられる。しかし、この場合、画像処理装置１がＯＣＲ処理に成功すると機械学習を行わない結果、文書帳票の書式の統計的な情報が機械学習に反映されない場合がある。
例えば、文書帳票１００枚中９９枚まで左下に記録文字列があり、１枚だけ右上に記録文字列がある場合を考える。この場合、画像処理装置１が、同じ位置に記録文字列がある文書帳票では画像処理装置１がＯＣＲ処理に成功する（ステップＳ１１０８：ＹＥＳとなる）と、記録文字列が左下にある場合、右上にある場合とも１回ずつ学習を行う。実際には９９対１の割合であるのに、画像処理装置１の学習では１対１の割合で学習を行うことになり、記録文字列が右上にある場合について過学習してしまう可能性がある。
これに対し図１１のように、画像処理装置１がＯＣＲ処理に成功した場合、失敗した場合のいずれも機械学習（第一特徴量の更新）を行うことで、文書帳票の書式の統計的な情報を機械学習に反映させることができる。
第二実施形態〜第五実施形態についても同様に、画像処理装置１が、図１０のステップＳ１００９とＳ１０１０との間、ステップＳ１０１２とＳ１０１３との間のいずれでも図９の処理を行うようにしてもよい。
【００６３】
＜第七実施形態＞
画像処理装置１が、例えば既存のＯＣＲシステムなど、文書帳票のスキャンまたは撮影を行うシステムからデータを取得して機械学習を行うようにしてもよい。第七実施形態ではこの点について説明する。以下では、画像処理装置１が既存のＯＣＲシステムからデータを取得する場合を例に説明する。但し、画像処理装置１へのデータ提供元は、既存のＯＣＲシステムに限定されずいろいろなシステムまたは装置とすることができる。例えば、画像処理装置１が、売り上げの日付、売り先、金額、証跡となる画像データをデータベースに保存するシステム（例えば、営業情報システム、または、経理情報システム）からデータを取得するようにしてもよい。特に、情報提供元のシステムまたは装置が、ＯＣＲ機能を有している必要はない。
【００６４】
図１２は、第七実施形態による画像処理システムと既存ＯＣＲシステムとの接続例を示す図である。図１２に示す構成では、図１の構成に加えて既存ＯＣＲシステム９が画像処理装置１に接続されている。この構成で、既存ＯＣＲシステム９については、画像データ生成機能（スキャン機能）およびユーザインタフェースを使用し、文字認識機能は使用しない。文字認識については画像処理装置１が行う。その他の点は第一実施形態と同様である。図１〜７を援用し画像データの取得、およびユーザインタフェースについては既存ＯＣＲシステム９を用いるものと読み替える。
【００６５】
図１３は、第七実施形態による画像処理装置の処理フローを示す図である。図１３では、画像処理装置１が行う処理と既存ＯＣＲシステム９が行う処理との関係を示している。
図１３の処理で、既存ＯＣＲシステムが作業者の操作に従ってスキャンを行い画像データを生成する（シーケンスＳ１３０１）。既存ＯＣＲシステム９は、得られた画像データを画像処理装置１へ送信する（シーケンスＳ１３０２）。
画像処理装置１は、画像データを受信するとＯＣＲ処理を行う（シーケンスＳ１３０３）。例えば、画像処理装置１は、図７のステップＳ７０２以下の処理を行い、記録文字列を取得する。特に、記録部１０４が、ＯＣＲ処理結果の文字列の中から記録文字列を特定する。
画像処理装置１は、文字認識結果の文字列（記録文字列）を既存ＯＣＲシステム９へ送信する（シーケンスＳ１３０４）。
既存ＯＣＲシステム９は、文字認識結果を作業者に提示して、文字認識結果の確認および修正の後確定操作を受ける（シーケンスＳ１３０５）。既存ＯＣＲシステム９は、確定された文字列（修正結果の記録文字列）を画像処理装置１へ送信する（シーケンスＳ１３０６）。
画像処理装置１は、修正結果を受信すると、機械学習を行う（シーケンスＳ１３０７）。
画像処理装置１は、シーケンスＳ１３０２で画像データを取得し、シーケンスＳ１３０６で作業者が確定している修正結果の文字列を取得している。この画像データおよび文字列を用いて、例えば図６の処理手順で機械学習を行うことができる。画像処理装置１が、ある程度データがたまってから纏めて機械学習を行うようにしてもよいし、データを入手する毎に追加学習を行うようにしてもよい。
このように、第七実施形態によれば画像処理装置１は、作業者による既存ＯＣＲシステム９の一般的な使用を利用して、機械学習を行うことができる。特に、読取対象特徴量生成部１０４が、第一特徴量を更新することができる。
第二実施形態〜第六実施形態についても同様に、画像処理装置が既存ＯＣＲシステムを用いて機械学習を行うようにしてもよい。
【００６６】
＜第八実施形態＞
画像処理装置の学習機能をサーバ化して学習を加速させるようにしてもよい。第八実施形態ではこの点について説明する。
図１４は、第八実施形態による画像処理システム２００の概要を示す図である。図１４の構成で、画像読取装置２は、図１の場合と同様である。
図１の画像処理装置１の機能は、機械学習を行う学習機能部１ｂと、それ以外の機能を実行するＯＣＲ機能部１ａとに分けられ、サーバクライアントの構成となっている。特に、学習機能部１ｂは、第一特徴量の生成および更新を行う。また、学習機能部１ｂは、記録装置３の機能も実行して、学習結果データベース４ｂを管理する。ＯＣＲ機能部１ａは、ＯＣＲ処理、第三特徴量の抽出、記録文字列の特定、作業者に対するユーザインタフェース等の機能を実行する。ＯＣＲ機能部１ａは、ＯＣＲ処理にて文字列の検出、文字列に含まれる文字の特徴の検出、および、文字列の範囲の座標の検出を行う。
ＯＣＲ機能部１ａは、端末装置６に格納されている。学習機能部１ｂはサーバ装置７に格納されている。
図１のデータベース４は、ＯＣＲ結果データベース４ａと、学習結果データベース４ｂとに分けられている。ＯＣＲ結果データベース４ａは、記録テーブルなどＯＣＲ処理の結果を記憶する。学習結果データベース４ｂは、第一特徴量など機械学習の際に得られるデータを記憶する。学習結果データベース４ｂは、サーバ装置７に格納されている。一方、ＯＣＲ結果データベースは１つの装置として構成されている。
【００６７】
図１５は、第八実施形態による端末装置の処理フローを示す図である。
図１５の処理で、端末装置６は、画像処理装置２により文書帳票の画像データを読み取り、画像データに対応する学習結果をサーバ装置７からダウンロードする（ステップＳ１５０１）。特に、端末装置６は、学習結果として第一特徴量を取得する。
端末装置６は、画像データに含まれる全ての文字列をＯＣＲ処理し、学習結果に当てはまるものを画面表示する（ステップＳ１５０２）。具体的には、端末装置６は、学習結果である第一特徴量を用いて、第一特徴量に当てはまる記録文字列を特定する。
【００６８】
端末装置６は、画像データ内の全てのＯＣＲ対象文字列が正しく読み取れているか判定する（ステップＳ１５０３）。読み取れていない文字列があると判定した場合（ステップＳ１５０３：ＮＯ）、端末装置６は、ＯＣＲ結果を画面表示にて作業者に提示し、修正操作を受ける（ステップＳ１５０４）。
端末装置６は、読み取った文字列（作業者の修正を受けた場合は修正後の文字列）をＯＣＲ結果データベース４ａに送信し記録する（ステップＳ１５０５）。具体的には、端末装置６は、記録文字列をＯＣＲ結果データベース４ａに記憶させる。ステップＳ１５０３でＹＥＳの場合も、処理がステップＳ１５０５へ進む。
端末装置６は、読み取った文字列および位置情報など学習用データをサーバ装置７へ送信する（ステップＳ１５０６）。
図１５の処理により、端末装置６は、ＯＣＲ結果として記録すべき記録文字列をＯＣＲ結果データベースに記録し、また、サーバ装置７に学習用データを提供している。
【００６９】
図１６は、第八実施形態によるサーバ装置の処理フローを示す図である。
図１６の処理で、サーバ装置７は、端末装置６から学習用データを受信して保存する（ステップＳ１６０１）。
サーバ装置７は、未学習の学習用データがＮ個（Ｎは、正整数）蓄積されたかを判定する（ステップＳ１６０２）。蓄積されていないと判定した場合（ステップＳ１６０２：ＮＯ）、ステップＳ１６０１へ戻る。
一方、未学習の学習用データがＮ個蓄積されたと判定した場合（ステップＳ１６０２：ＹＥＳ）、サーバ装置７は、学習用データとして受信した帳票の受信結果データを学習結データベースから読み込む（ステップＳ１６０３）。
次に、サーバ装置７は、読み込んだ学習結果データに新しい学習用データを追加し、再学習する（ステップＳ１６０４）。
サーバ装置７は、再学習結果を学習結果データベース４ｂに登録する（ステップＳ１６０５）。
そして、サーバ装置７は、端末装置６から学習用データを受信するまで待機する（ステップＳ１６０６）。ステップＳ１６０６の後、処理がステップＳ１６０１へ戻る。
図１６の処理で、サーバ装置７は、学習結果としての第一特徴量を更新している。更新された第一特徴量は、学習結果データベース４ｂに登録されて端末装置６の利用に供される。
第八実施形態によれば、画像処理装置の学習機能をサーバ化して学習用データを集約し学習を加速させることができる。
【００７０】
なお、サーバ装置７が再学習等の機械学習を行うタイミングは、図１６のステップＳ１６０２に示される、学習用データが一定数蓄積されたタイミングに限定されない。例えば、サーバ装置７が、一定期間ごとに学習を行うようにしてもよい。特に、サーバ装置７が、データ数の条件に加えてあるいは代えて、時間的な条件に従って学習を開始するようにしてもよい。
【００７１】
サーバ装置７が一定期間ごとに学習を行う例として、サーバ装置７が、端末装置６が稼働しない夜間または休業日に学習を行う場合が挙げられる。ここで、端末装置６の稼働中にサーバ装置７が学習を行うと、サーバ装置７の学習機能部１ｂによる学習結果データベースへのアクセスが生る。これにより、端末装置６から学習結果データベース４ｂへのアクセスに遅延が生じる、あるいは、アクセスが必要なタイミングでアクセスできないといった不都合が生じる可能性がある。そこで、サーバ装置７が、端末装置６が稼働していないときに学習を行うことで、端末装置６から学習結果データベース４ｂへのアクセスへの影響を回避できる。
【００７２】
なお、サーバ装置７に加えて、あるいは代えて、端末装置６が機械学習を行うようにしてもよい。
ここで、サーバ装置７が機械学習を行い、端末装置６は学習を行わない場合、サーバ装置７が機械学習を行って学習結果（第一特徴量）を更新し、端末装置６と学習結果を共有するまで、端末装置６の処理の精度は向上しない。例えば、サーバ装置７が毎日夜間のみ機械学習を行う場合、端末装置６が更新後の学習結果を使用できるのは翌朝以降となってしまう。例えば端末装置６が午前中に学習用データを生成してサーバ装置７へ送信した場合でも、その学習の結果が端末装置６の処理に反映されるのは、約一日後の翌日朝となる。
【００７３】
そこで、端末装置６の各々が、帳票を一枚処理する毎に機械学習を行う。端末装置６は、学習結果を自らの処理に反映させるとともに、学習結果または学習用データをサーバ装置７へ送信する。端末装置６は、帳票の処理で特徴量（第三特徴量）を生成する。そして、端末装置６は、学習結果データベースから取得した第一特徴量を、生成した特徴量を用いて更新する。例えば、端末装置６は、図１５のステップＳ１５０６で、学習用データをサーバ装置７へ送信するとともに、その学習用データを用いて自ら機械学習を行い、端末装置６自らが記憶している第一特徴量を更新する。あるいは、端末装置６が、図１５のステップＳ１５０６で、学習用データに加えて学習結果（得られた特徴量）をサーバ装置７へ送信するようにしてもよい。
端末装置６は、自ら学習を行うことで、自らの学習結果を自らの処理に反映させることができる。この点で、端末装置６自らは機械学習を行わずサーバ装置７による学習結果の更新を待ち受ける場合よりも早く端末装置６の処理制度が向上することが期待される。
端末装置６の各々が行う機械学習を仮学習と称する。
【００７４】
端末装置６がサーバ装置７へ学習用データを送信する場合、サーバ装置７が行う処理は、図１６を参照して説明したのと同じである。
一方、端末装置６がサーバ装置７へ学習結果を送信する場合、サーバ装置７は、各端末装置６からの学習結果を蓄積しておく。そして、サーバ装置７は、例えば夜間に端末装置６から得られた学習結果を、学習結果データベース４ｂが記憶している学習結果に反映させる。具体的には、サーバ装置７の学習機能部１ｂが、端末装置６が学習で取得した特徴量を用いて、学習用データベース４ｂが記憶している第一特徴量を更新する。
学習結果データベースが記憶している第一特徴量を更新する処理を本学習と称する。
【００７５】
図１７は画像処理装置の最小構成を示す図である。
この図が示すように画像処理装置１は、少なくとも特徴量抽出部１０３と、読取対象特徴量生成部１０４とを備えればよい。
特徴量抽出部１０３は、過去に登録された複数の帳票画像データを文字認識処理した結果に基づいて、帳票画像データに含まれる文字列の特徴を示す特徴量を帳票画像データ毎に抽出する。
読取対象特徴量生成部１０４は、帳票画像データに対応する特徴量を用いて当該帳票画像データ中の記録文字列の第一特徴量を生成する。
【００７６】
上述の各装置は内部に、コンピュータシステムを有している。そして、各装置に上述した各処理を行わせるためのプログラムは、それら装置のコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムを各装置のコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００７７】
また、上記プログラムは、前述した各処理部の機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００７８】
１・・・画像処理装置
１ａ・・・ＯＣＲ機能部
１ｂ・・・学習機能部
２・・・画像読取装置
３・・・記録装置
４・・・データベース
４ａ・・・学習結果データベース
４ｂ・・・ＯＣＲ結果データベース
５・・・文書帳票
６・・・端末装置
７・・・サーバ装置
１０１・・・制御部
１０２・・・取得部
１０３・・・特徴量抽出部
１０４・・・読取対象特徴量生成部
１０５・・・記録部
１０６・・・グループ分類部
１０７・・・グループ特定部
１０８・・・作業対象判定部
１０９・・・作業データ生成部
【図１】
2019008775.tif 000003
【図２】
2019008775.tif 000004
【図３】
2019008775.tif 000005
【図４】
2019008775.tif 000006
【図５】
2019008775.tif 000007
【図６】
2019008775.tif 000008
【図７】
2019008775.tif 000009
【図８】
2019008775.tif 000010
【図９】
2019008775.tif 000011
【図１０】
2019008775.tif 000012
【図１１】
2019008775.tif 000013
【図１２】
2019008775.tif 000014
【図１３】
2019008775.tif 000015
【図１４】
2019008775.tif 000016
【図１５】
2019008775.tif 000017
【図１６】
2019008775.tif 000018
【図１７】
2019008775.tif 000019