(57)【要約】【課題】精度よくキーワードを取得することを目的とする。【解決手段】入力画像を二値化して二値画像を生成する手段（Ｓ３０２）と、前記二値画像から文字領域を抽出する手段（Ｓ３０３）と、予め設定されたキーワードに対応した項目値の検索条件に基づいて、複数の文字領域の中から、項目値を示す項目値の領域の候補を特定する第１の領域を特定する手段（Ｓ３０４）と、項目値とキーワードの位置関係と、項目値の領域の候補の位置と、に基づいて、入力画像の中から、少なくとも１つのキーワード領域の候補を特定する第２の領域を特定する手段（Ｓ３０７）とを有し、第２の領域を特定する手段によって特定した全ての前記キーワード領域の候補において、前記入力画像の前記キーワード領域を二値化する（Ｓ３０９）ことを特徴とする。【選択図】図３
2020047138.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を二値化して二値画像を生成する手段と、前記二値画像から文字領域を抽出する手段と、予め設定されたキーワードに対応した項目値の検索条件に基づいて、複数の文字領域の中から、項目値を示す項目値の領域の候補を特定する第１の領域を特定する手段と、項目値とキーワードの位置関係と、項目値の領域の候補の位置と、に基づいて、入力画像の中から、少なくとも１つのキーワード領域の候補を特定する第２の領域を特定する手段とを有し、第２の領域を特定する手段によって特定した全ての前記キーワード領域の候補に対して前記入力画像の前記キーワード領域を二値化することを特徴とする情報処理装置。
【請求項２】
第２の領域を特定する手段によって特定した全ての前記キーワード領域の候補に対して前記二値画像の生成に用いた閾値とは異なる閾値で前記入力画像の前記キーワード領域を二値化することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記二値画像の文字領域から、予め設定された前記キーワードの近接に配置されている近接文字を特定する手段と、予め設定された前記キーワードと前記近接文字との位置関係から、前記キーワード領域の候補を特定する第３の領域を特定する手段を有することを特徴とする請求項１または請求項２に記載の情報処理装置。
【請求項４】
前記第２の特定手段により特定したキーワード領域の候補と前記第３の特定手段により特定したキーワード領域の候補との共通領域を特定し、前記共通領域を二値化することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
第２の領域を特定する手段によって特定した全ての前記キーワード領域の候補に対応する項目値に対して前記二値画像の生成に用いた閾値とは異なる閾値で前記入力画像の前記キーワード領域を二値化することを特徴とする請求項１又は請求項２に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、帳票等のスキャン画像に対して、画像中に記載されている名前や合計金額などが記載されている領域を特定し、文字認識をすることで情報を抽出するシステムがある。名前や合計金額等の記載位置が異なるような非定型文書を対象として、特定の情報を抽出する技術も知られている。非定型文書を対象とする場合、例えば、事前にキーワードとなる項目名を設定しておき、スキャン画像に対する文字認識により、キーワードを特定し、キーワードの周辺（右や下等）の文字列をキーワードに対応する項目値として取得する。しかし、文字認識処理における文字認識精度は１００％ではなく、誤認識によるキーワードの取得に失敗することがある。
【０００３】
特許文献１には、キーワードの取得に失敗した際、項目値とキーワードの位置関係など、認識できた文字領域の情報を用いて、複数の文字領域の中からキーワードを示すキーワード領域の候補を特定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−５５２５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、項目名の文字がキーワードとして取得できない場合がある。例えば、項目名が濃度の薄い文字や輝度の高い文字、かすれ文字であった場合である。理由は以下の通りである。すなわち、スキャン後の画像は様々な濃度の画素が混在した多値画像であり、通常、文字認識処理を行う前に適切な閾値で白黒のみの二値画像に変換する。しかし、文字以外にも図などの高濃度の画素が含まれている場合、濃度の薄い文字などは二値化処理によって白画素として丸められることにより文字認識に失敗することが多いため、キーワードとして取得できないことが多い。また同様の理由により、キーワードに対応する項目値の文字濃度が薄い場合も文字認識に失敗することが多い。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明に係る情報処理装置は、
入力画像を二値化して二値画像を生成する手段と、前記二値画像から文字領域を抽出する手段と、予め設定されたキーワードに対応した項目値の検索条件に基づいて、複数の文字領域の中から、項目値を示す項目値の領域の候補を特定する第１の領域を特定する手段と、項目値とキーワードの位置関係と、項目値の領域の候補の位置と、に基づいて、入力画像の中から、少なくとも１つのキーワード領域の候補を特定する第２の領域を特定する手段とを有し、第２の領域を特定する手段によって特定した全ての前記キーワード領域の候補において、前記入力画像の前記キーワード領域を二値化することを特徴とする。
【発明の効果】
【０００７】
本発明に係る情報処理装置によれば、スキャナにより読込んだ帳票内の文字から、精度よくキーワードとキーワードに対応する項目値を取得することができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る情報処理システムを示す図である。
【図２】帳票のスキャン画像の一例を示す図である。
【図３】キーワードとキーワードに対応する項目値の取得処理を示すフローチャートである。
【図４】罫線除去後の二値画像に対する文字領域の抽出結果を示す図である。
【図５】（ａ）はキーワードとして取得しやすい文字の一例を示す図である。（ｂ）、（ｃ）はキーワードとして取得しやすい文字の一例を示す図である。
【図６】帳票の二値画像に対する文字領域の抽出結果の一例を示す図である。
【図７】キーワード文字領域の推定処理を示すフローチャートである。
【図８】キーワード領域候補として取得する領域の一例を示す図である。
【図９】キーワード文字領域の推定処理を示すフローチャートである。
【図１０】キーワード領域候補として取得する領域の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態について図面を用いて説明する。
【００１０】
（第一の実施形態）
図１は、第１の実施形態に係る情報処理システムを示す図である。情報処理システムは、複写機１００と、情報処理装置１１０とを有している。複写機１００は、スキャナ１０１と、プリンタ１０２と、複写機側通信部１０３とを有している。スキャナ１０１は、文書のスキャンを行い、スキャン画像を生成する。プリンタ１０２は、画像を形成する。複写機側通信部１０３は、ネットワークを介して外部装置と通信を行う。
【００１１】
情報処理装置１１０は、ＣＰＵ１１１と、ＲＯＭ１１２と、ＲＡＭ１１３と、ＨＤＤ１１４と、表示部１１５と、入力部１１６と、情報処理装置側通信部１１７とを有している。ＣＰＵ１１１は、ＲＯＭ１１２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１１３は、ＣＰＵ１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１１４は、各種データや各種プログラム等を記憶する。なお、後述する情報処理装置１１０の機能や処理は、ＣＰＵ１１１がＲＯＭ１１２又はＨＤＤ１１４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
【００１２】
情報処理装置側通信部１１７は、ネットワークを介して外部装置との通信処理を行う。表示部１１５は、各種情報を表示する。入力部１１６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。なお、表示部１１５と入力部１１６は、タッチパネルのように一体に設けられていてもよい。また、表示部１１５は、プロジェクタによる投影を行うものであってもよく、入力部１１６は、投影された画像に対する指先の位置を、カメラで認識するものであってもよい。
【００１３】
本実施形態においては、複写機１００のスキャナ１０１が帳票等をスキャンし、入力画像（スキャン画像）を生成する。そして、入力画像は、複写機側通信部１０３により情報処理装置１１０に送信される。情報処理装置１１０においては、情報処理装置側通信部１１７が入力画像を受信し、これをＨＤＤ１１４等の記憶部に記憶する。なお、スキャナ１０１のスキャン対象となる帳票は非定型帳票である。非定型帳票とは、記載されるキーワードの文字列又はその意味が同じ単語が含まれるが、これらの文字が記載される位置が異なるもの（帳票のフォーマットが未知のもの）のことである。また、非定型帳票においては、罫線の位置も異なる。これに対応し、情報処理装置１１０のＨＤＤ１１４には、非定型帳票に対応した、各情報の記載位置が異なる複数の入力画像が記憶されている。
【００１４】
図２は、帳票のスキャン画像２００の一例を示す図である。スキャン画像２００において、例えば、「小計」２０１がキーワードであり、対応する項目値は、「￥１，１００，０００」２０２である。スキャン画像２００に対応し、情報処理装置１１０のＨＤＤ１１４等の記憶部には、処理対象となるキーワードと、キーワードに対応した項目値と、が対応付けて格納されている。また、項目値のキーワードとの位置関係を示す位置関係情報も、ＨＤＤ１１４に格納されている。
【００１５】
さらに、検索対象となる対象画像において得られた文字列領域に対する文字認識結果からキーワード領域か否かを判定する判定条件、項目値を検索するための検索条件、キーワードと項目値の位置関係情報がＨＤＤ１１４等に格納されているものとする。キーワード、項目値、キーワードの判定条件、項目値の検索条件、位置関係情報は、例えば、ユーザ操作に応じて、ＣＰＵ１１１がＨＤＤ１１４等への記録を行う。
【００１６】
図３は、キーワードとキーワードに対応する項目値の取得処理を示すフローチャートである。ここでは、キーワード「合計」に対する項目値を特定する場合を例に説明する。また、本実施形態において、項目値の特定の対象となる画像は、複写機１００のスキャナ１０１により得られたスキャン画像であり、ネットワークを介して情報処理装置側通信部１１７が受信し、ＨＤＤ１１４に記憶されているものとする。
【００１７】
Ｓ３０１において、複写機１００のスキャナ１０１により帳票をスキャンし、ＣＰＵ１１１がスキャン画像をＨＤＤ１１４に格納する。
【００１８】
次に、Ｓ３０２において、ＣＰＵ１１１は、スキャン画像に対して二値化処理を行う。二値化処理とは、画像を白と黒の２階調に変換する処理のことであり、閾値より濃い色の画素は黒画素、その閾値より薄い色の画素は白画素となる。本実施形態では、スキャン画像全体のヒストグラムから閾値を決定して二値画像を作成する手法を用いたが、その後の領域抽出が可能な精度で白と黒の二値に変換されれば具体的な手法は問わない。
【００１９】
次に、Ｓ３０３において、ＣＰＵ１１１は、作成した二値画像から文字領域の抽出を行い、抽出した各文字領域に対して文字認識処理を行う。
【００２０】
文字領域の抽出処理では、直線および罫線を構成する黒画素塊を除去した後の画像において、全ての黒画素塊に外接矩形を設定する。さらに、外接矩形同士の距離が閾値以内であるか判定する。具体的には、外接矩形を一つ一つ選択し、選択された外接矩形からの距離が閾値以内である外接矩形を検出し、検出した複数の外接矩形を統合する。
【００２１】
新たな外接矩形の設定、複数の外接矩形の削除が完了した後、その認識セル内の外接矩形をまた初めから一つ一つ選択し、互いの間の距離が閾値以内である外接矩形同士を統合していく。以上の処理を繰り返す。即ち、互いの間の距離が閾値以内である外接矩形が無くなるまで、外接矩形同士の統合が繰り返される。以上の処理が終わった後に設定されている外接矩形が、文字領域となる。図４は、罫線除去後の二値画像に対する文字領域の抽出結果を示す図である。例えば、４０１、４０２、４０３、４０４、４０５、４０６はそれぞれ「合計」、「￥１，１８８，０００」、「消費税」、「￥８８，０００」、「小計」、「￥１，１００，０００」の文字列を含む文字領域である。
【００２２】
次に、文字認識処理では、各文字領域に対して文字認識を行う（以下、文字認識により得られた文字を認識文字とする）。認識文字は、スキャン画像中のオリジナル文字に対する文字認識により得られた文字コードや、文字コードに対応した文字である。文字認識結果として得られた認識文字は、対応する文字領域に対応付けてＲＡＭ１１３等の記憶部に記録される。
【００２３】
次に、Ｓ３０４において、ＣＰＵ１１１は、Ｓ３０１により得られた各文字領域の認識文字に基づいて、キーワードと一致する文字を検索する。例えば、図４の画像４００から得られた複数の各文字列からキーワード「合計」と一致する文字列を検索する。なお、ＣＰＵ１１１がキーワードと一致すると判定するための判定条件は、予めＨＤＤ１１４に格納されているものとする。
【００２４】
判定条件は、認識文字に対する信頼度が第１の信頼度閾値以上である場合に、認識文字がキーワードと一致すると判定するというものである。ここで、信頼度は、キーワードらしさを表す指標である。キーワードである可能性が高い程、信頼度は高い値となる。信頼度の数値範囲は例えば０〜１００とするが、数値範囲は実施形態に限定されるものではない。
【００２５】
次に、Ｓ３０５において、ＣＰＵ１１１は、いずれかの文字領域からキーワードが検出された場合には（Ｓ３０５でＹｅｓ）、キーワードが検出された領域をキーワード領域とし、処理をＳ３０６へ進める。ＣＰＵ１１１は、キーワードが検出されなかった場合には（Ｓ３０５でＮｏ）、処理をＳ３０７へ進める。
【００２６】
図５（ａ）、（ｂ）、（ｃ）に、帳票に記載された文字情報の一例を示す。帳票内の文字の大半が文字５０１のような濃度であった場合、薄文字５０２のように薄い文字がふくまれていると、帳票画像の二値化処理によって薄文字５０２が白画素として丸められてしまい、文字認識に失敗するケースがある。また、低コントラスト文字５０３のように背景との濃度差が小さい文字が含まれている場合、二値化処理により低コントラスト文字５０３とその背景が黒画素として丸められるため、キーワードとして検出できない。
【００２７】
次に、Ｓ３０６において、ＣＰＵ１１１は、文字領域の中からキーワードに対応する項目値が示される文字領域を特定して項目値を特定する。項目値の特定は、まずキーワードの下、または右側の最近接文字列を取得し、その文字列が項目値のフォーマットに合致するかを判定する。本実施形態においては、項目値のフォーマット（例えば、「合計」の場合は「ＹＸＸＸ」、「ＹＸＸＸ，ＸＸＸ」、「ＸＸＸＹ」「ＸＸＸ，ＸＸＸＹ」（Ｙには通貨単位、Ｘには数字が入る）など）が予めＨＤＤ１１４に格納されているものとする。図４の例では、キーワード「合計」４０１の右側の最近接文字列として項目値「￥１，１８８，０００」４０２を取得し、項目値のフォーマットに合致するかを判定する。ＣＰＵ１１１は、認識文字が項目値の設定値に合致する場合は認識文字を項目値として特定して処理を終了し、認識文字が項目値の設定値に合致しない場合は項目値の特定に失敗したと判断して処理を終了する。
【００２８】
一方、キーワードＳ３０７において、検出されなかったキーワード領域の位置を推定する。図６に帳票の二値画像に対する文字領域の抽出結果の一例を示す。文字領域の取得に失敗した場合、帳票の二値画像６００内から取得できた文字の位置や文字種の情報を利用してキーワード「合計」の文字領域６０１を推定する。
【００２９】
図７に、キーワード領域の推定処理に関するフローチャートを示す。Ｓ７０１において、帳票の二値画像６００から取得した文字情報を解析し、キーワード「合計」に対応する項目値のフォーマットに合致する文字を検索する。合致する文字が存在する場合には（Ｓ７０２でＹｅｓ）、処理をＳ７０３へ進め、存在しなかった場合は（Ｓ７０２でＮｏ）、キーワード領域の推定処理を終了する。帳票の二値画像６００において、上記フォーマットに合致する文字列は、フォーマット合致文字６０２、６０４、６０６、６０８である。また、Ｓ７０１において、有限オートマトンを用いた類似検索を用いても良い。
【００３０】
次に、Ｓ７０３において、各文字情報に対応するキーワードを検索する。対応するキーワードのない文字が一つ以上存在する場合は（Ｓ７０４でＹｅｓ）、処理をＳ７０５へ進め、すべての文字情報に対応するキーワードが存在する場合は（Ｓ７０４でＮｏ）、キーワード領域の推定処理を終了する。例えば、フォーマット合致文字６０４、６０６、６０８はそれぞれキーワード文字６０３（「消費税」）、６０５（「小計」）、６０７（「ご請求金額」）が対応するキーワードとなる。
【００３１】
一方、フォーマット合致文字６０２は対応するキーワードがないため、ＣＰＵ１１１は、フォーマット合致文字６０２をキーワード「合計」に対応する項目値の候補と判断する。なお、「消費税」、「小計」、「金額」、「日付」、「数量」、「品目」などのキーワード情報は、各々に対応する項目値のフォーマットとともに予めＨＤＤ１１４に格納されているものとする。
次に、Ｓ７０５において、ＣＰＵ１１１は、キーワードに対応する項目値の上、または左方向をキーワード領域の候補として取得し、ＲＡＭ１１３等の記憶部に記録される。キーワードは、通常、対応する項目値の上側、もしくは左側に配置されるため、項目値の上、左方向のみをキーワード領域の候補とする。
【００３２】
図８に、キーワード領域候補として取得する帳票内の領域を示す。図８の帳票内のうち、キーワードに対応する項目値を含まないキーワード領域８０１、８０２がキーワード領域候補である。項目値の上、または左方向に他の認識文字が存在する場合は、その認識文字までをキーワード領域とする（その認識文字自体は含まない）。
【００３３】
図３に戻り、Ｓ３０８において、キーワード領域の推定に成功した場合は（Ｓ３０８でＹｅｓ）、処理をＳ３０９へ進め、キーワード領域の推定に失敗した場合は（Ｓ３０８でＮｏ）、キーワードとキーワードに対応する項目値の取得処理を終了する。
【００３４】
次に、Ｓ３０９において、Ｓ３０１でスキャンした帳票内の推定したキーワード領域８０１、８０２に対して二値化を行い、Ｓ３１０において、推定したキーワード領域で文字認識処理を行う。
【００３５】
次に、Ｓ３１１において、推定したキーワード領域８０１、８０２で取得した文字情報の中にキーワードが含まれているかを検索する。キーワードの取得に成功した場合は（Ｓ３１２でＹｅｓ）、処理をＳ３０６へ進め、キーワードの取得に失敗した場合は（Ｓ３１２でＮｏ）、キーワードとキーワードに対応する項目値の取得処理を終了する。
【００３６】
本実施形態により、項目名が濃度の薄い文字や輝度の高い文字、かすれ文字であった場合でも、その項目名をキーワードとして取得できるため、従来技術より精度よくキーワードとキーワードに対応する項目値を取得することができる。
【００３７】
（第二の実施形態）
第二の実施形態については、第一の実施形態との差分のみの説明とし、特に明記しない部分については第一の実施形態と同じ構成／手順となる。
【００３８】
第一の実施形態では、キーワードの位置を推定するために、認識文字の中からキーワードに対応した項目値の候補を検索した。しかしその実施形態以外にも、他のキーワードを用いて対象のキーワードを検索しても良い。
【００３９】
例えば、一般的な帳票において、キーワード「合計」は「小計」、「消費税」、「手数料」といった文字と並べて記載されていることが多く、「合計」の上もしくは左に配置している。よって、これらの文字を近接語として「合計」と紐づけ、文字情報および「合計」との位置関係情報をＨＤＤ１１４に保存しておくことで、キーワード「合計」領域の推定に用いることが出来る。
【００４０】
具体的には、図９のＳ９０１において、キーワードに紐づいた近接語が存在する場合は（Ｓ９０１でＹｅｓ）、Ｓ９０２において帳票内から近接語を検索する。近接語の検索がヒットした場合は（Ｓ９０３でＹｅｓ）、Ｓ９０４において近接語の下、右方向の領域情報をキーワード領域の候補としてＲＡＭ１１３等の記憶部に記録される。図１０に、第二の実施形態におけるキーワード領域候補として取得する領域の一例を示す図である。近接語「小計」周辺領域１００１がキーワード「合計」の近接語「小計」の位置情報を基に取得した領域であり、近接語「消費税」周辺領域１００２、１００３が近接語「消費税」の位置情報を基に取得した領域である。
【００４１】
次に、Ｓ９０５〜Ｓ９０９において、第一の実施形態と同様の手順でキーワード「合計」に対応する項目値候補の周辺領域（図１０で項目値候補周辺領域１００４、１００５）の情報を取得する。次に、Ｓ９１０において、項目値候補周辺領域と近接語周辺領域とで共通領域があるかを確認する。例えば、図１０において、項目値候補周辺領域１００４と近接語「消費税」周辺領域１００３との共通領域は、共通領域１００６である。共通領域１００６には、キーワードが含まれている可能性が高いため、その位置情報を取得して（Ｓ９１１）二値化、文字認識処理を行う。
【００４２】
本実施形態により、より多くのキーワード領域候補を取得できるとともに、キーワードが存在する可能性の高い領域を絞り込むことが出来るため、キーワードを取得しやすくなる。
【００４３】
（第三の実施形態）
第三の実施形態については、第一、第二の実施形態との差分のみの説明とし、特に明記しない部分については第一の実施形態と同じ構成／手順となる。
【００４４】
第一、第二の実施形態では、推定したキーワードの領域に対して二値化を行ったが、推定したキーワードに対応する項目値の領域に対しても二値化を行っても良い。
【００４５】
例えば、第一の実施形態において、キーワード「合計」の領域を推定するために、項目値「￥１，１８８，０００」を用いたが、上記項目値もキーワードと同様に文字の濃度が薄かったり、文字がかすれていたりする場合がある。また、上記項目値は、ユーザが取得したい情報であり、より精度よく情報を取得できることが望ましい。
【００４６】
具体的には、図３のＳ３０６において、項目値を特定した後、その項目値の領域のみで二値化処理を実行する。
本実施形態により、キーワードに対応する項目値をより高精度に認識することが出来る。
【００４７】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００４８】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１  以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４９】
１００  複写機、１１０  情報処理装置、８０１  キーワード領域候補
【図１】
2020047138.tif 000003
【図２】
2020047138.tif 000004
【図３】
2020047138.tif 000005
【図４】
2020047138.tif 000006
【図５】
2020047138.tif 000007
【図６】
2020047138.tif 000008
【図７】
2020047138.tif 000009
【図８】
2020047138.tif 000010
【図９】
2020047138.tif 000011
【図１０】
2020047138.tif 000012