(57)【要約】【課題】  帳票画像データによって表される帳票画像に対する４つの２次元座標系のうち、帳票原本画像データに対応する２次元座標系と一致する２次元座標系を判定することができる画像判定装置、画像抽出装置、画像判定プログラム、および画像判定方法を提供する。【解決手段】  画像抽出装置１００に、判定対象の帳票画像を表す画像データに基づいて、第１座標系における第１特徴量、第２座標系における第２特徴量、第３座標系における第３特徴量、および第４座標系における第４特徴量を算出する特徴量算出部１２と、原本座標系を基準にして該帳票原本画像を表す画像データに基づいて予め算出された原本特徴量と、第１〜第４特徴量とに基づいて、第１〜第４座標系のうち、原本座標系に一致する２次元座標系を判定し、判定の結果を出力する判定部１３とを設ける。【選択図】      図１
2012099089.tif 000002
【特許請求の範囲】
【請求項１】
判定対象の帳票画像を表す画像データに基づいて、該帳票画像についての２次元座標系であって第１座標軸と第２座標軸とが直交する２次元座標系である第１座標系における特徴量である第１特徴量、前記第１座標系に対して９０度回転した２次元座標系である第２座標系における特徴量である第２特徴量、前記第１座標系に対して１８０度回転した２次元座標系である第３座標系における特徴量である第３特徴量、および、前記第１座標系に対して２７０度回転した２次元座標系である第４座標系における特徴量である第４特徴量を算出する特徴量算出部と、
帳票原本画像についての２次元座標系であって第１座標軸と第２座標軸とが直交する２次元座標系である原本座標系を基準にして該帳票原本画像を表す画像データに基づいて予め算出された特徴量である原本特徴量と、前記特徴量算出部によって算出された第１特徴量、第２特徴量、第３特徴量、および第４特徴量とに基づいて、前記第１座標系、前記第２座標系、前記第３座標系、および前記第４座標系のうち、前記原本座標系に一致する２次元座標系を判定し、判定の結果を出力する判定部とを備え、
前記特徴量は、画像データによって表される画像内の線分画像における両端の画素の位置を示す２次元座標値に基づく値であることを特徴とする画像判定装置。
【請求項２】
前記特徴量は、第１座標軸数列と第２座標軸数列とであって、
画像データによって表される画像内の線分画像における両端の画素の位置を示す２次元座標値を線分画像ごとに取得し、
取得された複数の２次元座標値を用いて、複数の２次元座標値における第１座標軸値を昇順に並べた第１昇順列と、複数の２次元座標値における第２座標軸値を昇順に並べた第２昇順列とを生成し、
生成された第１昇順列において、隣接する３つの第１座標軸値における隣接する２つの第１座標軸値同士の差分値を２つ算出して、該差分値同士の比である第１数列値を順次算出して並べることで得られる第１座標軸数列と、生成された第２昇順列において、隣接する３つの第２座標軸値における隣接する２つの第２座標軸値同士の差分値を２つ算出して、該差分値同士の比である第２数列値を順次算出して並べることで得られる第２座標軸数列とであり、
前記判定部は、
前記第１特徴量、前記第２特徴量、前記第３特徴量、および前記第４特徴量について、前記原本特徴量との間における、第１座標軸数列同士の最長共通部分列の長さと第２座標軸数列同士の最長共通部分列の長さとの和である判定値を算出し、
前記第１特徴量についての判定値、前記第２特徴量についての判定値、前記第３特徴量についての判定値、および前記第４特徴量についての判定値のうち、最も値の大きな判定値に対応する２次元座標系を、前記原本座標系に一致する２次元座標系であると判定するように構成されることを特徴とする請求項１に記載の画像判定装置。
【請求項３】
前記特徴量算出部は、
前記第２特徴量の第１座標軸数列として、前記第１特徴量の第２座標軸数列を用い、前記第２特徴量の第２座標軸数列として、前記第１特徴量の第１座標軸数列における第１数列値を逆数にした上で逆順に並べた数列を用い、
前記第３特徴量の第１座標軸数列として、前記第１特徴量の第１座標軸数列における第１数列値を逆数にした上で逆順に並べた数列を用い、前記第３特徴量の第２座標軸数列として、前記第１特徴量の第２座標軸数列における第２数列値を逆数にした上で逆順に並べた数列を用い、
前記第４特徴量の第１座標軸数列として、前記第１特徴量の第２座標軸数列における第２数列値を逆数にした上で逆順に並べた数列を用い、前記第４特徴量の第２座標軸数列として、前記第１特徴量の第１座標軸数列を用いるように構成されることを特徴とする請求項２に記載の画像判定装置。
【請求項４】
前記判定部は、前記原本特徴量が複数ある場合には、
前記第１特徴量、前記第２特徴量、前記第３特徴量、および前記第４特徴量について、複数の前記原本特徴量との間における、第１座標軸数列同士の最長共通部分列の長さと第２座標軸数列同士の最長共通部分列の長さとの和である判定値をそれぞれ算出し、
前記第１特徴量についての複数の判定値、前記第２特徴量についての複数の判定値、前記第３特徴量についての複数の判定値、および前記第４特徴量についての複数の判定値のうち、最も値の大きな判定値に対応する原本特徴量に対応する帳票原本画像を、前記判定対象の帳票画像に対応する帳票原本画像であると判定するとともに、最も値の大きな判定値に対応する２次元座標系を、該帳票原本画像に対応する原本座標系に一致する２次元座標系であると判定するように構成されることを特徴とする請求項２または３に記載の画像判定装置。
【請求項５】
請求項２〜４のいずれか１つに記載の画像判定装置と、
前記帳票原本画像を表す画像データに基づいて作成された、抽出領域の位置および範囲を示す抽出領域データを記憶する記憶部と、
前記判定対象の帳票画像を表す画像データから予め算出された前記第１昇順列および前記第２昇順列と、前記記憶部に記憶された抽出領域データと、前記判定部から出力された判定の結果とに基づいて、前記判定対象の帳票画像からの画像抽出を行う画像抽出部とを備えることを特徴とする画像抽出装置。
【請求項６】
コンピュータを、請求項１〜４のいずれか１つに記載の画像判定装置として機能させることを特徴とする画像判定プログラム。
【請求項７】
判定対象の帳票画像を表す画像データに基づいて、該帳票画像についての２次元座標系であって第１座標軸と第２座標軸とが直交する２次元座標系である第１座標系における特徴量である第１特徴量、前記第１座標系に対して９０度回転した２次元座標系である第２座標系における特徴量である第２特徴量、前記第１座標系に対して１８０度回転した２次元座標系である第３座標系における特徴量である第３特徴量、および、前記第１座標系に対して２７０度回転した２次元座標系である第４座標系における特徴量である第４特徴量を算出する特徴量算出ステップと、
帳票原本画像についての２次元座標系であって第１座標軸と第２座標軸とが直交する２次元座標系である原本座標系を基準にして該帳票原本画像を表す画像データに基づいて予め算出された特徴量である原本特徴量と、前記特徴量算出ステップにおいて算出された第１特徴量、第２特徴量、第３特徴量、および第４特徴量とに基づいて、前記第１座標系、前記第２座標系、前記第３座標系、および前記第４座標系のうち、前記原本座標系に一致する２次元座標系を判定し、判定の結果を出力する判定ステップとを含み、
前記特徴量は、画像データによって表される画像内の線分画像における両端の画素の位置を示す２次元座標値に基づく値であることを特徴とする画像判定方法。
【請求項８】
前記特徴量は、
画像データによって表される画像内の線分画像における両端の画素の位置を示す２次元座標値を線分画像ごとに取得し、
取得された複数の２次元座標値を用いて、複数の２次元座標値における第１座標軸値を昇順に並べた第１昇順列と、複数の２次元座標値における第２座標軸値を昇順に並べた第２昇順列とを生成し、
生成された第１昇順列において、隣接する３つの第１座標軸値における隣接する２つの第１座標軸値同士の差分値を２つ算出して、該差分値同士の比である第１数列値を順次算出して並べることで得られる第１座標軸数列と、生成された第２昇順列において、隣接する３つの第２座標軸値における隣接する２つの第２座標軸値同士の差分値を２つ算出して、該差分値同士の比である第２数列値を順次算出して並べることで得られる第２座標軸数列とであり、
前記判定ステップでは、
前記第１特徴量、前記第２特徴量、前記第３特徴量、および前記第４特徴量について、前記原本特徴量との間における、第１座標軸数列同士の最長共通部分列の長さと第２座標軸数列同士の最長共通部分列の長さとの和である判定値を算出し、
前記第１特徴量についての判定値、前記第２特徴量についての判定値、前記第３特徴量についての判定値、および前記第４特徴量についての判定値のうち、最も値の大きな判定値に対応する２次元座標系を、前記原本座標系に一致する２次元座標系であると判定することを特徴とする請求項７に記載の画像判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、帳票画像を対象とする画像判定装置、画像抽出装置、画像判定プログラム、および画像判定方法に関する。
【背景技術】
【０００２】
金融業などにおける事務処理では、日付や金額などの事項が記入された帳票が取り扱われる。近年では、省力化のために、帳票に記入された事項を、情報処理装置によって自動的に抽出する技術の開発が進んでいる。また、帳票に記入された事項を抽出する前段階として、帳票の種類を判定する技術の開発も進んでいる。
【０００３】
たとえば、特許文献１には、記入済みの帳票を、複数種類の帳票原本のうちのいずれかに分類する帳票様式分類装置が記載されている。特許文献１に記載の帳票様式分類装置は、複数種類の帳票原本をスキャナで予め読み取って得られる帳票原本画像データに基づく帳票原本画像における原本罫線特徴量と、記入済みの帳票をスキャナで読み取って得られる帳票画像データに基づく帳票画像における罫線特徴量とを用いて画像の照合を行い、記入済みの帳票を複数種類の帳票原本のうちのいずれかに分類している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１０９００７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
帳票をスキャナで読み取ると、スキャナの主走査方向および副走査方向を第１座標軸および第２座標軸とする２次元座標系で、帳票画像を表す画像データが生成される。たとえば、主走査方向一方から他方へ向かう方向が第１座標軸の方向であり、副走査方向一方から他方へ向かう方向が第２座標軸の方向である。画像データは、このような座標軸からなる２次元座標系における各２次元座標値と各濃度値とが対応付けられたデータである。
【０００６】
当然のことながら、帳票画像に対する２次元座標系は任意に定めることができ、上記の例の２次元座標系に限られない。ただし、一般的な帳票は略矩形状であり、帳票の長辺および短辺とスキャナの主走査方向および副走査方向とをそれぞれ平行にして帳票の読み取りを行うのが一般的であるので、帳票画像に対する２次元座標系は、帳票の４つの向きに対応して４種類になる。
【０００７】
すなわち、帳票画像に対する２次元座標系は、上記の例の２次元座標系である第１の２次元座標系と、第１の２次元座標系を９０度回転させた第２の２次元座標系と、第１の２次元座標系を１８０度回転させた第３の２次元座標系と、第１の２次元座標系を２７０度回転させた第４の２次元座標系との４種類になる。画像データは、これら４種類の２次元座標系のうちの１種類の２次元座標系を基準として、２次元座標値と濃度値とが対応付けられている。
【０００８】
上記帳票画像データおよび帳票原本画像データは、記入済みの帳票および帳票原本をスキャナで読み取って得られる画像データであるので、上記第１〜第４の２次元座標系のうちのいずれかを、それぞれ基準にしている。しかしながら、帳票画像データに対応する２次元座標系と、帳票原本画像データに対応する２次元座標系とが異なる場合がある。
【０００９】
特許文献１に記載の帳票様式分類装置では、帳票画像データと帳票原本画像データとにおいて、対応する２次元座標系が異なっていると、記入済みの帳票と帳票原本とが類似していたとしても、帳票画像データと帳票原本画像データとを用いる照合のときに、２つの画像データは類似しないと判定されてしまう。たとえば、帳票画像データに対応する２次元座標系が上記第１の２次元座標系であり、帳票原本画像データに対応する２次元座標系が上記第３の２次元座標系である場合、帳票画像データに１８０度の回転処理を施した画像データと帳票原本画像データとを用いなければ、良好な照合結果を得ることができない。
【００１０】
また、特許文献１に記載の帳票様式分類装置は、１つの帳票画像データに基づく罫線特徴量と複数の帳票原本画像データに基づく複数の原本罫線特徴量とを用いて画像の照合を行うとき、帳票画像と帳票原本画像との間におけるスケールの相違や、帳票画像の帳票中での位置ずれに対応するために、罫線特徴量に対して、原本罫線特徴量ごとに異なる補正処理を行っている。したがって、帳票画像と帳票原本画像との間における２次元座標系の相違に対応するために帳票画像の２次元座標系に応じて異なる特徴量を算出しようとすると、行うべき補正処理の数が増大してしまい、迅速な照合を行うことができない。
【００１１】
本発明は、上述した課題を解決するためのものであり、帳票画像データによって表される帳票画像に対する４つの２次元座標系のうち、帳票原本画像データに対応する２次元座標系と一致する２次元座標系を迅速に判定することができる画像判定装置、画像抽出装置、画像判定プログラム、および画像判定方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、判定対象の帳票画像を表す画像データに基づいて、該帳票画像についての２次元座標系であって第１座標軸と第２座標軸とが直交する２次元座標系である第１座標系における特徴量である第１特徴量、前記第１座標系に対して９０度回転した２次元座標系である第２座標系における特徴量である第２特徴量、前記第１座標系に対して１８０度回転した２次元座標系である第３座標系における特徴量である第３特徴量、および、前記第１座標系に対して２７０度回転した２次元座標系である第４座標系における特徴量である第４特徴量を算出する特徴量算出部と、
帳票原本画像についての２次元座標系であって第１座標軸と第２座標軸とが直交する２次元座標系である原本座標系を基準にして該帳票原本画像を表す画像データに基づいて予め算出された特徴量である原本特徴量と、前記特徴量算出部によって算出された第１特徴量、第２特徴量、第３特徴量、および第４特徴量とに基づいて、前記第１座標系、前記第２座標系、前記第３座標系、および前記第４座標系のうち、前記原本座標系に一致する２次元座標系を判定し、判定の結果を出力する判定部とを備え、
前記特徴量は、画像データによって表される画像内の線分画像における両端の画素の位置を示す２次元座標値に基づく値であることを特徴とする画像判定装置である。
【００１３】
また本発明は、前記特徴量は、第１座標軸数列と第２座標軸数列とであって、
画像データによって表される画像内の線分画像における両端の画素の位置を示す２次元座標値を線分画像ごとに取得し、
取得された複数の２次元座標値を用いて、複数の２次元座標値における第１座標軸値を昇順に並べた第１昇順列と、複数の２次元座標値における第２座標軸値を昇順に並べた第２昇順列とを生成し、
生成された第１昇順列において、隣接する３つの第１座標軸値における隣接する２つの第１座標軸値同士の差分値を２つ算出して、該差分値同士の比である第１数列値を順次算出して並べることで得られる第１座標軸数列と、生成された第２昇順列において、隣接する３つの第２座標軸値における隣接する２つの第２座標軸値同士の差分値を２つ算出して、該差分値同士の比である第２数列値を順次算出して並べることで得られる第２座標軸数列とであり、
前記判定部は、
前記第１特徴量、前記第２特徴量、前記第３特徴量、および前記第４特徴量について、前記原本特徴量との間における、第１座標軸数列同士の最長共通部分列の長さと第２座標軸数列同士の最長共通部分列の長さとの和である判定値を算出し、
前記第１特徴量についての判定値、前記第２特徴量についての判定値、前記第３特徴量についての判定値、および前記第４特徴量についての判定値のうち、最も値の大きな判定値に対応する２次元座標系を、前記原本座標系に一致する２次元座標系であると判定するように構成されることを特徴とする。
【００１４】
また本発明は、前記特徴量算出部は、
前記第２特徴量の第１座標軸数列として、前記第１特徴量の第２座標軸数列を用い、前記第２特徴量の第２座標軸数列として、前記第１特徴量の第１座標軸数列における第１数列値を逆数にした上で逆順に並べた数列を用い、
前記第３特徴量の第１座標軸数列として、前記第１特徴量の第１座標軸数列における第１数列値を逆数にした上で逆順に並べた数列を用い、前記第３特徴量の第２座標軸数列として、前記第１特徴量の第２座標軸数列における第２数列値を逆数にした上で逆順に並べた数列を用い、
前記第４特徴量の第１座標軸数列として、前記第１特徴量の第２座標軸数列における第２数列値を逆数にした上で逆順に並べた数列を用い、前記第４特徴量の第２座標軸数列として、前記第１特徴量の第１座標軸数列を用いるように構成されることを特徴とする。
【００１５】
また本発明は、前記判定部は、前記原本特徴量が複数ある場合には、
前記第１特徴量、前記第２特徴量、前記第３特徴量、および前記第４特徴量について、複数の前記原本特徴量との間における、第１座標軸数列同士の最長共通部分列の長さと第２座標軸数列同士の最長共通部分列の長さとの和である判定値をそれぞれ算出し、
前記第１特徴量についての複数の判定値、前記第２特徴量についての複数の判定値、前記第３特徴量についての複数の判定値、および前記第４特徴量についての複数の判定値のうち、最も値の大きな判定値に対応する原本特徴量に対応する帳票原本画像を、前記判定対象の帳票画像に対応する帳票原本画像であると判定するとともに、最も値の大きな判定値に対応する２次元座標系を、該帳票原本画像に対応する原本座標系に一致する２次元座標系であると判定するように構成されることを特徴とする。
【００１６】
また本発明は、前記画像判定装置と、
前記帳票原本画像を表す画像データに基づいて作成された、抽出領域の位置および範囲を示す抽出領域データを記憶する記憶部と、
前記判定対象の帳票画像を表す画像データから予め算出された前記第１昇順列および前記第２昇順列と、前記記憶部に記憶された抽出領域データと、前記判定部から出力された判定の結果とに基づいて、前記判定対象の帳票画像からの画像抽出を行う画像抽出部とを備えることを特徴とする画像抽出装置である。
【００１７】
また本発明は、コンピュータを、前記画像判定装置として機能させることを特徴とする画像判定プログラムである。
【００１８】
また本発明は、判定対象の帳票画像を表す画像データに基づいて、該帳票画像についての２次元座標系であって第１座標軸と第２座標軸とが直交する２次元座標系である第１座標系における特徴量である第１特徴量、前記第１座標系に対して９０度回転した２次元座標系である第２座標系における特徴量である第２特徴量、前記第１座標系に対して１８０度回転した２次元座標系である第３座標系における特徴量である第３特徴量、および、前記第１座標系に対して２７０度回転した２次元座標系である第４座標系における特徴量である第４特徴量を算出する特徴量算出ステップと、
帳票原本画像についての２次元座標系であって第１座標軸と第２座標軸とが直交する２次元座標系である原本座標系を基準にして該帳票原本画像を表す画像データに基づいて予め算出された特徴量である原本特徴量と、前記特徴量算出ステップにおいて算出された第１特徴量、第２特徴量、第３特徴量、および第４特徴量とに基づいて、前記第１座標系、前記第２座標系、前記第３座標系、および前記第４座標系のうち、前記原本座標系に一致する２次元座標系を判定し、判定の結果を出力する判定ステップとを含み、
前記特徴量は、画像データによって表される画像内の線分画像における両端の画素の位置を示す２次元座標値に基づく値であることを特徴とする画像判定方法である。
【００１９】
また本発明は、前記特徴量は、
画像データによって表される画像内の線分画像における両端の画素の位置を示す２次元座標値を線分画像ごとに取得し、
取得された複数の２次元座標値を用いて、複数の２次元座標値における第１座標軸値を昇順に並べた第１昇順列と、複数の２次元座標値における第２座標軸値を昇順に並べた第２昇順列とを生成し、
生成された第１昇順列において、隣接する３つの第１座標軸値における隣接する２つの第１座標軸値同士の差分値を２つ算出して、該差分値同士の比である第１数列値を順次算出して並べることで得られる第１座標軸数列と、生成された第２昇順列において、隣接する３つの第２座標軸値における隣接する２つの第２座標軸値同士の差分値を２つ算出して、該差分値同士の比である第２数列値を順次算出して並べることで得られる第２座標軸数列とであり、
前記判定ステップでは、
前記第１特徴量、前記第２特徴量、前記第３特徴量、および前記第４特徴量について、前記原本特徴量との間における、第１座標軸数列同士の最長共通部分列の長さと第２座標軸数列同士の最長共通部分列の長さとの和である判定値を算出し、
前記第１特徴量についての判定値、前記第２特徴量についての判定値、前記第３特徴量についての判定値、および前記第４特徴量についての判定値のうち、最も値の大きな判定値に対応する２次元座標系を、前記原本座標系に一致する２次元座標系であると判定することを特徴とする。
【発明の効果】
【００２０】
本発明によれば、帳票画像内の線分画像における両端の画素の位置を示す２次元座標値に基づく第１〜第４特徴量と、帳票原本画像内の線分画像における両端の画素の位置を示す２次元座標値に基づく原本特徴量とから、原本座標系に一致する２次元座標系が判定される。そして、これらの特徴量は、画像データによって表される画像内の線分画像における両端の画素の位置を示す２次元座標値に基づく値である。したがって、帳票画像データによって表される帳票画像に対する４つの２次元座標系のうち、帳票原本画像データに対応する２次元座標系（原本座標系）と一致する２次元座標系を迅速に判定することができる。
【００２１】
また本発明によれば、第１〜第４特徴量および原本特徴量は、画像内の線分画像における両端の画素の位置を示す２次元座標値の差分値同士の比に基づく値である。したがって、帳票画像と帳票原本画像との間でスケールが異なっていたり、帳票画像の帳票中での位置がずれていたり、帳票画像の一部が欠落したり、帳票画像にノイズが生じたりしても、精度良く迅速に判定することができる。
【００２２】
また本発明によれば、特徴量算出部は、第１特徴量を用いて、第２〜第４特徴量を算出する。したがって、判定の速度を向上させることができる。
【００２３】
また本発明によれば、帳票原本が複数種類あり、それに伴って原本特徴量が複数ある場合には、判定部は、複数の原本特徴量と第１〜第４特徴量とに基づいて、複数種類の帳票原本画像の中から、判定対象の帳票画像に対応する帳票原本画像を判定することができる。
【００２４】
また本発明によれば、画像抽出部は、画像判定装置の判定部による判定の結果に基づいて、判定対象の帳票画像からの画像抽出を行う。したがって、帳票画像と帳票原本画像との間でスケールが異なっていたり、帳票画像の帳票中での位置がずれていたり、帳票画像の一部が欠落したり、帳票画像にノイズが生じたりしても、精度良く画像の抽出を行うことができる。
【００２５】
また本発明によれば、コンピュータを前記画像判定装置として機能させる画像判定プログラムを提供することができる。
【００２６】
また本発明によれば、帳票画像内の線分画像における両端の画素の位置を示す２次元座標値に基づく第１〜第４特徴量と、帳票原本画像内の線分画像における両端の画素の位置を示す２次元座標値に基づく原本特徴量とから、原本座標系に一致する２次元座標系が判定される。そして、これらの特徴量は、画像データによって表される画像内の線分画像における両端の画素の位置を示す２次元座標値に基づく値である。したがって、帳票画像データによって表される帳票画像に対する４つの２次元座標系のうち、帳票原本画像データに対応する２次元座標系（原本座標系）と一致する２次元座標系を迅速に判定することができる。
【００２７】
また本発明によれば、第１〜第４特徴量および原本特徴量は、画像内の線分画像における両端の画素の位置を示す２次元座標値の差分値同士の比に基づく値である。したがって、帳票画像と帳票原本画像との間でスケールが異なっていたり、帳票画像の帳票中での位置がずれていたり、帳票画像の一部が欠落したり、帳票画像にノイズが生じたりしても、精度良く迅速に判定することができる。
【図面の簡単な説明】
【００２８】
【図１】画像抽出装置の構成を機能的に示すブロック図である。
【図２】帳票原本画像および原本座標系の具体例を示す図である。
【図３】帳票原本画像データに対する処理を示すフローチャートである。
【図４】帳票画像データに対する処理を示すフローチャートである。
【図５】画像抽出の様子を模式的に表す図である。
【発明を実施するための形態】
【００２９】
以下に、本発明の第１実施形態である画像抽出装置１００について説明する。画像抽出装置１００は、記入済みの帳票から記入された事項を抽出する装置である。帳票は、たとえば、矩形状の記録用紙であり、複数の罫線が引かれている。
【００３０】
図１は、画像抽出装置１００の構成を機能的に示すブロック図である。画像抽出装置１００は、ＭＦＰ（Multi Function Printer）などに備えられる従来公知の制御演算装置および記憶装置によって実現され、機能的には、画像判定部１０と画像抽出部２０と記憶部３０とを含む。画像判定部１０は、前処理部１１と、特徴量算出部１２と、判定部１３とを含んでいる。
【００３１】
前処理部１１は、帳票原本画像データおよび帳票画像データに対して前処理を行う機能を有する。特徴量算出部１２は、帳票画像についての、第１座標系における特徴量である第１特徴量と、第１座標系に対して９０度回転した第２座標系における特徴量である第２特徴量と、第１座標系に対して１８０度回転した第３座標系における特徴量である第３特徴量と、第１座標系に対して２７０度回転した第４座標系における特徴量である第４特徴量とを算出する機能を有する。
【００３２】
判定部１３は、帳票原本画像についての原本座標系における特徴量である原本特徴量と、特徴量算出部１２によって算出された第１〜第４特徴量とに基づいて、第１〜第４座標系のうち、原本座標系に一致する２次元座標系を判定し、判定の結果を出力する機能を有する。ここで、特徴量とは、帳票および帳票原本を表す画像データによって表される画像内の線分画像における両端の画素の位置を示す２次元座標値に基づく値である。
【００３３】
なお、何の事項も記入されていない帳票を帳票原本と称し、該帳票原本をスキャナで読み取って得られる画像データを、帳票原本画像データと称する。帳票原本画像データは、所定の２次元座標系である原本座標系に対応している。また、記入済みの帳票をスキャナで読み取って得られる画像データを帳票画像データと称する。帳票画像データは、所定の２次元座標系である第１座標系に対応している。
【００３４】
本実施形態では、第１座標系を右回りに９０度回転させた２次元座標系を第２座標系とし、第１座標系を右回りに１８０度回転させた２次元座標系を第３座標系とし、第１座標系を右回りに２７０度回転させた２次元座標系を第４座標系とする。そして、本実施形態では、第１〜第４座標系および原本座標系はすべて、第１座標軸と、左回りに９０度回転させたときに第１座標軸に一致する第２座標軸とからなる２次元座標系であるとする。なお、本発明の他の実施形態としては、第１座標系を左回りに９０度回転させた２次元座標系を第２座標系とし、第１座標系を左回りに１８０度回転させた２次元座標系を第３座標系とし、第１座標系を左回りに２７０度回転させた２次元座標系を第４座標系として、第１〜第４座標系および原本座標系をすべて、第１座標軸と、右回りに９０度回転させたときに第１座標軸に一致する第２座標軸とからなる２次元座標系としてもよい。
【００３５】
図２に、帳票原本画像および原本座標系の具体例を示す。図２において、第１座標軸はＹ軸であり、第２座標軸はＸ軸である。Ｙ軸およびＸ軸上の目盛は、帳票原本画像２００中の各線分画像（罫線）の両端の画素の位置を示す２次元座標値を表している。原本特徴量は、この２次元座標値に基づいており、本発明では、原本特徴量と、第１〜第４特徴量とに基づいて判定が行われる。
【００３６】
以下に、前処理部１１、特徴量算出部１２、判定部１３、および記憶部３０の機能について、帳票原本画像データに対する処理と、帳票画像データに対する処理とに区別して説明する。
【００３７】
図３は、帳票原本画像データに対する処理を示すフローチャートである。帳票原本画像データに対する処理は、前処理ステップＳ１、特徴量算出ステップＳ２、抽出領域登録ステップＳ３の順に進む。
【００３８】
前処理ステップＳ１では、前処理部１１によって、帳票原本画像データに対する画像処理（前処理）が行われる。具体的には、前処理ステップＳ１では、まず、帳票原本画像データに対して傾き補正処理が施される。傾き補正処理は、帳票原本の読み取り時に原本座標系に対して帳票原本が微小に傾いていた場合に、その傾きを補正するために、傾きの方向とは逆方向に数度程度、帳票原本画像データを回転させる処理である。
【００３９】
前処理ステップＳ１では、次に、帳票原本画像データがグレースケールに変換され、２値化処理が施される。その後、２値化処理された帳票原本画像データに対して、ノイズ除去処理が施される。ノイズ除去処理は、画像データが表す画像の中から、微小なノイズ画像を除去する処理である。
【００４０】
ノイズ除去処理の方法としては、従来公知の処理方法を用いることができ、たとえば、連結成分（Connected Component，ＣＣ）の大きさが所定の閾値よりも小さい連結成分の色を背景色に置換するという方法を用いることができる。ここで、「連結成分」とは、非背景色の画素の連続した集まりである。「連続」とは、注目する画素の周囲の８画素のうちのいずれかの画素が同じ色であることを意味する。また、「連結成分の大きさ」とは、連結成分を囲む矩形のうち、面積が最小となる矩形の長辺および短辺である。
【００４１】
たとえば、帳票原本画像において、連結成分を囲む矩形のうち、面積が最小となる矩形の長辺および短辺が所定の閾値よりも小さい場合、その連結成分は、微小なノイズ画像か、または、文字を表す文字画像である。したがって、ノイズ除去処理によって、帳票原本画像の中には、罫線のみが残ることになる。
【００４２】
前処理ステップＳ１が終了すると、前処理後の帳票原本画像データは特徴量算出部１２に入力される。なお、本発明の他の実施形態としては、前処理ステップＳ１を省略することができる。
【００４３】
特徴量算出部１２は、特徴量算出ステップＳ２として、前処理後の帳票原本画像データに基づいて、原本座標系を基準にして、原本特徴量を算出する。原本特徴量は、以下のようにして算出される。
【００４４】
まず、前処理後の帳票原本画像データによって表される画像内には、いくつかの線分画像（罫線）が存在しているので、すべての線分画像を検出する。そして、線分画像の両端の画素の位置を示す、原本座標系における２次元座標値を線分画像ごとに取得する。
【００４５】
線分画像の検出方法としては従来公知の方法を用いることができる。たとえば、原本座標系における第１座標軸をＹ軸、第２座標軸をＸ軸とするとき、Ｘ軸（またはＹ軸）に平行な連続する非背景色画素の集まりであって、所定の画素数以上の集まりを、Ｘ軸（またはＹ軸）に平行な線分画像として検出したり、連結成分を囲む矩形のうち、面積が最小となる矩形の短辺の長さが長辺の長さと比較して極めて小さい連結成分を、線分画像として検出したりすることができる。そのようにして検出された線分画像の両端の画素の位置を示す２次元座標値は、たとえば、（Ｘ，Ｙ）＝（１，２），（１０，２），（２０，３），（４，１５），（３，１１），（５，９），（８，１８），（６，５）などのような様々な値になる。
【００４６】
次に、取得された複数の２次元座標値を用いて、複数の２次元座標値における第１座標軸値（Ｙ座標値）を昇順に並べた第１昇順列と、複数の２次元座標値における第２座標軸値（Ｘ座標値）を昇順に並べた第２昇順列とを生成する。たとえば、複数の２次元座標値が、（Ｘ，Ｙ）＝（１，２），（１０，２），（２０，３），（４，１５），（３，１１），（５，９），（８，１８），（６，５）の場合、第１昇順列として、｛２，３，５，９，１１，１５，１８｝を生成し、第２昇順列として、｛１，３，４，５，６，８，１０，２０｝を生成する。第１昇順列（または第２昇順列）を生成するとき、同じ第１座標軸値（または同じ第２座標軸値）を有する線分画像の両端の画素が２つ以上存在する場合は、その同じ第１座標軸値（または同じ第２座標軸値）については省略して１つだけにする。たとえば、上記の場合、第１昇順列は｛２，３，５，９，１１，１５，１８｝であり、｛２，２，３，５，９，１１，１５，１８｝ではない。
【００４７】
最後に、生成された第１昇順列において、隣接する３つの第１座標軸値における隣接する２つの第１座標軸値同士の差分値を２つ算出して、該差分値同士の比である第１数列値を順次算出して並べることで第１座標軸数列を得るとともに、生成された第２昇順列において、隣接する３つの第２座標軸値における隣接する２つの第２座標軸値同士の差分値を２つ算出して、該差分値同士の比である第２数列値を順次算出して並べることで第２座標軸数列を得る。たとえば、第１昇順列が｛２，３，５，９，１１，１５，１８｝のとき、隣接する３つの第１座標軸値（２，３，５）における隣接する２つの第１座標軸値同士の２つの差分値（｜２−３｜，｜３−５｜）＝（１，２）から、第１数列値として、２つの差分値の比である２／１＝２．０を算出する。同様にして、順次、第１数列値を算出することで、第１座標軸数列｛２．０，２．０，０．５，２．０，０．８｝が得られる。
【００４８】
なお、本実施形態では、２つの差分値の比を算出するとき、順番が後の差分値を、順番が先の差分値で割り、割ることで得られた値を小数第２位において四捨五入して、差分値の比としている。本発明の他の実施形態としては、たとえば、順番が先の差分値を順番が後の差分値で割ってもよいし、割ることで得られた値に所定の定数を乗じてもよい。
【００４９】
特徴量算出ステップＳ２の最後で得られた第１座標軸数列と第２座標軸数列とが、原本特徴量である。算出された原本特徴量は、記憶部３０、または画像抽出装置１００外のデータ通信可能な記憶装置に記憶される。また、特徴量算出ステップＳ２の途中で得られた第１昇順列および第２昇順列も、記憶部３０などに記憶される。なお、本発明の他の実施形態としては、前処理ステップＳ１および特徴量算出ステップＳ２を行わずに、画像抽出装置１００以外の装置によって予め算出された、帳票原本画像データについての原本特徴量（第１座標軸数列、第２座標軸数列）、第１昇順列、および第２昇順列を、記憶部３０などに記憶させてもよい。
【００５０】
帳票原本が複数種類ある場合には、複数種類の帳票原本がスキャナでそれぞれ読み取られて、複数種類の帳票原本画像データが生成される。そして、前処理ステップＳ１および特徴量算出ステップＳ２によって、複数の原本特徴量が算出され、帳票原本画像データについての原本特徴量（第１座標軸数列、第２座標軸数列）、第１昇順列、および第２昇順列が、記憶部３０などに記憶される。
【００５１】
特徴量算出ステップＳ２の後に、抽出領域登録ステップＳ３が行われる。抽出領域登録ステップＳ３では、ユーザからの指示に基づいて、帳票画像の中の抽出領域を示すデータである抽出領域データが登録される。
【００５２】
抽出領域データは、抽出領域の位置および範囲を示す。具体的には、抽出領域の形状が矩形である場合には、矩形の４つの頂点のうちの対角にある２つの頂点の位置を示す、原本座標系における２次元座標値が、抽出領域データになる。また、抽出領域の形状が楕円形である場合には、楕円形の２つの焦点の位置を示す、原本座標系における２次元座標値が、抽出領域データになる。
【００５３】
また、抽出領域の形状が真円形である場合には、真円形の中心点の位置を示す、原本座標系における２次元座標値と、真円形の半径を示す値とが、抽出領域データになる。また、抽出領域の形状が正三角形である場合には、正三角形の重心点の位置および正三角形の３つの頂点のうちの１つの頂点の位置を示す、原本座標系における２次元座標値が、抽出領域データになる。
【００５４】
これらの抽出領域データは、記憶部３０に記憶される。帳票原本が複数種類ある場合には、それぞれの帳票原本に対応する抽出領域データが、記憶部３０に記憶される。
【００５５】
図４は、帳票画像データに対する処理を示すフローチャートである。帳票画像データに対する処理は、前処理ステップＴ１、特徴量算出ステップＴ２、判定ステップＴ３の順に進む。
【００５６】
前処理ステップＴ１では、前処理部１１によって、帳票画像データに対する画像処理（前処理）が行われる。具体的には、前処理ステップＴ１では、まず、帳票画像データに対して傾き補正処理が施される。傾き補正処理は、記入済みの帳票の読み取り時に第１座標系に対してその帳票が微小に傾いていた場合に、その傾きを補正するために、傾きの方向とは逆方向に数度程度、帳票画像データを回転させる処理である。
【００５７】
前処理ステップＴ１では、次に、帳票画像データがグレースケールに変換され、２値化処理が施される。その後、２値化処理された帳票画像データに対して、ノイズ除去処理が施される。ノイズ除去処理の方法としては、従来公知の処理方法を用いることができる。ノイズ除去処理によって、帳票画像の中から、ノイズ画像、文字画像、および記入された事項を表す画像が除去され、罫線のみが残ることになる。
【００５８】
前処理ステップＴ１が終了すると、前処理後の帳票画像データは特徴量算出部１２に入力される。なお、本発明の他の実施形態としては、前処理ステップＴ１を省略することができる。
【００５９】
特徴量算出部１２は、特徴量算出ステップＴ２として、前処理後の帳票画像データに基づいて、第１座標系を基準にして、第１特徴量を算出する。第１特徴量は、以下のようにして算出される。
【００６０】
まず、前処理後の帳票画像データによって表される画像内には、いくつかの線分画像（罫線）が存在しているので、すべての線分画像を検出する。そして、線分画像の両端の画素の位置を示す、第１座標系における２次元座標値を線分画像ごとに取得する。線分画像の検出方法としては従来公知の方法を用いることができる。
【００６１】
次に、取得された複数の２次元座標値を用いて、複数の２次元座標値における第１座標軸値を昇順に並べた第１昇順列と、複数の２次元座標値における第２座標軸値を昇順に並べた第２昇順列とを生成する。第１昇順列（または第２昇順列）を生成するとき、同じ第１座標軸値（または同じ第２座標軸値）を有する線分画像の両端の画素が２つ以上存在する場合は、その同じ第１座標軸値（または同じ第２座標軸値）については省略して１つだけにする。
【００６２】
最後に、生成された第１昇順列において、隣接する３つの第１座標軸値における隣接する２つの第１座標軸値同士の差分値を２つ算出して、該差分値同士の比である第１数列値を順次算出して並べることで第１座標軸数列を得るとともに、生成された第２昇順列において、隣接する３つの第２座標軸値における隣接する２つの第２座標軸値同士の差分値を２つ算出して、該差分値同士の比である第２数列値を順次算出して並べることで第２座標軸数列を得る。このようにして得られた第１座標軸数列と第２座標軸数列とが、第１特徴量である。算出された第１特徴量は、記憶部３０などに記憶される。また、第１特徴量を算出する途中で得られた第１昇順列および第２昇順列も、記憶部３０などに記憶される。
【００６３】
また、特徴量算出ステップＴ２では、帳票画像データに基づいて、第２座標系における第２特徴量、第３座標系における第３特徴量、および、第４座標系における第４特徴量が算出される。第２〜第４特徴量も、第１特徴量と同様に、第１座標軸数列と第２座標軸数列とである。
【００６４】
本実施形態では、特徴量算出部１２は、第２特徴量の第１座標軸数列として、第１特徴量の第２座標軸数列を用い、第２特徴量の第２座標軸数列として、第１特徴量の第１座標軸数列における第１数列値を逆数にした上で逆順に並べた数列を用いる。たとえば、第１特徴量の第１座標軸数列が｛２．０，２．０，０．５，２．０，０．８｝である場合、第１特徴量の第１座標軸数列における第１数列値を逆数にした上で逆順に並べた数列は、｛１．３，０．５，２．０，０．５，０．５｝になる。なお、本実施形態では、逆数を計算するときに、小数第２位において四捨五入している。
【００６５】
また、特徴量算出部１２は、第３特徴量の第１座標軸数列として、第１特徴量の第１座標軸数列における第１数列値を逆数にした上で逆順に並べた数列を用い、第３特徴量の第２座標軸数列として、第１特徴量の第２座標軸数列における第２数列値を逆数にした上で逆順に並べた数列を用いる。また、特徴量算出部１２は、第４特徴量の第１座標軸数列として、第１特徴量の第２座標軸数列における第２数列値を逆数にした上で逆順に並べた数列を用い、第４特徴量の第２座標軸数列として、第１特徴量の第１座標軸数列を用いる。
【００６６】
なお、本発明の他の実施形態としては、特徴量算出部１２は、帳票画像データを第２〜第４座標系の回転方向とは逆方向に回転させることによって、第２〜第４特徴量を算出するように構成されてもよい。たとえば、他の実施形態における特徴量算出部１２は、帳票画像データに対して左回りに９０度回転させる回転処理を施した後、第１特徴量を算出するときの手順で第１座標軸数列および第２座標軸数列を算出し、算出された第１座標軸数列および第２座標軸数列を、第２特徴量とする。
【００６７】
上記のようにして算出された第２〜第４特徴量は、記憶部３０などに記憶される。第１〜第４特徴量が記憶されると、判定ステップＴ３に進む。
【００６８】
判定ステップＴ３では、判定部１３が、第１〜第４特徴量に基づいて、第１座標系、第２座標系、第３座標系、および第４座標系のうち、原本座標系に一致する２次元座標系を判定し、判定の結果を出力する。
【００６９】
具体的には、判定部１３は、まず、第１特徴量と原本特徴量との間における判定値と、第２特徴量と原本特徴量との間における判定値と、第３特徴量と原本特徴量との間における判定値と、第４特徴量と原本特徴量との間における判定値とを算出する。複数の原本特徴量が存在する場合には、第１〜第４特徴量と複数の原本特徴量との間における判定値を、それぞれ算出する。たとえば、３種類の原本特徴量が存在する場合には、合計１２種類の判定値が算出される。
【００７０】
「判定値」とは、第１座標軸数列同士の最長共通部分列（Longest Common Sequence，ＬＣＳ）の長さと第２座標軸数列同士の最長共通部分列の長さとの和である。「最長共通部分列」とは、２つの数列同士における共通部分列（Common Sequence，ＣＳ）のうち、共通部分列の長さが最大になる共通部分列である。
【００７１】
「共通部分列」とは、２つの数列同士において、要素の並ぶ順序と、要素の値とが一致する列である。共通部分列は、それぞれの数列において、要素が連続的に並んでいても不連続的に並んでいてもよい。たとえば、２つの数列が｛１，３，９，５｝と｛３，１，９，４｝とである場合、共通部分列は、｛１｝、｛３｝、｛９｝、｛１，９｝、｛３，９｝である。「共通部分列の長さ」とは、共通部分列の要素の個数である。したがって、共通部分列｛１｝、｛３｝、｛９｝、｛１，９｝、｛３，９｝のうち、最長共通部分列は、要素の個数が２つである｛１，９｝および｛３，９｝である。
【００７２】
本実施形態では、要素の値が完全に一致する場合だけでなく、要素の値が近似する場合にも、共通部分列の要素とする。「要素の値が近似する」とは、たとえば、要素の値と要素の値との差が所定の閾値ｅ１よりも小さい場合や、一方の要素の値に対する他方の要素の値の比率が所定の閾値ｅ２よりも大きい場合である。たとえば、閾値ｅ１を０．５とするとき、２つの数列｛３，８，２．５｝、｛２．７，１０｝における共通部分列は、一方の数列｛３，８，２．５｝にとっては｛３｝，｛２．５｝となり、他方の数列｛２．７，１０｝にとっては｛２．７｝となる。
【００７３】
判定部１３は、上記のようにして、第１座標軸数列同士における最長共通部分列の長さと、第２座標軸数列同士における最長共通部分列の長さとを算出し、算出された２つの長さの和を算出する。そして、判定部１３は、第１特徴量と原本特徴量との間における判定値、第２特徴量と原本特徴量との間における判定値、第３特徴量と原本特徴量との間における判定値、および第４特徴量と原本特徴量との間における判定値のうち、最も値の大きな判定値に対応する２次元座標系を、原本座標系に一致する２次元座標系であると判定する。たとえば、第１特徴量と原本特徴量との間における判定値が最も大きな値である場合は、第１座標系と原本座標系とが一致すると判定する。
【００７４】
また、判定部１３は、複数の原本特徴量が存在する場合は、第１特徴量と複数の原本特徴量との間における複数の判定値、第２特徴量と複数の原本特徴量との間における複数の判定値、第３特徴量と複数の原本特徴量との間における複数の判定値、および第４特徴量と複数の原本特徴量との間における複数の判定値のうち、最も値の大きな判定値に対応する原本特徴量に対応する帳票原本画像を、判定の対象である記入済み帳票の帳票画像に対応する帳票原本画像であると判定するとともに、最も値の大きな判定値に対応する２次元座標系を、該帳票原本画像に対応する原本座標系に一致する２次元座標系であると判定する。たとえば、３種類の帳票原本画像Ａ，Ｂ，Ｃが存在し、それぞれに対応する３種類の原本座標系α、β、γ、および３種類の原本特徴量ａ，ｂ，ｃが存在する場合において、第１特徴量と原本特徴量ｂとの間における判定値が最も大きな値であるときは、判定の対象である記入済み帳票の帳票画像に対応する帳票原本の画像は帳票原本画像Ｂであると判定するとともに、第１座標系と原本座標系βとが一致すると判定する。
【００７５】
このように判定部１３が判定できるのは、第１座標軸数列および第２座標軸数列が、帳票画像および帳票原本画像中の線分画像（罫線）の両端の位置を示す２次元座標値に基づいているからである。罫線の両端の位置を示す２次元座標値は、罫線の間隔に対応している。したがって、判定値が最も大きくなるということは、罫線の間隔が一致する度合いが最も高いということである。
【００７６】
なお、本発明の他の実施形態としては、判定部１３は、最も大きな判定値が所定の閾値よりも小さい場合や、最も大きな判定値が２つ以上になった場合には、記入済み帳票画像に対応する帳票原本画像が存在しないと判定するように構成されてもよい。また、本発明の他の実施形態としては、判定部１３は、最も大きな判定値が算出された後に、画像抽出装置１００の図示しない表示部に、帳票原本画像と記入済み帳票画像を表示させて、ユーザに確認を促すように構成されてもよい。
【００７７】
このような画像抽出装置１００によれば、記入済み帳票画像内の線分画像における両端の画素の位置を示す２次元座標値に基づく第１〜第４特徴量と、帳票原本画像内の線分画像における両端の画素の位置を示す２次元座標値に基づく原本特徴量とから、原本座標系に一致する２次元座標系が判定される。したがって、帳票画像データによって表される帳票画像に対する４つの２次元座標系のうち、帳票原本画像データに対応する２次元座標系（原本座標系）と一致する２次元座標系を迅速に判定することができる。これによって、ユーザが記入済み帳票をスキャナで読み取らせた際の帳票の向きによらずに、後述する画像の抽出を行うことができる。
【００７８】
また、第１〜第４特徴量および原本特徴量は、画像内の線分画像における両端の画素の位置を示す２次元座標値の差分値同士の比に基づく値であるので、画像抽出装置１００は、帳票画像と帳票原本画像との間でスケールが異なっていたり、帳票画像の帳票中での位置がずれていたり、帳票画像の一部が欠落したり、帳票画像にノイズが生じたりしても、精度良く迅速に判定することができる。
【００７９】
さらに、画像抽出装置１００は、判定部１３によって、複数の原本特徴量と第１〜第４特徴量とに基づいて、複数種類の帳票原本画像の中から、記入済み帳票画像に対応する帳票原本画像を判定することができる。
【００８０】
また、本実施形態では、特徴量算出部１２は、第１特徴量を用いて、第２〜第４特徴量を算出しているので、帳票画像を回転させて第２〜第４特徴量を算出する場合と比較して、判定の速度を向上させることができる。
【００８１】
上記のようにして判定を行った後、画像抽出装置１００は、帳票画像からの画像抽出を行う。図５は、画像抽出の様子を模式的に表す図である。画像３００は帳票原本画像および原本座標系を示し、画像４００は帳票画像および第１座標系を示している。図５において、原本座標系における第１座標軸はＹ軸であり、原本座標系における第２座標軸はＸ軸であり、第１座標系における第１座標軸はＹ’軸であり、第１座標系における第２座標軸はＸ’軸である。また、画像３００，４００において、Ｘ軸、Ｙ軸、Ｘ’軸、およびＹ’軸上の目盛は、線分画像の両端画素の２次元座標値を表している。
【００８２】
画像３００中の斜線部３０１は、帳票原本画像における抽出領域を示し、画像４００中の斜線部４０１は、帳票画像における抽出領域を示す。図５に示すように、帳票原本画像と帳票画像とでは、スケールが異なっている場合がある。そのような場合、抽出領域は、範囲も位置も、帳票原本画像と帳票画像との間で異なってしまう。しかしながら、スケールが異なっている場合でも、線分画像の両端画素と抽出領域には対応関係がある。本発明は、この対応関係に基づいて、帳票画像中の抽出領域を抽出する。
【００８３】
本実施形態では、画像抽出部２０によって、特徴量算出ステップＴ２において記入済みの帳票画像を表す帳票画像データから算出された第１昇順列、第２昇順列、および第１特徴量と、記憶部３０に記憶された抽出領域データならびに帳票原本画像についての第１昇順列、第２昇順列、および原本特徴量と、判定部１３から出力された判定の結果とに基づいて、画像抽出部２０によって、記入済みの帳票画像から画像抽出を行う。具体的には、画像抽出部２０は、帳票画像データから算出された第１昇順列、第２昇順列、および第１特徴量と、帳票原本画像データから算出された第１昇順列、第２昇順列、および原本特徴量と、判定の結果とに基づいて、判定の結果が示す２次元座標系における共通部分列組範囲（Common Sequence Set Range，ＣＳＳＲ）と原本座標系における共通部分列組範囲とを算出し、算出された共通部分列組範囲の比率を算出し、算出された比率と抽出領域データと判定の結果とから、帳票画像中の抽出領域を特定して、帳票に記入された事項を表す画像を抽出する。
【００８４】
原本座標系における第１座標軸数列および第２座標軸数列と第１座標系における第１座標軸数列および第２座標軸数列との間における共通部分列の組合せを、「共通部分列組（Common Sequence Set，ＣＳＳ）」と称する。共通部分列組の種類としては、原本座標系における第１座標軸数列と第１座標系における第１座標軸数列との間における共通部分列のすべての組合せからなる共通部分列組と、原本座標系における第１座標軸数列と第１座標系における第２座標軸数列との間における共通部分列のすべての組合せからなる共通部分列組と、原本座標系における第２座標軸数列と第１座標系における第１座標軸数列との間における共通部分列のすべての組合せからなる共通部分列組と、原本座標系における第２座標軸数列と第１座標系における第２座標軸数列との間における共通部分列のすべての組合せからなる共通部分列組とがある。
【００８５】
「共通部分列組範囲」とは、共通部分列組に含まれる共通部分列に対応する最小の第１座標軸値（または第２座標軸値）と、共通部分列組に含まれる共通部分列に対応する最大の第１座標軸値（または第２座標軸値）との差分値である。
【００８６】
たとえば、第１座標系における第１昇順列が｛１０，１２，１４，２０，６８，１６４，８３６｝であり、第１座標軸数列が｛１，３，８，２，７｝であり、原本座標系における第１昇順列が｛３１，３２，３５，４１，７１，１９１，３１１｝であり、第１座標軸数列が｛３，２，５，４，１｝であり、閾値ｅ１＝１である場合、第１座標系における第１座標軸数列と原本座標系における第１座標軸数列との間における共通部分列組は、｛｛１｝，｛２｝，｛３｝，｛３，２｝｝である。また、第１座標系における第１座標軸の共通部分列組範囲は、｜１０−１６４｜＝１５４であり、原本座標系における第１座標軸の共通部分列組範囲は｜３１−３１１｜＝２８０である。そして、第１座標系における第１座標軸数列と原本座標系における第１座標軸数列との間における共通部分列組範囲の比率（第１座標系における第１座標軸数列の共通部分列組範囲／原本座標系における第１座標軸数列の共通部分列組範囲）は、１５４／２８０＝０．５５である。
【００８７】
判定部１３による判定の結果が、第１座標系または第３座標系と原本座標系とが一致するという結果である場合、画像抽出部２０は、原本座標系における第１座標軸数列と第１座標系における第１座標軸数列との間における共通部分列組範囲の比率と、原本座標系における第２座標軸数列と第１座標系における第２座標軸数列との間における共通部分列組範囲の比率とを算出する。
【００８８】
また、判定部１３による判定の結果が、第２座標系または第４座標系と原本座標系とが一致するという結果である場合、画像抽出部２０は、原本座標系における第１座標軸数列と第１座標系における第２座標軸数列との間における共通部分列組範囲の比率と、原本座標系における第２座標軸数列と第１座標系における第１座標軸数列との間における共通部分列組範囲の比率とを算出する。
【００８９】
画像抽出部２０は、算出した共通部分列組範囲の比率と、原本座標系の第１座標軸における共通部分列組に含まれる共通部分列に対応する最小（または最大）の第１座標軸値と、原本座標系の第２座標軸における共通部分列組に含まれる共通部分列に対応する最小（または最大）の第２座標軸値と、第１座標系の第１座標軸における共通部分列組に含まれる共通部分列に対応する最小（または最大）の第１座標軸値と、第１座標系の第２座標軸における共通部分列組に含まれる共通部分列に対応する最小（または最大）の第２座標軸値と、抽出領域データと、判定の結果とから、帳票画像中の抽出領域が特定される。
【００９０】
たとえば、抽出領域の形状が矩形である場合において、矩形の４つの頂点のうちの対角にある２つの頂点の位置を示す原本座標系における２次元座標値が（ｘ１，ｙ１）、（ｘ２，ｙ２）であり、判定の結果が第１座標系と原本座標系とが一致するという結果であり、原本座標系における第１座標軸数列と第１座標系における第１座標軸数列との間における共通部分列組範囲の比率がＰ１であり、原本座標系における第２座標軸数列と第１座標系における第２座標軸数列との間における共通部分列組範囲の比率がＰ２であり、原本座標系の第１座標軸における共通部分列組に含まれる共通部分列に対応する最小の第１座標軸値がｙ０であり、原本座標系の第２座標軸における共通部分列組に含まれる共通部分列に対応する最小の第２座標軸値がｘ０であり、第１座標系の第１座標軸における共通部分列組に含まれる共通部分列に対応する最小の第１座標軸値がＹ１であり、第１座標系の第２座標軸における共通部分列組に含まれる共通部分列に対応する最小の第２座標軸値がＸ１であるときを想定する。
【００９１】
このとき、原本座標系における（ｘ１，ｙ１）の点は、第１座標系において、（Ｘ１＋Ｐ２×ｘ１−Ｐ２×ｘ０，Ｙ１＋Ｐ１×ｙ１−Ｐ１×ｙ０）の点に対応し、原本座標系における（ｘ２，ｙ２）の点は、第１座標系において、（Ｘ１＋Ｐ２×ｘ２−Ｐ２×ｘ０，Ｙ１＋Ｐ１×ｙ２−Ｐ１×ｙ０）の点に対応する。したがって、記入済みの帳票画像について、第１座標系における２次元座標値が（Ｘ１＋Ｐ２×ｘ１−Ｐ２×ｘ０，Ｙ１＋Ｐ１×ｙ１−Ｐ１×ｙ０）の点、および（Ｘ１＋Ｐ２×ｘ２−Ｐ２×ｘ０，Ｙ１＋Ｐ１×ｙ２−Ｐ１×ｙ０）の点が、抽出領域である矩形の対角の２つの頂点となる。
【００９２】
また、上記の場合において、矩形の４つの頂点のうちの対角にある２つの頂点の位置を示す原本座標系における２次元座標値が（ｘ１，ｙ１）、（ｘ２，ｙ２）であり、判定の結果が第２座標系と原本座標系とが一致するという結果であり、原本座標系における第１座標軸数列と第１座標系における第２座標軸数列との間における共通部分列組範囲の比率がＰ３であり、原本座標系における第２座標軸数列と第１座標系における第１座標軸数列との間における共通部分列組範囲の比率がＰ４であり、原本座標系の第１座標軸における共通部分列組に含まれる共通部分列に対応する最小の第１座標軸値がｙ０であり、原本座標系の第２座標軸における共通部分列組に含まれる共通部分列に対応する最小の第２座標軸値がｘ０であり、第１座標系の第１座標軸における共通部分列組に含まれる共通部分列に対応する最大の第１座標軸値がＹ２であり、第１座標系の第２座標軸における共通部分列組に含まれる共通部分列に対応する最小の第２座標軸値がＸ１であるときを想定する。
【００９３】
このとき、原本座標系における（ｘ１，ｙ１）の点は、第１座標系において、（Ｘ１＋Ｐ３×ｙ１−Ｐ３×ｙ０，Ｙ２−Ｐ４×ｘ１＋Ｐ４×ｘ０）の点に対応し、原本座標系における（ｘ２，ｙ２）の点は、第１座標系において、（Ｘ１＋Ｐ３×ｙ２−Ｐ３×ｙ０，Ｙ２−Ｐ４×ｘ２＋Ｐ４×ｘ０）の点に対応する。したがって、記入済みの帳票画像について、第１座標系における２次元座標値が（Ｘ１＋Ｐ３×ｙ１−Ｐ３×ｙ０，Ｙ２−Ｐ４×ｘ１＋Ｐ４×ｘ０）の点、および（Ｘ１＋Ｐ３×ｙ２−Ｐ３×ｙ０，Ｙ２−Ｐ４×ｘ２＋Ｐ４×ｘ０）の点が、抽出領域である矩形の対角の２つの頂点となる。
【００９４】
また、上記の場合において、矩形の４つの頂点のうちの対角にある２つの頂点の位置を示す原本座標系における２次元座標値が（ｘ１，ｙ１）、（ｘ２，ｙ２）であり、判定の結果が第３座標系と原本座標系とが一致するという結果であり、原本座標系における第１座標軸数列と第１座標系における第１座標軸数列との間における共通部分列組範囲の比率がＰ１であり、原本座標系における第２座標軸数列と第１座標系における第２座標軸数列との間における共通部分列組範囲の比率がＰ２であり、原本座標系の第１座標軸における共通部分列組に含まれる共通部分列に対応する最小の第１座標軸値がｙ０であり、原本座標系の第２座標軸における共通部分列組に含まれる共通部分列に対応する最小の第２座標軸値がｘ０であり、第１座標系の第１座標軸における共通部分列組に含まれる共通部分列に対応する最大の第１座標軸値がＹ２であり、第１座標系の第２座標軸における共通部分列組に含まれる共通部分列に対応する最大の第２座標軸値がＸ２であるときを想定する。
【００９５】
このとき、原本座標系における（ｘ１，ｙ１）の点は、第１座標系において、（Ｘ２−Ｐ２×ｘ１＋Ｐ２×ｘ０，Ｙ２−Ｐ１×ｙ１＋Ｐ１×ｙ０）の点に対応し、原本座標系における（ｘ２，ｙ２）の点は、第１座標系において、（Ｘ２−Ｐ２×ｘ２＋Ｐ２×ｘ０，Ｙ２−Ｐ１×ｙ２＋Ｐ１×ｙ０）の点に対応する。したがって、記入済みの帳票画像について、第１座標系における２次元座標値が（Ｘ２−Ｐ２×ｘ１＋Ｐ２×ｘ０，Ｙ２−Ｐ１×ｙ１＋Ｐ１×ｙ０）の点、および（Ｘ２−Ｐ２×ｘ２＋Ｐ２×ｘ０，Ｙ２−Ｐ１×ｙ２＋Ｐ１×ｙ０）の点が、抽出領域である矩形の対角の２つの頂点となる。
【００９６】
また、上記の場合において、矩形の４つの頂点のうちの対角にある２つの頂点の位置を示す原本座標系における２次元座標値が（ｘ１，ｙ１）、（ｘ２，ｙ２）であり、判定の結果が第４座標系と原本座標系とが一致するという結果であり、原本座標系における第１座標軸数列と第１座標系における第２座標軸数列との間における共通部分列組範囲の比率がＰ３であり、原本座標系における第２座標軸数列と第１座標系における第１座標軸数列との間における共通部分列組範囲の比率がＰ４であり、原本座標系の第１座標軸における共通部分列組に含まれる共通部分列に対応する最小の第１座標軸値がｙ０であり、原本座標系の第２座標軸における共通部分列組に含まれる共通部分列に対応する最小の第２座標軸値がｘ０であり、第１座標系の第１座標軸における共通部分列組に含まれる共通部分列に対応する最小の第１座標軸値がＹ１であり、第１座標系の第２座標軸における共通部分列組に含まれる共通部分列に対応する最大の第２座標軸値がＸ２であるときを想定する。
【００９７】
このとき、原本座標系における（ｘ１，ｙ１）の点は、第１座標系において、（Ｘ２−Ｐ３×ｙ１＋Ｐ３×ｙ０，Ｙ１＋Ｐ４×ｘ１−Ｐ４×ｘ０）の点に対応し、原本座標系における（ｘ２，ｙ２）の点は、第１座標系において、（Ｘ２−Ｐ３×ｙ２＋Ｐ３×ｙ０，Ｙ１＋Ｐ４×ｘ２−Ｐ４×ｘ０）の点に対応する。したがって、記入済みの帳票画像について、第１座標系における２次元座標値が（Ｘ２−Ｐ３×ｙ１＋Ｐ３×ｙ０，Ｙ１＋Ｐ４×ｘ１−Ｐ４×ｘ０）の点、および（Ｘ２−Ｐ３×ｙ２＋Ｐ３×ｙ０，Ｙ１＋Ｐ４×ｘ２−Ｐ４×ｘ０）の点が、抽出領域である矩形の対角の２つの頂点となる。
【００９８】
抽出領域の形状が楕円形、真円形、および正三角形である場合も、上記の場合と同様に、帳票原本画像における抽出領域を示す点に対応する帳票画像中の点の第１座標系における２次元座標値を算出することで、帳票画像中の抽出領域を特定することができる。抽出すべき領域が複雑な形状である場合には、矩形と正三角形と楕円形と真円形とが適宜組み合わされて、抽出すべき領域が特定される。
【００９９】
なお、本発明の他の実施形態としては、共通部分列組範囲の代わりに、最長共通部分列に対応する第１座標軸値（または第２座標軸値）の最小値と最大値との差分値を用いてもよい。
【０１００】
上記のようにして記入済みの帳票画像の中の抽出領域が特定されると、画像抽出部２０は、その抽出領域の画像を抽出する。抽出された画像は、画像データとして、記憶部３０などに記憶される。そして、この画像データに基づいて、ＯＣＲ（Optical Character Recognition）プログラムによって、文字データが生成され、記憶部３０などに記憶される。
【０１０１】
このような画像抽出装置１００によれば、画像抽出部２０は、判定部１３による判定の結果に基づいて、記入済み帳票画像からの画像抽出を行うので、帳票画像と帳票原本画像との間でスケールが異なっていたり、帳票画像の帳票中での位置がずれていたり、帳票画像の一部が欠落したり、帳票画像にノイズが生じたりしても、精度良く迅速に画像の抽出を行うことができる。
【０１０２】
次に、本発明の第２実施形態として、他の画像抽出装置１００について説明する。上述したように、画像抽出装置１００は、特徴量算出部１２によって、画像内の線分画像における両端画素の位置を示す２次元座標値から第１〜第４特徴量を算出し、該第１〜第４特徴量と原本特徴量とに基づいて、判定部１３によって、第１〜第４座標系のうち、原本座標系に一致する２次元座標系を判定する。上述した第１実施形態では、特徴量は、線分画像における両端画素の位置を示す２次元座標値から算出された第１、第２座標軸数列であったけれども、他の画像抽出装置１００では、これに限られない。以下に、他の画像抽出装置１００における判定および画像抽出の処理の具体例を示す。
【０１０３】
他の画像抽出装置１００は、まず、第１特徴量および原本特徴量をそれぞれ算出する。特徴量の算出のために、特徴量算出部１２は、前処理部１１による前処理後に、画像内のすべての線分画像を検出し、線分画像の両端の画素の位置を示す２次元座標値を線分画像ごとに取得する。次に、線分画像ごとに、線分画像の両端画素の位置を示す２つの２次元座標値のうち、第１座標軸値が小さい方の２次元座標値を、選択座標値として選択する。なお、２つの２次元座標値において、第１座標軸値が同一であるときは、第２座標軸値が大きい方の２次元座標値を選択座標値として選択する。たとえば、線分画像の両端画素の２次元座標値が、（第２座標軸値，第１座標軸値）＝（４，５），（３，６）のときは、（４，５）を選択座標値として選択し、線分画像の両端画素の２次元座標値が（第２座標軸値，第１座標軸値）＝（７，５），（６，５）のときは、（７，５）を選択座標値として選択する。
【０１０４】
特徴量算出部１２は、複数の線分画像から取得された複数の選択座標値の中で、第１座標軸値が最も小さい選択座標値を、第１基準値として選択する。なお、第１座標軸値が最も小さい選択座標値が複数ある場合は、第２座標軸値が最も大きい選択座標値を、第１基準値として選択する。また、特徴量算出部１２は、第１基準値として選択された選択座標値以外の複数の選択座標値の中で、第１座標軸値が最も小さい選択座標値を、第２基準値として選択する。なお、第１座標軸値が最も小さい選択座標値が複数ある場合は、第２座標軸値が最も大きい選択座標値を、第２基準値として選択する。たとえば、複数の選択座標値が、（第２座標軸値，第１座標軸値）＝（２，６），（５，６），（３，５），（４，６）のときは、（３，５）を第１基準値として選択し、（５，６）を第２基準値として選択する。
【０１０５】
特徴量算出部１２は、第１基準値と第２基準値との間の距離を、基準距離として算出する。また、特徴量算出部１２は、第１、第２基準値として選択された選択座標値以外の複数の選択座標値と、第１基準値との間の距離をそれぞれ算出し、距離が大きいものから順に、所定数（たとえば、５〜１００）選択する。そして、特徴量算出部１２は、選択した所定数の距離の値を基準距離で割った値を、大きいものから順に並べて、マッチするための特徴的なベクトルとする。特徴量算出部１２は、原本座標系および第１座標系において、このベクトルをそれぞれ算出し、原本特徴量および第１特徴量とする。
【０１０６】
次に、他の画像抽出装置１００は、特徴量算出部１２によって、帳票画像データに対して、左回りに９０度回転させる回転処理を行う。そして、回転処理後の帳票画像データに基づいて、原本特徴量および第１特徴量を算出したときと同様の手順で、第２特徴量を算出する。また、他の画像抽出装置１００は、特徴量算出部１２によって、帳票画像データに対して、左回りに１８０度回転させる回転処理を行い、回転処理後の帳票画像データに基づいて、原本特徴量および第１特徴量を算出したときと同様の手順で、第３特徴量を算出する。また、他の画像抽出装置１００は、特徴量算出部１２によって、帳票画像データに対して、左回りに２７０度回転させる回転処理を行い、回転処理後の帳票画像データに基づいて、原本特徴量および第１特徴量を算出したときと同様の手順で、第４特徴量を算出する。
【０１０７】
他の画像抽出装置１００は、上記のようにして特徴量算出部１２によって算出された第１〜第４特徴量および原本特徴量に基づいて判定を行う。具体的には、判定部１３が、原本特徴量と第１〜第４特徴量との間で、距離をそれぞれ算出して判定する。判定部１３は、第１〜第４座標系のうち、原本特徴量との間の距離が最小となった特徴量に対応する２次元座標系を、原本座標系に一致する座標系であると判定する。たとえば、原本特徴量と第２特徴量との間の距離が最小となったとき、判定部１３は、原本座標系に一致する座標系は第２座標系であると判定する。
【０１０８】
他の画像抽出装置１００は、画像抽出部２０によって、判定結果に応じた画像データから画像抽出を行う。具体的には、原本座標系に一致する座標系は第１座標系であるという判定結果の場合は、帳票画像データから画像抽出を行う。原本座標系に一致する座標系は第２座標系であるという判定結果の場合は、帳票画像データを左回りに９０度回転させる処理を行った画像データから画像抽出を行う。原本座標系に一致する座標系は第３座標系であるという判定結果の場合は、帳票画像データを左回りに１８０度回転させる処理を行った画像データから画像抽出を行う。原本座標系に一致する座標系は第４座標系であるという判定結果の場合は、帳票画像データを左回りに２７０度回転させる処理を行った画像データから画像抽出を行う。
【０１０９】
画像抽出は、記憶部３０に記憶された抽出領域データと、原本特徴量の算出のときに用いられた第１基準値（以下、「原本第１基準値」と称する）および基準距離（以下、「原本基準距離」と称する）と、判定結果に対応する特徴量の算出のときに用いられた第１基準値（以下、「判定第１基準値」と称する）および基準距離（以下、「判定基準距離」と称する）とに基づいて行われる。
【０１１０】
たとえば、抽出領域の形状が矩形である場合、原本座標系において、矩形の頂点を示す２次元座標値から原本第１基準値を減じて得られるベクトルである差分ベクトルを算出する。そして、原本基準距離に対する判定基準距離の比（判定基準距離／原本基準距離）を差分ベクトルに乗じて得られるベクトルを、判定第１基準値に加え、対応座標値を算出する。このようにして算出される対応座標値は、判定結果の示す２次元座標系における矩形の抽出領域の頂点の２次元座標値に対応する。画像抽出部２０は、対応座標値に基づいて、抽出領域を特定し、画像を抽出する。
【０１１１】
このような第２実施形態によれば、第１実施形態と同様に、帳票画像と帳票原本画像との間でスケールが異なっていたり、帳票画像の帳票中での位置がずれていたり、帳票画像の一部が欠落したり、帳票画像にノイズが生じたりしても、精度良く迅速に画像の抽出を行うことができる。
【０１１２】
画像抽出装置１００は、従来公知の情報処理装置に、該情報処理装置を画像抽出装置１００として機能させるプログラムである画像抽出プログラムを記憶させることで、実現することができる。この画像抽出プログラムは、従来公知の情報処理装置を画像判定部１０として機能させる画像判定プログラムでもあり、従来公知の、コンピュータ読み取り可能な記録媒体に記録できる。
【０１１３】
上記画像抽出プログラムを記録媒体に記録することで、画像抽出装置１００が行う各種の処理を実行するためのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラムなど）を記録した記録媒体を、持ち運び自在に提供することができる。
【０１１４】
なお、記録媒体は、マイクロコンピュータが処理を行うためのメモリ、たとえばＲＯＭ（Read Only Memory）のようなプログラムメディアであってもよいし、または、コンピュータが外部記憶装置として備えるプログラム読取装置に挿入することで読み取られるプログラムメディアであってもよい。
【０１１５】
記録媒体に格納されているプログラムは、マイクロプロセッサが記録媒体にアクセスして実行する方式であってもよいし、または、マイクロプロセッサが記録媒体からプログラムコードを読み出し、読み出されたプログラムコードがマイクロコンピュータのプログラム記憶エリアにダウンロードされることで、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
【０１１６】
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープ、カセットテープなどのテープ系、フレキシブルディスク、ハードディスクなどの磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc - Read Only Memory）、ＭＯ（
Magneto Optical disc）、ＭＤ（Mini Disc）、ＤＶＤ（Digital Versatile Disc）などの光ディスクのディスク系、ＩＣ（Integrated Circuit）カード（メモリカードを含む）、光カードなどのカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（登録商標）、フラッシュＲＯＭなどによる半導体メモリを含めた固定的にプログラムコードを担持する媒体であってもよい。
【０１１７】
また、コンピュータが、インターネットを含む通信ネットワークを接続可能なシステム構成であれば、記録媒体は、通信ネットワークからプログラムコードをダウンロードするように、流動的にプログラムコードを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、または他の記録媒体からインストールしておく。また、上記画像抽出プログラムは、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【符号の説明】
【０１１８】
１０  画像判定部
１１  前処理部
１２  特徴量算出部
１３  判定部
２０  画像抽出部
３０  記憶部
１００  画像抽出装置
【図１】
2012099089.tif 000003
【図２】
2012099089.tif 000004
【図３】
2012099089.tif 000005
【図４】
2012099089.tif 000006
【図５】
2012099089.tif 000007