(57)【要約】【課題】画像データ間の差分データを抽出した後の微小コントラストを適切に除去すること。【解決手段】記入前データのデータ箇所及び記入後データのデータ箇所との差分データに含まれる文字を認識する情報処理装置が、記入前データ及び記入後データにおけるデータ箇所をそれぞれ読み取り、記入後データから読み取ったデータ箇所が、記入前データから読み取ったデータ箇所に重なるように、記入後データから読み取ったデータ箇所を変形し、変形した記入後データのデータ箇所をデータがある箇所を示す階調とデータが無い箇所を示す階調に二値化し、二値化した記入後データのデータ箇所と、記入前データのデータ箇所をデータがある箇所を示す階調とデータが無い箇所を示す階調に二値化した、記入前データのデータ箇所との差分データを抽出する。 【選択図】図４
2018185810.tif 000002
【特許請求の範囲】
【請求項１】
記入前データのデータ箇所及び記入後データのデータ箇所との差分データに含まれる文字を認識する情報処理装置であって、
前記記入前データ及び前記記入後データにおけるデータ箇所をそれぞれ読み取る読取手段と、
前記記入後データから読み取ったデータ箇所が、前記記入前データから読み取ったデータ箇所に重なるように、前記記入後データから読み取ったデータ箇所を変形する変形手段と、
前記変形手段で変形した前記記入後データのデータ箇所をデータがある箇所を示す階調とデータが無い箇所を示す階調に二値化する二値化手段と、
前記二値化手段で二値化した前記記入後データのデータ箇所と、前記記入前データのデータ箇所をデータがある箇所を示す階調とデータが無い箇所を示す階調に二値化した、前記記入前データのデータ箇所との差分データを抽出する差分抽出手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記変形手段で変形する前の前記記入後データのデータ箇所と前記読み取った前記記入前データのデータ箇所との同一箇所から検出される特徴点同士の対応付けを行う対応付け手段と、
前記対応付けした前記記入後データのデータ箇所と前記記入前データのデータ箇所との特徴点同士の座標を重ねるように、前記記入後データの画像全体の座標を変形するための変換行列を算出する算出手段と、
前記変形手段は、前記記入後データの画像全体の座標の変形を、前記変換行列を用いて行い、前記変換行列を用いて前記記入後データの画像全体の座標を変形した後の座標に端数がある画素を、周辺の画素に端数を分散するアンチエイリアス処理を行うことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記差分データを抽出した後に残る前記データのある箇所の領域を、所定の条件で収縮する収縮手段と、
前記領域の線が細くなるように、前記収縮することで、前記差分データを抽出した後に残るノイズを除去する除去手段と、
を更に備えることを特徴とする請求項１または請求項２に記載の情報処理装置。
【請求項４】
前記記入後データは、スキャナで読み取られる画像データであることを特徴とする請求項１乃至請求項３のいずれか１項に記載の情報処理装置。
【請求項５】
前記記入後データで読み取ったデータ箇所には、罫線、記入枠、項目名、手書きの文字を含み、前記記入前データで読み取ったデータ箇所には、罫線、記入枠、項目名を含み、
記入前データ及び記入後データにおける差分データから得られる前記手書きの文字の認識をする文字認識手段を更に備えることを特徴とする請求項１乃至請求項４のいずれか１項に記載の情報処理装置。
【請求項６】
記入前データのデータ箇所及び記入後データのデータ箇所との差分データに含まれる文字を認識する情報処理装置の制御方法であって、
前記情報処理装置の読取手段が、前記記入前データ及び前記記入後データにおけるデータ箇所をそれぞれ読み取る読取工程と、
前記情報処理装置の変形手段が、前記記入後データから読み取ったデータ箇所が、前記記入前データから読み取ったデータ箇所に重なるように、前記記入後データから読み取ったデータ箇所を変形する変形工程と、
前記情報処理装置の二値化手段が、前記変形工程で変形した前記記入後データのデータ箇所をデータがある箇所を示す階調とデータが無い箇所を示す階調に二値化する二値化工程と、
前記情報処理装置の差分抽出手段が、前記二値化工程で二値化した前記記入後データのデータ箇所と、前記記入前データのデータ箇所をデータがある箇所を示す階調とデータが無い箇所を示す階調に二値化した、前記記入前データのデータ箇所との差分データを抽出する差分抽出工程と、
を含むことを特徴とする制御方法。
【請求項７】
記入前データのデータ箇所及び記入後データのデータ箇所との差分データに含まれる文字を認識する情報処理装置で読み取り実行可能なプログラムであって、
前記情報処理装置を、
前記記入前データ及び前記記入後データにおけるデータ箇所をそれぞれ読み取る読取手段と、
前記記入後データから読み取ったデータ箇所が、前記記入前データから読み取ったデータ箇所に重なるように、前記記入後データから読み取ったデータ箇所を変形する変形手段と、
前記変形手段で変形した前記記入後データのデータ箇所をデータがある箇所を示す階調とデータが無い箇所を示す階調に二値化する二値化手段と、
前記二値化手段で二値化した前記記入後データのデータ箇所と、前記記入前データのデータ箇所をデータがある箇所を示す階調とデータが無い箇所を示す階調に二値化した、前記記入前データのデータ箇所との差分データを抽出する差分抽出手段と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ間の差分データを抽出した後の微小コントラストを適切に除去する技術に関する。
【背景技術】
【０００２】
帳票に手書きで記入した文字をＯＣＲ（光学文字認識）で認識して業務に利用するシステムは古くから存在しているが、帳票上の手書き文字を認識するには、記入後の帳票から、元の帳票と手書きの部分をどのように分離するかという課題がある。元の帳票に存在する罫線や見出しは後から手書きをした文字を認識する際には障害となる。
【０００３】
帳票と手書き文字を分離するための方法として現在広く使われているドロップアウトカラー方式は、帳票の枠線や見出しを人間の目には見えるがスキャナには読み取れないカラーインクで印刷し、スキャンの際に枠線や見出しを落とすことで手書き文字だけを抽出する方式である。
【０００４】
この方式の問題点として、帳票をカラー印刷する必要がありコストがかかるという問題がある。
【０００５】
特許文献１の画像処理装置には、歪補正部と差分抽出部によって２つの画像データ間の歪を補正後、１の画像データと歪を補正した２の画像データとを比較して、その差分データを抽出し、解答者情報欄の記入内容を抽出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２０５０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら特許文献１の技術のように、画像データ間の差分データを抽出した後には、画像データ間の明度差（微小コントラスト）や、画像データ間の変形補正によって発生する位置ずれが微小ノイズとして残ってしまい、この微小コントラストや、微小ノイズが残った状態でＯＣＲ処理を行う場合、残った微小コントラストや微小ノイズを間違ってＯＣＲ処理してしまうという問題が起こる。
【０００８】
そのために、残った微小コントラストや微小ノイズを適切に除去してからＯＣＲ処理を実行出来ることが要望されている。
【０００９】
本発明は、画像データ間の差分データを抽出した後の微小コントラストを適切に除去することが可能な仕組みを提供すること目的とする。
【課題を解決するための手段】
【００１０】
本発明は、記入前データのデータ箇所及び記入後データのデータ箇所との差分データに含まれる文字を認識する情報処理装置であって、前記記入前データ及び前記記入後データにおけるデータ箇所をそれぞれ読み取る読取手段と、前記記入後データから読み取ったデータ箇所が、前記記入前データから読み取ったデータ箇所に重なるように、前記記入後データから読み取ったデータ箇所を変形する変形手段と、前記変形手段で変形した前記記入後データのデータ箇所をデータがある箇所を示す階調とデータが無い箇所を示す階調に二値化する二値化手段と、前記二値化手段で二値化した前記記入後データのデータ箇所と、前記記入前データのデータ箇所をデータがある箇所を示す階調とデータが無い箇所を示す階調に二値化した、前記記入前データのデータ箇所との差分データを抽出する差分抽出手段と、を備えることを特徴とする。
【００１１】
本発明は、記入前データのデータ箇所及び記入後データのデータ箇所との差分データに含まれる文字を認識する情報処理装置の制御方法であって、前記情報処理装置の読取手段が、前記記入前データ及び前記記入後データにおけるデータ箇所をそれぞれ読み取る読取工程と、前記情報処理装置の変形手段が、前記記入後データから読み取ったデータ箇所が、前記記入前データから読み取ったデータ箇所に重なるように、前記記入後データから読み取ったデータ箇所を変形する変形工程と、前記情報処理装置の二値化手段が、前記変形工程で変形した前記記入後データのデータ箇所をデータがある箇所を示す階調とデータが無い箇所を示す階調に二値化する二値化工程と、前記情報処理装置の差分抽出手段が、前記二値化工程で二値化した前記記入後データのデータ箇所と、前記記入前データのデータ箇所をデータがある箇所を示す階調とデータが無い箇所を示す階調に二値化した、前記記入前データのデータ箇所との差分データを抽出する差分抽出工程と、を含むことを特徴とする。
【００１２】
本発明は、記入前データのデータ箇所及び記入後データのデータ箇所との差分データに含まれる文字を認識する情報処理装置で読み取り実行可能なプログラムであって、前記情報処理装置を、前記記入前データ及び前記記入後データにおけるデータ箇所をそれぞれ読み取る読取手段と、前記記入後データから読み取ったデータ箇所が、前記記入前データから読み取ったデータ箇所に重なるように、前記記入後データから読み取ったデータ箇所を変形する変形手段と、前記変形手段で変形した前記記入後データのデータ箇所をデータがある箇所を示す階調とデータが無い箇所を示す階調に二値化する二値化手段と、前記二値化手段で二値化した前記記入後データのデータ箇所と、前記記入前データのデータ箇所をデータがある箇所を示す階調とデータが無い箇所を示す階調に二値化した、前記記入前データのデータ箇所との差分データを抽出する差分抽出手段と、として機能させる。
【発明の効果】
【００１３】
本発明により、画像データ間の差分データを抽出した後の微小コントラストを適切に除去することが可能な仕組みを提供することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態における、手書き文字抽出システム構成の一例を示す図である。
【図２】本発明の実施形態における、ＯＣＲ装置のハードウェア構成の一例を示すブロック図である。
【図３】本発明の実施形態における、ＯＣＲ装置内部の機能構成の一例を示すブロック図である。
【図４】本発明の実施形態における、手書き文字を抽出する処理の一例を示すフローチャートである。
【図５】本発明の実施形態における、手書き文字を抽出する処理の概要を示す図である。
【図６】本発明の実施形態における、帳票データベースの一例を示す図である。
【図７】本発明の実施形態における、特徴点の対応付け処理の一例を表す図である。
【図８】本発明の実施形態における、画像の差分抽出処理課程の一例を示す図である。
【図９】本発明の実施形態における、画像のノイズ除去処理後の状態の一例を示す図である。
【図１０】本発明の変形前、変形後の画素の位置関係を示す式である。
【発明を実施するための形態】
【００１５】
図１を説明する。
【００１６】
図１は、本発明の実施形態における手書き文字抽出システムのシステム構成の一例を示す図である。
【００１７】
手書き文字抽出の主要な処理を行うためのＯＣＲ装置（情報処理装置）１０１および、帳票をスキャンして画像ファイル化（画像スキャン）するスキャナ３０１が通信経路４０１を介して接続される構成となっている。
【００１８】
通信経路４０１はスキャナ３０１の有する物理インターフェースに応じて、有線ＬＡＮ，無線ＬＡＮ，ＵＳＢなどの形態をとることができる。
【００１９】
通信経路４０１上にはファイルサーバー５０１を置いてもよい。スキャナ３０１でスキャンした画像をＯＣＲ装置１０１に取り込む方法として、スキャナ３０１からＯＣＲ装置１０１に直接画像を送信する方法、スキャナ３０１で取り込んだ画像ファイルをいったんファイルサーバー５０１に保管し、ＯＣＲ装置１０１がファイルサーバー５０１から画像ファイルを取り出す方法どちらをとっても良い。
【００２０】
図２を説明する。
【００２１】
図２は、本発明の実施形態におけるＯＣＲ装置１０１のハードウェア構成の一例を示すブロック図である。ファイルサーバー５０１も同様の構成となる。
【００２２】
ＣＰＵ１は、システムバス４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２あるいは外部メモリ１１には、ＣＰＵ１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＯＣＲ装置の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
【００２３】
ＲＡＭ３は、ＣＰＵ１の主メモリ、ワークエリア等として機能する。ＣＰＵ１は、処理の実行に際して必要なプログラム等をＲＯＭ２あるいは外部メモリ１１からＲＡＭ３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
【００２４】
また、５は入力コントローラで、キーボード（ＫＢ）９やカメラデバイス１２（撮像装置）、不図示のマウス等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）１０等の表示器への表示を制御する。なお、ＣＲＴ１０と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。
【００２５】
メモリコントローラ７は、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＯＣＲ装置ＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ１１へのアクセスを制御する。
【００２６】
通信Ｉ／Ｆコントローラ８は、ネットワーク（例えば、図に示したＬＡＮ）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【００２７】
なお、ＣＰＵ１は、例えばＲＡＭ３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ１０上での表示を可能としている。また、ＣＰＵ１は、ＣＲＴ１０上の不図示のマウスカーソル等でのユーザによる指示を可能とする。
【００２８】
本発明を実現するための後述する各種プログラムは、外部メモリ１１に記録されており、必要に応じてＲＡＭ３にロードされることによりＣＰＵ１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ１１に格納されており、これらについての詳細な説明も後述する。
【００２９】
また、本発明における実行可能なプログラムは、図３乃至図４の処理をコンピュータに実行させるプログラムである。なお、本発明におけるプログラムは、図３乃至図４の各処理ごとのプログラムであってもよい。
【００３０】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。
【００３１】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。
【００３２】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。
【００３３】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３４】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３５】
また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【００３６】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【００３７】
図３を説明する。
【００３８】
ＯＣＲ装置１０１の機能ブロックを示したものである。
【００３９】
入力受付部２５１は、帳票ＩＤ及びドキュメントスキャナや画像形成装置にて読み取られ、ＯＣＲ装置１０１に送信された変形前の記入後帳票画像１００１を受け付ける機能を有している。
【００４０】
特徴点検出部２５２は、受け付けた変形前の記入後帳票画像１００１と、受け付けた帳票ＩＤに対応する記入前帳票画像１１０１から、特徴点群７０１、特徴点群７０２を検出し、特徴点対応情報７０３を作成する機能を有している。
【００４１】
変換行列算出部２５３は、特徴点群７０１と特徴点群７０２との特徴点同士の座標が、ぴったり重なるように、変形前の記入後帳票画像１００１の画像全体を変形するための変換行列Ｔを算出する機能を有している。
【００４２】
画像変形部２５４は、変形前の記入後帳票画像１００１に変換行列算出部２５３が算出した変換行列Ｔをかけて、変形前の記入後帳票画像１００１の画像全体の変形を実行する機能を有している。
【００４３】
画像階調処理部２５５は、変形後の記入後帳票画像１００２や、記入前帳票画像１１０１に対して、それぞれ画面全体の各画素の階調の二値化処理を行う機能を有している。
【００４４】
差分抽出部２５６は、二値化後の記入後帳票画像１００３の位置に、二値化後の記入前帳票画像１１０２の位置を正確に重ね合わせてから、二値化後の記入後帳票画像１００３のデータ箇所から、二値化後の記入前帳票画像１１０２のデータ箇所を消去して、画面全体の各画素の階調の差分を取とる機能を有している。
【００４５】
ノイズ除去部２５７は、差分画像１２０１に対して白領域の幅の収縮処理を行い、ノイズを除去する機能を有している。
【００４６】
図４を説明する。
【００４７】
次に図４のフローチャートを用いて、本発明の実施形態におけるＯＣＲ装置１０１が実行する手書き文字抽出処理について説明する。
【００４８】
図４のフローチャートは、ＯＣＲ装置１０１上のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理であり、記入後帳票画像から手書き文字を抽出する処理を示すフローチャートである。
【００４９】
ＣＰＵ２０１上に読み込まれた制御プログラムは図３に示す機能ブロックに分割されており、ここでその機能ブロックに照らし合わせて説明する。
【００５０】
図５を説明する。
【００５１】
図５は本発明の手書き文字抽出処理の入力および出力を簡易的に示した図である。変形前の記入後帳票画像１００１と、ＯＣＲ装置１０１が帳票データベース２６０に補完している記入前帳票画像１１０１を、帳票管理部２５８を通して取得し、後述の処理を通じて差分画像１２０２として出力する。この際、変形前の記入後帳票画像１００１と記入前帳票画像１１０１を単純に重畳してもスキャンに起因する位置ずれ、歪みにより罫線は適切に除去できないため、以下に説明するステップを通して正確に位置合わせをして罫線を除去する。
【００５２】
ステップＳ４０１では、入力受付部２５１が、ユーザから手書き文字抽出の要求を受け付ける。この要求には、スキャナ等でスキャンされた手書き文字を抽出する対象の変形前の記入後帳票画像１００１（例えば、学籍番号、得点等が記入された後の講義レポートの画像データ）及び対象帳票の種類を識別可能な帳票ＩＤ（例えば、講義レポートを特定可能）のセットが電文として含まれている。記入後帳票画像１００１はスキャナ３０１から直接取得してＯＣＲ装置１０１上のＲＡＭ２０３を介して送信してもよいし、ファイルサーバー５０１を経由してファイルの形で送信してもよい。
【００５３】
受信した変形前の記入後帳票画像１００１は、ＯＣＲ装置１０１のＲＡＭ２０３に記憶される。
【００５４】
さらに、ＲＡＭ２０３に記憶された変形前の記入後帳票画像１００１の中で、記入後データのデータ箇所（罫線や記入枠や項目名、手書きの学籍番号、手書きの氏名、手書きの得点等）を読み取る（読取手段）。例えば図５に示したような変形前の記入後帳票画像１００１の状態である。
【００５５】
ステップＳ４０２では、帳票管理部２５８が、ステップＳ４０１で受け付けた要求に含まれる帳票ＩＤに基づき、帳票ＩＤをキーに、帳票マスタであるデータベース２６０（図６）から帳票ＩＤに対応する記入前帳票画像１１０１を引き出す。引き出した記入前帳票画像はＯＣＲ装置１０１のＲＡＭ２０３に記憶される。
【００５６】
さらに、ＲＡＭ２０３に記憶された記入前帳票画像１１０１の中で、記入前データのデータ箇所（罫線や記入枠や項目名等）を読み取る（読取手段）。例えば図５の１１０１に示したような二値化前の状態である。
【００５７】
図６を説明する。
【００５８】
図６は本発明における帳票マスタであるデータベース２６０の一例である。帳票の種類を識別可能な帳票ＩＤと一意に対応づけて、各記入前帳票画像が画像ファイルの形式で帳票マスタであるデータベース２６０にそれぞれ格納されており、Ｓ４０１で要求された帳票ＩＤに基づいてレコード６０１〜から記入前帳票画像１１０１を取得する。
【００５９】
ステップＳ４０３では、特徴点検出部２５２が、変形前の記入後帳票画像１００１から、特徴点群７０１を抽出する。特徴点は画像中の線分の端点、交点、輝度や色の境界になる線上の点が望ましい。こうした条件に合致する点を抽出するための手法として、ＫＡＺＥ、ＯＲＢ（Ｏｒｉｅｎｔｅｄ−ＢＲＩＥＦ）、ＳＩＦＴ  （Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅ  ｔｒａｎｓｆｏｒｍ）などが知られている。
【００６０】
ステップＳ４０４では、ステップＳ４０３と同様にして、記入前帳票画像１１０１から、特徴点群７０２を抽出する。
【００６１】
ステップＳ４０５では、特徴点検出部２５２が、特徴点群７０１と特徴点群７０２間で、変形前の記入後帳票画像１００１と記入前帳票画像１１０１との同一箇所から検出されたと推定される特徴点の対応付けを行う。特徴点の対応付けのアルゴリズムとしては、ＫＮＮ（Ｋ−Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ  ａｌｇｏｒｉｔｈｍ）、Ｂｌｕｔｅ−Ｆｏｒｃｅ、ＦＬＡＮＮ（Ｆａｓｔ  Ｌｉｂｒａｒｙ  ｆｏｒ  Ａｐｐｒｏｘｉｍａｔｅ  Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒｓ）などが知られている。
【００６２】
図７を説明する。
【００６３】
図７は、ステップＳ４０５における特徴点の対応付け処理の一例を示す図である。変形前の記入後帳票画像１００１上の手書き文字から検出された特徴点は、記入前帳票画像１１０１からは検出されないのでここで対応付けから除外され、帳票にもともと存在する罫線、見出しに対応する特徴点対応情報７０３が得られる。
【００６４】
ここで特徴点対応情報７０３は、変形前の記入後帳票画像１００１上のある特徴点と、記入前帳票画像１１０１上のある特徴点を紐づけたものである。
【００６５】
つまり、図７のように、変形前の記入後帳票画像１００１の特徴点群７０１と記入前帳票画像１１０１の特徴点群７０２間で、同じ特徴量を持つ特徴点対応情報７０３群がマッピングテーブルとして管理されている。
【００６６】
ステップＳ４０６では、変換行列算出部２５３が、対応する特徴点同士の座標から、変形前の記入後帳票画像１００１と記入前帳票画像１１０１との特徴点同士の座標が、ぴったり重なるように、記入後帳票画像１００１の画像全体を変形するための変換行列Ｔを算出する。変換行列を算出するための手法としては、ＲＡＮＳＡＣやＬｅａｓｔ  Ｍｅｄｉａｎなどが知られている。
【００６７】
ステップＳ４０７では、画像変形部２５４が、変形前の記入後帳票画像１００１に変換行列Ｔをかけて変形を行う。画像変形部２５４が、変形前の記入後帳票画像１００１に変換行列Ｔをかけて変形を行うことで、ステップＳ４０１、Ｓ４０２で読み取った記入前データ及び記入後データにおけるデータ箇所の歪を補正することができる（変形手段）。
【００６８】
変形前の記入後帳票画像１００１に変換行列Ｔをかけてフィッティング変形を行った場合、例えば変形前画像の座標（１００，１００）に黒い色の画素があったと仮定して、この画素がフィッティング変形によって移動する先の座標は全て整数値になるとは限らない。つまり、フィッティング変形後画像の座標（１０１．５，１０２．３）のような少数点以下の端数を持つ座標が計算されてしまう。
【００６９】
この少数点以下の端数の座標が計算されないように、フィッティング変形の段階ですべての画素が整数値になるような精度で収まるようにすることも技術的には可能であるが、一般的には座標に端数がある画素は、その周辺の画素に端数を分散するアンチエイリアス処理をする手法が用いられる。
【００７０】
端数をその周辺の画素に分散するアンチエイリアス処理をした場合は、フィッティング変形時の端数の分散によって、端数が分散されたその周辺の画素にはグレー階調が発生するという問題がある。
【００７１】
本願発明では変形前の記入後帳票画像１００１上のある特徴点７０１と、記入前帳票画像１１０１上のある特徴点を紐づけた特徴量７０２によるマッチング情報を使って、変換行列Ｔをかけて変形を行うホモグラフィー変換を用いてフィッティング変形している。このように、マッチング情報を使ったホモグラフィー変換を採用すると、平行移動、拡大、縮小、回転の変形が全て可能となることから、記入前データと記入後データが別の印刷機で印刷されて、記入前データと記入後データで縮尺が微妙に異なるケースでの精度良く変形できるようになる。
【００７２】
ここで得られる画像を変形後の記入後帳票画像１００２とする。例えば図５の１００２に示したような二値化前の状態である。
【００７３】
数式１は変形後の変形後の記入後帳票画像１００２上の任意の点（ｘ，ｙ）と、変形前の記入後帳票画像１００１上の対応する点（ｘ’，ｙ’）との関係を表す式であり、変形手段による変形後の変形後の記入後帳票画像１００２上の任意の座標を（ｘ，ｙ）を示したものである。
【００７４】
更に、数式２は変形後の記入後帳票１００２上の任意の点（ｘ，ｙ）における色Ｃ２（ｘ，ｙ）を表す式である。Ｃ２（ｘ，ｙ）は変形前の記入後帳票１００１上の点（ｘ’，ｙ’）における色Ｃ１（ｘ’，ｙ’）と同じである。
【００７５】
ステップＳ４０８では、画像階調処理部２５５が、変形後の記入後帳票画像１００２および記入前帳票画像１１０１に対して二値化処理を行う（二値化手段）。ステップＳ４０１、Ｓ４０２で読み取った読み取った記入前データ及び記入後データの中で、データが有る箇所を白の階調にし、逆にステップＳ４０１、Ｓ４０２で読み取った読み取った記入前データ及び記入後データの中で、データが無い箇所の領域を黒の階調にして二値化している。
【００７６】
ここで変形後の記入後帳票画像１００２を二値化するのは、アンチエイリアス処理で発生したグレー階調の画素を無くすためであり、もしアンチエイリアス処理よりも前に二値化してしまうとアンチエイリアス処理で発生したグレー階調の画素が残ってしまうからである。
【００７７】
尚、記入前帳票画像１１０１の二値化だけは本発明の手書き文字を抽出する処理の実行前に予め準備しておいても問題はない。このように、記入前帳票画像１１０１は再利用するので、ステップＳ４０４で特徴点抽出など重い処理に限りその結果及びデータをキャッシュしている。
【００７８】
しかしながら、二値化は、特徴点抽出のような重い処理ではないことや、画像のキャッシングは特徴点のキャッシングと比較してメモリを消費するという理由のためにステップＳ４０８で毎回実施している。
【００７９】
尚、二値化ではデータが有る箇所の領域を黒の階調にし、データが無い箇所の領域を白の階調にしても問題ない。
【００８０】
この変形後の記入後帳票画像１００２を二値化する理由は、後述のステップＳ４０９で、ステップＳ４０１、Ｓ４０２で読み取った読み取った記入前データ及び記入後データにおけるデータ箇所の差分を抽出する際に、他の階調画像どうしを減算してもグレーの階調（微小コントラスト）の画素が、差分として残ってしまうためである。つまる差分結果が二値だけの画像となるようあらかじめ変形後の記入後帳票画像１００２を二値化しておく必要がある。
【００８１】
変形後の記入後帳票画像１００２を二値化してからの差分処理結果では同じ色の階調画像どうしを減算するので、必ず全画素の階調が０（黒色）か２５５（白色）になるが、変形後の記入後帳票画像１００２を二値化せずに差分処理を行うと、他の階調画像どうしを減算することから、差分処理結果も全画素の階調が０から２５５の間の不安定な色（グレー階調）になる。
【００８２】
差分処理結果が不安定な色（グレー階調）になった後で二値化をしても、明瞭な画像が得られなくなるという問題が発生する。
【００８３】
つまり、記入前帳票画像１１０１と変形後の記入後帳票画像１００２では枠線の濃度が異なる場合等もあり、濃度が異なる結果、予期せぬごみ（微小ノイズ）が発生したり逆に残ってほしい箇所が消えてしまったりすることになる。そのため、変形後の記入後帳票画像１００２の二値化を、差分処理前に行うようにしなければならない。
【００８４】
ここで得られる画像を二値化後の記入後帳票画像１００３、および二値化後の記入前帳票画像１１０２とする。例えば図５に示したような二値化後の状態である。
【００８５】
ステップＳ４０９では、差分抽出部２５６が、二値化後の記入後帳票画像１００３および二値化後の記入前帳票画像１１０２を重畳して各画素値の差分を取とる（差分抽出手段）。ここで得られる画像を差分画像１２０１とする。ステップＳ４０１、Ｓ４０２で読み取った読み取った記入前データ及び記入後データにおける差分データを抽出する。
【００８６】
Ｓ４０７で歪を変形後、ステップＳ４０８で二値化し、二値化後に差分データをステップＳ４０９で抽出することで、他の階調画像どうしを減算してもグレー（微小コントラスト）の画素が差分として残ってしまう問題を解決することができる。
【００８７】
図８を説明する。
【００８８】
図８は、本発明における差分画像１２０１の一例である。ここでは、罫線にあたる領域の中心線が黒く除去され、罫線の輪郭が白い画素として残っていることが見て取れる。これは、スキャン時のムラ、カスレなどに加えて、ステップＳ４０７の変形処理を行ったとしても、図形の輪郭部分に微小な差異（微小ノイズ）が発生するためである。
【００８９】
ステップＳ４１０では、ノイズ除去部２５７が、差分画像１２０１に対して白領域の収縮処理（収縮手段）を行い、ノイズを除去する（除去手段）。図９はノイズ除去後の差分画像１２０２を示したものである。
【００９０】
このように収縮手段は、差分データを抽出した後に残るデータのある箇所の領域を、所定の条件（ピクセル数等）で収縮し、除去手段が、領域の線が細くなるように、前記収縮することで、前記差分データを抽出した後に残るノイズを除去している。ここでは、連続している城がその領域に対して、その輪郭を所定のピクセル数だけ黒で置換することで行われる。罫線の輪郭にあたる微小な誤差はこの処理で取り除かれ、手書き文字はこの誤差より太くなるため、手書き文字が残り、罫線のノイズが除去される。ここで得られる画像が最終結果の差分画像１２０２とする。
【００９１】
つまり、記入後データで読み取ったデータ箇所には、罫線、記入枠、項目名、手書きの文字を含み、記入前データで読み取ったデータ箇所には、罫線、記入枠、項目名を含んでいるので、記入前データ及び記入後データにおける差分データから得られる手書きの文字の認識をする（文字認識手段）ことで、項目名、記入後データから手書きの文字だけを取得することができる。
【符号の説明】
【００９２】
１０１  ＯＣＲ装置本体
２０１−２１４  ＯＣＲ装置を構成する部品（省略）
２５１  入力受付部
２５２  特徴点検出部
２５３  変換行列算出部
２５４  画像変形部
２５５  画像階調処理部
２５６  差分抽出部
２５７  ノイズ除去部
２５８  帳票管理部
２６０  帳票データベース
３０１  スキャナ本体
４０１  ネットワーク経路
５０１  ファイルサーバー
６０１−６０３  帳票データベースのレコード
７０１  記入後帳票から検出された特徴点群
７０２  記入前帳票から検出された特徴点群
１００１  記入後帳票画像（変形前）
１００２  記入後帳票画像（変形後）
１１０１  記入前帳票画像
１２０１  差分画像
１２０２  ノイズ除去済み差分画像（最終結果）
【図１】
2018185810.tif 000003
【図２】
2018185810.tif 000004
【図３】
2018185810.tif 000005
【図４】
2018185810.tif 000006
【図５】
2018185810.tif 000007
【図６】
2018185810.tif 000008
【図７】
2018185810.tif 000009
【図８】
2018185810.tif 000010
【図９】
2018185810.tif 000011
【図１０】
2018185810.tif 000012