(57)【要約】【課題】帳票をコピーして使用した場合など、帳票全体の位置にずれが生じた場合でも、文字認識の対象である文字領域を精度よく抽出する画像処理装置を提供する。【解決手段】画像処理装置は、帳票データ記憶部と、文字枠候補検出部と、相対位置計算部と、文字枠判定部とを持つ。帳票データ記憶部は、文字枠を含む帳票における、前記文字枠の前記帳票内での相対的位置の情報を正解枠情報として予め記憶しておく。文字枠候補検出部は、取得した入力画像中の特徴に基づいて文字枠候補を検出する。相対位置計算部は、前記文字枠候補検出部が検出した文字枠候補の相対的位置を枠候補情報として算出する。文字枠判定部は、前記枠候補情報における前記相対的位置の情報と、前記帳票データ記憶部から読み出した前記正解枠情報における前記相対的位置の情報とに基づいて、前記正解枠情報を前記枠候補情報に対応付ける処理を行う。【選択図】図１
2018036731.tif 000002
【特許請求の範囲】
【請求項１】
文字枠を含む帳票における、前記文字枠の前記帳票内での相対的位置の情報を正解枠情報として予め記憶しておく帳票データ記憶部と、
取得した入力画像中の特徴に基づいて文字枠候補を検出する文字枠候補検出部と、
前記文字枠候補検出部が検出した文字枠候補の相対的位置を枠候補情報として算出する相対位置計算部と、
前記枠候補情報における前記相対的位置の情報と、前記帳票データ記憶部から読み出した前記正解枠情報における前記相対的位置の情報とに基づいて、前記正解枠情報を前記枠候補情報に対応付ける処理を行う文字枠判定部と、
を具備する画像処理装置。
【請求項２】
前記枠候補情報は、前記文字枠候補検出部によって検出された前記文字枠候補の絶対位置の情報を含み、
前記正解枠情報は、前記帳票における前記文字枠の絶対位置の情報を含み、
前記文字枠判定部が対応付けた前記枠候補情報と前記正解枠情報との間で、前記枠候補情報が含む前記絶対位置の情報と前記正解枠情報が含む前記絶対位置の情報とに基づいて、前記文字枠候補の元の帳票における前記文字枠からのずれ量を求め、求めた前記ずれ量に基づいて前記入力画像の位置を補正する位置補正部、
を具備する請求項１に記載の画像処理装置。
【請求項３】
前記文字枠候補検出部は、前記入力画像中の所定の領域における文字認識処理を行い、前記文字認識処理の結果に基づいて前記文字枠候補を検出する、
請求項１または２に記載の画像処理装置。
【請求項４】
前記文字枠候補検出部は、前記文字認識処理を行う際に前記所定の領域における文字種別を限定する、
請求項３に記載の画像処理装置。
【請求項５】
前記文字枠候補検出部は、検出した前記文字枠候補のサイズまたは形状に基づく取捨選択を行う、
請求項１から４までのいずれか一項に記載の画像処理装置。
【請求項６】
コンピューターを、
文字枠を含む帳票における、前記文字枠の前記帳票内での相対的位置の情報を正解枠情報として予め記憶しておく帳票データ記憶部、
取得した入力画像中の特徴に基づいて文字枠候補を検出する文字枠候補検出部、
前記文字枠候補検出部が検出した文字枠候補の相対的位置を枠候補情報として算出する相対位置計算部、
前記枠候補情報における前記相対的位置の情報と、前記帳票データ記憶部から読み出した前記正解枠情報における前記相対的位置の情報とに基づいて、前記正解枠情報を前記枠候補情報に対応付ける処理を行う文字枠判定部、
として機能させるためのプログラム。
【請求項７】
文字枠を含む帳票における、前記文字枠の前記帳票内での相対的位置の情報を正解枠情報として予め帳票データ記憶部に記憶しておき、
文字枠候補検出部が、取得した入力画像中の特徴に基づいて文字枠候補を検出し、
相対位置計算部が、前記文字枠候補検出部が検出した文字枠候補の相対的位置を枠候補情報として算出し、
文字枠判定部が、前記枠候補情報における前記相対的位置の情報と、前記帳票データ記憶部から読み出した前記正解枠情報における前記相対的位置の情報とに基づいて、前記正解枠情報を前記枠候補情報に対応付ける処理を行う、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
帳票に記載された文字を認識するための文字認識装置は、帳票を画像として読み取った後、まず認識対象の文字が記載されている文字認識領域を特定する。
従来の技術では、文字認識装置のスキャナー部が帳票を読み取り、帳票の外辺を抽出し、抽出された外辺からの相対位置に基づいて文字認識の対象である文字領域を抽出していた。しかしながら、例えばコピーした帳票を用いる場合や、帳票をファクシミリで送信した場合など、帳票全体の位置が元の位置からずれてしまうことがあり得る。その場合、外辺の位置もまた、元の位置からずれてしまう。また、コピーした帳票を用いる場合などにおいて、外辺の元の位置を正しく特定できないこともあり得る。したがって、従来の技術では、外辺が正しく抽出できない場合や、抽出された外辺の位置に誤差がある場合に、文字領域の位置を精度よく特定することができない可能性がある。そして、これにより、文字認識の精度が落ちてしまう可能性がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−１５９０９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、例えば帳票をコピーして使用した場合など、帳票の外辺を含む帳票全体の位置にずれが生じた場合でも、文字認識の対象である文字領域を精度よく抽出することができる画像処理装置、画像処理方法、およびプログラムを提供することである。
【課題を解決するための手段】
【０００５】
実施形態の画像処理装置は、帳票データ記憶部と、文字枠候補検出部と、相対位置計算部と、文字枠判定部とを持つ。帳票データ記憶部は、文字枠を含む帳票における、前記文字枠の前記帳票内での相対的位置の情報を正解枠情報として予め記憶しておく。文字枠候補検出部は、取得した入力画像中の特徴に基づいて文字枠候補を検出する。相対位置計算部は、前記文字枠候補検出部が検出した文字枠候補の相対的位置を枠候補情報として算出する。文字枠判定部は、前記枠候補情報における前記相対的位置の情報と、前記帳票データ記憶部から読み出した前記正解枠情報における前記相対的位置の情報とに基づいて、前記正解枠情報を前記枠候補情報に対応付ける処理を行う。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態の画像処理装置の概略機能構成を示すブロック図。
【図２】第１の実施形態の画像処理装置の具体的な装置構成の一例を示すブロック図。
【図３】第１の実施形態の画像入力部が取得する入力画像の一例を示す概略図。
【図４】第１の実施形態の相対位置計算部が計算する相対位置情報を説明するための概略図。
【図５】第１の実施形態の入力画像に基づいて計算された各文字枠候補の相対位置情報と、帳票データ記憶部に予め記憶されている正解枠の相対位置情報との関係を説明するための概略図。
【図６】第１の実施形態の、入力画像に基づいて計算される各文字枠候補の情報と、帳票データ記憶部に記憶されている正解枠の情報とを対比して示した概略図。
【図７】第１の実施形態の、入力画像から抽出された枠画像情報と、帳票データ記憶部に記憶されている正解枠情報の対比の概要を示す概略図。
【図８】第１の実施形態の画像処理装置による動作の手順を示すフローチャート。
【図９】第１の実施形態の文字枠判定部による処理の詳細な手順の一例を示すフローチャート。
【図１０】第２の実施形態の画像処理装置の概略機能構成を示すブロック図。
【図１１】第２の実施形態の画像処理装置の動作手順を示すフローチャート。
【発明を実施するための形態】
【０００７】
以下、実施形態の画像処理装置、画像処理方法、およびプログラムを、図面を参照して説明する。
【０００８】
（第１の実施形態）
図１は、本実施形態による画像処理装置の概略機能構成を示すブロック図である。図示するように、画像処理装置１は、画像入力部１１と、文字枠候補検出部１２と、相対位置計算部１３と、文字枠判定部１４と、帳票データ記憶部１６と、文字認識部１９と、を含んで構成される。
【０００９】
画像入力部１１は、画像データを外部から取得し、内部のメモリーに書き込む。ここで、画像入力部１１が取得する画像データ（以下、入力画像データという）は、紙の帳票から読み取った画像を表すデータである。入力画像データは、カラー画像であってもよく、グレースケール画像であってもよく、例えば白黒の二値画像であってもよい。
【００１０】
文字枠候補検出部１２は、画像入力部１１から入力画像データを受け取り、画像内に含まれる文字枠の候補を検出する。文字枠候補検出部１２は、取得した入力画像データ中の特徴に基づいて文字枠候補を検出する。文字枠は、帳票内において文字認識の対象となる文字領域を示す枠である。例えば、人が、帳票上の文字枠内に手書きで文字を記入することができる。文字枠とは、帳票上の、線や、あるいは特定の印等によって、文字領域であることが示された枠である。典型的な文字枠は、４本の線分で構成される四角形（長方形等）の枠である。ただし、文字枠を表すパターンは四角形の枠に限定されず、他の幾何学的パターン（例えば、下線や、枠の四隅の点を示す模様や、その他の文字領域を示すパターン）であってもよい。また、文字枠候補検出部１２は、例えば文字枠の線の一部が欠けている場合などにも、その領域を文字枠候補として検出する。文字枠には、１文字だけを記入するためのものも、複数の文字を記入するためのものもある。文字枠候補検出部１２は、検出した文字枠候補のそれぞれにラベルを付与することにより、各文字枠候補を識別できるようにする。
【００１１】
また、文字枠候補検出部１２は、検出した文字枠候補について、予め設定した条件に基づく取捨選択を行う。その条件とは、例えば、次に例示するようなものである。
（条件１）検出した文字枠候補の長さ（横方向のサイズ）が所定の長さに満たない場合には、文字枠候補検出部１２は、その文字枠候補を捨てる。
（条件２）検出した文字枠候補である枠で示される領域の面積が所定範囲内にない場合には、文字枠候補検出部１２は、その文字枠候補を捨てる。
（条件３）検出した文字枠候補を構成する線（直線）の太さが、所定の太さに満たない場合は、文字枠候補検出部１２は、その文字枠候補を捨てる。
（条件４）検出した文字枠候補の形状が、所定の形状に合わない場合には、文字枠候補検出部１２は、その文字枠候補を捨てる。
なお、上に例示した条件１〜４による取捨選択を行わないようにしてもよい。
【００１２】
文字枠候補検出部１２は、検出した文字枠候補の各々について、その候補のラベルに対応付けて、少なくともその文字枠候補の座標の情報を出力する。文字枠候補の形状が四角形である場合、その四角形の左上（ｘ１，ｙ１）、右上（ｘ２，ｙ２）、左下（ｘ３，ｙ３）、右下（ｘ４，ｙ４）の各座標を文字枠候補検出部１２は出力する。検出された文字枠候補が入力画像全体に対して傾いてない場合には、ｘ１＝ｘ３，ｘ２＝ｘ４，ｙ１＝ｙ２，ｙ３＝ｙ４である。
【００１３】
なお、文字枠候補検出部１２が文字枠を検出するための技術自体は、既存の技術である。具体的には、文字枠候補検出部１２は、画像に含まれる各画素の値に基づいて線分を検出し、それらの線分の相互の位置関係を基に文字枠を検出する。なお、入力画像データがカラー画像またはグレースケール画像を持つものである場合、文字枠候補検出部１２は、文字枠を検出する処理に先立って、まず入力画像データを二値画像に変換する処理（二値化処理）を行ってもよい。なお、二値化処理を行う方法自体も、従来技術である。
【００１４】
相対位置計算部１３は、文字枠候補検出部１２が検出した文字枠候補の各々について、入力画像内における相対的な位置を計算する。言い換えれば、相対位置計算部１３は、文字枠候補検出部１２が検出した文字枠候補の相対的位置を枠候補情報の一部として算出する。具体的には、相対位置計算部１３は、文字枠候補の各々について、画像内の所定の特徴的な点を基準とした相対座標を求める。一例として、相対位置計算部１３は、基準となる点の座標から、各文字枠候補の中心点の座標へのベクトルを求める。このベクトルは、文字枠候補の中心点の座標（２次元座標）から、基準となる点の座標（２次元座標）を減算することにより求められる。相対位置計算部１３が求める文字枠候補の相対位置の情報を「相対位置情報」と呼ぶ。
なお、相対位置計算部１３は、一例として、文字枠候補検出部１２が検出した文字枠候補のうちの１つの文字枠候補の中心点を、基準の点とする。この場合、文字枠候補の四隅の点の座標が、左上（ｘ１，ｙ１）、右上（ｘ２，ｙ１）、左下（ｘ１，ｙ２）、右下（ｘ２，ｙ２）ならば、その文字枠候補の中心点の座標は（（ｘ１＋ｘ２）／２，（ｙ１＋ｙ２）／２）である。
つまり、相対位置計算部１３は、文字枠候補検出部１２が検出した文字枠候補の相対位置を、ベクトル値として算出する。
【００１５】
文字枠判定部１４は、相対位置計算部１３が算出した各文字枠候補の相対位置情報と、帳票データ記憶部１６から読み出した文字枠の情報（「正解枠情報」と呼ぶ）に含まれる相対位置情報とを相互に比較する。その結果、文字枠判定部１４は、どの文字枠候補がどの正解枠に相当するかを判定する。つまり、文字枠判定部１４は、枠候補情報における相対的位置の情報と、帳票データ記憶部から読み出した正解枠情報における相対的位置の情報とに基づいて、正解枠情報を枠候補情報に対応付ける処理を行う。そして、文字枠判定部１４は、文字枠候補と正解枠との対応関係を、判定結果として出力する。
【００１６】
帳票データ記憶部１６は、帳票に含まれる文字枠の情報を記憶するものである。言い換えれば、帳票データ記憶部１６は、文字枠を含む帳票における、文字枠の帳票内での相対的位置の情報を正解枠情報の一部として予め記憶しておく。帳票データ記憶部１６が記憶する文字枠の情報は、文字枠候補検出部１２によって検出される文字枠候補の情報との比較対象として用いられる。帳票データ記憶部１６が記憶するデータを、便宜上、「帳票データ」と呼ぶ場合がある。即ち、帳票データとは、帳票データ記憶部１６が予め記憶しておくデータであり、帳票に含まれる正解枠の情報を含むデータである。なお、帳票データ記憶部１６が記憶するデータの構成については、後で、図６を参照しながら説明する。
【００１７】
文字認識部１９は、文字枠判定部１４によって判定された文字枠が示す文字領域について、文字認識の処理を行う。なお、文字認識の処理自体には、既存の技術を用いることができる。具体的には、文字認識部１９は、文字領域に含まれる画像が表すパターンと、文字のパターンに関する辞書データとを比較することによって、文字領域に含まれる文字を認識する。
【００１８】
図２は、画像処理装置の具体的な装置構成の一例を示すブロック図である。図示する例では、画像処理装置１は、スキャナー３１と、ＰＣ（パーソナルコンピューター．Personal Computer）３２とを含んで構成される。
スキャナー３１は、帳票等を画像として読み取り、読み取った画像データをＰＣ・３２に渡す。スキャナー３１は、例えば、ガラス等を用いた透明な面に置かれた帳票等に光を照射し、帳票等からの反射光を画像として取得する。画像の読み取りのために、スキャナー３１は、イメージセンサーを備える。また、スキャナー３１が、多数の帳票を逐次読取り面に供給するためのシートフィーダーを備えていてもよい。
ＰＣ・３２は、スキャナー３１から画像データを取得するとともに、その画像データを用いた様々な処理を行う機能を有する。ＰＣ・３２は、ＣＰＵ（中央処理装置，Central Processing Unit）を備えている。ＰＣ・３２は、このＣＰＵで、プログラムを実行させることができる。また、ＰＣ・３２は、例えば磁気ハードディスク装置や半導体メモリーなどといったデータ記憶手段を備えており、このデータ記憶手段が入力画像データやその他のデータを保持する。
【００１９】
なお、図２に示す構成におけるスキャナー３１が、図１における画像入力部１１の機能に対応する。そして、図２におけるＰＣ・３２が、図１における画像入力部１１よりも後段の各部の機能に対応する。
なお、図２では、画像処理装置１がスキャナー３１を含む構成をとっているが、スキャナー３１等の紙面を画像として読み取る装置が、画像処理装置１の外部に設けられていてもよい。その場合、ＰＣ・３２における、外部データ入力手段が、図１における画像入力部１１の機能に対応する。
【００２０】
図３は、画像入力部１１が取得する入力画像の一例を示す概略図である。同図に示す入力画像は、既に二値化されており、白地に、黒色のパターンおよび黒色の文字を含む。この入力画像は、オブジェクト４１〜４４を、含むものである。オブジェクト４１は、１本の横線である。オブジェクト４２は、縦および横の複数の線で構成される四角形の文字枠候補である。オブジェクト４３もまた、オブジェクト４２と同様に、四角形の文字枠候補である。オブジェクト４４は、６個の文字で構成される文字列である。文字枠候補検出部１２がこの入力画像を解析した場合、オブジェクト４２および４３を、文字枠候補として検出する。
なお、オブジェクト４２およびオブジェクト４３は、複数（４個）の箱（四角形）を横に連ねた形状を有している。１つの文字枠の中に、１文字ごとの領域が線で区切られている形状ともいえる。すなわち、図３に示すオブジェクト４２およびオブジェクト４３は、この１文字ごとの領域（箱）のそれぞれに１個の文字を記入するよう意図してデザインされたものである。つまり、オブジェクト４２およびオブジェクト４３は、４文字分の文字を記入するための１つの文字枠の候補である。このように、複数の箱が連なる場合には、一連の複数の箱の全体（つまり、オブジェクト４２の全体やオブジェクト４３の全体）を１つの文字枠候補として、文字枠候補検出部１２は検出する。
【００２１】
図４は、相対位置計算部１３が計算する相対位置情報を説明するための概略図である。同図は、ある帳票をスキャンして得られる入力画像を示している。同図に示す画像の中には、文字枠候補検出部１２が検出した７個の文字枠候補が存在している。相対位置計算部１３は、これらの文字枠候補のそれぞれについて、相対位置を計算する。本例では、具体的には、相対位置計算部１３は、ある１つの文字枠候補（同図における最も左上の文字枠候補）の中心点から、各文字枠候補の中心点へのベクトルを求める。同図に示す６個の矢印は、それらのベクトルを表している。なおここで、基準とした文字枠候補自身の相対位置は（ｘ，ｙ）＝（０，０）である。即ち、そのベクトルは零ベクトルである。
【００２２】
図５は、入力画像に基づいて計算された各文字枠候補の相対位置情報と、帳票データ記憶部１６に記憶されている正解枠の相対位置情報との関係を説明するための概略図である。同図において、左側が入力画像である。また、右側が、帳票データ記憶部１６が記憶する帳票データ（正解枠の情報を含むデータ）を表す画像である。同図に示す例では、左側の入力画像は、元の帳票よりも横方向に長さαだけずれている。つまり、帳票をスキャンする際に、長さαのずれが生じたものである。そして、入力画像において位置ずれ（横方向のαのずれ）が生じているが、入力画像に基づいて計算される各文字枠候補の相対位置情報は、そのαのずれの影響を受けない。何故なら、各文字枠候補の中心点も、相対位置を計算する際に基準となる点も、同様に長さαだけ同じ方向にずれているためである。
なお、同図では、入力画像において右方向にずれが生じている場合について示したが、入力画像におけるずれが左方向である場合にも、状況は同じである。また、入力画像におけるずれが縦方向（上方向または下方向）である場合にも、状況は同じである。また、入力画像におけるずれが、横方向（右方向または左方向）と縦方向（上方向または下方向）の両方に生じていた場合でも、状況は同じである。
つまり、上下左右あるいは斜めの方向に所定量のずれが生じている場合には、相対位置情報はそのずれによる影響を受けない（ただし、その他の要因による位置誤差の影響はあり得る）。
【００２３】
図６は、入力画像に基づいて計算される各文字枠候補の情報と、帳票データ記憶部１６に記憶されている正解枠の情報とを対比して示した概略図である。文字枠判定部１４は、これらの枠候補情報と正解枠情報とを対比することによって、文字枠の判定を行う。
図示するように、枠候補情報（同図左側）は、入力画像から抽出される情報である。そして、枠候補情報は、各々の枠候補に対応して、枠候補の座標（左上、右上、左下、右下の各点の座標）と、中心座標と、幅と、高さと、相対位置情報とを含んでいる。
なお、文字枠候補の四隅の点（左上、右上、左下、右下）の座標を、文字枠候補検出部１２が特定する。文字枠候補が長方形である場合、中心座標と、幅と、高さとは、四隅の点（左上、右上、左下、右下）の座標から簡単な計算により求めることができる。つまり、本実施形態では、中心座標と幅と高さを、文字枠候補検出部１２が求める。
また、相対位置座標（基準となる点を原点とする２次元のベクトル）を、上で述べたとおり、相対位置計算部１３が求める。
なお、文字枠候補の四隅の点の座標や中心座標は、文字枠候補の絶対位置の情報である。
【００２４】
また、帳票データ記憶部１６が記憶する各文字枠の正解枠情報もまた、各文字枠（正解枠）に対応して、文字枠の座標（左上、右上、左下、右下の各点の座標）と、中心座標と、幅と、高さと、相対位置情報とを含んでいる。なお、文字枠の四隅の点の座標や中心座標は、文字枠の絶対位置の情報である。
なお、正解枠情報は、予め帳票の様式に基づいて、帳票データ記憶部１６に書き込んでおくようにする。
【００２５】
図７は、入力画像から抽出された枠候補情報と、帳票データ記憶部１６に記憶されている正解枠情報の対比の概要を示す概略図である。図示するように、枠候補情報は、ａ（１），ａ（２），・・・，ａ（ｍ）のｍ個の文字枠候補にそれぞれ対応する情報を含む。また、正解枠情報は、ｂ（１），ｂ（２），・・・，ｂ（ｎ）のｎ個の文字枠（正解枠）にそれぞれ対応する情報を含む。ある１種類の帳票について考えたとき、ｍとｎとは一致しない場合もある。その理由は、文字枠候補検出部１２が、入力画像に含まれる実際の文字枠以外の幾何学パターンを文字枠候補として検出してしまう場合があるためである。また、逆に、文字枠候補検出部１２が、入力画像に含まれる文字枠を、文字枠候補として検出するのに失敗してしまう場合もあるためである。
文字枠判定部１４は、入力画像に基づいて求められた枠候補情報ａ（１），ａ（２），・・・，ａ（ｍ）と、帳票データ記憶部１６から読み出した正解枠情報ｂ（１），ｂ（２），・・・，ｂ（ｎ）とを対比する。そして、文字枠判定部１４は、個々の枠候補情報と正解枠情報との対応付けを行う。
【００２６】
文字枠判定部１４による、枠候補情報と正解枠情報との対応付けの処理について、以下に説明する。なお、前述の通り、文字枠候補検出部１２は、元の帳票に含まれるｎ個の文字枠の全てを文字枠候補として検出することに失敗する場合がある。また、文字枠候補検出部１２は、本来の文字枠（正解枠）ではない幾何学パターンを、文字枠候補として検出する場合がある。
【００２７】
ｍ個の枠候補情報ａ（１），ａ（２），・・・，ａ（ｍ）と、ｎ個（ｍ≧ｎ）の正解枠情報ｂ（１），ｂ（２），・・・，ｂ（ｎ）とを対応付ける方法は、｛ｍａｘ（ｍ，ｎ）！／｜ｍ−ｎ｜！｝通りある。なお、「！」は階乗を表す演算子である。また、「ｍａｘ（）」は、引数中の最大の値を返す関数である。また、「｜ｘ｜」は、ｘの絶対値を表す。この対応付けにより、ｎ個の正解枠情報の各々は、いずれか１個の枠候補情報に対応付けられる場合もあり、またどの枠候補情報にも対応付けられない場合もある。また、ｍ個の枠候補情報の各々は、いずれか１個の正解枠情報に対応付けられる場合もあり、またどの正解枠情報にも対応付けられない場合もある。
上記の｛ｍａｘ（ｍ，ｎ）！／｜ｍ−ｎ｜！｝通りのうちの特定の対応付けにおいて、誤差総量を計算することができる。誤差総量は、次のように定義される。
【００２８】
｛ｍａｘ（ｍ，ｎ）！／｜ｍ−ｎ｜！｝通りのうちのある対応付けにおいて、枠候補情報ａ（ｉ）（ただし、１≦ｉ≦ｍ）と正解枠情報ｂ（ｊ）（ただし、１≦ｊ≦ｎ）とのうちの、数が少ない方の情報をｃ（ｋ）（ただし、１≦ｋ≦ｍｉｎ（ｍ，ｎ））とする。なお、「ｍｉｎ（）」は引数中の最小の値を返す関数である。ｍ＝ｎの場合には、枠候補情報ａ（ｉ）と正解枠情報ｂ（ｊ）のどちらをｃ（ｋ）としてもよい。そして、ｃ（ｋ）にそのとき対応付いている相手方の情報をｄ（ｋ）とする。そして、ｃ（ｋ）が有する相対位置情報（２次元のベクトル）と、ｄ（ｋ）が有する相対位置情報（２次元のベクトル）との差を、ｄｉｆｆ（ｋ）とする。
この正解枠情報と枠候補情報との対応付けにおける誤差総量ＴＥは、例えば、下の式（１）あるいは式（２）で計算される。
【００２９】
【数１】
2018036731.tif 000003
【００３０】
【数２】
2018036731.tif 000004
【００３１】
文字枠判定部１４は、上で定義した誤差総量が最小となるような、文字枠候補情報と正解枠情報との対応付けを求める。誤差総量が最小となるような対応付けを求める方法としては様々な方法が考えられるが、後で、フローチャートを参照しながらその手順の一例を説明する。
【００３２】
以上述べたように、文字枠判定部１４は、相対位置計算部１３が求めた情報と、予め登録しておいた帳票データ（元データ，正解枠の情報を含むデータ）との比較を行う。帳票データ記憶部１６に登録されている帳票データは、文字枠に関する正しい情報を有しており、またその情報において位置ずれなども生じていない。つまり、帳票データ記憶部１６は、正解の情報を記憶している。文字枠判定部１４は、この元データ中のある文字枠が処理中の画像のどの文字枠候補に相当するかを、前述のベクトル化した相対位置の情報から判断する。本来対応しあう枠同士は、座標に多少のずれがあったとしても、その枠の相対的な位置はほぼ変わらないため、その前提を利用した対応付けが可能である。
逆に、元データにおける文字枠と本来対応しない文字枠候補（例えば、元の帳票に文字枠候補など）に関しては、正解枠情報と枠候補情報との間で、相対位置の一致する度合いが小さくなる。つまり、相対位置情報に基づいて枠同士を順次比較することにより、正しい対応付けを行うことが可能となる。また、元データに対して高さ・幅に差があったとしても、本来同一の文字枠に関しては対応付けを正しく行うことができる。
【００３３】
図８は、画像処理装置による動作の手順を示すフローチャートである。このフローチャートは、１件の入力画像データ、即ち１件の帳票についての処理を示す。以下、このフローチャートに沿って動作手順を説明する。
【００３４】
まず、ステップＳ１において、画像入力部１１は、スキャンされた画像を取得する。この画像は、文字認識処理の対象となる帳票の画像である。
【００３５】
次に、ステップＳ２において、文字枠候補検出部１２は、画像入力部１１が取得した入力画像内から、文字枠候補を検出する。文字枠候補検出部１２は、検出した各文字枠候補について、その頂点（左上、右上、左下、右下の四隅の点）の座標や、その中心位置の画像を特定する。文字枠候補検出部１２は、それらの文字枠候補に関する情報を、相対位置計算部１３に渡す。
【００３６】
次に、ステップＳ３において、相対位置計算部１３は、各文字枠候補の相対位置を計算する。特定の一つの文字枠候補の中心点を相対位置計算のための基準点とすると、即ち、本ステップにおいて相対位置計算部１３は、基準となる文字枠候補の中心点の位置から、各文字枠候補の中心点の位置へのベクトルを計算する。相対位置計算部１３は、文字枠候補検出部１２から受け取った各文字枠候補の情報と、本ステップで計算した各文字枠情報の相対位置情報とを、文字枠判定部１４に渡す。
【００３７】
次に、ステップＳ４において、文字枠判定部１４は、相対位置計算部１３から受け取った文字枠候補の情報（枠候補情報）を、帳票データ記憶部１６から読み出した正解枠情報と照合する。これにより、文字枠判定部１４は、文字枠候補の各々が真の文字枠であるか否かを判定する。また、このとき、文字枠判定部１４は、枠候補情報と正解枠情報との対応付けを行う。これは、即ち、文字枠候補がどの文字枠に当たるものであるかを特定する処理である。なお、本ステップの処理の詳細については、後で図９を参照しながら説明する。
【００３８】
次に、ステップＳ５において、文字認識部１９は、入力画像内の、ステップＳ４までの処理で特定された文字枠領域のそれぞれについて文字認識処理を行う。そして、文字認識部１９は、文字枠ごとに、認識処理の結果を出力する。
ステップＳ５の処理が終了すると、画像処理装置１は、本フローチャート全体の処理を終了する。
【００３９】
図９は、文字枠判定部による処理の詳細な手順の一例を示すフローチャートである。このフローチャートが示す処理は、図８におけるステップＳ４の処理である。以下、このフローチャートに沿って動作手順を説明する。
【００４０】
まず、ステップＳ１１において、文字枠判定部１４は、枠候補情報と、正解枠情報とを、それぞれ取得する。具体的には、文字枠判定部１４は、枠候補情報を相対位置計算部１３から受け取る。相対位置計算部１３から文字枠判定部１４へは、例えば、メモリーを経由して枠候補情報が渡される。また、文字枠判定部１４は、帳票データ記憶部１６から正解枠情報を読み出す。
【００４１】
次に、ステップＳ１２において、文字枠判定部１４は、変数ｍｉｎ＿ｅｒｒを初期化する。変数ｍｉｎ＿ａｒｒは、本フローチャートでの処理において、誤差総量の最小値を格納するために用いられる変数である。具体的には、本ステップで、文字枠判定部１４は、変数ｍｉｎ＿ｅｒｒに充分大きな数値を設定することにより初期化する。一例としては、文字枠判定部１４は、変数ｍｉｎ＿ｅｒｒが表現し得る最大の数値を設定することにより初期化する。
【００４２】
次に、ステップＳ１３において、文字枠判定部１４は、枠候補情報と正解枠情報との｛ｍａｘ（ｍ，ｎ）！／｜ｍ−ｎ｜！｝通りの組み合わせ（ｍやｎの意味は、前述の通り）の中から、未処理の、且つ枝刈りされていない、１個の組み合わせを選択する。
つまり、ステップＳ１３以後の処理において、文字枠判定部１４は、枠候補情報と正解枠情報との最適な組み合わせを探索する。その探索の過程で、後述するステップＳ１５における枝刈りを行う場合がある。なお、枝刈り処理とは、探索処理において、探索空間内に含まれる評価値の悪い、あるいは評価値が悪いと見込まれる一群の候補（この一群を「枝」と呼ぶ）を、以後の探索対象から除外してしまう手法を言う。この枝刈り処理により、探索処理の時間を削減することが可能となる。
そして、文字枠判定部１４は、本ステップで選択された１個の組み合わせについて、誤差総量を計算する。なお、誤差総量を計算する計算式として、前記の式（１）あるいは式（２）のいずれを用いるかを予め定めておく。文字枠判定部１４は、誤差総量を計算するために必要な、枠候補情報と正解枠情報のそれぞれの相対位置情報（２次元ベクトル）を既に得ている。
【００４３】
次に、ステップＳ１４において、文字枠判定部１４は、ステップＳ１３で計算する誤差総量が所定の閾値以上であるか否かを判定する。そして、誤差総量が閾値以上である場合（ステップＳ１４：ＹＥＳ）、ステップＳ１５に進む。また、誤差総量が閾値未満である場合（ステップＳ１４：ＮＯ）、ステップＳ１６に進む。
なお、ステップＳ１３における誤差総量の計算の途中で、誤差総量が閾値以上となることが判明した場合、その枠候補情報と正解枠情報との対応付けにおける誤差総量の値を最後まで計算せずに、ステップＳ１４における判断を行い、ステップＳ１５に進むようにしてもよい。このように処理することにより、誤差総量を計算するための計算量を削減することができる。
【００４４】
次に、ステップＳ１５に進んだ場合、文字枠判定部１４は、同ステップにおいて、閾値以上の誤差総量を生じさせる枠候補情報と正解枠情報の組み合わせを、探索対象から枝刈りする。ここで枝刈りされた組み合わせは、以後も、ステップＳ１３において選択されない。
なお、ステップＳ１３における誤差総量の計算の過程で、ある特定の枠候補情報とある特定の正解枠情報のペアが、そのペアにおける相対位置情報の差分のみで前記の誤差総量の閾値を超える要因となる場合には、その特定の枠候補情報とその特定の正解枠情報のペアを含む、すべての枠候補情報と正解枠情報との組み合わせを、枝刈りの対象とすることができる。
そして、ステップＳ１５の処理を終えると、ステップＳ１８に飛ぶ。
【００４５】
次に、ステップＳ１６に進んだ場合、文字枠判定部１４は、現在の枠候補情報と正解枠情報の組み合わせに関して計算された誤差総量の値が、変数ｍｉｎ＿ｅｒｒの値よりも小さいか否かを判定する。計算された誤差総量の値が変数ｍｉｎ＿ｅｒｒの値よりも小さい場合（ステップＳ１６：ＹＥＳ）、次のステップＳ１７に進む。計算された誤差総量の値が変数ｍｉｎ＿ｅｒｒの値以上である場合（ステップＳ１６：ＮＯ）、ステップＳ１７を飛ばしてステップＳ１８に進む。
【００４６】
次に、ステップＳ１７に進んだ場合、文字枠判定部１４は、同ステップにおいて、変数ｍｉｎ＿ｅｒｒの値を更新する。即ち、文字枠判定部１４は、変数ｍｉｎ＿ｅｒｒに、現在の枠候補情報と正解枠情報の組み合わせに関してステップＳ１３で計算された誤差総量の値を代入する。また、文字枠判定部１４は、現在の枠候補情報と正解枠情報の組み合わせを、誤差総量最小の組み合わせとしてメモリーに記録する。
【００４７】
次に、ステップＳ１８において、文字枠判定部１４は、枠候補情報と正解枠情報の組み合わせの探索が終了したか否かを判定する。即ち、文字枠判定部１４は、すべての枠候補情報と正解枠情報の組み合わせについて、既に誤差総量の評価を終えたかあるいは枝刈り済みであるか否かを、判定する。枠候補情報と正解枠情報の組み合わせの探索がすべて終了した場合（ステップＳ１８：ＹＥＳ）、文字枠判定部１４は、本フローチャート全体の処理を終了する。また、枠候補情報と正解枠情報の組み合わせの探索が終了していない場合（ステップＳ１８：ＮＯ）、次の組み合わせについての処理を行うため位、ステップＳ１３に戻る。
【００４８】
以上、フローチャートに沿って説明した処理により、文字枠判定部１４は、誤差総量が最小となる枠候補情報と正解枠情報の組み合わせを特定する。ただし、文字枠判定部１４が、上述した手順以外の処理によって、誤差総量が最小となる枠候補情報と正解枠情報の組み合わせを特定するようにしてもよい。
【００４９】
なお、文字枠候補検出部１２による文字枠候補の検出漏れが起こる場合があり得る。その場合、文字枠候補検出部１２によって検出された枠候補情報の数ｍが、本来の正解枠情報の数ｎよりも小さい値となる場合もある。文字枠候補の検出漏れの場合の画像処理装置１による処理として、次に列挙するような処理のいずれかを行う。
【００５０】
第１に、文字枠候補の検出漏れがある場合、つまり、典型的にはｍ＜ｎの場合、画像処理装置１は、エラーと認識して、全体の処理を異常終了させる。
【００５１】
第２に、文字枠候補の検出漏れがある場合、つまり、典型的にはｍ＜ｎの場合、パラメーター等を変更して文字枠候補検出部１２による文字枠候補の検出処理を再試行する。ここでのパラメーターとは、文字枠候補検出部１２が画像を解析して文字枠を検出する処理におけるパラメーターである。例えば、線を認識するための線の太さの閾値や、線と線とが途切れて離れている場合にそれらが本来はつながっている一本の線であると見なすための離間距離の閾値などが、ここでのパラメーターである。
【００５２】
第３に、例えばｍ＜ｎであっても、上で説明した処理手順の結果得られる最適な対応付けを、準正解と見なして、文字認識の処理を行う。例えば、誤差総量が最小であるような対応付けにおいてその誤差総量が予め定められた所定の閾値よりも小さい場合、その対応付けを準正解と見なすことは妥当である。また、算出された最小の誤差総量が、２番目に小さい誤差総量よりも十分に小さい場合（言い換えれば差の絶対値が所定の閾値以上である場合）、誤差総量が最小となった対応付けを準正解と見なすことは妥当である。
そして、文字枠候補検出部１２によって検出された枠候補情報に対応付かない正解枠情報がある場合には、画像処理装置１は、例えば次のいずれかの対応を取る。ひとつは、画像処理装置１は、検出された枠候補に対応付かなかった正解枠に関して、文字認識処理を行わない。あるいは、画像処理装置１は、検出された枠候補に対応付かなかった正解枠に関して、他の正解枠に対応付けられた枠候補の絶対位置の情報に基づいて、線形補間（ないしは外延）による当該枠の絶対位置の推定を行い、推定結果に基づいて文字認識処理を行う。
【００５３】
なお、上に列挙した処理を複数組み合わせて実行するようにしてもよい。例えば、第２の処理（パラメーターの変更）を予め定めた回数だけ何通りか試行して、それでも検出できない文字枠がある場合には、第１の処理（エラー終了）に移行するようにする。あるいは、例えば、第２の処理（パラメーターの変更）を予め定めた回数だけ何通りか試行して、その中でもっともましな（即ち、誤差総量の小さい）組み合わせを前記の準正解と見なして、第３の処理に移行するようにする。また、上に列挙した処理を他の組み合わせで実行するようにしてもよい。
【００５４】
（第２の実施形態）
次に第２の実施形態について説明する。ただし、前実施形態で既に述べた事項については、以下での説明を省略する場合がある。以下では、本実施形態に特有の事項を中心に説明する。
【００５５】
図１０は、本実施形態による画像処理装置の概略機能構成を示すブロック図である。図示するように、画像処理装置２は、画像入力部１１と、文字枠候補検出部１２と、相対位置計算部１３と、文字枠判定部１４と、位置補正部１５と、帳票データ記憶部１６と、文字認識部１９と、を含んで構成される。つまり、画像処理装置２の特徴は、位置補正部１５を含む点である。なお、画像入力部１１と、文字枠候補検出部１２と、相対位置計算部１３と、文字枠判定部１４と、帳票データ記憶部１６と、文字認識部１９は、それぞれ、第１実施形態におけるそれらと同等の機能を有するものである。
【００５６】
位置補正部１５は、入力画像から検出され文字枠候補と、帳票データ記憶部１６から読み出された正解枠候補との対応付けが完了した段階で、入力画像が、元の帳票の位置からずれている量を求める。そして、位置補正部１５は、このずれ量を、位置補正量とする。なお、本実施形態では、入力画像の元の帳票の位置からのずれ量は、縦・横それぞれのずれ量の数値を用いて表される２次元のベクトルである。
位置補正部１５は、一例として、次の方法により入力画像の元の帳票からのずれ量を求める。即ち、文字枠判定部１４によって対応付けされた枠候補情報と正解枠情報とのペアの各々について、位置補正部１５は、ペアにおける座標の差を求める。ここで、位置補正部１５は、枠候補情報が含む絶対座標（例えば、中心座標、左上の点の座標、右上の点の座標、左下の点の座標、右下の点の座標など）と、正解枠情報が含む絶対座標（枠候補情報における絶対座標と同様の点の座標）との差を求める。なお、枠候補情報が含む絶対座標は、文字枠候補の絶対位置の情報である。また、正解枠情報が含む絶対座標は、正解枠の絶対位置の情報である。そして、枠候補情報と正解枠情報とのペアが複数存在する場合には、例えば、ペアにおける座標の差の平均値や中央値などを取ることによって、ずれ量を求める。
また、位置補正部１５が、別の方法によって入力画像の元の帳票からのずれ量を求めるようにしてもよい。例えば、位置補正部１５は、枠候補情報と正解枠情報との各ペアにおける座標の差について、最小二乗法により、ずれ量（２次元の座標）を求める。
【００５７】
上記のように、位置補正部１５は、文字枠の位置に基づいて、入力画像のずれ量を求める。そして、位置補正部１５は、求めたずれ量をキャンセルするように、入力画像の位置を補正し、位置補正後の入力画像を保存する。
これにより、文字認識処理の精度が上がるだけでなく、位置を補正した入力画像を、保存しておき、必要に応じて利用することができるようになる。
【００５８】
図１１は、本実施形態による画像処理装置の動作手順を示すフローチャートである。以下、このフローチャートに沿って動作手順を説明する。
このフローチャートにおけるステップＳ２１からＳ２４までの処理は、それぞれ、前実施形態における図８のステップＳ１からＳ４までの処理と同様である。よって、ここでは詳細な説明を省略する。
【００５９】
次に、ステップＳ２５において、位置補正部１５は、文字枠判定部１４によって対応付けられた枠候補情報と正解枠情報とのペアに基づいて、位置補正量を算出する。位置補正量の算出方法は、既に説明した通りである。
【００６０】
次に、ステップＳ２６において、位置補正部１５は、入力画像の位置補正を行い、補正後の画像データを保存する。このとき、補正量として、ステップＳ２５で算出した補正量を用いる。これにより、入力画像が元の帳票からずれている場合にも、そのずれを補正した帳票画像を得ることが可能となる。
【００６１】
次に、ステップＳ２７において、文字認識部１９は、文字枠ごとに、文字認識処理を行う。文字認識の処理自体は、前実施形態における図８のステップＳ５の処理と同様である。なお、このとき、文字認識部１９は、上記の位置補正の前の入力画像を用いて文字認識の処理を行ってもよいし、位置補正後の画像を用いて文字認識の処理を行ってもよい。
【００６２】
第２の実施形態では、位置補正部１５が、縦方向および横方向のずれを２次元のベクトルの値として求め、ずれ量をキャンセルするための位置補正量を定め、位置補正を行った。第２の実施形態の変形例では、縦方向および横方向のずれに加えて、帳票の面上にある所定の回転軸の点を中心とした回転角（回転角は正または負）をずれ量として求め、その回転をキャンセルするための位置補正量を求め、位置補正を行うようにする。また、さらなる変形例では、縦方向および横方向のずれに加えて、あるいは、縦方向と横方向のずれ並びに回転角のずれに加えて、帳票の面上にある所定の点を中心とした伸縮について拡大率のずれ量を求める。この拡大率は、拡大率は０より大きい実数である。現実的には、拡大率は、１．０の近傍の実数である。そして、この伸縮をキャンセルするための位置補正量を求め、位置補正を行う様にする。
【００６３】
ずれ量を求める方法としては、例えば、縦方向のずれ量と、横方向のずれ量と、回転角のずれ量と、拡大率のずれ量と（ただし、回転角のずれ量と拡大率のずれ量はいずれか一方のみでもよい）を変数とする。そして、文字枠判定部１４によって対応付けられた枠候補情報と正解枠情報のペアに基づき、各枠の座標（例えば、中心位置の座標）の、枠候補情報と正解枠情報との間での差をペアごとに求める。そして、得られた各ペアの差について、最小二乗法により、前記各変数（縦方向のずれ量と、横方向のずれ量と、回転角のずれ量と、拡大率のずれ量）を求める。
【００６４】
上記各実施形態では、文字枠候補検出部１２は、文字を記入するための枠の存在（４つの線分で囲まれた四角形等）のみによって、文字枠候補を検出していた。しかし、変形例として、文字枠候補検出部１２が、検出した文字枠候補内における文字認識処理をさらに行うようにしてもよい。この場合、文字枠候補検出部１２は、文字枠の内部と考えられる領域について、所定の条件下で文字認識処理を行う。このとき、条件として、文字種別を限定してもよい。例えば、手書き漢字、手書き数字、手書きアルファベット、手書きカタカナ、手書き平仮名、印字漢字、印字数字、印字アルファベット、印字カタカナ、印字平仮名、などといった文字種別を限定してもよい。そして、文字枠候補検出部１２は、文字認識処理の結果として、具体的にどういった文字が書かれているかといった内容に依らず、文字認識処理のスコア（文字認識処理の結果）が所定の値以上であれば、そこに文字が書かれていると推定し、文字枠候補として検出するようにする。本変形例の処理によれば、例えば、仮に文字枠の線分の一部が欠けていた場合などにも、文字枠候補検出部１２は、その領域を文字枠候補として検出する。これにより、文字枠候補検出部１２は、文字枠候補を検出する精度が向上する。
【００６５】
以上説明した少なくともひとつの実施形態によれば、相対位置計算部１３が、文字枠候補検出部１２が検出した文字枠候補の相対的位置を枠候補情報として算出する。また、文字枠判定部１４が、枠候補情報における相対的位置の情報と、帳票データ記憶部１６から読み出した正解枠情報における相対的位置の情報とに基づいて、正解枠情報を枠候補情報に対応付ける処理を行う。これにより、例えば、入力画像全体にずれが生じていても、画像内における文字枠候補の相対位置に基づいて、正解枠情報と枠候補情報とを精度よく対応付けることが可能となる。つまり、文字枠の領域を高精度に検出することができる。したがって、文字認識処理を行う場合、認識精度が向上する。
【００６６】
なお、上述した実施形態における画像処理装置の機能をコンピューターで実現するようにしても良い。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００６７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００６８】
１…画像処理装置、１１…画像入力部、１２…文字枠候補検出部、１３…相対位置計算部、１４…文字枠判定部、１５…位置補正部、１６…帳票データ記憶部、１９…文字認識部、３１…スキャナー、３２…ＰＣ（パーソナルコンピューター）
【図１】
2018036731.tif 000005
【図２】
2018036731.tif 000006
【図３】
2018036731.tif 000007
【図４】
2018036731.tif 000008
【図５】
2018036731.tif 000009
【図６】
2018036731.tif 000010
【図７】
2018036731.tif 000011
【図８】
2018036731.tif 000012
【図９】
2018036731.tif 000013
【図１０】
2018036731.tif 000014
【図１１】
2018036731.tif 000015