(57)【特許請求の範囲】
【請求項１】
非ドロップアウトカラーで印刷された罫線等を有する原稿の読み込みイメージから１文字ずつ文字イメージを切り出して文字認識を行う文字認識方法であって、
読取った原稿の読み込みイメージから罫線等を検出し、検出された罫線等を該読み込みイメージから取り除くと共に、除去した罫線等に接触していた読み込みイメージに関する接触情報からなる第１の罫線接触情報を取得する第１の罫線接触情報取得ステップと、
前記罫線等を取り除いた読み込みイメージを一文字ずつ切り出すと共に、前記第１の罫線取得情報を基にして、切り出された各文字イメージ単位での罫線等との接触情報からなる第２の罫線接触情報を取得する文字切り出しステップと、
上記文字切り出しステップで切り出された各文字イメージの第２の罫線接触情報を基に罫線等に接触していた文字イメージの補完を行う第１の文字イメージ補完ステップと、
上記第１の文字イメージ補完ステップで補完された文字イメージに対し認識辞書を用いて文字認識を行い、その際に、該文字の特徴量および前記メモリに記憶されている第２の罫線接触情報を基に候補文字を出力し、上記文字イメージ補完処理部の補完対象でなかった文字イメージに対しては認識辞書を用いて文字認識を行って候補文字を取得する文字認識ステップと、
認識辞書に登録されている罫線接触情報および前記メモリに記憶されている第２の罫線接触情報を基に、上記文字認識ステップで取得された候補文字の信頼度を判定し、信頼度が所定値より高い場合はその候補文字の文字コードを認識結果として出力し、信頼度が所定値より低い場合は棄却コードを出力する棄却判定ステップと、
上記棄却ステップの信頼度判定で棄却コードが出力された文字イメージについて修正入力を待ち、修正入力があったときは、棄却コードが出力された文字イメージが罫線等と接触していた文字イメージの場合には修正入力により修正された文字コードに対応する文字イメージと前記メモリに記憶されている第２の罫線接触情報のうちの該文字コードに対応する文字イメージの罫線接触情報を基に補完位置および補完イメージの長さを決定する補完イメージ決定ステップと、
上記補完イメージステップで決定された補完イメージによって上記罫線等と接触していた文字イメージを補完する第２の文字イメージ補完ステップと、
上記第２の文字イメージ補完ステップで補完された文字イメージに関連付けて該文字イメージの第２の罫線接触情報からなる罫線接触情報を認識辞書に登録するか否かの判定を行う登録判定ステップと、
を備えたことを特徴とする文字認識方法。
【請求項２】
前記補完イメージ決定ステップは、切り出された文字イメージのうち罫線等と接触していた文字イメージについて、キー入力された文字コードと前記第２の罫線接触情報のうちの該文字イメージの罫線接触情報から補完イメージを１つに決定できない場合には複数の補完イメージを決定し、
前記第２のイメージ補完ステップは、上記補完イメージステップで決定されたそれぞれの補完イメージによって上記罫線等と接触していた文字イメージを補完して複数の補完された文字イメージを取得し、
前記登録判定ステップは、上記第２のイメージ補完ステップで取得した複数の補完された文字イメージ毎に判定を行う、
ことを特徴とする請求項１に記載の文字認識方法。
【請求項３】
非ドロップアウトカラーで印刷された罫線等を有する原稿の読み込みイメージから１文字ずつ文字イメージを切り出して文字認識を行う文字認識装置において、
文字認識に用いる辞書であって、補完文字イメージの罫線接触情報を登録可能な認識辞書と、
上記文字切り出し部で取得した第２の罫線接触情報を記憶するメモリと、
読取った原稿の読み込みイメージから罫線等を検出し、検出された罫線等を該読み込みイメージから取り除くと共に、除去した罫線等に接触していた読み込みイメージに関する接触情報からなる第１の罫線接触情報を取得する第１の罫線除去手段と、
前記罫線等を取り除いた読み込みイメージを一文字ずつ切り出すと共に、前記第１の罫線取得情報を基にして、切り出された各文字イメージ単位での罫線等との接触情報からなる第２の罫線接触情報を取得する文字切り出し手段と、
各文字イメージのうち、上記メモリに記憶した各文字イメージの第２の罫線接触情報を基に罫線等に接触していた文字イメージの補完処理を行う第１の文字イメージ補完処理手段と、
上記第１の文字イメージ補完処理手段で補完処理された文字イメージおよび上記文字イメージ補完処理手段の補完対象でなかった文字イメージに対し特徴抽出を行ってそれぞれの文字イメージの特徴量を取得する特徴量取得手段と、
上記文字イメージ補完処理手段で補完処理された文字イメージについては、上記特徴量取得手段で取得した特徴量と認識辞書に登録されている特徴量を比較すると共に前記メモリに記憶されている第２の罫線接触情報を基に候補文字を出力し、上記文字イメージ補完処理手段の補完処理の対象でなかった文字イメージについては、上記特徴量取得手段で取得した特徴量と認識辞書に登録されている特徴量を比較して候補文字を出力する認識処理手段と、
認識辞書に登録されている罫線接触情報および前記メモリに記憶されている第２の罫線接触情報を基に、上記認識処理手段から出力された候補文字の信頼度を判定し、信頼度が所定値より高い場合はその候補文字の文字コードを認識結果として出力し、信頼度が所定値より低い場合は棄却コードを出力する棄却判定手段と、
上記棄却判定手段の信頼度判定で棄却コードが出力された文字イメージについて、キー入力を待ち、キー入力あったとき、棄却コードが出力された文字イメージが罫線等と接触していた文字イメージの場合にはキー入力された文字コードと前記メモリに記憶されている第２の罫線接触情報のうちの該文字イメージの罫線接触情報を基に補完位置および補完イメージの長さを決定する補完イメージ決定手段と、
上記補完イメージ決定手段で決定された補完イメージによって上記罫線等と接触していた文字イメージを補完する第２の文字イメージ補完処理手段と、
上記第２の文字イメージ補間処理手段で補完された文字イメージに関連付けて該文字イメージの第２の罫線接触情報からなる罫線接触情報を前記認識辞書に登録するか否かの判定を行う登録判定手段と、
を備えたことを特徴とする文字認識装置。
【請求項４】
前記補完イメージ決定手段は、切り出された文字イメージのうち罫線等と接触していた文字イメージについて、キー入力された文字コードと前記第２の罫線接触情報のうちの該文字イメージの罫線接触情報から補完イメージを１つに決定できない場合には複数の補完イメージを決定し、
前記第２のイメージ補完手段は、上記補完イメージ手段で決定されたそれぞれの補完イメージによって上記罫線等と接触していた文字イメージを補完して複数の補完された文字イメージを取得し、
前記登録判定手段は、上記第２のイメージ補完手段で取得した複数の補完された文字イメージ毎に判定を行う、
ことを特徴とする請求項３に記載の文字認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文字認識方法に関し、特に、非ドロップアウトカラーで印刷された罫線又は枠線（以下、罫線等）を持つ帳票に記入された文字が罫線等に接触している場合の文字認識技術に関する。
【０００２】
【従来の技術】
光学的文字読取装置（ＯＣＲ）では帳票や原稿上の文字を読み取って電気信号に変換し文字イメージを出力するが、帳票には、通常、文字枠線が印刷されており文字は文字枠線内に収まるように印刷或いは記入されるので、読み取りの障害にならないように文字枠線は記入者に認識できるが装置には検出できないドロップアウトカラーで印刷されている場合が多い。
【０００３】
しかし、ドロップアウトカラーは特殊な色のため帳票の印刷コストが高くなりがちな点や、ドロップアウトカラーは通常ＯＣＲに対し１色に決まっているので帳票の種類によって色分けをすることができない点、及びドロップアウトカラーは非常に色が淡いので見づらい点、等の不都合がある。
【０００４】
上述したような不具合を解消するため、文字枠線を非ドロップアウトカラーで印刷した帳票を光学的に読み取って文字を認識する場合に、その前段処理として文字枠線を検出して消去する枠線消去(除去）処理を行うように構成した文字認識装置がある。
【０００５】
【発明が解決しようとする課題】
しかしながら、単に、罫線や枠線を除去するだけでは罫線又は枠線と接触していた文字の一部が除去されてしまうので文字認識装置の認識性能を低下させる要因となっていた。従って、このような罫線又は枠線と接触したイメージに対し文字認識時に辞書学習を行うと、信頼性の低い（つまり、上述したように認識性能の低い）イメージに対して辞書学習を行うことになるために結果として信頼性の低い学習辞書が作成され信頼性のある文字認識を行うことができないことから、自動的な学習処理を行うことができないといった問題点があった。
【０００６】
本発明は上記課題を解決するためになされたものであり、文字が罫線等に接触している場合にも自動的な学習処理を行うことのできる文字認識方法および文字認識装置の提供を目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載の発明では、非ドロップアウトカラーで印刷された罫線等を有する原稿の読み込みイメージから１文字ずつ文字イメージを切り出して文字認識を行う文字認識方法であって、読取った原稿の読み込みイメージから罫線等を検出し、検出された罫線等を該読み込みイメージから取り除くと共に、除去した罫線等に接触していた読み込みイメージに関する接触情報からなる第１の罫線接触情報を取得する第１の罫線接触情報取得ステップと、罫線等を取り除いた読み込みイメージを一文字ずつ切り出すと共に、第１の罫線取得情報を基にして、切り出された各文字イメージ単位での罫線等との接触情報からなる第２の罫線接触情報を取得する文字切り出しステップと、上記文字切り出しステップで切り出された各文字イメージの第２の罫線接触情報を基に罫線等に接触していた文字イメージの補完を行う第１の文字イメージ補完ステップと、上記第１の文字イメージ補完ステップで補完された文字イメージに対し認識辞書を用いて文字認識を行い、その際に、該文字の特徴量およびメモリに記憶されている第２の罫線接触情報を基に候補文字を出力し、上記文字イメージ補完処理部の補完対象でなかった文字イメージに対しては認識辞書を用いて文字認識を行って候補文字を取得する文字認識ステップと、認識辞書に登録されている罫線接触情報およびメモリに記憶されている第２の罫線接触情報を基に、上記文字認識ステップで取得された候補文字の信頼度を判定し、信頼度が所定値より高い場合はその候補文字の文字コードを認識結果として出力し、信頼度が所定値より低い場合は棄却コードを出力する棄却判定ステップと、上記棄却ステップの信頼度判定で棄却コードが出力された文字イメージについて修正入力を待ち、修正入力があったときは、棄却コードが出力された文字イメージが罫線等と接触していた文字イメージの場合には修正入力により修正された文字コードに対応する文字イメージとメモリに記憶されている第２の罫線接触情報のうちの該文字コードに対応する文字イメージの罫線接触情報を基に補完位置および補完イメージの長さを決定する補完イメージ決定ステップと、上記補完イメージステップで決定された補完イメージによって上記罫線等と接触していた文字イメージを補完する第２の文字イメージ補完ステップと、上記第２の文字イメージ補完ステップで補完された文字イメージに関連付けて該文字イメージの第２の罫線接触情報からなる罫線接触情報を認識辞書に登録するか否かの判定を行う登録判定ステップと、を備えたことを特徴とする文字認識方法を提供する。
【０００８】
また、請求項２に記載の発明は、補完イメージ決定ステップは、切り出された文字イメージのうち罫線等と接触していた文字イメージについて、キー入力された文字コードと第２の罫線接触情報のうちの該文字イメージの罫線接触情報から補完イメージを１つに決定できない場合には複数の補完イメージを決定し、第２のイメージ補完ステップは、上記補完イメージステップで決定されたそれぞれの補完イメージによって上記罫線等と接触していた文字イメージを補完して複数の補完された文字イメージを取得し、登録判定ステップは、上記第２のイメージ補完ステップで取得した複数の補完された文字イメージ毎に判定を行う、ことを特徴とする請求項１に記載の文字認識方法を提供する。
【０００９】
また、請求項３に記載の発明は、非ドロップアウトカラーで印刷された罫線等を有する原稿の読み込みイメージから１文字ずつ文字イメージを切り出して文字認識を行う文字認識装置において、文字認識に用いる辞書であって、補完文字イメージの罫線接触情報を登録可能な認識辞書と、上記文字切り出し部で取得した第２の罫線接触情報を記憶するメモリと、読取った原稿の読み込みイメージから罫線等を検出し、検出された罫線等を該読み込みイメージから取り除くと共に、除去した罫線等に接触していた読み込みイメージに関する接触情報からなる第１の罫線接触情報を取得する第１の罫線除去手段と、罫線等を取り除いた読み込みイメージを一文字ずつ切り出すと共に、第１の罫線取得情報を基にして、切り出された各文字イメージ単位での罫線等との接触情報からなる第２の罫線接触情報を取得する文字切り出し手段と、各文字イメージのうち、上記メモリに記憶した各文字イメージの第２の罫線接触情報を基に罫線等に接触していた文字イメージの補完処理を行う第１の文字イメージ補完処理手段と、上記第１の文字イメージ補完処理手段で補完処理された文字イメージおよび上記文字イメージ補完処理手段の補完対象でなかった文字イメージに対し特徴抽出を行ってそれぞれの文字イメージの特徴量を取得する特徴量取得手段と、上記文字イメージ補完処理手段で補完処理された文字イメージについては、上記特徴量取得手段で取得した特徴量と認識辞書に登録されている特徴量を比較すると共にメモリに記憶されている第２の罫線接触情報を基に候補文字を出力し、上記文字イメージ補完処理手段の補完処理の対象でなかった文字イメージについては、上記特徴量取得手段で取得した特徴量と認識辞書に登録されている特徴量を比較して候補文字を出力する認識処理手段と、認識辞書に登録されている罫線接触情報およびメモリに記憶されている第２の罫線接触情報を基に、上記認識処理手段から出力された候補文字の信頼度を判定し、信頼度が所定値より高い場合はその候補文字の文字コードを認識結果として出力し、信頼度が所定値より低い場合は棄却コードを出力する棄却判定手段と、上記棄却判定手段の信頼度判定で棄却コードが出力された文字イメージについて、キー入力を待ち、キー入力あったとき、棄却コードが出力された文字イメージが罫線等と接触していた文字イメージの場合にはキー入力された文字コードとメモリに記憶されている第２の罫線接触情報のうちの該文字イメージの罫線接触情報を基に補完位置および補完イメージの長さを決定する補完イメージ決定手段と、上記補完イメージ決定手段で決定された補完イメージによって上記罫線等と接触していた文字イメージを補完する第２の文字イメージ補完処理手段と、上記第２の文字イメージ補間処理手段で補完された文字イメージに関連付けて該文字イメージの第２の罫線接触情報からなる罫線接触情報を認識辞書に登録するか否かの判定を行う登録判定手段と、を備えたことを特徴とする文字認識装置を提供する。
【００１０】
また、請求項４に記載の発明は、補完イメージ決定手段は、切り出された文字イメージのうち罫線等と接触していた文字イメージについて、キー入力された文字コードと第２の罫線接触情報のうちの該文字イメージの罫線接触情報から補完イメージを１つに決定できない場合には複数の補完イメージを決定し、第２のイメージ補完手段は、上記補完イメージ手段で決定されたそれぞれの補完イメージによって上記罫線等と接触していた文字イメージを補完して複数の補完された文字イメージを取得し、登録判定手段は、上記第２のイメージ補完手段で取得した複数の補完された文字イメージ毎に判定を行う、ことを特徴とする請求項３に記載の文字認識装置を提供する。
【００１３】
【発明の実施の形態】
[文字認識装置の構成例]
図１は本発明の文字認識方法を適用可能な文字認識装置の一実施例の構成を示すブロック図である。また、図２は認識処理部の一実施例の構成を示すブロック図、図３は文字認識部及び認識文字学習部の機能構成の一実施例を示すブロック図である。
【００１４】
図１で、文字認識装置１０は、原稿読取り部１、認識処理部２、ハードディスク（ＨＤ）３、モニタ装置４及びキーボード５を備えている。
原稿読取り部１はＯＣＲ（光学的文字読取り装置）やスキャナー等のイメージリーダからなり、原稿を読み取ってイメージデータに変換し、認識処理部２に渡す。
また、認識処理部２は、図２に示すように文字認識部２１、認識文字学習部２２及び制御部２３と認識辞書３１を備え、文字認識部２１は原稿読取り部１から受け取ったイメージデータから１文字分ずつ文字イメージを切り出して文字認識処理を行い、認識結果（文字コード或いは棄却コード）を出力すると共にモニタ装置４に表示する。
【００１５】
また、認識文字学習部２２は罫線等と接触している文字イメージが文字認識部２１で認識されなかった場合（つまり、棄却された場合）又は認識エラーの場合に、オペレータによってキーボード５から文字コード入力がされた場合には、それら棄却イメージ或いは誤認識された文字について文字コード入力（キー入力による修正及び自動修正）及び学習を行い、認識辞書３１を更新する。
【００１６】
なお、ハードディスク３には認識辞書３１及び認識結果を格納する領域が確保されている。なお、認識辞書３１はＲＯＭ又は物理的に別のハードディスクとしてもよい。また、ハードディスク３には認識処理プログラムのほか文字認識装置１０の実行制御に必要な各種プログラムを格納することもできる。
【００１７】
図３で、文字認識部２１は罫線除去部２１１、文字切り出し部２１２、罫線接触情報格納部２１３、イメージ補完処理部２１４、特徴抽出部２１５、識別部２１６及び棄却判定部２１７を有している。また、認識文字学習部２２は補完予測処理部２２１、イメージ補完部２２２及び辞書登録判定部２２３を有している。
【００１８】
文字認識部２１は後述するように特徴抽出部２１５で抽出した文字イメージの特徴を基に識別部２１６で認識辞書３１を用いて文字認識を行い、認識候補文字を出力するが、認識できない文字のうち、罫線等と接触していた文字については罫線接触情報格納部２１３に格納されている罫線情報とキー入力される文字（修正文字）を基に認識文字学習部２２で補完予測等を行って文字イメージを補完し認識辞書に登録する。これにより、罫線等と接触していて罫線除去により文字の一部を欠き、従来方式では認識できなかった罫線接触文字についても認識が可能となる。
【００１９】
[動作例]
図４は上記図３に示した文字認識部２１及び認識文字学習部２２の動作例を示すフローチャートである。また、図５は入力した原稿文字イメージの一実施例を示す図、図６は罫線除去後の原稿文字イメージの一実施例を示す図、図７及び図８は切り出された文字イメージの一実施例を示す図である。
【００２０】
ステップＳ１：（罫線除去及び罫線接触情報の取得）
罫線除去部２１１は、スキャナ等から読み込んだ読み込みイメージ５０（図５）から罫線等５１を検出し、罫線等のイメージを読み込みイメージから除去して図６に示すようなイメージ６０を取得し、除去した罫線等に接触していたイメージ５０に関する罫線接触情報（例えば、文字の接触方向、接触個所数、接触部分の位置（座標）、罫線等の太さ）Ｉｆ１を取得する。
【００２１】
ステップＳ２：（文字イメージの切り出し及び各罫線接触情報の取得）
文字切り出し部２１２は、罫線除去部２１１によって罫線等が除去されたイメージ５０から１文字ずつ文字イメージを切り出して、図７に示すような切り出し文字イメージＣｉ１（ｉ＝１〜ｎ；ｎは文字数）を取得し、イメージ５０の罫線接触情報から文字イメージＣｉ１の各イメージ単位の罫線接触情報Ｉｆ２を取得する。
【００２２】
ステップＳ３：（文字イメージ毎の罫線接触情報の一時格納）
罫線接触情報格納部２１３はＲＡＭ等の一時格納メモリからなり、文字切り出し部２１２で得た罫線接触情報Ｉｆ２を格納する。
ここで、罫線接触情報Ｉｆ２について図７の切り出し文字イメージＣ１１と図８（ａ）の切り出し文字イメージＣ３１を例として説明する。
図７に示した切り出し文字イメージＣ１１では、接触方法＝左、接触数＝３、接触位置＝α（Ｘ１、Ｙ１）、β（Ｘ２、Ｙ２）、γ（Ｘ３、Ｙ３）、罫線の太さ＝Ｗが格納される。また、図８（ａ）に示した切り出し文字イメージＣ３１では、接触方法＝下、接触数＝１、接触位置＝（Ｘ、Ｙ）、罫線の太さ＝Ｗ、記入線の太さ＝ｗ、罫線への進行方向＝左下方向、が格納される。
【００２３】
ステップＳ４：（イメージ補完処理）
次に、イメージ補完処理部２１４は上記ステップＳ３で罫線接触情報格納部２１３に格納されている罫線接触情報を基に切り出し文字イメージＣｉ１のイメージ補完処理を行う。なお、切り出し文字イメージＣｉ１が罫線に接触していなかった場合にはイメージ補完処理を行うことなくＳ５に遷移する。
ここで、イメージ補完処理の方法としては本発明の発明者によって発明され本願特許出願人によって平成１１年１１月２２日に出願された特願平１１−３３１１６３号に記載された方法やその他よく知られたイメージ補完方法を用いることができる。
【００２４】
ステップＳ５：（特徴抽出及び特徴量の取得）
特徴抽出部２１５は、上記ステップＳ４でイメージ補完処理された切り出し文字イメージＣｉ１に対し特徴抽出を行い、未知入力文字の特徴量を取得する。
【００２５】
ステップＳ６：（認識候補文字の出力）
識別部２１６は、上記ステップＳ５で得られた特徴量と認識辞書３１に格納されている特徴量を比較し認識候補文字を出力するが、罫線接触情報格納部２１３に格納されている罫線接触情報から未知入力文字が罫線等に接触していたという情報がある場合にはその情報を基に認識候補文字を出力する。
【００２６】
例えば、図７の切り出し文字イメージＣ１１に対し上記ステップＳ４でイメージ補完処理部２１４でイメージ補完処理され、上記ステップＳ５の特徴抽出部２１５による特徴抽出で抽出した特徴に基づいて識別部２１６で認識辞書３１の特徴量と比較した結果、認識候補文字として「３」及び「８」の２つが得られた場合を例とすると、切り出し文字イメージＣ１１で特定される未知入力文字は、罫線接触情報格納部２１３に格納されている罫線接触情報（ステップＳ３参照）から左側罫線に３個所接続しているので、接触のしかたから判断して認識候補「３」でない可能性が高いことから識別部２１６は認識候補文字として「８」を出力する。別の例としては、認識辞書３１に格納されている特徴量と罫線接触情報（ステップＳ３参照）のうちの罫線接触方向に関する情報（例えば、罫線への進行方向）からその方向の特徴量の曖昧さを考慮し、罫線接触とは関係ない特徴を優先的に採用する（例えば、図８（ａ）の切り出し文字イメージＣ３１で特定される未知入力文字の場合）。
【００２７】
ステップＳ７：（棄却判定）
次に、棄却判定部２１７は上記ステップＳ６で候補文字として出力された文字の確からしさ（信頼度）を認識辞書３１に登録してある罫線接触情報及び罫線接触情報格納部２１３に格納されている切り出し文字イメージＣｉ１の罫線接触情報等を基に判定し、信頼度が所定値より高い場合はその文字コードを出力しＳ９に遷移する。また、信頼度が所定値より低い場合は棄却コード（リジェクトコード）を出力し、Ｓ８に遷移する。
【００２８】
例えば、上記ステップＳ６で例とした切り出し文字イメージＣ１１の場合は、認識候補文字「８」について上記判定の結果、信頼度が所定値より高いとして認識文字「８」を出力する。
また、文字イメージＣ３１に対して上記ステップＳ６で認識候補文字として「２」及び「７」の２つが得られ、識別部２１６は認識候補文字として「７」を出力した場合、上記判定の結果、信頼度が所定値より低いとして棄却コードが出力される。
【００２９】
ステップＳ８：（棄却文字の罫線接触判定）
上記ステップＳ７で棄却文字コードが出力された未知入力文字が罫線等に接触していた文字か否か、つまり、切り出し文字イメージＣｉ１が罫線等が除去された文字イメージであったかどうかを罫線接触情報格納部２１３に格納されている罫線接触情報から判定し、罫線等に接触していた場合にはＳ９に遷移し、そうでない場合にはＳ１２に遷移する。
【００３０】
ステップＳ９（補完イメージの決定）
補完予測処理部２２１は、上記ステップＳ８で棄却文字コードが出力された未知入力文字が罫線等に接触していた文字の場合に、オペレータによる文字コード入力（修正文字入力）を待ち、オペレータによって入力された切り出し文字イメージＣｉ１に対する文字コードと罫線接触情報格納部２１３に格納された罫線接触情報を基に補完イメージを決定する。例えば、上記ステップＳ７の例で、文字イメージＣ３１に対する認識文字候補「７」について棄却コードが出されたが、文字イメージＣ３１は罫線に接触しているので文字イメージＣ３１に対する文字コード入力を入力指示メッセージを表示してオペレータに促し、オペレータが文字イメージＣ３１に対する文字コードとして「２」を入力すると、補完予測処理部２２１は入力された文字コード「２」と罫線接触情報格納部２１３に格納された罫線接触情報から、「２」の下の横棒が罫線除去部２１１によって除去されたものと判定し、文字イメージＣ３１の下の横棒を補完する補完処理を決定する。
【００３１】
ステップＳ１０：（イメージ補完）
イメージ補完部２２２は、補完予測処理部によって決定された補完処理を行う。図８（ａ）の文字イメージＣ３１について上記ステップＳ９の例で補完決定された補完処理を行うと図８（ｂ）に示すような文字イメージを得ることができる。
【００３２】
ステップＳ１１：（辞書登録の可否判定）
辞書登録判定部２２３は、上記ステップＳ１０で得た補完イメージについて認識辞書への登録の可否を判定し、判定結果が「登録可」の場合にはその文字イメージ及び罫線接触情報を認識辞書３１に登録し、ステップＳ４に遷移する。また、判定結果が「登録否」の場合にはＳ１２に遷移する。
辞書登録判定は上記ステップＳ１０で得た補完イメージを上記ステップＳ９でオペレータが入力した文字コードの認識辞書として登録した場合に、入力した文字コードの認識率に悪影響（例えば、認識率の低下）を及ぼさないか否かを調べ、悪影響があるとされた場合には「登録否」とする。ここで、辞書登録判定の方法には本願特許出願人によって平成９年１２月２２日に出願された特開平１１−１８４９７６号公報に開示された方法を用いることができる。
【００３３】
ステップＳ１２：（終了判定）
制御部２３は全ての切り出し文字イメージＣｉ１について文字認識部２１又は認識文字学習部２２による処理が終るまでＳ４に戻って次の切り出し文字イメージの認識処理（または学習処理）を行う。
【００３４】
なお、上記図４のフローチャートのステップＳ９で、補完予測処理部２２１が１文字に対し１種類の補完文字イメージを出力するように構成した例を示したが、これに限定されない。
例えば、図９に示すような原稿イメージ『４０』を読み込んだ場合、ステップＳ１に示したように罫線除去部２１１で罫線除去を行い、ステップＳ２で文字切り出し部２１２で『４』を切り出すと、図１０に示すような切り出しイメージＣ１２を得ることができる。ここで、ステップＳ９に遷移して、補完予測処理部２２１でオペレータによって入力された文字コードと罫線接触情報格納部２１３に格納された罫線接触情報を基に補完方法を決定するが、図１０の例に示すように補完方法を１種類に決定できない場合がある。
【００３５】
つまり、図１０に示した切り出し文字イメージＣ１２の左側縦線の長さが罫線除去処理によって全部除去されてしまっているので、予測不可能な状態にある。このような場合には補完予測処理部２２１は補完イメージをいくつか決定しその全てについてイメージ補完部２２２でイメージ補完処理を行い、イメージ補完された各イメージごとに辞書登録判定部２２３で辞書登録判定を行なう。
【００３６】
図１０の切り出し文字イメージＣ１２の例では、イメージ補完部２２２は、文字イメージの左側の縦棒を補完するが、この場合、補完する棒の長さを文字イメージＣ１２のイメージに対しての矩形範囲最大、文字イメージＣ１２のイメージに対しての矩形範囲最大の３分の２、文字イメージＣ１２のイメージに対しての矩形範囲最大の２分の３という３種類の補完処理を行う。図１１はこれにより補完された文字イメージを示す図であり、図１１（ａ）は矩形範囲最大とした場合の補完文字イメージ、図１１（ｂ）は矩形範囲最大の３分の２とした場合の補完文字イメージ、図１１（ｃ）は矩形範囲最大の２分の３とした場合の補完文字イメージである。辞書登録判定部２２３は上記３種類の補完イメージの辞書登録判定を行い、登録判定されたイメージを認識辞書３１に登録する。
【００３７】
このように補完方法を１種類に決定できない場合には補完方法をいくつか決定しその全てについてイメージ補完処理を行い、イメージ補完された各イメージごとに辞書登録判定を行なうように構成することにより、原稿記入者が罫線に接触しないが同じような文字を記入しても認識辞書に登録されたいずれかの特徴に近い文字イメージになり、認識辞書での認識が可能となる。
以上、本発明の一実施例について説明したが本発明は上記実施例に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。
【００３８】
【発明の効果】
上記説明したように、請求項１、３に記載の発明によれば、棄却判定された文字イメージが罫線等と接触していて罫線除去により文字の一部を欠いた文字イメージの補完を行うだけでなく、切り出した文字イメージが文字認識による候補文字の信頼度を判定し、信頼度判定により棄却コードが出力された文字イメージが罫線等と接触していた文字イメージの場合には、更に、修正入力により修正された文字コードに対応する文字イメージとメモリに記憶されている第２の罫線接触情報のうちの該文字コードに対応する文字イメージの罫線接触情報を基に決定された補完イメージで文字イメージを補完し、補完された文字イメージに関連付けて該文字イメージの罫線接触情報を認識辞書に登録することができることから、棄却判定された文字イメージが罫線等と接触していて罫線除去により文字の一部を欠いた文字イメージにも認識辞書を基に認識処理を行うことができるので、従来方式では認識できなかった罫線接触を原因とした棄却対象文字についても認識が可能となる。
【００３９】
また、請求項２、４に記載の発明によれば、請求項１，３の発明において補完イメージを１種類に決定できない場合には補完方法をいくつか決定しその全てについてイメージ補完処理を行い、イメージ補完された各イメージごとに辞書登録判定を行なうことができるので、原稿記入者が罫線に接触しないが同じような文字を記入しても認識辞書に登録されたいずれかの特徴に近い文字イメージになり、認識辞書での認識が可能となる。
【図面の簡単な説明】
【図１】本発明の文字認識方法を適用可能な文字認識装置の一実施例の構成を示すブロック図である。
【図２】認識処理部の一実施例の構成を示すブロック図である。
【図３】文字認識部及び認識文字学習部の機能構成の一実施例を示すブロック図である。
【図４】文字認識部及び認識文字学習部の動作例を示すフローチャートである。
【図５】図５は入力した原稿文字イメージの一実施例を示す図である。
【図６】罫線除去後の原稿文字イメージの一実施例を示す図である。
【図７】切り出された文字イメージの一実施例を示す図である。
【図８】切り出された文字イメージの一実施例を示す図である。
【図９】入力した原稿文字イメージの一実施例を示す図である。
【図１０】切り出された文字イメージの一実施例を示す図である。
【図１１】複数の補完イメージの一実施例を示す図である。
【符号の説明】
１  原稿読取り部
２  認識処理部
３  ハードディスク（ＨＤ）
４  モニタ装置
５  キーボード
１０  文字認識装置
２１  文字認識部
２２  認識文字学習部
２３  制御部
３１  認識辞書
５０  読み込みイメージ
５１  罫線等
２１１  罫線除去部
２１２  文字切り出し部
２１３  罫線接触情報格納部
２１４  イメージ補完処理部
２１５  特徴抽出部
２１６  識別部
２１７  棄却判定部
２２１  補完予測処理部
２２２  イメージ補完部
２２３  辞書登録判定部
Ｃ１１、Ｃ３１、Ｃ１２  切り出し文字イメージ（切り出された文字イメージ）
【図１】
0004580520.tif 000002
【図２】
0004580520.tif 000003
【図３】
0004580520.tif 000004
【図４】
0004580520.tif 000005
【図５】
0004580520.tif 000006
【図６】
0004580520.tif 000007
【図７】
0004580520.tif 000008
【図８】
0004580520.tif 000009
【図９】
0004580520.tif 000010
【図１０】
0004580520.tif 000011
【図１１】
0004580520.tif 000012