(57)【要約】【課題】オペレータによる認識結果の修正を修正以降の認識処理に的確に反映させて、オペレータに対する負担を増大させることなく正しい認識結果を得る。【解決手段】文字画像を認識して認識結果とする文字を出力する文字認識手段２３と、参照画像と文字の対からなるエントリが記録される修正辞書２５と、文字画像と参照画像とが酷似しているか否かを判別し、酷似していると判別された場合に文字認識手段２３による認識結果とする文字を修正辞書２５に記録された文字に修正する自動修正手段２４と、自動修正手段２４に修正された文字をオペレータから指示された文字によって修正する手動修正手段２６と、手動修正手段２６による文字の修正に基づいて、修正辞書２５のエントリの内容を管理する修正辞書管理手段２７を有する。【選択図】      図２
2005078287.tif 000002
【特許請求の範囲】
【請求項１】
第１の文字画像を認識して認識結果とする文字を出力する文字認識手段と、
第２の文字画像と文字を特定するデータの対からなるエントリが記録される修正辞書と、
前記第１の文字画像と前記第２の文字画像とが酷似しているか否かを判別する判別手段と、
前記判別手段によって前記第１の文字画像と前記第２の文字画像とが酷似していると判別された場合に、前記文字認識手段により出力された認識結果とする第１の文字を、前記第２の文字画像と対となる前記文字を特定するデータが示す第２の文字に修正する第１の文字修正手段と、
前記第１の文字修正手段により修正された第２の文字を外部から指示された第３の文字によって修正する第２の修正手段と、
前記第２の文字修正手段による第３の文字への修正に基づいて、前記修正辞書のエントリの内容を管理する修正辞書管理手段と
を具備したことを特徴とする文字認識装置。
【請求項２】
前記判別手段は、
前記第１の文字画像と前記第２の文字画像の画素値をもとに不一致の程度を表す値を算出し、この値が予め定めた閾値を超えていない場合に、前記第１の文字画像と前記第２の文字画像とが酷似していると判別することを特徴とする請求項１記載の文字認識装置。
【請求項３】
前記修正辞書管理手段は、
前記第２の修正手段によって修正された第３の文字を特定するデータが前記修正辞書に記録されていない場合に、前記第１の文字画像と前記第３の文字を特定するデータの対からなるエントリを前記修正辞書に追加することを特徴とする請求項１記載の文字認識装置。
【請求項４】
前記修正辞書管理手段は、
前記第２の修正手段によって修正された第３の文字を特定するデータが前記修正辞書に記録されている場合に、前記第３の文字を特定するデータの対となる前記第２の画像を前記第１の画像をもとに変更することを特徴とする請求項１記載の文字認識装置。
【請求項５】
前記修正辞書管理手段は、
前記第１の画像と前記第２の画像とを重ね合わせて、画素ごとに画素値の平均値を算出し、この平均値を前記第２の画像の変更後の画素値とすることを特徴とする請求項４記載の文字認識装置。
【請求項６】
前記修正辞書にはエントリに対する前記修正辞書管理手段による変更回数を記録し、
前記修正辞書管理手段は、
前記第１の画像と前記第２の画像とを重ね合わせて、画素ごとに前記変更回数により重み付けした画素値の平均値を算出し、この平均値を前記第２の画像の変更後の画素値とすることを特徴とする請求項４記載の文字認識装置。
【請求項７】
第１の文字画像を認識して認識結果とする文字を出力する文字認識手段と、
文字列画像と文字列を特定するデータの対からなるエントリが記録される修正辞書と、
複数の前記第１の文字画像と前記文字列画像とが酷似しているか否かを判別する判別手段と、
前記判別手段によって複数の前記第１の文字画像と前記文字列画像とが酷似していると判別された場合に、前記文字認識手段により出力された認識結果とする第１の文字列を、前記文字列画像と対となる前記文字列を特定するデータが示す第２の文字列に修正する第１の文字列修正手段と、
前記第１の文字修正手段により修正された前記第２の文字列を外部から指示された第３の文字によって修正する第２の修正手段と、
前記第２の文字修正手段による第３の文字への修正に基づいて、前記修正辞書のエントリの内容を管理する修正辞書管理手段と
を具備したことを特徴とする文字認識装置。
【請求項８】
第１の文字画像を認識して認識結果とする文字を出力する文字認識手段と、
文字列画像と文字列を特定するデータの対からなるエントリが記録される修正辞書と、
複数の文字からなる単語が登録された単語辞書と、
前記文字認識手段により出力された複数の文字からなる文字列について前記単語辞書に登録された単語に修正する単語修正手段と、
前記単語修正手段によって修正の対象となった前記文字列に対応する複数の前記第１の画像と、前記文字列画像とが酷似しているか否かを判別する判別手段と、
前記判別手段によって複数の前記第１の文字画像と前記文字列画像とが酷似していると判別された場合に、前記単語修正手段により修正された第１の文字列を前記文字列画像と対となる前記文字列を特定するデータが示す第２の文字列に修正する第１の文字修正手段と、
前記第１の文字修正手段により修正された前記第２の文字列を外部から指示された第３の文字によって修正する第２の修正手段と、
前記単語修正手段による前記単語への修正、及び前記第２の文字修正手段による第３の文字への修正に基づいて、前記修正辞書のエントリの内容を管理する修正辞書管理手段と
を具備したことを特徴とする文字認識装置。
【請求項９】
コンピュータを、
第１の文字画像を認識して認識結果とする文字を出力する文字認識手段と、
第２の文字画像と文字を特定するデータの対からなるエントリが記録される修正辞書と、
前記第１の文字画像と前記第２の文字画像とが酷似しているか否かを判別する判別手段と、
前記判別手段によって前記第１の文字画像と前記第２の文字画像とが酷似していると判別された場合に、前記文字認識手段により出力された認識結果とする第１の文字を、前記第２の文字画像と対となる前記文字を特定するデータが示す第２の文字に修正する第１の文字修正手段と、
前記第１の文字修正手段により修正された第２の文字を外部から指示された第３の文字によって修正する第２の修正手段と、
前記第２の文字修正手段による第３の文字への修正に基づいて、前記修正辞書のエントリの内容を管理する修正辞書管理手段として機能させるための文字認識プログラム。
【請求項１０】
コンピュータを、
第１の文字画像を認識して認識結果とする文字を出力する文字認識手段と、
文字列画像と文字列を特定するデータの対からなるエントリが記録される修正辞書と、
複数の前記第１の文字画像と前記文字列画像とが酷似しているか否かを判別する判別手段と、
前記判別手段によって複数の前記第１の文字画像と前記文字列画像とが酷似していると判別された場合に、前記文字認識手段により出力された認識結果とする第１の文字列を、前記文字列画像と対となる前記文字列を特定するデータが示す第２の文字列に修正する第１の文字列修正手段と、
前記第１の文字修正手段により修正された前記第２の文字列を外部から指示された第３の文字によって修正する第２の修正手段と、
前記第２の文字修正手段による第３の文字への修正に基づいて、前記修正辞書のエントリの内容を管理する修正辞書管理手段として機能させるための文字認識プログラム。
【請求項１１】
コンピュータを、
第１の文字画像を認識して認識結果とする文字を出力する文字認識手段と、
文字列画像と文字列を特定するデータの対からなるエントリが記録される修正辞書と、
複数の文字からなる単語が登録された単語辞書と、
前記文字認識手段により出力された複数の文字からなる文字列について前記単語辞書に登録された単語に修正する単語修正手段と、
前記単語修正手段によって修正の対象となった前記文字列に対応する複数の前記第１の画像と、前記文字列画像とが酷似しているか否かを判別する判別手段と、
前記判別手段によって複数の前記第１の文字画像と前記文字列画像とが酷似していると判別された場合に、前記単語修正手段により修正された第１の文字列を前記文字列画像と対となる前記文字列を特定するデータが示す第２の文字列に修正する第１の文字修正手段と、
前記第１の文字修正手段により修正された前記第２の文字列を外部から指示された第３の文字によって修正する第２の修正手段と、
前記単語修正手段による前記単語への修正、及び前記第２の文字修正手段による第３の文字への修正に基づいて、前記修正辞書のエントリの内容を管理する修正辞書管理手段として機能させるための文字認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字認識結果に対する修正の結果を修正以降の文字認識処理に反映させる文字認識装置、文字認識プログラムに関する。
【背景技術】
【０００２】
従来、文字認識装置においては、文字認識によって出力された文字認識結果に対してオペレータによって修正し、その修正結果を以降の文字認識処理に反映せることができる。
【０００３】
修正の情報を反映させる方法としては様々な方法が提案されているが、一度、認識結果が修正された（文字）パターンと画像的に酷似している（文字）パターンが再度入力された場合であっても、オペレータによる修正が認識結果に反映されにくい場合があった。このような場合、オペレータが再度修正を行わなければならず、大変煩雑な作業が必要となっていた。
【０００４】
例えば、特許文献１に記載された方法では、オペレータが選択した正解文字列が認識結果となるように、文字カテゴリ毎の評価値を補正する補正情報を求めて登録し、以降の文字認識でのカテゴリの評価値を補正することにより、オペレータによる修正の情報を認識結果に反映させている。
【０００５】
しかし、この方法では評価値の補正の単位がカテゴリ単位なので、認識処理において誤ったカテゴリと混同されやすいパターンは、当該カテゴリの補正値による悪影響を受け、当該パターン固有の修正が以降の認識結果に反映されにくい。
【０００６】
また、特許文献２の方法では、オペレータによって修正された誤読カテゴリと正読カテゴリの対について、正読カテゴリが第一候補となるように距離値の補正量を求めて、その補正量と前記誤読カテゴリと前記正読カテゴリとからなるエントリを修正用テーブルに登録している。そして、以降の文字認識で第一候補が前記誤読カテゴリと一致する場合は、前期誤読カテゴリと同一エントリに記憶されている正読カテゴリの距離値を、当該エントリに記録されている補正量で補正することにより、以前の修正でオペレータが入力した正読カテゴリが認識結果として出力されやすくなるようにしている。
【０００７】
しかし、この方法においても、正読カテゴリの距離値の補正量が、誤読カテゴリ単位で登録されるため、認識処理で分離が難しいカテゴリは補正を行ってもやはり分離が難しく、パターン固有の修正をオペレータが行っても認識結果に反映しにくい。そのため、ある程度似ているが酷似しているというほどでもないパターンにまで修正が影響を及ぼしてしまう。
【０００８】
また、特許文献３の方法では、複数の認識エンジンを備えており、各認識エンジンが認識結果と共に認識結果の信頼係数を出力するようになっている。認識装置全体の認識結果としては、認識エンジン毎の認識結果の信頼係数と、当該認識エンジン自体について求められた信頼係数の積が最大の認識エンジンの認識結果が選択されるようになっており、オペレータによって修正された認識結果を用いて認識エンジン毎の誤読回数を計数し、前記誤読回数を元に当該認識エンジンの信頼係数が求められる。この方法ではオペレータによる修正の情報がエンジン毎の信頼係数を介して認識結果に反映されるようになっている。
【０００９】
しかし、この方法においては、信頼係数の調整の単位が認識対象領域全体なので、修正されたパターンと画像的に酷似したパターンに修正の情報が選択的に反映されるわけではない。
【００１０】
また、個々の文字の認識に認識辞書を用いている文字認識方法の中には、修正された認識結果と入力されたパターンの組み合わせをオンラインで学習し、認識辞書を逐次修正する方法が知られている。例えば、特許文献４の方法では、スキャナによって取り込まれたデータは１文字ごとに切り出され、特徴量が抽出された少ない量のデータ（取得文字パターン）に加工される。そして、この取得文字パターンに対する文字認識の結果が誤読の場合、キーボードから入力された文字コードに変更する事ができる。そして変更対象の取得文字パターンと変更後の文字コードとを互いに対応づけて認識辞書に記憶させる。
【００１１】
この方法においてオペレータによる修正は、認識辞書とそれを用いた文字認識手段を介して反映される。しかし、通常文字認識手段では汎化能力が要求されるため、辞書の学習では、各学習パターン（文字の特徴量を表す取得文字パターン）がその学習パターンと酷似したパターンのみならず、場合によっては学習パターンとあまり似ていないパターンの認識結果に対しても影響を及ぼすように行われる。従って、場合によっては既に正読していたパターンが誤読に転じる修正がされる場合もある。
【特許文献１】特開平２００２−３３４３０２号公報
【特許文献２】特開平９−２３７３２２号公報
【特許文献３】特開平０６−７８５６１号公報
【特許文献４】特開平１１−１４３９９３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
このように従来の文字認識装置では、過去に修正されたパターンと画像的に酷似したパターンが入力されても修正が行われない場合や、逆に修正されたパターンとあまり似ていないパターンにも悪影響を及ぼす場合があった。
【００１３】
本発明は前記のような事情を考慮してなされたもので、画像的に酷似したパターンにおいては、オペレータによる修正を確実に反映し、逆に酷似していないパターンには影響を与えないようにすることで、オペレータによる認識結果の修正を修正以降の認識処理に的確に反映させて、オペレータに対する負担を増大させることなく正しい認識結果を得ることが可能な文字認識装置、文字認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明は、第１の文字画像を認識して認識結果とする文字を出力する文字認識手段と、第２の文字画像と文字を特定するデータの対からなるエントリが記録される修正辞書と、前記第１の文字画像と前記第２の文字画像とが酷似しているか否かを判別する判別手段と、前記判別手段によって前記第１の文字画像と前記第２の文字画像とが酷似していると判別された場合に、前記文字認識手段により出力された認識結果とする第１の文字を、前記第２の文字画像と対となる前記文字を特定するデータが示す第２の文字に修正する第１の文字修正手段と、前記第１の文字修正手段により修正された第２の文字を外部から指示された第３の文字によって修正する第２の修正手段と、前記第２の文字修正手段による第３の文字への修正に基づいて、前記修正辞書のエントリの内容を管理する修正辞書管理手段とを具備したことを特徴とする。
【発明の効果】
【００１５】
本発明によれば、認識対象とする文字の画像し修正辞書に記録された文字の画像が酷似しているか判別され、酷似していると判別された場合に文字認識の結果に対して、修正辞書に記録されたデータが示す文字により修正がされるので、画像的に酷似したパターンにおいては、オペレータによる修正を確実に反映し、逆に酷似していないパターンには影響を与えないようにすることができ、オペレータによる認識結果の修正を修正以降の認識処理に的確に反映させて、オペレータに対する負担を増大させることなく正しい認識結果を得ることが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して本発明の実施の形態について説明する。図１は、本実施形態における文字認識装置を実現するシステムの構成を示すブロック図である。
【００１７】
本実施形態における文字認識装置は、コンピュータに本実施形態を実現するプログラムを組み込むことによって構成でき、以下ではそのような構成を仮定して説明する。ただし、本実施形態は各手段を専用ハードウェアや、その集合体、または分散処理用のコンピュータネットワークとしても構成することもでき、いかに説明する手段を具備する構成ならば、ここで挙げた構成に関わらずどのようなもので実装しても良い。
【００１８】
図１に示すように、本実施形態における文字認識装置は、ＣＰＵ１０、メモリ１２、ディスプレイ１４、キーボード１５、ポインティングデバイス１６、スキャナ１７、記憶装置１８、及びプリンタ１９を備えている。
【００１９】
ＣＰＵ１０は、文字認識装置全体の制御を司るもので、メモリ１２に記録される各種プログラムに従い、データの入出力制御、スキャナ１７から入力された帳票等に記録された文字に対する文字認識処理の制御などの各種の処理を制御する。
【００２０】
メモリ１２は、プログラムやデータなどを記録するもので、各種プログラムに従って処理が実行される場合に、このプログラムの実行に伴って処理対象とするデータが一時的に記憶される。メモリ１２に記憶されるプログラムとしては、例えば帳票等に記入された文字を認識するための文字認識プログラム１２ａが記憶される。また、文字認識プログラム１２ａの実行に伴って記憶されるデータとしては、スキャナ１７によって入力された帳票等の画像のデータ（原画像データ１２ｂ）、原画像データ１２ｂに対する文字認識処理によって得られた認識結果について、認識対象となった文字画像をもとにして修正を行うための修正辞書データ１２ｃ、文字認識処理の結果（文字コード）である文字認識結果データ１２ｄなどが記憶される。
【００２１】
ディスプレイ１４は、ＬＣＤ（Liquid Crystal Display）などにより構成され、文字認識結果や装置の状態を示す情報を表示する。
【００２２】
キーボード１５は、装置に対して各種の指示を入力するために用いられる。
【００２３】
ポインティングデバイス１６は、マウスやタブレットなどにより構成され、装置に対して各種の指示を入力するために用いられる。
【００２４】
スキャナ１７は、文字認識処理の対象とする帳票等の画像を読み取り、原画像データを生成する。
【００２５】
記憶装置１８は、各種の記録媒体に対してプログラムやデータなどの読み書きを実行する。記憶装置１８は、記録媒体として、ハードディスク等の磁気ディスクや、光ディスク、半導体メモリなどを用いることができる。記録媒体は、固定型、可搬型の何れであっても良い。
【００２６】
プリンタ１９は、帳票等の画像に対する文字認識結果を紙媒体に印刷するもので、例えば帳票に設けられた記入枠内に記入されていた文字に対する文字認識処理の結果（文字コード）を画像（文字）として印刷する。
【００２７】
（第１実施形態）
以下、図面を参照して本発明の第１実施形態について説明する。  
図２は、図１に示すシステムによって実現される第１実施形態における文字認識装置の機能構成を示すブロック図である。
【００２８】
第１実施形態における文字認識装置は、入力画像（原画像データ１２ｂ）に対してノイズ除去、二値化、フォームやプレプリント文字の除去、認識対象領域の切り出し等の前処理を行う前処理手段２１と、前処理結果により得られた画像から文字群を抽出する文字抽出手段２２と、抽出された文字群中の文字を認識し文字コードに変換する文字認識手段２３、文字認識手段２３による認識結果を修正辞書２５に基づいて自動的に修正する自動修正手段２４、自動修正手段２４による修正結果のオペレータによる再修正を可能とするための手動修正手段２６と、手動修正手段２６における修正に基づいて修正辞書２５の登録情報（エントリ）を管理、すなわちエントリの追加、削除、変更をする修正辞書管理手段２７とから構成されている。
【００２９】
次に、第１実施形態における文字認識装置の動作について、図４及び図５に示すフローチャートを参照しながら説明する。
【００３０】
まず、スキャナ１７により文字が記入された処理対象とする帳票等について読み取りが実行され、原画像データ１２ｂ（原画像２０）がメモリ１２に記憶される（ステップＡ１）。
【００３１】
前処理手段２１は、入力された原画像２０に対して処理対象となっている欄の周辺からの画像の切り出しや、二値化、ノイズ除去等の画像処理（前処理）を行う（ステップＡ２）。また、認識対象が帳票上の文字である場合、罫線やプレプリント文字等のフォーム除去等や、認識対象とする領域の画像切り出し等の画像処理も行う。
【００３２】
文字抽出手段２２は、前処理手段２１の処理結果として得られた画像から、認識対象となる文字群群を抽出し、この文字群から文字ごとの画像と位置情報の抽出を行う（ステップＡ３）。
【００３３】
文字の抽出は、例えば以下の方法で行う。先ず、処理対象とする画像に対して横方向への射影を計算し、その値と最大値の比があらかじめ定めた閾値以下になる場所を行の区切りとする。そして、区切られた行内で縦方向への射影を求め、その値と最大値の比があらかじめ定めた閾値以下になる場所を文字の区切りとし、こうして求めた文字矩形の内部の画像を１文字分の文字画像（第１の文字画像）とする。
【００３４】
また、文字抽出はラベリングによる連結領域抽出として行うこともでき、ここで挙げた方法に限らず、文字の画像と位置が取得できる方法ならどのような方法を用いても良い。
【００３５】
文字認識手段２３は、文字抽出手段２２で抽出された文字画像を複合類似度法や部分空間法などの手法により、予め定められたクラスの何れかに分類し、そのクラスに対応する文字コード（第１の文字）を出力することにより文字認識を行う（ステップＡ４）。文字認識手段２３は、基本的には入力された文字画像に対応する文字コードを出力するが、文字画像からでは判別が困難な文字についてはリジェクトコードを出力することもできる。また、複合類似度法や部分空間法などの方法では、分類尺度となる類似度値をクラスの分類に用いているが、この類似度値を併せて出力しても良い。
【００３６】
修正辞書２５（修正辞書２５ａ）は、図３に示すように、修正すべきパターンの代表的な画像（文字画像）と、この文字画像と処理対象とする文字画像とが酷似していると判別された場合に修正結果として使用する文字を特定するデータ（例えば文字コード）の組からなるエントリが登録されている。修正辞書２５には、少なくとも一つのエントリが登録される。以下では、修正辞書２５中のエントリの画像を参照画像（第２の文字画像）と呼ぶ。
【００３７】
自動修正手段２４では、文字認識手段２３での入力となった画像と、修正辞書２５エントリ中の参照画像とが酷似しているか否かを判別し（ステップＡ５）、酷似していると判別された場合に（ステップＡ６、Ｙｅｓ）、当該エントリの修正結果（文字コード（第２の文字））で文字認識手段２３からの出力を置き換えることにより、文字認識手段２３からの出力を自動的に修正する（ステップＡ７）。
【００３８】
自動修正は、参照画像と入力された文字画像が酷似している場合に必ず行うようにしても良いし、文字認識手段２３が文字認識の際に算出した類似度を出力している場合には、その値が予め定めた閾値より低い場合にのみ行うようにしても良い。また、予め類似文字が存在する文字のリストを作っておき、そのリスト中に文字が含まれる場合のみに修正を行うようにしても良い。
【００３９】
文字画像が酷似しているか否かの判定は、入力された文字画像と参照画像の不一致を表す値を求め、その値が予め定めた閾値を超えている場合には「酷似していない」と判定し、超えていない場合には「酷似している」と判定することによって行う。文字画像の不一致の程度を表す値は、図６に示すように、入力された文字画像と参照画像の外接矩形の中心が一致するように、参照画像を平行移動して重ね合わせた後に、両者の外接矩形を含む最小の矩形を求め、その矩形の面積Ａと、参照画像の画素値Ｒ、文字画像の画素値Ｉから求めた自乗誤差ｅを以下の式（１）によって算出し、不一致を表す値として用いる。ただし、式（１）での和の計算は矩形内の全画素について行う。
【数１】
2005078287.tif 000003
【００４０】
ここでは、入力された文字画像と参照画像の位置合せの法方法として、外接矩形の中心点を用いる方法を示したが、他にも、文字画像と参照画像の黒画素の重心を合わせる方法、図７に示すように外接矩形の下辺の中心を合わせる方法、図８に示すように外接矩形の上辺の中心を合わせる方法、図９に示すように外接矩形の角の１つ（図９では左上）を合わせる方法、外接矩形が共有部分を持つ範囲内で自乗誤差ｅが最小になる位置に参照画像を合わせる方法等も考えられる。なお、自乗誤差ｅの値が小さくなると期待できる方法ならばいかなる方法で位置合せを行っても良い。
【００４１】
また、ここでは、位置合せした文字画像と参照画像の不一致の度合いを表す値として、自乗誤差ｅを用いたが、ガウシアン等によるぼかし処理を行った後に、上述の方法で自乗誤差ｅを求める方法等も考えられる。すなわち、入力された画像と参照画像の不一致の度合いを表す画像（画素値）をもとに算出される値ならばいかなるものを用いても良い。
【００４２】
手動修正手段２６は、自動修正手段２４で修正された認識結果と、対応する文字画像をオペレータに提示する（ステップＡ８）。オペレータは、提示された文字認識結果を見て、キーボード１５などから文字（第３の文字）を入力して認識結果を修正することができる。
【００４３】
図１０は、認識結果と文字画像の提示方法（表示画面）の一例を示す図である。図１０に示す提示方法では、文字抽出手段２２で抽出した文字画像と、自動修正手段２４によって修正された認識結果を並べて表示している。また、この例では、オペレータが修正する文字を選択するための矢印型のカーソルが表示されており、このカーソルの先端が、特定の文字画像またはそれに対する認識結果の領域上に位置している場合に、その文字が選択されるようになっている。
【００４４】
図１０の例では、文字画像の１文字目「〒」の領域内にカーソルの先端が位置しており、この文字が選択されている。
【００４５】
認識結果の特定の文字が選択されている状態でオペレータによりキーボード１５からキー入力されると（ステップＡ９、Ｙｅｓ）、キーで入力された文字が認識結果の文字に対応する修正結果として入力される。手動修正手段２６は、入力された修正結果によって該当する文字を修正し（ステップＡ１０）、修正された後の文字を認識結果２８として出力する。
【００４６】
修正結果とする文字の入力は、図１１に示すように、認識結果と並べた入力フィールド内で行う。あるいは、図１２に示すように、表示された認識結果を修正中の状態にして、直接編集するようにしても良い。
【００４７】
次に、修正辞書管理手段２７は、図５に示すフローチャートに従って修正辞書管理処理を実行し、自動修正手段２４による認識結果に対する修正に基づいて、修正辞書２５のエントリの追加、変更、削除を行う（ステップＡ１１）。
【００４８】
修正辞書管理手段２７は、手動修正手段２６によって手動修正された文字が修正辞書２５の修正文字として登録されていない場合（ステップＢ１、ステップＢ２，Ｙｅｓ）、すなわち手動修正手段２６で修正された文字の画像と酷似する画像と、手動修正手段２６での修正結果の対からなるエントリが修正辞書２５中に登録されていない場合には、当該文字画像と修正結果（文字）の対からなるエントリを修正辞書２５に追加する（ステップＢ３）。
【００４９】
追加するエントリに納める参照画像は、文字抽出手段２２によって文字認識の対象として抽出した文字画像そのものであってもよいし、文字抽出手段２２で抽出した画像に対してスムージングや解像度変換等の画像処理を施した画像であっても良い。
【００５０】
一方、手動修正手段２６によって手動修正された文字が修正辞書２５の修正文字として登録されている場合（ステップＢ１、ステップＢ２，Ｎｏ）、修正辞書管理手段２７は、手動修正手段２６で修正された文字の画像と類似しているが、自動修正手段２４において酷似していると判定されるに至らなかった参照画像と手動修正手段２６での認識結果の対からなるエントリが修正辞書２５中に既に登録されている場合、または自動修正手段２４で当該エントリが用いられた場合、文字認識の対象となった文字画像をもとに修正辞書２５中のエントリ（参照画像）の変更を行う。
【００５１】
なお、手動修正手段２６で修正された文字と参照画像が類似しているか否かの判定の方法は、これらの画像が酷似しているか否かの判定の方法と基本的には同じであるが、自乗誤差ｅの閾値として酷似しているか否かの判定で用いられるものよりも大きい値が用いられる点のみが、酷似しているか否かの判定の方法とは異なる。
【００５２】
参照画像の変更は、入力された文字画像と参照画像が酷似しているか否かの判定で行われる位置合せと同じ方法で、以下の式（２）に示すように、重ね合わせた文字画像と参照画像の画素ごとに参照画像の旧画素値Ｒと文字画像の画素値Ｉの平均値Ｒ’を算出し、その平均値Ｒ’を新しい参照画像の画素値とすることによって行う。
【００５３】
Ｒ’＝（Ｒ＋Ｉ）／２      …（２）
また、図１３に示すように、修正辞書２５（修正辞書２５ｂ）に各エントリに対する参照画像変更回数のカウンタＮを備え、このカウンタＮで係数される変更回数の値を用いて、参照画像の新しい画素値Ｒ’を以下の式（３）で与えられる重み付き平均として求めるようにすることもできる。
【００５４】
Ｒ’＝（ＮＲ＋Ｉ）／（Ｎ＋１）    …（３）
なお、修正辞書２５ａの変更回数は、修正辞書管理手段２７がエントリに対して変更を施す処理を実行した場合に、カウントアップしていくものとする。
【００５５】
また、修正辞書２５のデータサイズが際限なく増大すると記憶領域の制限上好ましくない。このため、修正辞書管理手段２７は、修正辞書２５のエントリを削除し、修正辞書２５のデータサイズの際限ない増大を防止することもできる（ステップＢ６）。
【００５６】
このような目的でのエントリの削除は、修正辞書２５へのエントリの追加または修正辞書２５中のエントリ変更のたびに、追加または変更したエントリを修正辞書２５の先頭に移動することによってエントリの順序を管理し、修正辞書２５中のエントリの数が予め定めた定数を超えた場合に、最後のエントリを削除することによって行う事ができる。あるいは、修正辞書２５に登録されている複数のエントリのうち、自動修正手段２４による修正において最も長い時間参照されていないエントリから順に削除するようにしても良い。また、図１３に示すように、エントリごとに変更回数が管理されている場合には、変更回数が最も少ないエントリを削除するようにもできる。
【００５７】
また、手動修正手段２６において、図１４のように自動修正手段２４で修正された文字の認識結果の表示色や字体、文字画像の表示色や背景色等、表示形態を通常とは変えて表示し、オペレータが修正に用いられた修正辞書２５のエントリを編集するようにすることもできる。
【００５８】
オペレータによるエントリの修正または削除は、図１４に示すように、修正画面中で自動修正された文字を選択し、キーボード１５によるキー操作か、マウス等のポインティングデバイス１６による選択によって、図１５のようにメニューを開き、それに表示されたコマンドを選択することによって行う。図１５に示す修正画面において提示されるメニューには、「１．エントリ削除」「２．修正結果変更」「３．参照画像変更」の項目が設けられている。
【００５９】
ここで、オペレータにより「１．エントリ削除」が指示された場合には、修正辞書管理手段２７は、選択された文字に対応するエントリを削除する。また、修正辞書２５から実際にエントリを削除するのではなく、削除済みのマークをエントリにつけ、自動修正手段２４における修正処理でマークされた無視することによって、当該エントリを無効化することもできる。また、マークされたエントリを修正辞書管理手段２７での削除対象から除外することによって、ユーザが拒否した修正エントリを永久的に無効化することもできる。
【００６０】
また、「２．修正結果変更」が指示された場合には、修正辞書管理手段２７は、キーボード１５からキー入力される新しい修正結果を示す文字コードに応じて、修正辞書２５の該当エントリの修正結果を変更する。また、直接キー入力するだけでなく、類似文字のリストを提示して、それらの内から選択させるようにすることもできる。
【００６１】
また、「３．参照画像変更」が指示された場合には、修正辞書管理手段２７は、参照画像の編集用の画面などを提示することができる。
【００６２】
ところで、第１実施形態の文字認識装置には、図１６の機能ブロック図に示すように、認識辞書３０と認識辞書管理手段３２を追加した構成とすることもできる。
【００６３】
図１６に示す構成では、文字認識手段２３が認識辞書３０を用いて文字認識処理を実行し、自動修正手段２４及び手動修正手段２６における修正結果を基にして、認識辞書管理手段３２により認識辞書３０を修正する。
【００６４】
認識辞書管理手段３２における、認識辞書３０の修正は、初期状態での認識辞書３０の学習に用いた学習パターンと、修正が行われたパターンを全て用い再学習を定期的に行うことによってもよいし、再学習を行った場合と同様の学習結果が得られる追加学習を、認識結果の修正の度に行ってもよい。
【００６５】
認識辞書管理手段３２を追加した構成を、従来の単にオンラインで認識辞書３０を学習する図１４のような方式と比較すると、図１６の点線内の自動修正手段２４、修正辞書２５及び修正辞書管理手段２７が新設されている点が異なり、これらの手段により修正されたパターンと酷似したパターンのみの自動修正が可能となっている。
【００６６】
このようにして、第１実施形態の文字認識装置では、文字認識手段２３による認識結果に対しては、処理対象とする文字画像が修正辞書２５に登録されている参照画像と酷似している場合には、該当するエントリの修正結果の文字によって自動修正することができる。従って、画像的に酷似している文字パターン（文字画像）についての認識結果に対しては、修正辞書２５のエントリによって確実に修正を施すことができる。修正辞書２５のエントリについては、手動修正手段２６によるオペレータからの指示に応じた最終的な認識結果についての修正に基づいて、追加、変更がされるので、オペレータによる認識結果に対する修正を、修正辞書２５を通じて確実に反映させることができる。また、自動修正手段２４において、過去に修正された文字と画像的に酷似した文字を自動修正することにより、画像的に酷似した文字をオペレータが繰り返し修正しなくても済むようになり作業負担を軽減できる。
【００６７】
（第２実施形態）
以下、図面を参照して本発明の第２実施形態について説明する。  
第２実施形態の文字認識装置は、文字認識結果に対する修正を第１実施形態のような文字単体ではなく文字群（文字列）とし、修正辞書２５のエントリを文字群と対応する文字列の組として構成する。
【００６８】
第２実施形態の文字認識装置は、第１実施形態と同じく図２の機能ブロック図に示すようにして構成される。ただし、前処理手段２１、文字抽出手段２２、文字認識手段２３、手動修正手段２６は、第１実施形態と同じように機能し、自動修正手段２４、修正辞書２５、修正辞書管理手段２７が第１実施形態と異なる。
【００６９】
第２実施形態における修正辞書２５（修正辞書２５ｃ）には、図１７に示すように、修正されるべきパターンの代表的な画像（文字列画像）と、それに対応する修正結果の文字列の組からなるエントリが登録されている。修正結果として文字列を示すデータが記録されているところが、修正結果として文字単体を記憶している第１実施形態と異なっている。
【００７０】
次に、第２実施形態における文字認識装置の動作について、図１８及び図１９に示すフローチャートを参照しながら説明する。
【００７１】
なお、図１８に示す第２実施形態の処理の流れは、図４に示す第１実施形態と同じであり、ステップＡ１〜Ａ１１がそれぞれＣ１〜Ｃ１１に対応している。同じ処理をする部分については説明を省略し、第１実施形態と異なる処理について以下に説明する。
【００７２】
自動修正手段２４は、修正辞書２５のエントリ中の参照画像が、エントリ中の修正文字列長と同文字数の文字認識手段２３による文字認識処理の対象となった文字群の画像と酷似しているかを判別し（ステップＣ６）、酷似していると判別された場合に（ステップＣ６、Ｙｅｓ）、当該エントリの修正結果（文字列コード）で文字認識手段２３からの出力を置き換えることにより、文字認識手段２３からの出力を自動的に修正する（ステップＣ７）。
【００７３】
自動修正手段２４による自動修正は、参照画像と認識対象とした文字群の画像とが酷似している場合に必ず行うようにしても良いし、文字認識手段２３で類似度を出力している場合には、その値の平均値が予め定めた閾値より低い場合等、文字群中の類似度の組が予め定められた条件を満たしている場合にのみ行うようにしても良い。また、予め類似文字が存在する文字のリストを作っておき、そのリスト中に含まれている文字が文字群中に存在する場合のみに修正を行うようにしても良い。
【００７４】
なお、文字群の画像と参照画像が酷似しているか否かの判定方法としては、第１実施形態の自動修正手段２４において用いられている方法と同じ方法を用いる。
【００７５】
次に、修正辞書管理手段２７は、図１９に示すフローチャートに従って修正辞書管理処理を実行し、自動修正手段２４による認識結果に対する修正に基づいて、修正辞書２５のエントリの追加、変更、削除を行う（ステップＣ１１）。
【００７６】
まず、修正辞書管理手段２７は、手動修正手段２６で修正された文字について、当該文字と前後の文字群を併せた文字群で、その文字数が予め定められた文字数Ｍ以内であるものを列挙する（ステップＤ１）。例えば、Ｍ＝２で、図２０の文字列で文字「ｔ」（図中、白抜き文字で表す）が修正された場合は、図２１の３通りの文字群Ａ，Ｂ，Ｃが列挙される。
【００７７】
そして、修正辞書管理手段２７は、列挙された文字群の各々について、当該文字群の画像と酷似した画像と、当該修正結果の組からなるエントリがあるか否かを判定する（ステップＤ２）。
【００７８】
修正辞書２５中から上記条件を満たすエントリが見つからなかった場合は（ステップＤ３、Ｙｅｓ）、修正辞書管理手段２７は、手動修正手段２６で修正された文字を含む文字群の画像と、手動修正手段２６により修正された文字を含む文字列（修正結果）の対からなるエントリを修正辞書２５に追加する。
【００７９】
また、修正時書中のエントリの変更は、修正辞書２５中から上記条件を満たすエントリが見つかった場合、または自動修正手段２４で当該エントリが用いられた場合に行う。参照画像の変更と修正辞書２５エントリの削除は、第１実施形態における方法と同じ方法で行われる（ステップＤ３、ステップＤ５）。
【００８０】
また、文字認識手段２３において、認識辞書３０を用いている場合は、自動修正手段２４及び手動修正手段２６における修正結果を基にして認識辞書３０を修正する認識辞書管理手段３２を追加した図１６に示す構成にしてもよい点は、第１実施形態と同様である。
【００８１】
このようにして、第２実施形態では、自動修正手段２４における修正の単位を文字単体でなく文字群（文字列）とし、修正辞書２５のエントリを文字群と対応する文字列の組として管理することができる。自動修正の単位として複数文字からなる文字列を許容することによって、文字単位では画像的に酷似した文字についても、近接した文字のパターンの違いによって自動修正の結果を変えることができる。
【００８２】
（第３実施形態）
以下、図面を参照して本発明の第３実施形態を説明する。  
図２２は第３実施形態における文字認識装置の構成を表すブロック図である。  
第３実施形態の文字認識装置は、文字認識手段２３と自動修正手段２４の間に単語修正手段４０を設けている。単語修正手段４０は、単語辞書４２中の単語と類似した文字列を認識結果中から検索し、単語と類似した文字列の、単語との不一致部分を単語の当該部分で置き換えることによって認識結果を修正する。単語修正手段４０を設けることで、修正辞書管理手段２７は、修正辞書２５に対するエントリの追加及び変更を、手動修正手段２６において修正された文字についてのみではなく、単語修正手段４０で修正された文字についても行う。
【００８３】
なお、図２２において、前処理手段２１、文字抽出手段２２、文字認識手段２３、手動修正手段２６は第２実施形態と同じように機能し、認識対象の文書に含まれると期待される単語が登録された単語辞書４２と、単語辞書４２を用いて文字認識手段２３の認識結果を修正する単語修正手段４０が追加されている点で第２実施形態と異なっている。第３実施形態では、自動修正手段２４における修正が文字認識手段２３の処理結果ではなく単語修正手段４０の処理結果に対して行い、また修正辞書管理手段２７において単語修正手段４０における修正の情報も用いる。
【００８４】
単語辞書４２には認識対象の文書に含まれると期待される単語が格納されており、例えば、日本語の文章が認識対象である場合は国語辞書が、英語の文章が認識対象である場合は英語の単語辞書４２が格納される。
【００８５】
次に、第３実施形態における文字認識装置の動作について、図２３に示すフローチャートを参照しながら説明する。
【００８６】
なお、図２３８に示す第３実施形態の処理の流れは、図１８に示す第２実施形態とほぼ同じであり、ステップＣ１〜Ｃ４，Ｃ５〜Ｃ１１がそれぞれＥ１〜Ｅ４，Ｅ６〜Ｅ１２に対応している。同じ処理をする部分については説明を省略し、第２実施形態と異なる処理について以下に説明する。
【００８７】
単語修正手段４０は、動的計画法等により文字認識手段２３の処理結果の文字列中から、単誤字書中の単語文字列と類似した文字列が、単語文字列と文字数が等しく、不一致文字数が単語長毎に予め定められた定数以下である文字列として検索し、当該文字列とそれに対応する単語及びその位置を特定る。上記条件を満たす文字列が見つかり、当該文字列と単語に不一致文字がある場合は、不一致部分の文字を単語の当該部分の文字で置き換えることにより、認識結果の修正を行う（ステップＥ５）。
【００８８】
修正辞書管理手段２７による修正辞書２５に対するエントリの追加及び変更の方法は、基本的には第２実施形態と同じようにして実行される（図１９）。
【００８９】
ただし、第３実施形態の修正辞書管理手段２７は、エントリの追加及び変更を、手動修正手段２６で修正された文字についてのみではなく、単語修正手段４０において修正された文字についても行う。
【００９０】
すなわち、図１９に示すフローチャートのステップＤ１，Ｄ４において、手動修正された文字だけでなく、単語修正された文字列（文字群）を対象として、同様に処理を実行する。
【００９１】
また、文字認識手段２３において、認識辞書３０を用いている場合は、自動修正手段２４及び手動修正手段２６における修正結果を基にして認識辞書３０を修正する認識辞書管理手段３２を追加してもよい点は、第１実施形態と同じである。
【００９２】
このようにして、第３実施形態では、単語修正手段４０による修正で追加されたエントリにより、単語辞書４２中の単語のみならず、単語字書中の単語の部分文字列についても修正が行われるため、ただ単に単語修正手段４０で修正を行った場合よりもオペレータによる修正回数を減らして作業負担を軽減することができる。
【００９３】
なお、本発明は、前述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、前述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られるので有れば、この構成要件が削除された構成が発明として抽出され得る。
【００９４】
また、前述した各実施形態において記載した処理は、コンピュータに実行させることのできる文字認識プログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。文字認識装置を実現するコンピュータは、記録媒体に記録された文字認識プログラムを読み込み、または通信媒体を介して文字認識プログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【図面の簡単な説明】
【００９５】
【図１】本発明の実施の形態における文字認識装置を実現するシステムの構成を示すブロック図。
【図２】図１に示すシステムによって実現される第１実施形態における文字認識装置の機能構成を示すブロック図。
【図３】第１実施形態における修正辞書２５に登録されるエントリの一例を示す図。
【図４】第１実施形態における文字認識装置の動作（文字認識処理）について説明するためのフローチャート。
【図５】第１実施形態における文字認識装置の動作（修正辞書管理処理）について説明するためのフローチャート。
【図６】第１実施形態における文字画像と参照画像の不一致を表す値を求めるための画像の重ね合わせを説明するための図。
【図７】第１実施形態における文字画像と参照画像の不一致を表す値を求めるための画像の重ね合わせを説明するための図。
【図８】第１実施形態における文字画像と参照画像の不一致を表す値を求めるための画像の重ね合わせを説明するための図。
【図９】第１実施形態における文字画像と参照画像の不一致を表す値を求めるための画像の重ね合わせを説明するための図。
【図１０】第１実施形態における認識結果と文字画像の提示方法（表示画面）の一例を示す図。
【図１１】第１実施形態における認識結果と文字画像の提示方法（表示画面）の一例を示す図。
【図１２】第１実施形態における認識結果と文字画像の提示方法（表示画面）の一例を示す図。
【図１３】第１実施形態における参照画像変更回数のカウンタを備えた修正辞書２５のエントリの一例を示す図。
【図１４】第１実施形態における修正辞書２５のエントリを編集するための修正画面の一例を示す図。
【図１５】第１実施形態における修正辞書２５のエントリを編集するための修正画面の一例を示す図。
【図１６】第１実施形態における認識辞書３０と認識辞書管理手段３２を追加した機能構成を示すブロック図。
【図１７】第２実施形態における修正辞書２５のエントリの一例を示す図。
【図１８】第２実施形態における文字認識装置の動作（文字認識処理）について説明するためのフローチャート。
【図１９】第２実施形態における文字認識装置の動作（修正辞書管理処理）について説明するためのフローチャート。
【図２０】第２実施形態における修正された文字列の一例を示す図。
【図２１】図２０に示す修正文字に対して列挙される文字群の一例を示す図。
【図２２】第３実施形態における文字認識装置の機能構成を示すブロック図。
【図２３】第３実施形態における文字認識装置の動作（文字認識処理）について説明するためのフローチャート。
【符号の説明】
【００９６】
１０…ＣＰＵ、１２…メモリ、１２ａ…文字認識プログラム、１２ｂ…原画像データ、１２ｃ…修正辞書データ、１２ｄ…文字認識結果データ、１４…ディスプレイ、１５…キーボード、１６…ポインティングデバイス、１７…スキャナ、１８…記憶装置、１９…プリンタ、２０…原画像、２１…前処理手段、２２…文字抽出手段、２３…文字認識手段、２４…自動修正手段、２５…修正辞書、２６…手動修正手段、２７…修正辞書管理手段、２８…認識結果、３０…認識辞書、３２…認識辞書管理手段、４０…単語修正手段、４２…単語辞書。
【図１】
2005078287.tif 000004
【図２】
2005078287.tif 000005
【図３】
2005078287.tif 000006
【図４】
2005078287.tif 000007
【図５】
2005078287.tif 000008
【図６】
2005078287.tif 000009
【図７】
2005078287.tif 000010
【図８】
2005078287.tif 000011
【図９】
2005078287.tif 000012
【図１０】
2005078287.tif 000013
【図１１】
2005078287.tif 000014
【図１２】
2005078287.tif 000015
【図１３】
2005078287.tif 000016
【図１４】
2005078287.tif 000017
【図１５】
2005078287.tif 000018
【図１６】
2005078287.tif 000019
【図１７】
2005078287.tif 000020
【図１８】
2005078287.tif 000021
【図１９】
2005078287.tif 000022
【図２０】
2005078287.tif 000023
【図２１】
2005078287.tif 000024
【図２２】
2005078287.tif 000025
【図２３】
2005078287.tif 000026