(57)【要約】【課題】  文字校正の効率を向上した文字認識システム及び文字認識方法の提供。【解決手段】    手書き文字をスキャナで画像情報として読み込み、該画像情報から文字を認識してテキスト情報に変換し、前記画像情報に含まれる認識対象文字と該認識対象文字を基に認識したテキスト情報とを並列表示して校正する文字認識システムにおいて、手書き文字が記載された原稿の全体の画像情報を記憶する記録媒体５と、該記録媒体５に記憶した画像情報から切り出した複数の矩形文字画像の座標を格納する文字矩形領域テーブル４ｂと、指定された矩形文字画像と指定されていない矩形文字画像領とを比較して類似度を格納する類似度一覧テーブル４ｄと、前記指定された矩形文字画像と前記類似度一覧テーブル４ｄに格納した類似度の高い比較対照の文字画像とを近傍の文字画像と共に並べて表示する制御部７とを備えるもの。【選択図】  図１
2005050134.tif 000002
【特許請求の範囲】
【請求項１】
原稿に記載された手書き文字をスキャナで画像情報として読み込み、該画像情報から文字を認識してテキスト情報に変換し、前記画像情報に含まれる認識対象の文字画像と前記テキスト情報とを並列表示する文字認識システムにおいて、前記原稿から読み込んだ画像情報を記憶する記憶手段と、該記憶手段に記憶した画像情報から文字単位に切り出した複数の矩形文字画像の座標を格納する文字矩形領域テーブルと、指定された矩形文字画像と指定されていない矩形文字画像とを比較して算出した類似度を格納する類似度一覧テーブルとを備え、前記指定された矩形文字画像を含む近傍の複数の矩形文字画像と、前記類似度一覧テーブルに格納した類似度の高い矩形文字画像を含む近傍の複数の矩形文字画像とを並べて表示することを特徴とする文字認識システム。
【請求項２】
原稿に記載された手書き文字をスキャナで画像情報として読み込み、該画像情報から文字を認識してテキスト情報に変換し、前記画像情報に含まれる認識対象の文字画像と前記テキスト情報とを並列表示する文字認識方法であって、前記原稿から読み込んだ画像情報を記憶手段に記憶する第１ステップと、該第１ステップにより記憶した画像情報から文字単位に矩形文字画像を切り出し、複数の矩形文字画像の座標を文字矩形領域テーブルに格納する第２ステップと、指定された矩形文字画像と指定されていない矩形文字画像とを比較して類似度を算出し、該類似度を類似度一覧テーブルに格納する第３ステップと、前記指定された矩形文字画像を含む近傍の複数の矩形文字画像と、前記類似度一覧テーブルに格納した類似度の高い矩形文字画像を含む近傍の複数の矩形文字画像とを並べて表示する第４ステップとを含むことを特徴とする文字認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手書き文字の認識を行う文字認識システム及び文字認識方法に係り、特に認識前の手書き文字の画像情報と認識後の文字テキスト情報とを並列表示しながら文字認識結果の確認を行う文字認識システム及び文字認識方法に関する。
【背景技術】
【０００２】
一般に文字認識システムとは、紙に印刷又は手書きされた文字記号等をスキャナで画像として読み込み、該画像から文字領域を切り出し、該文字領域中の画像から文字を認識するものである。この文字認識システムは、一般のパーソナルコンピュータにスキャナを接続すると共に文字認識ソフトをインストールすることによっても構築することができるが、印刷文字に対しての文字認識率は比較的高いものの、手書き文字に対しては書き手の癖があり、認識率が低いことが知られている。
【０００３】
特に役所等で使用される公文書の文字認識を行う文字認識システムにおいては、誤認識が許されないために、認識前の手書き文字の画像情報と認識後の文字テキスト情報とを並列表示しながら文字認識結果の校正／確認を行う事が不可欠である。
【０００４】
この文字認識率を向上するための従来技術としては、下記特許文献に記載された技術が挙げられる。これら技術は、例えば表示された手書き文字を操作者が指定することにより、該手書き文字と予め登録したシステムフォントとを比較し、類似度が高い複数の候補文字を表示して選択するものや、候補文字に類似度が高い文字が含まれていたら、認識確度を補正してより正確な文字を選択するものが知られている。
【特許文献１】特開平５−４０８４５号公報
【特許文献２】特開２０００−７５９７５号公報
【特許文献３】特開平６−１８７５０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来技術による文字認識システム及び方法は、手書き文字が書いている文字が個人によって異なり、予め登録したシステムフォントと比較しても同じ文字候補が得られる可能性が低く、文字認識及び校正が困難であると言う不具合があった。換言すれば、手書き文字は個人の書き癖が大きい場合、システムフォンと比較した候補文字の表示では誤認識された候補文字が表示される可能性が大きく、候補文字からの選択効率が悪いと言う不具合があった。
【０００６】
本発明の目的は、前述の従来技術による不具合を除去することであり、文字校正の効率を向上した文字認識システム及び文字認識方法を提供することである。
【課題を解決するための手段】
【０００７】
前記目的を達成するために本発明は、原稿に記載された手書き文字をスキャナで画像情報として読み込み、該画像情報から文字を認識してテキスト情報に変換し、前記画像情報に含まれる認識対象の文字画像と前記テキスト情報とを並列表示する文字認識システムにおいて、前記原稿から読み込んだ画像情報を記憶する記憶手段と、該記憶手段に記憶した画像情報から文字単位に切り出した複数の矩形文字画像の座標を格納する文字矩形領域テーブルと、指定された矩形文字画像と指定されていない矩形文字画像とを比較して算出した類似度を格納する類似度一覧テーブルとを備え、前記指定された矩形文字画像を含む近傍の複数の矩形文字画像と、前記類似度一覧テーブルに格納した類似度の高い矩形文字画像を含む近傍の複数の矩形文字画像とを並べて表示することを第１の特徴とする。
【０００８】
更に本発明は、原稿に記載された手書き文字をスキャナで画像情報として読み込み、該画像情報から文字を認識してテキスト情報に変換し、前記画像情報に含まれる認識対象の文字画像と前記テキスト情報とを並列表示する文字認識方法において、前記原稿から読み込んだ画像情報を記憶手段に記憶する第１ステップと、該第１ステップにより記憶した画像情報から文字単位に矩形文字画像を切り出し、複数の矩形文字画像の座標を文字矩形領域テーブルに格納する第２ステップと、指定された矩形文字画像と指定されていない矩形文字画像とを比較して類似度を算出し、該類似度を類似度一覧テーブルに格納する第３ステップと、前記指定された矩形文字画像を含む近傍の複数の矩形文字画像と、前記類似度一覧テーブルに格納した類似度の高い矩形文字画像を含む近傍の複数の矩形文字画像とを並べて表示する第４ステップとを含むことを第２の特徴とする。
【発明の効果】
【０００９】
本発明による文字認識システム及び文字認識方法は、手書き文字が記載された原稿の画像情報を記憶する記憶手段と、該記憶手段に記憶した画像情報から切り出した複数の矩形文字画像の座標を格納する文字矩形領域テーブルと、操作者により指定された矩形文字画像と指定されていない矩形文字画像とを比較して類似度を格納する類似度一覧テーブルとを用意し、前記指定された矩形文字画像と前記類似度一覧テーブルに格納した類似度の高い矩形文字画像とを各々近傍の文字画像と共に並べて表示することによって、操作者に対して指定された文字に類似する他の文字画像とを近傍の文字画像と共に並列表示し、操作者の文字校正の効率を向上することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の一実施形態による文字認識システム及び文字認識方法を図面を参照して詳細に説明する。図１は本実施形態による文字認識システムの全体構成を示す図、図２は本実施形態による誤認識元画像テーブルのデータ構成図、図３は本実施形態における文字矩形領域テーブのデータ構成図、図４は本実施形態におけるユーザ操作テーブルのデータ構成図、図５は本実施形態における類似度一覧テーブルのデータ構成図、図６は本実施形態における検索処理部の動作フローチャート図、図７は本実施形態における表示制御部の動作フローチャート図、図８は本実施形態による検索前の校正画面の表示例を示す図、図９は、検索後の校正画面の表示例を示す図、図１０は、本発明の原理を説明するための図である。
【００１１】
<本発明の原理説明>
【００１２】
まず、本実施形態による文字認識システム及び文字認識方法の原理を説明する。従来技術における文字認識率の向上を行うための技術思想は、例えば予め用意したシステムフォント等をシステム側で工夫することにより認識率を向上せしめるものであった。
【００１３】
これに対して本願発明は、ある文章内においてシステムが認識不能又は正しく認識していない可能性がある手書き文字があった場合、その認識不能文字を含む文字画像列と、前記認識不能文字と類似する文字を含む文字画像列とを並列的に表示し、操作者に対して文章内における類似文字の異なる使われ方を表示することにより、操作者の文字認識を容易にするものである。
【００１４】
例えば本願発明は、図１０に示す如く、縦書きの文字が複数行にわたって手書きされた原稿１０から文字認識を行う際、矩形で囲まれた文字画像８２ｚが操作者にとっても認識不能であり、この文字画像８２ｚを操作者が指定した場合、この文字画像８２ｚと類似する文字画像８２ｎを検索し、例えば類似した文字画像８２ｎ並び文字画像８２ｎと近傍の文字画像８２ｍも併せて表示し、例え文字画像８２ｚ及び近傍を参照しても画像８２ｚが判別困難な場合であっても、他の箇所の画像８２ｎ及び近傍文字画像も併せて表示することにより、操作者に対して２箇所の文字列の表示に基づいて不明文字が「同」であるとの認識を容易にするものである。
【００１５】
具体的には、文字列「同月弐拾四」の文字画像８２ｚ（「同」）が認識不能／困難な場合、併せて文字画像８２ｚを含む文字列「同時に私は」を表示することにより、操作者が両文字列の熟語／意味／使用法／慣用句等を考慮し、文字画像８２ｚが「同」であると認識することを容易にするものである。
<システム構成の説明>
【００１６】
次に前記本発明の原理に基づいた文字認識方法を適用した文字認識システムを説明する。本実施形態による文字認識システムは、図１に示す如く、手書き文字が書かれた原稿を画像として読み取るイメージスキャナ８と、該イメージスキャナ８で読み込んだ画像情報から個々の文字領域である矩形文字画像を切り出し、該矩形文字画像に含まれる文字を認識し、操作者に前記文字画像と認識後の文字候補（テキスト情報）を表示する等の機能を持つ光学的文字認識アプリケーションを含む情報処理装置３と、後述するスキャナ８から読み込んだ画像情報のファイル名その他データを記憶するための外部記憶装置４と、前記スキャナ８から読み込んだ画像情報や情報処理装置３を用いて認識したテキスト情報他をＣＤ−ＲＯＭ等の記録媒体５に記憶するための駆動装置６と、前記読み込んだ文字情報やテキスト情報その他を表示する表示部１と、操作者の指示を情報処理装置３に入力するためのポインティングデバイスであるマウス２とを備える。
【００１７】
前記外部記憶装置４は、スキャナ８を用いて読み込んだ原稿の全体イメージである原稿全体の画像情報と、該画像情報の画像名（原稿名他）を格納する認識元画像名テーブル４ａと、前記画像情報から１文字毎に文字記載領域を切り出した複数の矩形領域のアドレスを格納する文字矩形領域テーブル４ｂと、ユーザが画面校正で操作した情報を格納するユーザ操作テーブル４ｃと、後述する操作者により指定された文字画像と他の文字画像との類似度を格納する類似度一覧テーブル４ｄとを備える。
【００１８】
また情報処理装置３は、前記アプリケーションに加え、表示部１に対する文字列及び画像の表示制御を行う表示制御部７ａ及び指定された文字画像と類似する他の文字画像を検索するための検索処理部７ｂを含む制御部７を備える。この制御部７は、アプリケーションソフトによって校正しても良い。
【００１９】
前記外部記憶装置４の認識元画像名テーブル４ａは、図２に示す読取原稿単位のファイル名、例えば「page0000.tif」を複数格納するものであり、文字矩形領域テーブル４ｂは、元となる原稿の全体画像情報から１文字毎の文字領域を矩形形状に切り出した矩形番号３１、該矩形番号３１に対応したｘ座標／ｙ座標／幅（寸法）／高さ（寸法）を複数格納するものである。
【００２０】
更に前記ユーザ操作テーブル４ｃは、例えば操作者が判読不明な文字画像（領域）をマウスで矩形指定したときのｘ座標４１／ｙ座標４２／幅４３／高さ４４と、この元となる文字画像と他の文字画像との類似度を算出した後、類似度の低い文字画像を切り捨てる為の閾値を格納する類似度閾値４５と、元となる文字画像の検索元矩形番号４６とを格納する。
【００２１】
前記類似度一覧テーブル４ｄは、操作者により特定の文字領域画像が指定されたとき、予め切り出した文字画像（領域）、具体的には図３で説明した矩形番号毎に画像単位での比較を行い、個々の文字画像に対応した類似度を算出し、当該類似度５２並びに矩形番号５３とを順位５１によってソートして格納する。
<動作説明>
【００２２】
次に前述の様に構成された文字認識システムの動作を、図６〜図７他を参照して説明する。
【００２３】
まず、本実施形態による文字認識システムは、前述した様に公文書の手書き文字の認識を行うため、原稿に記載された文字画像と、該文字画像を基に認識した認識結果（テキスト情報）とを操作者が目視で一文字づつ比較確認し、構成を行うものである。
【００２４】
この文字認識システムは、例えば図８に示す如く、表示部１の画面上に認識元画像欄８２と認識結果欄８１とを表示し、認識結果欄８１には不明な文字画像８１ｚ（「？」と表示）があり、操作者が認識元画像欄８２の元文字画像８２ｚを参照しても認識ができない又は困難な場合、操作者が類似検索ボタン８２ｂを押すことによって、検索処理部７ｂが、ｘ座標３２／ｙ座標３３／幅３４／高さ３５の各情報を文字矩形領域テーブル４ｂから１レコードずつ読み出し、指定された矩形文字画像の座標等を検索し、ユーザ操作テーブル４ｃの検索元矩形番号４６に該当レコードの矩形番号３１の値を格納する（図６のステップ６０１）。
【００２５】
次いで本システムは、前記検索された矩形領域のｘ座標３２／ｙ座標３３／幅３４／高さ３５の各情報を基に、認識元画像名テーブル４ａに格納された画像名をキーとして記録媒体５から指定された認識元画像（原稿の全体画像情報）を読み出し、この認識元画像から指定された矩形画像を切り出して検索元画像として用意する（ステップ６０２）。
【００２６】
次に本システムは、文字矩形領域テーブル４ｂから複数の矩形画像に対応するｘ座標３２／ｙ座標３３／幅３４／高さ３５の各値を先頭から１レコードずつ読み出し（ステップ６０３）、当該読み出した矩形画像の座標値を基に前記認識元画像から部分矩形の画像を切り出し（ステップ６０５）、前記ステップ６０２により用意した元画像とステップ６０５で読み出した比較対照画像と全てを比較し、両者の類似度を算出する（ステップ６０６）。
【００２７】
次いで本システムは、前記ステップ６０６で算出した類似度が所定の閾値未満か否かを判定し（ステップ６０７）、類似度が閾値４５以上なら、類似度一覧テーブル４ｄに当該矩形画像のレコードの矩形番号５３及び類似度５２を追加してステップ６０３に戻り、前記類似度が閾値４５未満ならスキップしてステップ６０３（ステップ６０７）に戻る様に動作する。また本システムは、前記一連の動作をステップ６０４が最終レコードと判定するまで実行し、該ステップ６０４により最終レコードであると判定された場合、表示順位を高い順にソートし、表示制御部６０９を呼び出して処理を終了する。
【００２８】
この様に本実施形態による文字認識システム及び方法は、操作者により指定された矩形文字画像を元画像として他の全ての矩形文字画像とを比較して類似度を算出し、類似度が所定値より高い他の矩形文字画像を抽出して類似度一覧テーブル４ｄに登録する様に動作する。
【００２９】
次いで本システムは、前述した様に検索処理部７ｂが指定された元矩形文字画像と他の矩形文字画像とを比較して類似度が高い矩形画像を類似度一覧テーブル４ｄに登録した後、表示制御部７ａが起動される。この表示制御部７ａは、公文書の手書き文字の認識を行うため、原稿に記載された文字画像と、該文字画像を基に認識した認識結果（テキスト情報）とを対比して表示する。
【００３０】
即ち表示制御部７ａが、図８に示す如く、校正対象である矩形で囲まれた文字画像８２ｚ及び周辺の文字画像８２ａを含む校正対象画像を表示する認識元画像欄８２と、認識元画像欄８２に対応した文字認識結果欄８１とを併せて表示することにより、操作者が認識元画像欄８２と文字認識結果欄８１とを目視にて確認し、校正を行う
【００３１】
この校正において、例えば文字画像８２ｚが認識不能又は困難なために操作者が文字画像情報８２ｚを指定し且つ類似検索ボタン８２ｂを押した場合、表示制御部７ａが、図７に示す手順の如く、類似した候補矩形画像の表示順位を上位モジュールから取得（ステップ７０１）し、類似度一覧テーブル４ｄから順位５１の高い順に類似度５２と矩形番号５３を取り出して類似文字画像欄８３に順位及び類似度を欄８３ａとして表示すると共に、矩形番号５３に相当するｘ座標３２／ｙ座標３３／幅３４／高さ３５を取得（ステップ７０２）し、更にｘ座標３２／ｙ座標３３／幅３４／高さ３５の矩形領域の上下左右にマージンを付加した他の矩形画像の領域を求め（ステップ７０３）、図９に示す如く、前記他の矩形領域画像８３ｎ及び該画像８３ｎの近傍の領域画像８３ｍとを欄８３に表示する（ステップ７０４）と共に、当該矩形領域画像８３ｎの類似度の順位及び類似度（％）を欄８３ａに表示する。尚、この欄８３ａは「前」ボタン８３ｂ及び「後」ボタン８３ｃをクリックすることにより順位を更新し、他の領域における文字画像の使用例を参照することもできる。
【００３２】
従って本システムは、操作者が認識不能又は認識困難な文字画像８２ｚを指定することにより、その指定した画像８３ｎと類似度が比較的高い文字画像領域を検索し、その類似度の高い文字画像領域８３ｎ及び近傍の文字画像領域８３ｍと共に表示するため、操作者にとっては不明文字の他の箇所における使用例を参照することができ、これによって操作者に対して不明文字の認識を助けることができる。具体的には、文字列「同月弐拾四」の「同」が不明瞭な場合であっても、併せて他の箇所の「同時に私」も並列表示することにより、操作者が両文字列の内容（熟語／意味／使用法／慣用句等）を考慮し、不明文字が「同」であると認識することを助けて校正を容易にすることができる。
【００３３】
この様に本実施形態による文字認識システム及び文字認識方法は、同一人物が書いた同一文字の筆跡は類似性が高いことを利用し、判読困難な文字の文字画像と類似性の高い別の領域の文字画像とその近傍を表示することによって当該文字の別の用例を操作者が読み取ることができ、判読の手がかりを与え、校正を容易に行うことができる。
【産業上の利用可能性】
【００３４】
本発明は、住民登録／戸籍登録／婚姻届／離婚届等の誤認識が許されない手書きの公文書の光学的文字読取を行う文字読取システム及び方法に適用することができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の一実施形態による文字認識システムの全体構成を示す図。
【図２】本実施形態による誤認識元画像テーブルのデータ構成図。
【図３】本実施形態における文字矩形領域テーブのデータ構成図。
【図４】本実施形態におけるユーザ操作テーブルのデータ構成図。
【図５】本実施形態における類似度一覧テーブルのデータ構成図。
【図６】本実施形態における検索処理部の動作フローチャート図。
【図７】本実施形態における表示制御部の動作フローチャート図。
【図８】本実施形態による検索前の校正画面の表示例を示す図。
【図９】本実施形態による検索後の校正画面の表示例を示す図。
【図１０】本発明の原理を説明するための図。
【符号の説明】
【００３６】
表示部：１、２：マウス、３：情報処理装置、４ｃ：ユーザ操作テーブル、４：外部記憶装置、４ｂ：文字矩形領域テーブル、４ａ：認識元画像名テーブル、４ｄ：類似度一覧テーブル、５：記録媒体、６：駆動装置、７：制御部、７ｂ：検索処理部、７ａ：表示制御部、８：イメージスキャナ、１０：原稿、３１：矩形番号、８１ｚ：不明文字画像、８１：文字認識結果欄、８２：元文字画像欄。
【図１】
2005050134.tif 000003
【図２】
2005050134.tif 000004
【図３】
2005050134.tif 000005
【図４】
2005050134.tif 000006
【図５】
2005050134.tif 000007
【図６】
2005050134.tif 000008
【図７】
2005050134.tif 000009
【図８】
2005050134.tif 000010
【図９】
2005050134.tif 000011
【図１０】
2005050134.tif 000012