(57)【特許請求の範囲】
【請求項１】
対象とする文書画像が複数の記載項目に相当する文字列画像からなり、そのような文書画像の文字認識をする文字認識装置であって、
文書画像の入力を受け付けると文字列画像の高さに基づいて又は、指示を受けると指示に基づいて文字画像を切り出す文字切出手段と、
字種別に文字特徴が登録された認識辞書と、
前記文字切出手段で切り出された文字画像を前記認識辞書の全範囲又は指示された範囲で照合して複数の文字候補を選択する文字候補選択手段と、
認識対象とする文書画像の全ての記載項目に関連する単語を属性ごとに分類して登録している単語辞書と、
前記文字候補選択手段で選択された文字画像の連続した文字候補を組み合わせて及び単独で前記単語辞書の全範囲又は指示された範囲で照合し、一致する単語があれば単語候補としてその属性とともに抽出し、一致するものがなければ属性を未定義として文字候補を そのまま単語候補として抽出する単語抽出手段と、
前記単語抽出手段で抽出された単語候補をキーワードとして文字列画像単位で記載項目に分類する記載項目分類手段と、
記載項目ごとに記載内容である単語の関連する属性、記載条件の一覧を記録した関連ルールテーブルと、
前記単語抽出手段で単語辞書の全範囲で照合して得られた単語候補が前記関連ルールテーブルの当該記載項目の内容を満たすか否かを判定する関連判定手段と、
前記関連判定手段で満たさないと判定されたときに、前記文字切出手段、文字候補選択手段又は単語抽出手段に所定の指示を与える指示手段と、
前記関連判定手段で満たすと判定された単語候補と指示手段の指示に従い抽出された単語候補とを出力する出力手段とを備えることを特徴とする文字認識装置。
【請求項２】
前記指示手段は、
前記関連判定手段で満たさないと判定されたときに、該単語候補の文字画像を含む文字列画像の前記文字切出手段での文字画像の切り出し条件と、前記文字候補選択手段での文字候補の照合条件と、前記単語抽出手段での単語候補の照合条件とを所定の条件に変更する指示を与える条件変更指示部を含むことを特徴とする請求項１記載の文字認識装置。
【請求項３】
前記指示手段は、
記載項目ごとに認識対象とする処理範囲と、文字画像の切り出し条件と、文字候補の字種と、単語候補の属性との処理条件を記録した処理条件テーブルと、
前記関連判定手段で満たさないと判定されたとき、該単語候補を含む文字列画像の処理条件を前記処理条件テーブルからその記載項目ごとに読み出す読出部とを有し、
前記条件変更指示部は、
前記文字切出手段に前記読出部が読み出した処理範囲に含まれる文字画像と文字画像の切り出し条件とを指示する第１条件指示部と、
前記文字候補選択手段に前記読出部が読み出した前記認識辞書の照合範囲を限定する字種を指示する第２条件指示部と、
前記単語抽出手段に前記読出部が読み出した前記単語辞書の照合範囲を限定する属性を指示する第３条件指示部とを備えることを特徴とする請求項２記載の文字認識装置。
【請求項４】
前記単語抽出手段は、
最初に単語候補を抽出するときには、前記文字候補選択手段で選択された複数の文字候補のうち上位の文字候補の組合せを優先して単語候補を抽出し、
前記第３条件指示部からの指示を受けたときには、その照合範囲を優先して単語候補を抽出することを特徴とする請求項３記載の文字認識装置。
【請求項５】
対象とする文書画像が複数の記載項目に相当する文字列画像からなり、そのような文書画像の文字認識をする文字認識方法であって、
文書画像の入力を受け付けると文字列画像の高さに基づいて文字画像を切り出す第１文字切出ステップと、
前記第１文字切出ステップで切り出された文字画像を字種別に文字特徴が登録された認識辞書の全範囲で照合して複数の文字候補を選択する第１文字候補選択ステップと、
前記第１文字候補選択ステップで選択された連続した文字候補を組み合わせて及び単独で、認識対象とする文書画像の全ての記載項目に関連する単語を属性ごとに分類して登録している単語辞書の全範囲で照合し、一致する単語があれば単語候補としてその属性とともに抽出し、一致するものがなければ属性を未定義として文字候補をそのまま単語候補として抽出する第１単語抽出ステップと、
前記第１単語抽出ステップで抽出された単語候補をキーワードとして文字列画像単位で記載項目に分類する記載項目分類ステップと、
前記第１単語抽出ステップで抽出された単語候補が記載項目ごとに記載内容である単語の関連する属性、記載条件の一覧を記録した関連ルールテーブルの当該記載項目の内容を満たすか否かを判定する関連判定ステップと、
前記関連判定ステップで満たさないと判定されたときに、文字画像の切り出し条件を指示する第１指示ステップと、
前記第１指示ステップにおける切り出し条件に従い文字画像を切り出す第２文字切出ステップと、
第２文字切出ステップで切り出された文字画像の認識辞書の照合範囲を指示する第２指示ステップと、
前記第２指示ステップにおける指示に従い文字候補を選択する第２文字候補選択ステップと、
前記第２文字候補選択ステップで選択された文字候補の単語辞書の照合範囲を指示する第３指示ステップと、
前記第３指示ステップにおける指示に従い単語候補を抽出する第２単語候補抽出ステップと、
前記関連判定ステップで満たすと判定された単語候補と前記第２単語候補抽出ステップで抽出された単語候補とを認識結果として出力する出力ステップとを有して実行することを特徴とする文字認識方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、帳票や名刺等の予め記載項目が明らかな文書画像を認識する文字認識装置及びその方法に関する。
【０００２】
【従来の技術】
近年、文字認識装置が普及し、その文字認識の精度の向上が望まれている。
図１６は、特開昭６３ー３１１４９２号公報に記載の従来の文字認識装置の構成図である。この文字認識装置は、画像入力部１と、画像メモリ２と、サブ文字パターン切り出し部３と、文字パターン抽出部４と、認識部５と、認識辞書６と、単語処理部７と、単語辞書８と、表示部９とを備えている。
【０００３】
サブ文字パターン切り出し部３は、漢字であれば「偏」と「旁」とのように文字の構成要素であるサブ文字パターンを文書画像から切り出す。文字パターン抽出部４は切り出されたサブ文字パターンの組み合わせをし、認識部５はその文字パターンの組み合わされた文字パターンを認識して、候補文字列を複数作成する。単語処理部７は、単語辞書８を照合して作成された候補文字列から一の単語を認識結果として確定する。
【０００４】
【発明が解決しようとする課題】
ところで、従来の装置では、様々なサブ文字パターンの組み合わせの可能性を考慮して文字認識をしているので、文字を認識するまでの処理に時間を要する。更に、複数の作成された候補文字列を単語辞書と照合して一の単語を決定するけれども、単語辞書との照合ができれば、決定された単語を正しい認識結果であるとして出力していたので、その認識精度は必ずしも高くない。
【０００５】
本発明は上記課題に鑑み、複数項目が記載された文書の記載内容を短時間で精度よく文字認識する文字認識装置及びその方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するために本発明は、対象とする文書画像が複数の記載項目に相当する文字列画像からなり、そのような文書画像の文字認識をする文字認識装置であって、文書画像の入力を受け付けると文字列画像の高さに基づいて又は、指示を受けると指示に基づいて文字画像を切り出す文字切出手段と、字種別に文字特徴が登録された認識辞書と、前記文字切出手段で切り出された文字画像を前記認識辞書の全範囲又は指示された範囲で照合して複数の文字候補を選択する文字候補選択手段と、認識対象とする文書画像の全ての記載項目に関連する単語を属性ごとに分類して登録している単語辞書と、前記文字候補選択手段で選択された文字画像の連続した文字候補を組み合わせて及び単独で前記単語辞書の全範囲又は指示された範囲で照合し、一致する単語があれば単語候補としてその属性とともに抽出し、一致するものがなければ属性を未定義として文字候補をそのまま単語候補として抽出する単語抽出手段と、前記単語抽出手段で抽出された単語候補をキーワードとして文字列画像単位で記載項目に分類する記載項目分類手段と、記載項目ごとに記載内容である単語の関連する属性、記載条件の一覧を記録した関連ルールテーブルと、前記単語抽出手段で単語辞書の全範囲で照合して得られた単語候補が前記関連ルールテーブルの当該記載項目の内容を満たすか否かを判定する関連判定手段と、前記関連判定手段で満たさないと判定されたときに、前記文字切出手段、文字候補選択手段又は単語抽出手段に所定の指示を与える指示手段と、前記関連判定手段で満たすと判定された単語候補と指示手段の指示に従い抽出された単語候補とを出力する出力手段とを備えることとしているので、指示手段は、関連判定手段が記載項目ごとに記載内容の属性等を満たさないと判定した単語候補を誤認識とみなして、文字切出手段等に指示する。したがって、認識精度が向上する。
【０００８】
【発明の実施の形態】
以下、本発明に係る文字認識装置を図面を用いて説明する。
図１は、本発明に係る文字認識装置の一実施の形態の構成図である。この文字認識装置は、画像入力部１０１と、文字切り出し部１０２と、認識辞書１０３と、文字認識部１０４と、単語辞書１０５と、単語照合部１０６と、項目分類部１０７と、項目関連ルール記憶部１０８と、再処理判定部１０９と、結果出力部１１０とを備えている。
【０００９】
画像入力部１０１は、スキャナ等からなり、オペレータにより用意された記載項目が予め決められている原稿をＬ／Ｅ（Light/Electric）変換等して、２値データで構成される画素（黒画素と白画素）の集合である文書画像にして文字切り出し部１０２に通知する。図２は、文字切り出し部１０２に通知された名刺の文書画像２０１を示している。
【００１０】
文字切り出し部１０２は、画像入力部１０１から文書画像の通知を受けると、文書画像を走査して、黒画素の数を縦方向又は横方向に数え、走査線ごとの黒画素の分布から文字列画像を抽出する。この抽出した文字列画像に番号を付し、その位置例えば、文字列画像を外接する矩形の左上端点と右下端点との座標を求め、その文字列画像の高さを計算する。
【００１１】
次に、この文字列画像の存在方向と直角方向に文字列画像を走査して、その黒画素の分布からその文字列画像の高さとほぼ同一の幅をもつ文字画像を切り出す。即ち、各文字列画像から全角サイズの文字画像を切り出す。切り出した文字画像に番号を付して、その位置とともに文字認識部１０４に通知する。
図３は、図２に示した文書画像２０１から抽出された文字列画像Ｌ１〜Ｌ５と、各文字列画像ごとに切り出された文字画像Ｃ１，Ｃ２，…を示している。
【００１２】
また、文字切り出し部１０２は、再処理判定部１０９から後述する再処理条件テーブル８０１の内容に基づいて、文字画像切り出し条件とその文字画像の番号（処理範囲）との通知を受けると、その文字画像切り出し条件例えば等ピッチやプロポーショナルピッチに従い通知された番号の範囲の文字画像を処理範囲として新たな文字画像を切り出す。新たに切り出した文字画像は、上記の処理と同様であり、新たに各文字画像に番号を付し、その位置やラン情報とともに文字認識部１０４に通知される。
【００１３】
認識辞書１０３は、文字コードとその文字コードに対応する文字の標準特徴ベクトルとを登録している。ここで文字コードには、漢字、平仮名、カタカナ、数字、英字のコードの他に記号等のコードも含まれている。この認識辞書１０３は、漢字、…、記号等の字種別に文字コード等が登録されている。
文字認識部１０４は、文字切り出し部１０２から文字画像等の通知を受けると、その特徴ベクトルを抽出し、認識辞書１０３の全ての文字コードの標準特徴ベクトルと照合し、例えば、市街地距離を求めて、その値の小さい標準特徴ベクトルに対応する文字コードを上位から複数個抽出し、文字候補として記憶する。この文字画像の認識処理を全文字列画像の全ての文字画像について行うと、単語照合部１０６を起動する。
【００１４】
図４は、図３に示した文字画像を認識処理した結果を説明するための図である。各文字列画像Ｌ１〜Ｌ５の文字画像Ｃ１，Ｃ２，…を縦列に示し、各文字候補の上位、１位〜３位を横列に記載している。この文字候補は、実際は文字コードで記憶されている。
例えば、文字列画像Ｌ１の文字画像Ｃ１の１位文字候補は「認」であり、２位文字候補は「誌」であり、３位文字候補は「詰」である。
【００１５】
また、文字認識部１０４は、再処理判定部１０９から文字画像認識条件の通知を受けている場合には、認識辞書１０３のその条件例えば文字種が数字だけ、英字、数字、記号だけ等に限定した照合範囲で上記と同様、複数個の文字コードを抽出し文字候補として記憶する。再切り出し文字画像についての再認識処理が全て終了すると単語照合部１０６を起動する。
【００１６】
単語辞書１０５は、図５に示すように単語欄５０１と、単語欄５０１に登録されている単語の総括的な内容を表わす属性欄５０２とを有し、各属性に対応して複数の単語が登録されている。なお、実際には、単語は文字コードで示されている。
即ち、「株式」、「有限」、「会社」、…等の単語の総括的な内容を表わす属性は「会社」であり、属性「メイル」には、「メイル」、「ＭＡＩＬ」、「ｊｐ」、…等の単語が含まれていることを示している。なお、この単語辞書１０５の内容は、認識対象の文書画像によって変更される。
【００１７】
本実施の形態では、文書画像２０１として「名刺」が対象とされているので、このような単語辞書１０５の内容となっている。
また、この属性欄５０２の「会社」〜「メイル」迄に含まれている単語欄５０１の各単語は、後述する記載項目を分類するキーワードとして用いられる。
単語照合部１０６は、文字認識部１０４に起動されると、文字認識部１０４で抽出された各文字列画像の先頭の文字候補から連続する文字候補を単語候補として読み出し、単語辞書１０５の単語欄に登録されている単語に一致するものがあれば、それを単語候補として決定し、その単語の属性とともに記憶する。この際、単語候補の読み出しは、上位の文字候補を優先し、１位同士の文字候補に一致する単語が単語辞書１０５に登録されていないときに、１位と２位、１位と３位のように文字候補を組み合わせて単語候補を読み出すこととする。この１位、２位、３位の文字候補を次の文字候補と組み合わせても単語が見つからないときには、１位の文字候補を単語候補として決定し、属性は「未定義」として記憶する。全ての文字列画像の全ての文字候補について、単語照合処理が終了すると項目分類部１０７を起動する。
【００１８】
図６は、単語辞書１０５を照合して得られた単語候補を示している。図４に示した文字列画像Ｌ１の場合には、文字画像Ｃ１，Ｃ２の１位文字候補の組み合わせが単語辞書１０５の属性「一般」に単語「認識」として登録されているので、文字画像Ｃ１，Ｃ２を単語候補「認識」として決定する。続いて、文字候補Ｃ３，Ｃ４の１位文字候補の組み合わせが属性「氏名」に単語「珠代」として登録されているので文字画像Ｃ３，Ｃ４を単語候補「珠代」として決定する。同様に文字画像Ｃ５，Ｃ６を単語候補「会社」と決定する。
【００１９】
ここで、文字画像Ｃ３，Ｃ４の２位と３位の文字候補を組み合わせると、単語辞書１０５の属性「会社」の単語「株式」と一致するけれども、文字候補の上位のものを組み合わせた「珠代」を単語候補としている。
文字列画像Ｌ２の文字画像Ｃ３，Ｃ４の場合には、１位文字候補同士の組み合わせ「大郎」は、単語辞書１０５にはないので、文字画像Ｃ３の２位文字候補「太」と文字画像Ｃ４の１位文字候補の組み合わせた単語「太郎」が単語辞書１０５の属性「氏名」に登録されているので単語候補として決定される。
【００２０】
文字列画像Ｌ５の文字画像Ｃ６，Ｃ１１の１位から３位迄の文字候補は全て単語辞書１０５に単語登録されていないので、１位の文字候補を単語候補「旧」、「卯」として属性を未定義の「未」とそれぞれしている。
また、単語照合部１０６は、再処理判定部１０９から文字画像の番号と単語辞書照合条件との通知を受けた場合には、文字認識部１０４で認識された連続する又は単独の文字候補を組み合わせて単語候補を決定する際、単語辞書１０５の照合範囲を通知された属性に従うようにして再決定する。
【００２１】
即ち、単語辞書照合条件として属性「会社」、「一般」が通知されているときには、文字列画像Ｌ１の文字画像Ｃ３，Ｃ４のそれぞれ２位と３位の文字候補を組み合わせた「株式」（属性「会社」）を単語候補と決定する。このとき、属性「氏名」に含まれる単語辞書１０５の「珠代」は排除される。
このようにして、単語候補が再決定されると、再処理判定部１０９に決定した単語候補をその文字画像の番号とともに通知する。
【００２２】
項目分類部１０７は、単語照合部１０６から起動されると、単語照合部１０６に記憶されている文字列画像単位で単語候補をキーワードとして予定されたどの記載項目であるか分類する。文字列画像Ｌ１では、文字画像Ｃ５、Ｃ６の単語候補「会社」が単語辞書１０５の属性「会社」にあるので記載項目が「会社」と分類される。なお、この際、属性「氏名」の単語候補「珠代」によって「氏名」に分類しようとしても、残りの「認識」、「会社」が属性「氏名」にはないので分類されない。文字列画像Ｌ２では、単語候補「名刺」「太郎」の属性「氏名」より記載項目が「氏名」と分類される。文字列画像Ｌ３，Ｌ４，Ｌ５の記載項目は、それぞれ「住所」、「電話」、「メイル」に分類される。なお、この記載項目の分類には、文字列画像のレイアウト等を参照して判断されるけれども、本発明の本旨と異なるので説明を省略する。
【００２３】
全ての文字列画像について記載項目の分類が終わると再処理判定部１０９を起動する。
項目関連ルール記憶部１０８は、図７に示す関連ルールテーブル７０１と図８に示す再処理条件テーブル８０１とを記憶している。
関連ルールテーブル７０１は、記載項目７０２ごとの記載内容に関連する属性７０３と記載内容の特殊条件７０４とを含んでいる。この関連ルールテーブル７０１から記載項目「会社」の関連する属性は「会社」と「一般」とが含まれており、他の属性は含まれないことがわかる。即ち、他の属性の単語候補を含んでいれば文字画像を誤認識したことになる。
【００２４】
特殊条件７０４から記載項目「住所」において、「〒」の次に記載されている文字画像は「３又は５桁の数字」であることがわかる。また、記載項目「電話」の文字列画像の最後は「４桁の数字」であることがわかる。
再処理条件テーブル８０１は、記載項目８０２と再処理条件８０３とを含み、再処理条件８０３には、その処理範囲８０４と文字画像切り出し条件８０５と文字画像認識条件８０６と単語辞書照合条件８０７とを含んでいる。
【００２５】
例えば、文字列画像が記載項目「会社」と分類された場合には、その文字列画像の単語照合部１０６において決定された単語候補の属性が関連する属性７０３に含まれていないときには、再処理条件８０３の処理範囲８０４を「関連する属性を満たさない文字画像の単語候補」と規定し、単語辞書照合条件８０７を「属性会社又は一般と限定」するよう規定している。これによって、単語照合部１０６の単語候補決定のための単語辞書１０５の照合範囲は、属性「会社」、「一般」の単語に限定される。
【００２６】
また、文字列画像が記載項目「電話」と分類されている場合には、単語候補の属性が関連する属性７０３に含まれていないときには、再処理条件８０３の処理範囲８０４を関連する属性を満たさない単語候補及びその単語候補に連なる「メイル」以外の単語候補と規定し、文字画像切り出し条件８０５をプロポーショナルピッチと、文字認識条件８０６を文字種を「数字」、「記号」と限定するよう規定している。
【００２７】
再処理判定部１０９は、項目分類部１０７に起動されると、項目関連ルール記憶部１０８に記憶されている関連ルールテーブル７０１を読み出す。次に、項目分類部１０７で文字列画像単位ごとに分類された記載項目に含まれる単語候補に関連ルールテーブル７０１の関連する属性７０３に反する単語候補の属性があるか否か、特殊条件７０４があるときに、その条件を満たさない単語候補があるか否かを判定する。いずれの判定でも否定のときには、全文字列画像についての再処理条件の判定が終了したか否かを判定し、終了していれば結果出力部１１０を起動する。終了していなければ、次の文字列画像について、関連ルールテーブル７０１の内容に反するか否かの判定を繰り返す。
【００２８】
いずれかの判定で肯定のときには、その文字列画像の認識に誤りがあるので、項目分類部１０７で分類されたその文字列画像の記載項目が「メイル」であるか「住所」または「電話」であるか、「会社」または「氏名」であるかを判定する。記載項目の判定をすると、項目関連ルール記憶部１０８に記憶されている再処理条件テーブル８０１からその記載項目８０２の再処理条件８０３を読み出す。
【００２９】
「メイル」と判定したときには、その関連する属性を満たさない単語候補とその単語候補に連なる「メイル」以外の単語候補の文字画像の番号とプロポーショナルピッチでの文字画像切り出しをする旨とを文字切り出し部１０２に通知し、認識辞書１０３の英字、数字、記号を照合対象とする旨を文字認識部１０３に通知し、単語辞書１０６の属性がメイル、英字、数字、記号の単語を単語照合の範囲とする旨を単語照合部１０７に通知する。
【００３０】
記載項目を「住所」と判定したときには、その特殊条件を満たさない単語候補の文字画像の番号と等ピッチの「３」又は「５」文字で文字画像を切り出す旨を文字切り出し部１０２に通知し、認識辞書１０３の数字を照合対象とする旨を文字認識部１０４に通知する。
記載項目を「電話」と判定したときには、その関連する属性を満たさない単語候補の文字画像の番号とプロポーショナルピッチでの文字画像を切り出す旨を文字切り出し部１０２に通知し、認識辞書１０３の数字、記号を照合対象とする旨を文字認識部１０４に通知する。
【００３１】
記載項目を「会社」と判定したときには、関連する属性を満たさない単語候補の文字画像の番号と単語辞書１０５の属性が会社、一般の単語を照合対象とする旨とを単語照合部１０６に通知する。
記載項目を「氏名」と判定したときには、関連する属性を満たさない単語候補の文字画像の番号と単語辞書１０５の属性が氏名、肩書の単語を照合範囲とする旨とを単語照合部１０６に通知する。
【００３２】
再処理判定部１０９は、例えば、文字列画像Ｌ１の場合には、記載項目を「会社」と判定し、その文字画像Ｃ３，Ｃ４とを関連する属性を満たさない「珠代」と認識しているので、単語照合部１０６に文字画像Ｃ３，Ｃ４の文字候補の単語辞書１０５の照合範囲を会社、一般に限定するよう単語照合部１０６に通知する。これによって、単語照合部１０６は、文字認識部１０４で認識された文字画像Ｃ３の２位文字候補「株」と文字画像Ｃ４の３位文字候補「式」とを組み合わせた属性「会社」の「株式」を単語候補として再認識する。
【００３３】
文字画像Ｌ３の場合には、記載項目を「住所」と判定し、その文字画像Ｃ２を特殊条件に反する英字「Ｍ」と認識している（図６）。その文字画像Ｃ２（図９（ａ））は、文字切り出し部１０２によって、文字画像切り出し条件８０５に従い、図９（ｂ）に示すように３個の文字画像Ｃ２１、Ｃ２２、２３として切り出される。これによって、文字認識部１０４は、図９（ｃ）に示すように認識辞書１０３と照合して文字候補を抽出する。単語照合部１０６は、単語辞書１０５と文字候補を照合して、文字画像Ｃ２１、Ｃ２２、Ｃ２３の１位文字候補を単語候補「１」、「２」、「１」とそれぞれ決定する。
【００３４】
文字列画像Ｌ５の場合には、記載項目を「メイル」と判定し、その文字画像Ｃ１〜Ｃ３以外の文字画像Ｃ４〜Ｃ１１を文字認識の再処理範囲としている（図１０（ａ））。文字切り出し部１０２は、再処理判定部１０９から通知されたプロポーショナルピッチに従い図１０（ｂ）に示すように、文字画像Ｃ４〜Ｃ１４を切り出す。文字認識部１０４は、再処理判定部１０９から通知された英文、数字、記号の範囲で認識辞書１０３と照合し、図１０（ｃ）に示すような文字候補を抽出する。単語照合部１０６は、再処理判定部１０９から通知された属性がメイル、英字、数字、記号の範囲で文字候補を組み合わせて単語辞書１０５と照合し、その属性とともに図１０（ｄ）に示すように単語候補を決定する。
【００３５】
なお、文字画像Ｃ１３，Ｃ１４の１位の文字候補の組み合わせ「ｌｐ」は属性「メイル」に存在しないので文字画像Ｃ１３の２位文字候補「ｊ」と文字画像Ｃ１４の１位文字候補「ｐ」とから単語候補「ｊｐ」が決定されている。
また、再処理判定部１０９は、単語照合部１０６から再処理の結果の通知を受けると、再処理の処理範囲外とした先の認識結果とともに結果出力部１１０に文字列画像の番号と、その認識項目と、その認識結果である文字コードとを通知する。
【００３６】
結果出力部１１０は、文字コード等を表示画面に表示させるためのビットマップデータを保持し、再処理判定部１０９から認識結果である文字コード等の通知を受けると、表示画面に図１１に示すような、文書画像の認識結果を表示するとともに、この認識結果を記憶しておく。
次に、本実施の形態の動作を図１２、図１３のフローチャートを参照して説明する。
【００３７】
画像入力部１０１は、オペレータからの文書原稿例えば「名刺」の入力を受け付け、２値化された文書画像に変換する（Ｓ１２０２）。
文字切り出し部１０２は、文書画像から文字列画像を抽出する（Ｓ１２０４）。抽出した全文字列画像から文字画像を全角文字として切り出す（Ｓ１２０６，Ｓ１２０８）。
【００３８】
次に文字認識部１０４は、認識辞書１０３の全字種を照合範囲として切り出された文字画像を照合して文字候補を抽出し、全文字列画像の全文字画像についてのこの照合を繰り返す（Ｓ１２１０，Ｓ１２１２）。
単語照合部１０６は、得られた連続する文字候補を単語辞書１０５の全属性の単語を対象として単語照合を行い、上位の文字候補の組合せを優先して単語候補とその属性との抽出を全文字列画像の全文字画像について終わるまで繰り返す（Ｓ１２１４，Ｓ１２１６）。全ての文字候補の組合せをすることなく、上位の文字候補の組合せによって単語照合の結果、一致する単語が単語辞書１０５に見つかれば単語照合ができたとするので、単語照合の時間は短縮される。この単語候補の認識誤りは、後の属性等の判定により修正ができる。
【００３９】
次に、項目分類部１０７は、単語候補をキーワードとして、文字列画像の記載項目を全文字列画像について分類する（Ｓ１２１８，Ｓ１２２０）。
再認識処理部１０９は、全文字列画像について再認識が終了したか否かを判定し（Ｓ１２２２）、終了していないときは、項目関連ルール記憶部１０８に記憶されている関連ルールテーブル７０１の内容に反するか否かを記載項目ごとに判定し（Ｓ１２２４）、反しないときはＳ１２２２に戻り、関連ルールテーブル７０１の関連する属性７０３と単語候補の属性とが一致しない又は、特殊条件７０４に反するときはＳ１３０２に移る。
【００４０】
Ｓ１３０２において、再処理判定部１０９は、文字列画像の記載項目が「メイル」であるか否かを判定する（Ｓ１３０２）。「メイル」でないときはＳ１３１６に移り、「メイル」のときは、再処理条件テーブル８０１の記載項目８０２の「メイル」の処理範囲８０４に記載の文字画像の番号を文字切り出し部１０２に通知する（Ｓ１３０４）。
【００４１】
文字切り出し部１０２は、通知された文字画像と文字画像切り出し条件８０５のプロポーショナルピッチとに従い、文字画像を再切り出しする（Ｓ１３０６）。
文字認識部１０４は、文字画像認識条件８０６の認識辞書１０３の文字種の英字、数字、記号を照合範囲として文字候補を認識し、再切り出しされた文字画像がなくなるまで処理を繰り返す（Ｓ１３０８，Ｓ１３１０）。
【００４２】
次に、単語照合部１０６は、単語辞書照合条件８０７の単語辞書１０５の属性のメイル、英字、数字、記号を照合範囲として連続した文字候補を組み合わせて又は単独の文字候補を単語候補に決定する。この処理を再認識された単語候補がなくなるまで繰り返し（Ｓ１３１２，Ｓ１３１４）、Ｓ１２２２に戻る。
Ｓ１３１６において、再処理判定部１０９は、文字列画像の記載項目が「住所」又は「電話」であるか否かを判定し（Ｓ１３１６）、ないときはＳ１３２６に移る。「住所」又は「電話」のときは、文字切り出し部１０２に再処理条件テーブル８０１の処理範囲８０４の内容を通知するとともに、記載項目が「住所」のときは等ピッチの３又は５文字の文字画像切り出し条件８０５を、記載項目が「電話」のときはプロポーショナルピッチの文字画像切り出し条件８０５をそれぞれ通知する（Ｓ１３１８）。
【００４３】
文字切り出し部１０２は、再処理判定部１０９から通知された処理範囲と切り出し条件とに従い、文字画像を再切り出しする（Ｓ１３２０）。
文字認識部１０４は、「住所」のときは、認識辞書１０３の文字種の数字を照合範囲とし、「電話」のときは文字種を数字、記号を照合範囲と限定して、再切り出しされた文字画像を文字候補として認識し、再切り出しされた文字画像の認識が全て終わるまで繰り返し（Ｓ１３２２，Ｓ１３２４）、Ｓ１２２２に戻る。
【００４４】
Ｓ１３２６では、単語照合部１０６は、再認識の対象とした文字候補の単語照合が全て終了するまで記載項目が「会社」、「氏名」の場合に、再処理条件テーブル８０１の処理範囲８０４に規定する文字画像の文字候補の組み合わせによる単語辞書照合条件を「会社」のときには単語の属性を会社、一般とし、「氏名」のときには属性を氏名、肩書として照合条件を限定して単語候補を決定する（Ｓ１３２８）。この後Ｓ１２２２に戻る。
【００４５】
このようにして、最初に記載項目を考慮しないで粗い文字画像の切り出し条件によって文字画像を切り出して文字認識した後に、その記載項目を分類して記載内容に応じた文字画像を切り出して文字候補を認識して、記載内容に応じた属性を有する単語候補を決定するので、文字認識の精度と効率が飛躍的に向上する。
Ｓ１２２２において、再処理判定部１０９が全文字列画像の再認識を終了したと判定したときは、結果出力部１１０は、入力された文書画像から認識した単語候補をその文字列画像ごとにその記載項目とともに表示画面に表示して（Ｓ１２２６）、処理を終了する。
【００４６】
なお、本実施の形態では、図１に示したような構成で本発明に係る文字認識装置を実現したけれども、本発明はプログラムによって実現し、これをフロッピーディスク等の記録媒体に記録して移送することにより、独立した他のコンピュータ・システムで容易に実施することができる。図１４は、これをフロッピーディスクで実施する場合を説明する図である。
【００４７】
記録媒体本体であるフロッピーディスク１４０１の物理フォーマットは、同心円状に外周から内周に向かってトラック１、２、…、８０を作成し、角度方向に１６のセクタに分割している。このように割り当てられた領域に従って、プログラムを記録する。
このフロッピーディスク１４０１は、ケース１４０２に収納され、これによって、ディスクを埃や外部からの衝撃から守り、安全に移送することができる。
【００４８】
図１５は、フロッピーディスク１４０１にプログラムの記録再生を行うことを説明する図である。図示のようにコンピュータ・システム１５０１にフロッピーディスクドライブ１５０２を接続することにより、ディスク１４０１に対してプログラムを記録再生することが可能となる。ディスク１４０１はフロッピーディスクドライブ１５０２に、挿入口１５０３を介して組込み、および取り出しがなされる。記録する場合はコンピュータ・システム１５０１からプログラムをフロッピーディスクドライブ１５０２によってディスク１４０１に記録する。再生する場合は、フロッピーディスクドライブ１５０２がプログラムをディスク１４０１から読み出し、コンピュータ・システム１５０１に転送する。
【００５０】
【発明の効果】
以上述べたように、本発明によれば、対象とする文書画像が複数の記載項目に相当する文字列画像からなり、そのような文書画像の文字認識をする文字認識装置であって、文書画像の入力を受け付けると文字列画像の高さに基づいて又は、指示を受けると指示に基づいて文字画像を切り出す文字切出手段と、字種別に文字特徴が登録された認識辞書と、前記文字切出手段で切り出された文字画像を前記認識辞書の全範囲又は指示された範囲で照合して複数の文字候補を選択する文字候補選択手段と、認識対象とする文書画像の全ての記載項目に関連する単語を属性ごとに分類して登録している単語辞書と、前記文字候補選択手段で選択された連続した文字画像の文字候補を組み合わせて及び単独で前記単語辞書の全範囲又は指示された範囲で照合し、一致する単語があれば単語候補としてその属性とともに抽出し、一致するものがなければ属性を未定義として文字候補をそのまま単語候補として抽出する単語抽出手段と、前記単語抽出手段で抽出された単語候補をキーワードとして文字列画像単位で記載項目に分類する記載項目分類手段と、記載項目ごとに記載内容である単語の関連する属性、記載条件の一覧を記録した関連ルールテーブルと、前記単語抽出手段で単語辞書の全範囲で照合して得られた単語候補が前記関連ルールテーブルの当該記載項目の内容を満たすか否かを判定する関連判定手段と、前記関連判定手段で満たさないと判定されたときに、前記文字切出手段、文字候補選択手段又は単語抽出手段に所定の指示を与える指示手段と、前記関連判定手段で満たすと判定された単語候補と指示手段の指示に従い抽出された単語候補とを出力する出力手段とを備えることとしているので、記載項目の内容に反しない属性の単語候補は正しい認識であるとして再度の認識は行わないので認識に要する時間は短縮され、記載項目の内容に反するような属性の単語候補は誤認識であるとして再認識するので認識精度が向上する。
【００５１】
また、本発明によれば、前記指示手段は、前記関連判定手段で満たさないと判定されたときに、該単語候補の文字画像を含む文字列画像の前記文字切出手段での文字画像の切り出し条件と、前記文字候補選択手段での文字候補の照合条件と、前記単語抽出手段での単語候補の照合条件とを所定の条件に変更する指示を与える条件変更指示部を含むこととしてるので、誤認識であるとされた単語候補を正しく認識することができる。
【００５２】
また、本発明によれば、前記指示手段は、記載項目ごとに認識対象とする処理範囲と、文字画像の切り出し条件と、文字候補の字種と、単語候補の属性との処理条件を記録した処理条件テーブルと、前記関連判定手段で満たさないと判定されたとき、該単語候補を含む文字列画像の処理条件を前記処理条件テーブルからその記載項目ごとに読み出す読出部とを有し、前記条件変更指示部は、前記文字切出手段に前記読出部が読み出した処理範囲に含まれる文字画像と文字画像の切り出し条件とを指示する第１条件指示部と、前記文字候補選択手段に前記読出部が読み出した前記認識辞書の照合範囲を限定する字種を指示する第２条件指示部と、前記単語抽出手段に前記読出部が読み出した前記単語辞書の照合範囲を限定する属性を指示する第３条件指示部とを備えることとしているので、記載項目ごとに予め再処理条件が明確となり、文書画像の認識効率が高まる。
【００５３】
また、本発明によれば、前記単語抽出手段は、最初に単語候補を抽出するときには、前記文字候補選択手段で選択された複数の文字候補のうち上位の文字候補の組合せを優先して単語候補を抽出し、前記第３条件指示部からの指示を受けたときには、その照合範囲を優先して単語候補を抽出することとしているので、認識処理に要する時間を短縮することができる。
【００５４】
また、本発明によれば、対象とする文書画像が複数の記載項目に相当する文字列画像からなり、そのような文書画像の文字認識をする文字認識方法であって、文書画像の入力を受け付けると文字列画像の高さに基づいて文字画像を切り出す第１文字切出ステップと、前記第１文字切出ステップで切り出された文字画像を字種別に文字特徴が登録された認識辞書の全範囲で照合して複数の文字候補を選択する第１文字候補選択ステップと、前記第１文字候補選択ステップで選択された連続した文字画像の文字候補を組み合わせて及び単独で、認識対象とする文書画像の全ての記載項目に関連する単語を属性ごとに分類して登録している単語辞書の全範囲で照合し、一致する単語があれば単語候補としてその属性とともに抽出し、一致するものがなければ属性を未定義として文字候補をそのまま単語候補として抽出する第１単語抽出ステップと、前記第１単語抽出ステップで抽出された単語候補をキーワードとして文字列画像単位で記載項目に分類する記載項目分類ステップと、前記第１単語抽出ステップで抽出された単語候補が記載項目ごとに記載内容である単語の関連する属性、記載条件の一覧を記録した関連ルールテーブルの当該記載項目の内容を満たすか否かを判定する関連判定ステップと、前記関連判定ステップで満たさないと判定されたときに、文字画像の切り出し条件を指示する第１指示ステップと、前記第１指示ステップにおける切り出し条件に従い文字画像を切り出す第２文字切出ステップと、第２文字切出ステップで切り出された文字画像の認識辞書の照合範囲を指示する第２指示ステップと、前記第２指示ステップにおける指示に従い文字候補を選択する第２文字候補選択ステップと、前記第２文字候補選択ステップで選択された文字候補の単語辞書の照合範囲を指示する第３指示ステップと、前記第３指示ステップにおける指示に従い単語候補を抽出する第２単語候補抽出ステップと、前記関連判定ステップで満たすと判定された単語候補と前記第２単語候補抽出ステップで抽出された単語候補とを認識結果として出力する出力ステップとを有して実行することとしているので、上記文字認識装置と同様の効果を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る文字認識装置の一実施の形態の構成図である。
【図２】上記実施の形態の画像入力部で変換された文書画像の一例を示す図である。
【図３】上記実施の形態の文字切り出し部で切り出された文字画像の一例を示す図である。
【図４】上記実施の形態の文字認識部で図３に示した文字画像から認識された文字候補を説明するための図である。
【図５】上記実施の形態の単語辞書の一例の説明図である。
【図６】上記実施の形態の単語照合部で図４の文字候補から照合処理された単語候補とその属性とを説明するための図である。
【図７】上記実施の形態の項目関連ルール記憶部に記憶されている関連ルールテーブルの内容を示す図である。
【図８】上記実施の形態の項目関連ルール記憶部に記憶されている再処理条件テーブルの内容を示す図である。
【図９】上記実施の形態の文字列画像Ｌ３の文字画像Ｃ２における再認識処理を説明するための図である。
【図１０】上記実施の形態の文字列画像Ｌ５の文字画像Ｃ４〜Ｃ１１における再認識処理を説明するための図である。
【図１１】上記実施の形態の結果出力部で出力表示された文書画像の認識結果の一例を示す図である。
【図１２】上記実施の形態の動作を説明するフローチャートである。
【図１３】上記実施の形態の動作を説明するフローチャートである。
【図１４】上記実施の形態で説明した文字認識方法を記録した記録媒体の説明図である。
【図１５】上記記録媒体のコンピュータシステムへの装着を説明する図である。
【図１６】従来の文字認識装置の構成図である。
【符号の説明】
１０１    画像入力部
１０２    文字切り出し部
１０３    認識辞書
１０４    文字認識部
１０５    単語辞書
１０６    単語照合部
１０７    項目分類部
１０８    項目関連ルール記憶部
１０９    再処理判定部
１１０    結果出力部
１４０１    フロッピーディスク
１５０１    コンピュータシステム
１５０２    フロッピーディスクドライブ
【図１】
0003727422.tif 000002
【図２】
0003727422.tif 000003
【図３】
0003727422.tif 000004
【図４】
0003727422.tif 000005
【図５】
0003727422.tif 000006
【図６】
0003727422.tif 000007
【図７】
0003727422.tif 000008
【図８】
0003727422.tif 000009
【図９】
0003727422.tif 000010
【図１０】
0003727422.tif 000011
【図１１】
0003727422.tif 000012
【図１２】
0003727422.tif 000013
【図１３】
0003727422.tif 000014
【図１４】
0003727422.tif 000015
【図１５】
0003727422.tif 000016
【図１６】
0003727422.tif 000017