(57)【要約】【課題】文字画像と文字情報とが混在した電子文書に対する文字認識の精度を向上させる。【解決手段】電子文書処理装置１０は、文字情報と文字画像とを含む電子文書を取得し、電子文書に含まれる文字情報と文字画像の少なくとも一部を処理対象文字列に設定し、処理対象文字列に含まれる少なくとも１つの文字画像を文字認識した結果得られた複数の文字候補を、その評価値と共に生成する。また、電子文書処理装置１０は、複数の文字情報に対して他の文字情報との共起関係に基づく関係評価値を保持し、複数の文字候補毎に、処理対象文字列に含まれる少なくとも１つの文字情報との共起関係に基づく関係評価値を取得し、複数の文字候補毎の、生成された評価値と、取得された関係評価値とに基づく評価に応じて、複数の文字候補の中から文字認識した文字画像に対応する文字情報を選択する。【選択図】図１
2011039951.tif 000002
【特許請求の範囲】
【請求項１】
文字情報と文字画像とを含む電子文書を取得する電子文書取得手段と、
前記電子文書に含まれる文字情報と文字画像の少なくとも一部を処理対象文字列に設定する設定手段と、
前記処理対象文字列に含まれる少なくとも１つの文字画像を文字認識した結果得られた複数の文字候補を、その評価値と共に生成する生成手段と、
複数の文字情報に対して他の文字情報との共起関係に基づく関係評価値を保持する保持手段と、
前記複数の文字候補毎に、前記処理対象文字列に含まれる少なくとも１つの文字情報との共起関係に基づく関係評価値を前記保持手段から取得する取得手段と、
前記複数の文字候補毎の、前記生成手段により生成された評価値と、前記取得手段により取得された関係評価値とに基づく評価に応じて、前記複数の文字候補の中から前記文字認識した文字画像に対応する文字情報を選択する選択手段と、を含む
ことを特徴とする電子文書処理装置。
【請求項２】
前記取得手段は、前記複数の文字候補毎に、前記処理対象文字列において当該文字候補に対して前又は後に位置する文字情報との共起関係に基づく関係評価値を前記保持手段から取得する
ことを特徴とする請求項１に記載の電子文書処理装置。
【請求項３】
前記取得手段は、前記複数の文字候補毎に、前記処理対象文字列に含まれる複数の文字情報と当該文字候補との共起関係に基づく関係評価値を前記保持手段から取得する
ことを特徴とする請求項１に記載の電子文書処理装置。
【請求項４】
前記処理対象文字列に含まれる文字数に対する、当該処理対象文字列に含まれる文字情報による文字数の割合を算出する手段をさらに含み、
前記選択手段は、前記複数の文字候補毎の、前記生成手段により生成された評価値と、前記算出された割合を前記取得手段により取得された関係評価値に乗じた値と、に基づく評価に応じて、前記複数の文字候補の中から前記文字認識した文字画像に対応する文字情報を選択する
ことを特徴とする請求項１乃至３のいずれかに記載の電子文書処理装置。
【請求項５】
前記保持手段は、前記複数の文字情報の組毎に、当該組の関係評価値を保持する
ことを特徴とする請求項１乃至４のいずれかに記載の電子文書処理装置。
【請求項６】
コンピュータを、
文字情報と文字画像とを含む電子文書を取得する電子文書取得手段と、
前記電子文書に含まれる文字情報と文字画像の少なくとも一部を処理対象文字列に設定する設定手段と、
前記処理対象文字列に含まれる少なくとも１つの文字画像を文字認識した結果得られた複数の文字候補を、その評価値と共に生成する生成手段と、
複数の文字情報に対して他の文字情報との共起関係に基づく関係評価値を保持する保持手段と、
前記複数の文字候補毎に、前記処理対象文字列に含まれる少なくとも１つの文字情報との共起関係に基づく関係評価値を前記保持手段から取得する取得手段と、
前記複数の文字候補毎の、前記生成手段により生成された評価値と、前記取得手段により取得された関係評価値とに基づく評価に応じて、前記複数の文字候補の中から前記文字認識した文字画像に対応する文字情報を選択する選択手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子文書処理装置及びプログラムに関する。
【背景技術】
【０００２】
文字が画像として形成された電子文書に対して文字認識処理を行い、文字コード等の文字情報を得ることがある。例えば下記の特許文献１では、装飾が施された文字画像に対応する文字情報を得る処理が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−０７９９７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
紙文書を電子化した電子文書に文字情報を埋め込んだ場合には、文字画像と文字情報とが混在した電子文書が生成されることとなる。
【０００５】
本発明の目的の一つは、文字画像と文字情報とが混在した電子文書に対する文字認識の精度を向上させた電子文書処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１に記載の電子文書処理装置の発明は、文字情報と文字画像とを含む電子文書を取得する電子文書取得手段と、前記電子文書に含まれる文字情報と文字画像の少なくとも一部を処理対象文字列に設定する設定手段と、前記処理対象文字列に含まれる少なくとも１つの文字画像を文字認識した結果得られた複数の文字候補を、その評価値と共に生成する生成手段と、複数の文字情報に対して他の文字情報との共起関係に基づく関係評価値を保持する保持手段と、前記複数の文字候補毎に、前記処理対象文字列に含まれる少なくとも１つの文字情報との共起関係に基づく関係評価値を前記保持手段から取得する取得手段と、前記複数の文字候補毎の、前記生成手段により生成された評価値と、前記取得手段により取得された関係評価値とに基づく評価に応じて、前記複数の文字候補の中から前記文字認識した文字画像に対応する文字情報を選択する選択手段と、を含むことを特徴とする。
【０００７】
また、請求項２に記載の発明は、請求項１に記載の電子文書処理装置において、前記取得手段は、前記複数の文字候補毎に、前記処理対象文字列において当該文字候補に対して前又は後に位置する文字情報との共起関係に基づく関係評価値を前記保持手段から取得することを特徴とする。
【０００８】
また、請求項３に記載の発明は、請求項１に記載の電子文書処理装置において、前記取得手段は、前記複数の文字候補毎に、前記処理対象文字列に含まれる複数の文字情報と当該文字候補との共起関係に基づく関係評価値を前記保持手段から取得することを特徴とする。
【０００９】
また、請求項４に記載の発明は、請求項１乃至３のいずれかに記載の電子文書処理装置において、前記処理対象文字列に含まれる文字数に対する、当該処理対象文字列に含まれる文字情報による文字数の割合を算出する手段をさらに含み、前記選択手段は、前記複数の文字候補毎の、前記生成手段により生成された評価値と、前記算出された割合を前記取得手段により取得された関係評価値に乗じた値と、に基づく評価に応じて、前記複数の文字候補の中から前記文字認識した文字画像に対応する文字情報を選択することを特徴とする。
【００１０】
また、請求項５に記載の発明は、請求項１乃至４のいずれかに記載の電子文書処理装置において、前記保持手段は、前記複数の文字情報の組毎に、当該組の関係評価値を保持することを特徴とする。
【００１１】
また、請求項６に記載のプログラムの発明は、コンピュータを、文字情報と文字画像とを含む電子文書を取得する電子文書取得手段と、前記電子文書に含まれる文字情報と文字画像の少なくとも一部を処理対象文字列に設定する設定手段と、前記処理対象文字列に含まれる少なくとも１つの文字画像を文字認識した結果得られた複数の文字候補を、その評価値と共に生成する生成手段と、複数の文字情報に対して他の文字情報との共起関係に基づく関係評価値を保持する保持手段と、前記複数の文字候補毎に、前記処理対象文字列に含まれる少なくとも１つの文字情報との共起関係に基づく関係評価値を前記保持手段から取得する取得手段と、前記複数の文字候補毎の、前記生成手段により生成された評価値と、前記取得手段により取得された関係評価値とに基づく評価に応じて、前記複数の文字候補の中から前記文字認識した文字画像に対応する文字情報を選択する選択手段として機能させるためのプログラムである。
【発明の効果】
【００１２】
請求項１及び６に記載の発明によれば、文字画像と文字情報とが混在した電子文書に対する文字認識の精度を、文字画像を単独で文字認識する場合に比べて向上できる。
【００１３】
請求項２に記載の発明によれば、本構成を有しない場合に比較して、処理負荷を低減できる。
【００１４】
請求項３に記載の発明によれば、文字画像を含む文字列全体からの寄与を加味して文字画像の文字認識を行うことができる。
【００１５】
請求項４に記載の発明によれば、文字認識による評価と、処理対象文字列に含まれる文字情報による文字認識結果の評価とのバランスを調整できる。
【００１６】
請求項５に記載の発明によれば、本構成を有しない場合に比較して、文字候補と文字情報との関係評価値を容易に取得できる。
【図面の簡単な説明】
【００１７】
【図１】電子文書処理装置の機能ブロック図である。
【図２】電子文書の一例を示す図である。
【図３】文字画像についての文字認識結果を示す図である。
【図４】関係評価データの一例を示す図である。
【図５】各文字候補の統合評価値の値を示す図である。
【図６】文字列情報生成処理のフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明を実施するための好適な実施の形態（以下、実施形態という）を、図面に従って説明する。
【００１９】
図１には、本実施形態に係る電子文書処理装置１０の機能ブロック図を示す。図１に示されるように、電子文書処理装置１０は、電子文書取得部２０、処理対象文字列設定部２２、文字画像特定部２４、割合算出部２６、文字認識部２８、関係評価データ保持部３０、関係評価値取得部３２、文字情報選択部３４及び文字列情報生成部３６を備える。
【００２０】
上記の各部の機能は、ＣＰＵ等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは情報記憶媒体によってコンピュータたる電子文書処理装置１０に供給されることとしてもよいし、インターネット等のデータ通信手段を介して供給されることとしてもよい。
【００２１】
電子文書取得部２０は、文字情報と文字画像とを共に含む電子文書を取得するものである。本実施形態において、文字情報とは文字コード等の符号化データであり、文字画像とはビットマップ等のイメージデータとしてよい。電子文書は、電子文書処理装置１０により作成されたものであってもよいし、他の装置により作成されたものであってもよい。例えば本実施形態においては、電子文書は、紙文書をスキャンしたスキャン画像に、文字データを挿入することにより作成されることとしてよい。
【００２２】
図２には、電子文書取得部２０により取得される電子文書４０の一例を示す。図２においては、説明の都合上、文字情報を実線で、文字画像を破線で描いている。図２に示した例では、電子文書に含まれる文字列７０には、文字情報５０と文字画像６０等が含まれる。
【００２３】
処理対象文字列設定部２２は、電子文書取得部２０により取得した電子文書の中から、処理対象とする文字列部分を設定するものである。処理対象文字列設定部２２により設定される文字列部分は、電子文書に含まれる文字列全体としてもよいし、その一部としてもよい。なお、処理対象文字列設定部２２は、ユーザにより指定された電子文書内の領域（例えば矩形領域）に基づいて、処理対象文字列を設定することとしてもよい。なお、本実施形態においては、図２の文字列７０が処理対象文字列設定部２２により設定される処理対象文字列７０とする。
【００２４】
文字画像特定部２４は、処理対象文字列設定部２２により設定された処理対象文字列に含まれる文字画像の各々を特定するものである。文字画像特定部２４は、処理対象文字列の画像部分を二値化して、連結画素及び連結画素の間隔、配置等に基づいて文字に対応する文字画像を各々特定することとしてよい。また、文字画像特定部２４は、上記の各文字画像を特定する際に、処理対象文字列に含まれる周囲の文字データの文字サイズに基づいて文字画像を抽出する矩形領域を設定し、当該設定した矩形領域を用いることとしてもよい。また、文字画像特定部２４は、電子文書が文字画像と文字情報のレイアウト、データ形式及びそれぞれの位置座標を保持している場合には、当該保持されるデータを用いることとしてもよい。
【００２５】
割合算出部２６は、処理対象文字列に含まれる文字数に対する、処理対象文字列に含まれる文字情報により表される文字数の割合を算出するものである。本実施形態では、割合算出部２６は、処理対象文字列に含まれる文字情報により表される文字数を、処理対象文字列に含まれる全文字数で除して割合を算出することとする。なお、処理対象文字列に含まれる全文字数は、処理対象文字列に含まれる文字情報により示される文字数と、処理対象文字列に含まれる文字画像により示される文字数との和として得られる。
【００２６】
文字認識部２８は、処理対象文字列に含まれる各文字画像の文字認識を行うものである。本実施形態では、文字認識部２８は、処理対象文字列に含まれる文字画像から未処理の文字画像を１つずつ選択し、当該選択した文字画像のパターンに該当する文字の候補を複数選出する。この際、文字認識部２８は、選出した各候補について、文字画像と選出したパターンの一致度等の予め定められた基準に基づく評価値を算出することとする。この文字認識部２８による、文字候補の選出及び文字候補の評価値の算出は、既存の文字認識プログラムに備えられた機能を用いて実現することとしてよい。
【００２７】
図３には、文字認識部２８により得られる処理対象文字列７０に含まれる１つの文字画像についての文字認識結果を示す。図３に示したのは、処理対象文字列７０のうち文字画像６０についての文字認識結果である。図３に示されるように、本実施形態では、文字認識部２８による文字画像６０の文字認識結果としては、「ウ」、「宇」、「う」の文字候補が得られ、それぞれの評価値が「７５」、「７３」、「７０」であったとする。従来の文字認識処理では、評価値が最大である評価値「７５」に相当する文字「ウ」が文字認識結果として選択されるが、本実施形態では、文字候補と処理対象文字列７０に含まれる他の文字情報との関係を利用して文字候補の評価値を補正し、補正後の評価値を用いて文字認識結果の選択を行うこととする。以下、評価値の補正に係る処理の詳細について説明する。
【００２８】
関係評価データ保持部３０は、複数の文字情報が予め定められた関係で共起する確率に基づいて文字情報間の評価値を定めた関係評価データを保持するものである。本実施形態では、連語の共起関係を示すｂｉ−ｇｒａｍ確率に基づく文字間の評価値を関係評価データの一例として示すが、ｔｒｉ−ｇｒａｍ確率や他の関係に応じた共起確率に基づいた関係評価データを用いることとしてもよい。
【００２９】
図４には、関係評価データの一例を示す。図４に示した関係評価データは、文字列中に第１の文字が現れた場合に、その次に第２の文字が現れる確率に応じた評価値を、第１の文字、第２の文字の組み合わせに関連づけて格納したものである。図４に示した関係評価データでは、例えば、第１の文字が「い」である場合に、次に「う」が来ることの関係評価値は「９５」であり、「い」の次に「宇」が来ることの関係評価値は「８５」である。
【００３０】
関係評価値取得部３２は、文字認識部２８により得られた文字候補の各々に対して、処理対象文字列に含まれる文字情報に基づいて、関係評価データ保持部３０に保持される関係評価データの中から対応する関係評価値を取得する。例えば、関係評価データが図４で示されるようなｂｉ−ｇｒａｍ確率に基づくデータである場合には、文字候補と、当該文字候補に対応する文字画像の前又は後の文字情報との関係評価値を、関係評価データを参照して取得することとしてよい。
【００３１】
具体的には、図４に示される関係評価データに基づき、第１の文字列を「い」、第２の文字列をそれぞれ「ウ」、「宇」、「う」とした場合に関係評価値取得部３２により取得される関係評価値はそれぞれ、「８０」、「８５」、「９５」となる。
【００３２】
文字情報選択部３４は、各文字候補に対して、文字認識部２８により算出された評価値と、関係評価値取得部３２により取得された関係評価値とに基づいて統合評価値を算出し、当該算出した統合評価値に基づいて文字候補の中から文字画像が表す文字情報を選択するものである。以下、本実施形態における文字情報選択部３４による処理を、具体例を用いて説明する。
【００３３】
本実施形態では、文字情報選択部３４は、各文字候補の統合評価値を以下の式（１）を用いて算出する。
Ｅ（Ｃｉ）＝Ｏ（Ｃｉ）＋α・Ｌ（Ｃｉ）  ・・・（１）
なお、文字候補数をｎとした場合に、ｉは１〜ｎのいずれかの自然数、Ｃｉはｉ番目の文字候補、Ｅ（Ｃｉ）はＣｉの統合評価値、Ｏ（Ｃｉ）は文字認識部２８により付与される評価値、αは重み、Ｌ（Ｃｉ）は関係評価値取得部３２により取得される関係評価値、であるとする。本実施形態では、αの値には割合算出部２６により算出された割合を設定することとするが、αの値は予め定めておくこととしてもよい。なお、αの値を割合算出部２６により算出された割合の値に設定することで、処理対象文字列の中に占める文字情報の割合が大きくなると、関係評価値による評価値の補正量も大きくなるようにしている。これは、処理対象文字列に占める文字情報が多い場合には、文字画像の周辺の文字情報による関係評価値の信頼性が高まると考えられるためである。
【００３４】
図５には、上記式（１）により算出される各文字候補の統合評価値の値を示した。なお、図５に示した例では、α＝３／５として統合評価値を算出している。図５に示されるように、統合評価値が最大の候補は「う」であり、「う」が文字画像に対応した文字情報として選択されることとなる。また、文字候補について算出された統合評価値において最大値のものが複数ある場合には、予め定めた基準に従って文字候補を１つに絞り込むこととしてよい。この予め定めた基準とは、例えば、関係評価値が最も大きいものとしてもよいし、文字認識結果による評価値が最も大きいものとしてもよいし、αの値が閾値を上回る場合には関係評価値による基準を採用し、そうでない場合には文字認識結果による評価値による基準を採用する等の多様な基準を採用することとしてよい。
【００３５】
文字列情報生成部３６は、処理対象文字列に含まれる文字画像毎に選択された文字情報に基づいて、処理対象文字列に対応する文字列情報（文字コード群）を生成するものである。例えば、文字列情報生成部３６は、処理対象文字列に含まれる先頭の文字画像から順に処理することとしてよく、その際、文字画像に基づいて選択された文字情報は、初期状態で含まれる文字情報に含めて扱うこととしてもよいし、含めないこととしてもよい。
【００３６】
図６には、電子文書処理装置１０による文字列情報生成処理のフローチャートを示した。図６に示されるように、電子文書処理装置１０は、文字情報（文字コード）と文字画像とが混在した電子文書を取得し（Ｓ１０１）、取得した電子文書の中から処理の対象とする処理対象文字列を設定する（Ｓ１０２）。
【００３７】
電子文書処理装置１０は、処理対象文字列に含まれる各文字画像を特定し（Ｓ１０３）、処理対象文字列を構成する文字数に対する、処理対象文字列に含まれる文字情報により表される文字数の割合を算出する（Ｓ１０４）。
【００３８】
次に、電子文書処理装置１０は、処理対象文字列に含まれる文字画像のうち未処理のものを１つ選択し（Ｓ１０５）、当該選択した文字画像を文字認識して、当該文字画像の複数の文字候補と、各文字候補の評価値とを生成する（Ｓ１０６）。電子文書処理装置１０は、上記生成された各文字候補について、処理対象文字列に含まれる文字情報との共起関係に基づく関係評価値を取得し（Ｓ１０７）、各文字候補について、文字認識処理による評価値と、Ｓ１０４において算出された割合と、上記取得された関係評価値とに基づいて、統合評価値を算出する（Ｓ１０８）。電子文書処理装置１０は、各文字候補について算出された統合評価値が最大の文字候補を文字画像に対応する文字情報として選択する（Ｓ１０９）。
【００３９】
電子文書処理装置１０は、処理対象文字列の中に未処理の文字画像があるか否かを判断し（Ｓ１１０）、あると判断する場合には（Ｓ１１０：Ｙ）、Ｓ１０５に戻ってそれ以降の処理を繰り返し、ないと判断する場合には（Ｓ１１０：Ｎ）、処理対象文字列に含まれる文字情報と文字画像について選択された文字情報とを統合して文字列情報を生成し（Ｓ１１１）、処理を終了する。
【００４０】
本実施形態では、文字情報と文字画像とが混在する文字列に対して、文字画像を文字認識した結果と、既に情報が確定している文字情報との共起関係に基づく評価とを統合した評価情報に基づいて文字情報を選択することで、単に文字認識を行う場合に比べて得られる文字列情報の精度が向上する。
【００４１】
本発明は上記の実施形態に限定されるものではない。例えば、関係評価値取得部３２は、文字画像の前後に位置する文字情報に限定されない文字情報との関係に基づく関係評価値を取得することとしてもよい。以下、具体例を述べる。
【００４２】
第１の例としては、処理対象の文字画像に対して、処理対象文字列７０に含まれるすべての文字情報との共起関係に基づく関係評価値を取得することとしてよい。例えば、図２に示した例であれば、文字画像６０に対して「あ」、「い」、「え」の各文字情報に対する関係評価値を取得し、取得した関係評価値に基づく値（例えば加算平均）を式（１）のＬに代入することとしてよい。
【００４３】
第２の例としては、処理対象の文字画像に対して、処理対象文字列７０に含まれる文字情報のうち一部の文字情報との共起関係に基づく関係評価値を取得することとしてよい。例えば、文字情報のうち文字画像に最も近い位置にある１つを選択することとしてもよいし、予め定められた数の文字情報を文字画像との位置が近い順に選択することとしてもよい。文字情報が複数選択された場合には、各文字情報と文字画像との関係に基づいて取得された関係評価値に基づく値（例えば加算平均）を式（１）に代入することとしてよい。
【００４４】
また、上記の実施形態において、処理対象文字列設定部２２により設定された処理対象文字列に文字画像が含まれていない場合には、文字情報をそのまま文字列情報として取得することとしてよい。
【符号の説明】
【００４５】
１０  電子文書処理装置、２０  電子文書取得部、２２  処理対象文字列設定部、２４  文字画像特定部、２６  割合算出部、２８  文字認識部、３０  関係評価データ保持部、３２  関係評価値取得部、３４  文字情報選択部、３６  文字列情報生成部、４０  電子文書、５０  文字情報、６０  文字画像、７０  処理対象文字列（文字列）。
【図１】
2011039951.tif 000003
【図２】
2011039951.tif 000004
【図３】
2011039951.tif 000005
【図４】
2011039951.tif 000006
【図５】
2011039951.tif 000007
【図６】
2011039951.tif 000008