(57)【要約】【課題】多様なレイアウトの文字を精度良く認識する。【解決手段】抽出部２０Ｂは、帳票画像３０から、基準文字領域３２Ａと拡大文字領域３２Ｂとを対象文字領域３２Ｃとして抽出する。生成部２０Ｆは、選択済の基準文字領域３２Ａおよび選択済の基準文字領域３２Ａを含む拡大文字領域３２Ｂを重複して選択しないように、対象文字領域３２Ｃを選択し、対象文字領域３２Ｃの組合せの異なる複数の組合せ候補５２を生成する。特定部２０Ｇは、複数の組合せ候補５２の内、含まれる文字４０の認識結果の信頼度の最も高い組合せ候補５２を特定する。出力制御部２０Ｈは、特定した組合せ候補５２における、対象文字領域３２Ｃごとに認識された文字４０の位置関係に基づいて、該組合せ候補５２に含まれる文字４０によって表される要素４２を決定し、要素４２を示す要素情報４３を含む出力情報５６を、帳票画像３０の文字認識結果５８として出力制御する。【選択図】図１
2018063597.tif 000002
【特許請求の範囲】
【請求項１】
入力枠によって囲まれた基準領域が第１方向および該第１方向に交差する第２方向に連続して配列され、且つ文字の記入された帳票の、帳票画像を取得する取得部と、
前記帳票画像から、文字の少なくとも一部を含む前記基準領域としての基準文字領域と、少なくとも１つの前記基準文字領域と他の前記基準領域とを含む拡大文字領域と、を対象文字領域として抽出する抽出部と、
前記対象文字領域ごとに、含まれる文字を認識すると共に、認識結果の信頼度を算出する認識部と、
選択済の前記基準文字領域および選択済の前記基準文字領域を含む前記拡大文字領域を重複して選択しないように前記対象文字領域を選択し、前記対象文字領域の組合せの異なる複数の組合せ候補を生成する生成部と、
複数の前記組合せ候補の内、含まれる文字の認識結果の信頼度の最も高い前記組合せ候補を特定する特定部と、
特定した前記組合せ候補における、前記対象文字領域ごとに認識された文字の位置関係に基づいて、該組合せ候補に含まれる文字によって表される要素を決定し、前記要素を示す要素情報を含む出力情報を、前記帳票画像の文字認識結果として出力制御する出力制御部と、
を備える文字認識装置。
【請求項２】
前記要素は、数式の項、および、化学式、の少なくとも一方である、請求項１に記載の文字認識装置。
【請求項３】
前記抽出部は、
少なくとも１つ以上の前記基準文字領域を含み、且つ、
含まれる前記基準領域が互いに隣接、前記拡大文字領域の形状が矩形状、前記第１方向に連続する前記基準領域の数が第１閾値以下、前記第２方向に連続する前記基準領域の数が第２閾値以下、含まれる前記基準文字領域の割合が第３割合以上、前記第１方向に連続する前記基準領域の全てが前記基準文字領域、および、前記第２方向に連続する前記基準領域の全てが前記基準文字領域、の少なくとも１つの抽出条件を満たすように、前記拡大文字領域を抽出する、
請求項１または請求項２に記載の文字認識装置。
【請求項４】
前記生成部は、
選択済の前記基準文字領域および選択済の前記基準文字領域を含む前記拡大文字領域を重複して選択しないように前記対象文字領域を選択する基本選択条件と、
信頼度が第３閾値以下の前記対象文字領域を選択対象外とする第１の選択条件、および、前記帳票画像に含まれる前記対象文字領域を信頼度の高い順に並べ、信頼度が１つ上の他の前記対象文字領域の信頼度との差が第４閾値以上の前記対象文字領域を選択対象外とする第２の選択条件、の少なくとも１方の選択条件を満たすように、前記対象文字領域を選択する、
請求項１に記載の文字認識装置。
【請求項５】
前記帳票画像に含まれる前記基準文字領域ごとに、該基準文字領域を含む前記対象文字領域を対象文字領域群として設定する設定部を備え、
前記生成部は、複数の前記対象文字領域群の各々から前記対象文字領域を選択し、複数の前記組合せ候補を生成する、請求項１乃至請求項４の何れか１項に記載の文字認識装置。
【請求項６】
前記設定部は、
前記帳票画像に含まれる前記基準文字領域を処理対象として順次設定し、設定した処理対象としての前記基準文字領域ごとに、該基準文字領域を含み且つ設定済の他の前記対象文字領域群に含まれない前記対象文字領域を、前記対象文字領域群として設定する、
請求項５に記載の文字認識装置。
【請求項７】
前記出力制御部は、
特定した前記組合せ候補に含まれる前記対象文字領域の各々について、認識された文字と該組合せ候補における他の前記対象文字領域で認識された文字との位置関係と、文字属性と、を判別する判定部と、
前記位置関係によって表される位置に前記文字属性によって示される形態で、対応する前記対象文字領域で認識された文字を配置した、前記要素を決定する決定部と、
前記要素を示す前記要素情報を含む前記出力情報を、前記文字認識結果として出力制御する結果出力制御部と、
を含む、請求項１乃至請求項６の何れか１項に記載の文字認識装置。
【請求項８】
前記出力制御部は、前記出力情報を出力部から出力制御する、請求項１乃至請求項７の何れか１項に記載の文字認識装置。
【請求項９】
前記基準領域は、矩形状の領域である、請求項１乃至請求項８の何れか１項に記載の文字認識装置。
【請求項１０】
前記取得部は、
前記入力枠の内側に内側入力枠によって囲まれた中央領域が配置された前記帳票の前記帳票画像を取得し、
前記抽出部は、
前記帳票画像から、文字の少なくとも一部を含む前記基準領域について、文字の少なくとも一部を含む前記中央領域と、前記内側入力枠と前記入力枠との間の周辺領域における、文字の少なくとも一部を含む部分領域と、を、前記基準文字領域として抽出する、
請求項１乃至請求項９の何れか１項に記載の文字認識装置。
【請求項１１】
前記抽出部は、
文字の少なくとも一部を含む前記中央領域と、前記内側入力枠と前記入力枠との間の前記周辺領域を区切り線によって複数領域に分割した各領域における、文字の少なくとも一部を含む前記部分領域と、を、前記基準文字領域として抽出する、
請求項１０に記載の文字認識装置。
【請求項１２】
入力枠によって囲まれた基準領域が第１方向および該第１方向に交差する第２方向に連続して配列され、且つ文字の記入された帳票の、帳票画像を取得するステップと、
前記帳票画像から、文字の少なくとも一部を含む前記基準領域としての基準文字領域と、少なくとも１つの前記基準文字領域と他の前記基準領域とを含む拡大文字領域と、を対象文字領域として抽出するステップと、
前記対象文字領域ごとに、含まれる文字を認識すると共に、認識結果の信頼度を算出するステップと、
選択済の前記基準文字領域および選択済の前記基準文字領域を含む前記拡大文字領域を重複して選択しないように前記対象文字領域を選択し、前記対象文字領域の組合せの異なる複数の組合せ候補を生成するステップと、
複数の前記組合せ候補の内、含まれる文字の認識結果の信頼度の最も高い前記組合せ候補を特定するステップと、
特定した前記組合せ候補における、前記対象文字領域ごとに認識された文字の位置関係に基づいて、該組合せ候補に含まれる文字によって表される要素を決定し、前記要素を示す要素情報を含む出力情報を、前記帳票画像の文字認識結果として出力制御するステップと、
を含む文字認識方法。
【請求項１３】
入力枠によって囲まれた基準領域が第１方向および該第１方向に交差する第２方向に連続して配列され、且つ文字の記入された帳票の、帳票画像を取得するステップと、
前記帳票画像から、文字の少なくとも一部を含む前記基準領域としての基準文字領域と、少なくとも１つの前記基準文字領域と他の前記基準領域とを含む拡大文字領域と、を対象文字領域として抽出するステップと、
前記対象文字領域ごとに、含まれる文字を認識すると共に、認識結果の信頼度を算出するステップと、
選択済の前記基準文字領域および選択済の前記基準文字領域を含む前記拡大文字領域を重複して選択しないように前記対象文字領域を選択し、前記対象文字領域の組合せの異なる複数の組合せ候補を生成するステップと、
複数の前記組合せ候補の内、含まれる文字の認識結果の信頼度の最も高い前記組合せ候補を特定するステップと、
特定した前記組合せ候補における、前記対象文字領域ごとに認識された文字の位置関係に基づいて、該組合せ候補に含まれる文字によって表される要素を決定し、前記要素を示す要素情報を含む出力情報を、前記帳票画像の文字認識結果として出力制御するステップと、
をコンピュータに実行させるための文字認識プログラム。
【請求項１４】
入力枠が第１方向および該第１方向に交差する第２方向に連続して配列され、前記入力枠の内側に内側入力枠が配置されてなる、帳票。
【請求項１５】
前記入力枠と前記内側入力枠との間に、前記内側入力枠と前記入力枠との間の周辺領域を複数領域に区切る区切り線が配置されてなる、請求項１４に記載の帳票。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施の形態は、文字認識装置、文字認識方法、文字認識プログラム、および帳票に関する。
【背景技術】
【０００２】
試験答案等の帳票に記載された手書き文字を認識する方法が知られている。例えば、行方向に沿って等間隔に配列された罫線と、列方向に沿って等間隔に配列された罫線と、が印刷された帳票を用い、該帳票の罫線によって示される入力枠の各々に従って、文字を記入させることが行われている。そして、文字の記入された帳票を読取った帳票画像を用いて、文字認識を行う方法が開示されている。例えば、１つの入力枠に記入された文字を１文字として認識し、予め定めた順番で並べたテキストデータを、帳票の文字認識結果として用いる方法が開示されている。
【０００３】
しかし、帳票に記入される文字は、一方向の配列方向に限定されず、数式の項や化学式等のように、複数方向に配列されたレイアウトによって表される場合がある。このため、入力枠がマトリクス状に配列された帳票に記入された文字を認識する場合、文字によって占める枠数が異なる、同じ文字であっても書き方によって占める枠数にばらつきがある、などの理由から、文字認識精度が低下する場合があった。すなわち、従来では、帳票に記入された多様なレイアウトの文字を精度良く認識することは困難であった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１−２５０１６５号公報
【特許文献２】特開２０１６−０５３８７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、多様なレイアウトの文字を精度良く認識することができる文字認識装置、文字認識方法、文字認識プログラム、および帳票を提供することである。
【課題を解決するための手段】
【０００６】
実施の形態の文字認識装置は、取得部と、抽出部と、認識部と、生成部と、特定部と、出力制御部と、を備える。取得部は、入力枠によって囲まれた基準領域が第１方向および該第１方向に交差する第２方向に連続して配列され、且つ文字の記入された帳票の、帳票画像を取得する。抽出部は、前記帳票画像から、文字の少なくとも一部を含む前記基準領域としての基準文字領域と、少なくとも１つの前記基準文字領域と他の前記基準領域とを含む拡大文字領域と、を対象文字領域として抽出する。認識部は、前記対象文字領域ごとに、含まれる文字を認識すると共に、認識結果の信頼度を算出する。生成部は、選択済の前記基準文字領域および選択済の前記基準文字領域を含む前記拡大文字領域を重複して選択しないように前記対象文字領域を選択し、前記対象文字領域の組合せの異なる複数の組合せ候補を生成する。特定部は、複数の前記組合せ候補の内、含まれる文字の認識結果の信頼度の最も高い前記組合せ候補を特定する。出力制御部は、特定した前記組合せ候補における、前記対象文字領域ごとに認識された文字の位置関係に基づいて、該組合せ候補に含まれる文字によって表される要素を決定し、前記要素を示す要素情報を含む出力情報を、前記帳票画像の文字認識結果として出力制御する。
【図面の簡単な説明】
【０００７】
【図１】図１は、本実施の形態の文字認識システムの一例を示す図である。
【図２−１】図２−１は、帳票および帳票画像の一例を示す模式図である。
【図２−２】図２−２は、要素の一例を示す図である。
【図３】図３は、対象文字領域の抽出の一例を示す模式図である。
【図４】図４は、組合せ候補の選択、および、出力情報の生成の一例を示す、説明図である。
【図５】図５は、文字認識処理の手順の一例を示すフローチャートである。
【図６】図６は、対象文字領域抽出処理の手順の一例を示すフローチャートである。
【図７】図７は、組合せ候補選択処理の手順の一例を示すフローチャートである。
【図８】図８は、帳票の一例を示す模式図である。
【図９】図９は、文字認識システムの一例を示す図である。
【図１０−１】図１０−１は、帳票の模式図である。
【図１０−２】図１０−２は、帳票の模式図である。
【図１１】図１１は、帳票の一例を示す模式図である。
【図１２】図１２は、文字認識装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、文字認識装置、文字認識方法、文字認識プログラム、および帳票を詳細に説明する。
【０００９】
（第１の実施の形態）
図１は、本実施の形態の文字認識システム１０の一例を示す図である。
【００１０】
文字認識システム１０は、文字認識装置１２と、読取部１４と、入力部１６と、出力部１８と、を備える。文字認識装置１２と、読取部１４と、入力部１６と、出力部１８と、は、バス２４を介して接続されている。
【００１１】
文字認識装置１２は、帳票に記入された文字を認識する装置である。帳票は、答案用紙、帳簿、伝票、などの書類であり、ユーザによって手書き記入のなされる書類である。本実施の形態では、文字認識装置１２は、文字の記入された帳票の帳票画像を用いて、帳票に記入された文字を認識する。
【００１２】
図２−１は、帳票７０および帳票画像３０の一例を示す模式図である。帳票７０には、入力枠３４によって囲まれた基準領域３２が、行方向Ｘ（第１方向）および列方向Ｙ（第２方向）に連続して配列されている。行方向Ｘおよび列方向Ｙは、互いに交差する方向である。本実施の形態では、行方向Ｘおよび列方向Ｙは、互いに直交する方向である場合を説明する。なお、１つの入力枠３４内には、１つの基準領域３２のみが含まれるものとする。
【００１３】
帳票７０に含まれる、入力枠３４の各々によって囲まれた基準領域３２の各々は、互いに同じ大きさであり、且つ、同じ形状である。また、本実施の形態では、基準領域３２の形状は、矩形状である場合を一例として説明する。具体的には、基準領域３２が、長方形または正方形である場合を説明する。
【００１４】
すなわち、本実施の形態では、帳票７０には、行方向Ｘに沿って等間隔に配列された第１罫線３４Ａと、列方向Ｙに沿って等間隔に配列された第２罫線３４Ｂと、が印刷されている。帳票７０には、行方向Ｘに隣接する１対の第１罫線３４Ａと、列方向Ｙに隣接する一対の第２罫線３４Ｂと、によって、矩形状の入力枠３４が形成されている。入力枠３４は、隣接する２本の第１罫線３４Ａと、隣接する２本の第２罫線３４Ｂと、によって形成される枠であり、内側に他の罫線（第１罫線３４Ａ、第２罫線３４Ｂ）は存在しない。
【００１５】
なお、帳票７０に含まれる基準領域３２は、行方向Ｘおよび列方向Ｙに向かって連続して配置され、且つ、互いに同じ形状および同じ大きさであればよい。このため、帳票７０に含まれる基準領域３２（入力枠３４）の形状は、矩形状に限定されない。例えば、帳票７０に含まれる基準領域３２（入力枠３４）の形状は、円形状であってもよい。
【００１６】
基準領域３２の大きさは限定されない。但し、基準領域３２の大きさは、手書き記入される対象の、最小の文字４０の大きさ以上であり、且つ、最大の文字４０の大きさ以下である。
【００１７】
帳票７０に記入される文字４０は、手書きで記入される文字であればよい。手書きで記入とは、紙媒体である帳票７０への記入や、電子化されてディスプレイに表示された帳票７０（電子帳票と称される場合もある）への記入を示す。帳票７０が紙媒体である場合、手書きで記入とは、筆記具などによって帳票７０に文字を記入することを示す。帳票７０が電子帳票である場合、手書きで記入とは、ディスプレイに表示された電子帳票（帳票７０）に、電子的な入力デバイスを用いて記入を行うことを示す。
【００１８】
本実施の形態では、一例として、紙媒体である帳票７０に、筆記具などによって文字が手書きで記入される場合を説明する。
【００１９】
また、本実施の形態の文字認識装置１２で認識する対象の文字４０は、式や言語を書き記すための記号であればよい。具体的には、文字４０は、漢字、平仮名、カタカナ、数字、英数字、式に含まれる記号、などである。式は、数式、化学反応式などである。
【００２０】
ここで、図２−１に示すように、複数の文字４０によって、１つの要素４２が表される場合がある。要素４２とは、複数の文字４０の配置および組合せによって表される、１つの構成単位である。具体的には、要素４２は、数式の項、および、化学式、の少なくとも１つである。化学式は、化学反応式の項として表される場合もある。
【００２１】
図２−１には、要素４２の一例として、数式の項４２Ａを示した。図２−１に示す例では、数式の項４２Ａは、複数の文字４０（文字４０１〜文字４０５）で表される。
【００２２】
図２−２には、要素４２の一例として、化学式４２Ｂを示した。図２−２に示す例では、化学式４２Ｂは、複数の文字４０（文字４０６〜文字４０８）で表される。
【００２３】
なお、以下では、要素４２が、数式の項４２Ａである場合を一例として説明する（図２−１参照）。
【００２４】
図１に戻り、説明を続ける。読取部１４は、文字４０の記入された帳票７０の帳票画像３０を取得する。読取部１４は、例えば、デジタルカメラや、スキャナ装置である。読取部１４がデジタルカメラである場合、読取部１４は、文字４０の記入された帳票７０を撮影することによって、帳票画像３０を得る。読取部１４がスキャナ装置である場合、読取部１４は、文字４０の記入された帳票７０をスキャンすることにより、帳票画像３０を得る。
【００２５】
入力部１６は、デジタルペン、マウス、またはトラックボール等のポインティングデバイスや、キーボード等の入力デバイスである。また、入力部１６は、ディスプレイと一体的に設けられたタッチパネルにおける入力機能であってもよい。
【００２６】
出力部１８は、各種情報を出力する。本実施の形態では、出力部１８は、出力情報を出力する。出力情報は、文字認識装置１２による、帳票画像３０の文字認識結果を示す情報である。出力情報については、詳細を後述する。
【００２７】
出力部１８は、通信装置、および、表示装置、の少なくとも一方を含む。通信装置は、出力情報を他の装置へ送信する。例えば、通信装置は、公知の通信回線を介して、出力情報を外部装置へ送信する。表示装置は、出力情報を示す画像を表示する。表示装置は、例えば、公知のＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）や投影装置である。
【００２８】
次に、文字認識装置１２について、詳細に説明する。
【００２９】
文字認識装置１２は、記憶部２２と、処理回路２０と、を備える。記憶部２２と処理回路２０とは、バス２４を介して接続されている。すなわち、読取部１４と、入力部１６と、出力部１８と、記憶部２２と、処理回路２０と、は、バス２４を介して接続されている。
【００３０】
なお、記憶部２２、読取部１４、入力部１６、および出力部１８の少なくとも１つは、有線または無線で処理回路２０に接続すればよい。また、記憶部２２、読取部１４、入力部１６、および出力部１８の少なくとも１つと、処理回路２０と、をネットワークを介して接続してもよい。また、処理回路２０に含まれる後述する各機能部の少なくとも１つは、クラウド上で処理を実行するクラウドサーバに搭載されていてもよい。
【００３１】
記憶部２２は、各種データを記憶する。記憶部２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部２２は、文字認識装置１２の外部に設けられた記憶装置であってもよい。また、記憶部２２は、記憶媒体であってもよい。具体的には、記憶媒体は、プログラムや各種情報を、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やインターネットなどを介してダウンロードして記憶または一時記憶したものであってもよい。また、記憶部２２を、複数の記憶媒体から構成してもよい。
【００３２】
次に、処理回路２０について説明する。処理回路２０は、取得部２０Ａと、抽出部２０Ｂと、認識部２０Ｃと、選択部２０Ｄと、出力制御部２０Ｈと、を含む。選択部２０Ｄは、設定部２０Ｅと、生成部２０Ｆと、特定部２０Ｇと、を含む。出力制御部２０Ｈは、判定部２０Ｉと、決定部２０Ｊと、結果出力制御部２０Ｋと、を含む。
【００３３】
処理回路２０における上記各部（各機能）は、コンピュータによって実行可能なプログラムの形態で記憶部２２へ記憶されている。処理回路２０は、プログラムを記憶部２２から読出、実行することで、各プログラムに対応する機能を実現するプロセッサである。
【００３４】
各プログラムを読み出した状態の処理回路２０は、図１の処理回路２０内に示された各機能を有することになる。図１においては単一の処理回路２０によって、取得部２０Ａ、抽出部２０Ｂ、認識部２０Ｃ、選択部２０Ｄ、および、出力制御部２０Ｈが実現されるものとして説明する。
【００３５】
なお、各機能の各々を実現するための独立した複数のプロセッサを組み合わせて処理回路２０を構成してもよい。この場合、各プロセッサがプログラムを実行することにより各機能を実現する。また、各処理機能がプログラムとして構成され、１つの処理回路が各プログラムを実行する場合であってもよいし、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。
【００３６】
なお、本実施の形態および後述する実施の形態において用いる「プロセッサ」との文言は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）或いは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ：ＦＰＧＡ））の回路を意味する。
【００３７】
プロセッサは、記憶部２２に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶部２２にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。
【００３８】
以下、各機能について説明する。
【００３９】
取得部２０Ａは、読取部１４から帳票画像３０を取得する。なお、記憶部２２に、文字認識対象の帳票画像３０を予め記憶してもよい。この場合、取得部２０Ａは、記憶部２２から帳票画像３０を取得すればよい。また、取得部２０Ａは、外部装置から通信回線を介して帳票画像３０を取得することで、帳票画像３０を取得してもよい。
【００４０】
抽出部２０Ｂは、帳票画像３０から、対象文字領域を抽出する。図３は、対象文字領域３２Ｃの抽出の一例を示す模式図である。
【００４１】
対象文字領域３２Ｃは、帳票画像３０における、文字認識の対象となる領域である。対象文字領域３２Ｃは、基準文字領域３２Ａと、拡大文字領域３２Ｂと、から構成される。
【００４２】
基準文字領域３２Ａは、帳票画像３０に含まれる基準領域３２の内、文字４０の少なくとも一部を含む基準領域３２である。
【００４３】
拡大文字領域３２Ｂは、少なくとも１つの基準文字領域３２Ａと、他の基準領域３２と、を含む領域である。言い換えると、拡大文字領域３２Ｂは、複数の基準領域３２から構成される。そして、拡大文字領域３２Ｂは、複数の基準領域３２の内、少なくとも１つが基準文字領域３２Ａである。
【００４４】
抽出部２０Ｂは、帳票画像３０から、上記定義を満たす全ての対象文字領域３２Ｃを抽出する。
【００４５】
図３（Ａ）は、基準文字領域３２Ａの抽出の一例を示す模式図である。また、図３（Ａ）は、図２−１に示す帳票画像３０の一部を拡大して示した模式図である。なお、以下では、帳票画像３０に含まれる基準領域３２の各々の位置を、行方向Ｘの座標ｊと、列方向Ｙの座標ｉと、を用いて表す。なお、帳票画像３０における左上の基準領域３２の位置（ｉ，ｊ）を原点（０，０）とする。例えば、帳票画像３０における文字“ｎ”を含む基準領域３２の位置（ｉ，ｊ）は、位置（０，１）と表せる。
【００４６】
例えば、取得部２０Ａが図３（Ａ）に示す帳票画像３０を取得した場合、抽出部２０Ｂは、帳票画像３０に含まれる基準領域３２の内、文字４０の少なくとも一部を含む基準領域３２である、位置（０，１）、位置（１，１）、位置（１，２）、位置（２，１）、位置（２，２）、位置（３，０）、位置（３，１）、および位置（３，２）の各々の位置（ｉ，ｊ）の基準領域３２を、基準文字領域３２Ａとして抽出する（基準文字領域３２Ａ１〜基準領域３２Ａ８参照）。
【００４７】
次に、抽出部２０Ｂは、拡大文字領域３２Ｂを抽出する。図３（Ｂ）は、拡大文字領域３２Ｂの抽出の一例を示す模式図である。
【００４８】
抽出部２０Ｂは、帳票画像３０における、少なくとも１つ以上の基準文字領域３２Ａを含む、複数の基準領域３２から構成される領域を、拡大文字領域３２Ｂとして抽出する。以下では、拡大文字領域３２Ｂにおける、これらの条件を、基準抽出条件と称して説明する場合がある。すなわち、基準抽出条件は、複数の基準領域３２を含み、少なくとも１つが基準文字領域３２Ａであることを示す。
【００４９】
なお、抽出部２０Ｂは、拡大文字領域３２Ｂについては、上記基準抽出条件を満たし、且つ、以下に示す、抽出条件０〜抽出条件６の少なくとも１つを満たすように、拡大文字領域３２Ｂを抽出することが好ましい。
【００５０】
・抽出条件０：含まれる基準領域３２が互いに隣接する。
・抽出条件１：拡大文字領域３２Ｂの形状が矩形状。
・抽出条件２：行方向Ｘ（第１方向）に連続する基準領域３２の数が第１閾値以下。
・抽出条件３：列方向Ｙ（第２方向）に連続する基準領域３２の数が第２閾値以下。
・抽出条件４：含まれる基準文字領域３２Ａの割合が第３割合以上。
・抽出条件５：行方向Ｘ（第１方向）に連続する基準領域３２の全てが基準文字領域３２Ａ。
・抽出条件６：列方向Ｙ（第２方向）に連続する基準領域３２の全てが基準文字領域３２Ａ。
【００５１】
抽出部２０Ｂは、基準抽出条件を満たし、且つ、上記抽出条件０〜抽出条件６の少なくとも１つを満たすように、帳票画像３０から拡大文字領域３２Ｂを抽出すればよい。なお、抽出部２０Ｂが、抽出条件１〜抽出条件６の内の何れの抽出条件を用いるかは、予め設定すればよい。例えば、記憶部２２は、拡大文字領域３２Ｂの抽出時に用いる抽出条件を示す条件識別情報を、予め記憶する。抽出部２０Ｂは、記憶部２２に記憶されている条件識別情報によって示される抽出条件と、基準抽出条件と、を満たすように、帳票画像３０から拡大文字領域３２Ｂを抽出すればよい。
【００５２】
なお、拡大文字領域３２Ｂの抽出時に用いる抽出条件を示す条件識別情報は、予め設定すればよい。また、条件識別情報は、ユーザによる入力部１６の操作指示などによって適宜変更可能としてもよい。
【００５３】
抽出部２０Ｂが、基準抽出条件と、抽出条件０〜抽出条件６の少なくとも１つと、を満たすように、拡大文字領域３２Ｂを抽出することで、抽出される拡大文字領域３２Ｂの数が限定され、抽出のための計算負荷の軽減や抽出時間の短縮を図ることができる。
【００５４】
なお、抽出条件２における上記第１閾値、および、抽出条件３における上記第２閾値は、認識対象の文字４０によって構成される要素４２の種類などに応じて、予め設定すればよい。具体的には、第１閾値および第２閾値の少なくとも一方を、認識対象の要素４２（数式の項４２Ａや化学式４２Ｂ）に応じて予め設定することが好ましい。第１閾値および第２閾値の少なくとも一方を、認識対象の要素４２に応じて予め設定することで、文字認識精度の向上を更に図ることができる。
【００５５】
なお、第１閾値および第２閾値は、ユーザによる入力部１６の操作指示などによって適宜変更可能としてもよい。また、上記第３割合についても同様に、予め設定すればよい。また、第３割合は、ユーザによる入力部１６の操作指示などによって適宜変更可能としてもよい。
【００５６】
図３（Ｂ）には、抽出部２０Ｂが、基準抽出条件を満たし、且つ、抽出条件１、抽出条件２、および抽出条件３を満たすように、図２−１に示す帳票画像３０から拡大文字領域３２Ｂを抽出した例を示した。なお、第１閾値および第２閾値を“２”とした。
【００５７】
図３（Ｂ）に示すように、例えば、抽出部２０Ｂは、位置（０，１）に位置する基準文字領域３２Ａ１を含む拡大文字領域３２Ｂ１を抽出する。また、同様にして、抽出部２０Ｂは、複数の基準領域３２を含み、基準領域３２Ａ１〜基準領域３２Ａ８の少なくとも１つを含み、且つ、抽出条件１、抽出条件２、および抽出条件３を満たす、拡大文字領域３２Ｂを抽出する（図３（Ｂ）では図示省略）。
【００５８】
図３（Ｃ）は、抽出された対象文字領域３２Ｃ（基準文字領域３２Ａ、拡大文字領域３２Ｂ）の一例を示す模式図である。例えば、抽出部２０Ｂは、図３（Ａ）に示す帳票画像３０から、基準文字領域３２Ａ（基準文字領域３２Ａ１〜基準文字領域３２Ａ８）と、拡大文字領域３２Ｂ（拡大文字領域３２Ｂ１〜拡大文字領域３２Ｂ５）と、を対象文字領域３２Ｃとして抽出する。
【００５９】
なお、図３（Ｃ）には、説明を簡略化するために、抽出された対象文字領域３２Ｃの各々を、帳票画像３０における位置を考慮しない形態で示した。しかし、実際には、抽出部２０Ｂは、帳票画像３０における位置および占める範囲を特定することで、対象文字領域３２Ｃの各々を抽出する。
【００６０】
図１に戻り、説明を続ける。認識部２０Ｃは、抽出部２０Ｂで抽出された対象文字領域３２Ｃごとに、含まれる文字４０を認識する。また、認識部２０Ｃは、対象文字領域３２Ｃごとに、文字４０の認識結果の信頼度を算出する。
【００６１】
認識部２０Ｃは、公知の方法を用いて、対象文字領域３２Ｃに含まれる線画像から、該対象文字領域３２Ｃに含まれる文字４０を認識すればよい。例えば、認識部２０Ｃは、文字とみなす記号を予め登録した辞書データを、記憶部２２に予め記憶する。そして、認識部２０Ｃは、該辞書データに登録されている記号と、対象文字領域３２Ｃに含まれる線画像と、を比較し、最も類似する記号によって示される文字４０を、該対象文字領域３２Ｃに含まれる文字４０として認識する。
【００６２】
また、認識部２０Ｃは、公知の方法を用いて、対象文字領域３２Ｃの各々について、文字４０の認識結果の信頼度を算出すればよい。信頼度は、文字４０の認識結果の確からしさを示す指標である。信頼度が高いほど、文字４０の認識結果がより正確であることを示す。認識部２０Ｃは、対象文字領域３２Ｃの各々について、認識した文字４０と辞書データに登録されている最も類似する記号との類似度が高いほど、高い信頼度を算出すればよい。
【００６３】
次に、選択部２０Ｄについて説明する。選択部２０Ｄは、抽出部２０Ｂによって抽出された複数の対象文字領域３２Ｃを組み合わせた複数の組合せ候補から、１つの組合せ候補を選択する。
【００６４】
選択部２０Ｄは、設定部２０Ｅと、生成部２０Ｆと、特定部２０Ｇと、を含む。
【００６５】
図４は、組合せ候補５２の選択、および、出力情報５６の生成の一例を示す、説明図である。
【００６６】
設定部２０Ｅは、帳票画像３０に含まれる基準文字領域３２Ａごとに、対象文字領域群５０を設定する。対象文字領域群５０は、基準文字領域３２Ａの各々に対応して設定される。対象文字領域群５０は、対応する基準文字領域３２Ａを含む、１または複数の対象文字領域３２Ｃから構成される。
【００６７】
詳細には、設定部２０Ｅは、帳票画像３０に含まれる基準文字領域３２Ａを、処理対象として１つずつ順次設定する。例えば、設定部２０Ｅは、図２−１に示す帳票画像３０の左上の基準領域３２の位置（ｉ，ｊ）を原点（０，０）とし、行方向Ｘに向かって基準文字領域３２Ａを順次処理対象として設定する処理を、行方向Ｘの１行ごとに、列方向Ｙに向かって順次実行する。
【００６８】
そして、設定部２０Ｅは、処理対象として基準文字領域３２Ａを１つ設定するごとに、設定した処理対象の基準文字領域３２Ａを含み、且つ設定済の他の対象文字領域群５０に含まれない対象文字領域３２Ｃを、対象文字領域群５０として設定する。
【００６９】
例えば、抽出部２０Ｂによって、図４（Ａ）に示す、複数の対象文字領域３２Ｃ（基準文字領域３２Ａ（基準文字領域３２Ａ１〜基準文字領域３２Ａ８）、拡大文字領域３２Ｂ（拡大文字領域３２Ｂ１〜拡大文字領域３２Ｂ５））が、帳票画像３０から抽出されたと仮定する。なお、図４（Ａ）に示す対象文字領域３２Ｃの位置は、実際は、抽出元の帳票画像３０における位置を維持したものとなっているが、図４（Ａ）には、説明の都合上、単に列挙して示した。また、図４（Ａ）は、図３（Ｃ）と同様である。
【００７０】
この場合、例えば、設定部２０Ｅは、図４（Ｂ）に示す、複数の対象文字領域群５０（対象文字領域群５０Ａ〜対象文字領域群５０Ｆ）を設定する。
【００７１】
詳細には、設定部２０Ｅは、基準文字領域３２Ａ１と、該基準文字領域３２Ａ１を含む拡大文字領域３２Ｂ１と、を基準文字領域３２Ａ１に対応する対象文字領域群５０Ａとして設定する。
【００７２】
同様に、設定部２０Ｅは、基準文字領域３２Ａ２と、該基準文字領域３２Ａ２を含む拡大文字領域３２Ｂ２および拡大文字領域３２Ｂ３と、を基準文字領域３２Ａ２に対応する対象文字領域群５０Ｂとして設定する。また、設定部２０Ｅは、基準文字領域３２Ａ３と、基準文字領域３２Ａ３を含む拡大文字領域３２Ｂ４と、を対象文字領域群５０Ｃとして設定する。また、設定部２０Ｅは、基準文字領域３２Ａ６を、基準文字領域３２Ａ６に対応する対象文字領域群５０Ｄとして設定する。
【００７３】
また、設定部２０Ｅは、基準文字領域３２Ａ７と、基準文字領域３２Ａ７を含む拡大文字領域３２Ｂ５と、を該基準文字領域３２Ａ７に対応する対象文字領域群５０Ｅとして設定する。また、設定部２０Ｅは、基準文字領域３２Ａ８を、該基準文字領域３２Ａ８に対応する対象文字領域群５０Ｆとして設定する。
【００７４】
このため、図４（Ｂ）に示すように、抽出された対象文字領域３２Ｃの各々は、何れかの対象文字領域群５０に属した状態となる。
【００７５】
次に、生成部２０Ｆについて説明する。生成部２０Ｆは、選択済の基準文字領域３２Ａおよび選択済の基準文字領域３２Ａを含む拡大文字領域３２Ｂを重複して選択しないように、対象文字領域３２Ｃを選択する。この選択によって、生成部２０Ｆは、対象文字領域３２Ｃの組合せの異なる複数の組合せ候補５２を生成する（図４（Ｃ）参照）。
【００７６】
詳細には、生成部２０Ｆは、選択済の基準文字領域３２Ａおよび選択済の基準文字領域３２Ａを含む拡大文字領域３２Ｂを重複して選択しないように、基準文字領域３２Ａの各々に対応する対象文字領域群５０（対象文字領域群５０Ａ〜対象文字領域群５０Ｆ）の各々から、対象文字領域３２Ｃを選択する。なお、図４（Ｂ）に示す、対象文字領域群５０間を結ぶ線は、組合せ候補５２になりうる組合せの一例を示す線である。
【００７７】
すなわち、生成部２０Ｆは、基準文字領域３２Ａの各々に対応する対象文字領域群５０の各々から、基準文字領域３２Ａまたは該基準文字領域３２Ａを含む拡大文字領域３２Ｂが、同じ組合せ候補５２として重複して選択されないように、対象文字領域３２Ｃを選択し、複数の組合せ候補５２を生成する。
【００７８】
なお、選択時に用いる上記条件を、以下では、基本選択条件と称して説明する。すなわち、基本選択条件は、選択済の基準文字領域３２Ａおよび選択済の基準文字領域３２Ａを含む拡大文字領域３２Ｂを重複して選択しないように、対象文字領域３２Ｃを選択することを示す。
【００７９】
例えば、生成部２０Ｆは、設定部２０Ｅによって基準文字領域３２Ａごとに設定された対象文字領域群５０（対象文字領域群５０Ａ〜対象文字領域群５０Ｆ）の各々から、上記基本選択条件を満たすように、対象文字領域３２Ｃを選択する。この選択によって、生成部２０Ｆは、組合せ候補５２Ａ〜組合せ候補５２Ｄを生成する（図４（Ｃ）参照）。
【００８０】
図４（Ｃ）に示すように、各組合せ候補５２（組合せ候補５２Ａ〜組合せ候補５２Ｄ）の各々には、同じ基準文字領域３２Ａや、同じ基準文字領域３２Ａを含む拡大文字領域３２Ｂが含まれない構成となる。
【００８１】
ここで、帳票画像３０から抽出された対象文字領域３２Ｃの数が多くなるほど、生成される組合せ候補５２の数が多くなる。このため、生成部２０Ｆは、組合せ候補５２の生成時に、上記の基本選択条件に加えて、以下の第１の選択条件および第２の選択条件の少なくとも１つを加えて、組合せ候補５２を生成してもよい。
【００８２】
・第１の選択条件：信頼度が所定の第３閾値以下の対象文字領域３２Ｃを選択対象外とする。
・第２の選択条件：帳票画像３０に含まれる対象文字領域３２Ｃを信頼度の高い順に並べ、１つ上の他の対象文字領域３２Ｃとの信頼度の差が第４閾値以上の対象文字領域３２Ｃを選択対象外とする。
【００８３】
生成部２０Ｆが、上記の基本選択条件に加えて、上記第１の選択条件および第２の選択条件の少なくとも１つを加えた選択条件を満たすように対象文字領域３２Ｃを選択し、組合せ候補５２を生成することで、組合せ候補５２の生成処理に要する処理負荷の軽減や、処理時間の短縮を図ることができる。
【００８４】
なお、上記第３閾値は、予め設定すればよい。なお、第３閾値は、ユーザによる入力部１６の操作指示などによって適宜変更可能としてもよい。また、生成部２０Ｆが、設定部２０Ｅで設定された対象文字領域群５０の数や、対象文字領域群５０に含まれる対象文字領域３２Ｃの数が多いほど、値が大きくなるように、第３閾値を設定してもよい。
【００８５】
同様に、上記第４閾値は、予め設定すればよい。また、第４閾値は、ユーザによる入力部１６の操作指示などによって、適宜変更可能としてもよい。また、生成部２０Ｆが、設定部２０Ｅで設定された対象文字領域群５０の数や、対象文字領域群５０に含まれる対象文字領域３２Ｃの数が多いほど、値が小さくなるように、第４閾値を設定してもよい。
【００８６】
次に、特定部２０Ｇについて説明する。特定部２０Ｇは、生成部２０Ｆで生成された複数の組合せ候補５２の内、含まれる文字４０の認識結果の信頼度の最も高い組合せ候補５２を特定する。
【００８７】
まず、特定部２０Ｇは、生成部２０Ｆで生成された複数の組合せ候補５２（組合せ候補５２Ａ〜組合せ候補５２Ｄ）の各々に対する、総合信頼度を算出する。総合信頼度は、組合せ候補５２に含まれる対象文字領域３２Ｃの各々の信頼度の、総合的な信頼度である。すなわち、総合信頼度は、組合せ候補５２に対する信頼度を示す。
【００８８】
特定部２０Ｇは、以下の式（１）を用いて、総合信頼度を算出する。
【００８９】
【数１】
2018063597.tif 000003
【００９０】
式（１）中、Ｒは、組合せ候補５２の総合信頼度を示す。また、式（１）中、ｉは、１以上ｎ以下の整数である。ｎは、算出対象の組合せ候補５２に含まれる対象文字領域３２Ｃの数を示す。ｒｉは、算出対象の組合せ候補５２に含まれる対象文字領域３２Ｃの各々の信頼度を示す。
【００９１】
すなわち、本実施の形態では、特定部２０Ｇは、組合せ候補５２の各々について、組合せ候補５２に含まれる対象文字領域３２Ｃの信頼度の平均値を、総合信頼度Ｒとして算出する。
【００９２】
そして、特定部２０Ｇは、複数の組合せ候補５２（組合せ候補５２Ａ〜組合せ候補５２Ｄ）の内、総合信頼度Ｒの最も高い１つの組合せ候補５２（例えば、組合せ候補５２Ｂ）を特定する（図４（Ｄ）参照）。
【００９３】
特定部２０Ｇによって特定された組合せ候補５２は、含まれる対象文字領域３２Ｃの文字認識の信頼度の平均値が、他の組合せ候補５２に比べて高いものである。すなわち、特定部２０Ｇは、生成部２０Ｆで生成された複数の組合せ候補５２の内、含まれる文字４０の認識結果の信頼度の最も高い組合せ候補５２を特定する。
【００９４】
図１に戻り、説明を続ける。出力制御部２０Ｈは、特定部２０Ｇで特定された組合せ候補５２における、対象文字領域３２Ｃごとに認識された文字４０の位置関係に基づいて、該組合せ候補５２に含まれる文字４０によって表される要素４２を示す要素情報を含む出力情報を、帳票画像３０の文字認識結果として出力制御する。
【００９５】
本実施の形態では、数式の項４２Ａを示す要素情報を含む出力情報を、出力制御する。なお、上述したように、要素４２は、化学式４２Ｂであってもよい。このため、出力制御部２０Ｈは、数式の項４２Ａおよび化学式４２Ｂの少なくとも一方を示す要素情報を含む出力情報を、出力制御すればよい。
【００９６】
出力制御部２０Ｈは、判定部２０Ｉと、決定部２０Ｊと、結果出力制御部２０Ｋと、を含む。
【００９７】
判定部２０Ｉは、特定部２０Ｇで特定された組合せ候補５２に含まれる、対象文字領域３２Ｃの各々について、認識された文字４０と該組合せ候補５２における他の対象文字領域３２Ｃで認識された文字４０との位置関係と、文字属性と、を判別する。
【００９８】
位置関係とは、組合せ候補５２に含まれる、対象文字領域３２Ｃの各々に含まれる文字４０の、該組合せ候補５２に含まれる他の対象文字領域３２Ｃに含まれる文字４０に対する相対位置を示す。
【００９９】
文字属性とは、文字４０の属性を示す。本実施の形態では、文字属性は、他の文字４０に対する関係性を示す。具体的には、文字属性は、上付き、下付き、添え字、を示す。添え字には、右上添え字、左上添え字、右下添え字、左下添え字、などである。
【０１００】
判定部２０Ｉは、文字属性に対応する判別基準を予め設定する。判別基準は、対応する文字属性を判別するための基準である。判別基準は、特定対象の文字４０の、他の文字４０に対する相対位置（位置関係）と、特定対象の文字４０の、他の文字４０に対する相対的な大きさと、の少なくとも一方によって規定される。
【０１０１】
例えば、判定部２０Ｉは、文字属性の種類“上付き”に対応する判別基準として、“判別対象の文字４０の下方に他の文字４０が位置し、且つ、判別対象の文字４０の高さが該他の文字４０の高さの１／２以下である”事を示す情報を予め登録する。この判別基準を満たす場合、判定部２０Ｉは、該判別対象の文字４０を、該他の文字４０に対する“上付き”の文字４０であると判別する。
【０１０２】
なお、判別対象の文字４０の下方とは、図２−１に示すように、帳票画像３０に文字４０が描かれている場合、該帳票画像３０における、列方向Ｙの上流側から下流側に向かう方向を意味する。また、文字４０の高さとは、文字４０の縦方向の長さを示す。なお、文字４０の縦方向は、本実施の形態では、列方向Ｙに一致するものとして説明する。また、文字４０の横方向は、本実施の形態では、行方向Ｘに一致するものとして説明する。
【０１０３】
また、判定部２０Ｉは、文字属性の種類“右上添え字”に対応する判別基準として、“判別対象の文字４０の左方に他の文字４０が位置し、且つ、判別対象の文字４０における高さ方向の最下端の位置が、該他の文字４０における高さ方向の中央を横方向に横切る中央線より上方に位置する”事を示す情報を予め登録する。この判別基準を満たす場合、判定部２０Ｉは、該判別対象の文字４０を、該他の文字４０に対する“右上添え字”の文字４０であると判別する。
【０１０４】
なお、文字４０の高さ方向は、図２−１に示すように、帳票画像３０に文字４０が描かれている場合、該帳票画像３０における、列方向Ｙに一致する。
【０１０５】
このようにして、判定部２０Ｉは、特定部２０Ｇで特定された組合せ候補５２に含まれる、対象文字領域３２の各々について、認識部２０Ｃで認識された文字４０の文字属性を判別する。
【０１０６】
決定部２０Ｊは、特定部２０Ｇで特定された組合せ候補５２に含まれる、対象文字領域３２ごとに認識された文字４０の各々を、判定部２０Ｉで判別された位置関係によって表される位置に、判定部２０Ｉで判別された文字属性によって示される形態で配置する。
【０１０７】
これによって、決定部２０Ｊは、該組合せ候補５２に含まれる文字４０によって表される要素４２（例えば、数式の項４２Ａ）を決定する。例えば、決定部２０Ｊは、図４（Ｄ）に示す組合せ候補５２に含まれる複数の文字４０によって表される要素４２が、図４（Ｄ）に示す数式の項４２Ａを示すものであることを決定する。
【０１０８】
結果出力制御部２０Ｋは、決定部２０Ｊで決定された要素４２（数式の項４２Ａ）を示す要素情報４３を含む出力情報５６を、文字認識結果５８として出力制御する。
【０１０９】
要素情報４３は、決定部２０Ｊで決定された要素４２を示す情報である。要素情報４３は、予め定めたデータフォーマットであればよい。例えば、要素情報４３は、要素４２を構成する複数の文字４０の各々を、該要素４２を示す予め定められた正しい位置および大きさで配置し、正常表記となるように成形した要素画像であってもよいし、要素４２をテキストデータに変換したものであってもよい。
【０１１０】
なお、結果出力制御部２０Ｋは、上付きや添え字など、テキストデータで表せない文字４０については、予め定められた記号などで代用することで、テキストデータを生成すればよい。例えば、結果出力制御部２０Ｋは、“＾”を、右上添え字を表す記号として予め登録する。そして、結果出力制御部２０Ｋは、決定部２０Ｊで決定した数式の項４２Ａが“Ｘ２”である場合、テキストデータ“Ｘ＾２”を、要素情報４３として生成する。
【０１１１】
具体的には、例えば、決定部２０Ｊで、図４（Ｄ）に示す数式の項４２Ａが決定されたと仮定する。この場合、結果出力制御部２０Ｋは、該数式の項４２Ａを、該数式の項４２Ａを示すべき位置および大きさで配置し、正常表記となるように成形することで、図４（Ｅ）に示す要素画像４３Ａを、要素情報４３として生成する。
【０１１２】
また、要素４２をテキストデータに変換する場合、結果出力制御部２０Ｋは、該数式の項４２Ａを示すテキストデータ４３Ｂ（図４（Ｆ）参照）を、要素情報４３として生成する。
【０１１３】
そして、結果出力制御部２０Ｋは、生成した要素情報４３を含む出力情報５６を、文字認識結果５８として出力制御する。なお、帳票画像３０に含まれる文字４０には、要素４２として特定されなかった文字４０が含まれる場合がある。この場合、結果出力制御部２０Ｋは、生成した要素情報４３と、要素４２として特定されなかった文字４０の文字情報（例えば、テキストデータ）と、を含む出力情報５６を、文字認識結果５８として出力制御すればよい。
【０１１４】
本実施の形態では、結果出力制御部２０Ｋは、出力情報５６を、出力部１８から出力制御する。出力部１８が表示装置である場合、結果出力制御部２０Ｋは、出力情報５６を表示するように、出力部１８を制御する。出力部１８が通信装置である場合、結果出力制御部２０Ｋは、出力情報５６を、通信装置を介して所定の外部装置へ送信する。なお、結果出力制御部２０Ｋは、出力情報５６を、記憶部２２へ記憶してもよい。
【０１１５】
次に、処理回路２０が実行する文字認識処理の手順の一例を説明する。図５は、処理回路２０が実行する文字認識処理の手順の一例を示す、フローチャートである。
【０１１６】
まず、取得部２０Ａが帳票画像３０を取得する（ステップＳ１００）。次に、抽出部２０Ｂが、ステップＳ１００で取得した帳票画像３０から、対象文字領域３２Ｃを抽出する、対象文字領域抽出処理を実行する（ステップＳ１０２）（詳細後述）。
【０１１７】
次に、認識部２０Ｃが、ステップＳ１０２で抽出された対象文字領域３２Ｃの各々について、含まれる文字４０を認識すると共に、文字４０の認識結果の信頼度を算出する（ステップＳ１０４）。
【０１１８】
次に、選択部２０Ｄが、ステップＳ１０２で抽出された複数の対象文字領域３２Ｃを組み合わせた、複数の組合せ候補５２から、１つの組合せ候補５２を選択する、組合せ候補選択処理を実行する（ステップＳ１０６）（詳細後述）。
【０１１９】
次に、出力制御部２０Ｈが、ステップ１０６で特定された組合せ候補５２に含まれる文字４０の位置関係に基づいて、該組合せ候補５２に含まれる文字４０によって表される要素４２を示す要素情報４３を含む出力情報５６を、ステップＳ１００で取得した帳票画像３０の文字認識結果５８として出力制御する（ステップＳ１０８）。そして、本ルーチンを終了する。
【０１２０】
次に、抽出部２０Ｂが実行する、対象文字領域抽出処理（図５のステップＳ１０２）の手順の一例を説明する。
【０１２１】
図６は、対象文字領域抽出処理の手順の一例を示す、フローチャートである。なお、図６は、抽出部２０Ｂが、図２−１に示す帳票画像３０から基準文字領域３２Ａと拡大文字領域３２Ｂとを抽出する処理の手順の一例を示した。なお、図６では、抽出部２０Ｂは、拡大文字領域３２Ｂの抽出条件として、基準抽出条件を満たし、且つ、抽出条件１、抽出条件２、および抽出条件３を満たすように、拡大文字領域３２Ｂを抽出した例を示した。なお、第１閾値および第２閾値を“２”とした。
【０１２２】
また、帳票画像３０には、図２−１に示す帳票画像３０の左上の基準領域３２の位置（ｉ，ｊ）を原点（０，０）とし、列方向Ｙに向かってｎ個の基準領域３２が配列されていると仮定する。すなわち、ｉは、０以上ｎ以下の整数であるとして説明する。また、帳票画像３０には、図２−１に示す帳票画像３０の左上の基準領域３２の位置（ｉ，ｊ）を原点（０，０）とし、行方向Ｘに向かってｍ個の基準領域３２が配列されていると仮定する。すなわち、ｊは、０以上ｍ以下の整数であるとして説明する。なお、ｎおよびｍは、１以上の整数である。
【０１２３】
抽出部２０Ｂは、帳票画像３０に含まれる各位置（ｉ、ｊ）の基準領域３２ごとに、ステップＳ２００〜ステップＳ２１４の処理を繰返し実行する。例として、図２−１に示す帳票画像３０の左上の基準領域３２の位置（ｉ，ｊ）を原点（０，０）とする。そして、抽出部２０Ｂは、行方向Ｘの上流側端部から下流側端部に向かって基準領域３２を順次処理対象として設定する。そして、設定した基準領域３２ごとに、ステップＳ２００〜ステップＳ２１４の処理を実行する。さらに、抽出部２０Ｂは、この行方向Ｘごとの処理を、列方向Ｙの上流側端部から下流側端部に向かって順次実行する。
【０１２４】
まず、抽出部２０Ｂは、処理対象として設定した位置（ｉ，ｊ）の基準領域３２に、文字４０の少なくとも一部が含まれるか否かを判定する（ステップＳ２００）。文字４０の少なくとも一部が含まれない場合、否定判断し（ステップＳ２００：Ｎｏ）、本ルーチンを終了する。
【０１２５】
一方、文字４０の少なくとも一部が含まれる場合、肯定判断し（ステップＳ２００：Ｙｅｓ）、ステップＳ２０２へ進む。
【０１２６】
ステップＳ２０２では、抽出部２０Ｂは、処理対象として設定した基準領域３２の位置（ｉ，ｊ）の、列方向Ｙの位置（ｉ）が、列方向Ｙの最後の位置（ｎ）と一致するか否かを判断する（ステップＳ２０２）。ステップＳ２０２で肯定判断すると（ステップＳ２０２：Ｙｅｓ）、ステップＳ２０４へ進む。
【０１２７】
ステップＳ２０４では、抽出部２０Ｂは、処理対象として設定した基準領域３２の位置（ｉ，ｊ）の、行方向Ｘの位置（ｊ）が、行方向Ｘの最後の位置（ｍ）と一致するか否かを判断する（ステップＳ２０４）。
【０１２８】
ステップＳ２０４で肯定判断すると（ステップＳ２０４：Ｙｅｓ）、ステップＳ２０６へ進む。ステップＳ２０６では、抽出部２０Ｂは、処理対象として設定した位置（ｉ，ｊ）の基準領域３２を、基準文字領域３２Ａ（対象文字領域３２Ｃ）として抽出する（ステップＳ２０６）。
【０１２９】
一方、ステップＳ２０４で否定判断すると（ステップＳ２０４：Ｎｏ）、ステップＳ２０８へ進む。ステップＳ２０８では、抽出部２０Ｂは、処理対象として設定した位置（ｉ，ｊ）の基準領域３２を基準文字領域３２Ａとして抽出する。また、ステップＳ２０８では、抽出部２０Ｂは、処理対象として設定した位置（ｉ，ｊ）の基準領域３２および該位置に対して（ｉ，ｊ+１）の位置に存在する他の基準領域３２と、を拡大文字領域３２Ｂとして抽出する。これにより、ステップＳ２０８では、抽出部２０Ｂは、該基準文字領域３２Ａおよび該拡大文字領域３２Ｂを、対象文字領域３２Ｃとして抽出する。
【０１３０】
一方、ステップＳ２０２で否定判断すると（ステップＳ２０２：Ｎｏ）、ステップＳ２１０へ進む。
【０１３１】
ステップＳ２１０では、抽出部２０Ｂは、処理対象として設定した基準領域３２の位置（ｉ，ｊ）の、行方向Ｘの位置（ｊ）が、行方向Ｘの最後の位置（ｍ）と一致するか否かを判断する（ステップＳ２１０）。
【０１３２】
ステップＳ２１０で肯定判断すると（ステップＳ２１０：Ｙｅｓ）、ステップＳ２１２へ進む。ステップＳ２１２では、抽出部２０Ｂは、処理対象として設定した位置（ｉ，ｊ）の基準領域３２を、基準文字領域３２Ａ（対象文字領域３２Ｃ）として抽出する。また、ステップＳ２１２では、抽出部２０Ｂは、処理対象として設定した位置（ｉ，ｊ）の基準領域３２および該位置に対して（ｉ+１，ｊ）の位置に存在する他の基準領域３２と、を拡大文字領域３２Ｂとして抽出する。これにより、ステップＳ２１２では、抽出部２０Ｂは、該基準文字領域３２Ａおよび該拡大文字領域３２Ｂを、対象文字領域３２Ｃとして抽出する。
【０１３３】
一方、ステップＳ２１０で否定判断すると（ステップＳ２１０：Ｎｏ）、ステップＳ２１４へ進む。ステップＳ２１４では、抽出部２０Ｂは、処理対象として設定した位置（ｉ，ｊ）の基準領域３２を基準文字領域３２Ａとして抽出する。また、ステップＳ２１４では、抽出部２０Ｂは、処理対象として設定した位置（ｉ，ｊ）の基準領域３２および該位置に対して（ｉ，ｊ+１）の位置に存在する基準領域３２と、該位置（ｉ，ｊ）の基準領域３２および該位置に対して（ｉ+１，ｊ）の位置に存在する基準領域３２と、該位置（ｉ，ｊ）の基準領域３２および該位置に対して（ｉ+１，ｊ）と（ｉ，ｊ+１）と（ｉ+１，ｊ+１）の各々の位置に存在する３つの基準領域３２と、の各々を、拡大文字領域３２Ｂとして抽出する。これにより、ステップＳ２１４では、抽出部２０Ｂは、該基準文字領域３２Ａと、３つの該拡大文字領域３２Ｂと、を、対象文字領域３２Ｃとして抽出する。
【０１３４】
抽出部２０Ｂが、図６に示す対象文字領域抽出処理を実行することによって、帳票画像３０から、全ての基準文字領域３２Ａと、上記基準抽出条件および抽出条件１〜抽出条件３（第１閾値および第２閾値は“２”）を満たす全ての拡大文字領域３２Ｂと、の各々が、対象文字領域３２Ｃとして抽出される。
【０１３５】
次に選択部２０Ｄが実行する、組合せ候補選択処理の手順の一例を説明する（図５のステップＳ１０６）。
【０１３６】
図７は、選択部２０Ｄが実行する、組合せ候補選択処理の手順の一例を示す、フローチャートである。
【０１３７】
選択部２０Ｄは、帳票画像３０に含まる各位置（ｉ，ｊ）の基準文字領域３２Ａごとに、ステップＳ３００〜ステップＳ３０４の処理を繰返し実行する。例として、図２−１に示す帳票画像３０の左上の基準領域３２の位置（ｉ，ｊ）を原点（０，０）とする。そして、選択部２０Ｄは、行方向Ｘに向かって基準文字領域３２Ａを順次処理対象として設定し、設定した基準文字領域３２Ａごとに、ステップＳ３００〜ステップＳ３０４の処理を、行方向Ｘの１行ごとに、列方向Ｙに向かって順次実行する場合を説明する。
【０１３８】
設定部２０Ｅは、処理対象として設定した基準文字領域３２Ａについて、該基準文字領域３２Ａを含む対象文字領域３２Ｃ（基準文字領域３２Ａまたは拡大文字領域３２Ｂ）の全てを、ステップＳ１０２（図５参照）で抽出した対象文字領域３２Ｃから抽出する（ステップＳ３００）。
【０１３９】
次に、設定部２０Ｅは、ステップＳ３００で抽出した対象文字領域３２Ｃの内、他の対象文字領域群５０として設定済の対象文字領域３２Ｃを除外する（ステップＳ３０２）。
【０１４０】
次に、設定部２０Ｅは、ステップＳ３００で抽出した対象文字領域３２Ｃの内、他の対象文字領域群５０として設定済の対象文字領域３２Ｃを除外した残りの対象文字領域３２Ｃを、設定対象の基準文字領域３２Ａに対応する新たな対象文字領域群５０として設定する（ステップＳ３０４）。
【０１４１】
帳票画像３０に含まれる基準文字領域３２Ａごとに、ステップＳ３００〜ステップＳ３０４の処理が実行されることによって、基準文字領域３２Ａの各々に対応する対象文字領域群５０が設定される。
【０１４２】
次に、生成部２０Ｆが、基準文字領域３２Ａの各々に対応する対象文字領域群５０の各々から、対象文字領域３２Ｃの組合せの異なる複数の組合せ候補５２を生成する（ステップＳ３０６）。
【０１４３】
次に、特定部２０Ｇが、ステップＳ３０６で生成された複数の組合せ候補５２の内、含まれる文字４０の認識結果の信頼度の最も高い組合せ候補５２を特定する（ステップＳ３０８）。そして、本ルーチンを終了する。
【０１４４】
以上説明したように、本実施の形態の文字認識装置１２は、取得部２０Ａと、抽出部２０Ｂと、認識部２０Ｃと、生成部２０Ｆと、特定部２０Ｇと、出力制御部２０Ｈと、を備える。
【０１４５】
取得部２０Ａは、帳票画像３０を取得する。帳票画像３０は、入力枠３４によって囲まれた基準領域３２が行方向Ｘ（第１方向）および列方向Ｙ（第２方向）に連続して配列され、且つ、文字４０の記入された帳票７０の画像である。
【０１４６】
抽出部２０Ｂは、帳票画像３０から、基準文字領域３２Ａと拡大文字領域３２Ｂとを対象文字領域３２Ｃとして抽出する。基準文字領域３２Ａは、文字４０の少なくとも一部を含む基準領域３２である。拡大文字領域３２Ｂは、少なくとも１つの基準文字領域３２Ａと、該基準文字領域３２Ａ以外の他の基準領域３２とを含む。認識部２０Ｃは、対象文字領域３２Ｃごとに、含まれる文字４０を認識すると共に、認識結果の信頼度を算出する。
【０１４７】
生成部２０Ｆは、選択済の基準文字領域３２Ａおよび選択済の基準文字領域３２Ａを含む拡大文字領域３２Ｂを重複して選択しないように、対象文字領域３２Ｃを選択し、対象文字領域３２Ｃの組合せの異なる複数の組合せ候補５２を生成する。
【０１４８】
特定部２０Ｇは、複数の組合せ候補５２の内、含まれる文字４０の認識結果の信頼度の最も高い組合せ候補５２を特定する。出力制御部２０Ｈは、特定した組合せ候補５２における、対象文字領域３２Ｃごとに認識された文字４０の位置関係に基づいて、該組合せ候補５２に含まれる文字４０によって表される要素４２を決定し、要素４２を示す要素情報４３を含む出力情報５６を、帳票画像３０の文字認識結果５８として出力制御する。
【０１４９】
ここで、従来では、複数の文字４０を多様なレイアウトで配置した場合、複数の文字４０から構成される要素４２（数式の項４２Ａや化学式４２Ｂ）を特定することが困難であり、誤認識が発生していた。すなわち、従来では、多様なレイアウトの文字４０を精度良く認識することは困難であった。
【０１５０】
一方、本実施の形態の文字認識装置１２では、抽出部２０Ｂが、帳票画像３０から、基準文字領域３２Ａおよび拡大文字領域３２Ｂを、対象文字領域３２Ｃとして抽出する。生成部２０Ｆは、選択済の基準文字領域３２Ａおよび選択済の基準文字領域３２Ａを含む拡大文字領域３２Ｂを重複して選択しないように、対象文字領域３２Ｃを選択し、対象文字領域３２Ｃの組合せの異なる複数の組合せ候補５２を生成する。そして、特定部２０Ｇが、複数の組合せ候補５２の内、含まれる文字４０の認識結果の信頼度の最も高い組合せ候補５２を特定する。さらに、出力制御部２０Ｈが、特定した組合せ候補５２に含まれる、対象文字領域３２Ｃごとに認識された文字４０の位置関係に基づいて、該組合せ候補５２に含まれる文字４０によって表される要素４２を示す要素情報４３を含む出力情報５６を、帳票画像３０の文字認識結果５８として出力制御する。
【０１５１】
このため、本実施の形態の文字認識装置１２では、帳票７０に多様なレイアウトの文字４０が配置されている場合であっても、精度良く要素４２を認識することができ、精度良く文字認識を行うことができる。
【０１５２】
従って、本実施の形態の文字認識装置１２は、多様なレイアウトの文字４０を精度良く認識することができる。
【０１５３】
また、従来技術には、細かい記入ルールを定めて、ユーザに対して記入方法を制限することで、文字認識精度を向上させる技術がある。また、従来技術には、数式ごとにユニークな記入枠を設計する方法もある。しかし、これらの従来技術では、ユーザは文字の記入時に多大な注意力を要していた。また、従来技術では、記入ルールを細かく設定するための設計コストがかかる場合があった。
【０１５４】
一方、本実施の形態の文字認識装置１２では、ユーザによって様々なレイアウトで記入された文字４０について、精度良く文字認識を行うことができる。このため、本実施の形態の文字認識装置１２では、上記効果に加えて、ユーザの記入時の負荷の低減を図ることができる。
【０１５５】
（第２の実施の形態）
本実施の形態では、帳票として、入力枠３４の内側に内側入力枠の設けられた帳票を用いる形態を説明する。
【０１５６】
図８は、本実施の形態で用いる帳票７２および帳票７４の一例を示す模式図である。
【０１５７】
図８（Ａ）は、帳票７２の一例を示す模式図である。図８（Ｂ）は、帳票７２の一部を拡大して示した模式図である。
【０１５８】
帳票７２には、入力枠３４が行方向Ｘ（第１方向）および列方向Ｙ（第２方向）に連続して配列されている。そして、入力枠３４の内側には、内側入力枠３６が配置されている。
【０１５９】
入力枠３４は、第１の実施の形態と同様である。また、第１の実施の形態と同様に、入力枠３４によって囲まれた領域は、基準領域３２である。
【０１６０】
本実施の形態では、内側入力枠３６によって囲まれた領域を、中央領域３２Ｄと称する。中央領域３２Ｄは、内側入力枠３６の内側の領域である。内側入力枠３６は、該内側入力枠３６の外側に隣接して配置された入力枠３４によって囲まれた基準領域３２を、中央領域３２Ｄと周辺領域３２Ｅとに分離するための枠である。
【０１６１】
このため、本実施の形態では、帳票７２には、入力枠３４の内側に、内側入力枠３６によって囲まれた中央領域３２Ｄが配置されている。
【０１６２】
中央領域３２Ｄの形状（すなわち、内側入力枠３６の形状）と、入力枠３４の形状と、は相似形状であってもよいし、異なる形状であってもよい。例えば、入力枠３４の形状が正方形である場合、内側入力枠３６の形状は、正方形であってもよいし、正方形以外の形状（例えば、長方形、多角形、円）であってもよい。
【０１６３】
本実施の形態では、入力枠３４の形状および内側入力枠３６の形状が、正方形である場合を一例として説明する。具体的には、基準領域３２および中央領域３２Ｄが、正方形である場合を説明する。
【０１６４】
すなわち、本実施の形態では、帳票７２には、行方向Ｘに沿って等間隔に配列された第１罫線３４Ａと、列方向Ｙに沿って等間隔に配列された第２罫線３４Ｂと、が印刷されている。帳票７２には、行方向Ｘに隣接する１対の第１罫線３４Ａと、列方向Ｙに隣接する一対の第２罫線３４Ｂと、によって、矩形状の入力枠３４が形成されている。入力枠３４は、隣接する２本の第１罫線３４Ａと、隣接する２本の第２罫線３４Ｂと、によって形成される枠であり、内側に他の罫線（第１罫線３４Ａ、第２罫線３４Ｂ）は存在しない。
【０１６５】
内側入力枠３６のサイズは、入力枠３４より小さいサイズであればよい。内側入力枠３６に囲まれた中央領域３２Ｄの面積は、入力枠３４に囲まれた基準領域３２の面積より小さければよく、認識対象の文字４０の形態に応じて設定すればよい。
【０１６６】
また、内側入力枠３６の行方向Ｘの長さ及び列方向Ｙの長さの少なくとも一方は、入力枠３４の行方向Ｘの長さ及び列方向の長さより短い。すなわち、内側入力枠３６の行方向Ｘの長さと入力枠３４の行方向Ｘの長さが一致する場合、内側入力枠３６の列方向Ｙの長さが入力枠３４の列方向Ｙの長さより短い。また、内側入力枠３６の列方向Ｙの長さと入力枠３４の列方向Ｙの長さが一致する場合、内側入力枠３６の行方向Ｘの長さが入力枠３４の行方向Ｘの長さより短い。
【０１６７】
なお、内側入力枠３６の行方向Ｘの長さと、入力枠３４の行方向Ｘの長さとの比は、認識対象の文字４０の形態などに応じて設定すればよい。例えば、内側入力枠３６の行方向Ｘの長さと、入力枠３４の行方向Ｘの長さとの比は、１：２、１：３、２：２．５などであるが、これらに限定されない。
【０１６８】
同様に、内側入力枠３６の列方向Ｙの長さは、入力枠３４の列方向Ｙの長さより小さい。内側入力枠３６の列方向Ｙの長さと、入力枠３４の列方向Ｙの長さとの比は、認識対象の文字４０の形態などに応じて設定すればよい。例えば、内側入力枠３６の列方向Ｙ方向の長さと、入力枠３４の列方向Ｙ方向の長さとの比は、１：２、１：３、２：２．５などであるが、これらに限定されない。
【０１６９】
入力枠３４によって囲まれた基準領域３２における、内側入力枠３６の位置は、内側入力枠３６の一部が入力枠３４を跨って外側にはみ出さない位置であればよい。例えば、基準領域３２における内側入力枠３６の位置は、基準領域３２の中央と内側入力枠３６によって囲まれた中央領域３２Ｄの中央とが一致する位置や、基準領域３２の中央と中央領域３２Ｄの中央とが不一致の位置である。また、内側入力枠３６の一部が、入力枠３４の一部に重なるように配置されていてもよい。また、内側入力枠３６は、入力枠３４に重ならないように、入力枠３４の内側に配置されていてもよい。
【０１７０】
文字認識に用いられる帳票として、帳票７２を用いることで、ユーザは、帳票７２における内側入力枠３６内の中央領域３２Ｄに、添え字、上付き文字や、下付き文字、などを付与する対象となる文字４０Ａを記入し、周辺領域３２Ｅに、添え字、上付き文字、下付き文字、などを記入することができる。例えば、ユーザが、“Ｘ２”を帳票７２に記入する場合、上付き文字を付与する対象となる文字４０Ａである“Ｘ”（文字４０Ａ参照）を中央領域３２Ｄに記入し、上付き文字である“２”（文字４０Ｂ参照）を周辺領域３２Ｅに記入すればよい。
【０１７１】
なお、内側入力枠３６が４辺からなる矩形状である場合、各辺の一端部と他端部は、隣接する入力枠３４に到達するように延伸して記録されていてもよい（図８の帳票７４参照）。
【０１７２】
図８（Ｃ）は、帳票７４の一例を示す模式図である。図８（Ｄ）は、帳票７４の一部を拡大して示した模式図である。
【０１７３】
帳票７４には、帳票７２と同様に、行方向Ｘに沿って等間隔に配列された第１罫線３４Ａと、列方向Ｙに沿って等間隔に配列された第２罫線３４Ｂと、が印刷されている。帳票７２には、これらの第１罫線３４Ａおよび第２罫線３４Ｂによって、入力枠３４が形成されている。入力枠３４によって囲まれた領域は、基準領域３２である。
【０１７４】
また、帳票７４には、行方向Ｘに沿って、第１罫線３４Ａより狭い間隔で配列された第３罫線３４Ｄと、列方向Ｙに沿って、第２罫線３４Ｂより狭い間隔で配列された第４罫線３４Ｅと、が印刷されている。帳票７４には、行方向Ｘに隣接する１対の第３罫線３４Ｄと、列方向Ｙに隣接する一対の第４罫線３４Ｅと、によって、内側入力枠３６が形成されている。
【０１７５】
このように、内側入力枠３６が４辺からなる矩形状である場合、各辺の一端部と他端部は、隣接する入力枠３４に到達していてもよい。
【０１７６】
本実施の形態では、文字認識対象の帳票として、入力枠３４が行方向Ｘ（第１方向）および列方向Ｙ（第２方向）に連続して配列され、入力枠３４の内側に内側入力枠３６が配置されてなる、帳票７２または帳票７４を用いることで、第１の実施の形態の効果に加えて、更に、多様なレイアウトの文字４０を精度良く認識することができる。
【０１７７】
次に、本実施の形態の文字認識システム１１について説明する。
【０１７８】
図９は、本実施の形態の文字認識システム１１の一例を示す図である。なお、第１の実施の形態と同じ構成については、同じ符号を付与して詳細な説明を省略する。
【０１７９】
文字認識システム１１は、文字認識装置１３と、読取部１４と、入力部１６と、出力部１８と、を備える。文字認識システム１１は、文字認識装置１２に代えて文字認識装置１３を備えた以外は、第１の実施の形態と同様である。
【０１８０】
文字認識装置１３は、文字４０の記録された帳票７２または帳票７４の帳票画像３１を用いて、文字４０を認識する。
【０１８１】
文字認識装置１３は、記憶部２２と、処理回路２１と、を備える。文字認識装置１３は、処理回路２０に代えて処理回路２１を備えた以外は、第１の実施の形態と同様である。
【０１８２】
処理回路２１は、取得部２１Ａと、抽出部２１Ｂと、認識部２１Ｃと、選択部２０Ｄと、出力制御部２０Ｈと、を含む。選択部２０Ｄおよび出力制御部２０Ｈは、第１の実施の形態と同様である。
【０１８３】
取得部２１Ａは、帳票画像３１を取得する。取得部２１Ａは、帳票７０の帳票画像３０に代えて、帳票７２または帳票７４の帳票画像３１を取得する以外は、第１の実施の形態の取得部２０Ａと同様である。
【０１８４】
抽出部２１Ｂは、帳票画像３１から、対象文字領域３２Ｃを抽出する。抽出部２１Ｂは、抽出部２０Ｂと同様にして、対象文字領域３２Ｃを抽出する。なお、抽出部２１Ｂは、基準文字領域３２Ａの全領域ではなく、文字４０の少なくとも一部を含む中央領域３２Ｄと、周辺領域３２Ｅの内、文字４０の少なくとも一部を含む部分領域と、を基準文字領域３２Ａとして抽出する。すなわち、抽出部２１Ｂは、帳票画像３１における、文字４０の少なくとも一部を含む基準領域３２について、文字４０の少なくとも一部を含む中央領域３４Ｄと、周辺領域３２Ｅにおける、文字の少なくとも一部を含む部分領域と、を、基準文字領域３２Ａとして抽出する。
【０１８５】
例えば、図１０−１に示すように、基準領域３２内における中央領域３２Ｄに文字４０Ａ（“Ｘ”）が記入され、該基準領域３２内における周辺領域３２Ｅに文字４０Ｂ（“２”）が記入されていたと仮定する。この場合、抽出部２１Ｂは、基準領域３２における、中央領域３２Ｄと、周辺領域３２Ｅにおける、文字４０Ｂを含む部分領域３２Ｅ３と、を該基準領域３２に対応する基準文字領域３２Ａとして抽出する（図８も参照）。
【０１８６】
そして、抽出部２１Ｂは、拡大文字領域３２Ｂに含まれる、文字４０を含む基準領域３２である基準文字領域３２Ａについても同様に、文字４０の少なくとも一部を含む中央領域３２Ｄと、周辺領域３２Ｅの内、文字４０の少なくとも一部を含む部分領域と、を該基準文字領域３２Ａとして用いる。
【０１８７】
なお、抽出部２１Ｂは、周辺領域３２Ｅを、複数の部分領域に分割し、各部分領域に文字４０の少なくとも一部が含まれるか否かを判別することで、文字４０の少なくとも一部を含む部分領域を抽出してもよい。
【０１８８】
例えば、図１０−１に示すように、周辺領域３２Ｅを、８つの部分領域３２Ｅ１〜部分領域３２Ｅ８に分割する。図１０−１には、四角形の内側入力枠３６を構成する四辺の各々について、一端部と他端部の双方が入力枠３４に連続するように延伸させた仮想線３７を設けた例を示した。抽出部２１Ｂは、仮想線３７を生成することで、周辺領域３２Ｅを複数の部分領域（例えば、部分領域３２Ｅ１〜部分領域３２Ｅ８）に分割する。そして、抽出部２１Ｂは、分割した部分領域３２Ｅ１〜部分領域３２Ｅ８の内、文字４０の少なくとも一部を含む部分領域を特定し、抽出すればよい。なお、仮想線３７は、実際に入力枠３４内に記載された線でなく、抽出部２１Ｂによって生成される仮想の線である。
【０１８９】
認識部２１Ｃは、抽出部２１Ｂで抽出された対象文字領域３２Ｃの各々について、第１の実施の形態の認識部２０Ｃと同様に、含まれる文字４０を認識する。
【０１９０】
但し、認識部２１Ｃは、１つの基準文字領域３２Ａについて、中央領域３２Ｄと周辺領域３２Ｅとの双方に、文字４０の少なくとも一部が含まれる場合、中央領域３２Ｄと周辺領域３２Ｅ（具体的には部分領域）の各々に含まれる文字４０の認識結果をまとめて、該基準文字領域３２Ａに対応する文字４０の認識結果として用いる。
【０１９１】
具体的には、図８および図１０−１に示すように、１つの基準領域３２について、中央領域３２Ｄの文字４０の認識結果が“Ｘ”であり、周辺領域３２Ｅの文字４０の認識結果が“２”である場合、“Ｘ２”を、該基準領域３２（基準文字領域３２Ａ）の文字４０の認識結果として、選択部２０Ｄへ出力する。
【０１９２】
また、認識部２１Ｃは、第１の実施の形態の認識部２０Ｃと同様に、含まれる文字４０の認識結果の信頼度を算出する。１つの基準領域３２について、中央領域３２Ｄと周辺領域３２Ｅの双方に、文字４０の少なくとも一部が含まれる場合、認識部２１Ｃは、該基準領域３２（基準文字領域３２Ａ）に含まれる文字４０の各々の認識結果の信頼度の平均値を、該基準文字領域３２Ａに対する文字４０の認識結果の信頼度として用いる。
【０１９３】
例えば、図１０−１に示す、中央領域３２Ｄにおける文字“Ｘ”の認識結果の信頼度がｒ’１であり、部分領域３２Ｅ３における文字“２”の認識結果の信頼度がｒ’３である場合、下記式（２）を用いて、該基準文字領域３２Ａに対する文字４０の認識結果の信頼度ｒを算出すればよい。
【０１９４】
【数２】
2018063597.tif 000004
【０１９５】
そして、選択部２０Ｄは、抽出部２１Ｂによって抽出された複数の対象文字領域３２Ｃと、認識部２１Ｃで対象文字領域３２Ｃごとに認識された文字４０および信頼度と、を用いる点以外は、第１の実施の形態の選択部２０Ｄと同様にして、１つの組合せ候補５２を選択する。
【０１９６】
そして、出力制御部２０Ｈは、第１の実施の形態と同様に、選択部２０Ｄの特定部２０Ｇで特定された組合せ候補５２に含まれる、対象文字領域３２Ｃごとに認識された文字４０の位置関係に基づいて、該組合せ候補５２に含まれる文字４０によって表される要素４２を決定し、要素４２を示す要素情報４３を含む出力情報５６を、帳票画像３０の文字認識結果５８として出力制御する。
【０１９７】
以上説明したように、本実施の形態における文字認識装置１３で用いる帳票７２および帳票７４は、入力枠３４が行方向Ｘ（第１方向）および（第２方向）に連続して配列され、入力枠３４の内側に内側入力枠３６が配置されてなる。そして、文字認識装置１３は、文字４０の記入された帳票７２または帳票７４の帳票画像３１から、基準文字領域３２Ａを抽出する。本実施の形態では、基準文字領域３２Ａは、文字４０の少なくとも一部を含む基準領域３２であって、文字４０の少なくとも一部を含む中央領域３２Ｄと、内側入力枠３６と入力枠３４との間の周辺領域３２Ｅにおける、文字４０の少なくとも一部を含む部分領域と、から構成される。
【０１９８】
このため、本実施の形態における文字認識装置１３では、第１の実施の形態の効果に加えて、更に、文字認識精度の向上を図ることができる。
【０１９９】
ここで、添え字、上付き文字や、下付き文字などの、他の文字４０に付与された状態で意味を成す文字４０は、付与する対象の文字４０より大きさが小さい。このため、同じ入力枠３４内に、これらの文字４０が記入されている場合、これらの文字４０を区別して認識することが困難となる場合ある。
【０２００】
一方、本実施の形態では、文字認識対象の帳票として、帳票７２または帳票７４の帳票画像３１を用いて、基準文字領域３２Ａを抽出し、上述のように文字認識を行う。
【０２０１】
このため、本実施の形態における文字認識装置１３では、第１の実施の形態の効果に加えて、更に、文字認識精度の向上を図ることができる。
【０２０２】
＜変形例１＞
なお、図８には、入力枠３４の内側に内側入力枠３６の配置された帳票７２を示した。しかし、入力枠３４と内側入力枠３６との間に、区切り線の配置された帳票であってもよい。
【０２０３】
図１０−２は、帳票７５における入力枠３４の部分を拡大して示した模式図である。帳票７５には、入力枠３４が設けられている。帳票７５における入力枠３４の配列方向は、帳票７２および帳票７４と同様である（図８参照）。入力枠３４の内側には、内側入力枠３６が配置されている。入力枠３４および内側入力枠３６は、帳票７５（図８参照）と同様である。
【０２０４】
本変形例の帳票７５は、入力枠３４と内側入力枠３６との間に、内側入力枠３６と入力枠３４との間の周辺領域３２Ｅを複数領域に区切る区切り線３９が配置されてなる。
【０２０５】
区切り線３９の線種は、限定されない。図１０−２には、区切り線３９が点線である場合を示した。しかし、区切り線３９は、点線に限定されない。例えば、区切り線３９は、実線、一点鎖線、などであってもよい。なお、区切り線３９は、内側入力枠３６および入力枠３４を示す線とは異なる線種であることが好ましい。
【０２０６】
区切り線３９は、周辺領域３２Ｅを複数領域に区切る線であればよい。具体的には、区切り線３９は、添え字、上付き文字や、下付き文字などの、他の文字４０に付与された状態で意味を成す文字４０が、別々の領域に分離して記入されるように、周辺領域３２Ｅを区切る線であることが好ましい。
【０２０７】
例えば、図１０−２に示すように、区切り線３９は、列方向Ｙに沿った長い直線であり、周辺領域３２Ｅにおいて、行方向Ｘに沿って間隔を隔てて配置されている。図１０-２に示す例では、周辺領域３２Ｅ内に、列方向Ｙに長い３本の区切り線３９が配置されている。このため、周辺領域３２Ｅは、区切り線３９によって、複数の領域（３２ＥＡ、３２ＥＢ１、３２ＥＢ２、３２ＥＢ３）に区切られる。
【０２０８】
行方向Ｘに隣接する区切り線３９の間隔は、等間隔であってもよいし、異なる間隔であってもよい。また、行方向Ｘに隣接する区切り線３９の間隔は、記入される対象の文字４０の大きさに応じて予め定めればよい。
【０２０９】
なお、区切り線３９は、行方向Ｘに沿って長い直線であってもよい。また、区切り線３９は、行方向Ｘに沿って長い直線と、列方向Ｙに沿って長い直線と、の双方であってもよい。この場合、区切り線３９によって区切られる領域の大きさは、記入される対象の文字４０の大きさに応じて予め定めればよい。
【０２１０】
また、１つの周辺領域３２Ｅを区切る区切り線３９の数は、限定されない。例えば、１つの周辺領域３２Ｅを区切る区切り線３９の数は、１本、２本、または、４本以上であってもよい。
【０２１１】
また、中央領域３２Ｄに対する区切り線３９の位置は、図１０−２に示すように、内側入力枠３６に対して行方向Ｘの下流側に限定されない。例えば、中央領域３２Ｄに対する区切り線３９の位置は、内側入力枠３６に対して、行方向Ｘの上流側、列方向Ｙの上流側、列方向Ｙの下流側、の何れであってもよい。また、中央領域３２Ｄに対する区切り線３９の位置は、内側入力枠３６に対して、行方向Ｘの下流側、行方向Ｘの上流側、列方向Ｙの下流側、および、列方向Ｙの上流側、の少なくとも２つを組み合わせた位置であってもよい。
【０２１２】
文字認識に用いられる帳票として、帳票７５を用いることで、ユーザは、帳票７５における内側入力枠３６内の中央領域３２Ｄに、添え字、上付き文字や、下付き文字、などを付与する対象となる文字４０Ａを記入する（例えばＢ、文字“Ｘ”）。そして、周辺領域３２Ｅにおける、区切り線３９によって区切られた各領域（３２ＥＡ、３２ＥＢ１、３２ＥＢ２、３２ＥＢ３）の各々に、添え字、上付き文字、下付き文字、などを１つずつ記入することができる。例えば、ユーザが、“Ｘ２ａｂｃ”を帳票７５に記入する場合、上付き文字を付与する対象となる文字４０Ａである“Ｘ”（文字４０Ａ参照）を中央領域３２Ｄに記入し、上付き文字である“２”（文字４０Ｂ参照）、“ａ”（文字４０Ｃ参照）、“ｂ”（文字４０Ｄ参照）、“ｃ”（文字４０Ｅ参照）を、それぞれ、領域３２ＥＡ、領域３２ＥＢ１、領域３２ＥＢ２、領域３２ＥＢ３へ記入すればよい。
【０２１３】
なお、帳票７２（図８参照）に代えて、帳票７５を文字認識対象として用いる場合、文字認識装置１３は、上記第２の実施の形態と同様にして、文字認識処理を行えばよい。
【０２１４】
なお、第２の実施の形態で説明したように、抽出部２１Ｂは、基準文字領域３２Ａの全領域ではなく、文字４０の少なくとも一部を含む中央領域３２Ｄと、周辺領域３２Ｅの内、文字４０の少なくとも一部を含む部分領域と、を基準文字領域３２Ａとして抽出する。このとき、抽出部２１Ｂは、文字４０の少なくとも一部を含む中央領域３２Ｄと、周辺領域３２Ｅを区切り線３９によって分割した各領域（３２ＥＡ、３２ＥＢ１、３２ＥＢ２、３２ＥＢ３）の内、文字４０の少なくとも一部を含む部分領域と、を基準文字領域３２Ａとして抽出すればよい。
【０２１５】
その他の処理は、第２の実施の形態と同様である。
【０２１６】
以上説明したように、本変形例では、文字認識対象の帳票として、入力枠３４が行方向Ｘ（第１方向）および列方向Ｙ（第２方向）に連続して配列され、入力枠３４の内側に内側入力枠３６が配置され、周辺領域３２Ｅを複数領域に区切る区切り線３９が配置されてなる、帳票７５を用いることで、第１の実施の形態の効果に加えて、更に、多様なレイアウトの文字４０を精度良く認識することができる。
【０２１７】
また、本変形例における文字認識装置１３では、第１の実施の形態の効果に加えて、更に、文字認識精度の向上を図ることができる。
【０２１８】
＜変形例２＞
なお、上記実施の形態では、認識部２０Ｃは、対象文字領域３２Ｃ（図３参照）に含まれる線画像から、該対象文字領域３２Ｃに含まれる文字４０を認識した。このとき、文字認識対象の帳票として、上記第２の実施の形態に示す帳票７２、帳票７４、または上記変形例１に示す帳票７５を用いる場合、入力枠３４内に含まれる線画像を、１つの文字として認識してもよい。具体的には、認識部２０Ｃは、図１０−１に示すように、１つの入力枠３４内に含まれる線画像“Ｘ２”を、１つの文字４０として認識してもよい。また、認識部２０Ｃは、図１０−２に示すように、１つの入力枠３４内に含まれる線画像“Ｘ２ａｂｃ”を、１つの文字４０として認識してもよい。
【０２１９】
この場合、例えば、認識部２０Ｃは、添え字、上付き文字や、下付き文字などの、他の文字４０に付与された状態で意味を成す文字と、付与する対象の文字と、の組合せを、予め１つの文字としてみなす記号として、辞書データに予め登録すればよい。例えば、認識部２０Ｃは、“Ｘ２”や“Ｘ２ａｂｃ”についても、１つの文字としてみなす記号として予め辞書データに登録すればよい。
【０２２０】
＜変形例３＞
なお、文字認識対象の帳票には、認識単位を示す区切り指定記号が記入されていてもよい。また、文字認識対象の帳票には、区切り指定記号を記入するための区切り指定欄が設けられていてもよい。認識単位とは、文字認識を行うときの処理の単位を示す。すなわち、この場合、文字認識装置１２は、帳票画像３０における認識単位の各々について、上記実施の形態と同様の処理を行う。
【０２２１】
図１１は、変形例における帳票７６および帳票７８の一例を示す模式図である。
【０２２２】
図１１（Ａ）に示すように、帳票７６における、行方向Ｘの一端部には、列方向Ｙに長い区切り指定欄６２が設けられている。なお、行方向Ｘの両端部に、区切り指定欄６２が設けられていてもよい。
【０２２３】
区切り指定欄６２は、ユーザが区切り指定記号６０を記入するための領域である。区切り指定記号６０は、開始記号６０Ａと、終了記号６０Ｂと、を含む。開始記号６０Ａは、認識単位の開始位置を示す記号である。終了記号６０Ｂは、認識単位の終了位置を示す記号である。開始記号６０Ａおよび終了記号６０Ｂは、文字４０として認識される記号以外の記号を、予め定めればよい。
【０２２４】
ユーザは、例えば、図１１に示すような複数の数式を帳票７６に記入した場合、区切り指定欄６２に、各数式を認識単位とするように、開始記号６０Ａおよび終了記号６０Ｂを記入する。
【０２２５】
この場合、文字認識装置１２および文字認識装置１３では、該帳票７６に記載されている隣接する開始記号６０Ａと終了記号６０Ｂとによって示される範囲を、１つの認識単位として用い、認識単位ごとに、第１の実施の形態および第２の実施の形態と同様にして、文字認識処理を実行すればよい。
【０２２６】
なお、区切り指定欄６２は、列方向Ｙの端部に設けられていてもよい。例えば、図１１（Ｂ）に示すように、帳票７８における、列方向Ｙの一端部に、行方向Ｘに長い区切り指定欄６４が設けてもよい。なお、行方向Ｘの両端部に、区切り指定欄６４が設けられていてもよい。また、行方向Ｘの両端部、列方向Ｙの両端部、の各々に、区切り指定欄（区切り指定欄６２、区切り指定欄６４）を設けた帳票であってもよい。
【０２２７】
また、区切り指定記号６０は、入力枠３４または入力枠３４にまたがって記入されてもよい。
【０２２８】
区切り指定記号６０の記入された帳票７６および帳票７８の帳票画像を、文字認識に用いることで、文字認識装置１２および文字認識装置１３は、上記実施の形態に加えて、更に精度良く、文字４０を認識することができる。
【０２２９】
＜補足説明＞
以上説明した文字認識装置１２および文字認識装置１３の機能は、例えば、一般的なコンピュータのハードウェアとソフトウェア（プログラム）との協働により実現することができる。図１２は、文字認識装置１２および文字認識装置１３のハードウェア構成の一例を示す図である。
【０２３０】
上記実施の形態の文字認識装置１２および文字認識装置１３は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）８６、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）８８、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）９２、Ｉ／Ｆ（インターフェース）部８２、入力部９４、および、出力部８０などを備える。これらの各部は、バス９６によって接続されている。
【０２３１】
文字認識装置１２および文字認識装置１３では、ユーザが電源を投入するとＣＰＵ８６がＲＯＭ８８内のローダープログラムを起動させ、ＨＤＤ９２よりＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）をＲＡＭ９０に読み込み、ＯＳを起動させる。ＯＳは、例えば、Ｗｉｎｄｏｗｓ（登録商標）や、ＵＮＩＸ（登録商標）である。これらのＯＳ上で、アプリケーションプログラムが動作する。アプリケーションプログラムは、所定のＯＳ上で動作するものに限らず、後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【０２３２】
上記実施の形態の文字認識装置１２および文字認識装置１３は、上記アプリケーションプログラムとして、図１および図９に示す機能的な構成要素をそれぞれプロセスとして生成するためのプログラムを、ＨＤＤ９２に記憶している。上記実施の形態の文字認識装置１２および文字認識装置１３にインストールされるアプリケーションプログラムは、ＣＤ−ＲＯＭやＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリなどの各種方式のメディアなどの記憶媒体に記録されて提供される。また、このプログラムは、例えばネットワークを利用した通信により外部から取り込まれ、ＨＤＤ９２にインストールされてもよい。
【０２３３】
以上のようなハードウェア構成を採用する場合、ＣＰＵ８６がＯＳ上で動作する上記プログラムに従って各種の演算処理を実行する。これにより、例えば、ＲＡＭ９０上に図１および図９に示した機能的な構成要素が生成され、コンピュータを文字認識装置１２および文字認識装置１３の各々として機能させることができる。なお、図１および図９に示した機能的な構成要素の一部あるいは全部を、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）などの専用のハードウェアを用いて実現することもできる。
【０２３４】
なお、上記実施の形態では、文字認識装置１２および文字認識装置１３の各々が、単体の装置として構成されていることを想定して説明した。しかし、文字認識装置１２および文字認識装置１３の各々は、物理的に分離されてネットワークを介して接続された複数の装置により構成されていてもよい。また、上記実施の形態の文字認識装置１２および文字認識装置１３は、クラウドシステム上で動作する仮想マシンとして実現されていてもよい。
【０２３５】
なお、上記には、本発明の実施の形態を説明したが、上記実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０２３６】
１２、１３  文字認識装置
２０Ａ、２１Ａ  取得部
２０Ｂ、２１Ｂ  抽出部
２０Ｃ、２１Ｃ  認識部
２０Ｅ  設定部
２０Ｆ  生成部
２０Ｇ  特定部
２０Ｈ  出力制御部
２０Ｉ  判定部
２０Ｊ  決定部
２０Ｋ  結果出力制御部
７０、７２、７４  帳票
【図１】
2018063597.tif 000005
【図２−１】
2018063597.tif 000006
【図２−２】
2018063597.tif 000007
【図３】
2018063597.tif 000008
【図４】
2018063597.tif 000009
【図５】
2018063597.tif 000010
【図６】
2018063597.tif 000011
【図７】
2018063597.tif 000012
【図８】
2018063597.tif 000013
【図９】
2018063597.tif 000014
【図１０−１】
2018063597.tif 000015
【図１０−２】
2018063597.tif 000016
【図１１】
2018063597.tif 000017
【図１２】
2018063597.tif 000018