(57)【要約】【課題】  帳票画像における認識対象領域とその認識結果とを、ユーザが確認しやすいように帳票画像に重ねて表示する。【解決手段】  帳票画像の帳票タイプを分類し、当該分類された帳票タイプに対して予め定義されている情報取得領域を用いて、前記帳票画像における前記情報取得領域内の画像を文字認識処理して認識結果を取得する。情報取得領域と認識結果とを帳票画像上に表示する際に、認識結果の信頼度が閾値より低い場合は、前記情報取得領域と前記認識結果との間隔を大きくして表示する。【選択図】  図１３
2016167159.tif 000002
【特許請求の範囲】
【請求項１】
帳票画像をあらかじめ登録した複数の帳票タイプのいずれかに分類する分類手段と、
前記分類手段で分類された帳票タイプに対して予め定義されている情報取得領域を用いて、前記帳票画像における前記情報取得領域内の画像を文字認識処理して認識結果を取得する文字認識手段と、
前記情報取得領域と前記認識結果とを前記帳票画像上に表示する表示手段と、を有し、
前記表示手段は、前記認識結果の信頼度が閾値より低い場合は、前記情報取得領域と前記認識結果との間隔を大きくして表示することを特徴とする情報処理装置。
【請求項２】
帳票画像をあらかじめ登録した複数の帳票タイプのいずれかに分類する分類手段と、
前記分類手段で分類された帳票タイプに対して予め定義されている情報取得領域を用いて、前記帳票画像における前記情報取得領域内の画像を文字認識処理して認識結果を取得する文字認識手段と、
前記情報取得領域と前記認識結果とを前記帳票画像上に表示する表示手段と、を有し、
前記表示手段は、前記認識結果が予め登録されている単語リストに無い場合、前記情報取得領域と前記認識結果との間隔を大きくして表示することを特徴とする情報処理装置。
【請求項３】
帳票画像をあらかじめ登録した複数の帳票タイプのいずれかに分類する分類手段と、
前記分類手段で分類された帳票タイプに対して予め定義されている情報取得領域より上下左右に広い領域を定義してその中に存在する文字画像の外接矩形を求め、前記帳票画像における前記外接矩形内の画像を文字認識処理して認識結果を取得する文字認識手段と、
前記外接矩形と前記認識結果とを前記帳票画像上に表示する表示手段と、を有することを特徴とする情報処理装置。
【請求項４】
帳票画像をあらかじめ登録した複数の帳票タイプのいずれかに分類する分類手段と、
前記分類手段で分類された帳票タイプに対して予め定義されている情報取得領域の境界上に有意な画素が重なっているか判定し、有意な画素が重なっている場合は重ならなくなるまで前記情報取得領域を広げるように変更し、前記帳票画像における前記広げた後の情報取得領域内の画像を文字認識処理して認識結果を取得する文字認識手段と、
前記広げた後の情報取得領域と前記認識結果とを前記帳票画像上に表示する表示手段と、を有する情報処理装置。
【請求項５】
前記表示手段は、さらに、前記情報取得領域を帳票画像と共に表示し、前記情報取得領域の表示ウィンドウ内の表示位置を固定したままで、ユーザの指示に基づき前記帳票画像を移動および拡大縮小することを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記表示手段は、前記認識結果の信頼度が閾値より低い場合は、前記分類手段で分類された帳票タイプとは別の帳票タイプに関連付けられている情報取得領域を用いて文字認識処理し、すべての帳票タイプの中でもっとも信頼度の平均が高い帳票タイプの情報取得領域と認識結果とを表示することを特徴とする請求項１に記載の情報処理装置。
【請求項７】
コンピュータを、請求項１乃至６のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、帳票画像の認識結果を表示する情報処理装置に関する。
【背景技術】
【０００２】
図３は、モバイル端末のカメラで撮影した帳票画像の一例である。この帳票画像から文字認識を用いて特定情報を抜き出して新規帳票を作成したい場合がある。
【０００３】
特許文献１では、認識対象画像の帳票ＩＤを読み取り、予め記憶されている指定帳票の定義体に基づいて、文字の切り出し位置を設定して文字画像を切り出し、当該切り出した文字画像を認識して、その認識結果を認識対象画像に重ねて表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−４６３５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
携帯端末のカメラ機能やデジタルカメラ等で認識対象の帳票画像を撮影した場合は、歪みや位置ズレが生じたりする。このような歪みや位置ズレを有するような帳票画像に対して、特許文献１のように、指定帳票の定義体に基づいて文字切り出し位置を特定すると、文字切り出し位置と文字画像の位置がずれてしまうという問題点がある。そして、特許文献１のように、文字認識結果を元の文字画像の近傍に並べて表示すれば確認修正を行いやすくなるが、文字切り出し位置がずれている場合は、認識結果がその認識対象文字の一部に重なって表示されてしまい、認識対象文字自体も確認できない場合もありうる（図９の９０１）。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の情報処理装置は、帳票画像をあらかじめ登録した複数の帳票タイプのいずれかに分類する分類手段と、前記分類手段で分類された帳票タイプに対して予め定義されている情報取得領域を用いて、前記帳票画像における前記情報取得領域内の画像を文字認識処理して認識結果を取得する文字認識手段と、前記情報取得領域と前記認識結果とを前記帳票画像上に表示する表示手段と、を有し、前記表示手段は、前記認識結果の信頼度が閾値より低い場合は、前記情報取得領域と前記認識結果との間隔を大きくして表示することを特徴とする。
【発明の効果】
【０００７】
帳票画像における認識対象領域とその認識結果とを、ユーザが確認しやすいように帳票画像に重ねて表示することができる。
【図面の簡単な説明】
【０００８】
【図１】複写機１００の構成を示すブロック図
【図２】情報処理装置２００の構成を示すブロック図
【図３】モバイルカメラで撮った帳票画像の例
【図４】情報取得領域の例
【図５】情報取得領域の例
【図６】帳票画像と情報取得領域の例
【図７】情報取得領域と文字認識結果を単純に表示した例
【図８】文字認識結果の背景を白くして表示した例
【図９】情報取得枠と帳票画像がずれた例
【図１０】情報取得枠と帳票画像がずれた例
【図１１】新規作成する帳票画像
【図１２】メインフロー
【図１３】情報取得領域と文字認識結果の間隔調整についてのフロー
【図１４】情報取得領域と文字認識結果の間隔調整についてのフロー
【図１５】情報取得領域の補正についてのフロー
【図１６】情報取得領域の補正についてのフロー
【図１７】情報取得領域選択についてのフロー
【発明を実施するための形態】
【０００９】
まず、本実施形態での説明に用いる言葉の定義について述べる。
【００１０】
オリジナル文字とは、帳票画像中の認識対象となる文字画像のことを指す。
【００１１】
認識文字とは、オリジナル文字を文字認識することで得られた文字コード（文字認識結果）、又は、編集ウィンドウに表示される、その文字コードに対応する文字のことを指す。この認識文字は、編集ウィンドウ用文字サイズ（編集ウィンドウ用文字サイズとは、編集ウィンドウ用に設定された文字サイズという意味である）で編集ウィンドウ上に表示される。
【００１２】
文字の編集は、ユーザが、編集ウィンドウから認識文字を削除して、代わりの文字を編集ウィンドウに入力する行為を指す。編集後の文字とは、入力された代わりの文字、又は、その文字に対応する文字コードのことである。この編集後の文字は、編集ウィンドウ上に表示される場合には、編集ウィンドウ用文字サイズで表示される。なお、編集ウィンドウ用文字サイズのデフォルト値は、予め保存部２０２に保存されているものとする。
【００１３】
以下、本発明を実施するための最良の形態について図面を用いて説明する。
【００１４】
＜第１の実施形態＞
＜タブレットの構成と情報処理装置の構成＞
図１に本実施形態におけるタブレット１００の構成を示す。タブレット１００は、カメラ１０１、送受信部１０２より構成される。タブレット１００は、無線ネットワーク、有線ネットワーク、またはケーブルを介して、情報処理装置２００と接続されるものとする。
【００１５】
図２に本実施形態における情報処理装置２００の構成を示す。情報処理装置２００は、ＣＰＵとＲＯＭ及びＲＡＭを内部に有する。ＣＰＵはＲＯＭから情報処理装置２００のプログラムをロードし、一次保存領域としてＲＡＭを利用して情報処理装置２００のプログラムを実行する。以上の動作により、ＣＰＵは、各処理部（２０１−２０５）として機能する。なお、受付部２０５は、キーボードとマウスを含む形態が一般的であるが、この形態に限るものではなく、受付部２０５と表示部２０４は一体であっても良い。その場合、受付部２０５と表示部２０４をまとめてタッチパネルと呼ぶことになり、以下の実施例中のクリックなる記載は、タッチと読み替えて頂くことになる。
【００１６】
＜帳票画像入力から帳票分類、文字認識まで＞
タブレット１００のカメラが帳票を撮影すると、帳票画像が生成される。生成された帳票画像を送受信部１０２が情報処理装置２００に送信する。すると、情報処理装置２００の送受信部２０１がこれを受信し、保存部２０２にその帳票画像を保存する。
【００１７】
ユーザが受付部２０５を介して、保存部２０２に保存されている複数の帳票画像の中から、一つの帳票画像を選択する。すると、制御部２０３は、その帳票画像を表示部２０４に表示する。そして、ユーザが受付部２０５を介して、表示部２０４に表示された帳票画像の解析を指示する。すると、制御部２０３は、帳票分類と、文字認識と、結果表示の三つの処理を実行し、実行結果を表示部２０４に表示する。
【００１８】
図３は、帳票画像の例であり、図４は、あらかじめ登録した帳票タイプ（ここではＩＮＶＯＩＣＥ）と３つの情報取得領域である。情報取得領域は認識対象領域であり、各帳票タイプの定義データとして予め定義されているものとする。情報取得領域４０１は、Ｄａｔｅ情報、情報取得領域４０２は送付先情報、情報取得領域４０３は送付元情報を示している。図５は、あらかじめ登録した別の帳票タイプ（ここではＲＥＣＥＩＰＴ）と３つの情報取得領域である。情報取得領域５０１はＤａｔｅ情報、情報取得領域５０２はＮＡＭＥ情報、情報取得領域５０３はＡＤＤＲＥＳＳ情報を示している。図６は、帳票画像を帳票分類処理することによりＩＮＶＯＩＣＥと分類した場合に、ＩＮＶＯＩＣＥ帳票に登録された３つの情報取得領域６０１，６０２，６０３を帳票画像上に重ねて示したものである。
【００１９】
＜帳票分類（１）−（２）、文字認識（３）、情報取得領域および認識文字表示（４）−（６）の説明＞
（１）制御部２０３は、あらかじめ帳票タイプごとに帳票分類を行うための特徴的な領域をユーザに受付部２０５を介して指示させ、保存部２０２に記憶している。図４のＩＮＶＯＩＣＥ帳票タイプであれば、左上のＩｎｖｏｉｃｅと記載された文字列領域が帳票分類に用いる領域であり、図５のＲｅｃｅｉｐｔ帳票タイプであれば、左上のＲｅｃｅｉｐｔと記載された文字列領域が帳票分類に用いる領域である。
【００２０】
（２）制御部２０３は、送受信部２０１で受信した図３の帳票画像に対してＩＮＶＯＩＣＥ帳票タイプ、Ｒｅｃｅｉｐｔ帳票タイプそれぞれの特徴的な領域内を文字認識する。文字認識の結果がＩＮＶＯＩＣＥであれば、ＩＮＶＯＩＣＥ帳票と判定する。なお、帳票分類の方法は、左上の文字列領域に基づいて分類する方法に限るものではなく、帳票内の表領域の解析を行い分類するなど他の方法でもかまわない。
【００２１】
（３）制御部２０３は、帳票タイプそれぞれに関連付けられている情報取得領域に対して文字認識処理を行うことによって、各情報取得領域に対応する認識文字を得る。認識文字は、対応する情報取得領域に関連付けて保存部２０２に保存する。
【００２２】
（４）制御部２０３は、各情報取得領域に太線枠を付けて帳票画像を表示部２０４に表示する。表示された画面は図６となっている。一つの情報取得領域を構成する罫線は四本あり、従って、太線枠は四本の罫線で構成される。なお、枠の形態は、太線でなくても実線でなくても良く、黒でなくても良いのは言うまでも無いが、これ以降は、太線であるものとして説明を続ける。
【００２３】
（５）制御部２０３は、（３）の各情報取得領域に対して文字認識処理した結果の認識文字を、各情報取得領域を示す枠のすぐ上に表示する。表示された画面は図７となっている。情報取得領域６０１に関連付けられた認識文字７０１が表示されている。同様に情報取得領域６０２のすぐ上に認識文字７０２が表示され、情報取得領域６０３のすぐ上に認識文字７０３が表示されている。認識文字の表示は黒でなくても赤でも構わない。図７でわかるように認識文字と帳票画像が重なって確認しづらい。
【００２４】
（６）（５）で示す問題を解決するために制御部２０３は、（３）の各情報取得領域に対する認識文字を表示する際に、認識文字の背景部分を白くして表示する。図８の認識文字８０１〜８０３がそれであり、図７よりも認識文字を確認しやすくなっている。
【００２５】
図９、図１０は、情報取得領域を示す枠と、認識文字と、帳票画像との間の位置関係によって生じる課題を説明するための図であり、図１２の本実施形態の処理とともに以下で説明する。図１１は、制御部２０３が情報取得領域の認識文字から得た結果から別の帳票を作成する例を示している。
【００２６】
ステップＳ１２０１で、制御部２０３は、タブレット１００のカメラ１０１で撮影された帳票画像を送受信部１０２と情報処理装置２００の送受信部２０１を介して取得し、保存部２０２に保存する。
【００２７】
ステップＳ１２０２で、制御部２０３は、帳票の分類を行う。帳票の分類については前述（１）〜（２）のとおりである。
【００２８】
ステップＳ１２０３で、制御部２０３は、Ｓ１２０２の分類結果と予め定義された帳票の定義データとに基づいて情報取得領域の取得を行い、ステップＳ１２０４で、情報取得領域内の画像に対して文字認識処理を実行する。前述の（３）で述べたとおりである。
【００２９】
ステップＳ１２０５で、制御部２０３は、文字認識結果の表示を行う。概要については、前述の（４）〜（６）で述べたとおりである。
【００３０】
このとき生じる表示上の課題と、本実施形態による解決手段について図９、図１３を用いて説明する。
【００３１】
タブレット１００のカメラ１０１で撮影した帳票画像は、あらかじめ情報処理装置２００の保存部２０２に保存されている帳票タイプの情報取得領域と少し位置がずれていることがある。図９の９０１は、帳票画像の位置がずれているために、帳票画像内の文字イメージに対して、情報取得領域と認識文字との表示場所がずれてしまっているケースを示す図である。この場合、認識対象の文字イメージそのものに対して認識文字が重なって表示されており、認識結果が正しいのか正しくないのかユーザは確認できないという課題がある。この課題に対する本実施形態の対応方法を図１３のフローチャートで説明する。
【００３２】
ステップＳ１３０１で、制御部２０３は、「（文字認識の信頼度の平均）＜８０％」であるかどうか判定する。ステップＳ１３０１で信頼度の平均が８０％（第１の閾値）以上であると判定した場合は、ステップＳ１３０２に進む。
【００３３】
ステップＳ１３０２では、情報取得領域と認識文字の間隔が領域内の文字高さの１．５倍になるように、認識文字の表示位置を設定する。文字高さは、情報取得領域内の部分画像に対して文字認識処理する際に取得可能である。
【００３４】
ステップＳ１３０１で信頼度の平均が８０％未満であると判定した場合は、ステップＳ１３０３に進み、「（文字認識の信頼度の平均）＜５０％」であるかどうか判定する。信頼度の平均が５０％（第２の閾値）以上であると判定した場合は、ステップＳ１３０４に進む。
【００３５】
ステップＳ１３０４では、情報取得領域と認識文字の間隔が領域内の文字高さの２倍になるように、認識文字の表示位置を設定する。信頼度が低いということは、情報取得領域と帳票画像のずれが大きい可能性があるためである。
【００３６】
ステップＳ１３０３で信頼度が５０％未満であると判定した場合は、ステップＳ１３０５に進む。ステップＳ１３０５では、情報取得領域と認識文字の間隔が領域内の文字高さの３倍になるように、認識文字の表示位置を設定する。
【００３７】
ステップＳ１３０６では、図９の９０２のように認識文字の背景を白くして、認識文字をＳ１３０２，Ｓ１３０４，Ｓ１３０５のいずれかにより求めた位置に表示して、図１２のステップＳ１２０６に進む。
【００３８】
ステップＳ１２０６では、制御部２０３は、ユーザの指示に基づいて認識文字の修正を行う。修正はキーボードなどの受付部２０５からの入力により修正を行う。
【００３９】
ステップＳ１２０７では、当該修正処理後の認識文字を用いて新帳票を作成し、表示部２０４に表示して一連の処理を終了する。ステップＳ１２０６までの処理で帳票画像から必要な情報を抽出することができるので、例えば、図１１のレポート１１０１の形式で複数枚の帳票画像の情報を表形式でまとめて帳票を作成し、表示部２０４に表示する。
【００４０】
＜第２の実施形態＞
第１の実施形態のステップＳ１２０５の別の実施形態を図１４のフローチャートを用いて説明する。
【００４１】
ステップＳ１４０１で、制御部２０３は、認識文字がすべて単語リストにあるかどうか判定する。単語リストとは、あらかじめユーザが登録している単語のリストである。具体的には、顧客の会社名、住所などといったような情報のリストである。すべて単語リストに存在すると判定した場合は、ステップＳ１４０２に進む。
【００４２】
ステップＳ１４０２では、情報取得領域と認識文字の間隔が領域内の文字高さの１．５倍になるように、認識文字の表示位置を設定する。文字高さは、文字認識の際に取得可能である。
【００４３】
Ｓ１４０１で認識文字が単語リストにすべてあるわけではない場合は、ステップＳ１４０３に進み、認識文字が一つでも単語リストにあるかどうか判定する。認識文字が単語リストに少なくともひとつ存在すると判定した場合は、ステップＳ１４０４に進む。
【００４４】
ステップＳ１４０４では、情報取得領域と認識文字の間隔が領域内の文字高さの２倍になるように、認識文字の表示位置を設定する。単語リストに存在しない認識文字があるということは、情報取得領域と帳票画像のずれが大きい可能性があるためである。
【００４５】
ステップＳ１４０３で、認識文字がひとつも単語リストにないと判定した場合は、ステップＳ１４０５に進む。ステップＳ１４０５では、情報取得領域と認識文字の間隔が領域内の文字高さの３倍になるように、認識文字の表示位置を設定する。
【００４６】
ステップＳ１４０６では、認識文字の背景を白くして、認識文字をＳ１４０２，Ｓ１４０４，Ｓ１４０５のいずれかにより求めた位置に表示して、図１２のステップＳ１２０６に進む。
【００４７】
＜第３の実施形態＞
第１の実施形態のステップＳ１２０４〜Ｓ１２０５の別の実施形態を図１５のフローチャートを用いて説明する。
【００４８】
ステップＳ１５０１で制御部２０３は、情報取得領域の縦横それぞれ２倍の領域の位置を求め、外接矩形抽出領域とする。ここでは例として２倍をあげるが、何倍でも構わない。
【００４９】
例えば、情報取得領域が、左上座標が（２００、２００）、右上座標が（４００，２００）、左下座標が（２００，３００）、右下座標が（４００，３００）で、高さ１００幅２００の長方形である場合を例にとる。この場合、中心座標が共通で縦横それぞれ２倍の領域は、左上座標が（１００、１５０）、右上座標が（５００，１５０）、左下座標が（１００，３５０）、右下座標が（５００，３５０）の高さ２００幅４００の長方形領域となる。
【００５０】
次にステップＳ１５０２とステップＳ１５０３では、ステップＳ１５０１で求めた外接矩形抽出領域の上側から１ラインずつ画素があるかどうかを確認する。
【００５１】
最初は、帳票画像の（１００、１５０）から（５００，１５０）の間に有意な画素（例えば黒画素）があるか確認する。なければひとつ下の画素行に下がって、（１００、１５１）から（５００，１５１）の間に有意な画素があるか確認する。このようにして有意な画素が見つかるまで順に探索していく。たとえば、（１００、１６０）から（５００，１６０）の間に黒画素があったとすると、ステップＳ１５０４に進む。
【００５２】
ステップＳ１５０４では、（１００、１６０）から（５００，１６０）の直線を外接矩形の上辺とする。
【００５３】
ステップＳ１５０５とステップＳ１５０６では、ステップＳ１５０１で求めた外接矩形抽出領域の下側から１ラインずつ有意な画素があるかどうかを確認する。最初は、帳票画像の（１００、３５０）から（５００，３５０）の間に有意な画素があるか確認する。なければひとつ上の画素行に上がって、（１００、３４９）から（５００，３４９）の間に有意な画素があるか確認する。このようにして有意な画素が見つかるまで順に探索していく。たとえば、（１００、２５０）から（５００，２５０）の間に画素があったとするとステップＳ１５０７に進む。
【００５４】
ステップＳ１５０７では、（１００、２５０）から（５００，２５０）の直線を外接矩形の下辺とする。
【００５５】
ステップＳ１５０８とステップＳ１５０９では、ステップＳ１５０１で求めた外接矩形抽出領域の左側から１ラインずつ有意な画素があるかどうかを確認する。最初は、帳票画像の（１００、１５０）から（１００，３５０）の間に有意な画素があるか確認する。なければひとつ右の画素列に移動して、（１０１、１５０）から（１０１，３５０）の間に有意な画素があるか確認する。このようにして有意な画素が見つかるまで順に右に移動していく。たとえば、（２３０、１５０）から（２３０，３５０）の間に画素があったとするとステップＳ１５１０に進む。
【００５６】
ステップＳ１５１０では、（２３０、１５０）から（２３０，３５０）の直線を外接矩形の左辺とする。
【００５７】
ステップＳ１５１１とステップＳ１５１２では、ステップＳ１５０１で求めた外接矩形抽出領域の右側から１ラインずつ有意な画素があるかどうかを確認する。最初は、帳票画像の（５００、１５０）から（５００，３５０）の間に有意な画素があるか確認する。なければひとつ左の画素列に移動して、（４９９、１５０）から（４９９，３５０）の間に有意な画素があるか確認する。このようにして有意な画素が見つかるまで順に左に移動していく。たとえば、（３５０、１５０）から（３５０，３５０）の間に画素があったとするとステップＳ１５１３に進む。
【００５８】
ステップＳ１５１３では、（３５０、１５０）から（３５０，３５０）の直線を外接矩形の右辺とする。
【００５９】
外接矩形は、左上（２３０，１６０）、右上（３５０，１６０）、左下（２３０，２５０）、右下（３５０，２５０）となる。
【００６０】
ステップＳ１５１４では、当該求めた外接矩形内の帳票画像に対して文字認識処理を実行し、前記外接矩形と認識文字を表示してステップＳ１２０６に進む。
【００６１】
図９の９０３は、第３の実施形態のＳ１５０２〜Ｓ１５１３の説明を概念的に示したものであり、矢印の方向に有意な画素の探索を行うことを示している。また、図９の９０４は、求めた外接矩形と認識文字をＳ１５１４で表示しているところを示す図である。
【００６２】
＜第４の実施形態＞
情報取得領域の左上座標が（２００、２００）、右上座標が（４００，２００）、左下座標が（２００，３００）、右下座標が（４００，３００）の高さ１００幅２００の長方形を例にとる。
【００６３】
情報取得領域の境界上（上辺、下辺、左辺、右辺）に、有意な画素があるかどうかを確認する。たとえば、上辺に画素があったとすると、文字の一部が情報取得領域に重なっていることを意味している。したがって、本実施例では、この場合、文字に重ならない位置を求める。
【００６４】
上辺は、帳票画像の（２００，２００）から（４００，２００）で、その間に有意な画素があるか確認する。ここでは黒画素があったとする。この場合、ひとつ上の画素行の（２００，１９９）から（４００，１９９）の間に有意な画素があるか判定する。有意な画素があればまたひとつ上に上がって画素の確認をする。そのようにして画素がなくなるまで繰り返すと、文字と重ならない位置が分かる。
【００６５】
同様に、下辺、左辺、右辺でも同じように領域の外側方向に画素を確認していき、最終的に求まった４辺を情報取得領域とする。
【００６６】
例えば、図９の９０１が最初の情報取得領域の状態であったとすると、文字画像と情報取得領域が重なっている。上辺のみ文字と重なっているので前述の方法により文字と重ならない位置に上辺を移動させると、図９の９０５のように情報取得領域を広げるように変更される。上辺の位置を移動したので認識文字もその上に移動して表示されることになり、文字画像と認識文字が重ならないようになり、確認ができるようになる。
【００６７】
＜第５の実施形態＞
また一方、情報取得領域と認識文字を離しすぎると、その認識文字が隣の文字行の文字画像に重なってしまい、確認しづらくなる場合がある。
【００６８】
図１０の１００１は、その問題を模式的に表したものである。下側の文字画像（０７／２８／２０１４）に対する認識文字（Ｕ１／ｚｏ／ｚＵ１＋）が、その上にある文字行の文字画像（山田太郎）と重なって、確認しづらくなっている。
【００６９】
第５の実施形態では、情報取得領域の表示ウィンドウ内の表示位置を固定したままで、ユーザの指示に基づき帳票イメージ自体を上下左右に移動したり拡大縮小したりすることで解決する。それが図１０の１００２である。帳票イメージの上下左右の移動や拡大縮小は、Ｗｉｎｄｏｗｓ（登録商標）などで通常用いられるスクロールバーなどの手段で構わない。情報取得領域を固定位置で表示したままにすることで、ユーザが簡単に帳票イメージの移動や拡大縮小を行うことができる。その後、変更した帳票イメージをもとに情報取得領域内を、再度文字認識をかけて認識文字を表示する。
その状態が、図１０の１００２である。
【００７０】
＜第６の実施形態＞
第１の実施形態では、タブレット１００のカメラで位置ずれしたことを想定しているが、帳票分類で失敗して別の帳票タイプに分類され、情報取得領域が全く異なる位置に設定される場合もありうる。図１０の１００３は、文字画像と情報取得領域の位置が完全にずれている例を示している。
【００７１】
第６の実施形態では、認識文字の信頼度が１０％（第３の閾値）よりも低い情報取得領域がある場合は、他の帳票タイプに関連づいている情報取得領域を用いて文字認識処理を行う。
【００７２】
そして、帳票タイプごとに文字認識の平均信頼度を算出して、もっとも信頼度が高い帳票タイプに置き換えることで帳票分類の誤認識に対応することが可能となる。もっとも信頼度が高い帳票タイプに分類し直した結果、文字画像と情報取得領域の位置が一致し、その情報取得領域の認識文字を表示した状態が、図１０の１００４である。
【００７３】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2016167159.tif 000003
【図２】
2016167159.tif 000004
【図３】
2016167159.tif 000005
【図４】
2016167159.tif 000006
【図５】
2016167159.tif 000007
【図６】
2016167159.tif 000008
【図７】
2016167159.tif 000009
【図８】
2016167159.tif 000010
【図９】
2016167159.tif 000011
【図１０】
2016167159.tif 000012
【図１１】
2016167159.tif 000013
【図１２】
2016167159.tif 000014
【図１３】
2016167159.tif 000015
【図１４】
2016167159.tif 000016
【図１５】
2016167159.tif 000017
【図１６】
2016167159.tif 000018
【図１７】
2016167159.tif 000019