(57)【要約】【課題】  反りや折れ等がある媒体をスタンド型スキャナで読み取った場合、画像データ上では媒体画像に歪みが生じることがあり、文字認識結果に不読や誤読が含まれる可能性がある。【解決手段】  媒体を載置する載置部と、載置された媒体に記載された内容をその上方から撮像する撮像部と、撮像部にて撮像された媒体の記載内容を文字認識する画像処理部と、文字認識された結果とその確認を促す確認画面を表示する表示部と、を有し、確認画面は、文字認識された結果に関して誤認識が疑われる箇所を他の箇所と異なる態様で表示するように構成した。【選択図】  図１４
2017142635.tif 000002
【特許請求の範囲】
【請求項１】
媒体を載置する載置部と、
前記載置された媒体に記載された内容をその上方から撮像する撮像部と、
前記撮像部にて撮像された媒体の記載内容を文字認識する画像処理部と、
前記文字認識された結果とその確認を促す確認画面を表示する表示部と、
を有する画像読取装置であって、
前記確認画面は、前記文字認識された結果に関して誤認識が疑われる箇所を他の箇所と異なる態様で表示することを特徴とする画像読取装置。
【請求項２】
請求項１に記載の画像読取装置であって、
前記載置部に載置された媒体の歪みの大きさと位置とを検出する歪み検出部を有し、
前記歪み検出部によって検出された媒体の歪みが、予め定めた閾値より大きい場合、利用者に対して所定の案内画面を表示することを特徴とする画像読取装置。
【請求項３】
請求項２に記載の画像読取装置であって、
前記案内画面は、操作者に対して媒体の歪みを修正するように促すことを特徴とする画像読取装置。
【請求項４】
請求項２又は３に記載の画像読取装置であって、
前記歪み検出部によって検出された媒体の歪み箇所を、前記画像処理部の文字認識において誤認識が疑われる箇所として他の箇所と異なる態様で表示することを特徴とする画像読取装置。
【請求項５】
請求項２〜４のいずれか一つに記載の画像読取装置であって、
前記媒体の歪みは、媒体の折れもしくは反りであることを特徴とする画像読取装置。
【請求項６】
請求項５に記載の画像読取装置であって、
前記歪み検出部は、前記載置部の上部に設けた１台もしくは複数台のカメラによって撮像された前記媒体の画像を解析することによって、前記媒体の歪みの大きさと位置とを検出することを特徴とする画像読取装置。
【請求項７】
請求項５に記載の画像読取装置であって、
前記歪み検出部は、前記載置部の上部に設けた１台もしくは複数台の投光機によって前記媒体に対して格子模様を投射し、前記格子模様の歪みを解析することによって前記媒体の歪みの大きさと位置とを検出することを特徴とする画像読取装置。
【請求項８】
請求項５に記載の画像読取装置であって、
前記媒体は印字面に予め不可視インクによって格子模様がプレ印刷されており、
前記歪み検出部は、前記不可視インクを可視化する紫外線ランプを照射し、前記格子模様の歪みを解析することによって前記媒体の歪みの大きさと位置とを検出することを特徴とする画像読取装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は帳票類の画像を読み取って文字認識処理を行うスタンド型スキャナに関する。
【背景技術】
【０００２】
近年、例えば郵便局や銀行の営業店では、金銭の入・出金の申請やその他様々な事務手続きで取り交わされる帳票等の媒体を、イメージスキャナで読み取って画像データ化し、当該画像データを入力として文字認識処理することにより、媒体に印字又は記入された文字列（例えば金額、口座番号、住所、氏名等）を電子化するシステムが普及している。  
この時の媒体の読み取りでは、媒体の読み取り対象面を上向きに置き、支柱に固定したカメラで真上から読み取るオープン型スキャナが用いられることがある。このタイプのスキャナは媒体に非接触の状態で読み取りを行うため、媒体の材質や厚みの違い等に柔軟に対応でき、シートフィード型スキャナのような搬送エラーも発生しない等の特徴がある。
【０００３】
従来、この種の発明には特開２００７−２７２５７２公報（特許文献１）に記載のものがあった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２７２５７２公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
スタンド型スキャナは媒体に非接触の状態で読み取るため、媒体が反りや折れ状態のまま読み取られるケースがある。この反りや折れ等がある媒体をスキャナで読み取った場合、画像データ上では媒体画像に歪み（一部分の傾き等）が生じることがあり、文字認識結果に不読や誤読が含まれる割合が高くなる等、その後の文字認識に影響を及ぼす可能性がある。
【０００６】
この時、文字認識処理において、文字認識結果が不読の場合は「？」等の特定文字を出力することで認識結果の妥当性を確認することも可能であるが、文字認識結果が誤読かどうかは媒体に印字又は記入された文字との目視比較をまんべんなく行うことが必要であり、操作者の作業負担が増加することとなる。
【０００７】
また、特許文献１には、非接触スキャナ装置において読み取る帳票の歪みを判別することが記載されているが、歪みを検出した場合、歪みパターンに含まれる歪み種類に応じて操作者に対して帳票を置き直して再度認識処理を行ったり、スキャナを変更する等の対処を促すものであり、操作者の作業負担増は免れなかった。
【０００８】
本発明は、文字認識精度を向上し且つ文字認識結果の誤読見逃しを低減する方法を提供し、文字認識処理を伴う業務の利便性を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本願発明の画像読取装置は、媒体を載置する載置部と、載置された媒体に記載された内容をその上方から撮像する撮像部と、撮像部にて撮像された媒体の記載内容を文字認識する画像処理部と、文字認識された結果とその確認を促す確認画面を表示する表示部と、を有し、確認画面は、文字認識された結果に関して誤認識が疑われる箇所を他の箇所と異なる態様で表示するように構成した。
【発明の効果】
【００１０】
本発明によれば、文字認識精度を向上し且つ文字認識結果の誤読見逃しを低減する方法が提供でき、文字認識を伴う業務の利便性を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態における画像読取装置のハードウェア構成である。
【図２】本発明の実施形態における画像読取装置のシステム構成概略図である。
【図３】本発明の実施形態における読取媒体の一例である。
【図４】本発明の実施形態における読取媒体の一例である。
【図５】本発明の実施形態における画像読取装置の処理フローである。
【図６】本発明の実施形態における表示画面の一例である。
【図７】本発明の実施形態における表示画面の一例である。
【図８】本発明の実施形態における表示画面の一例である。
【図９】本発明の実施形態における表示画面の一例である。
【図１０】本発明の実施形態における表示画面の一例である。
【図１１】本発明の実施形態における表示画面の一例である。
【図１２】本発明の実施形態における表示画面の一例である。
【図１３】本発明の実施形態における表示画面の一例である。
【図１４】本発明の実施形態における表示画面の一例である。
【図１５】本発明の実施形態における媒体の変形を検出する機構の一例である。
【図１６】本発明の実施形態における媒体の変形を検出する機構の一例である。
【発明を実施するための形態】
【００１２】
図１は、本発明の一実施形態における画像読取装置のハードウェア構成である。１００はスタンド型スキャナ本体であって、カメラ部１０１と、カメラ部１０１を支える支柱１０２と、読み取る媒体１１０を載せる載置台１０３と、から構成されている。２００はスタンド型スキャナ本体１００に接続された制御用コンピュータであって、演算処理装置や記憶装置等からなるコンピュータ本体２０１と、読み取った媒体の画像や文字認識結果ならびに利用者に対して処理操作の案内等を表示するモニタ部２０２と、処理操作の指示入力等を行うキーボード２０３やマウス２０４と、から構成されている。
【００１３】
図２は、本発明の一実施形態における画像読取装置のシステム構成概略図である。撮像部３００は媒体の読取を行うものであり、図１のカメラ部１０１に相当する。画像処理部３１０は撮像部３００で読み取った画像をデータ化したり文字認識を行うものであり、必要に応じて、撮像画像の修正処理等も行うことができる。画像処理部３１０は図１のコンピュータ本体２０１もしくはスタンド型スキャナ本体１００内に搭載されている。表示部３２０は撮像画像や処理操作案内画面等を表示するものであり、図１のモニタ部２０２に相当する。入力部３３０は処理操作の指示入力等を行うものであり、図１のキーボード２０３やマウス２０４に相当する。制御部３４０は画像読取装置全体の制御を行うものであり、図１のコンピュータ本体２０１に相当する。
【００１４】
なお、図２のシステム構成と図１のハードウェア構成の対応関係は上述に限られるものではなく、例えば、制御部３４０はコンピュータ本体２０１とスタンド型スキャナ本体１００内に分散配置されていてもよいし、画像処理部３１０はスタンド型スキャナ本体１００内に配置されていてもよい。
【００１５】
図３は本発明の実施形態において読取対象となる媒体の一例としての金融機関の窓口等で用いられる振込依頼書１２０である。また、図４は同じく本発明の実施形態における媒体の一例である振込依頼書１３０であるが、用紙の一部に反りや折れ（１３１、１３２）が存在している。以下、図５に示すフローチャート及び図６以下の画面表示例に基づいて、本発明の画像読取装置の動作及び処理を説明する。
【００１６】
画像読取装置の電源が投入されてシステムが立ち上がると、モニタ部２０２には図６に示すような初期画面６００が表示される（ステップＳ５０００）。銀行の係員等がマウス２０４を用いて「はい」のボタン６０１をクリックすると、図７に示すような読み取るべき書類のセットを促す画面７００が表示される（ステップＳ５００２）。係員は図３に示すような反りや折れのない振込依頼書を載置台１０３にセットすると、「はい」のボタン７０１をクリックする。読み取りを止める場合は「いいえ」のボタン７０２をクリックすると図６の初期画面６００に戻る。
【００１７】
振込依頼書１２０を読み取ると、モニタ部２０２には図８に示すような読み取った振込依頼書の画像８０１と、係員に対して読み取った振込依頼書の文字認識を行うか否かを確認するメッセージや処理に移行するボタンを含む画面８００が表示される（Ｓ５００４）。
【００１８】
ここで「はい」ボタン８０２がクリックされると、まず、読み取った振込依頼書の反りや折れの有無を判定する（ステップＳ５００６）。なお、媒体の反りや折れ、及び、それらの位置やその大きさ（変位量）の検出は様々な構成・方法で可能である。例えば、図１５に示すように、カメラ部１０１に複数の撮像レンズ１５００による視差を解析することによって媒体の変位量・位置を検出する、いわゆるステレオカメラを搭載してもよいし、１台のカメラを移動させて立体形状を捉えるような構成にしてもよい。
【００１９】
あるいは、図１６に示すように、媒体に対して格子状の光線を投射する一つ又は複数の投光機１６００を備え、投光機を変えながら格子模様１６１０を投射し且つその都度カメラ部１０１によって媒体を読み取り、取得した各画像上の格子の歪み具合の違いから、当該媒体の反りや折れ等歪み等の発生位置や量を解析することもできる。投光機は複数台の設置ではなく、格子状の光線を投光する１台の移動可能な投光機であってもよい。
【００２０】
また、格子模様は投光機等で投射するものではなく、予め媒体に通常は見えないような不可視インク（ステルスインク等）で格子模様をプレ印刷しておき、媒体の読み取り時に図示しない紫外線ランプを照射して格子を可視化することでもよい。また、距離センサを用いて媒体の反りや折れ等歪みの発生位置や量を解析してもよい。
【００２１】
読み取った振込依頼書が図３に示すような反りや折れのないものの場合、反りや折れが検出されることはなく（ステップＳ５００６でＮ）、そのまま読み取った画像から文字認識処理を行う（ステップＳ５０５０）。文字認識処理自体は、公知の認識処理を実施すればよいので、その具体的な処理方法等についての説明は省略する。また、文字認識処理を行っている間は、必要に応じて図９に示すような処理中画面９００を表示してもよい。
【００２２】
文字認識処理が完了すると、図１０に示すような認識結果の確認画面１０００を表示する（ステップＳ５０５２）。確認画面１０００には、認識結果１０１０と、その修正要否確認メッセージ１０２０と、「修正なし」ボタン１１００、「戻る」ボタン１１０１、「中止」ボタン１１０２が含まれている。認識結果に誤りがなければ（ステップＳ５０５４でＮ）、係員が「修正なし」ボタン１１００をクリックすることで認識結果を確定させ、終了する。
【００２３】
認識結果に誤りがあれば（ステップＳ５０５４でＹ）、係員は誤りのある項目を選択して修正処理を行うことができる。モニタ部２０２に表示された認識結果１０１０は、各々の項目がボタン状に表示されてクリックできるようになっており、クリックされた項目の修正処理画面に移行して修正処理が可能である。
【００２４】
例えば、図１０の認識結果１０１０では、口座番号１０１１が「１２３４５５」と認識されており、図８の読取画像８０１の口座番号８１０の値「１２３４５６」と異なっている。そこで係員は、図１０の認識結果１０１０の口座番号「１２３４５５」１０１１をクリックする。すると、モニタ部２０２には図１１に示すような修正画面１１００が表示される。
【００２５】
修正画面１１００は、修正項目の読取画像部分１１１０とその文字認識結果１１２０とが対比して表示され、その下に修正内容の入力欄１１３０が表示されることにより、係員は読み取った画像１１１０とその文字認識結果１１２０とを比較参照しながらキーボード２０３を用いて修正内容入力欄１１３０へ正しい内容を入力することができる（ステップＳ５０６０）。修正入力が完了すると、修正入力完了ボタン１１４０をクリックし、図１２に示すような修正内容確認画面１２００が表示される。修正した箇所１２１０がわかりやすいように、他の箇所と異なる色や形状のボタンで表示するようにしてもよい。
【００２６】
係員は修正内容確認画面１２００を確認し、他にも修正が必要な箇所があれば前述と同様の手順で修正を行い、これ以上の修正が不要であれば修正なしボタン１２２０をクリックし（ステップＳ５０５４でＮ）、認識結果を確定させて終了する。
【００２７】
ステップＳ５００６に戻って、読み取った振込依頼書が図４に示すように用紙の一部に反りや折れ（１３１、１３２）が存在している場合、本実施例の画像読取装置はそれらを検出し（ステップＳ５００６でＹ）、反りや折れの位置を認識するとともに、それらの大きさを判定する（ステップＳ５００８）。判定した反りや折れの大きさが予め定めた閾値よりも大きい場合、その後の文字認識処理が正しく実行できないおそれがあるため、図１３に示すような、媒体の反りや折れを直してから再度認識処理を行うことを促す案内画面１３００を表示する（ステップＳ５０２０）。
【００２８】
係員は振込依頼書の反りや折れを直してからスキャナ１００に再セットし、再認識ボタン１３１０をクリックする。以下、前述と同様に振込依頼書の読み取りを行い、折れや反りが検出されなければ、前述のステップＳ５００６でＮ以降の処理（ステップＳ５０５０以下の処理）を行い、折れや反りを検出してそれらの大きさが閾値以下でなければ、再度、図１３の案内画面１３００を表示し（ステップＳ５０２０）、以下、折れや反りが検出されない、もしくは、折れや反りの大きさが閾値以下となるまで繰り返す。これらのループを所定回数繰り返したとしても、検出した折れや反りの大きさが閾値以下とならない場合は、エラーメッセージを表示して読取処理を中止するようにしてもよい。
【００２９】
ステップＳ５０１０に戻って、検出した折れや反りの大きさが閾値以下であれば（Ｙ）、文字認識処理を行う（ステップＳ５０１２）。このとき、認識ができない文字等があれば（ステップＳ５０１４でＹ）、先に読み取った画像の折れや反りのある部分によって画像が歪んでいるために認識不能となっている可能性があるため、先に検出した折れや反りの位置や大きさの情報を用いて読取画像の修正処理を行い、再度、文字認識を行う（ステップＳ５０３０）。なお、画像補正処理に要する時間が全体処理時間に与える影響を鑑み、当該影響を極小化するためにステップＳ５０３０をリトライ処理とするフローとしたが、画像補正処理時間が全体処理時間に対して無視できるほど極めて小さくできれば、ステップＳ５０１２及びステップＳ５０１４を行わず、ステップＳ５０３０を必ず実行するようにしてもよい。
【００３０】
認識不能な文字等がなければ（ステップＳ５０１４でＮ）、図１４に示すような認識結果の確認画面１４００を表示する（ステップＳ５０１６）。ここで、前述のように読み取った振込依頼書には図４に示すような用紙の一部に反りや折れ（１３１、１３２）が存在しているため、これらの箇所の文字認識結果には認識誤りが発生している可能性がある。
【００３１】
そこで、反りや折れ（１３１、１３２）に対応する箇所の文字認識結果（１４２０、１４２１）は、他の箇所の文字認識結果とは異なる表示態様で表示すると共に、それらの箇所については認識結果をより注意して確認することを促すメッセージ１４１０を表示する。例えば、文字の太さ、大きさ、フォントや、文字や背景の色等を他の文字と変えて強調することで、操作者へ注意すべき文字の箇所や領域を示すことができる。図１４では、該当箇所を白抜き文字で表示する例を示している。これによって、係員は図４に示すような振込依頼書１３０の反りや折れのある箇所（１３１、１３２）の文字認識結果の確認時に、他の箇所よりも注意してよく確認することを喚起される。
【００３２】
認識結果の確認の結果、誤認識等が検出されて修正が必要の場合（ステップＳ５０１８でＹ）、前述のステップＳ５０５４、ステップＳ５０６０等と同様にして修正処理を行い（ステップＳ５０４０）、修正が必要な箇所がなくなれば（ステップＳ５０１８でＮ）、認識結果を確定させて終了する。
【００３３】
なお、上記実施例においては、媒体の反りや折れのある部分について、文字認識が誤認識されている可能性があるとして、係員に対してその部分を注意して確認するように促す画面を表示するようにしたが、他の何らかの要因によって誤認識が疑われる箇所がある場合には、その箇所についても注意して確認を促す画面を表示するようにしていてもよい。例えば、文字認識処理時に、認識結果に複数候補が存在した場合、認識結果としてはその複数候補の内の確度の最も高いものを表示させ、係員に対してその結果を注意して確認するように促すようにしてもよい。
【００３４】
以上、詳細に説明したように本発明の実施例によれば、反りや折れのある媒体に対して文字認識を行ったときに、認識結果について誤認識が疑われる箇所を他の箇所と異なる態様で表示するようにしたので、係員は誤認識が疑われる箇所の認識結果をより注意して確認することができ、その後の業務処理に支障がなく処理することが可能となる。
【符号の説明】
【００３５】
１００：スタンド型スキャナ本体、１０１：カメラ部、１０２：支柱、１０３：載置台、１１０：読取媒体、２００：制御用コンピュータ、２０１：コンピュータ本体、２０２：モニタ部、２０３：キーボード、２０４：マウス、３００：撮像部、３１０：画像処理部、３２０：表示部、３３０：入力部、３４０：制御部
【図１】
2017142635.tif 000003
【図２】
2017142635.tif 000004
【図３】
2017142635.tif 000005
【図４】
2017142635.tif 000006
【図５】
2017142635.tif 000007
【図６】
2017142635.tif 000008
【図７】
2017142635.tif 000009
【図８】
2017142635.tif 000010
【図９】
2017142635.tif 000011
【図１０】
2017142635.tif 000012
【図１１】
2017142635.tif 000013
【図１２】
2017142635.tif 000014
【図１３】
2017142635.tif 000015
【図１４】
2017142635.tif 000016
【図１５】
2017142635.tif 000017
【図１６】
2017142635.tif 000018