(57)【要約】【課題】たわんだ状態で撮影された帳票の部分画像から文字を高精度に認識する。【解決手段】実施形態の帳票読取装置は、撮像部、横線検出部、縦座標平均値算出部、画像補正部、文字認識部を具備する。撮像部は帳票を撮像する。横線検出部は撮像された前記帳票の画像から一つ以上の横線を検出する。縦座標平均値算出部は検出された一つ以上の横線の縦方向の座標の平均値を算出する。画像補正部は縦方向の座標の平均値の位置に前記横線を配置するように画像を拡大または縮小して前記帳票の画像を補正する。文字認識部は画像補正部により補正された画像に対して文字認識する。【選択図】図１
2015055890.tif 000002
【特許請求の範囲】
【請求項１】
帳票を撮像する撮像部と、
撮像された前記帳票の画像から一つ以上の横線を検出する横線検出部と、
検出された一つ以上の横線の縦方向の座標の平均値を算出する縦座標平均値算出部と、
前記縦方向の座標の平均値の位置に前記横線を配置するように画像を拡大または縮小して前記帳票の画像を補正する画像補正部と、
前記画像補正部により補正された前記帳票の画像に対して文字認識する文字認識部と
を具備する帳票読取装置。
【請求項２】
帳票を撮像する撮像部と、
前記撮像部により撮像された前記帳票の画像を表示するとともにタッチ操作が可能なタッチパネルと、
撮像された前記帳票の画像から一つ以上の横線を検出する横線検出部と、
検出された一つ以上の横線に対応して線の位置を調整するための補助線を前記タッチパネルに表示し、タッチ操作により前記補助線を調整する補助線調整部と、
調整された補助線の縦方向の座標の平均値を算出する縦座標平均値算出部と、
前記縦方向の座標の平均値の位置に前記横線を配置するように画像を拡大または縮小して前記帳票の画像を補正する画像補正部と、
前記画像補正部により補正された前記帳票の画像に対して文字認識する文字認識部と
を具備する帳票読取装置。
【請求項３】
帳票を撮像する撮像部を有するコンピュータを、
前記撮像部により撮像された帳票の画像から一つ以上の横線を検出する横線検出部と、
検出された一つ以上の横線の縦方向の座標の平均値を算出する縦座標平均値算出部と、
前記縦方向の座標の平均値の位置に前記横線を配置するように画像を拡大または縮小して前記帳票の画像を補正する画像補正部と、
前記画像補正部により補正された前記帳票の画像に対して文字認識する文字認識部
として機能させるためのプログラム。
【請求項４】
帳票を撮像する撮像部と前記撮像部により撮像された前記帳票の画像を表示するとともにタッチ操作が可能なタッチパネルとを有する前記コンピュータを、
前記撮像部により撮像された前記帳票の画像から一つ以上の横線を検出する横線検出部と、
検出された一つ以上の横線に対応して線の位置を調整するための補助線を前記タッチパネルに表示し、タッチ操作により前記補助線を調整する補助線調整部と、
調整された補助線の縦方向の座標の平均値を算出する縦座標平均値算出部と、
前記縦方向の座標の平均値の位置に前記横線を配置するように画像を拡大または縮小して前記帳票の画像を補正する画像補正部と、
前記画像補正部により補正された前記帳票の画像に対して文字認識する文字認識部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、帳票の画像の歪みを補正しその画像から帳票の文字を読み取る帳票読取装置およびプログラムに関する。
【背景技術】
【０００２】
例えばコンピュータなどの帳票読取装置では、デジタルカメラなどで取得した帳票の画像（デジタル写真など）を、文字認識アプリケーションソフトウェア（以下「ＯＣＲソフト」と称す）を利用して文字認識する技術が知られている。
【０００３】
通常、デジタルカメラで撮影された写真には帳票が歪んで写っているため、従来の画像処理装置では、帳票の部分画像の外形（エッジ）を使って画像を補正した上で文字認識を行うことが行われている。
【０００４】
昨今、上記ＯＣＲソフトの機能をスマートフォン、タブレット等のカメラ付き携帯端末に搭載し、自動車の車検証などの特殊な帳票の読み取りに利用したいという要望がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平２００２−７４３５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
車検証などの帳票は、車両のコンソールボックス等に保管されることから、多くの場合、車検証入れなどの帳票フォルダに入れて二つ折りなどにして保管されている。
【０００７】
このような状態で保管されている車検証を車検証入れから取り出して携帯端末で撮影した場合、車検証入れの保管形状で車検証に二つ折りなどの型が付いて凹凸しているため、これを撮影しても印字内容が歪んだ帳票の画像になる。
【０００８】
この場合、画像内の車検証の外形が直線状（一定の形状）にはならないため、上記ＯＣＲソフトでは画像がうまく補正できないという問題がある。
【０００９】
また、仮に帳票の外形を利用して何らかの補正ができたとしても、この際の補正には帳票全体が含まれる画像が必要なことから、画像内の帳票に記載されている文字が小さく写り、かつ帳票の線がゆがんでいて色も薄いため帳票の外形基準では十分な認識精度が出ないことが多い。
【００１０】
本発明が解決しようとする課題は、たわんだ状態で撮影された帳票の部分画像から文字を高精度に認識することができる帳票読取装置およびプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
実施形態の帳票読取装置は、撮像部、横線検出部、縦座標平均値算出部、画像補正部、文字認識部を具備する。前記撮像部は帳票を撮像する。前記横線検出部は撮像された前記帳票の画像から一つ以上の横線を検出する。前記縦座標平均値算出部は検出された一つ以上の横線の縦方向の座標の平均値を算出する。前記画像補正部は縦方向の座標の平均値の位置に前記横線を配置するように画像を拡大または縮小して前記帳票の画像を補正する。前記文字認識部は画像補正部により補正された前記帳票の画像に対して文字認識する。
【図面の簡単な説明】
【００１２】
【図１】帳票読取装置の一つの実施形態のタブレット端末の構成を示す図である。
【図２】車検証の一例を示す図である。
【図３】タブレット端末の動作を示すフローチャートである。
【図４】車検証の一部をタブレット端末のタッチパネルに表示した様子を示す図である。
【図５】検出した横線に対応する補助線をタッチパネルに表示した様子を示す図である。
【図６】補助線を縦方向にドラッグして上下の揺らぎを少なくする様子を示す図である。
【図７】分離した補助線を横方向になぞって繋ぐ様子を示す図である。
【図８】（ａ）は調整した補助線が表示された状態を示す図である。（ｂ）は各補助線の縦方向の座標の平均値で線を模式的に描いた様子を示す図である。
【図９】車検証画像の一部を縦方向に切り出した画像を引き伸ばしまたは縮小する様子を示す図である。
【図１０】補正された車検証の画像を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して実施形態を詳細に説明する。図１は帳票読取装置の一つの実施形態であるタブレット端末の構成を示す図である。
【００１４】
図１に示すように、この実施形態のタブレット端末１は、例えばＣＰＵ、メモリ、ＳＳＤなどの記録媒体などを有する例えば、コンピュータである。タブレット端末１では、記録媒体にインストールされた制御ソフトウェアをＣＰＵがメモリ上に読み出し、そのソフトウェアの処理を実行することで、タブレット端末１が帳票読取装置として機能する。
【００１５】
タブレット端末は、撮像部としてのカメラ１１、メモリ１２、横線調整部１３、縦座標平均値算出部１４、画像補正部１５、文字認識部１６、表示＆操作部としてのタッチパネル１７を備える。
【００１６】
カメラ１１は、例えばＣＣＤカメラなどであり、図２に示すように、文字読取対象の帳票としての車検証Ａを撮像し、撮像した画像（イメージデータ）（以下これを「車検証画像２１」（図４参照）という）をメモリ１２に記憶する。車検証画像２１は例えばモノクロイメージなどの画像である。
【００１７】
つまりカメラ１１は、車検証Ａを光学的に読み取り、読み取った車検証画像２１をメモリ１２に記憶する。つまり撮像部としては、端末に内蔵されたカメラ１１の他、例えば外部接続したＣＣＤセンサなどを備えたデジタルカメラであってもよい。
【００１８】
メモリ１２には車検証画像２１が記憶される。またメモリ１２には、文字認識用の辞書などが記憶されている。メモリ１２は各部により画像処理が行われる際の作業領域として機能する。
【００１９】
横線調整部１３は車検証画像２１から黒画素が連続する横線を検出する。つまり横線調整部１３は撮像された車検証画像２１から一つ以上の横線を検出する横線検出部として機能する。
【００２０】
横線調整部１３は検出した横線に対応する画面上の位置に線調整用の補助線２３ａ〜２３ｒ（図５参照）を表示する。より詳細には、横線調整部１３は検出された一つ以上の横線に対応して線の位置を調整するための補助線２３ａ〜２３ｒをタッチパネル１７に表示し、タッチ操作による補助線２３ａ〜２３ｒの調整操作に伴い補助線２３ａ〜２３ｒを調整する補助線調整部として機能する。
【００２１】
縦座標平均値算出部１４は検出された横線について各画素単位に縦方向の座標の平均値を算出しメモリ１２に記憶する。
画像補正部１５は縦方向の座標の平均値の位置に横線の黒画素が配置されるように画像を拡大（引き伸ばし）または縮小して画像を補正（整形）する。
【００２２】
文字認識部１６は画像補正部１５により補正（整形）された車検証画像２１に対して文字認識することで車検証Ａの横線の間隔に記載または印字されている横書きの文字を読み取りテキストデータを得る。
【００２３】
文字認識部１６は画像補正部１５により補正されたメモリ１２の車検証画像２１を読み出し車検証画像２１に対してレイアウト解析を行うことで、読み取り元の車検証Ａの文書構造（画像のどの位置に文字または文字列が記載されているかなど）を得る。
【００２４】
文字認識部１６はレイアウト解析により解析された文書構造に従い車検証画像２１を文字列の単位および文字の単位に切り出し、予めメモリ１２に設定された文字認識用の辞書を参照して車検証Ａの文字を認識する。
【００２５】
メモリ１２には、文字認識部１６により文字認識された結果の文字（テキスト）とこの文字に対応する文字画像とが対応して記憶される。
【００２６】
タッチパネル１７は情報の表示と入力の２つの機能を備えており、カメラ１１で撮像した車検証画像２１を液晶画面に表示すると共に、操作者が液晶画面に表示された画像（絵や写真など）の点または領域に手で触れることにより、触れられた画面位置の情報を感知して操作情報（信号）として出力する。すなわちタッチパネル１７はカメラ１１により撮像された車検証画像２１を表示するとともにタッチ操作が可能なものである。
【００２７】
以下、図３乃至図１０を参照してこの実施形態のタブレット端末１の動作を説明する。
このタブレット端末１では、車検証入れなどから取り出したよれた車検証Ａを机などに広げる。そして、図２に示す車検証Ａのうち、文字認識対象の文字が記載されている部分（文字認識に必要な一部の面）をカメラ１１で撮影する。
【００２８】
この場合、タブレット端末１のカメラ１１を車検証Ａに向けて、図４に示すように、車検証Ａの文字読取対象の部分がタッチパネル１７の画面内に収まるようにしてシャッターボタン２２を押すことでカメラ１１が車検証Ａを撮像し、車検証画像２１がメモリ１２に記憶される（図３のステップＳ１０１）。
【００２９】
横線調整部１３はメモリ１２に記憶された車検証画像２１を読み出して、車検証画像２１の中で画像の端から黒画素が連続する横線を検出し（ステップＳ１０２）、図５に示すように、タッチパネル１７に、車検証画像２１と、車検証画像２１内に検出された横線に対応する補助線２３ａ〜２３ｒとを表示する（ステップＳ１０３）。
【００３０】
補助線２３ａ〜２３ｒは検出した横線に対応したタッチパネル１７の位置に歪んだ状態で表示される。また横線の検出性能は完全ではないため、補助線２３ａ〜２３ｒは実際の横線とは多少位置がずれて表示される場合もある。例えば横線が薄い部分については補助線２３ａ〜２３ｒが分離して（途切れて）表示されることもある。
【００３１】
そこで、この例では、補助線２３ａ〜２３ｒの調整を、ユーザの指によるタッチ操作によって行う（ステップＳ１０４）。
【００３２】
この場合、タッチパネル１７の補助線２３ａ〜２３ｒを指でドラックして、撮影した車検証画像２１の正しい罫線の位置に補助線２３ａ〜２３ｒを移動する。補助線２３ａ〜２３ｒの調整を行った後、補正ボタン２４をクリックすることで、次の処理（画像補正処理）に移る。
【００３３】
図６に示すように、タッチパネル１７に表示されている補助線２３ａ〜２３ｒのうちのある補助線、例えば補助線２３ｆなどが、撮影した車検証画像２１の横線とずれている場合は、補助線２３ｆを指６１でタッチすると、横線調整部１３はタッチした補助線２３ｆをアクティブにする。
【００３４】
そして、タッチした指６１で補助線２３ｆをそのまま矢印６２の方向にドラックすると、横線調整部１３は補助線２３ｆを撮影した車検証Ａの正しい罫線（横線）の位置に移動する。アクティブになるとは、例えば点滅表示など他の線とは表示形態が変わり、下部に補正ボタン２４が表示される。
【００３５】
また、１本の補助線をさまざまな方向に修正したい場合は、例えば補助線２３ｎのように、指６３で補助線２３ｎを一定の時間（１秒以上）タッチすると、横線調整部１３は補助線２３ｎをアクティブにし、ベジェー曲線修正用のポイント６４を、補助線２３ｎの上下に補助線２３ｎに沿うように数点表示する。
【００３６】
ユーザが指６３で所望のポイント６４を移動操作することで、横線調整部１３はポイント６４の移動量に応じて補助線２３ｎの一部を曲げ、補助線２３ｎを所望の方向へ修正でき、補助線２３ｎを車検証画像２１の横線に合わせることができる。
【００３７】
また補助線２３ａ〜２３ｒのうち一部が分離して（途切れて）いる場合は、図７に示すように、指６５で途切れている補助線どうし（例えば補助線２３ｅと補助線２３ｆ）を選択すると、横線調整部１３は選択された２つの補助線２３ｅ、２３ｆをアクティブする。その後、指６５で互いの補助線２３ｅ、２３ｆを繋ぐようになぞることで、横線調整部１３は補助線２３ｅと補助線２３ｆを繋げる。
【００３８】
上記の操作を他の所望の補助線２３ａ〜２３ｒについても行い、補助線２３ａ〜２３ｒの調整を行った後、補正ボタン２４をクリックすると、車検証画像２１の横線の位置に補助線２３ａ〜２３ｒがほぼ重なり、補助線２３ａ〜２３ｒの位置が確定する。
【００３９】
補正ボタン２４がクリックされたことで、縦座標平均値算出部１４と画像補正部１５は補正実行の指示があったものと判定し（ステップＳ１０５のＹｅｓ）、横線とほぼ一致した各補助線２３ａ〜２３ｒを直線（各線の縦座標の平均値の位置）にするように車検証画像２１を補正するために、以下の処理を行う。
【００４０】
まず初めに、縦座標平均値算出部１４は補助線２３ａ〜２３ｒに不連続な箇所があるか否か（線の途切れの有無）を確認する。この確認の結果、補助線２３ａ〜２３ｒに不連続な箇所がある（途切れが有る）場合（ステップＳ１０６のＹｅｓ）、縦座標平均値算出部１４は途切れのあるエラー箇所を表示し（ステップＳ１０７）、ステップＳ１０４の処理に戻し、該当する補助線の再調整を行わせる。
【００４１】
一方、上記確認の結果、途切れがない場合（ステップＳ１０６のＮｏ）、縦座標平均値算出部１４はそれぞれの補助線２３ａ〜２３ｒについて、縦方向座標の平均値を算出する（ステップＳ１０８）。
【００４２】
この場合、縦座標平均値算出部１４は、図８（ａ）に示す車検証画像２１の補助線２３ａ〜２３ｒに対応する各横線の画素毎に、図８（ｂ）に示すように、縦方向の座標の平均値（座標）２３ａ-ａｖ〜２３ｒ-ａｖを求める。なお太い横線については、横線の線幅分の複数の画素毎に平均的な縦方向の位置（座標）を求める。つまり縦座標平均値算出部１４は各補助線２３ａ〜２３ｒ単位に縦方向の座標の平均値２３ａ-ａｖ〜２３ｒ-ａｖを算出しメモリ１２に記憶する。
【００４３】
続いて、画像補正部１５は縦方向の座標の平均値２３ａ-ａｖ〜２３ｒ-ａｖの位置に横線の黒画素が配置されるように縦方向に画像を拡大（引き伸ばし）または縮小して車検証画像２１を補正（整形）し（ステップＳ１０９）、メモリ１２に記憶する。
模式的には、図９に示すように、車検証画像Ａの一部を縦方向に切り出した画像９１の各線（黒画素）が、平均値２３ａ-ａｖ〜２３ｒ-ａｖの位置に移動するように画像を縦方向に引き伸ばしまたは縮小する。
【００４４】
すなわち画像補正部１５は各補助線２３ａ〜２３ｒの調整量分（移動分および結合分など）、車検証画像２１の黒画素以外の画素を拡大（引き伸ばし）または縮小または削除して、横線が連続する直線にほぼ近い状態になるように車検証画像２１を変形（補正）する。なお横方向に分離した２つの線を結合する場合は線間の黒画素以外の画素を削除する。
【００４５】
この結果、図１０に示すように、補正された画像９２では、文字が横に綺麗に並ぶ（整列する）ため、文字と罫線を分離しやすくなり、文字認識の精度を向上でき、また画像上でもユーザの見た目も見やすくなる。
【００４６】
このようにして車検証画像２１が補正されると、文字認識部１６は補正された車検証画像２１をメモリ１２から読み出して、車検証画像２１に対してレイアウト解析を行い、レイアウト解析結果を基づいて文字部分の画像を切り出し、切り出した画像に対して文字認識を行い（ステップＳ１１０）、テキスト（文字コード）と文字画像とのペアからなる文字認識結果をメモリ１２に記憶する。この動作をレイアウト解析結果として得られた全ての文字部分の画像について行う。
【００４７】
このようにこの実施形態によれば、以下のような効果を得ることができる。  
従来は帳票画像の上下左右の４つのエッジを利用して画像を補正していたため、エッジが複雑に歪んでいる場合には補正が難しいという問題があったが、本実施形態では、車検証Ａに横に長い罫線があり、かつその罫線がほぼ左右のエッジに近いところまで一杯に引かれていることに着目し、撮像した車検証画像２１の罫線（横線）を用いて車検証画像２１を縦方向にだけ補正して文字認識する。
【００４８】
またこの実施形態では、車検証Ａ全体ではなく車検証Ａの一部分の画像（図４参照）を撮像してその部分画像の範囲内を文字認識するので、文字認識結果を短時間に得ることができる。また、車検証Ａ全体を撮影する場合に比べて文字を高い解像度で撮影することができるから、文字認識の性能を向上させることができる。
【００４９】
この実施形態では、画像に対して横方向の補正はしないが、車検証Ａの文字は横書きで印刷されているので、文字が横一直線に並ぶ。現在の文字認識技術では、文字が横一直線に並んでいる方が精度よく文字を画像の中から検出し認識することができる。従って、この実施形態により画像を変形（補正または整形）することで、文字の検出精度および認識精度を高めることができる。
【００５０】
以上、本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００５１】
上記実施形態では、タッチパネル１７に車検証画像Ａを表示し、車検証画像Ａに重ねるように補助線２３ａ〜２３ｒを表示してユーザのタッチ操作による線の調整を行った後、画像を補正する例について説明したが、ユーザのタッチ操作による線の調整が不要な場合には、横線調整部１３を横線検出部とし、以下のように構成してもよい。
【００５２】
この場合、タブレット端末１は、車検証画像Ａなどの帳票を撮像するカメラ１１（撮像部）と、撮像された車検証画像Ａから一つ以上の横線を検出する横線検出部と、検出された一つ以上の横線の縦方向の座標の平均値を算出する縦座標平均値算出部１４と、縦方向の座標の平均値の位置に横線を配置するように画像を拡大または縮小して車検証画像Ａを補正する画像補正部１５と、この画像補正部１５により補正された車検証画像Ａに対して文字認識する文字認識部１６と、文字認識した結果を出力する出力部（表示部など）とを備える。これにより車検証Ａを撮像後の一連の動作を自動化することができる。
【００５３】
また上記実施形態では、各構成要素を、コンピュータのハードディスク装置などのストレージにインストールしたプログラムで実現したが、上記プログラムを、コンピュータ読取可能な電子媒体：electronic mediaに記憶しておき、プログラムを電子媒体からコンピュータに読み取らせることで本発明の機能をコンピュータが実現するようにしてもよい。電子媒体としては、例えばＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ等の記録媒体やフラッシュメモリ、リムーバブルメディア：Removable media等が含まれる。さらに、ネットワークを介して接続した異なるコンピュータに構成要素を分散して記憶し、各構成要素を機能させたコンピュータ間で通信することで実現してもよい。
【符号の説明】
【００５４】
１…タブレット端末、１１…カメラ、１２…メモリ、１３…横線調整部、１４…縦座標平均値算出部、１５…画像補正部、１６…文字認識部、１７…タッチパネル、２３ａ-２３ｒ…補助線。
【図１】
2015055890.tif 000003
【図２】
2015055890.tif 000004
【図３】
2015055890.tif 000005
【図４】
2015055890.tif 000006
【図５】
2015055890.tif 000007
【図６】
2015055890.tif 000008
【図７】
2015055890.tif 000009
【図８】
2015055890.tif 000010
【図９】
2015055890.tif 000011
【図１０】
2015055890.tif 000012