(57)【特許請求の範囲】
【請求項１】
帳票画像中の文字を抽出する画像処理方法であって、
帳票画像を入力する画像入力工程と、該帳票画像中に存在するキーワードを入力するキーワード入力工程と、前記帳票画像中の罫線で囲まれた枠を抽出する枠抽出工程と、該枠内の文字を認識する文字認識工程と、該認識結果の文字と前記キーワードとを比較するキーワード照合工程と、比較の結果前記キーワードと同一の文字が存在する枠の所属枠を探索して抽出する所属枠抽出工程とを備え、
前記枠抽出工程は、所定の長さ以上の黒ランを抽出する黒ラン抽出工程と、該抽出された黒ラン同士が所定の距離よりも近い場合は該黒ランの間を黒画素で埋める画素補完工程と、該黒画素が埋め込まれた帳票画像から白画素の連結成分の外接矩形を抽出する外接矩形抽出工程と、該抽出によって得られた外接矩形同士が重なっている場合はその重なり具合に応じて外接矩形同士を統合する矩形統合工程と、該統合された外接矩形の大きさを所定の大きさと比較し、所定の大きさよりも小さいものを除外する矩形サイズ吟味工程と、該吟味に基づいて得られた外接矩形の座標値をもって枠の座標値とする枠位置決定工程とを備えたことを特徴とする画像処理方法。
【請求項２】
帳票画像中の文字を抽出する画像処理装置であって、帳票画像を入力する画像入力手段と、該帳票画像中に存在するキーワードを入力するキーワード入力手段と、前記帳票画像中の罫線で囲まれた枠を抽出する枠抽出手段と、該枠内の文字を認識する文字認識手段と、該認識結果の文字と前記キーワードとを比較するキーワード照合手段と、比較の結果前記キーワードと同一の文字が存在する枠の所属枠を探索して抽出する所属枠抽出手段とを備え、
前記枠抽出手段は、所定の長さ以上の黒ランを抽出する黒ラン抽出手段と、該抽出された黒ラン同士が所定の距離よりも近い場合は該黒ランの間を黒画素で埋める画素補完手段と、該黒画素が埋め込まれた帳票画像から白画素の連結成分の外接矩形を抽出する外接矩形抽出手段と、該抽出によって得られた外接矩形同士が重なっている場合はその重なり具合に応じて外接矩形同士を統合する矩形統合手段と、該統合された外接矩形の大きさを所定の大きさと比較し、所定の大きさよりも小さいものを除外する矩形サイズ吟味手段と、該吟味に基づいて得られた外接矩形の座標値をもって枠の座標値とする枠位置決定手段とを備えたことを特徴とする画像処理装置。
【請求項３】
帳票画像中の文字を抽出する画像処理方法を実行するための各機能を、コンピュータで実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記各機能は、帳票画像を入力する画像入力機能と、該帳票画像中に存在するキーワードを入力するキーワード入力機能と、前記帳票画像中の罫線で囲まれた枠を抽出する枠抽出機能と、該枠内の文字を認識する文字認識機能と、該認識結果の文字と前記キーワードとを比較するキーワード照合機能と、比較の結果前記キーワードと同一の文字が存在する枠の所属枠を探索して抽出する所属枠抽出機能であって、
かつ前記枠抽出機能は、所定の長さ以上の黒ランを抽出する黒ラン抽出機能と、該抽出された黒ラン同士が所定の距離よりも近い場合は該黒ランの間を黒画素で埋める画素補完機能と、該黒画素が埋め込まれた帳票画像から白画素の連結成分の外接矩形を抽出する外接矩形抽出機能と、該抽出によって得られた外接矩形同士が重なっている場合はその重なり具合に応じて外接矩形同士を統合する矩形統合機能と、該統合された外接矩形の大きさを所定の大きさと比較し、所定の大きさよりも小さいものを除外する矩形サイズ吟味機能と、該吟味に基づいて得られた外接矩形の座標値をもって枠の座標値とする枠位置決定機能である、ことを特徴とする前記各機能をコンピュータで実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法，画像処理装置および該処理方法を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、より詳細には、紙面に記入された文字を光学的に認識する方法，装置に関し、帳票画像から、記入された文字を精度良く抽出することを目的とする画像処理方法および装置に関する。
【０００２】
【従来の技術】
従来、帳票画像から、記入された文字部分を抽出する処理は、完全な定型文書が対象で、形状も、全体としての文字や記入枠の位置も、全く同一の帳票に文字が書かれているものを想定していた。従って、処理対象帳票と同一フォーマットを持つ画像上で文字記入位置をあらかじめ座標で指定しておき、処理対象画像が入力されたら、同一フォーマット画像との位置合わせを行ない、処理対象画像中における文字記入位置を推定して、文字を抽出するという方法で行なっていた。上述のような位置合わせに対して、例えば、特開平１０−９１７８３号公報に開示されたものは、画像から線分の交叉点を抽出し、それを目印に画像の位置合わせを行うもので、正確な文字抽出のために有効な手段であった。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来流通している帳票には、完全に定型ではなく、おおまかには定型であるが微妙に形状の異なる帳票が多く存在する。図１を用いてその例を説明する。
図１は、従来流通している帳票の一例を説明するための図で、図１（Ａ），図１（Ｂ）に示した例のように、一見すると、両者は同じ帳票に見える。しかし、実際は、以下の点で異なっている。
（１）住所，氏名欄に用いられる線種（実線／点線）が違う。
（２）人数欄の性別と大人／子供の欄が、縦横逆になっている。
（３）人数欄の枠の大きさが違う。
【０００４】
図１に示した例のように、枠や印刷文字の位置や大きさが画像内で変化すると、前述の手法により、一方の画像をもとに、その文字記入位置の座標値を指定しても、また、他方の帳票に文字が書かれても、それらの文字を正確に抽出することができなかった。
【０００５】
本発明は、上述のような実情を考慮してなされたもので、微妙に形状の異なる帳票からでも文字を抽出することが可能な画像処理方法，画像処理装置および該処理方法を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的としてなされたものである。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、請求項１の発明は、帳票画像中の文字を抽出する画像処理方法であって、帳票画像を入力する画像入力工程と、該帳票画像中に存在するキーワードを入力するキーワード入力工程と、前記帳票画像中の罫線で囲まれた枠を抽出する枠抽出工程と、該枠内の文字を認識する文字認識工程と、該認識結果の文字と前記キーワードとを比較するキーワード照合工程と、比較の結果前記キーワードと同一の文字が存在する枠の所属枠を探索して抽出する所属枠抽出工程とを備え、前記枠抽出工程は、所定の長さ以上の黒ランを抽出する黒ラン抽出工程と、該抽出された黒ラン同士が所定の距離よりも近い場合は該黒ランの間を黒画素で埋める画素補完工程と、該黒画素が埋め込まれた帳票画像から白画素の連結成分の外接矩形を抽出する外接矩形抽出工程と、該抽出によって得られた外接矩形同士が重なっている場合はその重なり具合に応じて外接矩形同士を統合する矩形統合工程と、該統合された外接矩形の大きさを所定の大きさと比較し、所定の大きさよりも小さいものを除外する矩形サイズ吟味工程と、該吟味に基づいて得られた外接矩形の座標値をもって枠の座標値とする枠位置決定工程とを備えたことを特徴とする。
【０００７】
請求項２の発明は、帳票画像中の文字を抽出する画像処理装置であって、帳票画像を入力する画像入力手段と、該帳票画像中に存在するキーワードを入力するキーワード入力手段と、前記帳票画像中の罫線で囲まれた枠を抽出する枠抽出手段と、該枠内の文字を認識する文字認識手段と、該認識結果の文字と前記キーワードとを比較するキーワード照合手段と、比較の結果前記キーワードと同一の文字が存在する枠の所属枠を探索して抽出する所属枠抽出手段とを備え、
前記枠抽出手段は、所定の長さ以上の黒ランを抽出する黒ラン抽出手段と、該抽出された黒ラン同士が所定の距離よりも近い場合は該黒ランの間を黒画素で埋める画素補完手段と、該黒画素が埋め込まれた帳票画像から白画素の連結成分の外接矩形を抽出する外接矩形抽出手段と、該抽出によって得られた外接矩形同士が重なっている場合はその重なり具合に応じて外接矩形同士を統合する矩形統合手段と、該統合された外接矩形の大きさを所定の大きさと比較し、所定の大きさよりも小さいものを除外する矩形サイズ吟味手段と、該吟味に基づいて得られた外接矩形の座標値をもって枠の座標値とする枠位置決定手段とを備えたことを特徴とする。
【０００８】
請求項３の発明は、帳票画像中の文字を抽出する画像処理方法を実行するための各機能を、コンピュータで実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記各機能は、帳票画像を入力する画像入力機能と、該帳票画像中に存在するキーワードを入力するキーワード入力機能と、前記帳票画像中の罫線で囲まれた枠を抽出する枠抽出機能と、該枠内の文字を認識する文字認識機能と、該認識結果の文字と前記キーワードとを比較するキーワード照合機能と、比較の結果前記キーワードと同一の文字が存在する枠の所属枠を探索して抽出する所属枠抽出機能であって、かつ前記枠抽出機能は、所定の長さ以上の黒ランを抽出する黒ラン抽出機能と、該抽出された黒ラン同士が所定の距離よりも近い場合は該黒ランの間を黒画素で埋める画素補完機能と、該黒画素が埋め込まれた帳票画像から白画素の連結成分の外接矩形を抽出する外接矩形抽出機能と、該抽出によって得られた外接矩形同士が重なっている場合はその重なり具合に応じて外接矩形同士を統合する矩形統合機能と、該統合された外接矩形の大きさを所定の大きさと比較し、所定の大きさよりも小さいものを除外する矩形サイズ吟味機能と、該吟味に基づいて得られた外接矩形の座標値をもって枠の座標値とする枠位置決定機能であることを特徴とする。
【００１５】
【発明の実施の形態】
（実施例１）
図１（Ａ），図１（Ｂ）に示した例では、完全な定型帳票ではないが、項目名は同一である。例えば、氏名は、「氏名」と印刷された枠の隣に記入されることになっているし、男性は、縦横の違いこそあれ、「男性」と印刷された枠に隣り合った枠に記入されることについては、両者の間に差はない。そこで、まず、「氏名」，「男性」などの項目名を見付け出し、これらをキーワードとしてそこに隣接する枠を探して、そこを記入枠とする方法を取ることにする。
【００１６】
図２は、本発明による画像処理方法，画像処理装置および該処理方法を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体の一実施例を説明するための構成図で、図中、１は画像入力手段、２は画像格納手段、３はキーワード入力手段、４はキーワード格納手段、５は枠抽出手段、６は枠情報格納手段、７は文字認識手段、８はキーワード照合手段、９は所属枠グループ化手段である。
図３は、図２に示した実施例の動作の一実施例を説明するためのフローチャートである。
【００１７】
（１）スキャナ等の画像入力手段１で処理対象となる画像を入力し、画像格納手段２に格納する（ステップＳ１）。
（２）キーワードをキーワード入力手段３で入力し、 キーワード格納手段４に格納する（ステップＳ２）。このキーワードは、文字記入枠の属性を表すもので、図１に示した例では、「氏名」や「男性」等に相当するもので、 抽出したい属性をあらかじめ人手で指定しておく。
（３）枠の抽出を枠抽出手段５で行い、枠情報格納手段６にその情報を蓄えておく（ステップＳ３）。枠の抽出法には、罫線を抽出してその情報を利用する方法が考えられるが、実施例１では、以下のように、白画素連結成分から求める。
【００１８】
図４は、図２に示した枠抽出手段の一実施例を説明するための構成図で、図中、１１は黒ラン抽出手段、１２は黒ラン間画素補完手段、１３は補完画像情報格納手段、１４は白画素連結成分外接矩形抽出手段、１５は矩形情報格納手段、１６は矩形統合手段、１７は矩形サイズ吟味手段、１８は枠位置決定手段である。
図５は、図４に示した実施例の動作の一実施例を説明するためのフローチャートである。
図６，図７は、図５に示した実施例の具体例を示した図である。
【００１９】
（ａ）黒ラン抽出手段１１により、あらかじめ決めておいた値より長い黒ランを抽出する（ステップＳ３−１）。
（ｂ）ラン同士の距離が接近しているものを探し、黒ラン間画素補完手段１２によって画像上でランの間に黒画素を埋めこむ（ステップＳ３−２）。この処理は、あとで行う白連結成分抽出による枠位置決定時に、罫線にかすれがあると枠内の連結成分が枠の外とつながってしまい、枠を正しく抽出できないことから行う。また、補完対象を長いランに限定する理由は、網掛け領域などで細かいノイズが多数存在する領域において、ノイズ同士の間を統合して偽の罫線を生成しないようにするためである（図６を参照）。黒画素が埋め込まれた画像情報は、補完画像情報格納手段１３に格納する。
【００２０】
（ｃ）白画素連結成分の外接矩形（以下、白矩形とも呼ぶ）を白画素連結成分外接矩形抽出手段１４によって抽出し、矩形情報格納手段１５に格納する（ステップＳ３−３）。枠を構成する黒画素に囲まれた領域は、ここで外接矩形として抽出される。この矩形の位置が枠候補となる。
（ｄ）この枠候補で、ある白矩形同士で重なっているものを選び出し、矩形統合手段１６で統合する（ステップＳ３−４）。この処理は、図７に示したように、枠が文字で分断されている場合に、別々の枠として抽出しないように、白矩形同士がある程度以上重なっている場合は、両者を統合してひとつの矩形として統合してしまう処理である。
（ｅ）最後に、矩形サイズ吟味手段１７により、矩形の大きさが小さすぎるものは文字内部の可能性が高いので除外し（ステップＳ３−５）、枠位置決定手段１８により、白矩形の位置を枠の位置として決定する（ステップＳ３−５）。
【００２１】
（４）以上により、枠が抽出できたので、次に、文字認識手段７により、枠内の文字認識処理を行う（ステップＳ４）。
（５）枠の位置がわかっているので、この内部のみに文字認識処理を施す。次に、得られた認識結果と登録しておいたキーワードとをキーワード照合手段８によって比較し、同一のものを探す（ステップＳ５）。キーワードと同一の認識結果を与える画像領域（枠領域）がキーワードの存在する枠ということになる。これで、キーワード（と同定された文字）の存在するキーワード枠が抽出できたことになる。
【００２２】
（６）キーワード枠に属する（関連する）文字記入枠（以下、所属枠と呼ぶ）を探索する（ステップＳ６）。例えば、図１に示した例において、「大人」という項目（キーワード）の存在する枠に属する文字記入枠は２つあるので、その両方を抽出して「大人」に属する文字記入枠グループとする。また、「氏名」という項目に属する文字記入枠はひとつだけなので、この枠ひとつを抽出することになる。キーワードの存在する枠の右，下に接する枠を次々に探していき、大きさの異なる枠に接するまで、同一の属性を持つ枠としてグループ化するという方針で行う。処理手順は以下の通りである。
【００２３】
図８は、図２に示した所属枠グループ化手段の一実施例を説明するための図で、図中、２１は基準枠設定手段、２２は隣接枠検索手段、２３は枠形状検証手段、２４は枠内キーワード検証手段、２５は所属枠候補情報格納手段、２６は所属枠候補層数計数手段、２７は所属枠情報格納手段で、その他、図２に示した実施例と同じ作用をする部分には、図２に示した実施例と同じ符号が付してある。
図９は、図８に示した実施例の動作の一実施例を説明するためのフローチャートである。
図１０，図１１は、図９に示した実施例の具体例を示した図である。
【００２４】
（ａ）基準枠設定手段２１により、キーワードが存在する枠を初期基準枠に定める（ステップＳ６−１）。
（ｂ）隣接枠探索手段２２により、基準枠の右側に接する枠を探す（ステップＳ６−２）。具体的には、基準枠の右端座標と隣接枠の左端座標とが近いものを接していると見なす。
（ｃ）接する枠がない場合は（ステップＳ６−３のＮＯ）、基準枠の右側探索を終了し、下側探索を行う（ステップＳ６−１０）。
【００２５】
（ｄ）枠形状検証手段２３で枠の大きさや位置の検証を行う（ステップＳ６−４）。枠の上下端が基準枠のそれよりも内側に入っており、高さ差が少ない場合に、枠の形状が基準に適合していると判断し、そうでない場合は（ステップＳ６−４のＮＯ）、基準枠の右側探索を終了して下側探索を行う（ステップＳ６−１０）。
（ｅ）枠内キーワード検証手段２４で、隣接する探索対象枠がキーワード枠であるか否かを吟味し（ステップＳ６−５）、キーワード枠でないなら（ステップＳ６−５のＮＯ）、枠形状検証手段２３を用いて基準枠と隣接する探索対象枠との幅の差を吟味し（ステップＳ６−６）、差が大きい場合には、この隣接する探索対象枠はグループ化の対象外と判定し（ステップＳ６−６のＮＯ）、右側探索を終えて下側探索に移る（ステップＳ６−１０）。
（ｆ）枠内キーワード検証手段２４で、隣接する探索対象枠が他のキーワード枠であるかどうかを吟味し（ステップＳ６−７）、キーワード枠なら（ステップＳ６−７のＹＥＳ）、グループ化の対象外と判定し、右側探索を終えて下側探索に移る（ステップＳ６−１０）。
【００２６】
（ｇ）以上の条件をクリアした（ステップＳ６−７のＮＯ）隣接する探索対象枠は、グループ化され、当該キーワードの所属枠候補と判断されるので、所属枠候補情報格納手段２５に記録しておく（ステップＳ６−８）。
（ｈ）基準枠設定手段２１により、グループ化された枠を基準枠に設定し直し（ステップＳ６−９）、さらに右隣の枠との接続関係を調べる。このように、新たにグループ化される枠が見つからなくなるまで処理を繰り返す。
（ｉ）続いて、キーワード枠の下の枠にもグループ化を行う（ステップＳ６−１０）。手順は右側を探す場合と同様である。
【００２７】
（ｊ）右側にも下側にもグループ化ができたら、どちらか一方だけを所属枠として登録する。どちらを選ぶかの基準は、所属枠候補層数計数手段２６を用い、図１１に示したように、縦横の各グループ内の所属枠の層数を数え（ステップＳ６−１１）、多い方を選択し、所属枠情報格納手段２７に格納する（ステップＳ６−１２）。図１１に示した例では、縦方向の層数が多いので、グループは縦方向（下側）のものを採用する。なお、同数の場合は横方向を採用する。
（ｋ）全キーワードを吟味し終えたら（ステップＳ６−１３のＹＥＳ）、結果を出力し（ステップＳ６−１４）、処理を終了する。
以上の処理により、各キーワードに属する文字記入領域が特定できるので、その位置にある画像が文字画像ということになり、文字が抽出できたことになる。
【００２８】
（実施例２）
図１２は、本発明による画像処理方法を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体の一実施例を説明するための要部構成図で、本発明をソフトウェアによって実現する場合の実施例である。
ＣＰＵ３１、メモリ３２、ハードディスク３３、入力装置３４、ＣＤ−ＲＯＭドライブ３５、ディスプレイ３６、マウスなどからなる汎用の処理装置を用意する。ＣＤ−ＲＯＭなどの記録媒体３７には、本発明の画像処理の処理機能や処理手順を実現させるためのプログラムが記録されている。また、処理対象の原稿画像は、例えば、ハードディスク３３などに格納されている。ＣＰＵ３１は、記録媒体３７から上記した処理機能，手順を実現するプログラムを読み出し実行し、画像処理の結果をディスプレイ３６などに出力する。
【００２９】
【発明の効果】
以上の説明から明らかなように、本発明によれば、完全に定型でない帳票からも文字抽出が行え、罫線が多少かすれていても、正しく、文字抽出を行うことができる。
【図面の簡単な説明】
【図１】  従来流通している帳票の一例を説明するための図である。
【図２】  本発明による画像処理方法，画像処理装置および該処理方法を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体の一実施例を説明するための要部構成図である。
【図３】  図２に示した実施例の動作の一実施例を説明するためのフローチャートである。
【図４】  図２に示した枠抽出手段の一実施例を説明するための構成図である。
【図５】  図４に示した実施例の動作の一実施例を説明するためのフローチャートである。
【図６】  図５に示した実施例の具体例を示した図である。
【図７】  図５に示した実施例の具体例を示した図である。
【図８】  図２に示した所属枠グループ化手段の一実施例を説明するための図である。
【図９】  図８に示した実施例の動作の一実施例を説明するためのフローチャートである。
【図１０】  図９に示した実施例の具体例を示した図である。
【図１１】  図９に示した実施例の具体例を示した図である。
【図１２】  本発明による画像処理方法を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体の一実施例を説明するための要部構成図である。
【符号の説明】
１…画像入力手段、２…画像格納手段、３…キーワード入力手段、４…キーワード格納手段、５…枠抽出手段、６…枠情報格納手段、７…文字認識手段、８…キーワード照合手段、９…所属枠グループ化手段、１１…黒ラン抽出手段、１２…黒ラン間画素補完手段、１３…補完画像情報格納手段、１４…白画素連結成分外接矩形抽出手段、１５…矩形情報格納手段、１６…矩形統合手段、１７…矩形サイズ吟味手段、１８…枠位置決定手段、２１…基準枠設定手段、２２…隣接枠検索手段、２３…枠形状検証手段、２４…枠内キーワード検証手段、２５…所属枠候補情報格納手段、２６…所属枠候補層数計数手段、２７…所属枠情報格納手段、３１…ＣＰＵ、３２…メモリ、３３…ハードディスク、３４…入力装置、３５…ＣＤ−ＲＯＭドライブ、３６…ディスプレイ、３７…記録媒体。
【図１】
0004159071.tif 000002
【図２】
0004159071.tif 000003
【図３】
0004159071.tif 000004
【図４】
0004159071.tif 000005
【図５】
0004159071.tif 000006
【図６】
0004159071.tif 000007
【図７】
0004159071.tif 000008
【図８】
0004159071.tif 000009
【図９】
0004159071.tif 000010
【図１０】
0004159071.tif 000011
【図１１】
0004159071.tif 000012
【図１２】
0004159071.tif 000013