(57)【特許請求の範囲】
【請求項１】
文字が記入された帳票のカラー入力画像をあらかじめ登録したテンプレートと比較して、前記カラー入力画像から文字を抽出する文字抽出方法であって、
前記テンプレート内の罫線部分の罫線幅を広げるミニマム処理をおこなってミニマムテンプレートを作成するミニマムテンプレート作成工程と、
前記テンプレートと前記ミニマムテンプレートとの差分をとったしきい値画像を作成するしきい値画像作成工程と、
前記入力画像と前記ミニマムテンプレートとの差分をとって前記入力画像中の罫線部分を除去するとともに、前記ミニマム処理による影響を前記しきい値画像で補いつつ前記入力画像中の文字を抽出する文字抽出工程とを含み、
前記文字抽出工程は、前記入力画像と前記ミニマムテンプレートの差分の絶対値を画素値とする画像と前記しきい値画像作成工程により作成されたしきい値画像との差分を求め、０以下の画素値を切り捨てた差分画像を作成する差分画像作成工程と、前記差分画像作成工程により作成された差分画像のＲ成分、Ｇ成分およびＢ成分の２乗和平方根によりＲＧＢ差異強度を算定するＲＧＢ差異強度算定工程とを備え、前記ＲＧＢ差異強度算定工程により算定されたＲＧＢ差異強度が所定のしきい値を越える場合に、該ＲＧＢ差異強度を出力画像の画素値とする
ことを特徴とする文字抽出方法。
【請求項２】
前記ミニマムテンプレート作成工程は、注目画素の近傍８画素の画素値の最小値をそれぞれＲ成分、Ｇ成分およびＢ成分ごとに該注目画素の画素値とするミニマム処理をおこなうことを特徴とする請求項１に記載の文字抽出方法。
【請求項３】
前記文字抽出工程は、前記入力画像のＬ*成分、ａ*成分およびｂ*成分と前記ミニマムテンプレートのＬ*成分、ａ*成分およびｂ*成分の差をそれぞれ求め、求めたＬ*成分、ａ*成分およびｂ*成分の２乗和平方根によりＬ*ａ*ｂ*空間上での色差を算定する色差算定工程をさらに含み、前記ＲＧＢ差異強度算定工程により算定されたＲＧＢ差異強度が所定のしきい値以下である場合に、前記色差を出力画像の画素値とすることを特徴とする請求項１又は２に記載の文字抽出方法。
【請求項４】
文字が記入された帳票のカラー入力画像をあらかじめ登録したテンプレートと比較して、前記カラー入力画像から文字を抽出する文字抽出装置であって、
前記テンプレート内の罫線部分の罫線幅を広げるミニマム処理をおこなってミニマムテンプレートを作成するミニマムテンプレート作成手段と、
前記テンプレートと前記ミニマムテンプレートとの差分をとったしきい値画像を作成するしきい値画像作成手段と、
前記入力画像と前記ミニマムテンプレートとの差分をとって前記入力画像中の罫線部分を除去するとともに、前記ミニマム処理による影響を前記しきい値画像で補いつつ前記入力画像中の文字を抽出する文字抽出手段とを備え、
前記文字抽出手段は、前記入力画像と前記ミニマムテンプレートの差分の絶対値を画素値とする画像と前記しきい値画像作成手段により作成されたしきい値画像との差分を求め、０以下の画素値を切り捨てた差分画像を作成する差分画像作成手段と、前記差分画像作成手段により作成された差分画像のＲ成分、Ｇ成分およびＢ成分の２乗和平方根によりＲＧＢ差異強度を算定するＲＧＢ差異強度算定手段とを備え、前記ＲＧＢ差異強度算定手段により算定されたＲＧＢ差異強度が所定のしきい値を越える場合に、該ＲＧＢ差異強度を出力画像の画素値とする
ことを特徴とする文字抽出装置。
【請求項５】
前記文字抽出手段は、前記入力画像のＬ*成分、ａ*成分およびｂ*成分と前記ミニマムテンプレートのＬ*成分、ａ*成分およびｂ*成分の差をそれぞれ求め、求めたＬ*成分、ａ*成分およびｂ*成分の２乗和平方根によりＬ*ａ*ｂ*空間上での色差を算定する色差算定手段をさらに備え、前記ＲＧＢ差異強度算定手段により算定されたＲＧＢ差異強度が所定のしきい値以下である場合に、前記色差を出力画像の画素値とすることを特徴とする請求項４に記載の文字抽出装置。
【請求項６】
前記請求項１〜３に記載された方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、文字が記入された帳票のカラー入力画像をあらかじめ登録したテンプレートと比較して、このカラー入力画像から文字を抽出する文字抽出方法、文字抽出装置およびプログラムに関し、特に、文字が記入されたカラー帳票の入力画像から文字を抽出する際に、罫線部分と文字部分の重なりに起因する文字の欠落を防止しつつ、余分な罫線部分の抽出を低減することができる文字抽出方法、文字抽出装置およびプログラムに関する。
【０００２】
【従来の技術】
従来、手書きカラー帳票から文字を抽出する方法として、例えば特開平１１−３２８３０８号公報に開示されたものがある。この公報には、カラー帳票の入力画像の注目画素の色とあらかじめ登録された複数の色との相違度を求め、注目画素の色を相違度が最も小さい登録色に変換し、登録色に変換された画像から２値画像を生成するよう構成することにより、任意の指定色のみを黒画素にでき、カラー帳票の文字認識を可能にした帳票画像処理方法が開示されている（第１の従来技術）。
一方、手書き文字が記入された多色刷りのカラー帳票を入力画像として取り込み、この入力画像にあらかじめ登録したテンプレートを重ね合わせて引き算することによって手書き文字部分を抽出する文字抽出技術も知られている（第２の従来技術）。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記第１の従来技術によれば、画像に用いられる色情報をオペレータが指定して登録する必要があるので、登録すべき色が増えると処理に要する演算時間が増大するという問題がある。
【０００４】
また、上記第２の従来技術によって入力画像とテンプレートとを単に重ねて引き算したとしても、実際の入力画像には歪みなどが存在するために、罫線部分が一部残ってしまい、文字部分のみをうまく抽出することができないという問題がある。
【０００５】
さらに、何らかの方法により罫線部分のみをうまく引き算できたとしても罫線部分と文字部分とが重なった箇所は、文字が欠落してしまうことが予想される。
【０００６】
この発明は、上記問題点を解決するためになされたものであり、文字が記入されたカラー帳票の入力画像から文字を抽出する際に、罫線部分と文字部分の重なりに起因する文字の欠落を防止しつつ、余分な罫線部分の抽出を低減することができる文字抽出方法、文字抽出装置およびプログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、請求項１の発明に係る文字抽出方法は、文字が記入された帳票のカラー入力画像をあらかじめ登録したテンプレートと比較して、前記カラー入力画像から文字を抽出する文字抽出方法であって、前記テンプレート内の罫線部分の罫線幅を広げるミニマム処理をおこなってミニマムテンプレートを作成するミニマムテンプレート作成工程と、前記テンプレートと前記ミニマムテンプレートとの差分をとったしきい値画像を作成するしきい値画像作成工程と、前記入力画像と前記ミニマムテンプレートとの差分をとって前記入力画像中の罫線部分を除去するとともに、前記ミニマム処理による影響を前記しきい値画像で補いつつ前記入力画像中の文字を抽出する文字抽出工程とを含み、前記文字抽出工程は、前記入力画像と前記ミニマムテンプレートの差分の絶対値を画素値とする画像と前記しきい値画像作成工程により作成されたしきい値画像との差分を求め、０以下の画素値を切り捨てた差分画像を作成する差分画像作成工程と、前記差分画像作成工程により作成された差分画像のＲ成分、Ｇ成分およびＢ成分の２乗和平方根によりＲＧＢ差異強度を算定するＲＧＢ差異強度算定工程とを備え、前記ＲＧＢ差異強度算定工程により算定されたＲＧＢ差異強度が所定のしきい値を越える場合に、該ＲＧＢ差異強度を出力画像の画素値とすることを特徴とする。
【０００８】
また、請求項２の発明に係る文字抽出方法は、請求項１の発明において、前記ミニマムテンプレート作成工程は、注目画素の近傍８画素の画素値の最小値をそれぞれＲ成分、Ｇ成分およびＢ成分ごとに該注目画素の画素値とするミニマム処理をおこなうことを特徴とする。
【００１０】
また、請求項３の発明に係る文字抽出方法は、請求項１又は２の発明において、前記文字抽出工程は、前記入力画像のＬ*成分、ａ*成分およびｂ*成分と前記ミニマムテンプレートのＬ*成分、ａ*成分およびｂ*成分の差をそれぞれ求め、求めたＬ*成分、ａ*成分およびｂ*成分の２乗和平方根によりＬ*ａ*ｂ*空間上での色差を算定する色差算定工程をさらに含み、前記ＲＧＢ差異強度算定工程により算定されたＲＧＢ差異強度が所定のしきい値以下である場合に、前記色差を出力画像の画素値とすることを特徴とする。
【００１１】
また、請求項４の発明に係る文字抽出装置は、文字が記入された帳票のカラー入力画像をあらかじめ登録したテンプレートと比較して、前記カラー入力画像から文字を抽出する文字抽出装置であって、前記テンプレート内の罫線部分の罫線幅を広げるミニマム処理をおこなってミニマムテンプレートを作成するミニマムテンプレート作成手段と、前記テンプレートと前記ミニマムテンプレートとの差分をとったしきい値画像を作成するしきい値画像作成手段と、前記入力画像と前記ミニマムテンプレートとの差分をとって前記入力画像中の罫線部分を除去するとともに、前記ミニマム処理による影響を前記しきい値画像で補いつつ前記入力画像中の文字を抽出する文字抽出手段とを備え、前記文字抽出手段は、前記入力画像と前記ミニマムテンプレートの差分の絶対値を画素値とする画像と前記しきい値画像作成手段により作成されたしきい値画像との差分を求め、０以下の画素値を切り捨てた差分画像を作成する差分画像作成手段と、前記差分画像作成手段により作成された差分画像のＲ成分、Ｇ成分およびＢ成分の２乗和平方根によりＲＧＢ差異強度を算定するＲＧＢ差異強度算定手段とを備え、前記ＲＧＢ差異強度算定手段により算定されたＲＧＢ差異強度が所定のしきい値を越える場合に、該ＲＧＢ差異強度を出力画像の画素値とすることを特徴とする。
【００１３】
また、請求項５の発明に係る文字抽出装置は、請求項４の発明において、前記文字抽出手段は、前記入力画像のＬ*成分、ａ*成分およびｂ*成分と前記ミニマムテンプレートのＬ*成分、ａ*成分およびｂ*成分の差をそれぞれ求め、求めたＬ*成分、ａ*成分およびｂ*成分の２乗和平方根によりＬ*ａ*ｂ*空間上での色差を算定する色差算定手段をさらに備え、前記ＲＧＢ差異強度算定手段により算定されたＲＧＢ差異強度が所定のしきい値以下である場合に、前記色差を出力画像の画素値とすることを特徴とする。
【００１４】
また、請求項６の発明に係るプログラムは、請求項１〜３のいずれか一つに記載された方法をコンピュータに実行させることで、そのプログラムを機械読み取り可能となり、これによって、請求項１〜３のいずれか一つの動作をコンピュータによって実現することができる。
【００１５】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る文字抽出方法、文字抽出装置およびプログラムの好適な実施の形態を詳細に説明する。
【００１６】
（文字抽出装置の処理概念について）
まず、本実施の形態に係る文字抽出装置の処理概念について説明する。図２６は、本実施の形態に係る文字抽出装置の処理概念を説明するための説明図である。本実施の形態に係る文字抽出装置は、同図（ａ）に示すテンプレートを比較対照として同図（ｂ）に示す入力画像から同図（ｃ）に示す手書き文字を抽出する装置である。
【００１７】
ここで、単に入力画像とテンプレートを重ね合わせて手書き文字を切り出そうとすると、同図（ｄ）のように罫線の歪みなどによって罫線部分が残るとともに、罫線と手書き文字が重なった部分では手書き文字部分が消去されてしまう。このため、この文字抽出装置では、罫線部分を効率良く削除するとともに罫線と手書き文字が重なった場合であっても手書き文字部分を残すことができるようにしている。
【００１８】
（文字抽出装置の構成および特徴について）
まず、本実施の形態に係る文字抽出装置の構成について説明する。図１は、本実施の形態に係る文字抽出装置の構成を示す機能ブロック図である。同図に示すように、この文字抽出装置１００は、カラー画像入力部１０１と、ミニマムテンプレート作成部１０２と、しきい値画像作成部１０３と、テンプレート記憶部１０４と、対応点検出部１０５と、歪み補正処理部１０６と、文字抽出処理部１０７とを有する。なお、請求項５のミニマムテンプレート作成手段、しきい値画像作成手段および文字抽出手段は、それぞれミニマムテンプレート作成部１０２、しきい値画像作成部１０３および文字抽出処理部１０７に対応する。
【００１９】
ここで、この文字抽出装置１００は、手書き文字が書き込まれた帳票の入力画像を受け付ける文字抽出モードと、この入力画像の比較の対象となるテンプレート（参照画像）を受け付けるテンプレート登録モードとで異なる処理をおこなう。具体的には、テンプレート登録モードの場合には、カラー画像入力部１０１〜ミニマムテンプレート作成部１０２〜しきい値画像作成部１０３〜テンプレート記憶部１０４という処理の流れとなり、文字抽出モードの場合には、カラー画像入力部１０１〜対応点検出部１０５〜歪み補正処理部１０６〜文字抽出処理部１０７という処理の流れとなる。なお、両モードのモード切り替えは、図示しない切替スイッチなどでおこなう。また、上記テンプレート登録モードでは、対応点検出部１０５においても必要な情報（特徴点）を登録するための後述する処理をおこなう。
【００２０】
カラー画像入力部１０１は、多色刷りからなるカラー帳票の入力画像またはテンプレートを入力する処理部であり、具体的には、入力画像については、たとえばオーバーヘッド型カラースキャナやオートフィード型カラースキャナなどで取り込み、テンプレートについては、たとえば（フラットベッド）圧接型スキャナなどで取り込む。ここでは、入力デバイスについてはカラー画像を読み込めるものであればいかなるものであっても良いが、入力画像には帳票の膨らみなどに起因する歪みが存在し、テンプレートにはかかる入力画像のような歪みが存在しないものとする。
【００２１】
ミニマムテンプレート作成部１０２は、テンプレート内の罫線部分の罫線幅を広げるミニマム処理をおこなってミニマムテンプレートを作成する処理部であり、たとえば図２（ａ）に示すテンプレートが存在する場合には、この罫線幅を広げた図２（ｂ）に示すミニマムテンプレートを作成する。なお、図中に示す罫線が赤色である場合には、この赤色の罫線部分を広げることになる。
【００２２】
具体的には、注目画素の近傍８画素の画素値の最小値をそれぞれＲ成分、Ｇ成分およびＢ成分ごとに該注目画素の画素値とするミニマム処理をおこなう。かかるミニマム処理をおこなう理由は、罫線部分の多少のずれを吸収して、出力する文字画像中に罫線の一部が残らないようにするためである。なお、本実施の形態では、対応点を検出して歪み補正をおこなっているので、罫線幅以上のずれは存在しないものとしている。
【００２３】
図３は、図１に示したミニマムテンプレート作成部１０２の処理を説明するための説明図である。同図（ａ）に示すようにテンプレートのＲ（赤色）成分を処理する場合には、テンプレートの注目画素（ｒ４の画素値を持つ画素）の８近傍の画素を考え、この画素の中で最も画素値の小さなもの（ｍｉｎ（ｒｉ））をミニマムテンプレートの画素値ｍｒとする。同様にして、同図（ｂ）および（ｃ）に示すように、Ｇ（緑色）成分およびＢ（青色）成分のミニマムテンプレートの画素値ｍｇおよびｍｂを求める。
【００２４】
しきい値画像作成部１０３は、テンプレートとミニマムテンプレートとの差分をとったしきい値画像を作成する処理部である。かかるしきい値画像を作成する理由は、ミニマム処理により罫線部分の罫線幅を広げたことによる悪影響を防止するためである。たとえば、図２（ａ）に示す罫線部分の罫線幅を図２（ｂ）に示すように広げると、テンプレートの罫線拡張部分と入力画像との差分をとった場合に、かかる画素の画素値が残ってしまう。この画素は、本来的には罫線部分でないので、図２（ｃ）に示すようなテンプレートとミニマムテンプレートとの差分をとったしきい値画像を用いて補正する。
【００２５】
図４は、図１に示したしきい値画像作成部１０３の処理を説明するための説明図である。同図（ａ）に示すようにＲ（赤色）成分を処理する場合には、テンプレートの画素値ｒからミニマムテンプレートの画素値ｍｒを差し引き、差し引いた値ｒ−ｍｒをしきい値画像の値ｓｒとする。同様にして、同図（ｂ）および（ｃ）に示すように、Ｇ（緑色）成分およびＢ（青色）成分についてのしきい値画像の画素値ｓｇおよびｓｂを求める。
【００２６】
テンプレート記憶部１０４は、カラー画像入力部１０１から入力したテンプレートと、ミニマムテンプレート作成部１０２で作成したミニマムテンプレートと、しきい値画像作成部１０３で作成したしきい値画像とを対応付けて記憶する記憶部である。
【００２７】
対応点検出部１０５は、カラー画像入力部１０１から入力した文字が記入された帳票の入力画像を取り込み、この入力画像とテンプレートの対応点を検出する処理部である。歪み補正処理部１０６は、対応点検出部１０５により検出された対応点に基づいて、入力画像の歪みを補正する処理部である。
【００２８】
文字抽出処理部１０７は、入力画像とミニマムテンプレートとの差分をとって入力画像中の罫線部分を除去するとともに、このミニマム処理による影響をしきい値画像で補いつつ入力画像中の文字を抽出する処理部である。具体的には、入力画像とミニマムテンプレートの差分の絶対値を画素値とする画像としきい値画像との差分を求め、０以下の画素値を切り捨てた差分画像を作成し、この差分画像のＲ成分、Ｇ成分およびＢ成分の２乗和平方根によりＲＧＢ差異強度（ＤRGB）を算定し、算定したＲＧＢ差異強度が所定のしきい値を越える場合に、該ＲＧＢ差異強度を出力画像の画素値としている。文字部分でないことが明らかである場合には、強制的にこの画素を背景部分とする。また、罫線部分を広げたことで入力画像の罫線部分が罫線拡張部分に位置した場合、しきい値画像の値を差分する必要はない。この場合は負の値をとるので、この画素の画素値を０にする。
【００２９】
また、ＲＧＢ差異強度が所定のしきい値以下である場合に、色差を出力画像の画素値とする。ここで言う色差とは、入力画像のＬ*成分、ａ*成分およびｂ*成分とミニマムテンプレートのＬ*成分、ａ*成分およびｂ*成分の差をそれぞれ求め、求めたＬ*成分、ａ*成分およびｂ*成分の２乗和平方根をとった値である（ＤLab）。かかる色差を用いる理由は、文字部分と罫線部分が重なった場合に生じ得る文字部分の欠落をなくすためである。たとえば、青色の罫線部分と黒色の文字部分が重なり合う場合に、ＲＧＢ差異強度だけではこれらを区別することができないが、色差を考慮すると明らかに違いがあるため、この色差の値を出力画像の画素値とすることにより、文字部分の欠落を防止している。
【００３０】
なお、文字なしと判断した出力画像の画素の画素値は０となるが、最終的には白黒反転させて２５５に変換する。文字部分を見やすくするためである。なお、かかる白黒反転をおこなわなくても、文字を認識することはできる。
【００３１】
図５は、図１に示した文字抽出処理部１０７の処理概念を説明するための説明図である。同図に示すように、入力画像を形成する画素には、罫線の一部をなすものと、背景の一部をなすものと、文字の一部をなすものとがある。また、ミニマムテンプレートを形成する画素には、もともとテンプレートにも存在する罫線の一部をなすものと、ミニマム処理により罫線幅が広げられた部分（拡張罫線部分）の一部をなすものと、背景部分の一部をなすものとがある。
【００３２】
ここで、従来の差異画像作成技術と同様に入力画像とミニマムテンプレートとの差分をとると、入力画像の罫線部分であり、かつ、ミニマムテンプレートの罫線部分については、うまく罫線を消去することができる。また、入力画像の背景部分であり、かつ、ミニマムテンプレートの背景部分についても、うまく背景を消去することができる。さらに、入力画像の文字部分であり、かつ、ミニマムテンプレートの背景部分についても、うまく文字部分を抽出することができる。
【００３３】
しかしながら、以下の場合には、文字の抽出をうまくおこなえないので、下記の処理をおこなう。すなわち、入力画像の罫線部分であり、かつ、ミニマムテンプレートの拡張罫線部分すなわち罫線のずれがある部分については、従来の差異画像作成技術では罫線を消去することができないので、本実施の形態では、入力画像から罫線幅を広げた拡張罫線部分を差し引く。また、しきい値画像の画素値を引くと負の値をとるので画素値を０として罫線部分を消去する。
【００３４】
また、入力画像の背景部分であり、かつ、ミニマムテンプレートの罫線部分については、文字部分でないことが明らかなので、この場合の出力画像の画素値を０として、入力画像にない罫線部分を抽出してしまう状況を回避する。
【００３５】
また、入力画像の背景部分であり、かつ、ミニマムテンプレートの拡張罫線部分については、単に差異画像を作成すると、本来ないはずの罫線が出力されるというミニマム処理の悪影響が出てしまう。このため、かかる場合には、しきい値画像で補正して、拡張罫線部分が出力されないようにする。
【００３６】
また、入力画像の文字部分であり、かつ、ミニマムテンプレートの罫線部分である場合には、文字部分と罫線部分が重なっていることを意味するので、色差で文字部分を抽出する。同様に、入力画像の文字部分であり、かつ、ミニマムテンプレートの拡張罫線部分である場合にも、色差で文字部分を抽出する。これにより、文字部分と罫線部分が重なる場合であっても、文字部分を抽出することができる。
【００３７】
次に、図１に示した文字抽出処理部１０７の文字抽出処理の概念をさらに詳細に説明する。図６は、図１に示した文字抽出処理部１０７の文字抽出処理の概念を具体例を使って説明するための説明図である。ここでは説明の便宜上、背景色を白、罫線色を青、文字色を黒として説明することとする。なお、入力画像は、数字の２の下部分と罫線の一部が重なったものの一部を使っている。
【００３８】
図６（ａ）はミニマムテンプレートの一例であり、同図（ｂ）はしきい値画像の一例であり、同図（ｃ）は入力画像の一例である。また、同図（ｄ）にはこれらを合成した図を示している。同図に示すように、太線で示す入力画像の罫線（領域Ｃ，Ｄ）は、テンプレートの罫線（領域Ｂ，Ｃ）よりも右上にずれているが、破線で示す罫線幅を太くしたミニマムテンプレートの罫線（領域Ａ，Ｂ，Ｃ，Ｄ）内には収まっている。そして、文字部分（領域Ｆ，Ｇ，Ｈ）は、背景と領域Ｆで重なり、拡張罫線部分と領域Ｇで重なり、罫線部分と領域Ｈで重なっている。
【００３９】
ここで、領域Ａは、テンプレートが背景（白）、ミニマムテンプレートが罫線（青）、入力画像が背景（白）となる部分であり、しきい値画像は黄色（白色−青色＝黄色）となる。この領域Ａは、本来罫線でない部分であるので、入力画像とミニマムテンプレートの差分の絶対値を画素値とする画像（白色−青色＝黄色）としきい値画像との差分をとることにより出力画像の画素値Ｄが０に近い値となり、ミニマム処理の弊害が是正される。
【００４０】
また、領域Ｂは、テンプレートが罫線（青）、ミニマムテンプレートが罫線（青）、入力画像が背景（白）となる部分であり、しきい値画像は黒色（青色−青色＝黒色）となる。この領域Ｂは、もとのテンプレート自体に罫線が存在したにも係わらず、位置ずれなどにより入力画像に罫線が存在しない場合を示している。この場合に、単に差分画像を作成したのでは、入力画像に存在しない罫線が現れることになる。このため、入力画像の画素値ＲＧＢがそれぞれミニマムテンプレートの画素値ＲＧＢよりも大きいことを条件としてＤ＝０とする。
【００４１】
また、領域Ｃは、テンプレートが罫線（青）、ミニマムテンプレートが罫線（青）、入力画像が罫線（青）となる部分であり、しきい値画像は黒色となる。この領域Ｃは、もとのテンプレートおよび入力画像の両者に罫線が存在する場合を示しているので、ＤRGBがしきい値ｔｈよりも小さいことを条件としてＤ＝ＤLabとする。罫線と文字の重なりも考慮する必要があるからである。
【００４２】
また、領域Ｄは、テンプレートが背景（白）、ミニマムテンプレートが罫線（青）、入力画像が罫線（青）となる部分であり、しきい値画像は黄色となる。この領域Ｄは、罫線のずれが存在する場合を示しているので、罫線を消去するとともに、ミニマム処理による弊害が０以下の切り捨てにより防止される。ただし、罫線と文字の重なりを考慮してＤ＝ＤLabとする。
【００４３】
また、領域Ｅは、テンプレートが背景（白）、ミニマムテンプレートが背景（白）、入力画像が背景（白）となる部分であり、しきい値画像は黒色となる。この領域Ｅは、もともと罫線も文字も存在しない場合を示しているので、ＤRGBがしきい値ｔｈよりも小さいことを条件としてＤ＝ＤLabとする。罫線と文字の重なりも考慮する必要があるからである。
【００４４】
また、領域Ｆは、テンプレートが背景（白）、ミニマムテンプレートが背景（白）、入力画像が文字（黒）となる部分であり、しきい値画像は黒色となる。この領域Ｆは、もともと文字が存在する場合を示しているので、ＤRGBがしきい値ｔｈよりも大きいことを条件としてＤ＝ＤRGBとする。
【００４５】
また、領域Ｇは、テンプレートが背景（白）、ミニマムテンプレートが罫線（青）、入力画像が文字（黒）となる部分であり、しきい値画像は黄色となる。この領域Ｇは、ミニマム処理の弊害を是正するために０以下を切り捨てるとともに、罫線のずれが存在し、かつ、罫線と文字が重なっている可能性があるので、Ｄ＝ＤLabとする。
【００４６】
また、領域Ｈは、テンプレートが罫線（青）、ミニマムテンプレートが罫線（青）、入力画像が文字（黒）となる部分であり、しきい値画像は黒色となる。この領域Ｇは、罫線と文字が重なっている可能性が高いので、ＤRGBがしきい値ｔｈよりも小さいことを条件として、Ｄ＝ＤLabとする。
【００４７】
（対応点検出処理について）
次に、図１に示した対応点検出部１０５がおこなう対応点の検出について説明する。対応点検出とは、入力画像に歪みがあってもテンプレートとの対応付けを正確に行う為にテンプレートの予め定めた各点が入力画像のどの点に対応するかを見つける処理のことをいう。図７は、本実施の形態に係る対応点検出部１０５の構成を示す機能ブロック図である。同図に示すように、この対応点検出部１０５は、切出処理部１０５ａと、エッジ画像作成部１０５ｂと、特徴点抽出部１０５ｃと、記憶部１０５ｄと、検出処理部１０５ｅとを有する。
【００４８】
ここで、この対応点検出部１０５は、上記テンプレート登録モードの場合には、切出処理部１０５ａ〜エッジ画像作成部１０５ｂ〜特徴点抽出部１０５ｃ〜記憶部１０５ｄという流れの処理をおこない、上記文字抽出モード時には、切出処理部１０５ａ〜エッジ画像作成部１０５ｂ〜検出処理部１０５ｅという流れの処理をおこなう。
【００４９】
切出処理部１０５ａは、カラー画像入力部１０１から入力した入力画像またはテンプレートから対応付け対象となる領域を切り出す処理部である。なお、入力画像を切り出す場合には、歪みや位置ずれを考慮してテンプレートの場合よりもやや大きめに領域を切り出すことになる。
【００５０】
エッジ画像作成部１０５ｂは、切出処理部１０５ａにより切り出された領域に対してたとえばソーベル（sobel）オペレータなどの微分オペレータを適用し、そのエッジ部分を強調した方向画像を作成する処理部である。なお、かかる処理の結果得られる微分画像は、各点における濃度勾配の方向ベクトルを画素値として持つことになる。
【００５１】
特徴点抽出部１０５ｃは、テンプレートのエッジ画像の切り出した領域中に所在する各エッジ点における方向ベクトルの横方向量および縦方向量に基づいて、縦横両エッジ点、横エッジ点、縦エッジ点および周囲の点を特徴点として抽出する処理部である。具体的には、各エッジ点を中心とした所定の領域内の横方向量Nhと縦方向量Nvの加算値を縦横両方向量Nhvとし、この領域内の横方向量Nhおよび縦方向量Nvがそれぞれ所定の値以上であり、かつ、縦横両方向量Nhvが最大となる点を縦横両エッジ点とする。また、各エッジ点を中心とした所定の領域内の横方向量Nhが所定の値以上であり、かつ、この横方向量Nhが最大となる点を横エッジ点とし、各エッジ点を中心とした所定の領域内の縦方向量Nvが所定の値以上であり、かつ、この縦方向量Nvが最大となる点を縦エッジ点とする。
【００５２】
図８は、方向量の計算概念を説明するための説明図である。同図（ａ）に示すようなエッジ画像が存在する場合には、たとえば同図（ｂ）に示すように各画素には濃度勾配の方向ベクトルが格納されている。画素ａや画素ｆのような横エッジを持つ点の方向ベクトルは縦向きとなり、画素ｃや画素ｄのような縦エッジを持つ持つ点の方向ベクトルは横向きとなる。このことから、横方向量はサイン関数（sin）で求められ、縦方向量はコサイン関数（cos）で求める。よって、点（x,y）における各方向量は、以下のようになり、図中の各画素ａ〜ｆの方向量は同図（ｃ）に示すものとなる。
【００５３】
すなわち、方向ベクトルの向きをth（点（x,y）におけるエッジ画像の値）とすると、
横方向量（Nh）＝｜sin（th）｜
縦方向量（Nv）＝｜cos（th）｜
縦横両方向量（Nhv）＝Nh＋Nv
となる。
【００５４】
なお、この特徴点抽出部１０５ｃは、観測窓を用いて縦横両エッジ点、横エッジ点、縦エッジ点あるいは、縦横両エッジ点、縦エッジ点、横エッジ点の順序で順次特徴点を抽出する。すなわち、観測窓の中心画素の特徴点を抽出する場合には、該観測窓内の各画素の横方向量、縦方向量および縦横両方向量を加算して、その加算結果を中心画素の横方向量、縦方向量および縦横両方向量とする。そして、これらの方向量が所定の条件を満たす場合に、その中心画素を縦横両エッジ点、横エッジ点または縦エッジ点とする。
【００５５】
そして、ある特徴点を抽出した場合にはこの領域内のエッジ画像の画素値を消去しつつ特徴点の抽出を繰り返す。適切な間隔をもって特徴点を抽出するためである。周囲の点はテンプレートの境界上に等ピッチに取る（エッジ特徴には無関係）。
【００５６】
記憶部１０５ｄは、特徴点抽出部１０５ｃにより抽出された特徴点すなわち縦横両エッジ点、横エッジ点、縦エッジ点および周囲の点を記憶する記憶部であり、記憶したデータは検出処理部１０５ｅによりアクセスされる。
【００５７】
検出処理部１０５ｅは、テンプレートと入力画像の位置合わせをハフ変換により大まかにおこなう。次に、テンプレートの特徴点と入力画像上の対応点の位置合わせをハフ変換によりおこない、この特徴点を対応点に変換するアフィン変換係数を算定し、ハフ変換で求めた対応点とアフィン変換係数から求まる対応点のずれ量を求める。そして、求めたずれ量を所定のしきい値と比較して、該しきい値以下となる対応点を基準点とし、後述する三角形相似比によりずれ量が所定のしきい値を越える特徴点に対応する対応点を特定する処理をおこなっている。
【００５８】
このように、この対応点検出部１０５は、特徴点抽出部１０５ｃにより３種類の特徴点（縦横両エッジ点、横エッジ点および縦エッジ点）を抽出するとともに、検出処理部１０５ｅでは、ハフ変換で求めた対応点とアフィン変換係数から求まる対応点のずれ量を求め、このずれ量の少ない対応点を基準点とする三角形相似比を使って対応点を特定している。
【００５９】
次に、図７に示した対応点検出部１０５によるテンプレート登録モード時の処理手順について説明する。図９は、図７に示した対応点検出部１０５によるテンプレート登録モード時の処理手順を示すフローチャートであり、図１０は、テンプレート登録モード時のテンプレートの一例を示す図である。
【００６０】
図９に示すように、対応点検出部１０５が登録モードの場合には、図１０（ａ）に示すような未記入の帳票の歪みのない画像をカラー画像入力部１０１から入力すると（ステップＳ１０１）、切出処理部１０５ａが図１０（ｂ）に示すような対象領域すなわちテンプレートを切り出す（ステップＳ１０２）。具体的には、登録モード時にはオペレータがマウス操作などによりテンプレートを切り出すことになる。その後、エッジ画像作成部１０５ｂがこのテンプレートに微分オペレータを適用して図１０（ｃ）に示すエッジ画像を取得する（ステップＳ１０３）。
【００６１】
その後、図１０（ｂ）から特徴点抽出部１０５ｃが同図（ｄ）に示すような特徴点を抽出する（ステップＳ１０４）。図１１は、図１０（ｄ）の拡大図であり、同図に示すように、図中に黒丸で示す縦横両エッジ点と、ばつで示す横エッジ点と、黒三角で示す縦エッジ点と、黒四角で示す周囲の点が特徴点として得られる。
【００６２】
そして、これらの特徴点が得られたならば、この特徴点をテンプレートに対応付けて記憶部１０５ｄに記憶するとともにデータ補間に用いるドロネー三角形網の情報も記憶し（ステップＳ１０５）、後述する検出処理部１０５ｅの処理で利用できるようにする。
【００６３】
次に、図７に示した対応点検出部１０５による対応付けモード時の処理手順について説明する。図１２は、図７に示した対応点検出部１０５による対応付けモード時の処理手順を示すフローチャートであり、図１３は、対応付けモード時の入力画像などの一例を示す図である。
【００６４】
図１２に示すように、対応点検出部１０５が対応付けモードの場合には、カラー画像入力部１０１から歪みのある入力画像を入力すると（ステップＳ２０１）、切出処理部１０５ａが図１３（ａ）に示すような入力画像の一部を切り出す（ステップＳ２０２）。具体的には、帳票の種類を罫線の特徴から別途判別したり帳票に記載された種類番号を別途読み取って判別したりして読み取り対象とする所定の領域を切り出すことになる。その後、エッジ画像作成部１０５ｂが微分オペレータを適用して図１３（ｂ）に示すエッジ画像を取得する（ステップＳ２０３）。
【００６５】
そして、記憶部１０５ｄに記憶した同図（ｃ）に示したテンプレートのエッジ画像とハフ変換によりおおまかな位置合わせをおこなって移動量を求め（ステップＳ２０４）、この移動量を考慮して同図（ｄ）に示すように各特徴点に対応する画素すなわち対応点を検出する（ステップＳ２０５）。図１４は、図１３（ｄ）の拡大図であり、同図に示すように、図中に黒丸で示す縦横両エッジ点の対応点と、ばつ（×）で示す横エッジ点の対応点と、黒三角で示す縦エッジ点の対応点と、黒四角で示す周囲の点の対応点が得られる。なお、対応する特徴点間のずれ量（変位）に基づいて歪みを補正した補正画像は図１３（ｅ）のようになる。
【００６６】
ここで、図７に示した特徴点抽出部１０５ｃによる特徴点の抽出処理についてさらに具体的に説明する。図１５および図１６は、図７に示した特徴点抽出部１０５ｃによる特徴点の抽出処理手順を示すフローチャートであり、図１７および図１８は、特徴点抽出処理途中の画像データの一例を示す説明図である。この特徴点抽出処理は、登録モード時のみ行われる。
【００６７】
図１５および図１６に示すように、この特徴点抽出部１０５ｃは、縦横両エッジ点、横エッジ点、縦エッジ点の順序で特徴点を抽出する。まず、縦横両エッジ点を抽出するために、図１７（ａ）に示すようにテンプレートのエッジ画像のエッジ点を中心としたＳ×Ｓの大きさの領域（観測窓）を設け、この観測窓内の縦横両方向量（Nhv）、横方向量（Nh）、縦方向量（Nv）を算定する（ステップＳ３０１）。具体的には、この観測窓内の画素ごとの方向量をそれぞれ調べ、この方向量をそれぞれ方向量ごとに加算して中心画素の方向量とする。この処理を観測窓を動かしながら繰り返し、全ての画素の方向量を求める。
【００６８】
そして、横方向量（Nh）および縦方向量（Nv）がそれぞれ所定値、たとえばＳ／４よりも大きく、かつ、縦横両方向量（Nhv）が最大となる点を縦横両エッジ点とする（ステップＳ３０２）。
【００６９】
ステップＳ３０２を満足する縦横両エッジ点が存在する場合には（ステップＳ３０３肯定、図１７（ｂ））、図１７（ｂ’）に示すように縦横両エッジ点の周りのエッジ画像の一部（その縦横両エッジ点を中心とする観測窓の内部全てのエッジ画像）を消去し（ステップＳ３０４）、消去した画像を新たなエッジ画像として（ステップＳ３０５）、再度各エッジ点に観測窓を当てはめて方向量を算出し、繰り返し処理する（ステップＳ３０１〜Ｓ３０５）。
【００７０】
そして、ステップＳ３０２を満足する縦横両エッジ点がなくなると（ステップＳ３０３否定）、エッジ画像の消去をおこなうことなくそのままステップＳ３０６に移行する。そのときのエッジ画像は例えば図１７（ｃ）のようになっている。このようにして、縦横両エッジ点の抽出処理を終えたならば、横エッジ点の抽出処理に移行する。具体的には、横方向量（Nh）を算定した後（ステップＳ３０６）、この横方向量（Nh）が所定値、たとえばＳ／４よりも大きく、かつ、横方向量（Nh）が最大となる点を横エッジ点とする（ステップＳ３０７）。
【００７１】
そして、ステップＳ３０７を満足する横エッジ点が存在する場合には（ステップＳ３０８肯定、図１８（ａ））、縦横両エッジ点の場合と同様に、横エッジ点の周りのエッジ画像を消去し（ステップＳ３０９）、消去した画像を新たなエッジ画像として（ステップＳ３１０）、再度、各エッジ点に観測窓を当てはめて方向量を算出し、繰り返し処理する（ステップＳ３０６〜Ｓ３１０）。ステップＳ３０７を満足する横エッジ点が存在しなくなると（ステップＳ３０８否定）、エッジ画像の消去をおこなうことなくそのままステップＳ３１１に移行する。このときのエッジ画像は例えば図１８（ｂ）のようになっている。
【００７２】
このようにして、横エッジ点の抽出処理を終えたならば、縦エッジ点の抽出処理に移行する。具体的には、縦方向量（Nv）を算定した後（ステップＳ３１１）、この縦方向量（Nv）が所定値、たとえばＳ／４よりも大きく、かつ、縦方向量（Nv）が最大となる点を縦エッジ点とする（ステップＳ３１２）。
【００７３】
そして、ステップＳ３１２を満足する縦エッジ点が存在する場合には（ステップＳ３１３肯定、図１８（ｃ））、縦エッジ点の周りのエッジ画像を消去し（ステップＳ３１４）、消去した画像を新たなエッジ画像として（ステップＳ３１５）、上記ステップＳ３１１〜Ｓ３１５の処理を繰り返す。なお、ステップＳ３１２を満足する縦エッジ点が存在しなくなると（ステップＳ３１３否定）、エッジ画像の消去をおこなうことなく処理を終了する。
【００７４】
なお、ここでは説明の便宜上その説明を省略したが、観測窓内ですでに縦横両エッジ点が存在している場合には、横エッジ点や縦エッジ点の抽出処理はおこなわれず、縦横両エッジ点が存在せず、かつ、横エッジ点が存在する場合にも、縦エッジ点は抽出されない。
【００７５】
次に、図７に示した検出処理部１０５ｅの処理手順、即ち文字抽出モード時の処理手順について説明する。図１９は、図７に示した検出処理部１０５ｅの処理手順を示すフローチャートであり、図２０は、対応点を検出する際の画像の一例を示す図である。図１９に示すように、ここでは縦横両エッジ点、横エッジ点、縦エッジ点の順序で対応点を検出している。縦横両エッジ点は、横エッジ点や縦エッジ点よりも対応付けの特徴を多く持っているからである。
【００７６】
同図に示すように、縦横両エッジ点に対応する入力画像上の対応点をハフ変換により探索する（ステップＳ４０１）。特徴点はエッジ上にあるので、対応点も必ずエッジ上にあると考えられるため、ハフ変換で求めた対応点から最も近い点を対応点とするのである。その結果、図２０（ａ）に示すように、縦横両エッジ点（xi,yi）に対応する対応点（xi',yi'）が得られる。
【００７７】
その後、縦横両エッジ点（xi,yi）を対応点（xi',yi'）に変換するアフィン変換係数を次式に示す最小二乗法により求める（ステップＳ４０２）。
【数１】
0004080750.tif 000002
【００７８】
そして、対応点とアフィン変換係数で求めた対応点のずれ量eiを算定し（ステップＳ４０３）、図２０（ｂ）に示すようにずれ量が大きい縦横両エッジ点（ei＞Ｃσ）とずれ量が小さい縦横両エッジ点（ei≦Ｃσ）に分類する（ステップＳ４０４）。そして、ずれ量が小さい縦横両エッジ点だけでアフィン変換係数を再度求める（ステップＳ４０５）。Ｃは扱う入力画像の歪の程度によって定められるべき係数であって、例えばＣ＝１でよい。
【００７９】
そして、ずれ量の大きな縦横両エッジ点については、三角形相似比を使って対応点を求める（ステップＳ４０６）。図２１は、ずれ量の大きな縦横両エッジ点の仮の対応点の求め方を説明するための説明図である。同図（ａ）に示す縦横両エッジ点１５０１が同図（ｂ）に示す対応点１５０２に対応付けられてしまうと、ずれ量が大きくなってしまう。
【００８０】
このため、ずれ量が大きいと判断された縦横両エッジ点１５０１（同図（ｃ）に示す点Ｃ）と、この点Ｃの左下に位置するずれ量の小さな縦横両エッジ点（同図（ｃ）に示す点Ｂ）と、点Ｃの右下に位置するずれ量の小さな縦横両エッジ点（同図（ｃ）に示す点Ａ）とで形成される三角形を考える。このように考えると、同図（ｄ）に示すように、点Ａおよび点Ｂの対応点がそれぞれ点Ａ'および点Ｂ'となるので、三角形ＡＢＣと三角形Ａ'Ｂ'Ｃ'の相似比から、点Ｃの仮の対応点Ｃ'が求まる。この点Ｃ'の近傍に求めたい点Ｃの対応点が存在するはずである。
【００８１】
すなわち、点Ａ'の座標を（ax',ay'）、点Ｃ'の座標を（cx',cy'）とし、ＡＢおよびＡ'Ｂ'間の距離をそれぞれＡＢおよびＡ'Ｂ'とすると、
【数２】
0004080750.tif 000003
によって点Ｃ'を求めることができる。
【００８２】
そして、テンプレート上の縦横両エッジ点Ｃの対応点を入力画像上の上記仮の点Ｃ'を中心としたハフ変換による探索で求める。このときの画像の一辺は、ステップＳ４０１でおこなったハフ変換の一辺よりも短くする。このように、ハフ変換の範囲を狭くすることで、より正確な対応点を求めることができる。
【００８３】
図２２は、２つの三角形の相似比を使ってハフ変換のマッチング量を求めるときの参照点を説明するための説明図である。同図において、点ｘＳは、縦横両エッジ点Ｃよりもｘ座標が小さく、かつ、点Ｃとの距離が最短の点であり、点ｘＬは縦横両エッジ点Ｃよりもｘ座標が大きく、かつ、点Ｃとの距離が最短の点である。
【００８４】
点ｙＳおよび点ｙＬはｙ座標に関して同様な関係にある点である。また、それらの入力画像のエッジ画像上での対応点をｘＳ'、ｘＬ'、ｙＳ'、ｙＬ'とすると、ハフ変換では、次式に示す評価量が最大となる対応点を求めることになる。Ｍはマッチング量、すなわちハフ変換における投票値である。
Ｍ−α×（｜１−(v1'/v0')/(v1/v0)｜2＋｜１−(v0'/v2')/(v0/v2)｜2
＋｜１−(v2'/v1')/(v2/v1)｜2＋｜１−(w1'/w0')/(w1/w0)｜2
＋｜１−(w0'/w2')/(w0/w2)｜2＋｜１−(w2'/w1')/(w2/w1)｜2）
【００８５】
このようにして縦横両エッジ点の対応点を検出したならば、横エッジ点の対応点、縦エッジ点の対応点、境界上の特徴点の対応点を順次算定する（ステップＳ４０７〜Ｓ４０９）。
【００８６】
具体的には、横エッジ点の対応点を求める場合には、ずれ量が小さな特徴点（基準点）の中で横エッジ点よりもｘ座標が小さく、かつ、横エッジ点との距離が最短の点ｘＳと、横エッジ点よりもｘ座標が大きく、かつ、横エッジ点との距離が最短の点ｘＬとを参照点とし、縦横両エッジ点の場合と同様に回転度数と三角形相似比を用いて入力画像のエッジ画像上でハフ変換の中心点を求め、求めた中心点をハフ変換の中心点として、次式の評価量が最大となる対応点を求める。
Ｍ−２×α×（｜１−(v1'/v0')/(v1/v0)｜2＋｜１−(v0'/v2')/(v0/v2)｜2＋｜１−(v2'/v1')/(v2/v1)｜2）
【００８７】
また、縦エッジ点の対応点を求める場合には、基準点の中で縦エッジ点よりｙ座標が小さく、かつ、縦エッジ点との距離が最短の点ｙＳと、縦エッジ点よりもｙ座標が大きく、かつ、縦エッジ点との距離が最短の点ｙＬとを参照点とし、縦横両エッジ点の場合と同様に回転度数と三角形相似比を用いて入力画像のエッジ画像上でハフ変換の中心点を求め、求めた中心点をハフ変換の中心点として、次式の評価量が最大となる対応点を求める。
Ｍ−２×α×（｜１−(w1'/w0')/(w1/w0)｜2＋｜１−(w0'/w2')/(w0/w2)｜2＋｜１−(w2'/w1')/(w2/w1)｜2）
【００８８】
また、境界上の特徴点を求める場合には、テンプレートの最も外側に、均等に位置し、画像を取り囲むように特徴点を追加する。境界上の特徴点に対応する対応点は、アフィン変換式に代入して求める。
【００８９】
上記一連の説明により、縦横両エッジ点、横エッジ点、縦エッジ点を特徴点として求め、各特徴点に対応する対応点を求めることができる。これらを用いると、データ間の補間をおこなうことができる。データ補間とは、対応点の変位量に基づいて入力画像のあらゆる座標での変位量を求めるために行う処理のことである。
【００９０】
図２３は、データ間の補間を説明するための説明図である。図２３（ａ）に示すように、特徴点間を結ぶドロネー三角形網を作り、各要素がどの三角形の内側に位置するかを検索する。そして、求めた三角形頂点の対応点の座標と各点における変位量から、各要素の変位量を線形変換で求める。たとえば、図２３（ｂ）点Ａの変位量が（a1,a2）であり、点Ｂの変位量が（b1,b2）である場合には、点Ｐの変位量（c1,c2）は、次式で求めることができる。なお、αおよびβはベクトルＯＰをベクトルＯＡおよびベクトルＯＢについて一次分解した係数である。
【数３】
0004080750.tif 000004
テンプレートと入力画像との対応点を求めてデータ補間を行った結果、入力画像に歪みが存在していてもその歪みを取り除くことができる。つまり、歪みのない入力情報に直すことができる。
【００９１】
（文字抽出処理手順について）
次に、図１に示した文字抽出装置１００の文字抽出手順について説明する。図２４は、図１に示した文字抽出装置１００の文字抽出手順を示すフローチャートである。なお、ここでは説明の便宜上、入力画像の画素値を（ｉｒ，ｉｇ，ｉｂ）、ミニマムテンプレートの画素値を（ｍｒ，ｍｇ，ｍｂ）、出力画像の画素値をＤ（ｘ，ｙ）とする。
【００９２】
同図に示すように、この文字抽出装置１００は、罫線の特徴や帳票に記載された種類番号等から帳票の種類を判別した後に当該帳票のミニマムテンプレート画像をテンプレート記憶部１０４から読込み（ステップＳ５０１）、更に当該帳票のしきい値画像をテンプレート記憶部１０４から読込む（ステップＳ５０２）。
【００９３】
その後、文字抽出処理部１０７は、入力画像の画素のＲ成分、Ｇ成分、Ｂ成分がミニマムテンプレートのＲ成分、Ｇ成分、Ｂ成分からμだけ引いた値よりも大きいか否かを確認する（ステップＳ５０３）。このμは、テンプレートと入力画像の明度差を考慮するために用いている。つまり、入力画像の明度がテンプレートの明度と多少異なっていても吸収できるようマージンをとっている。
【００９４】
そして、入力画像の各ＲＧＢ成分がいずれもテンプレートのＲＧＢ成分よりも大きい場合には（ステップＳ５０３肯定）、明らかに文字部分ではないので、出力画像の画素値Ｄ（ｘ，ｙ）を０にする（ステップＳ５０４）。これに対して、入力画像の各ＲＧＢ成分のいずれかがテンプレートのＲＧＢ成分以下である場合には（ステップＳ５０３否定）、後述する画素値算定処理をおこなう（ステップＳ５０５）。
【００９５】
かかる処理を全ての画素について処理が終わるまで繰り返し（ステップＳ５０６否定）、全ての画素の処理を終えたならば（ステップＳ５０６肯定）、出力画像の画素値をＤ（ｘ，ｙ）を白黒反転させた後に（ステップＳ５０７）、この出力画像を２値化する（ステップＳ５０８）。
【００９６】
次に、文字抽出処理部１０７がおこなう図２４のステップＳ５０５に示した画素値算定処理手順について説明する。図２５は、文字抽出処理部１０７がおこなう図２４のステップＳ５０５に示した画素値算定処理手順を示すフローチャートである。
【００９７】
同図に示すように、この文字抽出処理部１０７は、ミニマムテンプレートと入力画像の差分の絶対値（ｄｒ１，ｄｇ１，ｄｂ１）を算定し（ステップＳ６０１）、算定した（ｄｒ１，ｄｇ１，ｄｂ１）と、しきい値画像の差分（ｄｒ２，ｄｇ２，ｄｂ２）を求める（ステップＳ６０２）。
【００９８】
そして、
（dr,dg,db）＝（max(dr2,0)，max(dg2,0)，max(db2,0)）
の処理をおこなって、０以下を切り捨てる処理をおこなう（ステップＳ６０３）。
【００９９】
その後、入力画像およびテンプレートのＲＧＢ空間における差異を示すＤRGBを
ＤRGB＝（ｄｒ2＋ｄｇ2＋ｄｂ2）1/2
の算定式から求め（ステップＳ６０４）、求めたＤRGBをしきい値ｔｈと比較する（ステップＳ６０５）。
【０１００】
その結果、このＤRGBがしきい値ｔｈ以上である場合には（ステップＳ６０５否定）、このＤRGBの値をＤとする（ステップＳ６０６）。これに対して、ＤRGBがしきい値ｔｈよりも小さい場合には（ステップＳ６０５肯定）、入力画像とミニマムテンプレートのＬ*ａ*ｂ*空間における色差ＤLabを
ＤLab＝（ΔＬ*2＋Δａ*2＋Δｂ*2）1/2
により求め（ステップＳ６０７）、求めたＤLabをＤとする（ステップＳ６０８）。
【０１０１】
（文字抽出処理の具体例について）
次に、図６に示した領域Ａ〜Ｈがいかなる処理によって弊害是正などが担保されているかについて説明する。すでに説明したように、領域Ａは、テンプレートが背景（白）、ミニマムテンプレートが罫線（青）、入力画像が背景（白）となる部分であり、本来罫線でない部分であるため、図２５のステップＳ６０２の処理によりしきい値画像との差分をとることによりＤ＝０となり、ミニマム処理の弊害が是正される。
【０１０２】
また、領域Ｂは、テンプレートが罫線（青）、ミニマムテンプレートが罫線（青）、入力画像が背景（白）となる部分であり、もとのテンプレート自体に罫線が存在したにも係わらず、位置ずれなどにより入力画像に罫線が存在しない場合を示している。この場合に、単に差分画像を作成したのでは、入力画像に存在しない罫線が現れることになるので、入力画像の画素値ＲＧＢがそれぞれミニマムテンプレートの画素値ＲＧＢよりも大きいことを条件としてＤ＝０とする。この処理は、図２４に示すステップＳ５０３〜Ｓ５０４により達成される。
【０１０３】
また、領域Ｃは、テンプレートが罫線（青）、ミニマムテンプレートが罫線（青）、入力画像が罫線（青）となる部分であり、もとのテンプレートおよび入力画像の両者に罫線が存在する場合を示しているので、ＤRGBがしきい値ｔｈよりも小さいことを条件としてＤ＝ＤLabとする。この処理は、図２５に示すステップＳ６０５〜Ｓ６０８により達成される。
【０１０４】
また、領域Ｄは、テンプレートが背景（白）、ミニマムテンプレートが罫線（青）、入力画像が罫線（青）となる部分であり、罫線のずれが存在する場合を示しているので、図２５のステップＳ６０１により罫線を消去するとともに、ミニマム処理による弊害がステップＳ６０３の０以下の切り捨てにより防止される。
【０１０５】
また、領域Ｅは、テンプレートが背景（白）、ミニマムテンプレートが背景（白）、入力画像が背景（白）となる部分であり、もともと罫線も文字も存在しない場合を示しているので、ＤRGBがしきい値ｔｈよりも小さいことを条件としてＤ＝ＤLabとする。この処理は、図２５に示すステップＳ６０５〜Ｓ６０８により達成される。
【０１０６】
また、領域Ｆは、テンプレートが背景（白）、ミニマムテンプレートが背景（白）、入力画像が文字（黒）となる部分であり、もともと文字が存在する場合を示しているので、ＤRGBがしきい値ｔｈよりも大きいことを条件としてＤ＝ＤRGBとする。この処理は、図２５に示すステップＳ６０５〜Ｓ６０６により達成される。
【０１０７】
また、領域Ｇは、テンプレートが背景（白）、ミニマムテンプレートが罫線（青）、入力画像が文字（黒）となる部分であり、ミニマム処理の弊害を是正するためにステップＳ６０３で０以下を切り捨てるとともに、罫線のずれが存在し、かつ、罫線と文字が重なっている可能性があるので、Ｄ＝ＤLabとする。この処理は、図２５に示すステップＳ６０５〜Ｓ６０８により達成される。
【０１０８】
また、領域Ｈは、テンプレートが罫線（青）、ミニマムテンプレートが罫線（青）、入力画像が文字（黒）となる部分であり、罫線と文字が重なっている可能性が高いので、ＤRGBがしきい値ｔｈよりも小さいことを条件として、Ｄ＝ＤLabとする。この処理は、図２５に示すステップＳ６０５〜Ｓ６０８により達成される。
【０１０９】
上述してきたように、本実施の形態によれば、ミニマムテンプレート作成部１０２によりテンプレート内の罫線部分を罫線幅を広げるミニマム処理をおこなってミニマムテンプレートを作成し、しきい値画像作成部１０３によりテンプレートとミニマムテンプレートとの差分をとったしきい値画像を作成し、文字抽出処理部１０７が、入力画像とミニマムテンプレートとの差分をとって入力画像中の罫線部分を除去するとともに、ミニマム処理による影響を前記しきい値画像で補いつつ入力画像中の文字を抽出するよう構成したので、文字が記入されたカラー帳票の入力画像から文字を抽出する際に、罫線部分と文字部分の重なりに起因する文字の欠落を防止することができる。
【０１１０】
また、この文字抽出処理部１０７は、入力画像のＬ*成分、ａ*成分およびｂ*成分とミニマムテンプレートのＬ*成分、ａ*成分およびｂ*成分の差をそれぞれ求め、求めたＬ*成分、ａ*成分およびｂ*成分の２乗和平方根によりＬ*ａ*ｂ*空間上での色差を算定し、算定したＲＧＢ差異強度が所定のしきい値以下である場合に、この色差を出力画像の画素値とするよう構成したので、文字部分と罫線部分に重なりが存在する場合であっても、色差の違いにより文字の途切れをなくすことができる。
【０１１１】
なお、本実施の形態では、テンプレート登録モードにおいてミニマムテンプレートおよびしきい値画像を作成することとしたが、本発明はこれに限定されるものではなく、文字抽出モード時にミニマムテンプレートおよびしきい値画像を作成することもできる。
【０１１２】
【発明の効果】
以上説明したように、請求項１の発明によれば、テンプレート内の罫線部分の罫線幅を広げるミニマム処理をおこなってミニマムテンプレートを作成し、テンプレートとミニマムテンプレートとの差分をとったしきい値画像を作成し、入力画像とミニマムテンプレートとの差分をとって入力画像中の罫線部分を除去するとともに、ミニマム処理による影響をしきい値画像で補いつつ入力画像中の文字を抽出する際に、入力画像とミニマムテンプレートの差分の絶対値を画素値とする画像としきい値画像との差分を求め、０以下の画素値を切り捨てた差分画像を作成し、作成した差分画像のＲ成分、Ｇ成分およびＢ成分の２乗和平方根によりＲＧＢ差異強度を算定し、算定したＲＧＢ差異強度が所定のしきい値を越える場合に、該ＲＧＢ差異強度を出力画像の画素値とするよう構成したので、文字が記入されたカラー帳票の入力画像から文字を抽出する際に、罫線部分と文字部分の重なりに起因する文字の欠落を防止することが可能な文字抽出方法が得られるという効果を奏する。
【０１１３】
また、請求項２の発明によれば、注目画素の近傍８画素の画素値の最小値をそれぞれＲ成分、Ｇ成分およびＢ成分ごとに該注目画素の画素値とするミニマム処理をおこなうよう構成したので、罫線部分の罫線幅を広げる処理を迅速におこなうことが可能な文字抽出方法が得られるという効果を奏する。
【０１１５】
また、請求項３の発明によれば、入力画像のＬ*成分、ａ*成分およびｂ*成分とミニマムテンプレートのＬ*成分、ａ*成分およびｂ*成分の差をそれぞれ求め、求めたＬ*成分、ａ*成分およびｂ*成分の２乗和平方根によりＬ*ａ*ｂ*空間上での色差を算定し、算定したＲＧＢ差異強度が所定のしきい値以下である場合に、この色差を出力画像の画素値とするよう構成したので、文字部分と罫線部分に重なりが存在する場合であっても、色差の違いにより文字の途切れをなくすことが可能な文字抽出方法が得られるという効果を奏する。
【０１１６】
また、請求項４の発明によれば、テンプレート内の罫線部分の罫線幅を広げるミニマム処理をおこなってミニマムテンプレートを作成し、テンプレートとミニマムテンプレートとの差分をとったしきい値画像を作成し、入力画像とミニマムテンプレートとの差分をとって入力画像中の罫線部分を除去するとともに、ミニマム処理による影響をしきい値画像で補いつつ入力画像中の文字を抽出する際に、入力画像とミニマムテンプレートの差分画像を作成し、作成した差分画像のＲ成分、Ｇ成分およびＢ成分の２乗和平方根によりＲＧＢ差異強度を算定し、算定したＲＧＢ差異強度が所定のしきい値を越える場合に、該ＲＧＢ差異強度を出力画像の画素値とするよう構成したので、文字が記入されたカラー帳票の入力画像から文字を抽出する際に、罫線部分と文字部分の重なりに起因する文字の欠落を防止することが可能な文字抽出装置が得られるという効果を奏する。
【０１１８】
また、請求項５の発明によれば、入力画像のＬ*成分、ａ*成分およびｂ*成分とミニマムテンプレートのＬ*成分、ａ*成分およびｂ*成分の差をそれぞれ求め、求めたＬ*成分、ａ*成分およびｂ*成分の２乗和平方根によりＬ*ａ*ｂ*空間上での色差を算定し、算定したＲＧＢ差異強度が所定のしきい値以下である場合に、この色差を出力画像の画素値とするよう構成したので、文字部分と罫線部分に重なりが存在する場合であっても、色差の違いにより文字の途切れをなくすことが可能な文字抽出装置が得られるという効果を奏する。
【０１１９】
また、請求項６の発明によれば、請求項１〜３のいずれか一つに記載された方法をコンピュータに実行させることで、そのプログラムを機械読み取り可能となり、これによって、請求項１〜３のいずれか一つの動作をコンピュータによって実現することが可能なプログラムが得られるという効果を奏する。
【図面の簡単な説明】
【図１】この発明の実施の形態に係る文字抽出装置の構成を示す機能ブロック図である。
【図２】テンプレート、ミニマムテンプレートおよびしきい値画像の一例を示す図である。
【図３】図１に示したミニマムテンプレート作成部の処理を説明するための説明図である。
【図４】図１に示したしきい値画像作成部の処理を説明するための説明図である。
【図５】図１に示した文字抽出処理部の処理概念を説明するための説明図である。
【図６】図１に示した文字抽出処理部がおこなう文字抽出処理を具体例を使って説明するための説明図である。
【図７】図１に示した対応点検出部の構成を示す機能ブロック図である。
【図８】方向量の計算概念を説明するための説明図である。
【図９】図７に示した対応点検出部によるテンプレート登録モード時の処理手順を示すフローチャートである。
【図１０】テンプレート登録モード時のテンプレートの一例を示す図である。
【図１１】縦横両エッジ点、横エッジ点および縦エッジ点を示した図１０（ｄ）の拡大図である。
【図１２】図７に示した対応点検出部による対応付けモード時の処理手順を示すフローチャートである。
【図１３】対応付けモード時の入力画像などの一例を示す図である。
【図１４】縦横両エッジ点、横エッジ点および縦エッジ点を示した図１３（ｄ）の拡大図である。
【図１５】図７に示した特徴点抽出部による特徴点の抽出処理手順を示すフローチャート（１）である。
【図１６】図７に示した特徴点抽出部による特徴点の抽出処理手順を示すフローチャート（２）である。
【図１７】特徴点抽出処理途中の画像データの一例を示す説明図（１）である。
【図１８】特徴点抽出処理途中の画像データの一例を示す説明図（２）である。
【図１９】図７に示した検出処理部の処理手順を示すフローチャートである。
【図２０】対応点を検出する際の画像の一例を示す図である。
【図２１】ずれ量の大きな縦横両エッジ点の仮の対応点の求め方を説明するための説明図である。
【図２２】２つの三角形の相似比を使ってハフ変換のマッチング量を求めるときの参照点を説明するための説明図である。
【図２３】データ間の補間を説明するための説明図である。
【図２４】図１に示した文字抽出装置の文字抽出手順を示すフローチャートである。
【図２５】文字抽出処理部がおこなう図２４のステップＳ５０５に示した画素値算定処理手順を示すフローチャートである。
【図２６】本実施の形態に係る文字抽出装置の処理概念を説明するための説明図である。
【符号の説明】
１００    文字抽出装置
１０１    カラー画像入力部
１０２    ミニマムテンプレート作成部
１０３    しきい値画像作成部
１０４    テンプレート記憶部
１０５    対応点検出部
１０５ａ    切出処理部
１０５ｂ    エッジ画像作成部
１０５ｃ    特徴点抽出部
１０５ｄ    記憶部
１０５ｅ    検出処理部
１０６    歪み補正処理部
１０７    文字抽出処理部
【図１】
0004080750.tif 000005
【図２】
0004080750.tif 000006
【図３】
0004080750.tif 000007
【図４】
0004080750.tif 000008
【図５】
0004080750.tif 000009
【図６】
0004080750.tif 000010
【図７】
0004080750.tif 000011
【図８】
0004080750.tif 000012
【図９】
0004080750.tif 000013
【図１０】
0004080750.tif 000014
【図１１】
0004080750.tif 000015
【図１２】
0004080750.tif 000016
【図１３】
0004080750.tif 000017
【図１４】
0004080750.tif 000018
【図１５】
0004080750.tif 000019
【図１６】
0004080750.tif 000020
【図１７】
0004080750.tif 000021
【図１８】
0004080750.tif 000022
【図１９】
0004080750.tif 000023
【図２０】
0004080750.tif 000024
【図２１】
0004080750.tif 000025
【図２２】
0004080750.tif 000026
【図２３】
0004080750.tif 000027
【図２４】
0004080750.tif 000028
【図２５】
0004080750.tif 000029
【図２６】
0004080750.tif 000030