(57)【特許請求の範囲】
【請求項１】
カラー文書画像を認識するための装置であって、
入力された文書画像がカラー文書画像である場合には、該カラー文書画像からグレースケール画像を抽出するグレースケール画像抽出手段と、
入力された文書画像がカラー文書画像である場合に前記グレースケール画像抽出手段が抽出したグレースケール画像、又は入力された文書画像がグレースケール画像である場合に当該グレースケール画像を、各画素が該グレースケール画像中の背景領域と描画領域の何れかを意味する値を持つ二値画像に変換する多値画像二値化手段と、
を含み、
前記多値画像二値化手段は、
前記グレースケール画像中の１つ以上の部分領域を抽出する部分領域抽出手段と、
前記グレースケール画像のそれぞれの前記部分領域に対して二値化処理を実行し部分二値画像を抽出する部分画像二値化手段と、
１つ以上の該部分二値画像を組み合わせて前記グレースケール画像全体に対する前記二値画像を構成する二値画像合成手段と、
を含み、
前記部分領域抽出手段は、前記グレースケール画像に対するエッジ抽出処理により描画ストロークの輪郭を表すエッジ二値画像を算出し、当該エッジ二値画像中のエッジ画素が構成する輪郭のうちで、長さの極端に長い輪郭を罫線と見なして除去し、残ったエッジ画素のみからなるエッジ二値画像のエッジ画素の連結成分を算出し、それぞれの連結成分の外接矩形又は外接矩形の重なり矩形をそれぞれの前記部分領域として算出し、
前記部分画像二値化手段は、前記グレースケール画像の指定された部分領域に対して単一しきい値に基づく二値化処理を実行することにより、前記部分二値画像を抽出し、
前記単一しきい値は、指定された部分領域の画素値の平均、標準偏差、分散の線型和として決定される、
ことを特徴とするカラー文書画像認識装置。
【請求項２】
カラー文書画像を認識するための装置であって、
入力された文書画像がカラー文書画像である場合には、該カラー文書画像からグレースケール画像を抽出するグレースケール画像抽出手段と、
入力された文書画像がカラー文書画像である場合に前記グレースケール画像抽出手段が抽出したグレースケール画像、又は入力された文書画像がグレースケール画像である場合に当該グレースケール画像を、各画素が該グレースケール画像中の背景領域と描画領域の何れかを意味する値を持つ二値画像に変換する多値画像二値化手段と、
を含み、
前記多値画像二値化手段は、
前記グレースケール画像中の１つ以上の部分領域を抽出する部分領域抽出手段と、
前記グレースケール画像のそれぞれの前記部分領域に対して二値化処理を実行し部分二値画像を抽出する部分画像二値化手段と、
１つ以上の該部分二値画像を組み合わせて前記グレースケール画像全体に対する前記二値画像を構成する二値画像合成手段と、
を含み、
前記部分領域抽出手段は、前記グレースケール画像に対するエッジ抽出処理により描画ストロークの輪郭を表すエッジ二値画像を算出し、当該エッジ二値画像中のエッジ画素が構成する輪郭のうちで、横方向または縦方向に所定の長さでほぼ連続している輪郭を罫線と見なして除去し、残ったエッジ画素のみからなるエッジ二値画像のエッジ画素の連結成分を算出し、それぞれの連結成分の外接矩形又は外接矩形の重なり矩形をそれぞれの前記部分領域として算出し、
前記部分画像二値化手段は、前記グレースケール画像の指定された部分領域に対して単一しきい値に基づく二値化処理を実行することにより、前記部分二値画像を抽出し、
前記単一しきい値は、指定された部分領域の画素値の平均、標準偏差、分散の線型和として決定される、
ことを特徴とするカラー文書画像認識装置。
【請求項３】
カラー文書画像を認識するための装置であって、
入力された文書画像がカラー文書画像である場合には、該カラー文書画像からグレースケール画像を抽出するグレースケール画像抽出手段と、
入力された文書画像がカラー文書画像である場合に前記グレースケール画像抽出手段が抽出したグレースケール画像、又は入力された文書画像がグレースケール画像である場合に当該グレースケール画像を、各画素が該グレースケール画像中の背景領域と描画領域の何れかを意味する値を持つ二値画像に変換する多値画像二値化手段と、
を含み、
前記多値画像二値化手段は、
前記グレースケール画像中の１つ以上の部分領域を抽出する部分領域抽出手段と、
前記グレースケール画像のそれぞれの前記部分領域に対して二値化処理を実行し部分二値画像を抽出する部分画像二値化手段と、
１つ以上の該部分二値画像を組み合わせて前記グレースケール画像全体に対する前記二値画像を構成する二値画像合成手段と、
を含み、
前記部分領域抽出手段は、前記グレースケール画像に対するエッジ抽出処理により描画ストロークの輪郭を表すエッジ二値画像を算出し、当該エッジ二値画像中のエッジ画素が構成する輪郭のうちで、極端に短い輪郭をノイズと見なして除去し、残ったエッジ画素のみからなるエッジ二値画像のエッジ画素の連結成分を算出し、それぞれの連結成分の外接矩形又は外接矩形の重なり矩形をそれぞれの前記部分領域として算出し、
前記部分画像二値化手段は、前記グレースケール画像の指定された部分領域に対して単一しきい値に基づく二値化処理を実行することにより、前記部分二値画像を抽出し、
前記単一しきい値は、指定された部分領域の画素値の平均、標準偏差、分散の線型和として決定される、
ことを特徴とするカラー文書画像認識装置。
【請求項４】
請求項１乃至３の何れか１項に記載の装置であって、
前記多値画像二値化手段が出力する二値画像を認識して電子コード化する二値画像認識手段を更に含む、
ことを特徴とするカラー文書画像認識装置。
【請求項５】
請求項１乃至４の何れか１項に記載の装置であって、
前記二値画像合成手段は、前記グレースケール画像中で全ての前記部分領域に含まれない画素に対応した出力されるべき前記二値画像中の画素値を背景色の値に設定する、
ことを特徴とするカラー文書画像認識装置。
【請求項６】
請求項１乃至５の何れか１項に記載の装置であって、
前記二値画像合成手段は、前記グレースケール画像中で１つ以上の部分領域に含まれる画素に対応した出力されるべき前記二値画像中の画素値を、それぞれの部分領域から得られた部分二値画像中の対応する画素値を組み合わせた論理演算により算出する、
ことを特徴とするカラー文書画像認識装置。
【請求項７】
請求項１乃至６の何れか１項に記載の装置であって、
前記部分領域抽出手段は、１つ以上の矩形領域を前記部分領域として出力する、
ことを特徴とするカラー文書画像認識装置。
【請求項８】
請求項１乃至７の何れか１項に記載の装置であって、
前記エッジ抽出処理として、ソーベルフィルタ又はラプラシアンフィルタの何れかを用いた処理である、
ことを特徴とするカラー文書画像認識装置。
【請求項９】
請求項１乃至８の何れか１項に記載の装置であって、
前記部分領域抽出手段は、前記グレースケール画像に対してエッジ抽出処理を行って得られたエッジ強度画像に対して二値化処理を実行することにより前記エッジ二値画像を算出する、
ことを特徴とするカラー文書画像認識装置。
【請求項１０】
請求項１乃至８の何れか１項に記載の装置であって、
前記部分領域抽出手段は、前記グレースケール画像に対してエッジ抽出処理を行って得られたエッジ強度画像に対して二値化処理を実行して暫定的なエッジ二値画像を算出し、その各エッジ画素をエッジ方向画像の示す方向あるいは反対方向に数画素分移動することにより、該各エッジ画素により形成される輪郭を収縮させて得られるエッジ画像を生成することにより、エッジ輪郭の若干収縮した前記エッジ二値画像を算出する、
ことを特徴とするカラー文書画像認識装置。
【請求項１１】
請求項１乃至１０の何れか１項に記載の装置であって、
前記部分画像二値化手段は、前記グレースケール画像の指定された部分領域に対して前記単一しきい値に基づく二値化処理を実行することにより描画領域を粗く抽出し、該描画領域内の画素ごとに可変しきい値を求める局所的二値化処理を実行することにより、前記部分二値画像を抽出する、
ことを特徴とするカラー文書画像認識装置。
【請求項１２】
請求項１乃至１１の何れか１項に記載の装置であって、
前記部分画像二値化手段は、前記グレースケール画像に対してその画素値を補間して画像の画素数を増加させるサブピクセル化処理を実行することにより、指定された部分領域に対応したグレースケール部分画像を算出し、該グレースケール部分画像に対して前記二値化処理を実行し前記部分二値画像を抽出する、
ことを特徴とするカラー文書画像認識装置。
【請求項１３】
請求項１２に記載の装置であって、
前記サブピクセル化処理は、前記画素値に対する線型補間処理を含む、
ことを特徴とするカラー文書画像認識装置。
【請求項１４】
請求項１１乃至１３の何れか１項に記載の装置であって、
前記可変しきい値は、指定された部分領域に対応するグレースケール画像中の二値化対象画素を含む局所領域における画素値の平均、標準備差、分散の線型和として決定される、
ことを特徴とするカラー文書画像認識装置。
【請求項１５】
請求項１４に記載の装置であって、
前記部分画像二値化手段は、前記可変しきい値の算出時に、前記局所領域の大きさを、前記部分領域に含まれる描画領域の太さに応じて変化させる、
ことを特徴とするカラー文書画像認識装置。
【請求項１６】
請求項１４に記載の装置であって、
前記部分画像二値化手段は、前記可変しきい値の算出時に、前記局所領域の大きさを、前記部分領域の大きさに応じて変化させる、
ことを特徴とするカラー文書画像認識装置。
【請求項１７】
請求項１又は２の何れか１項に記載の装置であって、
前記部分領域抽出手段は、前記罫線と見なして除去した輪郭部分を、罫線二値画像として保存して出力する、
ことを特徴とするカラー文書画像認識装置。
【請求項１８】
請求項１７に記載の装置であって、
前記二値画像合成手段は、それが生成した二値画像と前記保存して出力した罫線二値画像の間で論理演算を実行して得られる二値画像を出力する、
ことを特徴とするカラー文書画像認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カラー文書画像の認識技術に関する。
【０００２】
【従来の技術】
文書画像認識装置は、文書画像を入力とし、文書画像中の文字などを認識することによるコード化処理を行う装置であり、現在は二値文書画像を入力とする製品がある。近年、画像ファイリング装置が普及してきており、その装置でファイリングした画像を文書画像認識装置に入力して認識する需要も増加している。カラー文書画像認識装置は、カラー文書画像やグレースケール文書画像をも認識対象とする。
【０００３】
パーソナルコンピュータの普及と情報通信ネットワークの整備により、電子化文書が多くなっている。しかし、情報流通の主要媒体は依然として紙文書であり、既存の紙文書も多く存在する。そこで、紙文書から電子化文書への変換を行い、変換結果を編集する文書画像認識装置の需要が拡大している。特に、写真を含むグレースケール文書やカラー文書が多くなっているため、二値文書のみならず、グレースケール文書やカラー文書を認識する需要が拡大している。
【０００４】
従来のカラー文書画像認識装置は、入力文書画像が二値画像でなくグレースケール画像やカラー画像である場合、各画素の明度成分を一定のしきい値で二値化して、各画素が罫線や文字・図形のストロークなどの描画領域にあることを表す値あるいは背景領域にあることを表す値の二種類のいずれかの値をとる二値画像を求め、得られた二値画像をもとに文書認識を行っていた。
【０００５】
従来のカラー文書画像認識装置の第１の構成を図２２に示す。
【０００６】
グレースケール画像抽出部２２０２は、入力文書画像２２０１がカラー画像である場合、画素ごとに明度成分などのグレースケール値を抽出することにより、グレースケール画像を出力する。
【０００７】
一定しきい値二値化部２２０３は、グレースケール画像が入力された場合、それに対して一定のしきい値で二値化処理を実行することによって、二値画像を求める。このしきい値は、外部から指示されて入力される値、あるいは大津の二値化しきい値（文献：電子情報通信学会論文誌'80/4 Vol.J63-D No.4, p.349-356 参照）のように、グレースケール画像の画素値から計算により求められる値である。
【０００８】
局所的二値化部２２０４は、一定しきい値二値化部２２０３により出力された二値画像の描画領域内の各画素について、文字ストロークの数倍あるいは文字の大きさの半分程度の領域の画素値を用いて、それぞれ可変のしきい値を求めて二値化を行うことにより、より精密な描画領域を表す二値画像を求める。
【０００９】
二値画像認識部２２０５は、二値画像を認識して、認識結果２２０６を出力する。
【００１０】
局所的二値化部２２０４は、大津の二値化しきい値などの単一しきい値を用いて明度画像から得られた二値画像を、入力されたカラー文書画像の描画領域を粗く求めたものとみなし、粗い描画領域の各画素について可変しきい値によるさらに精密な二値化を行うことにより、さらに精密な描画領域を求めることを狙いとしている。局所的二値化部２２０４を備えず、一定しきい値二値化部２２０３の出力する二値画像をそのまま二値画像認識部２２０５に入力する簡易な構成も考えられている。
【００１１】
【発明が解決しようとする課題】
しかし、図２２に示される従来のカラー文書画像認識装置では、入力カラー文書において、文書の背景色あるいは描画色の色数が２以上ある場合や、背景色あるいは描画色にグラデーションがかかっている場合に、生成された二値画像において入力カラー文書の描画領域の一部が背景領域となったり背景領域の一部が描画領域となってしまい、認識精度が低くなる、という欠点を有している。
【００１２】
上記従来のカラー文書画像認識装置は、一定しきい値二値化部２２０３によりグレースケール画像を一定のしきい値を用いて二値化し、入力カラー文書の描画領域を粗く抽出した二値画像をその後の処理に活用することを特徴としている。このため、文書の背景色あるいは描画色の色数が２以上ある場合や、背景色あるいは描画色にグラデーションがかかっている場合には、グレースケール画像の背景領域の画素値と描画領域の画素値の大小関係が必ずしも一定ではなくなるため、単一のしきい値で二値化すると、生成した二値画像において入力カラー文書の描画領域の一部が背景領域となったり背景領域の一部が描画領域となってしまうのである。
【００１３】
仮に、一定しきい値による二値化が行われず、グレースケール画像の全画素に対して局所的二値化が行われる場合には、しきい値は各画素に対して変化したものが用いられることになるが、画素の近傍が全てほぼ同じ背景色あるいは描画色である場合に、二値化結果に背景色と描画色が細かく混在したごま塩状のノイズが発生してしまう。そこで、従来は、ごま塩状ノイズ発生の防止のために局所的二値化を行う対象を描画領域周辺に限定する目的で、一定しきい値による二値化が前段に導入されているのであるが、そのことが上述した問題点の発生原因となってしまうのである。
【００１４】
本発明の課題は、入力カラー文書の背景色または描画色の色数が２以上ある場合や、背景色または描画色にグラデーションがかかっている場合であっても、背景領域と描画領域を適切に識別可能とすることにある。
【００１５】
【課題を解決するための手段】
本発明は、入力カラー文書画像の描画領域を覆う単一背景色・単一描画色の部分領域の集合を求め、それぞれの部分領域に対して従来技術による二値化を行って部分二値画像を生成し、部分二値画像を組み合わせてグレースケール画像全体に対する二値画像を構成するようにした。
【００１６】
単一背景色・単一描画色の部分領域を求めるためには、入力カラー文書画像の描画領域の輪郭をエッジ抽出により取り出し、近接したエッジ画素をまとめることにより、ほぼ単一の背景色・ほぼ単一の描画色を持つ文字周辺領域などの部分領域を抽出する。
【００１７】
上記の手段により、入力カラー文書の背景色あるいは描画色の色数が２以上ある場合や、背景色あるいは描画色にグラデーションがかかっている場合であっても、一定しきい値の二値化の対象が単一背景色・単一描画色の部分領域となっているために、従来技術のような問題点は発生しない。
【００１８】
【発明の実施の形態】
図１は、本発明の実施の形態におけるカラー文書画像認識装置の構成図である。
【００１９】
本実施の形態は、グレースケール画像抽出部１０２と多値画像二値化部１０３を備える。入力文書画像１０１は、カラー画像あるいはグレースケール画像である。
【００２０】
入力文書画像１０１がカラー画像である場合には、グレースケール画像抽出部１０２が入力文書画像１０１をグレースケール画像に変換した後、多値画像二値化部１０３が、グレースケール画像を、各画素がグレースケール画像中の背景領域と描画領域のいずれかを意味する値を持つ二値画像に変換する。
【００２１】
一方、入力文書画像１０１がグレースケール画像であれば、多値画像二値化部１０３が入力文書画像１０１を二値画像に変換して出力する。
【００２２】
二値画像認識部１０７は、多値画像二値化部１０３が出力する二値画像を認識し、電子コード化された認識結果１０８を出力する。
【００２３】
多値画像二値化部１０３は、部分領域抽出部１０４と、部分画像二値化部１０５と、二値画像合成部１０６を備える。部分領域抽出部１０４は、グレースケール画像中の１つ以上の部分領域を抽出する。部分画像二値化部１０５は、グレースケール画像のそれぞれの部分領域に対して、二値化処理を実行する。二値画像合成部１０６は、１つ以上の部分二値画像を組み合わせてグレースケール画像全体に対する二値画像を構成する。
【００２４】
図２２に示される従来装置では、グレースケール画像全体が一定しきい値二値化部２２０３により一括して二値化されている。これに対して、本実施の形態は、多値画像二値化部１０３中の部分領域抽出部１０４により抽出された各部分領域ごとに、二値化処理が木目細かく実行されるように構成されている。なお、従来装置における一定しきい値二値化部２２０３および局所的二値化部２２０４の持つ機能を、入力情報がグレースケール画像中の部分領域に限定された部分画像を処理する部分画像二値化部１０５に持たせることが可能である。
【００２５】
グレースケール画像抽出部１０２において、入力文書画像１０１であるカラー文書からグレースケール画像を抽出する具体的方法としては、カラー画素の明度成分、彩度成分、色相成分のいずれか、赤、緑、青の３原色のいずれか、あるいはそれらを何らかの計算式に代入して求めた値をグレースケール値として出力することによりグレースケール画像を生成する技術が考えられる。明度成分は、多くのカラー文書の持つ情報を保持する点で、最も典型的なグレースケール画像を抽出することのできる成分である。
【００２６】
多値画像二値化部１０３の部分領域抽出部１０４は、入力文書画像１０１であるカラー文書において、その描画領域を覆う単一背景色・単一描画色の部分領域の集合を抽出する。この処理の具体的方法としては、グレースケール画像中の背景色および描画色がそれぞれほぼ一定のグレースケール値を持つ部分領域を１つ以上抽出する方法が考えられる。ここで、部分領域の形状を記述するうえで簡易な矩形領域を用いる方法も考えられる。
【００２７】
より具体的には、部分領域抽出部１０４が、グレースケール画像に対してエッジ抽出処理を実行し、その結果得られたエッジ強度画像あるいはエッジ方向画像を用いて１つ以上の部分領域を抽出する方法が考えられる。エッジ抽出処理においては、画像処理の分野で良く知られているソーベルフィルタあるいはラプラシアンフィルタなどを用いることができる。
【００２８】
さらに、部分領域抽出部１０４が、エッジ抽出処理により描画ストロークの輪郭を表すエッジ二値画像を求め、このエッジ二値画像をもとに１つ以上の部分領域を抽出する方法が考えられる。エッジ二値画像を得るにあたり、グレースケール画像のエッジ強度画像に対して大津の二値化などの大局的二値化法を用いて二値化処理を実行してエッジ二値画像を得る方法が考えられる。また、エッジ二値画像を得るにあたり、グレースケール画像のエッジ強度画像に対して大局的二値化などにより二値化処理を実行して暫定的なエッジ二値画像を求め、暫定的なエッジ二値画像の各エッジ画素をエッジ方向画像の示す方向あるいはその反対方向に数画素分移動して、エッジ画素により形成される輪郭を収縮させたエッジ画像を生成することにより、エッジ輪郭の若干収縮したエッジ二値画像を得る方法が考えられる。
【００２９】
さらに、部分領域抽出部１０４が、エッジ二値画像のエッジ画素の連結成分を求め、それぞれの連結成分をもとにそれぞれの部分領域を求める方法が考えられる。ここで、連結成分の外接矩形をそれぞれの部分領域とすることにより、部分領域をさらに簡易に記述することもできる。あるいは、エッジ二値画像のエッジ画素の連結成分の外接矩形の重なり矩形をそれぞれの部分領域とする方法も考えられる。
【００３０】
部分領域抽出部１０４の第１の構成例を図２に示す。
【００３１】
まず、グレースケール画像に対して、ソーベルフィルタなどを用いたエッジ抽出処理が実行され、エッジ強度画像が抽出される（図２の２０１）。
【００３２】
次に、エッジ強度画像に対して、大津の二値化などに基づく一定しきい値による二値化処理が実行され、エッジ二値画像が抽出される（図２の２０２）。このエッジ二値画像は、入力文書画像１０１であるカラー文書の描画領域の輪郭を描画領域として持っている。
【００３３】
そして、エッジ二値画像の描画領域の連結成分の集合が、ラベリングなどの手法により抽出され、連結成分の外接矩形の集合が部分領域の集合として出力される（図２の２０３）。
【００３４】
描画領域が文字のみであるようなカラー文書の場合には、入力文書画像１０１の描画領域の輪郭で互いに近接した部分の周辺は、ほぼ単一の背景色とほぼ単一の描画色を持つ場合が多いと考えられる。このため、本構成を有する部分領域抽出部１０４により得られた部分領域は、従来技術を基本とした部分画像二値化部１０５の入力に適したグレースケール部分画像を指示することができる。
【００３５】
部分領域抽出部１０４の第２の構成例を図３に示す。
【００３６】
本構成例においては、図２に示される第１の構成例におけるエッジ画像二値化処理（２０１）とエッジ連結成分抽出処理（２０３）の間に、エッジ画像収縮処理（図３の３０１）が挿入される。
【００３７】
この処理では、エッジ二値画像の各エッジ画素からエッジ方向画像の示す方向あるいはその反対方向に数画素分移動して、エッジ画素により形成される輪郭を収縮させた画像が生成されることにより、エッジ輪郭の若干収縮した新たなエッジ二値画像が得られる。
【００３８】
そして、このエッジ二値画像の描画領域の連結成分の集合が抽出され、連結成分の外接矩形の集合が部分領域の集合として出力される（２０３）。
【００３９】
このように、エッジ画像の収縮処理を加えることにより、複数文字の輪郭がくっついてしまい、エッジの連結成分が大きくなってしまうことを防止できる。この結果、描画領域が文字のみであるようなカラー文書の場合には、入力文書画像１０１の描画領域の輪郭で互いに近接した部分の周辺はほぼ単一の背景色とほぼ単一の描画色を持つことが、より強く保証できるようになる。
【００４０】
さらに、部分領域抽出部１０４が、エッジ二値画像中のエッジ画素の構成する輪郭のうちで、長さの極端に長い輪郭を罫線と見なして除去し、のこったエッジ画素のみからなるエッジ二値画像をもとに部分領域を抽出する方法が考えられる。また、エッジ二値画像中のエッジ画素を構成する輪郭のうちで、横方向または縦方向にある程度の長さでほぼ連続している輪郭を罫繰と見なして除去し、残ったエッジ画素のみからなるエッジ二値画像をもとに部分領域を抽出する方法も考えられる。
【００４１】
部分領域抽出部１０４の第３の構成例を図４に示す。
【００４２】
本構成例においては、図３に示される第２の構成例におけるエッジ画像収縮処理（３０１）とエッジ連結成分抽出処理（２０３）の間に、罫線除去処理（図４の４０１）が挿入される。
【００４３】
この処理では、エッジ輪郭の若干収縮したエッジ二値画像において、横方向または縦方向にある程度以上の長さを持つエッジ輪郭が罫線と見なされて除去される。
【００４４】
そして、このエッジ二値画像の描画領域の連結成分の集合が抽出され、連結成分の外接矩形の集合が部分領域の集合として出力される（２０３）。
【００４５】
このような罫線除去を加えることにより、文字のみでなく罫線で横成される表が含まれるカラー文書や、背景領域が入れ子状になっているようなカラー文書に対して、表の罫線部分や２つの背景領域の境界部分で発生する長い輪郭を構成するエッジ画素を除去できるため、長い輪郭から得られるエッジ連結成分のような大きな部分領域を抽出してしまうことを防止できる。このため、２つ以上の背景色あるいは描画色を持つ部分領域を出力しにくくでき、文字のみでなく罫線で構成される表が含まれるカラー文書や背景領域が入れ子状になっているようなカラー文書に対して、文章領域を覆う部分領域の集合を得ることができ、文章領域について高精度な二値画像を得ることができる。
【００４６】
さらに、部分領域抽出部１０４が、エッジ二値画像中のエッジ画素の構成する輪郭のうちで、極端に短い輪郭をノイズと見なして除去し、のこったエッジ画素のみからなるエッジ二値画像をもとに部分領域を抽出する方法が考えられる。
【００４７】
部分領域抽出部１０４の第４の構成例を図５に示す。
【００４８】
本構成例においては、図４に示される第３の構成例におけるエッジ画像二値化処理（２０１）とエッジ画像収縮処理（３０３）の間に、ノイズ除去処理（図５の５０１）が挿入される。
【００４９】
この処理では、エッジ二値画像に対し上述のノイズ除去処理が実行される。
【００５０】
このようなノイズ除去を加えることにより、入力文書画像１０１の裏映りや画像入力時の撹乱により発生するエッジ抽出により誤って抽出されてしまうノイズのエッジを除去でき、ほぼ単一の背景色とほぼ単一の描画色を持つ部分領域を出力することをより強く保証できるようになる。
【００５１】
さらに、部分領域抽出部１０４が、エッジ二値画像中のエッジ画素を構成する輪郭に対して罫線除去処理を実行する場合に、除去した罫線を別の罫線二値画像として保存して出力する方法も考えられる。そして、二値画像合成部１０６が、生成した二値画像と保存してある罫線二値画像とで論理和を演算して得られる二値画像を出力する方法も考えられる。この方法を用いると、表やストロークで構成される図、文字を含むカラー画像に対しても、良好な二値画像を合成することが可能となり、高精度な文書認識ができる。
【００５２】
多値画像二値化部１０３の部分画像二値化部１０５は、部分領域抽出部１０４により抽出されたおのおのの部分領域に対応したグレースケール部分画像に対して、二値化処理を実行することにより、１つ以上の部分二値画像を生成する。
【００５３】
この処理の具体的な方法としては、従来装置においても用いられている二値化機能のように、単一背景色・単一描画色の文書画像に適した種々の手法が考えられる。
【００５４】
部分画像二値化部１０５の第１の構成例を図６に示す。
【００５５】
本構成例では、部分画像二値化部１０５が、グレースケール画像の指定された部分領域に対し、大津の二値化しきい値などの一定しきい値による二値化処理（図６の６０１）が実行されることによって、部分二値画像が得られる。一定しきい値として、指定された部分領域の画素値の平均、標準偏差、分散の線型和を用いることも考えられる。下記数１式に例を示す。大局処理パラメータは定数である。
【００５６】
【数１】
しきい値＝全画素値の平均＋大局処理パラメータ×全画素値の標準偏差
標準偏差は、下記数２式に示されるようにして分散値から求められ、分散値は、下記数３式に示されるようにして平均、自乗平均から求められる。
【００５７】
【数２】
標準備差＝分散**1/2
【００５８】
【数３】
分散＝自乗平均一平均**2
部分画像二値化部１０５の第２の構成例を図７に示す。
【００５９】
本構成例では、部分画像二値化部１０５が、図６の場合と同様にして描画領域が粗く抽出された後（６０１）、描画領域内の画素ごとに可変しきい値を求める局所的二値化処理が実行されることにより（図７の７０１）、部分二値画像が得られる。この局所的二値化処理に用いられる可変しきい値としては、部分領域に対応するグレースケール部分画像の二値化対象画素を含む局所領域における画素値の平均、標準備差、分散の線型和を用いる方法がある。例えば、画素毎に局所的な範囲（注目画素を中心とした正方形領域）で、下記数４式を用いてしきい値が算出される。局所二値化パラメータは定数である。
【００６０】
【数４】
しきい値＝局所領域のグレスケール画素値の平均＋局所二値化パラメータ×グレースケール画素値の標準偏差
上記第２の構成例による部分画像二値化部１０５を用いると、第１の構成例と比較して、部分領域中の背景色あるいは文字色の変動にさらに強い部分二値化を行うことができ、さらに高精度なカラー文書認識が可能となる。
【００６１】
部分画像二値化部１０５の第３の構成例を図８に示す。
【００６２】
本構成例では、部分画像二値化部１０５が、図７の場合と同様の一定しきい値による二値化処理（６０１）の前に、グレースケール画像に対してその画素値を補間して画素数を増加させるサブピクセル化処理が実行される。この処理においては、例えば画素値の線型補間処理が実行される。
【００６３】
この第３の構成例を用いると、保存容量や処理速度の制限によりカラー文書画像で多く存在する150dpiや100dpiといった低解像度文書に対しても、グレースケール画像には保存されている情報を二値化処理により失うことなく良好に、二値化画像を得ることができるため、上記第１または第２の構成例と比較して、さらに高精度なカラー文書認識を行うことが可能となる。
【００６４】
さらに、上述の局所的二値化処理に用いる可変しきい値を求めるにあたり、部分領域に対応するグレースケール部分画像の二値化対象画素を含む局所領域の大きさを、部分領域に含まれる描画領域の太さや部分領域自身の大きさを用いて、部分領域ごとに変化させる方法が考えられる。この方法を用いると、タイトル文字などのように文字ストロークの太い描画領域を局所的二値化により取り出す場合に、ある画素に対してすべての局所領域が描画領域に含まれてしまわないようにすることでごま塩状ノイズの発生を防止することができ、第３の構成例と比較して、さらに高精度なカラー文書認識を行うことが可能となる。
【００６５】
図１に示される多値画像二値化部１０３の二値画像合成部１０６が、得られた１つ以上の部分二値画像を合成してグレースケール画像全体に対する二値画像を構成する具体的な方法としては、次のようなものが考えられる。
【００６６】
まず、二値画像合成部１０６が、グレースケール画像中ですべての部分領域に含まれない画素に対応した出力されるべき二値画像中の画素値を背景色の値にし、グレースケール画像中で１つ以上の部分領域に含まれる画素に対応した出力されるべき二値画像中の画素値を、それぞれの部分領域から得られた部分二値画像中の対応する画素値を組み合わせた論理和などの何らかの演算により得る方法が考えられる。
【００６７】
また、二値画像合成部１０６が、グレースケール画像中で１つ以上の部分領域に含まれる画素に対応した出力されるべき二値画像中の画素値として、部分領域の大きさなどにより定量化した部分領域の優先度により決定した最も優先度の高い部分領域から得られた部分二値画像中の対応する画素値を割り当てる方法が考えられる。この方法は、前記方法よりもノイズを合成してしまう可能性を低減でき、より高品質な二値画像を構成できる。
【００６８】
以上説明した本実施の形態の処理例を以下に示す。
【００６９】
図９は、複数の描画色および複数の背景色を持つ150dpiのカラー文書例（その１）を示す図、図１０は、図２２に示される構成を有する従来装置による図９の例に対する二値化結果の例を示す図、図１１は、図１及び図５に示される構成を有する本実施の形態の部分領域抽出部１０４による図９の例に対する部分領域抽出例（その１）を示す図である。この図では、エッジ二値画像中のエッジの連結成分の外接矩形が部分領域として抽出されている。この図では、ノイズ除去（図５の５０１）、エッジ画像収縮（図５の３０１）、罫線除去（図５の４０１）の各処理を実行して得られるエッジ二値画像と、部分領域を表す外接矩形集合とが重ねて表示されている。
【００７０】
図１０では、背景色が入れ子構造になっている場所において、背景領域の一部が描画領域として誤って抽出されてしまっているのに対して、図１２では、そのような誤抽出がないことがわかる。
【００７１】
図１２に、図９の例に対する図１及び図５に示される構成を有する本実施の形態による二値化結果例を示す。カラー画像中の文字領域が良好に抽出できていることがわかる。罫線が除去されているため、図示しないが、罫線情報のみ別の二値画像として出力したり、本画像と合成して出力することも可能である。
【００７２】
図１３は、グラデーションのかかった背景色を持つ150dpiのカラー文書例（その２）を示す図である。図１４は、図２２に示される構成を有する従来装置による図１３の例に対する二値化結果の例を示す図である。図１５は、図１及び図５に示される構成を有する本実施の形態の部分領域抽出部１０４による図１３の例に対するエッジ抽出処理（図５の２０１）後のエッジ強さ画像を示す図である。図１６は、上記エッジ強さ画像に対するエッジ画像二値化処理（図５の２０２）後のエッジ二値画像を示す図である。図１７は、上記エッジ二値画像に対するエッジ画像収縮処理（図５の３０１）後の画像を示す図である。図１８は、上記収縮された画像に対するノイズ除去処理（図５の５０１）後の画像を示す図である。なお、図５の５０１と３０１の処理順序は逆でもよい。図１９は、上記ノイズ除去された画像に対する罫線除去処理（図５の４０１）後の画像を示す図である。図２０は、上記罫線が除去された画像に対するエッジ連結成分抽出処理（図５の２０３）後の部分領域抽出例（その２）を示す図である。
【００７３】
図１４では、背景色にグラデーションがかかっている場所において、背景領域の一部が描画領域として誤って抽出されてしまっているのに対して、図１５〜図２０を経て、図２１では、そのような誤抽出がないことがわかる。
【００７４】
図２１に、図１３の例に対する上記本実施の形態による二値化結果例を示す。カラー画像中の文字領域が良好に抽出できていることがわかる。罫線が除去されているため、図示しないが、罫線情報のみ別の二値画像として出力したり、本画像と合成して出力することも可能である。
【００７５】
以上の処理結果例から、本発明の実施の形態により高精度なカラー文書認識が可能となることがわかる。
【００７６】
【発明の効果】
本発明によれば、文書の背景色あるいは描画色の色数が２以上ある場合や、背景色あるいは描画色にグラデーションがかかっている場合でも、高精度にカラー文書画像を二値化できるので、高精度な認識をできる効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態であるカラー文書画像認識装置の構成図である。
【図２】部分領域抽出部の第１の構成例を示す図である。
【図３】部分領域抽出部の第２の構成例を示す図である。
【図４】部分領域抽出部の第３の構成例を示す図である。
【図５】部分領域抽出部の第４の構成例を示す図である。
【図６】部分画像二値化部の第１の構成例を示す図である。
【図７】部分画像二値化部の第２の構成例を示す図である。
【図８】部分画像二値化部の第３の構成例を示す図である。
【図９】カラー文書例（その１）を示す図である。
【図１０】従来装置による二値化処理例（その１）を示す図である。
【図１１】本実施の形態による部分領域抽出例（その１）を示す図である。
【図１２】本実施の形態による二値化処理例（その１）を示す図である。
【図１３】カラー文書例（その２）を示す図である。
【図１４】従来装置による二値化処理例（その２）を示す図である。
【図１５】本実施の形態によるエッジ抽出後のエッジ強さ画像を示す図である。
【図１６】本実施の形態によるエッジ２値画像を示す図である。
【図１７】本実施の形態によるエッジ２値画像の収縮画像を示す図である。
【図１８】本実施の形態による、収縮画像に対しノイズ除去した画像を示す図である。
【図１９】本実施の形態による罫線除去後の画像を示す図である。
【図２０】本実施の形態による部分領域抽出例（その２）を示す図である。
【図２１】本実施の形態による二値化処理例（その２）を示す図である。
【図２２】従来のカラー文書画像認識装置の構成図である。
【符号の説明】
１０１      入力文書画像
１０２      グレースケール画像抽出部
１０３      多値画像二値化部
１０４      部分領域抽出部
１０５      部分画像二値化部
１０６      二値画像合成部
１０７      二値画像認識部
１０８      認識結果
【図１】
0004077094.tif 000002
【図２】
0004077094.tif 000003
【図３】
0004077094.tif 000004
【図４】
0004077094.tif 000005
【図５】
0004077094.tif 000006
【図６】
0004077094.tif 000007
【図７】
0004077094.tif 000008
【図８】
0004077094.tif 000009
【図９】
0004077094.tif 000010
【図１０】
0004077094.tif 000011
【図１１】
0004077094.tif 000012
【図１２】
0004077094.tif 000013
【図１３】
0004077094.tif 000014
【図１４】
0004077094.tif 000015
【図１５】
0004077094.tif 000016
【図１６】
0004077094.tif 000017
【図１７】
0004077094.tif 000018
【図１８】
0004077094.tif 000019
【図１９】
0004077094.tif 000020
【図２０】
0004077094.tif 000021
【図２１】
0004077094.tif 000022
【図２２】
0004077094.tif 000023