(57)【要約】【課題】多値画像に対して画素色の情報に加え、領域を構成する成分の形状情報を有効に利用することにより、識別誤りが少ない写真領域の識別が可能なこと。【解決手段】入力された文書画像に対して背景色を特定し（ステップＳ２）、背景色以外の画素が連結した部分領域を抽出し（ステップＳ３）、部分領域から等色連結成分を抽出し（ステップＳ４）、部分領域における等色連結成分の特徴を抽出する（ステップＳ５）。特徴としては、部分領域を構成する等色連結成分の色の種類の数を求め、色の種類の数を予め定めてあったしきい値と比較し、しきい値よりも大きければ、当該部分領域を写真領域と判定する（ステップＳ６）。部分領域を構成する等色連結成分の色の数を用いれば、簡単に高精度で多値画像から写真領域を抽出することができる。【選択図】　　　図２
2004110434.tif 000002
【特許請求の範囲】
【請求項１】
多値画像として入力された文書画像から写真領域を識別する機能を有した画像処理方法であって、
前記文書画像の背景色を特定する背景色特定工程と、
前記背景色と異なる色の画素が連結した部分領域を抽出する部分領域抽出工程と、
前記抽出した部分領域に隣接した同色の画素の連なりを等色連結成分として抽出する等色連結成分抽出工程と、
前記部分領域内における等色連結成分の色の数を抽出する連結成分特徴抽出工程と、
前記等色連結成分の色の数に基づき前記部分領域が写真領域であるか否かを識別する写真領域判定工程と、
を含むことを特徴とする画像処理方法。
【請求項２】
前記連結成分特徴抽出工程は、前記部分領域における等色連結成分の数を求め、
前記写真領域判定工程は、前記等色連結成分の数を含み前記部分領域が写真領域であるか否かを識別することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記連結成分特徴抽出工程は、前記部分領域における等色連結成分の外接矩形を求める工程と、複数の外接矩形の重なりを求める工程を含み、
前記写真領域判定工程は、前記等色連結成分の外接矩形の重なりを含み前記部分領域が写真領域であるか否かを識別することを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
前記連結成分特徴抽出工程は、前記部分領域の等色連結成分の大きさの分布を求める工程を含み、
前記写真領域判定工程は、前記等色連結成分の大きさの分布を含み前記部分領域が写真領域であるか否かを識別することを有することを特徴とする請求項１〜３のいずれか一つに記載の画像処理方法。
【請求項５】
前記写真領域判定工程により写真領域と識別された部分領域に対して、該部分領域を入力画像とみなして前記一連の処理を所定回数実行させる工程を含み、再帰的に写真領域を識別することを特徴とする請求項１〜４のいずれか一つに記載の画像処理方法。
【請求項６】
前記再帰的に写真領域を識別するときの実行回数を前記抽出された背景色の領域の大きさに基づき設定することを特徴とする請求項５に記載の画像処理方法。
【請求項７】
多値画像として入力された文書画像から写真領域を識別する機能を有した画像処理装置であって、
前記文書画像の背景色を特定する背景色特定手段と、
前記背景色と異なる色の画素が連結した部分領域を抽出する部分領域抽出手段と、
前記抽出した部分領域に隣接した同色の画素の連なりを等色連結成分として抽出する等色連結成分抽出手段と、
前記部分領域内における等色連結成分の色の数を抽出する連結成分特徴抽出手段と、
前記等色連結成分の色の数にしたがって前記部分領域が写真領域であるか否かを識別する写真領域判定手段と、
を備えたことを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、文字、写真、図、表などが混在する文書画像から、特に写真の領域を識別する画像処理方法および画像処理装置に関する。
【０００２】
【従来の技術】
近年、文書画像において、カラーやグレースケールといった多値画像で扱うことが増えてきているため、従来から主に二値の文書画像に対して実行されてきた、領域識別、タイトル文字列の抽出、表処理、ＯＣＲなどの処理においても、多値の画像に対して実行する要望がある。二値の文書画像に対しては、既にさまざまな方法が存在するため、多値の文書画像を上手に二値化すれば、二値画像に対する既存の処理が適用可能と考えられる。
【０００３】
図７は、文書画像を示す図である。文書画像２０上には文字領域２１，表領域２２，図領域（図示せず），写真領域２３など、異なった属性をもつ領域が混在している。これらのうち、文字領域２１，表領域２２，図領域においては、それらを記述するのに用いられている色は少数であることが多い。一つの文字そのものが多色で記述されていたり、表の一つのセルが多色であったりすることはまれである。したがって、これらの領域に関しては、部分的に適切なしきい値を見つけて二値化し、二値画像に対する既存の処理を用いることができる。
【０００４】
しかしながら、写真領域２３においては、写真の内容によっては、画素の色の種類がはるかに多くなる。この写真領域２３を他の領域と同様のしきい値処理で二値化すれば、写真の内容が判別不能になるだけでなく、二値化した後の画像を処理する中で、誤って他の領域に分類してしまうことがあった。
【０００５】
このような、多値画像に対する領域分類の方法として、背景色を抽出し、その他の色で構成される部分領域を罫線、文字の領域と順次分類していき、最終的にどちらにも分類されない残った領域をその他領域とし、この、その他領域を図または写真領域として扱う方法がある（例えば、特許文献１参照。）。
【０００６】
また、特許文献２は、後述する画像の背景色を特定する技術に関するものである。
【０００７】
【特許文献１】
特開２００１−２９７３０３号公報
【特許文献２】
特開２００１−２２２７１７号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来技術では、写真領域の中に文字列に似通った形の矩形の並びがあると文字領域と分類されてしまうので、写真を抽出するという目的には向いたものではなかった。
【０００９】
この発明は、上述した従来技術による問題点を解消するため、多値画像に対して画素色の情報に加え、領域を構成する成分の形状情報を有効に利用することにより、識別誤りが少ない写真領域の識別が可能な画像処理方法および画像処理装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、請求項１の発明にかかる画像処理方法は、多値画像として入力された文書画像から写真領域を識別する機能を有した画像処理方法であって、前記文書画像の背景色を特定する背景色特定工程と、前記背景色と異なる色の画素が連結した部分領域を抽出する部分領域抽出工程と、前記抽出した部分領域に隣接した同色の画素の連なりを等色連結成分として抽出する等色連結成分抽出工程と、前記部分領域内における等色連結成分の色の数を抽出する連結成分特徴抽出工程と、前記等色連結成分の色の数に基づき前記部分領域が写真領域であるか否かを識別する写真領域判定工程とを含むことを特徴とする。
【００１１】
また、請求項２の発明にかかる画像処理方法は、請求項１に記載の発明において、前記連結成分特徴抽出工程は、前記部分領域における等色連結成分の数を求め、前記写真領域判定工程は、前記等色連結成分の数を含み前記部分領域が写真領域であるか否かを識別することを特徴とする。
【００１２】
また、請求項３の発明にかかる画像処理方法は、請求項１または２に記載の発明において、前記連結成分特徴抽出工程は、前記部分領域における等色連結成分の外接矩形を求める工程と、複数の外接矩形の重なりを求める工程を含み、前記写真領域判定工程は、前記等色連結成分の外接矩形の重なりを含み前記部分領域が写真領域であるか否かを識別することを特徴とする。
【００１３】
また、請求項４の発明にかかる画像処理方法は、請求項１〜３のいずれか一つに記載の発明において、前記連結成分特徴抽出工程は、前記部分領域の等色連結成分の大きさの分布を求める工程を含み、前記写真領域判定工程は、前記等色連結成分の大きさの分布を含み前記部分領域が写真領域であるか否かを識別することを有することを特徴とする。
【００１４】
また、請求項５の発明にかかる画像処理方法は、請求項１〜４のいずれか一つに記載の発明において、前記写真領域判定工程により写真領域と識別された部分領域に対して、該部分領域を入力画像とみなして前記一連の処理を所定回数実行させる工程を含み、再帰的に写真領域を識別することを特徴とする。
【００１５】
また、請求項６の発明にかかる画像処理方法は、請求項５に記載の発明において、前記再帰的に写真領域を識別するときの実行回数を前記抽出された背景色の領域の大きさに基づき設定することを特徴とする。
【００１６】
また、請求項７の発明にかかる画像処理装置は、多値画像として入力された文書画像から写真領域を識別する機能を有した画像処理装置であって、前記文書画像の背景色を特定する背景色特定手段と、前記背景色と異なる色の画素が連結した部分領域を抽出する部分領域抽出手段と、前記抽出した部分領域に隣接した同色の画素の連なりを等色連結成分として抽出する等色連結成分抽出手段と、前記部分領域内における等色連結成分の色の数を抽出する連結成分特徴抽出手段と、前記等色連結成分の色の数にしたがって前記部分領域が写真領域であるか否かを識別する写真領域判定手段とを備えたことを特徴とする。
【００１７】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる画像処理方法および画像処理装置の好適な実施の形態を詳細に説明する。図１は、本発明の画像処理装置の実施の形態の構成を示すブロック図である。
【００１８】
画像処理装置は、カラースキャナ等の画像入力装置を用いて多値の文書画像を入力する画像入力部１と、入力された多値文書画像の背景色を特定する背景色抽出部２と、背景色と異なる画素が連結した領域を抽出する部分領域抽出部３と、部分領域において隣接した同色の画素の連なりを抽出する等色連結成分抽出部４と、等色連結成分の色や形状などの特徴を抽出する連結成分特徴抽出部５と、得られた連結成分の特徴から部分領域画像が写真領域かどうか判定する写真領域判定部６と、抽出したデータを保存しておくメモリ７と、処理の流れを制御する制御部８からなる。
【００１９】
（実施の形態１）
図２は、実施の形態１による画像処理の流れを示すフローチャートである。まず、画像入力を行い（ステップＳ１）、入力された文書画像に対して背景色を特定する（ステップＳ２）。背景色の特定は、例えば特許文献２に開示されている方法を用いて行える。
【００２０】
次に、背景色以外の画素が連結した部分領域を抽出する（ステップＳ３）。連結した画素の抽出は従来から広く知られた処理であり各種手法を用いることができる。次に、部分領域から等色連結成分を抽出する（ステップＳ４）。等色連結成分は、隣接する画素色が色空間上においてある一定の距離内にあれば同色とみてグループ化する操作を繰り返して得られる。こうして、部分領域内の画素はいずれかの連結成分に属することになる。
【００２１】
そして、この部分領域における等色連結成分の特徴を抽出する（ステップＳ５）。特徴としては、部分領域を構成する等色連結成分の色の種類の数を求める。この色の種類の数を予め定めてあったしきい値と比較し、しきい値よりも大きければ、当該部分領域を写真領域と判定する（ステップＳ６）。しきい値は、実験的に求めておけばよい。
【００２２】
一般に、文字を構成する画素色は１種類、ないしアウトラインや影つき文字であったとしても数種類程度であることが多い。一方、写真は、はるかに多くの種類の画素色で構成されている。また、セルに色がついたような表なども、文字を構成する画素の色よりは多いが、ベタな色の組み合わせであることが多く、写真領域ほど画素色の種類が多くはならない。このように、部分領域を構成する等色連結成分の色の数を用いれば、簡単に高精度で多値画像から写真領域を抽出することができる。
【００２３】
（実施の形態２）
実施の形態２では、実施の形態１で説明した部分領域における等色連結成分の特徴（ステップＳ５）において、等色連結成分の数も求めて写真領域の判定に利用する。一般に、写真領域は、文字や文字の背景に比べ、等色連結成分が細かく分かれることが多い。
【００２４】
例えば、都市部の航空写真などでは、ビルや車ごとに等色連結成分が抽出されると、非常に多くの等色連結成分が存在することになる。これらの各等色連結成分の色の種類が似通っていれば、色の種類の数としては少ないものの等色連結成分の数が膨大になるため、他の領域と区別することができる。このように、部分領域を構成する等色連結成分の数を併せて用いることで、色の種類数が少ないような写真領域でも、簡単に抽出することができる。
【００２５】
（実施の形態３）
実施の形態３では、実施の形態２で説明した部分領域における等色連結成分の特徴（ステップＳ５）において、等色連結成分の外接矩形の重なりに関する特徴も求めて写真領域の判定に利用する。図３は、等色連結成分の外接矩形の分布を説明するための図である。
【００２６】
一般に、図３（ｃ）に示す写真領域は、文字や文字の背景に比べ、等色連結成分の形が矩形状でないことが多い。したがって、図３（ｄ）に示すように隣接した等色連結成分の外接矩形同士は大きく重なり合うことになる。一方、図３（ａ）に示す文字領域においては、文字を構成する等色連結成分は、ある程度重なることがあるが隣り合った文字同士が重なることは殆どないため、図３（ｂ）に示すように外接矩形の重なりは少ない。
【００２７】
図４は、外接矩形の重なり状態を説明するための図である。ただし、文字などの背景に相当する等色連結成分とは必ず重なるため、背景との重なりは排除する必要がある。これは、図４（ａ）に示すように、背景の等色連結成分の外接矩形との重なりが、完全な包含関係となるため、そのような場合を除けばよい。したがって、図４（ｂ）の如く、完全に包含関係にない等色連結成分の外接矩形同士の重なりを調べ、重なり部分の面積の合計と部分領域の面積との比があるしきい値を超えれば写真として他の領域と区別することができる。
【００２８】
このように、部分領域を構成する等色連結成分の外接矩形の重なりを併せて用いることで、色の種類数が少なく、等色連結成分の数も文字領域と似通っているような写真領域でも、簡単に抽出することができる。
【００２９】
（実施の形態４）
実施の形態４では、実施の形態３で説明した部分領域における等色連結成分の特徴（ステップＳ５）において、等色連結成分の大きさの分布に関する特徴も求めて写真領域の判定に利用する。一般に、写真領域は、文字の含まれる領域に比べ、等色連結成分の大きさがバラバラに分布することが多い。例えば、人間の顔写真では、顔の輪郭と目，口，髪，洋服，背景などに分かれるが、それらの大きさは、文字列のようにある範囲に収まるような分布にはならない。
【００３０】
したがって、等色連結成分の外接矩形の面積の分散値を求め、この値があるしきい値を超えれば写真として他の領域と区別することができる。面積の代わりに、外接矩形の長辺もしくは短辺の長さの分散を用いることもできる。このように、部分領域を構成する等色連結成分の大きさの分布を併せて用いることで、色の種類数が少なく、外接矩形同士の重なりが少ないような写真領域でも、簡単に抽出することができる。
【００３１】
（実施の形態５）
図５は、実施の形態５における処理の流れを示すフローチャートである。前述した実施の形態１〜４の処理によりステップＳ６で写真領域が判定した後、判断子（ステップＳ７）では新たに入力された画像とみなして、ステップＳ１に復帰させ、再帰的に写真領域を識別させる。ステップＳ７における再帰処理の回数については、例えば２回などと予め決めておけばよい。これによって、文書画像上で、写真領域が背景と異なる他の領域に包含されているような場合でも、正しく写真領域のみを抽出できるようになる。
【００３２】
（実施の形態６）
図６は、実施の形態６における処理の流れを示すフローチャートである。実施の形態６では、背景色特定後に（ステップＳ２）、再帰処理の実行の判断を行い、求めた背景の画素数と部分領域全体の画素数との比によって決定する（Ｓ１０）。背景色は、部分領域の中で最も多い色として求められるが、その色の画素が少なくなるということは既に背景ではなく、文字や写真の一部を表すとみてよい。したがって、背景色の画素数と部分領域全体の画素数との比があるしきい値よりも小さいときには（ステップＳ１０：Ｙｅｓ）、対象としている部分領域の再帰処理を行わず終了する。再帰処理の回数を一定値ではなく画像によって適応的に変化させることで、適切な回数だけ実行でき、精度よく写真領域を抽出することができる。
【００３３】
以上説明したように、本実施の形態にかかる画像処理方法によれば、多値画像に対して画素色の情報のみならず、領域を構成する成分の形状情報を有効に利用することにより、識別誤りが少ない写真領域の識別が可能となる。
【００３４】
なお、本実施の形態で説明した画像処理方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であってもよい。
【００３５】
【発明の効果】
以上説明したように、この発明によれば、多値画像に対して画素色の情報に加え、領域を構成する成分の形状情報を有効に利用することにより、識別誤りが少ない写真領域の識別が可能であるという効果を奏する。この形状情報としては、部分領域の等色連結成分の色の種類数や、部分領域の等色連結成分の数、部分領域の等色連結成分の外接矩形の重なり状態、部分領域の等色連結成分の大きさの分布を用いて行う。
【００３６】
また、再帰的に写真領域を識別したり、画像に応じて再帰的に写真領域を抽出する回数を変化させることによって、写真領域が他の領域に包含されているような場合でも、正しく写真領域のみを抽出できるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の画像処理装置の実施の形態の構成を示すブロック図である。
【図２】実施の形態１による画像処理の流れを示すフローチャートである。
【図３】等色連結成分の外接矩形の分布を説明するための図である。
【図４】外接矩形の重なり状態を説明するための図である。
【図５】実施の形態５における処理の流れを示すフローチャートである。
【図６】実施の形態６における処理の流れを示すフローチャートである。
【図７】文書画像を示す図である。
【符号の説明】
１　画像入力部
２　背景色抽出部
３　部分領域抽出部
４　等色連結成分抽出部
５　連結成分特徴抽出部
６　写真領域判定部
７　メモリ
８　制御部
【図１】
2004110434.tif 000003
【図２】
2004110434.tif 000004
【図３】
2004110434.tif 000005
【図４】
2004110434.tif 000006
【図５】
2004110434.tif 000007
【図６】
2004110434.tif 000008
【図７】
2004110434.tif 000009