(57)【特許請求の範囲】
【請求項１】
カラー画像を入力する入力ステップと、
入力したカラー画像の背景像域に注目して、そのカラー画像から特性の異なる像域を抽出する抽出ステップと、
抽出した像域それぞれの特性を判定する判定ステップとを有し、
前記抽出ステップは、前記カラー画像の処理対象領域から背景像域を分離する第一の分離ステップ、および、分離された背景像域以外の像域を少なくとも一つの像域に分離する第二の分離ステップを含み、分離した像域に、前記第一および第二の分離ステップを再帰的に繰り返すことにより像域を抽出することを特徴とする画像処理方法。
【請求項２】
さらに、前記抽出ステップで抽出した像域それぞれに、前記判定ステップで判定したその像域の特性に応じた変倍処理を施すことにより、前記カラー画像を変倍する変倍ステップを有することを特徴とする請求項1に記載された画像処理方法。
【請求項３】
さらに、前記抽出ステップで抽出した像域それぞれに、前記判定ステップで判定したその像域の特性に応じた圧縮処理を施すことにより、前記カラー画像を圧縮する圧縮ステップを有することを特徴とする請求項1に記載された画像処理方法。
【請求項４】
前記圧縮ステップは、前記像域それぞれの画像データを圧縮した像域圧縮データをひとまとめにして、前記カラー画像の圧縮データとすることを特徴とする請求項3に記載された画像処理方法。
【請求項５】
さらに、前記圧縮ステップで得た圧縮データを、その像域圧縮データごとに伸長することにより、カラー画像を再生する再生ステップを有することを特徴とする請求項4に記載された画像処理方法。
【請求項６】
さらに、前記抽出ステップで抽出した像域それぞれの画像データを、前記判定ステップで判定したその像域の特性に応じたデータ形式に変換することにより、画像編集に適したデータ形式の像域データに変換する変換ステップを有することを特徴とする請求項1に記載された画像処理方法。
【請求項７】
さらに、前記変換ステップで得た像域データを編集する編集ステップを有することを特徴とする請求項6に記載された画像処理方法。
【請求項８】
前記第一の分離ステップは、前記処理対象領域の画素値分布に基づいて背景部分を検出し、その背景画素値近傍の値をもつ像域を分離し、分離した像域を整形して背景像域とすることを特徴とする請求項1に記載された画像処理方法。
【請求項９】
前記第一の分離ステップは、前記処理対象領域の画素値分布に基づいて背景部分を検出し、その背景画素値近傍の値をもつ像域を分離し、分離した像域が背景像域として適切か否かを判断し、適切と判断した像域を整形して背景像域とすることを特徴とする請求項1に記載された画像処理方法。
【請求項１０】
前記背景画素値は前記処理対象領域の最頻値であることを特徴とする請求項8または請求項9に記載された画像処理方法。
【請求項１１】
前記第一の分離ステップは、前記処理対象領域の面積と前記分離した像域の面積とを比較した結果と、前記処理対象領域内で前記分離した像域外である部分の面積と、その分離した像域以外に存在する所定面積以下の連結成分の数とから、その分離した像域が背景像域として適切か否かを判断することを特徴とする請求項9または請求項10に記載された画像処理方法。
【請求項１２】
前記第一の分離ステップは、前記分離した像域が背景像域として不適切であると判断した場合、前記背景画素値近傍の値を変更して、再び、像域を分離することを特徴とする請求項9または請求項10に記載された画像処理方法。
【請求項１３】
前記第二の分離ステップは前記背景像域以外の像域で互いに近接しているものを一つ像域として分離することを特徴とする請求項1に記載された画像処理方法。
【請求項１４】
前記判定ステップは、判定した像域の特性として、その種類、位置、形状を示す二値画像および包含関係を示す情報を保持することを特徴とする請求項1に記載された画像処理方法。
【請求項１５】
前記判定ステップは、前記像域の彩度ヒストグラムのピーク値および分散に基づいて、その像域がカラー成分からなる像域かモノクロ成分からなる像域かを判断する第一の判断ステップ、前記第一の判断ステップでカラー成分像域と判断した場合は、その像域の色ヒストグラムのピーク値および分散に基づいて、そのカラー成分が連続調か限定色かを判断する第二の判断ステップ、前記第一の判断ステップでモノクロ成分像域と判断した場合は、その像域の明度ヒストグラムのピーク値および分散に基づいて、そのモノクロ成分が連続調か限定値かを判断する第三の判断ステップ、前記第二または第三の判断ステップで限定色または限定値成分と判断した場合は、注目画素とその近傍の画素の値から疑似中間調成分か否かを判断する第四の判断ステップ、並びに、前記第二から第四の判断ステップの判断結果に基づいて前記像域の種類を判断する第五の判断ステップを含むことを特徴とする請求項14に記載された画像処理方法。
【請求項１６】
前記像域の種類にはカラー連続調、限定色文字線画、限定色擬似中間調、モノクロ連続調、限定値文字線画および限定値擬似中間調が含まれることを特徴とする請求項15に記載された画像処理方法。
【請求項１７】
前記判定ステップは、その種類が限定色文字線画、限定色擬似中間調、限定値文字線画および限定値擬似中間調の像域を判定した場合、その像域内の平均データを保持することを特徴とする請求項16に記載された画像処理方法。
【請求項１８】
カラー画像を入力する入力手段と、
入力されたカラー画像の背景像域に注目して、そのカラー画像から特性の異なる像域を抽出する抽出手段と、
抽出された像域それぞれの特性を判定する判定手段とを有し、
前記抽出手段は、前記カラー画像の処理対象領域から背景像域を分離する第一の分離手段、および、分離された背景像域以外の像域を少なくとも一つの像域に分離する第二の分離手段を含み、分離した像域に、前記第一および第二の分離手段による処理を再帰的に繰り返すことにより像域を抽出することを特徴とする画像処理装置。
【請求項１９】
さらに、前記抽出手段により抽出された像域それぞれに、前記判定手段により判定されたその像域の特性に応じた変倍処理を施すことにより、前記カラー画像を変倍する変倍手段を有することを特徴とする請求項18に記載された画像処理装置。
【請求項２０】
さらに、前記抽出手段により抽出された像域それぞれに、前記判定手段により判定されたその像域の特性に応じた圧縮処理を施すことにより、前記カラー画像を圧縮する圧縮手段を備え、
前記圧縮手段は、前記像域それぞれの画像データを圧縮した像域圧縮データをひとまとめにして、前記カラー画像の圧縮データとすることを特徴とする請求項18に記載された画像処理装置。
【請求項２１】
さらに、前記圧縮手段から出力された圧縮データを、その像域圧縮データごとに伸長することにより、カラー画像を再生する再生手段を有することを特徴とする請求項20に記載された画像処理装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は画像形成装置およびその方法に関し、例えば、カラー画像から特性の異なる像域を抽出して、その像域それぞれの特性を判定する画像処理に関する。
【０００２】
【従来の技術】
近年、カラー画像の入出力を行う装置がOA分野に普及し始め、これに伴い、主に文章で構成され、白黒部分や色数が限定された部分が大半を占めるカラー画像（以下この画像を「文章画像」と呼ぶ）の原稿を、スキャナなどの入力装置で読込んだカラー画像を扱う機会が増加している。しかし、他の画像に比べて、文章画像は性質の異なる像域（文字の像域や写真の像域など）が混在しているという特徴があり、他の分野で利用されている変倍やデータ量削減などの処理手法をそのまま用いても、画質の良好な画像が得られない場合がある。また、原稿のカラー画像を構造化したディジタルデータ、つまり原稿中の文字は文字コードとして、写真は画像データとして計算機へ入力し、DTP(Desk Top Publishing)装置などで再利用する要求も高まっている。
【０００３】
次に、画像の変倍処理技術、データ量を削減する技術、像域を分離する（文書画像の構造化も含む）技術について、それぞれ説明する。
【０００４】
［変倍処理］
画像を変倍（画素密度変換も含む）する方法としては、その変倍率に応じて原画の各画素を周期的に間引く（縮小）、その倍率に応じて各画素を繰返す（拡大）、ことによって変倍するSPC(Selective Processing Conversion)法（松本、小林: ファクシミリ解像度変換における画質評価の一検討、画像電子学会誌、Vol.12, No.5, pp.354-356, 1983）や、座標変換（アフィン変換など）を施した後、近傍の値を補間して画素値を求める方法などがある。
【０００５】
また、二値画像を変倍する方法としては、本出願人が提案している方法がある。この方法は、二値画像の輪郭線情報を抽出して、平滑・変倍を行う装置に関するもので、二値画像からアウトラインベクトルを抽出し、抽出したアウトラインベクトル表現の状態で、所望の倍率（任意）に、滑らかに変倍されたアウトラインベクトルを作成し、その滑らかに変倍されたアウトラインベクトルから二値画像を再生することによって、所望の倍率（任意）で変倍した高画質のディジタル画像を得るものである。
【０００６】
［データ量削減］
画像を蓄積したり、通信したりする際に、そのデータ量を削減する方法としては、JPEG(Joint Photographic Expert Group)による離散コサイン変換(DCT)を用いた符号化方式などのデータ量削減方法がある。また、カラー画像を均等色空間へ変換した後、色差を用いて領域分割を行い、領域の形状はチェーン符号化し、色相は領域ごとに記憶色を用いた粗量子化し、彩度は領域ごとに多項式近似し、明度は適応型離散コサイン変換符号化することにより、符号化する方法（電子情報通信学会論文誌B-I、Vol.75-B-I, No.6, pp422-430, 1992年6月）が提案されている。
【０００７】
また、二値画像のデータ量を削減する方法としては、MR/MMR符号化やJBIG(Joint Bi-level Image Group)による符号化方法などがある。
【０００８】
［像域分離（文書画像の構造化も含む）］
カラー画像の像域を分離する方法としては、再帰的閾値法（領域分割処理によるカラー画像情報の構造化、情報処理、Vol.19, No.12, pp.1130-1136, Dec. 1987）がある。この方法は、カラー画像に対して、RGB,HSI,TIQのカラー特徴におけるヒストグラムの谷から領域分割の閾値を決定して、領域を取出すという処理を、切出したそれぞれの領域に対して再帰的に繰返す。また、限定色表現法、つまり人間の視覚では色誤差を識別できない色数に達するまで、色分布を繰返し分割する色量子化手法を利用する方法（1990年電子情報通信学会春期全国大会 D146 7-168）などの報告もある。
【０００９】
文書画像を対象とする像域分離法としては、近傍画素の情報を用いて画素毎に像域を判定する方法（鉄谷、赤田: 二値画像と濃淡画像の混在する原稿の二値化処理法、電子通信学会論文誌、Vol.J65-D, No.1, pp.307-314, 1982）や、像域は背景によって区切られているという性質に基づいて、文章画像の背景を利用して像域を分離した後、像域を判定する方法（伊藤等: フリーフォーマット文書の並列フィールドセグメンテーション手法、昭和54年度情報処理学会第20回全国大会、pp.453-454）などがある。これら提案の一部には、像域を分離した結果を文書画像の構造化へ応用する提案もある（例えば、山田等: マルチメディア文書構造処理システム、画像電子学会誌、Vol.19, No.5, pp.286-295, 1990）。
【００１０】
【発明が解決しようとする課題】
しかし、上記従来例においては、次のような問題点があった。
【００１１】
［変倍処理］
SPC変倍法は、簡易に変倍画像を作成できるものの、斜線部分が階段状になるなど画質に問題がある。
【００１２】
また、座標変換を用いた変倍方法は、風景などの自然画像には有効であるが、文書画像に適用した場合は、文字やグラフなどの文字線画部分のエッジが補間処理によってぼけるという欠点がある。
【００１３】
また、本出願人が提案している二値画像の変倍方法は、二値画像の輪郭線情報を抽出し平滑・変倍する方法としては極めて有効であるが、カラー画像や濃淡画像の変倍に直接適用することはできない。
【００１４】
［データ量削減］
離散コサイン変換(DCT)を用いた符号化方式によるデータ量の削減方法は、自然画像には有効であるが、文書画像を圧縮し再生した場合は、文字やグラフなどの文字線画部分における画質劣化が大きいという問題がある。
【００１５】
領域を分割して符号化する方法も、自然画像を対象としているため、明度を適応型離散コサイン変換符号化するので、明度情報が全情報量の大半を占めることになる。このため、カラー画像の連続調の部分に対しては有効であるが、白黒部分や限定色部分が大半を占め、明度情報の重要度が低い文書においては、符号化効率が悪い。
【００１６】
MR/MMR符号化やJBIGによる符号化方法は、二値画像のデータ量を削減する場合には有効であるが、カラー画像や濃淡画像のデータ量を削減する場合は、直接適用することができない。
【００１７】
［像域分離］
再帰的閾値法や限定色表現法を用いた像域分離方法は、自然画像の領域分割に適用することはできるが、自然画像とは性質の異なる像域（像域の定義が異なるので）が混在する文書画像に対しては、直接適用することができない。
【００１８】
また、上述した文書画像を対象とした像域分離方法（文章の構造化も含む）は、二値画像や濃淡画像を対象とするもので、像域が重畳することが多いなどの特徴をもつカラー画像への適用は難しい。
【００１９】
このように、提案されている変倍方法，データ削減方法，像域分離方法は、自然画像を対象としたものが多く、文書画像へ適用しても充分な効果を期待することができない。また、提案されている文書画像を対象とするそれらの方法は、二値画像や濃淡画像を対象とするもので、カラー画像に対して直接適用することができるものはない。
【００２０】
本発明は、上述の問題を解決するためのもので、特性が異なる像域が混在したカラー画像に対して、良好な処理を施すことを目的とする。
【００２１】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００２２】
本発明にかかる画像処理方法は、カラー画像を入力する入力ステップと、入力したカラー画像の背景像域に注目して、そのカラー画像から特性の異なる像域を抽出する抽出ステップと、抽出した像域それぞれの特性を判定する判定ステップとを有し、前記抽出ステップは、前記カラー画像の処理対象領域から背景像域を分離する第一の分離ステップ、および、分離された背景像域以外の像域を少なくとも一つの像域に分離する第二の分離ステップを含み、分離した像域に、前記第一および第二の分離ステップを再帰的に繰り返すことにより像域を抽出することを特徴とする。
【００２３】
本発明にかかる画像処理装置は、カラー画像を入力する入力手段と、入力されたカラー画像の背景像域に注目して、そのカラー画像から特性の異なる像域を抽出する抽出手段と、抽出された像域それぞれの特性を判定する判定手段とを有し、前記抽出手段は、前記カラー画像の処理対象領域から背景像域を分離する第一の分離手段、および、分離された背景像域以外の像域を少なくとも一つの像域に分離する第二の分離手段を含み、分離した像域に、前記第一および第二の分離手段による処理を再帰的に繰り返すことにより像域を抽出することを特徴とする。
【００２４】
【実施例】
本発明の概要は、異なる成分をもつ像域が混在するカラー文書画像に対して、各像域の抽出および成分の判定を行い、背景（下地）になる像域に注目することにより、画像中の像域を抽出し、各像域の成分（以下「像域成分」と呼ぶ）を判定する。
【００２５】
ここで、像域成分とは、像域が文字や線画からなるのか、写真からなるのか、あるいは、カラーの像域なのかなど、像域の性質を示すものである。以下では、像域成分の一例として、文書画像の像域が「カラー連続調」「限定色文字線画」「限定色擬似中間調」「モノクロ連続調」「限定値文字線画」「限定値擬似中間調」の何れかの像域成分をもつものとして説明する。これらの像域成分の詳細は次のようになるが、勿論、より簡単な、または、より詳しい分類による像域成分を用いることもできる。
カラー連続調:     原稿がカラー写真である像域
限定色文字線画:   原稿が黒以外の色の文字または線画である像域
限定色擬似中間調: 原稿が擬似中間調処理し着色された写真である像域
モノクロ連続調:   原稿が白黒の濃淡（グレイ）の写真である像域
限定値文字線画:   原稿が白黒の文字もしくは線画である像域
限定値擬似中間調: 原稿が白黒の擬似中間調に処理された写真である像域
【００２６】
次に、本発明の中心になるカラー文書画像の像域分離について簡単に説明する。
【００２７】
文書画像において前述した像域成分をもつ像域は、背景（下地）により区切られていると考えられる。つまり、入力画像を背景によって区切られる部分で分離することにより、像域を抽出することができる。しかし、白黒原稿は、一般に、その背景色は「白」であるが、カラー原稿の場合は背景色が「白」とは限らない。また、カラー原稿の場合は、ある背景の上に他の色をもつ背景が重なったものも多い。そこで、本発明においては、背景の抽出および背景に基づく像域分割を、像域（最初は入力画像）に対して再帰的に繰返すことにより、像域分離を行う。
【００２８】
図1は本発明における像域分離手順の一例を示す図である。
【００２９】
まず、入力画像5001から背景5002を抽出し、次に、背景5002を用いて分離することができる像域5003と5004を抽出する。像域5003については、さらに背景を抽出することはできないので、像域分離を終了する。一方、像域5004については、さらに背景5005を抽出することができるので、像域分離を継続する。このようにして分離した各像域に対して像域成分を判定する。
【００３０】
なお、以下では、背景を示す像域を「背景像域」、背景以外を示す像域を「一般像域」と呼ぶ。また、便宜上、処理途中の像域、つまり背景を含むか含まないかの判定が未了の像域および複数の像域を含む像域を「中間像域」と呼び、分割処理が終了した像域（背景像域を含む）を「終端像域」と呼ぶ。なお、入力画像も中間像域である。
【００３１】
以下、本発明にかかる一実施例の画像処理装置を図面を参照して詳細に説明する。
【００３２】
以下で説明する画像処理装置およびその方法は、カラーの文章画像を扱う機器、例えば、カラープリンタの画素密度変換や変倍出力、DTP装置の拡大・縮小や出力時の画素密度変換、カラーファクシミリ装置の画素密度変換や変倍出力、などに利用することができる。また、カラーファクシミリや、LANなどのネットワーク機器における画像通信時、および、磁気ディスク装置などの記憶装置へカラー画像を蓄積する際のデータ量削減に利用することができる。また、DTP装置などにおいて紙面原稿を入力する際のデータ構造化に利用することができる。
【００３３】
【第１実施例】
［処理手順］
図2は本発明を画像処理装置のカラー画像変倍処理に適用する場合の処理手順の一例を示す図である。
【００３４】
同図において、カラー画像入力工程1で処理を施すディジタルカラー画像を入力し、像域抽出工程2で入力したカラー画像から像域を抽出して、抽出した像域のデータを作成する。次に、像域判定工程3で抽出した各像域の像域成分を判定し、適応的変倍工程4で、抽出した各像域に対して、判定した像域成分に応じた変倍処理を施し、入力画像の変倍画像を作成する。そして、カラー画像出力工程5で、作成した変倍画像を表示したり、ハードコピー出力したり、または、通信路へ出力したりする。
【００３５】
［装置の構成］
図3は図2に示した処理を行う画像処理装置の構成例を示すブロック図で、図4は図3に示す構成を実現するハードウェアの一例を示すブロック図である。
【００３６】
まず、図4から説明すると、2001はCPU、2007はCPU2001と以下の構成とを相互に接続するバス、2004はCPUが実行するプログラムやデータなどが予め格納されたROM、2006はCPU2001のワークとして利用されるRAM、2002はプログラムや画像などを記憶するハードディスクや光磁気ディスクなどの記憶装置、2003は記憶装置2002のデータ入出力を行うディスクI/O、2008はカラー画像入力装置、2009はカラー画像出力装置、2005はカラー画像入出力装置2008,2009のデータ入出力を行うI/Oポートである。
【００３７】
CPU2001は、ROM2004や記憶装置2002などに予め格納されたプログラムに従い、バス2007を介して各構成を制御するとともに、RAM2006をワーク領域として、カラー画像入力装置2008から入力されたカラー画像や記憶装置2002に記憶されたカラー画像に処理を施した結果を、カラー画像出力装置2009へ出力する。
【００３８】
図3において、カラー画像入力部1001は、処理を施すディジタルカラー画像を入力して、入力画像記憶部1006に格納する。このカラー画像入力部1001は、例えば、ROM2004または記憶装置2002に格納されたプログラムに従って動作するCPU2001の制御により、カラー画像入力装置2009でカラー画像を入力して、RAM2006または記憶装置2002に格納することで構成することができる。なお、カラー画像入力部1001は、カラーイメージスキャナで画像を読込む入力部でも、通信路からカラー画像を受信する入力部でも、画像蓄積装置に格納されたカラー画像を読込む入力部であっても構わないし、これらを複数組合わせたものでも構わない。
【００３９】
像域抽出部1002は、入力画像記憶部1006に記憶された画像から像域を抽出し、抽出した像域データを像域データ記憶部1007に格納する。像域判定部1003は、像域抽出部1002により抽出された各像域の像域成分を判定し、像域データ記憶部1007に格納する。適応的変倍部1004は、像域抽出部1002により抽出され各像域に対して、像域判定部1003で判定された像域成分に応じた変倍処理を施して、入力画像を変倍した画像を作成し、その変倍画像を変倍画像記憶部1008に格納する。なお、像域データ記憶部1007には各像域の属性を示す情報が格納される。
【００４０】
この像域抽出部1002，像域判定部1003，適応的変倍部1004は、例えば、ROM2004または記憶装置2002に格納されたプログラムに従って動作するCPU2001とワークメモリとして使用するRAM2004または記憶装置2002で構成することができる。勿論、それぞれ専用のCPU，RAM，記憶装置で構成したり、専用のハードウェアにより構成しても構わない。
【００４１】
カラー画像出力部1005は、適応的変倍部1004により作成され、変倍画像記憶部1008に格納された変倍画像を出力する。なお、その出力先は、ディスプレイ、ハードコピーを行うプリンタや複写機、通信路、または、画像蓄積装置などである。このカラー画像出力部1005は、例えば、ROM2004または記憶装置2002に格納されたプログラムに従って動作するCPU2001の制御により、RAM2006または記憶装置2002に格納された変倍画像を、カラー画像出力装置2009により出力することで構成することができる。
【００４２】
また、入力画像記憶部1006，像域データ記憶部1007，変倍画像記憶部1008は、例えば、RAM2006または記憶装置2002で構成することができる。勿論、それぞれの記憶部を、専用の記憶装置で構成しても構わない。
【００４３】
［処理の詳細］
次に、図2に示した主な工程について、図3の構成を用いながら詳細に説明する。
【００４４】
●像域抽出工程
像域抽出工程2では、カラー画像入力工程1で入力画像記憶部1006に格納したカラー画像から像域を抽出し、抽出した像域のデータを作成し、そのデータを像域データ記憶部1007に格納する。
【００４５】
ここで、像域のデータ（以下「像域データ」と呼ぶ）について説明する。
【００４６】
図5Aは像域データの概略を示す図である。像域データは、各像域をノードとするツリー構造により入力画像の像域群を表現する。ツリー構造の親子関係は像域の包含関係を表し、中間像域を示すノードは、中間像域内にある一つの背景像域と幾つかの中間像域もしくは一般像域を表す子ノードをもつ。
【００４７】
図5Bは各ノード、つまり個々の像域を表すデータの一例を示す図である。各像域データは「像域種類」「像域位置」「像域形状」「像域成分」「像域色」「親ノード」および「子ノード」から構成され、これらの詳細は次のようになる。
像域種類: その像域の種類（背景像域，一般像域，中間像域）を示す
像域位置: 像域を囲む外接矩形の座標位置（左上xy座標，幅，高）を示す
像域形状: 像域の形状を二値画像で表現したもの
像域成分: その像域がどの像域成分として判定されたかを示す
像域色:   限定色か限定値の像域成分の場合に像域の平均RGB値を格納する
親ノード: 親ノードを示すポインタ
子ノード: 子ノードを示す複数個のポインタ
【００４８】
なお、像域形状を表す二値画像の黒画素（画素値=‘1’）が像域を示し、二値画像の大きさおよび入力画像上での位置は、像域位置に示した矩形位置に対応する。
【００４９】
図6は像域抽出工程2の詳細な手順の一例を示す図である。像域抽出工程2は、前述したように、未分離像域探索工程21により像域分離工程20が終了したと判断されるまで、画像中の中間像域（入力画像を含む）を背景像域および中間像域へと、さらに分離する像域分離工程20を再帰的に繰返して、像域を抽出する。
【００５０】
未分離像域探索工程21は、像域データ記憶部1007に格納された像域データを探索し、分離が未了の中間像域、つまり子ノードをもたない中間像域を探す。像域データに分離が未了の中間像域がある場合は、その中間像域を入力中間像域として像域分離工程20を行う。像域データに分離が未了の中間像域がない場合は、像域抽出工程2を終了する。
【００５１】
像域分離工程20は、中間像域（入力画像を含む）を入力し、入力された中間像域が、さらに背景像域と幾つかの中間像域を分離できるかを判断する。分離できないと判断した場合は、入力された中間像域を終端像域と判定し、その情報を像域データ記憶部1007に格納されたその像域の像域データに登録する。分離できると判断した場合は、入力された中間像域から背景像域と幾つかの中間像域を分離し、その情報を像域データ記憶部1007に格納されたその像域の像域データに登録する。
【００５２】
具体的に説明すると、例えば、図1に示した像域5003を入力中間像域とし、像域5003から中間像域を分離できないと判断した場合は、像域5003を終端像域と判定する。また、図1に示す像域5004を入力中間像域とし、像域5004から中間像域を分離できると判断した場合は、像域5004から背景像域5005と中間像域5006を分離する。
【００５３】
背景像域分離工程22は、入力された中間像域に背景像域があるかを判定し、背景像域があると判定した場合は背景像域を分離する。中間像域分離工程23は、背景像域分離工程22で背景像域として分離された像域以外の像域を、幾何学的な関係を用いて幾つかの中間像域に分離する。具体的には、連結した画素または幾何学的に近い連結成分を一つの中間像域とする。像域登録工程24は、背景像域分離工程22および中間像域分離工程23で分離された像域を、像域データ記憶部1007に登録する。以下、背景像域分離工程22，中間像域分離工程23，像域登録工程24の詳細を説明する。
【００５４】
図7は背景像域分離工程21の詳細な手順の一例を示す図である。背景色抽出工程211は、入力された中間像域の色を解析し、入力された中間像域中に背景像域を示す色があるかを判定する。具体的には、特定範囲の色をもつ画素が入力された中間像域の大部分を占めるかなどにより判定を行う。二値化工程212は、背景色抽出工程211で抽出された背景像域を示す色を用いて、背景像域を示す二値画像を作成する。背景像域整形工程213は、二値化工程212で作成された背景像域を表す二値画像に対して、ノイズや小像域の除去を行い、背景像域の整形を行うとともに、小像域などの除去処理により背景像域がなくならないかを確認する。
【００５５】
図8はCPU2001の処理により背景像域分離工程22を実現する手順の一例を示すフローチャートである。
【００５６】
ステップS101からS103が背景色抽出工程211に対応する。
【００５７】
具体的には、ステップS101で色ヒストグラムをワークメモリ（RAM2006または記憶装置2002）上に作成する。例えば、入力画像がRGB表色系で表現されている場合、この色ヒストグラムは、中間像域の各画素の色の頻度、つまり中間像域の画素数に対するあるRGB値をもつ画素数の割合を表すRGBの三次元データである。なお、色ヒストグラムを作成する際に再量子化してもよい。例えば、RGBそれぞれ8ビットの画像が入力された場合、RGBそれぞれを4ビットや7ビットなどに再量子化しながら色ヒストグラムを作成することにより、工程は複雑になるが、色ヒストグラムを格納するメモリサイズを小さくすることができるとともに、背景像域の色にばらつきがあった場合にも安定に背景像域を分離することができる効果がある。
【００５８】
また、処理する画像の表色系はRGB表色系でなくても構わない。例えば、入力画像を予め他の表色系、例えばL*a*b*表色系，L*u*v*表色系，HSI表色系などに変換して、色ヒストグラムを作成する。このとき、色ヒストグラムの次元も、変換した表色系の三成分の次元、例えばL*a*b*表色系の場合はL*a*b*の三次元データを用いる。L*a*b*などの他の表色系を用いることにより、工程は複雑になるが、人間の視覚に近い背景像域を分離することができる効果が期待される。なお、以下では、RGB表色系で色ヒストグラムを作成した場合を説明する。
【００５９】
続いて、ステップS102で最大頻度の色（つまり背景色の候補）を得る。そして、ステップS103で、得られた最大頻度が閾値thより大きいかを判定して、最大頻度が閾値th以下の場合は入力された中間像域には背景像域がないと判断し、背景像域分離工程21を終了する。また、最大頻度が閾値thより大きい場合は入力された中間像域に背景像域があると判断して、ステップS104へ進む。ここで閾値thは、入力画像の性質を考慮して決定するもので、例えば0.5(50%)などである。
【００６０】
ステップS104は、二値化工程212に対応し、最大頻度の色をもつ画素とそれ以外の画素とに二値化した中間像域の二値画像をワークメモリ上に作成する。例えば、最大頻度の色をもつ画素を‘1’、それ以外の画素を‘0’にした二値画像を作成する。
【００６１】
ステップS105からS109は、背景像域整形工程213に対応する。
【００６２】
具体的には、ステップS105で、例えば公知の縮小/膨張処理を施すことにより、作成した二値画像からノイズを除去し、ステップS106からステップS108でノイズを除去した二値画像から小像域を除去する。まず、ステップS106で、ノイズを除去した二値画像に対して、例えば公知のラベリング処理により、ワークメモリ上にラベル画像を作成して連結成分の抽出を行う。ラベル画像は、各連結成分に一意の番号を付けて、その番号を各連結成分の画素値にした画像である。次に、ステップS107で各連結成分の画素数（面積）を求めてワークメモリに格納し、ステップS108で、画素数が閾値以下の連結成分（小面積の連結成分）を削除、つまり、二値画像のその連結成分に対応する画素の値を‘0’にする。
【００６３】
そして、ステップS109で、残った連結成分（背景像域）があるかを判定し、残っていれば背景像域ありと判断し、残っていなければ背景像域なしと判断する。なお、背景像域がある場合は、ワークメモリ上に背景像域を示す二値画像が残る。
【００６４】
図9はCPU2001の処理により中間像域分離工程23を実現する手順の一例を示すフローチャートである。
【００６５】
ステップS201で、背景像域分離工程22で作成した背景像域を示す二値画像を白黒反転、つまりその値が‘1’の画素を‘0’に、‘0’の画素を‘1’にした背景像域以外の像域、つまり入力された中間像域の中の中間像域を示す二値画像を作成し、ワークメモリに格納する。
【００６６】
次に、ステップS202で、白黒反転した二値画像から中間像域に分離するために、近隣成分を抽出する。ここで近隣成分とは、二値画像において近接する（連結している必要はなし）黒画素の集合を一つの成分とするもので、この近隣成分を中間像域とする。例えば、文書画像において、連結はしていないが、近接する文字の集まりからなるコラムなどを、近隣成分と呼ぶ。なお、近隣成分の抽出方法としては、例えば、伊藤等の方法（「フリーフォーマット文書の並列フィールドセグメンテーション手法」昭和54年度 情報処理学会第20回全国大会 2E-1）などがある。
【００６７】
次に、ステップS203で、抽出した近隣成分の位置を示す外接矩形を算出し、ワークメモリに格納する。
【００６８】
以上の手順により、入力された中間像域から背景像域以外の像域を一つまたは複数の中間像域に分離して、その位置（外接矩形）をワークメモリに格納することができる。
【００６９】
図10はCPU2001の処理により像域登録工程24を実現する手順の一例を示すフローチャートで、背景像域分離工程22で入力された中間像域に背景像域があると判断された場合に、分離された背景像域および中間像域を、図5Aおよび図5Bに示した形態で登録する。また、背景像域がないと判断された場合は、入力中間像域が一般像域であると登録する。具体的には、ステップS200で背景像域があるか判定して、あればステップS211へ進み、なければステップS219へ進んで、入力された中間像域を示すノードの像域種類を「一般像域」に変更して処理を終了する。
【００７０】
背景像域がある場合は、ステップS211で新しい像域を示すノードを作成し、ステップS212で新ノードに像域種類を登録し、ステップS213で処理する像域種類を判定して、背景像域の場合はステップS214で新ノードの像域形状に背景像域を示す二値画像を登録する。また、中間像域の場合はステップS215で新ノードの像域位置に外接矩形から得た位置情報を登録し、ステップS216で新ノードの像域形状に中間像域を示す白黒反転した二値画像を登録する。なお、背景像域の像域位置は、親ノード（入力中間像域）の像域位置と同じなので、その登録は省略する。
【００７１】
続いて、ステップS217で新ノードの親ノードとして入力された中間像域を登録し、ステップS218でその入力中間像域を示すノードの子ノードとして新ノードを登録して、処理を終了する。
【００７２】
●像域判定工程
像域判定工程3は、像域抽出工程2で抽出された各像域の種類を判定し、その判定結果を像域データに格納する。以下では、各像域が「カラー連続調」「限定色文字線画」「限定色疑似中間調」「モノクロ連続調」「限定値文字線画」「限定値擬似中間調」の何れの像域成分か判定する一例を説明する。
【００７３】
図11は像域判定工程3の詳細な手順の一例を示す図である。像域判定工程3は、カラー/モノクロ判定工程32により、対象とする像域がカラーかモノクロ（グレーまたは白黒）かを判定し、次に、カラー連続調/限定色判定工程33またはモノクロ連続調/限定値判定工程34により、像域が連続調か限定色または限定値かを判定する。そして、限定色または限定値と判定された像域に対しては、文字線画/擬似中間調判定工程35により、文字線画の像域か擬似中間調の像域かを判定する。像域判定制御工程31の制御により、未判定像域がなくなるまで、以上の工程を繰返すことによって各像域の像域成分を判定する。
【００７４】
図12は四つの像域成分におけるRGB値の分布例を示す図で、左上から順番に「カラー連続調像域」「モノクロ連続調像域」「限定色像域」「限定値像域」の各RGB値分布の一例を示している。
【００７５】
カラー/モノクロ判定工程32は、対象とする像域がカラー（カラー連続調像域または限定色像域）かモノクロ（モノクロ連続調像域または限定値像域）であるかを判定する。具体的には、図12に示すように、モノクロ像域の場合の各画素の彩度が零（RGB表色系ではR=G=B）近傍の値になることを利用して、像域の彩度ヒストグラムにおける頻度がピークを示す彩度が零の付近に一つあり、ヒストグラムの分散が小さい像域をモノクロ像域と判断する。
【００７６】
図13はCPU2001の処理によりカラー/モノクロ判定工程32を実現する手順の一例を示すフローチャートである。
【００７７】
ステップS301で、像域中の画素値（例えばRGB値）から彩度を算出して、彩度ヒストグラムを作成しワークメモリに格納する。なお、HSI表色系など、既に彩度を含む表色系で表現されている場合は、直接、彩度ヒストグラムを作成することができる。次に、ステップS302で作成した彩度ヒストグラムの頻度がピークを示す彩度を検出し、ステップS303で作成した彩度ヒストグラムの分散を算出し、ステップS304で得られた頻度がピークを示す彩度および分散を用いて像域の判定を行う。この判定は、頻度がピークを示す彩度が零付近（つまり所定の閾値以下）に一つあるとともに、分散が所定の閾値以下の場合はモノクロ像域とし、それ以外の場合はカラー像域とする。
【００７８】
図14はCPU2001の処理によりカラー/モノクロ判定工程32を実現する手順の他の例を示すフローチャートで、図13の手順に比べて判定精度は劣るが、簡単に判定することができる。
【００７９】
ステップS401で変数Eを零にリセットし、ステップS402で変数Eに対象像域の注目画素のR値とG値の差の絶対値(|R-G|)を加算し、ステップS403で変数Eにその注目画素のR値とB値の差の絶対値(|R-B|)を加算する。そして、ステップS404の判断によりステップS402とS403を像域のすべての画素に繰返し実行する。すべての画素の処理が終了するとステップS405で変数Eを対象像域の画素数Nで割った値(E/N)と所定の閾値thとを比較して、E/N>thであればカラー像域と判定し、そうでなければモノクロ像域と判定する。つまり、この方法は、像域のすべての画素におけるR-GとR-Bの絶対値の和の平均値によって、その像域がカラーかモノクロかを判定するものである。
【００８０】
次に、カラー連続調/限定色判定工程33は、図12に示したように、限定色像域の場合はその画素値が特定の値に集中することから、像域の色ヒストグラムにおいて頻度がピークを示す色が一つあり、色ヒストグラムの分散が小さい像域を限定色像域と判断する。
【００８１】
図15はCPU2001の処理によりカラー連続調/限定色判定工程33を実現する手順の一例を示すフローチャートである。
【００８２】
ステップS501で、像域の画素値（例えばRGB値）から色ヒストグラムを作成して、ワークメモリに格納する。次に、ステップS502で作成した色ヒストグラムの頻度のピーク数を検出する。なお、所定の閾値以上の頻度をもつ色の数をピーク数とするが、ヒストグラム上で隣合うピークは一つのピークとして数える。続いて、ステップS503で作成した色ヒストグラムの分散を算出し、ステップS504で得られたピーク数および分散から像域成分を判定する。この判定は、ピーク数が一つであるとともに分散が所定の閾値以下の場合に限定色像域とし、それ以外の場合はカラー連続調像域とする。
【００８３】
次に、モノクロ連続調/限定値判定工程34は、図12に示したように、限定値像域の場合はその画素値が特定の値に集中することから、像域の明度ヒストグラムにおいて頻度がピークを示す明度が一つあり、明度ヒストグラムの分散が小さい像域を限定値像域と判断する。
【００８４】
図16はCPU2001の処理によりモノクロ連続調/限定値判定工程34を実現する手順の一例を示すフローチャートである。
【００８５】
ステップS601で、像域の画素値（例えばRGB値）から明度を算出し、明度ヒストグラムを作成してワークメモリに格納する。なお、HSI表色系など、既に明度を含む表色系で表現されている場合は、直接、明度ヒストグラムを作成することができる。次に、ステップS602で作成した明度ヒストグラムの頻度のピーク数を検出する。なお、所定の閾値以上の頻度をもつ明度の数をピーク数とするが、ヒストグラム上で隣合うピークは一つのピークとして数える。続いて、ステップS603で作成した明度ヒストグラムの分散を算出し、ステップS604で得られたピーク数および分散から像域成分を判定する。この判定は、ピーク数が一つであるとともに分散が所定の閾値以下の場合に限定値像域とし、それ以外の場合はモノクロ連続調像域とする。
【００８６】
次に、文字線画/擬似中間調判定工程35について説明する。
【００８７】
二値画像や多値画像を対象とした像域分離技術として、多くの文字線画/擬似中間調像域判別技術が提案されているが、ここでは、本出願人が提案している方法を例として説明する。
【００８８】
本実施例においては、前述したように、入力像域の形状を示す二値画像を中間像域分離工程3において作成し、図5Aおよび図5Bに示す形態の像域データとして格納している。文字線画/擬似中間調判定工程35では、判定対象とする像域の像域形状（二値画像）を入力として、文字線画像域か擬似中間調像域かを判別する。
【００８９】
図17は上述した判別処理を実現する像域分離部3000の構成例を示すブロック図である。なお、同図においては専用のハードウェアにより像域分離部を実現しているが、図4に示した装置でも実現することができるのはいうまでもない。
【００９０】
図17において、3010はデータ保持部で、像域判定処理に必要になる小領域内の各画素値を逐次更新し保持する。このデータ保持部3010は、ラスタ走査形式で入力されるディジタル二値画像データ3040に対して、例えば図18に示すように、注目画素321の周囲最大8×8画素の領域324の計64画素のデータを保持する。そして、注目画素321の位置が更新（ラスタ走査形式で順次移動する）されるのに同期して、保持するデータを対応する領域のデータに更新する。
【００９１】
図19はデータ保持部3010の構成例を示すブロック図で、3011はFIFOメモリなどで構成されるラインバッファ部で、現在入力されているラスタの直前の7ラスタ（走査線）分に相当するデータを保持する。3012はラッチ群で、各ラスタ当り八画素分のデータを保持し、合計64個のデータを保持する。
【００９２】
再び、図17において、3020は像域判定条件部で、データ保持部3010より出力される小領域324を形成する注目画素321を含む画素群のデータに基づいて、注目画素321が擬似中間調領域の画素か否かを判定するこの像域判定部3020は、孤立画素判定部3021、周期性判定部3022および高周波成分判定部3023を含み、三つの判定部でそれぞれ異なる条件が成立するか否かを判定して、それらの条件の一つでも成立すれば、ORゲート3024から注目画素321が擬似中間調領域の画素であることを示す信号3050が出力される。つまり、ORゲート3024は、注目画素321が孤立点か、または、孤立画素領域，周期性画素領域，高周波成分領域の何れかに含まれる画素と判定された場合に、擬似中間調領域であることを示す信号3050を出力する。
【００９３】
孤立画素判定部3021は、注目画素321が孤立画素領域にあるか否かを判定するもので、具体的には、図20に示す4×4画素領域322内の16画素それぞれに対して、図21に示す上下左右の四画素がすべて同値の画素（白画素もしくは黒画素）で、かつ中央(k,l)の画素と異なる値か否かを検出する。そして16個の検出結果を得て、この内、例えば二つ以上が上記の条件に該当する場合、この4×4画素領域322内の注目画素321は孤立画素領域内にあると判定する。言い換えれば、注目画素321の近傍画素領域322の16画素の中で、孤立画素（上下左右の何れにも連結していない黒画素もしくは白画素）が例えば二画素以上あるか否かを判断して、二画素以上ある場合、注目画素321は孤立画素領域内にあると判定する。
【００９４】
周期性判定部3022は、画素値が所定の画素周期で繰返されているかどうかを判定するもので、具体的には、図18に示す8×8画素領域324において、その64画素がすべて白画素であったり、すべて黒画素である場合を除き、お互いに主走査方向に四画素かつ/または副走査方向に四画素離れた位置関係にある四画素、例えば、図18にハッチングで示す画素A,B,C,Dの各画素値がすべて同じか否かを判定する。なお、8×8画素領域324においては、画素A,B,C,Dのような相対位置関係にある四画素の組を16通り定義することができる。これら16組それぞれについて、四画素の画素値がすべて等しいか否かを検査し、等しい場合が、例えば14組以上あれば、64画素がすべて白画素または黒画素の場合を除いて、周期性部分、つまりディザ部分であると判定する。
【００９５】
高周波成分判定部3023は、近接する画素間において濃度変化が頻繁に生じているか否かを判定するもので、具体的には、図22に示す6×6画素領域326において、その36画素の横（主走査）方向に隣接する二画素間の組合わせ30通り（図に水平方向の双方向矢印で示す）と、縦（副走査）方向に隣接する二画素間の組合わせ30通り（図に垂直方向の双方向矢印で示す）との、合わせて60組の隣接二画素の画素値が互いに異なるか否かを判定する。そして、互いに異なる組合わせが、例えば28組以上あれば高周波成分領域にあると判定する。
【００９６】
なお、像域判定工程3の判定結果（各像域の像域成分）は、像域データ記憶部1007にある像域データへ、各像域の像域成分として格納する。また、限定色文字線画、限定色擬似中間調、限定値文字線画、限定値擬似中間調の各像域成分と判定された像域に対しては、その像域内の平均色（例えばRGBそれぞれの平均画素値）を算出して、像域データ記憶部1007にある像域データへ、その像域の平均色として格納する。
【００９７】
●適応的変倍工程
適応的変倍工程4は、像域抽出工程2で抽出された各像域に対して、像域判定工程3で判定された像域成分に応じた変倍処理を施し、入力画像の変倍画像を作成する。
【００９８】
図23は適応的変倍工程4の詳細な手順の一例を示す図である。適応的変倍工程4は、変倍制御工程41により、その像域成分に応じた変倍工程を像域ごとに適応して、それぞれの像域の変倍画像を合成することにより、入力画像の変倍画像を作成する。具体的には、カラー連続調の像域はカラー連続調像域変倍工程42で、限定色文字線画の像域は限定色文字線画像域変倍工程43で、限定色疑似中間調の像域は限定色疑似中間調像域変倍工程44で、モノクロ連続調の像域はモノクロ連続調像域変倍工程45で、限定値文字線画の像域は限定値文字線画像域変倍工程46で、限定値疑似中間調の像域は限定値疑似中間調像域変倍工程47で、それぞれ変倍し、それぞれ変倍された像域を一つの変倍画像に合成する。以下、各工程を詳細に説明する。
【００９９】
変倍制御工程41は、変倍が完了していない像域がなくなるまで、その像域成分に応じた変倍行程を像域ごとに適応的に施す。図24は変倍を施す像域の順序の一例を示す図で、変倍は、像域データ（ツリー構造）に記述された像域ノードを、ルートノード（最上位ノード）から辿りながら行うが、各像域の変倍は、それ自身よりも上位階のノードの一階下にある背景像域より先に行ってはならない。つまり、一つの中間像域の下にある像域を変倍する場合は、背景像域から変倍しなければならない。
【０１００】
カラー連続調変倍工程42は、入力された像域を線形補間を用いたカラー画像変倍方法などにより変倍し、その変倍画像を変倍画像記憶部1008へ書込む。なお、変倍画像記憶部1008への変倍画像の書込みは、他の工程も同様であるが、入力された像域の像域位置から算出した変倍後の像域位置に基づいて行う。
【０１０１】
限定色文字線画変倍工程43は、入力された像域の像域形状に格納された二値画像を、既に出願人が出願している特願平3-345062号など、文字線画画像に適した公知の二値画像変倍方法により変倍し、その変倍画像を変倍画像記憶部1008へ書込む。限定色疑似中間調変倍工程44は、入力された像域の像域形状に格納された二値画像を、SPC変倍法などの二値画像変倍方法により変倍し、その変倍画像を変倍画像記憶部1008へ書込む。ただし、限定色文字線画変倍工程43および限定色疑似中間調変倍工程44は、変倍した二値画像の画素値が‘1’の場合は入力画像の画素値を書込み、画素値が‘0’の画素は書込みを行わないことによって、変倍画像の書込みを行う。なお、書込む値は、入力画像の画素値ではなく、入力された像域の像域色でもよく、そうすれば、入力画像に含まれるノイズを除去する効果が期待できる。
【０１０２】
モノクロ連続調変倍工程45は、入力された像域を線形補間を用いたカラー画像変倍方法などにより変倍し、その変倍画像を変倍画像記憶部1008へ書込む。
【０１０３】
限定値文字線画変倍工程46は、入力された像域の像域形状に格納された二値画像を、既に出願人が出願している特願平3-345062号など、文字線画画像に適した公知の二値画像変倍方法により変倍し、その変倍画像を変倍画像記憶部1008へ書込む。限定値疑似中間調変倍工程47は、入力された像域の像域形状に格納された二値画像を、SPC法などの二値画像変倍方法により変倍し、その変倍画像を変倍画像記憶部1008へ書込む。ただし、限定値文字線画変倍工程46および限定値疑似中間調変倍工程47は、入力された像域の像域形状に格納された二値画像を、SP変倍した二値画像の画素値が‘1’の場合は入力画像の画素値を書込み、画素値が‘0’の画素は書込みを行わないことによって、変倍画像の書込みを行う。なお、書込む値は、入力画像の画素値ではなく、入力された像域の領域色や黒（例えば出力画像がRGB各8ビットの場合はRGBすべての画素値が255）でもよく、そうすれば、入力画像に含まれるノイズを除去する効果が期待できる。
【０１０４】
また、変倍率は、予めROM204上に格納された値や、キーボードやディップスイッチなどによってユーザから指定された値を用いる。
【０１０５】
以上説明したように、本実施例によれば、カラー画像として入力した異なる成分をもつ像域が混在する文書画像に対して、カラー文書画像の特徴に基づいた像域分離を行うことにより、白以外の色をもつ背景（下地）が複数ある文書画像でも良好な像域分離が可能であり、分離した像域それぞれの特性に応じた変倍処理を施して、良好な画質の変倍カラー画像を得ることができる。
【０１０６】
【第２実施例】
以下、本発明にかかる第2実施例の画像処理装置を説明する。なお、第2実施例において、第1実施例と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【０１０７】
［処理手順］
図25は本発明を画像処理装置のカラー画像圧縮処理に適用する場合の処理手順の一例を示す図で、カラー画像入力工程1から像域判定工程3およびカラー画像出力工程5は第1実施例と同様であり、その詳細説明は省略する。
【０１０８】
同図において、適応的圧縮工程6は、像域抽出工程2で抽出された各像域に対して、像域判定工程3で判定されたその像域の像域成分に応じた圧縮処理を施し、入力画像の圧縮データを作成し、圧縮データ出力工程7は、適応的圧縮工程6で作成された圧縮データを、図示しない通信路や画像蓄積装置へ出力する。圧縮データ入力工程8は、適応的圧縮工程6で圧縮されたデータを通信路や画像蓄積装置から入力し、カラー画像再生工程9は、適応的圧縮工程6で圧縮されたデータをカラー画像に再生する。なお、カラー画像入力工程1から圧縮データ出力工程7までは、カラー画像を圧縮する際に実行されるものであり、圧縮データ入力工程8からカラー画像出力工程5までは、圧縮データを再生する際に実行されるものである。
【０１０９】
［装置の構成］
図26は図25に示した処理を行う画像処理装置の構成例を示すブロック図で、図27は図26に示す構成を実現するハードウェアの一例を示すブロック図である。
【０１１０】
まず、図27から説明すると、本実施例においては、データ入力装置2010とデータ出力装置2011が追加され、ともにI/Oポート2005へ接続されている。
【０１１１】
図26において、カラー画像入力部1001は、処理を施すディジタルカラー画像を入力して、入力画像記憶部1006に格納する。像域抽出部1002は、入力画像記憶部1006に記憶された画像から像域を抽出し、抽出した像域データを像域データ記憶部1007に格納する。像域判定部1003は、像域抽出部1002により抽出された各像域の像域成分を判定し、像域データ記憶部1007に格納する。適応的圧縮部1014は、像域抽出部1002により抽出された各像域に対して、像域判定部1003で判定されたその像域の像域成分に応じた圧縮処理を施して、入力画像の圧縮データを作成し、その圧縮データを圧縮データ記憶部1012に格納する。
【０１１２】
圧縮データ出力部1009は、適応的圧縮部1014により圧縮され、圧縮データ記憶部1012に格納された圧縮データを出力する。なお、その出力先は通信路または画像蓄積装置などである。この圧縮データ出力部1009は、例えば、ROM2004または記憶装置2002に格納されたプログラムに従って動作するCPU2001の制御により、RAM2006または記憶装置2002に格納された圧縮データを、データ出力装置2011により出力することで構成することができる。
【０１１３】
圧縮データ入力部1011は、通信路や画像蓄積装置から圧縮データを入力し、圧縮データ記憶部1012に格納する。この圧縮データ入力部1011は、例えば、ROM2004または記憶装置2002に格納されたプログラムに従って動作するCPU2001の制御により、通信路を介して送られてきた圧縮データや、画像蓄積装置に蓄積された圧縮データを、データ入力装置2010により入力することで構成することができる。
【０１１４】
カラー画像再生部1010は、圧縮データ記憶部1012に格納された圧縮データからカラー画像を再生して再生画像記憶部1013に格納する。再生画像記憶部1013に格納された再生カラー画像は、カラー画像出力部1005により出力される。その出力先は、ディスプレイ、ハードコピーを行うプリンタや複写機、通信路、または、画像蓄積装置などである。
【０１１５】
なお、適応的圧縮部1014とカラー画像生成部1010は、例えば、ROM2004または記憶装置2002に格納されたプログラムに従って動作するCPU2001とワークメモリとして使用するRAM2004または記憶装置2002で構成することができる。勿論、専用のCPU，RAM，記憶装置で構成したり、専用のハードウェアにより構成しても構わない。また、圧縮データ記憶部1012と再生画像記憶部1013は、例えば、RAM2006または記憶装置2002で構成することができる。勿論、それぞれの記憶部を、専用の記憶装置で構成しても構わない。
【０１１６】
さらに、通信路を介して圧縮データをやり取りするなど、データの圧縮と再生を別々の装置で行う場合は、図28に示すように、データ圧縮を行う装置と、圧縮データを再生する装置というように、二つの機器を用いて実現することもできる。
【０１１７】
［圧縮データの形態］
次に、圧縮データの形態について説明するが、入力画像を圧縮した後も、図5Aに示した各像域をノードとするツリー構造は保持される。
【０１１８】
図29は圧縮データの構造例を示す図で、圧縮データは、画像サイズおよび各像域成分に対する圧縮方法が格納されたヘッダ（以下「圧縮データヘッダ」と呼ぶ）と、各像域の圧縮データ（以下「圧縮像域データ」と呼ぶ）から構成され、圧縮像域データにはその像域の像域データが含まれる。
【０１１９】
図30は圧縮像域データに含まれる像域データの形態例を示す図で、二種類の形態のうち、像域成分に応じてどちらかの形態の像域データが保持される。具体的には、「限定色文字線画像域」「限定色疑似中間調像域」「限定値文字線画像域」「限定値疑似中間調像域」の場合は、同図(a)に示す形態の像域データが保持される。なお、図30(a)に示す各要素は図5Bに示した各要素に対応する。ただし、第1実施例では像域の形状を示す二値画像を「像域形状」として登録したが、第2実施例においては、圧縮データヘッダに格納された圧縮方法で圧縮した二値画像を「像域形状」として登録する。
【０１２０】
一方、「カラー連続調像域」「モノクロ連続調像域」の場合は、図30(b)に示す形態の像域データが保持される。なお、「像域形状」と「像域画像データ」以外の各要素は図5Bに示した各要素と対応し、入力画像の像域位置に対応する部分を圧縮データヘッダに格納された圧縮方法で圧縮したデータを「像域画像データ」として登録し、限定値文字線画像域の圧縮方法で圧縮した二値画像を「像域形状」として登録する。
【０１２１】
［処理の詳細］
次に、図25に示した主な工程について、図26の構成を用いながら詳細に説明するが、カラー画像入力工程1から像域判定工程3およびカラー画像出力工程5は第1実施例と同様であり、その詳細説明は省略する。
【０１２２】
●適応的圧縮工程
適応的圧縮工程6は、像域抽出工程2で抽出された各像域に対して、像域判定工程3で判定された像域成分に応じた圧縮処理を施し、入力画像の圧縮データを作成する。
【０１２３】
図31は適応的圧縮工程6の詳細な手順の一例を示す図である。適応的圧縮工程6は、圧縮制御工程61により、その像域成分に応じた圧縮工程を像域ごとに適応して、それぞれの像域の圧縮データを作成し、その圧縮データを圧縮データ記憶部1012に格納する。具体的には、カラー連続調の像域はカラー連続調像域圧縮工程62で、限定色文字線画の像域は限定色文字線画像域圧縮工程63で、限定色疑似中間調の像域は限定色疑似中間調像域圧縮工程64で、モノクロ連続調の像域はモノクロ連続調像域圧縮工程65で、限定値文字線画の像域は限定値文字線画像域圧縮工程66で、限定値疑似中間調の像域は限定値疑似中間調像域圧縮工程67で、それぞれ圧縮する。以下、各工程を詳細に説明する。
【０１２４】
圧縮制御工程61は、圧縮されていない像域がなくなるまで、その像域成分に応じた圧縮行程を像域ごとに適応的に施す。
【０１２５】
カラー連続調像域圧縮工程62は、カラー連続調像域を圧縮し、作成した圧縮データを圧縮データ格納部1012に格納する。具体的には、処理するノードの像域位置に相当する画像部分を、カラー連続調に適した符号化方式により圧縮して、図30(b)に示した「像域画像データ」に登録する。また、像域データ記憶部1007に格納された像域データ中の「像域形状」を、限定値文字線画像域の圧縮方法で圧縮して、図30(b)に示した「像域形状」に登録し、その他の要素には像域データと同じ値を登録する。なお、カラー連続調に適した符号化方式としては、例えばDCTを用いるJPEG符号化方式などを利用する。
【０１２６】
限定色文字線画像域圧縮工程63は、限定色文字線画像域を圧縮し、作成した圧縮データを圧縮データ格納部1012に格納する。具体的には、処理するノードの像域形状に格納された二値画像を、限定色文字線画に適した符号化方式により圧縮して、図30(a)に示した「像域形状」に登録し、その他の要素には像域データと同じ値を登録する。なお、限定色文字線画に適した符号化方式としては、例えばMR/MMR符号化方式などを利用する。
【０１２７】
限定色疑似中間調像域圧縮工程64は、限定色疑似中間調像域を圧縮し、作成した圧縮データを圧縮データ格納部1012に格納する。具体的には、処理するノードの像域形状に格納された二値画像を、限定色疑似中間調に適した符号化方式により圧縮して、図30(a)に示した「像域形状」に登録し、その他の要素は像域データと同じ値を登録する。なお、限定色疑似中間調に適した符号化方式としては、例えばJBIG符号化方式などを利用する。
【０１２８】
モノクロ連続調像域圧縮工程65は、モノクロ連続調像域を圧縮し、作成した圧縮データを圧縮データ格納部1012に格納する。具体的には、処理するノードの像域位置に相当する画像部分を、モノクロ連続調に適した符号化方式により圧縮して、図30(b)に示した「像域画像データ」に登録する。また、像域データ記憶部1007に格納された像域データ中の「像域形状」を、限定値文字線画像域の圧縮方法で圧縮して、図30(b)に示した「像域形状」に登録し、その他の要素には像域データと同じ値を登録する。なお、モノクロ連続調に適した符号化方式としては、例えばJPEG符号化方式などを利用する。
【０１２９】
限定値文字線画像域圧縮工程66は、限定値文字線画像域を圧縮し、作成した圧縮データを圧縮データ格納部1012に格納する。具体的には、処理するノードの像域形状に格納された二値画像を、限定値文字線画に適した符号化方式により圧縮して、図30(a)に示した「像域形状」に登録し、その他の要素は像域データと同じ値を登録する。なお、限定値文字線画に適した符号化方式としては、例えばMR/MMR符号化方式を利用する。
【０１３０】
限定値疑似中間調像域圧縮工程67は、限定値疑似中間調の像域データを圧縮し、作成した圧縮データを圧縮データ格納部1012に格納する。具体的には、処理するノードの像域形状に格納された二値画像を限定値疑似中間調に適した符号化方式により圧縮して、図30(a)に示した「像域形状」に登録し、その他の要素は像域データと同じ値を登録する。なお、限定値疑似中間調に適した符号化方式としては、例えばJBIG符号化方式などを利用する。
【０１３１】
●カラー画像再生工程
カラー画像再生工程9は、圧縮データ記憶部1012に格納された圧縮データからカラー画像を再生する。
【０１３２】
図32はカラー画像再生工程9の詳細な手順の一例を示す図である。カラー画像再生工程9は、再生制御工程91により、圧縮像域データに含まれる像域データの「像域種類」に応じた再生工程を、像域ごとに施してカラー画像を再生し、そのカラー画像を再生画像記憶部1013へ格納する。具体的には、カラー連続調の場合はカラー連続調像域再生工程92で、限定色文字線画の場合は限定色文字線画像域再生工程93で、限定色疑似中間調の場合は限定色疑似中間調像域再生工程94で、モノクロ連続調の場合はモノクロ連続調再生工程95で、限定値文字線画の場合は限定値文字線画像域再生工程96で、限定値疑似中間調の場合は限定値疑似中間調像域再生工程97で、それぞれ再生し、それぞれ再生された像域を一つの再生画像に合成する。以下、各工程を詳細に説明する。
【０１３３】
再生制御工程91は、再生されていない圧縮像域データがなくなるまで、その像域種類に応じた再生工程を像域ごとに適応的に施す。像域の再生は、図24に示した順序で行う。つまり、像域データ（ツリー構造）に記述された像域ノードを、ルートノード（最上位ノード）から辿りながら行うが、各像域の再生は、それ自身よりも上位階のノードの一階下にある背景像域より先に行ってはならない。つまり、一つの中間像域の下にある像域を再生する場合は、背景像域から再生しなければならない。
【０１３４】
カラー連続調像域再生工程92は、カラー連続調の圧縮像域データからその像域を再生して、再生画像記憶部1013に格納する。図33はカラー連続調像域再生工程92の詳細な手順の一例を示すフローチャートで、例えばCPU2001によって実行されるものである。
【０１３５】
まず、ステップS701で、圧縮像域データの「像域形状」に登録されたデータを、圧縮データヘッダに格納された限定値文字線画像域の圧縮方法に対応する復号方法で復号することにより、像域形状を示す二値画像を再生してワークメモリに格納する。次に、ステップS702で、圧縮像域データの「像域画像データ」に登録されたデータを、圧縮データヘッダに格納されたカラー連続調像域の圧縮方法に対応する復号方法で復号することにより、像域画像データを再生してワークメモリに格納する。そして、ステップS703で、再生した二値画像の値が‘1’の画素に対応する、再生した像域画像データの画素を、再生画像記憶部1013に格納する。なお、再生画像記憶部1013への再生画像の書込みは、他の工程も同様であるが、圧縮像域データの「像域位置」から算出した位置に基づいて行う。
【０１３６】
限定色文字線画像域再生工程93は、限定色文字線画の圧縮像域データからその像域を再生して、再生画像記憶部1013に格納する。図34は限定色文字線画像域再生工程93の詳細な手順の一例を示すフローチャートで、例えばCPU2001によって実行されるものである。
【０１３７】
まず、ステップS801で、圧縮像域データの「像域形状」に登録されたデータを、圧縮データヘッダに格納された限定色文字線画像域の圧縮方法に対応する復号方法で復号することにより、像域形状を示す二値画像を再生してワークメモリに格納する。次に、ステップS802で、再生した二値画像の値が‘1’の画素に対応する、再生画像記憶部1013の位置へ、圧縮像域データの「像域色」に登録された画素を格納する。
【０１３８】
限定色疑似中間調像域再生工程94は、限定色疑似中間調の圧縮像域データからその像域を再生して、生成画像記憶部1013に格納する。限定色疑似中間調像域再生工程94は、図34に示した限定色文字線画像域再生工程93と同様の手順で像域を再生する。
【０１３９】
モノクロ連続調像域再生工程95は、モノクロ連続調の圧縮像域データからその像域を再生して、再生画像記憶部1013に格納する。モノクロ連続調像域再生工程95は、図33に示したカラー連続調像域再生工程92と同様の手順で像域を再生する。
【０１４０】
限定値文字線画像域再生工程96は、限定値文字線画の圧縮像域データからその像域を再生して、再生画像記憶部1013に格納する。限定値疑似中間調像域再生工程97は、限定値疑似中間調の圧縮像域データからその像域を再生して、再生画像記憶部1013に格納する。限定色文字線画像域再生工程96および限定値疑似中間調像域再生工程97は、図34に示した限定色文字線画像域再生工程93と同様の手順で像域を再生する。
【０１４１】
以上説明したように、本実施例によれば、カラー画像として入力した異なる成分をもつ像域が混在する文書画像に対して、カラー文書画像の特徴に基づいた像域分離を行うことにより、白以外の色をもつ背景（下地）が複数ある文書画像でも良好な像域分離が可能であり、分離した像域それぞれの特性に応じた圧縮処理を施して、良好な圧縮率の圧縮データを得ることができるとともに、その圧縮データに含まれる圧縮像域データを、その像域の特性に応じた方法で伸長して、良好な画質で再生されたカラー画像を得ることができる。
【０１４２】
【第３実施例】
以下、本発明にかかる第3実施例の画像処理装置を説明する。なお、第3実施例において、第1実施例と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【０１４３】
次に、カラー原稿画像を構造化したデータとしてDTP装置へ入力するために、本発明を文書画像を編集する画像処理装置に適用する実施例を説明する。
【０１４４】
図35は本発明を画像処理装置の文書画像編集処理に適用する場合の処理手順の一例を示す図で、カラー画像入力工程1から像域判定工程3は第1実施例と同様であり、その詳細説明は省略する。
【０１４５】
データ変換工程10は、像域判定工程3まで工程で作成された像域データを、像域ごとに、DTP装置などで文書画像を編集するのに適したデータ形式の画像データに変換する。これにより、入力画像を、像域判定工程3までの工程で分離した像域ごとに、文書画像編集処理へ入力することができ、その編集も像域ごと行うことが可能になる。
【０１４６】
なお、データ変換工程10においては、限定色文字線画または限定値文字線画像域に含まれる文字や記号などついて、ユーザの指示に応じて、文字認識により文字コードに変換することもできる。また、限定色文字線画または限定値文字線画像域について、ユーザの指示に応じて、ラスタベクトル変換によりベクトルデータに変換することもできる。
【０１４７】
文書画像編集工程11は、ユーザの指示に従って、文書画像を編集して、その編集結果の文書画像を出力する。
【０１４８】
以上の処理は、DTP装置上で実現することもできるし、第1実施例に示した専用の装置上で実現することもできる。
【０１４９】
以上説明したように、本実施例によれば、カラー画像として入力した異なる成分をもつ像域が混在する文書画像に対して、カラー文書画像の特徴に基づいた像域分離を行うことにより、白以外の色をもつ背景（下地）が複数ある文書画像でも良好な像域分離が可能であり、カラー原稿画像を構造化して、DTP装置などの文書画像編集装置へ入力することができるとともに、分離した像域それぞれの特性に応じた編集処理を施して、画質の良好なカラー文書画像を得ることができる。
【０１５０】
【第４実施例】
以下、本発明にかかる第4実施例の画像処理装置を説明する。なお、第4実施例において、第1実施例と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【０１５１】
前述した第1実施例においては、中間像域に背景像域があるか否かを判定するとともに、背景像域を分離する背景像域分離工程として、処理対象の中間像域の大部分を占める同一色の像域を背景像域として抽出する例を説明した。この方法は、多くのカラー文書画像において有効であるが、明るさや色の変化が少ない部分がある写真画像などの連続調像域を含むカラー文書画像においては、本来は、一つの像域と判断されなくてはならない連続調像域に背景像域があると判断されて、連続調像域が背景像域と中間像域へ過分割されてしまうことがある。
【０１５２】
そこで、本実施例においては、抽出した背景像域が適切か否かを判定することによって、明るさや色変化が少ない部分がある連続調像域の過分割を防いだ背景像域分離工程を説明する。
【０１５３】
図36は本実施例の背景像域分離工程22の詳細な手順の一例を示す図で、第1実施例の図7に対応するものである。
【０１５４】
同図において、背景色抽出工程221は、入力された中間像域の色を解析し、背景像域の色を抽出する。具体的には、入力された中間像域において、一番多い色、または、その色に近い色をもつ画素が他の色の場合に比べて一番多い色を抽出する。背景像域抽出工程222は、抽出された背景像域の色を用いて、背景像域の二値画像を作成する。背景像域判定工程223は、作成された二値画像の示す像域が背景画像として適切かどうかを判定し、適切であると判定した場合は背景像域整形工程224に処理を移し、不適切と判定した場合は背景像域なしとして処理を終了するか、背景像域抽出工程222へ処理を戻して、処理パラメータを変更して、再度、背景像域を抽出させる。背景像域整形工程224は、背景像域として適切であると判定された像域を示す二値画像に対して、ノイズや小像域の除去を行い、背景像域の整形を行うとともに、小像域などの除去処理により背景像域がなくならないかを確認する。
【０１５５】
図37は背景像域を判定する処理の概要を説明する図で、同図(a)は背景像域を含む中間像域から背景像域を抽出した例、同図(b)は写真などの連続調像域の中間像域から背景像域を抽出した例、同図(c)はノイズの多いカラー文書画像の中間像域から背景像域を抽出した例である。背景像域判定工程223は、同図(a)に示すような抽出結果に対しては適切な背景像域であると判定し、同図(b)(c)に示すような抽出結果に対しては不適切な背景像域であると判定する。つまり、背景像域判定工程223は、同図(b)に示すように、抽出された像域の外周形状が入力された中間像域の辺部から離れている場合は、明るさや色の変化が少ない連続調部分と判断して、抽出された像域は背景画像として不適切であると判定する。また、同図(c)に示すように、新たに生成される中間像域、つまり背景像域として抽出された像域に含まれない部分に小面積の像域（中間像域として意味がない）が多数存在する場合は、例えば背景像域として抽出する色範囲が狭いため、背景像域が充分に抽出されていないと判断して、抽出された像域は背景画像として不適切であると判定する。
【０１５６】
図38は背景像域判定工程223の詳細な手順の一例を示す図である。背景像域形状判定工程2231は、前述したように、背景像域として抽出された像域の形状が、入力された中間像域に充分広がっているかから、どうかを判定する。生成中間像域判定工程2232は、前述したように、新たに生成される中間像域に小面積の像域が多数存在するどうかを判定する。
【０１５７】
図39から図41はCPU2001の処理により本実施例の背景像域分離工程22を実現する手順の一例を示すフローチャートで、第1実施例の図8に対応するものである。
【０１５８】
ステップS901からS902が背景色抽出工程221に対応する。ステップS901で色ヒストグラムをワークメモリ上に作成し、ステップS902で最大頻度の色（つまり背景色の候補）を得る。
【０１５９】
ステップS903は、背景像域抽出工程222に対応し、最大頻度の色に近い色をもつ画素とそれ以外の画素とに二値化した中間像域の二値画像をワークメモリ上に作成する。例えば、最大頻度の色に近い色をもつ画素を‘1’、それ以外の画素を‘0’にした二値画像を作成する。ここで、注目画素が最大頻度の色に近い色をもつか否かは、例えば、次式によって距離Dを求めることによって行う。つまり、得られた距離Dが所定の範囲（以下「背景範囲」と呼ぶ）内にある場合に近い色をもつと判定する。
0003647071.tif 000002
【０１６０】
なお、背景範囲の値は、その初期値にROM2004などに格納されたデータを用いるが、背景像域判定工程223の判定結果に応じて変更される。
【０１６１】
ステップS904からS908は背景像域形状判定工程2231に対応する。ステップS904で背景像域として抽出された像域の外側の面積（以下「背景外面積」と呼ぶ）を計測し、ステップS905で入力された中間像域の面積を計測する。
【０１６２】
図42は背景外面積の計測方法の一例を説明する図で、最初に、入力された中間像域の各副走査について、左右の中間像域境界から背景像域として抽出された像域の辺部に達するまで（図の矢印に対応する）の、フラグが立っていない画素数（面積）を計測するとともに、計測した画素にはフラグを立てる。次に、各主走査について同様の計測を行うが、副走査における計測でフラグが立った画素については計測しない。
【０１６３】
次に、ステップS906で、計測した背景外面積と中間像域の面積との比（背景外面積/中間像域面積、以下「背景外面積比」と呼ぶ）を求めて、その比と所定の閾値とを比較する。そして、閾値よりも比が大きいときは抽出された像域が背景像域として適切であると判断してステップS909へ進み、そうでないときは背景像域として不適切であると判断してステップS907へ進む。
【０１６４】
ステップS907およびS908は、再度、背景像域の抽出を行なうか判定するもので、この判定には、最初の背景像域形状の判定かどうかを示す再抽出フラグAと、再抽出を行う直前の背景外面積比（以下「前回抽出比」という）を用いる。なお、これらの値はRAM2006に格納される。ステップS907で、再抽出フラグAを判定して、最初の判定であればステップS903へ戻って再抽出を実行し、そうでなければステップS908へ進んで、（背景外面積比/前回抽出比）と所定の閾値とを比較して、閾値の方が大きければステップS903へ戻って再抽出を実行し、そうでなければ背景像域なしと判定して処理を終了する。なお、再抽出を行う場合は背景色範囲を増加し、入力された中間像域の背景像域の判定が終了すると、再抽出フラグAと背景色範囲をリセットする。
【０１６５】
ステップS909からS915は生成中間像域判定工程2232に対応する。ステップS909で背景像域を示す二値画像を白黒反転し、ステップS910で反転した二値画像から連結成分を抽出し、ステップS911で抽出した連結成分の面積を計測し、ステップS912でその面積が所定の閾値以下の連結成分（以下「小連結成分」と呼ぶ）の数を計測する。そして、ステップS913で、小連結成分の数と所定の閾値とを比較して、その数が閾値よりも小さければ抽出された像域が背景像域として適切であると判断してステップS916へ進み、そうでないときは背景像域として不適切であると判断してステップS914へ進む。
【０１６６】
ステップS914およびS915は、再度、背景像域の抽出を行なうか判定するもので、この判定には、最初の生成中間像域の判定かどうかを示す再抽出フラグBと、再抽出を行う直前の小連結成分の数（以下「前回抽出数」という）を用いる。なお、これらの値はRAM2006に格納される。ステップS914で、再抽出フラグBを判定して、最初の判定であればステップS903へ戻って再抽出を実行し、そうでなければステップS915へ進んで、（小連結成分の数/前回抽出数）と所定の閾値とを比較して、閾値の方が大きければステップS903へ戻って再抽出を実行し、そうでなければ背景像域なしと判定して処理を終了する。なお、再抽出を行う場合は背景色範囲を増加し、入力された中間像域の背景像域の判定が終了すると、再抽出フラグBと背景色範囲をリセットする。
【０１６７】
ステップS916からS920は背景像域整形工程224に対応する。ステップS916で、例えば公知の縮小/膨張処理を施すことにより、抽出された背景像域を示す二値画像からノイズを除去し、ステップS917からステップS919でノイズを除去した二値画像から小像域を除去する。まず、ステップS917で、ノイズを除去した二値画像に対して、例えば公知のラベリング処理により、ワークメモリ上にラベル画像を作成して連結成分の抽出を行う。ラベル画像は、各連結成分に一意の番号を付けて、その番号を各連結成分の画素値にした画像である。次に、ステップS918で各連結成分の画素数（面積）を求めてワークメモリに格納し、ステップS919で、画素数が閾値以下の連結成分（小面積の連結成分）を削除、つまり、二値画像のその連結成分に対応する画素の値を‘0’にする。
【０１６８】
そして、ステップS920で、残った連結成分（背景像域）があるかを判定し、残っていれば背景像域ありと判断し、残っていなければ背景像域なしと判断する。なお、背景像域がある場合は、ワークメモリ上に背景像域を示す二値画像が残る。
【０１６９】
以上説明したように、本実施例によれば、抽出した背景像域が適切か否かを判定することによって、明るさや色変化が少ない部分があるカラー文書画像や、ノイズが多いカラー文書画像についても、像域を過分割することがない背景像域分離工程を提供することができる。
【０１７０】
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【０１７１】
また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。
【０１７２】
【発明の効果】
以上説明したように、本発明によれば、特性が異なる像域が混在したカラー画像の処理対象領域から背景像域を分離するステップと、その背景像域以外の像域を少なくとも一つの像域に分離するステップとを再起的に繰り返して像域を判定する、つまり背景像域に注目した像域抽出を行うことで、特性が異なる像域が混在したカラー画像に対して、良好な処理を施すことができる。例えば、カラー文書画像に良好な処理（画像の変倍、データ量の削減、データの構造化など）を施すことができる。
【図面の簡単な説明】
【図１】本発明における像域分離手順の一例を示す図である。
【図２】本発明を画像処理装置のカラー画像変倍処理に適用する場合の処理手順の一例を示す図、
【図３】図2に示す処理を行う画像処理装置の構成例を示すブロック図、
【図４】図3に示す構成を実現するハードウェアの一例を示すブロック図、
【図５Ａ】像域データの概略を示す図、
【図５Ｂ】図5Aに示す各ノードを表すデータの一例を示す図、
【図６】図1に示す像域抽出工程の詳細な手順の一例を示す図、
【図７】図6に示す背景像域分離工程の詳細な手順の一例を示す図、
【図８】図4に示すCPUの処理により背景像域分離工程を実現する手順の一例を示すフローチャート、
【図９】図4に示すCPUの処理により中間像域分離工程を実現する手順の一例を示すフローチャート、
【図１０】図4に示すCPUの処理により像域登録工程を実現する手順の一例を示すフローチャート、
【図１１】図1に示す像域判定工程の詳細な手順の一例を示す図、
【図１２】四つの像域成分におけるRGB値の分布例を示す図、
【図１３】図4に示すCPUの処理によりカラー/モノクロ判定工程を実現する手順の一例を示すフローチャート、
【図１４】図4に示すCPUの処理によりカラー/モノクロ判定工程を実現する手順の他の例を示すフローチャート、
【図１５】図4に示すCPUの処理によりカラー連続調/限定色判定工程を実現する手順の一例を示すフローチャート、
【図１６】図4に示すCPUの処理によりモノクロ連続調/限定値判定工程を実現する手順の一例を示すフローチャート、
【図１７】文字線画像域か擬似中間調像域かを判別する像域分離部の構成例を示すブロック図、
【図１８】図17に示す像域分離部の処理を説明する図、
【図１９】図17に示すデータ保持部の構成例を示すブロック図、
【図２０】図17に示す像域分離部の処理を説明する図、
【図２１】図17に示す像域分離部の処理を説明する図、
【図２２】図17に示す像域分離部の処理を説明する図、
【図２３】図1に示す適応的変倍工程の詳細な手順の一例を示す図、
【図２４】変倍を施す像域の順序の一例を示す図、
【図２５】本発明を画像処理装置のカラー画像圧縮処理に適用する場合の処理手順の一例を示す図、
【図２６】図25に示す処理を行う画像処理装置の構成例を示すブロック図、
【図２７】図26に示す構成を実現するハードウェアの一例を示すブロック図、
【図２８】図25に示す処理を行う画像処理装置の他の構成例を示すブロック図、
【図２９】圧縮データの構造例を示す図、
【図３０】圧縮像域データに含まれる像域データの形態例を示す図、
【図３１】図25に示す適応的圧縮工程の詳細な手順の一例を示す図、
【図３２】図25に示すカラー画像再生工程の詳細な手順の一例を示す図、
【図３３】図32に示すカラー連続調像域再生工程の詳細な手順の一例を示すフローチャート、
【図３４】図32に示す限定色文字線画像域再生工程の詳細な手順の一例を示すフローチャート、
【図３５】本発明を画像処理装置の文書画像編集処理に適用する場合の処理手順の一例を示す図、
【図３６】本発明にかかる第4実施例の背景像域分離工程の詳細な手順の一例を示す図、
【図３７】背景像域を判定する処理の概要を説明する図、
【図３８】図36に示す背景像域判定工程の詳細な手順の一例を示す図、
【図３９】図38に示す背景像域分離工程を実現する手順の一例を示すフローチャート、
【図４０】図38に示す背景像域分離工程を実現する手順の一例を示すフローチャート、
【図４１】図38に示す背景像域分離工程を実現する手順の一例を示すフローチャート、
【図４２】背景外面積の計測方法の一例を説明する図である。
【符号の説明】
1       カラー画像入力工程
2       像域抽出工程
3       像域判定工程
4       適応的変倍工程
5       カラー画像出力工程
6       適応的圧縮工程
7       圧縮データ出力工程
8       圧縮データ入力工程
9       カラー画像再生工程
10      データ変換工程
11      文書画像編集工程
【図１】
0003647071.tif 000003
【図２】
0003647071.tif 000004
【図３】
0003647071.tif 000005
【図４】
0003647071.tif 000006
【図５Ａ】
0003647071.tif 000007
【図５Ｂ】
0003647071.tif 000008
【図６】
0003647071.tif 000009
【図７】
0003647071.tif 000010
【図８】
0003647071.tif 000011
【図９】
0003647071.tif 000012
【図１０】
0003647071.tif 000013
【図１１】
0003647071.tif 000014
【図１２】
0003647071.tif 000015
【図１３】
0003647071.tif 000016
【図１４】
0003647071.tif 000017
【図１５】
0003647071.tif 000018
【図１６】
0003647071.tif 000019
【図１７】
0003647071.tif 000020
【図１８】
0003647071.tif 000021
【図１９】
0003647071.tif 000022
【図２０】
0003647071.tif 000023
【図２１】
0003647071.tif 000024
【図２２】
0003647071.tif 000025
【図２３】
0003647071.tif 000026
【図２４】
0003647071.tif 000027
【図２５】
0003647071.tif 000028
【図２６】
0003647071.tif 000029
【図２７】
0003647071.tif 000030
【図２８】
0003647071.tif 000031
【図２９】
0003647071.tif 000032
【図３０】
0003647071.tif 000033
【図３１】
0003647071.tif 000034
【図３２】
0003647071.tif 000035
【図３３】
0003647071.tif 000036
【図３４】
0003647071.tif 000037
【図３５】
0003647071.tif 000038
【図３６】
0003647071.tif 000039
【図３７】
0003647071.tif 000040
【図３８】
0003647071.tif 000041
【図３９】
0003647071.tif 000042
【図４０】
0003647071.tif 000043
【図４１】
0003647071.tif 000044
【図４２】
0003647071.tif 000045