(57)【特許請求の範囲】
【請求項１】
画像データ送信方法であって、
画像データをブロックに分割するステップと、
ブロックに対し第１の所定数の第１代表色を決定するステップと、
前記ブロックに含まれる画素の座標位置と前記第１代表色の中での代表色との対応である第１位置情報を決定するステップと、
前記ブロックに対し前記第１の所定数より多い第２の所定数の第２代表色を決定するステップと、
前記画素の座標位置と、前記第２代表色の中での代表色との第２の対応である第２位置情報を決定するステップと、
前記第１位置情報と前記第２位置情報とを共に保持するステップと、
画質選択モードの指定を受け付けるステップと、
指定された前記画質選択モードに応じて、事前に保持された前記第１位置情報または前記第２位置情報のいずれかを用いて、前記ブロックに含まれる画素値を近似するステップと、
近似されたブロック毎のデータを用いて画像データを送信するステップと、
を含む画像データ送信方法。
【請求項２】
前記ブロックに含まれる画素の色データであって、前記第１の所定数のグループに分類された色データについて、各グループに属する色データの前記第１代表色に対する分布をもとに、前記色データにおける複数の成分から着目成分をグループ毎に選択するステップと、
前記着目成分に従い、前記第１の所定数のグループを前記第２の所定数のグループに分割するステップとをさらに含み、
前記第２の所定数の各グループに属する色データから前記第２代表色を決定する請求項１記載の画像データ送信方法。
【請求項３】
画像データの解像度を設定するステップと、
画像データの解像度を設定した値に変換するステップと、
前記ブロックのサイズを決定するステップとをさらに含み、
決定されたサイズのブロックに前記画像データを分割する請求項１記載の画像データ送信方法。
【請求項４】
ブロックのサイズと代表色の数が対応付けられた処理モードの指定を受け付けるステップと、
指定された処理モードに応じて、前記第１の所定数または第２の所定数、およびブロックのサイズを決定するステップとをさらに含む請求項１記載の画像データ送信方法。
【請求項５】
請求項１乃至４のいずれか１項に記載の画像データ送信方法をコンピュータに実行させるためのプログラム。
【請求項６】
画像データ送信装置であって、
画像データをブロックに分割する領域分割部と、
ブロックに対し第１の所定数の第１代表色を決定し、
前記ブロックに含まれる画素の座標位置と前記第１代表色の中での代表色との対応である第１位置情報を決定し、
前記ブロックに対し、前記第１の所定数より多い第２の所定数の、第２代表色を決定し、
前記画素の座標位置と、前記第２代表色の中での代表色との第２の対応である第２位置情報を決定する代表色抽出部と、
前記第１位置情報と前記第２位置情報とを共に保持する段階符号化保持手段と、
画質選択モードの指定を受け付ける画質選択部と、
指定された前記画質選択モードに応じて、事前に保持された前記第１位置情報または前記第２位置情報のいずれかを選択する適切代表色読出部と、
選択された前記第１位置情報または前記第２位置情報を用いて前記ブロックに含まれる画素値を近似する対象領域近似部と、
近似されたブロック毎のデータを用いて画像データを送信する送信部と、
を含む画像データ送信装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、色データを圧縮、復元する画像データ送信方法及び画像データ送信装置に関するものである。
【０００２】
【従来の技術】
カラー画像は色についてのデータ量が膨大である。このため、画像の表示や転送を行う際には元の色データの色数をより少数の色数で近似してデータ量の削減を図ることがよく行われている。
【０００３】
このようなカラー画像の圧縮方法として、例えば特開昭６１−２５２７９２号に記載されている手法が知られている。この手法では、レッド信号R、グリーン信号G、ブルー信号Bが、各々独立に扱われる。この手法について、図２８および２４を用いて概要を説明する。この手法を採用する画像処理装置では、図２９に示すように、画像情報の各色で独立して入力手段２３００ａ、２３００ｂ、２３００ｃが設けられている。入力手段２３００ａ、２３００ｂ、２３００ｃを介して入力された各色データは、前段符号化手段２３０１ａ、２３０１ｂ、２３０１ｃに与えられる。前段符号化手段２３０１ａ、２３０１ｂ、２３０１ｃは、それぞれ色データの平均値を求める。この平均値に基づいてカラー画像の特定ブロックは２つの領域に分割される。さらに、それぞれの分割領域に含まれる画素のデータを平均することで２つの代表値が算出される。以上の処理で、ブロック内の各色は２つの領域に分割され、各色で２つの代表値が求められる。ＲＧＢの３色の組み合わせによって、領域は計２の３乗＝８つ得られる。そして、分割された８つの領域を代表する８つの代表色が得られる。後段符号化手段２３０２は、この８色の上記ブロックにおける出現頻度を検出することで代表色として２色を選択し、このブロック内の色データの代表色とする。得られた２色の代表色とこの代表色で画像内の画素データを近似するための位置情報は、インターネット等の通信媒体やインターフェースを介して復号化手段２３０３に送られる。復号化手段２３０３では、所定の画素座標に代表色を埋めることで復元画像が作成され、復元画像は、出力手段２３０４ａ、２３０４ｂ、２３０４ｃによって出力される。
【０００４】
また、他の手法として、ＲＧＢ信号の主成分分析を行うことで近似データを求める手法（例えば、特開平１−２６４０９２号）が知られている。これは、特定のブロックを代表する色（主成分色）を、ＲＧＢ信号の相関を考慮して決定し、この主成分色に基づいて上記ブロックの分割を行って、このブロック内の色を所定数の色により近似する手法である。
【０００５】
【発明が解決しようとする課題】
しかし、上記特開昭６１−２５２７９２号に記載されているような手法では、ＲＧＢ信号が各々独立に扱われ、各色の相関が全く考慮されないため、復元画像における歪みを生じやすく、歪み程度を定量評価するＳＮ比（Signal  to  Noise Ratio）も良好な結果は得られないことがしばしば指摘されていた。
【０００６】
また、上記特開平１−２６４０９２号で使用した主成分分析は、ＲＧＢ信号の相関を求めるために多次元の行列演算を必要とするので処理量が多くなるとともに、処理回路等のハードウェア規模の増大化を招く恐れがあった。さらに、ＣＰＵ等のソフトウェア処理の場合も、処理時間を多く要することが問題であった。
【０００７】
本発明は、このような従来の技術における課題を鑑みてなされたのもであり、小領域内の色データの近似を高精度かつ高速に行う画像処理方法及び画像処理装置を提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明は、以下の手段を採用している。
【０００９】
本発明において、領域分割手段は、入力された画像を複数の小領域に分割する。参照色テーブルセットは、予め用意された参照色セットを有しており、色データ分類手段は、小領域内の色データとテーブル内の参照色をもとに小領域内の色データを所定数のグループに分割する。代表色決定手段は、得られた各グループ内の色データの代表色を求める。そして、対象領域近似手段は、得られた所定数の代表色を使って各小領域の色データを近似する。
【００１０】
このようにして所定数の代表色が求められる場合、所定数のグループが、小領域内の色データとテーブル内の参照色をもとに得られるから、小領域内の色データの近似は高速に行われる。
【００１１】
代表色決定手段は、例えば総和分散計算手段の計算結果を使ってグループ内の色データの代表色を求める。総和分散計算手段は、色データ分類手段によって得られた各グループにおける色データの平均値からの分散の総和を計算する。この場合、分散の総和が小さい代表色が求められることによって、近似の精度が確保される。
【００１２】
もっとも、予め用意された参照色セットでは、近似の精度が十分に確保できない可能性もある。このため、代表色決定手段とは別に逐次的代表色決定手段を設け、逐次分割判定値計算手段が分割判定値を計算し、逐次分割判定手段はこの分割判定値をもとに逐次的代表色決定手段により代表色を決定するかどうかを判定するようにしてもよい。
【００１３】
逐次分割判定値計算手段は、色データ分類手段によって得られた各グループにおける色データの平均値と色データ分類手段で使用された参照色より分割判定値を計算する。逐次分割判定手段は、分割判定値をもとに逐次的代表色決定手段により代表色を決定するかどうかを判定する。
【００１４】
逐次分割判定手段の判定に従い、逐次的代表色決定手段により代表色が決定される場合には、対象領域近似手段は、代表色決定手段ではなく、逐次的代表色決定手段で得られた所定数の代表色を使って各小領域の色データを近似する。
【００１５】
逐次的代表色決定手段は、対象グループ内の色データの分布をもとに選択された分割着目成分に関する基準をもとに対象グループを複数のグループに分割し、得られた各グループの代表色を決定する処理を、代表色が所定数得られるまで繰り返す。このため、対象領域に合った近似が行われ、近似の精度は向上する。逐次的に代表色を求める処理が行われるのは、予め用意された参照色セットで近似の精度が十分に確保できない箇所だけであるから、全体としては高速且つ高精度の近似が行われる。
【００１６】
また、参照色を利用しないで近似の高速化及び高精度化を図ることも可能である。例えば、初期設定手段は、小領域に対して初期のグループを設定し、小領域内の色データ全てを初期のグループに分類し、初期のグループの代表色を求める。着目成分選択手段は、対象グループ内に属する色データの分布をもとに、対象とするグループに分割時に着目する分割着目成分を複数選択する。グループ分割手段は、得られた複数の分割着目成分に従い、対象とするグループを複数に分割するとともに、対象グループに属する色データを分割後に得られたグループに振り分ける。この場合、代表色抽出手段は、グループ分割手段によって得られた各グループに属する色データの代表色を求める。終了判定手段は、代表色が所定数得られたかどうかの判定を行う。代表色が所定数得られるまで分割着目成分の選択から代表色の抽出が繰り返され、終了判定手段により代表色が所定数得られたと判定された場合には、対象領域近似手段は、得られた所定数の代表色を使って各小領域の色データを近似する。
【００１７】
このように逐次的に所定数の代表色が求められる場合でも、複数の分割着目成分に従いグループが分割されるから、繰り返しの回数がその分だけ少なくなる。その結果、近似は高精度且つ高速に行われる。
【００１８】
着目成分選択手段が複数の分割着目成分を選択する場合には、例えば成分別分散計算手段が、対象グループ内の色データの代表色と色データの各成分の分散を計算する。また、分割成分決定手段は、各成分のうち成分別計算手段で得られた分散値が大きい成分から順番に分割着目成分を選択する。
【００１９】
分散値の大きい成分について順次グループの分割が行われることになるから、近似の精度は高い。もっとも、ユーザは常に高精度の近似を求めるとは限らない。例えばユーザは精度よりも速度を求める場合もあれば、サムネイル画像のように画像を識別するのに十分なだけの精度しか求めない場合もある。この場合には、逐次的に得られる代表色を利用することができる。
【００２０】
このために、保持判断手段は、所定数に複数設定された各段階の代表色が得られたかどうかの判断を行う。段階符号化保持手段は、保持手段で代表色が得られたと判断された場合に、各段階での代表色と当該代表色を使用して小領域内の色データを近似するための位置情報を保持する。ユーザ画質選択手段は、複数の画質モードのうちユーザがいずれかの画質モードを選択するために用いられる。適切代表色読出手段は、ユーザ画質選択手段を用いた選択結果に従い、段階符号化保持手段より選択モードに応じた代表色と位置情報を呼び出す。この場合、終了判定手段は、代表色が最大所定数得られたかどうかの判定を行い、対象領域近似手段は、終了判定手段で代表色が最大所定数得られたと判定された場合、適切代表色読出手段により得られた代表色を使って各小領域の色データを近似する。
【００２１】
これによって、例えばサムネイルモード、高速モード、高精細モードなど、伝送先のユーザにより指示された画質モードに合わせた近似が行われる。その結果、高いユーザフレキシビリティが確保される。
【００２２】
また、代表色を逐次的に求める場合に、近似の高精度化及び高速化を図るために、第２グループ分割手段を設けるようにしてもよい。この場合、着目成分選択手段は、複数の分割着目成分を選択する必要はない。
【００２３】
第２グループ分割手段は、グループ分割手段によって得られた各グループ内の色データをもとに各グループをさらに複数のグループに分割するとともに、各グループ内の色データを分割後に得られたグループに振り分ける。
【００２４】
代表色抽出手段は、グループ分割手段ではなく第２グループ分割手段で得られた各グループに属する色データの代表色を求める。
【００２５】
この場合、グループ分割手段によって得られた各グループ内の色データをもとに各グループがさらに複数のグループに分割されるため、その分だけ繰り返し回数が少なくなる。このため、近似は高精度且つ高速に行われる。第２グループ分割手段による分割によって、グループ分割手段による分割が１回しか行われない場合もある。
【００２６】
第２グループ分割手段は、例えば補助分割基準計算手段と再グループ分割手段とを備える。補助分割基準計算手段は、グループ分割手段で得られた各グループ内の色データの原点からのユークリッド距離を計算する。再グループ分割手段は、補助分割基準計算手段の計算結果をもとに、グループ分割手段で得られたグループをさらに細分化するとともに、対象グループ内の色データを分割後に得られたグループに振り分ける。
【００２７】
このように各グループ内の色データの原点からのユークリッド距離を利用することによって、近似の精度は確保される。
【００２８】
また、上述のように代表色を逐次的に求める場合でも、一部の小領域についてのみ代表色が逐次的に求められるのであれば、全体として近似は高精度且つ高速に行われる。
【００２９】
このために、色データ統計量算出手段は、小領域内の色データの統計的分布を求める。既代表色利用判定手段は、色データの統計的分布を既に代表色が抽出された抽出済み領域より得られた統計的分布と比較して、抽出済み領域の代表色を利用するかどうかを判定する。類似領域決定手段は、小領域と最も類似度の高い抽出済み領域を選択する。色データ分類手段は、小領域内の色データと選択された抽出済み領域内の代表色をもとに小領域内の色データを所定数のグループに分割する。簡易代表抽出手段は、色データ分類手段によって得られた各グループに属する色データの代表色を求める。既定代表色利用判定手段により抽出済み領域の代表色を利用するとの判定がされた場合には、代表色決定手段ではなく簡易代表抽出手段で得られた所定数の代表色を使って各小領域の色データを近似する。
【００３０】
このように、統計的分布がよく似ている抽出済み領域があれば、その抽出済み領域の代表色を利用して所定数の代表色を求めることも可能である。これによって、全体として近似は高精度且つ高速に行われる。統計的分布がよく似ている領域が連続するような場合には、近似速度の高速化が著しくなる。
【００３１】
なお、小領域内の色データの統計的分布は、例えばヒストグラムによって表される。
【００３２】
また、抽出済み領域を適当に設定するようにしてもよい。このために、逐次分割対象決定手段は、小領域のうち代表色決定手段により代表色が決定される領域を選択する。逐次分割対象決定手段で選択された領域については逐次的に代表色が求められる。逐次分割対象決定手段で選択された領域は、抽出済み領域となる。近接類似領域決定手段は、抽出済み領域のうち、逐次分割対象決定手段で選択されていない小領域に近接する抽出済み領域より得られた統計量と小領域の統計量を比較して、最も類似度の高い抽出済み領域を選択する。この場合、簡易代表抽出手段は、近接類似領域決定手段で選択された抽出済み領域の代表色をもとに、対象小領域内の色データを所定数のグループに分割し各グループに属する代表色を求める。そして、対象領域近似手段は、逐次分割対象決定手段で選択されていない小領域については、簡易代表色抽出手段で得られた所定数の代表色を使って各小領域の色データを近似する。
【００３３】
このように予め定めた領域について逐次的に代表色を求めておき、それ以外の領域については、近接する抽出済み領域の代表色を利用して代表色を求めることによって、全体として近似は高精度且つ高速に行われる。なお、精度のばらつきを抑えるためには、逐次的に代表色を求める領域を画像から均等に選択するのが好ましい。
【００３４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、各実施の形態において色データとは、画素におけるカラー信号を表すものであり、ＲＧＢ表色系ではレッド、グリーン、ブルーの３成分からなるデータを表すものとする。また、各実施の形態における画像処理装置の構成図の各図において、同一部には同じ番号を付している。
【００３５】
（第１の実施の形態）
まず、本発明の第１の実施の形態における画像処理方法及び画像処理装置について説明する。図２に示すように、画像処理装置において、領域分割手段２１は、入力画像２０を微小なブロック領域に分割する。初期設定手段２２は、対象とするブロック領域内の色データを逐次的にグループ分割する際の初期グループ設定を行う。着目成分選択手段２３は、分割対象グループ内の色データの分布をもとに、このグループの分割時の着目成分を決定する。グループ分割手段２４は、上記着目成分に従い対象グループを複数に分割するとともに、対象グループに属する色データを分割後に得られたグループに振り分ける。代表色抽出手段２５は、上記グループ分割手段２４で得られた各グループに属する色データの代表色を求める。終了判定手段２６は、代表色が予め設定された所定数得られたかどうかの判定を行う。対象領域近似手段２７は、得られた所定数の代表色を使って各ブロック領域内の色データを近似する。
【００３６】
そして、初期設定手段２２は、対象ブロック領域に属する色データの原点からのユークリッド距離を求める距離計算手段２９と、上記ユークリッド距離をもとに領域内の全色データを複数のグループに分類する初期グループ分割手段３０と、上記手段で得られた各グループ内に属する色データの平均色をそのグループの代表色とする初期代表抽出手段３１より構成されている。また、着目成分選択手段２３は、対象グループに属する色データの代表色と属する色データの各成分の分散を計算する成分別分散計算手段３２と、上記成分別分散計算手段で得られた分散値より大きい成分から順番に選び出し、グループ分割時における分割着目成分とする分割成分決定手段３３より構成される。
【００３７】
以上のように構成された第１の実施の形態における画像処理装置の動作及び画像処理方法について図１をもとに説明する。図１に示すように、入力されたカラー画像２０は領域分割手段２１で微小なブロック領域に分割される（Ｓ１）。これは、微小領域内にある色データ数はある程度限られるため、少ない色データで表現しても精度の悪化はそれほど大きくないであろうことを利用したものである。そして、以降の代表色抽出処理はブロック領域ごとに処理が実行される。この処理方法では、以降説明するように近似画像の高精度化を実現するために、対象ブロック領域内の色データの統計的分布をもとに逐次的にグループ化と各グループを代表とする代表色抽出が行われる。
【００３８】
まず初期設定手段２２では、逐次的に分割処理を行う際の初期グループとその代表色が設定される（Ｓ２）。設定の方法には、例えば図５（ａ）に示すように、対象ブロック内の全データが１つのグループに属するとして１つの初期グループが設定される方法や、図５（ｂ）に示すように、対象ブロック内の全色データの原点からのユークリッド距離を求め、複数の初期グループに分類設定する方法等がある。図２に示すブロック構成は、図５（ｂ）に示す方法を前提としている。距離計算手段２９で対象ブロックBk内の色データcIj( rj, gj, bj )( j = 0,…,pxl＿k )の原点からのユークリッド距離length＿k[j]が計算される。初期グループ分割手段３０は、（数１）に従って、初期グループを２つのグループに分割する。ここで、ave＿length＿kは対象ブロックk内の距離length＿k[j]の平均値を示し、t＿k＿pixはk内の全画素数を示す。また、‖cIj‖は色データcIjをベクトルと見なした場合のベクトルの長さ（ノルム）を表す。
【００３９】
【数１】
0003971614.tif 000002
【００４０】
初期代表抽出手段３１では、このグループ0と1に属する各色データの平均値が、このグループの代表色として求められる。なお、初期グループ分割手段３０では初期グループが２つに設定されたが、この数は一意ではなく、もっと多くすることも可能である。精度よくブロック内データをグループ分割するためには２つ程度が好ましい。また、図５（ａ）に示すように１つの初期グループ設定も可能であり、この場合には、図２において距離計算手段２９と初期グループ分割手段３０の処理は省くことができる。この時、所定数の代表色を求めるまでの逐次処理回数が増大するため、処理時間の短縮化にならないが、最終的に代表色抽出精度とそれを使用して得られる近似画像の精度は図５（ｂ）に示す方法よりも高くなる。
【００４１】
この初期グループをもとに着目成分選択手段２３、グループ分割手段２４、代表色抽出手段２５、終了判定手段２６が、対象ブロック内の色データを逐次的にグループ分割し代表色を抽出する処理を行う。その処理の具体例を図３に模式的に示す。なお、この具体例では、分割対象グループSは4個に分割されるものとする。
【００４２】
図３（ａ）は、r、g、b軸から構成される空間における対象グループＳ、代表色RIs、入力画素の色データIs[j]を表す。ここでは、現在の分割対象グループＳをグループ１（Ｓ＝１）に設定し、現在の分割対象グループSを代表する代表色RIs( Rrs, Rgs, Rbs )を代表色RI1kに設定したものとする。また、現在の代表クラスタベクトル数numはnum=1とし、テンポラリ変数tnumはtnum=1とする。
【００４３】
成分別分散計算手段３２は、現在の分割対象グループS内に所属するNs個の画素色データIs[j]( rs[j], gs[j], bs[j] )に対して、図３（ｂ）に示すように、r、g、b軸各々独立に代表色RIsに対する偏差絶対値の総和（分散値）δrs、δgs、δbsを求める（Ｓ３）。
【００４４】
分割成分決定手段３３は、上記により得られた代表色RIs に対する偏差絶対値の総和δrs、δgs、δbsを大きい順番に並べ、最大値を持つ軸Amax1と次に大きな分散値を持つ軸Amax2を選択する（Ｓ４）。図３（ｂ）の例では、最大値を持つ軸Amax1は、r軸であり、次に大きな分散値を持つ軸Amax2は、g軸である。
【００４５】
図３（ｃ）は、図３（ａ）、図３（ｂ）をb軸よりみたものである。図３（ｃ）に示すように、グループ分割手段２４は、現グループS内のNs個の画素色データIs[j]をAmax1方向に2つのグループに分割し、Amax2方向にも２つのグループに分割する（Ｓ５）。これにより、グループＳは計４個のグループに分割されることとなる。
【００４６】
グループ分割の処理は、代表色RIsのAmax1成分とグループSに属する各画素色データIs[j]のAmax1成分、そして代表色RIsのAmax2成分とグループSに属する各画素色データIs[j]のAmax2成分を比較しその大小関係をもとに行われる。図３（ｃ）の例では、（数２）のよう、グループ分割が行われる。
【００４７】
【数２】
0003971614.tif 000003
【００４８】
代表色抽出手段２５は、図３（ｄ）に示すように、上記で得られた４つのグループＳ、num+1、num+2、num+3の各重心を、新しい代表色RIs( Rrs, Rgs, Rbs )、RInum+1( Rrnum+1, Rgnum+1, Rbnum+1 )、RInum+2( Rrnum+2, Rgnum+2, Rbnum+2 )、RInum+3( Rrnum+3, Rgnum+3, Rbnum+3 )とする（Ｓ６）。そして、代表色数numをnum=num+３とする。
【００４９】
また、代表色抽出手段２５は、得られた代表色とブロック内画素をどの代表色で近似するかを表す位置情報を一時保持する。この代表色は再度分割する際に、成分別分散計算手段３２での各成分の分散値計算に使用される。図４はその際に保持される情報を表す。
【００５０】
Sがtnumに到達しておらず必要な代表色が抽出されていなければ（Ｓ７）、現在の分割対象グループを表す番号SをS=S+1に設定して対象グループを変更し（Ｓ８）、手順Ｓ３からの処理が繰り返される。
【００５１】
そして、numが予め設定した代表色数c＿numに達したかどうかを判定し（Ｓ９）、達していない場合には、S=1、tnum=numと設定する。そして、手順Ｓ２からの処理が行われる。このような終了判定を、終了判定手段２６が行う。
【００５２】
以上の処理により抽出された所定数c＿numの代表色と、その内のどの代表色でブロック内画素の色データを近似するかを表す位置情報が保持される。そして、この保持情報を使って、近似・復元先にある対象領域近似手段２７が各ブロック領域内の画素データを近似復元する（Ｓ１０）。これは、図４のように位置情報( i, j )が対象ブロック内の画素座標( i, j )に対応しており、この位置情報座標に埋め込まれた代表色を対応する画素座標に埋め込むことで近似画像が生成され、出力画像２８を得ることができるのである。なお、ここでは分割対象グループSを４個に分割する例で説明したが、最大分散値を持つ軸Amax1のみを分割する（２個に分割する）ことも考えられる。この場合、抽出される代表色の精度は４個分割の場合よりも向上することが期待され、最終的に得られる出力画像の高精度化にもつながる。しかし、逐次分割のための処理回数が増えるため、処理速度は多少遅くなる。また、分割対象グループを８個に分割することも可能であるが、この場合は、成分別分散計算手段３２及び分割成分決定手段３３の処理が省かれ、高速な代表色抽出が可能となるが、抽出精度が劣化する可能性が大きいので、目的に応じて分割対象グループを分割する数を制御する手段を加えることが考えられる。また、対象ブロック領域内の色データの分布を求め、その分布変動に応じて上記対象グループの分割数を制御することも同様に考えられる。
【００５３】
以上のように、本実施の形態によれば、細分化された領域内の色データの平均値や平均値からの分散の大きい色方向から順次複数のグループに分割し各グループを代表する代表色抽出を行うため、高精度でかつ高速な領域分割と各領域内を代表する代表色を抽出することができる。
【００５４】
なお、これらの処理は本発明の第１の実施の形態における画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。さらに、これらの処理は本発明の第１の実施の形態における画像処理方法に従って作成された半導体チップを使うことでも同様に実現することができる。
【００５５】
（第２の実施の形態）
次に、本発明の第２の実施の形態における画像処理方法及び画像処理装置について説明する。図７に示すように、画像処理装置において、第２グループ分割手段７０はグループ分割手段２４で得られた複数のグループを色データによりさらに複数グループに分割するとともに、対象グループ内の色データを分割後に得られたグループに振り分ける。
【００５６】
そして、第２グループ分割手段７０は、グループ分割手段２４で得られたグループ内の画素色データの原点からのユークリッド距離を計算する補助分割基準計算手段７１と、上記補助分割基準値をもとに、グループ分割手段２４で得られたグループをさらに細分化するとともに、対象グループ内の色データを分割後に得られたグループに振り分ける再グループ分割手段７２より構成される。
【００５７】
以上のように構成された第２の実施の形態における画像処理装置の動作及び画像処理方法について図６のフローチャート図をもとに説明する。また、図８はこの実施の形態におけるグループ分割の様子を模式的に表す。本発明の第１の実施の形態における画像処理方法及び画像処理装置と同様に、入力画像２０を複数のブロックに分割してから（Ｓ１）、初期設定手段２２は、初期グループとその代表色をいくつか設定する（Ｓ２）。この後、成分別分散計算手段３２が、図８（ａ）に示すような分割対象グループSに対して、図８（ｂ）に示すように、グループS内の色データの代表色からの分散値δrs、δgs、δbsの計算を行う（Ｓ３）。分割成分決定手段３３は、各ｒ、ｇ、ｂ軸における分散値の最大値をもつAmax成分を分割着目成分として選択する（Ｓ２１）。図８（ｂ）の例では、分割着目成分としてr軸が選択されている。図８（ｃ）に示すように、グループ分割手段２４は、Amax成分に沿って対象グループを２つに分割し、代表色のAmax成分とグループSに属する各画素色データIs[j]のAmax成分を比較してその大小関係で２つのグループ分割する処理を行う（Ｓ２２）。ここで得られたグループを改めてグループSとグループnum+1とする。なおnumは分割する前のグループ数を示す。
【００５８】
次に、第２グループ分割手段７０は、図８（ｄ）に示すように、このグループSとグループnum+1を各々さらに２つのグループに分割する処理を行う。この際、まず、補助分割基準計算手段７１でグループSとnum+1内に属する画素色データの原点からのユークリッド距離lenが求められる（Ｓ２３）。そして、再グループ分割手段７２において、グループS内の画素色データの距離の平均値をもとにグループSがグループSとnum+2に分割され、各色データが振り分けられる。同様に、グループnum+1はグループnum+1とnum+3に分割され、グループnum+1の色データが分類される（Ｓ２４）。こうすることで、グループを分割する処理回数を減らすことができ、高速なグループ分割を行うことができる。
【００５９】
そして、代表色抽出手段２５は、この時点で得られたグループ内の色データの平均値を求め、そのグループの代表色とする（Ｓ６）。終了判定手段２６は、所定の代表色数が抽出されたかどうかの判定を行い（Ｓ７）、得られていない場合には、対象グループが変更されてから（Ｓ８）、成分別分散計算手段３２による手順Ｓ３からの処理が繰り返される。一方、代表色抽出が終了したと判定された場合には、全ブロックの処理が終了していれば（Ｓ９）、画像近似する時点において、対象領域近似手段２７が得られた代表色と各画素色データを近似する際の位置情報をもとに、入力画像の近似画像を作成し、出力画像２８を得る（Ｓ１０）。
【００６０】
以上のように、本実施の形態によれば、細分化された領域内の色データの平均値や平均値からの分散の最も大きい色方向で２つにグループ分割を行った後、改めて所属するグループ内の色データの原点からの距離をもとに複数分割を行うことで、グループ分割を行う処理回数を減らすことができる。
【００６１】
なお、これらの処理は本発明の第２の実施の形態における画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。さらに、これらの処理は本発明の第２の実施の形態における画像処理方法に従って作成された半導体チップを使うことでも同様に実現することができる。
【００６２】
（第３の実施の形態）
次に本発明の第３の実施の形態における画像処理方法及び画像処理装置について説明する。図１０は第３の実施の形態における画像処理装置の構成を表す。図１０に示す画像処理装置において、参照色テーブルセット１００は予め用意された参照色セットを持つ。色データ分類手段１０１は、対象ブロック領域内の色データと参照色テーブルセット内の参照色セットをもとに小領域内の色データを所定数のグループに分割する。総和分散計算手段１０２は、各グループにおける平均値からの分散の総和を計算する。代表色決定手段１０３は、色データ分類手段１０１で得られた複数のグループ分割結果より１つの分割結果を選び出し、その際に得られたグループ内色データの代表色を求める。
【００６３】
以上のように構成された第３の実施の形態における画像処理装置の動作及び画像処理方法について図９のフローチャートをもとに説明する。
【００６４】
入力画像２０は領域分割手段２１で複数の微小ブロック領域に分割される（Ｓ１）。そして、各ブロック領域ごとに代表色抽出されるのは本発明の第１の実施の形態と同様である。しかし、第３の実施の形態では、対象ブロック内にまず初期グループを設定し、逐次的にグループ分割を繰り返す処理が行われない。第３の実施の形態では、予め用意されたテーブルセットより適切な１組のn個の参照色が選択され、その参照色をもとに対象ブロック内の画素色データがn個のグループに分類され、各グループを代表する代表色が抽出される。
【００６５】
参照色テーブルセット１００の作成には、例えば第１の実施の形態における画像処理が利用される。この場合、多くの画像サンプルについて予め第１の実施の形態における画像処理が行われ、所定数nの代表色のセットがKK個求められる。このKK個をそのままKK個の参照色セットとしてテーブル化してもよい。また、このKK個のnの代表色で構成されるベクトルにベクトル量子化手法のような統計的手法を適用して、LL個のnの参照色を持つセットを作成することも考えられる。統計的手法の代わりに、コホーネンの自己組織化ニューラルネットワークのような手法を適用することも可能である。
【００６６】
代表色のセットを用意するために、例えばテクスチャ、文字、比較的平坦な画像など特徴的な画像の平均画像が利用されることがある。この場合、各画像の平均画像が生成されてから、各平均画像に第１の実施の形態における画像処理が施され、代表色のセットが用意される。この場合でも、代表色のセットは、同じ個数の参照色セットとしてテーブル化してもよいし、ベクトル量子化手法などにより異なる個数の参照色セットとしてテーブル化してもよい。さらに、別途画像を用意せずとも、同じ画像について既に処理されたブロックの代表色を参照色セットに利用することも可能である。
【００６７】
人物の肌、植物、空などの各分類対象について代表色のセットを用意するために、予め用意された複数の画像を細分化して得られたブロックが利用されることもある。この場合、各ブロックは、各分類対象が占める割合で分類され、分類されたブロックについて代表色抽出処理が行われる。これによって求められた代表色のセットは、対応する分類対象についての参照色としてそのままテーブル化してもよいし、その他の例と同様、ベクトル量子化手法などを利用してテーブル化してもよい。
【００６８】
また、１セット内の代表色数は一律nにする必要はなく、可変にすることも可能である。その場合は、多くの画像サンプルから得られたn段階の代表色セットを同様にKK個用意し、各段階におけるKK個の代表色セットから、上記のような手法で複数個の参照色セットを求めテーブル化することで参照色テーブルセット１００が用意される。
【００６９】
色データ分類手段１０１は、まず参照色テーブルセット１００内からm番目のn個の参照色セットdRIt＿m ( t = 0,…,n-1 )を選択する（Ｓ３１）。次に、図１１に示すように、この参照色セットでブロック内kの画素データI＿k[j]がn個のグループに分類される（Ｓ３２）。その分類は、例えば参照色セットdRIt＿m ( t = 0,…,n-1)と画素データI＿k[j]の距離をもとに行われ、画素データI＿k[j]は、最も距離の小さい参照色のグループtに分類される。その後、n個のグループ内での平均値が求められる（Ｓ３３）。各グループ内での平均値からの分散値が求められ、m番目の参照色セットを用いた際の各グループ平均値からの分散値の総和δ＿mが計算される（Ｓ３４）。この処理がすべての参照色セットに対して行われると（Ｓ３５、Ｓ３６）、代表色決定手段１０３は、この分散値の総和が最小となる参照色セットmより得られた平均値を対象ブロック領域kに対して得られた代表色として決定する（Ｓ３７）。そして、この時のブロック内画素データに対する位置情報も合わせて保持され、全ブロックの処理が終了していれば（Ｓ９）、画像復元時にこの代表色と位置情報を用いることで、対象領域近似手段２７は、出力画像２８を生成する（Ｓ１０）。
【００７０】
こうすることで、本発明の第１や第２の実施の形態における画像処理方法及び画像処理装置のように、いちいち逐次的にグループ分割を行うことなく、高速に対象領域内の色データの分割と代表色抽出ができる。そして、予め多くの画像サンプルより用意された精度の高い参照色セットを複数用意してやることで、入力画像にあまり影響されることなく精度のよい代表色抽出が行え、復元近似された画像の精度の劣化を抑えることができる。
【００７１】
なお、これらの処理は本発明の第３の実施の形態における画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。さらに、これらの処理は本発明の第３の実施の形態における画像処理方法に従って作成された半導体チップを使うことでも同様に実現することができる。
【００７２】
（第４の実施の形態）
次に本発明の第４の実施の形態における画像処理方法及び画像処理装置について説明する。図１３に示す画像処理装置において、逐次分割判定値計算手段１３０は色データ分類手段１０１で得られた各グループ内における平均値と上記色データ分類手段１０１で使用された参照色より分割判定値を計算する。逐次分割判定手段１３１は、分割判定値をもとにここで得られた平均値より代表色を選ぶかどうかの判定を行う。逐次的代表色決定手段１３２は、逐次分割判定手段１３１で逐次分割を行うと判定された場合には、小領域内の色データを逐次的にグループ分割し各グループに所属する色データの代表色を求める。
【００７３】
以上のように構成された第４の実施の形態における画像処理装置及び画像処理方法では、図１２のフローチャートのように処理が行われる。本発明の第３の実施の形態と同様に、領域分割手段２１で入力画像２０がブロック領域に分割される（Ｓ１）、分割されたブロック領域kに対して、色データ分類手段１０１は、予め用意されたm番目の参照色セットdRIt＿m ( t = 0,…,n-1 )によりグループ分割を行い、各グループにおける平均値eRIt＿m ( t = 0,…,n-1 )を求める（Ｓ３１、Ｓ３２、Ｓ３３）。
【００７４】
【数３】
0003971614.tif 000004
【００７５】
次に、逐次分割判定値計算手段１３０は、（数３）のようにm番目の参照色セットと１０１で得られた各グループの平均値eRIt＿m 間のずれの総和b＿thres＿mを求める（Ｓ４１）。この処理を用意されたKK個の参照色セット全てに対して行い（Ｓ３５、Ｓ３６）、逐次分割判定手段１３１がこの総和b＿thres＿mの最小値を予め設定された基準値BThresholdと比較する（Ｓ４２）。そして、その値より小さければ、代表色決定手段１０３は、KK個の参照色セットに対するずれの総和b＿thres＿mの最小値を得る参照色セットmbにより得られた各グループ内の平均値eRIt＿mをそのブロックより得られる代表色とする（Ｓ３７）。なお、代表色決定手段１０３は、次のように代表色を求めることも可能である。まず、m番目の参照色セットにより分割された際のグループtの平均値eRIt＿mに対して、グループtに属するnt個の画素値データIt[j]の偏差絶対値の総和をr、g、b軸で求め、各軸の結果の２乗平均値を算出する。そして、この値を全てのグループtで総和した値（平均値からの分散量）δ＿mを求め、分散量δ＿mの最小値を与える参照色セットmbdを用いたグループ分割を行い、その際に得られた各グループ内の平均値eRIt＿mbをそのブロックより得られる代表色とする。
【００７６】
一方、逐次分割判定手段１３１で予め設定された基準値BThresholdよりb＿thres＿mの最小値が大きければ逐次的代表色決定手段１３２による逐次的代表色決定処理が行われる（Ｓ４３）。
【００７７】
逐次的代表色決定手段１３２には、例えば、本発明の第１の実施の形態における初期設定手段２２、着目成分選択手段２３、グループ分割手段２４、代表色抽出手段２５、終了判定手段２６が設けられ、逐次的代表色決定手段１３２では、第１の実施の形態と同様の処理が行われる。また、逐次的代表色決定手段１３２に、本発明の第２の実施の形態における初期設定手段２２、着目成分選択手段２３、グループ分割手段２４、第２グループ分割手段７０、代表色抽出手段２５、終了判定手段２６が設けられ、逐次的代表色決定手段１３２で第２の実施の形態と同様の処理が行われてもよい。
【００７８】
全ブロックの処理が終了すると（Ｓ９）、最後に、代表色決定手段１０３もしくは逐次的代表色決定手段１３２で得られた代表色とその位置情報が２７の対象領域近似手段２７で用いられることで、近似出力画像２８が得られる（Ｓ１０）。
【００７９】
以上のように第４の実施の形態では、入力画像より得られたブロック領域内画素色データを近似する際に、用意されたテーブル内の参照色に比較的一致するような場合には、その参照色を使って簡単にグループ分割と各グループ内の代表色を求めることができるので、処理の削減につながる。一方、第３の実施の形態のように、一律にテーブル際の参照色を用いた場合に、参照色とそれをもとにしたグループ内の平均値の間が大きくずれるような場合に代表色抽出精度が低下する恐れがあるが、本発明のようにそのような場合には、本発明の第１もしくは第２のように実際の領域内の色データの分布に従いグループ分割を行うことで代表色抽出精度を改善することができる。
【００８０】
なお、これらの処理は本発明の第４の実施の形態における画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。さらに、これらの処理は本発明の第４の実施の形態における画像処理方法に従って作成された半導体チップを使うことでも同様に実現することができる。
【００８１】
（第５の実施の形態）
次に本発明の第５の実施の形態における画像処理方法及び画像処理装置について説明する。図１５は第５の実施の形態における画像処理装置装置の構成を表し、図１４は第５の実施の形態における画像処理方法における処理のフローチャートを表す。図１５に示す画像処理装置において、色データ統計量算出手段１５０は、対象領域内の色データの統計的分布を求める。既代表色利用判定手段１５１は、色データ統計量算出手段１５０で得られた色データ統計量を既に代表色抽出済み領域より得られた統計量と比較してこの処理済領域の代表色を用いるかどうかの判定を行う。類似領域決定手段１５２は、既代表色利用判定手段１５１で用いると判断された場合には、最も類似度の高い処理済領域を選択する。簡易代表抽出手段１５３は、類似領域決定手段１５２で選択された代表色をもとに色データ分類手段１０１がグループ分割を行った際に得られた各グループ内色データの代表色を求める。
【００８２】
以上のように構成された第５の実施の形態における画像処理方法及び画像処理装置の動作について図１４のフローチャートをもとに説明する。本発明の第４の実施の形態では、予め用意された複数の参照色セットテーブルとの比較をしていたのに対し、ここでは対象ブロック領域kの以前に代表色抽出処理が完了した領域で得られた代表色との比較を行うことで、グループ分割処理の簡略化が図られている。
【００８３】
色データ統計量算出手段１５０は、対象ブロック内kの色データI＿k[i,j]をすでに処理済みの領域p内の色データI＿p[i,j]と比較するための色データ統計量Lenを求める（Ｓ５１）。この統計量の例として、互いに対応する画素色データ間の２乗誤差平均や、ブロック内色データのヒストグラム頻度の絶対差分値の平均がある。しかし、この統計量はこの値に一意に決まるものではなく、これ以外にも多くの手法があり得る。（数４）に、画素色データ間の２乗誤差平均を表し、（数５）に、ブロック内色データのヒストグラム頻度の絶対差分値の平均を表す。
【００８４】
【数４】
0003971614.tif 000005
【００８５】
【数５】
0003971614.tif 000006
【００８６】
画素色データ間の２乗誤差平均が統計量Lenに用いられる場合、図１６に示すように、対象ブロック内色データに対応する比較対象ブロック内色データが用意され、両者の２乗誤差を画素数で平均した値によって類似度がはかられる。また、ブロック内色データのヒストグラム頻度の絶対差分値の平均が統計量Lenに用いられる場合、対象ブロック内色データのヒストグラムと、比較対象ブロック内色データのヒストグラムが用意され、ヒストグラム頻度の差の絶対値を画素数で平均した値によって類似度がはかられる。前者の場合には、色データ値そのものが基準となり、後者の場合には、色としての頻度が基準になる。より精度を必要とする場合は、前者の基準値の方が好ましいが、微小ブロック内での色データ数が限られることから後者の基準値でも十分であると考える。
【００８７】
色データ統計量算出手段１５０は、このように対象ブロック領域kと処理済領域pより選ばれた１つの領域内の色データの分布の類似度Lenをはかるための値を求める（Ｓ５２）。既代表色利用判定手段１５１は、この値をもとに、既に抽出された代表色を用いるべきかどうかの判定を行う（Ｓ５３）。この判定のために、先ほど得られた統計量が各処理済みブロックに対して算出され、その統計量の最も小さい値が予め設定された判定値PThresholdと比較される。その値より小さければ、処理済領域内より得られた代表色が使用される。その際、使用される処理済領域及び代表色の選択は類似領域決定手段１５２で行われるが、ここでは色データ統計量の最小値を持つ処理済ブロック領域PPを選択し（Ｓ５４）、そのブロックより得られた代表色を用いて、第３の実施の形態のように、色データ分類手段１０１が対象ブロック領域内の色データのグループ分割を行う。簡易代表抽出手段１５３は、この色データ分類手段１０１の結果を受けて得られた各グループ内に属する色データの平均値を求め、そのグループの代表色とする（Ｓ５５）。
【００８８】
一方、既代表色利用判定手段１５１で、対象ブロックと処理済領域間の色データ統計量が予め設定された判定値PThresholdより大きな値であると判定された場合には、それまで代表色抽出処理された領域とは色データ分布的に異なるブロック領域を対象としている可能性がある。従って、この場合は逐次的代表色決定手段１３２を用いて、逐次的にグループ分割と各グループの代表色を求める（Ｓ４３）。こうすることで、このような領域より代表色抽出における精度の低下を抑制することができる。
【００８９】
このような処理構成をとることで、本発明の第４の画像処理方法と同様に不要な逐次グループ分割を避けることができ、より高速な画像近似が可能となる。しかも、本発明の第３や第４の画像処理方法のように予め複数の画像より求めた参照色セットを含むテーブルを用意することなく、画像自体の処理済み領域をテーブルに用いるため、逐次処理をしない領域からもより高精度な代表色抽出が可能であるという効果を持つ。
【００９０】
なお、これらの処理は本発明の第５の実施の形態における画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。さらに、これらの処理は本発明の第５の実施の形態における画像処理方法に従って作成された半導体チップを使うことでも同様に実現することができる。
【００９１】
（第６の実施の形態）
次に本発明の第６の実施の形態における画像処理方法及び画像処理装置について説明する。図１９は第６の実施の形態における画像処理装置の構成を表し、図１８は第６の実施の形態における画像処理方法を説明するためのフローチャートである。
【００９２】
図１９に示す画像処理装置において、逐次分割対象決定手段１８０は、領域分割手段２１で細分化された複数のブロック領域より逐次分割処理を行う複数の領域を選択する。近接類似領域決定手段１８１は、逐次分割対象決定手段１８０で選択されていない領域に関しては、色データ統計量算出手段１５０で得られた色データ統計量をもとに対象領域に近接している複数の逐次分割対象領域から最も類似度の高い処理済領域を選択する。
【００９３】
この実施の形態では、まず画像全体をブロック化して得られた複数のブロック領域のうち、本発明の第１の実施の形態もしくは第２の実施の形態と同様に、逐次的代表色抽出処理が行われる。その後、残りのブロック領域から代表色を抽出する際に、先ほど逐次的代表色抽出処理をされたブロックのうちで、対象ブロックに近接している複数のものが選び出される。そして、その近接した逐次的処理済みブロック領域の中から対象ブロック領域内の色データ分布に最も類似したブロック領域が選び出され、その際の代表色で対象ブロック領域内の色データがグループ分割されることによって、代表色抽出が行われる。
【００９４】
以上のように構成された第６の実施の形態における画像処理装置の動作及び画像処理方法について図１８のフローチャートに従い説明する。まず入力画像２０は領域分割手段２１で複数の微小領域に分割される（Ｓ１）。次に、逐次分割対象決定手段１８０でその複数のブロックｓ領域より、本発明の第１もしくは第２で説明したような逐次的代表色抽出処理を行う領域が決定される（Ｓ６１）。この場合、どのような選択でも可能であるが、画像全域にできるだけ均等になるように選択する方が、逐次的代表色抽出をしない領域における代表色抽出精度を保つためにも望ましい。そこで、領域分割手段２１でブロック分割された領域に画像先端から番号がつけられ、その奇数番号が逐次分割対象決定手段１８０で対象領域に選択される。逐次分割対象決定手段１８０で選択された領域に対しては逐次的代表色決定手段１３２による逐次的代表色決定処理が行われる（Ｓ４３、Ｓ６２）。ここで、第１の実施の形態で示した方法が用いられる場合、逐次的代表色決定手段１３２には、初期設定手段２２、着目成分選択手段２３、グループ分割手段２４、代表色抽出手段２５、終了判定手段２６が設けられ、第１の実施の形態と同様の処理が実行される。第２の実施の形態で示した方法が用いられる場合、逐次的代表色決定手段１３２に第２グループ分割手段７０がさらに加えられる。
【００９５】
一方、逐次分割対象決定手段１８０で選択されていないブロック領域に関しては、色データ統計量手段１５０でブロック内の色データ分布を示す統計量が計算される（Ｓ６３、６４）。この値としては、第５の実施の形態で説明された量（図１６、図１７）を用いることもできるし、それ以外の基準量でも構わない。そして、近接類似領域決定手段１８１は、対象ブロック領域とそのブロックに近接し逐次的代表色抽出処理されたブロック領域から算出されるこの統計量より適切な処理済みブロック領域を選択する（Ｓ６５）。色データ分類手段１０１はこの選択された代表色をもとに、対象ブロック領域内の色データについてグループ分割を行う。簡易代表抽出手段１５３は、各グループに属する色データの平均値をそのグループの代表色とする（Ｓ６６）。逐次分割対象決定手段１８０で選択されていないブロック領域の処理が終了した後（Ｓ６７）、画像復元に関しては、これまでの実施の形態と同様であるので説明を省略する。
【００９６】
以上のように、このような処理や構成をとることで、予め複数の画像より求めた参照色セットを含むテーブルを用意する必要がない。また、第５の実施の形態と比較してテーブルとする処理済み領域を探す手間も減らすことができるという効果を持つ。
【００９７】
なお、これらの処理は第６の実施の形態における画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。さらに、これらの処理は本発明の第６の実施の形態における画像処理方法に従って作成された半導体チップを使うことでも同様に実現することができる。
【００９８】
（第７の実施の形態）
本発明の第７の実施の形態における画像処理方法及び画像処理装置について説明する。図２１は第７の実施の形態における画像処理装置の構成を表し、図２０は第７の実施の形態における画像処理装置を説明するためのフローチャートを表す。
【００９９】
図２１に示す画像処理装置において、保持判断手段２００は、得られた現在の分割数が保持分割数を満足するかどうかの判断を行う。段階符号化保持手段２０１は、保持判断手段２００で保持すると決定された場合に、この段階での代表色と、小領域内をこの代表色で近似する際の位置情報を保持する。最大終了判定手段２０２は、得られた代表色が最大所定数得られたどうかの判定を行い、得られていない場合には上記分割基準計算手段へ処理が移る。ユーザ画質選択手段２０３は、ユーザにより画像を近似する際の画質モードを選択する。適切代表色読出手段２０４は上記最大終了判定手段２０２で終了したと判定された場合には、ユーザ画質選択手段２０３の結果に従い、段階符号化保持手段２０１よりユーザ選択モードに応じた代表色と位置情報を呼び出す。この第７の実施の形態では、代表色を抽出する際に、最大代表色数と、それに至るまでの段階ごとの代表色数を設定しておいて、その設定された段階ごとの代表色と位置情報が保持される。そしてユーザが指定するモードに応じて、保持されたデータから、そのモードに応じた数の代表色と位置情報を使って即座に画像近似が行われる。
【０１００】
第７の実施の形態における画像処理方法及び画像処理装置の動作について図２０のフローチャートに従い説明する。まず、入力画像２０をブロック分割し（Ｓ１）、各ブロック領域内を逐次的にグループ分割・代表色抽出を行う処理は第１の実施の形態と同様である（Ｓ２からＳ６）。ここで異なるのは、最終的に得られた代表色のみが保持されるのではなく、それまでに至るいくつかの段階での代表色と位置情報も保持されることである。この場合、たとえば、最終代表色数までに至る段階が３段階であった場合に段階符号化保持手段２０１で保持されるデータは図２２のようになる。保持判断手段２００は、代表色数が最大数に至るまでに設定された段階で設定された色数分だけ得られたかどうかをチェックし（Ｓ７１）、その段階での代表色数に達した時点での結果を段階符号化保持手段２０１が保持する（Ｓ７２）。
【０１０１】
一方、最大終了判定手段２０２で設定された最大代表色数が全てのブロックについて得られた時点で（Ｓ７３、Ｓ８、Ｓ９）、ユーザに全ての保持情報が送信される。扱う画質モードとして、たとえば、高速で画質はあまり気にしないモード、高精細モード、中間モード等が用意されており、ユーザはユーザ画質選択手段２０３によって、これらから画質モードを選択する（Ｓ７４）。この選択結果に応じて、たとえば高速モードの場合、できるだけ少ない代表色で構わないので、最低段階レベルでの代表色数が選ばれ画像復元が行われる（Ｓ７５）。一方、高精細モードでは、最大代表色数が選択され画像復元が行われる。この読み出しと代表色の判断を適切代表色読出手段２０４が担当する。
【０１０２】
なお、ここでは定性的表示モードで説明したが、直接に近似する代表色数を選択させることも可能である。また、最大終了判定手段２０２で全てが終了した時点でユーザに送られ、その時点でのユーザ画質選択手段２０３における選択をもとに適切代表色読出手段２０４が適切な代表色数を選択するように説明したが、これに限られるものではない。段階符号化保持手段２０１で保持された段階的データは常にユーザに送信され、送信された時点で復元された画像をユーザが観察しながら、さらなる代表色数での表示を要望し得るようにしてもよい。また、現在の対象ブロックで最大代表色数に達していないが現在の画質で十分であれば、そのブロックでの代表色抽出を停止されるように指示するように構成することも可能である。
【０１０３】
このように圧縮された画像は、通常ユーザに送られたデータをもとに１度画像復元され、それから所望の画質や解像度に応じて改めてフィルタ処理等による画像処理が行われることが多い。ＪＰＥＧ圧縮された画像データを扱う場合は特にそうである。しかしながら、この実施の形態のように多段階における代表色とその代表色で領域近似を行う際の位置情報が保持されることで、複数の画質モードの指示が画像符号化時点で予め明確でないような場合（例えば、インターネットでの画像の配信）でも即座に対応することができる。さらに、このような非可逆圧縮された画像の復元画像に対して、フィルタ処理等を行うと圧縮時に発生した歪みも増大させる可能性があるが、ここでは元画像より全て得たデータを使用しているのでそのような影響が抑えられる。
【０１０４】
なお、これらの処理は本発明の第７の実施の形態における画像処理方法に従いコンピュータ等に使用される中央演算処理装置（ＣＰＵ）及びデジタルシグナルプロセッサ（ＤＳＰ）等を使ったソフトウェア処理でも同様に実現することができる。さらに、これらの処理は本発明の第７の実施の形態における画像処理方法に従って作成された半導体チップを使うことでも同様に実現することができる。
【０１０５】
また、本発明の第１から第７の実施の形態において、微少分割する際に、各ブロックサイズは固定である必要はなく画像に応じて可変であっても構わない。また、各ブロック領域から抽出される代表色数も固定である必要はなく、可変であっても本発明で説明した内容は同様に成立する。本発明の第１から第７の実施の形態における画像処理方法及び画像処理装置は、リアルタイムに画像を授受する機器などに応用される。そのような応用対象として、例えばモバイルスキャナ等の画像読み取り機器や、監視カメラやＴＶ会議システム、遠隔医療監視システム等のネットワークカメラを介したシステムがある。さらに、本発明の第１から第７の実施の形態における画像処理方法及び画像処理装置は、携帯電話やＰＤＡのような携帯端末での固定色数を使った高速表示に利用したり、パソコンからインクジェットプリンタやカラーレーザープリンタなどの印刷装置に送られる印字画像データの固定長圧縮に利用することも可能である。
【０１０６】
ところで、上述のように代表色を使って色データを近似する画像処理は、人間の視覚特性を応用したものである。人間の視覚特性を考慮すると、近似の精度を確保する上で、ブロックの大きさや代表色の数は重要である。
【０１０７】
適当なブロックの大きさや代表色の数は、画像によって変化する。例えば画像の解像度とブロックの大きさとの関係が適当でないと、近似の精度は悪化し、復元画像の画質は劣化してしまう。スキャナなどの画像入力装置からパーソナルコンピュータに画像が供給されるような場合に、画像入力装置側で近似が行われてから、パーソナルコンピュータ側で画像の解像度が他の解像度に変換されることがある。このような場合、パーソナルコンピュータ側で出力される画像の画質は低下してしまう可能性がある。ここでの解像度変換には、画像の拡大や縮小に伴うものも含まれる。
【０１０８】
このため、ブロックの大きさは、画像が所定の解像度に変換されてから、その解像度に応じて決定されるのが好ましい。所定の解像度が解像度の変換前と変換後との変換率で表される場合には、解像度の変換率の設定に応じて、ブロックの大きさを変更すればよい。解像度が高い時は大きなブロックを対象にし、解像度が低いときは小さいブロックを対象にすることで、視覚的な劣化を抑えることができる。このような画像処理について図２３、図２４、図２５を用いて説明する。
【０１０９】
図２３に示す画像処理装置において、解像度変換回路１００２は、カラー画像を所定の解像度に変換する解像度変換手段として用いられる。例えば解像度変換回路１００２は、入力回路１００３から取り込んだ画像を高解像度から低解像度に解像度を変換する。解像度設定回路１００４は解像度設定を信号１４０１によって、解像度変換回路１００２、代表色抽出回路１００１に与える。代表色抽出回路１は、所定の解像度に応じて、代表色を抽出する小領域の大きさを決定する領域決定手段と、決定された小領域から複数の代表色を抽出する代表色抽出手段として用いられる。
【０１１０】
例えば４００ＤＰＩから２００ＤＰＩに解像度の設定が変更されたとすると、図２４に示すように、解像度変換回路２は２個の画素を単位として隣接画素を同じ値に変換する。代表色抽出回路１は、この解像度の設定に応じて、ブロックの大きさを半分に設定する。４００ＤＰＩのときブロックの大きさが４画素×４画素である場合には、２００ＤＰＩのときブロックの大きさは２画素×２画素に決定される。これによって、原稿濃度の変化が粗くなった分、処理精度をあげることになり、画質劣化を抑えることができる。代表色抽出回路１は、例えば各実施の形態で上述したように、決定されたブロックの代表色を抽出し、インターフェース１００７（以下、Ｉ／Ｆ１００７と記す）に画像データを出力する。
【０１１１】
ここで、解像度変換処理について図２４を用いて、詳細に説明する。図２４に示すように、４００ＤＰＩを２００ＤＰＩに変更する場合は、信号（データ）３００と信号（データ）３０１のいずれかの値を、隣接画素に複写する。例えば、信号３０１を信号３０２と信号３０３に複写する。これによって、４００ＤＰＩの白黒パターンは解像度の低下によって消えてしまう。実際の処理では、信号３０２と信号３０３は同じ値なので、いずれか一方を残すように間引き処理される。これは、縮小処理となる。すなわち、解像度変換と拡大縮小は、回路的には近い処理（又は、同じ処理）として扱われる。従って、解像度変換は、処理前と処理後とで画素数が変わらない場合に用いられることも多いが、ここでは解像度変換に画素数が変わる拡大や縮小に伴うものも含めている。
【０１１２】
拡大処理や縮小処理が行われる場合には、解像度の代わりに倍率を設定すればよい。この場合、解像度変換回路１００２は、画像を所定の場合に拡大又は縮小する変倍処理手段として用いられることになる。また、解像度設定回路１００４は、倍率を設定することになる。この倍率に応じて、解像度変換回路１００２は、画素補間法、ニアレストネイバー法、バイリニア法、バイキュービック法、直交変換法（ＤＣＴ変換法、ウェーブレット変換法）等を用いて画素数の増減を行い、拡大処理、縮小処理を実行する。
【０１１３】
図２５を用いて、原稿画像を拡大処理、縮小処理した場合の説明を行う。例えば図２５（ｃ）に示すように、３画素×３画素の原画の隣接画素間に１画素を挿入して原画を２倍に拡大すると、画素数は９から２５に増大する。この場合は、画素数の増大に合わせて、より大きなブロックから代表色を抽出しても画像劣化は少ない。よって、代表色抽出回路１００１は、拡大率に応じて、ブロックの大きさを増大させる。より大きな領域から代表色が抽出されることになるから、圧縮率を稼ぐことができる。一方、図２５（ａ）に示すように、縮小処理の場合には画素数が減少する。よって、原画上のパターンの空間周波数は高くなるので、解像度を高くした処理が必要となる。そのために、ブロックの大きさを、より小さく設定することが望ましい。すなわち、代表色抽出回路１００１は、縮小率に応じて、ブロックの大きさを小さく設定する。これによって、空間周波数の高いパターンも保持できるので、画質を向上できる。
【０１１４】
このように、解像度に応じて代表色を抽出する領域の大きさを変更すれば、高周波のパターンがあっても、それを保持して画質劣化を抑えることができる。また、画質を維持しながら、圧縮率を向上できる。
【０１１５】
なお、例えば写真原稿、文字原稿、文字・写真原稿など、原稿の特徴に応じて適当な解像度は異なる。このため、原稿の特徴に応じて適当なブロックの大きさや代表色の数を分類することができる。原稿の特徴が処理モードとして設定される場合、代表色抽出回路１００１は、解像度の代わりに、原稿の特徴を表す処理モードに応じて、ブロックの大きさ、又は代表色の数を決定するようにしてもよい。
【０１１６】
図２６に示す画像処理装置において、処理モード設定回路１００５は、対象となる原稿によって処理モードを設定するモード設定手段として用いられる。処理モード設定回路１００５は、処理モードを代表色抽出回路１００１に与える。
【０１１７】
例えば図２７に示すように、処理モードとして「写真モード」と「文字モード」が用意されているものとする。この例では、各処理モードは、圧縮率によって２つの設定モードにそれぞれ細分化されている。各設定モードには、適当なブロックの大きさと代表色の数が対応付けられている。代表色抽出回路１００１は、例えば図２７に示されるようなテーブルを用いてブロックの大きさや代表色の数を決定する。処理モード設定回路１００５によって設定される設定モードが１であれば、ブロックの大きさは４画素×４画素に、代表色の数は２に決定される。
【０１１８】
これによって、原稿毎に必要な処理解像が自動的に確保され、高品位な画質が得られる。
【０１１９】
このように、ブロックの大きさを決定する画像処理装置も、専用のハードウェアによって実現するだけでなく、ＣＰＵやＤＳＰによるソフトウェア処理によって実現することができる。
【０１２０】
ソフトウェア処理によって実現される場合、ＣＰＵやＤＳＰを備えたコンピュータは、画像を所定の解像度に変換するステップを行うと、所定の解像度に応じて、代表色を抽出する小領域の大きさを決定するステップを行い、その後、決定された小領域から複数の代表色を抽出するステップを行うことになる。
【０１２１】
画像を所定の倍率に拡大又は縮小するのであれば、画像を所定の倍率に拡大又は縮小するステップが行われた後、コンピュータは、所定の倍率に応じて、代表色を抽出する小領域の大きさを決定するステップを行う。
【０１２２】
さらに、処理モードを利用する場合には、対象となる原稿によって処理モードを設定するステップが行われてから、コンピュータは、処理モードに応じて、代表色を抽出する小領域の大きさ又は代表色数を決定するステップを行う。
【０１２３】
なお、図２７の例では、処理モードとして、「文字モード」、「写真モード」が用意されていたが、これに限られるものではない。例えば混在画像の「文字写真モード」、さらには「地図モード」や「拡大縮小モード」などの他の処理モードを用意してもよい。
【０１２４】
【発明の効果】
以上説明したように、本発明では、所定数のグループが、小領域内の色データと参照色セットテーブル内の参照色をもとに得られるから、逐次的なグループ分割が省略され、その結果、小領域内の色データの近似は高精度且つ高速に行われる。さらに、適当な参照色セットテーブルが用意されていない領域では、逐次的なグループ分割によって代表色を求めれば、精度の劣化を抑えながら画像全体としては高速に近似を行うことが可能となる。
【０１２５】
また、分割着目成分を複数選択し、選択された複数の分割着目成分に関する基準をもとにグループ分割が行われる場合、グループ分割が逐次的に行われても、繰り返し回数は減少するから、近似は高精度且つ高速に行われる。
【０１２６】
また、選択された分割着目成分に関する基準をもとにグループ分割が行われてから、各グループ内の色データをもとに各グループがさらに複数のグループに分割される場合も、グループ分割を行う処理回数が減少するから、近似は高精度且つ高速に行われる。
【０１２７】
さらに、逐次的にグループ分割が行われる場合でも、既に代表色が抽出された抽出済み領域の代表色を利用して小領域の代表色を求めれば、逐次的にグループ分割が行われるのが一部の小領域だけになり、画像全体として近似は高精度且つ高速に行われる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像処理方法を説明するためのフローチャート
【図２】本発明の第１の実施の形態における画像処理装置の構成を表すブロック図
【図３】本発明の第１の実施の形態における画像処理装置の代表色抽出手段による処理を模式的に表す概念図
【図４】本発明の第１の実施の形態における画像処理装置で各小領域を近似するために必要な情報を表す概念図
【図５】本発明の第１の実施の形態における画像処理装置の初期設定手段による処理を模式的に表す概念図
【図６】本発明の第２の実施の形態における画像処理方法を説明するためのフローチャート
【図７】本発明の第２の実施の形態における画像処理装置の構成を表すブロック図
【図８】本発明の第２の実施の形態における画像処理装置の第２グループ分割手段による処理を模式的に表す概念図
【図９】本発明の第３の実施の形態における画像処理方法を説明するためのフローチャート
【図１０】本発明の第３の実施の形態における画像処理装置の構成を表すブロック図
【図１１】本発明の第３の実施の形態における画像処理装置の色データ分類手段による処理を模式的に表す概念図
【図１２】本発明の第４の実施の形態における画像処理方法を説明するためのフローチャート
【図１３】本発明の第４の実施の形態における画像処理装置の構成を表すブロック図
【図１４】本発明の第５の実施の形態における画像処理方法を説明するためのフローチャート
【図１５】本発明の第５の実施の形態における画像処理装置の構成を表すブロック図
【図１６】本発明の第５の実施の形態における画像処理装置で扱われる色データ統計量の一例を表す図
【図１７】本発明の第５の実施の形態における画像処理装置で扱われる色データ統計量の一例を表す図
【図１８】本発明の第６の実施の形態における画像処理方法を説明するためのフローチャート
【図１９】本発明の第６の実施の形態における画像処理装置の構成を表すブロック図
【図２０】本発明の第７の実施の形態における画像処理方法を説明するためのフローチャート
【図２１】本発明の第７の実施の形態における画像処理装置の構成を表すブロック図
【図２２】本発明の第７の実施の形態における画像処理装置の段階符号化保持手段が保持する保持情報を表す概念図
【図２３】解像度変換回路を備えた画像処理装置の簡易的な構成を表すブロック図
【図２４】解像度変換処理を説明するための図
【図２５】拡大・縮小処理を説明するための図
【図２６】モード設定手段を備えた画像処理装置の簡易的な構成を示すブロック図
【図２７】処理モードを説明するための図
【図２８】従来の画像処理方法を説明するためのフローチャート
【図２９】従来の画像処理装置の構成を表すブロック図
【符号の説明】
２０  入力画像
２１  領域分割手段
２２  初期設定手段
２３  着目成分選択手段
２４  グループ分割手段
２５  代表色抽出手段
２６  終了判定手段
２７  対象領域近似手段
２８  出力画像
２９  距離計算手段
３０  初期グループ分割手段
３１  初期代表抽出手段
３２  成分別分散計算手段
３３  分割成分決定手段
７０  第２グループ分割手段
７１  補助分割基準計算手段
７２  再グループ分割手段
１００  参照色テーブルセット
１０１  色データ分類手段
１０２  総和分散計算手段
１０３  代表色決定手段
１３０  逐次分割判定値計算手段
１３１  逐次分割判定手段
１３２  逐次的代表色決定手段
１５０  色データ統計量算出手段
１５１  既代表色利用判定手段
１５２  類似領域決定手段
１５３  簡易代表抽出手段
１８０  逐次分割対象決定手段
１８１  近接類似領域決定手段
２００  保持判断手段
２０１  段階符号化保持手段
２０２  最大終了判定手段
２０３  ユーザ画質選択手段
２０４  適切代表色読出手段
２３００ａ  入力手段ｒ
２３００ｂ  入力手段ｇ
２３００ｃ  入力手段ｂ
２３０１ａ  前段符号化手段ｒ
２３０１ｂ  前段符号化手段ｇ
２３０１ｃ  前段符号化手段ｂ
２３０２  後段符号化手段
２３０３  復号化手段
２３０４ａ  出力手段ｒ
２３０４ｂ  出力手段ｇ
２３０４ｃ  出力手段ｂ
【図１】
0003971614.tif 000007
【図２】
0003971614.tif 000008
【図３】
0003971614.tif 000009
【図４】
0003971614.tif 000010
【図５】
0003971614.tif 000011
【図６】
0003971614.tif 000012
【図７】
0003971614.tif 000013
【図８】
0003971614.tif 000014
【図９】
0003971614.tif 000015
【図１０】
0003971614.tif 000016
【図１１】
0003971614.tif 000017
【図１２】
0003971614.tif 000018
【図１３】
0003971614.tif 000019
【図１４】
0003971614.tif 000020
【図１５】
0003971614.tif 000021
【図１６】
0003971614.tif 000022
【図１７】
0003971614.tif 000023
【図１８】
0003971614.tif 000024
【図１９】
0003971614.tif 000025
【図２０】
0003971614.tif 000026
【図２１】
0003971614.tif 000027
【図２２】
0003971614.tif 000028
【図２３】
0003971614.tif 000029
【図２４】
0003971614.tif 000030
【図２５】
0003971614.tif 000031
【図２６】
0003971614.tif 000032
【図２７】
0003971614.tif 000033
【図２８】
0003971614.tif 000034
【図２９】
0003971614.tif 000035