(57)【要約】【課題】  より綺麗な拡大画像を得る。【解決手段】  複数の画素からなり、ＨＬＳ色空間またはＨＳＶ色空間において表現されている原画像をある倍率で非可逆的に縮小し、縮小画像を作成するステップ４００と、前記原画像と同じ大きさになるように該縮小画像を伸長し、縮小伸長画像を得るステップ４０２と、該縮小伸長画像と前記原画像との対応する画素の特性値の差分を抽出し、該差分に基づく距離が一定値以上の画素を処理すべき画素として決定する処理画素決定ステップ４０４と、該処理すべき画素に複数の画像処理ルールを適用し、該複数の画像処理ルールの中から最適な画像処理ルールを決定する処理ルール決定ステップ４０６と、前記処理すべき画素について該最適な画像処理ルールを特定する情報と該最適な画像処理のパラメータ値を含む処理データを求めるステップ４０８と、該処理データおよび前記縮小画像を記憶するステップ４１０とを含んでなる画像処理方法を提供する。【選択図】        図４
2006065630.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素からなり、ＨＬＳ色空間またはＨＳＶ色空間において表現されている原画像をある倍率で非可逆的に縮小して、縮小画像を作成するステップと、
前記原画像と同じ大きさになるように該縮小画像を伸長して、縮小伸長画像を得るステップと、
該縮小伸長画像と前記原画像との対応する画素の特性値の差分を抽出し、該差分に基づく距離が一定値以上の画素を処理すべき画素として決定する処理画素決定ステップと、
該処理すべき画素に複数の画像処理ルールを適用し、該複数の画像処理ルールの中から最適な画像処理ルールを決定する処理ルール決定ステップと、
前記処理すべき画素について該最適な画像処理ルールを特定する情報と該最適な画像処理パラメータを含む処理データを求めるステップと、
該処理データおよび前記縮小画像を記憶するステップと
を含んでなる画像処理方法。
【請求項２】
前記ある倍率がｎ2分の１であり、ここで、ｎは２以上の整数であることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記特性値の少なくとも１つに対して重み付けを行うステップをさらに含む請求項１または２に記載の画像処理方法。
【請求項４】
前記画像処理ルールは、めりはり処理と、なじませ処理と、平滑化処理とを含む請求項１から３のいずれかに記載の画像処理方法。
【請求項５】
前記処理ルール決定ステップは、めりはり処理と、なじませ処理と、平滑化処理とのいずれかの処理を決定するものである請求項１から４のいずれかに記載の画像処理方法。
【請求項６】
前記処理ルール決定ステップが、前記縮小画像の１つの画素に対応する前記原画像の複数の画素に対して、各画像処理ルールを適用して前記縮小画像から得られる拡大画像と前記原画像との各画素の特性値の前記ＨＬＳ空間中またはＨＳＶ空間中の差分に基づいて計算した距離を合計し、その合計が最小である画像処理ルールを前記最適な画像処理ルールに決定することを含む、請求項５に記載の画像処理方法。
【請求項７】
前記距離が所定の値以下である画素に対してぼかし処理を適用することを特徴とする請求項１から６のいずれかに記載の画像処理方法。
【請求項８】
前記縮小画像および前記処理データを情報端末へと伝送するステップをさらに含む請求項１から７のいずれかに記載の画像処理方法。
【請求項９】
前記情報端末へと送信される前記処理データのデータ量が前記縮小画像１画素当たり１バイト以内であることを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記請求項１から９のいずれかに記載の方法で得られた前記縮小画像と前記処理データとを用いて、前記縮小画像を拡大した画像を得るステップと、
該拡大した画像を表示するステップと
を含んでなる拡大画像表示方法。
【請求項１１】
請求項１から１０のいずれかに記載の方法をコンピュータに実行させるためのコンピュータに読み取り可能な命令を含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像の画像処理方法と、その画像処理方法をコンピュータに実行させるためのプログラムとに関する。
【背景技術】
【０００２】
現在、携帯電話やＰＤＡ等の情報端末が高機能化し、表示部に画像を表示できるようになってきている。ここで、情報端末の画面は小さいので、原画像を縮小して縮小画像を作成し、それをそのまま表示するような仕方で通常モードの表示が行える。しかし、それを拡大して表示しようとすると、配信された縮小画像のピクセルを拡大することになるので、画像の粗さが目立ってしまい、綺麗な表示ができない。
【０００３】
一方、例えば、一画面分の画像を４倍に拡大して表示したい場合において、拡大した画像を４画面分予め用意しておいて、適宜配信するという方法も考えられる。しかしながら、この場合には、画像のデータ量が４倍になり、携帯電話などに配信して表示させるような場合には表示に要する時間がかかり、データ通信にかかるコストが高くなって、ユーザの負担が大きくなる。また、このような拡大した画像を展開するときには情報端末のメモリ等を大量に使用することになるので、情報端末の本来の機能を大幅に制限するようなことも起こりうる。さらに、ＪＰＥＧなどの圧縮方式は情報端末に縮小された画像をさらに圧縮するのには適しているが、圧縮を解除した後の縮小された画像の拡大画像を生成するためのものではない。
【０００４】
ここで、画像圧縮とそのデータ量との相反性に鑑みて、例えば、特許文献１に記載されているように、原画像を圧縮した圧縮データと、この原画像と圧縮データとの差分をとった処理データとの２つのデータを利用して原画像に近似する画像を作成する画像圧縮方法が知られている。
しかしながら、特許文献１に記載された発明では、原画像と圧縮データとを全ての画素において比較の対象とし、処理データは可逆的に圧縮しているために、原画像よりは少ないもののデータ量は依然として多くなっている。そのため、圧縮データや処理データの作成や取扱いの仕方によっては、圧縮データと処理データとを合わせたデータ量が、結局、原画像のデータ容量と同じ程度の量になってしまう場合もありうる。
【特許文献１】特開平１０−２９０４６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、縮小画像を拡大して表示する場合に、縮小画像の拡大に伴う画質の劣化を減らすことである。
【課題を解決するための手段】
【０００６】
本発明は、データ量が小さく、縮小画像を拡大して表示する場合であっても画像の拡大に伴う画質の劣化の少ない画像処理方法を提供する。
具体的には、複数の画素からなり、ＨＬＳ色空間またはＨＳＶ色空間において表現されている原画像をある倍率で非可逆的に縮小して、縮小画像を作成するステップと、前記原画像と同じ大きさになるように該縮小画像を伸長して、前記原画像の縮小伸長画像を得るステップと、該縮小伸長画像と前記原画像との対応する画素の特性値の差分を抽出し、該差分に基づく距離が一定値以上の画素を処理すべき画素として決定する処理画素決定ステップと、該処理すべき画素に複数の画像処理ルールを適用し、該複数の画像処理ルールの中から最適な画像処理ルールを決定する処理ルール決定ステップと、前記処理すべき画素について該最適な画像処理ルールを特定する情報と該最適な画像処理のパラメータ値を含む処理データを求めるステップと、該処理データおよび前記縮小画像を記憶するステップとを含んでなる画像処理方法を提供する。
ここで、前記ある倍率がｎ2分の１であり、ここで、ｎは２以上の整数である態様や、前記特性値の少なくとも１つに対して重み付けを行うステップをさらに含む態様や、前記画像処理ルールは、めりはり処理と、なじませ処理と、平滑化処理とを含む態様や、前記処理ルール決定ステップは、めりはり処理と、なじませ処理と、平滑化処理とのいずれかの処理を決定するものである態様であることが好ましい。ここで、前記処理ルール決定ステップが、前記縮小画像の１つの画素に対応する前記原画像の複数の画素に対して、各画像処理ルールを適用して前記縮小画像から得られる拡大画像と前記原画像との各画素の特性値の前記ＨＬＳ空間中またはＨＳＶ空間中の差分に基づいて計算した距離を合計し、その合計が最小である画像処理ルールを前記最適な画像処理ルールに決定することを含む態様であることが好ましい。また、前記距離が所定の値以下である画素に対してぼかし処理を適用することを特徴とする態様であることがより好ましい。
さらに、前記縮小画像および前記処理データを情報端末へと伝送するステップをさらに含む態様であることが好ましい。ここで、前記情報端末へと送信される前記処理データのデータ量が前記縮小画像の１画素当たり１バイト以内である態様がより好ましい。
また、上記のいずれかに記載の方法で得られた前記縮小画像と前記処理データとを用いて、前記縮小画像を拡大した画像を得るステップと、該拡大した画像を表示するステップとを含んでなる拡大画像表示方法も提供する。
【０００７】
そして、本発明は、上記のいずれかに記載の方法をコンピュータに実行させるためのコンピュータに読み取り可能な命令を含むプログラムも提供する。
【発明の効果】
【０００８】
本発明の効果としては、縮小画像を拡大して表示するような場合であっても、拡大した画像の画質が粗くなることなく、比較的良好な画質により表示することができる。また、縮小画像を拡大して表示するのに必要なデータ量がそもそも少なくて済むので、例えば、情報端末を介して送信された縮小画像を拡大して表示する場合であっても、情報端末を利用するユーザへのコスト負担が低減されることになる。さらに、拡大した画像を表示するときに情報端末のリソースに与える負荷を減らすことができる。
【発明を実施するための最良の形態】
【０００９】
以下の実施態様では、本発明の内容の理解を容易にするため、情報端末での表示用に原画像Ｂを縮小して得られる縮小画像Ａと、その縮小画像Ａの縦横をそれぞれ２倍に拡大した画像Ｂ’とを例として説明する。しかしながら、本発明がこのような倍率や態様にのみ限定して解釈されるべきでないことに留意されたい。
【００１０】
図１に、本発明の画像処理方法を適応することができる画像処理システム１の概要を示す。ここで、画像処理システム１は、原画像Ｂに対して所定の画像処理を行って縮小画像Ａおよび処理データを作成して送信する処理データ作成部２と、縮小画像Ａおよび処理データを受信して原画像に近似する画像を合成する画像合成部３との組み合わせからなるものがある。
【００１１】
処理データ作成部２は、画像の縮小・伸長などの所定の画像処理を行うための演算部２０と、所定の画像処理されたデータを記憶しておくＨＤＤやメモリなどの記憶部２１と、画像内のある領域を選択するための領域選択部２２と、領域選択のための閾値を与えるための閾値入力部２３と、所定の画像処理によって得られた縮小画像および処理データを送信するための送信部２４とを含む。この処理データ作成部２は、ＣＰＵ、メモリ、入出力装置、ディスプレイなどを有するパーソナルコンピュータといったコンピュータ上でソフトウェアを実行することにより実現できるものである。
画像合成部３は、ＰＤＡや携帯電話やパーソナルコンピュータなどの情報端末でありうる。この画像合成部３は、一般に、送信部２４から送信された縮小画像および処理データを受信する受信部３４と、受信した縮小画像および処理データを記憶しておくＨＤＤやメモリなどの記憶部３１と、縮小画像を処理データに基づいて伸長し、伸長された縮小画像から原画像に近似した画像を合成するための演算部３０と、合成された画像を表示するための表示部３５とを含む。
なお、処理データ作成部２と画像合成部３との間のデータの送受信は、例えば、インターネットプロトコルを用いて有線または無線で行うことができる。
【００１２】
次に、図２を参照して、処理データについて説明する。図２（Ａ）は、縮小画像の縦横をそれぞれ２倍に拡大した場合に、縮小画像Ａの元の画素と、それを２倍に拡大した画像Ｂ’の対応する画素との関係を説明したものである。図２（Ａ）に示すように、縦横をそれぞれ２倍に拡大した場合には、例えばＨＬＳ色空間であれば、ある画素の有する色相（Hue、Ｈ値）や明度（Lightness、Ｌ値）や彩度（Saturation、Ｓ値）などの各値に対応する値ａがすべての画素に割り当てられることになる。
一方、図２（Ｂ）は、拡大した画像が本来もつべきＨＬＳ値などの値、つまり、原画像のＨＬＳ値などの値を示すものである。ここでは、原画像の各画素の値として、ｗ、ｘ、ｙ、ｚが割り当てられている。
従って、図２（Ｃ）に示すように、縮小画像を２倍に拡大した画像Ｂ’と原画像Ｂとの各画素におけるＨＬＳ値などの差分は、ａ−ｗ、ａ−ｘ、ａ−ｙ、ａ−ｚとなる。
【００１３】
なお、実際には、縮小画像Ａを拡大して原画像Ｂと比較したときに、すべての画素において、対応する各画素のすべての差分を問題とする必要がない場合がある。例えば、人物を対象とする画像の場合には、背景などの画像はその画質があまり重要ではない一方で、人物の顔の輪郭や眼、鼻、口などははっきりと表示させたい場合がある。そのような場合には、画像を周波数成分に分解して、所定の閾値よりも周波数成分の高い部分だけを選択して、処理データを取得することにより、データ量を少なくすることができる。あるいは、図１に示す領域選択部２２を用いて、画像において特に重要な部分となりうる人物の眼、鼻、口などを含む領域を予め選択し、選択された領域内にある画素の処理データを取得するような仕方で、処理対象とすべき画素を少なくすることができる。
【００１４】
次に、図３を参照して、色空間上での値について、ＨＬＳ色空間の場合を例として簡単に説明する。一般に、ＲＧＢ色空間において表現された画像は、ＨＬＳ色空間へと変換することができる。このとき、変換された画像は、ＨＬＳ色空間において、対応するＨとＬとＳとのそれぞれの値をもつことになる。そのため、上記の差分や処理データについても同様に、ＨＬＳ値の差分または処理データとして表現することができる。ＨＬＳ色空間へと変換するのは、ＨＬＳ色空間中では、人間の視覚により近い表現が可能となり、人間の視覚により近い数値操作が可能となるからである。なお、その他、ＨＳＶ色空間を用いることもできる。そして、その差分は、図３に示すように、ＨＬＳ色空間の３次元座標において距離（つまり、図３の（ｈ1,ｌ1,ｓ1）と（ｈ2,ｌ2,ｓ2）との間の距離）として表現することができる。このような距離は、一般に、画像間での差分が大きい場合には大きくなると考えられる。
【００１５】
次に、図４を参照して、図１の画像処理装置を用いた具体的な画像処理方法を説明する。まず、ステップ４００では、演算部２０を用いて、ＨＬＳまたはＨＳＶにより表現されている原画像Ｂを構成する画素の一部または全てをある倍率で縮小して、原画像Ｂの縮小画像Ａを作成する。このときの縮小の仕方は、特に限定されないが、複数の画素の特性値の平均をとって一画素の特性値とするようデータを間引くなどの非可逆的なものであってよい。例えば、縦横をそれぞれ２分の１に縮小する場合には、縦２個×横２個の計４個の画素の集合について、各画素におけるＨＬＳ値などの特性値の平均を求めて、それを縮小画像の１画素の特性値とすることができる。ここで、（１／２）×（１／２）の４分の１に縮小することだけに限らず、（１／３）×（１／３）の９分の１、（１／４）×（１／４）の１６分の１など、一般にｎ2分の１（ｎは２以上の整数）に縮小することもできる。また、原画像としては、例えば、ＪＰＥＧ形式などによって圧縮してあるものを用いることもできる。ステップ４０２では、演算部２０を用いて、前記原画像Ｂと同じ倍率になるように縮小画像Ａを伸長して、原画像Ｂの縮小伸長画像Ｂ’を得る。これによって、縮小画像Ａを拡大したときに、原画像Ｂと対比して処理データを求める際の比較対象となる画像Ｂ’を取得することができる。
【００１６】
なお、演算部２０を用いて、ＨＬＳ色空間のＨ値、Ｌ値、またはＳ値に対してあるパラメータを掛けるなどの重み付けを行うこともできる。重み付けの例を図５に示す。（Ａ）はもとのＨＬＳ色空間を示すが、（Ｂ）にあるように、これに明るさＬについて重み付けしたり、（Ｃ）にあるように、Ｌの上半分のみに重み付けするなど各種の操作ができる。また、必要に応じて、変換後の色空間における値域が[０、１] となるように正規化しておくこともできる。具体的には、次式である（数１）を用いて、例えば、ＨＬＳ色空間上の点(ｈ,ｌ,ｓ) を三次元空間の座標(ｘ,ｙ,ｚ) へと変換する。
【数１】
2006065630.tif 000003
これによって、変換後のｘ、ｙ、ｚの各値域は[−１、１] となる。このとき、必要に応じて変換後のl（すなわちｚ）の値にρを掛け合せることができる。ρの値域は(０、２) 程度を考慮しているが、任意の値を用いることができよう。次式である（数２）により、差分とする距離ｄを求める。ここで、添え字であるsrc、dat は、原画像とデータ画像とに対する座標値をそれぞれ表している。
【数２】
2006065630.tif 000004
なお、各画素についての差分の自乗である距離を求めた後に、それらを必要に応じて記憶部などに記憶しておくこともできる。
【００１７】
ステップ４０４では、縮小伸長画像と原画像との画素の差分を抽出し、この差分の自乗を距離として、一定値以上の距離を有する画素を処理すべき画素として決定する。ここで、例えば、領域選択部２２を用いて原画像内の第１領域を選択したり、所定の閾値を超える周波数成分をもつ画素を処理すべき画素としたりすることができる。これにより、処理すべき画素の数を少なくして、処理データのサイズを小さくすることができる。
具体的には、例えば、図２（Ａ）〜図２（Ｃ）に説明したように、原画像Ｂと、その縦横の比率が原画像Ｂの半分の大きさである縮小画像Ａをもとの大きさへと４倍に拡大した縮小伸長画像Ｂ’とを各画素において対比したときの差分を抽出している。ここで、各画素において差分を抽出するときには、例えば、ＨＬＳ色空間であれば色相（Hue、Ｈ値）と明度（Lightness、Ｌ値）と彩度（Saturation、Ｓ値）とのそれぞれに分けて差分を求めることができる。それによって、原画像Ｂと縮小伸長画像Ｂ’との各画素における差分を、ＨＬＳの３次元の色空間上での距離として数値化できる。そして、第１領域内の画素について数値化された差分を求める。例えば、所定の閾値（または距離）を越えた差分に対応する画素を処理すべき画素として選択できる。ここでは、４分の１の縮小と４倍の拡大の場合を例にとっているので、縦２個×横２個の計４個の画素を１つの集合として、この集合の中の各画素のＨ値、Ｌ値、Ｓ値のそれぞれの平均値を基準として、原画像のＨ値、Ｌ値、Ｓ値とのＨＬＳ色空間内の距離を計算し、それがある閾値を越えた場合に、この画素の集合を処理対象とするよう選択することができる。
また、数値化された差分とある閾値とを比較するときに、例えばＨＬＳ色空間の場合であれば明るさや色相や彩度などのいずれかを重視するような重み付けを行うことができる。例えば、図５（Ａ）に示すＨＬＳ空間のＬ値にあるパラメータを掛けることによって図５（Ｂ）に示すようにＬ値を重み付けしたＨＬＳ空間を形成して明るさを重視するよう調整することができる。また、Ｈ値やＳ値についても同様の仕方で、明るさよりも色相差や彩度差を重視するように調整することができる。また、ＨＬＳ値などの色情報に対してトーンカーブ的な処理である重み付け処理を適用することもできる。例えば、Ｌ値についてトーンカーブ的な重み付け処理を行うことにより、明るい部分については感度を高めたり、逆に低くしたりするように調整することができる。さらに、相違を判断する基準となる値を、平均値にするか、最大値または最小値とするかを選択することができるので、ディテールを重視するか、雰囲気を重視するかの調整を行うことができる。このような重み付けにより、処理すべき画素の数をさらに少なくすることができることがある。
【００１８】
ステップ４０６では、処理すべき画素に複数の画像処理ルールを適用し、該複数の画像処理ルールの中から最適な画像処理ルールを決定する。ここでは、例として、以下に説明するような画像処理が行われ、その中から最適な画像処理ルールが決められている。すなわち、このステップ４０６は、「めりはり処理」と「なじませ処理」と「平滑化処理」との３種類の画像処理ルールを含む。ここでは、ステップ４０４において処理すべきであると判断された画素または画素の集合について、「めりはり処理」と「なじませ処理」と「平滑化処理」との３種類の処理が実行される。そして、「めりはり処理」、「なじませ処理」、「平滑化処理」の３種類の処理から最適な処理が決定される。例えば、縮小画像Ａに対してそれぞれの処理をして得られる拡大画像中の画素と原画像Ｂの画素とにおいてＨＬＳ値を比較して、その距離が最も小さいものを最適な画像処理ルールとするよう決定することができる。
なお、「めりはり処理」、「なじませ処理」、「平滑化処理」の各画像処理ルールについての具体的な処理内容については後に説明する。
【００１９】
ステップ４０８では、演算部２０を用いて、最適な画像処理ルールに基づいて、縮小伸長画像Ｂ’と原画像Ｂとの各画素の処理データを求める。この処理データには、最適な画像処理ルールが何であるのかを特定するデータと、その画像処理ルールにおいて用いるパラメータの値とが含まれる。そのステップ４１０では、最適な画像処理ルールに従う処理データおよび縮小画像Ａを記憶部２１に記憶する。
【００２０】
ステップ４１２では、送信部２４を用いて、記憶部２１に記憶された最適な画像処理ルールに従う処理データおよび縮小画像Ａを、情報端末などの画像合成部３の受信部３４へと送信する。ここで、情報端末の画像合成部３には、処理データおよび縮小画像Ａとともに、最適な画像処理ルールやさらに平滑化処理を施すべきかを表すフラグを記述したデータを送信することができる。これによって、処理データおよび縮小画像Ａから拡大した画像を容易に合成して、送信先の情報端末の画像合成部３の表示部３２にその拡大した画像を綺麗に表示することができる。また、この送信に際しては、ＪＰＥＧやＴＩＦＦなどの画像用の非可逆データ圧縮技術、あるいはＺＩＰなどの一般的な可逆データ圧縮技術など、任意のデータ圧縮技術を用いてデータ量の圧縮を行うこともできる。
【００２１】
次に、上記のステップ４０６に説明した「めりはり処理」、「なじませ処理」、「平滑化処理」の３種類の画像処理ルールの具体的な内容を以下に説明する。
（２−１）めりはり処理
圧縮方法にもよるが、通常は、４倍に拡大した縮小伸長画像Ｂ’の画素の色情報（Ｈ値とＬ値とＳ値のそれぞれ）は、原画像Ｂの４画素を平均した値となっているものと考えることができる。そこで、縮小画像Ａのある画素の色を分解して得られる特定の色の組み合わせを仮定し、その色が占める面積比と方向との組み合わせに基づいて、仮定されたそれぞれの場合における原画像の拡大した画像の４画素の色の組み合わせを計算する。そして、それぞれの場合において得られた４画素の色を、原画像Ｂの対応する各画素と比較する。ここで、その自乗して和をとった距離の最も小さいものを、ここでの「めりはり処理」という画像処理ルールの最適な候補とする。そして、このときの条件を記憶部に記憶しておき、後に他の処理との間で最適な処理を選択するときに利用できるようにする。
つまり、めりはり処理とは、原画像を縮小したときに失われた色情報を近似的に再現しようとする処理である。
【００２２】
例えば、対象となる２×２の画素のブロック内の画素の平均値を求める色の基準値Ｃ０とする。この基準値Ｃ０は縮小画像Ａの元の画素の色である。そして、この基準となる色Ｃ０は、もともとある２色のＣ１とＣ２とからなっていたものと考える。つまり、図７（Ａ）に示すようになっているものと考える。ここで、色Ｃ１と色Ｃ２とは、ブロックに占める面積の割合とＣ０からの変化の制御とを考慮して決定される。まず、（数３）を用いて、変化の制御パラメータＰlevel により色Ｃ１を決定する。
【数３】
2006065630.tif 000005
Ｐlevel は、[０、１] の値をとる離散値であり、次式の（数４）により決定される。
【数４】
2006065630.tif 000006
ここで、この（数４）は、基準となる色Ｃ０の近傍をより細かくみることができる数式としての意義をもつものであり、特にこの（数４）だけに限定されるものではない。他の多くの式のいずれかを用いることも可能である。また、この（数４）において、Ｑは整数値であるlevel が変化する毎の増分の割当量を示し、levelの最大値であるlevelmax は０〜２５５までの範囲で色を分割する際の分割数を表す。例えば、Ｑ＝０．６、levelmax＝６とすることができる。このとき、Ｐlevel は、明るい方と暗い方との２種類があると考えると、合計で６×２＝１２段階となる。そして、上記の最適な画像処理ルールを表す３つのフラグと後述するぼかし処理の有無の１つのフラグとを、この１２段階に追加すると、データ量としては１２＋４＝１６段階となる。この１６段階は、４ビットのデータ量で表現することができる。
次に、各Ｐlevel に応じて色Ｃ２を求める。色Ｃ１をより広い面積を占める色とすると、色Ｃ２は、Ｃ０とＣ１を用いて、次式の（数５）および（数６）により表される。
【数５】
2006065630.tif 000007
より
【数６】
2006065630.tif 000008
ここで、ｍは色Ｃ１の占める面積比であり、そのｍのとり得る値は７／８、３／４、１／２の３通りであるから、図６に示す１６通りとなる。２×２の画素のブロック内へと色Ｃ１と色Ｃ２とを割り当てる際には、割り当てパターンを考慮し、必要に応じて色を混ぜ合わせる。例えば、色Ｃ１と色Ｃ２との割合が半分ずつであれば、それぞれの色を足し合わせた値を２で割った色を割り当てる。そのため、全部の組み合わせは、(パターン数＝１６)×(色の分割数＝６)×２＝１９２通りの組み合わせとなる。
そして、このように、計算された色Ｃ１と色Ｃ２とｍの値から各画素の色を求める。最後に、原画像Ｂの対応する画素の色との差をとって、距離が最も小さいものを最適な各画素の色の候補として記憶する。
また、上記の図６に示す１６通りを表現するために、さらに４ビットのデータ量を必要とする。そのため、処理データを合計したデータ容量は、１６段階を表すための４ビットと、図６の１６通りを表す４ビットとを加えて最大１バイトで表現することができる。例えば、０〜１１をめりはり処理、１２をなじませ処理、１３を平滑化処理、１４をさらに分割する処理、１５を何もしない等の処理を指示するものとして、処理内容に付属する情報を４ビットで表現することができる。
上記の情報を利用することにより、情報端末の表示部に拡大画像を合成して表示する場合に、縮小画像と処理データとの合成が容易になる。
【００２３】
（２−２）なじませ処理
この処理では、縮小画像Ａの画素は、原画像Ｂにある境界上にあったものと仮定する。そこで、その境界のベクトルを、いくつかのベクトルの集合のうちの１つのベクトルで近似できるものとする。より具体的には、図６に例示する１６通りで近似できるものとする。対象画素の周囲の画素の色から（対象画素の色は除かれている）、４画素の色の組み合わせを算出する。そして、これらの１６通りの組み合わせと元の４画素とを比較する。ここで、比較したときの距離が最も小さい組み合わせのものを、この「なじませ処理」という画像処理ルールの最適な候補とする。そして、このときの条件を記憶部に記憶しておき、後に他の処理との間で最適な処理を選択するときに利用できるようにする。
例えば、対象となる２×２の画素のブロック内に２色の色であるＣ１とＣ２の境界が存在するものと仮定して画素値を決定する。ここで、色Ｃ１とＣ２の境界となるパターンは、図６に示すように画素の区切りとその回転を考慮して１６通りで近似する。色Ｃ１とＣ２は、周囲の３つの画素と境界ベクトルを用いて決めることができる。そして、それぞれのパターンでの各色が占める面積の割合に基づいて算出した加重平均から、４つの画素のそれぞれの色を決定する。
つまり、なじませ処理とは、縮小画像Ａの対象画素がある境界上にあったと仮定して、その境界を近似して、２色の組み合わせの可能性を求める処理である。
なお、上記のめりはり処理と同様に、この結果は処理データとして記憶され、そのデータ容量を１バイト以内にすることができる。
【００２４】
（２−３）平滑化処理
この処理では、縮小画像を拡大した画像の各画素は、その画素に隣接する上または下および左または右の画素の平均値になっているものと仮定する。そのため、注目した画素に隣接する画素の色情報を考慮してその画素の色を決定する。この場合において、注目する画素の色情報として、平均値になっているかか、または元の値になっているかによって、二者選択なので１ビットの情報があり４画素分で２4＝１６通りの組み合わせが考えられる。
ここで、原画像を比較したときの距離が最も小さい組み合わせのものを、この「平滑化処理」という画像処理ルールの最適な候補とする。そして、このときの条件を記憶部に記憶しておき、後に他の処理との間で最適な処理を選択するときに利用できるようにする。
つまり、平滑化処理とは、めりはり処理とは逆に、原画像を縮小してそれを拡大したときに隣接画素間の色差が強調されてしまう可能性があるが、この隣接画素間の色差の強調を防ぐために、隣接画素との平滑化を試みる処理である
【００２５】
ここで、平滑化処理について図７（Ｂ）を参照して説明する。ここでは、注目画素としてａ、ｂ、ｃ、ｄの４画素を含む２×２の画素の集合を考える。ここでは、各画素であるａ、ｂ、ｃ、ｄの各値が、その上下左右に隣接する２画素の平均であると考える。
例えば、図７（Ｂ）の画素ｂに注目すると、この画素ｂは、その上が座標（１、０）で示される画素に隣接し、その横が座標（２、１）で示される画素に隣接している。そのため、簡単な場合には、例えば、ＲＧＢ値、ＨＬＳ値などの画素ｂの値は、座標（１、０）と座標（２、１）とで示される画素のＲＧＢ値、ＨＬＳ値を加えて２で割ったものに等しいと考えることができる。また、場合によっては、座標（１、０）や座標（２、１）の他にも座標（２、０）を入れることができる。
また、上記の場合において、画素ｂの周辺にある他の画素の影響や、画素ｂの上に隣接する座標（１、０）と横で隣接する座標（２、１）とで示される画素に、異なる重み付けを行ってから平均をとるような加重平均により求めることもできる。また、上述のような２画素と自身が属する画素の加重平均とすることもできる。
このように、縮小画像中のある注目する画素に対応する縮小伸長画像の４画素（１ブロックを構成する）について、ブロックの上下左右に接する２以上の画素の平均を画素値とする処理を実行する。この場合、４画素ａ、ｂ、ｃ、ｄのそれぞれについて、算出した平均値を用いるのか、それとも元の値を用いるのかによって、合計で１６通りの組み合わせがある。また、メジアン（中央値）や加重平均平滑化した値を用いることもできる。メジアンを用いる場合には、座標(ｘ、ｙ) とその近傍の画素（８近傍ないし４近傍）について、それらの画素値の中央値（平均値ではない）で座標(ｘ、ｙ)の画素値を置換する。また、加重平均平滑化した値を用いる場合には、座標(ｘ、ｙ) とその近傍の画素（８近傍ないし４近傍）について重みづけを行い，それらを足し合わせた値で座標(ｘ、ｙ)の画素値を置換する。なお、重みづけには二次元正規分布に従うものなどが考えられる。そして、この結果は処理データとして記憶され、そのデータ容量は１バイト以内とすることができる。
なお、上記のめりはり処理と同様に、この結果は処理データとして記憶され、そのデータ容量を１バイト以内にすることができる。
【００２６】
また、色空間差マップなどを作成する場合には、上記の各画素の処理データに対して、２×２の画素の集合を単位として、次式の値を求める。
【数７】
2006065630.tif 000009
但し、ｄave はブロック内の距離値の平均であり、ｄmax はブロック内の距離値の最大値である。また、Ｐは、ユーザによって与えられる値であり、[０、１] の値をとる。Ｐにより平均と最大値のどちらに加重をおくのかを定める。また、（数７）のかわりに、単純平均を用いることも可能である。
【００２７】
（ぼかし処理）
以上の画像処理においては、主にＨＬＳ色空間またはＨＳＶ色空間における距離が所定の閾値以上となる画素を抽出して、所定の各画像処理ルールを適用することを説明してきた。しかしながら、このような画像処理が適用されない画素であっても、さらなる画像処理を行うのが好ましい場合がある。例えば、画像処理が適用されない画素が人間の肌である場合には、このような部分を未処理のままにしておくとジャギーが目立つことがある。そのため、そのような画素に対して、ぼかし処理をさらに適用することができる。ここで、ぼかし処理とは、ＨＬＳ色空間における隣接する画素間の距離の差を少なくするようにフィルタ等を適用する処理を意味する。
【００２８】
次に、ぼかし処理について説明する。まず、ＨＬＳ色空間上での距離を所定の閾値と比較し、その距離が所定の閾値を超えた画素をぼかし処理の処理対象画素とする。なお、この所定の閾値は、任意に変更することができ、前記の画像処理ルールを適用するか否かを決めるための閾値と同一でも異なっていてもよい。
【００２９】
次に、ぼかし処理の具体的な処理内容を説明する。ここで、ぼかし処理の対象画素を（ｘ、ｙ）と表現する。ここでのぼかし処理は、（ｘ、ｙ）とその周辺にある画素との間において、平均値またはメジアンをとる仕方と、所定の分散を有するガウス分布を適用する仕方と、（ｘ、ｙ）の値をガウス分布を適用する場合に比べてより重視する仕方との３つを含む。つまり、ぼかし処理とは、前記のめりはり、なじませ、平滑化の処理を行っていない対象画素に対して周囲の画素の色値を考慮に入れて平準化を行うものである。
平均値をとる仕方では、（ｘ、ｙ）とその周りの８画素、または（ｘ、ｙ）とその上下左右にある４画素との間で、ＲＧＢのそれぞれについて平均値を求め、求められた平均値を（ｘ、ｙ）の値として採用する。同様に、メジアンをとる仕方では、ＲＧＢのそれぞれについて、（ｘ、ｙ）とその周りの８画素、または上下左右４画素の値を整列し、その列の真ん中の値を（ｘ、ｙ）の値として採用する。
また、所定の分散を有するガウス分布を適用する仕方では、（ｘ、ｙ）とその周りの８画素との間でＲＧＢのそれぞれについて（ｘ、ｙ）を中心とした半径０．５または０．７５のガウスぼかしを適用する。
さらに、（ｘ、ｙ）の値を重視する仕方では、（ｘ、ｙ）の画素値の重み付けを大きくした上で、（ｘ、ｙ）の周りの８画素または４画素の色値を考慮に入れて、その（ｘ、ｙ）の画素の色を決定する。このような３種のぼかし処理が考えられるがそのうちの１つを選んで使用することができる。
【００３０】
なお、上記のめりはり、なじませ、平滑化などの画像処理は、画素を単位として説明してきたが、以下に説明するように、ぼかし処理では、処理対象を画素の集合からなる領域とすることもできる。そのような領域の決定は具体的に以下のように行うことができる。
まず、例えば、原画像Ｂと縮小伸長画像Ｂ’とについて４×４の画素のブロック単位でＲ、Ｇ、ＢからＨ、Ｌ、Ｓへの変換をそれぞれ行い、原画像Ｂと縮小伸長画像Ｂ’とのそれぞれについて４×４の画素のブロックにおける平均値を算出する。そして、各画素において求めた平均値からの差分を求める。
そして、例えば、８×８の画素のブロック単位で閾値以上の画素が３２個以上（つまり、８×８の画素のブロックに占める割合が半分以上である）ならば、そのブロック全体を対象領域とする（但し、その領域内で画質改善処理の対象となっている画素は除く）。
【００３１】
最後に、縮小画像と処理データを保持または記憶する方法を簡単に説明する。例えば、縮小画像として２４０×２４０の画素を含む画像を、８×８の画素の集合へと分けた場合を考える。ここで、８×８の画素の集合を１ブロックとすると、縮小画像の全ブロック数は、３０×３０＝９００であれば足りる。そのため、例えば０〜８９９のブロックテーブルにこの縮小画像を記憶することができる。なお、これらのブロック中には、縮小画像を拡大するときに参照されないものも一部に含まれているが、そのようなブロックにはゼロが入っている。
そして、このブロックテーブルに基づいて、縮小画像を拡大するための処理テーブルが作成される。ここで、拡大処理においては、各画素（つまり、２×２に伸長される画素）は、各ブロックについての最適な処理内容が４ビットで記述され、その処理内容に付属する情報が４ビットで記述されるので、処理データの合計のデータ量を１バイトとすることができる。
そして、ある画像全体のデータ量は、前記の距離についてのある一定の値、閾値をどのように選ぶかで変動する。一般に、この閾値を大きくすれば、データ量は小さくなり、小さくすればデータ量は大きくなる。このデータ量は、拡大画像の質とトレードオフの関係にある。
【００３２】
なお、Ｊａｖａ言語やＣ言語などによるコンピュータプログラムを用いて、本明細書中に説明してきた画像処理方法をコンピュータに実行させることができる。
【００３３】
以上に、本発明の内容を具体例を挙げて説明してきたが、これらの具体例は本発明の内容を当業者に実施可能にするよう説明することを目的とするものであり、本発明をこれらの具体例に限定して考えるべきものではないことを理解されたい。
【図面の簡単な説明】
【００３４】
【図１】本発明を実施するために使用される画像処理装置１を示す概略図である。
【図２】本発明の処理データを作成する手順を示す概略図である。
【図３】一般的なＨＬＳ色空間と、その空間での距離を示す概略図である。
【図４】本発明の画像処理方法の各ステップを説明する流れ図である。
【図５】（Ａ）は、あるＨＬＳ色空間を示す概略図である。（Ｂ）は、（Ａ）のＨＬＳ色空間において明るさを表すＬ値の全体が重み付けされたＨＬＳ色空間を示す概略図である。（Ｃ）はＬ値の正の側のみに重み付けを加えた例を示す。
【図６】本発明において、対象となる２×２の画素のブロック内で仮定される２つの色Ｃ１およびＣ２の分け方として考えられる１６通りの境界ベクトルを示す概略図である。
【図７】Ａは、対象となる２×２の画素のブロック内の画素の平均値を求める色の基準値Ｃ０が、もともとある２色のＣ１とＣ２とからなっていたと考えて、このブロックに占める面積の割合と明るさのレベルとを考慮して決定できるものであることを示す説明図である。Ｂは、本発明の平滑化処理において、注目画素(画像処理対象画素)とその周辺にある画素との関係を示す説明図である。
【符号の説明】
【００３５】
１  画像処理装置
２  処理データ作成部
３  画像合成部
２０、３０  演算部
２１、３１  記憶部
２２  領域選択部
２３  入力部
２４  送信部
３４  受信部
３５  表示部
【図１】
2006065630.tif 000010
【図２】
2006065630.tif 000011
【図３】
2006065630.tif 000012
【図４】
2006065630.tif 000013
【図５】
2006065630.tif 000014
【図６】
2006065630.tif 000015
【図７】
2006065630.tif 000016