(57)【要約】【課題】  エントロピー符号化により画像を圧縮する際に、シワ成分を除去する手法を用いて、画質を劣化させることなく圧縮率を向上させる。【解決手段】  画像Ｄ０からシワ成分を抽出し、シワ成分が除去されたシワ除去済み画像Ｓ′０（Ｙ１）を生成する。シワ除去済み画像Ｓ′０（Ｙ１）および画像Ｄ０から得た色差値Ｃｂ０、Ｃｒ０をＪＰＥＧ圧縮して圧縮処理済み画像Ｄ１を得る。シワ除去済み画像Ｓ′０（Ｙ１）は画像Ｄ０と比較して、信号値が一定の平坦な領域が増えているため、ＪＰＥＧ圧縮においてエントロピー符号化を行う際の圧縮率を高めることができ、その結果、シワ成分が除去されることにより画質を向上させることができるのに加えて、エントロピー符号化による圧縮率を高めることができる。【選択図】          図１
2006081156.tif 000002
【特許請求の範囲】
【請求項１】
原画像に基づいて、該原画像の複数の周波数帯域ごとの成分を表す複数の帯域制限画像を作成する帯域制限画像作成手段と、
出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下である入力値に対しては、該入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が前記所定の閾値より大きい入力値に対しては、出力値の絶対値が前記所定の閾値に対応する出力値の絶対値以下となる非線形変換処理を各前記帯域制限画像の夫々の画素値に対して施して複数の変換画像を得る変換手段と、
所定の減算係数を前記複数の変換画像の画素値に乗算する乗算手段と、
前記原画像の画素値から、前記減算係数を乗算された前記複数の変換画像の画素値を減算して処理済み画像の画素値を得る減算処理手段と、
前記処理済み画像をエントロピー符号化して圧縮処理済み画像を得る圧縮手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記圧縮手段は、前記処理済み画像を周波数変換して複数の周波数帯域ごとの周波数画像を得、該周波数画像をエントロピー符号化する手段であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記原画像が顔を含むことを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
原画像に基づいて、該原画像の複数の周波数帯域ごとの成分を表す複数の帯域制限画像を作成し、
出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下である入力値に対しては、該入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が前記所定の閾値より大きい入力値に対しては、出力値の絶対値が前記所定の閾値に対応する出力値の絶対値以下となる非線形変換処理を各前記帯域制限画像の夫々の画素値に対して施して複数の変換画像を得、
所定の減算係数を前記複数の変換画像の画素値に乗算し、
前記原画像の画素値から、前記減算係数を乗算された前記複数の変換画像の画素値を減算して処理済み画像の画素値を得、
前記処理済み画像をエントロピー符号化して圧縮処理済み画像を得ることを特徴とする画像処理方法。
【請求項５】
原画像に基づいて、該原画像の複数の周波数帯域ごとの成分を表す複数の帯域制限画像を作成する手順と、
出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下である入力値に対しては、該入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が前記所定の閾値より大きい入力値に対しては、出力値の絶対値が前記所定の閾値に対応する出力値の絶対値以下となる非線形変換処理を各前記帯域制限画像の夫々の画素値に対して施して複数の変換画像を得る手順と、
所定の減算係数を前記複数の変換画像の画素値に乗算する手順と、
前記原画像の画素値から、前記減算係数を乗算された前記複数の変換画像の画素値を減算して処理済み画像の画素値を得る手順と、
前記処理済み画像をエントロピー符号化して圧縮処理済み画像を得る手順とを有することを特徴とする画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、写真画像等の原画像をエントロピー符号化することにより圧縮する画像処理装置および方法並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
一般的なＪＰＥＧ圧縮の分野においては、画像データをブロック分割した後に離散コサイン変換（ＤＣＴ）し、ビット配分を決定して量子化を行って量子化データを得、この量子化データを、ランレングス符号化およびハフマン符号化等の手法によりエントロピー符号化して圧縮を行っている。このようなＤＣＴを用いた符号化方式において、各ブロックにおけるデータは、直流成分と交流成分とに分解され、交流成分においてはそのブロックにおける低周波から高周波までの構造物を表すものである。このため、画像データをウェーブレット変換等の手法により周波数変換し、これにより得られたデータをエントロピー符号化することにより、画像データを圧縮することも可能である。
【０００３】
このようなエントロピー符号化を用いて画像を圧縮する際に、ＤＣＴにより得られたＤＣＴ係数の平均輝度に応じて量子化のステップを変更することにより、視覚的な画質劣化を抑えながら圧縮率を向上させる方法が提案されている（特許文献１参照）
一方、人物の顔を含む原画像（以下略して単に画像という）からシワやシミ等を抑制、除去する美肌処理が従来行われている。例えば、ノイズ除去に通常用いられるローパスフィルタ（ＬＰＦ）を適用することにより美肌処理を行うことができる。
【０００４】
また、特許文献２には、シワ、シミを除去しつつ、肌の肌理、質感を保持するために、閾値ε０の値が大きい非線形関数を適用してシワ等の成分を抽出し、閾値ε０の値が小さい非線形関数を適用して肌の肌理、質感を表す成分を抽出し、さらに、元の信号からシワ等の成分を減ずるとともに、肌の肌理、質感を表す成分を加算することによって、シワ、シミ等を除去しつつ、肌の肌理、質感を保持する方法が提案されている。
【特許文献１】特開平７−２０３４３２号公報
【特許文献２】特開２００１−１１８０６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したように画像を圧縮する場合、圧縮率を高くすると圧縮後の画像のデータ量は少なくなるものの、画質が劣化する。
【０００６】
本発明は上記事情に鑑みなされたものであり、エントロピー符号化により画像を圧縮する際に、シワ、シミ等を除去する手法を用いて、画質を劣化させることなく圧縮率を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、原画像に基づいて、該原画像の複数の周波数帯域ごとの成分を表す複数の帯域制限画像を作成する帯域制限画像作成手段と、
出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下である入力値に対しては、該入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が前記所定の閾値より大きい入力値に対しては、出力値の絶対値が前記所定の閾値に対応する出力値の絶対値以下となる非線形変換処理を各前記帯域制限画像の夫々の画素値に対して施して複数の変換画像を得る変換手段と、
所定の減算係数を前記複数の変換画像の画素値に乗算する乗算手段と、
前記原画像の画素値から、前記減算係数を乗算された前記複数の変換画像の画素値を減算して処理済み画像の画素値を得る減算処理手段と、
前記処理済み画像をエントロピー符号化して圧縮処理済み画像を得る圧縮手段とを備えたことを特徴とするものである。
【０００８】
ここで、「原画像」としては写真画像のみならず、アニメーションの画像をも含むものである。「写真画像」とは、デジタルカメラ等で被写体を撮像して得たデジタル画像は勿論、スキャナ等の読取装置で銀塩写真フィルムや、印刷物（例えばプリント）等にある画像を読み取って得たデジタル画像も含むものである。
【０００９】
また、「シワ成分」としては、顔に含まれるシワのみならず、ノイズ、シミ等の顔に含まれ、除去することにより、顔の肌の肌理、質感を向上させたり、人物を若く見せることができる成分を意味するものとする。
【００１０】
ここで、前記所定の減算係数は、前記原画像の各画素に対して同じものを用いてもよいが、前記原画像の画素値に応じて決められたものであることが好ましい。
【００１１】
画像において、ノイズ、シワ、シミ等のシワ成分は、画像の画素値に対応した異なる存在態様を有するものである。例えば、ノイズは、画像中の暗い部分（すなわち輝度値が小さい部分）に多く発生するため、画素値が大きいほど小さい（逆に画像値が小さいほど大きい）減算係数を用いるようにすると、ノイズ除去効果を高めることができる。
【００１２】
また、シワ、シミ等の成分は、髪の毛等より明るい肌部分に存在するので、画素値、例えば輝度値が大きいほど大きい（逆に画素値が小さいほど小さい）減算係数を用いるようにすると、シワ、シミ等の成分を除去することができるとともに、特にシワ、シミ等の成分を抑制する効果、いわゆる美肌効果を得ることができる。
【００１３】
また、前記非線形変換処理は、絶対値が前記所定の閾値より大きい入力値に対して、出力値の絶対値がほぼ一定となる処理であることが好ましい。
【００１４】
また、前記所定の閾値は、処理する前記帯域制限画像の周波数帯域に応じて決められたものであることが好ましい。
【００１５】
なお、本発明による画像処理装置においては、前記圧縮手段を、前記処理済み画像を周波数変換して複数の周波数帯域ごとの周波数画像を得、該周波数画像をエントロピー符号化する手段としてもよい。
【００１６】
また、本発明による画像処理装置においては、前記原画像が顔を含むものであることが好ましい。
【００１７】
本発明による画像処理方法は、原画像に基づいて、該原画像の複数の周波数帯域ごとの成分を表す複数の帯域制限画像を作成し、
出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下である入力値に対しては、該入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が前記所定の閾値より大きい入力値に対しては、出力値の絶対値が前記所定の閾値に対応する出力値の絶対値以下となる非線形変換処理を各前記帯域制限画像の夫々の画素値に対して施して複数の変換画像を得、
所定の減算係数を前記複数の変換画像の画素値に乗算し、
前記原画像の画素値から、前記減算係数を乗算された前記複数の変換画像の画素値を減算して処理済み画像の画素値を得、
前記処理済み画像をエントロピー符号化して圧縮処理済み画像を得ることを特徴とするものである。
【００１８】
なお、本発明による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００１９】
本発明によれば、原画像に基づいて作成されたこの原画像の複数の異なる周波数帯域ごとの成分を表す複数の帯域制限画像に対して非線形変換処理を施して複数の変換画像を得、複数の変換画像に所定の減算係数を乗算し、原画像の画素値から減算係数が乗算された複数の変換画像の画素値を減算して処理済み画像の画素値を得、この処理済み画像をエントロピー符号化して圧縮処理済み画像を得るようにしたものである。
【００２０】
ここで、複数の変換画像を得るための非線形変換処理は、出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下の入力値に対しては、入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が所定の閾値より大きい入力値に対しては、出力値の絶対値がこの所定の閾値に対応する出力値の絶対値以下となる処理である。この非線形変換処理により得られた変換画像が、当該変換画像が対応する周波数帯域におけるシワ、シミまたはノイズ等の振幅の小さいシワ成分を表すものである。したがって、この複数の変換画像の画素値に所定の減算係数を乗算して、元の原画像の画素値から減算して処理済み画像の画素値を得ることにより、原画像から複数の周波数帯域におけるシワ、シミまたはノイズ等のシワ成分を効果的に除去することができる。
【００２１】
一方、シワ成分は原画像において比較的コントラストが弱い微少な振幅の成分であり、処理済み画像においてはこの微少な振幅の成分が取り除かれていることとなる。したがって、処理済み画像においては元の原画像と比較して信号値が一定の平坦な領域が増えることとなるため、シワ成分が除去されることにより画質を向上させることができるのに加えて、エントロピー符号化を行う際の圧縮率を高めることができる。
【００２２】
また、本発明においては上述したように帯域制限画像からシワ成分を表す変換画像を得ているため、原画像における非常に広い周波数帯域に亘ってシワ成分を除去することが可能である。このため、処理済み画像を離散コサイン変換、ウェーブレット変換等により周波数変換して複数の周波数帯域ごとの周波数帯域画像（ＤＣＴ係数、ウェーブレット変換係数等）を得、周波数帯域画像をエントロピー符号化することにより、周波数帯域ごとに信号値が一定の平坦な領域を増やすことができ、これにより、原画像の圧縮率をより高めることができる。
【００２３】
また、原画像を顔を含むものとすることにより、例えば人物認識を行うために顔画像をデータベースとして保管する際に、データベースの容量を小さくすることができる。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照して、本発明の実施形態について説明する。図１は、本発明の実施形態による画像処理装置の構成を示すブロック図である。なお、本実施形態の画像処理装置は、人物を含む写真画像（以下略して画像という）に対して美肌処理を行うとともに、美肌処理が施された処理済み画像データを圧縮するためのものであり、補助記憶装置に読み込まれた圧縮処理プログラムをコンピュータ（例えばパーソナルコンピュータ等）上で実行することにより実現される。また、この圧縮処理プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。
【００２５】
また、画像データは画像を表すものであるため、以下、特に画像と画像データの区別をせずに説明を行う。
【００２６】
図１に示すように、本実施形態の画像処理装置は、原画像Ｓ０の互いに周波数応答特性が異なる複数のボケ画像Ｓ１、Ｓ２、・・・Ｓｎ（ｎ：２以上の整数）を作成するボケ画像作成手段３と、原画像Ｓ０およびボケ画像Ｓ１、Ｓ２、・・・Ｓｎを用いて複数の帯域制限画像Ｔ１、Ｔ２、・・・Ｔｎを作成する帯域制限画像作成手段５と、帯域制限画像Ｔ１、Ｔ２、・・・Ｔｎに対して非線形変換処理をそれぞれ施して各帯域制限画像が対応する周波数帯域におけるシワ成分Ｑ１、Ｑ２、・・・Ｑｎを抽出するシワ成分抽出手段７と、原画像Ｓ０からシワ成分を除去してシワ除去済み画像Ｓ′０（Ｙ１）を得るシワ成分除去手段９と、シワ除去済み画像Ｓ′０（Ｙ１）およびＹＣＣ変換手段１により得られた色差値Ｃｂ０、Ｃｒ０をＪＰＥＧ圧縮して圧縮処理済み画像Ｄ１を得る圧縮手段１１とを有する。
【００２７】
以下、本実施形態の各構成の詳細について説明する。
【００２８】
ＹＣＣ変換手段１は、下記の式（１）に従って、画像Ｄ０の各画素のＲ、Ｇ、Ｂ値を輝度値Ｙ、色差値Ｃｂ、Ｃｒに変換する。
【００２９】
Ｙ＝０．２９９０×Ｒ＋０．５８７０×Ｇ＋０．１１４０×Ｂ
Ｃｂ＝−０．１６８７×Ｒ−０．３３１３×Ｇ＋０．５０００×Ｂ＋１２８    （１）
Ｃｒ＝０．５０００×Ｒ−０．４１８７×Ｇ−０．０８１３×Ｂ＋１２８
ボケ画像作成手段３は、ＹＣＣ変換手段１により得られた輝度値Ｙ０を用いて、複数のボケ画像を作成する。図２はボケ画像作成手段３の構成を示すブロック図である。本実施形態の画像処理装置において、ボケ画像作成手段３は、輝度値Ｙ０にフィルタリング処理を行ってフィルタリング画像Ｂ１、Ｂ２、・・・Ｂｎを得るフィルタリング手段３１と、各フィルタリング画像に対して補間処理を行う補間手段３３と、フィルタリング手段３１および補間手段３３を制御する制御手段３５とを有してなるものである。
【００３０】
フィルタリング手段３１は、ローパスフィルタを用いてフィルタリング処理を行うものであり、このローパスフィルタとしては、例えば図３に示すような５×１のグリッド状の１次元ガウス分布に略対応したフィルタＦを用いることができる。このフィルタＦは下記の式（２）において、σ＝１としたものである。
【数１】
2006081156.tif 000003
【００３１】
フィルタリング手段３１は、このようなフィルタＦを用いて処理対象となる画像に対して画素のｘ方向およびｙ方向に対してフィルタリング処理を施すことにより処理対象の画像の全体のフィルタリング処理を行う。
【００３２】
図４はボケ画像作成手段３の制御手段３５が、フィルタリング手段３１と補間手段３３に行わせる処理の詳細を示している。図示のように、フィルタリング手段３１は、まず、原画像Ｓ０（Ｙ０）に対して、図３に示すフィルタＦを用いて１画素おきにフィルタリング処理を行う。このフィルタリング処理によってフィルタリング画像Ｂ１（Ｙ１）が得られる。フィルタリング画像Ｂ１のサイズは、原画像Ｓ０のサイズの１／４（ｘ方向、ｙ方向にそれぞれ１／２）となっている。次いで、フィルタリング手段３１は、フィルタリング画像Ｂ１（Ｙ１）に対しても１画素おきにフィルタＦによるフィルタリング処理を施し、フィルタリング画像Ｂ２（Ｙ２）を得る。フィルタリング手段３１は、このようなフィルタＦによるフィルタリング処理を繰り返し、ｎ個のフィルタリング画像Ｂｋ（ｋ＝１〜ｎ）を得る。フィルタリング画像Ｂｋのサイズは、原画像Ｓ０のサイズの１／２2Kとなっている。図５は、例としてｎ＝３としたときに、フィルタリング手段３１により得られた各フィルタリング画像Ｂｋの周波数特性を示している。図示のように、フィルタリング画像Ｂｋのレスポンスはｋが大きいほど高周波成分が除去されたものとなっている。
【００３３】
なお、本実施形態の画像処理装置において、フィルタリング手段３１は、図３に示すフィルタＦにより画像のｘ方向およびｙ方向に対してフィルタリング処理を施すようにしているが、図６に示すような５×５の２次元フィルタにより原画像Ｓ０およびフィルタリング画像Ｂｋに対して一度にフィルタリング処理を施すようにしてもよい。
【００３４】
補間手段３３は、フィルタリング手段３１により得られた各フィルタリング画像Ｂｋに対して補間処理を行って、それぞれのフィルタリング画像Ｂｋを原画像Ｓ０と同一サイズにする。補間処理の方法は、Ｂスプラインによる方法等種々挙げられるが、本実施形態においては、フィルタリング手段３１は、ローパスフィルタとしてガウス信号に基づくフィルタＦを用いているため、補間手段３３は、補間処理の補間演算を行うための補間係数としてもガウス信号を用いるものとする。この補間係数は、下記の式（３）において、σ＝２Ｋ−１と近似したものである。
【数２】
2006081156.tif 000004
【００３５】
フィルタリング画像Ｂ１を補間する際にはｋ＝１であるため、σ＝１となる。上記式（３）においてσ＝１としたときの補間を行うためのフィルタは、図７に示すような５×１の１次元フィルタＦ１となる。補間手段３３は、まず、フィルタリング画像Ｂ１に対して１画素おきに値が０の画素を１つずつ補間することによりフィルタリング画像Ｂ１を原画像Ｓ０と同じサイズに拡大し、次いで拡大された画像に対して図７に示すフィルタＦ１によりフィルタリング処理を施してボケ画像Ｓ１を得る。このボケ画像Ｓ１は、原画像Ｓ０と同じ画素数、すなわち原画像Ｓ０と同じサイズを有する。
【００３６】
ここで、図７に示すフィルタＦ１は５×１のフィルタであるが、フィルタＦ１を適用する前にフィルタリング画像Ｂ１に対して１画素おきに値が０である画素を補間しているため、補間手段３３による補間処理は、実質的には２×１のフィルタ（０．５，０．５）および３×１のフィルタ（０．１，０．８，０．１）の２種類のフィルタによるフィルタ処理と等価である。
【００３７】
補間手段３３は、フィルタリング画像Ｂ２に対して補間を行う際にはｋ＝２であるため、σ＝２である。上記の式（３）において、σ＝２に対応するフィルタは、図８に示す１１×１の１次元フィルタＦ２となる。補間手段３３は、まず、フィルタリング画像Ｂ２に対して１画素おきに値が０である画素を３つずつ補間することによりフィルタリング画像Ｂ２を原画像Ｓ０と同じサイズに拡大し、次いで拡大された画像に対して図８に示すフィルタＦ２によりフィルタリング処理を施してボケ画像Ｓ２を得る。ボケ画像Ｓ２は、原画像Ｓ０と同じ画素数、すなわち原画像Ｓ０と同じサイズを有する。
【００３８】
同じように、図８に示すフィルタＦ２は１１×１のフィルタであるが、フィルタＦ２を適用する前にフィルタリング画像Ｂ２に対して１画素おきに値が０である画素を３つずつ補間しているため、補間手段３３による補間処理は、実質的には２×１のフィルタ（０．５，０．５）および３×１のフィルタ（０．３，０．６５，０．０５）、（０．３，０．７４，０．１３）、（０．０５，０．６５，０．３）の４種類のフィルタによるフィルタ処理と等価である。
【００３９】
補間手段３３は、このように各フィルタリング画像Ｂｋに対してそれぞれ、１画素おきに値が０である画素を（２Ｋ−１）個ずつ補間することにより、フィルタリング画像Ｂｋを原画像Ｓ０と同じサイズに拡大し、そして値が０である画素が補間されたフィルタリング画像Ｂｋに対して、上記の式（３）に基づいて作成された長さが（３×２Ｋ−１）であるフィルタによるフィルタリング処理を施してボケ画像Ｓｋを得る。
【００４０】
図９は、例としてｎ＝３としたときに、ボケ画像作成手段３により得られた各ボケ画像Ｓｋの周波数特性を示している。図示のように、ボケ画像Ｓｋは、ｋが大きいほど、原画像Ｓ０の高周波成分が除去されたものとなっている。
【００４１】
帯域制限画像作成手段５は、ボケ画像作成手段３により得られた各ボケ画像Ｓ１，Ｓ２，・・・Ｓｎを用いて、下記の式（４）に従って原画像Ｓ０の複数の周波数帯域毎の成分を表す帯域制限画像Ｔ１，Ｔ２，・・・Ｔｎを作成する。  
Ｔｍ＝Ｓ（ｍ−１）−Ｓｍ                  （４）
但し，ｍ：１以上ｎ以下の整数
【００４２】
図１０は、例としてｎ＝３としたときに、帯域制限画像作成手段５により得られた各帯域制限画像Ｔｍの周波数特性を示している。図示のように、帯域制限画像Ｔｍは、ｍが大きいほど、原画像Ｓ０の低周波数領域における成分を表すものとなっている。
【００４３】
シワ成分抽出手段７は、帯域制限画像作成手段５により得られた各帯域制限画像Ｔｍ（ｍ＝１〜ｎ）に対して非線形変換を行ってそれぞれの帯域制限画像Ｔｍが対応する周波数帯域におけるシワ、シミ、ノイズ等の成分（以下シワ成分とする）Ｑ１，Ｑ２，・・・，Ｑｎを抽出するものである。この非線形変換は、出力値を入力値以下にする処理であって、かつ所定の閾値以下の入力値に対しては、入力値が大きいほど出力値が大きくなる一方、所定の閾値より大きい入力値に対しては、出力値が所定の閾値に対応する出力値以下となる処理であって、本実施形態においては、図１１に示すような関数ｆにより行われるものである。なお、図中破線は、出力値＝入力値、すなわち傾きが１となる関数を示すものである。図示のように、本実施形態のシワ成分抽出手段７に用いられる非線形変換の関数ｆは、入力値の絶対値が第１の閾値Ｔｈ１より小さいときは傾きが１であり、入力値の絶対値が第１の閾値以上かつ第２の閾値Ｔｈ２以下であるときは傾きが１より小さくなり、入力値の絶対値が第２の閾値Ｔｈ２より大きいときは、出力値がその絶対値が入力値の絶対値より小さい一定の値Ｍとなる関数である。なお、この関数ｆは、各帯域制限画像に対して同じものであってもよいが、各帯域制限画像に対して異なるものであってもよい。
【００４４】
シワ成分抽出手段７は、各帯域制限画像の輝度値を入力値とし、図１１に示す非線形変換の関数ｆを用いて各帯域制限画像に対して非線形変換を行って、出力値の輝度値により構成された、各帯域制限画像が対応する周波数帯域におけるシワ成分Ｑｍ（ｍ＝１〜ｎ）を抽出する。
【００４５】
シワ成分除去手段９は、シワ成分抽出手段７により抽出された各シワ成分Ｑｍに対して減算係数βを乗算し、原画像Ｓ０（Ｙ０）から、減算係数を乗算されたシワ成分Ｑｍを減算してシワ除去済み画像Ｓ´０（Ｙ１）を得る。下記の式（５）は、シワ成分除去手段９により行われる処理を示している。  
【数３】
2006081156.tif 000005
【００４６】
ここで、減算係数βは、原画像Ｓ０の画素の輝度値Ｙ０に応じて決められたものであり、具体的には、輝度値Ｙ０が大きい画素ほど、この画素の画素値Ｙ１を求める際に用いられる減算係数βの値が大きくなるものである。シワ成分抽出手段７により抽出されたシワ成分Ｑｍには、髪の毛等の成分が含まれている場合があり、髪の毛等の成分を真のシワ成分と同じように除去してしまうと、写真画像における髪の毛の部分がボケてしまい、処理後の画像の画質が良くないという問題がある。
【００４７】
本実施形態においては、一般的にシワ等が生じる肌部分が明るく（すなわち輝度値が大きく）、髪の毛の部分が暗い（すなわち輝度値が小さい）ことに着目し、輝度値が大きい画素ほど、値が大きい減算係数βを用い、髪の毛の部分の減算（すなわちシワ除去）の程度を弱く、肌部分の減算（すなわちシワ除去）の程度を大きくするようにしたものである。これにより、真のシワ、シミまたはノイズ等のシワ成分を除去することができるとともに、髪の毛を表す成分を残すことができ、髪の部分がボケないため、処理後の画素の画質が良くなる。
【００４８】
圧縮手段１１は、シワ成分除去手段９により得られた輝度値Ｙ１と、ＹＣＣ変換手段１により得られた画像Ｄ０の色差値Ｃｂ０、Ｃｒ０を８×８画素のブロックに分割し、ブロック単位で離散コサイン変換（ＤＣＴ）を行って複数の周波数帯域ごとのＤＣＴ係数を得、ＤＣＴ係数を量子化およびエントロピー符号化（ランレングス符号化およびハフマン符号化等）することにより圧縮処理済み画像Ｄ１を得、これを出力する。
【００４９】
ここで、シワ成分は写真画像において比較的コントラストが弱い微少な振幅の成分であり、シワ除去済み画像Ｓ′０（Ｙ１）においてはこの微少な振幅の成分が取り除かれていることとなる。したがって、シワ除去済み画像Ｓ′０（Ｙ１）においては信号値が一定の平坦な領域が増えることとなるため、ＪＰＥＧ圧縮におけるエントロピー符号化を行う際の圧縮率を高めることができる。その結果、本実施形態によれば、シワ成分が除去されることにより画質を向上させることができるのに加えて、ＪＰＥＧ圧縮を行う際の圧縮率を高めることができる。
【００５０】
なお、図１１に示す関数ｆにおける値Ｍを小さくすることにより、シワ成分を除去する程度を大きくすることができる。ここで、シワ成分をより大きく除去することにより、信号値が一定の平坦な領域が増えることとなるため、エントロピー符号化を行う際の圧縮率をより高めることができる。したがって、本実施形態においては、図１１に示す関数ｆにおける値Ｍを変更することにより、圧縮率を変更することができる。
【００５１】
また、本実施形態においては上述したように帯域制限画像からシワ成分を得ているため、写真画像における非常に広い周波数帯域に亘ってシワ成分を除去することが可能である。このため、シワ除去済み画像Ｓ′０（Ｙ１）を離散コサイン変換して複数の周波数帯域ごとのＤＣＴ係数を得てエントロピー符号化を行う際に、周波数帯域ごとに信号値が一定の平坦な領域を増やすことができるため、写真画像の圧縮率をより高めることができる。
【００５２】
また、写真画像を顔を含むものとすることにより、例えば人物認識を行うために顔画像をデータベースとして保管する際に、データベースの容量を小さくすることができる。
【００５３】
以上、本発明の望ましい実施形態について説明したが、本発明の画像処理方法および装置並びにそのためのプログラムは、上述した実施形態に限られることがなく、本発明の主旨を逸脱しない限り、様々な増減、変化を加えることができる。
【００５４】
例えば、本実施形態の画像処理装置において、帯域制限画像作成手段５は、原画像Ｓ０およびボケ画像Ｓｋ（ｋ＝１〜ｎ，ｎ≧２）を用いて上記式（４）に従って帯域制限画像を得るものであり、帯域制限画像作成手段５、シワ成分抽出手段７、およびシワ成分除去手段９において行われる処理を下記の式（６）により表すことができるが、例えば、下記の式（７）、式（８）または式（９）により、帯域制限画像作成手段、シワ成分抽出手段、およびシワ成分除去手段９の処理を行うようにしてもよい。すなわち、式（６）により表される本実施形態の画像処理装置における処理のように、原画像および各ボケ画像を用いて、互いに隣接する周波数帯域の画像（原画像Ｓ０はボケ画像Ｓ１と周波数帯域が隣接するものとする）の減算を行って帯域制限画像を得るようにしてもよいが、式（７）に示すように、全てのボケ画像と、原画像との減算により帯域制限画像を得るようにしてもよく、または式（８）に示すように、原画像を用いず互いに隣接する周波数帯域のボケ画像の減算を行って帯域制限画像を得るようにしてもよく、または式（９）に示すように、原画像を用いず、ボケ画像Ｓ１と、ボケ画像Ｓ１を除いた全てのボケ画像Ｓｍ（ｍ＝２〜ｎ，ｎ≧３）との減算により帯域制限画像を得るようにしてもよい。
【数４】
2006081156.tif 000006
【数５】
2006081156.tif 000007
【数６】
2006081156.tif 000008
【数７】
2006081156.tif 000009
【００５５】
また、帯域制限画像を作成する方法も、上述した式（４）、式（６）〜（９）により表される方法のように、原画像のボケ画像を作成し、原画像および／またはボケ画像を用いて作成する方法に限らず、原画像の複数の異なる周波数帯域の成分を表す画像を作成することができれば、いかなる方法を用いてもよい。
【００５６】
また、本実施形態においては、写真画像全体に対して美肌処理を行うようにしているが、例えば、写真画像から肌色部分のみを抽出し、抽出された部分に対してのみ美肌処理を行うようにしてもよい。とくに、腕等に対して美肌処理を行った場合、産毛等を除去することができることとなる。
【００５７】
さらに、顔部分の美肌を目的とするような場合においては、従来提案された種々の顔抽出技術を用いて顔部分を抽出し、顔部分に対してのみ美肌処理を行うようにしてもよい。こうすることによって、美肌処理のための計算量を減少することができるとともに、肌色以外、または顔以外の部分のボケを防ぐことができる。また、人種によって肌の明るさが異なるため、抽出された肌色部分の明るさに応じて美肌処理の程度を変更するようにしてもよく、これにより、肌の色に応じて画質を向上させることができる。
【００５８】
さらに、原画像における顔部分の割合が小さい場合には、美肌処理を施してもその効果が分かりにくい場合がある。このため、顔部分を抽出するようにした場合、顔部分の元の写真画像に対する割合が一定以上となった場合にのみ、美肌処理を行うようにしてもよい。
【００５９】
また、上記実施形態においては、人物を含む写真画像に対して美肌処理を行っているが、動物を含む写真画像に対して美肌処理を行うようにしてもよい。この場合、サイや象のシワを除去することが可能となり、さらに画像の圧縮率を高めることができる。
【００６０】
また、上記実施形態においては、写真画像に対して美肌処理を施すようにしているが、例えばアニメーションの画像に対しても上記と同様に美肌処理を施すようにしてもよい。これにより、例えばアニメーションにおける色の塗り斑を除去することができ、アニメーションの画像の画質を向上させることができ、さらに画像の圧縮率を高めることができる。
【００６１】
また、本実施形態において、シワ成分を除去する際に用いられた減算係数βが、原画像Ｓ０の輝度値Ｙ０に応じて決められたものであるが、例えば、原画像の輝度値に加え、対象となる写真画像の被写体の情報に応じて減算係数を変えるようにしてもよい。例えば被写体が高齢であるほど、減算係数を大きくして美肌効果を強めたり、または逆に被写体が高齢であるほど、処理後の画像が不自然にならないように減算係数を小さくして美肌効果を弱めたりしてもよい。
【００６２】
同様に、帯域制限画像に対して非線形変換を行う際の閾値、特に閾値Ｔｈ２を被写体の情報に応じて変えるようにしてもよい。なお、被写体の情報は、認識処理や、画像Ｄ０に付与されたタグ情報の参照によって取得するようにしてもよく、操作者の手動入力により取得するようにしてもよい。
【００６３】
また、被写体の情報に限らず、操作者が所望とする美肌効果の強弱に応じて減算係数や、非線形変換の閾値等のパラメータを変えるようにしてもよい。
【００６４】
さらに、遺影用や、結婚式用や、自動撮影プリント装置（いわゆるプリクラ）用等、写真画像の用途に応じて前述したパラメータを変えるようにしてもよい。
【００６５】
また、本実施形態の画像処理装置は、シワ成分は明暗変化を表す小振幅の成分であり、色の振幅を持っていないことに着目し、輝度空間においてのみシワ成分の除去を行うことによって、効率のよい美肌処理を実現しているが、例えば、Ｒ、Ｇ、Ｂ成分の全てに対して処理を行うようにし、シワ成分のみならず、色のシワ成分も除去するようにしてもよい。
【００６６】
また、本実施形態の画像処理装置は、シワ、シミ成分を抑制し、美肌効果を得ることを主な目的とするため、原画像の画素値が大きいほど値が大きくなる減算係数を用いたが、例えば、ノイズ除去を主とする場合には、原画像の画素値が大きいほど値が小さく減算係数を用いるようにしてもよい。
【００６７】
また、上記実施形態においては、シワ除去済み画像Ｓ′０（Ｙ１）をＪＰＥＧ圧縮することにより圧縮処理済み画像Ｄ１を得ているが、エントロピー符号化による圧縮処理であれば、いかなる手法により圧縮処理済み画像Ｄ１を得てもよい。例えば、シワ除去済み画像Ｓ′０（Ｙ１）に対してウェーブレット変換等の周波数処理を施すことにより、複数の周波数帯域ごとの周波数画像を得、各周波数画像をエントロピー符号化することにより圧縮処理済み画像Ｄ１を得るようにしてもよい。
【００６８】
また、上記実施形態においては、画像処理装置を単体で用いているが、画像処理装置において行われる処理を実行するためのプログラムをパソコンにインストールして、上記美肌処理を実行することが可能である。この場合、図１２に示すように、パソコンにおいて得られた圧縮処理済み画像Ｄ１を、ネットワークを介して携帯電話、サーバあるいはデジタルカメラ等に送信することが可能である。これにより、処理前の写真画像を送信する場合と比較して、転送負荷を軽減することができる。なお、ネットワークにおける通信帯域が狭いものほど美肌処理の効果が大きくなるようにして、圧縮率が高くなるようにすることが好ましい。
【図面の簡単な説明】
【００６９】
【図１】本発明の実施形態による画像処理装置の構成を示すブロック図
【図２】図１に示す画像処理装置におけるボケ画像作成手段の構成を示すブロック図
【図３】図２に示すボケ画像作成手段におけるフィルタリング手段が用いる１次元フィルタＦの例を示す図
【図４】図２に示すボケ画像作成手段において行われる処理を示す図
【図５】図２に示すボケ画像作成手段におけるフィルタリング手段により作成されたフィルタリング画像の周波数特性を示す図
【図６】図２に示すボケ画像作成手段におけるフィルタリング手段が用いる２次元フィルタの例を示す図
【図７】図２に示すボケ画像作成手段における補間手段がフィルタリング画像Ｂ１の補間に用いるフィルタＦ１の例を示す図
【図８】図２に示すボケ画像作成手段における補間手段がフィルタリング画像Ｂ２の補間に用いるフィルタＦ２の例を示す図
【図９】図２に示すボケ画像作成手段により作成されたボケ画像の周波数特性を示す図
【図１０】図１に示す本発明の実施形態の画像処理装置における帯域制限画像作成手段により作成された帯域制限画像の周波数特性を示す図
【図１１】図１に示す本発明の実施形態の画像処理装置におけるシワ成分抽出手段が用いる非線形関数の例を示す図
【図１２】本発明の実施形態の画像処理装置が行う処理をパソコンに行わせるようにした例を示す図
【符号の説明】
【００７０】
１    ＹＣＣ変換手段
３    ボケ画像作成手段
５    帯域制限画像作成手段
７    シワ成分抽出手段
９    シワ成分除去手段
１１    圧縮手段
【図１】
2006081156.tif 000010
【図２】
2006081156.tif 000011
【図３】
2006081156.tif 000012
【図４】
2006081156.tif 000013
【図５】
2006081156.tif 000014
【図６】
2006081156.tif 000015
【図７】
2006081156.tif 000016
【図８】
2006081156.tif 000017
【図９】
2006081156.tif 000018
【図１０】
2006081156.tif 000019
【図１１】
2006081156.tif 000020
【図１２】
2006081156.tif 000021