(57)【要約】【課題】  写真画像に対して行ったシワ成分を除去する美肌処理の効果を効率良く確認できるようにする。【解決手段】  画像Ｄ０からシワ成分を抽出し、シワ成分が除去された処理済み画像Ｄ１を生成する。シワ量検出手段１３が画像Ｄ０を９分割した領域のそれぞれについてシワ成分の量を検出し、領域決定手段１５がシワ成分の量が最も大きい領域を確認領域として決定する。画像抽出手段１７が画像Ｄ０および処理済み画像Ｄ１のそれぞれから確認領域に対応する処理前確認画像Ｄｂおよび処理済み確認画像Ｄａを抽出し、表示制御手段２１がこれらの画像の合成画像Ｇ０をモニタ１９に表示する。【選択図】          図１
2006053859.tif 000002
【特許請求の範囲】
【請求項１】
顔を含む写真画像において、シワ成分が集中する領域をシワ確認領域として決定するシワ確認領域決定手段と、
前記写真画像に対して前記シワ成分を除去する美肌処理を施して該美肌処理が施された処理済み画像を得る美肌処理手段と、
前記処理済み画像における、前記シワ確認領域に対応する領域の画像を処理済み確認画像として取得する確認画像取得手段と、
抽出された前記処理済み確認画像を、表示装置の解像度に合致したサイズで表示させる表示制御手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記確認画像取得手段が、前記写真画像における前記シワ確認領域に対応する領域の画像を処理前確認画像として抽出する手段であり、
前記表示制御手段が、前記処理済み確認画像を、前記処理前確認画像とともに前記表示装置に表示させる手段であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記シワ確認領域決定手段が、前記写真画像を分割することによって得られた複数の同一サイズの領域画像毎にシワ成分の量を検出するシワ量検出手段と、
前記シワ量が最も多い前記領域画像に対応する領域を前記シワ確認領域として決定する領域決定手段とを備えてなることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記美肌処理手段が、前記写真画像に基づいて、該写真画像の複数の周波数帯域毎の成分を表す複数の帯域制限画像を作成する手段と、
出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下である入力値に対しては、該入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が前記所定の閾値より大きい入力値に対しては、出力値の絶対値が前記所定の閾値に対応する出力値の絶対値以下となる非線形変換処理を前記帯域制限画像のそれぞれの画素値に対して施して複数の変換画像を得る手段と、
所定の減算係数を前記複数の変換画像の画素値に乗算する手段と、
前記写真画像の画素値から、前記減算係数を乗算された前記複数の変換画像の画素値を減算して前記処理済み画像の画素値を得る手段とを備えてなることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
【請求項５】
顔を含む写真画像において、シワ成分が集中する領域をシワ確認領域として決定し、
前記写真画像に対して前記シワ成分を除去する美肌処理を施して該美肌処理が施された処理済み画像を得、
前記処理済み画像における、前記シワ確認領域に対応する領域の画像を処理済み確認画像として取得し、
抽出された前記処理済み確認画像を、表示装置の解像度に合致したサイズで表示させることを特徴とする画像処理方法。
【請求項６】
顔を含む写真画像において、シワ成分が集中する領域をシワ確認領域として決定する手順と、
前記写真画像に対して前記シワ成分を除去する美肌処理を施して該美肌処理が施された処理済み画像を得る手順と、
前記処理済み画像における、前記シワ確認領域に対応する領域の画像を処理済み確認画像として取得する手順と、
抽出された前記処理済み確認画像を、表示装置の解像度に合致したサイズで表示させる手順とを有する画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔を含む写真画像に対して、美肌処理、具体的には、顔に含まれるノイズ、肌上のシワ、シミ等のシワ成分を抑制、除去する処理を行う画像処理方法および装置並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
人物の顔を含む写真画像（以下略して単に画像という）からシワやシミ等を抑制、除去する美肌処理が従来行われている。例えば、ノイズ除去に通常用いられるローパスフィルタ（ＬＰＦ）を適用することにより美肌処理を行うことができる。しかし、ＬＰＦは、画像からシワ、シミおよびシワ成分を抑制することができる一方、画像信号中のエッジ部分を劣化させてしまい、画像全体をぼかしてしまうという欠点がある。
【０００３】
また、シワや、シミ等の成分の多くが、画像の高周波数成分に小振幅の信号として存在することを利用して、画像中の小振幅の高周波シワ成分を分離し抑制するために考案されたε−フィルタ（ε−分離非線形デジタルフィルタ）をシワ、シミ等の除去に適用することも行われている（非特許文献１）。ε−フィルタは、画像信号中の小振幅のレベル変化のみを平坦化する特性を有しているため、ε―フィルタを用いて美肌処理した画像は、急峻なレベル変化を有するエッジが保存され、全体のキレが殆ど損なわれない。
【０００４】
ε−フィルタは、基本的に、振幅のレベルの変化量に対して非線形関数を適用して得た値を元の画像信号から減算するように作用するものである。この非線形関数は、信号の振幅が所定の閾値より大きいとき、出力を０とする関数である。すなわち、ε−フィルタを適用した場合、画像中の、振幅が閾値より大きい部位では、非線形関数の出力が０であり、美肌処理後の画像においては、その部位の元の信号が保持される一方、振幅が閾値以下の部位では、美肌処理後の画像においては、その部位の信号値が元の信号値から非線形関数の出力（その絶対値が０より大きい）を引いた値になる。こうすることによって、いわゆるノイズではないが、小振幅の明暗変化を呈するシワや、シミ等の部位において、明暗変化が平滑化され、シワ、シミ等を目立たなくさせることができるとともに、振幅の大きいエッジ部分を保持することができる。
【０００５】
また、特許文献１には、シワ、シミを除去しつつ、肌の肌理、質感を保持するために、閾値ε０の値が大きい非線形関数を適用してシワ等の成分を抽出し、閾値ε０の値が小さい非線形関数を適用して肌の肌理、質感を表す成分を抽出し、さらに、元の信号からシワ等の成分を減ずるとともに、肌の肌理、質感を表す成分を加算することによって、シワ、シミ等を除去しつつ、肌の肌理、質感を保持する方法が提案されている。
【０００６】
このような、画像に対して施した美肌処理の効果を確認するためには、処理後の画像をモニタ等の表示画面に表示させて操作者に確認させることが行われている。しかし、例えば、携帯カメラの場合、解像度が小さい付属のモニタに処理済みの画像を表示させるために、処理済みの画像を縮小しなければならないが、縮小した画像を付属のモニタで確認しても美肌処理の効果を確認することができない。このため、市販のデジタルカメラのうち、撮像して得た画像に対して、操作者に表示領域を指定させ、指定された領域を等倍でまたは拡大して付属のモニタに表示させることによって画像のボケ状況を確認し易くするものがあり、このようなデジタルカメラを用いれば、保存された処理済み画像を記憶手段から読み出して、操作者が指定した領域を等倍または拡大して表示することによって美肌処理の効果を確認することができる。
【０００７】
また、特許文献２記載のように、画像の中央領域等予め決められ位置の画像を抽出して等倍表示したり、画像を複数の領域に分けて順次等倍表示したりする方法も提案されている。
【特許文献１】特開２００１−１１８０６４号公報
【特許文献２】特開２００３−２８３８８８号公報
【非特許文献１】荒川ほか、「ベクトルε−フィルタによるカラー顔画像処理−皺成分の除去」１９９８年３月電子情報通信学会総合大会予稿集、Ｄ−１１−４３、ＰＰ１４３−
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、操作者に表示領域を指定させる方法は、操作者が確認しようとする領域を指定する必要があり、その操作が面倒である。また、特許文献２記載の方法のような、予め決められた位置の画像を抽出して表示する方法では、予め決められた位置の画像が処理の効果を確認するのに適した領域ではない場合において適切な判断を行うことができない結果になってしまうという問題がある。
【０００９】
本発明は、上記事情に鑑み、写真画像に対して行った、顔に含まれるノイズ、シワ、シミ等のシワ成分を除去する美肌処理の効果を効率良く確認できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、顔を含む写真画像において、シワ成分が集中する領域をシワ確認領域として決定するシワ確認領域決定手段と、
前記写真画像に対して前記シワ成分を除去する美肌処理を施して該美肌処理が施された処理済み画像を得る美肌処理手段と、
前記処理済み画像における、前記シワ確認領域に対応する領域の画像を処理済み確認画像として取得する確認画像取得手段と、
抽出された前記処理済み確認画像を、表示装置の解像度に合致したサイズで表示させる表示制御手段とを備えたことを特徴とするものである。
【００１１】
ここで、「写真画像」とは、デジタルカメラ等で被写体を撮像した得たデジタル画像は勿論、スキャナ等の読取装置で銀塩写真フィルムや、印刷物（例えばプリント）等にある画像を読み取って得たデジタル画像も含むものである。以下、説明上の便宜のため、単に画像というものも、写真画像を意味するものとする。
【００１２】
また、「シワ成分」としては、顔に含まれるシワのみならず、ノイズ、シミ等の顔に含まれ、除去することにより、顔の肌の肌理、質感を向上させたり、人物を若く見せることができる成分を意味するものとする。
【００１３】
なお、本発明の画像処理装置においては、前記確認画像取得手段を、前記写真画像における前記シワ確認領域に対応する領域の画像を処理前確認画像として抽出する手段とし、
前記表示制御手段を、前記処理済み確認画像を、前記処理前確認画像とともに前記表示装置に表示させる手段としてもよい。
【００１４】
また、本発明の画像処理装置においては、前記シワ確認領域決定手段を、前記写真画像を分割することによって得られた複数の同一サイズの領域画像毎にシワ成分の量を検出するシワ量検出手段と、
前記シワ量が最も多い前記領域画像に対応する領域を前記シワ確認領域として決定する領域決定手段とを備えてなるものとしてもよい。
【００１５】
また、本発明の画像処理装置においては、前記美肌処理手段を、前記写真画像に基づいて、該写真画像の複数の周波数帯域毎の成分を表す複数の帯域制限画像を作成する手段と、
出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下である入力値に対しては、該入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が前記所定の閾値より大きい入力値に対しては、出力値の絶対値が前記所定の閾値に対応する出力値の絶対値以下となる非線形変換処理を前記帯域制限画像のそれぞれの画素値に対して施して複数の変換画像を得る手段と、
所定の減算係数を前記複数の変換画像の画素値に乗算する手段と、
前記写真画像の画素値から、前記減算係数を乗算された前記複数の変換画像の画素値を減算して前記処理済み画像の画素値を得る手段とを備えてなるものとしてもよい。
【００１６】
ここで、前記所定の減算係数は、前記写真画像の各画素に対して同じものを用いてもよいが、前記写真画像の画素値に応じて決められたものであることが好ましい。
【００１７】
画像において、ノイズ、シワ、シミ等のシワ成分は、画像の画素値に対応した異なる存在態様を有するものである。例えば、ノイズは、画像中の暗い部分（すなわち輝度値が小さい部分）に多く発生するため、画素値が大きいほど小さい（逆に画像値が小さいほど大きい）減算係数を用いるようにすると、ノイズ除去効果を高めることができる。
【００１８】
また、シワ、シミ等の成分は、髪の毛等より明るい肌部分に存在するので、画素値、例えば輝度値が大きいほど大きい（逆に画素値が小さいほど小さい）減算係数を用いるようにすると、シワ、シミ等の成分を除去することができるとともに、特にシワ、シミ等の成分成分を抑制する効果、いわゆる美肌効果を得ることができる。
【００１９】
また、前記非線形変換処理は、絶対値が前記所定の閾値より大きい入力値に対して、出力値の絶対値がほぼ一定となる処理であることが好ましい。
【００２０】
また、前記所定の閾値は、処理する前記帯域制限画像の周波数帯域に応じて決められたものであることが好ましい。
【００２１】
本発明による画像処理方法は、顔を含む写真画像において、シワ成分が集中する領域をシワ確認領域として決定し、
前記写真画像に対して前記シワ成分を除去する美肌処理を施して該美肌処理が施された処理済み画像を得、
前記処理済み画像における、前記シワ確認領域に対応する領域の画像を処理済み確認画像として取得し、
抽出された前記処理済み確認画像を、表示装置の解像度に合致したサイズで表示させることを特徴とするものである。
【００２２】
なお、本発明による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００２３】
本発明によれば、写真画像に対して行った美肌処理の効果を確認するために、処理前の写真画像における、シワ成分が集中する領域をシワ確認領域として決定し、処理済み画像からこの決定されたシワ確認領域に対応する領域の画像を処理済み確認画像として抽出して表示装置に合致したサイズで表示させる。美肌処理の効果がよければ、写真画像の顔に含まれるシワが消失または軽減されるが、顔の頬の部分のようなシワ、シミ等のシワ成分が現れないまたは現れ難い領域よりも、目尻部分や、両目の間等のようなシワ成分が顕著にに現れる領域に対応した、処理済み画像における領域の画像のほうが、処理の効果を反映させることができる。したがって、写真画像における、シワ成分が集中する領域に対応する領域の画像を処理済み画像から抽出して美肌処理の効果を確認することに供することによって、操作者は正確な美肌処理の効果の判断ができる。また、処理済み画像の一部（処理済み確認画像）のみを表示装置に合致したサイズで表示させるので、携帯カメラ付属のモニタのような解像度の小さい表示装置でも、操作者は美肌処理の効果の確認を正しく行うことができる。
【００２４】
また、処理済み画像から自動的に処理済み確認画像を抽出して表示するようにしているので、操作者による領域指定や、画像を領域毎に順次表示する等の処理を必要とせず、効率がよい。
【００２５】
さらに、処理前の写真画像から、シワ確認領域に対応する領域の画像を処理前確認画像として抽出して処理済み確認画像とともに表示させるようにすれば、操作者が処理前と処理後のシワ成分の態様を比較することができるので、より正確に美肌の効果を確認することができる。
【００２６】
また、写真画像に基づいて作成されたこの写真画像の複数の異なる周波数帯域毎の成分を表す複数の帯域制限画像に対して非線形変換処理を施して複数の変換画像を得、複数の変換画像に所定の減算係数を乗算し、写真画像の画素値から減算係数が乗算された複数の変換画像の画素値を減算して処理済み画像の画素値を得てもよい。ここで、複数の変換画像を得るための非線形変換処理は、出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下の入力値に対しては、入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が所定の閾値より大きい入力値に対しては、出力値の絶対値がこの所定の閾値に対応する出力値の絶対値以下となる処理である。この非線形変換処理により得られた変換画像が、当該変換画像が対応する周波数帯域におけるシワ、シミまたはノイズ等の振幅の小さいシワ成分を表すものである。したがって、この複数の変換画像の画素値に所定の減算係数を乗算して、元の写真画像の画素値から減算して処理済み画像の画素値を得ることにより、写真画像から複数の周波数帯域におけるシワ、シミまたはノイズ等のシワ成分を効果的に除去することができる。
【発明を実施するための最良の形態】
【００２７】
以下、図面を参照して、本発明の実施形態について説明する。図１は、本発明の実施形態による画像処理装置の構成を示すブロック図である。なお、本実施形態の画像処理装置は、写真画像（以下略して画像という）に対して美肌処理を行うとともに、美肌処理の効果を操作者に確認させるためのものであり、補助記憶装置に読み込まれた美肌処理プログラムをコンピュータ（例えばパーソナルコンピュータ等）上で実行することにより実現される。また、この美肌処理プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。
【００２８】
また、画像データは画像を表すものであるため、以下、特に画像と画像データの区別をせずに説明を行う。
【００２９】
図１に示すように、本実施形態の画像処理装置は、原画像Ｓ０の互いに周波数応答特性が異なる複数のボケ画像Ｓ１、Ｓ２、・・・Ｓｎ（ｎ：２以上の整数）を作成するボケ画像作成手段３と、原画像Ｓ０およびボケ画像Ｓ１、Ｓ２、・・・Ｓｎを用いて複数の帯域制限画像Ｔ１、Ｔ２、・・・Ｔｎを作成する帯域制限画像作成手段５と、帯域制限画像Ｔ１、Ｔ２、・・・Ｔｎに対して非線形変換処理をそれぞれ施して各帯域制限画像が対応する周波数帯域におけるシワ成分Ｑ１、Ｑ２、・・・Ｑｎを抽出するシワ成分抽出手段７と、原画像Ｓ０からシワ成分を除去してシワ除去済み画像Ｓ´０（Ｙ１）を得るシワ成分除去手段９とを有する。
【００３０】
また、本実施形態による画像処理装置は、上記各手段が輝度空間において処理を行うものであるため、入力された画像Ｄ０（Ｒ０，Ｇ０，Ｂ０）に対してＹＣＣ変換を行って画像Ｄ０の輝度値Ｙ０（これらの輝度値Ｙ０により前述した原画像Ｓ０が構成される）、色差値Ｃｂ０、Ｃｒ０を得るＹＣＣ変換手段１と、シワ成分除去手段９により得られたシワ除去済み画像Ｓ´０の画素値Ｙ１、およびＹＣＣ変換手段１により得られた色差値Ｃｂ０、Ｃｒ０とから構成される画像を処理済み画像Ｄ１（Ｒ１，Ｇ１，Ｂ１）として出力する出力手段１１とを有する。
【００３１】
さらに、本実施形態の画像処理装置は、帯域制限画像作成手段５が作成した帯域制限画像に基づいて画像Ｄ０を図２に示すように９分割した領域Ａ１〜Ａ９毎にシワ成分の量を検出するシワ量検出手段１３と、上記９つの領域Ａ１〜Ａ９のうちシワ成分の量が最も多い領域を確認領域Ａｋに決定する領域決定手段１５と、画像Ｄ０および処理済み画像Ｄ１から確認領域Ａｋに対応する領域の画像を、それぞれ処理前確認画像Ｄｂおよび処理済み確認画像Ｄａとして抽出する画像抽出手段１７と、モニタ１９と、処理前確認画像および処理済み確認画像のモニタ１９への表示を制御する表示制御手段２１とを有する。
【００３２】
以下、本実施形態の各構成の詳細について説明する。
【００３３】
ＹＣＣ変換手段１は、下記の式（１）に従って、画像Ｄ０の各画素のＲ、Ｇ、Ｂ値を輝度値Ｙ、色差値Ｃｂ、Ｃｒに変換する。
【００３４】
Ｙ＝０．２９９０×Ｒ＋０．５８７０×Ｇ＋０．１１４０×Ｂ
Ｃｂ＝−０．１６８７×Ｒ−０．３３１３×Ｇ＋０．５０００×Ｂ＋１２８    （１）
Ｃｒ＝０．５０００×Ｒ−０．４１８７×Ｇ−０．０８１３×Ｂ＋１２８
ボケ画像作成手段３は、ＹＣＣ変換手段１により得られた輝度値Ｙ０を用いて、複数のボケ画像を作成する。図３はボケ画像作成手段３の構成を示すブロック図である。本実施形態の画像処理装置において、ボケ画像作成手段３は、輝度値Ｙ０にフィルタリング処理および間引き処理を行ってフィルタリング画像Ｂ１、Ｂ２、・・・Ｂｎを得るフィルタリング手段３１と、各フィルタリング画像に対して補間処理を行う補間手段３３と、フィルタリング手段３１および補間手段３３を制御する制御手段３５とを有してなるものである。
【００３５】
フィルタリング手段３１は、ローパスフィルタを用いてフィルタリング処理を行うものであり、このローパスフィルタとしては、例えば図４に示すような５×１のグリッド状の１次元ガウス分布に略対応したフィルタＦを用いることができる。このフィルタＦは下記の式（２）において、σ＝１としたものである。
【数１】
2006053859.tif 000003
【００３６】
フィルタリング手段３１は、このようなフィルタＦを用いて処理対象となる画像に対して画素のｘ方向およびｙ方向に対してフィルタリング処理と１／２間引き処理とを施すことにより処理対象の画像の全体のフィルタリング処理を行う。
【００３７】
図５はボケ画像作成手段３の制御手段３５が、フィルタリング手段３１と補間手段３３に行わせる処理の詳細を示している。図示のように、フィルタリング手段３１は、まず、原画像Ｓ０（Ｙ０）に対して、図４に示すフィルタＦを用いて１画素おきにフィルタリング処理を行い、その後フィルタ処理されていない画素を間引く間引き処理を行う。このフィルタリング処理によってフィルタリング画像Ｂ１（Ｙ１）が得られる。フィルタリング画像Ｂ１のサイズは、原画像Ｓ０のサイズの１／４（ｘ方向、ｙ方向にそれぞれ１／２）となっている。次いで、フィルタリング手段３１は、フィルタリング画像Ｂ１（Ｙ１）に対しても１画素おきにフィルタＦによるフィルタリング処理を施して同様の間引き処理を行い、フィルタリング画像Ｂ２（Ｙ２）を得る。フィルタリング手段３１は、このようなフィルタＦによるフィルタリング処理と１／２間引き処理とを繰り返し、ｎ個のフィルタリング画像Ｂｋ（ｋ＝１〜ｎ）を得る。フィルタリング画像Ｂｋのサイズは、原画像Ｓ０のサイズの１／２2Kとなっている。図６は、例としてｎ＝３としたときに、フィルタリング手段３１により得られた各フィルタリング画像Ｂｋの周波数特性を示している。図示のように、フィルタリング画像Ｂｋのレスポンスはｋが大きいほど高周波成分が除去されたものとなっている。
【００３８】
なお、本実施形態の画像処理装置において、フィルタリング手段３１は、図４に示すフィルタＦにより画像のｘ方向およびｙ方向に対してフィルタリング処理を施すようにしているが、図７に示すような５×５の２次元フィルタにより原画像Ｓ０およびフィルタリング画像Ｂｋに対して一度にフィルタリング処理を施すようにしてもよい。
【００３９】
補間手段３３は、フィルタリング手段３１により得られた各フィルタリング画像Ｂｋに対して補間処理を行って、それぞれのフィルタリング画像Ｂｋを原画像Ｓ０と同一サイズにする。補間処理の方法は、Ｂスプラインによる方法等種々挙げられるが、本実施形態においては、フィルタリング手段３１は、ローパスフィルタとしてガウス信号に基づくフィルタＦを用いているため、補間手段３３は、補間処理の補間演算を行うための補間係数としてもガウス信号を用いるものとする。この補間係数は、下記の式（３）において、σ＝２k-1と近似したものである。
【数２】
2006053859.tif 000004
【００４０】
フィルタリング画像Ｂ１を補間する際にはｋ＝１であるため、σ＝１となる。上記式（３）においてσ＝１としたときの補間を行うためのフィルタは、図８に示すような５×１の１次元フィルタＦ１となる。補間手段３３は、まず、フィルタリング画像Ｂ１に対して１画素おきに値が０の画素を１つずつ挿入することによりフィルタリング画像Ｂ１を原画像Ｓ０と同じサイズに拡大し、次いで拡大された画像に対して図８に示すフィルタＦ１によりフィルタリング処理を施してボケ画像Ｓ１を得る。このボケ画像Ｓ１は、原画像Ｓ０と同じ画素数、すなわち原画像Ｓ０と同じサイズを有する。
【００４１】
ここで、図８に示すフィルタＦ１は５×１のフィルタであるが、フィルタＦ１を適用する前にフィルタリング画像Ｂ１に対して１画素おきに値が０である画素を挿入しているため、補間手段３３による補間処理は、実質的には２×１のフィルタ（０．５，０．５）および３×１のフィルタ（０．１，０．８，０．１）の２種類のフィルタによるフィルタ処理と等価である。
【００４２】
補間手段３３は、フィルタリング画像Ｂ２に対して補間を行う際にはｋ＝２であるため、σ＝２である。上記の式（３）において、σ＝２に対応するフィルタは、図９に示す１１×１の１次元フィルタＦ２となる。補間手段３３は、まず、フィルタリング画像Ｂ２に対して１画素おきに値が０である画素を３つずつ挿入することによりフィルタリング画像Ｂ２を原画像Ｓ０と同じサイズに拡大し、次いで拡大された画像に対して図９に示すフィルタＦ２によりフィルタリング処理を施してボケ画像Ｓ２を得る。ボケ画像Ｓ２は、原画像Ｓ０と同じ画素数、すなわち原画像Ｓ０と同じサイズを有する。
【００４３】
同じように、図９に示すフィルタＦ２は１１×１のフィルタであるが、フィルタＦ２を適用する前にフィルタリング画像Ｂ２に対して１画素おきに値が０である画素を３つずつ挿入しているため、補間手段３３による補間処理は、実質的には２×１のフィルタ（０．５，０．５）および３×１のフィルタ（０．３，０．６５，０．０５）、（０．３，０．７４，０．１３）、（０．０５，０．６５，０．３）の４種類のフィルタによるフィルタ処理と等価である。
【００４４】
補間手段３３は、このように各フィルタリング画像Ｂｋに対してそれぞれ、１画素おきに値が０である画素を（２k−１）個ずつ挿入することにより、フィルタリング画像Ｂｋを原画像Ｓ０と同じサイズに拡大し、そして値が０である画素が挿入されたフィルタリング画像Ｂｋに対して、上記の式（３）に基づいて作成された長さが（３×２k−１）であるフィルタによるフィルタリング処理を施してボケ画像Ｓｋを得る。
【００４５】
図１０は、例としてｎ＝３としたときに、ボケ画像作成手段３により得られた各ボケ画像Ｓｋの周波数特性を示している。図示のように、ボケ画像Ｓｋは、ｋが大きいほど、原画像Ｓ０の高周波成分が除去されたものとなっている。
【００４６】
帯域制限画像作成手段５は、ボケ画像作成手段３により得られた各ボケ画像Ｓ１，Ｓ２，・・・Ｓｎを用いて、下記の式（４）に従って原画像Ｓ０の複数の周波数帯域毎の成分を表す帯域制限画像Ｔ１，Ｔ２，・・・Ｔｎを作成する。  
Ｔｍ＝Ｓ（ｍ−１）−Ｓｍ                  （４）
但し，ｍ：１以上ｎ以下の整数
【００４７】
図１１は、例としてｎ＝３としたときに、帯域制限画像作成手段５により得られた各帯域制限画像Ｔｍの周波数特性を示している。図示のように、帯域制限画像Ｔｍは、ｍが大きいほど、原画像Ｓ０の低周波数領域における成分を表すものとなっている。
【００４８】
シワ成分抽出手段７は、帯域制限画像作成手段５により得られた各帯域制限画像Ｔｍ（ｍ＝１〜ｎ）に対して非線形変換を行ってそれぞれの帯域制限画像Ｔｍが対応する周波数帯域におけるシワ、シミ、ノイズ等の成分（以下シワ成分とする）Ｑ１，Ｑ２，・・・，Ｑｎを抽出するものである。この非線形変換は、出力値を入力値以下にする処理であって、かつ所定の閾値以下の入力値に対しては、入力値が大きいほど出力値が大きくなる一方、所定の閾値より大きい入力値に対しては、出力値が所定の閾値に対応する出力値以下となる処理であって、本実施形態においては、図１２に示すような関数ｆにより行われるものである。なお、図中破線は、出力値＝入力値、すなわち傾きが１となる関数を示すものである。図示のように、本実施形態のシワ成分抽出手段７に用いられる非線形変換の関数ｆは、入力値の絶対値が第１の閾値Ｔｈ１より小さいときは傾きが１であり、入力値の絶対値が第１の閾値以上かつ第２の閾値Ｔｈ２以下であるときは傾きが１より小さくなり、入力値の絶対値が第２の閾値Ｔｈ２より大きいときは、出力値がその絶対値が入力値の絶対値より小さい一定の値Ｍとなる関数である。なお、この関数ｆは、各帯域制限画像に対して同じものであってもよいが、各帯域制限画像に対して異なるものであってもよい。
【００４９】
シワ成分抽出手段７は、各帯域制限画像の輝度値を入力値とし、図１２に示す非線形変換の関数ｆを用いて各帯域制限画像に対して非線形変換を行って、出力値の輝度値により構成された、各帯域制限画像が対応する周波数帯域におけるシワ成分Ｑｍ（ｍ＝１〜ｎ）を抽出する。
【００５０】
シワ成分除去手段９は、シワ成分抽出手段７により抽出された各シワ成分Ｑｍに対して減算係数βを乗算し、原画像Ｓ０（Ｙ０）から、減算係数を乗算されたシワ成分Ｑｍを減算してシワ除去済み画像Ｓ´０（Ｙ１）を得る。下記の式（５）は、シワ成分除去手段９により行われる処理を示している。  
【数３】
2006053859.tif 000005
【００５１】
ここで、減算係数βは、原画像Ｓ０の画素の輝度値Ｙ０に応じて決められたものであり、具体的には、輝度値Ｙ０が大きい画素ほど、この画素の画素値Ｙ１を求める際に用いられる減算係数βの値が大きくなるものである。シワ成分抽出手段７により抽出されたシワ成分Ｑｍには、髪の毛等の成分が含まれている場合があり、髪の毛等の成分を真のシワ成分と同じように除去してしまうと、写真画像における髪の毛の部分がボケてしまい、処理後の画像の画質が良くないという問題がある。
【００５２】
本実施形態においては、一般的にシワ等が生じる肌部分が明るく（すなわち輝度値が大きく）、髪の毛の部分が暗い（すなわち輝度値が小さい）ことに着目し、輝度値が大きい画素ほど、値が大きい減算係数βを用い、髪の毛の部分の減算（すなわちシワ除去）の程度を弱く、肌部分の減算（すなわちシワ除去）の程度を大きくするようにしたものである。これにより、真のシワ、シミまたはノイズ等のシワ成分を除去することができるとともに、髪の毛を表す成分を残すことができ、髪の部分がボケないため、処理後の画素の画質が良くなる。
【００５３】
出力手段１１は、シワ成分除去手段９により得られた輝度値Ｙ１と、ＹＣＣ変換手段１により得られた画像Ｄ０の色差値Ｃｂ０、Ｃｒ０とにより構成される画像（Ｙ１，Ｃｒ０，Ｃｂ０）に対してＲＧＢ変換を行って各画素値がＲＧＢ値からなる処理済み画像Ｄ１（Ｒ１，Ｇ１，Ｂ１）を得、これを出力する。
【００５４】
シワ量検出手段１３は、帯域制限画像作成手段５が作成した帯域制限画像Ｔｍのうち、最高周波数帯域の帯域制限画像Ｔ１を用いて、図２に示すように画像Ｄ０を９分割することにより得られた９つの領域Ａ１〜Ａ９毎に、シワ成分の量を検出する。図１３はシワ成分の量の検出を説明するための図である。なお、ここでは簡単のため、帯域制限画像Ｔ１の信号値が１次元に分布するものとして説明する。帯域制限画像Ｔ１において、シワ成分Ｑｍはコントラストが小さい信号値として現れることとなる。このため、シワ量検出手段１３は、図１３に示すように、各領域Ａ１〜Ａ９において、帯域制限画像Ｔ１の信号値が閾値Ｔｈ３以上閾値Ｔｈ４以下となった画素（図１３において○を付与して示す）の数をカウントし、カウントされた画素数を各領域Ａ１〜Ａ９のシワ成分の量として検出する。
【００５５】
なお、閾値Ｔｈ３は帯域制限画像Ｔ１の信号値の中央値Ｃ０を基準として所定量小さい値を、閾値Ｔｈ４は中央値Ｃ０を基準として所定量大きい値を設定する。ここで、帯域制限画像Ｔ１が０〜２５５の値をとる場合には、中央値Ｃ０は１２８となるため、閾値Ｔｈ３としては例えば１１３を、閾値Ｔｈ４としては１４０を用いればよい。
【００５６】
領域決定手段１５は、シワ量検出手段１３が検出した各領域Ａ１〜Ａ９のシワ成分の量量を比較し、最もシワ成分の量が多い領域を確認領域Ａｋと決定する。例えば図２に示す画像において領域Ａ５が最もシワ成分の量が多い場合には、領域Ａ５を確認領域Ａｋと決定する。
【００５７】
画像抽出手段１７は、画像Ｄ０から確認領域Ａｋに対応する領域の画像を処理前確認画像Ｄｂとして抽出する。また、処理済み画像Ｄ１から確認領域Ａｋに対応する領域の画像を処理済み確認画像Ｄａとして抽出する。
【００５８】
表示制御手段２１は、処理前確認画像Ｄｂおよび処理済み確認画像Ｄａを並べるように合成して合成画像Ｇ０を生成し、合成画像Ｇ０をモニタ１９に表示する。この際、表示制御手段２１はモニタ１９の解像度に応じて合成画像Ｇ０のサイズを変更する。例えば、モニタ１９のサイズがＱＶＧＡ、すなわち３２０×２４０の解像度を有するものである場合、合成画像Ｇ０がモニタ１９のサイズ内に最大限に収まるように合成画像Ｇ０のサイズを変更する。
【００５９】
図１４はモニタ１９に表示された合成画像Ｇ０を示す図である。図１４に示すようにモニタ１９には、合成画像Ｇ０がモニタ１９のサイズ内に最大限に収まるように合成画像Ｇ０が表示される。なお、合成画像Ｇ０に含まれる処理前確認画像Ｄｂおよび処理済み額人画像Ｄａにはそれぞれ処理前および処理済みであることが分かるように「処理前」および「処理済み」の表示もなされる。
【００６０】
このように、本実施形態の画像処理装置によれば、図２の画像を例にすると、顔の頬の部分のようなシワ、シミ等のシワ成分が現れないまたは現れ難い領域は、処理済み確認画像Ｄａとして処理済み画像Ｄ１から抽出されることがなく、目尻部分や、両目の間等のようなシワ成分が顕著に現れる領域が処理済み確認画像Ｄａとして抽出されてモニタ１９に表示されることとなる。このため、操作者に画像に対する美肌処理の効果を効率良く確認させることができる。
【００６１】
また、処理済み画像Ｄ１から抽出された処理済み確認画像Ｄａとともに、処理前の画像Ｄ０における同じ領域の処理前確認画像Ｄｂを表示するようにしたため、操作者が処理前と処理後の同じ領域の画像を比較することができ、これにより、美肌処理の効果をより良く確認することができる。
【００６２】
また、原画像Ｓ０（Ｙ０）の複数の異なる周波数帯域毎の成分を表す複数の帯域制限画像Ｔｍ（ｍ＝１〜ｎ，ｎ≧２）を作成し、これらの帯域制限画像に対して非線形変換処理を施して複数の変換画像（シワ成分）を得、これらの複数の変換画像の画素値に対して、原画像Ｓ０の輝度値に応じて決められた減算係数βを乗算して、原画像Ｓ０の画素値（輝度値Ｙ０）から減算して処理済み画像の画素値（輝度値Ｙ１）を得るようにしているため、写真画像の複数の周波数帯域におけるシワ成分を効果的に除去して美肌処理を行うことができる。また、複数の周波数帯域においてシワ成分の除去を行うようにしているので、従来技術のように美肌効果を高めるために只１つの周波数帯域においてシワ成分の除去を強めることに起因するアーチファクトの発生を防ぐことができ、処理済み画像の高画質化を図ることができる。
【００６３】
以上、本発明の望ましい実施形態について説明したが、本発明の画像処理方法および装置並びにそのためのプログラムは、上述した実施形態に限られることがなく、本発明の主旨を逸脱しない限り、様々な増減、変化を加えることができる。
【００６４】
例えば、本発明の画像処理方法および装置は、特に小さい解像度の表示装置で美肌処理の効果を確認するのに効果を発揮することができるが、ＶＧＡ等の解像度が大きい表示装置で美肌処理効果を確認する場合において、処理済み画像Ｄ１から表示装置の解像度と同じ大きさの画像を処理済み確認画像Ｄａとして抽出して表示すると、処理済み確認画像Ｄａのサイズが大きいので、処理済み確認画像Ｄａ内においてシワ成分が集中する領域と集中してない領域、すなわち、美肌処理の効果を確認するのに適した領域と適していない領域が混在する可能性があり、美肌処理の効果の確認を妨げかねない。
【００６５】
このため、本発明を解像度が大きい表示装置で美肌処理の効果を確認する場合に適用し、表示装置よりも小さいサイズとなるように処理済み確認画像Ｄａを抽出し、抽出した処理済み確認画像Ｄａを表示装置の解像度に合致するサイズに拡大して表示するようにすることによって、表示装置の解像度が大きい場合においても、ボケ補正の効果を正確に確認することができる。この場合、抽出した処理済み確認画像Ｄａを表示装置の解像度と同じ大きさまでに拡大せず、そのままのサイズで、または表示装置の解像度より小さいサイズに拡大して表示装置の表示画面の一部のみに表示させるようにしてもよい。
【００６６】
また、シワ量検出手段１３において、最高周波数帯域の帯域制限画像Ｔ１を用いて領域Ａ１〜Ａ９のシワ成分の量を検出しているが、最高周波数帯域以外の他の周波数帯域の帯域制限画像を用いてシワ成分の量を検出してもよい。
【００６７】
また、本実施形態の画像処理装置において、帯域制限画像作成手段５は、原画像Ｓ０およびボケ画像Ｓｋ（ｋ＝１〜ｎ，ｎ≧２）を用いて上記式（４）に従って帯域制限画像を得るものであり、帯域制限画像作成手段５、シワ成分抽出手段７、およびシワ成分除去手段９において行われる処理を下記の式（６）により表すことができるが、例えば、下記の式（７）、式（８）または式（９）により、帯域制限画像作成手段、シワ成分抽出手段、およびシワ成分除去手段９の処理を行うようにしてもよい。すなわち、式（６）により表される本実施形態の画像処理装置における処理のように、原画像および各ボケ画像を用いて、互いに隣接する周波数帯域の画像（原画像Ｓ０はボケ画像Ｓ１と周波数帯域が隣接するものとする）の減算を行って帯域制限画像を得るようにしてもよいが、式（７）に示すように、全てのボケ画像と、原画像との減算により帯域制限画像を得るようにしてもよく、または式（８）に示すように、原画像を用いず互いに隣接する周波数帯域のボケ画像の減算を行って帯域制限画像を得るようにしてもよく、または式（９）に示すように、原画像を用いず、ボケ画像Ｓ１と、ボケ画像Ｓ１を除いた全てのボケ画像Ｓｍ（ｍ＝２〜ｎ，ｎ≧３）との減算により帯域制限画像を得るようにしてもよい。
【数４】
2006053859.tif 000006
【数５】
2006053859.tif 000007
【数６】
2006053859.tif 000008
【数７】
2006053859.tif 000009
【００６８】
また、帯域制限画像を作成する方法も、上述した式（４）、式（６）〜（９）により表される方法のように、原画像のボケ画像を作成し、原画像および／またはボケ画像を用いて作成する方法に限らず、原画像の複数の異なる周波数帯域の成分を表す画像を作成することができれば、いかなる方法を用いてもよい。
【００６９】
また、本実施形態においては、写真画像全体に対して処理を行うようにしているが、処理の目的は美肌であるため、例えば、写真画像から肌色部分のみを抽出し、抽出された部分に対してのみ美肌処理を行うようにしてもよい。さらに、顔部分の美肌を目的とするような場合においては、従来提案された種々の顔抽出技術を用いて顔部分を抽出し、顔部分に対してのみ美肌処理を行うようにしてもよい。こうすることによって、美肌処理のための計算量を減少することができるとともに、肌色以外、または顔以外の部分のボケを防ぐことができる。なお、この場合、確認領域Ａｋは抽出した顔部分において決定すればよい。
【００７０】
また、本実施形態において、シワ成分を除去する際に用いられた減算係数βが、原画像Ｓ０の輝度値Ｙ０に応じて決められたものであるが、例えば、原画像の輝度値に加え、対象となる写真画像の被写体の情報に応じて減算係数を変えるようにしてもよい。例えば被写体が高齢であるほど、減算係数を大きくして美肌効果を強めたり、または逆に被写体が高齢であるほど、処理後の画像が不自然にならないように減算係数を小さくして美肌効果を弱めたりするようにしてもよい。
【００７１】
同様に、帯域制限画像に対して非線形変換を行う際の閾値、特に閾値Ｔｈ２を被写体の情報に応じて変えるようにしてもよい。なお、被写体の情報は、認識処理や、画像Ｄ０に付与されたタグ情報の参照によって取得するようにしてもよく、操作者の手動入力により取得するようにしてもよい。
【００７２】
また、被写体の情報に限らず、操作者が所望とする美肌効果の強弱に応じて減算係数や、非線形変換の閾値等のパラメータを変えるようにしてもよい。
【００７３】
さらに、遺影用や、結婚式用や、自動撮影プリント装置（いわゆるプリクラ）用等、写真画像の用途に応じて前述したパラメータを変えるようにしてもよい。
【００７４】
また、本実施形態の画像処理装置は、シワ成分は明暗変化を表す小振幅の成分であり、色の振幅を持っていないことに着目し、輝度空間においてのみシワ成分の除去を行うことによって、効率のよい美肌処理を実現しているが、例えば、Ｒ、Ｇ、Ｂ成分の全てに対して処理を行うようにし、シワ成分のみならず、色のシワ成分も除去するようにしてもよい。
【００７５】
また、本実施形態の画像処理装置は、シワ、シミ成分を抑制し、美肌効果を得ることを主な目的とするため、原画像の画素値が大きいほど値が大きくなる減算係数を用いたが、例えば、ノイズ除去を主とする場合には、原画像の画素値が大きいほど値が小さく減算係数を用いるようにしてもよい。
【００７６】
また、美肌処理は上記実施形態の手法に限定されるものではなく、非特許文献１あるいは特許文献１に記載された手法等、任意の手法を用いることができる。
【図面の簡単な説明】
【００７７】
【図１】本発明の実施形態による画像処理装置の構成を示すブロック図
【図２】本実施形態に用いられる画像の例を示す図
【図３】図１に示す画像処理装置におけるボケ画像作成手段の構成を示すブロック図
【図４】図２に示すボケ画像作成手段におけるフィルタリング手段が用いる１次元フィルタＦの例を示す図
【図５】図２に示すボケ画像作成手段において行われる処理を示す図
【図６】図２に示すボケ画像作成手段におけるフィルタリング手段により作成されたフィルタリング画像の周波数特性を示す図
【図７】図２に示すボケ画像作成手段におけるフィルタリング手段が用いる２次元フィルタの例を示す図
【図８】図２に示すボケ画像作成手段における補間手段がフィルタリング画像Ｂ１の補間に用いるフィルタＦ１の例を示す図
【図９】図２に示すボケ画像作成手段における補間手段がフィルタリング画像Ｂ２の補間に用いるフィルタＦ２の例を示す図
【図１０】図２に示すボケ画像作成手段により作成されたボケ画像の周波数特性を示す図
【図１１】図１に示す本発明の実施形態の画像処理装置における帯域制限画像作成手段により作成された帯域制限画像の周波数特性を示す図
【図１２】図１に示す本発明の実施形態の画像処理装置におけるシワ成分抽出手段が用いる非線形関数の例を示す図
【図１３】シワ成分の量の検出を説明するための図
【図１４】モニタに表示された処理済み確認画像および処理前確認画像の合成画像を示す図
【符号の説明】
【００７８】
１    ＹＣＣ変換手段
３    ボケ画像作成手段
５    帯域制限画像作成手段
７    シワ成分抽出手段
９    シワ成分除去手段
１１    出力手段
１３    シワ量検出手段
１５    領域決定手段
１７    画像抽出手段
１９    モニタ
２１    表示制御手段
３１    フィルタリング手段
３３    補間手段
３５    制御手段
【図１】
2006053859.tif 000010
【図２】
2006053859.tif 000011
【図３】
2006053859.tif 000012
【図４】
2006053859.tif 000013
【図５】
2006053859.tif 000014
【図６】
2006053859.tif 000015
【図７】
2006053859.tif 000016
【図８】
2006053859.tif 000017
【図９】
2006053859.tif 000018
【図１０】
2006053859.tif 000019
【図１１】
2006053859.tif 000020
【図１２】
2006053859.tif 000021
【図１３】
2006053859.tif 000022
【図１４】
2006053859.tif 000023