(57)【要約】【課題】  写真画像に対して行ったシワ成分を抑制または強調するシワ成分変更処理の効果を効率良く確認できるようにする。【解決手段】  画像Ｄ０からシワ成分を抽出し、シワ成分が抑制または強調された処理済み画像Ｄ１を生成する。この際、処理済み画像Ｄ１を表示するモニタ１３の解像度に応じて処理済み画像Ｄ１のサイズを変更する必要があるが、モニタ１３のサイズに応じて、すなわち処理済み画像Ｄ１を表示する際の拡大率が小さいほど、シワ成分の抑制または強調の程度を大きくする。【選択図】          図１
2006053821.tif 000002
【特許請求の範囲】
【請求項１】
顔を含む写真画像に対して、該写真画像に含まれるシワ成分を抑制または強調するシワ成分変更処理を施して該シワ成分変更処理が施された処理済み画像を得るシワ成分変更処理手段と、
前記処理済み画像のサイズを所定の表示サイズに応じた拡大率により変更して該処理済み画像を表示する表示手段と、
前記拡大率に応じて前記シワ成分の抑制または強調の程度を変更するよう前記シワ成分変更処理手段を制御する制御手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記拡大率が小さいほど前記シワ成分の抑制または強調の程度が大きくなるように、前記シワ成分変更処理手段を制御する手段であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記シワ成分変更処理手段が、前記写真画像に基づいて、該写真画像の複数の周波数帯域毎の成分を表す複数の帯域制限画像を作成する手段と、
出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下である入力値に対しては、該入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が前記所定の閾値より大きい入力値に対しては、出力値の絶対値が前記所定の閾値に対応する出力値の絶対値以下となる非線形変換処理を前記帯域制限画像のそれぞれの画素値に対して施して複数の変換画像を得る手段と、
前記拡大率が小さいほど値が大きくなる所定の係数を前記複数の変換画像の画素値に乗算する手段と、
前記写真画像の画素値から、前記係数を乗算された前記複数の変換画像の画素値を減算または加算して前記処理済み画像の画素値を得る手段とを備えてなることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記表示手段は、前記処理済み画像および前記写真画像を並べて配置した合成画像のサイズを、前記表示サイズに応じた拡大率により変更して表示する手段であることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
【請求項５】
顔を含む写真画像に対して、該写真画像に含まれるシワ成分を抑制または強調するシワ成分変更処理を施して該シワ成分変更処理が施された処理済み画像を得、
前記処理済み画像のサイズを所定の表示サイズに応じた拡大率により変更して該処理済み画像を表示するに際し、
前記拡大率に応じて前記シワ成分の抑制または強調の程度を変更することを特徴とする画像処理方法。
【請求項６】
顔を含む写真画像に対して、該写真画像に含まれるシワ成分を抑制または強調するシワ成分変更処理を施して該シワ成分変更処理が施された処理済み画像を得、
前記処理済み画像のサイズを所定の表示サイズに応じた拡大率により変更して該処理済み画像を表示するに際し、
前記拡大率に応じて前記シワ成分の抑制または強調の程度を変更する手順を有することを特徴とする画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔を含む写真画像に対して、シワ成分を抑制または強調する処理、具体的には、顔に含まれるノイズ、肌上のシワ、シミ等のシワ成分を抑制したり、逆に強調する処理を行う際に、処理の効果を確認できるようにする画像処理方法および装置並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
人物の顔を含む写真画像（以下略して単に画像という）からシワやシミ等を抑制、除去する美肌処理が従来行われている。例えば、ノイズ除去に通常用いられるローパスフィルタ（ＬＰＦ）を適用することにより美肌処理を行うことができる。しかし、ＬＰＦは、画像からシワ、シミおよびシワ成分を抑制することができる一方、画像信号中のエッジ部分を劣化させてしまい、画像全体をぼかしてしまうという欠点がある。
【０００３】
また、シワや、シミ等の成分の多くが、画像の高周波数成分に小振幅の信号として存在することを利用して、画像中の小振幅の高周波シワ成分を分離し抑制するために考案されたε−フィルタ（ε−分離非線形デジタルフィルタ）をシワ、シミ等の除去に適用することも行われている（非特許文献１）。ε−フィルタは、画像信号中の小振幅のレベル変化のみを平坦化する特性を有しているため、ε―フィルタを用いて美肌処理した画像は、急峻なレベル変化を有するエッジが保存され、全体のキレが殆ど損なわれない。
【０００４】
ε−フィルタは、基本的に、振幅のレベルの変化量に対して非線形関数を適用して得た値を元の画像信号から減算するように作用するものである。この非線形関数は、信号の振幅が所定の閾値より大きいとき、出力を０とする関数である。すなわち、ε−フィルタを適用した場合、画像中の、振幅が閾値より大きい部位では、非線形関数の出力が０であり、美肌処理後の画像においては、その部位の元の信号が保持される一方、振幅が閾値以下の部位では、美肌処理後の画像においては、その部位の信号値が元の信号値から非線形関数の出力（その絶対値が０より大きい）を引いた値になる。こうすることによって、いわゆるノイズではないが、小振幅の明暗変化を呈するシワや、シミ等の部位において、明暗変化が平滑化され、シワ、シミ等を目立たなくさせることができるとともに、振幅の大きいエッジ部分を保持することができる。
【０００５】
また、特許文献１には、シワ、シミを除去しつつ、肌の肌理、質感を保持するために、閾値ε０の値が大きい非線形関数を適用してシワ等の成分を抽出し、閾値ε０の値が小さい非線形関数を適用して肌の肌理、質感を表す成分を抽出し、さらに、元の信号からシワ等の成分を減ずるとともに、肌の肌理、質感を表す成分を加算することによって、シワ、シミ等を除去しつつ、肌の肌理、質感を保持する方法が提案されている。
【０００６】
このような、画像に対して施した美肌処理の効果を確認するためには、処理後の画像をモニタ等の表示画面に表示させて操作者に確認させることが行われている。しかし、例えば、携帯カメラの場合、解像度が小さい付属のモニタに処理済みの画像を表示させるために、処理済みの画像を縮小しなければならないが、縮小した画像を付属のモニタで確認しても美肌処理の効果を確認することができない。このため、市販のデジタルカメラのうち、撮像して得た画像に対して、操作者に表示領域を指定させ、指定された領域を等倍でまたは拡大して付属のモニタに表示させることによって画像のボケ状況を確認し易くするものがあり、このようなデジタルカメラを用いれば、保存された処理済み画像を記憶手段から読み出して、操作者が指定した領域を等倍または拡大して表示することによって美肌処理の効果を確認することができる。
【０００７】
また、特許文献２記載のように、画像の中央領域等予め決められ位置の画像を抽出して等倍表示したり、画像を複数の領域に分けて順次等倍表示したりする方法も提案されている。
【特許文献１】特開２００１−１１８０６４号公報
【特許文献２】特開２００３−２８３８８８号公報
【非特許文献１】荒川ほか、「ベクトルε−フィルタによるカラー顔画像処理−皺成分の除去」１９９８年３月電子情報通信学会総合大会予稿集、Ｄ−１１−４３、ＰＰ１４３−
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、操作者に表示領域を指定させる方法は、操作者が確認しようとする領域を指定する必要があり、その操作が面倒である。また、特許文献２記載の方法のような、予め決められた位置の画像を抽出して表示する方法では、予め決められた位置の画像が処理の効果を確認するのに適した領域ではない場合において適切な判断を行うことができない結果になってしまうという問題がある。
【０００９】
本発明は、上記事情に鑑み、写真画像に対して行った、顔に含まれるノイズ、シワ、シミ等のシワ成分を抑制する処理、または逆に強調する処理の効果を効率良く確認できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、顔を含む写真画像に対して、該写真画像に含まれるシワ成分を抑制または強調するシワ成分変更処理を施して該シワ成分変更処理が施された処理済み画像を得るシワ成分変更処理手段と、
前記処理済み画像のサイズを所定の表示サイズに応じた拡大率により変更して該処理済み画像を表示する表示手段と、
前記拡大率に応じて前記シワ成分の抑制または強調の程度を変更するよう前記シワ成分変更処理手段を制御する制御手段とを備えたことを特徴とするものである。
【００１１】
ここで、「写真画像」とは、デジタルカメラ等で被写体を撮像した得たデジタル画像は勿論、スキャナ等の読取装置で銀塩写真フィルムや、印刷物（例えばプリント）等にある画像を読み取って得たデジタル画像も含むものである。以下、説明上の便宜のため、単に画像というものも、写真画像を意味するものとする。
【００１２】
また、「シワ成分」としては、顔に含まれるシワのみならず、ノイズ、シミ等の顔に含まれ、除去することにより、顔の肌の肌理、質感を向上させたり、人物を若く見せることができる成分を意味するものとする。
【００１３】
なお、本発明の画像処理装置においては、前記制御手段を、前記拡大率が小さいほど前記シワ成分の抑制または強調の程度が大きくなるように、前記シワ成分変更処理手段を制御する手段としてもよい。
【００１４】
また、本発明の画像処理装置においては、前記シワ成分変更処理手段を、前記写真画像に基づいて、該写真画像の複数の周波数帯域毎の成分を表す複数の帯域制限画像を作成する手段と、
出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下である入力値に対しては、該入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が前記所定の閾値より大きい入力値に対しては、出力値の絶対値が前記所定の閾値に対応する出力値の絶対値以下となる非線形変換処理を前記帯域制限画像のそれぞれの画素値に対して施して複数の変換画像を得る手段と、
前記拡大率が小さいほど値が大きくなる所定の係数を前記複数の変換画像の画素値に乗算する手段と、
前記写真画像の画素値から、前記係数を乗算された前記複数の変換画像の画素値を加算または減算して前記処理済み画像の画素値を得る手段とを備えてなるものとしてもよい。
【００１５】
ここで、前記所定の係数は、前記写真画像の各画素に対して同じものを用いてもよいが、前記写真画像の画素値に応じて決められたものであることが好ましい。
【００１６】
画像において、ノイズ、シワ、シミ等のシワ成分は、画像の画素値に対応した異なる存在態様を有するものである。例えば、ノイズは、画像中の暗い部分（すなわち輝度値が小さい部分）に多く発生するため、画素値が大きいほど小さい（逆に画像値が小さいほど大きい）係数を用いて係数を乗算された変換画像の画素値を写真画像の画素値から減算または加算すると、ノイズの抑制または強調の効果を高めることができる。
【００１７】
また、シワ、シミ等の成分は、髪の毛等より明るい肌部分に存在するので、画素値、例えば輝度値が大きいほど大きい（逆に画素値が小さいほど小さい）係数を用い用いて係数を乗算された変換画像の画素値を写真画像の画素値から減算すると、シワ、シミ等の成分を除去することができるとともに、特にシワ、シミ等の成分成分を抑制する効果、いわゆる美肌効果を得ることができる。
【００１８】
また、前記非線形変換処理は、絶対値が前記所定の閾値より大きい入力値に対して、出力値の絶対値がほぼ一定となる処理であることが好ましい。
【００１９】
また、前記所定の閾値は、処理する前記帯域制限画像の周波数帯域に応じて決められたものであることが好ましい。
【００２０】
また、本発明の画像処理装置においては、前記表示手段を、前記処理済み画像および前記写真画像を並べて配置した合成画像のサイズを、前記表示サイズに応じた拡大率により変更して表示する手段としてもよい。
【００２１】
本発明による画像処理方法は、顔を含む写真画像に対して、該写真画像に含まれるシワ成分を抑制または強調するシワ成分変更処理を施して該シワ成分変更処理が施された処理済み画像を得、
前記処理済み画像のサイズを所定の表示サイズに応じた拡大率により変更して該処理済み画像を表示するに際し、
前記拡大率に応じて前記シワ成分の抑制または強調の程度を変更することを特徴とするものである。
【００２２】
なお、本発明による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００２３】
写真画像のサイズよりも表示手段の表示サイズが小さい場合は、処理済み画像が１よりも小さい拡大率によりサイズが変更されて（すなわち縮小されて）表示されるが、処理済み画像が縮小されると、シワ成分の抑制または強調の程度がわかりにくくなる。逆に写真画像のサイズよりも表示手段の表示サイズが大きい場合は、処理済み画像が１よりも大きい拡大率によりサイズが変更されて（すなわち拡大されて）表示されるが、処理済み画像が拡大されると、シワ成分の抑制または強調の程度が目立ちすぎることとなる。
【００２４】
本発明によれば、写真画像に対してシワ成分を抑制または強調するシワ成分変更処理を行うに際し、処理済み画像のサイズを表示手段の表示サイズに応じて変更する際の拡大率に応じて、シワ成分を抑制または強調する程度を変更するようにしたため、表示手段のサイズに拘わらず、操作者はシワ成分変更処理の効果の確認を正しく行うことができる。
【００２５】
また、写真画像に基づいて作成されたこの写真画像の複数の異なる周波数帯域毎の成分を表す複数の帯域制限画像に対して非線形変換処理を施して複数の変換画像を得、複数の変換画像に拡大率が小さいほど値が大きくなる所定の係数を乗算し、写真画像の画素値から係数が乗算された複数の変換画像の画素値を加算または減算して処理済み画像の画素値を得てもよい。ここで、複数の変換画像を得るための非線形変換処理は、出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下の入力値に対しては、入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が所定の閾値より大きい入力値に対しては、出力値の絶対値がこの所定の閾値に対応する出力値の絶対値以下となる処理である。この非線形変換処理により得られた変換画像が、当該変換画像が対応する周波数帯域におけるシワ、シミまたはノイズ等の振幅の小さいシワ成分を表すものである。したがって、この複数の変換画像の画素値に拡大率が小さいほど値が大きくなる所定の係数を乗算して、元の写真画像の画素値から減算または画素値に加算して処理済み画像の画素値を得ることにより、写真画像から複数の周波数帯域におけるシワ、シミまたはノイズ等のシワ成分を効果的に抑制または強調することができる。
【００２６】
また、処理済み画像と写真画像とを並べて表示することにより、シワ成分変更の効果をより効率良く確認することができる。
【発明を実施するための最良の形態】
【００２７】
以下、図面を参照して、本発明の実施形態について説明する。図１は本発明の実施形態による画像処理装置の構成を示すブロック図である。なお、本実施形態の画像処理装置は、写真画像（以下略して画像という）に対してシワ成分を抑制または強調するシワ成分変更処理を行うとともに、シワ成分変更処理の効果を操作者に確認させるためのものであり、補助記憶装置に読み込まれたシワ成分変更処理プログラムをコンピュータ（例えばパーソナルコンピュータ等）上で実行することにより実現される。また、このシワ成分変更処理プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。
【００２８】
また、画像データは画像を表すものであるため、以下、特に画像と画像データの区別をせずに説明を行う。
【００２９】
図１に示すように、本実施形態の画像処理装置は、原画像Ｓ０の互いに周波数応答特性が異なる複数のボケ画像Ｓ１、Ｓ２、・・・Ｓｎ（ｎ：２以上の整数）を作成するボケ画像作成手段３と、原画像Ｓ０およびボケ画像Ｓ１、Ｓ２、・・・Ｓｎを用いて複数の帯域制限画像Ｔ１、Ｔ２、・・・Ｔｎを作成する帯域制限画像作成手段５と、帯域制限画像Ｔ１、Ｔ２、・・・Ｔｎに対して非線形変換処理をそれぞれ施して各帯域制限画像が対応する周波数帯域におけるシワ成分Ｑ１、Ｑ２、・・・Ｑｎを抽出するシワ成分抽出手段７と、原画像Ｓ０のシワ成分を抑制または強調してシワ変更済み画像Ｓ´０（Ｙ１）を得るシワ成分変更手段９とを有する。
【００３０】
また、本実施形態による画像処理装置は、上記各手段が輝度空間において処理を行うものであるため、入力された画像Ｄ０（Ｒ０，Ｇ０，Ｂ０）に対してＹＣＣ変換を行って画像Ｄ０の輝度値Ｙ０（これらの輝度値Ｙ０により前述した原画像Ｓ０が構成される）、色差値Ｃｂ０、Ｃｒ０を得るＹＣＣ変換手段１と、シワ成分変更手段９により得られたシワ変更済み画像Ｓ´０の画素値Ｙ１、およびＹＣＣ変換手段１により得られた色差値Ｃｂ０、Ｃｒ０とから構成される画像を処理済み画像Ｄ１（Ｒ１，Ｇ１，Ｂ１）として出力する出力手段１１と、モニタ１３と、処理済み確認画像のモニタ１３への表示を制御する表示制御手段１５とを有する。
【００３１】
以下、本実施形態の各構成の詳細について説明する。
【００３２】
ＹＣＣ変換手段１は、下記の式（１）に従って、画像Ｄ０の各画素のＲ、Ｇ、Ｂ値を輝度値Ｙ、色差値Ｃｂ、Ｃｒに変換する。
【００３３】
Ｙ＝０．２９９０×Ｒ＋０．５８７０×Ｇ＋０．１１４０×Ｂ
Ｃｂ＝−０．１６８７×Ｒ−０．３３１３×Ｇ＋０．５０００×Ｂ＋１２８    （１）
Ｃｒ＝０．５０００×Ｒ−０．４１８７×Ｇ−０．０８１３×Ｂ＋１２８
ボケ画像作成手段３は、ＹＣＣ変換手段１により得られた輝度値Ｙ０を用いて、複数のボケ画像を作成する。図２はボケ画像作成手段３の構成を示すブロック図である。本実施形態の画像処理装置において、ボケ画像作成手段３は、輝度値Ｙ０にフィルタリング処理および間引き処理を行ってフィルタリング画像Ｂ１、Ｂ２、・・・Ｂｎを得るフィルタリング手段３１と、各フィルタリング画像に対して補間処理を行う補間手段３３と、フィルタリング手段３１および補間手段３３を制御する制御手段３５とを有してなるものである。
【００３４】
フィルタリング手段３１は、ローパスフィルタを用いてフィルタリング処理を行うものであり、このローパスフィルタとしては、例えば図３に示すような５×１のグリッド状の１次元ガウス分布に略対応したフィルタＦを用いることができる。このフィルタＦは下記の式（２）において、σ＝１としたものである。
【数１】
2006053821.tif 000003
【００３５】
フィルタリング手段３１は、このようなフィルタＦを用いて処理対象となる画像に対して画素のｘ方向およびｙ方向に対してフィルタリング処理と１／２間引き処理とを施すことにより処理対象の画像の全体のフィルタリング処理を行う。
【００３６】
図４はボケ画像作成手段３の制御手段３５が、フィルタリング手段３１と補間手段３３に行わせる処理の詳細を示している。図示のように、フィルタリング手段３１は、まず、原画像Ｓ０（Ｙ０）に対して、図３に示すフィルタＦを用いて１画素おきにフィルタリング処理を行い、その後フィルタ処理されていない画素を間引く間引き処理を行う。この処理によってフィルタリング画像Ｂ１（Ｙ１）が得られる。フィルタリング画像Ｂ１のサイズは、原画像Ｓ０のサイズの１／４（ｘ方向、ｙ方向にそれぞれ１／２）となっている。次いで、フィルタリング手段３１は、フィルタリング画像Ｂ１（Ｙ１）に対しても１画素おきにフィルタＦによるフィルタリング処理を施して同様の間引き処理を行い、フィルタリング画像Ｂ２（Ｙ２）を得る。フィルタリング手段３１は、このようなフィルタＦによるフィルタリング処理と１／２間引き処理とを繰り返し、ｎ個のフィルタリング画像Ｂｋ（ｋ＝１〜ｎ）を得る。フィルタリング画像Ｂｋのサイズは、原画像Ｓ０のサイズの１／２2kとなっている。図５は、例としてｎ＝３としたときに、フィルタリング手段３１により得られた各フィルタリング画像Ｂｋの周波数特性を示している。図示のように、フィルタリング画像Ｂｋのレスポンスはｋが大きいほど高周波成分が除去されたものとなっている。
【００３７】
なお、本実施形態の画像処理装置において、フィルタリング手段３１は、図３に示すフィルタＦにより画像のｘ方向およびｙ方向に対してフィルタリング処理を施すようにしているが、図６に示すような５×５の２次元フィルタにより原画像Ｓ０およびフィルタリング画像Ｂｋに対して一度にフィルタリング処理を施すようにしてもよい。
【００３８】
補間手段３３は、フィルタリング手段３１により得られた各フィルタリング画像Ｂｋに対して補間処理を行って、それぞれのフィルタリング画像Ｂｋを原画像Ｓ０と同一サイズにする。補間処理の方法は、Ｂスプラインによる方法等種々挙げられるが、本実施形態においては、フィルタリング手段３１は、ローパスフィルタとしてガウス信号に基づくフィルタＦを用いているため、補間手段３３は、補間処理の補間演算を行うための補間係数としてもガウス信号を用いるものとする。この補間係数は、下記の式（３）において、σ＝２k-1と近似したものである。
【数２】
2006053821.tif 000004
【００３９】
フィルタリング画像Ｂ１を補間する際にはｋ＝１であるため、σ＝１となる。上記式（３）においてσ＝１としたときの補間を行うためのフィルタは、図７に示すような５×１の１次元フィルタＦ１となる。補間手段３３は、まず、フィルタリング画像Ｂ１に対して１画素おきに値が０の画素を１つずつ挿入することによりフィルタリング画像Ｂ１を原画像Ｓ０と同じサイズに拡大し、次いで拡大された画像に対して図７に示すフィルタＦ１によりフィルタリング処理を施してボケ画像Ｓ１を得る。このボケ画像Ｓ１は、原画像Ｓ０と同じ画素数、すなわち原画像Ｓ０と同じサイズを有する。
【００４０】
ここで、図７に示すフィルタＦ１は５×１のフィルタであるが、フィルタＦ１を適用する前にフィルタリング画像Ｂ１に対して１画素おきに値が０である画素を挿入しているため、補間手段３３による補間処理は、実質的には２×１のフィルタ（０．５，０．５）および３×１のフィルタ（０．１，０．８，０．１）の２種類のフィルタによるフィルタ処理と等価である。
【００４１】
補間手段３３は、フィルタリング画像Ｂ２に対して補間を行う際にはｋ＝２であるため、σ＝２である。上記の式（３）において、σ＝２に対応するフィルタは、図８に示す１１×１の１次元フィルタＦ２となる。補間手段３３は、まず、フィルタリング画像Ｂ２に対して１画素おきに値が０である画素を３つずつ挿入することによりフィルタリング画像Ｂ２を原画像Ｓ０と同じサイズに拡大し、次いで拡大された画像に対して図８に示すフィルタＦ２によりフィルタリング処理を施してボケ画像Ｓ２を得る。ボケ画像Ｓ２は、原画像Ｓ０と同じ画素数、すなわち原画像Ｓ０と同じサイズを有する。
【００４２】
同じように、図８に示すフィルタＦ２は１１×１のフィルタであるが、フィルタＦ２を適用する前にフィルタリング画像Ｂ２に対して１画素おきに値が０である画素を３つずつ挿入しているため、補間手段３３による補間処理は、実質的には２×１のフィルタ（０．５，０．５）および３×１のフィルタ（０．３，０．６５，０．０５）、（０．３，０．７４，０．１３）、（０．０５，０．６５，０．３）の４種類のフィルタによるフィルタ処理と等価である。
【００４３】
補間手段３３は、このように各フィルタリング画像Ｂｋに対してそれぞれ、１画素おきに値が０である画素を（２k−１）個ずつ挿入することにより、フィルタリング画像Ｂｋを原画像Ｓ０と同じサイズに拡大し、そして値が０である画素が挿入されたフィルタリング画像Ｂｋに対して、上記の式（３）に基づいて作成された長さが（３×２k−１）であるフィルタによるフィルタリング処理を施してボケ画像Ｓｋを得る。
【００４４】
図９は、例としてｎ＝３としたときに、ボケ画像作成手段３により得られた各ボケ画像Ｓｋの周波数特性を示している。図示のように、ボケ画像Ｓｋは、ｋが大きいほど、原画像Ｓ０の高周波成分が除去されたものとなっている。
【００４５】
帯域制限画像作成手段５は、ボケ画像作成手段３により得られた各ボケ画像Ｓ１，Ｓ２，・・・Ｓｎを用いて、下記の式（４）に従って原画像Ｓ０の複数の周波数帯域毎の成分を表す帯域制限画像Ｔ１，Ｔ２，・・・Ｔｎを作成する。  
Ｔｍ＝Ｓ（ｍ−１）−Ｓｍ                  （４）
但し，ｍ：１以上ｎ以下の整数
【００４６】
図１０は、例としてｎ＝３としたときに、帯域制限画像作成手段５により得られた各帯域制限画像Ｔｍの周波数特性を示している。図示のように、帯域制限画像Ｔｍは、ｍが大きいほど、原画像Ｓ０の低周波数領域における成分を表すものとなっている。
【００４７】
シワ成分抽出手段７は、帯域制限画像作成手段５により得られた各帯域制限画像Ｔｍ（ｍ＝１〜ｎ）に対して非線形変換を行ってそれぞれの帯域制限画像Ｔｍが対応する周波数帯域におけるシワ、シミ、ノイズ等の成分（以下シワ成分とする）Ｑ１，Ｑ２，・・・，Ｑｎを抽出するものである。この非線形変換は、出力値を入力値以下にする処理であって、かつ所定の閾値以下の入力値に対しては、入力値が大きいほど出力値が大きくなる一方、所定の閾値より大きい入力値に対しては、出力値が所定の閾値に対応する出力値以下となる処理であって、本実施形態においては、図１１に示すような関数ｆにより行われるものである。なお、図中破線は、出力値＝入力値、すなわち傾きが１となる関数を示すものである。図示のように、本実施形態のシワ成分抽出手段７に用いられる非線形変換の関数ｆは、入力値の絶対値が第１の閾値Ｔｈ１より小さいときは傾きが１であり、入力値の絶対値が第１の閾値以上かつ第２の閾値Ｔｈ２以下であるときは傾きが１より小さくなり、入力値の絶対値が第２の閾値Ｔｈ２より大きいときは、出力値がその絶対値が入力値の絶対値より小さい一定の値Ｍとなる関数である。なお、この関数ｆは、各帯域制限画像に対して同じものであってもよいが、各帯域制限画像に対して異なるものであってもよい。
【００４８】
シワ成分抽出手段７は、各帯域制限画像の輝度値を入力値とし、図１１に示す非線形変換の関数ｆを用いて各帯域制限画像に対して非線形変換を行って、出力値の輝度値により構成された、各帯域制限画像が対応する周波数帯域におけるシワ成分Ｑｍ（ｍ＝１〜ｎ）を抽出する。
【００４９】
シワ成分変更手段９は、シワ成分抽出手段７により抽出された各シワ成分Ｑｍに対して係数βを乗算し、原画像Ｓ０（Ｙ０）から、係数を乗算されたシワ成分Ｑｍを加算または減算してシワ変更済み画像Ｓ´０（Ｙ１）を得る。下記の式（５）において、係数を乗算されたシワ成分Ｑｍを加算する場合にはシワ成分が強調され、係数を乗算されたシワ成分Ｑｍを減算する場合にはシワ成分が抑制される。
【数３】
2006053821.tif 000005
【００５０】
ここで、係数βは、原画像Ｓ０の画素の輝度値Ｙ０に応じて決められたものであり、具体的には、輝度値Ｙ０が大きい画素ほど、この画素の画素値Ｙ１を求める際に用いられる係数βの値が大きくなるものである。シワ成分抽出手段７により抽出されたシワ成分Ｑｍには、髪の毛等の成分が含まれている場合があり、シワ成分を抑制する際に髪の毛等の成分を真のシワ成分と同じように抑制してしまうと、写真画像における髪の毛の部分がボケてしまい、処理後の画像の画質が良くないという問題がある。
【００５１】
本実施形態においては、一般的にシワ等が生じる肌部分が明るく（すなわち輝度値が大きく）、髪の毛の部分が暗い（すなわち輝度値が小さい）ことに着目し、輝度値が大きい画素ほど、値が大きい係数βを用い、髪の毛の部分の減算（すなわちシワ除去）の程度を弱く、肌部分の減算（すなわちシワ除去）の程度を大きくするようにしたものである。これにより、真のシワ、シミまたはノイズ等のシワ成分を抑制することができるとともに、髪の毛を表す成分を残すことができ、髪の部分がボケないため、処理後の画素の画質が良くなる。
【００５２】
また、シワ成分変更手段９には、画像Ｄ０のサイズおよびモニタ１３の解像度の情報が入力されている。ここで、最終的に得られる処理済み画像Ｄ１をモニタ１３に表示する際には、処理済み画像Ｄ１のサイズをモニタ１３の解像度に応じて拡大または縮小する必要がある。しかしながら、処理済み画像Ｄ１のサイズよりもモニタ１３の解像度が小さい場合は、１よりも小さい拡大率により処理済み画像Ｄ１のサイズを縮小してモニタ１３に表示する必要があるが、処理済み画像Ｄ１を縮小すると、シワ成分の抑制または強調の程度がわかりにくくなる。逆に処理済み画像Ｄ１の解像度よりもモニタ１３の解像度が大きい場合は、１よりも大きい拡大率により処理済み画像Ｄ１を拡大してモニタ１３に表示する必要があるが、処理済み画像Ｄ１を拡大すると、シワ成分の抑制または強調の程度が目立ちすぎることとなる。
【００５３】
このため、本実施形態においては、シワ成分変更手段９は、処理済み画像Ｄ１をモニタ１３へ表示する際の拡大率に応じて、シワ成分を抑制または強調する程度を変更すべく、係数βの値を変更するようにしたものである。本実施形態においては、図１２に示す関数ｇ１にしたがって係数βの値を変更する。ここで、図１２において横軸が拡大率、縦軸が係数βの値をそれぞれ示す。横軸の拡大率は、モニタ１３の解像度／処理済み画像Ｄ１の解像度を表し、縦軸との交点は拡大率が１（すなわちモニタ１３の解像度と処理済み画像Ｄ１の解像度とが同一）であることを示す。また、関数ｇ１と縦軸との交点は、図１１に示す関数ｆにより決定された係数βの値である。したがって、拡大率が１より大きい（すなわち処理済み画像Ｄ１を拡大する程度が大きい）ほど係数βの値が小さくなり、拡大率が１より小さい（すなわち処理済み画像Ｄ１を縮小する程度が大きい）ほど係数βの値が大きくなる。これにより、処理済み画像Ｄ１を拡大する場合にはシワ成分の抑制または強調の程度が小さくなり、処理済み画像Ｄ１を縮小する場合にはシワ成分の抑制または強調の程度が大きくなる。
【００５４】
出力手段１１は、シワ成分変更手段９により得られた輝度値Ｙ１と、ＹＣＣ変換手段１により得られた画像Ｄ０の色差値Ｃｂ０、Ｃｒ０とにより構成される画像（Ｙ１，Ｃｒ０，Ｃｂ０）に対してＲＧＢ変換を行って各画素値がＲＧＢ値からなる処理済み画像Ｄ１（Ｒ１，Ｇ１，Ｂ１）を得、これを出力する。
【００５５】
表示制御手段１５は、処理済み画像Ｄ１をモニタ１３に表示する。この際、表示制御手段１５はモニタ１３の解像度に応じて処理済み画像Ｄ１のサイズを変更する。例えば、モニタ１３のサイズがＱＶＧＡ、すなわち３２０×２４０の解像度を有するものである場合、処理済み画像Ｄ１がモニタ１３のサイズ内に最大限に収まるように処理済み画像Ｄ１を拡大または縮小することにより、処理済み画像Ｄ１のサイズを変更する。そして、サイズを変更した処理済み画像Ｄ１をモニタ１３に表示する。
【００５６】
このように、本実施形態の画像処理装置によれば、処理済み画像Ｄ１をモニタ１３に表示する際の拡大率に応じて係数βを変更することにより、シワ成分を抑制または強調する程度を変更するようにしたため、モニタ１３のサイズに拘わらず、操作者はシワ成分変更処理の効果の確認を正しく行うことができる。
【００５７】
また、原画像Ｓ０（Ｙ０）の複数の異なる周波数帯域毎の成分を表す複数の帯域制限画像Ｔｍ（ｍ＝１〜ｎ，ｎ≧２）を作成し、これらの帯域制限画像に対して非線形変換処理を施して複数の変換画像（シワ成分）を得、これらの複数の変換画像の画素値に対して、原画像Ｓ０の輝度値に応じて決められた係数βを乗算して、原画像Ｓ０の画素値（輝度値Ｙ０）から減算または画素値に加算して処理済み画像の画素値（輝度値Ｙ１）を得るようにしているため、写真画像の複数の周波数帯域におけるシワ成分を効果的に抑制または強調することができる。また、複数の周波数帯域においてシワ成分の抑制または強調を行うようにしているので、特にシワ成分を抑制する際には、従来技術のように美肌効果を高めるために只１つの周波数帯域においてシワ成分の除去を強めることに起因するアーチファクトの発生を防ぐことができ、処理済み画像の高画質化を図ることができる。
【００５８】
以上、本発明の望ましい実施形態について説明したが、本発明の画像処理方法および装置並びにそのためのプログラムは、上述した実施形態に限られることがなく、本発明の主旨を逸脱しない限り、様々な増減、変化を加えることができる。
【００５９】
例えば、上記実施形態においては、処理済み画像Ｄ１のみをモニタ１３に表示しているが、元の画像Ｄ０と処理済み画像Ｄ１を並べて表示することにより、シワ成分変更処理の効果の程度をより精度よく確認することができる。
【００６０】
また、本実施形態の画像処理装置において、帯域制限画像作成手段５は、原画像Ｓ０およびボケ画像Ｓｋ（ｋ＝１〜ｎ，ｎ≧２）を用いて上記式（４）に従って帯域制限画像を得るものであり、帯域制限画像作成手段５、シワ成分抽出手段７、およびシワ成分変更手段９において行われる処理を下記の式（６）により表すことができるが、例えば、下記の式（７）、式（８）または式（９）により、帯域制限画像作成手段５、シワ成分抽出手段７、およびシワ成分変更手段９の処理を行うようにしてもよい。すなわち、式（６）により表される本実施形態の画像処理装置における処理のように、原画像および各ボケ画像を用いて、互いに隣接する周波数帯域の画像（原画像Ｓ０はボケ画像Ｓ１と周波数帯域が隣接するものとする）の減算を行って帯域制限画像を得るようにしてもよいが、式（７）に示すように、全てのボケ画像と、原画像との減算により帯域制限画像を得るようにしてもよく、または式（８）に示すように、原画像を用いず互いに隣接する周波数帯域のボケ画像の減算を行って帯域制限画像を得るようにしてもよく、または式（９）に示すように、原画像を用いず、ボケ画像Ｓ１と、ボケ画像Ｓ１を除いた全てのボケ画像Ｓｍ（ｍ＝２〜ｎ，ｎ≧３）との減算により帯域制限画像を得るようにしてもよい。
【数４】
2006053821.tif 000006
【数５】
2006053821.tif 000007
【数６】
2006053821.tif 000008
【数７】
2006053821.tif 000009
【００６１】
また、帯域制限画像を作成する方法も、上述した式（４）、式（６）〜（９）により表される方法のように、原画像のボケ画像を作成し、原画像および／またはボケ画像を用いて作成する方法に限らず、原画像の複数の異なる周波数帯域の成分を表す画像を作成することができれば、いかなる方法を用いてもよい。
【００６２】
また、本実施形態においては、写真画像全体に対して処理を行うようにしているが、処理の目的はシワ成分の変更であるため、例えば、写真画像から肌色部分のみを抽出し、抽出された部分に対してのみシワ成分を変更する処理を行うようにしてもよい。さらに、顔部分のシワ成分の変更を目的とするような場合においては、従来提案された種々の顔抽出技術を用いて顔部分を抽出し、顔部分に対してのみシワ成分変更処理を行うようにしてもよい。こうすることによって、シワ成分変更処理のための計算量を減少することができるとともに、肌色以外、または顔以外の部分のボケを防ぐことができる。
【００６３】
また、本実施形態において、シワ成分を除去する際に用いられた係数βが、原画像Ｓ０の輝度値Ｙ０に応じて決められたものであるが、例えば、原画像の輝度値に加え、対象となる写真画像の被写体の情報に応じて係数を変えるようにしてもよい。例えば被写体が高齢であるほど、係数βを大きくしてシワ成分を抑制する効果を強めたり、または逆に被写体が高齢であるほど、処理後の画像が不自然にならないように係数を小さくしてシワ成分を抑制する効果を弱めたりするようにしてもよい。
【００６４】
同様に、帯域制限画像に対して非線形変換を行う際の閾値、特に閾値Ｔｈ２を被写体の情報に応じて変えるようにしてもよい。なお、被写体の情報は、認識処理や、画像Ｄ０に付与されたタグ情報の参照によって取得するようにしてもよく、操作者の手動入力により取得するようにしてもよい。
【００６５】
また、被写体の情報に限らず、操作者が所望とするシワ成分変更効果の強弱に応じて係数や、非線形変換の閾値等のパラメータを変えるようにしてもよい。
【００６６】
さらに、遺影用や、結婚式用や、自動撮影プリント装置（いわゆるプリクラ）用等、写真画像の用途に応じて前述したパラメータを変えるようにしてもよい。
【００６７】
また、本実施形態の画像処理装置は、シワ成分は明暗変化を表す小振幅の成分であり、色の振幅を持っていないことに着目し、輝度空間においてのみシワ成分の抑制または強調を行うことによって、効率のよいシワ成分変更処理を実現しているが、例えば、Ｒ、Ｇ、Ｂ成分の全てに対して処理を行うようにし、シワ成分のみならず、色のシワ成分も除去するようにしてもよい。
【００６８】
また、シワ成分を変更する処理は上記実施形態の手法に限定されるものではなく、非特許文献１あるいは特許文献１に記載された手法等、任意の手法を用いることができる。この場合においても、処理済み画像Ｄ１をモニタ１３に表示する際の拡大率に応じて、シワ成分を抑制または強調する程度を変更すればよい。
【００６９】
また、本実施形態の画像処理装置は、複数の帯域制限画像を作成し、その全てを用いてシワ成分の抑制または強調を行っているが、処理済み画像Ｄ１をモニタ１３に表示する際の拡大率に応じて、原画像Ｓ０に加減算する帯域制限画像の周波数帯域を変更してもよい。例えば、処理済み画像Ｄ１のサイズを１／４に縮小する場合には、最高周波数帯域の帯域制限画像Ｔ１を使用することなく、これよりも低い周波数帯域の帯域制限画像Ｔ２〜Ｔｎのみまたは帯域制限画像Ｔ２のみを用いて、シワ成分を変更するようにしてもよい。また、処理済み画像Ｄ１のサイズを１／１６に縮小する場合には、最高周波数帯域およびこれの次の周波数帯域の帯域制限画像Ｔ１，Ｔ２を使用することなく、これよりも低い周波数帯域の帯域制限画像Ｔ３〜Ｔｎのみまたは帯域制限画像Ｔ３のみを用いて、シワ成分を変更するようにしてもよい。これにより、高速にシワ成分を変更する処理を行うことができる。
【図面の簡単な説明】
【００７０】
【図１】本発明の実施形態による画像処理装置の構成を示すブロック図
【図２】図１に示す画像処理装置におけるボケ画像作成手段の構成を示すブロック図
【図３】図２に示すボケ画像作成手段におけるフィルタリング手段が用いる１次元フィルタＦの例を示す図
【図４】図２に示すボケ画像作成手段において行われる処理を示す図
【図５】図２に示すボケ画像作成手段におけるフィルタリング手段により作成されたフィルタリング画像の周波数特性を示す図
【図６】図２に示すボケ画像作成手段におけるフィルタリング手段が用いる２次元フィルタの例を示す図
【図７】図２に示すボケ画像作成手段における補間手段がフィルタリング画像Ｂ１の補間に用いるフィルタＦ１の例を示す図
【図８】図２に示すボケ画像作成手段における補間手段がフィルタリング画像Ｂ２の補間に用いるフィルタＦ２の例を示す図
【図９】図２に示すボケ画像作成手段により作成されたボケ画像の周波数特性を示す図
【図１０】図１に示す本発明の実施形態の画像処理装置における帯域制限画像作成手段により作成された帯域制限画像の周波数特性を示す図
【図１１】図１に示す本発明の実施形態の画像処理装置におけるシワ成分抽出手段が用いる非線形関数の例を示す図
【図１２】図１に示す本発明の実施形態の画像処理装置における係数を変更する関数の例を示す図
【符号の説明】
【００７１】
１    ＹＣＣ変換手段
３    ボケ画像作成手段
５    帯域制限画像作成手段
７    シワ成分抽出手段
９    シワ成分変更手段
１１    出力手段
１３    モニタ
１５    表示制御手段
【図１】
2006053821.tif 000010
【図２】
2006053821.tif 000011
【図３】
2006053821.tif 000012
【図４】
2006053821.tif 000013
【図５】
2006053821.tif 000014
【図６】
2006053821.tif 000015
【図７】
2006053821.tif 000016
【図８】
2006053821.tif 000017
【図９】
2006053821.tif 000018
【図１０】
2006053821.tif 000019
【図１１】
2006053821.tif 000020
【図１２】
2006053821.tif 000021