(57)【要約】      （修正有）【課題】１枚の画像から、手作業や熟練を要せず、個人特有のキメ・ツヤ等の微細凹凸を保持しながら人物画像のシミ・ソバカス・シワ・ニキビといった肌ノイズ等を自然に軽減し、好適な画像を１回の平滑化処理だけで生成する情報処理装置、画像処理方法、プログラム及びシステムを提供する。【解決手段】入力画像からガイド画像を生成するガイド画像生成部１１０と、前記ガイド画像をもとに前記入力画像に参照型エッジ保存平滑化フィルタを適用し、処理画像を生成するノイズ低減部１２０とを備える。【選択図】図２
2017111595.tif 000002
【特許請求の範囲】
【請求項１】
入力画像からガイド画像を生成するガイド画像生成手段と、
前記ガイド画像をもとに前記入力画像に参照型エッジ保存平滑化フィルタを適用し、処理画像を生成するノイズ低減手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記入力画像と前記処理画像の差分情報から前記処理画像の過強調領域を復元する過強調領域復元手段
を備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記過強調領域復元手段は、前記入力画像と前記処理画像の差分情報から、前記処理画像の前記過強調領域とそれ以外を分離し、前記過強調領域の入力画像の情報を前記処理画像に付与することで過強調領域を復元する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記参照型エッジ保存平滑化フィルタは、ガイデッドフィルタ、もしくは、ジョイントバイラテラルフィルタとする
ことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
補正対象のノイズの大きさを推定し、その大きさをもとに前記参照型エッジ保存平滑化フィルタのフィルタパラメータを決定する手段
を備えたことを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
前記入力画像は波長の異なる情報を記録したマルチチャンネル画像である
ことを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
【請求項７】
前記ガイド画像生成手段は、前記入力画像を構成するチャンネルのうち、ノイズの少ないチャンネルを選択することでガイド画像を生成する
ことを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項８】
前記ガイド画像生成手段は、前記入力画像の各画素におけるチャンネルの最大値を選択することでガイド画像を生成する
ことを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項９】
前記入力画像は人物の肌の画像を含む
ことを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
【請求項１０】
入力画像からガイド画像を生成するガイド画像生成ステップと、
前記ガイド画像をもとに前記入力画像に参照型エッジ保存平滑化フィルタを適用し、処理画像を生成するノイズ低減ステップと
をコンピュータが実行することを特徴とする画像処理方法。
【請求項１１】
コンピュータを、
入力画像からガイド画像を生成するガイド画像生成手段、
前記ガイド画像をもとに前記入力画像に参照型エッジ保存平滑化フィルタを適用し、処理画像を生成するノイズ低減手段
として機能させる画像処理プログラム。
【請求項１２】
入力画像を生成して出力する画像生成装置と、
前記入力画像に画像処理を行って処理画像を出力する画像処理装置と、
前記処理画像を出力する画像出力装置と
を備え、
前記画像処理装置は、
入力画像からガイド画像を生成するガイド画像生成手段と、
前記ガイド画像をもとに前記入力画像に参照型エッジ保存平滑化フィルタを適用し、処理画像を生成するノイズ低減手段と
を備えたことを特徴とする画像処理システム。
【請求項１３】
前記画像処理装置に前記入力画像を提供するとともに、前記画像処理装置から前記処理画像を受け付けて蓄積し、前記画像出力装置からの要求に応じて蓄積された前記処理画像を提供するサーバ装置
を備えたことを特徴とする請求項１２に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システムに関する。
【背景技術】
【０００２】
従来、人物を含む画像に対してシミ・ソバカス・シワ・ニキビ等の肌ノイズを除去する美肌処理を行い、画像中の人物の肌を美しく表現するための様々な提案がなされている。
【０００３】
例えば、ポインティングデバイスによってシミやそばかす、ニキビ等の位置を指定し、その指定された位置を周辺画素で置換することで肌ノイズの除去を行う手法が提案されている（例えば、特許文献１等を参照）。
【０００４】
また、事前に肌ノイズのない顔肌画像から統計モデルを構築し、構築した統計モデルに基づいて肌ノイズを除去する手法が提案されている（例えば、特許文献２等を参照）。
【０００５】
また、信号波形に重畳された小振幅の高周波雑音成分の分離・除去するε−フィルタを応用して、輪郭等の勾配の大きいエッジは保持しつつ、シワやシミなど小振幅の勾配を平滑化する手法が提案されている（例えば、特許文献３等を参照）。
【０００６】
また、顔検出サイズに応じて平滑化処理の強度を最適化することで、人物以外の領域を極力ぼかさず、肌ノイズを除去する手法が提案されている（例えば、特許文献４等を参照）。
【０００７】
しかしながら、特許文献１に記載の美肌処理は、手作業であり、手間がかかるという問題がある。
【０００８】
特許文献２に記載の美肌処理は、統計情報を利用することにより個人特有の微細凹凸を無視した平滑化処理が施され、違和感を生じさせるという問題がある。
【０００９】
特許文献３、４に記載の美肌処理は、輪郭等のエッジは保持できるが、シミ等のノイズと一緒にキメ・ツヤ等の個人特有の微細凹凸も失われるという問題がある。
【００１０】
一方、特性の異なる２枚の画像を用いて被写体の質感を残しながらノイズを補正する参照型エッジ保存平滑化フィルタが提案されている（例えば、非特許文献１、２等を参照）。
【００１１】
非特許文献１では、ノイズを含んだ撮影画像と同一構図で撮影されたノイズの少ないフラッシュ画像を参照情報として用いることで、輪郭や微細凹凸を損なうことなく撮影画像のノイズを低減する手法が開示されている。しかし、この手法を適用するには、撮影画像と、構図が一致したもう１枚の画像とが必要であり、１ショットで実現するには特別な光学系を要したり、一般的なスナップ写真や動画に適用できないという問題がある。
【００１２】
この問題を解決するため、非特許文献２では、ノイズ画像を平滑化した画像をガイド画像として用いることで、１枚の画像から参照型エッジ保存平滑化フィルタを適用しノイズを低減する手法が提案されている。しかし、ガイド画像がすでに平滑化されているため、キメ・ツヤ等の個人特有の微細凹凸が失われるとともに、平滑化処理を反復するため処理時間がかかるという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述したように、従来における肌ノイズの除去のための手法には種々の問題があり、それらの解決が求められる。
【００１４】
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、１枚の画像から、手作業や熟練を要せず、個人特有のキメ・ツヤ等の微細凹凸を保持しながら人物画像のシミ・ソバカス・シワ・ニキビといった肌ノイズ等を自然に軽減し、好適な画像を１回の平滑化処理だけで生成することにある。
【課題を解決するための手段】
【００１５】
上記の課題を解決するため、本発明にあっては、入力画像からガイド画像を生成するガイド画像生成手段と、前記ガイド画像をもとに前記入力画像に参照型エッジ保存平滑化フィルタを適用し、処理画像を生成するノイズ低減手段とを備える。
【発明の効果】
【００１６】
本発明にあっては、１枚の画像から、手作業や熟練を要せず、個人特有のキメ・ツヤ等の微細凹凸を保持しながら人物画像のシミ・ソバカス・シワ・ニキビといった肌ノイズ等を自然に軽減し、好適な画像を１回の平滑化処理だけで生成することができる。
【図面の簡単な説明】
【００１７】
【図１】第１の実施形態にかかる画像処理装置のハードウェア構成例を示す図である。
【図２】第１の実施形態にかかる画像処理装置の機能構成例を示す図である。
【図３】第１の実施形態における画像処理の例を示すフローチャートである。
【図４】入力画像の一部の例を示す図である。
【図５】画素値分布の例を示す図である。
【図６】ノイズ低減の例を示す図である。
【図７】過強調領域復元の例を示す図である。
【図８】第２の実施形態にかかる画像処理装置の機能構成例を示す図である。
【図９】第２の実施形態における画像処理の例を示すフローチャートである。
【図１０】ノイズサイズの推定およびフィルタパラメータの決定の処理例を示すフローチャートである。
【図１１】寸法テーブルの例を示す図である。
【図１２】第３の実施形態にかかる画像処理システムの構成例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の好適な実施形態につき説明する。
【００１９】
＜第１の実施形態＞
図１は第１の実施形態にかかる画像処理装置１のハードウェア構成例を示す図である。図１において、画像処理装置１は、それぞれバスＢを介して相互に接続された制御部１１と主記憶部１２と補助記憶部１３と外部記憶装置Ｉ／Ｆ部１４とネットワークＩ／Ｆ部１５と表示部１６と操作部１７とを備えている。画像処理装置１は、例えばパーソナルコンピュータから構成される。
【００２０】
制御部１１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）である。また、制御部１１は、主記憶部１２や補助記憶部１３に記憶されたプログラムを実行する演算装置であり、入力装置や記憶装置からデータを受け取り、演算、加工した上で、出力装置や記憶装置等に出力する。
【００２１】
主記憶部１２は、例えばＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等であり、制御部１１が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェア等のプログラムやデータを記憶または一時保存する記憶装置である。
【００２２】
補助記憶部１３は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等であり、アプリケーションソフトウェア等に関連するデータを記憶する記憶装置である。
【００２３】
外部記憶装置Ｉ／Ｆ部１４は、例えばＵＳＢ（Universal Serial Bus）等のデータ伝送路を介して接続される例えばフラッシュメモリ等の記憶媒体１８と画像処理装置１とのインターフェイスである。なお、記憶媒体１８に格納されたプログラムは、外部記憶装置Ｉ／Ｆ部１４を介してインストールされ、画像処理装置１により実行可能となる。
【００２４】
ネットワークＩ／Ｆ部１５は、有線および／または無線回線等のデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等のネットワークを介して接続された通信機能を有する周辺機器と画像処理装置１とのインターフェイスである。
【００２５】
表示部１６は、例えば、液晶や有機ＥＬ（Electro Luminescence）等のディスプレイであり、画像や操作用アイコン等を表示し、画像処理装置１が有する機能をユーザが利用する際に各種設定を行うユーザインターフェイスとして機能する装置である。
【００２６】
操作部１７は、例えばハードキーで構成されるキースイッチやマウス等である。また、操作部１７は、表示部１６の画面に重ねて設けられるタッチパネル等であってもよい。
【００２７】
図２は第１の実施形態にかかる画像処理装置１の機能構成例を示す図である。図２において、画像処理装置１は、ガイド画像生成部１１０とノイズ低減部１２０と過強調領域復元部１３０とを備えている。ガイド画像生成部１１０は、入力画像からガイド画像を生成する機能を有している。ノイズ低減部１２０は、ガイド画像生成部１１０により生成されたガイド画像をもとに、入力画像に参照型エッジ保存平滑化フィルタを適用し、処理画像を生成する機能を有している。過強調領域復元部１３０は、入力画像と処理画像の差分情報から、処理画像の過強調領域を復元し、出力画像を生成する機能を有している。ガイド画像生成部１１０とノイズ低減部１２０と過強調領域復元部１３０は、図１に示した制御部１１が主記憶部１２および補助記憶部１３等に記憶されているプログラムを実行することで実現される機能である。
【００２８】
図３は第１の実施形態における画像処理の例を示すフローチャートである。図３において、処理を開始すると、まず、ステップＳ１１にて、ガイド画像生成部１１０は、画像中の肌領域が抽出された入力画像ｐから肌ノイズの少ないガイド画像Ｉを生成する。
【００２９】
続いて、ステップＳ１２にて、ノイズ低減部１２０は、ガイド画像Ｉを参照画像として入力画像ｐに参照型エッジ保存平滑化フィルタを適用し、肌ノイズの少ない処理画像ｑを生成する。
【００３０】
最後に、ステップＳ１３にて、過強調領域復元部１３０は、入力画像ｐと処理画像ｑから、ステップＳ１２のノイズ低減の処理により生じた過強調領域を特定し、処理画像ｑの過強調領域を復元した出力画像ｄを生成し、処理を終了する。
【００３１】
以下では、画像中の肌領域が抽出された入力画像から肌領域の修正を行う処理における各ステップの処理内容について、画像処理に使用するデータ等と併せて詳細に説明する。
【００３２】
［ステップＳ１１：ガイド画像生成］
画像処理装置１に、既存の肌領域抽出手法や物体検出手法を用いて画像中の肌領域が抽出された入力画像ｐが入力されると、ガイド画像生成部１１０は入力画像ｐから肌ノイズの少ないガイド画像Ｉを生成する。肌領域においては、長波長ほど光の直進性が高く、肌ノイズの少ない情報が記録されているため、ガイド画像Ｉの生成は、入力画像の最長波長のチャンネル値を抽出することで行うことができる。例えばＲＧＢ画像ならばＲｃｈ（Ｒｅｄのチャンネル）の情報をそのまま抽出することで行うことができる。
【００３３】
肌は半透明物体であり、肌内部では表面下散乱と呼ばれる複雑な光散乱が生じる。可視領域において光は長波長ほど直進性が高く、入射部の周囲に回り込みやすい。また、肌の色を左右するメラニン色素とヘモグロビン色素は、低〜中波長帯域の吸収が強く、結果として、画像のＲｃｈには光の回り込み作用によりシミやニキビといった肌ノイズが記録されにくい。そのため、ガイド画像Ｉとして用いることができる。なお、ガイド画像Ｉは入力画像ｐの情報を空間的に平滑化することがないため、キメ等の微細凹凸を保持することができる。
【００３４】
また、ガイド画像Ｉの生成は、例えば以下に示す式（１）により実施してもよい。
【００３５】
【数１】
2017111595.tif 000003
【００３６】
ここで、添え字のｉは画像中の画素位置、添え字のｃはマルチチャンネルの入力画像の各チャンネルを表し、例としてＲＧＢ画像ならば各画素におけるＲｃｈ、Ｇｃｈ、Ｂｃｈの最大値を取ることでガイド画像Ｉを生成する。肌領域において、ガイド画像Ｉは、主に長波長のＲｃｈの情報が反映されることになる。そのため、式（１）により、肌ノイズの少ないガイド画像Ｉを得ることができる。
【００３７】
［ステップＳ１２：ノイズ低減］
ガイド画像生成部１１０により入力画像ｐから肌ノイズの少ないガイド画像Ｉが生成されると、ノイズ低減部１２０は、ガイド画像Ｉを参照画像として、入力画像ｐに参照型エッジ保存平滑化フィルタを適用し、肌ノイズの少ない処理画像ｑを生成する。
【００３８】
本実施形態においては、参照型エッジ保存フィルタとして、Kaiming He, Jian Sun, and Xiaoou Tang.: Guided Image Filtering, IEEE TPAMI, Vol.35, No.6, pp.1397-1409 (2013)に開示される、ガイデッドフィルタを用いた例を説明する。
【００３９】
ガイデッドフィルタは、入力画像ｐの肌ノイズの少ない処理画像ｑがガイド画像Ｉの線形変換であると仮定したフィルタであり、例えば以下の式（２）で表される。
【００４０】
【数２】
2017111595.tif 000004
【００４１】
ここで、ωは画素ｉにおける画素ｉとその周囲の画素を表すカーネルであり、|ω|はカーネル内の画素数を表す。ａ、ｂは係数であり、上に横線を引いたａ、ｂはそれらの平均である。
【００４２】
ａ、ｂは、それぞれ式（３）、式（４）で表される。なお、ωは規定の形状・大きさに設定される。
【００４３】
【数３】
2017111595.tif 000005
【００４４】
【数４】
2017111595.tif 000006
【００４５】
ここで、上に横線を引いたｐはカーネルω内における入力画像ｐの画素値の平均、μおよびσはカーネルω内のガイド画像Ｉの画素値の平均および分散である。εはａの制御パラメータであり、規定値に設定される。
【００４６】
本実施形態においては、肌ノイズの少ないガイド画像Ｉで入力画像ｐの各チャンネルをフィルタリングする。ガイデッドフィルタは、式（２）〜（４）に示したように、肌ノイズを含む入力画像ｐの勾配の代わりに、肌ノイズの少ないガイド画像Ｉの勾配を転写したものと捉えることができる。つまり、肌領域においては、入力画像ｐの明るさと整合性が取れた肌ノイズの少ない処理画像ｑを生成することができる。
【００４７】
図４（ａ）は、入力される肌領域（入力画像ｐ）の一部の例を示しており、小鼻から頬にかけた部分を示している。以下の説明では、図４（ｂ）に示すように、肌領域１００の特定のシミ１０１と、シミ１０１を横断する破線部１０２の画素値分布に着目して、ノイズ低減の効果を説明する。
【００４８】
図５は、入力画像ｐ、ガイド画像Ｉ、処理画像ｑの各画像における、図４（ｂ）に示した破線部１０２の画素値分布を例示したものであり、画素値としてカラー画像の各チャンネルの値をグレー化したもの（例えば、ＲＧＢの場合、GRAY=0.299*R+0.587*G+0.114*B）を用いている。ガイド画像Ｉの画素値のレベルが他と異なるのは、ガイド画像Ｉが主に肌部でいちばん画素値の大きいＲチャンネルの情報で構成されているからである。
【００４９】
図５において、斜線で示す領域１０３が図４（ｂ）のシミ１０１に該当する領域であり、入力画像ｐには急峻な勾配としてシミが記録されていることがわかる。一方、ガイド画像Ｉにおいて、領域１０３におけるシミは光の回りこみ作用により入力画像ｐより勾配が緩やかになっており、このガイド画像Ｉの勾配を転写した処理画像ｑは結果として入力画像ｐにおける急峻な勾配が軽減され、シミが除去される。
【００５０】
一方、図５中、波線で示す領域１０４は図４の左側にある小鼻の輪郭であり、ガイド画像Ｉにおいて勾配が大きいため、処理画像ｑにおいても輪郭が保持される。さらに、ガイド画像Ｉはイメージセンサ（カメラ）で記録されたチャンネル情報を平滑化することなくそのまま利用するため、図５中、網点で示す領域１０５における本人の肌質感を示す微細凹凸も保持される。結果として、入力画像ｐのＲｃｈの値またはチャンネル最大値を取るガイド画像Ｉを参照画像として、式（２）〜（４）に示すガイデッドフィルタを入力画像ｐに適用することで、輪郭や微細凹凸を保持しつつ、シミ等の肌ノイズだけを除去した処理画像ｑを得ることができる。
【００５１】
図６（ａ）は図４（ａ）と同じ入力画像ｐを示し、図６（ｂ）は処理画像ｑを示している。図６（ｃ）は、比較のために、エッジ保存平滑化フィルタであるバイラテラルフィルタによりノイズ除去を行った結果を示している。バイラテラルフィルタは、シミ等の肌ノイズを軽減し、かつ小鼻の輪郭は保持できるものの、肌の微細凹凸は平滑化処理により失われ、肌がのっぺりとすることが図６（ｃ）からわかる。一方、本実施形態のノイズ低減部１２０により得られた処理画像ｑは、図６（ｂ）に示したように、小鼻の輪郭だけでなく、肌の微細凹凸を保持しながら、シミ等の肌ノイズを軽減できるため、より自然な肌ノイズ除去が実現できる。
【００５２】
また、参照型エッジ保存平滑化フィルタとして、式（２）〜（４）に示したガイデッドフィルタの代わりに、非特許文献１に開示されているジョイントバイラテラルフィルタも利用することができる。ジョイントバイラテラルフィルタは、例えば以下の式（５）で表される。
【００５３】
【数５】
2017111595.tif 000007
【００５４】
式（５）に示したように、ジョイントバイラテラルフィルタは２つのガウス関数によってカーネルωｋ内の画素混合の重みを決定する。１つ目のガウス関数は距離の近さに関する重みであり、画素ｉと画素ｊが空間的に近いほど重みが大きくなる。２つ目のガウス関数は画素値の近さに関する重みであり、ガイド画像Ｉにおける画素ｉと画素ｊの画素値が近いほど重みが大きくなる。２つ目のガウス関数があることで、ガイデッドフィルタと同じように、小鼻の輪郭や肌の微細凹凸を保持しながら、シミ等の肌ノイズを軽減することができる。ここで、σｓ、σｒはそれぞれのガウス関数の重みを制御するパラメータであり、規定値に設定される。Ｋｉは重みの正規化項であり、以下の式（６）で表される。
【００５５】
【数６】
2017111595.tif 000008
【００５６】
［ステップＳ１３：過強調領域復元］
ノイズ低減部１２０により入力画像ｐの肌ノイズの少ない処理画像ｑが生成されると、最後に過強調領域復元部１３０が、入力画像ｐと処理画像ｑから、ノイズ低減にて生じた過強調領域を特定し、処理画像ｑの過強調領域を復元した出力画像ｄを生成する。
【００５７】
図５において示した例では、本人の肌らしさを表す微細凹凸は網点の領域１０５に表れるが、領域１０５において入力画像ｐより処理画像ｑの画素値が少し小さい。これは、ツヤ等の光沢と普通の肌部との勾配も緩やかになったガイド画像Ｉの勾配が転写されたことによる過強調であり、処理画像ｑでは本人の肌らしさを表すツヤ等の微細凹凸も軽減されてしまう。
【００５８】
同様に、ガイド画像Ｉの生成に式（１）を用いた場合、露出の設定ミス・照明等の影響で各チャンネルのうち１チャンネルでも画素値が局所的に飽和すると、その領域は勾配がなくなってしまうため、ノイズ低減で過強調がかかる。過強調領域復元部１３０は、そのようなガイド画像とノイズ低減が原因で生じた過強調領域を復元するための処理であり、以下の式（７）により、過強調領域を復元した出力画像ｄを生成する。
【００５９】
【数７】
2017111595.tif 000009
【００６０】
式（７）において、右辺第２項が過強調領域の復元情報を示す。ｔは所定の閾値である。図５中、過強調領域を表す網点の領域１０５は入力画像ｐより処理画像ｑの方が画素値は小さい。一方、斜線の領域１０３に示されるようなシミ・ソバカス・ニキビ・シワ等の肌ノイズは、普通の肌部より暗く写るため、入力画像ｐより処理画像ｑの方が画素値は大きい。つまり、式（７）の右辺第二項に示すように、入力画像ｐから入力画像ｑを引くと、その差分情報には、ツヤや光沢、画素値の飽和部といった過強調領域は正、肌ノイズ領域は負として表れ、過強調領域と肌ノイズ領域を分離することができる。ここで、例えばｔ＝０とすることで、差分情報が負でない過強調領域における入力画像ｐのもとの情報を抽出することができ、処理画像ｑに過強調領域における入力画像ｐのもとの情報を加算することで、過強調領域の復元が実施できる。
【００６１】
図７はノイズ低減で生じた過強調領域が復元される例を示しており、図７（ａ）は入力画像ｐ、図７（ｂ）は処理画像ｑ、図７（ｃ）は出力画像ｄを示している。図７（ａ）の入力画像ｐに対して図７（ｂ）の処理画像ｑと図７（ｃ）の出力画像ｄを比べると、出力画像ｄは、シミは除去されたまま、微細な光沢が復元されていることがわかる。
【００６２】
過強調領域の復元に関しては式（７）に限らず、以下の式（８）も利用することができる。つまり、過強調領域と肌ノイズの画素値の分布の違いを利用し、分離・反映するものであればどのような手法でもよい。
【００６３】
【数８】
2017111595.tif 000010
【００６４】
本実施形態で示した画像処理によれば、本人の肌らしさを表すキメやツヤ等の微細凹凸を保持しながら、シミ・ニキビ等の肌ノイズを自然に軽減することができる。
【００６５】
なお、本実施形態の最終出力画像は、上述のように既存の肌領域抽出手法を用いて画像中の肌領域が抽出されたものを入力画像とした場合は、画像中の肌領域を出力画像で置換することで最終出力画像としてもよいし、既存の物体検出手法を用いて抽出された人物領域を入力画像とした場合は、画像中の人物領域を出力画像で置換することで最終出力画像としてもよい。また、画像そのものを入力画像とした場合は、得られた出力画像を最終出力画像としてもよいし、出力画像に対して既存の肌領域抽出等を行うことで得られた肌ノイズの少ない肌領域を画像に合成することで最終出力画像としてもよい。
【００６６】
＜第２の実施形態＞
本実施形態では、被写体の像倍率によらず、適応的に肌ノイズ除去を実現する手法について説明する。すなわち、ノイズ低減の処理においては、対象とする肌ノイズの大きさに応じた適切なフィルタパラメータを設定する必要があるが、被写体の像倍率が一定でない場合には、その都度にフィルタパラメータを設定しなければならず、実用的ではない。本実施形態では、被写体の像倍率に応じてフィルタパラメータを動的に変化させることで、最適化を図っている。
【００６７】
図８は第２の実施形態にかかる画像処理装置１の機能構成例を示す図である。図８において、画像処理装置１は、ガイド画像生成部１１０とノイズ低減部１２０と過強調領域復元部１３０とフィルタパラメータ最適化部１４０とを備えている。ノイズ低減部１２０のフィルタパラメータを入力画像に基づいて最適化するフィルタパラメータ最適化部１４０が新たに追加されたほかは、図２に示した構成と同様である。また、画像処理装置１のハードウェア構成については、図１に示したものと同様である。ガイド画像生成部１１０とノイズ低減部１２０と過強調領域復元部１３０とフィルタパラメータ最適化部１４０は、図１に示した制御部１１が主記憶部１２および補助記憶部１３等に記憶されているプログラムを実行することで実現される機能である。
【００６８】
図９は第２の実施形態における画像処理の例を示すフローチャートである。図９において、処理を開始すると、まず、ステップＳ２１にて、ガイド画像生成部１１０は、画像中の肌領域が抽出された入力画像ｐから肌ノイズの少ないガイド画像Ｉを生成する。
【００６９】
続いて、ステップＳ２２にて、画像中の肌ノイズのサイズを推定し、続くステップＳ２３において使用する参照型エッジ強調平滑化フィルタのフィルタパラメータを決定する。
【００７０】
続いて、ステップＳ２３にて、ノイズ低減部１２０は、ガイド画像Ｉを参照画像として入力画像ｐに参照型エッジ保存平滑化フィルタを適用し、肌ノイズの少ない処理画像ｑを生成する。
【００７１】
最後に、ステップＳ２４にて、過強調領域復元部１３０は、入力画像ｐと処理画像ｑから、ステップＳ２３のノイズ低減の処理により生じた過強調領域を特定し、処理画像ｑの過強調領域を復元した出力画像ｄを生成し、処理を終了する。
【００７２】
以下では、画像中の肌領域が抽出された入力画像から肌領域の修正を行う処理における各ステップの処理内容について、画像処理に使用するデータ等と併せて説明する。なお、第１の実施形態と同様の処理については簡略に説明する。
【００７３】
［ステップＳ２１：ガイド画像生成］
画像処理装置１に、既存の肌領域抽出手法や物体検出手法を用いて画像中の肌領域が抽出された入力画像ｐが入力されると、ガイド画像生成部１１０は入力画像ｐから肌ノイズの少ないガイド画像Ｉを生成する。
【００７４】
［ステップＳ２２：フィルタパラメータ最適化］
ガイド画像生成部１１０により入力画像ｐから肌ノイズの少ないガイド画像Ｉが生成されると、次に、フィルタパラメータ最適化部１４０は、入力画像ｐから肌ノイズのサイズを推定し、最適なフィルタパラメータを決定する。
【００７５】
式（２）〜式（６）に示したガイデッドフィルタは、ガイド画像Ｉが持つ勾配を入力画像ｐのカーネルωにおける平均・分散をもとに転写するものであり、カーネルωのサイズによってフィルタ処理の効果が変わる。カーネルωが小さすぎる場合は、肌ノイズの少ないガイド画像Ｉを用いてもシミ等の肌ノイズを軽減する効果が弱く、カーネルωが大きすぎる場合は、肌ノイズではない毛細血管等で生じる微細な色ムラがなくなり、肌の見えの自然さが損なわれる。一方、画像中の人物の肌領域は撮影距離や画角によって見た目の大きさが変化するため、それに応じて肌領域にあるシミ等の肌ノイズの見た目の大きさも変化する。よって、肌ノイズの見た目の大きさを画像から推定し、最適なフィルタパラメータを設定することが望ましい。
【００７６】
図１０はフィルタパラメータ最適化部１４０によるノイズサイズの推定およびフィルタパラメータの決定（図９のステップＳ２２）の処理例を示すフローチャートである。
【００７７】
処理を開始すると、まず、ステップＳ２２１にて、画像から顔・口・鼻等の器官を検出する。器官の検出は、Paul Viola and Michael J. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, 2001.に記載の物体検出手法等を用いて行うことができる。
【００７８】
続いて、ステップＳ２２２にて、器官が検出できたかの判断によって以降の処理が分岐される。検出できなかった場合は、ステップＳ２２５にて、規定のカーネルサイズが採用される。つまり、第１の実施形態と同じ処理になる。
【００７９】
器官が検出できた場合は、続いて、ステップＳ２２３にて、予め記憶されている器官の寸法テーブルから検出器官の
【００８０】
【数９】
2017111595.tif 000011
を読み出す。図１１は寸法テーブルの例を示す図であり、例えば、ステップＳ２２１にて目を検出した場合、
【００８１】
【数１０】
2017111595.tif 000012
が読み出される。
【００８２】
続いて、図１０に戻り、ステップＳ２２３にて、検出した器官の大きさｓｏ［ｐｘ］（ピクセル）を、対応する器官の
【００８３】
【数１１】
2017111595.tif 000013
で規格化し、最適なカーネルサイズｓωを決定する。以下の式（９）は最適なカーネルωの大きさｓωを算出する式の一例である。
【００８４】
【数１２】
2017111595.tif 000014
【００８５】
ここで、λｏはカーネルサイズ決定係数であり、検出器官の寸法統計値と肌ノイズの寸法統計値の対応関係から肌ノイズを効果的に除去できるよう予め設定された係数である。なお、式（９）では検出した器官の大きさｓｏ［ｐｘ］を寸法統計値で規格化しているため、器官毎にλｏを設定するのではなく、１つの代表的な係数λを設定してもよい。ただし、器官の寸法統計値も各器官によって標準偏差が異なる（個人差の大きさが異なる）ため、λｏは個別に設定するのが望ましい。
【００８６】
複数の器官が検出された場合は、個別のｓωの平均や中央値を取ってもよいし、検出した器官の信頼度（検出精度や標準偏差の大きさ等）や画像における被写体の重要度（検出器官や肌領域の大きさ等）に基づいて取捨選択したｓωを利用してもよい。なお、ｓωはカーネルωの大きさであるので、一般に正数となるよう設定される。器官が検出されなかった場合は、第１の実施形態のように規定のカーネルの大きさが利用される。
【００８７】
［ステップＳ２３：ノイズ低減］
続いて、図９に戻り、ノイズ低減部１２０は、ガイド画像Ｉを参照画像として、入力画像ｐに参照型エッジ保存平滑化フィルタを適用し、肌ノイズの少ない処理画像ｑを生成する。ここで、参照型エッジ保存平滑化フィルタのカーネルサイズはフィルタパラメータ最適化部１４０で得られたｓωを利用する。
【００８８】
［ステップＳ２４：過強調領域復元］
ノイズ低減部１２０により入力画像ｐの肌ノイズの少ない処理画像ｑが生成されると、最後に過強調領域復元部１３０が、入力画像ｐと処理画像ｑから、ノイズ低減にて生じた過強調領域を特定し、処理画像ｑの過強調領域を復元した出力画像ｄを生成する。
【００８９】
第１の実施形態とは、ステップＳ２２のフィルタパラメータ最適化が追加された点が異なり、これにより、画像中の肌領域に応じた適応的な美肌処理を実現できる。
【００９０】
なお、本実施形態の最終出力画像は、上述のように既存の肌領域抽出手法を用いて画像中の肌領域が抽出されたものを入力画像とした場合は、画像中の肌領域を出力画像で置換することで最終出力画像としてもよいし、既存の物体検出手法を用いて抽出された人物領域を入力画像とした場合は、画像中の人物領域を出力画像で置換することで最終出力画像としてもよい。また、画像そのものを入力画像とした場合は、得られた出力画像を最終出力画像としてもよいし、出力画像に対して既存の肌領域抽出等を行うことで得られた肌ノイズの少ない肌領域を画像に合成することで最終出力画像としてもよい。
【００９１】
また、複数の肌領域が存在する場合は、それぞれに対して最適なカーネルの大きさｓωを設定し、個別に出力画像を生成し、画像に各出力画像を合成して最終出力画像としてもよい。
【００９２】
＜第３の実施形態＞
本実施形態では、上述した第１および第２の実施形態における画像処理装置１を用いて画像の取得から表示・印刷等の実際上のサービスを行う構成例について説明する。
【００９３】
図１２は第３の実施形態にかかる画像処理システムの構成例を示す図である。図１２において、画像処理システムは、画像処理装置１と画像生成装置２と、ネットワーク３を介して接続されたサーバ装置４と画像出力装置５とを備えている。
【００９４】
画像生成装置２は、例えば、デジタルカメラやスキャナ等であり、画像処理装置１で処理する入力画像を生成する。入力画像は、画像生成装置２のＷＩＦＩ通信モジュール２１やフラッシュメモリ等の記憶媒体１８を介し、画像処理装置１のネットワークＩ／Ｆ部１５（図１）や外部記憶装置Ｉ／Ｆ部１４（図１）から入力される。
【００９５】
サーバ装置４は、画像生成装置２に代わり、画像処理装置１で処理する入力画像をインターネット等のネットワーク３を介して提供することができる。また、サーバ装置４は、画像処理装置１の出力画像をネットワーク３を介して受け付けて蓄積することができる。
【００９６】
画像出力装置５は、画像処理装置１から出力された出力画像を直接に、または、サーバ装置４に蓄積された出力画像を取得して表示または印刷を行うことができる。
【００９７】
また、画像処理装置１の機能は、画像生成装置２やサーバ装置４や画像出力装置５に組み込まれる構成としてもよい。
【００９８】
＜総括＞
以上説明したように、本実施形態によれば、１枚の画像から、手作業や熟練を要せず、個人特有のキメ・ツヤ等の微細凹凸を保持しながら人物画像のシミ・ソバカス・シワ・ニキビといった肌ノイズ等を自然に軽減し、好適な画像を１回の平滑化処理だけで生成することができる。
【００９９】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
【０１００】
＜実施形態の用語と請求項の用語の対応＞
ガイド画像生成部１１０は「ガイド画像生成手段」の一例である。ノイズ低減部１２０は「ノイズ低減手段」の一例である。過強調領域復元部１３０は「過強調領域復元手段」の一例である。
【符号の説明】
【０１０１】
１          画像処理装置
１１        制御部
１２        主記憶部
１３        補助記憶部
１４        外部記憶装置Ｉ／Ｆ部
１５        ネットワークＩ／Ｆ部
１６        表示部
１７        操作部
１８        記憶媒体
Ｂ          バス
１１０      ガイド画像生成部
１２０      ノイズ低減部
１３０      過強調領域復元部
１４０      フィルタパラメータ最適化部
２          画像生成装置
３          ネットワーク
４          サーバ装置
５          画像出力装置
【先行技術文献】
【特許文献】
【０１０２】
【特許文献１】特開２００３−３３１３０６号公報
【特許文献２】特開２００７−０８７２３４号公報
【特許文献３】特開２００１−１１８０６４号公報
【特許文献４】特開２００９−０２０８３４号公報
【非特許文献】
【０１０３】
【非特許文献１】G. Petschnigg, M. Agrawala, H. Hoppe, R. Szeliski, M. Cohen and K. Toyama.: Digital photography with flash and no-flash image pairs, ACM TOG, Vol.23, No.3, pp. 664-672, 2004.
【非特許文献２】常セン，井上光平，浦浜喜一．：自己クロスバイラテラルフィルタによるブートストラップ雑音除去，映像情報メディア学会誌Vol.33, No.51,2009.
【図１】
2017111595.tif 000015
【図２】
2017111595.tif 000016
【図３】
2017111595.tif 000017
【図４】
2017111595.tif 000018
【図５】
2017111595.tif 000019
【図６】
2017111595.tif 000020
【図７】
2017111595.tif 000021
【図８】
2017111595.tif 000022
【図９】
2017111595.tif 000023
【図１０】
2017111595.tif 000024
【図１１】
2017111595.tif 000025
【図１２】
2017111595.tif 000026