(57)【要約】【課題】精度高く処理対象の画像領域の設定を行えるようにする。【解決手段】画像処理部１０７から入力され、所定の平滑化処理等の美肌処理を施した画像データ（入力画像）から肌荒れ領域、ホクロ領域を検出するための材料となる材料データが作成される。次いで、肌荒れ領域が抽出される。次いで、ホクロ領域が抽出される。そして、肌荒れ領域とホクロ領域が統合され、補間処理の処理対象領域として設定される。【選択図】図１
2019074795.tif 000002
【特許請求の範囲】
【請求項１】
顔画像を取得する取得手段と、
前記取得手段によって取得された顔画像から、色空間を構成する複数種のパラメータの一つで表現される画像を生成する生成手段と、
前記生成手段によって生成された画像から、サイズを複数種設定して特異な画像領域を検出する検出手段と、
前記検出手段によって検出された画像領域を所定の処理を施すべき領域として設定する設定手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記複数種のパラメータは色差成分における特定の方向を定義したものであり、
前記設定手段は、前記検出手段によって検出された特異な画像領域の大きさと前記色差成分における特定の方向で構成される画像のエッジの検出の結果とに基づいて、当該特異な画像領域を所定の処理を施すべき領域として設定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特異な画像領域とは顔画像における局所的な肌荒れ領域であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記複数種のパラメータは輝度成分であり、
前記設定手段は、前記検出手段によって検出された特異な画像領域の大きさと前記輝度成分におけるエッジの検出の結果とに基づいて、当該特異な画像領域を所定の処理を施すべき領域として設定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記特異な画像領域とは顔画像におけるホクロが存在する領域であることを特徴とする請求項１又は４に記載の画像処理装置。
【請求項６】
顔画像を取得する取得手段と、
前記取得手段によって取得された顔画像から、色空間を構成する複数種のパラメータの一つで表現される画像を生成する生成手段と、
前記生成手段によって生成された画像から特異な画像領域を検出する検出手段と、
前記検出手段によって検出された特異な画像領域の大きさから、当該特異な画像領域を所定の処理を施すべき領域として設定する設定手段と、
を備えたことを特徴とする画像処理装置。
【請求項７】
顔画像を取得する取得ステップと、
前記取得ステップにて取得された顔画像から、色空間を構成する複数種のパラメータの一つで表現される画像を生成する生成ステップと、
前記生成ステップにて生成された画像から、サイズを複数種設定して特異な画像領域を検出する検出ステップと、
前記検出ステップにて検出された画像領域を所定の処理を施すべき領域として設定する設定ステップと、
を含むことを特徴とする画像処理方法。
【請求項８】
顔画像を取得する取得ステップと、
前記取得ステップにて取得された顔画像から、色空間を構成する複数種のパラメータの一つで表現される画像を生成する生成ステップと、
前記生成ステップにて生成された画像から特異な画像領域を検出する検出ステップと、
前記検出ステップにて検出された特異な画像領域の大きさから、当該特異な画像領域を所定の処理を施すべき領域として設定する設定ステップと、
を含むことを特徴とする画像処理方法。
【請求項９】
画像処理装置のコンピュータを、
顔画像を取得する取得手段、
前記取得手段によって取得された顔画像から、色空間を構成する複数種のパラメータの一つで表現される画像を生成する生成手段、
前記生成手段によって生成された画像から、サイズを複数種設定して特異な画像領域を検出する検出手段、
前記検出手段によって検出された画像領域を所定の処理を施すべき領域として設定する設定手段、
として機能させることを特徴とするプログラム。
【請求項１０】
画像処理装置のコンピュータを、
顔画像を取得する取得手段、
前記取得手段によって取得された顔画像から、色空間を構成する複数種のパラメータの一つで表現される画像を生成する生成手段、
前記生成手段によって生成された画像から特異な画像領域を検出する検出手段、
前記検出手段によって検出された特異な画像領域の大きさから、当該特異な画像領域を所定の処理を施すべき領域として設定する設定手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、顔画像を補正する技術が提案されている。例えば、特許文献１には、美肌化（ホクロ除去）、色白、日焼け加工を施すことが記載されている。この内ホクロ除去に関しては、局所的に周辺画素と異なる領域を検出し、これをホクロとみなし、周辺画素との置き換え処理を行うことが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−７３４９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら上記技術は、その検出された領域はホクロか否かを正確に判別はしていないため、最悪の場合本来消したくない画像領域まで消してしまう問題があった。
【０００５】
本願発明はこのような問題点に鑑みてなされたもので、精度高く処理対象の画像領域の設定を行えるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の画像処理装置は、
顔画像を取得する取得手段と、
前記取得手段によって取得された顔画像から、色空間を構成する複数種のパラメータの一つで表現される画像を生成する生成手段と、
前記生成手段によって生成された画像から、サイズを複数種設定して特異な画像領域を検出する検出手段と、
前記検出手段によって検出された画像領域を所定の処理を施すべき領域として設定する設定手段と、
を備えたことを特徴とする。
また、本発明の画像処理装置は、
顔画像を取得する取得手段と、
前記取得手段によって取得された顔画像から、色空間を構成する複数種のパラメータの一つで表現される画像を生成する生成手段と、
前記生成手段によって生成された画像から特異な画像領域を検出する検出手段と、
前記検出手段によって検出された特異な領域の大きさから、当該特異な画像領域を所定の処理を施すべき領域として設定する設定手段と、
を備えたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、精度高く処理対象の画像領域の設定を行えるようにすることを目的とする。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係る撮像装置の機能的構成を示すブロック図である。
【図２】図１の領域設定部により実行される材料データの作成の処理手順を示すフローチャートである。
【図３】図１の領域設定部により実行される肌荒れ領域の抽出の処理手順を示すフローチャートである。
【図４】図１の領域設定部により実行されるホクロ領域の抽出の処理手順を示すフローチャートである。
【図５】図１の領域設定部により実行される統合処理の抽出の処理手順を示すフローチャートである。
【図６】図１の補間処理部の各機能部におけるデータの流れを示す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して本発明に係る実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。
【００１０】
［撮像装置１の構成］
図１は、本実施形態に係る撮像装置１の機能的構成を示すブロック図である。図１に示すように、撮像装置１は、制御部１０１、記憶部１０２、表示部１０３、通信部１０４、操作部１０５、撮像部１０６、画像処理部１０７、画像メモリ１０８、領域設定部１０９、補間処理部１１０、点灯制御部１１１、発光部１１２等を備えて構成されている。制御部１０１と各部はバスにより接続されている。
【００１１】
制御部１０１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等を備えて構成され、記憶部１０２に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行う。
【００１２】
記憶部１０２は、不揮発性の半導体メモリやハードディスク等により構成される。記憶部１０２には、制御部１０１で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。
【００１３】
表示部１０３は、ＬＣＤ（Liquid Crystal Display）等により構成され、制御部１０１からの表示制御信号に従って、例えば、撮像部１０６により撮像された状態を示すライブビュー画像や、撮影指示に応じて撮像部１０６により取得された画像等を表示する。
【００１４】
通信部１０４は、外部の機器と無線又は有線によりデータ通信を行うためのインターフェースである。
【００１５】
操作部１０５は、シャッターキーを始めとする各種機能ボタンを備え、ユーザによる各ボタンの押下入力を受け付けてその操作情報を制御部１０１に出力する。
【００１６】
撮像部１０６は、撮像レンズ１０６ａ、図示しないＣＣＤ（Charge Coupled Device）
やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ等からな
る撮像素子、Ａ／Ｄ変換回路等を備えて構成され、撮像レンズ１０６ａを通過した光学像を撮像素子により２次元の画像信号に変換し、画像データ（ＲＧＢの画像データ）を取得する。
【００１７】
画像処理部１０７は、撮像部１０６により取得されたＲＧＢデータに画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒからなる画像データ（Ｙ、Ｕ、Ｖの各成分の画像データ）に変換する。また、画像処理部１０７は、美肌モードが設定されている場合、変換された画像データの肌色領域に所定の平滑化処理等の美肌処理を施す。美肌モードとは、撮像部１０６により取得された画像データに美肌処理を施すモードである。
【００１８】
画像メモリ１０８は、例えば、フラッシュメモリ等により構成され、撮像部１０６により撮像され、画像処理部１０７により処理された画像データを記録する記録手段である。
【００１９】
領域設定部１０９は、美肌モードが設定されている場合に、撮像部１０６により取得され、画像処理部１０７により美肌処理された画像データから特異な領域（肌荒れ領域、ホクロ領域）を検出し、検出した特異な領域を補間処理の処理対象領域として設定する。
【００２０】
補間処理部１１０は、撮像部１０６により取得され、画像処理部１０７により美肌処理された画像データのうち、領域設定部１０９により設定された処理対象領域に補間処理を施す。本実施形態では、処理対象領域に対し、周囲の画素を用いて補間処理を施すことで、処理対象領域の肌荒れやホクロを除去して肌を綺麗に見せる処理を施す。
【００２１】
領域設定部１０９、補間処理部１１０は、制御部１０１と記憶部１０２に記憶されているプログラムとの協働により実行されるものとするが、専用のハードウエアにより実現することとしてもよい。
【００２２】
点灯制御部１１１（ドライバ）は、発光部１１２のＬＥＤ（Light Emitting Diode）のそれぞれに接続され、制御部１０１からの指示に従って、発光部１１２の光量や点灯／消灯を制御する。
【００２３】
発光部１１２は、ＬＥＤ等により構成され、被写体に光を照射する。
【００２４】
［撮像装置１の動作］
次に、撮像装置１の領域設定部１０９及び補間処理部１１０の動作について説明する。
領域設定部１０９においては、まず、画像処理部１０７から入力され、所定の平滑化処理等の美肌処理を施した画像データ（入力画像）からニキビや吹き出物等が存在する肌荒れ領域やホクロ領域を検出するための材料となる材料データが作成される（図２参照）。次いで、肌荒れ領域が抽出される（図３参照）。次いで、ホクロ領域が抽出される（図４参照）。そして、肌荒れ領域とホクロ領域が統合され、補間処理の処理対象領域として設定される（図５参照）。
補間処理部１１０においては、領域設定部１０９により設定された処理対象領域に対して、補間処理が施される（図６参照）。
以下、領域設定部１０９及び補間処理部１１０により実行される各処理について説明する。
【００２５】
（材料データの作成）
まず、図２を参照して、領域設定部１０９において実行される材料データの作成処理について説明する。
【００２６】
まず、領域設定部１０９は、入力画像に顔領域検出処理を施す（ステップＡ０１）。顔領域検出処理は、例えば、パターン認識等の公知の画像処理技術を用いて行うことができる。
【００２７】
次いで、領域設定部１０９は、検出された顔領域の画像（顔画像）を切り出して縮小化する（ステップＡ０２）。ここでは、２５６画素×２５６画素に縮小化する。
【００２８】
次いで、領域設定部１０９は、顔画像における顔領域の輪郭情報を生成し（ステップＡ０３）、検出された顔領域（輪郭の中）のＹ成分画像データ及びＶ成分画像データを生成する（ステップＡ０４）。
【００２９】
次いで、領域設定部１０９は、ステップＡ０４で生成したＶ成分画像データについて、記憶部１０２に記憶されている４つの大きさのリングフィルタを用いて検出を行い、そのうち２つで検出された領域を予め定められた閾値に基づいて分類することにより、肌荒れ領域（強、中、弱）の画像を生成する（ステップＡ０５）。ここで、リングフィルタとは、ある座標の画素値と、指定した周辺座標群の画素値の最大値を比較し、その差が基準値以上のものを検出するリング状のフィルタである。
また、領域設定部１０９は、ステップＡ０４で生成したＶ成分画像データについてエッジ検出を行い、検出した正方向のエッジを二値化することにより得られた明部、負方向のエッジを二値化することにより得られた暗部に分類する（ステップＡ０６）。
【００３０】
また、領域設定部１０９は、ステップＡ０４で生成したＹ成分画像データについて負方向のエッジを検出し（Ａ０７）、検出されたエッジ領域を予め定められた異なる２つの閾値に基づいて二値化して、肌荒れ用拡張領域、ホクロ用拡張領域として出力する（ステップＡ０８）。また、領域設定部１０９は、ステップＡ０７で検出されたエッジ領域について、記憶部１０２に記憶されている４つの大きさのリングフィルタを用いて検出を行い、そのうち２つで検出された領域を予め定められた閾値に基づいて分類することにより、ホクロ領域（強、中、弱）の画像を生成する（ステップＡ０９）。
【００３１】
また、領域設定部１０９は、ステップＡ０４で生成したＹ成分画像データを平滑化し、予め定められた閾値で二値化してＹ成分暗部画像を生成する（ステップＡ１０）。
【００３２】
また、領域設定部１０９は、ステップＡ０３で検出された輪郭情報に基づいて、目、鼻、口、眉等の特徴部位を特定し、特徴部位をマスクした顔領域の内側の画像を生成する（ステップＡ１２）。また、領域設定部１０９は、縮小化した顔領域の画像をグレースケールに変換して肌マップデータを生成し（ステップＡ１１）、肌マップデータを所定の閾値で二値化し（ステップＡ１３）、ステップＡ１２で生成された特徴部位をマスクした顔領域の内側の画像と、ステップＡ１３で生成された肌マップデータを所定の閾値で二値化した画像の両方を満たす領域を肌領域マスクデータとして生成する（ステップＡ１４）。
【００３３】
以上のステップＡ０１〜Ａ１４により肌荒れ領域、ホクロ領域を検出するための材料データが生成される。
【００３４】
（肌荒れ領域の抽出）
次に、図３を参照して、領域設定部１０９において肌荒れ領域を抽出する処理について説明する。
【００３５】
まず、領域設定部１０９は、ステップＡ０５において生成された肌荒れ領域（弱）画像と、ステップＡ０６において生成されたＶ成分画像データの明部の抽出結果との位置関係を判断し、双方が重ならない場合は、肌荒れ領域（弱）を肌荒れ領域１として設定し、双方が重なる場合は、双方のうち少なくとも一方が含まれている領域を肌荒れ領域１として設定する（ステップＢ０１）。
【００３６】
次いで、領域設定部１０９は、ステップＢ０１において生成された肌荒れ領域１と、ステップＡ０８において生成された肌荒れ用拡張領域との位置関係を判断し、双方が重ならない場合は、肌荒れ領域ではないものとして設定し、双方が重なる場合は、双方のうち少なくとも一方が含まれている領域を肌荒れ領域２として設定する（ステップＢ０２）。
【００３７】
また、領域設定部１０９は、ステップＡ０６において生成されたＶ成分画像データの明部と暗部のそれぞれの大きい領域（予め定められたサイズ以上の領域）を抽出して足し合わせ（ステップＢ０４）、ステップＢ０４で得られた領域と、ステップＡ１０で生成されたＹ成分暗部画像と、肌領域マスクデータとを足し合わせ、所定サイズ以下の領域を除外する（ステップＢ０５）。次いで、ステップＢ０５により得られた画像を、ステップＡ０８において生成された肌荒れ用拡張領域と足し合わせる（ステップＢ０６）。
【００３８】
次いで、領域設定部１０９は、ステップＡ０８において生成されたホクロ用拡張領域をオープニング処理し（ステップＢ０７）、ステップＢ０６により生成された画像とオープニング処理したホクロ用拡張領域とで連結している領域の外側を抽出し（ステップＳ０８）、抽出した領域とステップＢ０６による足し算により得られた領域とを足し、所定サイズ以下の領域を除去する（ステップＢ０９）。
【００３９】
そして、領域設定部１０９は、ステップＢ０２で設定された肌荒れ領域２とステップＢ０９により得られた領域との位置関係を判断し、双方が重ならない場合は、肌荒れ領域２を肌荒れ領域３として設定し、双方が重なる場合は、肌荒れ領域ではないものとして設定する（ステップＢ０３）。
【００４０】
（ホクロ領域の抽出）
次に、図４を参照して、領域設定部１０９においてホクロ領域を抽出する処理について説明する。
【００４１】
まず、領域設定部１０９は、ステップＡ０８において生成されたホクロ用拡張領域とステップＡ０９において生成されたホクロ領域（弱）画像との位置関係を判断し、双方が重ならない場合は、その領域はホクロ領域ではないものとして設定し、双方が重なる場合は、双方の少なくとも一方が含まれる領域をホクロ領域１として設定する（ステップＣ０１）。
【００４２】
次いで、領域設定部１０９は、ホクロ領域１とステップＢ０９によって得られた領域との位置関係を判断し、双方が重ならない場合は、ホクロ領域１をホクロ領域２として設定し、双方が重なる場合は、ホクロ領域ではないものとして設定する（ステップＣ０２）。
【００４３】
（統合処理）
次に、図５を参照して、肌荒れ領域３とホクロ領域２を統合し、これらを補間処理の処理対象領域として設定する統合処理について説明する。
【００４４】
まず、領域設定部１０９は、ステップＢ０３において設定された肌荒れ領域３と、ステップＣ０２において設定されたホクロ領域２の位置関係を判断する（ステップＤ０１）。
肌荒れ領域３とホクロ領域２の位置が重なっている領域については（ステップＤ０２；ＹＥＳ）、領域設定部１０９は、ステップＡ０５において生成された肌荒れ領域（中・強）画像と、ステップＡ０９において生成されたホクロ領域（中・強）画像を参照し（ステップＳ０３）、肌荒れ領域３とホクロ領域２の双方の強度が同じか異なるかを判断する（ステップＤ０４）。
【００４５】
肌荒れ領域３とホクロ領域２の強度が異なっていると判断した場合（ステップＤ０４；異なる）、領域設定部１０９は、強度の低い方の領域を除外し（ステップＤ０５）、ステップＤ１０に移行する。
肌荒れ領域３とホクロ領域２の強度が同じであると判断した場合（ステップＤ０４；同じ）、領域設定部１０９は、肌荒れ領域３とホクロ領域２のサイズを比較する（ステップＤ０６）。肌荒れ領域３とホクロ領域２のサイズが異なると判断した場合（ステップＤ０６;異なる）、領域設定部１０９は、サイズの小さい方の領域を除外し（ステップＤ０７）、ステップＤ１０に移行する。肌荒れ領域３とホクロ領域２のサイズが同じと判断した場合（ステップＤ０６;同じ）、領域設定部１０９は、肌荒れ領域３を除外し（ステップＤ０８）、ステップＤ１０に移行する。
【００４６】
一方、ステップＤ０２において、肌荒れ領域３とホクロ領域２が重なっていない領域については（ステップＤ０２；ＮＯ）、双方の領域を保持し（ステップＤ０９）、ステップＤ１０に移行する。
【００４７】
ステップＤ１０において、領域設定部１０９は、ステップＤ５、Ｄ７、Ｄ８又はＤ９で得られた各領域を、肌領域マスクデータの領域内においてステップＢ０９で得られた領域に重ならないように領域を拡大し、補間処理の処理対象領域として設定する（ステップＤ１０）。これにより、肌荒れ領域とホクロ領域が重複せず、かつ目、鼻、口等の特定部位に重ならないように処理対象領域が設定される。
【００４８】
（補間処理）
次に、図６を参照して、領域設定部１０９において設定された処理対象領域に対し、補間処理部１１０において補間処理を施す流れについて説明する。
なお、補間処理部１１０における機能は、エッジ領域抽出処理部１１０Ａ、保護領域抽出部１１０Ｂ、足し込みエッジ生成部１１０Ｃ、領域補間部１１０Ｄ、元画像置換部１１０Ｅの５つの機能ブロックに分類される。
【００４９】
まず、エッジ領域抽出処理部１１０Ａにおいて、ステップＤ１０で設定された各処理対象領域の矩形の位置情報が元画像（縮小前の顔画像）のサイズにリサイズされ、リサイズ後の矩形の内側に楕円マスクが生成され、生成された楕円マスクを用いて元画像から各処理対象領域（ＹＵＶ領域と呼ぶ）が切り出される。切り出されたＹＵＶ領域は、それぞれ領域補間部１１０Ｄ、元画像置換部１１０Ｅに出力される。
また、エッジ領域抽出処理部１１０Ａにおいて、切り出された各ＹＵＶ領域について、エッジ抽出が行われ、抽出されたエッジ領域が足し込みエッジ生成部１１０Ｃに出力される。また、抽出された正方向のエッジが二値化され、エッジ領域及び正方向エッジ二値化情報が保護領域抽出部１１０Ｂに出力される。さらに、抽出された負方向のエッジが二値化され、周辺のエッジが連結するように領域をぼかして再度二値化され、ラベリングにより、楕円マスクと連結している領域と楕円マスクと連結しなかった領域であるエッジ調整対象とが抽出される。そして、このラベリング結果が保護領域抽出部１１０Ｂに出力される。
【００５０】
保護領域抽出部１１０Ｂにおいては、髪の毛等の、処理対象領域とは異なる領域を保護するために、保護対象領域が抽出される。
エッジ領域抽出部１１０Ａからエッジ領域、正方向エッジ二値化情報、ラベリング結果が入力されると、保護領域抽出部１１０Ｂにおいては、大きいエッジは薄く、小さいエッジは濃く残すように、ラベリングされた領域がサイズによって値付けされ、ブレンド率が設定される。そして、正方向エッジ二値化情報とブレンド率が設定されたブレンドマップが足し込みエッジ生成部１１０Ｃに出力される。
また、保護領域抽出部１１０Ｂにおいては、楕円マスクと連結している領域が抽出され、クロージング処理により不自然な領域が除外される。また、楕円マスクと連結している領域に含まれていない領域のうち最も大きい領域が補間対象領域として抽出され、抽出された大領域が二値化（保護部を０、補間部を２５５）されて領域補間部１１０Ｄ及び元画像置換部１１０Ｅに出力される。
【００５１】
足し込みエッジ生成部１１０Ｃにおいては、処理対象領域について領域を補間するだけでは不自然になるため、補間により除去された領域の解像感を表す足し込みエッジが生成される。
足し込みエッジ生成部１１０Ｃにおいては、エッジのない平坦なグレー画像が生成され、保護領域抽出部１１０Ｂで生成されたブレンドマップを用いて、エッジ領域抽出処理部１１０Ａにおいて抽出されたエッジ領域とグレー画像とがαブレンディングされる。αブレンディングされたエッジ画像は領域補間部１１０Ｄに出力される。
【００５２】
領域補間部１１０Ｄにおいては、違和感なく処理対象領域を補間するため、保護領域抽出部１１０Ｂで抽出された大領域の境界値の補正と、補間後のエッジ足し込みが行われる。
領域補間部１１０Ｄにおいては、まず、エッジ領域抽出処理部１１０Ａにおいて切り出されたＹＵＶ領域における、保護領域抽出部１１０Ｂにおいて抽出された大領域の補間部との境界値が回帰分析され、極端に外れた値が補正される。また、回帰分析により線形の相関がない領域の割合（信頼度）が算出され、信頼度の低いものは補間時に違和感がでるため処理が中止される。次いで、切り出されたＹＵＶ領域における補間部が例えば４点線形補間により補間され、平均フィルタにて補間時の細かいノイズを防ぐためのぼかし処理が行われる。また、必要な解像感を確保するため、足し込みエッジ生成部１１０Ｃで生成されたエッジ画像が補間領域に加算され、得られた補間画像が元画像置換部１１０Ｅに出力される。
【００５３】
元画像置換部１１０Ｅにおいては、補間後の違和感を防止するため、補間画像と元画像とのブレンド率が決定され元画像の処理対象領域が補間画像に置換される。
元画像置換部１１０Ｅにおいては、まず、エッジ領域抽出処理部１１０Ａにおいて切り出されたＹＵＶ領域の画像と領域補間部１１０Ｄにおいて生成された補間画像との差分が算出され所定閾値で二値化され（Ｉ１）、元画像より暗くなった部分が抽出される。次いで、補間画像と元画像の境界をなくすため、保護領域抽出部１１０Ｂから入力された二値化された大領域の保護部を平均フィルタでぼかす処理が行われ（Ｉ２）、Ｉ２からＩ１を引くことによりブレンドマップが生成される。そして、生成されたブレンド値によりαブレンディングが行われ、元画像の処理対象領域が補間画像に置換される。
【００５４】
このように、撮像装置１における領域設定部１０９は、撮像部１０６により取得され、美肌処理された画像データのＶ成分画像データから検出されたエッジ及び４つのサイズのリングフィルタを用いて検出された（周辺画素の画素値との関係に基づいて検出された）肌荒れ領域画像に基づいて肌荒れ領域を特定し、Ｙ成分画像データから検出されたエッジ及び４つのサイズのリングフィルタを用いて検出された（周辺画素の画素値との関係に基づいて検出された）ホクロ領域画像に基づいてホクロ領域を特定し、特定した領域のうち、目、眉毛、鼻、口等の特定領域が除外された領域を処理対象領域として設定する。
したがって、本来処理対象からはずすべき特定の画像領域を処理対象領域として設定することなく、精度高く処理対象の画像領域の設定を行うことが可能となる。
【００５５】
＜変形例１＞
尚、上記実施の形態では、切り出されたＹＵＶ領域における、保護領域抽出部１１０Ｂにおいて抽出された大領域の補間部との境界値を回帰分析して算出されたもののうち、線形の相関がない、つまり、信頼度の低いものは補間時に違和感がでるため領域補間処理を中止した。しかしこれに代えて、処理対象領域周辺の境界上を順次１ピクセルずつ探索し、この急激に暗くなる場合は髪の毛がかかっている領域、つまり保護領域であると判断するようにしてもよい。この場合、急に暗くなる直前に探索された肌色のピクセルを周辺境界上のピクセルに置き換えるか、その周辺のピクセルから補間処理により新たなピクセルを生成し、暗いピクセルを置き換え、この置き換えた周辺境界を使って線形補間アルゴリズムによる除去処理を行う用にしてもよい。
【００５６】
＜変形例２＞
また上記実施の形態に加え、ホクロや肌荒れを補間処理する際、その領域に髪の毛があると、誤って髪の毛の領域を補間処理することがあるため、処理対象領域におけるホクロ領域や肌荒れ領域の境界上のピクセルを探索し、近くにある画素よりも値が小さくなるエッジを抽出するようにしてもよい。そしてこの結果、エッジ検出されなかったホクロ領域は、抽出されたエッジの強度を弱くする。また、エッジが検出されなかった肌荒れ領域は従来のエッジの上乗せをする。このようにすることで、処理領域に太い髪の毛が被っている場合、エッジの強度は強く、また、検出されるエッジもより広域になるため太い髪の毛が処理されず残るようになる。
【００５７】
以上、本発明の実施形態について説明したが、本発明に係る撮像装置の好適な一例であり、これに限定されるものではない。
【００５８】
例えば、上記実施形態においては、設定された処理対象領域に対して補間処理を施す場合を例にとり説明したが、設定された処理対象領域に対して行う処理は、他の処理であってもよく、補間処理に限定されない。
また、上記実施形態においては、４種類のサイズのリングフィルタを用いて肌荒れ領域やホクロ領域を検出するようにしたが、リングフィルタを用いず、Ｙ成分やＶ成分の画像データにおいて特異な領域を検出し（例えば、周囲とは異なる画素値（突発的に生じている画素値）の領域等を特異な領域として検出し）、その領域の大きさから、肌荒れ又はホクロか否かを判断し、肌荒れ又はホクロと判断された特異な領域を処理対象領域として設定するようにしてもよい。
【００５９】
また、上記実施形態においては、本発明の画像処理装置が撮像装置に備えられている場合を例にとり説明したが、本発明の画像処理装置は撮像装置とは別体であってもよい。例えば、撮像装置から受信した画像データに対して、図２〜６を用いて説明した処理を行う画像処理装置としてもよい。
【００６０】
また、上記実施形態においては、ＹＵＶの画像データにおいて処理対象領域を設定して補間処理を施す場合を例にとり説明したが、画像データの種類は特に限定されない。
【００６１】
また、例えば、上記の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリ等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。
【００６２】
その他、撮像装置を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【００６３】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
顔画像を取得する取得手段と、
前記取得手段によって取得された顔画像から、色空間を構成する複数種のパラメータの一つで表現される画像を生成する生成手段と、
前記生成手段によって生成された画像から、サイズを複数種設定して特異な画像領域を検出する検出手段と、
前記検出手段によって検出された画像領域を所定の処理を施すべき領域として設定する設定手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記複数種のパラメータは色差成分における特定の方向を定義したものであり、
前記設定手段は、前記検出手段によって検出された特異な画像領域の大きさと前記色差成分における特定の方向で構成される画像のエッジの検出の結果とに基づいて、当該特異な画像領域を所定の処理を施すべき領域として設定する
ことを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記特異な画像領域とは顔画像における局所的な肌荒れ領域であることを特徴とする請求項１又は２に記載の画像処理装置。
＜請求項４＞
前記複数種のパラメータは輝度成分であり、
前記設定手段は、前記検出手段によって検出された特異な画像領域の大きさと前記輝度成分におけるエッジの検出の結果とに基づいて、当該特異な画像領域を所定の処理を施すべき領域として設定する
ことを特徴とする請求項１に記載の画像処理装置。
＜請求項５＞
前記特異な画像領域とは顔画像におけるホクロが存在する領域であることを特徴とする請求項１又は４に記載の画像処理装置。
＜請求項６＞
顔画像を取得する取得手段と、
前記取得手段によって取得された顔画像から、色空間を構成する複数種のパラメータの一つで表現される画像を生成する生成手段と、
前記生成手段によって生成された画像から特異な画像領域を検出する検出手段と、
前記検出手段によって検出された特異な画像領域の大きさから、当該特異な画像領域を所定の処理を施すべき領域として設定する設定手段と、
を備えたことを特徴とする画像処理装置。
＜請求項７＞
顔画像を取得する取得ステップと、
前記取得ステップにて取得された顔画像から、色空間を構成する複数種のパラメータの一つで表現される画像を生成する生成ステップと、
前記生成ステップにて生成された画像から、サイズを複数種設定して特異な画像領域を検出する検出ステップと、
前記検出ステップにて検出された画像領域を所定の処理を施すべき領域として設定する設定ステップと、
を含むことを特徴とする画像処理方法。
＜請求項８＞
顔画像を取得する取得ステップと、
前記取得ステップにて取得された顔画像から、色空間を構成する複数種のパラメータの一つで表現される画像を生成する生成ステップと、
前記生成ステップにて生成された画像から特異な画像領域を検出する検出ステップと、
前記検出ステップにて検出された特異な画像領域の大きさから、当該特異な画像領域を所定の処理を施すべき領域として設定する設定ステップと、
を含むことを特徴とする画像処理方法。
＜請求項９＞
画像処理装置のコンピュータを、
顔画像を取得する取得手段、
前記取得手段によって取得された顔画像から、色空間を構成する複数種のパラメータの一つで表現される画像を生成する生成手段、
前記生成手段によって生成された画像から、サイズを複数種設定して特異な画像領域を検出する検出手段、
前記検出手段によって検出された画像領域を所定の処理を施すべき領域として設定する設定手段、
として機能させることを特徴とするプログラム。
＜請求項１０＞
画像処理装置のコンピュータを、
顔画像を取得する取得手段、
前記取得手段によって取得された顔画像から、色空間を構成する複数種のパラメータの一つで表現される画像を生成する生成手段、
前記生成手段によって生成された画像から特異な画像領域を検出する検出手段、
前記検出手段によって検出された特異な画像領域の大きさから、当該特異な画像領域を所定の処理を施すべき領域として設定する設定手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００６４】
１  撮像装置
１０１  制御部
１０２  記憶部
１０３  表示部
１０４  通信部
１０５  操作部
１０６  撮像部
１０６ａ  撮像レンズ
１０７  画像処理部
１０８  画像メモリ
１０９  領域設定部
１１０  補間処理部
１１１  点灯制御部
１１２  発光部
【図１】
2019074795.tif 000003
【図２】
2019074795.tif 000004
【図３】
2019074795.tif 000005
【図４】
2019074795.tif 000006
【図５】
2019074795.tif 000007
【図６】
2019074795.tif 000008