(57)【特許請求の範囲】
【請求項１】
人物の顔が含まれた画像である顔画像から、オブジェクトを除去する補正を行う画像処理装置であって、
顔画像を取得する画像取得手段と、
前記顔画像に含まれる画素に基づいて、肌領域を代表する画素値である代表画素値を決定する代表画素値決定手段と、
前記オブジェクトを含む領域である第一の領域を生成する領域生成手段と、
前記代表画素値との類似度に基づいて、前記第一の領域の近傍にある複数の画素の中から、補正に用いる一つ以上の画素である補正画素を決定する補正画素決定手段と、
前記補正画素を用いて、前記オブジェクトに対応する画素を置き換えるための画素の集合である部分画像を生成する部分画像生成手段と、
前記部分画像を前記顔画像に合成することで補正を行う補正手段と、
を有することを特徴とする、画像処理装置。
【請求項２】
前記補正画素は、前記第一の領域を挟んで対向する、複数の、第一の補正画素と第二の補正画素のペアからなり、
前記部分画像生成手段は、前記第一の補正画素と、前記第二の補正画素とを接続する画素列をペアごとに生成することで、前記第一の領域が補間された部分画像を生成し、
前記画素列に含まれる画素の色は、前記第一の補正画素が有する色から、前記第二の補正画素が有する色まで段階的に変化する
ことを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記第一の領域は楕円形状の領域であり、
前記第一の補正画素および第二の補正画素は、前記楕円形状の短軸方向に沿って、前記第一の領域を挟んで対向する画素である
ことを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記部分画像生成手段は、生成した部分画像にさらに平滑化フィルタを適用する
ことを特徴とする、請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
人物の顔が含まれた画像である顔画像から、オブジェクトを除去する補正を行う画像処理装置が行う画像処理方法であって、
顔画像を取得する画像取得ステップと、
前記顔画像に含まれる画素に基づいて、肌領域を代表する画素値である代表画素値を決定する代表画素値決定ステップと、
前記オブジェクトを含む領域である第一の領域を生成する領域生成ステップと、
前記代表画素値との類似度に基づいて、前記第一の領域の近傍にある複数の画素の中から、補正に用いる一つ以上の画素である補正画素を決定する補正画素決定ステップと、
前記補正画素を用いて、前記オブジェクトに対応する画素を置き換えるための画素の集合である部分画像を生成する部分画像生成ステップと、
前記部分画像を前記顔画像に合成することで補正を行う補正ステップと、
を含むことを特徴とする、画像処理方法。
【請求項６】
請求項５に記載の画像処理方法の各ステップをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に含まれる不要なオブジェクトを削除する画像処理技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等を用いて撮影された、人の顔が含まれる画像（顔画像）を自動的に補正する技術が普及し始めている。このような技術の一つに、画像に含まれる不要なオブジェクトを削除するというものがある。例えば、顔にあるほくろや皺を除去することで、肌を綺麗に見せることができる。また、眉毛を検出して除去することで、眉毛の描きなおしが可能になる。
【０００３】
画像に含まれる不要なオブジェクトを削除する技術として、例えば、特許文献１に記載の画像処理装置がある。当該画像処理装置では、不要なオブジェクトが存在する領域に類似する領域を画像内から探索し、領域ごと置き換えることによって、不要なオブジェクトを除去している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１７０８３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の装置を用いて、人の顔に含まれる不要なオブジェクト（ほくろ、皺、眉毛など）を除去しようとした場合、処理後の画像に不自然さが残ってしまう場合がある。これは、照明の当たり方などに起因して、生じる陰影が部位ごとに異なるためである。例えば、領域同士の画素の演算値（例えば、輝度値の差の合計）が類似していたとしても、陰影の付き方が異なる領域が選択されてしまうと、不自然な補正結果となってしまう。
この問題を解決するためには、除去対象のオブジェクトの周辺にある画素値を大きく変えず、対象のオブジェクトのみを除去する技術が必要になる。
【０００６】
本発明は上記の課題を考慮してなされたものであり、画像に含まれる不要なオブジェクトを違和感なく除去する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前述した課題を解決するために、本発明に係る画像処理装置は、
人物の顔が含まれた画像である顔画像から、オブジェクトを除去する補正を行う画像処理装置であって、顔画像を取得する画像取得手段と、前記顔画像に含まれる画素に基づいて、肌領域を代表する画素値である代表画素値を決定する代表画素値決定手段と、前記オブジェクトを含む領域である第一の領域を生成する領域生成手段と、前記代表画素値との類似度に基づいて、前記第一の領域の近傍にある複数の画素の中から、補正に用いる一つ以上の画素である補正画素を決定する補正画素決定手段と、前記補正画素を用いて、前記オブジェクトに対応する画素を置き換えるための画素の集合である部分画像を生成する部分画像生成手段と、前記部分画像を前記顔画像に合成することで補正を行う補正手段と、を有することを特徴とする。
【０００８】
本発明に係る画像処理装置は、顔画像に含まれる対象オブジェクトを除去する画像補正を行う装置である。対象のオブジェクトは、皮膚の表面にあるものであれば、眉毛、ほく
ろ、皺、しみ、あざ、傷など、どのようなものであってもよい。
【０００９】
代表画素値決定手段は、画像に含まれる顔の表面領域（肌領域）を代表する画素値を決定する手段である。代表画素値は、例えば、肌に対応する複数の画素をサンプリングした結果に基づいて求めることができる。
また、領域生成手段は、除去対象のオブジェクトを含む領域（第一の領域）を生成する手段である。第一の領域は、例えば、除去対象のオブジェクトに対応する特徴点についての情報がある場合、当該情報に基づいて生成されてもよいし、装置のユーザが直接指定してもよい。
【００１０】
補正画素決定手段は、第一の領域を補正、すなわち、オブジェクトを除去する画像処理を行う際に用いる画素（補正画素）を決定する手段である。補正画素は、第一の領域の近傍にある画素の中から、代表画素値との類似度に基づいて選択される。類似度は、例えば、代表画素値との輝度成分の差に基づいて決定してもよいし、色相の差に基づいて決定してもよい。
また、部分画像生成手段は、決定した補正画素に基づいて、オブジェクトが除去された部分画像を生成する手段である。部分画像生成手段は、例えば、補正画素に基づいて、第一の領域を補間した画像を部分画像として生成する。
このようにして生成された部分画像は、第一の領域の周囲に存在する画素の輝度や色相などの情報を生かし、かつ、代表画素値により近い画素に基づいて生成された画像となるため、補正の前後で画素値が大きく変動することがない。すなわち、自然な補正を行うことができる。
【００１１】
また、前記補正画素は、前記第一の領域を挟んで対向する、複数の、第一の補正画素と第二の補正画素のペアからなり、前記部分画像生成手段は、前記第一の補正画素と、前記第二の補正画素とを接続する画素列をペアごとに生成することで、前記第一の領域が補間された部分画像を生成し、前記画素列に含まれる画素の色は、前記第一の補正画素が有する色から、前記第二の補正画素が有する色まで段階的に変化することを特徴としてもよい。
【００１２】
補正画素は、第一の領域を挟んで対向する画素のペアであることが好ましい。このようにすることで、中間に存在する画素（第一の領域内にある画素）の色を補間することができる。また、画素の色を段階的に変化させることで、違和感のない補間を行うことができる。
【００１３】
また、前記第一の領域は楕円形状の領域であり、前記第一の補正画素および第二の補正画素は、前記楕円形状の短軸方向に沿って、前記第一の領域を挟んで対向する画素であることを特徴としてもよい。
【００１４】
第一の領域が楕円形状である場合、短軸方向に沿って補間を行うことが好ましい。このようにすることで、補間すべき情報量が少なくなり、より自然な補正結果を得ることができる。
【００１５】
また、前記領域生成手段は、前記第一の領域に包含され、前記オブジェクトを含む領域であって、含まれる肌領域が前記第一の領域よりも小さい第二の領域をさらに生成し、前記補正手段は、前記第二の領域の内部に前記部分画像を合成することで、前記顔画像を補正することを特徴としてもよい。
【００１６】
補正画素を得るための領域は、肌領域を含んだ領域であることが好ましい。一方で、補正を行う対象の領域は、オブジェクトのみを含んだ小さい領域であることが好ましい。そ
こで、第一の領域に包含される、第二の領域を生成したうえで、第二の領域に対して補正を行うようにしてもよい。
【００１７】
また、前記部分画像生成手段は、生成した部分画像にさらに平滑化フィルタを適用することを特徴としてもよい。
【００１８】
単純に第一の補正画素と第二の補正画素を連結する画素列を生成した場合、画素を生成した方向に沿ってエッジが生じてしまうことがある。そこで、部分画像を平滑化するフィルタをさらに適用することで、エッジを低減することができる。
【００１９】
なお、本発明は、上記手段の少なくとも一部を含む画像処理装置として特定することができる。また、本発明は、上記画像処理装置が行う画像処理方法として特定することもできる。また、本発明は、コンピュータに上記画像処理方法を実行させるプログラムとして特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
【発明の効果】
【００２０】
本発明によれば、画像に含まれる不要なオブジェクトを違和感なく除去することができる。
【図面の簡単な説明】
【００２１】
【図１】実施形態に係る画像処理装置のシステム構成図である。
【図２】画像処理装置が行う処理のフローチャートである。
【図３】代表画素値を取得する処理を詳細に説明するフローチャートである。
【図４】除去対象のオブジェクトを抽出する処理のフローチャートである。
【図５】顔画像および眉画像の例である。
【図６】補正領域を生成する処理を説明するフローチャートである。
【図７】眉毛に対応する特徴点の配置を説明する図である。
【図８】特徴点の位置に基づいて決定された、第一眉毛領域を示す図である。
【図９】第一眉毛領域と第二眉毛領域との関係を示す図である。
【図１０】部分画像を生成する処理を説明する図である。
【発明を実施するための形態】
【００２２】
以下、本発明の好ましい実施形態について図面を参照しながら説明する。
本実施形態に係る画像処理装置は、顔が含まれる画像を取得し、当該画像に対して、眉毛を除去する補正を行う装置である。図１は、本実施形態に係る画像処理装置１０のシステム構成図である。
【００２３】
（第一の実施形態）
第一の実施形態に係る画像処理装置１０は、画像取得部１１、代表画素値取得部１２、オブジェクト抽出部１３、補正領域生成部１４、部分画像生成部１５、画像補正部１６から構成される。
【００２４】
画像取得部１１は、処理対象の画像（人間の顔を含む画像。以下、顔画像）を取得する手段であり、典型的には、固定ディスクドライブやフラッシュメモリといった記憶装置である。なお、画像取得部１１は、装置の外部から画像を取得する手段（例えば、インタフェース装置や無線通信装置）であってもよいし、レンズと撮像素子を介して画像を撮像する手段であってもよい。また、処理対象の画像は、動画を構成する各フレームに対応する画像であってもよい。
なお、本実施形態では、顔画像の色空間はＹＣｂＣｒであるものとするが、ＲＧＢや、
Ｌａｂ等であってもよい。
【００２５】
代表画素値取得部１２は、顔画像に含まれる人物の肌を代表する画素値（以下、代表画素値）を取得する手段である。具体的には、顔の表面に対応する領域から複数の画素をサンプリングし、サンプリング結果に基づいて、単一の画素値を算出する。具体的な処理方法については後述する。
【００２６】
オブジェクト抽出部１３は、顔画像から除去すべきオブジェクトを検出し、当該オブジェクトが含まれる画像を切り出す手段である。具体的には、顔画像から人間の目や眉毛に対応する特徴点を検出し、眉毛が存在する領域を特定したうえで、当該領域をクリッピングする。検出する特徴点は、眉毛の輪郭に対応する点や、目尻、目頭に対応する点などであることが好ましい。以降、クリッピング後の画像を、眉画像と称する。
なお、本実施形態では、除去対象のオブジェクトが眉毛である例を挙げるが、対象のオブジェクトは、顔の表面に存在するものであれば、ほくろや皺などであってもよい。
【００２７】
補正領域生成部１４は、眉毛を除去するための画像処理を行う対象領域（以下、第一眉毛領域）と、第一眉毛領域よりも大きい領域であって、第一眉毛領域を包含する領域（以下、第二眉毛領域）を生成する手段である。第一眉毛領域および第二眉毛領域についての詳細と、具体的な処理方法については後述する。
【００２８】
部分画像生成部１５は、補正領域生成部１４が生成した包含領域に関する情報と、代表画素値取得部１２が取得した代表画素値に基づいて、部分画像を生成する手段である。部分画像とは、第一眉毛領域に合成することで眉毛の除去を行うための画像である。
【００２９】
画像補正部１６は、部分画像生成部１５が生成した部分画像を用いて、顔画像に対する補正を行う手段である。画像補正部１６が補正を行うことで、顔画像に含まれる不要なオブジェクト（本実施形態では眉毛）が除去される。
【００３０】
なお、以上に説明した各手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などによって実現されてもよいし、これらの組合せによって実現されてもよい。
前述した手段がソフトウェアとして構成される場合、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、ＣＰＵによって実行されることによって各手段が機能する。（ＣＰＵ、補助記憶装置、主記憶装置はいずれも不図示）
また、プログラムを実行する手段は、ＣＰＵに限られず、ＩＳＰ（Image Signal Processor）やＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）などであってもよい。
【００３１】
次に、取得した顔画像に含まれる眉毛を除去する処理を、画像処理装置１０が行う処理フローチャートである図２を参照しながら順番に説明する。図２の処理は、装置のユーザからの指示に基づいて開始される。
【００３２】
まず、画像取得部１１が顔画像を取得する（ステップＳ１１）。本実施形態では、予め記憶されている顔画像を記憶装置から取得するものとするが、通信手段や撮像手段を介して顔画像を取得してもよい。
【００３３】
次に、代表画素値取得部１２が、画像取得部１１が取得した顔画像と、顔を代表する画素値である代表画素値を取得する（ステップＳ１２）。図３は、ステップＳ１２で行う処理の内容を詳細に示したフローチャートである。
【００３４】
まず、顔の中心点を取得する（ステップＳ１２１）。顔の中心点は、例えば、鼻の頭や鼻あたり付近に設定することができるが、化粧や照明の影響を受けにくい箇所に設定することが好ましい。
次に、検出した中心点の近傍に、画素のサンプリングを行うための点（以下、サンプリング点）を配置する（ステップＳ１２２）。例えば、ステップＳ１２１で取得した中心点を中心とする、１６×１６ピクセルの領域に、２５６個のサンプリング点を配置する。なお、サンプリング点は、画素と重なるように配置される。
【００３５】
次に、サンプリング点が配置された画素それぞれについて、Ｙ成分、Ｃｂ成分、Ｃｒ成分を取得し、それぞれの値のヒストグラムを生成する（ステップＳ１２３）。
次に、生成された３つのヒストグラムについて、平均値μを算出し、３つの値が共に、平均値を中心とする所定の範囲に属する画素のみを抽出し、サンプリング画素とする（ステップＳ１２４）。例えば、標準偏差をσ、所定の範囲を±２σとした場合、Ｙ成分、Ｃｂ成分、Ｃｒ成分が、全て平均値を中心とする±２σの範囲に存在するサンプリング画素のみが抽出される。
【００３６】
次に、ステップＳ１２５で、抽出したサンプリング画素を用いて、肌領域の代表画素値を決定する。代表画素値は、サンプリング画素のＹ成分、Ｃｂ成分、Ｃｒ成分の各平均値などを用いて決定することができるが、他の方法を用いて決定してもよい。
以上の処理によって、顔に対応する代表画素値が決定される。
【００３７】
次に、オブジェクト抽出部１３が、顔画像から除去対象の眉毛を検出し、当該眉毛を含む領域をクリッピングすることで眉画像を生成する（ステップＳ１３）。図４は、ステップＳ１３で行う処理の内容を詳細に示したフローチャートである。
【００３８】
まず、ステップＳ１３１で、画像に含まれる顔に対応する矩形領域（以下、顔領域）を抽出する。画像から顔領域を抽出する方法は公知であるため、詳細な説明は省略する。
次に、ステップＳ１３２で、顔領域に含まれる眉毛を検出する。本実施形態では、人の眉毛の輪郭に対応する特徴点と、目じり、目がしらに対応する特徴点を、既知の方法によって検出する。なお、特徴点の検出に失敗した場合、フィルタリングを行った後、マッチング処理によって眉毛を検出するようにしてもよい。
【００３９】
次に、ステップＳ１３３で、画像の正規化を行う。具体的には、眉毛の左端と右端に対応する特徴点が所定の座標に来るように、顔領域をクリッピングし、所定のサイズの矩形画像を生成する。この際、任意の補間手法を用いて解像度の変換を行ってもよい。また、顔画像に含まれる眉毛が水平ではない場合、アフィン変換などによって、眉毛が水平となるように回転する処理を行ったのちにクリッピングを行ってもよい。
【００４０】
なお、眉画像は、カラー画像であってもよいし、カラー情報を分離した複数の画像の組であってもよい。例えば、顔画像の色空間がＹＣｂＣｒである場合、Ｙ成分と、Ｃｂ成分と、Ｃｒ成分をそれぞれ分離した三枚の画像の組を眉画像としてもよい。
図５（Ａ）が、顔画像の例であり、図５（Ｂ）が眉画像の例である。また、図５（Ｂ）に示した黒点は、眉毛の左端と右端を表す特徴点である。なお、本例では、左の眉毛のみを処理対象とするが、両方の眉毛を処理対象とする場合、ステップＳ１３３以降、本明細書によって説明する処理を繰り返せばよい。
【００４１】
次に、補正領域生成部１４が、ステップＳ１３で生成した眉画像に基づいて、補正領域を生成する（ステップＳ１４）。図６は、ステップＳ１４で行う処理の内容を詳細に示したフローチャートである。
【００４２】
まず、ステップＳ１４１で、第一眉毛領域を生成する。第一眉毛領域とは、眉毛の形状を３つの楕円によって表した領域である。
眉毛領域の生成は、ステップＳ１３２で検出した特徴点を用いて行う。図７は、眉毛の周辺にある特徴点の位置関係を表した図である。符号７０１が眉毛の輪郭線であり、図中の黒点が特徴点を表す。図７に示した特徴点のうち、「目じり点」および「目がしら点」が、目を基準として検出された特徴点であり、それ以外の点が、眉毛を基準として検出された特徴点（眉毛の輪郭に対応する特徴点）である。
【００４３】
第一眉毛領域は、図８の点線で示したような、左円（符号８０１）、中央円（符号８０２）、右円（符号８０３）の３つの楕円からなる。
なお、本実施形態では、３つの楕円を用いて第一眉毛領域を生成したが、第一眉毛領域は、眉毛を含んだ領域であれば、例示した形状以外の形状であってもよいし、例示した方法以外によって生成してもよい。
【００４４】
楕円は、中心のＸ座標およびＹ座標と、長軸のベクトルと、短軸のベクトルによって定義することができる。以下、特徴点を用いて、それぞれの楕円を定義する方法について述べる。
【００４５】
（１）左円（符号８０１）の定義方法
中心Ｘ座標：左点と左上点の中間点のＸ座標
中心Ｙ座標：左下点と左上点の中間点のＹ座標
長軸ベクトル：上点と、点（左点のＸ座標，左点と目じり点の中間点のＹ座標）を結ぶベクトル
短軸ベクトル：左円の長軸ベクトルに直交し、長さが、上点と下点との距離に等しいベクトル
【００４６】
（２）中央円（符号８０２）の定義方法
中心Ｘ座標：左円の中心点と右円の中心点との中間点のＸ座標
中心Ｙ座標：左円の中心点と右円の中心点との中間点のＹ座標
長軸ベクトル：右点と左点とを結ぶベクトル
短軸ベクトル：中央円の長軸ベクトルに直交し、長さが、上点と下点との距離に等しいベクトル
【００４７】
（３）右円（符号８０３）の定義方法
中心Ｘ座標：右点と右上点の中間点のＸ座標
中心Ｙ座標：右下点と右上点の中間点のＹ座標
長軸ベクトル：上点と、点（右点のＸ座標，右点と目がしら点の中間点のＹ座標）を結ぶベクトル
短軸ベクトル：右円の長軸ベクトルに直交し、長さが、上点と下点との距離に等しいベクトル
【００４８】
以上に定義した方法によって、第一眉毛領域が生成される。
次に、第一眉毛領域が内接する楕円領域（符号９０１）を生成し、第二眉毛含領域とする（ステップＳ１４２）。図９は、第一眉毛領域と第二眉毛領域との位置関係を示した図である。なお、本例では、第一眉毛領域が内接するように第二眉毛含領域を生成しているが、第一眉毛領域を含み、より多くの肌領域を含むような領域を生成できれば、この方法に限られない。
【００４９】
次に、部分画像生成部１５が、ステップＳ１２で生成した代表画素値と、ステップＳ１
４で生成した第一眉毛領域および第二眉毛領域を用いて、顔画像を補正するための部分画像を生成する（ステップＳ１５）。
【００５０】
ステップＳ１５の処理を説明する前に、本実施形態に係る画像処理装置が、顔画像を補正する方法の概要について説明する。
ステップＳ１４までの処理によって、第一眉毛領域と、第二眉毛領域が生成された。眉毛が存在する領域は、第一眉毛領域であるため、基本的には、第一眉毛領域の内部に、肌色の画素（例えば、代表画素値を持つ画素）を配置することで、眉毛を除去することができる。しかし、単一の画素値によって第一眉毛領域の内部を塗ってしまうと、当該部分だけ陰影の無い不自然な画像となってしまう。
【００５１】
そこで、本実施形態に係る画像処理装置は、代表画素値をそのまま合成するのではなく、代表画素値に基づいて、眉毛の周辺から補正に用いる画素（補正画素）を選択し、補正画素に基づいて、合成を行う際の画素値を算出する。
このようにすることで、眉毛の周囲に存在する陰影の情報を生かすことができるため、自然な補正結果を得ることができる。
【００５２】
図１０を参照して、ステップＳ１５の処理内容を具体的に説明する。図１０の点線で示した領域が第一眉毛領域であり、ハッチングで示した領域が第二眉毛領域である。
本実施形態では、第二眉毛領域の境界線上にある画素から、外側に向けて所定の距離だけ走査を行い、輝度成分が、代表画素値の輝度成分に最も近い画素を特定する。なお、輝度の類似度は、例えば、輝度の差分の絶対値によって判定することができる。
図１０の例では、画素１００１からＹ軸正方向に向けて走査を行った結果、画素１００３において、最も輝度が類似している画素があったものとする。同様に、画素１００２からＹ軸負方向に向けて走査を行った結果、画素１００４において、最も輝度が類似している画素があったものとする。
ここで、画素１００３の色相をＡ、画素１００４の色相をＢとおく。
【００５３】
次に、画素１００３と画素１００４を結ぶ画素列を生成する。この際、色相Ａから色相Ｂまで色が順次遷移するように、線形補間を行って各画素の色相を決定する。これにより、画素１００３から画素１００４まで、グラデーションによって段階的に色相が遷移する画素列が生成される。
この処理を、全てのＸ座標について行うと、第一眉毛領域が塗りつぶされた画像が得られる。そして、最後に当該画像に対して平滑化フィルタを適用する。例えば３×３のブラーフィルタなどによって、ぼかしをかけてもよい。これにより、縦方向のエッジを軽減することができる。
このようにして得られた画像が、本発明における部分画像である。
【００５４】
生成された部分画像は、画像補正部１６に送信され、画像補正部１６が、取得した部分画像を用いて、顔画像に含まれる眉毛を除去する処理を実行する（ステップＳ１６）。
具体的には、顔画像の第二眉毛領域に含まれる画素を、部分画像が有する画素に置き換える。なお、顔画像が、Ｙ成分、Ｃｂ成分、Ｃｒ成分などの複数のチャネルに分離している場合、各チャネルに対してのみ処理を行ったのちに、当該複数のチャネルを統合すればよい。
補正された画像は、不図示の記憶装置に記憶、または、外部に送信され、ユーザに提供される。
【００５５】
なお、画像の補正は、第二眉毛領域に含まれる画素のみを単純に置き換えてもよいが、この場合、境域の境界が不自然になってしまう場合がある。このため、第二眉毛領域の境界付近において、第二眉毛領域に含まれる画素と、部分画像が有する画素との混合比率を
徐々に変えるようにしてもよい。例えば、第二眉毛領域の境界より外側において、補正の度合いが徐々に弱くなるようなマスク画像を生成し、当該マスク画像を用いて合成を行ってもよい。
【００５６】
以上に説明したように、本実施形態に係る画像処理装置は、第二眉毛領域の近傍にある画素を用いて、第一眉毛領域の内部を補間することで眉毛を除去する。補間に用いる画素は、顔の代表画素値に近く、かつ、眉毛周辺の陰影についての情報を有している画素であるため、単一色で補間を行う場合や、近傍にある画素を単純にコピーする場合と比較して自然な補正を行うことができる。
【００５７】
（変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
【００５８】
例えば、実施形態の説明では、人の眉毛を除去する例を挙げたが、除去を行う対象は、人の顔に含まれるものであれば、どのようなものであってもよい。例えば、ほくろ、しみ、ほうれい線、しわ、あざ、隈、傷、治療跡、ひげなどであってもよい。特に、対象物が細長いものであるほど、より自然な補正を行うことができる。
なお、眉毛以外のオブジェクトを除去対象とする場合、ステップＳ１４１で、対象のオブジェクトを含む第一の領域を生成し、かつ、ステップＳ１４２で、当該第一の領域を包含し、より多くの肌領域を含む第二の領域を生成すればよい。
【００５９】
また、実施形態の説明では、検出した特徴点に基づいて除去対象を決定したが、除去対象は、装置のユーザが指定してもよい。例えば、ポインティングデバイス等を用いて、対象の領域を指定するようにしてもよい。
【００６０】
また、実施形態の説明では、図１０に示したように、Ｙ軸に沿った方向に画素列を生成したが、楕円（第一眉毛領域）の短軸と平行な方向に画素列を生成してもよい。画素列を生成する方向が、楕円の短軸方向に近いほど、補間を行う画素の数が減るため、より自然な補正結果を得ることができる。
【００６１】
また、実施形態の説明では、記憶装置に記憶された画像に対して処理を行う画像処理装置を例に説明を行ったが、画像は必ずしも記憶装置から取得する必要はなく、例えば、装置の外部から有線または無線ネットワークを介して取得してもよい。
また、本発明は、画像を撮像する撮像手段と、前述した画像処理装置とを組み合わせ、任意のオブジェクトを除去する機能を有する撮像装置として実施してもよい。
【００６２】
また、眉毛を除去する補正を行った後で、新たに眉毛を合成する（描き込む）補正を行うようにしてもよい。
【符号の説明】
【００６３】
１０  画像処理装置
１１  画像取得部
１２  代表画素値取得部
１３  オブジェクト抽出部
１４  補正領域生成部
１５  部分画像生成部
１６  画像補正部
【図１】
0006458569.tif 000002
【図２】
0006458569.tif 000003
【図３】
0006458569.tif 000004
【図４】
0006458569.tif 000005
【図５】
0006458569.tif 000006
【図６】
0006458569.tif 000007
【図７】
0006458569.tif 000008
【図８】
0006458569.tif 000009
【図９】
0006458569.tif 000010
【図１０】
0006458569.tif 000011