(57)【要約】      （修正有）【課題】体感のある顔画像の生成を容易にする画像処理装置、方法及びプログラムを提供する。【解決手段】撮像装置は、ＣＰＵに画像取得部５１と、画像処理部５３と、を備える。画像取得部５１は、顔画像を取得する。画像処理部５３は、画像取得部５１によって取得された顔画像の明るさを調整する。画像処理部５３は、顔の立体形状に基づいて当該顔の所定領域を透過領域としたマップデータ（固定マップ）を用いて、画像取得部５１によって取得された顔画像と調整された画像とを合成する。【選択図】図７
2019070870.tif 000002
【特許請求の範囲】
【請求項１】
顔画像を取得する取得手段と、
前記取得手段によって取得された顔画像の明るさを調整する調整手段と、
顔の立体形状に基づいて当該顔の所定領域を透過領域としたマップデータを用いて、前記取得手段によって取得された顔画像と前記調整手段によって調整された画像とを合成する合成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記取得手段によって取得された顔画像における顔領域のサイズまたは形状に基づいて、前記マップデータを変形させるよう制御する制御手段を更に備え、
前記合成手段は、前記制御手段によって変形させたマップデータを用いて、前記取得手段によって取得された顔画像と前記調整手段によって調整された画像とを合成することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記顔の立体形状には鼻の形状が含まれることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記調整手段は前記顔画像の明るさを上げる方向で調整し、
前記合成手段は、鼻の形状における鼻筋に相当する領域について前記調整手段によって調整された画像を不透過になるように調整して合成することを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記調整手段は前記顔画像の明るさを下げる方向で調整し、
前記合成手段は、鼻の形状における目頭または小鼻に相当する領域について前記調整手段によって調整された画像を不透過になるように調整して合成することを特徴とする請求項３または４記載の画像処理装置。
【請求項６】
前記顔の立体形状には顔の輪郭形状が含まれ、
前記調整手段は前記顔画像の明るさを下げる方向で調整し、
前記合成手段は、前記輪郭形状におけるえらに相当する領域について前記調整手段によって調整された画像を不透過になるように調整して合成することを特徴とする請求項１乃至５の何れか記載の画像処理装置。
【請求項７】
顔画像を取得する取得処理と、
前記取得処理によって取得された顔画像の明るさを調整する調整処理と、
顔の立体形状に基づいて当該顔の所定領域を透過領域としたマップデータを用いて、前記取得処理によって取得された顔画像と前記調整処理によって調整された画像とを合成する合成処理と、
を含むことを特徴とする画像処理方法。
【請求項８】
コンピュータに、
顔画像を取得する取得手段と、
前記取得手段によって取得された顔画像の明るさを調整する調整手段と、
顔の立体形状に基づいて当該顔の所定領域を透過領域としたマップデータを用いて、前記取得手段によって取得された顔画像と前記調整手段によって調整された画像とを合成する合成手段と、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、画像内に含まれる人物の顔を補正する処理が利用されている。例えば、特許文献１には、人物の顔を印刷するにおいて、顔の立体感を強調するため、顔の鼻筋の辺りの画素を明るく、また、目頭から小鼻の辺りの画素を暗く補正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１９３７２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、この公報に記載された技術では、印刷する度に補正領域を細かく設定する必要があった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、立体感のある顔画像の生成を容易にすることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の画像処理装置は、
顔画像を取得する取得手段と、
前記取得手段によって取得された顔画像の明るさを調整する調整手段と、
顔の立体形状に基づいて当該顔の所定領域を透過領域としたマップデータを用いて、前記取得手段によって取得された顔画像と前記調整手段によって調整された画像とを合成する合成手段と、
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、立体感のある顔画像の生成を容易にすることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の画像処理装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
【図２】本実施形態における美顔画像の生成を説明するための模式図である。
【図３】固定マップの作成を説明するための模式図である。
【図４】鼻筋用及び鼻側部用の固定マップの形状の例と、固定マップが適用される顔の部位との関係を示す模式図である。
【図５】フェイスライン用の固定マップの形状の例と、固定マップが適用される顔の部位との関係を示す模式図である。
【図６】目鼻周辺用の固定マップの形状の例と、固定マップが適用される顔の部位との関係を示す模式図である。
【図７】図１の撮像装置の機能的構成のうち、美顔画像生成処理を実行するための機能的構成を示す機能ブロック図である。
【図８】美肌処理の強さとガンマ補正特性との関係を示す模式図であり、図８（ａ）はハイライト加工用のガンマ補正特性を示す模式図、図８（ｂ）はシャドウ強調用のガンマ補正特性を示す模式図である。
【図９】図７の機能的構成を有する図１の撮像装置１が実行する美顔画像生成処理の流れを説明するフローチャートである。
【図１０】固定マップに対する補正特性の一例を示す模式図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
【００１０】
図１は、本発明の画像処理装置の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えば、デジタルカメラとして構成される。
【００１１】
撮像装置１は、図１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、照明部２２と、を備えている。
【００１２】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、または、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１３】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１４】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０、ドライブ２１及び、照明部２２が接続されている。
【００１５】
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００１６】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００１７】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を撮像画像のデータとしてＣＰＵ１１や図示しない画像処理部等に適宜供給される。
【００１８】
入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００１９】
ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。
照明部２２は、撮像部１６の周囲に円を描くように設置された８個のＬＥＤ（発光部材）と、当該撮像装置１において、この８個のＬＥＤとは離れた位置に設置された１個のＬＥＤとで構成される。これらのＬＥＤは、ライブビュー撮影時、画像記録時に、ユーザの操作に従って選択的に発光する。このように照明のための光線の到来方向を変更させて顔を撮影することで、人為的に陰影がコントロールされた顔画像を取得することができる。
【００２０】
このように構成される撮像装置１では、顔を撮影した画像に対して、美白処理及び美肌処理が施されていると共に、美肌処理によってコントラストが低減した顔画像に対して、顔の立体感を適切に補正した画像（以下、「美顔画像」という。）を生成することができる機能を有する。即ち、顔全体にガンマ補正を単純に適用した場合、部分的な陰影の補正やコントラストの低い画像の補正が適切に行われないところ、撮像装置１では、適切な領域を選択して局所的なガンマ補正（ここでは輝度成分に対するガンマ補正とする）を適用することにより、立体感のある顔画像を容易に生成することを可能とするものである。
【００２１】
美顔画像は、本実施形態においては、まず、顔全体に対して美白処理及び美肌処理を施し、その後、顔の特定の部位を含む領域を選択して局所的なガンマ補正を行うことにより生成される。
【００２２】
図２は、本実施形態における美顔画像の生成を説明するための模式図である。
図２においては、顔の特定の部位としての鼻筋を含む領域を選択して、局所的なガンマ補正を行う例を示している。
本実施形態の美顔画像は、図２に示すように、画像全体に対して美白処理及び美肌処理を施した画像（以下、「元画像」という。）から顔の特定の部位（ここでは鼻筋）を含む領域を切り出す。そして、顔の特定の部位を含む領域に対して、局所的なガンマ補正処理を施して画像（以下、「ガンマ補正画像」という。）を作成する。ガンマ補正画像は、顔の特定の部位以外を含む切り出し画像全体に対してガンマ補正がされているため、顔の特定の部位のみにガンマ補正の効果が表れるように、顔の特定の部位らしさ表す固定マップを用いて、元画像とガンマ補正画像とをαブレンドによる画像合成をして、顔の特定の部位のみがガンマ補正された画像（以下、「特定部位ガンマ補正画像」という。）を作成する。固定マップの各画素値は、αブレンドによる画像合成の際に、対応する各画素のα値となる。
その後、作成した特定部位ガンマ補正画像を元画像の切り出し位置に合成して、美顔画像を生成する。
【００２３】
［固定マップの作成］
図３は、固定マップの作成を説明するための模式図である。
【００２４】
固定マップは、一般的な顔において顔の特定の部位（鼻筋等）の形を模したマップで、ガンマ補正を行うにあたり予め作成されているマップである。
固定マップは、図３（ａ）に示すように、記憶されているデータから縮小サイズのマップを展開する。
そして、図３（ｂ）示すように、画像における顔の特定の部位の輪郭情報から顔の特定の部位の傾きの角度を算出して、当該角度に対応して固定マップを回転させる。
最後に、固定マップは、画像に対応するサイズにリサイズされ、ガンマ補正画像のαブレンドにおいて顔の特定部位以外の部分への合成を抑制するために使用される。
【００２５】
［固定マップの適用例］
上述のように、固定マップは、一般的な顔において顔の特定の部位の形を模したマップであり、顔の特定の部位らしさ表すものである。
本実施形態における美顔画像の生成では、顔の特定の部位に対してガンマ補正を行うために、顔の各種部位に対応する固定マップが用意されている。
図４〜図６は、固定マップの形状の例と、固定マップが適用される顔の部位との関係を示す模式図であり、図４は鼻筋用及び鼻側部用の固定マップを併せて適用した例、図５はフェイスライン用の固定マップを適用した例、図６は目鼻周辺用の固定マップを適用した例を示している。なお、図４〜図６において、固定マップは破線の閉領域として示されている。
【００２６】
図４に示すように、鼻筋用の固定マップは、鼻筋をハイライト加工（局所的に明るく）するために用いられ、鼻の中央に適用される。また、鼻側部用の固定マップは、鼻側部（目頭から小鼻の領域）のシャドウを強調するために用いられ、目頭から鼻の脇に適用される。なお、鼻側部用の固定マップは、左右別に用意され、顔の中心線に対して対称な形状となっている。鼻筋用の固定マップで鼻筋をハイライト加工し、鼻側部用の固定マップで鼻側部のシャドウを強調することで、鼻の立体感を強める効果が得られる。
【００２７】
また、図５に示すように、フェイスライン用の固定マップは、フェイスラインのシャドウを強調するために用いられ、左右の頬（特に、えら部分）のフェイスラインに適用される。なお、フェイスライン用の固定マップは、左右別に用意され、顔の中心線に対して左右対称な形状となっている。フェイスライン用の固定マップで左右の頬のフェイスラインのシャドウを強調することで、小顔効果が得られる。
また、図６に示すように、目鼻周辺用の固定マップは、目鼻周辺のシャドウを強調するために用いられ、両眼及び鼻を含むＴ字型の領域に適用される。目鼻周辺用の固定マップで目鼻周辺のシャドウを強調することで、彫の深い印象を与える効果が得られる。
【００２８】
図７は、図１の撮像装置１の機能的構成のうち、美顔画像生成処理を実行するための機能的構成を示す機能ブロック図である。
美顔画像生成処理とは、撮影された人の顔を含む元画像に対して、美白処理及び美肌処理を施すと共に、顔の特定の部位のみがガンマ補正された特定部位ガンマ補正画像を生成して元画像に合成し、美顔画像を生成する一連の処理をいう。
【００２９】
美顔画像生成処理を実行する場合には、図７に示すように、ＣＰＵ１１において、画像取得部５１と、顔検出部５２と、画像処理部５３と、固定マップ作成処理部５４と、ガンマ補正画像作成処理部５５と、が機能する。
【００３０】
また、記憶部１９の一領域には、画像記憶部７１と、固定マップ記憶部７２と、が設定される。
【００３１】
画像記憶部７１には、撮像部１６から出力された画像のデータが記憶される。
固定マップ記憶部７２には、顔の各種部位に対応する形状の固定マップのデータが記憶される。なお、固定マップは、データ量削減のため、対称な形状を有するものを分割して保持しておき、使用する際に展開して全体を形成することができる。
【００３２】
画像取得部５１は、撮像部１６により撮像された画像に現像処理が行われた撮像画像のデータ、或いは画像記憶部７１から処理対象となる画像のデータを取得する。
【００３３】
顔検出部５２は、画像から顔を検出すると共に、検出した顔において顔を構成する各器官を検出する。また、顔検出部５２は、顔の各部位の輪郭情報から、局所的なガンマ補正を適用する対象となる顔の特定の部位を検出する。顔検出及び各器官を検出する場合、既存の顔検出技術及び器官検出技術を用いることができる。
【００３４】
画像処理部５３は、元画像に対して各種の画像処理を実行する。
具体的には、画像処理部５３は、主に、彩度低減、明度アップ、青色方向への色相回転の３点の要素の補正を行う美白処理を実行する。また、画像処理部５３は、バイラテラルフィルタ（或いは他の平滑化フィルタ）によって肌を滑らかにする補正を行う美肌処理を実行する。また、画像処理部５３は、図２に示すように、元画像から唇を含む領域を切り出す。また、画像処理部５３は、切り出し画像と、作成したガンマ補正画像とを、作成した固定マップに基づいて、αブレンドして画像合成する。その結果、特定部位ガンマ補正画像が作成される。また、画像処理部５３は、元の切り出し位置に特定部位ガンマ補正画像を貼り付ける。その結果、美顔画像が生成される。
【００３５】
固定マップ作成処理部５４は、顔の特定の部位の領域のみにガンマ補正が施された画像となるように、αブレンドに用いる固定マップを生成する（図３参照）。
【００３６】
ガンマ補正画像作成処理部５５は、切り出し画像に対して、ガンマ補正処理を実行する。
具体的には、ガンマ補正画像作成処理部５５は、美肌処理の強度に応じて選択されたガンマ補正の補正量で切り出し画像に対するガンマ補正処理を実行する。
図８は、美肌処理の強さとガンマ補正特性との関係を示す模式図であり、図８（ａ）はハイライト加工用のガンマ補正特性を示す模式図、図８（ｂ）はシャドウ強調用のガンマ補正特性を示す模式図である。なお、図８（ａ）及び図８（ｂ）における破線は、補正なしの特性を示している。
本実施形態において、美肌処理はレベル０〜６の７段階で適用することが可能であり、図８（ａ）及び図８（ｂ）に示すように、美肌処理の強度が強いレベル４〜６の場合は、美肌処理の強度が弱いレベル０〜３の場合に比べて、ガンマ補正の補正量が大きくなるようにガンマ補正特性が設定されている。
これにより、強い美肌処理を適用した場合に、顔画像のコントラストが低下し、彫の深さが低減した画像となることを抑制し、立体感のある顔画像を生成することができる。
なお、美肌レベルそれぞれに対応して、ガンマ補正特性を個別に設定することとしてもよい。
【００３７】
図９は、図７の機能的構成を有する図１の撮像装置１が実行する美顔画像生成処理の流れを説明するフローチャートである。
美顔画像生成処理は、ユーザによる入力部１７への美顔画像生成処理開始の操作により開始される。
美顔画像生成処理開始の操作は、撮影指示操作とすることが可能であり、この撮影指示操作に応じて撮像部１６により撮像された画像を対象として、現像処理を行い、引き続き美顔画像生成処理を行うことができる。また、画像記憶部７１に記憶されている撮像画像のデータを選択し、その選択された撮像画像のデータに対して、美顔画像生成処理開始の操作を行うこととしてもよい。
【００３８】
ステップＳ１１において、画像取得部５１は、撮像部１６により撮像された画像に現像処理が行われた撮像画像のデータ、或いは画像記憶部７１から処理対象となる画像を取得する。
【００３９】
ステップＳ１２において、顔検出部５２は、処理対象となる画像において顔検出を行い、顔が検出されたか否かを判定する。
顔が検出されなかった場合には、ステップＳ１２においてＮＯと判定されて、美顔画像生成処理は終了する。
顔が検出された場合には、ステップＳ１２においてＹＥＳと判定されて、処理はステップＳ１３に進む。
【００４０】
ステップＳ１３において、画像処理部５３は、処理対象の画像に対して美白処理及び美顔処理を実行する。
ステップＳ１４において、顔検出部５２は、顔を構成する各器官を検出し、顔の各部位の輪郭情報から、局所的なガンマ補正を適用する対象となる顔の特定の部位（鼻筋等）を検出する。
【００４１】
ステップＳ１５において、画像処理部５３は、検出した特定の部位を含む領域を切り出す。
ステップＳ１６において、固定マップ作成処理部５４は、特定の部位に対応する固定マップを作成する。
【００４２】
ステップＳ１７において、ガンマ補正画像作成処理部５５は、切り出し画像に対して、ガンマ補正処理を実行し、ガンマ補正画像を作成する。
【００４３】
ステップＳ１８において、画像処理部５３は、切り出し画像と、作成したガンマ補正画像とを、固定マップに基づいてαブレンドして画像合成する。その結果、顔の特定の部位のみにガンマ補正が施された特定部位ガンマ補正画像が作成される。
【００４４】
ステップＳ１９において、画像処理部５３は、特定部位ガンマ補正画像を元画像の切り出し位置に貼り付ける。その結果、肌に美白処理及び美肌処理が施されていると共に、顔の特定部位に局所的にガンマ補正が施され、立体感のある顔画像とされた美顔画像が生成される。
その後、美顔画像生成処理が終了する。
【００４５】
［変形例１］
上述の実施形態において、固定マップをα値として用いてガンマ補正画像を切り出し画像にαブレンドする場合に、撮影時のＬＶ（Ｌｉｇｈｔ  Ｖａｌｕｅ）値に応じて、固定マップのα値を補正することとしてもよい。
即ち、照明部２２のＬＥＤ全てを点灯させることによるＬＶ値が大きい（明るい）環境下で撮影された画像は、元画像のコントラストが全体として高い傾向にある。
そのため、ＬＶ値が大きい領域では、ＬＶ値が小さい領域よりも固定マップのα値を小さくすることで、過度にシャドウが強調された状態となることを抑制できる。
図１０は、固定マップに対する補正特性の一例を示す模式図である。
図１０に示すように、ＬＶ値が小さい（暗い）環境下で撮影された画像には、上述の実施形態の通り固定マップを適用して特定部位ガンマ補正画像を生成し、ＬＶ値が大きい（明るい）環境下で撮影された画像には、上述の実施形態における固定マップのα値を全てゼロとし、ガンマ補正画像が切り出し画像に合成されないようにすることができる。なお、ＬＶ値が小さい領域とＬＶ値が大きい領域との中間の領域については、例えば、線形に補正値が減少する特性とすることができる。
【００４６】
以上のように構成される撮像装置１は、画像取得部５１と、画像処理部５３と、を備える。
画像取得部５１は、顔画像を取得する。
画像処理部５３は、画像取得部５１によって取得された顔画像の明るさを調整する。
画像処理部５３は、顔の立体形状に基づいて当該顔の所定領域を透過領域としたマップデータ（固定マップ）を用いて、画像取得部５１によって取得された顔画像と調整された画像とを合成する。
これにより、撮像装置１においては、顔の立体感を適切に補正した美顔画像を生成することができる。
したがって、立体感のある顔画像の生成を容易にすることができる。
【００４７】
また、撮像装置１は、固定マップ作成処理部５４を備える。
固定マップ作成処理部５４は、画像取得部５１によって取得された顔画像における顔領域のサイズまたは形状に基づいて、マップデータを変形させるよう制御する。
これにより、明るさを調整された画像を合成する際に、目的とする部分以外への合成を適切に抑制することができる。
【００４８】
顔の立体形状には鼻の形状が含まれる。
これにより、鼻筋や鼻側部の立体感を適切に補正することができる。
【００４９】
画像処理部５３は、顔画像の明るさを上げる方向で調整する。
画像処理部５３は、鼻の形状における鼻筋に相当する領域について、調整された画像を不透過になるように調整して合成する。
これにより、顔の立体感を補正した部分を顔画像に合成することができる。
【００５０】
画像処理部５３は、顔画像の明るさを下げる方向で調整する。
画像処理部５３は、鼻の形状における目頭または小鼻に相当する領域について調整された画像を不透過になるように調整して合成する。
これにより、鼻側部の明るさを下げ、彫の深い印象を与える顔画像を合成することができる。
【００５１】
顔の立体形状には顔の輪郭形状が含まれる。
画像処理部５３は、顔画像の明るさを下げる方向で調整する。
画像処理部５３は、輪郭形状におけるえらに相当する領域について調整された画像を不透過になるように調整して合成する。
これにより、顔の輪郭形状におけるえらに相当する部分の明るさを抑制し、顔画像に小顔効果を与えることができる。
【００５２】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００５３】
例えば、上述の実施形態において例示した固定マップの形状及び顔における適用部位の他、顔の立体感を適切に補正できる形状及び適用部位に対応する種々の固定マップを用意し、美顔画像の生成に用いることができる。
【００５４】
また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
【００５５】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図７の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図７の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。
【００５６】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００５７】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。
【００５８】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【００５９】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００６０】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
顔画像を取得する取得手段と、
前記取得手段によって取得された顔画像の明るさを調整する調整手段と、
顔の立体形状に基づいて当該顔の所定領域を透過領域としたマップデータを用いて、前記取得手段によって取得された顔画像と前記調整手段によって調整された画像とを合成する合成手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記取得手段によって取得された顔画像における顔領域のサイズまたは形状に基づいて、前記マップデータを変形させるよう制御する制御手段を更に備え、
前記合成手段は、前記制御手段によって変形させたマップデータを用いて、前記取得手段によって取得された顔画像と前記調整手段によって調整された画像とを合成することを特徴とする付記１記載の画像処理装置。
［付記３］
前記顔の立体形状には鼻の形状が含まれることを特徴とする付記１または２記載の画像処理装置。
［付記４］
前記調整手段は前記顔画像の明るさを上げる方向で調整し、
前記合成手段は、鼻の形状における鼻筋に相当する領域について前記調整手段によって調整された画像を不透過になるように調整して合成することを特徴とする付記３記載の画像処理装置。
［付記５］
前記調整手段は前記顔画像の明るさを下げる方向で調整し、
前記合成手段は、鼻の形状における目頭または小鼻に相当する領域について前記調整手段によって調整された画像を不透過になるように調整して合成することを特徴とする付記３または４記載の画像処理装置。
［付記６］
前記顔の立体形状には顔の輪郭形状が含まれ、
前記調整手段は前記顔画像の明るさを下げる方向で調整し、
前記合成手段は、前記輪郭形状におけるえらに相当する領域について前記調整手段によって調整された画像を不透過になるように調整して合成することを特徴とする付記１乃至５の何れか記載の画像処理装置。
［付記７］
顔画像を取得する取得処理と、
前記取得処理によって取得された顔画像の明るさを調整する調整処理と、
顔の立体形状に基づいて当該顔の所定領域を透過領域としたマップデータを用いて、前記取得処理によって取得された顔画像と前記調整処理によって調整された画像とを合成する合成処理と、
を含むことを特徴とする画像処理方法。
［付記８］
コンピュータに、
顔画像を取得する取得手段と、
前記取得手段によって取得された顔画像の明るさを調整する調整手段と、
顔の立体形状に基づいて当該顔の所定領域を透過領域としたマップデータを用いて、前記取得手段によって取得された顔画像と前記調整手段によって調整された画像とを合成する合成手段と、
を実現させることを特徴とするプログラム。
【符号の説明】
【００６１】
１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，２２・・・照明部，３１・・・リムーバブルメディア，５１・・・画像取得部，５２・・・顔検出部，５３・・・画像処理部，５４・・・固定マップ作成処理部，５５・・・ガンマ補正画像作成処理部，７１・・・画像記憶部，７２・・・固定マップ記憶部
【図１】
2019070870.tif 000003
【図２】
2019070870.tif 000004
【図３】
2019070870.tif 000005
【図４】
2019070870.tif 000006
【図５】
2019070870.tif 000007
【図６】
2019070870.tif 000008
【図７】
2019070870.tif 000009
【図８】
2019070870.tif 000010
【図９】
2019070870.tif 000011
【図１０】
2019070870.tif 000012