(57)【要約】【課題】エレクトロニックフラッシュを発光させて取得された画像において被写体に生じる陰影を再現すること。【解決手段】エレクトロニックフラッシュを発光させて第一画像が取得される。エレクトロニックフラッシュを発光させないで第二画像が取得される。第一画像と第二画像とのそれぞれにおいて人間の顔が検出される。第二画像と汎用の顔骨格モデルを合成することで個人の顔骨格モデルが生成される。個人の顔骨格モデルに含まれる陰影の情報を用いて第一画像に含まれている顔の陰影が補正される。【選択図】図２
2017092688.tif 000002
【特許請求の範囲】
【請求項１】
エレクトロニックフラッシュを発光させて取得された第一画像と、前記エレクトロニックフラッシュを発光させないで取得された第二画像とのそれぞれにおいて人間の顔を検出する検出手段と、
汎用の顔骨格モデルを記憶した記憶手段と、
前記第二画像と汎用の顔骨格モデルを合成することで個人の顔骨格モデルを生成する生成手段と、
前記個人の顔骨格モデルに含まれる陰影の情報を用いて前記第一画像に含まれている顔の陰影を補正する陰影補正手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記汎用の顔骨格モデルは人間の顔の法線情報を表す画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記検出手段により前記第二画像から検出された顔を構成する要素の大きさおよび傾きに対して前記汎用の顔骨格モデルの要素の大きさおよび傾きが近づくように前記汎用の顔骨格モデルを変形する変形手段を有することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記生成手段は、前記変形手段により変形された汎用の顔骨格モデルと前記第二画像とをフィルタ処理により合成する合成手段をさらに有することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第一画像に含まれる顔の色味が前記第二画像に含まれる顔の色味に近づくように前記第一画像に含まれている顔の色味を補正する色味補正手段をさらに有することを特徴とする請求項１ないし４のいずれか一項に記載の画像処理装置。
【請求項６】
前記第一画像における顔の色味が前記第二画像における顔の色味に近づくように前記第一画像における顔の色味を補正する色補正パラメータを作成する作成手段をさらに有し、
前記色味補正手段は、前記作成手段により作成された色補正パラメータを用いて前記第一画像における顔の色味を補正することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
コンピュータを請求項１ないし６のいずれか一項に記載の画像処理装置の各手段として機能させるプログラム。
【請求項８】
エレクトロニックフラッシュを発光させて取得された第一画像と、前記エレクトロニックフラッシュを発光させないで取得された第二画像とのそれぞれにおいて人間の顔を検出する検出工程と、
前記第二画像と汎用の顔骨格モデルを合成することで個人の顔骨格モデルを生成する生成工程と、
前記個人の顔骨格モデルに含まれる陰影の情報を用いて前記第一画像に含まれている顔の陰影を補正する陰影補正工程と
を有することを特徴とする画像処理方法。
【請求項９】
エレクトロニックフラッシュの発光と非発光とを制御する制御手段と、
被写体を撮像して当該被写体の画像を取得する撮像手段と、
前記エレクトロニックフラッシュを発光させて取得された第一画像と、前記エレクトロニックフラッシュを発光させないで取得された第二画像とのそれぞれにおいて人間の顔を検出する検出手段と、
汎用の顔骨格モデルを記憶した記憶手段と、
前記第二画像と汎用の顔骨格モデルを合成することで個人の顔骨格モデルを生成する生成手段と、
前記個人の顔骨格モデルに含まれる陰影の情報を用いて前記第一画像に含まれている顔の陰影を補正する陰影補正手段と
を有することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像を補正する画像処理装置、画像処理方法、プログラムおよび撮像装置に関する。
【背景技術】
【０００２】
被写体を撮像する際に観察光源の光量が不十分であるときに、被写体の画像にノイズやボケが発生しうる。そこで、被写体の光量を補うために内蔵式や外付け式のエレクトロニックフラッシュが利用される。エレクトロニックフラッシュ（ストロボとも呼ばれる）が発光することで、被写体から光学系に入射する光量が増加するため、ノイズが減少し、またより高速なシャッタースピードを採用できるため、ボケも減少する。なお、デジタルカメラでは太陽光とエレクトロニックフラッシュとでは適切なホワイトバランスが異なるため、光源に応じてホワイトバランスが調整される（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−３３２７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
エレクトロニックフラッシュを発光させて被写体を撮像して得られた画像では被写体の陰影が消失し、被写体の立体感が損なわれてしまうことがある。たとえば、画像における顔領域の画素の輝度値が飽和（例：白とび）してしまうと、顔の陰影が失われてしまう。そこで、本発明は、エレクトロニックフラッシュを発光させて取得された画像において被写体に生じる陰影を再現することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、たとえば、
エレクトロニックフラッシュを発光させて取得された第一画像と、前記エレクトロニックフラッシュを発光させないで取得された第二画像とのそれぞれにおいて人間の顔を検出する検出手段と、
汎用の顔骨格モデルを記憶した記憶手段と、
前記第二画像と汎用の顔骨格モデルを合成することで個人の顔骨格モデルを生成する生成手段と、
前記個人の顔骨格モデルに含まれる陰影の情報を用いて前記第一画像に含まれている顔の陰影を補正する陰影補正手段と
を有することを特徴とする画像処理装置を提供する。
【発明の効果】
【０００６】
本発明によれば、エレクトロニックフラッシュを発光させて取得された画像において被写体に生じる陰影が再現されるようになる。
【図面の簡単な説明】
【０００７】
【図１】撮像装置の構成例を示すブロック図
【図２】画像処理部の構成を示すブロック図
【図３】画像処理方法の各工程を示すフローチャート
【図４】個人顔骨格モデルの生成方法を示すフローチャート
【図５】色補正パラメータの作成方法を示すフローチャート
【発明を実施するための形態】
【０００８】
＜撮像装置の機能＞
図１において、デジタルカメラ１００は被写体を撮像して画像データを生成する撮像装置の一例である。なお、デジタルカメラ１００のうち画像処理に関連する機能は画像処理装置を構成する。被写体からの光は撮像レンズ１２３および絞り１２４を通じて撮像デバイス１１１の撮像面に結像する。撮像デバイス１１１は被写体の光学像を電気信号に変換する。Ａ／Ｄ変換器１１２は撮像デバイス１１１から出力されるアナログ信号をディジタル信号に変換する。画像処理部１１３はＡ／Ｄ変換器１１２から出力されるディジタル信号（画像データ）やＲＡＭ１１９に記録されている画像データに対して所定の画像処理（例：デモザイク処理や色変換処理など）を行う。なお、画像処理部１１３の機能はＲＯＭ１１８に記憶されている制御プログラムを実行するＣＰＵ１１７により実現されてもよい。画像処理部１１３はＡＳＩＣやＦＰＧＡなどのハードウエアにより実現されてもよい。ＣＰＵ１１７はデジタルカメラ１００の全体を統括的に制御する制御ユニットである。Ａ／Ｄ変換器１１２から出力されたデータは画像処理部１１３やＣＰＵ１１７を介して、またはＡ／Ｄ変換器１１２からのデータがＣＰＵ１１７を介して、ＲＡＭ１１９に書き込まれる。エレクトロニックフラッシュ１１４は、オートフォーカス（ＡＦ）を補助するための補助光を投光したり、被写体の露出が不足しているときに投光したりする。表示部１２２は液晶表示デバイスやＬＥＤなどを含み、被写体の画像や撮像に関してユーザを補助するための情報（シャッタースピードなど）を表示するユニットである。表示部１２２は、画像処理部１１３またはＣＰＵ１１７により検出された人間の顔に強調表示（例：顔を枠で囲むなど）を行ってもよい。ＲＡＭ１１９は画像処理部１１３から出力される静止画像データや動画像データを格納する記憶装置である。操作部材１２１はシャッタースイッチなどの操作部材である。撮像系制御部１２０は、操作部材１２１の操作を検知すると、撮像レンズ１２３を駆動してＡＦ（オートフォーカス）処理を実行したり、絞り１２４を調節したりする。また、撮像系制御部１２０は、ＡＥ（自動露出）処理を実行したり、ＡＷＢ（オートホワイトバランス）処理を実行したり、フラッシュプリ発光等を実行したりする。なお、撮像系制御部１２０の機能はＲＯＭ１１８に記憶されている制御プログラムを実行するＣＰＵ１１７により実現されてもよい。撮像系制御部１２０はＡＳＩＣ（特定用途集積回路）やＦＰＧＡ（フィールドプログラマブルアレイ）などのハードウエアにより実現されてもよい。メディアインタフェース１５０は記録メディア１１６に対して被写体を撮像することで得られた画像データを記録する。
【０００９】
＜画像処理部の機能＞
図２を用いて画像処理部１１３の機能について説明する。画像処理部１１３の機能の一部またはすべてはＣＰＵ１１７が制御プログラムを実行することで実現されてもよい。顔検出部２０１は被写体の画像から人の顔の輪郭、目、鼻、口、耳などの人物の主要要素を検出する。モデル生成部２０２は汎用の顔骨格モデル（汎用モデル）から被写体個人の顔骨格モデルを生成するユニットである。顔骨格モデルは顔の陰影を復元するのに役立つ。なお、モデル生成部２０２は非発光画像から検出された顔に基づいて汎用モデルを変形するモデル変形部２２１を有していてもよい。非発光画像とはエレクトロニックフラッシュ１１４を発光させずに被写体を撮像して取得された画像（非ストロボ画像）である。発光画像とはエレクトロニックフラッシュ１１４を発光させて被写体を撮像して取得された画像（ストロボ画像）である。モデル生成部２０２はモデル変形部２２１により変形された汎用モデルと非発光画像とを合成するモデル合成部２２２を有していてもよい。非発光画像を合成することで、汎用モデルから形成される個人の顔骨格モデルに顔の詳細を反映させることが可能となろう。画像補正部２０４は個人の顔骨格モデルに含まれる陰影の情報を用いて発光画像に含まれている顔の陰影を補正する。発光画像においては顔の陰影が消失しやすいが、本実施形態では被写体に生じる陰影が再現されるようになる。なお、陰影補正は陰影補正部２４１に実装される。パラメータ作成部２０３は発光画像における顔の色味が非発光画像における顔の色味に近づくように、発光画像における顔の色味を補正する色補正パラメータを作成する。画像補正部２０４の色味補正部２４２は、パラメータ作成部２０３により作成された色補正パラメータを用いて発光画像における顔の色味を補正する。なお、色味補正はオプションである。
【００１０】
＜フローチャート＞
図３を用いてデジタルカメラ１００にて実行される画像処理方法が説明される。Ｓ３０１で画像処理部１１３はユーザによる撮像指示に従って被写体の画像データ（発光画像と称す）を生成する。Ｓ３０２で画像処理部１１３は被写体を撮像する際にエレクトロニックフラッシュ１１４が発光したかどうかを判定する。たとえば、エレクトロニックフラッシュ１１４が発光したかどうかを示す情報は画像データに含まれていてもよいし、ＲＡＭ１１９にフラグとして記憶されていてもよい。エレクトロニックフラッシュ１１４が発光していれば、画像処理部１１３はＳ３０３に進む。エレクトロニックフラッシュ１１４が発光していなければ、画像処理部１１３は本フローチャートに係る処理を終了し、次の撮像指示を待つ。
【００１１】
Ｓ３０３で画像処理部１１３は撮像系制御部１２０にエレクトロニックフラッシュ１１４を非発光とする撮像を指示し、非発光による被写体の画像データ（非発光画像と称す）を生成する。Ｓ３０４で画像処理部１１３の顔検出部２０１はＳ３０１で取得された発光画像とＳ３０３で取得された非発光画像とのそれぞれについて人物の主要要素の候補群を抽出する。たとえば、顔検出部２０１は、発光画像についてエッジ検出を行い、検出したエッジ成分と、目、鼻、口、耳等のモデルパターンとをパターンマッチングさせ、発光画像における目、鼻、口、耳等の候補群の位置を抽出する。同様に、顔検出部２０１は、非発光画像においてエッジを検出し、検出したエッジ成分とモデルパターンとをパターンマッチングさせ、非発光画像における目、鼻、口、耳等の候補群の位置を抽出する。候補群の位置を示す座標データはＲＡＭ１１９に記憶されて管理される。顔検出部２０１は候補群の絞り込みを実行してもよい。たとえば目について、顔検出部２０１は、複数の候補群の中から予め設定された条件（例：２つの目の距離や傾き等）を満たす２つの候補群を目の対と決定し、対となる候補群が存在する候補群のみを目の候補群として残す。この絞り込みは、発光画像と非発光画像のそれぞれについて実行される。顔検出部２０１は絞り込んだ目の候補群とそれに対応する、鼻、口、耳の候補群とを対応付けることで、人物の顔情報を生成し、ＲＡＭ１１９に記憶させる。したがって、一つの顔情報には、ある人物の目、鼻、口、耳の座標が含まれている。なお、顔検出部２０１は、人間の顔と他の動物などの顔とを区別し、他の動物などの顔を除外する非人物フィルタを使用して顔情報の絞り込みを実行してもよい。さらに、顔検出部２０１は顔情報にその人物の輪郭（エッジ成分）を含めてもよい。このようにして、発光画像と非発光画像のそれぞれについて顔情報がＲＡＭ１１９に保持されることになる。
【００１２】
Ｓ３０５で、画像処理部１１３のモデル生成部２０２はＳ３０４で生成された顔情報ごとに個人顔骨格モデルを生成する。個人顔骨格モデルの生成方法は図４を用いて詳細に説明される。Ｓ３０６で、画像処理部１１３のパラメータ作成部２０３は非発光画像から色補正パラメータを作成する。発光画像における被写体の光はエレクトロニックフラッシュからの光の影響を受けているため、発光画像における色味と非発光画像における色味とがずれてしまう。そのため、発光画像における人物の色を撮影者が記憶している記憶色に近づけるために、非発光画像から色補正パラメータが作成される。色補正パラメータの作成の詳細については図５のフローチャートを用いて後述される。Ｓ３０７で画像処理部１１３の画像補正部２０４は個人顔骨格モデルと色補正パラメータを使用して発光画像を補正する。
【００１３】
＜個人顔骨格モデル＞
ここでは図４のフローチャートを用いて個人顔骨格モデルの詳細が説明される。Ｓ４０１でモデル生成部２０２はＲＡＭ１１９またはＲＯＭ１１８などの記憶装置に予め記憶されている汎用モデルを取得する。汎用モデルとは汎用の顔骨格モデルであり、画像データである。汎用モデルは、顔情報をもとに、拡大、変形、合成などの画像処理が施され、個人顔骨格モデルになる。なお、汎用モデルは一つのモデルが用意されていれば十分であるが、複数の汎用モデルが記憶装置に記憶されていてもよい。たとえば、赤ちゃんの顔骨格のように大人や子供の顔骨格とは大きく異なることがある。このような場合には、赤ちゃん用の汎用モデルが予め用意されていた方が良い結果が得られるであろう。顔検出部２０１が人物の顔を赤ちゃんの顔と判定すると、モデル生成部２０２は赤ちゃんの汎用モデルをＲＯＭ１１８から選択して読み出す。ところで、汎用モデルは、顔の形状を記述するデータであり、法線ベクトルＸ，Ｙ，ＺをそれぞれＲ，Ｇ，Ｂに対応づけたＲＧＢ形式の画像データである。人間の顔においては、鼻は目や口と比較して凸形状になっている。また、目の位置は額の位置よりも低い位置にある（つまり、目は窪んでいる）。口については唇の部分は少なくとも凸形状となっている。このような画像の陰影に寄与する凹凸形状は法線ベクトルにより表現可能である。したがって、平均的な人間の顔から汎用モデルが決定されている。
【００１４】
Ｓ４０２でモデル生成部２０２は発光画像から検出され顔情報と非発光画像から検出され顔情報をＲＡＭ１１９から取得する。Ｓ４０３でモデル生成部２０２は非発光画像から検出された顔ごとに汎用モデルを変換して顔骨格モデルを生成する。たとえば、モデル生成部２０２は汎用モデルに対して拡大、縮小、傾き補正を実行し、非発光画像から検出された顔のサイズと傾きに近づける。さらにモデル生成部２０２はこの汎用モデルにおける顔の輪郭、目、鼻、口の位置が非発光画像における顔の輪郭、目、鼻、口の位置に近づくように、汎用モデルを変形する。これにより生成されたモデルを顔骨格モデルと呼ぶことにする。この顔骨格モデルは、汎用モデルから個人顔骨格モデルを生成する際に生成される中間生成物である。
【００１５】
Ｓ４０４で、モデル生成部２０２はＳ４０３で変形された汎用モデルに非発光画像を合成する。Ｓ４０３における汎用モデルの変形では、顔の形状（輪郭）や目、鼻、口の位置が汎用モデルに反映される。しかし、顔の詳細な形状は反映されないこともある。そのため、汎用モデルに非発光画像を合成することで顔の詳細な形状を反映する。合成処理は、たとえば、ジョイントバイラテラルフィルタを用いるフィルタ処理により実行されうる。ジョイントバイラテラルフィルタは次式で表される。
【００１６】
【数１】
2017092688.tif 000003
【００１７】
【数２】
2017092688.tif 000004
【００１８】
【数３】
2017092688.tif 000005
【００１９】
Ｎinはジョイントバイラテラルフィルタに入力される顔骨格モデルの画素値である。Ｎoutはジョイントバイラテラルフィルタから出力される顔骨格モデルの画素値である。Ｉｐは顔骨格モデル画像の画素値である。Ｉｓは非発光画像の画素値である。ｐは顔骨格モデルの座標である。ｓは顔骨格モデルに対応する非発光画像の座標である。Ｎは非発光画像の集合である。σｓは位置重みのガウス変数である。σｃは色重みのガウス変数である。|| ||2はＬ２ノルムである。ω（ｐ，ｓ）は位置重みである。ｃ（ｐ，ｓ）は色重みである。位置重みは、非発光画像における顔領域について、顔骨格モデルにおける注目画素の位置と非発光画像における参照画素の位置が近いほど大きな値となる。色重みは顔骨格モデルにおける注目画素の画素値と非発光画像における参照画素の画素値とが近いほど大きな値となる。
【００２０】
Ｓ４０５でモデル生成部２０２はＳ４０４で生成された顔骨格モデルをさらに補正することで個人顔骨格モデルを生成する。たとえば、モデル生成部２０２はＳ４０４で生成された顔骨格モデルを、Ｓ４０２で発光画像から検出された顔情報をもとに、拡大、縮小、傾き補正を行う。さらに、モデル生成部２０２は顔骨格モデルの顔の輪郭、目、鼻、口の位置が発光画像における顔の輪郭、目、鼻、口の位置に近づくように顔骨格モデルを変形する。このように、発光画像と非発光画像に基づき汎用モデルを補正することで、個人の顔骨格モデルが生成される。
【００２１】
＜色補正パラメータの生成方法＞
図５のフローチャートを用いてＳ３０６における色補正パラメータの作成方法が説明される。以下で説明するように、パラメータ作成部２０３はエレクトロニックフラッシュ１１４を発光しないで被写体を撮像して生成された非発光画像から色補正パラメータを作成する。
【００２２】
Ｓ５０１でパラメータ作成部２０３は発光画像から生成された顔情報と非発光画像から生成された顔情報をＲＡＭ１１９から取得する。Ｓ５０２でパラメータ作成部２０３は発光画像における顔領域の画素の色値を取得する。具体的には、パラメータ作成部２０３は顔情報によって特定される顔の輪郭（顔領域）内に存在するすべての画素値を取得し、取得した画素値を平均化することで色値を求める。Ｓ５０３でパラメータ作成部２０３はＳ５０２と同様の方法で非発光画像における顔の色値を取得する。なお、非発光画像における顔と発光画像における顔とは位置が対応している。Ｓ５０４でパラメータ作成部２０３は発光画像における顔の色値と非発光画像における顔の色値とから色補正パラメータを作成する。ここで色補正パラメータは、発光画像の色味を非発光画像の色味に依存した色味に変換するための補正パラメータである。本実施形態の色補正パラメータは３×９のマトリクスで表現される。パラメータ作成部２０３は発光画像の色値と非発光画像の色値とに基づき最小二乗法を用いてマトリクスの各項を算出する。ところで、ＲＧＢ値の色変換を行う際に一般的に使用されるマトリクスのサイズは、３ｘ３，３ｘ９，３ｘ１９である。
【００２３】
【数４】
2017092688.tif 000006
【００２４】
【数５】
2017092688.tif 000007
【００２５】
【数６】
2017092688.tif 000008
【００２６】
Ｍ１は３ｘ３マトリクスである。Ｍ２は３ｘ９マトリクスである。Ｍ３は３ｘ１９マトリクスである。Ｒ、Ｇ、Ｂは変換前のＲＧＢ値である。Ｒ'、Ｇ'、Ｂ'は変換後のＲＧＢ値である。マトリクスのサイズが大きくなればなるほど、より複雑な補正が可能となる。ここでは、演算量と補正能力とのバランスが取れている３ｘ９のマトリクスが採用されている。パラメータ作成部２０３は、たとえば、以下のＲＧＢ変換式を用いて色変換を実行する。
【００２７】
【数７】
2017092688.tif 000009
【００２８】
Ｌ１，ａ１，ｂ１は非発光画像（ＲＧＢ）をＬａｂ変換することで得られるパラメータである。Ｌ２，ａ２，ｂ２は発光画像（ＲＧＢ）をＭ２マトリクスで変換し、さらにＬａｂ変換することで得られるパラメータである。たとえば、パラメータ作成部２０３はＮ点（例：８点以上）の発光画像と非発光画像とについて上記式の誤差Ｅが最小となるマトリクスＭ２を最小二乗法によって求める。
【００２９】
＜色補正＞
Ｓ３０７で画像補正部２０４はマトリクスＭ２を用いて発光画像における顔領域の各画素値を変換する。これにより発光画像における顔の色味が非発光画像における顔の色味に近づくようになる。たとえば、画像補正部２０４はＳ３０６で生成された色補正パラメータ（マトリクスＭ２）を読み出し、発光画像における画素値であるＲＧＢ値を以下のように補正する。
【００３０】
【数８】
2017092688.tif 000010
【００３１】
画像補正部２０４は色補正されたＲＧＢ値をＬａｂ変換する。
【００３２】
【数９】
2017092688.tif 000011
【００３３】
ＭａｔＬａｂ（ ）はＬａｂ変換を実行する関数である。このように、発光画像についての色差成分であるａｂ値については色補正パラメータにより補正される。
【００３４】
次に、画像補正部２０４はＳ３０５で求められた個人顔骨格モデルの法線情報と以下の式とを用いて、画素（ｘ，ｙ）ごとに補正された明度Ｌｏｕｔ（ｘ，ｙ）を算出する。
【００３５】
【数１０】
2017092688.tif 000012
【００３６】
ここで、Ｌ２（ｘ，ｙ）は非発光画像の画素値である。Ｎ（ｐ）は発光画像における顔に対応する個人顔骨格モデルの法線情報による重みである。
【００３７】
【数１１】
2017092688.tif 000013
【００３８】
は発光画像のＬ値の平均値である。
【００３９】
【数１２】
2017092688.tif 000014
【００４０】
は非発光画像のＬ値の平均値である。なお、Ｌｏｕｔ、ａ'、ｂ'はＲＧＢに再変換されてもよい。被写体の画像データは一般にＲＧＢ形式の画像データとして利用されるからである。
【００４１】
＜まとめ＞
Ｓ３０４に関して説明したように顔検出部２０１はエレクトロニックフラッシュ１１４を発光させて取得された第一画像（発光画像）から人間の顔（例：顔の要素）を検出する。顔検出部２０１はエレクトロニックフラッシュ１１４を発光させないで取得された第二画像（非発光画像）から人間の顔（例：顔の要素）を検出する。ＲＡＭ１１９またはＲＯＭ１１８などの記憶装置は、汎用の顔骨格モデルを予め記憶する記憶手段として機能する。Ｓ３０５に関して説明したように、モデル生成部２０２は非発光画像と汎用の顔骨格モデル（汎用モデル）を合成することで個人の顔骨格モデルを生成する。画像補正部２０４の陰影補正部２４１は個人の顔骨格モデルに含まれる陰影の情報を用いて発光画像に含まれている顔の陰影を補正する。これにより、エレクトロニックフラッシュ１１４を発光させて取得された発光画像において、被写体に生じる陰影が再現されるようになる。
【００４２】
なお、汎用モデルは顔の法線情報を表す画像である。汎用モデルは一種の画像データであり、各画素値が顔の法線情報を示している。顔領域の法線情報は顔領域の陰影を示している。したがって、汎用モデルの法線情報を用いることで、発光画像における顔の陰影が擬似的に復元されるようになる。
【００４３】
モデル生成部２０２は汎用モデルを変形するモデル変形部２２１を有していてもよい。たとえば、モデル変形部２２１は、顔検出部２０１により非発光画像から検出された顔を構成する要素の大きさおよび傾きに対して汎用モデルの要素の大きさおよび傾きが近づくように、汎用モデルを変形する。これにより、非発光画像から検出された顔に対して汎用モデルを近づけることが可能となる。汎用モデルが非発光画像から検出された顔に近づけば、顔の陰影もより正確に復元されるようになろう。
【００４４】
モデル生成部２０２はモデル変形部２２１により変形された汎用モデルと非発光画像とをフィルタ処理により合成するモデル合成部２２２を有していてもよい。これにより顔の詳細な形状が個人顔骨格モデルに反映されることになる。フィルタ処理としては、たとえば、ジョイントバイラテラルフィルタが考えられる。ジョイントバイラテラルフィルタと同様の機能を発揮するフィルタであれば、他のフィルタが採用されてもよい。
【００４５】
画像補正部２０４は色味補正部２４２をさらに有していてもよい。色味補正部２４２は発光画像に含まれる顔の色味が非発光画像に含まれる顔の色味に近づくように発光画像に含まれている顔の色味を補正する。エレクトロニックフラッシュが発光されると、顔の色味は撮影者が記憶している撮影時の色味から変化してしまうことがある。一方で、非発光画像は観察光源下で取得されるため、非発光画像の顔の色味は撮影者が記憶している撮影時の色味に近い。そこで、非発光画像に含まれる顔の色味に近づくように発光画像に含まれている顔の色味が補正されてもよい。これにより、顔の陰影に加えて、色味についても復元されるようになろう。
【００４６】
Ｓ３０６に関連して説明したように、パラメータ作成部２０３は発光画像における顔の色味が非発光画像における顔の色味に近づくように、発光画像における顔の色味を補正する色補正パラメータを作成してもよい。色味補正部２４２は、パラメータ作成部２０３により作成された色補正パラメータを用いて発光画像における顔の色味を補正してもよい。これにより、顔の陰影に加えて、色味についても復元されるようになろう。
【００４７】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００４８】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４９】
１００...撮像装置、１１１...撮像デバイス、１１３...画像処理部、１１８...ＲＯＭ、２０１...顔検出部、２０２...モデル生成部、２０４...画像補正部
【図１】
2017092688.tif 000015
【図２】
2017092688.tif 000016
【図３】
2017092688.tif 000017
【図４】
2017092688.tif 000018
【図５】
2017092688.tif 000019