(57)【要約】      （修正有）【課題】連続する画像に対する肌補正処理において、補正範囲がより自然な結果を取得できる画像処理装置を提供する。【解決手段】画像処理装置（撮像装置１００）は、画像を取得する画像取得手段と、画像に複数のパラメータで現像処理を施して画像データを生成する画像生成手段と、画像データから代表色を取得する代表色取得手段と、代表色に基づいて、画像データから特定の領域検出画像を検出する領域検出手段と、領域検出画像に基づいて、其々異なるパラメータで現像処理を施した複数の画像データを画像合成する画像合成手段と、連続する画像データを取得する連続画像取得手段と、を有している。そして、領域検出画像に対し、過去の領域検出画像との差分に基づいた補正処理を実施する。【選択図】図１
2020102058.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する画像取得手段と、
前記画像に複数のパラメータで現像処理を施して画像データを生成する画像生成手段と、
前記画像データから代表色を取得する代表色取得手段と、
前記代表色に基づいて、前記画像データから特定の領域検出画像を検出する領域検出手段と、
前記領域検出画像に基づいて、其々異なるパラメータで現像処理を施した複数の画像データを画像合成する画像合成手段と、
連続する前記画像データを取得する手段と、
前記領域検出画像に対し、過去の領域検出画像との差分に基づいた補正処理を行う補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記取得された画像に対し、過去に取得された画像との差分に基づいた補正処理を行う手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正手段は、取得された画像に対し、過去に取得された画像との差分に基づいた補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記補正手段は、複数の画像間のノイズリダクション処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記領域検出手段は、前記取得した代表色と、検出対象の画像に含まれる画素其々の色の類似度に基づいて領域検出を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記代表色取得手段は、画像に含まれる人物の肌を対象として代表色を取得することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記領域検出画像を、過去の領域検出画像と比較明合成することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
画像を取得する画像取得手段と、前記画像に複数のパラメータで現像処理を施して画像データを生成する画像生成手段と、前記画像データから代表色を取得する代表色取得手段と、前記代表色に基づいて、前記画像データから特定の領域検出画像を検出する領域検出手段と、前記領域検出画像に基づいて、其々異なるパラメータで現像処理を施した複数の画像データを画像合成する画像合成手段と、連続する前記画像データを取得する連続画像取得手段とを有し、前記領域検出画像に対し、過去の領域検出画像との差分に基づいた補正処理を行う補正手段を有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、撮影された画像データの人物の肌領域を補正するものに関する。
【背景技術】
【０００２】
従来、画像中の人物の顔や手などの肌領域に対してのみ補正処理を行い、肌のシワやシミなどを元画像よりも目立たなくする肌補正処理がある。このような処理において、補正を行うべき肌領域の検出を、器官検出等により特定した人物の肌色を示す肌色情報から判定して行う方法がある。
【０００３】
上述の肌補正処理を動画像などの連続した画像に適用した場合、画像のノイズ成分等に起因して肌色情報がフレーム毎に変動し、連続画像の再生時に肌領域の補正効果がばらつくという問題がある。
【０００４】
この問題に対し、補正効果のばらつきを防ぎつつ、動画像の肌領域の補正処理を行う手段が提案されている。特許文献１には、所定の基準色に基づいて画像の補正処理を行う手段と、画像から補正を行う領域を代表する代表色を取得する手段を有し、代表色と基準色の類似度が所定の閾値を下回る場合に、代表色によって基準色を更新する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−１７１４４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１で開示されている方法で、フレーム毎の基準色の変動を防いでも、補正領域を抽出する画像自体に存在するノイズに起因する輝度や色の変動は発生するため、依然として動画像の再生時における補正結果のばらつきが発生する。
【０００７】
本発明の目的は、上述の問題点に鑑み、連続する画像に対する肌補正処理において、補正効果のばらつきを低減することができる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記の目的を達成するため、本発明に係る画像処理装置は、
画像を取得する画像取得手段と、前記画像に複数のパラメータで現像処理を施して画像データを生成する画像生成手段と、前記画像データから代表色を取得する代表色取得手段と、前記代表色に基づいて、前記画像データから特定の領域検出画像を検出する領域検出手段と、前記領域検出画像に基づいて、其々異なるパラメータで現像処理を施した複数の画像データを画像合成する画像合成手段と、連続する前記画像データを取得し、前記領域検出画像に対し、過去の領域検出画像との差分に基づいた補正処理を行う補正手段と、を有することを特徴とする。
【０００９】
また、本発明に係る画像処理装置は、
画像を取得する画像取得手段と、前記画像に複数のパラメータで現像処理を施して画像データを生成する画像生成手段と、前記画像データから代表色を取得する代表色取得手段と、前記代表色に基づいて、前記画像データから特定の領域検出画像を検出する領域検出手段と、前記領域検出画像に基づいて、其々異なるパラメータで現像処理を施した複数の画像データを画像合成する画像合成手段と、連続する前記画像データを取得する連続画像取得手段とを有し、前記領域検出画像に対し、過去の領域検出画像との差分に基づいた補正処理を行う補正手段を有することを特徴とする。
【発明の効果】
【００１０】
本発明に係る画像処理装置によれば、連続する画像に対する肌補正処理において、補正効果のばらつきを低減することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】肌領域補正回路の構成例を示すブロック図である。
【図３】肌補正処理における処理フローを示す図である。
【図４】撮像画像の肌領域検出処理の例を示す図である。
【図５】巡回型ノイズリダクション回路の構成例を示すブロック図である。
【図６】肌領域マスク画像の補正処理の例を示す図である。
【図７】肌領域マスク画像の補正処理の例を示す図である。
【図８】肌補正処理における処理フローを示す図である。
【図９】肌領域マスク画像の比較明合成処理の例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態について、図面を参照しながら説明する。以下の説明において、本発明の画像処理装置を撮像装置に適用した例を用いて説明するが、これに限定されない。
【００１３】
図１は、本実施形態に係る撮像装置１００の構成例を示す図である。
【００１４】
１０１は撮影レンズ、１０２は絞り機能を備える機械式シャッター、１０３は光学像を電気信号に変換する撮像素子、１０４は撮像素子１０３のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。
【００１５】
１０５は撮像素子１０３、  Ａ／Ｄ変換器１０４にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路１０６及びシステム制御回路１０７により制御される。１０２の機械式シャッター以外にも、１０５の撮像素子のリセットタイミングの制御によって、電子シャッターとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。
【００１６】
１０８は画像処理回路であり、  Ａ／Ｄ変換器１０４からのデータ或いはメモリ制御回路１０６からのデータに対して所定の画素補間処理や色変換処理を行う。また１０８の画像処理回路によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。また、画像処理回路１０８においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路１０７が露光制御手段１１３、測距制御手段１１４に対して制御を行う、ＴＴＬ方式のＡＦ処理、ＡＥ処理、ＥＦ処理を行っている。さらに、画像処理回路１０８においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００１７】
１０６はメモリ制御回路であり、Ａ／Ｄ変換器１０４、タイミング発生回路１０５、画像処理回路１０８、メモリ１０９、圧縮・伸長回路１１２を制御する。Ａ／Ｄ変換器１０４のデータが画像処理回路１０８、メモリ制御回路１０６を介して、或いはＡ／Ｄ変換器１０４のデータが直接メモリ制御回路１０６を介して、メモリ１０９に書き込まれる。
【００１８】
１１０はＴＦＴ  ＬＣＤ等から成る画像表示部であり、メモリ１０９に書き込まれた表示用の画像データはメモリ制御回路１０６を介して画像表示部１１０により表示される。画像表示部１１０を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部１１０は、システム制御回路１０７の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することが出来る。
【００１９】
１０９は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ１０９に対して行うことが可能となる。また、メモリ１０９はシステム制御回路１０７の作業領域としても使用することが可能である。
【００２０】
１１１はＦｌａｓｈＲＯＭ等で構成された不揮発性メモリである。システム制御回路１０７が実行するプログラムコードは不揮発性メモリ１１１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。
【００２１】
１１２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ１０９に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ１０９に書き込む。
【００２２】
１１３は絞り機能を備えるシャッター１０２を制御する露光制御手段であり、フラッシュ１１２と連動することによりフラッシュ調光機能も有するものである。１１４は撮影レンズ１０１のフォーカシングを制御する測距制御手段、１１５は撮影レンズ１０１のズーミングを制御するズーム制御手段である。
【００２３】
１１６はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御手段１１３、測距制御手段１１４はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路１０８によって演算した演算結果に基づき、システム制御回路１０７が露光制御手段１１３、測距制御手段１１４に対して制御を行う。
【００２４】
１０７は撮像装置１００全体を制御するシステム制御回路である。１１８、１１９、１２０、１２１、１２２及び１２３は、システム制御回路１０７の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【００２５】
ここで、これらの操作手段の具体的な説明を行う。１１８はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、ＨＤＲ撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。
【００２６】
１１９はシャッタースイッチＳＷ１で、シャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＥＢ（オートホワイトバランス）処理等の動作開始を指示する。
【００２７】
１２０はシャッタースイッチＳＷ２で、シャッターボタンの操作完了でＯＮとなる。フラッシュ撮影の場合、ＥＦ（フラッシュプリ発光）処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１０３を露光させ、フラッシュ撮影の場合、この露光期間中に発光させて、露光期間終了と同時に露光制御手段１１３により遮光することで、撮像素子１０３への露光を終了させる。撮像素子１０３から読み出した信号をＡ／Ｄ変換器１０４、メモリ制御回路１０６を介してメモリ１０９に画像データを書き込む読み出し処理、画像処理回路１０８やメモリ制御回路１０６での演算を用いた現像処理、メモリ１０９から画像データを読み出し、圧縮・伸長回路１１２で圧縮を行う、次に記録媒体１２９に画像データを書き込む記録処理という一連の処理の動作開始を指示する。
【００２８】
１２１は表示切替スイッチで、画像表示部１１０の表示切替をすることが出来る。この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴ  ＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。
【００２９】
１２２は各種ボタン、タッチパネルや回転式ダイアル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。
【００３０】
１２３はユーザーが撮像画像の倍率変更指示を行うズーム操作手段としてのズームスイッチ部である。以下、ズームスイッチ１２３ともいう。このズームスイッチ１２３は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ１２３を用いることにより、ズーム制御手段１１５に撮影レンズ１０１の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路１０８による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。
【００３１】
１１７はアルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる電源手段である。１２４はメモリカードやハードディスク等の記録媒体とのインタフェース、１２５はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。
【００３２】
１２６は光学ファインダーであり、画像表示部１１０による電子ファインダー機能を使用すること無しに、光学ファインダーのみを用いて撮影を行うことが可能である。１２７は通信手段でＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信、等の各種通信機能を有する。
【００３３】
１２８は通信手段１２７により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。１２９はメモリカードやハードディスク等の記録媒体である。１３０は撮像装置１００との接続を行うコネクタ、１３１は撮像装置１００とのインタフェース、１３２はメモリカードやハードディスク等の記録媒体の記録部である。
【００３４】
図２は、上述の画像処理回路１０８が備えている肌領域補正回路２０の構成例を示す図である。
【００３５】
肌領域補正回路２０は、顔領域検出部２１、肌色検出部２２、肌領域マスク生成部２３、肌領域マスク補正部２４、画像合成部２５から構成される。
【００３６】
Ｄ１、及びＤ２は肌領域補正回路２０の入力画像であり、撮像装置１００が撮像することで得られる、人物を含む画像データである。なお、画像Ｄ１、及びＤ２は其々現像処理に適用されるパラメータが異なる、同一の撮像画像であり、画像の平滑化効果がＤ２＞Ｄ１の関係となっている。また、Ｄ３は肌領域補正回路２０の出力画像であり、画像Ｄ１の肌領域が補正された画像である。
【００３７】
顔領域検出部２１は、画像Ｄ２を入力として、顔の領域を示す位置情報を検出するものである。肌色検出部２２は、画像Ｄ２と顔領域検出部２１で得られた顔領域の位置情報を入力として、人物の肌色を示す情報を検出するものである。肌領域マスク生成部２３は、画像Ｄ２と肌色検出部２２で得られた肌色情報を入力として、画像Ｄ２の肌領域を示すマスク画像を生成するものである。
【００３８】
肌領域マスク補正部２４は、肌領域マスク生成部２３で生成された画像Ｄ２の肌領域マスク画像に対して補正を行い、補正処理が施された画像Ｄ２の肌領域マスク画像を生成するものである。画像合成部２５は、入力画像Ｄ１、Ｄ２、及び肌領域マスク補正部２４で生成された肌領域マスク画像を入力とし、肌領域補正画像Ｄ３を生成して出力するものである。
【００３９】
次に、本実施形態における肌領域補正処理について、詳しく説明する。
【００４０】
図３は、本実施形態の肌領域補正処理の処理全体のフローを示しており、撮像装置１００、及び肌領域補正回路２０が備える各処理部によって実行される。
【００４１】
まず、ステップＳ３０１において、肌領域補正回路２０は画像Ｄ１、及びＤ２を取得する。本実施形態では、撮像部１０３が撮像したデジタル画像信号に対して順次現像処理を行い、動画記録用のフレーム画像として肌領域補正回路２０に送信する。なお、画像の取得は他の方法で行ってもよい。例えば、予め記憶されている動画を構成するデータを取得し、先頭から順次フレーム画像を取得するようにしてもよい。
【００４２】
ステップＳ３０２において、顔領域検出部２１は画像Ｄ２に含まれる人物の顔領域を検出する。
【００４３】
ここで、顔領域検出部２１が実行する顔領域の検出方法について、図４を用いて説明する。
【００４４】
図４は、取得された画像から、肌領域マスク画像を生成する関係を示す図である。
【００４５】
顔領域検出部２１は、図４（Ａ）に示す元画像の顔領域４０を検出する。まず、顔領域検出部２１は、元画像の画像データに水平方向バンドパスフィルタを作用させる。次に、顔領域検出部２１は処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平方向及び垂直方向のバンドパスフィルタにより、元画像からエッジ成分を検出する。その後、顔領域検出部２１は、検出されたエッジ成分に関してパターンマッチングを行い、目、鼻、口、耳などの顔パーツに関する候補群を抽出する。そして、顔領域検出部２１は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、顔領域検出部２１は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔領域４０を検出する。なお、顔領域の検出は上記に限らず、他の検出手段で行ってもよい。例えば、顔領域をユーザーが手動で選択することで、顔領域の検出が行われてもよい。
【００４６】
ステップＳ３０３において、肌色検出部２２は、元画像の顔領域４０に含まれる画像情報に基づき、人物の肌の明るさと色の度合い（以下、肌色情報と称す）を決定する。肌色情報は、例えば、顔領域４０の範囲内における色相、彩度、明度といった成分の平均値を用いることができる。なお、肌色情報を決定する方法は、上記に限らず、顔領域内の目や鼻といった人物の肌以外の領域を除いた範囲に限定して肌色情報を決定してもよい。また、肌の色や明るさの成分のヒストグラムを生成し、所定の閾値を超える成分を抽出して肌色情報を決定してもよい。
【００４７】
ステップＳ３０４において、肌領域マスク生成部２３は、上述の肌色情報に基づき、元画像の人物の肌に相当する領域を検出し、図４（Ｂ）に示す肌領域マスク画像を生成する。肌領域マスク画像は、画素値が元画像における色相、彩度、明度などの成分と、上述の肌色情報との近さによって決まる画像である。本実施形態では、肌領域マスク画像は、上述の肌色情報に最も近い画素が最大の画素値をとる画像であるとする。
【００４８】
ステップＳ３０５において、肌領域補正回路２０は、一つ前のフレームが存在しているか否かを判断する。一つ前のフレームが存在している場合は、ステップＳ３０６に進み、存在していない場合は、ステップＳ３０７に進む。
【００４９】
ステップＳ３０６において、肌領域マスク補正部２４は、現在のフレームの肌領域マスク画像を、一つ前のフレーム肌領域マスク画像との差分に基づいて補正する。本実施形態では、この補正処理に巡回型ノイズリダクション処理を用いる。巡回型ノイズリダクション処理とは、時系列に並んだ二つの画像の重み付け加算により、時間方向のＬＰＦ処理を行い、ランダムノイズを除去する処理であり、動画のノイズリダクション処理として広く用いられている手法である。
【００５０】
ここで、本実施形態における巡回型ノイズリダクション処理について説明する。
【００５１】
図５は、巡回型ノイズリダクション回路５０の構成例を示す図である。
【００５２】
図５において、Ｓ（ｔ）はｔフレーム目の画像信号であり、Ｓ（ｔ−１）はメモリ１０９に一時記憶された（ｔ−１）フレーム目の画像信号を示している。このように１フレーム前の画像信号はメモリ１０９に一時記憶されている。また、巡回型ノイズリダクション回路５０は、後述する巡回係数ｃ（０≦ｃ≦１）を設定する巡回係数算出回路５１を備えている。
【００５３】
図５に示すように、（ｔ−１）フレーム目の画像信号Ｓ（ｔ−１）とｔフレーム目の画像信号Ｓ（ｔ）とを用いて、ノイズ除去された画像信号Ｓ´（ｔ）を得る。すなわち、画像信号Ｓ´（ｔ）は、以下の式（１）により算出される。また、画像信号Ｓ´（ｔ）はメモリ１０９に一時記憶され、（ｔ＋１）フレーム目の処理に使用される。
【００５４】
【数１】
2020102058.tif 000003
【００５５】
ここで、巡回係数ｃは０以上１未満の値であり、巡回係数ｃが大きいほどノイズ低減処理の強度は大きいが、ノイズが収束するまで多くの時間がかかり、残像が発生しやすくなる。一方、巡回係数ｃを小さくすると残像は起きにくいが、ノイズ低減効果が小さくなり、巡回係数ｃを０に設定すると、何も処理がなされないこととなる。このように、被写体に最適なノイズリダクション処理を行うためには、巡回係数算出回路５１が被写体の動きに対し、最適な巡回係数ｃを決定する必要がある。
【００５６】
本実施形態では、巡回係数算出回路５１が、二つのフレーム画像間の領域毎の差分から各領域毎の動きを検知し、巡回係数ｃを適応的に制御する。
【００５７】
図６は、現在のフレームの肌領域マスク画像と、一つ前のフレームの肌領域マスク画像を用いて、上述の補正処理を示す図である。図６（Ａ）と図６（Ｂ）は其々、現在のフレームと前回のフレームの肌領域マスク画像を示しており、図６（Ａ）の画像の方が肌領域の検出の精度が低い結果となっている。肌領域マスク補正部２４は、これらの画像を入力として上述の補正処理を行い、図６（Ｃ）に示す補正後の肌領域マスク画像を生成する。
【００５８】
図６（Ｃ）の画像は、図６（Ａ）の画像と図６（Ｂ）の画像の重み付け加算によって、現在のフレームの肌領域マスク画像よりも、肌領域の検出の精度が高い結果となっている。また、この補正後の肌領域マスク画像は、次のフレームの肌領域マスク画像に適用される。
【００５９】
図７は、連続するフレームにおいて順次上述の補正処理を行わなかった場合と、行った場合の比較結果を示す図である。図７（Ａ）〜（Ｃ）は、補正処理を行わなかった場合の、連続するフレームの肌領域マスク画像を示し、図７（Ｄ）〜（Ｆ）は、図７（Ａ）〜（Ｃ）の連続するフレームに対して補正処理を行った場合の肌領域マスク画像を示している。図７（Ａ）〜（Ｃ）のように肌領域マスク画像がの変動量が大きかったとしても、上述の補正処理を行うことで、図７（Ｄ）〜（Ｆ）のように肌領域マスク画像の変動量を低減することができる。
【００６０】
ステップＳ３０７において、画像合成部２５は、画像Ｄ１と画像Ｄ２の画像合成を行い、肌領域補正画像Ｄ３を生成する。以下、画像Ｄ１と画像Ｄ２の画像合成処理について説明する。画像合成部２５は、上述の肌領域マスク画像に基づいて、画像Ｄ１と画像Ｄ２の画像合成を行い、肌領域補正画像Ｄ３を生成する。
【００６１】
ここで、画像合成処理の一例について説明する。画像合成部２５は、肌領域マスク画像の画素値から求まるα［ｉ，ｊ］（０≦α≦１）に基づいて、画像Ｄ１の画像データＩＭＧ１［ｉ，ｊ］と画像Ｄ２の画像データＩＭＧ２［ｉ，ｊ］を画像合成し、合成画像データＩＭＧ３［ｉ，ｊ］を生成する。即ち、画像合成部２５は、合成画像データＩＭＧ３［ｉ，ｊ］を以下の式（２）を用いて算出する。なお、［ｉ，ｊ］は各画素の位置を示している。
【００６２】
【数２】
2020102058.tif 000004
【００６３】
上記の処理によって得られた合成画像データＩＭＧ３を、肌領域補正画像Ｄ３として出力する。
【００６４】
ステップＳ３０８において、画像処理回路１０８は、次のフレームが存在しているか否かを判断する。次のフレームが存在している場合は、再びステップＳ３０１に戻り、フレーム画像の取得を行う。次のフレームが存在していない場合は、ステップＳ３０９に進み、肌補正処理を行った連続フレーム画像を記録媒体１２９に記録して、処理を終了する。
【００６５】
なお、上述の補正処理は、ステップＳ３０６における肌領域マスクの補正に加えて、ステップＳ３０１において取得するフレーム画像に対して行ってもよい。図８は、ステップＳ３０１において取得するフレーム画像に対しても補正処理を行う場合の処理全体のフローを示しており、ステップＳ８０２において、フレーム画像に対して補正処理を行う。なお、図８において、ステップＳ８０２以外の内容は図３と同じである。
【００６６】
本実施形態では、ステップＳ８０２における補正処理においても、巡回型ノイズリダクション処理を用い、現在のフレーム画像と、一つ前のフレーム画像の重み付け加算を行う。これにより、肌領域マスク画像の生成元となる画像フレームそのもののランダムノイズを除去できるため、より肌領域マスク画像のフレーム間の差分を低減することができる。さらに、上述の肌領域補正画像Ｄ３の合成元の画像のフレーム間の差分を低減することができるため、最終的に記録される動画像の、再生時における肌補正効果のばらつきを、より低減することができる。
【００６７】
また、被写体が静止している場合など、複数のフレームにまたがって肌領域マスク画像の位置の変化が少ない場合は、上述の補正処理に加え、肌領域マスク画像の比較明合成を行うことで、更に肌補正効果のばらつきを低減することができる。例えば、連続するフレームにおいて光源の位置が変化しており、フレーム毎に人物の肌領域に生じる陰影が異なる場合、上述の補正処理を行っても肌領域マスク画像の変動を低減する効果が小さい場合がある。
【００６８】
例えば、図９において、図９（Ａ）と図９（Ｂ）は上述する補正処理を行った連続するフレームを示しており、其々のフレームで光源の位置が異なっていたため、依然として肌領域マスク画像の変動量が大きくなっている。このとき、肌検出マスク画像の位置の差が小さければ、これらの肌領域マスク画像を比較明合成することで、図９（Ｃ）に示すように、図９（Ａ）、図９（Ｂ）其々の肌検出精度が高い領域が選ばれた肌領域マスク画像を生成することができる。これにより、連続するフレームにおいて光源の位置が変化するような状態においても、肌補正効果のばらつきを低減することができる。
【００６９】
以上説明したように、本発明によれば、連続する画像に対する肌補正処理を行う場合に、ノイズ成分の影響による肌補正効果のばらつきを低減することができる。これにより、動画像のような連続する画像に対する肌補正処理において、補正範囲がより自然な結果を得ることができる。
【００７０】
また、本発明は、以下の処理を実行することによっても実現できる。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００７１】
２１  顔領域検出部、２２  肌色検出部、２３  肌領域マスク生成部、
２４  肌領域マスク補正部、２５  画像合成部
【図１】
2020102058.tif 000005
【図２】
2020102058.tif 000006
【図３】
2020102058.tif 000007
【図４】
2020102058.tif 000008
【図５】
2020102058.tif 000009
【図６】
2020102058.tif 000010
【図７】
2020102058.tif 000011
【図８】
2020102058.tif 000012
【図９】
2020102058.tif 000013