(57)【要約】【課題】背景・前景等で生じる疑似輪郭等の不要輝度変化を抑制し、好適な人物画像を生成する。【解決手段】画像処理装置１０１０は、入力画像から肌領域を抽出する肌領域抽出部１０２１、肌領域から色差信号を抽出する色差抽出部１０２２、肌領域の色成分のバランスに応じた補正係数を算出する補正係数算出部１０２３、補正係数に基づいて肌領域の補正輝度信号を生成する輝度再構成部１０２４、補正輝度信号と入力画像の輝度信号とに基づいて疑似輪郭を抑制する疑似輪郭抑制輝度信号を生成する疑似輪郭抑制部１０２７、補疑似輪郭抑制輝度信号と色差信号とを合成して補正肌領域を生成する輝度・色差合成部１０２５、及び肌領域を補正肌領域に置換した出力画像を生成する画像合成出力部１０２６を備える。【選択図】図２
2016206819.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から肌領域を抽出する肌領域抽出手段と、
前記肌領域から色差信号を抽出する色差抽出手段と、
前記肌領域の色成分のバランスに応じた補正係数を算出する補正係数算出手段と、
前記補正係数に基づいて前記肌領域の補正輝度信号を生成する補正輝度信号生成手段と、
前記補正輝度信号と前記入力画像の輝度信号とに基づいて疑似輪郭を抑制する疑似輪郭抑制輝度信号を生成する疑似輪郭抑制手段と、
前記補疑似輪郭抑制輝度信号と前記色差信号とを合成して補正肌領域を生成する輝度色差合成手段と、
前記肌領域を前記補正肌領域に置換した出力画像を生成する画像合成出力手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記入力画像はＲＧＢ画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記色差抽出手段は、色空間変換処理を実行することによって前記色差信号を抽出することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記入力画像はＲＧＢ画像であり、
前記補正係数算出手段は、前記ＲＧＢ画像のＧ信号とＢ信号の差と、前記ＲＧＢ画像のＧ信号とＢ信号の比との少なくとも一方を用いて前記補正係数を算出することを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
【請求項５】
前記疑似輪郭抑制手段は、
前記補正輝度信号と前記入力画像の輝度信号の差から輝度変化量を算出し、
前記輝度変化量に対して擬似輪郭を発生させる部分をマスキングする疑似輪郭抑制処理を適用して疑似輪郭抑制輝度変化量を算出し、
前記入力画像の輝度信号と前記疑似輪郭抑制輝度変化量との積を取ることによって前記疑似輪郭抑制輝度信号を生成することを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
【請求項６】
前記疑似輪郭抑制手段は、前記疑似輪郭抑制処理として、
前記入力画像から焦点の合った焦点領域を抽出し、
前記焦点領域と前記肌領域との積を取ることによって焦点肌色領域マスクを算出し、
前記焦点肌色領域マスクによって前記輝度変化量をマスキングする処理を実行することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
請求項１乃至６の何れか一項に記載の画像処理装置と、該画像処理装置が出力した前記出力画像を表示する表示装置とを備えたことを特徴とする画像処理システム。
【請求項８】
入力画像から肌領域を抽出する肌領域抽出ステップと、
前記肌領域から色差信号を抽出する色差抽出ステップと、
前記肌領域の色成分のバランスに応じた補正係数を算出する補正係数算出ステップと、
前記補正係数に基づいて前記肌領域の補正輝度信号を生成する補正輝度信号生成ステップと、
前記補正輝度信号と前記入力画像の輝度信号とに基づいて疑似輪郭を抑制する疑似輪郭抑制輝度信号を生成する疑似輪郭抑制ステップと、
前記補疑似輪郭抑制輝度信号と前記色差信号とを合成して補正肌領域を生成する輝度色差合成ステップと、
前記肌領域を前記補正肌領域に置換した出力画像を生成する画像合成出力ステップと、
を備えたことを特徴とする画像処理方法。
【請求項９】
請求項８に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物画像において疑似輪郭なく好適な輝度画像を簡易に提供可能な画像処理装置、画像処理システム、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、人物を含む画像に対して美肌処理・階調補正等の画像処理を行い、画像中の人物の肌を美しく表現するための様々な提案がなされている。
特許文献１には、顔画像から肌色領域を抽出し、抽出された各肌色領域の画像データを、その領域の肌色の特性に応じて補正する手法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に記載の手法のように、特定の色のみを抽出し、その色のみ局所的な補正を行う特定色補正処理では、補正を行っていない領域との色の変化が急激なものとなり、その境界部分に疑似輪郭が発生することがある。特に、人物画像のように、薄い被写界深度を生かして被写体を際立たせて撮影した画像では、背景や前景のボケ部で異なる色のボケが重なり、加法混色的に肌色が生じ、その領域が特定色補正処理によって過強調され、疑似輪郭として見えてしまうという問題があった。
本発明は上記に鑑みてなされたものであり、特定色補正処理において、背景・前景等で生じる疑似輪郭等の不要輝度変化を抑制し、好適な人物画像を生成可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記の課題を解決するために、請求項１に記載の発明は、入力画像から肌領域を抽出する肌領域抽出手段と、前記肌領域から色差信号を抽出する色差抽出手段と、前記肌領域の色成分のバランスに応じた補正係数を算出する補正係数算出手段と、前記補正係数に基づいて前記肌領域の補正輝度信号を生成する補正輝度信号生成手段と、前記補正輝度信号と前記入力画像の輝度信号とに基づいて疑似輪郭を抑制する疑似輪郭抑制輝度信号を生成する疑似輪郭抑制手段と、前記補疑似輪郭抑制輝度信号と前記色差信号とを合成して補正肌領域を生成する輝度色差合成手段と、前記肌領域を前記補正肌領域に置換した出力画像を生成する画像合成出力手段と、を備えたことを特徴とする。
【発明の効果】
【０００５】
本発明の実施形態によれば、特定色補正処理において、背景・前景等で生じる疑似輪郭等の不要輝度変化を抑制し、好適な人物画像を生成可能となる。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態における画像処理装置のハードウェア構成を例示する図である。
【図２】第１の実施形態における画像処理装置の機能構成を例示する図である。
【図３】第１の実施形態における画像処理のフローチャートを例示する図である。
【図４】第１の実施形態における入力画像及び肌領域を例示する図である。
【図５】第１の実施形態における補正係数の一例、および、肌領域の補正係数を例示する図である。
【図６】第１の実施形態における輝度変化量を例示する図である。
【図７】第１の実施形態における焦点領域マスク、肌領域マスク、焦点肌領域マスクを例示する図である。
【図８】第１の実施形態における疑似輪郭抑制輝度変化量を例示する図である。
【図９】第１の実施形態における入力画像と特許文献１に記載の手法で補正された出力画像と、本発明により補正された出力画像を例示する図である。
【図１０】第１の実施形態における画像処理システムの概略構成を例示する図である。
【図１１】第２の実施形態における画像処理のフローチャートを例示する図である。
【発明を実施するための形態】
【０００７】
以下、図面を参照して発明を実施するための形態について説明する。 各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。 
〔本明細で利用する単語の定義〕
ここでは、請求項等に記載の用語を補足的に説明する。「輝度画像」とは、画像や動画像分野でいうグレースケール画像やモノクロ画像等の色のない多階調の画像を言う。必ずしも光源の明るさを表すＳＩ単位の輝度（ｃｄ／ｍ＾２）でなくてもよい。また、カラー画像における輝度画像は、人間の視感度特性に合わせた明暗のことで、具体的にはＹＵＶ色空間等の変換式を用いて取得される輝度画像のことを指す。
「輝度信号」とは、「輝度画像」を構成する各画素の画素値であって、必ずしもＳＩ単位の輝度（ｃｄ／ｍ＾２）でなくてもよい。
【０００８】
〔第１の実施形態〕
＜画像処理装置のハードウェア構成＞
図１に、第１の実施形態に係る画像処理装置１０１０のハードウェア構成を例示する。
図１に示す様に、画像処理装置１０１０は、制御部１０１１、主記憶部１０１２、補助記憶部１０１３、外部記憶装置Ｉ／Ｆ部１０１４、ネットワーク部Ｉ／Ｆ部１０１５、表示部１０１６、操作部１０１７を有し、それぞれバスＢを介して相互に接続されている。画像処理装置１０１０は例えばパーソナルコンピュータから構成される。
制御部１０１１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）である。 また、制御部１０１１は、主記憶部１０１２や補助記憶部１０１３に記憶されたプログラムを実行する演算装置であり、入力装置や記憶装置からデータを受け取り、演算、加工した上で、出力装置や記憶装置等に出力する。
【０００９】
主記憶部１０１２は、例えばＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等であり、制御部１０１１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェア等のプログラムやデータを記憶又は一時保存する記憶装置である。
補助記憶部１０１３は、例えばＨＤＤ（Hard Disk Drive）等であり、アプリケーションソフトウェア等に関連するデータを記憶する記憶装置である。
外部記録装置Ｉ／Ｆ部１０１４は、例えばＵＳＢ（Universal Serial Bus）等のデータ伝送路を介して接続される例えばフラッシュメモリ等の記憶媒体１０１８と画像処理装置１０１０とのインターフェイスである。
【００１０】
また、記憶媒体１０１８に格納されたプログラムは、外部記録装置Ｉ／Ｆ部１０１４を介してインストールされ、画像処理装置１０１０により実行可能となる。
ネットワークＩ／Ｆ部１０１５は、有線及び／又は無線回線等のデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等のネットワークを介して接続された通信機器を有する周辺機器と画像処理装置１０１０とのインターフェイスである。
表示部１０１６は、例えば、液晶や有機ＥＬ等のディスプレイであり、画像や操作用アイコン等を表示し、画像処理装置１０１０が有する機能をユーザが利用する際に各種設定を行うユーザインターフェイスとして機能する装置である。
操作部１０１７は、例えばハードキーで構成されるキースイッチやマウス等である。 また、操作部１０１７は、表示部１０１６の画面に重ねて設けられるタッチパネル等であっても良い。
【００１１】
＜画像処理装置の機能構成＞
図２は、第１の実施形態に係る画像処理装置１０１０の機能構成を例示する図である。
図２に示す様に、第１の実施形態に係る画像処理装置１０１０は、肌領域抽出部１０２１、色差抽出部１０２２、補正係数算出部１０２３、輝度再構成部１０２４、輝度・色差合成部１０２５、画像合成出力部１０２６、及び疑似輪郭抑制部１０２７を有する。
肌領域抽出部１０２１、色差抽出部１０２２、補正係数算出部１０２３、輝度再構成部１０２４、輝度・色差合成部１０２５、画像合成出力部１０２６、及び疑似輪郭抑制部１０２７は、図１に示す制御部１０１１が主記憶部１０１２及び補助記憶部１０１３等に記憶されているプログラムを実行することで実現される機能である。
【００１２】
＜画像処理の流れ＞
図３は、第１の実施形態に係る画像処理装置１０１０における画像処理のフローチャートを例示する図である。
画像処理装置１０１０に入力画像が入力されると、まずステップＳ１にて、肌領域抽出部１０２１が、画像処理の対象となる肌領域を抽出する。
続いてステップＳ２にて、色差抽出部１０２２が、肌領域から色差信号を抽出する。
【００１３】
次にステップＳ３にて、補正係数算出部１０２３が、肌領域の各画素のＧ信号とＢ信号から補正係数を算出する。
補正係数が算出されると、ステップＳ４では、輝度再構成部１０２４が補正係数に応じて肌領域を構成する補正輝度信号を新しく生成する。
補正輝度信号が生成されると、次にステップＳ５では、疑似輪郭抑制部１０２７が補正輝度信号と肌領域の輝度信号との差分から疑似輪郭抑制輝度信号を算出する。
ステップＳ５では、輝度・色差合成部１０２５が疑似輪郭抑制輝度信号と色差抽出部１０２２で抽出した肌領域の色差信号を合成し、補正肌領域を生成する。
最後に、ステップＳ７では、画像合成出力部１０２６が肌領域を補正肌領域に置換した出力画像を生成し、処理を終了する。
【００１４】
以下では、画像処理装置１０１０に入力される入力画像から選択された肌領域の修正を行う処理における各ステップの処理内容について、画像処理に使用するデータ等と併せて詳細に説明する。 
【００１５】
≪ステップＳ１：肌領域抽出部≫
画像処理装置１０１０には、入力画像が入力され、肌領域抽出部１０２１が、画像処理の対象となる肌領域を抽出する。
【００１６】
肌領域抽出は、既存の肌領域抽出手法を利用することができる。たとえば、あらかじめ多数の画像から肌領域の色情報の分布を調べておき、その分布に含まれる画素値を肌領域としても良い。或いは、Ｐａｕｌ  Ｖｉｏｌａ  ａｎｄ  Ｍｉｃｈａｅｌ  Ｊ．  Ｊｏｎｅｓ，  “Ｒａｐｉｄ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａ  Ｂｏｏｓｔｅｄ  Ｃａｓｃａｄｅ  ｏｆ  Ｓｉｍｐｌｅ  Ｆｅａｔｕｒｅｓ”，  ＩＥＥＥ  ＣＶＰＲ，  ２００１．に記載の物体検出手法等を用いて、検出した顔領域の中心部や唇領域の色情報の分布から撮影画像に応じた肌領域を抽出しても良いし、検出した顔領域や唇領域を肌領域の一部として利用しても良い。
【００１７】
一般に、既存の肌領域抽出手法で背景や唇・目等の器官の非肌部が含まれないようにパラメータを調整すると、一部の肌部が肌領域として抽出されないことがある。本実施形態では、肌領域として抽出されなかった肌部との見えの差（違和感）が起きないように唇や目等を含む露出部全体を対象とすることが望ましい。また、露出部全体を肌領域とするために背景等の一部が肌領域として抽出されても良い。
【００１８】
図４は、画像処理装置１０１０に入力される入力画像１０３１と、肌領域抽出部１０２１により抽出された肌領域（顔肌領域１０３２と肌色領域１０３５）の抽出例を示す。図４（ａ）は入力画像１０３１、図４（ｂ）は入力画像１０３１から抽出された肌領域を例示する図である。
図４（ｂ）に示す例では、顔肌領域１０３２（白色部分）と、顔肌領域１０３２以外の領域（黒色部分）とが明確な境界を有しているが、顔肌領域１０３２と顔肌領域１０３２以外の領域との境界線をぼかしても良い。また、位置によってぼかし具合を変化させても良い。つまり、図４（ｂ）に示す例では、顔肌領域１０３２（白色部分）と、顔肌領域１０３２以外の領域（黒色部分）とが明確に分離されているが、明確に分離せずに画素値の一部を肌領域１０３２としても良い。また、位置によって抽出度合いを変化させても良い。
【００１９】
また、肌領域抽出部１０２１で抽出される肌領域は、顔だけでなく、首、腕、足等の露出部すべてを含んでも良い。また、複数人の肌領域を含んでも良い。
図４（ｂ）では、顔肌領域１０３２の他にボケの重なりによって生じた肌色領域１０３５が肌領域として抽出されている。これは図４（ａ）に示した入力画像中のボケ部１０３３とボケ部１０３４が重なることによって生じたもので、例えば、ボケ部１０３３がピンク色、ボケ部１０３４が黄色の時に、ボケが加法混色的に重なることで図４（ｂ）のような線状の肌色領域１０３５が生じ、肌領域抽出部１０２１によって抽出される。
【００２０】
≪ステップＳ２：色差抽出部≫
肌領域抽出部１０２１により入力画像１０３１から肌領域が抽出されると、次に色差抽出部１０２２が、肌領域を構成する画像データから色差信号を抽出する。
ＲＧＢ信号（ＲＧＢ画像）から色差信号を抽出する方法としては、例えばＹＵＶ色空間への変換（色空間変換処理）がある。ＲＧＢとＹＵＶは計算により相互にデータ変換が可能で、国際電気通信連合（ＩＴＵ）が定める規格ＩＴＵ−Ｒ ＢＴ．７０９では、以下の式で定義される。
2016206819.tif 000003
・・・・式（１）
式（１）の中で、Ｙが輝度信号、ＵとＶが色差信号を表すので、ＵＶを取得することで色差信号を抽出できる。なお、添え字のｉとｊは画像中の画素位置（ｉ，ｊ）を表す。
【００２１】
色差信号は、式（１）に記載したＹＵＶのＵＶ成分に限らず、ＹＩＱ色空間のＩＱ成分、ＹＣｒＣｂ色空間のＣｒＣｂ成分を利用しても良い。また、一般的に色差信号と呼ばれないが、ＨＳＶ色空間のＨＳ成分、ＣＩＥ１９７６の勧告するＬ＊ａ＊ｂ＊色空間のａ＊ｂ＊成分、Ｌ＊ｕ＊ｖ＊色空間のｕ＊ｖ＊のように、輝度信号１チャンネルと色信号２チャンネルで表現する色空間の色信号を色差信号として利用しても良い。
【００２２】
≪ステップＳ３：補正係数算出部≫
肌領域抽出部１０２１により肌領域が抽出されると、次に補正係数算出部１０２３が、肌領域各画素における補正係数を算出する。
肌内部に入り込んだ光は主に表皮層に存在するメラニン色素と真皮層に存在するヘモグロビン色素による吸収を受ける。また、光は長波長ほど散乱しにくい性質があり、長波長の光ほど肌内部に侵達する（深部に到達する）。それゆえ、肌内部の色素分布と光の侵達度合い（光が肌の内部のどの程度の深さまで到達するか）に応じて部位毎にＲＧＢ信号のバランスが異なることになる。
例えば、シミの有無はＲ信号、Ｇ信号に比べてＢ信号で画素値の違いとして強く表れる。また、光が直接当たらない肌の暗部は長波長の光が回り込むことがわかっており、結果として、肌の暗部は肌の明部と比較して、Ｂ信号よりＧ信号がより明るく記録されている。また、唇は赤褐色を示すヘモグロビン色素が支配的であるので、Ｇ信号とＢ信号がほぼ同じ値を持つ。
【００２３】
図５（ａ）は、各部位のＲＧＢ信号のバランスの違いを示した図である。ここでは、ＲＧＢ信号のバランスを示す指標として式（２）を用いる。図５（ａ）の例では、所定の閾値１０４１を設けることで、肌の暗部やシミのような補正対象となる部位とそれ以外を簡易に判別することができる。
2016206819.tif 000004
・・・・式（２）
ここで、式（２）のσは、Ｇ＝０の時のゼロ除算を防ぐための項である。このような項はたとえばノイズ耐性を高める目的で分子にあってもよい。図５（ａ）ではσ＝１としている。
【００２４】
式（３）は、所定の閾値１０４１（Threshold）を利用した補正係数α’の算出式を表す。これにより、後述するステップＳ５で補正される領域（α’＞０）とそれ以外（α’＝０）を区別することができる。図５（ｂ）は、肌領域全画素において式（３）を用いて求めた補正係数α’を可視化した図で、シミと肌の暗部領域が補正対象領域となっている。
2016206819.tif 000005
・・・・式（３）
このように本実施形態においては、肌領域の色成分（Ｇ信号とＢ信号）のバランス（αの値）に応じた補正係数α’が算出される。
【００２５】
しかし、図５（ｂ）では、図４（ｂ）に示した顔肌領域１０３２に対応する領域についての補正係数の他、ボケの重なりによって生じた肌色領域１０３５に対応する領域についての補正係数も高く算出される。
【００２６】
≪ステップＳ４：輝度再構成部≫
補正係数算出部１０２３より肌領域の各画素における補正係数１０４２が求められると、次に輝度再構成部１０２４が肌領域を構成する補正輝度信号Ｙ’を新しく生成する。
式（３）で補正係数α’が高くなるのは肌の暗部やシミといった周囲に比べて暗い画素である。また、光がシミや暗部に回り込み全体が明るく記録されている部分は、長波長側のＲ信号の成分が多くなる。従って、補正係数α’が高い画素に対して、長波長側のＲ信号の混合比を高めることで肌の暗部やシミを効果的に補正する輝度信号を生成できる。
【００２７】
式（４）は、肌領域の各画素を、その補正係数α’に応じて補正される領域（α’＞０）とそれ以外の領域（α’＝０）に分類し、Ｒ信号の混合比ｒを２値で決定する場合の補正輝度信号算出式である。
2016206819.tif 000006
・・・・式（４）
ここで、ａ１１は式（１）で利用した色空間の輝度信号を構成するＲ信号の混合比で、これにより、補正係数α’が０の場合に入力画像の輝度信号に近い値が出力されることになる。式（４）では、ｒの混合比を（ａ１１、１）の二値から決定したが、たとえば官能評価により、好ましい混合比が決定できれば別の二値を指定しても良い。
【００２８】
式（５）は、画素毎の補正係数α’を混合比ｒの計算に用いて適応的に補正強度を変える場合の補正輝度信号算出式である。
2016206819.tif 000007
・・・・式（５）
混合比ｒは、式（４）に示すように二値で指定してもよいが、補正する領域と補正しない領域が極端に分かれ、その境界で疑似輪郭が発生する可能性がある。そのため、式（５）に示すように、補正係数α’を混合比ｒの計算に利用し、適応的に補正強度を変更するのがより望ましい。
【００２９】
式（４）、式（５）では、混合比ｒの（最小値、最大値）は（ａ１１、１）であるが、たとえば官能評価により、より好ましい最小、最大値が決定できれば別の値を設定しても良い。
【００３０】
式（４）、式（５）においては、極端な出力の変化を抑えるため、ＲＧＢ信号の混合係数（ｒ，ｇ）の和は１になるように調整するのがより望ましい。また、式（４）、式（５）ではＲ信号とＧ信号のみを利用したが、Ｂ信号が多少混じってもよい。Ｂを混在させる場合もＲＧＢ信号の混合係数の和は１になるように調整するのが望ましい。
【００３１】
≪ステップＳ５：疑似輪郭抑制部≫
ステップＳ４の輝度再構成ステップによって補正輝度信号Ｙ’が生成されると、次に疑似輪郭抑制部１０２７で、不要な輝度変化を抑制した疑似輪郭抑制輝度信号Ｙ”が生成される。
式（６）は、輝度変化量ｄｉｆｆの算出式を表す。ここで、Ｙは入力画像の輝度信号を表す。式（６）に示すように、輝度変化量ｄｉｆｆは負の値を持たず、０以上にクリッピングされる。これは、補正輝度信号が式（５）に示したとおり、ＲとＧのみから再構成されることに由来し、肌領域の取り方によっては一部の色で入力画像の輝度信号Ｙより補正輝度信号の方が小さくなることがある。特許文献１に記載の手法は輝度向上手法なので、式（６）により不要な輝度変化を解消できる。
2016206819.tif 000008
・・・・式（６）
【００３２】
図６に算出された輝度変化量を例示する。輝度変化量１０ａ３として、図４（ｂ）に示す顔肌領域１０３２に対応する領域１０ａ１の他、ボケの重なりによって生じた肌色領域１０３５に対応する不要肌色領域１０ａ２も式（６）によって算出されている。不要肌色領域１０ａ２は局所的な輝度変化が大きく、疑似輪郭を発生させている。本ステップでは、このような不要肌色領域１０ａ２の輝度変化を抑制する。
【００３３】
通常、人物写真では重要な被写体である顔・肌にピントを合わせて撮影されることが多い。一方、本発明で課題にしている不要肌色領域１０ａ２は、図４（ａ）に示すように、ピントが合っていない画像のボケが重なることで生じた疑似輪郭である。従って、ピントが合っているか否かによってマスク処理をかけることで、このような不要肌色領域１０ａ２を抑制することができる。以降、ピントが合っている領域を焦点領域と呼ぶ。
【００３４】
焦点領域の算出には、既存の焦点領域抽出手法を利用することができる。たとえば、焦点領域は背景・前景に比べ高周波成分が多いため、図４（ａ）の入力画像１０３１の輝度信号を８ｐｘ四方の小ブロックで区切り、ブロック毎にブロック内画素輝度値の８方向２次微分の平均を計算し、一定以上の値を持つブロックを第一の焦点領域としてカウントする。一般に、顔は口や目といった器官と輪郭を除く肌部はなめらかで第一の焦点領域としてカウントされず、第一の焦点領域としてカウントされる領域は輪郭を基準とした閉領域となることが多い。そのため、更にモルフォロジー演算等で第一の焦点領域の加工を行い、肌全体を含む最終的な焦点領域マスクを生成する。また、Ｚｈｉ  Ｌｉｕ  ｅｔ  ａｌ．，  “Ａｕｔｏｍａｔｉｃ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  ｆｏｃｕｓｅｄ  ｏｂｊｅｃｔｓ  ｆｒｏｍ  ｉｍａｇｅｓ  ｗｉｔｈ  ｌｏｗ  ｄｅｐｔｈ  ｏｆ  ｆｉｅｌｄ”  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎ．  Ｌｅｔｔ．  ３１，  ７  （Ｍａｙ  ２０１０），  ５７２−５８１．に記載の焦点領域抽出手法を利用して焦点領域マスクを算出する等、焦点領域マスクの算出方法は問わない。
【００３５】
図７(ａ)は、このような焦点領域抽出手法によって抽出された焦点領域マスク１０ｂ１を示す。焦点領域は、顔肌領域１０３２以外にも髪や衣服等ピントの合った領域を抽出しているので、ステップＳ１で算出した肌領域を強調・クリッピング加工した図７(ｂ)に示す肌領域マスク１０ｂ２との積を取る。このようにすることで、図７（ｃ）に示すピントの合った肌領域を示す焦点肌領域マスク１０ｂ３を生成する。
【００３６】
焦点肌領域マスク１０ｂ３によって、図６に示す輝度変化量１０ａ３をマスキングすることで、不要肌色領域１０ａ２を抑制した疑似輪郭抑制輝度変化量を生成できる（疑似輪郭抑制処理）。
図８に疑似輪郭抑制輝度変化量１０ｃ１の例を示す。図６で存在した不要肌色領域１０ａ２の輝度変化が抑制され、顔肌領域１０３２に対応する領域１０ａ１だけ輝度変化量を持つ疑似輪郭抑制輝度変化量１０ｃ１が生成されていることがわかる。
【００３７】
疑似輪郭抑制輝度変化量１０ｃ１は、さらに微細な疑似輪郭を抑制する目的で、各画素近傍画素との積を取って正規化することで微細な輝度変化量を抑制しても良いし、変化量全体を平滑化することで不要な輪郭を抑制しても良い。
こうして、得られた疑似輪郭抑制輝度変化量１０ｃ１を入力画像の輝度信号Ｙに加算することで疑似輪郭抑制補正輝度信号Ｙ’’を生成できる。
【００３８】
≪ステップＳ６：輝度・色差合成部≫
疑似輪郭抑制部１０２７により疑似輪郭抑制補正輝度信号Ｙ’’が生成されると、次に輝度・色差合成部１０２５で、疑似輪郭抑制補正輝度信号Ｙ’’と色差抽出部１０２２で抽出した肌領域の元の色差信号ＵＶが式（７）により合成されて補正肌領域となる。
2016206819.tif 000009
・・・・式（７）
【００３９】
即ち、輝度・色差合成部１０２５は、式（１）により求めたＹＵＶの輝度信号Ｙを、疑似輪郭抑制補正輝度信号Ｙ’’に置き換えて、行列Ａの逆行列を用いてＲＧＢを求める。
≪ステップＳ７：画像合成出力部≫
輝度・色差合成部１０２５により補正輝度信号と入力画像の色差信号が合成され、補正肌領域が生成されると、最後に、画像合成出力部１０２６が、入力画像の肌領域を補正肌領域で置き換えた出力画像を生成する。
【００４０】
図９（ａ）に入力画像、図９（ｂ）に特許文献１に記載の手法で生成された出力画像、図９（ｃ）に図３のフローで生成された本発明による出力画像の例を示す。なお、特許文献１に記載の手法は、図３のフローのステップＳ５に対応するステップが存在しないものである。
図９（ｂ）に示す特許文献１の出力画像１０６１は図９（ａ）に示す入力画像１０３１に比べ、唇領域や瞳等の明るさを変えずに、肌の暗部やシミ領域等を選択的に明るくすることができる。しかし、図９（ｂ）に示すように背景のボケの重なり領域で疑似輪郭１０６３が発生している。一方、図９（ｃ）に示すように、本発明による出力画像１０６２は、疑似輪郭を発生させることなく、唇領域や瞳等の明るさを変えずに、肌の暗部やシミ領域等を選択的に明るくすることができることがわかる。
【００４１】
＜画像処理システムの機能構成＞
図１０は、第１の実施形態における画像処理システムの概略構成を例示する図である。本画像処理システムは、画像処理装置１０１０と画像処理装置１０１０が出力した出力画像を表示する表示装置１０８６とを、ネットワーク１０８４を介して接続したものである。
【００４２】
画像処理装置１０１０に入力される入力画像は、たとえば、デジタルカメラ、スキャナ等の画像生成装置１０８１により生成された画像である。入力画像は、デジタルカメラのＷＩＦＩ通信モジュール１０８２やＳＤカード等の記憶媒体１０１８から画像処理装置１０１０の図１に示したネットワークＩ／Ｆ部１０１５や外部記憶装置Ｉ／Ｆ部１０１４を介して画像処理装置１０１０に入力される。
【００４３】
ここで、画像処理装置１０１０に入力される入力画像は画像生成装置１０８１により生成された画像に限らず、インターネット等のネットワーク１０８４を介して外部のデータサーバ１０８５から取得した画像でも良い。
【００４４】
画像処理装置１０１０に入力された入力画像は、上述の画像処理の流れで出力画像に変換される。
出力画像は、画像処理装置１０１０の図１に示す表示部１０１６に表示される。また、出力画像は、インターネット等のネットワーク１０８４を介して、画像共有サイト等のデータサーバ１０８５に記憶させることができる。この場合、データサーバ１０８５からインターネット等のネットワーク１０８４を介してディスプレイ等を有する表示装置１０８６に出力画像を表示し、共有することができる。
ここで、画像処理装置１０１０はたとえばパーソナルコンピュータである。また、画像処理装置１０１０は、画像生成装置１０８１に組み込まれていても良い。
【００４５】
〔第２の実施形態〕
本実施形態は、焦点領域抽出の成否に関わらず、ロバストな出力結果を出すための実施形態である。
＜画像処理の流れ＞
図１１は、第２の実施形態に係る画像処理のフローチャートを例示する図である。第一の実施形態に示した図３のフローチャートと同一のステップには、同一のステップ番号を付してその説明を省略する。
【００４６】
≪ステップＳ１：肌領域抽出部≫
まず、第一の実施形態のステップＳ１に記載の方法等を使って、肌領域を抽出する。
たとえば、あらかじめ多数の画像から肌の色情報の分布を調べておき、その分布に含まれる画素値を肌領域として抽出する。
【００４７】
≪ステップＳ１２：焦点領域抽出≫
次に、焦点領域を抽出する。
たとえば、焦点領域の算出には、第一の実施形態のステップＳ５において説明した方法を用いることができる。即ち、入力画像１０３１の輝度信号を８ｐｘ四方の小ブロックで区切り、ブロック毎にブロック内画素輝度値の８方向２次微分の平均を計算し、一定以上の値を持つブロックを第一の焦点領域としてカウントする。一般に、顔は口や目といった器官と輪郭を除く肌部はなめらかで第一の焦点領域としてカウントされず、第一の焦点領域としてカウントされる領域は輪郭を基準とした閉領域となることが多い。そのため、更にモルフォロジー演算等で第一の焦点領域の加工を行い、肌全体を含む第二の焦点領域を生成し、第二の焦点領域を入力画像サイズに拡大して最終的な焦点領域を生成する。
【００４８】
≪ステップＳ１３：焦点領域抽出成否判定≫
次に、肌領域が、焦点領域とそれ以外の領域にそれぞれどの程度含まれるかを算出し、焦点領域抽出の成否を判定する。
【００４９】
一般に、写真撮影では、薄い被写界深度を活かし、背景をぼかして被写体を浮かび上がらせる撮影がよく行われる。ぼかしの対象となるのは背景だけでなく、たとえば人物写真では、瞳だけにピントが合って、その他の肌の部分がぼけた写真も含まれるため、ステップＳ１２記載の焦点領域抽出処理だけでは、肌全体を抽出できない。このような薄い被写界深度で撮影された人物写真に第１の実施形態に記載の手法を適用すると、肌の一部のみが明るくなり、違和感のある画像を生成してしまう。
【００５０】
そこで、本実施形態ではステップＳ３において、焦点領域として肌全体を抽出できているか否かの判定を行う。ここで、肌領域をＳｉｊ、焦点領域をＦｉｊとする。なお、添え字のｉとｊは画像中の画素位置（ｉ，ｊ）を表す。肌領域Ｓｉｊは、例えば、画素位置（ｉ，ｊ）毎に０又は１の値を持ち、０であれば肌領域に含まれず、１であれば完全に肌領域に含まれる。焦点領域Ｆｉｊも同様に、画素位置（ｉ，ｊ）毎に０又は１の値を持ち、０であれば焦点領域に含まれず、１であれば完全に焦点領域に含まれる。
【００５１】
式（８）が焦点領域抽出成否の判定式である。
2016206819.tif 000010
・・・・式（８）
左辺の分母ΣＦは焦点領域の画素の個数を示し、分子ΣＳＦは焦点領域且つ肌領域の画素の個数を示す。つまり、左辺は焦点領域を構成する画素のうち肌領域を構成する画素の割合を示す。右辺のΣ（１−Ｆ）は焦点領域を構成しない画素の個数を示し、ΣＳ（１−Ｆ）は焦点領域を構成しない肌領域の画素の個数を示す。つまり、右辺は焦点領域を構成しない画素のうち肌領域を構成する画素の割合に対して定数のｋを乗じたものである。
【００５２】
式（８）は、焦点領域マスクを適用するか否かの判定に用いることが出来る。たとえば肌の一部のみにピントが合っている場合（ピントの合っていない肌領域が多い場合）には、左辺より右辺が大きくなるため、式（８）を満たさない。このように、焦点領域以外の領域に肌領域がある割合を超えて存在する場合は、第一の実施形態のステップＳ５に記載の焦点領域マスクを適用しないという判定をすることができる。
【００５３】
ここで、肌領域Ｓｉｊは≪ステップＳ１：肌領域抽出部≫に記したように、０又は１の二値だけでなく、０から１の範囲の多値を持っても良い。多値を持つ場合、Ｓｉｊが０であれば肌領域に含まれず、１に近づくにつれ肌領域度合いが高まり、１であれば完全に肌領域に含まれることを意味する。この場合、式（８）の左辺は焦点領域を構成する画素の肌領域度合いの平均値を示し、式（８）の右辺は焦点領域を構成しない画素の肌領域度合いの平均値に対して定数のｋを乗じたものになる。
【００５４】
≪ステップ：画像処理実行≫
次に、式（８）にて焦点領域抽出の成否が判定されると、以降のステップにて判定に応じた画像処理を実行する。
式（８）を満たす場合（ステップＳ１３にてＹｅｓ）には、焦点領域内に肌領域を構成する画素が十分含まれるため、第一の実施形態に示したステップＳ２〜Ｓ７による画像処理を実行する。
式（８）を満たさない場合（ステップＳ１３にてＮｏ）には、焦点領域以外の領域に肌領域を構成する画素が多く含まれるため、焦点領域によるマスキング（ステップＳ５）を適用せず、ステップＳ２〜Ｓ４、Ｓ６、Ｓ７による画像処理を実行する。
本実施形態によれば、焦点領域抽出の成否に関わらず、ロバストな出力結果を出すことができる。
【００５５】
〔本発明の作用、効果のまとめ〕
＜第一の実施態様＞
本発明に係る画像処理装置１０１０は、入力画像から肌領域を抽出する肌領域抽出手段（肌領域抽出部１０２１）と、肌領域から色差信号を抽出する色差抽出手段（色差抽出部１０２２）と、肌領域の色成分のバランスに応じた補正係数を算出する補正係数算出手段（補正係数算出部１０２３）と、補正係数に基づいて肌領域の補正輝度信号を生成する補正輝度信号生成手段（輝度再構成部１０２４）と、補正輝度信号と入力画像の輝度信号とに基づいて疑似輪郭を抑制する疑似輪郭抑制輝度信号を生成する疑似輪郭抑制手段（疑似輪郭抑制部１０２７）と、補疑似輪郭抑制輝度信号と色差信号とを合成して補正肌領域を生成する輝度色差合成手段（輝度・色差合成部１０２５）と、肌領域を補正肌領域に置換した出力画像を生成する画像合成出力手段（画像合成出力部１０２６）と、を備えたことを特徴とする。
本態様によれば、背景・前景等で生じる疑似輪郭等の不要輝度変化を抑制し、好適な人物画像を生成できる。
【００５６】
＜第二の実施態様＞
本発明に係る画像処理装置において入力画像はＲＧＢ画像であることを特徴とする。
可視光領域の光の挙動は光の波長によって変化し、長波長の光ほど肌内部に達する。従って、入力画像としてＲＧＢ画像を用いることにより、肌の局所的な色素分布が簡易に推測でき、肌の部位に応じた修正をＲ信号、Ｇ信号、Ｂ信号に応じて実施可能となる。
【００５７】
＜第三の実施態様＞
本発明に係る画像処理装置において色差抽出手段は、色空間変換処理を実行することによって色差信号を抽出することを特徴とする。
入力画像から色差信号を抽出し、これを保持しておくことで、入力画像の色みと相違ない、違和感のない出力画像を生成できる。
【００５８】
＜第四の実施態様＞
本発明に係る画像処理装置において入力画像はＲＧＢ画像であり、補正係数算出手段は、ＲＧＢ画像のＧ信号とＢ信号の差と、ＲＧＢ画像のＧ信号とＢ信号の比との少なくとも一方を用いて補正係数を算出することを特徴とする。
ＲＧＢ画像のＧ信号とＢ信号の差、及び／又は、Ｇ信号とＢ信号の比から、肌の部位を簡易に判断できる。具体的には、メラニン色素は短波長ほど吸収が強く、そのため、シミの有無はＲ信号、Ｇ信号に比べて短波長のＢ信号で画素値の違いとして強く表れる。また、光は長波長ほど散乱しにくい性質があり、光が直接当たらない肌の暗部は長波長の光が回りこむ。結果として、肌の暗部は、肌の明部と比較して、Ｂ信号より長波長のＧ信号がより明るく記録されている。また、唇は赤褐色を示すヘモグロビン色素が支配的であるので、Ｇ信号とＢ信号がほぼ同じ値を持つ。よって、Ｂ信号とＧ信号の差、または比、もしくはその両方を用いることで、補正したいシミや肌の暗部と、補正したくない唇領域を分けることができる。
【００５９】
＜第五の実施態様＞
本発明に係る画像処理装置において疑似輪郭抑制手段は、補正輝度信号と入力画像の輝度信号の差から輝度変化量を算出し、輝度変化量に対して擬似輪郭を発生させる部分をマスキングする疑似輪郭抑制処理を適用して疑似輪郭抑制輝度変化量を算出し、入力画像の輝度信号と疑似輪郭抑制輝度変化量との積を取ることによって疑似輪郭抑制輝度信号を生成することを特徴とする。
本態様によれば、局所的な輝度変化が大きく擬似輪郭を発生させる部分をマスクするので、擬似輪郭を抑制できる。
【００６０】
＜第六の実施態様＞
本発明に係る画像処理装置において疑似輪郭抑制手段は、疑似輪郭抑制処理として、入力画像から焦点の合った焦点領域を抽出し、焦点領域と肌領域との積を取ることによって焦点肌色領域マスクを算出し、焦点肌色領域マスクによって輝度変化量をマスキングする処理を実行することを特徴とする。
ピントが合っている焦点領域か否かによってマスク処理をかけることで、ボケの重なりによって生じる擬似輪郭を抑制できる
【００６１】
＜第七の実施態様＞
本発明に係る画像処理システムは、画像処理装置１０１０と、該画像処理装置が出力した出力画像を表示する表示装置１０８６とを備えたことを特徴とする。
本発明は、第一の実施態様と同様の効果を奏する。
【００６２】
＜第八の実施態様＞
本発明に係る画像処理方法は、入力画像から肌領域を抽出する肌領域抽出ステップ（Ｓ１）と、肌領域から色差信号を抽出する色差抽出ステップ（Ｓ２）と、肌領域の色成分のバランスに応じた補正係数を算出する補正係数算出ステップ（Ｓ３）と、補正係数に基づいて肌領域の補正輝度信号を生成する補正輝度信号生成ステップ（Ｓ４）と、補正輝度信号と入力画像の輝度信号とに基づいて疑似輪郭を抑制する疑似輪郭抑制輝度信号を生成する疑似輪郭抑制ステップ（Ｓ５）と、補疑似輪郭抑制輝度信号と色差信号とを合成して補正肌領域を生成する輝度色差合成ステップ（Ｓ６）と、肌領域を補正肌領域に置換した出力画像を生成する画像合成出力ステップ（Ｓ７）と、を有することを特徴とする。
本発明は、第一の実施態様と同様の効果を奏する。
【００６３】
＜第九の実施態様＞
本発明に係るプログラムは、画像処理方法をコンピュータに実行させるものである。
本発明は、第一の実施態様と同様の効果を奏する。
【符号の説明】
【００６４】
１０１０…画像処理装置、１０２１…肌領域抽出部、１０２２…色差抽出部、１０２３…補正係数算出部、１０２４…輝度再構成部、１０２５…輝度・色差合成部、１０２６…画像合成出力部、１０２７…疑似輪郭抑制部、１０８１…画像生成装置、１０８２…ＷＩＦＩ通信モジュール、１０８５…データサーバ、１０８６…表示装置
【先行技術文献】
【特許文献】
【００６５】
【特許文献１】特開２００１−０１４４５７公報
【図１】
2016206819.tif 000011
【図２】
2016206819.tif 000012
【図３】
2016206819.tif 000013
【図４】
2016206819.tif 000014
【図５】
2016206819.tif 000015
【図６】
2016206819.tif 000016
【図７】
2016206819.tif 000017
【図８】
2016206819.tif 000018
【図９】
2016206819.tif 000019
【図１０】
2016206819.tif 000020
【図１１】
2016206819.tif 000021