(57)【要約】【課題】  色補正処理対象の領域を示す画素であるにも係わらず、色補正処理対象の画素として抽出されない場合がある。【解決手段】  カラー画像データの全画素に対して、所定の領域を示す画素であるのかを、その画素の色情報を用いて判定し、所定の領域を示す画素であると判定された画素は、色補正処理の対象とする。また、画素の色情報からは、所定の領域を示さないと判定された画素に対して、その画素の周囲の色情報を用いて、所定の領域を示す画素であるのか再度判定し、所定の領域を示す画素であると判定された場合には色補正処理の対象とする。【選択図】  図４
2008311776.tif 000002
【特許請求の範囲】
【請求項１】
カラー画像データから、所定の領域に含まれる第１の画素から成る第１の画素群とこの所定の領域に含まれない第２の画素から成る第２の画素群とを、画素の色情報に基づいて検出する画素検出手段と、
前記画素検出手段によって検出された前記第２の画素群から１画素を評価対象として選択し、選択された第２の画素の周囲の画素に対して、前記第１の画素として検出された画素数と前記第２の画素として検出された画素数とを比較し、前記第１の画素として検出された画素数が多い場合は、前記選択された第２の画素を第１の画素と判定する判定手段と、
前記画素検出手段および前記判定手段によって前記第１の画素と判定された画素に対して色補正を行う補正手段を有することを特徴とする画像処理装置。
【請求項２】
カラー画像データから、所定の領域に含まれる第１の画素から成る第１の画素群とこの所定の領域に含まれない第２の画素から成る第２の画素群とを、画素の色情報に基づいて検出する画素検出手段と、
前記画素検出手段によって検出された前記第２の画素群から１画素を評価対象として選択し、選択された第２の画素を中心に持つ四角形の範囲内に存在する画素のうち、前記第１の画素として検出された画素数が前記第２の画素として検出された画素数よりも多いならば、前記中心の画素は、前記選択された第２の画素を第１の画素と判定する判定手段と、
前記画素検出手段および前記判定手段によって前記第１の画素と判定された画素に対して色補正を行う補正手段を有することを特徴とする画像処理装置。
【請求項３】
カラー画像データから所定の領域に含まれる第１の画素から成る第１の画素群とこの所定の領域に含まれない第２の画素から成る第２の画素群とを、画素の色情報に基づいて検出する画素検出手段と、
前記画素検出手段によって検出された前記第２の画素群から１画素を評価対象として選択し、選択された第２の画素およびその四方の画素のうち、前記第１の画素として検出された画素数が、前記第２の画素として検出された画素数よりも多い場合は、前記選択された第２の画素を第１の画素と判定する判定手段と、
前記画素検出手段および前記判定手段によって前記第１の画素と判定された画素に対して色補正を行う補正手段を有することを特徴とする画像処理装置。
【請求項４】
肌領域に該当する色情報の範囲を登録しておき、カラー画像データの各画素の色情報が前記肌領域に該当する色情報の範囲に収まるか否かによって、肌領域を示す第１の画素から成る第１の画素群と肌以外の領域を示す第２の画素から成る第２の画素群とを検出する画素検出手段と、
前記画素検出手段によって検出された前記第２の画素群から１画素を評価対象として選択し、選択された第２の画素を中心に持つ四角形の範囲内に存在する画素のうち、前記第１の画素として検出された画素数が前記第２の画素として検出された画素数よりも多い場合は、前記選択された第２の画素を第１の画素と判定する判定手段と、
前記画素検出手段および前記判定手段によって前記第１の画素と判定された画素に対して色補正を行う補正手段を有することを特徴とする画像処理装置。
【請求項５】
肌領域に該当する色情報の範囲を登録しておき、カラー画像データの各画素の色情報が前記肌領域に該当する色情報の範囲に収まるか否かによって、肌領域を示す第１の画素から成る第１の画素群と肌以外の領域を示す第２の画素から成る第２の画素群とを検出する画素検出手段と、
前記画素検出手段によって検出された前記第２の画素群から１画素を評価対象として選択し、選択された第２の画素およびその四方の画素のうち、前記第１の画素として検出された画素数が、肌領域を示す前記第２の画素として検出された画素数よりも多い場合は、肌領域を示す画素と判定する判定手段と、
前記画素検出手段および前記判定手段によって前記第１の画素と判定された画素に対して色補正を行う補正手段を有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関する。
【背景技術】
【０００２】
デジタルカメラやスキャナなどから取得したカラー画像データに対して、色の補正を行うことができる。色の補正処理は、カラー画像データ全体に対して一定の補正処理を施す場合もあるし、カラー画像データの一部に対してのみ補正処理を行う場合もある。カラー画像データの一部に対してのみ補正処理を行う場合として、例えばカラー画像データに含まれる所定の領域（例えば、肌領域）を表す画素に対して補正処理を行う場合がある。そこで、カラー画像データに含まれる所定の領域に含まれると思われる画素を抽出し、抽出された画素、もしくは抽出されなかった画素に対して補正処理を行う画像処理装置が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開２００６−３５０６２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１には、肌色の画素を抽出し、肌色の画素として抽出されなかった画素に対して色補正処理を行う発明が記載されている。この発明では、まず人物が含まれるカラー画像データから、人物の瞳を検出し、瞳の周囲に存在する肌色の画素に基づいてカラー画像データ全体から肌色の画素を抽出する。そして、肌色と判定された画素には色補正を行わないことにより、肌色と判定された画素が不自然な色に変換されることを防ぐことができる。しかしながら、特許文献１に記載された発明では、瞳の周囲に存在する肌色の画素を基準として、カラー画像データに含まれる肌色画素を判定しているため、本来は肌領域でも肌色ではないと判定されることがあり、その肌領域は色補正処理の対象となってしまうため、不自然な色に変換されることがあるという問題点がある。また、人物の瞳を検出する必要があるため、瞳が写っていなければ肌色の画素を抽出することができない。
【０００４】
そこで本発明は、例えば人物の肌色部分をより自然に変換することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明による画像処理装置は、カラー画像データから、所定の領域に含まれる第１の画素から成る第１の画素群とこの所定の領域に含まれない第２の画素から成る第２の画素群とを、画素の色情報に基づいて検出する画素検出手段と、前記画素検出手段によって検出された前記第２の画素群から１画素を評価対象として選択し、選択された第２の画素の周囲の画素に対して、前記第１の画素として検出された画素数と前記第２の画素として検出された画素数とを比較し、前記第１の画素として検出された画素数が多い場合は、前記選択された第２の画素を第１の画素と判定する判定手段と、前記画素検出手段および前記判定手段によって前記第１の画素と判定された画素に対して色補正を行う補正手段を有することを特徴としている。
【発明の効果】
【０００６】
本発明によれば、例えば人物の肌色部分をより自然に変換する画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の実施形態について図面を参照して説明する。  
図１は本発明の実施形態に係る画像処理装置の構成を示すブロック図である。本実施形態の画像処理装置１は、制御部５１を備えている。制御部５１は、画像処理装置１全体の制御を行う。制御部５１には、外部インタフェース（ＩＦ）部５２、記憶部５３、操作部５４、表示部５５、画像処理部５６が接続されている。外部ＩＦ部５２は、例えばデジタルカメラ、スキャナ、外部記憶装置などの外部装置と接続し、接続した外部装置からカラー画像データを取得して、制御部５１に出力する。記憶部５３は、プログラムやデータを記憶する。なお、外部ＩＦ部５２によって取得したカラー画像データも、記憶部５３に保存される。また、記憶部５３は、後述の画像処理部５６によって画像処理された後の画像データの保存や、画像処理を行っている際のデータの一時保存などにも用いられる。操作部５４は、操作用ボタンなどによって構成され、ユーザからの操作を受け、操作内容を制御部５１に出力する。表示部５５は、液晶ディスプレイや有機ＥＬディスプレイなどによって構成され、制御部５１からの制御に従って、記憶部５３に記憶された画像データなど、さまざまなデータを表示する。画像処理部５６は、制御部５１によって与えられた画像データに対して、色の補正処理を行う。
【０００８】
図２は、色の補正処理を行う画像処理部５６の機能構成図である。なお、以降、色の補正処理対象は肌領域であるとして説明する。肌色の補正の処理は、画像入力部７１、表色系変換部７２、肌色画素検出部７３、肌領域補正部７４、画像出力部７５によって構成される。画像入力部７１では、制御部５１から画像処理対象となる画像データを取得する。
【０００９】
表色系変換部７２では、画像入力部７１によって取得した画像データの成分を、色抽出しやすい表色系での表現に変換する。例えばＹＵＶ表色系に変換することによって、肌色画素の抽出時に明度の変化の影響を受けにくくする。肌色画素検出部７３では、ＹＵＶ表色系で表された値によって肌色画素を検出する。しかし、肌色画素検出部７３で肌色画素として検出されなかった画素でも、肌色領域を示している場合があるため、肌領域補正部７４では周囲の画素に肌色画素が多いか肌色以外の画素が多いかによって、肌領域に該当するか否かを判定し、肌領域と判定された画素に対して補正処理を行う。補正処理がなされた画像データは、画像出力部７５によって、制御部５１に出力される。
【００１０】
図３は肌色画素検出部７３の処理を示すフローチャートである。肌色画素を検出するために、チェック用の配列を用いる。この配列の要素には、「０」または「１」を格納する。この配列の要素は、カラー画像データの画素と対応付けられており、「１」が格納されている要素と対応した画素は肌色であることを示し、「０」が格納されている要素と対応した画素は肌色以外であることを示す。肌色画素検出部７３での処理はまず、この配列の全ての要素に対して初期化処理を行う（Ｓ１０１）。配列の初期化処理は、例えば全ての配列に「０」を格納することによって行う。そして、カラー画像データの１画素を参照し（Ｓ１０２）、その画素のＹＵＶが予め定められた「肌色を示す値の範囲」内に収まっているのかを判定する（Ｓ１０３）。「肌色を示す値の範囲」は、経験的に定められている。「肌色を示す値の範囲」を狭くすると、肌領域ではないのに肌色と判定される場合は減るが、肌領域であるのに肌色でないと判定される場合が増える。参照している画素が肌色であると判定された場合（Ｓ１０３のＹｅｓ）、肌色チェック用の配列の、その画素に対応する要素を「１」にする（Ｓ１０４）。
【００１１】
カラー画像データの全ての画素に対して、ステップＳ１０３とＳ１０４の処理を繰り返し、全ての画素に対して肌色か否かを判定し終えると（Ｓ１０５のＹｅｓ）、肌色画素検出部７３の処理は終了する。肌色画素検出部７３の処理終了時、肌色チェック用の配列は各画素に対応する全ての要素に「０」または「１」が格納された状態で記憶部５３に記憶されている。
【００１２】
図４は、肌領域補正部７４の処理を示すフローチャートである。まず、肌色画素検出部７３によってデータが格納された肌色チェック用の配列のうち、いずれか１つの要素（例えば、先頭の要素）から参照する（Ｓ１２１）。この要素が「１」の場合（Ｓ１２２のＹｅｓ）、肌領域の画素であると考えられるため、この要素に対応する画像データの画素に対して色の補正処理を行う（Ｓ１２４）。参照した配列の要素が「１」ではない場合（Ｓ１２２のＮｏ）、肌色画素検出部７３では肌色の画素ではないと判定したが、肌領域の可能性もあるため、周囲の画素との関係から肌領域であるか否かを決定する（Ｓ１２３）。
【００１３】
この決定は、周囲の画素は肌色の画素と肌色以外の画素とどちらが多いかに応じて、行う。周囲の画素のうち、肌色の画素判定された画素数が肌色以外の画素と判定された画素数よりも多いときに、肌領域であると判定する。なお、このとき、肌色と判定された画素と肌色以外と判定された画素が同数の場合に、参照している配列の画素を肌領域と判定するか肌領域以外と判定するかは予め定めておく。
【００１４】
周囲の画素とは、例えば、参照している画素を中心に持つＮ画素×Ｎ画素の四角形の範囲内に含まれる画素と定めても良い。このとき、画素数Ｎは画像サイズや肌領域の大きさなどに応じて変更することができる。図５は、参照している画素の周囲の画素として、７×７の四角形の範囲内に含まれる画素を用いる例である。図５では参照している画素を斜線で示している。例えば、図６のように参照した画素及びその周囲の画素の合計４９画素中、肌色チェック用の配列に「１」が格納された画素、つまり肌色と判定された画素（図６では塗りつぶして表現した領域）が１０画素、肌色チェック用の配列に「０」が格納された画素、つまり肌色以外と判定された画素が３９画素である場合、肌色以外の画素数が肌色の画素数よりも多いため、参照している画素は肌領域ではないと判定する。
【００１５】
しかしながら、図５のように、Ｎ画素×Ｎ画素の四角形の範囲内に含まれる全ての画素に対応する肌色チェック用の配列に格納されているデータをチェックするのでは、チェックすべき配列データ数が多い。そこで、参照している画素およびその四方Ｎ画素分の画素によって、参照している画素が肌領域を示す画素か否かを判断しても良い。例えば、図７のように、参照している画素およびその四方３画素分の画素が肌色と判定されたかどうかを肌色チェック用の配列から確認し、肌色の画素が肌色以外の画素よりも多ければ、参照している画素は肌領域を示す画素と判定する。また、肌色以外の画素が肌色の画素よりも多ければ、参照している画素は肌領域以外を示す画素と判定する。なお、参照している画素が、画像の縁に近い領域にあれば、周囲の画素として用いる画素が所定の数よりも少なくなる場合がある。図８は、参照している画素が画像の縁に近い領域に存在する場合の例を示した図である。図８では点線で画像の縁を表現している。斜線で示した画素を参照しているとき、横線で示した領域に対応する画素は存在しない。そこで、これらの画素は考慮せずに、残りの画素を用いて参照している画素が肌領域を示す画素か否かを判定する。
【００１６】
周囲の画素情報を用いて、参照している画素が、肌領域を示すと判定された場合には、その画素に対して色補正処理を行う。参照する画素に対して、ステップＳ１２２〜Ｓ１２４での処理が終わると、参照する画素を変更する（Ｓ１２６）。このとき、全ての画素を参照し終えていたならば、肌領域補正部７４の処理は終了する（Ｓ１２５のＹｅｓ）。
【００１７】
肌領域補正部７４によって補正処理がなされた画像データは、画像出力部７５によって制御部５１に出力され、制御部５１によって記憶部５３もしくは表示部５５に出力される。
【００１８】
以上のように、肌色画素検出部７３は肌色か否かを判定し、肌領域補正部７４では、肌色と判定された画素に対して色補正処理を行い、肌色でないと判定された画素に対しては、周囲の画素の情報によって肌領域か否かを判定して、肌領域ならば色補正処理を行う。
【００１９】
周囲の画素の情報を用いて肌領域か否かを判定するのは、肌色でないと判定された画素に対してのみであるため、特に顔などの画像の中で肌領域として抽出すべき領域にも係わらず肌領域以外と判定されることが少なくなる。
【００２０】
例えば、肌色と判定された画素と肌色以外と判定された画素との境界がＶ字を成す場合を例に挙げて説明する。図９は、肌色と判定された画素がＶ字形状を成す場合の例である。図９で、網掛けで示した画素が肌色画素検出部７３で肌色と判定された画素であり、それ以外の領域は肌色以外と判定された画素であるとする。図９に示した画像データの全画素に対して肌領域補正の処理を行った場合と、画像データの肌色以外の画素と判定された画素に対して肌領域補正の処理を行った場合について比較する。
【００２１】
全画素に対して周囲の画素に肌色の画素が多いか肌色以外の画素が多いかに基づいて、肌領域を示す画素か否かを判定した結果を図１０に示す。図１０において斜線で示した画素は、もともと肌色と判定されていた画素だが、周囲の画素を用いて判定を行った結果、肌領域以外を示す画素と判定された画素である。このように、肌領域として抽出すべき画素を取りこぼすことになってしまう。
【００２２】
それに対して図９に示したカラー画像データの肌色と判定された画素に対してのみ、周囲の画素に肌色の画素が多いか肌色以外の画素が多いかに基づいて肌領域の画素か否かを判定した結果は、図９に示した肌色画素検出部７３の検出結果と同様となる。
【００２３】
肌領域であるにもかかわらず、肌領域と判定されずに色補正処理がなされない画素があると、色補正処理がなされた画素と色が不連続となり、自然な画像とならない。しかし、本発明の実施形態のように、肌色と判定された画素は肌領域と判定することにより、肌領域を示す画素を抽出し逃すことが少なくなり、色補正処理後も自然な画像が得られる。
【００２４】
なお、上記実施形態に限定されることはなく、本発明の要旨を逸脱しない範囲において、適宜変更しても良い。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態に係る画像処理装置の構成を示すブロック図。
【図２】本発明の実施形態に係る画像処理装置の、画像処理部の機能構成図。
【図３】本発明の実施形態に係る画像処理装置の、肌色画素検出部の処理を示すフローチャート。
【図４】本発明の実施形態に係る画像処理装置の、肌領域補正部の処理を示すフローチャート。
【図５】肌領域補正部で肌領域か否かの判断に用いる画素の例。
【図６】画像データの例。
【図７】肌領域補正部で肌領域か否かの判断に用いる画素の例。
【図８】肌領域補正部で肌領域か否かの判断に用いる画素の例。
【図９】肌色補正の対象とする画像データの例。
【図１０】図９の画像データに対する処理結果の例。
【符号の説明】
【００２６】
１  画像処理装置、５１  制御部、５２  外部インタフェース部、５３  記憶部、５４  操作部、５５  表示部、５６  画像処理部、７１  画像入力部、７２  表色系変換部、７３  肌色画素検出部、７４  肌領域補正部、７５  画像出力部
【図１】
2008311776.tif 000003
【図２】
2008311776.tif 000004
【図３】
2008311776.tif 000005
【図４】
2008311776.tif 000006
【図５】
2008311776.tif 000007
【図６】
2008311776.tif 000008
【図７】
2008311776.tif 000009
【図８】
2008311776.tif 000010
【図９】
2008311776.tif 000011
【図１０】
2008311776.tif 000012