(57)【要約】【課題】画像データ、特に顔部分に対して好ましい色再現やぼかしを実現させるための処理を自動的に行う画像補正装置を提供する。【解決手段】入力される映像データに対し特定の色領域を検出するために複数種類の表色系に変換する色空間変換部１と、色空間変換部１の出力を元に特定の色領域を検出する特定色領域検出部３と、特定色領域検出部３で検出された色領域に対して人物の顔部であるか判断して検出する顔部検出部５と、入力映像データに対してノイズを低減させる画像フィルター部６と、画像フィルター部６の出力に対してＨＳＶ表色系データに変換するＨＳＶ表色系変換部７と、ＨＳＶ表色系データに変換されたデータに対して位相、彩度、明度の調整を行い、特定色領域検出部３によって検出された特定の色領域に対して画像処理を行う画像補正処理部８を備える画像補正装置。【選択図】図１
2009111947.tif 000002
【特許請求の範囲】
【請求項１】
入力される映像データに対し特定の色領域を検出するために複数種類の表色系に変換する色空間変換部と、該色空間変換部の出力を元に特定の色領域を検出する特定色領域検出部と、該特定色領域検出部で検出された色領域に対して人物の顔部であるか判断して検出する顔部検出部と、入力映像データに対してノイズを低減させる画像フィルター部と、該画像フィルター部の出力に対してＨＳＶ表色系データに変換するＨＳＶ表色系変換部と、前記ＨＳＶ表色系データに変換されたデータに対して位相、彩度、明度の調整を行い、前記特定色領域検出部によって検出された特定の色領域に対して画像処理を行う画像補正処理部を備える事を特徴とする画像補正装置。
【請求項２】
前記特定色領域検出部は、映像データの中に前記特定色の画素を検出するために、入力映像データを複数種類の表色系のデータに変換する前記色空間変換部によって変換されたデータに対して前記特定色に相関のある画素情報の条件を設定する特定色検出条件設定部と、前記設定条件によって前記特定の色領域を検出する手段を備える請求項１記載の画像補正装置。
【請求項３】
前記顔部検出部は、前記特定色領域検出部の出力データに対して顔部を検出するための条件を設定する顔部検出条件設定部と、顔部検出条件設定値を元に前記特定色領域検出部のデータ内に前記設定条件に一致する画素情報を検出する手段を備える請求項１記載の画像補正装置。
【請求項４】
前記画像フィルター部は、入力される映像データを各種類の輪郭を残しつつ皴やしみに対してぼかし処理を施す手段と、前記特定色領域検出部の出力データの色領域の総数に対してフィルター量を変更する手段を備える請求項１記載の画像補正装置。
【請求項５】
前記画像補正処理部は、前記画像フィルター部からの出力データをＨＳＶ表色系変換部によってＨＳＶデータに変換されたデータを位相、彩度、明度それぞれを調整する手段と、前記特定色領域検出部からの特定色領域情報を元に入力映像データに対して特定の色領域以外をマスクする手段と、前記顔部検出部からの顔部判定結果を元に入力映像データに対して顔部以外をマスクする手段と、特定の色領域と顔部以外の画素を入力映像データの画素に置き換える手段と、特定色領域検出部と顔部検出部で検出された特定の色領域と顔部の画素を前記画像フィルター部の画素に置き換える手段を備える請求項１記載の画像補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像補正装置に関し、特に、より良好な画像を提供する画像処理に関する。
【背景技術】
【０００２】
デジタルカメラやビデオカメラで記録された人物画などの画像データをＴＶモニターやプリンター等で確認した場合、思っていた色再現ではない場合が多い。また最近のデジタルカメラ等の解像度の向上により肌の皴やシミ、にきびが鮮明に映し出される様になった。しかしながら、肌色はいわゆる記憶色にしたほうが好まれ、また顔の皴やシミ、にきび等はぼかした方が好まれる。
【０００３】
画像から皴成分を抽出し、皴成分が除去された処理済み画像を生成し、皴量検出手段が画像を９分割した領域のそれぞれについて皴成分の量を検出し、領域決定手段が皴成分の量が最も大きい領域を確認領域として決定し、画像抽出手段が画像および処理済み画像のそれぞれから確認領域に対応する処理前確認画像および処理済み確認画像を抽出し、表示制御手段がこれらの画像の合成画像をモニターに表示することが提案されている（特許文献１、２参照）。しかしながら、皴やシミを除去するには原画と同サイズの画像が必要で、この画像の結果から画像処理を行うため大きなメモリーが必要である。また顔を検出する手段が従来技術の顔検出を用いる事となっているため、整合性が合わない可能性がある。
【特許文献１】特開２００６−５３８５９号公報
【特許文献２】特開２００５−６５６８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、画像データ、特に顔部分に対して好ましい色再現やぼかしを実現させるための処理を自動的に行う画像補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、人物が含まれる画像データに対して複数の表色系に変換する手段と、前記表色変換手段によって変換されたデータに対して所定の値を累積する手段と、累積されたデータから肌に相当する領域を検出する肌色検出手段と、前記肌色検出手段にて検出された肌色データに対して画像全体の輝度レベルを参照して好ましい肌色に変換する手段と、前記肌色検出手段にて検出された肌色データに対して適度なフィルター処理を施す手段を有する。
【０００６】
すなわち、本発明は、入力される映像データに対し特定の色領域を検出するために複数種類の表色系に変換する色空間変換部と、該色空間変換部の出力を元に特定の色領域を検出する特定色領域検出部と、該特定色領域検出部で検出された色領域に対して人物の顔部であるか判断して検出する顔部検出部と、入力映像データに対してノイズを低減させる画像フィルター部と、該画像フィルター部の出力に対してＨＳＶ表色系データに変換するＨＳＶ表色系変換部と、前記ＨＳＶ表色系データに変換されたデータに対して位相、彩度、明度の調整を行い、前記特定色領域検出部によって検出された特定の色領域に対して画像処理を行う画像補正処理部を備える画像補正装置である。
【０００７】
また、本発明は、前記特定色領域検出部は、映像データの中に前記特定色の画素を検出するために、入力映像データを複数種類の表色系のデータに変換する前記色空間変換部によって変換されたデータに対して前記特定色に相関のある画素情報の条件を設定する特定色検出条件設定部と、前記設定条件によって前記特定の色領域を検出する手段を備える画像補正装置である。
【０００８】
そして、本発明は、前記顔部検出部は、前記特定色領域検出部の出力データに対して顔部を検出するための条件を設定する顔部検出条件設定部と、顔部検出条件設定値を元に前記特定色領域検出部のデータ内に前記設定条件に一致する画素情報を検出する手段を備える画像補正装置である。
【０００９】
更に、本発明は、前記画像フィルター部は、入力される映像データを各種類の輪郭を残しつつ皴やしみに対してぼかし処理を施す手段と、前記特定色領域検出部の出力データの色領域の総数に対してフィルター量を変更する手段を備える画像補正装置である。
【００１０】
また、本発明は、前記画像補正処理部は、前記画像フィルター部からの出力データをＨＳＶ表色系変換部によってＨＳＶデータに変換されたデータを位相、彩度、明度それぞれを調整する手段と、前記特定色領域検出部からの特定色領域情報を元に入力映像データに対して特定の色領域以外をマスクする手段と、前記顔部検出部からの顔部判定結果を元に入力映像データに対して顔部以外をマスクする手段と、特定の色領域と顔部以外の画素を入力映像データの画素に置き換える手段と、特定色領域検出部と顔部検出部で検出された特定の色領域と顔部の画素を前記画像フィルター部の画素に置き換える手段を備える画像補正装置である。
【発明の効果】
【００１１】
本発明によれば、各表色系に変換された画像データの組み合わせにより肌と肌ではない肌色との区別ができ、簡単に肌の検出が可能になる。またこれらの組み合わせにより特定の色の検出が可能となり肌色以外の色の記憶色への変換が可能となる。また画像全体の輝度レベル等のデータを累積しているため画像に応じた画像処理を行う事が出来、過度な画像処理を防ぐ事ができる。表色系変換されたデータに対して特定の範囲にあるデータを皴やシミ、にきびのデータとし、検出された肌色データ範囲内についてこのデータと照らしあわせて皴等のデータの検出量に応じてフィルター処理の強弱を制御する。またフィルター処理についても肌色範囲内で特定の箇所にフィルター処理を施すか否かの制御も行い過度なフィルター処理を防ぎ皴やシミ部分だけを目立たなくすることが可能となる。
【発明を実施するための最良の形態】
【００１２】
本発明の概要は以下の通りである。まず画像データを数種類の表色系データに変換する。たとえば画像のＲＧＢデータをＨＳＶ表色系やＸＹＺ表色系、またはＬ＊ｕ＊ｖ＊表色系などに変換する。これらの変換されたデータのうちのある範囲内のデータを1フレーム分について累積し、それぞれの累積データの組み合わせで特定の色範囲が検出できる。たとえば肌色はＨＳＶ表色系においてHが6〜38の範囲に収まる事がわかっている。しかし、これだけでは人肌でない肌色も同じ様に検出されてしまう。人肌とそれ以外の肌色の区別は、従来技術では顔検出手段を更に設け、口や目、眉毛等の位置を特定しこの部分については画像処理を行わない方法が提案されている。しかし顔の向きは様々であり、口や目、眉毛などの位置や形を特定し顔と判断するには難しく誤判断の可能性もある。本発明は、前記肌色範囲検出において検出された範囲内で目や口、眉毛の表色データを累積して総合的データを比較して顔であると判断する。目や口、眉毛等の表色データの判別は、これらのデータが現れる範囲、累積数をあらかじめ決めておく事で判別可能である。判別された皴やシミデータの周辺データを用いてフィルター処理を施すが、使用するデータ範囲は２次元フィルターであれば数〜数十ピクセル＋数ラインで可能である。これにより、顔や腕、身体の肌において皴やシミ部分にのみフィルター処理を行う事が可能となり、いわゆる美肌に近い画像処理が可能となる。またたとえば肌色の網目のセーターには前記判別処理から目や口、眉毛等のデータが検出されないためフィルター処理は行わないので、細かな網目が消える事はない。
以下、図面を参照して本発明の画像補正装置の実施形態を説明する。
【００１３】
図１は本発明の実施形態の画像補正装置の構成を示すブロック図である。図１において、本実施形態の画像補正装置は、色空間変換部１、肌色検出条件設定部２、肌色範囲検出部３、顔部検出条件設定部４、顔部検出部５、画像フィルター部６、ＨＳＶ表色系変換部７、画像処理部８から構成される。
【００１４】
図２から図６は、図１に示される各機能の構成について示した図である。これらの図を参照しながら全体の処理について説明する。
図１において、本システムに入力される映像データは、例えばＲ（赤）Ｇ（緑）Ｂ（青）の場合、肌色部の検出処理のため色空間変換部１に入力され、各種の表色系の画像データに変換される。色空間変換部１は、国際電気通信連合（ＩＴＵ）が標準化した標準テレビ放送向けの規格ＢＴ．６０１（以後ＳＤＴＶ）や、高精細度テレビジョン放送向け規格ＢＴ．７０９（以後ＨＤＴＶ）にそれぞれ対応して変換される。色空間変換部１では、入力されたＲＧＢデータを色相、彩度、明度で表されるＨＳＶ表色系の画像データに変換する。Ｈは色相、Ｓは彩度、Ｖは明度である。ＨＳＶ表色系は色相「Ｈ」と明度「Ｖ」が独立しているため、画像の明るさを気にせずに色合いを調べることができる。また色空間変換部１ではＬ＊ａ＊ｂ＊表色系にも変換する。Ｌ＊ａ＊ｂ＊表色系は、Ｌ＊、ａ＊、ｂ＊の３つの属性を用いて色を表現する。Ｌ＊ａ＊ｂ＊表色系は、均等色空間であるので空間上での距離がそのまま色の違いになる。さらに色空間変換部１では、ＹＣｂＣｒ表色系にも変換する。Ｙは輝度、Ｃｂは色差（青）、Ｃｒも色差（赤）の情報を表現している。これらの変換された画像データは肌色検出条件設定部２へ渡される。
【００１５】
肌色検出条件設定部２では、入力されたＨＳＶ表色系画像データ２０１、Ｌ＊ａ＊ｂ＊表色系画像データ２０２、ＹＣｂＣｒ表色系画像データ２０３、ＲＧＢ画素データ夫々の値を参照し、各表色系データについて肌色部の画素データ範囲を検出するための値を設定する。
【００１６】
肌色範囲検出部３は、肌色検出条件設定部２で設定された値を参照して各表色系データについて肌色範囲を検出する。この検出条件を組み合わせて最終的な肌色部の範囲を決定する。
【００１７】
顔部検出条件設定部４は、肌色範囲検出部３で肌色部分と判定された範囲が顔なのか顔でないのかの検出行うための条件を設定する。顔であると判断する条件は、肌色部分に目や眉、口の画素情報が含まれている事が挙げられる。各表色系データからこれらに合う条件があった画素を検出する。
【００１８】
画素フィルター部６は、皴やシミ、そばかす等を目立たなくするために画像にぼかしフィルターとして作用する。フィルターについては各種方式が報告されているが、解像度を低下させずにノイズ（皴やシミ、そばかす等）の除去する方式を用いる。これにより画像の輪郭（エッジ）はあまりぼやけることなく皴やシミ、そばかす等が目立たなくなる。
【００１９】
ＨＳＶ表色系変換部７は、画素フィルター部６でフィルター処理された画像について位相、彩度、明度を調整し好ましい色に補正するため、ＨＳＶ表色系データに変換する。
【００２０】
画像処理部８は、ＨＳＶ表色系変換部７でフィルター処理されたＨＳＶ表色系画像データをＨ，Ｓ，Ｖそれぞれを独立に調整し、画像の色を補正する。また肌色部検出部３、または顔部検出部５より出力された肌または顔の範囲情報２０５、２０７をＲＧＢデータ２００に対して参照し、肌または顔部分に対して補正ＨＳＶデータ２０９をＲＧＢデータに戻したデータに置き換える。
【００２１】
次に各機能について詳しく説明する。図２は色空間変換部１と肌色検出条件設定部２、肌色範囲検出部３についてのブロック図である。色空間変換部１は、入力されるＲＧＢデータ２００をＨＳＶ変換部１０にてＨＳＶ表色系に変換する。またＬ＊ａ＊ｂ＊表色系に変換するためには直接変換はできないため、ＲＧＢデータ２００を一度ＸＹＺ変換部１１でＸＹＺ表色系データに変換し、ＸＹＺ表色系データをＬ＊ａ＊ｂ＊変換部１３にてＬ＊ａ＊ｂ＊表色系データに変換する。またＹＣｂＣｒ変換部１２では、ＲＧＢデータ２００をＹＣｂＣｒ表色系のデータにそれぞれ変換する。
【００２２】
肌色検出条件設定部２では、色空間変換部１で変換された各データについて肌色の範囲を指定し、これらの条件にあてはまる画素を検出する。肌色検出第１条件設定部２０はＨＳＶ表色系についての肌色画素の設定である。たとえば大まかに各人種の肌色は、図１０においてＨ（位相）が６°〜３８°の間に収まる事が知られている。実際は、この範囲以外にも０°〜６°も肌色の範囲になる。また３４０°程度から３６０°も肌色となる事があるので、３４５°〜３６０°（０°）〜３８°を設定している。この設定値は状況に応じて可変できるものであり、この値に限った事ではない。肌色検出第２条件設定部２１は、Ｌ＊ａ＊ｂ＊表色系についての肌色画素の設定である。たとえば一例としてｂ＊の値が−１０〜３０程度である場合、肌色である場合が多い。この設定値は状況に応じて可変できるものであり、この値に限った事ではない。肌色検出第３条件設定部２２は、ＹＣｂＣｒ表色系についての肌色画素設定である。たとえば一例としてＣｂが−１０〜−３０程度でＣｒが１０〜３５程度の範囲が肌色である場合が多い。この設定値は状況に応じて可変であり、この値に限った事ではない。肌色検出第４条件設定部２３は、ＲＧＢについての肌色画素設定である。たとえば一例としてＲの値がＧ値，またはＢ値どちらか大きい方より２０以上大きく、Ｇ値とＢ値の絶対値差が６０以下の場合、肌色である場合が多い。この設定値は状況に応じて可変であり、この値に限った事ではない。肌色範囲検出部３は、これらの条件を組み合わせて肌色画素の範囲を検出している。検出された範囲は、肌色部画素情報として顔部検出条件設定部４に提供される。
【００２３】
図３は顔部検出条件設定部４についての説明図である。肌色部画素情報は肌色の範囲が情報として出力されているため、顔と判断するために、この範囲内で眉や目、口の画素情報がどの程度含まれているかで顔と判断できる。したがって肌色検出条件と同じ様に、目検出条件設定部４０は各表色系データから目に相当する情報を設定する様にする。例えば肌色の画素が続いている中で黒に近い画素情報がある範囲、または画素数を検出するための設定部である。口検出条件設定部４１は、例えば肌色画素範囲内にＲＧＢデータがＧ値、Ｂ値が近い値でＲ値がＧ，Ｂ値より大きい場合、「口」と判断できる場合が多く上記の様に範囲、または画素数を検出するための設定部である。この設定値は状況に応じて可変であり、この値に限った事ではない。また眉検出条件設定部４２は、同様に例えば肌色の画素が続いている中で眉に近い画素情報がある範囲、または画素数を検出するための設定部である。顔検出条件設定部４３は、上記の各設定を組み合わせて顔判定設定値として出力する。
【００２４】
図４は顔部検出部５についての説明図である。肌色画素ヒストグラム５０では、肌色画素について例えば図９に示す様に１垂直同期期間の累計を取る。目／口／眉ヒストグラム５１は、各表色系画像データについて顔判定設定値をもとに目と口と眉の画素情報の累計を取る。この動作を１垂直同期期間について行い、これらの結果を顔検出部５２に提供する。顔検出部５２では各ヒストグラム結果を参照して検出された肌色が顔であるか否かの判定を行う。図１１にヒストグラムの例を示す。図８に示す肌色範囲内において肌色画素の総数と眉、目、口画素の総数を感覚的に示した例である。肌色の画素情報の総数に対して眉、目、口の画素情報の総数が指定の％以上になった場合、顔と判定する。判定の閾値設定は状況に応じて可変であり、この値に限った事ではない。
【００２５】
図５はいわゆる美肌を実現するための画像フィルター部の説明図である。一例としてＮ×Ｎのメディアンフィルターが考えられる。このフィルターは画像のエッジのぼやけが小さいフィルターである。Ｎの値が大きくなるほど、ぼやけ量が大きくなるがノイズ等が目立たなくなる。図５（ｂ）は３×３のフィルター１でぼやけ具合が一番小さく、図５（ｃ）は５×５のフィルター２でぼやけ具合が中程度で、図５（ｄ）が７×７のフィルター３でぼやけ具合が一番大きい。肌色領域の大きさによりフィルターの種類を変えて最適なぼやけを施す構成である場合、たとえば肌色領域が大きい場合（画面全体が顔のアップ等）はぼやけを大きく（７×７のフィルター３）して皴やしみを目立たなくするように動作させる。逆に肌色領域が小さい場合（人物全体映る様な画像）はぼやけを小さく（３×３のフィルター１）してエッジを残すように動作させる。フィルターの選択は、肌色部の大きさではなく、しわやシミ、そばかすを空間周波数として表し、その大きさにより選択しても良い。
【００２６】
図６は肌色部の補正と好ましい肌色処理を施す画像処理部８の説明ブロック図である。マスク処理部８０は、肌色範囲検出部３で検出された肌色部画素情報２０５と顔部検出部５で検出された顔判定結果２０７の情報により映像入力のＲＧＢデータ２００の肌色部または顔部の画素についてマスク処理を施す。ＨＳＶ調整部８１は、フィルター処理されたＨＳＶ表色系データＨＳＶ２０９についてＨ（位相）、Ｓ（彩度）、Ｖ（明度）それぞれを調整して好ましい肌色に調整する。ＨＳＶの調整については図１０に示すＨＳＶ表示系のモデルにおいて、Ｈ（位相）は赤（０°）から始まって黄（６０°）、緑（１２０°）、水色（１８０°）、青（２４０°）、紫（３００°）、再び赤へのグラデーションになっている。Ｓ（彩度）は単純に数値で表すことができ、それぞれ最小値を「０」、最大値を「２５５」とすれば、彩度Ｓは０が無色で２５５が原色、明度Ｖは０が最も暗くて２５５が最も明るいと定義することができる。Ｖ（明度）も単純に数値で表すことができ、最も明るい状態（明度が２５５）、半分程度に明るい状態（明度１２８）、真っ暗な状態（明度が０）は円全体が真っ黒になる。ＨＳＶ表色系は色相「Ｈ」と明度「Ｖ」が独立しているため、画像の明るさを気にせずに色合いを調整する事ができる。好ましい肌色に調整した後、ＨＳＶ表色系からＲＧＢへの変換をＲＧＢ変換部８２で行う。画像合成部８３では、マスク処理された入力映像データのマスク部に、美肌処理および肌色補正された入力映像データを入れ替える処理を行う。これにより肌色部以外は原画のままで、肌色部については輪郭を残しつつ皴やしみ等が目立たなくなり且つ、肌色を好ましい色にする事が可能になる。また顔を判定する事が可能であるため、肌色に似たシーン、例えば夕焼けのシーンについては顔とは判定されず、前記のようなフィルター処理や色調整は行われないので原画の品質が保たれる事になる。
【００２７】
本発明は肌色について説明したが、肌色に限らず例えば緑色や青色、赤色など森や、空、夕日などをいわゆる記憶色に調整することも可能である。
また、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能であるのは勿論である。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施形態に係る画像補正装置の構成を示すブロック図である。
【図２】本発明の肌色検出条件設定部の詳細なブロック図である。
【図３】本発明の顔部検出条件設定部の詳細なブロック図である。
【図４】本発明の顔部検出部の詳細なブロック図である。
【図５】本発明の画像フィルター部の詳細なブロック図である。
【図６】本発明の画像処理部の詳細なブロック図である。
【図７】顔の画素情報を示した図である。
【図８】顔の肌色範囲を示した図である。
【図９】目の画素情報を検出する例を示した図である。
【図１０】ＨＳＶ表色系のモデルを示した図である。
【図１１】肌色範囲内の各画素情報のヒストグラムを示した図である。
【符号の説明】
【００２９】
１…色空間変換部
２…肌色検出条件設定部
３…肌色範囲検出部
４…顔検出条件設定部
５…顔検出部
６…画像フィルター部
７…ＨＳＶ表色系変換部
８…画像処理部
１０…ＨＳＶ変換部
１１…ＸＹＺ変換部
１２…ＹＣｂＣｒ変換部
１３…Ｌ＊ａ＊ｂ＊変換部
２０…肌色検出第１条件設定部
２１…肌色検出第２条件設定部
２２…肌色検出第３条件設定部
２３…肌色検出第４条件設定部
３０…各条件設定部
３１…検出部
４０…目検出条件設定部
４１…口検出条件設定部
４２…眉検出条件設定部
４３…顔検出条件設定部
５０…肌色画素ヒストグラム部
５１…目／口／眉ヒストグラム部
５２…顔検出部
６０…フィルター１
６１…フィルター２
６２…フィルター３
６３…セレクター
８０…マスク処理部
８１…ＨＳＶ調整部
８２…ＲＧＢ変換部
８３…画像合成部
２００…入力映像データ（ＲＧＢ）
２０１…ＨＳＶ変換データ
２０２…Ｌ＊ａ＊ｂ＊変換データ
２０３…ＹＣｂＣｒ変換データ
２０４…肌色検出設定データ
２０５…肌色範囲情報データ
２０６…顔選出設定データ
２０７…顔判定結果データ
２０８…フィルター処理された入力映像データ
２０９…フィルター処理された入力映像データをＨＳＶに変換したデータ
２１０…肌色補正データ
【図１】
2009111947.tif 000003
【図２】
2009111947.tif 000004
【図３】
2009111947.tif 000005
【図４】
2009111947.tif 000006
【図５】
2009111947.tif 000007
【図６】
2009111947.tif 000008
【図７】
2009111947.tif 000009
【図８】
2009111947.tif 000010
【図９】
2009111947.tif 000011
【図１０】
2009111947.tif 000012
【図１１】
2009111947.tif 000013