(57)【特許請求の範囲】
【請求項１】
元のディジタル画像空間中で肌色検出中に金髪色画素を除去する方法であって、
（ａ）元のディジタル画像空間を正規化された空間へ変換し、正規化された画像を得る段階と、
（ｂ）上記正規化された画像中の肌色画素を検出する段階と、
（ｃ）上記検出された肌色画素を用いてマスクされ正規化された画像を生成する段階と、
（ｄ）上記マスクされ正規化された画像を１次元色空間へ変換する段階と、
（ｅ）上記１次元画像空間中で金髪の色と上記関連付けられる肌色を分ける段階と、
（ｆ）上記元の画像空間中で金髪色画素を識別するために上記１次元空間中の上記分けられた画素を使用する段階とを含む方法。
【請求項２】
上記段階（ｆ）は、
（ｆ１）上記１次元画像空間中の上記分けられた肌色画素に基づき肌色画像マスクを作成する段階と、
（ｆ２）上記肌色画像マスクを用いて上記元の画像空間中にマスクされた画像を発生する段階とを含む、請求項１記載の方法。
【請求項３】
上記１次元画像空間は色相画像である、請求項１記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はディジタル画像中の肌色の画素をディジタル検出する分野に係り、更に特定的にはディジタル画像中の毛髪の色の画素と肌色の画素を分類する分野に係る。
【０００２】
【従来の技術】
肌色の検出は、リアルタイム使用のために行われる消費者画像の自動的な赤目検出及び補正の予備段階として取り入れられる（共通に譲渡された１９９７年８月２９日出願の"A Computer Program Product for Redeye Detection"なる名称の米国特許出願第０８／９１９，５６０号参照）。この赤目検出適用では、まず肌色領域の位置が見つけられ、次に肌色領域中の赤いドットが真の赤目であるか否かを判定する段階が行われる。赤目検出が成功するか否かは、顔の肌色領域がきれいに識別されているか否かに大きく依存する。これまでの経験から、金髪が存在するときはカラー画像中できれいに顔領域を得ることが困難であることが分かっている。
【０００３】
上述の赤目検出適用のために設計されたアルゴリズムは、ＲＯＩ（関心領域）の選択といったユーザ介入なしに消費者画像中の赤目欠陥を見つけ補正するために使用される。赤目検出アルゴリズムの主な目的は、偽陽性の数を最小限としつつ、パフォーマンスを犠牲とすることなく最小限の実行時間で赤目欠陥を検出することである。このために、検出された顔領域に位置しない赤目候補に対して不必要な処理が実行されないよう、（殆どの毛髪領域を消去した）顔領域の検出が行われる。顔領域の位置を見つけるための最も簡単で速い方法は、画素演算のみを必要とする肌色画素検出を用いるものである。これまでに、金髪に関連する顔を有する画像を取り扱うときに困難が生ずることが分かっている。これらの場合、肌色検出処理は、赤目検出手順に役立つであろう満足のいく結果又は所望の結果を生じさせることができない。
【０００４】
図１は、問題を生じさせるような画像５００の例を示す。図１中、対象５０４、５０５、５０８、５０９、及び５１０は肌でない対象であり、５０１及び５０６は金髪であり、５０２、５０３、及び５０７は肌領域である。図２中、画像６００は、従来の肌検出アルゴリズムの結果の例を示す。明らかに、肌色検出処理は髪と顔を区別しておらず（対象６０１を見よ）、従って続く赤目検出は頭部全体と体を合わせたものを顔領域として扱うため、赤目欠陥は補正されない。
【０００５】
近年、カラー画像処理において顔を認識するための肌色検出に関して多くの発表がなされているが、そのうちの幾つかのみが髪−顔の肌の画素識別の問題について取り扱うものである。例えば、Wu外の文献（H. Wu, Q.Chen, and M. Yachida, "Face Detection From Color Images Using a Fuzzy Pattern Matching Method," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 21, No. 6, pp. 557-563, 1999）では、顔検出を支援するために髪モデルが使用される。画像中のＲＧＢ色情報は、まず線形変換によりＣＩＥのＸＹＺ表色系へ変換され、１つの輝度成分Ｙと２つの色度成分ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ）及びｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ）が得られる。次に、２つの色度成分ｘ及びｙは非線形変換により他の空間へ更に変換され、新しい色空間中に知覚的に均一に分布される２つの新しい色成分ｕ及びｖが得られる。髪モデルは３つの変数、即ち輝度Ｙと色度ｕ及びｖ、の関数である。明らかにこの毛髪モデルは主にアジア系の顔と濃い髪に対して正しく動作する。更に、ＲＧＢから対応するＣＩＥ三刺激値への変換は、イメージング用の装置毎に異なる色較正についての知識を必要とする。現在、カラー画像処理の研究者によって使用されている多数の色空間には以下のようなものがある。
【０００６】
・心理空間
何人かの研究者は、ＲＧＢ基準は色の知覚を説明するうえで特によいものではないと考えている。その代わりに、「色」を記述するために、変換された非ＲＧＢ空間又は心理空間をよいものであると認めている。これは人間の色知覚と同等である。この非ＲＧＢ空間は、３つの成分、即ち色相（Ｈ）、飽和度（Ｓ）、明るさの値（Ｖ）から構成される。色対象を区別するために３つの値（Ｒ，Ｇ，Ｂ）を使用する代わりに、この変換された空間において色画素にラベル付けするために単一の成分Ｈが使用される。
【０００７】
・ＣＩＥＬａｂ空間
ＣＩＥは、１９７６年に色の測定のためにＣＩＥＬａｂ式を推奨した。これは、ＣＩＥＬａｂ空間中の色が、ＲＧＢ空間及び心理（例えばＨＳＶ）空間中の色よりも知覚的に均等に拡がるよう設計されている。従って、ＣＩＥＬａｂ空間を使用することにより、広範な色に亘って意志決定する際に一定の色距離を使用することが可能となる。
【０００８】
・Ｌｓｔ空間
Ｌｓｔ空間は、従来はグラフィック適用においてＴ空間と称されていたものであり、対数露光から構成される。Ｌは輝度成分であり、ｓ及びｔは２つのクロミナンス成分である。色信号の統計的な分布は、Ｌｓｔ空間では線形空間における分布よりも対称的であることが示される。
【０００９】
・ＹＣRＣB空間
ＹＣRＣB空間は、テレビジョン放送の信号変換のために設計された。Ｙは輝度成分であり、ＣR及びＣBは２つのクロミナンス成分である。ビデオ画像を取り扱う研究者は、この空間を用いることを好む。
【００１０】
・一般化されたＲ−Ｇ−Ｂ空間（ｇＲＧＢ）
これは、正規化されたＲ−Ｇ−Ｂ空間とも称される。この空間は、元のＲ−Ｇ−Ｂ空間の３つの要素の夫々を３つの元の要素を加算することで正規化することにより下のＲ−Ｇ−Ｂ空間から変換された。結果として得られる３つの要素は、３次元から２次元へつぶされた新しい空間を効果的に形成するために２つの要素のみが必要であるよう線形に依存する。従って、いくつかの文献ではつぶされたＲ−Ｇ−Ｂ空間とも称される。この空間は、他の空間のように明示的な輝度成分を与えるものではない。この一般化処理は、色度成分に対する照明効果を減少させる。
【００１１】
これまでのところ、上述の色空間のうちのいずれかが肌色検出の性能について他のものよりも圧倒的に優位であることを示す決定的なデータはない。肌色検出器の性能は、むしろ殆ど、検出器自体の構造に依存する。現実には、ＲＧＢから他の色領域への空間変換は、元のＲＧＢ空間における肌画素と非肌画素の分布の重なりを変化させない。この肌画素と非肌画素の分布の重なりは、肌色検出におけるＦＰ（偽陽性）の主な原因である。色空間の選択は、設計者の好み、実際の使用上の有効性、及びモデルの複雑さに大きく依存する。
【００１２】
表１  空間変換の計算の複雑さ（画素について）
【００１３】
【表１】
0003769487.tif 000002
注）ＨＳＶについては、Ｈのみについて考える。ｇＲＧＢは一般化されたＲＧＢの略である。
【００１４】
表１は、異なる変換演算についての計算上の費用を示す。このうち、ｇＲＧＢが最も低い計算費用を有する。これは、ｇＲＧＢ変換を用いることによる利点のうちの１つである。
【００１５】
【発明が解決しようとする課題】
従って、金髪が存在する場合の上述の赤目検出といった適用のための更なる画像処理の前に、非常に低い計算上の複雑さで所望のきれいな顔領域を得ることができる効率的な肌色検出方法を提供する方法が必要とされる。本発明は、一般化されたＲＧＢ（ｇＲＧＢ）空間と色相空間の夫々で有効な２つの色検出技術を融合させることにより、金髪画素を肌色画素と分ける困難性を克服する機構を提供する。
【００１６】
本発明は、ディジタルカラー画像中の肌色領域を自動的に検出することを目的とする。本発明は、金髪が存在する場合に、きれいな肌色画像を生成することを更なる目的とする。本発明は、上述の１つ以上の問題を克服することを目的とする。
【００１７】
【課題を解決するための手段】
概説するに、本発明の１つの面によれば、きれいな肌色画像を生成するための方法及びコンピュータ製品は、以下の段階、即ち、
（ａ）元のＲＧＢ空間からの入力ＲＧＢカラー画像を望ましい色空間、即ち一般化されたＲＧＢ（ｇＲＧＢ）空間へ変換し、ｇＲＧＢカラー画像を生じさせ、
（ｂ）肌色検出のための作業空間を形成するために一般化されたＲＧＢ色成分のうちの２つ（この場合は一般化されたＲ及びＧ）を選択し、
（ｃ）変換された入力画像、即ちｇＲＧＢカラー画像を肌色画素及び非肌色画素へ分類し、
（ｄ）非肌色画素を除去し、２値肌色マスクを形成し、
（ｅ）ステップ（ａ）において得られたｇＲＧＢカラー画像をマスクし、マスクされたｇＲＧＢ画像を形成し、
（ｆ）マスクされたｇＲＧＢ画像を色相画像へ変換し、
（ｇ）色相画像を用いて色相空間中で金髪色画素と肌色画素とを分け、
（ｈ）色相画像中の金髪色画素を除去し、新しい肌色２値マスクを形成し、
（ｉ）肌色画素のみを保持するマスクされた色画像を形成するために、元のＲＧＢカラー画像をマスクする、
段階を含む。
【００１８】
【発明の実施の形態】
本発明の上述の及び他の面、目的、特徴、及び利点については、望ましい実施例についての以下の詳細な説明、請求の範囲、及び添付の図面を参照することにより更に明らかに理解されよう。
【００１９】
以下の説明では、本発明の望ましい実施例は典型的にはソフトウエアプログラムとして実施される。当業者は、このようなソフトウエアの等価物がハードウエア上にも構築されうることを容易に認識するであろう。画像操作アルゴリズム及びシステムは周知であるため、本願は特に本発明による方法の一部をなす、或いは更に直接的に協働するアルゴリズム及びシステムに関連する。本願に特に示されておらず又は説明されていないかかるアルゴリズム及びシステム、並びに、それに含まれる画像信号を生成及び他の方法で処理するためのハードウエア及び／又はソフトウエアは、従来技術で知られているかかるシステム、アルゴリズム、構成要素及び要素から選択されうる。以下に示すような本発明による方法が与えられていれば、本発明の実施に有用であるが本願には特に図示、示唆、又は記載されていないソフトウエアは従来通りであり、当業者の通常の知識の範囲内にある。
【００２０】
更に、本願では、コンピュータプログラムは、例えば、磁気ディスク（例えばフロッピーディスク又はハードドライブ）又は磁気テープといった磁気記憶媒体、光ディスク、光テープ、又は機械読み取り可能なバーコードといった光記憶媒体、ランダムアクセスメモリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ）といった固体電子記憶媒体、又は、コンピュータプログラムを格納するために使用される任意の他の物理的な装置又は媒体を含みうるコンピュータ読み取り可能な記憶媒体に記憶されうる。
【００２１】
図３を参照するに、ブロック１は、処理されるべき入力（ＲＧＢ）カラー画像を示す。高速の処理のため、入力画像の寸法がデフォルトの寸法を越えている場合は、入力画像は２５２×３２０のデフォルトの寸法へ再サンプリングされる。サンプル画素平均化処理は、再サンプリング手順において実行される。
【００２２】
ブロック２において、Ｍ×Ｎ×３の大きさの入力ＲＧＢ画像ＩRGBは、以下の式、
【００２３】
【数１】
0003769487.tif 000003
を用いて一般化されたＲＧＢ画像ＩgRGBへ変換され、但し、Ｃiは入力画像ＩRGBの個々の色チャネル（Ｒ、Ｇ、又はＢ）、ｃjは出力画像ＩgRGBの結果として得られる一般化されたＲ、Ｇ又はＢの個々の色チャネルである。この演算は、
【００２４】
【数２】
0003769487.tif 000004
であるときは成り立たず、出力はゼロに設定される。結果として得られる３つの新しい要素は線形従属関係にあり、即ち、
【００２５】
【数３】
0003769487.tif 000005
であるため、３次元から２次元へ潰された新しい空間を効果的に形成するには２つの要素のみが必要である。殆どの場合、ブロック３に示されるように、ｃ1及びｃ2、即ち、一般化されたＲ及びＧは、大きい母集団の画像の肌色分布を分析し、画像中の肌色画素を検出するために使用される。この時点ではｃ1及びｃ2のみを計算すればよいが、後の色相計算段階においてｃ3も必要となるため、この設計では、ｃ3も計算する。
【００２６】
肌色領域検出は、ブロック４において行われる。一般化されたＲＧＢ画像ＩgRGBは、事前に大きな母集団で学習された分類器へ渡される。画像ＩgRGBのｃ1及びｃ2は、分類段階において使用される。図４を参照するに、参照番号８００は、（ｃ1，ｃ2）空間において暗い領域８０２が肌色画像を含む例を表す。分類器は、（ｃ1，ｃ2）空間中の楕円８０１である。パラメータａ，ｂ，（ｏ1，ｏ2）及びθは、学習された分類器の定数であり、ａ及びｂは楕円の軸の長さであり、（ｏ1，ｏ2）は（ｃ1，ｃ2）空間中の楕円の中心座標であり、θはｃ1軸と楕円の長軸との間の角度である。楕円の典型的なパラメータ値は、
ａ＝０．０２２３；
ｂ＝０．０４４３；
ｏ1＝０．３８７２；                            （２）
ｏ2＝０．３１８０；
θ＝−０．４３２３
である。
【００２７】
肌色分類器の結果として得られるものは、肌色マスク（ブロック５）Ｐskin＝｛ｐ（ｉ，ｊ）｝MXN、即ち、要素ｐ（ｉ，ｊ）を有するＭ×Ｎ行列である。一般化されたＲＧＢ画像ＩgRGBの各画素について、評価関数Ｅ（ｃ1（ｉ，ｊ），ｃ2（ｉ，ｊ））、但し、ｉ＝０，．．．Ｍ−１；ｊ＝０，．．．Ｎ−１，ｃ1（ｉ，ｊ）∈［０，１］；ｃ2（ｉ，ｊ）∈［０，１］、を定義する。分類は、単純に、
【００２８】
【数４】
0003769487.tif 000006
として行われ、但し、「１」は肌色画素を示し、「０」は非肌色を示し、
Ｅ（ｃ1（ｉ，ｊ），ｃ2（ｉ，ｊ））＝ｘ2ij／ａ2＋ｙ2ij／ｂ2      （４）
であり、
0003769487.tif 000007
である。
【００２９】
図３中、肌色マスクＰskinは端子Ａに与えられ、ＡＮＤゲートａへの入力となる。ＡＮＤゲートａの他の入力は、一般化されたＲＧＢ画像ＩgRGBである。ゲートａの出力は、マスクされた一般化されたＲＧＢ画像（ブロック６）
【００３０】
【数５】
0003769487.tif 000008
である。
【００３１】
これまでに分かっているように、図５の参照番号９００で示されるように、金髪の色は主な肌色が占めるのと同じ領域に分布する。金髪の色画素は、領域９０３にプロットされ、金髪の人物の肌色画素は領域９０２にプロットされ、領域９０１は肌色画素の更に大きい母集団である。領域９０３が領域９０２と分けられるよう（ｃ1，ｃ2）空間中の副領域をパラメータ化するのは簡単な作業ではない。空間の次元が１次元まで低下した場合は、金髪色画素を肌色画素と区別するのはかなり容易である。この更なる次元の低下は、マスクされた一般化された
【００３２】
【外１】
0003769487.tif 000009
が色相画像Ｈ＝｛ｈ（ｍ，ｎ）｝MXNへ変換されるブロック７において実現される。典型的な色相変換は、
【００３３】
【数６】
0003769487.tif 000010
に従って実行される。毛髪と肌を分けること、及び、毛髪を取り除くことは、ブロック８及び９において行われる。図６の参照番号１０００を参照するに、金髪画素のヒストグラム及びそれに関連する肌画素は、色相空間中で金髪の色と肌の色を分けるための有用な情報を提供する。要素ｈ（ｍ，ｎ）が肌画素又は金髪画素であれば、判定のために測定された分割パラメータＴHが以下の式、
【００３４】
【数７】
0003769487.tif 000011
に従って使用される。式７に示されるように、ｈ（ｍ，ｎ）が肌画素であれば対応する要素は
【００３５】
【外２】
0003769487.tif 000012
であり、そうでなければ、
【００３６】
【外３】
0003769487.tif 000013
であり、新しいマスク（ブロック１０）
【００３７】
【外４】
0003769487.tif 000014
が形成される。望ましい実施例では測定される分割パラメータはＴH＝１５である。出力される
【００３８】
【外５】
0003769487.tif 000015
（ブロック１１）は、
【００３９】
【外６】
0003769487.tif 000016
と端子Ｂを通じた元のＲＧＢ色画像ＩRGBの入力との（ゲートｂにおける）ＡＮＤ演算の結果として得られるものである。図７中、参照番号７００は、図１に示される例としての画像の典型的な
【００４０】
【外７】
0003769487.tif 000017
を示す
。きれいな顔部分７０１は他の体の部分７０２及び７０３とは分けられ、従って、赤目検出といった適用のための有用な情報を提供する。
【００４１】
本発明の主題はディジタル画像理解技術に関するものであり、これは、ディジタル画像を認識し、それにより人間が理解可能な対象、属性、又は条件に対して有用な意味を割り当て、得られた結果をディジタル画像の更なる処理に使用するために、ディジタル画像をディジタル式に処理する技術を意味すると理解される。
【００４２】
【発明の効果】
本発明は、金髪が存在する場合にきれいな肌色画像を得るために有効であり、
（１）より低い次元の空間において肌検出を実行し、
（２）１次元空間における肌検出を改良し、
（３）２つの段階で実行される２つの色分類技術（肌検出及び肌検出の改良）を融合させ、
（４）第１の段階の中間的な結果を第２の段階において有効に用い、
（５）赤目検出といったイメージング適用において更にきれいな肌色画像を提供すること、
といった利点を有する。
【図面の簡単な説明】
【図１】金髪を有する人間の顔と他の体の部分と、肌ではない色対象を示す図である。
【図２】従来の肌検出器を用いた図１の対象の肌検出結果を示す図である。
【図３】本発明の望ましい方法に従って金髪が存在する場合にきれいな肌色画像を効果的に形成するために実行される段階を示すフローチャートである。
【図４】本発明において用いられる、一般化されたＲＧ空間における通常の肌色分布と、楕円分類器及びそのパラメータとを示す図である。
【図５】図４に示される一般化されたＲＧ空間における金髪及び関連する肌色分布を示す図である。
【図６】色相空間における金髪及び関連する肌色のヒストグラムを示す図である。
【図７】本発明を用いた図１の対象の肌検出結果を示す図である。
【符号の説明】
０    検出段階
ａ，ｂ    ブロック
１乃至１１    ブロック
５０１    金髪
５０２    顔
５０３    体の部分
５０４    肌でない対象
５０５    肌でない対象
５０６    金髪
５０７    体の部分
５０８乃至５１０    肌でない対象
６０１    肌でない対象
６０２    肌の部分
７００乃至７０３    肌の部分
８０１    楕円分類器
８０２    肌色画素
９００，９０２    肌色画素
９０３    金髪画素
１０００    ヒストグラム
【図１】
0003769487.tif 000018
【図２】
0003769487.tif 000019
【図３】
0003769487.tif 000020
【図４】
0003769487.tif 000021
【図５】
0003769487.tif 000022
【図６】
0003769487.tif 000023
【図７】
0003769487.tif 000024