(57)【要約】      （修正有）【課題】肌色検出プロセスにおいて、誤って毛髪画素を検出することを防止する。【解決手段】第１のコンテンツタイプの画素を識別する方法であって、第２のコンテンツタイプの画素を第１のコンテンツタイプに属するものとして誤って識別する可能性もある画素を識別する方法（ａ）と、第１のコンテンツタイプを含む画素と第２のコンテンツタイプを含む画素とを識別する方法（ｂ）とを組み合わせる。【選択図】図２
2005190474.tif 000002
【特許請求の範囲】
【請求項１】
画像において画素を分類する方法であって、
第１のコンテンツタイプの画素を識別する方法であって、第２のコンテンツタイプの画素を前記第１のコンテンツタイプに属するものとして誤って識別する可能性もある、第１のコンテンツタイプの画素を識別する方法（ａ）と、
前記第１のコンテンツタイプを含むタイプの画素と前記第２のコンテンツタイプを含むタイプの画素とを識別する方法（ｂ）と
を組み合わせることを含む、画像において画素を分類する方法。
【請求項２】
方法（ｂ）は、
前記第１のコンテンツタイプと、前記第２のコンテンツタイプを含むコンテンツとを識別する方法（ｃ）、および／または
前記第２のコンテンツタイプと、前記第２のコンテンツタイプからの前記第１のコンテンツタイプを含むコンテンツとを識別する方法（ｄ）
を含む、請求項１に記載の画像において画素を分類する方法。
【請求項３】
画像において画素を分類する方法であって、
前記第１のコンテンツタイプと、前記第２のコンテンツタイプを含むコンテンツとを識別する方法（ｃ）と、
前記第２のコンテンツタイプと、前記第２のコンテンツタイプからの前記第１のコンテンツタイプを含むコンテンツとを識別する方法（ｄ）と
を組み合わせることを含む、画像において画素を分類する方法。
【請求項４】
第１のコンテンツタイプの画素を識別する方法であって、第２のコンテンツタイプの画素を前記第１のコンテンツタイプに属するものとして誤って識別する可能性もある、第１のコンテンツタイプの画素を識別する方法（ａ）をさらに含む、請求項３に記載の画像において画素を分類する方法。
【請求項５】
方法（ａ）〜（ｄ）のうちの１つまたは複数は、画素が所与のコンテンツタイプに属するか否かの確率を確定することを含む、請求項１〜４のいずれか一項に記載の画像において画素を分類する方法。
【請求項６】
方法（ａ）、（ｂ）、（ｃ）および（ｄ）のうちの１つまたは複数の結果を結合しまたは比較することを含む、請求項２〜５のいずれか一項に記載の画像において画素を分類する方法。
【請求項７】
方法（ｃ）を用いて導出された確率値を、方法（ｄ）を用いて導出された確率値と比較することを含む、請求項５に従属する請求項６に記載の画像において画素を分類する方法。
【請求項８】
前記確率値のうちの少なくとも１つに重み付けする、請求項７に記載の画像において画素を分類する方法。
【請求項９】
前記重み付け値は可変である、請求項８に記載の画像において画素を分類する方法。
【請求項１０】
方法（ａ）の結果を使用することにより、方法（ｂ）、（ｃ）および（ｄ）のうちの１つまたは複数を使用するか否かを判断することを含む、請求項１〜９のいずれか一項に記載の画像において画素を分類する方法。
【請求項１１】
画素が前記第１のコンテンツタイプである確率を反映する値であって、閾値と比較される値を導出することを含む、請求項１〜１０のいずれか一項に記載の画像において画素を分類する方法。
【請求項１２】
前記閾値は可変である、請求項１１に記載の画像において画素を分類する方法。
【請求項１３】
方法（ａ）〜（ｄ）のうちの１つまたは複数は色に関連する、請求項１〜１２のいずれか一項に記載の画像において画素を分類する方法。
【請求項１４】
方法（ａ）は、方法（ｂ）〜（ｄ）のうちの１つまたは複数とは異なる色空間系を使用する、請求項１〜１３のいずれか一項に記載の画像において画素を分類する方法。
【請求項１５】
方法（ａ）は、テクスチャ等の非色特徴に関連する、請求項１〜１４のいずれか一項に記載の画像において画素を分類する方法。
【請求項１６】
方法（ａ）〜（ｄ）のうちの少なくとも１つに対し、画素の入力値を、異なる色表現の値に変換する、請求項１〜１５のいずれか一項に記載の画像において画素を分類する方法。
【請求項１７】
方法（ａ）〜（ｄ）のうちの１つまたは複数は、関連するコンテンツタイプを表すモデル、たとえばヒストグラムを使用するモデルに関連する、請求項１〜１６のいずれか一項に記載の画像において画素を分類する方法。
【請求項１８】
１つまたは複数のコンテンツタイプに対し、コンテンツタイプの既知の例を使用することによりモデルを導出する、たとえばヒストグラムを導出することによりモデルを導出することを含む、請求項１７に記載の画像において画素を分類する方法。
【請求項１９】
前記第１のコンテンツタイプは肌である、請求項１〜１８のいずれか一項に記載の画像において画素を分類する方法。
【請求項２０】
前記第２のコンテンツタイプは毛髪または木材または同様のものである、請求項１〜１９のいずれか一項に記載の画像において画素を分類する方法。
【請求項２１】
前記入力値を、照明変化に対して実質的に一様である色空間、たとえばＲ対Ｇ−Ｒ空間に変換することを含む、請求項１〜２０のいずれか一項に記載の画像において画素を分類する方法。
【請求項２２】
画像信号を処理する方法であって、
色画像データを、成分（Ｂ、Ｒ−Ｇ）を有する２次元色空間に変換することを含み、
Ｒ、ＧおよびＢはＲＧＢ表現の成分を表す、画像信号を処理する方法。
【請求項２３】
色により画像領域を分類するための、請求項２２に記載の画像信号を処理する方法。
【請求項２４】
肌／毛髪分離のための、請求項２２または２３に記載の画像信号を処理する方法。
【請求項２５】
請求項１〜２４のいずれか一項に記載の方法を使用して肌を検出する方法。
【請求項２６】
請求項１〜２５のいずれか一項に記載の方法を使用して導出されたデータを使用し、符号化し、送信し、受信し、または復号するように構成される方法。
【請求項２７】
請求項１〜２５のいずれか一項に記載の方法を使用して導出されたデータを使用し、符号化し、送信し、受信し、または復号するように構成される装置。
【請求項２８】
請求項１〜２６のいずれか一項に記載の方法を実行するように構成される装置。
【請求項２９】
コンピュータシステムである請求項２８に記載の装置。
【請求項３０】
請求項１〜２６のいずれか一項に記載の方法を実行するコンピュータプログラム。
【請求項３１】
請求項３０に記載のコンピュータプログラムを格納するコンピュータ読取可能記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に色を使用して、画像中の肌等の特定のコンテンツタイプの領域を検出する方法および装置に関する。本発明は、特に、画像中の第１および第２のコンテンツタイプが、特定の色表現系において、または特定の方法を使用する場合において等の特定の条件下で、類似するかまたは区別できない場合に、第１のコンテンツタイプの領域を第２のコンテンツタイプの領域から識別することに関する。本発明は、特に、肌を検出し、目下既知の肌検出システム下で知覚的に類似する毛髪等の他の領域から、肌を識別することに関する。
【０００２】
この明細書では、コンテンツタイプという用語を、独特な画像の特徴または関連する特徴空間における分布により表現されまたは識別可能である、肌、毛髪等の画像の特徴を意味するものとして使用する。たとえば、肌等のコンテンツタイプを、特定の色空間における色分布によって表すことができる。コンテンツタイプはまた、コンテンツタイプのグループ、たとえば同様の分布を有するグループまたはより大きい分布に含まれるグループを含む。画像という用語は、静止画像、またはビデオシーケンス等の画像のシーケンスの一部を形成する画像を含み、かつ、インタレース画像のフレームまたはフィールドを含む。また、画像という用語を、画像の領域を意味するものとして使用してもよい。画像の領域は画素または画素のグループを含み、画素のグループを、いかなる種類の形状に配置してもよく、かつ空間的に結合しても分離してもよい。上記解釈は、特に明記がある場合および文脈から明らかである場合を除き、適用される。
【０００３】
自動的な人間の肌の検出は、さまざまな画像およびビデオ処理用途の分野で一般に使用される方法であり、２つの最も有名なものは、画像分類、たとえば猥褻画像の検出と、顔検出および追跡、たとえば携帯電話または監視システムで有用なものと、である。既知の技法の例は、欧州特許出願公開第１３５３５１６号明細書、Fleck, M.、Forsyth, D.、Bregler, C.著の「Finding naked people」（Proceedings of European conference on Computer Vision ECCV'96, 1996, vol.2, pp.593-602）、Yoo、T.W.、Oh、I.S.著の「A Fast Algorithm for Tracking Human Faces Based on Chromatic Histograms」（Pattern Recognition Letters, vol.20, no.10, pp.967-978, October 1999）、Yang, J.、Waibel, A.著の「A Real-Time Face Tracker」（Proceedings of Third IEEE Workshop on Applications of Computer Vision, pp.142-147, 1996）において述べられている。
【０００４】
デジタル画像およびビデオにおける自動的な人間の肌の検出の問題が、さまざまな研究者によって調査されてきた。上に挙げた例に加えて、他の例には、Soriano, M.、Martinkauppi, B.、Huovinen, S.、Laaksonen, M.著の「Skin Detection in Video Under Changing Illumination Conditions」（Proceedings of 15th International Conference on Pattern Recognition ICPR 2000, vol.1, pp.1839-1842, 2000）、Sobottka, K.、Pitas, I.著の「Face Localization and Facial Feature Extraction Based on Shape and Color Information」（Proceedings of IEEE International Conference on Image Processing ICIP'96, pp.483-486, 1996）、Jones, M.J.、Rehg, J.M.著の「Statistical Color Models with Application to Skin Detection」（Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition CVPR'99, pp.274-280, June 1999）がある。報告された解決法には相違があるが、研究者らは、肌検出の最も強力な手がかりは色であるということで意見が一致している。報告された方法の相違は、色表現系（たとえば、ＲＧＢ、ＨＳＬ、ＹＣｂＣｒ等）の選択、検出に利用される情報（たとえば、３次元フルカラー、２次元クロミナンス等）、採用される肌色モデルのタイプ（たとえば、ヒストグラム、ガウス(Gaussian)または複数のガウスの混合、単純な発見的色値ルール等）等の態様にある。しかしながら、一般に、色ベースの肌検出は、画像の各画素を新たな色空間に変換すること、その色情報の一部またはすべてを肌色モデルとともに利用することにより肌色確率を取得すること、およびこの確率に基づき、当該画素を肌として分類すべきか否かを判断することを含む可能性がある。モデルのタイプ（たとえばガウスまたはヒストグラム）に関わらず、クロミナンスベースの肌色モデル（たとえば、正規化ｒｇ、ＨＳＬのＨＳ、ＹＣｂＣｒのＣｂＣｒ等）は、フルカラーモデル（たとえば、フルＲＧＢ）より好ましく、文献において優位を占めている。これは、クロミナンスベースのモデルが照明強度(illumination intensity)に対する頑強性特性を有し、また、異なる人および異なる人種（たとえば、アフリカ人、白人、アジア人等）の肌の色は、主に色彩情報自体ではなく強度(intensity)に関して異なるためである。
【０００５】
色ベース、特にクロミナンスベースの、肌検出の一般的な問題は、肌の色は実際には肌に限定されないため、非肌画素(non-skin pixel)が肌であるとして検出されることが多い、ということである。肌として検出される非肌画素は、全般的には低い確率で検出されるため、肌色確率閾値を使用することにより、この問題をある程度まで緩和することができる。誤って検出された非肌領域が完全に除去されない場合であっても、それらは通常、後続する連結成分分析および小領域除去アルゴリズムがそれらを除去することができる程度まで断片化され、一方、空間フィルタリング方法により、閾値処理プロセスの結果として誤って除去された正当な肌画素を再度取り込むことができる。しかしながら、肌に対して略同一のクロミナンスを有するために通常高い肌色確率で検出され、肌に連結されているため空間処理ではほとんど除去することができない、非肌素材がある。この素材は毛髪である。この種の誤検出は、画像またはビデオ処理適用の全体の性能に対して大きく影響を与える可能性がある。たとえば、顔検出および追跡において、このような誤検出は、顔窓(face window)の正しい計算に重大な影響を与える可能性がある。画像分類において、このような誤検出は、重大な分類エラーをもたらす可能性がある。目標が、たとえば特殊効果において、正確な肌検出と後続する色調(tone)変更とである適用では、このような誤検出は悪影響をもたらす可能性がある。
【０００６】
自動肌検出中の誤った毛髪検出の問題は、現在まで広範囲に研究されておらずまた十分に解決されていない。上述したFleck他は、クロミナンスベースの肌検出モデルの性能を補強する、すなわち誤った許容の率（非肌画素が肌として検出される）を低減することに対し総合的な機能強化を提案している。この機能強化は、肌が比較的均一であるということに基づき、テクスチャ強度情報を使用することである。ここで、テクスチャ強度は、元の強度の画像とそのメディアンフィルタリングされたバージョンとの差として定義される。Fleck他によって提案された方法の１つの問題は、テクスチャ画像の計算および処理が、色ベースの肌検出プロセスが含む画素ベースの処理と比較して、計算的に高価であるということである。別の問題は、何らかの局所近傍における肌領域のテクスチャ強度は、画像の空間解像度および雑音レベルが変化することによって変化する、ということである。この手法のさらなる問題は、肌領域の縁に現れる正当な肌画素は、非肌画素として非常に容易に除去される可能性がある、ということである。
【０００７】
上述したJonesおよびRehgもまた、色ベースの肌検出の性能を総合的に向上させる方法を提案している。この方法では、統計的肌色モデルが統計的非肌色モデルとともに使用される。この手法の問題点は、非肌を記述するモデルの作成が、関連するデータの収集という点で極めて困難である、ということである。多くの研究者がこの手法を追求しなかったのはこれが理由である。正しい統計的非肌色モデルをうまく作成することができる場合であっても、かかるモデルは、特定の肌／毛髪混同問題に対して最適な解決法を提供するには一般的すぎるものになる。
【０００８】
欧州特許出願公開第１２１１６３８号明細書および欧州特許出願公開第１２２３５５０号明細書において、ChenおよびRayは、自動肌検出の際の誤った毛髪検出の問題を直接扱っている。より詳細には、かかる発明者等は、画像肌色検出における金髪画素除去の方法を提示している。この方法では、デジタル画像において肌画素を検出するために、ｒｇベースの肌色モデルが使用される。彼らは、誤って検出された金髪画素から、正しく検出された肌画素を、１次元色相空間(1D Hue space)におけるそれらの値に基づいて分離することを提案している。より詳細には、初期のクロミナンスベースの肌色モデルによって肌として検出された画素は、その色相値が１５□未満である場合は肌として保持され、そうでない場合は毛髪として拒否される。それにも関わらず、本発明者による実験では、この手法が、図１において分かるように肌検出プロセスに悪影響をもたらすことが分かった。図１（ａ）は、１（最小値）から２５５（最大値）までの範囲の肌色確率閾値θの関数として、ＦＲ（誤った拒否（False Rejection）、すなわち、誤って拒否された肌画素）とＦＡ（誤った許容（False Acceptance）、すなわち、誤って許容された毛髪画素）とに関し、ｒｇベースの肌色モデルの性能を示す。図１（ｂ）は、ChenおよびRayが示唆するように、かかる発明者等が後処理ステップとして提案した方法を取り入れた後の同じ統計を示す。肌色モデルは、さまざまな照明下のさまざまな白人の肌の色調を包含するデータから作成された。この評価で使用したデータは、さまざまな照明下でのさまざまな白人／アジア人／アフリカ人の肌の色調と、さまざまな照明下でのさまざまな白人／アジア人／アフリカ人の毛髪の色調とを包含する。これは公正な試験である。なぜなら、（ｉ）クロミナンスベースの肌色モデルは、異なる人種の人々からもたらされる非常に異なる肌の色調に対するのと同様に、照明強度変化に対しても頑強であるように意図されており、（ｉｉ）自動肌検出システムでは、画像における被写体の正確な肌の色調、照明状態、毛髪の色等が概して知られていないためである。提案された方法は、ＦＡ率を低下させる（最大ＦＡが、図１（ａ）の〜７６．３４％から図１（ｂ）の〜２２．３４％まで低下する）が、ＦＲ率には悪影響を及ぼす（最小ＦＲは図１（ａ）の〜３．１６％から図１（ｂ）の〜４３．９７％まで増大する）、ということが分かる。明らかに、誤った毛髪画素検出をさらに抑制するという点で、かつこの毛髪除去プロセスの結果として正当な肌画素の拒否を最小限にするという点で、大幅な改善が望ましい。
【０００９】
本発明は、デジタル画像またはビデオシーケンスにおける肌検出プロセスの際の誤った毛髪検出の問題に対処する。
【００１０】
本発明は、ChenおよびRayの肌／毛髪分離方法で見られるような、ＦＡ抑制のプロセスにおける（すなわち、毛髪画素を除去しようと試みる間）激しいＦＲ劣化（すなわち、正当な肌画素を間違って拒否すること）の問題に対処する。提案する方法は、正当な肌画素を誤って除去することに関する劣化を最低限にして毛髪画素を除去することに大いに成果を上げる。
【００１１】
ChenおよびRayによって提案された方法とは対照的に、本発明は、望ましい分類エラーコストおよび事前の生起確率(prior probabilities of occurrence)を反映することができるように、肌／毛髪分離プロセスを用途特定、画像特定または画像領域特定でカスタマイズすることができるようにする。提案する方法により、毛髪画素を除去する際にこの方法がどの程度緩やか（mild）であるかまたは積極的（aggressive）であるかを定義することができ、それは、肌画素をうまく保持することに影響を与える。
【００１２】
Fleck他によって提案された方法とは対照的に、本発明は、異なる画像スケール下では信頼性が低い可能性がありまた必然的に計算負荷を増大させるテクスチャ情報に頼る必要がない。
【００１３】
本発明の態様を、添付の特許請求の範囲において述べる。
【００１４】
好ましい実施形態では、本発明を、肌を毛髪から識別するために使用する。肌を検出することには非常に成果を上げるが毛髪もまた検出するという点で脆弱な肌検出プロセスＸが与えられた場合、本実施形態の特徴は以下の通りである。
【００１５】
肌色モデルＹ１と毛髪色モデルＹ２とを作成する。好ましくは、毛髪モデルを、ありとあらゆる毛髪色に対してではなく、初期肌検出プロセスを混乱させる毛髪に対して作成する。それらモデルに対し、各モデルが（ａ）それぞれの素材をうまく検出し、（ｂ）他方のモデルの素材に対してたいてい(largely)無反応であり、（ｃ）その他の素材に対していかに挙動するかは重要でないように、色空間を選択する。この最後の部分（ｃ）は重要である。なぜなら、それがなければ、（ａ）と（ｂ）とをともに満足させることが不可能な場合があるためである。これは、初期検出プロセスＸが最初に始めなければならない問題である。たとえば、Ｙ１は、肌を検出することに適しており、毛髪には無反応でなければならず、それが草、雲等もまた検出するか否かは問題とならない。Ｙ２の場合も同様である。初期検出プロセスＸによって肌として検出された画素がある場合、確率ｐＹ１およびｐＹ２を割り当てるモデルＹ１およびＹ２がその画素を調査する。これらの確率を比較することにより、それが肌であるか毛髪であるかを判断する。たとえば幾分か毛髪を除去するが肌の保持を優先事項とするか、または肌検出にいかに影響するかにかかわらずすべての毛髪を除去しようと試みる等のシステムを作成するために、確率に対する重み係数を導入することができる。Ｙ１およびＹ２が肌および毛髪以外の素材に対していかに反応するかが重要でない理由は、かかる素材は初期フィルタＸによって拒否されるであろうためである。Ｘが他の「脆弱性」を有する、たとえば肌／木材を混同する場合、Ｙ１およびＹ２の場合と同じ色空間であってもよい何らかの色空間において肌と木材とに対しモデルＺ１およびＺ２を作成することによって等、プロセスを繰り返すことができる。
【００１６】
概して、本発明の実施形態を、以下のように表すことができる。素材Ａを誤って拒否しないことに非常に成果を上げるが誤った許容もまた行う方法に対し、上記誤った許容を１つまたは複数のグループＢ、Ｃ、Ｄ等にグループ化する。Ａと少なくとも１つの他のグループとの間の混同を解決する色空間を特定し、該色空間においてモデルを作成する。初期方法の優れた検出特性に対する影響を最低限にしつつ、上記誤った許容を除去する、多重分類子構成において上記モデルを使用する。上記多重分類子構成は、所望の分類エラーコストと事前の生起確率とを反映するようにパラメータ化可能である。
【００１７】
グループ化は、本明細書で行ったように、たとえば毛髪は１つのグループであり、木材は別のグループである等、概念のグループ化を意味してもよい。グループ化はまた、より形式的な(formal)プロセスであってもよい。たとえば、初期検出プロセスの色空間では、グループを自動的に確定するためにクラスタリングを実行する。これにより、金髪と砂とが１つのグループになり、黒髪と木材とが別のグループになる、等の可能性がある。
【００１８】
本発明の実施形態を、添付図面を参照して説明する。
【００１９】
図２は、本発明の一実施形態を示す。肌画素のデータベースに対し、２次元ＣｂＣｒクロミナンス空間における統計的ヒストグラムベースモデルとして、肌色モデルＸを作成する。簡単に言えば、データベースの肌画素のすべてを、ＣｂＣｒ空間に変換しヒストグラムに表す。そして、このヒストグラムを、何らかの最大値に正規化する。肌フィルタリングの結果は通常、検査され視覚的に表示されるため、この特定の実施形態の場合のように、ヒストグラムを整数範囲［０…２５５］で正規化することは一般的である。また、ヒストグラムは、この特定の実施形態では２５６２のビンを有するが、いかなるビンサイズ(bin size)に一般化してもよい。
【００２０】
肌／毛髪分離に適した２次元色空間を特定した。第１の次元は、元のＲＧＢ表現のＢ平面(B plane)である。これは、強度情報に直接的に関連づけられている。第２の次元は、Ｂ平面と同じ範囲を有するようにスケーリングされシフトされた、元のＲＧＢ表現の差Ｒ−Ｇである。これは、付加的な照明強度変化（明るさ）に対して不変である。本発明者は、単一表現系ではこれら２つの成分の組合せを見出さなかったため、結果としての色表現系をＢ対Ｒ−Ｇ(B v. R-G)と呼ぶ。
【００２１】
Ｘの作成に使用したものと同じデータベースから肌色モデルＹ１を作成する。それは、Ｂ対Ｒ−Ｇ空間における統計的ヒストグラムベースモデルである。毛髪色モデルＹ２の場合、毛髪画素データベースを使用する。このデータベースを、最初に肌モデルＸによってフィルタリングする。Ｘによりゼロでない確率が与えられる毛髪画素を、同様にＢ対Ｒ−Ｇにおける統計的ヒストグラムベースモデルの形態をとる毛髪色モデルＹ２の作成に使用する。Ｘについて、この実施形態では、Ｙ１およびＹ２ヒストグラムもまた、２５６２のビンを有するが、異なるビンサイズに一般化してもよい。
【００２２】
図２は、単一の「複合」または「多重分類子」フィルタにおけるフィルタＸ、Ｙ１およびＹ２の１つの可能な組合せを示す。
【００２３】
デジタル画像をシステムに入力し、各画素を個々に調査する。画素の色値は、特定の色空間に関して表現されている。この値は、図１に示される段階１に対する入力のためにＣｂＣｒ空間に、また、図１に示される段階２に対する入力のためのＢ対Ｒ−Ｇ空間に変換される。
【００２４】
下に説明するように、関連する色空間の画素の値を、上述したデータベースを使用して導出されたヒストグラムモデルと比較することにより、確率を確定する。
【００２５】
１．肌検出のプロセスにおいて、デジタル画像の各画素に対し、複合フィルタの段階１、すなわちモデルＸにより肌色確率値ｐｘを割り当てる。
２．ｐｘ≠０である場合、
ａ．段階２を起動して当該画素を調査する。段階２では、その画素に対し、それぞれモデルＹ１およびＹ２により確率ｐＹ１およびｐＹ２を割り当てる。
ｂ．融合層において、新たな肌色確率ｐ’ｘを計算する。より詳細には、ｐＹ１＜ｗ・ｐＹ２である場合、ｐ’ｘ＝０である。そうでない場合、ｐ’ｘ＝ｐｘである。
３．ｐｘ＝０である場合、融合層においてｐ’ｘ＝０である。
４．判断層において、閾値θとともに最終肌色確率ｐ’ｘを調査し、分類判断を達成する。
【００２６】
この定義において暗黙的なのは、ｐＹ１＝ｐＹ２＝０である場合、元の肌色確率は変更されない、という事実である。簡単に言えば、第２のフィルタリング段階において判断を下すことができない場合、それは無視され、第１の段階の出力は保持される。重みｗを、所望の分類エラーコストと事前の確率とを反映するように調整してもよい。たとえば、ｗ＜１と設定することにより、正しく検出された肌画素に対する悪影響がごくわずかであるかまたは存在することなく、毛髪除去プロセスが次第に緩やかになる。同様に、ｗ>１と設定することにより、毛髪除去プロセスが次第に積極的になる。このため、本実施形態では、正確かつ調整可能な選択的除去が可能になる。値ｗを、適用実施態様に対して固定してもよいが、異なる用途間で変更してもよく、あるいは、画像レベルで可変であってもよく、あるいは下位画像(sub-image)レベルで可変であってもよい。たとえば、後者に関して、連結成分分析アルゴリズムが、第１のフィルタＸの出力に基づいて肌領域を特定してもよく、その後、毛髪分離フィルタを使用して各肌領域を精緻化してもよい。
【００２７】
図３は、提案した方法の性能を示す。より詳細には、基準として、図３（ａ）は、１（最小値）から２５５（最大値）までの範囲の肌色確率閾値θの関数としての、ＦＲ（誤った拒否、すなわち、誤って拒否された肌画素）とＦＡ（誤った許容、すなわち、誤って許容された毛髪画素）とに関し独立したモデルＸの性能を示す。肌色モデルＸを、さまざまな照明下でのさまざまな白人の肌の色調を包含するデータから作成した。この評価で使用したデータは、さまざまな照明下でのさまざまな白人／アジア人／アフリカ人の肌の色調と、さまざまな照明下でのさまざまな白人／アジア人／アフリカ人の毛髪の色調と、を包含する。上述したように、これは、公正な試験である。なぜなら、（ｉ）クロミナンスベースの肌色モデルは、異なる人種の人々からもたらされる非常に異なる肌の色調に対するのと同様に、照明強度変化に対しても頑強であるように意図されており、（ｉｉ）自動肌検出システムでは、画像の被写体の正確な肌の色調、照明状態、毛髪の色等が概して知られていないためである。複合フィルタに対し、Ｘに対するデータと同じデータを使用して肌色モデルＹ１を作成した。ゼロでない肌色確率を有する毛髪画素のみが保持されるようにするモデルＸによるフィルタリングを行った後に、毛髪色モデルＹ２を、さまざまな照明下でのさまざまな白人の毛髪の色調のデータベースから作成した。図３（ｂ）、図３（ｃ）および図３（ｄ）は、それぞれ０．５５、０．７５および１．００の重みｗを有する複合フィルタに対する同じ評価データに対する同じ統計を示す。複合フィルタが、誤った肌拒否に対する影響を最小限にして誤った毛髪検出を著しく抑制することが分かった。重みｗの異なる値に対する異なるＦＡおよびＦＲ曲線により、誤って検出された毛髪を除去する際のその「積極性（aggressiveness）」に関するフィルタのカスタマイズ可能性もまた、明白に示されている。図４〜図９は、いくつかの絵による例を示す。なお、複合フィルタは、段階１によって肌として検出された、肌でも毛髪でもない領域も除去する。
【００２８】
上記実施形態に対する変形形態および代替形態の例を下に述べる。
【００２９】
何らかの複雑な方法で、かつ、多数の異なる（恐らくは省略された（truncated））色空間において、２回以上調査される場合であっても、各画素に対し、その画素の情報内容、すなわちその色に基づいて判断を得る。本方法は、統計的特徴ベクトル（たとえば、何らかの画像領域または近傍のモーメント記述子）またはテクスチャ情報（たとえば、何らかの局所近傍における強度および／または色分散）を含む等の技法または情報を必ずしも必要としない。しかしながら、代替実施態様は、必要に応じて、中央値、平均値、強度／色ヒストグラム等化等のさまざまな空間フィルタリング技法を使用してもよい。
【００３０】
代替実施態様では、モデルＸは、理論的には任意のタイプであってもよく、任意の次元の任意の色空間にあってもよく、任意の情報内容を有するものであってもよく、任意の色ベース技法（ヒストグラムベース、ガウス等）、またはテクスチャベース技法等の非色技法、もしくはそれらの組合せを含んでもよい。同じことがモデルＹに適用され、それらは、必ずしも色ベース技法に限定されない。
【００３１】
Ｂ対Ｒ−Ｇ色空間は、適当な肌／毛髪分離フィルタとして一意でなくてもよい。他の空間（たとえば、Ｒ対Ｇ−Ｂ）および／または他の色空間次元および／または他の情報内容（たとえば、Ｉ対Ｒ−Ｇ等の輝度を直接含む色空間）を使用してもよい。また、ここではヒストグラムベースモデルを使用するが、本発明は、モデルＹ１およびＹ２がいかなるタイプに従うべきかを指定しない。異なる実施態様（ただし、依然として本発明の範囲内にある）は、モデルＹ１およびＹ２に対し異なるタイプ（たとえば、ガウス）を想定してもよい。
【００３２】
この方法は、新たな確率が、古い確率またはゼロのいずれかになるという点で簡単である。しかしながら、代替実施態様は、入力される確率のうちの１つまたは複数もしくはすべての任意の関数から新たな確率を導出してもよい。
【００３３】
ここでは、評価の目的で図２の判断層を使用するが、それは本発明の一部ではない。提案する方法は、判断もしくはフィルタリングされた画像または領域ではなく画素毎に１つの肌色確率を生成する。これらの確率に対し、たとえばそれらの値に関する後続処理（たとえば、確率画像の閾値処理）または空間的配置に関する後続処理（たとえば、確率画像の空間的平滑化）を行ってもよい。
【００３４】
１つの素材が別の素材から分離可能である色表現系、たとえば、毛髪から肌を分離するためのＢ対Ｒ−Ｇを見出したため、両方の素材に対するモデルを作成する必要がない。たとえば、図２のものに対する代替実施態様は、閾値とともにモデルＹ１のみまたはモデルＹ２のみを使用してもよい。本出願人による実験により、これは複合フィルタの性能を劣化させることが分かったが、関連する計算複雑性が低減される実行可能な代替形態である。また、モデルＹ１およびＹ２を計算したため、代替実施態様において、モデル自体を融合し（たとえば、図２の確率融合に沿った、モデルの重み付き減算）、その後単一の融合モデルを使用してもよい。
【００３５】
図２の実施形態では、Ｘ、Ｙ１およびＹ２は単一モデルである。代替実施態様は、複数のモデルを利用してもよい。たとえば、Ｘを、たとえばＣｂＣｒ、ｒｇおよびＨＳにおける、並列に動作しそれぞれの出力確率が融合段階で結合（たとえば、最大、多数決、平均化等）される３つの肌色モデルに置き換えてもよい。かかる方式により、初期検出性能がわずかに向上する可能性があるが、計算複雑性は増大する。なお、かかる方式は、１つの素材を別の素材から、たとえば肌を毛髪から分離することに明示的には関連しない。並列トポロジ(parallel topology)（上記例の場合のような）は最も一般的であるが、逐次またはハイブリッドトポロジ(serial or hybrid topology)を使用してもよい。たとえば、Ｂ対Ｒ−ＧおよびＩ対Ｈが同様にうまく肌を毛髪から分離することが分かった場合、フィルタＹ１およびＹ２の各々に対し同じ議論が当てはまる。
【００３６】
図２のフィルタＸ自体が、図２に示すような複合フィルタであってもよい。たとえば、新たな複合フィルタでは、段階１は、誤って肌を拒否しないことに大いに成果を上げるが、いくつかの特定の種類の誤った許容がある、何らかの手段であってもよく、後続する段階は、これらの誤った許容の各々に対処する。このため、融合層に達するまで、段階２は、上述したように、誤って検出された毛髪を除去し、段階３は、誤って検出された木材を除去し、段階４は、誤って検出された砂を除去する等、を行う。
【００３７】
図２は、段階１がゼロでない確率をもたらす場合にのみ段階２が起動されるという意味で、逐次トポロジを示す。並列トポロジでは、各画素に対して段階１と段階２の両方が常に動作してもよく、融合層において適当な関数が与えられると、段階２の出力が段階１の出力を、後者がゼロの場合であっても修正することができる。上述した複数の素材に対し、ハイブリッドトポロジを検討することも可能である。
【００３８】
本発明の適用の例には、顔追跡を伴う携帯テレビ電話(mobile videophone)（たとえば、本出願人の同時係属中の欧州特許出願公開１３５３５１６号明細書を参照）、もしくは人を検出しかつ／または追跡するため等の監視システム、ビデオ会議等がある。
【００３９】
本発明を、ソフトウェアおよび／またはハードウェアを適切に変更して、たとえばコンピュータシステムで実施してもよい。本発明の態様を、ソフトウェアおよび／またはハードウェア形態で提供してもよく、あるいは、チップ等、特定用途向け装置または特定用途向けモジュールにおいて提供してもよい。
【００４０】
本発明のいくつかの特徴に対し好ましい色空間系を提案したが、所望のコンテンツ抽出のために好ましく選択される任意の適当な色空間を使用してもよい。
【図面の簡単な説明】
【００４１】
【図１】（ａ）および（ｂ）は、従来技術における誤った許容と誤った拒否とを示すグラフである。
【図２】本発明の実施形態を説明するブロック図である。
【図３】（ａ）〜（ｄ）は、異なった重み値が与えられた本発明の実施形態の誤った許容と誤った拒否とを示すグラフである。
【図４】本発明の実施形態による方法を使用する処理の異なる段階での画像の例である。
【図５】本発明の実施形態による方法を使用する処理の異なる段階での画像の例である。
【図６】本発明の実施形態による方法を使用する処理の異なる段階での画像の例である。
【図７】本発明の実施形態による方法を使用する処理の異なる段階での画像の例である。
【図８】本発明の実施形態による方法を使用する処理の異なる段階での画像の例である。
【図９】本発明の実施形態による方法を使用する処理の異なる段階での画像の例である。
【図１】
2005190474.tif 000003
【図２】
2005190474.tif 000004
【図３】
2005190474.tif 000005
【図４】
2005190474.tif 000006
【図５】
2005190474.tif 000007
【図６】
2005190474.tif 000008
【図７】
2005190474.tif 000009
【図８】
2005190474.tif 000010
【図９】
2005190474.tif 000011
【手続補正書】
【提出日】平成17年2月10日(2005.2.10)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
欧州特許出願公開第１２１１６３８号明細書および欧州特許出願公開第１２２３５５０号明細書において、ChenおよびRayは、自動肌検出の際の誤った毛髪検出の問題を直接扱っている。より詳細には、かかる発明者等は、画像肌色検出における金髪画素除去の方法を提示している。この方法では、デジタル画像において肌画素を検出するために、ｒｇベースの肌色モデルが使用される。彼らは、誤って検出された金髪画素から、正しく検出された肌画素を、１次元色相空間(1D Hue space)におけるそれらの値に基づいて分離することを提案している。より詳細には、初期のクロミナンスベースの肌色モデルによって肌として検出された画素は、その色相値が１５°未満である場合は肌として保持され、そうでない場合は毛髪として拒否される。それにも関わらず、本発明者による実験では、この手法が、図１において分かるように肌検出プロセスに悪影響をもたらすことが分かった。図１（ａ）は、１（最小値）から２５５（最大値）までの範囲の肌色確率閾値θの関数として、ＦＲ（誤った拒否（False Rejection）、すなわち、誤って拒否された肌画素）とＦＡ（誤った許容（False Acceptance）、すなわち、誤って許容された毛髪画素）とに関し、ｒｇベースの肌色モデルの性能を示す。図１（ｂ）は、ChenおよびRayが示唆するように、かかる発明者等が後処理ステップとして提案した方法を取り入れた後の同じ統計を示す。肌色モデルは、さまざまな照明下のさまざまな白人の肌の色調を包含するデータから作成された。この評価で使用したデータは、さまざまな照明下でのさまざまな白人／アジア人／アフリカ人の肌の色調と、さまざまな照明下でのさまざまな白人／アジア人／アフリカ人の毛髪の色調とを包含する。これは公正な試験である。なぜなら、（ｉ）クロミナンスベースの肌色モデルは、異なる人種の人々からもたらされる非常に異なる肌の色調に対するのと同様に、照明強度変化に対しても頑強であるように意図されており、（ｉｉ）自動肌検出システムでは、画像における被写体の正確な肌の色調、照明状態、毛髪の色等が概して知られていないためである。提案された方法は、ＦＡ率を低下させる（最大ＦＡが、図１（ａ）の〜７６．３４％から図１（ｂ）の〜２２．３４％まで低下する）が、ＦＲ率には悪影響を及ぼす（最小ＦＲは図１（ａ）の〜３．１６％から図１（ｂ）の〜４３．９７％まで増大する）、ということが分かる。明らかに、誤った毛髪画素検出をさらに抑制するという点で、かつこの毛髪除去プロセスの結果として正当な肌画素の拒否を最小限にするという点で、大幅な改善が望ましい。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2005190474.tif 000012
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2005190474.tif 000013
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2005190474.tif 000014
【外国語明細書】
2005190474.tif 000015
2005190474.tif 000016
2005190474.tif 000017
2005190474.tif 000018
2005190474.tif 000019
2005190474.tif 000020
2005190474.tif 000021
2005190474.tif 000022
2005190474.tif 000023
2005190474.tif 000024
2005190474.tif 000025
2005190474.tif 000026
2005190474.tif 000027
2005190474.tif 000028
2005190474.tif 000029
2005190474.tif 000030
2005190474.tif 000031
2005190474.tif 000032
2005190474.tif 000033
2005190474.tif 000034
2005190474.tif 000035
2005190474.tif 000036
2005190474.tif 000037
2005190474.tif 000038
2005190474.tif 000039
2005190474.tif 000040
2005190474.tif 000041
2005190474.tif 000042
2005190474.tif 000043
2005190474.tif 000044
2005190474.tif 000045
2005190474.tif 000046
2005190474.tif 000047
2005190474.tif 000048
2005190474.tif 000049
2005190474.tif 000050