(57)【要約】【課題】多種多様な肌色に対応する肌色領域検出方法では、ノイズが多くなり、誤検出が増加してしまう。【解決手段】入力画像から人物の顔の存在を特定し、特定した顔領域中の肌色の画素データから肌色分布モデルを作成する。一方で、多種多様な人物の肌色データより作成した肌色分布モデルを予め用意しておき、入力画像データから作成した肌色分布モデルと重み付け加算した「修正肌色分布モデル」を作成する。修正肌色分布モデルは入力画像データ中の肌色に対して大きい肌色尤度を導出しつつ、入力画像データ中に突然別の人物が飛び込んで来ても、相応の肌色尤度を導出することができる。こうして導出した肌色尤度を閾値と比較して、入力画像データ中の個々の画素データ群に対し、肌色であるか否かを判定する。【選択図】図１
2007257087.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データから肌色と思しき画素データを抽出する肌色画素抽出部と、
前記肌色画素抽出部にて得られた前記肌色画素データが有する色に関する情報からヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラム生成部にて得られた前記ヒストグラムを近似処理して、第１の統計モデルを得るヒストグラム近似部と、
前記ヒストグラム近似部にて得られた第１の統計モデルと、前記第１の統計モデルとは異なる第２の統計モデルとを重み付け加算処理する複合統計モデル作成部と、
前記複合統計モデル作成部にて得られた複合統計モデルを用いて、前記入力画像データの画素データに対応する肌色尤度を求め、得られた前記肌色尤度を閾値と比較して、前記画素データが肌色であるか否かを判定し、前記判定結果に基づいて入力画像データに対する肌色領域検出結果を得る二値化処理部と、
前記二値化処理部の結果得られた肌色領域検出結果を前記閾値の更新に利用する閾値更新部と
よりなることを特徴とする肌色領域検出装置。
【請求項２】
前記肌色画素抽出部は、
前記入力画像データの明度を示す情報から人物の顔の位置を推定して顔領域推定結果を得る顔領域推定部と、
前記入力画像データのうち、前記顔領域推定結果の範囲内にある画素データ群から、肌色の画素データであるか否かを判定する肌色判定部と
を含み、
前記ヒストグラム近似部は、ガウス混合モデルによって前記ヒストグラムを近似するものであり、
前記第２の統計モデルは、入力画像データに依存しない肌色の統計モデルであり、
前記閾値更新部は、前記顔領域推定結果の範囲内にある肌色領域の画素データ出現率と、前記顔領域推定結果の範囲外にある肌色領域の画素データ出現率とを閾値の更新演算に用いるものである
ことを特徴とする、請求項１記載の肌色領域検出装置。
【請求項３】
入力画像データから肌色と思しき画素データを抽出する肌色画素抽出手順と、
前記肌色画素抽出手順にて得られた前記肌色画素データが有する色に関する情報からヒストグラムを生成するヒストグラム生成手順と、
前記ヒストグラム生成手順にて得られた前記ヒストグラムを近似処理するヒストグラム近似手順と、
前記ヒストグラム近似手順にて得られた第１の統計モデルと、前記第１の統計モデルとは異なる第２の統計モデルとを重み付け加算処理する複合統計モデル作成手順と、
前記複合統計モデル作成手順にて得られた複合統計モデルを用いて、前記入力画像データの画素データに対応する肌色尤度を求め、得られた前記肌色尤度を閾値と比較して、前記画素データが肌色であるか否かを判定し、前記判定結果に基づいて入力画像データに対する肌色領域検出結果を得る二値化処理手順と、
前記二値化処理手順の結果得られた肌色領域検出結果を前記閾値の更新に利用する閾値更新手順と
よりなることを特徴とする肌色領域検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、肌色領域の検出装置及び方法に適用して好適な技術に関する。
【背景技術】
【０００２】
画像データから、顔の領域や、顔を含めた肌色の領域を検出するための技術が、様々なアプリケーションにおいて求められている。
例えば、ロボットが人間と対話する際には、相手が人間であることを認識できることが必要である。人間であることを認識するには、発声を認識する技術と、肌色を認識する技術が必要になる。
例えば、人物を撮影している動画データに対して背景と着用している服を全く別の画像と差し替える、等というような特殊効果を行うには、肌色を認識する技術と、頭髪を認識する技術が必要になる。
【０００３】
なお、発明者は任意の画像データから肌色領域を検出する発明を、特許文献１として出願済みである。
特許文献１に開示される発明の大まかな技術内容は、以下の通りである。
（１）できるだけ多くの人物の顔写真データから肌色のサンプルデータを収集する。
（２）収集した肌色画像データをＨＳＶ変換して、肌色の（Ｈ，Ｓ）データを集める。
（３）集めた肌色（Ｈ，Ｓ）データのヒストグラムを作成する。
（４）ヒストグラムを複数のガウス分布モデルの組み合わせにて近似し、混合ガウス分布モデルのパラメータを得る。
（５）入力画像データの各要素に対して前記混合ガウス分布モデルのパラメータを用いて、肌色尤度を算出する。
（６）算出した肌色尤度を閾値と比較して、肌色であるか否かを判定する。
特許文献１の発明は、多種多様な人種や人物の肌色画像データから肌色の混合ガウス分布モデルを作成し、これを基に肌色であるか否かの判定を行う、いわば「汎用的な肌色検出技術」である。
【特許文献１】特開２００４−２４６４２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１による汎用的な肌色領域検出装置では、ノイズを拾い易い。
例えば、ロボットがある部屋に置かれ、対話する相手が一人の日本人である場合に、汎用的肌色検出技術を用いると、机の木目を黒人の肌と誤認識したり、机の上にある白い紙を白人の肌と誤認識する可能性が生じる。
【０００５】
本発明はかかる点に鑑みてなされたものであり、特に動画像データにおいて、誤認識が少なく、且つ、予期しない状況が発生しても迅速に適応できる、肌色領域の検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するための本発明は、
入力画像データから肌色と思しき画素データを抽出する肌色画素抽出部と、
前記肌色画素抽出部にて得られた前記肌色画素データが有する色に関する情報からヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラム生成部にて得られた前記ヒストグラムを近似処理して、第１の統計モデルを得るヒストグラム近似部と、
前記ヒストグラム近似部にて得られた第１の統計モデルと、前記第１の統計モデルとは異なる第２の統計モデルとを重み付け加算処理する複合統計モデル作成部と、
前記複合統計モデル作成部にて得られた複合統計モデルを用いて、前記入力画像データの画素データに対応する肌色尤度を求め、得られた前記肌色尤度を閾値と比較して、前記画素データが肌色であるか否かを判定し、前記判定結果に基づいて入力画像データに対する肌色領域検出結果を得る二値化処理部と、
前記二値化処理部の結果得られた肌色領域検出結果を前記閾値の更新に利用する閾値更新部と
よりなることを特徴とする肌色領域検出装置としたものである。
【０００７】
任意の入力画像中に多種多様の肌色のバリエーションを持つ人物が多数含まれる可能性はまれである。すなわち、従来技術である特許文献１の技術では、汎用性が高いが故にどうしてもノイズを含んでしまう。そこで、入力画像から人物の顔の存在を特定し、特定した顔領域中に肌色の画素データがあれば、その画素データに類似する肌色画素データが画像データ全体に存在するものと推定し、入力画像データを肌色であるか否かと推定する為の統計モデル（以下「肌色モデル」）を作成する。
しかし、この方法だけでは顔領域が正しく検出できなかった場合に誤検出を引き起こす可能性がある。
そこで、特許文献１の技術思想を一部流用し、多種多様な人物の肌色データより作成した統計モデルを予め用意しておき、入力画像データから作成した肌色モデルと重み付け加算した修正モデル（以下「修正肌色モデル」）を作成する。
修正肌色モデルは入力画像データ中の肌色に対して大きな尤度を導出しつつ、入力画像データ中に突然別の人物が飛び込んで来ても、相応の尤度を導出することができる。
こうして導出した、画素データに対する肌色の尤度を閾値と比較して、入力画像データ中の個々の画素データ群に対し、肌色であるか否かを極めて迅速且つ精度良く判定することができる。
【発明の効果】
【０００８】
本発明により、比較的少ない演算量にて、データ量の多い画像データから肌色の領域を極めて迅速且つ精度良く判定することができる。
本発明は、静止画像においても有用であるが、データ量が多く、迅速な処理を要求される動画像を利用するアプリケーションに対して特に有益である。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の第１の実施の形態を、図１〜図４を参照して説明する。
【００１０】
図１は、本発明の第１の実施の形態に係る肌色領域検出装置の機能ブロック図である。
【００１１】
肌色領域検出装置１の主要部分は、実際にはコンピュータプログラムにて提供される機能である。
画像情報取得部２では、所定の手法にてカラー画像データを取得する。カラー画像データを取得する手段は何でも良い。本実施形態においては、例えば動画を撮影可能な周知のＣＣＤカメラである。
画像データは静止画でも良い。しかし、必ずカラー画像である必要がある。本発明は入力画像データから肌色領域を推定する技術であり、色に関する情報がない限り、本発明は実現し得ないからである。
但し、本実施形態において、画像データの大まかな処理は１つの静止画像単位にて行われる。これは本実施形態が後述する顔領域認識処理に依存するからである。
なお、以下の説明において、画像データは一つの静止画像を構成するデータの集合体を意味し、画素データとは所定のＸＹ座標にて位置が表現される１ドット毎の色や明るさ等を表現するデータを意味する。すなわち、画像データは画素データの集合体である。
【００１２】
入力画像データは多くの場合ＲＧＢ乃至はＹＭＣＫ等の、所定のアプリケーションソフトウェアやハードウェア等が取り扱う際に適した情報である。これを、ＨＳＶ変換する。
ＨＳＶ変換部３は、ＲＧＢ形式のカラー画像データを色相(Hue)、彩度(Saturation)、明度(Value)の三要素に変換する（以下、それぞれ「Ｈ」「Ｓ」「Ｖ」と略す。また「Ｈ成分」「Ｓ成分」「Ｖ成分」は、画素データ中の、それぞれの情報成分を表し、「Ｈデータ」「Ｓデータ」「Ｖデータ」は、ＨＳＶ変換部３にて変換された各々の成分のデータを表す。）。これはカラー画像データから明度に関する情報Ｖ成分を抜き取り、入力画面の明暗に依存しない色情報Ｈ成分とＳ成分を取り扱う為と、明度に関する情報Ｖ成分は後述の色情報に依存しない顔領域抽出方法に使用するためである。
ＨＳＶ変換は周知技術であり、詳細については本願と同一発明者よりなる特許文献１に一部詳述されているので割愛する。
【００１３】
ヒストグラム生成部４は、一つの静止画像データに含まれるＨ，Ｓデータの組よりなるデータ群とＶデータの群を用いて、肌色に対応するＨ成分とＳ成分の組の出現頻度をヒストグラム化する。この処理については後に図２にて詳述する。
ヒストグラム生成部４にて得られるヒストグラムは、肌色に対応するＨ成分とＳ成分の組の出現頻度、すなわち尤度（確からしさ）を表すものである。
【００１４】
ヒストグラム近似部５は、得られたヒストグラムをガウス混合モデルにて近似する。
入力される画像データから得られるヒストグラムは、膨大な量の離散値の集合体である。この膨大な量の離散値では、未知のデータに対して肌色であるか否かの判定処理ができない。そこで、ヒストグラムを少ない情報量にて表現できるガウス混合モデルにて近似する。この近似処理により、任意の画像データに対する尤度を、少ない演算量で且つ実用的な良い精度にて算出することが可能になる。
ガウス混合モデルは統計モデルの最も代表的なものであり、複数のガウス分布の集合体である。つまり、ガウス分布を構成する平均及び分散の値の、複数組の集合体である。膨大な量の離散値の集合体を、この複数のガウス分布にて近似する。なお、統計モデルとしては、ガウス混合モデル以外の、他の周知のモデルを適用することも可能である。すなわち、統計モデルの種類によって実施形態が限定されるものではない。
ヒストグラム近似部５における近似処理の詳細は特許文献１にて詳述されており、また以下に記す論文においても開示されており、良く知られているので、これ以上詳細な説明は省略する。
(1)S. McKenna, S. Gong, and Y. Raja. Modelling Facial Colour and Identity with Gaussian Mixtures. Pattern Recognition, 31(12):1883-1892, 1998.
(2)H.P. Graf, E. Cosatto, D. Gibbon, M. Kocheisen, and E. Petajan. MultimodelSystem for Locating Heads and Faces. In Proceedings of the Second IEEE International Conference on automatic Face and Gesture Recognition, pages 88-93, 1996.
【００１５】
ヒストグラム近似部５によって、膨大な量の離散値の集合体であったヒストグラムは、極めてデータ量の少ない、ガウス分布を構成する平均及び分散のデータの複数組の集合体よりなるデータ群（以下「ＧＭＭパラメータ群」と略す。ＧＭＭは"Gaussian Mixture Model"の略。）に変換される。
ヒストグラム近似部５によって得られるＧＭＭパラメータ群は、現在入力されている画像データ中に存在する人物の肌色に依存した、「対象人物に固有のＧＭＭパラメータ群」である。
説明の便宜上、この「対象人物に固有のＧＭＭパラメータ群」を「第１のＧＭＭパラメータ群」と称する。
第１のＧＭＭパラメータ群にて表現されるガウス混合モデルは、対象人物の肌色の尤度を表現する肌色モデルである。
【００１６】
作成済肌色ＧＭＭ７は不揮発性メモリ内のデータである。例えば周知のハードディスク装置内にファイルとして格納されている。
作成済肌色ＧＭＭ７には、特許文献１の技術を用いて、多種多様な人種、性別、年齢等の人物の画像データから肌色の情報を抽出し、ガウス混合モデルにて正規化処理した結果得られたＧＭＭパラメータ群が格納されている。
作成済肌色ＧＭＭ７に格納されているＧＭＭパラメータ群は、多種多様な人種、性別、年齢等の人物の画像データを基に作られている、つまり対象人物に依存しない「汎用のＧＭＭパラメータ群」である。
説明の便宜上、この「汎用のＧＭＭパラメータ群」を「第２のＧＭＭパラメータ群」と称する。
第２のＧＭＭパラメータ群にて表現されるガウス混合モデルは、汎用的な肌色の尤度を表現する肌色モデルである。
【００１７】
修正ＧＭＭ作成部６は、第１のＧＭＭパラメータ群と第２のＧＭＭパラメータ群とを重み付け加算処理し、修正ＧＭＭを作成する。例えば第１のＧＭＭパラメータ群と第２のＧＭＭパラメータ群とを３：２の割合で加算する。なお、加算の割合を変化させることにより、作成する修正ＧＭＭを入力画像データ中の人物の肌色に強く依存するものとしたり、逆に広範囲の人種に対応するものとすることもできる。
修正ＧＭＭにて表現されるガウス混合モデルは、対象人物の肌色の尤度に汎用的な肌色の尤度が加味された、いわば複合的な肌色モデルである。
【００１８】
肌色尤度算出部８は、ＨＳＶ変換部３にて得られた入力画像データ中の個々の画素データに対応するＨ，Ｓデータに対し、修正ＧＭＭを基にして肌色尤度を算出する。
【００１９】
二値化部９は、肌色尤度算出部８によって得られた尤度データを閾値１１と比較して、肌色であるか否かを判定し、判定結果を０又は１の二値として出力する。
閾値１１は単一のスカラ値であり、例えば周知のＲＡＭに格納されている。
二値化部９によって得られた判定結果は、肌色領域データ１０として、例えばＲＡＭに格納される。
なお、肌色領域データ１０は、顔領域中の目や眉、鼻の穴等、肌色と認識されない細部に対する「塗り潰し」を行うべく、所定の積分処理を施す。
【００２０】
閾値更新部１２は、ヒストグラム生成部４内の矩形状顔領域作成部２１から得られる矩形状顔領域データと、肌色領域データ１０に基づき、所定の演算処理によって閾値１１を更新する。
【００２１】
図２は、ヒストグラム生成部４の内部構成を詳述する機能ブロック図である。
【００２２】
ＨＳＶ変換部３から得られるＨ，Ｓ，Ｖデータのうち、Ｖデータは矩形状顔領域作成部２１に渡される。矩形状顔領域作成部２１は、明度を表すＶデータの一画面分から、円形或は楕円形の明るい領域を探し出し、この円或は楕円を囲む矩形データを作成する。顔の領域はほぼ楕円形の均一の明るさを持つ領域であるという性質に基づいて、大まかな顔領域の特定を行う処理である。
【００２３】
ＨＳＶ変換部３から得られるＨ，Ｓ，Ｖデータのうち、Ｈ，Ｓデータは顔領域データ抽出部２２に渡される。また、矩形状顔領域作成部２１から得られた矩形状顔領域データも顔領域データ抽出部２２に渡される。顔領域データ抽出部２２は、矩形状顔領域内のＨ，Ｓデータの組を特定する。
【００２４】
顔領域データ抽出部２２にて選択されたＨ，Ｓデータに対して、汎用肌色ＧＭＭ２３内のＨ，Ｓ範囲データ群に含まれているか否かを、簡易肌色判定部２４にて判定する。
こうして得られたデータは、肌色の可能性が相応に高いデータである。
【００２５】
得られた肌色のＨ，Ｓデータから、ヒストグラム作成部２５にてヒストグラムを作成する。こうして、対象人物の画像データから顔領域内の肌色データと思しきデータを基に、ヒストグラムが出来上がる。
【００２６】
図３は、閾値更新部１２の内部構成を詳述する機能ブロック図である。
【００２７】
肌色領域データ１０に対し、矩形状顔領域作成部２１にて得られた矩形状顔領域データを基に、顔領域内外の肌色データの出現率を計算する。
顔領域内肌色データ出現率算出部３１は、矩形状顔領域データに含まれる肌色領域データの数を数え、矩形状顔領域データ全体の数から出現率を算出する。これをパラメータａとする。
顔領域外肌色データ出現率算出部３２は、矩形状顔領域データの外にある肌色領域データの数を数え、画像データ全体の数から矩形状顔領域データ全体の数を引いた分から出現率を算出する。これをパラメータｂとする。
閾値更新部は、顔領域内肌色データ出現率算出部３１と顔領域外肌色データ出現率算出部３２にて得られたａとｂと、定数３４に格納されているα、β、Ｓｒａｔｅを用いて、以下の更新演算を行う。
【数１】
2007257087.tif 000003
【００２８】
数式中、ｍａｘ（ｘ，ｙ）はｘとｙの中から最大値を選択する関数である。
定数３４は作成済肌色ＧＭＭ７と同様の、不揮発性メモリ内のデータである。例えば周知のハードディスク装置内にファイルとして格納されている。α、βは学習速度係数、Ｓｒａｔｅは顔領域内における肌色データ出現率の最小値を、予め設定しておくものである。
αの値は、顔領域内の肌色出現率ａが肌色データ出現率の最小値Ｓｒａｔｅより小さくなると、速い速度で閾値を小さくするように設定される。例えばαは０．６である。
βの値は、常に閾値の値を遅い速度で大きくするように設定される。例えばβは０．４である。
Ｓｒａｔｅの値は、顔が横を向いている状態を最小値とする。横顔が写っている画像データに対し、矩形状顔領域作成部２１にて矩形状顔領域データを作成すると、顔領域内の肌色出現率がおよそ０．５６程度になることから、この値を設定する。
【００２９】
矩形状顔領域中の肌色出現率ａが小さくなると、閾値Ｔは小さくなる。
矩形状顔領域外の肌色出現率ｂが大きくなると、閾値Ｔは大きくなる。
閾値算出部３３による閾値Ｔの更新演算処理により、肌色領域の検出精度は向上する。入力画像データが静止画像である場合、閾値更新部１２の繰り返し演算処理により、ａとｂは所定の値へ収束し、閾値Ｔも所定の値に収束する。
【００３０】
図４は、本実施形態に係る肌色領域検出処理を示す。
【００３１】
図４（ａ）は入力画像データである。女性の上半身のカラー画像データである。
図４（ｂ）は矩形状顔領域作成部２１にて顔領域Ｆを検出した結果を示す。検出した顔領域の範囲内に限定して、対象人物の肌色のサンプルを取り出し、肌色分布モデルを作成する。
図４（ｃ）は検出した肌色領域データ１０を示す。積分処理により大きな肌色の領域Ｓ１，Ｓ２，Ｓ３が検出される。また、閾値の更新処理により、ノイズが減少し、検出精度が向上する。
【００３２】
実施の形態は上記に限らず、以下のような応用が可能である。
（１）特に動画に対する肌色検出処理においては、閾値は検出した肌色領域データ１０の形態に基づき、座標に応じて異なる値を作成しても良い。つまり、被写体である人間は連続的な動作をすることから、肌色領域であると判定した部分の閾値は低めに、それ以外の部分の閾値は高めに設定することにより、ノイズに強い肌色検出装置を得ることができる。
（２）定数３４を予め用意するのではなく、各々の定数の最適値を事前の演算処理によって得ることもできる。例えば、サンプルの静止画像データを用いて、α，β，Ｓｒａｔｅを変化させながら閾値更新処理を何度か行い、最適値を選択すること等が考えられる。
【図面の簡単な説明】
【００３３】
【図１】本発明の第１の実施の形態による肌色領域検出装置の例を示すブロック図である。
【図２】ヒストグラム生成部の内部を示すブロック図である。
【図３】閾値更新部の内部を示すブロック図である。
【図４】肌色領域検出処理の例を示すブロック図である。
【符号の説明】
【００３４】
１…肌色領域検出装置、２…画像情報取得部、３…ＨＳＶ変換部、４…ヒストグラム生成部、５…ヒストグラム近似部、６…修正ＧＭＭ作成部、７…作成済肌色ＧＭＭ、８…肌色尤度算出部、９…二値化部、１０…肌色領域データ、１１…閾値、１２…閾値更新部
【図１】
2007257087.tif 000004
【図２】
2007257087.tif 000005
【図３】
2007257087.tif 000006
【図４】
2007257087.tif 000007