(57)【要約】【課題】肌色を正確に抽出できるようにする。【解決手段】  色空間変換部１１は、教師画像を構成するYUV色空間で表現される画素値を、肌色を定義するモデルを生成しやすいTSL色空間で表現される画素値に変換し、画素値抽出部１２は、TSL色空間で表現される画素値により構成される教師画像より画素値を抽出し、アウトライヤ除去部１４は、抽出された画素値のうち、TSL色空間において、分散計算部１３により計算された分散値に基づいて、ばらつきの大きな画素値を除去し、モデル生成部１５は、ばらつきの大きな画素値が除外されている、抽出された、TSL色空間で所定の色を表現する画素値の分布モデルを生成し、テーブル生成部１６は、分布モデルに基づいて、肌色を定義するTSL色空間の画素値よりテーブルを生成してテーブル記憶部２に記憶させる。本発明は、画像認識装置に適用することができる。【選択図】図１
2006313468.tif 000002
【特許請求の範囲】
【請求項１】
教師画像を構成する第１の色空間で表現される画素値を、第２の色空間で表現される画素値に変換する変換手段と、
前記変換手段により前記第２の色空間で表現される画素値により構成される前記教師画像より画素値を抽出する抽出手段と、
前記抽出手段により抽出された画素値のうち、前記第２の色空間において、ばらつきの大きな画素値を除去する除去手段と、
前記除去手段によりばらつきの大きな画素値が除外されている、前記抽出手段により抽出された、前記第２の色空間で所定の色を表現する画素値の分布モデルを生成する分布モデル生成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記教師画像は、前記所定の色を表現する画素を多く含む画像である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記教師画像は、複数の画像である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１の色空間は、YUV色空間であり、前記第２の色空間は、TSL色空間である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記分布モデルは、ガウシアンの楕円モデルである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記分布モデルをテーブルとして格納させる格納手段をさらに備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記第２の色空間で前記所定の色を表現する画素値の分布モデルを、前記第１の色空間で前記所定の色を表現する画素値の分布モデルに逆変換する逆変換手段をさらに備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
教師画像を構成する第１の色空間で表現される画素値を、第２の色空間で表現される画素値に変換する変換ステップと、
前記変換ステップの処理により前記第２の色空間で表現される画素値により構成される前記教師画像より画素値を抽出する抽出ステップと、
前記抽出ステップの処理により抽出された画素値のうち、前記第２の色空間において、ばらつきの大きな画素値を除去する除去ステップと、
前記除去ステップの処理によりばらつきの大きな画素値が除外されている、前記抽出ステップの処理により抽出された、前記第２の色空間で所定の色を表現する画素値の分布モデルを生成する分布モデル生成ステップと
を含むことを特徴とする画像処理方法。
【請求項９】
教師画像を構成する第１の色空間で表現される画素値を、第２の色空間で表現される画素値に変換する変換ステップと、
前記変換ステップの処理により前記第２の色空間で表現される画素値により構成される前記教師画像より画素値を抽出する抽出ステップと、
前記抽出ステップの処理により抽出された画素値のうち、前記第２の色空間において、ばらつきの大きな画素値を除去する除去ステップと、
前記除去ステップの処理によりばらつきの大きな画素値が除外されている、前記抽出ステップの処理により抽出された、前記第２の色空間で所定の色を表現する画素値の分布モデルを生成する分布モデル生成ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１０】
教師画像を構成する第１の色空間で表現される画素値を、第２の色空間で表現される画素値に変換する変換ステップと、
前記変換ステップの処理により前記第２の色空間で表現される画素値により構成される前記教師画像より画素値を抽出する抽出ステップと、
前記抽出ステップの処理により抽出された画素値のうち、前記第２の色空間において、ばらつきの大きな画素値を除去する除去ステップと、
前記除去ステップの処理によりばらつきの大きな画素値が除外されている、前記抽出ステップの処理により抽出された、前記第２の色空間で所定の色を表現する画素値の分布モデルを生成する分布モデル生成ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【請求項１１】
入力画像を構成する第１の色空間で表現される画素値を、第２の色空間で表現される画素値に変換する変換手段と、
前記第１の色空間で表現される画素値が、前記第２の色空間で表現される画素値に変換された画素値により構成される教師画像より画素値が抽出され、ばらつきの大きな画素値が除去された、前記第２の色空間で所定の色を表現する画素値の分布モデルからなるテーブルに基づいて、前記第２の色空間で表現される画素値からなる入力画像より、前記所定の色を表現する画素値を抽出する抽出手段と、
前記抽出手段により抽出された画素値を、前記第１の色空間で表現される画素値に逆変換する逆変換手段と
を備えることを特徴とする画像処理装置。
【請求項１２】
前記第１の色空間は、YUV色空間であり、前記第２の色空間は、TSL色空間である
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
入力画像を構成する第１の色空間で表現される画素値を、第２の色空間で表現される画素値に変換する変換ステップと、
前記第１の色空間で表現される画素値が、前記第２の色空間で表現される画素値に変換された画素値により構成される教師画像より画素値が抽出され、ばらつきの大きな画素値が除去された、前記第２の色空間で所定の色を表現する画素値の分布モデルからなるテーブルに基づいて、前記第２の色空間で表現される画素値からなる入力画像より、前記所定の色を表現する画素値を抽出する抽出ステップと、
前記抽出ステップの処理により抽出された画素値を、前記第１の色空間で表現される画素値に逆変換する逆変換ステップと
を含むことを特徴とする画像処理方法。
【請求項１４】
入力画像を構成する第１の色空間で表現される画素値を、第２の色空間で表現される画素値に変換する変換ステップと、
前記第１の色空間で表現される画素値が、前記第２の色空間で表現される画素値に変換された画素値により構成される教師画像より画素値が抽出され、ばらつきの大きな画素値が除去された、前記第２の色空間で所定の色を表現する画素値の分布モデルからなるテーブルに基づいて、前記第２の色空間で表現される画素値からなる入力画像より、前記所定の色を表現する画素値を抽出する抽出ステップと、
前記抽出ステップの処理により抽出された画素値を、前記第１の色空間で表現される画素値に逆変換する逆変換ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１５】
入力画像を構成する第１の色空間で表現される画素値を、第２の色空間で表現される画素値に変換する変換ステップと、
前記第１の色空間で表現される画素値が、前記第２の色空間で表現される画素値に変換された画素値により構成される教師画像より画素値が抽出され、ばらつきの大きな画素値が除去された、前記第２の色空間で所定の色を表現する画素値の分布モデルからなるテーブルに基づいて、前記第２の色空間で表現される画素値からなる入力画像より、前記所定の色を表現する画素値を抽出する抽出ステップと、
前記抽出ステップの処理により抽出された画素値を、前記第１の色空間で表現される画素値に逆変換する逆変換ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、入力画像における特定の色で表現される領域を正確に抽出できるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
画像認識技術が一般に普及しつつある。画像認識技術においては、様々な物体を認識するものがあるが、特に、人間の顔画像を認識させるものがある（例えば、特許文献１参照）。
【０００３】
撮像された画像から顔画像を認識させる方法としては、様々な方法が挙げられるが、先ずは、人の肌色の領域を抽出することで、認識性能を向上させることが考えられる。より具体的には、例えば、人の肌色を表現する画素値が色空間内で設定され、その色空間内における肌色を表現する画素値を持つ画素が抽出されることにより、顔画像の領域が特定されるというものである。
【特許文献１】ＷＯ２００３／０１９４７５
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、人の肌色が表現される色空間内の領域は、顔画像の領域のみからなる教師画像上に存在する画素の画素値が統計的に処理されたモデルとして設定される。
【０００５】
しかしながら、顔画像のみからなる画像においては、肌色ではない部位、例えば、目、歯、または髪の毛なども撮像されている。
【０００６】
これらの肌色ではない部分の画素値までもが使用されて、肌色が表現される色空間内のモデルが生成されることになるため、必ずしも正しいモデルができあがらないことがあった。
【０００７】
結果として、生成されたモデルを用いて、顔画像認識を行う際においても、肌色ではない画素値を抽出したり、肌色であるべき画素値を抽出できなかったりすることがあるので、顔画像の認識率を必ずしも向上させることができないことがあった。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、特に、入力画像における特定の色で表現される領域を正確に抽出できるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の画像処理装置は、教師画像を構成する第１の色空間で表現される画素値を、第２の色空間で表現される画素値に変換する変換手段と、変換手段により第２の色空間で表現される画素値により構成される教師画像より画素値を抽出する抽出手段と、抽出手段により抽出された画素値のうち、第２の色空間において、ばらつきの大きな画素値を除去する除去手段と、除去手段によりばらつきの大きな画素値が除外されている、抽出手段により抽出された、第２の色空間で所定の色を表現する画素値の分布モデルを生成する分布モデル生成手段とを備えることを特徴とする。
【００１０】
前記教師画像は、所定の色を表現する画素を多く含む画像とするようにすることができる。
【００１１】
前記教師画像は、複数の画像とするようにすることができる。
【００１２】
前記第１の色空間は、YUV色空間とすることができ、第２の色空間は、TSL色空間とるすようにすることができる。
【００１３】
前記分布モデルは、ガウシアンの楕円モデルとするようにすることができる。
【００１４】
前記分布モデルをテーブルとして格納させる格納手段をさらに設けるようにさせることができる。
【００１５】
前記第２の色空間で所定の色を表現する画素値の分布モデルを、第１の色空間で所定の色を表現する画素値の分布モデルに逆変換する逆変換手段をさらに設けるようにさせることができる。
【００１６】
本発明の第１の画像処理方法は、教師画像を構成する第１の色空間で表現される画素値を、第２の色空間で表現される画素値に変換する変換ステップと、変換ステップの処理により第２の色空間で表現される画素値により構成される教師画像より画素値を抽出する抽出ステップと、抽出ステップの処理により抽出された画素値のうち、第２の色空間において、ばらつきの大きな画素値を除去する除去ステップと、除去ステップの処理によりばらつきの大きな画素値が除外されている、抽出ステップの処理により抽出された、第２の色空間で所定の色を表現する画素値の分布モデルを生成する分布モデル生成ステップとを含むことを特徴とする。
【００１７】
本発明の第１の記録媒体のプログラムは、教師画像を構成する第１の色空間で表現される画素値を、第２の色空間で表現される画素値に変換する変換ステップと、変換ステップの処理により第２の色空間で表現される画素値により構成される教師画像より画素値を抽出する抽出ステップと、抽出ステップの処理により抽出された画素値のうち、第２の色空間において、ばらつきの大きな画素値を除去する除去ステップと、除去ステップの処理によりばらつきの大きな画素値が除外されている、抽出ステップの処理により抽出された、第２の色空間で所定の色を表現する画素値の分布モデルを生成する分布モデル生成ステップとを含むことを特徴とする。
【００１８】
本発明の第１のプログラムは、教師画像を構成する第１の色空間で表現される画素値を、第２の色空間で表現される画素値に変換する変換ステップと、変換ステップの処理により第２の色空間で表現される画素値により構成される教師画像より画素値を抽出する抽出ステップと、抽出ステップの処理により抽出された画素値のうち、第２の色空間において、ばらつきの大きな画素値を除去する除去ステップと、除去ステップの処理によりばらつきの大きな画素値が除外されている、抽出ステップの処理により抽出された、第２の色空間で所定の色を表現する画素値の分布モデルを生成する分布モデル生成ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００１９】
本発明の第２の画像処理装置は、入力画像を構成する第１の色空間で表現される画素値を、第２の色空間で表現される画素値に変換する変換手段と、第１の色空間で表現される画素値が、第２の色空間で表現される画素値に変換された画素値により構成される教師画像より画素値が抽出され、ばらつきの大きな画素値が除去された、第２の色空間で所定の色を表現する画素値の分布モデルからなるテーブルに基づいて、第２の色空間で表現される画素値からなる入力画像より、所定の色を表現する画素値を抽出する抽出手段と、抽出手段により抽出された画素値を、第１の色空間で表現される画素値に逆変換する逆変換手段とを備えることを特徴とする。
【００２０】
前記第１の色空間は、YUV色空間とすることができ、第２の色空間は、TSL色空間とするようにすることができる。
【００２１】
本発明の第２の画像処理方法は、入力画像を構成する第１の色空間で表現される画素値を、第２の色空間で表現される画素値に変換する変換ステップと、第１の色空間で表現される画素値が、第２の色空間で表現される画素値に変換された画素値により構成される教師画像より画素値が抽出され、ばらつきの大きな画素値が除去された、第２の色空間で所定の色を表現する画素値の分布モデルからなるテーブルに基づいて、第２の色空間で表現される画素値からなる入力画像より、所定の色を表現する画素値を抽出する抽出ステップと、抽出ステップの処理により抽出された画素値を、第１の色空間で表現される画素値に逆変換する逆変換ステップとを含むことを特徴とする。
【００２２】
本発明の第２の記録媒体のプログラムは、入力画像を構成する第１の色空間で表現される画素値を、第２の色空間で表現される画素値に変換する変換ステップと、第１の色空間で表現される画素値が、第２の色空間で表現される画素値に変換された画素値により構成される教師画像より画素値が抽出され、ばらつきの大きな画素値が除去された、第２の色空間で所定の色を表現する画素値の分布モデルからなるテーブルに基づいて、第２の色空間で表現される画素値からなる入力画像より、所定の色を表現する画素値を抽出する抽出ステップと、抽出ステップの処理により抽出された画素値を、第１の色空間で表現される画素値に逆変換する逆変換ステップとを含むことを特徴とする。
【００２３】
本発明の第２のプログラムは、入力画像を構成する第１の色空間で表現される画素値を、第２の色空間で表現される画素値に変換する変換ステップと、第１の色空間で表現される画素値が、第２の色空間で表現される画素値に変換された画素値により構成される教師画像より画素値が抽出され、ばらつきの大きな画素値が除去された、第２の色空間で所定の色を表現する画素値の分布モデルからなるテーブルに基づいて、第２の色空間で表現される画素値からなる入力画像より、所定の色を表現する画素値を抽出する抽出ステップと、抽出ステップの処理により抽出された画素値を、第１の色空間で表現される画素値に逆変換する逆変換ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００２４】
本発明の第１の画像処理装置および方法、並びにプログラムにおいては、教師画像を構成する第１の色空間で表現される画素値が、第２の色空間で表現される画素値に変換され、第２の色空間で表現される画素値により構成される教師画像より画素値が抽出され、抽出された画素値のうち、第２の色空間において、ばらつきの大きな画素値が除去され、ばらつきの大きな画素値が除外されている、抽出された、第２の色空間で所定の色を表現する画素値の分布モデルが生成される。
【００２５】
本発明の第２の画像処理装置および方法、並びにプログラムにおいては、入力画像を構成する第１の色空間で表現される画素値が、第２の色空間で表現される画素値に変換され、第１の色空間で表現される画素値が、第２の色空間で表現される画素値に変換された画素値により構成される教師画像より画素値が抽出され、ばらつきの大きな画素値が除去された、第２の色空間で所定の色を表現する画素値の分布モデルからなるテーブルに基づいて、第２の色空間で表現される画素値からなる入力画像より、所定の色を表現する画素値が抽出され、抽出された画素値が、第１の色空間で表現される画素値に逆変換される。
【００２６】
本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【発明の効果】
【００２７】
本発明によれば、入力画像における特定の色で表現される領域を正確に抽出することが可能となる。
【発明を実施するための最良の形態】
【００２８】
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００２９】
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
【００３０】
即ち、本発明の第１の画像処理装置は、教師画像を構成する第１の色空間で表現される画素値を、第２の色空間で表現される画素値に変換する変換手段（例えば、図１の色空間変換部１１）と、変換手段により第２の色空間で表現される画素値により構成される教師画像より画素値を抽出する抽出手段（例えば、図１の画素値抽出部１２）と、抽出手段により抽出された画素値のうち、第２の色空間において、ばらつきの大きな画素値を除去する除去手段（例えば、図１のアウトライヤ除去部１４）と、除去手段によりばらつきの大きな画素値が除外されている、抽出手段により抽出された、第２の色空間で所定の色を表現する画素値の分布モデルを生成する分布モデル生成手段（例えば、図１のモデル生成部１５）とを備えることを特徴とする。
【００３１】
前記分布モデルをテーブルとして格納させる格納手段（例えば、図１のテーブル記憶部２）をさらに設けるようにさせることができる。
【００３２】
前記第２の色空間で所定の色を表現する画素値の分布モデルを、第１の色空間で所定の色を表現する画素値の分布モデルに逆変換する逆変換手段（例えば、図１０の色空間逆変換部４１）をさらに設けるようにさせることができる。
【００３３】
本発明の第１の画像処理方法は、教師画像を構成する第１の色空間で表現される画素値を、第２の色空間で表現される画素値に変換する変換ステップ（例えば、図２のフローチャートにおけるステップＳ１の処理）と、変換ステップの処理により第２の色空間で表現される画素値により構成される教師画像より画素値を抽出する抽出ステップ（例えば、図２のフローチャートにおけるステップＳ２の処理）と、抽出ステップの処理により抽出された画素値のうち、第２の色空間において、ばらつきの大きな画素値を除去する除去ステップ（例えば、図２のフローチャートにおけるステップＳ４の処理）と、除去ステップの処理によりばらつきの大きな画素値が除外されている、抽出ステップの処理により抽出された、第２の色空間で所定の色を表現する画素値の分布モデルを生成する分布モデル生成ステップ（例えば、図２のフローチャートにおけるステップＳ５の処理）とを含むことを特徴とする。
【００３４】
本発明の第２の画像処理装置は、入力画像を構成する第１の色空間で表現される画素値を、第２の色空間で表現される画素値に変換する変換手段（例えば、図１の色空間変換部２１）と、第１の色空間で表現される画素値が、第２の色空間で表現される画素値に変換された画素値により構成される教師画像より画素値が抽出され、ばらつきの大きな画素値が除去された、第２の色空間で所定の色を表現する画素値の分布モデルからなるテーブルに基づいて、第２の色空間で表現される画素値からなる入力画像より、所定の色を表現する画素値を抽出する抽出手段（例えば、図１の肌色抽出部２２）と、抽出手段により抽出された画素値を、第１の色空間で表現される画素値に逆変換する逆変換手段（例えば、図１の色空間逆変換部２３）とを備えることを特徴とする。
【００３５】
本発明の第２の画像処理方法は、入力画像を構成する第１の色空間で表現される画素値を、第２の色空間で表現される画素値に変換する変換ステップ（例えば、図９のフローチャートにおけるステップＳ１１の処理）と、第１の色空間で表現される画素値が、第２の色空間で表現される画素値に変換された画素値により構成される教師画像より画素値が抽出され、ばらつきの大きな画素値が除去された、第２の色空間で所定の色を表現する画素値の分布モデルからなるテーブルに基づいて、第２の色空間で表現される画素値からなる入力画像より、所定の色を表現する画素値を抽出する抽出ステップ（例えば、図９のフローチャートにおけるステップＳ１２の処理）と、抽出ステップの処理により抽出された画素値を、第１の色空間で表現される画素値に逆変換する逆変換ステップ（例えば、図９のフローチャートにおけるステップＳ１３の処理）とを含むことを特徴とする。
【００３６】
尚、記録媒体、および、プログラムについては、画像処理方法と同様であるので、その説明は省略する。
【００３７】
図１は、本発明を適用した顔画像認識システムの一実施の形態の構成を示す図である。
【００３８】
学習装置１は、予め顔が表示されている領域のみの画像に加工された様々な顔画像に基づいた学習処理を実行することにより、各顔画像を構成する画素の画素値の肌色を表現する色空間のモデルを統計的に生成すると共に、生成したモデルに対応する画素値のテーブルをテーブル記憶部２に記憶させる。
【００３９】
認識装置３は、テーブル記憶部２に記憶されている、学習装置１の学習により得られた肌色の画素値のテーブルを参照し、入力された画像中における顔画像が表示された領域の画素を抽出し、顔画像のみの領域を選択的に抽出して表示する。
【００４０】
学習装置１の色空間変換部１１は、YUV色空間により表現されている、予め顔が表示されている領域のみの画像に加工された顔画像の各画素値を、TSL色空間の画素値に変換し、画素値抽出部１２に供給する。尚、YUV色空間およびTSL色空間については、詳細を後述する。
【００４１】
画素値抽出部１２は、色空間変換部１１より供給されたTSL色空間に画素値が変換されている顔画像の各画素値を抽出して分散計算部１３およびアウトライヤ除去部１４に供給する。
【００４２】
分散計算部１３は、画素値抽出部１２より供給された各画素の画素値について、TSL色空間における分散を求めてアウトライヤ除去部１４に供給する。
【００４３】
アウトライヤ除去部１４は、分散計算部１３より供給されてきた各画素の分散値と所定の閾値とを比較し、所定の閾値よりも大きな分散値を持つ画素の画素値をアウトライヤ、すなわち、肌色を表現する画素値ではないものとみなし、画素値抽出部１２より供給されてきた画素値から除去し、残された画素値をモデル生成部１５に供給する。
【００４４】
モデル生成部１５は、アウトライヤ除去部１４より供給されてくる、アウトライヤが除去された画素値に基づいて、TSL色空間における画素値の分布をガウシアンの楕円モデルとして求め、求めたモデルをテーブル生成部１６に供給する。
【００４５】
テーブル生成部１６は、モデル生成部１５より供給されてくるTSL色空間における楕円モデルに属する画素値をテーブルに変換し、テーブル記憶部２に記憶させる。
【００４６】
テーブル記憶部２には、複数の肌色が撮像されている教師画像に基づいて、学習装置１の学習処理により統計的に求められるTSL色空間における肌色を表現する画素値のテーブルが記憶される。
【００４７】
認識装置３の色空間変換部２１は、基本的に学習装置１の色空間変換部１１と同様の機能を備えたものであり、YUV色空間の画素値で表現されている入力画像（顔画像を抽出しようとする画像）の色空間をTSL色空間の画素値に変換し、肌色抽出部２２に供給する。
【００４８】
肌色抽出部２２は、テーブル記憶部２に記憶されている肌色のモデルに属するTSL色空間の画素値を参照して、色空間変換部２１より供給されたTSL色空間の画素値と比較し、肌色のモデルに属する画素を肌色の画素として抽出し、色空間逆変換部２３に供給する。
【００４９】
色空間逆変換部２３は、肌色抽出部２２より供給されてきた肌色を表現しているとみなされた画素の画素値をTSL色空間の画素値からYUV色空間の画素値に変換し、画像生成部２４に供給する。
【００５０】
画像生成部２４は、色空間逆変換部２３より供給されたYUV色空間の画素値で色が表現されている肌色の部分の画素からなる画像を生成し、顔画像として表示する。尚、図示しないが、画像生成部２４に代えて、顔画像認識機能を備えた構成を備えることで、顔画像を認識させるようにしても良い。
【００５１】
次に、図２のフローチャートを参照して学習装置１による学習処理について説明する。
【００５２】
ステップＳ１において、色空間変換部１１は、学習モデル画像となる予め人間の肌色部分が多く含まれる部分のみを加工するなどして生成された、YUV色空間の画素値で表現された画像の各画素について、画素値をTSL色空間の画素値に変換し、画素値抽出部１２に供給する。
【００５３】
ここで、YUV色空間からTSL色空間の画素値に変換する理由について説明する。
【００５４】
色空間の種類には、複数あり、例えば、YUV色空間、RGB色空間、HSV色空間、およびTSL色空間などがある。
【００５５】
YUV色空間の画素値の表現方法を基準とした場合、RGB色空間、HSV色空間、およびTSL色空間は、それぞれ以下の式（１）乃至（３）で表現されることになる。
【００５６】
R=Y＋2V−255
G=Y−1.02×V−0.38×U ＋0.7×255
B=Y＋2×U−255
・・・（１）
【００５７】
[0＜V＜1]
V=max(R，G，B)
[0＜S＜1]
X = min( R, G, B )として、
S =(V−X)/V
[0＜H＜360]
r=(V−R)/(V−X)
g=(V−G)/(V−X)
b=(V−B)/(V−X)
R=Vの場合  H=(π/3)×(b−g)
G=Vの場合  H=(π/3)×(2＋r−b)
B=Vの場合  H =(π/3)×(4＋g−r)
・・・（２）
【００５８】
T=arctan(r'/g')/2π＋1/4（g'＞0）
arctan(r'/g')/2π＋3/4（g'＜0）
0（g' = 0）
S=sqrt(9/5 (r'2 ＋g'2))
L=0.299×R＋0.587×G＋0.114×B
r'=R/(R＋G＋B)−1/3
g'=G/(R＋G＋B)−1/3
・・・（３）
【００５９】
ここでは、加工されるなどして生成された、YUV色空間の画素値で表現された予め人間の肌色部分が多く含まれる部分のみの画像を用いた学習処理により統計的に肌色のモデルが求められ、そのモデルに対応する画素値がテーブル化される。従って、学習処理において、肌色のモデル化が容易であることが求められることになる。
【００６０】
例えば、YUV色空間、RGB色空間、HSV色空間、およびTSL色空間のそれぞれの色空間の画素値により表現される肌色を多く含む複数の画像の画素値の分布が図３乃至図６に示されている。図３乃至図６においては、それぞれ左部にYUV色空間、RGB色空間、HSV色空間、およびTSL色空間の、肌色部分の多い画像の画素値の分布が示されており、右部は、それぞれY方向の平均値におけるUV平面上の分布、Ｂ方向の平均値におけるGR平面上の分布、V方向の平均値におけるHS平面上の分布、およびL方向の平均値におけるTS平面上の分布が示されている。また、各図における×印が、画素毎の画素値を示している。さらに、各画素の画素値は、正規化された値が用いられている。
【００６１】
YUV色空間の場合、図３で示されるように、分布が空間内の様々な方向から見ても楕円状となっているため統計的に数学的な手法を用いて楕円モデルとするのは比較的容易な分布であるとも考えることができる。しかしながら、肌色以外の目、歯、または髪の色なども分布の中に含まれていることから、肌色のモデルとして利用した場合、肌色以外の色もモデルに含むことになるため、YUV色空間における分布は、肌色のモデルを構成するには適した分布であるとはいえない。
【００６２】
また、RGB色空間の場合、図４で示されるように、分布が空間内において複雑な形状となっていると共に、肌色以外の色についても含んだ分布であるため、統計的に数学的な手法を用いてモデル化するのは困難である。
【００６３】
さらに、HSV色空間の場合、図５で示されるように、分布が空間内にある程度まとまっており、Hが0＜H＜0.3近傍の範囲であって、Sが0＜S＜0.4および0.6＜S近傍の範囲においては、肌色以外の画素値、すなわち、アウトライヤが存在するため、モデル化によりある程度肌色を特定することが可能であるように思える。しかしながら、形状が楕円などの単純形状ではないため、統計的に数学的手法を用いてモデル化するには、かなり複雑なモデルに設定される恐れがある。
【００６４】
一方、TSL色空間の場合、図６で示されるように、分布が空間内にある程度まとまっており、Tが0＜T＜0.2近傍の範囲であって、Sが0＜S＜0.4近傍の範囲においては、肌色以外の画素値、すなわち、アウトライヤが存在すると共に、形状も楕円などの単純形状となるため統計的に数学的手法を用いてモデル化するのが比較的容易である。
【００６５】
このため、YUV色空間の画素値は、肌色の画素値のモデル化に比較的適した色空間としてTSL色空間に変換される。
【００６６】
ここで、図２のフローチャートの説明に戻る。
【００６７】
ステップＳ２において、画素値抽出部１２は、色空間変換部１１より供給されたTSL色空間の画素値に変換された各画素の画素値を抽出し、分散計算部１３およびアウトライヤ除去部１４に供給する。
【００６８】
ステップＳ３において、分散計算部１３は、各画素値について、TSL色空間内における分散値を計算し、計算結果をアウトライヤ除去部１４に供給する。
【００６９】
ステップＳ４において、アウトライヤ除去部１４は、分散計算部１３より供給されてくる各画素の分散値に基づいて、画素値抽出部１２より供給されてくる画素の画素値からアウトライヤとなる画素の画素値を除去し、モデル生成部１５に供給する。より具体的には、アウトライヤ除去部１４は、各画素の分散値と所定の閾値とを比較し、所定の閾値よりも大きな分散値を持つ画素の画素値をアウトライヤであるものとみなして除去する。
【００７０】
ステップＳ５において、モデル生成部１５は、アウトライヤが除去されたTSL色空間の画素値のTSL色空間における分布モデルを生成し、テーブル生成部１６に供給する。より詳細には、モデル生成部１５は、アウトライヤが除去されたTSL色空間の画素値のTSL色空間における分布を生成し、ガウシアンの楕円モデルを演算により求める。
【００７１】
ステップＳ６において、テーブル生成部１６は、モデル生成部１５より供給されてくる数学的な肌色のTSL色空間におけるモデルに基づいて、肌色を定義するための画素値を示すテーブルを生成し、ステップＳ７において、テーブル記憶部２に記憶させる。
【００７２】
上述したステップＳ４の処理におけるアウトライヤが除去されることにより、TSL色空間における肌色のモデルを正確に構成することが可能となる。
【００７３】
すなわち、例えば、アウトライヤが除去されることなく、TSL色空間における肌色の楕円モデルが生成されると、図７で示されるように本来のモデルよりも広い範囲がモデル化されてしまう。図７においては、左部にTS平面における画素値の分布が示されており、アウトライヤをも含む状態でモデル化したものが図７の中央部に示されたモデルMである。図７の右部には、TSL色空間における分布と求められたモデルMとがオーバーレイ表示されているが、分布に比べて求められたモデルMが大きな範囲に設定されていることがわかる。
【００７４】
このようなモデルMに基づいて、肌色の画素値が定義されると、肌色以外の色を含んでしまう恐れがあり、正しく肌色が定義できない恐れがある。
【００７５】
一方、図８の左部で示されるように、TS平面における画素値の分布からアウトライヤ、すなわち、図８の左部における領域Aの範囲内に存在するような、ばらつきの大きな画素値が除去された状態で求められた楕円モデルが、図８の中央部に示されているモデルM’である。図８の右部に分布とモデルM’がオーバーレイ表示されているが、モデルM’が分布形状に似た形状となっているため、TSL色空間における肌色のモデルを正確に定義することが可能となる。
【００７６】
つまり、図８の左部における領域Aの範囲内に存在する画素値は、肌色ではなく目、歯、または、髪の毛といったような色である可能性が高く、そのような肌色以外の色を構成する画素値が除去され、本来の肌色を示す画素値のみから肌色のTSL色空間内の画素値のモデルが求められることになる。
【００７７】
尚、この処理は、換言すれば、学習モデル画像を生成する際に、正確に肌色以外の部分を除去していることと同様の処理であると言える。ただし、このようにアウトライヤとなる肌色以外の画素を、学習モデル画像を生成する際に除去するのは人手により除去するしかなく、手間の掛かる作業であるが、上述した統計的な処理により、容易に肌色以外の画素を効率良く除去することが可能となる。
【００７８】
結果として、顔画像を認識するために利用される肌色を定義するテーブルを正確に生成することが可能となるので、正しく顔画像を抽出することが可能となる。
【００７９】
また、アウトライヤは、正しい肌色を示す画素値のサンプル数が増えれば増えるほど、正確に除去されることになるので、より多くの学習モデル画像による学習処理を繰り返すことにより、さらに、正確に肌色を定義することが可能となる。
【００８０】
以上の処理により、学習モデル画像は、肌色の画素値を定義するモデルを構成し易い色空間に変換され、さらに、アウトライヤとなる画素値を除去した後に肌色のモデルが構成されるので、肌色を定義するテーブルをモデルに基づいて正確に生成することが可能となる。
【００８１】
次に、図９のフローチャートを参照して、認識装置３による認識処理について説明する。
【００８２】
ステップＳ１１において、色空間変換部２１は、入力画像の画素値の色空間をYUV色空間からTSL色空間に変換し、肌色抽出部２２に供給する。
【００８３】
ステップＳ１２において、肌色抽出部２２は、テーブル記憶部２に記憶されている上述した学習処理により生成された肌色を定義するテーブルを参照して、色空間変換部２１より供給された、TSL色空間の画素値に変換されている各画素の画素値と比較し、肌色を定義する画素値である画素のみを抽出して色空間逆変換部２３に供給する。
【００８４】
ステップＳ１３において、色空間逆変換部２３は、肌色抽出部２２より供給された肌色と定義された画素値を持った画素の画素値のみをTSL色空間の画素値からYUV色空間の画素値に変換し、画像生成部２４に供給する。
【００８５】
ステップＳ１４において、画像生成部２４は、肌色の画素値を持つ画素として抽出され、YUV色空間の画素値に変換された画素からなる画像を生成し、表示する。あるいは、画像生成部２４に代えて、画像認識機能を備えた構成により顔画像が認識される。
【００８６】
以上の処理により、上述した学習処理で生成された肌色が定義されたテーブルに基づいて、肌色の画素値を持つ画素のみが抽出されることになるので、入力画像のうち正確に肌色部分のみが抽出されることになり、顔画像をより正確に抽出することが可能となる。また、顔画像を正確に抽出することが可能となるので、例えば、顔画像に基づいた認識処理の認識率を向上させることが可能となる。
【００８７】
以上においては、学習モデル画像の色空間を、肌色のモデルを構成しやすい色空間に変換し、変換された色空間の画素値で生成されたモデルに基づいてテーブルを生成するようにしていたが、例えば、肌色のモデルが生成された時点で、モデルに対応する画素値の色空間を逆変換し、学習モデル画像の色空間の画素値にした状態で肌色を定義するテーブルを生成するようにしても良い。
【００８８】
図１０は、肌色を定義するモデルが生成された後、学習モデル画像の色空間の画素値に逆変換してテーブルを生成するようにした学習装置１と対応する認識装置３からなる顔画像認識システムの一実施の形態の構成を示している。尚、図１の学習装置１および認識装置３における構成と同一の構成については、同一の符号を付しており、その説明は適宜省略するものとする。
【００８９】
図１０の学習装置１において、図１の学習装置１と異なる点は、テーブル生成部１６に代えて、新たに色空間逆変換部４１、およびテーブル生成部４２が設けられ、さらに、異なる学習モデル画像と同一のYUV色空間の画素値からなる肌色を定義するテーブルを記憶するテーブル記憶部３１が設けられている点である。また、図１０の認識装置３において、図１の認識装置３と異なる点は、色空間変換部２１、および色空間逆変換部２３が省かれて、肌色抽出部２２に代えて肌色抽出部５１が設けられている点である。
【００９０】
色空間逆変換部４１は、モデル生成部１５より供給されてくるモデルに基づいて、肌色を定義するTSL色空間の画素値を、YUV色空間の画素値に変換しテーブル生成部４２に供給する。
【００９１】
テーブル生成部４２は、色空間逆変換部４１より供給されてくるTSL色空間における楕円モデルに属する画素値からYUV色空間の画素値に逆変換された画素値に基づいて、肌色のYUV色空間の画素値を定義するテーブルを生成し、テーブル記憶部３１に記憶させる。
【００９２】
テーブル記憶部３１には、肌色が撮像されている複数の教師画像に基づいて、学習装置１の学習処理により統計的に求められるYUV色空間における肌色を表現する画素値のテーブルが記憶される。
【００９３】
肌色抽出部５１は、テーブル記憶部３１に記憶されているYUV色空間の画素値からなる肌色を定義するテーブルを参照して、YUV色空間の画素値からなる入力画像の各画素について、肌色を定義する画素値を持つ画素を抽出して画像生成部２４に供給する。
【００９４】
次に、図１１のフローチャートを参照して、図１０の学習装置１による学習処理について説明する。尚、図１１のフローチャートにおけるステップＳ２１乃至Ｓ２５の処理については、図２のフローチャートを参照して説明したステップＳ１乃至Ｓ５の処理と同様であるので、その説明は省略するものとする。
【００９５】
ステップＳ２６において、色空間逆変換部４１は、モデル生成部１５より供給されてくる数学的なモデルに基づいて、肌色を定義するTSL色空間の画素値を、YUV色空間の画素値に変換しテーブル生成部４２に供給する。
【００９６】
ステップＳ２７において、テーブル生成部４２は、色空間逆変換部４１より供給されてくるYUV色空間における肌色のモデルに基づいて、肌色を定義するための画素値を示すYUV色空間の画素値からなるテーブルを生成し、ステップＳ２８において、テーブル記憶部３１に記憶させる。
【００９７】
以上の処理により、学習モデル画像の色空間の画素値に対応した肌色を定義するテーブルを生成することが可能となる。
【００９８】
次に、図１２のフローチャートを参照して、図１０の認識装置３による認識処理について説明する。
【００９９】
ステップＳ４１において、肌色抽出部５１は、テーブル記憶部３１に記憶されている上述した学習処理により生成されたYUV色空間の画素値からなる肌色を定義するテーブルを参照して、入力画像のYUV色空間の画素値と比較し、肌色を定義する画素値である画素のみを抽出して画像生成部２４に供給する。
【０１００】
ステップＳ４２において、画像生成部２４は、肌色の画素値を持つ画素として抽出されたYUV色空間の画素値の画素からなる画像を生成し、表示する。あるいは、画像生成部２４に代えて、画像認識機能を備えた構成により顔画像が認識される。
【０１０１】
以上の処理により、肌色の画素を抽出する際、色空間を変換する処理や逆変換する処理を実行する必要がなくなるため、顔画像をより高速に、かつ、正確に抽出することが可能となる。
【０１０２】
尚、以上においては、肌色を抽出する場合について説明してきたが、肌色以外の色を画像中から抽出することも同様の手法によって可能である。肌色以外の色の場合については、抽出しようとする色の分布がより幾何学的に単純な形状となるような色空間に変換した上で、抽出しようとする色を定義するモデルを生成することで、様々な色を定義するテーブルを効率良く生成することが可能になると共に、そのテーブルを用いることにより様々な色を選択的に抽出することが可能となる。
【０１０３】
以上によれば、抽出したい色の分布が、幾何学的により単純な形状となるように、色空間を変換し、さらに、アウトライヤを除去した後、抽出したい色のモデルを定義することで、入力画像から抽出したい色の画素を正確に抽出することが可能となる。
【０１０４】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０１０５】
図１３は、図１，図１０の学習装置１、および認識装置３の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU１０１は、パーソナルコンピュータの全体の動作を制御する。また、CPU１０１は、バス１０４および入出力インタフェース１０５を介してユーザからキーボードやマウスなどからなる入力部１０６から指令が入力されると、それに対応してROM(Read Only Memory)１０２に格納されているプログラムを実行する。あるいはまた、CPU１０１は、ドライブ１１０に接続された磁気ディスク１２１、光ディスク１２２、光磁気ディスク１２３、または半導体メモリ１２４から読み出され、記憶部１０８にインストールされたプログラムを、RAM(Random Access Memory) １０３にロードして実行する。これにより、上述した図１，図１０の学習装置１、および認識装置３の機能が、ソフトウェアにより実現されている。さらに、CPU１０１は、通信部１０９を制御して、外部と通信し、データの授受を実行する。
【０１０６】
プログラムが記録されている記録媒体は、図１３に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１２１（フレキシブルディスクを含む）、光ディスク１２２（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク１２３（MD（Mini-Disc）を含む）、もしくは半導体メモリ１２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０１０７】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１０８】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【０１０９】
【図１】本発明を適用した顔認識システムの一実施の形態の構成を説明する図である。
【図２】図１の学習装置による学習処理を説明するフローチャートである。
【図３】YUV色空間における肌色を多く含む画像の画素値の分布の例を示す図である。
【図４】RGB色空間における肌色を多く含む画像の画素値の分布の例を示す図である。
【図５】HSV色空間における肌色を多く含む画像の画素値の分布の例を示す図である。
【図６】TSL色空間における肌色を多く含む画像の画素値の分布の例を示す図である。
【図７】アウトライヤを除去せずにTSL色空間における肌色を多く含む画像の画素値の分布に基づいた肌色を定義するモデルを生成する例を説明する図である。
【図８】アウトライヤを除去してTSL色空間における肌色を多く含む画像の画素値の分布に基づいた肌色を定義するモデルを生成する例を説明する図である。
【図９】図１の認識装置による認識処理を説明するフローチャートである。
【図１０】本発明を適用したその他の顔認識システムの一実施の形態の構成を説明する図である。
【図１１】図１０の学習装置による学習処理を説明するフローチャートである。
【図１２】図１０の認識装置による認識処理を説明するフローチャートである。
【図１３】記録媒体を説明する図である。
【符号の説明】
【０１１０】
１  学習装置，  ２  テーブル記憶部，  ３  認識装置，  １１  色空間変換部，  １２  画素値抽出部，  １３  分散計算部，  １４  アウトライヤ除去部，  １５  モデル生成部，  １６  テーブル生成部，  ２１  色空間変換部，  ２２  肌色抽出部，  ２３  色空間逆変換部，  ２４  画像生成部，  ３１  テーブル記憶部，  ４１  色空間逆変換部，  ４２  テーブル生成部
【図１】
2006313468.tif 000003
【図２】
2006313468.tif 000004
【図３】
2006313468.tif 000005
【図４】
2006313468.tif 000006
【図５】
2006313468.tif 000007
【図６】
2006313468.tif 000008
【図７】
2006313468.tif 000009
【図８】
2006313468.tif 000010
【図９】
2006313468.tif 000011
【図１０】
2006313468.tif 000012
【図１１】
2006313468.tif 000013
【図１２】
2006313468.tif 000014
【図１３】
2006313468.tif 000015