(57)【要約】【課題】  画像中の複数の領域を正確に識別することができる画像処理装置を提供する。【解決手段】  両目認識部１０１は画像メモリ２０１に記憶された顔画像における両目の位置を認識し、肌・髪標本領域決定部１０２は肌標本領域及び髪標本領域を決定し、肌・髪標本取得部１０３は肌標本及び髪標本を取得し、肌・合成モデル作成部１０４は肌領域及び肌領域と髪領域とを合成した合成領域の平均ベクトル及び共分散行列を求めて肌モデル及び合成モデルを作成し、確率密度関数演算部１０５は画素データが肌領域に属する確率と合成領域に属する確率とを求め、領域判別部１０６は肌領域、合成領域及び背景領域を判別し、髪領域識別部１０７は合成領域から肌領域を減算した髪領域を求め、肌・合成モデル更新部１０９は新たに平均ベクトルと共分散行列共分散行列とを求めて肌・髪モデルを更新する。【選択図】      図３
2005092639.tif 000002
【特許請求の範囲】
【請求項１】
画像中に含まれる第１の領域と第２の領域とを識別する画像処理装置であって、
前記第１の領域に含まれる第１の標本領域及び前記第２の領域に含まれる第２の標本領域を決定する標本領域決定手段と、
前記標本領域決定手段によって決定された第２の標本領域の画像データに基づいて、前記第２の領域の特徴ベクトルから第１の数値を求めるとともに、前記標本領域決定手段によって決定された第１の標本領域及び第２の標本領域の画像データに基づいて、前記第１の領域と前記第２の領域とを合成した合成領域の特徴ベクトルから第２の数値を求める算出手段と、
前記算出手段によって算出された第１の数値から前記第２の領域における密度分布を推定するとともに、前記算出手段によって算出された第２の数値から前記合成領域における密度分布を推定し、推定された各密度分布から前記合成領域及び前記第２の領域を判別する領域判別手段と、
前記領域判別手段によって判別された前記合成領域から前記第２の領域を減算し、前記合成領域から前記第２の領域を減算した領域を第１の領域として識別する領域識別手段と、
前記領域識別手段によって識別された第１の領域と前記第２の領域とを合成した合成領域の特徴ベクトルから第２の数値を求めるとともに、前記第２の領域の特徴ベクトルから第１の数値を求めて前記第１の数値及び前記第２の数値を更新する更新手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記算出手段は、前記標本領域決定手段によって決定された第２の標本領域の画像データに基づいて、前記第２の領域の特徴ベクトルから平均ベクトルと共分散行列とを求めるとともに、前記標本領域決定手段によって決定された第１の標本領域及び第２の標本領域の画像データに基づいて、前記第１の領域と前記第２の領域とを合成した合成領域の特徴ベクトルから平均ベクトルと共分散行列とを求め、
領域判別手段は、算出手段によって算出された第２の領域の平均ベクトルと共分散行列とから前記第２の領域における密度分布を推定するとともに、算出手段によって算出された合成領域の平均ベクトルと共分散行列とから前記合成領域における密度分布を推定し、推定された各密度分布から前記合成領域及び前記第２の領域を判別し、
前記領域識別手段は、前記領域判別手段によって判別された前記合成領域から前記第２の領域を減算し、前記合成領域から前記第２の領域を減算した領域を第１の領域として識別し、
前記更新手段は、前記領域識別手段によって識別された第１の領域と第２の領域とを合成した合成領域の特徴ベクトルから平均ベクトルと共分散行列とを求めるとともに、前記第２の領域の特徴ベクトルから平均ベクトルと共分散行列とを求めて、前記合成領域の平均ベクトル及び共分散行列と前記第２の領域の平均ベクトル及び共分散行列とを更新することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記領域判別手段、前記領域識別手段及び前記更新手段による処理は、複数回数繰り返し実行されることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記画像中の画素データｘの前記合成領域における確率密度関数をＰH（ｘ）とし、前記第２の領域における確率密度関数をＰS（ｘ）とし、閾値をＰthとすると、
前記領域判別手段は、任意の画素データｘiがＰS（ｘi）＞ＰH（ｘi）＞Ｐthの条件を満たす場合、当該画素データｘiは第２の領域であると判断し、任意の画素データｘiがＰH（ｘi）＞ＰS（ｘi）＞Ｐthの条件を満たす場合、当該画素データｘiは合成領域であると判断することを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記第１の領域は、人体の頭部の髪に相当する髪領域であり、前記第２の領域は、人体の頭部の肌に相当する肌領域であり、
前記標本領域決定手段は、前記髪領域に含まれる髪標本領域及び前記肌領域に含まれる肌標本領域を決定し、
前記算出手段は、前記標本領域決定手段によって決定された肌標本領域の画像データに基づいて、前記肌領域の特徴ベクトルから平均ベクトルと共分散行列とを求めるとともに、前記標本領域決定手段によって決定された髪標本領域及び肌標本領域の画像データに基づいて、前記髪領域と前記肌領域とを合成した合成領域の特徴ベクトルから平均ベクトルと共分散行列とを求め、
領域判別手段は、算出手段によって算出された肌領域の平均ベクトルと共分散行列とから前記第肌領域における密度分布を推定するとともに、算出手段によって算出された合成領域の平均ベクトルと共分散行列とから前記合成領域における密度分布を推定し、推定された各密度分布から前記合成領域及び前記肌領域を判別し、
前記領域識別手段は、前記領域判別手段によって判別された前記合成領域から前記肌領域を減算し、前記合成領域から前記肌領域を減算した領域を髪領域として識別し、
前記更新手段は、前記領域識別手段によって識別された髪領域と肌領域とを合成した合成領域の特徴ベクトルから平均ベクトルと共分散行列とを求めるとともに、前記肌領域の特徴ベクトルから平均ベクトルと共分散行列とを求めて、前記合成領域の平均ベクトル及び共分散行列と前記肌領域の平均ベクトル及び共分散行列とを更新することを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
前記人体の頭部における両目の位置を認識する認識手段をさらに備え、
前記標本領域決定手段は、前記認識手段によって認識された両目の位置に基づいて前記髪標本領域及び前記肌標本領域を決定することを特徴とする請求項５記載の画像処理装置。
【請求項７】
画像中に含まれる第１の領域と第２の領域とを識別する画像処理方法であって、
コンピュータが、前記第１の領域に含まれる第１の標本領域及び前記第２の領域に含まれる第２の標本領域を決定する標本領域決定ステップと、
コンピュータが、前記標本領域決定ステップにおいて決定された第２の標本領域の画像データに基づいて、前記第２の領域の特徴ベクトルから第１の数値を求めるとともに、前記標本領域決定ステップにおいて決定された第１の標本領域及び第２の標本領域の画像データに基づいて、前記第１の領域と前記第２の領域とを合成した合成領域の特徴ベクトルから第２の数値を求める算出ステップと、
コンピュータが、前記算出ステップにおいて算出された第１の数値から前記第２の領域における密度分布を推定するとともに、前記算出ステップにおいて算出された第２の数値から前記合成領域における密度分布を推定し、推定された各密度分布から前記合成領域及び前記第２の領域を判別する領域判別ステップと、
コンピュータが、前記領域判別ステップにおいて判別された前記合成領域から前記第２の領域を減算し、前記合成領域から前記第２の領域を減算した領域を第１の領域として識別する領域識別ステップと、
コンピュータが、前記領域識別ステップにおいて識別された第１の領域と前記第２の領域とを合成した合成領域の特徴ベクトルから第２の数値を求めるとともに、前記第２の領域の特徴ベクトルから第１の数値を求めて前記第１の数値及び前記第２の数値を更新する更新ステップとを含むことを特徴とする画像処理方法。
【請求項８】
画像中に含まれる第１の領域と第２の領域とを識別するための画像処理プログラムであって、
前記第１の領域に含まれる第１の標本領域及び前記第２の領域に含まれる第２の標本領域を決定する標本領域決定手段と、
前記標本領域決定手段によって決定された第２の標本領域の画像データに基づいて、前記第２の領域の特徴ベクトルから第１の数値を求めるとともに、前記標本領域決定手段によって決定された第１の標本領域及び第２の標本領域の画像データに基づいて、前記第１の領域と前記第２の領域とを合成した合成領域の特徴ベクトルから第２の数値を求める算出手段と、
前記算出手段によって算出された第１の数値から前記第２の領域における密度分布を推定するとともに、前記算出手段によって算出された第２の数値から前記合成領域における密度分布を推定し、推定された各密度分布から前記合成領域及び前記第２の領域を判別する領域判別手段と、
前記領域判別手段によって判別された前記合成領域から前記第２の領域を減算し、前記合成領域から前記第２の領域を減算した領域を第１の領域として識別する領域識別手段と、
前記領域識別手段によって識別された第１の領域と前記第２の領域とを合成した合成領域の特徴ベクトルから第２の数値を求めるとともに、前記第２の領域の特徴ベクトルから第１の数値を求めて前記第１の数値及び前記第２の数値を更新する更新手段としてコンピュータを機能させることを特徴とする画像処理プログラム。
【請求項９】
画像中に含まれる第１の領域と第２の領域とを識別するための画像処理プログラムを記録した記録媒体であって、
前記第１の領域に含まれる第１の標本領域及び前記第２の領域に含まれる第２の標本領域を決定する標本領域決定手段と、
前記標本領域決定手段によって決定された第２の標本領域の画像データに基づいて、前記第２の領域の特徴ベクトルから第１の数値を求めるとともに、前記標本領域決定手段によって決定された第１の標本領域及び第２の標本領域の画像データに基づいて、前記第１の領域と前記第２の領域とを合成した合成領域の特徴ベクトルから第２の数値を求める算出手段と、
前記算出手段によって算出された第１の数値から前記第２の領域における密度分布を推定するとともに、前記算出手段によって算出された第２の数値から前記合成領域における密度分布を推定し、推定された各密度分布から前記合成領域及び前記第２の領域を判別する領域判別手段と、
前記領域判別手段によって判別された前記合成領域から前記第２の領域を減算し、前記合成領域から前記第２の領域を減算した領域を第１の領域として識別する領域識別手段と、
前記領域識別手段によって識別された第１の領域と前記第２の領域とを合成した合成領域の特徴ベクトルから第２の数値を求めるとともに、前記第２の領域の特徴ベクトルから第１の数値を求めて前記第１の数値及び前記第２の数値を更新する更新手段としてコンピュータを機能させることを特徴とする画像処理プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中に含まれる複数の領域を識別する画像処理装置、画像処理方法、画像処理プログラム及びそのプログラムを記録した記録媒体に関するものである。
【背景技術】
【０００２】
従来、人物の顔画像を撮影してコンピュータに取り込み、所定の画像処理を施すことにより、仮想的に髪型や髪の色をシミュレーションする画像処理装置が知られている。このような画像処理装置では、実際に人物の髪型や髪の色を変える必要がなく、コンピュータの画面上で髪型や髪の色の変化を確認することができる。
【０００３】
ところで、人物を撮影した画像中から顔や頭部を検出する方法としては、色空間内の特定の領域における画素を抽出する方法が一般的であるが、この方法では、陰影、ノイズ、テクスチャ等の影響を受けやすく、正確に特定の領域を抽出するのは困難である。
【０００４】
そこで、画像中の各画素の位置情報、色情報、テクスチャ情報等の各種属性を各次元の成分とする多次元データとして考え、この多次元データのクラスタリングにより目的とする画像内の領域を抽出する方法が提案されている（例えば、非特許文献１参照）。
【０００５】
ここで、確率密度関数の大きさからデータの属するクラスタを決定するクラスタリング手法がある。図７は、１次元離散データとその確率密度関数を表す図である。図７に示す一次元離散データの分布（図７ではパルス状に表している）において、密な領域Ｐと疎な領域Ｑとが混在している場合を考えると、データが密な領域Ｐでは確率密度関数が高い値をとり、疎な領域Ｑでは確率密度関数が小さな値をとることとなる。１次元離散データが、２つの性質を持つデータＡとデータＢとが混合されたものであるとすると、それぞれの性質を示す確率分布関数を足し合わせることによって、データ全体の確率密度関数を近似することができる。このデータＡ及びＢの確率密度関数をＰA（ｘ）及びＰB（ｘ）とすると、以下の（１）式及び（２）式の条件でデータを判別することができる。
ＰA（ｘ）≧ＰB（ｘ）・・・・（１）
ＰA（ｘ）＜ＰB（ｘ）・・・・（２）
【０００６】
上記（１）式の場合には、データがクラスタＡに属し、上記（２）式の場合には、データがクラスタＢに属すことになる。
【０００７】
中心極限定理により、確率密度関数としてガウス分布を用いるのが妥当と考えられる。この場合には確率密度関数を混合ガウス分布として表すことができ、分布を決定するための手法の一つにＥＭアルゴリズムがある。このＥＭアルゴリズムは、容易に高次元の問題に拡張することができ、図７の１次元離散データの分布で等確率の領域を考えると、図８に示すように、データＡ及びデータＢは、１次元では区間、２次元では楕円、３次元では楕円体として表すことができる。
【０００８】
この手法の特徴は、画像中のテクスチャ領域や明度変化のある領域も一つの領域として認識できることにある。したがって、ＥＭアルゴリズムを用いると、陰影、ノイズ、テクスチャ等の影響を受けずに色空間内の特定の領域における画素を抽出することができ、画像中から顔や頭部を検出することができる。
【非特許文献１】Belongie,S.,Carson,C.,Greenspan,H.,Malik,J.,Color-and Texture-Base Image Segmentation Using EM and Its Application to Content-Based Image Retrieval,Proc. ICCV 98 pp.675-682,1998
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、図９（ａ）に示すように、データが多次元空間で複数の凸の分布ａ，ｂ，ｃを合成したものであれば、確率密度関数の近似に基づくデータの判別が有効であるが、図９（ｂ）に示すように、データが多次元空間で凸の分布ｄと凹の分布ｅとが組み合わされた分布の場合には、適切な確率密度関数を設定するのは容易ではない。例えば、人体の頭部を表す画像は、凹の分布である髪に相当する第１の領域と、凸の分布である顔（肌）に相当する第２の領域とが組み合わされた分布となり、これら第１の領域と第２の領域とを識別するのは困難である。なお、凹の分布を複数の凸の分布に分けることも可能であるが、この場合、近似する凸分布の数の決定方法が問題となる。不適切な確率密度関数の近似から求められる判定結果は不正確なものとなり、目標とする領域を正確に認識することは困難である。
【００１０】
本発明は、上記の問題を解決するためになされたもので、画像中における複数の領域を正確に識別することができる画像処理装置、画像処理方法、画像処理プログラム及びそのプログラムを記録した記録媒体を提供することを目的とするものである。
【課題を解決するための手段】
【００１１】
本発明に係る画像処理装置は、画像中に含まれる第１の領域と第２の領域とを識別する画像処理装置であって、前記第１の領域に含まれる第１の標本領域及び前記第２の領域に含まれる第２の標本領域を決定する標本領域決定手段と、前記標本領域決定手段によって決定された第２の標本領域の画像データに基づいて、前記第２の領域の特徴ベクトルから第１の数値を求めるとともに、前記標本領域決定手段によって決定された第１の標本領域及び第２の標本領域の画像データに基づいて、前記第１の領域と前記第２の領域とを合成した合成領域の特徴ベクトルから第２の数値を求める算出手段と、前記算出手段によって算出された第１の数値から前記第２の領域における密度分布を推定するとともに、前記算出手段によって算出された第２の数値から前記合成領域における密度分布を推定し、推定された各密度分布から前記合成領域及び前記第２の領域を判別する領域判別手段と、前記領域判別手段によって判別された前記合成領域から前記第２の領域を減算し、前記合成領域から前記第２の領域を減算した領域を第１の領域として識別する領域識別手段と、前記領域識別手段によって識別された第１の領域と前記第２の領域とを合成した合成領域の特徴ベクトルから第２の数値を求めるとともに、前記第２の領域の特徴ベクトルから第１の数値を求めて前記第１の数値及び前記第２の数値を更新する更新手段とを備える。
【００１２】
この構成によれば、第１の領域に含まれる第１の標本領域及び第２の領域に含まれる第２の標本領域が決定され、決定された第２の標本領域の画像データに基づいて、第２の領域の特徴ベクトルから第１の数値が求められるとともに、決定された第１の標本領域及び第２の標本領域の画像データに基づいて、第１の領域と第２の領域とが合成された合成領域の特徴ベクトルから第２の数値が求められる。そして、算出された第１の数値から第２の領域における密度分布が推定されるとともに、算出された第２の数値から合成領域における密度分布が推定され、推定された各密度分布から合成領域及び第２の領域が判別される。判別された合成領域から第２の領域が減算され、合成領域から第２の領域が減算された領域が第１の領域として識別され、識別された第１の領域と第２の領域とが合成された合成領域の特徴ベクトルから第２の数値が求められるとともに、第２の領域の特徴ベクトルから第１の数値が求められて第１の数値及び第２の数値が更新される。
【００１３】
また、上記の画像処理装置において、前記算出手段は、前記標本領域決定手段によって決定された第２の標本領域の画像データに基づいて、前記第２の領域の特徴ベクトルから平均ベクトルと共分散行列とを求めるとともに、前記標本領域決定手段によって決定された第１の標本領域及び第２の標本領域の画像データに基づいて、前記第１の領域と前記第２の領域とを合成した合成領域の特徴ベクトルから平均ベクトルと共分散行列とを求め、領域判別手段は、算出手段によって算出された第２の領域の平均ベクトルと共分散行列とから前記第２の領域における密度分布を推定するとともに、算出手段によって算出された合成領域の平均ベクトルと共分散行列とから前記合成領域における密度分布を推定し、推定された各密度分布から前記合成領域及び前記第２の領域を判別し、前記領域識別手段は、前記領域判別手段によって判別された前記合成領域から前記第２の領域を減算し、前記合成領域から前記第２の領域を減算した領域を第１の領域として識別し、前記更新手段は、前記領域識別手段によって識別された第１の領域と第２の領域とを合成した合成領域の特徴ベクトルから平均ベクトルと共分散行列とを求めるとともに、前記第２の領域の特徴ベクトルから平均ベクトルと共分散行列とを求めて、前記合成領域の平均ベクトル及び共分散行列と前記第２の領域の平均ベクトル及び共分散行列とを更新することが好ましい。
【００１４】
この構成によれば、第１の領域に含まれる第１の標本領域及び第２の領域に含まれる第２の標本領域が決定され、決定された第２の標本領域の画像データに基づいて、第２の領域の特徴ベクトルから平均ベクトルと共分散行列とが求められるとともに、決定された第１の標本領域及び第２の標本領域の画像データに基づいて、第１の領域と第２の領域とが合成された合成領域の特徴ベクトルから平均ベクトルと共分散行列とが求められる。そして、算出された第２の領域の平均ベクトルと共分散行列とから第２の領域における密度分布が推定されるとともに、算出された合成領域の平均ベクトルと共分散行列とから合成領域における密度分布が推定され、推定された各密度分布から合成領域及び第２の領域が判別される。判別された合成領域から第２の領域が減算され、合成領域から第２の領域が減算された領域が第１の領域として識別され、識別された第１の領域と第２の領域とが合成された合成領域の特徴ベクトルから平均ベクトルと共分散行列とが求められるとともに、第２の領域の特徴ベクトルから平均ベクトルと共分散行列とが求められて、合成領域の平均ベクトル及び共分散行列と第２の領域の平均ベクトル及び共分散行列とが更新される。
【００１５】
また、上記の画像処理装置において、前記領域判別手段、前記領域識別手段及び前記更新手段による処理は、複数回数繰り返し実行されることが好ましい。
【００１６】
この構成によれば、領域判別手段、領域識別手段及び更新手段による処理が、複数回数繰り返し実行される。
【００１７】
また、上記の画像処理装置において、前記画像中の画素データｘの前記合成領域における確率密度関数をＰH（ｘ）とし、前記第２の領域における確率密度関数をＰS（ｘ）とし、閾値をＰthとすると、前記領域判別手段は、任意の画素データｘiがＰS（ｘi）＞ＰH（ｘi）＞Ｐthの条件を満たす場合、当該画素データｘiは第２の領域であると判断し、任意の画素データｘiがＰH（ｘi）＞ＰS（ｘi）＞Ｐthの条件を満たす場合、当該画素データｘiは合成領域であると判断することが好ましい。
【００１８】
この構成によれば、画像中の画素データｘの合成領域における確率密度関数をＰH（ｘ）とし、第２の領域における確率密度関数をＰS（ｘ）とし、閾値をＰthとすると、任意の画素データｘiがＰS（ｘi）＞ＰH（ｘi）＞Ｐthの条件を満たす場合、当該画素データｘiは第２の領域であると判断され、任意の画素データｘiがＰH（ｘi）＞ＰS（ｘi）＞Ｐthの条件を満たす場合、当該画素データｘiは合成領域であると判断される。
【００１９】
また、上記の画像処理装置において、前記第１の領域は、人体の頭部の髪に相当する髪領域であり、前記第２の領域は、人体の頭部の肌に相当する肌領域であり、前記標本領域決定手段は、前記髪領域に含まれる髪標本領域及び前記肌領域に含まれる肌標本領域を決定し、前記算出手段は、前記標本領域決定手段によって決定された肌標本領域の画像データに基づいて、前記肌領域の特徴ベクトルから平均ベクトルと共分散行列とを求めるとともに、前記標本領域決定手段によって決定された髪標本領域及び肌標本領域の画像データに基づいて、前記髪領域と前記肌領域とを合成した合成領域の特徴ベクトルから平均ベクトルと共分散行列とを求め、領域判別手段は、算出手段によって算出された肌領域の平均ベクトルと共分散行列とから前記第肌領域における密度分布を推定するとともに、算出手段によって算出された合成領域の平均ベクトルと共分散行列とから前記合成領域における密度分布を推定し、推定された各密度分布から前記合成領域及び前記肌領域を判別し、前記領域識別手段は、前記領域判別手段によって判別された前記合成領域から前記肌領域を減算し、前記合成領域から前記肌領域を減算した領域を髪領域として識別し、前記更新手段は、前記領域識別手段によって識別された髪領域と肌領域とを合成した合成領域の特徴ベクトルから平均ベクトルと共分散行列とを求めるとともに、前記肌領域の特徴ベクトルから平均ベクトルと共分散行列とを求めて、前記合成領域の平均ベクトル及び共分散行列と前記肌領域の平均ベクトル及び共分散行列とを更新することが好ましい。
【００２０】
この構成によれば、第１の領域は、人体の頭部の髪に相当する髪領域であり、第２の領域は、人体の頭部の肌に相当する肌領域であり、髪領域に含まれる髪標本領域及び肌領域に含まれる肌標本領域が決定され、決定された肌標本領域の画像データに基づいて、肌領域の特徴ベクトルから平均ベクトルと共分散行列とが求められるとともに、決定された髪標本領域及び肌標本領域の画像データに基づいて、髪領域と肌領域とが合成された合成領域の特徴ベクトルから平均ベクトルと共分散行列とが求められる。そして、算出された肌領域の平均ベクトルと共分散行列とから第肌領域における密度分布が推定されるとともに、算出された合成領域の平均ベクトルと共分散行列とから合成領域における密度分布が推定され、推定された各密度分布から合成領域及び肌領域が判別される。判別された合成領域から肌領域が減算され、合成領域から肌領域が減算された領域が髪領域として識別され、識別された髪領域と肌領域とが合成された合成領域の特徴ベクトルから平均ベクトルと共分散行列とが求められるとともに、肌領域の特徴ベクトルから平均ベクトルと共分散行列とが求められて、合成領域の平均ベクトル及び共分散行列と肌領域の平均ベクトル及び共分散行列とが更新される。
【００２１】
また、上記の画像処理装置において、前記人体の頭部における両目の位置を認識する認識手段をさらに備え、前記標本領域決定手段は、前記認識手段によって認識された両目の位置に基づいて前記髪標本領域及び前記肌標本領域を決定することが好ましい。
【００２２】
この構成によれば、人体の頭部における両目の位置が認識され、認識された両目の位置に基づいて髪標本領域及び肌標本領域が決定される。
【００２３】
本発明に係る画像処理方法は、画像中に含まれる第１の領域と第２の領域とを識別する画像処理方法であって、コンピュータが、前記第１の領域に含まれる第１の標本領域及び前記第２の領域に含まれる第２の標本領域を決定する標本領域決定ステップと、コンピュータが、前記標本領域決定ステップにおいて決定された第２の標本領域の画像データに基づいて、前記第２の領域の特徴ベクトルから第１の数値を求めるとともに、前記標本領域決定ステップにおいて決定された第１の標本領域及び第２の標本領域の画像データに基づいて、前記第１の領域と前記第２の領域とを合成した合成領域の特徴ベクトルから第２の数値を求める算出ステップと、コンピュータが、前記算出ステップにおいて算出された第１の数値から前記第２の領域における密度分布を推定するとともに、前記算出ステップにおいて算出された第２の数値から前記合成領域における密度分布を推定し、推定された各密度分布から前記合成領域及び前記第２の領域を判別する領域判別ステップと、コンピュータが、前記領域判別ステップにおいて判別された前記合成領域から前記第２の領域を減算し、前記合成領域から前記第２の領域を減算した領域を第１の領域として識別する領域識別ステップと、コンピュータが、前記領域識別ステップにおいて識別された第１の領域と前記第２の領域とを合成した合成領域の特徴ベクトルから第２の数値を求めるとともに、前記第２の領域の特徴ベクトルから第１の数値を求めて前記第１の数値及び前記第２の数値を更新する更新ステップとを含む。
【００２４】
この構成によれば、第１の領域に含まれる第１の標本領域及び第２の領域に含まれる第２の標本領域が決定され、決定された第２の標本領域の画像データに基づいて、第２の領域の特徴ベクトルから第１の数値が求められるとともに、決定された第１の標本領域及び第２の標本領域の画像データに基づいて、第１の領域と第２の領域とが合成された合成領域の特徴ベクトルから第２の数値が求められる。そして、算出された第１の数値から第２の領域における密度分布が推定されるとともに、算出された第２の数値から合成領域における密度分布が推定され、推定された各密度分布から合成領域及び第２の領域が判別される。判別された合成領域から第２の領域が減算され、合成領域から第２の領域が減算された領域が第１の領域として識別され、識別された第１の領域と第２の領域とが合成された合成領域の特徴ベクトルから第２の数値が求められるとともに、第２の領域の特徴ベクトルから第１の数値が求められて第１の数値及び第２の数値が更新される。
【００２５】
本発明に係る画像処理プログラムは、画像中に含まれる第１の領域と第２の領域とを識別するための画像処理プログラムであって、前記第１の領域に含まれる第１の標本領域及び前記第２の領域に含まれる第２の標本領域を決定する標本領域決定手段と、前記標本領域決定手段によって決定された第２の標本領域の画像データに基づいて、前記第２の領域の特徴ベクトルから第１の数値を求めるとともに、前記標本領域決定手段によって決定された第１の標本領域及び第２の標本領域の画像データに基づいて、前記第１の領域と前記第２の領域とを合成した合成領域の特徴ベクトルから第２の数値を求める算出手段と、前記算出手段によって算出された第１の数値から前記第２の領域における密度分布を推定するとともに、前記算出手段によって算出された第２の数値から前記合成領域における密度分布を推定し、推定された各密度分布から前記合成領域及び前記第２の領域を判別する領域判別手段と、前記領域判別手段によって判別された前記合成領域から前記第２の領域を減算し、前記合成領域から前記第２の領域を減算した領域を第１の領域として識別する領域識別手段と、前記領域識別手段によって識別された第１の領域と前記第２の領域とを合成した合成領域の特徴ベクトルから第２の数値を求めるとともに、前記第２の領域の特徴ベクトルから第１の数値を求めて前記第１の数値及び前記第２の数値を更新する更新手段としてコンピュータを機能させる。
【００２６】
この構成によれば、第１の領域に含まれる第１の標本領域及び第２の領域に含まれる第２の標本領域が決定され、決定された第２の標本領域の画像データに基づいて、第２の領域の特徴ベクトルから第１の数値が求められるとともに、決定された第１の標本領域及び第２の標本領域の画像データに基づいて、第１の領域と第２の領域とが合成された合成領域の特徴ベクトルから第２の数値が求められる。そして、算出された第１の数値から第２の領域における密度分布が推定されるとともに、算出された第２の数値から合成領域における密度分布が推定され、推定された各密度分布から合成領域及び第２の領域が判別される。判別された合成領域から第２の領域が減算され、合成領域から第２の領域が減算された領域が第１の領域として識別され、識別された第１の領域と第２の領域とが合成された合成領域の特徴ベクトルから第２の数値が求められるとともに、第２の領域の特徴ベクトルから第１の数値が求められて第１の数値及び第２の数値が更新される。
【００２７】
本発明に係る画像処理プログラムを記録した記録媒体は、画像中に含まれる第１の領域と第２の領域とを識別するための画像処理プログラムを記録した記録媒体であって、前記第１の領域に含まれる第１の標本領域及び前記第２の領域に含まれる第２の標本領域を決定する標本領域決定手段と、前記標本領域決定手段によって決定された第２の標本領域の画像データに基づいて、前記第２の領域の特徴ベクトルから第１の数値を求めるとともに、前記標本領域決定手段によって決定された第１の標本領域及び第２の標本領域の画像データに基づいて、前記第１の領域と前記第２の領域とを合成した合成領域の特徴ベクトルから第２の数値を求める算出手段と、前記算出手段によって算出された第１の数値から前記第２の領域における密度分布を推定するとともに、前記算出手段によって算出された第２の数値から前記合成領域における密度分布を推定し、推定された各密度分布から前記合成領域及び前記第２の領域を判別する領域判別手段と、前記領域判別手段によって判別された前記合成領域から前記第２の領域を減算し、前記合成領域から前記第２の領域を減算した領域を第１の領域として識別する領域識別手段と、前記領域識別手段によって識別された第１の領域と前記第２の領域とを合成した合成領域の特徴ベクトルから第２の数値を求めるとともに、前記第２の領域の特徴ベクトルから第１の数値を求めて前記第１の数値及び前記第２の数値を更新する更新手段としてコンピュータを機能させる。
【００２８】
この構成によれば、第１の領域に含まれる第１の標本領域及び第２の領域に含まれる第２の標本領域が決定され、決定された第２の標本領域の画像データに基づいて、第２の領域の特徴ベクトルから第１の数値が求められるとともに、決定された第１の標本領域及び第２の標本領域の画像データに基づいて、第１の領域と第２の領域とが合成された合成領域の特徴ベクトルから第２の数値が求められる。そして、算出された第１の数値から第２の領域における密度分布が推定されるとともに、算出された第２の数値から合成領域における密度分布が推定され、推定された各密度分布から合成領域及び第２の領域が判別される。判別された合成領域から第２の領域が減算され、合成領域から第２の領域が減算された領域が第１の領域として識別され、識別された第１の領域と第２の領域とが合成された合成領域の特徴ベクトルから第２の数値が求められるとともに、第２の領域の特徴ベクトルから第１の数値が求められて第１の数値及び第２の数値が更新される。
【発明の効果】
【００２９】
請求項１に記載の発明によれば、第１の領域が凹形状に分布し、第２の領域が凸形状に分布する場合でも、第１の領域と第２の領域とを合成した合成領域を仮想的に生成し、合成領域の密度分布が凸分布になるようにし、合成領域から第２の領域を減算しているので、正確に第１の領域と第２の領域とを識別することができ、画像中における複数の領域を正確に識別することができる。
【００３０】
請求項２に記載の発明によれば、平均ベクトルと共分散行列とによって密度分布を、例えばガウス関数で推定することができる。
【００３１】
請求項３に記載の発明によれば、第１の領域と第２の領域とが合成された合成領域の平均ベクトル及び共分散行列と、第２の領域の平均ベクトル及び共分散行列とが複数回数繰り返し更新されることによって、より正確に第１の領域と第２の領域とを識別することができる。
【００３２】
請求項４に記載の発明によれば、任意の画素データを確率密度関数に代入し、当該画素データが予め設定された条件を満たすか否かを判断することによって、合成領域と第２の領域とを容易に判別することができる。
【００３３】
請求項５に記載の発明によれば、人体の頭部の髪に相当する髪領域と、人体の頭部の肌に相当する肌領域とを合成した合成領域を仮想的に生成し、密度分布が凸分布になるようにしているため、髪領域が凹形状に分布する場合でも正確に髪領域と肌領域とを識別することができる。
【００３４】
請求項６に記載の発明によれば、人体の頭部における両目の位置から髪標本領域及び肌標本領域を正確に決めることができる。
【００３５】
請求項７に記載の発明によれば、第１の領域が凹形状に分布し、第２の領域が凸形状に分布する場合でも、第１の領域と第２の領域とを合成した合成領域を仮想的に生成し、合成領域の密度分布が凸分布になるようにし、合成領域から第２の領域を減算しているので、正確に第１の領域と第２の領域とを識別することができ、画像中における複数の領域を正確に識別することができる。
【００３６】
請求項８に記載の発明によれば、第１の領域が凹形状に分布し、第２の領域が凸形状に分布する場合でも、第１の領域と第２の領域とを合成した合成領域を仮想的に生成し、合成領域の密度分布が凸分布になるようにし、合成領域から第２の領域を減算しているので、正確に第１の領域と第２の領域とを識別することができ、画像中における複数の領域を正確に識別することができる。
【００３７】
請求項９に記載の発明によれば、第１の領域が凹形状に分布し、第２の領域が凸形状に分布する場合でも、第１の領域と第２の領域とを合成した合成領域を仮想的に生成し、合成領域の密度分布が凸分布になるようにし、合成領域から第２の領域を減算しているので、正確に第１の領域と第２の領域とを識別することができ、画像中における複数の領域を正確に識別することができる。
【発明を実施するための最良の形態】
【００３８】
以下、本発明に係る実施形態を図面に基づいて説明する。図１は、本発明の一実施形態による画像処理装置のハードウエア構成を示す図である。
【００３９】
図１に示す画像処理装置は、通常のコンピュータから構成され、入力装置１、ＲＯＭ（リードオンリメモリ）２、ＣＰＵ（中央演算処理装置）３、ＲＡＭ（ランダムアクセスメモリ）４、外部記憶装置５、表示装置６、記録媒体駆動装置７及び入出力インターフェイス（Ｉ／Ｆ）９を備えて構成される。各ブロックは内部のバスに接続され、このバスを介して種々のデータ等が入出力され、ＣＰＵ３の制御の下、種々の処理が実行される。
【００４０】
入力装置１は、キーボード、マウス等から構成され、操作者が種々のデータ及び操作指令等を入力するために使用される。
【００４１】
ＲＯＭ２には、ＢＩＯＳ（Basic Input/Output System）等のシステムプログラム等が記憶されている。外部記憶装置５は、ハードディスクドライブ等から構成され、所定のＯＳ（Operating System）及び後述する画像処理プログラム等が記憶されている。ＲＡＭ４は、ＣＰＵ３の作業領域等として用いられる。
【００４２】
記録媒体駆動装置７は、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、フレキシブルディスクドライブ等から構成される。なお、画像処理プログラムを、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体８に記録し、記録媒体駆動装置７により記録媒体８から画像処理プログラムを読み出して外部記憶装置５にインストールして実行するようにしてもよい。また、画像処理装置が通信装置等を備え、画像処理プログラムが通信ネットワークを介して接続された他のコンピュータに記憶されている場合、当該コンピュータからネットワークを介して画像処理プログラムをダウンロードして実行するようにしてもよい。
【００４３】
カメラ１０は、入出力インターフェイス（Ｉ／Ｆ）９を介してバスラインに接続され、ＣＣＤエリアセンサにより、人間の顔を含む画像（顔画像）を所定のフレームレート（例えば１／３０ｓｅｃ）で取得する。
【００４４】
表示装置６は、液晶表示装置、ＣＲＴ（陰極線管）等から構成され、ＣＰＵ３の制御の基、カメラ１０が撮影した人間の顔画像を表示する。
【００４５】
ここで、本願発明の概略について説明する。図２は、本願発明の概略について説明するための図であり、図２（ａ）は、凸状分布と凹状分布の集合が組み合わされた例を示す図であり、図２（ｂ）は、凸状分布とドーナツ状分布の集合が組み合わされた例を示す図である。一般的に、データが空間的に凹状分布になっている場合には分離が容易ではないが、事前に凹と凸の分布の組み合わせが既知であれば、この性質を利用することができる。すなわち、図２（ａ）に示すように、凸状に分布する集合Ａを取り囲むように凹状に分布する集合Ｂが存在する場合に、集合Ａと集合Ｂとの和集合Ａ＋Ｂを求め、最終的に、この和集合Ａ＋Ｂと集合Ａとの差をとることによって、間接的に集合Ｂを求める。これにより、凸状に分布する集合Ａのデータと凹状に分布する集合Ｂのデータとの分離が可能となる。なお、このような手法は、凸状に分布する集合とドーナツ状に分布する集合との分離にも適用することができる。すなわち、図２（ｂ）に示すように、凸状に分布する集合Ｃを取り囲むようにドーナツ状に分布する集合Ｄが存在する場合に、集合Ｃと集合Ｄとの和集合Ｃ＋Ｄを求め、最終的に、この和集合Ｃ＋Ｄと集合Ｃとの差をとることによって、間接的に集合Ｄを求める。これにより、凸状に分布する集合Ｃのデータとドーナツ状に分布する集合Ｄのデータとの分離が可能となる。
【００４６】
図３は、画像処理装置の機能を説明するためのブロック図である。図３に示すように、画像処理装置は、プログラム実行部１００及び記憶部２００を備えて構成される。プログラム実行部１００は、ＣＰＵ３が画像処理プログラムを実行することにより実現され、両目認識部１０１、肌・髪標本領域決定部１０２、肌・髪標本取得部１０３、肌・合成モデル作成部１０４、確率密度関数演算部１０５、領域判別部１０６、髪領域識別部１０７、識別判断部１０８及び肌・合成モデル更新部１０９を備えて構成される。記憶部２００は、ＲＡＭ４等から構成され、ＣＰＵ３が画像処理プログラムを実行することにより実現され、画像メモリ２０１を備えて構成される。
【００４７】
ここで、本画像処理装置においてカメラ１０から画像メモリ２０１に入力される入力データについて説明する。２次元のカラー画像データを対象とすると、入力データは、位置成分（ｘ，ｙ）と色成分（Ｒ，Ｇ，Ｂ）との５次元データとして扱うことができる。これをベクトルで表すと、ｘ＝［ｘ  ｙ  Ｒ  Ｇ  Ｂ］Tとなる。なお、入力データとしては、２次元画像データ以外にも、ｚ軸方向の成分を含む３次元画像データ、時間成分を含む４次元画像データでもよい。また、色成分は、ＲＧＢデータだけでなく、ＹＵＶデータ、ＸＹＺデータ及びＬ*ａ*ｂ*データ等の表色系、あるいは、（Ｇ，Ｒ−Ｂ）のような次元を削減したデータを用いてもよい。また、対象画素周囲のエッジ強度やＤＣＴ（離散コサイン変換）等から得られる空間周波数特性なども入力データとして用いてもよい。
【００４８】
両目認識部１０１は、円のハフ（Ｈｏｕｇｈ）変換、分離度フィルタ又は目の瞬きを検出することにより、画像メモリ２０１に記憶された顔画像における両目の位置を認識する。なお、ハフ変換及び分離度フィルタについては、例えば、「川口  剛，モハメッド  リゾン，日高  大輔，ハフ変換と分離度フィルタによる人物顔からの両目の検出，信学論Ｄ−１１，ＶｏｌＪ８４−Ｄ−ＩＩ，Ｎｏ．１０，ｐｐ．２１９０−２２００，２００１−１０」に開示されている。
【００４９】
また、瞬きの検出は、各フレームに複数のブロック領域を設定し、設定された複数のブロック領域から１つのブロック領域を特定し、現フレームにおいて特定されたブロック領域と、当該ブロック領域に対し位置的に対応する前フレームのブロック領域との明度の差分である差分ブロックを算出し、差分ブロックの少なくとも１つの画素の明度の差分値が第１の閾値よりも大きい場合、当該差分ブロック内の所定の画素を起点として注目画素をずらしていくことにより、現フレーム及び前フレーム間において明度の差分値が第２の閾値（第１の閾値≧第２の閾値）よりも大きな画素からなる領域を差分領域として抽出し、差分領域の少なくとも面積及び形状が、眼に該当するものであるか否かを判定するための第１の条件を満たす場合、当該差分領域と位置的に対応する前フレームの領域の彩度の平均値を算出し、算出した平均値よりも彩度が小さな画素からなる領域を候補領域として前フレームから抽出し、候補領域の少なくとも形状が眼に該当するか否かを判定するための第２の条件を満たす場合、抽出された候補領域を基準画像とし、当該基準画像と現フレームとの間で所定の演算を行うことにより、基準画像と現フレームとの誤差を算出し、算出された誤差が第３の閾値よりも大きい場合、抽出された候補領域を眼の候補領域と推定し、現フレーム及び前フレーム間で瞬きが発生したと判定することによって行われる。
【００５０】
肌・髪標本領域決定部１０２は、人体の頭部の髪に相当する髪領域に含まれる髪標本領域及び人体の頭部の肌に相当する肌領域に含まれる肌標本領域を決定する。具体的に、肌・髪標本領域決定部１０２は、両目認識部１０１によって認識された両目を結ぶ線分の垂直二等分線を設定し、設定された垂直二等分線上の上方において髪領域の髪標本領域を決定し、下方において肌領域の肌標本領域を決定する。
【００５１】
図４は、髪標本領域及び肌標本領域について説明するための図である。図４に示すように、カメラ１０によって撮影された画像Ｇは、人物の頭部の髪に相当する髪領域Ｈｒと、人物の頭部の顔（肌）に相当する肌領域Ｓｒと、髪領域Ｈｒ及び肌領域Ｓｒ以外の背景領域Ｂｒとで構成される。肌・髪標本領域決定部１０２は、両目認識部１０１によって認識された両目Ｅr，Ｅlを結ぶ線分ＬAの垂直二等分線ＬBを設定し、設定された垂直二等分線ＬB上の下方において肌領域Ｓrの肌標本領域Ｓ0を決定する。この肌標本領域Ｓ0は、両目Ｅr，Ｅlよりも下方の鼻が位置する付近における矩形状の領域である。一方、髪は肌よりも明度が低いことを仮定し、両目Ｅr，Ｅlよりも上方の矩形状の領域で領域内の各画素の平均輝度値が小さい領域を髪標本領域Ｈ0とする。具体的に肌・髪標本領域決定部１０２は、矩形状の領域を垂直二等分線ＬBにおいて上方に移動させながら領域内の各画素の平均輝度値を求め、最も平均輝度値が小さくなる領域を髪標本領域Ｈ0として決定する。
【００５２】
図３に戻って、肌・髪標本取得部１０３は、肌・髪標本領域決定部１０２によって決定された肌標本領域Ｓ0及び髪標本領域Ｈ0から、肌標本ｘi∈Ｓ0及び髪標本ｘi∈Ｈ0を取得する。
【００５３】
肌・合成モデル作成部１０４は、肌・髪標本取得部１０３によって取得された肌標本ｘi∈Ｓ0及び髪標本ｘi∈Ｈ0から髪標本領域及び肌標本領域の位置成分及び色成分を表す特徴ベクトルから肌領域の平均ベクトルｘS0と共分散行列ＣS0とを求めて肌モデルを作成するとともに、髪領域と肌領域とを合成した合成領域の特徴ベクトルから平均ベクトルｘH'0と共分散行列ＣH'0とを求めて合成モデルを作成する。なお、肌モデルは、肌領域の平均ベクトル及び共分散行列が算出されることによって定義され、合成モデルは、合成領域の平均ベクトル及び共分散行列が算出されることによって定義される。なお、本実施形態では、画像データの位置成分及び色成分を用いているが、本発明は特にこれに限定されず、エッジ強度などのテクスチャ成分を用いてもよい。
【００５４】
確率密度関数演算部１０５は、肌・合成モデル作成部１０４によって作成された合成領域及び肌領域の標本データから合成領域及び肌領域における密度分布、すなわち確率密度関数を推定する。すなわち、確率密度関数演算部１０５は、肌・合成モデル作成部１０４によって算出された肌領域の平均ベクトルｘS0及び共分散行列ＣS0から、ある画素データｘiが肌領域に属する確率ＰS0（ｘi）を求めるとともに、肌・合成モデル作成部１０４によって算出された合成領域の平均ベクトルｘH'0及び共分散行列ＣH'0から、ある画素データｘiが合成領域に属する確率ＰH'0（ｘi）を求める。
【００５５】
領域判別部１０６は、確率密度関数演算部１０５によって求められた確率ＰS0（ｘi）と確率ＰH'0（ｘi）とから、肌領域、合成領域及び背景領域を判別する。
【００５６】
髪領域識別部１０７は、領域判別部１０６によって判別された肌領域Ｓ1と合成領域Ｈ’1とから、髪領域Ｈ1＝Ｈ’1−Ｓ1を求め、髪領域Ｈ1と肌領域Ｓ1とを識別する。
【００５７】
識別判断部１０８は、髪領域と肌領域とが識別されたか否かを判断する。具体的に説明すると、本実施形態における識別判断部１０８は、髪領域Ｈ1と肌領域Ｓ1とが識別された回数によって髪領域と肌領域とが識別されたか否かを判断する。すなわち、髪領域識別部１０７によって髪領域と肌領域との識別が行われるが、この識別された髪領域と肌領域とを合成した合成領域の平均ベクトル及び共分散行列を新たに求めるとともに、肌領域の平均ベクトル及び共分散行列を新たに求めることによってより正確に肌領域と髪領域とを識別することができるようになる。なお、本実施形態では、髪領域Ｈ1と肌領域Ｓ1とが識別された回数によって髪領域と肌領域とが識別されたか否かを判断しているが、本発明は特にこれに限定されず、反復処理で平均ベクトル及び共分散行列の変化量が小さくなることを利用し、この変化量の大きさを判定することによって髪領域と肌領域とが識別されたか否かを判断してもよい。
【００５８】
したがって、本実施形態では、肌・合成モデル更新部１０９、確率密度関数演算部１０５、領域判別部１０６及び髪領域識別部１０７の処理が所定回数繰り返して行われたか否かを判断することによって、髪領域と肌領域とが識別されたか否かを判断する。なお、本実施形態における所定回数は、髪領域と肌領域とを正確に識別することが可能な３回を採用しているが、本発明は特にこれに限定されず、髪領域と肌領域とを正確に識別することが可能であれば１回でも２回でもよく、また、４回以上でもよい。
【００５９】
肌・合成モデル更新部１０９は、髪領域識別部１０７によって識別された髪領域Ｈ1の特徴ベクトルから平均ベクトルｘH1と共分散行列ＣH1とを新たに求めるとともに、髪領域識別部１０７によって識別された肌領域Ｓ1の特徴ベクトルから平均ベクトルｘS1と共分散行列ＣS1とを新たに求めて、合成領域の平均ベクトル及び共分散行列と肌領域の平均ベクトル及び共分散行列とを更新する。このように、合成領域の平均ベクトル及び共分散行列と肌領域の平均ベクトル及び共分散行列とが更新されることによって、合成モデル及び肌モデルが更新される。
【００６０】
次に、本画像処理装置の動作について説明する。図５は、画像処理装置の処理を示したフローチャートである。
【００６１】
ステップＳＴ１において、両目認識部１０１は、画像メモリ２０１に記憶された顔画像における両目の位置を認識する。
【００６２】
ステップＳＴ２において、肌・髪標本領域決定部１０２は、肌標本領域及び髪標本領域を決定する。
【００６３】
ステップＳＴ３において、肌・髪標本取得部１０３は、肌・髪標本領域決定部１０２によって決定された肌標本領域Ｓ0及び髪標本領域Ｈ0から、肌標本ｘi∈Ｓ0及び髪標本ｘi∈Ｈ0を取得する。
【００６４】
ステップＳＴ４において、肌・合成モデル作成部１０４は、肌標本ｘi∈Ｓ0及び髪標本ｘi∈Ｈ0から肌領域の平均ベクトルｘS0及び共分散行列ＣS0を求めるとともに、肌領域と髪領域とを合成した合成領域の平均ベクトルｘH'0及び共分散行列ＣH'0を求め、平均ベクトル及び共分散行列で定義される肌モデル及び合成モデルを作成する。
【００６５】
ここで、従来の肌モデル及び髪モデルの作成方法について説明する。肌モデル及び髪モデルは、それぞれ平均ベクトルと共分散行列とで記述されるため、肌標本ｘi∈Ｓ0及び髪標本ｘi∈Ｈ0から、肌領域の平均ベクトルｘS0及び髪領域の平均ベクトルｘH0を下記の（３）式及び（４）式により求め、肌領域の共分散行列ＣS0及び髪領域のＣH0を下記の（５）式及び（６）式により求める。
【００６６】
【数１】
2005092639.tif 000003
【００６７】
【数２】
2005092639.tif 000004
【００６８】
肌と髪の領域の形状を考えると、一般に髪領域は、肌領域（顔部分の領域）を取り囲むように存在している。つまり、髪領域は、凹分布となるため、凸分布を仮定した上記の従来の手法では確率密度関数の近似が適切ではない。そこで、本実施形態では、凸領域である肌領域と凹領域である髪領域とを合成することによって仮想的な凸領域を生成し、この問題を解決している。
【００６９】
まず、データｘを位置の成分ｘposと色の成分ｘcolに分けて考えると、各成分は、下記の（７）式及び（８）式で表される。
【００７０】
ｘpos＝Ｍaｘ・・・・（７）
ｘcol＝Ｍbｘ・・・・（８）
なお、ｘ＝ｘpos＋ｘcolである。具体的に、ｘ＝［ｘ  ｙ  Ｒ  Ｇ  Ｂ］Tの場合、Ｍa及びＭbは、下記の（９）式で表すことができる。
【００７１】
【数３】
2005092639.tif 000005
【００７２】
肌領域の平均ベクトルｘS0については、肌標本ｘi∈Ｓ0から下記の（１０）式により求める。一方、肌領域と髪領域とを合成した合成領域の平均ベクトルｘH'0については、下記の（１１）式に示すように、色の成分は髪標本ｘi∈Ｈ0から求め、位置の成分は肌領域と髪領域との和の領域Ｓ0∪Ｈ0から求める。
【００７３】
【数４】
2005092639.tif 000006
【００７４】
また、肌領域の共分散行列ＣS0については、肌標本ｘi∈Ｓ0から下記の（１２）式により求める。一方、合成領域の共分散行列ＣH'0については、肌領域のデータにおける色の成分を髪領域の平均に置き換えて算出する。すなわち、髪標本ｘi∈Ｈ0のときにｘi←Ｍaｘi＋ＭbｘH0とする。したがって、合成領域の共分散行列ＣH'0は、下記の（１３）式によって得られる。
【００７５】
【数５】
2005092639.tif 000007
【００７６】
ステップＳＴ５において、確率密度関数演算部１０５は、肌標本領域Ｓ0及び髪標本領域Ｈ0から求めた肌領域及び合成領域の平均ベクトルｘS0，ｘH'0及び共分散行列ＣS0，ＣH'0から、ある画素データｘiが肌領域に属する確率ＰS0（ｘi）と合成領域に属する確率ＰH'0（ｘi）とを下記の（１４）式及び（１５）式に示す確率密度関数より求める。
【００７７】
【数６】
2005092639.tif 000008
【００７８】
ステップＳＴ６において、領域判別部１０６は、確率密度関数演算部１０５によって求められた確率ＰS0（ｘi）と確率ＰH'0（ｘi）とから、肌領域、合成領域及び背景領域を判別する。領域判別部１０６は、ＰS0（ｘi）＜ＰH'0（ｘi）＜Ｐthの条件を満たす場合、画素データｘiは肌領域に属するとして新たに肌領域Ｓ1を定義し、ＰH'0（ｘi）＜ＰS0（ｘi）＜Ｐthの条件を満たす場合、画素データｘiは合成領域に属するとして新たに合成領域Ｈ’1を定義し、上記の条件を満たさない場合、画素データｘiは背景領域に属するとして新たに背景領域Ｂ1を定義する。なお、上記の条件式におけるＰthは、適当な閾値であり、肌領域と合成領域と背景領域とを区別するために用いられる。
【００７９】
ステップＳＴ７において、髪領域識別部１０７は、領域判別部１０６によって判別された合成領域Ｈ’1から領域判別部１０６によって判別された肌領域Ｓ1を減算することによって、髪領域Ｈ1（＝Ｈ’1−Ｓ1）を求め、髪領域Ｈ1と肌領域Ｓ1とを識別する。
【００８０】
髪領域識別部１０７によって識別された髪領域及び肌領域は、表示装置６によって表示される。なお、本実施形態では、髪領域と肌領域との識別が複数回数行われ、識別が行われる度に識別結果が表示されるが、本発明は特にこれに限定されず、複数回数の髪領域と肌領域との識別が行われた後、最後に行われた髪領域と肌領域との識別結果のみを表示装置６に表示してもよい。また、本願発明は髪領域と肌領域とを正確に識別することが目的であるため、識別結果を必ずしも表示する必要はなく、表示装置６にはカメラ１０によって取得された画像を表示し、結果を画像の加工に用いてもよい。
【００８１】
ステップＳＴ８において、識別判断部１０８は、ステップＳＴ５からステップＳＴ９までの処理が３回繰り返して行われたか否かを判断し、髪領域と肌領域とが識別されたか否かを判断する。ここで、ステップＳＴ５からステップＳＴ９までの処理が３回繰り返して行われたと判断されると（ステップＳＴ８でＹＥＳ）、髪領域と肌領域とが正確に識別されたとして処理を終了し、ステップＳＴ５からステップＳＴ９までの処理が３回繰り返して行われていないと判断されると（ステップＳＴ８でＮＯ）、ステップＳＴ９に移行する。
【００８２】
ステップＳＴ９において、肌・合成モデル更新部１０９は、新たに肌領域Ｓ1の平均ベクトルｘS1を下記の（１６）式により求め、共分散行列ＣS1を下記の（１８）により求め、肌領域Ｓ1と髪領域Ｈ1とを合成した合成領域の平均ベクトルｘH'1を下記の（１７）式により求め、共分散行列ＣH'1を下記の（１９）式により求め、肌モデル及び合成モデルを更新する。
【００８３】
【数７】
2005092639.tif 000009
【００８４】
【数８】
2005092639.tif 000010
【００８５】
そして、肌・合成モデル更新部１０９によって肌モデル及び合成モデルが更新されると、再びステップＳＴ５に戻り、更新された肌モデル及び合成モデルの確率密度関数の計算が行われ、ステップＳＴ５からステップＳＴ７までの処理が行われる。
【００８６】
なお、本実施形態において、識別判断部１０８は、髪領域と肌領域とが識別された回数をカウントすることによって髪領域と肌領域とが識別されたか否かを判断しているが、本発明は特にこれに限定されず、識別判断部１０８は、髪領域識別部１０７によって髪領域と肌領域とが識別された今回の画像と、髪領域識別部１０７によって髪領域と肌領域とが識別された前回の画像とを比較し、その一致度を確認することによって髪領域と肌領域とが識別されたか否かを判断してもよい。この場合、今回の画像と前回の画像とが一致するまでステップＳＴ５からステップＳＴ９までの処理が繰り返し行われ、今回の画像と前回の画像とが一致した場合に処理を終了する。
【００８７】
また、本実施形態では、画像中の髪領域と肌領域の２つの領域を識別しているが、本発明は特にこれに限定されず、画像中に含まれる３つ以上の領域を識別してもよい。
【００８８】
図６は、従来の手法で作成した頭部画像と、本画像処理装置で作成した頭部画像とを比較した図である。なお、図６では、図５のステップＳＴ５からステップＳＴ９までを３回反復して作成した頭部画像を表している。
【００８９】
図６に示すように、従来の手法では、髪領域のみを正規分布で近似しようとするため、髪領域が馬蹄型に分布（凹分布）するような場合、髪領域の末端部分における確率密度関数の値が小さくなり、その結果、髪領域の末端部分は背景として認識されてしまう。したがって、髪領域と肌領域とを正確に識別することができない。一方、本画像処理装置では、肌領域と髪領域とを合成したデータを仮想的に生成して確率密度関数を凸分布になるようにしているため、髪領域が馬蹄型に分布するような場合にも正確に髪領域を認識することができ、髪領域と肌領域とを正確に識別することができる。
【００９０】
このように、人体の頭部の髪に相当する髪領域（第１の領域に相当）に含まれる髪標本領域（第１の標本領域に相当）及び人体の頭部の肌に相当する肌領域（第２の領域に相当）に含まれる肌標本領域（第２の標本領域に相当）が決定され、決定された肌標本領域の位置成分及び色成分（画像データに相当）に基づいて、肌領域の平均ベクトル及び共分散行列（第２の領域を特徴付ける第１の数値に相当）が求められるとともに、決定された髪標本領域及び肌標本領域の位置成分及び色成分に基づいて、髪領域と肌領域とが合成された合成領域の平均ベクトル及び共分散行列（合成領域を特徴付ける第２の数値に相当）が求められる。そして、算出された肌領域の平均ベクトルと共分散行列とから肌領域における確率密度関数が推定されるとともに、算出された合成領域の平均ベクトル及び共分散行列から合成領域における確率密度関数が推定され、推定された各確率密度関数から合成領域及び肌領域が判別される。判別された合成領域から肌領域が減算され、合成領域から肌領域が減算された領域が髪領域として識別され、識別された髪領域と肌領域とが合成された合成領域の平均ベクトルと共分散行列とが求められるとともに、肌領域の平均ベクトルと共分散行列とが求められて、合成領域の平均ベクトル及び共分散行列と肌領域の平均ベクトル及び共分散行列とが更新される。
【００９１】
したがって、髪領域が凹形状に分布し、肌領域が凸形状に分布する場合でも、髪領域と肌領域とを合成した合成領域を仮想的に生成し、合成領域の確率密度関数が凸分布になるようにし、合成領域から肌領域を減算しているので、正確に髪領域と肌領域とを識別することができ、画像中における複数の領域を正確に識別することができる。
【００９２】
また、画像中の画素データｘの合成領域における確率密度関数をＰH（ｘ）とし、第２の領域における確率密度関数をＰS（ｘ）とし、閾値をＰthとすると、任意の画素データｘiがＰS（ｘi）＞ＰH（ｘi）＞Ｐthの条件を満たす場合、当該画素データｘiは肌領域であると判断され、任意の画素データｘiがＰH（ｘi）＞ＰS（ｘi）＞Ｐthの条件を満たす場合、当該画素データｘiは合成領域であると判断される。
【００９３】
したがって、任意の画素データを確率密度関数に代入し、当該画素データが予め設定された条件を満たすか否かを判断することによって、合成領域と肌領域とを容易に判別することができる。
【００９４】
また、人体の頭部における両目の位置が認識され、認識された両目の位置に基づいて髪標本領域及び肌標本領域が決定される。したがって、人体の頭部における両目の位置から髪標本領域及び肌標本領域を正確に決めることができる。
【図面の簡単な説明】
【００９５】
【図１】本発明の一実施形態による画像処理装置のハードウエア構成を示す図である。
【図２】本願発明の概略について説明するための図である。
【図３】画像処理装置の機能を説明するためのブロック図である。
【図４】髪標本領域及び肌標本領域について説明するための図である。
【図５】画像処理装置の処理を示したフローチャートである。
【図６】従来の手法で作成した頭部画像と、本画像処理装置で作成した頭部画像とを比較した図である。
【図７】１次元離散データとその確率密度関数を表す図である。
【図８】多次元ガウス関数を確率密度関数とした場合の等確率領域を示す図である。
【図９】多次元空間において、データが複数の凸な分布の組み合わせである場合と、凸な分布と凹な分布との組み合わせである場合とについて示す図である。
【符号の説明】
【００９６】
１  入力装置
２  ＲＯＭ
３  ＣＰＵ
４  ＲＡＭ
５  外部記憶装置
６  表示装置
７  記録媒体駆動装置
８  記録媒体
９  Ｉ／Ｆ
１０  カメラ
１００  プログラム実行部
１０１  両目認識部
１０２  肌・髪標本領域決定部
１０３  肌・髪標本取得部
１０４  肌・合成モデル作成部
１０５  確率密度関数演算部
１０６  領域判別部
１０７  髪領域識別部
１０８  識別判断部
１０９  肌・合成モデル更新部
２００  記憶部
２０１  画像メモリ
【図１】
2005092639.tif 000011
【図２】
2005092639.tif 000012
【図３】
2005092639.tif 000013
【図４】
2005092639.tif 000014
【図５】
2005092639.tif 000015
【図６】
2005092639.tif 000016
【図７】
2005092639.tif 000017
【図８】
2005092639.tif 000018
【図９】
2005092639.tif 000019