(57)【特許請求の範囲】
【請求項１】
注目画素の近傍の画素の輝度分布に基づき、画像データ内の対象物の画像領域から、特徴領域を抽出する抽出手段と、
上記抽出手段により抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類手段と、
上記クラス分類手段にて分類された各クラスにおける画素の度数分布を対象物度数分布として生成する度数分布生成手段と、
上記対象物度数分布に基づいて、上記対象物の向きを判定する向き判定手段と
を有し、
上記抽出手段は、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出するＤＲタップ抽出手段と、上記ＤＲタップのダイナミックレンジを算出するダイナミックレンジ算出手段と、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出する特徴領域抽出手段とを有し、
上記向き判定手段は、上記クラス分類手段にて分類された各クラス毎に、各クラス内の画素からなる領域の重心を算出する重心算出手段と、上記対象物の画像領域の重心を算出する対象物重心算出手段と、各クラス毎に、上記特徴領域の重心と上記対象物の画像領域の重心との相関を重心相関値として算出する重心相関値算出手段と、上記各クラス毎の重心相関値と上記対象物度数分布とに基づき、上記対象物の向きを判定する対象物向き判定手段とを有し、
上記対象物向き判定手段では、各クラス毎に、上記重心相関値と上記対象物度数分布内の各クラスに対応する度数と予め設けられた重み付け係数との演算を行い、各クラス毎の演算結果を加算することによって、上記対象物の向きを算出することを特徴とする画像処理装置。
【請求項２】
上記対象物向き判定手段では、次式の演算によって上記対象物の向きを算出することを特徴とする請求項１に記載の画像処理装置。
【数１】
0004604439.tif 000006
【請求項３】
上記対象物向き判定手段では、各クラスｉ毎に重み付け係数をｗｉｊ（ｊは整数）、重心相関値をＣｉ、度数をＤｉとすると、以下の式の演算によって上記対象物の向きを算出することを特徴とする請求項１に記載の画像処理装置。
【数２】
0004604439.tif 000007
【請求項４】
注目画素の近傍の画素の輝度分布に基づき、画像データ内の対象物の画像領域から、特徴領域を抽出する抽出手段と、
上記抽出手段により抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類手段と、
上記クラス分類手段にて分類された各クラスにおける画素の度数分布を対象物度数分布として生成する度数分布生成手段と、
上記対象物度数分布に基づいて、上記対象物の向きを判定する向き判定手段と
を有し、
上記抽出手段は、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出するＤＲタップ抽出手段と、上記ＤＲタップのダイナミックレンジを算出するダイナミックレンジ算出手段と、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出する特徴領域抽出手段とを有し、
上記向き判定手段は、代表的な向きにおいて、各クラスにおける上記特徴領域内の画素の度数を示す判定度数分布を格納した格納手段と、上記対象物度数分布と上記判定度数分布との相関を、度数分布相関値として導出する度数分布相関値導出手段と、上記度数分布相関値に基づき、上記対象物の向きを判定する対象物向き判定手段とを有することを特徴とする画像処理装置。
【請求項５】
上記対象物向き判定手段は、上記対象物の向きと上記度数分布相関値との関係を示す向き判断情報を格納した情報格納手段と、
上記向き判断情報を参照して、上記度数分布相関値に基づいて上記対象物の向きを判定する相関向き判定手段と
を有することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
注目画素の近傍の画素の輝度分布に基づき、画像データ内の対象物の画像領域から、特徴領域を抽出する抽出手段と、
上記抽出手段により抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類手段と、
上記クラス分類手段にて分類された各クラスにおける画素の度数分布を対象物度数分布として生成する度数分布生成手段と、
上記対象物度数分布に基づいて、上記対象物の向きを判定する向き判定手段と
を有し、
上記抽出手段は、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出するＤＲタップ抽出手段と、上記ＤＲタップのダイナミックレンジを算出するダイナミックレンジ算出手段と、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出する特徴領域抽出手段とを有し、
上記向き判定手段は、所定数の代表的な向き毎に、各クラスにおける上記特徴領域内の画素の度数を示す判定度数分布を格納した格納手段と、上記対象物度数分布それぞれと上記判定度数分布との相関を度数分布相関値として、上記所定数の代表的な向き毎に導出する度数分布相関値導出手段と、上記所定数の代表的な向き毎の上記度数分布相関値に基づき、上記対象物の向きを判定する対象物向き判定手段とを有することを特徴とする画像処理装置。
【請求項７】
上記対象物向き判定手段は、上記対象物の向きと、上記代表的な向き毎の上記度数分布相関値それぞれとの関係を示す向き判断情報を格納した情報格納手段と、
上記向き判断情報を参照して、上記度数分布相関値に基づいて上記対象物の向きを判定する相関向き判定手段と
を有することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
上記対象物向き判定手段は、上記対象物の向きと上記度数分布相関値との関係を示す向き判断情報を格納した情報格納手段と、
上記向き判断情報を参照して、上記度数分布相関値に基づいて上記対象物の向きを判定する相関向き判定手段と
を有することを特徴とする請求項６に記載の画像処理装置。
【請求項９】
複数の向きから撮像して得た画像データを、向き情報と関連付けて取得する画像取得手段と、
上記向き情報毎に、上記画像データ内の注目画素近傍の画素の輝度分布に基づき、上記画像データ中の対象物の画像領域から特徴領域を抽出する抽出手段と、
上記抽出手段により抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類手段と、
上記クラス分類手段にて分類された画素の各クラスにおける度数を示す度数分布を生成する度数分布生成手段と、
上記生成手段で生成された度数分布のうちの少なくとも一つである参照ヒストグラムと、少なくとも一部の対象物ヒストグラムとの相関を度数分布相関値として導出する度数分布相関値導出手段と、
上記度数分布相関値と上記角度情報とを対応付けた関係情報を生成する関係情報生成手段と
を有し、
上記抽出手段は、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出するＤＲタップ抽出手段と、上記ＤＲタップのダイナミックレンジを算出するダイナミックレンジ算出手段と、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出する特徴領域抽出手段と
を有することを特徴とする画像処理装置。
【請求項１０】
上記参照ヒストグラムは、上記複数の向きのうち、代表的な向きの画像に基づいて導出されたヒストグラムであることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
注目画素の近傍の画素の輝度分布に基づき、画像データ内の対象物の画像領域から、特徴領域を抽出する抽出ステップと、
上記抽出ステップにおいて抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類ステップと、
上記クラス分類ステップにて分類された各クラスにおける画素の度数分布を対象物度数分布として生成する度数分布生成ステップと、
上記対象物度数分布に基づいて、上記対象物の向きを判定する向き判定ステップと
を有し、
上記抽出ステップでは、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出し、上記ＤＲタップのダイナミックレンジを算出し、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出し、
上記向き判定ステップでは、上記クラス分類ステップにて分類された各クラス毎に、各クラス内の画素からなる領域の重心を算出し、上記対象物の画像領域の重心を算出し、各クラス毎に、上記特徴領域の重心と上記対象物の画像領域の重心との相関を重心相関値として算出し、各クラス毎に、上記重心相関値と上記対象物度数分布内の各クラスに対応する度数と予め設けられた重み付け係数との演算を行い、各クラス毎の演算結果を加算することによって、上記対象物の向きを算出し、上記各クラス毎の重心相関値と上記対象物度数分布とに基づき、上記対象物の向きを判定する
ことを特徴とする画像処理方法。
【請求項１２】
上記向き判定ステップでは、次式の演算によって上記対象物の向きを算出することを特徴とする請求項１１に記載の画像処理方法。
【数３】
0004604439.tif 000008
【請求項１３】
上記向き判定ステップでは、各クラスｉ毎に重み付け係数をｗｉｊ（ｊは整数）、重心相関値をＣｉ、度数をＤｉとすると、以下の式の演算によって上記対象物の向きを算出することを特徴とする請求項１１に記載の画像処理方法。
【数４】
0004604439.tif 000009
【請求項１４】
注目画素の近傍の画素の輝度分布に基づき、画像データ内の対象物の画像領域から、特徴領域を抽出する抽出ステップと、
上記抽出ステップにて抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類ステップと、
上記クラス分類ステップにて分類された各クラスにおける画素の度数分布を対象物度数分布として生成する度数分布生成ステップと、
上記対象物度数分布に基づいて、上記対象物の向きを判定する向き判定ステップと
を有し、
上記抽出ステップでは、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出し、上記ＤＲタップのダイナミックレンジを算出し、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出し、
上記向き判定ステップでは、代表的な向きにおいて、各クラスにおける上記特徴領域内の画素の度数を示す判定度数分布を格納し、上記対象物度数分布と上記判定度数分布との相関を、度数分布相関値として導出し、上記度数分布相関値に基づき、上記対象物の向きを判定する
ことを特徴とする画像処理方法。
【請求項１５】
注目画素の近傍の画素の輝度分布に基づき、画像データ内の対象物の画像領域から、特徴領域を抽出する抽出ステップと、
上記抽出ステップにて抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類ステップと、
上記クラス分類ステップにて分類された各クラスにおける画素の度数分布を対象物度数分布として生成する度数分布生成ステップと、
上記対象物度数分布に基づいて、上記対象物の向きを判定する向き判定ステップと
を有し、
上記抽出ステップでは、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出し、上記ＤＲタップのダイナミックレンジを算出し、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出し、
上記向き判定ステップでは、所定数の代表的な向き毎に、各クラスにおける上記特徴領域内の画素の度数を示す判定度数分布を格納し、上記対象物度数分布それぞれと上記判定度数分布との相関を度数分布相関値として、上記所定数の代表的な向き毎に導出し、上記所定数の代表的な向き毎の上記度数分布相関値に基づき、上記対象物の向きを判定する
ことを特徴とする画像処理方法。
【請求項１６】
複数の向きから撮像して得た画像データを、向き情報と関連付けて取得する画像取得ステップと、
上記向き情報毎に、上記画像データ内の注目画素近傍の画素の輝度分布に基づき、上記画像データ中の対象物の画像領域から特徴領域を抽出する抽出ステップと、
上記抽出ステップにて抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類ステップと、
上記クラス分類ステップにて分類された画素の各クラスにおける度数を示す度数分布を生成する度数分布生成ステップと、
上記度数分布生成手段で生成された度数分布のうちの少なくとも一つである参照ヒストグラムと、少なくとも一部の対象物ヒストグラムとの相関を度数分布相関値として導出する度数分布相関値導出ステップと、
上記度数分布相関値と上記角度情報とを対応付けた関係情報を生成する関係情報生成ステップと
を有し、
上記抽出ステップでは、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出し、上記ＤＲタップのダイナミックレンジを算出し、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出する
ことを特徴とする画像処理方法。
【請求項１７】
注目画素の近傍の画素の輝度分布に基づき、画像データ内の対象物の画像領域から、特徴領域を抽出する抽出ステップと、
上記抽出ステップにおいて抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類ステップと、
上記クラス分類ステップにて分類された各クラスにおける画素の度数分布を対象物度数分布として生成する度数分布生成ステップと、
上記対象物度数分布に基づいて、上記対象物の向きを判定する向き判定ステップと
を有し、
上記抽出ステップでは、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出し、上記ＤＲタップのダイナミックレンジを算出し、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出し、
上記向き判定ステップでは、上記クラス分類ステップにて分類された各クラス毎に、各クラス内の画素からなる領域の重心を算出し、上記対象物の画像領域の重心を算出し、各クラス毎に、上記特徴領域の重心と上記対象物の画像領域の重心との相関を重心相関値として算出し、各クラス毎に、上記重心相関値と上記対象物度数分布内の各クラスに対応する度数と予め設けられた重み付け係数との演算を行い、各クラス毎の演算結果を加算することによって、上記対象物の向きを算出し、上記各クラス毎の重心相関値と上記対象物度数分布とに基づき、上記対象物の向きを判定する
ことを特徴とするコンピュータ制御可能な画像処理プログラムが記録された記録媒体。
【請求項１８】
注目画素の近傍の画素の輝度分布に基づき、画像データ内の対象物の画像領域から、特徴領域を抽出する抽出ステップと、
上記抽出ステップにて抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類ステップと、
上記クラス分類ステップにて分類された各クラスにおける画素の度数分布を対象物度数分布として生成する度数分布生成ステップと、
上記対象物度数分布に基づいて、上記対象物の向きを判定する向き判定ステップと
を有し、
上記抽出ステップでは、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出し、上記ＤＲタップのダイナミックレンジを算出し、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出し、
上記向き判定ステップでは、代表的な向きにおいて、各クラスにおける上記特徴領域内の画素の度数を示す判定度数分布を格納し、上記対象物度数分布と上記判定度数分布との相関を、度数分布相関値として導出し、上記度数分布相関値に基づき、上記対象物の向きを判定する
ことを特徴とするコンピュータ制御可能な画像処理プログラムが記録された記録媒体。
【請求項１９】
注目画素の近傍の画素の輝度分布に基づき、画像データ内の対象物の画像領域から、特徴領域を抽出する抽出ステップと、
上記抽出ステップにて抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類ステップと、
上記クラス分類ステップにて分類された各クラスにおける画素の度数分布を対象物度数分布として生成する度数分布生成ステップと、
上記対象物度数分布に基づいて、上記対象物の向きを判定する向き判定ステップと
を有し、
上記抽出ステップでは、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出し、上記ＤＲタップのダイナミックレンジを算出し、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出し、
上記向き判定ステップでは、所定数の代表的な向き毎に、各クラスにおける上記特徴領域内の画素の度数を示す判定度数分布を格納し、上記対象物度数分布それぞれと上記判定度数分布との相関を度数分布相関値として、上記所定数の代表的な向き毎に導出し、上記所定数の代表的な向き毎の上記度数分布相関値に基づき、上記対象物の向きを判定する
ことを特徴とするコンピュータ制御可能な画像処理プログラムが記録された記録媒体。
【請求項２０】
複数の向きから撮像して得た画像データを、向き情報と関連付けて取得する画像取得ステップと、
上記向き情報毎に、上記画像データ内の注目画素近傍の画素の輝度分布に基づき、上記画像データ中の対象物の画像領域から特徴領域を抽出する抽出ステップと、
上記抽出ステップにて抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類ステップと、
上記クラス分類ステップにて分類された画素の各クラスにおける度数を示す度数分布を生成する度数分布生成ステップと、
上記度数分布生成手段で生成された度数分布のうちの少なくとも一つである参照ヒストグラムと、少なくとも一部の対象物ヒストグラムとの相関を度数分布相関値として導出する度数分布相関値導出ステップと、
上記度数分布相関値と上記角度情報とを対応付けた関係情報を生成する関係情報生成ステップと
を有し、
上記抽出ステップでは、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出し、上記ＤＲタップのダイナミックレンジを算出し、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出する
ことを特徴とするコンピュータ制御可能な画像処理プログラムが記録された記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及び方法、並びに媒体に関し、特に、容易に、かつ、確実に、対象物の姿勢を検出することができるようにした画像処理装置及び画像処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
対象物の姿勢、例えば、対象物の所定の面（以下、対象面と称する）が向いている方向を検出する場合、対象物（対象面）を撮像し、その撮像結果から得られた画像データを認識して、対象面の向きを検出する方法がある。この場合に利用される画像認識方法の１つとしてテンプレートマッチング法がある。この方法によれば、予め撮像されて保持されている、各方向を向いた対象面の画像、いわゆる、テンプレートと、今回撮像されて得られた対象面の画像との類似度が検出される。すなわち、類似度がより高いテンプレートに対応する方向が、対象面が向いている方向とされる。
【０００３】
しかしながら、上述したテンプレートマッチング法においては、撮像された画像の状態（例えば、位置、回転、又は大きさ）が変化すると、対象面の向き（例えば、角度）が実質同じ場合であっても、検出される類似度が異なり、結局、最終的に得られる対象面の向き（角度）が異なってしまう場合があった。すなわち、撮像された画像の状態の変化に対するロバスト性が悪いという問題点があった。
【０００４】
そこで、対象面上にサーチエリアを設定し、そのサーチエリアを、撮像装置を平行移動、軸、又はズームなどをしながら撮像し、その撮像結果から得られた画像データを利用して、類似度を検出する方法がある。これにより、撮像された画像の状態がある程度変化しても正確な向き（角度）が検出される。しかしながら、この方法では、処理すべき画像データが増えるので、それに伴い演算量が増え、対象面の向きが最終的に検出されるまでに時間がかかってしまうなどの問題点があった。また、そのサーチエリア以外の部分の表示状態が変化した場合、正確な角度が検出されないという問題点があった。
【０００５】
また、対象面が人物の顔である場合、このテンプレートマッチング法では、特に、画像全体の輝度が低いとき、得られた対象面の画像上の１画素の輝度値だけでは、同色の部分を区別（分類）することが困難であった。例えば、共に黒色である、髪の毛と黒目を区別することが困難であった。そのため、髪の毛の部分に比べ、より顔の特徴を表す目の部分を抽出して、その部分に基づいて顔の向きを検出することができないという問題点があった。さらに、肌が黒い人の肌の色と黒目の色の差が、肌が白い人の場合に比べ近いなど、向きが検出される顔毎により、区別される部分（黒目）の画素値とその周りの部分（肌）の画素値との差が異なるため、すべての顔において、正確に、例えば、目の部分を抽出することができないという問題点があった。すなわち、対象面の変化に対するロバスト性が悪いという問題点があった。
【０００６】
【発明が解決しようとする課題】
そこで、本発明は、上述の如き従来の状況に鑑みてなされたものであり、対象物の撮像状態などが変化しても、容易に、かつ、確実に、対象物の姿勢を検出することができるようにした画像処理装置及び画像処理方法、並びに記録媒体の提供を目的とする。
【０００７】
【課題を解決するための手段】
本発明に係る画像処理装置は、注目画素の近傍の画素の輝度分布に基づき、画像データ内の対象物の画像領域から、特徴領域を抽出する抽出手段と、上記抽出手段により抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類手段と、上記クラス分類手段にて分類された各クラスにおける画素の度数分布を対象物度数分布として生成する度数分布生成手段と、上記対象物度数分布に基づいて、上記対象物の向きを判定する向き判定手段とを有し、上記抽出手段は、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出するＤＲタップ抽出手段と、上記ＤＲタップのダイナミックレンジを算出するダイナミックレンジ算出手段と、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出する特徴領域抽出手段とを有し、上記向き判定手段は、上記クラス分類手段にて分類された各クラス毎に、各クラス内の画素からなる領域の重心を算出する重心算出手段と、上記対象物の画像領域の重心を算出する対象物重心算出手段と、各クラス毎に、上記特徴領域の重心と上記対象物の画像領域の重心との相関を重心相関値として算出する重心相関値算出手段と、上記各クラス毎の重心相関値と上記対象物度数分布とに基づき、上記対象物の向きを判定する対象物向き判定手段とを有し、上記対象物向き判定手段では、各クラス毎に、上記重心相関値と上記対象物度数分布内の各クラスに対応する度数と予め設けられた重み付け係数との演算を行い、各クラス毎の演算結果を加算することによって、上記対象物の向きを算出することを特徴とする。
【０００８】
また、本発明に係る画像処理装置は、注目画素の近傍の画素の輝度分布に基づき、画像データ内の対象物の画像領域から、特徴領域を抽出する抽出手段と、上記抽出手段により抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類手段と、上記クラス分類手段にて分類された各クラスにおける画素の度数分布を対象物度数分布として生成する度数分布生成手段と、上記対象物度数分布に基づいて、上記対象物の向きを判定する向き判定手段とを有し、上記抽出手段は、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出するＤＲタップ抽出手段と、上記ＤＲタップのダイナミックレンジを算出するダイナミックレンジ算出手段と、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出する特徴領域抽出手段とを有し、上記向き判定手段は、代表的な向きにおいて、各クラスにおける上記特徴領域内の画素の度数を示す判定度数分布を格納した格納手段と、上記対象物度数分布と上記判定度数分布との相関を、度数分布相関値として導出する度数分布相関値導出手段と、上記度数分布相関値に基づき、上記対象物の向きを判定する対象物向き判定手段とを有することを特徴とする。
【０００９】
また、本発明に係る画像処理装置は、注目画素の近傍の画素の輝度分布に基づき、画像データ内の対象物の画像領域から、特徴領域を抽出する抽出手段と、上記抽出手段により抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類手段と、上記クラス分類手段にて分類された各クラスにおける画素の度数分布を対象物度数分布として生成する度数分布生成手段と、上記対象物度数分布に基づいて、上記対象物の向きを判定する向き判定手段とを有し、上記抽出手段は、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出するＤＲタップ抽出手段と、上記ＤＲタップのダイナミックレンジを算出するダイナミックレンジ算出手段と、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出する特徴領域抽出手段とを有し、上記向き判定手段は、所定数の代表的な向き毎に、各クラスにおける上記特徴領域内の画素の度数を示す判定度数分布を格納した格納手段と、上記対象物度数分布それぞれと上記判定度数分布との相関を度数分布相関値として、上記所定数の代表的な向き毎に導出する度数分布相関値導出手段と、上記所定数の代表的な向き毎の上記度数分布相関値に基づき、上記対象物の向きを判定する対象物向き判定手段とを有することを特徴とする。
【００１１】
さらに、本発明に係る画像処理装置は、複数の向きから撮像して得た画像データを、向き情報と関連付けて取得する画像取得手段と、上記向き情報毎に、上記画像データ内の注目画素近傍の画素の輝度分布に基づき、上記画像データ中の対象物の画像領域から特徴領域を抽出する抽出手段と、上記抽出手段により抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類手段と、上記クラス分類手段にて分類された画素の各クラスにおける度数を示す度数分布を生成する度数分布生成手段と、上記生成手段で生成された度数分布のうちの少なくとも一つである参照ヒストグラムと、少なくとも一部の対象物ヒストグラムとの相関を度数分布相関値として導出する度数分布相関値導出手段と、上記度数分布相関値と上記角度情報とを対応付けた関係情報を生成する関係情報生成手段とを有し、上記抽出手段は、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出するＤＲタップ抽出手段と、上記ＤＲタップのダイナミックレンジを算出するダイナミックレンジ算出手段と、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出する特徴領域抽出手段とを有することを特徴とする。
【００１２】
本発明に係る画像処理方法は、注目画素の近傍の画素の輝度分布に基づき、画像データ内の対象物の画像領域から、特徴領域を抽出する抽出ステップと、上記抽出ステップにおいて抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類ステップと、上記クラス分類ステップにて分類された各クラスにおける画素の度数分布を対象物度数分布として生成する度数分布生成ステップと、上記対象物度数分布に基づいて、上記対象物の向きを判定する向き判定ステップとを有し、上記抽出ステップでは、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出し、上記ＤＲタップのダイナミックレンジを算出し、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出し、上記向き判定ステップでは、上記クラス分類ステップにて分類された各クラス毎に、各クラス内の画素からなる領域の重心を算出し、上記対象物の画像領域の重心を算出し、各クラス毎に、上記特徴領域の重心と上記対象物の画像領域の重心との相関を重心相関値として算出し、各クラス毎に、上記重心相関値と上記対象物度数分布内の各クラスに対応する度数と予め設けられた重み付け係数との演算を行い、各クラス毎の演算結果を加算することによって、上記対象物の向きを算出し、上記各クラス毎の重心相関値と上記対象物度数分布とに基づき、上記対象物の向きを判定することを特徴とする。
【００１３】
また、本発明に係る画像処理方法は、注目画素の近傍の画素の輝度分布に基づき、画像データ内の対象物の画像領域から、特徴領域を抽出する抽出ステップと、上記抽出ステップにて抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類ステップと、上記クラス分類ステップにて分類された各クラスにおける画素の度数分布を対象物度数分布として生成する度数分布生成ステップと、上記対象物度数分布に基づいて、上記対象物の向きを判定する向き判定ステップとを有し、上記抽出ステップでは、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出し、上記ＤＲタップのダイナミックレンジを算出し、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出し、上記向き判定ステップでは、代表的な向きにおいて、各クラスにおける上記特徴領域内の画素の度数を示す判定度数分布を格納し、上記対象物度数分布と上記判定度数分布との相関を、度数分布相関値として導出し、上記度数分布相関値に基づき、上記対象物の向きを判定することを特徴とする。
【００１４】
また、本発明に係る画像処理方法は、注目画素の近傍の画素の輝度分布に基づき、画像データ内の対象物の画像領域から、特徴領域を抽出する抽出ステップと、上記抽出ステップにて抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類ステップと、上記クラス分類ステップにて分類された各クラスにおける画素の度数分布を対象物度数分布として生成する度数分布生成ステップと、上記対象物度数分布に基づいて、上記対象物の向きを判定する向き判定ステップとを有し、上記抽出ステップでは、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出し、上記ＤＲタップのダイナミックレンジを算出し、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出し、上記向き判定ステップでは、所定数の代表的な向き毎に、各クラスにおける上記特徴領域内の画素の度数を示す判定度数分布を格納し、上記対象物度数分布それぞれと上記判定度数分布との相関を度数分布相関値として、上記所定数の代表的な向き毎に導出し、上記所定数の代表的な向き毎の上記度数分布相関値に基づき、上記対象物の向きを判定することを特徴とする。
【００１６】
さらに、本発明に係る画像処理方法は、複数の向きから撮像して得た画像データを、向き情報と関連付けて取得する画像取得ステップと、上記向き情報毎に、上記画像データ内の注目画素近傍の画素の輝度分布に基づき、上記画像データ中の対象物の画像領域から特徴領域を抽出する抽出ステップと、上記抽出ステップにて抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類ステップと、上記クラス分類ステップにて分類された画素の各クラスにおける度数を示す度数分布を生成する度数分布生成ステップと、上記度数分布生成手段で生成された度数分布のうちの少なくとも一つである参照ヒストグラムと、少なくとも一部の対象物ヒストグラムとの相関を度数分布相関値として導出する度数分布相関値導出ステップと、上記度数分布相関値と上記角度情報とを対応付けた関係情報を生成する関係情報生成ステップとを有し、上記抽出ステップでは、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出し、上記ＤＲタップのダイナミックレンジを算出し、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出することを特徴とする。
【００１７】
本発明に係る記録媒体は、注目画素の近傍の画素の輝度分布に基づき、画像データ内の対象物の画像領域から、特徴領域を抽出する抽出ステップと、上記抽出ステップにおいて抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類ステップと、上記クラス分類ステップにて分類された各クラスにおける画素の度数分布を対象物度数分布として生成する度数分布生成ステップと、上記対象物度数分布に基づいて、上記対象物の向きを判定する向き判定ステップとを有し、上記抽出ステップでは、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出し、上記ＤＲタップのダイナミックレンジを算出し、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出し、上記向き判定ステップでは、上記クラス分類ステップにて分類された各クラス毎に、各クラス内の画素からなる領域の重心を算出し、上記対象物の画像領域の重心を算出し、各クラス毎に、上記特徴領域の重心と上記対象物の画像領域の重心との相関を重心相関値として算出し、各クラス毎に、上記重心相関値と上記対象物度数分布内の各クラスに対応する度数と予め設けられた重み付け係数との演算を行い、各クラス毎の演算結果を加算することによって、上記対象物の向きを算出し、上記各クラス毎の重心相関値と上記対象物度数分布とに基づき、上記対象物の向きを判定することを特徴とするコンピュータ制御可能な画像処理プログラムが記録されてなる。
【００１８】
また、本発明に係る記録媒体は、注目画素の近傍の画素の輝度分布に基づき、画像データ内の対象物の画像領域から、特徴領域を抽出する抽出ステップと、上記抽出ステップにて抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類ステップと、上記クラス分類ステップにて分類された各クラスにおける画素の度数分布を対象物度数分布として生成する度数分布生成ステップと、上記対象物度数分布に基づいて、上記対象物の向きを判定する向き判定ステップとを有し、上記抽出ステップでは、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出し、上記ＤＲタップのダイナミックレンジを算出し、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出し、上記向き判定ステップでは、代表的な向きにおいて、各クラスにおける上記特徴領域内の画素の度数を示す判定度数分布を格納し、上記対象物度数分布と上記判定度数分布との相関を、度数分布相関値として導出し、上記度数分布相関値に基づき、上記対象物の向きを判定することを特徴とするコンピュータ制御可能な画像処理プログラムが記録されてなる。
【００１９】
また、本発明に係る記録媒体は、注目画素の近傍の画素の輝度分布に基づき、画像データ内の対象物の画像領域から、特徴領域を抽出する抽出ステップと、上記抽出ステップにて抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類ステップと、上記クラス分類ステップにて分類された各クラスにおける画素の度数分布を対象物度数分布として生成する度数分布生成ステップと、上記対象物度数分布に基づいて、上記対象物の向きを判定する向き判定ステップとを有し、上記抽出ステップでは、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出し、上記ＤＲタップのダイナミックレンジを算出し、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出し、上記向き判定ステップでは、所定数の代表的な向き毎に、各クラスにおける上記特徴領域内の画素の度数を示す判定度数分布を格納し、上記対象物度数分布それぞれと上記判定度数分布との相関を度数分布相関値として、上記所定数の代表的な向き毎に導出し、上記所定数の代表的な向き毎の上記度数分布相関値に基づき、上記対象物の向きを判定することを特徴とするコンピュータ制御可能な画像処理プログラムが記録されてなる。
【００２１】
さらに、本発明に係る記録媒体は、複数の向きから撮像して得た画像データを、向き情報と関連付けて取得する画像取得ステップと、上記向き情報毎に、上記画像データ内の注目画素近傍の画素の輝度分布に基づき、上記画像データ中の対象物の画像領域から特徴領域を抽出する抽出ステップと、上記抽出ステップにて抽出された特徴領域から、複数の画素をＤＲタップとして抽出し、抽出したＤＲタップのダイナミックレンジを算出して閾値と比較することにより、上記特徴領域内の各画素を複数のクラスの１つに分類するクラス分類ステップと、上記クラス分類ステップにて分類された画素の各クラスにおける度数を示す度数分布を生成する度数分布生成ステップと、上記度数分布生成手段で生成された度数分布のうちの少なくとも一つである参照ヒストグラムと、少なくとも一部の対象物ヒストグラムとの相関を度数分布相関値として導出する度数分布相関値導出ステップと、上記度数分布相関値と上記角度情報とを対応付けた関係情報を生成する関係情報生成ステップとを有し、上記抽出ステップでは、上記対象物の画像領域内の上記注目画素の位置に応じて、上記対象物の画像領域から、複数の画素をＤＲタップとして抽出し、上記ＤＲタップのダイナミックレンジを算出し、上記ダイナミックレンジの値が所定の値より大きい場合、上記注目された画素を上記特徴領域内の画素と判断することで、上記特徴領域を抽出することを特徴とするコンピュータ制御可能な画像処理プログラムが記録されてなる。
【００２２】
【発明の実施の形態】
以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。
【００２３】
図１は、本発明を適用した画像処理装置１の利用例を表している。画像処理装置１は、利用者の前方（図中、上方）に、利用者と対面するように配置され、図２に示すように、利用者の顔部分を撮像し、撮像された画像データに基づいて、利用者の顔の向き（角度）を検出する。
【００２４】
なお、図２（Ａ）は、画像処理装置１と対面する方向（図２（Ｄ）中ａの方向）を正面とすると、正面に対して、利用者の顔が、やや左（図２（Ｄ）中ｂの方向）を向いている状態、図２（Ｂ）は、正面を向いている状態、そして図２（Ｃ）は、正面に対してやや右（図２（Ｄ）中ｃの方向）を向いている状態を示している。
【００２５】
図３は、画像処理装置１の構成例を示してる。撮像部１１は、ビデオカメラなどから構成され、例えば、所定の方向を向いている利用者の顔を撮像し、その撮像結果により得られた、図２の表示に対応するような画像データ（以下、分類前画像データと称する）をクラス分類部１２に出力する。
【００２６】
クラス分類部１２は、撮像部１１により撮像された画像データを、図４に示すように、特徴領域（図中、白抜きの部分）及び一般領域（図中、影が付されている部分）に分類する（以下、特徴領域及び一般領域に分類された分類前画像データを特徴領域分類画像データと称する）。そして、クラス分類部１２は、特徴領域分類画像データを、撮像部１１からの分類前画像データとともに演算部１３に供給する。
【００２７】
なお、特徴領域として分類される領域は、顔の輪郭、目、鼻や口など、図２に示すように、顔の向きが変わることにより、平面上のその位置や形状が大きく変化する顔の部分である。一方、一般領域として分類される領域は、頭部や額など、顔の向きが変わっても、平面上のその位置や形状があまり変化しない顔の部分と、背景部分である。
【００２８】
図４（Ａ）は、図２（Ａ）が撮像された場合に分類前画像データに基づいて生成された特徴領域分類画像データの表示（以下、特徴領域分類画像と称する）を示している。図４（Ｂ）は、図２（Ｂ）に対応する分類前画像データに基づいて生成された特徴領域分類画像データによる特徴領域分類画像を示し、図４（Ｃ）は、図２（Ｃ）に対応する分類前画像データに基づいて生成された特徴領域分類画像データによる特徴領域分類画像を示している。
【００２９】
演算部１３は、クラス分類部１２からの分類前画像データから、顔の重心点Ｐ１のＸ軸上の値Ｘ１（例えば、フレームの左端からの画素数）を決定する。また、演算部１３は、クラス分類部１２からの特徴領域分類画像の特徴領域（図４中、白抜き部分）の重心点Ｐ２のＸ軸上の値Ｘ２を決定する。さらに、演算部１３は、検出した値Ｘ１及び値Ｘ２との差Ｄを算出し、予め学習処理により記憶部１４に記憶されている図５に示す関係情報などに基づいて、利用者の顔の向き（角度）を検出する。この関係情報の詳細については、後述する。
【００３０】
次に、角度検出処理の処理手順を、図６のフローチャートを参照して説明する。
【００３１】
画像処理装置１の撮像部１１により、利用者の顔が撮像され、その撮像された画像データがクラス分類部１２に供給されると、角度検出処理が始まる。
【００３２】
ステップＳ１において、クラス分類部１２は、撮像部１１から供給された画像データ（１フレームの画像データ）から、図７に示すように、例えば６１画素×６１画素の領域からなるダイナミックレンジタップ（以下、ＤＲタップと略称する）を抽出する。ステップＳ２において、クラス分類部１２は、ステップＳ１で抽出したＤＲタップ中の画素の画素値を検出し、検出した画素値の最大値と最小値を、下記の式に代入してダイナミックレンジを算出する。
ダイナミックレンジ＝画素値の最大値−画素値の最小値。
【００３３】
次に、ステップＳ３において、クラス分類部１２は、ステップＳ２で算出したダイナミックレンジが閾値Ａ（例えば、５０）より大きいか否かを判定する。そして、大きい場合は、ステップＳ４に進み、ＤＲタップ中の画素を特徴領域（図４中の白抜き部分）に分類する一方、ダイナミックレンジが閾値Ａより小さい場合は、クラス分類部１２は、ステップＳ５に進み、ＤＲタップを一般領域（図４中、影が付された部分）に分類する。
【００３４】
ステップＳ４で特徴領域に、又はステップＳ５で一般領域に、ＤＲタップ中の画素が分類された後、ステップＳ６に進み、クラス分類部１２は、分類前画像データ中に、ＤＲタップとして抽出されていない部分すなわち一般領域あるいは特徴領域に分類されていないがそのデータが存在するか否かを判定し、存在すると判定した場合、ステップＳ１に戻り、ＤＲタップを新たに抽出し、それ以降の処理を実行する。
【００３５】
ステップＳ６において、注目画素処理されていない部分が存在しないと判定された場合、すなわち、撮像部１１からの分類前画像データが、図４に示すように、特徴領域と一般領域に分類された場合、ステップＳ７に進み、クラス分類部１２は、その特徴領域分類画像データを分類前画像データとともに演算部１３に出力する。
【００３６】
次に、ステップＳ８において、演算部１３は、クラス分類部１２から供給された特徴領域分類画像データにおける特徴領域の重心点Ｐ２を決定し、重心点Ｐ２のＸ座標Ｘ２を求める。図４（Ａ）の場合、値Ｘ２ａが、図４（Ｂ）の場合、値Ｘ２ｂが、そして図４（Ｃ）の場合、値Ｘ２ｃが検出される。また、演算部１３は、クラス分類部１２から供給された分類前画像データにおける利用者の顔の領域の重心点Ｐ１を決定し、重心点Ｐ１のＸ座標Ｘ１を求める。図４（Ａ）の場合は値Ｘ１ａが、図４（Ｂ）の場合は値Ｘ１ｂが、そして図４（Ｃ）の場合は値Ｘ１ｃが算出される。
【００３７】
次に、ステップＳ９において、演算部１３は、下記の式に従って、値Ｘ１と値Ｘ２との差Ｄ（例えば、画素の数）を各（Ｘ１，Ｘ２）の組毎に算出する。図４（Ａ）の場合は差Ｄａが、図４（Ｂ）の場合は差Ｄｂ値が、そして図４（Ｃ）の場合は差Ｄｃがそれぞれ算出される。
差Ｄ＝値Ｘ１−値Ｘ２ ・・・（１）。
【００３８】
次に、ステップＳ１０において、演算部１３は、記憶部１４に記憶されている角度Ｖと差Ｄの対応関係を示す図５の関係情報を参照して、差Ｄに対応する角度Ｖを検出する。図４（Ａ）の場合は差Ｄａに対応する角度Ｖａが、図４（Ｂ）の場合は差Ｄｂに対応する角度Ｖｂが、そして図４（Ｃ）の場合は差Ｄｃに対応する角度Ｖｃがそれぞれ検出される。なお、図５の例の場合、角度Ｖが正の値のとき、顔の向きが正面に対してその角度分だけ左方向であることを示し、負の値のとき、顔の向きが正面に対してその角度分だけ右方向であることを示すようになされている。すなわち、図４（Ａ）の場合は利用者の顔が正面に対して角度｜Ｖａ｜だけ左を向いていることが、図４（Ｂ）の場合は利用者の顔が正面に対して角度｜Ｖｂ｜だけ左を向いていることが（ただし、この場合、角度Ｖｂはほぼ０度であるので、ほぼ正面を向いていることが）、また図４（Ｃ）の場合は利用者の顔が正面に対して角度｜Ｖｃ｜だけ右を向いていることが検出され、図２の場合の利用者の顔の向きと合致する。
【００３９】
ここで、図５の関係情報は、予め撮像された、所定の方向を向いている利用者の顔の画像データに基づく差Ｄと、利用者の顔の向き（角度）との対応関係に基づいて生成されている。図８は、正面に対して約６０度だけ右を向いている状態から正面に対して約４０度だけ左を向いている状態になるように移動する利用者の顔が、所定の角度毎に撮像され、その撮像により得られた合計４５個の画像データ毎の差Ｄ（〇印）と、利用者の顔の向き（角度）（三角印）が示されている。すなわち、差Ｄと、顔の向きの角度とが相関関係にある。
【００４０】
なお、図８の例では、画像データ点Ｑは、利用者の顔がほぼ正面を向いている状態（正面に対する角度が０度の状態）が撮像された場合のデータであり、このときの顔の画像の重心点Ｐ１の値Ｘ１は、このときの特徴領域の重心点Ｐ２の値Ｘ２とほぼ同値であることから、差Ｄはほぼ０となっている。
【００４１】
以上のようにして、本発明の第１の実施の形態では、利用者の顔の向きの角度が検出される。
【００４２】
黒目（黒色）の部分は、その周りが白目（白色）や肌（肌色）の領域であるので、画素値が大きく変化しており、そのダイナミックレンジは大きい。すなわち、黒目の部分は、特徴領域に分類される。一方、髪の毛の部分は、その部分（黒色）において画素値の変化が少なく、そのダイナミックレンジは小さい。すなわち、髪の毛の部分は、一般領域に分類される。つまり、このように、所定の範囲（６１画素×６１画素）のＤＲタップのダイナミックレンジを算出して、その算出結果に基づいて画像データを分類するようにしたので、例えば、共に黒色の、黒目の部分を特徴領域に、髪の毛の部分を一般領域に分類することが可能となり、特徴領域を利用した向きの検出が可能となる。
【００４３】
また、利用者の肌が黒い場合でも、黒目の部分は、その周りは白目の部分であるので、利用者の肌が白い場合と同様に、その部分は、特徴領域に分類される。すなわち、利用者が変わっても（例えば、肌の色が変わっても）、目や口などの部分は輝度のダイナミックレンジを検出することにより特徴領域に分類することが可能となり、この結果、この場合においても正確な顔の向きが検出される。
【００４４】
また、以上においては、閾値Ａを５０とした場合を例として説明したが、その値を、例えば、４０、６０、７０、又は８０としても、同様の顔の部分が、特徴領域とされるので、顔の画像の輝度が全体的に小さい場合、又は大きい場合においても、同様の部分を、特徴領域として抽出することができる。
【００４５】
なお、以上においては、図５に示した関係情報が参照され、差Ｄに対応する角度Ｖが検出される場合を例として説明したが、差Ｄ及び角度Ｖの関係を示す式を利用して利用者の顔の向きを検出することもできる。また、以上においては、重心点のＸ軸方向の値Ｘを利用して、顔の向きを検出する場合を例として説明したが、Ｙ軸方向の値を利用することもできる。また、以上においては、利用者の顔の向きを検出する場合を例として説明したが、顔の向き以外にも、他の物（例えば人形など）の向きや姿勢を検出する場合にも適用される。
【００４６】
ここで、この第１の実施の形態における画像処理装置１の記憶部１４に記憶されている関係情報の学習処理の方法について説明する。
【００４７】
関係情報の生成は、利用者の向き情報（角度）と、利用者の画像データとに基づいて行われる。向き情報画像データを取得するに当たっては、利用者との位置関係（角度）が予め決められている画像処理装置１を複数個設けることにより効率的となる。
【００４８】
そして、関係情報の生成は、図１３のフローチャートに示す手順に従った学習処理により実行される。
【００４９】
関係情報を生成するための学習処理では、ステップＳ１１において各角度Ｖに対応する複数の画像を角度Ｖとともに取得する。
【００５０】
次のステップＳ１２では、処理する画像を選択する。
【００５１】
そして、選択した画像について、ステップＳ１３乃至ステップＳ２１において、上述の図６のフローチャートのステップＳ１乃至ステップＳ９と同様の処理を実行する。
【００５２】
次のステップ２２では、角度Ｖと相関値（差）Ｄを対応付けた関係情報を生成する。
【００５３】
次のステップＳ２３では、十分な数の角度Ｖと相関値Ｄの対応がとれたか否かを判定する。十分でない場合には、上記ステップＳ１１に戻って、ステップＳ１１乃至ステップＳ２２の処理を繰り返し行う。そして、十分な数の角度Ｖと相関値Ｄの対応がとれると、関係情報の生成のための学習処理を終了する。
【００５４】
関係情報の校正は、利用者との位置関係（角度）があらかじめ決まっている画像処理装置１を複数個設けることにより可能になる。
【００５５】
図９に示す例では、３個の画像処理装置１−１乃至１−３が設けられている。画像処理装置１−２は、図１０乃至図１２に示すように、利用者と対面する方向、いわゆる、正面に配置されている。画像処理装置１−１は、利用者の正面に対して、左４５度方向に配置されている。画像処理装置１−３は、利用者の正面に対して、右４５度方向に配置されている。
【００５６】
これにより、例えば、図１０（Ｂ）に示すように、利用者が正面を向いているとき（画像処理装置１−２と対面しているとき）、画像処理装置１−１，１−２，１−３のそれぞれがステップＳ１乃至ステップＳ９の処理を実行すると、図１０（Ａ）に示すように、画像処理装置１−１では差Ｄ１が、画像処理装置１−２では差Ｄ＝０が、そして画像処理装置１−３では差Ｄ２がそれぞれ算出される。また、画像処理装置１−１では差Ｄ１と角度Ｖ＝４５により特定される点が、画像処理装置１−２では差Ｄ＝０と角度Ｖ＝０により特定される点が、さらに、画像処理装置１−３では差Ｄ２と角度Ｖ＝−４５により特定される点がそれぞれ検出される。なお、以下において、このとき各画像処理装置１で検出された点を、点Ｐ１と記述する。
【００５７】
次に、図１１（Ｂ）に示すように、利用者が正面に対して左４５度方向を向いているとき（画像処理装置１−１と対面しているとき）、画像処理装置１−１，１−２，１−３のそれぞれがステップＳ１乃至ステップＳ９の処理を実行すると、図１１（Ａ）に示すように、画像処理装置１−１では差Ｄ＝０が、画像処理装置１−２では差Ｄ１１が、そして画像処理装置１−３では差Ｄ１２がそれぞれ算出される。また、画像処理装置１−１では差Ｄ＝０と角度Ｖ＝０により特定される点が、画像処理装置１−２では差Ｄ１１と角度Ｖ＝−４５により特定される点が、さらに、画像処理装置１−３では差Ｄ１２と角度Ｖ＝−９０により特定される点がそれぞれ検出される。なお、以下において、このとき各画像処理装置１で検出された点を、点Ｐ２と記述する。
【００５８】
次に、図１２（Ｂ）に示すように、利用者が正面に対して右４５度方向を向いているとき（画像処理装置１−３と対面しているとき）、画像処理装置１−１，１−２，１−３のそれぞれがステップＳ１乃至ステップＳ９の処理を実行すると、図１２（Ａ）に示すように、画像処理装置１−１では差Ｄ２１が、画像処理装置１−２では差Ｄ２１が、そして画像処理装置１−３では差Ｄ＝０がそれぞれ算出される。また、画像処理装置１−１では、差Ｄ２１と角度Ｖ＝−９０により特定される点、画像処理装置１−２では、差Ｄ２２と角度Ｖ＝４５により特定される点、そして画像処理装置１−３では、差Ｄ＝０と角度Ｖ＝０により特定される点がそれぞれ検出される。なお、以下において、このとき各画像処理装置１で検出された点を、点Ｐ３と記述する。
【００５９】
以上のようにして、各画像処理装置１において、点Ｐ１、点Ｐ２、及び点Ｐ３が検出されると、各画像処理装置１において、それらの３点に基づいて線形近似処理が実行され、その処理結果により関係情報が更新されることにより、関係情報が校正される。
【００６０】
また、本発明を適用した画像処理装置１では、クラス分類部１２、演算部１３及び記憶部１４により、次のような処理を行うようにすることもできる。
【００６１】
この第２の実施の形態において、クラス分類部１２は、画像処理装置１のクラス分類部１２と同様に撮像部１１からの分類前画像データから特徴領域分類画像データを生成する。また、クラス分類部１２は、後述するクラス番号割当て処理を実行し、抽出した特徴領域を複数のクラス（この例の場合、１６個のクラス）に分類する。さらに、クラス分類部１２は、特徴領域の分類結果に基づいて、図１４に示すように、分類したクラスの番号（この例の場合、０番乃至１５番のクラス番号）を区分とし、そのクラスに分類された領域（ＤＲタップ）の数を度数とするヒストグラムＴを生成する。
【００６２】
記憶部１４には、利用者の顔が、正面に対して右９０度を向いている状態、正面を向いている状態、そして正面に対して左９０度を向いている状態がそれぞれ撮像されたときの画像データに対応する参照用のヒストグラム（合計３個のヒストグラムＲ１，Ｒ２，Ｒ３）が予め生成されて記憶されている。図１５は、利用者の顔が正面に対して右９０度を向いている状態が撮像されたときの画像データに基づくヒストグラムＲ１を示している。図１６は、利用者の顔が正面を向いている状態が撮像された場合の画像データに基づくヒストグラムＲ２、そして図１７は、利用者が顔が正面に対して左９０度を向いている状態が撮像された場合の画像データに基づくヒストグラムＲ３が示されている。
【００６３】
演算部１３は、クラス分類部１２から供給されたヒストグラムＴと、記憶部１４に記憶されている各参照用のヒストグラムＲ１，Ｒ２，Ｒ３との相関値を算出し、算出した相関値に基づいて利用者の顔の向き（角度）を検出する。
【００６４】
次に、この第２の実施の形態における角度検出処理の処理手順を、図１８のフローチャートを参照して説明する。
【００６５】
撮像部１１により撮像された画像データがクラス分類部１２に供給されたとき、ステップＳ３１において、クラス分類部１２は、叙述の第１の実施の形態における図６のステップＳ１乃至ステップＳ６と同様の処理を実行し、特徴領域分類画像データを生成する。すなわち、ダイナミックレンジが大きい特徴領域（利用者の顔を特徴を表す部分）が抽出される。
【００６６】
次に、ステップＳ３２において、クラス分類部１２は、ステップＳ２１で生成した特徴領域分類画像データの特徴領域から、上述の図７に示したＤＲタップを抽出し、ステップＳ３３において、抽出したＤＲタップにクラス番号を割り当てる。このクラス番号割当て処理の詳細は、図１９のフローチャートに示されている。
【００６７】
すなわち、ステップＳ４１において、クラス分類部１２は、図１８のステップＳ２２で抽出したＤＲタップのダイナミックレンジを導出し、ステップＳ４２において、導出したダイナミックレンジを下記の式に代入し、閾値Ｂを算出する。なお、ＤＲタップは特徴領域抽出時のＤＲタップでもよい。
【００６８】
閾値Ｂ＝最小値＋ダイナミックレンジ／Ｋ最小値は、ステップＳ２２で抽出されたＤＲタップ内の画素値の最小値であり、Ｋは定数である。
【００６９】
次に、ステップＳ４３において、クラス分類部１２は、ステップＳ３２で抽出したＤＲタップの中の、図２０に示すクラスタップに対応する画素の画素値を取得する。すなわち、ステップＳ３２で抽出したＤＲタップの中心の画素Ｃから上方向に１６画素分離れて位置する画素１、画素Ｃから右方向に１６画素分離れて位置する画素２、画素Ｃから下方向に１６画素分離れて位置する画素３、そして画素Ｃから左方向に１６画素分離れて位置する画素４が検出し、検出した４つの画素１乃至画素４の画素値（輝度）が取得される。
【００７０】
ステップＳ４４において、クラス分類部１２は、ステップＳ４３で取得した、４つの画素１乃至画素４のそれぞれの画素値（輝度）に基づいて、ＤＲタップに割り当てるクラス番号を決定する。この例では、クラス番号は、図２１に示すように、画素１に対応する値がＬＳＢ、画素４に対応する値がＭＳＢとなるように、画素１、画素２、画素３及び画素４に対応する値が配列されて構成されている。ここでの画素に対応する値とは、その画素の画素値（輝度）が、ステップＳ４２で算出された閾値Ｂより大きい場合、１とされ、また閾値Ｂ以下である場合、０とされる値である。つまり、１つの画素に対応する値は０又は１の１ビットのデータであり、クラス番号は、４ビットのデータとなる。すなわち、”００００”乃至”１１１１”の１６個のデータがクラス番号（０番乃至１５番）となる。なお、この例の場合、このＤＲタップには、このうち、１番乃至１４番のクラス番号が割り当てられる。
【００７１】
すなわち、クラス分類部１２は、ステップＳ４４において、ステップＳ４３で取得した画素値（輝度）が閾値Ｂより大きいか否かを判定し、大きいと判定した場合、その画素に対応する値を１に、また大きくない（小さい）と判定した場合は、その画素に対応する値を０に設定し、最終的に４ビットのデータ（”００００”乃至”１１１１”のうちの１つのデータ）を生成し、それをクラス番号に決定する。ステップＳ４５において、クラス分類部１２は、ステップＳ４４で決定したクラス番号をＤＲタップに割り当てる。
【００７２】
このように、クラスタップの画素値（輝度）の変化（勾配）量に基づいてクラス番号を設定するようにしたので、同一の画素値（輝度）の変化（勾配）量が算出されたクラスタップ（ＤＲタップ）は、同一のクラスが割り当てられる。
【００７３】
ＤＲタップにクラス番号が割り当てられると、クラス番号割当て処理は完了し、図１８のステップＳ３４に進む。
【００７４】
ステップＳ３４において、クラス分類部１２は、特徴領域に、注目画素として処理されていない部分が存在するか否かを判定し、存在すると判定した場合、ステップＳ３２に戻り、新たなＤＲタップを抽出し、それ以降の処理を実行する。
【００７５】
ステップＳ３４において、注目画素として処理されていない部分が存在しない場合、すなわち、特徴領域から抽出されるべき全ての注目画素に所定のクラス番号が割り当てられ、特徴領域の各ブロックの分類が完了した場合、ステップＳ３５に進む。図２２（Ａ），（Ｂ），（Ｃ）は、このようにして分類された特徴領域を示している。なお、図２２（Ａ）は、図４（Ａ）に、図２２（Ｂ）は、図４（Ｂ）に、そして図２２（Ｃ）は、図４（Ｃ）に対応する特徴領域分類画像データに基づいて生成された特徴領域分類画像データの表示であるが、このように、顔の向きが変わると、クラス分類された特徴領域の領域Ａ（Ａ番のクラス番号が割り当てられ領域）、領域Ｂ（Ｂ番のクラス番号が割り当てられ領域）、領域Ｃ（Ｃ番のクラス番号が割り当てられ領域）の範囲が変化していることがわかる。なお、図２２は、簡単のために、特徴領域が３つのクラスに分類された場合の表示であるが、このように、顔の向きが異なることより、顔の同じ位置（顔のある部分）の画素が分類されるクラスが変化する。
【００７６】
ステップＳ３５において、クラス分類部１２は、ステップＳ３３での特徴領域の分類結果に基づいて、図１４に示したようなヒストグラムＴを生成し、演算部１３に供給する。このヒストグラムＴでは、１番（”０００１”）乃至１５番（”１１１０”）の１４個のクラス番号毎に、そのクラス番号が割り当てられたＤＲタップの数が度数として示されている。
【００７７】
ステップＳ３６において、演算部１３は、ステップＳ３５で生成したヒストグラムＴと記憶部１４に記憶されているヒストグラムＲ１，Ｒ２，Ｒ３との相関値を、下記の正規相関式に従ってそれぞれ算出する。すなわち、この例の場合、３つの相関値Ｗ１，Ｗ２，Ｗ３が次式（２）により算出される。
【００７８】
【数５】
0004604439.tif 000002
【００７９】
ｉ（＝１，２，３・・・１４）は、クラス番号を示し、Ｔｉは、ステップＳ３５で生成されたヒストグラムＴのｉ番のクラス番号の度数を示し、平均値Ｔは、特徴領域の画素数をクラス数で割った値であり、ヒストグラムＴの度数の平均値を示す。Ｎｉは、ヒストグラムＴとの相関値が求められる、記憶部１４に記憶されているヒストグラムＲのｉ番のクラス番号の度数を示し、平均値Ｎは、そのヒストグラムＲの度数の平均を示す。
【００８０】
ステップＳ３７において、演算部１３は、ステップＳ３６で算出した３つの相関値Ｗ１，Ｗ２，Ｗ３に基づいて利用者の顔の向き（角度）を検出する。例えば、図２３に示すように、所定の方向を向いている利用者の顔を撮像し、その画像データから生成されたヒストグラムＴと、ヒストグラムＲ１，Ｒ２，Ｒ３の相関値Ｗ１，Ｗ２，Ｗ３（３つの相関値）を予め算出しておき、ステップＳ３６で算出された３つの相関値Ｗ１，Ｗ２，Ｗ３とそれぞれ比較することより、利用者の顔の向き（角度）を検出することができる。比較方法としては、例えば、ヒストグラムＲｉ，との相関値ＷｉとステップＳ３６で算出された相関値Ｗｉ’からΣ｜Ｗｉ−Ｗｉ’｜の式により求められる値が最小となる角度を選ぶ。図２３は、正面に対して約９０度だけ右に向いている状態から正面に対して約９０度だけ左を向いている状態に、利用者の顔を移動させ、所定の角度毎に撮像して得られた合計４５個の画像データ毎に、そのときの相関値Ｗ１，Ｗ２，Ｗ３をプロットしたものである。
【００８１】
以上のようにして、利用者の顔の向き（角度）が検出されるが、このヒストグラムＴは、例えば、撮像部１１に対する顔の位置（顔の画像のフレーム上の位置）が異なっても又は顔の画像のフレーム上の角度が異なっても（例えば、上下が逆さまであっても）、撮像される利用者の顔の向きが同じであれば、同一のヒストグラムＴが生成され、結局、検出される利用者の顔の向き（角度）は同一となる。また、利用者の顔と撮像装置１１との距離が異なる場合においても、すなわち、撮像結果により得られた画像が小さい場合や大きい場合においても、利用者の顔の向きが同一であれば、生成されるヒストグラムＴは、各区分の度数が均一に多くなったり少なくなったりするだけで、同じ形の度数分布状態を呈するので、この場合においても、正規相関式により算出される相関値は同じ値となり、結局、検出される利用者の顔の向き（角度）は同じである。すなわち、テンプレートマッチング法の場合のように、特別なサーチエリアを設けその部分を詳細にサーチする処理が必要なく、向き（角度）を容易に検出することができる。
【００８２】
また、この例の場合、ＤＲタップとクラスタップとが異なるパターンである場合を例として説明したが、同じパターンとすることもできる。
【００８３】
ここで、この第２の実施の形態における画像処理装置１の記憶部１４に記憶されている関係情報を生成するための学習処理の方法について説明する。
【００８４】
関係情報の生成は、利用者の向き情報（角度）と、利用者の画像データとに基づいて行われる。向き情報画像データを取得するに当たっては、利用者との位置関係（角度）が予め決められている画像処理装置１を複数個設けることにより効率的となる。
【００８５】
そして、関係情報の生成は、図２４のフローチャートに示す手順に従った学習処理により実行される。
【００８６】
関係情報を生成するための学習処理では、ステップＳ５１において各角度Ｖに対応する複数の画像を角度Ｖとともに取得する。
【００８７】
次のステップＳ５２では、処理する画像を選択する。
【００８８】
そして、選択した画像について、Ｓ５３乃至ステップＳ５７において、上述の図１８のフローチャートのステップＳ３１乃至ステップＳ３５と同様の処理を実行して、ヒスグラムＴを生成する。
【００８９】
次のステップＳ５８では、全ての画像に対してヒストグラムを作成したか否かを判定する。未処理の画像がある場合には、上記ステップＳ５１に戻って、Ｓ５１乃至ステップＳ５８の処理を繰り返し行う。そして、全ての画像についてヒストグラムを作成したら次のステップＳ５９に進む。
【００９０】
ステップＳ５９では、代表的な角度の画像のヒストグラムをＲｉ、各角度毎に取得したヒストグラムをＴｊとして、各ヒストグラムＲｉと全てのヒストグラムＴｊとの相関値Ｗｉｊを算出する。
【００９１】
次のステップＳ６０では、角度Ｖと相関値との対応を示す関係情報を各ヒストグラムＲｉ毎に生成する。
【００９２】
そして、次のステップＳ６１では、各ヒストグラムＲｉ毎に、全ての角度Ｖで関係情報を生成したか否かを判定する。生成してない関係情報がある場合には、上記ステップＳ６０に戻って、ステップＳ６０及びステップＳ６１の処理を繰り返し行う。そして、全ての角度Ｖで関係情報を生成したら、学習処理を終了する。
【００９３】
このように各重み付け係数Ｗｉの設定して学習処理を終了する。
【００９４】
さらに、本発明を適用した画像処理装置１では、クラス分類部１２、演算部１３及び記憶部１４により、次のような処理を行うようにすることもできる。
【００９５】
この第３実施の形態において、クラス分類部１２は、上述の第１の実施の形態における画像処理装置１のクラス分類部１２と同様に撮像部１１からの分類前画像データから特徴領域分類画像データを生成する。
【００９６】
また、クラス分類部１２は、生成した特徴領域分類画像データに対してクラス番号割当て処理を実行し、特徴領域分類画像データの特徴領域を、図２２に示すようにさらに複数のクラスに分類する。なお、この例の場合、特徴領域は、０番乃至１５番の１６個のクラスに分類されるが、図２２には、簡単のために、特徴領域が、領域Ａ乃至領域Ｃの３個の領域に分類されている場合の特徴領域分類画像データの表示が示されている。
【００９７】
さらに、クラス分類部１２は、この特徴領域分類画像データに基づいて、分類したクラスの番号（この例の場合、０番乃至１５番）毎を区分とし、そのクラスに分類された部分（ＤＲタップ領域）の数（頻度）を度数とする上述の図１４に示したヒストグラムと同様なヒストグラムＴを生成する。クラス分類部１２は、特徴領域分類画像データ、ヒストグラムＴ及び分類前画像データを演算部１３に供給する。
【００９８】
演算部１３は、クラス分類部１２から供給された特徴領域分類画像データ、ヒストグラムＴ及び分類前画像データに基づいて、後述する、顔の向きとの対応値を算出するとともに、記憶部１４に記憶されている例えば図２５に示すような関係情報に基づいて、利用者の顔の向き（正面に対する角度）を検出する。なお、関係情報の生成については、後述する。
【００９９】
次に、この第３の実施の形態における角度検出処理の処理手順を、図２６のフローチャートを参照して説明する。
【０１００】
撮像部１１により利用者の顔部分が撮像された画像データがクラス分類部１２に供給されると、ステップＳ７１乃至ステップＳ７５において、クラス分類部１２は、上述の第２の実施の形態における図１８のステップＳ３１乃至Ｓ３５における場合と同様の処理を実行し、上述の図１４に示したようなヒストグラムＴを生成する。このヒストグラムＴには、１番（”０００１”）乃至１４番（”１１１０”）の１４個のクラス番号毎に、そのクラス番号が割り当てられたＤＲタップの数（頻度）が度数として示されている。なお、この例の場合、後述するステップＳ７７における対応値の算出には、この０番と１５番の度数は利用されない。
【０１０１】
ステップＳ７６において、クラス分類部１２は、分類前画像データ、ステップＳ７４で生成した特徴領域分類画像データ及びステップＳ７５で生成したヒストグラムＴを、演算部１３に供給する。
【０１０２】
次に、ステップＳ７７において、演算部１３は、分類前画像データから、顔の画像の重心点のＸ軸上の値Ｘ１を算出し（図２）、式（３）に基づいて、角度Ｖを算出する。
【０１０３】
【数６】
0004604439.tif 000003
【０１０４】
式（３）中、値Ｄｉ（ｉ＝１，２，３，・・・１５）は、顔の画像の重心点の値Ｘ１と、ｉ番のクラス番号が割り当てられた領域の重心点のＸ軸上の値Ｘ２ｉとの差である。Ｃｉは、ヒストグラムＴにおけるｉ番のクラス番号の区分に対応する度数である。Ｗｉは、各クラス番号ごとに予め設定された重み付け係数である。
【０１０５】
重み付け係数Ｗｉについてさらに説明すると、重み付け係数Ｗｉは、クラス番号が割り当てられた領域の値Ｘ２ｉと顔の画像上の値Ｘ１との差Ｄ２と、Ｃｉ×Ｄｉと、顔の向きの角度Ｖ（後述する学習処理により得た顔の向きの角度）の相関関係の強さにより設定される値であり、その相関関係が強い場合、重み付け係数Ｗｉには大きな値（例えば、１）が設定され、相関関係が弱い場合、小さい値（例えば、０）が設定される。
【０１０６】
顔の向きの変化に伴いその範囲が変化する領域（例えば、図２２中の領域Ａ）における重心点の値Ｘ２と顔の重心点の値Ｘ１の差Ｄと、度数Ｃと、角度Ｖとで定まる点の分布を考える。図２７（Ａ）に示すように、（差Ｄ×度数Ｃ）と角度Ｖとで定まる点の分布が直線上にのる場合、（差Ｄ×度数Ｃ）と角度Ｖは強い相関関係にある。このように、（差Ｄ×度数Ｃ）と角度Ｖが強い相関関係にある場合、その領域に割り当てられたクラス番号の重み付け係数Ｗには、大きな値が設定される。一方、図２７（Ｂ）に示すように、（差Ｄ×度数Ｃ）と角度Ｖとで定まる点の大きく分散している場合、（差Ｄ×度数Ｃ）と角度Ｖは弱い相関関係にある。このように、（差Ｄ×度数Ｃ）と角度Ｖが弱い相関関係にある場合、その領域に割り当てられたクラス番号の重み付け係数Ｗには、小さな値が設定される。
【０１０７】
なお、図２７は、正面に対して約６０度だけ右を向いている状態（＋６０）から正面に対して約６０度だけ左を向いている状態（−６０）に、利用者の顔の向きが変化しているとき、例えば所定の角度毎に顔が撮像され、その撮像により得られた画像データに基づいて算出された差Ｄと、そのときの学習処理により得た顔の向きの角度に基づいて生成されたものである。
【０１０８】
以上のようにして、利用者の顔の向き（角度）が検出されると、処理は終了する。
【０１０９】
なお、以上においては、式（３）に基づいて角度Ｖを算出する場合を例として説明したが、式（４）に基づいて、角度Ｖを算出するようにすることもできる。
【０１１０】
【数７】
0004604439.tif 000004
【０１１１】
また、この例の場合にも、ＤＲタップとクラスタップとが異なるパターンである場合を例として説明したが、同じパターンとすることもできる。
【０１１２】
また、以上においては、重心点のＸ軸方向の値Ｘを利用して、顔の向きを検出する場合を例として説明したが、重心点のＹ軸方向の値を利用することもできる。
【０１１３】
なお、以上のように、顔の画像上の重心点と、特徴領域上のクラス番号が割り当てられた領域の重心点の位置関係に基づいて、顔の向きが検出されるので、顔の位置が異なっていても、顔の向きが正確に検出される。また、顔の向きと強い相関関係を有する領域の重み付け係数Ｗに大きな値を設定し、弱い相関関係を有する領域の重み付け係数Ｗに小さい値を設定するようにして対応値を算出するようにしたので、顔の角度が精度よく検出される。
【０１１４】
また、ヒストグラムＴは、例えば、顔の画像の画像上の位置が異なっても（例えば、平行移動されていても）又は顔の画像が回転していても（例えば、上下が逆さになっていても）、すなわち、顔の表示状態が変化しても、撮像される利用者の顔の向きが同じであれば、ほぼ同一のヒストグラムＴが生成される。すなわち、テンプレートマッチング法の場合ように特別なサーチエリアを設けその部分を詳細にサーチする処理を必要することなく、向き（角度）を容易に検出することができる。
【０１１５】
この第３の実施の形態における画像処理装置１の記憶部１４に記憶されている関係情報の生成するための学習処理は、次のようにして行われる。
【０１１６】
関係情報の生成するための学習処理は、利用者の向き情報（角度）と、利用者の画像データとに基づいて行われる。向き情報画像データを取得するに当たっては、利用者との位置関係（角度）が予め決められている画像処理装置１を複数個設けることにより効率的となる。
【０１１７】
そして、関係情報の生成は、図２８のフローチャートに示す手順に従った学習処理により実行される。
【０１１８】
関係情報を生成するための学習処理では、ステップＳ８１において各角度Ｖに対応する複数の画像を角度Ｖとともに取得する。
【０１１９】
次のステップＳ８２では、処理する画像を選択する。
【０１２０】
そして、選択した画像について、Ｓ８３乃至ステップＳ８８において、上述の図２６のフローチャートのステップＳ７１乃至ステップＳ７６と同様の処理を実行する。
【０１２１】
次のステップ８９では、全ての角度Ｖで以上の処理を行ったか否かを判定する。未処理の角度がある場合には、上記ステップＳ８１に戻って、Ｓ８１乃至ステップＳ８９の処理を繰り返し行う。そして、全ての角度Ｖで以上の処理が行われると、ステップＳ９０に進む。ステップＳ９０では、次式（５）となるように、各重み付け係数Ｗｉを設定する。
【０１２２】
【数８】
0004604439.tif 000005
【０１２３】
ここで、Ｄｉは画像の重心相関値であり、Ｃｉは、ヒストグラムＴにおけるｉ番のクラス番号の区分に対応する度数である。学習処理時には、正解の角度Ｖと特徴量（Ｃｉ×Ｄｉ）が同時に入手できるので、例えば、正解の角度Ｖと特徴量（Ｃｉ×Ｄｉ）との相関を計算し、その値をキー信号として予め設定した相関値と重み付け係数の対応テーブルより重み付け係数Ｗｉを決定する。最小自乗法で重み付け係数Ｗｉを決定することもできる。
【０１２４】
相関法では、例えば図２９のフローチャートに示す手順に従って重み付け係数Ｗｉを決める。
【０１２５】
ステップＳ１０１では、クラスＩの角度Ｖと特徴量（Ｃｉ×Ｄｉ）との相関値を計算する。
【０１２６】
ステップＳ１０２では、ステップＳ１０１で算出された相関値の順位付けを行う。
【０１２７】
ステップＳ１０３では、相関値と重み係数の対応テーブルより重み係数Ｗｉを設定する。
【０１２８】
ステップＳ１０４では、全てのクラスについて処理を行った否かを判定する。処理すべきクラスがある場合には、上記ステップＳ１０１に戻って、次のクラスについてステップＳ１０１乃至ステップＳ１０４の処理を繰り返し行い、各クラスの重み係数Ｗｉを設定する。
【０１２９】
また、最小自乗法では、例えば図３０のフローチャートに示す手順に従って重み付け係数Ｗｉを決める。
【０１３０】
ステップＳ１１１では、角度Ｖと特徴量（Ｃｉ×Ｄｉ）を正規方程式に足し込む。
【０１３１】
ステップＳ１１２では、全サンプルについてステップＳ１１１の処理を行ったか否かを判定する。処理すべきサンプルがある場合には、ステップＳ１１１に戻り、ステップＳ１１１及びステップＳ１１２の処理を繰り返し行う。そして、全サンプルについてステップＳ１１１の処理を行ったら、ステップＳ１１３に進む。
【０１３２】
ステップＳ１１３では、全サンプルについて角度Ｖと特徴量（Ｃｉ×Ｄｉ）が足し込まれた正規方程式を、例えばコレスキー分解法を用いて解く。
【０１３３】
そして、ステップＳ１１４では、正規方程式を解くことにより得られた重み付け係数を設定する。
【０１３４】
ここで、上述の各実施の形態において、特徴量域の抽出は、複数の画素画素単位で行っているが、画素毎に行ってもよい。また、クラス分類についても同様である。
【０１３５】
また、上述の各実施の形態における各一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアとしての画像処理装置１に組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどにインストールされる。
【０１３６】
次に、図３１を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる記録媒体について、そのコンピュータが汎用のコンピュータである場合を例として説明する。
【０１３７】
プログラムは、図３１（Ａ）に示すように、コンピュータ１０１に内蔵されている記録媒体としてのハードディスク１０２や半導体メモリ１０３に予めインストールした状態でユーザに提供することができる。
【０１３８】
あるいはまた、プログラムは、図３１（Ｂ）に示すように、フロッピーディスク１１１、ＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｋ−ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１１２、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ）ディスク１１３、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）１１４、磁気ディスク１１５、半導体メモリ１１６などの記録媒体に、一時的あるいは永続的に格納し、パッケージソフトウエアとして提供することができる。
【０１３９】
さらに、プログラムは、図３１（Ｃ）に示すように、ダウンロードサイト１２１から、デジタル衛星放送用の人工衛星１２２を介して、コンピュータ１０１に無線で転送したり、ローカルエリアネットワーク、インターネットといったネットワーク１３１を介して、コンピュータ１０１に有線で転送し、コンピュータ１０１において、内蔵するハードディスク１０２などに格納させることができる。
【０１４０】
本明細書における記録媒体とは、これら全ての媒体を含む広義の概念を意味するものである。
【０１４１】
コンピュータ１０１は、例えば、図３２に示すように、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１４２を内蔵している。ＣＰＵ１４２にはバス１４１を介して入出力インタフェース１４５が接続されており、ＣＰＵ１４２は、入出力インタフェース１４５を介して、ユーザから、キーボード、マウスなどよりなる入力部１４７から指令が入力されると、それに対応して、図３１（Ａ）の半導体メモリ１０３に対応するＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１４３に格納されているプログラムを実行する。あるいはまた、ＣＰＵ１４２は、ハードディスク１０２に予め格納されているプログラム、衛星１２２若しくはネットワーク１３１から転送され、通信部１４８により受信され、さらにハードディスク１０２にインストールされたプログラム、又はドライブ１４９に装着されたフロッピーディスク１１１、ＣＤ−ＲＯＭ１１２、ＭＯディスク１１３、ＤＶＤ１１４、若しくは磁気ディスク１１５から読み出され、ハードディスク１０２にインストールされたプログラムを、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１４４にロードして実行する。さらに、ＣＰＵ１４２は、その処理結果を、例えば、入出力インタフェース１４５を介して、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）などよりなる表示部１４６に必要に応じて出力する。
【０１４２】
なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４３】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の利用例を示す図である。
【図２】利用者の顔の位置を示す図である。
【図３】画像処理装置の構成例を示すブロック図である。
【図４】図２（Ａ），図２（Ｂ）及び図２（Ｃ）に対応する特徴領域分類画像を示す図である。
【図５】関係情報を示す図である。
【図６】本発明の第１の実施の形態における角度検出処理を説明するためのフローチャートである。
【図７】ＤＲタップを説明する図である。
【図８】差Ｄと顔の向いている方向を示す図である。
【図９】画像処理装置の他の利用例を示す図である。
【図１０】関係情報の生成方法を説明する図である。
【図１１】同じく関係情報の生成方法を説明する他の図である。
【図１２】同じく関係情報の生成方法を説明する他の図である。
【図１３】本発明の第１の実施の形態における関係情報を生成するための学習処理の手順を説明するためのフローチャートである。
【図１４】本発明の第２の実施の形態において生成されたヒストグラムＴを示す図である。
【図１５】同じくヒストグラムＲ１を示す図である。
【図１６】同じくヒストグラムＲ２を示す図である。
【図１７】同じくヒストグラムＲ３を示す図である。
【図１８】本発明の第２の実施の形態における角度検出処理を説明するフローチャートである。
【図１９】クラス番号割当て処理を説明するフローチャートである。
【図２０】クラスタップを説明する図である。
【図２１】クラス番号を説明する図である。
【図２２】図２（Ａ），図２（Ｂ）及び図２（Ｃ）に対応する、分類された特徴領域を説明する図である。
【図２３】相関値Ｗ１，Ｗ２，Ｗ３を説明する図である。
【図２４】本発明の第２の実施の形態における関係情報を生成するための学習処理の手順を説明するためのフローチャートである。
【図２５】本発明の第３の実施形態における関係情報を示す図である。
【図２６】本発明の第３の実施の形態における角度検出処理を説明するためのフローチャートである。
【図２７】差Ｄと角度Ｖの相関関係の強さを説明する図である。
【図２８】本発明の第２の実施の形態における関係情報を生成するための学習処理の手順を説明するためのフローチャートである。
【図２９】相関法を用いて重み係数を決める方法を説明するためのフローチャートである。
【図３０】最小自乗法を用いて重み係数を決める方法を説明するためのフローチャートである。
【図３１】記録媒体を説明する図である。
【図３２】コンピュータの構成例を示す図である。
【図１】
0004604439.tif 000010
【図２Ａ】
0004604439.tif 000011
【図２Ｂ】
0004604439.tif 000012
【図２Ｃ】
0004604439.tif 000013
【図２Ｄ】
0004604439.tif 000014
【図３】
0004604439.tif 000015
【図４Ａ】
0004604439.tif 000016
【図４Ｂ】
0004604439.tif 000017
【図４Ｃ】
0004604439.tif 000018
【図５】
0004604439.tif 000019
【図６】
0004604439.tif 000020
【図７】
0004604439.tif 000021
【図８】
0004604439.tif 000022
【図９】
0004604439.tif 000023
【図１０Ａ】
0004604439.tif 000024
【図１０Ｂ】
0004604439.tif 000025
【図１１Ａ】
0004604439.tif 000026
【図１１Ｂ】
0004604439.tif 000027
【図１２Ａ】
0004604439.tif 000028
【図１２Ｂ】
0004604439.tif 000029
【図１３】
0004604439.tif 000030
【図１４】
0004604439.tif 000031
【図１５】
0004604439.tif 000032
【図１６】
0004604439.tif 000033
【図１７】
0004604439.tif 000034
【図１８】
0004604439.tif 000035
【図１９】
0004604439.tif 000036
【図２０】
0004604439.tif 000037
【図２１】
0004604439.tif 000038
【図２２Ａ】
0004604439.tif 000039
【図２２Ｂ】
0004604439.tif 000040
【図２２Ｃ】
0004604439.tif 000041
【図２３】
0004604439.tif 000042
【図２４】
0004604439.tif 000043
【図２５】
0004604439.tif 000044
【図２６】
0004604439.tif 000045
【図２７Ａ】
0004604439.tif 000046
【図２７Ｂ】
0004604439.tif 000047
【図２８】
0004604439.tif 000048
【図２９】
0004604439.tif 000049
【図３０】
0004604439.tif 000050
【図３１Ａ】
0004604439.tif 000051
【図３１Ｂ】
0004604439.tif 000052
【図３１Ｃ】
0004604439.tif 000053
【図３２】
0004604439.tif 000054