(57)【特許請求の範囲】
【請求項１】
顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理方法において、
顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定し、設定された探索範囲内で口の輪郭の領域を抽出するに際し、前記口領域の探索範囲は、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記口として指定された点を中心にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差をもとに、前記口領域を包含する範囲を設定してなることを特徴とする顔画像処理方法。
【請求項２】
顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理方法において、
顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定し、設定された探索範囲内で口の輪郭の領域を抽出するに際し、前記口領域の探索範囲は、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記口として指定された点を中心にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差および左右の目として指定されたそれぞれの点のｙ座標と口として指定された点のｙ座標のそれぞれの差の平均値を基に、前記口領域を包含する範囲を設定してなることを特徴とする顔画像処理方法。
【請求項３】
顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理方法において、
顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定し、設定された探索範囲内で目の輪郭の領域を抽出するに際し、前記目領域の探索範囲は、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記目として指定された点を中心にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差をもとに、前記目領域を包含する範囲を設定してなることを特徴とする顔画像処理方法。
【請求項４】
顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理方法において、
顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定し、設定された探索範囲内で眉の輪郭の領域を抽出するに際し、前記まゆ領域の探索範囲は、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記目として指定された点を基準点にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差をもとに、前記まゆ領域を包含する範囲を設定してなることを特徴とする顔画像処理方法。
【請求項５】
顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理方法において、
顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定し、設定された探索範囲内で顔の輪郭の領域を抽出するに際し、前記顔輪郭部の探索範囲は、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、ｙ軸方向における目の高さに相当する顔輪郭部は、前記目として指定された点を基準に、左右の目として指定されたそれぞれの点のｙ座標と口として指定された点のｙ座標のそれぞれの差の平均値を基にその部分の顔輪郭部が含まれるように設定してなることを特徴とする顔画像処理方法。
【請求項６】
顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理方法において、
顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定し、設定された探索範囲内で前記顔の輪郭の領域を抽出するに際し、前記顔輪郭部の探索範囲において、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、ｙ軸方向における口の高さに相当する顔輪郭部は、前記口として指定された点を基準に、左右の目として指定されたそれぞれの点のｙ座標と口として指定された点のｙ座標のそれぞれの差の平均値を基にその部分の顔輪郭部が含まれるように設定してなることを特徴とする顔画像処理方法。
【請求項７】
顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理方法において、
顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定し、設定された探索範囲内で顔の輪郭の領域を抽出するに際し、前記顔輪郭の探索範囲において、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、ｘ軸方向における口の位置に相当する顔輪郭部は、前記口として指定された点を基準に、左右の目として指定されたそれぞれの点のｙ座標と口として指定された点のｙ座標のそれぞれの差の平均値を基にその部分の顔輪郭部が含まれるように設定してなることを特徴とする顔画像処理方法。
【請求項８】
顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理方法において、
顔画像において顔の幾つかの特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定し、設定された探索範囲内でそれぞれの特徴部分の領域を抽出したのち、それぞれの領域から輪郭を構成する輪郭点の座標データを抽出し、前記特徴部分の領域の所定の点の座標値を基に、抽出された画像の位置関係を判断して正しく抽出されたか否かの判断を行うに際し、前記正しく抽出されたか否かの判断処理は、前記口領域を抽出するために設定された口領域探索範囲によって抽出された口領域において、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、抽出された口領域のｘ軸方向の左右の端点のそれぞれのｙ座標と、抽出された口領域の上端辺におけるｘ軸方向の中間点のｙ座標とを比較し、そのｘ軸方向の中間点のｙ座標が前記口領域のｘ軸方向の左右の端点のそれぞれのｙ座標より小さい場合は、抽出された口領域は口が開いた状態であると判断するとともに、抽出された口は下唇のみと判断し、上唇を抽出するための探索範囲を設定することを特徴とする顔画像処理方法。
【請求項９】
顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理方法において、
顔画像において顔の幾つかの特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定し、設定された探索範囲内でそれぞれの特徴部分の領域を抽出したのち、それぞれの領域から輪郭を構成する輪郭点の座標データを抽出し、前記特徴部分の領域の所定の点の座標値を基に、抽出された画像の位置関係を判断して正しく抽出されたか否かの判断を行うに際し、前記正しく抽出されたか否かの判断処理は、前記抽出された領域が目あるいは口である場合、目あるいは口が抽出すべきものとして抽出されたか否かの判断において、抽出された目あるいは口の領域内に、前記指定された点が含まれているか否かによって、抽出すべき領域が抽出されたか否かの判断を行うことを特徴とする顔画像処理方法。
【請求項１０】
顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理方法において、
顔画像において顔の幾つかの特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定し、設定された探索範囲内でそれぞれの特徴部分の領域を抽出したのち、それぞれの領域から輪郭を構成する輪郭点の座標データを抽出し、前記特徴部分の領域の所定の点の座標値を基に、抽出された画像の位置関係を判断して正しく抽出されたか否かの判断を行うに際し、前記正しく抽出されたか否かの判断処理は、前記抽出された領域がまゆである場合、まゆが抽出すべきものとして抽出されたか否かの判断において、抽出されたまゆ領域の左右方向の端点の座標と、目として指定された点の座標とから位置関係を判断し、抽出すべき領域が抽出されたか否かの判断を行うことを特徴とする顔画像処理方法。
【請求項１１】
顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理方法において、
顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、顔の特徴部分の領域抽出後、その特徴部分のうち目あるいは口の輪郭を構成する輪郭点を、前記抽出された領域から、目あるいは口のｘ軸方向における左右方向両端点のそれぞれの座標を求めたのち、ｙ軸方向における上下方向両端点の座標を求める場合、前記左右方向両端点間の中間付近に、左右方向端点間の長さの所定分の１の幅を有した探索範囲をｘ軸方向に設定して、その探索範囲内で前記ｙ軸方向における上下方向両端点を求めることを特徴とする顔画像処理方法。
【請求項１２】
前記求められた左右方向端点および上下方向端点の４つの端点の間に位置する輪郭点の座標は、この求めるべき輪郭点を挟む２つの端点のｘ座標の平均値を、求めるべきｘ座標とすることを特徴とする請求項１１記載の顔画像処理方法。
【請求項１３】
画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理方法において、
顔の特徴部分の領域抽出後、その特徴部分の領域の所定の点の座標値を基に、抽出された領域の位置関係を判断して正しく抽出されたか否かの判断を行うに際し、前記抽出された領域が口である場合、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、口領域のｘ軸方向における左右方向両端点を結ぶ直線の傾きが左右の目のそれぞれ所定点を結ぶ直線に対して予め定めた角度以上傾きを生じているか否かをチェックすることで、正しく抽出されたか否かの判断を行うことを特徴とする顔画像処理方法。
【請求項１４】
顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理方法において、
顔の特徴部分の領域抽出後、その特徴部分の領域の所定の点の座標値を基に、抽出された領域の位置関係を判断して正しく抽出されたか否かの判断を行うに際し、前記抽出された領域が顔輪郭である場合、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記顔輪郭を構成する複数の輪郭点において、隣り合う３つの輪郭点を１つの単位として処理し、３つの輪郭点のうち、間に挟まれる輪郭点の座標と両隣の輪郭点の平均座標とを比較して、間に挟まれる輪郭点の位置が両隣の輪郭点に比べて顔の内側に位置すると判断された場合には、その間に挟まれる輪郭点の座標を前記平均座標に置換することを特徴とする顔画像処理方法。
【請求項１５】
顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理装置において、
顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定するそれぞれの特徴部分探索範囲設定手段と、
これらそれぞれの特徴部分探索範囲設定手段により設定されたそれぞれの探索範囲内でそれぞれの特徴部分の領域を抽出するそれぞれの特徴部分抽出手段と、を備え、
前記特徴部分探索範囲設定手段は、口探索範囲設定手段、目探索範囲設定手段、まゆ探索範囲設定手段および顔輪郭部探索範囲設定手段を有し、
前記特徴部分抽出手段は、口領域抽出手段、目領域抽出手段、まゆ領域抽出手段および顔輪郭領域抽出手段を有し、
前記口探索範囲設定手段は、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記口として指定された点を中心にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差をもとに、前記口領域を包含する範囲を口探索範囲として設定するに際し、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記口として指定された点を中心にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差をもとに、前記口領域を包含する範囲を口探索範囲として設定することを特徴とする顔画像処理装置。
【請求項１６】
顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理装置において、
顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定するそれぞれの特徴部分探索範囲設定手段と、
これらそれぞれの特徴部分探索範囲設定手段により設定されたそれぞれの探索範囲内でそれぞれの特徴部分の領域を抽出するそれぞれの特徴部分抽出手段と、を備え、
前記特徴部分探索範囲設定手段は、口探索範囲設定手段、目探索範囲設定手段、まゆ探索範囲設定手段および顔輪郭部探索範囲設定手段を有し、
前記特徴部分抽出手段は、口領域抽出手段、目領域抽出手段、まゆ領域抽出手段および顔輪郭領域抽出手段を有し、
前記口探索範囲設定手段は、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記口として指定された点を中心にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差をもとに、前記口領域を包含する範囲を口探索範囲として設定するに際し、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記口として指定された点を中心にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差および左右の目として指定されたそれぞれの点のｙ座標と口として指定された点のｙ座標のそれぞれの差の平均値を基に、前記口領域を包含する範囲を口探索範囲として設定することを特徴とする顔画像処理装置。
【請求項１７】
顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理装置において、
顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定するそれぞれの特徴部分探索範囲設定手段と、
これらそれぞれの特徴部分探索範囲設定手段により設定されたそれぞれの探索範囲内でそれぞれの特徴部分の領域を抽出するそれぞれの特徴部分抽出手段と、を備え、
前記特徴部分探索範囲設定手段は、口探索範囲設定手段、目探索範囲設定手段、まゆ探索範囲設定手段および顔輪郭部探索範囲設定手段を有し、
前記特徴部分抽出手段は、口領域抽出手段、目領域抽出手段、まゆ領域抽出手段および顔輪郭領域抽出手段を有し、
前記目探索範囲設定手段は、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記目として指定された点を中心にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差をもとに、前記目領域を包含する範囲を目探索範囲として設定することを特徴とする顔画像処理装置。
【請求項１８】
顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理装置において、
顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定するそれぞれの特徴部分探索範囲設定手段と、
これらそれぞれの特徴部分探索範囲設定手段により設定されたそれぞれの探索範囲内でそれぞれの特徴部分の領域を抽出するそれぞれの特徴部分抽出手段と、を備え、
前記特徴部分探索範囲設定手段は、口探索範囲設定手段、目探索範囲設定手段、まゆ探索範囲設定手段および顔輪郭部探索範囲設定手段を有し、
前記特徴部分抽出手段は、口領域抽出手段、目領域抽出手段、まゆ領域抽出手段および顔輪郭領域抽出手段を有し、
前記まゆ探索範囲設定手段は、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記目として指定された点を基準点にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差をもとに、前記まゆ領域を包含する範囲をまゆ探索範囲として設定することを特徴とする顔画像処理装置。
【請求項１９】
顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理装置において、
顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定するそれぞれの特徴部分探索範囲設定手段と、
これらそれぞれの特徴部分探索範囲設定手段により設定されたそれぞれの探索範囲内でそれぞれの特徴部分の領域を抽出するそれぞれの特徴部分抽出手段と、を備え、
前記特徴部分探索範囲設定手段は、口探索範囲設定手段、目探索範囲設定手段、まゆ探索範囲設定手段および顔輪郭部探索範囲設定手段を有し、
前記特徴部分抽出手段は、口領域抽出手段、目領域抽出手段、まゆ領域抽出手段および顔輪郭領域抽出手段を有し、
前記顔輪郭部探索範囲設定手段における顔輪郭部探索範囲設定において、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、ｙ軸方向における目の高さに相当する顔輪郭部の探索範囲は、前記目として指定された点を基準に、左右の目として指定されたそれぞれの点のｙ座標と、口として指定された点のｙ座標のそれぞれの差の平均値を基にその部分の顔輪郭部が含まれるように設定することを特徴とする顔画像処理装置。
【請求項２０】
顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理装置において、
顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定するそれぞれの特徴部分探索範囲設定手段と、
これらそれぞれの特徴部分探索範囲設定手段により設定されたそれぞれの探索範囲内でそれぞれの特徴部分の領域を抽出するそれぞれの特徴部分抽出手段と、を備え、
前記特徴部分探索範囲設定手段は、口探索範囲設定手段、目探索範囲設定手段、まゆ探索範囲設定手段および顔輪郭部探索範囲設定手段を有し、
前記特徴部分抽出手段は、口領域抽出手段、目領域抽出手段、まゆ領域抽出手段および顔輪郭領域抽出手段を有し、
前記顔輪郭部探索範囲設定手段における顔輪郭部探索範囲設定において、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、ｙ軸方向における口の高さに相当する顔輪郭部の設定は、前記口として指定された点を基準に、左右の目として指定されたそれぞれの点のｙ座標と口として指定された点のｙ座標のそれぞれの差の平均値を基にその部分の顔輪郭部が含まれるように設定することを特徴とする顔画像処理装置。
【請求項２１】
顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理装置において、
顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定するそれぞれの特徴部分探索範囲設定手段と、
これらそれぞれの特徴部分探索範囲設定手段により設定されたそれぞれの探索範囲内でそれぞれの特徴部分の領域を抽出するそれぞれの特徴部分抽出手段と、を備え、
前記特徴部分探索範囲設定手段は、口探索範囲設定手段、目探索範囲設定手段、まゆ探索範囲設定手段および顔輪郭部探索範囲設定手段を有し、
前記特徴部分抽出手段は、口領域抽出手段、目領域抽出手段、まゆ領域抽出手段および顔輪郭領域抽出手段を有し、
前記顔輪郭部探索範囲設定手段における顔輪郭部探索範囲設定において、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、ｘ軸方向における口の位置に相当する顔輪郭部の設定は、前記口として指定された点を基準に、左右の目として指定されたそれぞれの点のｙ座標と口として指定された点のｙ座標のそれぞれの差の平均値を基にその部分の顔輪郭部が含まれるように設定することを特徴とする顔画像処理装置。
【請求項２２】
顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理装置において、顔画像において顔の幾つかの特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の領域を基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定するそれぞれの特徴部分探索範囲設定手段と、これらそれぞれの特徴部分探索範囲設定手段により設定されたそれぞれの探索範囲内でそれぞれの特徴部分領域を抽出するそれぞれの特徴部分抽出手段と、前記特徴部分抽出手段で得られたそれぞれの領域を基に、それぞれの特徴部の輪郭を構成する輪郭点の座標データを抽出する輪郭点抽出手段と、前記特徴部分の領域の所定の点の座標値を基に、抽出された画像の位置関係を判断して正しく抽出されたか否かの判断を行う抽出内容判定手段と、を有し、
前記抽出内容判定手段は、前記口領域抽出手段によって抽出された口領域において、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、抽出された口領域のｘ軸方向の左右の端点のそれぞれのｙ座標と、口領域の上端辺におけるｘ軸方向の中間点のｙ座標とを比較し、そのｘ軸方向の中間点のｙ座標が前記口領域のｘ軸方向の左右の端点のそれぞれのｙ座標より小さい場合は、抽出された口領域の画像は口が開いた状態であると判断するとともに、抽出された口領域は下唇のみと判断し、上唇を抽出するための探索領域を設定することを特徴とする顔画像処理装置。
【請求項２３】
顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理装置において、顔画像において顔の幾つかの特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の領域を基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定するそれぞれの特徴部分探索範囲設定手段と、これらそれぞれの特徴部分探索範囲設定手段により設定されたそれぞれの探索範囲内でそれぞれの特徴部分領域を抽出するそれぞれの特徴部分抽出手段と、前記特徴部分抽出手段で得られたそれぞれの領域を基に、それぞれの特徴部の輪郭を構成する輪郭点の座標データを抽出する輪郭点抽出手段と、前記特徴部分の領域の所定の点の座標値を基に、抽出された画像の位置関係を判断して正しく抽出されたか否かの判断を行う抽出内容判定手段と、を有し、
前記抽出内容判定手段は、前記抽出された領域が目あるいは口である場合、抽出された目あるいは口の領域内に、前記指定された点が含まれているか否かによって、抽出すべき目あるいは口が抽出されたか否かの判断を行うことを特徴とする顔画像処理装置。
【請求項２４】
顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理装置において、顔画像において顔の幾つかの特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の領域を基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定するそれぞれの特徴部分探索範囲設定手段と、これらそれぞれの特徴部分探索範囲設定手段により設定されたそれぞれの探索範囲内でそれぞれの特徴部分領域を抽出するそれぞれの特徴部分抽出手段と、前記特徴部分抽出手段で得られたそれぞれの領域を基に、それぞれの特徴部の輪郭を構成する輪郭点の座標データを抽出する輪郭点抽出手段と、前記特徴部分の領域の所定の点の座標値を基に、抽出された画像の位置関係を判断して正しく抽出されたか否かの判断を行う抽出内容判定手段と、を有し、
前記抽出内容判定手段は、前記抽出された領域がまゆである場合、抽出されたまゆ領域の左右方向の端点の座標と、目として指定された点の座標とから位置関係を判断し、抽出すべきまゆが抽出されたか否かの判断を行うことを特徴とする顔画像処理装置。
【請求項２５】
顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理装置において、顔の特徴部分の領域の抽出を行う特徴部分抽出手段と、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記特徴部分抽出手段により抽出された特徴部分のうち、目あるいは口の輪郭を構成する輪郭点を、前記抽出された特徴部分の領域から目あるいは口のｘ軸方向における左右方向両端点のそれぞれの座標を求めたのち、前記左右方向両端点間の中間付近に、左右方向両端点間の長さの所定分の１の幅を有した探索範囲をｘ軸方向に設定して、その探索範囲内で前記ｙ軸方向における上下方向両端点を求める特徴部分輪郭点抽出手段と、を有したことを特徴とする顔画像処理装置。
【請求項２６】
前記求められた左右方向端点および上下方向端点の４つの端点の間に位置する輪郭点の座標は、この求めるべき輪郭点を挟む２つの端点のｘ座標の平均値を、求めるべきｘ座標とすることを特徴とする請求項２５記載の顔画像処理装置。
【請求項２７】
顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理装置において、
顔の特徴部分のそれぞれの領域を抽出する特徴部分抽出手段と、この特徴部分抽出手段により抽出された領域を基に特徴部分の輪郭を構成する輪郭点を求める輪郭点抽出手段と、特徴部分の領域の所定の点の座標値を基に、抽出された領域の位置関係を判断して正しく抽出されたか否かの判断を行う抽出内容判定手段と、を有し、
前記抽出内容判定手段は、前記抽出された部分が口である場合、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、口のｘ軸方向における左右方向両端点を結ぶ直線の傾きが左右の目のそれぞれ所定点を結ぶ直線に対して予め定めた角度以上傾きを生じているか否かをチェックして正しく抽出されたか否かの判断を行うことを特徴とする顔画像処理装置。
【請求項２８】
顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理装置において、
顔の特徴部分のそれぞれの領域を抽出する特徴部分抽出手段と、この特徴部分抽出手段により抽出された領域を基に特徴部分の輪郭を構成する輪郭点を求める輪郭点抽出手段と、特徴部分の領域の所定の点の座標値を基に、抽出された領域の位置関係を判断して正しく抽出されたか否かの判断を行う抽出内容判定手段と、を有し、
前記抽出内容判定手段は、前記抽出された部分が顔輪郭である場合、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記顔輪郭を構成する複数の輪郭点において、隣り合う３つの輪郭点を１つの単位として注目し、間に挟まれる輪郭点の座標と両隣の輪郭点の平均座標とを比較して、間に挟まれる輪郭点の位置が両隣の輪郭点に比べて顔の内側に位置すると判断された場合には、その間に挟まれる輪郭点の座標を前記平均座標に置換することを特徴とする顔画像処理装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、たとえば複数の顔画像を合成する場合や、或る顔画像から個人を特定する場合などにおいて必要な顔画像の特徴的な部分の座標データを出力する顔画像処理方法および顔画像処理装置に関する。
【０００２】
【従来の技術】
たとえば、２つの顔画像の合成を行う場合、ワイヤフレームで構成された形状モデルを実際の顔画像に整合するために、それぞれの顔画像の目、まゆ、口、輪郭などの特徴部分の抽出を行い、抽出された画像データをもとに、それぞれの部分の輪郭を構成する代表的な輪郭点の座標データを求めて、その座標データを画像合成処理側に渡す必要がある。
【０００３】
従来、前記したような特徴部分の抽出方法として、たとえば、入力した画像データにおける座標データや白黒の濃度値データを基にして、エッジの検出をおこない、２値化して抽出処理する方法がある。しかし、この方法では、処理途中の２値画像にノイズが多く、豊富な色情報を持った画像を処理するには限界があった。そこで、最近では、画像の色情報を用いて特徴部分を識別して抽出処理する方法も試みられている。
【０００４】
この方法は、入力画像データにおける座標データや色データをもとに、予め設定されたプログラムに従って処理を行って特徴部分の抽出を行うものである。すなわち、入力画像データを、一旦、画像データ記憶部に蓄えたのち、まず、最初に口（唇）の抽出を行い、続いて、目の抽出を行い、次に、まゆの抽出を行うというように予め設定されたプログラムに従ってそれぞれの抽出を行う。たとえば、前記口の抽出は、顔画像全体の画像データを走査し、唇の色を的確に表現するとされるＹＩＱ表色系Ｑ成分の大きさから、或る値以上のＱ成分を有する部分のかたまりを口と判断して、口領域の抽出を行い、その領域をもとに口の輪郭を構成する代表的な輪郭点の座標データを求めて出力するというような処理を行う。目やまゆのそれぞれの座標値もこれと同様な処理行うことで、それぞれの領域の抽出を行い、それぞれの座標値を取り出すようにしている。
【０００５】
【発明が解決しようとする課題】
このように、従来の方法では、顔画像全体の画像データから、予め設定されたプログラムにしたがって特徴部分を抽出してその座標値を得るようにしている。つまり、口の抽出処理は、Ｑ成分の大きさをもとに、或る値以上のＱ成分を有する部分のかたまりを口であると判断して、口領域の抽出を行うというような処理を行うため、たとえば、顔画像の背景にＱ成分（赤色系）の大きい部分が所定以上の面積で存在したり、服に赤い模様が所定以上の面積で存在していたりすると、それらの部分が口と判断されてしまう問題がある。また、顔画像全体の画像データから目、まゆ、口などをそれぞれ抽出するため、処理に多くの時間を費やすという問題もあった。
【０００６】
そこで、本発明は顔の特徴部分を抽出する際、限られた範囲の探索領域を設定し、設定された探索領域内でそれぞれの特徴部分の抽出を行うことで、処理時間の大幅な短縮化を図り、誤りの少ない確実な抽出を可能とし、抽出されたそれぞれの特徴部分の輪郭点の抽出を確実に行うことができ、さらに、抽出内容をチェックする機能を有することで、高精度に特徴部分の抽出を可能とすることを目的としている。
【０００７】
【課題を解決するための手段】
本発明の顔画像処理方法は、顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理方法において、顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定し、設定された探索範囲内で口の輪郭の領域を抽出するに際し、前記口領域の探索範囲は、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記口として指定された点を中心にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差をもとに、前記口領域を包含する範囲を設定してなることを特徴としている。
【０００８】
また、顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理方法において、顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定し、設定された探索範囲内で口の輪郭の領域を抽出するに際し、前記口領域の探索範囲は、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記口として指定された点を中心にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差および左右の目として指定されたそれぞれの点のｙ座標と口として指定された点のｙ座標のそれぞれの差の平均値を基に、前記口領域を包含する範囲を設定してなることを特徴としている。
【０００９】
また、顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理方法において、顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定し、設定された探索範囲内で目の輪郭の領域を抽出するに際し、前記目領域の探索範囲は、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記目として指定された点を中心にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差をもとに、前記目領域を包含する範囲を設定してなることを特徴としている。
【００１０】
また、顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理方法において、顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定し、設定された探索範囲内で眉の輪郭の領域を抽出するに際し、前記まゆ領域の探索範囲は、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記目として指定された点を基準点にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差をもとに、前記まゆ領域を包含する範囲を設定してなることを特徴としている。
【００１１】
顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理方法において、顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定し、設定された探索範囲内で顔の輪郭の領域を抽出するに際し、前記顔輪郭部の探索範囲は、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、ｙ軸方向における目の高さに相当する顔輪郭部は、前記目として指定された点を基準に、左右の目として指定されたそれぞれの点のｙ座標と口として指定された点のｙ座標のそれぞれの差の平均値を基にその部分の顔輪郭部が含まれるように設定してなることを特徴としている。
【００１２】
また、顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理方法において、顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定し、設定された探索範囲内で前記顔の輪郭の領域を抽出するに際し、前記顔輪郭部の探索範囲において、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、ｙ軸方向における口の高さに相当する顔輪郭部は、前記口として指定された点を基準に、左右の目として指定されたそれぞれの点のｙ座標と口として指定された点のｙ座標のそれぞれの差の平均値を基にその部分の顔輪郭部が含まれるように設定してなることを特徴としている。
【００１３】
また、顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理方法において、顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定し、設定された探索範囲内で顔の輪郭の領域を抽出するに際し、前記顔輪郭の探索範囲において、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、ｘ軸方向における口の位置に相当する顔輪郭部は、前記口として指定された点を基準に、左右の目として指定されたそれぞれの点のｙ座標と口として指定された点のｙ座標のそれぞれの差の平均値を基にその部分の顔輪郭部が含まれるように設定してなることを特徴としている。
【００１４】
また、顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理方法において、顔画像において顔の幾つかの特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定し、設定された探索範囲内でそれぞれの特徴部分の領域を抽出したのち、それぞれの領域から輪郭を構成する輪郭点の座標データを抽出し、前記特徴部分の領域の所定の点の座標値を基に、抽出された画像の位置関係を判断して正しく抽出されたか否かの判断を行うに際し、前記正しく抽出されたか否かの判断処理は、前記口領域を抽出するために設定された口領域探索範囲によって抽出された口領域において、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、抽出された口領域のｘ軸方向の左右の端点のそれぞれのｙ座標と、抽出された口領域の上端辺におけるｘ軸方向の中間点のｙ座標とを比較し、そのｘ軸方向の中間点のｙ座標が前記口領域のｘ軸方向の左右の端点のそれぞれのｙ座標より小さい場合は、抽出された口領域は口が開いた状態であると判断するとともに、抽出された口は下唇のみと判断し、上唇を抽出するための探索範囲を設定することを特徴としている。
【００１５】
また、顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理方法において、顔画像において顔の幾つかの特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定し、設定された探索範囲内でそれぞれの特徴部分の領域を抽出したのち、それぞれの領域から輪郭を構成する輪郭点の座標データを抽出し、前記特徴部分の領域の所定の点の座標値を基に、抽出された画像の位置関係を判断して正しく抽出されたか否かの判断を行うに際し、前記正しく抽出されたか否かの判断処理は、前記抽出された領域が目あるいは口である場合、目あるいは口が抽出すべきものとして抽出されたか否かの判断において、抽出された目あるいは口の領域内に、前記指定された点が含まれているか否かによって、抽出すべき領域が抽出されたか否かの判断を行うことを特徴としている。
する顔画像処理方法。
【００１６】
また、顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理方法において、顔画像において顔の幾つかの特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定し、設定された探索範囲内でそれぞれの特徴部分の領域を抽出したのち、それぞれの領域から輪郭を構成する輪郭点の座標データを抽出し、前記特徴部分の領域の所定の点の座標値を基に、抽出された画像の位置関係を判断して正しく抽出されたか否かの判断を行うに際し、前記正しく抽出されたか否かの判断処理は、前記抽出された領域がまゆである場合、まゆが抽出すべきものとして抽出されたか否かの判断において、抽出されたまゆ領域の左右方向の端点の座標と、目として指定された点の座標とから位置関係を判断し、抽出すべき領域が抽出されたか否かの判断を行うことを特徴としている。
【００１７】
また、顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理方法において、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、顔の特徴部分の領域抽出後、その特徴部分のうち目あるいは口の輪郭を構成する輪郭点を、前記抽出された領域から、目あるいは口のｘ軸方向における左右方向両端点のそれぞれの座標を求めたのち、ｙ軸方向における上下方向両端点の座標を求める場合、前記左右方向両端点間の中間付近に、左右方向端点間の長さの所定分の１の幅を有した探索範囲をｘ軸方向に設定して、その探索範囲内で前記ｙ軸方向における上下方向両端点を求めることを特徴としている。
【００１８】
また、前記求められた左右方向端点および上下方向端点の４つの端点の間に位置する輪郭点の座標は、この求めるべき輪郭点を挟む２つの端点のｘ座標の平均値を、求めるべきｘ座標とするようにしてもよい。
【００１９】
また、顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理方法において、顔の特徴部分の領域抽出後、その特徴部分の領域の所定の点の座標値を基に、抽出された領域の位置関係を判断して正しく抽出されたか否かの判断を行うに際し、前記抽出された領域が口である場合、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、口領域のｘ軸方向における左右方向両端点を結ぶ直線の傾きが左右の目のそれぞれ所定点を結ぶ直線に対して予め定めた角度以上傾きを生じているか否かをチェックすることで、正しく抽出されたか否かの判断を行うことを特徴としている。
【００２０】
また、顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理方法において、顔の特徴部分の領域抽出後、その特徴部分の領域の所定の点の座標値を基に、抽出された領域の位置関係を判断して正しく抽出されたか否かの判断を行うに際し、前記抽出された領域が顔輪郭である場合、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記顔輪郭を構成する複数の輪郭点において、隣り合う３つの輪郭点を１つの単位として処理し、３つの輪郭点のうち、間に挟まれる輪郭点の座標と両隣の輪郭点の平均座標とを比較して、間に挟まれる輪郭点の位置が両隣の輪郭点に比べて顔の内側に位置すると判断された場合には、その間に挟まれる輪郭点の座標を前記平均座標に置換することを特徴としている。
【００２１】
また、顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理装置において、顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定するそれぞれの特徴部分探索範囲設定手段と、
これらそれぞれの特徴部分探索範囲設定手段により設定されたそれぞれの探索範囲内でそれぞれの特徴部分の領域を抽出するそれぞれの特徴部分抽出手段と、を備え、前記特徴部分探索範囲設定手段は、口探索範囲設定手段、目探索範囲設定手段、まゆ探索範囲設定手段および顔輪郭部探索範囲設定手段を有し、前記特徴部分抽出手段は、口領域抽出手段、目領域抽出手段、まゆ領域抽出手段および顔輪郭領域抽出手段を有し、前記口探索範囲設定手段は、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記口として指定された点を中心にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差をもとに、前記口領域を包含する範囲を口探索範囲として設定するに際し、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記口として指定された点を中心にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差をもとに、前記口領域を包含する範囲を口探索範囲として設定することを特徴としている。
【００２２】
また、顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理装置において、顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定するそれぞれの特徴部分探索範囲設定手段と、これらそれぞれの特徴部分探索範囲設定手段により設定されたそれぞれの探索範囲内でそれぞれの特徴部分の領域を抽出するそれぞれの特徴部分抽出手段と、を備え、前記特徴部分探索範囲設定手段は、口探索範囲設定手段、目探索範囲設定手段、まゆ探索範囲設定手段および顔輪郭部探索範囲設定手段を有し、前記特徴部分抽出手段は、口領域抽出手段、目領域抽出手段、まゆ領域抽出手段および顔輪郭領域抽出手段を有し、前記口探索範囲設定手段は、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記口として指定された点を中心にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差をもとに、前記口領域を包含する範囲を口探索範囲として設定するに際し、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記口として指定された点を中心にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差および左右の目として指定されたそれぞれの点のｙ座標と口として指定された点のｙ座標のそれぞれの差の平均値を基に、前記口領域を包含する範囲を口探索範囲として設定することを特徴としている。
【００２３】
また、顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理装置において、顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定するそれぞれの特徴部分探索範囲設定手段と、これらそれぞれの特徴部分探索範囲設定手段により設定されたそれぞれの探索範囲内でそれぞれの特徴部分の領域を抽出するそれぞれの特徴部分抽出手段と、を備え、前記特徴部分探索範囲設定手段は、口探索範囲設定手段、目探索範囲設定手段、まゆ探索範囲設定手段および顔輪郭部探索範囲設定手段を有し、前記特徴部分抽出手段は、口領域抽出手段、目領域抽出手段、まゆ領域抽出手段および顔輪郭領域抽出手段を有し、前記目探索範囲設定手段は、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記目として指定された点を中心にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差をもとに、前記目領域を包含する範囲を目探索範囲として設定することを特徴としている。
【００２４】
また、顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理装置において、顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定するそれぞれの特徴部分探索範囲設定手段と、
これらそれぞれの特徴部分探索範囲設定手段により設定されたそれぞれの探索範囲内でそれぞれの特徴部分の領域を抽出するそれぞれの特徴部分抽出手段と、を備え、前記特徴部分探索範囲設定手段は、口探索範囲設定手段、目探索範囲設定手段、まゆ探索範囲設定手段および顔輪郭部探索範囲設定手段を有し、前記特徴部分抽出手段は、口領域抽出手段、目領域抽出手段、まゆ領域抽出手段および顔輪郭領域抽出手段を有し、前記まゆ探索範囲設定手段は、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記目として指定された点を基準点にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差をもとに、前記まゆ領域を包含する範囲をまゆ探索範囲として設定することを特徴としている。
【００２５】
また、顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理装置において、顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定するそれぞれの特徴部分探索範囲設定手段と、
これらそれぞれの特徴部分探索範囲設定手段により設定されたそれぞれの探索範囲内でそれぞれの特徴部分の領域を抽出するそれぞれの特徴部分抽出手段と、を備え、前記特徴部分探索範囲設定手段は、口探索範囲設定手段、目探索範囲設定手段、まゆ探索範囲設定手段および顔輪郭部探索範囲設定手段を有し、前記特徴部分抽出手段は、口領域抽出手段、目領域抽出手段、まゆ領域抽出手段および顔輪郭領域抽出手段を有し、前記顔輪郭部探索範囲設定手段における顔輪郭部探索範囲設定において、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、ｙ軸方向における目の高さに相当する顔輪郭部の探索範囲は、前記目として指定された点を基準に、左右の目として指定されたそれぞれの点のｙ座標と、口として指定された点のｙ座標のそれぞれの差の平均値を基にその部分の顔輪郭部が含まれるように設定することを特徴としている。
【００２６】
また、顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理装置において、顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定するそれぞれの特徴部分探索範囲設定手段と、これらそれぞれの特徴部分探索範囲設定手段により設定されたそれぞれの探索範囲内でそれぞれの特徴部分の領域を抽出するそれぞれの特徴部分抽出手段と、を備え、前記特徴部分探索範囲設定手段は、口探索範囲設定手段、目探索範囲設定手段、まゆ探索範囲設定手段および顔輪郭部探索範囲設定手段を有し、前記特徴部分抽出手段は、口領域抽出手段、目領域抽出手段、まゆ領域抽出手段および顔輪郭領域抽出手段を有し、前記顔輪郭部探索範囲設定手段における顔輪郭部探索範囲設定において、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、ｙ軸方向における口の高さに相当する顔輪郭部の設定は、前記口として指定された点を基準に、左右の目として指定されたそれぞれの点のｙ座標と口として指定された点のｙ座標のそれぞれの差の平均値を基にその部分の顔輪郭部が含まれるように設定することを特徴としている。
【００２７】
また、顔画像データをもとに、顔の特徴部分である左右の目と口の３点の抽出を行って座標データを出力する顔画像処理装置において、顔画像において前記顔の特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定するそれぞれの特徴部分探索範囲設定手段と、
これらそれぞれの特徴部分探索範囲設定手段により設定されたそれぞれの探索範囲内でそれぞれの特徴部分の領域を抽出するそれぞれの特徴部分抽出手段と、を備え、前記特徴部分探索範囲設定手段は、口探索範囲設定手段、目探索範囲設定手段、まゆ探索範囲設定手段および顔輪郭部探索範囲設定手段を有し、前記特徴部分抽出手段は、口領域抽出手段、目領域抽出手段、まゆ領域抽出手段および顔輪郭領域抽出手段を有し、前記顔輪郭部探索範囲設定手段における顔輪郭部探索範囲設定において、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、ｘ軸方向における口の位置に相当する顔輪郭部の設定は、前記口として指定された点を基準に、左右の目として指定されたそれぞれの点のｙ座標と口として指定された点のｙ座標のそれぞれの差の平均値を基にその部分の顔輪郭部が含まれるように設定することを特徴としている。
【００２８】
また、顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理装置において、顔画像において顔の幾つかの特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の領域を基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定するそれぞれの特徴部分探索範囲設定手段と、これらそれぞれの特徴部分探索範囲設定手段により設定されたそれぞれの探索範囲内でそれぞれの特徴部分領域を抽出するそれぞれの特徴部分抽出手段と、前記特徴部分抽出手段で得られたそれぞれの領域を基に、それぞれの特徴部の輪郭を構成する輪郭点の座標データを抽出する輪郭点抽出手段と、前記特徴部分の領域の所定の点の座標値を基に、抽出された画像の位置関係を判断して正しく抽出されたか否かの判断を行う抽出内容判定手段と、を有し、 前記抽出内容判定手段は、前記口領域抽出手段によって抽出された口領域において、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、抽出された口領域のｘ軸方向の左右の端点のそれぞれのｙ座標と、口領域の上端辺におけるｘ軸方向の中間点のｙ座標とを比較し、そのｘ軸方向の中間点のｙ座標が前記口領域のｘ軸方向の左右の端点のそれぞれのｙ座標より小さい場合は、抽出された口領域の画像は口が開いた状態であると判断するとともに、抽出された口領域は下唇のみと判断し、上唇を抽出するための探索領域を設定することを特徴としている。
【００２９】
また、顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理装置において、顔画像において顔の幾つかの特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の領域を基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定するそれぞれの特徴部分探索範囲設定手段と、これらそれぞれの特徴部分探索範囲設定手段により設定されたそれぞれの探索範囲内でそれぞれの特徴部分領域を抽出するそれぞれの特徴部分抽出手段と、前記特徴部分抽出手段で得られたそれぞれの領域を基に、それぞれの特徴部の輪郭を構成する輪郭点の座標データを抽出する輪郭点抽出手段と、前記特徴部分の領域の所定の点の座標値を基に、抽出された画像の位置関係を判断して正しく抽出されたか否かの判断を行う抽出内容判定手段と、を有し、前記抽出内容判定手段は、前記抽出された領域が目あるいは口である場合、抽出された目あるいは口の領域内に、前記指定された点が含まれているか否かによって、抽出すべき目あるいは口が抽出されたか否かの判断を行うことを特徴としている。
【００３０】
また、顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理装置において、顔画像において顔の幾つかの特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の領域を基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定するそれぞれの特徴部分探索範囲設定手段と、これらそれぞれの特徴部分探索範囲設定手段により設定されたそれぞれの探索範囲内でそれぞれの特徴部分領域を抽出するそれぞれの特徴部分抽出手段と、前記特徴部分抽出手段で得られたそれぞれの領域を基に、それぞれの特徴部の輪郭を構成する輪郭点の座標データを抽出する輪郭点抽出手段と、前記特徴部分の領域の所定の点の座標値を基に、抽出された画像の位置関係を判断して正しく抽出されたか否かの判断を行う抽出内容判定手段と、を有し、前記抽出内容判定手段は、前記抽出された領域がまゆである場合、抽出されたまゆ領域の左右方向の端点の座標と、目として指定された点の座標とから位置関係を判断し、抽出すべきまゆが抽出されたか否かの判断を行うことを特徴としている。
【００３１】
顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理装置において、顔の特徴部分の領域の抽出を行う特徴部分抽出手段と、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記特徴部分抽出手段により抽出された特徴部分のうち、目あるいは口の輪郭を構成する輪郭点を、前記抽出された特徴部分の領域から目あるいは口のｘ軸方向における左右方向両端点のそれぞれの座標を求めたのち、前記左右方向両端点間の中間付近に、左右方向両端点間の長さの所定分の１の幅を有した探索範囲をｘ軸方向に設定して、その探索範囲内で前記ｙ軸方向における上下方向両端点を求める特徴部分輪郭点抽出手段と、を有したことを特徴としている。
【００３２】
また、前記求められた左右方向端点および上下方向端点の４つの端点の間に位置する輪郭点の座標は、この求めるべき輪郭点を挟む２つの端点のｘ座標の平均値を、求めるべきｘ座標とするようにしてもよい。
【００３３】
また、顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理装置において、顔の特徴部分のそれぞれの領域を抽出する特徴部分抽出手段と、この特徴部分抽出手段により抽出された領域を基に特徴部分の輪郭を構成する輪郭点を求める輪郭点抽出手段と、特徴部分の領域の所定の点の座標値を基に、抽出された領域の位置関係を判断して正しく抽出されたか否かの判断を行う抽出内容判定手段と、を有し、前記抽出内容判定手段は、前記抽出された部分が口である場合、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、口のｘ軸方向における左右方向両端点を結ぶ直線の傾きが左右の目のそれぞれ所定点を結ぶ直線に対して予め定めた角度以上傾きを生じているか否かをチェックして正しく抽出されたか否かの判断を行うことを特徴としている。
【００３４】
また、顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理装置において、顔の特徴部分のそれぞれの領域を抽出する特徴部分抽出手段と、この特徴部分抽出手段により抽出された領域を基に特徴部分の輪郭を構成する輪郭点を求める輪郭点抽出手段と、特徴部分の領域の所定の点の座標値を基に、抽出された領域の位置関係を判断して正しく抽出されたか否かの判断を行う抽出内容判定手段と、を有し、前記抽出内容判定手段は、前記抽出された部分が顔輪郭である場合、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記顔輪郭を構成する複数の輪郭点において、隣り合う３つの輪郭点を１つの単位として注目し、間に挟まれる輪郭点の座標と両隣の輪郭点の平均座標とを比較して、間に挟まれる輪郭点の位置が両隣の輪郭点に比べて顔の内側に位置すると判断された場合には、その間に挟まれる輪郭点の座標を前記平均座標に置換することを特徴としている。
【００４０】
【作用】
本発明は、ユーザによって指定された左右の目と口の３点の座標を基に、それぞれの探索範囲を設定し、設定された限られた探索範囲内で特徴部分を探索すればよいことから、全体の画像からそれぞれの特徴部分を抽出する場合に比べて、処理を大幅に簡素化することができ、処理時間も大幅に短縮することができる。また、限られた探索範囲内でそれぞれの特徴部分領域の抽出を行うため、誤って他の部分が抽出されることが殆どなく、取りだそうとする特徴部分を正確に抽出することができる。
【００４１】
また、顔の特徴部分の領域抽出後、その特徴部分のうち目あるいは口の輪郭を構成する輪郭点を、前記抽出された領域から、目あるいは口のｘ軸方向における左右方向両端点のそれぞれの座標を求めたのち、ｙ軸方向における上下方向両端点の座標を求める場合、前記左右方向両端点間の中間付近に、左右方向端点間の長さの所定分の１の幅を有した探索範囲をｘ軸方向に設定して、その探索範囲内で前記ｙ軸方向における上下方向両端点を求めるようにしている。したがって、輪郭を構成する代表的な上下方向の端部の輪郭点を求める場合、ノイズなどに影響されず確実な輪郭点の抽出が可能となる。
【００４２】
さらに、それぞれの特徴部分の領域抽出後、その特徴部分領域の所定の点の座標値を基に、抽出された領域の位置関係を判断して正しく抽出されたか否かの判断を行うようにしている。したがって、抽出が正しいか否かのチェックすることができ、誤った抽出がなされた場合も再処理を施すことが可能となり、抽出処理の誤りをきわめて少なくすることができる。
【００４３】
【実施例】
以下、本発明の実施例を図面を参照しながら説明する。
【００４４】
（第１の実施例）
図１は本発明の第１の実施例を説明する構成図である。この実施例の構成は、概略的には、図１に示すように、画像の取り込みを行う画像入力部１、取り込んだ画像データを蓄える画像記憶部２、特徴部分として左右の目、まゆ、口、顔輪郭部などの探索範囲を設定する特徴部分探索範囲設定手段３、設定された探索範囲内においてそれぞれの特徴部分の領域を抽出する特徴部分抽出手段４、抽出されたそれぞれの特徴部分の領域からそれぞれの輪郭を構成する代表的な輪郭点を抽出し、その座標データを出力する輪郭点抽出手段５、抽出された内容が正しいか否かを前記座標データを基に判定する抽出内容判定手段６などから構成されている。
【００４５】
前記画像入力部１は処理対象となる人物の顔画像を多階調のカラー画像として取り込む画像入力部であり、この画像入力部１で取り込んだ画像データは、画像データ記憶部２に記憶される。図２は処理対象の顔画像の例であり、この顔画像の画像データが画像記憶部２に記憶される。
【００４６】
また、前記特徴部分探索範囲設定手段３は、口、左右の目、まゆ、顔の輪郭部のそれぞれの特徴部分に対応して、口探索範囲設定部３１、目探索範囲設定部３２、まゆ探索範囲設定部３３、顔輪郭部探索範囲設定部３４が設けられ、また、特徴部分抽出手段４は、それぞれ設定された探索範囲内の特徴部分を抽出する口領域抽出部４１、目領域抽出部４２、まゆ領域抽出部４３、顔輪郭部抽出部４４が設けられている。また、前記輪郭点抽出手段５は、それぞれの特徴部分を抽出する抽出部４１〜４４からの出力を基に、それぞれの領域の輪郭を構成する代表的な輪郭点を抽出し、その座標データ抽出を行う口輪郭点抽出部５１、目輪郭点抽出部５２、まゆ輪郭点抽出部５３、顔輪郭点抽出部５４が設けられ、また、前記抽出内容判定手段６は、これら各輪郭点抽出部５１〜５４に対応して、抽出内容が正しいか否かの判定を行う口抽出内容判定部６１、目抽出内容判定部６２、まゆ抽出内容判定部６３、顔輪郭部抽出内容判定部６４が設けられる。
【００４７】
ところで、本発明では、処理対象となる顔画像の左右の目と口の３つの特徴部分のそれぞれの所定点（理想的には左右２つの目のそれぞれの中心点と口の中心点の３つの点）を、ユーザにより指定してもらって、そのユーザの指定した点の座標を基準に、口の探索範囲、目の探索範囲、まゆの探索範囲を設定する。以下、これについて順次説明する。
【００４８】
たとえばパソコンにより取り込まれてディスプレイ上に映し出された図２に示すような顔画像において、今、ユーザが２つの目ｅ１，ｅ２のそれぞれの中心点と、口ｍの中心点の３つの点ｐ１，ｐ２，ｐ３をマウスなどで指定したとする。そして、これら３点ｐ１，ｐ２，ｐ３のそれぞれのｘ軸方向およびｙ軸方向の座標を、ｐ１は（ｘ１，ｙ１）、ｐ２は（ｘ２，ｙ２）、ｐ３は（ｘ３，ｙ３）とする。
【００４９】
これにより、口探索範囲設定部３１は、次のような処理を行う。
【００５０】
まず、図３に示すように、ｘ軸方向は、口の中心点（ユーザの指定した点ｐ３）を基準として、左右の目ｅ１，ｅ２のそれぞれの中心ｐ１，ｐ２のｘ座標の差、つまり、ｘ２−ｘ１（これをｄｘで表す）ずつをとり、また、ｙ軸方向は、口の中心点（ユーザの指定した点ｐ３）を基準として、左右の目ｅ１，ｅ２のそれぞれの中心ｐ１，ｐ２のｘ座標の差の１／２、つまり、（ｘ２−ｘ１）／２（これをｄｘ／２で表す）ずつをとる。そして、これらにより囲まれる範囲Ｅ１（図示鎖線で示す）を口ｍの探索範囲とする。
【００５１】
また、他の方法として、図４に示すように、ｘ軸方向は、口の中心点（ユーザの指定した点ｐ３）を基準として、左右の目ｅ１，ｅ２のそれぞれの中心（ユーザの指定した点ｐ１，ｐ２）のｘ座標の差ｘ２−ｘ１（＝ｄｘ）と、左目ｅ１の中心のｙ座標と口の中心のｙ座標との差ｙ１−ｙ３（これをｄｙ１で表す）と、右目ｅ２の中心のｙ座標と口の中心のｙ座標との差ｙ２−ｙ３（これをｄｙ２で表す）との平均、つまり、（ｄｘ＋ｄｙ１＋ｄｙ２）／３（これをｓ１で表す) ずつをとり、また、ｙ軸方向は、口の中心点を基準にして、ｓ／２ずつをとる。そして、これらにより囲まれる範囲Ｅ２（図示鎖線で示す）を口ｍの探索範囲とする。
【００５２】
次に目探索範囲設定部３２により、目ｅ１，ｅ２の探索範囲を決定する。探索範囲の設定方法は左右の目ｅ１，ｅ２ともに同じであるが、ここでは、左目ｅ１の探索範囲について説明する。左目ｅ１の探索範囲の設定は、図３に示すように、ｘ軸方向は、左目の中心点（ユーザの指定した点ｐ１）を基準として、左右の目ｅ１，ｅ２のそれぞれの中心のｘ座標の差、つまり、ｘ２−ｘ１（＝ｄｘ）の１／２ずつをとり、また、ｙ軸方向は、左目の中心点（ユーザの指定した点ｐ１）を基準として、左右の目ｅ１，ｅ２のそれぞれの中心のｘ座標の差の１／４、つまり、（ｘ２−ｘ１）／４（＝ｄｘ／４）ずつをとる。そして、これらにより囲まれる範囲Ｅ３（図示鎖線で示す）を目ｅ１の探索範囲とする。右目ｅ２も同様にしてその探索範囲を設定する。
【００５３】
続いて、まゆ探索範囲設定部３３により、左右のまゆｂ１，ｂ２の探索範囲を決定する。探索範囲の設定方法は左右のまゆｂ１，ｂ２ともに同じであるが、ここでは、左まゆｂ１の探索範囲について説明する。なお、まゆの場合は、ユーザがその中心点を指定しないため、まゆの中心座標は特定されないことから、目の中心点（ユーザの指定した点）を基準に設定する。以下、左まゆｂ１を例にして説明する。
【００５４】
左まゆｂ１の探索範囲の設定は、図５に示すように、ｘ軸方向は、左目の中心点（ユーザの指定した点ｐ１）を基準として、顔の内側方向に、左右の目ｅ１，ｅ２のそれぞれの中心のｘ座標の差の１／３、つまり、ｘ２−ｘ１（＝ｄｘ）の１／３をとり、顔の外側方向にはｄｘの１／２をとる。また、ｙ軸方向は、左目の中心点（ユーザの指定した点ｐ１）を基準として、２ｄｘ／５と、ｄｘ／１０をとる。そして、これらにより囲まれる範囲Ｅ４（図示鎖線で示す）を左まゆｂ１の探索範囲とする。右まゆｂ２も同様にしてその探索範囲を設定する。
【００５５】
このようにして、ユーザが左右の目、口の３点を指定することにより、それぞれの指定した点を基準として、口、目、眉のそれぞれに対応して探索範囲が設定される。なお、それぞれの探索範囲における口、目、まゆのそれぞれの領域の抽出は、以下のようにして行われる。
【００５６】
たとえば、口領域の抽出は、口探索範囲設定部３１て前記したように口の探索範囲の設定がなされると、口領域抽出部４１にて、予め定められたプログラムにしたがって、その探索範囲内において、たとえば、ラスタスキャン方式により画素の走査を行い、１つ１つの画素について、ＹＩＱのＱ成分の大きさを予め設定したしきい値と比較する処理を行い、しきい値以上のＱ成分を有する画素を検出し、しきい値以上のＱ成分を有する画素が或る面積を有してひとかたまりで存在する部分を口（唇）と判断する。なお、しきい値以上のＱ成分を有する画素が或る面積を有して存在するかたまり部分が当該探索範囲内に複数個存在する場合は、その中で最大の大きさを有するかたまり部分を口と判断する。
【００５７】
ただし、笑っている画像などのように、口をあけている（唇が上唇と下唇が離れている）場合は、一般的には、下唇の方が大きい場合が多いので、図６に示すように、下唇のみが口と判断されてしまうことある。このような不都合に対処するために、口抽出内容判定部６１により、次のような処理を行う。
【００５８】
すなわち、図６において、唇として取り出された画像において、口輪郭点抽出部５１により抽出された口画像の左端点の座標が（ｘ１１，ｙ１１）、右端点の座標が（ｘ１２，ｙ１２）とすると、これら、左端点と右端点のｘ軸方向における中間で、しかも口として抽出された領域の上端辺の点ｐｍの座標（ｘ１３，ｙ１３）を取り出し、この点ｐｍの座標のｙ座標ｙ１３と、前記左端点および右端点のそれぞれのｙ座標ｙ１１，ｙ１２とのｙ軸方向の位置関係（上下関係）を調べる。そして、点ｐｍのｙ座標ｙ１３が、ｙ１１＞ｙ１３、かつ、ｙ１２＞ｙ１３である場合は、当該抽出された口領域は開いた状態にあり、かつ、そのとき口として取り出され領域は下唇であると判断する。
【００５９】
この場合は、前記左端点の座標を（ｘ１１，ｙ１１）、右端点の座標を（ｘ１２，ｙ１２）を基準として再探索範囲の設定を行う。この再探索範囲は、具体的には図６の鎖線で示すような探索範囲Ｅ５となり、その探索範囲Ｅ５の大きさは、たとえば、図３で示した口全体の探索範囲Ｅ１においてｙ軸方向の長さを半分とした領域、つまり、ｘ軸方向は２ｄｘの長さ、ｙ軸方向はｄｘ／２の長さで構成される範囲とすることが考えられるが、これに限られるものではなく、最適な範囲を設定することが可能である。
【００６０】
これにより、口をあいた画像でも確実に口領域全体を取り出すことができ、笑った画像にも対応できる。
【００６１】
次に、目領域やまゆ領域の取り出しも口の取り出しと同様、それぞれ目領域抽出部４２、まゆ領域抽出部４３にて、予め定められたプログラムにしたがって、それぞれの探索範囲内において、たとえば、ラスタスキャン方式により画素の走査を行い、１つ１つの画素について、ＹＩＱのたとえばＩ成分の大きさを予め設定したしきい値と比較する処理を行い、しきい値以上のＩ成分を有する画素を検出し、しきい値以上のＩ成分を有する画素が或る面積を有してひとかたまりで存在する部分を目（まゆ）と判断する。なお、しきい値以上のＩ成分を有する画素が或る面積を有して存在するかたまり部分が当該探索範囲内に複数個存在する場合は、その中で最大の大きさを有するかたまり部分を目（まゆ）と判断する。
【００６２】
以上のように、ユーザにより入力された左右の目と口の３点の座標を基準として、左右の目、口、まゆそれぞれに対応した探索範囲を設定し、その探索範囲内でそれぞれの領域の探索を行えばよいことから、それぞれの領域の取り出し処理を大幅に簡素化することができ、しかも高精度な取り出し処理が行える。
【００６３】
次に、顔輪郭部探索範囲設定部３４による顔輪郭抽出を行うための輪郭部探索範囲設定処理について説明する。まず、目ｅ１，ｅ２の高さ部分における部分的な顔輪郭線の画像を抽出するための顔輪郭部探索範囲設定例について説明する。なお、ここでは、左右の目の中心（ユーザが指定した点）から水平方向（ｘ軸方向）に延ばした輪郭部の抽出を行う。また、ここでは、左目ｅ１に対応する輪郭部ｐ１１を抽出するための探索範囲設定を例にとって説明する。
【００６４】
まず、今まで述べたように、左右の目ｅ１，ｅ２の中心座標を（ｘ１，ｙ１）、（ｘ２，ｙ２）とし、口ｍの中心座標を（ｘ３，ｙ３）とする。これらの座標を基に、図７に示すように、前記輪郭部ｐ１１が含まれるような探索範囲Ｅ６を設定する。この探索範囲Ｅ６は、前記輪郭部ｐ１１と左目の中心ｐ１を結ぶ線上において、ｘ軸方向に次のような範囲で設定する。なお、ｙ軸方向の範囲は特に定めないが、輪郭部ｐ１１を中心にｙ軸方向に所定の範囲とする。
【００６５】
すなわち、左目ｅ１の中心ｐ１を基準にして、顔の外側は前記左右の目、口の座標値において、〔｛（ｙ１−ｙ３）＋（ｙ２−ｙ３）｝÷２〕×３／４、つまり、左右の目ｅ１，ｅ２と口ｍのそれぞれのｙ座標の差の平均値（＝ｗ１とする）に３／４倍した値とし、顔の内側は、〔｛（ｙ１−ｙ３）＋（ｙ２−ｙ３）｝÷２〕×１／３、つまり、左右の目ｅ１，ｅ２と口ｍのそれぞれのｙ座標の差の平均値（＝ｗ１）に１／３倍した値とする。これらにより求められる範囲を輪郭部ｐ１１の探索範囲とする。以上は左目に対応する輪郭部を求めるための探索範囲を設定する場合であるが、右目に対応する輪郭部を求めるための探索範囲の設定も同様に行う。
【００６６】
そして、このようにして設定された探索範囲において、顔輪郭部抽出部４４にて、画素を走査することにより、輝度差の大きい部分を取り出す処理、いわゆるエッジ処理を行うことにより、輪郭部を抽出することができる。なお、この場合、探索範囲としては、図７のＥ６で示すように、輪郭部ｐ１１を基準としてｙ軸方向にも所定の幅を持たせた範囲で走査を行う。これは、エッジ検出を行う場合、ノイズなどの影響によって輪郭におうとつが生じるような場合に平均的な輪郭線を求めるためである。
【００６７】
同様にして、口の高さの部分における部分的な顔輪郭線を抽出するための輪郭部探索範囲設定例について説明する。ここでは、口ｍの中心（ユーザが指定した点ｐ３）から水平方向（ｘ軸方向）に延ばした輪郭部ｐ１２の抽出を行う。
【００６８】
まず、左右の目の中心座標（ｘ１，ｙ１）、（ｘ２，ｙ２）および、口ｍの中心座標（ｘ３，ｙ３）を基に、図７に示すように、前記輪郭部ｐ１２が含まれるような探索範囲Ｅ７を設定する。この探索範囲Ｅ７は、前記輪郭部ｐ１２と口ｍの中心ｐ３を結ぶ線上において、ｘ軸方向に次のような範囲で設定する。なお、ｙ軸方向の範囲は特に定めないが、輪郭部ｐ１２を中心にｙ軸方向に所定の範囲とする。
【００６９】
すなわち、口ｍの中心ｐ３を基準にして、顔の外側は前記左右の目ｅ１，ｅ２、口ｍの座標値において、〔｛（ｙ１−ｙ３）＋（ｙ２−ｙ３）｝÷２〕×１１／１０、つまり、左右の目ｅ１，ｅ２と口ｍのそれぞれのｙ座標の差の平均値（＝ｗ１）に１１／１０倍した値とし、顔の内側は、〔｛（ｙ１−ｙ３）＋（ｙ２−ｙ３）｝÷２〕×３／５、つまり、左右の目ｅ１，ｅ２と口ｍのそれぞれのｙ座標の差の平均値（＝ｗ１）に３／５倍した値とする。これらにより求められる範囲を輪郭部ｐ１２の探索範囲とする。
【００７０】
そして、このようにして設定された探索範囲において、顔輪郭部抽出部４４にて、画素を走査することにより、輝度差の大きい部分を取り出す処理、いわゆるエッジ処理を行うことにより、輪郭画像を抽出することができる。なお、この場合、探索範囲としては、図７のＥ７で示すように、輪郭部ｐ１２を基準としてｙ軸方向にも所定の幅を持たせた範囲で走査を行う。これは、エッジ検出を行う場合、ノイズなどの影響によって輪郭におうとつが生じるような場合に平均的な輪郭線を求めるためである。
【００７１】
さらに同様にして、あごの先端部分における部分的な顔輪郭線を抽出するための輪郭部探索範囲設定例について説明する。ここでは、口の中心（ユーザが指定した点ｐ３）から垂直方向（ｙ軸方向）に延ばした輪郭部ｐ１３の抽出を行う。
【００７２】
まず、左右の目の中心座標（ｘ１，ｙ１）、（ｘ２，ｙ２）および、口ｍの中心座標（ｘ３，ｙ３）を基に、図７に示すように、前記輪郭点ｐ１３が含まれるような探索範囲Ｅ８を設定する。この探索範囲Ｅ８は、前記輪郭部ｐ１３と口ｍの中心ｐ３を結ぶ線上において、ｙ軸方向に次のような範囲で設定する。なお、ｘ軸方向の範囲は特に定めないが、輪郭部ｐ１３を中心にｘ軸方向に所定の範囲とする。
【００７３】
すなわち、口ｍの中心ｐ３を基準にして、顔の外側は前記左右の目、口の座標値において、〔｛（ｙ１−ｙ３）＋（ｙ２−ｙ３）｝÷２〕×３／４、つまり、左右の目ｅ１，ｅ２と口ｍのそれぞれのｙ座標の差の平均値（＝ｗ１）に３／４倍した値とし、顔の内側は、〔｛（ｙ１−ｙ３）＋（ｙ２−ｙ３）｝÷２〕×１／２、つまり、左右の目ｅ１，ｅ２と口ｍのそれぞれのｙ座標の差の平均値（＝ｗ１）に１／２倍した値とする。これらにより求められる範囲を輪郭部ｐ１３の探索範囲とする。
【００７４】
そして、このようにして設定された探索範囲Ｅ８において、顔輪郭部抽出部４４にて、画素を走査することにより、輝度差の大きい部分を取り出す処理、いわゆるエッジ処理を行うことにより、輪郭画像を抽出することができる。なお、この場合、探索範囲としては、図７のＥ８で示すように、輪郭部ｐ１３を基準としてｘ軸方向にも所定の幅を持たせた範囲で走査を行う。これは、エッジ検出を行う場合、ノイズなどの影響によって輪郭におうとつが生じるような場合に平均的な輪郭線を求めるためである。
【００７５】
以上のように、まず、口、目、まゆ、部分的な顔の輪郭の探索範囲をそれぞれ設定して、それぞれの抽出を行うと、次は、それぞれの輪郭を構成する代表的な輪郭点の座標データ抽出を口輪郭点抽出部５１、目輪郭点抽出部５２、まゆ輪郭点抽出部５３、顔輪郭点抽出部５４によって行い、その後、口抽出内容判定部６１、目抽出内容判定部６２、まゆ抽出内容判定部６３、顔輪郭抽出内容判定部６４でそれぞれの抽出内容の判定を行い、抽出内容に誤りがなければ、前記輪郭点抽出部５１〜５４で抽出されたそれぞれの輪郭点の座標データを出力する。
【００７６】
ところで、前記それぞれの抽出内容判定部６１〜６４は、目、口、まゆ、顔の輪郭などの抽出処理において、抽出された部分が適切かどうかを判断する処理である。
【００７７】
その処理の一例として、たとえば、目、口、まゆを取り出す処理において、目と口についてそれらが正しく取り出されたか否かを判定する処理がある。この判定処理を行うには、取り出された領域がユーザの指定した点を含んでいるか否かをチェックすることにより、取り出した領域が適切か否かを判断する。たとえば、目を取り出そうとしたとき、ユーザの指定した点が目の中心ではなく、まゆに近い部分であったような場合は、まゆを含んだ探索範囲が設定される場合がある。このような場合、画素の走査により、誤って、まゆが取り出される場合もある。  このように、目を取り出すべきものが誤ってまゆが取り出された場合、まゆの領域の中にユーザが目として指定した点が含まれるか否かをチェックすることにより、取り出したものが正しいか否かの判断を行う。この場合は、目とまゆのチェックであり、主にｙ軸方向の位置の違いであるから、ユーザの指定した点のｙ座標が、取り出された領域のｙ座標の最大値と最小値の間に含まれているか否かをチェックすることにより判断できる。このように、取り出された領域内に、ユーザの指定した点が含まれていれば、取り出された領域は正しく、ユーザの指定した点が含まれていなければ、取り出された領域は正しくないと判断できる。そして、正しくないと判断された場合は再処理要求を出して再処理を行う。
【００７８】
口の場合は前記したような下唇のみが抽出された場合の判定のほか、前記目の場合と同様に、ユーザが口として指定した点が、取り出された領域内に含まれているか否かで取り出された画像が正しいか否かの判断が行える。
【００７９】
また、まゆの場合は、ユーザが眉の指定をしないため、目や口のように取り出された領域内にユーザの指定した点が含まれているか否かでは判断できない。従って、まゆの場合は、ユーザが目として指定した点を参照して、目として指定した点の座標値と、まゆとして取り出した結果の領域の座標値とを比較して判断する。
【００８０】
すなわち、図８（ａ）に示すように、まゆとして取り出された領域のｘ軸方向の左端点の座標を（ｘ２１，ｙ２１）、右端点の座標を（ｘ２２，ｙ２２）とし、ユーザが目として指定した点の座標を（ｘ１，ｙ１）とすれば、ｘ２１＜ｘ１＜ｘ２２であり、かつ、ｙ２１＞ｙ１、ｙ２２＞ｙ１である場合は、取り出した領域はまゆとして正しい画像であると判断し、それ以外は、誤りとみなして再処理を行う。これにより、たとえば、図８（ｂ）のように、額の左端に垂れ下がった髪の毛ｈをまゆとして取り出してしまった場合は、髪の毛ｈの左端点のｘ座標ｘ３１、右端点のｘ座標ｘ３２と、ユーザが目として指定した点のｘ座標ｘ１との関係が同図からも明らかなように、ｘ３１＜ｘ１＜ｘ３２を満たさないので、取り出された領域はまゆでないと判断できる。
【００８１】
なお、以上説明した第１の実施例において、それぞれの探索範囲を設定する際に用いられる１／２、２／５、１／１０などここで用いたすべての係数はあくまで１つの例であって、これに限定されるものではない。
【００８２】
（第２の実施例）
以上第１の実施例では、目、口、まゆなどの抽出を行う際、それぞれの探索範囲を設定して、その探索範囲の中で目、口、まゆなどの抽出を行い、それぞれの座標データを出力する処理について説明したが、この第２の実施例では、目、口などの輪郭を構成する代表的な輪郭点の座標データを取り出す際に、ノイズなどの影響を受けずに確実に輪郭点の座標データを抽出する処理について説明する。なお、この第２の実施例における輪郭点の座標データを求める場合に必要な目、口などの領域の抽出は、前記第１の実施例のように探索範囲を設定して抽出する方法に限られるものではない。以下、この第２の実施例について説明する。
【００８３】
図９は、この第２の実施例を説明する概略的な構成図であり、画像入力部１、画像記憶部２、特徴部分抽出部４、輪郭点抽出部５、抽出内容判定部６などから構成されている。前記特徴部分抽出部４は、前記第１の実施例での図１に示した口領域抽出部４１、目領域抽出部４２、まゆ領域抽出部４３、顔輪郭部抽出部４４などに相当するものであり、第１の実施例で説明したような探索範囲内での画像データを基にして特徴部分の抽出を行うものでもよいが、それに限られるものではない。また、輪郭点抽出部５は、図１における口輪郭点抽出部５１、目輪郭点抽出部５２、まゆ輪郭点抽出部５３、顔輪郭点抽出部５４に相当するものであり、抽出内容判定部６は、図１における口抽出内容判定部６１、目抽出内容判定部６２、まゆ抽出内容判定部６３、顔輪郭抽出内容判定部６４に相当するものである。
【００８４】
このような構成において、特徴部分抽出部４にて抽出された領域を基に、たとえば、目（ここでは片方の目について説明する）においては、図１０に示すように、目の輪郭を構成する代表的な輪郭点として、ｐ２１，ｐ２２，・・・，ｐ３６および眼球を構成する点ｐ３７のそれぞれの座標値を取り出す必要がある。このように、目の輪郭を構成する点ｐ２１，ｐ２２，・・・，ｐ３６の座標を取り出す際、最初にｘ軸方向の左右の端点（目として取り出された部分の中で左右方向に最も長い部分の左右両端点）ｐ２１とｐ２９の座標を取り出し、次にｙ軸方向の上下の端点（目として取り出された部分の中で上下方向に最も長い部分の両端点）ｐ２５とｐ３３の座標を取り出すという処理を行う場合が多い。この場合、この第２の実施例では、上下の端点ｐ２５，ｐ３３の座標を求める際は、左右の端点ｐ２１，ｐ２９を結ぶ線上の中間付近に、図１０の鎖線で示すような探索範囲Ｅ９を設定し、この探索範囲Ｅ９内のみで上下の端点ｐ２５，ｐ３３を求めるようにする。
【００８５】
この探索範囲Ｅ９の大きさは、たとえば、ｙ軸方向は目の中心座標（ユーザの指定した点の座標）を基準に前記第１の実施例で説明したように、ｄｘ／２づつの範囲（ただし、ｄｘ＝ｘ２−ｘ１）をとり、ｘ軸方向は目の中心座標を基準に目の左右方向の端点ｐ２１，ｐ２９の長さの１／１０程度をとり、これらに囲まれた範囲とするが、この探索範囲の大きさはこれに限定されるのもではない。
【００８６】
このように、目の左右方向の長さの中心付近を基準に上下の端点を求めるための探索範囲を或る範囲に限定するのは、以下の理由によるものである。
【００８７】
すなわち、目や口の形は全体的にはほぼ楕円形に近い形であるのが一般的である。したがって、目の上下の端点（上下方向に最も長い部分の端点）ｐ２５，ｐ３３は、図１０に示すように、目の左右方向の中心付近に位置するのが普通である。ところが、目の左右方向の端点ｐ２１，ｐ２９付近に、ノイズなどによるいわゆる“ひげ”といわれるものが外側上下方向に突出した状態で存在していると、その部分が上下方向の端点とみなされて処理されることがある。このノイズなどによるひげを上下方向の端点としてその座標を取り出し、その座標データに基づいた処理が行われると、不自然な形の目となる虞れがある。これに対処するために、上下方向の端点ｐ２５，ｐ３３の探索範囲を中心付近に限定するのである。これは、目だけではなく、口の輪郭を構成する各点の座標を取り出すときも同じようにして行う。
【００８８】
口の場合は、上下方向の端点を探索するために、たとえば、図１１の鎖線の範囲で示すような探索範囲Ｅ１０を設定する。図１１において、ｐ４１，ｐ４２，・・・，ｐ５６は口（唇）の外側の輪郭点を示し、ｐ５７，ｐ５８，・・・，ｐ６８は口（唇）の内側の輪郭点を示している。なお、この場合、探索範囲Ｅ１０の大きさは、たとえば、ｙ軸方向は口の中心座標（ユーザの指定した点の座標）を基準に前記第１の実施例で説明したように、ｄｘ／２づつの範囲（ただし、ｄｘ＝ｘ２−ｘ１）をとり、ｘ軸方向は口の中心座標を基準に口の左右方向の端点ｐ４１，ｐ４９の間の長さの１／１０程度をとり、これらに囲まれた範囲とするが、この探索範囲Ｅ１０の大きさはこれに限定されるものではない。
【００８９】
口の場合は、面積が比較的大きいので、上下方向の端点の探索範囲を図１１のように限定することで、上下方向の端点を探索する際の処理時間を大幅に短くすることができるという効果も得られる。また、唇を左右に緊張させた画像にあっては、唇の外側の輪郭が水平となって（図１１において、たとえば、点ｐ４３〜ｐ４７および点ｐ５１〜ｐ５５までがそれぞれ水平に近くなる）、上下方向の端点を求める範囲が広くなり、求めたい端点を正確に特定することが難しかったり、あるいは、ぞの水平部分にノイズなどによる突出点があると、その部分を端点とみなして処理してしまう虞れもあった。このような問題に対処するためにも、図１１の鎖線で示すような探索範囲を設定して、その探索範囲内で上下方向の端点を求めることが有効となる。
【００９０】
そして、左右方向の端点の座標と、上下方向の端点の座標が求められた後は、その中間の各点の座標を取り出す。口の場合は、たとえば、次は、点ｐ４３とそれに対応する（ｘ座標が同じ）点ｐ５５のそれぞれの座標、点ｐ４７とそれに対応する（ｘ座標が同じ）点ｐ５１のそれぞれの座標を取り出すというような処理を行う。
【００９１】
また、左右方向の端点の座標と、上下方向の端点の座標の中間の各点の座標を取り出す処理において、たとえば、図１２に示すように、目が多少斜めとなっている画像の場合は、先に求めた左右の端点ｐ２１，ｐ２９、上下の端点ｐ２５，ｐ３３の座標を基に、以下のようにしてその中間の点の座標を決める。なお、ここでは、点ｐ２３とそれに対応する点ｐ３５（ただし、これらは目が斜めとなっているために両者のｘ座標は一致しない）、点ｐ２７とそれに対応する点ｐ３１（同様に、両者のｘ座標は一致しない）を求めるようとする中間点とする。
【００９２】
たとえば、図１２において、ｐ２３の点の座標は、ｐ２１とｐ２５のそれぞれのｘ座標の平均値を点ｐ２３のｘ座標とし、そのｘ座標における領域の最大ｙ値をそのｐ２３のｙ座標とする。また、点ｐ３５の座標は、ｐ２１とｐ３３のそれぞれのｘ座標の平均値を点ｐ３５のｘ座標とし、そのｘ座標における領域の最大ｙ値をそのｐ２３のｙ座標とする。点ｐ２７、点ｐ３１も同様にして求める。
【００９３】
以上のようにして、各輪郭点の座標を求めることができる。そして、次に、抽出内容判定部６にて抽出された内容に誤りがあるか否かの判定がなされ、誤りがなければ、前記のようにして求められた座標データはそのまま出力される。
【００９４】
前記抽出内容判定部６の判定処理の一例について説明する。たとえば、口ｍを抽出する場合、図１３に示すように、光線の影響などで斜線部分Ａ１が欠けて斜めの口の画像として取り出される場合がある。この図１３に示す画像は、光線が右側から当たっていて、斜線部分が陰になって、その陰の部分が欠けて取り出された場合の口の画像を示している。本来は、その斜線部分Ａ１を含んだ形の口が正しい口の形であるが、斜線部分Ａ１の画素の色データが光線の影響で口とみなされなかったため、実際に抽出された口は、実線で示すように左下がりに斜めに曲がった形となっている。
【００９５】
このような状態で取り出された場合、抽出された口の傾きをチェックすることにより、それが正しいか否かの判断を行う。すなわち、実際に抽出された口ｍの左端点ｍ１と右端点ｍ２とを結ぶ直線Ｌ１の傾きが、左右の目ｅ１，ｅ２の中心を結ぶ直線Ｌ２に対して、予め設定した角度以上（実験では、設定角度を±７°とすると、傾きの判断を行うのに都合のよいことがわかった）傾いている場合は、誤った抽出であるとして再処理を行う。
【００９６】
また、顔などの輪郭を構成する点（輪郭点）の座標を求める場合、抽出された或る輪郭点が、その輪郭点に隣り合う２つの輪郭点に比べて顔の内側に位置してしまうような場合がある。たとえば、図１４に示すような場合であり、同図においては、輪郭点ｐ７３が顔の内側に大きく外れて位置して取り出された様子を示している。これは、その部分に髭やはっきりとしたしわなどが存在していたりすると、しきい値以上の輝度がその点で検出されることによって、誤った輪郭点が検出されることによるものである。このような場合、顔の輪郭は、その部分で大きく内側にへこんだものとなり、不自然な顔画像となってしまう。
【００９７】
これに対処するために、隣り合う２つの輪郭点のそれぞれの座標値の平均の座標を求め、これら２つの輪郭点の間の輪郭点の座標が、この平均座標より顔の内側に位置するか否かを検出して、内側に存在する場合は、その内側に位置する輪郭点を平均座標の位置に置き換える。これを図１４の場合を例にとって説明する。図１４の場合は、輪郭点ｐ７３が隣り合う輪郭点ｐ７２とｐ７４の平均座標の点ｐ７３’よりも内側に位置していることが、それぞれの座標値から判断できる。したがって、この場合は、輪郭点ｐ７３の座標を簡易的に点ｐ７３’の座標に置き換える処理を行う。これにより、その部分の顔の輪郭は、輪郭点ｐ７１，ｐ７２，ｐ７３’，ｐ７４により近似された曲線（一点鎖線で示す。なお、理想的には図の鎖線で示す曲線である）となり、自然に近い顔画像が得られる。
【００９８】
【発明の効果】
以上説明したように、本発明による顔画像処理方法は、請求項１によれば、顔画像の幾つかの特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれの点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定し、設定された探索範囲内でそれぞれの特徴部分の領域を抽出するようにしたので、限られた探索範囲内で特徴部分を探索すればよいことから、全体の画像からそれぞれの特徴部分を抽出する場合に比べて、処理を大幅に簡素化することができ、処理時間も大幅に短縮することができる。また、限られた探索範囲内でそれぞれの特徴部分の抽出を行うため、誤って他の部分を抽出するということを殆どなくすことができ、取りだそうとする特徴部分を正確に抽出することができる。また、前記所定の点が指定される顔の特徴部分は左右の目と口の３点とし、また、この３点の座標データを基に探索範囲が設定された上で領域が抽出される特徴部分は口、左右の目、まゆ、顔の輪郭であるので、点の指定がきわめて簡単であり、この指定した点の座標に基づいて設定された探索範囲により口、左右の目、まゆ、顔の輪郭を抽出するため、顔の特徴部分の多くを確実にしかも簡単に抽出することができ、また、様々な大きさの顔に対応した探索範囲の設定が行える。さらに、前記口の探索範囲は、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記口として指定された点を中心にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差をもとに、前記口を包含する範囲としたので、口領域を抽出するのに最適な探索範囲の設定が可能となり、簡単でしかも確実に口領域を抽出することができる。
【００９９】
また、請求項２によれば、前記口の探索範囲は、前記口として指定された点を中心にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差および左右の目として指定されたそれぞれの点のｙ座標と口として指定された点のｙ座標のそれぞれの差の平均値を基に、前記口を包含する範囲としたので、口領域を抽出するのに、より一層、最適な探索範囲の設定が可能となり、簡単でしかも確実に口画像を抽出することができる。
【０１００】
また、請求項３によれば、前記目の探索範囲は、前記目として指定された点を中心にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差をもとに、前記目を包含する範囲としたので、目領域を抽出するのに最適な探索範囲の設定が可能となり、簡単でしかも確実に目領域の抽出を行うことができる。
【０１０１】
また、請求項４によれば、前記まゆの探索範囲は、前記目として指定された点を基準点にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差をもとに、前記まゆを包含する範囲としたので、まゆ領域を抽出するのに最適な探索範囲の設定が可能となり、簡単でしかも確実にまゆ領域を抽出することができる。
【０１０２】
また、請求項５によれば、前記顔輪郭の探索範囲は、ｙ軸方向における目の高さに相当する顔輪郭部は、前記目として指定された点を基準に、左右の目として指定されたそれぞれの点のｙ座標と口として指定された点のｙ座標のそれぞれの差の平均値を基にその部分の顔輪郭部が含まれるように設定したので、目の高さ部分の顔輪郭部を抽出するのに最適な探索範囲の設定が可能となり、簡単でしかも確実に顔輪郭部を抽出することができる。
【０１０３】
また、請求項６によれば、前記顔輪郭の探索範囲において、ｙ軸方向における口の高さに相当する顔輪郭部は、前記口として指定された点を基準に、左右の目として指定されたそれぞれの点のｙ座標と口として指定された点のｙ座標のそれぞれの差の平均値を基にその部分の顔輪郭部が含まれるように設定したので、口の高さ部分の顔輪郭を抽出するのに最適な探索範囲の設定が可能となり、簡単でしかも確実に顔輪郭部を抽出することができる。
【０１０４】
また、請求項７によれば、前記顔輪郭の探索範囲において、ｘ軸方向における口の位置に相当する顔輪郭部は、前記口として指定された点を基準に、左右の目として指定されたそれぞれの点のｙ座標と口として指定された点のｙ座標のそれぞれの差の平均値を基にその部分の顔輪郭部が含まれるように設定したので、あごの下部分の顔輪郭を抽出するのに最適な探索範囲の設定が可能となり、簡単でしかも確実に顔輪郭を抽出することができる。
【０１０５】
また、請求項８によれば、顔画像において顔の幾つかの特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれの点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の画像データを抽出するための探索範囲を特徴部分毎に設定し、設定された探索範囲内でそれぞれの特徴部分の領域を抽出したのち、それぞれの領域から輪郭を構成する輪郭点の座標データを抽出し、前記特徴部分の領域の所定の点の座標値を基に、抽出された領域の位置関係を判断して正しく抽出されたか否かの判断を行うようにしたので、抽出が正しいか否かをチェックすることができるため、誤った抽出がなされても再処理を要求することができ、これにより、誤りをなくすことができる。また、前記口領域を抽出するために設定された口領域探索範囲によって抽出された口領域において、口領域のｘ軸方向の左右の端点のそれぞれのｙ座標と、抽出された口領域の上端辺におけるｘ軸方向の中間点のｙ座標とを比較し、ｘ軸方向の中間点のｙ座標が前記口画像のｘ軸方向の左右の端点のそれぞれのｙ座標より小さい場合は、抽出された口の領域は口が開いた状態であると判断するとともに、抽出された口は下唇のみと判断し、上唇を抽出するための探索領域を設定するようにしたので、笑った顔などのように口が開いた状態にある場合でも、下唇のみが抽出されるという不都合をなくし、開いた状態にある口領域全体を確実に抽出できる。
【０１０６】
また、請求項９によれば、前記抽出された領域が目あるいは口である場合、目あるいは口が抽出すべきものとして抽出されたか否かの判断において、抽出された領域内に、前記ユーザの指定した点が含まれているか否かによって、抽出すべきものが抽出されたか否かの判断を行うようにしたので、目あるいは口が正しく抽出されたか否かの判定を簡単で確実に行うことができる。
【０１０７】
また、請求項１０によれば、前記抽出された領域がまゆである場合、まゆが抽出すべきものとして抽出されたか否かの判断において、抽出されたまゆ領域の左右方向の端点の座標と、目として指定された点の座標とから位置関係を判断し、抽出すべきものが抽出されたか否かの判断を行うようにしたので、まゆが正しく抽出されたか否かの判定を簡単で確実に行うことができる。
【０１０８】
また、請求項１１によれば、顔の特徴部分の領域抽出後、その特徴部分のうち目あるいは口の輪郭を構成する輪郭点を、前記抽出された領域から、目あるいは口のｘ軸方向における左右方向両端点のそれぞれの座標を求めたのち、ｙ軸方向における上下方向両端点の座標を求める場合、前記左右方向両端点間の中間付近に、左右方向端点間の長さの所定分の１の幅を有した探索範囲をｘ軸方向に設定して、その探索範囲内で前記ｙ軸方向における上下方向両端点を求めるようにしたので、輪郭を構成する代表的な上下方向の端部の輪郭点を求める場合、ノイズなどに影響されず確実な輪郭点の抽出が可能となる。
【０１０９】
また、請求項１２によれば、前記求められた左右方向端点および上下方向端点の４つの端点の間に位置する輪郭点は、この求めるべき輪郭点を挟む２つの端点のｘ座標の平均値を、求めるべきｘ座標として求めるようにしたので、特に、いわゆるきつね目やたれ目といった斜めとなっているような目の端点と端点のあいだの輪郭点を抽出する場合、輪郭点の抽出を簡単にしかも確実に行うことができる。
【０１１１】
また、請求項１３によれば、顔画像データをもとに、顔の特徴部分の抽出を行って座標データを出力する顔画像処理方法において、顔の特徴部分の領域抽出後、その特徴部分の領域の所定の点の座標値を基に、抽出された領域の位置関係を判断して正しく抽出されたか否かの判断を行うようにしたので、抽出が正しいか否かのチェックすることができ、誤った抽出がなされても再処理することにより、誤りをなくすことができる。
また、前記抽出された部分が口である場合、口のｘ軸方向における左右方向両端点を結ぶ直線の傾きが左右の目のそれぞれ所定点を結ぶ直線に対して予め定めた角度以上傾きを生じているか否かをチェックすることで、正しく抽出されたか否かの判断を行うようにしたので、光線の具合により口が部分的に欠けた状態の場合、曲がった画像として取り出された場合でも、それを確実に検出でき、しかも左右の目を結ぶ線を基準に傾き角を検出するので、顔全体が傾いた画像の場合に対しての誤判定を確実に防止することができる。
【０１１２】
また、請求項１４によれば、前記抽出された部分が顔輪郭である場合、前記顔輪郭を構成する複数の輪郭点において、隣り合う３つの輪郭点を１つの単位として処理し、３つの輪郭点のうち、間に挟まれる輪郭点の座標と両隣の輪郭点の平均座標とを比較して、間に挟まれる輪郭点の位置が両隣の輪郭点に比べて顔の内側に位置すると判断された場合には、その間に挟まれる輪郭点の座標を前記平均座標に置換するようにしたので、顔に髭やしわなどが存在することで、顔輪郭が内側にへこんで取り出された場合の判定を確実に行え、また、その補正も容易に行うことができ、自然に近い顔輪郭を得ることができる。
【０１１３】
また、本発明の顔画像処理装置は、請求項１５によれば、顔画像において顔の幾つかの特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定するそれぞれの特徴部分探索範囲設定手段と、これらそれぞれの特徴部分探索範囲設定手段により設定されたそれぞれの探索範囲内でそれぞれの特徴部分領域を示す領域を抽出するそれぞれの特徴部分抽出手段とを有した構成としたので、限られた探索範囲内で特徴部分を探索すればよいことから、全体の画像からそれぞれの特徴部分を抽出する場合に比べて、処理を大幅に簡素化することができ、処理時間も大幅に短縮することができる。また、限られた探索範囲内でそれぞれの特徴部分の抽出を行うため、誤って他の部分を抽出するということを殆どなくすことができ、取りだそうとする特徴部分を正確に抽出することができる。また、前記所定の点が指定される顔の特徴部分は左右の目と口の３点であって、また、前記探索範囲設定手段として、口探索範囲設定手段、目探索範囲設定手段、まゆ探索範囲設定手段、顔輪郭探索範囲設定手段を設け、さらに、前記特徴部分抽出手段として、口領域抽出手段、目領域抽出手段、まゆ領域抽出手段、顔輪郭抽出手段を設け、前記左右の目と口の３点の座標データを基に、前記それぞれの探索範囲設定手段により、それぞれ探索範囲を設定したのち、口、左右の目、まゆ、顔の輪郭のそれぞれの部分を前記それぞれの抽出手段によりそれぞれ抽出するようにしたので、点の指定がきわめて簡単であり、この指定した点の座標に基づいて設定された探索範囲により口、左右の目、まゆ、顔の輪郭を抽出するため、顔の特徴部分の多くを確実にしかも簡単に抽出することができ、また、様々な大きさの顔に対応した探索範囲の設定が行える。 さらに、前記口探索範囲設定手段は、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記口として指定された点を中心にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差をもとに、前記口を包含する範囲を口探索範囲として設定するようにしたので、口領域を抽出するのに最適な探索範囲の設定が可能となり、簡単でしかも確実に口領域を抽出することができる。
【０１１４】
また、請求項１６によれば、前記口探索範囲設定手段は、前記口として指定された点を中心にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差および左右の目として指定されたそれぞれの点のｙ座標と口として指定された点のｙ座標のそれぞれの差の平均値を基に、前記口を包含する範囲を口探索範囲として設定するようにしたので、口領域を抽出するのに、より一層、最適な探索範囲の設定が可能となり、簡単でしかも確実に口領域を抽出することができる。
【０１１５】
また、請求項１７によれば、前記目探索範囲設定手段は、前記目として指定された点を中心にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差をもとに、前記目を包含する範囲を目探索範囲として設定するようにしたので、目領域を抽出するのに最適な探索範囲の設定が可能となり、簡単でしかも確実に目領域を抽出することができる
【０１１６】
また、請求項１８によれば、前記まゆ探索範囲設定手段は、前記目として指定された点を基準点にｘ軸方向およびｙ軸方向に、前記左右の目として指定されたそれぞれの点のｘ座標データの差をもとに、前記まゆを包含する範囲をまゆ探索範囲として設定したので、まゆ領域を抽出するのに最適な探索範囲の設定が可能となり、簡単でしかも確実にまゆ領域を抽出することができる。
【０１１７】
また、請求項１９によれば、前記顔輪郭探索範囲設定手段における顔輪郭探索範囲設定において、ｙ軸方向における目の高さに相当する顔輪郭部の探索範囲は、前記目として指定された点を基準に、左右の目として指定されたそれぞれの点のｙ座標と、口として指定された点のｙ座標のそれぞれの差の平均値を基にその部分の顔輪郭部が含まれるように設定したので、目の高さ部分の顔輪郭部画像を抽出するのに最適な探索範囲の設定が可能となり、簡単でしかも確実に顔輪郭部を抽出することができる。
【０１１８】
また、請求項２０によれば、前記顔輪郭探索範囲設定手段における顔輪郭探索範囲設定において、ｙ軸方向における口の高さに相当する顔輪郭部の設定は、前記口として指定された点を基準に、左右の目として指定されたそれぞれの点のｙ座標と口として指定された点のｙ座標のそれぞれの差の平均値を基にその部分の顔輪郭部が含まれるように設定したので、口の高さ部分の顔輪郭画像を抽出するのに最適な探索範囲の設定が可能となり、簡単でしかも確実に顔輪郭部を抽出することができる。
【０１１９】
また、請求項２１によれば、前記顔輪郭探索範囲設定手段における顔輪郭探索範囲設定において、ｘ軸方向における口の位置に相当する顔輪郭部の設定は、前記口として指定された点を基準に、左右の目として指定されたそれぞれの点のｙ座標と口として指定された点のｙ座標のそれぞれの差の平均値を基にその部分の顔輪郭部が含まれるように設定したので、あごの下部分の顔輪郭画像を抽出するのに最適な探索範囲の設定が可能となり、簡単でしかも確実に顔輪郭を抽出することができる。
【０１２０】
また、請求項２２によれば、顔画像において顔の幾つかの特徴部分におけるそれぞれ所定の点が指定されることにより、その指定されたそれぞれ点の座標データを基に、前記それぞれの特徴部分の指定された点を基準にして、顔の特徴部分の領域を抽出するための探索範囲を特徴部分毎に設定するそれぞれの特徴部分探索範囲設定手段と、これらそれぞれの特徴部分探索範囲設定手段により設定されたそれぞれの探索範囲内でそれぞれの特徴部分領域を抽出するそれぞれの特徴部分抽出手段と、前記特徴部抽出手段で得られたそれぞれの領域を基に、それぞれの特徴部の輪郭を構成する輪郭点の座標データを抽出する輪郭点抽出部と、前記特徴部分の領域の所定の点の座標値を基に、抽出された画像の位置関係を判断して正しく抽出されたか否かの判断を行う抽出内容判定手段とを有した構成としたので、抽出が正しいか否かをチェックすることができるため、誤った抽出がなされても再処理要求を出して再処理を行うことにより、抽出誤りをなくすことができる。また、請求項２９によれば、前記抽出内容判定手段は、前記口画像データ抽出手段によって抽出された口領域において、口画像のｘ軸方向の左右の端点のそれぞれのｙ座標と、抽出された口領域の上端辺におけるｘ軸方向の中間点のｙ座標とを比較し、ｘ軸方向の中間点のｙ座標が前記口画像のｘ軸方向の左右の端点のそれぞれのｙ座標より小さい場合は、抽出された口の画像は口が開いた状態であると判断するとともに、抽出された口は下唇のみと判断し、上唇を抽出するための探索領域を設定したので、笑った顔などのように口が開いた状態にある場合でも、下唇のみが抽出されるという不都合をなくし、開いた状態にある口画像全体を確実に抽出できる。
【０１２１】
また、請求項２３によれば、前記抽出内容判定手段は、前記抽出された領域が目あるいは口である場合、抽出された領域内に、前記ユーザの指定した点が含まれているか否かによって、抽出すべき目あるいは口が抽出されたか否かの判断を行うようにしたので、目あるいは口が正しく抽出されたか否かの判定を簡単で確実に行うことができる。
【０１２２】
また、請求項２４によれば、前記抽出内容判定手段は、前記抽出された領域がまゆである場合、抽出された領域の左右方向の端点の座標と、目として指定された点の座標とから位置関係を判断し、抽出すべきまゆが抽出されたか否かの判断を行うようにしたので、まゆが正しく抽出されたか否かの判定を簡単で確実に行うことができる。
【０１２３】
また、請求項２５によれば、顔の特徴部分の領域の抽出を行う特徴部分抽出手段と、前記特徴部分抽出手段により抽出された特徴部分のうち、目あるいは口の輪郭を構成する輪郭点を、前記抽出された特徴部分の領域から目あるいは口のｘ軸方向における左右方向両端点のそれぞれの座標を求めたのち、前記左右方向両端点間の中間付近に、左右方向両端点間の長さの所定分の１の幅を有した探索範囲をｘ軸方向に設定して、その探索範囲内で前記ｙ軸方向における上下方向両端点を求める特徴部分輪郭点抽出手段を設けたので、輪郭を構成する代表的な上下方向の端部の輪郭点を求める場合、ノイズなどに影響されず確実な輪郭点の抽出が可能となる。
【０１２４】
また、請求項２６によれば、前記求められた左右方向端点および上下方向端点の４つの端点の間に位置する輪郭点は、この求めるべき輪郭点を挟む２つの端点のｘ座標の平均値を求めるｘ座標として求めるようにしたので、特に、いわゆるきつね目やたれ目といった斜めとなっているような目の端点と端点のあいだの輪郭点を抽出する場合、輪郭点の抽出を簡単にしかも確実に行うことができる。
【０１２５】
また、請求項２７によれば、顔の特徴部分の領域を抽出する特徴部分抽出手段と、この特徴部分抽出手段により抽出された領域を基に特徴部分の輪郭を構成する輪郭点を求める特徴部分輪郭点抽出手段と、特徴部分の領域の所定の点の座標値を基に、抽出された画像の位置関係を判断して正しく抽出されたか否かの判断を行う抽出内容判断手段とを有したので、抽出が正しいか否かのチェックすることができ、誤った抽出がなされても再処理することにより、誤りをなくすことができる。また、前記抽出内容判断手段は、前記抽出された部分が口である場合、口のｘ軸方向における左右方向両端点を結ぶ直線の傾きが左右の目のそれぞれ所定点を結ぶ直線に対して予め定めた角度以上傾きを生じているか否かをチェックして正しく抽出されたか否かの判断を行うようにしたので、光線の具合により口が部分的に欠けた状態の場合、曲がった画像として取り出された場合でも、それを確実に検出でき、しかも左右の目を結ぶ線を基準に傾き角を検出するので、顔全体が傾いた画像の場合に対しての誤判定を確実に防止することができる。
【０１２６】
また、請求項２８によれば、顔の特徴部分の領域を抽出する特徴部分抽出手段と、この特徴部分抽出手段により抽出された領域を基に特徴部分の輪郭を構成する輪郭点を求める特徴部分輪郭点抽出手段と、特徴部分の領域の所定の点の座標値を基に、抽出された画像の位置関係を判断して正しく抽出されたか否かの判断を行う抽出内容判断手段とを有したので、抽出が正しいか否かのチェックすることができ、誤った抽出がなされても再処理することにより、誤りをなくすことができる。また、前記抽出内容判断手段は、前記抽出された部分が顔輪郭である場合、前記顔輪郭を構成する複数の輪郭点において、隣り合う３つの輪郭点を１つの単位として注目し、間に挟まれる輪郭点の座標と両隣の輪郭点の平均座標とを比較して、間に挟まれる輪郭点の位置が両隣の輪郭点に比べて顔の内側に位置すると判断された場合には、その間に挟まれる輪郭点の座標を前記平均座標に置換するようにしたので、顔に髭やしわなどが存在することで、顔輪郭が内側にへこんで取り出された場合の判定を確実に行え、また、その補正も容易に行うことができ、自然に近い顔輪郭を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の構成を説明する図。
【図２】入力画像の一例を示す図。
【図３】第１の実施例における口、目の探索範囲設定を説明する図。
【図４】第１の実施例おける口の探索範囲設定に他の例を説明する図。
【図５】第１の実施例におけるまゆの探索範囲設定を説明する図。
【図６】第１の実施例おいて開いた口の探索範囲設定を説明する図。
【図７】第１の実施例における顔輪郭部の探索範囲設定を説明する図。
【図８】第１の実施例における抽出内容の判定の一例を説明する図。
【図９】本発明の第２の実施例を説明する概略的な構成図。
【図１０】第２の実施例における目の輪郭を構成する輪郭点の抽出を説明する図。
【図１１】第２の実施例における口の輪郭を構成する輪郭点の抽出を説明する図。
【図１２】第２の実施例において斜めの状態の目の輪郭点の抽出を説明する図。
【図１３】第２の実施例において口画像の抽出内容の判定を説明する図。
【図１４】第２の実施例において顔輪郭画像の抽出内容の判定を説明する図。
【符号の説明】
１・・・画像入力部
２・・・画像記憶部
３・・・特徴部分探索範囲設定手段
４・・・特徴部分抽出手段
５・・・輪郭点抽出手段
６・・・抽出内容判定手段
３１・・・口探索範囲設定部
３２・・・目探索範囲設定部
３３・・・まゆ探索範囲設定部
３４・・・顔輪郭部探索範囲設定部
４１・・・口領域抽出部
４２・・・目領域抽出部
４３・・・まゆ領域抽出部
４４・・・顔輪郭部抽出部
５１・・・口輪郭点抽出部
５２・・・目輪郭点抽出部
５３・・・まゆ輪郭点抽出部
５４・・・顔輪郭点抽出部
６１・・・口抽出内容判定部
６２・・・目抽出内容判定部
６３・・・まゆ抽出内容判定部
６４・・・顔輪郭部抽出内容判定部
ｍ・・・口
ｅ１，ｅ２・・・左右の目
ｂ１，ｂ２・・・左右のまゆ
Ｅ１〜Ｅ９・・・設定された探索範囲
ｐ１，ｐ２，ｐ３・・・ユーザにより指定された点
【図１】
0003735893.tif 000002
【図２】
0003735893.tif 000003
【図３】
0003735893.tif 000004
【図４】
0003735893.tif 000005
【図５】
0003735893.tif 000006
【図６】
0003735893.tif 000007
【図７】
0003735893.tif 000008
【図８】
0003735893.tif 000009
【図９】
0003735893.tif 000010
【図１０】
0003735893.tif 000011
【図１１】
0003735893.tif 000012
【図１２】
0003735893.tif 000013
【図１３】
0003735893.tif 000014
【図１４】
0003735893.tif 000015