(57)【要約】【課題】三次元の顔データから口、鼻、目等の特徴部位を抽出する。【解決手段】本方法は、高周波成分除去手段１００で三次元の形状データとそれに付随する色・輝度情報をもつオリジナルのオリジナル顔三次元データＤ１００から形状に関する高周波成分を取り除いたデータＤ２００を作成し特徴抽出手段２００で、色輝度・形状パタン蓄積手段３００に蓄積されている口、鼻、目といった顔特徴部位に関する色や形状に関するパタンＤ３００に基づいて高周波成分を取り除いたデータＤ２００から顔特徴部位Ｄ４００を抽出する。色輝度・形状パタン蓄積手段３００では所望の特徴部位に関する形状パタンや色・輝度パタンおよび他の特徴部位間との位置関係Ｄ３００をあらかじめ蓄えておく。複数の特徴部位を見つけるときは、あらかじめ蓄積しておいた情報だけでなく、特徴抽出手段２００で先に得られた他の特徴部位の位置情報Ｄ５００も蓄えられる。【選択図】　　　図１
2004021924.tif 000002
【特許請求の範囲】
【請求項１】
形状情報と色輝度情報が保存された顔三次元データから口、鼻、目を含む顔特徴部位を抽出する方法であって、
顔三次元データの形状情報から高周波成分を除去する第１の手順と、
顔特徴部位の形状パタン、色パタン、探索範囲の顔情報の格納を行う第２の手順と、
前記第２の手順による顔情報を用いて前記第１の手順で出力された低周波成分顔三次元データより顔特徴を抽出する第３の手順と、
を備えることを特徴とする顔特徴抽出方法。
【請求項２】
形状情報と色輝度情報が保存された顔三次元データから口、鼻、目を含む顔特徴部位を抽出する方法であって、
顔特徴部位の形状パタン、色パタン、探索範囲からなる顔情報の格納を行う第１の手順と、
前記顔三次元データと前記第１の手順による顔情報とから顔特徴を抽出する第２の手順と、
を備えることを特徴とする顔特徴抽出方法。
【請求項３】
請求項１もしくは２記載の顔特徴抽出方法において、抽出特徴部位として口を抽出することを特徴とする顔特徴抽出方法。
【請求項４】
請求項１もしくは２記載の顔特徴抽出方法において、抽出特徴部位として鼻を抽出することを特徴とする顔特徴抽出方法。
【請求項５】
請求項１もしくは２記載の顔特徴抽出方法において、抽出特徴部位として目を抽出することを特徴とする顔特徴抽出方法。
【請求項６】
形状情報と色輝度情報が保存された顔三次元データから口、鼻、目を含む顔特徴部位を抽出する装置であって、
顔三次元データの形状情報から高周波成分を除去する高周波成分除去手段と、顔特徴部位の形状パタン、色パタン、探索範囲の顔情報の格納を行う色輝度・形状パタン蓄積手段と、
前記顔情報を用いて前記高周波成分除去手順で出力された低周波成分顔三次元データより顔特徴を抽出する特徴抽出手段と、
を備えることを特徴とする顔特徴抽出装置。
【請求項７】
形状情報と色輝度情報が保存された顔三次元データから口、鼻、目を含む顔特徴部位を抽出する装置であって、
顔特徴部位の形状パタン、色パタン、探索範囲の顔情報の格納を行う色輝度・形状パタン蓄積手段と、
前記顔三次元データと前記顔情報とから顔特徴を抽出する特徴抽出手段と、
を備えることを特徴とする顔特徴抽出装置。
【請求項８】
請求項６もしくは７記載の顔特徴抽出装置において、抽出特徴部位として口を抽出することを特徴とする顔特徴抽出装置。
【請求項９】
請求項６もしくは７記載の顔特徴抽出装置において、抽出特徴部位として鼻を抽出することを特徴とする顔特徴抽出装置。
【請求項１０】
請求項６もしくは７記載の顔特徴抽出装置において、抽出特徴部位として目を抽出することを特徴とする顔特徴抽出装置。
【請求項１１】
計算機が読み取り自在なソフトウェアが格納されている情報記憶媒体において、請求項１、２、３、４もしくは５記載の顔特徴抽出方法を前記計算機に実行させるためのプログラムが格納されていることを特徴とする情報記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、三次元の顔データから口、鼻、目等の特徴部位を抽出する方法、およびその装置と情報記憶媒体に関するものである。
【０００２】
【従来の技術】
形状と色輝度情報が保存された顔三次元レンジデータから口、鼻、目等の特徴部位を抽出する技術において、一般的に人が専用のユーザーインターフェースを用いて手作業で行うか、二次元の画像から画像上の特徴的な部位を抽出する画像処理を応用し、色輝度情報のみを用いて抽出するかのいずれかが主流である。
【０００３】
他には形状情報を用いる方法として、特開平０２−３１１９６２や文献”Ｃｕｒｖａｔｕｒｅ−ｂａｓｅｄ　ｆａｃｅ　ｓｕｒｆａｃｅ　ｒｅｃｏｇｎｉｔｉｏｎ　ｕｓｉｎｇ　ｓｐｈｅｒｉｃａｌ　ｃｏｒｒｅｌａｔｉｏｎ．　Ｐｒｉｎｃｉｐａｌ　Ｄｉｒｅｃｔｉｏｎｓ　ｆｏｒ　ｃｕｒｖｅｄ　ｏｂｊｅｃｔ　ｒｅｃｏｇｎｉｔｉｏｎ”，　Ｔａｎａｋａ，　Ｈ．Ｔ．，　Ｉｋｅｄａ，　Ｍ．，　Ｃｈｉａｋｉ，　Ｈ．，　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　Ｔｈｉｒｄ　ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ａｕｔｏｍａｔｉｃ　Ｆａｃｅ　ａｎｄ　Ｇｅｓｔｕｒｅ　Ｒｅｃｏｇｎｉｔｉｏｎ，　１９９８，　ｐｐ．３７２　−３７７．などがあるが、これらは、口、鼻、目のような顔の部位特徴ではなく、顔全体において特徴的な凹凸となっている部位を特徴として抽出するものである。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の方式には次のような問題点がある。
【０００５】
専用のユーザーインターフェースを用いる方式は、人が手作業で行うので明白な誤抽出は確実に避けることができるが、作業の負担が大きい、詳細な抽出はインタフェースの完成度や作業者の技量に大きく依存する、といった問題が生じる。
【０００６】
また、色輝度情報を用いる方法は、照明や姿勢の変動など画像の撮影状況や、被撮影者間の個人差に影響されやすいので、これだけでは安定な抽出は望みにくい。
【０００７】
一方、形状情報は、色輝度情報とは独立した有用な情報を含んでいる。特に鼻は、周囲の部分と色輝度はあまり変わらないが、曲率で表されるような形状の変化は富んでいる。ただし、曲率などの形状情報は微分演算により得られるので、形状を取得する計測装置の性能が低いとノイズの影響を受けやすい問題がある。
【０００８】
また、口、鼻、目のような特徴部位抽出は、三次元特徴のどのような情報を用いれば、安定して抽出できるかこれまで知られていなかった。
【０００９】
そこで、発明の手法では、口、鼻、目のような特徴部位の形状および色に関する特徴的なパタンを類型化してテンプレートにし、これと入力三次元データを比較して特徴部位を抽出する。形状を取得する計測装置の性能が低いためノイズの影響を受けたデータに対しては、周波数変換を行い、その低周波部分だけを残して、逆変換したデータを処理に使う。
【００１０】
このような前処理を行うことによって、個人差、計測装置の誤差の影響が主である高周波成分での微分幾何学的な特徴は除去しつつ、人の顔の一般的な特徴が主である低周波成分での微分幾何学的な特徴のみを利用できる利点がある。
【００１１】
また、口のように形状、色輝度ともに周囲と大きな変化がある部位は、色輝度情報と形状情報を併用することで、色輝度情報だけでは原理的に防げない誤抽出、例えば照明により唇とその周囲が似た色になって周囲も抽出されるケース、を防ぐことが可能になる。
【００１２】
請求項第１乃至第１１の発明の目的は、顔三次元データ中の部位の抽出に際し、作業者の負担を軽減することにある。
【００１３】
請求項第１、３、４、５および第６、８，９，１０及び第１１の発明の目的は、顔三次元データ中の部位の抽出において、形状に付加されるノイズの影響を軽減することにある。
【００１４】
請求項第１乃至第１１の発明の目的は、顔三次元データ中の部位の抽出において、照明や姿勢の変動の影響を軽減することにある。
【００１５】
【課題を解決するための手段】
本発明の第１の顔特徴抽出方法は、形状情報と色輝度情報が保存された顔三次元データから口、鼻、目を含む顔特徴部位を抽出する方法であって、
顔三次元データの形状情報から高周波成分を除去する第１の手順と、
顔特徴部位の形状パタン、色パタン、探索範囲の顔情報の格納を行う第２の手順と、
前記第２の手順による顔情報を用いて前記第１の手順で出力された低周波成分顔三次元データより顔特徴を抽出する第３の手順と、
を備える。
【００１６】
本発明の第２の顔特徴抽出方法は、形状情報と色輝度情報が保存された顔三次元データから口、鼻、目を含む顔特徴部位を抽出する方法であって、
顔特徴部位の形状パタン、色パタン、探索範囲からなる顔情報の格納を行う第１の手順と、
前記顔三次元データと前記第１の手順による顔情報とから顔特徴を抽出する第２の手順と、
を備える。
【００１７】
本発明の第３の顔特徴抽出方法は、第１または第２の発明において、抽出特徴部位として口を抽出することを備える。
【００１８】
本発明の第４の顔特徴抽出方法は、第１または第２の発明において、抽出特徴部位として鼻を抽出することを備える。
【００１９】
本発明の第５の顔特徴抽出方法は、第１または第２の発明において、抽出特徴部位として目を抽出することを備える。
【００２０】
本発明の第１の顔特徴抽出装置は、形状情報と色輝度情報が保存された顔三次元データから口、鼻、目を含む顔特徴部位を抽出する装置であって、
顔三次元データの形状情報から高周波成分を除去する高周波成分除去手段と、顔特徴部位の形状パタン、色パタン、探索範囲の顔情報の格納を行う色輝度・形状パタン蓄積手段と、
前記顔情報を用いて前記高周波成分除去手順で出力された低周波成分顔三次元データより顔特徴を抽出する特徴抽出手段と、
を備える。
【００２１】
本発明の第２の顔特徴抽出装置は、形状情報と色輝度情報が保存された顔三次元データから口、鼻、目を含む顔特徴部位を抽出する装置であって、
顔特徴部位の形状パタン、色パタン、探索範囲の顔情報の格納を行う色輝度・形状パタン蓄積手段と、
前記顔三次元データと前記顔情報とから顔特徴を抽出する特徴抽出手段と、
を備える。
【００２２】
本発明の第３の顔特徴抽出装置は、第１または第２の発明において、抽出特徴部位として口を抽出することを備える。
【００２３】
本発明の第４の顔特徴抽出装置は、第１または第２の発明において、抽出特徴部位として鼻を抽出することを備える。
【００２４】
本発明の第５の顔特徴抽出装置は、第１または第２の発明において、抽出特徴部位として目を抽出することを備える。
【００２５】
本発明の第１の顔特徴抽出情報記憶媒体は、計算機が読み取り自在なソフトウェアが格納されている情報記憶媒体において、第１、第２、第３、第４または第５記載の顔特徴抽出方法を前記計算機に実行させるためのプログラムが格納されていることを備える。
【００２６】
【発明の実施の形態】
図１は、第１の発明である顔特徴抽出方法の一つの実施の形態を表す。
【００２７】
本方法は、次のように処理を行う３つの手段で構成される。
【００２８】
高周波成分除去手段１００は、三次元の形状データとそれに付随する色・輝度情報をもつオリジナルの顔画像情報であるオリジナル顔三次元データＤ１００から形状に関する高周波成分を取り除いた低周波成分顔三次元データＤ２００を作成し、特徴抽出手段２００に送る。
【００２９】
特徴抽出手段２００は、色輝度・形状パタン蓄積手段３００によって蓄積されている口、鼻、目といった顔特徴部位に関する顔情報である色・形状パタンＤ３００に基づいて顔特徴部位Ｄ４００を抽出する。
【００３０】
色輝度・形状パタン蓄積手段３００は、所望の顔特徴部位に関する形状パタンや色・輝度パタンおよび他の特徴部位間との位置関係を表した色・形状パタンＤ３００をあらかじめ蓄えておく。複数の顔特徴部位を見つけるときは、あらかじめ蓄積しておいた情報だけでなく、特徴抽出手段２００で先に得られた顔特徴部位位置データＤ５００も蓄えられる。
【００３１】
次に各手段の動作の詳細を説明する。
【００３２】
高周波成分除去手段１００は、オリジナル顔三次元データＤ１００の形状情報部分からノイズとして混入される高周波成分のみを除去する高周波除去フィルタとして作用する。
【００３３】
使用するフィルタは様々な方法が考えられるが、広く行われている方法としてフーリエ変換、ＤＣＴ、ウェーブレット変換等の周波数変換でもよいし、主成分分析のような固有空間への変換で主要項のみを残す方法でも良い。
【００３４】
オリジナル顔三次元データＤ１００にいずれかのフィルタを施すことで高周波成分と低周波成分を分離することができるので低周波成分のみを残し、それを逆変換することで、低周波成分顔三次元データＤ２００に変換される。
【００３５】
フィルタの施し方は複数考えられ、適切な方法は、顔三次元レンジデータがどのような形で保存されているかにも依存する。
【００３６】
例えば、図２のように顔の三次元座標データ（Ｘ，Ｙ，Ｚ）がメルカトル図法のように円筒座標（Ｕ、Ｖ）に投影されて保存されている場合、画像で色、輝度情報に対してよく行われているブロックごとの２次元フーリエ変換、ＤＣＴでもよいし、図２のように顔がＸＹ平面に平行で正面に向いていることが既知の場合、ｕ方向、Ｖ方向それぞれで１次元フーリエ変換、ＤＣＴを行ってもよい。このような変換を施した後でも、顔の特徴部位を示す形状特徴は低周波の変化であり、適切な周波数以下の領域だけ残せば、高周波のノイズのみ除去され顔の凹凸を意味する変化は残すことができる。
【００３７】
特徴抽出手段２００は、高周波成分除去手段１００で得られた低周波成分顔三次元データＤ２００に対して、色輝度・形状パタン蓄積手段３００に蓄えられている、口、鼻、目それぞれに関するの色、相対的な位置関係、座標の大小、極、曲率等の微分幾何的な情報である色・形状パタンＤ３００を元に特徴部位を抽出する。特に、微分幾何的な情報は、上記の処理で高周波成分が取り除かれているのでノイズの影響を受けにくくなっている。より具体的な処理は、口に関しては、第２の発明、鼻に関しては、第３の発明、目に関しては、第４の発明の実施の形態で述べる。
【００３８】
色輝度・形状パタン蓄積手段３００は、口、鼻、目それぞれに関するの色、相対的な位置関係、座標の大小、極、曲率等の微分幾何的な情報である色・形状パタンＤ３００をあらかじめ蓄えておくだけでなく、先に見つけた特徴の位置情報も入力、蓄積される。これは、探索位置を限定するのに役立つ。例えば、口と鼻がすでに見つかっているときは、目は口の上で鼻の左右になるので探索範囲が大きく削減され、抽出ミスの削減、抽出時間の短縮を測ることができる。
【００３９】
第２の発明は、第１の発明から高周波成分除去手段１００を取り除いたものである、この構成は三次元データＤ１００が高精度の三次元データ取得装置で得られてノイズ影響が無視できるときは有効である。
【００４０】
第３の発明の実施の形態は、第１もしくは第２の発明の実施の形態において、口の抽出に特化したものである。これは、例えば、次のような方法で抽出できる。
【００４１】
前述の図２のように顔がＸＹ平面に平行で正面に向き、口が閉口したデータが与えられている場合、鼻の頂点は、Ｚ座標最小点になり、この点を通るＶ軸に閉口な直線上で高周波成分除去手段１００によりオリジナル顔三次元データＤ１００から高周波成分を除いた場合、ＶＺ平面では図３のようになる。この図からわかるように、鼻の頂点から下にある最初の極大点が鼻の下、次の極大点が閉口時の上下唇の重なる部位になるので、この情報から、口のＶ方向の位置がわかり、さらにこの近傍で赤い部分を見つければ、上下唇を見つけることができる。
【００４２】
第４の発明の実施の形態は、第１もしくは第２の発明の実施の形態において、鼻の抽出に特化したものである。鼻の抽出は、色輝度の情報がほとんど使えないので、微分幾何的な形状情報のみを用いることになる。第３の発明の実施の形態と同じデータが使われているとすれば、鼻の頂点からＵ座標両方向で曲率が大きくなるところが鼻筋にあたる（図４参照）。さらに、この点のＶ座標上下でＵ座標近傍の曲率最大点を追跡することで鼻筋の候補を見つけることができる（図５参照）。鼻筋の上限は、曲率最大点のＺ座標が極小になるところで決める（図６参照）。この部位は、目の下のくぼみ直上の出っ張る部分に対応するので、実感としても妥当である。鼻筋の下限は、口の抽出時に見つけた鼻の頂点で直下の極大点のＶ座標を手掛かりに、曲率の最大点の曲率が大きく変化する点を探す。
第５の発明の実施の形態は、第１もしくは第２の発明の実施の形態において、目の抽出に特化したものである。目は、鼻と口の位置がわかっていれば、領域をかなり絞り込むことが可能であり、絞り込んだ領域内では色だけでも安定して抽出が可能になる。
【００４３】
第６、７，８，９，１０の発明の実施の形態は、第１、２、３、４もしくは５の発明の顔特徴抽出方法を備える装置によって実施することができる。
【００４４】
第１１の発明の実施の形態は、第１、２、３、４もしくは５の発明の各手順を計算機上で実行可能なプログラムとして構成し、そのプログラムを計算機で読み取り自在な情報記憶媒体に格納して、その計算機上で実行することで実施することができる。
【００４５】
【発明の効果】
請求項第１乃至第１１の発明の効果は、顔三次元データ中の特徴部位の抽出に際し、作業者の負担を軽減することにある。その理由は、ユーザーが三次元座標データ上で部位の位置を直接指定をする必要がなく、顔の色輝度・形状パタンを用いて自動的に所望の特徴部位を抽出するからである。
【００４６】
請求項第１、３、４、５および第６、８，９，１０及び第１１の発明の効果は、顔三次元データ中の特徴部位の抽出において、形状に付加されるノイズの影響を軽減することにある。その理由は、高周波成分除去手段もしくはそれを装備した装置、プログラムにより、高周波ノイズを削減するからである。
【００４７】
請求項第１乃至第１１の発明の効果は、顔三次元データ中の特徴部位の抽出において、照明や姿勢の変動の影響を軽減することにある。その理由は、三次元形状情報を利用するからである。
【００４８】
請求項第１、４、および第６、９および第１１の発明の効果は、色特徴の利用が期待できない鼻の抽出を行うことができる。その理由は、三次元形状情報を利用するからである。
【図面の簡単な説明】
【図１】本発明の実施の形態の構成を示すブロック図である。
【図２】顔３次元データの座標系と保存フォーマットの座標系の一例の説明図である。
【図３】高周波成分を除去した顔３次元データの鼻頂点を通るＶＺ平面断面の説明図である。
【図４】高周波成分を除去した顔３次元データの鼻頂点を通るＵＺ平面断面の説明図である。
【図５】曲率大の点のトレースによる鼻筋候補の探索の説明図である。
【図６】鼻筋上限の決定法の説明図である。
【符号の説明】
１００　　高周波成分除去手段
２００　　特徴抽出手段
３００　　色輝度・形状パタン蓄積手段
Ｄ１００　　オリジナル顔三次元データ
Ｄ２００　　低周波成分顔三次元データ
Ｄ３００　　色・形状パタン
Ｄ４００　　顔特徴部位
Ｄ５００　　顔特徴部位位置データ
【図１】
2004021924.tif 000003
【図２】
2004021924.tif 000004
【図３】
2004021924.tif 000005
【図４】
2004021924.tif 000006
【図５】
2004021924.tif 000007
【図６】
2004021924.tif 000008