(57)【要約】【課題】  未知人物の顔形状の表情変化を自動的に推定するための顔表情推定プログラムを提供する。【解決手段】  顔表情推定プログラムは、入力された推定対象の人物の所定の表情に対応する３次元計測顔形状データについて、同一のメッシュトポロジへ変換した３次元顔形状データを、主成分の線形合成により近似する第１の合成係数の組を決定するステップ（Ｓ２００，Ｓ２０２，Ｓ２０４）と、３次元顔形状データベース内において所定の表情に対応する複数の第２の合成係数の組のうちから、第１の合成係数の組との距離が所定の範囲内である少なくとも１つの類似顔候補を検索するステップ（Ｓ２０６）と、所定の表情に対する第２の線形合成係数の組と他の表情に対する第２の線形合成係数の組との差分と、距離に基づいて決定された重み付け係数とを掛け合わせた結果を求めるステップ（Ｓ２０８）と、この結果を第１の合成係数の組に加えて、推定対象の人物の他の表情に対応する合成係数を推定するステップ（Ｓ２１０）と、をコンピュータに実行させる。【選択図】        図７
2005141305.tif 000002
【特許請求の範囲】
【請求項１】
複数の人物の各々の複数の表情に対応し、予め獲得された同一のメッシュトポロジの複数の顔形状のメッシュ頂点座標から主成分分析により抽出された主成分のうち、所定数の限定された主成分の線形合成により、前記複数の人物の複数の表情に対応する前記顔形状をそれぞれ近似する複数の第１の合成係数の組を、前記複数人物および前記複数の表情にそれぞれ関連付けて記憶する３次元顔形状データベースにアクセスするためのデータベースアクセス手段と、
入力された推定対象の人物の所定の表情に対応する３次元計測顔形状データについて、前記同一のメッシュトポロジへ変換した３次元顔形状データを、前記限定された主成分の線形合成により近似する第２の合成係数の組を決定するための線形合成係数決定手段と、
前記３次元顔形状データベース内において前記所定の表情に対応する複数の前記第１の合成係数の組のうちから、前記第２の合成係数の組との距離が所定の範囲内である前記第１の合成係数の組に対応する少なくとも１つの類似顔候補を検索する検索手段と、
前記検索された類似顔候補について、前記所定の表情に対する前記第１の線形合成係数の組と他の表情に対する前記第１の線形合成係数の組との差分を算出する線形合成係数差分算出手段と、
前記距離に基づいて、前記類似顔候補に対する重み付け係数を決定する類似顔候補加重手段と、
前記線形合成係数差分算出手段から得られた前記差分と前記類似顔候補加重手段から得られた前記重み付け係数とを掛け合わせた結果を、前記第２の合成係数の組に加えて、前記推定対象の人物の前記他の表情に対応する合成係数を推定する線形合成係数加重加算手段とを備える、顔表情推定装置。
【請求項２】
推定された前記他の表情に対応する前記合成係数に基づいて、対応する顔形状を生成する顔表情推定生成手段をさらに備える、請求項１記載の顔表情推定装置。
【請求項３】
複数の人物の各々の複数の表情に対応し、予め獲得された同一のメッシュトポロジの複数の顔形状のメッシュ頂点座標から主成分分析により主成分を抽出するステップと、
前記抽出された主成分のうち、所定数の限定された主成分の線形合成により、前記複数の人物の複数の表情に対応する前記顔形状をそれぞれ近似する複数の第１の合成係数の組を、前記複数人物および前記複数の表情にそれぞれ関連付けて記憶装置に記憶することで、３次元顔形状データベースを準備するステップと、
推定対象の人物の所定の表情に対応する３次元計測顔形状データについて、前記同一のメッシュトポロジへ変換した３次元顔形状データを、前記限定された主成分の線形合成により近似する第２の合成係数の組を決定するステップと、
前記３次元顔形状データベース内において前記所定の表情に対応する複数の前記第１の合成係数の組のうちから、前記第２の合成係数の組との距離が所定の範囲内である前記第１の合成係数の組に対応する少なくとも１つの類似顔候補を検索するステップと、
前記検索された類似顔候補について、前記所定の表情に対する前記第１の線形合成係数の組と他の表情に対する前記第１の線形合成係数の組との差分を算出するステップと、
前記距離に基づいて、前記類似顔候補に対する重み付け係数を決定するステップと、
前記差分と前記重み付け係数とを掛け合わせた結果を、前記第２の合成係数の組に加えて、前記推定対象の人物の前記他の表情に対応する合成係数を推定するステップとを備える、顔表情推定方法。
【請求項４】
推定された前記他の表情に対応する前記合成係数に基づいて、対応する顔形状を生成するステップをさらに備える、請求項３記載の顔表情推定方法。
【請求項５】
顔表情推定処理をコンピュータに実行させるための顔表情推定プログラムであって、
複数の人物の各々の複数の表情に対応し、予め獲得された同一のメッシュトポロジの複数の顔形状のメッシュ頂点座標から主成分分析により抽出された主成分のうち、所定数の限定された主成分の線形合成により、前記複数の人物の複数の表情に対応する前記顔形状をそれぞれ近似する複数の第１の合成係数の組を、前記複数人物および前記複数の表情にそれぞれ関連付けて記憶する３次元顔形状データベースにアクセスするステップと、
入力された推定対象の人物の所定の表情に対応する３次元計測顔形状データについて、前記同一のメッシュトポロジへ変換した３次元顔形状データを、前記限定された主成分の線形合成により近似する第２の合成係数の組を決定するステップと、
前記３次元顔形状データベース内において前記所定の表情に対応する複数の前記第１の合成係数の組のうちから、前記第２の合成係数の組との距離が所定の範囲内である前記第１の合成係数の組に対応する少なくとも１つの類似顔候補を検索するステップと、
前記検索された類似顔候補について、前記所定の表情に対する前記第１の線形合成係数の組と他の表情に対する前記第１の線形合成係数の組との差分を算出するステップと、
前記距離に基づいて、前記類似顔候補に対する重み付け係数を決定するステップと、
前記差分と前記重み付け係数とを掛け合わせた結果を、前記第２の合成係数の組に加えて、前記推定対象の人物の前記他の表情に対応する合成係数を推定するステップと、
をコンピュータに実行させる、顔表情推定プログラム。
【請求項６】
推定された前記他の表情に対応する前記合成係数に基づいて、対応する顔形状を生成するステップをさらにコンピュータに実行させる、請求項５記載の顔表情推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はカメラ等での撮影により得られた対象人物のある表情、たとえば、無表情の画像に基づいて、当該対象人物の所望の表情の顔画像を推定して生成するための顔表情推定装置、顔表情推定方法および顔表情推定プログラムの構成に関する。
【背景技術】
【０００２】
映像生成分野におけるコンピュータグラフィックス（ＣＧ）技術による顔アニメーションが普及している。このようなコンピュータアニメーションにおいて、任意の人物の３次元顔形状の表情変化に伴う形状変形を作成する場合、第１の従来手法として、アニメータが専用のソフトウェアを利用して１つの表情から人手で変形を施し、所望の表情を作成するという手法が一般的である。
【０００３】
しかしながら、このような第１の従来手法による場合、熟練したアニメータでなければリアルな表情の変化を作成することが困難で、一般には、静止画のリアリティは高いものの、動きの画像においてはリアリティに欠けてしまう傾向にある。
【０００４】
また、第２の従来手法として、筋肉モデルを定義した計算機シミュレーションにより３次元顔形状のリアルな表情変化を実現する手法が提案されている（たとえば、非特許文献１を参照）。しかしながら、このような第２の従来手法では、対象となるモデルが変わるごとに筋肉の配置を定義する必要があり、任意の人物に対しては、その都度ユーザが定義を行わなければならないと言う問題がある。
【０００５】
あるいは、第３の従来手法として、対象となる人物に対して予め多くの顔表情の３次元形状を計測し、任意表情を合成する手法が提案されている（たとえば、非特許文献２を参照）。しかしながら、この第３の従来手法では、あくまで人物ごとに複数表情の３次元形状を計測しおいた上で、各表情に対応するアニメーションを生成する必要があり、各表情を生成するごとに３次元計測装置が必要とされるという問題がある。
【非特許文献１】Y. Lee, D. Terzopolos, K. Waters著, "Realistic modeling for facial animation", Proc. of SIGGRAPH95, pp.55-62, 1995
【非特許文献２】倉立  尚明、ヘニ  ヤヒヤ、エリック  バティキオティス-ベイツン著、"三次元顔形状からの主成分の抽出とアニメーション合成",電子情報通信学会技術報告、Vol.HIP99-37, pp.25-30, 1999
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上述したような問題点を解決するためになされたものであって、その目的は、予め計測された複数人物の複数の表情の３次元顔形状データベースを用いることで、未知人物の顔形状の表情変化を自動的に推定するための顔表情推定装置、顔表情推定方法および顔表情推定プログラムを提供することである。
【課題を解決するための手段】
【０００７】
このような目的を達成するために本発明では、予め計測済みの複数人物の複数顔表情に対応する３次元顔形状データベースから主成分を抽出し、さらにデータベース内の全ての顔を主成分空間で表現しておく。そしてデータベースに無い人物について、まず所定の表情（たとえば、無表情）の３次元顔形状をこれら主成分で近似し、次にその無表情の主成分空間におけるもっとも近い人物あるいは近傍の複数人物の主成分空間における顔表情変化を参照することにより目標人物の無表情からの表情変化を推定する。
【０００８】
すなわち、上記のような目的を達成するために、本発明に係る顔表情推定装置は、複数の人物の各々の複数の表情に対応し、予め獲得された同一のメッシュトポロジの複数の顔形状のメッシュ頂点座標から主成分分析により抽出された主成分のうち、所定数の限定された主成分の線形合成により、複数の人物の複数の表情に対応する顔形状をそれぞれ近似する複数の第１の合成係数の組を、複数人物および複数の表情にそれぞれ関連付けて記憶する３次元顔形状データベースにアクセスするためのデータベースアクセス手段と、入力された推定対象の人物の所定の表情に対応する３次元計測顔形状データについて、同一のメッシュトポロジへ変換した３次元顔形状データを、限定された主成分の線形合成により近似する第２の合成係数の組を決定するための線形合成係数決定手段と、３次元顔形状データベース内において所定の表情に対応する複数の第１の合成係数の組のうちから、第２の合成係数の組との距離が所定の範囲内である第１の合成係数の組に対応する少なくとも１つの類似顔候補を検索する検索手段と、検索された類似顔候補について、所定の表情に対する第１の線形合成係数の組と他の表情に対する第１の線形合成係数の組との差分を算出する線形合成係数差分算出手段と、距離に基づいて、類似顔候補に対する重み付け係数を決定する類似顔候補加重手段と、線形合成係数差分算出手段から得られた差分と類似顔候補加重手段から得られた重み付け係数とを掛け合わせた結果を、第２の合成係数の組に加えて、推定対象の人物の他の表情に対応する合成係数を推定する線形合成係数加重加算手段とを備える。
【０００９】
好ましくは、顔表情推定装置は、推定された他の表情に対応する合成係数に基づいて、対応する顔形状を生成する顔表情推定生成手段をさらに備える。
【００１０】
この発明の他の局面に従うと、顔表情推定方法であって、複数の人物の各々の複数の表情に対応し、予め獲得された同一のメッシュトポロジの複数の顔形状のメッシュ頂点座標から主成分分析により主成分を抽出するステップと、抽出された主成分のうち、所定数の限定された主成分の線形合成により、複数の人物の複数の表情に対応する顔形状をそれぞれ近似する複数の第１の合成係数の組を、複数人物および複数の表情にそれぞれ関連付けて記憶装置に記憶することで、３次元顔形状データベースを準備するステップと、推定対象の人物の所定の表情に対応する３次元計測顔形状データについて、同一のメッシュトポロジへ変換した３次元顔形状データを、限定された主成分の線形合成により近似する第２の合成係数の組を決定するステップと、３次元顔形状データベース内において所定の表情に対応する複数の第１の合成係数の組のうちから、第２の合成係数の組との距離が所定の範囲内である第１の合成係数の組に対応する少なくとも１つの類似顔候補を検索するステップと、検索された類似顔候補について、所定の表情に対する第１の線形合成係数の組と他の表情に対する第１の線形合成係数の組との差分を算出するステップと、距離に基づいて、類似顔候補に対する重み付け係数を決定するステップと、差分と重み付け係数とを掛け合わせた結果を、第２の合成係数の組に加えて、推定対象の人物の他の表情に対応する合成係数を推定するステップとを備える。
【００１１】
好ましくは、顔表情推定方法は、推定された他の表情に対応する合成係数に基づいて、対応する顔形状を生成するステップをさらに備える。
【００１２】
この発明のさらに他の局面に従うと、顔表情推定処理をコンピュータに実行させるための顔表情推定プログラムであって、複数の人物の各々の複数の表情に対応し、予め獲得された同一のメッシュトポロジの複数の顔形状のメッシュ頂点座標から主成分分析により抽出された主成分のうち、所定数の限定された主成分の線形合成により、複数の人物の複数の表情に対応する顔形状をそれぞれ近似する複数の第１の合成係数の組を、複数人物および複数の表情にそれぞれ関連付けて記憶する３次元顔形状データベースにアクセスするステップと、入力された推定対象の人物の所定の表情に対応する３次元計測顔形状データについて、同一のメッシュトポロジへ変換した３次元顔形状データを、限定された主成分の線形合成により近似する第２の合成係数の組を決定するステップと、３次元顔形状データベース内において所定の表情に対応する複数の第１の合成係数の組のうちから、第２の合成係数の組との距離が所定の範囲内である第１の合成係数の組に対応する少なくとも１つの類似顔候補を検索するステップと、検索された類似顔候補について、所定の表情に対する第１の線形合成係数の組と他の表情に対する第１の線形合成係数の組との差分を算出するステップと、距離に基づいて、類似顔候補に対する重み付け係数を決定するステップと、差分と重み付け係数とを掛け合わせた結果を、第２の合成係数の組に加えて、推定対象の人物の他の表情に対応する合成係数を推定するステップと、をコンピュータに実行させる。
【００１３】
好ましくは、顔表情推定プログラムは、推定された他の表情に対応する合成係数に基づいて、対応する顔形状を生成するステップをさらにコンピュータに実行させる。
【発明の効果】
【００１４】
本発明に係る顔表情推定装置、顔表情推定方法および顔表情推定プログラムは、あらかじめ複数の人物の各々について複数の表情に対して顔形状を計測し、主成分分析した結果を３次元顔形状データベースとして構築しておくことにより、この３次元顔形状データベースに登録されていない未知人物の顔形状についても、自動的にその人物らしい表情変形を推定することが可能である。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明の実施の形態について説明する。
［ハードウェア構成］
図１は、本発明の顔表情推定方法を実施するための顔表情推定装置１０００の一例を示す概念図である。
【００１６】
この顔表情推定装置１０００は、パーソナルコンピュータまたはワークステーション等、コンピュータ上で実行されるソフトウェアにより実現されるものであって、対象となる人物の所定の表情の３次元顔形状画像を撮影し、撮影された３次元顔形状に基づいて、予め計測済みの複数人物の複数顔表情についての３次元顔形状データベースを利用して、対象人物の当該所定の表情からの表情変化を推定するためのものである。
【００１７】
すなわち、顔表情推定装置１０００内の内部記憶装置、あるいは顔表情推定装置１０００が通信可能な外部記憶装置中には、予め計測済みの複数人物の複数の所定の顔表情についての３次元顔形状データベースが格納されている。この３次元顔形状データベースにおいては、後に説明するような複数人物の複数の顔表情データについての主成分が抽出されている。そして、この３次元顔形状データベースに登録される全ての顔は、これら主成分のうちの上位の主成分の線形結合で近似できることになる。このような線形結合において、各主成分の係数を「線形合成係数」とよぶことにする。
【００１８】
上記３次元顔形状データベースには、各人物ごとに各表情に関連付けて、対応する線形合成係数の組が格納される。
【００１９】
一方で、この３次元顔形状データベースに基づく主成分空間において、上述のように３次元顔画像が撮影され、推定の対象となる人物の所定の表情を、まず、上述した主成分で近似する。言い換えると、推定の対象となる人物の所定の表情を、主成分空間において、近似に用いた線形合成係数を各座標成分とする点として表す。このように推定の対象となる人物の所定の表情の近似を行った上で、顔表情推定装置１０００は、この主成分空間内で対象人物の所定の表情を表す点の座標に、もっとも近い座標で当該所定の表情が表現されている登録済みの人物（あるいは近傍の座標で当該所定の表情が表現されている複数の登録済みの人物）の主成分空間における顔表情変化を参照することによって、対象人物の所定の表情から他の表情への表情変化を推定するものである。
【００２０】
図２は、上述した「複数の所定の顔表情」の一例を示す図である。
【００２１】
ここでは、「無表情で目を開けた表情」および「無表情で目を閉じた表情」が、「無表情」に分類される。
【００２２】
また、「基本口形状」に分類されるものとしては、「母音（/a,i,u,e,o/）を発音時の表情」、「口を意識的に開けた表情」および「口を意識的に閉じた表情」がある。
【００２３】
「追加口形状」に分類されるものとしては、「唇を突き出した表情（両唇／上唇／下唇）」、「歯を噛みしめ唇を開けた表情（両唇／上唇）」、「唇の両端を口腔内へ吸い込んだ表情」、「口を左にずらした表情（口の開閉）」および「口を右にずらせた表情（口の開閉）」がある。なお、表情の後に括弧で記載したのは、唇や口の動作が各々の場合について独立に行われることを示す。
【００２４】
さらに、「感情表情」に分類されるものとしては、「笑いの表情（口の開閉）」、「怒りの表情（口の開閉）」、「悲しみの表情」、「驚きの表情」、「恐れの表情」、「嫌悪の表情」、「軽蔑の表情」がある。
【００２５】
もちろん、データベースに登録する表情（顔形状）の種類は、上記のようなものに限定されるものではない。
【００２６】
なお、以下の説明では、特に断りのない限り、計測後データベースに登録する複数の表情としては、一例として、１）「無表情で目を閉じた表情」、２）「口を意識的に開けた表情」、３）「母音（/i/）を発音時の表情」、４）「母音（/u/）を発音時の表情」、５）「母音（/o/）を発音時の表情」、６）「唇を突き出した表情（両唇）」、７）「歯を噛みしめ唇を開けた表情（両唇）」、８）「笑いの表情（口は開）」、９）「笑いの表情（口は閉）」の９表情であるものとして説明を行う。
【００２７】
再び、図１を参照して、顔表情推定装置１０００は、コンピュータ１００と、コンピュータ１００に接続され、推定対象となる人物２の３次元顔形状画像を獲得するための３次元顔形状画像測定装置であって、３次元顔形状画像を全周囲計測により取り込むための３次元レーザスキャナ２００と、同じく３次元顔形状画像測定装置であって、推定対象となる人物２の３次元顔形状画像を取り込むための非接触３次元デジタイザ２０６とを備える。
【００２８】
この実施の形態の装置における３次元レーザスキャナ２００では、対象人物２の頭部のまわりを回転台座２０４に支持されるカメラ２０２が１回転して、頭部の３次元座標とテクスチャ情報を獲得する。ただし、一般に、非接触３次元デジタイザ２０６を用いれば、一方向から見た場合の画像ではあるが、より短時間に頭部の３次元座標とテクスチャ情報を獲得することができる。３次元レーザスキャナ２００および非接触３次元デジタイザ２０６のいずれにおいても、受光するためのカメラとしては、ＣＣＤ（固体撮像素子）を含むビデオカメラを用いて撮影処理を行うものとする。
【００２９】
すなわち、これらカメラにより、観察対象の人物２の顔を含む画像であって対象となる画像領域内の各画素の値のデジタルデータが準備される。
【００３０】
３次元顔形状撮影装置において、コンピュータ１００は、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）上の情報を読込むためのＣＤ−ＲＯＭドライブ１０８およびフレキシブルディスク（Flexible Disk、以下ＦＤ）１１６に情報を読み書きするためのＦＤドライブ１０６を備えたコンピュータ本体１０２と、コンピュータ本体１０２に接続された表示装置としてのディスプレイ１０４と、同じくコンピュータ本体１０２に接続された入力装置としてのキーボード１１０およびマウス１１２とを含む。
【００３１】
図３は、このコンピュータ１００の構成をブロック図形式で示す図である。
【００３２】
図３に示されるように、このコンピュータ１００を構成するコンピュータ本体１０２は、ＣＤ−ＲＯＭドライブ１０８およびＦＤドライブ１０６に加えて、それぞれバスＢＳに接続されたＣＰＵ（Central Processing Unit ）１２０と、ＲＯＭ（Read Only Memory) およびＲＡＭ （Random Access Memory）を含むメモリ１２２と、直接アクセスメモリ装置、たとえば、ハードディスク１２４と、３次元レーザスキャナ２００および非接触３次元デジタイザ２０６とデータや制御信号の授受を行うための通信インタフェース１２８とを含んでいる。ＣＤ−ＲＯＭドライブ１０８にはＣＤ−ＲＯＭ１１８が装着される。ＦＤドライブ１０６にはＦＤ１１６が装着される。
【００３３】
なお、ＣＤ−ＲＯＭ１１８は、コンピュータ本体に対してインストールされるプログラム等の情報を記録可能な媒体であれば、他の媒体、たとえば、ＤＶＤ−ＲＯＭ（Digital Versatile Disc）やメモリカードなどでもよく、その場合は、コンピュータ本体１０２には、これらの媒体を読取ることが可能なドライブ装置が設けられる。
【００３４】
本発明の顔表情推定装置１０００の主要部は、コンピュータハードウェアと、ＣＰＵ１２０により実行されるソフトウェアとにより構成される。一般的にこうしたソフトウェアはＣＤ−ＲＯＭ１１８、ＦＤ１１６等の記憶媒体に格納されて流通し、ＣＤ−ＲＯＭドライブ１０８またはＦＤドライブ１０６等により記憶媒体から読取られてハードディスク１２４に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ハードディスク１２４にコピーされる。そうしてさらにハードディスク１２４からメモリ１２２中のＲＡＭに読出されてＣＰＵ１２０により実行される。なお、ネットワーク接続されている場合には、ハードディスク１２４に格納することなくＲＡＭに直接ロードして実行するようにしてもよい。
【００３５】
図１および図３に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、ＦＤ１１６、ＣＤ−ＲＯＭ１１８、ハードディスク１２４等の記憶媒体に記憶されたソフトウェアである。
【００３６】
なお、一般的傾向として、コンピュータのオペレーティングシステムの一部として様々なプログラムモジュールを用意しておき、アプリケーションプログラムはこれらモジュールを所定の配列で必要な時に呼び出して処理を進める方式が一般的である。そうした場合、当該顔表情推定装置１０００を実現するためのソフトウェア自体にはそうしたモジュールは含まれず、当該コンピュータでオペレーティングシステムと協働してはじめて顔表情推定装置１０００が実現することになる。しかし、一般的なプラットフォームを使用する限り、そうしたモジュールを含ませたソフトウェアを流通させる必要はなく、それらモジュールを含まないソフトウェア自体およびそれらソフトウェアを記録した記録媒体（およびそれらソフトウェアがネットワーク上を流通する場合のデータ信号）が実施の形態を構成すると考えることができる。
【００３７】
［３次元顔表情推定のための前処理］
以下では、まず、本発明の３次元顔表情推定処理を行うための前処理として、３次元顔形状データベースのデータの準備と、３次元顔形状データベースのデータに登録された複数の人物の複数の顔形状のデータに対する主成分による顔表現について説明する。
【００３８】
すなわち、複数人物から複数の顔表情の３次元顔形状を計測したデータベースに対して、主成分分析を行うことにより、比較的少ない数の上位主成分を用いるだけで主観的にこれらデータベースに含まれる顔形状を再現することが可能である。たとえば、１００名の人物から９種類の顔表情を計測した例では、３０〜５０の上位主成分があれば、主観的に全ての９００（＝１００（人）×９（種類））の顔を再現することが可能である。
【００３９】
なお、後に説明するように、本発明の３次元顔表情推定では、これら主成分をパラメータとして変化させることにより、未知の、言い換えると、３次元顔形状データベースに登録されていない顔形状を近似する。
【００４０】
［前処理（顔形状データベースの構築）］
図４は、３次元顔表情推定処理を行うための前処理である、顔形状データベースの構築の構築の手順を説明するためのフローチャートである。
【００４１】
まず、図１において説明したとおり、複数人物の複数の表情の３次元顔形状を計測して、３次元計測顔形状データを獲得する（ステップＳ１００）。
【００４２】
続いて、このようにして、獲得された３次元計測顔形状データを同一のメッシュトポロジヘと変換する（ステップＳ１０２）。
【００４３】
図５は、このような同一のメッシュトポロジへの変換手続きを説明するための概念図である。
【００４４】
すなわち、まず、３次元計測顔形状データについて、目・鼻・口・顎・眉などの特徴線の特定を行う。図５においては、一例として、ディスプレイプレイ上に表示される３次元計測顔形状データに対して手動で特徴線を特定するものとしている。
【００４５】
さらにこのように特定された特徴線に基づき、モーフィングを用いて、複数の人物および複数の表情に共通な一般化メッシュを、処理対象の３次元計測顔形状データに適合させ、最終的には同じトポロジを持つ３次元データに変換する。なお、このような「一般化メッシュの適合処理」の詳細については、たとえば、特開平１１−２２４３５０号公報に開示されている。
【００４６】
再び、図４に戻って、このような同一のメッシュトポロジへの変換の後、続いて、変換された全ての３次元顔の頂点座標に対して主成分分析を行う（ステップＳ１０４）。
【００４７】
すなわち、一般化メッシュを各計測顔形状に適合させることにより、異なる顔形状の数学的解析が容易となる。つまり、ｍ人の人物からｓ種類の顔形状を計測したＭ（＝ｍ×ｓ）個の３次元計測顔形状データの各々に対して、上述した一般化適合を施し、Ｍ個の同じトポロジを持つデータ３次元データ（以下、「３次元顔形状データ」と呼ぶ）が得られる。それぞれの３次元顔形状データは、適合化したメッシュのＮ個のノードの（ｘ，ｙ，ｚ）座標を用い、３Ｎ個の成分を持つ列ベクトルｆi（ｉ＝１，…，Ｍ）で表すことができる。
【００４８】
【数１】
2005141305.tif 000003
【００４９】
これにより、適合化され登録される顔形状は、以下の１つの行列Ｆであらわすことができる。
【００５０】
【数２】
2005141305.tif 000004
【００５１】
図６は、このような行列Ｆを示す概念図である。図６においては、行列Ｆの概念を示すために、一例として、「無表情で目を閉じた表情」を添え字”neutral”で表し、「母音（/a,i,u,e,o/）を発音時の表情」を、各母音（a,i,u,e,o）を添え字として表し、「口を意識的に開けた表情」および「口を意識的に閉じた表情」をそれぞれ添え字”open”および”close”で表した場合を示している。
【００５２】
ここで、以下のとおり、任意の３次元顔形状ｆiを、Ｍ個の登録された形状の平均μfからのずれベクトルｆmiにより表現する。
【００５３】
【数３】
2005141305.tif 000005
【００５４】
このずれベクトルｆmiにより新たに以下の基本顔形状行列ＦMが定義できる。
【００５５】
【数４】
2005141305.tif 000006
【００５６】
この行列ＦMについて、共分散行列Ｃfは以下のように表すことができる。
【００５７】
【数５】
2005141305.tif 000007
【００５８】
この共分散行列Ｃfに対して、以下のような特異値分解を行うことにより、各固有ベクトルを、行列ＦMの線形独立な主成分として求めることができる。
【００５９】
【数６】
2005141305.tif 000008
【００６０】
ここで、行列Ｕは正規化されたユニタリ行列で、各列が固有ベクトルを表す。また、行列Ｓは対角行列で、対角成分が固有値を表すものである。
【００６１】
以上の手続きにより、全ての３次元顔の頂点座標に対して主成分分析が行われる。
【００６２】
続いて、求められた主成分のうち、有効な上位主成分の数を決定し、内部記憶装置であるハードディスク１２４または外部記憶装置内のデータベースに保存する（ステップＳ１０６）。ＣＰＵ１２０は、バスＢＳによりハードディスク１２４にアクセス可能であり、または、バスＢＳおよび通信インターフェース１２８により、図示しない外部記憶装置にアクセスすることが可能である。
【００６３】
上述のとおり、主観的には、９００表情の場合３０〜５０の上位主成分で十分である。
【００６４】
さらに、有効な上位主成分の線形合成により全ての３次元顔形状データを表現し、各線形合成係数を、対応する人物および表情の各々と関連付けて、３次元顔形状データベースとして、これもハードディスク１２４または外部記憶装置に保存する（ステップＳ１０８）。
【００６５】
すなわち、３次元顔形状データベース内の全ての顔が上位ｋ個の主成分Ｕkの線形結合として表現されていることになる。
【００６６】
ここで、ｉ番目の顔の線形結合係数αiは、個々の主成分に対する合成係数αij(ｊ＝１，…，ｋ)から構成される列ベクトルとして以下のように表現できる。
【００６７】
【数７】
2005141305.tif 000009
【００６８】
ただし、線形結合係数αiは、主成分Ｕkと平均顔μfおよび元の形状ｆiより以下の式で与えられる。
【００６９】
【数８】
2005141305.tif 000010
【００７０】
この線形結合係数αiをデータベース内の全ての顔Ｍ種類についてまとめると、以下の線形合成結合行列Ａが定義できる。
【００７１】
【数９】
2005141305.tif 000011
【００７２】
これにより、データベース内の全ての顔平均からのずれの主成分近似Ｆm´は、主成分Ｕkの線形結合として、線形合成結合行列Ａを用いて、以下の式で表すことができる。
【００７３】
【数１０】
2005141305.tif 000012
【００７４】
［顔形状推定処理］
このように、主成分分離させたデータベースを用いることにより、データベース内の人物と同様の顔表情に伴う形状変形を、以下の手順で任意の未知人物について推定することが可能である。
【００７５】
図７は、本発明の顔形状推定処理の流れを説明するためのフローチャートである。
【００７６】
図７を参照して、まず、顔表情推定装置１０００により、推定の対象となる未知人物の所定の表情の３次元計測顔形状データを獲得する（ステップＳ２００）。獲得された３次元計測顔形状データは、たとえば、ハードディス１２４に格納される。
【００７７】
ここで、「所定の表情」は、３次元顔形状データベース内の複数の表情のいずれかと同じ表情であればよく、たとえば、「無表情で目を閉じた表情」とすることができる。
【００７８】
続いて、顔表情推定装置１０００のＣＰＵ１２０は、獲得された３次元計測顔形状データを、３次元顔形状データベース内の顔形状データと同一メッシュトポロジヘと変換する（ステップＳ２０２）。
【００７９】
このようにして、３次元顔形状データベースに未登録の人物の単一の顔表情形状がデータベースと同一のメッシュ構造で得られる。このとき、入力顔は以下のように列ベクトルｆuで表現できる。
【００８０】
【数１１】
2005141305.tif 000013
【００８１】
これに対し、データベースから得た平均顔形状μfを用い、入力顔はこの平均からのずれｆmuへと分離できる。
【００８２】
【数１２】
2005141305.tif 000014
【００８３】
続いて、入力表情顔形状を先の有効な上位主成分の線形合成で近似する（ステップＳ２０４）。
【００８４】
すなわち、この平均からのずれｆmuを、上位ｋ個の主成分Ｕkとの線形結合で表現することにより、入力顔をデータベース内の顔同様に上位ｋ個の主成分空間に定義することができる。ここで、この未登録人物の単一の顔表情形状に対応する線形結合係数βは以下の式で求めることができる。
【００８５】
【数１３】
2005141305.tif 000015
【００８６】
続いて、顔表情推定装置１０００のＣＰＵ１２０は、推定対象の人物に対して得られた主成分の線形合成係数について、３次元顔形状データベース内の上記所定の表情の線形合成係数と近い線形合成係数で表される顔形状を有する人物を探索する（ステップＳ２０６）。
【００８７】
すなわち、入力顔がｋ個の主成分で表現されたことより、ｋ次元の主成分空間において顔形状の比較が可能となる。そこでまず、他の人物の同じ表情についてｋ次元の主成分空間中における入力顔との距離を比較する。３次元顔形状データベース内のｊ番目の人物の線形合成係数αjの各成分と、入力顔の線形合成係数βの各成分について、以下の式より距離ｄjを求める。
【００８８】
【数１４】
2005141305.tif 000016
【００８９】
ただし、距離の定義は、上記式（８）に定義されるものに限定されるものではなく、距離の公理を満たす限り、他の距離を用いることもできる。
【００９０】
（類似顔の選定）
得られた距離の小さい順に並べることにより、入力顔に近い順に顔表情形状を持つ人物のリストを作成することができる。
【００９１】
その上で、以下に示す手順（１）〜（４）のいずれかの選定手続を例として、類似顔表情人物の選定を行う。
【００９２】
（１）人数による限定
あらかじめ選定する人数を、たとえば入力顔に近い順に「上位５人」などに限定しておくという選定方法である。
【００９３】
（２）距離による限定
あらかじめ主成分空間における距離範囲を、たとえば「距離１００．０以内」などと限定しておく。また、仮に最も近い顔がこの距離に含まれない場合は距離範囲を段階的に増やすようにする。
【００９４】
（３）人数と距離による限定
あらかじめ選定する人数を、たとえば「上位５人」、主成分空間における距離範囲を、たとえば「距離１００．０以内」などと限定しておく。そして、上位人数に満たない場合は距離範囲を段階的に増やすようにする。
【００９５】
（４）乱数効果を加えた限定
上述の（１）〜（３）の限定で得られた選定候補に加え、乱数的に無作為に１名以上の候補を追加する。
【００９６】
このような手続きにより、すくなくとも１名以上の人物を探索する。
【００９７】
（選定人物に対する重み付けの決定）
再び、図７に戻って、次に、探索結果の人物の、対象となる表情顔から他の表情への変化を主成分空間中で求める。複数人物が探索結果として得られた場合、たとえば、近さに応じて重み付け加算した変化を求める（ステップＳ２０８）。
【００９８】
ここで、類似顔表情を持つ人物がｎ人選定されたことにより、次にこれらの人物の表情変化を、入力顔の表情変化に寄与する重み付けの割合を決定する。
【００９９】
選定人物に対する重み付けの決定の手順には、以下の（Ａ）〜（Ｃ）のような手法が考えられる。
【０１００】
（Ａ）単純平均
重み付けを均一とし、総和が１となるように、選定された人物数ｘに対し、ｗ＝１．０／ｎを全ての人物の重み付けとする。
【０１０１】
（Ｂ）距離加重
距離の近い人物に対して重み付けが大きくなるように重み付けの割合を決定する。以下にその例を示す。
【０１０２】
（Ｂ−１）距離に反比例する例
ｉ番目の人物に対し、以下の式（９）を用いて、重み付け係数ｗiを決定する。
【０１０３】
【数１５】
2005141305.tif 000017
【０１０４】
ただし、ｃ0は総和が１．０となるようにするための定数である。
【０１０５】
（Ｂ−２）距離の自乗に反比例する例
ｉ番目の人物に対し、以下の式（１０）を用いて、重み付け係数ｗiを決定する。
【０１０６】
【数１６】
2005141305.tif 000018
【０１０７】
ただし、ｃ1は総和が１．０となるようにするための定数である。
【０１０８】
（Ｃ）順位加重
選定された順位が上位であるほど、重み付けが大きくなるように重み付けの割合を決定する。以下にその例を示す。
【０１０９】
（Ｃ−１）順位に反比例する例
ｉ番目の人物に対し、以下の式（１１）を用いて、重み付け係数ｗiを決定する。
【０１１０】
【数１７】
2005141305.tif 000019
【０１１１】
ただし、ｃ2は総和が１．０となるようにするための定数である。
【０１１２】
（Ｃ−２）ユーザ指定
あらかじめユーザにより順位に対する重みを定義しておく。たとえば選定結果が５人である場合に重み付けが順に、たとえば、０．５０，０．２５，０．１０．０．１０，０．０５というように総和が１．０となるよう定義しておく。
【０１１３】
（選定人物の顔表情変形ベクトル）
以上のようにして、選定人物に対する重み付けが決定されると、この重み付けに基づいて、次に、選定人物の顔表情変形ベクトルが算出される。
【０１１４】
すなわち、先の重み付けに加え、類似顔表情を持つ人物がｎ人選定されたことにより、個々の選定人物の顔表情変形ベクトルを算出する。この「顔表情変形ベクトル」とは、個々の人物において人物選定に用いた表情から、その人物の他の表情への変化を主成分空間のベクトルとして表現したものである。
【０１１５】
選定人物１名につき、ｋ×（ｓ−１）個の表情変形ベクトルεiが得られる。これらをまとめて記載すると、以下の式（１２）および（１３）のとおりとなる。
【０１１６】
【数１８】
2005141305.tif 000020
【０１１７】
ここで、ｑは三次元顔形状データベース内における、選定人物の類似表情（所定の表情）のインデックス番号であり、ｐ1…ｐs-1は選定人物の類似表情以外のインデックス番号を示す。
【０１１８】
この表情変形ベクトルεiを選定人物ｎ人全てについて求める。
【０１１９】
以上より、選定人物ごとの表情変形ベクトルεiとその重み付け係数ｗiが得られた。これらを用い、入力人物における顔表情変形ベクトルを求め、表情推定を行う。入力人物に
おける顔表情変形ベクトルεiは以下の式（１４）により求めることができる。
【０１２０】
【数１９】
2005141305.tif 000021
【０１２１】
再び、図７に戻って、続いて、得られた表情変化を、入力表情顔に対して与えることにより、未知人物の顔表情変形を推定する（ステップＳ２１０）。
【０１２２】
この顔表情変形ベクトルε0の各列に対し、入力顔の線形結合係数βを加えることにより、以下の式（１５）のように、列ごとに個々の表情に対応する線形結合係数βiを求めることができる。
【０１２３】
【数２０】
2005141305.tif 000022
【０１２４】
この線形結合係数βiより、データベースから得た平均顔形状μfと主成分Ｕkとを用い、入力人物の推定表情の三次元形状を以下の式（１６）により求めることができる。
【０１２５】
【数２１】
2005141305.tif 000023
【０１２６】
以上のようにして、推定された他の表情に対応する３次元顔形状を計算により導出することが可能である。
【０１２７】
図８は、推定対象の人物について、複数の表情に対応する顔形状を実際に３次元的に計測し、各表情について、３次元計測顔形状データを同一のメッシュトポロジヘと変換した結果を示す図である。
【０１２８】
一方これに対して、図９は、推定対象の人物について、１つの所定の表情に対応する顔形状を３次元的に計測し、計測により得られた３次元計測顔形状データを同一のメッシュトポロジヘと変換した上で、図８における各表情に対応する顔形状を上述した顔表情推定処理により推定した結果を示す図である。
【０１２９】
図８と図９を対比することにより、本発明のした顔表情推定処理によれば、あらかじめ複数の人物の各々について複数の表情に対して顔形状を計測し、主成分分析した結果を３次元顔形状データベースとして構築しておくことにより、この３次元顔形状データベースに登録されていない未知人物の顔形状についても、自動的にその人物らしい表情変形を推定することが可能である。
【０１３０】
なお、以上の説明では、推定の対象となるのは、未知の「人物」の顔形状であるものとしたが、本発明において、「人物の表情の推定」とは、必ずしも現実の人物の表情を推定する場合に限られず、本発明は、たとえば、現実の人物を基に作成された彫刻の表情や、人物を模して作成された３次元的な像やキャラクタの表情を推定することにも適用可能なものである。
【０１３１】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１３２】
【図１】本発明の顔表情推定方法を実施するための顔表情推定装置１０００の一例を示す概念図である。
【図２】「複数の所定の顔表情」の一例を示す図である。
【図３】コンピュータ１００の構成をブロック図形式で示す図である。
【図４】３次元顔表情推定処理を行うための前処理である、顔形状データベースの構築の構築の手順を説明するためのフローチャートである。
【図５】同一のメッシュトポロジへの変換手続きを説明するための概念図である。
【図６】適合化され登録される顔形状を表す行列Ｆを示す概念図である。
【図７】本発明の顔形状推定処理の流れを説明するためのフローチャートである。
【図８】推定対象の人物について、複数の表情に対し実測した３次元計測顔形状データを同一のメッシュトポロジヘと変換した結果を示す図である。
【図９】推定対象の人物について、実測した１つの所定の表情に対応する３次元計測顔形状データに基づいて、各表情に対応する顔形状を推定した結果を示す図である。
【符号の説明】
【０１３３】
１００  コンピュータ、１０２  コンピュータ本体、１０４  ディスプレイ、１０６  ＦＤドライブ、１０８  ＣＤ−ＲＯＭドライブ、１１０  キーボード１１０、１１２  マウス、１１６  フレキシブルディスク、１１８  ＣＤ−ＲＯＭ、１２０  ＣＰＵ、１２２  メモリ、１２４  ハードディスク、１２８  通信インタフェース、２００  ３次元レーザスキャナ、２０６  非接触３次元デジタイザ、１０００  顔表情推定装置。
【図１】
2005141305.tif 000024
【図２】
2005141305.tif 000025
【図３】
2005141305.tif 000026
【図４】
2005141305.tif 000027
【図７】
2005141305.tif 000028
【図５】
2005141305.tif 000029
【図６】
2005141305.tif 000030
【図８】
2005141305.tif 000031
【図９】
2005141305.tif 000032