1(57)【特許請求の範囲】【請求項１】 同一人物，同一表情で顔の向きの異なる２枚の入力画像から表情に関する知識を用いて任意表情を持つ表情３次元ユークリッド構造を生成する生成方法であって、第１の表情と第２の表情のペアからなる表情顔サンプルからそれぞれの画像上に特徴点を指定し、第２の表情の特徴点座標から第１の表情の特徴点座標を引くことにより表情差分ベクトルを求める第１のステップ、
前記表情差分ベクトルを入力画像および入力画像から復 10元された表情３次元ユークリッド構造に加えることによる擬似表情画像と擬似表情ユークリッド構造を生成する
第２のステップ、
前記表情３次元ユークリッド構造上の特徴点を画像上に投影した点の座標は、表情差分ベクトルを用いて得られ2た擬似表情画像上の特徴点の座標に等しいという拘束条
件と、表情３次元ユークリッド構造の特徴点座標は、表情差分ベクトルを用いて得られた擬似表情ユークリッド構造に等しいという拘束条件をマハラノビス距離の二乗で定式化する第３のステップ、および前記拘束条件を用いて非線形最小自乗法を用いて表情３次元ユークリッド構造の生成を行なう第４のステップを備えた、任意表情を持つ３次元顔モデルの生成方法。
【発明の詳細な説明】【０００１】【発明の属する技術分野】この発明は任意表情を持つ３次元顔モデルの生成方法に関し、特に、ビデオ会議システムやバーチャルリアリティやＶＲＭＬなどのコンテンツなどに利用でき、復元された３次元ユークリッド構造は完全には正確でないが必ずしも正確な表情を必要とし

(2)3ないアプリケーションに有効な任意表情を持つ３次元顔モデルの生成方法に関する。
【０００２】【従来の技術】少ない実画像から任意方向，任意表情の顔画像を生成する技術としてたとえば向川康博，中村裕
一，太田友一， 複数の顔画像の組合せによる任意方向・任意表情の顔画像の生成， 電子情報通信学会論文誌（Ｄ−ＩＩ），Ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．６，
ｐｐ．１５５５−１５６２，１９９７（文献１）あるい
はD. Beymer, A. Shashua, and T. Poggio, Example
Based Image Analysis and Synthesis, A. I. Memo No. 1431, MIT AI Lab., 1993（文献２）などがある。
【０００３】また、３次元物理モデルを用いて任意表情の生成を行なっているものとしては、D. Terzopoulos and K. Waters, Analysis and synthesis of facial imagesequences using physical and anatomical models, IEEE Transactions on Pattern Analysis and Machine Intelligence, VOL.15, No.6, pp. 569‑579, June
1993（文献３）またはY. Lee, D.Terzopoulos, and K.
Waters, Realisticmodeling for facial animation, In Computer Graphics, Annual ConferenceSeries,
pp. 55‑62. ACM SIGGRAHP, 1995 （文献４）などがある。
【０００４】さらに、同一人物，同一表情で顔の向きの異なる２枚の実画像から３次元モデルを復元するアプローチは、Z. Zhang, K. Isono, and S. Akamatsu, Eucl
idean structure from uncalibrated images using fuz
zy domain knowledge: Application to facial images
systhesis, In Proccedings of the InternationalCo
nference on Computer Vision（ICCV '98）, pp. 784‑7
89 India, January 1998 （文献５）において紹介されている。
【０００５】【発明が解決しようとする課題】上述の文献１，文献２の方法の最終目的は画像生成であり、３次元ユークリッド構造の復元ではない。しかし、バーチャルリアリティなどでは、画像だけでなく、３次元モデルを必要とする場合が多くある。また、文献１では、顔の向きの指定のために参照画像を用いている。このため、いろいろな方向の画像が欲しいときには、それに応じた参照画像を複数枚用意する必要がある。
【０００６】一方、文献３，文献４の方法は、３次元物理モデルを用いて任意の表情の生成を行なっている。しかし、この方法では、基本となる３次元物理モデルが必要であり、それらを取得するためには、レーザ光などを利用した特殊な計測装置が必要となることや、筋肉配置などの細かな知識が必要となってくる。さらに、表情パラメータの調節は微妙かつ困難であり、顔画像を自然なものとすることが難しく、その計算量も膨大になってしまうという問題点もある。

1020304050

特許２９８６４４１4【０００７】それゆえに、この発明の主たる目的は、物理モデルなどの構築を行なうことなく、少ない実画像からより自然な任意表情を持った３次元モデルを生成する生成方法を提供することである。
【０００８】【課題を解決するための手段】この発明は同一人物，同一表情で顔の向きの異なる２枚の入力画像から表情に関する知識を用いて任意表情を持つ表情３次元ユークリッド構造を生成する生成方法であって、第１の表情と第２の表情のペアからなる表情顔サンプルからそれぞれの画像上に特徴点を指定し、第２の表情の特徴点座標から第１の表情の特徴点座標を引くことにより表情差分ベクトルを求める第１のステップと、表情差分ベクトルを入力画像および入力画像から復元された表情３次元ユークリッド構造に加えることによる擬似表情画像と擬似表情ユークリッド構造を生成する第２のステップと、表情３次元ユークリッド構造上の特徴点を画像上に投影した点の座標は、表情差分ベクトルを用いて得られた擬似表情画像上の特徴点の座標に等しいという拘束条件と、表情３次元ユークリッド構造の特徴点座標は、擬似表情ユークリッド構造に等しいという拘束条件をマハラノビス距離の二乗で定式化する第３のステップと、これらの拘束条件を用いて非線形最小自乗法を用いて表情３次元形状の生成を行なう第４のステップを含む。
【０００９】【発明の実施の形態】図１はこの発明の一実施形態の全体の構成を示すブロック図であり、図２は図１の表情差分データ抽出部のブロック図であり、図３は入力実画像を示す図であり、図４は特徴点を示す画像である。
【００１０】次に、図１〜図４を参照して、この発明の一実施形態について説明する。図１において、入力画像
１はたとえば図３に示すような同一人物（人物Ｐ），同一表情（表情Ａ）で、顔の向きの異なる２枚の無校正実画像が特徴点抽出部１０に入力される。このとき、人物Ｐの別の表情（表情Ｂ）の画像は与えられていない。
【００１１】特徴点抽出部１０は、入力画像の特徴点の抽出を汎用グラフィックスワークステーションの対話処理機能を利用して行なう。すなわち、表示された入力画像から目視で特徴点を検出し、マウス操作によって入力画像表面上を移動するカーソルを用いて特徴点の位置を特定する。今回、図４に示すように、８３点の特徴点を用いた。
【００１２】表情Ａの３次元ユークリッド構造復元処理
部２０は、カメラモデルをアフィンカメラで近似することにより、前述の文献５の手法を用いて表情Ａのユークリッド構造を復元する。表情Ａ（通常は中立表情）から表情Ｂ（笑顔など）への表情変化を考えたとき、顔の特徴点が与えられているとすると、表情変化は表情Ａの特徴点と、その特徴点に対応する表情Ｂの特徴点の３次元座標および３次元差分ベクトルと２次元差分ベクトルを(3)

特許２９８６４４１56
求める画像座標における差分ベクトルとして与えること＊ ンジデータを用いたが、異なるデータから取得しても問ができる。人物Ｐの表情Ｂの画像は与えられていないの題はない。また、サンプルで用いる３次元データおよびで、人物Ｐの表情変化時の差分ベクトルを入力画像から画像データは大きさと向きに関して正規化が行なわれて直接得ることはできない。そこで、表情顔サンプルを用いるものとする。
意し、その表情顔サンプルを用いて差分ベクトルの取得【００１８】図１の擬似表情Ｂデータ生成処理部４０を行なう。
は、入力画像と表情差分ベクトルとを用いて、擬似表情【００１３】次に、図２を参照して差分データの取得動データの生成を行なう。人物Ｐの表情Ｂの擬似画像は上作について説明する。顔サンプル３０１は多人数分の表
述の平均差分ベクトルδｍi を人物Ｐの画像（表情Ａ）
情Ａと表情Ｂのペアからなり、顔の向きはすべて正面向に加えることにより得ることができる。上述のδｍきである。特徴点抽出部３０２は、顔サンプルの特徴点 10 i は、正面画像を用いて得られたものであるため、人物の抽出を汎用グラフィックスワークステーションの対話Ｐの画像も正面画像である必要がある。
処理機能を利用して行なう。すなわち、表示された入力【００１９】入力画像の１枚として、２枚の入力画像の画像から目視で特徴点を検出し、マウス操作によって入うちの１枚の正面画像が与えられている場合は、与えら力画像表面上を移動するカーソルを用いて特徴点の位置れた正面画像を用いればよいが、もしも入力画像としてを特定する。この際、特徴点としては、入力画像上での正面画像が与えられていない場合は、２枚の入力画像か特徴点と対応する点を指定する。
ら文献５の方法を用いて復元されたユークリッド構造を【００１４】差分ベクトル算出部３０３は、それぞれの用いて正面画像を得ることができる。また、δｍi は多顔サンプルのペアにおいて、表情Ａと表情Ｂの差分ベク数の画像サンプルの平均であるため、データが平均化さトルを求め、空間における差分ベクトルと、画像上におれ、表情変化が比較的小さく出てしまうおそれがある。
ける差分ベクトルの２種類の差分ベクトルを用いる。
20 さらに、画像サンプルと人物Ａの正面画像の大きさの違【００１５】３次元差分ベクトルは、複数人の表情Ａといについても考慮する必要がある。そこで、δｍi に表表情Ｂの３次元データのペアを用意し、表情Ａと表情Ｂ情強度に関する重みωe と、画像の大きさに関する重みの各特徴点における差分ベクトルを計算する。同様にしωs を掛けた値を正面画像に加えるものとする。ここて、画像差分ベクトルは、表情Ａと表情Ｂの正面画像ので、ωe は任意に決定するものとし、ωs は、顔サンプペアからなる複数の画像サンプルから表情Ａ画像と表情ル画像の両目尻を結ぶ直線と口の両端の中点の距離ｄ
Ｂ画像の差分ベクトルを求める。
＾，人物Ｐの正面画像の両目尻を結ぶ直線と口の両端の【００１６】表情差分データ算出部３０４は、前述の差中点の距離をｄとすると、分ベクトルはガウス分布に従うものとし、３次元平均差ωs ＝ｄ／ｄ＾VA
分ベクトルδＭi ，共分散行列ΛMi を求める。同様にしとなる。ｍ i を擬似画像上の特徴点座標，ｍ i を人Vて、画像平均差分ベクトルδｍi および共分散行列Λmi 30 物Ｐの正面画像（表情Ａ）の特徴点座標とすると、ｍを求める。
i は次式で表わすことができる。
【００１７】なお、今回は３次元データとして３次元レ＊【００２０】VA
ｍ i ＝ｍ i ＋ωe ωs δｍi ，…（１）以上により得られた擬似画像上での特徴点の座標を用い※ Ｂ画像を得ることができる。て擬似画像の生成を次のようにして行なう。初めに、入【００２１】同様にして、文献５の手法を用いて得られA
力画像を特徴点を頂点とする三角パッチに分割する。次た人物Ｐのユークリッド構造Ｍ i と３次元表情差分ベに、それぞれの特徴点を第（１）式で求めた位置に移動
クトルδＭi を用いて、擬似表情Ｂユークリッド構造ＭVし、変形された三角形パッチに対して入力画像のテクスi を得ることができる。
チャをマッピングする。これにより、人物Ｐの擬似表情※【００２２】
VA
EE
Ｍ i ＝Ｍ i ＋ω e ω s δＭi…（２）EE
ここで，ω e ，ω s は、それぞれ３次元構造における。これにより、より自然な表情を持った３次元ユークる表情強度と顔の大きさに関する重み係数である。
リッド構造の復元を行なうことができる。
【００２３】なお、擬似表情データの生成を行なわず【００２４】表情Ｂ３次元ユークリッド構造生成処理部に、別の人物の表情Ｂ画像および表情Ｂ３次元構造を直５０は、画像と３次元構造の幾何学的関係から、３次元接用いることも可能である。しかし、別の人物のデータ構造画像上に投影したものは画像と等しくならなければを用いた場合、生成結果は不自然なものとなってしまならない。しかし、上述の方法で得られた擬似画像は、う。これは、顔の形状は人によつて異なるため、形状に顔画像サンプルから得られた差分データを用いており、よる影響が生成画像に現われてしまうためと考えられ
擬似３次元構造は３次元レンジデータから得られた差分る。そのため、今回は平均差分データを用いて擬似表情データを用いているため、これらのデータは独立しておデータの生成を行ない、個人形状による影響を少なくす 50 り、幾何学的関係は正しくない。そこで、画像と３次元

(4)特許２９８６４４１78B構造との幾何学的関係を満足させるため、次のような拘＊ ユークリッド空間における座標をＭ i とすると、もし
束条件を与える。
擬似画像が人物Ｐの正しい表情画像を表わしているとすB【００２５】（１） 表情Ｂ３次元ユークリッド構造のると、Ｍ i の画像面への投影座標
B
特徴点を画像上に投影した点の座標は、擬似表情画像上ｍ′i ＝ＧＭ i ＋ｔVの特徴点の座標に等しい。
は、ｍ i （共分散行列Αmi ）に等しくなるはずであ【００２６】（２） 表情Ｂ３次元ユークリッド構造のる。この拘束条件はマハラノビス距離の二乗で表わすこ
特徴点座標は擬似表情Ｂユークリッド構造に等しい。とができる。
V【００２７】擬似画像の特徴点をｍ i ，それらの点の＊【００２８】
2V
T‑1
V
ｄ m ＝（ｍ i −ｍ′i ） Λ mi （ｍ i −ｍ′i ）…（３）
Vv
擬似表情Ｂユークリッド構造の特徴点をＭ i ，求める 10※ i （共分散行列ΑMi ）に等しくなるはずである。このB
表情Ｂ３次元ユークリッド構造の特徴点の座標をＭ i
拘束条件はマハラノビス距離の二乗で表わすことができとする。擬似表情Ｂユークリッド構造が人物Ｐの正しいる。
B
表情モデルを表わしているとすると、Ｍ i はＭ※
【００２９】2V
B
T‑1
V
B
ｄ M ＝（Ｍ i −Ｍ i ） Λ Mi （Ｍ i −Ｍ i ）…（４）
上述の方法を用いて、擬似表情Ｂデータとしての擬似画★ により、人物Ｐ・表情Ｂにおける特徴点の３次元ユーク2
B
像と擬似表情ユークリッド構造の生成を行ない、ｄ mリッド座標Ｍ i を求める。
2とｄ M の総和が最小になるように、非線形最小自乗法★
【００３０】
22Ｊ＝Σｄ m ＋Σｄ M →ｍｉｎ．
…（５）
B
得られたＭ i から三角パッチを生成し、基本画像からアリティなど３次元モデルを必要とするアプリケーショ得られるテクスチャをマッピングすることにより、人物 20 ンに応用できる。さらに、いろいろな表情を生成するこ
Ｐ・表情Ｂの表情Ｂ３次元ユークリッド構造を得ることとにより、顔表情アニメーションなども簡単に作成するができる。
ことができる。
【００３１】図５はこの発明の一実施形態によって得ら【図面の簡単な説明】れた表情画像の一例を示す図である。この図５では、表【図１】この発明の一実施形態の全体の構成を示すブロE
情強度に関する重み係数は、ωe ＝ω s ＝１．５としック図である。
た。開口時の口内部のテクスチャは、基本画像から得る【図２】図１に示した表情差分データ抽出部の具体的なことはできないので、画像サンプル内の任意の幸福（開ブロック図である。
口）画像より得られたものを用いた。
【図３】入力画像の一例を示す図である。
【００３２】【図４】入力画像に特徴点を示した図である。
【発明の効果】以上のように、この発明によれば、同一 30 【図５】この発明の一実施形態によって生成された画像
人物，同一表情で顔の向きの異なる２枚の入力画像と、の例を示す図である。
表情のデータから任意表情を持つ顔の３次元構造を生成【符号の説明】
する方法において、表情データは顔サンプル画像と３次
１ 入力画像元顔サンプルデータから統計分析により得られ、得られ２ 表情Ｂ３次元ユークリッド構造た表情データから擬似表情画像，３次元擬似表情構造を１０ 特徴点抽出部
生成し、画像と３次元構造の幾何学的関係から得られる
２０ 表情Ａ３次元ユークリッド構造復元処理部
拘束条件をマハラノビス距離最小で与え、非線形最小自３０ 表情差分データ抽出部
乗法により表情３次元構造を生成するようにしたので、
４０ 擬似表情Ｂデータ生成処理部
２枚の画像が与えられれば、そこから任意の表情を持っ５０ 表情Ｂ３次元ユークリッド構造生成処理部
た３次元形状の復元を行なうことができる。しかも、一 40 ３０１ 顔サンプル旦３次元形状が復元できれば、任意の方向の画像も容易３０２ 特徴点抽出部に作成することができる。さらに、複数の参照画像や３３０３ 差分ベクトル算出部
次元物理モデルを用いる必要がなくなり、バーチャルリ
３０４ 表情差分データ

(5)

【図１】

【図４】

特許２９８６４４１

【図２】

(6)

【図３】

特許２９８６４４１

(7)特許２９８６４４１【図５】─────────────────────────────────────────────────────
フロントページの続き(72)発明者

赤松 茂
京都府相楽郡精華町大字乾谷小字三平谷５番地 株式会社エイ・ティ・アール人間情報通信研究所内(56)参考文献

特開 平９−62865（ＪＰ，Ａ)
特開 平８−63503（ＪＰ，Ａ)
小松功児， 顔面像からの顔の３次元形状の推定とその表情の変更 ，電子情報通信学会論文誌（Ｄ−▲ＩＩ▼）,1990年５月，第73巻，第５号，ｐ．707
−716

(8)

6(58)調査した分野(Int.Cl. ，ＤＢ名)
G06T 1/00
G06T 7/00 ‑ 7/60
G06T 15/00
G06T 17/00 ‑ 17/50

特許２９８６４４１