計測自動制御学会東北支部 第 348 回研究集会 (2024.5.31)
資料番号 348-99

メッシュ頂点密度適応による
3 次元点群の非剛体レジストレーション
Non-rigid registration of 3D point clouds by mesh vertex densityadaptation○欧陽 暢 ∗ ，堀田 克哉 ∗ ，萩原 義裕 ∗○ Chang Ouyang∗ , Katsuya Hotta∗ , Yoshihiro Hagihara ∗*岩手大学*Iwate University
キーワード : 非剛体レジストレーション (Non-grid registration)，密度適応 (Density adaptation), テンプ
レート (Template)，3 次元点群 (3D point)

連絡先 : 〒 020-8551 岩手県盛岡市上田 4-3-5 岩手大学 理工学部 システム創成工学科
知能・メディア情報コース 萩原研究室
萩原義裕，Tel.: 019-621-6400, E-mail: dhag@iwate-u.ac.jp1.

はじめに非剛体レジストレーション手法の代表的な手

3 次元表面再構成は，風景や物体表面の復元および生成を目的とする問題である．本技術は，ゲームや映像などの分野においてモデリング作業量の軽減を可能とする．近年では，事前に与えたテンプレートモデルを模倣するようにターゲットモデルの点群を変換するテンプレートに基づく表面再構成手法 1) が注目を集めている．
これら手法は，テンプレートモデルの点群を非剛体と見なすことで，ターゲットモデルの各点に対して位置合わせを適用することで非剛体レジストレーションを実現している．特に非剛体レジストレーションは，特定種類の頂点完全対応の 3D データセットから新たなモデルを合成させる 3D Morphable Model (3DMM) を構築可能であるだけでなく，データの欠如補完やターゲットモデルの識別にも応用可能である．

法として，テンプレートに基づいたメッシュ頂点密度適応によるエネルギー関数の反復最適化戦略が挙げられる．本手法は人間の顔における目や鼻，口のように変形可能な部位が多く含まれるモデルに対しても，テンプレートモデルとは異なるまったく新しい自然な顔モデルを生成することが可能である．しかしながら，顔の各細部などの位置合わせに頂点密度の制御が適用されない場合が多い．頂点密度を慎重に制御しなければ，細部の位置合わせの結果はモデル構造の差とサンプリング等の影響によって，歪みや自己交差エラーなどの問題が発生し，結果的にモデルの表現力が落ちる可能性がある．
そこで本研究では，モデル数が少ない状況において，頂点密度適応の非剛体レジストレーション最適化手法を用いた，アニメーション顔モデ

–1–

(a)

(b)

(c)

Fig. 1
潰れ．

失敗しやすい例 (a) 同じ模様の繰り返し，(b) オーバーラップ率の低い，(c) 白飛び・黒ルの位置合わせを提案する．実験では，単一テンプレートモデルから複数のターゲットモデルを解決するため，合成に基づいた 3D Morphable
Model (3DMM)2) の使用が提案されている．

への位置合わせを定性的に評価することで，提3DMM は現存の 3 次元の顔モデルデータセッ

案手法が 3DMM データセット構築における誇トから新たなモデルを合成させる手法である．一張化，漫画化に活用可能であること示す．

般的に顔モデルを変形させるには，データセッ
トにあるモデルの全頂点の完全な対応付けが必要である．具体的に，頂点数 n のモデル頂点座

2.

関連研究

2.1

3 次元モーファブルモデル (3DMM)

標値を形状ベクトルで定義する:

S = (X1 , Y1 , Z1 , . . . , Xn , Yn , Zn ) ∈ R3n

一般的に画像からの 3 次元モデルを生成する(1)には，複数の角度から対象を万遍なく撮影する

また，同様に色情報もテクスチャベクトルで定必要がある．この様々な角度の画像から特徴点義する:を抽出し，隣接画像の特徴点との対応関係からカメラパラメータと位置座標を算出する三角測T = (R1 , G1 , B1 , . . . , Rn , Gn , Bn ) ∈ R3n (2)量により低密度点群データを生成する．次に，次に，データセットのモデルの形状ベクトル S

低密度点群データからマルチビューステレオ手とテクスチャベクトル T を式 (3) に基づき連続法による高密度点群データやテクスチャ付きの的に変化させることで，新たなモデルベクトルポリゴンモデルを生成する．本アルゴリズムはSmod ，Tmod を得る．

様々なシーンに活用できるが，Fig. 1 に示すように，細部の復元精度に課題を抱えている．まSmod =

た顔画像の復元においては，照明状況やテクスチャの欠如，皮膚表面の反射などによってアルゴm∑

α i Si ,i=1m∑m∑

i=1i=1αi =リズムが制限されることが多い．これらの課題

Tmod =m∑β i Ti ,βi = 1

ここで，αi ，βi は制御パラメータである．

–2–(3)

i=1(4)

2.2

3 次元レジストレーション

以下のように定義する．

Ea (p, l′ )min′

3 次元レジストレーションは，ソースモデルpiをターゲットモデルへと位置合わせさせるため

Ea (p, l′ ) =のアルゴリズムである．点群レジストレーショ

1∥l(p) − l′ ∥2∥N ∥(6)ンは，主に剛体レジストレーションと非剛体レ

ここで，l′はメッシュ密度において目的とするジストレーションに分けられる．剛体レジスト

辺長，N は頂点の総数を示す．初期頂点座標位

レーションはすべての頂点に単一の回転と移動

置 pi を与えた場合，式 (6) のエネルギー関数 Eaを適用するのに対して，非剛体レジストレーショは最急降下法による最小化によって反復的に頂ンは位置合わせ対象の点群全体を非剛体と見な

点位置 pi を更新することで位置合わせ後の頂点し，各点に対して位置合わせ対象への座標変換座標 p′i を求めることが可能である．

を適用することにより点群の位置合わせを実現する．

3.

3.2

自己交差制御項

式 (6) の最適化は，目的密度 l′に依存するた提案手法

め自己交差のような望ましくない結果が生成さテンプレートに基づく 3 次元表面構成では，れる可能性がある．この問題を解決するため，本一般的に平滑化エネルギー関数を正則化関数として用いることで最適化を実現している．しか研究では式 (6) の正則項として拡散再パラメー
タ化 3) を採用する．拡散再パラメータ化とは，し，このような平滑化関数はダウンサンプリン

微分座標と類似する勾配をメッシュ全体に拡散グを伴うため，細部の点群位置合わせに悪影響させることで，より滑らかな変形を実現する手を与える可能性がある．したがって，本研究では頂点密度 1) 戦略と自己交差制御正則化項を非法である．具体的には，最急降下において微分座標 u ∈ RN ×3 を導入する：

剛体レジストレーションに導入することで点群密度を制御した最適化を実現する．

3.1

頂点密度適応u(p) = (I + λL)p,(7)p(u) = (I + λL)−1 u(8)

頂点密度適応は，辺長を一種のメトリックとここで，λ は定数の重みで，L は離散ラプラス演算子 4, 5, 6) である．拡散再パラメータ化を導して扱うことで頂点間の密度制御を最適化問題入することで，最終的にメッシュ密度適応エネとみなす．具体的には，メッシュ表面の頂点座ルギー関数 Ea を次のように再定義する:

標 p ∈ RN ×3 およびその頂点の平均辺長 l(pi ) を

min Ea (p(u), l′ )p与えたときに次のように定式化できる：

l(p) =1 ∑∥pi − pj ∥2
|Ni |

(9)

最適化変数をデカルト座標 pi から微分座標 ui(5)j∈Niに転換することでより有効的に正則化されることが可能である．

ここで，N は i 番目の頂点 pi の 1-ring neighbor-hood を示す．また，適応エネルギー関数 Ea は3.3

非剛体レジストレーション

ターゲットモデル M とテンプレートモデル

M ′ との距離の最も近い点群 p, p̂ ∈ RN ×3 をそれ–3–

ぞれ与えたとき，位置合わせのための点群デー数の差が大きい場合に同じ座標に複数の頂点がタ損失関数 Ed を次のように定義する:

重ね合わせる問題を改善した．ただし，最終結
果は近似解を求めているため，一定な誤差が累

Ed (p, p̂) = Dc (p, p̂) + Dn (p, p̂)(10)

Dc はテクスチャ表面距離を制御する項である：
Dc (p, p̂) =1 ∑min∥pi − p̂j ∥2 +jNi
1 ∑min∥pj − p̂i ∥2iM

積し，デフォルト状態で左右対称であるモデルは，形状変換後に対称性を保つことがまだ困難である．

(11)

5.

まとめj

本実験では，データ量の少ない状況においで，Dn は法線ベクトル損失関数である．
1 ∑Dn (p, p̂) =(1 − ni · n̂i )N

頂点密度適応の非剛体レジストレーション最適(12)化手法を用いて，単一テンプレートモデルからi複数のターゲットモデルへと位置合わせを行っ

ここで，ni , n̂i はそれぞれ法線ベクトルである．

た．テンプレートからの位置合わせ結果を用い最終的な最適化問題を次のように定義する:て 3DMM データセットの構築を検討した．現

min Ed (p(u), p̂) + wu Ea (p(u), lu′ (p))

在，完全な頭部のモデルと顔面のモデルを分け

u+wk Ea (p(u), lk′ (p))(13)て，二種類のテンプレートで位置合わせを行った．今後は二種類のモデルに併用できる位置合

wu と wk は適応エネルギーパラメータである．

わせ改善策を検討し，3DMM データセットのwu はメッシュを均一な密度を持たせるように制データ量の増加を目指す．

御し，wk はメッシュ細部の密度を高めるように制御可能である．

4.

謝辞
本研究は JSPS 科研費 JP23K19989, JP24K20828の助成を受けたものです．

評価実験

本実験では，λ = 10，learning rate= 0.05，

iteration= 800 とする．均一密度と密度適応の損失関数の重み調整の策として，繰り返しの 1/4まで，ターゲットモデルの概形に合わせるために変形させるため，均一密度を適用する．1/4から 1/2 のまで，曲率の高い区域の頂点など細部が複雑な構造に重ね合わせるように，密度適応を適用する．後半では，Ed 部分の損失関数の最適化に集中するため適応エネルギーを適用しない．

Fig. 2 と Fig. 3 から，リアルな人間の顔モデルより変化可能な範囲の大きい，誇張化，漫画化した顔モデルの位置合わせに適用した．歪み，境界にある頂点の自己交差エラー，頂点数のテンプレートモデルとターゲットモデル頂点–4–

Fig. 2 顔モデルテンプレートから変換の実験結果例．左側はターゲットモデルであり，右側は形状変換後のテンプレートモデルである

Fig. 3 球体モデルテンプレートから変換の実験結果例．左側はターゲットモデルであり，右側は形状変換後のテンプレートモデルである

–5–

参考文献
1) Y. Jung, H. Kim, G. Hwang, S.H. Baek,
and S. Lee, “Mesh density adaptation fortemplate-based shape reconstruction,” ACM
SIGGRAPH 2023 Conference Proceedings,
pp.1–10, 2023.
2) V. Blanz and T. Vetter, “A morphable modelfor the synthesis of 3d faces,” in Seminal Graphics Papers: Pushing the Boundaries, Volume 2,
pp.157–164, 2023.
3) B. Nicolet, A. Jacobson, and W. Jakob, “Largesteps in inverse rendering of geometry,” ACM
Transactions on Graphics (TOG), vol.40, no.6,
pp.1–13, 2021.
4) G. Taubin, “Curve and surface smoothing without shrinkage,” Proceedings of IEEE international conference on computer vision, pp.852–857, IEEE, 1995.
5) M. Desbrun, M. Meyer, P. Schröder, and A.H.
Barr, “Implicit fairing of irregular meshes using diﬀusion and curvature ﬂow,” Proceedingsof the 26th annual conference on Computer
graphics and interactive techniques, pp.317–324, 1999.
6) Y. Lipman, O. Sorkine, D. Cohen-Or, D. Levin,
C. Rossi, and H.P. Seidel, “Diﬀerential coordinates for interactive mesh editing,” Proceedings
Shape Modeling Applications, 2004., pp.181–190, IEEE, 2004.

–6–