修士論文 要旨

点群に対する位相的ニューラルネットワークの研究
数理情報学専攻 48-226225
指導教員

1 はじめに西川 直輝
山西 健司 教授

モロジーの微分可能性に基づく勾配法によって学習することで，データ・タスクに適した位相的特徴の抽出

点群データとは，有限の点の集合によって与えられるを可能にする枠組みを提案する．このために，点ごとデータを指し，近年，形状認識・材料科学・薬学など，に異なる半径の球の和集合を考える重み付きフィルトさまざまな分野で活躍している．点群データは入力形レーションと呼ばれる手法を利用する．この手法では，状が特殊であるため，それに特化した深層学習手法が重み関数 w : X → R を用いて，フィルトレーション提案されており [5, 3, 2]，これらは分類やセグメンテー(St )t∈R を St =ションなどのタスクで高い精度を示している．

重み関数 w を，点群 X ⊂ R とその内部の点 x ∈ X を∪x∈X B(x; t − w(x)) によって定める．
d点群データの解析では，連結性・穴・空洞の存在と入力とするニューラルネットワーク fθ の出力 fθ (X, x)

いった位相的情報が多くのタスクに対して有益であるを用いてモデル化することで，学習可能なフィルトレーことが経験的に知られている．機械学習に位相的情報ションを実現する．

を組み込む方法の 1 つは，パーシステントホモロジーを用いることである．パーシステントホモロジーは，与えられたデータから定義される空間の増大族（フィルト2 提案手法
2.1

重み関数に用いるネットワークレーション）(St )t∈R について，t の増加に関する St の重み付きフィルトレーションに対するパーシステンホモロジー類の生成・消滅を捉えることで，元のデータトホモロジーが等長変換について不変となるためには，のトポロジーを調べる手法である．パーシステントホ重み関数を定めるのに用いるネットワーク f も等長変モロジーによって得られる位相的特徴量は，ニューラル換不変性を満たす必要がある．この条件が満たされるネットワークと組み合わせることで様々なタスクの精ようにするために，本研究では，距離行列を用いたネッ度を向上させることが知られている．

トワーク構造 DistMatrixNet（図 2.1）を提案し，これ

点群 X ⊂ R に対してフィルトレーションを定義すをネットワーク f として用いる．点群の 2 点間の距離る標準的な方法の 1 つは，X 内の各点を中心とする一が等長変換不変であることから，ネットワーク f の出様な半径の球の和集合を考えるものである．すなわち，力も厳密に等長変換不変性を満たす．

d集合 St を

St =∪DistMatrixNet では，点群 X 内の点 x の重みを得
B(x; t), B(x; t) := {y ∈ Rd | ∥y − x∥ ≤ t}x∈Xによって定め，集合の増大族 (St )t∈R を考える．
従来，パーシステントホモロジーを用いて機械学習タるため，各点の特徴量 g(x) と点群全体の特徴量 h(X)を結合している．このアイデアを正当化するため，点群と点の有限次元特徴ベクトルを連結することで，任意の連続関数を近似できることを示した．[0, 1]m 内のスクを解く際には，下流の機械学習モデルのみをタスク部分集合の空間 2[0,1]に応じた損失関数でデータ駆動的に学習し，フィルトえた距離空間を考え，その部分空間 XN (N ∈ N) をレーションは上記のようなあらかじめ固定したものを用いるのが一般的であった．しかし，機械学習タスクの精度を上げるという観点では，フィルトレーションもデータ駆動的に学習するのが自然である．この考えに基づき，グラフや画像に対してフィルトレーションを学習する手法が提案されている [1, 4]．しかし，これらは本研究では，点群データのフィルトレーションをニューラルネットワークで表現し，パーシステントホにハウスドルフ距離 dH を与XN := {X ⊂ [0, 1]m | |X| ≤ N } とする．
定理 2.1. f : XN × [0, 1]m → R を連続関数とする．任意の ϵ > 0 に対して，K ∈ N および連続写像 ψ1 : XN →RK , ψ2 : RK+m → R が存在して，次式が成り立つ：∫()2supf (X, x) − ψ2 ([ψ1 (X)⊤ , x⊤ ]⊤ ) dx < ϵ.
X∈XN

グラフ・画像に特有の性質に大きく依存しており，点群データに適用することはできない．

m2.2[0,1]m

学習可能な重み・傾き付きフィルトレーション

重み関数 fθ (X, ·) : X → R に関する点群 X の重み付きフィルトレーションのパーシステントホモロジーを，適切な手法でベクトル化することで，タスクを解く

点群に対する位相的ニューラルネットワークの研究 (西川 直輝)
DeepSets

DeepSets

表 3.1. タンパク質構造の 2 値分類タスクの結果．

Distance Matrix

DeepSets
Fully-connected network

分類精度

DistMatrixNet
Rips
DTM(weight)(slope)(weight+slope)65.0 ± 12.0
79.9 ± 3.0
78.0 ± 1.6
81.9 ± 2.154.8 ± 3.0
54.5 ± 3.5

M

表 3.2. 3D CAD データの 10 値分類タスクの結果．
DeepSets
PointNet
PointMLPDNN のみ65.7 ± 1.4
64.3 ± 4.4
68.8 ± 6.3
DistMatrixNet
65.7 ± 4.8
55.7 ± 13.9
53.8 ± 7.4
Rips
67.0 ± 2.6
68.4 ± 2.4
57.8 ± 12.4
DTM
68.0 ± 2.5
68.7 ± 2.3
57.2 ± 6.8(weight)
67.5 ± 2.5
68.8 ± 2.0
60.0 ± 6.3(slope)
66.8 ± 2.4
68.8 ± 1.8
54.9 ± 10.3(weight+slope)
66.9 ± 2.2
68.9 ± 2.4
59.6 ± 6.3(slope-p)67.9 ± 2.3
69.3 ± 2.4
63.0 ± 10.5

k=1

実験 2 では，家具形状を表す 3D CAD データの 10

図 2.1. 距離行列を用いたネットワークの構造．

下流のネットワーク Fθ′ に入力することができる．点群 X ，重み関数 w に対する重み付きフィルトレーショ
ンのパーシステントホモロジーを R[X, w] と表すとき，学習データ {(Xk , yk )}M
k=1 に対する損失関数はL(θ, θ′ ) =手法

1 ∑ℓ (Fθ′ (R[Xk , fθ (Xk , ·)]), yk )Mとなる．ここで，ℓ はタスクに応じた損失関数を表す．

値分類タスクを考えた．この実験では，提案手法によっこれを最小化問題を勾配降下法によって解くことによて得られる位相的特徴量と，深層学習手法 (DNN) のり，ネットワークのパラメータ θ を学習する．

DeepSets [5]，PointNet [3]，PointMLP [2] による特徴

重み付きフィルトレーションの一般化として，傾き関量を組み合わせて用いた．比較対象として，深層学習手

数 a : X → R と重み関数 w を用いて時刻 t における点法のみを用いた場合・提案手法を学習を行わないフィル

x を中心とする球の半径を a(x) · t − w(x) とするフィルトレーションで置き換えた場合・パーシステントホモトレーション (St )t∈R を考えることができる．傾き関ロジーによる位相的特徴量のかわりに DistMatrixNet

数 a もニューラルネットワークで表現し，上記と同様を用いた場合を考えた．の損失関数で学習することで，より広いクラスからフィルトレーションを選択することができる．
以下では，重み関数のみ学習する手法を (weight)，傾き関数のみ学習する手法を (slope)，重み関数と傾き関数を同時に学習する手法を (weight+slope) と表記する．

2.3

サブサンプリングによる高速化

提案手法の学習時には，勾配降下法でパラメータを更新するたびにパーシステントホモロジーを再計算する必要があり，これが計算のボトルネックとなる．
そこで，本研究では，傾き付きフィルトレーションに結果を表 3.1 および表 3.2 に示す．これらの結果から，以下のようなことがわかる．

• 提案手法によってフィルトレーションを学習すると，重みなしの場合やデータに合わせて設定した場合と同程度，もしくはそれ以上の精度が得られる．

• DistMatrixNet を直接用いた場合よりも，パーシステントホモロジーと組み合わせた提案手法のほうが分類精度が高い．

• 提案手法と DeepSets/PointNet を組み合わせると，DNN 単体で用いる場合よりも高い精度が得られる．

おいて，傾きが 0 になるような点ができるだけ多くなる
ようなペナルティ項を加えた損失関数によって学習する手法を提案する．これにより，パーシステントホモロジーに寄与する点の数が減り，計算を高速化することができる．この手法を以下では (slope-p) と表記する．

3 実験
提案手法の有効性を示すため，2 つの実験を行った．
実験 1 では，タンパク質構造を表す点群の 2 値分類タスクを考えた．比較対象として，学習を行わないフィルトレーション（Rips, DTM フィルトレーション）および，DistMatrixNet を分類に直接用いた場合を考えた．

参考文献[1] C. Hofer, F. Graf, B. Rieck, M. Niethammer, and R. Kwitt.
Graph ﬁltration learning. In International Conference on Machine Learning, pages 4314–4323. PMLR, 2020.
[2] X. Ma, C. Qin, H. You, H. Ran, and Y. Fu. Rethinking network design and local geometry in point cloud: A simple residual mlp framework. In International Conference on Learning
Representations, 2022.
[3] C. R. Qi, H. Su, K. Mo, and L. J. Guibas. PointNet: Deeplearning on point sets for 3D classiﬁcation and segmentation.
In Proceedings of the IEEE Conference on Computer Vision
and Pattern Recognition, pages 652–660, 2017.
[4] A. Som, H. Choi, K. N. Ramamurthy, M. P. Buman, andP. Turaga. Pi-Net: A deep learning approach to extract topological persistence images. In Proceedings of the IEEE/CVF
Conference on Computer Vision and Pattern Recognition
Workshops, pages 834–835, 2020.
[5] M. Zaheer, S. Kottur, S. Ravanbakhsh, B. Poczos, R. R.
Salakhutdinov, and A. J. Smola. Deep Sets. Advances inNeural Information Processing Systems, 30, 2017.