title: Geometry Regularization in Neural Networks
Creators: name: Braunsmann, Juliane
Publisher: name: University of Muenster, Institutional Repository MIAMI
Year: 2024
Subjects: subject: 510 Mathematics
subject: 515 Analysis
subject: 004 Computer science

description: Diese Dissertation leistet Beiträge zur Verbindung der klassischen mathematischen Gebiete der Variationsrechnung und der Riemannschen Geometrie mit dem Gebiet des Deep Learning im Kontext des Manifold Learning. Um eine Abbildung von einem hochdimensionalen Beobachtungsraum auf einen niedrigdimensionalen latenten Raum zu lernen, wird ein Regularisierungsfunktional entwickelt, das isometrische und extrinsisch flache Einbettungen begünstigt. Das Funktional verwendet den geodätischen Abstand zweier Punkte und ihren geodätischen Durchschnitt und hängt von einem Radius ab, der den maximalen Abstand der verwendeten Punktpaare bestimmt. Das Hauptergebnis der Arbeit ist die Gamma-Konvergenz des Funktionals gegen ein lokales Grenzwertfunktional, das von isometrischen Einbettungen mit geringer extrinsischer Krümmung minimiert wird. Um mit einer gekrümmten latenten Mannigfaltigkeit umzugehen, wird eine Methode zum Lernen einer impliziten Repräsentation dieser vorgestellt, welche verwendet werden kann, um Geodäten zu berechnen, die im Gegensatz zur linearen Interpolation die Mannigfaltigkeit nicht verlassen.
description: This thesis makes contributions to connecting the classical mathematical fields of calculus of variations and Riemannian geometry with the field of deep learning in the context of manifold learning. To learn a mapping from a high-dimensional observation space to a low-dimensional latent space, a novel regularization functional that favors isometric and extrinsically flat embeddings is designed. The functional uses the geodesic distance between two points and their geodesic average and depends on a sampling radius that determines the maximum distance between point pairs used. The main result of the thesis is the Gamma-convergence of the functional to a local limit functional, which is minimized by isometric embeddings with low extrinsic bending. To handle a curved latent manifold, a method for learning an implicit representation of it is presented, which can be used to compute geodesics that, in contrast to linear interpolation, do not leave the manifold.
description: List of Figures, Tables and Algorithms. . . . . xiii
Notation. . . . . xix
1 Introduction. . . . . 1
1.1 Description of the problem . . . . . 1
1.2 Our approach to the problem . . . . . 3
1.3 Main contributions . . . . . 6
1.4 Related work . . . . . 10
1.4.1 On geometry regularization . . . . . 10
1.4.2 On nonlocal functionals . . . . . 15
1.5 Outline of the thesis . . . . . 18
2 Low distortion and low bending manifold embeddings . . . . . 19
2.1 Introduction of the continuous sampling loss functional . . . . . 20
2.1.1 Riemannian setup . . . . . 20
2.1.2 Discrete sampling loss functional . . . . . 25
2.1.3 Nonlocal functional as Monte Carlo limit . . . . . 30
2.2 Analysis of the continuous sampling loss functional . . . . . 40
2.2.1 Mathematical preliminaries . . . . . 40
2.2.2 The restricted continuous sampling loss functional and its minimizers . . . . . 54
2.2.3 Local functional as Mosco Limit for vanishing sampling radius . . . . . 69
2.3 Spaces of neural networks as approximation spaces . . . . . 77
2.3.1 Definition of the neural network spaces . . . . . 77
2.3.2 Properties of neural network spaces . . . . . 78
2.3.3 Bounding derivatives of neural networks . . . . . 80
3 Numerical experiments on toy datasets . . . . . 87
3.1 Description of toy datasets . . . . . 88
3.1.1 Hemisphere (H) . . . . . 88
3.1.2 Cylinder (C) . . . . . 94
3.1.3 Rotations (R) . . . . . 99
3.1.4 Klein bottle (K) . . . . . 103
3.1.5 Cylinder with Wasserstein metric (C-WM) . . . . . 107
3.2 Autoencoder architecture and training procedure . . . . . 110
3.2.1 Autoencoder architecture . . . . . 110
3.2.2 Training procedure . . . . . 112
3.3 Evaluation of the experiments . . . . . 113
3.3.1 Study and visualization of the embeddings . . . . . 114
3.3.2 Linear interpolation in latent space . . . . . 123
3.3.3 Effects of noise due to image quantization . . . . . 131
3.3.4 Reducing the latent dimension . . . . . 132
3.3.5 Generalization for finite data . . . . . 134
4 Numerical experiments on EEG data . . . . . 137
4.1 Problem and data description . . . . . 137
4.1.1 The manifold of symmetric positive definite matrices equipped with a Riemannian metric . . . . 138
4.1.2 Estimating covariance matrices from EEG data . . . . . 138
4.2 Application of our method and comparison with existing methods . . . . . 140
4.2.1 Minimum distance to mean (MDM) algorithm . . . . . 141
4.2.2 Learning a low bending and low distortion embedding . . . . . 142
5 Riemannian geometry on latent spaces . . . . . 147
5.1 Learning an implicit representation . . . . . 148
5.1.1 Introduction and analysis of the denoising functional . . . . . 148
5.1.2 Numerical experiments . . . . . 155
5.2 Computing geodesics on the latent manifold . . . . . 158
5.2.1 Discrete geodesic calculus in latent space . . . . . 161
5.2.2 Numerical experiments . . . . . 163
6 Conclusion and outlook . . . . . 175
Appendix . . . . . 181
A.1 Mathematica code . . . . . 181
A.2 Implementation of toy datasets . . . . . 183
A.3 Details of the training procedures . . . . . 186
A.4 Proofs . . . . . 193
Index . . . . . 201
Bibliography . . . . . 203