Proximal neural networks and stochastic normalizing flows for inverse problems
Creators: name: Hertrich, Johannes
Publisher: name: Technische Universität Berlin
Year: 2023
Subjects: subject: 500 Naturwissenschaften und Mathematik::510 Mathematik::519 Wahrscheinlichkeiten, angewandte Mathematik
subject: proximal neural networks
subject: normalizing flows
subject: Bayesian inverse problems
subject: generative modelling
subject: mathematical image processing

description: Mathematical processing of images and high-dimensional data has attracted lots of attention over the last years. Nowadays deep learning approaches outperform classical algorithms for a wide range of imaging applications. While convergence behavior and quality guarantees for classical methods are thoroughly investigated, most of these results are not applicable for neural-network-based approaches. In order to obtain stability guarantees, the construction of neural networks with certain structural properties is of special interest. Within this cumulative thesis, we consider two kinds of structural properties and propose several new concepts, extensions and applications. In the first part, we propose proximal neural networks, which are by definition so-called averaged operators. Particularly, this implies 1-Lipschitz continuity. Consequently, this enables us to control the Lipschitz constant during the training, which is one of the mostly used stability indicators for neural networks. Moreover, averaged neural networks can be used to derive convergent Plug-and-Play algorithms for solving inverse problems on images. Based on the intuition that the proximal operator with respect to a regularizer is a denoiser, Plug-and-Play algorithms replace it within proximal algorithms by more general denoisers. If the considered denoiser is averaged, certain convergence guarantees hold true. The transition matrices in proximal neural networks belong to the Stiefel manifold. Thus, in order to minimize the loss function, we have to optimize on this manifold. For dense networks, we use a stochastic gradient descent on the Stiefel manifold. In the case of convolutional networks, the parameter space reduces to the intersection of circulant matrices and the Stiefel manifold. If the filters have the same length as the input, we prove that this intersection forms again a manifold and use a similar stochastic gradient descent algorithm as before. For smaller filters, the parameter space is no longer a manifold. Therefore, we minimize the functional with a penalization term and use an additional projection step onto the parameter space at the end of the training. Finally, we propose an inertial and stochastic variant of the proximal alternating linearized minimization algorithm for minimizing non-convex and non-smooth functionals. As a special case, this algorithm provides an alternative way to train proximal neural networks. The second part of the thesis deals with normalizing flows, which are invertible neural networks. They can be used for generative modelling, density estimation and uncertainty quantification in Bayesian inverse problems. In this thesis, we provide several extensions and applications of normalizing flows. For instance, we propose a new invertible architecture based on proximal neural networks and residual flows. Afterwards, we introduce an image regularizer based on the Wasserstein distance of patch distributions and use it as a prior to train normalizing flows for superresolution without having access to paired training data. Unfortunately, normalizing flows suffer from topological constraints. To overcome those, we combine deterministic flow transformation with stochastic sampling steps. We provide a mathematical framework via Markov chains and Radon-Nikodym derivatives to derive a corresponding loss function. It turns out that our framework covers a wide range of generative models including variational autoencoders and diffusion models. All the theoretical findings of this thesis are illustrated by numerical examples and comparisons to prior work. The source codes are provided online.
description: Mathematische Bildverarbeitung und die Verwertung von hochdimensionalen Daten haben in den letzten Jahren viel Aufmerksamkeit erhalten. Neuere Deep-Learning-Ansätze liefern hierbei oft bessere Ergebnisse als klassische Algorithmen. Während das Konvergenzverhalten und Rekonstruktionsgarantien für klassische Algorithmen gründlich untersucht wurden, gelten die meisten dieser Resultate nicht für Ansätze, die auf neuronalen Netzen basieren. Um Stabilität garantieren zu können, ist die Konstruktion von neuronalen Netzen mit gewissen Struktureigenschaften von besonderem Interesse. In dieser kumulativen Dissertation betrachten wir zwei Arten von Struktureigenschaften und bringen verschiedene neue Konzepte, Erweiterungen und Anwendungen ein. Im ersten Teil führen wir proximale neuronale Netze ein, die nach Definition sogenannte gemittelte Operatoren (engl. "averaged operators") sind. Insbesondere sind sie 1-Lipschitz-stetig. Damit können wir die Lipschitz-Konstante während des Trainings kontrollieren, was einer der meistgenutzten Indikatoren für die Stabilität neuronaler Netze ist. Außerdem können gemittelte neuronale Netze dazu verwendet werden, konvergente Plug-and-Play Algorithmen für die Lösung inverser Probleme auf Bildern herzuleiten. Basierend auf der Anschauung, dass proximale Operatoren bezüglich eines Regularisierers Denoiser sind, ersetzen Plug-and-Play Algorithmen diesen durch allgemeinere Denoiser. Falls der betrachtete Denoiser ein gemittelter Operator ist, erhalten wir gewisse Konvergenzgarantien. Die Übergangsmatrizen von proximalen neuronalen Netzen gehören zur sogenannten Stiefel-Mannigfaltigkeit. Also müssen wir Optimierungsprobleme auf dieser Mannigfaltigkeit lösen, um die Lossfunktion zu minimieren. Für dichte Netze verwenden wir ein stochastisches Gradientenabstiegsverfahren auf der Stiefel-Mannigfaltigkeit. Im Fall von Faltungsnetzen (engl. "convolutional networks") ist der Parameterraum durch den Schnitt der zirkulanten Matrizen mit der Stiefel-Mannigfaltigkeit gegeben. Wenn die Filter die gleiche Länge wie die Eingaben haben, zeigen wir, dass dieser Schnitt wieder eine Mannigfaltigkeit ist und verwenden ein ähnliches stochastisches Gradientenabstiegsverfahren wie zuvor. Für kleinere Filter ist der Parameterraum keine Mannigfaltigkeit mehr. Deshalb minimieren wir die Funktion mit einem Strafterm und verwenden einen zusätzlichen Projektionsschritt auf den Parameterraum am Ende des Trainings. Zuletzt führen wir eine träge (engl. "inertial") stochastische Variante des "proximal alternating linearized minimization"-Algorithmus für nicht-konvexe und nicht-glatte Funktionale ein. Als Spezialfall ergibt dieser eine alternative Trainingsmethode für proximale neuronale Netze. Der zweite Teil dieser Arbeit handelt von invertierbaren neuronalen Netzen (engl. "normalizing flows"). Sie können als generative Modelle, für Dichteschätzung und die Quantifizierung von Unsicherheiten in bayesschen inversen Problemen verwendet werden. In dieser Arbeit stellen wir verschiedene Erweiterungen und Anwendungen von invertierbaren neuronalen Netzen vor. Zuerst führen wir eine neue invertierbare Architektur mit Hilfe von proximalen neuronalen Netzen und "residual flows" ein. Danach konstruieren wir einen Regularisierer für Bilder basierend auf der Wasserstein-Distanz von Patchverteilungen und verwenden diesen als Priorverteilung, um invertierbare neuronale Netze für Superresolution zu trainieren, ohne dass wir Zugang zu zugehörigen Trainingsdaten haben. Invertierbare neuronale Netze unterliegen topologischen Beschränkungen. Um diese zu umgehen, kombinieren wir deterministische Transformationen mit stochastischen Samplingschritten. Wir stellen ein mathematisches Modell mit Hilfe von Markovketten und Radon-Nikodym-Ableitungen auf, um eine zugehörige Lossfunktion herzuleiten. Es stellt sich heraus, dass unser Modell viele existierende generative Modelle wie zum Beispiel variationelle Autoencoder und Diffusionsmodelle als Spezialfälle enthält. Wir veranschaulichen die theoretischen Erkenntnisse dieser Arbeit durch numerische Beispiele und Vergleiche zu existierenden Ergebnissen in der Literatur. Die Quellcodes sind online verfügbar.