Deep generative models for thermodynamics of spin systems and field theories
Creators: name: Nicoli, Kim Andrea
Publisher: name: Technische Universität Berlin
Year: 2023
Subjects: subject: 500 Naturwissenschaften und Mathematik::530 Physik::539 Moderne Physik
subject: 000 Informatik, Informationswissenschaft, allgemeine Werke::000 Informatik, Wissen, Systeme::000 Informatik, Informationswissenschaft, allgemeine Werke
subject: machine-learning
subject: quantum field theory
subject: variational inference
subject: generative models
subject: deep learning
subject: Markov chain Monte-Carlo
subject: importance sampling
subject: theorethical physics

description: The quest for a numerical method to efficiently compute high-dimensional integrals, such as quantum-mechanical path integrals, represents one of the biggest challenges for modern computational physics. Standard Markov-chain Monte-Carlo (MCMC) methods suffer from several drawbacks that substantially limit their application under some circumstances. For example, critical slowing down leads to exponentially growing autocorrelation times in the proximity of a critical point. Furthermore, certain thermodynamic observables, such as the free energy, entropy, or pressure, are very costly to estimate with conventional MCMC approaches. This thesis addresses these issues using deep generative neural samplers. These machine-learning models are trained to approximate the Boltzmann-like distribution of a physical system. Specifically, this thesis focuses on but is not limited to, autoregressive neural networks (ARNNs) and normalizing flows (NFs). Two frameworks to efficiently compute asymptotically unbiased estimators of physical observables using these deep generative models are proposed: neural importance sampling (NIS) and neural Markov-chain Monte-Carlo (NMCMC). Both algorithms use the deep generative model as a sampler combining it with importance sampling for the former and a Metropolis-Hastings accept-reject scheme for the latter. Therefore they come with rigorous asymptotic guarantees. In stark contrast to standard MCMC-based methods, they also allow for efficient point estimates of thermodynamic observables. Extensive numerical results compare the proposed methods to standard MCMC algorithms. For the Ising model, our approach substantially outperforms existing generative models-based methods and matches the ground truth with very low variance. For the lattice field theory benchmark, our methods achieve accurate estimates, compatible with HMC reference results, lowering the uncertainty by several orders of magnitude. The results of this thesis unambiguously demonstrate that the approach of using machine learning to sample from physical densities constitutes a very promising direction for future research.
description: Die Suche nach einer numerischen Methode zur Berechnung von hochdimensionalen Integralen, insbesondere quantenmechanischen Pfadintegralen, ist eine der wichtigsten Herausvorderungen der modernen Physik. Standard Markov-Ketten Monte-Carlo (MCMC) Methoden haben unter bestimmten Umständen erhebliche Schwächen. Bespielsweise führt das Phänomen der kritischen Verlangsamung zu einer exponentiellen Zunahme der Autokorrelationszeit in der Nähe eines Phasenübergangs. Des weiteren können sogenannte thermodynamische Observablen, wie zum Beispiel die freie Energie, der Druck, sowie die Entropie, nur unter erheblichen numerischen Kosten abgeschätzt werden. Diese Dissertation addressiert diese Unzulänglichkeiten mit Hilfe von tiefen generativen Modellen. Diese Modelle werden so trainiert, dass sie die Boltzmann-artige Verteilung der physikalischen Theorie möglichst genau approximieren. Wir schlagen zwei Verfahren vor, um mit diesen Modellen physikalische Observablen mit asymptotischen Garantien abzuschätzen: Neurales Importance Sampling sowie neuronales MCMC. Beide Algorithmen benutzen tiefe generative Modelle als Sampler aber kombinieren diese im ersten Fall mit Importance Sampling um im zweiten Fall mit Markov Ketten. Im Gegensatz zu herkömmlichen MCMC Methoden können mit unseren Verfahren thermodynamische Observablen punktgeschätzt werden. Detaillierte numerische Experimente vergleichen unsere Methoden mit herkömmlichen MCMC Verfahren. Im Fall des Ising Modells führt unser Anstatz zu erheblichen Verbesserung im Vergleich zu bestehenden Methoden, die generative Modelle benutzen. Im Falle von Gitterfeldtheorie erreichen unsere Methoden sehr genaue Schätzwerte, die nicht nur kompatibel mit dem HMC Referenzwert sind sondern im Vergleich zu diesem auch die Unsicherheiten um mehrere Größenordnungen reduzieren können. Die Ergebnisse dieser Dissertation zeigen unzweifelhaft, dass das maschinelle Lernen von Samplern für physikalischen Wahrscheinlichkeitsdichten eine äußerst vielversprechende Forschungsrichtung darstellt.