Deep Learning and Computational Modeling of Physiology
Deep Learning und die computergestützte Modellierung der Physiologie
Creators: name: Meister, Felix
Publisher: name: Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Year: 2024
Subjects: Deep Learning
Computational Modeling
Digital Twin
Precision Medicine

description: Deep Learning (DL) and computational modeling (CM) could revolutionize the healthcare system by personalizing therapies to patients and enabling precision medicine (PM). While DL can automatically extract decision rules from large amounts of data, CM leverages known principles from physics and physiology to provide mechanistic insights into biophysical phenomena. However, both methods may fail in scenarios that lack data and precise mathematical formulations of the governing laws. With a particular focus on physiology modeling, this thesis investigates how these methods can enhance each other. First, a novel approach to extrapolate the sparse measurements of electroanatomic mapping (EAM) is presented. A graph neural network (GNN) is trained on geometric and electrophysiological features derived from over 15,000 synthetic depolarization patterns. Without re-training, the GNN is applied to synthetic and pre-clinical measurements. With a mean absolute error of less than 10 ms in all experiments, a good agreement with the reference measurements is achieved. In addition, a network-ensemble-based algorithm for the guidance of the sampling process is presented. The system achieves real-time suggestions of valuable locations while reducing the number of measurement points, required to maintain the same predictive error compared to randomized sampling, by 40%. Second, a hybrid system for fast biomechanical simulations of soft tissue is presented, which couples the Finite Element Method (FEM) with an artificial neural network (ANN). Specifically, the explicit time integration in the Total Lagrangian Explicit Dynamics (TLED) algorithm, an efficient FEM implementation, is replaced by the ANN. Given the current system state, the ANN infers vertex-wise accelerations that move each vertex for a time step much larger than TLED’s stability limit. A multilayer perceptron (MLP) is trained on a single simulation, i.e., the torsion of a bar, and demonstrates excellent generalization when applied to unseen geometries, motions, and material behaviors, which is attributed to the inductive biases imposed by the underlying FEM solver. Finally, an operator-learning-based surrogate model for fast liver tumor radiofrequency ablation (RFA) planning is presented. Specifically, a convolutional neural network (CNN) learns the solution operator to the underlying advection-diffusion-reaction system, which maps the voxelized initial and boundary conditions to the temperature distribution at some point in time. The proposed CNN is trained and evaluated in a leave-one-out cross-validation using RFA simulations generated by the Finite Difference Method (FDM). The CNN infers ablation zones that match the FDM reference with a dice score of 0.93 ± 0.05. Moreover, the inference is over 100 times faster than the FDM due to the parallel and non-autoregressive inference. In addition, the method is applied to automatic patient-specific planning of single needle RFA. Compared to FDM-based planning, the method achieves similar needle positioning while being marginally slower than sphere-based planning. The promising results achieved by the proposed approaches confirm the benefits of combining CM and DL. Future research will focus on integrating additional inductive biases for even better accuracy and generalization. In addition, the application to other biophysical processes will be explored. Ultimately, their application can be used for fast and accurate full in-silico representations of patients that hold the potential to revolutionize the healthcare system via PM.
description: Deep Learning (DL) und die computergestützte Modellierung (CM) könnten durch die Personalisierung der Therapien an die Patienten das Gesundheitswesen revolutionieren und Präzisionsmedizin (PM) ermöglichen. Während DL in der Lage ist automatisch Entscheidungsregeln aus großen Datenmengen zu extrahieren, benutzt CM Grundlagen der Physik und der Physiologie, um mechanistische Einblicke in biophysikalische Prozesse zu geben. Beide Methoden könnten jedoch in Situationen scheitern, in denen Daten und präzise mathematische Systembeschreibungen fehlen. Mit besonderem Fokus auf der Modellierung der Physiologie erforscht diese Abschlussarbeit, wie sich die beiden Methoden gegenseitig ergänzen können. Zuerst wird ein neuer Ansatz zur Extrapolation von elektroanatomischen Mappings mit wenigen Messwerten präsentiert. Zu diesem Zweck wird ein neuronales Graphnetzwerk (GNN) auf den geometrischen und elektrophysiologischen Merkmalen von über 15,000 synthetischen Depolarisierungsmustern trainiert. Ohne erneutes Training wird das GNN auf synthetischen und vorklinischen Messwerten angewandt. Dabei wird eine gute Übereinstimmung mit der Referenz und ein mittlerer absoluter Fehler von weniger als 10ms erreicht. Zusätzlich wird ein Algorithmus zur Anleitung der Abtastung präsentiert, welcher auf einem Netzwerkensemble basiert. Das System ermöglicht es informative Abtastregionen in Echtzeit vorzuschlagen und die Anzahl der erforderlichen Messwerte zur Einhaltung eines festgesetzten Fehlers um 40% im Vergleich zur randomisierten Abtastung zu reduzieren. Als zweites wird ein hybrides System zur Beschleunigung von biomechanischen Weichgebesimulationen präsentiert, welches die Finite-Elemente-Methode (FEM) mit einem künstlichen neuronalen Netzwerk (KNN) kombiniert. Hierbei wird die explizite Zeitintegration des Total Lagrangian Explicit Dynamics (TLED) Algorithmus, einer effizienten FEM-Implementierung, ersetzt. Gegeben dem aktuellen Systemzustand, berechnet das KNN pro Knoten eine Beschleunigung, die die Knoten über einen Zeitschritt bewegt, der viel größer als das Stabilitätslimit von TLED ist. Ein mehrschichtiges Perzeptron wird auf einer einzigen Simulation, der Verwindung eines Stabs, trainiert und weist ausgezeichnete Generalisierungmöglichkeiten auf, wenn es auf neuen Geometrien, Bewegungen, und Materialverhalten angewandt wird. Diese Fähigkeit wird hierbei dem induktiven Bias zugeschrieben, welchen die zugrunde liegende FEM beiträgt. Als Letztes wird ein Surrogatmodell zur schnellen Planung von Radiofrequenzablationen (RFA) von Lebertumoren präsentiert, welches auf dem Lernen von Operatoren basiert. Hierbei lernt ein faltungsbasiertes Netzwerk (CNN) den Lösungsoperator des zugrunde liegenden Advektions-Diffusions-Reaktionssystems, der die voxelisierte Ausgangs- und Randwertsbedingungen in die Hitzeverteilung zu einem beliebigen Zeitpunkt umwandelt. Das vorgestellte CNN wird in einer Kreuzvalidierung trainiert und evaluiert. Zu diesem Zweck werden RFA-Simulationen mit Hilfe der Finite-Differenzen-Methode (FDM) erstellt. Das CNN erzeugt Ablationszonen welche mit der FDM-Referenz übereinstimmen und einen Dice-Score von 0.93 ± 0.05 aufweisen. Zudem ist die Inferenz auf Grund der parallelen und nicht-autoregressiven Vorhersage 100-mal schneller als die FDM. Des Weiteren wird die Methode zur automatischen und patientenspezifischen Planung von Einzelnadel-RFA angewandt. Im Vergleich zur Planung mit der FDM erzielt die Methode ähnliche Positionierungen der Ablationsnadel, während sie nur geringfügig langsamer als die nichtphysikalische Planung mit kugelförmigen Ablationszonen ist. Die vielversprechenden Ergebnisse, die mit den vorgestellten Ansätzen erzielt wurden, bestätigen die Vorteile CM und DL zu kombinieren. Zukünftige Forschungen werden sich auf die Integration zusätzlicher induktiver Biases konzentrieren, um eine noch bessere Präzision und Generalisierbarkeit zu erreichen. Des Weiteren wird der Einsatz auf anderen biophysikalischen Prozessen erforscht werden. Deren Verwendung kann letztlich für schnelle, präzise, und ganzheitliche in-silico Repräsentationen von Patienten benutzt werden, welche das Potential haben das Gesundheitswesen mittels PM zu revolutionieren.