title: Υπολογιστική πλατφόρμα βαθιάς μάθησης για νευρωνικά δίκτυα καθοδηγούμενα από εξισώσεις φυσικής

title: Deep learning computation platform for physics-informed neural networks

Creators: name: Κυριακου Χρηστος
Publisher: name: Technical University of Crete
Year: 2023

description: Η παρούσα διατριβή παρουσιάζει µια συγκριτική µελέτη των νευρωνικών δικτύων που ϐασίζονται σε ϕυσικούς νόµους (PINNs) και των απλών νευρωνικών δικτύων για την πρόβλεψη της ϑέσης ενός αρµονικού ταλαντωτή. Τα PINNs είναι ένα είδος νευρωνικού δικτύου που ενσωµατώνει ϕυσικούς νόµους και περιορισµούς ως µέρος της διαδικασίας εκπαίδευσης, επιτρέποντας την ενσωµάτωση της ϕυσικής γνώσης που σχετίζεται µε το πρόβληµα το οποίο επιλύεται (χαρακτηριστική διαφορική εξίσωση). Τα απλά νευρωνικά δίκτυα, από την άλλη πλευρά, δεν ενσωµατώνουν ϱητά τέτοια γνώση και ϐασίζονται αποκλειστικά στα δεδοµένα για την εκπαίδευση. Πραγµατοποιήθηκαν δύο πειράµατα για τη σύγκριση της απόδοσης αυτών των δικτύων. Το πρώτο πείραµα αφορούσε την πρόβλεψη της ϑέσης ενός µόνο αρµονικού ταλαντωτή δεδοµένου ενός περιορισµένου σετ παρατηρήσεων σε συγκεκριµένα χρονικά σηµεία. Το δεύτερο πείραµα αφορούσε ένα πρόβληµα πολλαπλών διαστάσεων και είχε ως στόχο την πρόβλεψη της ϑέσης τεσσάρων διαφορετικών αρµονικών ταλαντωτών µε διαφορετικά χαρακτηριστικά. Τα αποτελέσµατα έδειξαν ότι τα PINNs υπερτερούν των απλών νευρωνικών δικτύων σε απόδοση και ακρίβεια πρόβλεψης δεδοµένων. Η χρήση των PINNs ϐελτιώνει την απόδοση του µοντέλου λόγω της ενσωµάτωσης περιορισµών και γνώσης σχετικά µε το πρόβληµα της ταλάντωσης. Συνολικά, η παρούσα διατριβή αποδεικνύει ότι η χρήση των PINNs είναι ένα αποδοτικό και ακριβές εργαλείο για την πρόβλεψη της ϑέσης του αρµονικού ταλαντωτή και άλλων σχετικών προβληµάτων.
description: This thesis presents a comparative study of physics-informed neural networks (PINNs) and simple neural networks for the prediction of the position of a harmonic oscillator. PINNs are a type of neural network that incorporates physical laws and constraints as part of the training process, allowing for the incorporation of domain-specific knowledge into the model. Simple neural networks, on the other hand, do not explicitly incorporate such knowledge and rely on data alone for training. Two experiments were conducted to compare the performance of these networks. The first experiment involved predicting the position of a single oscillator given a limited set of observed positions at specific timestamps. For this experiment, a simple feedforward neural network and a PINN were trained using data generated by solving the underlying differential equation governing the motion of the oscillator. In the second experiment, a multidimensional problem was considered, involving the prediction of the positions of four oscillators. A PINN was again trained on data generated by solving the differential equations governing the oscillators’ motion, while a feedforward neural network was trained on the raw input data. The results of these experiments showed that PINNs outperformed simple neural networks in both cases, achieving higher accuracy and lower mean squared error. Furthermore, the PINN was able to learn the underlying physical laws governing the motion of the oscillators, while the simple neural network was not. This indicates that PINNs are more suitable for learning from limited data and can provide more accurate predictions in cases where physical constraints and domain-specific knowledge are important. Overall, this study contributes to the understanding of the capabilities of PINNs and simple neural networks for the prediction of complex systems. The results suggest that PINNs are a promising approach for predicting the behavior of nonlinear dynamical systems and may have practical applications in fields such as physics and engineering.