Εξερεύνηση Νέων Τεχνικών Επίλυσης Διαφορικών Εξισώσεων με τη χρήση Νευρωνικών Δικτύων
Creators: name: Παλάσκος, Αχιλλέας Αντωνίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2024
Subjects: Βαθιά Μάθηση
Διαφορικές Εξισώσεις
Νευρωνικά Δίκτυα Ενημερωμένα από την Φυσική
Deep Learning
Differential Equations
Physics-Informed Neural Networks (PINNs)

description: Οι διαφορικές εξισώσεις αποτελούν έναν πολύ ενδιαφέρον κλάδο των σύγχρονων Μαθηματικών με ποικίλες εφαρμογές σε πολλούς άλλους επιστημονικούς τομείς. Για το λόγο αυτό μελετώνται θεωρητικά εδώ και πολλά χρόνια, ενώ με την ραγδαία ανάπτυξη των υπολογιστών, τις τελευταίες 2-3 δεκαετίες, η έρευνα έχει εστιασθεί κυρίως στην αναζήτηση μεθόδων επίλυσής τους υπολογιστικά. Ωστόσο, οι παραδοσιακές υπολογιστικές μέθοδοι, αν και είναι συνήθως ιδιαίτερα αποτελεσματικές, παρουσιάζουν αρκετά μειονεκτήματα, με αποτέλεσμα την ανάγκη εξερεύνησης νέων μεθόδων. Στην παρούσα διπλωματική εργασία, ύστερα από μια γενική και συνοπτική επισκόπηση των βασικότερων κατηγοριών προβλημάτων Μηχανικής Μάθησης και των πιο αντιπροσωπευτικών τους αλγορίθμων, παρουσιάζονται οι σημαντικότερες έννοιες που χαρακτηρίζουν τις διαφορικές εξισώσεις και οι πιο χαρακτηριστικές κατηγορίες τους, δηλαδή οι μορφές προβλημάτων συνοριακών τιμών που εμφανίζονται συχνότερα σε πρακτικές εφαρμογές. Τα παραπάνω θέτουν τις βάσεις για την παρουσίαση μιας νέας μεθόδου επίλυσης των προβλημάτων αυτών, η οποία επινοήθηκε το 1998 από τους I.E. Lagaris et. al. Ωστόσο, θεμελιώθηκε και έγινε διάσημη το 2017 από τους Raissi M. et. al. Επειδή η συγκεκριμένη μεθοδολογία εκμεταλλεύεται τις φυσικές ιδιότητες του προβλήματος, ενώ ταυτόχρονα αξιοποιεί την αποτελεσματικότητα των Τεχνητών Νευρωνικών Δικτύων, τα μοντέλα που χρησιμοποιούνται ονομάζονται Physics-Informed Neural Networks (PINNs). Η αρχή λειτουργίας τους βασίζεται στην ικανότητα των Νευρωνικών Δικτύων να υπολογίζουν αυτόματα τις μερικές παραγώγους των εξόδων τους, τόσο σε σχέση με τα βάρη του μοντέλου όσο και με τις εισόδους του, διαδικασία η οποία καλείται Αυτόματη Διαφόριση. Η ιδιότητα αυτή υλοποιείται πλέον αποτελεσματικά μέσω του αλγορίθμου Ανάδρομης Διάδοσης λάθους και είναι διαθέσιμη δωρεάν από αρκετά λογισμικά πακέτα, όπως η PyTorch, η Tensorflow κλπ. Ο παραπάνω αλγόριθμος αποτελεί ουσιαστικά την προγραμματιστική υλοποίηση του Κανόνα Αλυσίδας της Μαθηματικής Ανάλυσης Πραγματικών Συναρτήσεων. Στη συνέχεια, το αρχικό πρόβλημα μετασχηματίζεται σε ένα μη-κυρτό πρόβλημα βελτιστοποίησης, όπου η συνάρτηση στόχου ή κόστους ή απωλειών είναι συνήθως το Μέσο Τετραγωνικό Σφάλμα. Οι αρχικές και οριακές συνθήκες συμπεριλαμβάνονται στη συνάρτηση κόστους, η οποία ελαχιστοποιείται με τη μέθοδο της Επικλινούς Καθόδου. Η παρούσα διπλωματική εργασία αποσκοπεί στην αναζήτηση και εφαρμογή νέων μεθοδολογιών για την επίλυση ορισμένων Μερικών Διαφορικών Εξισώσεων. Συγκεκριμένα, ύστερα από την προσεκτική επιλογή των τεσσάρων πιο δύσκολων προβλημάτων συνοριακών τιμών από ένα σύνολο καλά μελετημένων προβλημάτων, αναλύονται οι διάφορες τεχνικές που εφαρμόσθηκαν με σκοπό την αποτελεσματική αντιμετώπισή τους, εκ των οποίων αρκετές απέτυχαν, ενώ άλλες οδήγησαν σε αποδεκτά αποτελέσματα. Επιπλέον, παρουσιάζονται τα απαραίτητα αποτελέσματα της εκάστοτε δοκιμής, ενώ στις περιπτώσεις επιτυχούς επίλυσης παρέχονται και τα αντίστοιχα διαγράμματα της λύσης του PINN και της σύγκρισής τους με την αντίστοιχη θεωρητική/αναλυτική λύση, όπου αυτή είναι διαθέσιμη. Ύστερα από τα παραπάνω, διατίθεται και ο “βασικός κορμός” του κώδικα που χρησιμοποιήθηκε για τις παραπάνω προσομοιώσεις και ο οποίος αναλύεται συνοπτικά. Επιπλέον, δικαιολογείται η επιλογή των υλοποιήσεων από την αρχή, αντί της χρήσης των εξωτερικών βιβλιοθηκών, που είναι δωρεάν διαθέσιμες για τον σκοπό αυτό και αναφέρονται τα βασικά προτερήματα και ελαττώματά τους. Τέλος, παρουσιάζονται τα συμπεράσματα της παρούσας εργασίας, αναλύοντας τα πλεονεκτήματα και μειονεκτήματα των PINNs, ενώ προτάσσονται και ορισμένες κατευθύνσεις για μελλοντική έρευνα στον τομέα αυτό.
description: Differential equations constitute a highly interesting branch of modern mathematics with various applications in many other scientific fields. For this reason, they have been theoretically studied for many years, while with the rapid development of computers in the last 2-3 decades, research has mainly focused on the computational solution methods. However, traditional computational methods, although usually highly effective, have several disadvantages, resulting in the need to explore new methods. In this master thesis, following a general and concise overview of the basic categories of Machine Learning problems and their most representative algorithms, the most important concepts characterizing differential equations and their most characteristic categories, namely the forms of boundary value problems that appear more frequently in practical applications, are presented. These lay the groundwork for the presentation of a new method for solving these problems, which was invented in 1998 by I.E. Lagaris et. al. However, it was established and became famous in 2017 by Raissi M. et. al. Because this particular methodology exploits the physical properties of the problem, while simultaneously utilizing the effectiveness of Artificial Neural Networks, the models used are called Physics-Informed Neural Networks (PINNs). Their operation principle is based on the ability of Neural Networks to automatically compute the partial derivatives of their outputs, both with respect to the model weights and the inputs, a process known as Automatic Differentiation. This property is now effectively implemented through the Error Backpropagation algorithm and is freely available from several software packages, such as PyTorch, Tensorflow, etc. The aforementioned algorithm essentially implements the programming realization of the Chain Rule of Real Analysis. Subsequently, the original problem is transformed into a non-convex optimization problem, where the objective function or cost or loss function is usually the Mean Squared Error. The initial and boundary conditions are included in the cost function, which is minimized using the method of Gradient Descent. This master thesis aims to search for and apply new methodologies for solving certain Partial Differential Equations. Specifically, after careful selection of the four most difficult boundary value problems from a set of well-studied problems, the various techniques applied to effectively address them are analyzed, several of which failed, while others led to acceptable results. In addition, the necessary results of each experiment are presented, and in cases of successful results, the corresponding solution diagrams of the PINN and their comparison with the corresponding theoretical/analytical solution, where available, are provided. Following this, the "core" of the code used for the above simulations is provided and briefly analyzed. Furthermore, the justification for the choice of implementations from scratch, rather than using external libraries, which are freely available for this purpose, is provided, and their main advantages and drawbacks are mentioned. Finally, the conclusions of this work are presented, analyzing the advantages and disadvantages of PINNs, while also proposing some directions for future research in this area.