Επίλυση διαφορικών εξισώσεων με νευρωνικά δίκτυα και βελτιστοποίηση της επιλογής των σημείων εκπαίδευσης
Creators: name: Διλμπέρης, Ιωάννης Δημητρίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2024
Subjects: Τεχνητή νοημοσύνη
Νευρωνικά Δίκτυα
Διαφορικές Εξισώσεις
Artificial Intelligence
Neural Networks
Differential Equations

description: Ελληνική Περίληψη Στα πλαίσια της παρούσας διπλωματικής εργασίας γίνεται προσπάθεια να αναλυθεί και να βελτιστοποιηθεί η λειτουργία των Physics Informed Neural Networks (PINNs), τα οποία εφαρμόζονται ως μέθοδος προσέγγισης της λύσης διαφορικών εξισώσεων. Η συγκεκριμένη μελέτη επικεντρώθηκε στην μεθοδολογία επιλογής σημείων του πεδίου ορισμού των διαφορικών εξισώσεων ως σύνολο εκπαίδευσης του νευρωνικού δικτύου, αλλά και την διαχείριση αυτών κατά την διάρκεια της εκπαίδευσης. Απώτερος σκοπός ήταν η σύγκριση των ήδη υπαρχόντων τεχνικών επιλογής σημείων και η επιστράτευση νέων μεθοδολογιών, με στόχο την βελτιστοποίηση της απόδοσης του νευρωνικού. Η διαμόρφωση του συνόλου εκπαίδευσης ενός PINN αποτελεί καίριο παράγοντα της τελικής του ακρίβειας, δεδομένου ότι η συμπεριφορά της λύσης μιας διαφορικής εξίσωσης αναλόγως με τις τιμές των ανεξάρτητων μεταβλητών που δέχεται, χαρακτηρίζεται τόσο από ομαλές μεταβάσεις όσο και από απότομες αλλαγές. Αυτό καθιστά τις τελευταίες έναν καίριο παράγοντα για να πραγματοποιηθεί μεγαλύτερη εστίαση κατά την εκπαίδευση στα αντίστοιχα σημεία των συγκεκριμένων αλλαγών. Λαμβάνοντας υπόψη τα παραπάνω, στην συγκεκριμένη εργασία έγινε περιγραφή και υλοποίηση ενός Physics Informed Neural Network, ενώ παράλληλα επεξηγήθηκε και η λειτουργία κάθε δομικού στοιχείου του. Στην συνέχεια, εφαρμόστηκαν αριθμητικές μέθοδοι ως τεχνικές προσέγγισης της επιζητούμενης λύσης σε ένα μικρό υποσύνολο του πεδίου ορισμού για να δημιουργηθούν επιπρόσθετες συνθήκες εκπαίδευσης. Πραγματοποιήθηκαν δοκιμές της συγκεκριμένης προσθήκης σε παραδείγματα εφαρμογής των PINNs με στόχο να βελτιωθεί η απόδοση τους. Έπειτα, δοκιμάστηκαν και συγκρίθηκαν γνωστές κατανομές ως μέθοδοι επιλογής σημείων, ενώ ερευνήθηκε ταυτόχρονα και η επίδραση της αναδειγματοληψίας του συνόλου δεδομένων ανά συγκεκριμένο αριθμό εποχών εκπαίδευσης. Πέραν των παραπάνω τεχνικών, υλοποιήθηκαν και μέθοδοι προσθήκης συγκεκριμένων κομβικών σημείων ή υποσυνόλου αυτών κατά την διάρκεια της εκπαίδευσης στο ήδη υπάρχον σύνολο. Πιο συγκεκριμένα, εφαρμόστηκε η μέθοδος residual-based adaptive refinement (RAR), η οποία αποτελεί βασική τεχνική της βιβλιοθήκης Deepxde, και πραγματοποιήθηκε σύγκριση της συμπεριφοράς του PINN κατά την προσθήκη ενός μόνο επιπλέον σημείου αλλά και περισσοτέρων. Η τελευταία μεθοδολογία που δοκιμάστηκε ήταν μια παραλλαγή της μεθόδου RAR ως προς τον τρόπο επιλογής των προστιθέμενων σημείων, η οποία πραγματοποιήθηκε με χρήση γενετικού αλγορίθμου, κατάλληλα σχεδιασμένου για να επιλέγει τα σημεία που μεγιστοποιούν την συνάρτηση κόστους του PINN.
description: In the context of this thesis, we made an attempt to analyze and optimize the operation of the Physics Informed Neural Networks (PINNs), which are applied as an approximation method of the differential equations’ solution. We focused on the methodology of points selection from the domain of the differential equations as the training set for the neural network, as well as the management of those points during training. The goal was to compare existing point selection techniques and experiment with new methodologies in order to optimize the performance of the neural network. The set up of the training set for a PINN is a crucial factor for its accuracy, given that the behavior of a differential equation’s solution is characterized by both smooth transitions and abrupt changes, depending on the independent variable’s value. This makes the latter a key factor for focusing more on the corresponding points of these changes during training. Taking the above into consideration, this thesis describes and implements a Physics Informed Neural Network, while also explaining the function of each structural element. Subsequently, numerical methods were applied as techniques to approximate the desired solution in a small subset of the domain to create additional training conditions for the PINN. Tests of these specific additional conditions were conducted on various examples of PINNs’ applications, in an attempt to improve the accuracy of their predictions. Furthermore, well-known distributions were tested and compared as point selection methods, while simultaneously exploring the effect of resampling the dataset at specific numbers of training epochs. In addition to the above techniques, we also implemented methods of adding specific points or subsets of them during training in the existing set. Specifically, the residual-based adaptive refinement (RAR) method was applied, which is a fundamental technique of the Deepxde library. A comparison was made of the behavior of the PINN when adding only one additional point during the method’s deployment, as well as multiple points. The last methodology tested was a variation of the RAR method in terms of the way of selecting the added points. Their selection was made using a genetic algorithm trying to choose the points which maximize PINN’s loss function, in an attempt to enhance the algorithm's performance.