Νευρωνικά δίκτυα σε γράφους
Creators: name: Τσούρος, Ιάκωβος Μάριος Ισίδωρου
Publisher: name: Aristotle University of Thessaloniki
Year: 2022
Subjects: Νευρωνικά Δίκτυα
Θεωρία γράφων
Πολύπλοκα Συστήματα
Neural Networks
Graph theory
Complex Systems

description: Οι γράφοι έχουν χρησιμοποιηθεί για την μοντελοποίηση των σχέσεων ανάμεσα σε αντικείμενα και οντότητες που συνδέονται, με εφαρμογές σε πληθώρα προβλημάτων από την καθημερινότητα ενώ η μαθηματική τους ανάλυση είναι πεδίο υπό συνεχή μελέτη. Την τελευταία δεκαετία έχει υπάρξει ενδιαφέρον για την εφαρμογή νευρωνικών δικτύων τα οποία μπορούν να δράσουν πάνω σε δεδομένα από γράφους, για την μελέτη είτε της δομής και τοπολογίας τους, είτε για την εφαρμογή πολύπλοκων δυναμικών πάνω σε αυτά τα δίκτυα. Στην παρούσα εργασία παρουσιάζονται οι βασικές αρχές της θεωρίας γράφων, των νευρονικών δικτύων και της μηχανικής μάθησης ενώ στη συνέχεια παρουσιάζονται τα πρώτα μοντέλα νευρωνικών δικτύων για γράφους (GNNs) . Σε αυτά τα πλαίσια γίνεται μια εισαγωγή στα πολύπλοκα συστήματα, τις θεωρίες δημουργίας τυχαίων γράφων, μεθόδους ανάλυσης αυτών όπως οι πίνακες γειτνίασης, οι βασικές αρχές της μηχανικής μάθησης εξηγούνται ενδελεχώς και τελικά παρουσιάζεται το μόντελο GNN που χρησιμοποιήθηκε για την παραγωγή των αποτελεσμάτων. Το συγκεκριμένο μοντέλο χρησιμοποιεί ένα “μηχανισμό προσοχής” (Attention Mechanism) ο οποιός μέσα από μία διαδικασία μηχανικής μάθησης εκπαιδεύεται ώστε να δίνει μεγάλυτερο βάρος σε κόμβους πιο σημαντικούς για τις μεταβάσεις ανάμεσα σε διαφορετικές καταστάσεις που προβλέπουν τα δυναμικά μοντέλα. Για τα δεδομένα που χρησιμοποιήθηκαν στη διαδικασία εκμάθησης, παράχθηκαν συνθετικά σετ από δυναμικά μετάδοσης τα οποία δρουν πάνω σε τυχαιοποιημένους γράφους. Τα αποτελέσματα της μεθόδου αυτής αναδεικνύουν την ποσοτική ακρίβεια των προβλέψεων της μεθόδου αυτής, καθώς της δυνατότητές της στην μοντελοποιήση πολύπλοκων δυναμικών. Η μέθοδος GNN παράγει προβλέψεις πολύ πιο ακριβείς από την μέθοδο εκτιμητών μέγιστης πιθανοφάνειας και με λιγότερες διακυμάνσεις, ενώ είναι σε θέση να παρεμβάλει σημεία από ζεύγη δεδομένων τα οποία δεν ύπαρχουν στο σετ δεδομένων
description: Graphs have been used to model relations between objects connected in a pairwise manner, with applications on a wide variety of real world situations and mathematical abstractions such as in complex systems. In the last decade interest in applying neural networks which can oper- ate on graph data has been increasing, either in the direction of structure learning or dynamics acting on graphs. In this thesis the basic principles of graph theory and neural networks are presented, with an emphasis on the evolution of the approaches building up to the creation of the first modern Graph Neural Networks (GNNs). To this end, Different kinds of graphs and complex dynamics are introduced, the basic principles of machine learning are explained and finally a GNN using an Attention mechanism is used for several experiments on synthetic datasets of contagion dynamics acting on random graphs, to showcase the quantitative ac- curacy of this approach’s predictions and the complexity of the dynamics it can model. The GNN produces predictions which are more accurate and smooth that those of the maximum likelihood estimators, while being able to interpolate better on pairs of predictions-targets not present in the training sets