Νευρωνικά Δίκτυα με Κάψουλες
Creators: name: Καρατζούνης, Αριστείδης Αθανάσιου
Publisher: name: Aristotle University of Thessaloniki
Year: 2020
Subjects: Προηγμένα συστήματα υπολογιστών
Ευφυή συστήματα
Υπολογιστική νοημοσύνη
Advanced computer systems
Intelligent systems
Computational intelligence

description: Η παρούσα μεταπτυχιακή διατριβή έχει ως στόχο την αναλυτική περιγραφή και διερεύνηση του τρόπου λειτουργίας μιας νέας τεχνικής στο πεδίο της Μηχανικής Μάθησης, αυτής των Νευρωνικών Δικτύων με Κάψουλες. Η συγκεκριμένη τεχνική βασίζεται στο επιστημονικό άρθρο «Dynamic Routing Between Capsules» το οποίο δημοσιεύθηκε το 2017 από τους Sara Sabour, Nicholas Frost και Geoffrey E. Hinton, και περιγράφει τη θεωρία των Νευρωνικών Δικτύων με Κάψουλες. Αρχικά πραγματοποιείται μία γενική εισαγωγή στο πεδίο της μηχανικής μάθησης και στις κατηγορίες των εργασιών από τις οποίες αποτελείται. Περιγράφεται συνοπτικά η δομή των νευρωνικών δικτύων και τα βασικά τμήματα από τα οποία απαρτίζονται, δίνοντας έμφαση στα συνελικτικά νευρωνικά δίκτυα τα οποία αποτελούν μέρος των δικτύων με Κάψουλες, αναφέροντας τις αρχές λειτουργίας τους και τα σημεία εκείνα στα οποία υστερούν και χρήζουν βελτίωσης. Στην συνέχεια παρουσιάζεται η θεωρία των νευρωνικών δικτύων με Κάψουλες. Περιγράφεται αναλυτικά η λειτουργία και η αρχιτεκτονική τους και αποτυπώνονται οι λόγοι της συνεισφοράς τους στην επίτευξη αρτιότερων αποτελεσμάτων σε ορισμένες περιπτώσεις, σε σχέση με τη χρήση αποκλειστικά συνελικτικών επιπέδων σε ένα νευρωνικό δίκτυο. Εφαρμόζεται η τεχνική των Νευρωνικών Δικτύων με Κάψουλες στο MNIST σετ δεδομένων, για την εκπαίδευση και τη δημιουργία ενός μοντέλου αναγνώρισης χειρόγραφων ψηφίων από το συγκεκριμένο σετ δεδομένων. Καταγράφονται και παρουσιάζονται οι χρονικές και λειτουργικές απαιτήσεις υλοποίησης του συγκεκριμένου μοντέλου, και εξάγονται οι αντίστοιχες μετρικές και τα συμπεράσματα σε σχέση με την αποτελεσματικότητά του. Τέλος περιγράφεται η διαδικασία και παρουσιάζονται τα αποτελέσματα της εφαρμογής στο σετ δεδομένων MNIST, μιας παραλλαγής της αρχικής υλοποίησης των Νευρωνικών Δικτύων με Κάψουλες, , προκειμένου να ελεγχθεί η λειτουργικότητα των επιπέδων του δικτύου με Κάψουλες ως ανεξάρτητων μονάδων (modularity), καθώς και η δυνατότητα μετάδοσης γνώσης από ένα εκπαιδευμένο υποσύνολο της συγκεκριμένης αρχιτεκτονικής, σε ένα άλλο ανεκπαίδευτο, με στόχο την μείωση του χρόνου εκπαίδευσης του μοντέλου συνολικά, χωρίς να επηρεάζεται σημαντικά η αποτελεσματικότητά του. Η διπλωματική εργασία κλείνει με την αναφορά των συμπερασμάτων σχετικά με την ύπαρξη πιθανών περιορισμών και μειονεκτημάτων της θεωρίας των Νευρωνικών Δικτύων με Κάψουλες, καθώς και με την παρουσίαση προτάσεων περαιτέρω μελλοντικής διερεύνησης της συγκεκριμένης θεωρίας.
description: The present thesis aims to analyze and investigate the functionality of Capsule Networks, a new technique in the field of machine learning. This particular technique is based on the scientific paper «Dynamic Routing Between Capsules», published in 2017 by Sara Sabour, Nicholas Frost, Geoffrey E. Hinton and describes the theoretical background of Capsule Networks. Initially, an introduction to the field of machine learning and the different types of learning is being presented. The structure of neural networks with their basic elements are being described, with more focus to convolutional neural networks, which are essential parts of Capsule Networks, analyzing their functionality and pointing out their weak spots. Subsequently, the theory of Capsule Networks and their architecture is being presented, along with the main reasons of their superior performance in certain tasks compared to convolutional networks. Furthermore, the Capsule Networks technique is being applied to the MNIST dataset for creating and training a model that recognizes handwritten digits. Following, the overall requirements in hardware and training time of this implementation, as well as the corresponding metrics and conclusions regarding its efficiency are being recorded and presented. Finally, a customized variation of the aforementioned initial implementation of Capsule Networks is being applied to the MNIST dataset, called “modular implementation”, investigating the modularity of Capsule Networks layers, along with the capability of transfer learning from one trained subset of this particular modular implementation to another, aiming to reduce the model’s training time without compromising its efficiency. The exact steps of this “modular implementation” procedure and the produced results are also presented. In conclusion, possible restrictions and major drawbacks of the Capsule Networks theory, as well as future steps for further investigation are being mentioned in the current thesis.
description: Σε συνεργασία με: Λογιστικής και Χρηματοοικονομικής (Πανεπιστήμιο Μακεδονίας)