Lightweight Deep Learning for Embedded Intelligence
Creators: name: Ζάρας, Αδαμάντιος Τηλέμαχου
Publisher: name: Aristotle University of Thessaloniki
Year: 2020
Subjects: Unified Specialized Teachers Ensemble (USTE)
Απόσταξη Γνώσης
Μεταφορά Γνώσης
Εξειδικευμένοι Δάσκαλοι
Ενοποιημένη Επιτροπή
Συμπίεση Μοντέλων
Βαθιά Νευρωνικά Δίκτυα
Knowledge Distillation
Knowledge Transfer
Specialized Teachers
Unified Ensemble
Model Compression
Deep Neural Networks

description: Artificial Neural Networks are a group of Deep Learning systems inspired by neurobiology with a wide range of applications. They belong to the scientific field of Machine Learning, which studies types of algorithms that solve problems without being explicitly programmed for them. These networks have achieved outstanding performance over the past years and it has been observed that they provide better results compared to other algorithms. Nevertheless, their high computational cost prevents them from being embedded into devices with low memory and processing capabilities. For this reason, the field of Deep Learning also studies techniques of model compression, for reducing their size and complexity and increasing their speed without degrading their performance. Recent findings regarding model compression have led to the development of Knowledge Distillation, which is a method for transferring the knowledge of a cumbersome network to a smaller one. This thesis outlines a new approach of this procedure and questions (a) whether multiple teachers, each one trained on a small subset of the dataset's classes, thus specialized, help to improve the method’s results, (b) if a unified way of training multiple teachers leads to better results than training them separately and (c) if the use of both the aforementioned methods further improves the outcomes. A simple framework of Unified Specialized Teachers Ensemble is provided and proved that it can generate a stronger knowledge representation compared to pre-existing techniques. Experiments with specialized teachers demonstrate an improvement of 1% when compared with the baseline, in terms of classification accuracy on CIFAR-100 and Fashion-MNIST. The unified training of unspecialized teachers shows an improvement of 0.7% on CIFAR-100 and the union of both methods shows an even better performance, with up to 1.44% gain on CIFAR-100, reaching 67.14% with a student of 1,537,500 parameters, improving the accuracy by 5.57% as opposed to being trained without distillation.
description: Τα Τεχνητά Νευρωνικά Δίκτυα είναι μία κατηγορία αλγορίθμων εμπνευσμένων από τη νευροβιολογία, με μεγάλο πεδίο εφαρμογών, όπως αυτοοδηγούμενα οχήματα, πρόβλεψη οικονομικών δεδομένων, τεχνητή όραση και άλλα. Είναι ιδιαίτερα ισχυρά και τα τελευταία χρόνια έχουν καταφέρει να ξεπεράσουν τις ανθρώπινες επιδόσεις σε πολλούς τομείς. Ωστόσο, έχουν υψηλές απαιτήσεις μνήμης και υπολογιστικής ισχύος, πράγμα το οποίο αποτελεί πρόκληση για την ενσωμάτωσή τους σε συσκευές με χαμηλές δυνατότητες, όπως μη επανδρωμένα οχήματα, ρομπότ, κινητά τηλέφωνα και άλλα. Για αυτόν το λόγο, πολλές έρευνες ασχολούνται με τη δημιουργία μεθόδων συμπίεσης των νευρωνικών δικτύων, οι οποίες μειώνουν το μέγεθός τους και αυξάνουν την ταχύτητα λειτουργίας τους χωρίς να επηρεάζουν την απόδοσή τους σε μεγάλο βαθμό. Η παρούσα διπλωματική εργασία, ασχολείται με μία μέθοδο συμπίεσης η οποία αποκαλείται Απόσταξη Γνώσης. Ο τρόπος λειτουργίας της, επιτρέπει τη μεταφορά γνώσης από ένα μεγάλο, μη πρακτικό, αλλά ισχυρό δίκτυο σε ένα μικρότερο, ικανό να ενσωματωθεί στις προαναφερθείσες συσκευές. Το πρώτο ονομάζεται δάσκαλος, ενώ το δεύτερο μαθητής. Με αυτόν τον τρόπο δεν απαιτείται καμία προσαρμογή στο αρχικό μοντέλο και δίνεται η δυνατότητα επιλογής του ακριβούς μεγέθους του τελικού δικτύου, καθώς και δημιουργίας πολλαπλών τελικών δικτύων, καθενός για ξεχωριστή εφαρμογή. Ένα επιπλέον πλεονέκτημα αυτής της μεθόδου είναι η ικανότητά της να συνδυάζεται εύκολα με άλλες, οδηγώντας σε περαιτέρω συμπίεση του μαθητή. Υποστηρίζεται ότι η αποτελεσματικότητα της Απόσταξης Γνώσης βασίζεται σε μεγάλο βαθμό στο δάσκαλο. Έχει αποδειχθεί ότι αν αυτός είναι πολύ ισχυρός, τότε δεν είναι κατάλληλος για να μεταφέρει τη γνώση του. Αυτό οφείλεται στο γεγονός ότι διαθέτει μεγάλη βεβαιότητα στις προβλέψεις του, αποκρύπτοντας κατά αυτόν τον τρόπο σημαντική πληροφορία όπως είναι η ομοιότητα μεταξύ δειγμάτων. Το ερώτημα που ερευνάται στην παρούσα εργασία, είναι αν υπάρχει η δυνατότητα να δημιουργηθεί ένας ισχυρός δάσκαλος, ο οποίος ταυτόχρονα είναι ικανός να μεταφέρει τη γνώση του αποτελεσματικά αναπτύσσοντας τη δεξιότητα να εξάγει σημαντικές αναπαραστάσεις. Για την επίτευξη του παραπάνω σκοπού, προτείνεται ως λύση η ενοποιημένη εκπαίδευση πολλών εξειδικευμένων δασκάλων (Unified Specialized Teachers Ensemble). Η εξειδίκευσή τους επιτυγχάνεται μέσω της εκπαίδευσής τους σε μικρότερα σύνολα των διαθέσιμων κλάσεων και η ενοποίησή τους με τη δημιουργία μίας παραλλαγής στην κλασική αρχιτεκτονική των νευρωνικών δικτύων. Έτσι, παρόλο που κάθε δάσκαλος είναι ισχυρός και έχει υψηλή αυτοπεποίθηση για τις προβλέψεις του, αυτό ισχύει μόνο για τις κλάσεις στις οποίες έχει εκπαιδευτεί. Ταυτόχρονα προβάλλονται οι αποφάσεις όλων, οδηγώντας σε ένα πλήθος απόψεων που δημιουργεί διαφοροποίηση στο δίκτυο, με αποτέλεσμα να εξάγονται αναπαραστάσεις με υψηλό νόημα για το μαθητή.