Neural network compression for on board space payloads
Creators: name: Μπαρμπάκος, Περικλής Ιωάννη
Publisher: name: Aristotle University of Thessaloniki
Year: 2021
Subjects: Μηχανική μάθηση στο σκάφος
Συμπίεση νευρωνικών δικτύων
Απόσταξη γνώσης
On-board machine learning
Neural network compression
Knowledge distillation

description: Οι σύγχρονες διαστημικές αποστολές και τα οχήματα πτήσεων μέχρι και σήμερα ενισχύουν συνεχώς τις δυνατότητες των μερών και του συστήματος τους, τροφοδοτώντας τον τομέα με καινούρια και πιο πολύπλοκα δεδομένα. Παρ’όλα αυτά, η μεγάλη ανάπτυξη των μεθόδων μηχανικής μάθησης στο έδαφος αντμετωπίζει ένα σημαντικό εμπόδιο στο να βρει την εφαρμογή της στο διαστημικό κενό. Το διαστημικό περιβάλλον που είναι γεμάτο ραδιενέργεια και τα ενσωματωμένα μέρη ενός διαστημικού οχήματος έχουν οδηγήσει σε ένα χάσμα μεταξύ των γενεών του υλικού εξαρτημάτων υπολογιστών που χρησιμοποιείται σε αποστολές πτήσης και αυτού των σύγχρονων επιταχυντών μηχανικής μάθησης. Ως αποτέλεσμα, οι περισσότερες λύσεις τελευταίας τεχνολογίας, που έρχονται κυρίως από τον τομέα της βαθιάς μάθησης, δεν μπορούν να αναπτυχθούν και να χρησιμοποιηθούν στο διαστημικό σκάφος. Αυτή η δυσκολία καθιστά αναγκαία την επαναπροσαρμογή ισχυρών βαθιών νευρωνικών δικτύων στοχεύοντας σε πιο ελαφριά αλλά αποτελεσματικά μοντέλα που μπορούν να ταιριάξουν στα αντίστοιχα υπολογιστικά μηχανήματα. Αυτή η διατριβή ενοποιεί τις δύο πτυχές, διεκπεραιώνοντας μια λεπτομερή ανασκόπηση των ειδών των μηχανημάτων που έχουν προκριθεί για χρήση στο διάστημα και των εξελίξεων σε αυτόν τον τομέα και επίσης καταγράφοντας τις πιο συνήθεις τεχνικές συμπίεσης νευρωνικών δικτύων για χρήση σε ενσωματωμένες και διαστημικές συσκευές. Έπειτα, ο κύριος στόχος της διατριβής είναι να εξετάσει την επίδραση της μεθόδου “απόσταξης γνώσης” στην επίτευξη αξιοσημείωτης μείωσης παραμέτρων ενός μοντέλου που απευθύνεται στην κατηγοριοποίηση εικόνων τηλεπισκόπησης. Η υλοποίηση εφαρμόζει τη μέθοδο σε ένα μοντέλο MobileNet-V2 το οποίο ανακτά γνώση από ένα μοντέλο ResNet-34 και προσπαθεί να βελτιώσει την επίδοση του σε σχέση με τη συμβατική εκπαίδευση του με κλασική επιβλεπόμενη μάθηση.
description: Space missions and flight vehicles up to date are constantly enhancing their system and instrument capabilities, feeding the domain with new and more complex data. However, great developments of machine learning in the ground face a major obstacle towards finding their way in the vacuum. Radiation‐filled environment and embedded spacecraft parts have caused a gap between the generations of hardware established in flight missions and contemporary machine learning accelerators. As a result, most state‐of‐the‐art solutions coming mainly from the deep learning domain cannot be deployed and used on‐board. This concern imposes the need of readjusting powerful deep learning networks, opting for lighter, yet efficient, models that can fit on the corresponding hardware. This thesis unifies the two aspects, by making a thorough review of space qualified hardware and advancements in this domain as well as recording the most common compression techniques of neural networks for embedded and space use. Then, the main objective of the thesis is to investigate the effect of knowledge distillation method in achieving a significant and meaningful reduction in parameters of a model addressing a classification task of remote sensing images. The implementation applies this method to a MobileNet‐V2 model distilling knowledge from a ResNet‐34 model and tries to improve its performance compared to being trained with classic supervised methods.