Learning deep generative models for the enhancement of imbalanced signal classification
Authors: Τρουλλινού Ειρήνη 
Published: August 2023

Η αναγνώριση των διαφορετικών τύπων νευρωνικών κυττάρων (νευρώνων) μέσω της ακριβούς ταξινόμηση τους είναι μια απαραίτητη διαδικασία για την κατανόηση της συμβολής των συγκεκριμένων κυττάρων στις λειτουργίες του εγκεφάλου. Παρ’ όλα αυτά η αυτοματοποιημένη και αξιόπιστη ταξινόμηση τους παραμένει μια πρόκληση εξαιτίας κυρίως της βιολογικής τους πολυπλοκότητας. Ένα άλλο σημαντικό ζήτημα με την ταξινόμηση των νευρωνικών κυττάρων είναι η εγγενής μη ισορροπημένη κατανομή τους στον εγκέφαλο, η οποία επηρεάζει αρνητικά τη διαδικασία εκμάθησης των περισσότερων αλγορίθμων ταξινόμησης, το οποίο έχει ως αποτέλεσμα ασταθείς προβλέψεις και χαμηλή απόδοση. Ωστόσο, το πρόβλημα της μη ισορροπημένης ταξινόμησης δεν επηρεάζει μόνο την ταξινόμηση των νευρωνικών κυττάρων, καθώς τα επισημασμένα δεδομένα σε πολλές πραγματικές εφαρμογές είναι περιορισμένα με υψηλές αναλογίες ανισορροπίας μεταξύ των κλάσεων. Έτσι, σε αυτή τη διατριβή εστιάζουμε τόσο στη δημιουργία μιας αυτοματοποιημένης μεθόδου ταξινόμησης νευρωνικών κυττάρων όσο και στο σχεδιασμό ισχυρών μοντέλων δημιουργίας δεδομένων, τα οποία αντιμετωπίζουν το πρόβλημα της μη ισορροπημένης ταξινόμησης δημιουργώντας τεχνητά δεδομένα. Οι κλασικές μέθοδοι της κατηγοριοποίησης νευρωνικών κυττάρων περιλαμβάνουν επίπονη και δαπανηρή ανάλυση μέσω ανοσοϊστοχημικών μεθόδων, οι οποίες εξαρτώνται από μοριακούς δείκτες που εκφράζονται σε πολλούς τύπους κυττάρων. Επιπλέον, αλγόριθμοι εξαγωγής χαρακτηριστικών βασισμένοι στα κυτταρικά χαρακτηριστικά αντιμετωπίζουν τη δυσκολία της αναγνώρισης μοναδικών χαρακτηριστικών για κάθε κατηγορία. Και οι δύο μέθοδοι απαιτούν σημαντική ανθρώπινη επέμβαση και είναι χρονοβόρες. Για να ξεπεραστούν αυτές οι προκλήσεις, αυτή η διατριβή παρουσιάζει την πρώτη αυτόματη μέθοδο κατηγοριοποίησης τύπων νευρωνικών κυττάρων που βασίζεται στη βαθιά μάθηση και χρησιμοποιεί τη χρονοσειρά σημάτων δραστηριότητας ασβεστίου (Ca2+), ένα χαρακτηριστικό που δεν έχει προηγουμένως εξερευνηθεί. Συγκεκριμένα, η ερευνητική μας μελέτη επικεντρώνεται σε δύο διαφορετικά πραγματικά σύνολα δεδομένων. Το ένα σχετίζεται με την εκμάθηση ενός συγκεκριμένου στόχου από τα πειραματόζωα, ενώ το άλλο αναφέρεται στη τυχαία αναζήτηση της τροφής τους. Για το πείραμα εκμάθησης στόχου πραγματοποιούμε μια συγκριτική ερευνητική ανάλυση μεταξύ των μονοδιάστατων συνελικτικών νευρωνικών δικτύων, των επαναλαμβανόμενων νευρωνικών δικτύων και των δικτύων μακράς βραχυπρόθεσμης μνήμης. Προτείνουμε μια απλή αναδιοργάνωση των δεδομένων, η οποία επιταχύνει ουσιαστικά την εκπαίδευση των επαναλαμβανόμενων νευρωνικών δικτύων και των δικτύων μακράς βραχυπρόθεσμης μνήμης, τα οποία συνήθως απαιτούν μεγάλο χρόνο εκπαίδευσης κατά την επεξεργασία μακρών χρονοσειρών. Για το πείραμα τυχαίας αναζήτησης τροφής χρησιμοποιούμε ένα δισδιάστατο συνελικτικό νευρωνικό δίκτυο και αξιοποιούμε επίσης τα χαρακτηριστικά της ταχύτητας του ζώου και του βάθους z κάθε νευρωνικού κυττάρου. Το πρόβλημα της μη ισορροπημένης ταξινόμησης έχει οδηγήσει την ερευνητική κοινότητα στην πρόταση τριών κύριων προσεγγίσεων: μεθόδους σε επίπεδο δεδομένων, μεθόδους αλγοριθμικού επιπέδου και υβριδικές μεθόδους που συνδυάζουν και τις δύο. Οι μέθοδοι επιπέδου δεδομένων περιλαμβάνουν γενετικά μοντέλα συνήθως με βάση τα δίκτυα παραγωγικών ανταγωνιστικών δικτύων (GANs), τα οποία βασίζονται σε μεγάλες ποσότητες δεδομένων, ενώ οι μέθοδοι αλγοριθμικού επιπέδου απαιτούν τη γνώση εμπειρογνωμόνων για την ανάπτυξη αποτελεσματικών στόχων μάθησης, που μπορεί να είναι λιγότερο προσβάσιμες σε χρήστες χωρίς τέτοια εμπειρία. Συνήθως, και οι δύο αυτές μέθοδοι εφαρμόζονται σε δεδομένα εικόνων και λιγότερο συχνά σε δεδομένα χρονοσειρών, αλλά σπάνια και στα δύο. Για να αντιμετωπίσουμε τα παραπάνω ζητήματα, παρουσιάζουμε τον αλγόριθμο GENDA, ένα βαθύ αυτόματο κωδικοποιητή που δημιουργεί δεδομένα στηριζόμενος στη γειτονική πληροφορία που αναφέρεται σε αυτά τα δεδομένα. Ο προτεινόμενος αλγόριθμος είναι απλός αλλά αποτελεσματικός στη σχεδίασή του και μπορεί να εφαρμοστεί με επιτυχία τόσο σε δεδομένα εικόνας όσο και σε χρονοσειρές. Βασίζεται στην εκμάθηση λανθανουσών αναπαράστασεων που χρησιμοποιούν το γειτονικό χώρο των δειγμάτων, και μόλις εκπαιδευτεί μπορεί να χρησιμοποιηθεί για τη δημιουργία όσων δειγμάτων χρειάζονται, έτσι ώστε κάθε αλγόριθμος ταξινόμησης να μπορεί να εκπαιδευτεί με ένα σύνολο δεδομένων όπου θα υπάρχει ισορροπία ανάμεσα στις κλάσεις. Εκτεταμένα πειράματα που πραγματοποιήθηκαν σε ένα σύνολο από ευρέως χρησιμοποιούμενα πραγματικά δεδομένα δείχνουν την αποτελεσματικότητα της προτεινόμενης μεθόδου. Τέλος, για να βελτιώσουμε την απόδοση του GENDA και να αξιοποιήσουμε τις πληροφορίες που μπορεί να παρέχει ένας ταξινομητής κατά τη διαδικασία εκπαίδευσης του παραγωγικού μοντέλου, προτείνουμε τον αλγόριθμο GENDA-XL, ένα βαθύ αυτόματο κωδικοποιητή με μια εκτεταμένη συνάρτηση κόστους που δημιουργεί δεδομένα στηριζόμενος στη γειτονική πληροφορία των δεδομένων αυτών και είναι η επέκταση του GENDA. Ο GENDA-XL διαθέτει μια πιο αποτελεσματική συνάρτηση κόστους συγκριτικά με το GENDA, καθώς ο GENDA-XL χρησιμοποιεί μια μετρική εποπτεύομενης ομοιότητας για την εκμάθηση αποδοτικών λανθανουσών αναπαραστάσεων που χρησιμοποιούν το γειτονικό χώρο των δειγμάτων, καθώς επίσης ενσωματώνει και ένα προεκπαιδευμένο ταξινομητή στην αρχιτεκτονική του, ο οποίος συσχετίζει κάθε δείγμα που παράγεται με τη κλάση στην οποία ανήκει. Τα πειραματικά μας αποτελέσματα δείχνουν ότι ο GENDA-XL υπερτερεί του GENDA και των άλλων μεθόδων που αποσκοπούν στην αντιμετώπιση του προβλήματος της μη ισορροπημένης ταξινόμησης.