Machine learning from weakly-labelled and sparsely-positive data
Authors: Παπαδόπουλος Αλέξανδρος 
Published: December 2022

Η διατριβή μελετά το πρόβλημα της μάθησης από δεδομένα με αδύναμες ετικέτες που είναι ταυτόχρονα και σποραδικώς-θετικά. Ο όρος “αδύναμη ετικέτα” αναφέρεται σε μια ετικέτα που αντιστοιχεί σε ένα σετ παραδειγμάτων αντί για ένα μεμονωμένο παράδειγμα. Ο όρος “σποραδικώς-θετικό” υποδηλώνει ότι τα κύρια χαρακτηριστικά που καθορίζουν την αδύναμη ετικέτα υπερτερούν σε μεγάλο βαθμό από άλλα, μη σχετικά με το πρόβλημα, χαρακτηριστικά. Στη διατριβή αυτή προτείνουμε μια γενική στρατηγική μετασχηματισμού του αρχικού προβλήματος εύρεσης σπάνιων γεγονότων ενδιαφέροντος σε μεγάλες συλλογές σημάτων με αδύναμες ετικέτες, σε μια μορφή που μπορεί να επιλυθεί αποδοτικά από έναν μηχανισμό Μάθησης Πολλαπλών Παραδειγμάτων (Multiple-Instance Learning (MIL)). Η μεθοδολογία περιλαμβάνει επίσης την προσαρμογή και χρήση ενός αλγορίθμου MIL, βασιζόμενου στο μηχανισμό της προσοχής (attention), προκειμένου να μοντελοποιηθεί επαρκώς η σποραδικώς θετική φύση των δεδομένων. Στη συνέχεια, παρουσιάζουμε μια εφαρμογή της προτεινόμενης μεθοδολογίας στο πρόβλημα της αναγνώρισης του τρόμου χειρός που οφείλεται στη Νόσο του Πάρκινσον. Για το σκοπό αυτό, γίνεται χρήση σημάτων επιταγχυνσιομέτρου που έχουν καταγραφεί τόσο από ασθενείς με Πάρκινσον όσο και από υγιείς ανθρώπους κάτω από εξωεργαστηριακές συνθήκες ελεύθερης διαβίωσης (in-the-wild). Επιπρόσθετα, επεκτείνουμε και εφαρμόζουμε την προτεινόμενη μεθοδολογία στο πρόβλημα της ανίχνευσης της διαβητικής αμφιβληστροειδοπάθειας (Diabetic Retinopathy (DR)) από φωτογραφίες του βυθού του ματιού. Παρουσιάζουμε πως ο χειρισμός του προβλήματος μέσω του περιβάλλοντος της Μάθησης Πολλαπλών Παραδειγμάτων μπορεί να δώσει μια λύση στο πρόβλημα της σποραδικής θετικότητας, καθώς επίσης και στο πρόβλημα της εξηγησιμότητας ενός μοντέλου βαθιάς μηχανικής μάθησης. Προτείνουμε επίσης μια γενίκευση της προτεινόμενης μεθοδολογίας, η οποία μπορεί να χειριστεί την ύπαρξη πολλαπλών πηγών δεδομένων με αδύναμες ετικέτες, προκειμένου να υλοποιήσει μια διαδικασία μάθησης πάνω σε αυτές. Η προσέγγιση αυτή είναι γενική και μπορεί να λειτουργήσει με οποιονδήποτε αριθμό πηγών δεδομένων. Κατόπιν, μελετούμε την εφαρμογή της γενικευμένης μεθοδολογίας πολλαπλών πηγών στο αληθινό πρόβλημα της ταυτόχρονης πρόβλεψης της νόσου Πάρκινσον, καθώς και δύο κινητικών συμπτωμάτων της, μέσω της ανάλυσης δεδομένων από δύο διαφορετικές πηγές: σήματα επιταγχυνσιομέτρου για τον εντοπισμό του τρόμου, και σήματα προερχόμενα από την πληκτρολόγηση σε εικονικό πληκτρολόγιο έξυπνσης συσκευής, για τον εντοπισμό της εξασθένισης των κινητικών δεξιοτήτων (fine-motor impairment (FMI)). Τέλος, προτείνουμε μια νέα μέθοδο που συνδυάζει την τεχνοτροπία της μάθησης πολλαπλών παραδειγμάτων (MIL) με την τεχνοτροπία της ημι-εποπτευόμενης μάθησης (Semi-Supervised Learning (SSL)). Για το σκοπό αυτό, προχωρούμε στην μετατροπή της, καθιερωμένης στο χώρο της ημι-εποπτευόμενης μάθησης, τεχνικής του Virtual Adversarial Training (VAT), στην ισοδύναμή της στο πεδίο του MIL. Εκτελώντας πειράματα σε συνθετικά σετ δεδομένων, επιδευκνύουμε πως η προτεινόμενη προσέγγιση μπορεί να αξιοποιήσει αποτελεσματικά την ύπαρξη σετ πολλαπλών παραδειγμάτων χωρίς καμία ετικέτα, προκειμένου να βελτιώσει την επίδοση ενός MIL ταξινομητή. Ολοκληρώνοντας, εφαρμόζουμε τον παραπάνω αλγόριθμο σε ένα αληθινό πρόβλημα που συνδυάζει μάθηση πολλαπλών παραδειγμάτων με ημι-εποπτευόμενη μάθηση: την ανίχνευση τρόμου χειρός από σήματα επιταγχυνσιομέτρου, αλλά υπό την παρουσία επιπλέον δεδομένων χωρίς καθόλου ετικέτες που έχουν καταγραφεί από ένα αρκετά μεγάλο σύνολο ανθρώπων, υπό τις ίδιες συνθήκες με το αρχικό σετ δεδομένων με αδύναμες ετικέτες που μελετήθηκε προηγουμένως. Και σε αυτήν την περίπτωση, η προτεινόμενη συνδυαστική προσέγγιση επιφέρει σημαντική βελτίωση της επίδοσης ταξινόμησης, συγκρινόμενη με αυτή ενός μοντέλου που δεν κάνει χρήση των επιπλέον δεδομένων χωρίς ετικέτες.