Αυτοεποπτευόμενη μάθηση

Η αυτο-εποπτευόμενη μάθηση είναι ένας κλάδος της μηχανικής μάθησης αποτελεί ενδιάμεση μορφή μεταξύ της επιβλεπόμενης και της μη επιβλεπόμενης μάθησης . Είναι είδος αυτόνομης μάθησης με χρήση τεχνητών νευρωνικών δικτύων που δεν απαιτεί δειγματοληπτικά δεδομένα ταξινομημένα εκ των προτέρων από ανθρώπους. Κατ' αρχάς, το δίκτυο καλείται να αντιμετωπίσει ένα έργο, το οποίο είναι συγκριτικά εύκολο να επιλυθεί και να αξιολογηθεί, αλλά απαιτεί υψηλό βαθμό σημασιολογικής κατανόησης των δεδομένων, η οποία με τη σειρά της είναι χρήσιμη για την επίλυση ενός άλλου, επόμενου έργου. Ενώ το πρώτο βήμα βασίζεται συνήθως σε ψευδο-ετικέτες που δημιουργούνται από μετασχηματισμό των αρχικών δεδομένων, η πραγματική ταξινόμηση μπορεί να πραγματοποιηθεί με επιβλεπόμενη ή μη επιβλεπόμενη μάθηση. Η φιλοσοφία αυτής της προκαταρκτικής εργασίας είναι ότι η επίλυση αυτού του συγκριτικά απλού προβλήματος αρχικοποιεί τα βάρη του νευρωνικού δικτύου με τέτοιο τρόπο ώστε το μοντέλο να μπορεί να χρησιμοποιηθεί και σε άλλες εφαρμογές. Η αυτοεπιβλεπόμενη μάθηση έχει δώσει πολλά υποσχόμενα αποτελέσματα τα τελευταία χρόνια και έχει ήδη βρει πρακτική εφαρμογή στην επεξεργασία εικόνας, βίντεο και ήχου και χρησιμοποιείται, μεταξύ άλλων, από το Facebook για αυτόματη αναγνώριση ομιλίας.

 Η αυτοεπιβλεπόμενη μάθηση ανήκει στις διαδικασίες της επιβλεπόμενης μάθησης, δεδομένου ότι ο στόχος της μεθόδου είναι η παραγωγή ταξινομημένης εξόδου από τα δεδομένα εισόδου. Ταυτόχρονα, όμως, δεν είναι απαραίτητη η σαφής χρήση επισημειωμένων ζευγών εισόδου-εξόδου. Αντ' αυτού, οι συσχετίσεις, τα μεταδεδομένα που ενσωματώνονται στα δεδομένα ή η γνώση του πεδίου που υπάρχει στα δεδομένα εισόδου εξάγονται εμμέσως και αυτοτελώς από τα δεδομένα εισόδου. Αυτές οι πληροφορίες, που παράγονται από τα ίδια τα δεδομένα, χρησιμοποιούνται στη συνέχεια για την ταξινόμησή τους. Η μάθηση με αυτοεπίβλεψη είναι επίσης παρόμοια με τη μάθηση χωρίς επίβλεψη, καθώς δεν απαιτεί ρητά καθορισμένες ετικέτες στα δειγματικά δεδομένα. Ωστόσο, σε αντίθεση με τη μάθηση χωρίς επίβλεψη, η πραγματική μάθηση δεν πραγματοποιείται με τη βοήθεια εγγενών δομών δεδομένων. Ο συνδυασμός εποπτευόμενης και μη εποπτευόμενης μάθησης ονομάζεται ημι-εποπτευόμενη μάθηση. Στην περίπτωση αυτή, μόνο ένα μικρό μέρος των δεδομένων μάθησης είναι ήδη επισημειωμένο. Η αυτοεποπτευόμενη μάθηση διαφέρει επίσης σημαντικά από αυτήν, καθώς δεν απαιτεί καθόλου σαφείς ετικέτες. Η αυτοεποπτευόμενη μάθηση είναι πολύ πιο αποτελεσματική από την ποπτευόμενη μάθηση, ειδικά όταν είναι διαθέσιμα μόνο λίγα δειγματοληπτικά δεδομένα από τα οποία μπορεί κανείς να διδαχθεί. Από την άποψη αυτή, η μέθοδος έχει τη δυνατότητα να ξεπεράσει τους προηγούμενους περιορισμούς της μηχανικής μάθησης και να ανοίξει νέους τομείς εφαρμογής.. Η αυτοεποπτευόμενη μάθηση είναι ιδιαίτερα κατάλληλη για αυτόματη επεξεργασία εικόνας, ομιλίας και βίντεο. Το Facebook, για παράδειγμα, ανέπτυξε το wav2vec, έναν αυτοεπιβλεπόμενο αλγόριθμο για την αυτόματη αναγνώριση ομιλίας, χρησιμοποιώντας δύο βαθιά νευρωνικά δίκτυα που βασίζονται το ένα στο άλλο. Το μοντέλο BERT (Bidirectional Encoder Representations from Transformers) που ανέπτυξε η Google, για παράδειγμα, χρησιμοποιείται για την καλύτερη κατανόηση του πλαισίου των ερωτημάτων αναζήτησης. Επιπλέον, κατά τη διάρκεια της έρευνας της OpenAi, αναπτύχθηκε ένα αυτοπαλίνδρομο γλωσσικό μοντέλο που ονομάζεται GPT-3 και μπορεί να χρησιμοποιηθεί στην επεξεργασία μηχανικής γλώσσας. Αυτό μπορεί να χρησιμοποιηθεί για τη μετάφραση κειμένων ή την απάντηση ερωτήσεων, μεταξύ άλλων. Οι υπάρχουσες μέθοδοι, όπως η ομαδοποίηση, η μείωση της διάστασης ή τα συστήματα συστάσεων, μπορούν επίσης να βελτιωθούν μέσω της αυτοεπιβλεπόμενης μάθησης. Συγκεκριμένα παραδείγματα εφαρμογής είναι η αυτόνομη οδήγηση, η ρομποτική χειρουργική ή η μονοφθάλμια ενδοσκόπηση. Lightly - Μια βιβλιοθήκη Python ανοιχτού κώδικα για αυτοεποπτευόμενη μάθηση με εικόνες OpenSelfSup - Εργαλειοθήκη και σημείο αναφοράς για αυτοεποπτευόμενη μάθηση VISSL - Το VISSL είναι μια βιβλιοθήκη επεκτάσιμων, αρθρωτών και κλιμακούμενων στοιχείων για αυτοεποπτευόμενη μάθηση με εικόνες Η εργασία "ALBERT: A Lite BERT for Self-Supervised Learning of Language Representation" έχει τις περισσότερες αναφορές στην αυτοεποπτευόμενη μάθηση, αν και είναι από τις πιο πρόσφατες (από τον Δεκέμβριο του 2020). Συντάχθηκε από ερευνητές της Google Research και του Τεχνολογικού Ινστιτούτου της Toyota στο Σικάγο. Η εργασία δημοσιεύθηκε ως ανακοίνωση συνεδρίου στο Διεθνές Συνέδριο για τις Αναπαραστάσεις Μάθησης (ICLR) 2020. Στόχος της εργασίας είναι η μείωση της κατανάλωσης μνήμης και η αύξηση της ταχύτητας της εκπαίδευσης BERT. Η BERT ή Bidirectional Encoder Representations from Transformers, ή αλλιώς Αναπαραστάσεις κωδικοποιητή διπλής κατεύθυνσης από μετασχηματιστές, είναι μια τεχνική για την προκαταρκτική εκμάθηση επεξεργασίας μηχανικής γλώσσας. Το "Self-Supervised Learning of Audio-Visual Objects from Video" γράφτηκε από συγγραφείς από το Πανεπιστήμιο της Οξφόρδης και το Πανεπιστήμιο του Μίσιγκαν. Ένας από τους συγγραφείς είναι ο Άντριου Ζίσερμαν (Andrew Zisserman), καθηγητής στο Πανεπιστήμιο της Οξφόρδης, ο οποίος συνεισφέρει πολλά στην έρευνα για την αυτοεπιβλεπόμενη μάθηση. Στο πλαίσιο της εργασίας, οι ερευνητές εξηγούν μια μέθοδο "για τη μετατροπή ενός βίντεο σε ένα σύνολο διακριτών οπτικοακουστικών αντικειμένων με τη χρήση αυτοεποπτευόμενης μάθησης". Συγγραφείς από την DeepMind και το Πανεπιστήμιο της Οξφόρδης δημοσίευσαν την εργασία "Multi-Task Self-Supervised Visual Learning" στα Πρακτικά του ICCV 2017. Είναι επίσης μία από τις εργασίες με τις περισσότερες αναφορές στην αυτοεποπτευόμενη μάθηση. Στο πλαίσιο της δημοσίευσης, οι ερευνητές ανέπτυξαν μεθόδους για την εκτέλεση πολλαπλών εργασιών μαζί με αυτοεποπτευόμενη μάθηση. Το αποτέλεσμα της έρευνας ήταν ότι ο συνδυασμός πολλαπλών εργασιών αυξάνει την απόδοση.