Εκπαίδευση Νευρωνικών Δικτύων Παρουσία Θορύβου Ετικετών
Creators: name: Πετρόπουλος, Αλέξανδρος Χρήστου
Publisher: name: Aristotle University of Thessaloniki
Year: 2020
Subjects: Βαθιά μάθηση
Θόρυβος ετικετών
Αυτό-εκμάθηση
Deep learning
Label noise
Self-learning

description: Τα τελευταία χρόνια σημειώθηκε αύξηση της διαθεσιμότητας δεδομένων και της υπολογιστικής ισχύος, η οποία οδήγησε σε ανώτερη απόδοση στην εκπαίδευση μοντέλων βαθιάς μάθησης για την ταξινόμηση εικόνας. Ωστόσο, σε πολλές περιπτώσεις χρήσης του πραγματικού κόσμου, τα σύνολα δεδομένων εκπαίδευσης συνοδεύονται από θορυβώδεις ετικέτες που έχουν δημιουργηθεί αυτόματα για ένα μικρό υποσύνολο των διαθέσιμων δεδομένων. Για αυτό το λόγο, το ζήτημα του θορύβου της ετικέτας, έχει μελετηθεί εκτενώς και έχουν προταθεί πολλές τεχνικές για την αποτελεσματική αντιμετώπιση του. Ειδικότερα σε αυτή την εργασία, θα χρησιμοποιήσουμε τεχνικές αυτο-εκμάθησης, για να διερευνήσουμε στρατηγικές για τη διατήρηση της απόδοσης ταξινόμησης, όταν οι ετικέτες γίνονται θορυβώδεις και αραιές. Συγκεκριμένα, αξιολογούμε την αποτελεσματικότητα του συνδυασμού PENCIL, ενός πλαισίου για τη διόρθωση θορυβωδών ετικετών κατά τη διάρκεια της εκπαίδευσης και του AMDIM, μιας τεχνικής αυτο-εκμάθησης για την εκμάθηση καλών αναπαραστάσεων των δεδομένων από δεδομένα χωρίς ετικέτες. Προτείνουμε δύο τρόπους αξιοποίησης των πληροφοριών που παρέχονται από το AMDIM στο PENCIL. Στην πρώτη περίπτωση αλλάζουμε τη συνάρτηση απώλειας του PENCIL, βασισμένοι στην πληροφορία του AMDIM, πετυχαίνοντας καλύτερη απόδοση σε μεγάλα ποσοστά θορύβου. Αντίθετα, στη δεύτερη περίπτωση αξιοποιούμε το πλήρες δίκτυο του AMDIM στο PENCIL, δείχνοντας επιπλέον ότι αυτός ο συνδυασμός, είναι πολύ πιο αποτελεσματικός όταν αντιμετωπίζουμε αραιές και θορυβώδεις ετικέτες, σε σύγκριση με τη χρήση μίας από αυτές τις προσεγγίσεις μόνο.
description: Recent years have seen an increase in data availability and computational power, which has led to superior performance in training deep learning models for image classification. In many real-world use-cases, however, the training datasets come with noisy labels that have been automatically generated for a small subset of the available data. For this reason, the issue of label noise, has been extensively studied and many techniques have been proposed to tackle the problem efficiently. In particular, in this work, we will use self-supervised learning techniques to explore strategies for maintaining classification performance when labels become noisy and sparse. Specifically, we evaluate the effectiveness of combining PENCIL, a framework for correcting noisy labels during training and AMDIM, a self-learning technique for learning good data representations from unlabeled data. We propose two ways to leverage the information provided by AMDIM in PENCIL. In the first case we change the loss function of PENCIL, based on the information of AMDIM, achieving better performance at high noise rates. While in the second case, we utilize the full network of AMDIM in PENCIL, showing in addition that this combination is significantly more effective when dealing with sparse and noisy labels, compared to using either of these approaches alone.
description: Σε συνεργασία με: Λογιστικής και Χρηματοοικονομικής (Πανεπιστήμιο Μακεδονίας)