Distribution shift detection in computer vision
Creators: name: Χαραλαμπάκης, Ευάγγελος Εμμανουήλ
Publisher: name: Aristotle University of Thessaloniki
Year: 2023
Subjects: Μεταβολή Κατανομής
Υπλογιστική Όραση
Βαθειά Μάθηση
Distribution Shift
Computer Vision
Deep Learning

description: Distribution Shift Detection (DSD) is utilized when a pre-trained machine learning model deployed in-the-field has to analyze test-stage inputs drawn from a data distribution that may differ from that of the training dataset. DSD algorithms for Deep Neural Networks (DNNs) attempt to identify Out-of-Distribution (OOD) test samples, so as to avoid incorrect decisions at the inference stage. The majority of the relevant research is dedicated to classification tasks. Very little effort has been expended in detecting distribution shifts in tasks that may be formulated as regression problems. Such tasks, which constitute safety-critical aspects in various autonomous systems (e.g., self-driving cars, autonomous drones, etc.), are monocular depth estimation (MDE) and 3D human pose estimation (3D HPE). This work presents an effective DSD method for DNNs, called Error-based Distribution Shift Detection (E-DSD). The outputs of a task-specific pre-trained DNN combined with its intermediate representations, are used as ground-truth and input data correspondingly, for an auxiliary DNN training in the same regression task. During deployment, both the pre-trained and the auxiliary DNNs estimate the regression target for each-test stage image. The underlying intuition is, that if the neural architectures and the learning paradigms of the DNNs are different, the networks’ outputs will be in less agreement for OOD images compared to In-Distribution (ID) ones. Extensive experimental evaluation on public datasets showcases that E-DSD significantly surpasses competing OOD detectors for MDE tasks. Moreover, we present a different approach for 3D skeleton-based Human Pose Estimation, based on the same principles but adapted on the inherently different data modality of 2D skeletons.
description: Η ανίχνευση μετατόπισης κατανομής (Distribution Shift Detection - DSD) χρησιμοποιείται όταν ένα προεκπαιδευμένο μοντέλο μηχανικής μάθησης που έχει τεθεί σε λειτουργία στον πραγματικό κόσμο πρέπει να αναλύσει εισόδους που προέρχονται από μια κατανομή δεδομένων που μπορεί να διαφέρει από αυτήν του συνόλου εκπαίδευσης. Οι αλγόριθμοι DSD για βαθιά νευρωνικά δίκτυα (Deep Neural Networks - DNNs) προσπαθούν να αναγνωρίσουν δείγματα εκτός της διανομής (Out-of-Distribution - OOD) στις εισόδους, προκειμένου να αποφευχθούν εσφαλμένες αποφάσεις στο στάδιο της εκτίμησης. Η πλεονότητα της σχετικής έρευνας αφορά τις εργασίες ταξινόμησης. Πολύ λίγη προσπάθεια έχει αφιερωθεί στην ανίχνευση μετατόπισης κατανομής σε εργασίες που μπορεί να διατυπωθούν ως προβλήματα παλινδρόμησης. Τέτοιες εργασίες, οι οποίες αποτελούν κρίσιμες πτυχές σε διάφορα αυτόνομα συστήματα (π.χ., αυτοκίνητα αυτόνομης οδήγησης, αυτόνομα drones κλπ.), είναι η εκτίμηση βάθους (Monocular Depth Estimation - MDE) και η εκτίμηση της τρισδιάστατης ανθρώπινης στάσης (3D Human Pose Estimation - 3D HPE). Η εργασία παρουσιάζει μια αποτελεσματική μέθοδο DSD για τα DNN, η οποία ονομάζεται Error-based Distribution Shift Detection (E-DSD). Τα αποτελέσματα ενός προεκπαιδευμένου DNN σε συνδιασμό με τις ενδιάμεσες αναπαραστάσεις του, χρησιμοποιούνται ως αναφορά και δεδομένα εισόδου αντίστοιχα για την εκπαίδευση ενός βοηθητικού DNN στην ίδια εργασία παλινδρόμησης. Κατά τη διάρκεια της ανάπτυξης, τόσο το προεκπαιδευμένο όσο και το βοηθητικό DNN εκτιμούν τον στόχο της παλινδρόμησης για κάθε είσοδο. Η βασική ιδέα είναι ότι αν οι νευρωνικές αρχιτεκτονικές και οι μοντέλα μάθησης των DNN είναι διαφορετικά, τα αποτελέσματα των δικτύων θα είναι λιγότερο σύμφωνα για εισόδους εκτός της κατανομής εκπαίδευσης σε σύγκριση με αυτές που ανήκουν στην ίδια κατανομή. Εκτενής πειραματικός έλεγχο σε δημόσια σύνολα δεδομένων δείχνει ότι το E-DSD υπερτερεί σημαντικά τους ανταγωνιστικούς ανιχνευτές του OOD για τις εργασίες του MDE. Επιπλέον, παρουσιάζουμε μια διαφορετική προσέγγιση για την εκτίμηση της ανθρώπινης πόζας βάσει σκελετού 3D, βασισμένη στις ίδιες αρχές αλλά προσαρμοσμένη στην διαφορετική κατανομή και φύση των 2D σκελετών που αποτελούν τα δεδομένα εισόδου.