Active Perception in Face Recognition using Navigation in Simulated Environments
Creators: name: Λουφάκης, Μιχαήλ Αυγουστίνου
Publisher: name: Aristotle University of Thessaloniki
Year: 2023
Subjects: Τεχνητή Νοημοσύνη
Βαθιά Μάθηση
Ενεργή Αντίληψη
Αναγνώριση Προσώπου
Artificial intelligence
Deep Learning
Active Perception
Face Recognition

description: In the realm of robotics, the ability of active perception notably enhances the effectiveness of face recognition tasks. This thesis underscores the significance of face recognition and explores the integration of active perception in robotics, focusing on improving face recognition performance in scenarios with occluded faces. We propose, examine, and compare four innovative methods of active perception using a drone equipped with a mounted camera in the simulated environment of Webots, where faces are obscured by various objects. Initially, a substantial dataset of simulated images was collected, featuring occluded faces. Subsequently, four distinctive labeling methods are applied to these images, enabling the training of a HydraNet architecture. This multitask learning architecture is trained to predict the optimal direction for the drone’s movement, aiming to achieve enhanced face recognition scores. After a thorough evaluation of various architectural configurations, the most effective model emerges as one leveraging an EfficientNetB0 backbone with three heads for horizontal and vertical decision-making and depth estimation. This model was trained with the labeling method that incorporates a Gaussian decay window, assessing potential improvements or losses in face recognition in each direction. The methodology demonstrates a substantial increase in verification score accuracy, starting from 70.83% on initially occluded faces to 94.87% following the network’s guidance with the drone. The efficacy of this approach is further validated in two real-case scenarios: one involving faces occluded by urban objects and another with faces obscured by other individuals in an over-the-shoulder conversation angle. In these practical contexts, the model boosts verification accuracy from 66.97% to 93.39% and from 72.66% to 95.99% for urban and over-the-shoulder scenarios, respectively.
description: Στον τομέα της ρομποτικής, η ικανότητα ενεργητικής αντίληψης ενισχύει σημαντικά την αποτελεσματικότητα των εργασιών αναγνώρισης προσώπου. Η παρούσα διατριβή υπογραμμίζει τη σημασία της αναγνώρισης προσώπων και διερευνά την ενσωμάτωση της ενεργητικής αντίληψης στη ρομποτική, εστιάζοντας στη βελτίωση της απόδοσης αναγνώρισης προσώπων σε σενάρια με καλυμμένα πρόσωπα. Προτείνουμε, εξετάζουμε και συγκρίνουμε τέσσερις καινοτόμες μεθόδους ενεργητικής αντίληψης χρησιμοποιώντας ένα drone εξοπλισμένο με μια κάμερα, στο προσομοιωμένο περιβάλλον του Webots, όπου τα πρόσωπα καλύπτονται από διάφορα αντικείμενα. Αρχικά, συλλέχθηκε ένα σημαντικό σύνολο δεδομένων προσομοιωμένων εικόνων, με καλυμμένα πρόσωπα. Στη συνέχεια, τέσσερις διακριτές μέθοδοι επισήμανσης εφαρμόζονται σε αυτές τις εικόνες, επιτρέποντας την εκπαίδευση μιας αρχιτεκτονικής HydraNet. Αυτή η αρχιτεκτονική μάθησης πολλαπλών καθηκόντων εκπαιδεύεται για να προβλέπει τη βέλτιστη κατεύθυνση για την κίνηση του drone, με στόχο την επίτευξη βελτιωμένων αποτελεσμάτων στην αναγνώρισης προσώπων. Μετά από ενδελεχή αξιολόγηση διαφόρων αρχιτεκτονικών, το πιο αποτελεσματικό μοντέλο αναδεικνύεται ως αυτό που αξιοποιεί μια ραχοκοκαλιά EfficientNetB0 με τρεις κεφαλές για την οριζόντια και κάθετη λήψη αποφάσεων και την εκτίμηση βάθους. Αυτό το μοντέλο εκπαιδεύτηκε με τη μέθοδο επισήμανσης που ενσωματώνει ένα παράθυρο αποσύνθεσης Gauss, αξιολογώντας πιθανές βελτιώσεις ή απώλειες στην αναγνώριση προσώπου σε κάθε κατεύθυνση. Η μεθοδολογία επιδεικνύει σημαντική αύξηση της ακρίβειας του σκορ επαλήθευσης, ξεκινώντας από 70.83% σε αρχικά καλυμμένα πρόσωπα και φτάνοντας στο 94, 87% μετά την καθοδήγηση του drone από το δικτυο. Η αποτελεσματικότητα αυτής της προσέγγισης επικυρώνεται περαιτέρω σε δύο σενάρια του πραγματικού κόσμου: το ένα αφορά πρόσωπα που αποκρύπτονται από αστικά αντικείμενα και το άλλο με πρόσωπα που αποκρύπτονται από άλλα άτομα σε μια γωνία συνομιλίας πάνω από τον ώμο. Σε αυτά τα πρακτικά πλαίσια, το μοντέλο ενισχύει την ακρίβεια επαλήθευσης από 66, 97% σε 93, 39% και από 72, 66% σε 95, 99% για τα αστικά σενάρια και τα σενάρια πάνω από τον ώμο, αντίστοιχα.