Deep reinforcement learning for active face recognition
Creators: name: Τοσίδης, Παύλος Απόστολου
Publisher: name: Aristotle University of Thessaloniki
Year: 2021
Subjects: Ενεργός αντίληψη
Βαθιά ενισχυτική Μάθηση
Ρομποτική
Active Percepetion
Deep Reinforcement Learning
Robotics

description: Τα τελευταία χρόνια υπάρχει μια μεγάλη άνθιση στο πεδίο της Τεχνητής Νοημοσύνης. Η πληθώρα των διαθέσιμων δεδομένων, όπως επίσης και η ανάπτυξη της υπολογιστικής δύναμης, οδήγησαν την Τεχνητή Νοημοσύνη να πρωτοστατεί πλέον σε πολλά επιστημονικά πεδία, όπως την υπολογιστική όραση, την επεξεργασία φυσικής γλώσσας, την ρομποτική, την ιατρική, την αυτοκίνηση κ.α.. Είναι πλέον ξεκάθαρο πως μεθοδολογίες Τεχνητής Νοημοσύνης επηρεάζουν όλους τους βιομηχανικούς κλάδους, όπως και την καθημερινότητα των ανθρώπων. Στον τομέα της ρομποτικής, τα ρομπότ είναι σε θέση να αλληλεπιδρούν με το περιβάλλον τους για να καταλαβαίνουν καλύτερα τον κόσμο. Αυτή η βασική ικανότητα των ρομπότ αγνοείται συχνά από την κοινότητα της Βαθιάς Μάθησης, η οποία έχει συνηθίσει να εκπαιδεύει Βαθιά Νευρωνικά Δίκτυα χρησιμοποιώντας στατικά σύνολα δεδομένων, περιορίζοντας έτσι τις ικανότητες των ρομπότ να μάθουν πώς να αντιλαμβάνονται ενεργά το περιβάλλον τους και έτσι να λύνουν με μεγαλύτερη ακρίβεια εργασίες σε σενάρια πραγματικού κόσμου. Τα ρομπότ πρέπει να επιλέξουν συμπεριφορές για να αυξήσουν την πληροφορία που δέχονται από τη ροή δεδομένων που παράγουν αυτές οι συμπεριφορές. Ένα ρομπότ θα πρέπει να μπορεί να κινείται στο περιβάλλον του για να βελτιώσει την θέση θέασης ενός συγκεκριμένου αντικειμένου για να δράσει, και να λύσει ένα πρόβλημα τελικά, με βάση τη νέα του θέση. Η Ενισχυτική Μάθηση είναι ένας πολλά υποσχόμενος τομέας μηχανικής μάθησης για εφαρμογές ρομποτικής σε πραγματικό κόσμο, αφού δεν απαιτεί μαζικά σύνολα δεδομένων για τη διαδικασία εκμάθησης, αλλά μόνο ένα κατάλληλο για το πρόβλημα περιβάλλον, με το οποίο μπορεί να αλληλεπιδρά ένας πράκτορας, για να μεγιστοποιήσει μια συνάρτηση ανταμοιβής. Επιπλέον, η δημιουργία ενός συνόλου δεδομένων για την εκπαίδευση ενός πράκτορα να αντιλαμβάνεται ενεργά το περιβάλλον του είναι μια δύσκολη εργασία. Σε αυτήν την εργασία μελετάμε την εκπαίδευση πρακτόρων με την χρήση Βαθιάς Ενισχυτικής Μάθησης για να λύσουμε το πρόβλημα της ενεργούς αναγνώρισης προσώπου. Ο πράκτορας ελέγχει ένα 'drone', με βάση την είσοδο της κάμεράς του, προκειμένου να μεγιστοποιήσει την βεβαιότητα του στην αναγνώριση ενός ατόμου. Συγκεκριμένα, αυτή η εργασία πραγματεύεται την βελτίωση συμπεριφοράς ενός 'drone' παίρνοντας υπόψιν την ενεργό αντίληψη. Όπως και οι άνθρωποι, έτσι και τα ρομπότ, για να κατανοήσουν τον κόσμο, κινούνται και εξερευνούν στον κόσμο, παίρνοντας δείγματα αυτού μέσω των αισθήσεών τους για να κατασκευάσουν μια αντίληψη του περιβάλλοντος βάσει των συμπεριφορών τους. Μέσα στο πεδίο της ενεργούς αντίληψης, η ερμηνεία των αισθητηριακών δεδομένων είναι εγγενώς αδιαχώριστη από τις συμπεριφορές που απαιτούνται για τη σύλληψη αυτών των δεδομένων. Σε αυτήν την εργασία υλοποιέιται ο αλγόριθμος Βαθιάς Ενισχυτικής Μάθησης 'PPO' για την εκμάθηση των πρακτόρων. Πιο συγκεκριμένα, εκπαιδεύουμε δύο διαφορετικούς πράκτορες σε δύο διαφορετικά σενάρια με στόχο ο πράκτορας να μετακινήσει ένα 'drone' σε τέτοια θέση αναφορικά με ένα ανθρώπινο μοντέλο, ώστε να έχει την μέγιστη βεβαιότητα ως προς την αναγνώριση του μοντέλου αυτού.
description: Robots are capable to interact with their environment in order to better sense their surroundings. This key ability of robots is often ignored from the Deep Learning community, which is accustomed to train Deep Neural Networks using static datasets, thus limiting the abilities of robots to learn how to actively perceive their environment and thus solve tasks in real world scenarios more accurately. Robots need to select behaviors to increase information gain from the flow of data those behaviors produce. A robot should be able to move in its environment to improve the view of a specific object in order to act, and solve a task eventually, based on the new view. Reinforcement Learning is a promising area of machine learning for real world robotics applications, since it does not require massive annotated datasets for the learning procedure, but only a suitable for the task in hand environment, with which an agent can interact, in order to maximize a reward function. Additionally creating a dataset to train an agent to actively perceive its environment is a hard task. In this thesis we study training agents using Deep Reinforcement Learning to solve the task of active face recognition. The agent controls a drone, based on its camera input, in order to maximize its confidence on recognizing an individual. Related works on the field propose agents that either control a robot based on predefined rules or that are trained via supervised learning on existing datasets, which usually are not tailored on real life problems a robot is facing. In this paper we propose a deep reinforcement learning solution to robot control, where we apply Proximal Policy Optimization algorithm to train a simple Convolutional Neural Network to solve the task in hand. The agents are trained on a simulation environment within Webots, a robot simulator, and show promising results in the field of active face recognition.