Deep Reinforcement Learning with Unsupervised Auxiliary Tasks for Physics-Based Games
Creators: name: Κυριακίδης, Παντελής Κωνσταντίνου
Publisher: name: Aristotle University of Thessaloniki
Year: 2023
Subjects: Βαθιά Ενισχυτική Μάθηση
Μη επιβλεπόμενη Ενισχυτική Μάθηση
Βοηθητικοί Στόχοι
Deep Reinforcement Learning
Unsupervised Reinforcement Learning
Auxiliary Tasks

description: Since the scientific community began approaching games as challenges, a variety of cutting-edge strategies and algorithms have been devised, which has led to an expansion of the bounds of Artificial Intelligence. As this strategy was shown to be effective, it led to the research of games that were progressively more complicated. Since then, this endeavor has resulted in a number of significant advancements. Rocket League is a 3D multiplayer video game similar to soccer that has a unique physics engine and complex gameplay mechanics. Despite its widespread popularity, the game has not yet been subjected to a comprehensive research effort. However, while having a big active user base, the complexity of its dynamics presents a considerable problem when it comes to the creation of agents that have high levels of effciency and performance. At the same time, Unsupervised approaches to Reinforcement Learning have recently demonstrated huge potential for the advancement of Reinforcement Learning field—and by extension, Artificial Intelligence—in an effort to reach Human-Level Intelligence. Instead of focusing only on one narrow human-designed task, Unsupervised methods in RL devise policies that mimic the way a human learns by exploring aspects of the environment through the processing of the sensorimotor stream, developing a perception of the dynamics of the environment, and mastering low to high-level skills guided by their curiosity. In this thesis, we explore the use of Auxiliary control tasks, which aim to learn parallel and partially shared policies that solve self-supervised tasks such as Reward Prediction and State Representation. Attached to the main RL system, these auxiliary objectives manage to regularize the base policy and condition the latent representations, avoiding overtraining and providing better sample effciency and robust performance. We demonstrate through a thorough empirical evaluation that the use of such tasks is highly beneficial in the context of an agent learning to play Rocket League compared with a baseline standalone Reinforcement Learning algorithm.
description: Από τότε που η επιστημονική κοινότητα άρχισε να προσεγγίζει τα παιχνίδια ως προκλήσεις, έχουν επινοηθεί διάφορες state-of-the-art στρατηγικές και αλγόριθμοι, γεγονός που οδήγησε σε διεύρυνση των ορίων της Τεχνητής Νοημοσύνης. Καθώς η στρατηγική αυτή αποδείχθηκε αποτελεσματική, οδήγησε στην έρευνα για ολοένα και πιο περίπλοκα παιχνίδια. Έκτοτε, η προσπάθεια αυτή οδήγησε σε μια σειρά σημαντικών επιτευγμάτων. Το Rocket League είναι ένα τρισδιάστατο βιντεοπαιχνίδι πολλαπλών παικτών παρόμοιο με το ποδόσφαιρο που διαθέτει μια μοναδική μηχανή φυσικής και πολύπλοκους μηχανισμούς παιχνιδιού. Παρά την ευρεία δημοτικότητά του, το παιχνίδι δεν έχει ακόμη υποβληθεί σε μια εκτεταμένη ερευνητική προσπάθεια. Ωστόσο, ενώ διαθέτει μεγάλη βάση ενεργών χρηστών, η πολυπλοκότητα της δυναμικής του αποτελεί σημαντικό πρόβλημα όσον αφορά τη δημιουργία πρακτόρων που έχουν υψηλά επίπεδα αποτελεσματικότητας και απόδοσης. Ταυτόχρονα, οι μη επιβλεπόμενες προσεγγίσεις στην Ενισχυτική Μάθηση (Reinforcement Learning, RL) έχουν πρόσφατα επιδείξει τεράστιες δυνατότητες για την πρόοδο του πεδίου της Ενίσχυτικής Μάθησης - και κατ' επέκταση της Τεχνητής Νοημοσύνης - σε μια προσπάθεια να φτάσουμε σε ανθρώπινο επίπεδο νοημοσύνης. Αντί να εστιάζουν μόνο σε μια συγκεκριμένη εργασία που έχει σχεδιαστεί από τον άνθρωπο, οι μη επιβλεπόμενες μέθοδοι στην Ενισχυτική Μάθηση σχεδιάζουν πολιτικές που μιμούνται τον τρόπο με τον οποίο ο άνθρωπος μαθαίνει εξερευνώντας πτυχές του περιβάλλοντος μέσω της επεξεργασίας της αισθητηριοκινητικής ροής, αναπτύσσοντας αντίληψη της δυναμικής του περιβάλλοντος και κατακτώντας δεξιότητες χαμηλού έως υψηλού επιπέδου με γνώμονα την περιέργειά του. Στην παρούσα διατριβή, διερευνούμε τη χρήση βοηθητικών εργασιών ελέγχου, οι οποίες αποσκοπούν στην εκμάθηση παράλληλων και μερικώς κοινών πολιτικών που επιλύουν αυτοεπιβλεπόμενες εργασίες όπως η Πρόβλεψη Ανταμοιβής (Reward Prediction) και η Αναπαράσταση Κατάστασης (State Representation). Συνδεδεμένοι με το κύριο αλγόριθμο RL, αυτοί οι βοηθητικοί στόχοι καταφέρνουν να κανονικοποιήσουν τη βασική πολιτική και να βελτιστοποιήσουν τις λανθάνουσες αναπαραστάσεις, αποφεύγοντας την υπερεκπαίδευση και παρέχοντας καλύτερη δειγματοληπτική αποτελεσματικότητα και εύρωστη απόδοση. Αποδεικνύουμε μέσω μιας ενδελεχούς εμπειρικής αξιολόγησης ότι η χρήση τέτοιων στόχων είναι ιδιαίτερα επωφελής στο πλαίσιο ενός πράκτορα που μαθαίνει να παίζει Rocket League σε σύγκριση με έναν βασικό αυτόνομο αλγόριθμο Ενισχυτικής Μάθησης.