Utilising Semantic Segmentation to Improve the Performance of Reinforcement Learning Based Agents in Doom Video Game
Creators: name: Πουρνάρας, Αλέξανδρος Αγαθοκλή
Publisher: name: Aristotle University of Thessaloniki
Year: 2021
Subjects: Ενισχυτική μάθηση
Σημασιολογική κατάτμηση
Βιντεοπαιχνίδια
Reinforcement learning
Semantic segmentation
Video games

description: Video games have become a popular testbed for artificial intelligence research, with reinforcement learning techniques being at the forefront. Deep reinforcement learning, especially, has attracted significant attention due to its groundbreaking achievements in games like StarCraft and Go. Deep reinforcement learning agents can learn from the pixels of the game's screen without manual engineering of the state space of the environment. In this work, we investigate the benefits of training an agent with the semantically segmented screen input of the game, something that has not been tested in the literature, at the best of our knowledge. We argue that a semantically segmented screen would reduce the effort needed by the agent to distinguish between the different objects and assist its decision process. We choose to test our approach in the Doom game, a well-known first person shooter game. The ViZDoom platform is used for developing and evaluating our approach. As a first step, we create a dataset from game frames and their respective segmentation ground truth to train our segmentation model. Then we train a DeepLabv3+ segmentation model with this dataset to achieve solid prediction results. As a deep reinforcement learning agent, we adopt a policy gradient based approach called Proximal Policy Optimization, as it has the capacity to learn to competitively play the most demanding ViZDoom scenario, the Deathmatch. In this scenario the player needs to navigate in a map with walls and corridors, shoot enemy bots and pick up important items. We train our agent to play the game by feeding it with segmented game frames that our segmentation model produces. We also experiment with alternate segmentation setups where we include only a subset of the classes, as well as with different resolutions and agent parameters. The experiments we ran show encouraging results, as agents trained with segmented frames outperform the ones trained on unprocessed screen content, justifying our initial argument.
description: Τα βιντεοπαιχνίδια αποτελούν δημοφιλές πεδίο εφαρμοφής της έρευνας της τεχνητής νοημοσύνης, και ιδαίτερα της ενισχυτικής μάθησης. Ειδικά η βαθιά ενισχυτική μάθηση έχει βρεθεί στο επίκεντρο της προσοχής τελευταία εξαιτίας σημαντικών επιτευγμάτων σε βιντεοπαιχίδια όπως το StarCraft και το Go. Οι πράκτορες που χρησιμοποιούν βαθιά ενισχυτική μάθηση μπορούν να μάθουν να παίζουν ένα παιχνίδι από τα εικονοστοιχεία της οθόνης, χωρίς να υπάρχει ανάγκη προγραμματιστικής δημιουργίας μιας αναπαράστης της κατάστασης του περιβάλλοντος. Σε αυτήν την εργασία διερευνούμε τα πλεονεκτήματα της εκπαίδευσης ενός πράκτορα από σημασιολογικά κατατετμημένη εικόνα ενός παιχνιδιού, κάτι που δεν έχει διερευνηθεί όσο γνωρίζουμε. Ισχυριζόμαστε ότι η σημασιολογικά κατατετμημένη εικόνα θα μείωνε την απαιτούμενη προσπάθεια από τον πράκτορα να διακρίνει τα διαφορετικά αντικείμενα και θα βοηθούσε την διαδικασία λήψης απόφασης. Επιλέγουμε να δοκιμάσουμε την προσέγγισή μας στο παιχνίδι Doom, ένα δημοφιλές παιχνίδι της κατηγορίας first person shooter. Χρησιμοποιούμε την πλατφόρμα ViZDoom που μας δίνει εύκολη προγραμματιστική πρόσβαση στο παιχνίδι. Σαν πρώτο βήμα, δημιουργούμε ένα σετ δεδομένων εκπαίδευσης που αποτελείται από καρέ του παιχνιδιού και τις αντίστοιχες αληθείς επισημειώσεις κατάτμησης για την εκπαίδευση του αλγορίθμου κατάτμησης. Στη συνέχεια, εκπαιδεύουμε το μοντέλο κατάτμησης DeepLabv3+ με αυτό το σετ δεδομένων και πετυχαίνουμε ικανοποιητικά αποτελέσματα. Για τον πράκτορα εφαρμόζουμε τη μέθοδο Proximal Policy Optimization της οικογένειας των policy gradient μεθόδων, μία μέθοδος ικανή να μάθει να παίζει το πιο απαιτητικό σενάριο του παιχνιδιού, το Deathmatch. Σε αυτό το σενάριο ο παίχτης πρέπει να πλοηγηθεί σε μια πίστα με τοίχους και διαδρόμους, να εξουδετερώσει αντιπάλους και να συλλέξει χρήσιμα αντικείμενα. Εκπαιδεύουμε τον πράκτορα δινοντάς του ως είσοδο κατατετμημένα καρέ του παιχνιδιού που παράγει ο αλγόριθος κατάτμησης που χρησιμοποιούμε. Επίσης, πειραματιζόμαστε κάνοντας χρήση υποσυνόλων των κλάσεων κατάτμησης αλλά και δοκιμάζοντας διαφορετικών διαστάσεων καρέ και άλλων παραμέτρων του πράκτορα. Τα πειράματα που τρέξαμε δίνουν ενθαρρυντικά αποτελέσματα, καθώς οι πράκτορες που είχαν εκπαιδευτεί με κατατετμημένα καρέ αποδίδουν καλύτερα από αυτούς που εκπαιδεύτηκαν με ανεπεξέργαστα καρέ, επαληθεύοντας τον αρχικό μας ισχυρισμό.