title: Investigating behavioural and affective cloning via imitation and reinforcement learning
title: Διερεύνηση συμπεριφοριστικών και συναισθηματικών μοντέλων μέσω μίμησης και ενισχυτικής μάθησης
Creators: name: Καπενεκακης Ανθεας
Publisher: name: Technical University of Crete
Year: 2021

description: In recent years, studying affect in computer-user interactions, video games, and even live streams has become increasingly popular. Objectively measuring the emotional experience of an audience has important implications in revenue generation and user retention. What has been relatively unstudied is user modeling by affect, especially in the context of video games. In this thesis, an initial framework and proof-of-concept for  creating an affective agent is presented, which leverages user provided annotations to change agent behavior towards displaying a specific emotion, while trying to complete a behavioral objective.
To create this agent, a tool for sourcing annotations was created and used to form a dataset with affective annotations. Then, the dataset was tested for validity by running supervised learning experiments. Using a form of Deep Q Learning, along with the dataset, a set of agents was created with each having a different objective. A primary Reinforcement Learning agent focused on completing the environment and each of the rest focused on maximizing an emotion. Lastly, the set of agents was combined in a ratio to form composite agents that focused on both affect and behavior, with certain combinations being successful at both.
description: Τα τελευταία χρόνια, η έρευνα της συναισθηματικής εμπειρίας στις αλληλεπιδράσεις μεταξύ υπολογιστών-χρηστών, βιντεοπαιχνιδιών, ακόμη και livestream, γίνεται όλο και πιο επίκαιρη. Η αντικειμενική μέτρηση της συναισθηματικής εμπειρίας ενός κοινού έχει σημαντικές επιπτώσεις στα έσοδα μίας επιχείρησης και στη διατήρηση χρηστών. Ένα πεδίο που είναι σχετικά μη ερευνημένο είναι η μοντελοποίηση των χρηστών σε μία αλληλεπίδραση, ειδικά στο πλαίσιο των βιντεοπαιχνιδιών. Σε αυτή τη διπλωματική, παρουσιάζεται μία διαδικασία για τη δημιουργία ενός συναισθηματικού πράκτορα, η οποία αξιοποιεί συναισθηματικές παρατηρήσεις από χρήστες για να μεταποιήσει τη συμπεριφορά του πράκτορα ως προς την εμφάνιση ενός συγκεκριμένου συναισθήματος, ενώ ο πράκτορας προσπαθεί να ολοκληρώσει ένα στόχο.
Για την δημιουργία αυτού του πράκτορα, δημιουργήθηκε ένα εργαλείο για την άντληση σχολιασμών από εθελοντές και χρησιμοποιήθηκε για τη δημιουργία μίας βάσης δεδομένων με συναισθηματικούς σχολιασμούς. Στη συνέχεια, αυτή η βάση δοκιμάστηκε για εγκυρότητα εκτελώντας πειράματα supervised learning. Χρησιμοποιώντας μια μορφή του αλγορίθμου Deep Q Learning, μαζί με τα δεδομένα που συλλέχθηκαν, δημιουργήθηκε ένα σύνολο πρακτόρων, με τον κάθε έναν να έχει διαφορετικό στόχο. Ο πρωτεύων πράκτορας, μέσω Reinforcement Learning, επικεντρώθηκε στην ολοκλήρωση του στόχου στο περιβάλλον, ενώ οι υπόλοιποι επικεντρώθηκαν στη μεγιστοποίηση ενός συναισθήματος. Τελικά, το σύνολο των πρακτόρων συνδυάστηκε σε διάφορες αναλογίες για να σχηματιστούν σύνθετοι πράκτορες που επικεντρώνονταν το συναίσθημα όσο και στη συμπεριφορά, με ορισμένους συνδυασμούς να είναι επιτυχημένοι και στα δύο.