title: Providing personalized recommendations for interactive story generation
title: Παροχή προσωποποιημένων συστάσεων για διαδραστική δημιουργία ιστοριών
Creators: name: Πορτοκαλακης Πετρος
Publisher: name: Technical University of Crete
Year: 2020

description: Interactive narrative is a form of digital entertainment where players can create or influence a storyline through actions, usually by controlling the role of one (or more) characters in a virtual world. In story-based games or any other interactive story system in general, a drama manager is an omniscient agent that acts to guide the user through the story space. While drama managers tend to improve user enjoyment, they do not take into account the user’s preferences. In this thesis, we present a drama manager that tries to tackle the sequential recommendation problem, while taking into account user preferences. In order to create and maintain user engagement, we present a recommendation approach using probabilistic topic modeling, intertwined with reinforcement learning. We use the Latent Dirichlet Allocation topic modeling algorithm, applied in a Choose Your Own Adventure (CYOA) book to capture its latent topics. The key aspect of our drama manager is that we model the user herself as an evolving document represented by its respective mixture of latent topics; and which is appropriately updated every time the user consumes an item. Also, inspired by reinforcement learning literature, we introduce the use of variable learning rate for drama managers, directly associated with the user model updating, and based on the well-known “Win
of Learn Fast” reinforcement learning method. The algorithm is trained using all the Wikipedia articles referring to books. We also provide an efficient parser for Wikipedia articles. Experimental evaluation results are promising, showing that our drama manager is capable of providing efficient recommendations to the user.
description: Η διαδραστική αφήγηση (interactive narrative) είναι μία μορφή ψηφιακής ψυχαγωγίας όπου οι χρήστες δημιουργούν ή επηρεάζουν μία πλοκή. Αυτό συνήθως γίνεται μέσω του έλεγχου ενός (ή περισσότερων) χαρακτήρων σε έναν εικονικό κόσμο. Σε παιχνίδια βασισμένα στην πλοκή ή άλλα διαδραστικά συστήματα, ο διαχειριστής δράματος (drama manager) είναι ένας παντογνώστης πράκτορας που έχει σαν σκοπό να καθοδηγήσει τον χρήσει μέσα στον
χώρο που δημιουργείται από όλες τις πιθανές πλοκές που μπορεί να προκύψουν (story space). Στα περισσότερα διαδραστικά συστήματα αφήγησης εώς τώρα, ένας διαχειριστής δράματος προσπαθεί να βελτιώσει την εμπειρία του χρήστη, χωρίς όμως να λαμβάνει υπόψη τις προτιμήσεις του. Σε αυτήν την διπλωματική εργασία, παρουσιάζουμε έναν διαχειριστή δράματος που προσπαθεί να λύσει το πρόβλημα της ακολουθιακής σύστασης (sequential recommendation problem) ενώ ταυτόχρονα λαμβάνει υπόψη τις προτιμήσεις του χρήστη. Το σύστημά μας
πρέπει να δημιουργήσει και να διατηρήσει την ενασχόληση του χρήστη με αυτό. Οπότε, προτείνουμε μια προσέγγιση για προσωποποιημένες συστάσεις χρησιμοποιώντας πιθανοτικά μοντέλα (probabilistic topic models) μαζί με ενισχυτική μάθηση (reinforcement learning). Χρησιμοποιούμε τον αλγόριθμο πιθανοτικού συμπερασμού Latent Dirichlet Allocation (LDA), με εφαρμογή σε βιβλία Choose Your Own Adventure με απώτερο σκοπό να ανακαλυφθούν οι θεματολογίες που πραγματεύονται. Ο βασικός πυλώνας του διαχειριστή δράματος που προτείνουμε, είναι η μοντελοποίηση του χρήστη ώς ένα αναπτυσσόμενο (στον χρόνο) κείμενο, το οποίο αποτελείται από διάφορα θέματα σε διαφορετικά ποσοστά, και το οποίο ανανεώνεται κάθε φορά που ο χρήστης "καταναλώνει" ένα αντικείμενο που του έχει συσταθεί. Ακόμα, εμπνευσμένοι από τον τομέα της ενισχυτικής μάθησης προτείνουμε την χρήση μεταβλητού ρυθμού μάθησης (learning rate) σε διαχειριστές δράματος. Η τεχνική για μεταβλητό ρυθμό μάθησης που χρησιμοποιούμε βασίζεται στον γνωστό αλγόριθμο ενισχυτικής μάθησης
“Κέρδισε ή Μάθε Γρήγορα" (Win or Learn Fast). Ο ρυθμός μάθησης είναι συνδεδεμένος με την ανανέωση του μοντέλου χρήστη. Ο αλγόριθμός μας εκπαιδεύτηκε χρησιμοποιώντας όλα τα άρθρα της Wikipedia που περιλαμβάνουν περιγραφές βιβλίων. Επίσης, παρέχουμε έναν ολοκληρωμένο αναλυτή κειμένου, για την σωστή αποθήκευση και επεξεργασία των κειμένων της Wikipedia. Η πειραματική αξιολόγηση της προσέγγισής μας είναι ενθαρρυντική, καθώς
τα αποτελέσματά της δεικνύουν ότι ο διαχειριστής δράματος είναι ικανός να κάνει σωστές συστάσεις στον χρήστη.