title: Interactive story generation via content-based filtering

title: Διαδραστική δημιουργία ιστοριών με χρήση τεχνικών φιλτραρίσματος βάσει περιεχομένου 
Creators: name: Σεφερλη Ηλιοδωρα
Publisher: name: Technical University of Crete
Year: 2024

description: In resent times, Artificial Intelligence (AI) has started to expand in many domains, as much in science as in the world of gaming development. In our thesis, we explore the use of an AI agent in the development of an interactive story generation system through the application of content-based filtering techniques. The primary goal is to design a dynamic storytelling mechanism (colloquially known as a “drama manager” - DM) capable of predicting and generating narrative paths aligned with user preferences. Leveraging text vectorization techniques, such as Term Frequency-Inverse Document Frequency (TF-IDF) and Class Label Frequency Distance (CLFD), the system is trained on a dataset comprising book summaries
and their associated genres.
The study evaluates the efficacy of classification methods, such as Logistic Regression, Support Vector Machines (SVM), Multi-Layer Perceptron (MLP), Random Forest, and Naive Bayes, in enhancing the DM’s ability to comprehend and predict narrative elements within specific chapters. The use of clustering methods is also examined to determine if the inclusion of the non-labeled chapters will provide better results. By examining both approaches, our thesis work manages to identify the most effective strategy for the DM to categorize and generate content that resonates with users’ tastes. The evaluation of our methods was conducted both in silico, but also via the involvement of real users who interacted with the system, choosing paths in the story determined by the DM based on its classification capabilities. To this end, we also provided a graphical interface, where users can read stories and choose their own path of story development.
Specifically, experimental results for the classification methods indicate that Logistic Regression is the fastest and most effective method for accurately recognizing each path label. We tested our system with two different datasets containing book summaries with different numbers of documents, examining how the results differ with the use of small vs large datasets. Additionally, we show experimentally that the CLFD approach is better for text vectorization for genres that appear to be multi-labeled. We received user evaluations for its path recommendations and how the framework overall works for them.
In summary, our work contributes to the field of interactive storytelling by providing insights into the application of advanced text vectorization and machine learning techniques for narrative generation. It highlights the importance of understanding user preferences and offers a framework for developing intelligent DMs capable of delivering customized story paths.
description: Τα τελευταία χρόνια, η Τεχνητή Νοημοσύνη έχει αρχίσει να επεκτείνεται σε διάφορους τομείς, τόσο στον κόσμο της επιστήμης, όσο και στον κόσμο των παιχνιδιών. Η παρούσα διπλωματική εργασία πραγματεύεται την ανάπτυξη ενός διαδραστικού συστήματος παραγωγής ιστοριών μέσω της εφαρμογής τεχνικών φιλτραρίσματος βάσει περιεχομένου. Ο κύριος στόχος είναι να σχεδιαστεί ένας δυναμικός μηχανισμός αφήγησης (στην αγγλική καθομιλουμένη, ένας drama
manager - DM) ικανός να προβλέπει και να δημιουργεί αφηγηματικές διαδρομές ευθυγραμμισμένες με τις προτιμήσεις των χρηστών. Αξιοποιώντας τεχνικές αναπαράστασης κειμένου, όπως Term Frequency-Inverse Document Frequency (TF-IDF) και Class Label Frequency Distance (CLFD), το σύστημα εκπαιδεύεται σε ένα σύνολο δεδομένων που περιλαμβάνει περιλήψεις βιβλίων και τα αντίστοιχα είδη τους.
Η μελέτη μας αξιολογεί την αποτελεσματικότητα μεθόδων ταξινόμησης, όπως Logistic Regression, Support Vector Machines (SVM), Multi-Layer Perceptron (MLP), Random Forest, και Naive Bayes, στη βελτίωση της ικανότητας του DM να κατανοεί και να προβλέπει αφηγηματικά στοιχεία εντός συγκεκριμένων κεφαλαίων. Εξετάζεται επίσης η χρήση μεθόδων συσταδοποίησης για να διαπιστωθεί αν η ενσωμάτωση κεφαλαίων χωρίς ετικέτες θα παρέχει καλύτερα αποτελέσματα. Εξετάζοντας και τις δύο προσεγγίσεις, η έρευνά μας στόχευε στον εντοπισμό
της πιο αποτελεσματικής στρατηγικής για τον DM να κατηγοριοποιεί και να δημιουργεί περιεχόμενο που να ανταποκρίνεται στις προτιμήσεις των χρηστών. Η αξιολόγηση αυτών των μεθόδων περιελάμβανε τόσο υπολογιστικά πειράματα, όσο και την αξιοποίηση πραγματικών χρηστών που αλληλεπίδρασαν με το σύστημα, επιλέγοντας διαδρομές στην ιστορία που καθορίστηκαν από τον DM βάσει των ταξινομικών του ικανοτήτων. Για το σκοπό αυτό, παρέχουμε ένα γραφικό περιβάλλον, όπου οι χρήστες μπορούν να διαβάσουν και να επιλέξουν τη δική τους διαδρομή.
Συγκεκριμένα, τα πειραματικά αποτελέσματα για τις μεθόδους ταξινόμησης δείχνουν ότι η Λογιστική Παλινδρόμηση είναι η ταχύτερη και πιο αποτελεσματική μέθοδος για την ακριβή αναγνώριση κάθε ετικέτας διαδρομής. Δοκιμάσαμε τη θεωρία μας με δύο διαφορετικά σύνολα δεδομένων που περιλαμβάνουν περιλήψεις βιβλίων με διαφορετικό αριθμό εγγράφων, εξετάζοντας πώς διαφέρουν τα αποτελέσματα με τη χρήση μικρών ή μεγάλων συνόλων δεδομένων. Επιπλέον, δείχνουμε πειραματικά ότι η προσέγγιση CLFD είναι καλύτερη για την αναπαράσταση κειμένου για είδη που εμφανίζονται με πολλαπλές ετικέτες. Λάβαμε αξιολογήσεις χρηστών για τις συστάσεις διαδρομών του συστήματος και πώς το πρόγραμμα λειτουργεί συνολικά για αυτούς.
Εν κατακλείδι, πιστεύουμε ότι η εργασία μας συμβάλλει στον τομέα της διαδραστικής αφήγησης παρέχοντας πληροφορίες σχετικά με την εφαρμογή προηγμένων τεχνικών αναπαράστασης κειμένου και μηχανικής μάθησης για την παραγωγή αφηγηματικών διαδρομών. Υπογραμμίζει τη σημασία της κατανόησης των προτιμήσεων των χρηστών και προσφέρει ένα πλαίσιο για την ανάπτυξη ευφυών DM ικανών να παρέχουν εξατομικευμένες αφηγηματικές διαδρομές.