Τεχνικές υπολογιστικής νοημοσύνης σε παιχνίδια στρατηγικής πραγματικού χρόνου
Creators: name: Αθανασιάδης, Χρήστος Γεωργίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2013
Subjects: Παιχνίδια στρατηγικής πραγματικού χρόνου
Υπολογιστική νοημοσύνη
Ενισχυτική μάθηση
Real Time Strategy Techniques
Computational Intelligence
Reinforcement Learning

description: Σε αυτή την εργασία θα ασχοληθούμε με τεχνικές υπολογιστικής νοημοσύνης και την εφαρμογή τους σε επιμέρους προβλήματα που συναντάμε σε παιχνίδια στρατηγικής πραγματικού χρόνου. Πιο συγκεκριμένα στην εφαρμογή Τεχνητών Νευρωνικών Δικτύων και ενισχυτικής μάθησης σε μια ομάδα προβλημάτων που αντιμετωπίσαμε σε ένα RTS - real time strategy game. Η πλατφόρμα που χρησιμοποιήθηκε για να δοκιμαστούν οι τεχνικές της εργασίας είναι το StarCraft μια εμπορική πλατφόρμα προσομοίωσης παιχνιδιού στρατηγικής πραγματικού χρόνου. Τα παιχνίδια στρατηγικής πραγματικού χρόνου είναι μια υποκατηγορία παιχνιδιών στρατηγικής. Ο παίκτης χρησιμοποιεί εργάτες για να μαζεύουν πόρους, που χρησιμοποιούνται για την κατασκευή κτιρίων, μονάδων στρατού units καθώς και αναβαθμίσεις κτιρίων και μονάδων. Το παιχνίδι τελειώνει όταν καταστρέφονται όλα τα κτίρια του αντιπάλου. Υπάρχουν πάρα πολλά θέματα με τα οποία πρέπει να καταπιαστεί ένας παίκτης, καθιστώντας έτσι τα παιχνίδια στρατηγικής πραγματικού χρόνου απαιτητικά για τον χρήστη. Οι πράκτορες agent του παιχνιδιού αντιμετωπίζουν τις ίδιες δυσκολίες με τον χρήστη αλλά επίσης έχουν να αντιμετωπίσουν το πρόβλημα της πλοήγησης στο χάρτη όπως επίσης να αντιμετωπίσουν και άλλα χαμηλού επιπέδου προβλήματα όπως επίθεση σε εχθρικές μονάδες μέσα σε μια ακτίνα δράσης. Η υλοποίηση αλγορίθμων υπολογιστικής νοημοσύνης σε παιχνίδια και ιδιαίτερα στο StarCraft είναι ευρέως διαδεδομένη τα τελευταία χρόνια στ ην επιστημονική κοινότητα. Κάθε χρόνο λαμβάνουν μέρος δεκάδες συνέδρια νοημοσύνης σε video games με κυρίαρχα το CIG το CEGGO και πολλά άλλα συνέδρια που περιλαμβάνουν διαγωνισμούς πρακτόρων agent-bot. Στην παρούσα εργασία ασχοληθήκαμε με την εφαρμογή αλγορίθμων υπολογιστικής νοημοσύνης σε διάφορα προβλήματα υψηλού επιπέδου που αντιμετωπίζει ένα bot}στο StarCraft. Στο επόμενο κεφάλαιο παραθέτουμε την εισαγωγή της διπλωματικής εργασίας παρουσιάζοντας αναλυτικά στοιχεία για τα παιχνίδια στρατηγικής πραγματικού χρόνου. Στην συνέχεια γίνεται μια εκτενής μελέτη για τις διάφορες προηγούμενες προσεγγίσεις για την αντιμετώπιση των διάφορων χαμηλού-επιπέδου προβλημάτων ενός πράκτορα. Στο 3ο κεφάλαιο γίνεται μια ανάλυση του χώρου καταστάσεων των προβλημάτων που προσπαθούμε να αντιμετωπίσουμε και στην συνέχεια στο 4ο κεφάλαιο παρουσιάζεται η προτεινόμενη αρχιτεκτονική του συστήματός μας Στο 5ο κεφάλαιο παρουσιάζονται τα νευρωνικά δίκτυα που είναι η βάση της παρούσης εργασίας και στο επόμενο κεφάλαιο γίνεται μια μελέτη των μεθόδων ενισχυτικής μάθησης. Πιο αναλυτικά παρουσιάζεται η προτεινόμενη μέθοδος στο 4ο κεφάλαιο και στην συνέχεια έχουμε τα πειραματικά αποτελέσματα και τα διάφορα παραγόμενα συμπεράσματα.
description: In this thesis, we will focus on optimization techniques in the class of individual problems in real time strategy games. More specifically, in the implementation of Artificial Neural Network and reinforcement learning in a class of problems which an agent faces in RTS-real time strategy games. The platform in which we have tested the above techniques was StarCraft which is a commercial RTS simulation platform. RTS is a sub-class of strategy games.The player uses workers to gather resources, which in turn are used for creating new buildings, training combat units, build upgrades and do research. The game is won when all buildings of the opponent(s) have been destroyed. The numerous tasks that need to be handled in real-time can be very demanding for a player. Computer players (bots) for RTS games face the same challenges, and also have to navigate units in highly dynamic game worlds and deal with other low-level tasks such as attacking enemy units within fire range.The numerous tasks that need to be handled in real-time can be very demanding for a player. Computer players (bots) for RTS games face the same challenges, and also have to navigate units in highly dynamic game worlds and deal with other low-level tasks such as attacking enemy units within fire range. The implementation of computational intelligence in games is widespread in scientific community. Every year numerous conferences of intelligence in games take part, such as Conference in Computational Intelligence in Games (CIG), Conference in Computational Intelligence in Games (CEGGO)}. Here we will focus on implementation of computational intelligence algorithms with scope to solve different low-level tasks which an agent faces during the game. In the next chapter we will find the introduction of current thesis in which we analyse the Real time strategy games. Thereafter we present a review study of several past approaches that have been proposed in order to solve several RTS tasks. In the third chapter we will define the state space of StarCraft sub-problems and continuously in the fourth chapter we define the architecture of our bot. In the fifth chapter we have an analysis for Artificial Neural Networks which is the basis of our work and after that we analyse reinforcement learning. Afterwards, in the next chapter we have the proposed approach of handling macro-tasks. Finally in the two last chapter we have the experimental results and the conclusion of the current thesis.