title: Developing an autonomous agent for automated electricity trading

title: Ανάπτυξη αυτόνομου πράκτορα για αυτοματοποιημένες αγοραπωλησίες ηλεκτρικής ενέργειας
Creators: name: Ορφανουδακης Σταυρος
Publisher: name: Technical University of Crete
Year: 2021

description: The rise of renewable energy production, along with the recent popularization of electric vehicles, are gradually creating the need for a smarter electricity grid.  Against this background, the PowerTAC trading agents competition and platform offers researchers (from academia and the industry alike) with effective means to test different business, market analysis, and market prediction strategies (potentially along with novel artificial intelligence algorithms), before even deploying them in the Smart Grid. In more detail, PowerTAC constitutes a multi-agent simulation platform for electricity markets, in which intelligent agents corresponding to electricity brokers compete with each other aiming to maximize their profits. Now, as AI researchers have found out the hard way time and time again, greediness almost never pays off in competitive multi-agent settings. In PowerTAC, too, agents that aim to take over a disproportionately high share of the market,  might end up incurring financial losses due to being obliged to pay huge transmission capacity fees. Starting from this observation, we developed a novel trading strategy that aims to balance gains from controlling a sufficiently large part of the retail market, against the costs of paying high transmission capacity fees.  We equipped TUC-TAC 2020, an agent that represented the Technical University of Crete in the PowerTAC-2020 international competition with this retail market strategy. Moreover, we developed a wholesale market strategy that utilized Monte Carlo Tree Search to determine TUC-TAC’s best course of action when participating in the market’s double auctions. Using these strategies, TUC-TAC was crowned the PowerTAC-2020 champion,  competing against 7 other agents representing universities from 6 different countries. In this thesis, we present TUC-TAC’s 2020  strategy in detail; and also conduct an extensive post-tournament analysis, in order to draw important lessons regarding the strengths and weaknesses of the various strategies used in the PowerTAC-2020 competition.
description: Η μεγάλη αύξηση της παραγόμενης από ανανεώσιμες πηγές ενέργειας, και η συνεπακόλουθη ένταξή της σε μεγάλη κλίμακα στην οικιακή αγορά ενέργειας, παράλληλα με την εξελισσόμενη διάδοση χρήσης των ηλεκτρικών οχημάτων, δημιουργούν σταδιακά την ανάγκη για ένα πιο «έξυπνο» ηλεκτρικό δίκτυο - το λεγόμενο Smart Grid, ή Έξυπνο Δίκτυο Ηλεκτροδότησης (ΕΔΗ) στα ελληνικά. Σε αυτό το διαμορφούμενο περιβάλλον,  ο διαγωνισμός PowerTAC (Power Trading Agent Competition) προσφέρει τη δυνατότητα σε ερευνητές (προερχόμενους τόσο από πανεπιστήμια όσο και από τη βιομηχανία) να δοκιμάσουν διάφορες στρατηγικές - επιχειρηματικές, ανάλυσης ή πρόβλεψης της αγοράς (πιθανότατα και νέων αλγορίθμων Τεχνητής Νοημοσύνης) - προτού τις εφαρμόσουν στο ΕΔΗ. Πιο συγκεκριμένα, το PowerTAC αποτελεί κατά κύριο λόγο μία πλατφόρμα ανάπτυξης και δοκιμής έξυπνων πρακτόρων λογισμικού που ανταγωνίζονται ως πάροχοι ενέργειας στις διάφορες αγορές του (μελλοντικού) ΕΔΗ, στοχεύοντας στην μεγιστοποίηση των κερδών τους. Βέβαια,  πλείστες όσες ερευνητικές εργασίες και εφαρμογές Τεχνητής Νοημοσύνης έχουν επανειλημμένα καταδείξει το γεγονός ότι οι άπληστες στρατηγικές σχεδόν ποτέ δεν αποδίδουν σε ανταγωνιστικά περιβάλλοντα πολλαπλών πρακτόρων. Ομοίως στο PowerTAC, οι πράκτορες που στοχεύουν να αποκτήσουν ένα δυσανάλογα υψηλό μερίδιο της αγοράς, ενδέχεται να καταλήξουν σε οικονομικές απώλειες λόγω της υποχρέωσης καταβολής τεράστιων σε μέγεθος τελών στις ρυθμιστικές αρχές. Ξεκινώντας από αυτήν την παρατήρηση, σε αυτή την εργασία αναπτύξαμε μια καινοτόμα στρατηγική εμπορικής διαπραγμάτευσης, που στοχεύει στην εξισορρόπηση των κερδών ελέγχοντας ένα αρκετά μεγάλο μέρος της αγοράς, έτσι ώστε να αντισταθμίσει το υψηλό κόστος των τελών. Εξοπλίσαμε τον TUC-TAC 2020, τον ευφυή πράκτορα λογισμικού που εκπροσώπησε το Πολυτεχνείο Κρήτης στο διεθνή διαγωνισμό PowerTAC-2020, με αυτήν τη στρατηγική για χρήση στην λιανική αγορά ενέργειας του διαγωνισμού. Επιπλέον, ο πράκτορας μας χρησιμοποιεί Δενδρική Αναζήτηση  Monte Carlo για να εντοπίσει το καλύτερο σχέδιο δράσης και να καθορίσει τις προσφορές του κατά την συμμετοχή του σε χρηματιστηριακού τύπου δημοπρασίες (double auctions) στη χονδρική αγορά ενέργειας του διαγωνισμού. Χρησιμοποιώντας αυτές τις στρατηγικές, ο πράκτορας TUC-TAC στέφθηκε πρωταθλητής του PowerTAC-2020, αντιμετωπίζοντας 7 αντιπάλους που εκπροσωπούσαν πανεπιστήμια από 6 διαφορετικές χώρες. Σε αυτήν την διπλωματική εργασία, παρουσιάζεται λεπτομερώς η στρατηγική του TUC-TAC 2020, και επιπλέον παρέχεται μια εκτενής ανάλυση των αποτελεσμάτων του διαγωνισμού, με σκοπό την άντληση σημαντικών μαθημάτων σχετικά με τα πλεονεκτήματα και τις αδυναμίες των διαφόρων στρατηγικών που χρησιμοποιήθηκαν στον διαγωνισμό PowerTAC-2020.