Χρήση αντιπαλικών νευρωνικών δικτύων για βελτίωση συναλλαγών κρυπτονομισμάτων βασισμένων σε βαθιά ενισχυτική μάθηση
Creators: name: Πίνας, Γεράσιμος Χρήστου
Publisher: name: Aristotle University of Thessaloniki
Year: 2023
Subjects: Τεχνητή Νοημοσύνη
Αντιπαλικά Νευρωνικά Δίκτυα
Κρυπτονομίσματα
Artificial Intelligence
Generative Adversarial Νetworks
Cryptocurrency

description: Η διπλωματική αυτή προσπαθεί να φέρει πιο κοντά τον τομέα των Χρηματοοικονομικών Συναλλαγών, και του Generative AI. Ο βασικός στόχος της, είναι η δημιουργία συνθετικών δεδομένων με χρήση της θεωρίας των GAN με σκοπό τη χρήση τους από έναν πράκτορα Βαθιάς Ενισχυτικής Μάθησης με σκοπό την αύξηση της επίδοσης του κατά τη διάρκεια αυτόματων χρηματοοικονομικών συναλλαγών. O στόχος του πράκτορα αυτού είναι να βρει κάποια στρατηγική αγοραπωλησιών η οποία θα του επιφέρει το μέγιστο κέρδος στο τέλος των χρηματοοικονομικών συναλλαγών που θα πραγματοποιήσει καθώς μαθαίνει από τις τιμές του νομίσματος και αποκτά την ικανότητα να προβλέπει τη συμπεριφορά της τιμής του νομίσματος και να πραγματοποιεί συναλλαγές. Xρησιμοποιήθηκαν οικονομικά δεδομένα που προέκυψαν κατά την παρατήρηση των τιμών διάφορων κρυπτονομισμάτων που βασίζονται στην τεχνολογία blockchain, επομένως τιμές που παρουσιάζουν αρκετά μεγάλη διακύμανση σε σχέση με παραδοσιακά χρηματοοικονομικά προϊόντα όπως οι μετοχές. Τα οικονομικά αυτά δεδομένα χρησιμοποιήθηκαν ως είσοδος σε μοντέλα Βαθιάς Μάθησης τύπου GAN με σκοπό την δημιουργία των αντίστοιχων συνθετικών δεδομένων. Η αρχιτεκτονική που επιλέχθηκε για την παραγωγή των συνθετικών δεδομένων είναι η TimeGAN που έχει αποδειχθεί οτι λειτουργεί αρκετά καλά σε δεδομένα χρονοσειρών. Στη συνέχεια, μετά τη δημιουργία των συνθετικών δεδομένων, εφαρμόστηκαν αλγόριθμοι με σκοπό την ανακατασκευή και δημιουργία συνθετικών χρονοσειρών οι οποίες έχουν παρόμοια χαρακτηριστικά με τις πραγματικές. Δεδομένου ότι τα συνθετικά δεδομένα πρέπει να είναι χρήσιμα, προτάθηκε μια μέθοδος αξιολόγησης τους χρησιμοποιώντας προ-εκπαιδευμένους πράκτορες πάνω στο κρυπτονόμισμα που θέλουμε να παράξουμε. Οι χρονοσειρές που παρουσίασαν καλά αποτελέσματα στο στάδιο αξιολόγησης χρησιμοποιήθηκαν μαζί με κάποιες πραγματικές για την εκπαίδευση του πράκτορα με σκοπό την ενίσχυση της επίδοσης του η οποία μετρήθηκε σε σχέση με το Κέρδος και την Απώλεια P&amp;L. Τα οικονομικά δεδομένα κρυπτονομισμάτων που χρησιμοποιήθηκαν είναι κυρίως του BTC/USDT και ETC/USDT ενώ ακόμα 12 κρυπτονομίσματα χρησιμοποιήθηκαν με σκοπό την χρήση τους στην εκπαίδευση του πράκτορα. Τα συμπεράσματα της διπλωματικής βασίζονται στα πειράματα, τόσο στη δημιουργία των συνθετικών δεδομένων όσο και στην εκπαίδευση του πράκτορα και στην αξιολόγηση του. Συγκεκριμένα, επιβεβαιώνεται ότι η TimeGAN αρχιτεκτονική είναι καλή μέθοδος για την δημιουργία τεχνητών χρονοσειρών. Επίσης, επιβεβαιώνεται ότι η επίδοση του πράκτορα μπορεί να ενισχυθεί μέσω της χρήσης τεχνητών δεδομένων, καθώς πραγματοποιήθηκαν πειράματα με την εισαγωγή ενός συνθετικού κρυπτονομίσματος (π.χ. BTC/USDT), περισσότερα του ενός (πολλαπλά BTC/USDT) , καθώς και χρήση περισσότερων συνθετικών κρυπτονομισμάτων διαφορετικού τύπου (BTC/USDT \&amp; ETC/USDT). Μπορούμε να ενισχύσουμε την άποψη ότι η δημιουργία των συνθετικών δεδομένων είναι από τους πιο δημοφιλείς τομείς της Τεχνητής Νοημοσύνης και οι εφαρμογές του είναι πολλές
description: Generative AI is increasingly used for developing modern tools in a wide range of industries. However, developing these kind of tools for applications in Financial Trading is difficult especially in noisy financial environments such as the trading of cryptocurrencies. In this work, we present a novel method that improves the performance of a trading Deep Reinforcement Learning (DRL) trading agent by injecting synthetic cryptocurrency datasets into its training procedure. In the proposed approach, meaningful features, tailored for trading of currencies, are extracted from datasets of currencies in order to be used as the input in a Generative Adversarial Network Architecture (GAN) which will generated the synthetic counterparts. Specifically, the TimeGAN architecture which has been proven as a state-of-art architecture has been used in order to generate the synthetic sequences. Then these synthetic sequences will be used in order to reconstruct synthetic time-series. The effectiveness of this reconstruction of synthetic time-series comes from the use of some proposed techniques and tricks which will force the time-series to be internally consistent and useful. This enables us to inject the synthetic time-series into the DRL trading agent’s training and boost its effectiveness in trading of currency assets. Furthermore, we propose a method of evaluating these synthetic time-series before utilising them. We demonstrate this by providing evaluations on the aforementioned tasks and experiments in separate currency assets and the results show that our method can effectively increase the performance of the DRL agent in terms of Profit and Loss (P\&amp;L)