Reinforcement Learning with Auxiliary Tasks in Trading
Creators: name: Χερβατίδης, Κωνσταντίνος Νικολάου
Publisher: name: Aristotle University of Thessaloniki
Year: 2023
Subjects: Ενισχυτική Μάθηση
Βοηθητικός Στόχος
Χρηματοοικονομικές Συναλλαγές
Reinforcement Learning,
Auxiliary Task
Financial Trading

description: Η παρούσα εργασία, ασχολείται με τη χρήση μεθόδων Βαθιάς Ενισχυτικής Μάθησης στην εκπαίδευση ενός πράκτορα που χρησιμοποιεί χρηματοοικονομικά δεδομένα και εκτελεί αγοραπωλησίες στα ψηφιακά στοιχεία. Βασικός σκοπός του πράκτορα είναι η εύρεση μιας στρατηγικής αγοραπωλησιών καλύτερη από τη στρατηγική αγοράς και κατοχής του ψηφιακού στοιχείου. Χρησιμοποιήσαμε οικονομικά δεδομένα ως δεδομένα εκπαίδευσης και ελέγχου, τα οποία προέκυψαν μέσω της παρατήρησης των τιμών διαφόρων κρυπτονομισμάτων και προϊόντων, τα οποία βασίζονται στην τεχνολογία Blockchain. Οι εν λόγω τιμές, μεταβάλλονται με το χρόνο και παρουσιάζουν μεγαλύτερη διακύμανση σε σύγκριση με τα παραδοσιακά χρηματοοικονομικά προϊόντα. Η προσέγγιση της Βαθιάς Ενισχυτικής Μάθησης, βασίζεται στη χρήση αλγορίθμων Ενισχυτικής Μάθησης σε συνδυασμό με τα Βαθιά Νευρωνικά Δίκτυα. Η εκπαίδευση του πράκτορα στηρίζεται στην προσαρμογή και την αλληλεπίδραση του μέσα ένα προσομοιωμένο περιβάλλον συνναλαγών. Αυτό έχει ως επακόλουθο, την ανακάλυψη γνώσης και προτύπων της ακολουθίας των δεδομένων, με αποτέλεσμα την δημιουργία ενός πράκτορα συναλλαγών που εφαρμόζει την γνώση του, με σκοπό το κέρδος. Βασικοί στόχοι του πράκτορα είναι να μάθει από τα παλαιότερα δεδομένα αφενός και αφετέρου να προτείνει επενδυτικές στρατηγικές αγοραπωλησιών, προκειμένου να αποκτήσει κέρδος μέσω των μεταβολών της τιμής του κρυπτονομίσματος. Έτσι,ο πράκτορας θα αποκτήσει έμμεσα την ικανότητα να προβλέπει την συμπεριφορά της τιμής του κρυπτονομίσματος στο μέλλον, παρατηρώντας την μέχρι τώρα πορεία του. Συνδυαστικά με τον βασικό στόχο, υπάρχει η δυνατότητα χρήσης των βοηθητικών στόχων προκειμένου να βελτιώσουν την επίδοση του πράκτορα, όπως η πρόβλεψη της ποσοστιαίας μεταβολής της τιμής. Σκοπός της εν λόγω εργασίας είναι η υλοποίηση ενός τέτοιου πράκτορα, εφαρμόζοντας βαθιά ενισχυτική μάθηση και η μελέτη της συμβολής των βοηθητικών στόχων στην ικανότητα ενός πράκτορα να μαθαίνει επενδυτικές στρατηγικές σε πραγματικά δεδομένα κρυπτονομισμάτων.
description: The main topic of this thesis is the use of Deep Reinforcement Learning methods in training an agent to use financial data and trade digital assets. The purpose of the agent is to find a buying and selling strategy that is better than the buy-and-hold strategy of the digital asset. During the training and testing, we used financial data, obtained by observing the prices of various cryptocurrencies and products based on Blockchain technology. These prices change over time and have more volatility compared to traditional financial products. The Deep Reinforcement Learning approach is based on the use of Reinforcement Learning algorithms in combination with Deep Neural Networks. The training of the agent is based on his adaptation and interaction within a simulated market environment. This results in the discovery of knowledge and patterns in the sequence of data, resulting in the creation of a trading agent that applies its knowledge for profit. The main objectives of the agent are to learn from historical data on the one hand and to propose investment strategies for buying and selling in order to make a profit through changes in the price of the cryptocurrency. Thus, the agent will indirectly gain the ability to predict the future behavior of the cryptocurrency price by observing its past performance. In combination with the main objective, there is the possibility of using auxiliary tasks in order to improve the agent’s performance, such as predicting the price’s percentage change. The purpose of this paper is to implement such an agent by applying deep reinforcement learning and to study the contribution of the auxiliary tasks to the ability of an agent to learn investment strategies on real data.