Αυτόματες Συναλλαγές Προσανατολισμένες στο Συναίσθημα της Αγοράς με Eνισχυμένη Μάθηση και Μεταφορά Γνώσης από Δεδομένα Πολλαπλής Ανάλυσης
Creators: name: Κοσκινάς, Ιωάννης Χρήστου
Publisher: name: Aristotle University of Thessaloniki
Year: 2022
Subjects: Ενισχυμένη Μάθηση
Αυτοματοποιημένες συναλλαγές
Συναίσθημα αγοράς
Reinforcement Learning
Knowledge Distillation
Trading

description: Η εφαρμογή της βαθιάς ενισχυτικής μάθησης (RL) στο θέμα των αλγοριθμικών συναλλαγών αποτελεί μια από τις κυρίαρχες λύσεις με αυξανόμενη χρήση στον χρηματοοικονομικό τομέα. Ωστόσο, η διαδικασία λήψης αποφάσεων ενός πράκτορα σε ένα δυναμικό περιβάλλον αποτελεί μια δύσκολη δοκιμασία, καθώς οι ρεαλιστικές χρηματοοικονομικές αγορές απαιτούν εκτεταμένες πηγές δεδομένων που δεν βασίζονται αποκλειστικά στην τιμή. Το συναίσθημα των αγορών μπορεί να αντικατοπτρίζεται από τη δραστηριότητα των μέσων κοινωνικής δικτύωσης με έναν άμεσο τρόπο που μπορεί να αξιοποιηθεί ως εναλλακτική πηγή πληροφοριών. Επιπλέον, αν και η πλειοψηφία του ερευνητικού έργου στην βιβλιογραφία, συνδυάζει την τεχνική της απόσταξης γνώσης από μοντέλα με μεγαλύτερο αριθμό παραμέτρων, η συγκεκριμένη εργασία την χρησιμοποιεί για να επεκτείνει το γνωστικό αντικείμενο του πράκτορα σε δεδομένα διαφορετικού χρονικού ορίζοντα. Εναλλακτικές αναλύσεις δεδομένων τιμών μπορούν να θεωρηθούν ως ένας τύπος αύξησης των δεδομένων στα υπάρχοντα περιβάλλοντα που θα μπορούσαν να συνδυαστούν με δεδομένα συναισθήματος χαμηλότερης ανάλυσης. Η κύρια συμβολή αυτής της εργασίας είναι ο σχεδιασμός μιας μεθόδου που περιλαμβάνει τόσο το συναίσθημα όσο και τη δράση της τιμής σε διαφορετικές αναλύσεις μέσω της διαδικασίας απόσταξης γνώσης. Αυτή η λειτουργία επιτυγχάνεται μέσω του σχεδιασμού ενός μοντέλου βασισμένου σε κλίση πολιτικής, που περιλαμβάνει δεδομένα διαφορετικών πηγών και αναλύσεων προκειμένου να παρέχει μερική παρατηρητικότητα και καλύτερη γενίκευση. Μέσω της συνεργασίας των αναπτυγμένων μοντέλων μαθητή-δασκάλου, το μοντέλο "δάσκαλος" μεταφέρει τη γνώση από την προεκπαιδευμένη πολιτική ενός διαφορετικού τομέα στο μοντέλο "μαθητή". Από τα παραπάνω πειράματα, το τελευταίο ζευγάρι κατάφερε να εκπαιδεύσει τον πράκτορα με καλύτερο τρόπο συγκριτικά με τα βασικά μοντέλα, παρουσιάζοντας κέρδος 40.65 και τυπική απόκλιση 6.88, δηλαδή μια αύξηση 47.67% για το κέρδος και μείωση της τυπικής απόκλισης κατά 122.36%. Πιο αναλυτικά, τα πειράματα που πραγματοποιήθηκαν καταδεικνύουν μέσα από μια εκτενή αξιολόγηση, τα οφέλη αυτής της μεθοδολογίας σε σύγκριση με τα βασικά μοντέλα εκπαίδευσης
description: The application of deep reinforcement learning (DRL) to the topic of algorithmic trading has become one of the prominent solutions with increasing utility in financial sector. However, the decision making process of an agent to a dynamic environment consists a challenging task, as the realistic financial markets require extensive sources of data that do not rely solely on the price action. The sentiment of the markets is considered as a significant economical factor that could influence the future price action. This source of information can be reflected from social media activity with a direct way and could be harnessed as an alternative feature for the trading agents. Additionally, the combination of different sampling resolutions price data (1 Hour, 15 minutes) with lower resolution price action (1 Day), could enhance the agent's trading skills. Although, the majority of the researchers focus on the application of knowledge distillation (KD) as a type of model compression or to transfer knowledge from more robust networks, this thesis examines the knowledge transfer from models trained on different modalities and time horizons. Specifically, main contribution of this paper consists the design of a DRL model that combines both the sentiment and the price action in different resolutions through the training process of KD. This operation is achieved via the formulation of a policy gradient-based model that incorporates agents with expertise in different domains, towards the provision of partial observability and better generalization to the main agent. The proof of concept applies on the cryptocurrency market, an environment with high volatility and abrupt changes in the prices, in short period of time. The trading portfolio includes 65 trading pairs that are related mainly with the usd. Through the collaboration of the deployed student-teacher models, the knowledge of the teacher model to a pre-learned policy of a different domain is transferred to the student model, while the extension of the guidance can be achieved with multiple teachers. The conducted experiments demonstrate through an extensive evaluation, the benefits of this methodology compared to the baseline models and validate that this extension can boost the performance of the models. The KD setup that trained the most efficient trading agent includes in the student model, Sentiment and Price features, while there are two teachers responsible for the learning guidance trained on different time horizons (Price 1 Hour and 15 minutes). The average PnL of this approach is 40.65 (4065%) and standard deviation (std) is 6.88, an increase of 47.67% in terms of PnL and a reduction of 122.36% of the std compared to the best baseline model, that verifies the contribution of our approach not only in terms of efficiency, but also with regard to the robustness of the model