title: Πρόβλεψη μετοχών στο Apache Flink
title: Stock forecasting using Apache Flink
Creators: name: Μαναρα Χριστινα
Publisher: name: Technical University of Crete
Year: 2021

description: Η σύγχρονη εποχή χαρακτηρίζεται και ως εποχή των Μεγάλων Δεδομένων (Big Data), λόγω της πρωτοφανούς κλίμακας δεδομένων που παράγονται σε καθημερινή βάση και της ανάγκης ανάλυσης και εξαγωγής χρήσιμων αποτελεσμάτων σε μια πληθώρα διάφορων τομέων. Επιτακτική είναι η ανάγκη για την παρακολούθηση χιλιάδων ροών δεδομένων προκειμένου να ληφθούν αποφάσεις. Στον χρηματιστηριακό τομέα, ένας επενδυτής επιθυμεί να εντοπίσει τις εν δυνάμει ευκαιρίες, γεγονός που προσδίδει μεγάλη σημασία στην ενασχόληση με αυτό τον τομέα, καθώς η ορθή και αποδοτική επεξεργασία χρηματιστηριακών δεδομένων καθίσταται καθοριστική για την οικονομική ευημερία μιας χώρας. Στην περίπτωση του χρηματιστηριακού τομέα, οι ροές δεδομένων-μετοχές είναι συνεχείς και μακροσκελείς. Η παρούσα διπλωματική εργασία επεξεργάζεται κατανεμημένα και παράλληλα χιλιάδες χρηματιστηριακές μετοχές, μέσω της εύρεσης υψηλών συσχετίσεων που αφορούν σύνολα δύο μετοχών.  Η διαδικασία αυτή πραγματοποιείται σε πραγματικό χρόνο και στοχεύει στην εύρεση μετοχών, των k πιο όμοιων, οι οποίες είναι ζωτικής σημασίας για την πρόβλεψη άλλων, οι οποίες δίδονται ως είσοδος, προκειμένου να προβλεφθούν. Αναπόφευκτη και ουσιαστική είναι η ανάγκη για την εκτέλεση της προσέγγισης σε εύλογα χρονικά πλαίσια, στα οποία αποδίδονται οι επιθυμητές απαντήσεις με την ταυτόχρονη αύξηση του πλήθους των δεδομένων στην είσοδο.
Το ζητούμενο ικανοποιείται (α) με την υλοποίηση και τη διαχείριση μιας σύνοψης στο σύστημα Synopsis Data Engine (SDE) (β) την εφαρμογή του αλγορίθμου Discrete Fourier Transform (DFT) που αποσκοπεί στη μείωση του απαιτούμενου αριθμού υποψήφιων όμοιων μετοχών (γ) την εφαρμογή του Multiple Linear Regression (MLR) μοντέλου για την πρόβλεψη των μετοχών. Για την εξαγωγή της πειραματικής διαδικασίας, ο αλγόριθμος ελέγχεται τόσο τοπικά όσο και απομακρυσμένα, πετυχαίνοντας ικανοποιητικά αποτελέσματα. 
description: The modern age is also characterized as the age of Big Data, due to the unprecedented scale of data produced daily and the need to analyze and extract useful results in a variety of different fields. The need to monitor thousands of data streams in order to make decisions is imperative. In the stock market, an investor wants to identify potential opportunities, which is very important in dealing with this sector, as the correct and efficient processing of stock market data becomes crucial for a country’s economic prosperity. In the case of the stock market, the stock-data flows are continuous and long. This dissertation processes thousands of stock market shares distributed and simultaneously, by finding high correlations that concern sets of two shares. This process is done in realtime and aims to find shares of the k most similar, which are vital to the prediction of others, which are given as input, in order to be predicted. Inevitable and essential is the need to perform the approach in a reasonable time frame, to which the desired answers are attributed while increasing the amount of data at the input.  The request is satisfied by (a) implementing and managing a synopsis in the system Synopsis Data Engine (SDE) (b) the application of the Discrete Fourier Transform (DFT), which aims to reduce the required number of candidate similar stocks (c) the application of the Multiple Linear Regression (MLR) model for stock forecasting. For the extraction of the experimental process, the algorithm is checked both locally and in a computing cluster, achieving satisfactory results.