Regularized Transformer for Electric Load Demand Forecasting
Creators: name: Εμμανουηλίδης, Γεώργιος Δημητρίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2023
Subjects: Μετασχηματιστές
Κανονικοποίηση
Πρόβλεψη χρονοσειρών
Transformers
Regularization
Time-series forecasting

description: Ως Πρόβλεψη Ζήτησης Ηλεκτρικής Ενέργειας ορίζουμε το πρόβλημα ανάπτυξης μαθη- ματικών μοντέλων ικανών να παράξουν ακριβή και έγκαιρα αποτελέσματα στο πρόβλημα της πρόβλεψης της μελλοντικής κατανάλωσης ενέργειας. Η ακριβής πρόβλεψη της ζήτησης στο βραχυ-, μεσο- και μακρο-προθεσμο μέλλον είναι πολύ σημαντική αφού η ενέργεια, μη μπορώντας να αποθηκευτεί κατά τρόπο αποδοτικό, παράγεται σύμφωνα με τη ζήτηση. Είναι επίσης ένα πρόβλημα πολυπαραγοντικό αφού παράμετροι όπως ο καιρός και οι διάφορες οικονομικές και πολιτικές συγκυρίες, μεταξύ άλλων, μπορούν να το επηρεάσουν είτε έμμεσα είτε άμεσα. Η σημαντικότητά του επίσης στη καθημερινότητά μας οδήγησε την επιστημονική κοινότητα να ασχοληθεί μαζί του από πολύ νωρίς. Οι αρχικές λύσεις στο πρόβλημα βασίζονταν σε στατιστικά μοντέλα τα οποία ήταν «χτισμένα» με τις γνώσεις ειδικών. Με τη ραγδαία ανάπτυξη της τεχνολογίας τα τελευταία χρόνια, τόσο αλγοριθμική όσο και υλική, καθώς και με την αφθονία και έυκολη προσβασιμότητα της πληροφορίας γύρω μας, τα στατιστικά αυτά μοντέλα αρχικά αντικαταστάθηκαν από απλά μοντέλα μηχανικής μάθησης ενώ τα τελευταία χρόνια η επιστημονική κοινότητα έχει στρέψει την προσοχή της στα βαθειά νευρωνικά δίκτυα. Η εγγενής ικανότητα των βαθέων νευρωνικών δικτύων να εντοπίζουν μοτίβα στην πληροφορία – απουσία ειδικού - σε συνδυασμό με την απόδοσή τους τα έχει καταστήσει τις κυρίαρχες μεθόδους στα προβλήματα Πρόβλεψης Zήτησης Hλεκτρικής Eνέργειας. Η δουλειά της παρούσας διπλωματικής εργασίας επικεντρώνεται στην εξέυρεση μίας λύσης στο πρόβλημα της Πρόβλεψης Ζήτησης Ηλεκτρικής Ενεργειας αξιοποιώντας τα αποδοτικότερα μοντέλα μηχανικής μάθησης. Κάνει χρήση των transformer μοντέλων για χρονοσειρές τα οποία εμπλουτίζονται από μία καινοτόμα μέθοδο κανονικοποίησης βασιζόμενη σε ομοιότητες, η οποία ονοματίστηκε ως Temporal Regularization Framework (TRF). Για την καταλληλότητα των διάφορων μοντέλων transformers πραγματοποιήθηκαν πολλαπλοί έλεγχοι διαφοροποιούμενοι ως προς τις βασικές υπερπαραμέτρους των μοντέλων – το μήκος των ακολουθιών εισόδου/εξόδου καθώς και το πλήθος των στρωμάτων κωδικοποίησης/αποκοδικωποίησης – οι οποίες υπέδειξαν τον Informer transformer ως τον καταλληλότερο με βάση την αντιστάθμιση χρόνου εκπαίδευσης ανά εποχή – απόδοσης σε όρους MAPE. Στο «βέλτιστο» αυτό μοντέλο εφαρμόστηκαν οι τεχνικές κανονικοποίησης που αναπτύχθηκαν και ελέγχθηκαν ως προς τις παραμέτρους τους – θέση και κλίμακα. Τα αποτελέσματα των πειραματισμών υπέδειξαν πως το αρχικό μοντέλο, στην πλειοψηφία των περιπτώσεων, ευνοείται από τις τεχνικές κανονικοποίησης. Για τον έλεγχο της αξιοπιστίας η προτεινόμενη μέθοδος εφαρμόστηκε σε πολλαπλά σύνολα δεδομένων χρονοσειρών όπως και στον Autoformer transformer όπου και διαπιστώθηκαν παρόμοια μοτίβα βελτίωσης.
description: As Electric Load Demand Forecasting (ELDF), we define the problem of developing mathematical models that will be able to provide accurate and in-time results to the problem of forecasting the future consumption of electricity. Accurately predicting the demand in the near-, mid- and long-term future is very important as energy, not being able to be effectively stored, is produced on demand. ELDF is also a multifaceted problem as parameters like the weather and the various economical and political events, to name a few, can directly or indirectly affect it. Its importance to our everyday life has led the scientific community to research this problem early on. The solutions were initially based on statistical models that were built on the knowledge of experts. The rapid technological progress observed in the last years, both in algorithmic and hardware terms, as well as the abundance and easy access to information has led to the replacement of these statistical models with simple machine learning models. In the latest years the scientific community has shifted its attention to deep neural networks. The inherent ability of these models to identify patterns in the data, without the need of an expert, in combination with their performance has made these models dominant in the problem of Electric Load Demand Forecasting problems. The work in this thesis is focused on finding a solution to the Electric Load Demand Forecasting problem by utilizing the most performant machine learning models. It used the transformer models for time-series data, models that are enhanced by a novel regularization technique based on similarities, termed Temporal Regularization Framework (TRF). The suitability of the transformer models is tested on their basic hyperparameter, namely the length of the input/output sequence and the number of encoder/decoder layers. The tests have shown that the Informer transformer performs better than the rest in terms of the trade of between the training time per epoch and the MAPE performance of the model. To this “optimum” model applied are the regularization techniques developed in this thesis and various tests are performed regarding the parameters of the latter. The experimentation results show that the original model performs better with the regularization scheme applied in the majority of the cases tested. To examine the validity of the findings the proposed method was applied to various time-series datasets as well as to the Autoformer transformer where similar patterns in the results were observed.