Refinement of numerical model forecasts with the use of machine learning methods for the area of Thessaloniki
Creators: name: Παπαδόπουλος, Γεώργιος Χαράλαμπου
Publisher: name: Aristotle University of Thessaloniki
Year: 2024
Subjects: Στατιστική μετεπεξεργασία
Μηχανική μάθηση
Αριθμητική πρόγνωση καιρού
Statistical post-processing
Machine learning
Numerical weather prediction

description: Οι τεχνικές στατιστικής μετεπεξεργασίας προσφέρουν έναν αποτελεσματικό και υπολογιστικά οικονομικό τρόπο βελτίωσης των προβλέψεων των μοντέλων και σήμερα αποτελούν αναπόσπαστο κομμάτι της διαδικασίας της πρόγνωσης καιρού στα διάφορα κέντρα ανά τον κόσμο. Στόχος της παρούσας εργασίας είναι η χρήση στατιστικών τεχνικών και τεχνικών μηχανικής μάθησης με σκοπό τη μείωση των σφαλμάτων θερμοκρασίας και σχετικής υγρασίας του συστήματος μοντελοποίησης WRF-SLUCM, το οποίο σχεδιάστηκε και υλοποιήθηκε για της ανάγκες του έργου LIFE-ASTI. Για το σκοπό αυτό, χρησιμοποιήθηκε η μέθοδος Model Output Statistics, η οποία περιλαμβάνει τη χρήση μεταβλητών εξόδου του μοντέλου ως προγνωστικούς παράγοντες για την ανάπτυξη στατιστικών σχέσεων, οι οποίες μπορούν να καταγράψουν μερικώς τα μοτίβα συμπεριφοράς του μοντέλου που οδηγούν σε συστηματικά σφάλματα πρόβλεψης. Τα μοντέλα μηχανικής μάθησης που χρησιμοποιήθηκαν είναι η Πολλαπλή Γραμμική Παλινδρόμηση, τα Τυχαία Δάση και ένα Τεχνητό Νευρωνικό Δίκτυο πολλών επιπέδων. Τα δεδομένα που χρησιμοποιήθηκαν για την ανάπτυξη και την αξιολόγηση των μοντέλων περιλαμβάνουν μεταβλητές εξόδου του μοντέλου WRF για την πόλη της Θεσσαλονίκης, καθώς και μετρήσεις θερμοκρασίας και σχετικής υγρασίας από επτά μετεωρολογικούς σταθμούς της Θεσσαλονίκης για το έτος 2015. Λόγω του περιορισμένου αριθμού διαθέσιμων δεδομένων, υιοθετήθηκε μια μεθοδολογία εκπαίδευσης-δοκιμής βασισμένη σε τεχνικές ensemble modelling, η οποία περιλαμβάνει πολλαπλές αξιολογήσεις της απόδοσης των μοντέλων σε διάφορα σενάρια εκπαίδευσης και δοκιμής. Η επιλογή των μεταβλητών που χρησιμοποιήθηκαν για την ανάπτυξη των μοντέλων βασίστηκε στην εφαρμογή της μεθόδου forward stepwise regression σε όλο το σύνολο (ensemble) των σετ εκπαίδευσης. Όλα τα μοντέλα μηχανικής μάθησης αναπτύχθηκαν και αξιολογήθηκαν με όλα τα σετ εκπαίδευσης-δοκιμής του συνόλου και αντλήθηκαν κατανομές των αποτελεσμάτων της απόδοσής τους, αντί για ένα μόνο μέτρο απόδοσης για το κάθε μοντέλο. Εξετάστηκε επίσης ο συνδυασμός των τριών μοντέλων, δια της εξαγωγής των μέσων τιμών των προβλέψεών τους. Τόσο στην περίπτωση της θερμοκρασίας, όσο και της σχετικής υγρασίας, τα τρία μοντέλα παρουσίασαν παρόμοια απόδοση και συμπεριφορά. Στην περίπτωση της διόρθωσης των σφαλμάτων της θερμοκρασίας, τα τρία μοντέλα και ο συνδυασμός τους πέτυχαν μέση μείωση μεταξύ 9.7-12.84% στο ΜΑΕ και μεταξύ 10.03-12.71% στο RMSE σε όλα τα σετ δοκιμής. Οι μειώσεις αυτές προήλθαν κυρίως από τον μετριασμό της υπερεκτίμησης που παρουσιάζει το μοντέλο. Συχνά, ωστόσο, η συνολική βελτίωση περιορίστηκε από την επιδείνωση των σφαλμάτων υποεκτίμησης. Όσον αφορά τα σφάλματα σχετικής υγρασίας, τα μοντέλα και ο συνδυασμός τους πέτυχαν μέση μείωση μεταξύ 26.39-27.86% στο MAE και μεταξύ 27.95-29.21% στο RMSE, καθώς και μια μέση αύξηση μεταξύ 9.94-11.55% στον συντελεστή συσχέτισης R του Pearson, σε όλα τα σετ δοκιμής. Οι βελτιώσεις αυτές προήλθαν κυρίως από διορθώσεις των μεγάλων σφαλμάτων υποεκτίμησης του WRF, αλλά μετριάστηκαν από την ενίσχυση κάποιων σφαλμάτων υπερεκτίμησης. Τόσο στην περίπτωση της θερμοκρασίας, όσο και της σχετικής υγρασίας, τα Τυχαία Δάση επέδειξαν ελαφρώς υψηλότερες αποδόσεις, ενώ η τεχνική του συνδυασμού των τριών μοντέλων παρείχε ελαφρώς καλύτερα αποτελέσματα από το κάθε ξεχωριστό μοντέλο. Η αντιμετώπιση των περιορισμών που σχετίζονται με τον περιορισμένο όγκο δεδομένων και υπολογιστικής ισχύος θα μπορούσε να βελτιώσει σημαντικά τη μέση απόδοση και το βαθμό αστάθειας των μοντέλων που αναπτύχθηκαν.
description: Statistical post processing techniques offer a computationally cheap and effective way to improve model forecasts and have become an integral part of the weather forecasting procedure in forecast centers around the world. The scope of this thesis is the utilization of statistical and machine learning techniques in order to reduce the temperature and relative humidity forecast error of the WRF-SLUCM modelling system, designed and implemented for the purposes of the LIFE-ASTI project. For that purpose, the Model Output Statistics method was utilized. This method includes the use of model output variables as predictors for the development of statistical relationships that can partially capture the patterns of model behavior that result in systematic forecast errors. The employed statistical and machine learning models were the Multiple Linear Regression, Random Forest and Multilayer Perceptron algorithms. The data used for the development and evaluation of the models include WRF output fields for the city of Thessaloniki, as well as temperature and relative humidity measurements from seven meteorological stations in Thessaloniki for the year 2015. Due to the limited amount of available data, an ensemble-based training and testing methodology was adopted, which involves multiple assessments of model performance with different train-test scenarios. A predictor selection method that included the application of the forward stepwise regression technique across all the ensemble of train sets was employed. All machine learning models were developed and evaluated across the whole ensemble of train-test sets, and distributions of their performances were derived, instead of a single performance measure for each model. The combination of all three models was also tested, through a simple averaging of their predictions. Both in the case of temperature and relative humidity, the three employed models presented similar behavior and performance. In the case of temperature error correction, the three models and their combination achieved a mean reduction between 9.7-12.84% in the MAE and between 10.03-12.71% in the RMSE across all ensemble test sets. These reductions mostly resulted from the correction of WRF overestimation error. Often, however, the overall correction was compensated by an exacerbation of underestimation errors. With respect to relative humidity error, the models and their combination achieved a mean reduction between 26.39-27.86% in MAE and between 27.95-29.21% in RMSE, as well as a mean increase between 9.94-11.55% in Pearson’s R, across all ensemble test sets. These improvements typically resulted from corrections of the large underestimation errors exhibited by the model but were compensated by an amplification of some overestimation errors. Both in the case of temperature and relative humidity error correction, the Random Forest algorithm slightly outperformed the other two, while the model combination technique performed better than each individual model. Resolving limitations mostly related to data availability and computational power restrictions might significantly improve both the performance and degree of instability of the employed models.