Missing Values Imputation on Multivariate Time Series in the field of Agriculture
Creators: name: Ανδρεάδης, Ανδρέας Ιωάννη
Publisher: name: Aristotle University of Thessaloniki
Year: 2022
Subjects: Missing Values Imputation
Time Series
Smart Farming
Συμπλήρωση Ελλιπών Τιμών
Χρονοσειρές
Ευφυής Γεωργία

description: Missing values are ubiquitous in time series data due to various reasons, such as sensor malfunctions and communication errors. Missing values can cause serious problems by introducing bias to the data and hindering analytics. Therefore, it is crucial to provide a sufficient strategy to handle missing data. Imputation is the process of replacing missing data with substituted values. However, there is no generic solution to treat every case of missingness, as imputation performance depends on the nature of the data. In this dissertation, we investigate several imputation techniques to recover missing values in multivariate time series in the field of agriculture. This study is implemented in a demonstrated smart farming scenario of the LoRa IoT network of the American Farm School of Thessaloniki, which consists of multiple nodes and gateways. The data used in this study were collected by the sensors of the IoT nodes, that measure environmental conditions such as air temperature, air humidity, air pressure, soil temperature and soil moisture. This study, summarizes the most popular imputation methods classified into different categories, but also points out a promising direction to address this problem with the use of deep learning models and more specifically the Transformers’ architecture. At first, we apply data profiling to unfold crucial characteristics of the considered time series and then multiple experiments are conducted considering two different case studies. In this first case, we treat each node individually as an isolated entity, while in the second case, each node is identified as a member of a larger neighborhood of adjacent nodes. We experiment with both of these cases, by investigating the performance of both baseline and state-of-the-art approaches regarding the metric of mean absolute error. Furthermore, we draw important conclusions by studying each variable separately in order to suggest the most sufficient recovery strategies depending on the nature of the data within each series.
description: Τα δεδομένα χρονοσειρών μπορεί να περιέχουν ελλιπείς τιμές λόγω δυσλειτουργιών των συσκευών καταγραφής τους ή σφαλμάτων στο δίκτυο μετάδοσης της πληροφορίας. Οι ελλιπείς τιμές μπορεί να προκαλέσουν σοβαρά προβλήματα στην ανάλυση των δεδομένων, για αυτό είναι πολύ σημαντικό να υπάρχει μια αποτελεσματική μέθοδος για την συμπλήρωση των κενών τιμών. Ωστόσο, δεν υπάρχει μια γενική προσέγγιση για την αντιμετώπιση κάθε περίπτωσης, ενώ η απόδοση κάθε μεθόδου εξαρτάται άμεσα από τη φύση των δεδομένων. Σε αυτή την εργασία, διερευνούμε μια πληθώρα τεχνικών για την συμπλήρωση των ελλιπών τιμών σε πολυδιάστατες χρονοσειρές. Η παρούσα μελέτη υλοποιείται σε ένα πραγματικό σενάριο ευφυούς γεωργίας μέσα στο LoRa IoT δίκτυο της Αμερικανικής Γεωργικής Σχολής Θεσσαλονίκης. Τα δεδομένα που χρησιμοποιήθηκαν έχουν συλλεχθεί από τους αισθητήρες των IoT συσκευών του δικτύου, που καταγράφουν μετρήσεις για τις περιβαλλοντικές συνθήκες όπως τη θερμοκρασία, την υγρασία και την πίεση του αέρα, αλλά και τη θερμοκρασία εδάφους και το υδατικό περιεχόμενο νερού σε αυτό. Ειδικότερα, η παρούσα εργασία συνοψίζει τις πιο δημοφιλείς μεθόδους για συμπλήρωση κενών τιμών σε χρονοσειρές, με απώτερο σκοπό την ανάδειξη μιας πολλά υποσχόμενης κατεύθυνσης για την επίλυση αυτού του προβλήματος, με τη χρήση μοντέλων βαθιάς μάθησης και πιο συγκεκριμένα την αρχιτεκτονική των transformers. Στα πλαίσια αυτής της μελέτης, εφαρμόζεται αρχικά ανάλυση των δεδομένων με σκοπό τον εντοπισμό των σημαντικών χαρακτηριστικών των χρονοσειρών και την ανάδειξη συσχετίσεων μεταξύ των διαφορετικών μεταβλητών. Στη συνέχεια, θεωρώντας δύο διαφορετικές μελέτες περίπτωσης, διεξάγουμε πολλαπλά πειράματα για την επαλήθευση της αρχικής υπόθεσης. Στην πρώτη μελέτη περίπτωσης, υποθέτουμε πως κάθε ΙοΤ συσκευή λειτουργεί ως απομονωμένη οντότητα, ενώ στη δεύτερη περίπτωση, κάθε συσκευή θεωρείται μέλος ενός ευρύτερου συνόλου συσκευών που βρίσκονται τοποθετημένες σε κοντινές περιοχές. Για κάθε μια από τις παραπάνω υποθέσεις, διερευνούμε την απόδοση τόσο κάποιων παραδοσιακών όσο και των πιο σύγχρονων μεθόδων για συμπλήρωση κενών τιμών που συναντώνται στη σχετική βιβλιογραφία, θεωρώντας ως μετρική αξιολόγησης τη μέση τιμή του απόλυτου σφάλματος. Τέλος, εξάγουμε σημαντικά συμπεράσματα μελετώντας κάθε μεταβλητή ξεχωριστά, προκειμένου να προτείνουμε εξατομικευμένες στρατηγικές ανάκτησης ανάλογα με τη φύση των δεδομένων.