Efficient big data management techniques in the context of large-scale IoT systems
Authors: Καρράς Αριστείδης 
Published: November 2024

Στον κόσμο του Διαδικτύου των Πραγμάτων (IoT), τα διασυνδεδεμένα συστήματα, οι αισθητήρες και οι συσκευές παράγουν συνεχώς δεδομένα, δημιουργώντας προκλήσεις στην αποδοτική συλλογή, επεξεργασία και ασφαλή αποθήκευση αυτών των πληροφοριών. Αυτή η διατριβή εστιάζει στην ανάπτυξη καινοτόμων λύσεων που ανταποκρίνονται στις μοναδικές απαιτήσεις των μεγάλων δεδομένων στο πλαίσιο των συστημάτων (IoT), ενισχύοντας την απόδοση, την ασφάλεια και την κλιμακωσιμότητα. Σε αυτή διατριβή, αναπτύχθηκαν αλγόριθμοι για τη βελτιστοποίηση ερωτημάτων σε συστήματα μεγάλων δεδομένων, βελτιώνοντας σημαντικά την αποδοτικότητα των διαδικασιών ανάκτησης δεδομένων μέσω της μείωσης του χρόνου επεξεργασίας και της κατανάλωσης πόρων. Οι στρατηγικές προσωρινής αποθήκευσης που παρουσιάζονται βασίζονται σε βαθιά ενισχυτική μάθηση (DRL) και σε Μαρκοβιανή αλυσίδα Μόντε Κάρλο (MCMC), εξασφαλίζοντας τη φρεσκάδα των δεδομένων ενώ βελτιστοποιούν την κατανάλωση ενέργειας, κάτι που είναι ζωτικής σημασίας για τη δυναμική φύση των δεδομένων (IoT). Αποδείχθηκε επίσης η δυνατότητα ομοσπονδιακής μάθησης σε συσκευές (IoT) με περιορισμένους πόρους, διατηρώντας την ιδιωτικότητα των δεδομένων ενώ επιτρέπει τη διανεμημένη μάθηση σε πολλαπλές συσκευές. Οι εκτενείς πειραματισμοί με εγκαταστάσεις Raspberry Pi ανέδειξαν τα πλεονεκτήματα και τα μειονεκτήματα μεταξύ τοπικής επεξεργασίας και επιβαρύνσεων επικοινωνίας. Η κατηγοριοποίηση δεδομένων υψηλής διαστατικότητας σε συστήματα (IoT) αποτελεί σημαντικό μέρος της έρευνας, με αποδοτικές τεχνικές που βελτιώνουν τις διαδικασίες ανάλυσης και λήψης αποφάσεων. Προτάθηκαν επίσης μέθοδοι για τη διαχείριση μεγάλων δεδομένων σε αποκεντρωμένα κινητά δίκτυα άκρης, βελτιώνοντας την κλίμακα και μειώνοντας το φορτίο στους κεντρικούς επεξεργαστές, κρίσιμες για την αποδοτικότητα των εφαρμογών (IoT) σε πραγματικό χρόνο. Η ενσωμάτωση τεχνολογιών TinyML και LoRa σε συστήματα (IoT) μεγάλης κλίμακας έδειξε σημαντικές βελτιώσεις στην ενεργειακή αποδοτικότητα και την ταχύτητα επεξεργασίας δεδομένων, ωφελώντας ιδιαίτερα τις βιώσιμες και αποδοτικές γεωργικές πρακτικές. Επιπλέον, αναπτύχθηκε η διεπαφή SparkReact για την MLlib του Apache Spark, απλοποιώντας τη χρήση βιβλιοθηκών μηχανικής μάθησης για την ανάλυση μεγάλων δεδομένων και καθιστώντας τα εργαλεία προχωρημένης ανάλυσης πιο προσιτά. Η διεπαφή αυτή παρέχει επίσης ευελιξία και δυνατότητες προσαρμογής, επιτρέποντας στους χρήστες να προσαρμόζουν τα μοντέλα σύμφωνα με τις συγκεκριμένες ανάγκες τους. Συνολικά, η διατριβή εξετάζει συστηματικά διάφορες καινοτόμες τεχνικές και στρατηγικές για τη βελτίωση της αποδοτικότητας και της αποτελεσματικότητας της διαχείρισης μεγάλων δεδομένων σε συστήματα IoT. Αντιμετωπίζοντας τις μοναδικές προκλήσεις που θέτουν οι αναπτύξεις IoT μεγάλης κλίμακας, όπως η φρεσκάδα των δεδομένων, οι ενεργειακοί περιορισμοί και η κατηγοριοποίηση δεδομένων υψηλής διαστατικότητας, η έρευνα παρέχει σημαντικές συμβολές στον τομέα. Τα ευρήματα και οι καινοτομίες που παρουσιάζονται αναμένεται να έχουν διαρκή επίδραση τόσο στην ακαδημαϊκή έρευνα όσο και στις πρακτικές εφαρμογές στον τομέα του IoT.