Resource allocation and quality management in geo-distributed workflows
Authors: Μιχαηλίδου Άννα-Βαλεντίνη 
Published: March 2023

Καθώς ο όγκος των δεδομένων που αποθηκεύονται σε γεω-κατανεμημένα κέντρα δεδομένων αυξάνεται και η ανάγκη για γρήγορη ανάλυσή τους παραμένει, η επιλογή να συγκεντρωθούν σε μια κεντρική τοποθεσία πριν από την επεξεργασία τους καθίσταται σημαντικά αναποτελεσματική. Ως εκ τούτου, προκύπτει η ανάγκη ανάλυσης των δεδομένων πιο κοντά στις πηγές τους. Έχουν γίνει πολυάριθμες ερευνητικές προσπάθειες για τον προσδιορισμό της βέλτιστης ανάθεσης μιας τέτοιας ανάλυσης, που συνήθως απεικονίζεται ως Κατευθυνόμενο Άκυκλο Γράφημα που αποτελείται από πολλαπλές εργασίες, με σκοπό τη βελτιστοποίηση μετρικών. Επιπρόσθετα, η εμφάνιση του Διαδικτύου των Πραγμάτων και του edge computing όπου πολλαπλοί αισθητήρες παράγουν τεράστιες ποσότητες δεδομένων που πρέπει να αναλυθούν σε πραγματικό χρόνο σε κοντινές συσκευές, αντί για το cloud, επιφέρει πρόσθετες προκλήσεις, όπως ετερογένεια υλικού και δικτύου, και περιορισμούς ασφαλείας. Ακόμη και μετά την εύρεση ενός βελτιστοποιημένου πλάνου ανάθεσης εργασιών, ο χρόνος εκτέλεσης μπορεί να παραμένει υψηλός λόγω του όγκου των δεδομένων που αναλύονται. Επομένως, υπάρχει ανάγκη για ανάπτυξη τεχνικών που μειώνουν αυτό το μέγεθος, ενώ παράλληλα λαμβάνουν υπόψη την ποιότητα του αποτελέσματος, μέσω της μέτρησης των διαφορετικών διαστάσεων της ποιότητας των δεδομένων, όπως η πληρότητα. Η παρούσα διατριβή στοχεύει να αντιμετωπίσει αυτές τις προκλήσεις. Αρχικά, προτείνεται μια δι-κτιρτηριακή λύση ανάθεσης εργασιών σε γεω-κατανεμημένους πόρους. Οι τεχνικές που αναπτύχθηκαν λαμβάνουν υπόψη την ετερογένεια των συνδέσεων δικτύου, επιτυγχάνοντας κατά μέσο όρο 44.31% μείωση στο συνολικό χρόνο εκτέλεσης και ταυτόχρονα 50.12% μείωση της κίνησης δεδομένων σε σύγκριση με μία προηγμένη λύση. Επιπρόσθετα, ένα πρωτότυπο στο Apache Spark αποδεικνύει τις αποτελεσματικότητα σε ένα πραγματικό περιβάλλον. Στην συνέχεια, προτείνονται τεχνικές για ένα edge περιβάλλον που λαμβάνουν υπόψη την ετερογένεια των συσκευών και των συνδέσεων δικτύου και τους περιορισμούς ιδιωτικότητας των δεδομένων ενώ εισάγουν και εργασίες επαλήθευσης ποιότητας των δεδομένων. Η αξιολόγηση των προτεινόμενων τεχνικών μέσω προσομοιώσεων δείχνει βελτιώσεις όσον αφορά μια μετρική που λαμβάνει υπόψη τον χρόνο εκτέλεσης και τον έλεγχο ποιότητας, έως και 2.56 φορές σε σύγκριση με λύσεις τελευταίας τεχνολογίας. Επιπλέον, η προτεινόμενη λύση μειώνει τον χρόνο εκτέλεσης έως και 8 φορές στο 86.9% των περιπτώσεων σε σύγκριση με τον βασικό δρομολογητή του Apache Storm. Επιπλέον, υλοποιήθηκε μια εμπειρική μελέτη σχετικά με τα οφέλη απόδοσης και επεκτασιμότητας που μπορούν να επιφέρουν τα συστήματα ανάλυσης μεγάλων δεδομένων στην αξιολόγηση της ποιότητας. Επιπλέον, το πρόβλημα της ταυτόχρονης βελτιστοποίησης πολλαπλών ροών αντιμετωπίζεται με την υλοποίηση τεχνικών που αποφασίζουν για την ανάθεση εργασιών σε edge συσκευές και αντισταθμίζουν την μείωση ποιότητας με τον χρόνο εκτέλεσης. Τα αποτελέσματα της αξιολόγησης στο Apache Storm δείχνουν μειώσεις του χρόνου εκτέλεσης έως και 6 φορές με μέση επιτάχυνση 2.76 φορές σε σύγκριση με τον προηγμένο δρομολογητή Resource-Aware. Οι τεχνικές μεταφέρονται επίσης σε ένα πρόβλημα μετακίνησης δεδομένων εισόδου που βελτιστοποιεί περαιτέρω τον χρόνο εκτέλεσης των εφαρμογών, έως και μια τάξη μεγέθους. Τέλος, παρουσιάζεται ένα όραμα για το μέλλον των τεχνικών ανάλυσης μεγάλων δεδομένων σε edge συσκευές, όπου επισημαίνονται τα εναπομείναντα άλυτα προβλήματα καθώς και οι νέες προκλήσεις που επιφέρει η ανάπτυξη ακόμη πιο υπολογιστικά απαιτητικών εφαρμογών, όπως η βαθιά μάθηση, και προτείνεται ένας τρόπος για την αντιμετώπισή τους αξιοποιώντας επίσης τα αποτελέσματα της συγκεκριμένης διατριβής.