Μοντελοποίηση εφαρμογών και τελεστών μεγάλων δεδομένων σε περιβάλλοντα υπολογιστικών νεφών
Authors: Γιαννακόπουλος Ιωάννης 
Published: September 2021

Η επανάσταση των Μεγάλων Δεδομένων έχει δημιουργήσει νέες απαιτήσεις για το σχεδιασμό εφαρμογών και τελεστών έτσι ώστε να μπορούν να διαχειρίζονται τον τεράστιο όγκο δεδομένων. Η υιοθέτηση κατανεμημένων τεχνικών και η ολοένα αυξανόμενη δημοτικότητα των Υπολογιστικών Νεφών έχουν συντελέσει στην αύξηση της πολυπλοκότητας της αρχιτεκτονικής των τελεστών Μεγάλων Δεδομένων, κάνοντας το πρόβλημα της μοντελοποίησης της συμπεριφοράς τους ολοένα και πιο δύσκολο. Παράλληλα, η μεγάλη ποικιλομορφία των διαφορετικών πηγών δεδομένων έχει περιπλέξει το πρόβλημα της επιλογής των κατάλληλων εισόδων για έναν τελεστή, καθώς η εξέταση της χρησιμότητας των δεδομένων εισόδου για αυτόν είναι μια μη αυτοματοποιημένη διαδικασία που στηρίζεται στην εξαντλητική εκτέλεση του τελεστή για το σύνολο των διαθέσιμων δεδομένων. Η διατριβή αυτή προσπαθεί να μοντελοποιήσει τη συμπεριφορά ενός δοθέντος τελεστή Μεγάλων Δεδομένων, υπό το πρίσμα δύο διαφορετικών κατευθύνσεων.Πρώτον, η διατριβή αυτή ασχολείται με το πρόβλημα της μοντελοποίησης της απόδοσης ενός τελεστή όταν αυτός εγκαθίσταται με διαφορετικές παραμέτρους. Για το σκοπό αυτό, παρουσιάζεται μια προσαρμοστική μεθοδολογία μοντελοποίησης της απόδοσης μιας εφαρμογής, που στηρίζεται: (α) στην αναδρομική διαμέριση του χώρου παραμέτρων, (β) στην κατανομή ενός προαποφασισμένου αριθμού δειγμάτων σε κάθε υποπεριοχή σύμφωνα με διαφορετικά χαρακτηριστικά της (π.χ., το μέγεθός της, το σφάλμα μοντελοποίησης, κλπ) και (γ) στην φυσική εγκατάσταση της εφαρμογής για τα επιλεχθέντα σύνολα παραμέτρων. Η απόδοση προσεγγίζεται για ολόκληρο το χώρο χρησιμοποιώντας ένα συνδυασμό γραμμικών μοντέλων που εφαρμόζεται σε κάθε υποπεριοχή. Διαισθητικά, η προσέγγιση αυτή προσπαθεί να συμβιβάσει τις αντίρροπες κατευθύνσεις της εξερεύνησης του χώρου παραμέτρων και της εκμετάλλευσης της αποκτηθείσας γνώσης (μέσω των δειγμάτων που έχουν επιλεγεί προηγούμενα) διαμέσου της συγκέντρωσης σε περιοχές με υψηλό σφάλμα προσέγγισης.Δεύτερον και με σκοπό την επιτάχυνση της ανάλυσης των δεδομένων, η διατριβή αυτή προτείνει μια μεθοδολογία για τη μοντελοποίηση της εξόδου ενός τελεστή όταν αυτός εφαρμόζεται σε διαφορετικά σύνολα δεδομένων εισόδου. Με βάση την παρατήρηση ότι όμοια σύνολα δεδομένων τείνουν να επηρεάζουν έναν τελεστή με παρόμοιο τρόπο, προτείνεται μια βασισμένη στο περιεχόμενο μεθοδολογία που μοντελοποιεί την έξοδο ενός τελεστή για όλα τα δεδομένα εισόδου. Η προσέγγιση αυτή ποσοτικοποιεί την ομοιότητα μεταξύ των διαφορετικών συνόλων δεδομένων υπό το πρίσμα τριών θεμελιωδών ιδιοτήτων: (α) τη στατιστική κατανομή τους, (β) το μέγεθος τους και (γ) τη σειρά εμφάνισης των πλειάδων τους. Η ομοιότητα μεταξύ των διαφορετικών συνόλων προβάλλεται, εν συνεχεία, σε ένα μετρικό χώρο χαμηλής διάστασης και χρησιμοποιείται σαν σύνολο ορισμού από ένα Νευρωνικό Δίκτυο που έχει ως σκοπό την προσέγγιση της εξόδου του τελεστή για όλα τα σύνολα, δοθέντων την πραγματικών τιμών εξόδου για ένα μικρό υποσύνολο τους.Η πειραματική αξιολόγηση, που πραγματοποιήθηκε χρησιμοποιώντας μεγάλη πληθώρα πραγματικών τελεστών που εκτελούνται τόσο για πραγματικά όσο και συνθετικά δεδομένα εισόδου, έδειξε ότι οι προτεινόμενες μεθοδολογίες μπορούν μοντελοποιήσουν με υψηλή ακρίβεια τη συμπεριφορά ενός τελεστή Μεγάλων Δεδομένων και από τις δυο εξεταζόμενες σκοπιές. Η υιοθέτηση της τεχνικής “διαίρει και βασίλευε” που σέβεται εξίσου την εξερεύνηση του χώρου παραμέτρων και την εκμετάλλευση της παραγόμενης γνώσης σχετικά με τη μοντελοποίησης της απόδοσης, είναι ο κύριος λόγος που εξηγεί την υψηλότερη ακρίβεια που πετυχαίνει η προταθείσα μεθοδολογία, εν συγκρίσει με άλλες, παρεμφερείς μεθοδολογίες μοντελοποίησης απόδοσης. Παράλληλα, ο μετρικός χώρος χαμηλής διάστασης, που κατασκευάζεται σχετικά με το δεύτερο κομμάτι της διατριβής, περιέχει αρκετή πληροφορία για να επιτρέψει μοντέλα Μηχανικής Μάθησης να προσεγγίσουν την έξοδο ενός μεγάλου αριθμού τελεστών με διαφορετικά χαρακτηριστικά.