Task Placement in Geo-Distributed Data Analytics over Edge and Fog Nodes
Creators: name: Κωνσταντινίδης, Θεόδωρος Ηλία
Publisher: name: Aristotle University of Thessaloniki
Year: 2023
Subjects: Ανάλυση δεδομένων
Γεωκατανομή
Fog
Edge
Spark
Kubernetes
Διεπαφή
Βελτίωση (πληροφορική)
Data analytics
Geo-distribution
Interface
Enhancement

description: A considerable number of systems are based on the widely used architecture of Fog and Edge Computing. As new uses of these architectures occur, systems incorporate new types of devices, making their configurations diverse and complex. While systems become better suited to specific needs, this heterogeneity poses new challenges as well. More types of devices mean not only more types of data, demanding proper processing, but also different hardware restrictions in processing power and network capacity to consider. All three challenges result in latency in data delivery, if disregarded. Geo-distributed data analytics is one of the most widespread uses of Fog and Edge Computing. However, the data processing frameworks it runs on are not designed for Fog and Edge Computing systems. Because of that, they do not utilize the resources of these systems efficiently. Improving resource utilization relies on the proper configuration of systems and use of suitable software. The production of results from the collected data requires complex workflows, which do not run as a whole, but as smaller tasks. Resources remain immutable, but tasks can be assigned to nodes in ways that allow them to run efficiently and in shorter times. This can be achieved by placing tasks with certain data types on nodes with specialized hardware, or on nodes with greater processing power when these tasks are computationally demanding. We present technical details on how someone can extend the existing schedulers of Spark and Kubernetes to assign tasks to arbitrary devices explicitly without requiring any changes to existing applications designed for each framework, so they can tailor task scheduling to their own infrastructure.
description: Ένας σημαντικός αριθμός συστημάτων βασίζεται στην ευρέως χρησιμοποιούμενη αρχιτεκτονική των Fog και Edge Computing. Καθώς προκύπτουν νέες χρήσεις των αρχιτεκτονικών αυτών, τα συστήματα ενσωματώνουν νέους τύπους συσκευών, καθιστώντας τις διαμορφώσεις τους ποικιλόμορφες και πολύπλοκες. Παρά το γεγονός ότι τα συστήματα προσαρμόζονται καλύτερα σε συγκεκριμένες ανάγκες, αυτή η ετερογένεια δημιουργεί και νέες προκλήσεις. Οι περισσότεροι τύποι συσκευών μεταφράζονται όχι μόνο σε περισσότερους τύπους δεδομένων που απαιτούν κατάλληλη επεξεργασία, αλλά και σε διαφορετικούς περιορισμούς στην επεξεργαστική δύναμη και τη χωρητικότητα του δικτύου, οι οποίοι πρέπει να συνυπολογιστούν. Και οι τρεις προκλήσεις έχουν ως αποτέλεσμα την καθυστέρηση στην παράδοση δεδομένων, αν παραβλεφθούν. Η γεωκατανεμημένη ανάλυση δεδομένων είναι μια από τις πιο ευρέως διαδεδομένες χρήσεις των Fog και Edge Computing. Ωστόσο, τα πλαίσια επεξεργασίας δεδομένων στα οποία εκτελείται δεν έχουν σχεδιαστεί για συστήματα Fog και Edge Computing. Για το λόγο αυτόν δεν αξιοποιούν τους πόρους των συστημάτων αυτών αποδοτικά. Η βελτίωση της αξιοποίησης των πόρων βασίζεται στη σωστή παραμετροποίηση των συστημάτων και τη χρήση κατάλληλου λογισμικού. Η παραγωγή αποτελεσμάτων από τα συλλεχθέντα δεδομένα απαιτεί πολύπλοκες ροές εργασιών, οι οποίες δεν εκτελούνται ως σύνολο, αλλά ως μικρότερες διεργασίες. Οι πόροι παραμένουν αμετάβλητοι, αλλά οι διεργασίες μπορούν να ανατεθούν σε κόμβους με τρόπους που τους επιτρέπουν να τρέξουν αποδοτικά και σε πιο σύντομους χρόνους. Αυτό μπορεί να επιτευχθεί τοποθετώντας διεργασίες με συγκεκριμένους τύπους δεδομένων σε κόμβους με εξειδικευμένο υλικό, ή σε κόμβους με αυξημένη επεξεργαστική ισχύ όταν οι διεργασίες αυτές είναι υπολογιστικά απαιτητικές. Παρουσιάζουμε τεχνικές διευκρινίσεις για το πώς κάποιος μπορεί να επεκτείνει τους υπάρχοντες χρονοπρογραμματιστές των Spark και Kubernetes για να αναθέτουν ρητά εργασίες σε συγκεκριμένες συσκευές χωρίς να απαιτούνται αλλαγές στις υπάρχουσες εφαρμογές που έχουν σχεδιαστεί για αυτά τα πλαίσια, ώστε να προσαρμόσει τον προγραμματισμό των εργασιών στη δική του υποδομή.