Efficient resource allocation for data centers with dynamic optical network infrastructure
Authors: Κοντοδήμας Κωνσταντίνος 
Published: February 2024

Μελετούμε την ενορχήστρωσης πόρων σε διασυνδετικό δίκτυο κέντρου δεδομένων (ΔΚΔ) που βασίζεται σε υβριδικούς ηλεκτροοπτικούς top-of-rack μεταγωγείς για τη σύνδεση των εξυπηρετητών μέσω οπτικών δακτυλίων πολλαπλών μηκών κύματος. Το εύρος ζώνης των δακτυλίων είναι κοινόχρηστο, και η αποδοτική χρήση της υποδομής απαιτεί συντονισμό στα πεδία του χρόνου, του χώρου και του μήκους κύματος. Για τον σκοπό αυτό, παρουσιάζονται offline και incremental δυναμικοί αλγόριθμοι ανάθεσης πόρων. Οι αλγόριθμοι αυτοί είναι κατάλληλοι να υλοποιηθούν σε επίπεδο ελέγχου που χρησιμοποιεί software defined network (SDN), επιτυγχάνοντας αποδοτική, χωρίς συγκρούσεις και κατ' απαίτηση χρήση της χωρητικότητας. Τα αποτελέσματα της προσομοίωσής δείχνουν ότι οι προτεινόμενοι αλγόριθμοι μπορούν να επιτύχουν υψηλή χρησιμοποίηση και χαμηλή καθυστέρηση σε διάφορα σενάρια κίνησης που περιλαμβάνουν hot spots και/ή γρήγορα μεταβαλλόμενη κίνηση. Επιπλέον, για την αξιολόγηση της επίδρασης της καθυστέρησης στο επίπεδο ελέγχου και μεθόδων εκτίμησης της κίνησης, γίνεται χρήση ρεαλιστικής κίνησης MapReduce με τον προσομοιώτη επιπέδου πακέτων OMNET++. Στη συνέχεια, προτείνουμε μια αρχιτεκτονική ΔΚΔ που βασίζεται στον σχεδιασμό ενός οπτικού μεταγωγέα "Lean" με περιορισμένη, αλλά κλιμακούμενη ρυθμισιμότητα (configurability). Αυτός ο σχεδιασμός προσφέρει υψηλές ταχύτητες επαναρρύθμισης, χρονοπρογραμματισμό πραγματικού χρόνου, αποδοτικό έλεγχο του δικτύου και χαμηλό αριθμό στοιχείων μεταγωγής. Για να επιτευχθούν αυτοί οι στόχοι, γίνεται χαλάρωση του non-blocking περιορισμού του δικτύου και επιλέγονται στοιχεία μεταγωγής μερικής ρυθμισιμότητας, περιορίζοντας τη δυνατότητα έλεγχου του χρονοπρογραμματιστή και μειώνοντας την επιβάρυνση της διαδικασίας ελέγχου. Γίνεται σύγκριση του προτεινόμενου δικτύου με την αρχιτεκτονική RotorNet, η οποία λειτουργεί με πλήρως κατανεμημένο έλεγχο, και με την αρχιτεκτονική Mordia, που λειτουργεί κεντρικοποιημένο έλεγχο. Κάθε αρχιτεκτονική πετυχαίνει διαφορετικά επίπεδα λειτουργικότητας (functionality) και προσφέρει διαφορετικά πλεονεκτήματα. Η προτεινόμενη λύση βρίσκεται ανάμεσα στις δύο άλλες δύο προσεγγίσεις και συνδυάζει τα οφέλη και των δύο. Επιπλέον, αναλύονται οι crosspoint πολυπλοκότητες της προτεινόμενης αρχιτεκτονικής και των αρχιτεκτονικών αναφοράς και αξιολογούνται ως προς τη ρυθμαπόδοση και την καθυστέρηση μέσω προσομοιώσεων. Τέλος, εφαρμόζονται βελτιώσεις στο ΔΚΔ RotorNet χρησιμοποιώντας τη μέθοδο breakout για τον έλεγχο της καθυστέρησης του επιπέδου ελέγχου, την εφαρμογή μερικής ρυθμισιμότητας με τη βοήθεια κεντρικοποιημένου ελέγχου, και μιας προσαρμοστικής πολιτικής χρονοπρογραμματισμού που βελτιστοποιεί δυναμικά τις αναθέσεις με βάση τα χαρακτηριστικά της κίνησης. Τέλος, εξετάζουμε το πρόβλημα της ασφαλούς κατανεμημένης αποθήκευσης σε ετερογενή cloud-edge περιβάλλοντα. Τα συστήματα κατανεμημένης αποθήκευσης που εκτείνονται σε διαφορετικά κέντρα δεδομένων του cloud έχουν βελτιώσει σημαντικά τη διαθεσιμότητα και την ευελιξία για λειτουργίες αποθήκευσης και ανάκτησης δεδομένων. Ωστόσο, οι αυστηρές απαιτήσεις χρόνου απόκρισης των νέων εφαρμογών απαιτούν τη βέλτιστη επιλογή αποθηκευτικών πόρων που παρουσιάζουν μικρότερη καθυστέρηση. Η εισαγωγή πόρων edge σε συστήματα κατανεμημένης αποθήκευσης επιτρέπει την τοποθέτηση δεδομένων κοντά στην πηγή τους, αλλά ταυτόχρονα αυξάνει την πολυπλοκότητα στις διαδικασίες λήψης αποφάσεων και ενορχήστρωσης για τη βέλτιστη τοποθέτηση δεδομένων. Αναπτύσσονται μηχανισμοί για την αποθήκευση δεδομένων σε μια υποδομή που περιλαμβάνει τόσο edge, όσο και cloud πόρους. Η προσέγγισή επικεντρώνεται στον βέλτιστο συνδυασμό της ακεραιότητας των δεδομένων, της μακροβιότητάς τους, της ασφάλειας και του κόστους, ενώ χρησιμοποιείται η τεχνική του erasure coding κατά την ανάθεση των πόρων. Αρχικά παρουσιάζεται μια ολοκληρωμένη διατύπωση μεικτού ακέραιου γραμμικού προγραμματισμού για το πρόβλημα της ενορχήστρωσης των πόρων αποθήκευσης. Δεδομένου ότι ο χώρος αναζήτησης για τη βέλτιστη λύση μπορεί να είναι τεράστιος και ο χρόνος εκτέλεσης απαγορευτικά μεγάλος για πραγματικά μεγάλα προβλήματα, προτείνεται επίσης μια multi-agent rollout ευρετική προσέγγιση, για να ισορροπήσει αποδοτικά μεταξύ απόδοσης και χρόνου εκτέλεσης. Μέσω διαφόρων πειραμάτων προσομοίωσης, αξιολογούνται οι μηχανισμοί και οι συμβιβασμοί της προσέγγισής που γίνεται. Ενσωματώνοντας πραγματικά δεδομένα που δόθηκαν από πάροχο multi-cloud, ενισχύοντας περαιτέρω την έγκυροτητα των προσομοιώσεων και των συμπερασμάτων που προκύπτουν.