Machine and deep learning algorithms for radio resource management in 5G and beyond networks
Authors: Μπαρτσιώκας Ιωάννης 
Published: October 2023

Τα τελευταία χρόνια, έχουν αναπτυχθεί συστήματα ασύρματων επικοινωνιών πέμπτης και επόμενης γενιάς (5G/Β5G) για να υποστηρίξουν τον εκθετικό ρυθμό αύξησης της δικτυακής κίνησης και την πυκνή διασύνδεση των χρηστών, που απαιτεί αδιάλειπτη πρόσβαση στο μέσο. Η αυξανόμενη ανάγκη για νέους τύπους εφαρμογών (εφαρμογές Διαδικτύου των Πραγμάτων (IoT), επαυξημένη/εικονική πραγματικότητα (AR/VR), μη επανδρωμένα οχήματα (UAVs)) έχει οδηγήσει σε νέες κατηγορίες υπηρεσιών που εξυπηρετούνται από τα δίκτυα 5G/B5G. Έτσι, η υποστήριξη αξιόπιστης επικοινωνίας με χαμηλή καθυστέρηση (URLLC), η ενισχυμένη κινητή ευρυζωνικότητα (eMBB) και η μαζική επικοινωνία μηχανών (mMTC) σε περιβάλλοντα μαζικής πρόσβασης αποκτούν καίρια σημασία στα δίκτυα 5G/B5G. Επιπλέον, τα τελευταία χρόνια έχουν εισαχθεί καινοτόμες τεχνολογίες φυσικού επιπέδου για την αντιμετώπιση των αυξανόμενων προκλήσεων στον τομέα των ασύρματων επικοινωνιών, όπως τα κεραιοσυστήματα πολλαπλών εισόδων-πολλαπλών εξόδων (m-MIMO), οι χιλιοστομετρικές επικοινωνίες (mmWave), οι κόμβοι αναμετάδοσης (RNs), καθώς και η μη ορθογώνια πολλαπλή πρόσβαση (NOMA). Ωστόσο, οι προηγμένες αυτές τεχνολογίες φυσικού επιπέδου, όταν εφαρμόζονται σε ένα κυψελωτό περιβάλλον που χαρακτηρίζεται από υψηλά επίπεδα παρεμβολών και δυσχερείς συνθήκες διάδοσης, μπορούν να αυξήσουν το υπολογιστικό κόστος για την υποστήριξη των αυστηρών απαιτήσεων των χρηστών. Σε αυτό το πλαίσιο, προτείνονται αλγόριθμοι μηχανικής μάθησης (Machine Learning - ML), ως ένας αποτελεσματικός τρόπος αντιμετώπισης των παραπάνω προβλημάτων, εξαιτίας της ικανότητάς τους να χρησιμοποιούν δεδομένα που παράγονται από το ίδιο το δίκτυο για τη βελτίωση της αποδοτικότητας του δικτύου. Οι αλγόριθμοι ML εκπαιδεύονται χρησιμοποιώντας, είτε δεδομένα που παράγονται από το ίδιο το ασύρματο δίκτυο, είτε από παρόμοια δίκτυα. Με αυτόν τον τρόπο, οι πολύπλοκοι υπολογισμοί για τα δεδομένα του καναλιού ενσωματώνονται στα επίπεδα των μοντέλων ML, γεγονός που οδηγεί στη μείωση του υπολογιστικού κόστους και της πολυπλοκότητας μετά από πολλαπλούς διαδοχικούς γύρους (rounds) εκπαίδευσης. Ορισμένοι αλγόριθμοι ML (π.χ. αλγόριθμοι ενισχυτικής μάθησης (Reinforcement Learning - RL)) μπορούν να αλληλεπιδρούν άμεσα σε πραγματικό χρόνο με το περιβάλλον και να υποστηρίζουν τις απαιτήσεις για χαμηλή καθυστέρηση σε δίκτυα 5G/B5G. Αντικείμενο της παρούσας διδακτορικής διατριβής είναι η μελέτη και ανάπτυξη μεθόδων ML και Βαθιάς Μάθησης (Deep Learning – DL) για την αποτελεσματική ανάθεση ραδιοπόρων (Radio Resource Management – RRM) σε ασύρματα δίκτυα επικοινωνιών 5G/B5G. Συγκεκριμένα, μελετώνται ML/DL αλγόριθμοι για διάφορα RRM υποπροβλήματα, όπως η κατανομή υποφερόντων σε χρήστες (User Equipments – UEs), η επιλογή σταθμού βάσης (Base Station - BS) ή κόμβου αναμετάδοσης (Relay Node –RN) για χρήστες που εισέρχονται στην κυψελική τοπολογία, αλλά και η πρόβλεψη μετρικών δικτύου, όπως ο ρυθμός διέλευσης (throughput). Γενικά, οι αυξημένες απαιτήσεις των UEs για αδιάλειπτη ποιότητα υπηρεσίας (Quality of Service - QoS), ελαχιστοποιημένη καθυστέρηση και μεγάλη πυκνότητα διασυνδεδεμένων συσκευών, καθιστούν αναγκαία τη χρησιμοποίηση τεχνικών ML/DL για τα παραπάνω RRM προβλήματα. Μάλιστα, όταν στα 5G/B5G συστήματα γίνεται εκτενής χρήση προηγμένων τεχνολογιών φυσικού επιπέδου, όπως τα massive MIMO (m-MIMO) κεραιοσυστήματα, οι χιλιοστομετικές μπάντες συχνοτήτων (mmWaves) και η μη ορθογωνική πολλαπλή πρόσβαση διαίρεσης συχνότητας (non-orthogonal multiple access - NOMA), τότε η πολυπλοκότητα των RRM προβλημάτων και οι απαιτήσεις καθιστούν αναγκαίες ακόμη πιο εξελιγμένες ML τεχνικές. Για αυτόν το λόγο, πέραν των κλασσικών τεχνικών Επιβλεπόμενης (Supervised) και Μη-Επιβλεπόμενης (Unsupervised) μάθησης, η παρούσα διδακτορική διατριβή μελετά και αναπτύσσει και τεχνικές Βαθιάς Ενισχυτικής Μάθησης (Deep Reinforcement Learning – DRL), και Deep Q-Learning αλγορίθμους.