Machine Learning and Statistical Decision Making for Green Radio

Cette these etudie les techniques de gestion intelligente du spectre et de topologie des reseaux via une approche radio intelligente dans le but d’ameliorer leur capacite, leur qualite de service (QoS – Quality of Service) et leur consommation energetique. Les techniques d’apprentissage par renforcement y sont utilisees dans le but d’ameliorer les performances d’un systeme radio intelligent. Dans ce manuscrit, nous traitons du probleme d’acces opportuniste au spectre dans le cas de reseaux intelligents sans infrastructure. Nous nous placons dans le cas ou aucune information n’est echangee entre les utilisateurs secondaires (pour eviter les surcouts en transmissions). Ce probleme particulier est modelise par une approche dite de bandits manchots « restless » markoviens multi-utilisateurs (multi-user restless Markov MAB -multi¬armed bandit). La contribution principale de cette these propose une strategie d’apprentissage multi-joueurs qui prend en compte non seulement le critere de disponibilite des canaux (comme deja etudie dans la litterature et une these precedente au laboratoire), mais aussi une metrique de qualite, comme par exemple le niveau d’interference mesure (sensing) dans un canal (perturbations issues des canaux adjacents ou de signaux distants). Nous prouvons que notre strategie, RQoS-UCB distribuee (distributed restless QoS-UCB – Upper Confidence Bound), est quasi optimale car on obtient des performances au moins d’ordre logarithmique sur son regret. En outre, nous montrons par des simulations que les performances du systeme intelligent propose sont ameliorees significativement par l’utilisation de la solution d’apprentissage proposee permettant a l’utilisateur secondaire d’identifier plus efficacement les ressources frequentielles les plus disponibles et de meilleure qualite. Cette these propose egalement un nouveau modele d’apprentissage par renforcement combine a un transfert de connaissance afin d’ameliorer l’efficacite energetique (EE) des reseaux cellulaires heterogenes. Nous formulons et resolvons un probleme de maximisation de l’EE pour le cas de stations de base (BS – Base Stations) dynamiquement eteintes et allumees (ON-OFF). Ce probleme d’optimisation combinatoire peut aussi etre modelise par des bandits manchots « restless » markoviens. Par ailleurs, une gestion dynamique de la topologie des reseaux heterogenes, utilisant l’algorithme RQoS-UCB, est proposee pour controler intelligemment le mode de fonctionnement ON-OFF des BS, dans un contexte de trafic et d’etude de capacite multi-cellulaires. Enfin une methode incluant le transfert de connaissance « transfer RQoS-UCB » est proposee et validee par des simulations, pour pallier les pertes de recompense initiales et accelerer le processus d’apprentissage, grâce a la connaissance acquise a d’autres periodes temporelles correspondantes a la periode courante (meme heure de la journee la veille, ou meme jour de la semaine par exemple). La solution proposee de gestion dynamique du mode ON-OFF des BS permet de diminuer le nombre de BS actives tout en garantissant une QoS adequate en attenuant les fluctuations de la QoS lors des variations du trafic et en ameliorant les conditions au demarrage de l’apprentissage. Ainsi, l’efficacite energetique est grandement amelioree. Enfin des demonstrateurs en conditions radio reelles ont ete developpes pour valider les solutions d’apprentissage etudiees. Les algorithmes ont egalement ete confrontes a des bases de donnees de mesures effectuees par un partenaire dans la gamme de frequence HF, pour des liaisons transhorizon. Les resultats confirment la pertinence des solutions d’apprentissage proposees, aussi bien en termes d’optimisation de l’utilisation du spectre frequentiel, qu’en termes d’efficacite energetique.