[en] In the era of ubiquitous connectivity, next generation mobile networks capacity will continuously increase in order to support a progressively higher volume of data traffic, providing low latency and high reliability. The side effect of such growth is a drastic increase of energy footprint and, therefore, a high level of greenhouse gases emissions by ICT industry network infrastructures. Moving from 3G and 4G coverage and capacity oriented optimization, 5G networks are converging towards an energy oriented planning by proposing Renewable Energy Source powered Heterogeneous Networks as one of the effective sustainable design solutions to face this problem. Nevertheless, besides the reduced deployment costs, due to the low emitted power and the small form factor of the base stations, Quality of Service requirements should be met using the available energy budget coming from intermittent and erratic sources. They need, so, further intelligent procedures, protocols, and Machine Learning based algorithms to successfully achieve their goal. Objective of this thesis is to conduct a performance evaluation and analysis of a two-tier RES-powered HetNet simulated through a system level platform which uses a reinforcement learning based radio resource management algorithm. After a focus on system?s hourly statistical behaviour, a comparative analysis is done between a ?greedy? algorithm (which turns OFF the base stations only in case their battery level goes below a threshold), and an off-line trained Q-Learning algorithm, which can be considered a hybrid instance across supervised and reinforcement learning.

[es] En la era de la conectividad ubicua, la capacidad de la siguiente generación de redes móviles crecerá continuamente para soportar un volumen de tráfico de datos que crece progresivamente, proporcionando baja latencia y alta fiabilidad. El efecto secundario de este crecimiento es un drástico incremento de la huella energética y, por tanto, un alto nivel de emisión de gases de efecto invernadero por las infraestructuras de red de la industria ICT. Moviéndose de la cobertura y optimización orientada a capacidad del 3G y 4G, las redes 5G están convergiendo hacia una planificación orientada de la energía, proponiendo redes heterogéneas (Hetnet) potenciadas por fuentes de energía renovables (RES) como una de las soluciones de diseño sostenible efectivo para encarar este problema. Sin embargo, además de los costes de despliegue reducidos, debidos a la baja potencia emitida y el factor del tamaño reducido de las estaciones base, los requisitos de calidad del servicio deberían satisfacerse utilizando el presupuesto disponible de energía proveniente de fuentes intermitentes y erráticas. Se necesitan, por lo tanto, procedimientos más inteligentes, protocolos y algoritmos basados en Machine Learning para alcanzar con éxito sus objetivos. El objetivo de esta tesis es llevar a cabo una evaluación de rendimiento y análisis de Hetnets de dos niveles potenciadas por RES, simulada a través de una plataforma de sistema de niveles que usa un algoritmo de gestión de recursos radio basado en aprendizaje por reforzamiento. Después de un delicado análisis del comportamiento mensual del sistema, se hace una comparación entre un algoritmo ?codicioso? (que apaga las estaciones base solo en el caso que la batería baje de un cierto umbral) y un algoritmo Q-Learning off-line, que puede ser considerado una instancia híbrida entre aprendizaje supervisado y reforzado.