[ca] En l'era de la connectivitat ubiqua, la capacitat de la següent generació de xarxes mòbils creixerà contínuament per suportar un volum de tràfic de dades que creix progressivament, proporcionant baixa latència i alta fiabilitat. L'efecte secundari d'aquest creixement és un dràstic increment de petjada energètica i, per tant, un alt nivell d'emissió de gasos d'efecte hivernacle per les infraestructures de xarxa de la indústria ICT. Movent-se de la cobertura i optimització orientada a capacitat del 3G i 4G, les xarxes 5G estan convergint cap a una planificació orientada de l'energia, proposant xarxes herogènies (Hetnet) potenciades per fonts d'energia renovables (RES) com una des les solucions de disseny sostenible efectiu per encarar aquest problema. No obstant això, a més dels costos de desplegament reduïts, deguts a la baixa potència emesa i el factor del tamany reduït de les estacions base, els requeriments de qualitat de servei haurien de satisfer-se utilitzant el pressupost disponible d'energia provinent de fonts intermitents i erràtiques. Es necessiten, per tant, procediments més intel·ligents, protocols i algorismes basats en Machine Learning per aconseguir amb èxit els seus objectius. L'objectiu d'aquesta tesi és dur a terme una avaluació de rendiment i anàlisi de Hetnets de dos nivells potenciades per RES, simulada a través d'una plataforma de sistema de nivells que fa servir un algorisme de gestió de recursos ràdio basat en aprenentatge per reforç. Després d'un delicat anàlisi del comportament mensual del sistema, es fa una comparació entre un algorisme "codiciós" (el qual apaga les estacions base només en el cas que la bateria baixi d'un cert llindar) i un algorisme Q-Learning off-line, el qual pot ser considerat una instancia híbrida a través d'aprenentatge supervisat i reforçat.

[es] En la era de la conectividad ubicua, la capacidad de la siguiente generación de redes móviles crecerá continuamente para soportar un volumen de tráfico de datos que crece progresivamente, proporcionando baja latencia y alta fiabilidad. El efecto secundario de este crecimiento es un drástico incremento de la huella energética y, por tanto, un alto nivel de emisión de gases de efecto invernadero por las infraestructuras de red de la industria ICT. Moviéndose de la cobertura y optimización orientada a capacidad del 3G y 4G, las redes 5G están convergiendo hacia una planificación orientada de la energía, proponiendo redes heterogéneas (Hetnet) potenciadas por fuentes de energía renovables (RES) como una de las soluciones de diseño sostenible efectivo para encarar este problema. Sin embargo, además de los costes de despliegue reducidos, debidos a la baja potencia emitida y el factor del tamaño reducido de las estaciones base, los requisitos de calidad del servicio deberían satisfacerse utilizando el presupuesto disponible de energía proveniente de fuentes intermitentes y erráticas. Se necesitan, por lo tanto, procedimientos más inteligentes, protocolos y algoritmos basados en Machine Learning para alcanzar con éxito sus objetivos. El objetivo de esta tesis es llevar a cabo una evaluación de rendimiento y análisis de Hetnets de dos niveles potenciadas por RES, simulada a través de una plataforma de sistema de niveles que usa un algoritmo de gestión de recursos radio basado en aprendizaje por reforzamiento. Después de un delicado análisis del comportamiento mensual del sistema, se hace una comparación entre un algoritmo ?codicioso? (que apaga las estaciones base solo en el caso que la batería baje de un cierto umbral) y un algoritmo Q-Learning off-line, que puede ser considerado una instancia híbrida entre aprendizaje supervisado y reforzado.