[ca] En l'era de la connectivitat ubiqua, la capacitat de la següent generació de xarxes mòbils creixerà contínuament per suportar un volum de tràfic de dades que creix progressivament, proporcionant baixa latència i alta fiabilitat. L'efecte secundari d'aquest creixement és un dràstic increment de petjada energètica i, per tant, un alt nivell d'emissió de gasos d'efecte hivernacle per les infraestructures de xarxa de la indústria ICT. Movent-se de la cobertura i optimització orientada a capacitat del 3G i 4G, les xarxes 5G estan convergint cap a una planificació orientada de l'energia, proposant xarxes herogènies (Hetnet) potenciades per fonts d'energia renovables (RES) com una des les solucions de disseny sostenible efectiu per encarar aquest problema. No obstant això, a més dels costos de desplegament reduïts, deguts a la baixa potència emesa i el factor del tamany reduït de les estacions base, els requeriments de qualitat de servei haurien de satisfer-se utilitzant el pressupost disponible d'energia provinent de fonts intermitents i erràtiques. Es necessiten, per tant, procediments més intel·ligents, protocols i algorismes basats en Machine Learning per aconseguir amb èxit els seus objectius. L'objectiu d'aquesta tesi és dur a terme una avaluació de rendiment i anàlisi de Hetnets de dos nivells potenciades per RES, simulada a través d'una plataforma de sistema de nivells que fa servir un algorisme de gestió de recursos ràdio basat en aprenentatge per reforç. Després d'un delicat anàlisi del comportament mensual del sistema, es fa una comparació entre un algorisme "codiciós" (el qual apaga les estacions base només en el cas que la bateria baixi d'un cert llindar) i un algorisme Q-Learning off-line, el qual pot ser considerat una instancia híbrida a través d'aprenentatge supervisat i reforçat.

[en] In the era of ubiquitous connectivity, next generation mobile networks capacity will continuously increase in order to support a progressively higher volume of data traffic, providing low latency and high reliability. The side effect of such growth is a drastic increase of energy footprint and, therefore, a high level of greenhouse gases emissions by ICT industry network infrastructures. Moving from 3G and 4G coverage and capacity oriented optimization, 5G networks are converging towards an energy oriented planning by proposing Renewable Energy Source powered Heterogeneous Networks as one of the effective sustainable design solutions to face this problem. Nevertheless, besides the reduced deployment costs, due to the low emitted power and the small form factor of the base stations, Quality of Service requirements should be met using the available energy budget coming from intermittent and erratic sources. They need, so, further intelligent procedures, protocols, and Machine Learning based algorithms to successfully achieve their goal. Objective of this thesis is to conduct a performance evaluation and analysis of a two-tier RES-powered HetNet simulated through a system level platform which uses a reinforcement learning based radio resource management algorithm. After a focus on system?s hourly statistical behaviour, a comparative analysis is done between a ?greedy? algorithm (which turns OFF the base stations only in case their battery level goes below a threshold), and an off-line trained Q-Learning algorithm, which can be considered a hybrid instance across supervised and reinforcement learning.