[ca] Aquest projecte aplica tècniques d'Aprenentatge Reforçat (RL) sobre un model virtual d'una Microgrid, amb l'objectiu d'aconseguir el control òptim de la distribució d'energia per maximitzar el benefici econòmic dels clients del Microgrid. L'interès del Microgrid recae en la creació d'una vermella elèctrica local que distribueix l'energia mitjançant fonts d'energia renovable i bateries que, amb l'aplicació de control intel·ligent, coordina els seus usuaris per obtenir el resultat més beneficiós per la xarxa. El Microgrid plantat adopta una estructura centralitzada on un controlador central pren totes les decisions de distribució energètica, optimitzant el control cap a un objectiu comó. El model virtual aconsegueix actuar com un Microgrid real, però manté una resposta simplificada per a aliviar la computació i facilitar l'aprenentatge de l'algoratge. El model es dissenya amb la plataforma "Simulink", que permet una fècil modificació dels parèmetres si així ho desitja. El model simulat inclou models de plaques fotovoltaiques, microturbines de vent, bateries elèctriques i llars. El Aprendizaje Reenforzado suposa una forma innovadora de disenyar l'algoritme de control del Microgrid, puesto que es basa en interactuar con el model virtual i obtenir retroalimentació sobre l'efectivitat de las acciones, para acabar determinant la combinació d'accions més òptimes. El llenguatge de programació "Python" s'utilitza per implementar l'aprenentatge reforçat en el Microgrid, fent l'ús de la llibreria "Stable Baselines" per controlar el valor de potència prove¨ıt per la bateria de la red, tenint en compte que té una capacitat limitada. El projecte analitza els resultats per veure quines tendències segueix l'algoratge utilitzat, "Actor Crític Suau" (SAC). L'objectiu final ´es obtenir un algorisme que pugui ser implementat en un Microgrid real, i continuar el seu procés d'entrenament offline per seguir millorant el seu control sobre el Microgrid a temps real.

[en] This project applies Reinforcement Learning (RL) techniques on a virtual model of a Microgrid, with the objective of optimally controlling the distribution of energy to maximize the economical benefit for the Microgrid customers. The interest of the Microgrid lies in the creation of a local power grid which distributes energy through renewable energy sources and batteries that, with the application of intelligent control, coordinates the clients for the most profitable outcome for the grid. The proposed Microgrid adopts a centralized structure where a central controller makes all energy distribution decisions, optimizing control towards a common goal. The virtual model achieves the characteristics of a real Microgrid, but maintains a simplified response to alleviate computation and facilitate algorithm learning. The model is designed with the "Simulink" engine, which allows easy modification of parameters if desired. The simulated model includes models of photovoltaic panels, wind micro-turbines, electrical batteries and households. The Reinforcement Learning technique introduces an innovative way of designing the Microgrid control algorithm, since it is based on interacting with the virtual model and obtaining feedback on the effectiveness of the actions, in order to determine the most optimal combination of actions. The "Python" programming language is used to implement the Reinforced Learning in the Microgrid, making use of the "Stable Baselines" library to control the value of power supplied by the battery, considering that it has a limited capacity. The project analyzes the results to see which tendencies does the "Soft Actor Critic" (SAC) algorithm follow. The end goal is to obtain an algorithm which can be successfully implemented on a real Microgrid environment, and continue is offline trained process to further improve its control.