[en] This project applies Reinforcement Learning (RL) techniques on a virtual model of a Microgrid, with the objective of optimally controlling the distribution of energy to maximize the economical benefit for the Microgrid customers. The interest of the Microgrid lies in the creation of a local power grid which distributes energy through renewable energy sources and batteries that, with the application of intelligent control, coordinates the clients for the most profitable outcome for the grid. The proposed Microgrid adopts a centralized structure where a central controller makes all energy distribution decisions, optimizing control towards a common goal. The virtual model achieves the characteristics of a real Microgrid, but maintains a simplified response to alleviate computation and facilitate algorithm learning. The model is designed with the "Simulink" engine, which allows easy modification of parameters if desired. The simulated model includes models of photovoltaic panels, wind micro-turbines, electrical batteries and households. The Reinforcement Learning technique introduces an innovative way of designing the Microgrid control algorithm, since it is based on interacting with the virtual model and obtaining feedback on the effectiveness of the actions, in order to determine the most optimal combination of actions. The "Python" programming language is used to implement the Reinforced Learning in the Microgrid, making use of the "Stable Baselines" library to control the value of power supplied by the battery, considering that it has a limited capacity. The project analyzes the results to see which tendencies does the "Soft Actor Critic" (SAC) algorithm follow. The end goal is to obtain an algorithm which can be successfully implemented on a real Microgrid environment, and continue is offline trained process to further improve its control.

[es] Este proyecto aplica técnicas de Aprendizaje Reenforzado (RL) sobre un modelo virtual de un Microgrid, con el objetivo de conseguir que el control optimice la distribucón de energía para maximizar el beneficio económico de los clientes del Microgrid. El interés del Microgrid recae en la creación de una red eléctrica local que distribuye la energía mediante fuentes de energía renovable y baterías que, con la aplicación de control inteligente, coordina sus usuarios para obtener el resultado més beneficioso para la red. El Microgrid planteado adopta una estructura centralizada donde un controlador central toma todas las decisiones de distribución energética, optimizando el control hacia un objetivo común. El modelo virtual consigue actuar como un Microgrid real, pero mantiene una respuesta simplificada para aliviar la computaci´on y facilitar el aprendizaje del algoritmo. El modelo se dise˜na con la plataforma "Simulink", que permite una f´acil modificación de los parámetros si así se desea. El modelo simulado incluye modelos de placas fotovoltaicas, microturbinas de viento, baterías eléctricas y hogares. El Aprendizaje Reenforzado supone una forma innovadora de diseñar el algoritmo de control del Microgrid, puesto que se basa en interactuar con el modelo virtual y obtener retroalimentación sobre la efectividad de las acciones, para acabar determinando la combinación de acciones más ´optima. El lenguaje de programación "Python" es utilizado para implementar el Aprendizaje Reenforzado en el Microgrid, haciendo uso de la librería "Stable Baselines" para controlar el valor de potencia provista por la batería de la red, considerando que tiene una capacidad limitada. El proyecto analiza los resultados para ver qué tendencias sigue el algoritmo utilizado, "Actor Crític Suave" (SAC). El objetivo final es obtener un algoritmo que pueda ser implementado en un Microgrid real, y continuar su proceso de entrenamiento offline para seguir mejorando su control del Microgrid a tiempo real.