Brevet FR3112637A1 — publié le 20220121

Procédé de contrôle d’un micro-réseau électrique La présente invention concerne un procédé de contrôle d’un micro-réseau électrique (10), le micro-réseau (10) étant propre à passer d’un état à un autre par la mise en œuvre d’une action sur le micro-réseau (10), le procédé comprenant : - une phase de génération d’un jeu de données d’apprentissage comprenant la détermination de la fréquence d’occurrence d’une donnée dans une mémoire et la détermination d’un taux d’exploration d’actions possibles en fonction de la fréquence d’occurrence déterminée, - une phase d’entraînement d’un modèle en fonction d’au moins un jeu d’apprentissage généré pour obtenir un modèle optimisé, et - la répétition des phases de génération et d’entraînement jusqu’à la satisfaction d’un critère de convergence, le modèle optimisé lors de la dernière itération étant un modèle entraîné pour le contrôle d’un micro-réseau électrique (10), dit modèle de contrôle. Figure pour l'abrégé : 1 Procédé de contrôle d’un micro-réseau électrique La présente invention concerne un procédé de contrôle d’un micro-réseau électrique. La présente invention concerne aussi un produit programme d’ordinateur associé. L’un des défis de notre siècle est de réduire les émissions de gaz à effet de serre. Pour faire face à ce défi, de nombreux investissements concernent le développement d’énergies renouvelables et de ressources énergétiques distribuées (DER). Les sources d’énergie renouvelables, telles que les sources d’énergie solaire et éolienne, présentant un caractère stochastique, les infrastructures des réseaux électriques sont à adapter afin de maintenir la fiabilité et la stabilité du réseau électrique. A cet effet, des micro-réseaux (en anglais « microgrid ») permettant l’intégration de sources d’énergie renouvelables dans les réseaux électriques ont été développés. Un micro-réseau est un réseau d’alimentation à petite échelle qui comprend des sources d’énergie renouvelables (éoliennes ou panneaux photovoltaïques), des sources traditionnelles d’énergie fossile (générateur diesel), des dispositifs de stockage d’énergie (batteries), des charges consommatrices d’énergie et un système de gestion d’énergie. Un micro-réseau fonctionne soit connecté au réseau principal, soit déconnecté de celui-ci en mode isolé. Un micro-réseau est également adapté pour être complément déconnecté du réseau principal (hors réseau). L’un des éléments permettant le fonctionnement d’un micro-réseau est le système de gestion d’énergie du micro-réseau. Les systèmes de gestion d’énergie actuels sont basés sur un module de prévision sur les prochaines heures de la puissance produite par les sources d’énergie renouvelables (panneaux photovoltaïques) et de la consommation des charges. Les différentes unités du réseau sont alors gérées selon une méthode d’optimisation utilisant les prévisions de ce module. Néanmoins, l’obtention d’un tel module de prévision pour chaque micro-réseau implique de développer un grand nombre de ressources (module de prévisions météorologiques, module de mesure des charges, données historiques), ce qui le rend complexe à mettre en œuvre. En outre, un tel module de prévision n’est pas adapté pour faire face à des conditions changeantes et imprévues. Il existe donc un besoin pour un outil de contrôle d’un micro-réseau permettant de minimiser les coûts opérationnels d’un micro-réseau, en s’affranchissant d’un module de prévision. A cet effet, la présente description a pour objet un procédé de contrôle d’un micro-réseau électrique, le micro-réseau électrique comprenant au moins un organe de consommation d’énergie, au moins un organe de production d’énergie et au moins un organe de stockage d’énergie, le micro-réseau étant propre à prendre une pluralité d’états énergétiques, chaque état énergétique étant défini par une quantité d’énergie à échanger entre des organes du micro-réseau et par une quantité d’énergie stockée sur le au moins un organe de stockage d’énergie, le micro-réseau étant propre à passer d’un état à un autre par la mise en œuvre d’une action sur le micro-réseau, le procédé comprenant : une phase de génération d’un jeu de données d’apprentissage, la phase de génération étant mise en œuvre par ordinateur et comprenant les étapes suivantes : la réception de données initiales ou issues d’une itération antérieure, l’obtention, à partir des données reçues, d’un modèle courant propre à déterminer une action de contrôle d’un micro-réseau, parmi un ensemble d’actions prédéfinies, en fonction d’un état du micro-réseau, la détermination, à partir des données reçues, d’un pas de temps courant, la détermination de la fréquence d’occurrence dans une mémoire d’une donnée identifiant le pas de temps courant, la détermination d’un taux d’exploration d’actions possibles, dit taux d’exploration courant pour le pas de temps courant, le taux d’exploration courant dépendant de la fréquence d’occurrence déterminée, l’obtention, à partir des données reçues, d’un état courant d’un micro-réseau, la détermination par le modèle courant d’une action de contrôle du micro-réseau selon une technique d’apprentissage différant selon la valeur du taux d’exploration courant déterminé, la vérification du respect de contraintes prédéterminées par l’action déterminée en fonction de l’état courant et, lorsque les contraintes prédéterminées ne sont pas respectées, la mémorisation dans la mémoire d’une donnée identifiant le pas de temps courant, la détermination d’une récompense représentative du coût opérationnel induit suite à l’exécution de l’action et d’un indicateur indiquant si l’état suivant obtenu suite à l’exécution de l’action est un état final, et la mémorisation d’une donnée d’apprentissage comprenant au moins l’état courant, l’état suivant, l’action déterminée et la récompense, et la répétition des étapes précédentes tant que l’indicateur indique que l’état suivant obtenu est différent d’un état final, l’ensemble des données d’apprentissage mémorisées jusqu’à l’obtention d’un état final formant un jeu d’apprentissage, une phase d’entraînement du modèle courant au cours de laquelle au moins un paramètre du modèle courant est optimisé sur la base d’au moins un jeu d’apprentissage mémorisé pour obtenir un modèle optimisé, la phase d’entraînement étant mise en œuvre par ordinateur, et la répétition des phases de génération et d’entraînement jusqu’à la satisfaction d’un critère de convergence, le modèle optimisé lors de la dernière itération étant un modèle entraîné pour le contrôle d’un micro-réseau électrique, dit modèle de contrôle. Suivant des modes de réalisation particuliers, le procédé comprend une ou plusieurs des caractéristiques suivantes, prise(s) isolément ou suivant toutes les combinaisons techniquement possibles : lorsque la fréquence d’occurrence déterminée est inférieure ou égale à un seuil prédéterminé, le taux d’exploration courant est obtenu à partir des données reçues, et lorsque la fréquence d’occurrence déterminée est strictement supérieure au seuil prédéterminé, le taux d’exploration courant est fixé à une valeur prédéterminée, dite valeur d’exploration ; la technique d’apprentissage stipule que suite au tirage aléatoire d’un nombre entre deux bornes prédéterminées : lorsque le nombre tiré est inférieur au taux d’exploration courant, l’action est déterminée aléatoirement parmi l’ensemble d’actions prédéfinies, lorsque le nombre tiré est supérieur ou égal à la valeur courante du taux d’exploration courant, l’action est déterminée en fonction des paramètres du modèle courant ; le procédé comprend : une phase d’exploitation du modèle de contrôle comprenant la détermination d’une action de contrôle du micro-réseau suite à la réception, par le modèle de contrôle, de l’état courant du micro-réseau, et une phase de réalisation de l’action déterminée par l’envoi de commandes aux organes du micro-réseau ; lors de la phase d’entraînement du modèle courant, le au moins un paramètre du modèle est optimisé sur la base de plusieurs jeux d’apprentissage, lesdits jeux d’apprentissage comprenant le dernier jeu d’apprentissage mémorisé et des jeux d’apprentissage choisis aléatoirement parmi l’ensemble des autres jeux d’apprentissage mémorisés ; l’ensemble d’actions prédéfinies comprend au moins les actions suivantes : la charge de l’au moins un organe de stockage d’énergie d’une valeur correspondant à la quantité d’énergie à échanger, la décharge de l’au moins un organe de stockage d’énergie d’une valeur correspondant à la quantité d’énergie à échanger et, lorsque la quantité d’énergie stockée sur le au moins un organe de stockage d’énergie est insuffisante par rapport à la quantité d’énergie à échanger, la fourniture de la quantité d’énergie restante par le au moins un organe de production d’énergie, la production d’une quantité d’énergie correspondant à la quantité d’énergie à échanger par le au moins un organe de production d’énergie, et ne pas faire d’action ; le micro-réseau comprend au moins un organe de production d’énergie renouvelable et au moins un organe de production d’énergie fossile, la quantité d’énergie à échanger étant la différence entre la quantité d’énergie produite par le au moins un organe de production d’énergie renouvelable et la quantité d’énergie demandée par le au moins un organe de consommation d’énergie, la quantité d’énergie à échanger étant une quantité d’énergie à échanger entre les organes du micro-réseau à l’exception de l’au moins un organe de production d’énergie renouvelable ; les contraintes prédéterminées comprennent au moins une contrainte choisie parmi l’ensemble de contraintes suivantes : une première contrainte relative à l’équilibre entre, d’une part, la somme de la quantité d’énergie échangée par le au moins un organe de stockage d’énergie, de la quantité d’énergie produite par le au moins un organe de production d’énergie fossile et de la réduction de la quantité d’énergie consommée par le au moins un organe de consommation d’énergie, et d’autre part, la quantité d’énergie à échanger, une deuxième contrainte relative à la quantité d’énergie stockée sur le au moins un organe de stockage d’énergie, une troisième contrainte relative à la quantité d’énergie échangée par le au moins un organe de stockage d’énergie, une quatrième contrainte relative au mode de fonctionnement de l’au moins un organe de stockage d’énergie, et une cinquième contrainte relative à la quantité d’énergie produite par le au moins un organe de production d’énergie fossile ; le critère de convergence est atteint lorsque pendant un nombre prédéterminé d’itérations successives à chaque obtention d’un état final, le pas de temps courant ayant permis l’obtention de l’état final correspond à un pas de temps prédéterminé, et la somme des récompenses obtenues pour chaque donnée d’apprentissage du jeu d’apprentissage correspondant est supérieure ou égale à un seuil prédéterminé. La présente description se rapporte également à un produit programme d’ordinateur comportant un support lisible d’informations, sur lequel est mémorisé un programme d’ordinateur comprenant des instructions de programme, le programme d’ordinateur étant chargeable sur une unité de traitement de données et adapté pour entraîner la mise en œuvre d’un procédé tel que précédemment décrit lorsque le programme d’ordinateur est mis en œuvre sur l’unité de traitement des données. La présente description concerne aussi un support lisible d’informations sur lequel est mémorisé un produit programme d’ordinateur tel que précédemment décrit. D’autres caractéristiques et avantages de l’invention apparaîtront à la lecture de la description qui suit de modes de réalisation de l’invention, donnés à titre d’exemple uniquement et en référence aux dessins qui sont : , Figure 1, une vue schématique d’un exemple d’un micro-réseau, , Figure 2, une vue schématique d’un exemple d’ordinateur permettant la mise en œuvre d’un procédé de contrôle d’un micro-réseau, , Figure 3, un organigramme d’un exemple de mise en œuvre d’un procédé de contrôle d’un micro-réseau, et , Figure 4, une représentation schématique illustrant la mise en œuvre d’étapes d’un procédé de contrôle d’un micro-réseau. Un exemple d’un micro-réseau 10 est illustré par la figure 1. Dans cet exemple, le micro-réseau 10 est connectable à un réseau électrique principal 11. Le micro-réseau 10 comprend un réseau de transport d’énergie 12, des organes propres à être connectés au réseau de transport d’énergie 12 et un outil 13 de contrôle du micro-réseau 10. Les organes du micro-réseau 10 comprennent au moins un organe de consommation d’énergie 14, au moins un organe de production d’énergie fossile 16, au moins un organe de production d’énergie renouvelable 18 et au moins un organe de stockage d’énergie 19. Le micro-réseau 10 est propre à prendre une pluralité d’états énergétiques S t . Chaque état énergétique S t est défini par une quantité d’énergie à échanger P Net entre des organes du micro-réseau 10 et par une quantité d’énergie stockée E Bcap sur le au moins un organe de stockage d’énergie 19. Par exemple, la quantité d’énergie à échanger P Net est la différence entre la quantité d’énergie produite P PV par le au moins un organe de production d’énergie renouvelable 18 et la quantité d’énergie demandée P C par le au moins un organe de consommation d’énergie 14. La quantité d’énergie à échanger P Net est, dans ce cas, une quantité d’énergie à échanger entre les organes du micro-réseau 10 à l’exception de l’au moins un organe de production d’énergie renouvelable 18. Le micro-réseau 10 est propre à passer d’un état S t à un autre par la mise en œuvre d’une action A t sur le micro-réseau 10. Des exemples d’actions seront détaillés dans la suite de la description. Le réseau de transport d’énergie 12 est configuré, d’une part, pour recevoir l’énergie produite ou stockée par les organes connectés audit réseau de transport d’énergie 12 et pour distribuer l’énergie reçue aux organes connectés audit réseau de transport d’énergie 12. La connexion entre chaque organe et le réseau de transport d’énergie 12 est, par exemple, établie par un protocole « machine to machine » (de l’anglais « communication de machine à machine »). Chaque organe du micro-réseau 10 est propre à être connecté ou déconnecté du réseau de transport d’énergie 12. Un organe 14 de consommation d’énergie est un organe propre à consommer de l’énergie. Un organe 14 de consommation d’énergie est, par exemple, un réseau électrique d’éclairage ou de chauffage d’un bâtiment commercial ou résidentiel, un véhicule électrique, ou encore un équipement opérationnel. Un organe 16 de production d’énergie fossile est un organe propre à produire une énergie fossile. Une énergie fossile est produite à partir de la décomposition sédimentaire de matières organiques, c’est-à-dire composées principalement de carbone. Un organe 16 de production d’énergie fossile utilise notamment des ressources telles que le pétrole, le gaz naturel ou le charbon. Un organe 16 de production d’énergie fossile est, par exemple, une centrale au charbon, une centrale au fioul, une centrale thermique au gaz ou un générateur diesel. Un organe de 18 de production d’énergie renouvelable est un organe propre à produire une énergie renouvelable. Une énergie renouvelable est une source d’énergie provenant de phénomènes naturels cycliques ou constants induits par exemple par les astres : le soleil essentiellement pour la chaleur et la lumière qu'il génère, mais aussi l'attraction de la lune (marées) et la chaleur générée par la Terre (géothermie). Un organe 18 de production d’énergie renouvelable est, par exemple, un barrage hydroélectrique, une centrale hydroélectrique, un ensemble d’éoliennes ou encore un ensemble de panneaux solaires. Un organe 19 de stockage d’énergie est un organe propre à stocker de l’énergie. Un organe 19 de stockage d’énergie est, par exemple, un accumulateur d’énergie électrique tel qu’une batterie. Un organe 19 de stockage d’énergie fonctionne comme un producteur d’énergie lors de sa décharge et comme un consommateur d’énergie lors de sa charge. L’outil 13 est configuré pour contrôler les quantités d’énergie échangées entre les organes du micro-réseau 10. Dans l’exemple illustré par la figure 2, l’outil 13 comprend un calculateur 20 et un produit programme d’ordinateur 22. Le calculateur 20, est de préférence, un ordinateur. Plus généralement, le calculateur 20 est un calculateur électronique propre à manipuler et/ou transformer des données représentées comme des quantités électroniques ou physiques dans des registres de calculateur 10 et/ou des mémoires en d’autres données similaires correspondant à des données physiques dans des mémoires, des registres ou d’autres types de dispositifs d’affichage, de transmission ou de mémorisation. Le calculateur 20 est en interaction avec le produit programme d’ordinateur 22. Comme illustré par la figure 2, le calculateur 20 comporte un processeur 24 comprenant une unité de traitement de données 26, des mémoires 28 et un lecteur 30 de support d’informations. Dans l’exemple illustré par la figure 2, le calculateur 20 comprend une interface homme-machine 32, tel qu’un écran, et un afficheur 34. Le produit programme d’ordinateur 22 comporte un support d’informations 36. Le support d’information 36 est un support lisible par le calculateur 20, usuellement par l’unité de traitement de données 26. Le support lisible d’informations 36 est un médium adapté à mémoriser des instructions électroniques et capable d’être couplé à un bus d’un système informatique. A titre d’exemple, le support d’informations 36 est une clé USB, une disquette ou disque souple (de la dénomination anglaise « Floppy disc »), un disque optique, un CD-ROM, un disque magnéto-optique, une mémoire ROM, une mémoire RAM, une mémoire EPROM, une mémoire EEPROM, une carte magnétique ou une carte optique. Sur le support d’informations 36 est mémorisé le programme d’ordinateur 12 comprenant des instructions de programme. Le programme d’ordinateur 22 est chargeable sur l’unité de traitement de données 26 et est adapté pour entraîner la mise en œuvre d’un procédé de contrôle du micro-réseau 10 lorsque le programme d’ordinateur 22 est mis en œuvre sur l’unité de traitement 26 du calculateur 20. Un tel procédé de contrôle sera décrit dans la suite de la description. Le fonctionnement de l’outil de contrôle 13, c’est-à-dire du calculateur 20 en interaction avec le produit programme d’ordinateur 22 va maintenant être décrit en référence aux figures 3 et 4, qui illustrent schématiquement un exemple de mise en œuvre d’un procédé de contrôle du micro-réseau 10. Le procédé de contrôle comprend des phases 100 de génération de données d’apprentissage et des phases 200 d’entraînement d’un modèle sur la base des données d’apprentissage générées. Les phases de génération 100 et d’entraînement 200 sont répétées au cours d’itérations successives. Une fois les phases d’apprentissage 100 et d’entraînement 200 réalisées, le procédé comprend une phase d’exploitation 300 et une phase 400 de réalisation d’une action. Au moins les phases de génération 100, d’entraînement 200 et d’exploitation 300 sont mises en œuvre par le calculateur 20 en interaction avec le produit programme d’ordinateur 22, c’est-à-dire sont mises en œuvre par ordinateur. Avantageusement, la phase 400 de réalisation d’une action est aussi mise en œuvre par ordinateur. Au cours des phases de génération 100, un modèle à entraîner (agent) est en interaction avec un environnement selon le principe de l’apprentissage par renforcement profond (en anglais « Deep Reinforcement Learning »). Le modèle à entraîner est, par exemple, un réseau de neurones. Notamment, comme illustré sur la figure 4, le modèle à entraîner Q est propre à déterminer une action A t en réponse à un état S t généré par l’environnement E. L’action A t générée par le modèle Q est propre à être traitée par l’environnement E. L’environnement E vérifie le respect d’un ensemble de contraintes lors de l’exécution de l’action A t et génère l’état suivant S t+1 résultant et une récompense R t . Au moins les données relatives à l’état S t , à l’action déterminée A t , à l’état suivant S t+1 et à la récompense R t sont mémorisées dans une mémoire M R , dite de reprise (en anglais « memory replay ») en vue d’être utilisées ultérieurement pour entraîner le modèle Q. La mémoire de reprise M R est typiquement initialisée au démarrage, c’est-à-dire lors du lancement de la toute première phase de génération 100. Une fois la capacité maximale de la mémoire de reprise M R atteinte, la mémoire de reprise M R fonctionne ensuite par exemple sur le modèle du premier entré, premier sorti (en anglais « First In First Out (FIFO) »). Dans le cas d’espèce, l’environnement E a été configuré pour simuler le fonctionnement d’un micro-réseau. La simulation a par exemple été réalisée sur le principe d’un processus de décision Markovien. Comme cela est décrit dans ce qui suit, les interactions successives entre le modèle à entraîner Q et l’environnement E vont permettre d’obtenir un modèle entraîné pour le contrôle d’un micro-réseau 10. La phase 100 de génération d’un jeu de données d’apprentissage comprend une étape 110 de réception de données initiales ou issues d’une itération antérieure. Dans un exemple de mise en œuvre, les données reçues qu’elles soient initiales ou issues d’une itération antérieure, comprennent un ensemble de valeurs prédéterminée de quantités d’énergie à échanger P Ne t et un ensemble de valeurs initiales possibles de quantité d’énergie E Bcap stockée sur le au moins un organe de stockage d’énergie 19. Les valeurs de quantités d’énergie à échanger P Net ont, par exemple, été prédéterminées pour chaque pas de temps d’une période temporelle prédéfinie. La période temporelle prédéfinie est, par exemple, d’une année et les pas de temps d’une heure. Chaque valeur de quantité d’énergie à échanger P Net pour un pas de temps est, par exemple, la différence entre la valeur de l’énergie produite P PV par le au moins un organe de production d’énergie renouvelable 18 pour ledit pas de temps et la valeur d’énergie demandée P L par le au moins un organe de consommation d’énergie 14 pour ledit pas de temps. On a ainsi : ) (1) Les valeurs d’énergie produite P PV par le au moins un organe de production d’énergie renouvelable 18 et d’énergie demandée P L par le au moins un organe de consommation d’énergie 14 ont, par exemple, été prédéterminées pour chaque pas de temps de la période temporelle prédéfinie. De telles valeurs sont, par exemple, issues de mesures effectuées par des capteurs sur des installations existantes ou ont été générées de manière aléatoire au préalable. Les valeurs initiales possibles de quantité d’énergie initialement stockées E Bcap sur le au moins un organe de stockage d’énergie 19 sont des valeurs prédéfinies. Les valeurs possibles sont, par exemple, 0 kilowattheures (kWh), 5 kWh et 10 kWh. Dans un même exemple de mise en œuvre, lorsque les données reçues sont des données initiales, les données reçues comprennent aussi : une valeur initiale d’un taux d’exploration d’actions possibles. La valeur initiale du taux d’exploration est, par exemple, égale à un. un modèle initial propre à déterminer une action A t de contrôle d’un micro-réseau 10, parmi un ensemble E A d’actions prédéfinies, en fonction d’un état S t du micro-réseau 10. Le modèle initial comprend des paramètres w initialisés de manière aléatoire. Dans un même exemple de mise en œuvre, lorsque les données reçues sont issues d’une itération antérieure, les données reçues comprennent au moins l’une des données suivantes : - l’état suivant S t +1 obtenu à l’issue de l’itération précédente, - une indication indiquant si l’état suivant S t +1 obtenu à l’issue de l’itération précédente est un état final, - le pas de temps courant Δ t de l’itération précédente, - la valeur du taux d’exploration de l’itération précédente, et - le modèle optimisé lors de la dernière itération. Un tel modèle comprend des paramètres w qui ont été optimisés lors de la dernière itération. La phase de génération 100 comprend une étape 120 d’obtention, à partir des données reçues, d’un modèle courant propre à déterminer une action A t de contrôle d’un micro-réseau 10, parmi un ensemble E A d’actions prédéfinies, en fonction d’un état S t du micro-réseau 10. Dans un exemple de mise en œuvre, le modèle courant est le modèle initial reçu lorsque les données sont des données initiales et est le modèle optimisé lors de la dernière itération sinon. Par exemple, l’ensemble E A d’actions prédéfinies comprend au moins les actions suivantes : la charge de l’au moins un organe de stockage d’énergie 19 d’une valeur correspondant à la quantité d’énergie à échanger P Net , la décharge de l’au moins un organe de stockage d’énergie 19 d’une valeur correspondant à la quantité d’énergie à échanger P Net et, lorsque la quantité d’énergie stockée E Bcap sur le au moins un organe de stockage d’énergie 19 est insuffisante par rapport à la quantité d’énergie à échanger P Net , la fourniture de la quantité d’énergie restante par le au moins un organe de production d’énergie fossile 16, la production d’une quantité d’énergie correspondant à la quantité d’énergie à échanger P Net par le au moins un organe de production d’énergie fossile 16, et ne pas faire d’action (i.e. ne rien faire). La phase de génération 100 comprend une étape 130 de détermination, à partir des données reçues, d’un pas de temps courant Δ t . Dans un exemple de mise en œuvre, le pas de temps courant Δ t est : soit un pas de temps initialisé Δ t0 lorsque les données sont des données initiales ou lorsque l’indicateur indique que l’état suivant S t +1 obtenu à l’issue de l’itération précédente est un état final. Le pas de temps initialisé correspond, par exemple, au premier pas de temps de la période temporelle prédéfinie sur laquelle sont définies les valeurs prédéterminées de quantité d’énergie à échanger P Net . soit le pas de temps précédent Δ t-1 incrémenté d’une unité lorsqu’un tel pas de temps précédent Δ t-1 existe et que l’état suivant S t +1 obtenu à l’issue de l’itération précédente n’est pas un état final. La phase de génération 100 comprend une étape 140 de détermination de la fréquence d’occurrence δ t dans une mémoire, dite mémoire de comptage M C , d’une donnée identifiant le pas de temps courant Δ t . La mémoire de comptage M C est spécifique au présent procédé et est illustrée par la figure 4. La mémoire de comptage M C est typiquement initialisée au démarrage, c’est-à-dire lors du lancement de la toute première phase de génération 100. La mémoire de comptage M C est ainsi vide une fois initialisée. Une fois la capacité maximale de la mémoire M C atteinte, la mémoire M C fonctionne ensuite par exemple sur le modèle du premier entré, premier sorti (en anglais « First In First Out (FIFO) »). La donnée identifiant le pas de temps courant Δ t est, par exemple, le numéro associé au pas de temps courant Δ t , le premier pas de temps (pas de temps initialisé) étant par exemple identifié par le numéro 0. La phase de génération 100 comprend une étape 150 de détermination d’un taux d’exploration d’actions possibles, dit taux d’exploration courant ε t pour le pas de temps courant Δ t . Le taux d’exploration courant ε t dépend de la fréquence d’occurrence δ t déterminée. En d’autres termes, en fonction de la fréquence d’occurrence δ t déterminée, le taux d’exploration ε t sera ou non modifié. Notamment, lorsque la fréquence d’occurrence δ t déterminée est inférieure ou égale à un seuil prédéterminé, le taux d’exploration courant ε t est obtenu à partir des données reçues. Un tel taux d’exploration permet la mise en œuvre d’une technique d’apprentissage sur le modèle courant comme cela sera décrit dans la suite de la description. Ainsi, dans un exemple de mise en œuvre, le taux d’exploration courant ε t est égal à la valeur initiale fournie (données initiales) ou à une valeur fonction du taux d’exploration précédent ε t-1 si un tel taux d’exploration précédent ε t-1 existe. Dans le cas où la valeur est fonction du taux d’exploration précédent ε t-1 , la valeur du taux d’exploration courant ε t est inférieure ou égale à ce taux, selon une stratégie d’apprentissage par renforcement de type « Epsilon greedy ». Plus précisément, dans ce cas, la valeur du taux d’exploration courant ε t est égal à la valeur du taux d’exploration précédent ε t-1 lorsque l’état suivant obtenu lors de la dernière itération est différent d’un état final, et est égal à une valeur mise à jour par une fonction issue de la stratégie « Epsilon greedy » lorsque l’état suivant obtenu lors de la dernière itération est un état final. Lorsque la fréquence d’occurrence δ t déterminée est strictement supérieure au seuil prédéterminé, le taux d’exploration courant ε t est fixé à une valeur prédéterminée Φ, dite valeur d’exploration. La valeur d’exploration Φ est comprise entre 0 et 1, et est par exemple égale à 0,8. La phase de génération 100 comprend une étape 160 d’obtention, à partir des données reçues, d’un état courant S t d’un micro-réseau 10. Dans un mode de mise en œuvre, l’état courant S t est soit un état initial S 0 lorsque le pas de temps courant Δ t est un pas de temps initialisé Δ t0 , soit un état suivant S t+1 obtenu lors de la dernière itération. Lorsque l’état courant S t est un état initial S 0 , l’état initial S 0 est défini par la valeur prédéterminée de quantité d’énergie à échanger P Net correspondant au pas de temps courant (premier pas de temps Δ t 0 ) et par une valeur de quantité d’énergie stockée E Bcap choisie aléatoirement parmi l’ensemble de valeurs possibles de quantité d’énergie stockée. La phase de génération 100 comprend une étape 170 de détermination par le modèle courant d’une action A t de contrôle du micro-réseau 10 selon une technique d’apprentissage différant selon la valeur du taux d’exploration courant ε t déterminée. Dans un mode de mise en œuvre, la technique d’apprentissage est une méthode d’apprentissage par renforcement propre à fonctionner selon un mode d’exploration ou un mode d’exploitation en fonction de la valeur du taux d’exploration courant ε t déterminée. La technique d’apprentissage est, par exemple, une technique de type Q-Learning ou Double-Q-Learning. En particulier, la technique d’apprentissage stipule que suite au tirage aléatoire d’un nombre entre deux bornes prédéterminées (par exemple entre 0 et 1) : lorsque le nombre tiré est inférieur au taux d’exploration courant ε t , l’action A t est déterminée aléatoirement parmi l’ensemble E A d’actions prédéfinies (mode exploration), lorsque le nombre tiré est supérieur ou égal à la valeur courante du taux d’exploration courant ε t , l’action A t est déterminée en fonction des paramètres w du modèle courant (mode exploitation). La phase de génération 100 comprend une étape 180 de vérification du respect de contraintes prédéterminées par l’action A t déterminée en fonction de l’état courant S t . Dans un mode de mise en œuvre, les contraintes prédéterminées comprennent au moins une contrainte choisie parmi l’ensemble de contraintes suivantes : une première contrainte relative à l’équilibre entre, d’une part, la somme de la quantité d’énergie échangée P B par le au moins un organe de stockage d’énergie 19, de la quantité d’énergie produite P G par le au moins un organe de production d’énergie fossile 16 et de la réduction P C de la quantité d’énergie consommée par le au moins un organe de consommation d’énergie 14 (en anglais « load curtailment »), et d’autre part, la quantité d’énergie à échanger P Net . La première contrainte vise à satisfaire l’équation suivante : (2) - une deuxième contrainte relative à la quantité d’énergie stockée E Bcap sur le au moins un organe de stockage d’énergie 19. La deuxième contrainte stipule que la quantité d’énergie stockée E Bcap est comprise entre des bornes prédéterminées. - une troisième contrainte relative à la quantité d’énergie échangée P B (reçue ou envoyée) par le au moins un organe de stockage d’énergie 19. La troisième contrainte stipule que la quantité d’énergie échangée P B est comprise entre des bornes prédéterminées. - une quatrième contrainte relative au mode de fonctionnement de l’au moins un organe de stockage d’énergie 19. La quatrième contrainte vise à satisfaire l’équation suivante : (3) une cinquième contrainte relative à la quantité d’énergie produite P G par le au moins un organe de production d’énergie fossile 16. La cinquième contrainte stipule que la quantité d’énergie produite P G est comprise entre des bornes prédéterminées. Lorsque les contraintes prédéterminées ne sont pas respectées, une donnée identifiant le pas de temps courant Δ t est mémorisée dans la mémoire de comptage M C . La phase de génération 100 comprend une étape 190 de détermination d’une récompense R t représentative du coût opérationnel induit suite à l’exécution de l’action A t et d’un indicateur indiquant si l’état suivant S t +1 obtenu suite à l’exécution de l’action A t est un état final. La récompense R t est représentative du coût opérationnel induit suite à l’exécution de l’action A t . Dans un mode de mise en œuvre, la récompense R t déterminée pour chaque donnée d’apprentissage est égale à la quantité d’énergie à échanger P Net multipliée par un coefficient multiplicatif sélectionné parmi un ensemble de coefficients multiplicatifs m, q, c en fonction de l’action A t déterminée. Les coefficients multiplicatifs m, q, c représentent respectivement les coûts opérationnels de l’au moins un organe de stockage d’énergie 19, de l’au moins un organe de production d’énergie fossile 16, et de la réduction de charge (en anglais « load curtailment »). Par exemple, la récompense R t est égale à : si l’action déterminée A t est la charge ou la décharge du au moins un organe de stockage d’énergie 19 d’une valeur égale à la quantité d’énergie à échanger P Net . si l’action déterminée A t est la production d’une quantité d’énergie par l’organe de stockage d’énergie fossile 16 d’une valeur égale à la quantité d’énergie à échanger P Net . si l’action déterminée A t est la décharge de l’au moins un organe de stockage d’énergie 19 d’une quantité d’énergie et la production d’une quantité d’énergie par l’organe de production d’énergie fossile 16, avec . si les contraintes ne sont pas respectées. si l’action déterminée A t est de ne pas faire d’action. Dans un exemple de mise en œuvre, la récompense R t est calculée en fonction d’une fonction de coût que l’on cherche à minimiser. Le but est d’obtenir un modèle entrainé minimisant les coûts opérationnels du micro-réseau 10 tout en respectant des contraintes prédéterminées sur la période temporelle T. Dans un exemple, les coûts induits par le au moins un organe de production d’énergie renouvelable 18 ne sont pas pris en compte dans la fonction de coût et il est supposé un coût fixe pour le au moins un organe de production d’énergie fossile 16 et le au moins un organe de stockage d’énergie 19. Dans cet exemple, la fonction objective est, ainsi, la somme des coûts cumulés pour faire fonctionner le au moins un organe de production d’énergie fossile 16 et le au moins un organe de stockage d’énergie 19 sur la période temporelle T avec un pas de temps fixé (1 heure par exemple). Pour simplifier, il est par exemple supposé que la puissance électrique au temps t est la puissance durant l’intervalle [t, t+ ]. La fonction de coût est alors formulée de la manière suivante : (4) Où : m, q et c représentent respectivement les coûts opérationnels induits par le l’au moins un organe de stockage d’énergie 19, le au moins un organe de production d’énergie fossile 16, et la réduction de la puissance de l’au moins un organe de consommation d’énergie 14 (en anglais « load curtailment »). est la quantité d’énergie échangée par le au moins un organe de stockage d’énergie 19 (charge ou décharge). est la quantité d’énergie produite par le au moins un organe de production d’énergie fossile 16. est la réduction de la quantité d’énergie demandée par le au moins un organe de consommation d’énergie 14. Dans un exemple de mise en œuvre, l’indicateur indiquant si l’état suivant S t+1 obtenu suite à l’exécution de l’action A t est un état final est déterminé en fonction du pas de temps courant Δ t et de la vérification effectuée à l’étape précédente. Ainsi, l’état final est, par exemple, atteint : lorsque le pas de temps courant Δ t est égal à un pas de temps prédéterminé (par exemple, le dernier pas de temps des valeurs prédéterminées de quantités d’énergie à échanger P Net et lorsque les contraintes sont vérifiées, et lorsque les contraintes ne sont pas vérifiées (échec impliquant le retour à un état initial). Lorsque le pas de temps courant Δ t n’est pas égal au pas de temps prédéterminé et lorsque les contraintes sont vérifiées, l’état suivant S t +1 obtenu n’est pas un état final. Il est ensuite mémorisé dans la mémoire de reprise M R , une donnée d’apprentissage comprenant au moins l’état courant S t , l’état suivant S t +1 , l’action déterminée At et la récompense R t , et avantageusement une variable booléenne indiquant si l’état suivant obtenu est un état final ou non La phase de génération 100 comprend la répétition des étapes précédentes (110 à 190 de la phase de génération 100) tant que l’indicateur indique que l’état suivant obtenu S t +1 est différent d’un état final. L’ensemble des données d’apprentissage mémorisées jusqu’à l’obtention d’un état final forment un jeu d’apprentissage. Une fois l’état final obtenu, la phase d’entraînement 200 est enclenchée. La phase d’entraînement 200 est une phase d’entraînement du modèle courant au cours de laquelle au moins un paramètre w du modèle courant est optimisé sur la base d’au moins un jeu d’apprentissage mémorisé pour obtenir un modèle optimisé. La technique d’entraînement utilisé est, par exemple, basé sur un algorithme de type apprentissage profond (en anglais « deep learning »). Avantageusement, le au moins un paramètre w du modèle est optimisé sur la base de plusieurs jeux d’apprentissage mémorisés dans la mémoire de reprise M R . Avantageusement, les jeux d’apprentissage sélectionnés comprennent le dernier jeu d’apprentissage mémorisé et des jeux d’apprentissage choisis aléatoirement parmi l’ensemble des autres jeux d’apprentissage mémorisés. La prise en compte du dernier jeu d’apprentissage augmente la probabilité de prise en compte d’un événement rare dans l’entraînement du modèle lorsqu’un tel évènement rare apparaît. Le procédé de contrôle comprend ensuite la répétition des phases de génération 100 et d’entraînement 200 jusqu’à la satisfaction d’un critère de convergence, le modèle optimisé lors de la dernière itération étant un modèle entraîné pour le contrôle d’un micro-réseau électrique 10, dit modèle de contrôle. Par exemple, le critère de convergence est atteint lorsque pendant un nombre prédéterminé d’itérations successives à chaque obtention d’un état final, le pas de temps courant Δ t ayant permis l’obtention de l’état final correspond à un pas de temps prédéterminé (par exemple, le dernier pas de temps des valeurs prédéterminées de quantités d’énergie à échanger P Net ), et la somme des récompenses R t obtenues pour chaque donnée d’apprentissage du jeu d’apprentissage correspondant est supérieure ou égale à un seuil prédéterminé. Ainsi, lors de l’atteinte du critère de convergence, il est considéré que la fonction de coût est minimisée. Le procédé de contrôle comprend une phase 300 d’exploitation du modèle de contrôle comprenant la détermination d’une action A t de contrôle du micro-réseau 10 suite à la réception, par le modèle de contrôle, de l’état courant S t du micro-réseau 10. L’homme du métier comprendra que le modèle de contrôle a de manière classique d’abord été validé sur des données de test différentes des données du jeu d’apprentissage, avant d’être utilisé pour le contrôle effectif d’un micro-réseau 10. La validation consiste par exemple à la mise en œuvre de la phase de génération 100 avec des données d’entrée différentes. Le procédé de contrôle comprend une phase 400 de réalisation de l’action A t déterminée par l’envoi de commandes aux organes du micro-réseau 10. Les commandes sont, par exemple, des commandes de connexion ou déconnexion des organes du micro-réseau 10 du réseau de transport d’énergie 12 et/ou des commandes de charge, de décharge ou de production d’énergie. En fonction des cas, une action peut également être l’absence de commandes (correspondant à l’action ne rien faire). Ainsi, le modèle de contrôle obtenu suite à la mise en œuvre du présent procédé permet de minimiser les coûts opérationnels du micro-réseau. Un tel modèle s’affranchit également d’un module de prévision. Il est donc aisément adaptable à tous types de micro-réseau. Un tel modèle contrôle permet également de traiter les événements rares. Un évènement rare est un évènement ayant une probabilité faible (par exemple inférieure à 5 %) de se produire et qui affecte la performance du micro-réseau. En particulier, durant la phase de génération 100, les événements rares entraînent la prise de mauvaise décisions par le modèle à entraîner, c’est-à-dire de décisions menant à un état final pour non-respect des contraintes prédéterminées. Le modèle recommence alors une nouvelle itération au point de départ (état initial) sans avoir la possibilité d’explorer plus d’actions. Dans cette situation, sans les développements décrits précédemment, le modèle resterait bloqué car il échouera toujours au même pas de temps sans avoir la possibilité de trouver une solution. Dans le cas d’espèce, un événement rare est considéré comme étant la combinaison d’un état rare et d’une action rare. Des événements rares sont par exemple dus à une offre égale à la demande, ou encore à la maintenance ou à la défaillance (crash) d’un organe du micro-réseau. Le présent procédé permet de prendre en compte les événements rares par le contrôle d’un taux d’exploration duquel dépend la stratégie de détermination d’une action par le modèle. L’idée est de garder une trace, dans une mémoire de comptage M C , des pas de temps pour lesquels l’action déterminée mène à un échec. Ainsi, lorsque le modèle est bloqué à un pas de temps donné plusieurs fois, sans avoir la possibilité d’explorer d’avantage car le taux d’exploration est faible, le présent procédé force le modèle à explorer davantage. L’homme du métier comprendra que les modes de réalisation et variantes précédemment décrits peuvent être combinés pour former de nouveaux modes de réalisation pourvu qu’ils soient compatibles techniquement. Procédé de contrôle d’un micro-réseau électrique (10), le micro-réseau électrique (10) comprenant au moins un organe de consommation d’énergie (14), au moins un organe de production d’énergie (16, 18) et au moins un organe de stockage d’énergie (19), le micro-réseau (10) étant propre à prendre une pluralité d’états énergétiques (S t ), chaque état énergétique (S t ) étant défini par une quantité d’énergie à échanger (P Net ) entre des organes du micro-réseau (10) et par une quantité d’énergie stockée (E B cap ) sur le au moins un organe de stockage d’énergie (19), le micro-réseau (10) étant propre à passer d’un état (S t ) à un autre par la mise en œuvre d’une action (A t ) sur le micro-réseau (10), le procédé comprenant : une phase de génération d’un jeu de données d’apprentissage, la phase de génération étant mise en œuvre par ordinateur et comprenant les étapes suivantes : la réception de données initiales ou issues d’une itération antérieure, l’obtention, à partir des données reçues, d’un modèle courant propre à déterminer une action (A t ) de contrôle d’un micro-réseau (10), parmi un ensemble (E A ) d’actions prédéfinies, en fonction d’un état (S t ) du micro-réseau (10), la détermination, à partir des données reçues, d’un pas de temps courant (Δ t ), la détermination de la fréquence d’occurrence (δ t ) dans une mémoire d’une donnée identifiant le pas de temps courant (Δ t ), la détermination d’un taux d’exploration d’actions possibles, dit taux d’exploration courant (ε t ) pour le pas de temps courant (Δ t ), le taux d’exploration courant (ε t ) dépendant de la fréquence d’occurrence (δ t ) déterminée, l’obtention, à partir des données reçues, d’un état courant (S t ) d’un micro-réseau (10), la détermination par le modèle courant d’une action (A t ) de contrôle du micro-réseau (10) selon une technique d’apprentissage différant selon la valeur du taux d’exploration courant (ε t ) déterminé, la vérification du respect de contraintes prédéterminées par l’action (A t ) déterminée en fonction de l’état courant (S t ) et, lorsque les contraintes prédéterminées ne sont pas respectées, la mémorisation dans la mémoire d’une donnée identifiant le pas de temps courant (Δ t ), la détermination d’une récompense (R t ) représentative du coût opérationnel induit suite à l’exécution de l’action (A t ) et d’un indicateur indiquant si l’état suivant (S t +1 ) obtenu suite à l’exécution de l’action (A t ) est un état final, et la mémorisation d’une donnée d’apprentissage comprenant au moins l’état courant (S t ), l’état suivant (S t +1 ), l’action déterminée (A t ) et la récompense (R t ), et la répétition des étapes précédentes tant que l’indicateur indique que l’état suivant obtenu (S t +1 ) est différent d’un état final, l’ensemble des données d’apprentissage mémorisées jusqu’à l’obtention d’un état final formant un jeu d’apprentissage, une phase d’entraînement du modèle courant au cours de laquelle au moins un paramètre (w) du modèle courant est optimisé sur la base d’au moins un jeu d’apprentissage mémorisé pour obtenir un modèle optimisé, la phase d’entraînement étant mise en œuvre par ordinateur, et la répétition des phases de génération et d’entraînement jusqu’à la satisfaction d’un critère de convergence, le modèle optimisé lors de la dernière itération étant un modèle entraîné pour le contrôle d’un micro-réseau électrique (10), dit modèle de contrôle. Procédé selon la revendication 1, dans lequel : lorsque la fréquence d’occurrence (δ t ) déterminée est inférieure ou égale à un seuil prédéterminé, le taux d’exploration courant (ε t ) est obtenu à partir des données reçues, et lorsque la fréquence d’occurrence (δ t ) déterminée est strictement supérieure au seuil prédéterminé, le taux d’exploration courant (ε t ) est fixé à une valeur prédéterminée (Φ), dite valeur d’exploration. Procédé selon la revendication 1 ou 2, dans lequel la technique d’apprentissage stipule que suite au tirage aléatoire d’un nombre entre deux bornes prédéterminées : lorsque le nombre tiré est inférieur au taux d’exploration courant (ε t ), l’action (A t ) est déterminée aléatoirement parmi l’ensemble (E A ) d’actions prédéfinies, lorsque le nombre tiré est supérieur ou égal à la valeur courante du taux d’exploration courant (ε t ), l’action (A t ) est déterminée en fonction des paramètres (w) du modèle courant. Procédé selon l’une quelconque des revendications 1 à 3, dans lequel le procédé comprend : une phase d’exploitation du modèle de contrôle comprenant la détermination d’une action (A t ) de contrôle du micro-réseau (10) suite à la réception, par le modèle de contrôle, de l’état courant (S t ) du micro-réseau (10), et une phase de réalisation de l’action (A t ) déterminée par l’envoi de commandes aux organes du micro-réseau (10). Procédé selon l’une quelconque des revendications 1 à 4, dans lequel lors de la phase d’entraînement du modèle courant, le au moins un paramètre (w) du modèle est optimisé sur la base de plusieurs jeux d’apprentissage, lesdits jeux d’apprentissage comprenant le dernier jeu d’apprentissage mémorisé et des jeux d’apprentissage choisis aléatoirement parmi l’ensemble des autres jeux d’apprentissage mémorisés. Procédé selon l’une quelconque des revendications 1 à 5, dans lequel l’ensemble (E A ) d’actions prédéfinies comprend au moins les actions suivantes : la charge de l’au moins un organe de stockage d’énergie (19) d’une valeur correspondant à la quantité d’énergie à échanger (P Net ), la décharge de l’au moins un organe de stockage d’énergie (19) d’une valeur correspondant à la quantité d’énergie à échanger (P Net ) et, lorsque la quantité d’énergie stockée (E B cap ) sur le au moins un organe de stockage d’énergie (19) est insuffisante par rapport à la quantité d’énergie à échanger (P Net ), la fourniture de la quantité d’énergie restante par le au moins un organe de production d’énergie (16, 18), la production d’une quantité d’énergie correspondant à la quantité d’énergie à échanger (P Net ) par le au moins un organe de production d’énergie (16, 18), et ne pas faire d’action. Procédé selon l’une quelconque des revendications 1 à 6, dans lequel le micro-réseau (10) comprend au moins un organe de production d’énergie renouvelable (18) et au moins un organe de production d’énergie fossile (16), la quantité d’énergie à échanger (P Net ) étant la différence entre la quantité d’énergie produite (P PV ) par le au moins un organe de production d’énergie renouvelable (18) et la quantité d’énergie demandée (P C ) par le au moins un organe de consommation d’énergie (14), la quantité d’énergie à échanger (P Net ) étant une quantité d’énergie à échanger entre les organes du micro-réseau (10) à l’exception de l’au moins un organe de production d’énergie renouvelable (18). Procédé selon la revendication 7, dans lequel les contraintes prédéterminées comprennent au moins une contrainte choisie parmi l’ensemble de contraintes suivantes : une première contrainte relative à l’équilibre entre, d’une part, la somme de la quantité d’énergie échangée (P B ) par le au moins un organe de stockage d’énergie (19), de la quantité d’énergie produite (P G ) par le au moins un organe de production d’énergie fossile (16) et de la réduction (P C ) de la quantité d’énergie consommée par le au moins un organe de consommation d’énergie (14), et d’autre part, la quantité d’énergie à échanger (P Net ), une deuxième contrainte relative à la quantité d’énergie stockée (E B cap ) sur le au moins un organe de stockage d’énergie (19), une troisième contrainte relative à la quantité d’énergie échangée (P B ) par le au moins un organe de stockage d’énergie (19), une quatrième contrainte relative au mode de fonctionnement de l’au moins un organe de stockage d’énergie (19), et une cinquième contrainte relative à la quantité d’énergie produite (P G ) par le au moins un organe de production d’énergie fossile (16). Procédé selon l’une quelconque des revendications 1 à 8, dans lequel le critère de convergence est atteint lorsque pendant un nombre prédéterminé d’itérations successives à chaque obtention d’un état final, le pas de temps courant (Δ t ) ayant permis l’obtention de l’état final correspond à un pas de temps prédéterminé, et la somme des récompenses (R t ) obtenues pour chaque donnée d’apprentissage du jeu d’apprentissage correspondant est supérieure ou égale à un seuil prédéterminé. Produit programme d’ordinateur comportant un support lisible d’informations, sur lequel est mémorisé un programme d’ordinateur comprenant des instructions de programme, le programme d’ordinateur étant chargeable sur une unité de traitement de données et entraînant la mise en œuvre d’un procédé selon l’une quelconque des revendications 1 à 9 lorsque le programme d’ordinateur est mis en œuvre sur l’unité de traitement des données.