Brevet FR3164046A1 — publié le 20260102

Procédés permettant la détection et la gestion d’anomalies impactant un environnement informatique, dispositifs et programmes d’ordinateur correspondants La présente invention concerne un procédé d’entrainement par apprentissage renforcé d’un module de détermination d’un jeu d’actions correctives destinées à être mises en œuvre par un environnement suite à la détection d’une anomalie l’impactant, le procédé comprenant : la détermination, en fonction de données relatives à un état de l’environnement et d’une récompense dont la valeur est fonction d’une valeur d’un vecteur représentatif dudit état de l’environnement, d’un jeu d’actions correctives offrant une valeur d’une récompense attendue la plus élevée. Figure pour l’abrégé : Fig. 1. Procédés permettant la détection et la gestion d’anomalies impactant un environnement informatique, dispositifs et programmes d’ordinateur correspondants L’invention appartient au domaine général des télécommunications. Elle trouve une application privilégiée mais non limitative dans le contexte de l’informatique dans le nuage ou « cloud-computing ». L’invention concerne plus particulièrement la gestion d’anomalies, ou pannes, survenant au sein d’un environnement de cloud-computing et notamment leur détection ainsi que la détermination de mesures correctives destinées à être appliquées au sein de l’environnement de cloud-computing afin que ce dernier retrouve un fonctionnement normal exempt d’anomalies. Différents types de pannes peuvent affecter un réseau de télécommunications. Certaines de ces pannes peuvent être d’origine matérielle comme une rupture d’un câble de transmission, une déconnexion entre équipements appartenant au réseau de télécommunications, etc. Ces pannes de nature matérielles concernent également les équipements appartenant au réseau de télécommunication eux-mêmes et impactent leurs composants matériels. De telles pannes peuvent par exemple aller d’une alimentation défaillante à une panne de carte réseau en passant par un disque dur défectueux. L’avènement des réseaux de télécommunications conformes à la 5G (i.e. de 5 ème Génération) s’accompagne du développement et du déploiement de fonctions virtualisées hébergées dans des serveurs, ou nœuds, regroupés en grappes, ou « clusters » donnant ainsi corps au cloud-computing. Un exemple de solution d’orchestration de ces clusters de serveurs est la solution Kubernetes. Un cluster de nœuds Kubernetes comprend un premier nœud dit nœud de gestion, ou « Kubernetes master », et une pluralité de nœuds de calcul, ou « Kubernetes node ». Le nœud de gestion comprend un contrôleur, un module API (« Application Programming Interface » ou interface de programmation d’applications) et une base de données dite ETCD qui consiste en un registre dynamique de configuration des nœuds de calculs. Un nœud de calcul comprend une pluralité de conteneurs ou « pods ». Chaque conteneur est doté de ressources permettant l’exécution d’une ou de plusieurs tâches. Une tâche lorsqu’elle est exécutée contribue à la mise en œuvre d’un service ou d’une fonction réseau, telle qu’une fonction DHCP (« Dynamic Host Configuration Protocol » ou protocole de configuration dynamique des hôtes) par exemple. La solution d’orchestration Kubernetes est généralement retenue en raison de sa robustesse et de sa capacité à gérer des déploiements à grande échelle. Cette solution d’orchestration Kubernetes présente des avantages en termes de déploiement de services et de passage à l’échelle notamment. Néanmoins, les clusters, ou environnements, Kubernetes restent sujets à la survenue de pannes. Ainsi, des erreurs de configuration sont parmi les anomalies les plus courantes pouvant affecter un environnement Kubernetes. Elles peuvent résulter de fichiers de configuration YAML (« Yet Another Markup Language ») incorrects ou mal structurés. Par exemple, une simple faute de frappe dans le fichier de configuration peut empêcher le déploiement d'un conteneur. Ce type d’anomalies peut empêcher le démarrage ou la mise à jour des applications exécutées dans l’environnement Kubernetes, provoquant des interruptions de service et/ou une indisponibilité des applications. Des ressources mal configurées peuvent également engendrer des problèmes de performance au sein de l’environnement Kubernetes. La solution Kubernetes reposant sur l’utilisation de quotas pour gérer les ressources telles que les ressources de calcul et/ou la mémoire allouée à chaque conteneur, si ces ressources sont sous-évaluées, les conteneurs ne peuvent exécuter les tâches requises et si elles sont surévaluées, cela peut entraîner un gaspillage inutile de ressources allouées. Dans ces conditions, la gestion des pannes dans un environnement Kubernetes nécessite une approche proactive et continue. La surveillance, le débogage et la mise à jour régulière des configurations et des applications permettent alors de réduire rapidement les impacts de ces pannes et ainsi contribuer à maintenir la qualité des services fournis. A cette fin, l’utilisation d’outils de surveillance peut aider à détecter et à corriger ces pannes avant qu’elles n'affectent les utilisateurs finaux. La détection et la prédiction de la survenue d’anomalie au sein d’un cluster de nœuds est un domaine de recherche actif depuis de nombreuses années, et de nombreuses techniques ont été développées à cette fin. La plupart de ces techniques de détection et de prédiction repose sur l’utilisation d’algorithmes d'apprentissage automatique tels que des réseaux de neurones convolutifs CNN (« Convolutional Neural Network » ), des réseaux de neurones récurrents RNN (« Recurrent Neural Network » ) et des modèles de mémoire à long terme LSTM (« Long Short-Term Memory ») en raison de leur capacité à apprendre des schémas complexes à partir de grands ensembles de données. Un exemple d’une telle technique est la solution MAPE (« Monotoring, Analysis, Plan and Execute » ou Surveillance, Analyse, Planification et Exécution) ou boucle MAPE. La boucle MAPE consiste en la répétition de ces quatre étapes dans le cadre de la gestion d’un environnement informatique. Ainsi, l’environnement informatique est surveillé afin de vérifier si une anomalie est survenue. Si une anomalie est identifiée, une analyse est effectuée pour en trouver la cause. Puis, un plan est formulé pour résoudre le problème et une solution est mise en œuvre au moment approprié. Une boucle MAPE, consistant à répéter les différentes étapes, vise à identifier les problèmes de qualité de service et de fiabilité de l’environnement informatique le plus tôt possible et à les résoudre efficacement. Cependant, l’application de ces techniques de surveillances à des environnements de cloud-computing ne donne pas entière satisfaction car il manque notamment d'un cadre complet reliant les premières phases (Surveillance, Analyse) aux suivantes (Planification, Exécution). Il existe par conséquent un besoin de nouvelles solutions permettant d’améliorer la gestion (détection/prédiction, correction) des anomalies survenant dans un environnement de cloud-computing. A cet effet, et selon un premier aspect, l’invention concerne un procédé d’entrainement par apprentissage renforcé d’un module de détermination d’un jeu d’actions correctives destinées à être mises en œuvre par un environnement informatique suite à la détection d’une anomalie l’impactant, le procédé, mis en œuvre par un dispositif électronique, comprenant : la détermination, en fonction de données relatives à un état de l’environnement et d’une récompense dont la valeur est fonction d’une valeur représentative d’un vecteur représentatif dudit état de l’environnement, d’un jeu d’actions correctives offrant une valeur d’une récompense attendue la plus élevée. Corrélativement, l’invention vise aussi un dispositif électronique configuré pour entrainer par apprentissage renforcé un module de détermination d’un jeu d’actions correctives destinées à être mises en œuvre par un environnement informatique suite à la détection d’une anomalie l’impactant, le procédé, mis en œuvre par un dispositif électronique, comprenant au moins un processeur configuré pour : déterminer, en fonction de données relatives à un état de l’environnement et d’une récompense dont la valeur est fonction d’une valeur représentative d’un vecteur représentatif dudit état de l’environnement, d’un jeu d’actions correctives offrant une valeur d’une récompense attendue la plus élevée. Il convient de noter que l’invention s’applique de manière particulièrement avantageuse dans le domaine du cloud-computing, mais également dans le domaine des systèmes de gestion de la distribution d’énergie électrique. L’idée sous-jacente sur laquelle s’appuie l’invention est que la connaissance d’une information relative à une distance séparant un état donné d’un environnement informatique d’un état normal, c’est-à-dire exempt d’anomalies, du même environnement informatique permet de déterminer plus rapidement et plus efficacement un jeu d’actions correctives destinées à être mises en œuvre par l’environnement informatique afin de retrouver un état le plus proche possible de son état normal. L’invention repose sur l’utilisation de l’apprentissage renforcé qui permet d’utiliser cette information afin de déterminer le jeu d’actions à mettre en œuvre. De manière connue, L’apprentissage par renforcement consiste, pour un agent à apprendre un jeu d’actions à mettre en œuvre, à partir d'expériences, de façon à optimiser la valeur d’une récompense au cours du temps. A cette fin, l'agent est intégré au sein d'un environnement et prend des décisions en fonction de son état courant. En retour, l'environnement procure à l'agent une récompense, qui peut être positive ou négative. L'agent cherche, au travers d'expériences itérées, un comportement décisionnel, encore appelé politique, qui est une fonction associant à l'état courant le jeu d’actions à mettre en œuvre afin de maximiser la somme des récompenses au cours du temps. Classiquement, l'apprentissage par renforcement repose sur un processus de décision markovien MDP (« Makovian Decision Process »), qui propose un cadre à la problématique d'apprendre pour atteindre un but. Ainsi, un problème peut être considéré comme un processus de décision markovien, lorsqu'il présente les propriétés suivantes : il existe un ensemble fini d'états S de l'agent dans l'environnement étudié ; il existe un ensemble fini, ou jeu, d'actions A que l'agent peut effectuer ; il existe un ensemble de valeurs de récompenses que l'agent peut obtenir suite à la mise en œuvre, par l’environnement, d’un jeu d’actions donné, une récompense valant typiquement 1 quand l'agent gagne et 0 quand il perd. À chaque intervalle de temps k , l'agent perçoit son état S k ∊ S . Il perçoit a priori l'ensemble des actions possibles dans l' état S k , même si l'on peut supposer pour simplifier que l'ensemble des actions est le même dans tous les états. Il choisit alors une action A k destinée à être mise en œuvre par l’environnement et reçoit de la part de ce dernier un nouvel état S k+1 et une valeur de la récompense associée R k+1 , ce qui permet à l’agent d’évoluer dans l'environnement. À partir des interactions entre l’agent et l’environnement, un algorithme d'apprentissage par renforcement détermine une fonction, appelée politique, π : S → A qui à chaque état S k ∊ S préconise une action a ∊ A à exécuter, dont on espère qu'elle maximise la valeur totale des récompenses. Une politique peut également être probabiliste. Dans ce cas, la politique π s’exprime de la manière suivante : π( a , s )=Pr( a k = a | s k = s ) quelle Pr est la probabilité que l'agent choisisse d'exécuter l’action a quand l’environnement se trouve dans l'état s ? L'idée est ensuite de calculer une politique π* a priori optimale par une itération de deux étapes : évaluation de la politique courante au cours de laquelle l'algorithme d’apprentissage manipule une table dans laquelle pour tout état s ∊ S , une valeur de la table indique s’il est bon, selon la politique couranteπ, d'être dans l'état s ; amélioration de la politique courante π en utilisant une approche dans laquelle, pour chaque état s , on modifie la politique π( s ) pour choisir l’action qui maximise la valeur de la récompense attendue, selon les valeurs présentes dans la table. Comme la résolution d'un problème d'apprentissage par renforcement passe par l'évaluation de fonctions (politique optimale ou bien valeur optimale), il est connu d’approximer ces fonctions à l’aide de réseaux de neurones artificiels permettant la mise en œuvre d’un apprentissage par renforcement profond. Ces réseaux de neurones approximent alors une politique optimale (« Policy Gradien t »). Un environnement de cloud-computing tel qu’un environnement Kubernetes est un environnement de type markovien. En effet, les actions qui sont mises en œuvre par l’entité d’orchestration de l’environnement dépendent uniquement de l’état courant de l’environnement. De plus, les différents états de l’environnement sont des états discrets. Dans la présente invention, les états de l’environnement appartiennent à deux sous-espaces d’états : le sous-espace des états normaux ( ) et le sous-espace des états anormaux ( ). Tout état appartenant au sous-espace ( ) reflète la condition de fonctionnement d'un environnement qui est satisfaisante pour l’opérateur de cet environnement. Les limites de l'espace normal sont déterminées par des valeurs seuils qui sont générées avec l'aide d'un auto-encodeur pour chaque groupe de ressources , où est l’ensemble des ressources considérées pour déterminer un état de l’environnement telles que par exemple : CPU pour les ressources de calcul, storage pour les ressources de mémoires et network pour les ressources réseau. Ainsi, . Le vecteur représentatif dudit état de l’environnement s’exprime de la manière suivante : et Les coefficients d’un tel vecteur représentent la moyenne des différences au carré entre des valeurs prédites et des valeurs attendues dans un ensemble de données, ici les valeurs des ressources de l’environnement considéré. Le vecteur est déterminé de la façon suivante : où représente l’ensemble des nœuds de l’environnement exécutant des fonctions réseau virtualisées telles que les fonctions AMF, UPF, NSSF, UDR, etc Dans des modes particuliers de mise en œuvre du procédé d’entrainement, la valeur de la récompense est fonction d’une norme euclidienne du vecteur représentatif dudit état de l’environnement. Une telle norme euclidienne est notée . L’utilisation de la norme euclidienne pour déterminer une récompense est particulièrement intéressante car elle reflète la déviation de l’état par rapport à un état normal. Cela permet alors au module de détermination d’un jeu d’actions correctives à mettre en œuvre de déterminer plus rapidement et plus efficacement un nouveau jeu d’actions correctives à mettre en œuvre dont la valeur attendue de la récompense est plus élevée. Dans des modes particuliers de mise en œuvre du procédé d’entrainement, ladite valeur d’une récompense est inversement proportionnelle à la valeur de la norme euclidienne du vecteur représentatif dudit état de l’environnement.] Une telle récompense être utilisée pour n'importe quel type d’environnement de cloud-computing indépendamment des fonctionnalités mises en œuvre par ce dernier et quel que soit le type d'anomalie impactant l’environnement à partir du moment où les actions correctives comprises dans le jeu d’action correctives déterminées peuvent être mises en œuvre dans l’environnement. Dans des modes particuliers de mise en œuvre du procédé d’entrainement, ladite valeur d’une récompense décroit exponentiellement avec la valeur de la norme euclidienne du vecteur représentatif dudit état de l’environnement. Lorsqu'une action corrective comprise dans le jeu d’action correctives déterminées ne peut pas être mise en œuvre dans l’environnement, elle doit être pénalisée sévèrement. A cette fin, la valeur de la récompense décroit exponentiellement avec la valeur de la norme euclidienne du vecteur représentatif de l’état de l’environnement résultant de la non mise en œuvre de cette action. Une telle récompense est utilisée par exemple lorsque l’intégralité des ressources de calcul de l’environnement sont déjà allouées et que l'action corrective requise consiste en l’augmentation des ressources de calcul allouées. Dans des modes particuliers de mise en œuvre du procédé d’entrainement, les actions constitutives du jeu d’actions appartiennent au groupe comprenant : augmenter ou diminuer la puissance de calcul disponible d’un processeur appartenant audit environnement ; augmenter ou diminuer la mémoire disponible au sein de l’environnement ; augmenter ou diminuer la bande passante disponible pour échanger des données avec d’autres environnements ; augmenter ou diminuer le nombre de machines virtuelles disponibles au sein de l’environnement. La présente solution permet de déterminer un jeu d’actions correctives qui permettent de jouer à la fois sur les ressources allouées aux différents conteneurs de l’environnement mais également sur le nombre de conteneurs à instancier ainsi que sur le nombre de machines virtuelles à instancier dans chacun des conteneurs. L’invention offre ainsi un traitement global des anomalies impactant un environnement de cloud-computing, ce qui offre une meilleure réactivité lors de la survenue d’une anomalie. Selon un deuxième aspect, l’invention concerne un procédé de détection d’une anomalie impactant un environnement informatique mis en œuvre par un dispositif électronique communiquant avec ledit environnement, le procédé comprenant : la détection d’une anomalie impactant l’environnement en fonction d’un état dudit environnement ; la transmission, à destination d’un module de détermination d’un jeu d’actions correctives destinées à être mises en œuvre par l’environnement, d’une demande de détermination d’un jeu d’actions correctives comprenant des données relatives à l’état associé à ladite anomalie et une récompense dont la valeur est fonction d’une valeur représentative d’un vecteur représentatif dudit état associé à l’anomalie. Corrélativement, l’invention vise aussi un dispositif électronique configuré pour détecter une anomalie impactant un environnement informatique avec lequel il communique, le dispositif électronique comprenant au moins un processeur configuré pour : détecter une anomalie impactant l’environnement en fonction d’un état dudit environnement ; transmettre, à destination d’un module de détermination d’un jeu d’actions correctives destinées à être mises en œuvre par l’environnement, une demande de détermination d’un jeu d’actions correctives comprenant des données relatives à l’état associé à ladite anomalie et une récompense dont la valeur est fonction d’une valeur représentative d’un vecteur représentatif dudit état associé à l’anomalie. Comme précédemment expliqué en relation avec le procédé d’entrainement, l’utilisation d’une valeur représentative d’un vecteur représentatif d’un état de l’environnement pour déterminer une récompense est particulièrement intéressante car elle reflète la déviation de l’état considéré par rapport à un état normal. Cela permet alors au module de détermination d’un jeu d’actions correctives à mettre en œuvre de déterminer plus rapidement et plus efficacement un nouveau jeu d’actions correctives à mettre en œuvre dont la valeur attendue de la récompense est plus élevée. Dans des modes particuliers de mise en œuvre du procédé de détection, la détection d’une anomalie impactant l’environnement est fonction d’un état courant et d’un état prédit dudit environnement. La détection d’une anomalie sur la base à la fois d’un état courant et d’un état prédit de l’environnement contribue à augmenter la pertinence du jeu d’actions corrective déterminé et la rapidité de cette détermination. Ces aspects revêtent une importance particulière en fonction du service impacté par la panne ou de la nature de la panne elle-même. Dans des modes particuliers de mise en œuvre du procédé de détection, la valeur de la récompense est fonction d’une norme euclidienne du vecteur représentatif dudit état de l’environnement.] Dans des modes particuliers de mise en œuvre du procédé de détection, lorsque l’état associé à l’anomalie est l’état courant, ladite demande de détermination d’un jeu d’actions correctives comprend des données relatives audit état courant. Dans un tel cas de figure, une anomalie impacte l’environnement qu’il est nécessaire de corriger. Aussi les informations transmises au module de détermination d’un jeu d’actions correctives concernent la situation courante de l’environnement. Dans des modes particuliers de mise en œuvre du procédé de détection, celui-ci comprend en outre, lorsque l’état associé à l’anomalie est l’état prédit : la détermination d’au moins un service impacté par ladite anomalie et/ou la sévérité de ladite anomalie ; et dans lequel, en fonction du service impacté et/ou de la sévérité de ladite anomalie, ladite demande de détermination d’un jeu d’actions correctives comprend des données relatives audit état prédit. Dans un tel cas de figure, une anomalie n’impacte pas encore l’environnement, mais elle pourrait survenir si aucune action corrective n’est entreprise. Ainsi, si une telle anomalie prédite impacte un service donné ou s’avère être sévère, les informations transmises au module de détermination d’un jeu d’actions correctives concernent la situation prédite de l’environnement afin que le module de détermination d’un jeu d’actions correctives détermine un jeu d’actions correctives qui permettent d’empêcher la survenue de l’anomalie prédite ou de réduire son impact sur l’environnement. Dans des modes particuliers de mise en œuvre du procédé de détection, la sévérité d’une anomalie étant fonction d’une norme euclidienne du vecteur représentatif de l’état associé à ladite anomalie, les données relatives audit état prédit sont transmises à destination du module de détermination d’un jeu d’actions correctives lorsqu’une valeur de la norme euclidienne du vecteur représentatif de l’état prédit est supérieure ou égale à un seuil. Tout comme cela est le cas pour la détermination d’une valeur de la récompense, l’utilisation de la norme euclidienne pour déterminer la sévérité d’une anomalie est particulièrement intéressante car elle reflète la déviation de l’état considéré (ici l’état prédit) de l’environnement par rapport à un état normal. Ainsi, plus la valeur de la norme du vecteur représentatif de l’état associé à ladite anomalie est élevée, plus l’anomalie prédite est sévère. Cela permet alors au module de détermination d’un jeu d’actions correctives à mettre en œuvre de déterminer plus rapidement et plus efficacement un nouveau jeu d’actions correctives qui permettent d’empêcher la survenue de l’anomalie prédite ou de réduire son impact sur l’environnement. Dans des modes particuliers de mise en œuvre du procédé de détection, les données relatives audit état prédit sont transmises à destination du module de détermination d’un jeu d’actions correctives lorsque le service impacté appartient à un groupe de services comprenant : des services de type eMBB (Enhanced Mobile Broadband); des services de type uRLLC (Ultra Reliable Low Latency Communication); des services de type mMTC (Massive Machine-Type Communications); des services de type V2X (Vehicle to Everything Communication); et des services de type HMTC (High Performance Machine Type Communication). Dans des modes particuliers de mise en œuvre du procédé de détection, ladite valeur d’une récompense est inversement proportionnelle à la valeur de la norme euclidienne du vecteur représentatif dudit état de l’environnement. Dans des modes particuliers de mise en œuvre du procédé de détection, ladite valeur d’une récompense décroit exponentiellement avec la valeur de la norme euclidienne du vecteur représentatif dudit état de l’environnement. Selon un troisième aspect, l’invention concerne un système de gestion d’au moins une anomalie impactant un environnement informatique, le système comprenant : au moins un dispositif électronique configuré pour détecter une anomalie impactant ledit environnement selon l’invention ; et au moins un dispositif électronique configuré pour entrainer par apprentissage renforcé un module de détermination d’un jeu d’actions correctives selon l’invention. Dans un mode particulier de réalisation, les procédés objet de l’invention sont mis en œuvre par un ordinateur. L’invention vise également un programme d’ordinateur sur un support d’enregistrement, ce programme étant susceptible d’être mis en œuvre dans un ordinateur ou plus généralement dans au moins l’un des dispositifs électroniques conformes à l’invention et comportant des instructions adaptées à la mise en œuvre d’au moins l’un des procédés tels que décrits ci-dessus. Chacun de ces programmes peut utiliser n’importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n’importe quelle autre forme souhaitable. L’invention vise aussi un support d'information ou un support d’enregistrement lisibles par un ordinateur, et comportant des instructions d’un programme d'ordinateur tel que mentionné ci-dessus. Le support d'information ou d’enregistrement peut être n'importe quelle entité ou dispositif capable de stocker les programmes. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple un disque dur, ou une mémoire flash. D'autre part, le support d'information ou d’enregistrement peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par lien radio, par lien optique sans fil ou par d'autres moyens. Les programmes selon l'invention peuvent être en particulier téléchargés sur un réseau de type Internet. Alternativement, le support d'information ou d’enregistrement peut être un circuit intégré dans lequel un programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution des procédés selon l’invention. On peut également envisager, dans d'autres modes de réalisation, que les procédés selon l’invention, les dispositifs électroniques et le système de gestion d’anomalies selon l’invention présentent en combinaison tout ou partie des caractéristiques précitées. D’autres caractéristiques et avantages de la présente invention ressortiront de la description faite ci-dessous, en référence aux dessins annexés qui en illustrent un exemple de réalisation dépourvu de tout caractère limitatif. Sur les figures : FIG. 1 la FIG. 1 , représente un système de gestion d’au moins une anomalie impactant un environnement informatique conforme à l’invention dans un mode particulier de réalisation ; FIG. 2 la FIG. 2 représente de manière schématique une infrastructure appartenant au système représenté à la FIG. 1 ; FIG. 3 la FIG. 3 représente de manière schématique une entité d’orchestration appartenant au système représenté à la FIG. 1 , ; FIG. 4 la FIG. 4 représente de manière schématique l’architecture matérielle d’un module de détection d’une anomalie impactant l’environnement informatique et d’un module de détermination d’un jeu d’actions correctives destinées à être mises en œuvre par l’environnement informatique dans un mode particulier de réalisation ; FIG. 5 la FIG. 5 représente, sous forme d’ordinogramme, les principales étapes des procédés d’entrainement par apprentissage renforcé et de détection d’une anomalie impactant l’environnement informatique dans un mode particulier de réalisation ; FIG. 6 la figure 6 représente l’espace des états possibles de l’environnement informatique dans un mode particulier de réalisation. Description de l’invention La FIG. 1 représente un système 1 de gestion d’au moins une anomalie impactant un environnement informatique conforme à l’invention dans un mode particulier de réalisation. Dans ce mode de réalisation, le système 1 comprend : au moins une entité de surveillance 10 d’une infrastructure Infra telle que par exemple un cluster de nœuds Kubernetes, une entité de détermination 20 d’un jeu d’actions correctives destinées à être mises en œuvre au sein de l’infrastructure Infra afin de corriger une anomalie, une entité d’orchestration MANO de l’infrastructure Infra, et l’infrastructure Infra. Une telle infrastructure Infra est représentée plus en détail en référence à la FIG. 2 . Une telle infrastructure Infra comprend, de manière classique, plusieurs conteneurs Container 1-3, une couche de virtualisation « Virtualization layer », une entité de stockage de données « storage », des moyens de calcul, tels qu’un ou plusieurs processeurs, « compute » et des moyens de communication « network » avec d’autres équipements ou d’autres infrastructures. Un conteneur exécute une ou plusieurs fonctions réseau virtualisées VNF et comprend une entité de stockage de données virtualisée « v storage », des moyens de calcul virtualisés « v compute » et des moyens de communication virtualisés « v network » avec d’autres conteneurs par exemple. L’entité d’orchestration MANO est représentée plus en détail en référence à la FIG. 3 . Une telle entité d’orchestration a pour fonction de configurer l’infrastructure Infra en fonction des tâches que les conteneurs de cette dernière sont amenés à effectuer. Ainsi, l’entité d’orchestration MANO réserve les ressources requises en termes de puissance de calcul requise, d’espace mémoire requis, de nombre de machines virtuelles à instancier, etc. Afin de pouvoir orchestrer, ou configurer, l’infrastructure Infra, l’entité d’orchestration comprend, de manière connue, une entité NFVO (« Network Functions Virtualization Orchestrator » ) impliquée dans la montée et la descente en charge des ressources, une entité VNFM (« VNF Manager ») de gestion des fonctions réseau virtualisées VNF, une entité VIM (« Virtualized Infrastructure Manager ») de gestion de l'infrastructure virtualisée et enfin une entité SDN controller (« Software-Defined Networking controller ») qui gère le contrôle des flux de données pour améliorer la performance des applications exécutées au sein de l’infrastructure Infra. L’entité de surveillance 10, l’entité d’orchestration MANO et l’infrastructure Infra constituent un environnement informatique au sens de la présente invention. L’entité de surveillance 10 de la FIG. 1 comprend un module de détection d’anomalies 11 et un module de prédiction de la survenue d’une anomalie 12 au sein de l’environnement informatique. Le module de détection 11 est configuré pour collecter des informations relatives au fonctionnement de l’infrastructure Infra afin de détecter une anomalie. Les informations collectées concernent aussi bien la couche physique que la couche de virtualisation de l’infrastructure Infra. Ainsi le module de détection 11 reçoit des informations relatives à la fois aux composants physiques et aux composant virtualisés de l’infrastructure Infra. De manière connue en soit, le module de détection 11 détermine un état de l’environnement informatique pour un intervalle de temps k et le transmet à l’entité de détermination 20. Le module de prédiction de la survenue d’une anomalie 12 est configuré pour collecter des informations relatives au fonctionnement de l’infrastructure Infra afin de prédire la survenue d’une éventuelle anomalie. Tout comme c’est le cas pour le module de détection 11, les informations collectées concernent aussi bien la couche physique que la couche de virtualisation de l’infrastructure Infra. Ainsi le module de prédiction 12 reçoit des informations relatives à la fois aux composants physiques et aux composant virtualisés de l’infrastructure Infra. De manière connue en soit, le module de prédiction 12 détermine un état prédit de l’environnement informatique pour un intervalle de temps k et le transmet à l’entité de détermination 20. L’entité de détermination 20 de la FIG. 1 comprend un module de détection 21 d’une anomalie impactant l’environnement informatique et un module de détermination 22 d’un jeu d’actions correctives destinées à être mises en œuvre par l’environnement informatique suite à la détection d’une anomalie l’impactant. Le fonctionnement de ces deux modules de détection 21 et de détermination 22 est décrit plus en détail en référence à la FIG. 5 . Dans le mode de réalisation décrit ici, le module de détection 21 et le module de détermination 22 ont l’architecture matérielle d’un ordinateur 30 telle qu’illustrée à la FIG. 4 . Cette architecture matérielle comprend notamment un processeur PROC, une mémoire vive MEM, une mémoire morte ROM, une mémoire non volatile NVM, et des moyens COM de communication permettant au module de détection 21 et au module de détermination 22 notamment de communiquer entre eux et avec les autres composants du système 1. La mémoire non volatile NVM constitue un support d’enregistrement conforme à l’invention, lisible par le processeur PROC et sur lequel sont enregistrés des programmes conforme à l’invention. Ces programmes, notés PROG, sont enregistrés dans la mémoire non volatile NVM et comportent des instructions définissant les principales étapes des procédés selon l’invention tel qu’ils sont mis en œuvre par les modules de détection 21 et de détermination 22. La FIG. 5 décrit les principales étapes des procédés d’entrainement par apprentissage renforcé et de détection d’une anomalie impactant l’environnement informatique selon l’invention telles qu’elles sont respectivement mises en œuvre par le module de détection 21 et le module de détermination 22 dans un mode particulier de réalisation. Les étapes des procédés d’entrainement par apprentissage renforcé et de détection d’une anomalie impactant l’environnement informatique décrites ci-après illustrent comment des informations relatives à l’infrastructure Infra collectées et traitées par l’entité 10 sont transmises et utilisées par l’entité 20 afin que cette dernière génère un jeu d’actions correctives qui sont transmises à l’entité d’orchestration MANO qui a alors la charge de reconfigurer l’infrastructure Infra conformément aux actions reçues. Plus précisément, le module de détection 11 ou/et le module de prédiction 12 collectent, pendant un intervalle de temps k , des données relatives au fonctionnement de l’infrastructure Infra comme discuté en référence à la FIG. 1 (S010). Dans une étape S020, le module de détection 11 de l’entité de surveillance 10 détermine un état courant de l’environnement informatique et le transmet au module de détection 21 de l’entité de détermination 20. Dans une étape S021, le module de prédiction 12 de l’entité de surveillance 10 détermine un état prédit de l’environnement informatique et le transmet au module de détection 21 de l’entité de détermination 20. Les étapes S020 et S021 peuvent être concomitantes ou non selon les implémentations retenues. A réception des informations transmises par le module de détection 11 et par le module de détermination 12, le module de détection 21 détermine si une anomalie impacte l’environnement informatique ou/et si une anomalie pourrait impacter l’environnement informatique dans un futur proche. Pour cela, le module de détection 21 détermine (S030) les coordonnées d’un premier vecteur représentatif de l’état courant de l’environnement informatique et les coordonnées d’un deuxième vecteur représentatif l’état prédit de l’environnement informatique. Le vecteur représentatif d’un état de l’environnement informatique s’exprime de la manière suivante : avect , et , où est l’ensemble des ressources considérées pour déterminer un état de l’environnement telles que par exemple : CPU pour les ressources de calcul, storage pour les ressources de mémoires et network pour les ressources réseau La figure 6 représente l’espace des états possibles de l’environnement informatique. Cet espace des états possibles comprend deux sous-espaces : le sous-espace des états normaux ( ), représenté par le parallélépipède « Normal state space » sur la figure 6, et le sous-espace des états anormaux ( ). En d’autres termes, . Tout état ou appartenant au sous-espace ( ) reflète une condition de fonctionnement de l’environnement informatique jugée satisfaisante par l’opérateur de cet environnement informatique. Les limites du sous-espace ( ) sont déterminées par des valeurs seuils fixées, par exemple, par l’opérateur de l’environnement informatique. En d’autres termes : où MSE signifie « Mean Square Error » ou carré moyen des erreurs, et représente l’ensemble des nœuds de l’environnement informatique. Les coefficients du vecteur représentent le carré moyen des erreurs entre des valeurs prédites et des valeurs attendues des ressources de l’environnement informatique considéré. Une fois les coordonnées du vecteur et les coordonnées du deuxième vecteur déterminées, le module de détection 21 calcule la norme euclidienne de chacun de ces deux vecteurs (S040) : et respectivement . Si la norme euclidienne de l’un des deux vecteurs ou , représentant respectivement l’état courant et l’état prédit de l’environnement informatique est supérieure ou égale à un premier seuil (S050) alors une anomalie impacte l’environnement informatique si c’est la norme du vecteur qui est supérieure au premier seuil, ou une anomalie pourrait impacter l’environnement informatique dans le futur si c’est la norme du vecteur qui est supérieure au premier seuil. Un tel premier seuil peut être fixé par l’opérateur de l’environnement informatique. Un tel premier seuil peut correspondre, à tire d’exemple, à la valeur maximale que peut prendre la norme euclidienne d’un vecteur représentant un état normal. Sur la figure 6, le vecteur représente un état courant de l’environnement informatique. Cet état courant est un état anormal car la norme du vecteur est supérieure au premier seuil. Il est à noter qu’il existe d’autres manières que le calcul de la norme euclidienne d’un vecteur représentatif d’un état de l’environnement informatique pour détecter la survenue d’une anomalie et/ou en déterminer la sévérité. Dans le cas de figure où l’état courant de l’environnement informatique se révèle être un état anormal, ce qui signifie qu’une anomalie est en train d’impacter l’environnement informatique, le module de détection 21 détermine (S060) la valeur d’une récompense associée à l’état courant de l’environnement informatique. Une telle récompense , dont la valeur peut être positive ou négative, représente l’impact que la mise en œuvre d’un jeu d’actions correctives déterminé par le module de détermination 22 et mises en œuvre au sein de l’environnement informatique par l’entité MANO a eu sur l’environnement informatique. Dans un exemple de mise en œuvre de la présente solution, la récompense est déterminée en fonction de la valeur de la norme du vecteur . Plus particulièrement, dans une première implémentation, la valeur de la récompense est inversement proportionnelle à la norme du vecteur : Dans une seconde implémentation, la valeur de la récompense décroit exponentiellement avec la valeur de la norme du vecteur : Il est à noter que la valeur de la récompense peut être fonction d’autres métriques que la valeur de la norme euclidienne d’un vecteur représentatif d’un état de l’environnement informatique. Une fois la valeur de la récompense déterminée, le module de détermination 21 transmet cette dernière ainsi que le vecteur représentatif de l’état courant de l’environnement informatique à destination du module de détermination 22 (S070). Dans le cas de figure où l’état prédit de l’environnement informatique se révèle être un état anormal, ce qui signifie qu’une anomalie pourrait impacter l’environnement informatique dans le futur, le module de détection 21 identifie (S080) la nature du ou des services qui pourraient être impacter par l’anomalie prédite. S’il s’agit d’un service prioritaire, comme par exemple, un service uRLLC ou un service eMBB ou encore un service V2X, le module de détection 21 met en œuvre les étapes S060 à S070 en calculant la valeur d’une récompense associée à l’état prédit de l’environnement informatique et en la transmettant avec le vecteur représentatif de l’état prédit de l’environnement informatique à destination du module de détermination 22. S’il s’agit d’un service non prioritaire, comme par exemple, un service de transmission données internet, le module de détection 21 détermine la sévérité de l’anomalie prédite (S090) au moyen de la norme du vecteur représentatif de l’état prédit. Si la valeur de la norme du vecteur représentatif de l’état prédit est supérieure ou égale à un deuxième seuil, l’anomalie prédite est considérée sévère et le module de détection 21 met en œuvre les étapes S060 à S070 en calculant la valeur d’une récompense associée à l’état prédit de l’environnement informatique et en la transmettant avec le vecteur représentatif de l’état prédit de l’environnement informatique à destination du module de détermination 22. Dans une implémentation particulière, le premier et le deuxième seuil peuvent avoir la même valeur. Lorsque la valeur de la norme du vecteur représentatif de l’état prédit est inférieure au deuxième seuil, l’anomalie prédite n’est pas considérée comme sévère. Dans ce cas de figure, le procédé s’arrête là et reprend à l’étape S010 quand des informations relatives à un nouvel état courant et un nouvel état prédit sont collectées par le module de détection 11 et le module de prédiction 12 de l’entité de surveillance 10. A réception de la valeur de la récompense ou déterminée par le module de détermination 21 et de l’état de l’environnement informatique correspondant , , le module de détermination 22 procède à la détermination d’un jeu d’actions correctives, encore appelé intention, destinées à être mises en œuvre par l’entité d’orchestration MANO en vue de corriger l’anomalie courante ou prédite. Le module de détermination 22 est entrainé au moyen d’un algorithme d’apprentissage renforcé afin de déterminer le jeu d’actions correctives qui aura un impact le plus significatif possible sur l’état de l’environnement informatique, cet impact étant quantifié au moyen de la valeur de la récompense . L'objectif de l'utilisation d’un jeu d’actions correctives (ou intention) est de regrouper un ensemble d'actions pour améliorer la convergence de l'algorithme d’apprentissage renforcé lors de l'entraînement, et ainsi améliorer le temps de récupération de l’environnement informatique (SRT). La mise en œuvre conjointe de plusieurs actions peut réduire l'espace des actions et donc diminuer la complexité de l'exploration. De telles actions consistent en : la mise à l'échelle des ressources disponibles pour un conteneur et à la mise à l'échelle des conteneurs. Celles-ci sont respectivement appelées mise à l'échelle verticale et mise à l'échelle horizontale. Chaque conteneur possédant un ensemble isolé de ressources virtuelles telles qu’une puissance de calcul CPU, une quantité de mémoire disponible, un système de gestion de fichiers et une bande passante pour communiquer, ces ressources peuvent être augmentées ou diminuées d'une quantité pour un conteneur donné en fonction des ressources disponibles et des besoins. Il existe trois actions possibles associées à cette mise à l'échelle verticale, telles que : - aucune →0 : aucun changement n'est effectué ; - mise à l'échelle ascendante : augmenter les ressources d'un conteneur de unités ; - mise à l'échelle descendante : diminuer les ressources d'un conteneur de unités ; La mise à l’échelle permet d'augmenter ou de diminuer le nombre de conteneurs actifs au sein de l’environnement informatique d'une quantité . Il existe trois actions possibles associées à la mise à l'échelle horizontale, telles que : - aucune →0 : aucun changement n'est effectué ; - mise à l'échelle vers l'extérieur : augmenter le nombre de conteneurs actifs ; - Mise à l'échelle vers l'intérieur : diminuer le nombre de conteneurs actifs. Ainsi, l'espace des actions possibles peut s’exprimer de la manière suivante : Pour un état donné ou , de l’environnement informatique un jeu d’actions correctives peut comprendre une seule action par exemple , ou une pluralité d’actions, dans ce cas de figure, . Une politique , où est l’ensemble des politiques possibles, est une associant un état de l'environnement informatique avec au moins une action destinée à être mise en œuvre par l’entité d’orchestration MANO. Afin de déterminer le jeu d’actions correctives destinées à être mises en œuvre par l’entité d’orchestration en réponse à la détection d’une anomalie, le module de détermination 22 détermine (S100) la politique qui maximise la récompense attendue au cours du temps. En effet, dans un mécanisme d'apprentissage par renforcement, étant donné la nature dynamique de l'environnement informatique surveillé, il est important de capturer la récompense totale attendue, Cela permet de mesurer l'impact global du choix d'une politique sur l’état de l’environnement informatique et de déterminer si une politique donnée est optimale ou non. Les deux fonctions capturent ce retour attendu sous une politique donnée et peuvent être utilisées pour déterminer le jeu d’actions correctives destinées à être mises en œuvre par l’entité d’orchestration MANO, à savoir, la fonction de valeur et la fonction valeur-action . Une telle fonction valeur-action exprime la valeur d’une récompense attendue liée à la mise en œuvre d’une action et de suivre une politique au sein d’un environnement informatique qui se trouve dans un état s. Plus particulièrement, la détermination du jeu d’actions correctives et la politique associée qui maximisent la récompense attendue au cours du temps, est obtenu en déterminant fonction valeur-action optimale. Étant donné , la meilleure politique peut être construite en choisissant la ou les actions qui satisfont à chaque état du système. Une fois la fonction valeur-action identifiée, le jeu d’actions correctives destinées à être mises en œuvre par l’entité d’orchestration MANO suite à la détection d’une anomalie impactant ou pouvant impacter l’environnement informatique est déterminée. Ce jeu d’actions correctives est transmis (S110) à destination de l’entité d’orchestration MANO qui détermine (S120) une nouvelle configuration de l’environnement informatique. Dans un autre mode de réalisation, la présente invention concerne également un procédé de détection d’une anomalie impactant un environnement informatique mis en œuvre par un dispositif électronique communiquant avec ledit environnement, le procédé comprenant : la détection d’une anomalie impactant l’environnement en fonction d’un état courant et d’un état prédit dudit environnement ; la transmission, à destination d’un module de détermination d’un jeu d’actions correctives destinées à être mises en œuvre par l’environnement, d’une demande de détermination d’un jeu d’actions correctives comprenant des données relatives à l’état associé à ladite anomalie parmi l’état courant et l’état prédit et une récompense associée. Procédé d’entrainement par apprentissage renforcé d’un module de détermination (22) d’un jeu d’actions correctives destinées à être mises en œuvre par un environnement informatique suite à la détection d’une anomalie l’impactant, le procédé, mis en œuvre par un dispositif électronique, comprenant : la détermination (S100), en fonction de données relatives à un état de l’environnement ( et d’une récompense ( ) dont la valeur est fonction d’une valeur représentative d’un vecteur ( ) représentatif dudit état de l’environnement, d’un jeu d’actions correctives ( ) offrant une valeur d’une récompense attendue la plus élevée. Procédé d’entrainement selon la revendication 1 dans lequel la valeur de la récompense est fonction d’une norme euclidienne ( du vecteur ( représentatif dudit état de l’environnement. Procédé d’entrainement selon la revendication 2 dans lequel ladite valeur d’une récompense ( ) est inversement proportionnelle à la valeur de la norme euclidienne ( du vecteur représentatif dudit état de l’environnement. Procédé d’entrainement selon la revendication 2 dans lequel ladite valeur d’une récompense ( ) décroit exponentiellement avec la valeur de la norme euclidienne ( du vecteur représentatif dudit état de l’environnement. Procédé d’entrainement selon l’une quelconque des revendications 1 à 4, dans lequel les actions ( ) constitutives du jeu d’actions ( ) appartiennent au groupe comprenant : augmenter ou diminuer la puissance de calcul disponible d’un processeur appartenant audit environnement ; augmenter ou diminuer la mémoire disponible au sein de l’environnement ; augmenter ou diminuer la bande passante disponible pour échanger des données avec d’autres environnements ; augmenter ou diminuer le nombre de machines virtuelles disponibles au sein de l’environnement. Procédé de détection d’une anomalie impactant un environnement informatique mis en œuvre par un dispositif électronique communiquant avec ledit environnement, le procédé comprenant : la détection (S050) d’une anomalie impactant l’environnement en fonction d’un état dudit environnement ; la transmission (S110), à destination d’un module de détermination d’un jeu d’actions correctives destinées à être mises en œuvre par l’environnement, d’une demande de détermination d’un jeu d’actions correctives comprenant des données relatives à l’état associé à ladite anomalie et une récompense dont la valeur est fonction d’une valeur représentative d’un vecteur représentatif dudit état associé à l’anomalie. Procédé de détection d’une anomalie selon la revendication 6, dans lequel la détection d’une anomalie impactant l’environnement est fonction d’un état courant ( et d’un état prédit ( ) dudit environnement. Procédé de détection d’une anomalie selon la revendication 6 ou la revendication 7, dans lequel la valeur de la récompense ( ) est fonction d’une norme euclidienne ( du vecteur représentatif dudit état de l’environnement. Procédé de détection d’une anomalie selon l’une quelconque des revendications 7 à 8, dans lequel, lorsque l’état associé à l’anomalie est l’état courant ( , ladite demande de détermination d’un jeu d’actions correctives comprend des données relatives audit état courant. Procédé de détection d’une anomalie selon l’une quelconque des revendications 7 à 8, comprenant en outre, lorsque l’état associé à l’anomalie est l’état prédit ( ) : la détermination d’au moins un service impacté par ladite anomalie et/ou la sévérité de ladite anomalie ; et dans lequel, en fonction du service impacté et/ou de la sévérité de ladite anomalie, ladite demande de détermination d’un jeu d’actions correctives comprend des données relatives audit état prédit. Procédé de détection d’une anomalie selon la revendication 10 dans lequel, la sévérité d’une anomalie étant fonction d’une norme euclidienne du vecteur représentatif de l’état associé à ladite anomalie, les données relatives audit état prédit sont transmises à destination du module de détermination (22) d’un jeu d’actions correctives lorsqu’une valeur de la norme euclidienne du vecteur représentatif de l’état prédit est supérieure ou égale à un seuil. Procédé de détection d’une anomalie selon la revendication 7 ou les revendications 10 ou 11, dans lequel, les données relatives audit état prédit°( ) sont transmises à destination du module de détermination (22) d’un jeu d’actions correctives lorsque le service impacté appartient à un groupe de services comprenant : des services de type eMBB ; des services de type uRLLC ; des services de type mMTC ; des services de type V2X ; et des services de type HMTC. Procédé de détection d’une anomalie selon l’une quelconque des revendications 6 à 12, dans lequel ladite valeur d’une récompense ( ) est inversement proportionnelle à la valeur de la norme euclidienne ( du vecteur représentatif dudit état de l’environnement. Procédé de détection d’une anomalie selon l’une quelconque des revendications 6 à 12, dans lequel ladite valeur d’une récompense ( ) décroit exponentiellement avec la valeur de la norme euclidienne du vecteur ( représentatif dudit état de l’environnement. Dispositif électronique configuré pour détecter une anomalie impactant un environnement informatique avec lequel il communique, le dispositif électronique comprenant au moins un processeur configuré pour : détecter une anomalie impactant l’environnement en fonction d’un état dudit environnement ; transmettre, à destination d’un module de détermination (22) d’un jeu d’actions correctives destinées à être mises en œuvre par l’environnement, une demande de détermination d’un jeu d’actions correctives comprenant des données relatives à l’état associé à ladite anomalie et une récompense dont la valeur est fonction d’une valeur représentative d’un vecteur représentatif dudit état associé à l’anomalie. Dispositif électronique configuré pour entrainer par apprentissage renforcé un module de détermination d’un jeu d’actions correctives destinées à être mises en œuvre par un environnement informatique suite à la détection d’une anomalie l’impactant, le procédé, mis en œuvre par un dispositif électronique, comprenant au moins un processeur configuré pour : déterminer, en fonction de données relatives à un état de l’environnement et d’une récompense dont la valeur est fonction d’une valeur représentative d’un vecteur représentatif dudit état de l’environnement, d’un jeu d’actions correctives offrant une valeur d’une récompense attendue la plus élevée. Système de gestion d’au moins une anomalie impactant un environnement informatique, le système comprenant : au moins un dispositif électronique configuré pour détecter une anomalie impactant ledit environnement selon la revendication 15 ; et au moins un dispositif électronique configuré pour entrainer par apprentissage renforcé un module de détermination d’un jeu d’actions correctives selon la revendication 16.