Brevet FR3164336A1 — publié le 20260109

Procédé de détermination d’au moins un chemin optimisé pour l’acheminement d’au moins un flux de données au sein d’un système autonome . L’invention se rapporte à un procédé de détermination d’au moins un chemin optimisé pour l’acheminement d’au moins un flux de données au sein d’un système autonome. Un tel procédé comprend : - une phase d’entrainement (11) de type apprentissage par renforcement, dans laquelle un agent (AG) est entrainé à déterminer au moins un chemin d’acheminement dudit au moins un flux de données au sein dudit système autonome, sur la base d’au moins un échange de données entre ledit agent (AG) et un environnement d’apprentissage par renforcement (ENV), en fonction d’au moins une donnée représentative d’une saturation ou d’un risque de saturation d’au moins un lien d’une pluralité de liens cibles compris sur au moins un chemin entre un point d’entrée et un point de sortie du système autonome ; - une phase d’inférence (12), dans laquelle ledit agent entrainé est utilisé pour délivrer ledit au moins un chemin optimisé. Figure d’abrégé : Figure 3 Procédé de détermination d’au moins un chemin optimisé pour l’acheminement d’au moins un flux de données au sein d’un système autonome. L’invention se situe dans le domaine de l’acheminement de flux de données au sein d’un réseau de communication. Plus particulièrement, l’invention se rapporte aux techniques visant à réduire ou éviter la survenue de phénomènes de saturation sur les liens empruntés pour acheminer le trafic au sein d’un système autonome d’un réseau de communication. Art antérieur Un réseau de communication étendu, tel que le réseau Internet par exemple, comprend généralement de nombreux systèmes autonomes. Un système autonome peut être défini comme un ensemble de sous-réseaux et de routeurs gérés par une même autorité administrative (par exemple un état, une organisation, une entreprise telle qu’un fournisseur d’accès à un service, etc.). Afin de maintenir l'accessibilité et la connectivité globale au sein du réseau étendu, notamment l’acheminement de flux de données de bout en bout, d’un équipement source à un équipement destinataire n’appartenant pas nécessairement au même système autonome, les différents systèmes autonomes du réseau de communication étendu sont interconnectés. Chaque système autonome décide par ailleurs localement, sur la base d’une politique de routage interne qui lui est propre, des meilleurs chemins à emprunter par les flux de données qui transitent en son sein. Aussi, un chemin emprunté par un flux de données dans un sens « aller », d’un premier équipement à un deuxième équipement du réseau, n’est généralement pas le même que celui qui sera emprunté par un flux de données dans un sens « retour », du deuxième équipement au premier équipement. Les chemins via lesquels les flux de données sont acheminés dans un réseau de communication étendu tel qu’Internet sont donc asymétriques, et un système autonome ne peut prédire par quels voisins ou points d’entrées un flux de données lui sera livré. La généralisation de la mise en cache de contenus au sein de réseaux de diffusion de contenus de plus en plus nombreux, afin par exemple que des utilisateurs puissent y accéder plus rapidement, exacerbe encore ce phénomène, en ce qu’elle conduit au développement de stratégies de livraison de contenus de plus en plus complexes et dynamiques. Une conséquence de la difficulté à estimer et anticiper la quantité de trafic à acheminer au sein d’un système autonome est le risque d’apparition de phénomènes de saturation intra-domaine, qui sont susceptibles d’être observés notamment lorsque la quantité de trafic acheminée sur un ou plusieurs liens à l’intérieur du système autonome devient trop proche, égale, ou supérieure à la capacité maximale du ou des liens considérés. S’ils perdurent dans le temps, de tels phénomènes de saturation peuvent être à l’origine de pertes de trafic (e.g. de perte de paquets IP, qui n’atteignent jamais l’équipement destinataire final) et d’une dégradation de la qualité du service, avec un effet particulièrement déceptif pour les utilisateurs. Une équipe de supervision qui constate de la saturation intra-domaine peut tenter de décharger le ou les liens saturés en réacheminant certains flux de données sur d’autres chemins au sein du système autonome, par exemple par le biais de chemins de contournement provisoires spécifiquement créés à cet effet. La détection des liens saturés, l’identification des flux de données acheminés via ces liens, la création d’éventuels chemins de contournement, l’analyse des effets d’un réacheminement du trafic via ces chemins de contournement, et la suppression des chemins de contournement une fois l’épisode de saturation terminé sont toutefois des tâches actuellement effectuées manuellement, qui sont chronophages, complexes et fastidieuses, et dont la mise en œuvre est à ce titre potentiellement sujette à de nombreuses erreurs. Il existe donc un besoin pour une solution permettant de se prémunir plus efficacement des risques de saturation de liens d’acheminement de trafic au sein d’un système autonome. La présente technique permet de proposer une solution visant à remédier à certains inconvénients de l’art antérieur. Selon un aspect, la présente technique se rapporte en effet à un procédé de détermination d’au moins un chemin optimisé pour l’acheminement d’au moins un flux de données au sein d’un système autonome. Plus particulièrement, un tel procédé comprend : - une phase d’entrainement de type apprentissage par renforcement, dans laquelle au moins un agent est entrainé à déterminer au moins un chemin d’acheminement dudit au moins un flux de données au sein dudit système autonome, sur la base d’au moins un échange de données entre ledit au moins un agent et un environnement d’apprentissage par renforcement, en fonction d’au moins une donnée représentative d’une saturation ou d’un risque de saturation d’au moins un lien d’une pluralité de liens cibles compris sur au moins un chemin entre un point d’entrée et un point de sortie du système autonome ; - une phase d’inférence, dans laquelle ledit au moins un agent entrainé est utilisé pour délivrer ledit au moins un chemin optimisé. De cette manière, la présente technique propose une solution astucieuse reposant sur des techniques d’apprentissage par renforcement pour déterminer des chemins optimisés pour l’acheminement de flux de données au sein d’un système autonome. Ainsi, un ajustement en temps-réel ou quasi-temps-réel des chemins utilisés pour acheminer tout ou partie des flux de données en transit dans le système autonome peut être opéré, qui permet d’éviter ou à tout le moins de réduire la survenue de phénomènes de saturation, et donc d’offrir plus de garanties en termes de qualité de service. Dans un mode de réalisation particulier, ledit au moins un échange de données comprend : - l’exécution, par ledit au moins un agent, d’au moins une action sur ledit environnement d’apprentissage, déterminée en fonction de données d’état courantes comprenant des données représentatives d’un état de charge courant desdits liens cibles et des données représentatives d’un état de saturation courant desdits liens cibles, ladite action étant associée à au moins un chemin d’acheminement courant d’au moins un flux de données cible au sein dudit système autonome ; - l’obtention, par ledit au moins un agent, en réponse à ladite exécution, de données d’état actualisées et de données de récompense en provenance dudit environnement d’apprentissage. De cette manière, la technique proposée permet, selon une approche de type essai-et-erreur, d’explorer et tester, sans impact opérationnel, l’acheminement de flux de données cibles via différents chemins, voire la création de chemins de contournement spécifiques pour un tel acheminement, en fonction de données d’observation d’un environnement d'apprentissage. Ainsi, un agent est en mesure d’apprendre, avant son déploiement en production, à identifier des chemins d’acheminement optimaux de flux de données au sein d’un système autonome, qui minimisent les phénomènes de saturation. Dans un mode de réalisation particulier, la détermination de ladite action exécutée sur l’environnement d’apprentissage tient compte, en plus desdites données d’état courantes, de données d’état précédentes, comprenant des données représentatives d’un état de charge précédent desdits liens cibles et des données représentatives d’un état de saturation précédent desdits liens cibles. De cette manière, l’agent dispose d’informations supplémentaires sur la base desquelles déterminer une action à exécuter sur l’environnement d'apprentissage. En particulier, l’agent ayant ainsi accès, en complément d’une observation à un instant courant, à une observation à un instant précédent l’instant courant, il a la capacité d’évaluer des évolutions ou des tendances telles que des montées en charge importantes de certains liens par exemple, ce qui lui permet notamment d’anticiper des risques de saturations avant que de telles saturations ne deviennent avérées. Selon une caractéristique particulière, lesdites données représentatives d’un état de charge précédent desdits liens cibles et lesdites données représentatives d’un état de charge courant desdits liens cibles prennent chacune la forme d’une matrice, une dimension parmi lignes et colonnes de ladite matrice étant associée auxdits liens cibles, l’autre dimension parmi lignes et colonnes de ladite matrice étant associée auxdits flux cibles, chaque coefficient de ladite matrice étant associé à la fois à un desdits liens cibles et un desdits flux de données cibles, et ayant pour valeur un taux de charge dudit lien cible dû audit flux de données cible. Selon une caractéristique particulière, lesdites données représentatives d’un état de saturation précédent desdits liens cibles et lesdites données représentatives d’un état de saturation courant desdits liens cibles prennent chacune la forme d’un vecteur, chaque composante dudit vecteur étant associée à un desdits liens cibles et ayant pour valeur une première valeur représentative d’une absence de saturation dudit lien cible ou une deuxième valeur représentative d’une saturation dudit lien cible. De cette manière, on dispose d’une représentation mathématique simple mais néanmoins exhaustive des observations effectuées sur l’environnement d'apprentissage, sous la forme de matrices et/ou vecteurs facilement manipulables au sein d’un modèle d’apprentissage. Par ailleurs, le fait de disposer d’une variable propre pour indiquer si un lien est saturé ou pas (i.e. l’état de saturation), différente de celle utilisée pour définir le taux de charge du lien (i.e. l’état de charge), offre une grande souplesse dans la mise en œuvre du procédé selon la présente technique, en permettant par exemple à un administrateur du système autonome de définir dans quelles conditions et sur la base de quels critères un lien est considéré comme saturé ou non, ces critères pouvant notamment ainsi aller au-delà de la simple prise en compte d’un taux de charge important du lien. Dans un mode de réalisation particulier, ladite d’action associée à au moins un chemin d’acheminement courant d’au moins un flux de données cible est sélectionnée parmi : - un maintien dudit chemin d’acheminement courant dudit flux de données cible ; ou - une modification dudit chemin d’acheminement courant dudit flux de données cible. De cette manière, un chemin d’acheminement courant d’un flux de données cible n’est pas nécessairement modifié, si l’agent détermine sur la base des observations de l’environnement d'apprentissage obtenues qu’une modification du chemin d’acheminement courant de ce flux de données n’a que peu ou pas d’impact sur la survenue de phénomènes de saturation au sein du système autonome. Selon une caractéristique particulière, ladite modification du chemin d’acheminement courant dudit flux de données cible comprend, lorsque ledit chemin d’acheminement courant correspond à un chemin établi selon un protocole de routage en vigueur au sein dudit système autonome, la création en marge dudit protocole de routage d’un chemin de contournement entre un point d’entrée et un point de sortie dudit chemin d’acheminement courant, et le réacheminent dudit flux de données cible sur ledit chemin de contournement. De cette manière, la technique proposée permet dans certaines situations de passer outre le protocole de routage en vigueur au sein du système autonome, en autorisant la création de chemins de contournements (ou tunnels) hors protocole, par exemple lorsqu’il est déterminé qu’un chemin d’acheminement courant établi selon le protocole de routage classique n’est pas optimal dans l’objectif d’éviter la survenue de phénomènes de saturation au sein du système autonome. Selon une caractéristique particulière, ladite modification du chemin d’acheminement courant dudit flux de données cible comprend, lorsque ledit chemin d’acheminement courant correspond à un chemin de contournement défini en marge d’un protocole de routage en vigueur au sein dudit système autonome, la suppression dudit chemin de contournement, et le réacheminement dudit flux de données cible selon un chemin défini selon ledit protocole de routage. De cette manière, un chemin de contournement (ou tunnel) précédemment créé en marge du protocole de routage en vigueur au sein du système autonome peut être supprimé de manière automatique lorsqu’il ne constitue pas ou plus un chemin optimal permettant d’éviter ou de limiter la survenue de phénomènes de saturation au sein du système autonome, ce qui permet de libérer les ressources informatiques utilisées pour le maintien de ce chemin de contournement. De cette manière, on rebascule sur des modalités usuelles pour l’acheminement du flux de données, conformes au protocole de routage en vigueur au sein du système autonome, ce qui permet de réduire le nombre d’opérations gérées en marge d’une configuration classique du système autonome, dont la mise en œuvre est potentiellement source d’erreurs et coûteuse en termes de puissance de calcul mobilisée. Dans un mode de réalisation particulier, lesdites données de récompenses sont déterminées en fonction d’un nombre courant de liens saturés au sein dudit système autonome. De cette manière, on dispose d’une métrique simple pour évaluer dans quelle mesure un système autonome est impacté par des phénomènes de saturation susceptibles d’entrainer des dégradations de qualité de services. Selon une caractéristique particulière, lesdites données de récompenses sont en outre déterminées en fonction d’un nombre courant de chemins de contournements utilisés pour acheminer ledit au moins flux de données au sein dudit système autonome. De cette manière, le coût à maintenir des chemins de contournement ou tunnels pour l’acheminement de flux de données au sein du système autonome est également pris en compte pour la détermination des chemins optimisés selon la présente technique. Selon un autre aspect, la présente technique se rapporte à un dispositif électronique de détermination d’au moins un chemin optimisé pour l’acheminement d’au moins un flux de données au sein d’un système autonome. Un tel dispositif comprend des moyens (par exemple au moins un processeur configuré à cette fin) pour la mise en œuvre : - d’une phase d’entrainement de type apprentissage par renforcement, dans laquelle au moins un agent est entrainé à déterminer au moins un chemin d’acheminement dudit au moins un flux de données au sein dudit système autonome, sur la base d’au moins un échange de données entre ledit au moins un agent et un environnement d’apprentissage par renforcement, en fonction d’au moins une donnée représentative d’une saturation ou d’un risque de saturation d’au moins un lien d’une pluralité de liens cibles compris sur au moins un chemin entre un point d’entrée et un point de sortie du système autonome ; - d’une phase d’inférence, dans laquelle ledit au moins un agent entrainé est utilisé pour délivrer ledit au moins un chemin optimisé. Un tel dispositif électronique peut bien sûr présenter les différentes caractéristiques relatives au procédé de détermination selon l’invention, qui peuvent être combinées ou considérées isolément. Ainsi, les caractéristiques et avantages de ce dispositif sont les mêmes que ceux du procédé de détermination d’au moins un chemin optimisé pour l’acheminement d’au moins un flux de données au sein d’un système autonome, et ne sont pas détaillés plus amplement. Selon un autre aspect, la technique proposée se rapporte également à un produit programme d'ordinateur téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, comprenant des instructions de code de programme pour l’exécution d'un procédé de détermination d’au moins un chemin optimisé tel que décrit précédemment dans l’un quelconque de ses modes de réalisation, lorsqu’il est exécuté sur un ordinateur. La technique proposée vise également un support d’enregistrement lisible par un ordinateur sur lequel est enregistré un programme d’ordinateur comprenant des instructions de code de programme pour l’exécution des étapes du procédé tel que décrit précédemment, dans l’un quelconque de ses modes de réalisation. Un tel support d'enregistrement peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple une clé USB ou un disque dur. D'autre part, un tel support d'enregistrement peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens, de sorte que le programme d’ordinateur qu’il contient est exécutable à distance. Le programme selon l'invention peut être en particulier téléchargé sur un réseau, par exemple le réseau Internet. Les différents modes de réalisation mentionnés ci-dessus sont combinables entre eux pour la mise en œuvre de l'invention. Figures D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante d’un mode de réalisation préférentiel, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels : FIG. 1 présente un exemple de système autonome au sein duquel la présente technique peut être mise en œuvre, dans un mode de réalisation particulier de la technique proposée ; FIG. 2 présente un exemple de système autonome présentant de la saturation intra-domaine ; FIG. 3 illustre le principe général d’un procédé de détermination d’au moins un chemin optimisé pour l’acheminement d’au moins un flux de données au sein d’un système autonome, dans un mode de réalisation particulier de la technique proposée ; FIG. 4 présente les échanges de données réalisés entre un agent et un environnement d’apprentissage par renforcement pour un entrainement dudit agent, dans un mode de réalisation particulier de la technique proposée ; FIG. 5 présente un exemple de représentation d’un état de charge de liens cibles au sein d’un système autonome, dans un mode de réalisation particulier de la technique proposée ; FIG. 6 présente un exemple de représentation d’un état de saturation de liens cibles au sein d’un système autonome, dans un mode de réalisation particulier de la technique proposée ; FIG. 7 présente un exemple de système autonome après mise en œuvre d’un procédé de détermination d’au moins un chemin optimisé, dans un mode de réalisation particulier de la technique proposée ; FIG. 8 décrit une architecture simplifiée d’un dispositif électronique pour la mise en œuvre de la technique proposée, dans un mode de réalisation particulier. Description détaillée de l’invention La présente demande permet de remédier à au moins certains des inconvénients précités. Sur toutes les figures du présent document, les éléments et étapes de même nature sont désignés par une même référence. Selon un premier aspect, la présente technique se rapporte à un procédé de détermination d’au moins un chemin optimisé pour l’acheminement d’au moins un flux de données au sein d’un système autonome mis en œuvre dans un réseau de communication. On décrit à titre illustratif, en relation avec la FIG. 1 , un exemple de système autonome SA au sein duquel la présente technique peut être mise en œuvre. Un tel système autonome SA comprend une pluralité d’équipements, typiquement des routeurs (neuf routeurs R1 à R9 dans l’exemple de la FIG. 1 ), en charge d’acheminer le trafic au sein du système. Ces routeurs comprennent des routeurs de bordure (les routeurs R1, R2, R3, R5 et R9 dans l’exemple de la FIG. 1 ) via lesquels du trafic en provenance ou à destination d’autres systèmes autonomes (ou d’autres entités du réseau de communication) entre ou sort du système autonome SA. Les flux de données sont acheminés au sein du système autonome SA via des chemins définis par un protocole de routage implémenté au sein de chaque routeur du système. Par exemple, un flux de données f1 entre dans le système autonome SA au niveau d’un point d’entrée formé par le routeur R1, puis est transmis successivement de proche en proche du routeur R1 au routeur R2, du routeur R2 au routeur R5, du routeur R5 au routeur R9, ce dernier routeur R9 faisant office de point de sortie dirigeant le flux de données f1 vers une autre entité du réseau de communication (e.g. un autre système autonome). Le chemin d’acheminement R1-R2-R5-R9 du flux de données f1, matérialisé par des flèches sur la FIG. 1 , est ainsi formé d’un ensemble de liens (le lien R1-R2, le lien R2-R5, le lien R5-R9) empruntés successivement, du point d’entrée R1 du système autonome SA au point de sortie R9 du système autonome. À chaque instant, le système autonome SA est ainsi potentiellement parcouru par une pluralité de flux de données acheminés chacun d’un point d’entrée à un point de sortie du système, via un chemin d’acheminement défini selon le protocole de routage implémenté au niveau des routeurs du système autonome, chaque chemin étant formé d’une succession de liens entre routeurs ou autres équipements du système autonome. Comme illustré sur la FIG. 2 , l’acheminement de multiples flux de données au sein du système autonome SA fait que certains liens du système autonome sont plus chargés que d’autres sur certaines plages temporelles, par exemple parce qu’ils sont empruntés simultanément par plusieurs flux de données (à des fins de clarté, seul un flux de données f1 est référencé sur la FIG. 2 , mais il est entendu que d’autres flux de données non illustrés sur cette figure sont potentiellement acheminés en même temps que le flux f1 dans le système autonome SA). Par exemple, avec une représentation selon la FIG. 2 , dans laquelle l’épaisseur d’un trait associé à un lien est représentative d’un taux de charge du lien (autrement dit plus le trait est épais, plus le lien est chargé), on constate par exemple que le lien R8-R7 est plus chargé que le lien R7-R9, qui lui-même est plus chargé que le lien R5-R6. Dans un cas critique, lorsque le taux de charge d’un lien devient trop important, c’est-à-dire trop proche, égal voire supérieur à la capacité maximale du lien, des phénomènes de saturation, définis ultérieurement dans le cadre du présent document, peuvent survenir. Dans l’exemple de la FIG. 2 , un tel phénomène de saturation, est ainsi constaté sur le lien R2-R5, où il est illustré sous la forme d’un lien de très grande épaisseur présentant des hachures. La saturation de ce lien a pour conséquence des perturbations dans l’acheminement des flux de données qui l’empruntent, tel que le flux de données f1 par exemple (perte de paquets, dégradation du service, etc.). Lorsqu’une apparition ou un risque d’apparition de tels phénomènes de saturation sont détectés, un objectif de la présente technique est donc de déterminer, pour au moins certains flux de données cibles acheminés dans le système autonome, des chemins dit « optimisés », en ce qu’ils permettent, via le réacheminement des flux de données cibles sur leurs chemins optimisés respectifs, de minimiser ces phénomènes de saturation sur au moins certains liens cibles du système autonome (par exemple en supprimant ces phénomènes, en les réduisant, ou encore en limitant leur durée dans le temps). Le principe général du procédé proposé de détermination d’au moins un chemin optimisé pour l’acheminement d’au moins un flux de données au sein d’un système autonome est maintenant illustré en relation avec la FIG. 3 , dans un mode de réalisation particulier. Ce procédé est par exemple mis en œuvre au sein d’un dispositif électronique décrit ultérieurement dans le présent document. Dans une étape 31, une phase d’entrainement de type apprentissage par renforcement est mise en œuvre, au moyen d’un environnement d’apprentissage par renforcement préalablement instancié et configuré. Plus particulièrement, l’environnement d'apprentissage est configuré en fonction de données collectées sur le système autonome objet du procédé selon la présente technique, ces données collectées comprenant notamment de nombreuses données relatives à la topologie, à la configuration, et à l’utilisation du système autonome, telles que par exemple le nombre de routeurs présents dans le système autonome, le nombre de liens définis, la capacité de ces liens, le protocole de routage en vigueur au sein du système autonome, le profil des flux de données transitant dans le système autonome, etc. De telles données peuvent par exemple, pour tout ou partie, être saisies par un opérateur humain au moyen d’une interface homme-machine mise à disposition par le dispositif électronique en charge d’implémenter le procédé de détermination de chemin optimisé selon la présente, ou encore être obtenues de manière automatique auprès de diverses sources de données via un réseau de communication auquel le dispositif électronique est connecté. Ainsi, l’environnement d'apprentissage forme un environnement de simulation aussi proche que possible du système autonome tel que déployé en production. Par exemple, l’environnement d'apprentissage peut être implémenté sous la forme d’un jumeau numérique du système autonome cible. Durant la phase d’entrainement 31, au moins un agent (instancié par exemple par le dispositif électronique en charge de mettre en œuvre le procédé) est entrainé à déterminer des chemins à emprunter par au moins un flux de données pour traverser le système autonome d’un point d’entrée à un point de sortie associés au flux de données considéré, tout en respectant des contraintes préalablement fixées. Plus particulièrement, les chemins d’acheminement de flux de données au sein du système autonome sont déterminés en tenant compte d’au moins une donnée représentative d’une saturation ou d’un risque de saturation d’au moins un lien parmi une pluralité de liens cibles existants dans le système autonome. Comme décrit ultérieurement, ces liens cibles peuvent comprendre tous les liens du système autonome, ou seulement une partie des liens du système autonome qu’un administrateur du système autonome souhaite plus particulièrement protéger (i.e. préserver autant que possible de tout risque de saturation). Durant cette phase d’entrainement par apprentissage par renforcement, selon une approche de type essai-et-erreur, de multiples itérations d’échanges de données sont réalisées entre l’agent et l’environnement d’apprentissage, dans une perspective de large exploration des résultats obtenus en réponse à différentes actions ou enchainements d’actions détaillés ultérieurement. Chacun de ces échanges comprend, selon le vocabulaire usuel en matière d’apprentissage par renforcement et comme illustré en relation avec la FIG. 4 : - l’exécution, par un agent AG, d’au moins une action ACT sur l’environnement d’apprentissage ENV, en fonction de données d’état courantes D_ETA c ; - la réception, par l’agent AG, en réponse à l’exécution desdites actions ACT, de données d’état actualisées (ou données d’état suivantes) D_ETA S et de données de récompense D_REC en provenance de l’environnement d’apprentissage ENV. Les données d’état D_ETA peuvent être assimilées à des observations de l’environnement d'apprentissage ENV. Ainsi, les données d’état courantes D_ETA c sont représentatives d’un état courant de l’environnement d’apprentissage par renforcement ENV, et les données d’état actualisées D_ETA S sont représentatives d’un nouvel état de l’environnement d’apprentissage par renforcement ENV suite à l’exécution des actions ACT sur cet environnement. Comme illustré sur la FIG. 4 , les données d’état actualisées D_ETA S deviennent les données d’état courantes D_ETA c pour l’itération suivante d’un échange de données tel que précédemment décrit. Les données de récompense D_REC sont représentatives d’une ou plusieurs métriques d’efficacité des actions ACT effectuée sur l’environnement ENV, au regard de l’objectif visé. Plus particulièrement, les actions successives exécutées sur l’environnement d'apprentissage sont déterminées par un algorithme de renforcement, de manière à tendre à maximiser au cours du temps les données de récompense D_REC reçues en réponse à ces actions. Dans le cadre de la présente technique, l’objectif visé est d’éviter que des phénomènes de saturation se produisent (ou à tout le moins limiter de tels phénomènes) sur un ou plusieurs liens cibles, et/ou en relation avec un ou plusieurs flux de données cibles, au sein du système autonome. Les liens cibles peuvent comprendre l’ensemble des liens existants au sein du système autonome, ou au contraire seulement une partie de ces liens, préalablement identifiés comme étant à surveiller et sur lesquels un administrateur du système autonome a par exemple un intérêt particulier à se prémunir de tout phénomène de saturation. Selon une approche similaire, les flux de données cibles peuvent comprendre l’ensemble des flux de données acheminés au sein du système autonome, ou au contraire seulement une partie de ces flux de données, préalablement identifiés comme étant à surveiller et pour lesquels un administrateur du système autonome a par exemple un intérêt particulier à se prémunir de tout phénomène de saturation. Les données d’état D_ETA permettent à l’agent AG d’obtenir une vue au moins partielle (i.e. une « observation ») de l’état de l’environnement d'apprentissage ENV, avant et après exécution d'une action ACT sur cet environnement. Dans un mode de réalisation particulier de la présente technique, ces données d’état D_ETA comprennent des données représentatives d’un état de charge des liens cibles et des données représentatives d’un état de saturation des liens cibles. L’état de charge d’un lien correspond à un taux de charge (ou taux d’occupation) du lien. Typiquement une telle variable peut être normalisée de manière à prendre des valeurs comprises entre 0 et 1 (ou entre 0% et 100%), un taux de charge à 0% indiquant qu’aucun flux de données ne transite sur le lien, et un taux de charge à 100% indiquant que l’intégralité de la bande passante du lien (i.e. la totalité de la capacité du lien) est utilisée pour acheminer des flux de données. Selon une caractéristique particulière, l’état de charge d’un lien peut être décliné par flux de données, fournissant ainsi une vue, pour le lien considéré, de la contribution de chaque flux de données empruntant ce lien au taux de charge total du lien. Il peut ainsi être déterminé, par exemple, pour un lien L 1 emprunté par trois flux de données F 1 , F 2 et F 3 à un instant courant, que le flux de données F 1 est responsable de 60% de la charge courante du lien L 1 , que le flux de données F 2 est responsable de 12% de la charge courante du lien L 1 , et que le flux de données F 3 est responsable de 17% de la charge courante du lien L 1 , résultant ainsi en un taux de charge courant total du lien L 1 de 89%. Comme illustré sur la FIG. 5 , les états de charge des liens cibles du système autonome à un instant courant peuvent être représentés sous une forme matricielle. Plus particulièrement, chaque ligne de la matrice est associée à un lien particulier parmi n liens cibles (L 1 , L 2 , L 3 , …, L n ), chaque colonne de la matrice est associée à un flux de données particulier parmi m flux de données cibles (F 1 , F 2 , F 3 , F 4 , …, F m ), la valeur de la matrice à l’intersection d’une ligne et d’une colonne correspondant à la part du taux de charge du lien considéré due au flux de données considéré (exprimé en pourcentage dans l’exemple de la FIG. 5 ). L’état de saturation d’un lien est une donnée définissant si le lien est considéré comme saturé ou non, au regard de critères prédéfinis. L’état de saturation d’un lien est par exemple représenté par un booléen, une première valeur du booléen (e.g. la valeur « 0 » ou la valeur « faux ») étant représentative d’une absence de saturation du lien considéré, et une deuxième valeur du booléen (e.g. la valeur « 1 » ou la valeur « vraie ») étant représentative d’une saturation du lien considéré. Bien qu’elle découle généralement directement de l’état de charge d’un lien, il est particulièrement intéressant, comme proposé dans la présente technique, de recourir à une variable différente de l’état de charge – en l’espèce l’état de saturation – pour définir si un lien est saturé ou pas : ainsi, la saturation peut être évaluée de différente manière (par exemple selon des critères particuliers choisis par l’administrateur du système autonome), ce qui offre une certaine souplesse dans la mise en œuvre du procédé selon la présente technique. Selon diverses caractéristiques particulières alternatives, un lien peut par exemple être considéré comme saturé lorsque que le taux de charge total du lien est supérieur à un certain seuil (par exemple, supérieur à 70%, 80%, 90% ou 95% de charge), ou encore lorsque des délais de propagation sur le lien deviennent supérieurs (e.g. en moyenne) à un certain seuil, ou encore sur la base d’une analyse de toute autre métrique pertinente au regard d’une politique d’ingénierie de trafic souhaitée par l’administrateur du système autonome. Comme illustré sur la FIG. 6 , les états de saturation des liens cibles du système autonome à un instant courant peuvent être représentés sous une forme vectorielle, chaque composante du vecteur étant associée à un lien particulier des liens cibles, une valeur 0 indiquant que le lien considéré n’est pas saturé (cas des liens L 2 et L n de la FIG. 6 ) et une valeur 1 indiquant au contraire que le lien considéré est effectivement saturé (cas des liens L 1 et L 3 de la FIG. 6 ). À partir d’une observation courante, c’est-à-dire de données d'états courante D_ETA c comprenant des données représentatives d’un état de charge courant des liens cibles et des données représentatives d’un état de saturation courant des liens cibles (prenant par exemple respectivement la forme d’une matrice selon la FIG. 5 et d’un vecteur selon la FIG. 6 ), l’agent AG détermine au moins une action ACT à exécuter sur l’environnement d'apprentissage ENV, une action étant associée à un chemin d’acheminement courant d’un flux de données cible au sein du système autonome. Plus particulièrement, l’action déterminée est sélectionnée parmi : - un maintien du chemin d’acheminement courant du flux de données cible ; ou - une modification du chemin d’acheminement courant du flux de données cible. Lorsque l’action déterminée correspond à un maintien du chemin d’acheminement courant du flux de données cible, ce chemin d’acheminement ne doit pas être modifié. L’agent AG transmet alors des instructions en ce sens à l’environnement d'apprentissage ENV, ou à tout le moins ne transmet aucune instruction de modification du chemin d’acheminement courant (une telle absence d’instructions étant alors en soi caractéristique d’une action de maintien du chemin d’acheminement courant). Lorsque l’action déterminée correspond à une modification du chemin d’acheminement courant du flux de données cible, deux principaux cas peuvent se présenter. Selon un premier cas, le chemin d’acheminement courant correspond à un chemin établi selon le protocole de routage en vigueur au sein du système autonome, tel que déployé et mis en œuvre au sein des différents routeurs du système autonome. La modification du chemin d’acheminement courant du flux de données cible comprend alors la création en marge de ce protocole de routage, d’un chemin de contournement (ou tunnel) entre un point d’entrée et un point de sortie dudit chemin d’acheminement courant, et le réacheminent dudit flux de données cible sur ledit chemin de contournement. Selon un deuxième cas, le chemin d’acheminement courant correspond à un chemin de contournement défini en marge d’un protocole de routage en vigueur au sein du système autonome. La modification du chemin d’acheminement courant du flux de données cible comprend alors la suppression de ce chemin de contournement précédemment établi. Plus particulièrement, une telle suppression entraine le réacheminement du flux de données cible selon un chemin défini selon ledit protocole de routage, tel que déployé et mis en œuvre au sein des différents routeurs du système autonome. L’exécution, par l’agent AG, des actions déterminées conduit à un nouvel état de l’environnement d'apprentissage ENV, associé à des données d'états actualisées D_ETA s comprenant des données représentatives d’un état de charge actualisé des liens cibles et des données représentatives d’un état de saturation actualisé des liens cibles (prenant par exemple respectivement la forme d’une matrice selon la FIG. 5 et d’un vecteur selon la FIG. 6 ). De manière optionnelle, dans un mode de réalisation particulier, comme illustré en relation avec la FIG. 4 , la détermination par l’agent des actions à exécuter sur l’environnement d’apprentissage tient compte, en plus des données d’état courantes D_ETA c , de données d’état dites précédentes D_ETA p . De telles données d’état précédentes D_ETA p correspondent aux données utilisées en tant que donnée d’état courante lors d’une itération précédente (par exemple lors de l’itération immédiatement précédente) des échanges de données réalisées entre l’agent et l’environnement d’apprentissage, ces données ayant par exemple été stockées dans une mémoire du dispositif en charge de mettre en œuvre le procédé selon la présente technique. Les données d’état précédentes D_ETA p comprennent par exemple des données représentatives d’un état de charge précédent des liens cibles et des données représentatives d’un état de saturation précédent des liens cibles (prenant par exemple respectivement la forme d’une matrice selon la FIG. 5 et d’un vecteur selon la FIG. 6 ). Un tel mode de réalisation est intéressant en ce qu’il permet à l’agent AG de disposer de deux observations (une observation précédente représentée par les données d’état précédentes D_ETA p et une observation courante représentée par les données d’état courant D_ETA c ) correspondant à deux états successifs du système autonome, c’est-à-dire d’avoir accès à des données lui permettant d’évaluer une évolution du système autonome. Ainsi, l’agent est en mesure notamment d’apprendre plus efficacement à détecter un risque de saturation future d’un lien cible, avant même qu’une telle saturation ne survienne, sur la base par exemple d’un taux de charge significativement croissant observé sur le lien en question, entre l’observation précédente et l’observation courante du système autonome. En complément et sur la base des données d'états actualisées D_ETA s obtenues en réponse à l’exécution d’au moins une action ACT sur l’environnement ENV, des données de récompense (« reward » en anglais) D_REC sont calculées. Ces données de récompense prennent typiquement la forme d’une simple valeur numérique r , typiquement un nombre réel, dont la valeur est directement corrélée au nombre de liens encore saturés dans le système autonome, après mise en œuvre des actions ACT. Par exemple la valeur r peut être définie selon la formule r = -w1r1 , avec r1 le nombre de liens saturés, et w1 un poids positif. Ainsi, plus le nombre de liens saturés est important, plus la valeur de la récompense r est faible. Selon une caractéristique particulière, la valeur r peut de manière alternative être le résultat d’une somme r = -w1r1 - w2r2 dans laquelle, outre le nombre r1 de liens saturés, le nombre r2 de chemins de contournement encore existants après mise en œuvre de l’action ACT est également pris en compte. En effet, la création et le maintien d’un chemin de contournement sont des opérations qui ont un coût en termes de calcul, aussi il apparaît légitime de chercher à minimiser le nombre de chemins de contournement présents dans le système autonome. Les poids positifs w1 et w2 permettent alors de pondérer l’importance relative donnée respectivement au nombre de liens saturés r1 ou au nombre de chemins de contournement encore existants r2 dans le calcul de la récompense. De cette manière, l’agent va chercher durant l’apprentissage à maximiser ses récompenses futures, apprenant ainsi une politique (i.e. une fonction qui indique quelle action entreprendre étant donné un état observé de l’environnement) visant à minimiser conjointement la saturation intra-domaine et le nombre de chemins de contournement dans le système autonome. Ainsi, à la fin de la phase d’apprentissage 31, au moins un agent a été entrainé sur un grand nombre d’essais – en d'autres termes, les poids d’un modèle associé à l’agent ont été progressivement ajustés au cours des essais – de manière à ce que l’agent soit en mesure de déterminer des chemins optimaux selon un critère d’optimisation pour acheminer des flux de données au sein du système autonome tout en respectant certaines contraintes. À l’issue de la phase d’entrainement 31, une phase d’inférence 32 est mise en œuvre, dans laquelle au moins un agent entrainé en phase d’entrainement est déployé en production, et utilisé pour déterminer et délivrer des chemins optimisés à emprunter par les flux de données transitant au sein du système autonome SA, afin notamment de minimiser les phénomènes de saturation sur tout ou partie des liens existants dans ce système (et, éventuellement, de minimiser également autant que possible le nombre de chemins de contournement existants dans le système autonome). En d’autres termes, durant cette phase d’inférence 32, l’agent sélectionne pour chaque flux de données cible, grâce à son entrainement préalable, les actions déterminées comme étant les plus appropriées dans cet objectif, parmi le maintien du chemin d’acheminement courant du flux de données cible, la création d’un chemin de contournement pour le réacheminement du flux de données cible, ou encore la suppression d’un chemin de contournement actuellement emprunté par le flux de données cible de manière à ce que celui-ci soit réacheminé sur un chemin défini par le protocole de routage en vigueur au sein du système autonome. La FIG. 7 illustre un exemple de résultat de la mise en œuvre de la technique proposée sur un système autonome SA dans une situation initiale selon la FIG. 2 précédemment présentée. Plus particulièrement, comme visible sur la FIG. 7 , le flux de données f1 initialement acheminé sur le chemin R1-R2-R5-R9 est réacheminé sur un chemin optimisé de contournement R1-R2-R6-R9 spécifiquement créé à cet effet sur instructions de l’agent, de manière à éviter le phénomène de saturation initialement observé sur le lien R2-R5. Dans des modes de réalisation particuliers, diverses approches présentées ci-après peuvent être adoptées, de manière optionnelle et éventuellement complémentaire, afin par exemple de rendre plus performant et/ou plus robuste le procédé de détermination d’au moins un chemin optimisé pour l’acheminement d’au moins un flux de données selon la présente technique. Plus particulièrement, diverses techniques de configuration du modèle d’apprentissage et/ou de la manière dont il est entrainé peuvent être utilisées. À titre illustratif et non limitatif, un tel modèle d’apprentissage peut notamment être un modèle de type DQN (de l’anglais « Deep Q-Network »). Selon une première approche, il est possible d’intégrer au modèle la prise en compte d’un facteur d'actualisation γ, compris entre 0 et 1, permettant de contrôler à quel point le modèle s’intéresse aux récompenses lointaines dans le futur. Selon une caractéristique particulière, dans le cas présent, le facteur d'actualisation γ est positionné à une valeur faible, par exemple γ = 0.1, afin que le modèle se concentre sur le futur immédiat, c’est-à-dire sur un gain relativement immédiat. Une telle configuration est en effet bien appropriée dans le cadre de la présente technique, dans la mesure où les actions exécutées par l’agent sont associées à des opérations de maintien ou à de modification de chemins d’acheminement courants de flux de données qui ont donc un impact immédiat sur le taux de charge et in fine sur la saturation des liens cibles du système autonome. Selon une deuxième approche, une stratégie de type Epsilon-Greedy peut être mise en œuvre, afin de garantir un juste équilibre entre exploration et exploitation. Il s’agit par exemple d’éviter que l’agent se contente de toujours sélectionner les actions associées à une récompense cumulée future élevée sans jamais tenter de découvrir de nouveaux enchainements d’actions qui pourraient pourtant potentiellement s’avérer meilleurs vis-à-vis de l’objectif final (e.g. minimiser la survenue de phénomène de saturation sur certains liens). Il est ainsi proposé d’intégrer au modèle la prise en compte d’un facteur d'exploration ε, compris entre 0 et 1, permettant de contrôler la proportion d’exploration et la proportion d’exploitation à mettre en œuvre au cours de la phase d’apprentissage. Selon une caractéristique particulière, dans le cas présent, le facteur d'exploration ε est initialisé à ε = 1 en tout début d’apprentissage, et configuré pour décroitre, par exemple linéairement, jusqu’à ε = 0.1 en fin d’apprentissage. De cette manière, l’agent sélectionne une action à exécuter aléatoirement ou quasi-aléatoirement en début de phase d’apprentissage, puis, à mesure que l’apprentissage progresse sélectionne graduellement plutôt les actions associées à une récompense cumulée future élevée. En d'autres termes, l’apprentissage évolue progressivement d’une stratégie initiale d’exploration pure à une stratégie finale d’exploitation pure. Selon une troisième approche, des techniques d’expériences mémorisées (ou « Replay Memory », en anglais) sont mises en œuvre. Il s’agit plus particulièrement de stocker les « expériences » passées de l’agent – une expérience correspondant à un ensemble de données associées comprenant des données d’état courantes (i.e. une observation à l’instant t), une action sélectionnée sur la base de cette observation, et des données de récompense et des données d’état suivantes (i.e. une observation à l’instant t+1) obtenues en réponse à cette action – et de les utiliser de manière aléatoire en phase d’apprentissage, avec l’objectif de rompre la corrélation entre des expériences d’apprentissage consécutives. Selon une caractéristique particulière, dans le cadre de la présente technique, une mémoire permettant le stockage de 1000 expériences passées est utilisée. Selon une quatrième approche, des techniques reposant sur l’utilisation d’un réseau cible (ou « Target Network », en anglais) en plus du réseau apprenant sont mises en œuvre. Plus particulièrement, le réseau cible est une copie décalée dans le temps du réseau apprenant, dont les poids sont ainsi figés périodiquement et en retard sur ceux du réseau apprenant, avec l’objectif de stabiliser l’apprentissage. Selon une caractéristique particulière, dans le cadre de la présente technique, une fréquence de mise à jour du réseau cible toutes les 100 étapes est adoptée. Selon un autre aspect, la technique proposée se rapporte également à un dispositif de détermination d’au moins un chemin optimisé pour l’acheminement d’au moins un flux de données au sein d’un système autonome. Un tel dispositif électronique est apte à réaliser le procédé précédemment décrit dans l’un quelconque de ses modes de réalisation. Plus particulièrement, un tel dispositif selon la présente technique comprend, dans un mode de réalisation particulier : - des moyens de mise en œuvre d’une phase d’entrainement de type apprentissage par renforcement, dans laquelle au moins un agent est entrainé à déterminer au moins un chemin d’acheminement dudit au moins un flux de données au sein dudit système autonome, sur la base d’au moins un échange de données entre ledit au moins un agent et un environnement d’apprentissage par renforcement, en fonction d’au moins une donnée représentative d’une saturation ou d’un risque de saturation d’au moins un lien d’une pluralité de liens cibles compris sur au moins un chemin entre un point d’entrée et un point de sortie du système autonome ; - des moyens de mise en œuvre d’une phase d’inférence, dans laquelle ledit au moins un agent entrainé est utilisé pour délivrer ledit au moins un chemin optimisé La FIG. 8 représente, de manière schématique et simplifiée, la structure d’un tel dispositif électronique, dans un mode de réalisation particulier. Le dispositif, selon la technique proposée, comprend par exemple une mémoire 81 constituée d’une mémoire tampon M, une unité de traitement 82, équipée par exemple d’un microprocesseur μP, et pilotée par le programme d’ordinateur Pg 83, mettant en œuvre des étapes du procédé de détermination d’au moins un chemin optimisé pour l’acheminement d’au moins un flux de données au sein d’un système autonome, selon au moins un mode de réalisation de l’invention. À cette fin, le dispositif électronique comprend également, dans un mode de réalisation particulier, au moins une interface de communication (par exemple une interface de communication Ethernet) et/ou au moins une interface homme-machine, lui permettant de recevoir et d’émettre des données en provenance et à destination d’autres équipements présents dans un réseau de communication auquel il est connecté et/ou d’opérateurs humains. À l’initialisation, les instructions de code du programme d’ordinateur 83 sont chargées dans la mémoire tampon avant d’être exécutées par le processeur de l’unité de traitement 82. L’unité de traitement 82 reçoit en entrée E par exemple des données de configuration au moyen desquelles elle peut instancier un environnement d’apprentissage par renforcement. Le microprocesseur de l’unité de traitement 82 réalise alors les étapes suivantes du procédé de détermination d’au moins un chemin optimisé, selon les instructions du programme d’ordinateur 83. Plus particulièrement, l’unité de traitement 82 instancie au moins un agent, et l’entraine – sur la base d’échanges de données avec l’environnement d’apprentissage par renforcement – à générer des chemins optimisés pour l’acheminement d’au moins un flux de données au sein d’un système autonome, qui minimisent la survenue de phénomènes de de saturation. À l’issue de cet entrainement l’agent ainsi entrainé est alors utilisé pour générer au moins un chemin optimisé pour l’acheminement d’au moins un flux de données au sein d’un système autonome, qui est délivré par l’unité de traitement 82 en sortie S. Procédé de détermination d’au moins un chemin optimisé pour l’acheminement d’au moins un flux de données au sein d’un système autonome, ledit procédé étant caractérisé en ce qu'il comprend : - une phase d’entrainement (11) de type apprentissage par renforcement, dans laquelle au moins un agent (AG) est entrainé à déterminer au moins un chemin d’acheminement dudit au moins un flux de données au sein dudit système autonome, sur la base d’au moins un échange de données entre ledit au moins un agent (AG) et un environnement d’apprentissage par renforcement (ENV), en fonction d’au moins une donnée représentative d’une saturation ou d’un risque de saturation d’au moins un lien d’une pluralité de liens cibles compris sur au moins un chemin entre un point d’entrée et un point de sortie du système autonome ; - une phase d’inférence (12), dans laquelle ledit au moins un agent entrainé est utilisé pour délivrer ledit au moins un chemin optimisé. Procédé selon la revendication 1, caractérisé en ce que ledit au moins un échange de données comprend : - l’exécution, par ledit au moins un agent, d’au moins une action sur ledit environnement d’apprentissage, déterminée en fonction de données d’état courantes comprenant des données représentatives d’un état de charge courant desdits liens cibles et des données représentatives d’un état de saturation courant desdits liens cibles, ladite action étant associée à au moins un chemin d’acheminement courant d’au moins un flux de données cible au sein dudit système autonome ; - l’obtention, par ledit au moins un agent, en réponse à ladite exécution, de données d’état actualisées et de données de récompense en provenance dudit environnement d’apprentissage. Procédé selon la revendication 2, caractérisé en ce que la détermination de ladite action exécutée sur l’environnement d’apprentissage tient compte, en plus desdites données d’état courantes, de données d’état précédentes, comprenant des données représentatives d’un état de charge précédent desdits liens cibles et des données représentatives d’un état de saturation précédent desdits liens cibles. Procédé selon la revendication 3, caractérisé en ce que lesdites données représentatives d’un état de charge précédent desdits liens cibles et lesdites données représentatives d’un état de charge courant desdits liens cibles prennent chacune la forme d’une matrice, une dimension parmi lignes et colonnes de ladite matrice étant associée auxdits liens cibles, l’autre dimension parmi lignes et colonnes de ladite matrice étant associée auxdits flux cibles, chaque coefficient de ladite matrice étant associé à la fois à un desdits liens cibles et un desdits flux de données cibles, et ayant pour valeur un taux de charge dudit lien cible dû audit flux de données cible. Procédé selon la revendication 3, caractérisé en ce que lesdites données représentatives d’un état de saturation précédent desdits liens cibles et lesdites données représentatives d’un état de saturation courant desdits liens cibles prennent chacune la forme d’un vecteur, chaque composante dudit vecteur étant associée à un desdits liens cibles et ayant pour valeur une première valeur représentative d’une absence de saturation dudit lien cible ou une deuxième valeur représentative d’une saturation dudit lien cible. Procédé selon la revendication 2, caractérisé en ce que ladite action associée à au moins un chemin d’acheminement courant d’au moins un flux de données cible est sélectionnée parmi : - un maintien dudit chemin d’acheminement courant dudit flux de données cible ; ou - une modification dudit chemin d’acheminement courant dudit flux de données cible. Procédé selon la revendication 6, caractérisé en ce que ladite modification du chemin d’acheminement courant dudit flux de données cible comprend, lorsque ledit chemin d’acheminement courant correspond à un chemin établi selon un protocole de routage en vigueur au sein dudit système autonome, la création en marge dudit protocole de routage d’un chemin de contournement entre un point d’entrée et un point de sortie dudit chemin d’acheminement courant, et le réacheminent dudit flux de données cible sur ledit chemin de contournement. Procédé selon la revendication 6, caractérisé en ce que ladite modification du chemin d’acheminement courant dudit flux de données cible comprend, lorsque ledit chemin d’acheminement courant correspond à un chemin de contournement défini en marge d’un protocole de routage en vigueur au sein dudit système autonome, la suppression dudit chemin de contournement, et le réacheminement dudit flux de données cible selon un chemin défini selon ledit protocole de routage. Procédé selon la revendication 2, caractérisé en ce que lesdites données de récompenses sont déterminées en fonction d’un nombre courant de liens saturés au sein dudit système autonome. Procédé selon la revendication 2, caractérisé en ce que lesdites données de récompenses sont en outre déterminées en fonction d’un nombre courant de chemins de contournements utilisés pour acheminer ledit au moins flux de données au sein dudit système autonome. Dispositif électronique de détermination d’au moins un chemin optimisé pour l’acheminement d’au moins un flux de données au sein d’un système autonome, ledit dispositif étant caractérisé en ce qu'il comprend au moins un processeur configuré pour mettre en œuvre : - une phase d’entrainement de type apprentissage par renforcement, dans laquelle au moins un agent est entrainé à déterminer au moins un chemin d’acheminement dudit au moins un flux de données au sein dudit système autonome, sur la base d’au moins un échange de données entre ledit au moins un agent et un environnement d’apprentissage par renforcement, en fonction d’au moins une donnée représentative d’une saturation ou d’un risque de saturation d’au moins un lien d’une pluralité de liens cibles compris sur au moins un chemin entre un point d’entrée et un point de sortie du système autonome ; - une phase d’inférence, dans laquelle ledit au moins un agent entrainé est utilisé pour délivrer ledit au moins un chemin optimisé. Produit programme d’ordinateur téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, caractérisé en ce qu’il comprend des instructions de code de programme pour l’exécution d'un procédé selon l'une quelconque des revendications 1 à 10, lorsqu’il est exécuté par un ordinateur.