Brevet FR3147029A1 — publié le 20240927

Procédé de mise à jour d’un modèle opérationnel courant d’un équipement d’un réseau de communication . L’invention se rapporte à un procédé de mise à jour d’un modèle opérationnel courant (MOC) d’un premier équipement (E1), consécutivement à une modification d’au moins une fonction logicielle (FL) d’un deuxième équipement (E2) avec lequel le premier équipement est interfacé. Un tel procédé comprend, au niveau du premier équipement : - la réception (11) d’au moins une donnée d’accès à une réplique numérique (RNE2) du deuxième équipement, ladite réplique numérique implémentant ladite fonction logicielle modifiée ; - l’entrainement (12) d’un modèle expérimental associé au premier équipement, en fonction de données échangées entre le premier équipement et ladite fonction logicielle modifiée implémentée par ladite réplique numérique, délivrant un modèle opérationnel actualisé (MOA) ; - le déploiement (13) dudit modèle opérationnel actualisé en tant que nouveau modèle opérationnel courant du premier équipement. Figure d’abrégé : Figure 1 Procédé de mise à jour d’un modèle opérationnel courant d’un équipement d’un réseau de communication. L’invention se situe dans le domaine des réseaux de communication. Plus particulièrement, l’invention se rapporte aux problématiques de maintien de la continuité et de la qualité du service assuré via de tels réseaux, lorsque les fonctionnalités logicielles d’un équipement particulier du réseau sont amenées à évoluer. Art antérieur Un réseau de communication repose généralement sur une infrastructure comprenant de nombreux équipements d’origine et de nature variées, qui communiquent entre eux pour assurer le fonctionnement du réseau et la fourniture d’un service. À cette fin, chaque équipement est composé d’une partie matérielle (« hardware » en anglais) et d’une partie logicielle (« software » en anglais). Pour de multiples raisons, il est fréquent que la partie logicielle d’un équipement soit amenée à évoluer. Par exemple dans le cadre d’opérations de maintenance corrective (résolution de problèmes de fonctionnement identifiés au sein de l’équipement, par déploiement de correctifs) ou évolutive (ajout de nouvelles fonctionnalités à l’équipement), des fonctions logicielles existantes sont généralement corrigées ou modifiées, et/ou de nouvelles fonctions logicielles sont régulièrement ajoutées, modifiant ainsi le comportement de l’équipement en question. Bien qu’elles visent généralement à améliorer les performances du réseau de communication (et, in fine , du service fourni) dans son ensemble, de telles mises à jour d’un équipement ne sont cependant pas sans risques, notamment parce qu’elles sont susceptibles d’entrainer des effets de bord sur les autres équipements du réseau de communication, et en premier lieu sur ceux s’interfaçant avec l’équipement mis à jour. Les équipements interconnectés d’un réseau de communication étant généralement fournis par différents équipementiers, il n’est pas toujours évident ou possible pour l’opérateur du réseau d’identifier et de gérer en amont les potentiels impacts négatifs et indésirables de la mise à jour de la partie logicielle d’un équipement particulier sur les autres équipements du réseau, et ce d’autant plus que l’opérateur n’a pas toujours la main sur ces opérations de mises à jour, et que les équipementiers eux-mêmes sont parfois peu enclin à détailler sur un plan technique le contenu des mises à jour proposées. Il s’en suit que les opérations de mise à jour logicielle d’un équipement du réseau de communication ont parfois un effet contre-productif dans un premier temps, en engendrant des baisses de performances voire des interruptions de service qui impactent directement les utilisateurs du réseau de communication. Le temps de détection et de remontée à l’opérateur de ces impacts, ajouté au temps nécessaire pour adapter en conséquence la partie logicielle des autres équipements interfacés avec l’équipement mis à jour, font que ces effets négatifs sont parfois durables, aggravant encore le risque d’engendrer des insatisfactions de la part des utilisateurs face à ce service dégradé. Il existe donc un besoin pour une solution permettant de mieux gérer les impacts engendrés par les modifications logicielles d’un équipement d’un réseau de communication sur les autres équipements du réseau. La présente technique permet de proposer une solution visant à remédier à certains inconvénients de l’art antérieur. Selon un aspect, la présente technique se rapporte en effet à un procédé de mise à jour d’un modèle opérationnel courant d’un premier équipement d’un réseau de communication, consécutivement à une modification d’au moins une fonction logicielle d’un deuxième équipement dudit réseau de communication, avec lequel le premier équipement est interfacé. Un tel procédé comprend, au niveau dudit premier équipement, les étapes suivantes : - la réception d’au moins une donnée d’accès à une réplique numérique dudit deuxième équipement, ladite réplique numérique implémentant ladite fonction logicielle modifiée ; - l’entrainement d’un modèle expérimental associé audit premier équipement, en fonction de données échangées entre ledit premier équipement et ladite fonction logicielle modifiée implémentée par ladite réplique numérique, délivrant à l’issue dudit entrainement un modèle opérationnel actualisé ; - le déploiement dudit modèle opérationnel actualisé en tant que nouveau modèle opérationnel courant dudit premier équipement. De cette manière, grâce à l’utilisation d’une réplique numérique du deuxième équipement, la génération d’un modèle opérationnel actualisé du premier équipement peut être mise en œuvre en parallèle du fonctionnement en production régi par le modèle opérationnel courant du premier équipement. Ainsi, le fonctionnement de production selon le modèle opérationnel courant reste maintenu tant que la génération d’un nouveau modèle est en cours, puis actualisé dès que la génération de ce nouveau modèle est terminée. Dans un mode de réalisation particulier, ladite au moins une donnée d’accès à la réplique numérique du deuxième équipement prend la forme d’un conteneur comprenant ladite réplique numérique. Selon une caractéristique particulière, ledit procédé comprend une étape d’instanciation, localement, à partir dudit conteneur, de ladite réplique numérique. De cette manière, l’entrainement du modèle expérimental est réalisé en local, au sein même du premier équipement ou à tout le moins au sein d’un équipement à proximité du premier équipement, permettant ainsi d’augmenter la rapidité de mise en œuvre de cet entrainement, de sécuriser son exécution, et d’éviter de surcharger le réseau de communication grâce au confinement ainsi obtenu des échanges de données entre le premier équipement et la réplique numérique du deuxième équipement. Dans un mode de réalisation particulier, ledit procédé comprend, préalablement à ladite étape de réception, une étape d’émission d’une requête d’accès à la réplique numérique du deuxième équipement. Selon une caractéristique particulière, ladite requête d’accès est émise : - de manière périodique ; ou - à réception d’une commande de récupération de ladite réplique numérique ; ou - à réception d’une information représentative d’une disponibilité d’une réplique numérique mis à jour dudit deuxième équipement ; ou - à détection, via une surveillance d’au moins un indicateur de performance dédié, d’une baisse de performance associée aux échanges entre le premier équipement et le deuxième équipement. De cette manière, l’entrainement d’un modèle expérimental en vue d’obtenir un nouveau modèle opérationnel courant du premier équipement peut notamment être déclenché de manière automatique, sur la base d’un ou plusieurs critères, ce qui permet d’obtenir un modèle opérationnel actualisé plus rapidement pour le premier équipement. La durée pendant laquelle un modèle opérationnel courant du premier équipement reste en vigueur – alors même que ce modèle est devenu obsolète ou inadapté consécutivement à la modification ou au déploiement d’au moins une fonction logicielle sur un deuxième équipement avec lequel le premier équipement est interfacé – est ainsi largement diminuée. Dans un mode de réalisation particulier, ladite réplique numérique est implémentée sous la forme d’un environnement d’apprentissage par renforcement. De cette manière, la tâche fastidieuse et chronophage de spécifier et d’écrire manuellement un jeu de tests à chaque fois qu’une fonction logicielle est introduite ou mise à jour au sein d’un équipement du réseau de communication n’est plus requise, puisqu’un apprentissage de type essai-et-erreur peut être mis en œuvre grâce à la fourniture d’un environnement d’apprentissage par renforcement. Le fabricant ou l’administrateur de l’équipement dont une fonction logicielle est modifiée est ainsi également libéré de la contrainte d’avoir à documenter de manière détaillée les mises à jour déployées, et peut notamment fournir à ses clients un équipement et/ou une réplique numérique dans un mode « boite noire ». Selon une caractéristique particulière, dans ce mode de réalisation, ladite étape d’entrainement comprend : - une étape dite exploratoire, correspondant à une première phase d’entrainement de type apprentissage par renforcement, dans laquelle au moins un échange entre ledit premier équipement et ladite fonction logicielle modifiée implémentée par ladite réplique numérique est utilisé pour entrainer un premier modèle expérimental, ladite étape exploratoire délivrant un jeu de données dans lequel au moins une partie desdits échanges est tracée ; - une étape dite de consolidation, correspondant à une deuxième phase d’entrainement de type apprentissage supervisé, dans laquelle ledit jeu de données est utilisé pour entrainer un deuxième modèle expérimental, ladite étape de consolidation délivrant, à l’issue dudit apprentissage supervisé, ledit modèle opérationnel actualisé. Dans un mode de réalisation particulier, durant ladite étape exploratoire, chaque échange dudit au moins un échange comprend : - l’émission d’une action à destination de ladite réplique numérique ; - la réception, en réponse à ladite action, de données d’état et de données de récompense en provenance de ladite réplique numérique ; les actions successives émises à destination de la réplique numérique dans le cadre dudit au moins un échange étant déterminées de manière à tendre à maximiser au cours du temps les données de récompenses reçues en réponse à ces actions, lesdits échanges étant tracés au sein dudit jeu de données uniquement lorsqu’un niveau de récompense prédéterminé est atteint. De cette manière, la technique proposée permet la mise en œuvre d’un apprentissage hybride cumulant les avantages d’un apprentissage par renforcement et d’un apprentissage supervisé : l’étape exploratoire permet d’identifier sans impact opérationnel les meilleures séquences de communications entre équipements, et l’étape de consolidation d’en déduire la meilleure marche forcée (i.e. les séquences de messages les plus proches des séquences de messages les plus pertinentes testées durant l’étape exploratoire) à mettre en œuvre en pratique en condition de production Selon une caractéristique particulière, ladite étape d’entrainement comprend une étape curative de traitement manuel et/ou automatique dudit jeu de données, préalablement à ladite étape de consolidation. De cette manière, il est notamment possible de conserver une expertise humaine dans le processus d’entrainement du modèle expérimental, afin par exemple de nettoyer, de filtrer, et/ou d’enrichir le jeu de données obtenu à l’issue de l’étape exploratoire avant qu’il ne soit utilisé comme base d’apprentissage pour la mise en œuvre de l’entrainement supervisé durant l’étape de consolidation. Selon un autre aspect, la présente technique se rapporte également à un dispositif de mise à jour d’un modèle opérationnel courant d’un premier équipement d’un réseau de communication, consécutivement à une modification d’au moins une fonction logicielle d’un deuxième équipement dudit réseau de communication, avec lequel le premier équipement est interfacé. Un tel dispositif comprend, au sein dudit premier équipement : - des moyens de réception d’au moins une donnée d’accès à une réplique numérique dudit deuxième équipement, ladite réplique numérique implémentant ladite fonction logicielle modifiée ; - des moyens d’entrainement d’un modèle expérimental associé audit premier équipement, en fonction de données échangées entre ledit premier équipement et ladite fonction logicielle modifiée implémentée par ladite réplique numérique, délivrant à l’issue dudit entrainement un modèle opérationnel actualisé ; - des moyens de déploiement dudit modèle opérationnel actualisé en tant que nouveau modèle opérationnel courant dudit premier équipement. Selon un autre aspect, la technique proposée se rapporte également à un produit programme d'ordinateur téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, comprenant des instructions de code de programme pour l’exécution d'un procédé de mise à jour d’un modèle opérationnel courant d’un premier équipement d’un réseau de communication tel que décrit précédemment dans l’un quelconque de ses modes de réalisation, lorsqu’il est exécuté sur un ordinateur. La technique proposée vise également un support d’enregistrement lisible par un ordinateur sur lequel est enregistré un programme d’ordinateur comprenant des instructions de code de programme pour l’exécution des étapes du procédé tel que décrit précédemment, dans l’un quelconque de ses modes de réalisation. Un tel support d'enregistrement peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple une clé USB ou un disque dur. D'autre part, un tel support d'enregistrement peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens, de sorte que le programme d’ordinateur qu’il contient est exécutable à distance. Le programme selon l'invention peut être en particulier téléchargé sur un réseau, par exemple le réseau Internet. Les différents modes de réalisation mentionnés ci-dessus sont combinables entre eux pour la mise en œuvre de l'invention. Figures D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante d’un mode de réalisation préférentiel, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels : illustre le principe général d’un procédé de mise à jour d’un modèle opérationnel courant d’un équipement d’un réseau de communication, dans un mode de réalisation particulier de la technique proposée ; présente un diagramme de séquences du procédé de mise à jour d’un modèle opérationnel courant d’un équipement d’un réseau de communication, dans un mode de réalisation particulier de la technique proposée ; décrit une architecture simplifiée d’un dispositif pour la mise en œuvre de la technique proposée, dans un mode de réalisation particulier. Description détaillée de l’invention La présente demande permet de remédier à certains des inconvénients précités. Sur toutes les figures du présent document, les éléments et étapes de même nature sont désignés par une même référence numérique. Par ailleurs, dans la description qui suit, les termes « premier » et « deuxième » visent uniquement, sauf mention explicite du contraire, à permettre d’établir une distinction entre deux éléments, et n’impliquent a priori pas l’existence d’une quelconque relation d’ordre entre ces éléments. Selon un premier aspect, la présente technique se rapporte à un procédé de mise à jour d’un modèle opérationnel courant d’un équipement d’un réseau de communication. Par modèle opérationnel courant, on entend ici l’ensemble des règles logicielles – mises en œuvre sous la forme d’instructions de code de programme exécutées par au moins un processeur – qui régissent le fonctionnement courant de l’équipement considéré, y compris la gestion de ses interactions avec d’autres équipements du réseau de communication avec lesquels il est interfacé. Dans ce contexte, un « équipement » selon la présente technique est entendu au sens large : il peut correspondre de manière classique à une ressource physique (e.g. tout ou partie d’une machine), mais également à un service implémenté au sein d’une machine tel que par exemple un service de virtualisation utilisé pour la mise en œuvre d’architectures virtualisées. Les règles logicielles peuvent alors par exemple correspondre à des règles associées à des instances de fonctions virtualisées d’une telle architecture virtualisée. Le principe général du procédé proposé est illustré en relation avec la . Dans le mode de réalisation particulier présenté sur cette figure, ce procédé se rapporte plus particulièrement à la mise à jour du modèle opérationnel courant MOC d’un premier équipement E1 d’un réseau de communication, consécutivement à une modification d’au moins une fonction logicielle FL d’un deuxième équipement E2 du réseau de communication, avec lequel le premier équipement est interfacé. Une telle modification logicielle s’inscrit par exemple dans le cadre d’opérations de maintenance corrective et/ou évolutive mises en œuvre sur le deuxième équipement E2, et peut notamment résulter d’une mise à jour d’une ou plusieurs fonctions logicielles déjà existantes, et/ou d’un déploiement de nouvelles fonctions logicielles au sein du deuxième équipement E2. Le procédé selon la présente technique est implémenté au sein du premier équipement E1, et il comprend les étapes détaillées ci-après, dans un mode de réalisation particulier. Dans une étape 11, le premier équipement E1 reçoit, en provenance d’un équipement tiers du réseau de communication (typiquement en provenance du deuxième équipement E2, mais cet exemple n’est pas limitatif), au moins une donnée d’accès à une réplique numérique RNE2 dudit deuxième équipement E2. Par réplique numérique, on entend ici une copie numérique de l’objet physique qu’est le deuxième équipement E2, i.e. une représentation virtuelle conçue pour simuler fidèlement, de manière logicielle, les états, les caractéristiques et la dynamique de fonctionnement du deuxième équipement E2. Selon une caractéristique particulière, cette réplique numérique correspond par exemple à un jumeau numérique du deuxième équipement E2. Une telle réplique numérique – dont la création n’est pas l’objet de la présente technique – implémente notamment la fonction logicielle modifiée FL du deuxième équipement E2. Les données d’accès à la réplique numérique RNE2 peuvent prendre différentes formes, selon le mode d’implémentation de cette réplique. Selon une caractéristique particulière, les données d’accès reçues en étape 11 prennent par exemple la forme de cordonnées (e.g. adresse IP, URL, numéro de port, etc.) permettant au premier équipement E1 de se connecter à un serveur distant (qui peut être intégré ou non à l’équipement E2) au sein duquel la réplique numérique RNE2 est déployée : le premier équipement E1 accède alors à distance à la réplique numérique du deuxième équipement E2, cette réplique numérique étant installée sur une machine différente du premier équipement E1. De manière alternative, selon une autre caractéristique particulière, les données d’accès reçues en étape 11 peuvent également prendre la forme d’un conteneur (ou « package », en anglais) comprenant la réplique numérique, autrement dit toutes les données nécessaires à l’instanciation d’une telle réplique numérique. Ce conteneur est par exemple reçu en provenance d’un serveur distant, qui peut être intégré ou non à l’équipement E2. Dans ce cas, le procédé selon la présente technique comprend alors une étape d’instanciation, localement, à partir du conteneur reçu, de la réplique numérique du deuxième équipement E2 : le premier équipement E1 accède alors en local à la réplique numérique du deuxième équipement E2, cette réplique numérique RNE2 étant installée au sein même du premier équipement E1 (par exemple au sein d’une mémoire du premier équipement E1) ou à tout le moins au sein d’un équipement proche faisant partie du même réseau local ou privé (e.g. du même intranet) que le premier équipement E1, ce qui présente l’avantage de ne pas surcharger inutilement le réseau de communication avec de multiples échanges de messages entre des équipements réseaux distants lors de l’utilisation ultérieure de la réplique numérique, notamment quand les équipements E1 et E2 sont interfacés via un réseau de communication étendu. Quoiqu’il en soit, à l’issue de l’étape 11, le premier équipement E1 est apte à communiquer avec la réplique numérique de l’équipement E2, soit parce qu’il dispose des informations lui permettant de se connecter à un équipement au sein duquel une instance d’une telle réplique numérique est déployée, soit parce qu’il a pu lui-même télécharger et déployer en son sein une instance d’une telle réplique numérique. Éventuellement, une opération de vérification est effectuée par le premier équipement avant de lancer un tel téléchargement, afin de s’assurer que la réplique numérique sur le point d’être téléchargée correspond bien à une version récente (i.e. une nouvelle version, à jour) de la réplique numérique, et non pas à une ancienne version qui aurait déjà été précédemment téléchargée et installée au sein du premier équipement (auquel cas le téléchargement n’est pas effectué). Une telle vérification peut par exemple être mise en œuvre par comparaison de données de hachage de contrôle distinctes identifiant les différentes versions d’une réplique numérique d’un même équipement. Dans une étape 12, la réplique numérique est utilisée pour entrainer un modèle expérimental associé au premier équipement E1. Plus particulièrement, par « modèle expérimental », on entend qu’un tel entrainement est réalisé dans un mode expérimental (par opposition à un mode opérationnel), c’est-à-dire sans incidence sur le fonctionnement opérationnel courant du premier équipement E1 au sein du réseau de communication. En d'autres termes, durant cette étape d’entrainement 12 du modèle expérimental, le modèle opérationnel courant MOC qui régit le fonctionnement du premier équipement E1 reste en vigueur. L’entrainement est donc réalisé en parallèle du fonctionnement en production du premier équipement E1, sans impact sur ce fonctionnement (il n’y a donc pas d’interruption de service au niveau de l’équipement E1 qui serait dû à cet entrainement). Selon la technique proposée l’accès à la réplique numérique du deuxième équipement E2 est donc utilisé par le premier équipement E1 pour déterminer un nouveau modèle de fonctionnement du premier équipement E1 adapté aux évolutions du deuxième équipement E2, i.e. aux modifications préalablement effectuées sur une ou plusieurs des fonctions logicielles de cet équipement E2 avec lequel le premier équipement E1 est interfacé. À cette fin, le modèle expérimental est entrainé sur la base de données échangées entre le premier équipement E1 et la réplique numérique du deuxième équipement E2. Plus particulièrement, comme détaillé par la suite ultérieurement dans le présent document, des techniques d’apprentissage automatique sont mises en œuvre, dans lesquelles d’une part des données associées à des requêtes émises par le premier équipement E1 à destination de la réplique numérique et d’autre part des données obtenues en provenance de la réplique numérique (et notamment de la fonction logicielle modifiée implémentée par la réplique numérique) en réponse à ces requêtes sont analysées et utilisées pour entrainer le modèle expérimental. Dans une étape 13, une fois le modèle expérimental considéré comme suffisamment entrainé, il peut être déployé en tant que nouveau modèle opérationnel courant du premier équipement E1, régissant ainsi le nouveau fonctionnement de cet équipement en conditions de production. En d'autres termes, ce nouveau modèle opérationnel courant vient remplacer le modèle opérationnel auparavant mis en œuvre au sein du premier équipement E1. Dans un mode de réalisation particulier, l’étape 11 de réception d’une donnée d’accès à la réplique numérique RNE2 du deuxième équipement E2 fait suite à l’émission, par l’équipement E1, d’une requête d’accès à une telle réplique numérique. Une telle requête est par exemple émise à destination du deuxième équipement E2, ou à destination d’un équipement tiers (par exemple un serveur dédié à l’hébergement ou à la fourniture de répliques numériques d’équipements du réseau de communication). L’émission par l’équipement E1 d’une telle requête d’accès peut être déclenchée sous diverses conditions, dans des modes de réalisation complémentaires ou alternatifs de la technique proposée décrits ci-après à titre illustratif et non limitatif. Ainsi, la requête d'accès est par exemple émise de manière répétée, éventuellement périodique. Par exemple une telle requête est émise quotidiennement par le premier équipement, de préférence à une heure où le trafic sur le réseau de communication est réduit (e.g. la nuit). De cette manière, en particulier lorsque les données d’accès à la réplique numérique prennent la forme d’un conteneur potentiellement relativement volumineux à télécharger auprès d’un serveur distant, il est possible de limiter l’impact de cette opération de téléchargement sur les performances du réseau de communication, en la déclenchant de manière préférentielle dans une période de creux de charge de ce réseau. La requête d'accès peut également être émise à réception, par le premier équipement E1, d’une commande de récupération de la réplique numérique, ou à réception d’une information représentative d’une disponibilité d’une nouvelle réplique numérique (i.e. d’une réplique numérique récemment mise à jour) du deuxième équipement E2. Une telle commande et/ou une telle information sont par exemple reçues en provenance du deuxième équipement E2, ou encore d’un équipement tiers différent du deuxième équipement. Selon une caractéristique particulière, la commande de récupération d’une réplique numérique peut notamment être forcée manuellement, par exemple par interaction d’un utilisateur sur un élément dédié d’une interface graphique mise à sa disposition. Par ailleurs, la réception d’une information représentative d’une disponibilité d’une nouvelle réplique numérique peut s’inscrire dans le cadre d’une souscription préalable, par le premier équipement, auprès d’un autre équipement (typiquement le deuxième équipement), à un service de notification des évènements de ce type. Selon encore une autre possibilité, la requête d'accès est émise à détection, par le premier équipement E1, d’une baisse de performance associée aux échanges entre le premier équipement E1 et le deuxième équipement E2. Une telle baisse de performance est évaluée via la surveillance d’au moins un indicateur de performance dédié (ou KPI, de l’anglais « Key Performance Indicator »), tel que par exemple un taux de messages d’erreur anormalement élevé reçus en provenance du deuxième équipement en réponse à des requêtes émises à sa destination par le premier équipement, ou tout autre indicateur pertinent. On décrit maintenant de manière plus détaillée divers modes de réalisation de l’étape d’entrainement 12. Plus particulièrement, dans un mode de réalisation particulier, la réplique numérique RNE2 du deuxième équipement est implémentée sous la forme d’un environnement d’apprentissage par renforcement, permettant ainsi la mise en œuvre de techniques d’apprentissage par renforcement dans cette étape 12 d’entrainement d’un modèle expérimental. Comme décrit ci-après, l’originalité de la technique proposée réside cependant en ce que l’apprentissage par renforcement mis en œuvre n’a pas ici pour objectif premier d’entrainer un modèle (comme c’est généralement le cas dans des approches classiques), mais de construire un jeu de données JD destiné à servir de base d’apprentissage pour la mise en œuvre d’une autre phase d’apprentissage, subséquente, reposant cette fois non plus sur un apprentissage par renforcement mais sur un apprentissage de type supervisé. Ainsi, dans un mode de réalisation particulier de la technique proposée, l’étape 12 d’entrainement comprend : - une étape dite exploratoire 121, correspondant à une première phase d’entrainement de type apprentissage par renforcement, dans laquelle une succession d’échanges (au moins un) entre le premier équipement E1 et la fonction logicielle modifiée implémentée par la réplique numérique RNE2 du deuxième équipement E2 est utilisée pour entrainer un premier modèle expérimental, cette étape exploratoire délivrant un jeu de données JD dans lequel au moins une partie desdits échanges est tracée ; - une étape dite de consolidation 122, correspondant à une deuxième phase d’entrainement de type apprentissage supervisé, dans laquelle le jeu de données JD obtenu à l’issue de la première phase est utilisé (éventuellement après contrôle et adaptation par un opérateur humain) pour entrainer un deuxième modèle expérimental, cette étape de consolidation délivrant, une fois l’apprentissage supervisé terminé, le modèle opérationnel actualisé MOA destiné à être déployé en tant que nouveau modèle opérationnel courant MOC du premier équipement (conformément à l’étape 13 de la ). Plus particulièrement, durant la première phase d’entrainement par apprentissage par renforcement, selon une approche de type essai-et-erreur, de multiples échanges de données (généralement très nombreux, e.g. plusieurs milliers voire des millions, sans toutefois que ceci soit limitatif, un nombre limité d’échanges, e.g. seulement quelques dizaines ou centaines, pouvant s’avérer suffisant dans certains cas) sont réalisés entre le premier équipement E1 et la réplique numérique RNE2 du deuxième équipement, dans une perspective de large exploration des résultats obtenus en réponse à différentes valeurs de paramètres transmises au sein d’un message et/ou à différents enchainements de messages. Chacun de ces échanges comprend, selon le vocabulaire usuel en matière d’apprentissage par renforcement : - l’émission par le premier équipement de données d’action à destination de la réplique numérique du deuxième équipement ; - la réception, en réponse à ladite action, de données d’état et de données de récompense en provenance de ladite réplique numérique. Les données d’état sont représentatives d’un nouvel état de l’environnement d’apprentissage par renforcement, i.e. de la réplique numérique, suite à l’action effectué sur cet environnement. Les données de récompense sont représentatives d’une ou plusieurs métriques d’efficacité de l’action effectuée sur l’environnement, ou à tout le moins des données permettant au premier équipement de calculer de telles métriques. Les actions successives émises à destination de la réplique numérique sont déterminées par un algorithme de renforcement, de manière à tendre à maximiser au cours du temps les données de récompenses reçues en réponse à ces actions. Selon la technique proposée, une fois un niveau de récompense prédéterminé atteint, tous les échanges de données subséquents réalisés durant cette étape exploratoire sont tracés (par exemple dans un fichier de traces, dans une base de données, ou tout autre structure de données adéquate), participant ainsi à la construction d’un jeu de données JD représentatif de séquences d’actions qui peuvent être considérées comme pertinentes ou efficaces (car associées à des récompenses obtenues élevées) vis-à-vis de la réplique numérique implémentant la fonction logicielle modifiée. Plus particulièrement, dans un mode de réalisation particulier de la technique proposée, chaque échantillon d’un tel jeu de données JD comprend des informations saillantes relatives à un échange de données entre le premier équipement E1 et la réplique numérique RNE2 (et notamment la fonction logicielle modifiée) du deuxième équipement E2. De telles informations saillantes comprennent par exemple : - des données relatives à l’action envoyée par le premier équipement à la réplique numérique du deuxième équipement dans le cadre de l’échange de données considéré, comprenant par exemple une commande transmise et des paramètres associés, un identifiant du premier équipement (prenant par exemple la forme d’un identifiant décentralisé ou DID, pour « Decentralized identifier » ), et éventuellement une étiquette temporelle (« timestamp ») représentative du moment d’émission de cette action ; - des données relatives au résultat retourné par la réplique numérique du deuxième équipement en réponse à cette action, comprenant par exemple des données d’état représentatives d’une conséquence de l’action sur l’environnement, des données de récompense associées, des données complémentaires (par exemple des données représentatives d’une ou plusieurs métriques d’efficacité eu égard à l’échange considéré), un identifiant de la réplique numérique du deuxième équipement (prenant par exemple également la forme d’un identifiant décentralisé), et éventuellement une étiquette temporelle (« timestamp ») représentative du moment de réception de cette réponse. Comme indiqué précédemment, le jeu de données JD est ensuite utilisé pour la mise en œuvre de l’étape de consolidation 122, dans laquelle il sert de base d’apprentissage pour l’entrainement supervisé d’un deuxième modèle expérimental (un tel entrainement pouvant selon le cas être effectué sur la base d’un modèle vierge, i.e. de zéro, ou à partir d’une version précédente du modèle si son architecture le permet – e.g. modèle de type « Transformer » – et s’il n’y a pas de changement majeur des actions et des états associés à la réplique numérique implémentant la fonction logicielle modifiée). De manière optionnelle, dans un mode de réalisation particulier, le jeu de données JD obtenu à l’issue de l’étape exploratoire 121 est mis à disposition d’un utilisateur (par exemple via une interface graphique dédiée fournie par le premier équipement) avant que l’étape de consolidation 122 soit effectuée, pour consultation et modifications et/ou adaptations éventuelles avant la mise en œuvre de l’entrainement supervisé. Une telle étape curative de traitement du jeu de données préalablement à son utilisation comme base d’apprentissage permet de conserver une expertise humaine dans le processus d’entrainement du modèle expérimental. Pour plus de clarté, on présente maintenant en relation avec la un diagramme de séquence illustrant dans le temps un exemple d’interactions possibles entre différentes entités du premier équipement E1, incluant la mise en œuvre du procédé de mise à jour du modèle opérationnel courant de cet équipement, selon certains des modes de réalisation particuliers décrits précédemment. En condition de production, dans un mode opérationnel OP, le modèle opérationnel courant MOC du premier équipement E1 régit le fonctionnement de cet équipement, et est notamment sollicité, dans une étape 201, pour déterminer une action à mettre en œuvre vis-à-vis d’un deuxième équipement E2, dans le cadre d’un échange de données 202 entre ces deux équipements. Un tel échange de données est établi entre une interface de communication I1 du premier équipement E1, et une interface de communication I2 du deuxième équipement E2 (l’interface de communication I2 étant la seule entité du deuxième équipement E2 représentée sur la , cet équipement étant illustré ici en tant que « boite noire »). À l’issue de chaque échange 202, dans une étape 203, au moins un indicateur de performance associé à l’échange réalisé est remonté à un module de contrôle CTRL du premier équipement E1. De telles étapes 201, 202 et 203 sont réitérées pour tous les échanges entre le premier équipement E1 et le deuxième équipement E2 en mode opérationnel. Lorsque le module de contrôle CTRL détecte, sur la base d’un des indicateurs de performance obtenus en étape 203, une baisse de performance associée aux échanges entre le premier équipement E1 et le deuxième équipement E2, il requiert auprès du deuxième équipement E2, via son interface de communication I1, dans une étape 204, un accès à une réplique numérique RNE2 de cet équipement E2. Une telle baisse de performance peut notamment résulter de l’ajout et/ou de la modification, au sein du deuxième équipement E2, d’au moins une fonction logicielle FL. Dans le mode de réalisation particulier illustré en , suite à cette requête, le module de contrôle CTRL est autorisé à télécharger, dans une étape 205, un conteneur comprenant toutes les données nécessaires à une installation de la réplique numérique du deuxième équipement. Au moyen de ce conteneur, le module de contrôle CTRL instancie alors au sein d’une mémoire du premier équipement E1, dans une étape 206, une instance de la réplique numérique RNE2 du deuxième équipement, cette réplique numérique prenant la forme d’un environnement d’apprentissage par renforcement implémentant la fonction logicielle modifiée FL. Le module de contrôle CTRL instancie également, dans une étape 207, un premier modèle expérimental MEXP1. Une première phase PH1 de type apprentissage par renforcement est alors mise en œuvre, dans laquelle le modèle expérimental MEXP1 est entrainé sur la base de multiples échanges de données 208 (généralement un très grand nombre, e.g. des milliers voire des millions d’échange) avec la réplique numérique RNE2, par essai-et-erreur, comme déjà décrit en relation avec la . Lorsqu’un niveau de récompense prédéterminé est atteint, les échanges de données subséquents sont tracés, dans une étape 209, au sein d’un jeu de données. À l’issue de la première phase d’apprentissage par renforcement PH1, le module de contrôle CTRL requiert et récupère, dans une étape 210, le jeu de données ainsi constitué. Ce jeu de données est transmis à un deuxième modèle expérimental MEXP2 instancié par le module de contrôle CTRL dans une étape 211. Une deuxième phase PH2 de type apprentissage supervisé est alors mise en œuvre, dans laquelle le modèle expérimental MEXP2 est entrainé sur la base des échantillons présents dans jeu de données, lors de nombreuses itérations d’une étape 212. A l’issue de la deuxième phase d’apprentissage supervisé PH2, le modèle expérimental MEXP2 est considéré comme suffisamment entrainé pour être utilisé comme modèle opérationnel actualisé du premier équipement E1. Il est donc récupéré par le module de contrôle CTRL dans une étape 213, puis déployé en production dans une étape 214, en tant que nouveau modèle opérationnel courant MOC du premier équipement E1, pertinent pour la mise en œuvre d’échanges de données efficaces avec le deuxième équipement E2 implémentant la fonction logicielle FL modifiée. Les modes de réalisation présentés précédemment en relation avec les figures 1 et 2, qui reposent sur la mise en œuvre de deux phases d’apprentissage successives mais de types distincts, offrent de nombreux avantages présentés pour partie ci-après. En premier lieu, la mise en œuvre de la première phase d’apprentissage par renforcement permet d’éviter la tâche fastidieuse et chronophage de spécifier et d’écrire manuellement un jeu de tests à chaque fois qu’une fonction logicielle est introduite ou mise à jour au sein d’un équipement du réseau de communication. Par ailleurs, lorsque la réplique numérique du deuxième équipement est instanciée en local, par exemple au sein même d’une mémoire du premier équipement ou au sein d’un équipement proche faisant partie du même réseau local ou privé (e.g. du même intranet), l’acquisition d’expérience intrinsèque à l’apprentissage par renforcement est réalisée en local possiblement directement sur la machine apprenante (i.e. le premier équipement), ce qui permet d’une part d’augmenter la rapidité de mise en œuvre des essais et de garantir une certaine sécurité dans leur exécution (via le confinement en local de ces essais), et d’autre part d’éviter de surcharger le réseau de communication (les milliers ou millions d’échanges de messages réalisés dans le cadre de ces essais ne transitant pas sur le réseau de communication). La mise à jour du modèle opérationnel d’un équipement, et en particulier de son modèle de communication avec les autres équipements du réseau, peut ainsi être préparée de manière autonome au sein de cet équipement. Autrement dit, la génération d’un modèle opérationnel actualisé est mise en œuvre en parallèle du fonctionnement en production régi par le modèle opérationnel courant de cet équipement, ce fonctionnement restant maintenu et non impacté tant que cette génération est en cours. En deuxième lieu, le fait de combiner deux méthode d’apprentissage présente un intérêt certain, en offrant un mécanisme permettant, tout au long du cycle de vie des équipements, par l’utilisation de métriques d’efficacité, de lutter contre l’obsolescence inévitable à terme d’un modèle opérationnel qui serait issu uniquement d’un apprentissage de type supervisé (i.e. sans prise de risques), en permettant une mise à jour du modèle opérationnel sur la base de nouvelles données issues de l’apprentissage par renforcement (i.e. de données non figées, résultant de l’exploration de nouvelles options et possibilités de dialogue avec l’équipement dont une fonction logicielle a été mise à jour). En d'autres termes, la technique proposée permet grâce à l’étape exploratoire d’identifier sans impact opérationnel les meilleures séquences de communications entre équipements, puis d’en déduire grâce à l’étape de consolidation la meilleure marche forcée (i.e. les séquences de messages les plus proches possibles des séquences de messages les plus pertinentes préalablement testées durant l’étape exploratoire) à mettre en œuvre en pratique en condition de production. En troisième lieu, la technique proposée présente également un intérêt pour le fabricant ou l’administrateur de l’équipement dont au moins une fonction logicielle est modifiée, puisqu’il est libéré de la contrainte d’avoir à systématiquement documenter de manière détaillée les mises à jour proposées ou partager leur code source. La présente technique peut en effet être mise en œuvre même lorsque le deuxième équipement ou sa réplique numérique sont implémentés dans un mode « boite noire », avec du code obfusqué ou non documenté par exemple. En quatrième lieu, il est intéressant de noter que la technique proposée peut également s’appliquer à la mise à jour d’un modèle opérationnel courant d’un équipement d’un réseau de communication lorsque non pas un seul mais plusieurs autres équipements avec lesquels il est interfacé ont fait l’objet de mises à jour récentes de fonctions logicielles. Dans ce cas, une phase d’apprentissage par renforcement est menée pour chacun de ces autres équipements, en relation avec une réplique numérique de chaque équipement, et les différents jeux de données obtenus suite à ces phases d’apprentissage par renforcement sont concaténés pour former un jeu unique utilisé dans la deuxième phase d’apprentissage supervisée pour entrainer un modèle expérimental et délivrer un modèle opérationnel actualisé efficace et pertinent pour des communications multi-équipements. En cinquième lieu, la technique proposée peut également être mise à profit pour sélectionner une fonction logicielle préférentielle à déployer au sein d’un équipement parmi une pluralité de fonctions logicielles disponibles (e.g. développées à des fins de tests), en testant (au moyen par exemple de différentes versions d’une réplique numérique d’un équipement) ces différentes options possibles en lien avec les équipements déjà déployés. De cette manière, il est ainsi possible d’anticiper et/ou de comparer les éventuels impacts de chaque fonction logicielle au regard de différents critères (performance, compatibilité protocolaire, etc.), et de choisir sur cette base la fonction logicielle la plus adaptée. Selon un autre aspect, la technique proposée se rapporte également à un dispositif de mise à jour d’un modèle opérationnel courant d’un premier équipement d’un réseau de communication, consécutivement à une modification d’au moins une fonction logicielle d’un deuxième équipement dudit réseau de communication, avec lequel le premier équipement est interfacé. Un tel dispositif, intégré au sein du premier équipement, est apte à réaliser le procédé précédemment décrit dans l’un quelconque de ses modes de réalisation. Plus particulièrement, un tel dispositif selon la présente technique comprend : - des moyens de réception d’au moins une donnée d’accès à une réplique numérique dudit deuxième équipement, ladite réplique numérique implémentant ladite fonction logicielle modifiée ; - des moyens d’entrainement d’un modèle expérimental associé audit premier équipement, en fonction de données échangées entre ledit premier équipement et ladite fonction logicielle modifiée implémentée par ladite réplique numérique, délivrant à l’issue dudit entrainement un modèle opérationnel actualisé ; - des moyens de déploiement dudit modèle opérationnel actualisé en tant que nouveau modèle opérationnel courant dudit premier équipement. La représente, de manière schématique et simplifiée, la structure d’un tel dispositif, dans un mode de réalisation particulier. Le dispositif selon la technique proposée, implémenté au sein d’un premier équipement d’un réseau de communication, comprend par exemple une mémoire 31 constituée d’une mémoire tampon M, une unité de traitement 32, équipée par exemple d’un microprocesseur μP, et pilotée par le programme d’ordinateur Pg 33, mettant en œuvre des étapes du procédé de mise à jour d’un modèle opérationnel courant du premier équipement selon au moins un mode de réalisation de l’invention. À cette fin, le dispositif comprend également au moins une interface de communication (par exemple une interface de communication Ethernet), lui permettant de recevoir et d’émettre des messages en provenance et à destination d’autres équipements présents dans le réseau de communication. À l’initialisation, les instructions de code du programme d’ordinateur 33 sont chargées dans la mémoire tampon avant d’être exécutées par le processeur de l’unité de traitement 32. L’unité de traitement 32 reçoit en entrée E par exemple un message lui signalant la disponibilité d’une nouvelle réplique numérique d’un deuxième équipement avec lequel le premier équipement est interfacé. Le microprocesseur de l’unité de traitement 32 réalise alors les étapes du procédé de mise à jour du modèle opérationnel courant du premier équipement, selon les instructions du programme d’ordinateur 33. Plus particulièrement, le premier équipement reçoit des données d’accès à la réplique numérique du deuxième équipement, puis utilise cette réplique numérique pour entrainer un modèle expérimental en fonction de données échangées notamment avec une fonction logicielle modifiée implémentée par ladite réplique numérique. Cet entrainement délivre à son issue un modèle opérationnel actualisé, qui est alors transmis par l’unité de traitement 32 en sortie S, pour déploiement en production au sein du premier équipement, en lieu et place du modèle opérationnel courant devenu obsolète. Procédé de mise à jour d’un modèle opérationnel courant (MOC) d’un premier équipement (E1) d’un réseau de communication, consécutivement à une modification d’au moins une fonction logicielle (FL) d’un deuxième équipement (E2) dudit réseau de communication, avec lequel le premier équipement est interfacé, ledit procédé étant caractérisé en ce qu'il comprend, au niveau dudit premier équipement, les étapes suivantes : - réception (11) d’au moins une donnée d’accès à une réplique numérique (RNE2) dudit deuxième équipement, ladite réplique numérique implémentant ladite fonction logicielle modifiée ; - entrainement (12) d’un modèle expérimental associé audit premier équipement, en fonction de données échangées entre ledit premier équipement et ladite fonction logicielle modifiée implémentée par ladite réplique numérique, délivrant à l’issue dudit entrainement un modèle opérationnel actualisé (MOA) ; - déploiement (13) dudit modèle opérationnel actualisé en tant que nouveau modèle opérationnel courant dudit premier équipement. Procédé selon la revendication 1, caractérisé en ce que ladite au moins une donnée d’accès à la réplique numérique du deuxième équipement prend la forme d’un conteneur comprenant ladite réplique numérique. Procédé selon la revendication 2, caractérisé en ce qu'il comprend une étape d’instanciation, localement, à partir dudit conteneur, de ladite réplique numérique. Procédé selon la revendication 1, caractérisé en ce qu’il comprend, préalablement à ladite étape de réception (11), une étape d’émission d’une requête d’accès à la réplique numérique du deuxième équipement. Procédé selon la revendication 4, caractérisé en ce que ladite requête d’accès est émise : - de manière périodique ; ou - à réception d’une commande de récupération de ladite réplique numérique ; ou - à réception d’une information représentative d’une disponibilité d’une réplique numérique mis à jour dudit deuxième équipement ; ou - à détection, via une surveillance d’au moins un indicateur de performance dédié, d’une baisse de performance associée aux échanges entre le premier équipement et le deuxième équipement. Procédé selon la revendication 1, caractérisé en ce que ladite réplique numérique est implémentée sous la forme d’un environnement d’apprentissage par renforcement. Procédé selon la revendication 6, caractérisé en ce que ladite étape d’entrainement (12) comprend : - une étape dite exploratoire (121), correspondant à une première phase d’entrainement (PH1) de type apprentissage par renforcement, dans laquelle au moins un échange entre ledit premier équipement et ladite fonction logicielle modifiée implémentée par ladite réplique numérique est utilisé pour entrainer un premier modèle expérimental, ladite étape exploratoire délivrant un jeu de données (JD) dans lequel au moins une partie desdits échanges est tracée ; - une étape dite de consolidation (122), correspondant à une deuxième phase d’entrainement (PH2) de type apprentissage supervisé, dans laquelle ledit jeu de données (JD) est utilisé pour entrainer un deuxième modèle expérimental, ladite étape de consolidation délivrant, à l’issue dudit apprentissage supervisé, ledit modèle opérationnel actualisé (MOA). Procédé selon la revendication 7, caractérisé en ce que durant ladite étape exploratoire, chaque échange dudit au moins un échange comprend : - l’émission d’une action à destination de ladite réplique numérique ; - la réception, en réponse à ladite action, de données d’état et de données de récompense en provenance de ladite réplique numérique ; les actions successives émises à destination de la réplique numérique dans le cadre dudit au moins un échange étant déterminées de manière à tendre à maximiser au cours du temps les données de récompenses reçues en réponse à ces actions, lesdits échanges étant tracés au sein dudit jeu de données uniquement lorsqu’un niveau de récompense prédéterminé est atteint. Procédé selon la revendication 7, caractérisé en ce que ladite étape d’entrainement (12) comprend une étape curative de traitement manuel ou automatique dudit jeu de données (JD), préalablement à ladite étape de consolidation (122). Dispositif de mise à jour d’un modèle opérationnel courant d’un premier équipement d’un réseau de communication, consécutivement à une modification d’au moins une fonction logicielle d’un deuxième équipement dudit réseau de communication, avec lequel le premier équipement est interfacé, ledit dispositif étant caractérisé en ce qu'il comprend, au sein dudit premier équipement : - des moyens de réception d’au moins une donnée d’accès à une réplique numérique dudit deuxième équipement, ladite réplique numérique implémentant ladite fonction logicielle modifiée ; - des moyens d’entrainement d’un modèle expérimental associé audit premier équipement, en fonction de données échangées entre ledit premier équipement et ladite fonction logicielle modifiée implémentée par ladite réplique numérique, délivrant à l’issue dudit entrainement un modèle opérationnel actualisé ; - des moyens de déploiement dudit modèle opérationnel actualisé en tant que nouveau modèle opérationnel courant dudit premier équipement. Produit programme d’ordinateur téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, caractérisé en ce qu’il comprend des instructions de code de programme pour l’exécution d'un procédé selon l'une quelconque des revendications 1 à 9, lorsqu’il est exécuté par un ordinateur.