Brevet FR3159462A1 — publié le 20250822

Procédé de détermination d’une séquence temporelle optimisée de déplacements à effectuer par au moins une entité pour atteindre un ensemble d’emplacements prédéterminés. L’invention se rapporte à un procédé de détermination d’une séquence temporelle optimisée de déplacements à effectuer par au moins une entité pour atteindre un ensemble d’emplacements prédéterminés. Un tel procédé comprend : - l’instanciation (11) d’un environnement d’apprentissage par renforcement, en fonction de données de localisation desdits emplacements, de données temporelles associées à une période temporelle prédéfinie, et de données de contraintes comprenant au moins une contrainte temporelle ; - une phase d’entrainement (12) de type apprentissage par renforcement, dans laquelle un agent est entrainé à générer une séquence temporelle de déplacements à effectuer par ladite au moins une entité pour atteindre ledit ensemble d’emplacements prédéterminés sur ladite période temporelle prédéfinie en respectant lesdites contraintes, sur la base d’au moins un échange de données entre ledit agent et ledit environnement ; - une phase d’inférence (13), dans laquelle ledit agent entrainé est utilisé pour délivrer ladite séquence temporelle optimisée. Figure d’abrégé : Figure 1 Procédé de détermination d’une séquence temporelle optimisée de déplacements à effectuer par au moins une entité pour atteindre un ensemble d’emplacements prédéterminés. L’invention se situe dans le domaine de l’optimisation de la mise à disposition de ressources (humaines, matérielles) à différentes localisations géographiques. Plus particulièrement, l’invention se rapporte aux problématiques d’optimisation de trajets à effectuer pour visiter un ensemble de localisation, en présence de contraintes prédéfinies variées (temporelles, métiers, etc.). Art antérieur Le problème de routage de véhicules (en anglais, « V ehicle R outing P roblem » ou VRP) est un problème d’optimisation classique qui consiste à identifier les meilleurs itinéraires à emprunter par un ensemble de véhicules ou d’objets voire de messages qui doivent passer par un ensemble de lieux prédéterminés. Ce qui est entendu par « meilleurs itinéraires » correspond généralement à l’ensemble d’itinéraires qui permet de minimiser la distance totale parcourue par l’ensemble des véhicules, ou de minimiser le temps total passé par l’ensemble des véhicules pour visiter l’ensemble des lieux prédéterminés (chaque lieu devant en général avoir été visité au moins une fois par au moins un des véhicules). Lorsque qu’un tel problème intègre en plus certaines contraintes temporelles, il est alors connu sous le nom de « problème de routage de véhicule s avec fenêtres temporelles » (en anglais, « Vehicle Routing Problems with Time Windows » ou VRPTW). La résolution de ce type de problème présente un intérêt pour de nombreux acteurs (entreprises, organisations, etc.), par exemple lorsqu’il s’agit d’établir des agendas (ou plannings) d’intervention de techniciens ou plus globalement de visiteurs chez des clients, qui doivent tenir compte d’éventuelles périodes d’indisponibilités de certains techniciens et/ou de certains clients à visiter sur des plages horaires préalablement identifiées (e.g. en cas d’absence ponctuelle communiquée à l’avance d’un client de son domicile, en cas d’existence d’une réunion planifiée à laquelle un technicien doit assister, etc.). Des outils d’optimisation permettant de faciliter la résolution du problème de routage de véhicules avec fenêtres temporelles existent, tels que ceux proposées dans la suite logicielle OR-Tools développée par Google™ par exemple. Ces solutions existantes présentent toutefois des limites lorsque des contraintes particulières, comprenant des contraintes temporelles plus spécifiques ou d’autres types de contraintes, sont à prendre en considération. Par exemple, dans certains domaines tels que celui des télécommunications ou de la fourniture d’énergie, certains types d’interventions sont susceptibles de requérir l’utilisation de matériel particulier et/ou la présence simultanée (i.e. sur un même créneau horaire) sur site de plusieurs techniciens. Ainsi, une intervention en hauteur (e.g. au sommet d’un poteau ou en façade d’un immeuble de plusieurs étages) peut nécessiter qu’un équipement de type nacelle soit disponible et que deux techniciens soient présents (au lieu d’un pour une intervention plus classique), et il est donc nécessaire de tenir compte également de ces contraintes métiers particulières lors de l’établissement de l’agenda quotidien d’interventions des techniciens. De manière générale, il a été constaté que de telles contraintes spécifiques, temporelles ou métiers, sont mal gérées par les outils actuels d’optimisation. D’une part elles sont difficiles à intégrer dans ces outils qui restent relativement génériques, cette difficulté découlant notamment du grand nombre et de la diversité des types de contraintes métiers susceptibles d’être rencontrés. D’autre part, même lorsqu’un moyen de les modéliser dans l’outil est identifié et mis en œuvre, la hausse de complexité engendrée par leur présence dégrade de manière importante les performances de ces outils existants, et ceux-ci ne produisent plus de solutions optimales au problème posé. Il existe donc un besoin pour une solution permettant de mieux gérer la prise en compte de contraintes disparates dans les problèmes de type routage de véhicules avec fenêtres temporelles. La présente technique permet de proposer une solution visant à remédier à certains inconvénients de l’art antérieur. Selon un aspect, la présente technique se rapporte en effet à un procédé de détermination d’une séquence temporelle optimisée de déplacements à effectuer par au moins une entité pour atteindre un ensemble d’emplacements prédéterminés. Un tel procédé est mis en œuvre par un dispositif électronique, et il comprend : - l’instanciation d’un environnement d’apprentissage par renforcement, en fonction de données de configuration fournies en entrée dudit dispositif électronique, lesdites données de configuration comprenant des données de localisation desdits emplacements, des données temporelles associées à une période temporelle prédéfinie pour la mise en œuvre desdits déplacements, et des données de contraintes comprenant au moins une contrainte temporelle ; - une phase d’entrainement de type apprentissage par renforcement, dans laquelle au moins un agent instancié par ledit dispositif électronique est entrainé à générer au moins une séquence temporelle de déplacements à effectuer par ladite au moins une entité pour atteindre ledit ensemble d’emplacements prédéterminés sur ladite période temporelle prédéfinie en respectant lesdites contraintes, sur la base d’au moins un échange de données entre ledit au moins un agent et ledit environnement ; - une phase d’inférence, dans laquelle ledit au moins un agent entrainé est utilisé pour délivrer ladite séquence temporelle optimisée. De cette manière, la présente technique propose une solution astucieuse reposant sur des techniques d’apprentissage par renforcement pour déterminer une séquence temporelle optimisée de déplacements à effectuer par au moins une entité pour atteindre un ensemble d’emplacements prédéterminés. Une telle solution est notamment flexible et efficace pour la résolution d’un problème réputé complexe. Plus particulièrement, elle est flexible dans la mesure où elle permet d’intégrer de manière simple de multiples contraintes, notamment temporelles, à prendre en compte. Elle est efficace dans la mesure où l’approche proposée, de type essai-et-erreur, permet d’explorer un large éventail de solutions possibles à ce problème, et d’entrainer ainsi un modèle à identifier les solutions les plus optimales à ce problème. Dans un mode de réalisation particulier, ladite au moins une contrainte temporelle comprend des données représentatives d’une indisponibilité d’au moins une de ladite au moins une entité et/ou d’au moins un desdits emplacements sur au moins une tranche temporelle de ladite période temporelle prédéfinie. De cette manière, des contraintes temporelles fréquemment rencontrées dans des opérations d’établissement d’agenda, à savoir l’indisponibilité sur certains créneaux temporels d’un ou plusieurs acteurs et/ou ressources impliqués dans les activités objet de l’agenda, sont facilement prises en compte pour la détermination d’une séquence temporelle optimisée de déplacements selon la présente technique. Dans un mode de réalisation particulier, lesdites données de contraintes comprennent en outre au moins une contrainte additionnelle. Selon une caractéristique particulière, ladite au moins une contrainte additionnelle est associée à une activité objet desdits déplacements. De cette manière, la technique proposée permet la prise en compte de manière simple de contraintes supplémentaires potentiellement nombreuses et variées, voire hétérogènes, comprenant par exemple des contraintes métiers très spécifiques à une activité donnée. Dans un mode de réalisation particulier, ledit au moins un échange de données entre ledit au moins un agent et ledit environnement comprend : - l’émission, par ledit au moins un agent, de données d’action à destination dudit environnement d’apprentissage, lesdites données d’action étant représentatives d’une localisation envisagée suivante de ladite au moins une entité par rapport à une localisation courante de ladite au moins une entité dans la séquence temporelle de déplacement générée ; - la réception, par ledit au moins un agent, en réponse à ladite émission, de données d’état et de données de récompense en provenance dudit environnement d’apprentissage ; les données d’actions successives émises à destination dudit environnement d’apprentissage dans le cadre dudit au moins un échange étant déterminées de manière à tendre à maximiser les données de récompenses reçues. De cette manière, la technique proposée permet d’explorer et tester, sans impact opérationnel, un grand nombre de séquences de déplacement, et apprendre ainsi à identifier les meilleures séquences temporelles de déplacements permettant aux différentes entités d’atteindre l’ensemble des emplacements prédéterminés sur une période temporelle prédéfinie considérée. Dans un mode de réalisation particulier, ladite phase d’entrainement comprend l’entrainement d’une pluralité d’agents, et ladite phase d’inférence comprend la délivrance par une pluralité desdits agents entrainés d’une pluralité de séquences temporelles de déplacements candidates, et la sélection de ladite séquence temporelle optimisée de déplacements parmi ladite pluralité de séquences temporelle de déplacements candidates, en fonction de données de récompense associées à chacune desdites séquences temporelle de déplacements candidates. De cette manière, les performances du procédé selon la présente technique sont encore augmentées, par la possibilité de bénéficier lors de la phase d’inférence des capacités d’un groupe d’agents pré-entrainés plutôt que d’un seul agent. Selon une caractéristique particulière de ce mode de réalisation, les agents de ladite pluralité d’agents sont entrainés de manière séquentielle. De cette manière, l’entrainement d’une pluralité d’agent ne nécessite pas de ressources matérielles importantes (en termes de processeurs, de mémoires, etc.) et peut être mise en œuvre sur des dispositifs électroniques aux capacités techniques modestes. Plus particulièrement, les ressources matérielles nécessaires à l’entrainement d’un seul agent sont suffisantes pour l’entrainement de plusieurs agents, seule la durée nécessaire à l’entrainement étant augmentée. Dans un mode de réalisation particulier, ladite phase d’entrainement comprend la mise en œuvre d’une pluralité d’épisodes successifs d’entrainement, un nombre croissant de contraintes parmi un ensemble de contraintes définies par lesdites données de contraintes étant progressivement ajouté pour la configuration desdits épisodes, au fur et à mesure de la mise en œuvre desdits épisodes successifs, jusqu’à atteindre la totalité desdites contraintes définies par lesdites données de contraintes. De cette manière, l’apprentissage est progressif, ce qui permet d’obtenir à terme un modèle plus précis que si toutes les contraintes avaient été introduites dès le début de l’apprentissage. Dans un mode de réalisation particulier, ledit procédé comprend, préalablement à ladite phase d’entrainement de type apprentissage par renforcement, une phase d’apprentissage hors ligne comprenant un entrainement dudit au moins un agent au moyen d’une base d’apprentissage comprenant des données représentatives d’une pluralité de séquences temporelles de déplacements préexistantes. De cette manière, une phase d’apprentissage par imitation est mise en œuvre préalablement à la phase d’apprentissage par renforcement. La pré-modélisation de l’agent ainsi obtenue sur la base de séquences temporelles de déplacements préexistantes permet la mise en œuvre subséquente d’une phase apprentissage par renforcement plus rapide et plus efficace, dans la mesure où elle a pour point de départ un modèle déjà préformé et non pas un modèle vierge. Selon une caractéristique particulière de ce mode de réalisation, ledit procédé comprend une boucle de rétroaction utilisée pour compléter ladite base d’apprentissage avec des données représentatives de ladite séquence temporelle optimisée délivrée durant ladite phase d’inférence. De cette manière, l’expérience d’un superviseur humain en charge de contrôler et éventuellement adapter les séquences temporelles délivrées par le dispositif électronique, ou encore les retours d’expérience terrains et notamment la gestion d’impondérables, peuvent être pris en compte par réinjection des séquences temporelles modifiées correspondantes dans le système, contribuant ainsi à enrichir encore l’apprentissage par un agent. En outre, la mise en œuvre d’une telle boucle de rétroaction peut également être mise à profit pour identifier en temps réel et/ou de manière continue une séquence temporelle optimisée de déplacements restant à effectuer, par exemple lorsque la réalité du terrain impose des écarts avec une séquence temporelle de déplacements initialement déterminée. Selon un autre aspect, la présente technique se rapporte à un dispositif électronique de détermination d’une séquence temporelle optimisée de déplacements à effectuer par au moins une entité pour atteindre un ensemble d’emplacements prédéterminés. Un tel dispositif comprend : - des moyens d’instanciation d’un environnement d’apprentissage par renforcement, en fonction de données de configuration fournies en entrée dudit dispositif électronique, lesdites données de configuration comprenant des données de localisation desdits emplacements, des données temporelles associées à une période temporelle prédéfinie pour la mise en œuvre desdits déplacements, et des données de contraintes comprenant au moins une contrainte temporelle ; - des moyens de mise en œuvre d’une phase d’entrainement de type apprentissage par renforcement, dans laquelle au moins un agent instancié par ledit dispositif électronique est entrainé à générer au moins une séquence temporelle de déplacements à effectuer par ladite au moins une entité pour atteindre ledit ensemble d’emplacements prédéterminés sur ladite période temporelle prédéfinie en respectant lesdites contraintes, sur la base d’au moins un échange de données entre ledit au moins un agent et ledit environnement ; - des moyens de mise en œuvre d’une phase d’inférence, dans laquelle ledit au moins un agent entrainé est utilisé pour délivrer ladite séquence temporelle optimisée. Un tel dispositif électronique peut bien sûr présenter les différentes caractéristiques relatives au procédé de détermination selon l’invention, qui peuvent être combinées ou considérées isolément. Ainsi, les caractéristiques et avantages de ce dispositif sont les mêmes que ceux du procédé de détermination d’une séquence temporelle optimisée de déplacements, et ne sont pas détaillés plus amplement. Selon un autre aspect, la technique proposée se rapporte également à un produit programme d'ordinateur téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, comprenant des instructions de code de programme pour l’exécution d'un procédé de détermination d’une séquence temporelle optimisée de déplacements tel que décrit précédemment dans l’un quelconque de ses modes de réalisation, lorsqu’il est exécuté sur un ordinateur. La technique proposée vise également un support d’enregistrement lisible par un ordinateur sur lequel est enregistré un programme d’ordinateur comprenant des instructions de code de programme pour l’exécution des étapes du procédé tel que décrit précédemment, dans l’un quelconque de ses modes de réalisation. Un tel support d'enregistrement peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple une clé USB ou un disque dur. D'autre part, un tel support d'enregistrement peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens, de sorte que le programme d’ordinateur qu’il contient est exécutable à distance. Le programme selon l'invention peut être en particulier téléchargé sur un réseau, par exemple le réseau Internet. Les différents modes de réalisation mentionnés ci-dessus sont combinables entre eux pour la mise en œuvre de l'invention. Figures D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante d’un mode de réalisation préférentiel, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels : FIG. 1 illustre le principe général d’un procédé de détermination d’une séquence temporelle optimisée de déplacements à effectuer par au moins une entité pour atteindre un ensemble d’emplacements prédéterminés, dans un mode de réalisation particulier de la technique proposée ; FIG. 2 présente un exemple de cartographie illustrant des localisations d’emplacements à atteindre, dans un dans un mode de réalisation particulier de la technique proposée ; FIG. 3 présente les échanges de données réalisés entre un agent et un environnement d’apprentissage par renforcement pour un entrainement dudit agent, dans un mode de réalisation particulier de la technique proposée ; FIG. 4 présente un exemple de séquence temporelle de déplacements exploré durant une phase d’entrainement ou délivré en sortie d’une phase d’inférence, dans un mode de réalisation particulier de la technique proposée ; FIG. 5 décrit une architecture simplifiée d’un dispositif électronique pour la mise en œuvre de la technique proposée, dans un mode de réalisation particulier. Description détaillée de l’invention La présente demande permet de remédier à certains des inconvénients précités. Sur toutes les figures du présent document, les éléments et étapes de même nature sont désignés par une même référence. Selon un premier aspect, la présente technique se rapporte à un procédé de détermination d’une séquence temporelle optimisée de déplacements à effectuer par au moins une entité pour atteindre un ensemble d’emplacements prédéterminés. Une entité au sens de l’invention peut par exemple correspondre à un objet ou un élément, physique ou virtuel, susceptible de se déplacer (par exemple un véhicule, un outil robotisé, un message dans un réseau, etc.), ou encore à une personne (par exemple un technicien ou un artisan devant intervenir sur des chantiers). Selon les applications considérées de la présente technique, les emplacements prédéterminés peuvent par exemple correspondre à différentes zones d’un objet sur lequel intervenir (par exemple un objet à réparer ou à manufacturer), ou encore à des lieux géographiques correspondant à des lieux de chantier ou d’interventions à réaliser, à des lieux de stockage de matériel, à des lieux où des personnes sont domiciliées, à des adresses où sont accessibles des fonctions virtualisées, etc. La présente technique vise plus précisément à déterminer des trajets optimaux à parcourir par ces entités afin que tous les emplacements prédéterminés soient visités par au moins une d’entre elles, tout en respectant des contraintes prédéfinies (par exemple temporelles, spatiales, métiers, etc.). Par « trajets optimaux », on entend par exemple ceux qui permettent de minimiser un coût pour que tous les emplacements soient traités (i.e. visités), ce coût pouvant par exemple être exprimé en distance totale parcourue par les entités, en temps total passés par les entités, en coût financier, ou à l’aide de toute autre métrique d’intérêt pour l’utilisateur de la technique proposée. Dans la suite du document, la solution est majoritairement décrite dans le contexte de la génération d’un agenda (ou « planning », en anglais) destiné à planifier une période d’interventions, typiquement la prochaine journée de travail, de techniciens chez des clients. Le but d’un tel agenda est d’ordonnancer les interventions des techniciens, de manière à ce qu’ils sachent à quelle localisation se rendre à chaque moment de leur journée de travail, l’agenda généré devant par ailleurs respecter un ensemble de contraintes prédéfinis (par exemple la nécessité pour un technicien de devoir passer par un entrepôt pour récupérer un matériel particulier requis pour une intervention subséquente, la nécessité de coordonner les déplacements de plusieurs techniciens afin qu’ils se retrouvent chez un même client à un créneau horaire donné lorsque l’intervention chez ce client ne peut être réalisée par un seul technicien, la prise en compte de l’indisponibilité de certains clients et/ou techniciens sur certains créneaux horaires, etc.). Un tel exemple d’utilisation est cependant purement illustratif et non limitatif, et la présente technique peut également être mise en œuvre dans de nombreux autres contextes (par exemple pour coordonner et optimiser le déplacement d’une pluralité d’outils vers une pluralité de zones ou emplacements à traiter d’une pièce à réparer et/ou à manufacturer sur une chaine de production robotisée, etc.). Un autre exemple d’utilisation de la technique proposée est fourni ultérieurement, en relation avec l’optimisation de l’acheminement de messages dans un réseau de communication. Le principe général du procédé proposé de détermination d’une séquence temporelle optimisée de déplacements à effectuer par au moins une entité pour atteindre un ensemble d’emplacements prédéterminés est illustré en relation avec la FIG. 1 , dans un mode de réalisation particulier. Ce procédé est mis en œuvre au sein d’un dispositif électronique décrit ultérieurement dans le présent document. Dans une étape 11, un environnement d’apprentissage par renforcement est instancié par le dispositif électronique, en fonction de données de configuration fournies en entrée de ce dispositif. De telles données peuvent par exemple, pour tout ou partie, être saisies par un opérateur humain au moyen d’une interface homme-machine mise à disposition par le dispositif électronique, ou encore être obtenues de manière automatique auprès de diverses sources de données via un réseau de communication auquel le dispositif électronique est connecté. Ces données de configuration comprennent des données de localisations, des données temporelles, et des données de contraintes, détaillées ci-après. Selon une analogie avec le domaine du jeu couramment utilisée pour présenter les techniques d’apprentissage par renforcement, les données de localisation et les données temporelles peuvent être perçues comme représentatives d’un environnement de jeu, tandis que les données de contrainte définissent en quelque sorte les règles de ce jeu. Plus particulièrement, les données de localisations définissent, dans un référentiel géographiques donné, les coordonnées (par exemple sous forme de données de longitude et de latitude, d’abscisses et d’ordonnées, etc.) de divers emplacements d’intérêt, comprenant notamment des emplacements cibles prédéterminés à atteindre par les entités dans le cadre d’une activité donnée (en d'autres termes, pour reprendre l’analogie précédente, dans le cadre du « jeu »), et des emplacements additionnels d’importance tels par exemple que les emplacements de départ de ces entités, des emplacements où certaines ressources (e.g. matérielles) sont disponibles, etc. Dans le contexte où la technique proposée est utilisée pour planifier des interventions de techniciens chez des clients, ces emplacements d’intérêt correspondent aux emplacements possibles auxquelles pourront se rendre les techniciens au cours de leurs déplacements. Comme illustré sur la FIG. 2 , qui présente un exemple de cartographie de tels emplacements, les données de localisation comprennent alors par exemple les coordonnées géographiques des dépôts de l’entreprise qui emploie les techniciens (un dépôt D dans l’exemple de la FIG. 2 , où les techniciens peuvent par exemple récupérer ou déposer du matériel spécifique, par exemple une nacelle pour intervenir en hauteur), des domiciles des techniciens (deux domiciles E1 et E2 l’exemple de la FIG. 2 ), et des domiciles des clients où intervenir (six lieux d’intervention C1 à C6 dans l’exemple de la FIG. 2 ), le tout pour une zone géographique ZG donnée (par exemple le périmètre d’un arrondissement, d’une ville, d’un canton, etc.). Selon une caractéristique particulière, de telles données de localisations peuvent comprendre ou être utilisées pour consolider une table des distances entre les emplacements d’intérêt, faisant également office de donnée de configuration lors de l’instanciation de l’environnement d’apprentissage par renforcement. Les distances présentes au sein de cette table peuvent être exprimées de diverses manières, par exemple en durée moyenne nécessaire pour rallier deux emplacements, en distance kilométrique, en coût monétaire, etc. Les distances entre chaque couple d’emplacements peuvent être obtenue directement à partir des coordonnées de ces emplacements. Ces distances peuvent par exemple être automatiquement acquises en provenance de programmes logiciels de type « heure d’arrivée prévue » (ou « Estimation of Time Arrival », ETA, en anglais »), tel que Google Maps™ par exemple. Les données temporelles définissent pour leur part une période temporelle totale sur laquelle l’ensemble des déplacements doit avoir été opéré (également dénommée période temporelle d’opération dans la suite du document), ainsi éventuellement qu’un découpage de cette période temporelle en unité de temps élémentaires (e.g. en tranches ou créneaux horaire). Dans le contexte où la technique proposée est utilisée pour planifier des interventions de techniciens chez des clients, la période temporelle d’opération considérée correspond par exemple typiquement à une journée de travail (e.g. s’étendant de 8h du matin à 18h le soir), découpée en créneaux d’une demi-heure ou d’une heure (e.g. créneau 1 de 8h à 8h30, créneau 2 de 8h30 à 9h, créneau 3 de 9h à 9h30, etc.) pouvant par exemple correspondre à des créneaux de passages dans les emplacements D, E1, E2, C1à C6 cités ci-dessus. Enfin, les données de contraintes définissent un ensemble de contraintes à respecter, dont l’existence a un impact pour la détermination de la séquence temporelle optimisée de déplacements à effectuer par les différentes entités. Dans le cadre de la présente technique, ces contraintes comprennent au moins une contrainte temporelle associée à au moins une entité ou à moins un des emplacements. Dans certains modes de réalisation particuliers, ces contraintes comprennent en outre au moins une contrainte additionnelle associée à une activité objet des déplacements des différentes entités. Dans le contexte où la technique proposée est utilisée pour planifier des interventions de techniciens chez des clients, les contraintes temporelles peuvent concerner indifféremment des techniciens (e.g. les entités) et/ou des clients (e.g. les emplacements). Ces contraintes temporelles prennent par exemple la forme de contraintes d’agenda, représentatives d’une indisponibilité d’au moins un client et/ou d’au moins un technicien sur un ou plusieurs créneaux horaires donnés, ou encore des contraintes d’ordre de visite, etc. Les contraintes additionnelles sont typiquement des contraintes métiers, associées par exemple à la nécessité d’avoir accès à certaines ressources – un matériel ou outillage spécifique, une qualification particulière (e.g. un permis de conduire pour un type de véhicule particulier, une compétence particulière, etc.), un nombre de techniciens minimum pour réaliser l’intervention, etc. – au moment où une intervention doit avoir lieu sur certains emplacements cibles prédéterminés. L’obtention de ces données de configuration par le dispositif électronique est généralement effectuée en amont de la période temporelle d’opération, durant laquelle les déplacements doivent être effectués. Typiquement, l’acquisition de ces données a par exemple lieu quelques heures avant la période temporelle à planifier (par exemple la veille de la journée de travail à planifier), afin de laisser le temps au dispositif électronique de mettre en œuvre les phases d’entrainement 12 et d’inférence 13 décrites ci-après pour délivrer une séquence temporelle optimisée de déplacements à effectuer par les différentes entités, et éventuellement de laisser le temps à un superviseur humain de vérifier la pertinence de la séquence temporelle ainsi déterminée. Dans une étape 12, une phase d’entrainement de type apprentissage par renforcement est mise en œuvre au moyen de l’environnement d’apprentissage configuré en étape 11. Durant cette phase, au moins un agent instancié par ledit dispositif électronique est entrainé à générer des séquences temporelles de déplacements à effectuer par au moins une entité pour atteindre l’ensemble des emplacements prédéterminés sur la période temporelle prédéfinie, tout en respectant les contraintes temporelles et les contraintes additionnelles préalablement fixées. Chaque tentative de génération (ou exploration) par un agent d’une telle séquence temporelle de déplacements durant la phase d’entrainement peut être qualifiée d’ épisode , selon une terminologie courante employée dans le domaine de l’apprentissage par renforcement. La phase d’entrainement 12 comprend généralement la mise en œuvre d’une multitude d’épisodes (de plusieurs dizaines à plusieurs milliers). Plus particulièrement, durant cette phase d’entrainement par apprentissage par renforcement, selon une approche de type essai-et-erreur, de multiples échanges de données sont réalisés entre l’agent et l’environnement d’apprentissage, dans une perspective de large exploration des résultats obtenus en réponse à différents enchainements d’actions correspondant à des séquences temporelles de déplacements testées. Chacun de ces échanges comprend, selon le vocabulaire usuel en matière d’apprentissage par renforcement et comme illustré en relation avec la FIG. 3 : - l’émission, par un agent AG, de données d’action D_ACT à destination de l’environnement d’apprentissage ENV ; - la réception, par l’agent AG, en réponse à l’émission desdites données d’action, de données d’état D_ETA et de données de récompense D_REC en provenance de l’environnement d’apprentissage ENV. Les données d’état D_ETA sont représentatives d’un nouvel état de l’environnement d’apprentissage par renforcement ENV, résultant de l’action effectuée sur cet environnement via les données d’action D_ACT. Les données de récompense D_REC sont représentatives d’une ou plusieurs métriques d’efficacité de l’action effectuée sur l’environnement ENV, au regard de l’objectif visé, à savoir la détermination d’une séquence temporelle optimisée de déplacements à effectuer par au moins une entité pour atteindre l’ensemble des emplacements cibles prédéterminés tout en respectant les contraintes fixées (i.e. les contraintes temporelles et possiblement les contraintes additionnelles spécifiques métier, ainsi éventuellement que tout autre type de contraintes prédéfinies). Les actions successives émises à destination de la réplique numérique sont déterminées par un algorithme de renforcement, de manière à tendre à maximiser au cours d'un épisode la somme pondérée des données de récompense D_REC reçues en réponse à ces actions. Dans un mode de réalisation particulier de la présente technique, à partir d’une position géographique initiale des différentes entités, on associe par exemple successivement à chaque créneau horaire (ou tranche temporelle) de la période temporelle d’opération une localisation des différentes entités au regard des différents emplacements disponibles, comme illustré ultérieurement en relation avec la FIG. 4 . Les données d’action D_ACT transmises par un agent à l’environnement d'apprentissage ENV comprennent alors un ensemble de données représentatives de l’emplacement où doit se rendre chaque entité au créneau horaire suivant (ou à la tranche temporelle suivante) (étant entendu qu’une absence de déplacement, c’est-à-dire le fait pour une entité de rester positionnée à son emplacement actuel, est une option disponible). En d'autres termes, via les données d’action D_ACT, l’agent AG indique à l’environnement d'apprentissage ENV le prochain emplacement où doit se rendre chaque entité. Les données d’action sont ainsi représentatives d’une localisation envisagée suivante de chaque entité vis-à-vis de sa localisation courante dans la séquence temporelle de déplacement en train d’être générée (i.e. explorée). Comme décrit précédemment, différentes informations, délivrées par l’algorithme de renforcement, sont alors obtenues par l’agent AG, en réponse à la modification de l’environnement ENV découlant de la mise en œuvre de l’action définie par les données d’action D_ACT. En premier lieu, des données de récompense (« reward » en anglais) D_REC sont calculées. Ces données de récompense prennent typiquement la forme d’une simple valeur numérique r , typiquement un nombre réel, somme de différentes valeurs de récompense (valeurs positives) et/ou de punition (valeurs négatives) associées aux nouvelles localisations des entités, telles que définies par les données d’action D_ACT. Par exemple, la valeur r peut être le résultat d’une somme r = α + β + γ + δ + ε, dans laquelle : - la valeur du paramètre α est une valeur négative (i.e. une punition) ajoutée à chaque créneau horaire afin d’inciter l’agent à arriver le plus vite possible à la fin d’un épisode, c’est-à-dire à faire en sorte de trouver une solution pour que tous les emplacements cibles soient visités en le moins de « coups » (i.e. de temps écoulé, par exemple évalué en nombre de créneaux horaires requis) possibles ; - la valeur du paramètre β est une valeur négative (i.e. une punition) proportionnelle à la somme des distances entre ancienne et nouvelle localisation de chaque entité, de manière à favoriser les déplacements les plus courts possibles pour chaque entité ; - la valeur du paramètre γ est une valeur positive (i.e. une récompense) de valeur moyenne attribuée à chaque fois qu’un emplacement cible est visité pour la première fois avec succès (c’est-à-dire, sans enfreindre une des contraintes prédéfinies) par une entité ; - la valeur du paramètre δ est une grande valeur négative (i.e. une punition importante) attribuée à chaque fois que la nouvelle localisation d’une entité génère le non-respect d’une des contraintes prédéfinies (autrement dit, la nouvelle localisation enfreint les règles du jeu), telles que par exemple une deuxième visite d’un emplacement cible déjà visité sur un créneau horaire précédent, une visite d’un emplacement cible sur un créneau horaire correspondant à une indisponibilité d’un client associé, une visite d’un emplacement cible ne respectant pas des conditions de ressources humaine et/ou matérielle requise pour l’intervention (e.g. la nécessité que deux techniciens soient présents, la nécessité que le technicien présent dispose d’une qualification particulière, la nécessité d’un équipement ou outillage particulier tel qu’une nacelle, etc.) ; - la valeur du paramètre ε est une grande valeur positive (i.e. une récompense importante) attribuée lorsque tous les emplacements cibles ont été visités avec succès (avec éventuellement la condition optionnelle supplémentaire, selon le contexte d’utilisation, que les entités soient également revenues à leurs position initiales ou à une position prédéfinie, ce qui peut se traduire, dans le cadre de l’exemple majoritairement décrit dans le présent document, par le fait que tous les clients ont bien reçu la visite de techniciens, et que ces derniers sont bien rentrés à leur domiciles respectifs ou au dépôt de l’entreprise qui les emploie à la fin de leur tournée). L’exemple précédent est bien entendu donné à titre purement illustratif et non limitatif, d’autres paramètres (valeurs positives de récompenses ou valeurs négatives de punitions) pouvant être pris en compte pour le calcul des données de récompense D_REC que l’agent cherche à maximiser au cours de chaque épisode. En deuxième lieu, des données d’état D_ETA (ou « observation ») sont délivrées, afin de permettre à l’agent AG d’obtenir une vue au moins partielle de l’état de l’environnement d'apprentissage ENV (autrement dit, pour reprendre l’analogie précédemment introduite, de l’état du jeu) suite à la mise en œuvre d’une action. De telles données comprennent par exemple : - la table des distances entre les emplacements ; - la distance totale parcourue par chaque entité ; - l’état visité ou non de chaque emplacement ; - une table des ressources nécessaire associées à chaque emplacement ; - une table des ressources disponibles à chaque emplacement ; - un agenda des contraintes temporelles associées à chaque emplacement ; - un agenda des contraintes temporelles associées à chaque entité ; - etc. Par ailleurs, un booléen – faisant éventuellement partie des données d’état D_ETA – est également renvoyé à l’agent AG, afin de lui indiquer si l’épisode en cours est dans un état « épisode fini » ou « épisode non-fini ». Ce booléen prend plus particulièrement une valeur représentative d’un épisode fini pour marquer ce qui peut être assimilé à une fin de jeu ou de partie. Ainsi, il prend par exemple la valeur « épisode fini » : - lorsque tous les emplacements ont été visités avec un respect globalement satisfaisant des contraintes imposées (par exemple avec un niveau de récompense D_REC atteint supérieur à un seuil prédéterminé) et éventuellement que toutes les entités sont revenues à leur positions initiales (cas d’une partie considérée comme « gagnée ») ; ou - lorsqu’un nombre trop important de contraintes n’ont pas été respectées, par exemple parce que tous les emplacements n’ont pas pu être visités dans un temps limite imparti correspondant à la période temporelle d’opération prédéfinie, ou encore parce qu’une valeur de récompense associée aux données de récompense D_REC n’a pas atteint ou est passée sous un certain seuil critique prédéterminé à cause de l’accumulation d’un trop grand nombre de punitions dues au non-respect de certaines contraintes (notamment temporelles ou additionnelles métiers) ou à cause d’une politique de déplacement trop inefficace (cas d’une partie considérée comme « perdue »). Tant que le booléen n’est pas positionné à l’état « épisode fini » (autrement dit tant qu’il est à l’état « épisode non fini »), la partie n’est pas terminée, et l’agent peut transmettre de nouvelles données d’action D_ACT à l’environnement d'apprentissage ENV. Ainsi, à la fin de la phase d’apprentissage 12, au moins un agent a été entrainé sur un grand nombre d’épisodes – en d'autres termes, les poids d’un modèle associé à l’agent ont été progressivement ajustés au cours des épisodes – de manière à ce que l’agent soit en mesure de déterminer des séquences temporelles de déplacements aussi optimales que possibles pour atteindre un ensemble d’emplacements cibles prédéterminés tout en respectant des contraintes prédéfinies. Dans une étape 13, à l’issue de la phase d’entrainement, une phase d’inférence est mise en œuvre, dans laquelle au moins un agent entrainé en étape 12 est utilisé pour déterminer et délivrer la séquence temporelle optimisée de déplacements à effectuer par les différentes entités pour atteindre l’ensemble des emplacements cibles prédéterminés. Dans le contexte où la technique proposée est utilisée pour planifier des interventions de techniciens chez des clients sur une journée travaillée donnée, une telle phase d’inférence 13 est typiquement mise en œuvre la veille au soir ou tôt le matin de ladite journée de travail, afin de générer l’agenda des tournées (i.e. des interventions) à effectuer sur la journée par chacun des techniciens. Un exemple de séquence temporelle de déplacements exploré durant la phase d’entrainement 12 ou délivré en sortie de la phase d’inférence 13 est présenté en relation avec la FIG. 4 , dans un tel contexte de planification d’interventions de techniciens chez des clients. Cet exemple purement illustratif est basé sur des données de configuration similaires à celles de la FIG. 2 , à savoir la détermination d’un agenda pour la tournée de deux techniciens T1 et T2, domiciliés respectivement aux emplacements E1 et E2, devant intervenir au cours d’une journée de travail divisée en sept tranches horaires successives t1 à t7 aux domiciles C1 à C6 de six clients. L’entreprise qui emploie les techniciens T1 et T2 dispose par ailleurs d’un entrepôt D de stockage de matériel. Comme illustré sur la FIG. 4 , la séquence temporelle de déplacements définit pour chacun des techniciens T1 et T2, à chaque tranche horaire, sa position respective au regard de l’un des emplacements d’intérêt E1, E2, D, C1, C2, C3, C4, C5 ou C6. Selon l’agenda exploré (étape 12) ou délivré (étape 13), il est par exemple planifié que les techniciens T1 et T2 soient à leur domiciles E1 et E2 respectifs au premier créneau horaire t1 et au dernier créneau horaire t7 de la journée, et que tous les domiciles C1 à C6 des clients soient bien visités par au moins un des techniciens sur les créneaux horaires t2 à t5. Dans un l’exemple illustré, au moins une contrainte (ici respectée) porte sur l’intervention au domicile du client C2, à savoir par exemple une intervention longue, nécessitant au moins sur une partie de l’intervention la présence de deux techniciens et d’un dispositif de type nacelle. Aussi, selon l’agenda proposé, les deux techniciens T1 et T2 sont présents ensemble à l’emplacement C2 sur le créneau horaire t5, et du temps a été prévu pour que le technicien T1 récupère au préalable, au créneau horaire t4, la nacelle requise à l’entrepôt D de l’entreprise. Au créneau horaire t6, il est par exemple prévu que le technicien T2 finalise seul l’intervention au domicile du client C2 (caractérisant ainsi une absence de déplacement pour le technicien T2 entre les créneaux horaires t5 et t6), tandis que le technicien T1 se charge de ramener la nacelle, inutile pour cette deuxième partie de l’intervention, à l’entrepôt D de l’entreprise. À chacun des créneaux horaires t2 à t7 est par ailleurs associée une valeur de récompense D_REC, témoignant de la pertinence associée aux nouvelles localisations des techniciens T1 et T2 sur le créneau horaire considéré, par rapport à leurs localisations précédentes. Ces récompenses sont par exemple calculées selon les modalités présentées précédemment en relation avec la FIG. 3 , et leur somme sur l’ensemble des créneaux horaires permet d’évaluer la qualité de l’agenda produit au regard notamment du respect des contraintes prédéfinies fixées. Bien entendu d’autres modes de représentation qu’un tableau tel que présenté en FIG. 4 peuvent être utilisés dans le cadre de la présente technique pour communiquer à un utilisateur une séquence temporelle de déplacements selon la présente technique. À titre illustratif, une telle séquence peut également être représentée sous une forme cartographique, les déplacements déterminés pour chaque entité prenant alors la forme d’itinéraires tracés sur une carte du type de celle illustrée en relation avec la FIG. 2 par exemple. Dans des modes de réalisation particuliers, diverses approches présentées ci-après peuvent être adoptées, de manière optionnelle et éventuellement complémentaire, afin par exemple de rendre plus performant et/ou plus robuste le procédé de détermination d’une séquence temporelle optimisée de déplacements selon la présente technique. Selon une première approche, plutôt que de présenter le problème avec la totalité des contraintes à résoudre dès le début de l’entrainement, il est possible de mettre en œuvre des techniques d’entrainement à difficulté progressive (connues sous terme anglais « curriculum learning »). Selon cette approche, une augmentation progressive du niveau de difficulté est mise en œuvre durant la phase 12 d’entrainement de la FIG. 1 , au fur et à mesure que l’agent parvient à finir avec succès des épisodes. Autrement dit, de nouvelles contraintes sont ajoutées par pallier, à chaque fois que l’algorithme de renforcement de l’agent termine avec succès un nombre donné d’épisodes (i.e. atteint un seuil de récompense prédéterminé pour un nombre donné d’épisodes), et ceci jusqu’à ce que toutes les contraintes prédéfinies soient finalement intégrées. Une telle progressivité de l’apprentissage permet de converger plus vite et d’obtenir un modèle plus précis que si toutes les contraintes avaient été introduites dès le début de l’apprentissage. Selon une deuxième approche, des techniques de masquage conditionnel d’actions sont mises en œuvre durant la phase 12 d’entrainement, consistant à réduire le nombre des actions possibles (i.e. le champ des possibles) au fur et à mesure du déroulement d’un épisode. Par exemple, dans un mode de réalisation particulier, une technique de masquage consiste à configurer l’agent de sorte qu’il ne lui soit plus permis de visiter un emplacement qui a déjà été visité avec succès sur un créneau horaire précédent de l’épisode. De cette manière, l’apprentissage de l’agent est plus rapide, les actions possibles à explorer par l’agent diminuant au fil du temps du fait que certaines actions deviennent non disponibles sur certains créneaux horaires. Selon une troisième approche, il est proposé dans un mode de réalisation particulier d’instancier et d’entrainer non pas un seul agent durant la phase d’entrainement 12, mais une pluralité (i.e. au moins deux) agents. Lors de la phase d’inférence 13, une inférence est effectuée par chacun des agents ainsi préalablement entrainés, et la séquence retenue en tant que séquence temporelle optimisée de déplacements à effectuer est celle délivrée par l’agent ayant maximisé les données de récompenses obtenues lors de cette phase d’inférence. Une telle technique permet de bénéficier lors de la phase d’inférence des capacités d’un groupe d’agents pré-entrainés (plutôt que d’un seul agent), et de retenir au final la meilleure des séquences temporelles optimisées de déplacements déterminées par ces différents agents, augmentant ainsi les performances de la technique proposée. Selon une caractéristique particulière, durant la phase d’entrainement 12, les différents agents de la pluralité d’agents sont entrainés de manière séquentielle (i.e. les uns après les autres), afin de limiter le nombre de ressources nécessaires (en termes de puissance de calcul, de mémoire, etc.) pour réaliser l’entrainement, ce qui permet de mettre en œuvre la présente technique y compris sur des machines aux capacités potentiellement limitées. Selon une quatrième approche, le procédé comprend, préalablement à l’apprentissage par renforcement au cours de laquelle au moins un agent interagit avec l’environnement d’apprentissage, une phase d’apprentissage dite hors ligne durant laquelle l’agent n’interagit pas avec un tel environnement, mais apprend (i.e. ajuste progressivement les poids de son modèle) au moyen d’une base d’apprentissage fournie en entrée de l’agent. Plus particulièrement, cette phase d’apprentissage hors ligne AHL illustrée par l’étape optionnelle 10 de la FIG. 1 peut être qualifiée de phase d’apprentissage par imitation, visant à effectuer une pré-modélisation de l’agent sur la base de séquences temporelles de déplacements préexistantes (ou agenda préexistants) formant ladite base d’apprentissage. De telles séquences temporelles de déplacements préexistantes correspondent par exemple à des séquences identifiées par des opérateurs humains et fournies lors des opérations de configuration de la solution selon la présente technique, ou générées par des scripts élémentaires. Ces séquences temporelles de déplacements préexistantes ne correspondent pas nécessairement aux solutions les plus optimales, mais elles permettent à un agent auxquelles elles sont communiquées de ne pas commencer la phase apprentissage par renforcement – dite apprentissage en ligne AEL – de zéro, et donc lui permettre d’apprendre plus rapidement et de manière plus efficace. En d'autres termes, par analogie avec le domaine des jeux vidéo par exemple, un tel apprentissage préalable hors ligne AHL (étape 10 de la FIG. 1 ) permet par exemple à l’agent d’acquérir un niveau de jeu « humain », et l’apprentissage en ligne AEL subséquent (étapes 11 et 12 de la FIG. 1 ) permet ensuite de le faire progresser, par renforcement, jusqu’à atteindre un niveau de jeu assimilable à un niveau « surhumain ». De manière optionnelle, selon une caractéristique particulière et comme illustré sur la FIG. 1 , une boucle de rétroaction BR peut également être mise en œuvre dans ce cadre, afin d’alimenter de manière continue la base d’apprentissage utilisée pour l’apprentissage hors ligne avec des données issues de la mise en œuvre du procédé selon la présente technique. De telles données comprennent par exemple tout ou partie des séquences temporelles optimisées de déplacements délivrées à l’issue des phases d’inférences à chaque utilisation du procédé. Elles peuvent également comprendre des traces (ou logs) des séquences temporelles de déplacements ayant réellement eu lieu, autrement dit des interventions terrains. Ces séquences temporelles effectivement mises en œuvre sur le terrain peuvent en effet différer de manière plus ou moins importante de celles délivrées à l’issue de la phase d’inférence pour diverses raisons. La séquence temporelle optimisée délivrée à l’issue de la phase d’inférence peut par exemple avoir fait l’objet d’adaptations lors d’un contrôle par un superviseur humain avant sa mise en œuvre. Elle peut également avoir été modifiée sur le terrain même pour tenir compte d’impondérables, par exemple lorsque les techniciens en charge sont contraints d’adapter l’agenda initial pour faire face à des situations imprévues (phénomènes météo localisés, travaux sur la route, indisponibilité non communiquée d’un client, etc.). Certaines des solutions ainsi adaptées peuvent être sous-optimales, c’est à dire par exemple ne pas minimiser la durée totale écoulée pour visiter tous les emplacement et/ou la distance totale de trajets parcourue par la flotte de techniciens à cette fin, mais elles n’en constituent pas moins des données d’intérêt pour alimenter la base d’apprentissage et améliorer encore les performances du procédé selon la technique proposée. Selon une caractéristique particulière, lorsque les traces des séquences temporelles de déplacements réellement effectuées sont disponibles en temps réel ou quasi-temps réel, la boucle de rétroaction BR peut également être mise à profit pour identifier en temps réel et/ou de manière continue une séquence temporelle optimisée de déplacements restant à effectuer, notamment lorsque la réalité du terrain a imposé des écarts avec la séquence temporelle de déplacements initialement calculée. Dans un tel mode de réalisation, les entités disposent par exemple de moyens (e.g. des dispositifs ou des interfaces de communication) leur permettant d’échanger, via un réseau de communication, des messages de notifications avec le dispositif électronique en charge de mettre en œuvre le procédé de détermination de séquences temporelles optimisées de déplacements selon la présente technique. De cette manière, des techniciens peuvent ainsi par exemple remonter en temps réel au dispositif électronique des informations utiles comprenant notamment la confirmation que la visite d’un emplacement (e.g. d’un client) vient bien d’être effectuée avec succès conformément à l’agenda initialement prévu, ou au contrainte une information selon laquelle une visite initialement prévue à l’agenda ne peut finalement pas être assurée en temps et en heure pour un motif particulier qui peut être précisé dans le message. Dans ce deuxième cas, à réception de cette notification, le dispositif électronique peut alors déclencher sur la base de ces nouvelles informations la détermination d’une nouvelle séquence temporelle optimisée de déplacements, et communiquer cette séquence actualisée à l’ensemble des techniciens sur le terrain, pour prise en compte. La détermination d’une nouvelle séquence temporelle optimisée de déplacements actualisée peut également dans certaines situations être déclenchée à l’initiative du dispositif électronique même, ou à réception par ce dispositif d’informations en provenance d’autres sources de données que les entités (par exemple en cas de détection d’alertes ou de réception de messages d’alertes telles que des alertes météos, des alertes de congestion sur des points particuliers d’un réseau, etc.). Comme indiqué en début de document, bien que majoritairement décrite dans le contexte de la génération d’un agenda destiné à planifier les déplacements de techniciens chez des clients, la présente technique n’est pas limitée à ce cas d’utilisation, et elle peut être mise à profit dans de nombreux domaines variés. Dans un mode de réalisation particulier, elle peut ainsi par exemple être utilisée pour déterminer une séquence temporelle optimisée d’acheminement de messages au sein d’une infrastructure de réseau de communication, notamment dans le cadre de la mise en œuvre de fonctionnalités reposant sur des chainages de services, dans lesquels les services en question sont potentiellement hébergés à différents emplacements du réseau de communication, par exemple au sein de différents serveurs physiques et/ou de différentes machines virtuelles. Selon une caractéristique particulière, les messages sont par exemple représentatifs de tâches réseau à exécuter, qui doivent être traitées au sein des différents services, en tenant compte de contraintes temporelles (e.g. une tâche A doit être traitée avant une tâche B par un service donné, ce qui définit des contraintes portant sur l’ordre de réception d’au moins certains messages au sein de ce service), et d’éventuelles contraintes additionnelles (e.g. la tâche C doit impérativement faire l’objet d’un traitement par un service donné, qui est donc un point de passage obligé pour le message associé à cette tâche). En d'autres termes, la mise en œuvre de la présente technique permet alors de déterminer un agenda pour un acheminement optimal des différents messages au sein du réseau de communication, tout en tenant compte de contraintes spécifiques à ce type d’utilisation – par exemple la possibilité pour un même message d’être acheminé à plusieurs reprises à destination d’une même machine virtuelle, si le traitement général des tâches associées à ce message l’impose, mais l’interdiction pour une même machine virtuelle de traiter simultanément plusieurs messages différents – qui peuvent en ce sens être qualifiées de contraintes métier. Dans ce contexte, un « acheminement optimal » peut par exemple être entendu comme celui permettant de limiter l’empreinte carbone résultant de la gestion de ces messages au sein du réseau de communication et/ou de pouvoir assurer que le chainage de services respecte un certain délai correspondant par exemple à une exigence de qualité d’expérience pour un utilisateur. Ainsi, une application requérant une faible latence pourra nécessiter un chainage de services élémentaires ou de fonctions réseau exécuté dans un temps inférieur à une valeur représentative de la latence. Les différents types de données présentés dans le cadre de la présente technique – notamment les données de configuration, les données d’actions, les données d’état, et les données de récompense – sont alors adaptés à ce contexte. Par exemple, les données de récompense peuvent prendre en compte des valeurs de coûts carbone associés aux liens réseaux empruntés pour l’acheminement d’un message entre deux machines virtuelles ou serveurs (une valeur négative, ou punition, proportionnelle à la somme des coûts carbone associés aux liens réseaux entre ancienne et nouvelle localisation de chaque message étant par exemple attribuée, de manière à favoriser les trajets les moins émetteurs de carbone possibles pour chaque message). De manière similaire, les données de récompense peuvent prendre en compte la complétude avec succès d’une tâche (en y associant une récompense de valeur positive moyenne) ou de l’ensemble des tâches (en y associant une récompense de grande valeur positive). Selon un autre aspect, la technique proposée se rapporte également à un dispositif de détermination d’une séquence temporelle optimisée de déplacements à effectuer par au moins une entité pour atteindre un ensemble d’emplacements prédéterminés. Un tel dispositif électronique est apte à réaliser le procédé précédemment décrit dans l’un quelconque de ses modes de réalisation. Plus particulièrement, un tel dispositif selon la présente technique comprend, dans un mode de réalisation particulier : - des moyens d’instanciation d’un environnement d’apprentissage par renforcement, en fonction de données de configuration fournies en entrée dudit dispositif électronique, lesdites données de configuration comprenant des données de localisation desdits emplacements, des données temporelles associées à une période temporelle prédéfinie pour la mise en œuvre desdits déplacements, et des données de contraintes comprenant au moins une contrainte temporelle et au moins une contrainte additionnelle ; - des moyens de mise en œuvre d’une phase d’entrainement de type apprentissage par renforcement, dans laquelle au moins un agent instancié par ledit dispositif électronique est entrainé à générer des séquences temporelles de déplacements à effectuer par ladite au moins une entité pour atteindre ledit ensemble d’emplacements prédéterminés sur ladite période temporelle prédéfinie en respectant lesdites contraintes, sur la base d’au moins un échange de données entre ledit au moins un agent et ledit environnement ; - des moyens de mise en œuvre d’une phase d’inférence, dans laquelle ledit au moins un agent entrainé est utilisé pour délivrer ladite séquence temporelle optimisée. La FIG. 5 représente, de manière schématique et simplifiée, la structure d’un tel dispositif électronique, dans un mode de réalisation particulier. Le dispositif, selon la technique proposée, comprend par exemple une mémoire 51 constituée d’une mémoire tampon M, une unité de traitement 52, équipée par exemple d’un microprocesseur μP, et pilotée par le programme d’ordinateur Pg 53, mettant en œuvre des étapes du procédé de détermination d’une séquence temporelle optimisée de déplacements selon au moins un mode de réalisation de l’invention. À cette fin, le dispositif électronique comprend également au moins une interface de communication (par exemple une interface de communication Ethernet) et/ou au moins une interface homme-machine, lui permettant de recevoir et d’émettre des données en provenance et à destination d’autres équipements présents dans un réseau de communication auquel il est connecté et/ou d’opérateurs humains. À l’initialisation, les instructions de code du programme d’ordinateur 53 sont chargées dans la mémoire tampon avant d’être exécutées par le processeur de l’unité de traitement 52. L’unité de traitement 52 reçoit en entrée E par exemple des données de configuration au moyen desquelles elle peut instancier un environnement d’apprentissage par renforcement. Le microprocesseur de l’unité de traitement 52 réalise alors les étapes suivantes du procédé de détermination d’une séquence temporelle optimisée, selon les instructions du programme d’ordinateur 53. Plus particulièrement, l’unité de traitement 52 instancie au moins un agent, et l’entraine – sur la base d’échanges de données avec ledit environnement d’apprentissage par renforcement – à générer des séquences temporelles de déplacements à effectuer par au moins une entité pour atteindre l’ensemble d’emplacements prédéterminés, tout en respectant des contraintes prédéfinies dans les données de configuration. À l’issue de cet entrainement l’agent ainsi entrainé est alors utilisé pour générer une séquence temporelle optimisée de déplacements, qui est alors délivrée par l’unité de traitement 52 en sortie S. Procédé de détermination d’une séquence temporelle optimisée de déplacements à effectuer par au moins une entité pour atteindre un ensemble d’emplacements prédéterminés, ledit procédé étant mis en œuvre par un dispositif électronique, ledit procédé étant caractérisé en ce qu'il comprend : - l’instanciation (11) d’un environnement d’apprentissage par renforcement (ENV), en fonction de données de configuration fournies en entrée dudit dispositif électronique, lesdites données de configuration comprenant des données de localisation desdits emplacements, des données temporelles associées à une période temporelle prédéfinie pour la mise en œuvre desdits déplacements, et des données de contraintes comprenant au moins une contrainte temporelle ; - une phase d’entrainement (12) de type apprentissage par renforcement, dans laquelle au moins un agent (AG) instancié par ledit dispositif électronique est entrainé à générer au moins une séquence temporelle de déplacements à effectuer par ladite au moins une entité pour atteindre ledit ensemble d’emplacements prédéterminés sur ladite période temporelle prédéfinie en respectant lesdites contraintes, sur la base d’au moins un échange de données entre ledit au moins un agent (AG) et ledit environnement (ENV) ; - une phase d’inférence (13), dans laquelle ledit au moins un agent entrainé est utilisé pour délivrer ladite séquence temporelle optimisée. Procédé selon la revendication 1, caractérisé en ce que ladite au moins une contrainte temporelle comprend des données représentatives d’une indisponibilité d’au moins une de ladite au moins une entité et/ou d’au moins un desdits emplacements sur au moins une tranche temporelle de ladite période temporelle prédéfinie. Procédé selon la revendication 1, caractérisé en ce que lesdites données de contraintes comprennent en outre au moins une contrainte additionnelle. Procédé selon la revendication 3, caractérisé en ce que ladite au moins une contrainte additionnelle est associée à une activité objet desdits déplacements. Procédé selon la revendication 1, caractérisé en ce que ledit au moins un échange de données comprend : - l’émission, par ledit au moins un agent, de données d’action à destination dudit environnement d’apprentissage, lesdites données d’action étant représentatives d’une localisation envisagée suivante de ladite au moins une entité par rapport à une localisation courante de ladite au moins une entité dans la séquence temporelle de déplacement générée ; - la réception, par ledit au moins un agent, en réponse à ladite émission, de données d’état et de données de récompense en provenance dudit environnement d’apprentissage ; les données d’actions successives émises à destination dudit environnement d’apprentissage dans le cadre dudit au moins un échange étant déterminées de manière à tendre à maximiser au cours du temps les données de récompenses reçues. Procédé selon la revendication 1, caractérisé en ce que ladite phase d’entrainement comprend l’entrainement d’une pluralité d’agents, et en ce que ladite phase d’inférence comprend la délivrance par une pluralité desdits agents entrainés d’une pluralité de séquences temporelles de déplacements candidates, et la sélection de ladite séquence temporelle optimisée de déplacements parmi ladite pluralité de séquences temporelle de déplacements candidates, en fonction de données de récompense associées à chacune desdites séquences temporelle de déplacements candidates. Procédé selon la revendication 6, caractérisé en ce que les agents de ladite pluralité d’agents sont entrainés de manière séquentielle. Procédé selon la revendication 1, caractérisé en ce que ladite phase d’entrainement comprend la mise en œuvre d’une pluralité d’épisodes successifs d’entrainement, un nombre croissant de contraintes parmi un ensemble de contraintes définies par lesdites données de contraintes étant progressivement ajouté pour la configuration desdits épisodes, au fur et à mesure de ladite mise en œuvre desdits épisodes successifs, jusqu’à atteindre la totalité desdites contraintes définies par lesdites données de contraintes. Procédé selon la revendication 1, caractérisé en ce qu’il comprend, préalablement à ladite phase d’entrainement de type apprentissage par renforcement, une phase d’apprentissage hors ligne comprenant un entrainement dudit au moins un agent au moyen d’une base d’apprentissage comprenant des données représentatives d’une pluralité de séquences temporelles de déplacements préexistantes. Procédé selon la revendication 9, caractérisé en ce qu’il comprend une boucle de rétroaction (BR) utilisée pour compléter ladite base d’apprentissage avec des données représentatives de ladite séquence temporelle optimisée délivrée durant ladite phase d’inférence. Dispositif électronique de détermination d’une séquence temporelle optimisée de déplacements à effectuer par au moins une entité pour atteindre un ensemble d’emplacements prédéterminés, ledit dispositif étant caractérisé en ce qu'il comprend : - des moyens d’instanciation d’un environnement d’apprentissage par renforcement, en fonction de données de configuration fournies en entrée dudit dispositif électronique, lesdites données de configuration comprenant des données de localisation desdits emplacements, des données temporelles associées à une période temporelle prédéfinie pour la mise en œuvre desdits déplacements, et des données de contraintes comprenant au moins une contrainte temporelle ; - des moyens de mise en œuvre d’une phase d’entrainement de type apprentissage par renforcement, dans laquelle au moins un agent instancié par ledit dispositif électronique est entrainé à générer au moins une séquence temporelle de déplacements à effectuer par ladite au moins une entité pour atteindre ledit ensemble d’emplacements prédéterminés sur ladite période temporelle prédéfinie en respectant lesdites contraintes, sur la base d’au moins un échange de données entre ledit au moins un agent et ledit environnement ; - des moyens de mise en œuvre d’une phase d’inférence, dans laquelle ledit au moins un agent entrainé est utilisé pour délivrer ladite séquence temporelle optimisée. Produit programme d’ordinateur téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, caractérisé en ce qu’il comprend des instructions de code de programme pour l’exécution d'un procédé selon l'une quelconque des revendications 1 à 10, lorsqu’il est exécuté par un ordinateur.