Brevet FR3103295A1 — publié le 20210521

La présente invention concerne une méthode d’association d’équipements d’utilisateurs à des stations de base d’un réseau cellulaire en particulier d’un réseau hétérogène tel qu’un réseau 5G, ladite méthode utilisant un algorithme d’apprentissage par renforcement multi-agent (MARL). Un agent associé à un équipement d’utilisateur reçoit une observation de son environnement et en déduit une action, cette action se traduisant par une demande d’association de l’utilisateur auprès d’une station de base avoisinante. Cette action est choisie selon une stratégie de l’utilisateur recherchant le maximum d’une fonction de valeur d’action pour ladite observation et une pluralité d’actions possibles, la fonction de valeur d’action étant définie comme l’espérance de la somme des récompenses futures de l’agent actualisées par un facteur d’actualisation. Une fois les actions effectuées par les différents utilisateurs, une récompense commune est fournie par le réseau aux différents utilisateurs, celle-ci étant nulle en cas de collision de demandes d’association et le résultat d’une fonction d’utilité sinon. La fonction de valeur d’action pour les différentes actions possibles est prédite par un réseau de neurones récurrent (DRQN) entrainé sur un ensemble d’expériences stockées dans une mémoire locale. Une variante basée sur une distillation de stratégie est également proposée pour permettre une meilleure adaptation de la stratégie d’association à différentes tâches possibles du réseau. Figure pour l'abrégé : Fig. 2 MÉTHODE D’ASSOCIATION D’ÉQUIPEMENTS D’UTILISATEURS DANS UN RÉSEAU CELLULAIRE AU MOYEN D’UN APPRENTISSAGE PAR RENFORCEMENT MULTI-AGENT La présente invention concerne le domaine des réseaux cellulaires et plus particulièrement l’association d’équipements d’utilisateurs (UEs) à des stations de base dans un réseau hétérogène tel que ceux de la cinquième génération (5G). Elle concerne également le domaine de l’intelligence artificielle et plus particulièrement celui de l’apprentissage par renforcement multi-agent ou MARL ( Multi-Agent Reinforcement Learning ). Etat de la technique antérieure Les méthodes association de terminaux mobiles ou UEs ( User Equipments ) aux stations de base d’un réseau cellulaire ont fait l’objet de très nombreuses recherches ces vingt dernières années. De manière générale, une méthode d’association vise à déterminer, pour chaque terminal mobile, la station de base (autrement dit la cellule) qui devra la servir, compte tenu des besoins de l’ensemble des utilisateurs (débit, rapport signal sur bruit, latence, etc.) et des contraintes relatives aux stations de base (puissance maximale d’émission, niveau d’interférence, etc.). Une grande diversité de méthodes d’association a été proposée dans l’état de la technique, selon la fonction objective à atteindre et des contraintes à respecter. Avec le déploiement de réseaux cellulaires de 5 ème génération, les techniques d’association doivent évoluer pour faire face à de nouveaux défis. En effet, les réseaux 5G sont hétérogènes par nature, du fait de la superposition d’une couche dense de petites cellules ou SBS ( Small cell Base Stations ) opérant notamment dans la bande millimétrique, destinée à assurer une couverture à faible distance et débit élevé, et d’une couche peu dense de macrocellules ou MBS ( Macro cell Base Stations ), opérant dans la bande sub-6 GHz, destinée à assurer une couverture continue. Les petites cellules disposent d’un grand nombre de ressources de transmission que ce soit en termes de ressources spectrales ou en ressources spatiales (formation de faisceaux directifs). En outre, l’association d’un terminal mobile avec une station de base (SBS ou MBS) nécessite de prendre en compte la charge des différentes stations de base, les niveaux d’interférence, les débits des différents utilisateurs, les configurations possibles de faisceaux etc. Il en résulte que l’optimisation de la performance globale du réseau devient particulièrement complexe. On peut montrer que la recherche de l’association optimale est en fait un problème combinatoire dont la complexité est de classe NP, autrement dit de complexité évoluant de manière exponentielle avec le nombre d’utilisateurs dans le réseau. Une méthode d’association de terminaux mobiles à des stations de base d’un réseau hétérogène a été décrite dans l’article de N. Zhao et al. intitulé « Deep reinforcement learning for user association and resource allocation in heterogeneous networks » publié dans Proc. of IEEE Global Communications Conference (GLOBECOM), pp. 1-6, 2018. Cette méthode d’association fait appel à une méthode d’apprentissage par renforcement connue sous le nom de Q-learning. On pourra trouver une description de cette méthode dans l’article de C. Watkins et al. intitulé « Q-learning » publié dans la revue Machine Learning, vol. 8, No. 3-4, pp. 279-292, 1992. On rappelle qu’une méthode d’apprentissage par renforcement est une méthode d’apprentissage automatique dans laquelle un agent autonome, plongé dans un environnement, apprend des actions à effectuer à partir d’expériences, de manière à optimiser une récompense cumulée au cours du temps. L’agent prend des décisions en fonction de son état courant et l’environnement lui procure des récompenses en fonction des actions qu’il effectue. Dans l’article précité, la méthode d’association est du type multi-agent, chaque équipement d’utilisateur jouant le rôle d’un agent et apprenant à partir de son environnement, les différents agents opérant de manière coopérative. Toutefois, cette méthode d’association utilise un espace d’états représentant la satisfaction (ou l’absence de satisfaction) d’une qualité de service (QoS) minimale ( ) pour chacun des utilisateurs du réseau, chaque utilisateur étant par ailleurs informé de la satisfaction ou non des qualités de service requises par les autres utilisateurs. Ce type de coopération suppose l’échange d’un nombre important de messages ( message passing ) entre les terminaux mobiles via des canaux de contrôle et donc la mobilisation de ressources de transmission à cet effet. En outre, la détermination de la politique d’association suppose l’utilisation d’un réseau de neurones DDQN ( Double Deep Q- network ) dont la taille des variables d’entrée croît avec le nombre d’utilisateurs. Il en résulte que la méthode d’association proposée n’est pas scalable avec le nombre d’utilisateurs dans le réseau. En l’occurrence, si un utilisateur rejoint ou quitte une cellule, cela implique une modification de l’architecture du réseau de neurones de chacun des utilisateurs. Un objet de la présente invention est par conséquent de proposer une méthode d’association d’équipements d’utilisateurs à des stations de base d’un réseau cellulaire, en particulier d’un réseau hétérogène tel qu’un réseau 5G, mettant en œuvre un algorithme d’apprentissage par renforcement multi-agent, qui ne nécessite pas un échange de messages entre utilisateurs et qui soit scalable tant au regard du nombre d’utilisateurs que du nombre de stations de base dans le réseau. Présentation de l’invention La présente invention est définie par une méthode d’association d’équipements d’utilisateurs à des stations de base d’un réseau cellulaire, ladite méthode d’association mettant en œuvre une méthode d’apprentissage par renforcement multi-agent, un agent étant associé à chaque équipement d’utilisateur, ladite méthode d’association étant particulière en ce que : -chaque équipement d’utilisateur détermine un ensemble de stations de base dans la couverture de chacune desquelles il se trouve ; -chaque agent associé à un équipement d’utilisateur sélectionne à partir d’une observation partielle ( ) de son environnement à un instant donné, une action ( ) parmi une pluralité d’actions possibles, chaque action possible correspondant à une demande d’association de l’équipement d’utilisateur à une station de base ( ) dudit ensemble, ladite action étant sélectionnée sur la base d’une stratégie ( ) visant à maximiser une valeur d’action calculée comme l’espérance de la somme d’une pluralité de récompenses futures, actualisées audit instant donné, l’équipement d’utilisateur transmettant à un contrôleur central une demande d’association correspondant à l’action ainsi sélectionnée ; -chaque station de base détermine si elle peut satisfaire l’ensemble des requêtes d’association reçues des équipements d’utilisateurs compte tenu des ressources de transmission dont elle dispose et dans la négative en informe le contrôleur central; -le contrôleur central calcule une récompense ( ), commune aux actions des agents, et la diffuse à tous les équipements d’utilisateurs, cette récompense étant nulle si l’une des stations de base ne peut satisfaire l’ensemble des requêtes d’association reçues et égale à la valeur prise par une fonction d’utilité du réseau, représentative de la qualité de service offerte aux équipements d’utilisateurs, sinon. Selon une première variante, la fonction d’utilité du réseau est égale à la somme des capacités des liaisons descendantes entre les équipements d’utilisateurs et les stations de base qui leur sont associées ou bien à la somme des logarithmes de ces capacités. Selon une seconde variante, la fonction d’utilité du réseau est égale à où est le débit requis par un équipement d’utilisateur et est la capacité de la liaison descendante entre la station de base et l’ équipement d’utilisateur , si la station de base est associée à l’équipement d’utilisateur et sinon. Le réseau cellulaire pourra être typiquement un réseau hétérogène constitué d’une couche de macro-cellules et d’une couche de petites cellules, le contrôleur central étant alors situé dans la station de base d’une macro-cellule. Selon un premier mode de réalisation, l’agent associé à un équipement d’utilisateur prédit les valeurs d’action des différentes actions possibles au moyen d’un réseau de neurones artificiels récurrent (DRQN) recevant en entrée un vecteur d’observation de l’environnement à un instant donné et fournissant en sortie une prédiction des valeurs d’action pour les différentes actions possibles correspondant aux stations de base de l’ensemble . Le réseau de neurones comprend typiquement une couche d’entrée, une première pluralité de couches densément connectées, une couche LSTM, une seconde pluralité de couches densément connectées et une couche de sortie. Avantageusement, le vecteur d’observation de l’environnement comprend l’action ayant été effectuée par l’équipement d’utilisateur à l’instant précédent ; la réponse à la requête d’association, renvoyée par la station de base à laquelle elle a été transmise ; une mesure de la puissance reçue de la station de base à l’instant donné , ; le débit requis par le terminal mobile à l’instant , une estimation de la capacité de canal de la liaison descendante à l’instant précédent ; une estimation de la somme des capacités des liaisons descendantes des équipements d’utilisateurs à l’instant précédent. Le réseau de neurones récurrents peut alors être entrainé sur un ensemble d’expériences , chaque expérience appartenant à un épisode, , une expérience étant définie comme un quadruplet constitué du vecteur d’observation au temps donné, de l’action sélectionnée par l’agent à cet instant, de la récompense reçue du contrôleur suite à cette action, et d’un vecteur d’observation, , à l’instant suivant, lesdites expériences étant stockées dans une mémoire locale de l’équipement d’utilisateur . Selon une première variante, les coefficients synaptiques du réseau de neurones récurrent sont représentés par un vecteur de paramètres, , ledit vecteur de paramètres étant obtenu par une descente de gradient stochastique sur une fonction de perte moyennée par mini-lot où est une erreur TD de la prédiction de valeur d’action pour une expérience du mini-lot. Selon une seconde variante, les coefficients synaptiques du réseau de neurones récurrent sont représentés par un vecteur de paramètres, ,ledit vecteur de paramètres étant obtenu par une descente de gradient stochastique sur une fonction de perte moyennée par mini-lot où est une erreur TD de la prédiction de valeur d’action pour une expérience du mini-lot et l’erreur TD est positive , dans le cas contraire, où sont des réels vérifiant . Selon un second mode de réalisation, le réseau cellulaire est confronté à une pluralité de tâches , chaque tâche étant définie par un ensemble de services requis par les différents équipements d’utilisateurs où représente un service requis par l’équipement d’utilisateur dans la tâche ,chaque tâche définissant une classe d’environnement pour l’ensemble des utilisateurs. L’agent associé à un équipement d’utilisateur prédit les valeurs d’action des différentes actions possibles au moyen d’un réseau de neurones récurrent, dit réseau élève, ayant été entrainé pendant une période d’apprentissage sur les prédictions respectives d’une pluralité de réseaux de neurones récurrents, dits réseau maîtres, chaque réseau maître étant associé à une tâche du réseau et ayant été lui-même entraîné sur un ensemble d’expériences réalisées dans le cadre de cette tâche, une expérience étant définie comme un quadruplet constitué du vecteur d’observation au temps donné, de l’action sélectionnée par l’agent à cet instant, de la récompense reçue du contrôleur suite à cette action, et d’un vecteur d’observation, , à l’instant suivant, les expériences réalisées dans le cadre d’une tâche étant stockées dans une mémoire locale de l’équipement d’utilisateur . Avantageusement, au terme de l’entraînement de chaque réseau maître, celui-ci prédit les valeurs d’actions pour les vecteurs d’action issus des expériences réalisées dans le cadre de la tâche associée à ce réseau maître, lesdites prédictions de valeur d’action étant stockées avec les vecteurs d’observation correspondants, dans une mémoire commune à l’ensemble des tâches, notée , et après que tous les réseaux maîtres ont été entraînés, le réseau élève est entrainé de manière supervisée sur les données d’entraînement , étant vecteur d’entrée du réseau élève et étant l’étiquette associée. Brève description des figures D’autres caractéristiques et avantages de l’invention apparaîtront à la lecture d’un mode de réalisation préférentiel de l’invention, décrit en référence aux figures jointes parmi lesquelles : représente de manière schématique une situation d’association d’équipements d’utilisateurs à des stations de base dans un réseau hétérogène ; représente un ordinogramme d’une méthode d’association utilisant une méthode d’apprentissage par renforcement multi-agent selon un premier mode de réalisation de la présente invention ; représente de manière schématique les échanges de messages entre différents éléments d’un réseau hétérogène pour la mise en œuvre de la méthode d’association de la Fig. 2; représente de manière schématique un réseau de neurones artificiels récurrent (DRQN) utilisé pour approximer la fonction de valeur d’action dans la méthode de la Fig. 2 ; représente un ordinogramme d’une méthode d’entrainement du réseau de neurones artificiels de la Fig. 4 ; représente un ordinogramme d’une méthode d’association utilisant une méthode d’apprentissage par renforcement multi-agent selon un second mode de réalisation de la présente invention. On considérera dans la suite un réseau cellulaire composé d’une pluralité de stations de base. Sans perte de généralité et à titre d’illustration seulement, nous supposerons que ce réseau cellulaire est hétérogène, c’est à dire qu’il résulte de la superposition d’une couche de petites cellules (SBS) de faible couverture mais potentiellement capable d’offrir à chaque UE un débit élevé avec une couche de macro-cellules (MBS) garantissant la continuité de la couverture du réseau en offrant une plus grande portée. Un exemple typique d’application est celui d’un réseau 5G dans lequel les cellules SBS opèrent dans la bande millimétrique et les cellules MBS opèrent dans la bande sub-6 GHz. La Fig. 1 représente un exemple d’association d’équipements d’utilisateur (UEs) avec des stations de base dans un tel réseau hétérogène. On a noté les équipements d’utilisateurs (par exemples des terminaux mobiles), les stations de base de trois petites cellules et la station de base d’une macro-cellule. A un instant donné, chaque équipement d’utilisateur requiert un certain débit pour satisfaire à une contrainte de qualité de service (QoS). Si ce terminal est associé avec une station de base (on notera conventionnellement la station MBS et , les stations de base SBS), le canal entre l’équipement d’utilisateur et la station de base associée doit offrir une capacité telle que où et sont respectivement la bande passante et le rapport signal à bruit plus interférence relatifs au canal. L’interférence à prendre en compte est ici l’interférence due aux autres communications au sein de la même cellule (interférence intracellulaire) ainsi que celle due aux communications des autres cellules (interférence intercellulaire). Pour chaque station de base , on note l’ensemble des équipements d’utilisateurs qui sont situés dans la couverture de . Ainsi dans l’exemple illustré, , , et . De manière réciproque, pour un équipement d’utilisateur donné, on note l’ensemble des stations de base susceptibles de le servir. Ainsi, dans l’exemple illustré , , et . On recherche à associer les équipements d’utilisateur aux stations de base de manière à maximiser une fonction d’utilité, , sur l’ensemble du réseau tout en respectant un certain nombre de contraintes portant sur les ressources de transmission à la disposition des stations de base. Si l’on indique par l’association de l’équipement d’utilisateur avec la station de base et, l’absence d’association, et si l’on suppose qu’un équipement d’utilisateur ne peut s’associer qu’avec une seule station de base, l’association recherchée est obtenue en résolvant le problème d’optimisation : en respectant les contraintes : où est le nombre de ressources de transmission disponibles (par exemple le nombre de faisceaux distincts) à la station de base , est le nombre de SBS et est le nombre d’équipements d’utilisateur. La contrainte (1-3) traduit simplement le fait que les équipements d’utilisateurs ne peuvent être servis par une station de base qu’à concurrence des ressources de transmission dont elle dispose, la contrainte (1-4) que chaque équipement d’utilisateur doit être servi par une station de base. En pratique, la quantité de ressources de la station de base MB S ( ) étant sensiblement plus élevée que celles des stations de base BS ( , ), la contrainte sera quasiment toujours satisfaite pour . Idéalement, les requêtes de débit des différents utilisateurs doivent être respectées et dans ce cas : La fonction d’utilité du réseau pourra être choisie comme la capacité totale pouvant être offerte aux différents utilisateurs, soit : le cas échéant, en tenant compte des requêtes de débit des utilisateurs : voire encore en respectant une équité proportionnelle ( proportional fairness ) entre les différents utilisateurs : D’autres fonctions d’utilité du réseau pourront être envisagées par l’homme du métier (par exemple en tenant compte des types de service xMBB, uMTC et mMTC requis par les différents utilisateurs). De manière générale, la fonction d’utilité du réseau est représentative d’une qualité de service offert aux utilisateurs du réseau, notamment en termes de capacité et/ou de latence. L’idée à la base de l’invention est d’utiliser un algorithme d’apprentissage par renforcement multi-agent ou MARL ( Reinforcement Learning ), chaque équipement d’utilisateur (UE) apprenant de manière indépendante son association optimale en fonction des observations de son environnement et de l’action effectuée (demande d’association) à partir d’une récompense commune à l’ensemble des utilisateurs. Chaque équipement d’utilisateur possède une connaissance partielle de l’état de son environnement à l’instant t au moyen d’une observation. On choisira avantageusement comme observation à l’instant le vecteur défini par : où est l’action ayant été effectuée par l’utilisateur à l’instant précédent, est la réponse à la requête d’association, renvoyée par la station de base à laquelle elle a été transmise (par exemple si l’association est acceptée si l’association est refusée), est la mesure à l’instant de la puissance reçue de la station de base à laquelle le terminal mobile (UE) s’est associé, est le débit requis par le terminal mobile à l’instant , est une estimation de la capacité de canal de la liaison descendante à l’instant précédent (autrement dit où et sont respectivement la bande passante et le rapport signal sur bruit plus interférence à l’instant précédent, ) et est la capacité totale du réseau obtenue à l’instant précédent , calculée sur l’ensemble des utilisateurs, autrement dit ). Il convient de noter que certaines composantes du vecteur d’observation sont optionnelles. Ainsi par exemple, s’il n’est pas nécessaire de prendre en compte la demande de débit courante de l’utilisateur (service correspondant à une catégorie Best Effort ) la composante pourra être omise. L’action d’un équipement d’utilisateur à l’instant est définie par la requête d’association de cet utilisateur, soit où . Cette action est décidée par l’utilisateur selon une stratégie qui sera explicitée plus loin. Après que l’agent associé à l’utilisateur a observé le vecteur et effectué l’action (c’est-à-dire a requis une association à une station de base), celui-ci reçoit une récompense qui n’est pas propre à l’équipement de l’utilisateur en question mais commune à l’ensemble des utilisateurs. Plus précisément, celle-ci est avantageusement définie par : En d’autres termes, si les requêtes de l’ensemble des utilisateurs ne peuvent être conjointement satisfaites, la récompense obtenue est nulle et sinon la récompense est donnée par la valeur de la fonction d’utilité du réseau à l’instant considéré. Les équipements d’utilisateur apprennent ainsi de manière indépendante une stratégie ( policy ) qui leur permet de maximiser la somme de récompenses au cours du temps, chaque récompense étant affectée d’un facteur d’actualisation déterminant le poids des récompenses futures dans le choix de l’action à l’instant . En pratique, pour une séquence (ou épisode) de durée finie , chaque équipement d’utilisateur suit une stratégie pour maximiser en chaque instant : où est la récompense de l’équipement d’utilisateur , égale à la récompense commune. La stratégie d’un équipement d’utilisateur est déterminée à partir des expériences qu’il enregistre au cours du temps. On définit une expérience de l’utilisateur à l’instant comme le quadruplet : Autrement dit, une expérience consiste à partir d’une observation donnée de l’environnement et d’une action donnée de l’agent, d’enregistrer la récompense obtenue et la nouvelle observation de l’environnement. Un épisode est représenté par une séquence d’expériences successives , . Les expériences successives d’un épisode, sont stockées dans une mémoire locale de l’UE . A partir des expériences qu’il a enregistrées, chaque agent met à jour sa stratégie . Cette mise à jour a lieu dans une phase de calibration (mise à jour off-line), le cas échéant par simulation, et peut être poursuivie ultérieurement dans une phase opérationnelle (mise à jour on-line) lorsque l’UE transmet effectivement des requêtes d’association aux stations de base du réseau. La Fig. 2 représente un ordinogramme d’une méthode d’association utilisant une méthode d’apprentissage par renforcement selon un premier mode de réalisation de la présente invention. La méthode d’association représentée concerne un équipement d’utilisateur (UE) , jouant le rôle d’un agent dans une méthode d’apprentissage par renforcement MARL. La méthode d’association comprend une phase d’initialisation et une phase opérationnelle. La phase d’initialisation comprend les étapes 210-220. A l’étape, 210, l’équipement d’utilisateur détermine l’ensemble des stations de base auxquelles il est susceptible de s’associer, autrement dit l’ensemble des stations de base pour lesquelles il se trouve dans la zone de couverture. Cet ensemble peut par exemple être déterminé en comparant les niveaux respectifs de puissance des signaux reçus des différentes stations de base et en les comparant à une valeur de seuil prédéterminée : où représente le niveau de puissance du signal reçu par l’UE en provenance de la station de base et est un niveau de seuil. Ce niveau de seuil peut par exemple dépendre d’une qualité de service requise par l’utilisateur. Selon une première variante, l’ensemble est déterminé à partir de la position de l’utilisateur et des stations de bases avoisinantes : où est la distance de l’équipement d’utilisateur à la station de base . Selon une seconde variante, l’ensemble peut être directement fourni sous la forme d’une liste de stations de base transmise à (dans le cas d’un réseau 5G, cette liste peut être transmise par la station de base de la macro-cellule). A l’étape 220, l’UE apprend une stratégie . Pour ce faire, il enregistre dans sa mémoire les expériences d’une pluralité d’épisodes puis détermine une stratégie optimale sur la base des expériences enregistrées. Les expériences peuvent être simulées auquel cas l’UE disposera d’une stratégie (pré-stockée en mémoire ou téléchargée auprès d’un serveur lors de l’admission dans le réseau), autrement dit d’une fonction associant à tout état (ou à toute observation de cet état) une action . La manière dont la stratégie est obtenue à partir des expériences est détaillée plus loin. La phase d’initialisation est suivie d’une phase opérationnelle représentée par une boucle itérative, une itération étant effectuée à chaque instant discret . A chaque instant , l’agent relatif à l’UE prend en compte une observation de son environnement pour décider d’une action . L’agent obtient une observation de son environnement à l’étape 230. Cette observation comprend la requête d’association transmise par l’UE à l’instant précédent (et par conséquent l’identifiant de la station de base à laquelle elle a été envoyée) ainsi que la réponse de la station de base. Ainsi, l’UE sait si sa requête d’association a été accordée par la station de base en question. L’observation comprend en outre le débit de données observé par l’utilisateur sur la liaison descendante, ainsi que la valeur de la fonction d’utilité sur l’ensemble du réseau, calculée par un contrôleur central, hébergé par exemple par la station de base de la macrocellule (MBS) ou par un serveur. Le résultat du calcul est diffusé à tous les utilisateurs. Le contrôleur pourra être par exemple réalisé par une application logicielle dédiée, un processeur ou un DSP. L’observation peut également comprendre une mesure de la puissance du signal reçu par la station de base courante à laquelle l’UE est associé, ainsi que le débit de données requis, . La mesure de puissance permet de calculer également le rapport pour l’itération suivante. A partir de l’observation , l’agent de l’UE détermine en 240 l’action optimale au sens de la stratégie . Cette stratégie a pour objet de maximiser l’espérance mathématique de la somme des récompenses futures, pondérées par leurs facteurs d’actualisation respectifs : En pratique, la stratégie utilisée pourra être une stratégie gloutonne ou -gloutonne basée sur les valeurs d’action comme décrit plus loin. A partir de l’action retenue , l’UE déduit la station de base à laquelle souhaite s’associer. L’identifiant de la station de base en question est transmis en 250 au contrôleur central, par exemple à la station MBS dans le cas d’un réseau 5G. On pourra en outre prévoir que dans le cas où aucune des stations de base de n’est retenue, l’utilisateur requière une association à la station de base MBS. Le contrôleur relaie ensuite la requête d’association à la station de base concernée. En 260, la station de base détermine si elle dispose de ressources de transmission suffisantes pour servir tous les utilisateurs ayant requis une association avec elle. Elle en avertit le contrôleur au moyen de la réponse . Si la réponse est négative ( ) pour l’une des stations de base, une collision est détectée en 265. En outre, dans le cas d’un réseau 5G, la station de base MBS accorde alors l’association à l’équipement d’utilisateur . Autrement dit, l’association à la station de base MBS constitue une solution de repli en cas de refus de la station de base . Dans tous les cas, le contrôleur ou bien la station de base elle-même avertit l’équipement d’utilisateur de l’association ou non en 270 par la réponse En 280, le contrôleur calcule la capacité totale à partir des capacités , , de l’ensemble des liaisons descendantes. La valeur de la fonction d’utilité est également calculée, le cas échéant en prenant en compte les des débits de données , , requis par les différents utilisateurs et préalablement transmis par ceux-ci au contrôleur. Le contrôleur diffuse ensuite la capacité totale ainsi qu’une récompense commune pour tous les agents. Celle-ci est nulle si une collision est détectée et égale à la valeur de la fonction d’utilité sinon. On retourne ensuite à l’acquisition d’un nouveau vecteur d’observation en 290. La Fig. 3 représente de manière schématique les échanges de messages entre différents éléments d’un réseau hétérogène, plus particulièrement d’un réseau 5G, lors de la mise en œuvre de la méthode d’association selon la Fig. 2. On a représenté sur la figure l’équipement d’utilisateur (UE), , le contrôleur central par exemple ici la station de base de la macro-cellule dont où se trouve l’utilisateur, , et la station de base de la petite cellule, , à laquelle l’équipement d’utilisateur demande une association. La station de base fait partie de l’ensemble des stations de base avoisinantes. A l’étape 310, l’équipement d’utilisateur transmet à la station de base , l’action , autrement dit l’identifiant de la station de base à laquelle cet équipement a décidé de demander une association. Si , la station de base lui accorde automatiquement l’association en 320 et la liaison descendante avec est établie. Si , la station de base transfère en 330 la requête d’association à la station de base correspondant à l’identifiant. La station de base retourne la réponse à la station de base en 340. Si ,la station de base accorde l’association et établit une liaison descendante avec en 350. En revanche, si , la station de base accorde l’association et établit une liaison descendante avec en 355. L’équipement d’utilisateur détermine le débit ,requis par la qualité de service, et mesure la capacité de la liaison descendante précédemment établie avec . Le rapport signal sur bruit et interférence, sur cette liaison peut être estimée sur la base de symboles pilote par exemple. Le débit requis et la capacité sont transmis à la station de base en 360. Selon une variante, ces informations sont agrégées au niveau de la station de base puis transmises à la station de base . En particulier, la station de base peut fournir la somme des capacités au niveau de sa petite cellule et la transmettre à la station de base . La station de base calcule la capacité globale à partir des capacités , relatives aux différentes liaisons descendantes (ou des capacités agrégées au niveau des stations de base selon la variante ci-dessus) ainsi que la récompense . Elle diffuse ensuite ces informations à l’ensemble des équipements d’utilisateur, notamment à l’UE en 370. Dans la suite, nous noterons pour des raisons d’homogénéité de notation, , la récompense commune reçue par l’UE . Nous avons précédemment vu que l’agent associé à un UE déterminait à chaque instant son action (autrement dit la station de base avec laquelle l’UE souhaitait s’associer) à partir de l’observation et de la stratégie , l’observation traduisant la connaissance de l’état de l’environnement de l’agent associé à l’UE . Plusieurs méthodes d’apprentissage par renforcement existent dans la littérature, telles que la méthode SARSA ou de la méthode dite de Q-learning. On pourra trouver une description des méthodes d’apprentissage par renforcement SARSA et Q-learning dans l’ouvrage de Richard S. Sutton et Andrew G. Barto intitulé « Reinforcement learning » , 2 nd edition, 2018, pp. 129-132. Selon les méthodes d’apprentissage SARSA et Q-learning, la stratégie de l’UE est obtenue par une mise à jour itérative sur les différents épisodes, à partir d’une fonction d’évaluation d’action ( state- action-value function ) entraînée sur chaque épisode, soit pour la méthode d’apprentissage SARSA : et, pour la méthode d’apprentissage Q-learning : où est le taux d’apprentissage ( learning rate ) et est le facteur d’actualisation. et représentent respectivement l’état courant et futur de l’environnement, et représentent respectivement l’action de l’agent sur l’environnement dans l’état et , et est la récompense obtenue de l’environnement après avoir effectué l’action dans l’état . La mise à jour est effectuée en sélectionnant pour chaque état une action selon, par exemple, une stratégie de type -gloutonne (ε-greedy en anglais) basée sur les valeurs enregistrées, puis en mettant à jour ces valeurs à partir de la récompense obtenue et de la valeur de la fonction d’évaluation d’action dans l’état suivant , soit selon la stratégie courante (pour méthode d’apprentissage SARSA), soit selon le maximum de la fonction de d’évaluation à l’état suivant Les algorithmes tels que Q-Learning et SARSA connus de l’état de la technique peuvent par conséquent s’appliquer pour estimer . Dans le cas présent, à cause de la complexité du système 5G, la fonction d’évaluation d’action selon la méthode d’apprentissage Q-learning est approximée par un réseau de neurones artificiels récurrent, encore dénommé DRQN ( Deep Recurrent Q Network ), représenté en Fig. 4. Ce réseau DRQN comporte une couche d’entrée recevant à l’instant le vecteur d’observation , autrement dit la requête émise à l’instant précédent, , la réponse à cette requête reçue de la station de base , la capacité de la liaison descendante de cette station de base ainsi que la capacité totale du réseau calculée sur l’ensemble des liaisons descendantes des utilisateurs, . Optionnellement, la couche d’entrée recevra en outre la mesure du niveau de puissance du signal reçu de la station de base , ainsi que le débit de données requis par l’équipement d’utilisateur . La couche d’entrée est suivie d’une première pluralité de couches cachées densément connectées ou MLP (Multilayer Perceptron). La couche de sortie fournit un vecteur de taille donnant pour chaque station de base une valeur de la fonction d’action correspondant au choix de cette station de base pour l’association. En pratique, le nombre de neurones de la couche de sortie est limitée à une valeur prédéterminée, paramètre du réseau correspondant au plus grand nombre de cellules du réseau dont l’utilisateur peut recevoir les signaux pilotes au même temps. La couche de sortie est précédée d’une seconde pluralité de couches cachées densément connectées (ou MLP). Les neurones des premier et second perceptrons pourront utiliser une fonction d’activation de type rectification linéaire (ReLU) de manière connue en soi. Entre le premier et le second perceptron est intercalée une couche de réseau de neurones récurrent (RNN), par exemple un réseau de type LSTM ( Long Short- Term Memory ) connu de l’état de la technique. Un tel réseau de neurones LSTM présente la particularité de ne pas être classiquement à propagation avant ( feed forward ) mais de présenter des connexions de contre-réaction lui permettant d’apprendre sur des séquences ainsi que des portes d’oubli ( forget gate ) permettant de préciser l’horizon temporel de l’apprentissage. Une fois entraîné (par exemple par simulation ou off-line ), le réseau de neurones fournit, à partir du vecteur d’observation , une estimation de la valeur d’action pour chaque action possible (autrement dit pour chaque station de base avec laquelle l’équipement d’utilisateur est susceptible de s’associer). En fait, le réseau récurrent comprend un registre interne permettant la contre-réaction. On peut le considérer comme une machine d’états, l’état (caché) de la machine à l’instant étant représenté par le contenu de ce registre, noté , vecteur de dimension égale à la taille du registre. En outre, on supposera que les coefficients synaptiques du réseau de neurones sont représentés de manière synthétique sous une forme vectorielle, . Nous adopterons par conséquent dans la suite la notation pour exprimer cette dépendance de l’estimation, le vecteur exprimant le fait que c’est le contenu du registre à l’instant précédent qui intervient dans le calcul de la valeur d’action à l’instant courant. Le réseau de neurones DRQN est entraîné de manière supervisée sur des épisodes c’est-à-dire sur des séquences d’expériences , , stockées dans une mémoire locale (ou replay buffer) de l’UE . L’entrainement vise à rechercher le jeu de paramètres minimisant l’espérance de la fonction de perte ( loss function ) sur l’ensemble des expériences : où signifie que l’espérance mathématique est prise sur l’ensemble , et où sont issues de l’expérience , et où : où représente l’objectif de la valeur d’action à atteindre par le réseau de neurones, et représente le jeu de paramètres dernièrement estimés au moyen de l’algorithme de gradient stochastique (SGD). Cet objectif de valeur d’action à atteindre n’est autre que la somme la plus élevée des récompenses actualisées que peut recevoir l’agent, compte tenu de l’observation et de l’action tirée de l’expérience . On comprend en effet de l’équation (12) que cette valeur est la somme de la récompense faisant suite à l’action et de la valeur d’action maximale calculée à l’instant suivant affectée du coefficient d’actualisation (c’est-à-dire du maximum des récompenses futures actualisées à l’instant suivant). En règle générale, le calcul du gradient de la fonction de perte n’est pas effectué sur l’ensemble des expériences (l’ensemble d’apprentissage) mais sur un mini-lot de telles expériences, notées pour cette raison . La fonction de perte : est alors minimisée sur le mini-lot où signifie que l’espérance mathématique est prise sur l’ensemble des expériences du mini-lot . Les valeurs avec en indice suscrit sont relatives au mini-lot et non à l’ensemble tout entier. En particulier : On remarquera que l’expression entre crochets dans l’expression (11) ou (13) est connue comme l’erreur TD de la fonction d’évaluation de valeur d’action, notée respectivement et . Les expressions (11) et (13) des fonctions de perte deviennent alors : et, dans le cas d’un traitement par mini-lot : Dans le cas d’un apprentissage distribué et collaboratif (par exemple MARL), la stabilité de l’apprentissage peut être améliorée en privilégiant l’apprentissage sur les erreurs TD positives, c’est-à-dire celles conduisant à un accroissement de la valeur d’action. Pour ce faire, on introduit une hystérésis dans l’apprentissage en dissymétrisant les fonctions de perte : avec (resp. ) si (resp. ) et (resp. ) dans le cas contraire, avec . Autrement dit, si l’erreur TD est positive, le taux d’apprentissage est de et si l’erreur TD est négative, le taux d’apprentissage est de . L’apprentissage peut être encore amélioré en termes de stabilité du jeu de paramètres, en utilisant deux réseaux de neurones, un premier réseau DRQN pour l’optimisation du jeu de paramètres et un second réseau DRQN, dit réseau d’objectif ( target network ), de même structure que le premier, pour le calcul de l’objectif de la valeur d’action , comme proposé dans l’article de V. Mnih et al. intitulé « Human-level control through deep reinforcement learning », 26.2.2015, vol. 158, pp. 529-541 et illustré en Fig. 5. La Fig. 5 représente un ordinogramme d’une méthode d’apprentissage du réseau de neurones de la Fig. 4. Nous noterons dans la suite le réseau de neurones dédié à l’optimisation du jeu de paramètres et celui en charge du calcul de l’objectif de la valeur d’action pour l’UE . De la même façon, les grandeurs relatives au réseau porteront un accent circonflexe. Les réseaux et ont des structures identiques et ne diffèrent que par leurs jeux de paramètres respectifs. A l’étape 510, on initialise la mémoire (replay buffer) au moyen des expériences appartenant à une pluralité d’épisodes. On initialise également les jeux de paramètres et respectifs des réseaux et ainsi que les valeurs d’actions et . On extrait ensuite un premier mini-lot de la mémoire . Pour accélérer la convergence de l’apprentissage, les jeux initiaux de paramètres et/ou les valeurs d’actions initiales peuvent avoir été obtenus par simulation et préchargés dans la mémoire de l’équipement d’utilisateur ou bien encore avoir téléchargés auprès d’un serveur du réseau lors de l’admission de l’utilisateur dans le réseau. On entre ensuite en 520 dans une boucle itérative sur les expériences du mini-lot, chaque itération correspondant à une telle expérience. A l’étape 530, on choisit une action , par exemple à travers une stratégie de type -gloutonne, c’est-à-dire de manière aléatoire avec une probabilité et sinon l’action avec une probabilité . A l’étape 540, on recherche la récompense et l’observation suivante dans l’enregistrement . A l’étape 550, on calcule l’objectif de la valeur d’action à atteindre par l’expression (17), soit . A l’étape 560, après traitement de l’ensemble des expériences du mini-lot, on calcule la fonction de perte (17-1) ou (18-2) du réseau , à partir des différences quadratiques relatives aux différentes expériences du mini-lot. En 570, on effectue une descente de gradient stochastique par rapport aux paramètres sur les expériences du mini-lot et l’on déduit le nouveau jeu de paramètres . En 580, on charge le nouveau jeu de paramètres dans le réseau . Enfin en 590, on extrait un nouveau mini-lot de la mémoire et on retourne à l’étape 520. A la fin de la méthode d’apprentissage (sur satisfaction d’un critère d’arrêt, par exemple en fonction du valeur de la fonction de perte) on dispose d’un jeu de paramètres optimal, pour estimer les valeurs d’action. Une fois le réseau DRQN entraîné, la sélection de la station de base pour requérir l’association est ensuite obtenue dans la phase opérationnelle à partir des sorties de ce réseau au moyen de l’un stratégie gloutonne définie par : où et représentent ici l’observation et l’état caché du réseau DRQN à l’instant de la phase opérationnelle. Dans l’expression (19), on comprendra que l’argument du maximum est recherché parmi toutes les actions possibles, en l’occurrence toutes les requêtes d’association à des stations de base . Cela correspond à chercher, parmi toutes les sorties du réseau de neurones, celles qui correspondent aux valeurs les plus élevées. Alternativement, la stratégie pourra être -gloutonne, auquel cas l’action optimale sera fournie par (19) avec une probabilité et choisie au hasard parmi les autres actions possibles avec une probabilité . La probabilité pourra être choisie relativement proche de 1 au départ puis décroître vers une valeur faible de manière à ce que la stratégie soit à terme quasi-déterministe pour un environnement donné. La méthode d’apprentissage peut être effectuée off-line et, le cas échéant être complétée on-line en continuant à stocker des expériences pendant la phase opérationnelle pour prendre en compte des variations de l’environnement. En variante à la méthode d’apprentissage exposée ci-dessus, on peut prévoir à l’étape 580 que le nouveau jeu de paramètres ne sera chargé que toutes les itérations, autrement dit toutes les expériences. La méthode d’association décrite ci-dessus en relation avec la Fig. 2, en particulier lorsque la valeur d’action est estimée à l’aide d’un réseau DRQN tel que celui de la Fig. 4, permet d’obtenir une bonne flexibilité lorsque le réseau évolue dans le temps, par exemple lorsque de nouveaux utilisateurs sont admis ou quittent le réseau ou encore lorsque leurs demandes en termes de qualité de service varient. Cette flexibilité est obtenue lorsque l’apprentissage du réseau DRQN est effectuée on-line, les coefficients synaptiques ainsi que les états cachés des réseaux , évoluant alors dans le temps. Toutefois, cette flexibilité peut être encore améliorée en adoptant une méthode d’association selon un second mode de réalisation de l’invention. On suppose dans ce mode de réalisation que le réseau être confronté à tâches différentes. Une tâche pourra correspondre à un -uplet de services pour les différents utilisateurs. Par exemple, dans un réseau 5G, le service requis par utilisateur à un instant donné pourra être du type xMBB, URLLC ou mMTC. Un service requis par un utilisateur est défini par un ensemble de contraintes de qualité de service portant par exemple sur le débit ou la latence sur la liaison avec le réseau. Les services requis par un utilisateur pourront notamment varier selon le temps et sa localisation. On notera une tâche du réseau où représente un service requis par l’utilisateur j dans cette tâche et l’ensemble des tâches que le réseau peut avoir à effectuer. Par exemple peut être le débit moyen requis par l’UE dans la tâche ou encore le couple constitué par débit moyen requis et la position de l’utilisateur dans cette tâche. Chaque tâche du réseau constitue une classe d’environnement pour les différents utilisateurs. Du point de vue d’un équipement d’utilisateur , chaque tâche se traduit par une zone différente de l’espace des paramètres de son réseau DRQN. L’environnement de l’utilisateur est supposé stationnaire pour une tâche donnée. Le second mode de réalisation fait à appel à une distillation de stratégie comme décrit dans l’article de A.A. Rusu et al. intitulé « Policy distillation » publié sous arXiv:1511.06295v2, 7 jan. 2016. Plus précisément, la Fig. 6 représente un ordinogramme d’une méthode d’association utilisant une méthode d’apprentissage par renforcement selon un second mode de réalisation de la présente invention. Comme dans le premier mode de réalisation, la méthode d’association est exécutée de manière indépendante par chaque utilisateur, ici l’UE . Seule la partie d’apprentissage a été représentée sur la figure, étant bien entendu que la phase opérationnelle utilise le réseau de neurones DRQN entraîné pour déterminer la station de base à laquelle l’UE requerra l’association, comme décrit en relation avec la Fig. 2. La partie d’apprentissage comprend deux phases, correspondant respectivement à la partie droite et à la partie gauche de la figure. Dans la première phase, des réseaux de neurones , , dits réseaux de neurones maîtres, de même structure que décrite en relation avec la Fig. 4, sont respectivement entrainés sur les tâches , Cet entrainement sur les différentes tâches peut être effectué de manière parallèle ou séquentielle. Dans le cas illustré, l’entraînement est réalisé séquentiellement au moyen d’une boucle itérative, chaque itération correspondant à une nouvelle tâche de . Pour chaque nouvelle tâche prise en compte à l’étape 610, le réseau de neurones maîtres est entrainé en 620 à partir des expériences réalisées dans le cadre de cette tâche, ces expériences étant lues d’une mémoire où elles ont été préalablement stockées. L’entraînement du réseau est réalisé comme décrit en relation avec la Fig. 5, autrement dit, le réseau de neurones est entrainé de manière supervisée pour estimer les valeurs d’action , le résultat de l’entraînement étant matérialisé par un jeu optimal de paramètres . A l’étape 630, le réseau de neurones estime les valeurs d’action pour les observations des expériences stockées dans la mémoire . Plus précisément, ces estimations, , sont réalisées pour toutes actions possibles, c’est-à-dire pour toutes les stations de base auprès desquelles une association peut être demandée dans le cadre de cette tâche. Elles seront pour cette raison notées sous d’un vecteur de taille , . Ces estimations sont stockées en relation avec les vecteurs d’observation , dans une mémoire commune à l’ensemble des tâches, notée . Au terme de la séquence de tâches d’apprentissage, la mémoire contient des couples sans que la tâche d’apprentissage ne soit elle-même renseignée. Dans la seconde phase, un réseau de neurones , dit réseau élève, présentant potentiellement une structure sensiblement plus simple que celle des réseaux maîtres, , au sens où il possède sensiblement moins de couches internes que ces derniers, est entraîné en 640 à partir des données d’apprentissage stockées dans la mémoire commune . Plus précisément, cet entraînement est réalisé de manière supervisée sur la base des données , étant vecteur d’entrée du réseau et l’étiquette associée. On comprend donc que le réseau de neurones est entraîné sur des données préalablement distillées selon les différentes tâches par les réseaux de neurones maîtres. Une fois entraîné, le réseau de neurones , peut prédire dans une phase opérationnelle, à partir d’un vecteur d’observation donné, les valeurs d’action relatives aux différentes actions possibles. Comme dans le premier mode de réalisation, on sélectionne ensuite l’action correspondant à la plus grande valeur d’action en sortie du réseau de neurones . Cette action fournit l’identifiant de la station de base auprès de laquelle l’UE requerra l’association. Méthode d’association d’équipements d’utilisateurs à des stations de base d’un réseau cellulaire, ladite méthode d’association mettant en œuvre une méthode d’apprentissage par renforcement multi-agent, un agent étant associé à chaque équipement d’utilisateur, caractérisée en ce que : - chaque équipement d’utilisateur détermine un ensemble de stations de base dans la couverture de chacune desquelles il se trouve ; -chaque agent associé à un équipement d’utilisateur sélectionne à partir d’une observation partielle ( ) de son environnement à un instant donné, une action ( ) parmi une pluralité d’actions possibles, chaque action possible correspondant à une demande d’association de l’équipement d’utilisateur à une station de base ( ) dudit ensemble, ladite action étant sélectionnée sur la base d’une stratégie ( ) visant à maximiser une valeur d’action calculée comme l’espérance de la somme d’une pluralité de récompenses futures, actualisées audit instant donné, l’équipement d’utilisateur transmettant à un contrôleur central une demande d’association correspondant à l’action ainsi sélectionnée ; -chaque station de base détermine si elle peut satisfaire l’ensemble des requêtes d’association reçues des équipements d’utilisateurs compte tenu des ressources de transmission dont elle dispose et dans la négative en informe le contrôleur central; -le contrôleur central calcule une récompense ( ), commune aux actions des agents, et la diffuse à tous les équipements d’utilisateurs, cette récompense étant nulle si l’une des stations de base ne peut satisfaire l’ensemble des requêtes d’association reçues et égale à la valeur prise par une fonction d’utilité du réseau, représentative de la qualité de service offerte aux équipements d’utilisateurs, sinon. Méthode d’association d’équipements d’utilisateurs à des stations de base d’un réseau cellulaire selon la revendication 1, caractérisée en ce que la fonction d’utilité du réseau est égale à la somme des capacités des liaisons descendantes entre les équipements d’utilisateurs et les stations de base qui leur sont associées ou bien à la somme des logarithmes de ces capacités. Méthode d’association d’équipements d’utilisateurs à des stations de base d’un réseau cellulaire selon la revendication 1, caractérisée en ce que la fonction d’utilité du réseau est égale à où est le débit requis par un équipement d’utilisateur et est la capacité de la liaison descendante entre la station de base et l’ équipement d’utilisateur , si la station de base est associée à l’équipement d’utilisateur et sinon. Méthode d’association d’équipements d’utilisateurs à des stations de base d’un réseau cellulaire selon l’une des revendications précédentes, caractérisée en ce que le réseau cellulaire est un réseau hétérogène constitué d’une couche de macro-cellules et d’une couche de petites cellules, et que le contrôleur central est situé dans la station de base d’une macro-cellule. Méthode d’association d’équipements d’utilisateurs à des stations de base d’un réseau cellulaire selon la revendication 1, caractérisée en ce que l’agent associé à un équipement d’utilisateur prédit les valeurs d’action des différentes actions possibles au moyen d’un réseau de neurones artificiels récurrent (DRQN) recevant en entrée un vecteur d’observation de l’environnement à un instant donné et fournissant en sortie une prédiction des valeurs d’action pour les différentes actions possibles correspondant aux stations de base de l’ensemble . Méthode d’association d’équipements d’utilisateurs à des stations de base d’un réseau cellulaire selon la revendication 5, caractérisée en ce que le réseau de neurones comprend une couche d’entrée, une première pluralité de couches densément connectées, une couche LSTM, une seconde pluralité de couches densément connectées et une couche de sortie. Méthode d’association d’équipements d’utilisateurs à des stations de base d’un réseau cellulaire selon la revendication 5 ou 6, caractérisée en ce que le vecteur d’observation de l’environnement comprend l’action ayant été effectuée par l’équipement d’utilisateur à l’instant précédent ; la réponse à la requête d’association, renvoyée par la station de base à laquelle elle a été transmise ; une mesure de la puissance reçue de la station de base à l’instant donné , ; le débit requis par le terminal mobile à l’instant , une estimation de la capacité de canal de la liaison descendante à l’instant précédent ; une estimation de la somme des capacités des liaisons descendantes des équipements d’utilisateurs à l’instant précédent. Méthode d’association d’équipements d’utilisateurs à des stations de base d’un réseau cellulaire selon l’une des revendications 5 à 7, caractérisée en ce que le réseau de neurones récurrents est entrainé sur un ensemble d’expériences , chaque expérience appartenant à un épisode, , une expérience étant définie comme un quadruplet constitué du vecteur d’observation au temps donné, de l’action sélectionnée par l’agent à cet instant, de la récompense reçue du contrôleur suite à cette action, et d’un vecteur d’observation, , à l’instant suivant, lesdites expériences étant stockées dans une mémoire locale de l’équipement d’utilisateur . Méthode d’association d’équipements d’utilisateurs à des stations de base d’un réseau cellulaire selon l’une des revendications 5 à 8, caractérisée en ce que les coefficients synaptiques du réseau de neurones récurrent sont représentés par un vecteur de paramètres, ,ledit vecteur de paramètres étant obtenu par une descente de gradient stochastique sur une fonction de perte moyennée par mini-lot où est une erreur TD de la prédiction de valeur d’action pour une expérience du mini-lot. Méthode d’association d’équipements d’utilisateurs à des stations de base d’un réseau cellulaire selon l’une des revendications 5 à 8, caractérisée en ce que les coefficients synaptiques du réseau de neurones récurrent sont représentés par un vecteur de paramètres, ,ledit vecteur de paramètres étant obtenu par une descente de gradient stochastique sur une fonction de perte moyennée par mini-lot où est une erreur TD de la prédiction de valeur d’action pour une expérience du mini-lot et l’erreur TD est positive, dans le cas contraire, où sont des réels vérifiant . Méthode d’association d’équipements d’utilisateurs à des stations de base d’un réseau cellulaire selon l’une des revendications 1 à 4, caractérisée en ce que le réseau cellulaire est confronté à une pluralité de tâches , chaque tâche étant définie par un ensemble de services requis par les différents équipements d’utilisateurs où représente un service requis par l’équipement d’utilisateur dans la tâche ,chaque tâche définissant une classe d’environnement pour l’ensemble des utilisateurs ; et que l’agent associé à un équipement d’utilisateur prédit les valeurs d’action des différentes actions possibles au moyen d’un réseau de neurones récurrent, dit réseau élève, ayant été entrainé pendant une période d’apprentissage sur les prédictions respectives d’une pluralité de réseaux de neurones récurrents, dits réseau maîtres, chaque réseau maître étant associé à une tâche du réseau et ayant été lui-même entraîné sur un ensemble d’expériences réalisées dans le cadre de cette tâche, une expérience étant définie comme un quadruplet constitué du vecteur d’observation au temps donné, de l’action sélectionnée par l’agent à cet instant, de la récompense reçue du contrôleur suite à cette action, et d’un vecteur d’observation, , à l’instant suivant, les expériences réalisées dans le cadre d’une tâche étant stockées dans une mémoire locale de l’équipement d’utilisateur . Méthode d’association d’équipements d’utilisateurs à des stations de base d’un réseau cellulaire selon la revendication 11, caractérisée en ce qu’au terme de l’entraînement de chaque réseau maître, celui-ci prédit les valeurs d’actions pour les vecteurs d’action issus des expériences réalisées dans le cadre de la tâche associée à ce réseau maître, lesdites prédictions de valeur d’action étant stockées avec les vecteurs d’observation correspondants, dans une mémoire commune à l’ensemble des tâches, notée , et qu’après que tous les réseaux maîtres ont été entraînés, le réseau élève est entrainé de manière supervisée sur les données d’entraînement , étant vecteur d’entrée du réseau élève et étant l’étiquette associée.