Brevet FR3140729A1 — publié le 20240412

La présente invention concerne une méthode de gestion de ressources radio dans un réseau cellulaire. Pour chaque nœud d’intérêt du réseau ( ), on détermine un ensemble ( ) de nœuds voisins. Chaque nœud voisin ( ) effectue une observation locale de son environnement ( ), en extrait une pluralité de caractéristiques radio puis code chacune de ces caractéristiques radio sous la forme d’un message ( ) qui est transmis au nœud d’intérêt. Le nœud d’intérêt génère alors une cartographie locale ( ) de chaque caractéristique en agrégeant les messages codant cette caractéristique. Les différentes cartographies locales sont ensuite fusionnées à l’aide de paramètres de fusion de manière à fournir une cartographie locale hybride ( ) de caractéristiques radio. Le nœud d’intérêt décide en chaque instant d’effectuer une action ( ) parmi un ensemble fini ( ) d’actions possibles, à partir de ladite cartographie locale hybride et d’une stratégie de gestion de ressources radio définie par une distribution paramétrée de probabilité conditionnelle de chaque action ( ). L’ensemble des paramètres de fusion ainsi que l’ensemble ( ) des paramètres de la distribution de probabilité conditionnelle font l’objet d’un apprentissage par renforcement de manière à maximiser une récompense au cours du temps, dépendant d’une fonction-objectif du réseau. Fig. 3 MÉTHODE DE GESTION DE RESSOURCES RADIO DANS UN RÉSEAU CELLULAIRE AU MOYEN D’UNE CARTOGRAPHIE HYBRIDE DE CARACTÉRISTIQUES RADIO La présente invention concerne le domaine des réseaux cellulaires et plus particulièrement la gestion de ressources radio ou RRM ( Radio Resource Management ) dans un tel réseau. Elle concerne également le domaine de l’intelligence artificielle et plus particulièrement celui de l’apprentissage distribué ( Distributed Learning ). ÉTAT DE LA TECHNIQUE ANTÉRIEURE Avec le déploiement de réseaux cellulaires de 5 ème génération (5G), les techniques de gestion de ressources radio ont dû évoluer pour prendre en compte de nouveaux cas d’usage faisant appel à des services fortement hétérogènes en termes de qualité de service (QoS). En outre, la plupart des réseaux 5G sont eux-mêmes hétérogènes par nature, ceux-ci faisant généralement appel à une superposition d’une couche dense de petites cellules ou SBS ( Small cell Base Stations ) opérant notamment dans la bande millimétrique, destinées à assurer une couverture à faible distance et débit élevé, et d’une couche peu dense de macrocellules ou MBS ( Macro cell Base Stations ), opérant dans la bande sub-6 GHz, destinée à assurer une couverture continue. Cette hétérogénéité conduit à une plus grande complexité de la gestion des ressources radio ou RRM. La gestion des ressources radio est généralement effectuée en maximisant ou en minimisant une fonction-objectif donnée. Ainsi, selon la stratégie envisagée, on pourra, par exemple, maximiser la qualité de service (QoS) de certaines communications du réseau, minimiser la fréquence des opérations de handover, minimiser la latence de certaines communications, ou encore minimiser la consommation énergétique des terminaux mobiles et/ou des stations de base. La gestion des ressources intervient à différents niveaux dans le réseau, par exemple dans l’allocation de ressources de transmission (intervalles de temps, fréquences, codes), l’association des terminaux d’utilisateurs (UEs) aux stations de base, l’attribution/ la configuration de faisceaux, l’allocation de puissance, le mécanisme de handover, le déploiement dynamique de stations de base ou de relais, la localisation de terminal, etc. Pour des raisons de simplicité, de flexibilité et de scalabilité, les méthodes de gestion de ressources radio font généralement appel à une cartographie de caractéristiques radio représentant les conditions de propagation et/ou l’activité spectrale dans différentes sous-bandes, en différents points de la zone géographique dans laquelle est déployée le réseau. Ces caractéristiques radio sont classiquement obtenues à partir des informations d’état du canal ou CSI ( Channel State Information ) collectées par les différents terminaux d’utilisateurs en différents points, à différentes fréquences et différentes époques. Les caractéristiques radio ainsi cartographiées permettent alors d’estimer les niveaux d’interférence, les propriétés des canaux de propagation ainsi que la topologie du réseau. Différentes cartographies de caractéristiques radio, plus simplement dénommées cartographies radio, sont connues de l’état de la technique. Par exemple, une cartographie de puissance de signal reçu ou RSS ( Received Signal Strength ) d’une pluralité de points d’accès (ou, réciproquement la puissance de signal reçue en provenance d’une source par une pluralité de récepteurs) est classiquement utilisée dans des méthodes de localisation par empreintes radio ( radio fingerprinting ). Un exemple d’application de cartographie RSS pour déployer dynamiquement des relais dans un réseau est décrit dans l’article de J. Chen intitulé « Learning radio maps UAV-aided wireless networks : a segmented regression approach » publié dans Proc. of IEEE Int’l Conf. on Communications, mai 2017, pp. 1-6. L’article de S. Bi et al. intitulé « Engineering radio map for wireless resource management » publié dans IEEE Wireless Communications, Février 2019, propose de générer une cartographie de puissance de densité spectrale ou PSD ( Power Spectral Density ) par superposition de cartographies locales obtenues en différents points d’émission. Cette méthode de cartographie nécessite cependant de disposer d’un grand nombre de nœuds pour obtenir une cartographie précise de la PSD. Enfin, l’article de C. Studer et al. intitulé « Channel charting : locating users within the radio environment using channel state information » publié dans IEEE Access, vol. 4, 2016, pp. 1-17 décrit une méthode d’apprentissage non supervisée d’une cartographie radio (ici une cartographie de caractéristiques de canal), à partir d’une acquisition des informations CSI collectées par les différents terminaux. La cartographie de caractéristiques de canal est apprise dans un espace de représentation ( embedding ) de dimension réduite ( ) par rapport à l’espace géométrique ( ), tout en préservant les relations géométriques locales. Plus précisément, des points physiquement proches dans l’espace géométrique sont transformés en des points voisins dans l’espace de représentation (contrainte de continuité). La cartographie de caractéristiques de canal dans l’espace de représentation peut ensuite être utilisée par une station de base pour prendre les décisions de handover. Toutefois la cartographie de caractéristiques de canal proposée dans cet article ne contient qu’une information relativement pauvre. Ainsi, elle ne peut être utilisée de manière satisfaisante pour la gestion des ressources radio du réseau. En outre, la contrainte de continuité précitée peut s’avérer inappropriée dans certains cas. En effet, des terminaux mobiles situés à proximité l’un de l’autre peuvent présenter des caractéristiques de canal radicalement différentes alors qu’ a contrario des terminaux mobiles distants peuvent posséder des caractéristiques de canal relativement similaires. Qui plus est, la génération de cartographie de ces caractéristiques est généralement réalisée de manière centralisée, par exemple au sein d’un serveur de calcul, ce qui, d’une part, requiert l’échange d’un grand nombre de messages de mesures au sein du réseau et réduit d’autant le débit utile des communications, et, d’autre part, ne permet pas de suivre de manière efficace les variations locales de caractéristiques dues à l’hétérogénéité du réseau. Enfin, la cartographie canal obtenue est spécifique à un environnement et à une bande de fréquence donnés : un changement d’environnement ou de gamme de fréquences (par exemple de la bande sub-6 GHz à la bande millimétrique ou réciproquement) nécessite par conséquent de lancer une nouvelle campagne complète d’apprentissage. L’objet de la présente invention est par conséquent de proposer une méthode de gestion de ressources radio basée sur une cartographie radio enrichie (ou augmentée), qui puisse facilement prendre en compte l’hétérogénéité du réseau sans recourir à des infrastructures de calcul importantes ni pénaliser le débit utile des communications, et qui ne nécessite pas de nouvelle phase complète d’apprentissage en cas de changement d’environnement ou de topologie du réseau. La présente invention est définie par une méthode de gestion de ressources radio dans un réseau cellulaire comprenant une pluralité de nœuds, dans laquelle pour chaque point d’intérêt ( ) du réseau, on détermine un voisinage ( ) de ce point d’intérêt, chaque nœud dudit voisinage ( )effectuant une observation locale de son environnement ( ) et en extrayant une pluralité de caractéristiques radio, ladite méthode étant originale en ce que : - chaque nœud voisin code chacune des caractéristiques radio sous la forme d’un message ( ) et transmet ce message au nœud d’intérêt ; - le nœud d’intérêt génère une cartographie locale ( ) de chaque caractéristique radio en agrégeant les messages codant cette caractéristique ; - le nœud d’intérêt fusionne les cartographies locales au moyen de paramètres de fusion pour générer une cartographie locale hybride ( ) des différentes caractéristiques radio ; - le nœud d’intérêt décide en chaque instant d’effectuer une action ( ) parmi un ensemble fini ( ) d’actions possibles, à partir de ladite cartographie locale hybride et d’une stratégie de gestion de ressources radio définie par une distribution paramétrée de probabilité conditionnelle de chaque action ( ), l’ensemble des paramètres de fusion ainsi que l’ensemble ( ) des paramètres de la distribution de probabilité conditionnelle faisant l’objet d’un apprentissage par renforcement de manière à maximiser une récompense au cours du temps, dépendant d’une fonction-objectif du réseau. Avantageusement, la récompense à maximiser correspond est une somme de débits ou de niveaux de qualité de service sur des communications du réseau à maximiser, ou bien une fréquence de handover ou une consommation énergétique à minimiser. Le voisinage du point d’intérêt peut être défini comme un ensemble de points voisins du réseau au sens d’une métrique de similarité opérant dans un espace de représentation des observations locales. Alternativement, ledit voisinage du point d’intérêt est déterminé au moyen d’un classificateur préalablement entraîné, opérant dans un espace de représentation des observations locales. Avantageusement, le nœud d’intérêt ne décide d’effectuer une action à un instant que dans la mesure où l’une des cartographies locales d’une caractéristique radio à cet instant diffère de la cartographie locale de la même caractéristique radio à l’instant précédent, la différence entre les deux cartographies locales étant mesurées à l’aide d’une divergence de Kullback-Leibler. Alternativement, le nœud d’intérêt ne décide d’effectuer une action à un instant que dans la mesure où la cartographie locale hybride à cet instant diffère de la cartographie locale hybride à l’instant précédent, la différence entre les deux cartographies hybrides étant mesurée à l’aide d’une divergence de Kullback-Leibler. La fusion des cartographies radio locales utilise avantageusement un mécanisme d’attention à têtes, avec où est le nombre de caractéristiques radio.Dans ce cas, la cartographie locale hybride peut être obtenue au moyen de où est le score entre une requête du nœud et les clés associées aux différentes observations issues des nœuds du voisinage ,du nœud d’intérêt, est la valeur de cartographie locale de la caractéristique au point , à l’instant et à la fréquence , et est une matrice de taille où est le nombre de nœuds du voisinage . La requête du nœud d’intérêt peut être exprimée par un vecteur où est une matrice de taille où est la dimension de l’espace de représentation des caractéristiques et est la taille des vecteurs d’observation et les clés associées aux différentes observations issues des nœuds de peuvent être exprimées par les vecteurs . Enfin, le score entre la requête du nœud et une clé associée à un nœud du voisinage peut être calculé au moyen de où « . » représente le produit scalaire. D’autres caractéristiques et avantages de l’invention apparaîtront à la lecture d’un mode de réalisation préférentiel de l’invention, décrit en référence aux figures jointes parmi lesquelles : représente de manière schématique un service de passage de messages entre nœuds d’un même voisinage au sein du réseau, utilisé dans le cadre de la présente invention ; illustre de manière schématique un exemple de combinaison de cartographies de caractéristiques locales radio pouvant être utilisé dans la méthode de gestion de ressources radio selon la présente invention ; représente de manière schématique l’architecture d’un nœud du réseau permettant de mettre en œuvre une méthode de gestion de ressources radio selon un mode de réalisation de la présente invention ; représente de manière schématique un ordinogramme de la méthode de gestion de ressources radio selon un mode de réalisation de la présente invention ; détaille l’étape de détermination du voisinage d’un nœud dans l’ordinogramme de la . EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS On considérera dans la suite un réseau cellulaire composé d’une pluralité de stations de base. Sans perte de généralité et à titre d’illustration seulement, nous supposerons que ce réseau cellulaire est hétérogène. Par réseau cellulaire hétérogène nous entendons un réseau résultant de la superposition d’une couche de petites cellules (SBS) de faible couverture, mais potentiellement capable d’offrir à chaque UE un débit élevé, et d’une couche de macro-cellules (MBS), garantissant la continuité de la couverture du réseau en offrant une plus grande portée. Un exemple typique d’application est celui d’un réseau 5G dans lequel les cellules SBS opèrent dans la bande millimétrique et les cellules MBS opèrent dans la bande sub-6 GHz. L’homme du métier comprendra toutefois que la méthode d’association selon la présente invention s’applique à un réseau cellulaire quelconque, qu’il soit homogène ou hétérogène. Une idée à la base de la présente invention est d’effectuer un apprentissage d’une politique de gestion de ressource radio à partir d’une cartographie locale hybride d’une pluralité de caractéristiques radio. Cette cartographie est obtenue de manière distribuée et non plus centralisée comme dans l’état de la technique. Pour ce faire, la présente invention utilise un service de passage de messages entre nœuds voisins, tel qu’illustré en .Les nœuds du réseau, notés , peuvent être des terminaux d’utilisateurs (UE), des stations de base (BS) ou encore des relais. On a représenté en Fig. 1 les nœuds appartenant au voisinage , d’un nœud d’intérêt , par exemple un terminal d’utilisateur, ledit voisinage étant obtenu au moyen d’une métrique de similarité décrite plus loin. Comme la notation l’indique, le voisinage dépend du temps dans la mesure où l’environnement du nœud peut varier, soit que celui-ci se déplace dans le réseau, soit que des nœuds sortent ou entrent dans la zone où se trouve , soit encore en raison de l’évolution de l’environnement de propagation lui-même (par exemple mouvement d’un obstacle à la propagation), soit encore en raison d’une combinaison de ces différentes causes, ce de manière non limitative. Chaque nœud appartenant au voisinage de , soit , effectue une observation locale, notée ,de son environnement radio sous la forme d’une mesure d’au moins un paramètre ou signal radio. De manière générale, une telle observation locale peut se présenter sous une forme vectorielle, par exemple un vecteur ligne ,chaque élément du vecteur d’observation correspondant à la mesure d’un paramètre ou d’un signal radio, et peut dépendre de l’instant, , et de la fréquence, , à laquelle (voire de la bande de fréquence dans laquelle) elle est réalisée. Cette observation locale peut comprendre une mesure de signal reçu RSS, un angle d’arrivée d’un signal reçu, un angle de départ d’un signal émis, une estimation de canal ou de manière équivalente, une information d’état de canal CSI, une estimation de qualité de service QoS, un niveau d’interférence, une classe de mobilité (dans un système 5G) ou une requête en densité de trafic (dans un système 5G). On supposera dans la suite que chaque nœud est capable d’extraire caractéristiques radio de ses observations locales. Ces caractéristiques radio peuvent être relatives par exemple à la topologie du réseau, au niveau d’interférence, à la densité de trafic etc. Ces caractéristiques radio sont codées sous forme de messages qui sont transmis aux nœud . Plus précisément, dans le cas de la Fig. 1, chaque nœud effectuant une observation locale, , en extrait des caractéristiques radio et les code chacune d’entre elle sous la forme d’un message qu’il transmet au nœud , soit : La fonction de codage dépend en règle générale du nœud dont on considère le voisinage et de la caractéristique radio envisagée. Elle peut être vue comme une fonction de pré-filtrage relative à la caractéristique ayant pour objet d’extraire de l’observation locale une information relative à cette caractéristique. Cette fonction de codage peut prendre différentes formes selon le type d’observation et le type de caractéristique envisagés. Par exemple, elle peut être définie par une opération d’association ( clustering ), une projection sur une variété géométrique, notamment sur une variété affine relative à la caractéristique en question, une multiplication par une matrice de filtrage, une table de mapping, un réseau de neurones. Le nœud d’intérêt agrège les messages relatifs à une même caractéristique , reçus de ses voisins et calcule la valeur prise par une variable cartographique locale représentant cette caractéristique, en une pluralité de positions avec , à l’instant et à la fréquence , soit : où est une fonction d’agrégation, invariante par permutation des indices (l’ordre des nœuds dans le voisinage étant sans importance) et scalable, dans la mesure où la fonction d’agrégation doit être indépendante du nombre de nœuds dans le voisinage . Dans la suite pour des raisons de simplification, nous adopterons la notation en lieu et place de , étant bien compris que le nombre de nœuds voisins du nœud d’intérêt dépend généralement du temps. L’ensemble des valeurs pour les différentes positions donne une cartographie locale ( local feature map ), de la caractéristique à l’instant et la fréquence , dans le voisinage , où est un vecteur de taille . De manière plus générale, les valeurs ne sont pas nécessairement des scalaires mais des vecteurs de dimension (étant la dimension de l’espace de représentation des caractéristiques radio), la cartographie étant alors définie par une matrice de taille . Le cas échéant, on pourra prévoir une taille de matrice indépendante du nœud d’intérêt considéré, avec la matrice étant alors creuse ( sparse ) ou bien présentant des valeurs interpolées pour les points ne correspondant pas à des positions de nœuds du voisinage. Dans la suite, nous supposerons cependant, sans perte de généralité, que les matrices sont de taille . La fonction d’agrégation des différents messages peut être, par exemple, une concaténation, une opération de max-pooling, une somme de projections, voire un mécanisme d’auto-attention ( self attention ) tel que défini dans l’article de A. Vaswani et al. intitulé « Attention is all you need », publié dans Proceedings of NIPS 2017, 6.12.2017. Le cas échéant, les opérations de codage et de combinaison pourront être réalisées de manière conjointe dans un réseau de neurones en graphe ou GNN (Graph Neural Network), tel que décrit dans l’article de J. Zhou et al. intitulé « Graph neural networks : a review of methods and applications » publié dans AI Open, vol. 1, pp. 57-81, par exemple dans un réseau d’attention en graphe. Dans un tel cas, les nœuds du graphe sont des nœuds du réseau cellulaire, chaque nœud disposant d’une information correspondant à son observation locale et les arêtes du graphe représentent les messages échangés . Les cartographies locales des différentes caractéristiques, , sont ensuite fusionnées pour obtenir une cartographie locale hybride de ces caractéristiques, dite encore cartographie augmentée, . La manière dont la fusion est réalisée dépend de la fonction-objectif à optimiser (à maximiser ou à minimiser) pour une politique donnée de gestion de ressources radio. Par exemple, il pourra s’agir de maximiser une somme de débits (sur différentes communications), de maximiser une qualité de service, de réduire la fréquence de handover, de réduire la consommation d'énergie dans un scénario de calcul en périphérie de réseau ou MEC (Mobile Edge Computing). Selon un premier exemple de réalisation, la fusion peut être obtenue au moyen d’une simple somme, voire d’une somme pondérée. Autrement dit : où , sont des réels strictement positifs. Cela suppose dans ce cas, que toutes les matrices soient de même taille . Selon un second exemple de réalisation, la cartographie augmentée peut être obtenue au moyen d’une somme de produits matriciels : où , sont des matrices de taille . Selon un troisième exemple de réalisation, la cartographie augmentée est obtenue au moyen d’un mécanisme d’attention. On rappelle qu’un mécanisme d’attention vise, de manière schématique, à rechercher dans une séquence d’entrées, celles (ici les caractéristiques radio) qui présentent une certaine connexion ou corrélation pour prédire au mieux une sortie. Un mécanisme d’attention (cf. article de Vaswani et al. précité) met en œuvre un vecteur de requête ( query ), un vecteur de clé ( key ) et un vecteur de valeur ( value ). Pour une requête donnée et pour chaque clé associée à une valeur, on calcule un score d’attention qui représente le degré de pertinence de cette clé pour la requête, le résultat de la requête étant alors la pondération des différentes valeurs par des poids représentatifs des scores associés. Dans le cas présent, une requête du nœud est formée pour chaque caractéristique parmi caractéristiques au moyen de : où est une matrice de taille où est la dimension de l’espace de représentation des caractéristiques et est la taille des vecteurs d’observation. Plus précisément, la cartographie locale augmentée est alors obtenue par : où est le score entre la requête du nœud et les clés associées aux différentes observations issues des nœuds de , à savoir : où est le vecteur de clé associé aux différentes observations issues des nœuds de et . représente le produit scalaire ; est une matrice de taille où est le vecteur de valeur associé à ces mêmes observations ; est une matrice de taille où est le nombre de têtes d’attention, est une matrice de taille et par conséquent la cartographie est une matrice de taille . Les coefficients dans le premier exemple de réalisation, les matrices dans le second exemple de réalisation, ainsi que les matrices , , , intervenant dans le troisième exemple de réalisation, collectivement dénommés paramètres de fusion, sont avantageusement déterminés au moyen d’un apprentissage par renforcement comme décrit plus loin. La représente de manière schématique une combinaison de cartographies locales radio selon le premier exemple de réalisation précité. On a représenté en 210 1 , 210 2 ,…,210 K les cartographies locales radio obtenues par le nœud à partir des messages reçus de ses nœuds voisins. Par exemple, la cartographie 210 1 peut donner la topologie locale du réseau, la cartographie 210 2 peut donner une information de RSS de signal reçu de , etc. Ces cartographies sont pondérées au moyen de coefficients de pondération qui auront été préalablement déterminés dans une phase d’apprentissage, cet apprentissage dépendant de la fonction-objectif, puis combinées en 220. La cartographie hybride (ou augmentée) 230, résultant de la combinaison des différentes cartographies de caractéristiques radio, est utilisée pour prendre des décisions de gestion de ressources radio. La représente de manière schématique l’architecture d’un nœud du réseau permettant de mettre en œuvre une méthode de gestion de ressources radio selon un mode de réalisation de la présente invention. Le nœud considéré, 300, est le nœud d’intérêt de la Fig. 1. On rappelle que chaque nœud , , du voisinage effectue une observation de son environnement, en extrait une information relative à la caractéristique radio puis transmet un message au nœud . Le nœud 300 possède une pluralité de modules d’agrégation 310 k , chaque module d’agrégation 310 k agrégeant les messages , , reçus des nœuds de pour générer une cartographie locale de la caractéristique radio . Cette cartographie est stockée dans une mémoire locale associée (non représentée). Les cartographies locales radio relatives aux différentes caractéristiques sont ensuite fusionnées dans le module de combinaison 320 pour fournir une cartographie locale hybride (ou augmentée) . Le nœud 300 prend une décision relative à la gestion des ressources radio dans le module de décision 330, de manière à optimiser une fonction-objectif. Les modules de combinaison et de décision peuvent être réalisés par exemple au moyen de réseaux de neurones. Selon un mode de réalisation, le module de décision 330 ne prend de nouvelle décision que lorsqu’une variation est intervenue dans l’une des cartographies , . Les paramètres des modules de fusion et du module de décision sont déterminés par apprentissage, avantageusement au moyen d’un apprentissage par renforcement, comme décrit plus loin. La représente de manière schématique un ordinogramme de la méthode de gestion de ressources radio selon un mode de réalisation de la présente invention. On considère à nouveau un nœud d’intérêt du réseau. Ce nœud 400 effectue à l’étape 410 une observation locale de son environnement radio, . Il en extrait une information relative à chaque caractéristique radio puis transmet les messages aux nœuds pour lesquels . En parallèle, le nœud détermine à l’étape 415 son voisinage à l’instant au sens d’une métrique comme décrit plus loin, et reçoit en 425 les messages des nœuds du réseau appartenant à ce voisinage. Le nœud génère en 420 les cartographies locales , des différentes caractéristiques radio et les fusionne en 440 pour obtenir la cartographie locale augmentée, . En parallèle, les cartographies locales mises à jour sont stockées en 430 dans une mémoire locale 435 du nœud, . Le nœud prend une décision de gestion des ressources radio en 460, différentes options sont possibles : Tout d’abord, une décision relative à la gestion des ressources radio peut être prise à chaque incrément temporel. Alternativement, une telle décision ne sera prise que si l’une des cartographies courantes , diffère de manière significative de celle générée pour la même caractéristique à l’instant précédent , option représentée par le test 450. Alternativement encore, une telle décision ne sera prise que si la cartographie hybride courante diffère significativement de celle relative à l’instant précédent, . Alternativement enfin, une telle décision ne sera prise que si la cartographie hybride observée sur une fenêtre temporelle donnée diffère significativement de celle observée en un instant précédant cette fenêtre. Dans tous les cas, la détection d’une variation de la cartographie pourra être obtenue à partir de la divergence K-L (divergence de Kullback-Leibler) entre deux cartographies successives. Par exemple, dans le premier cas, une variation significative sera détectée si : où est la divergence K-L et est un réel positif représentant un seuil de variation prédéterminé. La politique de gestion de ressources radio suivie par le nœud est déterminée au moyen d’un apprentissage par renforcement. On rappelle qu’une méthode d’apprentissage par renforcement est une méthode d’apprentissage automatique dans laquelle un agent autonome, plongé dans un environnement, apprend des actions à effectuer à partir d’expériences, de manière à optimiser une récompense cumulée au cours du temps. L’agent prend des décisions en fonction de son état dans l’environnement selon un processus de décision markovien et l’environnement lui procure en retour des récompenses en fonction des actions qu’il effectue à chaque instant. Dans le cas présent, l’agent est un nœud du réseau, en l’occurrence le nœud , et l’état du nœud dans l’environnement est représenté par la cartographie locale augmentée . L’apprentissage a ici pour objectif de déterminer la stratégie de gestion des ressource radio , c’est-à-dire la probabilité pour le nœud de décider d’effectuer l’action où est l’ensemble des actions possibles lorsque la cartographie locale augmentée est . L’ensemble des paramètres paramétrisant la distribution de probabilité , ainsi que les paramètres de fusion, par exemple les matrices , , , intervenant dans le troisième exemple de réalisation sont appris au moyen d’un apprentissage de bout en bout ( end-to-end ), c’est-à-dire concernant à la fois le module de combinaison 330 et le module de décision 340. L’apprentissage peut être réalisé, de manière connue en soi, par une méthode de gradient de stratégie ( policy gradient method ) décrite dans l’ouvrage de R.S. Sutton intitulé « Reinforcement Learning » publié par MIT Press en 2018.La méthode de gestion de ressources radio décrite ci-dessus suppose que chaque nœud puisse déterminer son voisinage (cf. étape 415), et donc les nœuds qui vont participer au service de passage de messages. Le voisinage du nœud peut être déterminé en sélectionnant (ou en sous-échantillonnant) parmi les nœuds du réseau, ou d’un sous-ensemble de celui-ci, ceux qui satisfont à une certaine métrique , opérant dans un espace de représentation des observations locales : La métrique peut être une similarité en cosinus ( cosine similarity ) basée sur un produit scalaire de vecteurs normés. Alternativement, peut être considéré comme un processus de classification où définit la probabilité que l’observation se trouve dans la même classe que . L’opérateur de classification peut être entraîné en ligne de manière centralisée et supervisée comme indiqué en . A l’étape 510, le nœud collecte les observations locales de l’ensemble des nœuds du réseau ou d’un sous-ensemble constitué par exemple de ceux qui sont à la portée en réception de . Ces observations locales sont représentées par des vecteurs . Ces vecteurs font ensuite l’objet d’un prétraitement (par exemple une normalisation) en 520 avant d’être projetés dans un espace de représentation de dimension réduite en 530. Un algorithme de clustering de type K-means, 540, permet alors de regrouper les nœuds sous forme d’agrégats et d’attribuer ensuite, 550, une même étiquette aux nœuds d’un même agrégat. Un classificateur peut enfin être entrainé hors ligne ( offline ) de manière supervisée sur les paires nœuds-étiquettes ainsi créées, 560. Une fois entrainé, le classificateur peut déterminer pour un nœud donné, , les nœuds du réseau ou d’un sous-ensemble de celui-ci qui appartiennent au même agrégat que . Ces nœuds forment le voisinage de . La méthode de gestion des ressources radio d’un réseau cellulaire à partir d’une cartographie locale augmentée en chaque nœud du réseau voire en des nœuds d’un certain type seulement (stations de base BS, SBS, MBS, relais, etc.) permet de prendre des décisions de manière distribuée en prenant en compte l’hétérogénéité de ce dernier. Qui plus est, lorsque l’ensemble des paramètres a été appris pour une gamme de fréquence (par exemple sub-6 GHz), celui-ci peut être transféré à des modules de combinaison et de décision opérant dans une autre gamme de fréquence (millimétrique) pour une poursuite et une adaptation de l’apprentissage à cette autre gamme. La transférabilité des paramètres permet ainsi d’accélérer la phase d’apprentissage dans un nouvel environnement. A titre d’illustration, nous décrirons ci-après deux exemples d’application d’une méthode de gestion de ressources radio selon la présente invention.Le premier exemple concerne l’association d’équipements d’utilisateur (UEs) dans un réseau 5G. On rappelle qu’une méthode d’association vise à déterminer, pour chaque terminal mobile, la station de base (autrement dit la cellule) qui devra le servir, compte tenu des besoins de l’ensemble des utilisateurs (débit, rapport signal sur bruit, latence, etc.) et des contraintes relatives aux stations de base (puissance maximale d’émission, niveau d’interférence, bande passante disponible, etc.). On suppose que le réseau 5G dispose de petites cellules ( small cells ) équipés de stations de base SBS opérant dans la bande millimétrique et de macro-cellules ( macro cells ) équipés de stations de base MBS dans la bande sub-6 GHz. L’ensemble des terminaux d’utilisateurs est noté ici et celui des points d’accès, de cardinal est noté .Chaque terminal utilisateur ou UE peut effectuer une action correspondant à une demande d’association à une station de base (SBS ou MBS). est l’ensemble des demandes d’associations possibles, correspondant ici de manière biunivoque à l’ensemble des stations de base. Les observations des différents UEs sont données par les vecteurs : où est la capacité totale du réseau à l’instant précédent , est le débit requis par le terminal mobile à l’instant , est la puissance du signal reçu par l’UE de la station de base à l’instant et à la fréquence , est l’angle d’arrivée du signal reçu de cette station de base, est le niveau d’interférence mesuré et le niveau de qualité de service, tels que perçus à l’instant précédent. On notera que la capacité totale du réseau n’est pas connu au moment de l’observation dans la mesure où la décision d’association de n’est pas encore prise, c’est donc sa valeur à l’instant précédent qui est prise en compte dans le vecteur d’observation. Il en va de même pour les niveaux d’interférence et de qualité de service. Le voisinage est ensuite déterminé comme décrit précédemment en relation avec la . Les messages reçus par le nœud sont pris en compte au moyen d’un mécanisme d’attention à plusieurs ( ) têtes. Le message transmis par le nœud au nœud correspondant à la caractéristique est défini par : avec et en reprenant les notations précédentes. La cartographie locale augmentée est obtenue en fusionnant les cartographies locales, par les expressions (6) et (7). Les paramètres paramétrisant la stratégie sont choisis de manière à maximiser la récompense au cours du temps, par exemple maximiser les débits ou les niveaux de QoS des différentes communications, ou encore minimiser la fréquence de handover. Le second exemple concerne le positionnement de points d’accès mobiles ou MAPs ( Mobile Access Points ) par exemple des points d’accès installés sur des drones ou UAVs ( Unmanned Aerial Vehicles ) dans un réseau 5G. De tels points d’accès mobiles permettent de déployer et reconfigurer rapidement un réseau, par exemple dans des situations d’urgence ou dans un théâtre d’opérations. La gestion de ressources radio dans un tel contexte, notamment le nombre de drones et leur positionnement, est particulièrement complexe en raison de la mobilité à la fois des UEs et des MAPs.On suppose dans cet exemple que les MAPs opèrent dans la gamme de fréquence millimétrique et sont directement reliées au réseau dorsal ( backhaul network ). Le réseau comprend en outre stations de base MBS dans la bande sub-6 GHz. Pour simplifier, on considère une seule station de base MBS (une seule macrocellule) et une pluralité de point d’accès mobiles MAPs. Comme précédemment, on note l’ensemble des terminaux utilisateurs, chaque terminal utilisateur est supposé de 2 antennes lui permettant d’établir soit une liaison avec un MAP soit une liaison avec une MBS. L’ensemble des points d’accès est de cardinal ( MAPs et une MBS), le nombre de MAPs étant choisi égal au nombre d’agrégats, , identifiés dans le réseau. Ces agrégats peuvent donc être désignés par , , chaque agrégat étant constitué d’équipements d’utilisateur , . Chaque point d’accès mobile , peut prendre une décision où est l’ensemble des actions de déplacement possibles. Par exemple, cet ensemble peut être constitué de 6 déplacements incrémentaux (positifs et négatifs selon les 3 axes X,Y,Z) et d’un état stationnaire (pas de déplacement à l’instant ). L’environnement d’un point d’accès mobile étant constitué des UEs , chaque UE appartenant à l’agrégat transmet au nœud un message relatif à la caractéristique : où et sont respectivement les vecteurs clé et valeur relatifs au . Le vecteur d’observation est est donné par où ( ) sont les coordonnées spatiales de l’UE et est le débit perçu par cet UE. Le point d’accès mobile agrège les messages reçus au moyen d’un mécanisme d’attention à plusieurs () têtes et génère, pour chaque caractéristique radio , une cartographie locale . Ces cartographies locales sont ensuite fusionnées au moyen d’un mécanisme d’attention, comme décrit en relation avec les expressions (6) et (7), à savoir : où est le score entre la requête du point d’accès mobile ,où désigne l’observation locale de (à savoir sa localisation 3D) et les vecteurs clé associés aux différentes observations issues des UEs de l’agrégat : où, comme précédemment, est la dimension de l’espace de représentation des caractéristiques radio. Ce score reflète la corrélation entre la dynamique du point d’accès mobile et celles des UEs appartenant à l’agrégat. A partir de la cartographie augmentée , le point d’accès mobile prend une décision au moyen de la stratégie . L’ensemble des paramètres paramétrisant la distribution de probabilité , ainsi que les paramètres de fusion, à savoir les matrices , , , sont appris au moyen d’un apprentissage par renforcement de bout en bout, visant à maximiser une récompense au cours du temps. Comme dans l’exemple précédent, la maximisation de la récompense peut être exprimée comme une maximisation des débits ou des niveaux de QoS des différentes communications, ou encore une minimisation de la fréquence de handover. Méthode de gestion de ressources radio dans un réseau cellulaire comprenant une pluralité de nœuds, dans laquelle pour chaque nœud d’intérêt ( ) du réseau, on détermine un voisinage ( ) de ce nœud d’intérêt, chaque nœud dudit voisinage ( )effectuant une observation locale de son environnement ( ) et en extrayant une pluralité de caractéristiques radio, caractérisée en ce que : chaque nœud dudit voisinage code chacune des caractéristiques radio sous la forme d’un message ( ) et transmet ce message au nœud d’intérêt ; le nœud d’intérêt génère une cartographie locale ( ) de chaque caractéristique radio en agrégeant les messages codant cette caractéristique ; le nœud d’intérêt fusionne les cartographies locales au moyen de paramètres de fusion pour générer une cartographie locale hybride ( ) des différentes caractéristiques radio ; le nœud d’intérêt décide en chaque instant d’effectuer une action ( ) parmi un ensemble fini ( ) d’actions possibles, à partir de ladite cartographie locale hybride et d’une stratégie de gestion de ressources radio définie par une distribution paramétrée de probabilité conditionnelle de chaque action ( ), l’ensemble des paramètres de fusion ainsi que l’ensemble ( ) des paramètres de la distribution de probabilité conditionnelle faisant l’objet d’un apprentissage par renforcement de manière à maximiser une récompense au cours du temps, dépendant d’une fonction-objectif du réseau. Méthode de gestion de ressources radio dans un réseau cellulaire selon la revendication 1, caractérisée en ce que la récompense à maximiser correspond est une somme de débits ou de niveaux de qualité de service sur des communications du réseau à maximiser, ou bien une fréquence de handover ou une consommation énergétique à minimiser. Méthode de gestion de ressources radio dans un réseau cellulaire selon la revendication 1 ou 2, caractérisée en ce que ledit voisinage du nœud d’intérêt est défini comme un ensemble de nœuds voisins du réseau au sens d’une métrique de similarité opérant dans un espace de représentation des observations locales. Méthode de gestion de ressources radio dans un réseau cellulaire selon la revendication 1 ou 2, caractérisée en ce que ledit voisinage du nœud d’intérêt est déterminé au moyen d’un classificateur préalablement entraîné, opérant dans un espace de représentation des observations locales. Méthode de gestion de ressources radio dans un réseau cellulaire selon l’une des revendications précédentes, caractérisée en ce que le nœud d’intérêt ne décide d’effectuer une action à un instant que dans la mesure où l’une des cartographies locales d’une caractéristique radio à cet instant diffère de la cartographie locale de la même caractéristique radio à l’instant précédent, la différence entre les deux cartographies locales étant mesurées à l’aide d’une divergence de Kullback-Leibler. Méthode de gestion de ressources radio dans un réseau cellulaire selon l’une des revendications 1 à 4, caractérisée en ce que le nœud d’intérêt ne décide d’effectuer une action à un instant que dans la mesure où la cartographie locale hybride à cet instant diffère de la cartographie locale hybride à l’instant précédent, la différence entre les deux cartographies hybrides étant mesurée à l’aide d’une divergence de Kullback-Leibler. Méthode de gestion de ressources radio dans un réseau cellulaire selon l’une des revendications précédentes, caractérisée en ce que la fusion des cartographies radio locales utilise un mécanisme d’attention à têtes, avec où est le nombre de caractéristiques radio. Méthode de gestion de ressources radio dans un réseau cellulaire selon la revendication 7, caractérisée en ce que la cartographie locale hybride est obtenue au moyen de où est le score entre une requête du nœud et des clés associées aux différentes observations issues des nœuds du voisinage ,du nœud d’intérêt, est la valeur de cartographie locale de la caractéristique au point , à l’instant et à la fréquence , et est une matrice de taille où est le nombre de nœuds du voisinage . Méthode de gestion de ressources radio dans un réseau cellulaire selon la revendication 8, caractérisée en ce que la requête du nœud d’intérêt est exprimée par un vecteur où est une matrice de taille où est la dimension de l’espace de représentation des caractéristiques et est la taille des vecteurs d’observation et que les clés associés aux différentes observations issues des nœuds de sont exprimées par les vecteurs . Méthode de gestion de ressources radio dans un réseau cellulaire selon la revendication 9, caractérisée en ce que le score entre la requête du nœud et une clé associée à un nœud du voisinage est calculé au moyen de où « . » représente le produit scalaire.