Brevet FR3044438A1 — publié le 20170602

SYSTEME ET PROCEDE D'AIDE A LA DECISION Domaine technique La présente invention concerne de manière générale les systèmes de gestion des données et en particulier un système et un procédé d'aide à la décision. Les systèmes d'aide à la décision sont utilisés dans de nombreux domaines où des décisions stratégiques doivent être prises comme par exemple dans le domaine militaire. En particulier, de tels systèmes peuvent être utiles pour optimiser la stratégie de défense en réponse à une attaque déclenchée par un dispositif attaquant. Le dispositif attaquant peut être contrôlé par un ou plusieurs opérateurs via une interface de contrôle. La modélisation du comportement du dispositif attaquant est un enjeu clé pour pouvoir prédire ses futures actions et adapter en conséquence la stratégie de défense. L'on connaît des modèles de décision stratégique simples qui peuvent être appliqués pour fournir des informations sur le gain (positif ou négatif) qu'un dispositif défenseur peut prévoir au regard des actions du dispositif attaquant. La notion du gain quantifie les avantages que l'on peut obtenir en choisissant une action plutôt qu'une autre, cet avantage dépendant du choix de l'opposant. Une approche connue de modélisation basée sur la théorie des jeux a été employée pour modéliser la décision stratégique dans le cadre de problèmes de sécurité. Un « jeu » est constitué d'un ensemble d'entités compétitives (encore appelées « joueurs »), d'un ensemble de mouvements/actions (encore appelées « stratégies ») disponibles pour ces entités compétitives, et de spécifications des gains escomptés pour chaque combinaison d'actions. Dans un contexte de jeu, des états d'équilibre peuvent être définis. Ceci signifie qu'en définissant le jeu de sécurité, il est nécessaire de connaître toutes les actions et les valeurs de gains possibles. Les équilibres constituent des situations selon lesquelles les joueurs (comprenant les dispositifs attaquants et dispositifs défenseurs dans le cas d'un jeu de sécurité) n'ont aucun intérêt à changer leurs choix d'actions (i.e. leurs stratégies). La théorie de John Nash (1957) a démontré qu'il existe toujours des équilibres « mixtes » dans un jeu. Cette théorie signifie que pour n'importe quel type de jeux, il existe toujours une distribution de probabilité, au-delà des stratégies des joueurs, qui mènent à un équilibre. 3044438 2 La détermination des équilibres n'est pas toujours un problème simple et n'est pas toujours souhaitable. En effet, dans certains cas, il peut être souhaitable de déterminer la solution la plus proche de l'optimum « social » plutôt que de l'équilibre. La plupart des approches existantes utilisent une méthode d'apprentissage simple pour 5 trouver l'équilibre ou une valeur proche de l'équilibre. Par exemple, l'algorithme de joueur fictif de Brown nécessite la connaissance de chacun des mouvements du dispositif adversaire et des gains correspondants pour le système. Par conséquent, cette solution est non applicable en pratique à de nombreux problèmes que ce soit parce que les stratégies adverses sont inconnues ou que leur combinaison n'est pas calculable. Par 10 ailleurs, dans certains scénarios, les stratégies des joueurs peuvent changer au cours du temps, où le contexte peut modifier les gains perçus. Pour résoudre ces problèmes, d'autres approches connues se basent sur l'utilisation de méthodes d'apprentissage configurées pour fournir des valeurs proches de l'équilibre ou de l'optimum social. Toutefois ces approches sont spécifiques à une méthode d'apprentissage choisie 15 statiquement. Définition générale de l'invention L'invention vient améliorer la situation en proposant un procédé d'aide à la décision pour déterminer une action à mettre en oeuvre par une entité compétitive donnée dans un système compétitif comprenant l'entité compétitive et au moins une autre entité 20 compétitive adverse, l'entité compétitive pouvant mettre en oeuvre une action parmi un ensemble d'actions prédéfinies, chaque action fournissant un gain attendu différent en fonction des actions mises en oeuvre par lesdites entités compétitives adverses, chaque entité étant en outre apte à mettre en oeuvre une méthode d'apprentissage parmi un ensemble de méthodes d'apprentissage prédéfinies pour apprendre les actions des 25 entités adverses, le procédé comprenant : - associer à chaque méthode d'apprentissage une fonction de probabilités élémentaire associant un paramètre de probabilité à chaque action possible de l'entité compétitive donnée ; - déterminer une fonction de probabilités globale associant un paramètre de probabilité à 30 chaque fonction de probabilités élémentaire ; -sélectionner l'une des fonctions de probabilités élémentaires en utilisant la fonction de probabilités globale ; 3044438 3 - appliquer la fonction de probabilités élémentaire sélectionnée pour déterminer une action parmi les actions pouvant être mises en oeuvre par ladite entité compétitive donnée. Le procédé peut par exemple comprendre la génération d'une recommandation d'action 5 comprenant un identifiant de l'action déterminée. Dans un mode de réalisation, le procédé peut comprendre une étape préalable consistant à modéliser la situation stratégique de l'entité compétitive donnée sous la forme d'un modèle de jeu comprenant l'ensemble des actions possibles des entités compétitives et la fonction de gain s'appliquant aux dites actions, la fonction de gain associant à chaque 10 action ou combinaison d'actions des entités compétitives un gain attendu. En particulier, le paramètre de probabilité peut être une valeur de poids. Dans certains modes de réalisation, les fonctions de probabilités élémentaires peuvent correspondre à une composante d'un vecteur de probabilités défini en fonction d'une distribution de probabilité. 15 Chaque composante du vecteur de probabilités peut alors dépendre de poids élémentaires prédéfinis. Le procédé peut notamment comprendre une étape de calcul de la fonction de gain à partir de données d'apprentissage. La fonction de gain peut dans ce cas dépendre de l'un au moins des modèles 20 multicritères suivants parmi une somme pondérée, Intégrale de Choquet, un modèle d'utilité additive généralisé, un réseau de neurones. En variante, la fonction de gain peut dépendre d'un modèle probabiliste. Selon une caractéristique de l'invention, le procédé peut comprendre une étape de mise à jour d'au moins une fonction de probabilités élémentaire en utilisant une fonction de mise 25 à jour, en réponse à la réception de données d'apprentissage obtenues en exécutant ou en simulant la fonction de probabilités élémentaire sélectionnée et l'action réellement choisie dans le système compétitif au moins une fois. L'étape de mise à jour peut comprendre la mise à jour de la fonction de probabilités élémentaire sélectionnée. 30 L'étape de mise à jour peut comprendre en outre la mise à jour d'au moins une desdites autres fonctions de probabilités élémentaires. 3044438 4 L'étape de mise à jour peut comprendre également l'application d'une fonction de mise à jour différente pour chaque fonction de probabilités élémentaire. Dans un mode de réalisation, les fonctions de mise à jour peuvent comprendre au moins une fonction de mise à jour dépendant du gain obtenu. 5 Les fonctions de mise à jour peuvent comprendre au moins une fonction de mise à jour dépendant de poids élémentaires, chaque poids élémentaire étant associé à une action donnée et les poids élémentaires étant fonction des gains obtenus. En particulier, la fonction de mise à jour d'une fonction de probabilités élémentaire donnée peut comprendre une composante par action, chaque composante par action dépendant 10 du rapport entre le poids élémentaire associé à l'action, à l'étape de décision considérée, et la somme totale des poids élémentaires correspondant aux différentes composantes de la fonction de probabilité élémentaire à l'étape de décision. Selon une autre caractéristique, l'étape de mise à jour peut comprendre en outre la mise à jour des poids élémentaires en fonction de la perte encourue en utilisant la méthode 15 d'apprentissage associée à la fonction de probabilités élémentaire à mettre à jour, à une étape de décision donnée. L'étape de mise à jour peut comprendre la mise à jour des poids élémentaires en appliquant une fonction de distribution de Boltzmann aux gains obtenus. L'étape de mise à jour peut comprendre la mise à jour des poids élémentaires en fonction 20 d'un paramètre représentant l'état de l'environnement, d'un taux d'exploration, et d'un facteur de remise. Les fonctions de mise à jour peuvent comprendre au moins une fonction de mise à jour dépendant de paramètres de gains reçus mesurant le regret d'avoir choisi la méthode d'apprentissage associée à la fonction de probabilités élémentaire plutôt qu'une autre 25 méthode d'apprentissage, à une étape de décision donnée. L'invention propose en outre un produit programme d'ordinateur, le programme d'ordinateur comprenant des instructions de code permettant d'effectuer les étapes du procédé selon l'une quelconque des caractéristiques précédentes, lorsque le programme est exécuté sur un ordinateur. 30 3044438 5 L'invention propose également un système d'aide à la décision pour déterminer une action à mettre en oeuvre par une entité compétitive donnée dans un système compétitif comprenant ladite entité compétitive et au moins une autre entité compétitive adverse, l'entité compétitive pouvant mettre en oeuvre une action parmi un ensemble d'actions 5 prédéfinies, chaque action fournissant un gain attendu différent en fonction des actions mises en oeuvre par lesdites entités compétitives adverses, chaque entité étant en outre apte à mettre en oeuvre une méthode d'apprentissage parmi un ensemble de méthodes d'apprentissage prédéfinies pour apprendre les actions des entités adverses, chaque méthode d'apprentissage étant associée à une fonction de probabilités élémentaire 10 associant un paramètre de probabilité à chaque action possible de l'entité compétitive donnée. Selon un aspect de l'invention, le système d'aide à la décision comprend un module d'apprentissage global configuré pour déterminer une fonction de probabilités globale propre à associer un paramètre de probabilité à chaque fonction de probabilités élémentaire, le module d'apprentissage global comprenant en outre une unité de sélection 15 configurée pour sélectionner l'une desdites fonctions de probabilités élémentaires en utilisant la fonction de probabilités globale, le module d'apprentissage globale étant propre à appliquer la fonction de probabilités élémentaire sélectionnée pour déterminer une action parmi lesdites actions pouvant être mises en oeuvre par ladite entité compétitive donnée, par exemple pour générer une recommandation incluant un identifiant de l'action. 20 L'invention fournit ainsi une méthode de méta-apprentissage qui permet de sélectionner la méthode d'apprentissage la plus adaptée dans un système d'aide à la décision dans un contexte de décision stratégique. Lorsqu'une unité de commande et de contrôle doit prendre une décision dont les avantages ou les inconvénients dépendent des actions des dispositifs adverses, le système d'aide à la décision selon l'invention est apte à fournir des 25 recommandations optimales. Les modes de réalisation selon l'invention permettent ainsi de déterminer le schéma d'apprentissage optimal parmi un ensemble de schémas d'apprentissages prédéfinis pour déterminer de telles recommandations optimales. Les modes de réalisation proposés permettent notamment d'apprendre parmi un 30 ensemble de méthodes d'apprentissages celle qui fournit des gains maximum pour le système. C'est un avantage de l'invention de ne pas nécessiter une connaissance approfondie de toutes les actions possibles des entités compétitives dans le système de compétition considéré. En particulier, la méthode et le système selon l'invention sont aptes à traiter 3044438 6 l'incertitude sur les gains des entités adverses. Ils s'adaptent en outre dynamiquement à l'ajout de nouvelles actions dans le système compétitif ou de d'autres schémas d'apprentissage tels que l'algorithme lié au Processus de Décision de Markov (par exemple Q-Étude, SARSA) qui sont particulièrement avantageux pour le traitement de 5 jeux dynamiques, c'est-à-dire de jeux pour lesquels le contexte lui aussi peut impacter les gains attendus. C'est un autre avantage encore de l'invention de fournir un système d'aide à la décision capable de s'adapter dynamiquement aux changements des règles des dispositifs opposants. 10 Brève description des dessins D'autres caractéristiques et avantages de l'invention apparaîtront à l'aide de la description qui suit et des figures des dessins annexés dans lesquels : - La figure 1 est un schéma d'un exemple d'architecture implémentant un système d'aide à la décision, selon certains modes de réalisation ; 15 - La figure 2 est un organigramme représentant les étapes mises en oeuvre par une méthode d'apprentissage, selon l'art antérieur pendant un cycle de décision ; - La figure 3 représente un exemple de système compétitif de type système de télécommunication incluant un ensemble d'émetteurs et un ensemble de récepteurs auquel peut s'appliquer les modes de réalisation de l'invention ; 20 - La figure 4 représente un exemple de matrice de gains correspondant à un exemple de système compétitif où une entité compétitive est menacée par des attaques électroniques mises en oeuvre par une ou plusieurs entités attaquantes ; - La figure 5 est une vue schématique du système d'aide à la décision comprenant un dispositif de méta-apprentissage selon certains modes de réalisation ; 25 - La figure 6 est un organigramme général représentant les principales étapes de la méthode d'aide à la décision, selon certains modes de réalisation ; - La figure 7 montre un exemple d'environnement dans lequel le système d'aide à la décision peut être mis en oeuvre selon un mode de réalisation ; 3044438 7 - La figure 8 est un exemple de matrice de gains correspondant au même exemple de réalisation que celui de la figure 4 ; - La figure 9 est un diagramme représentant l'évolution des gains de deux entités compétitives dans le temps (moyenne sur 50 exécutions), selon un exemple de 5 réalisation, lorsque les deux entités compétitives utilisent l'algorithme de Brown ; - La figure 10 est un diagramme représentant l'évolution de la valeur de probabilité associée au choix de chaque action pour chaque entité, dans l'exemple de la figure 9 ; - La figure 11 est un exemple de table de gains illustrant le gain moyen que chaque entité compétitive a obtenu après 100 parties, selon un exemple de réalisation ; 10 - La figure 12 illustre les résultats obtenus avec un type de méthode d'apprentissage particulière ; et - La figure 13 est une vue schématique d'un système informatique pouvant être utilisé pour implémenter le système d'aide à la décision selon certains modes de réalisation. Description détaillée 15 La figure 1 représente de manière schématique un exemple d'architecture implémentant un système d'aide à la décision 10 selon certains modes de réalisation. Le système d'aide à la décision 10 interagit avec un dispositif de requérant 11 (encore appelé dispositif de contrôle). Le dispositif de contrôle 11 est agencé pour contrôler une ou plusieurs entités 20 compétitives 20 A dans un système compétitif 101. Le système d'aide à la décision 10 peut recevoir une requête émise par le dispositif de contrôle pour fournir des recommandations d'actions à mettre en oeuvre par une entité compétitive donnée 20A du système compétitif (mode statique). Le système d'aide à la décision 10 peut également générer des recommandations d'actions à mettre en oeuvre par une entité compétitive 25 donnée dynamiquement, par exemple en réponse à un changement du contexte compétitif détecté dans le système compétitif, ou périodiquement. Telles qu'utilisées ici, les expressions « entités compétitives » ou « agents compétitifs » désignent des agents ou entités en compétition, c'est-à-dire ayant des buts opposés, la réussite d'une entité (ou agent) pouvant être réalisée par la défaite d'une ou plusieurs 30 autres entités (ou agents). Des entités compétitives peuvent ainsi comprendre des entités 3044438 8 attaquantes et des entités opposantes. Une entité peut être elle-même un dispositif ou un système. Les entités compétitives sont associées à un environnement ou un système compétitif (environnement ou système « multi-agent ») pouvant comprendre une ou plusieurs entités 5 compétitives. L'environnement compétitif peut également inclure des entités indépendantes (dont les buts ne sont pas liés avec les entités compétitives) et/ou des entités collaboratives. Le dispositif de contrôle 11 de chaque entité compétitive peut être apte à déclencher des actions dans l'environnement de l'entité compétitive contrôlée 20A et collecter des 10 données de l'environnement par exemple au moyen de capteurs. Les capteurs peuvent être agencés au niveau de l'entité compétitive 20A ou dans son environnement. Chaque entité peut être par exemple : - un dispositif muni de capteurs (capteurs optiques, sonores, etc.). Le dispositif de contrôle 11 peut contrôler les actions du dispositif au moyen de différentes 15 commandes. - Un dispositif logiciel pouvant mettre en oeuvre des actions dans son environnement par exemple en envoyant des messages via un réseau, les données de son environnement étant collectées à partir des mouvements de la souris, des messages du réseau, etc. 20 Le comportement d'une entité compétitive est décrit par une stratégie qui définit une ou plusieurs actions à mettre en oeuvre par l'entité. Il est à noter que le terme « action » tel qu'utilisé ici fait référence à une action « logique », c'est-à-dire une action modélisée par le système. Cette action peut correspondre à une ou plusieurs sous actions « physiques ». Par exemple, pour une action « envoyer un message », plusieurs sous 25 actions physiques pourront être mises en oeuvre telles que « choisir la fréquence », « établir une connexion », « envoyer le message ». Cette stratégie d'actions peut être définie par le système d'aide à la décision 10 et mise en oeuvre par un dispositif de l'entité 20A. En variante, le système d'aide à la décision 10 peut mettre en oeuvre l'action choisie au lieu d'émettre une recommandation, ce qui correspond à une décision automatisée. 30 Selon un aspect de l'invention, le système d'aide à la décision 10 comprend un module de méta apprentissage 50 (encore appelé « module d'apprentissage » globale ou « dispositif d'apprentissage global ») configuré pour sélectionner un algorithme d'apprentissage 3044438 9 parmi un ensemble d'algorithmes d'apprentissages prédéfinis et appliquer l'algorithme sélectionné pour déterminer un choix d'action à mettre en oeuvre pour une entité compétitive donnée. Un algorithme d'apprentissage (ou méthode d'apprentissage) dans un système multi- 5 agent est configuré pour déterminer pour une entité donnée (celle qui apprend) une stratégie qui peut offrir un gain maximal par rapport aux entités adverses, en utilisant l'expérience acquise sur l'environnement de l'entité (données de situation stratégiques encore appelées ci-après « données d'apprentissage »). Un algorithme d'apprentissage multi-agent tente ainsi d'apprendre un modèle représenté 10 par une matrice de gains si les stratégies adverses sont connues, ou un vecteur de gains si elles ne le sont pas. Une matrice de gains associée à un système compétitif est représentée comme un tuple N, R1 .N, 1.. M) où N désigne le nombre d'entités compétitives, Cn est l'ensemble des actions que l'entité n peut choisir et Rn la matrice MxN-dimensions qui donne les gains possibles pour chacune des combinaisons possibles 15 des M actions possibles des N entités. Telle qu'utilisée ici, l'expression « gain » d'une entité compétitive désigne le bénéfice ou la perte obtenus par cette entité suite à l'application des actions par l'ensemble des entités. Elle désigne ainsi une donnée quantitative mais qui peut être dérivée à partir d'une analyse qualitative de la situation. Par ailleurs, les gains peuvent être mesurés (ils sont 20 alors dits « observables ») ou calculés en utilisant plusieurs paramètres caractéristiques de la situation et en les combinant en une fonction multicritères (par exemple, somme pondérée, intégrale de Choquet, modèle d'utilité additive généralisée, etc.) ou avec d'autres méthodes (par ex : réseau bayésien, réseau de neurones, etc.). Quelque soit le mode de définition des gains, celui-ci peut être déterminé préalablement à l'utilisation du 25 procédé. Un gain peut ainsi être positif, négatif (gain correspondant à une perte) ou nul. L'expression « stratégie » pour une entité compétitive désigne des choix faits par l'entité entre un ensemble d'actions; la stratégie peut être pure si elle est basée sur un seul choix déterministe ou « mixte » si elle est basée sur un choix probabiliste entre les actions. 30 Les méthodes d'apprentissage multi-agents connus peuvent s'appuyer sur différents modèles connus : - les processus de décisions markoviens - les méthodes dites de « bandits manchots » 3044438 10 - les méthodes d'apprentissage par renforcement - les méthodes de joueur fictif - les jeux matriciels. Plus précisément, une méthode d'apprentissage apprend des paramètres les probabilités 5 de choisir une action à un certain état de l'entité et fournit une distribution de probabilités sur les actions (choix). Une méthode d'apprentissage est associée à une fonction de probabilités élémentaire correspondant à une distribution de probabilités élémentaires sur les actions pouvant être mise en oeuvre par une entité compétitive. Cette fonction de probabilités élémentaires 10 peut se présenter sous la forme d'un vecteur de probabilités, chaque composante du vecteur de probabilités correspondant à la probabilité de choix d'une action de l'entité donnée. Les algorithmes d'apprentissage connus peuvent mettre en oeuvre différents types d'équations ou de modèles. Les vecteurs de probabilités associés à chaque algorithme d'apprentissage sont donc différents d'un type d'algorithme à l'autre. 15 Le point stable à atteindre pour un algorithme d'apprentissage est appelé équilibre de Nash, ce point correspondant au point constituant la meilleure réponse. L'équilibre de Nash représente une collection de stratégies comprenant un ensemble de vecteurs de probabilités pour chaque entité N telle que le vecteur 73, se trouve être une meilleure réponse aux vecteurs p_n des entités compétitives adverses " - n". 20 L'environnement d'une entité compétitive donnée peut être variable. Des algorithmes d'apprentissages (encore appelés méthodes d'apprentissages) peuvent être utilisés pour permettre aux entités de s'adapter à de tels changements. Ces algorithmes peuvent également permettre à une entité compétitive de s'adapter aux effets des autres entités sur les données d'apprentissage. Les données d'apprentissage peuvent comprendre un 25 ensemble de données observées et/ou calculées suite à l'exécution ou la simulation d'actions dans le contexte des entités. L'observation des données d'apprentissage peut être réalisée en appliquant des actions et en observant le résultat obtenu suite à l'application de ces actions. En particulier, les données d'apprentissage peuvent comprendre des données relatives 30 aux gains obtenus par les entités compétitives (apprentissage sur l'échec/la réussite des actions). 3044438 11 Les méthodes d'apprentissage multi-agent peuvent être caractérisées par plusieurs propriétés telles qu'une propriété de rationalité (les entités cherchent à maximiser leurs gains selon une certaine échelle de temps), de convergence (un algorithme d'apprentissage se stabilise en un vecteur de probabilités stationnaires), de sécurité, ou 5 de « non-regret ». Certains algorithmes d'apprentissage peuvent être basés sur l'hypothèse que les matrices de gains de toutes les entités compétitives sont connues et/ou que la stratégie ou les actions des entités adverses sont connues. Une méthode d'apprentissage peut être mise en oeuvre classiquement selon les étapes de l'organigramme de la figure 2, en utilisant un unique procédé d'apprentissage pendant 10 tout le cycle de décision comprenant des étapes (ou époques) de décision. Pour une méthode d'apprentissage donnée (bloc 200), tant que le jeu n'est pas terminé (condition 201), à l'étape 202, une action est choisie selon la méthode d'apprentissage. A l'étape 203, le gain réalisé en appliquant l'action est calculé. A l'étape 204, la fonction de probabilités de la méthode d'apprentissage est mise à jour en 15 utilisant le gain. Pour identifier l'action à choisir, une méthode d'apprentissage utilise de manière équilibrée les informations d'exploitation (utilisant les informations passées) et les données d'exploration (en testant de nouvelles stratégies ou des stratégies déjà utilisées). Le module de méta-apprentissage 50 selon les modes de réalisation de l'invention ne se 20 limite pas à l'utilisation d'un unique algorithme d'apprentissage pendant tout le cycle de décision mais exploite un ensemble d'algorithmes d'apprentissage pour déterminer l'action à mettre en oeuvre par une entité donnée à un instant donné. Le module de méta-apprentissage 50 est ainsi configuré pour sélectionner un algorithme d'apprentissage parmi l'ensemble d'algorithmes d'apprentissages prédéfinis en utilisant 25 les données d'apprentissage, et ainsi améliorer le procédé de décision et les performances de l'entité. Le module de méta apprentissage 50 permet de modifier dynamiquement les paramètres du module de décision en fonction des données d'apprentissage acquises. Le procédé d'apprentissage comprend un ensemble de cycles d'interactions entre l'agent, son 30 environnement, et les entités adverses. Durant chaque cycle, le système d'aide à la décision 10 peut recevoir des données d'apprentissage (phase d'observation), analyser 3044438 12 ces données afin de déterminer le contexte et le gain de l'action précédemment choisie et détermine dynamiquement un nouveau choix d'action en utilisant son module de méta-apprentissage. Après la mise en oeuvre de l'action par l'entité compétitive ou à la fin de l'exécution de plusieurs actions, de nouvelles données d'apprentissage peuvent être 5 collectées. De nouveaux cycles de décision peuvent alors être mis en oeuvre par itération du procédé. Le système d'aide à la décision 10 peut retourner le résultat au dispositif de contrôle 11 sous la forme d'une recommandation comprenant un identifiant de l'action sélectionnée. Le dispositif de contrôle 11 peut alors appliquer ou non la recommandation en fonction de 10 critères spécifiques au dispositif de contrôle, à l'environnement compétitif et/ou à des informations complémentaires collectées. Dans un mode de réalisation, le dispositif de contrôle 11 peut faire partie intégrante de l'entité compétitive dans un système compétitif, par exemple dans un but simulatoire. Dans un exemple de réalisation relatif au domaine de la stratégie militaire, le dispositif de 15 contrôle 11 peut être un système de gestion de combat apte à contrôler les actions de dispositifs de combat opposants (entité compétitive opposante) vis-à-vis de dispositifs de combat adverses (entité compétitive attaquante) dont les actions peuvent nuire au succès des actions des dispositifs de combat opposants. Le système et la méthode d'aide à la décision permettent ainsi à un dispositif de contrôle 20 11 contrôlant une entité compétitive « n » opposée à d'autres entités adverses « -n » de sélectionner l'action Ci à choisir (encore appelé « choix ») parmi un ensemble d'actions Cm, i = 1, ...,m en utilisant l'algorithme d'apprentissage k = 1, , K tel que l'action sélectionnée par cet algorithme d'apprentissage k fournisse le gain maximal à un instant ou étape donnée t du cycle de décision. La méthode d'aide à la décision peut être 25 répétée jusqu'à ce que t atteigne un seuil Ts prédéfini ou indéfiniment. Dans un mode de réalisation, le système d'aide à la décision 10 peut déterminer lui-même l'arrêt des étapes de mise à jour des méthodes d'apprentissage par observation d'une stabilisation (ou convergence) des probabilités des fonctions de probabilités élémentaires et de la méthode de méta-apprentissage. Par exemple, si ces probabilités n'évoluent pas entre 30 deux étapes t et t + 1 au-delà d'une valeur seuil E. Le gain d'une entité n utilisant une action Ci à une étape de décision t sera noté ci-après Un,-n (i,)ou dans une notation simplifiée u(i., 0, où i = 1, , m est l'index d'une action de 3044438 13 l'entité compétitive. Le gain peut être défini par une fonction ou observé directement en tant que valeur (par exemple : le nombre d'unités combattantes encore actives). Il doit être noté que la fonction de gain modélise l'avantage de prendre une décision (i.e de faire un choix) par rapport aux décisions (ou choix) des entités adverses. Dans certains modes 5 de réalisation, la fonction de gain peut être impactée par une certaine incertitude relative aux caractéristiques de l'environnement ou aux capteurs qui sont utilisés pour collecter des données sur l'environnement. Elle prend alors en compte une distribution de probabilités (théorie des jeux stochastiques). Dans d'autres modes de réalisations, la fonction de gain peut également couvrir plusieurs caractéristiques de la situation donnée 10 et/ou des ressources de l'entité considérée (par exemple : le nombre d'unités combattantes encore actives + le terrain gagné/perdu + le coût de la manoeuvre + etc.), on parle alors de fonction multi-critères. De telles fonctions peuvent prendre la forme d'Intégrale de Choquet ou de modèle d'Utilité Additive Généralisé. Les modes de réalisation de l'invention peuvent par exemple être mis en oeuvre dans un 15 système compétitif de type système de télécommunication incluant un ensemble d'émetteurs 20A et un ensemble de récepteurs 20B/20C comme représenté sur la figure 3. En référence à la figure 3, un tel système comprend un ou plusieurs émetteurs 20A et un ou plusieurs récepteurs 20B/20C interconnectés dans un réseau de communication que 20 peuvent former des entités compétitives, un émetteur 20A pouvant constituer une entité opposante et un ou plusieurs récepteurs 20B pouvant constituer les entités attaquantes. Dans l'exemple de la figure 3, le système compétitif 10 comprend un récepteur attaquant 20B et un émetteur opposant 20A. L'émetteur 20A désire envoyer un message sur un canal de transmission public à 25 destination d'un récepteur cible 20C. Le message échangé 30 peut être un message clair (i.e. non chiffré) ou un message crypté. Le but du récepteur attaquant 20 B est de tenter de bloquer le message. Les émetteurs 20A et les récepteurs 20B et 20C peuvent être par exemple des équipements utilisateurs mobiles tels que des téléphones mobiles ou des téléphones 30 intelligents, dans un réseau de communication mobile. Dans une variante de réalisation, le système compétitif peut inclure des émetteurs 20A et des récepteurs 20B/20C de type clients/serveurs échangeant des messages http dans un 3044438 14 réseau Internet selon le protocole Internet, l'entité 20B tentant de bloquer les messages émis par l'entité 20A à destination d'un dispositif destinataire 20C (ordinateur, téléphone intelligent, tablette informatique, etc.). Les entités adverses 20B peuvent tenter de nuire à l'acheminement du message émis par 5 un émetteur 20A au moyen de nombreuses techniques telles que des techniques d'attaque : - par intrusion (exploitation des vulnérabilités du système pour exécuter des commandes non autorisées telle que l'exploitation des erreurs de configuration ou des bugs) ; - par action physique (destruction, altération ou changement physique d'un composant du 10 réseau) ; - par usurpation d'identité (utilisation d'une fausse identité pour abuser un système ou un utilisateur) ; - par injection de code (Installation et exécution d'un module clandestin sur un système) ; - par écoute (Ecoute passive et clandestine sur le réseau pour récupérer des 15 informations). Bien entendu, l'invention n'est pas limitée à ce type de système compétitif et englobe tout type de système compétitif comprenant au moins deux entités compétitives adverses. Par ailleurs, l'environnement lui-même peut être considéré comme une entité compétitive adverse s'il est le seul à impacter les gains du système. En particulier, dans un contexte 20 où il n'y a pas d'adversaire mais qui comporte des conditions d'environnement faisant varier les gains de l'entité, l'environnement peut être l'entité compétitive elle-même. Par exemple, dans un réseau, si l'entité considérée est configurée pour mettre en place des politiques de routage, le trafic des utilisateurs peut être considéré comme l'entité compétitive, les utilisateurs constituant un environnement dont l'objectif est de maximiser 25 son débit dans le réseau. L'invention n'est pas non plus limitée aux exemples d'application cités dans la description ci-avant. Par exemple, le système d'aide à la décision de l'invention peut être utilisé dans un système de combat dans lequel les entités compétitives sont constituées de dispositifs militaires pour choisir une stratégie de tir, des manoeuvres de commandement, des fréquences radios, etc. Dans un autre exemple, le 30 système d'aide à la décision de l'invention peut être utilisée dans un système de gestion de l'énergie comprenant des entités de production d'énergie et des entités de 3044438 15 consommation d'énergie, le système d'aide à la décision 10 étant utilisable par une entité de production pour décider entre une action de stockage d'énergie ou de revente d'énergie à des entités consommatrices. Dans un autre exemple encore, le système d'aide à la décision de l'invention peut être utilisée dans un système de gestion des 5 transports dans lequel l'entité considérée est configurée pour affecter des ressources (nombre de wagons ou bus, délais d'attente de feux, etc.) ou dans un système de gestion de la sécurité pour déterminer des stratégies de sécurité en simulant des intrusions d'assaillants . La méthode et le système d'aide à la décision dans les modes de réalisation de l'invention 10 permettent de contrôler les actions d'une entité compétitive en déterminant un choix d'action optimal pour une entité donnée en sélectionnant un algorithme d'apprentissage parmi un ensemble d'algorithmes d'apprentissage prédéfinis à chaque étape de décision. La figure 4 représente une matrice de gains (encore appelée table de gains) correspondant à un exemple de système compétitif où une entité compétitive 20A est 15 menacée par des attaques électroniques mises en oeuvre par une ou plusieurs entités attaquantes 20B. Dans un tel système compétitif, une entité opposante 20A peut « gagner » en envoyant des données sur un moyen de communication non bloqué ou « perdre » en envoyant le message dans un moyen de communication bloqué. 20 La table de la figure 4 correspond à un exemple où un seul moyen de communication (par exemple de type antenne) est utilisé avec l'application d'un coût c lorsque une entité attaquante bloque le moyen de communication. L'exemple de table de la figure 4 correspond à une seule entité opposante. L'entité opposante 20A peut choisir d'envoyer ou ne pas envoyer les données par divers 25 moyens de communication (antennes, satellites). L'entité ou les entités opposantes 21B peuvent choisir de bloquer ou non un ou plusieurs de ces moyens de communication. Les actions possibles de l'entité opposante 20A (« envoyer » ou « ne pas envoyer » le message) dans l'environnement compétitif sont indiquées dans la première colonne 40 30 tandis que les actions possibles de l'entité attaquante 20B (« bloquer », « ne pas bloquer » les moyens de communication) dans l'environnement compétitif sont indiquées 3044438 16 dans la première ligne 40. Dans chaque entrée de la matrice 410 à 413, il est indiqué dans la partie de gauche (marqué par la référence A), le gain estimé pour l'entité opposante 20A tandis que dans la partie de droite (marqué par la référence B), il est indiqué le gain estimé pour l'entité attaquante 20B. 5 Dans exemple de la figure 4, l'Équilibre de Nash est représenté par un vecteur de probabilités {1,11 pour chaque entité compétitive. 2 2 Bien que non limitée à de telles applications, l'invention présente un intérêt particulier pour l'aide à la décision dans des contextes de décisions non-coopératives. En effet, dans de tels contextes, la fonction de gains prend en compte les gains perçus par les entités 10 compétitives dites « amies ». Le dispositif de contrôle 11 peut alors avoir la capacité d'observer des données d'apprentissages des entités compétitives « amies » soit par des capteurs, soit par un module de communication à travers lequel les entités compétitives « amies » peuvent envoyer ces données. La figure 5 est une vue schématique du système d'aide à la décision 10 comprenant un 15 module de méta-apprentissage selon certain mode de réalisation. Le système d'aide à la décision 10 est configuré pour déterminer un choix d'action à mettre en oeuvre par une entité compétitive, par exemple une entité opposante 20A, dans un environnement compétitif, en utilisant un ensemble de méthodes d'apprentissage prédéfinies. Pour cela, le module de méta-apprentissage 50 détermine et utilise une méta- 20 fonction d'apprentissage pour sélectionner une méthode d'apprentissage parmi les méthodes d'apprentissage prédéfinies 52 et utilise la méthode d'apprentissage sélectionnée pour déterminer une action à mettre en oeuvre par l'entité compétitive (i.e. stratégie). Le système d'aide à la décision 10 comprend le module de méta-apprentissage 50 (encore appelé module d'apprentissage global) pour sélectionner une méthode 25 d'apprentissage par apprentissage, parmi l'ensemble de K méthodes d'apprentissage 52. Le module de méta-apprentissage 50 peut comprendre en outre: - Un générateur de modèle de jeu 51 configuré pour générer un modèle de jeu (encore appelé « situation stratégique ») en fonction du contexte d'utilisation considéré. En particulier, le modèle comprend un ensemble d'actions possibles de l'entité qui utilise le 30 système 10 et la fonction de gain s'appliquant aux actions. Les gains peuvent être observés ou observés et calculés. La fonction de gain permet de calculer les gains qui sont a priori inconnus (par rapport à la situation donnée, c'est-à-dire les actions de l'entité 3044438 17 compétitive considérée, celles des entités adversaires, ou d'autres informations sur l'état). La fonction de gain peut ou non être modélisée et est une entrée du système d'aide à la décision 10. Le modèle ainsi généré peut être utilisé sans la phase de mise à jour, pour recevoir ou déterminer les données d'apprentissage. 5 - Une unité d'initialisation 53 pour initialiser les méthodes d'apprentissage de l'ensemble prédéfini 52 ; et -Une unité de sélection de méthode d'apprentissage 54 pour déterminer une méta-fonction d'apprentissage (encore appelée fonction d'apprentissage « globale ») et sélectionner une méthode d'apprentissage parmi les K méthodes d'apprentissage 52 en 10 utilisant la méta-fonction d'apprentissage ; - Une unité de détermination d'action 55 pour déterminer un choix d'action à mettre en oeuvre par une entité compétitive donnée à partir de la méthode d'apprentissage sélectionnée. Tel qu'utilisé ici, les termes « contexte » ou « situation » désignent l'environnement 15 applicatif dans lequel le système d'aide à la décision 10 est utilisé et dont dépend le dispositif de contrôle 11. Le contexte peut être par exemple un contexte militaire utilisant un dispositif de contrôle 11 mettant en oeuvre une tenue de situation. Le contexte applicatif peut être un contexte télécom utilisant un dispositif de contrôle 11 de type dispositif de surveillance. Un dispositif associé au contexte qui peut être le dispositif de 20 contrôle 11 lui-même ou un dispositif distinct est configuré pour collecter les données d'apprentissage (ou qu'on les lui demande d'ailleurs) une fois que l'action est choisie est exécutée et les fournir au système d'aide à la décision 10. La méthode et le système d'aide à la décision selon certains modes de réalisation de l'invention peuvent être mis en oeuvre soit : 25 - dans une phase de décision pour déterminer une action (encore appelée ci-après « stratégie » ou « choix » ou « action stratégique ») à mettre en oeuvre par une entité compétitive 20A pour obtenir un gain optimal par rapport aux entités adverses 20B; -dans une phase de mise à jour pour mettre à jour au moins une des méthodes d'apprentissage et la méta-fonction d'apprentissage à partir des données d'apprentissage 30 déterminées à partir des paramètres de gain 56 obtenus ou estimés par simulation ou exécution d'action dans le contexte des entités compétitives. 3044438 18 La figure 6 est un organigramme général représentant les principales étapes de la méthode d'aide à la décision, selon certains modes de réalisation, pouvant être mis en oeuvre dans un système compétitif comprenant un ensemble d'entités compétitives. Chaque méthode d'apprentissage Mk de l'ensemble des méthodes d'apprentissage 52 5 correspond à une méthode d'apprentissage apte à « apprendre » quelles actions sont susceptibles d'apporter le meilleur gain au regard des choix d'actions des adversaires. Cette stratégie de détermination de meilleure réponse est connue pour converger vers un équilibre de Nash pur s'il existe. S'il n'en existe pas, les méthodes d'apprentissages peuvent être plus ou moins bien adaptées pour trouver un équilibre de Nash mixte ou le 10 vecteur de probabilités maximisant les gains, l'invention convergeant in fine vers la mieux adaptée. A chaque méthode d'apprentissage est associée une fonction de probabilités élémentaire PEk qui associe une probabilité pik à chaque action Ci parmi m actions pouvant être mise en oeuvre par une entité compétitive 20A donnée du système compétitif. 15 Les fonctions de probabilités élémentaires PEk peuvent être définies par une distribution de probabilité. La distribution de probabilités peut se présenter sous la forme d'un vecteur de probabilités dont chaque composante correspond à l'une des fonctions de probabilités élémentaires PEk. Dans un mode de réalisation, la distribution de probabilités de méta-apprentissage peut être déterminée à partir de données d'apprentissage, et être 20 représentée par un vecteur de probabilités p(t) = (pi(t), ...,pK(0) tel que : - chaque composante pk(t) du vecteur p(t) correspond à l'une des fonctions de probabilités élémentaires calculée par une méthode d'apprentissage k = 1, ...,K, - t désigne l'étape de décision, et - K désigne le nombre de méthodes d'apprentissage. 25 Dans ce mode de réalisation, chaque fonction de probabilités élémentaire PEk correspondant à une méthode d'apprentissage donnée Mk, est définie par la k-ième composante pk(t)du vecteur de probabilités p(t) et dépend donc de t: PEk(t) =pk(t). Les fonctions de probabilités élémentaires et la méta-fonction de probabilités peuvent notamment obéir à des équations (encore appelées ci-après équations de mise à jour) 30 appliquées à chaque étape t de mise en oeuvre du procédé. 3044438 19 Chaque composante pk(t) associe ainsi un paramètre de probabilité à chaque action Ci pouvant être mise en oeuvre par une entité compétitive (les indices i = 1, m correspondent à des actions du système ou seulement les actions que peut mettre en oeuvre de l'entité opposante 20A): pk(t) = (pik(0, ...,pik(0, pmk (0) 5 Les paramètres de probabilité peuvent être par exemple calculés en utilisant des poids. La suite de la description sera faite en référence à des paramètres de probabilité de type poids, à titre d'exemple non limitatif. Une étape préalable 600 peut être mise en oeuvre pour charger un ensemble d'algorithmes d'apprentissage [1, ...,K} à utiliser par le procédé d'aide à la décision. Dans 10 un mode de réalisation, un ou plusieurs algorithmes d'apprentissage peuvent être ajoutés ou supprimés à chaud, à tout moment du procédé de décision. A l'étape 601, une condition de déclenchement relative à une entité compétitive donnée 20A dans un système compétitif est détectée. Par exemple, la condition de déclenchement peut être détectée en réponse à la réception d'une requête émise par un 15 dispositif de contrôle 11 contrôlant l'entité compétitive, la requête comprenant l'identification de l'entité compétitive et des données sur le contexte de l'entité et sur les entités adverses 20B. La requête peut être émise par le dispositif de contrôle 11 pour obtenir une recommandation d'action Ci (appelée ci-après « choix stratégique ») à mettre en oeuvre par l'entité compétitive 20A vis-à-vis des entités adverses 20B du système 20 compétitif 101 telle que l'action Ci optimiser le gain de l'entité opposante 20A vis-à-vis de ces entités adverses (encore appelée entités attaquantes). L'action Ci recommandée est associée à un gain attendu qui peut dépendre de un ou plusieurs choix adverses si le système comprend plusieurs entités opposantes 20B. Si la condition de déclenchement est détectée à l'étape 601, des fonctions de probabilités 25 élémentaires (PE1,...PEK) sont initialisées (604) ou mises à jour (605 et 606) en correspondance avec chaque algorithme d'apprentissage k (ME1, ....MEK). Chaque fonction de probabilités élémentaire PEk associe un paramètre de probabilité à chaque action possible de l'entité compétitive considérée 20A, ces paramètres de probabilité correspondant à une distribution de probabilités sur l'ensemble des actions possibles de 30 l'entité compétitive 20A. Dans un mode de réalisation chaque paramètre de probabilité peut être un poids ou score. En particulier, chaque fonction de probabilités peut être définie par un vecteur de probabilités comprenant un ensemble de composantes, chaque 3044438 20 composante du vecteur de probabilités représentant le paramètre de probabilité associé à une des actions Ci. La suite de la description sera faite en référence à un paramètre de probabilité de type poids à titre d'exemple non limitatif. 5 Par exemple, à chaque étape de décision t : - la fonction de probabilités élémentaire PEI, associe les poids Pi (t) = (w11(t), ..., wim(t)) aux actions C1, ..., Cm possibles (choix stratégiques) de l'entité 20A ; - la fonction de probabilités élémentaire PE2 associe les poids p2 (t) = (wu (0, ... , w2m CO) 10 aux actions C1, ..., Cm possibles de l'entité 20A ; - la fonction de probabilités élémentaire PEK associe les poids Px (t) = (wK1(t), ..., wKm(t)) aux actions possibles de l'entité 20A ; A la première étape de décision du procédé d'aide à la décision, chaque fonction de probabilités élémentaires PEk est initialisée (604). Dans un mode de réalisation, les 15 fonctions de probabilités élémentaires peuvent être initialisées à la même valeur (i.e. les poids wki(t), ..., wkm(t) sont les mêmes pour toutes les fonctions PEk), selon une distribution de probabilités uniforme. Par ailleurs, l'étape 604 peut comprendre l'initialisation de la méta-fonction de probabilités (encore appelée « fonction globale de probabilités ») qui associe un poids (ou plus généralement un paramètre de probabilités) 20 à chacune des fonctions de probabilités élémentaires. Sinon les fonctions de probabilités élémentaires PEk peuvent être mises à jour en fonction de données d'apprentissage ou de changement sur l'ensemble des algorithmes d'apprentissage (ajout ou suppression), à l'étape 605 et 606. A l'étape 607, la fonction de probabilités globale (« méta-fonction de probabilités ») MF, 25 notée p(t), est mise à jour en utilisant le gain obtenu suite à la mise en oeuvre d'une action choisie. La méta-fonction de probabilités associe un poids wk(t) à chacune des K fonctions de probabilités élémentaires PEk, notée Pk (t) : Kt) = (wi (0, ... , wk(t), ..- , wK(t)). Les poids wik(t) et wk(t) sont calculés à chaque étape de décision t et peuvent par 30 exemple être calculés à partir d'équations utilisant les gains obtenus en appliquant la 3044438 21 fonction de gain sur les données d'apprentissage qui peuvent être fournies par le système compétitif 101 via le système de contrôle 11. A l'étape 609, une des fonctions de probabilités élémentaires PEk est sélectionnée en utilisant la méta-fonction de probabilités MF. Pour ce faire, le système procède à un tirage aléatoire d'une valeur 5 comprise entre 0 et 1 et compare cette valeur aux probabilités de la fonction de probabilités ME. Pour chaque fonction élémentaire PEj, les probabilités de la fonction ME sont additionnées. Si à la fonction PEj la somme dépasse la valeur tirée aléatoirement, alors la fonction de probabilités élémentaires choisie est la fonction PEi_i. A l'étape 610, la fonction de probabilités élémentaire sélectionnée PEk est utilisée pour 10 déterminer le choix stratégique Ci (action) de l'entité compétitive 20A par rapport aux entités opposantes 20B. La fonction de probabilités élémentaires sélectionnée PEk peut choisir l'action Ci en utilisant une distribution de probabilités (par exemple, si les poids sont des probabilités, un tirage aléatoire peut être effectué et le résultat du tirage aléatoire peut être comparé à la distribution de probabilité). Il convient de noter que les poids 15 peuvent se ramener à des probabilités en divisant chaque poids par la somme des poids du vecteur de probabilités p k (t) . A l'étape 611, une recommandation peut être émise vers le dispositif de contrôle 11 (ou directement vers l'entité compétitive 20A si le dispositif de contrôle fait partie intégrante de l'entité), la recommandation pouvant comprendre un identifiant du choix de l'action Ci 20 déterminé à l'étape 610. Le dispositif de contrôle 11 peut déclencher l'application de l'action Ci à la situation (ou contexte) de l'entité compétitive opposante 20A qu'il contrôle, ou prendre une autre décision de contrôle en fonction d'un ensemble d'informations sur l'environnement et/ou le contexte de l'entité 20A. Le dispositif de contrôle 11 peut déclencher l'exécution du choix stratégique sélectionné 25 Ci à la situation réelle (exécution réelle) ou simulée (exécution simulée). Le dispositif de contrôle 11 peut également être configuré pour estimer ou mesurer le gain obtenu et d'autres données auxiliaires (les données de gain et les données auxiliaires formant des données d'apprentissage) en résultat de l'exécution de l'action. En particulier, le « gain » obtenu peut représenter le rapport du résultat observé sur le résultat attendu, une mesure 30 par capteur, etc. Il peut être calculé à partir d'une fonction multicritère impliquant des données relatives à plusieurs métriques observées ainsi que des valeurs attendues sur ces métriques. Il peut également faire intervenir des méthodes permettant de prendre en compte une incertitude sur l'observation (par exemple le taux d'erreur). 3044438 22 Le dispositif de contrôle 11 peut alors transmettre les données d'apprentissage incluant des données sur le gain obtenu au système d'aide à la décision 10 (en mode rétroaction). Il doit être noté que dans certains modes de réalisation, le dispositif de contrôle 11 peut faire partie intégrante du système d'aide à la décision 10. 5 Plus précisément, dans certains modes de réalisation, le procédé d'aide à la décision peut comprendre en outre une étape de mise à jour d'au moins une fonction de probabilités élémentaire, à l'étape 607, en réponse à la réception de données d'apprentissage collectées en résultat de l'exécution du choix stratégique Ci dans la situation de l'entité compétitive donnée 20A (605) et après avoir extrait de ces données les métriques 10 participant au calcul de la fonction de gain (606). L'étape de mise à jour 607 comprend la mise à jour de la fonction de probabilités élémentaire sélectionnée, et peut comprendre également la mise à jour d'une ou plusieurs autres fonctions de probabilités élémentaires. La mise à jour des fonctions de probabilités élémentaires peut être également déclenchée en réponse à un ajout ou une suppression de méthodes d'apprentissage. Les données 15 d'apprentissage collectées par le dispositif de contrôle 11 (605) peuvent être ainsi utilisées dans la fonction de gain qui donne le gain et/ou dans l'étape de mise à jour des fonctions de probabilités élémentaires. En particulier, l'étape de mise à jour 607 peut comprendre la mise à jour des fonctions de probabilités élémentaire PEk à partir des données d'apprentissage (gain obtenu 20 notamment) et en utilisant une fonction de mise à jour qui peut dépendre de la méthode d'apprentissage associée à chaque fonction de probabilités élémentaire à mettre à jour. La fonction de mise à jour peut être configurée pour mettre à jour les composantes du vecteur de probabilités ou les valeurs des paramètres de probabilité associés aux actions (poids par exemple). 25 Dans un mode de réalisation, une même fonction de mise à jour peut être définie pour toutes les fonctions de probabilités élémentaires de l'ensemble 52. En variante, une fonction de mise à jour peut être définie pour une seule fonction de probabilité élémentaire ou pour un sous-groupe de fonctions de probabilités élémentaires de l'ensemble 52. Le module de méta-apprentissage 50 représentée sur la figure 5 peut 30 notamment comprendre un proxy logique 59 (représenté schématiquement) apte à mettre en oeuvre la fonction de mise à jour définie pour chaque fonction de probabilités élémentaire. Dans un mode de réalisation dit « de simulation » de la situation, les étapes 601 à 611 peuvent être itérées plusieurs fois en utilisant une matrice de gain associée à la situation 3044438 23 complète (ou complétée par interpolation de certaines valeurs) afin d'entraîner la méta-fonction d'apprentissage et accélérer la convergence vers des probabilités optimales (le module de méta-apprentissage 50 apprend sur les méthodes d'apprentissage). Dans un autre mode de réalisation dit « en ligne », une seule itération du procédé d'aide à 5 la décision de la figure 6 peut être mise en oeuvre pour chaque étape de décision t, en utilisant les données d'apprentissage (notamment mesures du gain obtenu fournies par un ou plusieurs capteurs). De tels capteurs peuvent aussi être utilisés pour fournir des informations sur l'action réellement exécutée. La nature et le positionnement des capteurs peuvent dépendre du contexte applicatif et/ou de l'environnement compétitif 101. Dans un 10 contexte militaire, les capteurs peuvent par exemple comprendre des satellites. Dans un contexte de télécommunication, ils peuvent par exemple comprendre une sonde configurée pour dupliquer les paquets à examiner. En variante, les données d'apprentissage (notamment sur les mesures de gains et les actions effectuées par les entités en compétition) peuvent être absentes ou incertaines. Dans ce cas, l'efficacité de 15 certaines méthodes d'apprentissages peut être limitée (par exemple : la méthode dite du joueur « fictif » n'est pas utilisable si les actions des entités compétitives ne sont pas observables). C'est un avantage de l'invention que de pouvoir s'adapter à ce type de contexte, précisément en utilisant le procédé de méta-apprentissage. Le procédé et le module de méta-apprentissage permettent ainsi de déterminer la 20 méthode d'apprentissage optimale pour une entité compétitive donnée parmi l'ensemble des K méthodes d'apprentissage (52) à partir des fonctions de gains des entités compétitives, les fonctions de gains des entités opposantes pouvant être inconnus ou non (par exemple, lorsque le système d'aide à la décision 10 ne dispose pas de la matrice de gains). 25 En variante, au lieu d'effectuer les étapes de mises à jour (605, 606, 607 et 608), l'exécution de l'étape d'initialisation 604 du procédé de la figure 6 (condition 603) peut être déclenchée en réponse à la vérification d'une condition relative à l'étape de décision t (t REVENDICATIONS1. Procédé d'aide à la décision pour déterminer une action à mettre en oeuvre par une entité compétitive donnée dans un système compétitif comprenant ladite entité compétitive et au moins une autre entité compétitive adverse, l'entité compétitive pouvant mettre en oeuvre une action parmi un ensemble d'actions prédéfinies, chaque action fournissant un gain attendu différent en fonction des actions mises en oeuvre par lesdites entités compétitives adverses, chaque entité étant en outre apte à mettre en oeuvre une méthode d'apprentissage parmi un ensemble de méthodes d'apprentissage prédéfinies pour apprendre les actions des entités adverses, - associer (604) à chaque méthode d'apprentissage une fonction de probabilités élémentaire affectant un paramètre de probabilité à chaque action possible de l'entité compétitive donnée ; - déterminer une fonction de probabilités globale (608) affectant un paramètre de probabilité à chaque fonction de probabilités élémentaire ; -sélectionner (609) l'une des fonctions de probabilités élémentaires en utilisant la fonction de probabilités globale ; et - appliquer la fonction de probabilités élémentaire sélectionnée pour déterminer une action (610) parmi lesdites actions pouvant être mises en oeuvre par ladite entité compétitive donnée. 2. Procédé selon la revendication 1 caractérisé en ce qu'il comprend une étape préalable consistant à modéliser la situation stratégique de l'entité compétitive donnée sous la forme d'un modèle de jeu comprenant l'ensemble des actions possibles des entités compétitives et la fonction de gain s'appliquant aux dites actions, la fonction de gain associant à chaque action ou combinaison d'actions des entités compétitives un gain attendu. 3. Procédé selon l'une des revendications précédentes, caractérisé en ce que ledit paramètre de probabilité est une valeur de poids. 4. Procédé selon l'une des revendications précédentes, caractérisé en ce que les fonctions de probabilités élémentaires correspondent à une composante d'un vecteur de probabilités défini en fonction d'une distribution de probabilité. 5. Procédé selon la revendication 4, caractérisé en ce que chaque composante du vecteur de probabilités dépend de poids élémentaires prédéfinis. 3044438 6. Procédé selon l'une des revendications 1 et 2, caractérisé en ce qu'il comprend une étape de calcul de la fonction de gain à partir de données d'apprentissage (606). 7. Procédé selon la revendication 6, caractérisé en ce que la fonction de gain dépend de l'un au moins des modèles multicritères suivants parmi une somme pondérée, Intégrale 5 de Choquet, un modèle d'utilité additive généralisé, un réseau de neurones. 8. Procédé selon la revendication 6, caractérisé en ce que la fonction de gain dépend d'un modèle probabiliste. 9. Procédé selon l'une des revendications précédentes, caractérisé en ce qu'il comprend une étape de mise à jour d'au moins une fonction de probabilités élémentaire en utilisant 10 une fonction de mise à jour, en réponse à la réception de données d'apprentissage obtenues en exécutant ou en simulant la fonction de probabilités élémentaire sélectionnée et l'action réellement choisie dans le système compétitif au moins une fois. 10. Procédé selon la revendication 9, caractérisé en ce que l'étape de mise à jour (607) comprend la mise à jour de ladite fonction de probabilités élémentaire sélectionnée. 15 11. Procédé selon la revendication 10, caractérisé en ce que l'étape de mise à jour (607) comprend en outre la mise à jour d'au moins une desdites autres fonctions de probabilités élémentaires. 12. Procédé selon la revendication 11, caractérisé en ce que l'étape de mise à jour (607) comprend l'application d'une fonction de mise à jour différente pour chaque fonction de 20 probabilités élémentaire. 13. Procédé selon l'une des revendications 9 à 12, caractérisé en ce que les fonctions de mise à jour comprennent au moins une fonction de mise à jour dépendant du gain obtenu. 14. Procédé selon l'une des revendications 9 à 13, caractérisé en ce que les fonctions de mise à jour comprennent au moins une fonction de mise à jour dépendant de poids 25 élémentaires, chaque poids élémentaire étant associé à une action donnée et les poids élémentaires étant fonction des gains obtenus. 15. Procédé selon la revendication 14, caractérisé en ce que ladite fonction de mise à jour d'une fonction de probabilités élémentaire donnée comprend une composante par action, chaque composante par action dépendant du rapport entre le poids élémentaire associé à 30 ladite action, à l'étape de décision considérée, et la somme totale des poids élémentaires 3044438 36 correspondant aux différentes composantes de la fonction de probabilité élémentaire à ladite étape de décision. 16. Procédé selon l'une des revendications 14 et 15, caractérisé en ce que l'étape de mise à jour comprend en outre la mise à jour desdits poids élémentaires en fonction de la 5 perte encourue en utilisant la méthode d'apprentissage associée à la fonction de probabilités élémentaire à mettre à jour, à une étape de décision donnée. 17. Procédé selon la revendication 14, caractérisé en ce que l'étape de mise à jour comprend la mise à jour desdits poids élémentaires en appliquant une fonction de distribution de Boltzmann aux gains obtenus. 10 18. Procédé selon la revendication 14, caractérisé en ce que l'étape de mise à jour comprend la mise à jour desdits poids élémentaires en fonction d'un paramètre représentant l'état de l'environnement, d'un taux d'exploration, et d'un facteur de remise. 19. Procédé selon l'une des revendications 9 à 18, caractérisé en ce que les fonctions de mise à jour comprennent au moins une fonction de mise à jour dépendant de paramètres 15 de gains reçus mesurant le regret d'avoir choisi la méthode d'apprentissage associée à la fonction de probabilités élémentaire plutôt qu'une autre méthode d'apprentissage, à une étape de décision donnée. 20. Produit programme d'ordinateur, ledit programme d'ordinateur comprenant des instructions de code permettant d'effectuer les étapes du procédé selon l'une quelconque 20 des revendications 1 à 19, lorsque ledit programme est exécuté sur un ordinateur. 21. Système d'aide à la décision (10) pour déterminer une action à mettre en oeuvre par une entité compétitive donnée (20) dans un système compétitif comprenant ladite entité compétitive et au moins une autre entité compétitive adverse, l'entité compétitive pouvant mettre en oeuvre une action parmi un ensemble d'actions prédéfinies, chaque action 25 fournissant un gain attendu différent en fonction des actions mises en oeuvre par lesdites entités compétitives adverses, chaque entité étant en outre apte à mettre en oeuvre une méthode d'apprentissage parmi un ensemble de méthodes d'apprentissage prédéfinies pour apprendre les actions des entités adverses, chaque méthode d'apprentissage étant associée à une fonction de probabilités élémentaire associant un paramètre de probabilité 30 à chaque action possible de l'entité compétitive donnée, le système comprenant un module d'apprentissage global (50) configuré pour déterminer une fonction de probabilités globale propre à associer un paramètre de probabilité à chaque fonction de probabilités élémentaire, le module d'apprentissage global comprenant en outre une unité de sélection 3044438 37 (54) propre à sélectionner l'une desdites fonctions de probabilités élémentaires en utilisant la fonction de probabilités globale, le module d'apprentissage global étant propre à appliquer la fonction de probabilités élémentaire sélectionnée pour déterminer une action parmi lesdites actions pouvant être mises en oeuvre par ladite entité compétitive 5 donnée.