<figure><img src="image_1.png" /></figure>

HAL
open science

# État de l'art sur les approches en apprentissage par renforcement multi-agent.

Tiziano Maisonhaute, Fabien Michel, Jean-Christophe Soulié

► To cite this version:

Tiziano Maisonhaute, Fabien Michel, Jean-Christophe Soulié. État de l'art sur les approches en apprentissage par renforcement multi-agent.. JFSMA 2024 - 32es Journées Francophones sur les Systèmes Multi-Agents, Nov 2024, Cargèse (Corse), France. pp.99-108. hal-04932606

HAL Id: hal-04932606

https://hal.science/hal-04932606v1

Submitted on 13 Feb 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# État de l'art des approches en apprentissage par renforcement multi-agent

Tiziano Maisonhaute<sup>a,b,c</sup>
tiziano.maisonhaute@lirmm.fr

Fabien Michel<sup>a</sup>
fmichel@lirmm.fr

Jean-Christophe Soulié<sup>b,c</sup>
jean-christophe.soulie@cirad.fr

## Résumé

En apprentissage par renforcement, un agent adapte son comportement afin de maximiser une récompense. Ces approches sont utilisées pour apprendre à un agent comment agir dans son environnement. D'importantes difficultés apparaissent lorsque l'on applique ces approches à plusieurs agents. Dans ce cas-là, directement transposer les approches d'apprentissage par renforcement a de grandes chances d'échouer. Ainsi, il devient intéressant d'utiliser de nouvelles approches spécifiquement adaptées aux systèmes multi-agents. Cet article présente un état de l'art sur les approches d'apprentissage par renforcement multi-agent. La synthèse proposée se focalise sur l'approche sous-jacente plutôt que sur la nature des algorithmes. Elle a pour but d'aider à identifier les meilleures solutions selon le contexte.

**Mots-clés** : Apprentissage par renforcement multi-agent, MARL, systèmes multi-agents, SMA

## Abstract

In reinforcement learning, an agent adapts its behavior in order to maximize a reward. These approaches are used to teach an agent how to act in its environment. Major difficulties arise when these approaches are applied to several agents. In this case, directly transposing reinforcement learning approaches is likely to fail. This is why it is interesting to use new approaches specifically adapted to multi-agent systems. This article presents a state-of-the-art review of multi-agent reinforcement learning approaches. The proposed synthesis focuses on the underlying approach rather than on the nature of the algorithms. Its aim is to help identify the best solutions in each context.

**Keywords:** Multi-agent reinforcement learning, MARL, Multi-agent systems, MAS

## 1 Introduction

L'apprentissage par renforcement (reinforcement learning, RL) permet à un agent d'apprendre son comportement [2]. L'agent prend des décisions selon l'état de l'environnement, et obtient en échange des récompenses, qui peuvent être positives ou négatives. Par itération, l'agent met à jour son comportement pour maximiser ses récompenses. Les récompenses sont définies de sorte à orienter l'agent afin d'accomplir un objectif, par exemple gagner une partie de go [3]. Cette approche peut être appliquée dans le cadre des systèmes multi-agents (SMA). On parle alors d'apprentissage par renforcement multi-agent (multi-agent reinforcement learning, MARL). Se posent alors des difficultés spécifiques à ce contexte dans la mesure où plusieurs agents interagissent simultanément dans un même environnement [25]. La prise en compte des actions des autres agents est une tâche difficile. Ainsi, de nouvelles approches ont vu le jour, dans le but de rendre efficace et de simplifier l'utilisation du RL dans les SMA.

Dans cet article, nous discutons cinq difficultés majeures qui apparaissent avec l'usage du MARL : (1) la non stationnarité des systèmes du point de vue des agents, (2) la définition de l'objectif à atteindre par le SMA, (3) l'observabilité partielle du système par les agents, (4) la scabilité des algorithmes, et (5) l'hétérogénéité des agents. Cet article présente les approches qui peuvent être utilisées pour résoudre ces difficultés et servir de base dans la construction d'algorithmes.

Cet article est organisé comme suit. La section 2 donne, tout d'abord, les connaissances de bases liées au MARL en présentant le RL, quelques concepts clefs de l'apprentissage dans les SMA et les difficultés majeures que nous avons iden-

<footnote><sup>a</sup> LIRMM, Université de Montpellier, CNRS, Montpellier, France</footnote>

<footnote><sup>b</sup> CIRAD, UPR Recyclage et Risque, F-34398 Montpellier, France.
Recyclage et Risque, Univ Montpellier, CIRAD, Montpellier, France.</footnote>

<footnote><sup>c</sup> CIRAD, UPR Recyclage et Risque, F-97743 Saint-Denis, Réunion, France.
Recyclage et Risque, Univ Montpellier, CIRAD, Montpellier, France.</footnote>
tifiées dans l'application du MARL. La section 3 présente les principales approches fondées sur du MARL ainsi que leur fonctionnement. Ensuite, la section 4 présente une synthèse des travaux présentés en les mettant en perspective avec les problématiques citées. Enfin, la section 5 conclut et donne des perspectives, notamment en lien avec le projet Slam-B qui constitue le cas étude cible du projet dans lequel s'inscrit cette recherche.

# 2 Le MARL

## 2.1 Apprentissage par renforcement

Le RL est l'une des principales façons de faire de l'apprentissage machine, au côté de l'apprentissage supervisé et non supervisé. En RL, un agent est plongé dans un environnement, et peut y faire des actions qui lui accorderont des récompenses et influenceront son environnement. Pour choisir ses actions, l'agent a une politique qui dicte son comportement en fonction de la situation. Un algorithme de RL détermine comment modifier la politique d'un agent dans le but de maximiser les récompenses qu'il reçoit. Pour tirer profit de l'utilisation de ces algorithmes, il est donc crucial de bien définir les récompenses afin de tendre vers le comportement désiré.

Matignon et al. expliquent que l'apprentissage par renforcement se place très souvent dans le cadre des jeux de Markov, qui sont des générations des processus de décision markovien (MDP). Les jeux de Markov sont définis par un ensemble de valeurs : le nombre d'agents, l'ensemble des états possibles, l'ensemble des actions possibles des agents, une fonction de probabilité de transition d'un couple état-action vers un nouvel état et d'une fonction de récompense pour chaque agent qui associent à chaque couple état-action une récompense [9].

La plupart du temps, les études en RL prennent comme hypothèse la propriété de Markov qui stipule que la récompense perçue par un agent ne dépend que de l'état courant, et pas des actions antérieures. Cette propriété permet de comparer des actions faites à des moments différents mais dans un même état. Elle facilite donc l'apprentissage. Cette propriété est décrite plus en détails dans [1].

L'apprentissage est découpé en épisodes (qui correspondent à une suite d'états). L'agent veut maximiser ses récompenses tout au long de l'épisode. Chaque action d'un agent lui octroie une

récompense, et modifie son environnement. Une décision peut donner une bonne récompense mais ne pas être optimale lorsqu'on considère la politique d'actions sur l'ensemble d'un épisode. Ainsi, l'un des concepts majeurs du RL est le gain (formule 1). Ce dernier prend en compte non seulement la récompense immédiate, mais aussi l'efficacité de l'action à long terme. Ainsi, les algorithmes cherchent à optimiser le gain plutôt que la récompense immédiatement reçue. La formule du gain s'écrit comme suit :

$$G_t = r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} + \dots = \sum_{k=0}^{\infty} \gamma^k r_{t+k} \quad (1)$$

où $G_t$ est le gain perçu depuis l'instant $t$ jusqu'à la fin de l'épisode. $\gamma$ est le facteur de remise, inclus entre 0 et 1 et qui détermine l'importance des récompenses futures par rapport aux récompenses immédiates. Et $r_t$ la récompense à l'instant $t$.

Pour chaque état, il est possible de définir une valeur qui le représente en fonction du gain espéré sachant que l'agent suit une certaine politique $\pi$. Cette valeur se nomme fonction de valeur, elle est égale à l'espérance du gain et voici sa formule :

$$V_{\pi}(s) = E_{\pi} \left[ \sum_{k=0}^{\infty} \gamma^k r_k | s_0 = s \right] \quad (2)$$

où $s$ est l'état de l'environnement et $\pi$ la politique de l'agent. De la même façon, on définit la fonction valeur d'action qui attribue à chaque combinaison d'un état $s$ et d'une action $a$ une valeur égale à l'espérance du gain sachant que l'environnement est dans l'état $s$ et que l'agent fait l'action $a$ puis suit la politique $\pi$. Voici sa formule :

$$Q_{\pi}(s, a) = E_{\pi} \left[ \sum_{k=0}^{\infty} \gamma^k r_k | s_0 = s, a_0 = a \right] \quad (3)$$

Les algorithmes d'apprentissage peuvent être classés selon plusieurs propriétés. Certains algorithmes disposent d'un modèle de l'environnement et ont donc accès aux probabilités de transitions d'un état à l'autre ainsi que de la récompense associée à chaque action. On dit que ces algorithmes sont *model-based*, contrairement aux autres algorithmes qui sont *model-free*.

Pour l'apprentissage de la politique de l'agent, il y a deux possibilités. Soit on utilise une seule
politique qui évolue selon l'algorighme choisi et
des interactions entre l'agent et l'environnement.
Dans ce cas, on parle de méthodes on-policy.
Soit on utilise deux politiques différentes : une
politique décisionnelle, et une politique cible. La
politique décisionnelle est celle qui est utilisée
pendant l'entraînement pour choisir les actions,
et la politique cible est mise à jour par rapport
aux informations récoltées pendant les épisodes.
Dans ce cas, on parle de méthodes off-policy.

Certains algorithmes cherchent à calculer la
fonction d'action-valeur Q (ou fonction de va-
leur V) et définissent leur politique autour de
cette fonction. La solution la plus simple consiste
à sélectionner l'action a associée à la plus grande
valeur Q(s, a) (avec s l'état de l'environnement).
Les algorithmes qui cherchent à calculer la fonc-
tion d'action-valeur sont appelés algorithmes
value-based. D'autres algorithmes utilisent et
mettent à jour la politique de l'agent et sont ap-
pelés algorithmes policy-based.

Les algorithmes *value-based* ont besoin d'une estimation de la fonction d'action-valeur *Q* (ou fonction de valeur *V*), qu'ils mettent à jour. Il y a deux façons de faire cela. On peut définir *Q* comme un grand tableau reliant chaque combinaison d'état et d'action à une valeur. Cette solution peut être difficile à mettre en place dans les cas où le nombre d'états ou d'actions est trop grand, et devient même impossible dans le cas d'une infinité d'actions ou d'états. L'autre façon consiste à calculer approximativement la valeur *Q* à l'aide par exemple d'un réseau de neurones. Dans le premier cas, l'algorighme est dit tabulaire, dans l'autre, il est dit approximatif.

## 2.2 Apprentissage par renforcement multi-agent : MARL

Le MARL a ses propres particularités. Tous les agents interagissent et influencent l'environnement et les récompenses du groupe. Ainsi, la récompense d'un agent ne dépend plus seulement de son action et de l'environnement, mais également des actions des autres agents. Pour chaque agent, les comportements des autres lui sont inconnus et, surtout, ils évoluent avec le temps car les autres agents apprennent simultanément. En conséquence, du point de vue d'un agent, l'environnement est non stationnaire. Cela cause des problèmes qui seront discutés dans la section 2.3.

**Équilibre de Nash.** La meilleure action pour un agent dépend, la plupart du temps, du com-

portement des autres. Dans certaines situations, un équilibre particulier, appelé équilibre de Nash [4], se manifeste. Il se produit lorsque chaque agent applique la meilleure politique possible compte tenu des choix des autres. Cet équilibre représente une stabilité stratégique.

Il est possible de définir ce terme mathématique-
ment. π* est un équilibre de Nash si et seulement
si :

$$
V_{\pi^*, i, \pi^*, -i}^{i}(s) \geq V_{\pi^{i}, i, \pi^{*}, -i}^{i}(s), \forall \pi^{i}, \forall s, \forall i \quad (4)
$$

avec $\pi^i$ la politique de l'agent $i$, $\pi^{-i}$ la politique des agents autre que $i$ et $s$ l'état de l'environnement.

Il existe deux types d'équilibre de Nash selon
si on considère uniquement les stratégies pures
(pas de choix probabiliste, π(s, a) ∈ 0, 1) ou
si on considère également les stratégies mixtes
(π(s, a) ∈ [0, 1]). Dans le cas d'un dilemme du
prisonnier, il existe une stratégie pure qui est un
équilibre de Nash : les 2 joueurs trahissent. Dans
d'autres cas, il n'existe pas de stratégie pure qui
satisfasse cela, par exemple le cas d'un pierre-
feuille-ciseau. Dans ce dernier cas, il existe ce-
pendant une stratégie mixte qui revient à un équi-
libre de Nash : jouer l'une des 3 options au ha-
sard.

Plus généralement, il existe un théorème d'exist-
ence de Nash [5] qui assure l'existence d'au
moins un équilibre de Nash sous les conditions
suivantes :

* Les stratégies mixtes sont autorisées ;

* Le nombre de joueurs est fini ;

* Le nombre d'actions de chaque joueur est fini.

## 2.3 Difficultés majeures du MARL

Les difficultés majeures identifiées ici s'appuient
sur deux articles récents [23, 24] qui proposent
une synthèse du MARL.

**Non stationnarité.** Du fait de la simultanéité des actions des agents, ces dernières contribuent toutes à la mise à jour de l'état de l'environnement, et affectent ainsi les récompenses obtenues par les agents. De plus, les agents apprennent et modifient leur comportement en parallèle. En conséquence, du point de vue d'un agent, l'environnement est non stationnaire [22]. On perd ainsi la propriété de Markov.

Il est important de comprendre que la non sta-
tionnarité découle du manque de connaissance
que les agents ont les uns des autres. Du point de
vue d'un agent, deux états peuvent sembler identiques, mais la différence dans les stratégies des autres agents peut entraîner une variation dans la dynamique globale du système observée. Autrement dit, pour un même état de l'environnement observé, une même action peut potentiellement obtenir une récompense positive à un instant *t*, puis une négative à un autre moment de l'épisode.

**Définition de l'objectif.** Comme dit dans la section 2.1, l'objectif dans un système avec un seul agent est de maximiser ses récompenses. Ainsi, le critère d'évaluation est bien défini et repose sur l'amélioration des récompenses. En multi-agent la question est plus délicate, car la mesure de la qualité de l'apprentissage doit se faire à l'échelle globale du système. Cela dépend donc fortement du contexte applicatif. Que veut-on maximiser dans le SMA ?

On peut définir deux grands types d'objectifs : la recherche de stabilité et la recherche d'adaptabilité [25]. La stabilité est un critère de convergence visant à atteindre une politique stationnaire. L'adaptation est un critère de performance visant à avoir des agents qui adaptent leur stratégie à celle des autres.

La convergence vers un équilibre de Nash est souvent un critère utilisé car il permet d'allier convergence et adaptation [8].

**Connaissance partielle de l'environnement.** Comme nous l'avons dit, le plus souvent un agent ne connaît pas la dynamique des autres. Mais, c'est aussi le cas pour l'environnement. En effet, à part dans des cas simples, les agents ne peuvent en avoir une connaissance complète [23]. Les agents doivent donc faire des actions en se basant sur des observations partielles de leur environnement. Cela prive les agents d'informations, parfois importantes pour prendre une bonne décision. De fait, le problème de non stationnarité, causé par l'incapacité d'un agent à distinguer deux états qui semblent identiques car les stratégies internes des autres sont inconnues, est renforcé par le manque de connaissance de l'état et de la dynamique de l'environnement.

**Scalabilité.** La dimension de l'espace de l'ensemble des actions (*joint action space*) augmente exponentiellement avec le nombre d'agents. On a donc une explosion combinatoire, et de fait prendre en compte le comportement des autres agents peut devenir très coûteux. Ce problème complique la scalabilité des algorithmes MARL

[23]. Beaucoup d'entre eux sont adaptés seulement à des situations avec 2 agents, mais deviennent inutilisables dès que ce nombre augmente.

**Hétérogénéité.** L'hétérogénéité est rarement considérée comme une difficulté majeure du MARL. C'est un problème spécifique qui n'apparaît que pour certains SMA. Cependant, c'est une dimension qui peut être difficile à prendre en compte et modifier profondément la mesure qualitative de la dynamique du SMA [36]. Par exemple la définition de l'objectif peut nécessiter de considérer la diversité des agents. De plus, les algorithmes peuvent devenir inefficaces, voire inutilisables, si on introduit de l'hétérogénéité dans le SMA. Ainsi, beaucoup de travaux se placent dans un cadre homogène.

## 3 Approches MARL existantes

Plusieurs articles présentent une synthèse des travaux en MARL. Buşoniu et al. commentent une sélection représentative d'algorithmes MARL et décrivent leurs avantages et inconvénients [25]. Ils insistent sur la difficulté de définir un bon objectif en MARL. Plus récemment, Canese et al. présentent les algorithmes MARL les plus représentatifs et les regroupent selon trois des problématiques présentées précédemment (non stationnarité, scalabilité et observabilité) [23]. Zhang et al. offrent une vue d'ensemble des algorithmes MARL, et font une analyse théorique de leur fonctionnement [24]. Par exemple, ils présentent Nash-Q, un algorithme *value-based*, utile dans les situations mixtes (ni coopératif, ni compétitif) à somme non nulle.

Le point commun de ces analyses est qu'elles traitent les travaux existants en considérant de manière isolée les problématiques précédentes. Dans cet article, nous mettrons en perspectives chaque approche par rapport à l'ensemble des problématiques que nous avons identifiées.

En outre, nous proposons une analyse qui se formalise sur l'approche sous-jacente plutôt que sur la nature des algorithmes. L'idée est de prendre du recul afin d'évaluer leur potentiel selon le contexte applicatif.

### 3.1 Independent Learning (IL)

L'une des façons les plus simples de construire un algorithme MARL consiste à utiliser un algorithme qui ne prend pas en compte le comportement des autres agents. Il s'agit donc de
faire l'hypothèse qu'on peut faire abstraction du problème de non stationnarité.

Cette approche est utilisée par [6] puis identifiée comme *Independent Learning* par [7]. Dans [6], on compare *n* agents indépendants à *n* agents faisant preuve de coopération. Ici, *Independent Learning* sert surtout de comparaison vis-à-vis d'un autre algorithme, avec comme conclusion qu'il est préférable de partager des informations plutôt que de faire abstraction des autres. C'est souvent le type de résultats mis en avant d'autres travaux plus récents.

Cependant, l*'Independent Learning'* a été implémenté dans le cadre du défi SMAC (Star-Craft Multi-Agent Challenge) [10] et montré de bonnes performances [11]. Ce dernier article utilise un algorithme fondé sur IL et obtient, pour certaines situations, de bons résultats.

Dans le cas coopératif, l'approche peut ainsi être utilisée et, dans les bonnes conditions, donner des résultats corrects. Une synthèse des travaux fondés sur IL identifie 5 difficultés importantes qui apparaissent dans un cadre coopératif [9]. Ces difficultés sont : *Pareto-selection* (il existe au moins deux équilibres de Pareto<fnref n="1" /> incompatibles), *non-stationarity, stochasticity* (dans les transitions d'état ou dans le calcul des récompenses), *alter-exploration* (exploration/exploitation asynchrone par les agents) et *shadowed equilibria* (dans certains cas, la mécanique de récompense peut mener à équilibre de Nash sous-optimal et cacher les combinaisons d'actions menant à l'optimalité).

Dans un cadre compétitif, cette approche est limitée car elle ne permet pas de s'adapter efficacement aux autres agents. Face à des algorithmes qui prennent en compte les actions des autres agents et adaptent leur comportement en conséquence, cette approche part avec un désavantage et risque d'obtenir des récompenses plus faibles.

Dans le cas mixte, il peut être intéressant lorsque les interactions entre agents sont suffisamment faibles pour rendre l'approximation de stationnarité de l'environnement acceptable.

## 3.2 Fictitious Play (FP)

*Fictitious Play* est une approche introduite par Brown en 1951 [33]. En *Fictitious Play*, les agents considèrent que les autres utilisent une stratégie mixte stationnaire [15]. L'idée est donc

de faire abstraction de l'évolution par apprentissage du comportement des autres agents. Ce qui permet à un agent de choisir son action en fonction de la politique calculée à un instant *t* pour les autres agents.

Il a été démontré que cette approche permet de converger dans plusieurs situations de jeu à 2 joueurs [12, 13, 14, 15]

Cette approche est limitée car elle implique d'ignorer l'apprentissage des autres agents, et donc la non stationnarité. De fait, son utilisation est le plus souvent restreinte aux cas à 2 agents. Malgré cela, cette approche a récemment été associée avec succès à de l'apprentissage profond pour être utilisée dans un SMA avec *n* agents hétérogènes [34].

## 3.3 Deep MARL (MADRL)

Le deep reinforcement learning [26] se base sur des réseaux de neurones pour faire du RL. Cette approche a fait ses preuves, d'abord sur des jeux Atari [27], où elle a permis de créer un algorithme capable de rivaliser avec des humains. Elle a ensuite été appliquée au SMA avec de bons résultats, notamment dans le domaine des jeux, où les algorithmes MADRL performent très bien dans nombre d'entre eux. En 2019, un algorithme fondé sur du MADRL a obtenu de très bons résultats sur le jeu StarCraft II [16].

Bien que de nombreux travaux récents s'appliquent sur cette approche, elle ne traite pas directement des difficultés évoquées dans la section 2.3. Elle ne sera donc pas dans la table 1 qui fait la synthèse entre approches et difficultés majeures. Elle reste intéressante et importante à considérer. On trouvera plus de détails dans [28] qui est une synthèse récente sur le sujet.

## 3.4 Centralized Training Decentralized Execution (CTDE)

Dans un SMA avec un très grand nombre d'agents, il est impossible pour les agents d'avoir une connaissance parfaite du système, ce qui induit le problème d'observation partielle. Par exemple, dans le cas de voitures autonomes circulant dans une ville, il est irréalisable d'avoir des voitures avec une connaissance parfaite de l'environnement et de toutes les autres voitures. Pour pallier ce problème, cette approche repose sur le fait de pouvoir séparer la simulation en 2 phases : l'apprentissage et l'exécution. L'idée est de permettre aux agents d'utiliser pendant

<footnote n="1">1. Un équilibre de Pareto est une situation où aucun agent ne peut augmenter son gain sans diminuer celui d'au moins un autre agent.</footnote>
l'apprentissage des informations auxquelles ils n'auront plus accès pendant la phase d'exécution.

Une application prometteuse de cette approche est présentée dans l'article [29], qui se base sur un algorithme *Actor Critic* (*Actor* définit les actions des agents, *Critic* évalue la qualité des actions). Dans l'article, la *Critic* est entraînée de manière centralisée pour pouvoir ensuite fournir une critique éclairée sur les actions des agents.

Plusieurs techniques peuvent être utilisées pour l'apprentissage centralisé. L'une des techniques les plus populaires est le *Parameter Sharing* dans laquelle les agents sont entraînés sur les mêmes expériences. C'est cette technique qui est utilisée dans l'algorithme PS-TRPO présenté dans l'article [31].

## 3.5 Networked Agents

L'approche *Networked Agents* consiste à mettre en place de la communication entre agents pour réaliser l'apprentissage. L'objectif est de pallier le problème d'observabilité partielle en diffusant de l'information entre agents, et donc d'obtenir une plus grande connaissance sur le système. Zhang et al. présentent cette approche dans [32] et l'utilisent avec un algorithme *Actor Critic*. L'algorithme est applicable pour des systèmes avec beaucoup d'agents et la convergence est garantie sous certaines hypothèses décrites dans l'article.

Zhu et al. présentent une synthèse de l'utilisation de la communication entre agents pour le MARL dans [30]. Ils identifient neuf différentes dimensions de la communication entre agents : (1) type de communication, (2) politique de communication, (3) information des messages, (4) combinaison des messages, (5) intégration des messages dans l'apprentissage, (6) réalisme et contrainte de la communication, (7) apprentissage et amélioration de la communication, (8) Schéma d'entraînement et (9) objectifs contrôlés.

## 3.6 Two-Timescale analysis

Pour pallier le problème de non stationnarité, Borkar propose d'utiliser deux échelles de temps différentes [17]. Cette approche, appelée *Two-Timescale analysis*, consiste à définir deux viesses de mise à jour différentes pour deux processus, de sorte que le premier évolue beaucoup

plus rapidement que le deuxième<fnref n="2" />. Cette différence de vélocité permet au premier processus rapide d'être quasiment toujours adapté au processus lent, ce qui permet de stabiliser l'apprentissage et de converger dans des situations favorables vers un équilibre de Nash [18].

Leslie et al. généralisent à n agents en utilisant une échelle de temps par agent [19].

Hormis les agents, il est aussi possible d'appliquer cette approche au niveau des processus de l'apprentissage. Par exemple, Perkins et al. utilisent cette approche sur un algorithme *Actor Critic* pour séparer *Critic* (rapide) et *Actor* (lent) [35].

## 3.7 Mean Field MARL (MF MARL)

Prendre en compte le comportement des autres agents peut donner lieu à des calculs trop coûteux (voir section 2.3). Voilà pourquoi un grand nombre d'algorithmes fonctionnent correctement avec 2 agents, mais deviennent inutilisables lorsque le nombre d'agents dépasse largement 2. Une façon de régler ce problème est de considérer les actions des autres agents globalement et non individuellement, en utilisant un champ moyen. Cette approche est appelée *Mean Field (MF)* [20]. Du point de vue d'un agent, on retrouve un système à 2 agents : moi et les autres, traités comme une seule entité.

Yang et al. montrent aussi qu'il n'est pas nécessaire de prendre en compte tous les autres agents mais qu'il est possible de ne considérer que le voisinage d'un agent (qui reste à définir) [20]. On note ce voisinage : $\mathcal{N}^j$. Soit $a^j$ le one-hot encoding<fnref n="3" /> de l'action de l'agent $j$, on peut définir $\bar{a}^j$ l'action moyenne des agents dans le voisinage avec l'équation 5.

$$ \bar{a}^j = \frac{1}{|\mathcal{N}^j|} \sum_{k \in \mathcal{N}^j} a^k \quad (5) $$

où $|\mathcal{N}^j|$ est le nombre d'éléments dans $\mathcal{N}^j$. [20] démontre que $Q^j(s, a)$ est une bonne approximation de $Q^j(s, a^j, \bar{a}^j)$.

MF-Q (*Mean Field Q-Learning*) et MF-AC (*Mean Field Actor Critic*) sont deux algorithmes fondés sur cette approche du champ moyen et sont présentés dans [20], puis mis en application sur un cas d'étude dans lequel sont comparés les

<footnote n="2">2. Ce seuil est formellement défini dans [19].</footnote>

<footnote n="3">3. Chaque action est représentée par un vecteur nul partout, sauf pour l'index correspondant.</footnote>
4 algorithmes suivants : MF-Q (Mean Field Q-Learning), MF-AC (Mean Field Actor Critic), IL (Independent Learning), AC (Actor Critic).

Dans certaines situations, il n'est pas souhaitable de résumer les actions de tous les autres agents avec un unique champ moyen, notamment quand les agents sont hétérogènes. Par exemple, dans un système proies/prédateurs, il est important de conserver une différence de traitement entre les proies et les prédateurs. Ainsi, il est possible de considérer plusieurs types d'agents, comme dans [21], qui présente l'approche Multi Type MF MARL (MTMF MARL).

Parce qu'elle considère les autres comme une seule entité, cette approche est surtout efficace lorsque les agents sont homogènes. Dans le cas où les agents sont hétérogènes, il est possible de définir plusieurs types d'agents, traités chacun comme une entité à part, comme proposé dans [20]. Cependant, si le système contient beaucoup de type d'agents différents, on retombe vite sur des problèmes d'explosion combinatoire.

# 4 Synthèse

La table 1 résume de manière synthétique les difficultés adressées par chaque approche.

Cette section présente une analyse globale des approches présentées précédemment, en expliquant leur relation avec les difficultés énoncées en début d'article.

L'approche MADRL est prometteuse, et beaucoup d'algorithmes récents reposent dessus. Cependant, bien que cette approche permette de résoudre certaines difficultés évoquées dans la section 2.3, ces dernières ne sont pas adressées directement, mais par le biais du *deep learning*. De fait, nous ne ferons pas apparaître cette approche dans la table 1.

## 4.1 Non stationnarité

Hernandez-Leal et al. présentent une analyse poussée de cette difficulté [22] et identifient 5 types d'algorithmes classés par ordre de sophistication : (1) ignorer et faire l'hypothèse d'un environnement stationnaire, (2) oublier et ne conserver que les observations récentes pour atténuer le problème (le plus souvent en utilisant une approche *model-free*), (3) cibler une sous-partie du système, par ex. le comportement d'autre agent précis, (4) apprendre le modèle comportemental des autres, (5) appliquer 4 en

supposant que les autres font de même (Theory of mind). (1) peut clairement être associée à une approche de type IL dans le sens où on ignore la non stationnarité.

L'approche Two-Timescale permet de traiter le problème de non stationnarité en isolant 2 processus que l'on fait évoluer à des échelles de temps différentes. Sous certaines conditions, il permet d'avoir des algorithmes convergents vers un équilibre stationnaire.

CTDE passe par une phase d'apprentissage centralisé qui permet aux agents de comprendre le comportement des autres et de voir plus globalement les conséquences de leurs actions. Comprendre le comportement des autres agents réduit les problèmes de non stationnarité.

Lier les agents avec un réseau de communication leur permet de partager leurs observations. Ainsi, ils ont une plus grande connaissance de leur environnement et surtout du comportement des autres agents. Ce qui contribue à diminuer les problèmes dus à la non stationnarité.

Le MF MARL ne traite pas directement le problème de non stationnarité. Cependant, il permet de prendre en compte le comportement des autres agents et peut donc être considéré comme une approche qui aide à atténuer ce problème.

Enfin, les approches IL et FP ignorent le problème de non stationnarité. IL ne considère même pas les autres agents, et FP suppose que le comportement des autres agents est stationnaire.

## 4.2 Définition de l'objectif

Définir un objectif pour un SMA est une difficulté évoquée dans la section 2.3. Cependant, elle ne servira pas de critères discriminant pour les approches. Elle apparaît au moment de définir les critères d'évaluation pour un algorithme, mais elle n'est pas liée à l'approche choisie.

## 4.3 Connaissance partielle de l'environnement

Les agents ne peuvent souvent qu'observer partiellement leur environnement. Cela peut causer de nombreux problèmes et gêner leur apprentissage. Certaines approches traitent ce problème.

L'approche CTDE prend directement en compte ce problème et propose comme solution de passer par une phase d'entraînement en amont de la phase de test, dans laquelle il est souvent possible
d'utiliser une simulation de l'environnement ou
un contrôleur central.

L'approche Networked Agents prend également
cela en compte dans son concept. Les agents
ne possèdent pas d'informations complètes sur
le système, mais contrebalancent cette difficulté
par un échange d'informations.

L'approche MF MARL est compatible avec les
observations partielles en intégrant le concept de
voisinage à sa définition. Avec cette approche, il
n'est pas prévu qu'un agent puisse obtenir des
informations en dehors de son voisinage (pas de
communication).

Enfin, les approches IL, FP et *Two-Timescale* ne traitent pas directement du problème introduit par l'observation partielle

## 4.4 Scalabilité

Certains algorithmes sont conçus pour être ef-
ficaces dans des SMA avec seulement 2 agents.
Prendre en compte le comportement des autres
agents et leur évolution peut vite devenir très
complexe lorsque le nombre d'agents augmente.
C'est un problème qui peut être bloquant dans
les SMA comportant de nombreux agents. Ainsi,
plusieurs approches adressent directement cette
difficulté de par leur nature.

*Independent Learning* résout ce problème de la façon la plus simple qui soit : ignorer les autres agents et faire l'hypothèse que l'environnement est stationnaire. Bien que cette approche simple ait de nombreux défauts déjà évoqués dans la sous-section 3.1, elle résout le problème de scalability car évite d'avoir à prendre en compte l'ensemble des actions des autres agents.

L'approche par MF MARL traite la scalability
en considérant les autres agents du voisinage
comme une entité unique, ce qui facilite l'ajout
en grand nombre d'agents dans le système.

La mise en place de communication entre agents
en les liants dans un réseau flexible permet
de résoudre ce problème. En effet, dans ce
contexte pas besoin de prendre en compte tous
les agents, ces derniers ne s'intéressent qu'aux
agents proches auxquels ils sont reliés. Ainsi,
le problème peut être facilement appliqué à
de grandes échelles sans alourdir le calcul de
chaque agent.

Le cas de l'approche FP est un peu plus com-
plexe. Il évite de modéliser l'évolution du com-
portement des agents en supposant que leur stra-

tégie est stationnaire. Cependant, elle reste sen-
sible au nombre d'agents et elle est rarement uti-
lisée seule sur des systèmes à plus de 2 agents.

Enfin, les approches CTDE et *Two-Timescale* ne répondent pas à cette problématique. De plus, CTDE nécessite une phase d'apprentissage très coûteuse dans laquelle elle fournit aux agents de très nombreuses informations dont ils ne disposent plus pour améliorer l'apprentissage une fois en production.

## 4.5 Hétérogénéité

L'hétérogénéité des agents peut être un facteur
bloquant. En effet, de nombreux algorithmes
ont été conçus sur la base d'agents homogènes.
Ainsi, certaines approches sont plus compatibles
avec ce problème que d'autres.

IL ne nécessite pas d'avoir une homogénéité
parmi les agents. IL a déjà montré de bonnes
performances dans des SMA hétérogènes [11].

FP non plus ne nécessite pas l'homogénéité des
agents. Han et al. couplent cette approche avec de
l'apprentissage profond dans un cas hétérogène
[34].

*Two-Timescale* n'implique pas l'homogénéité
des agents. L'approche consiste à adapté la façon
d'apprendre mais ne dépend pas d'une situation.

Dans le cas du MF MARL, l'approche de base nécessite d'avoir des agents homogènes pour pouvoir raisonnablement les considérer comme une seule entité. L'approche dérivée MTMF MARL permet en revanche de traiter des SMA avec des agents hétérogènes, avec la limite qu'il faut tout de même pouvoir identifier un petit nombre de types d'agents différents, autrement l'approche n'a plus d'intérêt. En effet, plus il y a de types d'agents différents, plus l'approche s'éloigne du MF MARL pour revenir au cas classique. Subramanian et al. l'utilisent en définissant 4 types d'agents au maximum [21].

Pour CTDE, rien dans l'approche n'empêche
l'hétérogénéité des agents. En revanche, cer-
taines implémentations de l'apprentissage cen-
tralisé ne fonctionnent pas sans homogénéité. Le
*Parameter Sharing*, utilisé notamment par l'al-
gorithme PS-TRPO (*Parameter Sharing Trust
Region Policy Optimization*), repose sur le par-
tage de paramètres de réseaux de neurones et
nécessite d'avoir des agents homogènes [31]. Il
faut donc être vigilant dans les cas hétérogènes
concernant la façon dont fonctionne l'apprentis-
sage centralisé.
<table><caption>TABLE 1 – Synthèse approches MARL</caption><thead><tr><th>Approche</th><th>Non stationnarité</th><th>Obs partielles</th><th>Scalabilité</th><th>Hétérogénéité</th></tr></thead><tbody><tr><td>Independent Learning [6, 7, 9, 10, 11]</td><td>✗</td><td>✗</td><td>✓</td><td>✓</td></tr><tr><td>Fictitious Play [13, 14, 15, 33, 34]</td><td>✗</td><td>✗</td><td>✗</td><td>✓</td></tr><tr><td>CTDE [29, 31]</td><td>✓</td><td>✓</td><td>✗</td><td>✓</td></tr><tr><td>Networked Agents [32]</td><td>✓</td><td>✓</td><td>✓</td><td>✗</td></tr><tr><td>Two-Timescale [17, 18, 19, 35]</td><td>✓</td><td>✗</td><td>✗</td><td>✓</td></tr><tr><td>Mean Field MARL [20]</td><td>✓</td><td>✓</td><td>✓</td><td>✗</td></tr><tr><td>Multi Type MF MARL [21]</td><td>✓</td><td>✓</td><td>✓</td><td>✓</td></tr></tbody></table>

Pour ce qui est de l'approche *Networked Agents*, le concept de communication n'implique pas forcément d'avoir des agents homogènes. Cependant, son application dans un domaine hétérogène n'est pas bien explorée, comme le mentionné dans sa conclusion l'étude de synthèse [30] de 2022 sur la communication dans le MARL. Il est donc impossible d'en dire plus sur son efficacité dans le cas des systèmes hétérogènes.

# 5 Conclusion et perspective

Cet article présente une synthèse des travaux existants sur le MARL, en prenant du recul par rapport à l'approche utilisée. Notre objectif est de mettre en perspectives chaque approche par rapport aux problématiques ici recensées.

Le domaine du MARL est encore jeune, et de par sa dépendance au contexte applicatif, chaque approche possède ses avantages et ses inconvénients. La synthèse proposée a pour but d'aimer à identifier les meilleures solutions selon le contexte, ou du moins leur potentiel.

Cet article s'inscrit dans le cadre du PEPR FairCarboN, plus précisément dans le projet Slam-B. L'objectif de Slam-B est de concevoir des scénarios de trajectoires pour tendre vers des territoires bas carbone, et de développer des approches de modélisation d'évaluation intégrée pour les appliquer dans des scénarios labs. Notre travail à Slam-B consiste à développer un module filière qui permettra de représenter les échanges et relations entre plusieurs exploitations agricoles, et d'apprendre les comportements les plus vertueux en utilisant du MARL. Dans la situation réelle, ces échanges dépendent de la réalité du terrain et évoluent avec les expériences passées. Ainsi, l'objectif est d'avoir des exploitations agricoles (agents) capables de mettre à jour leur réseau d'accointances.

En modélisant la situation, on remarque que les difficultés mentionnées sont toutes présentes. Nous sommes sur un SMA appliqué sur une grande échelle (scalabilité), avec des agents qui apprennent en parallèle (non stationnarité), des observations partielles de l'environnement et une hétérogénéité des agents. En effet, les agents sont hétérogènes, on peut séparer les exploitations agricoles en 3 groupes différents : unités de production, unités de transformation, unités de consommation.

Ainsi, dans le contexte du projet Slam-B, un futur travail va reposer sur notre analyse pour envisager les perspectives d'évolution des différentes approches présentées. Nous sommes donc dans un système à *n* agents hétérogènes avec des observations partielles de leur environnement. Dans notre situation, l'approche *Multi Type Mean Field* semble adaptée et est applicable car l'hétérogénéité est faible (on peut identifier trois types d'agents différents). Cette approche permet également de résoudre les autres problèmes, notamment celui de la scalabilité. La possibilité de pouvoir calculer le champ moyen seulement sur un voisinage est cohérent au niveau du modèle en plus d'être efficace au niveau calcul. CTDE peut aussi être utile dans notre situation. Mettre en place une phase d'apprentissage centralisée en amont permettra d'avoir des agents déjà entraînés lors de l'exécution du modèle. Cette piste devra être explorée pour éviter d'avoir des exploitations agricoles qui agissent de manière irrationnelle au début de la simulation.

# Remerciement

Ce travail s'inscrit dans le projet Slam-B du PEPR exploratoire FairCarboN et a bénéficié d'une aide de l'État gérée par l'Agence Nationale de la Recherche au titre de France 2030 portant la référence ANR-22-PEXF-0003.
Références

[1] R. S. Sutton and A. G. Barto, Reinforcement learning: An introduction, MIT press, 2018.

[2] L. P. Kaelbling, M. L. Littman and A. W. Moore, Reinforcement Learning: A Survey, *Journal of Artificial Intelligence Research*, 1996

[3] D. Silver and al. Mastering the game of Go with deep neural networks and tree search, *Nature*, 2016

[4] J. F. Nash, Equilibrium points in n-person games, *Proceedings of the National Academy of Sciences of the United States of America*, vol. 36, no 1, p. 48-49, 1950

[5] J. F. Nash, Non-cooperative games, *Annals of Mathematics*, vol. 54, no 2, p. 286-295, 1951

[6] M. Tan, Multi-agent reinforcement learning: Independent vs. cooperative agents, *Proceedings of the tenth international conference on machine learning*, p. 330-337, 1993

[7] C. Claus and C. Boutilier, The Dynamics of Reinforcement Learning in Cooperative Multiagent Systems, AAAI Conference on Artificial Intelligence, p. 746-752, 1998

[8] M. Bowling and M. Veloso, Rational and Convergent Learning in Stochastic Games, *International joint conference on artificial intelligence*, 2001

[9] L. Matignon and al. Independent reinforcement learners in cooperative markov games : a survey regarding coordination problems. *The Knowledge Engineering Review*, vol. 27, no 1, p. 1-31, 2012

[10] M. Samvelyan and al. The StarCraft Multi-Agent Challenge. *Proceedings of the 18th International Conference on Autonomous Agents and MultiAgent Systems.*, 2019.

[11] C. S. de Witt and al. Is independent learning all you need in the starcraft multi-agent challenge?, *arXiv preprint arXiv:2011.09533*, 2020

[12] J. Robinson, An iterative method of solving a game, *Annals of Mathematics*, p. 296-301, 1951

[13] D. Monderer and L. S Shapley, Fictitious Play Property for Games with Identical Interests, *Journal of economic theory*, vol. 68, no 1, p. 258-265, 1996

[14] D. Monderer and L. S Shapley, Potential Games, *Games and economic behavior*, vol.14, no 1, p. 124-143, 1996

[15] U. Berger, Fictitious play in 2 x n games, *Journal of Economic Theory*, vol. 120, no 2, p. 139-154, 2005

[16] O. Vinyals and al. Grandmaster level in StarCraft II using multi-agent reinforcement learning. *Nature*, vol. 575, no 7782, p. 350-354, 2019

[17] V. S. Borkar, Stochastic approximation with two time scales, *Systems & Control Letters*, vol. 29, no 5, p. 191-194, 1997

[18] H. L. Prasad, L. A. Prashanth and S. Bhatnagar, Two-Timescale Algorithms for Learning Nash Equilibrium in General-Sum Stochastic Games, *Proceedings of the 2015 International Conference on Autonomous Agents and Multiagent Systems*, 2015

[19] D. S. Leslie and E. J. Collins, Convergent multiple-timescales reinforcement learning algorithms in normal form games, *The Annals of Applied Probability*, vol. 13, no 4, p. 1231-1251, 2003

[20] Y. Yang and al. Mean field multi-agent reinforcement learning, *International conference on machine learning*, p. 5571-5580, 2018

[21] S. G. Subramanian and al. Multi Type Mean Field Reinforcement Learning, *Proceedings of the 19th International Conference on Autonomous Agents and MultiAgent Systems*, 2020

[22] P. Hernandez-Leal and al. A survey of learning in multiagent environments : Dealing with non-stationarity, *arXiv preprint arXiv:1707.09183*, 2017.

[23] L. Canese and al. Multi-agent reinforcement learning : A review of challenges and applications, *Applied Sciences*, vol. 11, no 11, p. 4948, 2021

[24] K. Zhang, Z. Yang and T. Başar, Multi-agent reinforcement learning : A selective overview of theories and algorithms, *Handbook of reinforcement learning and control*, p. 321-384, 2021

[25] L. Buşoniu, R. Babuška and B. De Schutter, Multi-agent reinforcement learning : An overview, *Innovations in multi-agent systems and applications*, p. 183-221, 2010

[26] S.E. Li, Deep reinforcement learning, *Reinforcement learning for sequential decision and optimal control*. Singapore : Springer Nature Singapore, p. 365-402, 2023

[27] V. Mnih and al. Human-level control through deep reinforcement learning. *nature*, vol. 518, no 7540, p. 529-533, 2015

[28] A. Wong and al. Deep multiagent reinforcement learning : Challenges and directions, *Artificial Intelligence Review*, vol. 56, no 6, p. 5023-5056, 2023

[29] R. Lowe and al. Multi-agent actor-critic for mixed cooperative-competitive environments, *Advances in neural information processing systems*, vol. 30, 2017

[30] C. Zhu, D. Mehdi and W. Shihan, A survey of multi-agent deep reinforcement learning with communication. *Autonomous Agents and Multi-Agent Systems*, vol. 38, no 1, p. 4, 2024

[31] J. K. Gupta, M. Egorov and M. Kochenderfer, Cooperative multi-agent control using deep reinforcement learning. *Autonomous Agents and Multiagent Systems : AAMAS 2017 Workshops, Revised Selected Papers 16*, Springer International Publishing, 2017.

[32] K. Zhang and al. Fully decentralized multi-agent reinforcement learning with networked agents, *International Conference on Machine Learning*, PMLR, p. 5872-5881, 2018.

[33] G.W. Brown, Iterative solution of games by Fictitious play, *T. Koopmans (Ed.)*, *Activity Analysis of Production and Allocation*, p. 347-376, 1951

[34] J. Han and R. Hu, Deep fictitious play for finding Markovian Nash equilibrium in multi-agent games, *Mathematical and scientific machine learning*, PMLR, 2020.

[35] S. Perkins, P. Mertikopoulos and D. S. Leslie, Mixed-strategy learning with continuous action sets, *IEEE Transactions on Automatic Control*, vol. 62, no 1, p. 379-384, 2015

[36] Y. Zhong and al. Heterogeneous-agent reinforcement learning, *Journal of Machine Learning Research*, vol. 25, p. 1-67, 2024