<figure><img src="image_1.png" /></figure>

JEAN-PAUL DELAHAYE, PHILIPPE MATHIEU

Être ou ne pas être individualiste, quelles conséquences ?

Volume 4, n° 2 (2023), p. 67-95.

https://doi.org/10.5802/roia.57

© Les auteurs, 2023.

<figure><img src="image_2.png" /></figure>

Cet article est diffusé sous la licence

CREATIVE COMMONS ATTRIBUTION 4.0 INTERNATIONAL LICENSE.

http://creativecommons.org/licenses/by/4.0/

<figure><img src="image_3.png" /></figure>

La Revue Ouverte d'Intelligence Artificielle est membre du
Centre Mersenne pour l'édition scientifique ouverte

www.centre-mersenne.org

e-ISSN : 2967-9672
# Être ou ne pas être individualiste, quelles conséquences ?

Jean-Paul Delahayeª, Philippe Mathieuª

ª Univ. Lille, CNRS, Centrale Lille, UMR 9189 CRISTAL, F-59000 Lille, France
E-mail: Jean-Paul.Delahaye@univ-lille.fr, Philippe.Mathieu@univ-lille.fr.

RÉSUMÉ. — Pour comparer des ensembles de stratégies il existe un grand nombre de méthodes. Parmi celles-ci les modèles évolutionnaires offrent une pertinence et une robustesse remarquable. Nous étudions dans cet article deux modèles évolutionnaires parmi les plus simples et naturels possibles au dilemme itéré du prisonnier : le modèle individualiste dans lequel un individu se confronte à tout le monde et le modèle communautaire dans lequel un individu ne se confronte pas aux membres de sa propre famille. À l'aide de simulations massives utilisant des classes complètes de stratégies nous mettons en évidence des évolutions typiques. Pour le modèle individualiste, nous observons avec une grande fréquence une convergence vers un état de coopération généralisée. Pour le modèle communautaire, dont nous défendons la pertinence, nous montrons qu'il se produit de manière quasi-systématique un phénomène de convergence vers un attracteur unique et indépendant de la distribution initiale des effectifs. Des résultats statistiques sur la fréquence de ces attracteurs sont calculés et analysés.

MOTS-CLÉS. — Théorie des jeux, Dilemme du prisonnier, stratégies d'agents, évolution.

## 1. INTRODUCTION

Depuis sa description par R. Axelrod et W. Hamilton en 1981 [5] le dilemme itéré du prisonnier (IPD) a fait l'objet d'un grand nombre d'études et de publications [2, 3, 4, 7, 12, 17, 18, 23, 26, 31]. Un renouveau des recherches s'est produit à partir de l'article de Press et Dyson de 2012 [30] qui a provoqué une large discussion ([1, 14, 15, 19, 24, 32, 33], etc).

Plusieurs stratégies de jeu ont été identifiées comme réussissant de manière robuste dans des rencontres où s'affrontent une multitude de stratégies. Les principales stratégies connues sont *tft*, *spiteful*, *pavlov*, *gradual* [5, 6, 17, 21, 23, 26]. D'autres stratégies ont été mises en évidence plus récemment [13, 18, 21, 23, 30] comme *SpitefulCC* ou *TftSpiteful*.

Le problème principal pour l'évaluation et la comparaison des stratégies est celui du mode de confrontation utilisé. Le tournoi fournit des résultats dont la pertinence a été discutée dès les premiers travaux de Axelrod car il donne un poids équivalent à toutes les stratégies mises dans l'arène initiale de jeu, y compris à celles peu robustes qui disparaissent dès qu'on envisage des opérations de sélection naturelle. Bien plus intéressantes sont les compétitions évolutionnaires, parfois appelées compétitions
écologiques [3, 4, 5, 6, 8, 9, 17, 20, 23, 26, 27, 34], où les effectifs initiaux des stratégies mises dans l'arène évoluent de génération en génération en fonction de leur réussite dans des tournois instantanés (complets ou partiels, aléatoires ou non, soumis à du bruit ou non, avec possibilité de mutations ou non) qui se déroulent de manière répétée faisant émerger les stratégies les plus robustes et éliminant à la fois les stratégies faibles et celles qui les exploitent.

Cette compétition écologique qui est le modèle de la compétition évolutionnaire le plus simple, est utilisé dès les premiers travaux sur le dilemme itéré du prisonnier par Axelrod et Hamilton [5]. D'une génération à la suivante les résultats d'un tournoi général entre tous les individus présents dans l'arène déterminent les effectifs de la génération suivante. Sa version de base est déterministe, sans bruit, sans localisation dans un espace géométrique, et sans mutation. C'est le modèle évolutionnaire le plus fondamental pour le dilemme itéré du prisonnier. Nous l'appellerons le « modèle évolutionnaire individualiste » car chaque individu est évalué à la génération *n* en fonction de son propre comportement face à tous les autres individus de l'arène, y compris ceux appartenant à la même catégorie que lui (c'est-à-dire jouant la même stratégie). Le second modèle évolutionnaire fondamental est lui aussi déterministe, sans bruit, sans localisation et sans mutation. Il fonctionne comme le premier mais cette fois en supposant qu'un individu appartenant à une communauté – par exemple celle des individus jouant tft – a une attitude neutre vis-à-vis des individus de sa communauté et est donc évalué en considérant un tournoi dans l'arène de la génération *n* où il ne les rencontre pas. L'étude et la comparaison de ces deux modèles évolutionnaires fondamentaux semblent n'avoir jamais été réalisées dans la littérature. C'est le sujet de cet article. Il est nécessaire d'avoir une compréhension aussi fine et complète que possible de ces modèles simples avant d'envisager des modèles évolutionnaires plus complexes avec bruits, avec localisation topologique des individus (sur des graphes, le plan ou l'espace, etc.), avec mutations, etc. ([4, 17, 18, 34] etc.). Les deux modèles évolutionnaires fondamentaux retenus engendrent des dynamiques sensiblement différentes, ce qui n'avait pas été mis en lumière jusqu'à présent. Le classique phénomène de convergence vers un état stable de coopération généralisée [3, 7, 8, 9, 10, 20, 21, 23] pour le modèle évolutionnaire individualiste est étudié section 3. L'élimination presque systématique des stratégies agressives (prenant l'initiative de trahir) est intéressante à remarquer mais n'est pas satisfaisante pour la modélisation des écosystèmes réels où on observe au contraire la survie à l'équilibre d'un grand nombre d'organismes variés dont certains sont agressifs. Nous fournissons des précisions statistiques sur les dynamiques qu'engendre ce modèle. L'étude menée section 4, du modèle évolutionnaire communautaire montre qu'on observe beaucoup plus rarement dans ce cas la convergence vers un état général de coopération. En revanche la compétition évolutionnaire communautaire engendre fréquemment des dynamiques d'attracteurs qui ne sont que rarement observées dans le cas individualiste. Nous étudions ce modèle en menant des expériences massives de calcul. La stabilité des classements produits par les attracteurs est aussi étudiée. L'attracteur est le plus souvent indépendant des effectifs des stratégies présentes au départ de l'évolution. Ce phénomène est remarquable et a été sous-estimé alors qu'il correspond à une modélisation des mécanismes évolutionnaires
parfaitement naturelle et que ces attracteurs sont des points d'équilibre autorisant la
survie d'une grande variété de stratégies, y compris agressives. La diversité des stra-
tégies survivantes dans ces points attracteurs correspond mieux à la grande variété
d'organismes vivants présents simultanément dans les systèmes écologiques réels. Le
modèle communautaire apparaît donc comme un intéressant outil de modélisation, et
il est plus fidèle à la réalité du monde vivant que le modèle individualiste.

2. GÉNÉRALITÉS

Rappelons les règles du jeu du dilemme du prisonnier. Deux individus jouent à un jeu à deux coups c (coopérer) et d (trahir). Ils sont récompensés par R points si chacun joue c, par P points si chacun joue d, et reçoivent respectivement T et S points si l'un joue d et l'autre c. On note : [c c]→R, R, [d d]→P, P, [d c]→T, S. La situation de jeu est celle d'un dilemme du prisonnier lorsque les contraintes suivantes sont respectées : T>C>P>S et T+S<2R. Les valeurs de référence que nous adopterons sont celles classiquement utilisées dans la littérature ; T=5, R=3, P=1, S=0.

Le nom « dilemme du prisonnier » provient d'un récit imaginaire. Deux individus
armés sont arrêtés devant une banque. Un juge voudrait établir qu'ils étaient sur le
point de mener une attaque. Il les interroge.

* Si l'un avoue – c'est-à-dire trahit son compère – et l'autre non – poursuit la coopération avec son compère –, situation notée [d c], celui qui avoue est libéré : rétribution de T=5 années de liberté. Celui qui n'a pas avoué va en prison 5 ans : rétribution nulle, S=0, il écope du maximum prévu pour une attaque de banque.

* Si les deux compères restent solidaires en n'avouant rien, [c c], ils vont 2 ans en prison chacun pour port illégal d'armes : rétribution de R=3 années de liberté par rapport aux 5 ans du pire cas.

* Si les deux personnages avouent, [d d], ils vont chacun 4 ans en prison : rétribution d'une année de liberté par rapport au pire cas pour les remercier de leurs aveux, P=1.

Le dilemme est dit itéré quand on imagine que la situation se présente de manière
répétée aux deux individus : une première fois, puis une seconde, etc. Jouer consiste
alors à choisir une stratégie qui, informée du passé, fixe comment jouer le coup suivant.
Voici 6 exemples de stratégies.

* allC : je coopère toujours quels que soient les coups passés.

* allD : je trahis quels que soient les coups passés.

* tft : (tit_for_tat). Je commence par coopérer, puis au coup n, je joue ce que mon adversaire a joué au coup n - 1. L'idée est d'inciter l'adversaire à coopérer en réagissant à chacune de ses trahisons. On montre que tft ne perd jamais plus de 5 points dans une rencontre quelle qu'en soit la durée et l'adversaire, mais aussi qu'il ne fait jamais plus que son adversaire.
* mistrust : je commence par trahir, puis au coup $n$, je joue ce que mon adversaire a joué au coup $n-1$.

* prober : je joue trahir-coopérer-coopérer pour les trois premier coups, puis si mon adversaire a coopéré aux coups 2 et 3 je trahis toujours, sinon je joue tft. L'idée est de tester les réactions de l'adversaire : s'il ne réagit pas à la première trahison, on l'exploite au maximum, sinon on reste prudent.

* gradual : je commence par coopérer, ensuite je coopère autant que c'est possible sauf si l'autre me trahit, auquel cas je réplique par une période de $n$ trahisons successives, où $n$ est le nombre de trahisons passées de mon adversaire, suivie de deux étapes de coopération. L'idée est d'être d'autant plus sévère que l'adversaire a souvent trahi, mais de tenter une réconciliation après chaque période de détorsion en coopérant deux fois de suite pour calmer le jeu.

Voici deux exemples de rencontres de longueur 10.

<table><tr><td></td><td>0</td><td>5</td><td>0</td><td>5</td><td>0</td><td>5</td><td>0</td><td>5</td><td>0</td><td>5</td><td>25</td></tr><tr><td>tft</td><td>c</td><td>d</td><td>c</td><td>d</td><td>c</td><td>d</td><td>c</td><td>d</td><td>c</td><td>d</td><td></td></tr><tr><td>mistrust</td><td>d</td><td>c</td><td>d</td><td>c</td><td>d</td><td>c</td><td>d</td><td>c</td><td>d</td><td>c</td><td></td></tr><tr><td></td><td>5</td><td>0</td><td>5</td><td>0</td><td>5</td><td>0</td><td>5</td><td>0</td><td>5</td><td>0</td><td>25</td></tr></table>

Dans ce premier cas, chaque stratégie emporte 25 points à l'issue des 10 coups.

<table><tr><td></td><td>5</td><td>1</td><td>5</td><td>5</td><td>1</td><td>1</td><td>1</td><td>1</td><td>5</td><td>5</td><td>30</td></tr><tr><td>allD</td><td>d</td><td>d</td><td>d</td><td>d</td><td>d</td><td>d</td><td>d</td><td>d</td><td>d</td><td>d</td><td></td></tr><tr><td>gradual</td><td>c</td><td>d</td><td>c</td><td>c</td><td>d</td><td>d</td><td>d</td><td>d</td><td>c</td><td>c</td><td></td></tr><tr><td></td><td>0</td><td>1</td><td>0</td><td>0</td><td>1</td><td>1</td><td>1</td><td>1</td><td>0</td><td>0</td><td>5</td></tr></table>

Dans ce second cas, allD emporte 30 points, gradual seulement 5. La table 2.1 donne les points gagnés pour des parties de longueur 100 avec les 6 stratégies précédemment décrites.

<table><caption>TABLE 2.1 – Résultat du tournoi des 6 stratégies données en exemple.</caption><thead><tr><th></th><th>pro</th><th>gra</th><th>tft</th><th>mis</th><th>allC</th><th>allD</th><th>Total</th></tr></thead><tbody><tr><td>prober</td><td>104</td><td>299</td><td>299</td><td>295</td><td>496</td><td>98</td><td>1591</td></tr><tr><td>gradual</td><td>299</td><td>300</td><td>300</td><td>296</td><td>300</td><td>89</td><td>1584</td></tr><tr><td>tft</td><td>299</td><td>300</td><td>300</td><td>250</td><td>300</td><td>99</td><td>1548</td></tr><tr><td>mistrust</td><td>300</td><td>301</td><td>250</td><td>100</td><td>302</td><td>100</td><td>1353</td></tr><tr><td>allC</td><td>6</td><td>300</td><td>300</td><td>297</td><td>300</td><td>0</td><td>1203</td></tr><tr><td>allD</td><td>108</td><td>144</td><td>104</td><td>100</td><td>500</td><td>100</td><td>1056</td></tr></tbody></table>
# 3. LE MODÈLE INDIVIDUALISTE

## 3.1. LES LIMITES DES CLASSEMENTS PAR TOURNOI

Dans le dilemme itéré du prisonnier une infinité de stratégies est possible et aucune stratégie n'est meilleure que toutes les autres dans l'absolu (voir [4, 5]). Certaines stratégies, les AllD ou les Extorqueurs [11, 22, 30] notamment, ne perdent jamais contre personne, mais cela a pour conséquence qu'elles gagnent peu de points et se comportent donc très mal dans une compétition où se rencontrent de nombreuses stratégies.

L'évaluation d'un ensemble de stratégies mises en compétition les unes avec les autres pour déterminer un classement entre elles est un problème délicat. Même s'il est évident que le classement trouvé dans un ensemble donné de stratégies est toujours dépendant de cet ensemble, il est essentiel pour un ensemble fixé E de disposer de moyens de comparaison réalistes et robustes aboutissant à des classements reproducibles. La méthode du tournoi (chaque stratégie rencontre toutes les autres, et le cumul des points qu'elle obtient fixe sa valeur et sert de base au classement) est la première à laquelle on pense. Elle possède un défaut grave. Si une stratégie s exploite certaines stratégies au comportement déraisonnable – par exemple celles non réactives, se laisant systématiquement exploiter comme la stratégie allC – et que s est bien classée dans un tournoi, ce bon résultat est illusoire, car dans un monde plus réaliste où les comportements déraisonnables disparaissent, s serait moins bien classée et peut-être très mal. C'est pourquoi Axelrod a envisagé une méthode de classement évolutionnaire simulant la sélection naturelle.

## 3.2. MISE EN ÉQUATIONS VECTORIELLES

Le modèle le plus simple dont il faut avoir une compréhension aussi précise que possible avant d'envisager des méthodes plus complexes est le suivant. Ce modèle a été appelé compétition écologique [3, 4, 5, 6, 6, 8, 9, 17, 20, 23, 25, 27, 34], certains auteurs parlent de PFR pour « proportional fitness rule » [8, 9, 16, 28, 29]. Nous utiliserons le terme de « compétition évolutionnaire déterministe individualiste » pour le désigner, ou plus simplement de « modèle individualiste ». L'adjectif individualiste sera opposé à communautaire (voir section 4) car dans ce modèle chaque individu joue pour lui-même et gagne des points en rencontrant tous les individus présents dans l'arène de jeu, alors que dans le modèle communautaire un individu ne gagne de points que face aux individus n'appartenant pas à sa communauté.

Pour classer les stratégies d'un ensemble E de stratégies, dans le modèle individuale on procède en faisant évoluer une arène d'individus, chacun jouant une stratégie de l'ensemble E et rencontrant tous les autres individus présents de l'arène.

a) Pour chaque stratégie s de E, on place dans l'arène plusieurs individus jouant s, ce qui constitue la génération 0. Les effectifs d'individus associés à chaque stratégie en ce point de départ peuvent être choisis égaux, mais il est intéressant d'envisager des effectifs inégaux afin de comparer les dynamiques qui en résultent;
b) On calcule le résultat d'un tournoi entre tous les individus de cette génération 0.

c) Pour chaque stratégie $s$ de $E$, on évalue le total des points gagnés par les individus jouant $s$. Ce total est le score de $s$. Les stratégies qui obtiennent les meilleurs scores auront dans la composition de la génération 1 des effectifs d'individus plus importants que celles ayant obtenu de moins bons scores.

d) Le calcul de la génération 2 se fera à partir de la génération 1, selon la même idée. Etc.

La façon la plus simple et la plus naturelle de fixer précisément les effectifs de la génération $k+1$ à partir de ceux de la génération $k$ est de les prendre proportionnels pour la stratégie $s$ aux nombres de points obtenus par les individus jouant $s$ dans le tournoi entre individus de la génération $k$. L'idée est que la descendance d'un individu est directement proportionnelle pour la génération $k+1$ au nombre de points qu'il tire de ses interactions avec les autres individus présents dans l'arène à la génération $k$. Pour rendre plus général le modèle, on considérera que de la génération $k$ à la suivante un certain pourcentage des individus de la génération $k$ reste présent dans la génération $k+1$. Si ce pourcentage, appelé résilience, est nul ($res = 0$), cela signifie que le renouvellement est complet, aucun « parent » ne survit d'une génération à l'autre. Dans le cas moyen ($res = 0,5$) d'une génération $k$ à la suivante la moitié des individus de la génération $k$ disparaît pour laisser la place à de nouveaux individus dont la répartition dépend des résultats du tournoi entre individus de la génération $k$. Dans le cas extrême inverse ($res = 1$), seuls les parents resteraient et donc aucune évolution ne se produirait. Pour rendre plus facile la comparaison des résultats d'une génération à la suivante, on suppose que l'effectif total reste constant. Si ce n'était pas le cas, en multipliant tous les effectifs par une constante à chaque génération on pourrait se ramener à ce cas. Le choix de fixer un même effectif total à chaque génération ne fait donc perdre aucune généralité au modèle.

Dans les simulations numériques, on peut mener les calculs avec des nombres entiers ou des nombres réels indiquant par exemple pour chaque stratégie $s$ le pourcentage d'individus jouant $s$ dans l'arène. La simulation en nombres réels semble plus générale et se prête mieux à raisonnement mathématiques, mais crée des situations où la convergence n'est atteinte qu'à l'infini, ce qui n'est pas réaliste. Écrivons les équations en utilisant un système de notation vectoriel et matriciel.

Soit $P_k$ le vecteur donnant les effectifs ou les pourcentages des $n$ stratégies qu'on cherche à classer pour la génération $k : P_k(s_i) = nombre \ d'individus \ ou \ pourcentage \ d'individus \ jouant \ la \ stratégie \ s_i \ dans \ la \ génération \ k$. Soit Scores la matrice $n \times n$ des scores des rencontres deux à deux : Scores($s_i, s_j$) = score obtenu par la stratégie $s_i$ quand elle rencontre $s_j$.

Le vecteur fitInd$_k$ de taille $n$ indiquant le nombre de points gagnés par un individu jouant la stratégie $s_i$ lors d'un tournoi entre les individus de la génération $k$ est donné par le produit de la matrice Scores($s_i, s_j$) par le vecteur $P_k$ :

$$ fitInd_k = Scores \cdot P_k $$
où la notation *M.V* désigne le produit usuel d'une matrice *M* par un vecteur *V*. Dans ce calcul des points gagnés pour le tournoi de la génération *k*, un individu joue contre lui-même. Si on mène le calcul avec un vecteur $P_k$ qui correspond à des effectifs d'individus (et non pas à des pourcentages) on peut éviter cela en soustrayant à chaque composante du vecteur $fitInd_k$ la quantité $Scores(s_i, s_i)$. Lorsque nous prendrons en compte cette remarque nous parlerons de modèle strict. Le vecteur $fitStr_k$ de taille *n* indiquant pour chaque stratégie le nombre de points gagnés par l'ensemble des individus jouant la stratégie $s_i$ est donné par la formule :

$$ fitStr_k = P_k \bullet fitInd_k $$

où • désigne le produit terme à terme entre deux vecteurs de taille *n*. Si on considère que le total des effectifs reste constant et égal au nombre *base* (si on calcule avec des pourcentages on a *base* = 1), alors les nouveaux effectifs sont donnés par l'équation :

$$ P_{k+1} = (base / \sum_{i=1}^{i=n} (fitStr_k)) * fitStr_k $$

où $\Sigma(fitStr)$ est la somme des composantes du vecteur $fitStr_k$ et où $r * V$ désigne le vecteur $V$ dont chaque composante a été multipliée par le nombre réel $r$. Tous les calculs permettant de passer du vecteur des effectifs à la génération *k* au vecteur des effectifs à la génération *k* + 1 se résument donc en :

$$ fitInd_k = Scores \cdot P_k $$

$$ fitStr_k = P_k \bullet fitInd_k $$

$$ P_{k+1} = \left( base / \sum_{i=1}^{i=n} (fitStr_k) \right) * fitStr_k $$

ou encore :

$$ fitStr_k = P_k \bullet (Scores \cdot P_k) $$

$$ P_{k+1} = \left( base / \sum_{i=1}^{i=n} (fitStr_k) \right) * fitStr_k $$

où encore, cette fois en une formule unique :

$$ P_{k+1} = \left( base / \sum_{i=1}^{i=n} (P \bullet (Scores \cdot P_k)) \right) * P_k \bullet (Scores \cdot P_k) $$

Si le vecteur $P_k$ est exprimé en pourcentage, on fera les calculs avec des nombres réels. Si $P_k$ est exprimé avec des entiers et qu'on souhaite à chaque étape avoir une stratégie contre elle-même dans le tournoi opéré à la génération *k* (modèle strict). Dans le cas de calculs avec des entiers, l'opération de normalisation pour maintenir constant le nombre total des individus présents à chaque génération devra être suivie d'un calcul d'arrondi (par exemple à l'entier inférieur) ce qui aura pour effet que la somme des effectifs pourra parfois être légèrement et temporairement inférieure à la base. Ces variations du total ne changent pas fondamentalement les dynamiques observées, sauf sur un point : le modèle avec des nombres entiers arrive plus rapidement
à un état stable que le modèle avec des nombres réels. En particulier si avec le modèle réel l'effectif d'une stratégie s tend vers 0 sans jamais s'annuler totalement, dans le cas des calculs avec des entiers l'effectif de la stratégie s sera rapidement nul (ou stabilisé sur une petite valeur). Nous avons mené les deux types de calcul pour nous assurer de la cohérence et de l'universalité des résultats observés. Nous signalons plus loin le cas des oscillations où les deux modèles donnent des résultats assez différents : convergence avec oscillations atténués avec les réels, comportement périodique avec les entiers.

La prise en compte de la résilience (persistance dans la génération $k + 1$ d'une proportion *res* des individus de la génération *k*) modifie un peu la dernière équation qui devient :

$$P_{k+1} = res \cdot P_k + (1 - res) \cdot \left( \left( base / \sum_{i=1}^{i=n} (fitStr_k) \right) * fitStr_k \right)$$

### 3.3. EFFETS DE LA RÉSILIENCE

La proportion de « parents » restant présents d'une génération à la suivante (mesurée par le paramètre résilience) change-t-elle le résultat d'une simulation évolutionnaire individualiste ? Les simulations que nous avons effectuées répondent à cette question et montrent deux points.

* La durée de l'évolution avant stabilisation est d'autant plus longue que la résilience est élevée – ce n'est pas surprenant – mais cet allongement peut varier considérablement d'un cas à un autre. C'est ce que montrent les figures 3.1 et 3.2. Pour la figure 3.1, quatre stratégies ont été placées dans l'arène de départ. Selon que la résilience vaut 0, 0,25, 0,5 ou 0,75 le temps de stabilisation de la simulation évolutionnaire individualiste avec des entiers (100 individus de chaque stratégie, calcul strict, 100 coups par rencontre) est passée de 50 à 82, puis 120, puis 227. Dans le cas d'un ensemble de 6 stratégies l'accroissement du temps de stabilisation pour les mêmes valeurs de la résilience est beaucoup plus important : 66, 628, 1 201, 2 697.

* Les effectifs stabilisés sont presque les mêmes selon les différentes valeurs de la résilience et l'ordre d'arrivée n'est pas changé. Que le maintien en nombre plus ou moins important des parents d'une génération à la suivante ait un effet de retardement mais ne provoque pas de bouleversements est naturel. D'autres simulations dont nous ne donnons pas le détail confirme cette règle qui est aussi valable avec le modèle communautaire.

### 3.4. CONVERGENCE VERS LA COOPÉRATION GÉNÉRALISÉE

Nous appellerons stratégies bienveillantes (nice en anglais) les stratégies qui lors d'une rencontre ne jouent jamais d en premier, et agressives (« not-nice ») les stratégies qui, à l'opposé, prennent l'initiative de trahir même si l'adversaire a toujours joué c dans le passé. Un phénomène remarquable noté par Robert Axelrod dès ses
<figure><img src="image_4.png" /></figure>

FIGURE 3.1 – Effets de la résilience : Exemple 1. Lors d'une simulation évo-
lutionnaire individualiste, pour constituer la génération *n* + 1 on peut garder
une proportion plus ou moins importante des individus de la génération *n*. Le
paramètre *res* mesure cette proportion : *res* = 0 aucun individu de la génération
*n* n'est conservé ; *res* = 0,5 la génération *n* + 1 est composée de 50 % des indivi-
dus de la génération *n*, etc. Les 4 dessins montrent que la dynamique générale
est indépendante de la valeur de *res* avec seulement un effet de ralentissement
d'autant plus important que *res* est proche de 1, et une petite variation des
effectifs finaux.

premières simulations évolutionnaires utilisant le modèle individualiste (désigné par
lui : *ecological evolution*) est que les stratégies agressives sont toutes repoussées à la
fin des classements, y compris celles qui avaient d'assez bons résultats au tournoi. Le
plus souvent, elles sont même totalement éliminées ce qui conduit donc à un ensemble
de stratégies qui coopèrent toutes les unes avec les autres sans qu'aucune trahison ne
se produise. Un tel état de l'arène de jeu est nommé état de « coopération généra-
lisée » (ou parfois « coopération universelle »). Il a été souvent mentionné dans la
littérature en particulier par [3, 5, 6, 7, 8, 9, 20, 21, 23] mais aucune étude générale
ne semble avoir été menée à son sujet. Le phénomène n'est pas absolument général et
on trouve facilement des exceptions (voir plus loin). On ne peut donc pas énoncer et
démontrer un théorème qui établirait qu'il se produit systématiquement. En revanche,
on peut mener des expériences pour en évaluer la fréquence. C'est ce que nous avons
<figure><img src="image_5.png" /><figcaption>FIGURE 3.2 – Effet de la résilience : Exemple 2. Comme avec la famille de stratégies prise pour la figure précédente on voit que plus *res* est proche de 1, plus le ralentissement de l'évolution est important. Ici le ralentissement est bien plus sensible que dans l'exemple précédent.</figcaption></figure>

fait à l'aide de plusieurs calculs massifs que nous décrivons maintenant. Partant d'une famille de stratégies F, 1 000 fois de suite, nous prenons *k* stratégies au hasard dans F avec *k* = 4, 5, ..., 10. Pour la génération 0 chacune des *k* stratégies est jouée par 100 individus. La simulation évolutionnaire individualiste est effectuée (calcul avec des entiers, modèle strict, rencontres de 100 coups). Le nombre de simulations évolutionnaires individualistes menant à la coopération généralisée est calculé, ce qui donne un résultat entre 0 et 1 000 que nous convertissons en pourcentage. Les familles F que nous avons considérées sont les suivantes :

* La famille bag20 de 20 stratégies simples et classiques dont la liste est donnée en annexe.

* Le même ensemble bag20 auquel sont ajoutées 5 stratégies probabilistes de type égalisateur et extorqueur selon les définitions de [30]. Cet ensemble est noté bag25 (voir annexe).

* Les ensembles Mem(1, 1), Mem(1, 2), Mem(2, 1) issus de [7] et comportant respectivement 32, 1 024 et 1 024 stratégies.
Par définition chaque stratégie de Mem(n,m) mémorise les n derniers coups qu'elle a joués et les m derniers coups joués par l'adversaire et prend une décision – toujours la même – en fonction de cette information. L'intérêt de ces « classes complètes » est qu'elles sont en quelque sorte objectives car on ne fait aucun choix, on prend systématiquement toutes les stratégies conformes à la définition de la classe. Nous avons aussi repris la même expérience pour Mem(1,1), Mem(1,2), Mem(2,1) en ajoutant à chaque sous-ensemble de k stratégies les trois stratégies tft, spiteful, et gradual dont on sait qu'elles favorisent la coopération. Nous avons noté Mem11+, Mem12+, Mem21+ les lignes donnant les résultats pour ces familles. Au total nous avons donc calculé 56 000 simulations évolutionnaires individualistes.

<table><caption>TABLE 3.1 – Probabilité de convergence vers la coopération généralisée lors d'une simulation évolutionnaire individualiste.</caption><thead><tr><th>k</th><th>4</th><th>5</th><th>6</th><th>7</th><th>8</th><th>9</th><th>10</th><th>Avg</th></tr></thead><tbody><tr><td>bag20</td><td>67,0</td><td>69,0</td><td>74,5</td><td>76,9</td><td>78,9</td><td>84,2</td><td>83,1</td><td>76,2</td></tr><tr><td>bag25</td><td>67,4</td><td>71,9</td><td>74,2</td><td>72,7</td><td>76,3</td><td>81,7</td><td>82,9</td><td>75,3</td></tr><tr><td>Mem11</td><td>25,9</td><td>29,1</td><td>33,7</td><td>39,6</td><td>43,9</td><td>52,0</td><td>53,7</td><td>39,7</td></tr><tr><td>Mem12</td><td>14,9</td><td>15,8</td><td>14,8</td><td>16,2</td><td>15,5</td><td>16,5</td><td>18,0</td><td>16,0</td></tr><tr><td>Mem21</td><td>8,8</td><td>7,9</td><td>9,7</td><td>7,8</td><td>8,4</td><td>10,0</td><td>9,5</td><td>8,9</td></tr><tr><td>Mem11+</td><td>100</td><td>100</td><td>100</td><td>100</td><td>100</td><td>100</td><td>100</td><td>100</td></tr><tr><td>Mem12+</td><td>99,6</td><td>99,6</td><td>99,9</td><td>99,6</td><td>99,2</td><td>99,0</td><td>99,2</td><td>99,4</td></tr><tr><td>Mem21+</td><td>99,7</td><td>100,0</td><td>99,9</td><td>99,4</td><td>99,7</td><td>99,7</td><td>99,3</td><td>99,7</td></tr><tr><td>Avg</td><td>60,4</td><td>61,7</td><td>63,3</td><td>64</td><td>65,2</td><td>67,9</td><td>68,2</td><td><strong>64,4</strong></td></tr></tbody></table>

Les points suivants apparaissent.

* La convergence vers la coopération généralisée est un phénomène qui se produit fréquemment et dans une grande variété de contextes.

* Plus grand est le nombre de stratégies mises en compétition plus la probabilité de converger vers la coopération généralisée est grande. Par exemple, pour Mem(1,1) quand on choisit des ensembles de stratégies de 4 à 10 éléments la probabilité d'aboutir à une coopération généralisée passe de 25,9 % à 53,7 % (ligne 3 de la table 3.1).

* Globalement, la convergence vers la coopération généralisée se produit dans plus de 64,4 % des cas.

* Pour les stratégies des classes complètes Mem(1,1), Mem(1,2), Mem(2,1) la coopération généralisée est fréquente mais plus rare pour les classes de stratégies plus complexes. L'explication provient en partie de ce que la proportion de stratégies agressives (not-nice) augmente de Mem(1,1) où elle est de 75 % à Mem(1,2) et Mem(2,1) où elle est de 87,5 %. Il est en effet évident que si dans l'ensemble des k stratégies choisies au départ, il n'y a que des stratégies agressives, alors il est impossible que se produise une convergence vers la coopération généralisée.
* Les trois dernières lignes de la table 3.1 montrent que l'ajout de trois stratégies gentilles et réactives (*tft*, *spiteful*, *gradual*) provoque avec une forte probabilité une situation où la coopération généralisée s'imposera, et cela même quand c'était une éventualité rare avant l'ajout.

* Il est remarquable que l'ajout des trois stratégies *tft*, *spiteful* et *gradual* à des ensembles pris au hasard de 10 stratégies de *Mem(2, 1)* fait passer la probabilité de convergence vers la coopération généralisée de 9,5 % à 99,3 % (dernière colonne des lignes 5 et 8 de la table 3.1). Les stratégies gentilles et réactives sont des catalyseurs efficaces de pacification.

La figure 3.4a montre un exemple typique de convergence vers la coopération généralisée. Les stratégies prises pour cet exemple sont *prober*, *gradual*, *tft*, *mistrust*, *allC* et *allD*. Les points de départ sont : effectif 1 000 pour une stratégie et 20 pour les autres (6 trajectoires), puis 1 000 pour une stratégie et 50 pour les autres (6 trajectoires), puis 1 000 pour une stratégie et 100 pour les autres (6 trajectoires). Cela donne 18 trajectoires évolutives correspondant à 18 distributions initiales différentes des effectifs des 6 stratégies. Les 18 trajectoires sont dessinées sur la même figure par la méthode barycentrique dont voici le principe. Pour *k* stratégies, nous plaçons *k* points sur un cercle aux sommets d'un polygone régulier à *k* sommets. Chaque sommet représente une stratégie. La répartition des effectifs d'une génération détermine un point à l'intérieur du polygone qui est le barycentre des *k* sommets affectés des effectifs respectifs des stratégies. En joignant les points successifs obtenus lors d'une simulation évolutionnaire, la variation des effectifs de l'arène produit une courbe à l'intérieur du polygone. Il s'agit d'une projection en dimension 2 d'une courbe dans un espace de dimension *k*. S'il y a stabilisation la courbe s'arrête en un point intérieur au polygone ou à sa frontière, qui est marqué par un rond. Dans un tel schéma, on peut dessiner plusieurs trajectoires évolutives correspondant à plusieurs distributions initiales différentes des effectifs. On voit alors en observant les trajectoires dessinées et leurs points d'arrivée, si l'état stabilisé est unique, ou s'il y en a plusieurs. La position des points d'arrêt des courbes donne des informations sur les états stables finaux. Dans la figure 3.4a on observe que toutes les trajectoires évolutives aboutissent sur le segment reliant *tft* et *gradual*, ce qui signifie qu'il ne reste dans l'état final stabilisé qu'un mélange de ces deux stratégies dans des proportions dépendant de la composition initiale de l'arène. À chaque fois il s'agit d'un état de coopération généralisée. Ce type de situation est fréquent comme le montre la table 3.1. Il est remarquable que même quand on part d'un point comme celui tout près de *allC* (qui correspond à une distribution des effectifs de 1 000 pour *allC* et 20 pour les autres) la courbe d'évolution des effectifs se précipite sur la barre verticale à droite où *allC* a disparue et où ne subsistent que *tft* et *gradual*.

### 3.5. L'ÉTAT STABLE DÉPEND DES EFFECTIFS INITIAUX

Puisqu'une fois arrivé dans un état de coopération généralisée plus rien ne bouge pour les simulations évolutionnaires individualistes, et que la trajectoire évolutive vers cet état dépend des effectifs des diverses stratégies dans l'arène à la génération 0, il n'est pas surprenant d'observer que l'état de coopération généralisée l'est avec une répartition des effectifs dépendant de l'état initial.
<figure><img src="image_6.png" /></figure>

FIGURE 3.3 – Convergence vers la coopération généralisée. Pour un même ensemble de 6 stratégies les courbes représentent les effectifs de chacune lors de la simulation évolutionnaire individualiste quand le point de départ est uniforme (100 pour chacune, dessins a), croissant (de 100 à 600, dessin b), et décroissant (de 600 à 100, dessin c). On observe que les distributions finales des effectifs sont assez différentes d'un cas à l'autre.

<figure><img src="image_7.png" /></figure>

(b) Convergence vers la coopération généralisée pour bag20. Vingt trajectoires évolutives pour la simulation évolutionnaire individualiste avec l'ensemble de stratégie bag20. L'effectif de départ est de 1000 pour une des stratégies et 10 pour les autres. En changeant la stratégie à laquelle on attribue 1000, on obtient vingt trajectoires. Toutes les trajectoires conduisent à un état de coopération généralisée, sauf une.

FIGURE 3.4 – Deux illustrations de convergence vers la coopération généralisée pour le modèle individualiste.
## 3.6. ATTRACTEURS DU MODÈLE INDIVIDUALISTE

Un phénomène plus rare que la convergence vers la coopération doit être remarqué : l’existence d’un état attracteur. Pour une large zone de points de départ, les trajectoires évolutives aboutissent exactement au même point d’équilibre.

<figure><img src="image_8.png" /></figure>

**FIGURE 3.5** – Pour un ensemble de 4 stratégies agressives, on calcule la simulation évolutionnaire individualiste en partant de 3 répartitions initiales différentes des effectifs. Les trois évolutions conduisent au même état stabilisé (même proportion de chacune des stratégies) qui est donc un attracteur.

<figure><img src="image_9.png" /></figure>

**FIGURE 3.6** – Deux illustrations de convergence vers un attracteur pour le modèle communautaire.

Comme pour la coopération généralisée (voir table 3.1), nous avons mené des expériences massives avec une large variété de familles de stratégies pour évaluer la fréquence de ce phénomène. La table 3.2 donne les résultats. Précisons que nous parlons d’état attracteur dans le sens précis suivant : on opère la simulation avec des
nombres réels pendant 100 itérations, en partant d'effectifs de départ de 1 000 pour une stratégie et 100 pour les autres ce qui fait *k* points de départ différents s'il y a *k* stratégies. Pour chacune des stratégies, on calcule l'écart-type de l'effectif final (mesuré en pourcentage). Si cet écart-type est pour chaque stratégie inférieur à 1/1 000, on considère qu'il y a attracteur.

<table><caption>TABLE 3.2 – Probabilité d'existence d'un attracteur lors d'une simulation évolutionnaire.</caption><thead><tr><th>k</th><th>4</th><th>5</th><th>6</th><th>7</th><th>8</th><th>9</th><th>10</th><th>Avg</th></tr></thead><tbody><tr><td>bag20</td><td>4,6</td><td>1,2</td><td>0,1</td><td>0,0</td><td>0,0</td><td>0,0</td><td>0,0</td><td>0,8</td></tr><tr><td>bag25</td><td>6,9</td><td>2,4</td><td>0,7</td><td>0,2</td><td>0,1</td><td>0,0</td><td>0,0</td><td>1,5</td></tr><tr><td>Mem11</td><td>37,9</td><td>27,0</td><td>19,1</td><td>12,0</td><td>9,5</td><td>5,2</td><td>4,6</td><td>16,5</td></tr><tr><td>Mem12</td><td>39,6</td><td>27,9</td><td>19,9</td><td>13,8</td><td>12,6</td><td>9,2</td><td>6,4</td><td>18,5</td></tr><tr><td>Mem21</td><td>39,7</td><td>27,6</td><td>23,3</td><td>20,0</td><td>15,5</td><td>12,1</td><td>8,8</td><td>21,0</td></tr><tr><td>Avg</td><td>25,7</td><td>17,2</td><td>12,6</td><td>9,2</td><td>7,5</td><td>5,3</td><td>4,0</td><td><strong>11,7</strong></td></tr></tbody></table>

On note les points suivants.

* Avec les stratégies les plus simples et les plus performantes mises dans *bag20* et *bag25* la présence d'un attracteur est assez rare et décroissante quand on considère des familles de stratégies de taille croissante. Sur 1 000 essais avec des sous-ensembles de 7, 8, 9 ou 10 stratégies des *bag20* nous ne trouvons aucun attracteur.

* La présence d'attracteurs devient plus importante quand la proportion de stratégies agressives (not-nice) devient importante et quand un faible nombre de stratégies est mis dans l'arène.

Un exemple de cette situation est donné aux figures 3.5 et 3.6a. Cette fois toutes les trajectoires aboutissent au même point qui est donc un attracteur pour un large bassin d'attraction. Le point attracteur n'est pas un point de coopération généralisée mais un point où s'établit un équilibre entre chacune des quatre stratégies. Pour 1 000 familles de 4 stratégies prises au hasard dans *Mem(2, 1)* cette situation se produit dans 39,7 % des cas (voir la ligne 5, colonne 1 de la table 3.1). Pour 1 000 familles de 10 stratégies le pourcentage tombe à 8,8 % (voir la ligne 5, colonne 7 de la table 3.1).

## 3.7. ATTRACTEURS ET COOPÉRATION GÉNÉRALISÉE POUR LE MODÈLE INDIVIDUALISTE

Dans certains cas l'attracteur est dû à ce qu'on a aussi la convergence vers la coopération généralisée avec une seule stratégie bienveillante (nice) qui finit par occuper entièrement à elle seule toute l'arène. La table 3.3 donne la proportion de ces cas rares. La table a été calculée en opérant 1 000 simulations évolutionnaires individualistes pour chaque case. Le critère utilisé pour savoir s'il y a coopération généralisée est le
même que celui utilisé pour la table 3.1, et le critère utilisé pour savoir s'il y a un attracteur est le même que celui utilisé pour la table 3.2. La figure fig :fig8 fournit un exemple de cette situation. Les 5 points de départ sont les distributions d'effectifs avec 1 000 individus pour une stratégie et 10 pour les autres. Les stratégies sont allC, allD, prober, mistrust et softmajo. Deux d'entre elles sont bienveillantes (nice) mais allC ne survit cependant jamais dans l'état final de coopération généralisée où seule softmajo occupe la totalité de l'arène. Le calcul a été fait avec des nombres réels, mais avec des entiers le résultat est identique. Bien noter ici encore la force de l'attracteur : le point initial de la courbe qui part du haut est une répartition des effectifs de 1 000 pour prober et 10 pour les autres. Malgré la surabondance des représentants de prober, tous disparaissent pour être remplacés uniquement par des softmajo

<table><caption>TABLE 3.3 – Probabilité lors d'une simulation évolutionnaire individualiste de l'existence d'un attracteur avec coopération généralisée.</caption><thead><tr><th>k</th><th>4</th><th>5</th><th>6</th><th>7</th><th>8</th><th>9</th><th>10</th><th>Avg</th></tr></thead><tbody><tr><td>bag20</td><td>2,33</td><td>0,53</td><td>0,13</td><td>0,05</td><td>0,0</td><td>0,0</td><td>0,0</td><td>0,4</td></tr><tr><td>bag25</td><td>5,1</td><td>1,4</td><td>0,9</td><td>0,0</td><td>0,0</td><td>0,0</td><td>0,0</td><td>1,1</td></tr><tr><td>Mem11</td><td>8,3</td><td>8,0</td><td>5,8</td><td>4,9</td><td>4,0</td><td>3,1</td><td>2,2</td><td>5,2</td></tr><tr><td>Mem12</td><td>5,6</td><td>4,3</td><td>3,3</td><td>2,9</td><td>2,3</td><td>1,3</td><td>1,2</td><td>3,0</td></tr><tr><td>Mem21</td><td>3,7</td><td>3,2</td><td>1,9</td><td>1,9</td><td>1,7</td><td>1,7</td><td>1,4</td><td>2,0</td></tr><tr><td>Avg</td><td>5,0</td><td>3,5</td><td>2,4</td><td>2,0</td><td>1,6</td><td>1,2</td><td>1,0</td><td><b>2,4</b></td></tr></tbody></table>

### 3.8. NON CONVERGENCE ET OSCILLATIONS

Pour certaines distributions initiales des stratégies dans l'arène la dynamique évolutive est chaotique avant d'aboutir à un schéma périodique. Les figures 3.7 et 3.8 donnent un exemple de cette situation délicate où le calcul avec des entiers produit une dynamique non convergente périodique alors que les calculs avec des réels donnent une dynamique d'oscillations amorties. Le calcul avec des entiers conduit à une situation périodique qui dépend des effectifs initiaux pour la forme exacte des oscillations, mais ne dépend pas des effectifs initiaux pour le niveau moyen auquel arrivent chaque effectif de stratégie. Le même calcul avec des nombres réels conduit à des oscillations amorties où on retrouve les niveaux moyens des cas périodiques. On peut parler d'un attracteur qui ne se manifeste pleinement qu'avec le calcul avec des nombres réels, et que les problèmes d'arrondi dans le cas des calculs avec des nombres entiers transforme en ce qu'on pourrait appeler un attracteur périodique.

## 4. LE MODÈLE COMMUNAUTAIRE

### 4.1. COMMUNAUTÉS SOLIDAIRES

Le modèle déterministe évolutionnaire communautaire (ou modèle communautaire) prend en compte l'idée que les individus qui dans l'arène de rencontre jouent
<figure><img src="image_10.png" /></figure>

FIGURE 3.7 – Le modèle individualiste donne un état limite différent selon qu’on opère le calcul avec des entiers ou des réels.

<figure><img src="image_11.png" /></figure>

FIGURE 3.8 – Les mêmes stratégies que dans la figure 3.7 : sur la représentation barycentrique la différence entre le calcul avec des entiers et avec des réels est encore très nette et d’ailleurs le calcul avec des entiers fait apparaître un second attracteur absent dans les simulations avec des réels.
la même stratégie peuvent être considérés comme appartenant à un même groupe (ou communauté) et qu’en conséquence ils ne s’affrontent pas entre eux. Chaque membre de la communauté des individus qui par exemple jouent *tft* rencontrera tous les individus jouant d’autres stratégies (c’est-à-dire appartenant à d’autres communautés) mais ne rencontrera pas les individus jouant *tft*.

Pour les équations décrivant le modèle, le calcul de l’évolution se fait avec les mêmes méthodes que précédemment sauf qu’au lieu de prendre la matrice des rencontres *Scores* comme base des calculs, on procède à la mise à 0 de la diagonale, ce qui a pour effet d’annuler les gains en points qu’un individu jouant une stratégie s’obtient en rencontrant les membres de sa communauté. Cette annulation de la diagonale revient au même que de ne pas faire se rencontrer entre eux les membres d’une même communauté. Comme précédemment le calcul peut se faire avec des nombres réels ou avec des nombres entiers. Le modèle permet sans mal d’envisager des situations où dans l’ensemble des stratégies prises en compte on choisit plusieurs fois la même, par exemple deux fois *tft*. On les considérera sous deux noms différents par exemple *tft1* et *tft2*. La formation des communautés n’est donc pas nécessairement déterminée par les stratégies jouées, mais par le choix que fait le modélisateur du nombre d’individus dans chaque communauté et de la stratégie jouée par chaque communauté, plusieurs communautés pouvant adopter la même stratégie.

## 4.2. JUSTIFICATION DU MODÈLE COMMUNAUTAIRE

Le modèle communautaire représente d'une façon plus satisfaisante les situations rencontrées dans le monde vivant que le modèle individualiste. En effet, dans le monde vivant les individus d'une même espèce savent se reconnaître et composer des groupes solidaires. Dans le monde des sociétés humaines, le même type de remarques s'applique. Les individus humains s'opposent et sont en compétition entre eux, mais les membres d'une même communauté (tribu, armée, nation, etc.) sont solidaires et ne combattent que les individus des autres communautés. Les dynamiques observées avec les simulations évolutionnaires communautaires sont assez différentes de celles observées dans le cas individualiste. On rencontre beaucoup moins souvent la convergence vers la coopérations généralisée (voir la table 4.1), et bien plus fréquemment la présence d'un attracteur avec un vaste bassin d'attraction (voir la table 4.2). Dans le modèle individualiste, la sévérité vis à vis des stratégies agressives semble excessive comparée aux situations réelles, dans lesquelles les agressives survivent plus facilement. Les ensembles *MemXY+* ne sont pas ajoutés car pour l'existence d'attracteurs ils ne changent rien.

Alors que dans le cas individualiste on a une convergence vers la coopération généralisée dans plus de 76 % des cas sur les 7 000 simulations effectuées avec *bag20* et de 64 % pour les 56 000 simulations effectuées au total, ces pourcentages sont maintenant seulement de 22 % et de 21,3 %. L'inverse se produit concernant l'existence d'attracteurs. Alors que dans le cas individualiste on ne trouve d'attracteur que dans 0,8 % des cas sur les 7 000 simulations effectuées avec *bag20* et dans 11,7 % pour les 56 000 simulations, ces pourcentages sont maintenant de 81,4 % et 90,8 %.
Être ou ne pas être individualiste, quelles conséquences ?

<table><caption>TABLE 4.1 – Probabilité de la convergence vers la coopération généralisée pour la simulation évolutionnaire communautaire</caption><thead><tr><th>k</th><th>4</th><th>5</th><th>6</th><th>7</th><th>8</th><th>9</th><th>10</th><th>Avg</th></tr></thead><tbody><tr><td>bag20</td><td>25,8</td><td>24,1</td><td>23,3</td><td>20,3</td><td>19,4</td><td>19,9</td><td>21,5</td><td>22,0</td></tr><tr><td>bag25</td><td>21,8</td><td>22,3</td><td>23,5</td><td>21,2</td><td>23,6</td><td>24,2</td><td>24,1</td><td>23,0</td></tr><tr><td>Mem11</td><td>1,0</td><td>1,2</td><td>0,9</td><td>0,3</td><td>0,6</td><td>1,0</td><td>0,6</td><td>0,8</td></tr><tr><td>Mem12</td><td>0,2</td><td>0,2</td><td>0,3</td><td>0,1</td><td>0,1</td><td>0,0</td><td>0,1</td><td>0,1</td></tr><tr><td>Mem21</td><td>0,3</td><td>0,1</td><td>0,0</td><td>0,3</td><td>0,1</td><td>0,4</td><td>0,1</td><td>0,2</td></tr><tr><td>Mem11+</td><td>56,9</td><td>52,1</td><td>50,3</td><td>46,7</td><td>43,3</td><td>42,5</td><td>40,7</td><td>47,5</td></tr><tr><td>Mem12+</td><td>54,4</td><td>47,9</td><td>41,5</td><td>38,3</td><td>35,7</td><td>33,4</td><td>29,6</td><td>40,1</td></tr><tr><td>Mem21+</td><td>52,3</td><td>45,5</td><td>38,3</td><td>36,1</td><td>30,8</td><td>28,2</td><td>25,6</td><td>36,7</td></tr><tr><td>Avg</td><td>26,6</td><td>24,2</td><td>22,3</td><td>20,4</td><td>19,2</td><td>18,7</td><td>17,8</td><td><b>21,3</b></td></tr></tbody></table>

<table><caption>TABLE 4.2 – Probabilité d'existence d'un attracteur pour la simulation évolutionnaire communautaire</caption><thead><tr><th>k</th><th>4</th><th>5</th><th>6</th><th>7</th><th>8</th><th>9</th><th>10</th><th>Avg</th></tr></thead><tbody><tr><td>bag20</td><td>99,3</td><td>98,1</td><td>92,0</td><td>86,8</td><td>76,3</td><td>62,5</td><td>55,0</td><td>81,4</td></tr><tr><td>bag25</td><td>99,4</td><td>96,2</td><td>92,2</td><td>88,4</td><td>81,8</td><td>76,2</td><td>68,4</td><td>86,1</td></tr><tr><td>Mem11</td><td>99,7</td><td>99,5</td><td>98,6</td><td>96,8</td><td>95,4</td><td>92,8</td><td>90,6</td><td>96,2</td></tr><tr><td>Mem12</td><td>99,6</td><td>98,9</td><td>96,4</td><td>96,5</td><td>92,9</td><td>88,9</td><td>82,2</td><td>93,6</td></tr><tr><td>Mem21</td><td>99,9</td><td>99,8</td><td>99,0</td><td>97,8</td><td>96,3</td><td>93,9</td><td>90,6</td><td>96,8</td></tr><tr><td>Avg</td><td>99,6</td><td>98,5</td><td>95,6</td><td>93,3</td><td>88,5</td><td>82,9</td><td>77,4</td><td><b>90,8</b></td></tr></tbody></table>

<table><caption>TABLE 4.3 – Probabilité de l'existence d'un attracteur avec coopération généralisée pour la simulation évolutionnaire communautaire.</caption><thead><tr><th>k</th><th>4</th><th>5</th><th>6</th><th>7</th><th>8</th><th>9</th><th>10</th><th>Avg</th></tr></thead><tbody><tr><td>bag20</td><td>27,0</td><td>24,4</td><td>23,7</td><td>23,2</td><td>20,3</td><td>18,6</td><td>17,1</td><td>22,0</td></tr><tr><td>bag25</td><td>23,8</td><td>21,5</td><td>21,5</td><td>23,7</td><td>22,7</td><td>23,1</td><td>24,8</td><td>23,0</td></tr><tr><td>Mem11</td><td>1,3</td><td>0,5</td><td>0,7</td><td>1,0</td><td>0,7</td><td>0,5</td><td>0,8</td><td>0,8</td></tr><tr><td>Mem12</td><td>0,6</td><td>0,2</td><td>0,2</td><td>0,3</td><td>0,1</td><td>0,1</td><td>0,1</td><td>0,2</td></tr><tr><td>Mem21</td><td>0,1</td><td>0,1</td><td>0,0</td><td>0,0</td><td>0,0</td><td>0,0</td><td>0,2</td><td>0,2</td></tr><tr><td>Avg</td><td>10,6</td><td>9,3</td><td>9,2</td><td>9,6</td><td>8,8</td><td>8,5</td><td>8,6</td><td><b>9,2</b></td></tr></tbody></table>
<figure><img src="image_12.png" /><figcaption>FIGURE 4.1 – Un exemple d’attracteur pour le cas communautaire. Les courbes et le schéma barycentrique des figures 4.2a et 4.2b montrent un cas typique de dynamique avec attracteur dans le cas de la simulation évolutionnaire communautaire. Pour un très vaste bassin d’attraction toutes les évolutions conduisent exactement au même équilibre final.</figcaption></figure>

<figure><img src="image_13.png" /><figcaption>FIGURE 4.2 – Un très large bassin d’attraction.</figcaption></figure>

## 4.3. POURQUOI DES ATTRACTEURS DANS LE CAS COMMUNAUTAIRE ?

Dans le cas communautaire, les expériences montrent qu’apparaît de manière fréquente et presque systématique un phénomène d’attracteur puissant. Nous ne sommes pas en mesure de le démontrer et ce n’est d’ailleurs pas possible en toute généralité puisque parfois il n’y a pas d’attracteur unique. Nous proposons cependant une explanation heuristique de l’existence des attracteurs dans ce modèle. L’un des effets de la méthode de calcul des effectifs est que lorsqu’une communauté C accroit le nombre de ses individus, alors (a) la communauté C gagne plus de points, et donc maintient un effectif important, mais (b) chaque individu de la communauté C se trouve ne rencontrer
qu'un nombre devenant plus faible d'individus des autres communautés car l'effectif total est constant.

Devenir plus gros crée donc pour une communauté C un handicap, alors que devenir petit à l'inverse procure un avantage qui peut être perdu si la stratégie jouée est mauvaise ou médiocre, mais qui dans le cas d'une stratégie moyenne a pour conséquence de limiter son recul. Arrivé à un certain point de croissance l'avantage de la stratégie dont l'effectif s'accroît (car elle est performante) diminue et s'égalise avec l'avantage croissant de la communauté dont l'effectif décroît (du fait par exemple de sa médiocrité). Un point d'équilibre est donc possible et même probable ne dépendant que de la matrice *Scores*. Quand une grande communauté rencontre et bat une petite communauté le bénéfice par individu est moindre que lorsqu'une communauté rencontre et bat une communauté de taille équivalente.

## 5. ORDRES INDIVIDUALISTES ET COMMUNAUTAIRES

Les deux modèles évolutionnaires envisagés sont tous les deux naturels et doivent chacun être pris en considération et nous avons vu que les dynamiques qu'ils engendrent sont sensiblement différentes. Le modèle individualiste conduit fréquemment à un état stabilisé de coopération généralisée alors que le modèle communautaire y amène plus rarement. Symétriquement, pour de nombreuses familles de stratégies le modèle communautaire engendre un attracteur puissant possédant un large bassin d'attraction, alors qu'une telle situation se produit rarement avec le modèle individualiste.

Malgré ces comportements clairement distincts des deux modèles, se pose la question de savoir si les classements qu'ils produisent sont éloignés les uns des autres, voire totalement opposés, ou si les stratégies qui sont performantes dans un modèle le sont aussi dans l'autre. Pour le savoir nous avons mené une série de simulations dont le principe est le suivant. Pour une famille F donnée de *n* stratégies que nous voulons classer nous calculons l'évolution d'une soupe composée au départ d'un nombre identique d'individus jouant chacune des stratégies : 100 individus pour chaque stratégie; rencontres entre stratégies avec des parties de 100 coups; calcul avec des entiers. Le classement C1 obtenu par le modèle individualiste une fois l'évolution stabilisée (ce qui se produit dans la grande majorité des cas) est comparé avec le classement C2 obtenu par le modèle communautaire.

Pour comparer les classements C1 et C2 obtenus pour une famille de stratégies nous utilisons le coefficient de Spearman qui est une mesure de similarité *simi*(C1, C2) dont nous rappelons la définition et les propriétés. À chaque stratégie pour une simulation est associé un numéro d'ordre correspondant à son classement : la première a le numéro 1, la seconde le numéro 2, etc. Quand il y a des ex-aequo nous utilisons des numéros non entiers sur le principe suivant. Si deux stratégies sont arrivées par exemple ex-aequo en deuxième position, elles obtiennent toutes les deux le numéro d'ordre 2,5 (la moyenne entre 2 et 3), si trois stratégies sont arrivées ex-aequo en cinquième position elles obtiennent toutes les trois le numéro d'ordre 6 (la moyenne entre 5, 6, 7), etc. Pour une stratégie s prise dans une famille de *n* stratégies F nous notons *rangeI*(S) et *rangeU*(S)
le rang de S pour le classement final produit par la simulation individualiste et par la simulation communautaire. Le coefficient de Spearman dans un tel cas se calcule par la formule :

$$simi = 1 - 6\sum_{S \in F} \frac{(rangeI(S) - rangeU(S))^2}{(n^3 - n)}$$

Ce coefficient vaut :

* (+1) si les deux classements comparés sont identiques,

* (-1) s'ils sont les plus différents possible (par exemple ordre (1, 2, ..., $n-1$, $n$) et ordre ($n$, $n-1$, ..., 2, 1)).

* 0 en moyenne entre des ordres choisis au hasard.

On peut modifier ce coefficient en écrivant $simi' = 50(simi + 1)$ de façon avoir une valeur entre 0 et 100 assimilable à un pourcentage. $Simi'$ donne donc :

* 100 pour deux ordres identiques,

* 0 pour deux ordres très différents,

* 50 en moyenne.

Nous avons préféré le calcul de $simi'$ plus clair de notre point de vue, mais c'est sans importance puisqu'on passe de $simi$ à $simi'$ par une relation simple qui s'inverse en $simi = simi' / 50 - 1$. Pour avoir une idée précise de ce que donne $simi'$ voici quelques exemples :

$$simi'([1, 2, 3, 4], [2, 1, 4, 3]) = 80 \%$$

$$simi'([1, 2, 3, 4, 5, 6, 7], [2, 1, 3, 5, 6, 7, 4])) = 87,5 \%$$

$$simi'([1, 2, 3, 4, 5, 6, 7], [1, 2, 3, 4, 6, 7, 5])) = 94,6 \%$$

$$simi'([1, 2, 3, 4, 5, 6, 7], [4, 6, 7, 5, 1, 2, 3])) = 19,6 \%$$

Le calcul massif que nous avons opéré en menant 56 000 comparaisons de classements est résumé dans la table 5.1. Il indique en prenant 1 000 familles par case les moyennes des coefficients de similarités $simi'$ en pourcentage. La première case de la première ligne indique la moyenne des coefficients de similarité des classements pour les simulations individualistes et communautaires pour 1 000 familles de 4 stratégies prises aléatoirement dans *bag20*. Etc.

On note que les classements produits par les deux types de simulation évolu-
tionnaires sont en général proches ($simi'$ dépassant toujours 80 %) sans toutefois être
identiques. La similarité entre les classements est sensiblement meilleure pour les deux
premières lignes qui correspondent à des ensembles de stratégies jugées intéressantes
par leur simplicité ou repérées pour leurs bonnes performances. Cet écart entre les deux
premières lignes du tableau et les trois lignes *Mem11 Mem12 Mem21* signifie que prendre
des stratégies vraiment quelconques et au hasard même quand elles ne correspondent à
aucune idée stratégique identifiable (c'est ce qu'on fait quand on considère les classes
complètes *Mem11, Mem12, Mem21*) crée un désordre supérieur dans les classements.
Être ou ne pas être individualiste, quelles conséquences ?

<table><caption>TABLE 5.1 – Similarité des classements produits par les modèles individualistes et communautaires</caption><thead><tr><th>k</th><th>4</th><th>5</th><th>6</th><th>7</th><th>8</th><th>9</th><th>10</th><th>Avg</th></tr></thead><tbody><tr><td>bag20</td><td>85,7</td><td>87,9</td><td>90,1</td><td>91,8</td><td>93,2</td><td>94,1</td><td>95,0</td><td>91,1</td></tr><tr><td>bag25</td><td>83,4</td><td>87,1</td><td>88,8</td><td>90,9</td><td>91,5</td><td>93,1</td><td>94,0</td><td>89,8</td></tr><tr><td>Mem11</td><td>85,9</td><td>84,6</td><td>84,3</td><td>84,4</td><td>83,9</td><td>83,2</td><td>83,3</td><td>84,2</td></tr><tr><td>Mem12</td><td>83,2</td><td>83,8</td><td>82,9</td><td>83,2</td><td>82,2</td><td>82,6</td><td>81,9</td><td>82,8</td></tr><tr><td>Mem21</td><td>85,6</td><td>85,1</td><td>84,2</td><td>83,8</td><td>84,2</td><td>83,8</td><td>83,8</td><td>84,4</td></tr><tr><td>Mem11+</td><td>96,7</td><td>96,6</td><td>96,5</td><td>96,7</td><td>96,9</td><td>97,0</td><td>97,1</td><td>96,8</td></tr><tr><td>Mem12+</td><td>96,6</td><td>96,4</td><td>96,2</td><td>95,8</td><td>95,8</td><td>95,5</td><td>95,2</td><td>95,9</td></tr><tr><td>Mem21+</td><td>96,8</td><td>96,9</td><td>96,8</td><td>96,7</td><td>96,2</td><td>96,0</td><td>96,1</td><td>96,5</td></tr><tr><td>Moy</td><td>89,2</td><td>89,8</td><td>90,0</td><td>90,4</td><td>90,5</td><td>90,7</td><td>90,8</td><td>90,2</td></tr></tbody></table>

Les trois dernières lignes obtenues comme précédemment en ajoutant systématiquement les trois stratégies *tft*, *spiteful* et *gradual* à tout les sous ensembles choisis donnent des résultats supérieurs aux trois lignes précédentes. Cela signifie que non seulement la présence de ces stratégies dans un ensemble de stratégies agit comme un catalyseur de coopération ce que nous avons noté à la section 3.4, mais qu'en plus cela agit comme un facteur stabilisant l'ordre entre la simulation évolutionnaire individualiste et la simulation évolutionnaire communautaire.

Dans les deux premières lignes, on note aussi que la stabilité des classements augmente quand k augmente : pour des stratégies dans *bag20* et *bag25* plus la taille des sous-ensembles qu'on considère est grande plus proches sont les classements des deux méthodes de simulation. La conclusion générale qu'on tire de ce tableau est que lorsqu'on considère des ensembles de stratégies prises au hasard (donc sans que celles aux performances médiocres soient retirées) les simulations évolutionnaires individualistes et communautaires donnent des classements différents mais proches. Lorsqu'on prend des sous-ensembles un peu moins quelconques (parce que composés d'un minimum de stratégies repérées comme performantes) alors les différences entre les deux modèles évolutionnaires sont encore atténuées.

On peut interpréter ce résultat comme signifiant que l'évolution vers des ensembles de stratégies nettoyés des stratégies inefficaces diminue l'écart entre les processus de sélections individualistes et communautaires ou encore que la présence dans une famille de stratégies robustes et performantes tend à rapprocher les classements des simulations individualistes et communautaires. Une dernière comparaison confirme cette conclusion. En prenant 1 000 sous-ensembles de 4 stratégies au hasard (puis 5, 6, 7, 8, 9, 10) dans *bag20* puis dans *bag25* et en comptant le nombre de fois qu'une stratégie se trouve gagnante à l'issue d'une simulation évolutionnaire individualiste
ou communautaire nous avons obtenu deux classements qui synthétisent les 7 000 classements effectués. Il donne :

<table><caption>TABLE 5.2 – Comparaison des premières places obtenues pour 1 000 expériences de paquets de 4 à 10 stratégies prises au hasard dans bag20</caption><thead><tr><th colspan="2">Individualiste</th><th colspan="2">Communautaire</th></tr><tr><th>nom</th><th>rang</th><th>nom</th><th>rang</th></tr></thead><tbody><tr><td>spitefulCC</td><td>1 879</td><td>spitefulCC</td><td>1 907</td></tr><tr><td>gradual</td><td>1 492</td><td>gradual</td><td>1 796</td></tr><tr><td>TftSpiteful</td><td>1 098</td><td>TftSpiteful</td><td>1 187</td></tr><tr><td>tf2t</td><td>761</td><td>Winner12</td><td>1 137</td></tr><tr><td>Winner12</td><td>726</td><td>tf2t</td><td>1 120</td></tr><tr><td>hardtft</td><td>702</td><td>hardtft</td><td>1 060</td></tr><tr><td>slowtft</td><td>697</td><td>slowtft</td><td>794</td></tr><tr><td>tft</td><td>595</td><td>spiteful</td><td>664</td></tr><tr><td>spiteful</td><td>567</td><td>tft</td><td>528</td></tr><tr><td>softmajo</td><td>428</td><td>allC</td><td>500</td></tr><tr><td>Winner21</td><td>313</td><td>softmajo</td><td>427</td></tr><tr><td>allC</td><td>273</td><td>hardmajo</td><td>297</td></tr><tr><td>pavlov</td><td>126</td><td>pavlov</td><td>202</td></tr><tr><td>per_CD</td><td>29</td><td>mistrust</td><td>166</td></tr><tr><td>allD</td><td>16</td><td>per_CD</td><td>163</td></tr><tr><td>per_CCD</td><td>14</td><td>Winner21</td><td>129</td></tr><tr><td>per_DDC</td><td>12</td><td>per_CCD</td><td>117</td></tr><tr><td>mistrust</td><td>4</td><td>allD</td><td>100</td></tr><tr><td>hardmajo</td><td>1</td><td>prober</td><td>43</td></tr><tr><td>prober</td><td>0</td><td>per_DDC</td><td>20</td></tr></tbody></table>

Le calcul de simi' pour les deux classements donne 95,5 %. On remarque que même si les classements sont très proches, les scores des dernières stratégies pour la simulation individualiste sont plus faibles que ceux des dernières stratégies pour la simulation communautaire. Cela correspond à l'idée que la simulation individualiste a plus tendance à éliminer des stratégies et en particulier laisse peu de chances aux stratégies agressives. On le voit aussi en notant que hardmajo, mistrust, prober, per_DDC (qui sont agressives) sont moins bien classées dans la première colonne que dans la seconde. La simulation communautaire défavorise moins les stratégies agressives que la simulation individualiste.
Être ou ne pas être individualiste, quelles conséquences ?

<table><caption>TABLE 5.3 – Comparaison des premières places obtenues par 1 000 expériences de paquets de 4 à 10 stratégies prises au hasard dans bag25</caption><thead><tr><th colspan="2">Individualiste</th><th colspan="2">Communautaire</th></tr><tr><th>nom</th><th>rang</th><th>nom</th><th>rang</th></tr></thead><tbody><tr><td>gradual</td><td>1 164</td><td>spitefulCC</td><td>1 354</td></tr><tr><td>spitefulCC</td><td>1 159</td><td>gradual</td><td>1 302</td></tr><tr><td>TftSpiteful</td><td>680</td><td>Winner12</td><td>887</td></tr><tr><td>hardtft</td><td>576</td><td>TftSpiteful</td><td>883</td></tr><tr><td>tf2t</td><td>572</td><td>tf2t</td><td>853</td></tr><tr><td>Winner12</td><td>567</td><td>hardtft</td><td>848</td></tr><tr><td>tft</td><td>484</td><td>slowtft</td><td>655</td></tr><tr><td>spiteful</td><td>480</td><td>spiteful</td><td>627</td></tr><tr><td>softmajo</td><td>473</td><td>probaC_1.0_0.3_0.7_0.0</td><td>601</td></tr><tr><td>slowtft</td><td>452</td><td>tft</td><td>485</td></tr><tr><td>probaC_1.0_0.3_0.7_0.0</td><td>430</td><td>allC</td><td>454</td></tr><tr><td>Winner21</td><td>363</td><td>softmajo</td><td>408</td></tr><tr><td>allC</td><td>318</td><td>hardmajo</td><td>285</td></tr><tr><td>pavlov</td><td>197</td><td>pavlov</td><td>240</td></tr><tr><td>probaC_0.9_0.5_0.5_0.3</td><td>45</td><td>mistrust</td><td>203</td></tr><tr><td>allD</td><td>26</td><td>per_CD</td><td>202</td></tr><tr><td>probaC_0.9_0.7_0.2_0.1</td><td>26</td><td>Winner21</td><td>201</td></tr><tr><td>per_CD</td><td>22</td><td>per_CCD</td><td>137</td></tr><tr><td>per_DDC</td><td>16</td><td>allD</td><td>113</td></tr><tr><td>per_CCD</td><td>12</td><td>probaC_0.8_0.1_0.6_0.0</td><td>64</td></tr><tr><td>probaC_0.8_0.1_0.6_0.0</td><td>7</td><td>prober</td><td>53</td></tr><tr><td>probaC_0.8_0.1_0.7_0.0</td><td>6</td><td>probaC_0.9_0.7_0.2_0.1</td><td>46</td></tr><tr><td>mistrust</td><td>4</td><td>probaC_0.9_0.5_0.5_0.3</td><td>41</td></tr><tr><td>hardmajo</td><td>4</td><td>probaC_0.8_0.1_0.7_0.0</td><td>40</td></tr><tr><td>prober</td><td>1</td><td>per_DDC</td><td>36</td></tr></tbody></table>

Dans la table 5.3 le calcul de simi' pour les deux classements avec bag25 donne 91,84 %.

## 6. CONCLUSION

Les simulations évolutionnaires déterministes individualistes (où chaque individu rencontre tous les individus, même ceux jouant la même stratégie que lui) et les simulations déterministes évolutionnaires communautaires (où les individus ne rencontrent
pas les individus jouant la même stratégie qu'eux-mêmes) donnent des résultats finaux dépendant faiblement du coefficient de résilience (qui mesure la persistance plus ou moins prolongée des générations précédentes). L'utilisation d'un coefficient de résilience fort n'a principalement qu'un effet de retardement de l'évolution.

Les dynamiques engendrées par les deux modèles sont sensiblement différentes. Il y a très fréquemment convergence vers la coopération généralisée pour les simulations évolutionnaires individualistes et nettement moins souvent pour les simulations communautaires. Le modèle individualiste est en quelque sorte intransigeant : les individus qui persistent à avoir une attitude agressive n'ont, dans la majorité des cas, pas leur place dans l'état final stabilisé. Le modèle communautaire permet lui plus facilement la mise en place d'états stabilisés où les groupes qui s'opposent ont les uns contre les autres des attitudes non totalement pacifiées. Le modèle communautaire apparaît donc plus proche à la fois dans sa définition et pour les états stables qu'il induit de la réalité du monde biologique où la persistance indéfinie de comportements agressifs des diverses espèces (identifiables à nos communautés) semble la règle. Cette observation peut sembler paradoxale puisque l'individualisme conduit avec une sévérité extrême à l'élimination de ceux qui n'acceptent pas de renoncer aux comportements agressifs. On peut au contraire la trouver naturelle : l'existence de communautés permet à des dynamiques plus subtiles de se mettre en place autorisant la survie d'une variété plus grande de comportements et des équilibres plus complexes comme on les observe dans la nature.

Avec le modèle communautaire, l'existence très fréquente d'attracteurs est inattendue. Il y a comme un équilibre prédéterminé entre les différentes communautés de stratégies, et quels que soient les effectifs initiaux (ou en tout cas pour un large ensemble de distributions de départ) l'arène évolue vers cet équilibre prédéterminé. Cette observation est importante et avec la première observation sur la fréquence de la convergence vers la coopération généralisée, elle renforce l'idée que le modèle communautaire devrait être pris plus au sérieux qu'il ne l'a été jusqu'à présent. Les états stables vers lesquels tendent les simulations communautaires se reconstituent quand une force (aléatoire ou autre) les en écarte. Ces états stables sont donc bien plus résistants et robustes aux perturbations que ceux atteints par les simulations individualistes qui eux peuvent dériver si on les soumet à des perturbations mêmes légères.

Les observations du dernier paragraphe sur les écarts de classements obtenus pas les deux méthodes sont eux-aussi assez surprenants : bien que les deux types de simulations fonctionnent sur des principes éloignés – individualisme vs solidarité communautaire – la proximité des classements auxquels ils aboutissent signifie que les stratégies performantes dans l'un des modèles le sont en général pour l'autre. Les classements synthétiques qui sont produits par les deux méthodes pour les ensembles de stratégies envisagées sont conformes à ceux obtenus dans [21] où des méthodes de calculs massifs différentes avaient été mises en œuvre. Cela assure autant que c'est possible que les stratégies repérées performantes le sont effectivement quels que soient les méthodes de classement utilisées.
# ANNEXE

Liste des 20 strategies qui constituent bag20.

(1) all_c : Je coopère toujours.

(2) all_d : Je trahis toujours.

(3) tit_for_tat : Je coopère au premier coup, puis, au nième coup, je joue ce que mon adversaire a joué au coup $n - 1$.

(4) spiteful : Je commence par coopérer, puis tant que mon adversaire a coopéré, mais dès qu'il trahit, je trahis toujours.

(5) soft_majo : Je commence par coopérer, puis, tant que mon adversaire a coopéré plus ou autant qu'il n'a trahit, je coopère ; sinon je trahis.

(6) hard_majo : Je commence par trahir, puis, tant que mon adversaire a trahi plus ou autant qu'il n'a coopéré ; sinon je coopère.

(7) per_ddc : Je joue d, d, c, d, d, c, ...

(8) per_ccd : Je joue c, c, d, c, c, d, ...

(9) mistrust : Je commence par trahir, puis, au nième coup, je joue ce que mon adversaire a joué au coup $n - 1$.

(10) per_cd : Je joue c, d, c, d, c, d, ...

(11) pavlov : Je commence par coopérer puis je coopère toujours sauf si nos deux coups ont été différents au coup précédent.

(12) tf2t : Je coopère aux deux premiers coups, puis je coopère toujours au coup $n$ sauf si mon adversaire a trahi aux coups $n - 1$ and $n - 2$.

(13) hard_tft : Je coopère les deux premiers coups, puis je coopère toujours sauf si mon adversaire a trahi au coup $n - 1$ ou au coup $n - 2$.

(14) slow_tft : Je coopère aux deux premiers coups, puis je trahis quand mon adversaire a trahi deux fois consécutivement. Je ne reviens à la coopération que s'il a coopéré deux fois successivement.

(15) gradual : Je coopère au premier coup. Après chaque trahison de mon adversaire, je compte le nombre $n$ de trahisons qu'il a effectué depuis le début, et je le trahis $n$ fois consécutivement. Je termine en coopérant deux fois.

(16) prober : Je commence en jouant defect-cooperate-cooperate (d c d) aux coups 1 à 3, puis, si mon adversaire n'a pas trahi aux coups 2 et 3, je trahis toujours ; sinon je joue comme tit_for_tat.

(17) winner12 (La stratégie gagnante dans l'ensemble Mem(1,2)); Je coopère aux deux premiers coups, puis je joue selon la table suivante : [c cc]->c [c cd]->d [c dc]->c [c dd]->d [d cc]->d [d cd]->c [d dc]->d [d dd]->d.

(18) winner21 (La stratégie gagnante dans l'ensemble Mem(2,1)); Au deux premiers coups je joue d c puis je joue selon la table : [cc c]-> c [cc d]->d [cd c]->c [cd d]->d [dc c]->c [dc d]->d [dd c]->d [dd d]->d.

(19) tft_spiteful : Je joue tit_for_tat, sauf si mon adversaire a trahi deux fois consécutivement. Dans ce cas je trahis pour toujours.

(20) spiteful_cc : Je coopère les deux premiers coups, puis je joue spiteful.
Liste des 5 stratégies qui constituent Dyson.

(1) Proba('C',1.0,0.3,0.7,0.0). Je coopère, puis dans les cas où le dernier coup joué était [c c], [c d], [d c] or [d d] je coopère respectivement à 100 %, 30 %, 70 % 0 %, ou alors je trahis.

(2) Proba('C',0.9,0.7,0.2,0.1) qui est un Equalizer.

(3) Proba('C',0.9,0.5,0.5,0.3) qui est un Equalizer.

(4) Proba('C',0.8,0.1,0.6,0.0) qui est un Extorquer.

(5) Proba('C',0.85,0.075,0.7,0) qui est un Extorquer.

BIBLIOGRAPHIE

[1] C. ADAMI & A. HINTZE, « Evolutionary instability of zero-determinant strategies demonstrates that winning is not everything », *Nature communications* **4** (2013), article no. 2193.

[2] E. AKIN, « The iterated prisoner's dilemma: good strategies and their dynamics », *Ergodic Theory, Advances in Dynamical Systems* (2016), p. 77-107.

[3] R. AXELROD, *The evolution of cooperation : revised edition*, Basic books, 1984, 2006.

[4] —, *The complexity of cooperation : Agent-based models of competition and collaboration*, vol. 3, Princeton University Press, 1997.

[5] R. AXELROD & W. D. HAMILTON, « The evolution of cooperation », *science* **211** (1981), n°4489, p. 1390-1396.

[6] B. BEAUFILS, J.-P. DELAHAYE & P. MATHIEU, « Our Meeting with Gradual, A Good Strategy for the Iterated Prisoner's Dilemma », in *Proceedings of the Fifth International Workshop on the Synthesis and Simulation of Living Systems (ALIFE'5)*, The MIT Press/Bradford Books, 1996, p. 202-209.

[7] ——, « Complete Classes of Strategies for the Classical Iterated Prisoner's Dilemma », in *Evolutionary Programming VII (EP'7)*, Lecture Notes in Computer Science, vol. 1447, Springer, 1998, p. 33-41.

[8] J. BENDOR & P. SWISTAK, « Types of evolutionary stability and the problem of cooperation », *Proceedings of the National Academy of Sciences* **92** (1995), n° 8, p. 3596-3600.

[9] ——, « The evolutionary stability of cooperation », *American Political Science Review* **91** (1997), n° 2, p. 290-307.

[10] J.-P. DELAHAYE & P. MATHIEU, « Random strategies in a two levels iterated prisoner's dilemma: How to avoid conflicts », in *Proceedings of the ECAI*, vol. 96, 1996, p. 68-72.

[11] ——, « Que valent les stratégies probabilistes au dilemme itéré des prisonniers? », in *Journées Francophones sur les Systèmes Multi-Agents (JFSMA 2017)*, Cépaduès, 2017, p. 41-51.

[12] J. A. FLETCHER & M. ZWICK, « Unifying the theories of inclusive fitness and reciprocal altruism », *The American Naturalist* **168** (2006), n° 2, p. 252-262.

[13] N. E. GLYNATSI & V. A. KNIGHT, « A meta analysis of tournaments and an evaluation of performance in the Iterated Prisoner's Dilemma », https://arxiv.org/abs/2001.05911, 2020.

[14] C. HILBE, T. RÖHL & M. MILINSKI, « Extortion subdues human players but is finally punished in the prisoner's dilemma », *Nature communications* **5** (2014), n° 1, p. 1-6.

[15] C. HILBE, A. TRAULSEN & K. SIGMUND, « Partners or rivals? Strategies for the IPD », *Games and economic behavior* **92** (2015), p. 41-52.

[16] L. R. IZQUIERDO, S. S. IZQUIERDO & J. G. POLHILL, « EVO-2 × 2: a Modelling Framework to Study the Evolution of Strategies in 2 × 2 Symmetric Games under Various Competing Assumptions », 2006.

[17] G. KENDALL, X. YAO & S. Y. CHONG, *The Iterated Prisoners' Dilemma: 20 Years on*, World Scientific Publishing Co., Inc., 2007.

[18] V. KNIGHT, M. HARPER, N. E. GLYNATSI & O. CAMPBELL, « Evolution reinforces cooperation with the emergence of self-recognition mechanisms: An empirical study of strategies in the Moran process for the iterated prisoner's dilemma », *PloS one* **13** (2018), n° 10, p. e0204981.

[19] J. LIU, Y. LI, C. XU & P. HUI, « Evolutionary behavior of generalized zero-determinant strategies in IPD », *Physica A: Statistical Mechanics and its Applications* **430** (2015), p. 81-92.
[20] P. MATHIEU, B. BEAUFILS & J.-P. DELAHAYE, « Studies on Dynamics in the Classical Iterated Prisoner's Dilemma with Few Strategies: Is There Any Chaos in the Pure Dilemma? », in *Proceedings of the 4th european conference on Artificial Evolution (AE'99)*, Lecture Notes in Computer Science, vol. 1829, Springer, 1999, p. 177-190.

[21] P. MATHIEU & J.-P. DELAHAYE, « Winning Strategies for the Iterated Prisoner's Dilemma », in *Proceedings of the 2015 International Conference on Autonomous Agents and Multiagent Systems (AAMAS)*, International Foundation for Autonomous Agents and Multiagent Systems, 2015, p. 1665-1666.

[22] ——, « New Winning Strategies for the Iterated Prisoner's Dilemma », *J. Artif. Soc. Soc. Simul.* **20** (2017), n°4, https://www.jasss.org/20/4/12/12.pdf.

[23] ——, « Experimental criteria to identify efficient probabilistic memory-one strategies for the iterated prisoner's dilemma », *Simulation Modelling Practice and Theory* **97** (2019), article no. 101946.

[24] M. MILINSKI, C. HILBE, D. SEMMANN, R. SOMMERFELD & J. MAROTZKE, « Humans choose representatives who enforce cooperation in social dilemmas through extortion », *Nature communications* **7** (2016), n° 1, article no. 10915 (9 pages).

[25] M. NOWAK & K. SIGMUND, « Chaos and the evolution of cooperation », *Proceedings of the National Academy of Sciences* **90** (1993), n° 11, p. 5091-5094.

[26] ——, « A strategy of win-stay, lose-shift that outperforms tit-for-tat in the Prisoner's Dilemma game », *Nature* **364** (1993), n° 6432, p. 56-58.

[27] M. A. NOWAK, *Evolutionary dynamics: exploring the equations of life*, Harvard university press, 2006.

[28] B. O'CONNOR, « The social evolution of human cooperation via group competition and conflict », Honors Thesis, 2006, https://citeseerx.ist.psu.edu/doc_view/pid/ce49f0095cc531f023f68d524f6ddde02ffc516f.

[29] T. PLATKOWSKI, « Cooperation in two-person evolutionary games with complex personality profiles », *Journal of theoretical biology* **266** (2010), n° 4, p. 522-528.

[30] W. H. PRESS & F. J. DYSON, « Iterated Prisoner's Dilemma contains strategies that dominate any evolutionary opponent », *Proceedings of the National Academy of Sciences* **109** (2012), n° 26, p. 10409-10413.

[31] K. SIGMUND, *The calculus of selfishness*, Princeton University Press, 2016.

[32] A. J. STEWART & J. B. PLOTKIN, « From extortion to generosity, evolution in the iterated prisoner's dilemma », *Proceedings of the National Academy of Sciences* **110** (2013), n° 38, p. 15348-15353.

[33] A. SZOLNOKI & M. PERC, « Evolution of extortion in structured populations », *Physical Review E* **89** (2014), n° 2, article no. 022804 (5 pages).

[34] J. WU & R. AXELROD, « How to cope with noise in the iterated prisoner's dilemma », *Journal of Conflict resolution* **39** (1995), n° 1, p. 183-189.

**ABSTRACT.** — To compare sets of strategies, there are a large number of different methods. Among these, evolutionary models offer a relevance and remarkable robustness. We study in this article two of the simplest and most advanced evolutionary models: the individualistic model in which an individual meets himself with everyone else and the community model in which an individual does not meet members of his own family. With the help of simulations using complete classes of strategies, we highlight two typical evolutions. For the individualistic model, we observe with great frequency a convergence towards a state of widespread cooperation. For the community model, for which we defend relevance, we highlight a convergence phenomenon towards a unique attractor and independent of the initial distribution of population. Statistical results on the frequency of these attractors are calculated and analyzed.

**KEYWORDS.** — Game Theory, Iterated prisoner's Dilemma, Agent's Strategy, Behaviour.