# Transmission de connaissances et sélection

Yasser Bourahla, Manuel Atencia, Jérôme Euzenat

► To cite this version:

Yasser Bourahla, Manuel Atencia, Jérôme Euzenat. Transmission de connaissances et sélection. JF-SMA 2022 - 30e journées francophones sur Systèmes multi-agent, Jun 2022, Saint-Étienne, France. pp.63-72. hal-03905182v2

HAL Id: hal-03905182

https://hal.science/hal-03905182v2

Submitted on 17 Dec 2022

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Transmission de connaissances et sélection

Y. Bourahla<sup>a</sup>

M. Atencia<sup>b</sup>

J. Euzenat<sup>a</sup>

Yasser.Bourahla@inria.fr

atencia@lcc.uma.es

Jerome.Euzenat@inria.fr

## Résumé

Les agents peuvent être utilisés pour simuler l'évolution culturelle et l'évolution culturelle peut être utilisée comme modèle pour les agents artificiels. Des expériences ont montré que la transmission intragénérationnelle des connaissances permet aux agents d'en améliorer la qualité. De plus, sa transmission intergénérationnelle permet de dépasser ce niveau. Ces résultats ont été obtenus dans des conditions particulières : sélection drastique des agents transmettant leurs connaissances, initialisation avec des connaissances correctes ou introduction de bruit lors de la transmission. Afin d'étudier l'impact de ces mesures sur la qualité de la connaissance transmise, nous combinons les paramètres de deux expériences précédentes et relâchons ces conditions. Ce dispositif confirme que la transmission verticale permet d'améliorer la qualité de la connaissance obtenue par transmission horizontale même sans sélection drastique et apprentissage orienté. Il montre également qu'une transmission intragénérationnelle suffisante peut compenser l'absence de sélection parentale.

**Mots-clés** : Simulation sociale multi-agents, Évolution culturelle, Transmission des connaissances, Génération d'agents, Évolution culturelle des connaissances

## Abstract

Agents have been used for simulating cultural evolution and cultural evolution can be used as a model for artificial agents. Previous results have shown that intra-generation knowledge transmission allows agents to improve the quality of their knowledge. Moreover, variation generated through inter-generation transmission allows agents to exceed that level. Such results were obtained under specific conditions such as the drastic selection of agents allowed to transmit their knowledge, seeding the process with correct knowledge or introducing artificial noise during transmission. Here, we question the necessity of such measures and study their impact on the quality of transmitted knowledge. For that

purpose, we combine the settings of two previous experiments and relax these conditions. We confirm through this setting that vertical transmission improves on horizontal transmission even without drastic selection and oriented learning. We also show that sufficient intrageneration transmission can compensate for the absence of parent selection.

**Keywords:** Multi-agent social simulation, Cultural evolution, Knowledge transmission, Agent generation, Cultural knowledge evolution

## 1 Introduction

L'évolution culturelle [12, 19] applique les concepts de l'évolution biologique à la culture d'une société. Ceci a été exploré expérimentalement à l'aide de systèmes multi-agents faisant évoluer le comportement d'une population d'agents [13, 5], leur langage [21] leurs connaissances [14] ou leur culture. L'évolution culturelle repose sur la sélection de variations transmissibles. Différents modes de transmission culturelle, inspirés de l'épidémiologie, ont été identifiés [12, 10] : transmission verticale des parents aux enfants, transmission oblique des agents de la génération précédente (comme l'éducation) à ceux de la génération suivante et transmission horizontale entre les agents de la même génération. Ici, nous utiliserons également le terme transmission intergénérationnelle pour les deux premières et le terme transmission intragénérationnelle pour la dernière.

Dans les systèmes multi-agents où les agents s'adaptent suite à leurs interactions [21], ceci peut être considéré comme une transmission intragénérationnelle. Cette approche s'est avérée efficace pour développer une culture partagée. Récemment, nous avons étudié les agents qui adaptent leurs connaissances sur l'environnement, exprimées sous forme d'ontologies, par le biais d'interactions sociales afin de parvenir à un accord. Nous avons constaté qu'ils amélioraient la précision de leurs ontologies sans nécessité adopter la même ontologie [8]. Ainsi, la

<footnote><sup>a</sup>Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LIG, F-38000 Grenoble, France</footnote>

<footnote><sup>b</sup>Universidad de Málaga, 29071 Málaga, Spain</footnote>
transmission horizontale est capable d'améliorer
les connaissances dans une société d'agents.

La transmission verticale, d'une génération à une autre, peut être considérée comme l'occasion de rebattre les cartes. Elle peut introduire plus de variation ou imposer (sélectionner) une culture dominante. Il convient donc de déterminer les rôles respectifs de la transmission intergénérationnelle et intragénérationnelle.

D'autres travaux ont considéré exactement ceci
et ont montré que la transmission intergéné-
rationnelle permet aux agents d'améliorer leur
connaissance au-delà de ce que la transmission
intragénérationnelle seule permet [13]. En re-
vanche, en désactivant la transmission intergé-
nérationnelle, les agents doivent recommencer à
améliorer leurs connaissances à chaque généra-
tion. Dans un cadre similaire, il a également été
constaté que la transmission intragénérationnelle
engendre de la variation et que la transmission
intergénérationnelle procède à la sélection [1].

Cependant, ces travaux reposent sur de fortes
contraintes pour assurer la transmission fidèle
de connaissances correctes (en utilisant unique-
ment la partie de la population la plus perfor-
mante comme enseignants ou en initialisant les
ontologies des agents à partir d'échantillons cor-
rects) ou pour générer de la variation (en ajoutant
du bruit dans le processus d'apprentissage).

Ici, nous relâchons ces contraintes pour étudier
les effets de la transmission horizontale et verti-
cale de la culture sans sélectionner les agents les
plus performants et sans commencer avec des in-
formations correctes. Pour ce faire, l'opportunité
de se reproduire et de propager ses connaissances
est élargie à l'ensemble de la société d'agents et
les connaissances sont initialisées aléatoirement.
Cela est susceptible de fournir suffisament de va-
riation au système.

Pour tester cela, nous avons conçu un nouveau
cadre expérimental basé sur ces travaux précé-
dents, en faisant varier les modalités de transmis-
sion et les stratégies d'appariement. La transmis-
sion intergénérationnelle s'appuie sur l'ensei-
gnement comme [1] et la transmission intragé-
nérationnelle sur l'interaction comme [8]. Nous
confirmons les résultats des études précédentes
sous des hypothèses relâchées : la transmission
intergénérationnelle augmente la correction des
connaissances obtenues par la transmission in-
tragénérationnelle. De plus, nous montrons que
même si la transmission intergénérationnelle
ne sélectionne pas les parents les plus aptes,

la transmission intragénérationnelle, avec suf-
fisamment de temps, peut compenser cela, c'est-
à-dire que les agents se mettent finalement d'ac-
cord pour sélectionner les éléments de connais-
sance pertinents.

Le reste de l'article est organisé comme suit :
dans la section 2, on présente les travaux
connexes. La section 3 aborde les limites des
systèmes actuels et propose des solutions pour
les surmonter. Leur mise en œuvre effective est
précisément détaillée dans la Section 4. La sec-
tion 5 présente les expériences réalisées et la
section 6 fournit leurs résultats qui sont discutés
dans la section 7.

Cet article est une version abrégée en français de
[9].

2 Travaux connexes

Nous présentons d'abord les travaux relatifs aux agents et à l'évolution culturelle en général avant de considérer plus précisément deux expériences sur lesquelles ce travail est basé.

## 2.1 Agents et évolution culturelle

Les interactions entre agents peuvent servir de
moyen d'adaptation. De nombreuses approches
multi-agents les exploitent, par exemple, pour
améliorer l'interopérabilité [22, 4] ou obser-
ver les comportements émergents [17]. Dans
certains cas, en interagissant les uns avec les
autres, les agents finissent par partager et faire
évoluer une culture particulière, par exemple
des connaissances sur l'environnement, des fa-
çons d'interagir, des normes ou des conven-
tions [20, 15]. Ce phénomène est généralement
étudié en observant une population d'agents qui
interagissent entre eux selon un protocole bien
défini. L'état du système est suivi jusqu'à ce que
les agents atteignent un état stable dans lequel
leur culture ne change plus. Les caractéristiques
de cette culture sont alors évaluées [21].

Ici, nous nous intéressons à l'évolution des
connaissances que les agents utilisent pour se
comporter. L'évolution culturelle a été appliquée
aux connaissances sous la forme d'alignements
d'ontologies [14, 2]. Elle a également été ap-
pliquée aux ontologies [8] dans lesquelles les
agents adaptent leurs définitions de concepts
pour prendre des décisions communes. Dans ce
contexte, les agents apprennent des autres en in-
teragissant avec eux.
Lorsque les agents parviennent à un état stable, ils atteignent un optimum local en ce qui concerne la qualité de leurs connaissances. Pour sortir de cet état, il faut modifier l'environnement ou les agents.

L'évolution de différentes générations d'agents a été envisagée dans les systèmes multi-agents évolutionnaires [11] dans lesquels les agents peuvent se reproduire et mourir. Cela n'a pas été particulièrement étudié sous l'angle de la culture développée par ces agents. Les algorithmes culturels [18] appliquent principalement l'évolution culturelle à des problèmes d'optimisation.

Il a été montré que la transmission de culture permet de découvrir des comportements inaccessibles à l'évolution génétique [16]. La simulation multi-agents de l'évolution culturelle impliquant la transmission intragénérationnelle et intergénérationnelle a été étudiée dans une série d'expériences [13, 5, 1, 3]. En se basant sur les réseaux de neurones pour incarner les connaissances, ils mettent en œuvre la communication de poids de connexion [5], l'apprentissage supervisé (imitation) [13, 1] ou l'instruction directe [3] comme mécanisme de transmission verticale. En utilisant le même mécanisme d'imitation pour la transmission horizontale [1], il a été montré que la transmission de la culture intragénérationnelle fournissait la variation qui permettait au processus évolutif d'être plus efficace que ce qu'il est avec la transmission intergénérationnelle uniquement. Ce travail est cependant basé sur une sélection drastique des enseignants auprès desquels les agents apprennent, tant en transmission oblique qu'horizontale.

Nous discutons plus longuement ci-dessous les travaux développés dans [1] et [8] sur lesquels nous nous appuyons.

## 2.2 Héritage culturel intergénérationnel

Acerbi et Parisi [1] ont conçu une expérience dans laquelle des agents utilisent leurs réseaux de neurones pour naviguer dans un environnement. Lorsqu'un agent s'approche d'une source de nourriture comestible, il reçoit une récompense et lorsqu'il s'approche d'une source de nourriture toxique, il reçoit une pénalité. À la naissance, les agents commencent avec des réseaux de neurones pondérés aléatoirement (W). Dans la première partie de leur vie, les agents apprennent leur comportement par des enseignants de la génération précédente : transmission oblique. Ensuite, ils l'apprennent de ceux

de leur génération qui ont le mieux réussi : transmission horizontale. Un point clé est que, dans les deux cas, ils ne sont enseignés que par les 5% meilleurs agents en termes de récompense accumulée. Les enseignants peuvent ajouter du bruit dans leur comportement afin d'engendrer de la variation.

Les résultats montrent que la transmission oblique seule permet aux agents de s'améliorer (mesuré par les récompenses accumulées) au fil des générations, alors que la transmission horizontale ne le fait pas, car les agents apprennent d'agents novices. Ils montrent également que l'introduction de bruit est essentielle pour accélérer l'amélioration, et que la transmission horizontale peut le fournir.

Dans ces expériences, la sélection des 5% agents les plus performants dans les deux modes de transmission (20% pour [13]) est un biais très fort car il donne peu d'opportunité à la population générale de se reproduire. Cela ne se produit pas dans les sociétés humaines.

## 2.3 Apprentissage social intragénérationnel

Nous avons conçu une expérience dans laquelle des agents vivent dans un environnement peuplé d'objets, identifiés par leurs caractéristiques, pour lesquels ils doivent prendre des décisions [8]. Le but des agents est de se mettre d'accord avec les autres agents sur la décision à prendre. Ils suivent un protocole d'expérimentation en deux étapes (Figure 1, à droite). Premièrement, les agents apprennent à prendre des décisions sur les objets de leur environnement à partir d'un échantillon (S). Le résultat de cette étape est, en particulier, une ontologie simple (O) permettant de classer les objets et de déterminer la décision à prendre. Ensuite, les agents interagissent répétitivement entre eux deux-à-deux. Ils comparent les décisions qu'ils prendraient concernant les objets. Les interactions réussissent lorsque les agents sont d'accord sur la décision à prendre ; elles échouent dans le cas contraire. En cas d'échec, l'un des agents adapte son ontologie afin d'adopter la décision de l'autre sur cet objet.

Les expériences ont montré que les agents sont capables d'atteindre un état dans lequel ils sont toujours d'accord. La qualité de leurs ontologies, mesurée par sa correction<fnref n="1" />, augmente en moyenne, mais pas dans tous les cas, et n'ateint pas nécessairement une correction totale.

<footnote n="1">1. Ici, nous traduisons le terme *accuracy* [8] par correction. Il s'agit d'un degré de correction.</footnote>
<figure><img src="image_2.png" /></figure>

FIGURE 1 – Cadres expérimentaux de [1] (en bas à gauche) et de [8] (en haut à droite). ($W$=poids des réseaux de neurones, $S$=échantillon d'entraînement, $O$=ontologie). Malgré les similitudes structurelles, les mécanismes de transmission des connaissances sont différents : Apprendre et Enseigner sont des apprentissages supervisés, mais la transmission intragénérationnelle (Interagir et Enseigner) est différente.

Enfin, bien que la distance entre les ontologies des agents diminue, ils n'adoptent pas nécessairement avec les mêmes ontologies.

Le critère de réussite des agents est de se mettre d'accord, mais pas nécessairement de prendre la bonne décision. La décision correcte à prendre est inconnue par les agents. Elle n'est considérée que dans deux occasions : (1) initialement, les agents sont formés avec un échantillon correct, mais incomplet ; (2) le choix de l'agent qui adaptera ses connaissances est basé sur les récompenses qu'il a reçues sur un échantillon (différent). Bien que (2) soit légitime, (1) ne l'est pas. Par conséquent, nous le relâchons en utilisant des échantillons étiquetés par des parents ne connaissant pas la décision correcte.

# 3 Vers une approche intégrée de la transmission des connaissances

Nous discutons d'abord les limites des expériences présentées précédemment. Nous proposons ensuite de les combiner d'une manière qui tienne compte de ces limites. Cela permet de formuler nos questions sous forme d'hypothèses.

## 3.1 Limites

Les deux expériences décrites dans les dernières sous-sections ont le mérite de fournir un modèle de transmission culturelle pour les agents et de montrer qu'elle a un effet positif sur leur rendement. Cependant, elles le font avec des modalités qui semblent fortes et peu naturelles :

- restreindre le rôle des enseignants à une partie très limitée de la population (5%, 20%) va à l'encontre de l'idée d'une culture qui se propage;

- commencer par des échantillons corrects ne correspond pas à ce qui se passe dans la vie réelle.

Ces deux modalités tendent à imposer la transmission fidèle d'une culture correcte, alors que les avantages de la transmission verticale sont censés provenir de la variation qu'elle procure. C'est au point que [1] introduit un bruit artificiel dans le modèle afin d'augmenter la variation.

Nous conjecturons qu'une capacité moins restreinte de transmettre des connaissances, à la fois entre les générations et au sein d'une même génération, fournit suffisamment de variation pour améliorer la transmission horizontale.

## 3.2 Combinaison des deux expériences

Pour tester notre conjecture, nous combinons les deux approches de la Figure 1 et relâchons les contraintes imposées. Le cadre résultant, illustré par la Figure 2, est composé de :

- transmission intragénérationnelle mise en œuvre par interaction, comme dans [8];

- transmission intergénérationnelle mise en œuvre par l'apprentissage, comme dans [1]. Une génération d'agents est remplacée par une autre ; les agents se reproduisent de manière différentielle par rapport à une distribution de probabilité et transmettent leurs connaissances à leurs enfants. Cependant, ils le font avec les modalités de [8].

## 3.3 Relaxation des contraintes élitistes

Deux mesures sont prises pour relâcher les deux modalités discutées. D'une part, la possibilité pour les agents d'avoir des enfants sera déterminée soit de manière équiprobable, soit par rapport au revenu des agents (dénotant leur succès). D'autre part, l'ontologie initiale pourra être vide, aléatoire, être une fusion des ontologies des parents ou être apprise comme dans la première étape ci-dessus, à partir d'échantillons fournis par les parents (Figure 2). Ainsi, l'échantillon à partir duquel les enfants apprennent peut être incorrect (parce que les parents n'ont pas une connaissance totalement correcte) et incomplet (parce qu'il ne couvre pas tout l'espace objet).
Enfin, aucun bruit artificiel n'est ajouté au comportement des agents. Comme mentionné ci-dessus, le recrutement “égalitaire” des parents et l'inexactitude des échantillons fournis par les parents sont déjà des sources de variation lors de la transmission verticale.

## 3.4 Hypothèses

Notre objectif est d'étudier principalement deux directions. Premièrement, une fois que les agents ont atteint un accord global, ils n'adaptent plus leurs connaissances. Comme le montre [8], ils peuvent encore s'accorder sur des décisions incorrectes. La transmission intergénérationnelle devrait introduire une variation supplémentaire permettant aux agents de découvrir de nouveaux éléments de connaissance pertinents. En conséquence, comme dans [13, 1], nous faisons l'hypothèse que ($H_1$) la transmission verticale permet aux connaissances des nouvelles générations d'être plus correctes que celles de la génération précédente.

Deuxièmement, selon [8], les agents sont capables d'améliorer l'exactitude de leurs décisions lorsqu'ils adaptent leurs connaissances pour se mettre d'accord. Ceci suggère que la transmission de connaissances intragénérationnelle est capable de sélectionner les éléments de connaissances à préserver. Ainsi, nous faisons l'hypothèse que ($H_2$), l'interaction, utilisée pour la transmission intragénérationnelle, peut compenser l'absence de sélection des parents.

# 4 Cadre expérimental

Afin de tester les deux hypothèses proposées, nous avons conçu un cadre expérimental suivant les principes ci-dessus avec des mécanismes pour que les agents s'apparient, se reproduisent, meurent, et transmettent leurs connaissances à leurs enfants. Nous décrivons ci-dessous le processus général (Section 4.1) et détaillons ce qui diffère des expériences originales :

- Le cycle de vie des agents (Section 4.2),

- Comment les agents sont sélectionnés pour se reproduire (Section 4.3),

- Comment les agents transmettent leurs connaissances à leurs enfants (Section 4.4).

Plusieurs questions peuvent être soulevées sur la façon dont ces modifications affectent les connaissances des agents. Ici, nous nous concentrons sur l'impact de la transmission des connaissances sur leur correction.

<figure><img src="image_3.png" /><figcaption>FIGURE 2 – Combinaison des mécanismes de la figure 1 : la transmission horizontale est réalisée par l'interaction des agents (pendant une période $τ$) ; la transmission verticale (tous les $τ$) utilise des échantillons ($S$) engendrés par les parents à partir desquels les enfants apprendront leurs ontologies ($O$).</figcaption></figure>

## 4.1 Processus global

Nous réutilisons les mêmes environnements et ontologies, procédure d'apprentissage d'ontologie et procédure d'apprentissage social de [8]. Le jeu se déroule avec des objets caractérisés par 4 caractéristiques sur lesquelles une seule décision est valable parmi 6 possibles.

Les expériences sont constituées de périodes divisées en deux parties (Figure 3) :

**reproduction** dans laquelle la génération $i-1$ (la moitié de la population) est supprimée (meurt) et la génération $i$ engendre la génération $i+1$ qui est ajoutée (naît) et acquiert ses connaissances initiales;

**interaction** dans laquelle les agents utilisent leurs ontologies pour se mettre d'accord sur les décisions concernant les objets et les modifier en cas de désaccord.

Ce processus est illustré dans la figure 2 et décrit précisément ci-dessous.

## 4.2 Cycle de vie des agents

Un agent naît au début d'une période et meurt à la fin de la période suivante (il vit pendant 2 périodes). Dans la première période, l'agent est considéré comme un enfant. Dans la seconde période, il est considéré comme un adulte. Entre ces deux périodes, les agents peuvent se reproduire selon les modalités précisées dans la section 4.3.
<figure><img src="image_4.png" /><figcaption>FIGURE 3 – Évolution d'une société au cours de 3 générations d'agents.</figcaption></figure>

Au cours de la première période de leur vie, les agents (enfants) apprennent de leurs parents par le biais d'une transmission de connaissances intergénérationnelle détaillée dans la section 4.4. Durant la deuxième période de leur vie, certains agents deviennent parents et transmettent leurs connaissances à leurs enfants. Ils continuent à interagir avec les autres individus de la société et peuvent adapter leurs connaissances.

À la fin de chaque période, $\frac{X}{2}$ agents de l'ancienne génération meurent et $\frac{X}{2}$ agents naissent. Pour maintenir constant le nombre d'agents dans la population, la population initiale est composée de X agents. La moitié de cette population, considérée comme la génération 0, meurt à la fin de la première période et ne se reproduit pas. La figure 3 montre l'évolution d'une société sur 3 générations.

## 4.3 Stratégies d'appariement

Pour se reproduire, les agents (adultes) se comportent selon la règle suivante : $v = 2$ parents sont sélectionnés aléatoirement suivant une distribution $s$ pour avoir $c = 1$ enfant. La probabilité de se reproduire suit une distribution $s$ qui peut être :

- Maximale (100%) pour les $v$ agents ayant rassemblé le plus de revenus et minimale (0%) pour les autres agents (best),

- Proportionnel au revenu perçu en effectuant leurs tâches (income),

- Équiprobable (random).

La stratégie maximale est introduite pour simuler la sélection forte [1].

## 4.4 Transmission des connaissances

Le processus de transmission passe par deux étapes (Figure 3).

### Transmission verticale initiale
Dans la première étape, chaque agent de la nouvelle génération acquiert des connaissances directement de ses $v$ parents. Ici, nous expérimentons deux types d'ontologies initialement acquises : des ontologies aléatoires (abusivement notées $r = 0$) ou des ontologies apprises des parents en réutilisant la technique de [8]. Plus précisément, $r\%$ de tous les objets ayant des propriétés distinctes (types d'objets) sont sélectionnés aléatoirement. Chaque parent étiquette la moitié de ces objets avec les décisions qu'il prendrait (qui peuvent être incorrectes). Cet ensemble est présenté à l'enfant comme un échantillon d'apprentissage ($S$) à partir duquel il apprend son ontologie.

### Interactions
Une fois cette transmission initiale effectuée, les agents interagissent entre eux en suivant le protocole de [8]. Les interactions sont restreintes de telle sorte que les agents sont initialement biaisés vers plus d'interactions avec leurs parents : à sa $i^{ème}$ itération, chaque agent a une probabilité $P_i$ d'interagir avec un de ses parents choisi aléatoirement. La probabilité de restreindre l'interaction de l'agent dépend de $i$ et du taux de réduction de l'interaction restreinte $\epsilon < 1$ :

$$P_i = \max(0, 1 - i \times \epsilon)$$

Ainsi, le biais est maximal à la première interaction et diminue au fur et à mesure que les interactions augmentent. Cela imite les agents qui élargissent progressivement leurs cercles sociaux. Dans les expériences, nous utilisons $\epsilon = .01$.

# 5 Expériences

Nous réalisons deux expériences pour tester chacune des hypothèses introduites dans la section 3.4. Elles utilisent le même mode opéra-toire, seules quelques variables indépendantes diffèrent. Le tableau 1 résume les valeurs des paramètres considérés dans ces plans d'expérience. Les valeurs de $\tau$ se terminent par 1 afin de calculer les mesures à l'itération $\tau - 1$, c'est-à-dire avant que la population ne soit remplacée. Chaque combinaison de valeurs de paramètres est exécutée 10 fois. Pour chaque expérience, nous mesurons la correction (accuracy) de l'ontologie comme dans [8]. La taille de la population et le nombre d'itérations sont fixés à 40 et 200000 respectivement.
## 5.1 Expérience 1 : Effet de la transmission intergénérationnelle sur la correction des ontologies

La première expérience, vise à évaluer les effets de l'introduction de générations d'agents. Ainsi, nous nous concentrons sur les variables affectant la transmission verticale des connaissances : la proportion d'instances couvertes par l'échantillon d'entraînement et la durée de vie de la population.

En conséquence, nous faisons varier le pourcentage de transmission *r* qui correspond au degré de complétude et d'imperfection du transfert intergénérationnel. Lorsque le pourcentage de transmission est de 0, les agents commencent avec des ontologies aléatoires. Nous faisons également varier la longueur de la période *τ* qui correspond à la demi-vie des agents. Lorsque la période est plus longue que le nombre d'itérations (*τ* > *n*), l'expérience se déroule en une génération (pas de transmission intergénérationnelle).

L'hypothèse $H_1$ peut donc être reformulée comme suit : *L'ajout de la transmission intergénérationnelle entraîne une plus grande correction que la transmission intragénérationnelle seule.*

## 5.2 Expérience 2 : Interaction entre la sélection et la durée d'interaction

Dans cette deuxième expérience, nous testons les politiques moins sélectives. Plus précisément, nous cherchons à savoir si la transmission intragénérationnelle, un mécanisme typique de l'évolution culturelle, peut compenser la réduction ou l'absence de sélection des parents.

Cette expérience se concentre sur (1) la manière dont les parents sont sélectionnés pour la reproduction, et (2) la durée de vie d'une génération, car les agents ont besoin de temps pour se mettre d'accord sur les décisions à adopter. Ainsi, la politique de sélection des parents *s* prend les valeurs *random*, *income* et *best* et la durée de la période *τ* varie comme dans la première expérience. Nous réalisons également l'expérience avec des agents qui n'adaptent pas leurs connaissances après l'interaction (*ht* = *non*), écartant complètement la transmission horizontale.

L'hypothèse $H_2$ peut donc être testée comme suit : *Avec une transmission intragénérationnelle suffisante, la correction obtenue avec ou sans sélection est similaire.*

# 6 Résultats

Dans ce qui suit, les résultats des deux expériences sont présentés.

## 6.1 La transmission entre générations améliore la correction des ontologies

Pour tester l'hypothèse $H_1$, nous comparons la correction (*accuracy*) finale moyenne des expériences avec une seule génération ($\tau = 200001$) aux expériences avec plusieurs générations (de différentes durées de période). La figure 4 montre cette évolution. En effectuant un test ANOVA (analyse de la variance) et un test post-hoc tuckey-hsd, la correction à la fin de l'expérience lorsque la transmission intergénérationnelle se produit à des périodes de longueur 10001 et 20001 est significativement plus élevée que lorsqu'elle ne se produit pas ($p \ll 0,01$). Ainsi, l'hypothèse $H_1$ est acceptée lorsque la période est suffisamment longue ($\tau \ge 10001$). **La transmission intergénérationnelle nécessite de longues périodes d'interaction.** On peut observer, dans les premières itérations de la figure 4, que chaque génération améliore sa correction par rapport à la précédente. En particulier, la correction obtenue à $2\tau$ est strictement supérieure à la correction à $\tau$. Cela confirme que la connaissance des agents avec une transmission verticale est plus correcte qu'avec la transmission horizontale seule. Cependant, lorsque la période d'interaction n'est pas assez longue, les agents n'ont pas le temps de diffuser largement les connaissances pertinentes. La transmission verticale souffre alors de la faible correction des connaissances transmises et la courte période ne permet que de s'en remettre. Ceci explique pourquoi, lorsque la longueur de la période est de 5001, la correction ne s'améliore pas.

**Pourcentage de transmission et durée de la période interagissent.** La figure 5 compare la correction des agents avec ($r \neq 0$) et sans ($r = 0$) transmission verticale initiale, sous différentes durées de période ($\tau = 5001$ et $\tau = 20001$). Lorsque la période est courte ($\tau = 5001$), un pourcentage de transmission plus élevé ($r = .8$) donne de meilleurs résultats qu'un pourcentage de transmission faible. Au contraire, avec une période longue ($\tau = 20001$), les meilleurs résultats sont obtenus sans transmission verticale initiale ($r = 0$), ceux avec transmission verticale initiale étant très proches les uns des autres.

Ceci s'explique par la capacité de la transmission intragénérationnelle à diffuser des connaissances
<table><caption>TABLE 1 – Variables indépendantes et valeurs expérimentales.</caption><thead><tr><th>Signification</th><th>Variable</th><th>Expérience 1</th><th>Expérience 2</th></tr></thead><tbody><tr><td>Durée de la période</td><td>τ</td><td>5001, 10001, 20001, 200001</td><td>5001, 10001, 20001</td></tr><tr><td>Pourcentage de transmission</td><td>r</td><td>0 = random, 20, 40, 60, 80, 100</td><td>40</td></tr><tr><td>Sélection des parents</td><td>s</td><td>random</td><td>income, random, best</td></tr><tr><td>Transmission horizontale</td><td>ht</td><td>oui</td><td>oui, non</td></tr></tbody></table>

<figure><img src="image_5.png" /><figcaption>FIGURE 4 – Correction moyenne (sur *r*) par longueur de période ($\tau$).</figcaption></figure>

plus correctes à l'ensemble de la population. Ces connaissances ont une chance d'être transmises même avec un faible *r* et même en l'absence de transmission verticale initiale (*r* = 0) car elles peuvent être transmises par interaction. Dans ce cas, un faible *r* fournit la variation permettant d'augmenter encore la correction. Au contraire, si la transmission intragénérationnelle est insuffisante ($\tau$ court), une transmission initiale plus fidèle (*r* ≥ 0.8) est nécessaire pour préserver la correction. Ceci montre le délicat équilibre à trouver entre *r* et $\tau$ pour assurer l'amélioration des connaissances.

## 6.2 La transmission intragénérationnelle peut compenser l'absence de sélection

Pour tester l'Hypothèse $H_2$, nous montrons d'abord que la sélection des parents sans transmission intragénérationnelle améliore effective-ment la correction des connaissances. Ensuite, nous montrons que cet effet n'existe pas avec la transmission intragénérationnelle. Le tableau 2 résume ces résultats. Les résultats présentés ci-dessous sont ceux avec $\tau$ = 20001, les mêmes résultats sont obtenus avec 5001 et 10001 (20001 étant le cas le moins favorable).

**La sélection est efficace.** La figure 6 montre en pointillés l'évolution de la correction avec uniquement la transmission intergénérationnelle comparant les politiques de sélection maximale

<table><caption>TABLE 2 – Amélioration de la correction en fonction de la sélection (*s*) et de la transmission horizontale (*ht*). En l'absence de transmission horizontale (*ht* = *non*), la sélection maximale et la sélection basée sur le revenu améliorent la correction finale ; avec la transmission horizontale (*ht* = *oui*), toutes les stratégies fournissent une amélioration plus élevée.</caption><thead><tr><th>ht \ s</th><th>random</th><th>income</th><th>best</th></tr></thead><tbody><tr><td>no</td><td>aucun</td><td>moyen</td><td>moyen</td></tr><tr><td>yes</td><td>élevé</td><td>élevé</td><td>élevé</td></tr></tbody></table>

(*best*), basée sur le revenu (*income*) et équitable (*random*). En l'absence de transmission intragénérationnelle, le fait d'avoir des parents aléatoires n'améliore pas la correction au fil des périodes, bien que la sélection des parents l'améliore. Le test ANOVA sur la correction finale des trois méthodes de sélection donne une différence significative (*p* ≪ 0,01).

**La transmission intragénérationnelle comprend l'absence de sélection.** La figure 6 montre que l'évolution de la correction lorsqu'il y a une transmission intragénérationnelle (lignes continues), est significativement plus élevée que lorsqu'elle n'est pas présente (lignes pointillées). De plus, contrairement à la transmission intergénérationnelle, lorsque la transmission intragénérationnelle est présente, la façon dont les parents sont sélectionnés a peu d'impact sur la correction finale. En présence de transmission intragénérationnelle (*ht* = *oui*), ANOVA ne retourne pas de différence significative entre les trois méthodes de sélection des parents (*p* = 0.34). Dans ce cas, la table 3 montre que la différence entre l'absence de sélection (*random*) et les politiques de sélection maximale et basée sur le revenu est proche de 0, bien qu'elle soit significativement plus importante sans transmission intragénérationnelle. Ainsi, nous acceptons l'hypothèse $H_2$: la transmission intragénérationnelle comprend l'absence de sélection.
<figure><img src="image_6.png" /><figcaption>FIGURE 5 – Correction moyenne avec (rouge et marron) ou sans (bleu) transmission verticale initiale.</figcaption></figure>

<figure><img src="image_7.png" /></figure>

<table><caption>TABLE 3 – Intervalles de confiance à 95% de la différence moyenne entre la sélection équitable et les autres méthodes de sélection avec (ht = oui) et sans (ht = non) transmission intragénérationnelle.</caption><thead><tr><th>ht \ s</th><th>income</th><th>best</th></tr></thead><tbody><tr><td>non</td><td>-0.115(35)</td><td>-0.165(35)</td></tr><tr><td>oui</td><td>-0.01(4)</td><td>0.005(35)</td></tr></tbody></table>

<figure><img src="image_8.png" /><figcaption>FIGURE 6 – Correction moyenne par mode de sélection avec (ligne continue) et sans (ligne discontinue) transmission horizontale.</figcaption></figure>

# 7 Discussion

Ces résultats peuvent être lus comme une confirmation, en utilisant un cadre expérimental différent et des contraintes plus souples, des résultats de [1] sur l'efficacité de la transmission verticale pour améliorer la connaissance des agents. Ils peuvent également être considérés comme une réfutation de l'idée qu'une forte sélection des parents soit un facteur important pour observer de tels effets. En effet, plus une culture est partagée dans une population, moins la sélection est importante. Les résultats obtenus montrent que la diffusion de connaissances de qualité nécessaire du temps. Si les agents ont une durée de vie courte et qu'il n'y a pas de sélection, alors les connaissances ne s'amélioreront pas car les plus correctes auront peu de chance d'être transmises à la génération suivante. Mais s'ils ont suffisamment de temps pour diffuser des connaissances de qualité, alors celles-ci s'amélioreront au fil des générations sans sélection des parents.

Contrairement aux gènes, même si les parents ne fournissent pas les meilleurs atouts culturels, les enfants sont capables de les acquérir auprès de leurs pairs ou d'autres sources. [1] a montré que (1) la transmission intragénérationnelle peut introduire une variation dans la culture et (2) sa sélection se produit dans la transmission intergénérationnelle.

À l'inverse, nous avons montré comment (1) la transmission intergénérationnelle peut introduire des variations, qui permettent aux agents d'améliorer encore leur correction comme le montre la section 6.1, et (2) la transmission intragénérationnelle peut sélectionner les connaissances qui se répandent dans la population des agents (section 6.2). Ces résultats illustrent la robustesse de l'évolution culturelle dans laquelle les deux modes de transmission peuvent s'équilibrer.

## Disponibilité des données

Toutes les expériences ont été réalisées dans l'environnement logiciel *Lazy lavender*<fnref n="2" />. Les paramètres, les résultats et les carnets d'analyse des données sont disponibles sur [6] et [7].

<footnote n="2">2. https://gforge.inria.fr/moex/lazylav</footnote>
# 8 Remerciements

Ce travail a été partiellement soutenu par MIAI @ Grenoble Alpes (ANR-19-P3IA-0003).

## Références

[1] Alberto Acerbi and Domenico Parisi. Cultural transmission between and within generations. *Journal of Artificial Societies and Social Simulation*, 9(1):1-16, 2006.

[2] Michael Anslow and Michael Rovatsos. Aligning experientially grounded ontologies using language games. In *Actes 4e International Workshop on Graph Structures for Knowledge Representation and Reasoning*, pages 15-31, 2015.

[3] David Anzola and Daniel Rodríguez-Cárdenas. A model of cultural transmission by direct instruction: An exercise on replication and extension. *Cognitive Systems Research*, 52:450-465, 2018.

[4] Manuel Atencia and Marco Schorlemmer. An interaction-based approach to semantic alignment. *Journal of Web Semantics*, 12:131-147, 2012.

[5] Elhanan Borenstein and Eytan Ruppin. Enhancing autonomous agents evolution with learning by imitation. *Artificial Intelligence and Simulation of Behaviour*, 1(4):335-347, 2003.

[6] Yasser Bourahla. 20210601-DOTG: Knowledge is transmitted between agents and across generations, 2021. https://sake.re/20210601-DOTG.

[7] Yasser Bourahla. 20210927-DOTG: Knowledge is transmitted between agents and across generations with different parent selection methods, 2021. https://sake.re/20210927-DOTG.

[8] Yasser Bourahla, Manuel Atencia, and Jérôme Euzenat. Knowledge improvement and diversity under interaction-driven adaptation of learned ontologies. In *Actes 20e AAMAS*, pages 242-250, 2021.

[9] Yasser Bourahla, Manuel Atencia, and Jérôme Euzenat. Knowledge transmission and improvement across generations do not need strong selection. In *Actes 21e AAMAS*, 2022. to appear.

[10] Robert Boyd and Peter Richerson. *Culture and the evolutionary process*. The University of Chicago Press, Chicago, 1985.

[11] Aleksander Byrski, Rafal Drezewski, Leszek Siwik, and Marek Kisiel-Dorohinicki. Evolutionary multi-agent systems. *The Knowledge Engineering Review*, 30(2):171-186, 2015.

[12] Luigi Luca Cavalli-Sforza and Marcus William Feldman. *Cultural transmission and evolution: a quantitative approach*. Princeton University Press, New Jersey, 1981.

[13] Daniele Denaro and Domenico Parisi. Cultural evolution in a population of neural networks. In *Actes 8th Italian Workshop on Neural Nets*, pages 100-111, 1996.

[14] Jérôme Euzenat. Interaction-based ontology alignment repair with expansion and relaxation. In *Actes 26e IJCAI*, pages 185-191, 2017.

[15] Scott Gerard and Munindar Singh. Evolving protocols and agents in multiagent systems. In *Actes 12e AAMAS*, pages 997-1004, 2013.

[16] Ben Jolley, James Martin Borg, and Alastair Channon. Analysis of social learning strategies when discovering and maintaining behaviours inaccessible to incremental genetic evolution. In *Actes International Conference on Simulation of Adaptive Behavior*, pages 293-304, 2016.

[17] Stefano Nolfi. Emergence of communication in embodied agents: Co-adapting communicative and non-communicative behaviours. *Connection Science*, 17(3-4):231-248, 2005.

[18] Robert Reynolds. An introduction to cultural algorithms. In *Actes 3e Annual Conference on Evolutionary Programming*, pages 131-139, 1994.

[19] Peter Richerson and Robert Boyd. *Not By Genes Alone: How Culture Transformed Human Evolution*. The University of Chicago Press, Chicago, 2005.

[20] Sandip Sen and Stéphane Airiau. Emergence of norms through social learning. In *Actes 20e IJCAI*, pages 1507-1512, 2007.

[21] Luc Steels. *Experiments in cultural language evolution*. John Benjamins Publishing Company, Amsterdam, 2012.

[22] Jurriaan van Diggelen, Robbert-Jan Beun, Frank Dignum, Rogier van Eijk, and John-Jules Meyer. Anemone: An effective minimal ontology negotiation environment. In *Actes 5e AAMAS*, pages 899-906, 2006.