en pondérant l'importance des paires en fonction de la distance entre les unités de la paire, ainsi qu'en retirant les paires dont les unités sont trop éloignées l'une de l'autre. Ces réserves conduisent donc naturellement à s'interroger sur la pertinence d'encoder l'annotation de toutes les paires en deux catégories, porteuse ou non d'une relation. Cet exemple illustre les biais qui peuvent résulter de l'utilisation forcée d'une mesure pré-existante sans tenir compte des spécificités des objets annotés. Comme pour les autres domaines d'annotation, il apparaît donc nécessaire de disposer de mesures d'accord spécifiquement pensées pour les structures relationnelles. Un cadre formel commun est sous-jacent aux exemples présentés ci-dessus. Ces structures peuvent être représentées et analysées comme des graphes diversement contraints, ces contraintes pouvant s'exprimer sur les propriétés telles que l'orientation des arrêtes, la présence d'une arborescence ou la connectivité du graphe. Pour ce paradigme de représentation sous forme de graphe, il est dès lors nécessaire de disposer de mesures d'accords adaptées aux particularités de ces structures. C'est ce que fait (Kirschner et al., 2015) en présentant ce qui est à notre connaissance la première mesure d'accord inter-annotateurs spécifiquement créée pour les graphes. Nous comparerons cette mesure aux variantes de Mean Average Recall (Putra et al., 2022). Nous détaillerons le fonctionnement de ces mesures en 4.3.

# 3 Principe des dégradations contrôlées

Pour aider à la comparaison des mesures existantes et le cas échéant à l'élaboration de nouvelles mesures, nous proposons un environnement dans lequel on peut étudier le comportement des mesures en les confrontant à des données dont on contrôle la fiabilité.

## 3.1 Benchmark et interprétabilité des mesures d'accord inter-annotateurs

Nous l'avons vu plus tôt, les mesures d'accord inter-annotateurs sont des outils cruciaux pour l'établissement de corpus annotés de référence. La question de la qualité des mesures que nous employons est ainsi une problématique d'intérêt pour la communauté scientifique. (Artstein & Poesio, 2008) posent aussi la question de l'interprétabilité des mesures et du sens que portent les scores donnés par ces mesures. Prenant l'exemple de la famille des mesures $\kappa$, (Mathet et al., 2012) posent quelques questions qui paraissent triviales en apparence mais qui sont loin de l'être : « Un score $\kappa$ de 0,75 indique-t-il un bon résultat ? Un score $\kappa$ de 0,8 est-il deux fois meilleur qu'un score de 0,4 ? Un score de 0,6 obtenu avec une première mesure est-il meilleur qu'un score de 0,5 obtenu avec une autre mesure, et pour quelle tâche d'annotation ? ». Pour répondre à ces questions, sur ces mesures et sur d'autres, les auteurs ont proposé un outil nommé le Corpus Shuffling Tool (CST) qui a pour but de comparer l'évolution des scores de différentes mesures d'accord inter-annotateurs face à des multi-annotations générées de manière contrôlée et paramétrable. Ces données d'annotations sont spécifiquement fabriquées par l'outil pour évaluer les réactions des mesures.

Décrivons étape par étape le fonctionnement du CST. Pour fonctionner, le CST nécessite tout d'abord un jeu d'annotations à dégrader. Nous appellerons ce jeu d'annotations *référence* pour la suite de cette section. Il n'est pas nécessaire que ce jeu soit réellement le *gold standard* issu d'une campagne d'annotation, il suffit qu'il soit représentatif des phénomènes qu'on retrouverait dans une telle annotation de référence. Pour démarrer son processus de dégradation, en plus d'une *référence*, le CST a besoin de deux autres paramètres : le nombre *n* d'annotateurs à simuler et une magnitude *m* dont la valeur est comprise entre 0 et 1 inclus. Lors de ce processus, le CST va, pour chacun des
n annotateurs, faire une copie de la *référence* et dégrader aléatoirement les annotations de la copie selon la magnitude *m*. L'ensemble des copies dégradées ainsi générées forment une multi-annotation que nous pouvons fournir aux mesures que l'on souhaite évaluer. Afin d'observer comment les mesures d'accord inter-annotateurs réagissent face à des multi-annotations de plus en plus dégradées, le CST exécute son processus de dégradation en faisant varier incrémentalement son paramètre de magnitude de 0 à 1 d'un pas paramétrable. Pour chaque valeur de la magnitude on obtient ainsi une multi-annotation composée de jeux d'annotations de plus en plus éloignés de la *référence*. Le désaccord entre les annotateurs simulés est donc théoriquement de plus en plus grand. Enfin, on calcule le score des mesures d'accord inter-annotateurs pour chaque multi-annotation et on trace le graphique résultant en prenant la magnitude *m* en abscisse du graphique et les scores en ordonnées. Pour que l'évaluation des mesures soit possible avec cet outil, il faut que les jeux d'annotations dégradés soient vraisemblables. Pour se faire, (Mathet et al., 2012) présentent 5 types de dégradations différentes dont le but est de générer des erreurs qui sont observées dans les campagnes d'annotation.

## 3.2 Types de dégradation

Lorsque (Mathet et al., 2012) présentent leur outil, celui-ci est restreint à deux tâches d'annotation : la catégorisation et l'identification d'unités. Cela les mène à présenter des types de dégradations spécifiques à ces tâches comme la fragmentation : le fait de séparer une unité de référence en plusieurs nouvelles unités plus petites. Dans le cadre de la structure relationnelle que nous étudions et que nous avons précisée en 2.1, plusieurs de ces types de dégradations ne sont pas adaptées à notre cas, et d'autres dégradations nouvelles et propres aux structures relationnelles méritent d'être explorées. Contrairement aux précédents travaux sur le CST, les dégradations proposées ici ne sont pas motivés par un recensement des erreurs rencontrées fréquemment dans les campagnes d'annotation. En effet, nos dégradations se reposent sur l'ensemble des paramètres qui définissent une relation de structure relationnelle, c'est-à-dire : l'origine de la relation, sa cible, son orientation et sa catégorie. Les dégradations ainsi proposées sont donc issues de considérations théoriques et peuvent ne pas pouvoir s'appliquer totalement à toutes les modélisations et campagnes d'annotation, ou alors nécessiter des adaptations substantielles pour être utilisées. L'objectif premier de cet article est de démontrer la possibilité de l'utilisation du CST pour des structures relationnelles et de fournir une *boîte d'outils* divers et indépendants de dégradations pour les futurs travaux s'intéressant à la pertinence des mesures d'accord inter-annotateurs employées. Pour illustrer ces outils, nous préciserons ci-après les types de dégradation que nous proposons dans le cadre particulier des structures argumentatives.

### 3.2.1 Dégradations élémentaires pour les structures argumentatives

La magnitude *m* est une valeur réelle telle que $0 \le m \le 1$ qui reflète un niveau de dégradation. Au niveau 0 aucune dégradation n'est subie. Au niveau 1 la dégradation est maximale, ce qui simule la perte par un annotateur de toute compétence. Sauf dans le cas particulier du faux positif, la magnitude correspond ici à la probabilité pour chaque relation de la *référence* de subir une dégradation.

**Changement de cible :** L'identification du rattachement d'un argument pour soutenir ou attaquer un autre peut être source d'erreur. Dans le cadre de cette dégradation l'annotateur simulé assigne comme cible de la relation une autre unité. Chaque unité a une probabilité pondérée d'être choisie comme la nouvelle cible. La structure argumentative peut être vue comme un arbre dont la racine est
la *proposition principale*. Les unités qui se trouvent sur le chemin entre la cible originale et la racine (incluse) ont une probabilité importante d'être sélectionnées. Les unités se trouvant entre l'origine de la relation et les feuilles de l'arbre ont un poids moyen. Enfin les autres unités sur cet arbre reçoivent une pondération faible.

**Changement d'origine** : Cette dégradation utilise le même principe que le changement de cible, mais c'est ici l'origine de la relation qui est modifiée. En considérant le graphe sous forme d'arbre, la distribution des pondérations pour la nouvelle origine est la suivante : les unités entre l'origine et les feuilles ont un poids élevé, les unités entre la cible et la racine (incluse) reçoivent une pondération moyenne et les autres unités ont un poids faible.

**Permutation d'orientation** : La permutation d'orientation est le fait pour l'annotateur simulé d'identifier la présence d'une relation entre deux unités en se trompant sur le sens de la relation.

**Changement d'étiquetage** : Le changement d'étiquetage intervient lorsque l'annotateur se trompe sur la catégorie à attribuer à une relation. Ce phénomène est particulièrement fréquent quand deux catégories de relation sont proches ou qu'une catégorie est rare dans le corpus. Lorsqu'il y a changement de catégorie, une nouvelle catégorie est attribuée au hasard tout en tenant compte la fréquence des catégories dans la *référence*.

**Faux négatif** : Le faux négatif consiste en le retrait d'une annotation présente dans la *référence*.

**Faux positif** : En miroir du faux négatif, le faux positif est l'ajout d'une annotation erronée absente de la *référence*. Pour *a* annotations dans la *référence* et une magnitude *m*, *a* * * * *m* relations sont crées et ajoutées au jeu de données. Pour ne pas dénaturer substantiellement le sens de la *référence*, les nouvelles relations sont crées en reprenant les caractéristiques statistiques de la *référence*.

### 3.2.2 Combinaison de dégradations

Lors des campagnes d'annotation, les différents types d'erreurs d'annotation qui peuvent intervenir ne s'excluent pas forcément mutuellement. Pour restituer ce phénomène nous prévoyons de rendre possible la combinaison des dégradations précitées lors du processus de génération des multi-annotations. Dans le cas de la combinaison de dégradations, chacun des *t* types de dégradation sélectionnés est appliqué successivement sur les jeux d'annotations ; soit avec une magnitude *t*/*m* si l'on souhaite une distribution uniforme des dégradations, soit avec une pondération visant à reproduire une distribution observée dans des annotations réelles.
# 4 Expérimentations sur des structures argumentatives

## 4.1 Jeu d'annotations et instance étudiée

Pour évaluer les métriques de l'accord inter-annotateurs avec le CST il faut en premier lieu lui fournir une référence annotée que l'outil viendra dégrader. Afin de nous procurer une structure argumentative annotée que nous pourrions employer à ces fins, nous nous sommes tout d'abord tourné vers le corpus ICNALE (Ishikawa, 2013, 2018) qui est utilisé par (Putra et al., 2022) pour introduire les mesures MAR. Néanmoins, ce corpus propose des structures d'argumentation avec peu d'unités argumentatives puisque nous y retrouvons environ 13,9 phrases par texte argumentatif, dont toutes ne sont pas CA. Or, nous pensons qu'apporter une simple dégradation aléatoire à des objets argumentatifs de si petite taille modifierait déjà substantiellement la structure argumentative et son sens. Pour opérer nos dégradations sur des objets dont le sens global n'est pas totalement altéré après quelques dégradations successives, et ainsi pouvoir comparer nos mesures sans craindre de trop grandes variations entre chaque itération des dégradations, tout en conservant un coût de calcul acceptable, nous proposons comme référence du CST une structure argumentative de taille suffisante avec 101 CA et 100 relations, représentée sur la figure 2. La structure argumentative de référence que nous fournissons à notre implémentation du CST représente l'exemple d'une structure que nous attendons d'une argumentation fournie avec de nombreux arguments et contre-arguments dirigés vers un argument principal. Sur l'illustration, les relations sont dépourvues d'étiquettes puisque les catégories des relations n'influent pas sur les mesures que nous évaluons dans notre étude (cf. 4.3). Chaque relation a néanmoins été annotée avec une étiquette lors de l'élaboration par nos soins de cette structure.

## 4.2 Dégradations retenues pour cette campagne

Dans la section 3.2 nous avons présenté les types de dégradations envisageables pour des objets tels que la structure argumentative. Pour nos expérimentations nous excluons de cette étude trois types de dégradations. Tout d'abord, nous écartons l'étiquetage des relations car les mesures que nous étudions ne prennent pas en compte ce paramètre. Nous n'incluons pas non plus le paradigme du faux positif car son implémentation concrète dans le cadre décrit par (Putra et al., 2022) nous interroge encore. En effet, nous attendons *n* − 1 relations explicites pour une structure à *n* CA ; or les exemples que nous traitons possèdent déjà *n* − 1 relations. Nous ne pouvons donc pas rajouter de relations supplémentaires. Enfin, la combinaison de dégradations sera pour l'heure mise de côté car nous cherchons ici à étudier les comportements des mesures en fonction de dégradations précises. L'étude de l'impact d'une combinaison de facteurs serait intéressante mais dépasse notre objectif actuel.

## 4.3 Mesures d'accord inter-annotateurs implémentées

Comme nous l'avons vu, il existe des méthodes pour traduire les annotations relationnelles en plusieurs étapes successives de catégorisation (Putra et al., 2022) afin de pouvoir utiliser des mesures comme le κ de Cohen sur des structures d'annotations qui ne s'y prêtent pas originellement. Pour les raisons que nous avons évoquées ci-dessus, nous pensons néanmoins qu'il faut privilégier des mesures spécifiquement adaptées à ces structures. Avec le CST, nous cherchons à comparer ici quatre mesures dédiées pour l'accord sur les structures argumentatives : la première mesure d'accord
inter-annotateurs basée sur les graphes de (Kirschner et al., 2015) et les trois variantes de mean average recall (MAR)<fnref n="1" /> de (Putra et al., 2022).

**Mesure de Kirschner** : Soient deux structures argumentatives A et B. Cette mesure adaptée aux graphes dirigés évalue le taux d'inclusion du graphe A dans le graphe B, puis du graphe B dans le graphe A et donne finalement la moyenne (arithmétique ou harmonique) des deux taux. Pour $E_A$ l'ensemble des relations $(x,y)$ dans le graphe A où $x$ est l'origine de la relation et $y$ la cible et $SP_B(x,y)$ la longueur du plus court chemin entre les nœuds $x$ et $y$ dans le graphe B, l'inclusion de A dans B est donnée par la formule 1 :

$$ \text{Mesure de Kirschner} = \frac{1}{|E_A|} \sum_{(x,y) \in E_A} \frac{1}{SP_B(x, y)} \quad (1) $$

**MAR<sup>link</sup>** : Cette mesure est la moyenne du rappel des relations de deux structures relationnelles A et B. Soient $E_A$ l'ensemble des relations dans A et $E_B$ l'ensemble des relations dans B, la moyenne des rappels de ces ensembles est donnée par la formule 2.

$$ \text{MAR}^{\text{link}} = \frac{1}{2} \left( \frac{|E_A \cap E_B|}{|E_A|} + \frac{|E_A \cap E_B|}{|E_B|} \right) \quad (2) $$

**MAR<sup>path</sup>** : Plutôt que de s'appuyer sur les relations elles-mêmes, cette variante cherche à mesurer l'accord sur les chemins créés par la mise bout à bout des relations dans la structure argumentative. Pour deux relations dirigées $(a,b)$ et $(b,c)$ où le premier élément est la source et le second l'origine, on obtient trois chemins : $[a,b,c]$, $[a,b]$ et $[b,c]$.

On note respectivement $P_A$ et $P_B$ les ensembles des chemins pour les graphes A et B. L'accord entre ces ensembles est donné par la formule 3 :

$$ \text{MAR}^{\text{path}} = \frac{1}{2} \left( \frac{|P_A \cap P_B|}{|P_A|} + \frac{|P_A \cap P_B|}{|P_B|} \right) \quad (3) $$

**MAR<sup>dSet</sup>** : Cette variante mesure l'accord entre les ensembles de descendants de chaque unité dans la structure argumentative en partant de la racine (i.e. le CA *proposition principale*). L'ensemble des descendants d'une unité $a$ est composé de l'unité $a$ elle-même et de toutes les unités qui sont ses descendantes dans l'arbre (c'est-à-dire toutes les unités qui peuvent être atteintes en remontant en sens inverse les relations dirigées en partant de l'unité $a$). Soient deux jeux d'annotations A et B contenant respectivement les ensembles d'unités $(a_1,a_2,...a_n)$ et $(b_1,b_2,...b_n)$. Une fonction $f$ est définie et prend en paramètre le jeu d'annotations A et retourne un vecteur comprenant les scores de correspondance entre les ensembles de descendants de $a_i$ et de $b_i$ pour $a_i \in A$ et $b_i \in B$. $N_A$ et $N_B$ correspondent respectivement au nombre d'unités dans A et B. L'accord est donné par la formule 4 :

$$ \text{MAR}^{\text{dSet}} = \frac{1}{2} \left( \frac{\sum f(A)}{|N_B|} + \frac{\sum f(B)}{|N_A|} \right) \quad (4) $$

<footnote n="1">1. Au sein même des variantes de MAR, on peut trouver des sous-variantes qui apprécient différemment les relations si elles ont pour trait d'être explicit ou implicit. Cette distinction, qui est engendrée par le cas particulier de la catégorie reformulation peut faire sens dans le cadre de la campagne ICNALE. Nous faisons cependant le choix d'écarter cette catégorie de relation si particulière à une étude pour privilégier la généralisation de nos résultats; ainsi lorsque nous évoquons par la suite les variantes MAR, nous ne les décrivons que sous leur forme utilisant des relations uniquement explicit.</footnote>
Le score de correspondance entre deux ensembles de descendants peut être *exact* (la valeur est de 1 si les deux ensembles de correspondants pour $a_i$ et $b_i$ sont identiques, 0 sinon) ou *partial* (la valeur est égale au nombre d'unités présentes dans les deux ensembles divisée par le nombre d'unités dans l'ensemble des descendants de $b_i$). Dans toutes les configurations possibles, le score de correspondance *partial* est toujours supérieur ou égal au score de correspondance *exact*. Nous implémentons dans nos expériences les versions *exact* et *partial* de $\text{MAR}^{dSet}$ afin de les comparer.

## 4.4 Environnement expérimental

Il n'existe pas à notre connaissance d'outil en libre accès pour établir les scores des quatre mesures que nous tentons d'évaluer. Le CST tel que présenté par (Mathet et al., 2012) n'est pas outillé pour des structures relationnelles. Face à ce double manque de logiciels à notre disposition nous avons fait le choix de créer nos propres outils de dégradation d'une référence et de calcul de mesures d'accord pour des structures relationnelles. L'ensemble de ces programmes est réalisé avec les langages Python 3 et DOT et sera rendu accessible à la communauté 2.

## 4.5 Observations et commentaires

<figure><img src="image_27.png" /></figure>

FIGURE 1 – *Changement de cible* (en haut à gauche), *changement d'origine* (en haut à droite), *permutation d'orientation* (en bas à gauche) et *faux négatif* (en bas à droite)

2. https://www GREYC.fr/ÉQUIPEs/CODAG/#RESSOURCES
Nous comparons ici les cinq mesures décrites ci-dessus : la mesure d'accord inter-annotateurs basée sur les graphes (*graph-based IAA metric* (GBM)) (Kirschner et al., 2015), *MAR<sup>link</sup>* , *MAR<sup>path</sup>* , *MAR<sup>dSet</sup> exact matching* et *MAR<sup>dSet</sup> partial matching* (Putra et al., 2022). La figure 1 présente le comportement de ces mesures pour 4 paradigmes de dégradation différents. Dans tous ces paradigmes on remarque que les scores de GBM et *MAR<sup>link</sup>* sont toujours identiques alors que ces deux mesures ont des méthodes de calcul différentes. Nous avons remarqué lors de nos expérimentations que ces deux mesures donnent le même score lorsque deux jeux d'annotations comparés possèdent le même nombre de relations, comme c'est le cas dans nos dégradations contrôlées, mais que leurs valeurs divergent lorsque le nombre de relations des deux jeux de données diffère. Pour la suite de nos observations, ce que nous commenterons sur GBM s'appliquera donc aussi à *MAR<sup>link</sup>*.

Pour le *changement de cible* et le *changement d'origine*, toutes les mesures suivent une évolution décroissante monotone, ce qui est attendu. Les deux variantes de $MAR^{dSet}$ semblent être limitées chacune par une asymptote, tandis que GBM et $MAR^{path}$ montrent une étendue complète de 1 (accord parfait) à 0 (absence d'accord).

Dans le paradigme de *permutation d'orientation*, aucune des mesures n'est monotone malgré l'aug-
mentation des dégradations. $MAR^{path}$ et GBM atteignent leur minimum lorsque la magnitude est à
0,5 (i.e. lorsque la moitié des relations sont inversées dans la structure argumentative) et sont symé-
triques à l'axe $x = 0.5$. Les variantes de $MAR^{dSet}$ ne présentent pas cette symétrie. Cela s'explique
car elles sont les seules mesure à avoir un *sens de lecture particulier* de la structure argumentative, de
la racine vers les feuilles. Mécaniquement, leurs scores ne remontent que lorsque les ensembles de
descendants se vident et deviennent de moins en moins différents les uns des autres.

Pour le *faux négatif*, aucune des mesures n’est pleinement monotone. Les mesures GBM, $MAR^{path}$ et $MAR^{dSet}$ *partial matching* sont décroissante monotone jusqu’à la magnitude 0,9 ; le score de $MAR^{dSet}$ *exact matching* semble atteindre un plateau minimum dès la magnitude 0.45 avant de croître.

Ce phénomène de non-monotonie des courbes pour le *faux négatif* après la magnitude $m = 0.9$ est déjà présent dans les premiers travaux sur le CST (Mathet *et al.*, 2012) pour des paradigmes d’annotation et des mesures différents. Cela est manifestement lié à l’implémentation du *faux négatif* qui est similaire dans les deux études. Nous pouvons l’expliquer simplement, moins il reste d’annotations à comparer dans les simulations générées par le CST et moins les mesures peuvent y trouver du désaccord.

5 Conclusion et perspectives

De manière similaire à (Mathet et al., 2012), notre implémentation du CST pour des structures relationnelles présente des résultats exploitables pour les mesures d'accord inter-annotateurs et les paradigmes de dégradations étudiés. Les comparaisons offertes par cet outil mettent en évidence des similarités entre certaines méthodes, mais surtout les différences et les écueils qui caractérisent les mesures les plus récentes dans le domaine de l'annotation de l'argumentation.

Au rang des perspectives nous prévoyons dans de futurs travaux avec notre outil d'utiliser des références issues directement de campagnes d'annotation et d'améliorer la simulation des dégradations en tentant de nous rapprocher des erreurs commises par les annotateurs humains et de leur fréquence. De plus, l'implémentation du CST que nous proposons aujourd'hui est conçue et spécialisée pour la question de l'accord dans les structures argumentatives. Il serait intéressant de travailler sur d'autres paradigmes de structures relationnelles tels que celui de la coréférence qui possèdent un grand panel de mesures d'accord inter-annotateurs dédiées.
# Remerciements

Nous remercions grandement Yann Mathet et Antoine Widlöcher pour leur aide précieuse en tant qu'encadrants, mais aussi pour leurs encouragements et leurs nombreux conseils tout au long de la réalisation de ce travail. Nous remercions également les trois relecteurs anonymes pour leurs commentaires très utiles à l'amélioration de ce document.

# Références

ARTSTEIN R. & POESIO M. (2008). Inter-Coder Agreement for Computational Linguistics. *Computational Linguistics*, **34**(4), 555–596. DOI: 10.1162/coli.07-034-R2.

COHEN J. (1960). A coefficient of agreement for nominal scales. *Educational and Psychological Measurement*, **20**, 37–46. Place : US Publisher : Sage Publications, DOI : 10.1177/001316446002000104.

FORT K. (2016). *Collaborative Annotation for Reliable Natural Language Processing: Technical and Sociological Aspects*. Wiley, 1 édition. DOI: 10.1002/9781119306696.

ISHIKAWA S. (2013). The ICNALE and sophisticated contrastive interlanguage analysis of Asian learners of English. *Learner corpus studies in Asia and the world*, **1**, 91–118.

ISHIKAWA S. (2018). The ICNALE Edited Essays: A Dataset for Analysis of L2 English Learner Essays Based on a New Integrative Viewpoint. *English Corpus Linguistics*, **25**, 1–14.

KIRSCHNER C., ECKLE-KOHLER J. & GUREVYCH I. (2015). Linking the Thoughts: Analysis of Argumentation Structures in Scientific Publications. In *Proceedings of the 2nd Workshop on Argumentation Mining*, p. 1–11, Denver, CO: Association for Computational Linguistics. DOI: 10.3115/v1/W15-0501.

KRIPPENDORFF K. (2019). *Content Analysis: An Introduction to Its Methodology*. SAGE Publications, Inc. DOI: 10.4135/9781071878781.

LEECH G. N., GARSIDE R. G. & MCENERY T. (1997). *Corpus annotation: linguistic information from computer text corpora* / Roger Garside, Geoffrey Leech, Tony McEnery. London: Longman.

MATHET Y., WIDLÖCHER A., FORT K., FRANÇOIS C., GALIBERT O., GROUIN C., KAHN J., ROSSET S. & ZWEIGENBAUM P. (2012). Manual Corpus Annotation: Giving Meaning to the Evaluation Metrics. In M. KAY & C. BOITET, Éds., *Proceedings of COLING 2012: Posters*, p. 809–818, Mumbai, India: COLING 2012 Organizing Committee.

PARK J. & CARDIE C. (2018). A Corpus of eRulemaking User Comments for Measuring Evaluability of Arguments. In N. CALZOLARI, K. CHOUKRI, C. CIERI, T. DECLERCK, S. GOGGI, K. HASIDA, H. ISAHARA, B. MAEGAARD, J. MARIANI, H. MAZO, A. MORENO, J. ODIJK, S. PIPERIDIS & T. TOKUNAGA, Éds., *Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)*, Miyazaki, Japan: European Language Resources Association (ELRA).

PUTRA J. W. G., TEUFEL S. & TOKUNAGA T. (2022). Annotating argumentative structure in English-as-a-Foreign-Language learner essays. *Natural Language Engineering*, **28**(6), 797–823. Publisher: Cambridge University Press, DOI: 10.1017/S1351324921000218.
SKEPPSTEDT M., PELDSZUS A. & STEDE M. (2018). More or less controlled elicitation of argumentative text : Enlarging a microtext corpus via crowdsourcing. In N. SLONIM & R. AHARO-NOV, Éds., *Proceedings of the 5th Workshop on Argument Mining*, p. 155–163, Brussels, Belgium : Association for Computational Linguistics. DOI: 10.18653/v1/W18-5218.

TEUFEL S., CARLETTA J. & MOENS M. (1999). An annotation scheme for discourse-level argumentation in research articles. In H. S. THOMPSON & A. LASCARIDES, Éds., *Ninth Conference of the European Chapter of the Association for Computational Linguistics*, p. 110–117, Bergen, Norway : Association for Computational Linguistics.

WACHSMUTH H., AL-KHATIB K. & STEIN B. (2016). Using Argument Mining to Assess the Argumentation Quality of Essays. In Y. MATSUMOTO & R. PRASAD, Éds., *Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics : Technical Papers*, p. 1680–1691, Osaka, Japan : The COLING 2016 Organizing Committee.

## A Annexes

<figure><img src="image_28.png" /><figcaption>FIGURE 2 – Structure argumentative de référence fournie à notre implémentation du CST, l’AC 3 est de type *proposition principale*</figcaption></figure>
# Géométrie des vecteurs de tâches pour l'association et la combinaison de modèles

Loïc Fosse

Orange Innovation, Lannion, France

Aix Marseille Univ., CNRS, LIS, Marseille, France

loic.fosse@orange.com

## RÉSUMÉ

Les adaptations de rang faible (LoRA, pour *Low-Rank Adaptation*) sont devenues un standard pour adapter des modèles à un faible coût. Elles sont de plus en plus utilisées que ce soit en traitement du langage ou des images. Plusieurs études utilisent ces adaptations et cherchent à les combiner *a posteriori* de manière à enrichir de manière additive les propriétés d'un modèle. Ces combinaisons suggèrent alors que nous pouvons associer les modèles dans l'espace des paramètres et que nous pouvons donner un sens à cela. Cette propriété n'est que très peu vérifiée dans la pratique et nous proposons ici plusieurs métriques visant à caractériser l'association entre les modèles dans l'espace des paramètres. Nous montrons finalement que nous pouvons corréler ces métriques avec les pertes de performance des modèles lorsque nous réalisons leurs combinaisons.

## ABSTRACT

**Task vectors geometry for models association and combination.**

Low-Rank Adaptations (LoRA) have become a standard for adapting models at low cost. They are increasingly used in both language and image processing. Several studies use these adaptations and seek to combine them *a posteriori* so as to additively enrich the properties of a model. These combinations then suggest that we can associate models in parameter space and make sense of this. This property is only rarely verified in practice, and here we propose several metrics to characterize the association between models in parameter space. Finally, we show that we can correlate these metrics with losses in model performance when we combine them.

**MOTS-CLÉS** : transformers, adaptation de rangs faibles, similarité de modèles, distance de Grassmann, combinaisons de modèles.

**KEYWORDS:** transformers, low rank adaptation, models similarities, Grassmann distance, model combinations.

## 1 Introduction

L'accroissement de la taille des grands modèles de langue, basés sur l'architecture *transformers* (Vaswani *et al.*, 2017), rend de plus en plus complexe et coûteuse leur adaptation sur des tâches précises. Dans l'optique de dépasser les contraintes de ressources pour spécialiser des modèles, deux méthodes se distinguent : les méthodes d'affinages efficaces (*parameter efficient fine-tuning*) et la combinaison de modèles. Les méthodes d'affinage dites efficaces, comme la méthode LoRA (Hu *et al.*, 2021), le *prefix tuning* (Li & Liang, 2021), le *scaling and shifting* (Lian *et al.*, 2022) ou encore

<figure><img src="image_29.png" /></figure>
le IA3 (Liu et al., 2022), qui sont des dérivées de la notion d'adapteur (Rebuffi et al., 2017), visent
à n'affiner qu'une fraction du modèle, basé sur l'hypothèse que pour se spécialiser dans une tâche,
seules des modifications mineures du modèle sont nécessaires. Parmi ces méthodes efficaces, les
adaptations de rangs faibles (LoRA : Low-Rank Adaptation) se détachent du lot, de par les résultats
qu'elles permettent d'obtenir en traitement automatique des langues (TAL) (Aleem et al., 2024;
Dettmers et al., 2024; Kaddour et al., 2023) et en vision (Luo et al., 2023; Gandikota et al., 2023), ou
encore les propriétés intéressantes qui se dégagent de ces méthodes (Fu et al., 2023). La combinaison
(ou interpolation) de modèles (Li et al., 2023; Jin et al., 2022; Matena & Raffel, 2022; Falissard et al.,
2023; Yu et al., 2023), inspirée des méthodes ensemblistes (Dietterich, 2000), quant à elle, vise à
considérer des modèles entraînés sur des tâches et à les combiner dans l'espace des paramètres de
manière à créer un nouveau modèle potentiellement meilleur que les modèles précédents sur une
tâche donnée (enrichissement), capable de faire plusieurs tâches (multi-tâches) (Yang et al., 2023) ou
encore à faire une nouvelle tâche encore jamais vue par les différents modèles (Pfeiffer et al., 2023;
Chronopoulou et al., 2023) – dans la littérature, on parle de Modular Learning pour ce dernier cas.

Plus récemment, des études cherchent aussi à combiner les modèles adaptés avec la méthode LoRA en TAL. Par exemple, Zhang et al. (2024) proposent des méthodes de combinaisons simples, de manière à : supprimer les biais d'un modèle, faire du multi-tâche, supprimer des composantes d'un modèle (notamment la toxicité dans la génération de textes) ou encore faire du transfert de domaine. De la même manière, dans le domaine du traitement des images, certaines études apparaissent aussi sur la composition de modèles adaptés avec LoRA, de manière à additionner les propriétés dans la génération d'images (Shah et al., 2023; Gu et al., 2024).

La combinaison de modèles (affinés complètement ou avec des méthodes de faible rang) semble alors fournir des résultats intéressants, mais elle n’est pas sans poser de questions. En effet, Frankle et al. (2020) introduisent la notion de connectivité linéaire et montrent que la combinaison de modèles peut parfois mener à des modèles instables perdant toute notion des tâches sur lesquelles ils ont été entraînés, notamment à cause de problèmes d’interférences entre modèles, qui peuvent être évités en forçant les modèles à partager une partie de leur trajectoire d’entraînement. Ce problème d’interférence entre les modèles est évoqué aussi plus récemment par Yadav et al. (2023), et ils proposent un algorithme empirique, pour adresser ce problème, basé sur l’amplitude des poids entre les différents modèles : lors de la comparaison de deux modèles, celui ayant les poids de plus grande amplitude sera le plus important.

La combinaison de modèles soulève alors la question de l'associativité de modèles entraînés sur des tâches différentes, afin de comprendre et d'interpréter les possibles effets d'interférence entre ces modèles. Intuitivement, la combinaison de deux modèles qui sont « proches » résultera en un modèle similaire aux deux premiers (peu d'interférence) et, inversement, la combinaison de deux modèles qui sont « éloignés » résultera en un modèle différent des deux premiers (grande interférence). Deux questions viennent alors naturellement : (1) comment définir la notion de proximité entre les modèles dans l'espace des paramètres ; et (2) pouvons-nous interpréter la proximité entre les modèles par rapport à une proximité empirique des tâches sur lesquelles ils ont été affinés afin d'ainsi comprendre a posteriori le comportement de modèles combinés ?

Nous adressons ces questions dans cette étude, à travers le prisme des adaptations de rang faible ainsi que des adaptations complètes de modèles (full fine-tuning), sur des tâches classiques de classification en traitement automatique des langues. Dans la suite, la section 2 présente le formalisme et les tâches étudiées, puis la section 3 présente les expériences et les résultats.
# 2 Formalisme et tâches

Dans un premier temps, nous définissons le formalisme associé aux adaptations de rang faible, les différentes distances utilisées pour calculer les proximités entre modèles, ainsi que les différentes tâches sur lesquelles nous allons travailler.

## 2.1 Adaptations de rang faible et vecteurs de tâche

Les adaptations de rang faible (LoRA) consistent à re-paramétriser le gradient d'un modèle par une décomposition de rang faible. Lors de l'apprentissage d'un modèle (full fine-tuning) paramétré par une matrice $W \in \mathbb{R}^{d \times d}$ (où $d$ représente généralement la dimension des états cachés), nous partons d'un point $W_0$ (en général, un modèle pré-entraîné) et nous mettons à jour ces poids par descente de gradient pour arriver finalement à $W_f = W_0 + \Delta W$. Cette mise à jour peut être lourde étant donné que $\Delta W$ est de la même taille que le modèle de base. L'idée est alors de poser un nouveau paramètre $r \ll d$ (que l'on choisit) et de considérer $A \in \mathbb{R}^{r \times d}$ et $B \in \mathbb{R}^{d \times r}$ tel que $\Delta W = BA$, puis nous cherchons simplement à apprendre les poids des matrices $A$ et $B$ en laissant intact $W_0$. Dans la pratique, ces adaptations se réalisent sur les couches linéaires d'un modèle, et nous définissons un couple $(A, B)$ pour chaque couche linéaire que l'on souhaite adapter de cette manière. Typiquement, dans un modèle transformer, nous pouvons définir un couple $(A, B)$, pour les différentes projections en requêtes, clés et/ou valeurs<fnref n="1" /> (Ghojogh & Ghodsi, 2020).

Ces adaptations légères possèdent des propriétés intéressantes, notamment le fait de régulariser l'entraînement et donc d'éviter les effets de sur-apprentissage (Fu et al., 2023).

De plus, ces adaptations sont étroitement liées avec la notion de vecteurs de tâches introduite par Ilharco et al. (2022). Dans cette étude, les auteurs définissent le vecteur de tâche comme la différence entre les poids du modèle pré-entraîné et le modèle affiné sur une tâche. Avec les définitions précédentes, le vecteur de tâche correspond donc exactement à la quantité $\Delta W$ définie plus haut et donc au produit $BA$ si le modèle est affiné avec des adaptations de faible rang.

Nous décidons alors d'exploiter cette notion de vecteur de tâche et de regarder ce que ces vecteurs peuvent encoder dans leur géométrie. Nous définissons, dans la section suivante, les distances qui vont nous aider à extraire des informations de ces vecteurs de tâches.

## 2.2 Distance entre vecteurs de tâches

Afin d'estimer des similarités entre tâches, il faut pouvoir être capable de calculer des distances entre des modèles dédiées à ces tâches. Nous proposons ici trois distances (ou pseudo-distances), entre deux matrices de paramètres de même taille $W_1$ (modèle d'une tâche 1) et $W_2$ (modèle d'une tâche 2), de manière hiérarchique (de la plus contraignante à la moins contraignante) :

**Distance L₂** : $||W_1 - W_2||_2$ Cette distance est la plus naturelle et nous donne des informations sur les positions absolues des modèles.

<footnote n="1">1. Nous pouvons le faire pour tout type de matrices de projection, du modèle sans se limiter aux blocs d'attention, mais une pratique courante est de se limiter aux projections en requêtes et valeurs, comme cela est fait dans (Hu et al., 2021)</footnote>
**Distance du cosinus** : $1 - \cos(W_1, W_2)$ Cette distance<fnref n="2" />,<fnref n="3" /> nous donne la corrélation empirique entre les poids des différents modèles (Saporta, 2006), et nous renseigne donc sur les variations communes entre les poids des modèles. Cette distance a notamment été utilisée dans Ilharco et al. (2022) pour calculer des similarités entre des modèles de classification d'images.

**Distance de Grassmann (Hamm & Lee, 2008)** : $d_G(W_1, W_2)$ Cette distance particulière, travaille sur les espaces images des modèles. Elle évaluera la proximité entre les espaces vectoriels images $Im(W_1)$ et $Im(W_2)$. En d'autre termes, elle évaluera la proximité entre les représentations en sortie des modèles. Cette distance a déjà été utilisée dans (Hu et al., 2021) (cf. annexe G) pour estimer des dimensions communes entre des matrices (A, B) issues de LoRA avec des rangs différents entraînés sur une même tâche.

La distance de Grassmann s'appuie sur la notion d'angles principaux entre des espaces vectoriels (Afriat, 1957; Miao & Ben-Israel, 1992). Si $W_1$ et $W_2$ sont deux matrices de rang $r$ dont les colonnes sont orthonormées<fnref n="4" />, nous pouvons alors considérer $\sigma$, l'ensemble des valeurs propres de $W_1^T W_2$. Un résultat théorique donné par Björck & Golub (1973) est que ces valeurs propres sont les cosinus des angles principaux entre les espaces images de $W_1$ et $W_2$ i.e. si on pose $\theta$ l'ensemble des angles principaux entre $Im(W_1)$ et $Im(W_2)$, alors $\cos(\theta) = \sigma$. Basés sur cette information, nous avons alors :

$$d_G(W_1, W_2) = \sqrt{\sum_{i=1}^{r} (\theta_i)^2} \le \sqrt{r} \frac{\pi}{2} \quad (1)$$

Une remarque supplémentaire sur cette distance de Grassmann, est que si l'on considère $(W_1, W_2) \in \mathbb{R}^{d \times d}$, deux matrices de rang maximal $d$, alors $Im(W_1) = Im(W_2) = \mathbb{R}^d$ impliquant donc $d_G(W_1, W_2) = 0$. Cette distance n'est donc intéressante que sur les matrices qui ne sont pas de rang maximal, la rendant particulièrement intéressante dans le cadre de LoRA.

Nous avons ainsi trois distances qui nous permettent d'avoir un niveau d'analyse en cascade : la distance $L_2$ donne les positions absolues et est donc très stricte ; la distance du cosinus, quant à elle, est plus souple et nous donne la corrélation empirique entre les poids en faisant abstraction de l'amplitude de ces derniers ; et enfin la distance de Grassmann nous donne les distances entre les espaces images et fait abstraction de l'amplitude et de l'orientation, comme on peut le voir sur la figure 1 qui illustre sur un cas simple nos différentes métriques.

## 2.3 Tâches et entraînements des modèles

Nous décidons de nous focaliser ici sur des tâches de classification. Nous regardons les tâches suivantes appartenant au benchmark GLUE (Wang et al., 2018) :

- COLA : tâche d'acceptabilité linguistique (classification binaire)

- MRPC : détection de paraphrase entre deux énoncés (classification binaire)

- RTE : inférence en langue naturelle (classification binaire)

- QQP : similarité / détection de paraphrase entre deux questions (classification binaire)

<footnote n="2">2. Le cosinus entre deux matrices est défini comme le cosinus entre les poids applatis de ces deux matrices. Nous considérons également la quantité $1 - \cos(\cdot)$ de manière à avoir une distance et non pas une similarité.</footnote>

<footnote n="3">3. Mathématiquement il ne s'agit pas d'une distance. Nous utilisons le terme distance pour traduire le fait qu'une valeur élevée (faible) traduirait un éloignement (une proximité).</footnote>

<footnote n="4">4. si elles ne le sont pas, une simple décomposition en valeurs singulières des matrices peut nous permettre de le faire</footnote>
<figure><img src="image_30.png" /><figcaption>FIGURE 1 – Visualisation des différentes distances sur deux modèles (W1, W2) à 1 dimension (Vecteurs).</figcaption></figure>

<table><caption>TABLE 1 – Cardinalité des différents jeux de données utilisés</caption><thead><tr><th></th><th>COLA</th><th>MRPC</th><th>RTE</th><th>QNLI</th><th>QQP</th><th>MNLI</th><th>SST2</th><th>SNLI</th><th>YELP</th><th>IMDB</th></tr></thead><tbody><tr><th>train</th><td>8.55k</td><td>3.67k</td><td>2.49k</td><td>105k</td><td>364k</td><td>393k</td><td>67.3k</td><td>550k</td><td>560k</td><td>25k</td></tr><tr><th>dev</th><td>1.04k</td><td>408</td><td>277</td><td>5.46k</td><td>40.4k</td><td>19.65k</td><td>872</td><td>10k</td><td>-</td><td>-</td></tr><tr><th>test</th><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>10k</td><td>38k</td><td>25k</td></tr></tbody></table>

— QNLI : question-réponse sous forme d'inférence en langue naturelle (classification binaire)

— MNLI : inférence en langue naturelle (classification à trois classes)

— SST2 : classification en polarité (classification binaire)

Nous ajoutons la tâche SNLI (Inférence en Langue Naturelle) (Bowman et al., 2015) en complément de la tâche MNLI ainsi que YELP (Asghar, 2016) et IMDB (Maas et al., 2011) en complément de la tâche SST2. Cet ajout est fait pour avoir des jeux de données plus volumineux, contenant des biais différents (notamment pour SNLI), afin d'enrichir nos observations. L'ensemble de ces corpus sont anglais et nous donnons dans la table 1 les tailles respectives des différents jeux de données.

Pour les jeux de données du benchmark GLUE, nous n'avons pas à notre disposition un jeu de test annoté<fnref n="5" />, les performances sont donc données sur le jeu de validation. Le jeu d'entraînement est lui coupé en deux (90-10) pour faire un jeu d'entraînement et un jeu de validation. C'est cette même stratégie qui est utilisée dans (Zhang et al., 2024).

Tous nos modèles sont affinés à partir du modèle pré-entraîné roberta-base (Liu et al., 2019). Pour les affinages complets, nous utilisons pour chaque jeu de données un taux d'apprentissage de $2 \times 10^{-5}$ avec des lots de taille 20 pendant 20 époques avec une stratégie d'arrêt prématuré fondée sur la fonction de perte de validation avec une patience de 5. Pour les affinages via LoRA, nous utilisons un rang $r = 8$ avec un coefficient régularisateur $\alpha = 16$ (2 fois le rang) et un taux d'apprentissage de $10^{-4}$ (5 fois plus grand que pour les affinages complets), sur le même nombre d'époques et la même stratégie d'arrêt que pour l'affinage complet. Ces adaptations sont réalisées sur les projections de requêtes et de valeurs dans chaque module d'attention. Nous reportons les performances des différents modèles dans le tableau 2. L'ensemble de nos modèles a été entraîné avec les bibliothèques transformers et peft (pour la méthode LoRA).

<footnote n="5">5. Les jeux de données tests sont donnés simplement avec le texte et nous devons envoyer nos prédictions aux auteurs pour qu'ils réalisent l'évaluation.</footnote>
<table><caption>TABLE 2 – Performances des modèles sur chacune des tâches avec une distinction entre full-finetuning (f-FT) et adaptations de rangs faibles (LoRa). Les performances sont données pour chaque jeu de données avec la métrique officielle GLUE donnée dans (Wang et al., 2018) et calculée avec la librairie evaluate. Le jeu de données SNLI est évalué avec le F1 de MNLI tandis que YELP et IMDB sont évalués avec la métrique de SST2. Nous ne pouvons pas ici comparer les colonnes entre elles (métrique différente pour chaque jeu de données)</caption><thead><tr><th></th><th>COLA</th><th>MRPC</th><th>RTE</th><th>QNLI</th><th>QQP</th><th>MNLI</th><th>SST2</th><th>SNLI</th><th>YELP</th><th>IMDB</th></tr></thead><tbody><tr><th>f-FT</th><td>56.36</td><td>85.78</td><td>69.66</td><td>91.87</td><td>86.36</td><td>85.75</td><td>93.69</td><td>90.61</td><td>97.73</td><td>93.95</td></tr><tr><th>LoRa</th><td>54.98</td><td>86.52</td><td>71.84</td><td>92.28</td><td>86.02</td><td>86.73</td><td>93.92</td><td>90.61</td><td>98.01</td><td>95.34</td></tr></tbody></table>

Dans l'ensemble de nos corpus, il est important de noter que les tâches d'inférence (lien logique entre deux énoncés) et les tâches de détection de paraphrase (similarité sémantique entre deux énoncés), peuvent être très similaires dans leurs définitions. La différence majeure entre ces deux étant que la dernière est une tâche symétrique par rapport aux énoncés, contrairement à la première.

# 3 Expériences et résultats

Dans cette section, nous utilisons les différentes métriques introduites pour montrer que les distances entre les modèles sont cohérentes par rapport aux tâches sur lesquelles ils sont entraînés. Enfin, nous illustrons le fait que combiner des couples de matrices LoRA (A, B) éloignées, au sens de nos métriques, dégrade les performances de nos modèles allant ainsi dans le sens de nos hypothèses sur les interférences entre ces derniers : combiner des modèles éloignés produira un modèle aux performances dégradées sur les tâches initiales de chaque modèle combiné.

## 3.1 Distance entre vecteurs de tâches

Pour chacune des distances *d* évoquées précédemment, nous construisons la matrice 3D $T_d$ telle que $T_d(i, j, k)$ représente la distance *d* entre le vecteur de tâche des paramètres de la couche *k* des modèles respectivement entraînés sur la tâche *i* et *j*. Pour faciliter les analyses de cet objet, nous considérerons la réduction de $T_d$ par la moyenne sur les couches i.e. $\bar{T}_d(i, j) = \frac{1}{|K|} \sum_{k=1}^{|K|} T_d(i, j, k)$. Nous obtenons finalement une matrice symétrique $\bar{T}_d(i, j)$ qui rend compte des distances entre les modèles<fnref n="6" />. Un moyen simple de visualiser cette matrice est alors de réaliser une réduction de dimension par analyse en composantes principales (ACP) (F.R.S., 1901) afin de visualiser les modèles qui sont proches sur un plan. Nous reportons sur la figure 2 cette ACP sur les vecteurs de tâches des modèles affinés complètement. Nous ne présentons sur cette figure que les distances du cosinus et $L_2$, en effet pour les modèles affinés complètement les rangs des vecteurs de tâches sont très proches des rangs maximaux (rang variant entre 766 et 768 pour un rang maximal de 768) rendant peu informative et très coûteuse la distance de Grassmann (cf. section 2.2). Sur la figure 2b, nous observons des comportements intéressants. Les modèles affinés sur les tâches de classification en polarité se retrouvent groupés ensemble (YELP, SST2, IMDB), les modèles affinés sur RTE et MRPC

<footnote n="6">6. Nous notons que la moyenne à travers les couches peut masquer les comportements différents de chaque couches et nous adressons ceci plus loin dans l'étude</footnote>
<figure><img src="image_31.png" /><figcaption>FIGURE 2 – Projection deux dimension par PCA des matrices de distances $\bar{T}_d$, pour les vecteurs de tâches des modèles affinés complètement.</figcaption></figure>

sont aussi groupés ensembles ce qui peut s'expliquer par le fait que les tâches d'inférence et de détection de paraphrases sont très proches dans leurs définitions. Les tâches d'inférence comme MNLI, SNLI et QNLI dans une moindre mesure sont aussi groupées. La tâche QQP, qui semble s'apparenter à la tâche MRPC (détection de paraphrase), se range plutôt du côté des tâches d'inférence (MNLI, SNLI). Enfin, la tâche COLA, seule tâche d'acceptabilité linguistique, ne semble pas montrer d'association particulière avec une autre tâche. La séparation entre le groupe MNLI, SNLI et RTE, MRPC (qui sont 4 tâches très proches dans leurs définitions) peut s'expliquer par les tailles des jeux d'entraînements (c.f. table 1) : pour MNLI et SNLI, nous avons des jeux d'entraînements très volumineux (plusieurs centaines de milliers de phrases) tandis que ceux de RTE et MRPC sont plus modestes (quelques milliers). L'entraînement sur les jeux de données volumineux présente donc plus d'étapes d'entraînements (plus de mises à jour du modèle par descente de gradient), pouvant donc expliquer les différences observées. La distance du cosinus nous permet ainsi d'identifier des liens entre les modèles, qui semblent cohérents par rapport à leurs jeux de données d'entraînement. En revanche, les groupements réalisés sur la figure 2a ne donnent lieu à aucune interprétation intéressante traduisant le fait que la distance $L_2$ est trop restrictive pour bien évaluer des distances entre des modèles en comparaison à la distance du cosinus.

Nous reprenons ainsi cette analyse sur les modèles affinés avec des adaptations de faible rang. Pour rappel, dans le cadre de la méthode LoRA, le vecteur de tâche nous est directement donné par les produits *BA*. Comme évoqué précédemment, avec cette méthode, nous faisons une adaptation sur les projections en requêtes et en valeurs. Pour l'analyse de ces modèles, nous décidons donc de calculer $T_d^r$ et $T_d^v$ respectivement pour les requêtes et les valeurs (que l'on moyenne sur les couches). Nous pouvons retrouver les résultats de projection sur la figure 3. Nous ajoutons en plus la distance de Grassmann étant donné que cette fois-ci les vecteurs de tâches sont de faible rang (ce sont les produits *BA*), donnant ainsi un intérêt à cette distance. Sur la figure 3a, nous faisons la même constatation que sur la figure 2a : la distance $L_2$ est une distance trop restrictive pour apprécier les différences entre les modèles et nous ne distinguons pas de groupements particuliers. Sur la figure 3b, représentant les distance du cosinus entre produits *BA*, nous faisons des interprétations sensiblement similaires à celles sur la figure 2b avec, cette fois, la tâche COLA qui semble se rapprocher du groupement MNLI-SNLI. On observe en plus, très peu de différences entre les requêtes et les valeurs (excepté un léger déplacement de la tâche SST2), traduisant donc que, vis à vis de la distance du cosinus,
<figure><img src="image_32.png" /><figcaption>FIGURE 3 – Projection deux dimension par PCA des matrices de distances $\bar{T}_d$, pour les différentes distances.</figcaption></figure>

les modules de requêtes et de valeurs dans les blocs d'attention donnent les mêmes informations sur les différentes tâches. En revanche, sur la figure 3c, représentant les distances de Grassmann, nous remarquons désormais des différences entre les requêtes et les valeurs. L'interprétation sur les valeurs est identique à celle sur les cosinus, avec, en plus, des groupements qui sont mieux définis et mieux espacés sur les axes principaux (cf. échelle sur les axes). En revanche, celle sur les requêtes est légèrement différente, le groupement des tâches de polarité n'est plus clairement formé, avec la tâche SST2 qui se rapproche de tâches comme MRPC, RTE ou COLA. Il semblerait alors que, dans les projections de requêtes avec la distance de Grassmann, nous perdons certaines informations relatives à nos différentes tâches. La distance de Grassmann permet ainsi d'identifier, géométriquement, le fait que nous perdons certaines informations relatives aux différentes tâches sur les projections en requêtes dans le module d'attention. Ceci corrobore les travaux de Ethayarajh (2019); Fosse et al. (2023, 2022) qui montrent que, dans les modèles transformers, c'est la direction prise par les plongements en sortie des modules d'auto-attention qui donne le plus d'informations. Or, comme cela est rappelé dans (Fosse et al., 2023), dans les blocs d'attention, c'est principalement le module de valeurs qui influe sur la direction donnée aux plongements.
<table><caption>TABLE 3 – Moyenne (écart type) sur les tâches, des coefficients *r* de Spearman entre $\delta(i,.)$ et $\bar{T}_d(i,.)$.</caption><thead><tr><th></th><th><i>L</i><sub>2</sub></th><th>cos</th><th><i>d</i><sub>G</sub></th><th>cos<sup>5+</sup></th><th><i>d</i><sub>G</sub><sup>5+</sup></th></tr></thead><tbody><tr><td>Requêtes</td><td>0.45 (0.21)</td><td>0.65 (0.16)</td><td>0.65 (0.25)</td><td>0.65 (0.16)</td><td>0.61 (0.25)</td></tr><tr><td>Valeurs</td><td>0.48 (0.23)</td><td>0.68 (0.21)</td><td>0.64 (0.19)</td><td>0.74 (0.20)</td><td><b>0.77 (0.14)</b></td></tr></tbody></table>

## 3.2 Combinaison de modèles

Nous décidons de poursuivre cette étude sur les distances entre les modèles en réalisant des combinaisons entre ces derniers afin d’inspecter le comportement des modèles combinés en fonction de leur distance dans le but de mieux comprendre les effets d’interférence. Dans cette partie, nous nous concentrons sur les adaptations de rang faible et adoptons la démarche utilisée par Zhang et al. (2024). Si on considère les deux couples $(A_1, B_1)$ et $(A_2, B_2)$ de matrices LoRA dont le rang est identique, alors le couple résultant de leur combinaison sera défini par $(\frac{1}{2}(A_1 + A_2), \frac{1}{2}(B_1 + B_2))^7$. Ainsi, pour l’ensemble des tâches que nous avons introduites, nous définissons $\delta$ tel que $\delta(i, j)$, représente la différence de performance sur la tâche *i* entre (1) le modèle entraîné sur la tâche *i* et (2) le modèle entraîné sur la tâche *i* et combiné avec la tâche *j*. Pour toutes les tâches *i*, nous calculons la corrélation de Spearman (Sedgwick, 2014) entre $\delta(i,.)$ et $\bar{T}_d(i,.)$. Nous reportons les résultats de corrélations dans la table 3 (colonnes $L_2$, $cos$ et $d_G$). Nous pouvons tout d’abord y voir que l’ensemble des corrélations sont non nulles, ce qui va dans le sens de notre hypothèse de départ, à savoir à nouveau que l’association entre deux modèles éloignés résultera en un modèle moins bon sur les tâches initiales (une grande distance semble être associée à un grand $\delta$ et donc une grande interférence). Nous pouvons également voir que les valeurs de corrélations pour la distance $L_2$ sont plus faibles que pour les autres distances avec aussi des écart-types associés relativement grands. Ceci est à mettre en lien avec nos observations sur la distance $L_2$ qui était trop stricte et ne nous permettait pas de visualiser des associations intéressantes entre les tâches. Enfin, nous constatons que les corrélations calculées pour les distances de Grassmann et du cosinus sont plus fortes, traduisant le fait que ces métriques semblent plus intéressantes pour estimer les effets d’interférence entre modèles (et aussi les distances entre modèles cf. section 3.1).

Les observations de Rogers et al. (2021) suggèrent cependant que les différentes couches d’un modèle transformer encodent des informations différentes qui sont de plus en plus liées à la tâche à mesure que l’on monte dans les couches. Nous décidons alors de recalculer les corrélations précédentes entre $\delta(i,.)$ et $\bar{T}_d^k(i,.)$, où $\bar{T}_d^k(i,.)$ représente les distances moyennées sur les *k* dernières couches. Dans cette dernière expérience, nous supprimons la distance $L_2$ qui n’a pas semblé fournir de résultats intéressants jusqu’ici. Nous testons dans un premier temps pour $k = 12$ (c.-à-d. la dernière couche dans un modèle roberta-base) et observons une chute des coefficients de corrélation, traduisant le fait que la dernière couche d’un modèle ne semble pas suffire pour estimer les effets d’interférence entre ces derniers. Nous reportons finalement les résultats pour $k = 5$ (qui semble nous fournir les meilleurs résultats) sur la table 3 (colonnes $cos^{5+}$ et $d_G^{5+}$). Cette fois-ci, pour les modules de valeurs dans les blocs d’attention, nous observons une hausse des coefficients de corrélations et une baisse de la variance associée. La distance de Grassmann semble en particulier donner des corrélations plus fortes. Les modules de requêtes ne montrent pas d’évolution particulière, ce qui est à mettre en lien avec les précédentes observations de la section 3.1 (les modules de requêtes influent peu sur la

<footnote n="7">7. Nous travaillons avec des modèles de type encodeur, la tête de classification n’est pas modifiée lors de la combinaison de deux modèles</footnote>
direction des plongements). Il semblerait alors que les couches profondes des modèles *transformers* soient plus intéressantes pour caractériser les tâches et les possibles effets d'interférence entre les modèles, les couches se situant aux extrémités étant trop ou pas assez spécialisées sur les données ce qui semble correspondre à nouveau avec les observations de Rogers et al. (2021).

## 3.3 Interprétation géométrique

À ce stade, nous pouvons faire une interprétation géométrique sur la distance de Grassmann. Durant les expériences précédentes sur les adaptations de rang faible (distance et corrélation suite aux combinaisons), la distance de Grassmann nous a donné des résultats très similaires à la distance du cosinus. Cependant, lorsque nous calculons cette distance entre deux couples $(A_1, B_1)$, $(A_2, B_2)$ LoRA, nous avons l'égalité suivante<fnref n="8" /> :

$$d_G(B_1 A_1, B_2 A_2) = d_G(B_1, B_2). \qquad (2)$$

Cette égalité est la conséquence directe du fait que pour tout couple $(A, B)$, nous avons $Im(BA) \subset Im(B)$ ainsi que du fait que $A$ est surjective (vérification empirique). Ainsi, le fait que la distance du cosinus et la distance de Grassmann amènent aux mêmes interprétations suggère que la majeure partie des informations portées par une adaptation LoRA réside dans leurs matrices $B$. Ceci peut s'expliquer de par le fait que les matrices $A$ projettent des représentations de très grandes dimensions (ici 768) dans un espace de très faible dimension (ici 8). Cette forte compression induit nécessairement une forte distortion et donc une grande perte d'informations dans les représentations. C'est ensuite la matrice $B$ qui se charge de re-projeter les représentations dans un espace de grande dimension et de donner ainsi à chaque représentation sa direction.

# 4 Conclusion et perspectives

À travers cette étude, nous reprenons différentes métriques afin de calculer l'association entre les modèles dans l'espace des paramètres, basé sur la notion de vecteurs de tâches. Nous montrons que la distance $L_2$ est trop restrictive et ne permet pas de bien apprécier les différences entre les modèles. Il faut alors se tourner vers des métriques plus vectorielles (sensibles à la direction et non à la norme), comme la distance du cosinus ou celle de Grassmann, lorsque cette dernière fait du sens, qui permettent de mettre en évidence des liens cohérents entre les tâches sur lesquelles les modèles ont été entraînés. Cette association entre les tâches est notamment mise en avant en combinant des modèles adaptés avec LoRA. Nous montrons que combiner des modèles éloignés dans l'espace des paramètres semble perturber ces derniers en les rendant moins bons sur les tâches initiales, répondant ainsi à Ilharco et al. (2022), qui évoquaient dans leur discussion que les combinaisons entre modèles orthogonaux, au sens du cosinus, aboutiraient à moins d'interférences entre les modèles. De manière plus précise, les récents travaux de Ortiz-Jimenez et al. (2024) suggèrent que cette perte de performance suite à la combinaison des modèles est due au fait que le modèle ne respecte pas la propriété dite d'arithmétique des tâches, ce qui semble donc traduire que le régime d'entraînement du modèle n'est pas linéaire. Les auteurs proposent alors une méthode pour rendre linéaire le régime d'entraînement des modèles, afin de faciliter la combinaison des paramètres de ces derniers.

<footnote n="8">8. Nous justifions théoriquement cette égalité dans l'annexe A</footnote>
Notre étude possède plusieurs limites. Tout d'abord, à une époque où le paradigme des modèles génératifs est dominant, nous n'avons traité que des tâches de classification relativement simples (3 classes au maximum) avec un modèle de type encodeur. Nous pouvons observer la simplicité des tâches traitées lors des observations de la section 3.1. Dans cette section, les interprétations sur les distances entre les tâches sont relativement similaires entre les modèles affinés complètement et les modèles affinés avec LoRA, suggérant donc que, avec un objet dont la dimension intrinsèque est faible, nous capturons essentiellement les mêmes informations qu'avec un vecteur de tâche en très grande dimension. Cet énoncé n'est pas à prendre pour résultat mais plutôt à mettre en regard avec la simplicité des tâches que nous avons considérée ici. En effet, nous supposons que l'on peut établir une corrélation entre le nombre de dimensions minimum qu'il faut donner à la méthode LoRA pour encoder les mêmes informations qu'un vecteur de tâche complet et la difficulté des tâches traitées : plus il faut de dimensions, plus la tâche est complexe. Une extension possible est alors de reprendre ces travaux avec des modèles de type encodeur/décodeur (Raffel et al., 2020; Lewis et al., 2020) ou décodeur pur (Radford et al., 2019) et sur des tâches génératives (résumé, question réponse, etc...) plus complexes qui demanderaient *a priori* plus de dimensions pour être modélisées correctement. Une seconde limite réside dans notre expérience sur les combinaisons des modèles. Nous nous limitons ici à un cadre très simple qui ouvre certaines pistes pour comprendre la combinaison dans un but de multi-tâches. Nous n'avons cependant pas évoqué le cadre des entraînements modulaires (combiner des modèles pour réaliser une nouvelle tâche). Dans ce cas, combiner des modèles éloignés peut effectivement avoir un intérêt. Il nous faut alors vérifier que le modèle sur la nouvelle tâche peut s'exprimer comme une combinaison linéaire des modèles initiaux. Dans un cas d'affinage complet, cela ne semble pas poser de problèmes étant donné que les vecteurs de tâches sont de très grandes dimensions et donc la probabilité de couvrir tout l'espace avec les combinaisons de ces vecteurs est grande. Cela devient moins évident dans un cas d'adaptation de rang faible où les vecteurs de tâches sont de très faible dimension (relativement à leur taille) et donc, couvrir tout l'espace avec de simples combinaisons linéaires devient moins probable. Avoir des vecteurs de tâches qui sont orthogonaux dans ce dernier cas permettrait d'augmenter cette dernière probabilité. Cette remarque suggère alors que la notion d'interférence entre les modèles lors de leur combinaison dépend du contexte dans lequel on se place. Dans notre étude, nous avons supposé que les interférences se mesuraient *via* la perte de performance dans une tâche sur laquelle il a été entraîné suite à une combinaison avec un autre modèle. Cette dernière ne semble pas en adéquation avec un cadre d'entraînement modulaire où on cherche à adresser une nouvelle tâche.

Références

AFRIAT S. N. (1957). Orthogonal and oblique projectors and the characteristics of pairs of vector spaces. In *Mathematical proceedings of the Cambridge philosophical society*, volume 53, p. 800–816 : Cambridge University Press.

ALEEM S., DIETLMEIER J., ARAZO E. & LITTLE S. (2024). Convlora and adabn based domain adaptation via self-training. *arXiv preprint arXiv:2402.04964*.

ASGHAR N. (2016). Yelp dataset challenge : Review rating prediction. *arXiv preprint arXiv:1605.05362*.

BJÖRCK A. & GOLUB G. H. (1973). Numerical methods for computing angles between linear subspaces. *Mathematics of computation*, **27**(123), 579–594.
BOWMAN S. R., ANGELI G., POTTS C. & MANNING C. D. (2015). A large annotated corpus for learning natural language inference. In *Conference on Empirical Methods in Natural Language Processing, EMNLP 2015*, p. 632–642 : Association for Computational Linguistics (ACL).

CHRONOPOULOU A., PFEIFFER J., MAYNEZ J., WANG X., RUDER S. & AGRAWAL P. (2023). Language and task arithmetic with parameter-efficient layers for zero-shot summarization. *arXiv preprint arXiv:2311.09344*.

DETTMERS T., PAGNONI A., HOLTZMAN A. & ZETTLEMOYER L. (2024). Qlora : Efficient finetuning of quantized llms. *Advances in Neural Information Processing Systems*, **36**.

DIETTERICH T. G. (2000). Ensemble methods in machine learning. In *International workshop on multiple classifier systems*, p. 1–15 : Springer.

ETHAYARAJH K. (2019). How contextual are contextualized word representations? comparing the geometry of bert, elmo, and gpt-2 embeddings. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)* : Association for Computational Linguistics.

FALISSARD L., GUIGUE V. & SOULIER L. (2023). Apprentissage de sous-espaces de préfixes. In *18e Conférence en Recherche d'Information et Applications-16e Rencontres Jeunes Chercheurs en RI-30e Conférence sur le Traitement Automatique des Langues Naturelles-25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues*, p. 59-73 : ATALA.

FOSSE L., NGUYEN D.-H., SÉBILLOT P. & GRAVIER G. (2022). Une étude statistique des plongements dans les modèles transformers pour le français. In *Traitement Automatique des Langues Naturelles (TALN 2022)*, p. 247-256 : ATALA.

FOSSE L., NGUYEN D. H., SÉBILLOT P. & GRAVIER G. (2023). Géométrie de l'auto-attention en classification : quand la géométrie remplace l'attention. In *18e Conférence en Recherche d'Information et Applications\16e Rencontres Jeunes Chercheurs en RI\30e Conférence sur le Traitement Automatique des Langues Naturelles\25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues*, p. 137-150 : ATALA.

FRANKLE J., DZIUGAITE G. K., ROY D. & CARBIN M. (2020). Linear mode connectivity and the lottery ticket hypothesis. In *International Conference on Machine Learning*, p. 3259-3269 : PMLR.
F.R.S. K. P. (1901). Liii. on lines and planes of closest fit to systems of points in space. *The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science, 2*(11), 559-572.
DOI: 10.1080/14786440109462720.

FU Z., YANG H., SO A. M.-C., LAM W., BING L. & COLLIER N. (2023). On the effectiveness of parameter-efficient fine-tuning. In *Proceedings of the AAAI Conference on Artificial Intelligence*, volume 37, p. 12799-12807.

GANDIKOTA R., MATERZYNSKA J., ZHOU T., TORRALBA A. & BAU D. (2023). Concept sliders : Lora adaptors for precise control in diffusion models. *arXiv preprint arXiv:2311.12092*.

GHOJOGH B. & GHODSI A. (2020). Attention mechanism, transformers, bert, and gpt : tutorial and survey.

GU Y., WANG X., WU J. Z., SHI Y., CHEN Y., FAN Z., XIAO W., ZHAO R., CHANG S., WU W. *et al*. (2024). Mix-of-show : Decentralized low-rank adaptation for multi-concept customization of diffusion models. *Advances in Neural Information Processing Systems*, **36**.

HAMM J. & LEE D. D. (2008). Grassmann discriminant analysis : a unifying view on subspace-based learning. In *Proceedings of the 25th international conference on Machine learning*, p. 376-383.
HU E. J., WALLIS P., ALLEN-ZHU Z., LI Y., WANG S., WANG L., CHEN W. et al. (2021). Lora : Low-rank adaptation of large language models. In *International Conference on Learning Representations*.

ILHARCO G., RIBEIRO M. T., WORTSMAN M., SCHMIDT L., HAJISHIRZI H. & FARHADI A. (2022). Editing models with task arithmetic. In *The Eleventh International Conference on Learning Representations*.

JIN X., REN X., PREOTIUC-PIETRO D. & CHENG P. (2022). Dataless knowledge fusion by merging weights of language models. *arXiv preprint arXiv:2212.09849*.

KADDOUR J., HARRIS J., MOZES M., BRADLEY H., RAILEANU R. & MCHARDY R. (2023). Challenges and applications of large language models. *arXiv preprint arXiv:2307.10169*.

KOPICZKO D. J., BLANKEVOORT T. & ASANO Y. M. (2023). Vera : Vector-based random matrix adaptation. *arXiv preprint arXiv:2310.11454*.

LEWIS M., LIU Y., GOYAL N., GHAZVININEJAD M., MOHAMED A., LEVY O., STOYANOV V. & ZETTLEMOYER L. (2020). Bart : Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 7871–7880.

LI W., PENG Y., ZHANG M., DING L., HU H. & SHEN L. (2023). Deep model fusion : A survey. *arXiv preprint arXiv:2309.15698*.

LI X. L. & LIANG P. (2021). Prefix-tuning : Optimizing continuous prompts for generation. In *Proceedings of the Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 4582–4597.

LIAN D., ZHOU D., FENG J. & WANG X. (2022). Scaling & shifting your features : A new baseline for efficient model tuning. *Advances in Neural Information Processing Systems*, **35**, 109–123.

LIU H., TAM D., MUQEETH M., MOHTA J., HUANG T., BANSAL M. & RAFFEL C. A. (2022). Few-shot parameter-efficient fine-tuning is better and cheaper than in-context learning. *Advances in Neural Information Processing Systems*, **35**, 1950–1965.

LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). Roberta : A robustly optimized bert pretraining approach. *arXiv preprint arXiv:1907.11692*.

LUO S., TAN Y., PATIL S., GU D., VON PLATEN P., PASSOS A., HUANG L., LI J. & ZHAO H. (2023). Lcm-lora : A universal stable-diffusion acceleration module. *arXiv preprint arXiv:2311.05556*.

MAAS A., DALY R. E., PHAM P. T., HUANG D., NG A. Y. & POTTS C. (2011). Learning word vectors for sentiment analysis. In *Proceedings of the 49th annual meeting of the association for computational linguistics: Human language technologies*, p. 142–150.

MATENA M. S. & RAFFEL C. A. (2022). Merging models with fisher-weighted averaging. *Advances in Neural Information Processing Systems*, **35**, 17703–17716.

MIAO J. & BEN-ISRAEL A. (1992). On principal angles between subspaces in rn. *Linear algebra and its applications*, **171**, 81–98.

ORTIZ-JIMENEZ G., FAVERO A. & FROSSARD P. (2024). Task arithmetic in the tangent space : Improved editing of pre-trained models. *Advances in Neural Information Processing Systems*, **36**.

PFEIFFER J., RUDER S., VULIĆ I. & PONTI E. M. (2023). Modular deep learning. *arXiv preprint arXiv:2302.11529*.

RADFORD A., WU J., CHILD R., LUAN D., AMODEI D., SUTSKEVER I. et al. (2019). Language models are unsupervised multitask learners.
RAFFEL C., SHAZEER N., ROBERTS A., LEE K., NARANG S., MATENA M., ZHOU Y., LI W. & LIU P. J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. *The Journal of Machine Learning Research*, **21**(1), 5485–5551.

REBUFFI S.-A., BILEN H. & VEDALDI A. (2017). Learning multiple visual domains with residual adapters. *Advances in neural information processing systems*, **30**.

ROGERS A., KOVALEVA O. & RUMSHISKY A. (2021). A primer in bertology : What we know about how bert works. *Transactions of the Association for Computational Linguistics*, **8**, 842–866.

SAPORTA G. (2006). *Probabilités, analyse des données et statistique*. Editions technip.

SEDGWICK P. (2014). Spearman's rank correlation coefficient. *Bmj*, **349**.

SHAH V., RUIZ N., COLE F., LU E., LAZEBNIK S., LI Y. & JAMPANI V. (2023). Ziplora : Any subject in any style by effectively merging loras. *arXiv preprint arXiv :2311.13600*.

SUN Y., CHEN Q., HE X., WANG J., FENG H., HAN J., DING E., CHENG J., LI Z. & WANG J. (2022). Singular value fine-tuning : Few-shot segmentation requires few-parameters fine-tuning. *Advances in Neural Information Processing Systems*, **35**, 37484–37496.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER Ł. & POLOSUKHIN I. (2017). Attention is all you need. *Advances in neural information processing systems*, **30**.

WANG A., SINGH A., MICHAEL J., HILL F., LEVY O. & BOWMAN S. R. (2018). Glue : A multi-task benchmark and analysis platform for natural language understanding. In *International Conference on Learning Representations*.

YADAV P., TAM D., CHOSHEN L., RAFFEL C. & BANSAL M. (2023). Resolving interference when merging models. *arXiv preprint arXiv :2306.01708*.

YANG E., WANG Z., SHEN L., LIU S., GUO G., WANG X. & TAO D. (2023). Adamerging : Adaptive model merging for multi-task learning. *arXiv preprint arXiv :2310.02575*.

YU L., YU B., YU H., HUANG F. & LI Y. (2023). Language models are super mario : Absorbing abilities from homologous models as a free lunch. *arXiv preprint arXiv :2311.03099*.

ZHANG J., LIU J., HE J. et al. (2024). Composing parameter-efficient modules with arithmetic operation. *Advances in Neural Information Processing Systems*, **36**.
# A Retour sur la distance de Grassmann

Dans cette section, nous ajoutons des éléments de justifications au fait que si nous considérons deux couples de matrices LoRA $(A_1, B_1)$ et $(A_2, B_2)$, alors nous avons $d_g(B_1A_1, B_2A_2) = d_G(B_1, B_2)$. Comme énoncé dans le corps de l'étude, cette propriété découle directement du fait que dans un premier temps, nous avons $\mathrm{Im}(B_iA_i) \subset \mathrm{Im}(B_i)$ par définition, puis du fait que les matrices $A_i$ sont de rangs plein 9, induisant ainsi que $\mathrm{Im}(B_i) \subset \mathrm{Im}(B_iA_i)$ (utilisation du théorème du rang) amenant donc à l'égalité $\mathrm{Im}(B_iA_i) = \mathrm{Im}(B_i)$.

En effet, sachant cette égalité, pour calculer $d_G(B_1A_1, B_2A_2)$ nous devons dans un premier temps trouver, $W_1$ et $W_2$, des matrices dont les colonnes sont une base orthonormée de respectivement $\mathrm{Im}(B_1A_1)$ et $\mathrm{Im}(B_2A_2)$ (c.f. équation 1). Or d'après l'égalité ensembliste précédente trouver une base orthonormée de $\mathrm{Im}(B_1A_1)$ (resp. $\mathrm{Im}(B_2A_2)$) est équivalent à trouver une base orthonormée de $\mathrm{Im}(B_1)$ (resp. $\mathrm{Im}(B_2)$), montrant finalement ainsi que :

$$d_g(B_1A_1, B_2A_2) = d_G(B_1, B_2)$$

De cette égalité ainsi que de la proximité des résultats entre les distances du cosinus et de Grassmann, nous en déduisons que c'est principalement la matrice $B$ qui encode des informations relatives aux tâches et non la matrice $A$ dans les décompositions de faible rang. Afin de supporter ceci nous réalisons à nouveau l'opération de regroupement des modèles via la distance du cosinus, en séparant cette fois-ci l'analyse entre les matrices $A$ et $B$, nous reportons les résultats sur la figure 4. Sur cette figure, nous remarquons, effectivement, que le regroupement effectué simplement avec les matrices $B$ est relativement proche de celui observé avec le produit complet sur la figure 3b, tandis que celui observé sur les matrices $A$ semble relativement mauvais pour l'association des différentes tâches. Appuyant ainsi empiriquement notre argument théorique.

Ce dernier point semble intéressant pour l'étude des vecteurs de tâches. En effet, une des difficultés de l'étude de ces vecteurs, est la dimension de ces derniers qui est très grande. Le fait de pouvoir supprimer une matrice réduit considérablement le nombre de paramètres à prendre en compte et réduit ainsi fortement la dimensionnalité. La réduction de dimension des vecteurs de tâches semble un point clé pour l'étude de ces objets. De plus en plus d'études apparaissent pour réduire le nombre de paramètres à mettre à jour dans les décompositions de faible rang (Kopiczko et al., 2023; Sun et al., 2022), permettant ainsi de venir diminuer fortement la dimension du vecteur de tâche. Une réduction de la dimension impliquant nécessairement une meilleure compréhension empirique de l'objet, et donc possiblement une meilleure combinaison de vecteurs de tâches a posteriori.

<footnote n="9">9. vérification empirique</footnote>
<figure><img src="image_33.png" /><figcaption>FIGURE 4 – Regroupement *via* la distance du cosinus en séparant l’analyse entre les matrices *A* et *B*</figcaption></figure>
# TAL et analyse de l'activité en ergonomie : extraction d'informations spécialisées dans des transcriptions d'entretiens

Andréa Blivet<fnref n="1" />

(1) SNCF DTIPG, 1-3 avenue François Mitterrand, 93210 Saint-Denis, France

andrea.blivet@gmail.com

## RÉSUMÉ

L'ergonomie du travail est une discipline qui étudie les conditions de travail des individus. Son application se traduit, entre autres, par la réalisation d'entretiens d'analyse de l'activité qui ont pour objectif de faire émerger les impacts négatifs de la situation de travail sur la santé physique et morale des travailleurs. Notre étude consiste en la mise en place d'un système d'extraction automatique des informations relatives à ces impacts dans les transcriptions des entretiens réalisés. Ce système se fonde sur une approche hybride, associant ressources terminologiques et calcul de similarité contextuelle.

## ABSTRACT

### NLP and Activity Analysis in Ergonomics : Extraction of Specialized Information from Interview Transcriptions

The field of occupational ergonomics examines the working conditions of individuals, often through interviews analyzing their activities to identify negative impacts of the work environment on both physical and mental well-being. Our study focuses on implementing an automated system for extracting information pretaining to these impacts from interview transcriptions. The system adopts a hybrid approach, combining terminological resources with contextual similarity calculations.

MOTS-CLÉS : Extraction d'information, Marqueur, Ergonomie du travail, Corpus Spécialisé, Oral.

KEYWORDS: Information Extraction, Marker, Occupational Ergonomics, Specialized Corpus, Oral.

## 1 Extraction d'information en corpus spécialisé

En ergonomie du travail, les analyses de l'activité s'appuient en partie sur des interactions langagières, issues d'entretiens de terrain. Dans cette discipline, des approches linguistiques telles que l'analyse des pronoms personnels (Kebir et al., 2021) ou encore l'analyse discursive des structures fonctionnelles des entretiens (Bonneau, 2008) ont déjà été utilisées pour proposer aux ergonomes de nouvelles manières de traiter les données d'entretien. Celles-ci nécessitent l'intervention de linguistes, et laissent aux ergonomes peu d'autonomie dans la réalisation de leurs analyses. Dans notre étude, nous proposons d'explorer les apports du TAL pour automatiser l'extraction des informations considérées comme pertinentes dans les données d'entretien tout en laissant la maîtrise de leurs analyses aux ergonomes. Les informations ciblées doivent être représentatives de la situation de travail de l'individu interrogé et s'inscrivent dans les thématiques suivantes (inspirées de la méthode ITMaMi<fnref n="1" />) : l'individu,

<figure><img src="image_34.png" /></figure>

<footnote n="1">1. https://bionet.scenari-community.org/Methodes_outils_PSE/co/ITMaMi.html</footnote>
les tâches qu'il effectue, le matériel qu'il utilise, l'organisation de son travail (soit l'organisation « humaine » et la planification des tâches), et son environnement physique. Définies de concert avec un ergonome expert, ces thématiques permettent à la fois de guider, structurer et filtrer l'extraction des informations qui y sont liées.

L'extraction d'information (EI) est une tâche classique du domaine du TAL, qui vise à dégager des segments textuels saillants pour un besoin donné en utilisant des méthodes de text-mining (règles lexico-syntaxiques, apprentissage automatique) ou des méthodes plus récentes en apprentissage profond (approches neuronales). Traditionnellement, les systèmes d'EI s'intéressent à la détection d'entités nommées (Nouvel et al., 2015), à l'identification d'événements (Kodelja et al., 2019), aux relations sémantiques entre les items (Wang, 2013). L'EI est utilisée dans divers domaines comme le domaine judiciaire pour l'analyse de dossiers d'enquêtes (Gianola, 2020) ou le domaine médical pour le traitement de compte-rendus médicaux (Lemaitre et al., 2020), l'extraction de connaissances spécialisées (Trzmielewski & Gnoli, 2022) ou l'aide au diagnostic (Amato et al., 2013).

Dans ces travaux, la délimitation des segments textuels considérés comme pertinents est définie en fonction du besoin informationnel. Les ressources (lexicales, ontologiques, etc.) et les outils (analyses syntaxiques, sémantiques, etc.) choisis pour leur extraction dépendent quant à eux de la nature des données dont sont extraits les segments. En effet, les données issues de l'oral sont particulièrement marquées par le caractère spontané de la situation d'énonciation, ne pouvant pas répondre à des normes aussi strictes qu'à l'écrit. L'oral spontané a ses propres spécificités syntaxiques, qui se traduisent par des structures moins rigides et moins explicitées que dans la forme écrite (Kurdi, 2003; Flamein, 2019). Le discours oral présente également des extragrammaticalités, comme des disfluences, des pauses ou encore des faux-départs, qui influent sur la prédicibilité du discours (Blanche-Benveniste et al., 1990; Crystal, 2001; Kurdi, 2003) et en conséquence, sur le choix des outils et méthodes utilisées pour son analyse (Nasr & Béchet, 2009; Lacheret et al., 2014). (Even, 2005) utilise par exemple des ontologies de termes spécifiques pour l'extraction d'information depuis des notes de l'oral quand (Tambellini, 2007) s'appuie sur des indices et des fenêtres contextuelles pour traiter des transcriptions d'entretiens d'embauche. Plus récemment, des approches neuronales ont été utilisées par (Parcollet et al., 2019) pour l'identification de thèmes dans des conversations téléphoniques.

Dans notre étude, les informations ciblées par la tâche d'extraction sont dites « spécialisées » et se définissent comme des informations professionnelles (Chaudiron, 2000). Elles référent à la fois au domaine ferroviaire et au domaine de l'ergonomie du travail, discipline guidant les analyses de l'activité. Les modèles d'extraction d'information classiques sur ce type de données, c'est-à-dire intégrant du vocabulaire technique ou des contraintes spécifiques à un domaine, présentent des lacunes avec une absence de données similaires à celles ciblées dans les données d'entraînement (Ramponi & Plank, 2020).

Sur la base des travaux mentionnés précédemment et des caractéristiques de nos données, nous proposons de décomposer la tâche d'extraction d'information en mettant au point un système capable de :

- localiser dans un texte les informations pertinentes à partir de ressources terminologiques,

- délimiter les informations afin de les rendre autonomes,

- catégoriser les informations selon les thématiques établies en amont,

- suggérer des informations qui pourraient être intéressantes pour l'utilisateur.
# 2 Corpus

## 2.1 Données

Les données que nous utilisons sont des entretiens d'analyse de l'activité réalisés en interne entre 2021 et 2023. Le corpus à disposition se compose de 52 entretiens oraux (soit 35h47 d'enregistrement) réunissant entre 2 et 5 locuteurs. Ces entretiens sont considérés comme relevant d'un genre et d'un domaine spécifiques pour plusieurs raisons. Tout d'abord, leur contexte de production correspond à des conversations dispensées à l'oral avec des intentions de communication spécifiques. Un locuteur (l'enquêteur) cherche à obtenir des productions langagières du type informationnel de la part d'un autre locuteur (l'agent) : les participants n'ont pas les mêmes intentions et l'échange peut être considéré comme asymétrique. Dans la typologie des échanges oraux proposée par (Walter, 1996), ces entretiens peuvent être considérés comme du « dialogue d'enquête ». L'autre spécificité concerne le contenu des entretiens : ces derniers contiennent des termes qui relèvent à la fois d'un domaine (le ferroviaire), et d'une discipline scientifique (l'ergonomie du travail). Les questions révèlent les enjeux de l'ergonomie : identifier des douleurs, des contraintes organisationnelles ou physiques, etc. Les réponses éclairent à la fois sur ces enjeux, et apportent également des éléments techniques sur le domaine ferroviaire, en décrivant des processus, ou des tâches par le biais d'outils utilisés, etc.

## 2.2 Pré-traitement des données

La première étape consiste en la transcription orthographique des enregistrements d'entretiens. Pour cela, les enregistrements sont d'abord segmentés en tours de parole à l'aide du système de reconnaissance de locuteur PyAnnote (Bredin et al., 2020). Les tours de parole sont ensuite transcrits à l'aide du modèle Whisper<fnref n="2" /> (Radford et al., 2023), qui propose un premier niveau de normalisation en écartant de la transcription une partie des disfluences et en rétablissant certaines formes contractées (« aprem » devient « après-midi »). Enfin, un classifieur est entraîné pour reconnaître le rôle de chaque locuteur à savoir, enquêteur ou agent, à partir de descripteurs linguistiques (fréquence des pronoms, longueur des tours de parole, etc.). La Figure 1 représente l'ensemble des processus impliqués dans le pré-traitement et les données obtenues qui servent d'entrée au système d'extraction.

<figure><img src="image_35.png" /><figcaption>FIGURE 1 – Chaîne de traitement pour la transformation des données orales</figcaption></figure>

En parallèle, 5 entretiens impliquant 2 locuteurs ont été transcrits manuellement pour servir de référence, représentant ainsi 41 minutes d'enregistrement et comportant 8280 tokens (dont 1166 différents) répartis en 418 tours de parole (soit 2% du corpus). Ainsi, la segmentation en locuteurs

<footnote n="2">2. Modèle Large-V2 https://huggingface.co/openai/whisper-large-v2</footnote>
présente 85,41% d'exactitude, le *Word Error Rate* obtenu pour la transcription est de 11,3% et enfin, le classifieur pour l'attribution des rôles des locuteurs obtient un F-Score de 0,94.

# 3 Méthodologie : mise en œuvre d'une méthode hybride pour optimiser l'extraction d'information

La localisation, la délimitation et la catégorisation des informations sont des tâches réalisées à l'aide d'une approche supervisée, s'appuyant sur les connaissances transmises par les experts ergonomes internes. Ainsi, le système extrait dans un premier temps des segments textuels considérés *a priori* comme pertinents. Dans un second temps, un système de suggestions, s'appuyant sur une méthode non supervisée, a été mis en place, afin de pallier le manque de connaissances incluses dans les ressources externes.

## 3.1 Approche supervisée : utilisation de ressources lexicales

L'approche supervisée consiste à extraire les informations en s'appuyant sur les connaissances transmises par les experts, capitalisées dans des ressources externes, selon une méthode collaborative déjà réalisée dans des tâches d'extraction sur des données médicales (Lemaitre et al., 2020). Les ressources utilisées ici sont des lexiques thématiques de marqueurs lexicaux présentés en Table 1. Ils se composent de termes lemmatisés et identifiés par des experts comme des pointeurs de la mention d'une thématique dans l'entretien. Par exemple, lorsque l'agent interrogé mentionne son épaule, le terme « épaule » est considéré comme marqueur d'une information portant sur la thématique de l'Individu et est ensuite répertorié.

<table><caption>TABLE 1 – Répartition et composition des lexiques par thématique</caption><thead><tr><td>Thématiques</td><td>Nombre de marqueurs</td><td>Exemples de marqueurs</td></tr></thead><tbody><tr><td>Individu</td><td>42</td><td>pénibilité, nuque, position, posture</td></tr><tr><td>Tâche</td><td>30</td><td>méthode, manutentionner, cercler, procédure</td></tr><tr><td>Matériel</td><td>74</td><td>casque, chaise, outil, tournevis</td></tr><tr><td>Organisation</td><td>52</td><td>pause, mécanicien, aiguilleur, polyvalent</td></tr><tr><td>Environnement</td><td>37</td><td>sol, température, bruit, place</td></tr><tr><td>Total</td><td>235</td><td></td></tr></tbody></table>

La présence d'un marqueur permet de localiser une information dans le texte, leur localisation repose sur une recherche de correspondance sur une version tokenisée et lemmatisée<fnref n="3" /> de l'entretien. L'étape suivante consiste à délimiter le segment textuel qui correspond à l'information. D'après (Dupont et al., 2002), une information est définie comme étant la combinaison d'entités ou d'événements avec leurs caractéristiques et relations. L'EI permet alors à formaliser les informations à partir d'analyses linguistiques comme l'analyse morphosyntaxique ou encore l'analyse sémantique compositionnelle. La stratégie que nous avons mise en place (cf. 3 Partie A) repose sur cette hypothèse. Elle consiste dans un premier temps à récupérer les dépendants directs et indirects des marqueurs à partir d'une analyse

<footnote n="3">3. https://spacy.io/models/fr - modèle ‘fr_core_news_lg’</footnote>
syntaxique proposée par Stanza<fnref n="4" /> (Cao et al., 2020). Concrètement, les marqueurs nominaux sont récupérés avec leurs dépendants directs et indirects (cf. Exemple a)), les adjectifs, quant à eux, sont mis en contexte en récupérant leur tête (cf. Exemple b)), enfin les arguments directs des marqueurs verbaux sont récupérés, soit les sujets et les compléments directs (cf. Exemple c)). Dans un second temps, les segments textuels extraits sont organisés selon les thématiques mentionnées en introduction. La thématique affectée à une information correspond à la thématique du marqueur ayant permis la localisation de cette même information.

a) *ta situation de télétravail* te convient ?

b) souvent on déplace des *charges lourdes*

c) je **ressentais** des **douleurs** pendant la journée

Cette approche se nourrit uniquement des ressources constituées par les experts. Celles-ci ne peuvent
cependant pas être exhaustives. Une approche complémentaire doit donc être intégrée.

## 3.2 Approche à base de modèles non-supervisés : proximité distributionnelle

Une approche non-supervisée, basée sur la proximité distributionnelle, a été utilisée pour compléter l'extraction et pallier aux limites de l'approche supervisée en proposant une alternative aux ressources lexicales.

La proximité distributionnelle est un principe qui considère que deux termes avec des contextes similaires peuvent être considérés comme sémantiquement proches, indépendamment de leur relation lexicale (Fabre, 2015; Firth, 1957). Pour accéder aux contextes des termes, nous utilisons des plongements lexicaux (pré-entraînés de SpaCy<fnref n="5" />) qui sont des représentations vectorielles des termes calculés, entre autres, à partir de leur environnement linguistique. La représentation par plongement permet de comparer la similarité des contextes entre deux termes pour définir leur niveau de proximité sémantique en calculant leur cosinus. Pour déterminer si deux termes sont considérés comme proches, il faut définir un seuil qui correspond au cosinus minimal attendu. Pour cela, un clustering hiérarchique a été effectué pour regrouper les marqueurs proches dans chaque lexique thématique. Les scores de silhouette des classes obtenus ont permis de confirmer ou non leur homogénéité. Ensuite, la moyenne du cosinus de similarité entre tous les marqueurs d'une même classe est considérée comme le seuil minimal de proximité nécessaire pour considérer un terme nouveau comme sémantiquement lié aux autres.

La Figure 2 illustre le processus de sélection, opérant sur l'ensemble des noms, verbes et adjectifs, à partir de l'exemple du terme *scoliose*, absent des ressources lexicales. Le cosinus de similarité est calculé entre ce terme et tous les autres marqueurs. Si le cosinus maximal est entre *scoliose* et *séquelle*, le terme est considéré comme candidat marqueur pour le système de suggestion d'informations puisque le cosinus est supérieur au seuil déterminé pour la thématique Individu dont est issu le terme *séquelle*. En revanche, si le cosinus maximal observé est entre *scoliose* et *motrice*, le terme *scoliose* sera exclu de la suggestion car le cosinus est inférieur au seuil pour la thématique à laquelle appartient le terme *motrice*.

<footnote n="4">4. https://stanfordnlp.github.io/stanza/models.html - modèle 'fr'</footnote>

<footnote n="5">5. https://spacy.io/models/fr - modèle 'fr_core_news_lg'</footnote>
<figure><img src="image_36.png" /><figcaption>FIGURE 2 – Processus de sélection des marqueurs potentiels pour le système de suggestion</figcaption></figure>

Les termes avec un score de proximité supérieur au seuil sont donc considérés comme des marqueurs potentiels. Le traitement appliqué est le même que pour les marqueurs avérés avec une délimitation des contextes à l'aide de l'analyse syntaxique (Figure 3 - Partie B). En revanche, contrairement aux informations obtenues à partir des ressources lexicales, un système de suggestion interactif est proposé à l'utilisateur pour qu'il puisse valider ou non la suggestion. Lui sont présentés, le marqueur, son contexte et la thématique associée (définie à partir de la thématique du marqueur avéré avec la proximité la plus élevée). L'utilisateur peut ensuite décider de valider l'information, de la rejeter ou bien d'attribuer une autre thématique. A la suite de cela, il est possible d'envisager un enrichissement de la liste des marqueurs en proposant un système d'amélioration continue, tel que présenté dans (Belkacem & Teissèdre, 2021). Ainsi, les marqueurs issus du système de suggestion qui auront été validés par les utilisateurs pourront être intégrés aux ressources.

<figure><img src="image_37.png" /><figcaption>FIGURE 3 – Chaîne de traitement hybride pour l'extraction d'informations spécialisées - Partie A : Chaîne de traitement pour l'EI supervisée Partie B : Apport de l'approche non supervisée dans l'EI</figcaption></figure>
# 4 Évaluation

L'objectif de l'évaluation est de déterminer les capacités du système à répondre aux attentes des utilisateurs et de mesurer l'exhaustivité de la double approche avec une confrontation des résultats de chacune.

Cinq experts SNCF ont été mobilisés pour participer à la phase d'évaluation. Les participants sont tous expérimentés et habitués des entretiens d'analyse de l'activité, ils ont également des connaissances approfondies sur l'organisation et les activités du groupe ferroviaire. L'évaluation est réalisée sur deux jeux de données. Le premier, illustré en Figure 4, se compose de cinq extraits issus de la transcription d'un même entretien. Ces cinq extraits ont ensuite été répartis entre les participants. Ils représentent au total 2901 tokens sur 124 tours de parole.

EN T'as dit que t'étais pas un grand sportif dans l'âme. Est-ce que tu aurais des restrictions d'aptitude ?

AG Non, pas de restriction.

EN Une limite de port de charge ?

AG Non, rien du tout.

EN T'as pas d'antécédent au niveau du dos ?

AG légère scoliose, voilà, pas une spécificité.

<caption>FIGURE 4 – Extrait de transcription à annoter</caption>

Le second jeu de données soumis aux évaluateurs se compose de 44 sorties du système de suggestions, correspondant à des informations potentielles détectées par le système, présentées avec leur contexte d'apparition et leur thématique assignée automatiquement (cf. Figure 5).

<table><caption>FIGURE 5 – Exemple de suggestion à évaluer</caption><thead><tr><td>Suggestion</td><td>Contexte</td><td>Thématique</td></tr></thead><tbody><tr><td>Douleur musculaire</td><td>je ressentais une petite douleur musculaire en bas du dos.</td><td>Individu</td></tr></tbody></table>

Dans un premier temps, les évaluateurs devaient relever dans un extrait de transcription d'entretien (premier jeu de données) les segments qui, selon eux, correspondent à des informations pertinentes pour représenter la situation de travail de l'individu interrogé. Ils devaient également assigner une ou plusieurs thématiques aux informations relevées. Dans un second temps, 20 suggestions issues de l'approche non-supervisée leur ont été présentées (second jeu de données). Pour chacune d'entre elles, les participants devaient : i) juger si elles renvoyaient à une information pertinente, le cas échéant ils devaient indiquer si la délimitation de cette dernière était correcte, en la corrigeant au besoin ; et ii) valider ou rectifier la thématique associée automatiquement à la suggestion.

L'évaluation prend ainsi en compte les sorties de l'approche supervisée et également l'ensemble de celles de l'approche non-supervisée, validant par défaut toutes les suggestions du système.
# 5 Résultats

Les résultats sont décomposés selon les tâches réalisées par le système, à savoir, localiser, délimiter, catégoriser et suggérer les informations, afin de les évaluer indépendamment. Cependant, la tâche de localisation a une influence sur la performance des autres tâches, puisque ces dernières sont réalisées à partir de la localisation. De plus, les approches mises en oeuvre ont un impact direct sur la localisation des informations. Ainsi, la Table 2 présente les résultats obtenus pour la localisation d'informations uniquement avec l'approche supervisée, puis combinée avec l'approche non-supervisée.

<table><caption>TABLE 2 – Comparatif des résultats obtenus entre l'approche supervisée seule et combinée à l'approche non-supervisée</caption><thead><tr><td></td><td>Supervisée</td><td>Supervisée + non-supervisée</td></tr></thead><tbody><tr><td>Précision</td><td>0,55</td><td>0,52</td></tr><tr><td>Rappel</td><td>0,32</td><td>0,67</td></tr><tr><td>F-score</td><td>0,40</td><td>0,58</td></tr></tbody></table>

La différence notable dans ces résultats concerne le rappel, pour lequel l'alternative aux ressources lexicales de l'approche non-supervisée permet de le doubler, passant de **0,32** à **0,67**. A l'inverse, la précision est légèrement impactée par l'intégration de l'approche non-supervisée avec un score de **0,52** contre **0,55** avec uniquement l'approche supervisée. Dans la globalité, le *F-score* de **0,40**, obtenu uniquement avec l'approche supervisée, passe à **0,58** avec la combinaison des deux approches. Pour ce qui est de la délimitation, de la catégorisation et de la suggestion des informations, les résultats sont présentés en Table 3.

<table><caption>TABLE 3 – Taux d'exactitude obtenus sur les différentes sous-tâches du système</caption><thead><tr><td>Tâches</td><td>Taux d'exactitude</td></tr></thead><tbody><tr><td>Délimitation</td><td>5,82%</td></tr><tr><td>Catégorisation</td><td>55,28%</td></tr><tr><td>Suggestion</td><td>59,56%</td></tr></tbody></table>

Le taux d'exactitude pour la délimitation est de **5,82%**. Ce score très bas s'explique en partie par la méthode d'évaluation qui s'appuie sur une correspondance stricte, entre l'annotation experte et la sortie du système. Sur la totalité des erreurs de délimitation des informations, le placement de la frontière initiale de l'information est celle qui présente le plus de difficulté avec **56,47%** d'erreurs. A titre de comparaison, le placement de la frontière finale engendre une erreur dans **8,01%** des cas. Enfin, **20%** des erreurs de délimitation sont dues à un placement incorrect des deux frontières et prenant la forme d'informations enchâssées.

La catégorisation des informations, qui consiste à attribuer une thématique à une information retenue (indépendamment de la délimitation effectuée en amont), obtient un taux d'exactitude de **55,28%**. Le système assigne uniquement une seule thématique possible pour chaque information, tandis que les experts sont libres d'attribuer plusieurs thématiques. Les résultats ont permis de constater que seulement **3,01%** des désaccords s'expliquaient par cette différence de fonctionnement, c'est-à-dire les situations où l'expert attribue une thématique supplémentaire à celle sur laquelle il y a déjà un accord en l'expert et le système.

Enfin, la tâche de suggestion, uniquement réalisée par l'approche non-supervisée, présente un taux
d'exactitude de **59,56%**. Ce résultat signifie que presque 60% des suggestions proposées par le système sont considérées comme pertinentes par l'expert. Cette fonctionnalité participe donc largement à l'amélioration du rappel présenté plus haut.

Les annotations expertes permettent d'apporter des éléments de définition sur la notion d'information. En premier lieu, il a été observé que les informations se composent majoritairement de six tokens maximum. Seulement, **32%** des informations relevées comportent plus de six tokens. Ensuite, près de **90%** des informations expertes se terminent par un nom (*grosse semaine*), un verbe (*je me lève*) ou un adjectif (*charges lourdes*). En revanche, il est nécessaire de prendre en compte huit classes grammaticales pour représenter **90%** les frontières initiales d'informations (pronom, préposition, adverbe, déterminant, nom, verbe, conjonction et adjectif). Il apparaît donc que le début d'une information est soumise à une plus grande variabilité que sa fin. Enfin, les analyses montrent que quasiment l'intégralité des segments textuels considérés comme informations sont continus et que la plupart correspondent à des syntagmes nominaux ou a des triplets sujet-verbe-prédicat, comme « *une grande baie vitrée* » ou encore « *j'allonge ma pause repas* ». Cela confirme la stratégie de récupération des contextes basée sur l'analyse en dépendance.

# 6 Conclusion

Nous avons utilisé des méthodes d'extraction d'information supervisée (basée sur des ressources terminologiques expertes) et non-supervisée (avec de la similarité terminologique) dans l'objectif de proposer une structuration des informations abordées lors des entretiens d'analyse de l'activité. L'approche hybride que nous proposons permet d'obtenir des premiers résultats qui traduisent une certaine cohérence entre la méthode adoptée et les objectifs pré-definis. Cependant, ces résultats doivent être améliorés pour proposer par la suite un système utilisable et fiable.

## 6.1 Discussion

Les résultats de la délimitation des informations montrent que la méthode d'évaluation de cette tâche peut être repensée. En effet, une information est actuellement considérée comme validée par l'expert si la délimitation qu'il en fait est identique à celle du système au niveau des caractères. Cependant, cette méthode est trop contraignante et dévalue les capacités du système. En effet, l'information « *charges lourdes* » relevée par le système entraîne une erreur de délimitation quand l'expert a relevé « *des charges lourdes* ». Il apparaît pourtant dans cet exemple que l'intégration ou non du déterminant « *les* » influence peu, voire pas, la compréhension et l'interprétation sémantique de cette information. Pour améliorer la représentativité de l'évaluation sur le système, il est possible de proposer d'autres stratégies de comparaison entre deux segments, avec par exemple une prise en compte de la similarité à l'aide de coefficients tels que Dice (Cao et al., 2020) ou Jaccard (Tapi Nzali, 2020), des métriques déjà utilisées en extraction d'information.

Toujours à propos de l'évaluation, certains extraits ont été annotés par différents experts. Il serait donc intéressant de prendre en compte le recouvrement de leurs annotations afin d'extraire un taux d'accord. En revanche, dans les cas de désaccords entre experts, il nous semble impossible d'être en mesure d'adjudiquer. Ainsi, l'ensemble des annotations seront tout de même considérées comme avérées, avec certaines qui pourront être qualifiées comme fiables lorsqu'elles font l'unanimité entre les experts.
Par ailleurs, l'approche non-supervisée permet d'améliorer les résultats et donc d'accroître les performances du système. De cette façon, le rappel est largement renforcé, passant de **0,32** à **0,67** sans pour autant impacter nettement la précision, qui perd uniquement 0,02 points. Ce rééquilibrage des scores est favorable aux attentes des utilisateurs qui ne souhaitent pas passer à côté des informations importantes (visant davantage le rappel), même si cela implique par la suite de trier certaines informations (impactées par la précision). Malgré la présentation des atouts de cette approche, il est important de prendre en compte certaines limites déjà identifiées. Dans un premier temps, l'approche non-supervisée doit être adaptée à la spécificité des données, en proposant, par exemple, un ré entraînement des plongements sur des données spécifiques, afin de prendre en compte la terminologie du domaine ferroviaire et de l'ergonomie, une étape mise de côté par le manque de données. Dans un second temps, les seuils établis pour l'identification des marqueurs potentiels doivent être retravaillés pour être plus discriminants et limiter le nombre de suggestions à présenter. Sur le même principe, les marqueurs issus des ressources lexicales peuvent être pondérés selon leur productivité, c'est-à-dire leur capacité à identifier une information réellement pertinente. En effet, certains marqueurs issus des ressources lexicales ne sont pas toujours intégrés dans les informations relevées par les experts. Ainsi, il semble que certains d'entre eux aient davantage un statut d'indice. Nous envisageons donc de distinguer les marqueurs (productivité forte, les marqueurs suffisent, seuls, à identifier une information) des indices (productivité moyenne, les indices doivent être associés à d'autres éléments lexico-syntaxiques) et espérons que cela puisse favoriser la précision du système.

D'autre part, la collaboration et les interactions avec les experts ont guidé et influencé positivement le développement du système et de la méthodologie. Les experts ont manifesté leur intérêt pour intégrer un tel système dans leur pratique professionnelle. L'explicabilité du système et le rôle de l'utilisateur en tant que juge final ont été des déterminants de la confiance accordée au système proposé. Le système ne se place pas en remplaçant de l'enquêteur mais propose une réelle collaboration pour mettre à profit les capacités d'interprétations para-verbales et les habilités à mener un entretien de l'enquêteur.

## 6.2 Limites et perspectives

Les ressources lexicales contiennent au total 235 marqueurs répartis en 5 thématiques. Enrichir ces ressources lexicales serait une première piste à explorer pour garantir la fiabilité du système et améliorer le calcul des seuils du système de suggestion. Cependant, faire appel aux experts pour obtenir de nouveaux marqueurs est un processus coûteux et compliqué à mettre en place. Ainsi, nous envisageons d'explorer les patrons syntaxiques autour des marqueurs identifiés pour faire émerger les structures lexico-syntaxiques propices à la présence de marqueurs.

Actuellement, nous nous sommes principalement concentrés sur le contenu textuel des données. Pour la suite, la spécificité concernant le contexte de production (l'oral) doit être envisagée. Par exemple, les structures grammaticales spécifiques de l'oral pourraient être prises en compte pour la délimitation des informations qui se base sur une analyse syntaxique des structures standards de l'écrit. Sur ce même principe, une étape de normalisation des formes contractées ou spécifiques de l'oral peut être intégrée au moment du pré-traitement des données orales afin d'accroître la possibilité de correspondance entre ces formes et leur représentation vectorielle dans les plongements lexicaux pré-entraînés. La modalité orale permet également de laisser la possibilité d'analyser les disfluences ou les hésitations langagières afin de proposer, dans le futur, des indicateurs sur le doute ou la confiance exprimés sur des informations énoncées.
Pour poursuivre ce premier travail, nous souhaitons proposer un système qui soit en mesure de
s'adapter aux ressources lexicales et aux thématiques. Nous visons ainsi la mise en place d'un
système qui soit utilisable dans d'autres cas d'usage ou d'autres disciplines, ayant recours à des
entretiens semi-directifs.

Remerciements

Je tiens à remercier Hèlene FLAMEIN et Luce LEFEUVRE pour leur accompagnement et encadre-
ment tout au long de ces travaux. Je remercie également Yonnel GIOVANELLI, expert ergonome à la
SNCF à l'initiative de ce projet, ainsi que tous les experts en analyse de l'activité qui ont apporté leur
contribution.

Références

AMATO F., LÓPEZ A., PEÑA-MÉNDEZ E. M., VAÑHARA P., HAMPL A. & HAVEL J. (2013).
Artificial neural networks in medical diagnosis. *Journal of Applied Biomedicine, 11*(2), 47–58. DOI :
https://doi.org/10.2478/v10136-012-0031-x.

BELKACEM T. & TEISSÈDRE C. (2021). Outil interactif et évolutif pour l'extraction d'information dans des documents techniques. In *Actes de la 28e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 3 : Démonstrations*, p. 12–14, Lille, France : Association pour le Traitement Automatique des Langues. HAL : hal-03265912.

BLANCHE-BENVENISTE C., BILGER M., ROUGET C., VAN DEN EYNDE K., MERTENS P. & WILLEMS D. (1990). *Le français parlé (études grammaticales)*. Sciences du Langage.

BONNEAU J. (2008). Outils d'aide à l'exploitation d'entretiens semi-directifs : Etude de l'interaction entre intervieweur et interviewés sur un corpus ethnoécologique. In B. PINCEMIN & S. HEIDEN, Éds., *JADT 2008*, p. 219–232, ENS Lettres et sciences humaines, France : Presses Universitaires de Lyon. HAL : hal-01362690.

BREDIN H., YIN R., CORIA J. M., GELLY G., KORSHUNOV P., LAVECHIN M., FUSTES D., TITEUX H., BOUAZIZ W. & GILL M.-P. (2020). Pyannoote.audio : neural building blocks for speaker diarization. In *IEEE International Conference on Acoustics, Speech, and Signal Processing, Barcelona, Spain*. HAL : hal-02995345.

CAO D., BENAMAR A., BOUMGHAR M., BOTHUA M., OULD OUALI L. & SUIGNARD P. (2020).
Participation d'EDF R&D à DEFT 2020. In R. CARDON, N. GRABAR, C. GROUIN & T. HAMON,
Éds., 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement
Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en
Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Atelier DÉfi
Fouille de Textes, p. 26–35, Nancy, France : ATALA. HAL : hal-02784739.

CHAUDIRON S. (2000). Nouveaux modes d'intermédiation de l'information spécialisée. In C. E. S. P. D. NITITENKO, Éd., *La publication en ligne*, p. 153–165. Hermès. HAL : hal-02568788.

CRYSTAL D. (2001). *Language and the Internet*. Cambridge University Press. DOI :
10.1017/CBO9781139164771.

DUPONT M., VUILLAUME J.-M., VICTORRI B., ENJALBERT P., MATHET Y. & MALANDAIN N.
(2002). Nouvelles perspectives en extraction d'information. *Revue des Sciences et Technologies*
de l'Information - Série TSI : Technique et Science Informatiques, 1(21), 37-63. HAL : halshs-00009485.

EVEN F. (2005). *Extraction d'Information et modélisation de connaissances à partir de Notes de Communication Orale*. Theses, Université de Nantes. HAL : tel-00109400.

FABRE C. (2015). Sémantique distributionnelle automatique : la proximité distributionnelle comme mode d'accès au sens. *Études de linguistique appliquée : revue de didactologie des langues-cultures*, (4), 395-405. HAL : hal-02074874.

FIRTH J. R. (1957). *Applications of general linguistics*. *Transactions of the Philological Society*, **56**(1), 1-14. DOI: https://doi.org/10.1111/j.1467-968X.1957.tb00568.x.

FLAMEIN H. (2019). *Etude de la perception d'une ville : Repérage automatique, analyse et visualisation*. Theses, Université d'Orléans. HAL : tel-04429419.

GIANOLA L. (2020). *Aspects textuels de la procédure judiciaire exploitée en analyse criminelle et perspectives pour son traitement automatique*. Theses, Université de Cergy-Pontoise. HAL : tel-02522680.

KEBIR Y., DELSART A., ARFAOUI S., AURIAC-SLUSARCZYK E. & SAINT-DIZIER DE ALMEIDA V. (2021). L'apport de la linguistique à l'ergonomie pour enrichir l'analyse de l'activité de consultation de suivi médicale. In *55ème Congrès de la SELF, L'activité et ses frontières. Penser et agir sur les transformations de nos sociétés*, p. 74-79, Paris, France. HAL : hal-02541962.

KODELJA D., BESANÇON R. & FERRET O. (2019). Modèles neuronaux pour l'extraction supervisée d'événements : état de l'art [neural models for supervised event extraction : state of the art]. *Traitement Automatique des Langues*, **60**(1), 13-37.

KURDI M.-Z. (2003). *Contribution a l'analyse du langage oral spontané*. Theses, Université Joseph-Fourier - Grenoble I. HAL : tel-00005071.

LACHERET A., KAHANE S., BELIAO J., DISTER A., GERDES K., GOLDMAN J.-P., OBIN N., PIETRANDREA P. & TCHOBANOV A. (2014). Rhapsodie : un Treebank annoté pour l'étude de l'interface syntaxe-prosodie en français parlé. **8**, 2675-2689. DOI: 10.1051/shsconf/20140801305, HAL : halshs-01061368.

LEMAITRE T., GOSSET C., LAFOURCADE M., PATEL N. & MAYORAL G. (2020). Deft 2020 - extraction d'information fine dans les données cliniques : terminologies spécialisées et graphes de connaissance. In *Actes de l'atelier Défi Fouille de Textes@JEP-TALN 2020 similarité sémantique et extraction d'information fine. Atelier DÉfi Fouille de Textes*, p. 55-65, Nancy, France : Association pour le Traitement Automatique des Langues. HAL : hal-02784742.

NASR A. & BÉCHET F. (2009). Analyse syntaxique en dépendances de l'oral spontané. In A. NAZARENKO & T. POIBEAU, Éds., *Actes de la 16ème conférence sur le Traitement Automatique des Langues Naturelles. Articles longs*, p. 21-30, Senlis, France : ATALA.

NOUVEL D., EHRMANN M. & ROSSET S. (2015). *Les entités nommées pour le traitement automatique des langues*. ISTE Group.

PARCOLLET T., MORCHID M. & LINARÈS G. (2019). Réseaux de neurones convolutifs de quaternions pour l'identification de thèmes de conversations téléphoniques. In *Conférence en Recherche d'Informations et Applications*.

RADFORD A., KIM J. W., XU T., BROCKMAN G., MCLEAVEY C. & SUTSKEVER I. (2023). Robust speech recognition via large-scale weak supervision. In *Proceedings of the 40th International Conference on Machine Learning*, ICML'23, p. 28492-28518, Honolulu, Hawaii, USA : JMLR.org.

RAMPONI A. & PLANK B. (2020). Neural unsupervised domain adaptation in NLP—A survey. In D. SCOTT, N. BEL & C. ZONG, Éds., *Proceedings of the 28th International Conference on*
*Computational Linguistics*, p. 6838–6855, Barcelona, Spain (Online) : International Committee on
Computational Linguistics. DOI : 10.18653/v1/2020.coling-main.603.

TAMBELLINI C. (2007). *Un système de recherche d'information adapté aux données incertaines : adaptation du modèle de langue*. Thèse de doctorat. Thèse de doctorat dirigée par Berrut, Catherine Informatique Grenoble 1 2007.

TAPI NZALI M. (2020). DEFT 2020 : détection de similarité entre phrases et extraction d'information. In R. CARDON, N. GRABAR, C. GROUIN & T. HAMON, Éds., *6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition)*. Atelier DÉfi Fouille de Textes, p. 91–96, Nancy, France : ATALA. HAL : hal-02784745.

TRZMIELEWSKI M. & GNOLI C. (2022). Organisation des connaissances médicales : principes et recherche récentes. *Pratiques d'information et connaissances en santé*, p. 173–210.

WALTER H. (1996). Dialogue : unités lexicales et analyse du sens. *Onomázein : Revista de lingüística, filología y traducción de la Pontificia Universidad Católica de Chile*, (1), 167–179.

WANG W. (2013). *Extraction d'Information Non Supervisée à Partir de Textes – Extraction et Regroupement de Relations entre Entités*. Theses, Université Paris Sud - Paris XI. HAL : tel-00998391.
<figure><img src="image_38.png" /></figure>