# Transfert séquentiel avec BERT au service de l'annotation sémantique: une approche critique de la linguistique augmentée

Guillaume Desagulier, Redinela Biba

<figure><img src="image_1.png" /></figure>

To cite this version:

Guillaume Desagulier, Redinela Biba. Transfert séquentiel avec BERT au service de l'annotation sémantique: une approche critique de la linguistique augmentée. Journées Linguistique de Corpus 2025, Oct 2025, Lyon (ENS LSH), France. halshs-05250486

HAL Id: halshs-05250486

https://shs.hal.science/halshs-05250486v1

Submitted on 11 Sep 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution - ShareAlike 4.0 International License
Transfert séquentiel avec BERT au service de l'annotation
sémantique : une approche critique de la linguistique augmentée

Guillaume Desagulier <fnref n="1" /> Redinela Biba ¹²

¹ Laboratoire CLIMAS, Université Bordeaux Montaigne <fnref n="2" /> Université de Tirana
guillaume.desagulier@u-bordeaux-montaigne.fr

Introduction

Selon DO, OLLION et SHEN (2022), les avancées récentes en traitement automatique des langues offrent
aux chercheurs en sciences sociales la possibilité d'annoter automatiquement et avec précision "des
millions de textes". Cette capacité repose sur l'apprentissage par transfert séquentiel, une famille de
modèles d'apprentissage profond dans le sillage de BERT (DEVLIN et al. 2019), qui s'appuient sur
l'architecture Transformer (VASWANI et al. 2017) et ses mécanismes d'attention pour capturer les
dépendances à longue distance. Ces modèles sont pré-entraînés sur d'immenses corpus non annotés,
puis adaptés à des tâches spécifiques avec peu de données annotées. DO, OLLION et SHEN démontrent
qu'ils atteignent désormais une précision comparable à celle des codeurs humains, sans effet de fatigue,
et peuvent être personnalisés pour les besoins spécifiques des sciences sociales.

En sémantique de corpus, les études fondées sur de très grands corpus produisent souvent d'im-
posants jeux de données, qu'il est alors peu productif, voire impossible, d'annoter manuellement dans
leur intégralité. Il est donc particulièrement utile de recourir à des classifieurs automatiques capables
d'opérer à grande échelle. Si l'exploitation de vastes quantités de données présente un réel intérêt,
elle ne doit cependant pas se faire au détriment de la précision de l'annotation, ni, par extension, de
l'analyse linguistique.

Les promesses des grands modèles de langage méritent donc d'être examinées sous un angle critique.
Notre étude s'attache à évaluer si l'apprentissage par transfert séquentiel, vanté par DO, OLLION et
SHEN (2022), représente une véritable révolution méthodologique. Si la qualité de l'annotation proposée
par cette méthode est satisfaisante, elle facilitera le recours à des jeux de données issus de très grands
corpus, à l'instar du News On the Web <fnref n="1" />, du Global Web-Based English <fnref n="2" />, ou encore des corpus de la
famille TenTen <fnref n="3" />.

Pour illustrer ces enjeux, nous proposons une étude de cas portant sur l'adjectif *cool* en anglais
américain. Le choix de ce lexème se justifie par sa très grande polysémie et son évolution diachronique
marquée, qui en font un terrain d'observation privilégié pour évaluer la capacité des modèles auto-
matiques à saisir les nuances sémantiques fines. Notre extraction compte plus de 20 000 occurrences
de *cool*. De par sa taille, l'annotation sémantique de la totalité du jeu de données est particulièrement
ardue. Seul un échantillon représentant un vingtième du corpus total a donc fait l'objet d'une
double annotation manuelle. Le reste du corpus a été traité automatiquement à l'aide d'un algorithme
s'appuyant sur XML-RoBERTa<fnref n="4" />.

Si les performances du modèle s'avèrent globalement satisfaisantes, l'annotation automatique repro-
duit certaines difficultés observées chez les annotateurs humains, notamment au niveau de la délimita-
tion entre les sens non-littéraux et émotionnels de *cool*. Cette convergence dans les zones d'incertitude
suggère que les défis interprétatifs inhérents à la polysémie ne sont pas entièrement résolus par l'au-
tomatisation, mais plutôt déplacés du niveau de l'annotation manuelle vers celui de l'apprentissage
automatique.

Le reste de cet article est organisé comme suit : nous présenterons d'abord notre corpus d'étude
et notre méthodologie d'annotation, puis nous exposerons nos résultats et leur discussion, avant de
conclure sur les implications de cette recherche pour l'avenir de l'annotation automatique en séman-
tique de corpus.

<footnote n="1">1. https://www.english-corpora.org/now/</footnote>

<footnote n="2">2. https://www.english-corpora.org/glowbe/</footnote>

<footnote n="3">3. https://www.sketchengine.eu/ententen-english-corpus/</footnote>

<footnote n="4">4. https://huggingface.co/docs/transformers/model_doc/xlm-roberta</footnote>
# Etude de cas, corpus et méthodologie

Notre étude s'appuie sur les fichiers sources du Corpus of Historical American English (DAVIES 2010), qui comprend plus de 475 millions de mots de textes en anglais américains sur une période allant des décennies 1820 à 2010. Nous avons limité la requête aux décennies 1900-2010, soit 345 777 090 mots.

Un script d'extraction rédigé en R nous a permis d'extraire 20 157 occurrences du lexème adjectival *cool* en contexte (fenêtre de ±10 mots). Les variables relevant des périodes historiques et des genres textuels ont été intégrées de manière à bénéficier d'une base multifactorielle pour analyser l'évolution sémantique de ce lexeme.

Un échantillon représentatif de 1 008 occurrences de l'adjectif *cool* a été annoté manuellement selon trois catégories sémantiques :

* Basic : sens littéral lié à la température

(1) (...) the limb should be kept **cool** to reduce its oxygen requirements to a minimum.

* Nonliteral : usages métaphoriques ou figurés

(2) (...) you got my word he's **cool**. He's been on nine jobs with me.

* Emotion : sens exprimant une attitude ou un état émotionnel

(3) (...) Giulio Andreotti, 57, a **cool** and analytical Roman (...)

Afin d'évaluer la cohérence et la reproductibilité du système d'annotation, un second annotateur a procédé indépendamment à l'étiquetage d'un sous-ensemble aléatoire et équilibré de 229 tokens, représentant 22% de l'échantillon et répartis de manière homogène entre genres et décennies. L'accord inter-annotateurs a été mesuré au moyen du κ de Cohen. Le score obtenu, 0.71, correspond à un accord substantiel d'après LANDIS et KOCH (1977). Le système d'annotation se révèle donc fiable et intelligible pour les annotateurs.

Notre approche repose sur l'entraînement d'un modèle de classification automatique pour annoter les occurrences de l'adjectif anglais *cool* selon les trois catégories sémantiques présentées ci-dessus. Nous avons fait le choix d'utiliser le modèle pré-entraîné XLM-ROBERTA base, un réseau de neurones transformeur développé par Facebook AI, reconnu pour ses performances sur les tâches de classification de séquences multilingues. Ce type de modèle est multilingue et entraîné sur des milliards de mots. L'entraînement se fait sur la base des 1 008 occurrences de *cool* annotées manuellement. Une fois entraîné, le modèle est utilisé pour annoter automatiquement les 19 149 occurrences restantes.

La méthodologie comprend plusieurs étapes d'optimisation technique : division stratifiée des données (85% entraînement, 15% test) qui préserve la distribution des catégories, tokenisation avec troncature à 256 unités lexicales (découpage du texte en éléments analysables par le modèle), et entraînement avec arrêt précoce (patience=2 époques) pour éviter le surapprentissage. L'évaluation repose sur des métriques statistiques standard : la précision (pourcentage de classifications correctes) et le F1-score pondéré (moyenne harmonique entre précision et rappel), avec un objectif de F1 ≥ 0.80. La validation qualitative s'appuie sur l'analyse des matrices de confusion qui visualisent les erreurs de classification, ce qui permet d'identifier les confusions sémantiques entre catégories.

# Résultats et discussion

L'entraînement de notre modèle fait apparaître une amélioration constante des performances sur 5 époques (Tableau 1). La perte d'entraînement diminue régulièrement, passant de 0.94 à l'époque 1 à 0.32 à l'époque 5. La perte de validation atteint son minimum à 0.51 à l'époque 4, après être descendue de 0.70. La précision s'améliore progressivement de 0.73 à l'époque 1 à 0.84 à l'époque 4, avec une légère diminution à 0.82 à l'époque 5. Le score F1 macro suit une tendance similaire, passant de 0.72 à 0.84 à l'époque 4 avant de redescendre légèrement à 0.82. Ces résultats indiquent une bonne convergence avec un pic de performance à l'époque 4, suivi d'un léger surapprentissage à l'époque 5. L'apprentissage s'est donc interrompu après quatre époques.
<table><caption>TABLEAU 1 – Évolution des métriques d'apprentissage sur 5 époques avec XLM-ROBERTA</caption><thead><tr><td>Époque</td><td>Perte d'entraînement</td><td>Perte de validation</td><td>Précision</td><td>F1-score (macro)</td></tr></thead><tbody><tr><td>1</td><td>0.94</td><td>0.70</td><td>0.73</td><td>0.72</td></tr><tr><td>2</td><td>0.66</td><td>0.62</td><td>0.74</td><td>0.74</td></tr><tr><td>3</td><td>0.51</td><td>0.58</td><td>0.79</td><td>0.79</td></tr><tr><td>4</td><td>0.33</td><td>0.51</td><td>0.84</td><td>0.84</td></tr><tr><td>5</td><td>0.32</td><td>0.52</td><td>0.82</td><td>0.82</td></tr></tbody></table>

L'analyse détaillée des performances par classe révèle des résultats contrastés (Tableau 2). La catégorie Basic obtient d'excellents résultats avec une précision et un rappel de 0.93, reflétant la nature relativement moins ambiguë des usages littéraux liés à la température. La catégorie Emotion présente une précision correcte de 0.83 mais un rappel plus faible de 0.75, signe que le modèle a tendance à être conservateur dans la détection de ces expressions. La catégorie Nonliteral montre les performances les plus modestes avec une précision de 0.70 et un rappel de 0.76, ce qui se comprend aisément de par la complexité inhérente à la détection des usages figurés et métaphoriques.

<table><caption>TABLEAU 2 – Rapport de classification détaillé par classe sémantique</caption><thead><tr><td>Classe</td><td>Précision</td><td>Rappel</td><td>F1-score</td><td>Support</td></tr></thead><tbody><tr><td>Basic</td><td>0.93</td><td>0.93</td><td>0.93</td><td>70</td></tr><tr><td>Emotion</td><td>0.83</td><td>0.75</td><td>0.79</td><td>40</td></tr><tr><td>Nonliteral</td><td>0.70</td><td>0.76</td><td>0.73</td><td>42</td></tr><tr><td>Macro avg</td><td>0.82</td><td>0.81</td><td>0.82</td><td>152</td></tr><tr><td>Weighted avg</td><td>0.84</td><td>0.84</td><td>0.84</td><td>152</td></tr></tbody></table>

L'application du modèle aux données non annotées (n = 19 149) révèle une distribution intéres-
sante des prédicitions avec une confiance moyenne élevée de 0.93. La répartition des prédicitions montre
une prédominance des usages Basic (46.7%), suivis des usages Nonliteral (36.0%) et Emotion (17.3%).
Cette distribution suggère que les usages littéraux de la température demeurent, sans surprise, ma-
joritaires dans notre corpus, tout en révélant une proportion substantielle d'expressions figurées.

Pour évaluer les performances du modèle, nous avons eu recours à un $\kappa$ de Fleiss (FLEISS 1971). Les résultats montrent un coefficient $\kappa$ de 0.77, un accord observé moyen d'environ 0.85 et un accord dû au hasard d'approximativement 0.36. Les annotateurs et le modèle ont ainsi atteint un niveau d'accord substantiel, ce qui signifie que les catégories sont généralement fiables et bien établies. Cependant, l'accord est plus élevé sur le sens basique. A contrario, le modèle n'a pas pu éviter la confusion entre sens non littéral et sens émotionnel (Figure 3).

On observe une convergence des prédicitions générées par XLM-ROBERTA avec celles de l'annotateur 1 (Annot1), en contraste avec les annotations produites par l'annotateur 2 (Annot2). Cette tendance se manifeste par une concordance entre le modèle et Annot1 dans de nombreux cas où les deux annotateurs divergent :

(4) ...over the fireplace, while deep blue curtains keep the **cool** formal atmosphere of the room crystal side lights suitable...(Annot1: basique; Annot2: non-littéral; XLM-ROBERTA: basique)

(5) ...people think of an Englishwoman as being reserved, slightly **cool**, Deborah is reserved in her manner...(Annot1: émotion; Annot2: non-littéral; XLM-ROBERTA: émotion)

(6) ...it down in the cistern, it'll be **cool**, when I told him there wasn't time...(Annot1: non-littéral; Annot2: émotion; XLM-ROBERTA: non-littéral)

(7) ...to find a new world, the pure and **cool** realm at wu-t'ai. (Annot1: non-littéral; Annot2: basique; XLM-ROBERTA: non-littéral)

Les matrices de confusion ainsi que le score F1 montrent un degré d'accord relativement élevé entre les catégories sémantiques du modèle et des annotateurs humains (Figures 4, 5 et 6). Pour les usages basiques, le modèle il s'accorde fortement avec les deux annotateurs. Pour les catégories *émotion* et *non-littéral*, qui sont les plus difficiles à distinguer, le modèle s'aligne davantage avec Annot1 qu'avec Annot2.
Dans l'ensemble, le modèle penche davantage vers Annot1 que vers Annot2. Le score de majorité élevé (0.951) indique clairement que le modèle est le plus proche du consensus, ce qui reflète le terrain d'entente entre les annotateurs plutôt que les différences individuelles.

Concernant à présent la performance du modèle sur les données non annotées, nous avons porté une attention particulière aux motifs d'erreurs récurrents (pour visualiser les classes sémantiques les plus fréquemment confondues, voir Figure 1). Pour évaluer la qualité des prédictions, nous avons développé une approche d'échantillonnage stratifié. Nous avons d'abord procédé à une sélection aléatoire d'exemples à différents niveaux de confiance, comprenant des prédictions à haute confiance (supérieure à 0.9), moyenne (autour de 0.7-0.8), et faible (inférieure à 0.6). Nous avons trié les exemples par catégorie prédite et examiné 15 à 20 exemples de chaque catégorie.

Bien que le nombre d'erreurs soit trop faible pour généraliser, certaines tendances émergent. Une crainte concernait la trop grande importance accordée par le modèle à la co-occurrence lexicale. Cette crainte a été justifiée : le modèle se fie excessivement aux associations statistiques entre mots plutôt qu'au contexte réel de la phrase. Concrètement, cela signifie que le modèle a le plus souvent associé les collocations liées à la température ou à la couleur au sens littéral quand bien même le contexte indiquait clairement un usage figuré ou métaphorique.

(8) ...been glorious with its pale congregation of stars and the **cool** unblinking eye of the moon sailing above the silent gray.

En (8), tiré d'un texte poétique, *cool* qualifie métaphoriquement l'œil de la lune. Il s'agit d'un usage figuré qui évoque une impression de sérénité et de détachement plutôt qu'une température physique. Les deux annotateurs humains ont correctement identifié le sens de *cool* comme étant figuré. Le modèle a quant à lui incorrectement attribué le sens littéral de température.

Une seconde préoccupation concernait le chevauchement sémantique entre sens figuré et sens émotionnel, les frontières entre ces domaines sémantiques étant parfois si floues que même les annotateurs humains peinent à trancher. Des cas de désaccord entre les deux annotateurs humains ont d'ailleurs été observés, comme en (9) :

(9) ...till they saw me and swirled down again to their **cool** haunts.

Un annotateur l'a interprété comme relevant du domaine émotionnel tandis que l'autre l'a classé comme non littéral. Dans ces exemples, le modèle s'aligne tantôt sur un annotateur, tantôt sur l'autre.

Enfin, certains cas révèlent un désaccord complet entre les trois évaluations, comme en (10) :

(10) ...wrap me up in blue light, you who are **cool**. I am too hot, I am all alive.

De manière intéressante, *cool* dans ce contexte a été catégorisé comme relevant du domaine émotionnel par Annot1, comme sens de base par Annot2, et comme non littéral par XLM-ROBERTa. Cette triple divergence illustre la variabilité interprétative selon l'élément contextuel privilégié par chaque lecteur ou le modèle. Cet exemple démontre que le modèle peut s'affranchir d'une lecture littérale pour privilégier une interprétation figurative, même lorsque les annotateurs humains ne convergent pas vers cette analyse.

Les limites du modèle peuvent s'expliquer par le fait que XLM-ROBERTa a été entraîné sur des phrases complètes, alors que nous n'utilisons que des extraits de phrases. Cela qui peut entraver l'accès au contexte sémantique nécessaire pour désambiguïser les usages polysémiques. De plus, la nature déséquilibrée de notre jeu de données d'entraînement, avec une surreprésentation de l'étiquette *Basic*, a certainement biaisé les prédictions du modèle vers cette catégorie majoritaire. Une analyse exploratoire de l'échantillon permet néanmoins d'identifier les tendances d'évolution claires dans l'usage de *cool*.

Une ACM réalisée sur l'ensemble du jeu de données annoté automatiquement, enrichi des variables contextuelles extraites du corpus (année de publication, genre textuel) et des contextes syntaxiques (attribut/épithète), révèle des tendances cohérentes (7). L'adjectif *cool* fait l'objet d'une transformation sémantique progressive qui s'articule autour de trois phases distinctes. Entre 1900 et 1930, l'usage demeure ancré dans les acceptations basiques et littérales, comme l'atteste le positionnement négatif sur la première dimension de l'analyse. Un point de bascule décisif s'opère dans les années 1980 (0.70 sur Dim.1) avec l'émergence massive des emplois non littéraux, qui culminent dans la période 2000-2010 avec une consolidation des usages métaphoriques (1.24 pour 2010). Cette évolution temporelle
s'accompagne d'une spécialisation selon les genres textuels. Les usages non littéraux exploitent l'expressivité de l'oralité médiatique et sont logiquement spécifiques à l'anglais de la télévision (1.45) tandis que la presse développe une spécialisation dans les emplois émotionnels (1.85 sur Dim.2), ce qui s'explique par la charge affective de l'adjectif. À l'inverse, les contextes universitaires et fictionnels conservent une préférence pour les acceptions traditionnelles. La structure sémantique contemporaine révèle une hiérarchisation où les sens littéraux persistent dans les usages conventionnels, les emplois émotionnels se développent dans le discours informatif, et les usages non littéraux dominent l'évolution générale. Cette trajectoire indique un processus de grammaticalisation par lequel cool transite d'un adjectif descriptif vers un marqueur expressif polyvalent, dont la spécialisation s'ajuste aux contraintes communicatives de chaque genre textuel.

## Conclusion

Cette étude confirme que l'apprentissage par transfert séquentiel offre des possibilités prometteuses pour l'annotation sémantique à grande échelle en linguistique de corpus. Toutefois, nos résultats révèlent certaines limites dans la capacité des modèles de la famille BERT et RoBERTa à appréhender les subtilités sémantiques complexes.

L'analyse met en évidence trois points de vigilance principaux. Premièrement, le modèle confond parfois les expressions figurées contenant des références à la température avec des usages littéraux car il a tendance à privilégier les associations lexicales fréquentes au détriment du sens contextuel. Deuxièmement, un chevauchement conceptuel entre les catégories Emotion et Nonliteral entraîne des confusions pour des expressions polysémiques comme a cool attitude ou stay cool. Ceci n'est pas un défaut en soi car même les annotateurs humains peuvent éprouver des difficultés face aux frontières floues entre domaines sémantiques. Enfin, le modèle présente une tendance à la surclassification dans la catégorie Basic même lorsque le contexte suggère un usage métaphorique.

Bien que ses performances quantitatives soient impressionnantes et exploitables, l'annotation automatique présente des limites qualitatives qui, sans toutefois compromettre la pertinence globale du modèle, nécessitent une supervision humaine continue. L'approche la plus efficace demeure donc une méthode hybride : annotation manuelle rigoureuse, annotation automatique par apprentissage profond, vérification des résultats selon la méthode d'échantillonnage proposée, puis perfectionnement itératif du modèle. Cette linguistique augmentée n'est pas prête à remplacer l'expertise humaine. Elle la complète et permet malgré tout aux linguistes d'explorer des volumes de données textuelles auparavant inaccessibles tout en préservant la rigueur analytique nécessaire.

## Références bibliographiques

* DAVIES, Mark (2010). *The Corpus of Historical American English (COHA) : 475+ million words, 1820s-2019*. URL : https://www.english-corpora.org/coha/.

* DEVLIN, Jacob et al. (2019). *BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding*. arXiv : 1810.04805 [cs.CL]. URL : https://arxiv.org/abs/1810.04805.

* DO, S., É. OLLION et R. SHEN (2022). "The Augmented Social Scientist : Using Sequential Transfer Learning to Annotate Millions of Texts with Human-Level Accuracy". In : *Sociological Methods & Research* 53.3. Original work published 2024, p. 1167-1200. DOI : 10.1177/00491241221134526. URL : https://doi.org/10.1177/00491241221134526.

* FLEISS, Joseph L. (1971). "Measuring nominal scale agreement among many raters". In : *Psychological Bulletin* 76.5, p. 378-382. DOI : 10.1037/h0031619.

* LANDIS, J. Richard et Gary G. KOCH (1977). "The Measurement of Observer Agreement for Categorical Data". In : *Biometrics* 33.1, p. 159-174. DOI : 10.2307/2529310. URL : https://doi.org/10.2307/2529310.

* VASWANI, Ashish et al. (2017). "Attention Is All You Need". In : *Advances in Neural Information Processing Systems*. T. 30.
<figure><img src="image_3.png" /><figcaption>FIGURE 1 – Matrice de confusion : erreurs par catégories</figcaption></figure>

<figure><img src="image_4.png" /><figcaption>FIGURE 2 – Distribution des annotations par catégories</figcaption></figure>

<figure><img src="image_5.png" /><figcaption>FIGURE 3 – Carte thermique des désaccords (confusion par paires de catégories)</figcaption></figure>

<figure><img src="image_6.png" /><figcaption>FIGURE 4 – Matrice de confusion : XML-RoBERTa vs Annotateur 1</figcaption></figure>

<figure><img src="image_7.png" /><figcaption>FIGURE 5 – Matrice de confusion : XML-RoBERTa vs Annotateur 2</figcaption></figure>

<figure><img src="image_8.png" /><figcaption>FIGURE 6 – Comparaison des scores F1 entre XML-RoBERTa et les annotateurs</figcaption></figure>
<figure><img src="image_9.png" /><figcaption>FIGURE 7 – ACM : exploration finale des sens de *cool* à travers les décennies et les genres textuels du COHA</figcaption></figure>