# Repérage du lexique scientifique transdisciplinaire des SHS dans des écrits scientifiques

Laurence Kister<fnref n="1" />, Évelyne Jacquey<fnref n="2" />

**Résumé.** L'augmentation constante de la quantité et de la diversité des articles scientifiques rend leur indexation thématique indispensable. L'utilisation de textes enrichis en occurrences du ou des lexique(s) de spécialité et en occurrences du lexique scientifique transdisciplinaire permet d'envisager l'entraînement d'outils d'indexation automatique. Afin d'enrichir sémantiquement des textes de SHS (linguistique et archéologie) en occurrences du lexique scientifique transdisciplinaire, nous avons entrepris une expérience d'annotation manuelle destinée à permettre la mise au point d'une méthodologie d'annotation reproductible. L'expérience que nous présentons, consiste en une étude exploratoire menée sur la tâche d'annotation en occurrences du lexique scientifique transdisciplinaire. Afin de rendre les routines d'annotation les plus fiables possibles, nous proposons de nous intéresser aux accords entre annotateurs, entre arbitres et entre annotateurs et arbitres.

**Abstract.** Identification of the SHS transdisciplinary scientific lexicon in scientific writings. The increase in the quantity and diversity of scientific articles makes indexing essential. We need texts enriched in occurrences of the disciplinary lexicon and in occurrences of the transdisciplinary scientific lexicon to envisage the training of automatic indexing tools. In order to enrich semantically SHS texts (linguistics and archeology) in occurrences of the transdisciplinary scientific lexicon, we work a manual annotation experiment intended to allow the development of a reproducible annotation methodology. The experiment we present, consists of an exploratory study carried out on the task of annotation in occurrences of the transdisciplinary scientific lexicon. In order to build annotation routines, we analyze the agreements between annotators, between referees and between annotators and referees.

<footnote n="1">¹Université de Lorraine – ATILF UMR 7118 - CNRS, Nancy, France</footnote>

<footnote n="2">²ATILF - CNRS UMR 7118 - Université de Lorraine, Nancy, France</footnote>
# 1 Introduction

L'augmentation constante de la quantité et de la diversité des articles scientifiques publiés et/ou mis à disposition sur diverses plateformes comme HAL, ArXiv, ISTEX rend plus difficile l'objectif d'appréhender dans leur ensemble les publications scientifiques qui s'intéressent à une problématique donnée que ce soit sur le plan de leur quantité ou celui de la masse et de la diversité des connaissances expertes nécessaires. Pour tenter de pallier cette situation, une voie possible, déjà mise en œuvre dans de nombreux travaux, est d'indexer thématiquement les articles publiés et disponibles (Hassan et Ng (2014) pour une présentation d'ensemble et Bourgoin et Boudin (2014) pour une méthode non supervisée. Dans cette perspective, l'identification de deux types de lexiques peut nourrir avantageusement les outils d'indexation relevant d'une approche supervisée en raison de leur forte présence dans ce type de documents : il s'agit du ou des lexique(s) de spécialité de la ou des disciplines de l'article scientifique à indexer et du lexique scientifique transdisciplinaire (désormais respectivement Ldisci et LST). L'étude simultanée de ces deux types de lexiques est pertinente pour deux raisons. La première, est que leurs frontières respectives peuvent être floues, en particulier en Sciences Humaines et Sociales.

La seconde, est qu'ils sont très souvent utilisés en interaction. Les interactions que nous avons observées jusqu'ici sont de deux types :

- la concurrence qui se traduit par le fait qu'un même empan de texte puisse appartenir au lexique scientifique transdisciplinaire et au lexique de spécialité. La lecture transdisciplinaire est majoritairement exclue lorsque l'empan réfère bien à un concept propre à la discipline de l'article. Le candidat sujet peut être disciplinaire comme dans le *participe passé des verbes se construisant avec l'auxiliaire être doit s'accorder en genre et en nombre avec le sujet*<sub>Ldisci</sub> de la phrase ou un emploi non disciplinaire dans d'autres contextes tel le * sujet*<sub>LST</sub> de la communication s'inscrit dans [...].

- la coopération qui se traduit par le fait que des éléments du lexique scientifique transdisciplinaire introduisent des éléments du vocabulaire de spécialité. Cette situation est très fréquente dans le cas de relation de dépendance de type prédicat – argument (par exemple, la relation prédicat objet comme dans *En conséquence, il semble qu'on ne puisse pas considérer*<sub>LST</sub> le tunisien comme une langue à satellites<sub>Ldisci</sub>) ou encore de type prédicat modifieur (par exemple, la modification du nom comme dans *On s'intéresse en particulier dans cet article aux travaux*<sub>LST</sub> sur la morphologique<sub>Ldisci</sub> des adjectifs).

Nous nous concentrons ici sur le lexique scientifique transdisciplinaire tout en tenant compte de ses interactions avec le ou des lexique(s) de spécialité. Le lexique scientifique transdisciplinaire correspond à ce que Da Sylva Da Sylva (2010) désigne par vocabulaire savant, ce que Drouin (2010a et 2010b) et Tutin (2007 et 2014) définissent comme le lexique scientifique transdisciplinaire (LST). Sous la forme de collaborations diverses ou parallèlement les uns aux autres, les équipes de Montréal (Observatoire de Linguistique Sens-Texte (OLST)) et de Grenoble (Laboratoire de Linguistique et Didactique es Langue Etrangères et Maternelles (LIDILEM)) ont développé différentes variantes de ce lexique : il s'agit de lexiques référant aux objets étudiés par les scientifiques (*corpus, données*), aux méthodologies qu'ils emploient ou développent (*analyser, approche, étudier, hypothèse, modèle, recenser*), aux résultats qu'ils obtiennent ainsi qu'à la manière dont ces résultats et les méthodes employées sont considérés (*de notre point de vue, intéressant, nous pensons, pertinent, valide*). La version du lexique scientifique transdisciplinaire que nous utilisons dans l'expérience présentée est celle développée et finalisée par le LIDILEM (Jacques et Tutin (2018), Hatier (2016), Hatier *et al.* (2016)).

Disposer de textes enrichis en occurrences du ou des lexique(s) de spécialité et en occurrences du lexique scientifique transdisciplinaire permet d'envisager l'entraînement d'outils d'indexation de textes fondé sur une approche supervisée. Dans cette perspective, nous nous sommes engagés dans une expérience d'annotation manuelle visant la mise au
point de méthodologies d'annotation reproductible, à l'intérieur desquelles l'automatisation pourra progressivement se développer au fur et à mesure que la quantité de données annotées augmentera. Par cette expérience à grande échelle, nous souhaitons présenter l'étude exploratoire menée sur la tâche d'annotation en occurrences du lexique scientifique transdisciplinaire.

Dans cet article, nous évoquerons les données annotées, le protocole d'annotation et le guide d'annotation que nous avons mis au point avant de nous intéresser aux résultats de l'annotation manuelle. La dernière partie de l'article s'attardera sur l'analyse des origines des désaccords observés.

# 2 Données et protocole d'annotation

## 2.1. Le lexique scientifique transdisciplinaire

Dans le lexique, les différentes acceptions transdisciplinaires font l'objet d'entrées différentes. Le lexique comporte 1865 entrées pour un total de 1583 formes lemmatisées.

<table><caption>Tableau 1. Composition de LST</caption><thead><tr><th rowspan="2"></th><th rowspan="2"></th><th rowspan="2">Entrées</th><th rowspan="2">Lemmes</th><th rowspan="2">Nb sens moyen</th><th colspan="2">Proportion / lexique</th></tr><tr><th>Entrées</th><th>Lemmes</th></tr></thead><tbody><tr><td rowspan="3">Adjectifs</td><td>Monolexicaux</td><td>306</td><td>265</td><td>1,15</td><td rowspan="3">17,37%</td><td rowspan="3">17,88%</td></tr><tr><td>Polylexicaux</td><td>18</td><td>18</td><td>1</td></tr><tr><td>Total</td><td>324</td><td>283</td><td>1,14</td></tr><tr><td rowspan="3">Adverbes</td><td>Monolexicaux</td><td>131</td><td>118</td><td>1,12</td><td rowspan="3">22,04%</td><td rowspan="3">24,76%</td></tr><tr><td>Polylexicaux</td><td>280</td><td>274</td><td>1,02</td></tr><tr><td>Total</td><td>411</td><td>392</td><td>1,05</td></tr><tr><td rowspan="3">Noms</td><td>Monolexicaux</td><td>521</td><td>467</td><td>1,12</td><td rowspan="3">30,62%</td><td rowspan="3">32,60%</td></tr><tr><td>Polylexicaux</td><td>50</td><td>49</td><td>1,02</td></tr><tr><td>Total</td><td>571</td><td>516</td><td>1,11</td></tr><tr><td rowspan="3">Verbes</td><td>Monolexicaux</td><td>505</td><td>338</td><td>1,49</td><td rowspan="3">29,97%</td><td rowspan="3">24,76%</td></tr><tr><td>Polylexicaux</td><td>54</td><td>54</td><td>1</td></tr><tr><td>Total</td><td>559</td><td>392</td><td>1,43</td></tr><tr><td rowspan="3">Total</td><td>Monolexicaux</td><td>1 443</td><td>1 188</td><td>1,23</td><td rowspan="3">100%</td><td rowspan="3">100%</td></tr><tr><td>Polylexicaux</td><td>402</td><td>395</td><td>1,02</td></tr><tr><td>Total</td><td>1 865</td><td>1 583</td><td>1,18</td></tr></tbody></table>

Ces différentes dimensions montrent la très faible ambiguïté des entrées correspondant à des formes polylexicales (à grande échelle, de grande ampleur pour les adjectifs par exemple, à cet égard, à court terme pour les adverbes, cahier des charges, cas de figure pour les noms ou encore avoir trait, faire défaut pour les verbes). On peut noter l'ambiguïté dominante pour les formes lemmatisées monolexicales : verbes (338 formes lemmatisées) avec 20 verbes avec trois acceptions (adapter, apparaître, atteindre, considérer, consister, convenir, développer, distinguer, établir, exprimer, imposer, intéresser, limiter, opposer, porter, présenter, procéder, représenter, situer, supposer) et 127 avec deux acceptions
(aboutir, accompagner, accorder, admettre, affirmer, affranchir, agir, améliorer, appartenir, apporter, etc.). Nous remarquons aussi que l'ordre des catégories en fonction de leur fréquence dans le lexique reste le même pour les entrées (acceptations) et leurs formes lemmatisées correspondantes : noms > verbes > adverbes > adjectifs.

Le lexique fait l'objet d'une classification des éléments qu'il recense. Pour chaque catégorie grammaticale, les combinaisons de classes et de sous classes possibles accompagnées de la définition de ces classes et sous-classes et propose pour chacune des combinaisons les éléments du LST. La figure 1 illustre les informations proposées par le lexique scientifique transdisciplinaire pour la combinaison objet_scientifique/argument.

<table><caption>Fig. 1. Exemple d'informations disponibles dans le LST : objet_scientifique/argument</caption><tr><td>Classe</td><td>objet_scientifique</td></tr><tr><td>Définition</td><td>Observable et objets construits de l'activité scientifique</td></tr><tr><td>Critères</td><td>étudier/collecter/s'appuyer sur un n</td></tr><tr><td>Sous-classe</td><td>argument</td></tr><tr><td>Définition</td><td>Élément dans un processus de raisonnement</td></tr><tr><td>Critères</td><td>Proposer un N convaincant</td></tr><tr><td>Noms</td><td>argument<br>justification<br>réponse_1<br>solution</td></tr></table>

La version du lexique scientifique transdisciplinaire en cours de finalisation que nous utilisons dans l'expérience est disponible en ligne².

## 2.2. Corpus

Le corpus sur lequel nous avons travaillé (désormais corpusSHS) est constitué de 60 résumés d'articles scientifiques relevant de deux disciplines de Sciences Humaines et Sociales, l'archéologie et la linguistique. Les résumés ainsi que les articles dont ils sont extraits font partie d'un corpus mis à disposition de la communauté scientifique sur la plateforme Ortolang. Le tableau 2 synthétise les métriques classiques d'un corpus, telles que calculées à l'aide du logiciel TXM (Heiden et al, 2010) après son importation dans le logiciel avec le module d'annotation en parties du discours avec TreeTagger. Dans le tableau 2 l'étiquette Type désigne une forme lemmatisée associée à une partie du discours.

<table><caption>Tableau 2. Composition du corpusSHS</caption><thead><tr><td></td><td>Corpus</td><td>Archéologie</td><td>Linguistique</td></tr></thead><tbody><tr><td>Tokens</td><td>9366</td><td>5170</td><td>4196</td></tr><tr><td>Types</td><td>2574</td><td>1383</td><td>1191</td></tr><tr><td>Taux de répétition</td><td>3,64</td><td>3,74</td><td>3,52</td></tr></tbody></table>

L'étiquetage du corpus en parties du discours permet de comparer la distribution du corpus en fonction de quatre catégories syntaxiques (adjectif, adverbe, nom et verbe – celles du LST) dont on observe les occurrences dans le corpus. Le corpus comporte 4580 occurrences toutes catégories syntaxiques confondues, soit 49 % du nombre total de tokens. Les 4580 tokens correspondent à 2368 types différents, soit 92 % du nombre total de types. Les 206 types restants, correspondent à 4786 tokens et comportent les signes de ponctuation, les abréviations, les déterminants, les conjonctions, les prépositions, les pronoms et les symboles. Dans le tableau 3, les pourcentages sont calculés relativement au total des tokens et des types pour le corpus d'une part et pour chacune des deux disciplines SHS d'autre part.
<table><caption>**Tableau 3.** Catégories grammaticales du LST présentes dans le corpusSHS</caption><thead><tr><th rowspan="2"></th><th rowspan="2"></th><th colspan="2">Corpus</th><th colspan="2">Archéologie</th><th colspan="2">Linguistique</th></tr><tr><th>835</th><th>8,92 %</th><th>465</th><th>8,99 %</th><th>370</th><th>8,82 %</th></tr></thead><tbody><tr><td rowspan="3">Adjectifs</td><td>Tokens</td><td>478</td><td>18,57 %</td><td>254</td><td>18,37 %</td><td>224</td><td>18,81 %</td></tr><tr><td>Types</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Taux de répétition</td><td>1,75</td><td></td><td>1,83</td><td></td><td>1,65</td><td></td></tr><tr><td rowspan="3">Adverbes</td><td>Tokens</td><td>320</td><td>3,42 %</td><td>173</td><td>3,35 %</td><td>147</td><td>3,50 %</td></tr><tr><td>Types</td><td>148</td><td>5,75 %</td><td>80</td><td>5,78 %</td><td>68</td><td>5,71 %</td></tr><tr><td>Taux de répétition</td><td>2,16</td><td></td><td>2,16</td><td></td><td>2,16</td><td></td></tr><tr><td rowspan="3">Noms</td><td>Tokens</td><td>2 426</td><td>25,90 %</td><td>1375</td><td>26,90 %</td><td>1051</td><td>25,05 %</td></tr><tr><td>Types</td><td>1283</td><td>49,84 %</td><td>712</td><td>51,48 %</td><td>571</td><td>47,94 %</td></tr><tr><td>Taux de répétition</td><td>1,89</td><td></td><td>1,93</td><td></td><td>1,84</td><td></td></tr><tr><td rowspan="3">Verbes</td><td>Tokens</td><td>999</td><td>10,67 %</td><td>551</td><td>10,66 %</td><td>448</td><td>10,68 %</td></tr><tr><td>Types</td><td>459</td><td>17,83 %</td><td>229</td><td>16,56 %</td><td>230</td><td>19,31 %</td></tr><tr><td>Taux de répétition</td><td>2,18</td><td></td><td>2,41</td><td></td><td>1,95</td><td></td></tr><tr><td rowspan="3">Total</td><td>Tokens</td><td>4580</td><td>48,90 %</td><td>2564</td><td>49,59 %</td><td>2016</td><td>48,05 %</td></tr><tr><td>Types</td><td>2368</td><td>92 %</td><td>1275</td><td>92,19 %</td><td>1093</td><td>91,77 %</td></tr><tr><td>Taux de répétition</td><td>1,93</td><td></td><td>2,01</td><td></td><td>1,84</td><td></td></tr></tbody></table>

Le tableau 3 montre que pour le corpusSHS le taux de répétition des tokens le plus important est celui des verbes, suivi par celui des noms, puis celui des adverbes et enfin celui des adjectifs. Pour l'archéologie, dont le taux de répétition global est plus important que celui de la linguistique, l'ordre des catégories syntaxiques est le même : verbes > adverbes > noms > adjectifs. Pour la linguistique, les deux premières catégories s'inversent : adverbes > verbes > noms > adjectifs. Afin de comparer plus aisément les proportions de types pour le corpusSHS et ses disciplines avec les proportions constatées dans le LST, nous les répétons sous forme graphique (Figure 2).

<figure><img src="image_1.png" /><figcaption>**Fig. 2.** Comparaison des catégories syntaxiques du LST et du corpusSHS</figcaption></figure>

Cette comparaison montre très clairement que les distributions par catégorie syntaxique des entrées du LST et les types du corpus SHS sont très différentes. Les entrées adjectivales du LST sont à peu près aussi nombreuses que les types du corpus de la même catégorie : 17,37 % dans le LST contre 18,57 % dans le corpus SHS. Les entrées d'adverbes et de
verbes dans le LST sont plus nombreuses que les types des mêmes catégories dans le corpusSHS : beaucoup plus pour les adverbes (22,04 % dans le LST contre 5,75 % dans le corpusSHS) que pour les verbes (29,97 % pour le LST contre 17,83 % pour le corpus. On constate une situation inverse pour les noms : 30,62 % d'entrées nominales dans le LST contre 48,84 % de types de noms dans le corpusSHS. Nous verrons dans la suite si ces différences de distribution influent sur l'annotation, en particulier en raison du nombre de sens moyen qui est plus important pour les verbes du LST que pour les trois autres catégories.

## 2.3. Pré-annotation

Afin d'éviter la sous-tâche de l'identification manuelle des occurrences du lexique scientifique transdisciplinaire (l'unitizing selon Krippendorff, 1995), celui-ci est automatiquement projeté sur le corpus dans sa version lemmatisée et enrichie en parties du discours TreeTagger (Schmid, 1994). La projection du LST sur les résumés fait apparaître les occurrences des candidats au LST (occ_LST) dans leur contexte. Par ailleurs, le même corpus est pré-annoté en occurrences du ou des lexiques de spécialité via la chaîne de traitement TermSuite (Rocheteau et Daille, 2011). À partir de l'ensemble des sous-corpus de l'archéologie et de la linguistique, TermSuite produit deux terminologies différentes et les projette dans le sous-corpus correspondant du point de vue de la discipline afin de faire apparaître les occurrences de chaque entrée de ces terminologies. Ce sont ces dernières occurrences que nous appelons des occurrences du ou des lexique(s) de spécialité (occ_CT). C'est cette double pré-annotation qui nous permet d'observer les interactions entre lexique scientifique transdisciplinaire et lexique(s) de spécialité.

À l'issue de cette série de prétraitements, le corpus obtenu comporte trois types d'enrichissements :

- pour chaque token, sa forme lemmatisée et sa partie du discours,

- les occurrences du LST qui peuvent correspondre à un ou plusieurs tokens ; chaque occurrence étant mise en correspondance avec une entrée du LST,

- les occurrences du ou des lexique(s) de spécialité qui, comme les occ_LST, peuvent correspondre à un ou plusieurs tokens et pour qui une correspondance unique existe avec la terminologie correspondante produite par TermSuite.

Le corpus source que nous utilisons est codé dans un format XML fondé sur les recommandations internationales TEI (Text Encoding Initiative : GuideLines en ligne), TBX (Lommel et al., 2014 et Melby, 2015) et Stand-Off (Ide et Romary, 2006 et Romary, 2014). Le texte est un flux de tokens, pourvus d'un identifiant qui permet de positionner de manière fiable les enrichissements du texte sous forme d'annotations déportées en ce qui concerne d'une part la segmentation lexicale et l'étiquetage morphosyntaxique et d'autre part l'identification des occ_LST et occ_CT. L'intérêt de ce format partagé pour l'ensemble du corpus annoté est d'être aisément adaptable au format d'entrée des environnements d'annotation que nous avons expérimentés.

## 2.4. Campagne d'annotation

La campagne d'annotation a porté sur les 2688 occurrences d'entrées du LST détectées dans le corpus SHS au cours de l'étape de pré-annotation. L'annotation a consisté pour chaque occurrence à décider si celle-ci était conforme à la description sémantique de l'entrée LST correspondante telle que les annotateurs ont pu en prendre connaissance au sein de la ressource lexicale que nous avons utilisée et qui a été finalisée par le LIDILEM.
### 2.4.1. Déroulement de la campagne, participants et environnements d'annotation

En plus de la conception et de la mise à l'épreuve d'une méthodologie reproductible d'annotation des occurrences du LST en texte intégral, l'expérience que nous présentons avait aussi pour objectif de tester plusieurs environnements d'annotation existants. Cet objectif découle du fait que Fort (2012) constate que peu d'analyses comparatives ont été réalisées pour appréhender la grande diversité d'environnements d'annotation existants et du fait que nous souhaitons concevoir et mettre à l'épreuve une méthodologie d'annotation des occurrences du LST en texte intégral reproductible. Après avoir effectués différents tests, nous avons sélectionné les environnements BRAT (Stenetorp et al., 2012), GATE (Cunningham et al., 2013) et GLOZZ (Mathet et Widlöcher, 2011 - Widlöcher et Mathet, 2012). BRAT a été choisi en raison de sa possibilité d'utilisation en ligne, GATE pour son intégration aisée avec des chaînes de traitement TAL et GLOZZ pour son ergonomie et ses nombreuses utilisations dans des campagnes d'annotation complexes. Par ailleurs, ces trois environnements sont libres de droits et leur code est ouvert. Les 60 résumés d'articles ont été répartis sur les 3 environnements testés, 20 résumés par environnement.

Afin de contrôler la bonne réalisation de la campagne et pour tenir compte de la difficulté importante de la tâche d'annotation, la campagne a été divisée en quatre étapes successives. Entre chacune des étapes, une phase de stabilisation est intervenue. Celle-ci comportait quatre tâches :

- le calcul des accords inter-annotateurs,

- l'arbitrage par consensus des cas de désaccords entre annotateurs,

- les modifications éventuelles du guide d'annotation et déploiement des modifications dans les choix antérieurs d'annotation,

- la réalisation d'une annotation de référence après arbitrage.

Dans ce découpage en étapes, la première d'entre elles a été considérée comme une étape d'appropriation et à ce titre a concerné seulement six résumés, un par environnement d'annotation et par discipline. Les trois étapes suivantes ont chacune concerné dix-huit résumés, trois par environnement et par discipline.

La campagne d'annotation a mobilisé trois annotatrices, deux étudiantes en M2 de Sciences du Langage et une étudiante en M1 d'archéologie. Les linguistes ont réalisé les arbitrages pour toutes les occurrences du LST en linguistique et en archéologie tandis que l'archéologue s'est concentrée sur les occurrences du LST en archéologie. Il est à noter que ces trois étudiantes ont aussi travaillé conjointement sur les occurrences du lexique de spécialité représenté dans chaque résumé.

Afin d'assurer la cohérence de l'annotation dans son ensemble, deux arbitres linguistes ont procédé à l'analyse des désaccords entre annotateurs et ont réalisé un arbitrage par consensus entre arbitres en déployant les choix réalisés dans une version de référence des données annotées.

### 2.4.2. Résumé du guide d'annotation

En complément des informations fournies par le lexique lui-même, les annotateurs disposent d'un document définissant les différentes classes et sous-classes ainsi que d'un tableur rassemblant des exemples représentatifs de chaque entrée dans des contextes supposés parlants et non ambigus.

Chaque occurrence du LST détectée consiste en une correspondance candidate entre un empan textuel, lemmatisé et catégorisé, et une entrée du lexique. Pour chaque occurrence, les annotateurs décident si la correspondance est valide ou si elle est erronée. Ce choix est matérialisé par deux valeurs possibles : « 1 » pour les correspondances jugées valides, « 0 » pour les correspondances jugées invalides qui sont rejetées.
Le jugement de la validité d'une correspondance est réalisé par un raisonnement en deux étapes. La première étape consiste à vérifier la conformité syntaxique et phraséologique de la correspondance : identité de lemme et de catégorie puis inclusion ou non-inclusion dans une unité phraséologique de taille plus importante. C'est au cours de cette étape que les correspondances entre l'empan certain dans masquer l'entendue des ressources langagières de certaines jeunes filles et les entrées CERTAIN₁ et CERTAIN₂ sont rejetées parce que la catégorie syntaxique n'est pas correcte et ne correspond pas à celle des entrées (certain correspond à un déterminant indéfini dans cet exemple alors que certain n'existe qu'en tant qu'adjectif dans le LST). Un autre cas de rejet à cette étape du raisonnement est illustré par l'inclusion d'un empan dans une unité phraséologique plus étendue : le jugement de conformité des correspondances LST avec l'empan point dans d'un point de vue didactique est repoussé à la seconde étape qui s'intéresse à la conformité sémantique. En effet, la décision de la validité des correspondances avec les entrées LST POINT₁, POINT₂ et POINT_DE_VUE est davantage d'ordre sémantique que d'ordre formel. Le même report de la décision intervient lorsqu'une correspondance avec une entrée LST concerne un empan textuel qui est en concurrence directe avec une occurrence candidate du lexique de spécialité ou bien qui est inclus dans une occurrence candidate plus étendue du lexique de spécialité : l'empan objet (deux entrées LST correspondantes, OBJET₁ et OBJET₂) dans l'empan plus étendu objets métalliques correspondant à l'occurrence candidate du lexique de spécialité OBJET_METALLIQUE dans un texte d'archéologie.

Si les critères de la première étape de raisonnement sont satisfaites ou si le choix a été repoussé à la seconde étape de raisonnement, les annotateurs jugent de la conformité sémantique entre la description du contenu sémantique de l'entrée LST et le contexte de l'occurrence à annoter. C'est au cours de cette seconde étape de raisonnement que les annotateurs utilisent la description des classes et sous-classes sémantiques, les exemples représentatifs des entrées du LST ainsi que leur propre compétence linguistique. Au cours de cette étape, la conclusion peut être positive ou négative. Ainsi la correspondance LST avec le verbe admettre³ dans le contexte La production, bien que fortement normalisée, admettait une certaine variabilité dimensionnelle a été jugée valide, par l'annotateur grâce à sa maîtrise du domaine abordé, pour l'entrée ADMETTRE₁ et rejetée pour l'entrée ADMETTRE₂. Les informations fournies par le LST et la description de la classification sont les suivantes représentées dans la figure 3.

<table><caption>Contexte : La production, bien que fortement normalisée, admettait une certaine variabilité dimensionnelle</caption><thead><tr><th>Entrée LST</th><th>Nom de la classe<br>Définition de la classe</th><th>Nom de la sous-classe<br>définition Sous-classe</th><th>Glose</th><th>Choix</th></tr></thead><tbody><tr><td>ADMETTRE<sub>1</sub></td><td>processus_cognitif_psycho<br>Classe regroupant les verbes renvoyant processus cognitifs et psychologiques ne relevant pas prioritairement de l'activité scientifique</td><td>#opinion_neutre<br>Considération générale sans jugement ou orientation particulière</td><td>Accepter<br>Consentir</td><td>0</td></tr><tr><td>ADMETTRE<sub>2</sub></td><td>état<br>Classe des verbes renvoyant à l'état au sens général : une manière d'être, une situation ou condition statique</td><td>inclusion<br>L'état de comprendre, de réunir en soi par nature des éléments ou des caractères qualitatifs ou quantitatifs. N[sujet] +V+ N[COD]/de N</td><td>Comporter<br>Supposer</td><td>1</td></tr></tbody></table>

<caption>Fig. 3. Informations proposées par le LST et choix d'annotation pour ADMETTRE</caption>

Pour le cas détaillé en figure 3, le contexte de l'occurrence à annoter fait plutôt référence à un état qu'un processus. Au niveau de la sous-classe, le symbole « # » est utilisé par les
concepteurs du lexique pour indiquer que le sens dénote un processus volitionnel dont l'agent est humain. Le contexte dénote plutôt un état d'inclusion (d'une part de variabilité dimensionnelle). Donc l'annotation aurait dû être ADMETTTRE 2.

Le jugement de conformité sémantique est l'étape de raisonnement la plus difficile et la plus sujette à discussion. C'est pourquoi la campagne a été découpée en quatre étapes successives avec des temps de discussion entre les arbitres, d'une part, et entre arbitres et annotateurs, d'autre part. Le dernier point à préciser en ce qui concerne le guide d'annotation utilisé lors de la campagne concerne le comportement attendu lorsqu'un empan textuel correspondait à plusieurs entrées LST. Il n'était pas demandé aux annotatrices de choisir la meilleure correspondance parmi les correspondances détectées lors de la pré-annotation : chaque correspondance a été examinée indépendamment des autres. Par conséquent, dans certains cas, plusieurs correspondances ont été jugées valides sur le même empan textuel.

# 3. Résultats de la campagne d'annotation

## 3.1. Bilan quantitatif

Parmi les 2688 occurrences du LST à annoter, 1582 (59%) sont jugées valides et 1106 (41%) sont rejetées. Le détail par catégorie syntaxique est donné dans la figure 4.

<figure><img src="image_2.png" /><figcaption>**Fig. 4.** Occurrences du LST valides/rejetées en fonction des catégories grammaticales</figcaption></figure>

La figure 5 compare la distribution en catégories du LST avec celle de l'ensemble des 2688 occurrences LST du corpus.

<figure><img src="image_3.png" /><figcaption>**Fig. 5.** Comparaison de la distribution du LST et des occurrences LST du corpus</figcaption></figure>
On constate que les proportions par catégorie sont supérieures dans les occurrences du LST au sein du corpus pour toutes les catégories sauf celle des adverbes qui sont moins représentés dans le corpus que dans le lexique transdisciplinaire.

## 3.2. Accord entre les annotateurs

La tâche d'annotation réalisée est similaire à une tâche de désambiguïsation lexicale. Une campagne d'annotation ayant cette finalité a été mise en œuvre par Véronis (2001) et a abouti à la constitution du corpus ROMANSEVAL. Cette expérience est un point de comparaison pertinent pour deux raisons :

- les tâches d'annotation sont similaires, il s'agit des mesures de Kappa (Cohen, 1960 et Davies et Fleiss, 1982)

- les mesures d'évaluation via les mesures d'accord inter-annotateurs sont les mêmes.

L'annotation encadrée Véronis s'est traduite par deux expériences. Dans la première expérience, les annotateurs devaient indiquer s'ils avaient le sentiment qu'un ensemble de 600 mots (200 mots de chacune des trois catégories adjectif, nom et verbe) étaient polysémiques ou non. Dans la seconde expérience, pour 60 mots extraits du premier ensemble de 600 mots sélectionnés en fonction de leur caractère hautement polysémique, les annotateurs devaient choisir un ou plusieurs sens qui leur semblait approprié parmi les définitions fournies par le Petit Larousse. La seconde expérience a concerné 3 274 occurrences.

Pour la première expérience, le taux d'accord obtenu toutes catégories confondues était de 0,49 avec de fortes disparités selon les catégories : 0,67 pour les adjectifs, 0,36 pour les noms et 0,37 pour les verbes. Pour la seconde expérience, le taux d'accord obtenu était de 0,41 pour les adjectifs et les verbes et de 0,46 pour les noms.

L'expérience que nous avons menée sur l'annotation des occurrences du LST conduit à des taux d'accord supérieurs pour les deux disciplines examinées : 0,76 pour l'archéologie et 0,67 pour la linguistique. Cependant, ces taux d'accord ne sont pas satisfaisants pour autant. On se propose donc d'analyser plus en détail les cas de désaccords entre les annotateurs.

## 3.3. Analyse des cas de désaccord

Sur l'ensemble des deux disciplines SHS, toutes catégories confondues, les cas de désaccord entre annotateurs représentent 22,84 % des 2688 occurrences, soit 614 occurrences. Le tableau 4 donne le détail par catégorie.

<table><caption>**Tableau 4.** Distribution par catégorie des cas d'accord et de désaccord entre les annotateurs</caption><thead><tr><th rowspan="2"></th><th colspan="2">Accord</th><th colspan="2">Désaccord</th><th rowspan="2">Total par catégorie</th></tr><tr><th>369</th><th>80,57%</th><th>89</th><th>19,43%</th></tr></thead><tbody><tr><th>ADJ</th><td>174</td><td>75,00%</td><td>58</td><td>25,00%</td><td>232</td></tr><tr><th>NOM</th><td>894</td><td>78,63%</td><td>243</td><td>21,37%</td><td>1137</td></tr><tr><th>VERBE</th><td>637</td><td>73,98%</td><td>224</td><td>26,02%</td><td>861</td></tr><tr><th>Total selon l'accord</th><td>2074</td><td>77,16%</td><td>614</td><td>22,84%</td><td>2688</td></tr></tbody></table>

Parmi les 614 cas de désaccord, nous avons isolé les désaccords dont l'origine se trouve dans des propriétés d'ordre formel (mauvaise conformité syntaxique non détectée, inclusion phraséologique non identifiée correctement). Ces désaccords d'origine formelle représentent 106 occurrences. Nous proposons de ne pas les analyser en détail parce qu'il ne s'agit pas de désaccords d'ordre sémantique et parce que l'annotation produite aurait pu être automatisée et pourra être systématisée à l'aide d'heuristiques, dans tous les cas. Le tableau 5 détaille les cas de désaccord d'origine formelle et d'origine sémantique en fonction des catégories.
<table><caption>**Tableau 5.** Distribution par catégorie des cas de désaccord entre annotateurs</caption><thead><tr><th></th><th colspan="2">Désaccord d'origine sémantique</th><th colspan="2">Désaccord d'origine formelle</th><th>Total par catégorie</th></tr></thead><tbody><tr><th>ADJ</th><td>56</td><td>12,23%</td><td>33</td><td>7,21%</td><td>89</td></tr><tr><th>ADV</th><td>40</td><td>17,24%</td><td>18</td><td>7,76%</td><td>58</td></tr><tr><th>NOM</th><td>204</td><td>17,94%</td><td>39</td><td>3,43%</td><td>243</td></tr><tr><th>VERBE</th><td>208</td><td>24,16%</td><td>16</td><td>1,86%</td><td>224</td></tr><tr><th>Total selon l'accord</th><td>508</td><td>82,74%</td><td>106</td><td>17,26%</td><td>614</td></tr></tbody></table>

Il reste 508 cas de désaccords d'origine sémantique. Pour les analyser, nous avons classé les types d'informations qui semblent poser des problèmes lors de l'annotation comme lors de l'arbitrage et en avons rassemblé les effectifs et les proportions dans le tableau 6.

<table><caption>**Tableau 6.** Type de difficulté à l'origine de désaccords sémantiques</caption><thead><tr><th>Type de difficulté</th><th>Eff.</th><th>Prop.</th><th>Exemple</th></tr></thead><tbody><tr><td>Précisions d'ordre morphosyntaxique autres que la catégorie syntaxique de l'entrée</td><td>15</td><td>2,95%</td><td>Par contraste, la représentation des meules basaltiques autochtones issues du proche arrière-pays (20-25 km) apparaît bien médiocre (17 %)⁴ (ARCHÉO) => [non conforme à la construction impersonnelle précisée dans l'entrée]</td></tr><tr><td>Contenu sémantique de l'entrée</td><td>323</td><td>63,58%</td><td>La production, bien que fortement normalisée, admettait une certaine variabilité dimensionnelle⁵ (ARCHÉO) => [mauvaise reconnaissance de l'interprétation statique relevant d'une inclusion par rapport aux deux entrées possibles du verbe admettre]</td></tr><tr><td>Frontières du LST par rapport à la langue générale ou la langue de spécialité</td><td>162</td><td>31,89%</td><td>Il s'agit de trois types de figement représentationnel qui opèrent selon deux ordres de cognition sociale: la catégorisation (stéréotypage) et la symbolisation (emblématisation, mythification). (LING) => [catégorisation est un élément du lexique de spécialité en linguistique]; Au terme d'une étude lexicale, sémantique, catégorielle et informationnelle des structures attributives concernées, c'est l'analyse en termes d'allostructions qui l'emporte, la structure sans comme étant la variante non marquée et celle avec comme la variante marquée⁶ (LING) => [le statut transdisciplinaire du sens de concerner dans le LST est difficile à différencier du sens général de ce verbe]</td></tr><tr><td>Contexte difficile</td><td>3</td><td>0,98%</td><td>Cet article évalue, plus précisément, deux solutions qui ont été envisagées dans ce cadre pour rendre compte du problème de l'existence de structures minimalement différentes: la première analyse chacune des structures comme des constructions différentes [...]⁷ (LING) => [le contexte est ambigu catégoriellement en première lecture]</td></tr><tr><td>Pas de difficulté apparente</td><td>5</td><td>0,59%</td><td>Cet article s'attache à décrire les différentes étapes qui ont abouti à la conception et réalisation du logiciel FrAcTool et plus particulièrement les réflexions méthodologiques menées relativement aux problématiques d'acquisition, de gestion et d'exploitation de données archéologiques informatisées.⁸ (LING) => [sens transdisciplinaire]</td></tr><tr><td>Total</td><td>508</td><td>100%</td><td></td></tr></tbody></table>
Les deux sources de difficultés massives sont liées d'une part à l'adéquation entre la description sémantique de l'entrée et l'interprétation de l'occurrence à annoter (63,58 % des cas de désaccord), et d'autre part, aux frontières floues du LST avec la langue générale et la ou les langue(s) de spécialité dans le résumé où figure l'occurrence à annoter (31,89%).

Les désaccords pouvant provenir des frontières floues du LST se répartissent en 30,64 % des cas qui concernent une ambiguïté avec la langue générale et 69,14 % des cas qui concernent une ambiguïté avec la langue de spécialité du résumé en cours d'annotation.

Les désaccords liés au contenu sémantique des entrées LST sont difficilement classifiables du fait de leur grande diversité. Quelques régularités sont néanmoins apparues :

- restriction de sélection concernant l'agent d'un processus ou d'un état pour les prédicats nominaux ou verbaux (20 cas sur les 323 désaccords ayant une origine sémantique, soit 6,19 %). On en trouvera un exemple avec *aboutir* dans *Rares sont les expériences multiculturelles en ligne, en groupes multi-institutionnels et multilingues, qui permettent d'aboutir à l'observation d'attitudes de prise de risque ou d'engagement chez les participants*⁹. Dans cet exemple, les annotateurs sont en désaccord concernant le caractère humain de l'agent indirect, c'est-à-dire au sujet des expériences au sein desquelles les acteurs sont effectivement humains mais où ils sont sujets desdites expériences. Sur ce cas, l'arbitrage a conclu à l'interprétation non volitionnelle, soit *ABOUTIR₁* (classe = temporalité, sous-classe = fin, glose = Se conclure à) et a rejeté l'interprétation volitionnelle avec agent humain encodée dans l'entrée *ABOUTIR₂* (classe = temporalité, sous-classe = #fin, glose = Arriver à).

- distinction entre entrées LST, avec la même classe et la même sous-classe, donc reposant uniquement sur la glose (13 cas, soit 4,02 %). On en trouvera un exemple avec *considérer* dans *Cet article évalue, plus précisément, deux solutions qui ont été envisagées dans ce cadre pour rendre compte du problème de l'existence de structures minimalement différentes : la première analyse chacune des structures comme des constructions différentes, la deuxième consiste à les considérer comme des instanciations (ou "allostructions") d'une seule construction*¹⁰. Les entrées LST *CONSIDERER₁* et *CONSIDERER₃* ne se différencient que par leur glose, *Juger, estimer* pour la première, *Estimer, croire* pour la seconde tandis qu'elles partagent la même classe (processus_cognitif_psycho) et la même sous-classe (#opinion_neutre). L'arbitrage a opté pour *CONSIDERER₁* du fait de la synonymie probable avec le verbe *juger* dans la glose et du contexte scientifique du résumé.

Concernant le caractère humain ou non-humain de l'agent, nous avons introduit une certaine tolérance : à classe et sous-classe identiques, la seule différence acceptable était la présence ou non du symbole « # » en préfixe de la sous-classe. Ceci explique la très faible proportion de ce type de difficulté. Cependant, si nous n'appliquions pas cette marge de tolérance, nous aurions comptabilisé plus de la moitié des cas de désaccord comme relevant de cette distinction humain / non-humain.

Ce rappel souligne que la diversité des ambiguïtés sémantiques qui entrent en ligne de compte dans les désaccords constatés entre les annotateurs vient de causes interdépendantes. La première est que les différentes catégories syntaxiques du LST ne mettent pas en jeu les mêmes types d'ambiguïté. Il est en effet difficile de rassembler dans une même classification les ambiguïtés sémantiques des adjectifs et celles des verbes. La deuxième cause de cette diversité est liée au fait que le lexique transdisciplinaire s'étend sur beaucoup de domaines et d'aspects de l'activité scientifique. Tout comme le(s) lexique(s) de la langue générale, il serait peut-être constructif d'analyser les désaccords d'origine sémantique par grandes thématiques au sein du LST : objets d'étude, méthodologies, type de résultats du point de vue quantitatif versus qualitatif, type de résultats du point de vue de leur performance, positionnement scientifique, etc.
## 4 Conclusion

Cet article est consacré à la description d'une expérience d'annotation d'articles scientifiques en occurrences du lexique scientifique transdisciplinaire des SHS tel qu'il a été bâti, finalisé et mis à disposition par le Lidilem. Nos travaux s'inscrivent dans une perspective plus large d'enrichissement manuel, mais avec une ambition croissante d'automatisation de données textuelles en vue de fournir des corpus d'apprentissage au traitement automatique des langues et en particulier aux outils d'indexation automatique de documents.

L'expérience menée a consisté à juger de la bonne conformité entre la description sémantique des entrées du lexique scientifique transdisciplinaire et les 2688 occurrences de ce lexique détectées dans des résumés scientifiques en archéologie et en linguistique. Les résultats obtenus en termes de mesure de Kappa sont prometteurs (0.76 en archéologie et 0.67 en linguistique) mais pourraient être améliorés par l'analyse des cas de désaccords. Sur les 614 cas de désaccords observés, 106 correspondent à des situations où la prise de décision est systématisable parce qu'elle repose sur des critères formels. Sur les 508 cas restants, les désaccords sont d'origine sémantique. Pour classer ces différents types de désaccords et espérer systématiser davantage l'annotation, une analyse en grandes thématiques du lexique scientifique transdisciplinaire serait une piste à développer.

## Références bibliographiques

- Bougouin, A. et Boudin, F. (2014). TopicRank : ordonnancement de sujets pour l'extraction automatique de termes-clés In *T.A.L.*, n°55 (1), pp. 45-69.

- Cohen, J. (1960). A coefficient of agreement for nominal scales. *Educational and Psychological Measurement*, vol. 20, no 1, pp. 37-46.

- Cunningham H., Tablan V., Roberts A. et Bontcheva K. (2013). Getting More Out of Biomedical Documents with GATE's Full Lifecycle Open Source Text Analytics. *PLOS Computational Biology*.

- Daille, B., Jacquey, E., Lejeune, G., Melo, L. et Toussaint, Y. (2016). Ambiguity Diagnosis for Terms in Digital Humanities. *Proceedings of Language Resources and Evaluation Conference, Portoroz, Slovénie*.

- Da Silva, L. (2010). Extraction semi-automatique d'un vocabulaire savant pour l'indexation automatique. *Taln 2010*, Université de Montréal et Ecole polytechnique de Montréal, Montréal 19-22 juillet.

- Davies, M. et Fleiss J. (1982). Measuring agreement for multinominal data. *Biometrics*, vol. 34, no 4, pp. 1047-1051.

- Drouin, P. (2010a). Extracting a bilingual transdisciplinary scientific Lexicon. *Proceeding of eLexilography in the 21st century: new Challenges, new Applications*, M. Pacquot et S. Granger (dir.), Louvain : presses Universitaires de Louvain, vol 7, 23-54.

- Drouin, P. (2010b). From a bilingual transdisciplinary scientific Lexicon to bilingual transdisciplinary scientific Collocations. *Proceedings on the 14th Euralex International Congress*, A Dusktra et T Schonhaim (eds.), Fryske Akademy, Leeuwearden-Ljouwert, 6-10 july.

- Fort, K. (2012). Les ressources annotées, un enjeu pour l'analyse de contenu : vers une méthodologie de l'annotation manuelle de corpus. *Thèse*, Université Paris- Nord - Paris XIII, 263p.

- Hasan, K. S. et Ng., V. (2014). Automatic Keyphrase Extraction: A Survey of the State of the Art. *Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics*, pp. 1262–1273.

- Hatier, S. (2016). Identification et analyse linguistique du lexique scientifique transdisciplinaire. *Approche outillée sur un corpus d'articles de recherche en SHS, Thèse de doctorat*, Université de Grenoble.
Hatier, S., Augustyn, M., Thi Thu, H. T., Rui, Y., Tutin, A. et Jacques, M.-P. (2016). French Cross-disciplinary Scientific Lexicon: Extraction and linguistic Analysis. *Proceedings of EURALEX 2016*, pp. 357-368.

Ide, N. et Romary, L. (2006). Representing linguistic corpora and their annotations. *Proceedings of the International Conference on Language resources and Evaluation*, Gène, Italie.

Jacques, M.P. et Tutin, A. (2018). *Lexique transversal et formules discursives des sciences humaines*. ISTE Editions, Collections Scinces Cognitives, 316 pages.

Krippendirff, K. (1995). On the Utility of Unitizing Continuous Data. *Sociological Methodology*, vol 25.

Lommel, A., Melby, A.K., Glenn, N., Hayes, J., Snow, T. (2014). TBX-Min: A Simplified TBX-Based Approach to Representing Bilingual Glossaries. *Terminology and Knowledge Engineering*, Berlin, Germany.

Mathet, Y. et Widlöcher, A. (2011). Une approche holiste et unifiée de l'alignement et de la mesure d'accord inter-annotateurs. M. Lafourcade, V. Prince (eds), *Actes de la 18e Conférence Traitement Automatique des Langues Naturelles (TALN'11)*, Montpellier, France, pp 247-258, juin.

Melby, A.K. (2015). TBX : A Terminology Exchange Format for the translation and localization Industry. *Handbook of Terminology, v. 1*, John Benjamins Publishing Compagny.

Rocheteau, J. et Daille, B. (2011). TTC TermSuite : A UIMA Application for Multilingual Terminology Extraction from Comparable Corpora. *International Joint Conference on Natural Language Processing: System Demonstrations*, Chiang Mai, Thailand.

Romary, L. (2014). TBX goes TEI – Implementing a TBX basic extension for the Text Encoding Initiative guidelines. *Terminology and Knowledge Engineering* Berlin, German.

Schmid, H. (1994). Probabilistic Part-of-Speech Tagging Using Decision Trees. *Proceedings of International Conference on New Methods in Language Processing*.

Stenetorp P., Pyysalo S., Topi c G., Ohta T., Ananiadou S., et Tsujii J. (2012). BRAT: A Web-based Tool for NLP-assisted Text Annotation. *Proceedings of the Demonstrations at the 13th Conference of the European Chapter of the Association for Computational Linguistics, EACL'12*, Association for Computational Linguistics, Stroudsburg, PA, USA, pp 102-107.

Text Encoding Initiative, Guidelines, https://tei-c.org/guidelines/ [consulté le 16/12/19]

Tutin, A. (2007). Modélisation et annotations des collocations : une application au lexique transdisciplinaire des écrits scientifiques. *Formaliser les langues avec l'ordinateur : de INTEX à Nooj. Les cahiers de la MSHE - Archive, bases, corpus*. Besançon : Presses universitaire de Franche Comté, vol. 8.

Tutin, A. et Grosmann F. (2014). L'écrit scientifique : du lexique au discours. Presses Universitaires de Rennes, Collection Rivages linguistiques, 246p, 2014.

Véronis, J. (2001). Sense Tagging: does it make sense ? *Proceedings of the Corpus Linguistics Conference*, vol. 13.

Widlöcher, A. et Mathet, Y. (2012). The GLOZZ platform: a corpus annotation and mining tool. C. Concolato, P. Schmitz (eds), *Proceedings of the ACM Symposium on Document Engineering (DocEng'12)*, Paris, France, pp 171-180, septembre.

<footnote n="1">¹ Laurence.Kister@univ-lorraine.fr et Evelyne.Jacquey@atilf.fr</footnote>

<footnote n="2">² http://lst.demarre-shs.fr [consulté le 04/01/20]</footnote>

<footnote n="3">³ Cet extrait vient du texte 251 en archéologie dont le titre est « L'outil idéal. Analyse du standard levallois des sites moustériens d'hermies (Nord de la France) » (de Luc Vallin, Bertrand Masson, Jean-Paul Caspar et Éric Depiereux, publié dans *Les Eyzies de Tayac-Sireuil* (18), 2006, pp. 237-272) et qui traite de l'analyse d'éclats de silex recensés dans deux gisements moustériens. Les auteurs</footnote>
concluent que ces éclats, étant donné leur profil et malgré leur « variabilité dimensionnelle », sont
probablement destinés à un usage de boucherie...

<footnote n="4">⁴ Reille, J.L. (2001). L'importation des meules domestiques dans la forteresse grecque d'Olbia (Hyères, Var) entre Ile s. av. n. è. et le Haut Empire. *Documents d'archéologie méridionale* (24), pp. 207-211.</footnote>

<footnote n="5">⁵ Boyer, H. (2008). Stéréotype, emblème, mythe. Sémiotisation médiatique et figement représentationnel. *Mots* (88), pp. 99-113.</footnote>

<footnote n="6">⁶ Tobback, E., Defrancq, B., Desmets, M., Gautier, A. et Verjans, Th. (2008). « Comme » devant l'attribut de l'objet : une approche constructionnelle. *LINX* (58), pp. 97-117.</footnote>

<footnote n="7">⁷ Tobback, E., Defrancq, B., Desmets, M., Gautier, A. et Verjans, Th. (2008). « Comme » devant l'attribut de l'objet : une approche constructionnelle. *LINX* (58), pp. 97-117.</footnote>

<footnote n="8">⁸ Houllier, J.R. et Arnoux, Th. (2001). Informatisation d'une fouille : Réalisation et déploiement du logiciel d'acquisition de données «FrAcTool» (Fressignes Acquisition Tool). *Paléo (Les Eyzies de Tayac-Sireuil)* (13), pp. 251-264.</footnote>

<footnote n="9">⁹ Audras, I., Chanier, Th. (2007). Aquisition de compétences interculturelles : interactions orales et écrites en tridem en ligne. *Lidil* (36), pp. 23-41.</footnote>

<footnote n="10">¹⁰ Tobback, E., Defrancq, B., Desmets, M., Gautier, A. et Verjans, Th. (2008). « Comme » devant l'attribut de l'objet : une approche constructionnelle. *LINX* (58), pp. 97-117.</footnote>