Construction automatique d’une base de données étymologiques à partir du wiktionary (Automatic construction of an etymological database using W iktionary) (2017)

Abstract: Les ressources lexicales électroniques ne contiennent quasiment jamais d’informations étymologiques. De telles informations, convenablement formalisées, permettraient pourtant de développer des outils automatiques au service de la linguistique historique et comparative, ainsi que d’améliorer significativement le traitement automatique de langues anciennes. Nous décrivons ici le processus que nous avons mis en œuvre pour extraire des données étymologiques à partir des notices étymologiques du wiktionary, rédigées en anglais. Nous avons ainsi produit une base multilingue de près d’un million de lexèmes et une base de plus d’un demi-million de relations étymologiques entre lexèmes.

## introduction les ressources lexicales électroniques utilisées en traitement automatique des langues et en linguistique informatique, dans leur très grande majorité, sont des ressources synchroniques : le plus souvent, elles fournissent des informations sur les propriétés flexionnelles, dérivationnelles, syntaxiques, sémantiques voire pragmatiques de leurs entrées. le caractère formalisé en permet l'utilisation par des outils automatiques. à l'opposé, les informations diachroniques, et notamment l'étymologie, ne font qu'exceptionnellement l'objet de ressources électroniques et restent ainsi l'apanage des dictionnaires imprimés ou publiés en ligne (comme par exemple le tlfi). les rares ressources existantes, et notamment la base de données the tower of babel 1 ou le projet pielexicon 2 , s'appuient souvent sur des principes comparatifs et étymologiques qui sont au mieux obsolètes et non consensuels 3 et au pire complètement fantaisistes 4 . seul l'etymwordnet (de melo, 2014), sur lequel nous reviendrons, fait figure d'exception malgré ses sévères limitations. la disponibilité de bases de données étymologiques formalisées, riches et de grande couverture serait pourtant de nature à permettre des avancées importantes en linguistique diachronique, historique et comparative. en effet, la modélisation de l'évolution des langues et la reconstruction de proto-langues, ancêtres de plusieurs langues attestées, repose sur la prise en compte de données lexicales très conséquentes, couvrant souvent des dizaines voire des centaines de langues. pour certaines familles comme les langues indo-européennes ou les langues sémitiques, près de deux siècles de recherches minutieuses ont permis d'avoir une assez bonne compréhension de la diachronie lexicale. toutefois, même pour ces deux familles, et a fortiori pour les autres, de nombreuses zones d'ombre persistent. développer des moyens automatiques pour explorer les correspondances formelles et sémantiques potentielles entre mots de langues différentes et pour modéliser leur évolution diachronique permettrait de renouveler les sous-disciplines linguistiques concernées, tout en posant des problèmes algorithmiques difficiles. cela contribuerait aussi au développement de ressources et d'outils pour le traitement automatique de documents anciens qui reflètent un état de la langue significativement différent de ce que les outils habituels peuvent traiter (par exemple, des documents en ancien ou moyen français, que des outils de traitement automatique du français contemporain ne peuvent traiter correctement). de telles entreprises ne peuvent naturellement que s'appuyer sur le résultat des travaux étymologiques antérieurs, qu'il convient donc de représenter sous la forme de ressources lexicales électroniques formalisées. pour cela, il est nécessaire d'identifier une source exploitable d'informations étymologiques, d'en extraire automatiquement ces informations et de les représenter sous une forme structurée voire normalisée. c'est un tel travail que nous décrivons dans cet article. nous nous appuyons sur l'édition anglaise du wiktionary 5 , dictionnaire collaboratif en ligne dont la syntaxe est semi-structurée et qui inclut des informations étymologiques assez riches et d'une fiabilité raisonnable, naturellement rédigées en anglais 6 . cet article est structuré comme suit. après un bref aperçu des travaux antérieurs ayant un lien avec le nôtre (section 2), et un survol des différents types de relations étymologiques entre lexèmes (section 3), nous décrivons les notices étymologiques que l'on trouve dans le wiktionary et la façon dont nous les avons extraites et partiellement structurées (section 4). la section 5 est consacrée au processus de construction d'une base de lexèmes et d'une base de relations étymologiques entre lexèmes. la section 6 fournit un certain nombre d'informations quantitatives sur ces bases, les formats dans lesquels nous les avons exportées, ainsi qu'une évaluation manuelle de leur qualité. nous discuterons enfin à la section 7 des suites à donner à ce travail, et notamment de certaines de ses applications immédiates. les deux bases ainsi construites sont librement disponibles sous licence lgpl-lr. ## travaux antérieurs les travaux antérieurs en lien avec le travail présenté ici peuvent être classés en trois catégories : les travaux concernant la normalisation des informations étymologiques, les bases de données existantes et, pour finir, l'etymwordnet déjà mentionné. les informations étymologiques n'étant qu'exceptionnellement prises en compte dans les ressources lexicales électroniques, leur représentation structurée ne fait pas encore l'objet de recommandations quant à leur normalisation. à cet égard, le document de travail publié par @xcite reflète l'état des recherches. il s'appuie sur plusieurs initiatives antérieures, et notamment sur les travaux de @xcite . il propose un ensemble de principes généraux pour la représentation des informations étymologiques dans les dictionnaires électroniques encodés en tei. il s'appuie sur une typologie relativement large des phénomènes sous-jacents, qui couvre l'héritage standard (ce que les étymologistes qualifient de recto itinere, 'en droite ligne'), l'emprunt, la métaphore, la métonymie, la composition et la grammaticalisation. certains de ces mécanismes ne sont pas étymologiques à proprement parler mais ressortent plutôt de mécanismes de création lexicale. nous reviendrons à la section 6 sur certaines limites de l'état actuel de cette proposition. peu de dictionnaires électroniques librement disponibles font usage de représentations structurées des informations étymologiques. nous avons déjà mentionné the tower of babel et le pielexicon. un autre exemple est le germanic lexicon project 7 de s. crist, dont le format de représentation peut également être considéré comme un précédesseur des propositions @xcite . toutefois, les différents dictionnaires libres de droits distribuées dans ce cadre ne sont que faiblement structurés : l'extraction systématique de relations étymologiques serait une tâche non triviale. ce n'est pas le cas de la world loanword database, qui, pour 1 460 sens sélectionnés avec soin, fournit un ou plusieurs lexèmes dans 41 langues, chacun étant associé à un niveau de probabilité de résulter d'un emprunt ainsi que des lexèmes sources possibles. mais l'inventaire des 41 langues couvertes reflète le positionnement typologique et non étymologique du projet. en tout état de cause, on est loin d'une ressource à large couverture, et, bien sûr, seuls les mécanismes d'emprunt sont couverts, à l'exclusion de tout autre mécanisme étymologique. plus proche de notre travail, de melo (2014) a rendu disponible l'etymwordnet, qu'il a, comme nous, extrait automatiquement à partir du wiktionary anglais (quoique dans une version de trois ans plus ancienne). toutefois, et malgré une large couverture, l'etymwordnet n'est pas exploitable tel quel pour l'informatisation de la linguistique comparée et historique en raison de deux limitations fondamentales : les mécanismes en jeu ne sont pas distingués (par exemple, aucune distinction entre héritage, emprunt et dérivation morphologique) et, plus grave encore, les unités manipulées sont des lemmes et non des lexèmes : les sens sont ignorés. nous n'avons pas connaissance de travaux antérieurs ayant eu pour résultat une base étymologique électronique formalisée à large couverture qui manipule des lexèmes, comme il est nécessaire en lexicologie étymologique (cf. section 3), et qui distingue les mécanismes étymologiques entre eux. c'est là l'objectif de notre travail. la seconde question qui se pose est celle de la nature de la relation étymologique entre lexèmes. suivant à nouveau @xcite , une relation étymologique élémentaire doit se faire entre lexèmes immédiatement reliés : il s'agit d'un lien direct. dans le cas d'un héritage recto itinere, et dès lors que l'on se dote d'un inventaire (nécessairement arbitraire) d'identifiants de langues, une relation élémentaire doit donc impliquer un lexème d'une langue à un ou plusieurs lexèmes de l'état immédiatement antérieur de cette même langue 9 . dans le cas d'un emprunt, une relation directe associe simplement le lexème cible au lexème source 10 . en effet, utiliser autant que possible des relations directes est la seule façon de pouvoir spécifier la nature du procédé étymologique en cause 11 . la troisième question qui se pose est celle des différents types de mécanismes étymologiques. bien que nous n'en traiterons pas tous les cas de figure, nous utiliserons la typologie suivante : ## construction de la base de relations étymologiques le résultat du processus de structuration du dump du wiktionary décrit à la section précédente est plus exploitable que le dump lui-même, mais pose néanmoins un certain nombre de difficultés. la plus importante est naturellement qu'à l'exception des éléments <form/>, les informations étymologiques sont en anglais, sans aucune formalisation. une autre limite est que, d'un article à l'autre, un même lexème peut être glosé de différentes façons, et parfois ne pas l'être du tout. pour tenter de remédier à ces difficultés, nous avons procédé en plusieurs étapes. tout d'abord, nous avons défini un certain nombre de motifs permettant d'inférer la glose d'une forme, lorsqu'elle n'a pas été explicitée, à partir du contexte foot_0 . l'élément <form/> est alors complété en conséquence. nous parcourons alors l'ensemble des sections étymologiques et créons des triplets de la forme (lexème cible, lexème ou séquence de lexèmes source, type de la relation) à l'aide d'une cascade de motifs réguliers. au cours de ce processus, @xmath0, et chaque triplet associe deux de ces identifiants et un type de relation. les composés et dérivés font l'objet d'un traitement particulier, au moyen d'identifiants négatifs. supposons par exemple que l'on ait identifié que @xmath1. bêtement, dont les définitions en anglais dans le wiktionary ont été correctement identifiées et ont permis d'extraire la glose 'stupidly, idiotically'. s'il n'existe pas déjà, on attribue un identifiant entier positif i non encore utilisé au lexème fr. bêtement 'stupidly, idiotically'. on fait de même avec fr. bête '(pas de glose)' et fr. -ment '(pas de glose)'. s'il n'existe pas déjà, on associe alors un identifiant entier négatif j non encore utilisé au couple formé des identifiants respectifs de fr. bête '(pas de glose)' et de fr. -ment '(pas de glose)'. on peut alors créer le triplet (i, j, der(s)), où « der(s) » indique le type de relation, à savoir une dérivation suffixale. ceci étant fait, il nous faut fusionner, autant que possible, les lexèmes synonymes : par exemple, si d'autres notices étymologiques ont conduit à attribuer des identifiants (entiers positifs) à des lexèmes tels que fr. bêtement '(pas de glose)' ou fr. bêtement 'stupidly, foolishly', il convient de les fusionner tous deux avec le lexème fr. bêtement 'stupidly, idiotically' mentionné précédemment. pour ce faire, nous itérons jusqu'à stabilité la séquence d'étapes suivantes : pour obtenir, dans la mesure du possible, des relations étymologiques directes, nous supprimons toute relation entre deux lexèmes lexème 1 et lexème 3 telle qu'il existe également une relation entre lexème 1 et un lexème intermédiaire lexème 2 et une relation entre ce lexème 2 et lexème 3 17 . enfin, le type de certaines relations est corrigé, afin de préciser autant que possible les cas où l'on est en présence d'emprunts ou de dérivation morphologique et non d'héritage, qui reste néanmoins la relation par défaut. le résultat de ce processus d'extraction est double : un ensemble de lexèmes, dont certains seulement sont glosés, et un ensemble de relations impliquant un lexème cible, un ou plusieurs lexèmes sources (plusieurs en cas de composition ou dérivation affixale) et un type de relation. en voici quelques exemples réels concernant des lexèmes français : -fr. gobelet 'goblet' < ofr. gobel 'goblet ; cup ; beaker ; tumbler' -fr. maudire 'to curse' < ofr. maudire ∼ maldire 'to curse' -fr. éponger 'to sponge ; to absorb' < s fr. éponge 'sponge' + fr. -er -fr. idéologie 'ideology' < d fr. idéo-+ fr. -logie -fr. acajou 'cashew' ← port. acajú 'cashew' -fr. car 'car ; coach' ← e car 6 résultats et évaluation 6.1 données quantitatives l'étape initiale d'extraction décrite au début de la section 5 a produit près d'1,2 million de lexèmes, 62 056 séquences de lexèmes et 548 935 relations étymologiques entre deux lexèmes ou entre un lexème et une séquence de lexèmes 18 . quelques dizaines d'itérations de l'algorithme de fusion conduisent à la fusion de 199 185 lexèmes et de 289 séquences de lexèmes d'où au final 975 473 lexèmes distincts, 61 809 séquences de lexèmes distinctes et 519 348 relations distinctes. l'élimination de 5 149 relations non-directes conduit à un nombre final de relations égal à 514 199. les lexèmes obtenus relèvent de 2311 langues distinctes, parmi lesquelles les mieux représentées sont, dans l'ordre, l'anglais (257 978 lexèmes), le latin (65 981), le français (32 044), l'italien (28 028) et le grec ancien (21 077). parmi ces lexèmes, 659 567 soit 68% disposent d'une glose. parmi les 514 199 relations, 452 041 sont entre deux lexèmes, les autres reliant un lexème et une séquence de lexèmes. les relations de cognation sont au nombre de 90 511, les 423 673 autres étant des relations directes. enfin, 318 883 des relations obtenues n'impliquent que des lexèmes glosés. nous aurions pu facilement augmenter de façon importante le nombre de relations de cognation, en ajoutant des relations entre lexèmes ayant un ancêtre (direct ou indirect) commun dans notre base. ## perspectives d'amélioration et d'utilisation le travail présenté ici devra être amélioré de plusieurs façons. tout d'abord, les motifs de structuration des notices étymologiques puis d'extraction des lexèmes et des relations peuvent être étendus, améliorés, raffinés. ensuite, l'algorithme de fusion des formes peut être enrichi afin d'unifier des lexèmes qui ne le sont pas encore en raison de variations qui peuvent être de deux types : une modélisation de l'arbre phylogénétique des langues utilisées permettrait également de remplacer certaines relations indirectes par des relations directes, soit au moyen d'heuristiques simples soit grâce à une modélisation au moins partielle des changements phonétiques voire morphologiques intervenus entre temps. pour illustrer ceci sur un cas particulièrement simple, on pourrait remplacer la relation fr. chapitre 'chapter' < ofr. chapitre 'chapter' par une relation mfr. chapitre 'chapter' < ofr. chapitre et une relation mfr. chapitre 'chapter' < ofr. chapitre. cela permettrait d'étendre les lexiques de certaines langues intermédiaires au moyen de mots qui peuvent être attestés, et donc validés par la consultation de ressources externes si elles existent, ou ne pas l'être encore. enfin, il serait utile d'extraire les notices étymologiques disponibles dans certaines autres éditions de wiktionary, et notamment son édition française, le wiktionnaire. les représentations formalisées utilisées par nos bases de lexèmes et de relations étymologiques ne reflètent la langue de la ressource d'origine que par la langue des gloses. on peut imaginer remplacer automatiquement des gloses en français extraite du wiktionnaire par des gloses en anglais, par exemple en exploitant les traductions anglaises fournies dans les articles du wiktionnaire eux-mêmes. outre la complétion de lexiques pour des langues intermédiaires, la ressource dont nous avons présenté la construction dans cet article pourra servir de point de départ à différents types de travaux en linguistique historique computationnelle, comme évoqué dans l'introduction. elle pourra également faire l'objet de vérifications automatisées de cohérence interne, par exemple par l'extraction automatique de lois phonétiques et la vérification de leur applicabilité systématique, modulo les phénomènes de réfection analogiques. elle pourrait permettre également, à terme, la construction ou la complétion automatique de dictionnaires étymologiques à large couverture.