Langues par défaut? Analyse contrastive et diachronique des langues non citées dans les articles de TALN et d’ ACL (Contrastive and diachronic study of unmentioned (by default ?) languages in TALN and ACL We study the application of the # B ender R ule in natural language processing articles, taking into account a contrastive and a diachronic dimensions, by examining the proceedings of two NLP conferences, TALN and ACL , over time) (2022)

Abstract: Cet article étudie l’application de la #RègledeBender dans des articles de traitement automatique des langues (TAL), en prenant en compte une dimension contrastive, par l’examen des actes de deux conférences du domaine, TALN et ACL, et une dimension diachronique, en examinant ces conférences au fil du temps. Un échantillon d’articles a été annoté manuellement et deux classifieurs ont été développés afin d’annoter automatiquement les autres articles. Nous quantifions ainsi l’application de la #RègledeBender, et mettons en évidence un léger mieux en faveur de TALN sur cet aspect.

## introduction cet article s'inscrit dans la lignée des études appliquant les techniques de traitement automatique des langues (tal) pour explorer le champ du tal lui-même @xcite . les buts peuvent être par exemple d'explorer les progrès du domaine, en identifiant les découvertes ou les sujets d'actualité @xcite @xcite , d'aborder des questions éthiques, par exemple le plagiat @xcite , ou encore d'interroger la fiabilité des méthodes utilisées, comme en traduction automatique @xcite . les implications sont donc à la fois éthiques et scientifiques. nous nous intéressons aux langues étudiées dans les articles de taln et d'acl, et à leur nombre. la question des langues étudiées en tal a été à nouveau soulevée récemment, mais elle a été posée assez tôt dans l'histoire de la grammaire ou de la linguistique. en tal, même si la majorité des recherches est encore restreinte à un nombre limité de langues, la situation semble évoluer. c'est ce que suggèrent @xcite dans leur article sur l'inclusion et la diversité linguistiques dans la communauté. se préoccuper de la diversité des langues étudiées implique au minimum qu'elles soient nommées. cela peut paraître évident, mais il y a dix ans @xcite faisait remarquer que nombre d'articles ne mentionnent tout simplement pas les langues étudiées. elle encourageait donc les chercheurs à les nommer explicitement, même quand (et en particulier si) il s'agit de l'anglais. huit ans après, dans un billet, elle rappelle à la communauté que l'« anglais n'est ni synonyme ni représentatif de toutes les langues » @xcite . cette exhortation à mentionner les langues étudiées est devenue la #règledebender que l'on peut résumer ainsi : « il faut toujours spécifier la ou les langues étudiées ». en effet, ne pas citer la ou les langues étudiées pose non seulement problème au niveau linguistique (mel'čuk, 1988, p. 4), mais amplifie également les inégalités @xcite . il n'existe cependant pas à notre connaissance de travaux publiés abordant explicitement la question de l'application de la #règledebender. les études abordant la diversité linguistique dans les conférences, telles que @xcite ou @xcite , ne traitent pas du sujet des langues par défaut. l'article présent est donc une première tentative empirique de quantification de l'application de la #règledebender. pour mener à bien cette étude, nous entraînons deux classifieurs pour déterminer si les articles respectent ou non la #règledebender. nous notons par la même occasion la ou les langues étudiées quand cela est possible. les contributions de cet article sont les suivantes : (i) nous avons assemblé un corpus de près de 8 500 articles issus des conférences taln et acl ; (ii) nous avons annoté manuellement un échantillon de 550 de ces articles, c'est-à-dire que nous avons vérifié si la #règledebender est appliquée ou non, et pris note des langues étudiées lorsque cela était possible ; (iii) nous avons analysé les résultats dans une perspective contrastive et diachronique et extrait les tendances générales. ## méthodologie corpus nous avons assemblé un corpus d'articles en français (à l'exclusion donc des articles en anglais) provenant de la conférence taln de 2000 à 2020, et un corpus d'articles en anglais d'acl, de 1979 à 2020. pour taln, nous avons utilisé les articles au format texte de @xcite , et pour acl ceux fournis par l'aan anthology network corpus @xcite et avons ocrisé les années suivantes. ce corpus comprend 8 434 articles : 1 172 pour taln et 7 262 pour acl. annotation manuelle l'un des auteurs du présent article (annotateur 0) a annoté manuellement 550 articles, 130 articles de taln et 420 d'acl, pris au hasard avec un équilibre par édition de la conférence. chaque article a été affecté à l'une des quatre catégories suivantes et les langues étudiées ont été notées quand elles ont pu être identifiées : appliquée : la langue étudiée est clairement mentionnée dans l'article. nous utilisons la lremap comme liste de ressources avec leur langue associée. foot_0 non-déductible : la #règledebender est applicable, non appliquée et non déductible. la langue n'est pas mentionnée et n'est pas facilement déductible d'un nom de ressource. afin de vérifier la qualité des annotations manuelles, les trois autres auteurs ont annoté en double un échantillon de ces données (62 articles dont 26 pour taln et 36 pour acl), de sorte que 15 % des annotations ont été dupliquées. les annotations en double ont permis le calcul de l'accord interannotateurs avec l'annotateur 0 : 85 %, 83 % et 84 % respectivement pour les trois annotateurs. en fusionnant ces trois annotations, on obtient un kappa de @xcite de 84 % avec l'annotateur 0, ce qui est généralement considéré comme bon @xcite . qui n'appliquent pas la #règledebender. on constate également que les études monolingues y sont un peu plus représentées que les études bilingues, et que les études trilingues et quadrilingues sont encore moins nombreuses. pour taln, il y a presque autant d'articles qui ne citent aucune langue que d'articles qui en citent une. cependant, nous remarquons que les articles bilingues sont très représentés, suivis de près par les articles trilingues. la figure 3b montre que les 10 langues les plus représentées dans les deux conférences sont très similaires, différant par seulement deux langues : le coréen et le néerlandais n'apparaissent qu'à acl, alors que l'arabe et le persan n'apparaissent qu'à taln. il convient de noter que presque toutes ces langues sont parlées dans des pays importants sur le plan politique ou économique, ou ont un nombre relativement important de locuteurs. à propos des langues les plus étudiées, e. bender remarquait que « beaucoup des langues incluses sont parentes proches les unes des autres » @xcite . ici, à l'exception du chinois, du japonais, de l'arabe et du coréen, elles appartiennent toutes à la famille des langues indo-européennes. en outre, deux ou trois langues seulement représentent plus de 10 % du total des langues mentionnées. dans le corpus taln, le français est sans surprise très majoritairement cité, alors que l'anglais constitue seulement 16 % des mentions. pour acl, le mandarin arrive juste après l'anglais. on peut imaginer que, dans quelques années, le mandarin dépasse l'anglais dans le classement. cela ne signifiera pas forcément que cette langue sera plus étudiée que l'anglais, mais qu'elle sera davantage mentionnée. les résultats sont bien sûr biaisés car la non-application de la #règledebender conduit à une sorte d'invisibilité du mot « anglais » (« français » pour taln) dans les articles. si l'on extrait la liste des langues étudiées dans les articles qui n'appliquent pas la #règledebender (langues qui sont étudiées sans être mentionnées), on obtient uniquement l'anglais pour acl et l'anglais et le français pour taln. cela confirme les affirmations d'e. bender selon lesquelles l'anglais reste considéré comme une « langue par défaut », « synonyme de langue naturelle » et qu'il existe, en effet, une véritable « habitude de ne pas nommer la langue étudiée lorsqu'il s'agit de l'anglais » @xcite . le cas du français pour taln peut être interprété de façon similaire, ou en faisant l'hypothèse que les auteurs estiment évident qu'ils travaillent sur la langue dans laquelle ils écrivent. ## limites potentielles de l'étude il est bien entendu que nous n'avons pas lu l'intégralité du texte des articles que nous avons annotés manuellement, certaines annotations peuvent donc être incorrectes ou discutables. cependant, l'accord inter-annotateurs obtenu est rassurant. par ailleurs, la liste des langues que nous avons utilisée n'est pas exhaustive et nous avons probablement manqué des langues. par exemple, l'article @xcite porte sur 107 langues que n'avons pas pu détectées, car il ne les liste que par leur code iso, que nous ne prenons pas en compte. un autre problème est le manque de précision concernant la langue, même lorsqu'elle est mentionnée. par exemple, lorsque le chinois est mentionné, les auteurs ne précisent souvent pas de quel chinois il s'agit, même si, généralement, comme le dit e. bender dans son billet, il s'agit du mandarin. il en va de même pour presque toutes les langues. par ailleurs, nous avons dû exclure 24 articles en raison de problèmes d'ocr (fichiers illisibles). comme nous n'avons pas corrigé manuellement les résultats de l'ocr, il est possible qu'il reste des problèmes non identifiés. enfin, nous avons limité notre étude aux articles jusqu'en 2020. or, e. bender a formulé sa règle en 2019. la proximité temporelle peut avoir une influence qu'il est difficile d'estimer aujourd'hui. afin d'évaluer cet impact à plus long terme, les expériences rapportées ici sont à renouveler dans quelques années. toutefois, notre objectif principal n'était pas d'évaluer l'impact du billet, mais la prévalence de la question. ## conclusion nous avons comparé l'application de la #règledebender dans deux conférences du tal, taln et acl. nous concluons que les articles de taln mentionnent davantage les langues qu'ils étudient et qu'il y a une moindre représentation de la langue de la conférence dans les langues étudiés. nous avons examiné l'évolution de l'application de la #règledebender au fil du temps mais n'avons pas observé de changement significatif pour acl, même s'il y a un rebond en 2020. enfin, dans les deux corpus, nous avons constaté que lorsque la #règledebender n'est pas appliquée, la langue étudiée est l'anglais ou le français pour quelques articles de taln, ce qui confirme certaines affirmations d'e. bender. le code et les ressources utilisés sont librement disponibles sur github à fin de réplication. pour évaluer le véritable impact du billet d'e. bender, les classifieurs devront être rejoués dans les années à venir sur les articles @xcite . une autre perspective est de reproduire l'expérience sur d'autres conférences internationales et nationales. nous l'avons déjà fait sur les actes de lrec @xcite .