ymoslem/acl-abstracts huggingface dataset:
WMDecompose: A Framework for Leveraging the Interpretable Properties of Word Mover`s Distance in Sociocultural Analysis (2021)

Despite the increasing popularity of NLP in the humanities and social sciences, advances in model performance and complexity have been accompanied by concerns about interpretability and explanatory power for sociocultural analysis. One popular model that takes a middle road is Word Mover`s Distance (WMD). Ostensibly adapted for its interpretability, WMD has nonetheless been used and further developed in ways which frequently discard its most interpretable aspect: namely, the word-level distances required for translating a set of words into another set of words. To address this apparent gap, we introduce WMDecompose: a model and Python library that 1) decomposes document-level distances into their constituent word-level distances, and 2) subsequently clusters words to induce thematic elements, such that useful lexical information is retained and summarized for analysis. To illustrate its potential in a social scientific context, we apply it to a longitudinal social media corpus to explore the interrelationship between conspiracy theories and conservative American discourses. Finally, because of the full WMD model`s high time-complexity, we additionally suggest a method of sampling document pairs from large datasets in a reproducible way, with tight bounds that prevent extrapolation of unreliable results due to poor sampling practices.
Period Classification in Chinese Historical Texts (2021)

In this study, we study language change in Chinese Biji by using a classification task: classifying Ancient Chinese texts by time periods. Specifically, we focus on a unique genre in classical Chinese literature: Biji (literally {\textquotedblleft}notebook{\textquotedblright} or {\textquotedblleft}brush notes{\textquotedblright}), i.e., collections of anecdotes, quotations, etc., anything authors consider noteworthy, Biji span hundreds of years across many dynasties and conserve informal language in written form. For these reasons, they are regarded as a good resource for investigating language change in Chinese (Fang, 2010). In this paper, we create a new dataset of 108 Biji across four dynasties. Based on the dataset, we first introduce a time period classification task for Chinese. Then we investigate different feature representation methods for classification. The results show that models using contextualized embeddings perform best. An analysis of the top features chosen by the word n-gram model (after bleaching proper nouns) confirms that these features are informative and correspond to observations and assumptions made by historical linguists.
A Mixed-Methods Analysis of Western and Hong Kong--based Reporting on the 2019--2020 Protests (2021)

We apply statistical techniques from natural language processing to Western and Hong Kong{--}based English language newspaper articles that discuss the 2019{--}2020 Hong Kong protests of the Anti-Extradition Law Amendment Bill Movement. Topic modeling detects central themes of the reporting and shows the differing agendas toward \textit{one country, two systems}. Embedding-based usage shift (at the word level) and sentiment analysis (at the document level) both support that Hong Kong{--}based reporting is more negative and more emotionally charged. A two-way test shows that while July 1, 2019 is a turning point for media portrayal, the differences between western- and Hong Kong{--}based reporting did not magnify when the protests began; rather, they already existed. Taken together, these findings clarify how the portrayal of activism in Hong Kong evolved throughout the Movement.
Stylometric Literariness Classification: the Case of Stephen King (2021)

This paper applies stylometry to quantify the literariness of 73 novels and novellas by American author Stephen King, chosen as an extraordinary case of a writer who has been dubbed both {\textquotedblleft}high{\textquotedblright} and {\textquotedblleft}low{\textquotedblright} in literariness in critical reception. We operationalize literariness using a measure of stylistic distance (Cosine Delta) based on the 1000 most frequent words in two bespoke comparison corpora used as proxies for literariness: one of popular genre fiction, another of National Book Award-winning authors. We report that a supervised model is highly effective in distinguishing the two categories, with 94.6{\%} macro average in a binary classification. We define two subsets of texts by King{---}{\textquotedblleft}high{\textquotedblright} and {\textquotedblleft}low{\textquotedblright} literariness works as suggested by critics and ourselves{---}and find that a predictive model does identify King`s Dark Tower series and novels such as Dolores Claiborne as among his most {\textquotedblleft}literary{\textquotedblright} texts, consistent with critical reception, which has also ascribed postmodern qualities to the Dark Tower novels. Our results demonstrate the efficacy of Cosine Delta-based stylometry in quantifying the literariness of texts, while also highlighting the methodological challenges of literariness, especially in the case of Stephen King. The code and data to reproduce our results are available at \url{https://github.com/andreasvc/kinglit}
Reasoning over Vision and Language: Exploring the Benefits of Supplemental Knowledge (2021)

The limits of applicability of vision-and language models are defined by the coverage of their training data. Tasks like vision question answering (VQA) often require commonsense and factual information beyond what can be learned from task-specific datasets. This paper investigates the injection of knowledge from general-purpose knowledge bases (KBs) into vision-and-language transformers. We use an auxiliary training objective that encourages the learned representations to align with graph embeddings of matching entities in a KB. We empirically study the relevance of various KBs to multiple tasks and benchmarks. The technique brings clear benefits to knowledge-demanding question answering tasks (OK-VQA, FVQA) by capturing semantic and relational knowledge absent from existing models. More surprisingly, the technique also benefits visual reasoning tasks (NLVR2, SNLI-VE). We perform probing experiments and show that the injection of additional knowledge regularizes the space of embeddings, which improves the representation of lexical and semantic similarities. The technique is model-agnostic and can expand the applicability of any vision-and-language transformer with minimal computational overhead.
Visual Grounding Strategies for Text-Only Natural Language Processing (2021)

Visual grounding is a promising path toward more robust and accurate Natural Language Processing (NLP) models. Many multimodal extensions of BERT (e.g., VideoBERT, LXMERT, VL-BERT) allow a joint modeling of texts and images that lead to state-of-the-art results on multimodal tasks such as Visual Question Answering. Here, we leverage multimodal modeling for purely textual tasks (language modeling and classification) with the expectation that the multimodal pretraining provides a grounding that can improve text processing accuracy. We propose possible strategies in this respect. A first type of strategy, referred to as \textit{transferred grounding} consists in applying multimodal models to text-only tasks using a placeholder to replace image input. The second one, which we call \textit{associative grounding}, harnesses image retrieval to match texts with related images during both pretraining and text-only downstream tasks. We draw further distinctions into both strategies and then compare them according to their impact on language modeling and commonsense-related downstream tasks, showing improvement over text-only baselines.
Exploiting Image--Text Synergy for Contextual Image Captioning (2021)

Modern web content - news articles, blog posts, educational resources, marketing brochures - is predominantly multimodal. A notable trait is the inclusion of media such as images placed at meaningful locations within a textual narrative. Most often, such images are accompanied by captions - either factual or stylistic (humorous, metaphorical, etc.) - making the narrative more engaging to the reader. While standalone image captioning has been extensively studied, captioning an image based on external knowledge such as its surrounding text remains under-explored. In this paper, we study this new task: given an image and an associated unstructured knowledge snippet, the goal is to generate a contextual caption for the image.
Large-Scale Zero-Shot Image Classification from Rich and Diverse Textual Descriptions (2021)

We study the impact of using rich and diverse textual descriptions of classes for zero-shot learning (ZSL) on ImageNet. We create a new dataset ImageNet-Wiki that matches each ImageNet class to its corresponding Wikipedia article. We show that merely employing these Wikipedia articles as class descriptions yields much higher ZSL performance than prior works. Even a simple model using this type of auxiliary data outperforms state-of-the-art models that rely on standard features of word embedding encodings of class names. These results highlight the usefulness and importance of textual descriptions for ZSL, as well as the relative importance of auxiliary data type compared to the algorithmic progress. Our experimental results also show that standard zero-shot learning approaches generalize poorly across categories of classes.
What Did This Castle Look like before? Exploring Referential Relations in Naturally Occurring Multimodal Texts (2021)

Multi-modal texts are abundant and diverse in structure, yet Language {\&} Vision research of these naturally occurring texts has mostly focused on genres that are comparatively light on text, like tweets. In this paper, we discuss the challenges and potential benefits of a L{\&}V framework that explicitly models referential relations, taking Wikipedia articles about buildings as an example. We briefly survey existing related tasks in L{\&}V and propose multi-modal information extraction as a general direction for future research.
Auto-encodeurs variationnels : contrecarrer le probl\`eme de posterior collapse gr\^ace \`a la r\'egularisation du d\'ecodeur (Variational auto-encoders : prevent posterior collapse via decoder regularization) (2021)

Les auto-encodeurs variationnels sont des mod{\`e}les g{\'e}n{\'e}ratifs utiles pour apprendre des repr{\'e}sentations latentes. En pratique, lorsqu`ils sont supervis{\'e}s pour des t{\^a}ches de g{\'e}n{\'e}ration de textes, ils ont tendance {\`a} ignorer les variables latentes lors du d{\'e}codage. Nous proposons une nouvelle m{\'e}thode de r{\'e}gularisation fond{\'e}e sur le dropout {\guillemotleft} fraternel {\guillemotright} pour encourager l`utilisation de ces variables latentes. Nous {\'e}valuons notre approche sur plusieurs jeux de donn{\'e}es et observons des am{\'e}liorations dans toutes les configurations test{\'e}es.
Biais de genre dans un syst\`eme de traduction automatiqueneuronale : une \'etude pr\'eliminaire (Gender Bias in Neural Translation : a preliminary study ) (2021)

Cet article pr{\'e}sente les premiers r{\'e}sultats d`une {\'e}tude en cours sur les biais de genre dans les corpus d`entra{\^i}nements et dans les syst{\`e}mes de traduction neuronale. Nous {\'e}tudions en particulier un corpus minimal et contr{\^o}l{\'e} pour mesurer l`intensit{\'e} de ces biais dans les deux directions anglais-fran{\c{c}}ais et fran{\c{c}}ais-anglais ; ce cadre contr{\^o}l{\'e} nous permet {\'e}galement d`analyser les repr{\'e}sentations internes manipul{\'e}es par le syst{\`e}me pour r{\'e}aliser ses pr{\'e}dictions lexicales, ainsi que de formuler des hypoth{\`e}ses sur la mani{\`e}re dont ce biais se distribue dans les repr{\'e}sentations du syst{\`e}me.
Exploration des relations s\'emantiques sous-jacentes aux plongements contextuels de mots (Exploring semantic relations underlying contextual word embeddings) (2021)

De nombreuses {\'e}tudes ont r{\'e}cemment {\'e}t{\'e} r{\'e}alis{\'e}es pour {\'e}tudier les propri{\'e}t{\'e}s des mod{\`e}les de langue contextuels mais, de mani{\`e}re surprenante, seules quelques-unes d`entre elles se concentrent sur les propri{\'e}t{\'e}s de ces mod{\`e}les en termes de similarit{\'e} s{\'e}mantique. Dans cet article, nous proposons d`abord, en nous appuyant sur le principe distributionnel de substituabilit{\'e}, une m{\'e}thode permettant d`utiliser ces mod{\`e}les pour ordonner un ensemble de mots cibles en fonction de leur similarit{\'e} avec un mot source. Nous appliquons d`abord cette m{\'e}thode pour l`anglais comme m{\'e}canisme de sondage pour explorer les propri{\'e}t{\'e}s s{\'e}mantiques des mod{\`e}les ELMo et BERT du point de vue des relations paradigmatiques de WordNet et dans le contexte contr{\^o}l{\'e} du corpus SemCor. Dans un second temps, nous la transposons {\`a} l'{\'e}tude des diff{\'e}rences entre ces mod{\`e}les contextuels et un mod{\`e}le de plongement statique.
La g\'en\'eration de textes artificiels en substitution ou en compl\'ement de donn\'ees d`apprentissage (Generating artificial texts as substitution or complement of training data ) (2021)

La qualit{\'e} des textes g{\'e}n{\'e}r{\'e}s artificiellement s`est consid{\'e}rablement am{\'e}lior{\'e}e avec l`apparition des transformers. La question d`utiliser ces mod{\`e}les pour augmenter les donn{\'e}es d`apprentissage pour des t{\^a}ches d`apprentissage supervis{\'e} se pose naturellement. Dans cet article, cette question est explor{\'e}e sous 3 aspects : (i) les donn{\'e}es artificielles sont-elles un compl{\'e}ment efficace ? (ii) peuvent-elles remplacer les donn{\'e}es d`origines quand ces derni{\`e}res ne peuvent pas {\^e}tre distribu{\'e}es, par exemple pour des raisons de confidentialit{\'e} ? (iii) peuvent-elles am{\'e}liorer l`explicabilit{\'e} des classifieurs ? Diff{\'e}rentes exp{\'e}riences sont men{\'e}es sur une t{\^a}che de classification en utilisant des donn{\'e}es g{\'e}n{\'e}r{\'e}es artificiellement en adaptant des mod{\`e}les GPT-2. Les r{\'e}sultats montrent que les donn{\'e}es artificielles ne sont pas encore suffisamment bonnes et n{\'e}cessitent un pr{\'e}-traitement pour am{\'e}liorer significativement les performances. Nous montrons que les approches sac-de-mots b{\'e}n{\'e}ficient le plus de telles augmentations de donn{\'e}es.
Open Information Extraction: Approche Supervis\'ee et Syntaxique pour le Fran\ccais (Supervised Syntactic Approach for French Open Information Extraction) (2021)

L' Open Information Extraction, est un paradigme d`extraction con{\c{c}}u pour g{\'e}rer l`adaptation de domaine, la principale difficult{\'e} des approches traditionnelles pour l`extraction d`informations. Cependant, la plupart des approches se concentrent sur l`anglais. Ainsi, nous proposons une approche supervis{\'e}e pour l`OpenIE pour le fran{\c{c}}ais, nous d{\'e}veloppons {\'e}galement un corpus d`entra{\^i}nement et un r{\'e}f{\'e}rentiel d'{\'e}valuation. Nous proposons un nouveau mod{\`e}le bas{\'e} en deux {\'e}tapes pour l'{\'e}tiquetage de s{\'e}quence, qui identifie d`abord tous les arguments de la relation avant de les {\'e}tiqueter. Les exp{\'e}rimentations montrent non seulement que l`approche que nous proposons obtient les meilleurs r{\'e}sultats, mais aussi que l'{\'e}tat de l`art actuel n`est pas assez robuste pour s`adapter {\`a} un domaine diff{\'e}rent du domaine du corpus d`entra{\^i}nement.
Plongements Interpr\'etables pour la D\'etection de Biais Cach\'es (Interpretable Embeddings for Hidden Biases Detection) (2021)

De nombreuses t{\^a}ches s{\'e}mantiques en TAL font usage de donn{\'e}es collect{\'e}es de mani{\`e}re semiautomatique, ce qui est souvent source d`artefacts ind{\'e}sirables qui peuvent affecter n{\'e}gativement les mod{\`e}les entra{\^i}n{\'e}s sur celles-ci. Avec l'{\'e}volution plus r{\'e}cente vers des mod{\`e}les {\`a} usage g{\'e}n{\'e}rique pr{\'e}-entra{\^i}n{\'e}s plus complexes, et moins interpr{\'e}tables, ces biais peuvent conduire {\`a} l`int{\'e}gration de corr{\'e}lations ind{\'e}sirables dans des applications utilisateurs. R{\'e}cemment, quelques m{\'e}thodes ont {\'e}t{\'e} propos{\'e}es pour entra{\^i}ner des plongements de mots avec une meilleure interpr{\'e}tabilit{\'e}. Nous proposons une m{\'e}thode simple qui exploite ces repr{\'e}sentations pour d{\'e}tecter de mani{\`e}re pr{\'e}ventive des corr{\'e}lations lexicales faciles {\`a} apprendre, dans divers jeux de donn{\'e}es. Nous {\'e}valuons {\`a} cette fin quelques mod{\`e}les de plongements interpr{\'e}tables populaires pour l`anglais, en utilisant {\`a} la fois une {\'e}valuation intrins{\`e}que, et un ensemble de t{\^a}ches s{\'e}mantiques en aval, et nous utilisons la qualit{\'e} interpr{\'e}table des plongements afin de diagnostiquer des biais potentiels dans les jeux de donn{\'e}es associ{\'e}s.
Transport Optimal pour le Changement S\'emantique \`a partir de Plongements Contextualis\'es (Optimal Transport for Semantic Change Detection using Contextualised Embeddings ) (2021)

Plusieurs m{\'e}thodes de d{\'e}tection des changements s{\'e}mantiques utilisant des plongements lexicaux contextualis{\'e}s sont apparues r{\'e}cemment. Elles permettent une analyse fine du changement d`usage des mots, en agr{\'e}geant les plongements contextualis{\'e}s en clusters qui refl{\`e}tent les diff{\'e}rents usages d`un mot. Nous proposons une nouvelle m{\'e}thode bas{\'e}e sur le transport optimal. Nous l'{\'e}valuons sur plusieurs corpus annot{\'e}s, montrant un gain de pr{\'e}cision par rapport aux autres m{\'e}thodes utilisant des plongements contextualis{\'e}s, et l`illustrons sur un corpus d`articles de journaux.
Vers la production automatique de sous-titres adapt\'es \`a l`affichage (Towards automatic adapted monolingual captioning) (2021)

Une fa{\c{c}}on de r{\'e}aliser un sous-titrage automatique monolingue est d`associer un syst{\`e}me de reconnaissance de parole avec un mod{\`e}le de traduction de la transcription vers les sous-titres. La t{\^a}che de {\guillemotleft} traduction {\guillemotright} est d{\'e}licate dans la mesure o{\`u} elle doit op{\'e}rer une simplification et une compression du texte, respecter des normes li{\'e}es {\`a} l`affichage, tout en composant avec les erreurs issues de la reconnaissance vocale. Une difficult{\'e} suppl{\'e}mentaire est la relative raret{\'e} des corpus mettant en parall{\`e}le transcription automatique et sous-titres sont relativement rares. Nous d{\'e}crivons ici un nouveau corpus en cours de constitution et nous exp{\'e}rimentons l`utilisation de m{\'e}thodes de contr{\^o}le plus ou moins direct de la longueur des phrases engendr{\'e}es, afin d`am{\'e}liorer leur qualit{\'e} du point de vue linguistique et normatif.
Analyse en d\'ependances du fran\ccais avec des plongements contextualis\'es (French dependency parsing with contextualized embeddings) (2021)

Cet article pr{\'e}sente un analyseur syntaxique en d{\'e}pendances pour le fran{\c{c}}ais qui se compare favorablement {\`a} l'{\'e}tat de l`art sur la plupart des corpus de r{\'e}f{\'e}rence. L`analyseur s`appuie sur de riches repr{\'e}sentations lexicales issues notamment de BERT et de FASTTEXT. On remarque que les repr{\'e}sentations lexicales produites par FLAUBERT ont un caract{\`e}re auto-suffisant pour r{\'e}aliser la t{\^a}che d`analyse syntaxique de mani{\`e}re optimale.
Caract\'erisation des relations s\'emantiques entre termes multi-mots fond\'ee sur l`analogie (Semantic relations recognition between multi-word terms by means of analogy ) (2021)

La terminologie d`un domaine rend compte de la structure du domaine gr{\^a}ce aux relations entre ses termes. Dans cet article, nous nous int{\'e}ressons {\`a} la caract{\'e}risation des relations terminologiques qui existent entre termes multi-mots (MWT) dans les espaces vectoriels distributionnels. Nous avons constitu{\'e} un jeu de donn{\'e}es compos{\'e} de MWT en fran{\c{c}}ais du domaine de l`environnement, reli{\'e}s par des relations s{\'e}mantiques lexicales. Nous pr{\'e}sentons une exp{\'e}rience dans laquelle ces relations s{\'e}mantiques entre MWT sont caract{\'e}ris{\'e}es au moyen de l`analogie. Les r{\'e}sultats obtenus permettent d`envisager un processus automatique pour aider {\`a} la structuration des terminologies.
Construire des ressources collaboratives pour les langues peu dot\'ees: une mod\'elisation orient\'ee communaut\'e (Building collaborative resources for poorly endowed languages : community-oriented modeling ) (2021)

Les applications du traitement automatique des langues (TAL) nourrissent aujourd`hui une bonne partie des langues indo-europ{\'e}ennes en raison des corpus linguistiques de qualit{\'e} disponibles en grande quantit{\'e} et vari{\'e}t{\'e}. Les corpus de donn{\'e}es open sources en langues africaines {\'e}tant quasi inexistants, comment arrimer les avanc{\'e}es du TAL {\`a} ces langues peu dot{\'e}es ? Dans cet article, nous examinons le probl{\`e}me de construction des ressources lexicographiques pour les langues peu dot{\'e}es. Nous souhaitons introduire un mod{\`e}le de construction des ressources lexicographiques en exploitant les comp{\'e}tences socio-linguistiques des communaut{\'e}s linguistiques locales. Au fil des sections, nous pr{\'e}senterons le nouveau mod{\`e}le de codification des dictionnaires issue de cette mod{\'e}lisation orient{\'e}e communaut{\'e}.
Contribution d`informations syntaxiques aux capacit\'es de g\'en\'eralisation compositionelle des mod\`eles seq2seq convolutifs (Assessing the Contribution of Syntactic Information for Compositional Generalization of seq2seq Convolutional Networks) (2021)

Les mod{\`e}les neuronaux de type seq2seq manifestent d'{\'e}tonnantes capacit{\'e}s de pr{\'e}diction quand ils sont entra{\^i}n{\'e}s sur des donn{\'e}es de taille suffisante. Cependant, ils {\'e}chouent {\`a} g{\'e}n{\'e}raliser de mani{\`e}re satisfaisante quand la t{\^a}che implique d`apprendre et de r{\'e}utiliser des r{\`e}gles syst{\'e}matiques de composition et non d`apprendre simplement par imitation des exemples d`entra{\^i}nement. Le jeu de donn{\'e}es SCAN, constitu{\'e} d`un ensemble de commandes en langage naturel associ{\'e}es {\`a} des s{\'e}quences d`action, a {\'e}t{\'e} sp{\'e}cifiquement con{\c{c}}u pour {\'e}valuer les capacit{\'e}s des r{\'e}seaux de neurones {\`a} apprendre ce type de g{\'e}n{\'e}ralisation compositionnelle. Dans cet article, nous nous proposons d'{\'e}tudier la contribution d`informations syntaxiques sur les capacit{\'e}s de g{\'e}n{\'e}ralisation compositionnelle des r{\'e}seaux de neurones seq2seq convolutifs.
D\'efinition et d\'etection des incoh\'erences du syst\`eme dans les dialogues orient\'es t\^ache. (We present experiments on automatically detecting inconsistent behavior of task-oriented dialogue systems from the context) (2021)

D{\'e}finition et d{\'e}tection des incoh{\'e}rences du syst{\`e}me dans les dialogues orient{\'e}s t{\^a}che. Nous pr{\'e}sentons des exp{\'e}riences sur la d{\'e}tection automatique des comportements incoh{\'e}rents des syst{\`e}mes de dialogues orient{\'e}s t{\^a}che {\`a} partir du contexte. Nous enrichissons les donn{\'e}es bAbI/DSTC2 (Bordes et al., 2017) avec une annotation automatique des incoh{\'e}rences de dialogue, et nous d{\'e}montrons que les incoh{\'e}rences sont en corr{\'e}lation avec les dialogues rat{\'e}s. Nous supposons que l`utilisation d`un historique de dialogue limit{\'e} et la pr{\'e}diction du prochain tour de l`utilisateur peuvent am{\'e}liorer la classification des incoh{\'e}rences. Si les deux hypoth{\`e}ses sont confirm{\'e}es pour un mod{\`e}le de dialogue bas{\'e} sur les r{\'e}seaux de m{\'e}moire, elles ne le sont pas pour un entra{\^i}nement bas{\'e} sur le mod{\`e}le de langage GPT-2, qui b{\'e}n{\'e}ficie le plus de l`utilisation de l`historique complet du dialogue et obtient un score de pr{\'e}cision de 0,99.