ymoslem/acl-abstracts huggingface dataset:
Graph-based Text Representations: Boosting Text Mining, NLP and Information Retrieval with Graphs (2017)

Graphs or networks have been widely used as modeling tools in Natural Language Processing (NLP), Text Mining (TM) and Information Retrieval (IR). Traditionally, the unigram bag-of-words representation is applied; that way, a document is represented as a multiset of its terms, disregarding dependencies between the terms. Although several variants and extensions of this modeling approach have been proposed (e.g., the n-gram model), the main weakness comes from the underlying term independence assumption. The order of the terms within a document is completely disregarded and any relationship between terms is not taken into account in the final task (e.g., text categorization). Nevertheless, as the heterogeneity of text collections is increasing (especially with respect to document length and vocabulary), the research community has started exploring different document representations aiming to capture more fine-grained contexts of co-occurrence between different terms, challenging the well-established unigram bag-of-words model. To this direction, graphs constitute a well-developed model that has been adopted for text representation. The goal of this tutorial is to offer a comprehensive presentation of recent methods that rely on graph-based text representations to deal with various tasks in NLP and IR. We will describe basic as well as novel graph theoretic concepts and we will examine how they can be applied in a wide range of text-related application domains.All the material associated to the tutorial will be available at: \url{http://fragkiskosm.github.io/projects/graph_text_tutorial}
Semantic Role Labeling (2017)

This tutorial describes semantic role labelling (SRL), the task of mapping text to shallow semantic representations of eventualities and their participants. The tutorial introduces the SRL task and discusses recent research directions related to the task. The audience of this tutorial will learn about the linguistic background and motivation for semantic roles, and also about a range of computational models for this task, from early approaches to the current state-of-the-art. We will further discuss recently proposed variations to the traditional SRL task, including topics such as semantic proto-role labeling.We also cover techniques for reducing required annotation effort, such as methods exploiting unlabeled corpora (semi-supervised and unsupervised techniques), model adaptation across languages and domains, and methods for crowdsourcing semantic role annotation (e.g., question-answer driven SRL). Methods based on different machine learning paradigms, including neural networks, generative Bayesian models, graph-based algorithms and bootstrapping style techniques.Beyond sentence-level SRL, we discuss work that involves semantic roles in discourse. In particular, we cover data sets and models related to the task of identifying implicit roles and linking them to discourse antecedents. We introduce different approaches to this task from the literature, including models based on coreference resolution, centering, and selectional preferences. We also review how new insights gained through them can be useful for the traditional SRL task.
Memory Augmented Neural Networks for Natural Language Processing (2017)

Designing of general-purpose learning algorithms is a long-standing goal of artificial intelligence. A general purpose AI agent should be able to have a memory that it can store and retrieve information from. Despite the success of deep learning in particular with the introduction of LSTMs and GRUs to this area, there are still a set of complex tasks that can be challenging for conventional neural networks. Those tasks often require a neural network to be equipped with an explicit, external memory in which a larger, potentially unbounded, set of facts need to be stored. They include but are not limited to, reasoning, planning, episodic question-answering and learning compact algorithms. Recently two promising approaches based on neural networks to this type of tasks have been proposed: Memory Networks and Neural Turing Machines.In this tutorial, we will give an overview of this new paradigm of {\textquotedblleft}neural networks with memory{\textquotedblright}. We will present a unified architecture for Memory Augmented Neural Networks (MANN) and discuss the ways in which one can address the external memory and hence read/write from it. Then we will introduce Neural Turing Machines and Memory Networks as specific instantiations of this general architecture. In the second half of the tutorial, we will focus on recent advances in MANN which focus on the following questions: How can we read/write from an extremely large memory in a scalable way? How can we design efficient non-linear addressing schemes? How can we do efficient reasoning using large scale memory and an episodic memory? The answer to any one of these questions introduces a variant of MANN. We will conclude the tutorial with several open challenges in MANN and its applications to NLP.We will introduce several applications of MANN in NLP throughout the tutorial. Few examples include language modeling, question answering, visual question answering, and dialogue systems.For updated information and material, please refer to our tutorial website: \url{https://sites.google.com/view/mann-emnlp2017/}.
Cross-Lingual Word Representations: Induction and Evaluation (2017)

In recent past, NLP as a field has seen tremendous utility of distributional word vector representations as features in downstream tasks. The fact that these word vectors can be trained on unlabeled monolingual corpora of a language makes them an inexpensive resource in NLP. With the increasing use of monolingual word vectors, there is a need for word vectors that can be used as efficiently across multiple languages as monolingually. Therefore, learning bilingual and multilingual word embeddings/vectors is currently an important research topic. These vectors offer an elegant and language-pair independent way to represent content across different languages.This tutorial aims to bring NLP researchers up to speed with the current techniques in cross-lingual word representation learning. We will first discuss how to induce cross-lingual word representations (covering both bilingual and multilingual ones) from various data types and resources (e.g., parallel data, comparable data, non-aligned monolingual data in different languages, dictionaries and theasuri, or, even, images, eye-tracking data). We will then discuss how to evaluate such representations, intrinsically and extrinsically. We will introduce researchers to state-of-the-art methods for constructing cross-lingual word representations and discuss their applicability in a broad range of downstream NLP applications.We will deliver a detailed survey of the current methods, discuss best training and evaluation practices and use-cases, and provide links to publicly available implementations, datasets, and pre-trained models.
Ajout automatique de disfluences pour la synth\`ese de la parole spontan\'ee : formalisation et preuve de concept (Automatic disfluency insertion towards spontaneous TTS : formalization and proof of concept) (2017)

Cet article pr{\'e}sente un travail exploratoire sur l`ajout automatique de disfluences, c`est-{\`a}-dire de pauses, de r{\'e}p{\'e}titions et de r{\'e}visions, dans les {\'e}nonc{\'e}s en entr{\'e}e d`un syst{\`e}me de synth{\`e}se de la parole. L`objectif est de conf{\'e}rer aux signaux ainsi synth{\'e}tis{\'e}s un caract{\`e}re plus spontan{\'e} et expressif. Pour cela, nous pr{\'e}sentons une formalisation novatrice du processus de production de disfluences {\`a} travers un m{\'e}canisme de composition de ces disfluences. Cette formalisation se distingue notamment des approches visant la d{\'e}tection ou le nettoyage de disfluences dans des transcriptions, ou de celles en synth{\`e}se de la parole qui ne s`int{\'e}ressent qu`au seul ajout de pauses. Nous pr{\'e}sentons une premi{\`e}re impl{\'e}mentation de notre processus fond{\'e}e sur des champs al{\'e}atoires conditionnels et des mod{\`e}les de langage, puis conduisons des {\'e}valuations objectives et perceptives. Celles-ci nous permettent de conclure {\`a} la fonctionnalit{\'e} de notre proposition et d`en discuter les pistes principales d`am{\'e}lioration.
Normalisation automatique du vocabulaire source pour traduire depuis une langue \`a morphologie riche (Learning Morphological Normalization for Translation from Morphologically Rich Languages) (2017)

Lorsqu`ils sont traduits depuis une langue {\`a} morphologie riche vers l`anglais, les mots-formes sources contiennent des marques d`informations grammaticales pouvant {\^e}tre jug{\'e}es redondantes par rapport {\`a} l`anglais, causant une variabilit{\'e} formelle qui nuit {\`a} l`estimation des mod{\`e}les probabilistes. Un moyen bien document{\'e} pour att{\'e}nuer ce probl{\`e}me consiste {\`a} supprimer l`information non pertinente de la source en la normalisant. Ce pr{\'e}-traitement est g{\'e}n{\'e}ralement effectu{\'e} de mani{\`e}re d{\'e}terministe, {\`a} l`aide de r{\`e}gles produites manuellement. Une telle normalisation est, par essence, sous-optimale et doit {\^e}tre adapt{\'e}e pour chaque paire de langues. Nous pr{\'e}sentons, dans cet article, une m{\'e}thode simple pour rechercher automatiquement une normalisation optimale de la morphologie source par rapport {\`a} la langue cible et montrons que celle-ci peut am{\'e}liorer la traduction automatique.
Repr\'esentations continues d\'eriv\'ees des caract\`eres pour un mod\`ele de langue neuronal \`a vocabulaire ouvert (Opening the vocabulary of neural language models with character-level word representations) (2017)

Cet article propose une architecture neuronale pour un mod{\`e}le de langue {\`a} vocabulaire ouvert. Les repr{\'e}sentations continues des mots sont calcul{\'e}es {\`a} la vol{\'e}e {\`a} partir des caract{\`e}res les composant, gr{\`a}ce {\`a} une couche convolutionnelle suivie d`une couche de regroupement (pooling). Cela permet au mod{\`e}le de repr{\'e}senter n`importe quel mot, qu`il fasse partie du contexte ou soit {\'e}valu{\'e} pour la pr{\'e}diction. La fonction objectif est d{\'e}riv{\'e}e de l`estimation contrastive bruit{\'e}e (Noise Contrastive Estimation, ou NCE), calculable dans notre cas sans vocabulaire. Nous {\'e}valuons la capacit{\'e} de notre mod{\`e}le {\`a} construire des repr{\'e}sentations continues de mots inconnus sur la t{\^a}che de traduction automatique IWSLT-2016, de l`Anglais vers le Tch{\`e}que, en r{\'e}-{\'e}valuant les N meilleures hypoth{\`e}ses (N-best reranking). Les r{\'e}sultats exp{\'e}rimentaux permettent des gains jusqu'{\`a} 0,7 point BLEU. Ils montrent aussi la difficult{\'e} d`utiliser des repr{\'e}sentations d{\'e}riv{\'e}es des caract{\`e}res pour la pr{\'e}diction.
Utilisation d`indices phras\'eologiques pour \'evaluer des textes en langue \'etrang\`ere : comparaison des bigrammes et des trigrammes (Collocation measures and automated scoring of foreign language texts : Comparing bigrams and trigrams) (2017)

Cette recherche a pour principal objectif d'{\'e}valuer l`utilit{\'e} de prendre en compte des mesures totalement automatiques de la comp{\'e}tence phras{\'e}ologique pour estimer la qualit{\'e} de textes d`apprenants de l`anglais langue {\'e}trang{\`e}re. Les analyses, men{\'e}es sur plus de 1000 copies d`examen du First Certificate in English, librement mises {\`a} disposition par Yannakoudakis et coll., confirment que l`approche qui consiste {\`a} assigner aux bigrammes et aux trigrammes de mots pr{\'e}sents dans un texte des scores d`association collocationnelle calcul{\'e}s sur la base d`un grand corpus de r{\'e}f{\'e}rence natif est particuli{\`e}rement efficace. Si les indices extraits des trigrammes sont moins efficaces que ceux extraits des bigrammes, ils apportent une contribution utile {\`a} ces derniers. Les analyses soulignent aussi les b{\'e}n{\'e}fices apport{\'e}s par un emploi simultan{\'e} de plusieurs mesures d`association collocationnelle.
Traitement des Mots Hors Vocabulaire pour la Traduction Automatique de Document OCRis\'es en Arabe (This article presents a new system that automatically translates images of Arabic documents) (2017)

Cet article pr{\'e}sente un syst{\`e}me original de traduction de documents num{\'e}ris{\'e}s en arabe. Deux modules sont cascad{\'e}s : un syst{\`e}me de reconnaissance optique de caract{\`e}res (OCR) en arabe et un syst{\`e}me de traduction automatique (TA) arabe-fran{\c{c}}ais. Le couplage OCR-TA a {\'e}t{\'e} peu abord{\'e} dans la litt{\'e}rature et l`originalit{\'e} de cette {\'e}tude consiste {\`a} proposer un couplage {\'e}troit entre OCR et TA ainsi qu`un traitement sp{\'e}cifique des mots hors vocabulaire (MHV) engendr{\'e}s par les erreurs d`OCRisation. Le couplage OCR-TA par treillis et notre traitement des MHV par remplacement selon une mesure composite qui prend en compte forme de surface et contexte du mot, permettent une am{\'e}lioration significative des performances de traduction. Les exp{\'e}rimentations sont r{\'e}alis{\'e}s sur un corpus de journaux num{\'e}ris{\'e}s en arabe et permettent d`obtenir des am{\'e}liorations en score BLEU de 3,73 et 5,5 sur les corpus de d{\'e}veloppement et de test respectivement.
Repr\'esentation et analyse automatique des discontinuit\'es syntaxiques dans les corpus arbor\'es en constituants du fran\ccais (Representation and parsing of syntactic discontinuities in French constituent treebanks) (2017)

Nous pr{\'e}sentons de nouvelles instanciations de trois corpus arbor{\'e}s en constituants du fran{\c{c}}ais, o{\`u} certains ph{\'e}nom{\`e}nes syntaxiques {\`a} l`origine de d{\'e}pendances {\`a} longue distance sont repr{\'e}sent{\'e}s directement {\`a} l`aide de constituants discontinus. Les arbres obtenus rel{\`e}vent de formalismes grammaticaux l{\'e}g{\`e}rement sensibles au contexte (LCFRS). Nous montrons ensuite qu`il est possible d`analyser automatiquement de telles structures de mani{\`e}re efficace {\`a} condition de s`appuyer sur une m{\'e}thode d`inf{\'e}rence approximative. Pour cela, nous pr{\'e}sentons un analyseur syntaxique par transitions, qui r{\'e}alise {\'e}galement l`analyse morphologique et l'{\'e}tiquetage fonctionnel des mots de la phrase. Enfin, nos exp{\'e}riences montrent que la raret{\'e} des ph{\'e}nom{\`e}nes concern{\'e}s dans les donn{\'e}es fran{\c{c}}aises pose des difficult{\'e}s pour l`apprentissage et l'{\'e}valuation des structures discontinues.
Construire des repr\'esentations denses \`a partir de th\'esaurus distributionnels (Distributional Thesaurus Embedding and its Applications) (2017)

Dans cet article, nous nous int{\'e}ressons {\`a} un nouveau probl{\`e}me, appel{\'e} plongement de th{\'e}saurus, consistant {\`a} transformer un th{\'e}saurus distributionnel en une repr{\'e}sentation dense de mots. Nous proposons de traiter ce probl{\`e}me par une m{\'e}thode fond{\'e}e sur l`association d`un plongement de graphe et de l`injection de relations dans des repr{\'e}sentations denses. Nous avons appliqu{\'e} et {\'e}valu{\'e} cette m{\'e}thode pour un large ensemble de noms en anglais et montr{\'e} que les repr{\'e}sentations denses produites obtiennent de meilleures performances, selon une {\'e}valuation intrins{\`e}que, que les repr{\'e}sentations denses construites selon les m{\'e}thodes de l'{\'e}tat de l`art sur le m{\^e}me corpus. Nous illustrons aussi l`int{\'e}r{\^e}t de la m{\'e}thode d{\'e}velopp{\'e}e pour am{\'e}liorer les repr{\'e}sentations denses existantes {\`a} la fois de fa{\c{c}}on endog{\`e}ne et exog{\`e}ne.
Projection Al\'eatoire Non-N\'egative pour le Calcul de Word Embedding / Non-Negative Randomized Word Embedding (2017)

Non-Negative Randomized Word Embedding We propose a word embedding method which is based on a novel random projection technique. We show that weighting methods such as positive pointwise mutual information (PPMI) can be applied to our models after their construction and at a reduced dimensionality. Hence, the proposed technique can efficiently transfer words onto semantically discriminative spaces while demonstrating high computational performance, besides benefits such as ease of update and a simple mechanism for interoperability. We report the performance of our method on several tasks and show that it yields competitive results compared to neural embedding methods in monolingual corpus-based setups.
Cr\'eation et validation de signatures s\'emantiques : application \`a la mesure de similarit\'e s\'emantique et \`a la substitution lexicale (Creating and validating semantic signatures : application for measuring semantic similarity and lexical substitution) (2017)

L`int{\'e}gration de la notion de similarit{\'e} s{\'e}mantique entre les unit{\'e}s lexicales est essentielle dans diff{\'e}rentes applications de Traitement Automatique des Langues (TAL). De ce fait, elle a re{\c{c}}u un int{\'e}r{\^e}t consid{\'e}rable qui a eu comme cons{\'e}quence le d{\'e}veloppement d`une vaste gamme d`approches pour en d{\'e}terminer une mesure. Ainsi, plusieurs types de mesures de similarit{\'e} existent, elles utilisent diff{\'e}rentes repr{\'e}sentations obtenues {\`a} partir d`informations soit dans des ressources lexicales, soit dans de gros corpus de donn{\'e}es ou bien dans les deux. Dans cet article, nous nous int{\'e}ressons {\`a} la cr{\'e}ation de signatures s{\'e}mantiques d{\'e}crivant des repr{\'e}sentations vectorielles de mots {\`a} partir du r{\'e}seau lexical JeuxDeMots (JDM). L'{\'e}valuation de ces signatures est r{\'e}alis{\'e}e sur deux t{\^a}ches diff{\'e}rentes : mesures de similarit{\'e} s{\'e}mantique et substitution lexicale. Les r{\'e}sultats obtenus sont tr{\`e}s satisfaisants et surpassent, dans certains cas, les performances des syst{\`e}mes de l'{\'e}tat de l`art.
Vers une solution l\'eg\`ere de production de donn\'ees pour le TAL : cr\'eation d`un tagger de l`alsacien par crowdsourcing b\'en\'evole (Toward a lightweight solution to the language resources bottleneck issue: creating a POS tagger for Alsatian using voluntary crowdsourcing) (2017)

Nous pr{\'e}sentons ici les r{\'e}sultats d`une exp{\'e}rience men{\'e}e sur l`annotation en parties du discours d`un corpus d`une langue r{\'e}gionale encore peu dot{\'e}e, l`alsacien, via une plateforme de myriadisation (crowdsourcing) b{\'e}n{\'e}vole d{\'e}velopp{\'e}e sp{\'e}cifiquement {\`a} cette fin : Bisame1 . La plateforme, mise en ligne en mai 2016, nous a permis de recueillir 15 846 annotations gr{\^a}ce {\`a} 42 participants. L'{\'e}valuation des annotations, r{\'e}alis{\'e}e sur un corpus de r{\'e}f{\'e}rence, montre que la F-mesure des annotations volontaires est de 0, 93. Le tagger entra{\^i}n{\'e} sur le corpus annot{\'e} atteint lui 82 {\%} d`exactitude. Il s`agit du premier tagger sp{\'e}cifique {\`a} l`alsacien. Cette m{\'e}thode de d{\'e}veloppement de ressources langagi{\`e}res est donc efficace et prometteuse pour certaines langues peu dot{\'e}es, dont un nombre suffisant de locuteurs est connect{\'e} et actif sur le Web. Le code de la plateforme, le corpus annot{\'e} et le tagger sont librement disponibles.
Sciences participatives et TAL: jusqu`o\`u ? comment ? pourquoi ? (Citizen science and NLP : how far ? how ? why ? This paper investigates the modalities of achievement of citizen science in NLP, by considering existing participative projects but also historical studies on the relationships between science and opinion) (2017)

Cet article s`interroge sur les modalit{\'e}s de participation citoyenne aux recherches en TALN, {\`a} la lumi{\`e}re des projets actuels en sciences citoyennes mais aussi d'{\'e}tudes men{\'e}es sur le sujet en histoire des sciences. Il vise {\`a} montrer comment une science participative est d{\'e}j{\`a} en marche en TALN, {\`a} interroger ses modalit{\'e}s et {\'e}galement {\`a} en circonscrire les limites.
Construction automatique d`une base de donn\'ees \'etymologiques \`a partir du wiktionary (Automatic construction of an etymological database using Wiktionary) (2017)

Les ressources lexicales {\'e}lectroniques ne contiennent quasiment jamais d`informations {\'e}tymologiques. De telles informations, convenablement formalis{\'e}es, permettraient pourtant de d{\'e}velopper des outils automatiques au service de la linguistique historique et comparative, ainsi que d`am{\'e}liorer significativement le traitement automatique de langues anciennes. Nous d{\'e}crivons ici le processus que nous avons mis en {\oe}uvre pour extraire des donn{\'e}es {\'e}tymologiques {\`a} partir des notices {\'e}tymologiques du wiktionary, r{\'e}dig{\'e}es en anglais. Nous avons ainsi produit une base multilingue de pr{\`e}s d`un million de lex{\`e}mes et une base de plus d`un demi-million de relations {\'e}tymologiques entre lex{\`e}mes.
Apprendre des repr\'esentations jointes de mots et d`entit\'es pour la d\'esambigu\"isation d`entit\'es (Combining Word and Entity Embeddings for Entity Linking) (2017)

La d{\'e}sambigu{\"i}sation d`entit{\'e}s (ou liaison d`entit{\'e}s), qui consiste {\`a} relier des mentions d`entit{\'e}s d`un texte {\`a} des entit{\'e}s d`une base de connaissance, est un probl{\`e}me qui se pose, entre autre, pour le peuplement automatique de bases de connaissances {\`a} partir de textes. Une difficult{\'e} de cette t{\^a}che est la r{\'e}solution d`ambigu{\"i}t{\'e}s car les syst{\`e}mes ont {\`a} choisir parmi un nombre important de candidats. Cet article propose une nouvelle approche fond{\'e}e sur l`apprentissage joint de repr{\'e}sentations distribu{\'e}es des mots et des entit{\'e}s dans le m{\^e}me espace, ce qui permet d'{\'e}tablir un mod{\`e}le robuste pour la comparaison entre le contexte local de la mention d`entit{\'e} et les entit{\'e}s candidates.
Analyse et \'evolution de la compr\'ehension de termes techniques (Analysis and Evolution of Understanding of Technical Terms) (2017)

Nous faisons l`hypoth{\`e}se que les mots techniques inconnus dot{\'e}s d`une structure interne (mots affix{\'e}s ou compos{\'e}s) peuvent fournir des indices linguistiques {\`a} un locuteur, ce qui peut l`aider {\`a} analyser et {\`a} comprendre ces mots. Afin de tester notre hypoth{\`e}se, nous proposons de travailler sur un ensemble de mots techniques provenant du domaine m{\'e}dical. Un grand ensemble de mots techniques est annot{\'e} par cinq annotateurs. Nous effectuons deux types d`analyses : l`analyse de l'{\'e}volution des mots compr{\'e}hensibles et incompr{\'e}hensibles (de mani{\`e}re g{\'e}n{\'e}rale et en fonction de certains suffixes) et l`analyse des clusters avec ces mots cr{\'e}{\'e}s par apprentissage non-supervis{\'e}, sur la base des descripteurs linguistiques et extra-linguistiques. Nos r{\'e}sultats indiquent que, selon la sensibilit{\'e} linguistique des annotateurs, les mots techniques peuvent devenir d{\'e}codables et compr{\'e}hensibles. Quant aux clusters, le contenu de certains refl{\`e}te la difficult{\'e} des mots qui les composent et montre {\'e}galement la progression des annotateurs dans leur compr{\'e}hension. La ressource construite est disponible pour la recherche : \url{http://natalia.grabar.free.fr/rated-lexicon.html}.
Annotation d`expressions polylexicales verbales en fran\ccais (Annotation of verbal multiword expressions in French) (2017)

Nous d{\'e}crivons la partie fran{\c{c}}aise des donn{\'e}es produites dans le cadre de la campagne multilingue PARSEME sur l`identification d`expressions polylexicales verbales (Savary et al., 2017). Les expressions couvertes pour le fran{\c{c}}ais sont les expressions verbales idiomatiques, les verbes intrins{\`e}quement pronominaux et une g{\'e}n{\'e}ralisation des constructions {\`a} verbe support. Ces ph{\'e}nom{\`e}nes ont {\'e}t{\'e} annot{\'e}s sur le corpus French-UD (Nivre et al., 2016) et le corpus Sequoia (Candito {\&} Seddah, 2012), soit un corpus de 22 645 phrases, pour un total de 4 962 expressions annot{\'e}es. On obtient un ratio d`une expression annot{\'e}e tous les 100 tokens environ, avec un fort taux d`expressions discontinues (40{\%}).