taln-ls2n/taln-archives huggingface dataset:
Segmentation non supervisée : le cas du mandarin

Dans cet article, nous présentons un système de segmentation non supervisée que nous évaluons sur des données en mandarin. Notre travail s’inspire de l’hypothèse de Harris (1955) et suit Kempe (1999) et Tanaka-Ishii (2005) en se basant sur la reformulation de l’hypothèse en termes de variation de l’entropie de branchement. Celle-ci se révèle être un bon indicateur des frontières des unités linguistiques. Nous améliorons le système de (Jin et Tanaka-Ishii, 2006) en ajoutant une étape de normalisation qui nous permet de reformuler la façon dont sont prises les décisions de segmentation en ayant recours à la programmation dynamique. Ceci nous permet de supprimer la plupart des seuils de leur modèle tout en obtenant de meilleurs résultats, qui se placent au niveau de l’état de l’art (Wang et al., 2011) avec un système plus simple que ces derniers. Nous présentons une évaluation des résultats sur plusieurs corpus diffusés pour le Chinese Word Segmentation bake-off II (Emerson, 2005) et détaillons la borne supérieure que l’on peut espérer atteindre avec une méthode non-supervisée. Pour cela nous utilisons ZPAR en apprentissage croisé (Zhang et Clark, 2010) comme suggéré dans (Huang et Zhao, 2007; Zhao et Kit, 2008)

Mots-clés : segmentation
mandarin
Apprentissage non-supervisé
chinois

Unsupervized Word Segmentation
In this paper, we present an unsupervised segmentation system tested on Mandarine Chinese. Following Harris’s Hypothesis in Kempe (1999) and Tanaka-Ishii (2005) reformulation, we base our work on the Variation of Branching Entropy. We improve on (Jin et Tanaka-Ishii, 2006) by adding normalization and Viterbi-decoding. This enables us to remove most of the thresholds and parameters from their model and to reach near state-of-the-art results (Wang et al., 2011) with a simpler system. We provide evaluation on different corpora available from the Segmentation bake-off II (Emerson, 2005) and define a more precise topline for the task using cross-trained supervised system available off-the-shelf (Zhang et Clark, 2010; Zhao et Kit, 2008; Huang et Zhao, 2007)
Unsupervized machine learning, segmentation, Mandarin Chinese
Incrémentation lexicale dans les textes : une auto-organisation

Nous proposons une étude dynamique du lexique, en décrivant la manière dont il s’organise progressivement du début à la fin d’un texte. Pour ce faire, nous nous focalisons sur la co-occurrence généralisée, en formant un graphe qui représente tous les lemmes du texte et synthétise leurs relations mutuelles de co-occurrence. L’étude d’un corpus de 40 textes montre que ces relations évoluent d’une manière auto-organisée : la forme - et l’identité - du graphe de co-occurrence restent stables après une phase d’organisation terminée avant la 1ère moitié du texte. Ensuite, il n’évolue plus : les nouveaux mots et les nouvelles relations de co-occurrence s’inscrivent peu à peu dans le réseau, sans modifier la forme d’ensemble de la structure. La relation de co-occurrence généralisée dans un texte apparaît donc comme la construction rapide d’un système, qui est ensuite assez souple pour canaliser un flux d’information sans changer d’identité.

Mots-clés : Texte
auto-organisation
lexique
co-occurrence généralisée

Lexical Incrementation within Texts: a Self-Organization
We propose here a dynamic study of lexicon: we describe how it is organized progressively from the beginning to the end of a given text. We focus on the “generalized co-occurrence”, forming a graph that represents all the lemmas of the text and their mutual co-occurrence relations. The study of a corpus of 40 texts shows that these relations have a self-organized evolution: the shape and the identity of the graph of cooccurrence become stable after a period of organization finished before the first half of the text. Then they no longer change: new words and new co-occurrence relations gradually take place in the network without changing its overall shape. We show that the evolution of the “generalized co-occurrence” is the quick construction of a system, which is then flexible enough to channel the flow of information without changing its identity.
Text, lexicon, generalized co-occurrence, self-organization
Etude des mesures de similarité hétérogènes pour l’extraction de relations sémantiques

L’article évalue un éventail de mesures de similarité qui ont pour but de prédire les scores de similarité sémantique et les relations sémantiques qui s’établissent entre deux termes, et étudie les moyens de combiner ces mesures. Nous présentons une analyse comparative à grande échelle de 34 mesures basées sur des réseaux sémantiques, le Web, des corpus, ainsi que des définitions. L’article met en évidence les forces et les faiblesses de chaque approche en contexte de l’extraction de relations. Enfin, deux techniques de combinaison de mesures sont décrites et testées. Les résultats montrent que les mesures combinées sont plus performantes que toutes les mesures simples et aboutissent à une corrélation de 0,887 et une Precision(20) de 0,979.

Mots-clés : Relations sémantiques
Similarité sémantique
Similarité distributionnelle

A Study of Heterogeneous Similarity Measures for Semantic Relation Extraction
This paper evaluates a wide range of heterogeneous semantic similarity measures on the task of predicting semantic similarity scores and the task of predicting semantic relations that hold between two terms, and investigates ways to combine these measures. We present a large-scale benchmarking of 34 knowledge-, web-, corpus-, and definition-based similarity measures. The strengths and weaknesses of each approach regarding relation extraction are discussed. Finally, we describe and test two techniques for measure combination. These combined measures outperform all single measures, achieving a correlation of 0.887 and Precision(20) of 0.979.
Semantic Similarity, Semantic Relations, Distributional Similarity
Intégration de paramètres lexicaux, syntaxiques et issus du système de traduction automatique pour améliorer l’estimation des mesures de confiance au niveau des mots

L’estimation des mesures de confiance (MC) au niveau des mots consiste à prédire leur exactitude dans la phrase cible générée par un système de traduction automatique. Ceci permet d’estimer la fiabilité d'une sortie de traduction et de filtrer les segments trop mal traduits pour une post-édition. Nous étudions l’impact sur le calcul des MC de différents paramètres : lexicaux, syntaxiques et issus du système de traduction. Nous présentons la méthode permettant de labelliser automatiquement nos corpus (mot correct ou incorrect), puis le classifieur à base de champs aléatoires conditionnels utilisé pour intégrer les différents paramètres et proposer une classification appropriée des mots. Nous avons effectué des expériences préliminaires, avec l’ensemble des paramètres, où nous mesurons la précision, le rappel et la F-mesure. Finalement nous comparons les résultats avec notre système de référence. Nous obtenons de bons résultats pour la classification des mots considérés comme corrects (F-mesure : 86.7%), et encourageants pour ceux estimés comme mal traduits (F-mesure : 36,8%).

Mots-clés : Système de traduction automatique
mesure de confiance
champs aléatoires conditionnels
estimation de la confiance

Integrating Lexical, Syntactic and System-based Features to Improve Word Confidence Estimation in SMT
Confidence Estimation at word level is the task of predicting the correct and incorrect words in the target sentence generated by a MT system. It helps to conclude the reliability of a given translation as well as to filter out sentences that are not good enough for post-editing. This paper investigates various types of features to circumvent this issue, including lexical, syntactic and system-based features. A method to set training label for each word in the hypothesis is also presented. A classifier based on conditional random fields (CRF) is employed to integrate features and determine the word’s appropriate label. We conducted our preliminary experiment with all features, tracked precision, recall and F-score and we compared with our baseline system. Experimental results of the full combination of all features yield the very encouraging precision, recall and F-score for Good label (F-score: 86.7%), and acceptable scores for Bad label (F-score: 36.8%).
Machine translation, confidence measure, confidence estimation, conditional random fields
Application d’un algorithme de traduction statistique à la normalisation de textos

Ce travail porte sur l’application d’une technique de traduction statistique au problème de la normalisation de textos. La méthode est basée sur l’algorithme de recherche vorace décrit dans (Langlais et al., 2007). Une première normalisation est générée, puis nous appliquons itérativement une fonction qui génère des nouvelles hypothèses à partir de la normalisation courante, et maximisons une fonction de score. Cette méthode fournit une réduction du taux d’erreurs moyen par phrase de 33 % sur le corpus de test, et une augmentation du score BLEU de plus de 30 %. Nous mettons l’accent sur les fonctions qui génèrent la normalisation initiale et sur les opérations permettant de générer des nouvelles hypothèses.

Mots-clés : Traduction statistique
normalisation de textos
algorithme de recherche vorace
modèle de langue

Applying a Statistical Machine Translation Algorithm to SMS Text Message Normalization
We report on the application of a statistical machine translation algorithm to the problem of SMS text message normalization. The technique is based on a greedy search algorithm described in (Langlais et al., 2007). A first normalization is generated, then a function that generates new hypotheses is applied iteratively to a current best guess, while maximizing a scoring function. This method leads to a drop in word error rate of 33% on a held-out test set, and a BLEU score gain of over 30%. We focus on the methods of generating the initial normalization and the operations that allow us to generate new hypotheses.
Machine translation, SMS, text message, normalization, greedy search algorithm, language model
Vers la correction automatique de textes bruités: Architecture générale et détermination de la langue d’un mot inconnu

Dans ce papier, nous introduisons le problème que pose la correction orthographique sur des corpus de qualité très dégradée tels que les messages publiés sur les forums, les sites d’avis ou les réseaux sociaux. Nous proposons une première architecture de correction qui a pour objectif d’éviter au maximum la sur-correction. Nous présentons, par ailleurs l’implémentation et les résultats d’un des modules de ce système qui a pour but de détecter si un mot inconnu, dans une phrase de langue connue, est un mot qui appartient à cette langue ou non.

Mots-clés : Correction automatique
détection de langue
données produite par l’utilisateur

Towards Automatic Spell-Checking of Noisy Texts : General Architecture and Language Identification for Unknown Words
This paper deals with the problem of spell checking on degraded-quality corpora such as blogs, review sites and social networks. We propose a first architecture of correction which aims at reducing overcorrection, and we describe its implementation. We also report and discuss the results obtained thanks to the module that detects whether an unknown word from a sentence in a known language belongs to this language or not.
Spelling correction, language identification, User-Generated Content
Une plate-forme générique et ouverte pour l’acquisition des expressions polylexicales

Cet article présente et évalue une plate-forme ouverte et flexible pour l’acquisition automatique d’expressions polylexicales (EPL) à partir des corpus monolingues. Nous commençons par une motivation pratique suivie d’une discussion théorique sur le comportement et les défis posés par les EPL dans les applications de TAL. Ensuite, nous décrivons les modules de notre plate-forme, leur enchaînement et les choix d’implémentation. L’évaluation de la plate-forme a été effectuée à travers une applications : la lexicographie assistée par ordinateur. Cette dernière peut bénéficier de l’acquisition d’EPL puisque les expressions acquises automatiquement à partir des corpus peuvent à la fois accélérer la création et améliorer la qualité et la couverture des ressources lexicales. Les résultats prometteurs encouragent une recherche plus approfondie sur la manière optimale d’intégrer le traitement des EPL dans de nombreuses applications de TAL, notamment dans les systèmes traduction automatique.

Mots-clés : Expressions polylexicales
corpus
lexicographie
extraction lexicale
lexique
mesures d’association

An Open and Generic Framework for the Acquisition of Multiword Expressions
In this paper, we present and evaluate an open and flexible methodological framework for the automatic acquisition of multiword expressions (MWEs) from monolingual textual corpora. We start with a pratical motivation followed by a theoretical discussion of the behaviour and of the challenges that MWEs pose for NLP applications. Afterwards, we describe the modules of our framework, the overall pipeline and the design choices of the tool implementing the framework. The evaluation of the framework was performed extrinsically based on an application : computerassisted lexicography. This application can benefit from MWE acquisition because the expressions acquired automatically from corpora can both speed up the creation and improve the quality and the coverage of the lexical resources. The promising results of previous and ongoing experiments encourage further investigation about the optimal way to integrate MWE treatment into NLP applications, and particularly into machine translation systems.
Multiword expression, lexical extraction, lexicon, association measures, corpus, lexicography
Système de prédiction de néologismes formels : le cas des N suffixés par -IER dénotant des artefacts

Nous présentons ici un système de prédiction de néologismes formels avec pour exemple la génération automatique de néologismes nominaux suffixés par -IER dénotant des artefacts (saladier, brassière, thonier). L’objectif de cet article est double. Il s’agira (i) de mettre en évidence les contraintes de la suffixation par -IER afin de les implémenter dans un système de génération morphologique puis (ii) de montrer qu’il est possible de prédire les néologismes formels. Ce système de prédiction permettrait ainsi de compléter automatiquement les lexiques pour le Traitement Automatique des Langues (TAL).

Mots-clés : néologie
génération morphologique
morphologie constructionnelle
incomplétude lexicale

Prediction Device of Formal Neologisms : the Case of -IER Suffixed Nouns Denoting Artifacts
We’ll introduce here a device that can predict neologisms using an example the automatical generation of nominal neologisms suffixed by -IER denoting artifacts (saladier, brassière, thonier). The aim of this article is double. We will first address the - IER suffixation constraints in order to take them into account on the implementation of our morphological generator. Second, we will describe our method to predict formal neologisms. Such a method will permit to automatically enrich NLP lexicons.
constructional morphology, neology, morphological generation, lexical incompleteness
Prémices d’une analyse syntaxique par transition pour des structures de dépendance non-projectives

L’article présente une extension de l’analyseur traditionnel en dépendances par transitions adapté aux dépendances discontinues et les premiers résultats de son entraînement sur un corpus de structures de dépendances de phrases en français. Les résultats des premières expérimentations vont servir de base pour le choix des traits des configurations de calcul bien adaptés aux dépendances discontinues pour améliorer l’apprentissage des dépendances tête.

Mots-clés : analyse syntaxique par transitions
structure de dépendance non-projective
grammaire catégorielle de dépendance

Beginnings of a Transition-Based Parsing for Non-Projectives Dependency Structures
This paper presents an extension of the traditional transition-based dependency parser adapted to discontinuous dependencies and the first results of its training on a dependency tree corpus of French. The first experimental results will be useful for the choice of parsing configuration features well adapted to discontinuous dependencies in order to ameliorate learning of head dependencies.
transition-based parsing, non-projective dependency structure, dependency categorial grammar
Création d’un multi-arbre à partir d’un texte balisé : l’exemple de l’annotation d’un corpus d’oral spontané

Dans cette étude, nous nous intéressons au problème de l’analyse d’un corpus annoté de l’oral. Le système d’annotation considéré est celui introduit par l’équipe des syntacticiens du projet Rhapsodie. La principale problématique qui sous-tend un tel projet est que la base écrite sur laquelle on travaille est en réalité une transcription de l’oral, balisée par les annotateurs de manière à délimiter un ensemble de structures arborescentes. Un tel système introduit plusieurs structures, en particulier macro et micro-syntaxiques. Du fait de leur étroite imbrication, il s’est avéré difficile de les analyser de façon indépendante et donc de travailler sur l’aspect macro-syntaxique indépendamment de l’aspect micro-syntaxique. Cependant, peu d’études jusqu’à présent considèrent ces problèmes conjointement et de manière automatisée. Dans ce travail, nous présentons nos efforts en vue de produire un outil de parsing capable de rendre compte à la fois de l’information micro et macro-syntaxique du texte annoté. Pour ce faire, nous proposons une représentation partant de la notion de multi-arbre et nous montrons comment une telle structure peut être générée à partir de l’annotation et utilisée à des fins d’analyse.

Mots-clés : micro-syntaxe
Arbres syntaxiques
unité illocutoire
unités rectionnelles
macrosyntaxe
entassement

Creating a Multi-Tree from a Tagged Text : Annotating Spoken French
This study focuses on automatic analysis of annotated transcribed speech. The annotation system considered has been recently introduced to address the several limitations of classical syntactic annotations when faced to natural speech transcriptions. It introduces many different components such as embedding, piles, kernels, pre-kernels, discursive markers etc.. All those components are tightly coupled in a complex tree structure and can hardly be considered separately because of their close intrication. Hence, a joint analysis is required but no analysis tool to handle them all together was available yet. In this study, we introduce such an automatic parser of annotated transcriptions of speech and present the corresponding framework based on multi-trees. This framework permits to jointly handle separate aspects of speech such as macro and micro syntactic levels, which are traditionnaly considered separately. Several applications are proposed, including analysis of the transcribed speech by classical parsers designed for written language.
Syntactic trees, illocutionary unit, microsyntax, macrosyntax, piles
Construction automatique d’un lexique de modifieurs de polarité

La recherche présentée 1 s’inscrit dans le domaine de la fouille d’opinion, domaine qui consiste principalement à déterminer la polarité d’un texte ou d’une phrase. Dans cette optique, le contexte autour d’un mot polarisé joue un rôle essentiel, car il peut modifier la polarité initiale de ce terme. Nous avons choisi d’approfondir cette question et de détecter précisément ces modifieurs de polarité. Une étude exploratoire, décrite dans des travaux antérieurs, nous a permis d’extraire automatiquement des adverbes qui jouent un rôle sur la polarité des adjectifs auxquels ils sont associés et de préciser leur impact. Nous avons ensuite amélioré le système d’extraction afin de construire automatiquement un lexique de structures lexico-syntaxiques modifiantes associées au type d’impact qu’elles ont sur un terme polarisé. Nous présentons ici le fonctionnement du système actuel ainsi que l’évaluation du lexique obtenu.

Mots-clés : modifieurs de polarité
fouille d’opinion
modifieurs de valence affective

Automatic Construction of a Contextual Valence Shifters Lexicon
The research presented in this paper takes place in the field of Opinion Mining, which is mainly devoted to assigning a positive or negative label to a text or a sentence. The context of a highly polarized word plays an essential role, as it can modify its original polarity. The present work addresses this issue and focuses on the detection of polarity shifters. In a previous study, we have automatically extracted adverbs impacting the polarity of the adjectives they are associated to and qualified their influence. The extraction system has then been improved to automatically build a lexicon of contextual valence shifters. This lexicon contains lexico-syntactic patterns combined with the type of influence they have on the valence of the polarized item. The purpose of this paper is to show how the current system works and to present the evaluation of the created lexicon.
opinion mining, contextual valence shifters
Apport de la diacritisation dans l’analyse morphosyntaxique de l’arabe

Ce travail s’inscrit dans le cadre de l’analyse morphologique et syntaxique automatique de la langue arabe. Nous nous intéressons au traitement de la diacritisation et à son apport pour l’analyse morphologique. En effet, la plupart des analyseurs morphologiques et des étiqueteurs morphosyntaxiques existants ignorent les diacritiques présents dans le texte à analyser et commettent des erreurs qui pourraient être évitées. Dans cet article, nous proposons une méthode qui prend en considération les diacritiques lors de l’analyse, et nous montrons que cette prise en compte permet de diminuer considérablement le taux d’erreur de l’analyse morphologique selon le taux de diacritiques du texte traité.

Mots-clés : diacritisation
analyse morphosyntaxique
langue arabe
traitement automatique

Apport of Diacritization in Arabic Morpho-Syntactic Analysis
This work is concerned with the automatic morphological and syntactical analysis of the Arabic language. It focuses on diacritization and on its contribution to morphological analysis. Most of existing morphological analyzers and syntactical taggers do not take diacritics into account; as a consequence, they make mistakes that could have been avoided. In this paper, we propose a method which process diacritics. We show that doing so reduces considerably the morphological error rate, depending on the diacritics rate in the input text.
diacritization, computer processing, morpho-syntaxic analysis, Arabic language