taln-ls2n/taln-archives huggingface dataset:
Détection et correction automatique d’entités nommées dans des corpus OCRisés

La correction de données textuelles obtenues par reconnaissance optique de caractères (OCR) pour atteindre une qualité éditoriale reste aujourd’hui une tâche coûteuse, car elle implique toujours une intervention humaine. La détection et la correction automatiques d’erreurs à l’aide de modèles statistiques ne permettent de traiter de façon utile que les erreurs relevant de la langue générale. C’est pourtant dans certaines entités nommées que résident les erreurs les plus nombreuses, surtout dans des données telles que des corpus de brevets ou des textes juridiques. Dans cet article, nous proposons une architecture d’identification et de correction par règles d’un large éventail d’entités nommées (non compris les noms propres). Nous montrons que notre architecture permet d’atteindre un bon rappel et une excellente précision en correction, ce qui permet de traiter des fautes difficiles à traiter par les approches statistiques usuelles.

Mots-clés : Entités nommées
OCR
Détection d’erreurs
Correction d’erreurs

Named Entity Recognition and Correction in OCRized Corpora
Correction of textual data obtained by optical character recognition (OCR) for reaching editorial quality is an expensive task, as it still involves human intervention. The coverage of statistical models for automated error detection and correction is inherently limited to errors that resort to general language. However, a large amount of errors reside in domain-specific named entities, especially when dealing with data such as patent corpora or legal texts. In this paper, we propose a rule-based architecture for the identification and correction of a wide range of named entities (proper names not included). We show that our architecture achieves a good recall and an excellent correction accuracy on error types that are difficult to adress with statistical approaches.
OCR, Named entities, Error Detection, Error Correction
Méthodes de lissage d’une approche morpho-statistique pour la voyellation automatique des textes arabes

Nous présentons dans ce travail un nouveau système de voyellation automatique des textes arabes en utilisant trois étapes. Durant la première phase, nous avons intégré une base de données lexicale contenant les mots les plus fréquents de la langue arabe avec l’analyseur morphologique AlKhalil Morpho Sys pour fournir les voyellations possibles pour chaque mot. Le second module dont l’objectif est d’éliminer l'ambiguïté repose sur une approche statistique dont l’apprentissage a été effectué sur un corpus constitué de textes de livres arabes et utilisant les modèles de Markov cachés (HMM) où les mots non voyellés représentent les états observés et les mots voyellés sont ses états cachés. Le système utilise les techniques de lissage pour contourner le problème des transitions des mots absentes et l'algorithme de Viterbi pour sélectionner la solution optimale. La troisième étape utilise un modèle HMM basé sur les caractères pour traiter le cas des mots non analysés.

Mots-clés : lissage
voyellation automatique
Langue arabe
corpus
modèle de Markov caché
algorithme de Viterbi
analyse morphologique

Smoothing methods for a morpho-statistical approach of automatic diacritization Arabic texts
We present in this work a new approach for the Automatic diacritization for Arabic texts using three stages. During the first phase, we integrated a lexical database containing the most frequent words of Arabic with morphological analysis by Alkhalil Morpho Sys which provided possible diacritization for each word. The objective of the second module is to eliminate the ambiguity using a statistical approach in which the learning phase was performed on a corpus composed by several Arabic books. This approach uses the hidden Markov models (HMM) with Arabic unvowelized words taken as observed states and vowelized words are considered as hidden states. The system uses smoothing techniques to circumvent the problem of unseen word transitions in the corpus and the Viterbi algorithm to select the optimal solution. The third step uses a HMM model based on the characters to deal with the case of unanalyzed words.
Arabic language, Automatic diacritization, morphological analysis, hidden Markov model, corpus, smoothing, Viterbi Algorithm
Évaluation d’un système d’extraction de réponses multiples sur le Web par comparaison à des humains

Dans cet article, nous proposons une évaluation dans un cadre utilisateur de Citron, un système de question-réponse en français capable d’extraire des réponses à des questions à réponses multiples (questions possédant plusieurs réponses correctes différentes) en domaine ouvert à partir de documents provenant du Web. Nous présentons ici le protocole expérimental et les résultats pour nos deux expériences utilisateurs qui visent à (1) comparer les performances de Citron par rapport à celles d’un être humain pour la tâche d’extraction de réponses multiples et (2) connaître la satisfaction d’un utilisateur devant différents formats de présentation de réponses.

Mots-clés : réponses multiples
système de question-réponse
évaluation utilisateur

User evaluation of a multiple answer extraction system on the Web
In this paper, we propose a user evaluation of Citron, a question-answering system in French which extracts answers for multiple answer questions (expecting different correct answers) in open domain from Web documents. We present here our experimental protocol and results for user evaluations which aim at (1) comparing multiple answer extraction performances of Citron and users, and (2) knowing user preferences about multiple answer presentation.
question-answering system, multiple answers, user evaluation
Détection de périodes musicales d’une collection de musique par apprentissage

Dans ces travaux, nous présentons une approche afin d’étiqueter une large collection de chansons francophones. Nous avons développé une interface utilisant les paroles comme point d’entrée afin d’explorer cette collection de musique avec des filtres en fonction de chaque période musicale. Dans un premier temps, nous avons collecté paroles et métadonnées de différentes sources sur leWeb. Nous présentons dans cet article une méthode originale permettant d’attribuer de manière automatique la décennie de sortie des chansons de notre collection. Basée sur un système évalué au cours d’une des campagnes DEFT, l’approche combine fouille de textes et apprentissage supervisé et aborde la problématique comme une tâche de classification multi classes. Nous avons par la suite enrichi le modèle d’un certain nombre de traits supplémentaires tels que les tags sociaux afin d’observer leur influence sur les résultats.

Mots-clés : Fouille de textes
apprentissage supervisé
tags sociaux
paroles de chansons

Music period detection of music collections using learning techniques
In this paper, we present an approach to label a large collection of songs in French by decade. We have developed an information visualization interface that allows users to browse the collection searching for lyrics with musical periods dependent filters. We first harvested lyrics and metadata from various sources on the web. We present in this article an original method to automatically assign the decade of songs for our collection. The original system was developed for a DEFT challenge and combined text mining and machine learning with a multi class approach. We subsequently enriched the model with additional features such as social tags to determine their impact on the results.
text mining, machine learning, lyrics, social tagging
AMESURE: une plateforme de lisibilité pour les textes administratifs

Cet article présente une plateforme dédiée à l’évaluation de la difficulté des textes administratifs, dans un but d’aide à la rédaction. La plateforme propose d’une part une formule de lisibilité spécialisée pour les textes administratifs, dont la conception repose sur une nouvelle méthode d’annotation. Le modèle classe correctement 58% des textes sur une échelle à 5 niveaux et ne commet d’erreurs graves que dans 9% des cas. La plateforme propose d’autre part un diagnostic plus précis des difficultés spécifiques d’un texte, sous la forme d’indicateurs numériques, mais aussi d’une localisation de ces difficultés directement dans le document.

Mots-clés : textes administratifs
aide à la rédaction
formule de lisibilité

AMesure: a readability formula for administrative texts
This paper presents a platform aiming to assess the difficulty of administrative texts, mostly for editorial assistance purposes. The platform first offers a readability formula specialized for administrative texts, the development of which required the design of a dedicated annotation procedure. The resulting model correctly classifies 58% of the texts on a 5-levels scale and commits serious misclassifications in only 9% of the cases. Moreover, the platform offers a more accurate diagnosis of the difficulty of a text in the form of numerical indicators corresponding to various textual characteristics. It also locates specific local difficulties directly in the text.
readability formula, administrative texts, editorial assistance
Décomposition des « hash tags » pour l’amélioration de la classification en polarité des « tweets »

Les « mots dièses» ou « hash tags » sont le moyen naturel de lier entre eux différents tweets. Certains « hash tags » sont en fait de petites phrases dont la décomposition peut se révéler particulièrement utile lors d’une analyse d’opinion des tweets. Nous allons montrer dans cet article comment l’on peut automatiser cette décomposition et cette analyse de façon à améliorer la détection de la polarité des tweets.

Mots-clés : hash tag
tweet
analyse d’opinion
TAL

Decomposing Hashtags to Improve Tweet Polarity Classification
Hash tags are the natural way through which tweets are linked to each other. Some of these hash tags are actually little sentences, whose decompositions can prove quite useful when mining opinions from tweets. We will show in this article how we can automatically detect the inner polarity of these hash tags, through their decomposition and analysis.
hash tag, tweet, opinion mining, NLP
Modélisation des questions de l’agent pour l’analyse des affects, jugements et appréciations de l’utilisateur dans les interactions humain-agent

Cet article aborde la question des expressions d’attitudes (affects, jugements, appréciations) chez l’utilisateur dans le cadre d’échanges avec un agent virtuel. Il propose une méthode pour l’analyse des réponses à des questions fermées destinée à interroger les attitudes de l’utilisateur. Cette méthode s’appuie sur une formalisation des questions de l’agent – sous la forme d’une fiche linguistique – et sur une analyse de la réponse de l’utilisateur, pour créer un modèle utilisateur. La fiche linguistique de l’agent est structurée par un ensemble d’attributs relatifs, d’une part, à l’attitude à laquelle réfère la question, d’autre part, à sa forme morphosyntaxique. L’analyse de la réponse, quant à elle, repose sur un ensemble de règles sémantiques et syntaxiques définies par une grammaire formelle. A partir des résultats fournis par cette analyse et des informations contenues dans la fiche linguistique de l’agent, des calculs sémantiques sont effectués pour définir la valeur de la réponse et construire le modèle utilisateur.

Mots-clés : affect
jugement
appréciation
interaction humain-agent
questions-réponses

Modelling agent's questions for analysing user's affects, appreciations and judgements in human-agent interaction
This paper tackles the issue of user’s attitudinal expressions in an human-agent interaction. It introduces a method for analysing the user’s anwers to the agent’s yes/no questions about attitude. In order to build a user model, this method relies on a formalization of the agent’s questions and a linguistic analysis of the user’s answer. This formalization comprises a set of attributes regarding the attitude expressed and the morphosyntaxic form of the question. The answer is then analyzed by using a set of semantic and syntactic rules included in a formal grammar. Finally, the semantic value of the answer can be calculated by using the results provided by this analysis and the information given by the question formalization. This computation is next integrated in the user model.
affect, jugement, appreciation, human-agent interaction, questions-answers
KNG: un outil pour l’écriture facile de cascades de transducteurs

Cet article présente une bibliothèque python appelée KNG permettant d’écrire facilement des automates et transducteurs finis. Grâce à une gestion soigneuse des codages et des entrées-sorties, cette bibliothèque permet de réaliser une cascade de transducteurs au moyen de tubes unix reliant des scripts python.

Mots-clés : cascade de transducteur
Machines finies à états
expression régulière

KNG: a Tool for Writing Easily Transducer Cascades
This paper presents a Python library called KNG which provides facilities to write easily finite state automata and transducers. Through careful management of encodings and input/output, a transducer cascade may be implented using unix pipes connecting python scripts.
Finite State Machines, Transducer Cascade, Regular Expression
Comparaison de deux outils d'analyse de corpus japonais pour l'aide au linguiste, Sagace et Mecab

L'objectif est de comparer deux outils d'analyse de corpus de textes bruts pour l'aide à la recherche en linguistique japonaise. Les deux outils représentent chacun une approche spécifique. Le premier, Sagace, recherche un patron sans prise en compte de son environnement. Le second, un dispositif à base de Mecab, recherche les patrons après analyse morphologique complète des phrases. Nous comparons les performances en temps et en précision. Il ressort de cette analyse que les performances de Sagace sont globalement un peu inférieures à celles des dispositifs à base de Mecab, mais qu'elles restent tout à fait honorables voire meilleures pour certaines tâches.

Mots-clés : Corpus
Japonais
Sagace
Mecab
Analyseurs

Comparing two analyzers of Japanese corpora for helping linguists: MeCab and Sagace
The purpose is to compare two tools used for helping linguist to analyze large corpora of raw japanese text. Each tool is representative of a specific approach. The first one, Sagace, search a pattern without taking into account its distribution. The second one is based on the morphological analyzer Mecab. It first analyzes the whole sentence before counting the searched pattern. We compare the processing time, needed ressources, and the quality of the results. It appears that performances of Sagace are globaly slightly lower than the Mecab system, but it doesn't defer so much. It may even be punctually better.
Japanese, Corpus, Comparison, Mecab, Sagace
Un concordancier multi-niveaux et multimédia pour des corpus oraux

Les concordanciers jouent depuis longtemps un rôle important dans l’analyse des corpus linguistiques, tout comme dans les domaines de la philologie, de la littérature, de la traduction et de l’enseignement des langues. Toutefois, il existe peu de concordanciers qui soient capables d’associer des annotations à plusieurs niveaux et synchronisées avec le signal sonore. L’essor des grands corpus de français parlé introduit une augmentation des exigences au niveau de la performance. Dans ce travail à caractère préliminaire, nous avons développé un prototype de concordancier multi-niveaux et multimédia, que nous avons testé sur le corpus de français parlé du projet Phonologie du Français Contemporain (PFC, 1,5 million de tokens de transcription alignée au niveau de l’énoncé). L’outil permet non seulement d’enrichir les résultats des concordances grâce aux données relevant de plusieurs couches d’annotation du corpus (annotation morphosyntaxique, lemme, codage de la liaison, codage du schwa etc.), mais aussi d’élargir les modalités d’accès au corpus.

Mots-clés : concordancier
annotation multi-niveaux
linguistique de corpus
didactique du FLE

A multi-level multimedia concordancer for spoken language corpora
Concordances have always played an important role in the analysis of language corpora, for studies in humanities, literature, linguistics, translation and language teaching. However, very few of the available systems support multi-level queries against a richly-annotated, sound-aligned spoken corpus. The rapid growth in the development of spoken corpora, particularly for French, increases the need for scalable, high-performance solutions. We present the preliminary results of our project to develop a multi-level multimedia concordancer for spoken language corpora. We test our prototype on the PFC corpus of spoken French (1.5 million tokens, transcriptions aligned to the utterance level). Our tool allows researchers to query the corpus and produce concordances correlating several annotation levels (part-of-speech tags, lemmas, annotation of phonological phenomena such as the liaison and schwa, etc.) while allowing for multi-modal access to the associated sound recordings and other data.
concordance tool, multi-level annotation, corpus linguistics, French language teaching
Simulation de l’apprentissage des contextes nominaux/verbaux par n-grammes

On présente une étude d’apprentissage visant à montrer que les contextes locaux dans un corpus de parole adressée aux enfants peuvent être exploités, avec des méthodes statistiques simples, pour prédire la catégorie (nominale vs. verbale) d’un mot inconnu. Le modèle présenté, basé sur la mémorisation de n-grammes et sur une « graine sémantique » (un petit nombre de noms et verbes supposés connus et catégorisés) montre une excellente précision à toutes les tailles de graine sémantique, et un rappel plus faible, qui croît avec la taille de la graine sémantique. Les contextes les plus utilisés sont ceux qui contiennent des mots fonctionnels. Cette étude de faisabilité démontre que les très jeunes enfants pourraient exploiter les contextes de mots inconnus pour prédire leur catégorie syntaxique.

Mots-clés : apprentissage
n-grammes
modélisation de l’acquisition du langage

Learning simulation of nominal/verbal contexts through n-grams
A learning study is presented whose aim is to show that local contexts, in a child-directed speech corpus, can be exploited, with simple statistical methods, to predict the category (noun vs. verb) of unknown words. The model we present here is based on the memorisation of n-grams and on a “semantic seed” (a small number of nouns and verbs supposedly known and well categorised). It shows an excellent precision for every size of the semantic seed, and its recall grows along with the size of the semantic seed. The most useful contexts are the ones that include function words. This feasibility study shows that very young children could exploit the contexts of unknown words to predict their syntactic category.
learning, language acquisition modeling, n-gram
Impact de la nature et de la taille des corpus d'apprentissage sur les performances dans la détection automatique des entités nommées

Nous présentons une étude comparative sur l’impact de la nature et de la taille des corpus d’apprentissage sur les performances dans la détection automatique des entités nommées. Cette évaluation se présente sous la forme de multiples modulations de trois corpus français. Deux des corpus sont issus du catalogue des ressources linguistiques d’ELRA et le troisième est composé de documents extraits de la plateforme OpenEdition.org.

Mots-clés : Reconnaissance d'entités nommées
Adaptation au domaine
comparaison d'outils

Impact of the nature and size of the training set on performance in the automatic detection of named entities
We present a comparative study on the impact of the nature and size of the training corpus on performance in automatic named entities recognition. This evaluation is in the form of multiple modulations on three French corpus. Two corpora are from the catalog of the European Language Resources Association (ELRA) and the third is composed of documents extract from the OpenEdition.org platform.
Named entity recognition, Domain adptation, performance comparison
RENAM: Système de Reconnaissance des Entités Nommées Amazighes

La reconnaissance des Entités Nommées (REN) en langue amazighe est un prétraitement potentiellement utile pour de nombreuses applications du traitement de la langue amazighe. Cette tâche représente toutefois un sévère challenge, compte tenu des particularités de cette langue. Dans cet article, nous présentons le premier système d’extraction d’entités nommées amazighes (RENAM) fondé sur une approche symbolique qui utilise le principe de transducteur à états finis disponible sous la plateforme GATE.

Mots-clés : Reconnaissance des entités nommées (REN)
Langue Amazighe
GATE
Règles d’annotation
JAPE

NERAM : Named Entity Recognition for AMazighe language
Named Entity Recognition (NER) for Amazigh language is a potentially useful pretreatment for many processing applications for the Amazigh language. However, this task represents a tough challenge, given the specificities of this language. In this paper, we present (NERAM) the first named entity system for the Amazigh language based on a symbolic approach that uses linguistic rules built manually by using an information extraction tool available within the platform GATE.
Named Entities Recognition (NER), Amazigh Language, Annotation Rules, JAPE, GATE
De la quenelle culinaire à la quenelle politique : identification de changements sémantiques à l’aide des Topic Models

Dans cet article nous employons le « topic modeling » pour explorer des chemins vers la détection automatique de l’apparition de nouveaux sens pour des mots connus. Nous appliquons les méthodes introduites dans (Lau et al., 2012, 2014) à un cas de néologie sémantique récent, l’apparition du nouveau sens de geste pour le mot « quenelle ». Nos expériences mettent en évidence le potentiel de cette approche pour l’apprentissage des sens du mot, l’alignement des topics à des sens de dictionnaire et enfin la détection de nouveaux sens.

Mots-clés : topic models
néologie sémantique
induction de sens

From the Culinary to the Political Meaning of "quenelle" : Using Topic Models For Identifying Novel Senses
In this study we explore topic modeling for the automatic detection of new senses of known words. We apply methods developed in previous work for English (Lau et al., 2012, 2014) on a recent case of new word sense induction in French, namely the appearence of the new meaning of gesture for the word « quenelle ». Our experiments illustrate the potential of this approach at learning word senses, aligning the topics with dictionary senses and finally at detecting the new senses.
topic models, word sense induction, semantic neologism