pwc-archive/papers-with-abstracts huggingface dataset:
Apprentissage discriminant des mod\`eles continus de traduction
Authors: Quoc-Khanh Do, Alex Allauzen, re, Fran{\c{c}}ois Yvon
Date: 2015-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2015 6

Alors que les r{\'e}seaux neuronaux occupent une place de plus en plus importante dans le traitement automatique des langues, les m{\'e}thodes d{'}apprentissage actuelles utilisent pour la plupart des crit{\`e}res qui sont d{\'e}corr{\'e}l{\'e}s de l{'}application. Cet article propose un nouveau cadre d{'}apprentissage discriminant pour l{'}estimation des mod{\`e}les continus de traduction. Ce cadre s{'}appuie sur la d{\'e}finition d{'}un crit{\`e}re d{'}optimisation permettant de prendre en compte d{'}une part la m{\'e}trique utilis{\'e}e pour l{'}{\'e}valuation de la traduction et d{'}autre part l{'}int{\'e}gration de ces mod{\`e}les au sein des syst{\`e}mes de traduction automatique. De plus, cette m{\'e}thode d{'}apprentissage est compar{\'e}e aux crit{\`e}res existants d{'}estimation que sont le maximum de vraisemblance et l{'}estimation contrastive bruit{\'e}e. Les exp{\'e}riences men{\'e}es sur la t{\^a}ches de traduction des s{\'e}minaires TED Talks de l{'}anglais vers le fran{\c{c}}ais montrent la pertinence d{'}un cadre discriminant d{'}apprentissage, dont les performances restent toutefois tr{\`e}s d{\'e}pendantes du choix d{'}une strat{\'e}gie d{'}initialisation idoine. Nous montrons qu{'}avec une initialisation judicieuse des gains significatifs en termes de scores BLEU peuvent {\^e}tre obtenus.
Utiliser les interjections pour d\'etecter les \'emotions
Authors: Amel Fraisse, Patrick Paroubek
Date: 2015-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2015 6

Bien que les interjections soient un ph{\'e}nom{\`e}ne linguistique connu, elles ont {\'e}t{\'e} peu {\'e}tudi{\'e}es et cela continue d{'}{\^e}tre le cas pour les travaux sur les microblogs. Des travaux en analyse de sentiments ont montr{\'e} l{'}int{\'e}r{\^e}t des {\'e}motic{\^o}nes et r{\'e}cemment des mots-di{\`e}ses, qui s{'}av{\`e}rent {\^e}tre tr{\`e}s utiles pour la classification en polarit{\'e}. Mais malgr{\'e} leur statut grammatical et leur richesse s{\'e}mantique, les interjections sont rest{\'e}es marginalis{\'e}es par les syst{\`e}mes d{'}analyse de sentiments. Nous montrons dans cet article l{'}apport majeur des interjections pour la d{\'e}tection des {\'e}motions. Nous d{\'e}taillons la production automatique, bas{\'e}e sur les interjections, d{'}un corpus {\'e}tiquet{\'e} avec les {\'e}motions. Nous expliquons ensuite comment nous avons utilis{\'e} ce corpus pour en d{\'e}duire, automatiquement, un lexique affectif pour le fran{\c{c}}ais. Ce lexique a {\'e}t{\'e} {\'e}valu{\'e} sur une t{\^a}che de d{\'e}tection des {\'e}motions, qui a montr{\'e} un gain en mesure F1 allant, selon les {\'e}motions, de +0,04 {\`a} +0,21.
Comparaison d'architectures neuronales pour l'analyse syntaxique en constituants
Authors: Maximin Coavoux, Beno{\^\i}t Crabb{\'e}
Date: 2015-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2015 6

L{'}article traite de l{'}analyse syntaxique lexicalis{\'e}e pour les grammaires de constituants. On se place dans le cadre de l{'}analyse par transitions. Les mod{\`e}les statistiques g{\'e}n{\'e}ralement utilis{\'e}s pour cette t{\^a}che s{'}appuient sur une repr{\'e}sentation non structur{\'e}e du lexique. Les mots du vocabulaire sont repr{\'e}sent{\'e}s par des symboles discrets sans liens entre eux. {\`A} la place, nous proposons d{'}utiliser des repr{\'e}sentations denses du type plongements (embeddings) qui permettent de mod{\'e}liser la similarit{\'e} entre symboles, c{'}est-{\`a}-dire entre mots, entre parties du discours et entre cat{\'e}gories syntagmatiques. Nous proposons d{'}adapter le mod{\`e}le statistique sous-jacent {\`a} ces nouvelles repr{\'e}sentations. L{'}article propose une {\'e}tude de 3 architectures neuronales de complexit{\'e} croissante et montre que l{'}utilisation d{'}une couche cach{\'e}e non-lin{\'e}aire permet de tirer parti des informations donn{\'e}es par les plongements.
...des conf\'erences enfin disons des causeries... D\'etection automatique de segments en relation de paraphrase dans les reformulations de corpus oraux
Authors: Natalia Grabar, Iris Eshkol
Date: 2015-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2015 6
Tasks: Relation

Notre travail porte sur la d{\'e}tection automatique des segments en relation de reformulation paraphrastique dans les corpus oraux. L{'}approche propos{\'e}e est une approche syntagmatique qui tient compte des marqueurs de reformulation paraphrastique et des sp{\'e}cificit{\'e}s de l{'}oral. Les donn{\'e}es de r{\'e}f{\'e}rence sont consensuelles. Une m{\'e}thode automatique fond{\'e}e sur l{'}apprentissage avec les CRF est propos{\'e}e afin de d{\'e}tecter les segments paraphras{\'e}s. Diff{\'e}rents descripteurs sont exploit{\'e}s dans une fen{\^e}tre de taille variable. Les tests effectu{\'e}s montrent que les segments en relation de paraphrase sont assez difficiles {\`a} d{\'e}tecter, surtout avec leurs fronti{\`e}res correctes. Les meilleures moyennes atteignent 0,65 de F-mesure, 0,75 de pr{\'e}cision et 0,63 de rappel. Nous avons plusieurs perspectives {\`a} ce travail pour am{\'e}liorer la d{\'e}tection des segments en relation de paraphrase et pour {\'e}tudier les donn{\'e}es depuis d{'}autres points de vue.
fr2sql : Interrogation de bases de donn\'ees en fran\ccais
Authors: Beno{\^\i}t Couderc, J{\'e}r{\'e}my Ferrero
Date: 2015-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2015 6

Les bases de donn{\'e}es sont de plus en plus courantes et prennent de plus en plus d{'}ampleur au sein des applications et sites Web actuels. Elles sont souvent amen{\'e}es {\`a} {\^e}tre utilis{\'e}es par des personnes n{'}ayant pas une grande comp{\'e}tence en la mati{\`e}re et ne connaissant pas rigoureusement leur structure. C{'}est pour cette raison que des traducteurs du langage naturel aux requ{\^e}tes SQL sont d{\'e}velopp{\'e}s. Malheureusement, la plupart de ces traducteurs se cantonnent {\`a} une seule base du fait de la sp{\'e}cificit{\'e} de l{'}architecture de celle-ci. Dans cet article, nous proposons une m{\'e}thode visant {\`a} pouvoir interroger n{'}importe quelle base de donn{\'e}es {\`a} partir de questions en fran{\c{c}}ais. Nous {\'e}valuons notre application sur deux bases {\`a} la structure diff{\'e}rente et nous montrons {\'e}galement qu{'}elle supporte plus d{'}op{\'e}rations que la plupart des autres traducteurs.
D\'esambigu\"\isation lexicale \`a base de connaissances par s\'election distributionnelle et traits s\'emantiques
Authors: Mokhtar Boumedyen Billami
Date: 2015-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2015 6

La d{\'e}sambigu{\"\i}sation lexicale permet d{'}am{\'e}liorer de nombreuses applications en traitement automatique des langues (TAL) comme la recherche d{'}information, l{'}extraction d{'}information, la traduction automatique, ou la simplification lexicale de textes. Sch{\'e}matiquement, il s{'}agit de choisir quel est le sens le plus appropri{\'e} pour chaque mot d{'}un texte. Une des approches classiques consiste {\`a} estimer la similarit{\'e} s{\'e}mantique qui existe entre les sens de deux mots puis de l{'}{\'e}tendre {\`a} l{'}ensemble des mots du texte. La m{\'e}thode la plus directe donne un score de similarit{\'e} {\`a} toutes les paires de sens de mots puis choisit la cha{\^\i}ne de sens qui retourne le meilleur score (on imagine la complexit{\'e} exponentielle li{\'e}e {\`a} cette approche exhaustive). Dans cet article, nous proposons d{'}utiliser une m{\'e}ta-heuristique d{'}optimisation combinatoire qui consiste {\`a} choisir les voisins les plus proches par s{\'e}lection distributionnelle autour du mot {\`a} d{\'e}sambigu{\"\i}ser. Le test et l{'}{\'e}valuation de notre m{\'e}thode portent sur un corpus {\'e}crit en langue fran{\c{c}}aise en se servant du r{\'e}seau s{\'e}mantique BabelNet. Le taux d{'}exactitude obtenu est de 78{\%} sur l{'}ensemble des noms et des verbes choisis pour l{'}{\'e}valuation.
Vers un mod\`ele de d\'etection des affects, appr\'eciations et jugements dans le cadre d'interactions humain-agent
Authors: Caroline Langlet
Date: 2015-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2015 6

Cet article aborde la question de la d{\'e}tection des expressions d{'}attitude {--} i.e affect, d{'}appr{\'e}ciation et de jugement (Martin{\&} White, 2005) {--} dans le contenu verbal de l{'}utilisateur au cours d{'}interactions en face-{\`a}-face avec un agent conversationnel anim{\'e}. Il propose un positionnement en termes de mod{\`e}les et de m{\'e}thodes pour le d{\'e}veloppement d{'}un syst{\`e}me de d{\'e}tection adapt{\'e} aux buts communicationnels de l{'}agent et {\`a} une parole conversationnelle. Apr{\`e}s une description du mod{\`e}le th{\'e}orique de r{\'e}f{\'e}rence choisi, l{'}article propose un mod{\`e}le d{'}annotation des attitudes d{\'e}di{\'e} l{'}exploration de ce ph{\'e}nom{\`e}ne dans un corpus d{'}interaction humain-agent. Il pr{\'e}sente ensuite une premi{\`e}re version de notre syst{\`e}me. Cette premi{\`e}re version se concentre sur la d{\'e}tection des expressions d{'}attitudes pouvant r{\'e}f{\'e}rer {\`a} ce qu{'}aime ou n{'}aime pas l{'}utilisateur. Le syst{\`e}me est con{\c{c}}u selon une approche symbolique fond{\'e}e sur un ensemble de r{\`e}gles s{\'e}mantiques et de repr{\'e}sentations logico-s{\'e}mantiques des {\'e}nonc{\'e}s.
R\'esum\'e Automatique Multi-Document Dynamique : \'Etat de l'Art
Authors: Ma{\^a}li Mnasri
Date: 2015-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2015 6

Les travaux men{\'e}s dans le cadre du r{\'e}sum{\'e} automatique de texte ont montr{\'e} des r{\'e}sultats {\`a} la fois tr{\`e}s encourageants mais qui sont toujours {\`a} am{\'e}liorer. La probl{\'e}matique du r{\'e}sum{\'e} automatique ne cesse d{'}{\'e}voluer avec les nouveaux champs d{'}application qui s{'}imposent, ce qui augmente les contraintes li{\'e}es {\`a} cette t{\^a}che. Nous nous int{\'e}- ressons au r{\'e}sum{\'e} extractif multi-document dynamique. Pour cela, nous examinons les diff{\'e}rentes approches existantes en mettant l{'}accent sur les travaux les plus r{\'e}cents. Nous montrons ensuite que la performance des syst{\`e}mes de r{\'e}sum{\'e} multi-document et dynamique est encore modeste. Trois contraintes suppl{\'e}mentaires sont ajout{\'e}es : la redondance inter-document, la redondance {\`a} travers le temps et la grande taille des donn{\'e}es {\`a} traiter. Nous essayons de d{\'e}celer les insuffisances des syst{\`e}mes existants afin de bien d{\'e}finir notre probl{\'e}matique et guider ainsi nos prochains travaux.
Alignement multimodal de ressources \'educatives et scientifiques
Authors: Hugo Mougard
Date: 2015-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2015 6
Tasks: Articles, SENTER

Cet article pr{\'e}sente certaines questions de recherche li{\'e}es au projet COC O 1 . L{'}ambition de ce projet est de valoriser les ressources {\'e}ducatives et acad{\'e}miques en exploitant au mieux les diff{\'e}rents m{\'e}dias disponibles (vid{\'e}os de cours ou de pr{\'e}sentations d{'}articles, manuels {\'e}ducatifs, articles scientifiques, pr{\'e}sentations, etc). Dans un premier temps, nous d{\'e}crirons le probl{\`e}me d{'}utilisation jointe de ressources multim{\'e}dias {\'e}ducatives ou scientifiques pour ensuite introduire l{'}{\'e}tat de l{'}art dans les domaines concern{\'e}s. Cela nous permettra de pr{\'e}senter quelques questions de recherche sur lesquelles porteront des {\'e}tudes ult{\'e}rieures. Enfin nous finirons en introduisant trois prototypes d{\'e}velopp{\'e}s pour analyser ces questions.
\'Etat de l'art : analyse des conversations \'ecrites en ligne porteuses de demandes d'assistance en termes d'actes de dialogue
Authors: Soufian Salim
Date: 2015-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2015 6
Tasks: SENTER

Le d{\'e}veloppement du Web 2.0 et le processus de cr{\'e}ation et de consommation massive de contenus g{\'e}n{\'e}r{\'e}s par les utilisateurs qu{'}elle a enclench{\'e} a permis le d{\'e}veloppement de nouveaux types d{'}interactions chez les internautes. En particulier, nous nous int{\'e}ressons au d{\'e}veloppement du support en ligne et des plate-formes d{'}entraide. En effet, les archives de conversations en ligne porteuses de demandes d{'}assistance repr{\'e}sentent une ressource inestimable, mais peu exploit{\'e}e. L{'}exploitation de cette ressource permettrait non seulement d{'}am{\'e}liorer les syst{\`e}mes li{\'e}s {\`a} la r{\'e}solution collaborative des probl{\`e}mes, mais {\'e}galement de perfectionner les canaux de support propos{\'e}s par les entreprises op{\'e}rant sur le web. Pour ce faire, il est cependant n{\'e}cessaire de d{\'e}finir un cadre formel pour l{'}analyse discursive de ce type de conversations. Cet article a pour objectif de pr{\'e}senter l{'}{\'e}tat de la recherche en analyse des conversations {\'e}crites en ligne, sous diff{\'e}rents m{\'e}diums, et de montrer dans quelle mesure les diff{\'e}rentes m{\'e}thodes expos{\'e}es dans la litt{\'e}rature peuvent {\^e}tre appliqu{\'e}es {\`a} des conversations fonctionnelles inscrites dans le cadre de la r{\'e}solution collaborative des probl{\`e}mes utilisateurs.
Weighted-Sampling Audio Adversarial Example Attack
Authors: Xiaolei Liu, Xiaosong Zhang, Kun Wan, Qingxin Zhu, Yufei Ding
Date: 2019-01-26 00:00:00
Tasks: Adversarial Attack, Automatic Speech Recognition, Automatic Speech Recognition (ASR), Denoising, speech-recognition, Speech Recognition

Recent studies have highlighted audio adversarial examples as a ubiquitous threat to state-of-the-art automatic speech recognition systems. Thorough studies on how to effectively generate adversarial examples are essential to prevent potential attacks. Despite many research on this, the efficiency and the robustness of existing works are not yet satisfactory. In this paper, we propose~\textit{weighted-sampling audio adversarial examples}, focusing on the numbers and the weights of distortion to reinforce the attack. Further, we apply a denoising method in the loss function to make the adversarial attack more imperceptible. Experiments show that our method is the first in the field to generate audio adversarial examples with low noise and high audio robustness at the minute time-consuming level.
The Role of Clustering in the Adoption of Organic Dairy: A Longitudinal Networks Analysis between 2002 and 2015
Authors: Juan Carlos Sánchez Herrera, Carolyn Dimitri
Date: 2019-03-13 00:00:00
Proceeding: Sustainability 2019 3
Tasks: Clustering, geo-localization

This paper uses network analysis to study the geo-localization decisions of new organic dairy farm operations in the USA between 2002 and 2015. Given a dataset of organic dairy certifications we simulated spatio-temporal networks based on the location of existing and new organic dairy farming operations. The simulations were performed with different probabilities of connecting with existing or incoming organic farmer operations, to overcome the lack of data describing actual connections between farmers. Calculated network statistics on the simulated networks included the average degree, average shortest path, closeness (centrality), clustering coefficients, and the relative size of the largest cluster, to demonstrate how the networks evolved over time. The findings revealed that new organic dairy operations cluster around existing ones, reflecting the role of networks in the conversion into organic production. The contributions of this paper are twofold. First, we contribute to the literature on clustering, information sharing, and market development in the agri-food industry by analyzing the potential implications of social networking in the development of a relatively new agriculture market. Second, we add to the literature on empirical social networks by using a new dataset with information on actors not previously studied analytically.
An open-source voice type classifier for child-centered daylong recordings
Authors: Marvin Lavechin, Ruben Bousbib, Hervé Bredin, Emmanuel Dupoux, Alejandrina Cristia
Date: 2020-05-26 00:00:00
Tasks: Language Acquisition, Vocal Bursts Type Prediction

Spontaneous conversations in real-world settings such as those found in child-centered recordings have been shown to be amongst the most challenging audio files to process. Nevertheless, building speech processing models handling such a wide variety of conditions would be particularly useful for language acquisition studies in which researchers are interested in the quantity and quality of the speech that children hear and produce, as well as for early diagnosis and measuring effects of remediation. In this paper, we present our approach to designing an open-source neural network to classify audio segments into vocalizations produced by the child wearing the recording device, vocalizations produced by other children, adult male speech, and adult female speech. To this end, we gathered diverse child-centered corpora which sums up to a total of 260 hours of recordings and covers 10 languages. Our model can be used as input for downstream tasks such as estimating the number of words produced by adult speakers, or the number of linguistic units produced by children. Our architecture combines SincNet filters with a stack of recurrent layers and outperforms by a large margin the state-of-the-art system, the Language ENvironment Analysis (LENA) that has been used in numerous child language studies.
Learning Invariant Representations for Reinforcement Learning without Reconstruction
Authors: Amy Zhang, Rowan McAllister, Roberto Calandra, Yarin Gal, Sergey Levine
Date: 2020-06-18 00:00:00
Tasks: Causal Inference, MuJoCo, reinforcement-learning, Reinforcement Learning, Reinforcement Learning (RL), Representation Learning

We study how representation learning can accelerate reinforcement learning from rich observations, such as images, without relying either on domain knowledge or pixel-reconstruction. Our goal is to learn representations that both provide for effective downstream control and invariance to task-irrelevant details. Bisimulation metrics quantify behavioral similarity between states in continuous MDPs, which we propose using to learn robust latent representations which encode only the task-relevant information from observations. Our method trains encoders such that distances in latent space equal bisimulation distances in state space. We demonstrate the effectiveness of our method at disregarding task-irrelevant information using modified visual MuJoCo tasks, where the background is replaced with moving distractors and natural videos, while achieving SOTA performance. We also test a first-person highway driving task where our method learns invariance to clouds, weather, and time of day. Finally, we provide generalization results drawn from properties of bisimulation metrics, and links to causal inference.
Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains
Authors: Matthew Tancik, Pratul P. Srinivasan, Ben Mildenhall, Sara Fridovich-Keil, Nithin Raghavan, Utkarsh Singhal, Ravi Ramamoorthi, Jonathan T. Barron, Ren Ng
Date: 2020-06-18 00:00:00
Proceeding: NeurIPS 2020 12

We show that passing input points through a simple Fourier feature mapping enables a multilayer perceptron (MLP) to learn high-frequency functions in low-dimensional problem domains. These results shed light on recent advances in computer vision and graphics that achieve state-of-the-art results by using MLPs to represent complex 3D objects and scenes. Using tools from the neural tangent kernel (NTK) literature, we show that a standard MLP fails to learn high frequencies both in theory and in practice. To overcome this spectral bias, we use a Fourier feature mapping to transform the effective NTK into a stationary kernel with a tunable bandwidth. We suggest an approach for selecting problem-specific Fourier features that greatly improves the performance of MLPs for low-dimensional regression tasks relevant to the computer vision and graphics communities.
Differentiable Augmentation for Data-Efficient GAN Training
Authors: Shengyu Zhao, Zhijian Liu, Ji Lin, Jun-Yan Zhu, Song Han
Date: 2020-06-18 00:00:00
Proceeding: NeurIPS 2020 12
Tasks: Image Generation

The performance of generative adversarial networks (GANs) heavily deteriorates given a limited amount of training data. This is mainly because the discriminator is memorizing the exact training set. To combat it, we propose Differentiable Augmentation (DiffAugment), a simple method that improves the data efficiency of GANs by imposing various types of differentiable augmentations on both real and fake samples. Previous attempts to directly augment the training data manipulate the distribution of real images, yielding little benefit; DiffAugment enables us to adopt the differentiable augmentation for the generated samples, effectively stabilizes training, and leads to better convergence. Experiments demonstrate consistent gains of our method over a variety of GAN architectures and loss functions for both unconditional and class-conditional generation. With DiffAugment, we achieve a state-of-the-art FID of 6.80 with an IS of 100.8 on ImageNet 128x128 and 2-4x reductions of FID given 1,000 images on FFHQ and LSUN. Furthermore, with only 20% training data, we can match the top performance on CIFAR-10 and CIFAR-100. Finally, our method can generate high-fidelity images using only 100 images without pre-training, while being on par with existing transfer learning algorithms. Code is available at https://github.com/mit-han-lab/data-efficient-gans.
Forward Prediction for Physical Reasoning
Authors: Rohit Girdhar, Laura Gustafson, Aaron Adcock, Laurens van der Maaten
Date: 2020-06-18 00:00:00
Tasks: Prediction, Visual Reasoning

Physical reasoning requires forward prediction: the ability to forecast what will happen next given some initial world state. We study the performance of state-of-the-art forward-prediction models in the complex physical-reasoning tasks of the PHYRE benchmark. We do so by incorporating models that operate on object or pixel-based representations of the world into simple physical-reasoning agents. We find that forward-prediction models can improve physical-reasoning performance, particularly on complex tasks that involve many objects. However, we also find that these improvements are contingent on the test tasks being small variations of train tasks, and that generalization to completely new task templates is challenging. Surprisingly, we observe that forward predictors with better pixel accuracy do not necessarily lead to better physical-reasoning performance.Nevertheless, our best models set a new state-of-the-art on the PHYRE benchmark.