pwc-archive/papers-with-abstracts huggingface dataset:
Normalisation de termes complexes par s\'emantique distributionnelle guid\'ee par une ontologie (Normalization of complex terms with distributional semantics guided by an ontology)
Authors: Arnaud Ferr{\'e}
Date: 2017-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2017 6

Nous proposons dans cet article une m{\'e}thode semi-supervis{\'e}e originale pour la cr{\'e}ation de repr{\'e}sentations vectorielles pour des termes (complexes ou non) dans un espace s{\'e}mantique pertinent pour une t{\^a}che de normalisation de termes d{\'e}signant des entit{\'e}s dans un corpus. Notre m{\'e}thode s{'}appuie en partie sur une approche de s{\'e}mantique distributionnelle, celle-ci g{\'e}n{\'e}rant des vecteurs initiaux pour chacun des termes extraits. Ces vecteurs sont alors plong{\'e}s dans un autre espace vectoriel construit {\`a} partir de la structure d{'}une ontologie. Pour la construction de ce second espace vectoriel ontologique, plusieurs m{\'e}thodes sont test{\'e}es et compar{\'e}es. Le plongement s{'}effectue par entra{\^\i}nement d{'}un mod{\`e}le lin{\'e}aire. Un calcul de distance (en utilisant la similarit{\'e} cosinus) est enfin effectu{\'e} pour d{\'e}terminer la proximit{\'e} entre vecteurs de termes et vecteurs de concepts de l{'}ontologie servant {\`a} la normalisation. La performance de cette m{\'e}thode a atteint un rang honorable, ouvrant d{'}encourageantes perspectives.
Annotation automatique des lieux dans l'oral spontan\'e transcrit (Automatic annotation of places in the transcribed oral)
Authors: H{\'e}l{\`e}ne Flamein
Date: 2017-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2017 6
Tasks: SENTER

Cet article a pour but de pr{\'e}senter une d{\'e}marche g{\'e}n{\'e}raliste pour l{'}annotation automatique des lieux dans l{'}oral transcrit. Cette annotation est effectu{\'e}e sur le corpus ESLO (Enqu{\^e}te SocioLinguistique {\`a} Orl{\'e}ans) et suppose une r{\'e}flexion sur les caract{\'e}ristiques propres {\`a} la d{\'e}signation d{'}un lieu {\`a} l{'}oral. Avant d{'}expliciter la m{\'e}thode employ{\'e}e pour traiter automatiquement notre corpus, nous pr{\'e}senterons le travail pr{\'e}paratoire de la constitution d{'}une convention d{'}annotation et d{'}un corpus de r{\'e}f{\'e}rence indispensable pour l{'}{\'e}valuation du syst{\`e}me.
Vers d\'etection automatique des affirmations inappropri\'ees dans les articles scientifiques (Towards automatic detection of inadequate claims in scientific articles)
Authors: Anna Koroleva
Date: 2017-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2017 6
Tasks: Articles

Dans cet article nous consid{\'e}rons l{'}apport du Traitement Automatique des Langues (TAL) au probl{\`e}me de la d{\'e}tection automatique de « l{'}embellissement » (en anglais « spin ») des r{\'e}sultats de recherche dans les publications scientifiques du domaine biom{\'e}dical. Nous cherchons {\`a} identifier les affirmations inappropri{\'e}es dans les articles, c{'}est-{\`a}-dire les affirmations o{\`u} l{'}effet positif du traitement {\'e}tudi{\'e} est plus grand que celui effectivement prouv{\'e} par la recherche. Apr{\`e}s une description du probl{\`e}me de point de vue du TAL, nous pr{\'e}sentons les pistes de recherche qui nous semblent les plus prometteuses pour automatiser la d{\'e}tection de l{'}embellissement. Ensuite nous analysons l{'}{\'e}tat de l{'}art sur les t{\^a}ches comparables et pr{\'e}sentons les premiers r{\'e}sultats obtenus dans notre projet avec des m{\'e}thodes de base (grammaires locales) pour la t{\^a}che de l{'}extraction des entit{\'e}s sp{\'e}cifiques {\`a} notre objectif.
Finding Missing Categories in Incomplete Utterances
Authors: Mehdi Mirzapour
Date: 2017-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2017 6

Finding Missing Categories in Incomplete Utterances This paper introduces an efficient algorithm (O(n4 )) for finding a missing category in an incomplete utterance by using unification technique as when learning categorial grammars, and dynamic programming as in Cocke{--}Younger{--}Kasami algorithm. Using syntax/semantic interface of categorial grammar, this work can be used for deriving possible semantic readings of an incomplete utterance. The paper illustrates the problem with running examples.
Expressions polylexicales verbales : \'etude de la variabilit\'e en corpus (Verbal MWEs : a corpus-based study of variability)
Authors: Caroline Pasquer
Date: 2017-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2017 6

La reconnaissance et le traitement appropri{\'e} des expressions polylexicales (EP) constituent un enjeu pour diff{\'e}rentes applications en traitement automatique des langues. Ces expressions sont susceptibles d{'}appara{\^\i}tre sous d{'}autres formes que leur forme canonique, d{'}o{\`u} l{'}int{\'e}r{\^e}t d{'}{\'e}tudier leur profil de variabilit{\'e}. Dans cet article, nous proposons de donner un aper{\c{c}}u de motifs de variation syntaxiques et/ou morphologiques d{'}apr{\`e}s un corpus de 4441 expressions polylexicales verbales (EPV) annot{\'e}es manuellement. L{'}objectif poursuivi est de g{\'e}n{\'e}rer automatiquement les diff{\'e}rentes variantes pour am{\'e}liorer la performance des techniques de traitement automatique des EPV.
Les TIC au service de l'enseignement : Cas de la formation et auto-formation de la langue amazighe (Information and Communication Technologies for Education: the case of amazigh language teaching and self-teaching)
Authors: Mounia Boumediane
Date: 2017-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2017 6
Tasks: Cultural Vocal Bursts Intensity Prediction

Le Centre des {\'E}tudes Informatiques, des Syst{\`e}mes d{'}Information et de Communication (CEISIC), issu de l{'}Institut Royal de la Culture Amazighe (IRCAM), f{\'e}d{\`e}re au sein du portail TALAM, un ensemble de ressources linguistiques informatis{\'e}es et d{'}outils de traitement de la langue d{\'e}di{\'e}es {\`a} l{'}amazighe. Dans ce qui suit, nous pr{\'e}senterons les diff{\'e}rentes ressources, applications et outils linguistiques d{\'e}velopp{\'e}s en langue amazighe pour accompagner toute personne, de diff{\'e}rente tranche d{'}{\^a}ge, assoiff{\'e}e d{'}apprendre la langue Amazighe.
Wordsurf : un outil pour naviguer dans un espace de « Word Embeddings » (Wordsurf : a tool to surf in a ``word embeddings'' space)
Authors: Philippe Suignard
Date: 2017-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2017 6
Tasks: Word Embeddings

Dans cet article, nous pr{\'e}sentons un outil appel{\'e} « Wordsurf » pour faciliter la phase d{'}exploration et de navigation dans un espace de « Word Embeddings » pr{\'e}alablement entrain{\'e} sur des corpus de textes avec Word2Vec.
Un outil pour la manipulation de ressources arbor\'ees (A tool for handling tree-based linguistic resources)
Authors: Yannick Parmentier
Date: 2017-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2017 6

Dans cet article, nous pr{\'e}sentons bri{\`e}vement pytreeview, un outil pour la manipulation de ressources arbor{\'e}es (corpus annot{\'e}s, grammaires {\'e}lectroniques). Initialement con{\c{c}}u pour assiter les utilisateurs linguistes dans leur t{\^a}che de d{\'e}veloppement de grammaires arborescentes, pytreeview a {\'e}t{\'e} {\'e}tendu pour permettre de manipuler des ressources arbor{\'e}es vari{\'e}es (grammaires mais aussi corpus aux formats FTB, PTB, CoNLL, Tiger), afin d{'}en extraire des informations utiles (par exemple la distribution des cadres de sous-cat{\'e}gorisation). pytreeview est actuellement utilis{\'e} dans le cadre d{'}un projet visant l{'}extraction semi-automatique de grammaires abstraites (m{\'e}ta-grammaires) {\`a} partir de corpus arbor{\'e}s.
Un \'etiqueteur en ligne du Fran\ccais (An online tagger for French)
Authors: Yoann Dupont, Cl{\'e}ment Plancq
Date: 2017-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2017 6
Tasks: Chunking

Nous proposons ici une interface en ligne pour {\'e}tiqueter des textes en fran{\c{c}}ais selon trois niveaux d{'}analyses : la morphosyntaxe, le chunking et la reconnaissance des entit{\'e}s nomm{\'e}es. L{'}interface se veut simple et les {\'e}tiquetages r{\'e}utilisables, ces derniers pouvant {\^e}tre export{\'e}s en diff{\'e}rents formats.
Apprentissage d'agents conversationnels pour la gestion de relations clients (Training chatbots for customer relation management)
Authors: Benoit Favre, Frederic Bechet, G{\'e}raldine Damnati, Delphine Charlet
Date: 2017-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2017 6
Tasks: Management, NER, Relation

Ce travail d{\'e}montre la faisabilit{\'e} d{'}entra{\^\i}ner des chatbots sur des traces de conversations dans le domaine de la relation client. Des syst{\`e}mes {\`a} base de mod{\`e}les de langage, de recherche d{'}information et de traduction sont compar{\'e}s pour la t{\^a}che.
Conception d'une solution de d\'etection d'\'ev\'enements bas\'ee sur Twitter (Design of a solution for event detection from Tweeter)
Authors: Christophe Servan, Catherine Kobus, Yongchao Deng, Cyril Touffet, Jungi Kim, In{\`e}s Kapp, Djamel Mostefa, Josep Crego, Aur{\'e}lien Coquard, Jean Senellart
Date: 2017-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2017 6
Tasks: Event Detection

Cet article pr{\'e}sente un syst{\`e}me d{'}alertes fond{\'e} sur la masse de donn{\'e}es issues de Tweeter. L{'}objectif de l{'}outil est de surveiller l{'}actualit{\'e}, autour de diff{\'e}rents domaines t{\'e}moin incluant les {\'e}v{\'e}nements sportifs ou les catastrophes naturelles. Cette surveillance est transmise {\`a} l{'}utilisateur sous forme d{'}une interface web contenant la liste d{'}{\'e}v{\'e}nements localis{\'e}s sur une carte.
Une plateforme de recommandation automatique d'emojis (An emoji recommandation platform)
Authors: Ga{\"e}l Guibon, Magalie Ochs, Patrice Bellot
Date: 2017-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2017 6

Nous pr{\'e}sentons une interface de recommandation d{'}emojis porteurs de sentiments qui utilise un mod{\`e}le de pr{\'e}diction appris sur des messages informels priv{\'e}s. Chacun {\'e}tant associ{\'e} {\`a} deux scores de polarit{\'e} pr{\'e}dits. Cette interface permet permet {\'e}galement d{'}enregistrer les choix de l{'}utilisateur pour confirmer ou infirmer la recommandation.
Un outil modulaire libre pour le r\'esum\'e automatique (A Modular Open Source Tool for Automatic Summarization)
Authors: Valentin Nyzam, Aur{\'e}lien Bossard
Date: 2017-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2017 6

automatique Valentin Nyzam Aur{\'e}lien Bossard LIASD, Universit{\'e} Paris 8 - IUT de Montreuil, 140 rue de la Nouvelle France, 93100 Montreuil, France valentin.nyzam@iut.univ-paris8.fr, aurelien.bossard@iut.univ-paris8.fr R {\'E}SUM{\'E} Nous proposons une d{\'e}monstration d{'}un outil modulaire et {\'e}volutif de r{\'e}sum{\'e} automatique qui impl{\'e}mente trois m{\'e}thodes d{'}extraction de phrases de l{'}{\'e}tat de l{'}art ainsi que sept m{\'e}thodes d{'}{\'e}valuation des phrases. L{'}outil est d{\'e}velopp{\'e} en Java et est d{'}ores-et-d{\'e}j{\`a} disponible sur la plateforme Github.
Uniformisation de corpus anglais annot\'es en sens (Unification of sense annotated English corpora for word sense disambiguation)
Authors: Lo{\"\i}c Vial, Benjamin Lecouteux, Didier Schwab
Date: 2017-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2017 6
Tasks: es-en, Word Sense Disambiguation

Pour la d{\'e}sambigu{\"\i}sation lexicale en anglais, on compte aujourd{'}hui une quinzaine de corpus annot{\'e}s en sens dans des formats souvent diff{\'e}rents et provenant de diff{\'e}rentes versions du Princeton WordNet. Nous pr{\'e}sentons un format pour uniformiser ces corpus, et nous fournissons {\`a} la communaut{\'e} l{'}ensemble des corpus annot{\'e}s en anglais port{\'e}s {\`a} notre connaissance avec des sens uniformis{\'e}s du Princeton WordNet 3.0, lorsque les droits le permettent et le code source pour construire l{'}ensemble des corpus {\`a} partir des donn{\'e}es originales.
R\'esumer automatiquement en ligne : d\'emonstration d'un service web de r\'esum\'e multidocument (Summarizing Automatically Online : We propose a demonstration of an automatic multidocument summarization web service)
Authors: Valentin Nyzam, Nathan Gatto, Aur{\'e}lien Bossard
Date: 2017-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2017 6

r automatiquement en ligne : d{\'e}monstration d{'}un service web de r{\'e}sum{\'e} multidocument Valentin Nyzam Nathan Gatto Aur{\'e}lien Bossard LIASD, Universit{\'e} Paris 8 - IUT de Montreuil, 140 rue de la Nouvelle France, 93100 Montreuil, France valentin.nyzam@iut.univ-paris8.fr, nathan.gatto@free.fr, aurelien.bossard@iut.univ-paris8.fr R {\'E}SUM{\'E} Nous proposons une d{\'e}monstration d{'}un webservice de r{\'e}sum{\'e} automatique multidocument. Ce webservice s{'}appuie sur un outil ouvert qui impl{\'e}mente plusieurs algorithmes reconnus de r{\'e}sum{\'e} automatique, et permet de r{\'e}sumer des documents en utilisant des configurations diff{\'e}rentes.
Traitement automatique de la langue biom\'edicale au LIMSI (Biomedical language processing at LIMSI)
Authors: Christopher Norman, Cyril Grouin, Thomas Lavergne, Aur{\'e}lie N{\'e}v{\'e}ol, Pierre Zweigenbaum
Date: 2017-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2017 6
Tasks: Articles

Nous proposons des d{\'e}monstrations de trois outils d{\'e}velopp{\'e}s par le LIMSI en traitement automatique des langues appliqu{\'e} au domaine biom{\'e}dical : la d{\'e}tection de concepts m{\'e}dicaux dans des textes courts, la cat{\'e}gorisation d{'}articles scientifiques pour l{'}assistance {\`a} l{'}{\'e}criture de revues syst{\'e}matiques, et l{'}anonymisation de textes cliniques.
Proxem Studio : la plate-forme d'analyse s\'emantique qui transforme l'utilisateur m\'etier en text scientist (ProxemStudio: the semantic analysis platform that turns the business user into a text scientist)
Authors: Francois-Regis Chaumartin
Date: 2017-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2017 6

Proxem {\'e}dite depuis 2011 une plate-forme d{'}analyse s{\'e}mantique multilingue utilis{\'e} en entreprise pour de multiples usages : relation clients, ressources humaines, veille strat{\'e}gique... La version la plus r{\'e}cente du logiciel, lanc{\'e}e en mars 2017, l{\`e}ve le principal goulet d{'}{\'e}tranglement des outils classiques de text mining : un utilisateur m{\'e}tier devient enfin autonome pour d{\'e}finir lui-m{\^e}me les ressources linguistiques n{\'e}cessaires {\`a} l{'}analyse s{\'e}mantique d{'}un corpus donn{\'e}. Une fois le corpus charg{\'e}, la plate-forme en extrait une terminologie et organise les termes en regroupements hi{\'e}rarchis{\'e}s de proto-concepts ; l{'}utilisateur n{'}a plus qu{'}{\`a} valider ces concepts au niveau de granularit{\'e} qui lui semble pertinent pour constituer un extracteur d{'}entit{\'e}s nomm{\'e}es de granularit{\'e} fine, adapt{\'e} au corpus {\`a} traiter, avec un rappel {\'e}lev{\'e} gr{\^a}ce {\`a} l{'}identification automatique des quasisynonymes. La plate-forme d{\'e}tecte aussi dans ces termes les homonymes potentiels et propose {\`a} l{'}utilisateur des contextes de d{\'e}sambigu{\"\i}sation, fournissant ainsi une bonne pr{\'e}cision.
Translitt\'eration automatique pour une paire de langues peu dot\'ee ()
Authors: Ngoc Tan Le, Fatiha Sadat, Lucie M{\'e}nard
Date: 2017-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2017 6

La translitt{\'e}ration convertit phon{\'e}tiquement les mots dans une langue source (i.e. fran{\c{c}}ais) en mots {\'e}quivalents dans une langue cible (i.e. vietnamien). Cette conversion n{\'e}cessite un nombre consid{\'e}rable de r{\`e}gles d{\'e}finies par les experts linguistes pour d{\'e}terminer comment les phon{\`e}mes sont align{\'e}s ainsi que prendre en compte le syst{\`e}me de phonologie de la langue cible. La probl{\'e}matique pour les paires de langues peu dot{\'e}es lie {\`a} la p{\'e}nurie des ressources linguistiques. Dans ce travail de recherche, nous pr{\'e}sentons une d{\'e}monstration de conversion de graph{\`e}me en phon{\`e}me pour pallier au probl{\`e}me de translitt{\'e}ration pour une paire de langues peu dot{\'e}e, avec une application sur fran{\c{c}}ais-vietnamien. Notre syst{\`e}me n{\'e}cessite un petit corpus d{'}apprentissage phon{\'e}tique bilingue. Nous avons obtenu des r{\'e}sultats prometteurs, avec un gain de +4,40{\%} de score BLEU, par rapport au syst{\`e}me de base utilisant l{'}approche de traduction automatique statistique.
Motor, un outil de segmentation accessible en ligne (Motor, a segmentation tool accessible online)
Authors: Guillaume de Mal{\'e}zieux, Jennifer Lewis-Wong, Vincent Berment
Date: 2017-06-01 00:00:00
Proceeding: JEPTALNRECITAL 2017 6
Tasks: Segmentation

Dans cette d{\'e}monstration, nous montrons le fonctionnement des segmenteurs disponibles en ligne pour diverses langues (birman, khmer, lao, tha{\"\i} et tib{\'e}tain) et r{\'e}alis{\'e}s avec l{'}outil Motor.
A System for Induction of Oblique Decision Trees
Authors: S. K. Murthy, S. Kasif, S. Salzberg
Date: 1994-08-01 00:00:00

This article describes a new system for induction of oblique decision trees. This system, OC1, combines deterministic hill-climbing with two forms of randomization to find a good oblique split (in the form of a hyperplane) at each node of a decision tree. Oblique decision tree methods are tuned especially for domains in which the attributes are numeric, although they can be adapted to symbolic or mixed symbolic/numeric attributes. We present extensive empirical studies, using both real and artificial data, that analyze OC1's ability to construct oblique trees that are smaller and more accurate than their axis-parallel counterparts. We also examine the benefits of randomization for the construction of oblique decision trees.
Causality in cognitive neuroscience: concepts, challenges, and distributional robustness
Authors: Sebastian Weichwald, Jonas Peters
Date: 2020-02-14 00:00:00
Tasks: Causal Inference

While probabilistic models describe the dependence structure between observed variables, causal models go one step further: they predict, for example, how cognitive functions are affected by external interventions that perturb neuronal activity. In this review and perspective article, we introduce the concept of causality in the context of cognitive neuroscience and review existing methods for inferring causal relationships from data. Causal inference is an ambitious task that is particularly challenging in cognitive neuroscience. We discuss two difficulties in more detail: the scarcity of interventional data and the challenge of finding the right variables. We argue for distributional robustness as a guiding principle to tackle these problems. Robustness (or invariance) is a fundamental principle underlying causal methodology. A causal model of a target variable generalises across environments or subjects as long as these environments leave the causal mechanisms intact. Consequently, if a candidate model does not generalise, then either it does not consist of the target variable's causes or the underlying variables do not represent the correct granularity of the problem. In this sense, assessing generalisability may be useful when defining relevant variables and can be used to partially compensate for the lack of interventional data.
A survey and an extensive evaluation of popular audio declipping methods
Authors: Pavel Záviška, Pavel Rajmic, Alexey Ozerov, Lucas Rencker
Date: 2020-07-15 00:00:00
Tasks: Audio declipping

Dynamic range limitations in signal processing often lead to clipping, or saturation, in signals. The task of audio declipping is estimating the original audio signal, given its clipped measurements, and has attracted much interest in recent years. Audio declipping algorithms often make assumptions about the underlying signal, such as sparsity or low-rankness, and about the measurement system. In this paper, we provide an extensive review of audio declipping algorithms proposed in the literature. For each algorithm, we present assumptions that are made about the audio signal, the modeling domain, and the optimization algorithm. Furthermore, we provide an extensive numerical evaluation of popular declipping algorithms, on real audio data. We evaluate each algorithm in terms of the Signal-to-Distortion Ratio, and also using perceptual metrics of sound quality. The article is accompanied by a repository containing the evaluated methods.
Char-Net: A Character-Aware Neural Network for Distorted Scene Text Recognition
Authors: Wei Liu, Chaofeng Chen, Kwan-Yee K. Wong
Date: 2018-04-27 00:00:00
Proceeding: AAAI 2018 4
Tasks: Decoder, Scene Text Recognition

In this paper, we present a Character-Aware Neural Network
(Char-Net) for recognizing distorted scene text. Our CharNet is composed of a word-level encoder, a character-level
encoder, and a LSTM-based decoder. Unlike previous work
which employed a global spatial transformer network to rectify the entire distorted text image, we take an approach of
detecting and rectifying individual characters. To this end, we
introduce a novel hierarchical attention mechanism (HAM)
which consists of a recurrent RoIWarp layer and a characterlevel attention layer. The recurrent RoIWarp layer sequentially extracts a feature region corresponding to a character from the feature map produced by the word-level encoder, and feeds it to the character-level encoder which removes the distortion of the character through a simple spatial transformer and further encodes the character region. The
character-level attention layer then attends to the most relevant features of the feature map produced by the characterlevel encoder and composes a context vector, which is finally
fed to the LSTM-based decoder for decoding. This approach
of adopting a simple local transformation to model the distortion of individual characters not only results in an improved
efficiency, but can also handle different types of distortion
that are hard, if not impossible, to be modelled by a single
global transformation. Experiments have been conducted on
six public benchmark datasets. Our results show that CharNet can achieve state-of-the-art performance on all the benchmarks, especially on the IC-IST which contains scene text
with large distortion. Code will be made available.
Presentation and Analysis of a Multimodal Dataset for Grounded Language Learning
Authors: Patrick Jenkins, Rishabh Sachdeva, Gaoussou Youssouf Kebe, Padraig Higgins, Kasra Darvish, Edward Raff, Don Engel, John Winder, Francis Ferraro, Cynthia Matuszek
Date: 2020-07-29 00:00:00
Tasks: Grounded language learning, Language Acquisition

Grounded language acquisition -- learning how language-based interactions refer to the world around them -- is amajor area of research in robotics, NLP, and HCI. In practice the data used for learning consists almost entirely of textual descriptions, which tend to be cleaner, clearer, and more grammatical than actual human interactions. In this work, we present the Grounded Language Dataset (GoLD), a multimodal dataset of common household objects described by people using either spoken or written language. We analyze the differences and present an experiment showing how the different modalities affect language learning from human in-put. This will enable researchers studying the intersection of robotics, NLP, and HCI to better investigate how the multiple modalities of image, text, and speech interact, as well as show differences in the vernacular of these modalities impact results.