Shared mechanisms in situated language production : a cross-linguistic comparison between Portuguese and English

This thesis researches visually situated language production, with a focus on the production of referring expressions and a cross-linguistic approach that compares data for European Portuguese with data for English. Previous literature in visually situated language has studied the production of referring expressions with a basis on the idea of referential accessibility (e.g. Ariel, 2014; Gundel, Hedberg, & Zacharski, 1993): reduced or more informative referring expressions reflect referents that are more or less cognitively accessible. Based on this idea, there has been a search for the factors that influence referential accessibility. In this thesis, I focus on three factors that have been previously studied in visually situated language: referent animacy, the level of information of the visual context, and the presence of referential competition. Effects have been found in the production of referring expressions for all three of these factors (Arnold & Griffin, 2007; Clarke, Elsner, & Rohde, 2013; Fukumura & Gompel, 2011; Koolen, Krahmer, & Swerts, 2015), but they have been studied in isolation, and with different aspects of the referring expressions under analysis. Through a cued language production experiment, I test the impact of referent animacy, the level of information of the visual context (both as independent variables), and the presence of referring competition (as a a constant and integral property of the stimuli) on the description of images, and on the referring expressions produced as part of the descriptions. I compare the data for European Portuguese obtained in this experiment with the data for English obtained in the experiment of Coco and Keller (2015). Referent animacy had the largest impact in the results, with animate referents leading to more quickly initiated descriptions that are more verbal in their structure, and, for Portuguese, in a greater number of reduced referring expressions. Portuguese and English also differed in description structure, with Portuguese participants using a higher degree of structural information (through the use of Prepositions and Conjunctions), while the English participants make more use of referential information (with an increased proportion of Nouns and Pronouns). No effects of visual information were found, maybe due to the guided nature of the task, and the specific tested variables (that differ from previous literature which looked at the impact of visual context information on referring expression production). Overall, the results support the high impact of referent animacy on both referring expression production and on the surrounding linguistic structures that has been previously found in literature, while showing that this impact is partially influenced by specific properties of the used language. Palavras-chave: visually situated language production, animacy, reference, referential accessibility, cross-linguistic comparison, psycholinguistics Resumo Extenso Esta dissertação investiga a produção de linguagem em contexto visualmente situado, com um foco na produção de expressões referenciais e uma abordagem multi-linguística que compara dados do Português Europeu com dados do Inglês. Trabalhos como Griffin e Bock (2000) demonstraram que existe uma relação forte entre visão e produção de linguagem, e em particular a produção de expressões referenciais: a ordem em que as entidades representadas numa imagem são vistas prediz a ordem em que são referidas, e existe um intervalo previsível de tempo entre visualização e referência – o chamado eye-voice span. Desde então que o campo de produção de linguagem visualmente situada (visually situated language production) tem usado esta abordagem multi-modal que cruza conhecimento e ferramentas de cognição visual e psicolinguística para a investigação de vários tópicos de produção de linguagem. Como um desses tópicos, a investigação sobre a produção de expressões referenciais continua ativa. Muita dessa investigação tem tido como base a ideia de acessibilidade na escolha de produções referenciais, com base em modelos de produção de expressões referenciais como os de Ariel (2014), e de Gundel, Hedberg e Zacharski (1993). Segundo esta ideia, a escolha de formas de referência mais descritivas ("a senhora") ou mais reduzidas ("ela") está ligada à acessibilidade cognitiva do referente. Um referente mais cognitivamente acessível é referido com formas mais reduzidas, enquanto que os referentes de mais difícil acesso são referidos com expressões mais longas e informativas. A questão que se coloca é quais são os fatores que fazem um referente mais ou menos acessível. Com uma experiência de produção de linguagem guiada, em que os participantes descrevem imagens precedidas de uma palavra referente a entidades nelas representadas, estudo o impacto de três potenciais fatores de influência de acessibilidade referencial: a animacidade do referente, o nível de informação do contexto visual e a presença de referentes em competição (este último não enquanto variável dependente, mas como uma constante nos estímulos apresentados). Literatura na área da produção de linguagem visualmente situada encontrou efeitos diversos destes fatores na produção de expressões referenciais (e.g. Arnold & Griffin, 2007; Clarke et al., 2013; Fukumura & Gompel, 2011), mas estudou estes fatores em isolação e testando diferentes aspetos das expressões referenciais. Neste estudo, coloco os três fatores em interação e testo o seu efeito em três aspetos diferentes da produção de referências: a constituição lexical das descrições produzidas pelos participantes (medida a nível referencial (através da proporção de Nomes e Pronomes), estrutural (através da proporção de Conjunções e Preposições) e verbal (que incorpora tanto informação referencial como estrutural, através da proporção de verbos); a forma das expressões referenciais usadas em referência à segunda entidade-alvo referida em cada descrição (que categoriza ou como formas mais longas, nomimais, ou como formas mais reduzidas, pronominais); e o tempo de planeamento de discurso dos participantes (o intervalo de tempo entre as imagens serem apresentadas e começarem a ser descritas). Faço também uma comparação dos dados obtidos para o Português Europeu com esta experiência, com aqueles obtidos na experiência de Coco e Keller (2015) para o Inglês. Deste modo, testo o impacto de propriedades específicas destas duas línguas na produção das descrições em geral e de expressões referenciais em específico. Os resultados encontrados mostram que, tal como acontece na literatura, a animacidade do referente tem um grande impacto, com referentes animados resultando em descrições mais verbais, em fases de planeamento da descrição mais curtas, e, para o Português, num maior número de expressões referenciais reduzidas. As diferenças entre o Português e o Inglês são por sua vez mais pronunciadas na constituição lexical das descrições: os falantes do Português produzem descrições estruturalmente mais ricas, enquanto os falantes do Inglês produzem descrições com uma maior proporção de informação referencial. Ao contrário do que acontece em literatura prévia (e.g. Clarke et al., 2013; Koolen et al., 2015), o nível de informação visual da imagem não tem nenhum efeito significativo em nenhuma das análises, possivelmente devido a diferenças relativas às variáveis testadas, e à tarefa experimental utilizada. De uma forma geral, os resultados mostram que a animacidade do referente tem impacto a vários níveis na produção de linguagem visualmente situada, e que esse impacto é parcialmente influenciado pelas propriedades estruturais da língua em uso.