# Variación pragmática y expresividad negativa: análisis multimodal en datos de doblaje

Leticia Rebollo Couto, Albert Rilliard

<figure><img src="image_1.png" /></figure>

## To cite this version:

Leticia Rebollo Couto, Albert Rilliard. Variación pragmática y expresividad negativa: análisis multi-modal en datos de doblaje. LingCor2024: Workshop on Spoken Corpus Linguistics, Jul 2024, Vienna, Austria. . hal-04874470

HAL Id: hal-04874470

https://hal.science/hal-04874470v1

Submitted on 8 Jan 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>
# Variación Pragmática y Expresividad Negativa:
## Análisis Multimodal en Datos de Doblaje

<figure><img src="image_3.png" /></figure>

UNIVERSIDADE FEDERAL
DO RIO DE JANEIRO

Leticia Rebollo Couto¹ — Albert Rilliard²
¹Universidade Federal do Rio de Janeiro, Brasil
²Université Paris Saclay, CNRS, LISN, France

<figure><img src="image_4.png" /></figure>

LABORATOIRE INTERDISCIPLINAIRE
DES SCIENCES DU NUMÉRIQUE

### • Resumo

El doblaje es una modalidad de la traducción audiovisual que nos permite observar la dimensión multimodal de actos de habla, considerando estrategias verbales (lingüísticas) y no verbales (auditivas y visuales) en la realización de actos de habla expresivos. La expresividad negativa, en críticas y desacuerdos, se puede presentar intensificada o atenuada a través de diferentes estrategias visuales, auditivas, léxicas y discursivas. En este trabajo nos proponemos analizar comparativamente las estrategias de intensificación o atenuación de la expresividad negativa (en actos descorteses de críticas y desacuerdos) a partir de un corpus de animación, doblado en tres variedades del español (argentino, mexicano y español).

Los actos expresivos negativos como críticas y desacuerdos se analizan desde el modelo de las emociones de Fontaine et alii (2007), para quienes la función expresiva se organiza a partir de grados en cuatro dimensiones: valencia, activación, dominancia e imprecisión. El concepto de evaluación y alineamiento conversacional divergente (Kiesling, 2022), desde una perspectiva socio interaccionista también es útil para analizar la toma de posición de los hablantes (stancetaking) en críticas y desacuerdos, con sus usos variables codificados lingüísticamente en distintos grados de convencionalización simbólica y sus respectivas traducciones en diálogos de animación.

### • Objectivos

1. Establecer un corpus paralelo en Doblaje para Animación, comparando tres variedades del español (España, Argentina, México);

2. Discutir la variación pragmática de actos de habla ofensivos considerando elementos verbales y no verbales (prosodia auditiva y visual);

3. Establecer repertorios comparados de funciones y estrategias conversacionales en la enunciación de actos de habla agresivos.

### • Métodos

#### • Filme:

Metegol (Campanella et al., 2013)
Producción en español argentino (EA),
Doblada al español latino (EL) para su distribución americana,
Doblada al español español (EE) para su distribución europea
- en inglés inglés – fútbol más popular en Inglaterra que EEUU

<figure><img src="image_5.png" /></figure>

<figure><img src="image_6.png" /></figure>

<figure><img src="image_7.png" /></figure>

Audio transcrito automáticamente utilizando el framework WhisperX (Bain et al., 2023), basado no programa de transcripción automática Whisper (Radford et al., 2023)

<figure><img src="image_8.png" /></figure>

doblaje

<figure><img src="image_9.png" /><figcaption>español
argentino</figcaption></figure>

doblaje

<figure><img src="image_10.png" /></figure>

doblaje

<figure><img src="image_11.png" /><figcaption>español
español</figcaption></figure>

doblaje

• TextGrid de Praat (Boersma and Weenink, 2023) utilizados por corregir la transcripción y atribuir funciones y estrategias a cada acto de habla

### • Atos de habla descortés o agresivos

• CURSE:
Expresiones que no se refieren al interlocutor, sino a la situación, a un objeto inanimado o a una acción (expletivos);

• INJUNCTION:
Expresiones que manifiestan la proyección futura de acciones por parte del interlocutor (acciones desagradables o humillantes para el interlocutor);

• INSULT:
Expresan hostilidad y agresión hacia el interlocutor;

• THREAT:
Acto comisivo, expresiones que comprometen en un momento posterior al de la enunciación la integridad física o moral del interlocutor

• CRÍTICA:
Expresan desacuerdo respecto a acciones del interlocutor;

• HUMOR:
Tensionan la imagen social del interlocutor con burla, ironía o sarcasmo;

• REFUSAL:
Rechazo de un acto directivo, petición de acción por parte del interlocutor (peticiones, ofrecimientos, sugerencias, órdenes, preguntas).

### • Anotación de estrategias expresivas

• Morfosintaxis (tiempo/ modo / aspecto/ imperativo/ formas de tratamiento pronominales y verbales / formas de tratamiento personales e impersonales, negación)

• Sintaxis y Jerarquía de la Información (estructura argumental, dativo y sistema pronominal, topicalización, focalización, marcación del sujeto)

• Pragmática (actos de habla expresivos, actitudes, stance, modalidad)

• Prosodia (entonación, calidad de voz, titubeos, repeticiones, prosódia visual, poética, risas, golpes, violencia física, modalidad de enunciado)

### • Ejemplos

<table><thead><tr><th></th><th>Inglés Inglés</th><th>Español Argentino</th><th>Español Mexicano</th><th>Español Español</th></tr></thead><tbody><tr><th scope="row">Curse</th><td>I hate this damned town! I hate it!</td><td>iMaldito pueblo, lo odio, lo odio!</td><td>iMaldito pueblo!</td><td>iMaldito pueblo!</td></tr><tr><th scope="row">Injunction</th><td>Inglés Inglés<br>Yeah! Alright!</td><td>Español Argentino<br>iTomá! iTomá!<br>[GRITOS]</td><td>Español Mexicano<br>iToma! iToma!</td><td>Español Español<br>iToma! iToma!</td></tr><tr><th scope="row">Insult</th><td>Inglés Inglés<br>Poor, chicken.<br>Do you want your mother hen?</td><td>Español Argentino<br>iAy, pobrecito,<br>Amadeo, mi pollito!</td><td>Español Mexicano<br>iAy, pobrecito<br>Amadeo: ¡Mi pollito!</td><td>Español Español<br>iOh, pobrecito!<br>Amadeo, mi pollito!</td></tr><tr><th scope="row">Threat</th><td>Inglés Inglés<br>If you're that good, play me!</td><td>Español Argentino<br>Si sos tan bueno, jugá uno conmigo.</td><td>Español Mexicano<br>Si eres tan bueno, juega uno conmigo.</td><td>Español Español<br>Si eres tan bueno, echa una conmigo.</td></tr></tbody></table>

<table><thead><tr><th></th><th>Inglés Inglés</th><th>Español Argentino</th><th>Español Mexicano</th><th>Español Español</th></tr></thead><tbody><tr><th scope="row">Humor:</th><td>Aw, he's scared!</td><td>Ay, tiene miedo.</td><td>Ay, tiene mello.</td><td>Oh, le da miedito.</td></tr><tr><th scope="row">Ironia</th><td>Inglés Inglés<br>Are you the famous Foosball Wizard?</td><td>Español Argentino<br>¿Vos sos el famoso crack del fútbol de juguete?</td><td>Español Mexicano<br>¿Tú eres el famoso crack del fútbol de juguete?</td><td>Español Español<br>¿No eres el famoso crack del fútbol de juguete?</td></tr><tr><th scope="row">Burla</th><td>Inglés Inglés<br>He's bashful. Poor baby!</td><td>Español Argentino<br>Ah, es mudito el crack, pobrecito, le da vergüenza.</td><td>Español Mexicano<br>Ay, es mudito el crack, pobrecito, le da vergüenza.</td><td>Español Español<br>Ah, es mudito. ¡Pobre niño! ¡Le da vergüenza!</td></tr></tbody></table>

<table><thead><tr><th></th><th>Inglés Inglés</th><th>Español Argentino</th><th>Español Mexicano</th><th>Español Español</th></tr></thead><tbody><tr><th scope="row">Refusal</th><td>No, I won't... I got a thousand things going. My head is phew....</td><td>No, yo na-nada, estoy en mil cosas, ¿viste? Estoy con la cabeza que...</td><td>Estoy en... en mil cosas, ¿sabes? Estoy con la cabeza que...</td><td>No, no, yo nada. Estoy en mil cosas, ¿sabes? Tengo la cabeza que...</td></tr></tbody></table>

<table><thead><tr><th></th><th>Inglés Inglés</th><th>Español Argentino</th><th>Español Mexicano</th><th>Español Español</th></tr></thead><tbody><tr><th scope="row">HUMOR:</th><td>Refusal</td><td>Estoy en...</td><td>Estoy en mil cosas, ¿sabes?</td><td>Estoy en mil cosas, ¿sabes?</td></tr></tbody></table>

### • Resultados

<table><thead><tr><th rowspan="2">CRITICA</th><th colspan="2">INJUNCTION</th><th colspan="2">REFUSAL</th></tr><tr><th>EA</th><th>EE</th><th>EA</th><th>EE</th></tr></thead><tbody><tr><td>VQ (15)</td><td>VQ (16)</td><td>VQ (15)</td><td>SARCASMO (16)</td><td>SARCASMO (16)</td></tr><tr><td>MD (9)</td><td>SP (10)</td><td>MD (8)</td><td>BURLA (11)</td><td>BURLA (13)</td></tr><tr><td>CONSTRUÇÃO (8)</td><td>MD (9)</td><td>SP (8)</td><td>MD (9)</td><td>IRONIA (9)</td></tr><tr><td>SP (8)</td><td>PREGUNTA (8)</td><td>PREGUNTA (7)</td><td>IRONIA (7)</td><td>VQ (9)</td></tr><tr><td>PREGUNTA (7)</td><td>REPETIÇÃO (7)</td><td>REPETIÇÃO (7)</td><td>DIMINUTIVO (5)</td><td>MD (9)</td></tr><tr><td>REPETIÇÃO (7)</td><td>ADJETIVAÇÃO (6)</td><td>ADJETIVAÇÃO (6)</td><td>FV (4)</td><td>DIMINUTIVO (6)</td></tr></tbody></table>

<table><thead><tr><th></th><th>CRITICA</th><th>EA</th><th>EE</th><th>EL</th><th>HUMOR</th><th>EA</th><th>EE</th><th>EL</th></tr></thead><tbody><tr><td>VQ (15)</td><td>EE</td><td>EE</td><td>EL</td><td>SARCASMO (16)</td><td>SARCASMO (16)</td><td>SARCASMO (16)</td><td>SARCASMO (16)</td></tr><tr><td>MD (9)</td><td>MD (8)</td><td>MD (8)</td><td>BURLA (11)</td><td>BURLA (13)</td><td>BURLA (11)</td><td>BURLA (11)</td><td>BURLA (11)</td></tr><tr><td>CONSTRUÇÃO (8)</td><td>MD (9)</td><td>SP (8)</td><td>MD (9)</td><td>IRONIA (9)</td><td>DIMINUTIVO (7)</td><td>DIMINUTIVO (7)</td><td>DIMINUTIVO (7)</td></tr><tr><td>SP (8)</td><td>PREGUNTA (8)</td><td>PREGUNTA (7)</td><td>IRONIA (7)</td><td>VQ (9)</td><td>MD (7)</td><td>IRONIA (6)</td><td>MD (7)</td></tr><tr><td>PREGUNTA (7)</td><td>REPETIÇÃO (7)</td><td>REPETIÇÃO (7)</td><td>DIMINUTIVO (5)</td><td>MD (9)</td><td>MD (9)</td><td>DIMINUTIVO (6)</td><td>DIMINUTIVO (6)</td></tr><tr><td>REPETIÇÃO (7)</td><td>ADJETIVAÇÃO (6)</td><td>ADJETIVAÇÃO (6)</td><td>FV (4)</td><td>DIMINUTIVO (6)</td><td>PREGUNTA (5)</td><td>PREGUNTA (5)</td><td>PREGUNTA (5)</td></tr></tbody></table>

### • Uso de da calidad de voz Refusal:

• Alargamiento, Tensión vocal, mandíbula cerrada

#### • Crítica:

• Tensión vocal, baja intensidad, creaky voice, susuro, ensordecimiento
Injunction Directriz:

• Alargamiento, Tensión vocal, Mandíbula cerrada

#### • Humor:

• sonrisa, estrechamiento vocal, protrusión, sílaba acentuada

### • Bibliografía

Bain, M., Huh, J., Han, T., & Zisserman, A. (2023). WhisperX: Time-Accurate Speech Transcription of Long-Form Audio. INTERSPEECH 2023.

Boersma, P., & Weenink, D. (2023). Praat: Doing phonetics by computer [Computer program]. Version 6.3.20 (6.3.20)

Buffagni, C. (2024). Aggressive speech acts or expressions of friendliness? Translating taboo words in Faith Akins' Soul Kitchen (2009) into Italian subtitles. Cadernos de Tradução, 44 (special issue 2)

Campanella, J. J., Rago, P., Rodríguez, M., Cipols, E., & Morrison, M. (Directores). (2013, julio 18). Metegol [Video recording]. Fontaine, J. R. J., Scherer, K. R., Roesch, E. B., & Ellsworth, P. C. (2007). The World of Emotions is not Two-Dimensional.

Psychological Science, 18(12), 1050–1057. https://doi.org/10.1111/j.1467-9280.2007.02024.x

Kiesling, S. F. (2022). Stance and Stancetaking. Annual Review of Linguistics, 8(1), 409–426. https://doi.org/10.1146/annurev-linguistics-031120-121256

Radford, A., Kim, J. W., Xu, T., Brockman, G., Mcleavey, C., & Sutskever, I. (2023). Robust Speech Recognition via Large-Scale Weak Supervision. En A. Krause, E. Brunskill, K. Cho, B. Engelhardt, S. Sabato, & J. Scarlett (Eds.), Proceedings of the 40th International Conference on Machine Learning (Vol. 202, pp. 28492–28518). PMLR. https://proceedings.mlr.press/v202/radford23a.html