[en] In the realm of second language acquisition of pronunciation, perception-based phonetic training has been shown to be effective in improving L2 perception and production. By incorporating the visual modality of the speaker's face, traditional perception-based training which involves audio input alone can be further enhanced (e.g., Hazan et al., 2005). However, incorporating an additional visual layer, such as hand gestures encoding phonetic information, has not consistently shown benefits for learning L2 sounds (e.g., Hoetjes & van Maastricht, 2020). This doctoral dissertation aims to assess the potential benefits of incorporating hand gestures in a multimodal phonetic training approach. Specifically, we assess the role of congruency between different modalities by selecting hand gestures that represent target phonetic information in both the acoustic (Study 1) and articulatory (Studies 2 and 3) domains. Three between-subject studies were conducted involving a total of 149 native Catalan–Spanish bilinguals. Study 1 focused on Mandarin aspirated consonants (plosives and affricates). While a fist-to-open-hand gesture appropriately represented the aspiration acoustic feature of the aspirated plosives, it failed to capture the longer frication duration of the aspirated affricates. The results indicated that hand gestures could facilitate the production of L2 consonants when they appropriately match the target acoustic feature. Studies 2 and 3 focused on English vowel pairs /æ/-/ʌ/ and /i/-/ɪ/, respectively. Hand gestures were designed to encode articulatory features with varying visual accessibility, creating a contrastive condition for between-modality congruency. That is, the lip hand gesture for /æ/-/ʌ/ appropriately matched the visible lip aperture, while the lip hand gesture for /i/-/ɪ/ showed less appropriateness as the feature was visually non-salient. The tongue hand gestures for both vowel pairs did not align with the visible articulation. Study 2 revealed that hand gestures encoding articulatory features enhanced the production of L2 English vowels /æ/-/ʌ/ only when the gesture aligned with the visible articulation. Study 3 indicated that hand gestures encoding non-visible or visually non-salient articulatory features had limited effects on learning. In addition, all three training studies consistently demonstrated that hand gestures could not facilitate the perception of L2 speech sounds. All in all, this dissertation highlights the benefits of incorporating hand gestures into multimodal phonetic training for improving L2 pronunciation, given the hand gestures appropriately represent the target sounds. The findings contribute to the understanding of embodied learning in the context of L2 segment learning. Furthermore, they enhance the multimodal enrichment framework (Mathias & von Kriegstein, 2023) by emphasizing the importance of the between-modality congruence for successful multimodal integration, and expand the understanding of how humans can optimally learn from multiple modalities that are available to them. From a pedagogical perspective, this dissertation underscores the significance of carefully selecting appropriate hand gestures and integrating them into L2 pronunciation instruction to optimize learning outcomes.

[es] En el ámbito de la adquisición de la pronunciación de una segunda lengua, se ha demostrado que el entrenamiento fonético basado en la percepción de sonidos es eficaz para mejorar la percepción y producción de los sonidos por parte de los estudiantes. Se ha visto que, si se incorpora la modalidad visual en el entrenamiento, se pueden mejorar aún más los efectos del entrenamiento fonético tradicional basado en la percepción de sonidos auditivos (e.g., Hazan et al., 2005). Sin embargo, no se ha mostrado de forma sistemática que la incorporación de una capa visual adicional, como los gestos manuales que codifican información fonética a través de entrenamientos multimodales, ayude a aprender los sonidos de la L2 (e.g., Hoetjes & van Maastricht, 2020). Esta tesis doctoral tiene como objetivo evaluar los potenciales beneficios de incorporar gestos manuales en un entrenamiento fonético multimodal. La tesis se centra en evaluar el papel de la coherencia entre modalidades (e.g., la modalidad gestual y la fonética), concretamente evaluando la efectividad de diferentes gestos manuales que representan información fonética, tanto en el dominio acústico (Estudio 1) como en el articulatorio (Estudios 2 y 3). La tesis incluye tres estudios experimentales de entrenamiento fonético multimodal donde participaron un total de 149 hablantes bilingües catalán–castellano. El estudio 1 estudia el aprendizaje de las consonantes aspiradas del mandarín (oclusivas y africadas). Si bien un gesto con la mano abierta representa de forma apropiada el rasgo acústico de la aspiración de las oclusivas, este gesto no logró mejorar el rasgo de mayor duración de la fricción de las africadas aspiradas. Los resultados del estudio nos indican que los gestos manuales pueden facilitar el aprendizaje de la pronunciación de nuevas consonantes de una L2 cuando son totalmente coherentes con las características acústicas de los sonidos a aprender. Los estudios 2 y 3 se centran en el aprendizaje de las parejas de vocales inglesas /æ/-/ʌ/ y /i/-/ɪ/, respectivamente. Se diseñaron dos tipos de gestos manuales para codificar las características articulatorias de estas vocales, de forma que tuvieran diferentes tipos de accesibilidad visual y por tanto diferentes condiciones de coherencia intermodal. Por un lado, el gesto manual que representaba la posición de apertura de los labios para /æ/-/ʌ/ era coherente con los rasgos articulatorios visibles, mientras que, el gesto manual que representaba la apertura de los labios para /i/-/ɪ/, representaba una característica de posición de los labios que no era visualmente destacada. Por otra parte, los gestos manuales que representaban la posición de la lengua para ambos pares de vocales no se referían a ninguna articulación visible. El estudio 2 revela que sólo los gestos manuales que codifican características articulatorias visibles mejoran la producción de vocales en L2 inglés /æ/-/ʌ/. Por su parte, el estudio 3 demuestra que los gestos manuales que codifican características articulatorias no visibles o visualmente no destacadas tienen efectos limitados en el aprendizaje fonológico. Además, en conjunto, los tres estudios de entrenamiento de esta tesis demuestran consistentemente que los gestos manuales no facilitan la percepción de los sonidos del habla en L2. En resumen, esta tesis destaca los beneficios de incorporar gestos manuales a los entrenamientos fonéticos de tipo multimodal para mejorar la pronunciación de L2, siempre que estos gestos manuales representen los sonidos de forma apropiada. Los resultados de esta tesis contribuyen a valorar la importancia del aprendizaje corporeizado en el contexto del aprendizaje de la pronunciación de una segunda lengua. Además, de forma crucial, los resultados de la tesis nos permiten validar en el ámbito de la adquisición fonológica uno de los principios de la teoría del enriquecimiento multimodal (Mathias & von Kriegstein, 2023), que es la coherencia entre modalidades. En otras palabras, para que un entrenamiento multimodal tenga éxito, es necesario que exista una integración multimodal óptima. Los resultados de esta tesis amplían nuestro conocimiento sobre cómo los humanos pueden aprender de forma óptima a través de múltiples modalidades. Desde una perspectiva pedagógica, esta tesis subraya la importancia de seleccionar cuidadosamente gestos manuales que sean óptimos desde el punto de vista de la coherencia entre modalidades y de integrarlos en la enseñanza de la pronunciación de una segunda lengua para optimizar el aprendizaje de la pronunciación.