[ca] En l'àmbit de l'adquisició de la pronunciació d'una segona llengua, s'ha demostrat que l'entrenament fonètic basat en la percepció de sons és eficaç per millorar la percepció i la producció dels sons per part dels estudiants. S'ha vist que es poden millorar encara més els efectes de l'entrenament fonètic tradicional basat en la percepció de sons auditius si hom incorpora la modalitat visual a l'entrenament (e.g., Hazan et al., 2005). Tot i això, no s'ha mostrat de forma sistemàtica que la incorporació d'una capa visual addicional, com els gestos manuals que codifiquen informació fonètica a través d'entrenaments multimodals, ajudi a aprendre els sons de la L2 (e.g., Hoetjes & van Maastricht, 2020). Aquesta tesi doctoral té com a objectiu avaluar els beneficis potencials d'incorporar gestos manuals en un entrenament fonètic multimodal. La tesi se centra a avaluar el paper de la coherència entre modalitats (e.g., la modalitat gestual i la fonètica), concretament avaluant l'efectivitat de diferents gestos manuals que representen informació fonètica, tant en el domini acústic (Estudi 1) com en l'articulatori (Estudis 2 i 3). La tesi inclou tres estudis experimentals d'entrenament fonètic multimodal on van participar a un total de 149 bilingües de català–castellà. L'estudi 1 estudia l'aprenentatge de les consonants aspirades del xinès mandarí (oclusives i africades). Si bé un gest amb la mà oberta representa de forma apropiada el tret acústic de l'aspiració de les oclusives, aquest gest no va aconseguir millorar l'allargament de la fricció de les africades aspirades. Els resultats de l'estudi ens indiquen que els gestos manuals poden facilitar l'aprenentatge de la pronunciació quan aquests gestos són totalment coherents amb les característiques acústiques dels sons que cal aprendre. Els estudis 2 i 3 se centren en l'aprenentatge de les parelles de vocals angleses /æ/-/ʌ/ i /i/-/ɪ/, respectivament. Es van dissenyar dos tipus de gestos manuals per codificar característiques articulatòries d'aquestes vocals, de manera que tinguessin diferents tipus d'accessibilitat visual i per tant diferents condicions de coherència intermodal. Per una banda, el gest manual que representava la posició d'obertura dels llavis per a /æ/-/ʌ/ era coherent amb trets articulatoris visibles, mentre que el gest manual representant l'obertura dels llavis per a /i/-/ɪ/ representava una característica de posició dels llavis que no era visualment destacada. Per altra banda, els gestos manuals que representaven la llengua per a tots dos parells de vocals no es referien a cap articulació visible. L'estudi 2 va revelar que només els gestos manuals que codificaven característiques articulatòries visibles milloraraven la producció de les vocals /æ/-/ʌ/. L'estudi 3 va demostrar que els gestos manuals que codifiquen característiques articulatòries no visibles o visualment no destacades tenien efectes limitats en l'aprenentatge fonològic. A més, els tres estudis d'entrenament van demostrar consistentment que els gestos manuals no facilitaven la percepció dels sons de la parla a L2. En resum, aquesta tesi destaca els beneficis d'incorporar gestos manuals en entrenaments fonètics de tipus multimodal per millorar la pronunciació de la L2, sempre que aquests gestos manuals representin de forma apropiada els sons. Els resultats d'aquesta tesi contribueixen a valorar la importància de l'aprenentatge corporeïtzat en el context de l'aprenentatge de la pronúncia d'una segona llengua. A més, de forma crucial, els resultats de la tesi ens han permès validar en l'àmbit de l'adquisició fonològica un principi de la teoria d'enriquiment multimodal (Mathias & von Kriegstein, 2023), que és la coherència entre modalitats. En altres paraules, per a l'èxit d'un entrenament multimodal cal que hi hagi una integració multimodal òptima. Els resultats d'aquesta tesi amplien la nostra comprensió de com els humans poden aprendre de manera òptima a través de múltiples modalitats. Des d'una perspectiva pedagògica, aquesta tesi subratlla la importància de seleccionar amb cura uns gestos manuals que siguin òptims des del punt de vista de la coherència entre modalitats i integrar-los a l'ensenyament de la pronunciació d'una segona llengua, per tal d'optimitzar-ne els resultats.

[en] In the realm of second language acquisition of pronunciation, perception-based phonetic training has been shown to be effective in improving L2 perception and production. By incorporating the visual modality of the speaker's face, traditional perception-based training which involves audio input alone can be further enhanced (e.g., Hazan et al., 2005). However, incorporating an additional visual layer, such as hand gestures encoding phonetic information, has not consistently shown benefits for learning L2 sounds (e.g., Hoetjes & van Maastricht, 2020). This doctoral dissertation aims to assess the potential benefits of incorporating hand gestures in a multimodal phonetic training approach. Specifically, we assess the role of congruency between different modalities by selecting hand gestures that represent target phonetic information in both the acoustic (Study 1) and articulatory (Studies 2 and 3) domains. Three between-subject studies were conducted involving a total of 149 native Catalan–Spanish bilinguals. Study 1 focused on Mandarin aspirated consonants (plosives and affricates). While a fist-to-open-hand gesture appropriately represented the aspiration acoustic feature of the aspirated plosives, it failed to capture the longer frication duration of the aspirated affricates. The results indicated that hand gestures could facilitate the production of L2 consonants when they appropriately match the target acoustic feature. Studies 2 and 3 focused on English vowel pairs /æ/-/ʌ/ and /i/-/ɪ/, respectively. Hand gestures were designed to encode articulatory features with varying visual accessibility, creating a contrastive condition for between-modality congruency. That is, the lip hand gesture for /æ/-/ʌ/ appropriately matched the visible lip aperture, while the lip hand gesture for /i/-/ɪ/ showed less appropriateness as the feature was visually non-salient. The tongue hand gestures for both vowel pairs did not align with the visible articulation. Study 2 revealed that hand gestures encoding articulatory features enhanced the production of L2 English vowels /æ/-/ʌ/ only when the gesture aligned with the visible articulation. Study 3 indicated that hand gestures encoding non-visible or visually non-salient articulatory features had limited effects on learning. In addition, all three training studies consistently demonstrated that hand gestures could not facilitate the perception of L2 speech sounds. All in all, this dissertation highlights the benefits of incorporating hand gestures into multimodal phonetic training for improving L2 pronunciation, given the hand gestures appropriately represent the target sounds. The findings contribute to the understanding of embodied learning in the context of L2 segment learning. Furthermore, they enhance the multimodal enrichment framework (Mathias & von Kriegstein, 2023) by emphasizing the importance of the between-modality congruence for successful multimodal integration, and expand the understanding of how humans can optimally learn from multiple modalities that are available to them. From a pedagogical perspective, this dissertation underscores the significance of carefully selecting appropriate hand gestures and integrating them into L2 pronunciation instruction to optimize learning outcomes.