Décoder le pouvoir de persuasion dans les concours d’éloquence : une étude sur la capacité des modèles de langues à évaluer la prise de parole en public (2025)

Abstract: L’importance des compétences en prise de parole en public (PPP) stimule le développement de systèmes d’évaluation automatisée, mais l’intégration des grandes modèles de langue (LLMs) reste peu explorée. Nous proposons un cadre où les LLMs évaluent des critères issus de la littérature et de retours de formateurs. Nous testons trois approches : des prédictions LLM directes à zéro coup (RMSE 0, 8) par rapport à des prédictions de persuasion basées sur des caractéristiques lexicales fabriquées à la main (RMSE 0, 51) ou basées sur des critères évalués par LLM 0, 6 insérés en entrée dans ElasticNet. L’analyse des liens entre critères et caractéristiques lexicales montre que seul le critère de niveau de langue évalué par LLM est prévisible (score F1 de 0, 56) soulignant les limites actuelles des LLMs pour l’analyse de la PPP. Code source et données disponibles sur GitHub.

## introduction la prise de parole en public (ppp) constitue une compétence essentielle tant pour la réussite professionnelle que pour le développement de la confiance en soi @xcite . ainsi, des systèmes d'évaluation automatisée ont émergé afin de proposer des solutions de formation accessibles aux étudiants et aux jeunes professionnels @xcite @xcite . récemment, les grandes modèles de langue (llms) ont également investi le domaine de l'évaluation automatique de la ppp. des systèmes commerciaux, tels que poised, yoodli et des services basés sur gpt 1 , illustrent cette tendance. parallèlement, la recherche académique s'est principalement concentrée sur des modèles de classification/régression @xcite et des réseaux neuronaux @xcite , créant ainsi un écart important entre la recherche et les pratiques commerciales. notre étude vise à combler cet écart en exploitant les llms pour la prédiction de dimensions subjectives (par exemple, le pouvoir de persuasion, l'engagement, etc.), une approche fréquemment utilisée dans la littérature sur l'évaluation automatique de la ppp. plus précisément, nous nous concentrons sur la dimension du pouvoir de persuasion, dont la corrélation avec les caractéristiques lexicales a été largement démontrée. par exemple, @xcite a analysé le lien entre le nombre de mots, les types de langage et leur efficacité persuasive dans le cadre de la recherche de financement, tandis que @xcite a montré que les caractéristiques lexicales surpassent les caractéristiques visuelles dans la prédiction du pouvoir de persuasion. notre objectif est d'évaluer la capacité des llms à analyser la ppp en se concentrant sur la modalité textuelle, qui a reçu moins d'attention en comparaison avec les modalités audio et visuelle, largement étudiées @xcite @xcite . les approches existantes de l'analyse textuelle manquent souvent d'interprétabilité et de pertinence pour obtenir un retour utile. par exemple, des travaux antérieurs se sont appuyés sur des représentations non interprétables @xcite ou sur des caractéristiques lexicales définies à partir de connaissances expertes, telles que les uni-/bi-grammes @xcite , le débit de parole, la durée des pauses, les mots de remplissage @xcite , les lexiques de sentiment @xcite , ou encore les indicateurs émotionnels basés sur liwc @xcite , pour évaluer le charisme des orateurs @xcite . afin de répondre à ce problème d'interprétabilité et d'utilité, et en nous appuyant sur des entretiens avec des coachs en prise de parole ainsi que sur des grilles d'évaluation établies @xcite , nous avons élaboré une liste de critères textuels essentiels à une performance en public réussie. nous avons ensuite développé une méthode d'évaluation basée sur un llm pour évaluer ces critères, et analysé leur relation avec les caractéristiques manuelles existantes ainsi que leur efficacité dans la prédiction du pouvoir de persuasion. en nous appuyant sur le succès des llms dans des tâches telles que l'identification de discours 1. poised : https://www.poised.com/about-us ; yoodli : https://app.yoodli.ai/ ; services basés sur gpt : https://bit.ly/48eqllr , https://bit.ly/3yeknyy politiques @xcite et la classification des sentiments @xcite , ainsi que sur leurs limites à justifier l'évaluation automatique de récits @xcite @xcite , nous avons formulé l'hypothèse que ces modèles pouvaient analyser de manière fiable des textes et en extraire des caractéristiques pertinentes, tout en peinant à évaluer avec précision leur pouvoir de persuasion. dans une optique d'accessibilité, de reproductibilité et de réduction de l'impact environnemental, nous avons privilégié des llms plus petits et opensource, dont l'empreinte carbone est plus modeste (e.g. 539 tonnes pour llama 2 (ai, 2023) contre 552 tonnes pour les modèles @xcite ). conscients des progrès rapides des modèles, nous mettons en avant nos contributions méthodologiques et proposons une implémentation open-source accompagnée de résultats adaptables à des modèles plus récents, ainsi que des analyses supplémentaires non incluses dans cet article, disponibles sur github foot_0 . à partir des lacunes identifiées, nous formulons les questions de recherche (qr) suivantes : qr-1 : dans quelle mesure les llm peuvent-ils prédire avec précision le pouvoir de persuasion d'un discours à partir de sa transcription ? qr-2 : les critères évalués par les llm peuvent-ils constituer une représentation de haut niveau des caractéristiques lexicales définies à partir de connaissances expertes ? motivations. notre objectif à long terme est de créer un système open-source destiné aux étudiants francophones, c'est pourquoi nous concentrons notre travail sur le contexte éducatif. cependant, la majorité des jeux de données disponibles en ppp ne sont pas adaptés à des contextes éducatifs. par exemple, mit interview (courgeon et al., 2014) concerne des entretiens d'embauche, pom (park et al., 2014) se concentre sur des critiques de films, avspeech (ephrat et al., 2018) et youtube-8m (abu-el-haija et al., 2016) ciblent des vidéos issues de youtube, sac-lad (song et al., 2023) et crema-d (cao et al., 2014) se focalisent sur l'anxiété et les émotions, tandis que nusmsp (gan et al., 2017) ne contient pas d'annotations sur le pouvoir de persuasion. nous utilisons donc le jeu de données 3mt_french (biancardi et al., 2024), qui fournit des évaluations participatives du pouvoir de persuasion dans les présentations d'étudiants en doctorat francophones : -présentations de 3 minutes issues du concours « ma thèse en 180 secondes » (135 femmes, 113 hommes) portant sur des sujets de recherche variés. -chaque présentation a été évaluée à l'aide d'une échelle de likert en 5 points pour le pouvoir de persuasion, adaptée de la grille d'évaluation dans « public speaking competence rubric » (schreiber et al., 2012). trois annotateurs par échantillon ont jugé dans quelle mesure l'orateur construisait un message crédible et convaincant. pour plus de détails sur le protocole d'annotation, se référer à (biancardi et al., 2024). -le jeu de données ne contenait pas de transcriptions. nous les avons générées à l'aide de whisper (radford et al., 2022), un modèle de reconnaissance automatique de la parole à la pointe de la technologie. après une vérification manuelle et la suppression des échantillons corrompus, 227 transcriptions ont été conservées. 3 méthodologies pour l'évaluation de la prise de parole en public afin de répondre aux qrs formulées, notre méthodologie s'est articulée autour de deux étapes principales. dans un premier temps, nous avons mis en oeuvre la méthode d'incitation décrite dans la section 3.1, en présentant sa structure ainsi que les motivations sous-jacentes à cette approche. cette incitation nous a permis de traiter la qr-1, en cherchant à prédire directement le degré de persuasion à partir de la transcription du discours à l'aide de llm. dans un second temps, afin d'aborder la qr-2 et d'examiner les relations entre les caractéristiques lexicales et les critères évalués par le llm à partir de la transcription du discours (tels que la pertinence du langage utilisé, la qualité de la structure, etc.), nous détaillons dans la section 3.2 le choix des caractéristiques lexicales retenues ainsi que les critères d'évaluation mobilisés dans l'analyse basée sur le llm. 3.1 prédiction du pouvoir de persuasion en zéro-shot (qr-1) description de l'analyse : @xmath0. pour comprendre comment l'évaluer, se référer à la description de la dimension donnée dans la section dimension. donner uniquement un nombre en réponse -ce nombre est une note qui doit être attribuée selon l'échelle décrite dans la section échelle.] échelle = [échelle de 1 = pas du tout à 5 = tout à fait.] @xmath1, dans quelle mesure ce discours est-il persuasif, c'est-à-dire, la personne parvient-elle à formuler un message convaincant ? son raisonnement est-il rigoureux ?] @xmath2 tableau 1 -exemple de structure de prompt pour l'évaluation du pouvoir de persuasion. techniques de sollicitation. cet article ne se concentre pas sur du prompt enginering, nous évitons donc les techniques avancées telles que chain of thought (wei et al., 2023) ou les explications contrastives @xcite . à la place, en suivant les exemples de prompts en langage naturel présentés dans @xcite , @xcite et (cheng et al., 2023), nous utilisons une approche simple d'instruction en mode zero-shot, en fournissant les transcriptions et les questions dans des sections séparées. notre objectif est d'éviter les longues transcriptions nécessaires au few-shot prompting et de maintenir la tâche simple et concise pour les petits modèles. étant donné la forte influence de la formulation des prompts sur les performances des modèles (zhao et al., 2021), (webson & pavlick, 2022), nous testons plusieurs formulations en anglais, en français et en contexte multilingue foot_1 . la tableau 1 présente un exemple utilisé dans la section 5 pour l'exposition des résultats. nous structurons les prompts en sections : tâche -contient les instructions destinées au modèle, dimension -fournit la question liée à la dimension, échelle -définit l'échelle d'évaluation, et transcription -contient la transcription. les prompts sont générées automatiquement pour chaque transcription. nous désignons un prompt individuelle par p et l'ensemble des prompts testées par p . définition du pouvoir de persuasion pour les llms. afin de nous aligner sur les scores humains du jeu de données 3mt_french, nous adaptons la question issue de (biancardi et al., 2024), initialement formulée en français (voir tableau 1). post-traitement des résultats et notations. nous extrayons automatiquement les scores à l'aide de la bibliothèque spacy @xcite et filtrons les sorties incohérentes des llms (par exemple, plusieurs scores prédits, changements de l'échelle de notation ou génération de texte au lieu d'une notation). chaque résultat est ensuite revu manuellement afin de confirmer les incohérences. pour tout modèle noté m appartenant à l'ensemble m , et pour toute prompt @xmath3, les scores du pouvoir de persuasion prédits par le llm sont notés { ŷi p,m } @xmath4, où n représente les échantillons du jeu de données (ensemble complet ou ensemble de test). ## conclusions nos expériences nous ont permis de dégager les constats suivants : comparé aux systèmes précédents @xcite , nous proposons un nouveau cadre pour les recherches futures visant à caractériser les performances des grandes modèles de langue dans l'évaluation automatique des discours publics, en s'appuyant sur des critères bien définis issus de la littérature pédagogique et de l'expertise de coachs en prise de parole. il est important de noter que les llms n'ont pas été entraînés sur les données utilisées, ce qui souligne que leurs performances faibles ne sont pas dues à la qualité des données, mais plutôt à leur incapacité à mobiliser des connaissances générales pour évaluer une tâche subjective. les écarts entre les résultats prédictifs obtenus avec les llms et ceux de travaux antérieurs (e.g. 66 % de précision (park et al., 2014)) soulèvent des interrogations quant à la fiabilité des systèmes reposant sur des modèles génératifs tels que yoodli. plusieurs limites doivent toutefois être prises en compte. la qualité imparfaite des transcriptions whisper, notamment en français, peut affecter l'extraction des caractéristiques lexicales et la fiabilité des évaluations. le corpus 3mt_french, bien qu'adapté au contexte éducatif exploré ici, reste limité en taille, biaisé vers des discours bien notés, et insuffisant pour des approches de type fine-tuning. les critères utilisés, fondés sur des retours d'experts en art oratoire, sont interprétables mais ne couvrent pas toute la complexité de la concept de persuasion. enfin, le choix de modèles, combiné à une quantification agressive et un prompting simplifié, restreint les capacités de raisonnement des llms. des travaux futurs devront intégrer des modèles plus récents, optimisés pour le raisonnement, et évaluer notre approche dans des contextes discursifs plus variés et enrichis d'annotations humaines.