lisibilité (SVM-FL). Au niveau des représentations latentes, nous avons CamemBERT et wav2vec. En comparant CamemBERT avec SVM-L et wav2vec avec SVM-F, il est possible d'examiner s'il y a une contribution des modèles neuronaux et des représentations distribuées. En outre, en comparant SVM-FL, SVM-L et SVM-F, il est possible d'examiner si les variables de fluidité ont un impact sur la construction d'un modèle de facilité d'écoute. Par ailleurs, ces 5 modèles ont été déclinés sur trois ensembles de données différents : l'ensemble des données, les données correspondant au style de parole monologal et celles associées aux dialogues.

Enfin, en ce qui concerne la recherche des hyperparamètres, nous les avons explorés à l'aide d'une recherche par grille. Les performances de tous nos modèles ont été évaluées au moyen d'une procédure de validation croisée à 10 blocs et à l'aide des mesures d'évaluation de précision, de rappel et de F1. Dans la validation croisée à 10 blocs, 80 % des données servent à la phase d'entraînement, 10 % pour le développement et 10 % pour le test. Les moyennes des 10 plis obtenus pour l'exactitude et la F1 score sont rapportées.

# 4 Analyse des variables et des modèles

Dans cette section, nous présentons d'une part une analyse corrélationnelle des 68 variables à la section 4.1, puis les résultats des différents modèles (SVM-F, SVM-L, SVM-FL, CamemBERT et wav2vec) à la section 4.2.

## 4.1 Analyse corrélationnelle des variables

Tout d'abord, pour l'ensemble des données et chaque style de parole (dialogue, monologue), le coefficient de corrélation de Spearman a été utilisé pour examiner la corrélation entre chacune des 68 variables et le niveau. Seules les variables dont la valeur absolue du coefficient de corrélation est supérieure à 0,2 (p < 0,05) sont conservées. Lorsque plusieurs variables sont incluses dans une même catégorie, pour chaque catégorie, seules celles qui ont la plus forte corrélation avec le niveau sont conservées tandis que les autres sont exclues, ce qui permet de minimiser la colinéarité entre les variables lors de la construction du modèle. En suivant la procédure ci-dessus pour chaque ensemble de données (données entières, dialogue, monologue), les variables finales à incorporer dans nos modèles ont été déterminées.

En comparant les trois ensembles de variables, les différences dans les coefficients de corrélation sont particulièrement notables, surtout pour les variables liées à la fluidité (nombre de syllabes par minute, durée moyenne des pauses et nombre de pauses par minute). Toutes les variables sélectionnées sur l'ensemble des données se retrouvent dans les jeux de variables spécifiques au dialogue et au monologue, l'inverse n'étant pas vrai.

En confrontant les résultats obtenus sur les dialogues et sur les monologues, on constate que 17 variables sont communes aux deux ensembles. Cela représente 56 % des variables finales dans le dialogue et 80 % des variables finales dans le monologue, ce qui suggère que le niveau tend à être déterminé par davantage de variables dans le dialogue que dans le monologue. En particulier, dans le dialogue, les variables liées aux temps des verbes sont plus fréquemment mentionnées comme variables fortement corrélées avec le niveau que dans le monologue. Ainsi, malgré le fait que les variables finalement traitées ont été considérées dans les mêmes conditions dans les deux styles
de parole, il y a des différences dans le nombre de variables et les variables ne sont pas tout à fait identiques. En d'autres termes, cela montre déjà l'utilité de construire le modèle séparément pour chaque style de parole.

## 4.2 Comparaison des modèles

Il est intéressant d'analyser les performances des 5 modèles sur l'ensemble des données (dialogue et monologue) dont les résultats sont repris à la Table 2a, mais aussi leurs performances sur les deux styles de parole de façon isolée (Tables 2b et 2c).

En comparant SVM-L et CamemBERT pour examiner l'apport des variables linguistiques, CamemBERT apparaît à première vue comme le meilleur modèle, aussi bien sur l'ensemble des données que sur les monologues. Pour chaque modèle, la F1 de CamemBERT se situe entre 0,5 et 0,7. Un tel résultat n'est pas surprenant, car les corpus issus de manuels de FLE se caractérisent généralement par une forte hétérogénéité au niveau des annotations de la difficulté entre manuels (François, 2014). Cependant, un problème important de CamemBERT est que son écart-type est particulièrement élevé, ce qui implique une instabilité dans le modèle et nous conduit à regarder avec prudence ces résultats.

Ensuite, SVM-F et wav2vec sont comparés afin d'examiner l'apport des variables prosodiques. Les résultats de wav2vec montrent que, pour chaque style de parole, la F1 est d'environ 0,2, ce qui est inférieur à celles de SVM-F. Cela semble indiquer que l'information audio identifiée par wav2vec ne constitue pas un signal assez fort pour identifier les niveaux de difficulté. Les performances de SVM-F, assez mauvaises également, confirment que les variables de fluidité envisagées dans cette étude ont une contribution limitée à la prédiction de la facilité d'écoute. Néanmoins, ces deux résultats de F1 montrent de manière générale des performances assez élevé sur le niveau A1 (0,44 à 0,53 pour wav2vec, 0,55 à 0,65 pour SVM-F) et, dans une moindre mesure, sur le niveau A2 (0,31 à 0,38 pour wav2vec, 0,28 à 0,31 pour SVM-F), pour tous les styles de parole. Or, ces niveaux sont notamment caractérisés par un débit plus lent : le nombre de syllabes par minute en A1 (181 syll./min.) est bien moindre que au niveau A2 (226 syll./min.) et aux niveaux B1 (246 syll./min.) et B2 (255 syll./min.). Cela peut indiquer une tendance du modèle à utiliser des informations relatives au débit de parole pour évaluer la difficulté des discours. Toutefois, sur les niveaux supérieurs, le contenu devient plus critique et il semblerait que wav2vec ne capture pas suffisamment la teneur de celui-ci.

En ce qui concerne SVM-FL, il apparaît que, pour chaque style de parole et de façon générale, la F1 obtenue (0,49 à 0,54) est supérieure à celle de SVM-L. Cela signifie que les variables de fluidité apportent tout de même des informations utiles au modèle et différentes de celles des variables de lisibilité. Cependant, ces F1 sont inférieures à la F1 de CamemBERT, pour l'ensemble de données et pour les monologues. En d'autres termes, dans ces styles de parole, CamemBERT, qui est un modèle neuronal sans informations prosodiques, est plus performant.

Enfin, en examinant les résultats spécifiquement sur les dialogues et les monologues, ces deux styles de parole ne produisent pas systématiquement les mêmes résultats pour chaque modèle. Néanmoins, on peut observer une certaine régularité dans les résultats : la F1 du modèle de tous les SVMs et de wav2vec montre que ceux-ci sont presque toujours meilleurs sur les dialogues. Au contraire, CamemBERT se comporte toujours mieux sur les monologues. Cependant, comme mentionné ci-dessus, en raison des problèmes de variance dans les résultats de CamemBERT, les performances de ce modèle doivent être considérées avec précaution. Par conséquent, en se basant sur la tendance claire des résultats des SVMs et de wav2vec, on peut considérer que prédire la facilité d'écoute sur
<table><caption>(a) Résultat pour la tâche de prédiction du niveau de facilité d'écoute sur l'ensemble des données</caption><thead><tr><th></th><th>CamemBERT</th><th>wav2vec</th><th>SVM-FL</th><th>SVM-L</th><th>SVM-F</th></tr></thead><tbody><tr><td>Exactitude (écart-type)</td><td>0,64 (0,36)</td><td>0,33 (0,03)</td><td>0,51 (0,05)</td><td>0,49 (0,02)</td><td>0,35 (0,03)</td></tr><tr><td>F1 (écart-type)</td><td>0,59 (0,42)</td><td>0,24 (0,04)</td><td>0,49 (0,05)</td><td>0,47 (0,02)</td><td>0,28 (0,04)</td></tr><tr><td>F1-A1 (écart-type)</td><td>0,50 (0,50)</td><td>0,53 (0,12)</td><td>0,72 (0,07)</td><td>0,69 (0,05)</td><td>0,59 (0,07)</td></tr><tr><td>F1-A2 (écart-type)</td><td>0,63 (0,40)</td><td>0,34 (0,05)</td><td>0,52 (0,09)</td><td>0,50 (0,04)</td><td>0,28 (0,09)</td></tr><tr><td>F1-B1 (écart-type)</td><td>0,59 (0,44)</td><td>0,11 (0,10)</td><td>0,30 (0,12)</td><td>0,24 (0,09)</td><td>0,06 (0,06)</td></tr><tr><td>F1-B2 (écart-type)</td><td>0,58 (0,44)</td><td>0,17 (0,09)</td><td>0,32 (0,09)</td><td>0,36 (0,11)</td><td>0,04 (0,05)</td></tr><tr><td>F1-C (écart-type)</td><td>0,63 (0,43)</td><td>0,05 (0,06)</td><td>0,60 (0,04)</td><td>0,58 (0,04)</td><td>0,44 (0,05)</td></tr></tbody></table>

<table><caption>(b) Résultat pour la tâche de prédiction du niveau de facilité d'écoute sur les données de style dialogue</caption><thead><tr><th></th><th>CamemBERT</th><th>wav2vec</th><th>SVM-FL</th><th>SVM-L</th><th>SVM-F</th></tr></thead><tbody><tr><td>Exactitude (écart-type)</td><td>0,58 (0,36)</td><td>0,35 (0,04)</td><td>0,56 (0,04)</td><td>0,52 (0,04)</td><td>0,37 (0,04)</td></tr><tr><td>F1 (écart-type)</td><td>0,50 (0,43)</td><td>0,23 (0,07)</td><td>0,54 (0,04)</td><td>0,50 (0,06)</td><td>0,33 (0,03)</td></tr><tr><td>F1-A1 (écart-type)</td><td>0,52 (0,45)</td><td>0,53 (0,05)</td><td>0,74 (0,08)</td><td>0,70 (0,08)</td><td>0,65 (0,10)</td></tr><tr><td>F1-A2 (écart-type)</td><td>0,55 (0,43)</td><td>0,31 (0,08)</td><td>0,54 (0,11)</td><td>0,52 (0,10)</td><td>0,29 (0,07)</td></tr><tr><td>F1-B1 (écart-type)</td><td>0,48 (0,45)</td><td>0,11 (0,12)</td><td>0,39 (0,09)</td><td>0,25 (0,10)</td><td>0,27 (0,07)</td></tr><tr><td>F1-B2 (écart-type)</td><td>0,42 (0,48)</td><td>0,16 (0,14)</td><td>0,43 (0,17)</td><td>0,41 (0,15)</td><td>0,18 (0,12)</td></tr><tr><td>F1-C (écart-type)</td><td>0,53 (0,48)</td><td>0,06 (0,13)</td><td>0,60 (0,07)</td><td>0,65 (0,09)</td><td>0,26 (0,15)</td></tr></tbody></table>

<table><caption>(c) Résultat pour la tâche de prédiction du niveau de facilité d'écoute sur les données de style monologue</caption><thead><tr><th></th><th>CamemBERT</th><th>wav2vec</th><th>SVM-FL</th><th>SVM-L</th><th>SVM-F</th></tr></thead><tbody><tr><td>Exactitude (écart-type)</td><td>0,72 (0,36)</td><td>0,31 (0,07)</td><td>0,52 (0,10)</td><td>0,49 (0,08)</td><td>0,37 (0,04)</td></tr><tr><td>F1 (écart-type)</td><td>0,67 (0,43)</td><td>0,22 (0,07)</td><td>0,51 (0,09)</td><td>0,47 (0,08)</td><td>0,31 (0,03)</td></tr><tr><td>F1-A1 (écart-type)</td><td>0,63 (0,48)</td><td>0,44 (0,18)</td><td>0,68 (0,13)</td><td>0,56 (0,16)</td><td>0,55 (0,18)</td></tr><tr><td>F1-A2 (écart-type)</td><td>0,66 (0,45)</td><td>0,38 (0,07)</td><td>0,55 (0,12)</td><td>0,51 (0,11)</td><td>0,31 (0,13)</td></tr><tr><td>F1-B1 (écart-type)</td><td>0,65 (0,46)</td><td>0,00 (0,00)</td><td>0,36 (0,15)</td><td>0,27 (0,15)</td><td>0,09 (0,12)</td></tr><tr><td>F1-B2 (écart-type)</td><td>0,67 (0,44)</td><td>0,09 (0,10)</td><td>0,36 (0,22)</td><td>0,40 (0,19)</td><td>0,09 (0,11)</td></tr><tr><td>F1-C (écart-type)</td><td>0,75 (0,36)</td><td>0,18 (0,16)</td><td>0,59 (0,09)</td><td>0,59 (0,12)</td><td>0,50 (0,06)</td></tr></tbody></table>

<caption>TABLE 2 – Résultat pour la tâche de prédiction du niveau de facilité d'écoute</caption>

les dialogues est plus aisée que sur les monologues. En ce qui concerne la nature des prédicteurs, les performances de CamemBERT et même des SVMs montrent que la transcription et les variables qui en sont dérivées contribuent plus aux performances que les informations prosodiques. Néanmoins, nous avons identifié que les caractéristiques du signal vocal ajoutent bien de l'information complémentaire pertinente pour les modèles.

# 5 Conclusion et perspectives

Cette étude a comparé divers modèles en vue de prédire automatiquement le niveau de facilité d'écoute de documents audios en français. Tout d'abord, aussi bien le SVM-L utilisant uniquement les variables de lisibilité que le CamemBERT affiné obtiennent une F1 relativement élevée. Sur l'ensemble de données et sur les monologues, la F1 de CamemBERT est légèrement supérieure à celle du SVM-L. Cependant, dans cette étude, CamemBERT souffre de problèmes d'échantillonnage
causant de grandes disparités d'une session d'entraînement à l'autre, ce que révèle l'écart-type élevé des métriques d'évaluation estimées pour CamemBERT. Ensuite, l'analyse des résultats de SVM-F, utilisant uniquement les variables de fluidité, et de wav2vec a révélé que prédire à partir des seules caractéristiques prosodiques ne permettait pas d'atteindre des résultats très élevé, surtout pour les niveaux plus élevés. Enfin, nous avons constaté que les variables de fluidité apportaient tout de même des informations utiles au modèle lorsqu'elles sont combinées avec les variables de lisibilité (SVM-FL). Il a également été constaté que les différents styles de parole produisent des résultats différents en termes de performance du modèle, mais que la plupart des modèles se comportent mieux sur les dialogues.

Enfin, il convient de noter que la F1 par niveau est très différente d'un niveau à l'autre, pour tous les modèles analysés dans cette étude. Dans l'ensemble, on constate que la F1 est faible pour les niveaux B1 et B2, qui sont des niveaux intermédiaires du CECR. L'examen minutieux des variables les plus aptes à discriminer les niveaux B est l'une des tâches futures. Une autre perspective serait de combiner wav2vec, qui a atteint une F1 d'environ 0,3 à 0,5 aux niveaux A1 et A2, et CamemBERT affiné, qui a eu une bonne performance de prédiction en général. L'analyse de ce modèle combiné, reposant sur des plongements, constitue également une perspective intéressante qui permettrait de déterminer dans quelle mesure ces deux modèles sont complémentaires en matière d'information. Dans le même ordre d'idée, il serait possible d'explorer des architectures hybrides combinant des plongements de mots avec des variables de lisibilité.

Références

BAEVSKI A., ZHOU Y., MOHAMED A. & AULI M. (2020). wav2vec 2.0 : A framework for self-supervised learning of speech representations. *Advances in neural information processing systems*, **33**, 12449-12460.

CARTIER F. A. (1952). The social context of listenability research. *Journal of Communication*, **2** (1), 44–47. DOI: 10.1111/j.1460-2466.1952.tb00177.x.

CARTIER F. A. (1955). Ii. listenability and "human interest". *Communications Monographs*, **22** (1), 53–57. DOI: 10.1080/03637755509375134.

CHALL J. S. & DIAL H. E. (1948). Predicting listener understanding and interest in newscasts. *Educational Research Bulletin*, **27** (6), 141–168.

CUCCHIARINI C., STRIK H. & BOVES L. (2002). Quantitative assessment of second language learners' fluency : Comparisons between read and spontaneous speech. *The Journal of the Acoustical Society of America*, **111**(6), 2862–2873.

DIAS G., Éd. (2015). *Actes de TALN 2015 (Traitement automatique des langues naturelles)*, Caen. ATALA, HULTECH.

FANG I. E. (1967). The "easy listening formula". *Journal of Broadcasting & Electronic Media*, **11** (1), 63–68.

FLESCH R. (1943). Marks of readable style, a study in adult education. *Teachers College Contributions to Education*.

FRANÇOIS T. (2014). An analysis of a french as a foreign language corpus for readability assessment. In *Proceedings of the 3rd workshop on NLP for Computer-assisted Language Learning, NEALT Proceedings Series Vol. 22, Linköping Electronic Conference Proceedings 107*, p. 13–32.
FRANÇOIS T. (2011). *Les apports du traitement automatique du langage à la lisibilité du français langue étrangère*. Thèse de doctorat, Université Catholique de Louvain.

FRANÇOIS T., GALA N., WATRIN P. & FAIRON C. (2014). Flelex : a graded lexical resource for french foreign learners. *International conference on Language Resources and Evaluation*.

GINTHER A., DIMOVA S. & YANG R. (2010). Conceptual and empirical relationships between temporal measures of fluency and oral english proficiency with implications for automated scoring. *Language Testing*, **27**, 379–399.

GUYON I. & ELISSEEFF A. (2003). An introduction to variable and feature selection. *Journal of machine learning research*, **3**, 1157–1182.

HARWOOD K. A. (1950). A concept of listenability. *Western Speech*, **14** (2), 10–12. DOI: 10.1080/10570315009373409.

HARWOOD K. A. (1955). Iii. listenability and rate of presentation. *Communications Monographs*, **22**(1), 57–59. DOI: 10.1080/03637755509375135.

HARWOOD K. A. & CARTIER F. (1952). On definition of listenability. *Southern Journal of Communication*, **18** (1), 20–23. DOI: 10.1080/10417945209371245.

KANDEL L. & MOLES A. (1958). Application de l'indice de Flesch à la langue française. *Cahiers Études de Radio-Télévision*, **19**, 253–274.

KIYOKAWA H. (1990). A formula for predicting listenability : The listenability of english language materials 2. *Wayo Women's University Language and Literature*, **24**, 57–74.

KOTANI K., UEDA S., YOSHIMI T. & NANJO H. (2014). A listenability measuring method for an adaptive computer-assisted language learning and teaching system. *Proceedings of the 28th Pacific Asia Conference on Language, Information and Computing*, p. 387–394.

KOTANI K. & YOSHIMI T. (2017). Effectiveness of linguistic and learner features for listenability measurement using a decision tree classifier. *The Journal of Information and Systems in Education*, **16** (1), 7–11.

KUMAI N. (1992). Teaching listening comprehension : What and how (in japanese). *English and American Studies*, **27**, 21–30.

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., DE LA CLERGERIE É., SEDDAH D. & SAGOT B. (2020). CamemBERT : a tasty French language model. In D. JURAFSKY, J. CHAI, N. SCHLUTER & J. TETREAULT, Éds., *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 7203–7219, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.645.

MARTINC M., POLLAK S. & ROBNIK-ŠIKONJA M. (2021). Supervised and unsupervised neural approaches to text readability. *Computational Linguistics*, **47**(1), 141–179.

O'KEEFE T. (1971). The comparative listenability of shortwave broadcasts. *Journalism Quarterly*, **48** (4), 744–748.

PELTONEN P. (2017). Temporal fluency and problem-solving in interaction : An exploratory study of fluency resources in l2 dialogue. *System*, **70**(C), 1–13.

PRÉFONTAINE Y. (2010). Differences in perceived fluency and utterance fluency across speech elicitation tasks : a pilot study. *Papers from the Lancaster University Postgraduate Conference in Linguistics Language Teaching*, p. 134–154.

QI P., ZHANG Y., ZHANG Y., BOLTON J. & MANNING C. D. (2020). Stanza : A python natural language processing toolkit for many human languages. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics : System Demonstrations*, p. 101–108.
ROGERS J. R. (1962). A formula for predicting the comprehension level of material to be presented orally. *The journal of educational research, 56 (4)*, 218–220. DOI : 10.1080/00220671.1962.10882926.

RUBIN D. L. (2012). Listenability as a tool for advancing health literacy. *Journal of health communication, 17 (3)*, 176–190. DOI: 10.1080/10810730.2012.712622.

RUGGIA S. (2019). Le deep learning : un outil pour la didactique du fle ? *Dialettica pedagogica, 1*, 79–106.

RUGGIA S. (2020). Caractériser un texte en français : les passages-clés des niveaux a1 et a2 du ceclr. *Actes des 15èmes Journées internationales d'Analyse statistique des Données Textuelles*, p. 1–11.

RUGGIA S. (2021). Deepfle : l'intelligence artificielle pour décrire et prédire le(s) niveau(x) du ceclr d'un texte. *Les cahiers de l'AREFLE, 2 (1)*, 103–109.

RÉVÉSZ A. & BRUNFAUT T. (2013). Text characteristics of task input and difficulty in second language listening comprehension. *Studies in Second Language Acquisition, 35*, 31–65.

SEGALOWITZ N., FRENCH L. & GUAY J.-D. (2017). What features best characterize adult second language utterance fluency and what do they reveal about fluency gains in short-term immersion ? *Revue canadienne de linguistique appliquée, 20(2)*, 90–116.

SKEHAN P. & FOSTER P. (1999). The influence of task structure and processing conditions on narrative retellings. *Language Learning, 49*, 93–120.

UEDA S., NANJO H., YOSHIMI T. & KOTANI K. (2013). A listenability formula considering listening proficiency level information of learners of english as a foreign language (in japanese). *The Association for Natural Language Processing, NLP2013*, p. 410–413.

VAJJALA S. (2021). Trends, limitations and open challenges in automatic readability assessment research. *arXiv preprint arXiv:2105.00973*.

WILKENS R., ALFTER D., WANG X., PINTARD A., TACK A., YANCEY K. & FRANÇOIS T. (2022). Fabra: French aggregator-based readability assessment toolkit. *Proceedings of the 13th Language Resources and Evaluation Conference*, p. 1217–1233.

YANCEY K., PINTARD A. & FRANÇOIS T. (2021). Investigating readability of french as a foreign language with deep learning and cognitive and pedagogical features. *Lingue e Linguaggio, 2021*(2), 229–258.

YOSHIMI K. (2019). The effectiveness and prospects of incorporating current topics into the learning of listening skills : A practical example of listening comprehension 1/2 in the school of contemporary international studies (in japanese). *Bulletin of Nagoya University of Foreign Studies, 5*, 105–119.

YOSHIMI T. & KOTANI K. (2020). Non-linear regression analysis of the combined listening ease and accuracy index appropriate for learners’ proficiency (in japanese). *Transactions of Japanese Society for Information and Systems in Education, 37 (1)*, 44–49.
# Annexes

<table><caption>TABLE 3 – Liste des manuels</caption><thead><tr><th>Manuel</th><th>Éditeur</th><th>Année</th><th>Nb de données</th></tr></thead><tbody><tr><td colspan="4">A1</td></tr><tr><td>Alter Ego<br>écho</td><td>Hachette</td><td>2006</td><td>26</td></tr><tr><td>Texto</td><td>CLE International</td><td>2011</td><td>63</td></tr><tr><td>Cosmopolite</td><td>Hachette</td><td>2016</td><td>19</td></tr><tr><td>Atelier</td><td>Hachette</td><td>2017</td><td>104</td></tr><tr><td></td><td>Didier</td><td>2019</td><td>78</td></tr><tr><td colspan="4">A2</td></tr><tr><td>Entre Nous</td><td>Maison des langues</td><td>2016</td><td>70</td></tr><tr><td>Tendances</td><td>CLE International</td><td>2016</td><td>81</td></tr><tr><td>Texto</td><td>Hachette</td><td>2016</td><td>16</td></tr><tr><td>Cosmopolite</td><td>Hachette</td><td>2017</td><td>72</td></tr><tr><td>Défi</td><td>Maison des langues</td><td>2018</td><td>35</td></tr><tr><td>Atelier</td><td>Didier</td><td>2019</td><td>35</td></tr><tr><td colspan="4">B1</td></tr><tr><td>Entre Nous</td><td>Maison des langues</td><td>2016</td><td>72</td></tr><tr><td>Tendances</td><td>CLE International</td><td>2016</td><td>90</td></tr><tr><td>Cosmopolite</td><td>Hachette</td><td>2018</td><td>51</td></tr><tr><td>Défi</td><td>Maison des langues</td><td>2019</td><td>27</td></tr><tr><td colspan="4">B2</td></tr><tr><td>Édito</td><td>Didier</td><td>2006</td><td>31</td></tr><tr><td>LE DELF B2</td><td>Didier</td><td>2016</td><td>60</td></tr><tr><td>Entre Nous</td><td>Maison des langues</td><td>2017</td><td>20</td></tr><tr><td>Tendances</td><td>CLE International</td><td>2017</td><td>50</td></tr><tr><td>Cosmopolite</td><td>Hachette</td><td>2019</td><td>80</td></tr><tr><td colspan="4">C1/C2</td></tr><tr><td>Réussir le DALF<br>abc DALF</td><td>Didier</td><td>2007</td><td>31</td></tr><tr><td>Le DALF 100 % réussite</td><td>CLE International</td><td>2014</td><td>57</td></tr><tr><td>Édito</td><td>Didier</td><td>2017</td><td>75</td></tr><tr><td>Tendances</td><td>CLE International</td><td>2018</td><td>70</td></tr><tr><td></td><td></td><td>2019</td><td>10</td></tr></tbody></table>

<table><thead><tr><th>Variable</th><th>Méthode de calcul</th></tr></thead><tbody><tr><td>Nombre de syllabes par minute</td><td>Nombre total de syllabes / durée totale d'enregistrement [minute].</td></tr><tr><td>Nombre de syllabes par minute sans les pauses</td><td>Nombre total de syllabes / (durée totale d'enregistrement [minute] - durée totale de pauses [minute]).</td></tr><tr><td>Nombre de mots par minute</td><td>Nombre total de mots / durée totale d'enregistrement [minute].</td></tr><tr><td>Nombre de mots par minute sans les pauses</td><td>Nombre total de mots / (durée totale d'enregistrement [minute] - durée totale de pauses [minute]).</td></tr><tr><td>Durée totale</td><td>Durée totale d'un enregistrement.</td></tr></tbody></table>
<table><caption>TABLE 4 – Liste des variables de fluidité</caption><tr><td>Durée moyenne des pauses</td><td>Durée totale de pauses [minute] / nombre total de pauses.</td></tr><tr><td>Nombre de pauses par minute</td><td>Nombre total de pauses / durée totale d'enregistrement [minute].</td></tr></table>

<table><thead><tr><th>Famille</th><th>Variable</th><th>Description</th></tr></thead><tbody><tr><td colspan="3">Basé sur la longueur</td></tr><tr><td>Longueur du mot</td><td>LENwrdSYL</td><td>Nombre de syllabes par mot.</td></tr><tr><td>Longueur de la phrase</td><td>LENsntWRD</td><td>Nombre de tokens par phrase, à l'exclusion de la ponctuation.</td></tr><tr><td colspan="3">Variables lexicales</td></tr><tr><td>Chevauchement de contenu</td><td>LEXcovLGAL</td><td>Tout lemme est partagé dans toutes les phrases.</td></tr><tr><td>Diversité lexicale</td><td>LEXdvrFLC</td><td>CTTR de tous les types de lemmes de noms, de noms propres, de verbes, d'adjectifs et d'adverbes dans le texte, en tenant compte de tous les tokens.</td></tr><tr><td rowspan="2">Fréquence lexicale</td><td>LEXfrqFCL</td><td>Fréquence de la forme du lemme de tous les noms, noms propres, verbes, adjectifs et adverbes en fonction de leur occurrence dans le corpus FLELex.</td></tr><tr><td>LEXfrqLCL</td><td>Fréquence de la forme du lemme de tous les noms, noms propres, verbes, adjectifs et adverbes sur la base de l'occurrence dans le corpus Lexique3.</td></tr><tr><td rowspan="5">Lexiques gradués</td><td>LEXgrdBAl</td><td>Proportion de mots dans les descripteurs de niveau de référence du français de Beacco pour le niveau du CECR A1.</td></tr><tr><td>LEXgrdBAl</td><td>Fréquence des mots dans la ressource FLELex pour le niveau du CECR A1.</td></tr><tr><td>LEXgrdBFFOA1</td><td>Proportion de lemmes de niveau A1 selon la méthode de la première occurrence (ni-veau du CECR où un mot est rencontré pour la première fois).</td></tr><tr><td>LEXgrdBMLA1</td><td>Proportion de lemmes de niveau A1 selon la méthode d'apprentissage automatique de Pintard et François, 2020 (https://aclanthology.org/2020.readi-1.13.pdf) entraînée sur les descripteurs de niveau de référence Beacco.</td></tr><tr><td>LEXgrdBFSOOUA1</td><td>Proportion de lemmes de niveau A1 selon la méthode Significant Onset of Use (Alfter et al., 2016; https://aclanthology.org/W16-6501.pdf)</td></tr><tr><td>Voisins orthographiques</td><td>LEXnghPHO</td><td>Distance phonologique moyenne de Le-venstein, calculée sur Lexique3.</td></tr><tr><td rowspan="3">Normes lexicales</td><td>LEXnrmCNCR</td><td>Niveau de concrétion des mots.</td></tr><tr><td>LEXnrmFAM</td><td>La familiarité des mots, également appe-lée fréquence subjective.</td></tr><tr><td>LEXnrmIMG</td><td>Imageabilité de chaque mot.</td></tr></tbody></table>
<table><tbody><tr><td rowspan="3">Sophistication<br>lexicale</td><td>LEXsopFK1</td><td>Nombre de lemmes dans les premières bandes de fréquences de 1000 mots de FLELex.</td></tr><tr><td>LEXsopGK1</td><td>Nombre de mots dans les premières bandes de fréquence de 1000 mots de la liste de vocabulaire de Gougenheim.</td></tr><tr><td>LEXsopLLK1</td><td>Nombre de lemmes dans les premières bandes de fréquence de 1000 mots de Lexique3.</td></tr><tr><td>Caractéristiques<br>graduées</td><td>LEXgrdBLA1</td><td>Expressions lexicales de niveau A1 dans le chapitre 5 de Beacco.</td></tr><tr><td colspan="3">Variables syntaxiques</td></tr><tr><td rowspan="3">Développement<br>du langage</td><td>SYNdevNPHRS</td><td>Nombre de constituants/phrases.</td></tr><tr><td>SYNdevTUL</td><td>Longueur des T unités.</td></tr><tr><td>SYNdevVG1</td><td>Nombre de verbes du 1er groupe français dans le texte.</td></tr><tr><td>Caractéristiques<br>de la clause</td><td>SYNclsLEN</td><td>Longueur de la clause.</td></tr><tr><td rowspan="24">Caractéristiques<br>des temps ver-<br>baux</td><td>SYNtnsfINDP</td><td>Indicatif présent.</td></tr><tr><td>SYNtnsfINDI</td><td>Indicatif imparfait.</td></tr><tr><td>SYNtnsfINDPS</td><td>Indicatif passé simple.</td></tr><tr><td>SYNtnsfINDPC</td><td>Indicatif passé composé.</td></tr><tr><td>SYNtnsfINDPQP</td><td>Indicatif plus-que-parfait.</td></tr><tr><td>SYNtnsfINDPA</td><td>Indicatif passé antérieur.</td></tr><tr><td>SYNtnsfINDFS</td><td>Indicatif futur simple.</td></tr><tr><td>SYNtnsfINDFA</td><td>Indicatif futur antérieur.</td></tr><tr><td>SYNtnsfCNDP</td><td>Conditionnel présent.</td></tr><tr><td>SYNtnsfCNDPS</td><td>Conditionnel passé.</td></tr><tr><td>SYNtnsfIMPP</td><td>Impératif présent.</td></tr><tr><td>SYNtnsfIMPPS</td><td>Impératif passé.</td></tr><tr><td>SYNtnsfSUBP</td><td>Subjonctif présent.</td></tr><tr><td>SYNtnsfSUBPS</td><td>Subjonctif passé.</td></tr><tr><td>SYNtnsfSUBI</td><td>Subjonctif imparfait.</td></tr><tr><td>SYNtnsfSUBPQP</td><td>Subjonctif plus-que-parfait.</td></tr><tr><td>SYNtnsfINF</td><td>Infinitif.</td></tr><tr><td>SYNtnsfINFC</td><td>Infinitif composé.</td></tr><tr><td>SYNtnsfPP</td><td>Participe présent.</td></tr><tr><td>SYNtnsfPPS</td><td>Participe passé.</td></tr><tr><td>SYNtnsfGERP</td><td>Gérondif.</td></tr><tr><td>SYNtnsfGERPS</td><td>Gérondif passé.</td></tr><tr><td>SYNtnsfTAP</td><td>Temps passif.</td></tr><tr><td rowspan="3">POS Tag</td><td>SYNposADJ</td><td>Mots identifiés comme ADJ (adjectif), suivant les étiquettes POS universelles et l'analyseur Stanza.</td></tr><tr><td>SYNposADP</td><td>Mots identifiés comme ADP (adposi-tion), suivant les étiquettes POS universelles et l'analyseur Stanza.</td></tr><tr><td>SYNposADV</td><td>Mots identifiés comme ADV (adverbe), suivant les étiquettes POS universelles et l'analyseur Stanza.</td></tr></tbody></table>
<table><caption>TABLE 5 – Liste des variables de lisibilité</caption><tr><td>SYNposAUX</td><td>Mots identifiés comme AUX (auxiliaire), suivant les étiquettes POS universelles et l'analyseur Stanza.</td></tr><tr><td>SYNposCCONJ</td><td>Mots identifiés comme CCONJ (conjonc-tion de coordination), suivant les éti-quettes POS universelles et l'analyseur Stanza.</td></tr><tr><td>SYNposINTJ</td><td>Mots identifiés comme INTJ (interjec-tion), suivant les éti-quettes POS univer-selles et l'analyseur Stanza.</td></tr><tr><td>SYNposNOUN</td><td>Mots identifiés comme NOUN (nom), suivant les étiquettes POS universelles et l'analyseur Stanza.</td></tr><tr><td>SYNposNUM</td><td>Mots identifiés comme NUM (numéral), suivant les étiquettes POS universelles et l'analyseur Stanza.</td></tr><tr><td>SYNposPART</td><td>Mots identifiés comme PART (particule), suivant les étiquettes POS universelles et l'analyseur Stanza.</td></tr><tr><td>SYNposPRON</td><td>Mots identifiés comme PRON (pronom), suivant les étiquettes POS universelles et l'analyseur Stanza.</td></tr><tr><td>SYNposPROPN</td><td>Mots identifiés comme PROPN (nom propre), suivant les étiquettes POS uni-verselles et l'analyseur Stanza.</td></tr><tr><td>SYNposSCONJ</td><td>Mots identifiés comme SCONJ (conjonc-tion de subordination), suivant les éti-quettes POS universelles et l'analyseur Stanza.</td></tr><tr><td>SYNposVERB</td><td>Mots identifiés comme VERB (verbe), suivant les étiquettes POS universelles et l'analyseur Stanza.</td></tr><tr><td>SYNposX</td><td>Mots identifiés comme X (autre), suivant les étiquettes POS universelles et l'analyseur Stanza.</td></tr><tr><td colspan="2">Variables de lisibilité</td></tr><tr><td>Service de for-mule de lisibi-lité</td><td>REAfrmKM Formule de lisibilité pour le français (Kandel-Moles).</td></tr></table>
<table><caption>TABLE 6 – 24 variables finales et leurs coefficients de corrélation de Spearman avec le niveau du CECR dans l'ensemble des données (p<,01)</caption><thead><tr><th>Variables</th><th>Corrélation Spearman</th><th>Variables</th><th>Corrélation Spearman</th></tr></thead><tbody><tr><td>LENsntWRD</td><td>0,63</td><td>LEXgrdFSOOUA1</td><td>-0,61</td></tr><tr><td>syllables_per_minute</td><td>0,57</td><td>REAfrmKM</td><td>-0,56</td></tr><tr><td>LEXdvrFLC</td><td>0,47</td><td>LEXgrdBA1</td><td>-0,45</td></tr><tr><td>SYNtnsfPPS</td><td>0,41</td><td>pauses_per_minute</td><td>-0,35</td></tr><tr><td>SYNtnsfPP</td><td>0,37</td><td>length pauses</td><td>-0,34</td></tr><tr><td>SYNtnsfTAP</td><td>0,36</td><td>SYNtnsfINDP</td><td>-0,30</td></tr><tr><td>SYNposADP</td><td>0,36</td><td>SYNposINTJ</td><td>-0,25</td></tr><tr><td>SYNposSCONJ</td><td>0,31</td><td>LEXnrmIMG</td><td>-0,24</td></tr><tr><td>SYNtnsfSUBP</td><td>0,30</td><td></td><td></td></tr><tr><td>SYNposNOUN</td><td>0,29</td><td></td><td></td></tr><tr><td>LEXnghPHO</td><td>0,27</td><td></td><td></td></tr><tr><td>SYNtnsfINDI</td><td>0,26</td><td></td><td></td></tr><tr><td>SYNposADJ</td><td>0,25</td><td></td><td></td></tr><tr><td>SYNtnsfINDPQP</td><td>0,25</td><td></td><td></td></tr><tr><td>SYNtnsfINDFS</td><td>0,23</td><td></td><td></td></tr><tr><td>SYNtnsfINF</td><td>0,22</td><td></td><td></td></tr></tbody></table>

<table><caption>TABLE 7 – 29 variables finales et leurs coefficients de corrélation de Spearman avec le niveau du CECR dans le dialogue (p<,01)</caption><thead><tr><th>Variables</th><th>Corrélation Spearman</th><th>Variables</th><th>Corrélation Spearman</th></tr></thead><tbody><tr><td>LENsntWRD</td><td>0,65</td><td>LEXgrdFSOOUA1</td><td>-0,61</td></tr><tr><td>syllables_per_minute</td><td>0,64</td><td>REAfrmKM</td><td>-0,57</td></tr><tr><td>LEXdvrFLC</td><td>0,50</td><td>LEXgrdBA1</td><td>-0,45</td></tr><tr><td>SYNposADP</td><td>0,40</td><td>pauses_per_minute</td><td>-0,43</td></tr><tr><td>SYNposSCONJ</td><td>0,40</td><td>SYNtnsfINDP</td><td>-0,38</td></tr><tr><td>SYNtnsfTAP</td><td>0,40</td><td>length pauses</td><td>-0,37</td></tr><tr><td>SYNtnsfPP</td><td>0,39</td><td>SYNposINTJ</td><td>-0,35</td></tr><tr><td>SYNtnsfPPS</td><td>0,37</td><td>LEXnrmIMG</td><td>-0,34</td></tr><tr><td>SYNtnsfSUBP</td><td>0,36</td><td></td><td></td></tr><tr><td>SYNtnsfINDI</td><td>0,35</td><td></td><td></td></tr><tr><td>SYNtnsfINDPQP</td><td>0,32</td><td></td><td></td></tr><tr><td>SYNposNOUN</td><td>0,27</td><td></td><td></td></tr><tr><td>SYNtnsfINDFS</td><td>0,26</td><td></td><td></td></tr><tr><td>SYNposX</td><td>0,24</td><td></td><td></td></tr><tr><td>SYNposADJ</td><td>0,23</td><td></td><td></td></tr><tr><td>SYNtnsfCNDPS</td><td>0,23</td><td></td><td></td></tr><tr><td>LEXnghPHO</td><td>0,22</td><td></td><td></td></tr><tr><td>SYNtnsfINDPC</td><td>0,22</td><td></td><td></td></tr><tr><td>SYNtnsfINF</td><td>0,21</td><td></td><td></td></tr><tr><td>SYNtnsfINFC</td><td>0,21</td><td></td><td></td></tr><tr><td>SYNtnsfINDPS</td><td>0,20</td><td></td><td></td></tr></tbody></table>
<table><caption>TABLE 8 – 21 variables finales et leurs coefficients de corrélation de Spearman avec le niveau du CECR dans le monologue (p<,01)</caption><thead><tr><th>Variables</th><th>Corrélation Spearman</th><th>Variables</th><th>Corrélation Spearman</th></tr></thead><tbody><tr><td>SYNdevTUL</td><td>0,57</td><td>LEXgrdFMLA1</td><td>-0,61</td></tr><tr><td>LEXdvrFLC</td><td>0,51</td><td>REAfrmKM</td><td>-0,53</td></tr><tr><td>SYNtnsfPPS</td><td>0,45</td><td>LEXgrdBA1</td><td>-0,42</td></tr><tr><td>syllables_per_minute</td><td>0,38</td><td>length_pause</td><td>-0,26</td></tr><tr><td>SYNtnsfPP</td><td>0,36</td><td>SYNposPRON</td><td>-0,22</td></tr><tr><td>SYNtnsfTAP</td><td>0,31</td><td>pauses_per_minute</td><td>-0,22</td></tr><tr><td>LEXnghPHO</td><td>0,30</td><td></td><td></td></tr><tr><td>SYNposNOUN</td><td>0,27</td><td></td><td></td></tr><tr><td>SYNposADV</td><td>0,26</td><td></td><td></td></tr><tr><td>SYNposADP</td><td>0,26</td><td></td><td></td></tr><tr><td>SYNposSCONJ</td><td>0,24</td><td></td><td></td></tr><tr><td>SYNtnsfSUBP</td><td>0,23</td><td></td><td></td></tr><tr><td>SYNposADJ</td><td>0,22</td><td></td><td></td></tr><tr><td>SYNtnsfINF</td><td>0,21</td><td></td><td></td></tr><tr><td>SYNtnsfINDFS</td><td>0,21</td><td></td><td></td></tr></tbody></table>
# Optimisation des performances d'un système de reconnaissance automatique de la parole pour les commentaires sportifs :
## fine-tuning de Whisper

Camille Lavigne Alex Stasica¹ Anna Kupsc²

(1) Utrecht University, Utrecht, 3500-3585, Pays-Bas

(2) CLLE-ERSSàB-UMR-5263, Université Bordeaux Montaigne, 33600, Pessac, France
lavignecamille@yahoo.fr, a.stasica@uu.nl, anna.kupsc@u-bordeaux-montaigne.fr

## RÉSUMÉ

Malgré les performances élevées des systèmes automatiques de reconnaissance de la parole (Automatic Speech Recognition; ASR) sur des corpus généraux, leur efficacité est considérablement réduite lorsqu'ils sont confrontés à des corpus spécialisés. Ces corpus peuvent notamment contenir du lexique propre à des domaines spécifiques, des accents ou du bruit de fond rendant la transcription ardue. Cette étude vise à évaluer les avantages de l'optimisation d'une transcription automatique, par opposition à manuelle, après *fine-tuning* d'un modèle d'ASR de dernière génération, Whisper (Radford et al., 2023), sur un corpus spécialisé de commentaires sportifs de petite taille. Nos analyses quantitatives et qualitatives indiquent que Whisper est capable d'apprendre les particularités d'un corpus de spécialité, atteignant des performances égales où supérieures aux transcripteurs humains, avec une quantité de données limitée. Cette recherche met en lumière le rôle que l'intelligence artificielle, notamment les larges modèles de langage, peut jouer pour faciliter la création de corpus spécialisés.

## ABSTRACT

### Performance optimization of an automatic speech recognition system for sport commentaries :
### Whisper fine-tuning

Despite the great performance of automatic speech recognition (ASR) systems on general corpora, their performance is greatly impacted when confronted with specialized corpora. These corpora can include specialized lexicon, accents or background noise in the audio making the transcription harder. This study aims to evaluate the potential benefits of optimizing automatic transcription, as opposed to a manual one, by *fine-tuning* a state-of-the-art ASR model, namely Whisper (Radford et al., 2023), on a small-size specialized corpus of sport commentaries. Our quantitative and qualitative analyses indicate that Whisper is capable of learning the features of our specialized corpus, reaching equal or higher to human transcribers performance, with a limited quantity of data. This research highlights the role that artificial intelligence, particularly large language models, can play in facilitating the creation of specialized corpora.

**MOTS-CLÉS** : Whisper; large modèle de langage; fine-tuning; corpus de spécialité; reconnaissance automatique de la parole.

**KEYWORDS** : Whisper; large language model; fine-tuning, specialized corpus; automatic speech recognition.

<figure><img src="image_186.png" /></figure>
# 1 Introduction

La recherche sur les corpus oraux en France a connu un développement plus lent que celle des corpus écrits. Malgré la présence de quelques corpus oraux dès les années 70-80, comme ESLO Baude & Dugua (2016), leur exploitation a été freinée par des difficultés de transcription, d'annotation et d'automatisation de l'analyse, en raison des particularités de la langue parlée. Les corpus de langue parlée, bien qu'ils ne soient pas nécessairement des corpus de référence, soulignent la diversité des situations de parole, des locuteurs et des dialectes d'une langue. Les exigences nécessaires à l'exploitation des corpus oraux ont freiné leur développement. Par conséquent, bien que ces corpus permettent l'analyse de phénomènes linguistiques particuliers, leur utilisation pour l'étude de genres de discours spécifiques reste souvent limitée en raison de la difficulté à constituer des corpus de grande taille. De nos jours, malgré la présence de nombreux corpus oraux, les corpus de discours de spécialité restent rares.

Cet article se concentre sur le commentaire sportif en direct, un genre de discours médiatique et journalistique présentant des caractéristiques linguistiques et prosodiques particulières. Ce genre reste sous-étudié, souvent analysé sur de courts extraits et peu diversifiés en termes de sports (le plus souvent des sports d'équipes et de ballon de type football, basket, rugby). Pourtant, il présente des particularités linguistiques tout à fait intéressantes pour différents domaines de la linguistique (p.ex. syntaxe, lexicologie, prosodie; voir Augendre et al. 2018; Fontagnol et al. 2023) et du TAL. En effet, la transcription automatique de ce type de production de parole pose un grand nombre de difficultés pour les modèles de reconnaissance automatique de la parole (ASR <fnref n="1" />) à cause du bruit de fond important, l'utilisation du lexique spécifique au sport ou un grand nombre d'entités nommées. Dans le même temps, les études qui s'intéressent à ce genre de discours, si elles sont fondées sur corpus, le sont très souvent sur des corpus de petite taille, car très longs à transcrire, et qui ne font pas l'objet d'une diffusion large auprès de la communauté. De ce fait, un moyen d'aligner et de transcrire automatiquement les données orales ou multimodales fournies par ce genre de corpus permettrait très certainement de développer les données prêtes pour l'analyse et de faciliter la description de ce discours de spécialité, tout en analysant un plus grand nombre de données. En effet, pour le moment la transcription de notre corpus est basé sur un système de student sourcing (Stasica et al., 2023) : une cinquantaine d'étudiants transcrit chaque année quelques minutes d'un enregistrement de notre corpus et au vu du temps de transcription, de correction et de vérification par les chercheurs, seulement un match maximum est transcrit par année universitaire.

Nous proposons dans cet article de discuter de l'apport que constituent les ASR pour le traitement de corpus oraux de spécialité. Plus spécifiquement, nous détaillons une première évaluation de la performance de la famille de modèles Whisper (Radford et al., 2023) sur la transcription orthographique d'un corpus multimodal de petite taille (9h30 heures d'enregistrement) de commentaires télévisuels en direct de matchs de rugby. Nous étudions également l'apport de modèles fine-tuned (FM<fnref n="2" />) sur notre corpus, permettant de combler les limites des modèles pré-entraînés (PM<fnref n="3" />) sur une des particularités de notre corpus : le lexique de spécialité. Nous explorons ainsi la possibilité qu'après un fine-tuning sur un petit ensemble de données, ces modèles atteignent des performances comparables à celles des transcripteurs humains.

Cet article est structuré comme suit : dans la section 2 nous décrivons l'état de l'art des modèles

<footnote n="1">1. Automatic Speech Recognition</footnote>

<footnote n="2">2. *fine-tuned* Models</footnote>

<footnote n="3">3. *Pre-trained Models*</footnote>
d'ASR. Dans la section 3, nous décrivons notre méthodologie et notre corpus. Dans la section 4, nous présentons les résultats de notre recherche et enfin dans la section 5, nous discutons des perspectives possibles pour de futures recherches.

## 2 Etat de l'art

Depuis l'introduction du premier ASR il y a plusieurs décennies (Davis et al., 1952), de nombreuses méthodologies ont été élaborées pour améliorer la précision de ces modèles, convertissant les ondes sonores en impulsions électriques. Plusieurs revues de la littérature existantes ont été publiées pour examiner l'évolution des différentes approches utilisées dans le développement des ASR (Ghai & Singh, 2012; Karpagavalli & Chandra, 2016). Pendant longtemps, le modèle de Markov caché (HMM<fnref n="4" />) associé au modèle de mélange gaussien (GMM<fnref n="5" />) est resté dominant et le plus performant dans le domaine de la reconnaissance vocale. Cependant, l'avènement des techniques du *deep learning* a ouvert la voie à des modèles surpassant les performances des HMM-GMM, notamment les modèles HMM-Deep Neural Network (HMM-DNN) et les modèles end-to-end (Wang et al., 2019).

Les récents modèles d'ASR ont abandonné l'utilisation des HMM, mais ont continué à exploiter les techniques de *deep learning*. Parmi les modèles ayant révolutionné la reconnaissance vocale, on trouve le modèle Wav2Vec (Schneider et al., 2019). Il s'agit du premier modèle à adopter une approche de pré-entraînement non supervisé, apprenant à partir de données audio non transcrites. Ce pré-entraînement permet à Wav2Vec d'apprendre des représentations générales de la parole, exploitables pour améliorer les performances sur des tâches ultérieures où les données annotées sont limitées. C'est le cas pour des tâches telles que la reconnaissance vocale, où l'annotation de données est fastidieuse et rare.

L'architecture de Wav2Vec se compose d'un réseau neuronal convolutif (CNN) suivi d'un réseau de neurones basé sur des *transformers*. Le CNN encode les formes d'ondes audio brutes pour extraire des représentations de haut niveau, puis les transmet à l'encodeur du *transformer* pour un traitement ultérieur, permettant la capture d'informations contextuelles.

Après le pré-entraînement, Wav2Vec peut être *fine-tuned* sur des données annotées spécifiques à des tâches d'ASR. Pendant cette phase de *fine-tuning*, le modèle apprend de manière supervisée, adaptant les représentations pré-entraînées aux caractéristiques spécifiques des données cibles, ce qui améliore les performances sur les tâches de reconnaissance vocale. L'utilisation d'un pré-entraînement non supervisé permet l'exploitation d'une plus grande quantité de données, car il n'est pas nécessaire de compléter les données sources avec des transcriptions. Wav2Vec maintient actuellement des performances de pointe sur divers ensembles de tests ASR, même lorsqu'il est formé sur des données annotées limitées.

Cependant, les encodeurs pré-entraînés entièrement non supervisés, tels que Wav2vec, présentent des limites. Selon Radford et al. (2023), bien qu'ils apprennent des représentations vocales de haute qualité, ils souffrent d'un manque de décodeur aussi performant pour associer ces représentations à des sorties utilisables. Cette lacune nécessite une étape de *fine-tuning* pour des tâches telles que la reconnaissance vocale, ce qui peut être complexe et limiter leur utilité.

Les auteurs notent également que des études ont démontré que les ASR pré-entraînés sur plusieurs en-

<footnote n="4">4. Hidden Markov Model</footnote>

<footnote n="5">5. Gaussian Mixture Model</footnote>
sembles de données ou domaines sont plus robustes et généralisent plus efficacement. Par conséquent, des recherches ont mis en avant l'utilisation de données audio avec des transcriptions de référence où l'exigence de validation manuelle a été assouplie, permettant l'utilisation d'un volume accru de données (p.ex. de 10 à 30 000 heures d'audio) pour l'entraînement des ASR. Cela permet d'établir un équilibre entre qualité et quantité de données.

Ainsi, Radford et al. (2023) proposent les modèles Whisper pour pallier les problèmes cités ci-dessus, étendant la reconnaissance vocale faiblement supervisée à un vaste ensemble de données comprenant 680,000 heures de données audio transcrites. Ces modèles incluent un entraînement multilingue et multitâche, et produisent des résultats comparables aux modèles de pointe actuellement disponibles. Les auteurs choisissent une architecture transformer d'encodeur-décodeur (Vaswani et al., 2017), car cette architecture a montré son efficacité pour la génération de texte.

Ainsi, Whisper se distingue des modèles précédents. Contrairement à ses prédécesseurs, en tant que modèle end-to-end, Whisper ne requiert pas de fine-tuning avant son application à un ensemble de données, ce qui lui confère une robustesse surpassant les autres modèles, même si, ses performances sont plus faibles sur des données moins représentées lors de son entraînement (p.ex. Jain et al. (2023a)). En effet, ayant été entraîné sur une grande variété de données audio et évalué dans un cadre zero-shot, c'est-à-dire sur des ensembles de données différents de ceux de l'entraînement, il est capable de généraliser à travers divers domaines et tâches. Les auteurs visent ainsi à développer un système de traitement vocal fonctionnel adaptable à différents domaines, tâches et langues, sans nécessiter de réglages supplémentaires, ce qui le différencie des modèles antérieurs, souvent limités dans leur capacité à faire des généralisations. En effet, même de légères divergences entre les ensembles d'entraînement et de test altèrent significativement les performances des modèles précédents (Radford et al., 2023).

Malgré les atouts de Whisper par rapport aux autres modèles, il convient de souligner que, dans le cadre de notre recherche sur les corpus de spécialité, certaines fonctionnalités requises ne sont pas intégrées dans les modèles Whisper de base. En particulier, ces modèles ne sont pas capables de diariser, c'est-à-dire de reconnaître les différents locuteurs, et leur alignement au signal sonore est mal adapté, fonctionnant davantage comme un générateur de sous-titres, pas assez précis pour notre objectif de recherche. Malgré la robustesse du modèle, Radford et al. (2023) admettent la nécessité d'étudier le fine-tuning de Whisper pour améliorer ses performances dans des contextes spécifiques. Par exemple, des adaptations ont été nécessaires pour décrire la parole enfantine (Jain et al., 2023a), pour des langues peu représentées dans les données d'entraînement (comme le roumain (Păis et al., 2023) ou le turc (Oyucu, 2023)), ainsi que pour des langues minoritaires ou mixtes (Xie et al., 2023).

# 3 Corpus et méthodologie

## 3.1 Données

### 3.1.1 Données brutes

Notre corpus est un corpus oral de spécialité consistant en plusieurs matchs de rugby de deux coupes du monde différentes : celle de 2007 (Lortal & Mathon, 2008) et celle de 2015. Pour la première nous avons 36 heures d'enregistrement audio pour certains matchs et vidéos pour d'autres et pour la seconde nous possédons 25 heures d'enregistrement vidéo. Ce corpus est considéré de spécialité
de par ces nombreuses particularités linguistiques, notamment lexicales (Fontagnol et al., 2023) et syntaxiques (Augendre et al., 2018) avec une présence moindre de structures verbales et une proéminence de structures nominales spécifiques (p.ex. entités nommées) et de lexique spécifique au rugby et au commentaire sportif.

L'omniprésence de ce lexique spécifique dans notre corpus pourrait potentiellement affecter les performances des modèles d'ASR. C'est pourquoi le *fine-tuning* serait nécessaire pour permettre au modèle d'acquérir ces spécificités lexicales et ainsi augmenter sa performance jusqu'à atteindre celle d'un transcripteur humain.

La production des transcriptions se fait en 2 phases. La première phase repose sur le *student sourcing* pour obtenir une première transcription de l'audio, alignement compris. Ces transcriptions sont ensuite validées par un transcripteur expert (ie. enseignant chercheur ou doctorant). Toutes les transcriptions sont réalisées sur Transcriber (Barras et al., 2001), et l'annotation d'actions de jeu sur les images des vidéos de deux matchs sont réalisées avec Aegissub<fnref n="6" />. Néanmoins, ces annotations ne sont pas incluses dans la présente étude.

Tous les matchs ne sont pas totalement transcrits et annotés. Pour cette raison, nous n'utilisons comme corpus de travail pour cette recherche que six matchs pour lesquels nous possédons une transcription «gold», c'est-à-dire vérifiée par un transcripteur expert. Les six matchs cumulent 9h30 d'audio. Ces 9h30 d'audio transcrits contiennent 94514 mots soit 138751 tokens (mots et la ponctuation) après tokenization. Pour chaque match, la transcription est orthographique, alignée au signal sonore, notant les pauses silencieuses d'au moins 200 ms comme requis dans l'état de l'art (Candea, 2000) et distingue les différents locuteurs présents dans l'audio.

Le tableau 1 (Annexe A) présente les deux commentateurs principaux, un journaliste et un expert commentant chaque match, le nom de chaque match du corpus de travail ainsi que l'année où il a été joué.

## 3.1.2 Pré-traitement des données

Le corpus de travail est préalablement divisé en un ensemble d'entraînement/validation et un ensemble de test. Pour les matchs utilisés dans l'ensemble d'entraînement, un échantillon sur six a été réservé pour la validation soit 1h20 d'audio (14% du corpus de travail). Les échantillons restant, 6h30 d'audio (68% du corpus de travail) constituent l'ensemble d'entraînement. Pour s'assurer de la capacité de généralisation après *fine-tuning*, nous réservons un match entier à l'ensemble de test soit 1h40 d'audio (18% du corpus de travail). Ce match, «Japon-Fidji», est donc *out-of-sample*, c'est-à-dire qu'aucun passage de ce match n'est donné au modèle durant l'entraînement. De plus, les commentateurs de ce match ne sont pas représentés dans l'ensemble d'entraînement. Pour chaque match l'audio et la transcription correspondante ont été découpés en tranches de 30 secondes, soit la taille maximale de la fenêtre de contexte de Whisper. Le découpage est fait sur les unités inter-pausales, définies par Nguyen et al. (2022) comme une détection d'activité vocale continue par un locuteur, délimitée par un silence de plus de 200 ms des deux côtés.

Conformément à la méthode utilisée par les auteurs de Whisper pour leur propre corpus, tous les enregistrements audio ont été rééchantillonnés à 16 000 Hz, et une représentation du Mel-spectrogramme en magnitude logarithmique à 80 canaux a été calculée sur des fenêtres de 25 millisecondes avec un pas de 10 millisecondes (Radford et al., 2023).

<footnote n="6">6. https://aegisub.org/</footnote>
## 3.2 Fine-tuning de Whisper

Comme mentionné précédemment, en raison de la fréquence élevée d'entités nommées et du lexique spécifique au rugby, les PM présentent généralement des performances limitées sur notre corpus. Ainsi, un processus de *fine-tuning* sur nos propres données s'avère nécessaire pour améliorer la reconnaissance de ce lexique spécifique. De plus, Whisper, comme tout modèle d'ASR, est sensible au bruit. Il est probable que les puissants bruits de fond particuliers à l'environnement des grands évènements sportifs dégradent la qualité de la transcription, dégradation que pourrait compenser un fine-tuning du modèle. Différentes méthodes de *fine-tuning* ont été proposées ces dernières années, parmi lesquelles le *Low-Rank Adaptation* (LoRA) (Hu et al., 2021), que nous avons retenu pour sa sobriété computationnelle et sa facilité d'implémentation. L'utilisation de cette méthode nous a permis d'effectuer le *fine-tuning* de la famille de modèles Whisper du Tiny (33 millions de paramètres) au Large (1600 millions de paramètres) avec une unique NVDIA RTX 6000 24GB VRAM<sup>7</sup>. La *quantization* (Li et al., 2023) couplée à l'utilisation d'un float half-précision (float 16bit) dégradaient fortement les performances des modèles lors de l'inférence. Nous avons donc entraîné nos modèles en full précision (float 32bit).

Concernant les hyper-paramètres de LoRA, le rang r=1, le *dropout* des matrices de poids a été fixé à 0.3 et alpha=64. Ce paramétrage permet de réduire l'*overfitting*, très problématique sur les modèles les plus larges. Le *learning rate* est fixé à 1e-3 avec *warm-up*. Le nombre d'epochs par défaut est fixé à 15 avec *early stopping*. L'entraînement d'un modèle sur les 6h30 heures d'audio des données d'entraînement prend entre 1h et 3h selon la taille du modèle.

## 3.3 Évaluation

L'enjeu du *fine-tuning* revêt une double importance : améliorer la qualité globale de la transcription (p.ex. transcription plus précise malgré le bruit de fond, meilleure performance en français), et affiner la transcription des éléments spécifiques à notre corpus, notamment le lexique propre aux commentaires sportifs pour les matchs de rugby.

Pour évaluer les améliorations apportées par nos modèles *fine-tuned*, nous avons adopté une approche double, à la fois quantitative et qualitative. Tout d'abord, l'évaluation quantitative suit le même protocole que celui utilisé dans les publications majeures en ASR ces dernières années, à savoir le calcul de la *Word Error Rate* (WER) entre la référence et une prédiction. Cette métrique présente néanmoins un défaut majeur dans notre cas. Elle pénalise de manière disproportionnée les hallucinations de Whisper<sup>8</sup>, qui sont rares, facilement détectables et corrigeables en remplaçant la génération *greedy search* par du *sampling* avec *beam search* et température *schedduling* (Radford et al., 2023). Puisque les transcriptions ayant une WER supérieure à 100 sont systématiquement des hallucinations, pour chaque segment de transcription évalué, nous définissons une borne supérieure telle que : WER ∈ [0, 100].

Ensuite, nous avons procédé à des évaluations qualitatives afin de déterminer (i) si les performances des FM augmentent par rapport aux PM sur les éléments spécifiques à notre corpus de spécialité, et (ii) pour établir un lien entre son éventuelle amélioration quantitative et une meilleure compréhension

<footnote n="7">7. Les expériences présentées dans cet article ont été réalisées par l'intermédiaire de Gilles Boyé et de Catherine Mathon en utilisant la plateforme OSIRIM qui est administrée par l'IRIT et soutenue par CNRS, la région Midi-Pyrénées, le gouvernement français, et le FEDER (voir http://osirim.irit.fr/site/fr).</footnote>

<footnote n="8">8. Un exemple d'hallucination qui peut être trouvé dans notre corpus : "alors on du mal au au au au au au au au au au au</footnote>
et transcription des caractéristiques de notre corpus. Plusieurs éléments peuvent être représentatifs de notre corpus, tels que les noms propres (p.ex. noms des joueurs, de l'arbitre, des commentateurs), dans la mesure où nous manquons de moyens efficaces pour permettre au modèle d'apprendre des noms propres qu'il n'aurait pas rencontrés lors de l'entraînement, nous nous concentrons sur le lexique spécialisé du rugby dans notre analyse qualitative.

Pour l'évaluation qualitative de la reconnaissance du lexique spécialisé, nous avons utilisé AnaText <fnref n="9" /> afin de sélectionner dans notre corpus d'entraînement 20 lemmes qui sont peu fréquents dans un corpus de référence standard, mais qui présentent une spécificité élevée dans notre corpus. Nous étudions également la transcription de la disfluence "euh", de l'interjection "hein" et de la répétition d'amorces, qui sont fréquentes dans tout discours oral mais non transcrits par Whisper. Nous avons exclu de notre analyse les emprunts à l'anglais (p.ex. «drop») afin d'éviter que le large pré-entraînement dont Whisper a bénéficié sur l'anglais, n'influe sur nos analyses : si ces lemmes sont rares en français et spécifiques à notre corpus, ils sont possiblement plus fréquents en anglais. Nous avons également exclu les lemmes spécifiques à certains matchs, tels que la nationalité des joueurs (p.ex. roumaine, argentine), ainsi que des termes plus généraux (p.ex. «introduction»). Bien que ces termes puissent être analysés dans une étude future afin de graduer les performances de FM sur différents types d'éléments lexicaux.

Le premier tableau (Tableau 2) de l'annexe 6.2 résume les lemmes utilisés, leur fréquence dans notre corpus, leur fréquence dans le corpus de référence, et leur spécificité (LogLike). Nous avons ensuite vérifié que tous ces lemmes apparaissent dans la transcription du match utilisée pour le test, et les lemmes ainsi que leur fréquence et leur spécificité sont présentés dans le deuxième tableau (Tableau 3) de l'annexe 6.2. Enfin, nous avons examiné, pour chaque taille de modèles (PM et FM), la différence d'occurrence de ces lemmes avec la transcription de référence.

# 4 Résultats

## 4.1 Quantitatif

Les valeurs de WER sont reportées pour chacun des modèles Whisper par ordre croissant de nombre de paramètres en Figure 1. Pour tous les modèles, quel que soit leur taille, le *fine-tuning* avec la méthode LoRA a permis de diminuer significativement la métrique WER sur l'ensemble de test.

On remarque que plus le modèle est large, plus l'écart de performance entre le modèle *Pre-trained* et sa version *Fine-tuned* est important. Les modèles les plus larges sont donc ceux qui ont le plus bénéficié du fine-tuning. Par exemple le modèle Tiny a vu sa WER diminuer de 14% tandis que cette diminution est de 54% pour whisper Large-v2. Pour évaluer la qualité de la transcription d'un ASR, il est également pertinent de la comparer avec les performances humaines sur cette même tâche. La transcription de notre corpus reposant en partie sur du *student sourcing*, il nous est possible de calculer la WER entre les transcriptions des étudiants et ces mêmes transcriptions après correction par un expert (étudiants vs gold sur la Figure 1). Il est notable que les modèles medium et large pré-entraînés obtiennent des performances similaires à celles des étudiants, confirmant une fois de plus que Whisper produit des transcriptions décentes en *zero-shot learning*. L'écart se creuse après *fine-tuning*, Whisper Small dépassant déjà largement les étudiants en terme de WER. D'un point de vue quantitatif, il est certain que le *fine-tuning* est un excellent choix pour qui dispose de la puissance

<footnote n="9">9. http://phraseotext.univ-grenoble-alpes.fr/anaText/index.php</footnote>
de calcul nécessaire. Néanmoins on ne peut déduire de ce simple chiffre ce qui a été amélioré par le *fine-tuning* dans la transcription.

<figure><img src="image_187.png" /><figcaption>FIGURE 1 – Performance des modèles Whisper *Pre-trained* et *Fine-tuned* par ordre croissant de taille</figcaption></figure>

## 4.2 Qualitatif

Les résultats de l'analyse qualitative sont présentés en Figure 2. Pour chaque PM et FM nous avons calculé l'erreur absolue moyenne (MAE<fnref n="10" />) du nombre total d'occurrences entre la transcription prédite et le gold pour 20 lemmes de notre ensemble de test appartenant au vocabulaire spécifique du sport. Les résultats montrent deux choses : (i) plus le modèle est large, plus la MAE est faible<fnref n="11" />, (ii) les FM ont une MAE systématiquement plus faible que les PM, preuve que le modèle, avec seulement 6h30 d'audio et de transcriptions est capable d'apprendre du lexique spécifique.

Le détail des lemmes pour chaque modèle est exposé en annexe 6.3 (Tableau 4). Certains lemmes, tels que «pénalité», «essai» et «touche», sont déjà bien reconnus, même par les modèles de petites tailles PM et FM, suggérant leur présence fréquente dans l'ensemble d'apprentissage du pré-entraînement. Le Tiny-FM présente dans sa transcription une hallucination faisant apparaître ces lemmes plus de fois que dans la transcription de référence, comme observé avec «essai» qui apparaît 96 fois dans les transcriptions du Tiny-FM contre seulement 67 fois dans le gold.

D'autres lemmes, tels que «mêlée», voient leur reconnaissance s'améliorer avec l'augmentation de la taille du modèle et bénéficient d'une meilleure détection suite au *fine-tuning*. Les PM éprouvent des difficultés à détecter certains lemmes spécifiques au rugby, tels que «chandelle» et «rebond», détectés moitié de fois moins que par les FM en faisant la somme du total de détection pour ces lemmes pour toutes les tailles de PM comparés à la somme de leur détection par toutes les tailles de FM. Les deux lemmes comprenant un tiret («en-avant», «en-but») ne sont pas reconnus par les PM, exception faite du modèle Base-PM qui identifie presque toutes les occurrences de «en-but». Les tentatives de

<footnote n="10">10. Mean Absolute Error</footnote>

<footnote n="11">11. Excepté pour le modèle large, faisant plus d'erreur que le modèle medium</footnote>
recherche de ces lemmes sans tiret ou avec seulement une partie du lemme (avant, but) n'ont pas donné de résultats concluants non plus, les modèles ne parvenant pas à les détecter.

<figure><img src="image_188.png" /><figcaption>FIGURE 2 – MAE du nombre d'occurrences des PM et FM par rapport à la référence</figcaption></figure>

Certaines disfluences et interjections apparaissent dans notre corpus. Elles présentent l'intérêt de ne pas être spécifiques à un corpus de spécialité, car présentes dans tout type de discours oral et plutôt absentes de notre type de corpus, contrairement au lexique, tout en étant absentes des transcriptions des modèles PM. On constate une détection de 0% sur toute la famille de modèles PM. Après *fine-tuning*, Whisper reconnaît entre 38% (base) à 92% (large-v2) la disfluence "euh" et l'interjection "hein", les plus courantes. D'autres types de disfluences, comme les amorces, ne sont jamais identifiés par Whisper. Cette lacune peut être attribuée à notre convention de transcription (ICOR, 2013), mais aussi au fait que Whisper n'a jamais été exposé à ces disfluences lors de son entraînement. En effet, Whisper est principalement basé sur du sous-titrage de films/séries, où la spontanéité du langage peut être discutée, et où l'annotation des disfluences n'est ni nécessaire ni souhaitée.

# 5 Conclusion et Perspectives

La présente étude vise à évaluer l'impact du *fine-tuning* des différentes tailles de modèles de Whisper sur la transcription de corpus spécialisés, en particulier dans le contexte des commentaires sportifs. Les résultats obtenus, tant qualitatifs que quantitatifs, indiquent une corrélation positive entre la performance du modèle et sa taille, soulignant ainsi l'efficacité accrue des modèles plus larges. Par ailleurs, plus les modèles sont larges plus l'écart entre leur performance et celle de leur équivalent PM est important. Cependant, en raison de la taille limitée de notre corpus et du nombre de modèles, il est difficile de tirer des conclusions définitives, et des recherches supplémentaires avec plus de données sont nécessaires pour confirmer ou infirmer cette corrélation taille du modèle /gain après *fine-tuning*. De plus, il serait intéressant de mettre en relation la taille des modèles avec la quantité de données annotées nécessaire pour atteindre un certain niveau de performance. Jain *et al.* (2023b) ont
amorcé une telle démarche mais de façon limitée.

Ensuite, alors même qu'une analyse lexicale a été effectuée dans cette étude, la spécificité de notre
corpus est multidimensionnelle, justifiant ainsi la réalisation d'autres analyses pour évaluer l'impact,
par exemple, des accents des commentateurs, de la syntaxe particulière des commentaires sportifs ou
du bruit de fond sur la performance des ASR. Dans ce contexte, il convient d'explorer dans quelle
mesure le *fine-tuning* de modèles tels que Whisper peut renforcer leur robustesse face à ces défis en
les comparant aux PM.

En outre, pour mener des analyses grammaticales, l'utilisation d'analyseurs syntaxiques est courante, mais ces outils nécessitent de la ponctuation, que Whisper génère. Des études sont donc nécessaires pour évaluer la capacité de Whisper à insérer une ponctuation cohérente aux endroits appropriés.

Enfin, des recherches supplémentaires pourraient être entreprises pour mieux appréhender les types
de périodes discursives les plus difficiles à traiter pour les PM et pour évaluer le potentiel des FM à
surmonter ces difficultés. Dans le contexte des commentaires sportifs, qui se divisent généralement en
deux types, à savoir les *colour commentaries* (Hartmann, 2013) et les narrations d'action en temps réel
(*play-by-play*), une analyse séquentielle pourrait permettre de déterminer si les modèles performent
mieux sur l'un ou l'autre type, et si le *fine-tuning* améliore leur performance dans ces deux catégories.

Cette étude s'est principalement concentrée sur l'amélioration de la transcription à partir d'un large
modèle de langage affiné, visant à réduire le besoin de corrections humaines par rapport à une
transcription manuelle ou avec un PM. Toutefois, pour optimiser la création de corpus spécialisés,
notamment dans le cadre des études en linguistique de l'oral, et particulièrement dans notre contexte
où des analyses prosodiques sont réalisées, il est essentiel de garantir la précision de l'alignement
des unités inter-pausales. Malgré les capacités de Whisper dans cette tâche, son niveau de précision
reste comparable à celui d'un générateur de sous-titres, ce qui n'est pas suffisant pour nos besoins de
recherche. De plus, Whisper ne prend pas en charge la diarisation, c'est-à-dire la distinction entre les
différents locuteurs.

Une précédente étude (Stasica et al., 2023) a souligné la similarité en termes de temps nécessaire entre
la transcription, l'alignement et la diarisation entièrement manuelles des commentaires sportifs, et le
temps requis pour corriger la transcription de Whisper *pre-trained*, réaligner et diariser. Les résultats
ont montré que la majeure partie du temps n'est pas consacrée à la correction de la transcription, mais
à l'alignement et à la diarisation.

Actuellement, nos recherches se concentrent sur l'automatisation de l'alignement et de la diarisation
afin d'optimiser la création de nos corpus. Whisper dispose déjà de *timestamps* sous forme de *token*
spéciaux ajoutés durant la génération de texte. Néanmoins ceux-ci souffrent d'une précision instable,
due à la nature de l'ensemble d'entraînement faiblement supervisé. Pour remédier à ce problème, des
solutions ont été proposées offrant une précision à plus ou moins 100ms, suffisant pour notre usage,
notamment le *Dynamic Time Warping* (Giorgino, 2009).

Aucune solution directe n'existe pour la diarisation avec Whisper. La solution la plus couramment
utilisée est d'ajouter un second modèle indépendant de Whisper pour effectuer la diarisation puis
fusionner diarisation / transcription / alignement, comme proposé par la librairie *pyannote* (Bredin
et al., 2020).

Au vue de la difficulté que pose ce triple problème, nous travaillons en parallèle à la création d'un
modèle généraliste qui rendrait l'implémentation plus simple tout en limitant le risque de propagation
d'erreurs entre les différentes étapes.
Références

AUGENDRE S., KUPŚĆ A., BOYÉ G. & MATHON C. (2018). Live TV sports commentaries : specific syntactic structures and general constraints. In D. LEGALLOIS, T. CHARNOIS & M. LARJAVAARA, Éds., *The Grammar of Genres and Styles : From Discrete to Non-Discrete Units*, p. 194–218. De Gruyter Mouton.

BARRAS C., GEOFFROIS E., WU Z. & LIBERMAN M. (2001). Transcriber : development and use of a tool for assisting speech corpora production. *Speech Communication*, **33**(1-2), 5–22.

BAUDE O. & DUGUA C. (2016). Les ESLO, du portrait sonore au paysage digital. *Corpus*, **15**.

BREDIN H., YIN R., CORIA J. M., GELLY G., KORSHUNOV P., LAVECHIN M., FUSTES D., TITEUX H., BOUAZIZ W. & GILL M.-P. (2020). Pyannote. audio : neural building blocks for speaker diarization. In *ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 7124–7128 : IEEE.

CANDEA M. (2000). Contribution à l'étude des pauses silencieuses et des phénomènes dits "d'hésitation" en français oral spontané. *Etude sur un corpus de récits en classe de français*.

DAVIS K. H., BIDDULPH R. & BALASHEK S. (1952). Automatic recognition of spoken digits. *The Journal of the Acoustical Society of America*, **24**(6), 637–642.

FONTAGNOL C., HANOTE S. & MATHON C. (2023). Sélection lexicale et réalisations prosodiques : impact des contraintes d'un genre discursif spécifique, le commentaire sportif télévisuel en direct. *Lexique et frontières de genres*, p. 97–116.

GHAI W. & SINGH N. (2012). Literature review on automatic speech recognition. *International Journal of Computer Applications*, **41**(8).

GIORGINO T. (2009). Computing and visualizing dynamic time warping alignments in R : the dtw package. *Journal of statistical Software*, **31**, 1–24.

HARTMANN C. (2013). *Pre-fabricated speech formulas as long-term memory solutions to working memory overload in routine language*. Thèse de doctorat, University of Zurich.

HU E. J., SHEN Y., WALLIS P., ALLEN-ZHU Z., LI Y., WANG S., WANG L. & CHEN W. (2021). Lora : Low-rank adaptation of large language models. *arXiv preprint arXiv:2106.09685*.

ICOR (2013). Convention ICOR. *Lyon : université de Lyon. URL : http://icar.cnrs.fr/projets/corinte/documents/2013_Conv_ICOR_250313.pdf*.

JAIN R., BARCOVSCHI A., YIWERE M., CORCORAN P. & CUCU H. (2023a). Adaptation of Whisper models to child speech recognition. *arXiv preprint arXiv:2307.13008*.

JAIN S., KIRK R., LUBANA E. S., DICK R. P., TANAKA H., GREFENSTETTE E., ROCKTÄSCHEL T. & KRUEGER D. S. (2023b). Mechanistically analyzing the effects of fine-tuning on procedurally defined tasks. *arXiv preprint arXiv:2311.12786*.

KARPAGAVALLI S. & CHANDRA E. (2016). A review on automatic speech recognition architecture and approaches. *International Journal of Signal Processing, Image Processing and Pattern Recognition*, **9**(4), 393–404.

LI Y., YU Y., LIANG C., HE P., KARAMPATZIAKIS N., CHEN W. & ZHAO T. (2023). Loftq : Lora-fine-tuning-aware quantization for large language models. *arXiv preprint arXiv:2310.08659*.

LORTAL G. & MATHON C. (2008). Motion and Emotion or how to align emotional cues with game actions. In *WORKSHOP PROGRAMME &*, p.79.

NGUYEN T. A., KHARITONOV E., COPET J., ADI Y., HSU W.-N., ELKAHKY A., TOMASELLO P., ALGAYRES R., SAGOT B., MOHAMED A. & DUPOUX E. (2022). Generative spoken dialogue language modeling.
OYUCU S. (2023). Comparing the Fine-Tuning and Performance of Whisper Pre-Trained Models for Turkish Speech Recognition Task. In *2023 7th International Symposium on Multidisciplinary Studies and Innovative Technologies (ISMSIT)*, p. 1–4 : IEEE.

PĂIS V., MITITELU V. B., ION R. & IRIMIA E. (2023). Evaluating a Fine-Tuned Whisper Model on Underrepresented Romanian Speech. In *2023 International Conference on Speech Technology and Human-Computer Dialogue (SpeD)*, p. 141–145 : IEEE.

RADFORD A., KIM J. W., XU T., BROCKMAN G., MCLEAVEY C. & SUTSKEVER I. (2023). Robust speech recognition via large-scale weak supervision. In *International Conference on Machine Learning*, p. 28492–28518 : PMLR.

SCHNEIDER S., BAEVSKI A., COLLOBERT R. & AULI M. (2019). wav2vec : Unsupervised pre-training for speech recognition. *arXiv preprint arXiv:1904.05862*.

STASICA A., BOYÉ G., KUPŚĆ A. & MATHON C. (2023). Chuchoter à l'oreille des corpus : Whisper, pour augmenter la production de corpus oraux de spécialité. COSEDI.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER Ł. & POLOUKHIN I. (2017). Attention is all you need. *Advances in neural information processing systems*, **30**.

WANG D., WANG X. & LV S. (2019). An overview of end-to-end automatic speech recognition. *Symmetry*, **11**(8), 1018.

XIE P., LIU X., CHEN Z., CHEN K. & WANG Y. (2023). Whisper-MCE : Whisper Model Finetuned for Better Performance with Mixed Languages. *arXiv preprint arXiv:2310.17953*.

# 6 Annexes

## 6.1 Annexe A

<table><caption>TABLE 1 – Noms des matchs, des experts et des journalistes et année des match</caption><thead><tr><td>Match</td><td>Année</td><td>Journaliste</td><td>Expert</td></tr></thead><tbody><tr><td>France/Argentine</td><td>2007</td><td>Thierry Gilardi</td><td>Thierry Lacroix</td></tr><tr><td>France/Canada</td><td>2015</td><td>Christian Jeanpierre</td><td>Bernard Laporte</td></tr><tr><td>France/Roumanie</td><td>2015</td><td>Christian Jeanpierre</td><td>Bernard Laporte</td></tr><tr><td>France/Nouvelle-Zélande</td><td>2015</td><td>Christian Jeanpierre</td><td>Bernard Laporte</td></tr><tr><td>Afrique du Sud/Argentine</td><td>2015</td><td>Christian Jeanpierre</td><td>Bernard Laporte</td></tr><tr><td>Japon/Fidji</td><td>2007</td><td>Nicolas Delage</td><td>Jérôme Papin</td></tr></tbody></table>
## 6.2 Annexe B : détail lexique spécifique

<table><caption>TABLE 2 – Fréquence et degré de spécificité de vingt lemmes dans la transcription gold des matchs servant à l'entraînement de Whisper classé par Anatext</caption><thead><tr><td>Lemme</td><td>Fréquence</td><td>CorpusRef (par million)</td><td>LogLike (spécificité)</td></tr></thead><tbody><tr><td>en-avant</td><td>126</td><td>0.035</td><td>2684.069</td></tr><tr><td>pénalité</td><td>132</td><td>1.09</td><td>1916.386</td></tr><tr><td>essai</td><td>208</td><td>20.895</td><td>1601.322</td></tr><tr><td>touche</td><td>184</td><td>16.28</td><td>1467.165</td></tr><tr><td>mêlée</td><td>121</td><td>4.875</td><td>1185.473</td></tr><tr><td>plaquage</td><td>45</td><td>0.4</td><td>646.637</td></tr><tr><td>talonneur</td><td>29</td><td>0.035</td><td>532.528</td></tr><tr><td>relance</td><td>29</td><td>0.595</td><td>341.643</td></tr><tr><td>pénaliser</td><td>26</td><td>0.47</td><td>319.679</td></tr><tr><td>buteur</td><td>20</td><td>0.15</td><td>294.184</td></tr><tr><td>pilier</td><td>44</td><td>10.305</td><td>260.996</td></tr><tr><td>hors-jeu</td><td>24</td><td>1.47</td><td>211.049</td></tr><tr><td>envoi</td><td>32</td><td>6.1</td><td>203.258</td></tr><tr><td>sélectionneur</td><td>12</td><td>0.035</td><td>199.177</td></tr><tr><td>rebond</td><td>18</td><td>0.91</td><td>166.349</td></tr><tr><td>plaqueur</td><td>10</td><td>0.035</td><td>162.334</td></tr><tr><td>en-but</td><td>11</td><td>0.12</td><td>153.557</td></tr><tr><td>chandelle</td><td>27</td><td>8.725</td><td>142.668</td></tr><tr><td>renvoi</td><td>20</td><td>4.36</td><td>121.545</td></tr><tr><td>ailier</td><td>14</td><td>1.065</td><td>116.263</td></tr></tbody></table>
<table><caption>TABLE 3 – Fréquence et degré de spécificité de vingt lemmes dans la transcription gold du match servant au test du *fine-tuning* de Whisper classé par Anatext</caption><thead><tr><th>Lemme</th><th>Fréquence</th><th>CorpusRef (par million)</th><th>LogLike (spécificité)</th></tr></thead><tbody><tr><td>pénalité</td><td>41</td><td>1.09</td><td>575.298</td></tr><tr><td>essai</td><td>67</td><td>20.895</td><td>564.366</td></tr><tr><td>touche</td><td>61</td><td>16.28</td><td>533.237</td></tr><tr><td>mêlée</td><td>30</td><td>4.875</td><td>293.029</td></tr><tr><td>en-avant</td><td>13</td><td>0.035</td><td>258.228</td></tr><tr><td>ailier</td><td>18</td><td>1.065</td><td>215.516</td></tr><tr><td>plaquage</td><td>12</td><td>0.4</td><td>160.688</td></tr><tr><td>hors-jeu</td><td>11</td><td>1.47</td><td>111.966</td></tr><tr><td>buteur</td><td>7</td><td>0.15</td><td>103.093</td></tr><tr><td>talonneur</td><td>5</td><td>0.035</td><td>89.761</td></tr><tr><td>en-but</td><td>5</td><td>0.12</td><td>71.732</td></tr><tr><td>pénaliser</td><td>6</td><td>0.47</td><td>68.017</td></tr><tr><td>pilier</td><td>9</td><td>10.305</td><td>52.310</td></tr><tr><td>plaqueur</td><td>3</td><td>0.035</td><td>50.791</td></tr><tr><td>renvoi</td><td>7</td><td>4.36</td><td>49.157</td></tr><tr><td>relance</td><td>4</td><td>0.595</td><td>39.808</td></tr><tr><td>sélectionneur</td><td>2</td><td>0.035</td><td>31.103</td></tr><tr><td>rebond</td><td>3</td><td>0.91</td><td>25.429</td></tr><tr><td>envoi</td><td>4</td><td>6.1</td><td>20.997</td></tr><tr><td>chandelle</td><td>4</td><td>8.725</td><td>18.216</td></tr></tbody></table>
## 6.3 Annexe C : Détails des résultats de l'analyse qualitative

<table><caption>TABLE 4 – Nombre d'occurrences des lemmes spécifiques pour chaque taille de modèle Whisper *Fine-tuned* (FM) et Pre-trained (PM)</caption><thead><tr><th rowspan="2"></th><th rowspan="2">Gold</th><th colspan="2">Tiny</th><th colspan="2">Base</th><th colspan="2">Small</th><th colspan="2">Medium</th><th colspan="2">Large</th><th colspan="2">Largev2</th></tr><tr><th>PM</th><th>FM</th><th>PM</th><th>FM</th><th>PM</th><th>FM</th><th>PM</th><th>FM</th><th>PM</th><th>FM</th><th>PM</th><th>FM</th></tr></thead><tbody><tr><td>pénalité</td><td>41</td><td>26</td><td><strong>27</strong></td><td>33</td><td><strong>36</strong></td><td>39</td><td><strong>39</strong></td><td>40</td><td><strong>36</strong></td><td>39</td><td><strong>41</strong></td><td>39</td><td><strong>40</strong></td></tr><tr><td>essai</td><td>67</td><td>14</td><td><strong>96</strong></td><td>38</td><td><strong>33</strong></td><td>42</td><td><strong>58</strong></td><td>55</td><td><strong>58</strong></td><td>57</td><td><strong>62</strong></td><td>57</td><td><strong>63</strong></td></tr><tr><td>touche</td><td>61</td><td>30</td><td><strong>75</strong></td><td>41</td><td><strong>69</strong></td><td>49</td><td><strong>50</strong></td><td>61</td><td><strong>48</strong></td><td>62</td><td><strong>62</strong></td><td>63</td><td><strong>63</strong></td></tr><tr><td>mêlée</td><td>30</td><td>0</td><td><strong>5</strong></td><td>5</td><td><strong>13</strong></td><td>7</td><td><strong>21</strong></td><td>12</td><td><strong>19</strong></td><td>15</td><td><strong>27</strong></td><td>20</td><td><strong>23</strong></td></tr><tr><td>en-avant</td><td>13</td><td>0</td><td><strong>0</strong></td><td>0</td><td><strong>3</strong></td><td>0</td><td><strong>6</strong></td><td>0</td><td><strong>4</strong></td><td>0</td><td><strong>7</strong></td><td>0</td><td><strong>8</strong></td></tr><tr><td>ailier</td><td>18</td><td>0</td><td><strong>0</strong></td><td>0</td><td><strong>0</strong></td><td>0</td><td><strong>0</strong></td><td>4</td><td><strong>16</strong></td><td>0</td><td><strong>9</strong></td><td>7</td><td><strong>13</strong></td></tr><tr><td>plaquage</td><td>12</td><td>0</td><td><strong>0</strong></td><td>0</td><td><strong>2</strong></td><td>0</td><td><strong>8</strong></td><td>8</td><td><strong>9</strong></td><td>5</td><td><strong>10</strong></td><td>7</td><td><strong>9</strong></td></tr><tr><td>hors-jeu</td><td>11</td><td>0</td><td><strong>0</strong></td><td>0</td><td><strong>3</strong></td><td>2</td><td><strong>0</strong></td><td>3</td><td><strong>9</strong></td><td>5</td><td><strong>5</strong></td><td>6</td><td><strong>7</strong></td></tr><tr><td>buteur</td><td>7</td><td>5</td><td><strong>5</strong></td><td>5</td><td><strong>4</strong></td><td>6</td><td><strong>7</strong></td><td>7</td><td><strong>7</strong></td><td>7</td><td><strong>6</strong></td><td>6</td><td><strong>7</strong></td></tr><tr><td>talonneur</td><td>5</td><td>1</td><td><strong>2</strong></td><td>1</td><td><strong>1</strong></td><td>2</td><td><strong>5</strong></td><td>5</td><td><strong>5</strong></td><td>4</td><td><strong>4</strong></td><td>5</td><td><strong>4</strong></td></tr><tr><td>en-but</td><td>5</td><td>0</td><td><strong>0</strong></td><td>4</td><td><strong>0</strong></td><td>0</td><td><strong>0</strong></td><td>0</td><td><strong>0</strong></td><td>0</td><td><strong>0</strong></td><td>0</td><td><strong>3</strong></td></tr><tr><td>pénaliser</td><td>6</td><td>3</td><td><strong>4</strong></td><td>6</td><td><strong>4</strong></td><td>5</td><td><strong>5</strong></td><td>4</td><td><strong>5</strong></td><td>6</td><td><strong>5</strong></td><td>6</td><td><strong>6</strong></td></tr><tr><td>pilier</td><td>9</td><td>4</td><td><strong>0</strong></td><td>6</td><td><strong>6</strong></td><td>9</td><td><strong>9</strong></td><td>9</td><td><strong>9</strong></td><td>8</td><td><strong>9</strong></td><td>7</td><td><strong>9</strong></td></tr><tr><td>plaqueur</td><td>3</td><td>0</td><td><strong>0</strong></td><td>0</td><td><strong>1</strong></td><td>0</td><td><strong>2</strong></td><td>2</td><td><strong>3</strong></td><td>3</td><td><strong>2</strong></td><td>3</td><td><strong>2</strong></td></tr><tr><td>renvoi</td><td>7</td><td>0</td><td><strong>0</strong></td><td>0</td><td><strong>4</strong></td><td>5</td><td><strong>7</strong></td><td>5</td><td><strong>7</strong></td><td>7</td><td><strong>7</strong></td><td>6</td><td><strong>7</strong></td></tr><tr><td>relance</td><td>4</td><td>3</td><td><strong>4</strong></td><td>5</td><td><strong>4</strong></td><td>4</td><td><strong>3</strong></td><td>4</td><td><strong>4</strong></td><td>4</td><td><strong>4</strong></td><td>4</td><td><strong>4</strong></td></tr><tr><td>sélectionnet</td><td>2</td><td>0</td><td><strong>2</strong></td><td>0</td><td><strong>0</strong></td><td>1</td><td><strong>2</strong></td><td>2</td><td><strong>2</strong></td><td>0</td><td><strong>2</strong></td><td>2</td><td><strong>2</strong></td></tr><tr><td>rebond</td><td>3</td><td>0</td><td><strong>0</strong></td><td>0</td><td><strong>0</strong></td><td>2</td><td><strong>3</strong></td><td>0</td><td><strong>3</strong></td><td>2</td><td><strong>3</strong></td><td>3</td><td><strong>3</strong></td></tr><tr><td>envoi</td><td>4</td><td>0</td><td><strong>0</strong></td><td>0</td><td><strong>3</strong></td><td>3</td><td><strong>4</strong></td><td>3</td><td><strong>3</strong></td><td>4</td><td><strong>4</strong></td><td>3</td><td><strong>5</strong></td></tr><tr><td>chandelle</td><td>4</td><td>0</td><td><strong>0</strong></td><td>0</td><td><strong>0</strong></td><td>0</td><td><strong>3</strong></td><td>4</td><td><strong>4</strong></td><td>0</td><td><strong>4</strong></td><td>3</td><td><strong>4</strong></td></tr></tbody></table>
# Optimiser le choix des exemples pour la traduction automatique augmentée par des mémoires de traduction

Maxime Bouthors¹, ² Josep Crego¹ François Yvon²

(1) Sorbonne Université, CNRS, ISIR, F-75005 Paris, France

(2) ChapsVision, 92150, Suresnes

bouthors@isir.upmc.fr, jcrego@chapsvision.com, yvon@isir.upmc.fr

## RÉSUMÉ

La traduction neuronale à partir d'exemples s'appuie sur l'exploitation d'une mémoire de traduction contenant des exemples similaires aux phrases à traduire. Ces exemples sont utilisés pour conditionner les prédictions d'un décodeur neuronal. Nous nous intéressons à l'amélioration du système qui effectue l'étape de recherche des phrases similaires, l'architecture du décodeur neuronal étant fixée et reposant ici sur un modèle explicite d'édition, le Transformeur « multi-Levenshtein ». Le problème considéré consiste à trouver un ensemble optimal d'exemples similaires, c'est-à-dire qui couvre maximalement la phrase source. En nous appuyant sur la théorie des fonctions sous-modulaires, nous explorons de nouveaux algorithmes pour optimiser cette couverture et évaluons les améliorations de performances auxquelles ils mènent pour la tâche de traduction automatique.

## ABSTRACT

Optimizing example selection for retrieval-augmented machine translation with translation memories

Retrieval-augmented machine translation leverages examples from a translation memory by retrieving similar instances. These examples are used to condition the predictions of a neural decoder. We aim to improve the upstream retrieval step and consider a fixed downstream edit-based model : the multi-Levenshtein Transformer. The task consists of finding a set of examples that maximizes the overall coverage of the source sentence. To this end, we rely on the theory of submodular functions and explore new algorithms to optimize this coverage. We evaluate the resulting performance gains for the machine translation task.

**MOTS-CLÉS** : Traduction Automatique, Recherche d'Information, Mémoires de Traduction, Fonctions Sous-Modulaires, Traduction à partir d'Exemples.

**KEYWORDS:** Machine Translation, Information Retrieval, Translation Memories, Submodularity, Example-based Translation.

# 1 Introduction

De nombreux travaux récents s'intéressent à la génération augmentée par des exemples (Li et al., 2022). En traduction, l'utilisation d'exemples remonte aux méthodes de traduction assistée par ordinateur par des traducteurs professionnels (Bowker, 2002) : éditer des segments très similaires à la phrase de référence permet d'accélérer la traduction. Cette idée est au fondement des méthodes

<figure><img src="image_189.png" /></figure>
basées sur des exemples (Nagao, 1984; Somers, 1999; Carl et al., 2004). Elle est adaptée aux systèmes statistiques par (Koehn & Senellart, 2010) et plus récemment aux méthodes neuronales.

Il existe en fait de nombreuses manières d'exploiter les exemples : la traduction conditionnelle qui introduit un système d'attention sur les exemples (Gu et al., 2018; Bulte & Tezcan, 2019; Hoang et al., 2022) ; l'affinage « léger » sur un ensemble d'exemples pour faire de la micro-adaptation (Farajian et al., 2017) ; les méthodes intégrant des exemples dans le contexte de grands modèles de langue (LLM) génératifs multilingues (Moslem et al. (2023), inter alia) ; l'édition directe du meilleur exemple similaire (Gu et al., 2019). Nous discutons ces études dans la section 2.

Ici, nous nous intéressons au transformeur « multi-Levenshtein » (Bouthors et al., 2023), un modèle d'édition qui combine $k(\ge 1)$ exemples pour calculer une traduction. Cette caractéristique le rend sensible à la qualité des exemples récupérés. En particulier, supposant fixé $k$ le nombre de phrases à récupérer, nous cherchons à répondre à la question : comment identifier un ensemble optimal de $k$ exemples ? Trouver exactement ce meilleur ensemble conditionnellement au modèle et à la phrase source est difficile, ce qui implique de considérer des heuristiques. Pour les construire, nous faisons l'hypothèse qu'un ensemble de phrases parallèles couvrant (en source) la phrase à traduire fournit des exemples couvrant (en cible) la traduction à produire. En dépit de ses limites, liées à des phénomènes linguistiques bien connus (variation lexicale, divergences morphologiques ou syntaxiques entre langues source et cible, etc.), cette hypothèse est adoptée dans les travaux de l'état-de-l'art.

Notre contribution principale est alors l'étude de plusieurs manières de définir la notion de couverture et de rechercher des *k* meilleurs exemples dans une mémoire de traduction. En tirant parti de la théorie des fonctions sous-modulaires, dont une sous-classe correspond à une notion très générique de couverture, nous analysons dans un cadre unifié les avantages comparés de ces différentes propositions, et évaluons leur impact dans une tâche de traduction multidomaines.

## 2 Travaux Connexes

De nombreux efforts pour intégrer des exemples dans la génération de textes ont été menés ces dernières années (Li et al., 2022). Au-delà des améliorations de performances, la possibilité de présenter aux utilisateurs améliore la transparence des décisions qui sont prises (Rudin, 2019). En traduction automatique, les exemples récupérés d'une mémoire de traduction sont fournis au modèle comme un contexte supplémentaire, par exemple en concatenant le côté cible des exemples au texte source (Bulte & Tezcan, 2019), ou en tirant parti à la fois de la source et de la cible (Pham et al., 2020). Gu et al. (2018); Xia et al. (2019); He et al. (2021b) considèrent des stratégies plus sophistiquées pour enrichir le contexte source.

Si beaucoup de travaux se limitent à considérer les $k \ge 1$ exemples les plus similaires, Cheng et al. (2022); Agrawal et al. (2023); Sia & Duh (2023) cherchent à trouver un ensemble d'exemples complémentaires entre eux. Le premier travail utilise l'algorithme de Maximum Marginal Relevance (MMR) (Goldstein & Carbonell, 1998), tandis que les deux autres proposent une forme de maximisation de couverture. Gupta et al. (2023) donne une formulation générale du problème de couverture, l'appliquant à l'apprentissage en contexte (in context learning) sur des tâches diverses.

Une autre extension de cette approche exploite des corpus monolingues, en recherchant les exemples directement dans la langue cible. Cai et al. (2021) proposent un modèle de recherche et de traduction unique entraîné de bout-en-bout dont la procédure de recherche translingue est optimisée pour
retourner des exemples utiles pour la Traduction Automatique (TA).

La plupart de ces travaux reposent sur des modèles de génération auto-régressifs (AR), impliquant que les exemples intégrés au contexte n'ont qu'un effet indirect sur la sortie. L'utilisation d'une mémoire de traduction avec un décodeur non auto-régressif (NAR) est étudiée par Niwa et al. (2022); Xu et al. (2023); Zheng et al. (2023) qui adaptent le transformeur de Levenshtein (Gu et al., 2019) pour éditer directement l'exemple le plus similaire en une traduction de la phrase source. Bouthors et al. (2023) étendent cette technique à plusieurs exemples.

Une autre approche consiste à utiliser des similarités au niveau des contextes de génération, c'est-à-dire d'états cachés du décodage des mémoires de traduction, plutôt qu'au niveau des phrases (Zhang et al., 2018). He et al. (2021a); Khandelwal et al. (2021), entre autres, utilisent des méthodes de plus proches voisins sur des contextes. La prédiction du token suivant est alors guidée par ceux trouvés dans des contextes proches. Diverses extensions sont apportées par Zheng et al. (2021); Meng et al. (2022); Martins et al. (2022).

Il est enfin difficile d'ignorer l'essor des grands modèles de langue multilingues (LLM) qui, amorcés par un contexte contenant une description de la tâche à accomplir et des exemples, peuvent générer des traductions de qualité. Cette approche a été testée sur de nombreux LLM dans le but de mettre en évidence leur capacité à traiter de multiples tâches. Pour ce qui concerne la TA, plusieurs travaux étudient l'impact du contexte d'entrée, en cherchant à optimiser le nombre d'exemples et leur sélection (Vilar et al., 2023; Zhang et al., 2023; Hendy et al., 2023; Bawden & Yvon, 2023). Voir également sur ces questions (Moslem et al., 2023; Mu et al., 2023; Agrawal et al., 2023; Sia & Duh, 2023; M et al., 2023).

## 3 Le modèle « multi-Levenshtein »

<figure><img src="image_190.png" /><figcaption>FIGURE 1 – Première étape de décodage de TM$^k$-Levt. Les deux exemples qui sont édités sont $y_1$: « le chat dort sur un lit » et $y_2$: « le chien est sur le grand tapis ». Les insertions prédites à l'étape 2 (insertion) sont représentées par des entiers, puis matérialisées par des'_» à l'étape 3 (combinaison).</figcaption></figure>

Nous nous intéressons au modèle du transformeur multi-Levenshtein, TM$^k$-Levt, (Bouthors et al., 2023), qui repose sur un modèle explicite d'édition d'exemples. L'algorithme de décodage est représenté sur la Figure 1. Il s'agit d'un modèle d'édition type transformeur (Vaswani et al., 2017) qui prend en entrée $k$ couples de phrases exemples cibles $\{y_1, ..., y_k\}$, et les édite conditionnellement à la source $x$ en quatre étapes :

1. **Suppression** : pour chaque exemple cible $y_i$, délétion de tokens ;

2. **Insertion** : pour chaque exemple cible $y_i$, insertion de tokens vides PLH entre chaque token ;

3. **Combinaison** : combinaison des $k$ exemples cibles en s'appuyant sur un multi-alignement qui permet de déterminer, pour chaque position, l'origine (parmi $y_1...y_k$) du token à conserver ;

4. **Prédiction** : pour chaque position comprenant un PLH, prédiction du mot à insérer.
Le calcul des associations entrées/sorties est réalisé par une architecture encodeur-décodeur non-autorégressive, dans lequel on remplace la couche de prédiction de mots habituelle par quatre couches linéaires (une pour chaque opération) qui projettent les représentations latentes sur l'ensemble des opérations possibles. Par exemple, pour l'insertion (étape 2), pour une source $x$ et des exemples $y_1, \dots, y_k$ :

$$ insertion^* = \arg\max \text{Insertion}(\text{Décodeur}(\text{Encodeur}(x), y_1, \dots, y_k)) \quad (1) $$

Le modèle est entraîné par apprentissage par imitation (Daumé et al., 2009; Ross et al., 2011), en utilisant comme politique experte<fnref n="1" /> la série d'opérations qui maximise la copie des tokens qui sont à la fois présents dans les exemples d'entrée et dans la référence. Autrement dit, cette politique optimale s'appuie sur une notion de couverture optimale. Pour déterminer cette politique, un algorithme d'alignement calcule la manière optimale de faire correspondre les exemples et la référence.

On se reportera à (Bouthors et al., 2023) pour une présentation détaillée de cette architecture de base et de diverses extensions (réalignement, pré-apprentissage) qui lui permettent de tirer efficacement parti de plusieurs exemples similaires. L'essentiel étant de noter que dans son principe même, cette architecture est particulièrement sensible aux exemples qui sont fournis en entrée du système.

# 4 Recherche d'Information dans une Mémoire de Traduction

## 4.1 Recherche de Phrases Similaires (RPS)

Supposons que l'on ait accès à une mémoire de traduction $\mathcal{D} = \{(x_1, y_1), \dots, (x_N, y_N)\}$ et soit $x$ une phrase source que l'on cherche à traduire. Le cadre classique consiste à évaluer indépendamment chaque candidat selon un score de similarité $s(x_i, x)$ et récupérer les $k$ exemples les plus similaires. $s$ peut être un score lexical (similarité de Jaccard, TF-IDF, BM25, distance d'édition, rappel n-gramme, etc.) ou sémantique (similarité cosinus entre deux plongements). Les premiers (Jaccard, BM25) reposent sur des algorithmes simples et servent souvent à filtrer un premier ensemble $T$ de candidats, que l'on peut ensuite évaluer avec des fonctions de comparaison plus sophistiquées.

Cependant, récupérer les $k$ meilleurs candidats peut s'avérer sous-optimal, par exemple lorsque tous ces exemples sont très similaires entre eux. Pour évaluer globalement l'ensemble des candidats retournés par la RPS, des stratégies visant à introduire de la diversité (par exemple via l'algorithme de Maximum Marginal Relevance, MMR) ou des contraintes de couverture peuvent alors être déployées. Nous considérons la deuxième stratégie, la première étant documentée dans (Cheng et al., 2022).

## 4.2 Fonctions sous-modulaires et couverture

Par analogie aux formalisations développées dans un cadre de recherche d'information pour trouver des résultats variés (Lin & Bilmes, 2011; Krause & Golovin, 2014), nous nous appuyons sur la théorie des fonctions sous-modulaires pour formaliser la RPS basée sur la maximisation de la couverture

<footnote n="1">1. En apprentissage par imitation, la politique « experte » est celle que l'apprenti cherche à reproduire (Knyazeva et al., 2018) : elle indique ici les actions optimales qu'il faut effectuer pour éditer les exemples et générer la traduction de référence. Comme elle n'est pas observée dans les données d'apprentissage, il faut la calculer en s'appuyant sur diverses heuristiques.</footnote>
de la phrase source. Nous commençons par rappeler quelques définitions, avant de présenter les algorithmes de sélection d'exemples.

### 4.2.1 Définitions

**Définition 1 (Sous-modularité).** Soient $\Omega$ un ensemble et $f: 2^\Omega \to \mathbb{R}$, $f$ est sous-modulaire si $\forall X, Y \text{ tels que } X \subset Y \subset \Omega, \forall z \in \Omega \setminus Y$ :

$$f(X \cup \{z\}) - f(X) \geq f(Y \cup \{z\}) - f(Y)$$

Intuitivement, cette définition exprime que le rendement marginal de $f$ est décroissant : plus l'ensemble en entrée de $f$ est grand, plus les incréments de $f$ induits par l'ajout de nouveaux éléments sont faibles. Une classe de fonctions sous-modulaires bien documentée est la classe des fonctions de couverture pondérée (Krause & Golovin, 2014).

**Définition 2 (Couverture pondérée).** Soit $N \in \mathbb{N}$ et $v^{(n)}(z)_{n \in [1,N]}$ une séquence de poids réels associée à $z \in \Omega$, correspondant à des aspects (de $x$) : $v^{(n)}(z)$ évalue à quel point $z$ couvre l'aspects $n$. Une fonction de couverture pondérée associe à un sous-ensemble $Z$ de $\Omega$ :

$$f(Z) = \sum_{n=1}^{N} \max_{z \in Z} v^{(n)}(z)$$

Dans notre application, $\Omega$ est un ensemble d'exemples (source et références jointes) et $N$ dénombre des aspects importants de la source $x$ qu'il faut couvrir. Cet ensemble d'aspects peut être le sac-de-mots associé à $x = (x_1, \dots, x_N)$, les indices de la séquence, l'ensemble des n-grammes ou des sous-arbres syntaxiques de taille bornée, etc. L'objectif est ensuite de trouver un ensemble $Z$ de taille $k$ qui maximise $f(Z)$, c.-à-d. qui garantit une couverture maximale pour chaque aspect.

Dans cette définition, le choix d'un opérateur $\max$ s'appliquant uniformément à tous les aspects est problématique et peut conduire à récupérer des phrases dans $Z$ qui n'ont que peu de pertinence pour la TA, voir annexe B. En traduction, il est en effet plus important de couvrir certains aspects que d'autres (par exemple des lexèmes rares dans une représentation sac-de-mots). Pour pallier ce problème, nous introduisons une nouvelle fonction sous-modulaire.

**Définition 3 (Couverture pondérée lissée).** Soit $N \in \mathbb{N}$, $Z = \{z_1, \dots, z_{|Z|}\}$ et $(v_i^{(n)})_{n \in [1,N]}$ une séquence de poids réels pour $z_i \in Z$. Une fonction de couverture pondérée lissée de paramètre $\lambda \in [0, 1]$ est définie par :

$$f(Z) = \sum_{n=1}^{N} \sum_{j=1}^{|Z|} \lambda^{j-1} v_{g^{(n)}(j)}^{(n)}, \qquad (2)$$

avec $g^{(n)}$ une permutation telle que $i < j \Rightarrow v_{g^{(n)}(i)}^{(n)} \geq v_{g^{(n)}(j)}^{(n)}$, ordonnant les $z_i$ selon les $v_i^{(n)}$.

La preuve de sa sous-modularité est en Annexe C.1. Avec cette nouvelle définition, un aspects $n$ déjà couvert continue de contribuer au calcul de $f$, mais avec un coefficient qui diminue exponentiellement. Pour $\lambda = 0$, $f$ correspond à la définition (2) et, pour $\lambda = 1$, la fonction devient modulaire et sa maximisation revient à choisir indépendamment les $k$ exemples les plus couvrants.
### 4.2.2 Maximisation de la couverture

Maximiser $f$ pour $\lambda < 1$ est NP-complet (Krause & Golovin, 2014). On ne connaît pas d'algorithme exact meilleur que l'énumération exhaustive. L'algorithme glouton 1 est la façon standard de maximiser une fonction sous-modulaire. Cependant, la combinaison linéaire figurant dans la définition de $f$ à l'équation (2) devant être recalculée pour chaque candidat restant $z$, cet algorithme a une complexité temporelle $O(k^2N|T| + N|T|\log|T|)$ ainsi qu'un coût spatial lié aux permutations de tri $g$.

Pour améliorer la complexité, nous considérons l'algorithme 2 d'Agrawal et al. (2023), replacé ici dans le cadre de la théorie des fonctions sous-modulaires afin de garantir une borne inférieure.

**Algorithme 1:** Maximisation gloutonne d'une fonction sous-modulaire monotone

**Données:** source $x$, fonction sous-modulaire (de couverture de pondérée) $f$, ensemble de candidats $T$, nombre d'exemples souhaité $k$.

**Résultat:** $Z$

$Z \leftarrow \emptyset$;

tant que $|Z| < k$ faire

$z^* \leftarrow \arg\max_{z \in T \setminus Z} f(Z \cup \{z\})$;

$Z \leftarrow Z \cup \{z^*\}$;

fin

retourne $\underline{Z}$;

**Algorithme 2:** Maximisation gloutonne d'une fonction de couverture pondérée lissée

**Données:** source $x$, fonction sous-modulaire de couverture de $x$ pondérée lissée $f$ de facteur de sous-pondération $\lambda$, poids de couverture $v^{(n)}(z)$ pour $z \in T$ ensemble de candidats, nombre d'exemples souhaité $k$.

**Résultat:** $Z$

$Z \leftarrow \emptyset$;

$W \leftarrow (1, \dots, 1)$;

/* $|W| = N$ */

tant que $|Z| < k$ faire

$z^* \leftarrow \arg\max_{z \in T \setminus Z} W^T v(z)$;

/* sélectionner $z^*$ */

$Z \leftarrow Z \cup \{z^*\}$;

$I^* \leftarrow \{n : v^{(n)}(z^*) > 0\}$;

/* aspects couverts par $z^*$ */

pour $n \in I^*$ faire

$W_n \leftarrow \lambda W_n$; /* sous-pondération des éléments couverts */

fin

si $\lambda = 0 \text{ et } W = (0, \dots, 0)$ alors

$|W \leftarrow (1, \dots, 1)|$; /* réinitialiser $W$ */

fin

fin

retourne $\underline{Z}$;

L'algorithme 2 a une complexité temporelle $O(kN|T|)$. Il se rapproche de l'algorithme 1, à la différence près que les $v_i^{(n)}$ ne sont pas triés. Nous montrons en annexe C.2 que l'écart entre la solution retournée par l'algorithme 2 et la solution optimale est borné.
# 5 Cadre Expérimental

## 5.1 Données

Nous considérons des données anglais-français sur un panel de 6 corpus de domaine varié : ECB, EMEA, Europarl, JRC-Acquis, Ubuntu, Wikipedia<fnref n="2" />. Cela correspond à un sous-ensemble des données utilisées par Xu et al. (2023) dont nous reprenons la même partition entraînement/test. Une caractéristique des données de test est qu'elles ont été partitionnées en deux ensembles de 1000 phrases pour chaque domaine. Le premier ensemble (test-0.4) contient des phrases sources pour lesquelles le plus proche voisin dans la TM (au sens de la similarité de Levenshtein<fnref n="3" />) est à une distance entre 0,4 et 0,6. Pour le second (test-0.6), le plus proche voisin a un score d'au moins 0,6. Cela permet de différencier les comportements entre les échantillons avec des « bonnes » correspondances, et ceux avec des correspondances « médiocres ». Le tableau 1 résume les principales statistiques de ces corpus.

<table><caption>TABLE 1 – Nombre d'échantillons et longueur moyenne des phrases d'entraînement.</caption><thead><tr><th>domaine</th><th>ECB</th><th>EME</th><th>Epp</th><th>JRC</th><th>Ubu</th><th>Wiki</th><th><strong>tout</strong></th></tr></thead><tbody><tr><td>taille</td><td>195k</td><td>373k</td><td>2,0M</td><td>503k</td><td>9k</td><td>803k</td><td>3,9M</td></tr><tr><td>longueur moyenne</td><td>29,2</td><td>16,7</td><td>26,6</td><td>28,8</td><td>5,2</td><td>19,6</td><td>21,0</td></tr></tbody></table>

## 5.2 Scores de Couverture

Dans un premier temps, nous utilisons notre propre implémentation de BM25 (Robertson & Jones, 1976) pour récupérer les $T = 100$ meilleurs candidats. Ensuite, nous considérons plusieurs fonctions de couverture avec des scores et pondérations différents.

**Couverture sac-de-mot (SDM)** : Les aspects sont les termes sac-de-mot $t_n$ de la source $x$ et le poids $v^{(n)}(z)$ correspond au minimum du nombre d'occurrences de $t_n$ dans le candidat $z$ et dans $x$. Cette notion correspond au rappel modifié<fnref n="4" /> : les termes ne peuvent pas être couverts plus que leur nombre d'occurrences dans la source.

**Couverture 4-gramme ou moins (NGM)** : Les aspects sont les 1-4-grammes $t_n$ de $x$, et $v^{(n)}(z)$ est le minimum du nombre d'occurrences dans $x$ et dans $z$.

**Couverture par distance de Levenshtein (DL)** : Les aspects sont les indices de $x$, et $v^{(n)}(z)$ vaut 1 (0 sinon) si et seulement si $x_n$ appartient à une sous-chaîne copiée en calculant la distance de Levenshtein entre $x$ et $z$. Puisqu'il peut exister plusieurs alignements optimaux, on peut soit calculer l'ensemble des sous-chaînes optimales et marginaliser pour chaque indice, soit échantillonner une solution et l'utiliser pour construire les $v^{(n)}(z)$.

Les $v^{(n)}(z)$ sont normalisés de deux manières différentes :

**Normalisation par cardinalité** : Pour SDM et NGM $v^{(n)}(z)$ est divisé par $N$ le nombre d'aspects. Pour DL, on choisit de normaliser par le maximum de la taille de $x$ et $z$ afin de retrouver la formule

<footnote n="2">2. Les données sont en libre accès sur le site opus https://opus.nlpl.eu</footnote>

<footnote n="3">3. Définie pour deux chaînes $x, y$ par $1 - \frac{d(x,y)}{\max_{x} |x|, |y|}$, avec $d$ la distance de Levenshtein.</footnote>

<footnote n="4">4. "Modified recall", par analogie à la précision modifiée du score BLEU.</footnote>
<figure><img src="image_191.png" /><figcaption>FIGURE 2 – Scores BLEU moyens selon le score de la similarité DL, pour $\lambda \in \{0; 0,2; 1\}$ sur test-0.4 (gauche) et test-0.6 (droite).</figcaption></figure>

classique quand $\lambda = 1$.

**Normalisation par rareté (IDF)** : Chaque valeur $v^{(n)}(z)$ est normalisée avec des pondérations IDF, c.-à-d. que, pour SDM et DL, chaque mot $w$ de $x$ reçoit un poids IDF($w$) / $\sum_{w' \in x}$ IDF($w$). Pour NGM, l'indexation des n-grammes jusqu'à l'ordre 4 étant coûteuse, nous avons par simplification remplacé l'IDF de chaque n-gramme par la moyenne des IDF des termes qu'il contient.

Enfin, dans le cadre de l'introduction des fonctions de couverture pondérée lissées, nous étudions différentes valeurs de $\lambda \in \{0; 0,2; 0,5; 1\}$.

**Recherche constrastive** Nous comparons aussi nos résultats à MMR (Cheng et al., 2022) avec $\alpha = 0,3$ qui fait un compromis entre pertinence et diversité des exemples.

## 5.3 Métriques

Nous calculons les scores BLEU (Papineni et al., 2002) avec SacreBLEU (Post, 2018) <fnref n="5" />. Nous étudions également trois métriques calculées en comparant les phrases cibles récupérées à la référence : la couverture, la pertinence et la longueur des phrases. La couverture est calculée selon un rappel modifié, comme pour la fonction sous-modulaire unigramme avec $\lambda = 0$ sur les phrases tokénisées <fnref n="6" />. La pertinence est la précision sac-de-mot, c.-à-d. la proportion de termes utiles dans les exemples rapportée à la somme des longueurs des exemples. La longueur est calculée sur les phrases tokenisées.

## 6 Résultats

**Rôle du score choisi** : Nous effectuons une recherche pour les scores SDM, NGM et DL avec normalisation cardinale et $\lambda \in \{0; 0,2; 1\}$. Les histogrammes des scores BLEU de la figure 2 montrent : (1) La supériorité de la distance de Levenshtein (DL) sur les deux autres scores, même si NGM reste compétitif sur certains domaines (voir tableau 4 dans l'annexe D pour les résultats par domaine) ; (2) À l'exception de NGM-0 (test-0.6) maximiser la couverture avec $\lambda = 0$ est en moyenne préférable et conduit à un gain de +0,1 (resp. +0,2) pour test-0.4 (resp. test-0.6) par rapport à $\lambda = 1$.

<footnote n="5">5. signature : nrefs:1|case:mixed|eff:no|tok:13a|smooth:exp|version:2.1.0;</footnote>

<footnote n="6">6. Nous utilisons les scripts de Moses (https://github.com/moses-smt/)</footnote>
<figure><img src="image_192.png" /><figcaption>FIGURE 3 – Couverture et pertinence moyenne selon la valeur de $\lambda$ pour DL sur *test-0.4* (gauche) et *test-0.6* (droite).</figcaption></figure>

<figure><img src="image_193.png" /><figcaption>FIGURE 4 – Longueur moyenne selon la valeur de $\lambda$ pour DL sur *test-0.4* (gauche) et *test-0.6* (droite).</figcaption></figure>

**Rôle de $\lambda$ :** Nous regardons l'impact de $\lambda$ pour DL (Distance de Levenshtein) figures 3 et 4 en termes de couverture, pertinence et longueur. Nous trouvons un compromis entre pertinence et couverture. L'intervalle [0,1; 0,9] est très stable. Nous observons une singularité à $\lambda = 0$. La couverture est légèrement plus faible que $\lambda = 0,1$. Le cas $\lambda = 1$ est singulier car ayant la couverture (resp. pertinence) la plus faible (resp. la plus élevée), ainsi que la plus faible longueur moyenne. Quant au score BLEU (voir figure 5), on observe un comportement différent entre les correspondances médiocres (*test-0.4*) et bonnes (*test-0.6*). $\lambda = 0$ semble en général mieux sur *test-0.4*, même si aucune tendance ne s'en dégage. Sur *test-0.6*, on observe une courbe en cloche avec une inflexion à $\lambda = 0$. La tendance semble indiquer que $\lambda = 0,5$ produit les meilleurs résultats, et cela même sur *test-0.4*. À noter qu'il y a des différences entre domaines (voir Annexe D).

**Comparaison avec MMR** Nous comparons les méthodes DL pour $\lambda \in \{0; 0,5; 1\}$ avec la méthode contrastive MMR. Sur la figure 6, nous observons de très légères différences entre les méthodes de recherche. MMR est légèrement mieux (+0,1 BLEU) sur *test-0.4*, mais DL-0,5 surpasse MMR de 0,1 sur *test-0.6*. Aucune des deux méthodes ne semble particulièrement supérieure.

**Rôle de la normalisation :** Par défaut, la normalisation se fait sur le nombre d'aspects à couvrir, sauf pour DL où il s'agit du maximum entre la longueur de la source et de l'exemple. Lorsqu'on

<figure><img src="image_194.png" /><figcaption>FIGURE 5 – Score BLEU moyen en fonction de $\lambda$ pour DL sur *test-0.4* (gauche) et *test-0.6* (droite).</figcaption></figure>
<figure><img src="image_195.png" /><figcaption>FIGURE 6 – Score BLEU avec $\lambda \in \{0; 0,5; 1\}$ et MMR sur test-0.4 (gauche) et test-0.6 (droite).</figcaption></figure>

<figure><img src="image_196.png" /><figcaption>FIGURE 7 – Différence moyenne de BLEU entre normalisation IDF et cardinale, avec $\lambda \in \{0; 0,2; 1\}$ et SDM, NGM, DL sur test-0.4 (gauche) et test-0.6 (droite).</figcaption></figure>

introduit une normalisation IDF, on observe un effet en moyenne négatif sur le score BLEU (voir figure 7). On peut expliquer ce comportement par le fait que le transformeur Multi-Levenshtein apprend à copier un maximum de tokens, même si ceux-ci sont fréquents. Autrement dit, il favorise la quantité à la qualité. Il vaut donc probablement mieux fournir des exemples plus couvrants, même s’il s’agit de termes communs.

# 7 Conclusion

Dans cet article, nous étudions comment optimiser la sélection d'un ensemble varié d'exemples dans une mémoire de traduction. Par analogie des travaux en recherche d'information, nous nous appuyons sur la théorie des fonctions sous-modulaires. Dans certaines configurations nous observons un léger gain avec l'utilisation de ce paradigme, avec de grandes variations selon le domaine. Une difficulté de cette approche est qu'elle sélectionne des exemples plus longs que la méthode de base, ce qui rend plus difficile leur édition conjointe et limite les améliorations des scores de traduction.

Dans le futur, nous souhaitons continuer à étudier la relation entre choix des exemples et modèle d'édition, par exemple en entraînant le modèle de recherche d'information conjointement avec le modèle de traduction. Une autre piste consiste à chercher à imposer une contrainte de longueur aux phrases couvrantes, afin qu'elles soient plus exploitables. Enfin, $TM^k-LevT$ apprend à maximiser la couverture de la cible sans se soucier de la rareté des mots couverts. Peut-être vaut-il mieux privilégier l'utilité des mots couverts plutôt que leur nombre, en incitant le modèle à conserver des termes qu'il aurait du mal à régénérer.
# 8 Remerciements

Ce projet a été partiellement financé par l'ANR dans le cadre du projet TraLaLam (ANR-23-IAS1-0006). Il a également bénéficié des resources HPC/AI de GENCI-IDRIS (2022-AD011013583 et 2023-AD010614012).

## Références

AGRAWAL S., ZHOU C., LEWIS M., ZETTLEMOYER L. & GHAZVININEJAD M. (2023). In-context examples selection for machine translation. In A. ROGERS, J. BOYD-GRABER & N. OKAZAKI, Éds., Findings of the Association for Computational Linguistics : ACL 2023, p. 8857–8873, Toronto, Canada : Association for Computational Linguistics. DOI: 10.18653/v1/2023.findings-acl.564.

BAWDEN R. & YVON F. (2023). Investigating the translation performance of a large multilingual language model : the case of BLOOM. In M. NURMINEN, J. BRENNER, M. KOPONEN, S. LATOMAA, M. MIKHAILOV, F. SCHIERL, T. RANASINGHE, E. VANMASSENHOVE, S. A. VIDAL, N. ARANBERRI, M. NUNZIATINI, C. P. ESCARTÍN, M. FORCADA, M. POPOVIC, C. SCARTON & H. MONIZ, Éds., Proceedings of the 24th Annual Conference of the European Association for Machine Translation, p. 157–170, Tampere, Finland : European Association for Machine Translation.

BOUTHORS M., CREGO J. & YVON F. (2023). Towards example-based NMT with multi-Levenshtein transformers. In H. BOUAMOR, J. PINO & K. BALI, Éds., Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, p. 1830–1846, Singapore : Association for Computational Linguistics. DOI: 10.18653/v1/2023.emnlp-main.113.

BOWKER L. (2002). Computer-aided translation technology : A practical introduction. University of Ottawa Press.

BULTE B. & TEZCAN A. (2019). Neural fuzzy repair : Integrating fuzzy matches into neural machine translation. In A. KORHONEN, D. TRAUM & L. MÀRQUEZ, Éds., Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, p. 1800–1809, Florence, Italy : Association for Computational Linguistics. DOI: 10.18653/v1/P19-1175.

CAI D., WANG Y., LI H., LAM W. & LIU L. (2021). Neural machine translation with monolingual translation memory. In C. ZONG, F. XIA, W. LI & R. NAVIGLI, Éds., Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1 : Long Papers), p. 7307–7318, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.acl-long.567.

CARL M., WAY A. & DAELEMANS W. (2004). Recent advances in example-based machine translation. Computational Linguistics, 30, 516–520. DOI: 10.1162/0891201042544866.

CHENG X., GAO S., LIU L., ZHAO D. & YAN R. (2022). Neural machine translation with contrastive translation memories. In Y. GOLDBERG, Z. KOZAREVA & Y. ZHANG, Éds., Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, p. 3591–3601, Abu Dhabi, United Arab Emirates : Association for Computational Linguistics. DOI: 10.18653/v1/2022.emnlp-main.235.

DAUMÉ H., LANGFORD J. & MARCU D. (2009). Search-based structured prediction. Machine Learning, 75(3), 297–325. DOI: 10.1007/s10994-009-5106-x.

FARAJIAN M. A., TURCHI M., NEGRIM. & FEDERICO M. (2017). Multi-domain neural machine translation through unsupervised adaptation. In O. BOJAR, C. BUCK, R. CHATTERJEE, C.
FEDERMANN, Y. GRAHAM, B. HADDOW, M. HUCK, A. J. YEPES, P. KOEHN & J. KREUTZER, Éds., *Proceedings of the Second Conference on Machine Translation*, p. 127–137, Copenhagen, Denmark : Association for Computational Linguistics. DOI: 10.18653/v1/W17-4713.

GOLDSTEIN J. & CARBONELL J. (1998). Summarization : (1) using MMR for diversity- based reranking and (2) evaluating summaries. In *TIPSTER TEXT PROGRAM PHASE III : Proceedings of a Workshop held at Baltimore, Maryland, October 13-15, 1998*, p. 181–195, Baltimore, Maryland, USA : Association for Computational Linguistics. DOI: 10.3115/1119089.1119120.

GU J., WANG C. & ZHAO J. (2019). Levenshtein transformer. In H. WALLACH, H. LAROCHELLE, A. BEYGELZIMER, F. D'ALCHÉ-BUC, E. FOX & R. GARNETT, Éds., *Advances in Neural Information Processing Systems*, volume 32 : Curran Associates, Inc.

GU J., WANG Y., CHO K. & LI V. O. (2018). Search Engine Guided Neural Machine Translation. *Proceedings of the AAAI Conference on Artificial Intelligence*, **32**(1). DOI: 10.1609/aaai.v32i1.12013.

GUPTA S., GARDNER M. & SINGH S. (2023). Coverage-based example selection for in-context learning. In H. BOUAMOR, J. PINO & K. BALI, Éds., *Findings of the Association for Computational Linguistics : EMNLP 2023*, p. 13924–13950, Singapore : Association for Computational Linguistics. DOI: 10.18653/v1/2023.findings-emnlp.930.

HE J., NEUBIG G. & BERG-KIRKPATRICK T. (2021a). Efficient nearest neighbor language models. In M.-F. MOENS, X. HUANG, L. SPECIA & S. W.-T. YIH, Éds., *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 5703–5714, On-line and Punta Cana, Dominican Republic : Association for Computational Linguistics. DOI: 10.18653/v1/2021.emnlp-main.461.

HE Q., HUANG G., CUI Q., LI L. & LIU L. (2021b). Fast and accurate neural machine translation with translation memory. In C. ZONG, F. XIA, W. LI & R. NAVIGLI, Éds., *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1 : Long Papers)*, p. 3170–3180, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.acl-long.246.

HENDY A., ABDELREHIM M., SHARAF A., RAUNAK V., GABR M., MATSUSHITA H., KIM Y. J., AFIFY M. & AWADALLA H. H. (2023). How good are GPT models at machine translation? a comprehensive evaluation. *CoRR*, abs/2302.09210. DOI: 10.48550/ARXIV.2302.09210.

HOANG C., SACHAN D., MATHUR P., THOMPSON B. & FEDERICO M. (2022). Improving Retrieval Augmented Neural Machine Translation by Controlling Source and Fuzzy-Match Interactions. *arXiv :2210.05047 [cs]*, DOI: 10.48550/arXiv.2210.05047.

KHANDELWAL U., FAN A., JURAFSKY D., ZETTLEMOYER L. & LEWIS M. (2021). Nearest Neighbor Machine Translation. In *Proceedings of the International Conference on Learning Representations*.

KNYAZEVA E., WISNIEWSKI G. & YVON F. (2018). Les méthodes « apprendre à chercher » en traitement automatique des langues : un état de l’art [a survey of learning-to-search techniques in natural language processing]. *Trajetement Automatique des Langues*, **59**(1), 39–63.

KOEHN P. & SENELLART J. (2010). Convergence of translation memory and statistical machine translation. In V. ZHECHEV, Éd., *Proceedings of the Second Joint EM+/CNGL Workshop : Bringing MT to the User : Research on Integrating MT in the Translation Industry*, p. 21–32, Denver, Colorado, USA : Association for Machine Translation in the Americas.

KRAUSE A. & GOLOVIN D. (2014). Submodular function maximization. In L. BORDEAUX, Y. HAMADI & P. KOHLI, Éds., *Tractability : Practical Approaches to Hard Problems*, p. 71–104. Cambridge University Press.
LI H., SU Y., CAI D., WANG Y. & LIU L. (2022). A survey on retrieval-augmented text generation. CoRR, abs/2202.01110.

LIN H. & BILMES J. (2011). A class of submodular functions for document summarization. In D. LIN, Y. MATSUMOTO & R. MIHALCEA, Éds., Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, p. 510–520, Portland, Oregon, USA: Association for Computational Linguistics.

M A., PUDUPPULLY R., DABRE R. & KUNCHUKUTTAN A. (2023). CTQScorer: Combining multiple features for in-context example selection for machine translation. In H. BOUAMOR, J. PINO & K. BALI, Éds., Findings of the Association for Computational Linguistics: EMNLP 2023, p. 7736–7752, Singapore: Association for Computational Linguistics. DOI: 10.18653/v1/2023.findings-emnlp.519.

MARTINS P. H., MARINHO Z. & MARTINS A. F. T. (2022). Chunk-based nearest neighbor machine translation. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, p. 4228–4245, Abu Dhabi, United Arab Emirates: Association for Computational Linguistics. DOI: https://aclanthology.org/emnlp-22/2022.emnlp-main.284.

MENG Y., LI X., ZHENG X., WU F., SUN X., ZHANG T. & LI J. (2022). Fast nearest neighbor machine translation. In S. MURESAN, P. NAKOV & A. VILLAVICENCIO, Éds., Findings of the Association for Computational Linguistics: ACL 2022, p. 555–565, Dublin, Ireland: Association for Computational Linguistics. DOI: 10.18653/v1/2022.findings-acl.47.

MOSLEM Y., HAQUE R., KELLEHER J. D. & WAY A. (2023). Adaptive machine translation with large language models. In M. NURMINEN, J. BRENNER, M. KOPONEN, S. LATOMAA, M. MIKHAILOV, F. SCHIERL, T. RANASINGHE, E. VANMASSENHOVE, S. A. VIDAL, N. ARANBERRI, M. NUNZIATINI, C. P. ESCARTÍN, M. FORCADA, M. POPOVIC, C. SCARTON & H. MONIZ, Éds., Proceedings of the 24th Annual Conference of the European Association for Machine Translation, p. 227–237, Tampere, Finland: European Association for Machine Translation.

MU Y., REHEMAN A., CAO Z., FAN Y., LI B., LI Y., XIAO T., ZHANG C. & ZHU J. (2023). Augmenting large language model translators via translation memories. In A. ROGERS, J. BOYD-GRABER & N. OKAZAKI, Éds., Findings of the Association for Computational Linguistics: ACL 2023, p. 10287–10299, Toronto, Canada: Association for Computational Linguistics. DOI: 10.18653/v1/2023.findings-acl.653.

NAGAO M. (1984). A framework of a mechanical translation between Japanese and English by analogy principle. In A. ELITHORN & R. BANERJI, Éds., Artificial and human intelligence: Elsevier Science Publishers. B.V.

NIWA A., TAKASE S. & OKAZAKI N. (2022). Nearest neighbor non-autoregressive text generation. CoRR, abs/2208.12496. DOI: 10.48550/ARXIV.2208.12496.

PAPINENI K., ROUKOS S., WARD T. & ZHU W.-J. (2002). Bleu: a method for automatic evaluation of machine translation. In P. ISABELLE, E. CHARNIAK & D. LIN, Éds., Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, p. 311–318, Philadelphia, Pennsylvania, USA: Association for Computational Linguistics. DOI: 10.3115/1073083.1073135.

PHAM M. Q., XU J., CREGO J., YVON F. & SENELLART J. (2020). Priming neural machine translation. In L. BARRAULT, O. BOJAR, F. BOUGARES, R. CHATTERJEE, M. R. COSTA-JUSSÀ, C. FEDERMANN, M. FISHEL, A. FRASER, Y. GRAHAM, P. GUZMAN, B. HADDOW, M. HUCK, A. J. YEPES, P. KOEHN, A. MARTINS, M. MORISHITA, C. MONZ, M. NAGATA, T. NAKAZAWA & M. NEGRI, Éds., Proceedings of the Fifth Conference on Machine Translation, p. 516–527, Online: Association for Computational Linguistics.
POST M. (2018). A call for clarity in reporting BLEU scores. In O. BOJAR, R. CHATTERJEE, C. FEDERMANN, M. FISHEL, Y. GRAHAM, B. HADDOW, M. HUCK, A. J. YEPES, P. KOEHN, C. MONZ, M. NEGRI, A. NÉVÉOL, M. NEVES, M. POST, L. SPECIA, M. TURCHI & K. VERSPOOR, Éds., *Proceedings of the Third Conference on Machine Translation : Research Papers*, p. 186–191, Brussels, Belgium : Association for Computational Linguistics. DOI: 10.18653/v1/W18-6319.

ROBERTSON S. E. & JONES K. S. (1976). Relevance weighting of search terms. *Journal of the American Society for Information Science*, **27**(3), 129–146. DOI: https://doi.org/10.1002/asi.4630270302.

ROSS S., GORDON G. & BAGNELL D. (2011). A reduction of imitation learning and structured prediction to no-regret online learning. In G. GORDON, D. DUNSON & M. DUDÍK, Éds., *Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics*, volume 15 de *Proceedings of Machine Learning Research*, p. 627–635, Fort Lauderdale, FL, USA : PMLR.

RUDIN C. (2019). Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. *Nature Machine Intelligence*, **1**(5), 206–215. DOI: 10.1038/s42256-019-0048-x.

SIA S. & DUH K. (2023). In-context learning as maintaining coherency : A study of on-the-fly machine translation using large language models.

SOMERS H. (1999). Review article : Example-based machine translation. *Machine Translation*, **14**(2), 113–157. DOI: 10.1023/A:1008109312730.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER L. & POLOSUKHIN I. (2017). Attention is all you need. In *Proceedings of the 31st International Conference on Neural Information Processing Systems*, NIPS’17, p. 6000–6010, Red Hook, NY, USA : Curran Associates Inc.

VILAR D., FREITAG M., CHERRY C., LUO J., RATNAKAR V. & FOSTER G. (2023). Prompting PaLM for translation : Assessing strategies and performance. In A. ROGERS, J. BOYD-GRABER & N. OKAZAKI, Éds., *Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 15406–15427, Toronto, Canada : Association for Computational Linguistics. DOI: 10.18653/v1/2023.acl-long.859.

XIA M., HUANG G., LIU L. & SHI S. (2019). Graph based translation memory for neural machine translation. *Proceedings of the AAAI Conference on Artificial Intelligence*, **33**(01), 7297–7304. DOI: 10.1609/aaai.v33i01.33017297.

XU J., CREGO J. & YVON F. (2023). Integrating translation memories into non-autoregressive machine translation. In A. VLACHOS & I. AUGENSTEIN, Éds., *Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics*, p. 1326–1338, Dubrovnik, Croatia : Association for Computational Linguistics. DOI: 10.18653/v1/2023.eacl-main.96.

ZHANG B., HADDOW B. & BIRCH A. (2023). Prompting large language model for machine translation : A case study. In *Proceedings of the 40th International Conference on Machine Learning*, ICML’23 : JMLR.org.

ZHANG J., UTIYAMA M., SUMITA E., NEUBIG G. & NAKAMURA S. (2018). Guiding neural machine translation with retrieved translation pieces. In M. WALKER, H. JI & A. STENT, Éds., *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long Papers)*, p. 1325–1335, New Orleans, Louisiana : Association for Computational Linguistics. DOI: 10.18653/v1/N18-1120.
ZHENG K., WANG L., WANG Z., CHEN B., ZHANG M. & TU Z. (2023). Towards a unified training for Levenshtein transformer. In *Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 1–5. DOI: 10.1109/ICASSP49357.2023.10094646.

ZHENG X., ZHANG Z., GUO J., HUANG S., CHEN B., LUO W. & CHEN J. (2021). Adaptive nearest neighbor machine translation. In C. ZONG, F. XIA, W. LI & R. NAVIGLI, Éds., *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers)*, p. 368–374, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2021.acl-short.47.

## A Configuration du Modèle

Nous utilisons le transformeur Multi-Levenshtein<sup>7</sup>. La dimension de plongement est 512; la taille de la couche linéaire est de 2048; le nombre de têtes est 8; le nombre de couches de l'encodeur et de décodeur est 6; les plongements sont tous partagés; le taux de dropout est 0,3.

L'entraînement est fait avec un optimisateur Adam ($\beta_1, \beta_2$) = (0,9; 0,98); un planificateur racine carrée inversée; un taux d'apprentissage de $5e^{-4}$; un lissage d'étiquette de 0,1; une mise à jour à 10 000; une précision flottante de 16. Le nombre d'itérations est fixé à 60k. La taille de lot et le nombre de GPU sont choisis pour avoir en moyenne 450 échantillons par itération. Le modèle est pré-entraîné sur des données synthétiques décrites par Bouthors et al. (2023). Nous utilisons un vocabulaire joint de taille 32k. Nous utilisons le réalignement et le réaffinage itératif avec une pénalité de 3 sur le fait d'insérer 0 à l'étape d'insertion, et un nombre maximum d'itérations de 10. (Gu et al., 2019).

Les données d'entraînement sont les 11 domaines en-fr de Bouthors et al. (2023), dont les 6 domaines que nous avons choisis. Les exemples sont construits avec comme dans la configuration DL, c-à-d avec un préfiltrage des 100 exemples avec les meilleurs scores BM25, puis les 3 meilleurs exemples de similarité DL. Cependant, les phrases avec un score < 0,4 sont retirées comme dans le papier original.

## B Illustration

Le tableau 2 illustre le compromis entre **couverture** et **pertinence** (liée au score DL individuel). Ici, nous effectuons une RPS sur un micro corpus de 11 phrases plus ou moins similaires à la source. Le terme "vert" apparaissant uniquement dans une phrase très peu pertinente (dans le sens où peu de termes de la phrase sont dans la source), un $\lambda$ trop faible la récupérera pour compléter le dernier terme couvrable. Au contraire, un $\lambda$ trop élevé a tendance à récupérer des phrases similaires les unes aux autres, avec une haute pertinence, mais une faible couverture.

<footnote n="7">7. disponible à https://github.com/Maxwell1447/fairseq.</footnote>
<table><caption>TABLE 2 – Illustration des effets des paramètres de RPS (λ et MMR) pour le score DL, avec un compromis entre couverture globale de la source (couv) et la proximité individuelle des phrases exemples. Les termes couvrants sont soulignés.</caption><thead><tr><th>méthode</th><th>couv</th><th>score DL</th><th>source : Le chat est assis sur le tapis vert du salon.</th></tr></thead><tbody><tr><td>DL-0</td><td rowspan="3">0,91</td><td>0,64</td><td><u>Le chat est assis sur le sol</u>.</td></tr><tr><td>à</td><td>0,27</td><td>J' ai acheté un nouveau tapis pour le salon.</td></tr><tr><td>DL-0,3</td><td>0,08</td><td>Après une longue journée de marche , au crépuscule , je décide enfin de me reposer à côté d' un grand rocher tout <u>vert</u> de mousse dans la forêt à côté du domaine de Courbetin.</td></tr><tr><td>DL-0,4</td><td rowspan="3">0,82</td><td>0,64</td><td><u>Le chat est assis sur le sol</u>.</td></tr><tr><td>à</td><td>0,27</td><td>J' ai acheté un nouveau tapis pour le salon.</td></tr><tr><td>DL-0,6</td><td>0,27</td><td>Regarde ce <u>chat</u> , il est assis sur le comptoir.</td></tr><tr><td>DL-0,7</td><td rowspan="3">0,64</td><td>0,64</td><td><u>Le chat est assis sur le sol</u>.</td></tr><tr><td>à</td><td>0,27</td><td>Regarde ce <u>chat</u> , il est assis sur le comptoir.</td></tr><tr><td>DL-0,9</td><td>0,45</td><td><u>Le chat est assis</u> à l' entrée.</td></tr><tr><td rowspan="3">DL-1</td><td rowspan="3">0,64</td><td>0,64</td><td><u>Le chat est assis sur le sol</u>.</td></tr><tr><td>0,45</td><td><u>Le chat est assis</u> à l' entrée.</td></tr><tr><td>0,36</td><td><u>Le chat est</u> dans une boîte en carton.</td></tr><tr><td rowspan="3">DL-MMR</td><td rowspan="3">0,82</td><td>0,64</td><td><u>Le chat est assis sur le sol</u>.</td></tr><tr><td>0,45</td><td><u>Le chat est assis</u> à l' entrée.</td></tr><tr><td>0,27</td><td>J' ai acheté un nouveau tapis pour le salon.</td></tr></tbody></table>

# C Démonstrations

## C.1 Sous-modularité de la couverture pondérée lissée

**Lemme 1.** Soit $f : 2^\Omega \to \mathbb{R}$. La propriété suivante découle de la définition de la sous-modularité de $f : f$ sous-modulaire si et seulement si $\forall X \subseteq \Omega, \forall x_1, x_2 \in \Omega \setminus X \text{ s.t. } x_1 \neq x_2$ :

$$f(X \cup \{x_1\}) + f(X \cup \{x_2\}) \geq f(X \cup \{x_1, x_2\}) + f(X)$$

Nous utilisons le lemme 1 pour montrer que la fonction de couverture pondérée lissée (2) est sous-modulaire.

**Démonstration.** Soit $f_n(Z)$ le terme dans l'équation (2) tel que $f(Z) = \sum_{n=1}^{N} f_n(Z)$ :

$$f_n(Z) = v_0 + \lambda v_1 + \dots + \lambda^{K-1} v_{K-1}, \qquad (3)$$

où les $v_i$ sont triés dans l'ordre décroissants, et $K = |Z|$. Soient $v$ et $v'$ la composante en $n$ de deux nouveaux éléments de $\Omega \setminus Z$. On considère que $v \geq v'$. On nomme $i$ et $j$ les indices tels que : $v_i \geq v \geq v_{i+1}$ et $v_j \geq v' \geq v_{j+1}$.
$$ \bullet f_n(Z \cup \{v\}) = v_0 + \dots + \lambda^i v_i + \lambda^{i+1} v + \lambda^{i+2} v_{i+1} + \dots + \lambda^K v_{K-1} $$

$$ \bullet f_n(Z \cup \{v'\}) = v_0 + \dots + \lambda^j v_j + \lambda^{j+1} v' + \lambda^{j+2} v_{j+1} + \dots + \lambda^K v_{K-1} $$

$$ \bullet f_n(Z \cup \{v, v'\}) = v_0 + \dots + \lambda^i v_i + \lambda^{i+1} v + \lambda^{i+2} v_{i+1} + \dots \\ + \lambda^{j+1} v_j + \lambda^{j+2} v' + \lambda^{j+3} v_{j+1} + \dots + \lambda^{K+1} v_{K-1} $$

On simplifie en nommant $L = \sum_{l \le i} \lambda^l v_l$, $M = \sum_{i < l \le j} \lambda^l v_l$ et $R = \sum_{j < l} \lambda^l v_l$, ce qui donne :

$$ \bullet f_n(Z \cup \{v\}) = L + \lambda^i v + \lambda(M + R) $$

$$ \bullet f_n(Z \cup \{v'\}) = L + M + \lambda^j v + \lambda R $$

$$ \bullet f_n(Z \cup \{v, v'\}) = L + \lambda^i v + \lambda M + \lambda^{j+1} v' + \lambda^2 R $$

Pour montrer que $f_n$ est sous-modulaire, il suffit de montrer que ce terme est positif :

$$ f_n(Z \cup \{v\}) + f_n(Z \cup \{v'\}) - f_n(Z \cup \{v, v'\}) - f_n(Z) = (1 - \lambda) [\lambda^j v' - (1 - \lambda)R] $$

Puisque $\lambda \in [0, 1]$, alors $1 - \lambda > 0$. D'autre part :

$$ \begin{aligned} R \le \lambda^{j+1} v_{j+1} &\Rightarrow -(1 - \lambda)R \ge -(1 - \lambda)\lambda^{j+1} v_{j+1} \\ &\Rightarrow \lambda^j v' - (1 - \lambda)R \ge \lambda^j v' - (1 - \lambda)\lambda^{j+1} v_{j+1} \end{aligned} $$

$$ \lambda^j > \lambda^{j+1}(1 - \lambda) \ge 0 \text{ et } v' \ge v_{j+1} \ge 0, \text{ donc } \lambda^j v' \ge (1 - \lambda)\lambda^{j+1} v_{j+1}. $$

$f_n(Z \cup \{v\}) + f_n(Z \cup \{v'\}) - f_n(Z \cup \{v, v'\}) - f_n(Z) \ge 0$ donc $f_n$ sous-modulaire. Puisque $f$ est une somme de fonction sous-modulaire, alors $f$ sous-modulaire. $\square$

## C.2 Majoration de l'erreur d'approximation

**Théorème 1.** Soit $f$ une fonction de couverture pondérée lissée de paramètre $\lambda$. Soit $Z$ la solution de l'algorithme 2 et $k$ le nombre d'exemples :

$$ f(Z) \ge \frac{1}{k} \left( \sum_{j=0}^{k-1} \lambda^j \right) \max_{\bar{Z}:|\bar{Z}|=k} f(Z) \quad (4) $$

Si $\lambda = 1$, la solution est optimale. Si $\lambda = 0$, elle est au pire $\frac{1}{k}$ de l'optimum. Dans le cas où les poids de couverture sont booléens (0 ou 1), et $\lambda = 0$, l'algorithme 2 est équivalent au 1 (hormis la partie de réinitialisation), ce qui nous permet de retomber sur la borne bien connue de $(1 - 1/e)$. Nous montrons également que dans des cas limites spécifiques, cette borne peut être atteinte.

**Démonstration.** L'équation (4) se démontre via les Lemmes (2) et (4). Nous adoptons la notation suivante : $\Delta(v|Z) := f(Z \cup \{v\}) - f(Z)$. Soit $Z_k^*$ un maximiseur de $f$ de taille $k$, et $Z_k$, la solution construite par l'algorithme 2, avec $Z_i$ (pour $i < k$) les itérations successives depuis $Z_0 = \emptyset$. On note aussi, $Z_{i+1} = Z_i \cup \{v_{i+1}\}$.
**Lemme 2.**

$$
\forall k > 0, f(Z_k^*) \le \sum_{i=1}^{k} f(\{v_i^*\}),
$$

où $v_i^*$ sont les éléments de $Z_k^*$ tels que $f(\{v_i^*\})$ est une suite décroissante.

Démonstration.

$$
\begin{align*}
f(Z_k^*) &= \sum_{i=1}^{k} \Delta(v_i^* | \{v_1^*, \dots, v_{i-1}^*\}) && \text{par téléscopage} \\
&\le \sum_{i=1}^{k} \Delta(v_i^* | \emptyset) && \text{car } f \text{ sous-modulaire} \\
&= \sum_{i=1}^{k} f(\{v_i^*\})
\end{align*}
$$

□

**Lemme 3.**

$$
\forall i, \forall v \notin Z_i, \Delta(v|Z_i) \geq w_i^T v,
$$

Démonstration. Étant donné $n < N$, on nomme $z_i^{(n)}$ les éléments triés de $v^{(n)}_{[1:k]}$, tels que $z_1^{(n)} \ge$
$\cdots \ge z_i^{(n)}$. $f$ s'exprime comme :

$$
f(Z_i) = \sum_{n=1}^{N} z_i^{(n)} \lambda^{i-1}
$$

Pour calculer $f(Z_i \cup \{v\})$ pour n'importe quel $v$, pour chaque $n$, $v^{(n)}$ est inséré dans la séquence
ordonnée des $z_i^{(n)}$. Soit $m(n)$ la position d'insertion. Autrement dit, $z_1^{(n)} \ge \cdots \ge z_{m(n)}^{(n)} \ge v^{(n)} \ge$
$z_{m(n)+1}^{(n)} \ge \cdots \ge z_i^{(n)}$.

De même, on appelle $L^{(n)}$ et $R^{(n)}$ les parties gauche et droite de la somme :

$$
L^{(n)} = \sum_{i \le m(n)} z_i^{(n)} \lambda^{i-1}, \quad R^{(n)} = \sum_{i > m(n)} z_i^{(n)} \lambda^{i-1}
$$

Ainsi :

$$
f(Z_i \cup \{v\}) = \sum_{n=1}^{N} L^{(n)} + \lambda^{m(n)} v^{(n)} + \lambda R^{(n)}.
$$
$$
\begin{align*}
\Delta(v|Z_i) &= f(Z_i \cup \{v\}) - f(Z_i) \\
&= \sum_{n=1}^{N} [L^{(n)} + \lambda^{m(n)}v^{(n)} + \lambda R^{(n)}] - \sum_{n=1}^{N} [L^{(n)} + R^{(n)}] \\
&= \sum_{n=1}^{N} \lambda^{m(n)}v^{(n)} - (1-\lambda) \sum_{n=1}^{N} R^{(n)}
\end{align*}
$$

Maintenant, à propos de $w_{i-1}^T v$, on note $c(n)$ le nombre de $v_j^{(n)}$ strictement positifs ($1 \le j < i$). Par construction, $w_{i-1}^{(n)} = \lambda^{c(n)}$, d'où :

$$
w_{i-1}^{T} v = \sum_{n=1}^{N} \lambda^{c(n)} v^{(n)}.
$$

$$
\begin{align*}
& \Delta(v|Z_i) - w_{i-1}^T v \\
&= \sum_{n=1}^{N} \lambda^{m(n)} v^{(n)} - (1-\lambda) \sum_{n=1}^{N} R^{(n)} - \sum_{n=1}^{N} \lambda^{c(n)} v^{(n)} \\
&= \sum_{n=1}^{N} (\lambda^{m(n)} - \lambda^{c(n)}) v^{(n)} - (1-\lambda) \sum_{n=1}^{N} \sum_{i>m(n)} z_i^{(n)} \lambda^{i-1} \\
&\ge \sum_{n=1}^{N} (\lambda^{m(n)} - \lambda^{c(n)}) v^{(n)} - (1-\lambda) \sum_{m(n)<i\le c(n)} \sum_{n=1}^{N} z_i^{(n)} \lambda^{i-1} \quad \text{par construction de } c(n) \\
&\ge \sum_{n=1}^{N} (\lambda^{m(n)} - \lambda^{c(n)}) v^{(n)} - \sum_{n=1}^{N} v^{(n)} (1-\lambda) \sum_{m(n)<i\le c(n)} \lambda^{i-1} \quad \text{pour ces } i, z_i^{(n)} \le v^{(n)} \\
&= \sum_{n=1}^{N} (\lambda^{m(n)} - \lambda^{c(n)}) v^{(n)} - \sum_{n=1}^{N} v^{(n)} (\lambda^{m(n)} - \lambda^{c(n)}) \quad \text{somme téléscopique} \\
&= 0
\end{align*}
$$

□

**Lemme 4.**

$$
\forall k > 0, f(Z_k) \geq \sum_{i=1}^{k} f(\{v_i^*\}) \lambda^{i-1},
$$

où $v_i^*$ sont éléments de $Z_k^*$ tels que $f(\{v_i^*\})$ est une suite décroissante.
Démonstration.

$$
\begin{align*}
f(Z_k) &= \sum_{i=1}^{k} \Delta(v_i | Z_{i-1}) \\
&\geq \sum_{i=1}^{k} w_{i-1}^{T} v_i \qquad \text{grâce au Lemme (3)}
\end{align*}
$$

Soit $i \leq k$. Prouvons que $w_{i-1}^T v_i \geq \lambda^{i-1} f(\{v_i^*\}) = \lambda^{i-1} 1^T v_i^*$. Il y a deux cas :

- Si $v_i^* \notin Z_i$, alors par construction : $w_{i-1}^T v_i \ge w_{i-1}^T v_i^*$. Puisque chaque $w_{i-1}^{(n)} \ge \lambda^{i-1}$, alors
  $w_{i-1}^T v_i \ge \lambda^{i-1} 1^T v_i^*$.

- Si $v_i^* \in Z_i$, on sait que $\exists j < i$ tel que $v_j^* \notin Z_i$. Donc $w_{i-1}^T v_i \ge w_{i-1}^T v_j^* \ge \lambda^{i-1} 1^T v_j^*$. Puique $f(\{v_i^*\})$ suite décroissante, $1^T v_j^* \ge 1^T v_i^*$. Par conséquent, $w_{i-1}^T v_i \ge \lambda^{i-1} 1^T v_i^*$.

D'où, $f(Z_k) \ge \sum_{i=1}^{k} f(\{v_i^*\})\lambda^{i-1}$. $\square$

En combinant les Lemmes (2) et (4), on obtient :

$$
\frac{f(Z_k)}{f(Z_k^*)} \ge \frac{\sum_{i=1}^{k} f(\{v_i^*\})\lambda^{i-1}}{\sum_{i=1}^{k} f(\{v_i^*\})}.
$$

Grâce à l'inégalité de Tchebychev pour les sommes :

$$
\frac{f(Z_k)}{f(Z_k^*)} \ge \frac{\sum_{i=1}^{k} \lambda^{i-1}}{k} = \frac{1(1 - \lambda^k)}{k(1 - \lambda)}
$$

D'où la borne.

Enfin, nous pouvons montrer que la borne est atteinte dans un scénario, signifiant qu’il s’agit bien de
la meilleure borne.

Démonstration. Pour cela, nous supposons $N > k$.

On suppose que l'ensemble de candidats est $T = (z_1, \dots, z_N, e_1, \dots e_N)$, tel que

$$
\left\{
\begin{array}{l}
\forall i, z_i = \left(\frac{1}{N}, \dots, \frac{1}{N}\right) \\
\forall i, e_i^{(n)} = 1 \quad (i = n)
\end{array}
\right.
$$

Si l'algorithme s'obstine à choisir seulement des $z_j$, alors $w_i = (\lambda^i, \dots, \lambda^i)$. Ce faisant, $\forall z \in T$, $w_i^T z = \lambda^i$. Par conséquent, l'algorithme peut choisir de manière équivalente n'importe quel $z \in T$ pour la prochaine itération. Si il ne choisit que des $z_j$ pour $Z_k$, alors :

$$
f(Z_k) = 1 + \lambda + \dots + \lambda^{k-1} = \frac{1 - \lambda^k}{1 - \lambda}
$$

D'autre part, le meilleur ensemble $Z_k^*$ de $k$ éléments est constitué uniquement de $e_j$ :

$f(Z_k^*) = k$

Le ratio est celui de l'équation (4).
# D Compléments

Pour avoir une vision complète des résultats, nous présentons les tableaux de couverture, pertinence et longueur (tableau 3), ainsi que des scores BLEU par domaine (tableau 4 et tableau 5).

Les domaines offrent une grande variabilité dont il est difficile d'extraire des tendances. Notons cependant que Europarl et Wikipedia ne bénéficient pas d'une plus grande couverture car ce sont les cas où $\lambda = 1$ qui donnent le meilleur BLEU. C'est le contraire pour ECB et JRC-Aquis.

<table><caption>TABLE 3 – Couverture, pertinence et longueur moyennes selon le score de recherche choisi, avec ou sans normalisation IDF, et $\lambda \in \{0; 0,2; 1\}$.</caption><thead><tr><th rowspan="2">recherche</th><th colspan="3">test-0.4</th><th colspan="3">test-0.6</th></tr><tr><th>couv.</th><th>perti.</th><th>long.</th><th>couv.</th><th>perti.</th><th>long.</th></tr></thead><tbody><tr><td>SDM-0</td><td>70,8</td><td>36,7</td><td>35,6</td><td>77,4</td><td>46,0</td><td>31,3</td></tr><tr><td>SDM-0,2</td><td>71,0</td><td>36,5</td><td>36,1</td><td>77,5</td><td>45,7</td><td>31,7</td></tr><tr><td>SDM-1</td><td>66,7</td><td>38,1</td><td>37,8</td><td>75,2</td><td>47,7</td><td>32,1</td></tr><tr><td>SDM-IDF-0</td><td>70,4</td><td>36,3</td><td>34,8</td><td>77,2</td><td>45,5</td><td>31,4</td></tr><tr><td>SDM-IDF-0,2</td><td>70,8</td><td>36,4</td><td>35,0</td><td>77,4</td><td>45,5</td><td>31,5</td></tr><tr><td>SDM-IDF-1</td><td>68,5</td><td>37,7</td><td>37,6</td><td>75,3</td><td>46,9</td><td>32,4</td></tr><tr><td>NGM-0</td><td>70,3</td><td>38,5</td><td>30,5</td><td>77,4</td><td>47,2</td><td>28,3</td></tr><tr><td>NGM-0,2</td><td>70,3</td><td>39,1</td><td>31,0</td><td>77,4</td><td>48,1</td><td>28,6</td></tr><tr><td>NGM-1</td><td>66,6</td><td>40,4</td><td>32,4</td><td>74,6</td><td>49,7</td><td>29,1</td></tr><tr><td>NGM-IDF-0</td><td>70,4</td><td>38,3</td><td>30,3</td><td>77,5</td><td>46,9</td><td>28,1</td></tr><tr><td>NGM-IDF-0,2</td><td>70,6</td><td>38,9</td><td>30,8</td><td>77,5</td><td>47,7</td><td>28,4</td></tr><tr><td>NGM-IDF-1</td><td>66,9</td><td>40,2</td><td>32,3</td><td>74,8</td><td>49,1</td><td>29,3</td></tr><tr><td>DL-0</td><td>70,6</td><td>40,5</td><td>27,5</td><td>78,6</td><td>50,5</td><td>24,5</td></tr><tr><td>DL-0,2</td><td>71,2</td><td>39,0</td><td>31,7</td><td>78,9</td><td>48,7</td><td>28,0</td></tr><tr><td>DL-1</td><td>62,1</td><td>47,2</td><td>20,0</td><td>72,3</td><td>56,9</td><td>19,7</td></tr><tr><td>DL-IDF-0</td><td>70,6</td><td>39,5</td><td>28,1</td><td>78,6</td><td>49,5</td><td>25,1</td></tr><tr><td>DL-IDF-0,2</td><td>70,9</td><td>38,7</td><td>30,9</td><td>78,8</td><td>48,3</td><td>27,8</td></tr><tr><td>DL-IDF-1</td><td>62,1</td><td>47,2</td><td>20,0</td><td>72,3</td><td>56,9</td><td>19,7</td></tr><tr><td>DL-MMR</td><td>64,3</td><td>46,1</td><td>20,4</td><td>73,6</td><td>56,3</td><td>19,9</td></tr></tbody></table>
<table><caption>TABLE 4 – Score BLEU selon le score de recherche choisi, avec ou sans normalisation IDF, et $\lambda \in \{0; 0,2; 1\}$.</caption><thead><tr><th></th><th>ECB</th><th>EME</th><th>Epp</th><th>JRC</th><th>Ubu</th><th>Wiki</th><th>moy</th></tr></thead><tbody><tr><td colspan="8"><em>test-0.4</em></td></tr><tr><td>SDM-0</td><td>55,0</td><td>54,1</td><td>33,8</td><td>66,8</td><td>45,7</td><td>32,5</td><td>48,0</td></tr><tr><td>SDM-0,2</td><td>54,7</td><td>54,4</td><td>33,2</td><td>66,8</td><td>45,4</td><td>32,2</td><td>47,8</td></tr><tr><td>SDM-1</td><td>55,1</td><td>53,1</td><td>34,3</td><td>66,9</td><td>45,0</td><td>33,1</td><td>47,9</td></tr><tr><td>SDM-IDF-0</td><td>55,1</td><td>54,5</td><td>33,5</td><td>67,1</td><td>45,9</td><td>32,0</td><td>48,0</td></tr><tr><td>SDM-IDF-0,2</td><td>55,0</td><td>54,4</td><td>33,6</td><td>67,0</td><td>45,4</td><td>32,3</td><td>47,9</td></tr><tr><td>SDM-IDF-1</td><td>55,5</td><td>53,4</td><td>33,1</td><td>67,3</td><td>44,7</td><td>33,2</td><td>47,9</td></tr><tr><td>NGM-0</td><td>56,1</td><td>56,6</td><td>34,7</td><td>68,2</td><td>46,0</td><td>33,6</td><td>49,2</td></tr><tr><td>NGM-0,2</td><td>56,2</td><td>56,2</td><td>34,9</td><td>68,3</td><td>45,8</td><td>33,9</td><td>49,2</td></tr><tr><td>NGM-1</td><td>56,0</td><td>55,7</td><td>35,3</td><td>67,8</td><td>45,3</td><td>33,8</td><td>49,0</td></tr><tr><td>NGM-IDF-0</td><td>55,7</td><td>56,4</td><td>34,4</td><td>68,0</td><td>45,5</td><td>33,5</td><td>48,9</td></tr><tr><td>NGM-IDF-0,2</td><td>56,0</td><td>56,5</td><td>34,7</td><td>68,1</td><td>45,4</td><td>33,8</td><td>49,1</td></tr><tr><td>NGM-IDF-1</td><td>55,8</td><td>55,6</td><td>34,9</td><td>67,8</td><td>45,7</td><td>34,7</td><td>49,1</td></tr><tr><td>DL-0</td><td>57,0</td><td>55,6</td><td>35,2</td><td>68,7</td><td>46,1</td><td>33,9</td><td>49,4</td></tr><tr><td>DL-0,2</td><td>56,6</td><td>55,6</td><td>35,0</td><td>68,4</td><td>45,7</td><td>33,8</td><td>49,2</td></tr><tr><td>DL-1</td><td>55,9</td><td>55,2</td><td>35,5</td><td>68,0</td><td>46,6</td><td>34,7</td><td>49,3</td></tr><tr><td>DL-IDF-0</td><td>56,1</td><td>55,5</td><td>34,5</td><td>68,1</td><td>46,1</td><td>33,5</td><td>49,0</td></tr><tr><td>DL-IDF-0,2</td><td>56,3</td><td>55,4</td><td>34,6</td><td>68,0</td><td>46,9</td><td>34,1</td><td>49,2</td></tr><tr><td>DL-IDF-1</td><td>55,9</td><td>55,2</td><td>35,4</td><td>68,0</td><td>46,7</td><td>34,8</td><td>49,3</td></tr><tr><td colspan="8"><em>test-0.6</em></td></tr><tr><td>SDM-0</td><td>64,5</td><td>62,5</td><td>50,1</td><td>75,7</td><td>53,6</td><td>60,8</td><td>61,2</td></tr><tr><td>SDM-0,2</td><td>64,1</td><td>62,5</td><td>50,1</td><td>75,8</td><td>53,9</td><td>60,6</td><td>61,2</td></tr><tr><td>SDM-1</td><td>63,8</td><td>61,9</td><td>50,1</td><td>74,8</td><td>52,3</td><td>61,2</td><td>60,7</td></tr><tr><td>SDM-IDF-0</td><td>64,9</td><td>61,6</td><td>49,4</td><td>76,0</td><td>52,8</td><td>59,9</td><td>60,8</td></tr><tr><td>SDM-IDF-0,2</td><td>64,7</td><td>61,9</td><td>49,2</td><td>75,8</td><td>53,6</td><td>60,2</td><td>60,9</td></tr><tr><td>SDM-IDF-1</td><td>64,7</td><td>61,8</td><td>50,0</td><td>75,5</td><td>52,0</td><td>61,2</td><td>60,9</td></tr><tr><td>NGM-0</td><td>64,2</td><td>63,6</td><td>51,0</td><td>76,7</td><td>53,0</td><td>61,1</td><td>61,6</td></tr><tr><td>NGM-0,2</td><td>64,9</td><td>63,7</td><td>51,2</td><td>76,8</td><td>53,2</td><td>61,5</td><td>61,9</td></tr><tr><td>NGM-1</td><td>64,8</td><td>63,8</td><td>51,2</td><td>76,5</td><td>52,5</td><td>62,9</td><td>61,9</td></tr><tr><td>NGM-IDF-0</td><td>64,7</td><td>64,0</td><td>51,1</td><td>76,8</td><td>53,1</td><td>61,4</td><td>61,8</td></tr><tr><td>NGM-IDF-0,2</td><td>65,7</td><td>63,5</td><td>51,0</td><td>76,8</td><td>53,5</td><td>61,5</td><td>62,0</td></tr><tr><td>NGM-IDF-1</td><td>65,5</td><td>63,8</td><td>50,8</td><td>76,3</td><td>52,6</td><td>62,0</td><td>61,8</td></tr><tr><td>DL-0</td><td>65,4</td><td>65,5</td><td>50,6</td><td>77,1</td><td>54,2</td><td>62,0</td><td>62,5</td></tr><tr><td>DL-0,2</td><td>65,4</td><td>65,8</td><td>51,0</td><td>77,0</td><td>53,9</td><td>61,9</td><td>62,5</td></tr><tr><td>DL-1</td><td>64,9</td><td>65,1</td><td>51,2</td><td>76,8</td><td>53,3</td><td>62,4</td><td>62,3</td></tr><tr><td>DL-IDF-0</td><td>65,3</td><td>65,2</td><td>50,7</td><td>77,1</td><td>53,7</td><td>61,3</td><td>62,2</td></tr><tr><td>DL-IDF-0,2</td><td>65,7</td><td>64,9</td><td>51,0</td><td>76,9</td><td>53,9</td><td>61,2</td><td>62,3</td></tr><tr><td>DL-IDF-1</td><td>64,9</td><td>65,1</td><td>51,2</td><td>76,8</td><td>53,3</td><td>62,4</td><td>62,3</td></tr></tbody></table>
<table><caption>TABLE 5 – Score BLEU selon la valeur de λ pour DL avec normalisation cardinale.</caption><thead><tr><th>λ</th><th>ECB</th><th>EME</th><th>Epp</th><th>JRC</th><th>Ubu</th><th>Wiki</th><th>moy</th></tr></thead><tbody><tr><td colspan="8"><em>test-0.4</em></td></tr><tr><td>0</td><td>57,0</td><td>55,6</td><td>35,2</td><td>68,7</td><td>46,1</td><td>33,9</td><td>49,4</td></tr><tr><td>0,1</td><td>56,4</td><td>55,3</td><td>34,7</td><td>68,4</td><td>46,3</td><td>33,7</td><td>49,1</td></tr><tr><td>0,2</td><td>56,6</td><td>55,6</td><td>35,0</td><td>68,4</td><td>45,7</td><td>33,8</td><td>49,2</td></tr><tr><td>0,3</td><td>56,5</td><td>55,4</td><td>35,0</td><td>68,6</td><td>45,9</td><td>33,6</td><td>49,2</td></tr><tr><td>0,4</td><td>56,9</td><td>55,5</td><td>34,8</td><td>68,2</td><td>45,6</td><td>33,9</td><td>49,1</td></tr><tr><td>0,5</td><td>57,0</td><td>56,0</td><td>34,5</td><td>68,4</td><td>46,0</td><td>34,5</td><td>49,4</td></tr><tr><td>0,6</td><td>57,1</td><td>55,8</td><td>34,7</td><td>68,2</td><td>45,7</td><td>34,5</td><td>49,3</td></tr><tr><td>0,7</td><td>56,8</td><td>55,6</td><td>35,1</td><td>68,2</td><td>45,5</td><td>34,4</td><td>49,3</td></tr><tr><td>0,8</td><td>56,6</td><td>55,2</td><td>35,0</td><td>68,2</td><td>45,0</td><td>34,3</td><td>49,1</td></tr><tr><td>0,9</td><td>56,5</td><td>55,4</td><td>35,2</td><td>68,1</td><td>45,2</td><td>34,2</td><td>49,1</td></tr><tr><td>1</td><td>55,9</td><td>55,2</td><td>35,5</td><td>68,0</td><td>46,6</td><td>34,7</td><td>49,3</td></tr><tr><td colspan="8"><em>test-0.6</em></td></tr><tr><td>0</td><td>65,4</td><td>65,5</td><td>50,6</td><td>77,1</td><td>54,2</td><td>62,0</td><td>62,5</td></tr><tr><td>0,1</td><td>65,5</td><td>65,4</td><td>50,8</td><td>77,0</td><td>53,8</td><td>61,8</td><td>62,4</td></tr><tr><td>0,2</td><td>65,4</td><td>65,8</td><td>51,0</td><td>77,0</td><td>53,9</td><td>61,9</td><td>62,5</td></tr><tr><td>0,3</td><td>65,6</td><td>65,5</td><td>51,2</td><td>77,1</td><td>53,8</td><td>62,0</td><td>62,5</td></tr><tr><td>0,4</td><td>65,9</td><td>65,3</td><td>51,2</td><td>77,1</td><td>54,2</td><td>62,1</td><td>62,6</td></tr><tr><td>0,5</td><td>66,0</td><td>65,2</td><td>51,2</td><td>77,2</td><td>54,4</td><td>62,1</td><td>62,7</td></tr><tr><td>0,6</td><td>66,0</td><td>65,0</td><td>51,1</td><td>77,1</td><td>54,2</td><td>62,4</td><td>62,6</td></tr><tr><td>0,7</td><td>65,7</td><td>64,7</td><td>51,1</td><td>76,9</td><td>54,1</td><td>62,3</td><td>62,5</td></tr><tr><td>0,8</td><td>65,6</td><td>65,1</td><td>50,8</td><td>76,8</td><td>53,7</td><td>62,4</td><td>62,4</td></tr><tr><td>0,9</td><td>65,5</td><td>65,2</td><td>50,8</td><td>76,8</td><td>53,5</td><td>62,4</td><td>62,3</td></tr><tr><td>1</td><td>64,9</td><td>65,1</td><td>51,2</td><td>76,8</td><td>53,3</td><td>62,4</td><td>62,3</td></tr></tbody></table>
# ParaPLUIE - une mesure automatique d'évaluation de la qualité sémantique des systèmes de paraphrases

Quentin Lemesle¹ Jonathan Chevelu¹ Damien Lolive¹ Arnaud Delhay¹
Philippe Martin¹

(1) Univ Rennes, IRISA, CNRS, 22300 Lannion, France
{quentin.lemesle, jonathan.chevelu, damien.lolive, arnaud.delhay, philippe.martin}@irisa.fr,

## RÉSUMÉ

L'évaluation des systèmes de production automatique de paraphrases est une tâche difficile car elle implique, entre autre, d'évaluer la proximité sémantique entre deux phrases. Les mesures traditionnelles s'appuient sur des distances lexicales, ou au mieux des alignements de plongements sémantiques. Dans cet article nous étudions certaines de ces mesures sur des corpus de paraphrases et de non-paraphrases reconnus pour leurs qualités ou difficultés sur cette tâche. Nous proposons une nouvelle mesure, ParaPLUIE, s'appuyant sur l'utilisation d'un grand modèle de langue. D'après nos expériences, celui-ci est plus à même de trier les paires de phrases par proximité sémantique.

## ABSTRACT

ParaPLUIE : ParaPhrase, Llm Used for Improved Evaluation

Evaluating automatic paraphrase production systems is a difficult task because it involves, among other things, assessing the semantic proximity between two sentences. Usual measures are based on lexical distances, or at least on semantic embedding alignments. In this article we study some of these measures on datasets of paraphrases and non-paraphrases known for their quality or difficulty on this task. We propose a new measure, ParaPLUIE, based on the use of a large language model. According to our experiments, this one is better to sort pairs of sentences by semantic proximity.

MOTS-CLÉS : paraphrase, évaluation sémantique, grand modèle de langue.

KEYWORDS: paraphrase, semantic evaluation, large language model.

## 1 Introduction

Dans le domaine de la production automatique de paraphrases, de nombreuses définitions d'une paraphrase ont été proposées (Mel'čuk, 1997; Barzilay & McKeown, 2001; Sekine, 2005; Zhao et al., 2009; Fabre et al., 2021). Toutes ces définitions, tout comme les travaux de linguistiques traitant de paraphrase (Leeman, 1973), contiennent une notion de conservation du sens, celle-ci étant par nature ambiguë.

Malgré cela, les systèmes ont besoin de mesures automatiques de proximité sémantique pour s'entraîner ou se comparer. Généralement, celles utilisées fonctionnent par comparaison de lexiques (Papineni et al., 2002) ou de plongements (Zhang et al., 2020). Par construction, les approches par lexiques

<figure><img src="image_197.png" /></figure>
ont des difficultés à rapprocher des transformations simples comme le remplacement d'un mot par
son synonyme (Banerjee & Lavie, 2005). Elles auront aussi du mal à rejeter deux phrases proches
syntaxiquement même si elles ont un sens opposé. D'un autre coté, les mesures utilisant des plon-
gements sémantiques reposent sur une notion d'alignement sous-phrastique sans vision globale des
phrases. Ces deux points ont été mis en évidence par Zhang et al. (2019) et ont conduit à construire le
corpus PAWS.

L'architecture *Transformer* et l'émergence des grands modèles de langues (LLM) ont permis de nombreuses avancées dans le domaine du traitement automatique du langage (Vaswani *et al.*, 2017). En particulier, le mécanisme d'auto-attention permet de capturer, sur un grand contexte, des relations sémantiques. Nous proposons d'explorer l'utilisation d'un LLM pour la mise au point d'une nouvelle mesure de similarité sémantique nommée ParaPLUIE.

Nous commençons par présenter, dans la section 2, les mesures communément utilisées, puis les
corpus d'évaluation en section 3. Dans la section 4, nous présentons une expérience préliminaire
d'utilisation d'un LLM en tant que classifieur de paraphrases avant de définir ParaPLUIE en section
5. Nous comparons ensuite ParaPLUIE aux autres mesures, en terme de dynamique des scores en
section 6, puis en terme de re-classement de paraphrases en section 7.

## 2 Mesures sémantiques automatiques pour les paraphrases

L'état de l'art des mesures d'évaluation automatique de conservation de sens entre deux phrases peut être séparé en deux groupes. Le premier groupe concerne les mesures estimant la distance lexicale qui ont pour but d'évaluer à quel point les structures de deux phrases sont similaires. Le second regroupe les mesures estimant la proximité sémantique entre deux phrases.

Dans le premier groupe, on peut inscrire la distance de Levenshtein (LEV.) (Levenshtein, 1965), WER (Woodard & Nelson, 1982), BLEU (Papineni et al., 2002) et METEOR (Banerjee & Lavie, 2005).

LEV. donne une mesure de différence entre deux chaînes de caractères. Cette mesure repose sur la détermination du nombre minimal de suppressions, insertions et remplacements pour passer de la chaîne de caractères hypothèse à la chaîne référence. LEV. augmentant avec la taille des chaînes de caractères considérées, elle est généralement normalisée par la taille de la chaîne de caractères la plus grande parmi l'hypothèse et la référence.

WER est un dérivé de LEV., travaillant au niveau des mots et non des caractères. Cette mesure correspond au rapport entre le nombre de mots communs entre la phrase hypothèse et celle de référence, et le nombre de mots de la plus longue des deux phrases.

BLEU a été conçu pour être une mesure de qualité de traduction. Elle consiste en la comptabilisation de la présence de ngrammes d'une phrase hypothèse dans une ou plusieurs phrases de référence. Généralement, tous les ngrammes de longueur 1 à 4 mots sont considérés. BLEU est associé à un score de rappel des ngrammes de l'hypothèse dans la référence. Par la suite, dans cet article, la version de BLEU que nous utilisons est l'implémentation de *torchtext*<fnref n="1" /> avec les paramètres par défaut.

METEOR reprend les principes de BLEU en calculant une moyenne harmonique, à partir de la précision et du rappel de l'apparition d'un ngramme hypothèse parmi les références. De plus, METEOR prend

<footnote n="1">1. https://pytorch.org/text/stable/datametrics.html</footnote>
en compte une correspondance synonymique lors du calcul du score. METEOR a montré une meilleure corrélation avec le jugement humain que BLEU.

On pourrait argumenter que si deux phrases ont une structure lexicale très proche alors elles sont plus probablement des paraphrases. La faiblesse de cette hypothèse est que deux phrases peuvent partager une structure commune sans véhiculer le même sens. Pour pallier ce problème, un effort de recherche a été employé à la création d'un second groupe de mesures qui reposent sur une distance sémantique. Ces métriques s'appuient sur les plongements de symboles représentant des mots au sein d'un LLM. Dans ce groupe, on peut considérer notamment BERT<sub>score</sub> (Zhang et al., 2020) et ParaScore (Shen et al., 2022).

BERT<sub>score</sub> est un score de similarité de chaque plongement de symbole, composant une phrase hy-
pothèse, avec les plongements de symboles d'une phrase de référence. Sa définition repose sur
l'hypothèse que, s'il existe un appariement entre deux phrases tel que, tous les plongements qui les
composent sont proches, alors leur sens est proche. Par la suite, dans cet article, nous utilisons la
version de BERT<sub>score</sub> provenant de *Hugging Face*<sup>2</sup>. Celle-ci utilise le modèle BERT (Devlin et al.,
2019), nous spécifions le type du modèle en tant que "bert-base-uncased".

Shen et al. (2022) observent que lorsque les distances lexicales séparant deux paraphrases augmentent, les performances des mesures diminuent. Ils proposent donc ParaScore, une mesure qui étend BERT<sub>score</sub>, en ajoutant au calcul de similarité une distance de Levenshtein normalisée.

Il est à noter que les mesures de similarité sémantiques considèrent un alignement mot-à-mot, sans
prise en compte de relations sémantiques de plus hauts niveaux. Ainsi un risque quant à la qualité de
la classification de paraphrase existe.

Dans la suite de ce document, nous proposons une évaluation de ces différentes métriques dans le
cadre de la similarité sémantique, sur deux corpus de paraphrases.

3 Corpus

L'étude des mesures automatiques, pour mesurer la proximité sémantique de paires de phrases,
implique l'utilisation d'un corpus annoté en paraphrase/non paraphrase. Idéalement, afin de mesurer
la pertinence des mesures dans des cas difficiles, les couples étiquetés non-paraphrases doivent être
proches lexicalement ou sémantiquement (sans toutefois être considérés comme paraphrases par
des évaluateurs humains). Notre choix s'est donc porté sur deux corpus en langue anglaise : PAWS
(Zhang et al., 2019), construit pour tromper les mesures lexicales, et MRPC (Dolan & Brockett, 2005)
contenant des exemples d'inférence sémantique (mais asymétrique).

Pour PAWS, nous utilisons ici le sous-ensemble dev. Celui-ci comprend 8 000 couples dont 3 539 sont des paraphrases, soit 44% du corpus. L'entièreté du corpus est formée de 108 463 couples et a été générée de façon semi-automatique par inversion de mots et par traduction inverse. Lors de l'annotation de ces données, pour chaque couple de phrases, cinq juges ont été interrogés pour déterminer de façon binaire si les deux phrases sont des paraphrases. PAWS a été conçu pour être un challenge pour les modèles automatiques de détection de paraphrases. En effet, la génération de phrases par inversion de mots génère souvent des non-paraphrases, tout en maintenant une forte similarité lexicale. Voici un exemple de non-paraphrase caractéristique de PAWS : « flights from New

<footnote n="2">2. https://huggingface.co/spaces/evaluate-metric/bertscore</footnote>
York to Florida » et « flights from Florida to New York ».

Le corpus MRPC utilisé est disponible sur *HuggingFace*<fnref n="3" /> et comprend 5 801 couples dont 3 900 paraphrases, soit 67% du corpus. Ce corpus a été créé de façon automatique, depuis un grand corpus d'articles de presse regroupés par thème. Lors de l'annotation de ces données, le protocole a été le suivant : pour chaque couple de phrases, deux juges ont été interrogés pour savoir si les deux phrases pouvaient être considérées comme sémantiquement équivalentes; ils ne pouvaient répondre que de façon binaire, par oui ou par non, et en cas de désaccord entre les deux jugements, un troisième juge répondait à la même consigne. Voici un exemple de non-paraphrase caractéristique de MRPC : « *Last year, Bush appointed him to the Homeland Security Advisory Council.*** » et « *He has also served on the president's Homeland Security Advisory Council.*** ».

L'ensemble des deux corpus comporte 54% de paraphrases. Les distributions, des mesures présentées à la section 2 et appliquées sur chacune des classes de ces deux corpus, sont présentées dans la table 1. On constate effectivement que les paires de phrases de PAWS sont très proches contrairement à MRPC.

Au sein d'un même corpus, pour toutes les mesures considérées (sauf ParaScore sur PAWS), on constate que les moyennes des différentes classes sont bien cohérentes avec l'étiquette de référence. En revanche, les écarts-types laissent penser qu'une classification ou qu'un tri des phrases en fonction de leur score, ne permettraient pas de bien identifier les paraphrases. De plus, si on croise les résultats des corpus, on constate que le score moyen des non-paraphrases de PAWS est meilleur que le score moyen des paraphrases de MRPC, quelle que soit la mesure. Rappelons toutefois que nous traitons volontairement des corpus très difficiles pour des mesures de proximité sémantique.

<table><caption>TABLE 1 – Moyenne des scores de chaque mesure sur les corpus MRPC et PAWS. Les corpus ont été découpés en sous-corpus séparant les paraphrases et non-paraphrases (colonne *Para*.). La taille des corpus dénote le nombre de couples de phrases. Le signe ↑ associé à une mesure indique que plus sa valeur est élevée, meilleur est son score, et ↓ signale l'inverse.</caption><thead><tr><th>Corpus</th><th>Para.</th><th>Taille</th><th>LEV. ↓</th><th>WER ↓</th><th>BLEU ↑</th><th>METEOR ↑</th><th>BERT<sub>score</sub> ↑</th><th>ParaScore ↑</th></tr></thead><tbody><tr><td rowspan="2">MRPC</td><td>Oui</td><td>3900</td><td>0,38 ±0,16</td><td>0,51 ±0,20</td><td>0,40 ±0,21</td><td>0,69 ±0,14</td><td>0,82 ±0,07</td><td>0,83 ±0,07</td></tr><tr><td>Non</td><td>1901</td><td>0,51 ±0,13</td><td>0,67 ±0,19</td><td>0,28 ±0,18</td><td>0,56 ±0,15</td><td>0,74 ±0,08</td><td>0,76 ±0,09</td></tr><tr><td rowspan="2">PAWS</td><td>Oui</td><td>3539</td><td>0,20 ±0,15</td><td>0,26 ±0,18</td><td>0,62 ±0,18</td><td>0,91 ±0,06</td><td>0,94 ±0,04</td><td>0,92 ±0,03</td></tr><tr><td>Non</td><td>4461</td><td>0,32 ±0,15</td><td>0,37 ±0,18</td><td>0,49 ±0,19</td><td>0,88 ±0,07</td><td>0,91 ±0,04</td><td>0,92 ±0,04</td></tr><tr><td rowspan="2">Total</td><td>Oui</td><td>7439</td><td>0,30 ±0,18</td><td>0,39 ±0,23</td><td>0,51 ±0,22</td><td>0,80 ±0,16</td><td>0,88 ±0,08</td><td>0,88 ±0,07</td></tr><tr><td>Non</td><td>6362</td><td>0,38 ±0,17</td><td>0,46 ±0,23</td><td>0,43 ±0,21</td><td>0,79 ±0,18</td><td>0,86 ±0,10</td><td>0,87 ±0,09</td></tr></tbody></table>

## 4 Expérience préliminaire : classer avec un LLM

Les mesures actuelles se focalisent sur la notion de proximité lexicale ou au mieux d'alignement entre plongements de mots. En conséquence, elles ne peuvent pas prendre en compte des relations complexes entre paraphrases. Récemment, les progrès des architectures de type *Transformer* ont montré qu'il était possible d'avoir une meilleure prise en compte de relations internes à un texte, grâce

<footnote n="3">3. https://huggingface.co/docs/datasets/v1.13.0/about_dataset_features.html?highlight=mrpc</footnote>
aux mécanismes d'auto-attention (Vaswani et al., 2017). Pour la création d'une mesure de proximité sémantique, notre intuition est que ces derniers seraient plus à même « d'aligner » les parties des phrases ayant un sens proche.

Afin de vérifier la capacité d'un LLM à détecter la relation de paraphrase, une expérience préliminaire consiste à l'utiliser en mode génératif sur le principe d'un agent conversationnel. Pour cette expérience, le modèle Mistral (Jiang et al., 2023), un modèle de taille intermédiaire parmi les grands modèles de langue est utilisé. Précisément, nous utilisons la version 7B Instruct v0-2 4 au format demi-précision. Ce modèle est basé sur l'architecture Transformer et utilise une fenêtre d'attention glissante, dans le but de réduire le coût de calcul. Comme son nom de version l'indique, il possède 7 milliards de paramètres. Le corpus utilisé lors de son entraînement n'est pas divulgué. Dans cette configuration, l'empreinte mémoire du modèle est de 15 gigaoctets. Les expériences présentées ici ont été réalisées sur une machine équipée d'une carte graphique Nvidia RTX 4090.

On pose la paraphrase hypothétique (H) et la phrase de référence (R). Le classifieur binaire considéré ici consiste à appliquer un patron sur cette paire (Patron(H, R)) et à utiliser le modèle pour produire les symboles suivants les plus probables. Puisque ce modèle fonctionne sur un principe d'agent conversationnel, le patron simule le début d'un échange entre un utilisateur (user), et assistant (assistant). Un premier patron testé consiste à présenter les deux phrases et à demander si elles ont le même sens. Si le premier symbole produit en anglais est « yes », alors les paires sont considérées comme paraphrases. Toute autre réponse (« no », « they are similar », ...) est associée à un label négatif. Ce patron noté **Patron**<sub>Direct</sub> est précisément construit comme ceci :

**Patron**<sub>Direct</sub>(H, R) :
(user) : « You will receive two sentences A and B. Do these two sentences mean the same thing?
Answer with only one word "yes" or "no". »
(assistant) : « Please provide the sentences for me to evaluate. »
(user) : « A : "(R)"; B : "(H)" »

Qiao *et al.* (2023) relèvent le fait que les performances d'un LLM sont améliorées si l'on utilise des étapes intermédiaires lors de la génération. Cela permet de simuler un cheminement de pensée (Wei *et al.*, 2022). De part la nature auto-régressive des LLM, ajouter des informations dans le patron aide à la résolution de la tâche. Nous proposons les deux patrons détaillés ci-dessous utilisant la génération d'une explication intermédiaire (E) avant la classification de relation entre deux phrases.

**Patron**<sub>Expliqué</sub>(H, R)
(user) : « You will receive two sentences A and B. Do these two sentences mean the same thing? »
(assistant) : « Please provide the sentences for me to evaluate. »
(user) : « A : "(R)"; B : "(H)" »
(assistant) : « (E) »
(user) : « Summarize your answer with only one word "yes" or "no". »

De peur que le système ne favorise la catégorisation en paraphrase, nous proposons un patron demandant si les phrases ont exactement le même sens.

**Patron**<sub>Exact</sub>(H, R)
(user) : « You will receive two sentences A and B. Do these two sentences mean **exactly** the same

<footnote n="4">4. https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2</footnote>
thing? »

(assistant) : « Please provide the sentences for me to evaluate. »

(user) : « A : "(R)" ; B : "(H)" »

(assistant) : « (E) »

(user) : « Summarize your answer with only one word "yes" or "no". »

<table><caption>TABLE 2 – Performance du classifieur par LLM en fonction du patron utilisé. Le comptage des résultats est donné en tant que Vrai Positif (VP), Vrai Négatif (VN), Faux Positif (FP) et Faux Négatif (FN).</caption><thead><tr><th>Corpus</th><th>Patron</th><th>VP</th><th>VN</th><th>FP</th><th>FN</th><th>Exactitude</th><th>F1</th><th>Rappel</th><th>Précision</th></tr></thead><tbody><tr><td>MRPC</td><td>Direct</td><td>3 550</td><td>956</td><td>945</td><td>350</td><td>0,78</td><td>0,84</td><td>0,91</td><td>0,79</td></tr><tr><td>MRPC</td><td>Expliqué</td><td>3 089</td><td>1 343</td><td>558</td><td>811</td><td>0,76</td><td>0,82</td><td>0,79</td><td>0,85</td></tr><tr><td>MRPC</td><td>Exact</td><td>1 965</td><td>1 661</td><td>240</td><td>1 935</td><td>0,62</td><td>0,64</td><td>0,50</td><td>0,89</td></tr><tr><td>PAWS</td><td>Direct</td><td>3 381</td><td>1 297</td><td>3 164</td><td>158</td><td>0,58</td><td>0,67</td><td>0,95</td><td>0,52</td></tr><tr><td>PAWS</td><td>Expliqué</td><td>3 177</td><td>1 919</td><td>2 542</td><td>362</td><td>0,64</td><td>0,68</td><td>0,90</td><td>0,55</td></tr><tr><td>PAWS</td><td>Exact</td><td>2 453</td><td>3 074</td><td>1 387</td><td>1 086</td><td>0,69</td><td>0,66</td><td>0,69</td><td>0,64</td></tr><tr><td>Total</td><td>Direct</td><td>6 931</td><td>2 253</td><td>4 109</td><td>508</td><td>0,66</td><td>0,75</td><td>0,93</td><td>0,63</td></tr><tr><td>Total</td><td>Expliqué</td><td>6 266</td><td>3 262</td><td>3 100</td><td>1 173</td><td>0,69</td><td>0,74</td><td>0,84</td><td>0,67</td></tr><tr><td>Total</td><td>Exact</td><td>4 418</td><td>4 735</td><td>1 627</td><td>3 021</td><td>0,66</td><td>0,65</td><td>0,59</td><td>0,73</td></tr></tbody></table>

Les résultats de classification de ces approches sur les corpus PAWS et MRPC, sont rapportés dans la table 2. L'utilisation du patron direct donne une exactitude (accuracy) supérieure au hasard (0,66 contre 0,54). Comme supposé, l'ajout de l'explication permet d'améliorer les performances de l'approche directe. En revanche, imposer une relation d'équivalence sémantique exacte dégrade les résultats. On notera qu'une variation, même minime de la formulation du patron, peut influencer grandement les résultats.

Cette expérience montre la capacité du LLM à discriminer les paraphrases des non-paraphrases, malgré un contexte difficile. En revanche, compte-tenu du caractère continu de la relation de paraphrase, il semble plus judicieux de travailler avec un degré de proximité sémantique plutôt qu'une classification binaire. L'usage d'un LLM semble donc pertinent pour construire une mesure plus performante que celles traditionnellement utilisées.

## 5 Proposition : ParaPLUIE

Pour rappel, les modèles de langues sont avant tout une modélisation des probabilités d'apparition d'un symbole textuel, sachant un historique. Il est donc possible de comparer deux séquences pour calculer un degré d'appartenance à une classe comme Chen et al. (2023). Ainsi, nous proposons ParaPLUIE (ParaPhrase, Llm Used for Improved Evaluation), une mesure de proximité sémantique reposant le modèle probabiliste d'un LLM. ParaPLUIE est définie comme le logarithme des rapports de vraisemblances, sur le fait que le patron appliqué à la paraphrase hypothétique (H) et à la référence (R) est suivi du symbole « yes » ou « no », c'est-à-dire :

$$ \text{ParaPLUIE}(H, R) = \log \left( \frac{p(\text{yes}|\text{Patron}(H, R))}{p(\text{no}|\text{Patron}(H, R))} \right) $$
Si les patrons sont identiques et les mots « yes » et « no » ne sont codés que sur un unique symbole, alors ce ratio de probabilité est égale au ratio des perplexités (*ppl*), à une puissance près. La perplexité reflétant justement la « surprise » du modèle lors de l'apparition des symboles. De plus, généralement, les *LLM* sont justement appris en utilisant la perplexité comme fonction objectif (*loss*). Ainsi, le calcul de la mesure devient :

$$ 
\begin{aligned}
\text{ParaPLUIE}(H, R) &= \log \left( \frac{\text{ppl}(\text{Patron}(H, R) \circ \text{no})^{T+1}}{\text{ppl}(\text{Patron}(H, R) \circ \text{yes})^{T+1}} \right) \\
&= (T+1) \times [\text{loss}_{LLM}(\text{Patron}(H, R) \circ \text{no}) - \text{loss}_{LLM}(\text{Patron}(H, R) \circ \text{yes})]
\end{aligned}
\quad (1)
$$

où *T* est le nombre de symboles dans le patron et « ○ » l'opération de concaténation de deux textes.

La mesure proposée est donc à valeurs réelles. Plus le score est élevé et plus le système estime que les deux phrases sont vraisemblablement des paraphrases alors qu'un score inférieur à zéro indiquerait que le sens des deux phrases est différent. Notons que cette propriété aide à l'interprétation des résultats contrairement à d'autres scores.

Comme pour la section 4, nous utilisons le *LLM* Mistral pour ParaPLUIE. Puisque les résultats de la table 2 sont relativement proches sur la tâche de classification, et par soucis de simplicité, nous utilisons le **PatronDirect**.

# 6 Dynamique des scores

Nous nous intéressons ici à la dynamique des scores ParaPLUIE au regard des étiquettes paraphrases/non-paraphrases fournis dans les corpus de la section 3.

La distribution des scores ParaPLUIE sur les deux corpus de référence est présentée table 3. Contrairement à ce qui a été observé dans la table 1, le score moyen des paraphrases est bien supérieur à celui des non-paraphrases en intra-corpus et en inter-corpus. On regrettera que le score moyen des non-paraphrases ne soit pas négatif. Encore une fois, cela peut s'expliquer par le caractère volontairement trompeur des corpus considérés dans cette expérience.

<table><caption>TABLE 3 – Moyenne et écart-type des scores ParaPLUIE sur les corpus MRPC et PAWS.</caption><thead><tr><th>Corpus</th><th>Para.</th><th>ParaPLUIE ↑</th></tr></thead><tbody><tr><td rowspan="2">MRPC</td><td>Oui</td><td>20,02 ±8,94</td></tr><tr><td>Non</td><td>4,41 ±15,43</td></tr><tr><td rowspan="2">PAWS</td><td>Oui</td><td>22,04 ±6,64</td></tr><tr><td>Non</td><td>12,80 ±13,46</td></tr><tr><td rowspan="2">Total</td><td>Oui</td><td>20,98 ±7,99</td></tr><tr><td>Non</td><td>10,29 ±14,59</td></tr></tbody></table>

La figure 1 propose une comparaison graphique des distributions des scores en fonction de l'étiquette des phrases. Puisqu'aucune mesure ne classe parfaitement les corpus, on observe un chevauchement
<figure><img src="image_198.png" /><figcaption>FIGURE 1 – Boîte à moustache des scores pour les différentes mesures. Les cercles correspondent aux 5% des valeurs les plus extrêmes.</figcaption></figure>

des scores. Mais pour ParaPLUIE, contrairement aux autres mesures, le score des non-paraphrases semble avoir une dynamique bien différente du score des paraphrases. Notons aussi que les mesures lexicale semble meilleurs sur ces corpus que les mesures sémantiques, hormis ParaPLUIE.

# 7 Re-classement de paraphrases

Comparons la capacité qu'ont les différentes mesures à ordonner les paraphrases et les non-paraphrases des corpus. Les paires de phrases sont triées par score décroissant pour LEV. et WER, et par score croissant pour les autres. Ainsi, plus une paire de phrases a un rang élevé, plus ces dernières sont considérées comme proches l'une de l'autre par la mesure. En faisant varier le rang à partir duquel on considère qu'une paire est effectivement paraphrase, et sachant l'étiquette d'une paire, il est possible de calculer la variation du score F1 (moyenne harmonique du rappel et de la précision), ainsi que l'exactitude de classification. Ces résultats sont présentés en figure 2.

Comme l'illustre la figure 2a, le score F1 de toutes les mesures chute rapidement, sauf celui de ParaPLUIE. On remarque figure 2b que l'exactitude reste basse, sauf pour ParaPLUIE, et qu'elle chute rapidement pour METEOR, BERTscore et ParaScore. Sur ce type de corpus, étonnamment, les mesures lexicales exactes surpassent les mesures plus sémantiques autres que ParaPLUIE. Cette dernière est meilleure que les mesures lexicales, pour la très grande majorité des rangs, et surpasse toujours celles plus sémantiques.

Si l'on se concentre sur le maximum a posteriori de score F1, on constate qu'à l'exception de ParaPLUIE, l'optimal consiste approximativement à classifier toutes les paires comme paraphrases. Pour le maximum d'exactitude a posteriori, avec 0,71, ParaPLUIE est sensiblement meilleur que
<figure><img src="image_199.png" /><figcaption>FIGURE 2 – Évolution de l'exactitude et de la F1 des différentes mesures en fonction du rang.</figcaption></figure>

les autres mesures, comprises entre 0,56 et 0,59. Ces résultats sont détaillés dans la table 4. Notons que, compte-tenu du léger déséquilibre des classes, étiqueter toutes les phrases comme paraphrases donnerait une exactitude de 0,54.

<table><caption>TABLE 4 – Récapitulatif des scores de rappel et de précision selon la meilleure F1 (F1 max.) ainsi que de l'exactitude la plus haute (Exact. max.) pour chaque mesure sur les deux corpus. Les valeurs les plus élevées sont en gras.</caption><thead><tr><th>Score</th><th>LEV.</th><th>WER</th><th>BLEU</th><th>METEOR</th><th>BERT<sub>score</sub></th><th>ParaScore</th><th>ParaPLUIE</th></tr></thead><tbody><tr><td>F1 max.</td><td>0,70</td><td>0,70</td><td>0,70</td><td>0,70</td><td>0,71</td><td>0,70</td><td><strong>0,76</strong></td></tr><tr><td>Rappel<sub>F1 max.</sub></td><td><strong>1,00</strong></td><td><strong>1,00</strong></td><td><strong>1,00</strong></td><td>0,99</td><td>0,98</td><td>0,99</td><td>0,87</td></tr><tr><td>Précision<sub>F1 max.</sub></td><td>0,54</td><td>0,54</td><td>0,54</td><td>0,55</td><td>0,55</td><td>0,55</td><td><strong>0,67</strong></td></tr><tr><td>Exact. max.</td><td>0,59</td><td>0,56</td><td>0,58</td><td>0,56</td><td>0,56</td><td>0,56</td><td><strong>0,71</strong></td></tr></tbody></table>

Les figures 3a et 3b permettent de comparer plus en détail les classements produits par BERT<sub>score</sub> et ParaPLUIE. On constate la chute précoce du rappel pour BERT<sub>score</sub> alors qu'elle intervient beaucoup plus tard pour ParaPLUIE. Pour la précision, celle de BERT<sub>score</sub> n'augmente que pour les valeurs maximales – un score très proche de 1 semble être un indicateur fiable de la relation de paraphrase – alors que celle de ParaPLUIE augmente beaucoup plus tôt. Malgré cela, on notera la présence de non-paraphrases dans les meilleurs scores de ParaPLUIE.

ParaPLUIE étant définie par une soustraction (voir l'équation 1), il existe un point de bascule entre les deux probabilités en 0. En fixant un seuil de classification sur cette valeur, l'exactitude est de 0,65. Cette performance reste supérieur à toutes les autres mesures, quelque soit le seuil choisi. Autrement dit, le seuil de classification fixé à priori pour ParaPLUIE est meilleur que toutes les autres mesures, même en fixant leurs seuils de classification à posteriori.

Ces expériences, sur des corpus complexes semblent indiquer que ParaPLUIE est une bonne mesure de proximité sémantique plus performante que l'état l'art.
<figure><img src="image_200.png" /><figcaption>FIGURE 3 – Évolution de la qualité du tri des paraphrases/non-paraphrases en fonction de la mesure. Les valeurs mises en avant correspondent au maximum de score F1.</figcaption></figure>

# 8 Conclusion et perspectives

ParaPLUIE est une nouvelle mesure de proximité sémantique utilisant un *LLM*. Nous avons évalué la qualité de notre mesure par rapport aux autres mesures communément utilisées. Cette évaluation a été effectuée sur deux corpus de paraphrases en anglais, annotés par des humains, reconnus pour leurs qualités ou difficultés. Notre analyse montre que ParaPLUIE obtient une meilleure exactitude que les autres mesures de l'état de l'art. Nous proposons des variantes de patrons et montrons que s'appuyer sur une étape d'explication intermédiaire générée par *LLM* améliore l'exactitude.

Cette étude a été menée sur une quantité limitée de données, dû au temps de calcul important nécessaire à l'utilisation d'un *LLM*. Dans ces expériences, nous n'avons pas réalisé de *few-shots prompting*, c'est-à-dire, ajouté un exemple de résolution de la tâche dans le patron utilisé. Nous sommes confiants dans le fait que cela améliorerait les résultats de ParaPLUIE mais nous avons souhaité éviter de créer un biais sur les corpus que nous avons étudiés.

Être capable d'estimer si deux phrases sont des paraphrases permet l'avancée sur d'autres terrains de recherche, comme la création de petit modèles de langue dédiés à la tâche de production de paraphrase, en coopération avec des méthodes d'apprentissage par distillation de connaissances (Hsieh et al., 2023).

Nous souhaitons étendre cette étude sur des corpus de paraphrases de grande distance lexicale, là où cette étude s'est tournée sur un ensemble de couples avec une faible distance lexicale. Nous souhaitons également concevoir un petit modèle de langue dédié à l'identification de paraphrase.

Enfin nous appelons à ne pas utiliser ParaPLUIE avec un *LLM* de très grande taille. Intuitivement, l'utilisation d'un tel modèle améliorerait les résultats de ParaPLUIE ; néanmoins, rien ne le garantit et leur utilisation est particulièrement coûteuse. En revanche l'étude du patron utilisé semble être une piste prometteuse pour améliorer la mesure.
# Remerciements

Recherche soutenue financièrement par le Ministère des Armées - Agence de l'Innovation de la Défense.

# Références

BANERJEE S. & LAVIE A. (2005). METEOR : An automatic metric for MT evaluation with improved correlation with human judgments. In J. GOLDSTEIN, A. LAVIE, C.-Y. LIN & C. VOSS, Éds., *Proceedings of the Association for Computational Linguistics Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization*, p. 65–72, Ann Arbor, Michigan : Association for Computational Linguistics.

BARZILAY R. & MCKEOWN K. R. (2001). Extracting paraphrases from a parallel corpus. In *Proceedings of the 39th Annual Meeting of the Association for Computational Linguistics*, p. 50–57, Toulouse, France : Association for Computational Linguistics. DOI: 10.3115/1073012.1073020.

CHEN Y., WANG R., JIANG H., SHI S. & XU R. (2023). Exploring the use of large language models for reference-free text quality evaluation : An empirical study. In J. C. PARK, Y. ARASE, B. HU, W. LU, D. WIJAYA, A. PURWARIANTI & A. A. KRISNADHI, Éds., *Findings of the Association for Computational Linguistics : IJCNLP-AACL 2023 (Findings)*, p. 361–374, Nusa Dua, Bali : Association for Computational Linguistics.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT : Pre-training of deep bidirectional transformers for language understanding. In J. BURSTEIN, C. DORAN & T. SOLORIO, Éds., *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota : Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423.

DOLAN W. B. & BROCKETT C. (2005). Automatically constructing a corpus of sentential paraphrases. In *Proceedings of the Third International Workshop on Paraphrasing (IWP2005)*.

FABRE B., URVOY T., CHEVELU J. & LOLIVE D. (2021). Neural-driven search-based paraphrase generation. In *Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics : Main Volume*, p. 2100–2111, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.eacl-main.180.

HSIEH C.-Y., LI C.-L., YEH C.-K., NAKHOST H., FUJII Y., RATNER A., KRISHNA R., LEE C.-Y. & PFISTER T. (2023). Distilling step-by-step! outperforming larger language models with less training data and smaller model sizes. In *Findings of the Association for Computational Linguistics : Association for Computational Linguistics 2023*, p. 8003–8017, Toronto, Canada : Association for Computational Linguistics. DOI: 10.18653/v1/2023.findings-acl.507.

JIANG A. Q., SABLAYROLLES A., MENSCH A., BAMFORD C., CHAPLOT D. S., CASAS D. D. L., BRESSAND F., LENGYEL G., LAMPLE G., SAULNIER L. et al. (2023). Mistral 7b. *arXiv preprint arXiv:2310.06825*.

LEEMAN D. (1973). La paraphrase. *Langages*, p. 43–54.

LEVENSHTEIN V. (1965). Binary codes capable of correcting deletions, insertions, and reversals. *Dokl. Akad. Nauk SSSR*, **163**, 845–848.
MEL'ČUK I. M. (1997). *Vers une linguistique sens-texte : leçon inaugurale faite le vendredi 10 janvier 1997.* Collège de France.

PAPINENI K., ROUKOS S., WARD T. & ZHU W.-J. (2002). Bleu : a method for automatic evaluation of machine translation. In *Proceedings of the 40th annual meeting of the Association for Computational Linguistics*, p. 311–318.

QIAO S., OU Y., ZHANG N., CHEN X., YAO Y., DENG S., TAN C., HUANG F. & CHEN H. (2023). Reasoning with language model prompting : A survey. In *Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 5368–5393, Toronto, Canada : Association for Computational Linguistics. DOI: 10.18653/v1/2023.acl-long.294.

SEKINE S. (2005). Automatic paraphrase discovery based on context and keywords between NE pairs. In *Proceedings of the Third International Workshop on Paraphrasing (IWP2005)*.

SHEN L., LIU L., JIANG H. & SHI S. (2022). On the evaluation metrics for paraphrase generation. In Y. GOLDBERG, Z. KOZAREVA & Y. ZHANG, Éds., *Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing*, p. 3178–3190, Abu Dhabi, United Arab Emirates : Association for Computational Linguistics. DOI: 10.18653/v1/2022.emnlp-main.208.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER Ł. & POLOSKHIN I. (2017). Attention is all you need. *Advances in neural information processing systems*, **30**.

WEI J., WANG X., SCHUURMANS D., BOSMA M., XIA F., CHI E., LE Q. V., ZHOU D. *et al*. (2022). Chain-of-thought prompting elicits reasoning in large language models. *Advances in Neural Information Processing Systems*, **35**, 24824–24837.

WOODARD J. & NELSON J. (1982). An information theoretic measure of speech recognition performance. In *Workshop on standardisation for speech I/O technology, Naval Air Development Center, Warminster, PA*.

ZHANG T., KISHORE V., WU F., WEINBERGER K. Q. & ARTZI Y. (2020). Bertscore : Evaluating text generation with bert. In *International Conference on Learning Representations*.

ZHANG Y., BALDRIDGE J. & HE L. (2019). PAWS : Paraphrase Adversaries from Word Scrambling. In *Proceedings of North American Chapter of the Association for Computational Linguistics*.

ZHAO S., LAN X., LIU T. & LI S. (2009). Application-driven statistical paraphrase generation. In K.-Y. SU, J. SU, J. WIEBE & H. LI, Éds., *Proceedings of the Joint Conference of the 47th Annual Meeting of the Association for Computational Linguistics and the 4th International Joint Conference on Natural Language Processing of the AFNLP*, p. 834–842, Suntec, Singapore : Association for Computational Linguistics.
# Prédiction de la complexité lexicale : Une étude comparative entre ChatGPT et un modèle dédié à cette tâche.

Abdelhak Kelious¹ Mathieu Constant¹ Christophe Coeur²

(1) Université de Lorraine et CNRS/ATILF, France

(2) Consultant, France

(1) (abdelhak.kelious, mathieu constant) @univ-lorraine.fr,
christophe.coeur@gmail.com

## RÉSUMÉ

Cette étude s'intéresse à la prédiction de la complexité lexicale. Nous explorons des méthodes d'apprentissage profond afin d'évaluer la complexité d'un mot en se basant sur son contexte. Plus spécifiquement, nous examinons comment utiliser des modèles de langue pré-entraînés pour encoder le mot cible et son contexte, en les combinant avec des caractéristiques supplémentaires basées sur la fréquence. Notre approche obtient de meilleurs résultats que les meilleurs systèmes de SemEval-2021 (Shardlow et al., 2021) sur cette tâche. Enfin, nous menons une étude comparative avec ChatGPT afin d'évaluer son potentiel pour prédire la complexité lexicale en comparaison avec un modèle dédié à cette tâche.

## ABSTRACT

### Lexical Complexity Prediction : a Comparative Study Between ChatGPT and a Dedicated Model for this Task

This study focuses on lexical complexity prediction. We explore deep learning methods to assess the complexity of a word based on its context. Specifically, we investigate how to use pre-trained language models to encode both the sentence and the target word, and then fine-tune them by combining them with additional frequency-based features. Our approach outperforms the best systems in SemEval-2021 (Shardlow et al., 2021). Finally, we conduct a comparative study with ChatGPT to assess its potential for predicting lexical complexity compared to a model dedicated to this task.

**MOTS-CLÉS** : Traitement du langage naturel, Prédiction de la complexité lexicale, Modèles linguistiques, ChatGPT.

**KEYWORDS:** Natural language processing, Lexical complexity prediction, Language models, ChatGPT.

## 1 Introduction

Comprendre le langage est un défi qui mobilise de nombreuses compétences linguistiques, dont la maîtrise de la grammaire, l'enrichissement du vocabulaire et la production de discours cohérents. La complexité lexicale, influencée par la fréquence et le contexte d'utilisation des mots, joue un rôle crucial dans l'apprentissage des langues, affectant la rapidité et l'aisance avec lesquelles les apprenants maîtrisent de nouvelles compétences. Les difficultés de compréhension surgissent notamment quand des mots apparaissent dans des contextes peu familiers, poussant le lecteur à mal interpréter, ignorer

<figure><img src="image_201.png" /></figure>
ou perdre le fil du texte. Le traitement automatique des langues offre des outils pour identifier ces mots complexes.

La prédiction de la complexité lexicalement constitue un champ de recherche dédié à estimer la difficulté des mots dans un contexte spécifique. Cette difficulté est mesurée sur une échelle continue entre 0 et 1. Les études dans ce domaine ont exploité des caractéristiques lexicales comme la fréquence des mots ou la longueur des phrases (Zampieri et al., 2016) et des modèles de langue avancés tels que BERT (Devlin et al., 2019). Cette tâche a des applications pratiques notables, surtout en didactique des langues et en compréhension de texte (Alfter, 2021).

Notre recherche s'inscrit dans la continuité des efforts récents, notamment ceux de SemEval-2021, et propose une méthode associant des modèles de langue pré-entraînés comme DeBERTa (He et al., 2023) à des analyses de fréquence textuelle pour prédire la complexité des mots. Par ailleurs, nous examinons la capacité des modèles de langue de grande taille (LLMs) génératifs, tels que ChatGPT, à réaliser cette tâche par rapport à un modèle spécifiquement appris pour la prédiction de la complexité lexicales.

Les principales contributions de cet article sont les suivantes :

- Un nouveau modèle de prédiction de complexité lexicalement entraîné sur le jeu de données Complex 2.0 (Shardlow et al., 2021), combinant des modèles de langue pré-entraînés avec des caractéristiques de fréquence. Ce modèle obtient des performances dépassant celles de la compétition SemEval 2021 avec ces même données.

- Une évaluation comparative de la capacité de ChatGPT pour notre tâche. Les résultats montrent qu'il n'est pas performant pour prédire un score de complexité, mais il présente une certaine capacité à classer les contextes selon leur complexité, en particulier lorsque les contextes sont clairement difficiles ou clairement faciles.

# 2 Travaux connexes

## 2.1 Identification des mots complexes : méthodes et ensembles de données

Il existe plusieurs raisons d'évaluer l'identification des mots complexes dans une phrase (contexte), et cela fait l'objet de recherches depuis plusieurs années. Par exemple, cela a été exploré dans le contexte de la simplification lexicales, qui consiste à remplacer automatiquement les mots complexes par des alternatives plus simples (Shardlow, 2013).

La tâche d'identification des mots complexes (CWI : Complex Word Identification) a été étudiée en tant que tâche d'annotation de séquences, prenant en compte le contexte (phrase) dans lequel le mot apparaît (Gooding & Kochmar, 2019). Cette tâche a particulièrement été mise en avant lors de la compétition SemEval en 2021 *Lexical Complexity Prediction* (Shardlow et al., 2021), ce qui a permis de mettre en place un jeu de données dédié de référence ainsi que de standardiser des métriques d'évaluation. Cette compétition a mis en évidence l'impact de l'utilisation de modèles de langue pré-entraînés pour la CWI, ainsi que l'utilisation de diverses techniques d'affinage (fine-tuning). Par exemple, l'un des meilleurs systèmes, JUST BLUE (Bani Yaseen et al., 2021), combine les modèles BERT et RoBERTa (Liu et al., 2019). Les modèles ont été affinés séparément pour prédire les scores de complexité, le score final étant leur moyenne. Un autre exemple est le système DeepBlueAI (Pan et al., 2021) qui intègre des modèles de langue pré-entraînés affinés avec des techniques telles que le
pseudo-étiquetage, l'augmentation de données, les modèles d'entraînement empilés et l'utilisation d'une couche de *dropout* multi-échantillon.

Il existe divers jeux de données pour l'identification des mots complexes. Tout d'abord, CWI-2016 (Paetzold & Specia, 2016) est un jeu de données pour l'analyse de la complexité des mots en anglais en contexte, annoté par des locuteurs non natifs. Ce jeu de données a deux versions : une première version donnant pour chaque instance (mot-cible dans un contexte donné) les étiquettes binaires des 20 annotateurs ou annotatrices (1 si elles ou ils la jugeaient complexe, 0 sinon) ; une deuxième version attribue une seule étiquette à chaque instance, 1 si au moins un des 20 annotateurs ou annotatrices la jugeait complexe, sinon 0. CWI-2018 (Yimam et al., 2018) est un jeu de données pour l'analyse de la complexité des mots dans plusieurs langues (anglais, espagnol, allemand et français uniquement pour les tests pour ce dernier), annoté par des locuteurs natifs et non natifs. Le jeu de données fournit deux types d'étiquetage : une étiquette binaire (0 ou 1) si l'instance est considérée comme facile ou difficile par les annotateurs ; une valeur réelle entre 0 et 1 indiquant la proportion d'annotateurs trouvant l'instance difficile. Dans cet article, nous utilisons un jeu de données plus récent Complex 2.0 (Shardlow et al., 2022). Ces données ont été annotées manuellement en anglais en utilisant une échelle de Likert à 5 points pour indiquer le degré de complexité. Chaque instance (mot-cible dans un contexte donné) est ainsi annotée par une valeur réelle étant la moyenne des scores likert donnés par les différents annotateurs ou annotatrices normalisée entre 0 et 1. Complex 2.0 représente une amélioration significative par rapport à la version précédente, Complex 1.0 (Shardlow et al., 2020) avec, notamment, un nombre d'annotateurs supplémentaires. Ce jeu de données offre ainsi un réglage plus précis pour identifier la complexité des mots.

La tâche de la prédiction de la complexité lexicale s'apparente d'une certaine manière à la tâche de prédiction automatique de la lisibilité d'un texte qui utilise des techniques proches. Les textes peuvent être simplifiés en fonction des scores de lisibilité, rendant l'information plus accessible (Wilkens et al., 2022) (Wilkens et al., 2024). Des recherches récentes indiquent que l'emploi de modèles de langue avancés, tels que ceux basés sur des *transformers*, combiné à l'application de caractéristiques linguistiques spécifiquement choisies, permet d'affiner l'évaluation de la lisibilité (Lee et al., 2021). Cependant, bien que ces caractéristiques linguistiques puissent améliorer les résultats sur des échantillons de taille réduite, leur impact reste variable sur les modèles d'apprentissage profond plus sophistiqués, ne se traduisant pas systématiquement par un avantage marqué (Deutsch et al., 2020).

## 2.2 ChatGPT

Avec l'avènement des modèles génératifs, ChatGPT notamment, il est difficile d'approcher notre étude sans inclure une comparaison par rapport à ce type de modèle. Des études récentes ont démontré le potentiel prometteur de ChatGPT<fnref n="1" /> pour diverses tâches d'annotation (Dai et al., 2023; Kuzman et al., 2023) et de classification de texte (Liu et al., 2023; Amin et al., 2023; Zhang et al., 2022). Parmi les tâches qui ont suscité l'intérêt de la communauté scientifique, il y a l'augmentation de données, et l'une des techniques d'augmentation de données utilisées par ChatGPT est la paraphrase. En reformulant le texte d'entrée de diverses manières, le modèle peut générer un ensemble plus diversifié d'exemples pour l'entraînement. Cela aide le modèle à saisir le sens sous-jacent du texte plutôt que de simplement mémoriser des phrases ou des motifs spécifiques. Par exemple, AugGPT (Dai et al., 2023) reformule les phrases d'entraînement en plusieurs échantillons similaires mais sémantiquement différents, améliorant ainsi les performances du modèle. L'étude montre que AugGPT

<footnote n="1">1. Malgré un potentiel intéressant, ChatGPT a de nombreuses limites (Ray, 2023) que nous évoquerons au fil de l'article.</footnote>