9. **Format dialogue** : Cette fonction remplace les *Input* : et *Output* : du *prompt* par des tirets pour imiter un format de dialogue.

Les performances de l'in-context learning varient considérablement en fonction de la formulation exacte du *prompt* (Lu et al., 2022; Min et al., 2022). En outre, le choix optimal de chacune de ces caractéristiques peut varier en fonction du modèle utilisé. Par exemple, intuitivement, les modèles dont le pré-entraînement est fortement concentrés sur la langue anglaise ont tendance à être plus performants avec un *prompt* en anglais qu'avec un *prompt* dans la langue du corpus.

Notre système vise à rechercher la meilleure combinaison de caractéristique pour chaque modèle, mais un *grid search* sur ces caractéristique nécessiterait $2^9 = 512$ expériences pour chaque modèle et pour chaque corpus. Afin de construire un système plus léger, nous avons choisi d'effectuer un *greedy search*. Nous itérons sur les caractéristiques dans cet ordre, en testant la valeur qui n'est pas celle par défaut et en la conservant si elle est plus performante que la valeur par défaut. Dans la section 5.2, nous comparons cette approche à un *grid search* pour un modèle sur un corpus.

De nombreux travaux sur l'apprentissage en « few-shot » avec les CLM optimisent les *prompts* sur de grands jeux de données de validation (Brown et al., 2020; Tam et al., 2021; Radford et al., 2021; Qin & Eisner, 2021). Cela conduit à des résultats qui se révèlent (Perez et al., 2021) trop optimistes. Une comparaison équitable entre les MLM et les CLM devrait les comparer avec l'accès au même (petit) nombre d'instances annotées, ce qui correspond à notre *k* = 100. Dans ce contexte d'absence d'entraînement, nous suivons Perez et al. (2021) en optimisant ces caractéristiques par une validation LOOCV (leave-one-out cross-validation).

**Mesures** Nous évaluons la performance des modèles à l'aide de deux mesures. Pour des raisons de simplicité, nous évaluons les modèles sur la base d'un score de performance global, la **micro-F1**. Il est calculé comme la micro-moyenne des F1-mesures de la détection de chaque type d'entité. Nous mesurons également l'**empreinte carbone** de chacune des approches. Nous utilisons GreenAlgorithms v2.2 (Lannelongue et al., 2021)<fnref n="4" /> pour estimer l'empreinte carbone de chaque expérience, sur la base de facteurs tels que la durée d'exécution, le matériel informatique et le lieu de production de l'électricité utilisée par notre installation informatique.

# 4 Résultats et discussion

**Mesures** Le tableau 1 et la figure 2 décrivent les performances des modèles testés. L'annexe 4 détaille les estimations des émissions carbone pour toutes nos expériences. En particulier, nous estimons que l'expérience utilisant Mistral-7B sur CoNLL-2003 a généré 41 g d'équivalent CO2. (6 g pour l'optimisation du *prompt* et 35 g pour l'inférence sur l'ensemble de test). LLaMA-2-70B, environ 10 fois plus grand, est estimé avoir généré 191 g d'équivalent CO2. (44 g pour l'optimisation du *prompt* et 147 g pour l'inférence sur l'ensemble de test). L'expérience sur le modèle de langue masqué BERT-large est quant à elle estimée avoir généré 6 g d'équivalent CO2. (2 g pour le fine-tuning et l'entraînement et 4 g pour l'inférence sur l'ensemble de test).

Au total, on estime que les expériences décrites dans cet article ont généré environ 27 kg d'équivalent CO2 (25 kg pour les expériences principales et 2 kg pour l'ablation).

<footnote n="4">4. http://calculator.green-algorithms.org/</footnote>
<table><caption>TABLE 1 – Mesures micro-F1 obtenues. Nous évaluons les modèles masqués monolingues uniquement dans les langues sur lesquelles ils ont été entraînés.</caption><thead><tr><th rowspan="2">#</th><th rowspan="2">Modèle</th><th colspan="5">Anglais</th><th colspan="4">Français</th><th colspan="4">Espagnol</th></tr><tr><th>WikiNER</th><th>CoNLL2003</th><th>E3C</th><th>n2c2</th><th>NCBI</th><th>WikiNER</th><th>QFP</th><th>E3C</th><th>EMEA</th><th>MEDLINE</th><th>WikiNER</th><th>CoNLL2002</th><th>E3C</th><th>CWL</th></tr></thead><tbody><tr><td colspan="17">Approches few-shot</td></tr><tr><td rowspan="10">Causal</td><td>1</td><td>LLAMA-2-70B</td><td>0.728</td><td>0.721</td><td>0.312</td><td>0.309</td><td>0.400</td><td>0.740</td><td>0.400</td><td>0.483</td><td>0.201</td><td>0.312</td><td>0.805</td><td>0.616</td><td>0.021</td><td>0.339</td></tr><tr><td>2</td><td>Mistral-7B</td><td>0.754</td><td>0.646</td><td>0.488</td><td>0.291</td><td>0.395</td><td>0.727</td><td>0.428</td><td>0.590</td><td>0.229</td><td>0.333</td><td>0.720</td><td>0.707</td><td>0.083</td><td>0.374</td></tr><tr><td>3</td><td>BLOOM-7B1</td><td>0.524</td><td>0.557</td><td>0.279</td><td>0.113</td><td>0.151</td><td>0.148</td><td>0.206</td><td>0.320</td><td>0.197</td><td>0.120</td><td>0.470</td><td>0.419</td><td>0.051</td><td>0.117</td></tr><tr><td>4</td><td>Falcon-40B</td><td>0.686</td><td>0.708</td><td>0.280</td><td>0.279</td><td>0.305</td><td>0.662</td><td>0.456</td><td>0.378</td><td>0.279</td><td>0.283</td><td>0.720</td><td>0.543</td><td>0.072</td><td>0.267</td></tr><tr><td>5</td><td>GPT-J-6B</td><td>0.521</td><td>0.493</td><td>0.167</td><td>0.179</td><td>0.238</td><td>0.423</td><td>0.244</td><td>0.334</td><td>0.080</td><td>0.177</td><td>0.005</td><td>0.142</td><td>0.021</td><td>0.162</td></tr><tr><td>6</td><td>OPT-66B</td><td>0.608</td><td>0.495</td><td>0.227</td><td>0.157</td><td>0.234</td><td>0.624</td><td>0.406</td><td>0.019</td><td>0.206</td><td>0.283</td><td>0.166</td><td>0.273</td><td>0.043</td><td>0.204</td></tr><tr><td>7</td><td>Vicuna-13B</td><td>0.657</td><td>0.708</td><td>0.355</td><td>0.236</td><td>0.300</td><td>0.677</td><td>0.350</td><td>0.399</td><td>0.207</td><td>0.326</td><td>0.744</td><td>0.250</td><td>0.040</td><td>0.213</td></tr><tr><td>8</td><td>Vicuna-7B</td><td>0.594</td><td>0.489</td><td>0.259</td><td>0.147</td><td>0.172</td><td>0.591</td><td>0.277</td><td>0.439</td><td>0.152</td><td>0.296</td><td>0.659</td><td>0.569</td><td>0.042</td><td>0.151</td></tr><tr><td>9</td><td>Medalpaca-7B</td><td>0.537</td><td>0.586</td><td>0.272</td><td>0.138</td><td>0.132</td><td>0.529</td><td>0.142</td><td>0.259</td><td>0.162</td><td>0.252</td><td>0.581</td><td>0.490</td><td>0.088</td><td>0.220</td></tr><tr><td>10</td><td>Vigogne-13B</td><td>0.593</td><td>0.655</td><td>0.252</td><td>0.176</td><td>0.309</td><td>0.515</td><td>0.250</td><td>0.464</td><td>0.099</td><td>0.142</td><td>0.580</td><td>0.561</td><td>0.010</td><td>0.198</td></tr><tr><td rowspan="10">Masked</td><td>11</td><td>mBERT</td><td>0.768</td><td>0.804</td><td>0.624</td><td>0.378</td><td>0.401</td><td>0.801</td><td>0.728</td><td>0.741</td><td>0.588</td><td>0.428</td><td>0.812</td><td>0.760</td><td>0.324</td><td>0.432</td></tr><tr><td>12</td><td>XLM-R-large</td><td>0.786</td><td>0.826</td><td>0.637</td><td>0.462</td><td>0.471</td><td>0.811</td><td>0.781</td><td>0.762</td><td>0.629</td><td>0.531</td><td>0.797</td><td>0.781</td><td>0.325</td><td>0.528</td></tr><tr><td>13</td><td>BERT-large</td><td>0.776</td><td>0.835</td><td>0.626</td><td>0.435</td><td>0.422</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>14</td><td>RoBERTa-large</td><td>0.790</td><td>0.862</td><td>0.626</td><td>0.462</td><td>0.552</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>15</td><td>Bio_ClinicalBERT</td><td>0.528</td><td>0.542</td><td>0.621</td><td>0.469</td><td>0.420</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>16</td><td>ClinicalBERT</td><td>0.462</td><td>0.597</td><td>0.622</td><td>0.480</td><td>0.397</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>17</td><td>MedBERT</td><td>0.613</td><td>0.673</td><td>0.607</td><td>0.478</td><td>0.504</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>18</td><td>CamemBERT-large</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.829</td><td>0.793</td><td>0.768</td><td>0.661</td><td>0.577</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>19</td><td>FlauBERT-large</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.826</td><td>0.778</td><td>0.760</td><td>0.635</td><td>0.542</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>20</td><td>DrBERT-4GB</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.587</td><td>0.599</td><td>0.730</td><td>0.602</td><td>0.486</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>21</td><td>CamemBERT-bio</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.782</td><td>0.761</td><td>0.779</td><td>0.636</td><td>0.549</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>22</td><td>BETO</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.794</td><td>0.732</td><td>0.352</td><td>0.522</td></tr><tr><td>23</td><td>PatanaBERT</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.802</td><td>0.769</td><td>0.343</td><td>0.487</td></tr><tr><td>24</td><td>TulioBERT</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.804</td><td>0.798</td><td>0.340</td><td>0.482</td></tr><tr><td>25</td><td>BSC-BioEHR</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.804</td><td>0.758</td><td>0.354</td><td>0.578</td></tr><tr><td>26</td><td>BSC-Bio</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.804</td><td>0.775</td><td>0.358</td><td>0.552</td></tr><tr><td colspan="17">Skyline en utilisant toutes les données à disposition</td></tr><tr><td></td><td>RoBERTa-large</td><td>0.919</td><td>0.939</td><td>0.718</td><td>0.712</td><td>0.815</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td></td><td>CamemBERT-large</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.928</td><td>0.834</td><td>0.828</td><td>0.748</td><td>0.713</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td></td><td>BETO</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.918</td><td>0.881</td><td>0.411</td><td>0.736</td></tr></tbody></table>

<figure><img src="image_75.png" /><figcaption>FIGURE 2 – Performance dans les domaines général vs. clinique des modèles étudiés</figcaption></figure>

**Comparaison des performances des modèles**
Nous avons comparé différents modèles de langues masqués (MLM) et causaux (CLM) pour la reconnaissance d'entités nommées en nous concentrant sur les contextes à faibles ressources, typiques des applications biomédicales. Les résultats montrent que les modèles masqués de type BERT, bien que plus petits et nécessitant théoriquement une plus grande quantité de données d'apprentissage, surpassent systématiquement les CLM. Cette performance s'accompagne d'un impact environnemental beaucoup plus faible (les émissions de CO2 sont 10 à 50 fois inférieures pour les MLM par rapport aux CLM), et d'une plus grande consistance (par exemple, sur la tâche généraliste WikiNER en anglais, les 4 modèles du domaine général testés ont
obtenu des scores F1 compris entre 0,768 et 0,79). Par ailleurs, les MLMs spécialisés dans le domaine
biomédical apportent peu d'amélioration significative dans les tâches spécialisées. Ce commentaire
doit cependant être pondéré par la différence de taille entre les modèles : tous les modèles spécialisés
ont seulement 110 millions de paramètres.

La reconnaissance d'entités nommées basée sur des représentations de type BERT a reçu beaucoup d'attention ces dernières années, et est sans aucun doute plus mature que l'utilisation des CLMs pour cette tâche. Nous avons exploré les techniques de reconnaissance d'entités nommées basées sur les CLMs existantes dans la littérature, avec nos connaissances actuelles. De nouvelles approches pourraient améliorer les performances à l'avenir, mais cette tâche reste difficile pour un modèle génératif en raison de ses contraintes syntaxiques et d'évaluation spécifiques. Ces résultats ne reflètent pas nécessairement les performances sur d'autres tâches, comme la classification.

**Usage pratique des modèles de langues pour la REN à peu de ressources**
Nos expériences indiquent que les modèles de langues pour la reconnaissance des entités nommées cliniques ont actuellement des performances sous-optimales. Même les modèles MLM, *fine-tunés* simplement avec le peu de données à disposition, ne rivalisent pas avec les modèles entièrement supervisés. Les grands modèles entraînés avec l'ensemble de chaque corpus d'entraînement surpassent systématiquement les meilleurs résultats en *few-shot*, de 5 à 16 % pour le domaine général et de 8 à 48 % pour le domaine biomédical (*skylines* Table 1). Cependant, les performances peuvent suffire pour une utilisation en pré-annotation, accélérant ainsi l'annotation manuelle, par exemple dans un contexte d'*online* learning ou d'active learning.

**Bruit aléatoire** Dans les expériences MLM, les paramètres de la couche d'étiquetage REN ajoutée au modèle pré-entraîné sont initialisés de manière aléatoire. De même, dans les expériences CLM, les démonstrations dans les *prompts* sont ordonnées de façon aléatoire et les exemples négatifs dans les *prompts* d'auto-vérification sont sélectionnés de manière aléatoire, introduisant potentiellement du bruit dans nos mesures de performance. Répliquer toutes les expériences renforcerait nos conclusions (Reimers & Gurevych, 2017), mais il serait coûteux (25kg de CO2eq et 56 heures de calcul par réplication). Le grand nombre de modèles testés et de tâches traitées peut toutefois conforter les principales observations de cet article. Par exemple, nous utilisons l'ordre presque stochastique (ASO)<fnref n="5" /> (Dror et al., 2019) avec $\alpha = 0,05$ pour mesurer la significativité de la supériorité des MLM sur les CLM pour chaque ensemble de données séparément. Les MLM ne montrent pas toujours une supériorité significative sur les CLM pour la REN dans le domaine général (0,54 et 0,121 respectivement pour WikiNER anglais et CoNLL2003). Pour la REN clinique, les MLM sont nettement supérieurs aux CLM : les MLM dominent stochastiquement les CLM ($\epsilon_{min}=0$) pour tous les corpus cliniques.

**Conclusion** Cette étude a évalué les performances de deux types de modèles de langues pour la reconnaissance d'entités en *few-shot* dans trois langues. Nos expériences révèlent que la performance du *few-shot learning* est significativement plus faible dans le domaine clinique que dans le domaine

<footnote n="5">5. Étant donné les scores de performance de deux algorithmes A et B, chacun étant exécuté plusieurs fois avec des paramètres différents, l'ASO calcule une valeur spécifique au test ($\epsilon_{min}$) qui indique à quel point l'algorithme A est loin d'être significativement meilleur que l'algorithme B. Si la distance $\epsilon_{min} = 0,0$, on peut affirmer que A domine stochastiquement B avec le niveau de signification prédéfini. La littérature interprète généralement $\epsilon_{min} < 0,5$ comme un indicateur de supériorité significative de A sur B.</footnote>
général. Alors que les modèles de langues masqués surpassent les modèles de langues causaux (avec une F1-mesure plus élevée et des émissions de CO2 plus faibles), leur utilisation devrait être restreinte à la pré-annotation plutôt qu’à l’extraction d’informations efficace.

Références

ALSENTZER E., MURPHY J., BOAG W., WENG W.-H., JINDI D., NAUMANN T. & McDERMOTT M. (2019). Publicly available clinical BERT embeddings. In A. RUMSHISKY, K. ROBERTS, S. BETHARD & T. NAUMANN, Éds., *Proceedings of the 2nd Clinical Natural Language Processing Workshop*, p. 72–78, Minneapolis, Minnesota, USA : Association for Computational Linguistics. DOI: 10.18653/v1/W19-1909.

ALY R., VLACHOS A. & MCDONALD R. (2021). Leveraging type descriptions for zero-shot named entity recognition and classification. In C. ZONG, F. XIA, W. LI & R. NAVIGLI, Éds., *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 1516–1528, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.acl-long.120.

ASHOK D. & LIPTON Z. (2023). Promptner : Prompting for named entity recognition.

BÁEZ P., VILLENA F., ROJAS M., DURÁN M. & DUNSTAN J. (2020). The Chilean waiting list corpus : a new resource for clinical named entity recognition in Spanish. In *Proceedings of the 3rd Clinical Natural Language Processing Workshop*, p. 291–300, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.clinicalnlp-1.32.

BENAMARA F., HATOUT N., MULLER P. & OZDOWSKA S., Éds. (2007). *Actes de TALN 2007 (Traitement automatique des langues naturelles)*, Toulouse. ATALA, IRIT.

BROWN T., MANN B., RYDER N., SUBBIAH M., KAPLAN J. D., DHARIWAL P., NEELAKANTAN A., SHYAM P., SASTRY G., ASKELL A. et al. (2020). Language models are few-shot learners. *Advances in neural information processing systems*, **33**, 1877–1901.

CAMPILLOS L., DELÉGER L., GROUIN C., HAMON T., LIGOZAT A.-L. & NÉVÉOL A. (2018). A french clinical corpus with comprehensive semantic annotations : development of the medical entity and relation limsi annotated text corpus (merlot). *Language Resources and Evaluation*, **52**, 571–601.

CARRINO C. P., LLOP J., PÀMIES M., GUTIÉRREZ-FANDIÑO A., ARMENGOL-ESTAPÉ J., SILVEIRA-OCAMPO J., VALENCIA A., GONZALEZ-AGIRRE A. & VILLEGAS M. (2022). Pretrained biomedical language models for clinical NLP in Spanish. In *Proceedings of the 21st Workshop on Biomedical Language Processing*, p. 193–199, Dublin, Ireland : Association for Computational Linguistics. DOI: 10.18653/v1/2022.bionlp-1.19.

CAÑETE J., CHAPERON G., FUENTES R., HO J.-H., KANG H. & PÉREZ J. (2020). Spanish pre-trained bert model and evaluation data. In *PML4DC at ICLR 2020*.

CHO H., CHOI W. & LEE H. (2017). A method for named entity normalization in biomedical articles : Application to diseases and plants. *BMC Bioinformatics*, **18**. DOI: 10.1186/s12859-017-1857-8.

CONNEAU A., KHANDELWAL K., GOYAL N., CHAUDHARY V., WENZEK G., GUZMÁN F., GRAVE E., OTT M., ZETTLEMOYER L. & STOYANOV V. (2020). Unsupervised cross-lingual representation learning at scale. In D. JURAFSKY, J. CHAI, N. SCHLUTER & J. TETREAULT, Éds.,
*Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 8440–8451, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.747.

CUI L., WU Y., LIU J., YANG S. & ZHANG Y. (2021). Template-based named entity recognition using BART. In C. ZONG, F. XIA, W. LI & R. NAVIGLI, Éds., *Findings of the Association for Computational Linguistics : ACL-IJCNLP 2021*, p. 1835–1845, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2021.findings-acl.161.

DEMNER-FUSHMAN D., CHAPMAN W. W. & MCDONALD C. J. (2009). What can natural language processing do for clinical decision support? *Journal of Biomedical Informatics*, **42**(5), 760–772. Biomedical Natural Language Processing, DOI: https://doi.org/10.1016/j.jbi.2009.08.007.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). Bert : Pre-training of deep bidirectional transformers for language understanding. In *North American Chapter of the Association for Computational Linguistics*.

DIAS G., Éd. (2015). *Actes de TALN 2015 (Trajetement automatique des langues naturelles)*, Caen. ATALA, HULTECH.

DOĞAN R. I., LEAMAN R. & LU Z. (2014). Ncbi disease corpus : A resource for disease name recognition and concept normalization. *Journal of Biomedical Informatics*, **47**, 1–10. DOI : https://doi.org/10.1016/j.jbi.2013.12.006.

DROR R., SHLOMOV S. & REICHART R. (2019). Deep dominance - how to properly compare deep neural models. In A. KORHONEN, D. R. TRAUM & L. MÀRQUEZ, Éds., *Proceedings of the 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italy, July 28-August 2, 2019, Volume 1 : Long Papers*, p. 2773–2785 : Association for Computational Linguistics. DOI : 10.18653/v1/p19-1266.

DU S. S., HU W., KAKADE S. M., LEE J. D. & LEI Q. (2021). Few-shot learning via learning the representation, provably.

ESCUDIÉ J.-B., RANCE B., MALAMUT G., KHATER S., BURGUN A., CELLIER C. & JANNOT A.-S. (2017). A novel data-driven workflow combining literature and electronic health records to estimate comorbidities burden for a specific disease : a case study on autoimmune comorbidities in patients with celiac disease. *BMC medical informatics and decision making*, **17**(1), 1–10.

FRITZLER A., LOGACHEVA V. & KRETOV M. (2019). Few-shot classification in named entity recognition task. In *Proceedings of the 34th ACM/SIGAPP Symposium on Applied Computing, SAC '19*, p. 993–1000, New York, NY, USA : Association for Computing Machinery. DOI : 10.1145/3297280.3297378.

GAO L., BIDERMAN S., BLACK S., GOLDING L., HOPPE T., FOSTER C., PHANG J., HE H., THITE A., NABESHIMA N. *et al*. (2020). The pile : An 800gb dataset of diverse text for language modeling. *arXiv preprint arXiv :2101.00027*.

GE Y., GUO Y., DAS S., AL-GARADI M. A. & SARKER A. (2023). Few-shot learning for medical text : A review of advances, trends, and opportunities. *Journal of Biomedical Informatics*, **144**, 104458. DOI : https://doi.org/10.1016/j.jbi.2023.104458.

GROUIN C., ROSSET S., ZWEIGENBAUM P., FORT K., GALIBERT O. & QUINTARD L. (2011). Proposal for an extension of traditional named entities : From guidelines to evaluation, an overview. In N. IDE, A. MEYERS, S. PRADHAN & K. TOMANEK, Éds., *Proceedings of the 5th Linguistic Annotation Workshop*, p. 92–100, Portland, Oregon, USA : Association for Computational Linguistics.

GUPTA S., GARDNER M. & SINGH S. (2023). Coverage-based example selection for in-context learning. In H. BOUAMOR, J. PINO & K. BALI, Éds., *Findings of the Association for Computational*
*Linguistics* : EMNLP 2023, p. 13924–13950, Singapore : Association for Computational Linguistics.
DOI : 10.18653/v1/2023.findings-emnlp.930.

GÉRARDIN C., WAJSBÜRT P., VAILLANT P., BELLAMINE A., CARRAT F. & TANNIER X. (2022). Multilabel classification of medical concepts for patient clinical profile identification. *Artificial Intelligence in Medicine*, **128**, 102311. DOI : https://doi.org/10.1016/j.artmed.2022.102311.

HAN T., ADAMS L. C., PAPAIOANNOU J.-M., GRUNDMANN P., OBERHAUSER T., LÖSER A., TRUHN D. & BRESSEM K. K. (2023). Medalpaca–an open-source collection of medical conversational ai models and training data. *arXiv preprint arXiv:2304.08247*.

HOU Y., CHE W., LAI Y., ZHOU Z., LIU Y., LIU H. & LIU T. (2020). Few-shot slot tagging with collapsed dependency transfer and label-enhanced task-adaptive projection network. In D. JURAFSKY, J. CHAI, N. SCHLUTER & J. TETREAULT, Éds., *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 1381–1393, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.acl-main.128.

HU N., ZHOU X., XU B., LIU H., XIE X. & ZHENG H.-T. (2023a). Vpn : Variation on prompt tuning for named-entity recognition. *Applied Sciences*, **13**(14). DOI : 10.3390/app13148359.

HU Y., AMEER I., ZUO X., PENG X., ZHOU Y., LI Z., LI Y., LI J., JIANG X. & XU H. (2023b). Zero-shot clinical entity recognition using chatgpt. *arXiv preprint arXiv:2303.16416*.

HUANG J., LI C., SUBUDHI K., JOSE D., BALAKRISHNAN S., CHEN W., PENG B., GAO J. & HAN J. (2021a). Few-shot named entity recognition : An empirical baseline study. In M.-F. MOENS, X. HUANG, L. SPECIA & S. W.-T. YIH, Éds., *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 10408–10423, Online and Punta Cana, Dominican Republic : Association for Computational Linguistics. DOI : 10.18653/v1/2021.emnlp-main.813.

HUANG J., LI C., SUBUDHI K., JOSE D., BALAKRISHNAN S., CHEN W., PENG B., GAO J. & HAN J. (2021b). Few-shot named entity recognition : An empirical baseline study. In M.-F. MOENS, X. HUANG, L. SPECIA & S. W.-T. YIH, Éds., *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 10408–10423, Online and Punta Cana, Dominican Republic : Association for Computational Linguistics. DOI : 10.18653/v1/2021.emnlp-main.813.

JIA C., LIANG X. & ZHANG Y. (2019). Cross-domain NER using cross-domain language modeling. In A. KORHONEN, D. TRAUM & L. MARQUEZ, Éds., *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 2464–2474, Florence, Italy : Association for Computational Linguistics. DOI : 10.18653/v1/P19-1236.

JIANG A. Q., SABLAYROLLES A., MENSCH A., BAMFORD C., CHAPLOT D. S., CASAS D. D. L., BRESSAND F., LENGYEL G., LAMPLE G., SAULNIER L. et al. (2023). Mistral 7b. *arXiv preprint arXiv:2310.06825*.

JIMENEZ GUTIERREZ B., MCNEAL N., WASHINGTON C., CHEN Y., LI L., SUN H. & SU Y. (2022). Thinking about GPT-3 in-context learning for biomedical IE? think again. In Y. GOLDBERG, Z. KOZAREVA & Y. ZHANG, Éds., *Findings of the Association for Computational Linguistics : EMNLP 2022*, p. 4497–4512, Abu Dhabi, United Arab Emirates : Association for Computational Linguistics. DOI : 10.18653/v1/2022.findings-emnlp.329.

JOHNSON A. E., POLLARD T. J., SHEN L., LEHMAN L.-W. H., FENG M., GHASSEMI M., MOODY B., SZOLOVITS P., ANTHONY CELI L. & MARK R. G. (2016). Mimic-iii, a freely accessible critical care database. *Scientific data*, **3**(1), 1–9.

KORMILITZIN A., VACI N., LIU Q. & NEVADO-HOLGADO A. (2021). Med7 : A transferable clinical natural language processing model for electronic health records. *Artificial Intelligence in Medicine*, **118**, 102086. DOI : https://doi.org/10.1016/j.artmed.2021.102086.
LABRAK Y., BAZOGE A., DUFOUR R., ROUVIER M., MORIN E., DAILLE B. & GOURRAUD P.-A. (2023). DrBERT: A robust pre-trained model in French for biomedical and clinical domains. In A. ROGERS, J. BOYD-GRABER & N. OKAZAKI, Éds., *Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 16207–16221, Toronto, Canada: Association for Computational Linguistics. DOI: 10.18653/v1/2023.acl-long.896.

LAIGNELET M. & RIOULT F. (2009). Repérer automatiquement les segments obsolescents à l'aide d'indices sémantiques et discursifs. In A. NAZARENKO & T. POIBEAU, Éds., *Actes de TALN 2009 (Traitement automatique des langues naturelles)*, Senlis: ATALA LIPN.

LANGLAIS P. & PATRY A. (2007). Enrichissement d'un lexique bilingue par analogie. In (Benamara *et al.*, 2007), p. 101–110.

ANNELONGUE L., GREALEY J. & INOUYE M. (2021). Green algorithms: quantifying the carbon footprint of computation. *Advanced science, 8*(12), 2100707.

LAURENÇON H., SAULNIER L., WANG T., AKIKI C., VILLANOVA DEL MORAL A., LE SCAO T., VON WERRA L., MOU C., GONZÁLEZ PONFERRADA E., NGUYEN H. *et al.* (2022). The bigscience roots corpus: A 1.6 tb composite multilingual dataset. *Advances in Neural Information Processing Systems, 35*, 31809–31826.

LAYEGH A., PAYBERAH A. H., SOYLU A., ROMAN D. & MATSKIN M. (2023). Contrastner: Contrastive-based prompt tuning for few-shot ner. *arXiv preprint arXiv:2305.17951*.

LE H., VIAL L., FREJ J., SEGONNE V., COAVOUX M., LECOUTEUX B., ALLAUZEN A., CRABBÉ B., BESACIER L. & SCHWAB D. (2020). FlaubERT: Unsupervised language model pre-training for French. In N. CALZOLARI, F. BÉCHET, P. BLACHE, K. CHOUKRI, C. CIERI, T. DECLERCK, S. GOGGI, H. ISAHARA, B. MAEGAARD, J. MARIANI, H. MAZO, A. MORENO, J. ODIJK & S. PIPERIDIS, Éds., *Proceedings of the Twelfth Language Resources and Evaluation Conference*, p. 2479–2490, Marseille, France: European Language Resources Association.

LEAMAN R., KHARE R. & LU Z. (2015). Challenges in clinical natural language processing for automated disorder normalization. *Journal of Biomedical Informatics, 57*, 28–37. DOI: https://doi.org/10.1016/j.jbi.2015.07.010.

LEE D.-H., KADAKIA A., TAN K., AGARWAL M., FENG X., SHIBUYA T., MITANI R., SEKIYA T., PUJARA J. & REN X. (2022). Good examples make a faster learner: Simple demonstration-based learning for low-resource NER. In S. MURESAN, P. NAKOV & A. VILLAVICENCIO, Éds., *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 2687–2700, Dublin, Ireland: Association for Computational Linguistics. DOI: 10.18653/v1/2022.acl-long.192.

LI J., SUN A., HAN J. & LI C. (2022). A survey on deep learning for named entity recognition. *IEEE Trans. on Knowl. and Data Eng.*, 34(1), 50–70. DOI: 10.1109/TKDE.2020.2981314.

LIAO B., MENG Y. & MONZ C. (2023). Parameter-efficient fine-tuning without introducing new latency. In A. ROGERS, J. BOYD-GRABER & N. OKAZAKI, Éds., *Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 4242–4260, Toronto, Canada: Association for Computational Linguistics. DOI: 10.18653/v1/2023.acl-long.233.

LINDBERG D. A., HUMPHREYS B. L. & MCCRAY A. T. (1993). The unified medical language system. *Yearbook of medical informatics, 2*(01), 41–51.

LIU P., YUAN W., FU J., JIANG Z., HAYASHI H. & NEUBIG G. (2023). Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing. *ACM Computing Surveys, 55*(9), 1–35.
LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). Roberta: A robustly optimized bert pretraining approach. *arXiv preprint arXiv:1907.11692*.

LIU Z., XU Y., YU T., DAI W., JI Z., CAHYAWIJAYA S., MADOTTO A. & FUNG P. (2021). Crossner: Evaluating cross-domain named entity recognition. *Proceedings of the AAAI Conference on Artificial Intelligence, 35*(15), 13452-13460. DOI: 10.1609/aaai.v35i15.17587.

LU Y., BARTOLO M., MOORE A., RIEDEL S. & STENETORP P. (2022). Fantastically ordered prompts and where to find them: Overcoming few-shot prompt order sensitivity. In S. MURESAN, P. NAKOV & A. VILLAVICENCIO, Éds., *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 8086-8098, Dublin, Ireland: Association for Computational Linguistics. DOI: 10.18653/v1/2022.acl-long.556.

LUO Y.-F., HENRY S., WANG Y., SHEN F., UZUNER O. & RUMSHISKY A. (2020). The 2019 n2c2/UMass Lowell shared task on clinical concept normalization. *Journal of the American Medical Informatics Association, 27*(10), 1529-e1. DOI: 10.1093/jamia/ocaa106.

LUO Y.-F., SUN W. & RUMSHISKY A. (2019). Mcn: A comprehensive corpus for medical concept normalization. *Journal of Biomedical Informatics, 92*, 103132. DOI: https://doi.org/10.1016/j.jbi.2019.103132.

MA J., BALLESTEROS M., DOSS S., ANUBHAI R., MALLYA S., AL-ONAIZAN Y. & ROTH D. (2022a). Label semantics for few shot named entity recognition. In S. MURESAN, P. NAKOV & A. VILLAVICENCIO, Éds., *Findings of the Association for Computational Linguistics: ACL 2022*, p. 1956-1971, Dublin, Ireland: Association for Computational Linguistics. DOI: 10.18653/v1/2022.findings-acl.155.

MA R., ZHOU X., GUI T., TAN Y., LI L., ZHANG Q. & HUANG X. (2022b). Template-free prompt tuning for few-shot NER. In M. CARPUAT, M.-C. DE MARNEFFE & I. V. MEZA RUIZ, Éds., *Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies*, p. 5721-5732, Seattle, United States: Association for Computational Linguistics. DOI: 10.18653/v1/2022.naacl-main.420.

MAGNINI B., ALTUNA B., LAVELLI A., SPERANZA M. & ZANOLI R. (2021). The e3c project: European clinical case corpus. *Language, 1*(L2), L3.

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., DE LA CLERGERIE É., SEDDAH D. & SAGOT B. (2020). CamemBERT: a tasty French language model. In D. JURAFSKY, J. CHAI, N. SCHLUTER & J. TETREAULT, Éds., *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 7203-7219, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.645.

MCCRAY A., BURGUN A. & BODENREIDER O. (2001). Aggregating umls semantic types for reducing conceptual complexity. *Studies in health technology and informatics, 84*, 216-20. DOI: 10.3233/978-1-60750-928-8-216.

MIN S., LYU X., HOLTZMAN A., ARTETXE M., LEWIS M., HAJISHIRZI H. & ZETTLEMOYER L. (2022). Rethinking the role of demonstrations: What makes in-context learning work? In Y. GOLDBERG, Z. KOZAREVA & Y. ZHANG, Éds., *Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing*, p. 11048-11064, Abu Dhabi, United Arab Emirates: Association for Computational Linguistics. DOI: 10.18653/v1/2022.emnlp-main.759.

NÉVÉOL A., GROUIN C., LEIXA J., ROSSET S. & ZWEIGENBAUM P. (2014). The quaero french medical corpus: A resource for medical entity recognition and normalization. *Proc of BioTextMining Work*, p. 24-30.
NOTHMAN J., RINGLAND N., RADFORD W., MURPHY T. & CURRAN J. R. (2013).
Learning multilingual named entity recognition from wikipedia. *Artificial Intelligence*, **194**, 151–175. Artificial Intelligence, Wikipedia and Semi-Structured Resources, DOI :
https://doi.org/10.1016/j.artint.2012.03.006.

PENEDO G., MALARTIC Q., HESSLOW D., COJOCARU R., CAPPELLI A., ALOBEIDLI H., PANNIER B., ALMAZROUEI E. & LAUNAY J. (2023). The refinedweb dataset for falcon llm : outperforming curated corpora with web data, and web data only. *arXiv preprint arXiv :2306.01116*.

PEREZ E., KIELA D. & CHO K. (2021). True few-shot learning with language models. In A. BEYGELZIMER, Y. DAUPHIN, P. LIANG & J. W. VAUGHAN, Éds., *Advances in Neural Information Processing Systems*.

PETERS M. E., NEUMANN M., IYYER M., GARDNER M., CLARK C., LEE K. & ZETTLEMOYER L. (2018). Deep contextualized word representations. In M. WALKER, H. JI & A. STENT, Éds., *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers)*, p. 2227–2237, New Orleans, Louisiana: Association for Computational Linguistics. DOI: 10.18653/v1/N18-1202.

QIN G. & EISNER J. (2021). Learning how to ask : Querying LMs with mixtures of soft prompts. In K. TOUTANOVA, A. RUMSHISKY, L. ZETTLEMOYER, D. HAKKANI-TUR, I. BELTAGY, S. BETHARD, R. COTTERELL, T. CHAKRABORTY & Y. ZHOU, Éds., *Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies*, p. 5203–5212, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.naacl-main.410.

RADFORD A., KIM J. W., HALLACY C., RAMESH A., GOH G., AGARWAL S., SASTRY G., ASKELL A., MISHKIN P., CLARK J., KRUEGER G. & SUTSKEVER I. (2021). Learning transferable visual models from natural language supervision. In M. MEILA & T. ZHANG, Éds., *Proceedings of the 38th International Conference on Machine Learning*, volume 139 of *Proceedings of Machine Learning Research*, p. 8748–8763 : PMLR.

REIMERS N. & GUREVYCH I. (2017). Reporting score distributions makes a difference : Performance study of LSTM-networks for sequence tagging. In M. PALMER, R. HWA & S. RIEDEL, Éds., *Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing*, p. 338–348, Copenhagen, Denmark : Association for Computational Linguistics. DOI : 10.18653/v1/D17-1035.

SCHICK T. & SCHÜTZE H. (2021). It's not just size that matters : Small language models are also few-shot learners. In K. TOUTANOVA, A. RUMSHISKY, L. ZETTLEMOYER, D. HAKKANI-TUR, I. BELTAGY, S. BETHARD, R. COTTERELL, T. CHAKRABORTY & Y. ZHOU, Éds., *Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies*, p. 2339–2352, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2021.naacl-main.185.

SERETAN V. & WEHRLI E. (2007). Collocation translation based on sentence alignment and parsing. In (Benamara et al., 2007), p. 401–410.

SHEN Y., TAN Z., WU S., ZHANG W., ZHANG R., XI Y., LU W. & ZHUANG Y. (2023). Prompt-NER : Prompt locating and typing for named entity recognition. In A. ROGERS, J. BOYD-GRABER & N. OKAZAKI, Éds., *Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 12492–12507, Toronto, Canada : Association for Computational Linguistics. DOI : 10.18653/v1/2023.acl-long.698.

SHIN S., LEE S.-W., Ahn H., Kim S., Kim H., Kim B., Cho K., Lee G., Park W., Ha J.-W. & Sung N. (2022). On the effect of pretraining corpora on in-context learning by a large-scale
language model. In M. CARPUAT, M.-C. DE MARNEFFE & I. V. MEZA RUIZ, Éds., *Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies*, p. 5168–5186, Seattle, United States : Association for Computational Linguistics. DOI: 10.18653/v1/2022.naacl-main.380.

SRIVASTAVA A., RASTOGI A., RAO A. & CO AUTHORS (2023). Beyond the imitation game : Quantifying and extrapolating the capabilities of language models. *Transactions on Machine Learning Research*.

SUÁREZ P. J. O., ROMARY L. & SAGOT B. (2020). A monolingual approach to contextualized word embeddings for mid-resource languages. *arXiv preprint arXiv:2006.06202*.

SUN C., YANG Z., WANG L., ZHANG Y., LIN H. & WANG J. (2021). Biomedical named entity recognition using bert in the machine reading comprehension framework. *Journal of Biomedical Informatics*, **118**, 103799. DOI: https://doi.org/10.1016/j.jbi.2021.103799.

SUNG M., JEONG M., CHOI Y., KIM D., LEE J. & KANG J. (2022). BERN2 : an advanced neural biomedical named entity recognition and normalization tool. *Bioinformatics*, **38**(20), 4837-4839. DOI: 10.1093/bioinformatics/btac598.

TAM D., R. MENON R., BANSAL M., SRIVASTAVA S. & RAFFEL C. (2021). Improving and simplifying pattern exploiting training. In M.-F. MOENS, X. HUANG, L. SPECIA & S. W.-T. YIH, Éds., *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 4980–4991, Online and Punta Cana, Dominican Republic : Association for Computational Linguistics. DOI: 10.18653/v1/2021.emnlp-main.407.

TIEDEMANN J. (2012). Parallel data, tools and interfaces in OPUS. In N. CALZOLARI, K. CHOUKRI, T. DECLERCK, M. U. DOĞAN, B. MAEGAARD, J. MARIANI, A. MORENO, J. ODIJK & S. PIPERIDIS, Éds., *Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC’12)*, p. 2214–2218, Istanbul, Turkey : European Language Resources Association (ELRA).

TJONG KIM SANG E. F. (2002). Introduction to the CoNLL-2002 shared task : Language-independent named entity recognition. In *COLING-02 : The 6th Conference on Natural Language Learning 2002 (CoNLL-2002)*.

TJONG KIM SANG E. F. & DE MEULDER F. (2003). Introduction to the CoNLL-2003 shared task : Language-independent named entity recognition. In *Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003*, p. 142–147.

TOMA A., LAWLER P. R., BA J., KRISHNAN R. G., RUBIN B. B. & WANG B. (2023). Clinical camel : An open-source expert-level medical language model with dialogue-based knowledge encoding. *arXiv preprint arXiv:2305.12031*.

TOUCHENT R., ROMARY L. & DE LA CLERGERIE E. (2023). CamemBERT-bio : Un modèle de langue français savoureux et meilleur pour la santé. In C. SERVAN & A. VILNAT, Éds., *18e Conférence en Recherche d'Information et Applications 16e Rencontres Jeunes Chercheurs en RI 30e Conférence sur le Traitement Automatique des Langues Naturelles 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues*, p. 323–334, Paris, France : ATALA. HAL : hal-04130187.

TOUVRON H., MARTIN L., STONE K., ALBERT P., ALMAHAIRI A., BABAEI Y., BASHLYKOV N., BATRA S., BHARGAVA P., BHOSALE S. et al. (2023). Llama 2 : Open foundation and fine-tuned chat models. *arXiv preprint arXiv:2307.09288*.
UZUNER Ö., SOUTH B. R., SHEN S. & DUVALL S. L. (2011). 2010 i2b2/va challenge on concepts, assertions, and relations in clinical text. *Journal of the American Medical Informatics Association*, **18**(5), 552–556.

VASANTHARAJAN C., TUN K. Z., THI-NGA H., JAIN S., RONG T. & SIONG C. E. (2022). Medbert: A pre-trained language model for biomedical named entity recognition. In *2022 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIDA ASC)*, p. 1482–1488. DOI: 10.23919/APSIDAASC55919.2022.9980157.

VILAR D., FREITAG M., CHERRY C., LUO J., RATNAKAR V. & FOSTER G. (2023). Prompting PaLM for translation: Assessing strategies and performance. In *Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 15406–15427, Toronto, Canada: Association for Computational Linguistics. DOI: 10.18653/v1/2023.acl-long.859.

WAJSBÜRT P. (2021). *Extraction and normalization of simple and structured entities in medical documents*. Theses, Sorbonne Université. HAL: tel-03624928.

WAJSBÜRT P., SARFATI A. & TANNIER X. (2021). Medical concept normalization in french using multilingual terminologies and contextual embeddings. *Journal of Biomedical Informatics*, **114**, 103684. DOI: https://doi.org/10.1016/j.jbi.2021.103684.

WANG B. & KOMATSUZAKI A. (2021). GPT-J-6B: A 6 Billion Parameter Autoregressive Language Model. https://github.com/kingoflolz/mesh-transformer-jax.

WANG G., LIU X., YING Z., YANG G., CHEN Z., LIU Z., ZHANG M., YAN H., LU Y., GAO Y. et al. (2023a). Optimized glycemic control of type 2 diabetes with reinforcement learning: a proof-of-concept trial. *Nature Medicine*, p. 1–10.

WANG S., SUN X., LI X., OUYANG R., WU F., ZHANG T., LI J. & WANG G. (2023b). Gpt-ner: Named entity recognition via large language models.

WANG Y., TONG H., ZHU Z. & LI Y. (2022). Nested named entity recognition: A survey. *ACM Trans. Knowl. Discov. Data*, **16**(6). DOI: 10.1145/3522593.

WANG Y., WANG L., RASTEGAR-MOJARAD M., MOON S., SHEN F., AFZAL N., LIU S., ZENG Y., MEHRABI S., SOHN S. & LIU H. (2018). Clinical information extraction applications: A literature review. *Journal of Biomedical Informatics*, **77**, 34–49. DOI: https://doi.org/10.1016/j.jbi.2017.11.011.

WEI J., WANG X., SCHUURMANS D., BOSMA M., XIA F., CHI E., LE Q. V., ZHOU D. et al. (2022). Chain-of-thought prompting elicits reasoning in large language models. *Advances in Neural Information Processing Systems*, **35**, 24824–24837.

WORKSHOP B., SCAO T. L., FAN A., AKIKI C., PAVLICK E., ILIĆ S., HESSLOW D., CASTAGNÉ R., LUCCIONI A. S., YVON F. et al. (2022). Bloom: A 176b-parameter open-access multilingual language model. *arXiv preprint arXiv:2211.05100*.

YANG Y. & KATIYAR A. (2020). Simple and effective few-shot named entity recognition with structured nearest neighbor learning. In B. WEBBER, T. COHN, Y. HE & Y. LIU, Éds., *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 6365–6375, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.emnlp-main.516.

YE F., HUANG L., LIANG S. & CHI K. (2023). Decomposed two-stage prompt learning for few-shot named entity recognition. *Information*, **14**(5). DOI: 10.3390/info14050262.

ZHANG S., ROLLER S., GOYAL N., ARTETXE M., CHEN M., CHEN S., DEWAN C., DIAB M., LI X., LIN X. V. et al. (2022). Opt: Open pre-trained transformer language models. *arXiv preprint arXiv:2205.01068*.
ZHENG L., CHIANG W.-L., SHENG Y., ZHUANG S., WU Z., ZHUANG Y., LIN Z., LI Z., LI D., XING E. *et al.* (2023). Judging llm-as-a-judge with mt-bench and chatbot arena. *arXiv preprint arXiv:2306.05685*.

ZHU Y., KIROS R., ZEMEL R., SALAKHUTDINOV R., URTASUN R., TORRALBA A. & FIDLER S. (2015). Aligning books and movies: Towards story-like visual explanations by watching movies and reading books. In *Proceedings of the IEEE international conference on computer vision*, p. 19–27.

# 5 Annexes

## 5.1 Modèles évalués
<table><caption>TABLE 2 – Caractérisation des modèles de langage utilisés dans nos expériences en termes de paramètres et de corpus d'entraînement. Les modèles marqués avec `[en]` (respectivement `[fr]`, `[es]`) sont fortement entraînés en anglais (respectivement en français, en espagnol). Les CLMs marqués avec `*` sont des versions affinées d'autres CLMs.</caption><thead><tr><th>#</th><th>Modèle</th><th>Nombre de paramètres</th><th>Taille des données d'entraînement</th><th>Corpus d'entraînement</th></tr></thead><tbody><tr><td>1</td><td>LLAMA-2-70B<sup>[en]</sup> (Tou-vron et al., 2023)</td><td>70B</td><td>2 billions de tokens</td><td>Un mélange de corpus disponibles publiquement, principalement en anglais</td></tr><tr><td>2</td><td>Mistral-7B<sup>[?]</sup> (Jiang et al., 2023)</td><td>7B</td><td>Non divulgué</td><td>Non divulgué</td></tr><tr><td>3</td><td>BLOOM-7B1<sup>[en][fr][es]</sup> (Workshop et al., 2022)</td><td>7B</td><td>1,6 To</td><td>ROOTS (Laurençon et al., 2022), un mélange de corpus et de données pseudo-crawlées dans 59 langues</td></tr><tr><td>4</td><td>Falcon-40B<sup>[en][fr][es]</sup></td><td>40B</td><td>1 billion de tokens</td><td>RefinedWeb (Penedo et al., 2023), un ensemble de données de Web filtrées et dédoublonnées</td></tr><tr><td>5</td><td>GPT-J-6B<sup>[en]</sup> (Wang & Ko-matsuzaki, 2021)</td><td>6B</td><td>825 Gio</td><td>The Pile (Gao et al., 2020), un mélange de corpus publics et de données Web en anglais</td></tr><tr><td>6</td><td>OPT-66B<sup>[en]</sup> (Zhang et al., 2022)</td><td>66B</td><td>180 milliards de tokens</td><td>Données crawlées sur le Web, principalement en anglais</td></tr><tr><td>7</td><td>Vicuna-13B<sup>[en]*</sup> (Zheng et al., 2023)</td><td>13B</td><td>125K conversations</td><td>LLAMA 2, affiné sur des conversations collectées sur ShareGPT.com, principalement en anglais</td></tr><tr><td>8</td><td>Vicuna-7B<sup>[en]*</sup> (Zheng et al., 2023)</td><td>7B</td><td>125K conversations</td><td>LLAMA 2, affiné sur des conversations collectées sur ShareGPT.com, principalement en anglais</td></tr><tr><td>9</td><td>Medalpaca-7B<sup>[en]*</sup> (Han et al., 2023)</td><td>7B</td><td>400K paires Q.R.</td><td>LLAMA 2, affiné sur des paires de questions-réponses médicales semi-générées en anglais</td></tr><tr><td>10</td><td>Vigogne-13B<sup>[fr][en]*</sup></td><td>13B</td><td>52K instructions</td><td>LLAMA 2, affiné sur des instructions en anglais automatiquement traduites en français</td></tr><tr><td>11</td><td>mBERT<sup>[en][fr][es]</sup> (Dev-lin et al., 2019)</td><td>110M</td><td>Non divulgué</td><td>Un corpus comprenant 104 langues construit à partir de sources non divulguées</td></tr><tr><td>12</td><td>XLM-R-large<sup>[en][fr][es]</sup> (Conneau et al., 2020)</td><td>355M</td><td>2,5 To</td><td>Données CommonCrawl filtrées contenant 100 langues</td></tr><tr><td>13</td><td>BERT-large<sup>[en]</sup> (Devlin et al., 2019)</td><td>345M</td><td>3,3 milliards de mots</td><td>BookCorpus (Zhu et al., 2015), un corpus composé de livres non publiés et de Wikipédia en anglais.</td></tr><tr><td>14</td><td>RoBERTa-large<sup>[en]</sup> (Liu et al., 2019)</td><td>355M</td><td>160 Gio</td><td>BooksCorpus (Zhu et al., 2015), Wikipédia en anglais, et données Web crawlées</td></tr><tr><td>15</td><td>Bio_ClinicalBERT<sup>[en]</sup> (Al-sentzer et al., 2019)</td><td>110M</td><td>2 millions de notes cliniques</td><td>MIMIC-III (Johnson et al., 2016), une base de données contenant des dossiers médicaux électroniques de patients en soins intensifs hospitalisés</td></tr><tr><td>16</td><td>ClinicalBERT<sup>[en]</sup> (Wang et al., 2023a)</td><td>110M</td><td>1,2 milliard de mots</td><td>non divulgué</td></tr><tr><td>17</td><td>MedBERT<sup>[en]</sup> (Vasantharajan et al., 2022)</td><td>110M</td><td>57 millions de mots</td><td>Plusieurs corpus publics (y compris N2C2 (Luo et al., 2020)) et articles médicaux crawlés depuis Wikipédia</td></tr><tr><td>18</td><td>CamemBERT-large<sup>[fr]</sup> (Martin et al., 2020)</td><td>335M</td><td>64 milliards de tokens</td><td>OSCAR (Suárez et al., 2020), un corpus de données Web en français</td></tr><tr><td>19</td><td>FlaubERT-large<sup>[fr]</sup> (Le et al., 2020)</td><td>335M</td><td>13 milliards de tokens</td><td>Un mélange de Wikipédia français, de livres français et de données Web français</td></tr><tr><td>20</td><td>DrBERT-4GB<sup>[fr]</sup> (Labrak et al., 2023)</td><td>110M</td><td>1 milliard de mots</td><td>Un mélange de corpus biomédicaux disponibles publique-ment en français (dont QuaeroFrenchMed (Névéol et al., 2014)).</td></tr><tr><td>21</td><td>CamemBERT-bio<sup>[fr]</sup> (Touchent et al., 2023)</td><td>110M</td><td>413 millions de mots</td><td>Un mélange de corpus biomédicaux disponibles publique-ment en français (dont E3C (Magnini et al., 2021)).</td></tr><tr><td>22</td><td>BETO<sup>[es]</sup> (Cañete et al., 2020)</td><td>110M</td><td>3 milliards de mots</td><td>Wikipédia en espagnol et données espagnoles d'OPUS (Tiedemann, 2012)</td></tr><tr><td>23</td><td>PatanaBERT<sup>[es]</sup></td><td>110M</td><td>Non divulgué</td><td>Espagnol</td></tr><tr><td>24</td><td>TulioBERT<sup>[es]</sup></td><td>110M</td><td>Non divulgué</td><td>Espagnol</td></tr><tr><td>25</td><td>BSC-BioEHR<sup>[es]</sup> (Carrino et al., 2022)</td><td>110M</td><td>1,1 milliard de tokens</td><td>Un mélange de corpus biomédicaux, y compris des documents EHR et des données crawlées en espagnol</td></tr><tr><td>26</td><td>BSC-Bio<sup>[es]</sup> (Carrino et al., 2022)</td><td>110M</td><td>963 millions de tokens</td><td>Un mélange de corpus biomédicaux et de données crawlées en espagnol</td></tr></tbody></table>
## 5.2 Ablation

Pour mieux comprendre la contribution de chaque étape de notre approche, nous avons mené une série d'expériences complémentaires.

**Prompts de listage** Dans cette section, nous comparons les prompts de balisage adoptés aux prompts de listage. Dans les prompts de listage, les démonstrations listent simplement les mentions étiquetées. Le séparateur de liste est optimisé (de la même manière que les baliseurs) entre une virgule et un retour à la ligne. Le cas échéant, les phrases introductives demandent de lister les entités (et non de les baliser). Les résultats présentés dans le tableau 3 corroborent davantage notre choix de nous concentrer uniquement sur les prompts de balisage.

<table><caption>TABLE 3 – F1-mesures obtenues avec les prompts de listage vs. balisage</caption><thead><tr><th rowspan="2">Modèle</th><th colspan="5">Anglais</th><th colspan="5">Français</th><th colspan="4">Espagnol</th></tr><tr><th>WikiNER</th><th>CoNLL2003</th><th>E3C</th><th>n2c2</th><th>NCBI</th><th>WikiNER</th><th>QFP</th><th>E3C</th><th>EMEA</th><th>MEDLINE</th><th>WikiNER</th><th>CoNLL2002</th><th>E3C</th><th>CWL</th></tr></thead><tbody><tr><td colspan="16"><em>Prompts de listage</em></td></tr><tr><td>Mistral-7B</td><td>0.659</td><td>0.533</td><td>0.417</td><td>0.281</td><td>0.340</td><td>0.676</td><td>0.083</td><td>0.451</td><td>0.169</td><td>0.403</td><td>0.697</td><td>0.620</td><td>0.211</td><td>0.273</td></tr><tr><td colspan="16"><em>Prompts de balisage</em></td></tr><tr><td>Mistral-7B</td><td>0.754</td><td>0.646</td><td>0.488</td><td>0.291</td><td>0.395</td><td>0.727</td><td>0.428</td><td>0.590</td><td>0.229</td><td>0.333</td><td>0.720</td><td>0.707</td><td>0.083</td><td>0.374</td></tr></tbody></table>

**Échantillon et taille de l'échantillon** Nous avons testé notre approche avec différents échantillons et différentes tailles d'échantillon pour un MLM : XLM-RoBERTa-large, et un CLM : Mistral-7B. Les résultats sont présentés dans le tableau 4. On peut noter que, bien que l'écart-type par rapport à *p* soit assez élevé, une différence significative est systématiquement observée entre les deux modèles sur des échantillons de même taille. Nous observons également que, lorsque le nombre d'instances annotées diminue, les performances du MLM chutent plus rapidement que celles du CLM.

<table><caption>TABLE 4 – 1-mesures obtenues avec différents échantillons et différentes tailles d'échantillons.</caption><thead><tr><th></th><th colspan="3">CoNLL2003</th><th colspan="3">n2c2</th></tr></thead><tbody><tr><td colspan="3"><em>100 exemples annotés</em></td><td colspan="3"></td></tr><tr><th></th><th>p=1</th><th>p=2</th><th>p=3</th><th>p=1</th><th>p=2</th><th>p=3</th></tr><tr><td>Mistral-7B</td><td>0.646</td><td>0.626</td><td>0.714</td><td>0.291</td><td>0.178</td><td>0.215</td></tr><tr><td>XLM-R-large</td><td>0.826</td><td>0.814</td><td>0.786</td><td>0.462</td><td>0.478</td><td>0.526</td></tr><tr><td colspan="3"><em>50 exemples annotés</em></td><td colspan="3"></td></tr><tr><th></th><th>p=1</th><th>p=2</th><th>p=3</th><th>p=1</th><th>p=2</th><th>p=3</th></tr><tr><td>Mistral-7B</td><td>0.615</td><td>0.648</td><td>0.637</td><td>0.278</td><td>0.176</td><td>0.106</td></tr><tr><td>XLM-R-large</td><td>0.697</td><td>0.77</td><td>0.714</td><td>0.431</td><td>0.476</td><td>0.35</td></tr><tr><td colspan="3"><em>25 exemples annotés</em></td><td colspan="3"></td></tr><tr><th></th><th>p=1</th><th>p=2</th><th>p=3</th><th>p=1</th><th>p=2</th><th>p=3</th></tr><tr><td>Mistral-7B</td><td>0.509</td><td>0.599</td><td>0.52</td><td>0.152</td><td>0.252</td><td>0.116</td></tr><tr><td>XLM-R-large</td><td>0.487</td><td>0.588</td><td>0.637</td><td>0.393</td><td>0.361</td><td>0.283</td></tr></tbody></table>

**Grid search des caractéristiques** Afin d'évaluer la qualité du greedy search adopté pour trouver la meilleure combinaison de caractéristiques à incorporer dans le prompt, nous comparons cette méthode à un grid search naïf sur ces caractéristiques. Nous testons les 512 combinaisons des 9 caractéristiques identifiées, pour Mistral-7B sur CoNLL2003. Les scores trouvés par LOOCV varient entre 0,0 et 0,656 avec une valeur moyenne de 0,387 et une médiane de 0,46. La combinaison la plus
performante est : *phrases supplémentaires*, *auto-vérification*, *phrase d'introduction pour l'instance de test* et *demander une réponse longue pour l'auto-vérification*, qui est précisément la combinaison que nous avons trouvée initialement par le biais d'un greedy search, qui est environ 20 fois plus rapide et moins consommateur.

**Nombre de démonstrations** Le choix de limiter le nombre d'exemples annotés présentés aux modèles causaux, dans le *prompt*, à 10 maximum est dicté par deux contraintes.

Tout d'abord, les modèles imposent une limite sur le nombre de *tokens* passés en entrée, sur lesquels l'attention est calculée. La plupart des modèles utilisés ont 2048 *tokens* comme limite, mais Mistral-7B autorise jusqu'à 8096 *tokens*. Cette limite se traduit par une limite du nombre de phrases présentables dans le *prompt*, entre 40 et 50 pour Mistral-7B et entre 10 et 15 pour les modèles moins permissifs, selon les corpus et les *tokenizers*. Par exemple, considérons la tâche de détection de parties du corps dans la partie française d'E3C. Si l'on utilise Mistral-7B (et son *tokenizer*), la limite pratique est autour de 40 exemples, ce qui fait un *prompt* de 7779.5 *tokens* en moyenne. Si l'on utilise Bloom-7b1 (et son *tokenizer*), elle se situe autour de 11 exemples, ce qui fait 1851.5 *tokens* en moyenne.

En outre, l'amélioration apportée par l'ajout d'exemples ne semble pas conséquente, comme on peut l'observer dans le tableau 5, qui montre les résultats obtenus avec Mistral-7B en triplant le nombre d'exemples annotés. Notons que les améliorations marginales obtenues en triplant le nombre d'exemples, viennent à un coût considérable, surtout dans le contexte d'une complexité quadratique en fonction de la longueur du *prompt*.

Nous choisissons donc de limiter le prompt à 5/10 exemples, choisis selon le critère choisi (proximité TF-IDF à la phrase de référence ou nombre d'entité présentes). Au lieu de sélectionner les exemples de façon indépendante, Gupta et al. (2023) proposent de les sélectionner de façon interdépendante, afin d'améliorer la représentativité du *prompt*. Cette piste serait intéressante à implémenter dans notre système dans de futurs travaux.

<table><caption>TABLE 5 – F1-mesures obtenues avec 5/10 exemples vs. avec 15/30 exemples</caption><thead><tr><th rowspan="2">Modèle</th><th colspan="5">Anglais</th><th colspan="4">Français</th><th colspan="4">Espagnol</th></tr><tr><th>WikiNER</th><th>CoNLL2003</th><th>E3C</th><th>n2c2</th><th>NCBI</th><th>WikiNER</th><th>QFP</th><th>E3C</th><th>EMEA</th><th>MEDLINE</th><th>WikiNER</th><th>CoNLL2002</th><th>E3C</th><th>CWL</th></tr></thead><tbody><tr><td colspan="16" style="text-align: left; font-weight: bold;">5/10 exemples</td></tr><tr><td>Mistral-7B</td><td>0.754</td><td>0.646</td><td>0.488</td><td>0.291</td><td>0.395</td><td>0.727</td><td>0.428</td><td>0.590</td><td>0.229</td><td>0.333</td><td>0.720</td><td>0.707</td><td>0.083</td><td>0.374</td></tr><tr><td colspan="16" style="text-align: left; font-weight: bold;">15/30 exemples</td></tr><tr><td>Mistral-7B</td><td>0.763</td><td>0.692</td><td>0.453</td><td>0.263</td><td>0.377</td><td>0.782</td><td>0.355</td><td>0.587</td><td>0.237</td><td>0.396</td><td>0.785</td><td>0.751</td><td>0.163</td><td>0.413</td></tr></tbody></table>
## 5.3 Description des types d'entités nommées

<table><caption>TABLE 6 – Description des types d'entités nommées utilisées dans nos expériences sur l'anglais.</caption><thead><tr><td>Etiquette</td><td>Nom du type (en singulier)</td><td>Description</td></tr></thead><tbody><tr><td>PER</td><td>person names (a person's name)</td><td>These are names of persons such as real people or fictional characters.</td></tr><tr><td>FAC</td><td>facilities (a facility)</td><td>These are names of man-made structures such as infrastructure, buildings and monuments.</td></tr><tr><td>LOC</td><td>locations (a location)</td><td>These are names of geographical locations such as landmarks, cities, countries and regions.</td></tr><tr><td>ORG</td><td>organizations (an organization)</td><td>These are names of organizations such as companies, agencies and political parties.</td></tr><tr><td>FUNC</td><td>functions and jobs (a function or a job)</td><td>These are words that refer to a profession or a job.</td></tr><tr><td>ACTI</td><td>activities and behaviors (an activity or behavior)</td><td>These are words that refer to human activities, behaviors or events as well as governmental or regulatory activities.</td></tr><tr><td>ANAT</td><td>anatomy (an anatomy)</td><td>These are words that refer to the structure of the human body, its organs and their position, such as body parts or organs, systems, tissues, cells, body substances and embryonic structures.</td></tr><tr><td>CHEM</td><td>chemicals and drugs (a chemical or a drug)</td><td>These are words that refer to a substance or composition that has a chemical characteristic, especially a curative or preventive property with regard to human or animal diseases, such as drugs, antibiotics, proteins, hormones, enzymes and hazardous or poisonous substances.</td></tr><tr><td>CONC</td><td>concepts and ideas (a concept or an idea)</td><td>These are words that refer to a concept or an idea, such as a classification, an intellectual product, a language, a law or a regulation.</td></tr><tr><td>DEVI</td><td>medical devices (a device)</td><td>These are words that refer to a medical device used to administer care or perform medical research.</td></tr><tr><td>DISO</td><td>disorders (a disorder)</td><td>These are words that refer to an alteration of morphology, function or health of a living organism, animal or plant, such as congenital abnormalities, dysfunction, injuries, signs or symptoms or observations.</td></tr><tr><td>GENE</td><td>genes and molecular sequences (a gene or a molecular sequence)</td><td>These are words that refer to a gene, a genome or a molecular sequence.</td></tr><tr><td>GEOG</td><td>geographical areas (a geographical area)</td><td>These are words that refer to a country, a region or a city.</td></tr><tr><td>LIVB</td><td>living beings (a living being)</td><td>These are words that refer to a living being or a group of living beings, such as a person or a group of persons, a plant or a category of plants, an animal or a category of animals.</td></tr><tr><td>OBJC</td><td>objects (an object)</td><td>These are words that refer to anything animate or inanimate that affects the senses, such as physical manufactured objects.</td></tr><tr><td>OCCU</td><td>occupations (an occupation)</td><td>These are words that refer to a professional occupation or discipline.</td></tr><tr><td>ORGA</td><td>organizations (an organization)</td><td>These are words that refer to an organization such as healthcare related organizations.</td></tr></tbody></table>
<table><caption>TABLE 7 – Description des types d’entités nommées utilisées dans nos expériences sur l’anglais, suite.</caption><thead><tr><td>Etiquette</td><td>Nom du type (en singulier)</td><td>Description</td></tr></thead><tbody><tr><td>PHEN</td><td>phenomema (a phenomemon)</td><td>These are words that refer to a phenomenon that occurs naturally or as a result of an activity, such as a biologic function.</td></tr><tr><td>PHYS</td><td>physiology (a physiology)</td><td>These are words that refer to any element that contributes to the mechanical, physical and biochemical functioning or organization of living organisms and their components.</td></tr><tr><td>PROC</td><td>procedures (a procedure)</td><td>These are words that refer to an activity or a procedure that contributes to the diagnosis or treatment of patients, the information of patients, the training of medical personnel or biomedical research.</td></tr><tr><td>EVENT</td><td>events (an event)</td><td>These are words that refer to actions, states, and circumstances that are relevant to the clinical history of a patient such as pathologies and symptoms, or more generally words like "enters", "reports" or "continue".</td></tr><tr><td>TIMEX3</td><td>time expressions (a time expression)</td><td>These are time expressions such as dates, times, durations, frequencies, or intervals.</td></tr><tr><td>RML</td><td>results and measurements (a result or a measurement)</td><td>These are test results, results of laboratory analyses, formulaic measurements, and measure values.</td></tr><tr><td>ACTOR</td><td>actors (an actor)</td><td>These are words that refer to patients, healthcare professionals, or other actors relevant to the clinical history of a patient.</td></tr><tr><td>Abbreviation</td><td>abbreviations (an abbreviation)</td><td>These are words that refer to abbreviations.</td></tr><tr><td>Body_Part</td><td>body parts (a body part)</td><td>These are words that refer to organs and anatomical parts of persons.</td></tr><tr><td>Clinical_Finding</td><td>clinical findings (a clinical finding)</td><td>These are words that refer to observations, judgments or evaluations made about patients.</td></tr><tr><td>Diagnostic_Procedure</td><td>diagnostic procedures (a diagnostic procedure)</td><td>These are words that refer to tests that allow determining the condition of the individual.</td></tr><tr><td>Disease</td><td>diseases (a disease)</td><td>These are words that describe an alteration of the physiological state in one or several parts of the body, due to generally known causes, manifested by characteristic symptoms and signs, and whose evolution is more or less predictable.</td></tr><tr><td>Family_Member</td><td>family members (a family member)</td><td>These are words that refer to family members.</td></tr><tr><td>Laboratory_or_Test Result</td><td>laboratory or test results (a laboratory or test result)</td><td>These are words that refer to any measurement or evaluation obtained from a diagnostic support examination.</td></tr><tr><td>Laboratory_Procedure</td><td>laboratory procedures (a laboratory procedure)</td><td>These are words that refer to tests that are performed on various patient samples that allow diagnosing diseases by detecting biomarkers and other parameters. Blood, urine, and other fluids and tissues that use biochemical, microbiological and/or cytological methods are considered.</td></tr><tr><td>Medication</td><td>medications (a medication)</td><td>These are words that refer to medications or drugs used in the treatment and/or prevention of diseases, including brand names and generics, as well as names for groups of medications.</td></tr><tr><td>Procedure</td><td>procedures (a procedure)</td><td>These are words that refer to activities derived from the care and care of patients.</td></tr><tr><td>Sign_or_Symptom</td><td>signs or symptoms (a sign or symptom)</td><td>These are words that refer to manifestations of a disease, determined by medical examination or perceived and expressed by the patient.</td></tr><tr><td>Therapeutic_Procedure</td><td>therapeutic procedures (a therapeutic procedure)</td><td>These are words that refer to activities or treatments that are used to prevent, repair, eliminate or cure the individual's disease.</td></tr><tr><td>CompositeMention</td><td>composite mentions of diseases (a composite mention of diseases)</td><td>These are words that refer to mentions of multiple diseases, such as "colorectal, endometrial, and ovarian cancers".</td></tr><tr><td>DiseaseClass</td><td>disease classes (a disease class)</td><td>These are words that refer to classes of diseases, such as "an autosomal recessive disease".</td></tr><tr><td>Modifier</td><td>modifiers (a modifier of diseases)</td><td>These are words that refer to modifiers of diseases, such as "primary" or "C7-deficient".</td></tr><tr><td>SpecificDisease</td><td>diseases (a disease)</td><td>These are words that refer to specific diseases, such as "diastrophic dysplasia".</td></tr></tbody></table>
<table><caption>TABLE 8 – Description des types d'entités nommées utilisées dans nos expériences sur le français.</caption><thead><tr><td>Etiquette</td><td>Nom du type (en singulier)</td><td>Description</td></tr></thead><tbody><tr><td>PER</td><td>de noms de personnes (un nom de personne)</td><td>Il s'agit des noms de personnes, qu'elles soient réelles ou fictives.</td></tr><tr><td>FAC</td><td>de productions humaines (une production humaine)</td><td>Il s'agit des noms de structures faites par les humains comme des infrastructures, des bâtiments ou des monuments.</td></tr><tr><td>LOC</td><td>de lieux (un lieu)</td><td>Il s'agit des noms de lieux comme des endroits, villes, pays ou régions.</td></tr><tr><td>ORG</td><td>d'organisations (une organisation)</td><td>Il s'agit des noms d'organisations comme des entreprises, des agences ou des partis politiques.</td></tr><tr><td>FUNC</td><td>de fonctions et métiers (une fonction ou un métier)</td><td>Il s'agit de mots qui se rapportent à une activité professionnelle.</td></tr><tr><td>ANAT</td><td>d'anatomie (une partie du corps)</td><td>Il s'agit d'une entité se rapportant à la structure du corps humain, ses organes et leur position. Il s'agit principalement des parties du corpus ou organes, des appareils, des tissus, des cellules, des substances corporelles et des organismes embryonaires.</td></tr><tr><td>CHEM</td><td>de médicaments et substances chimiques (un médicament ou une substance chimique)</td><td>Il s'agit d'une substance ou composition présentant des propriétés chimiques caractéristiques, en particulier des propriétés curatives ou préventives à l'égard des maladies humaines ou animales. Il s'agit principalement des médicaments disponibles en pharmacie, des antibiotiques, des proteines, des hormones, des substances dangereuses, des enzymes.</td></tr><tr><td>DEVI</td><td>de matériel (un matériel)</td><td>Il s'agit d'un matériel utilisé pour administrer des soins ou effectuer des recherches médicales.</td></tr><tr><td>DISO</td><td>de problèmes médicaux (un problème médical)</td><td>Il s'agit d'une altération de la morphologie, des fonctions, ou de la santé d'un organisme vivant, animal ou végétal. Il peut s'agir de malformations, de maladies, de blessure, de signe ou symptome ou d'une observation.</td></tr><tr><td>GEOG</td><td>de zones géographiques (une zone géographique)</td><td>Il s'agit d'un pays, une région, ou une ville.</td></tr><tr><td>LIVB</td><td>d'êtres vivants (un être vivant)</td><td>Il s'agit d'un être vivant ou groupe d'êtres vivants. Il peut s'agir d'une personne ou d'un groupe de personnes, d'une plante ou d'une catégorie de végétaux, d'un animal ou d'une catégorie d'animaux.</td></tr><tr><td>OBJC</td><td>d'objets (un objet)</td><td>Il s'agit de tout ce qui, animé ou inanimé, affecte les sens. Ici, il s'agit principalement d'objets physiques manufacturés.</td></tr><tr><td>PHEN</td><td>de phénomènes (un phénomène)</td><td>Il s'agit d'un phénomène qui se produit naturellement ou à la suite d'une activité. Il s'agit principalement de fonctions biologiques.</td></tr><tr><td>PHYS</td><td>de physiologie (une physiologie)</td><td>Il s'agit de tout élément contribuant au fonctionnement ou à l'organisation mécanique, physique et biochimique des organismes vivants et de leurs composants.</td></tr><tr><td>PROC</td><td>de procédures (une procédure)</td><td>Il s'agit d'une activité ou procédure contribuant au diagnostic ou au traitement des patients, à l'information des patients, la formation du personnel médical ou à la recherche biomédicale.</td></tr><tr><td>EVENT</td><td>d'événements (un événement)</td><td>Il s'agit d'une action, d'un état ou d'une circonstance qui est pertinent pour l'histoire clinique d'un patient. Il peut s'agir de pathologies et symptômes, ou plus généralement de mots comme "entre", "rapporte" ou "continue".</td></tr><tr><td>TIMEX3</td><td>d'expressions temporelles (une expression temporelle)</td><td>Il s'agit d'expressions temporelles comme des dates, heures, durées, fréquences, ou intervalles.</td></tr><tr><td>RML</td><td>de résultats et mesures (un résultat ou une mesure)</td><td>Il s'agit de résultats d'analyses de laboratoire, de mesures formelles, et de valeurs de mesure.</td></tr><tr><td>ACTOR</td><td>d'acteurs (un acteur)</td><td>Il s'agit de patients, de professionnels de santé, ou d'autres acteurs pertinents pour l'histoire clinique d'un patient.</td></tr></tbody></table>
<table><caption>TABLE 9 – Description des types d’entités nommées utilisées dans nos expériences sur l’espagnol.</caption><thead><tr><td>Etiquette</td><td>Nom du type (en singulier)</td><td>Description</td></tr></thead><tbody><tr><td>PER</td><td>nombres de personas (un nombre de persona)</td><td>Estos son nombres de personas, ya sean reales o personajes ficticios.</td></tr><tr><td>FAC</td><td>instalaciones (una instalación)</td><td>Estos son nombres de estructuras hechas por el hombre como infraestructura, edificios y monumentos.</td></tr><tr><td>LOC</td><td>lugares (un lugar)</td><td>Estos son nombres de ubicaciones geográficas como hitos, ciudades, países y regiones.</td></tr><tr><td>ORG</td><td>organizaciones (una organización)</td><td>Estos son nombres de organizaciones como empresas, agencias y partidos políticos.</td></tr><tr><td>ACTI</td><td>actividades y comportamientos (una actividad o comportamiento)</td><td>Estas son palabras que se refieren a actividades humanas, comportamientos o eventos, así como actividades gubernamentales o regulatorias.</td></tr><tr><td>ANAT</td><td>anatomía (una anatomía)</td><td>Estas son palabras que se refieren a la estructura del cuerpo humano, sus órganos y su posición, como partes del cuerpo u órganos, sistemas, tejidos, células, sustancias corporales y estructuras embrionarias.</td></tr><tr><td>CHEM</td><td>productos químicos y medicamentos (un producto químico o un medicamento)</td><td>Estas son palabras que se refieren a una sustancia o composición que tiene una característica química, especialmente una propiedad curativa o preventiva con respecto a las enfermedades humanas o animales, como medicamentos, antibióticos, proteínas, hormonas, enzimas y sustancias peligrosas o venenosas.</td></tr><tr><td>CONC</td><td>conceptos e ideas (un concepto o una idea)</td><td>Estas son palabras que se refieren a un concepto o una idea, como una clasificación, un producto intelectual, un idioma, una ley o un reglamento.</td></tr><tr><td>DEVI</td><td>dispositivos médicos (un dispositivo)</td><td>Estas son palabras que se refieren a un dispositivo médico utilizado para administrar atención o realizar investigaciones médicas.</td></tr><tr><td>DISO</td><td>trastornos (un trastorno)</td><td>Estas son palabras que se refieren a una alteración de la morfología, la función o la salud de un organismo vivo, animal o vegetal, como anomalías congénitas, disfunción, lesiones, signos o síntomas u observaciones.</td></tr><tr><td>GENE</td><td>genes y secuencias moleculares (un gen o una secuencia molecular)</td><td>Estas son palabras que se refieren a un gen, un genoma o una secuencia molecular.</td></tr><tr><td>GEOG</td><td>áreas geográficas (un área geográfica)</td><td>Estas son palabras que se refieren a un país, una región o una ciudad.</td></tr><tr><td>LIVB</td><td>seres vivos (un ser vivo)</td><td>Estas son palabras que se refieren a un ser vivo o un grupo de seres vivos, como una persona o un grupo de personas, una planta o una categoría de plantas, un animal o una categoría de animales.</td></tr><tr><td>OBJC</td><td>objetos (un objeto)</td><td>Estas son palabras que se refieren a cualquier cosa animada o inanimada que afecte los sentidos, como objetos físicos fabricados.</td></tr><tr><td>OCCU</td><td>ocupaciones (una ocupación)</td><td>Estas son palabras que se refieren a una ocupación o disciplina profesional.</td></tr><tr><td>ORGA</td><td>organizaciones (una organización)</td><td>Estas son palabras que se refieren a una organización, por ejemplo organizaciones relacionadas con la salud.</td></tr><tr><td>PHEN</td><td>fenómenos (un fenómeno)</td><td>Estas son palabras que se refieren a un fenómeno que ocurre naturalmente o como resultado de una actividad, por ejemplo una función biológica.</td></tr></tbody></table>
<table><caption>TABLE 10 – Description des types d’entités nommées utilisées dans nos expériences sur l’espagnol, suite.</caption><thead><tr><td>Etiquette</td><td>Nom du type (en singulier)</td><td>Description</td></tr></thead><tbody><tr><td>PHYS</td><td>fisiología (una fisiología)</td><td>Estas son palabras que se refieren a cualquier elemento que contribuya al funcionamiento mecánico, físico y bioquímico o la organización de los organismos vivos y sus componentes.</td></tr><tr><td>PROC</td><td>procedimientos (un procedimiento)</td><td>Estas son palabras que se refieren a una actividad o un procedimiento que contribuye al diagnóstico o tratamiento de pacientes, la información de pacientes, la capacitación del personal médico o la investigación biomédica.</td></tr><tr><td>EVENT</td><td>eventos (un evento)</td><td>Estas son palabras que se refieren a acciones, estados y circunstancias que son relevantes para la historia clínica de un paciente, como patologías y síntomas, o más generalmente palabras como "entra", "reporta" o "continúa".</td></tr><tr><td>TIMEX3</td><td>expresiones de tiempo (una expresión de tiempo)</td><td>Estas son expresiones de tiempo como fechas, horas, duraciones, frecuencias o intervalos.</td></tr><tr><td>RML</td><td>resultados y mediciones (un resultado o una medida)</td><td>Estas son resultados de análisis de laboratorio, mediciones formales y valores de medición.</td></tr><tr><td>ACTOR</td><td>actores (un actor)</td><td>Estas son palabras que se refieren a pacientes, profesionales de la salud u otros actores relevantes para la historia clínica de un paciente.</td></tr><tr><td>Abbreviation</td><td>abreviaciones (una abreviación)</td><td>Estas son los casos de siglas y acrónimos.</td></tr><tr><td>Body Part</td><td>partes del cuerpo (una parte del cuerpo)</td><td>Estas son palabras que se refieren a órganos y partes anatómicas de personas.</td></tr><tr><td>Clinical Finding</td><td>hallazgos clínicos (un hallazgo clínico)</td><td>Estas son palabras que se refieren a observaciones, juicios o evaluaciones que se hacen sobre los pacientes.</td></tr><tr><td>Diagnostic Procedure</td><td>procedimientos diagnósticos (un procedimiento diagnóstico)</td><td>Estas son palabras que se refieren a exámenes que permiten determinar la condición del individuo.</td></tr><tr><td>Disease</td><td>enfermedades (una enfermedad)</td><td>Estas son palabras que describen una alteración del estado fisiológico en una o varias partes del cuerpo, por causas en general conocidas, manifestada por síntomas y signos característicos, y cuya evolución es más o menos previsible.</td></tr><tr><td>Family Member</td><td>miembros de la familia (un miembro de la familia)</td><td>Estas son palabras que se refieren a miembros de la familia.</td></tr><tr><td>Laboratory or Test Result</td><td>resultados de exámenes de laboratorio u otras pruebas (un resultado de un examen de laboratorio u otra prueba)</td><td>Estas son palabras que se refieren a cualquier medición o evaluación obtenida a partir de un exámen de apoyo diagnóstico.</td></tr><tr><td>Laboratory Procedure</td><td>procedimientos de laboratorio (un procedimiento de laboratorio)</td><td>Estas son palabras que se refieren a exámenes que se realizan en diversas muestras de pacientes que permiten diagnosticar enfermedades mediante la detección de biomarcadores y otros parámetros. Se consideran los análisis de sangre, orina, y otros fluidos y tejidos que emplean métodos bioquímicos, microbiológicos y/o citológicos.</td></tr><tr><td>Medication</td><td>medicamentos o drogas (un medicamento o una droga)</td><td>Estas son palabras que se refieren a medicamentos o drogas empleados en el tratamiento y/o prevención de enfermedades, incluyendo marcas comerciales y genéricos, así como también nombres para grupos de medicamentos.</td></tr><tr><td>Procedure</td><td>procedimientos (un procedimiento)</td><td>Estas son palabras que se refieren a actividades derivadas de la atención y el cuidado de los pacientes.</td></tr><tr><td>Sign or Symptom</td><td>signos o síntomas (un signo o un síntoma)</td><td>Estas son palabras que se refieren a manifestaciones de una enfermedad, determinadas mediante la exploración médica o percibidas y expresadas por el paciente.</td></tr><tr><td>Therapeutic Procedure</td><td>procedimientos terapéuticos (un procedimiento terapéutico)</td><td>Estas son palabras que se refieren a actividades o tratamientos que es empleado para prevenir, reparar, eliminar o curar la enfermedad del individuo.</td></tr></tbody></table>
## 5.4 Empreinte carbone

<table><caption>TABLE 11 – Ce tableau présente les émissions carbone (en g) de l'optimisation de chaque modèle sur le jeu de validation de chaque corpus. Pour les CLMs, il s'agit du greedy search sur les potentiels caractéristiques du prompt via la validation croisée. Pour les MLM, cela correspond au fine-tuning des paramètres du modèle (et à l'apprentissage des couches de classification introduites).</caption><thead><tr><th rowspan="2">#</th><th rowspan="2">Modèle</th><th colspan="5">Anglais</th><th colspan="4">Français</th><th colspan="4">Espagnol</th></tr><tr><th>WikiNER</th><th>CoNLL2003</th><th>E3C</th><th>n2c2</th><th>NCBI</th><th>WikiNER</th><th>QFP</th><th>E3C</th><th>EMEA</th><th>MEDLINE</th><th>WikiNER</th><th>CoNLL2002</th><th>E3C</th><th>CWL</th></tr></thead><tbody><tr><td colspan="16">Approches few-shot</td></tr><tr><td rowspan="10">Causal</td><td>1 LLAMA-2-70B</td><td>46</td><td>44</td><td>126</td><td>233</td><td>54</td><td>85</td><td>131</td><td>129</td><td>273</td><td>284</td><td>41</td><td>76</td><td>114</td><td>344</td></tr><tr><td>2 Mistral-7B</td><td>4</td><td>6</td><td>12</td><td>24</td><td>8</td><td>5</td><td>8</td><td>14</td><td>13</td><td>25</td><td>7</td><td>5</td><td>11</td><td>27</td></tr><tr><td>3 BLOOM-7B1</td><td>4</td><td>6</td><td>10</td><td>26</td><td>9</td><td>8</td><td>13</td><td>9</td><td>26</td><td>20</td><td>4</td><td>8</td><td>8</td><td>18</td></tr><tr><td>4 Falcon-40B</td><td>49</td><td>45</td><td>56</td><td>176</td><td>45</td><td>31</td><td>58</td><td>75</td><td>162</td><td>129</td><td>33</td><td>25</td><td>82</td><td>99</td></tr><tr><td>5 GPT-J-6B</td><td>7</td><td>6</td><td>8</td><td>23</td><td>7</td><td>5</td><td>8</td><td>13</td><td>21</td><td>17</td><td>6</td><td>6</td><td>13</td><td>28</td></tr><tr><td>6 OPT-66B</td><td>73</td><td>50</td><td>120</td><td>253</td><td>96</td><td>38</td><td>64</td><td>138</td><td>273</td><td>240</td><td>57</td><td>52</td><td>106</td><td>247</td></tr><tr><td>7 Vicuna-13B</td><td>10</td><td>11</td><td>20</td><td>52</td><td>11</td><td>11</td><td>12</td><td>18</td><td>33</td><td>40</td><td>10</td><td>11</td><td>22</td><td>51</td></tr><tr><td>8 Vicuna-7B</td><td>6</td><td>8</td><td>14</td><td>17</td><td>6</td><td>5</td><td>10</td><td>10</td><td>24</td><td>14</td><td>8</td><td>6</td><td>13</td><td>27</td></tr><tr><td>9 Medalpaca-7B</td><td>8</td><td>4</td><td>17</td><td>24</td><td>10</td><td>7</td><td>14</td><td>11</td><td>19</td><td>21</td><td>5</td><td>8</td><td>15</td><td>26</td></tr><tr><td>10 Vigogne-13B</td><td>14</td><td>14</td><td>29</td><td>37</td><td>11</td><td>13</td><td>20</td><td>26</td><td>36</td><td>39</td><td>11</td><td>14</td><td>32</td><td>44</td></tr><tr><td rowspan="10">Masked</td><td>11 mBERT</td><td>2</td><td>1</td><td>2</td><td>2</td><td>2</td><td>2</td><td>2</td><td>2</td><td>1</td><td>1</td><td>1</td><td>2</td><td>1</td><td>2</td></tr><tr><td>12 XLM-R-large</td><td>2</td><td>2</td><td>2</td><td>1</td><td>2</td><td>2</td><td>2</td><td>2</td><td>2</td><td>2</td><td>1</td><td>1</td><td>1</td><td>2</td></tr><tr><td>13 BERT-large</td><td>2</td><td>1</td><td>2</td><td>2</td><td>2</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>14 RoBERTa-large</td><td>1</td><td>2</td><td>2</td><td>2</td><td>2</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>15 Bio_ClinicalBERT</td><td>2</td><td>2</td><td>1</td><td>2</td><td>1</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>16 ClinicalBERT</td><td>1</td><td>1</td><td>2</td><td>2</td><td>1</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>17 MedBERT</td><td>2</td><td>2</td><td>1</td><td>1</td><td>1</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>18 CamemBERT-large</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>1</td><td>1</td><td>1</td><td>2</td><td>2</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>19 FlaubERT-large</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>2</td><td>2</td><td>2</td><td>2</td><td>2</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>20 DrBERT-4GB</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>2</td><td>2</td><td>2</td><td>2</td><td>2</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>21 CamemBERT-bio</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>1</td><td>2</td><td>2</td><td>2</td><td>2</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>23 BETO</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>2</td><td>1</td><td>1</td><td>1</td></tr><tr><td>23 PatanaBERT</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>2</td><td>2</td><td>2</td><td>2</td></tr><tr><td>24 TulioBERT</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>1</td><td>2</td><td>2</td><td>1</td></tr><tr><td>25 BSC-BioEHR</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>2</td><td>2</td><td>2</td><td>2</td></tr><tr><td>26 BSC-Bio</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>2</td><td>2</td><td>2</td><td>2</td></tr><tr><td colspan="16">Skyline en utilisant toutes les données à disposition</td></tr><tr><td></td><td>RoBERTa-large</td><td>647</td><td>68</td><td>5</td><td>12</td><td>24</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td></td><td>CamemBERT-large</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>595</td><td>15</td><td>4</td><td>5</td><td>8</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td></td><td>BETO</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>579</td><td>41</td><td>3</td><td>21</td></tr></tbody></table>
<table><caption>TABLE 12 – Ce tableau présente les émissions carbone (en g) de l’inférence, en utilisant chaque modèle, sur le jeu de test de chaque corpus.</caption><thead><tr><th rowspan="2">#</th><th rowspan="2">Modèle</th><th colspan="5">Anglais</th><th colspan="4">Français</th><th colspan="4">Espagnol</th></tr><tr><th>WikiNER</th><th>CoNLL2003</th><th>E3C</th><th>n2c2</th><th>NCBI</th><th>WikiNER</th><th>QFP</th><th>E3C</th><th>EMEA</th><th>MEDLINE</th><th>WikiNER</th><th>CoNLL2002</th><th>E3C</th><th>CWL</th></tr></thead><tbody><tr><td colspan="16">Approches few-shot</td></tr><tr><td rowspan="10">Causal</td><td>1 LLAMA-2-70B</td><td>812</td><td>147</td><td>36</td><td>196</td><td>33</td><td>508</td><td>11</td><td>13</td><td>92</td><td>47</td><td>514</td><td>201</td><td>11</td><td>198</td></tr><tr><td>2 Mistral-7B</td><td>234</td><td>35</td><td>8</td><td>59</td><td>21</td><td>148</td><td>3</td><td>4</td><td>27</td><td>20</td><td>261</td><td>50</td><td>2</td><td>32</td></tr><tr><td>3 BLOOM-7B1</td><td>220</td><td>33</td><td>8</td><td>44</td><td>16</td><td>255</td><td>3</td><td>5</td><td>38</td><td>29</td><td>261</td><td>47</td><td>2</td><td>46</td></tr><tr><td>4 Falcon-40B</td><td>600</td><td>109</td><td>26</td><td>144</td><td>46</td><td>722</td><td>9</td><td>19</td><td>155</td><td>70</td><td>752</td><td>154</td><td>9</td><td>157</td></tr><tr><td>5 GPT-J-6B</td><td>146</td><td>17</td><td>4</td><td>53</td><td>20</td><td>245</td><td>2</td><td>6</td><td>14</td><td>26</td><td>154</td><td>40</td><td>3</td><td>53</td></tr><tr><td>6 OPT-66B</td><td>765</td><td>139</td><td>33</td><td>185</td><td>63</td><td>971</td><td>12</td><td>27</td><td>179</td><td>93</td><td>993</td><td>196</td><td>12</td><td>217</td></tr><tr><td>7 Vicuna-13B</td><td>314</td><td>47</td><td>11</td><td>63</td><td>24</td><td>363</td><td>5</td><td>8</td><td>61</td><td>46</td><td>502</td><td>67</td><td>4</td><td>74</td></tr><tr><td>8 Vicuna-7B</td><td>146</td><td>17</td><td>4</td><td>53</td><td>20</td><td>246</td><td>2</td><td>6</td><td>14</td><td>26</td><td>155</td><td>65</td><td>3</td><td>53</td></tr><tr><td>9 Medalpaca-7B</td><td>192</td><td>24</td><td>5</td><td>39</td><td>14</td><td>98</td><td>2</td><td>2</td><td>17</td><td>13</td><td>172</td><td>53</td><td>1</td><td>21</td></tr><tr><td>10 Vigogne-13B</td><td>322</td><td>49</td><td>11</td><td>65</td><td>24</td><td>245</td><td>5</td><td>6</td><td>44</td><td>33</td><td>361</td><td>68</td><td>3</td><td>66</td></tr><tr><td rowspan="16">Masked</td><td>11 mBERT</td><td>14</td><td>4</td><td>&lt;1</td><td>2</td><td>&lt;1</td><td>15</td><td>1</td><td>&lt;1</td><td>1</td><td>1</td><td>13</td><td>2</td><td>&lt;1</td><td>2</td></tr><tr><td>12 XLM-R-large</td><td>14</td><td>4</td><td>&lt;1</td><td>2</td><td>&lt;1</td><td>15</td><td>1</td><td>&lt;1</td><td>1</td><td>1</td><td>13</td><td>2</td><td>&lt;1</td><td>2</td></tr><tr><td>13 BERT-large</td><td>14</td><td>4</td><td>&lt;1</td><td>2</td><td>&lt;1</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>14 RoBERTa-large</td><td>14</td><td>4</td><td>&lt;1</td><td>2</td><td>&lt;1</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>15 Bio-ClinicalBERT</td><td>14</td><td>4</td><td>&lt;1</td><td>2</td><td>&lt;1</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>16 ClinicalBERT</td><td>14</td><td>4</td><td>&lt;1</td><td>2</td><td>&lt;1</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>17 MedBERT</td><td>14</td><td>4</td><td>&lt;1</td><td>2</td><td>&lt;1</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>18 CamemBERT-large</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>15</td><td>1</td><td>&lt;1</td><td>1</td><td>1</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>19 FlaubERT-large</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>15</td><td>1</td><td>&lt;1</td><td>1</td><td>1</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>20 DrBERT-4GB</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>17</td><td>1</td><td>&lt;1</td><td>1</td><td>1</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>21 CamemBERT-bio</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>15</td><td>1</td><td>&lt;1</td><td>1</td><td>1</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>22 BETO</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>13</td><td>2</td><td>&lt;1</td><td>2</td></tr><tr><td>23 PatanaBERT</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>13</td><td>2</td><td>&lt;1</td><td>2</td></tr><tr><td>24 TulioBERT</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>13</td><td>2</td><td>&lt;1</td><td>2</td></tr><tr><td>25 BSC-BioEHR</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>13</td><td>2</td><td>&lt;1</td><td>2</td></tr><tr><td>26 BSC-Bio</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>13</td><td>2</td><td>&lt;1</td><td>2</td></tr><tr><td colspan="16">Skyline en utilisant toutes les données à disposition</td></tr><tr><td></td><td>RoBERTa-large</td><td>14</td><td>4</td><td>&lt;1</td><td>2</td><td>&lt;1</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td></td><td>CamemBERT-large</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>15</td><td>1</td><td>&lt;1</td><td>1</td><td>1</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td></td><td>BETO</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>13</td><td>2</td><td>&lt;1</td><td>2</td></tr></tbody></table>
# Réduction des répétitions dans la Traduction Automatique Neuronale

Marko Avila Anabel Rebollo Josep Crego

4 rue du Port aux Vins, F-92 150 Suresnes, France

{mavila, arebollo, jcrego}@chapsvision.com

## RÉSUMÉ

Actuellement, de nombreux systèmes TAL utilisent des décodeurs neuronaux pour la génération de textes, qui font preuve d'une capacité impressionnante à générer des textes approchant les niveaux de fluidité humaine. Toutefois, dans le cas des réseaux de traduction automatique, ils sont souvent confrontés à la production de contenu répétitif, également connu sous le nom de diction répétitive ou de répétition de mots, un aspect pour lequel ils n'ont pas été explicitement entraînés. Bien que cela ne soit pas intrinsèquement négatif, cette répétition peut rendre l'écriture monotone ou maladroite si elle n'est pas utilisée intentionnellement pour l'emphase ou des fins stylistiques. La répétition de mots a été traitée par des méthodes post-hoc pendant l'inférence, contraignant le réseau à examiner des hypothèses auxquelles le système avait initialement attribué une plus faible probabilité. Dans cet article, nous implémentons une méthode qui consiste à pénaliser les répétitions lors de l'apprentissage et qui s'inspire des principes du label smoothing. Conformément à cette méthode, nous modifions la distribution de la vérité terrain afin d'orienter le modèle de manière à décourager ces répétitions. Les résultats de nos expériences montrent que les méthodes proposées permettent de contrôler le problème de la répétition dans les moteurs neuronaux de traduction automatique sans compromis en termes d'efficacité ou de qualité des traductions.

## ABSTRACT

### Reducing Repetitions in Neural Machine Translation

Many contemporary NLP systems rely on neural decoders for text generation, which demonstrate an impressive ability to generate text approaching human fluency levels. However, in the case of neural machine translation networks, they often grapple with the production of repetitive content, also known as repetitive diction or word repetition, an aspect they weren't explicitly trained to address. While not inherently negative, this repetition can make writing seem monotonous or awkward if not used intentionally for emphasis or stylistic purposes. Repetitions have been addressed through post-hoc methods during inference, compelling the network to consider hypotheses it initially assigned lower probability. In this paper, we implement a repetition penalty method applied at learning inspired by the principles of label smoothing. In line with label smoothing, we modify the ground-truth distribution to steer the model towards discouraging repetitions. Experiments show the ability of the proposed methods in reducing repetitions within neural machine translation engines, without compromising efficiency or translation quality.

**MOTS-CLÉS** : Traduction automatique neuronale ; Génération de texte ; Répétitions.

**KEYWORDS:** Neural machine translation ; Text generation ; Repetitions.

<figure><img src="image_76.png" /></figure>
# 1 Introduction

This study addresses the issue of word repetition in machine translation, which involves the repeated occurrence of words, phrases, or ideas throughout the translation process. More specifically, we focus on repetitions that typically occur when translating synonyms or semantically equivalent phrases found in the source sentence. These repetitions lead to diminished readability of the text, potentially causing boredom or confusion for the reader and creating the perception of verbose or awkward writing. Consider, for instance, the following French sentence :

— nous avons **lutté** contre l'infodémie en **combattant** les mythes par des informations fiables.
and its two corresponding English translations :

— We have combated the infodemia by combating myths with reliable information.

— We have fought the infodemia by combating myths with reliable information.

Since both translations are grammatically correct and semantically equivalent, the first one is clumsy due to word repetition <fnref n="1" />, while the second one effectively avoids repetition by suggesting alternative translations *fought* and *combating*, for the French words *lutté* and *combattant*, resulting in a smoother and more preferable translation.

In neural machine translation, repetition often arises when the model faces input sentences containing synonyms, leading these synonymous terms to be translated into identical words. Although lacking numerical support for our observation, the repetition issue becomes more salient when utilizing a model trained across multiple domains, highlighting the dearth of lexical diversity. We attribute this phenomenon to a lack of diversity in the decoder module. Although this type of repetition may occur with low frequency, it is highly concerning as it vividly illustrates the lack of fluency in translations.

However, repetitions do not always have a negative impact on readability. Without aiming to be exhaustive : i) repetitions play a role when summarizing information or reinforcing a concept; ii) common expressions are formed using word repetitions, and altering them to eliminate repetition would alter their intended meaning; iii) in highly specialized domains, expressions convey precise meanings that disallow being reformulated. The following examples illustrate these observations :

i) *once closed*, *the door stays closed*

ii) *over and over*; *to be* or *not to be*; *step by step*

iii) *the congenital muscular dystrophy in newborns presenting with muscular hypotonia*

As previously introduced, finding suitable alternatives without altering the meaning of a sentence can be a challenging task. In this work, we propose a method applied in training designed to teach the model to discourage certain repetitions, thereby alleviating the need for difficult decisions during inference. Next, we summarize the main contributions of this work :

— We propose a method that discourages repetitions during the training phase by adjusting the ground-truth distribution so as to penalize repetitions more severely.

— We introduce a technique for gathering examples containing both, acceptable repetitions and repetitions that hinder fluency, which are then utilized during the training phase.

— We build a curated test set that includes various types of word repetitions found in machine translations. Evaluation on this test set provides deeper insights into the repetitions issue.

Repetitions can manifest in various forms, including single words, phrases, and larger segments of content. However, this work concentrates on repetitions manifested through the repetition of linguistic

<footnote n="1">1. Note that repetitions can diminish readability, even when they occur as inflectional variants. Is the case of the repeated words in our example, *combated* and *combating*.</footnote>
words, which are more commonly observed in machine translations. Note that linguistic words are
typically decomposed into multiple tokens as taken into account by neural networks.

## 2 Related Work

The fluency levels achieved by LLMs are widely acknowledged to be high, primarily owing to the extensive availability of monolingual datasets, which surpasses that of standard neural machine translation (NMT) models trained solely on parallel texts. To the best of our knowledge, no dedicated research has been conducted on addressing the repetition issue tackled in this work within NMT systems. Closely related, (Welleck et al., 2019) describe a method to train neural language models that in addition to maximizing likelihood to model the overall sequence probability distribution, also includes an unlikelihood term in the loss function to correct known biases such as repeated tokens. (Li et al., 2020) use the same approach to control copy effect and repetitions observed in dialogue tasks. (Su et al., 2022) present a contrastive solution to encourage diversity while maintaining coherence in the generated text.

Various studies have addressed diversity in neural MT systems, which is a closely related topic. Sampling predictions from the output distribution can be an effective decoding strategy for back-translation, as described by (Edunov et al., 2018), or sampling from less likely tokens (Holtzman et al., 2020). Results show that such techniques enlarge diversity and richness of the generated translations when compared to data generated by beam or greedy search, but introduce semantic inconsistency in translations. In (Lin et al., 2022) is proposed a multi-candidate optimization framework for augmenting diversity. The authors propose to guide an NMT model to learn more diverse translations from its candidate translations based on reinforcement learning. During training, the model generates multiple candidate translations, of which rewards are quantified according to their diversity and quality.

A different approach attempts to condition the decoding procedure with diverse signals. Typically, (Shu et al., 2019) use syntactic codes to condition the translation process. (Lachaux et al., 2020) replace the syntactic codes with latent domain variables derived from target sentences. Similarly, (Schioppa et al., 2021) use prefix-based control tokens and vector-based interventions for controlling output translations from a NMT system. In the context of paraphrase generation (Vahtola et al., 2023) propose a translation-based guided paraphrase generation model that learns useful features for promoting surface form variation in generated paraphrases.

## 3 Adjusting the ground-truth distribution

Throughout the training process, at every time-step $t$, neural machine translation networks generate predictions over the target-side vocabulary based on the input $x$ and previous predictions $y_{<t}$:

$$p_t^i = p(y_t^i|x, y_{<t}), \quad i \in [1, \dots, V]$$

where $V$ indicates the size of the target vocabulary.

The loss function evaluates the neural network's capacity to model the training data by comparing
<table><thead><tr><th></th><th>1</th><th>2</th><th>3</th><th>4</th><th>5</th><th>6</th></tr></thead><tbody><tr><th>t</th><td>I</td><td>like</td><td>cookies</td><td>and</td><td>cookies</td><td>.</td></tr><tr><th>r</th><td colspan="6" style="text-align: center;">M</td></tr><tr><th>.</th><td>0</td><td>0</td><td>0</td><td>0</td><td>0</td><td>0</td></tr><tr><th>I</th><td>0</td><td>0</td><td>0</td><td>0</td><td>0</td><td>0</td></tr><tr><th>and</th><td>0</td><td>0</td><td>0</td><td>0</td><td>0</td><td>0</td></tr><tr><th>like</th><td>0</td><td>0</td><td>0</td><td>0</td><td>0</td><td>0</td></tr><tr><th>cookies</th><td>0</td><td>0</td><td>0</td><td>0</td><td>1</td><td>0</td></tr></tbody></table>

FIGURE 1 – Matrix $\mathcal{M}$ for the ground-truth $r = 'I like cookies and cookies.'$. Rows $t$ and $r$ represent respectively the time-step and the corresponding ground-truth token. A reduced model vocabulary (matrix rows) is used to facilitate reading.

its predictions to a reference target vector $r = [r_1, r_2, ..., r_T]$, where $T$ denotes the sequence length. This loss is utilized to update the network's parameters, aiming to minimize the observed error in the model. The loss at time-step $t$ is usually computed as the cross-entropy between the model predictions $p_t = [p_t^1, ..., p_t^V]$ and the ground-truth distribution $q_t = [q_t^1, ..., q_t^V]$:

$$ \mathcal{L}_t = - \sum_{i=1}^{V} q_t^i \log(p_t^i) \qquad (1) $$

Note that the vector $q_t$ is a one-hot encoding representation of $r_t$, with all entries set to 0 except for the token indicated by $r_t$, which is set to 1. Addressing the over-fitting risk illustrated by the previous $q_t$ distribution, label smoothing (Szegedy et al., 2015; Müller et al., 2019) (LS) is widely employed to achieve a smoother distribution:

$$ q_t^{\epsilon^{LS}} = (1 - \epsilon)q_t + \frac{\epsilon}{V} \qquad (2) $$

with $\epsilon$ being a commonly small hyper-parameter.<fnref n="2" />

LS can be interpreted as penalizing the probability of the ground-truth class by a factor of $1 - \epsilon$, while evenly distributing the removed probability mass among all classes, $\epsilon/V$. Building upon a strategy akin to label smoothing, we make additional adjustments to the ground-truth distribution and reduce the likelihood of repeated tokens, with the goal of enabling the model to learn to predict repetitions with lower probability. We introduce a matrix, denoted as $M_{V \times T}$, which indicates whether the ground-truth token $r_t$ is also present in the preceding time-steps.<fnref n="3" /> Figure 1 illustrates an example of matrix $\mathcal{M}$ with ground-truth 'I like cookies and cookies.' as translation of the French sentence 'J'aime les cookies et les biscuits.' with a model vocabulary of 5 tokens (matrix rows). Both French terms 'cookies' and 'biscuits' are correctly translated into English as 'cookies', yet this choice clearly reduces the fluency and clarity of the translation. As it can be seen, only $M_{[i=5, t=5]}$ is set to 1 since only $r_5$ = 'cookies' occurs in a preceding time-step ($t = 3$).

We consequently update the ground-truth distribution following:

$$ q_t^{\epsilon^{LS} \alpha \mathcal{M}} = (1 - \epsilon)(1 - \alpha M_t) q_t + \frac{\epsilon}{V} \qquad (3) $$

<footnote n="2">2. $\epsilon = 0$ yields the initial distribution $q_t$, whereas $\epsilon = 1$ implies a uniform distribution.</footnote>

<footnote n="3">3. Note that repetitions are computed over words while matrix $\mathcal{M}$ refers to tokens $r \in V$ for each time-step $t \in T$.</footnote>
<figure><img src="image_77.png" /><figcaption>FIGURE 2 – Ground-truth distributions for the 5^th^ time-step of our example : the original one-hot encoding q; adjusted with label smoothing q^{ϵLS}; and further adjusted with repetitions q^{ϵLαM}.</figcaption></figure>

where α is a hyper-parameter, and αM is used as a penalty, much like ϵ in the case of LS. Note
that only the label smoothing probabilities discounted are distributed among all classes. As a result,
time-steps with repeated tokens (such as t = 5 in our example) do not constitute proper probability
distributions, as their sum does not add to 1. Figure 2 illustrates ground-truth distributions for our
example at time-step t = 5 : the original one-hot encoding q; the original distribution adjusted using
label smoothing q^{ϵLS}, and further adjusted using repetitions q^{ϵLSαM}.<fnref n="4" /> A significant challenge with
the aforementioned techniques that modify q distribution with repetitions is their limited impact on
the training process, primarily caused by the scarcity of repeated tokens in datasets. In the following
section, we present alternative approaches to address this challenge.

4 Gathering Examples with Repetitions

As previously depicted, our intention is to instruct the model to minimize certain repetitions while preserving others deemed necessary for an accurate translation. To achieve this, we must compile a relatively large dataset of examples that demonstrate this behavior to the model. We initially focus on repetitions of content words such as *nouns*, *adjectives*, *verbs*, and *adverbs*. Function words, which serve a distinct grammatical role in a sentence, are excluded from this analysis. Current MT networks reliably generate these words based on their understanding of grammatical correctness.

Given that training corpora contain a relatively small number of repetitions, and these are manually
curated, often comprising only acceptable repetitions, we opt to focus solely on repetitions found in
machine translations. Accordingly, we translate the source sentences (src) of our training examples
to generate synthetic translations (hyp). Repetitions that detrimentally impact fluency are only
considered if they appear in such translation. Identifying examples containing repetitions following
the previous morpho-syntactic patterns is straightforward. However, the challenge lies in discerning
which repetitions degrade the fluency of translations and which do not. We follow the next filtering
steps to select repetitions degrading fluency :

- We first word align the source (src) and synthetic (hyp) sentences and eliminate repetitions in the synthetic sentences that also align with repeated words in the source sentence. Word alignments are performed by the Giza++ (Och & Ney, 2003) toolkit<fnref n="5" />. This approach is

<footnote n="4">4. As previously discussed, distribution $q^{\epsilon^{LS}\alpha M}$ does not form a proper distribution since probabilities do not add to 1 (0, 02 + 0, 02 + 0, 02 + 0, 02 + 0, 0092 = 0, 0892). We leave for future experiments the normalization of the output scores in order to allow for a valid probability distribution.</footnote>

<footnote n="5">5. https://github.com/moses-smt/giza-pp.</footnote>
<table><caption>TABLE 1 – Two synthetic translations containing repeated words (underlined) and their corresponding source (hyp) and reference translation (tgt) sentences. Shades of grey indicate word alignments between repeated words and their alignments in the src/tgt sentences.</caption><thead><tr><th></th><th>Degrading</th><th>Acceptable</th></tr></thead><tbody><tr><th>src</th><td>The home was <u>modest</u> and <u>frugal</u></td><td>I want to know what you <u>mean</u></td></tr><tr><th>hyp</th><td>La maison était <u>modeste</u> et <u>modeste</u></td><td>Je <u>veux</u> savoir ce que tu <u>veux</u> dire</td></tr><tr><th>tgt</th><td>La maison était <u>modeste</u> et <u>économe</u></td><td>Je <u>veux</u> savoir ce que tu <u>veux</u> dire</td></tr></tbody></table>

based on the premise that if repeated words are necessary in a human-generated sentence, the corresponding translation may similarly require the repetition. This holds true for repetitions used to reinforce a concept or in highly specialized domains.

— Next, we also align the synthetic (hyp) and target (tgt) sentences word by word and remove repetitions of the synthetic sentences (hyp) aligned to repeated words in the reference translation. The same previous rationale remains consistent, now encompassing examples of common expressions that necessitate word repetitions.

The resulting set of examples with repetitions from src/hyp training pairs will be regarded as instances that the model needs to learn to discourage. Consequently, we utilize them for training after annotating the repeated words in their respective *M* matrices. Table 1 illustrates the procedure previously outlined for two synthetic translations (hyp) containing repetitions.

The repeated word on the left-side example is the French adjective *modeste* while the verb *veux* is repeated in the right-side example. Once word alignments are computed between synthetic translations and their respective source and target sentences, the example on the right is not classified as a repetition degrading fluency. This is because both instances of *veux* are aligned with repeated words in the target reference translation, suggesting that the repetition is motivated. Concerning the example on the left side, neither the source nor the reference target sentences contain repeated words, suggesting that the repetition stems from a lack of diversity when translating *modeste* and *frugal*, thus hindering fluency.

We employ the left-side example to train the model to identify it as a repetition to be avoided. The corresponding matrix *M* marks the second occurrence of the word *modeste* with a 1, thereby incurring in a significant loss if the model predicts it with high probability. The example on the right is used without penalization, thus instructing the model to reproduce the repetition.

It's worth noting that the presented approach does not require any alterations to the network architecture and maintains the same training and inference efficiency.

# 5 Experimental Framework

We evaluate the proposed methods in an English-to-French translation task. Thus, we utilize English-French parallel corpora freely obtained from the Opus website 6. We strive for balanced utilization across various domains and ensure the inclusion of clean parallel data whenever possible. Due to the extensive volume of French-English parallel sentences accessible we randomly choose a subset exceeding 7 million examples that we employ as *Training set*.

For testing, we make use of English-French *News-test* (2008 to 2013) datasets made available

<footnote n="6">6. http://opus.nlpl.eu</footnote>
<table><caption>TABLE 2 – Number of repetitions that degrade fluency and those which do not, found in both the *Training* and *Repetition-test* corpora. Occurrences are also displayed considering the morpho-syntactic function of repetitions.</caption><thead><tr><th rowspan="2">Type</th><th colspan="2">Training set</th><th colspan="2">Repetition-test</th></tr><tr><th>Degrading</th><th>Acceptable</th><th>Degrading</th><th>Acceptable</th></tr></thead><tbody><tr><td>Noun</td><td>170, 169</td><td>356, 105</td><td>25</td><td>34</td></tr><tr><td>Verb</td><td>36, 111</td><td>41, 949</td><td>24</td><td>33</td></tr><tr><td>Adjective</td><td>22, 834</td><td>51, 599</td><td>26</td><td>30</td></tr><tr><td>Adverb</td><td>4, 016</td><td>6, 097</td><td>26</td><td>1</td></tr><tr><td>Total</td><td>233, 130</td><td>455, 750</td><td>101</td><td>98</td></tr></tbody></table>

through the WMT’2014 translation shared task<fnref n="7" />. In addition, we use a held-out *Repetition-test* composed of reference English and their corresponding French machine translations that feature at least one repeated word on the target (French) side for a more nuanced analysis of repetition. Machine translations were obtained with our baseline NMT model (referred in Appendix B as *baseline*). The *Repetition-test* set primarily serves to assess our models’ performance in handling repetition issues, while we employ the *News-test* set to evaluate overall translation accuracy. Further details of the train and test datasets used are given in Appendix A.

We translate the English side of the *Training* and *Repetition-test* sets following the procedure detailed in Section 4 to identify repetitions which hinder fluency (*Degrading*) and those which do not (*Acceptable*). Table 2 displays the frequency of repetitions identified within the French translations. The table presents the occurrence of both types of repetitions, accompanied by an analysis of their frequency concerning the morpho-syntactic function of the repetitions<fnref n="8" />. Sentences are morpho-syntactically analyzed using the spaCy<fnref n="9" /> toolkit.

Our NMT model is built using an in-house implementation of the state-of-the-art Transformer architecture (Vaswani et al., 2017). Details of the network and training work are given in Appendix B.

# 6 Results and Analysis

To evaluate the methods presented in this paper we consider the previous *baseline* model that we update with 15K additional iterations for two different configurations of the ground-truth distribution:

$q^{\epsilon^{LS}}$ follows the same configuration than the *baseline* model with label smoothing set to $\epsilon = 0.1$.

$q^{\epsilon^{LS\alpha M}}$ further penalizes the ground-truth distribution with repetition penalties as detailed in Section 3 with $\epsilon = 0.1$ and for different values of $\alpha$.

Note that for both configurations, we use 7.6M reference sentence pairs detailed in Table A (*Training set*) together with the synthetic translations containing repetitions predicted *Degrading* and *Acceptable* of Table 2, summing up to 7.6M + 233K + 455K sentence pairs. It’s essential to find a balance between the number of sentences in each training set (reference and synthetic) to uphold overall quality while teaching the model to minimize specific repetitions.

<footnote n="7">7. https://www.statmt.org/wmt14/translation-task.html</footnote>

<footnote n="8">8. Only French adverbs ending with suffix *ment* are considered.</footnote>

<footnote n="9">9. https://spacy.io/ with the French *fr_core_news_lg* model.</footnote>
<table><caption>TABLE 3 – Translation accuracy results and number of repetitions present in translations performed by models under different configurations. Two different test sets are considered. $ϵ$ is always set to 0.1.</caption><thead><tr><th rowspan="2">Configuration</th><th colspan="4">Repetition-test</th><th colspan="2">News-test</th></tr><tr><th>BLEU</th><th>COMET</th><th>Degrading</th><th>Acceptable</th><th>BLEU</th><th>COMET</th></tr></thead><tbody><tr><td>q<sup>ϵLS</sup></td><td>45.15</td><td>37.36</td><td>99</td><td>95</td><td>32.60</td><td>26.50</td></tr><tr><td>q<sup>ϵLSαM</sup>, 1 − α = 10<sup>−2</sup></td><td>45.54</td><td>39.10</td><td>81</td><td>89</td><td>32.45</td><td>26.05</td></tr><tr><td>q<sup>ϵLSαM</sup>, 1 − α = 10<sup>−3</sup></td><td>45.63</td><td>40.31</td><td>79</td><td>87</td><td>32.44</td><td>26.18</td></tr><tr><td>q<sup>ϵLSαM</sup>, 1 − α = 10<sup>−6</sup></td><td>45.65</td><td>40.13</td><td>77</td><td>86</td><td>32.50</td><td>26.30</td></tr><tr><td>beam, β = 0</td><td>35.03</td><td>31.28</td><td>0</td><td>0</td><td>20.66</td><td>10.65</td></tr><tr><td>beam, topk = 10</td><td>44.34</td><td>37.88</td><td>94</td><td>85</td><td>32.45</td><td>25.91</td></tr><tr><td>GPT3.5</td><td>29.70</td><td>29.59</td><td>25</td><td>43</td><td>29.98</td><td>27.60</td></tr><tr><td>NLLB</td><td>34.13</td><td>25.37</td><td>51</td><td>57</td><td>31.98</td><td>23.64</td></tr></tbody></table>

Configuration *beam* employs the *baseline* model and performs inference following two strategies to reduce repetitions and improve diversity:

* $β$ with a penalty applied at each inference time-step $t$ whenever token $y_t$ appears repeated in the hypothesis prefix $y_0, ..., y_{t-1}$. Probability $p_t$ is reduced by factor $0 ≤ β ≤ 1$. Thus, reducing the likelihood of such hypotheses.

* *topk* Sampling predictions from the $k$ most likely tokens of the output distribution. This is an effective decoding strategy typically used for increasing diversity when building back-translation datasets.

We also assess the effectiveness of two large language models (LLM) with translation capabilities to overcome the repetition issue:

* **GPT3.5** consists of the *GPT3.5-turbo* version of the OpenAI LLM. Built upon the Generative Pre-trained Transformer architecture (Radford & Sutskever, 2018) which employs only a transformer decoder. Following an auto-regressive approach, the model ensures that the generated text maintains coherence and relevance to the context provided by the input text. Translations are conducted using the OpenAI API, while emphasizing the importance of minimizing word repetitions through the provided prompt<fnref n="10" />.

* **NLLB** is a family of machine translation models based on the Transformer encoder-decoder architecture, enabling translation between any of the 202 language varieties (NLLB Team et al., 2022). We use the *nllb-200-distilled-600M*<fnref n="11" /> version and perform translations with the efficient *CTranslate2*<fnref n="12" /> inference toolkit.

To evaluate the presented methods, we report BLEU and COMET results computed by *sacrebleu*<fnref n="13" /> (Post, 2018) and *comet-score*<fnref n="14" /> (Rei et al., 2020) respectively over both test sets. Concerning *Repetition-test*, we also report the number of word repetitions that hinder fluency, *Degrading*, and those deemed acceptable, *Acceptable*, measured in translation hypotheses.

<footnote n="10">10. Prompt = *Translate the following text from English to French, ensuring that the translated output maintains coherence and fluency while minimizing the repetition of words or phrases. Pay attention to using synonyms, varied sentence structures, and appropriate linguistic devices to enhance the overall quality of the translation. Feel free to creatively adapt the language to achieve a natural and engaging tone in the target language. I want you to only reply the traduction, do not write explanations*</footnote>

<footnote n="11">11. https://huggingface.co/facebook/nllb-200-distilled-600M</footnote>

<footnote n="12">12. https://github.com/OpenNMT/CTranslate2</footnote>

<footnote n="13">13. https://github.com/mjpost/sacrebleu</footnote>

<footnote n="14">14. https://github.com/Unbabel/COMET</footnote>
Models fine-tuned from the *baseline* network exhibit nearly identical quality scores across the *News-test* sets. This suggests that training with the method presented to adjust the ground-truth distribution does not compromise translation quality. On the contrary, unlike Configuration $q^{\epsilon^{LS}}$, Configurations $q^{\epsilon^{LS\alpha M}}$ demonstrate a significant decrease in the number of repetitions that degrade fluency over the *Repetition-test*, while retaining most of the acceptable repetitions in the translated output. Note also the increase in quality over the *Repetition-test* set as measured by COMET score (~40 > 37.62). Adjusting $\alpha$ does not seem to have a significant impact on reducing repetitions that degrade fluency. Decreasing its value gradually (lightly) reduces the occurrence of such repetitions. As expected, the number of acceptable repetitions remains unchanged since the training input signal with acceptable repetitions remains constant across all $\alpha$ values.

Regarding inference-based configurations, *beam* with $\beta = 0$ effectively eliminates all repetitions but at the expense of a notable decrease in translation quality, in the case of *topk* = 10 the number of repetitions is lightly reduced as well as global accuracy.

Results from both LLMs demonstrate a reduced number of repetitions, suggesting an elevated level of diversity and fluency of such models. However, the translation quality scores of LLMs do not align with those achieved by the models presented in this study in either of the test sets, especially translations obtained by GPT-3.5. These findings are consistent with those presented by (Bawden & Yvon, 2023) where the authors note the challenge of controlling translations performed by BLOOM <fnref n="15" />, a multilingual LLM.

Table 4 illustrates reference translations (src and tgt) together with translations by models $q^{\epsilon^{LS}}$ and $q^{\epsilon^{LS\alpha M}}$. The first (top) examples exhibit the ability of model $q^{\epsilon^{LS\alpha M}}$ to avoid *degrading* repetitions. The last examples contain *acceptable* repetitions hypothesized by both models.

# 7 Conclusions and Further Work

We have introduced a method to reduce the occurrence of repetitions in translation hypotheses, which significantly affects the readability of the generated texts. Additionally, we have proposed a straightforward approach to identify repetitions in machine translations that detract from fluency. The method is solely implemented during fine-tuning at the conclusion of the training phase, without any modifications to the inference process. Experiments indicate the ability of our proposed methods in reducing the repetition problem. Additional experiments are necessary to confirm the applicability of the proposed methods across various language pairs and dataset conditions. We aim to further study the impact of the ratio between the number of reference sentences and synthetic translations that include repetitions during the training process. Additionally, we plan to analyze the influence of the distance (measured in number of words) between repetitions and explore the possibility of replacing the binary penalty in matrix *M* with a softer approach.

# Remerciements

The work presented in this paper was supported by the EU Horizon 2020 Programme for TRACE project (Grant Agreement No. 101022004).

<footnote n="15">15. https://huggingface.co/bigscience/bloom</footnote>
<table><caption>TABLE 4 – Models configured with (q<sup>εLSαM</sup>) and without (q<sup>εLS</sup>) penalization exhibit varying performance when encountering repetitions (outlined using blue). Reference source (src) and target (tgt) translations are also indicated. The initial (top) examples include repetitions that *degrade* fluency, whereas the final (bottom) examples feature *acceptable* repetitions.</caption><tr><td>src</td><td>(h) liabilities, including unliquidated obligations;</td></tr><tr><td>tgt</td><td>h) les dettes, y compris les engagements non réglés;</td></tr><tr><td>q<sup>εLS</sup></td><td>(h) les engagements, y compris les engagements non réglés;</td></tr><tr><td>q<sup>εLSαM</sup></td><td>(h) les passifs, y compris les engagements non réglés;</td></tr><tr><td>src</td><td>We talked about the tourism, hospitality and hotel sectors.</td></tr><tr><td>tgt</td><td>On a parlé des secteurs du tourisme, de l'hébergement et de l'hôtellerie.</td></tr><tr><td>q<sup>εLS</sup></td><td>Nous avons parlé des secteurs du tourisme, de l'hôtellerie et de l'hôtellerie.</td></tr><tr><td>q<sup>εLSαM</sup></td><td>Nous avons parlé des secteurs du tourisme, de l'accueil et de l'hôtellerie.</td></tr><tr><td>src</td><td>The home was modest and frugal.</td></tr><tr><td>tgt</td><td>C'était une maison modeste.</td></tr><tr><td>q<sup>εLS</sup></td><td>La maison était modeste et modeste.</td></tr><tr><td>q<sup>εLSαM</sup></td><td>La maison était modeste et économe.</td></tr><tr><td>src</td><td>Courts will tackle the question anyway, often obliquely or indirectly.</td></tr><tr><td>tgt</td><td>Les tribunaux vont se poser cette question de toute façon, souvent à mots couverts ou indirectement.</td></tr><tr><td>q<sup>εLS</sup></td><td>Les tribunaux aborderont la question de toute façon, souvent indirectement ou indirectement.</td></tr><tr><td>q<sup>εLSαM</sup></td><td>Les tribunaux aborderont la question de toute façon, souvent de façon oblique ou indirecte.</td></tr><tr><td>src</td><td>Technology travels fast and is swiftly adopted.</td></tr><tr><td>tgt</td><td>Les technologies se distribuent rapidement et sont rapidement adoptées.</td></tr><tr><td>q<sup>εLS</sup></td><td>La technologie voyage rapidement et est rapidement adoptée.</td></tr><tr><td>q<sup>εLSαM</sup></td><td>La technologie voyage vite et est rapidement adoptée.</td></tr><tr><td>src</td><td>Parliament must be able to exercise its power of scrutiny.</td></tr><tr><td>tgt</td><td>Le Parlement européen doit exercer son pouvoir de contrôle.</td></tr><tr><td>q<sup>εLS</sup></td><td>Le Parlement doit pouvoir exercer son pouvoir de contrôle.</td></tr><tr><td>q<sup>εLSαM</sup></td><td>Le Parlement doit être en mesure d'exercer son pouvoir de contrôle.</td></tr><tr><td>src</td><td>Interferometer apparatus and interferometric method</td></tr><tr><td>tgt</td><td>Appareil interféromètre et procédé interférométrique</td></tr><tr><td>q<sup>εLS</sup></td><td>Appareil interférométrique et procédé interférométrique</td></tr><tr><td>q<sup>εLSαM</sup></td><td>Appareil interférométrique et procédé interférométrique</td></tr><tr><td>src</td><td>Cardiac murmur, heart rate increased</td></tr><tr><td>tgt</td><td>Souffle cardiaque, augmentation de la fréquence cardiaque</td></tr><tr><td>q<sup>εLS</sup></td><td>Souffle cardiaque, fréquence cardiaque augmentée</td></tr><tr><td>q<sup>εLSαM</sup></td><td>Souffle cardiaque, fréquence cardiaque augmentée</td></tr></table>
Références

BAWDEN R. & YVON F. (2023). Investigating the translation performance of a large multilingual language model : the case of BLOOM. In M. NURMINEN, J. BRENNER, M. KOPONEN, S. LATOMAA, M. MIKHAILOV, F. SCHIERL, T. RANASINGHE, E. VANMASSENHOVE, S. A. VIDAL, N. ARANBERRI, M. NUNZIATINI, C. P. ESCARTÍN, M. FORCADA, M. POPOVIC, C. SCARTON & H. MONIZ, Éds., *Proceedings of the 24th Annual Conference of the European Association for Machine Translation*, p. 157–170, Tampere, Finland : European Association for Machine Translation.

EDUNOV S., OTT M., AULI M. & GRANGIER D. (2018). Understanding back-translation at scale. In E. RILOFF, D. CHIANG, J. HOCKENMAIER & J. TSUJII, Éds., *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing*, p. 489–500, Brussels, Belgium : Association for Computational Linguistics. DOI: 10.18653/v1/D18-1045.

HOLTZMAN A., BUYS J., DU L., FORBES M. & CHOI Y. (2020). The curious case of neural text degeneration. In *8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia*, April 26-30, 2020 : OpenReview.net.

KINGMA D. P. & BA J. (2014). Adam: A method for stochastic optimization. *arXiv preprint arXiv:1412.6980*.

LACHAUX M.-A., JOULIN A. & LAMPLE G. (2020). Target conditioning for one-to-many generation. In T. COHN, Y. HE & Y. LIU, Éds., *Findings of the Association for Computational Linguistics: EMNLP 2020*, p. 2853–2862, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.findings-emnlp.256.

LI M., ROLLER S., KULIKOV I., WELLECK S., BOUREAU Y.-L., CHO K. & WESTON J. (2020). Don't say that ! making inconsistent dialogue unlikely with unlikelihood training. In D. JURAFSKY, J. CHAI, N. SCHLUTER & J. TETREAULT, Éds., *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 4715–4728, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.428.

LIN H., YANG B., YAO L., LIU D., ZHANG H., XIE J., ZHANG M. & SU J. (2022). Bridging the gap between training and inference : Multi-candidate optimization for diverse neural machine translation. In M. CARPUAT, M.-C. DE MARNEFFE & I. V. MEZA RUIZ, Éds., *Findings of the Association for Computational Linguistics: NAACL 2022*, p. 2622–2632, Seattle, United States : Association for Computational Linguistics. DOI: 10.18653/v1/2022.findings-naacl.200.

MÜLLER R., KORNBLITH S. & HINTON G. (2019). *When Does Label Smoothing Help?*, In *Proceedings of the 33rd International Conference on Neural Information Processing Systems*. Curran Associates Inc. : Red Hook, NY, USA.

NLLB TEAM, COSTA-JUSSÀ M. R., CROSS J., ÇELEBI O., ELBAYAD M., HEAFIELD K., HEF-FERNAN K., KALBASSI E., LAM J., LICHT D., MAILLARD J., SUN A., WANG S., WENZEK G., YOUNGBLOOD A., AKULA B., BARRAULT L., MEJIA-GONZALEZ G., HANSANTI P., HOFFMAN J., JARRETT S., SADAGOPAN K. R., ROWE D., SPRUIT S., TRAN C., ANDREWS P., AYAN N. F., BHOSALE S., EDUNOV S., FAN A., GAO C., GOSWAMI V., GUZMÁN F., KOEHN P., MOURACHKO A., ROPERS C., SALEEM S., SCHWENK H. & WANG J. (2022). No language left behind : Scaling human-centered machine translation.

OCH F. J. & NEY H. (2003). A systematic comparison of various statistical alignment models. *Computational Linguistics*, **29**(1), 19–51.

POST M. (2018). A call for clarity in reporting BLEU scores. In *Proceedings of the Third Conference on Machine Translation : Research Papers*, p. 186–191, Belgium, Brussels : Association for Computational Linguistics.
RADFORD, ALEC N. K. S. T. & SUTSKEVER I. (2018). Improving language understanding with unsupervised learning. *Technical Report*.

REI R., STEWART C., FARINHA A. C. & LAVIE A. (2020). COMET: A neural framework for MT evaluation. In B. WEBBER, T. COHN, Y. HE & Y. LIU, Éds., *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 2685–2702, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.emnlp-main.213.

SCHIOPPA A., VILAR D., SOKOLOV A. & FILIPPOVA K. (2021). Controlling machine translation for multiple attributes with additive interventions. In M.-F. MOENS, X. HUANG, L. SPECIA & S. W.-T. YIH, Éds., *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 6676–6696, Online and Punta Cana, Dominican Republic : Association for Computational Linguistics. DOI: 10.18653/v1/2021.emnlp-main.535.

SENNRICH R., HADDOW B. & BIRCH A. (2016). Neural machine translation of rare words with subword units. In K. ERK & N. A. SMITH, Éds., *Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 1715–1725, Berlin, Germany : Association for Computational Linguistics. DOI: 10.18653/v1/P16-1162.

SHU R., NAKAYAMA H. & CHO K. (2019). Generating diverse translations with sentence codes. In A. KORHONEN, D. TRAUM & L. MARQUEZ, Éds., *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 1823–1827, Florence, Italy : Association for Computational Linguistics. DOI: 10.18653/v1/P19-1177.

SU Y., LAN T., WANG Y., YOGATAMA D., KONG L. & COLLIER N. (2022). A contrastive framework for neural text generation. In A. H. OH, A. AGARWAL, D. BELGRAVE & K. CHO, Éds., *Advances in Neural Information Processing Systems*.

SZEGEDY C., VANHOUCKE V., IOFFE S., SHLENS J. & WOJNA Z. (2015). Rethinking the inception architecture for computer vision. *2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)*, p. 2818–2826.

VAHTOLA T., CREUTZ M. & TIEDEMANN J. (2023). Guiding zero-shot paraphrase generation with fine-grained control tokens. In A. PALMER & J. CAMACHO-COLLADOS, Éds., *Proceedings of the 12th Joint Conference on Lexical and Computational Semantics (*SEM 2023)*, p. 323–337, Toronto, Canada : Association for Computational Linguistics. DOI: 10.18653/v1/2023.starsem-1.29.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER L. U. & POLOSUKHIN I. (2017). Attention is all you need. In I. GUYON, U. V. LUXBURG, S. BENGIO, H. WALLACH, R. FERGUS, S. VISHWANATHAN & R. GARNETT, Éds., *Advances in Neural Information Processing Systems*, volume 30 : Curran Associates, Inc.

WELLECK S., KULIKOV I., ROLLER S., DINAN E., CHO K. & WESTON J. (2019). Neural text generation with unlikelihood training. *ArXiv, abs/1908.04319*.

## A Corpora Statistics

Table 5 presents various statistics of the corpora used in this work, including the total number of sentences, vocabularies, words, and average sentence length. Statistics are computed after performing a light tokenization aiming to split-off punctuation.
<table><caption>TABLE 5 – Corpora statistics. M and K stand for millions and thousands respectively.</caption><thead><tr><th>Side</th><th>Sentences</th><th>Vocabulary</th><th>Words</th><th>Length</th></tr></thead><tbody><tr><td colspan="5"><em>Training set</em></td></tr><tr><td>English</td><td rowspan="2">7.6M</td><td>755K</td><td>174M</td><td>22.9</td></tr><tr><td>French</td><td>839K</td><td>208M</td><td>27.3</td></tr><tr><td colspan="5"><em>News-test</em></td></tr><tr><td>English</td><td rowspan="2">16,071</td><td>27K</td><td>401K</td><td>24.1</td></tr><tr><td>French</td><td>32K</td><td>468K</td><td>29.1</td></tr><tr><td colspan="5"><em>Repetition-test</em></td></tr><tr><td>English</td><td rowspan="2">199</td><td>1,323</td><td>2,521</td><td>12.6</td></tr><tr><td>French</td><td>1,352</td><td>3,215</td><td>16.1</td></tr></tbody></table>

<table><caption>TABLE 6 – Network hyperparameters.</caption><tr><td>size of word embedding</td><td>512</td></tr><tr><td>size of hidden layers</td><td>512</td></tr><tr><td>size of inner feed forward layer</td><td>2,048</td></tr><tr><td>number of heads</td><td>8</td></tr><tr><td>number of layers</td><td>6</td></tr><tr><td>batch size</td><td>4,000 (tokens)</td></tr><tr><td>batch accumulation</td><td>25 (batches)</td></tr></table>

## B NMT Network

Table 6 indicate the hyper-parameters employed to build our translation network.

For optimization work we use the lazy Adam algorithm (Kingma & Ba, 2014). We set warmup steps to 4,000 and update learning rate for every 8 iterations. All models are trained using a single NVIDIA V100 GPU.

We limit the source and target sentence lengths to 150 tokens based on BPE (Sennrich et al., 2016) preprocessing in both source and target sides. We use a joint vocabulary of 32K tokens for both source and target sides. In inference we use a beam size of 5.

Our *baseline* English-to-French model is trained during more than 3 million iterations using all the parallel data available in the Opus website (see Appendix A).
# Régression logistique parcimonieuse
pour l'extraction automatique de règles de grammaire

Santiago Herrera¹ Caio Corro² Sylvain Kahane¹,³

(1) Université Paris Nanterre, CNRS, Modyco, 200 Avenue de la République, 92001, Nanterre, France

(2) Sorbonne Université, CNRS, ISIR, 4 Place Jussieu, 75005, Paris, France

(3) Institut Universitaire de France

s.herrera@parisnanterre.fr, caio.corro@isir.upmc.fr, sylvain@kahane.fr

## RÉSUMÉ

Nous proposons une nouvelle approche pour extraire et explorer des motifs grammaticaux à partir de corpus arborés, dans le but de construire des règles de grammaire syntaxique. Plus précisément, nous nous intéressons à deux phénomènes linguistiques, l'accord et l'ordre des mots, en utilisant un espace de recherche étendu et en accordant une attention particulière au classement des règles. Pour cela, nous utilisons un classifieur linéaire entraîné avec une pénalisation L1 pour identifier les caractéristiques les plus saillantes. Nous associons ensuite des informations quantitatives à chaque règle. Notre méthode permet de découvrir des règles de différentes granularités, certaines connues et d'autres moins. Dans ce travail, nous nous intéressons aux règles issues d'un corpus du français.

## ABSTRACT

### Sparse Logistic Regression with High-order Features for Automatic Grammar Rule Extraction from Treebanks

We propose a novel approach to extract and explore significant fine-grained grammar patterns and potential syntactic grammar rules from treebanks, in order to create an easy-to-understand corpus-based grammar. More specifically, we extract descriptions and rules across different languages for two linguistic phenomena, agreement and word order, using a large search space and paying special attention to the ranking order of the extracted rules. For that, we use a sparse logistic regression classifier to extract the most salient features that predict the linguistic phenomena under study. We associate statistical information to each rule. Our method discovers both known and significant grammar rules that are less well known. In this paper, we focus on rules extracted from a French treebank.

**MOTS-CLÉS** : Extraction de grammaire, règles de grammaire, grammaire fondée sur des corpus, grammaire quantitative, régression logistique, pénalité L1.

**KEYWORDS:** Grammar extraction, grammar rules, corpus based grammar, quantitative grammar, sparse logistic, L1 regularization.

## 1 Introduction

Les grammaires descriptives sont des ressources précieuses pour la recherche linguistique, mais leur construction est longue et difficile. Les collections de corpus arborés comme Universal Dependencies

<figure><img src="image_78.png" /></figure>
(De Marneffe et al., 2021) ont permis le développement de méthodes d'extraction automatique de grammaires à partir de corpus. Dans ce travail, nous proposons une nouvelle approche fondée sur la régression logistique parcimonieuse. Nos contributions peuvent se résumer de la façon suivante :

— nous proposons une nouvelle formalisation des règles grammaticales visant l'extraction automatique à partir de corpus arborés;

— nous étudions l'utilisation de la régression logistique L1 pour extraire et classer les règles;

— par rapport aux travaux précédents (notamment Chaudhary et al. 2020, 2022), nous augmentons l'expressivité de nos règles, ce qui permet d'obtenir des règles plus fines et d'avoir aussi un outil plus adapté à la fouille de règles

Nous nous évaluons sur le français, l'espagnol et wolof pour trois phénomènes : les accords en genre, en nombre et l'ordre des mots. Cependant, nous ne reportons que les résultats sur la position du sujet en français dans ce résumé.<fnref n="1" />

## 2 Règle de grammaire

Une grammaire est un ensemble de contraintes régulières qu'une langue impose à ses locuteurs, contraintes que nous appelons souvent des règles. Une règle de grammaire décrit le contexte linguistique particulier dans lequel un motif grammatical est privilégié ou non, par rapport à d'autres motifs possibles. Dans la pratique, ces règles sont de nature probabiliste (dans l'interprétation fréquentiste), peuvent être plus ou moins fines et peuvent se chevaucher.

Par exemple, une règle simple du français est : « le sujet nominal d'un verbe se place avant son gouverneur ». Cependant, cette règle n'est pas déterministe. Une description plus précise serait : « pour une dépendance syntaxique de type sujet, le dépendant se place avant son gouverneur dans plus de 97% des cas »<fnref n="2" />. En pratique, il est intéressant de comprendre dans quels cas il y a une divergence avec la règle dominante, par exemple : « le sujet nominal dans une subordonnée relative se place après son gouverneur dans ≈ 23% des cas » (voir la Figure 1).

Nous proposons de définir une règle de grammaire comme une construction composée de trois motifs :

— S est un motif donné qui définit la portée (angl. scope) de la règle, c'est-à-dire quelles sont les constructions qui nous intéressent (p. ex. nous pouvons nous focaliser sur les relations de type sujet uniquement).

— Q identifie le phénomène ou la question linguistique qui nous intéresse (p. ex. l'inversion du sujet).

— P est un motif prédicateur ou déclencheur de Q dans les limites de S (p. ex. le fait que le sujet soit dans une subordonnée relative).

Nous formalisons donc une règle de grammaire par une formule de la forme suivante :

$$S \implies (P \stackrel{\alpha}{\implies} Q).$$

où α est la fréquence avec laquelle le motif P déclenche le motif Q au sein de S. Une reformulation naturelle de notre exemple serait « parmi tous les sujets, ceux qui se trouvent dans une proposition

<footnote n="1">1. Une version en anglais de ce travail a été acceptée à la conférence LREC-Coling 2024: https://arxiv.org/abs/2403.17534.</footnote>

<footnote n="2">2. Distribution tirée de la version SUD du corpus arborés GSD du français (Guillaume et al., 2019).</footnote>
<figure><img src="image_79.png" /><figcaption>FIGURE 1 – Exemple tiré de la version SUD du corpus arborés GSD du français. Deux propositions sont reliées par une relation MOD@RELCL avec des sujets dans des positions différentes. Dans la première (resp. seconde) proposition, le sujet occupe une position préverbale (resp. post-verbale).</figcaption></figure>

<figure><img src="image_80.png" /><figcaption>FIGURE 2 – L’espace de recherche est définit autour d’une relation entre un nœud gouverneur (GOV), et son dépendant (DEP), le gouverneur de GOV (GRANDPARENT) et les autres dépendants de GOV (SIBLINGS), ainsi que les dépendants de DEP (GRANDCHILDREN). On utilise presque toutes les informations linguistiques encodées dans ces nœuds, y compris les traits morphosyntaxiques, certains lemmes et les relations de dépendances, ainsi que les positions relatives de ces nœuds (qui peuvent être différentes de celles de la figure).</figcaption></figure>

relative sont inversés dans plus de 23% des cas ».

Cette formalisation s'inspire des règles (de correspondance) de la théorie Sens-Texte (Mel'čuk, 1988)<fnref n="3" />. Cependant, nous nous concentrons uniquement sur les relations au niveau de la syntaxe de surface. De plus, cette formalisation se traduit facilement en une tâche de classification par apprentissage automatique.

En pratique, les motifs S et Q sont déterminés manuellement, car ils définissent les phénomènes linguistiques auxquels nous allons nous intéresser. Cependant, le nombre potentiel de motifs P est très important et il est donc difficile de les explorer manuellement. En particulier, nous utilisons presque toutes les informations linguistiques encodées dans les corpus arborés : pour toutes les dépendances filtrées par S, notre espace de recherche pour P considère toute information relative au grand-parent (gouverneur du gouverneur), aux codépendants du gouverneur et aux enfants du dépendant (voir Figure 2).

## 3 Méthode d'extraction

Plusieurs études ont démontré la nécessité d'avoir une approche quantitative pour étudier des phénomènes syntaxiques (p. ex. Bresnan et al., 2004; Thuilier, 2012). Aujourd'hui, il est possible d'extraire automatiquement des règles syntaxiques en utilisant des corpus annotés en syntaxe comme *Universal Dependencies* (UD, De Marneffe et al., 2021) ou *Surface Syntactic UD* (SUD, Gerdes et al., 2018). Les travaux de Chaudhary et al. (2020, 2022) proposent d'utiliser des arbres de décision,

<footnote n="3">3. Dans la notation de Mel'čuk (1988), la règle s'écrirait « S = ⇒ Q | P » et se lirait « S est susceptible de correspondre à Q dans le contexte P » (le sujet peut être placé après le verbe quand il est dans une relative).</footnote>
comme technique d'apprentissage automatique, à cette fin. Nous nous différencions de ces travaux en proposant une nouvelle formalisation du problème (section précédente) et car nous utilisons la régression logistique parcimonieuse, qui est plus sensible à des changements même peu prononcés de la distribution. Cela nous permet de simultanément extraire et classer les règles, tout en explorant un large espace de recherche. Nous obtenons ainsi des règles de grammaire quantitative plus expressives et fines. De plus, notre approche ne nécessite pas de régler des hyperparamètres d'apprentissage.

## 3.1 Régression logistique et pénalisation L1

Dans cette section, nous décrivons brièvement notre méthode d'extraction des motifs P fondée sur la régression logistique parcimonieuse. Nous renvoyons les lecteurices vers Shalev-Shwartz & Ben-David (2014, Sec. 9 & 25) et Bach et al. (2012) pour une introduction détaillée à ce sujet.

**Modèle de classification.** Soit $F$ l'ensemble des motifs possibles pour P, qui correspondent aux caractéristiques d'entrée de notre classifieur. Nous considérons comme caractéristiques tous les motifs composés d'un ou de deux attributs dans l'espace de recherche de la Figure 2, par exemple GRANDCHILDREN.UPOS=ADP et GOV.REL_SYNT=MOD,SIBLINGS.UPOS=ADP. Soit $\boldsymbol{x} \in \{0, 1\}^F$ un vecteur booléen qui indique quelles sont les caractéristiques présentent dans l'entrée. Notre modèle de classification définie la probabilité d'observer un certain motif Q, par ex. un sujet inversé, de la façon suivante :

$$P(\text{"inversion du sujet"}|\boldsymbol{x}) = \sigma(\boldsymbol{a}^{\top}\boldsymbol{x} + b) \quad (1)$$

où $\boldsymbol{a} \in \mathbb{R}^F$ et $b \in \mathbb{R}$ sont les paramètres du modèle, et $\sigma(w) = \frac{\exp(w)}{1+\exp(w)}$ est la fonction sigmoïde. Par construction du modèle, les caractéristiques qui ont un poids 0 dans le vecteur $\boldsymbol{a}$ ne contribuent pas à la distribution du modèle.

Nous apprenons les paramètres du modèle en minimisant l'objectif suivant :

$$\min_{\boldsymbol{a} \in \mathbb{R}^F, b \in \mathbb{R}} \frac{1}{|D|} \sum_{(x,y) \in D} \ell(\boldsymbol{a}^{\top}\boldsymbol{x} + b, y) + \lambda r(\boldsymbol{a}), \quad (2)$$

où $D$ est le corpus d'entraînement filtré par $S$, $\ell$ est la fonction de perte, $r$ est une pénalité de régularisation de poids $\lambda \ge 0$. En particulier, nous utilisons :

- $\ell(w, y) = -yw + \log(1 + \exp w)$, l'opposé de la log-vraisemblance;

- $r(\boldsymbol{a}) = \|\boldsymbol{a}\|_1 = \sum_{f \in F} |a_f|$, la norme L1 qui favorise les solutions contenant des 0 dans le vecteur $\boldsymbol{a}$ (Bach et al., 2012).

Nous utilisons la bibliothèque SKGLM (Bertrand et al., 2022) pour apprendre les paramètres.

**Chemin de régularisation.** Plus le paramètre $\lambda$ est élevé, plus le nombre de 0 dans le vecteur $\boldsymbol{a}$ sera élevé. Nous entraînons donc une séquence de modèles en faisant varier le poids de la régularisation L1 afin d'identifier les motifs P du plus important au moins important. Nous initialisons $\lambda$ à une valeur assez grande pour que toutes les valeurs dans $\boldsymbol{a}$ soit nulles. Ensuite, nous entraînons la séquence de modèles en diminuant petit à petit la valeur de $\lambda$. Plus un motif apparaît tôt avec un score non nul, plus il est considéré comme important. La séquence de solutions obtenues en diminuant la valeur de $\lambda$ est appelée le chemin de régularisation (Markowitz, 1952; Osborne et al., 2000; Efron et al., 2004).
## 3.2 Filtrage et analyse des règles

Bien que le chemin de régularisation nous donne un classement des motifs P, les coefficients de $a$ ne constituent pas en soi des facteurs explicatifs, contrairement aux idées reçues (Achen, 2005). C'est pour cela que, dans un premier temps, pour chaque motif extrait, nous vérifions s'il est déclencheur du motif Q ou $\neg Q$, autrement dit, si le motif fait pencher la distribution d'un côté ou de l'autre.

Dans un deuxième temps, nous calculons la précision et la couverture/rappel de la règle, et nous appliquons un test statistique pour mieux analyser les règles. La précision et la couverture de la règle sont particulièrement importantes, car nous faisons l'hypothèse qu'une règle de grammaire fiable couvre largement le phénomène linguistique d'intérêt (ex. l'inversion du sujet) et qu'elle comporte peu de faux positifs.

<table><thead><tr><th>Règle</th><th>Couverture</th><th>Précision</th></tr></thead><tbody><tr><td>S ∧ P ⇄<sup>α%</sup> Q</td><td>#(S∧P∧Q) / #(S∧Q)</td><td>#(S∧P∧Q) / #(S∧P)</td></tr><tr><td>S ∧ P ⇄<sup>α%</sup> ¬Q</td><td>#(S∧P∧¬Q) / #(S∧¬Q)</td><td>#(S∧P∧¬Q) / #(S∧P)</td></tr></tbody></table>

L'utilisation de tests et de mesures statistiques permet de pondérer les règles selon différentes mesures et ainsi d'avoir une grammaire quantitative fondée sur les occurrences d'un corpus. Il convient de noter que ces mesures doivent être contextualisées. Une règle comme celle de l'inversion du sujet dans une relative n'atteindra jamais une couverture de 100% (et sera probablement bien inférieure).

## 4 Résultats pour l'inversion du sujet

Toutes les expériences utilisent les corpus arborés SUD dans sa version 2.13. Notre méthode étant indépendante des langues étudiées, nous avons extrait des règles d'accord et d'ordre pour plusieurs langues ayant un treebank en dépendance. Dans ce résumé, nous nous limitons à exposer quelques règles positives pour l'ordre du sujet en français (Table 1) qui servent à évaluer nos résultats. Notre méthode peut contribuer à la recherche de règles pour des langues peu décrites, mais aussi pour des langues bien décrites où certaines généralisations ou certains cas particuliers ont pu nous échapper. Le code pour reproduire les expériences est disponible en ligne<fnref n="4" /> ainsi qu'un outil permettant de visualiser les résultats sur différents corpus<fnref n="5" />.

La règle la plus saillante pour l'inversion du sujet, ainsi que la deuxième et quatrième, indiquent que les sujets dans les incises (PARATAXIS:INSERT), dans une structure de discours rapporté (ex : "La route sera longue, prévient le représentant du pape."), sont toujours inversés. Bien entendu, ces règles montrent que l'extraction dépend de ce qui a été annoté : le treebank du français utilisé mentionne explicitement les propositions incises, en les distinguant des autres cas de parataxe.

La cinquième règle capture l'exemple privilégié dans ce résumé : être dans une relative (GOV.DEEP_REL=MOD@RELCL) déclenche à un certain degré l'inversion du sujet. On sait qu'il s'agit d'un sujet nominal car il est déterminé (GRANDCHILDREN.REL_SYNT=DET). Avoir capturé

<footnote n="4">4. https://github.com/FilippoC/grex-lrec-coling-2024</footnote>

<footnote n="5">5. https://autogramm.github.io/grex-lrec-coling-2024</footnote>
<table><thead><tr><th>P de la règle</th><th>λ</th><th>couverture</th><th>précision</th></tr></thead><tbody><tr><td>govrel_synt=parataxis:insert,grandparentikt=before_gov</td><td>0,009</td><td>24,9</td><td>100</td></tr><tr><td>govrel_synt=parataxis:insert</td><td>0,007</td><td>24,9</td><td>100</td></tr><tr><td>grandchildren.rels_synt=det,grandparentikt=before_gov</td><td>0,005</td><td>34,1</td><td>9,7</td></tr><tr><td>gov.VerbForm=Fin,govrel_synt=parataxis:insert</td><td>0,005</td><td>24,9</td><td>100</td></tr><tr><td>govrelans=mod@relcl,grandchildren.rels_synt=det</td><td>0,004</td><td>16,8</td><td>23,7</td></tr><tr><td>gov.VerbForm=Fin,siblings.upos=PRON</td><td>0,004</td><td>26,3</td><td>5,4</td></tr><tr><td>dep.reldans=subj@expl,gov.Person=3</td><td>0,003</td><td>13,2</td><td>10,4</td></tr><tr><td>dep.Person=3,dep.reldans=subj@expl</td><td>0,003</td><td>13,2</td><td>10,4</td></tr><tr><td>gov.VerbForm=Fin,grandparenttNumber=Sing</td><td>0,003</td><td>38,7</td><td>7,4</td></tr><tr><td>grandchildren.rels_synt=det,siblings.upos=PRON</td><td>0,003</td><td>17,8</td><td>9,5</td></tr></tbody></table>

TABLE 1 – Les dix règles d'ordre des mots les plus saillantes qui favorisent l'inversion du sujet par rapport à son gouverneur, extraites de la version 2.13 du treebank SUD GSD du français et classées en fonction de l'ordre donné par le classifieur linéaire. Bien que les règles négatives (qui prédisent l'ordre canonique sujet-verbe) sont intéressantes, nous incluons seulement les règles positives. Voir la section 3.1 pour l'interprétation de λ. La couverture et la précision sont exprimées en pourcentage.

cette règle représente un bon test de l'expressivité de notre méthode étant donné sa faible précision (23,7%) et couverture (16,8%).

La troisième règle, que nous avions préalablement sautée, englobe celles déjà mentionnées. Elle comprend un motif P très général signalant une tendance syntaxique : le sujet déterminé se place plus souvent après son gouverneur par rapport à la distribution positionnelle de base dans des pro-
positions subordonnées. La subordination est ici encodée par l'existence d'un gouverneur du verbe (grandparent.ikt=before_gov).

La sixième et la dixième règle correspondent au cas des sujets où le verbe possède un dépendant pronominal. Il s'agit en fait d'une situation où prédomine les relatives et les interrogatives (ex : “Que dit l'Église sur ce point délicat?”). Les règles présentent néanmoins une formulation inhabituelle et inattendue.

La septième règle, comme la huitième, capture le cas des sujets explétifs (SUBJ@EXPL), qui se trouvent être effectivement plus souvent post-verbaux dans les interrogatives (ex. "Ces chiffres sont-ils élevés?"; "Qu'est-ce qui va augmenter?").

On aura noté qu'on obtient souvent des règles similaires déclenchées par des motifs qui se recoupent. Autrement dit, nous obtenons une hiérarchie de résultats plus ou moins fins. Il serait possible de repérer de tels motifs et de les filtrer, mais il n'est pas forcément évident de décider automatiquement qu'elle est la formulation la plus naturelle pour l'utilisateur et une étude plus approfondie est nécessaire. À notre connaissance, les règles détaillées n'ont pas été capturées par des travaux précédents (Chaudhary et al., 2022).

Outre l'intérêt descriptif, les règles extraites ont aussi un intérêt comparatif. Il serait envisageable de réaliser des études contrastives entre plusieurs langues ou entre plusieurs corpus pour repérer les motifs saillants d'une langue ou d'un corpus par rapport à d'autres. La comparaison de motifs entre plusieurs langues ou familles de langues permettrait aussi de faire de la typologie quantitative avec un niveau de description plus fin que d'habitude. Par exemple, il rendrait possible non seulement de comparer l'ordre des constituants majeurs, mais aussi de comparer la distribution complète des sujets
dans une famille de langue. Ces expériences prometteuses requièrent des études spécifiques et sont
hors portée de ce travail.

5 Limitations

Les règles extraites dépendent du schéma d'annotation, de la nature du corpus et de sa qualité. Ainsi, quelques motifs extraits expriment des propriétés du corpus ou des décisions théoriques, plutôt que des règles de grammaire à proprement parler. Nous sommes aussi limités par ce qui est effectivement annoté et nos règles sont donc circonscrites à la syntaxe de surface, c'est-à-dire aux règles de bonne formation de l'arbre syntaxique (règles d'accord) et aux règles de correspondance entre l'arbre et la chaîne linéaire (règle d'ordre des mots).

En outre, certains résultats observés montrent des préférences d'usage de la langue, et non des règles de grammaire. Par exemple, on note une tendance à l'accord du verbe avec son objet, du fait que les objets singuliers sont significativement appariés à des sujets singuliers (de même pour les pluriels). À l'inverse, la règle d'accord d'un participe passé avec son objet lorsque celui-ci le précède n'a pas été retrouvée, probablement parce que le pronom relatif *que* ne comporte pas de trait de nombre et de genre dans l'annotation (ce qui est par ailleurs un choix d'annotation tout à fait raisonnable si on s'en tient à l'annotation morphosyntaxique).

6 Conclusion

Nous proposons une nouvelle méthode d'extraction de règles grammaticales à partir de corpus
arborés. Notre approche est fondée sur (1) une définition formelle de ce qu'est une règle grammaticale
syntaxique et (2) l'utilisation d'un modèle linéaire de classification pour extraire et classer les règles
via le chemin de régularisation. De plus, nous avons réussi à montrer avec notre analyse qu'il est
important d'étendre l'espace de recherche pour augmenter l'expressivité des règles et pour capturer
des phénomènes linguistiques qui sont hors de portée des travaux précédents (Chaudhary et al., 2020,
2022; Blache et al., 2016). Notre méthode est également mieux adaptée à la fouille de règles.

Nous espérons aussi, avec ce travail, contribuer à l'élaboration de grammaires descriptives et aussi de
contribuer au rapprochement entre le TAL ou la Linguistique Computationnelle (CL) et la linguistique
théorique, ainsi qu'entre le TAL/CL et la linguistique de terrain.

Références

ACHEN C. H. (2005). Let's put garbage-can regressions and garbage-can probits where they belong. *Conflict Management and Peace Science*, **22**(4), 327–339.

BACH F., JENATTON R., MAIRAL J., OBOZINSKI G. et al. (2012). Optimization with sparsity-inducing penalties. *Foundations and Trends® in Machine Learning*, **4**(1), 1–106.

BERTRAND Q., KLOPFENSTEIN Q., BANNIER P.-A., GIDEL G. & MASSIAS M. (2022). Beyond 11 : Faster and better sparse models with skglm. In *NeurIPS*.
BLACHE P., RAUZY S. & MONTCHEUIL G. (2016). MarsaGram : an excursion in the forests of parsing trees. In *Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16)*, p. 2336–2342, Portorož, Slovenia : European Language Resources Association (ELRA).

BRESNAN J., CUENI A., NIKITINA T. & BAAYEN R. (2004). Predicting the dative alternation. *Cognitive foundations of interpretation*.

CHAUDHARY A., ANASTASOPOULOS A., PRATAPA A., MORTENSEN D. R., SHEIKH Z., TS-VETKOV Y. & NEUBIG G. (2020). Automatic extraction of rules governing morphological agreement. In *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 5212–5236, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.emnlp-main.422.

CHAUDHARY A., SHEIKH Z., MORTENSEN D. R., ANASTASOPOULOS A. & NEUBIG G. (2022). *Autolex : An automatic framework for linguistic exploration*.

DE MARNEFFE M.-C., MANNING C. D., NIVRE J. & ZEMAN D. (2021). Universal dependencies. *Computational linguistics*, **47**(2), 255–308.

EFRON B., HASTIE T., JOHNSTONE I. & TIBSHIRANI R. (2004). Least angle regression. *Annals of Statistics*.

GERDES K., GUILLAUME B., KAHANE S. & PERRIER G. (2018). Sud or surface-syntactic universal dependencies : An annotation scheme near-isomorphic to ud. In *Universal Dependencies Workshop (UDW)*.

GUILLAUME B., DE MARNEFFE M.-C. & PERRIER G. (2019). Conversion et améliorations de corpus du français annotés en Universal Dependencies. *Revue TAL : traitement automatique des langues*, **60**(2), 71–95. HAL : hal-02267418.

MARKOWITZ H. (1952). Portfolio selection. *Journal of Finance*.

MEL'ČUK I. (1988). *Dependency Syntax : Theory and Practice*. State University of New York Press.

OSBORNE M. R., PRESNELL B. & TURLACH B. A. (2000). On the lasso and its dual. *Journal of Computational and Graphical statistics*, **9**(2), 319–337.

SHALEV-SHWARTZ S. & BEN-DAVID S. (2014). *Understanding machine learning : From theory to algorithms*. Cambridge university press.

THUILIER J. (2012). *Contraintes préférentielles et ordres des mots en français*. Thèse de doctorat, Paris 7. Dirigée par Laurence Danlos. Laurence et Benoît Crabbé. Linguistique théorique, descriptive et automatique.
# SEC : contexte émotionnel phrastique intégré pour la reconnaissance émotionnelle efficiente dans la conversation

Barbara Gendron¹, ² Gaël Guibon¹

(1) LORIA, Université de Lorraine, CNRS

(2) Université du Luxembourg

prénom.nom@loria.fr

## RÉSUMÉ

L'essor des modèles d'apprentissage profond a apporté une contribution significative à la reconnaissance des émotions dans les conversations (ERC). Cependant, cette tâche reste un défi important en raison de la pluralité et de la subjectivité des émotions humaines. Les travaux antérieurs sur l'ERC fournissent des modèles prédictifs utilisant principalement des représentations de la conversation basées sur des graphes. Dans ce travail, nous proposons une façon de modéliser le contexte conversationnel que nous incorporons à une stratégie d'apprentissage de métrique, avec un processus en deux étapes. Cela permet d'effectuer l'ERC dans un scénario de classification flexible et d'obtenir un modèle léger et efficace. En utilisant l'apprentissage de métrique à travers une architecture de réseau siamois, nous obtenons un score de macroF1 de 57,71% pour la classification des émotions dans les conversations sur le jeu de données DailyDialog, ce qui surpasse les travaux connexes. Ce résultat état-de-l'art est prometteur en ce qui concerne l'utilisation de l'apprentissage de métrique pour la reconnaissance des émotions, mais est perfectible au regard du microF1 obtenu.

## ABSTRACT

### Context-Aware Metric Learning for Efficient Emotion Recognition in Conversation

The advent of deep learning models has made a considerable contribution to the achievement of Emotion Recognition in Conversation (ERC). However, this task still remains an important challenge due to the plurality and subjectivity of human emotions. Previous work on ERC provides predictive models using mostly graph-based conversation representations. In this work, we propose a way to model the conversational context that we incorporate into a metric learning training strategy, with a two-step process. This allows to perform ERC in a flexible classification scenario and to end up with a lightweight yet efficient model. Using metric-learning through a Siamese Network architecture, we achieve 57.71% in macroF1 score for emotion classification in conversation on DailyDialog dataset, which outperforms the related work. This state-of-the-art result is promising regarding the use of metric-learning for emotion recognition, yet perfectible compared to the microF1 score obtained.

**MOTS-CLÉS** : apprentissage profond, reconnaissance d'émotions en conversation, apprentissage de métrique.

**KEYWORDS:** deep learning, emotion recognition in conversation, metric learning.

<figure><img src="image_81.png" /></figure>
# 1 Introduction

La communication médiée par ordinateur (CMO) est en constante évolution et de nouveaux moyens de communication apparaissent régulièrement. Avec l'avènement des agents conversationnels, il devient nécessaire de détecter les émotions au sein d'une conversation. Bien que plusieurs modalités soient désormais prises en compte dans le processus de communication, la modalité textuelle reste essentielle pour une communication quotidienne rapide et facile, par le biais d'outils comme les applications de messagerie ou les médias sociaux. La modalité textuelle est toutefois ambiguë, car elle ne préserve pas le contexte extra-linguistique présent par exemple dans les conversations dyadiques. L'une des principales ambiguïtés est l'état émotionnel de l'orateur, souvent mal interprété par les humains à travers des messages courts et non polis. Cela motive la reconnaissance d'émotions en conversation (Emotion Recognition in Conversation, ERC) qui vise non seulement à l'identification des émotions dans les messages, mais aussi à la prise en compte du contexte conversationnel pour reconnaître les émotions. L'ERC s'est révélée être un défi, notamment en ce qui concerne la représentation du contexte (Ghosal et al., 2021). Récemment, les modèles multimodaux et les approches basées sur les graphes se sont multipliés. Ils représentent souvent le contexte conversationnel à travers un profil des locuteurs, ce qui est performant mais moins efficace, en plus de dépendre des étiquettes émotionnelles. Les approches existantes sont principalement supervisées et confrontées à un fort déséquilibre des étiquettes en raison de la rareté de certaines émotions.

Dans cet article, nous adressons ces deux défis en incorporant le contexte conversationnel dans un scénario d'apprentissage de métrique (que l'on désignera par *metric learning*), tout en contrôlant le déséquilibre des données de plusieurs façons. Dans notre cas, afin de rendre notre modèle utilisable pour d'autres émotions que les 6 émotions primaires (Ekman et al., 1969), nous n'utilisons pas l'ap-prentissage contrastif supervisé (Khosla et al., 2020) dans notre méthode. L'apprentissage de métrique permet justement de s'abstraire d'une dépendance aux définitions strictes des émotions, ce qui se révèle indispensable pour des émotions fines. Pour cela, nous mettons à jour le modèle en utilisant à la fois les prédictions d'étiquettes isolées (fonction de perte d'entropie croisée), et l'attribution d'étiquettes contextuelles relatives (fonction de perte contrastive). Ce processus en deux étapes est assez simple pour des énoncés isolés. Cependant, à notre connaissance, la représentation contextuelle par apprentissage contrastif pour l'ERC n'a pas encore été utilisée. Ceci représente notre principale contribution puisque nous présentons un modèle qui peut atteindre des performances compétitives par rapport à l'état-de-l'art tout en étant utilisable avec de nouvelles étiquettes d'émotions. Ainsi, notre modèle peut être appliqué et adapté dans de multiples contextes nécessitant la reconnaissance d'émotions à différents niveaux de granularité.

Notre principale contribution réside dans le développement d'une stratégie de *metric learning* pour la reconnaissance d'émotions en utilisant le contexte conversationnel. Le modèle présenté exploite des plongements lexicaux à l'échelle de la phrase et déploie de l'attention à l'aide d'un Transformer (Vaswani et al., 2017; Devlin et al., 2019) pour obtenir une représentation contextuelle de chaque tour de parole (que nous désignerons également par "énoncés" dans ce qui suit). Nous utilisons ici des réseaux siamois (Koch et al., 2015) mais l'approche peut être adaptée à n'importe quel modèle de *metric learning*. Nous démontrons en outre que notre approche est plus performante que certains des derniers grands modèles de langage (Large Language Models, LLMs) tels que les versions allégées de Falcon (Penedo et al., 2023) ou LLaMA 2 (Touvron et al., 2023). En outre, notre méthode est efficace dans le sens où elle implique des modèles légers, adaptables et rapidement entraînables, qui donnent des scores état-de-l'art sur DailyDialog en macroF1 avec 57.71% et des résultats satisfaisants en microF1 avec 57.75%.
Dans les sections suivantes, nous passons d'abord en revue les travaux relatifs à l'ERC (Section 2). Nous présentons ensuite notre méthodologie (Section 3) et décrivons le dispositif expérimental que nous utilisons (Section 4). Nous évaluons ensuite nos modèles par rapport à une référence sans contexte conversationnel et aux modèles état-de-l'art pour l'ERC dans la section 5. Enfin, nous exposons nos principales conclusions ainsi que des perspectives pour les travaux futurs dans la section 6. Nous mettrons à disposition notre code et nos modèles sur GitHub et HuggingFace models.

## 2 État de l'art

ERC. Bien que la plupart des travaux en ERC tirent parti de la multimodalité (Song et al., 2022; Li et al., 2022; Hu et al., 2022), certains modèles ont été développés pour l'ERC sur des conversations textuelles uniquement, que ce soit des données multimodales limités au texte tels que IEMOCAP (Busso et al., 2008) ou MELD (Poria et al., 2019), ou sur des données uniquement textuelles comme dans DailyDialog (Li et al., 2017). L'apprentissage profond permet des progrès significatifs en ERC sur le texte, en commençant par l'utilisation de réseaux récurrents (RNN) (Rumelhart et al., 1985; Jordan, 1986) par Poria et al. (2017). D'autres travaux utilisant des structures récurrentes ont suivi, comme DialogueRNN (Majumder et al., 2019; Ghosal et al., 2020). Ce modèle tire parti du mécanisme d'attention (Bahdanau et al., 2014) implémenté dans le Transformer (Vaswani et al., 2017). Les méthodes basées sur les graphes sont également efficaces comme le montre (Ghosal et al., 2019), non seulement en tant que telles, mais aussi en incluant des connaissances externes (Lee & Choi, 2021).

Les travaux existants en ERC s'appuient principalement sur l'évaluation de leur modèle en microF1 en excluant l'étiquette neutre (pas d'émotion), souvent majoritaire. Cependant, des travaux récents se passent de cette évaluation pour se concentrer uniquement sur la macroF1 (Pereira et al., 2023), tandis que d'autres ont considéré le coefficient de corrélation de Matthews comme une métrique adaptée à cette tâche (Guibon et al., 2021). Dans ce travail, nous nous concentrons sur DailyDialog, qui consiste en des conversations générées artificiellement par l'Homme sur les préoccupations de la vie quotidienne, avec un étiquetage des émotions au niveau du tour de parole. Liang et al. (2022) proposent un modèle basé sur un réseau neuronal de graphes (Graph Neural Network, GNN) et un champ aléatoire conditionnel (Conditional Random Field, CRF) qui atteint 64,01% en microF1.

Bien qu'il soit connu pour ne pas fournir les meilleures performances par rapport aux approches d'apprentissage frugal (Dumoulin et al., 2021), le *metric learning* permet une meilleure généralisation grâce à un entraînement plus robuste (Finn et al., 2017; Antoniou et al., 2019), ce qui est particulièrement adapté à la détection d'émotions humaines complexes et variées (Plutchik, 2001).

**Metric learning.** Hospedales et al. (2022) expliquent que le méta-apprentissage consiste en un méta-optimiseur qui décrit les mises à jour du méta-apprenant, une méta-représentation qui stocke les connaissances acquises et un méta-objectif orienté vers la tâche souhaitée. Cette configuration basée sur l'optimisation fournit des algorithmes complets souvent basés sur des scénarios épisodiques (Ravi & Larochelle, 2016; Finn et al., 2017; Mishra et al., 2017) qui reflètent l'idée d'"apprendre à apprendre". Mais cela implique des calculs de gradient au second ordre, ce qui est coûteux. Des solutions palliatives comme la différenciation implicite (Lorraine et al., 2020) impliquent toujours un compromis entre performance et coût mémoire (Hospedales et al., 2022). C'est pourquoi des variantes sont apparues, telles que le *metric learning*, dont le méta-objectif est l'apprentissage de la méta-représentation elle-même. Par exemple, les réseaux siamois (Koch et al., 2015) tirent parti du partage des paramètres entre des sous-réseaux identiques pour apprendre une distance entre les
données. Les réseaux de relations (Relation Networks, Sung et al. (2018)) considèrent également une métrique de distance, s'écartant de l'approche euclidienne. Les réseaux de correspondance (Matching Networks, Vinyals et al. (2016)) exploitent des exemples d'apprentissage pour identifier les plus proches voisins pondérés. Les réseaux prototypiques (Prototypical Networks, Snell et al. (2017)) calculent les représentations moyennes des classes et les comparent avec la similarité cosinus. Son adaptation pour l'ERC en apprentissage frugal a commencé à partir de Guibon et al. (2021).

Dans ce travail, nous utilisons un réseau siamois. Ce modèle à l'architecture simple est facilement contrôlable et évolutif, mais on pourrait tout à fait adapter l'approche à des structures plus complexes. Les réseaux siamois ont été utilisés en TAL pour la détection d'intentions dans le texte (Ren & Xue, 2020), en vision par ordinateur pour la reconnaissance faciale (Hayale et al., 2023) et dans l'apprentissage de représentations complexes (Jin et al., 2021).

# 3 Méthodologie

Nous utilisons le *metric learning* pour l'apprentissage relatif des émotions, ce qui permet d'extraire des méta-informations des données. Notre réseau siamois comporte trois sous-réseaux identiques, dont les sorties sont comparées à l'aide de la fonction de coût par triplet (Schultz & Joachims, 2003), dénommée ci-après triplet loss. Initialement appliquée aux problèmes de vision par ordinateur (Chenchik et al., 2010; Schroff et al., 2015), la triplet loss est définie sur un triplet d'échantillons de données $(a, p, n)$ de sorte que si $a$ et $p$ appartiennent à la même classe et $n$ à une classe différente, alors :

$$ \mathcal{L}(a, p, n) = \max \{d(a, p) - d(a, n) + \text{marge}, 0\} $$

où le paramètre marge est un nombre strictement positif.

En considérant la triplet loss, plusieurs stratégies s'offrent à nous : récupérer les triplets les plus difficiles, lorsque le positif est loin de l'ancre, tandis que l'ancre est proche du négatif; ou encore ignorer les triplets les plus faciles, c'est-à-dire lorsque le positif est plus proche de l'ancre. Compte tenu de la taille limitée de nos données, nous abordons la stratégie globale en considérant chaque triplet. Bien que la triplet loss puisse être utilisée dans plusieurs stratégies, nous n'abordons la stratégie globale qu'en considérant chaque triplet dans nos données, en raison de leur taille limitée.

**Représentations isolées.** L'objectif de nos expériences étant de caractériser la contribution du contexte conversationnel à la prédiction des émotions dans le cadre d'un apprentissage contrastif, nous avons développé, dans un premier temps, un modèle sur des énoncés isolés. Il s'agit formellement de prédire l'émotion des énoncés indépendamment de leur contexte. Pour ce faire, nous considérons d'abord une projection pour chaque mot de l'énoncé vers sa représentation FastText associée (Bojanowski et al., 2017). À partir de ces plongements lexicaux, les triplets $(a, p, n)$ susmentionnés sont échantillonnés aléatoirement et donnés en entrée au réseau siamois, dont le sous-réseau s'améliore dans la prédiction des émotions au fur et à mesure de la rétro-propagation de la triplet loss.

**Représentations contextuelles.** Dans le cas contextuel, nous construisons des représentations d'énoncés contextuels à partir d'un encodage de type BERT (Devlin et al., 2019). Les plongements lexicaux utilisés sont à l'échelle de la phrase et non du mot car ils fournissent des représentations d'énoncés plus légères. Une fois que le dialogue est représenté avec la série de plongements pré-entraînés qui lui est associée, ces sorties sont concatenées pour former une représentation du dialogue, et les informations contextuelles sont prises en compte en déployant l'attention sur elles. Concrètement, une couche
d'encodeur de Transformer est appliquée aux plongements gelés concaténés. Cette représentation contextuelle du dialogue est ensuite divisée au niveau des marqueurs [SEP] pour aboutir à des représentations contextuelles au niveau de l'énoncé, sur lesquelles on prédit l'émotion. Afin d'adapter les représentations contextuelles des énoncés à l'objectif de prédiction des émotions, nous ajoutons un classificateur d'émotions pré-entraîné sur les données d'entraînement de DailyDialog, qui participe également à la rétro-propagation. En parallèle, les représentations contextuelles sont optimisées selon l'objectif lié à la triplet loss. Ceci est illustré en figure 1.

Ce scénario permet l'apprentissage des émotions individuelles et relatives, de telle sorte que chaque phase d'apprentissage renforce l'autre. Grâce à ce cadre de méta-apprentissage, des méta-informations sur les émotions sont extraites, et nous pouvons nous attendre à ce que ce modèle soit capable de réaliser une classification pertinente sur de nouvelles étiquettes en apprentissage frugal.

<figure><img src="image_82.png" /><figcaption>FIGURE 1 – Trois principales étapes de l'entraînement pour la prédiction d'émotions en contexte. Les fonctions de coût sont toutes deux rétro-propagées afin d'améliorer progressivement l'encodeur.</figcaption></figure>

# 4 Protocole expérimental

**Données.** Toutes les expériences ont été menées sur DailyDialog (Li et al., 2017) qui fournit 13 118 dialogues sur la vie quotidienne avec un étiquetage des émotions au niveau de l'énoncé. Ce jeu de données est relativement petit, ce qui permet de manipuler les entrées facilement et d'exécuter rapidement des tests. Il existe six étiquettes émotionnelles (colère, dégoût, peur, joie, tristesse et surprise) et une étiquette neutre. Pour la prédiction des émotions, l'évaluation est effectuée uniquement sur les étiquettes émotionnelles conformément aux travaux antérieurs (Ghosal et al., 2021; Zhong et al., 2019). Nous utilisons les sous-ensembles originaux (entraînement, validation et test) de (Li et al., 2017). Les principales caractéristiques de DailyDialog sont données table 1.

<table><caption>TABLE 1 – Statistiques de DailyDialog (Li et al., 2017). Labels* exclut l'étiquette neutre.</caption><thead><tr><td>Langue</td><td>Type</td><td>Max Msg/Conv</td><td>Moy Msg/Conv</td><td>Labels</td><td>Labels*</td><td>Nb. Conv</td></tr></thead><tbody><tr><td>Anglais</td><td>Artificiel</td><td>35</td><td>8</td><td>7</td><td>6</td><td>13 118</td></tr></tbody></table>

**Spécificités du modèle.** Pour le modèle avec énoncés isolés, nous considérons deux types de sous-réseaux : les couches linéaires simples et les couches récurrentes à mémoire court et long terme (Long
*Short-Term Memory*, LSTM, Hochreiter & Schmidhuber (1997)). Dans le cas contextuel, le sous-réseau est un encodeur de Transformer. Nous avons utilisé trois modèles de Transformers pré-entraînés au niveau de la phrase disponibles dans la bibliothèque *sentence transformers*<fnref n="1" /> : MPNet (Song et al., 2020), MiniLM (Wang et al., 2020) et RoBERTa (Liu et al., 2019).

**Spécificités de l'entraînement.** Que ce soit pour le modèle avec énoncés isolés ou pour le modèle contextuel, la prédiction de l'émotion est au niveau de l'énoncé. Les triplets sont donc toujours des triplets d'énoncés. Cela occasionne un problème d'équilibre des classes comme le montre la distribution des émotions de DailyDialog figure 3. Ainsi, le rééquilibrage des classes induit par l'échantillonnage des triplets selon une distribution uniforme n'atténue pas suffisamment les biais pendant l'apprentissage et empêche la fonction de coût de converger. Nous avons mis en œuvre un échantillonneur pondéré par l'inverse des fréquences des étiquettes afin de tenir compte de la rareté de certaines étiquettes telles que *fear* (peur) ou *disgust* (dégoût).

**Évaluation quantitative.** Nous considérons à la fois la performance et la pertinence de l'entraînement afin que bénéficier des capacités de généralisation du méta-apprentissage. Ainsi, nous avons choisi, en plus des mesures de performance habituelles, une métrique très exigeante : le coefficient de corrélation de Matthews (MCC) (Cramér, 1946). Il mesure la corrélation de Pearson (Pearson, 1895) entre classe prédite et classe réelle. Le MCC est défini dans (Matthews, 1975) comme suit :

$$MCC = \frac{TP/N - S \times P}{\sqrt{PS(1-S)(1-P)}} \quad (1)$$

**Comparaison avec les LLMs.** Afin de mettre en perspective les résultats de nos modèles isolés et contextuels, nous comparons nos modèles avec des LLMs état-de-l'art, à savoir Llama2 (Touvron et al., 2023) et Falcon (Penedo et al., 2023). Les deux sont considérés dans leur version adaptée aux instructions (instruction fine-tuning) et évalués en génération sur un seul essai (zero-shot). Nous avons développé une requête (cf. fig. 2, prompt en anglais) demandant une prédiction sur le dernier énoncé de chaque dialogue du jeu de test de DailyDialog. Les requêtes sont conçues de sorte à ce que le modèle ne génère qu'une seule étiquette. La requête est la même pour chaque modèle du même type (LlamaMA ou Falcon). Il est difficile de trouver une bonne requête pour Falcon car le modèle génère *happiness* (joie) sur l'ensemble des données, à l'exception d'un dialogue.

<figure><img src="image_83.png" /><figcaption>(a) Requête utilisée pour Llama2</figcaption></figure>

<figure><img src="image_84.png" /><figcaption>(b) Requête utilisée pour Falcon</figcaption></figure>

<caption>FIGURE 2 – Requêtes pour Llama2 et Falcon</caption>

<footnote n="1">1. https://www.sbert.net/</footnote>
# 5 Résultats

<table><caption>TABLE 2 – Résultats en ERC sur DailyDialog, en utilisant le jeu de test de l’article d’origine. DRNN réfère à DialogueRNN. L’astérisque (*) indique l’exclusion de l’étiquette neutre.</caption><thead><tr><th>Nom du modèle</th><th>macroF1*</th><th>microF1*</th><th>MCC</th></tr></thead><tbody><tr><td colspan="4">Modèles état-de-l'art en ERC</td></tr><tr><td>CNN+cLSTM (Poria et al., 2017)</td><td>-</td><td>50.24</td><td>-</td></tr><tr><td>KET (Zhong et al., 2019)</td><td>-</td><td>53.37</td><td>-</td></tr><tr><td>COSMIC (Ghosal et al., 2020)</td><td>51.05</td><td>58.48</td><td>-</td></tr><tr><td>RoBERTa (Ghosal et al., 2020)</td><td>48.20</td><td>55.16</td><td>-</td></tr><tr><td>Rpe-RGAT (Ishiwatari et al., 2020)</td><td>-</td><td>54.31</td><td>-</td></tr><tr><td>Glove-DRNN (Ghosal et al., 2021)</td><td>41.80</td><td>55.95</td><td>-</td></tr><tr><td>roBERTa-DRNN (Ghosal et al., 2021)</td><td>49.65</td><td>57.32</td><td>-</td></tr><tr><td>CNN (Ghosal et al., 2021)</td><td>36.87</td><td>50.32</td><td>-</td></tr><tr><td>DAG-ERC (Shen et al., 2021)</td><td>-</td><td>59.33</td><td>-</td></tr><tr><td>TODKAT (Zhu et al., 2021)</td><td><u>52.56</u></td><td>58.47</td><td>-</td></tr><tr><td>SKAIG (Li et al., 2021)</td><td>51.95</td><td>59.75</td><td>-</td></tr><tr><td>Sentic GAT (Tu et al., 2022)</td><td>-</td><td>54.45</td><td>-</td></tr><tr><td>CauAIN (Zhao et al., 2022)</td><td>-</td><td>58.21</td><td>-</td></tr><tr><td>DialogueRole (Ong et al., 2022)</td><td>-</td><td>60.95</td><td>-</td></tr><tr><td>S+PAGE (Liang et al., 2022)</td><td>-</td><td><b>64.07</b></td><td>-</td></tr><tr><td>DualGAT (Zhang et al., 2023)</td><td>-</td><td><u>61.84</u></td><td>-</td></tr><tr><td>CD-ERC (Pereira et al., 2023)</td><td>51.23</td><td>-</td><td>-</td></tr><tr><td colspan="4">LLMs</td></tr><tr><td>Llama2-7b (Touvron et al., 2023)</td><td>09.70</td><td>24.92</td><td>0.08</td></tr><tr><td>Llama2-13b (Touvron et al., 2023)</td><td>22.26</td><td>43.37</td><td>0.15</td></tr><tr><td>Falcon-7b (Penedo et al., 2023)</td><td>07.54</td><td>42.75</td><td>0.01</td></tr><tr><td colspan="4">Notre approche</td></tr><tr><td>SentEmoContext</td><td><b>57.71</b></td><td>57.75</td><td><b>0.49</b></td></tr></tbody></table>

**Travaux connexes.** Le tableau 2 donne les résultats en ERC sur DailyDialog. On observe une lente progression depuis 2017 où Poria et al. (2017) propose d’évaluer en microF1 en excluant la classe neutre (majoritaire). Ce modèle est une première référence pour cette tâche, obtenant 50,24% en microF1. En revanche, le modèle état-de-l’art actuel atteint maintenant 64,07% en microF1 (Liang et al., 2022), ce qui représente une amélioration d’environ 14 points en 6 ans. Comme le montre la table 2, la communauté a suivi ce schéma d’évaluation. Cependant, nous pensons qu’il est important de prendre également en compte le macroF1, à l’exclusion de la classe majoritaire, car il montre la performance globale sur toutes les émotions. Certains travaux l’ont proposé à partir de 2020 (Ghosal et al., 2020), conduisant à un gain de 2,5 points en 3 ans. Cela renforce l’affirmation selon laquelle l’ERC est une tâche difficile.

**Notre modèle.** SentEmoContext obtient 57,75% en microF1, un résultat décent mais quelque peu modeste comparé aux travaux connexes. La table 2 donne la performance moyenne de notre modèle sur 10 exécutions. Notre modèle est état-de-l’art en macroF1 avec 57,71%, surpassant CD-ERC (Pereira et al., 2023) de 6,48 points, ce qui est considérable étant donné qu’ils ne se sont concentrés que sur
cette métrique, et TODKAT (Zhu et al., 2021) de 5,15 points. Nous évaluons également notre modèle en MCC multi-classe (Baldi et al., 2000) pour assurer sa pertinence, sans qu'elle soit comparable aux travaux connexes car ils ne donnent pas cette métrique. Il fournit ici un bon indicateur de la qualité de la classification, en minimisant l'effet des données hautement déséquilibrées des conversations. Étant donné que le MCC varie de -1 à 1, et que 0 indique le caractère aléatoire, un MCC de 0,49 indique que notre approche est à la fois équilibrée et précise en termes de prédictions.

Notre modèle est très performant car nous n'avons besoin que de 20 minutes par époque et nous l'entraînons en utilisant seulement 5 époques. Ceci dénote des approches existantes qui utilisent plusieurs flux par locuteur (Pereira et al., 2023), la modélisation graphique pour la représentation du contexte et des connaissances (Zhong et al., 2019; Li et al., 2021), ou d'autres représentations lourdes dans leur modèle (Liang et al., 2022). Notre modèle est stable avec un écart-type de seulement 0,01 en moyenne pour chaque métrique, ce qui renforce la qualité de cette approche efficace.

**Comparaison avec les classifieurs d'émotions au niveau de l'énoncé.** La table 3 montre les résultats de la classification directe des émotions sur les énoncés. Pour cette tâche, nous n'avons pris en compte que les 6 étiquettes d'émotion, en excluant complètement l'étiquette neutre. Ainsi, nous voulons déterminer la différence entre notre approche et la prédiction d'émotions isolées. Cela sert également d'étude d'ablation pour notre modèle SentEmoContext puisque cette étape fait partie de son entraînement. En table 3, nous voyons que notre modèle exploite le contexte conversationnel et le *metric learning* pour augmenter toutes les métriques. Notamment, la différence en termes de macroF1 montre l'importance de la *triplet loss* dans notre modèle. En effet, les classifieurs d'émotions sont entraînés en utilisant des lots équilibrés sur la distribution du jeu de données d'entraînement et une fonction de perte d'entropie croisée pondérée. Les résultats montrent que cela n'est pas suffisant pour traiter des données extrêmement déséquilibrées telles que des conversations.

<table><caption>TABLE 3 – Comparaison avec un classifieur d'émotions agissant au niveau du tour de parole.</caption><thead><tr><th>Nom du modèle</th><th>macroF1</th><th>microF1</th><th>MCC</th></tr></thead><tbody><tr><td colspan="4">Classifieur d'émotions pré-entrainé sur les tours de parole</td></tr><tr><td>all-MiniLM-L6-v2</td><td>20.22</td><td>33.11</td><td>0.40</td></tr><tr><td>all-mpnet-base-v2</td><td>14.43</td><td>32.90</td><td>0.37</td></tr><tr><td colspan="4">Notre approche</td></tr><tr><td>SentEmoContext</td><td><strong>57.71</strong></td><td><strong>57.75</strong></td><td><strong>0.49</strong></td></tr></tbody></table>

**LLMs.** Les résultats des LLMs sur un seul essai sont donnés en table 2. Ceux-ci servent d'indication sur la performance de tels modèles (allégés) en ERC. Même si ces modèles génératifs ne sont pas conçus pour cette tâche spécifique, ils réussissent toujours à surpasser les classifieurs d'émotions d'énoncés de la table 3, ce qui peut être considéré comme une manifestation des capacités émergentes des LLMs – *emerging abilities* (Srivastava et al., 2022).

**Facteur du déséquilibre des classes.** Alors que la table 1 montre les caractéristiques du jeu de données, elle omet la principale caractéristique des étiquettes d'émotions : un fort déséquilibre. En ERC, les principales difficultés sont la définition des étiquettes, du contexte mais aussi le déséquilibre qui limite l'apprentissage des émotions en contexte. La figure 3 montre la distribution des étiquettes dans DailyDialog, sans l'étiquette neutre. Étant donné que cette dernière est l'étiquette majoritaire et qu'elle est exclue des métriques d'évaluation par l'ensemble de la communauté ERC, le fait que même dans les étiquettes d'émotion les données soient aussi déséquilibrées s'avère être un défi et
<figure><img src="image_85.png" /><figcaption>FIGURE 3 – Distributions des étiquettes émotionnelles dans les sous-ensembles de DailyDialog.</figcaption></figure>

doit être abordé. Nous nous appuyons sur Guibon et al. (2023) pour traiter le déséquilibre en deux phases : tout d'abord, nous équilibrons les lots en fonction de la fréquence des étiquettes dans le jeu d'apprentissage. Ensuite, nous pondérons la fonction de perte d'entropie croisée du classificateur d'émotions en tenant compte du déséquilibre restant dans chaque lot. Ce travail traite également le déséquilibre en considérant des triplets, car nous éliminons alors le facteur de déséquilibre tout en utilisant les états cachés qui proviennent d'une représentation équilibrée. Nous pensons que cela explique en partie l'efficacité et l'efficience de notre modèle.

# 6 Discussion

**Limitations des LLMs.** La première limitation rencontrée avec les LLMs est la nécessité de GPUs à haute mémoire pour les tester. Ceci explique pourquoi en table 2 nous considérons seulement leurs versions légères. Alors que Llama2 7b et 13b ont donné des réponses dans un bon format, avec une seule étiquette, Falcon ne s'est pas comporté comme nous le souhaitions. Pour pallier ce problème, nous considérons la première émotion mentionnée dans la sortie. Il est également important de noter que nous n'avons pas voulu utiliser ChatGPT d'OpenAI car nous n'avons pas un contrôle clair sur la version du modèle, la taille et l'approche utilisée derrière l'API, mais aussi parce que nous voulions utiliser des systèmes open source pour pouvoir diffuser nos modèles à la communauté.

La fenêtre contextuelle constitue une autre limitation. En ERC, la taille du contexte est essentielle, mais avec les LLMs, l'ajout d'exemples dans la requête pour effectuer un apprentissage frugal prendrait beaucoup de place dans le contexte global, la requête faisant partie du contexte. Ceci explique notre décision de ne considérer que l'apprentissage en un seul essai pour les LLMs, même s'il conviendrait de considérer également l'apprentissage frugal sur cette tâche spécifique.

**Taille et efficacité du modèle.** Notre modèle est efficace. Il donne des résultats état-de-l'art en macroF1 et de bons résultats en microF1, alors qu'il s'entraîne relativement vite et ne nécessite pas beaucoup d'époques pour converger. Nous pensons que cette efficacité, ainsi que la mémoire limitée nécessaire à l'apprentissage, est due à la rétro-propagation en deux étapes et au fait que nous utilisons des représentations intégrées à l'énoncé avec des Transformers au niveau de la phrase. Ainsi, notre modèle peut traiter efficacement de longs contextes conversationnels avec un coût limité en mémoire. En outre, la table 4 montre la différence entre les modèles que nous avons utilisés, en termes de taille, de paramètres et de nombre de couches. Notre modèle est relativement petit si l'on considère les
<table><caption>TABLE 4 – Aperçu de la taille des modèles. Les modèles LLaMA sont deux versions de LLaMA 2. MiniLM et MPNet sont les mêmes que ceux présentés en table 3.</caption><thead><tr><th></th><th colspan="2">Transformers</th><th colspan="3">LLMs</th><th>Notre approche</th></tr></thead><tbody><tr><th>Modèle</th><td>MiniLM</td><td>MPNet</td><td>Llama2-7b</td><td>Llama2-13b</td><td>Falcon-7b</td><td>SentEmoContext</td></tr><tr><th>Tokens</th><td>1bn+</td><td>1bn+</td><td>2T</td><td>2T</td><td>1.5T</td><td>4M</td></tr><tr><th>Taille</th><td>80 MB</td><td>420 MB</td><td>13 GB</td><td>25 GB</td><td>15 GB</td><td>604,8 MB</td></tr><tr><th>Paramètres</th><td>22M</td><td>110M</td><td>7B</td><td>13B</td><td>7B</td><td>157M</td></tr></tbody></table>

avancées récentes et les travaux connexes en ERC, mais aussi par rapport aux LLMs.

**Représentation relative des étiquettes.** Notre approche apprend deux fois à partir des données, d'abord en utilisant un cadre supervisé, puis en tenant compte des distances relatives entre les représentations, en mettant à jour par la triplet loss. Cela permet d'utiliser notre modèle pour différents jeux de données de conversations avec différentes étiquettes. La seule exigence pour étendre la portée de ce modèle serait de considérer une autre stratégie d'échantillonnage des triplets en ignorant les étiquettes, telle que la stratégie batch-hard (Do et al., 2019).

# 7 Conclusion

Dans cet article, nous présentons notre modèle SentEmoContext issu d'une approche combinant la représentation au niveau de l'énoncé, le *metric learning* et les réseaux siamois à l'aide de la *triplet loss*. Ce modèle représente efficacement le contexte conversationnel, atteint un score état-de-l'art en macroF1 de 57.71%, et un microF1 satisfaisant de 57.75% en ERC sur DailyDialog. Nous proposons également d'utiliser le coefficient de corrélation de Matthew afin de mieux évaluer cette tâche.

Avec SentEmoContext, nous utilisons l'apprentissage contrastif avec un échantillonage pour limiter le déséquilibre des classes. Nous utilisons Sentence BERT pour minimiser la mémoire nécessaire tout en représentant l'ensemble du contexte conversationnel. Cela conduit à un apprentissage plus robuste et plus efficace qui ne nécessite pas beaucoup d'époques pour obtenir des résultats satisfaisants. Nous montrons également que les LLMs open source de taille modeste sont en retard en ERC, car cette tâche nécessite d'incorporer beaucoup de contexte dans la requête et n'est pas spécifiquement pertinente pour les modèles génératifs.

Dans nos travaux futurs, nous envisageons d'appliquer cette approche à des données conversationnelles proposant des étiquettes légèrement différentes, car notre modèle apprend les émotions de manière relative. Nous prévoyons donc de l'adapter à un cadre davantage lié au méta-apprentissage.

# Remerciements

Les expériences présentées dans cet article ont été réalisées sur le banc d'essai Grid'5000, soutenu par un groupement d'intérêt scientifique hébergé par Inria et comprenant le CNRS, RENATER et plusieurs universités ainsi que d'autres organisations (voir https://www.grid5000.fr).
Références

ANTONIOU A., EDWARDS H. & STORKEY A. (2019). How to train your maml. Seventh Interna-
tional Conference on Learning Representations, ICLR 2019.

BAHDANAU D., CHO K. & BENGIO Y. (2014). Neural machine translation by jointly learning to align and translate. *3rd International Conference on Learning Representations, ICLR 2015*, **1409**.

BALDI P., BRUNAK S., CHAUVIN Y., ANDERSEN C. & NIELSEN H. (2000). Assessing the accuracy of prediction algorithms for classification : An overview. *Bioinformatics* (*Oxford, England*), **16**, 412–24.

BOJANOWSKI P., GRAVE E., JOULIN A. & MIKOLOV T. (2017). Enriching word vectors with subword information. *Transactions of the Association for Computational Linguistics*, **5**, 135–146.
DOI: 10.1162/tacl_a_00051.

BUSSO C., BULUT M., LEE C.-C., KAZEMZADEH A., MOWER E., KIM S., CHANG J. N., LEE S. & NARAYANAN S. S. (2008). Iemocap : interactive emotional dyadic motion capture database. *Language Resources and Evaluation*, **42**(4), 335–359.

CHECHIK G., SHARMA V., SHALIT U. & BENGIO S. (2010). Large scale online learning of image similarity through ranking. *J. Mach. Learn. Res.*, **11**, 1109–1135.

CRAMÉR H. (1946). *Mathematical Methods of Statistics (PMS-9)*, Volume 9. Princeton : Princeton University Press. DOI : doi:10.1515/9781400883868.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota: Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423.

DO T.-T., TRAN T., REID I., KUMAR V., HOANG T. & CARNEIRO G. (2019). A theoretically sound upper bound on the triplet loss for improving the efficiency of deep distance metric learning. In *Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition*, p. 10404–10413.

DUMOULIN V., HOULSBY N., EVCI U., ZHAI X., GOROSHIN R., GELLY S. & LAROCHELLE H. (2021). A unified few-shot classification benchmark to compare transfer and meta learning approaches. In *Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 1)*.

EKMAN P., SORENSON E. R. & FRIESEN W. V. (1969). Pan-cultural elements in facial displays of emotion. DOI: https://doi.org/10.1126/science.164.3875.86.

FINN C., ABBEEL P. & LEVINE S. (2017). Model-agnostic meta-learning for fast adaptation of deep networks. In *Proceedings of the 34th International Conference on Machine Learning - Volume 70*, ICML’17, p. 1126–1135: JMLR.org.

GHOSAL D., MAJUMDER N., GELBUKH A., MIHALCEA R. & PORIA S. (2020). COSMIC : CCommonSense knowledge for eMotion identification in conversations. In *Findings of the Association for Computational Linguistics : EMNLP 2020*, p. 2470–2481, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.findings-emnlp.224.

GHOSAL D., MAJUMDER N., MIHALCEA R. & PORIA S. (2021). Exploring the role of context in utterance-level emotion, act and intent classification in conversations : An empirical study. In *Findings of the Association for Computational Linguistics : ACL-IJCNLP 2021*, p. 1435–1449, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.findings-acl.124.