<table><caption>TABLE 1 – Types d'entités présents dans les différents corpus</caption><thead><tr><th>MERLOT</th><th>EMEA</th><th>MEDLINE</th><th>E3C</th></tr></thead><tbody><tr><td>ANAT (4449)</td><td></td><td></td><td>ACTOR (427)</td></tr><tr><td>CHEM (1374)</td><td></td><td></td><td>Acquired_Abnormality (15)</td></tr><tr><td>Concept_Idea (2964)</td><td></td><td></td><td>Anatomical_Abnormality (25)</td></tr><tr><td>DEVI (1068)</td><td>ANAT (583)</td><td>ANAT (1499)</td><td>Bacterium (1)</td></tr><tr><td>DISO (4593)</td><td>CHEM (2482)</td><td>CHEM (1055)</td><td>BODYPART (659)</td></tr><tr><td>DOSE (928)</td><td>DEVI (170)</td><td>DEVI (128)</td><td>Cell_or_Molecular_Dysfunction (7)</td></tr><tr><td>Genes_Proteins (5)</td><td>DISO (1510)</td><td>DISO (2843)</td><td>Congenital_Abnormality (11)</td></tr><tr><td>Hospital (806)</td><td>GEOG (65)</td><td>GEOG (131)</td><td>Disease_or_Syndrome (374)</td></tr><tr><td>LIVB (3921)</td><td>LIVB (817)</td><td>LIVB (941)</td><td>EVENT (1100)</td></tr><tr><td>Localization (840)</td><td>OBJC (174)</td><td>OBJC (100)</td><td>Finding (178)</td></tr><tr><td>MEAS (5322)</td><td>PHEN (62)</td><td>PHEN (158)</td><td>Injury_or_Poisoning (24)</td></tr><tr><td>MODE (252)</td><td>PHYS (344)</td><td>PHYS (469)</td><td>Mental_or_Behavioral_Dysfunction (22)</td></tr><tr><td>PHEN (905)</td><td>PROC (952)</td><td>PROC (1750)</td><td>Neoplastic_Process (99)</td></tr><tr><td>PROC (8291)</td><td></td><td></td><td>Pathologic_Function (149)</td></tr><tr><td>TEMP (3940)</td><td></td><td></td><td>RML (508)</td></tr><tr><td></td><td></td><td></td><td>Sign_or_Symptom (179)</td></tr><tr><td></td><td></td><td></td><td>TIMEX3 (333)</td></tr><tr><td></td><td></td><td></td><td>Virus (1)</td></tr></tbody></table>

En appliquant l'active learning au traitement automatique des langues, se pose la question de l'unité documentaire considérée, et donc du découpage du texte. Même si les corpus sont naturellement découpés par document (sauf MEDLINE où chaque titre est un document séparé), il est plus courant dans l'active learning de considérer un découpage par phrase (Chen et al., 2015). En effet, toutes les phrases d'un document n'ont pas la même pertinence, et on peut préférer en sélectionner certaines et pas d'autres. De plus, les approches d'informativité se basent souvent sur les représentations et les prédicitions faites par le modèle pour chaque mot. Considérer les documents dans leur globalité pourrait donc noyer l'information que le modèle peut émettre à l'échelle des mots. C'est d'ailleurs ce qui encourage Radmard et al. (2021) à découper les corpus en n-grammes et évaluer l'informativité de chacun. Nous en restons à un découpage par phrases pour des raisons d'efficacité. Nous procédons donc à ce découpage pour MERLOT, EMEA et QuaeroFrenchMed, grâce à une expression régulière permettant une séparation aux ponctuations fortes et aux multiples sauts à la lignes.

**Stratégies de sélection** Dans ce travail, nous examinons et comparons plusieurs stratégies de sélection comme suit.

- random sélectionne aléatoirement des exemples.

- common Vocab identifie les 500 n-grammes les plus fréquents dans le corpus, puis trie les exemples selon le nombre de n-grammes fréquents qu'ils contiennent. Elle est inspirée de Zhao et al. (2020), qui l'appliquent à la tâche de traduction.

- diverse Vocab sélectionne un exemple de façon aléatoire, puis, itérativement, sélectionne l'exemple qui présente le plus de n-grams non déjà vus dans les exemples déjà sélectionnés. Elle est inspirée de Kirsch et al. (2019).

- diverse Pred sélectionne un exemple de façon aléatoire, puis, itérativement, sélectionne l'exemple qui présente le plus de types d'entités prédites, non déjà prédites dans les exemples précédemment sélectionnés.

- uncertainty_mean_min3 calcule les confiances du modèle pour chaque entité pré-dite<fnref n="3" />, puis trie les exemples selon la confiance moyenne croissante. Pour éviter les phrases « trop courtes », on restreint le choix aux exemples présentant plus de 3 entités prédites. Elle

<footnote n="3">3. Pour mieux tenir compte des entités imbriquées, notre modèle classifie chaque partie (chaque *span*) de l'exemple. Ainsi, ce sont les confiances en ces prédicitions qu'on moyenne sur l'exemple et qu'on trie.</footnote>
<figure><img src="image_65.png" /><figcaption>FIGURE 3 – Courbes d'évolution de $f_1^{\text{micro}}$ et $f_1^{\text{macro}}$ en fonction du nombre de mots annotés. Noter que les courbes ne s'arrêtent pas toutes à la même abscisse. En effet, les stratégies sélectionnent des séquences de tailles différentes. $\text{common\_vocab}+\text{diverse\_pred}$ désigne la concaténation des deux stratégies : chacune d'entre elles sélectionne 5 exemples.</figcaption></figure>
<table><caption>TABLE 2 – Performances relatives à 1000 mots selon $f_1^{\text{micro}}$ ($f_1^{\text{macro}}$).</caption><thead><tr><th rowspan="2">Stratégie</th><th colspan="6">Corpus</th></tr><tr><th>MERLOT</th><th>EMEA</th><th>MEDLINE</th><th>E3C</th><th></th></tr></thead><tbody><tr><td>random</td><td>0.76 (0.70)</td><td>0.83 (0.60)</td><td>0.81 (0.77)</td><td>0.56 (0.67)</td><td></td></tr><tr><td>common Vocab</td><td>0.80 (0.81)</td><td><strong>0.86</strong> (0.60)</td><td><strong>0.83</strong> (0.79)</td><td>0.79 (0.76)</td><td></td></tr><tr><td>diverse Vocab</td><td>0.69 (0.61)</td><td>0.74 (0.50)</td><td>0.78 (0.64)</td><td>0.76 (0.76)</td><td></td></tr><tr><td>diverse Pred</td><td>0.71 (0.58)</td><td>0.85 (0.61)</td><td>0.73 (0.60)</td><td>0.74 (0.81)</td><td></td></tr><tr><td>common Vocab+diverse Vocab</td><td><strong>0.87</strong> (0.86)</td><td>0.83 (0.54)</td><td>0.80 (0.69)</td><td><strong>0.82</strong> (0.80)</td><td></td></tr><tr><td>uncertainty Mean Min3</td><td>0.68 (0.56)</td><td>0.79 (0.51)</td><td>0.79 (0.68)</td><td>0.80 (0.71)</td><td></td></tr></tbody></table>

# 4 Résultats

De prime abord, nous remarquons que des performances raisonnables peuvent être atteintes avec peu de phrases annotées, même quand celles-ci sont tirées aléatoirement. Par exemple, 1000 mots tirés aléatoirement du corpus MERLOT (<1 % du corpus) et annotés sont suffisants pour atteindre 0,61 de score $f_1^{\text{micro}}$, soit 70 % du score atteint en entraînant le même modèle sur l’intégralité du corpus annoté. On observe ce phénomène dans toutes les applications similaires, mais il semble être accen- tué par la redondance particulière aux documents cliniques (Cohen et al., 2013; Searle et al., 2021). Effectivement, le corpus MEDLINE, composé de titres d’articles scientifiques (on peut donc penser qu’il est particulièrement peu redondant) présente une performance relative à 1000 mots de 77 %. De manière générale, nous observons que dans chaque graphique, une ou plusieurs stratégies ont une meilleure évolution que random. Cependant, il n’y a pas une stratégie qui semble la meilleure pour tous les corpus. La stratégie common vocab semble tout de même souvent efficace. Il est inté- ressant de voir qu’une simple concaténation des méthodes common vocab et diverse vocab peut dans certains cas avoir des meilleurs résultats que chacune d’elles séparément.

Nous observons par ailleurs que la stratégie uncertainty Mean Min3 qui est la plus adoptée dans la littérature (Chen et al., 2015; Shen et al., 2018) ne semble pas adaptée au contexte de peu de phrases annotées dans lequel nous nous plaçons (cf. partie 5).

Une grande majorité des travaux sur l'active learning (Chen et al., 2015; Shen et al., 2018; Liu et al., 2022; Radmard et al., 2021) font le choix de cadrer les graphiques d'évolution de performance sur la partie supérieure, afin de mieux visualiser l'écart entre les performances des différentes méthodes. Ici, nous faisons le choix de les cadrer entre 0 et 1, ce qui permet de voir le caractère marginal des améliorations obtenues grâce aux meilleures stratégies.

# 5 Discussion et perspectives

**Mesure de l'effort** Il est courant d'estimer l'effort de l'annotateur par le nombre de phrases ou de mots annotés. Mais certains types d'entités peuvent être plus difficiles à annoter que d'autres. Notamment, les stratégies d'informativité visent précisément à sélectionner les exemples ambigus et difficile à annoter. Aussi, une comparaison juste des stratégies de sélection prendrait-elle cet effort en compte. Fort et al. (2012) fournissent une modélisation de cet effort en fonction du schéma d'annotation. C'est donc une perspective d'amélioration que nous considérons.

Une meilleure estimation de l'effort d'annotation peut même guider les stratégies de sélection. En
<figure><img src="image_66.png" /><figcaption>FIGURE 4 – Comparaison à grande échelle des différentes stratégies sur MERLOT</figcaption></figure>

<table><caption>TABLE 3 – Comparaison du temps d'exécution moyen en secondes des différentes stratégies</caption><thead><tr><th rowspan="2">Stratégie</th><th colspan="4">Corpus</th></tr><tr><th>MERLOT</th><th>EMEA</th><th>MEDLINE</th><th>E3C</th></tr></thead><tbody><tr><td>common_vocab</td><td>&lt;1</td><td>&lt;1</td><td>&lt;1</td><td>&lt;1</td></tr><tr><td>diverse_vocab</td><td>3</td><td>2</td><td>2</td><td>&lt;1</td></tr><tr><td>diverse_pred</td><td>105</td><td>45</td><td>70</td><td>55</td></tr><tr><td>uncertainty_mean_min3</td><td>103</td><td>42</td><td>68</td><td>55</td></tr></tbody></table>

effet, certains travaux (Tomanek & Hahn, 2010; Wei et al., 2019) développent des stratégies qui visent à estimer non seulement la pertinence mais aussi le coût d'annotation de chaque exemple, pour ensuite les trier selon ce que Haertel et al. (2008) appellent « retour sur investissement ».

**Intérêt et budget d'annotation** La plupart des travaux sur l'active learning l'étudient dans toutes ses phases (Shen et al., 2018; Radmard et al., 2021). Par exemple, ces derniers l'évaluent pour un nombre de mots annotés allant jusqu'à 1 million, pour l'anglais et le chinois. En revanche, nous nous sommes intéressés au contexte plus naturel d'une centaine de phrases annotées, ce qui vaut entre une et deux heures de travail pour l'annotateur. Pour pouvoir comparer notre implémentation à celles de l'état de l'art, nous procédons à une simulation d'active learning sur MERLOT (le plus grand de nos corpus) en fixant le nombre de phrases à annoter à chaque itération à 250 (≈ 5 % du corpus). La figure 4 montre ainsi les courbes d'évolution, et l'on trouve en effet que common_vocab n'est plus très intéressante à grande échelle et uncertainty_mean_min3 devient plus intéressante dans ce cadre. Elle apporte, en effet, des amélioration similaires à celles obtenues par Liu et al. (2022) et Zhou et al. (2021) Ainsi, nous pouvons émettre l'hypothèse qu'une stratégie de combinaison dynamique qui passe progressivement d'une stratégie de représentativité à une stratégie d'informativité mériterait une attention particulière, dans un prochain travail.

**Temps d'attente** Le tableau 3 montre la moyenne de temps d'exécution d'une requête de sélection pour chaque stratégie, mesurées sur une carte GeForce GTX 1080 Ti (11 Go). On peut observer que les stratégies qui requièrent une inférence sur l'ensemble des données annotées (à savoir diverse_pred et uncertainty_mean_min3) sont les plus longues. Ce n'est pas une surprise, mais ce paramètre est très rarement mentionné dans les travaux sur l'active learning. Que ce soit en termes de temps d'attente ou d'impact carbone, l'amélioration des performances étant relativement limitée, il est pourtant permis de remettre en question leur utilisation, au profit de stratégies basées sur le vocabulaire, qui ne nécessitent pas d'être relancées à chaque itération.

**Classes rares** L'active learning a fait l'objet d'études pour améliorer la performance sur les classes
<figure><img src="image_67.png" /><figcaption>FIGURE 5 – Comparaison entre *random* et *diversegold* sur MERLOT</figcaption></figure>

rares (Zhu & Hovy, 2007). Nous avons examiné une stratégie supplémentaire, *diversegold* qui imite ce contexte. Elle sélectionne un exemple de façon aléatoire, puis, itérativement, cherche les phrases qui maximisent le nombre d'apparition de l'entité la plus rarement sélectionnée. Cette méthode cherche donc à représenter toutes les entités de manière équitable et donc à sur-représenter les types rares. Les résultats obtenus n'ont pas été encourageants. À titre d'exemple, la figure 5 montre les performances de cette stratégie, comparée à *random*, sur MERLOT (cf. tableau 1 pour la distribution des types d'entités).

**Stabilité** Enfin, remarquons que les variations du modèle *random* sont parfois plus fortes que celles des autres stratégies (corpus E3C, et dans une moindre mesure EMEA et MERLOT). Certaines sélections aléatoires peuvent conduire à de très mauvais résultats, ce qui n'est pas le cas des stratégies d'*active learning*, beaucoup plus stables. Ce point peut prendre de l'importance lorsque la campagne d'annotation utilise une technique de pré-annotation des textes à partir d'un modèle entraîné avec peu de données, pour faciliter le travail humain.

**Conclusion** Nous avons étudié cinq stratégies d'*active learning* pour la reconnaissance d'entités nommées dans quatre corpus médicaux en français. Nos résultats suggèrent que les stratégies de représentativité sont particulièrement intéressantes sur des petits corpus en terme de temps de calcul et de stabilité des performances.

# 6 Remerciements

Nous remercions le Service d'Informatique Biomédicale (SIBM) ainsi que l'équipe CISMeF du CHU de Rouen qui nous ont permis d'utiliser le corpus LERUDI pour cette étude.
Références

AMBATI V., VOGEL S. & CARBONELL J. (2011). Multi-strategy approaches to active learning for statistical machine translation. In *Proceedings of Machine Translation Summit XIII: Papers*, Xiamen, China.

BANNOUR N., WAJSBÜRT P., RANCE B., TANNIER X. & NÉVÉOL A. (2022). Privacy-preserving mimic models for clinical named entity recognition in French. *Journal of Biomedical Informatics*, **130**, 104073. DOI: 10.1016/j.jbi.2022.104073, HAL: hal-03655039.

BLOODGOOD M. & CALLISON-BURCH C. (2010). Bucking the trend : Large-scale cost-focused active learning for statistical machine translation. In *Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics*, p. 854–864, Uppsala, Sweden : Association for Computational Linguistics.

BRINKER K. (2003). Incorporating diversity in active learning with support vector machines. In *Proceedings of the Twentieth International Conference on International Conference on Machine Learning*, ICML’03, p. 59–66 : AAAI Press.

CAMPILLOS L., DELÉGER L., GROUIN C., HAMON T., LIGOZAT A.-L. & NÉVÉOL A. (2017). A French clinical corpus with comprehensive semantic annotations : development of the Medical Entity and Relation LIMSI annOtated Text corpus (MERLOT). *Language Resources and Evaluation*, **52**(2), 571–601. DOI: 10.1007/s10579-017-9382-y, HAL: hal-01631743.

CHEN C., PALMER A. & SPORLEDER C. (2011). Enhancing active learning for semantic role labeling via compressed dependency trees. In *Proceedings of 5th International Joint Conference on Natural Language Processing*, p. 183–191, Chiang Mai, Thailand : Asian Federation of Natural Language Processing.

CHEN J., SCHEIN A., UNGAR L. & PALMER M. (2006). An empirical study of the behavior of active learning for word sense disambiguation. In *Proceedings of the Human Language Technology Conference of the NAACL, Main Conference*, p. 120–127, New York City, USA : Association for Computational Linguistics.

CHEN Y., LASKO T. A., MEI Q., DENNY J. C. & XU H. (2015). A study of active learning methods for named entity recognition in clinical text. *Journal of Biomedical Informatics*, **58**, 11–18. DOI: https://doi.org/10.1016/j.jbi.2015.09.010.

CHENG Y., CHEN Z., LIU L., WANG J., AGRAWAL A. & CHOUDHARY A. (2013). Feedback-driven multiclass active learning for data streams. In *Proceedings of the 22nd ACM International Conference on Information and Knowledge Management*, CIKM ’13, p. 1311–1320, New York, NY, USA : Association for Computing Machinery. DOI: 10.1145/2505515.2505528.

CLAVEAU V. & KIJAK E. (2015). Stratégies de sélection des exemples pour l’apprentissage actif avec des champs aléatoires conditionnels. In *Actes de la 22e conférence sur le Traitement Automatique des Langues Naturelles. Articles longs*, p. 13–24, Caen, France : ATALA.

COHEN R., ELHADAD M. & ELHADAD N. (2013). Redundancy in electronic health record corpora : Analysis, impact on text mining performance and mitigation strategies. *BMC bioinformatics*, **14**, 10. DOI: 10.1186/1471-2105-14-10.

COHN D., GHAHRAMANI Z. & JORDAN M. (1994a). Active learning with statistical models. In G. TESAURO, D. TOURETZKY & T. LEEN, Éds., *Advances in Neural Information Processing Systems*, volume 7 : MIT Press.
COHN D. A., ATLAS L. E. & LADNER R. E. (1994b). Improving generalization with active learning. *Machine Learning*, **15**, 201–221.

CULOTTA A. & MCCALLUM A. (2005). Reducing labeling effort for structured prediction tasks. In *AAAI Conference on Artificial Intelligence*.

ECK M., VOGEL S. & WAIBEL A. (2005). Low cost portability for statistical machine translation based on n-gram frequency and TF-IDF. In *Proceedings of the Second International Workshop on Spoken Language Translation*, Pittsburgh, Pennsylvania, USA.

ERDMANN A., WRISLEY D. J., ALLEN B., BROWN C., COHEN-BODÉNÈS S., ELSNER M., FENG Y., JOSEPH B., JOYEUX-PRUNEL B. & DE MARNEFFE M.-C. (2019). Practical, efficient, and customizable active learning for named entity recognition in the digital humanities. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 2223–2234, Minneapolis, Minnesota : Association for Computational Linguistics. DOI: 10.18653/v1/N19-1231.

FORT K., NAZARENKO A. & ROSSET S. (2012). Modeling the complexity of manual annotation tasks : a grid of analysis. In *Proceedings of COLING 2012*, p. 895–910, Mumbai, India : The COLING 2012 Organizing Committee.

GEIFMAN Y. & EL-YANIV R. (2017). Deep active learning over the long tail. *CoRR*, abs/1711.00941.

GROUIN C., LAVERGNE T. & NÉVÉOL A. (2014). Optimizing annotation efforts to build reliable annotated corpora for training statistical models. In *Proceedings of LAW VIII - The 8th Linguistic Annotation Workshop*, p. 54–58, Dublin, Ireland : Association for Computational Linguistics and Dublin City University. DOI: 10.3115/v1/W14-4907.

HAERTEL R. A., SEPPI K. D., RINGGER E. K. & CARROLL J. L. (2008). Return on investment for active learning. In *Proceedings of the NIPS workshop on cost-sensitive learning*, volume 72 : Citeseer.

HOULSBY N., HUSZAR F., GHAHRAMANI Z. & LENGYEL M. (2011). Bayesian active learning for classification and preference learning. *CoRR*, abs/1112.5745.

JIANG Z., GAO Z., DUAN Y., KANG Y., SUN C., ZHANG Q. & LIU X. (2020). Camouflaged Chinese spam content detection with semi-supervised generative active learning. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 3080–3085, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.279.

KARAMCHETI S., KRISHNA R., FEI-FEI L. & MANNING C. (2021). Mind your outliers! investigating the negative impact of outliers on active learning for visual question answering. In *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 7265–7281, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.acl-long.564.

KIRSCH A., VAN AMERSFOORT J. & GAL Y. (2019). Batchbald : Efficient and diverse batch acquisition for deep bayesian active learning. *Advances in neural information processing systems*, **32**.

LEWIS D. D. & CATLETT J. (1994). Heterogeneous uncertainty sampling for supervised learning. In W. W. COHEN & H. HIRSH, Éds., *Machine Learning Proceedings 1994*, p. 148–156. San Francisco (CA) : Morgan Kaufmann. DOI: https://doi.org/10.1016/B978-1-55860-335-6.50026-X.
LEWIS D. D. & GALE W. A. (1994). A sequential algorithm for training text classifiers. In B. W. CROFT & C. J. VAN RIJSBERGEN, Éds., *SIGIR '94*, p. 3–12, London: Springer London.

LIU M., TU Z., ZHANG T., SU T., XU X. & WANG Z. (2022). Ltp: A new active learning strategy for crf-based named entity recognition. *Neural Process. Lett.*, **54**(3), 2433–2454. DOI: 10.1007/s11063-021-10737-x.

MAGNINI B., ALTUNA B., LAVELLI A., SPERANZA M. & ZANOLI R. (2021). The e3c project: European clinical case corpus. *Language*, **1**(L2), L3.

MARGATINA K., VERNIKOS G., BARRAULT L. & ALETRAS N. (2021). Active learning by acquiring contrastive examples. In *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 650–663, Online and Punta Cana, Dominican Republic: Association for Computational Linguistics. DOI: 10.18653/v1/2021.emnlp-main.51.

MARTIN L., MULLER B., SUÁ REZ P. J. O., DUPONT Y., ROMARY L., DE LA CLERGERIE É., SEDDAH D. & SAGOT B. (2020). CamemBERT: a tasty french language model. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*: Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.645.

MCCALLUM A. & NIGAM K. (1998). Employing em and pool-based active learning for text classification. In *Proceedings of the Fifteenth International Conference on Machine Learning*, ICML '98, p. 350–358, San Francisco, CA, USA: Morgan Kaufmann Publishers Inc.

MCCRAY A. T., BURGUN A. & BODENREIDER O. (2001). Aggregating umls semantic types for reducing conceptual complexity. *Studies in health technology and informatics*, **84**(0 1), 216.

MIRROSHANDEL S. A. & NASR A. (2011). Active learning for dependency parsing using partially annotated sentences. In *Proceedings of the 12th International Conference on Parsing Technologies*, p. 140–149, Dublin, Ireland: Association for Computational Linguistics.

NÉVÉOL A., GROUIN C., LEIXA J., ROSSET S. & ZWEIGENBAUM P. (2014). The quaero french medical corpus: A ressource for medical entity recognition and normalization. *Proc of BioTextMining Work*, p. 24–30.

RADMARD P., FATHULLAH Y. & LIPANI A. (2021). Subsequence based deep active learning for named entity recognition. In *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 4310–4321, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2021.acl-long.332.

REN P., XIAO Y., CHANG X., HUANG P.-Y., LI Z., GUPTA B. B., CHEN X. & WANG X. (2021). A survey of deep active learning. *ACM Comput. Surv.*, **54**(9). DOI: 10.1145/3472291.

ROY N. & MCCALLUM A. (2001). Toward optimal active learning through sampling estimation of error reduction. In *Proceedings of the Eighteenth International Conference on Machine Learning*, ICML '01, p. 441–448, San Francisco, CA, USA: Morgan Kaufmann Publishers Inc.

SCHEFFER T., DECOMAIN C. & WROBEL S. (2001). Active hidden markov models for information extraction. In F. HOFFMANN, D. J. HAND, N. ADAMS, D. FISHER & G. GUIMARAES, Éds., *Advances in Intelligent Data Analysis*, p. 309–318, Berlin, Heidelberg: Springer Berlin Heidelberg.

SCHEIN A. & UNGAR L. (2007). Active learning for logistic regression: An evaluation. *Machine Learning*, **68**, 235–265. DOI: 10.1007/s10994-007-5019-5.

SEARLE T., IBRAHIM Z., TEO J. & DOBSON R. (2021). Estimating redundancy in clinical text. *Journal of Biomedical Informatics*, **124**, 103938. DOI: https://doi.org/10.1016/j.jbi.2021.103938.
SENER O. & SAVARESE S. (2018). Active learning for convolutional neural networks: A core-set approach. In *International Conference on Learning Representations*.

SETTLES B. & CRAVEN M. (2008). An analysis of active learning strategies for sequence labeling tasks. In *Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing*, p. 1070–1079, Honolulu, Hawaii: Association for Computational Linguistics.

SHEN D., ZHANG J., SU J., ZHOU G. & TAN C.-L. (2004). Multi-criteria-based active learning for named entity recognition. In *Proceedings of the 42nd Annual Meeting on Association for Computational Linguistics*, ACL '04, p. 589–es, USA: Association for Computational Linguistics. DOI: 10.3115/1218955.1219030.

SHEN Y., YUN H., LIPTON Z. C., KRONROD Y. & ANANDKUMAR A. (2018). Deep active learning for named entity recognition. In *International Conference on Learning Representations*.

TANG M., LUO X. & ROUKOS S. (2002). Active learning for statistical natural language parsing. In *Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics*, p. 120–127, Philadelphia, Pennsylvania, USA: Association for Computational Linguistics. DOI: 10.3115/1073083.1073105.

TOMANEK K. & HAHN U. (2010). A comparison of models for cost-sensitive active learning. In *Coling 2010 : Posters*, p. 1247–1255.

WAJSBÜRT P. (2021). *Extraction and normalization of simple and structured entities in medical documents*. Theses, Sorbonne Université. HAL: tel-03624928.

WEI Q., CHEN Y., SALIMI M., DENNY J. C., MEI Q., LASKO T. A., CHEN Q., WU S., FRANKLIN A., COHEN T. et al. (2019). Cost-aware active learning for named entity recognition in clinical text. *Journal of the American Medical Informatics Association*, **26**(11), 1314–1322.

WU F., HUANG Y. & YAN J. (2017). Active sentiment domain adaptation. In *Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long Papers)*, p. 1701–1711, Vancouver, Canada: Association for Computational Linguistics. DOI: 10.18653/v1/P17-1156.

YU Y., KONG L., ZHANG J., ZHANG R. & ZHANG C. (2022). AcTune: Uncertainty-based active self-training for active fine-tuning of pretrained language models. In *Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, p. 1422–1436, Seattle, United States: Association for Computational Linguistics. DOI: 10.18653/v1/2022.nacl-main.102.

ZHAN X., WANG Q., HUANG K.-H., XIONG H., DOU D. & CHAN A. B. (2022). A comparative survey of deep active learning. *arXiv preprint arXiv:2203.13450*.

ZHANG S., GONG C., LIU X., HE P., CHEN W. & ZHOU M. (2022a). ALLSH: Active learning guided by local sensitivity and hardness. In *Findings of the Association for Computational Linguistics : NAACL 2022*, p. 1328–1342, Seattle, United States: Association for Computational Linguistics. DOI: 10.18653/v1/2022.findings-naacl.99.

ZHANG Z., STRUBELL E. & HOVY E. (2022b). A survey of active learning for natural language processing. In *Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing*, p. 6166–6190, Abu Dhabi, United Arab Emirates: Association for Computational Linguistics.

ZHAO Y., ZHANG H., ZHOU S. & ZHANG Z. (2020). Active learning approaches to enhancing neural machine translation. In *Findings of the Association for Computational Linguistics : EMNLP 2020*, p. 1796–1806, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.findings-emnlp.162.
ZHDANOV F. (2019). Diverse mini-batch active learning. CoRR, abs/1901.05954.

ZHOU B., CAI X., ZHANG Y., GUO W. & YUAN X. (2021). Mtaal: Multi-task adversarial active learning for medical named entity recognition and normalization. *Proceedings of the AAAI Conference on Artificial Intelligence*, **35**(16), 14586–14593. DOI: 10.1609/aaai.v35i16.17714.

ZHU J. & HOVY E. (2007). Active learning for word sense disambiguation with methods for addressing the class imbalance problem. In *Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL)*, p. 783–790, Prague, Czech Republic: Association for Computational Linguistics.
# Détecter une erreur dans les phrases coordonnées au sein des rédactions universitaires

Laura Noreskal¹ Iris Eshkol-Taravella¹ Marianne Desmets²

(1) MoDyCo UMR 7114, 200 avenue de la République, 92000 Nanterre, France

(2) LLF UMR 7110, 5, rue Thomas Mann, 75205 Paris cedex 13

Laura.noreskal@parisnanterre.fr, ieshkolt@parisnanterre.fr, marianne.desmets@parisnanterre.fr

## RÉSUMÉ

Beaucoup d'étudiants rencontrent des difficultés dans la maîtrise du français écrit. Sur la base d'une enquête linguistique préliminaire, il est apparu que les constructions syntaxiques comprenant des coordinations et des constructions elliptiques forment des contextes linguistiques sensibles aux erreurs ou aux maladresses dans les écrits des étudiants. Dans le cadre du projet écri+, notre recherche vise à développer un outil de détection automatique de phrases coordonnées erronées dans les rédactions des étudiants afin de leur permettre de s'auto-former en expression écrite. Après avoir constitué le corpus de phrases coordonnées extraites des différents écrits universitaires (exercices, examens, devoirs, rapports de stage et mémoires), nous avons établi une typologie des erreurs qui a servi de modèle pour l'annotation du corpus. Nous avons entrainé premièrement des classificateurs (Random Forest, SVM, CamemBERT et FlaubERT) afin de détecter deux étiquettes: erronée et correcte puis, dans un second temps, un classificateur multi-label pour diagnostiquer l'erreur.

## ABSTRACT

### Detecting error in coordinated sentences in students' writings.

Many students have difficulties in mastering written French. Based on a preliminary linguistic investigation, it appeared that syntactic constructions, including coordinations and elliptical constructions, are linguistic contexts sensitive to errors or awkwardness in students' writing. As part of écri+ project, the aim of our research is to develop a tool for automatic detection of erroneous coordinated sentences in students' essays in order to enable them to train themselves in written expression. After having constituted the corpus of coordinated sentences extracted from different academic writings (exercises, exams, homework, internship reports and dissertations), we established a typology of errors which served as a model for the annotation of the corpus. We first trained classifiers (Random Forest, SVM, CamemBERT and FlaubERT) to detect two labels: erroneous and correct, and then, in a second step, a multi-label classifier to diagnose the error.

**MOTS-CLES** : écri+, erreurs syntaxiques, phrases coordonnées, typologie d'erreurs, apprentissage automatique de surface, apprentissage profond, rédaction des étudiants.

**KEYWORDS** : écri+, syntactic errors, corpus, coordinated sentences, errors typology, machine learning, deep learning, student writings

<figure><img src="image_68.png" /></figure>
# 1 Contexte de la recherche

Beaucoup d'étudiants rencontrent des difficultés dans la maîtrise du français écrit. Face à cette situation un réseau d'universités mobilisant une centaine d'enseignants et de chercheurs s'est associé au projet écri+<fnref n="1" /> pour développer des méthodes pédagogiques innovantes. En se basant sur des recherches en informatique, en didactique et en linguistique, le projet vise à proposer une solution nationale pour accompagner, former, évaluer et certifier les étudiants du premier cycle universitaire. Sur la base d'une enquête linguistique préliminaire, il est apparu que les constructions syntaxiques comprenant des coordinations et des constructions elliptiques forment des contextes linguistiques sensibles aux erreurs ou aux maladresses dans les écrits des étudiants (section 3.1). Notre tâche dans ce projet est de développer un outil capable de détecter automatiquement les erreurs syntaxiques intra-phrastiques dans les constructions coordonnées afin de permettre aux étudiants de s'auto-former en expression écrite. Pour repérer les constructions coordonnées dans les rédactions des étudiants, nous nous sommes basées sur les travaux de Martinet (1980), de Goosse et al. (2008), de Riegel et al. (2009), d'Abeillé et Godard (2021) qui distinguent deux types de coordination : la coordination explicite qui requiert un coordonnant et la coordination implicite qui n'en attend pas. De plus, le rôle des éléments conjoints est important car il doit être respecté à chaque ajout. Nous avons décidé d'étudier les structures qui contiennent de la coordination explicite, soit des conjonctions de coordination (mais, ou, et, or, ni, car, soit. . . soit) ou des adverbes de liaison (puis, ensuite, cependant, néanmoins...).

# 2 Constitution des corpus

Dans l'optique d'observer les constructions coordonnées et de relever les différents types d'erreurs récurrentes dans les rédactions des étudiants, il était nécessaire de constituer un corpus. Plusieurs méthodes étaient alors envisageables : (1) un corpus contrôlé (Tellier, 2012) nécessitant de préparer un protocole expérimental qui inciterait les étudiants à produire des phrases coordonnées ; (2) un corpus semi-contrôlé, c'est-à-dire un ensemble de données langagières produites lors d'une formation comme les mémoires ou les devoirs maison ; (3) le recueil d'un corpus écologique constitué de productions naturelles des étudiants telles que les notes de cours. Parmi ces trois types de corpus, la deuxième solution nous a semblé plus pertinente. En effet, la mise en place d'un protocole expérimental demande de proposer une consigne qui assure d'avoir des phrases coordonnées, une consigne pas assez claire ou trop exigeante pourrait donner des résultats inutilisables. Quant au corpus écologique, il est difficile de savoir si les étudiants utilisent beaucoup de structures coordonnées dans leurs prises de notes. Il nous a donc semblé plus pertinent de collecter un corpus semi-contrôlé constitué de productions réalisées dans le cadre de la formation des étudiants qui selon nous contiendraient davantage de structures coordonnées que les productions naturelles.

## 2.1 Corpus de rédactions

Nous avons collecté les productions dites « évaluatives », c'est-à-dire les productions réalisées dans le but d'être évaluées par un enseignant dans le cadre d'un enseignement supérieur. Parmi ces productions, nous avons retenu 4 types de rédactions : 139 devoirs maison, 167 exercices faits en classe, 47 rapports de stage et 27 mémoires, ce qui correspond au total à 380 rédactions. Les écrits proviennent de différents niveaux d'étude allant de la première année de licence à la deuxième année de master. Les domaines disciplinaires concernés sont les sciences du langage, l'histoire et le droit.

<footnote n="1">¹ anr-17-NCUN-00015</footnote>
## 2.2 Corpus de phrases coordonnées

À partir du corpus de rédactions, nous avons pu extraire les structures coordonnées en utilisant des patrons morphosyntaxiques créés avec l'outil Unitex (Paumier, 2011) qui reconnaissent les conjonctions de coordination et les adverbes de liaison. Sur un total de 39 692 phrases, 6 645 phrases contenant de la coordination ont été extraites (voir tableau 1).

<table><caption>TABLEAU 1 : Composition du corpus de phrases coordonnées</caption><thead><tr><td>Types</td><td>Nombre de rédactions</td><td>Total des phrases</td><td>Phrases avec coordination</td></tr></thead><tbody><tr><td>Devoirs maison</td><td>139</td><td>7 635</td><td>1 467</td></tr><tr><td>Exercices</td><td>167</td><td>2 502</td><td>593</td></tr><tr><td>Mémoire</td><td>27</td><td>13 244</td><td>1890</td></tr><tr><td>Rapports</td><td>47</td><td>16 311</td><td>2695</td></tr><tr><td>Total</td><td>380</td><td>39 692</td><td>6645</td></tr></tbody></table>

# 3 Annotation manuelle

Le processus d'annotation a été mis en place par 3 annotateurs (une experte et deux linguistes non-experts). Cette annotation répond à deux objectifs : (1) proposer une analyse quantitative des erreurs dans les rédactions étudiantes ; (2) créer un corpus de référence pour l'apprentissage automatique de ces erreurs. L'annotation consistait à renseigner sur la présence ou non d'une erreur dans une structure coordonnées et sur son type. Nous avons annoté d'abord une partie des phrases coordonnées avec les étiquettes **correcte** et **erronée**. À partir de là, nous avons pu établir une typologie des erreurs et nous concentrer sur une annotation en types d'erreur.

## 3.1 Typologie des erreurs

Après avoir observé les phrases erronées collectées, nous avons pu distinguer 8 types d'erreurs que nous avons regroupés en 5 catégories : prépositions, syntagmes conjoints, accords sujet-verbe distant, ponctuation et autres.

### 3.1.1 Les prépositions

Les prépositions sont souvent sujettes aux erreurs dans les constructions coordonnées. Trois sous-types d'erreurs sont distingués : l'ajout d'une préposition non-attendue (PREP ADD) (1), le remplacement d'une préposition par une autre (PRED REMP) (2) et l'absence de préposition (PREP ABS) (3).

(1) *Avant de visionner la comédie musicale, il faudra étudier avec les élèves la période révolutionnaire pour comprendre les raisons de la Révolution et **de** rendre cette activité ludique mais pédagogique.

Dans cet exemple, le problème vient de la préposition non-attendue *de* qui forme un syntagme prépositionnel avec le syntagme verbal *rendre cette activité ludique mais pédagogique*.

(2) *Le fait de les aider à se construire et **à** les voir grandir, tout en leur apportant un savoir doit être gratifiant et réjouissant.
L'exemple (2) est considéré comme erroné car le syntagme prépositionnel à les voir grandir est introduit par la mauvaise préposition (à au lieu de de). En effet, le syntagme à les voir grandir est considéré comme le complément du verbe aider or il s'agit en réalité du complément de fait qui doit être introduit par de.

(3) *Ils illustrent leur propos en appliquant cette analyse aux appendices et les formules illocutoires, les actes indirects et les questions biaisées.

En (3), le problème est lié aux compléments du verbe *appliquer*, lequel attend généralement un complément direct mais peut prendre également un complément indirect introduit par la préposition à. Dans la phrase (3), le premier complément indirect *aux appendices* respecte la valence du verbe mais pas les autres compléments.

### 3.1.2 Les syntagmes conjoints

— Mauvaise cohérence des groupes syntaxiques (MCGS)

(4) *Par ailleurs, il appartient à tous les personnels de transmettre aux élèves les valeurs et doivent avoir un devoir de neutralité.

Dans l'exemple (4), les deux conjoints n'ont pas le même rôle syntaxique ni la même forme. De plus, il n'est pas possible de retrouver le sujet du syntagme verbal *doivent avoir un devoir de neutralité* qui représente le second conjoint.

— Grande distance entre conjoints (DIST CONJOINT)

(5) *S'associer avec des associations telles que celles du Téléthon qui permet de sensibiliser les élèves, de transmettre des valeurs républicaines, ainsi que Nettoyons la Nature.

Dans l'exemple (5), les deux conjoints (*Téléthon et Nettoyons la Nature*) reliés par *ainsi que* sont trop éloignés l'un de l'autre. Cela peut produire une incompréhension chez le lecteur.

### 3.1.3 Les accords entre sujet et verbe distant

(6) *Le personnage de droite est assis sur un tabouret et as une corpulence fine.

L'exemple (6) contient une erreurs d'accord entre le sujet et le verbe : le verbe avoir est conjugué à la deuxième personne du singulier alors que le sujet est à la troisième personne du singulier.

### 3.1.4 La ponctuation

Les erreurs de ponctuation sont également très fréquentes dans les phrases du corpus. Deux sous types d'erreurs sont proposés : les structures lourdes (7) et les problèmes d'absence de ponctuation (8).

— Structure Lourde (SL)

(7) *L'auteur dénonce les contrats sociaux très importants entre les pays du nord et les pays du sud plus précisément, la faim à l'échelle mondiale et il va donc accentuer ses disparités à travers une caricature qui à une visée humoristique mais également critique puisque elle met en relief les pays du Nord, riches et industrialisés, dominé par la Triade qui regroupe les grands pôles économiques du monde et les pays du Sud,
pauvres et désigné comme le « Tiers-monde » qui réfléchissent à une solution pour lutter contre la famine autour d'un repas.

L'exemple (7) est considéré comme erroné car il comprend de nombreuses propositions imbriquées les unes dans les autres, ce qui rend la compréhension difficile.

### — Absence de ponctuation (PONC ABS)

(8) *Chaque année des milliers de sacs à main tous différents les uns des autres rentrent sur le marché mondial et ces sacs à main répondent à une demande croissante de la part des femmes donc je me dit que c'est vraiment un effet de mode dont certaines femmes ne pourraient plus se passer.

Dans l'exemple (8), il n'y a aucune autre ponctuation dans le texte, à part le point final. Plusieurs segments s'enchainent avec les conjonctions de coordination comme seuls liens. Cela peut alors demander plus d'efforts cognitivement pour la lecture et la compréhension.

### 3.1.5 Autres

La classe Autres comprend les erreurs qui ne font pas partie des classes précédentes. Les phrases réunies dans Autres contiennent des erreurs différentes mais peu fréquentes comme la présence de *pas avant ni* (9).

(9) Pour ma part, je ne connaissais pas ni le master français langue étrangère (FLE) ni le métier du traitement automatique des langues.

## 3.2 Accord inter-annotateurs

Après avoir développé un guide d'annotation basé sur la typologie ci-dessus, nous avons lancé une campagne d'annotation et avons calculé un accord inter-annotateurs entre deux annotateurs non-experts. Pour vérifier la cohérence de la typologie, une experte a formé les non-experts sur la reconnaissance des différents types erreurs. À la suite de la formation, les deux annotateurs ont annoté la présence ou non d'erreurs et le type d'erreurs dans 200 phrases. L'accord de la présence ou non d'une erreur a été calculé avec le kappa de Cohen et le score a atteint 0,88, ce qui est un accord excellent selon Landis & Coch (1977). L'accord inter-annotateur pour le type d'erreurs s'est élevé à 0,72 avec le kappa de Cohen. Les types d'erreurs les mieux reconnus ont été *DIST CONJ* et *PRED REMP*. Concernant les erreurs *PRED REMP*, lors de la lecture d'un texte, il se peut que le non-respect de la sous-catégorisation des verbes, noms ou adjectifs interpelle le lecteur qui repère ainsi qu'il s'agit de la mauvaise préposition. Quant à l'erreur *DIST CONJ*, elle touche directement à la compréhension de la coordination. Le lecteur a du mal à identifier les conjoints ce qui rend l'erreur plus facilement repérable. Une fois la typologie validée, 3145 phrases ont été annotées dont 1153 phrases erronées. La répartition des erreurs dans les phrases annotées est présentée dans le TABLEAU 2.

<table><thead><tr><td>Types d'erreurs</td><td>Nombres</td></tr></thead><tbody><tr><td>Préposition ajoutée (PREP ADD)</td><td>29</td></tr><tr><td>Préposition remplacée (PREP REMP)</td><td>44</td></tr><tr><td>Préposition absente (PREP ABS)</td><td>139</td></tr><tr><td>Mauvaise cohérence entre les groupes syntaxiques (MCGS)</td><td>35</td></tr><tr><td>Distance entre conjoint (DIST CONJ)</td><td>25</td></tr><tr><td>Mauvais accord sujet-verbe (MASV)</td><td>33</td></tr></tbody></table>
<table><caption>TABLEAU 2 : Constitution du corpus annoté</caption><tr><td>Structure lourde (SL)</td><td>244</td></tr><tr><td>Ponctuation absente (PONC ABS)</td><td>155</td></tr><tr><td>Autres</td><td>449</td></tr><tr><td>Total</td><td>1153</td></tr></table>

# 4 Détection automatique

De nombreuses recherches ont été faites sur la détection automatique des erreurs. Depuis quelques années la détection et la correction automatiques d'erreurs grammaticales (Grammatical Errors Detection, GEC en anglais) ainsi que les outils d'aide à la rédaction reçoivent beaucoup d'attention. Majoritairement développés dans le but d'aider les apprenants allophones (Garnier, 2014), les modèles de détection d'erreurs permettent souvent de reconnaître les erreurs d'accords (Fay-Varnier, 1990 ; Souque, 2014) ou les erreurs lexicales (Yuan et al., 2019). La détection d'erreurs orthographiques en français n'est pas en reste : Cordial de Synapse (1995), Antidote de Druide Informatique (1996) et ProLexis des Editions Diagonal (1997). Ces trois outils dominent le marché francophone qui, depuis quelques années, ne voit que très peu de nouvelles alternatives. De plus, les travaux se basant sur la syntaxe sont peu nombreux (Clément et al., 2009). En anglais, trois types d'outils d'aide à l'écriture existent (Jourdan et al., 2023) : les outils de révision de phrases (Ouyang et al., 2022), les correcteurs grammaticaux (Tsai et al., 2020) et les outils d'annotation de structures rhétoriques tels que AcaWriter (Knight et al., 2020). En nous concentrons sur le français, nous proposons de contribuer à la recherche dans ce domaine.

## 4.1 Détection binaire : erronée / correcte

La première étape de la détection d'erreurs syntaxiques dans les phrases coordonnées porte sur la détection des étiquettes **correcte** et **erronée** en utilisant les méthodes de l'apprentissage automatique de surface avec les deux classifieurs SVM et Random Forest et l'apprentissage profond fondé sur les modèles français CamemBERT (Martin et al., 2019) et FlauBERT (Le et al., 2019) en tant que classifieurs en utilisant Simple Transformers<fnref n="2" />. Pour ces expériences, nous avons utilisé deux corpus d'apprentissage : un corpus équilibré (600 phrases correctes et 600 phrases erronées) et un corpus déséquilibré en faveur des phrases erronées (300 phrases correctes et 900 phrases erronées) afin de vérifier si le déséquilibre peut aider à mieux détecter les erreurs. Le corpus de test est composé de 400 phrases et contient autant de phrases correctes que de phrases erronées. La répartition des erreurs dans les différents corpus est présentée dans le tableau suivant :

<table><thead><tr><td>Types d'erreurs</td><td>Corpus équilibré</td><td>Corpus déséquilibré</td></tr></thead><tbody><tr><td>Autres</td><td>167</td><td>320</td></tr><tr><td>Autres + PREP ADD</td><td>2</td><td>4</td></tr><tr><td>Autres + SL + PONC ABS</td><td>0</td><td>3</td></tr><tr><td>DIST CONJ</td><td>12</td><td>16</td></tr><tr><td>DIST CONJ + Autres</td><td>2</td><td>0</td></tr><tr><td>DIST CONJ + PONC ABS</td><td>0</td><td>4</td></tr><tr><td>MASV</td><td>16</td><td>23</td></tr><tr><td>MASV + Autres</td><td>2</td><td>2</td></tr><tr><td>MASV + SL</td><td>4</td><td>2</td></tr></tbody></table>

<footnote n="2">² https://simpletransformers.ai/</footnote>
<table><caption>TABLEAU 3 : Constitution des corpus d'entrainement</caption><tr><td>MCGS</td><td>18</td><td>23</td></tr><tr><td>MCGS + Autres</td><td>2</td><td>2</td></tr><tr><td>MCGS + PREP REMP</td><td>4</td><td>4</td></tr><tr><td>PONC ABS</td><td>100</td><td>119</td></tr><tr><td>PONC ABS + Autres</td><td>0</td><td>15</td></tr><tr><td>PONC ABS + PREP ADD</td><td>0</td><td>2</td></tr><tr><td>PONC ABS + PREP REMP</td><td>0</td><td>2</td></tr><tr><td>PREP ABS</td><td>56</td><td>73</td></tr><tr><td>PREP ABS + Autres</td><td>2</td><td>2</td></tr><tr><td>PREP ABS + PONC ABS</td><td>2</td><td>4</td></tr><tr><td>PREP ABS + PREP ADD + SL</td><td>3</td><td>3</td></tr><tr><td>PREP ABS + SL</td><td>6</td><td>0</td></tr><tr><td>PREP ADD</td><td>13</td><td>15</td></tr><tr><td>PREP ADD + SL + Autres</td><td>3</td><td>3</td></tr><tr><td>PREP REMP</td><td>24</td><td>25</td></tr><tr><td>PREP REMP + Autres</td><td>0</td><td>4</td></tr><tr><td>SL</td><td>150</td><td>172</td></tr><tr><td>SL + Autre</td><td>10</td><td>32</td></tr><tr><td>SL + PREP ABS</td><td>0</td><td>4</td></tr><tr><td>SL + PREP ADD</td><td>0</td><td>2</td></tr><tr><td>SL + PREP REMP</td><td>2</td><td>5</td></tr><tr><td>Total</td><td>600</td><td>900</td></tr></table>

### 4.1.1 Apprentissage de surface

Nous avons utilisé une méthode de classification supervisée en utilisant deux classificateurs : Support Vector Machine (SVM) et Random Forest car ils ont obtenu de bons scores lors de la classification de documents lors des campagnes DEFT (DEFT 2021 et DEFT 2022).

#### 4.1.1.1 Prétraitement

Notre chaîne de prétraitement comprend l'étiquetage morphosyntaxique, la lemmatisation, l'analyse syntaxique en dépendances, le chunking et d'autres traits résultant d'une observation du corpus. Chaque phrase est représentée par un ensemble de 20 traits linguistiques regroupés en trois classes :

- les traits généraux souvent utilisés lors du prétraitement des textes :

- les tokens

- les lemmes obtenus avec Treetagger (Schmid, 1994)

- les parties du discours obtenus avec *Treetagger*

- les chunks détectés grâce à *TreeTagger*,

- les relations de dépendances détectés grâce à la bibliothèque Python *spaCy*

- les trigrammes

- les traits binaires :

- la présence d'un verbe transitif grâce au dictionnaire électronique des mots (DEM) de Dubois (Dubois et al., 2010): en observant les phrases erronées, il est apparu que la sous-catégorisation des verbes transitifs n'était pas respectée. Nous cherchons donc à savoir si la seule présence d'un verbe transitif peut jouer un rôle dans l'apparition des erreurs.

- la présence d'une préposition : nous avons repéré plusieurs problèmes liés aux prépositions tels que *PREP ADD* ou *PRED REMP*. Face à cela, nous nous
sommes demandé si la présence d'une préposition pouvait être reliée à la présence d'une erreur.

- la présence de *que* : Lors de notre observation du corpus, nous avons pu remarquer que beaucoup de phrases erronées contenaient des propositions introduites par *que*. Nous avons donc ajouté ce trait afin d'observer si l'utilisation de *que* peut être liée à la présence d'une erreur.

— les traits numériques :

- le nombre de mots : en ajoutant le nombre de mots, nous espérons trouver une corrélation entre la longueur de la phrase et la présence d'une erreur. Le but de cette observation n'est pas de prescrire les phrases longues mais plutôt de savoir si ce type de phrases est plus sujet aux erreurs.

- le nombre de verbes transitifs : après avoir observé une tendance au non-respect de la sous-catégorisation des verbes, nous avons pensé qu'il serait intéressant de tester l'hypothèse selon laquelle le nombre de verbes transitifs aurait un impact sur la présence d'erreurs.

- le nombre de conjonctions de coordination : ce trait permet de vérifier s'il y a une corrélation entre le nombre de coordonnants et la présence d'erreurs dans une phrase.

- le nombre de *que* : la présence de *que* dans une phrase sous-entendue que celle-ci est une phrase complexe avec une proposition subordonnée. De ce fait, chaque *que* présent dans une phrase la complexifie. Ainsi, nous cherchons à savoir si la présence de cette complexité dans une coordination peut être corrélée avec la présence d'une erreur.

- le nombre de prépositions : l'ajout de ce trait prend en compte le fait que les prépositions posent problème dans les phrases coordonnées. Nous cherchons alors à savoir si le nombre de prépositions dans une phrase peut être relié à la présence d'une erreur.

- le nombre de *à, de, sur, pour, dans* : nous avons ajouté ces traits reportant le nombre de chaque préposition dans une phrase afin d'observer si certaines prépositions sont plus sujettes aux erreurs que d'autres.

- le nombre de *ainsi que* : la locution conjonctive *ainsi que* joue un rôle de coordonnant dans certains de ses emplois. Nous avons pensé qu'il serait intéressant d'observer cette locution afin de savoir si ses propriétés peuvent poser problème.

Afin de sélectionner les traits les plus pertinents pour l'apprentissage, nous avons utilisé un algorithme de sélection de traits : RFE (Recursive Features Elimination). Lors de son application en validation croisée avec 5 échantillons, l'algorithme supprimait un ou plusieurs traits non pertinents pour l'apprentissage à chaque échantillonnage. Les 11 traits suivants ont été sélectionnés : l'analyse en dépendance, le chunking, les lemmes, le nombre de conjonctions de coordination, le nombre de *de*, le nombre de mots, le nombre de prépositions, le nombre de verbes transitifs, les parties du discours, les tokens et les trigrammes.

### 4.1.1.2 Expériences et résultats

Lors des expériences, nous avons testé deux aspects : le type de données (corpus équilibré/corpus déséquilibré) et les algorithmes de classification (Random Forest/SVM). De plus, afin d'optimiser les performances de SVM et Random Forest, nous avons utilisé, lors de tous les tests, GridsearchCV, permettant de tester les différents paramètres d'un algorithme d'apprentissage pour en sélectionner les meilleurs.
Les expériences sur les deux corpus ont montré que les données déséquilibrées rendent la tâche de détection plus compliquée pour le classifieur. En effet, les résultats pour les données déséquilibrées sont mauvais avec des exactitudes de 0,5425 pour Random Forest et de 0,585 pour SVM. Quant aux résultats pour les données équilibrées, ils sont de 0,665 pour Random Forest et de 0,6325 pour SVM. Afin de mieux comprendre les résultats, nous avons observé les mesures de précision, rappel et f-mesure de chaque classe lors du test avec le corpus équilibré.

<table><caption>TABLEAU 4 : Random Forest : mesures de précision, rappel et f-mesure pour les deux classes</caption><thead><tr><th>Random Forest</th><th>Précision</th><th>Rappel</th><th>F-mesure</th><th>Exactitude</th></tr></thead><tbody><tr><td>Correcte</td><td>0,64</td><td>0,76</td><td>0,70</td><td></td></tr><tr><td>Erronée</td><td>0,70</td><td>0,57</td><td>0,63</td><td>0,665</td></tr></tbody></table>

<table><caption>TABLEAU 5 : SVM : mesures de précision, rappel et f-mesure pour les deux classes</caption><thead><tr><th>SVM</th><th>Précision</th><th>Rappel</th><th>F-mesure</th><th>Exactitude</th></tr></thead><tbody><tr><td>Correcte</td><td>0,61</td><td>0,73</td><td>0,67</td><td></td></tr><tr><td>Erronée</td><td>0,66</td><td>0,54</td><td>0,59</td><td>0,6325</td></tr></tbody></table>

Les résultats obtenus grâce à Random Forest montrent que la différence de f-mesure entre la classe correcte et la classe erronée est de 6%. Cependant, on remarque également que la précision pour la classe erronée (0.70) est plus élevée que celle de la classe Correcte (0.64). Cela signifie que le modèle est plus précis pour détecter les erreurs que pour détecter les phrases correctes. Néanmoins, le modèle rapporte moins de phrases erronées (0.57) que de phrases correctes (0.76).

### 4.1.2 Apprentissage profond

Pour l'apprentissage profond, nous avons utilisé deux modèles français pour une tâche de classification des phrases en **correcte/erronée** : CamemBERT et FlauBERT, avec *Simple Transformers*, une librairie d'*HuggingFace*. Les expériences ont été réalisées en variant le nombre d'époques.

<table><caption>TABLEAU 6 : Exactitudes des expériences menées en apprentissage profond</caption><thead><tr><th></th><th>FlauBERT<br>Corpus équilibré</th><th>FlauBERT<br>Corpus déséquilibré</th><th>CamemBERT<br>Corpus équilibré</th><th>CamemBERT<br>Corpus déséquilibré</th></tr></thead><tbody><tr><td>5 époques</td><td>0,5</td><td><strong>0,7</strong></td><td><strong>0,7125</strong></td><td><strong>0,77</strong></td></tr><tr><td>8 époques</td><td>0,71</td><td>0,5</td><td>0,695</td><td>0,73</td></tr><tr><td>10 époques</td><td>0,7</td><td>0,5825</td><td>0,685</td><td>0,72</td></tr><tr><td>15 époques</td><td><strong>0,715</strong></td><td>0,6275</td><td>0,6875</td><td>0,7375</td></tr></tbody></table>

Nous observons que les résultats sont meilleurs que ceux que nous avons obtenus lors des expériences avec l'apprentissage de surface. Cela peut être dû au fait que les modèles utilisés pour l'apprentissage profond sont entraînés sur de gros corpus composés de phrases correctes, il pourrait être ainsi plus simple pour les modèles de détecter les phrases qui s'éloignent des phrases correctes apprises auparavant. Le meilleur résultat provient de l'expérience avec CamemBERT et le corpus déséquilibré lors des 5 époques (0.77).

<table><thead><tr><th></th><th>Précision</th><th>Rappel</th><th>F-mesure</th><th>Exactitude</th></tr></thead><tbody><tr><td>Correcte</td><td>0,99</td><td>0,54</td><td>0,69</td><td>0,77</td></tr></tbody></table>
<table><caption>TABLEAU 7 : CamemBERT avec le corpus déséquilibré: mesures de précision, rappel et F-mesure pour les deux classes</caption><tr><td>Erronée</td><td>0,68</td><td>0,99</td><td>0,81</td></tr></table>

Le modèle CamemBERT avec le corpus déséquilibré montre une très bonne précision (0,99) pour la classe correcte et un bon rappel (0,99) pour la classe erronée. La F-mesure de la classe erronée est aussi très élevée puisqu'elle atteint 0,81.

## 4.2 Détection multi-label

Un autre objectif de cette recherche est de réussir à diagnostiquer l'erreur en lui attribuant une étiquette qui détermine le type d'erreur mis en cause. Pour ce faire, nous avons utilisé la classification multi-label. Pour débuter la classification multi-label, nous avons gardé les données utilisées pour la classification binaire.

Lors de la classification multi-label, nous avons fait 4 expériences soit deux expériences avec CamemBERT et deux autres avec FlauBERT. Pour chaque modèle de langue, nous avons testé l'apprentissage avec un corpus déséquilibré et l'apprentissage avec un corpus équilibré. Le nombre d'époque a été figé à 5 afin de ne pas avoir de dégradation des résultats comme pour la classification binaire.

<table><caption>TABLEAU 8 : Exactitudes des expériences menées pour la détection multi-label</caption><thead><tr><th>Modèles</th><th>Corpus</th><th>Bien classées</th><th>Mal classées</th><th>Exactitude</th></tr></thead><tbody><tr><td rowspan="2">CamemBERT</td><td>Equilibré</td><td>18</td><td>182</td><td>4,5</td></tr><tr><td>Déséquilibré</td><td>218</td><td>182</td><td>54,5</td></tr><tr><td rowspan="2">FlauBERT</td><td>Equilibré</td><td>83</td><td>317</td><td>20,75</td></tr><tr><td>Déséquilibré</td><td>176</td><td>224</td><td>44</td></tr></tbody></table>

En observant les résultats nous remarquons que seul le modèle CamemBERT avec le corpus déséquilibré a une exactitude supérieure à 50%. En somme, les résultats sont assez mauvais puisque les modèles peinent à classer correctement les phrases. Pour mieux comprendre ces erreurs, nous avons observé les résultats des différentes classifications.

De façon générale, les modèles ont tendance à combiner l'étiquette *None*, qui correspond à l'absence d'erreur, à une autre étiquette d'erreur telles que *SL* et autres. Seul le modèle CamemBERT avec le corpus déséquilibré ne reproduit pas cette erreur. Quant au modèle CamemBERT avec le corpus équilibré, il est celui qui est le plus touché par cette erreur d'étiquetage puisqu'il comptabilise 200 phrases annotées *None* et *SL*. Les modèles FlauBERT sont aussi touchés par cette erreur. FlauBERT avec le corpus équilibré produit cette erreur sur 148 phrases alors que FlauBERT avec le corpus déséquilibré la produit sur 56 phrases.

Concernant les phrases bien classées, elles concernent en général les types d'erreurs *PREP ADD*, *PREP ABS* et *MASV* (*mauvais accord Sujet-Verbe*). Aussi, les phrases correctes sont bien classées par les modèles entrainés avec les corpus déséquilibrés alors que les autres modèles arrivent surtout à annoter les phrases avec les erreurs d'absence de préposition.

<table><thead><tr><th></th><th>VP</th><th>VN</th><th>FP</th><th>FN</th><th>Précision</th><th>Rappel</th><th>F-mesure</th></tr></thead><tbody><tr><th>Autres</th><td>0</td><td>270</td><td>3</td><td>127</td><td>0</td><td>0</td><td>0</td></tr></tbody></table>
<table><caption>TABLEAU 9 : Mesures de la détection multilabel avec CamemBERT et le corpus déséquilibré</caption><tr><td>DIST CONJ</td><td>0</td><td>396</td><td>1</td><td>3</td><td>0</td><td>0</td><td>0</td></tr><tr><td>MASV</td><td>3</td><td>391</td><td>6</td><td>0</td><td>0,33</td><td>1</td><td>0,5</td></tr><tr><td>MCGS</td><td>0</td><td>396</td><td>1</td><td>3</td><td>0</td><td>0</td><td>0</td></tr><tr><td>PONC ABS</td><td>20</td><td>380</td><td>0</td><td>0</td><td>1</td><td>1</td><td>1</td></tr><tr><td>PREP ABS</td><td>11</td><td>389</td><td>0</td><td>0</td><td>1</td><td>1</td><td>1</td></tr><tr><td>PREP ADD</td><td>4</td><td>396</td><td>0</td><td>0</td><td>1</td><td>1</td><td>1</td></tr><tr><td>PREP REMP</td><td>3</td><td>396</td><td>0</td><td>1</td><td>0,75</td><td>1</td><td>0,86</td></tr><tr><td>SL</td><td>127</td><td>249</td><td>0</td><td>24</td><td>1</td><td>0,84</td><td>0,91</td></tr></table>

En observant les mesures sur ce modèle, on réalise que certains types d'erreurs sont mieux reconnus que d'autres. Les résultats montrent que ce modèle reconnaît très bien les erreurs PONC ABS, PREP ABS et PREP ADD mais qu'il est incapable de détecter les erreurs DIST CONJ, Autres et MCGS. Les modèles d'apprentissage profond n'indiquant pas réellement ce qui est pris en compte pour la détection, il est difficile de préciser la raison pour laquelle certaines erreurs seront mieux reconnues que d'autres. Cependant, il semblerait que les phrases correctes soient mieux reconnues lors des entrainements avec les corpus déséquilibrés car les erreurs étant plus nombreuses dans le corpus, il devient plus simple pour l'algorithme de différencier une erreur d'une phrase correcte. Pour les PREP ABS, la raison pour laquelle ils sont bien repérés par tous les modèles pourrait être due au fait qu'il y a plus de données que pour d'autres erreurs. Une augmentation du corpus serait alors bénéfique pour tous les autres types d'erreurs.

En résumé, la détection multi-label n'a pas donné de résultats probants puisque nous avons obtenu des exactitudes très faibles et des erreurs d'étiquetage combinant l'étiquette None à d'autres étiquettes d'erreurs. En utilisant l'apprentissage profond, il est difficile de savoir ce qui permet de classer une phrase dans un type d'erreur plutôt qu'un autre, ainsi il serait intéressant d'envisager une approche symbolique pour cibler et mieux localiser les erreurs dans les phrases. En testant ce type de classification automatique, nous avons cependant pu observer que certains types d'erreurs sont mieux reconnus que d'autres.

# 5 Conclusion et perspectives

Cette recherche vise à détecter automatiquement les phrases coordonnées erronées dans les rédactions des étudiants. Après avoir constitué le corpus de phrases coordonnées extraites des différents écrits universitaires (exercices, examens, devoirs, rapports de stage et mémoires), nous avons établi une typologie des erreurs que nous avons validée par un accord inter-annotateurs. Par la suite, nous avons procédé à plusieurs expériences portant sur l'apprentissage profond et l'apprentissage de surface. Les premières expériences concernaient la détection des étiquettes erronée et correcte. L'apprentissage profond a donné de meilleurs résultats puisque nous avons obtenu une exactitude de 0,77 avec le modèle CamemBERT. Puis, nous avons testé la détection multi-label en utilisant l'apprentissage profond. Nos résultats n'ont pas été probants mais ils laissent à penser qu'il faudrait sûrement observer plus précisément les résultats et peut-être aussi envisager d'autres approches comme des méthodes symboliques qui permettraient de mieux cibler les erreurs. Il serait également utile de revoir la typologie des erreurs afin de voir si les types d'erreurs les moins bien reconnus comme structures lourdes (SL) et absence de ponctuation (PREP ABS) sont vraiment pertinents pour notre recherche. En effet, lors des apprentissages, ce sont les types d'erreurs qui ont été les moins bien reconnus. Ces deux types se fondent sur l'utilisation de la ponctuation, ainsi, il se pourrait que les règles adoptées pour catégoriser les erreurs de ponctuation ne soient pas assez distinctives pour que ces erreurs soient repérables par les algorithmes.
Références

Abeillé, A., Godard, D., en collab. Avec Delaveau A. & Gautier A. (2021). *La Grande Grammaire du français*. Actes Sud / Imprimerie Nationale.

Clément, L., Gerdes, K. et Marlet, R. (2009). Grammaires d'erreur-correction grammaticale avec analyse profonde et proposition de corrections minimales In Nazarenko, A. & Poibeau, T. Éds., *Actes de TALN 2009 (Traitement automatique des langues naturelles)*, p. 158–167, Senlis, France.

Cohen, J. (1960). A coefficient of agreement for nominal scales. *Educational and psychological measurement* 20.1, p. 37-46.

Dubois, J. et Dubois-Charlier, F. (2010). La combinatoire lexico-syntaxique dans le Dictionnaire électronique des mots. Les termes du domaine de la musique à titre d'illustration. *Langages* 3, p. 31-56.

Fay-Varnier, C. (1990). *Aide à la détection de fautes grammaticales par une analyse progressive des phrases*. Thèse de doctorat. Institut National Polytechnique de Lorraine.

Garnier, M. (2014). *Utilisation de méthodes linguistiques pour la détection et la correction automatisées d'erreurs produites par des francophones écrivant en anglais*. Thèse de doctorat. Université Toulouse le Mirail-Toulouse II.

Goosse, A. et Grevisse, M. (2008). *Le bon usage*. De Boeck Superieur. Louvain-la-Neuve.

Grouin, C. et Illouz, G. (2022). Notation automatique de réponses courtes d'étudiants : présentation de la campagne DEFT 2022 (Automatic grading of students’ short answers : presentation of the DEFT 2022 challenge). In Y. Estève, T. Jiménez, T. Parcollet, M. Zanon Boito, Éds., *Actes de TALN 2022 (Traitement Automatique des Langues Naturelles. Atelier DÉfi Fouille de Textes (DEFT)*, p. 1-10, Avignon, France.

Grouin, C., Grabar, N. et Illouz, G. (2021). Classification de cas cliniques et évaluation automatique de réponses d'étudiants : présentation de la campagne DEFT 2021. In *Actes de TALN 2021 (Traitement Automatique des Langues Naturelles. Atelier DÉfi Fouille de Textes (DEFT)*, p. 1-13, Lille, France.

Jourdan, L., Boudin, F., Dufour, R., Hernandez, N. (2023). Text revision in Scientific Writing Assistance: An Overview. In *13th International Workshop on Bibliometric-enhanced Information Retrieval (BIR 2023)*, Dublin (IE), Ireland. (hal-04053934).

Knight, S., Shibani, A., Abel, S., Gibson, A., Ryan, P. (2020) Acawriter: A learning analytics tool for formative feedback on academic writing. *Journal of Writing Research*.

Landis, J. R. et Koch, G. G. (1977). An application of hierarchical kappa-type statistics in the assessment of majority agreement among multiple observers. *Biometrics*, p. 363-374.

Le, H., Vial, L., Frej, F., Segonne, V., Coavoux, M., Lecouteux, B., Allauzen, A., Crabbé, B., Besacier, L. et Schwab, D. (2020). FlauBERT: Unsupervised Language Model Pre-training for
French. In *Proceedings of the Twelfth Language Resources and Evaluation Conference*, p. 2479–2490, Marseille, France. European Language Resources Association.

Li, X., Michel, P., Anastasopoulos, A., Belinkov, Y., Durrani, N., Firat, O., Koehn, P., Neubig, G., Pino, J. et Sajjad, H. (2019). Findings of the First Shared Task on Machine Translation Robustness. In *Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1)*, p. 91–102, Florence, Italy. Association for Computational Linguistics.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L. et Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv abs/1907.11692. Retrieved from https://arxiv.org/abs/1907.11692.

Noreskal, L., Eshkol-Taravella, I. & Desmets, M. (2021). Erroneous Coordinated Sentences Detection in French Students' Writings. *Communications in Computer and Information Science* 1463, p. 586-596.

Martin, L., Müller, B., Suárez, P. J. O., Dupont, Y., Romary, L., Villemonte de la Clergerie, E. et Seddah, D. et Sagot, B. (2019). « CamemBERT: a Tasty French Language Model». arXiv: 1911.03894.

Martinet, André. (1980). *Éléments de linguistique générale*. Collection U Prisme. Albin Michel.

Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C. L., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., et al. (2022) Training language models to follow instructions with human feedback, arXiv preprint arXiv:2203.02155.

Suárez, O., Javier, P., Romary, L. et Sagot, B. (2020). A Monolingual Approach to Contextualized Word Embeddings for Mid-Resource Languages. *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*. p. 1703-1714. Association for Computational Linguistics.

Riegel, M., Pellat, J-C. et Rioul, R. (2008). *Grammaire méthodique du français*. Édition PUF. Paris.

Schmid, H. (1994). TreeTagger-a language independent part-of-speech tagger. Institut Für Maschinelle Sprachverarbeitung: Universität Stuttgart.

Souque, A. (2014). *Modèle de vérification grammaticale automatique gauche-droite*. Thèse de doctorat. Université de Grenoble.

Tellier, M. (2012). De l'usage du corpus semi-contrôlé dans la recherche en didactique des langues. *Rencontres de l'ASDIFLE. FLE : L'instant et l'histoire 49 et 50*. Clé International, p. 39-47.

Tiedemann, J. (2012). Parallel Data, Tools and Interfaces in OPUS ». *Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC'12)*. Istanbul, Turkey: European Language Resources Association (ELRA), p. 2214-2218.
Tsai, C.-T., Chen, J.-J., Yang, C.-Y., Chang, J. S. (2020) LinggleWrite: a coaching system for essay writing. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations*, p. 127–133, Association for Computational Linguistics.

Wenzek, G., Lachaux, M-A., Conneau, A., Chaudhary, V., Guzmán, F., Joulin, A. et Grave, E. (2020). CCNet: Extracting High Quality Monolingual Datasets from Web Crawl Data. In *Proceedings of the Twelfth Language Resources and Evaluation Conference*, p. 4003–4012, Marseille, France. European Language Resources Association.

Yuan, Zheng, Felix Stahlberg, Marek Rei, Bill Byrne et Helen Yannakoudakis (2019). Neural and FST-based approaches to grammatical error correction. *Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications*, p. 228-239.
# Production automatique de gloses interlinéaires à travers un modèle probabiliste exploitant des alignements

Shu Okabe François Yvon

Université Paris-Saclay, CNRS, LISN, Bât. 508, Rue du Belvédère, F-91405 Orsay, France
{shu.okabe,francois.yvon}@limsi.fr

## RÉSUMÉ

La production d'annotations linguistiques ou *gloses interlinéaires* explicitant le sens ou la fonction de chaque unité repérée dans un enregistrement source (ou dans sa transcription) est une étape importante du processus de documentation des langues. Ces gloses exigent une très grande expertise de la langue documentée et un travail d'annotation fastidieux. Notre étude s'intéresse à l'automatisation partielle de ce processus. Il s'appuie sur la partition des gloses en deux types : les gloses grammaticales exprimant une fonction grammaticale et les gloses lexicales indiquant les unités de sens. Notre approche repose sur l'hypothèse d'un alignement entre les gloses lexicales et une traduction ainsi que l'utilisation de Lost, un modèle probabiliste de traduction automatique. Nos expériences sur une langue en cours de documentation, le tsez, montrent que cet apprentissage est effectif même avec un faible nombre de phrases de supervision.

## ABSTRACT

**A Probabilistic Model for Automatic Interlinear Glossing and Alignment.**

An important task in language documentation is the generation of linguistic annotations, or *interlinear glosses*), which express the meaning or role of each unit identified in a spoken source utterance (or its transcription). Glossing requires extensive expertise in the studied language and tedious work. In this article, we study ways to automate this process. Two types of glosses exist : grammatical glosses expressing a grammatical function and lexical glosses carrying the meaning of the unit. Our approach assumes that lexical glosses can be aligned with a target translation, enabling us to repurpose Lost, a probabilistic translation model for the glossing task. Our experiments on Tsez, a language in the process of being documented, show that useful glosses can be learned, even with a small number of supervision sentences.

**MOTS-CLÉS** : génération de gloses interlinéaires, documentation automatique des langues, alignement de mots.

**KEYWORDS:** interlinear gloss generation, computational language documentation, word alignment.

# 1 Introduction

Dans leur travail de documentation des langues, les linguistes de terrain produisent différentes strates d'annotations linguistiques des données orales collectées. Ces annotations permettent d'étudier plus en détail la langue et de préparer la production de dictionnaires ou de grammaires.

La figure 1 illustre ces différentes strates d'annotations appliquées à la transcription phonétique

<figure><img src="image_69.png" /></figure>
<table><caption>FIGURE 1 – Exemple de strates d’annotation linguistique dans le cadre de la documentation de langue.</caption><tr><td>S [source] :</td><td>sidaquł</td><td>yiła-r</td><td>ciq-q</td><td>allah-s</td><td>ašuni</td><td>b-ukad-n</td></tr><tr><td>G [gloses] :</td><td>one.day</td><td>DEM2.IISG.OBL-LAT</td><td>forest-POSS.ESS</td><td>God-GEN1</td><td>belt</td><td>III-see-PST.UNW</td></tr><tr><td>G' [catégories] :</td><td>LEX</td><td>GRAM-GRAM</td><td>LEX-GRAM</td><td>LEX-GRAM</td><td>LEX</td><td>GRAM-LEX-GRAM</td></tr><tr><td>T [traduction] :</td><td colspan="6">one day she saw a rainbow in the forest</td></tr></table>

de l’enregistrement d’une phrase isolée. La phrase S dans la langue source étudiée (ici le tsez) est segmentée en deux niveaux : les unités lexicales sont séparées par des espaces et les morphèmes sont indiqués par les tirets au sein d’un mot. Une seconde étape d’annotation consiste à renseigner le sens ou la fonction grammaticale de chaque morphème. Ce niveau d’annotation est appelé *glose interlinéaire (G* sur la figure 1). Nous distinguons deux catégories de gloses sur la ligne *G’* : les gloses *grammaticales*, telles que LAT, indiquent la fonction du morphème ; les gloses *lexicales* (comme *forest*) expriment le sens du morphème, en utilisant un concept dans une langue de documentation (ici l’anglais). Enfin, une traduction T accompagne chaque phrase.

Si les phrases sources et leurs traductions peuvent être recueillies simultanément sur le terrain, elles ne sont glosées qu’ultérieurement lors d’étapes d’analyse. Elles sont ainsi coûteuses à obtenir et exigent une grande expertise et un fastidieux travail d’annotation manuelle. Il n’est alors pas surprenant d’observer que les ressources complètement annotées soient peu nombreuses au regard du volume d’enregistrements bruts (Seifart et al., 2018). Notre objectif est ici d’étudier comment une partie de ce processus pourrait être automatisé, en effectuant une pré-annotation qui serait ensuite révisée par des annotateurs. En effet, les phénomènes complexes, qui, souvent, intéressent davantage les linguistes, ne sont pas les plus fréquents : une automatisation pourrait être bénéfique pour traiter les cas les plus courants. Elle permettrait également d’améliorer la cohérence et la vitesse de l’annotation en gloses (Baldridge & Palmer, 2009). La tâche que nous considérons consiste alors à calculer des gloses (G) à partir de la phrase source segmentée en morphèmes (S) et de sa traduction (T).

Cette tâche soulève un grand nombre de difficultés, comme la faible quantité de phrases disponibles pour superviser cette annotation. De plus, si la variété de gloses grammaticales est en nombre fini (s’apparentant alors à une tâche d’étiquetage classique), les gloses lexicales sont, par nature, en nombre quasi illimité. Enfin, malgré certaines conventions partagées (comme les *Leipzig Glossing Rules*<fnref n="1" /> (Bickel et al., 2008)), ces annotations s’appuient sur une interprétation linguistique, toujours sujette à des variations inter- et intra-personnelles. Face à ces constats, la production automatique de gloses pour les langues en cours de documentation a été abordée de différentes manières, principalement sous l’angle d’un étiquetage de séquences impliquant plusieurs étapes (Samardžić et al., 2015; Moeller & Hulden, 2018; Barriga Martínez et al., 2021). Une approche classique repose sur l’utilisation de champs markoviens conditionnels (*Conditional Random Field*, CRF) (Lafferty et al., 2001; Tellier & Tommasi, 2011). Par exemple, (McMillan-Major, 2020) emploie deux CRF : l’un pour prédire les gloses depuis la phrase source, un autre depuis la phrase traduite. Les deux prédictions sont ensuite combinées afin d’obtenir la prédiction finale. (Zhao et al., 2020) met en œuvre une approche neuronale, considérant les deux entrées (phrases source et cible) comme séparées dans leur architecture. Ces approches illustrent les diverses solutions imaginées pour aborder le principal défi de la tâche de génération de gloses : le problème posé par l’inventaire des gloses lexicales.

Pour y répondre, nous supposerons qu’il est possible de dériver les gloses lexicales de la traduction.

<footnote n="1">1. Un inventaire en français des principales étiquettes grammaticales est proposé par B. Fradin (voir http://www.1lf.cnrs.fr/fr/node/60).</footnote>
Cette hypothèse permet de circonscrire l'ensemble des étiquetages d'une phrase donnée lors de l'entraînement et de l'inférence d'un modèle probabiliste, qui pourra alors prendre en charge un ensemble arbitraire d'étiquettes. Dans la section 2, après avoir formalisé la tâche, nous discutons du calcul de ces alignements, puis de leur considération dans un modèle de close automatique. La section 3 présente les résultats obtenus sur le tsez, une langue déjà utilisée dans (Zhao et al., 2020)<fnref n="2" />.

# 2 Un modèle probabiliste pour les gloses interlinéaires

## 2.1 Formalisation du problème

Considérons tout d'abord la ligne G' de la figure 1. Son calcul peut se formaliser comme une tâche d'étiquetage de séquence classique, où chaque morphème source est associé à une étiquette binaire : LEX ou GRAM. Pour ce faire, une méthode standard est d'utiliser un CRF qui modélise :

$$p_{\theta}(\mathbf{y}|\mathbf{x}) = \frac{\exp\left\{\sum_{k=1}^{K} \theta_k G_k(\mathbf{x}, \mathbf{y})\right\}}{\sum_{\mathbf{y}' \in \mathcal{Y}^T} \exp\left\{\sum_{k=1}^{K} \theta_k G_k(\mathbf{x}, \mathbf{y}')\right\}} = \frac{1}{Z_{\theta}(\mathbf{x})} \exp\left\{\sum_{k=1}^{K} \theta_k G_k(\mathbf{x}, \mathbf{y})\right\}, \quad (1)$$

où $\mathbf{x}$ représente la séquence de $T$ morphèmes sources et $\mathbf{y}$ les étiquettes associées. Nous noterons $\mathcal{Y}$, l'ensemble des étiquettes possibles, ici restreint à deux possibilités $\mathcal{Y} = \{\text{LEX}, \text{GRAM}\}$. L'espace de recherche contenant l'ensemble des étiquetages possibles pour une phrase est alors égal à $\mathcal{Y}^T$. $\{G_k(\mathbf{x}, \mathbf{y}), k \in [1, K]\}$ sont les caractéristiques et $\theta \in \mathbb{R}^K$, le vecteur de paramètres associé. Une caractéristique teste des propriétés locales du couple $(\mathbf{x}, \mathbf{y})$ à une position donnée (unigramme) ou à deux positions consécutives (bigramme). Enfin, $Z_{\theta}(\mathbf{x})$ est la fonction de partition qui normalise sur tous les étiquetages possibles et permet d'interpréter (1) comme une probabilité. L'apprentissage des paramètres à partir d'un corpus associant morphèmes et étiquettes est un processus standard et amplement documenté.

Il est possible d'étendre ce modèle pour prédire chaque close grammaticale plutôt qu'une seule étiquette (GRAM). Ce changement implique un accroissement du nombre d'étiquettes possibles et de l'espace de recherche. Les calculs associés restent en effet réalisables même lorsque l'on considère plusieurs centaines d'étiquettes (Mueller et al., 2013; Lavergne & Yvon, 2017). Cette méthode est utilisée dans des travaux précédents de prédiction de gloses par (Moeller & Hulden, 2018; Barriga Martínez et al., 2021; Okabe & Yvon, 2022). Une fois les étiquettes grammaticales prédites par un CRF, les gloses lexicales (toutes regroupées sous l'étiquette LEX) sont annotées manuellement.

### Calcul des gloses lexicales
La prise en charge des gloses lexicales se heurte au problème de leur nombre et inventaire, non fixés au préalable. Deux hypothèses sont alors possibles :

H1 : considérer que seules les gloses lexicales observées à l'entraînement sont possibles, ce qui permet de spécifier globalement $\mathcal{Y}$, dont la taille pourra toutefois poser problème;

<footnote n="2">2. Le code pour reproduire les expériences est disponible à l'adresse : https://github.com/shuokabe/gloss_lost.</footnote>
H2 : supposer que les gloses lexicales peuvent également être déduites de la traduction, dans laquelle on peut s'attendre à retrouver les mêmes concepts évoqués. Cette hypothèse est notamment explorée par (McMillan-Major, 2020; Zhao et al., 2020).

Sous l'hypothèse [H2], que nous adoptons également ici, gloser revient à prédire, pour chaque morphème, soit une étiquette grammaticale, soit un mot de la traduction (plus précisément, son lemme). [H1] et [H2] ne sont pas complètement exclusives et il est aussi possible d'inclure (certains) des mots observés à l'entraînement, même s'ils n'apparaissent pas dans la traduction. Ceci s'avère en particulier nécessaire, comme dans l'exemple 1, car les gloses lexicales comme **God** ou **belt** ne peuvent pas être déduites de la seule traduction (même en explorant les synonymes). L'utilisation d'un lexique complémentaire permet donc d'associer une glose lorsque celle-ci ne figure pas dans la traduction. La figure 2 illustre notre formalisation pour la phrase de l'exemple 1.

<figure><img src="image_70.png" /><figcaption>FIGURE 2 – Illustration du calcul de gloses pour la phrase de l'exemple 1. La partie supérieure contient les gloses grammaticales ; la partie inférieure, un alignement partiel entre la source et la traduction, ainsi que les mots supplémentaires (issus d'un dictionnaire).</figcaption></figure>

Mettre en œuvre un modèle probabiliste inspiré de (1) demande de résoudre plusieurs problèmes : (a) définir les étiquetages possibles pour une phrase source donnée en exploitant les mots de la traduction et les gloses du corpus d'apprentissage, tout en prenant soin de contraindre l'espace de recherche associé pour que le calcul de $Z_θ$ reste faisable ; (b) définir les étiquetages de référence pour superviser l'apprentissage, car les alignements entre source et traduction ne sont pas observés ; (c) celui de définir l'ensemble des étiquetages possibles à l'inférence.

Notre approche propose des réponses à chacun de ces problèmes. Pour le problème (a), nous utilisons une spécification locale (phrase par phrase) de Y incluant : les lemmes de la traduction, les gloses lexicales non-présentes dans la traduction, des associations fréquentes listées dans un dictionnaire. Pour ce qui concerne le problème (b), nous exploitons des alignements déterministes obtenus avec SimAlign (section 2.2) pour superviser l'apprentissage (cf. figure 2). Enfin, pour (c), nous augmentons à l'inférence l'espace de recherche avec d'autres mots-candidats, en nous basant sur un dictionnaire issu des données d'entraînement. Notre implémentation s'inspire de Lost (Lavergne et al., 2011, 2013), un modèle probabiliste conçu pour la traduction automatique, qui permet de spécifier localement l'espace de recherche associé à un modèle globalement normalisé (section 2.3).

## 2.2 Supervision des alignements de gloses lexicales avec SimAlign

L'étape d'apprentissage du modèle CRF étendu demande de définir les étiquetages possibles pour chaque phrase, et au sein de cet ensemble, ceux qui sont jugés corrects. Selon [H2], nous supposons
que les étiquettes lexicales constituent un sous-ensemble des mots<fnref n="3" /> apparaissant dans la traduction. Les étiquettes correctes (l'association entre morphèmes sources et mots de la traduction) ne sont pas observées : dans ce travail, nous les calculons de manière automatique en exploitant les gloses lexicales disponibles (voir exemple en figure 3) par alignement mot-à-mot entre glose et traduction.

**SimAlign** L'alignement automatique de mots est réalisé par SimAlign (Jalili Sabet et al., 2020), un modèle d'alignement neuronal basé sur la similarité entre plongements lexicaux de mots. SimAlign implante plusieurs méthodes pour obtenir un alignement à partir d'une matrice de similarité :

- Argmax aligne deux mots s'ils sont mutuellement plus proches voisins;

- Match considère l'alignement comme un problème de couplage (*matching*) maximal dans le graphe biparti des mots sources et cibles, en utilisant les similarités pour pondérer les arêtes.

Ces deux méthodes produisent des alignements symétriques, dans lesquels chaque mot de la glose est associé au plus à un mot de la traduction (et réciproquement). Comme nous travaillons sur des gloses et des traductions en anglais, nous utilisons le modèle BERT anglais (BERT-base) (Devlin et al., 2019) pour calculer les similarités. Nos expériences préliminaires montrent que les plongements lexicaux à la sortie de la couche 0 aboutissent au meilleur alignement glose-traduction, probablement dû à l'ordre très différent des gloses lexicales par rapport à l'anglais et l'absence de mots outils dans les gloses.

**Comparaison des deux méthodes** Match identifie par construction un alignement pour chaque glose lexicales<fnref n="4" /> et conduit donc à un score de rappel élevé. En comparaison, Argmax propose moins de liens d'alignement, mais avec une meilleure précision. Des statistiques sur les alignements ainsi obtenus sont données en section 3.1.

<figure><img src="image_71.png" /><figcaption>FIGURE 3 – Exemple d'alignements calculés par SimAlign (haut ; heuristique Argmax en noir, rouge et noir pour Match) et d'étiquettes obtenues en les utilisant (bas). Les différences sont en gras.</figcaption></figure>

La figure 3 présente un exemple de phrase étiquetée en utilisant les alignements obtenus par ces deux méthodes. La différence principale réside dans les deux gloses lexicales khan et turn.back qui ne sont pas présentes dans la traduction. Pour la première, SimAlign trouve correctement l'association entre khan et king, ce qui permet d'obtenir une étiquette de sens similaire depuis la traduction. Dans le second cas, Match identifie deux liens pour turn.back<fnref n="5" />, alors que Argmax n'en identifie qu'un.

<footnote n="3">3. L'alignement est effectué avec la traduction telle quelle, mais les étiquettes associées correspondent aux lemmes des mots identifiés par alignement.</footnote>

<footnote n="4">4. Sauf quand la traduction comporte moins d'unités que de gloses lexicales (soit 31 phrases dans nos expériences).</footnote>

<footnote n="5">5. Lors de l'alignement, le « . » est enlevé, d'où les deux liens d'alignement. Ce choix nous a permis d'obtenir de meilleurs résultats d'alignements dans des expériences préliminaires.</footnote>
**Cas des gloses non-alignées** Dans les cas où SimAlign n'identifie pas de liens d'alignement pour une glose, nous attribuons une étiquette dédiée (« *unk* »). Cette dernière pouvant concerner une proportion non-négligeable dans le corpus, en particulier dans le cas de Argmax (voir section 3.1), nous complétons ces alignements en exploitant un dictionnaire. Ce dernier associe à tout morphème *source*, l'étiquette lexicale qui lui est la plus souvent associée dans la base d'entraînement. Ce « lexique » est ensuite utilisé pour éventuellement attribuer une étiquette lorsque l'alignement fait défaut. Nous assignons ainsi aux morphèmes soit les lemmes des mots de la traduction, soit, en l'absence d'alignement, des étiquettes supplémentaires obtenues via le dictionnaire (cf. figure 2).

## 2.3 Mise en œuvre de Lost pour la prédiction de gloses

Notre implémentation du modèle probabiliste pour la prédiction de gloses repose sur le système Lost (Lavergne et al., 2011, 2013) conçu originellement dans un cadre de traduction statistique.

Lost est un modèle de traduction à base de segments qui étend les CRF de manière à prendre en charge de très grands ensembles d'étiquettes et de caractéristiques, afin de pouvoir associer aux segments sources des étiquettes correspondant à leurs traductions en langue cible. Dans cette implémentation, il est possible de circonscrire l'ensemble des étiquetages possibles pour chaque phrase, sur la base d'un ensemble réduit d'étiquettes pour chaque mot à annoter. Limiter l'espace de recherche rend l'apprentissage computationnellement faisable en simplifiant le calcul de $Z_θ(x)$ dans l'équation (1).

**Espace de recherche** Selon [H2], l'espace de recherche est restreint à l'ensemble des étiquettes grammaticales observées à l'entraînement, complété par des lemmes des mots dans la traduction de la phrase traitée (cf. figure 2). À l'apprentissage, nous ajoutons à cet ensemble les gloses des morphèmes non-alignés pour que toute phrase de référence soit atteignable ; à l'inférence, les gloses de référence sont inconnues, et nous ajoutons pour chaque morphème connu l'étiquette lexicale la plus fréquemment associée dans l'ensemble d'apprentissage, conduisant à mettre en œuvre un croisement des hypothèses [H1] & [H2].

**Étiquettes simples** Notre première configuration utilise la partie supérieure des caractéristiques présentées dans le tableau 1. Cette configuration est illustrée dans la figure 4 : en entrée, Lost reçoit pour chaque morphème *source* *m*, sa position *t* au sein du mot et sa longueur *l* ; en sortie le modèle prédit uniquement la glose *g*, supervisée par les liens d'alignement (section 2.2).

**Étiquettes structurées** La configuration avec étiquettes structurées enrichit la représentation de la sortie de deux informations : d'une part, une étiquette binaire *b* (GRAM ou LEX) indiquant la nature de la glose, d'autre part, l'étiquette en partie du discours (PoS) *p* associée au mot aligné dans la phrase traduite. Ces deux informations, qui dérivent de manière déterministe de l'étiquette de base, permettent de construire des caractéristiques supplémentaires (cf. partie inférieure du tableau 1) dont l'estimation est plus robuste^6^. Elles permettent également de généraliser l'étiquetage à des morphèmes inconnus.

<footnote n="6">6. Pour les étiquettes lexicales issues du dictionnaire, nous utilisons le PoS qui lui est le plus fréquemment associé dans le corpus d'apprentissage.</footnote>
<table><caption>TABLE 1 – Caractéristiques unigrammes et bigrammes pour le modèle avec étiquettes simples (haut) et structurées (haut + bas).</caption><thead><tr><th>Caractéristique</th><th>Test</th><th>Exemple (cf. figure 4, i = 4))</th></tr></thead><tbody><tr><td>uni-gloss</td><td>1(g<sub>i</sub> = g)</td><td>PST.UNW</td></tr><tr><td>bi-gloss</td><td>1(g<sub>i</sub> = g) ∧ 1(g<sub>i-1</sub> = g')</td><td>(say, PST.UNW)</td></tr><tr><td>uni-gloss-morph</td><td>1(g<sub>i</sub> = g) ∧ 1(m<sub>i</sub> = m)</td><td>n</td></tr><tr><td>uni-gloss-position</td><td>1(g<sub>i</sub> = g) ∧ 1(t<sub>i</sub> = t)</td><td>1</td></tr><tr><td>uni-gloss-length</td><td>1(g<sub>i</sub> = g) ∧ 1(l<sub>i</sub> = l)</td><td>1</td></tr><tr><td>bi-gloss-morph</td><td>1(g<sub>i</sub> = g) ∧ 1(g<sub>i-1</sub> = g') ∧ 1(m<sub>i</sub> = m)</td><td>(say, PST.UNW, n)</td></tr><tr><td>uni/bi-bin</td><td>1(b<sub>i</sub> = b) (∧1(b<sub>i-1</sub> = b'))</td><td>GRAM ((LEX, GRAM))</td></tr><tr><td>uni/bi-pos</td><td>1(p<sub>i</sub> = p) (∧1(p<sub>i-1</sub> = p'))</td><td>GRAM ((VERB, GRAM))</td></tr><tr><td>uni-bin-morph/position/length</td><td>1(b<sub>i</sub> = b) ∧ 1(m<sub>i</sub> = m)/1(t<sub>i</sub> = t)/1(l<sub>i</sub> = l)</td><td>(GRAM, n) / (GRAM, 1) / (GRAM, 1)</td></tr><tr><td>bi-bin-gloss</td><td>1(g<sub>i</sub> = g) ∧ 1(b<sub>i-1</sub> = b')</td><td>(LEX, PST.UNW)</td></tr><tr><td>bi-gloss-bin</td><td>1(b<sub>i</sub> = b) ∧ 1(g<sub>i-1</sub> = g')</td><td>(say, GRAM)</td></tr><tr><td>uni-pos-morph</td><td>1(p<sub>i</sub> = p) ∧ 1(g<sub>i</sub> = g)</td><td>(GRAM, n)</td></tr><tr><td>bi-pos-gloss</td><td>1(g<sub>i</sub> = g) ∧ 1(p<sub>i-1</sub> = p')</td><td>(VERB, PST.UNW)</td></tr><tr><td>bi-gloss-pos</td><td>1(p<sub>i</sub> = p) ∧ 1(g<sub>i-1</sub> = g')</td><td>(say, GRAM)</td></tr></tbody></table>

<table><caption>FIGURE 4 – Exemple de configuration pour « q'orol γ<sup>6</sup>anabi-a eλi-n » (the widow said). L'espace de recherche est défini localement par $\mathcal{Y} = \{\text{étiquettes grammaticales}\} \cup \{\text{the, widow, say, unk}\}$.</caption><thead><tr><th rowspan="2">i</th><th colspan="3">Entrées</th><th colspan="3">Sorties</th><th>Référence</th></tr><tr><th>morphème<br>source m</th><th>position<br>(mot) t</th><th>longueur l</th><th>glose<br>approximée g</th><th>GRAM ou<br>LEX b</th><th>étiquette<br>PoS p</th><th>glose de<br>référence</th></tr></thead><tbody><tr><td>0</td><td>q'orol</td><td>0</td><td>6</td><td>widow</td><td>LEX</td><td>NOUN</td><td>widowed</td></tr><tr><td>1</td><td>γ<sup>6</sup>anabi</td><td>0</td><td>7</td><td>the</td><td>LEX</td><td>DET</td><td>woman</td></tr><tr><td>2</td><td>a</td><td>1</td><td>1</td><td>ERG</td><td>GRAM</td><td>GRAM</td><td>ERG</td></tr><tr><td>3</td><td>eλi</td><td>0</td><td>3</td><td>say</td><td>LEX</td><td>VERB</td><td>say</td></tr><tr><td>4</td><td>n</td><td>1</td><td>1</td><td>PST.UNW</td><td>GRAM</td><td>GRAM</td><td>PST.UNW</td></tr></tbody></table>

## 2.4 Conditions expérimentales

**Langue** Nous étudions principalement le tsez, une langue nakho-daghestanienne parlée dans la république du Daghestan en Russie. Elle est actuellement en cours de documentation (Comrie & Polinsky, à paraître).

Le corpus sur lequel nous travaillons est constitué de récits du folklore, entièrement glosés et traduits en anglais et en russe (Abdulaev & Abdulaev, 2010). Il est constitué de 2 000 phrases avec 40 229 occurrences de morphèmes et 1 603 types de morphèmes (ce qui correspond à 20 153 occurrences de mots). Il existe 157 gloses grammaticales représentant 54 % des étiquettes du corpus et 1 363 gloses lexicales. Dans la mesure où les étiquettes lexicales correspondent à des lemmes en langue anglaise, nous utilisons les traductions en anglais pour calculer les gloses. Notons toutefois que le modèle d'alignement est lui multilingue et pourrait s'appuyer sur les traductions en russe. Ce corpus a, par ailleurs, déjà été étudié dans (Zhao et al., 2020) pour la même tâche<sup>7</sup>. Le tsez fait également partie des langues considérées par le défi organisé en 2023 et visant à évaluer le calcul automatique de gloses interlinéaires<sup>8</sup>.

<footnote n="7">7. Les auteurs ayant un autre découpage du texte (1 782 phrases au total), leurs résultats ne se comparent pas directement aux nôtres. À titre indicatif, ces auteurs obtiennent une correction de 87 avec leurs modèles neuronaux et le modèle à base de CRF de (McMillan-Major, 2020) utilisé comme baseline, obtient un score de 84.</footnote>

<footnote n="8">8. https://github.com/sigmorphon/2023GlossingST.</footnote>
Nous divisons le corpus en trois sous-parties cohérentes : 200 phrases pour les jeux de développement et de test, et un jeu d'entraînement de taille variable (200, 500, 1 000 et 1 600), ce qui nous permet d'étudier l'évolution des performances du modèle en fonction des données disponibles. Nous conservons l'ordre des phrases dans le corpus afin de préserver la cohérence des récits.

**Métrique** Nous donnerons principalement le taux de correction des étiquettes, à savoir la proportion d'étiquettes correctement prédites. Dans nos analyses, nous nous intéressons aussi au rappel différencié selon la nature du morphème (grammaticale ou lexicale).

**Paramétrage** Nous avons utilisé les paramètres par défaut de Lost. Si Lost permet une régularisation *elastic net*, nous n'utilisons que la régularisation $l_1$ (paramétrage par défaut avec un poids de 0,5), qui, d'après les expériences préliminaires, semble suffisante. Nous stoppons l'apprentissage après 15 itérations complètes. Pour la lemmatisation et la génération des étiquettes de PoS des traductions en anglais, nous utilisons spaCy<fnref n="9" />.

**Baseline** Le modèle de référence (maj) affecte l'étiquette majoritaire observée dans la base d'apprentissage. Comme il n'utilise que les associations entre morphème source et glose déjà vus, il reproduit en quelque sorte le système de « lexique » présent dans certains outils d'annotation tels que ELAN-CorpA ou FieldWorks Language Explorer (FLEx) (Rogers, 2010).

# 3 Résultats expérimentaux

Dans cette section, nous cherchons tout d'abord à vérifier la validité de l'hypothèse [H2], à savoir la présence des gloses lexicales dans la traduction (section 3.1). Ensuite, nous comparons les performances des configurations, de manière générale et séparée sur les deux catégories de gloses, puis évaluons l'impact de l'alignement et du dictionnaire sur les prédictions (section 3.2).

## 3.1 Statistiques sur les étiquettes obtenues par alignement

Nous étudions tout d'abord les étiquettes obtenues par alignement. Quelle proportion de gloses lexicales parvient-on à aligner automatiquement ? De plus, nous supposons que les gloses lexicales peuvent être retrouvées dans la traduction : dans quelle mesure est-ce vérifié dans nos projections d'alignements ?

**Couverture des gloses obtenues par alignement** Le tableau 2 présente le nombre (d'occurrences) et la proportion<fnref n="10" /> d'étiquettes lexicales non-alignées avec les deux méthodes de SimAlign. La méthode *Match*, par construction, aligne (presque) toutes les gloses lexicales ; l'apport d'un lexique y est donc limité. En revanche, pour la méthode *Argmax*, qui laisse non-alignées près de 20 % de gloses lexicales, l'utilisation du dictionnaire est essentielle et permet d'aligner plus de 95% des morphèmes dès que l'on dispose de 500 phrases d'entraînement.

<footnote n="9">9. https://spacy.io/, pipeline en_core_web_sm.</footnote>

<footnote n="10">10. Il y a 18,635 gloses lexicales au total.</footnote>
<table><caption>TABLE 2 – Occurrences (et proportion) de gloses lexicales non-alignées par SimAlign et éventuellement complétées par un dictionnaire créé à partir d'un corpus d'apprentissage.</caption><thead><tr><th rowspan="2">Taille du corpus</th><th>base</th><th colspan="4">+ dictionnaire</th></tr><tr><th>/</th><th>200</th><th>500</th><th>1 000</th><th>1 600</th></tr></thead><tbody><tr><td>Argmax</td><td>3 615 (19,4 %)</td><td>1 223 (6,6 %)</td><td>858 (4,6 %)</td><td>733 (3,9 %)</td><td>627 (3,4 %)</td></tr><tr><td>Match</td><td>35 (0,2 %)</td><td>18 (0,1 %)</td><td>16 (0,1 %)</td><td>9 (0,0 %)</td><td>9 (0,0 %)</td></tr></tbody></table>

## Comparaison avec les gloses de référence

Le tableau 3 présente la proportion d'étiquettes obtenues par alignement qui correspondent exactement aux gloses de référence : 80 % des gloses de référence sont prédictibles directement en se basant sur des projections d'alignement depuis la traduction. Comme nous mesurons des correspondances exactes, il est probable que ce taux serait plus élevé si l'on tenait compte des proximités sémantiques (comme khan et king dans l'exemple de la figure 3). Ce premier résultat conforte l'hypothèse [H2].

Dans le cas de base (sans dictionnaire), la méthode Match obtient bien une valeur bien plus élevée qu'Argmax. La différence entre les méthodes reste toutefois faible au regard du nombre d'alignements supplémentaires identifiés par Match (cf. tableau 2), qui correspondent souvent à des erreurs (the / woman figure 4) plutôt qu'à des mots sémantiquement proches.

En utilisant le dictionnaire créé avec les données d'entraînement, toutefois, la tendance s'inverse : si la qualité des étiquettes stagne avec Match, elle s'améliore significativement avec Argmax. Bien que certains morphèmes restent non-alignés, l'emploi d'un dictionnaire permet néanmoins de se rapprocher des données de référence, tout en restant compatible avec les conditions du test. Dans notre approche, il reste toujours possible que certains morphèmes reçoivent l'étiquette conventionnelle « unk » à l'apprentissage ou au test, leur désambiguïsation restant alors à la charge d'un annotateur.

<table><caption>TABLE 3 – Correspondances exactes entre les gloses de référence et celles obtenues par alignement.</caption><thead><tr><th rowspan="2">Taille du corpus</th><th>base</th><th colspan="4">+ dictionnaire</th></tr><tr><th>/</th><th>200</th><th>500</th><th>1 000</th><th>1 600</th></tr></thead><tbody><tr><td>Argmax</td><td>80,7</td><td>84,3</td><td>85,1</td><td>85,0</td><td>85,2</td></tr><tr><td>Match</td><td>81,5</td><td>81,5</td><td>81,5</td><td>81,5</td><td>81,6</td></tr></tbody></table>

## 3.2 Résultats de l'étiquetage

Le tableau 4 présente le score de correction des différentes configurations présentées en section 2.3 et le tableau 5 détaille le rappel pour les deux catégories de gloses. Nous remarquons tout d'abord que la baseline maj est dans nos conditions expérimentales, un modèle d'étiquetage compétitif, avec les meilleurs résultats au niveau des gloses lexicales, pour toute taille de corpus d'entraînement.

L'utilisation du modèle probabiliste permet toutefois de mieux prédire les gloses grammaticales, qui sont plus ambiguës, et s'avère globalement meilleur que la baseline à partir de 1 000 phrases environ. Concernant Lost, les configurations avec dictionnaire s'avèrent toujours meilleures que leur équivalent sans dictionnaire. Ceci illustre le bénéfice de l'augmentation de l'espace de recherche par des lemmes probables (d'après le morphème source) mais absents de la traduction, comme en témoigne également la hausse du rappel pour les gloses lexicales (cf. tableau 5). L'utilisation d'étiquettes structurées
<table><caption>TABLE 4 – Évolution de la correction selon la taille des données d’entraînement. Pour comparer avec chaque méthode d’alignement, les résultats de maj (qui lui n’en dépend pas) sont répétés.</caption><thead><tr><th rowspan="2">Configuration</th><th rowspan="2"></th><th colspan="3">base</th><th colspan="2">dict</th></tr><tr><th>maj</th><th>simple</th><th>struct.</th><th>simple</th><th>struct.</th></tr></thead><tbody><tr><td rowspan="4">Argmax</td><td>200</td><td><b>64,1</b></td><td>54,0</td><td>53,9</td><td>57,7</td><td>59,2</td></tr><tr><td>500</td><td><b>72,5</b></td><td>62,4</td><td>63,5</td><td>69,6</td><td>71,3</td></tr><tr><td>1000</td><td>74,9</td><td>67,3</td><td>68,3</td><td>73,6</td><td><b>75,3</b></td></tr><tr><td>1600</td><td>77,1</td><td>69,6</td><td>71,1</td><td>77,1</td><td><b>77,8</b></td></tr><tr><td rowspan="4">Match</td><td>200</td><td><b>64,1</b></td><td>55,5</td><td>56,3</td><td>59,2</td><td>59,7</td></tr><tr><td>500</td><td><b>72,5</b></td><td>64,1</td><td>65,8</td><td>69,3</td><td>71,0</td></tr><tr><td>1000</td><td>74,9</td><td>68,6</td><td>69,5</td><td>74,1</td><td><b>76,0</b></td></tr><tr><td>1600</td><td>77,1</td><td>71,0</td><td>72,0</td><td>77,4</td><td><b>78,1</b></td></tr></tbody></table>

<table><caption>TABLE 5 – Scores de rappel différenciés selon la nature de la glose. $P_{lex}^0$ indique la proportion d’étiquettes lexicales présentes à l’inférence mais jamais observées à l’entraînement.</caption><thead><tr><th rowspan="2">Configuration</th><th rowspan="2"></th><th rowspan="2">P<sup>0</sup><sub>lex</sub></th><th colspan="2">maj</th><th colspan="4">base</th><th colspan="4">dict</th></tr><tr><th>gram</th><th>lex</th><th>simple gram</th><th>simple lex</th><th>structuré gram</th><th>structuré lex</th><th>simple gram</th><th>simple lex</th><th>structuré gram</th><th>structuré lex</th></tr></thead><tbody><tr><td rowspan="4">Argmax</td><td>200</td><td>32,3 %</td><td>71,2</td><td><b>56,1</b></td><td><b>81,6</b></td><td>23,4</td><td>80,0</td><td>25,1</td><td>78,5</td><td>34,7</td><td>79,8</td><td>36,4</td></tr><tr><td>500</td><td>16,9 %</td><td>72,4</td><td><b>72,7</b></td><td>85,8</td><td>36,5</td><td><b>86,5</b></td><td>38,0</td><td>83,9</td><td>53,8</td><td>86,3</td><td>54,8</td></tr><tr><td>1000</td><td>9,9 %</td><td>72,8</td><td><b>77,3</b></td><td>89,2</td><td>42,9</td><td>89,4</td><td>45,0</td><td>88,7</td><td>56,9</td><td><b>90,0</b></td><td>59,1</td></tr><tr><td>1600</td><td>4,5 %</td><td>73,0</td><td><b>81,6</b></td><td>90,5</td><td>46,5</td><td><b>91,0</b></td><td>49,0</td><td>90,1</td><td>62,7</td><td>90,8</td><td>63,5</td></tr><tr><td rowspan="4">Match</td><td>200</td><td>32,3 %</td><td>71,2</td><td><b>56,1</b></td><td>79,3</td><td>29,1</td><td>79,2</td><td>30,9</td><td><b>80,5</b></td><td>35,6</td><td>80,1</td><td>37,2</td></tr><tr><td>500</td><td>16,9 %</td><td>72,4</td><td><b>72,7</b></td><td>84,9</td><td>41,1</td><td>86,4</td><td>43,1</td><td>85,0</td><td>51,9</td><td><b>87,0</b></td><td>53,3</td></tr><tr><td>1000</td><td>9,9 %</td><td>72,8</td><td><b>77,3</b></td><td>88,2</td><td>46,9</td><td>88,8</td><td>48,0</td><td>88,2</td><td>58,5</td><td><b>89,2</b></td><td>61,3</td></tr><tr><td>1600</td><td>4,5 %</td><td>73,0</td><td><b>81,6</b></td><td>89,2</td><td>50,8</td><td><b>90,3</b></td><td>51,6</td><td>88,9</td><td>64,7</td><td>89,8</td><td>65,1</td></tr></tbody></table>

améliore sensiblement les prédictions, illustrant l’intérêt des caractéristiques supplémentaires faisant intervenir des catégories plus générales (et robustes) comme GRAM, LEX ou les PoS. Enfin les deux méthodes d’alignement de SimAlign sont très proches, avec un petit avantage pour Match. Une explication est que cette méthode génère moins d’étiquettes *unk* qu’Argmax; par exemple, pour la configuration utilisant des étiquettes structurées et un dictionnaire, le premier produit environ 3 % d’étiquettes inconnues, contre 7 % pour le second.

Il faut finalement rappeler que les résultats du tableau 4 évaluent les correspondances *exactes* entre les gloses de référence et les prédictions et sous-estiment la qualité des gloses automatiques. Ceci est illustré par la figure 3 où les modèles basés sur Lost proposent *king*, pourtant comptabilisé comme une erreur car différant de la référence (kahn).

## 4 Conclusion

Dans cet article, nous avons présenté une nouvelle approche pour aborder la tâche de génération automatique de gloses linéaires. D'une part, après avoir validé l'hypothèse que les gloses lexicales sont le plus souvent présentes dans les traductions, nous avons utilisé des alignements automatiques pour superviser l'apprentissage d'un modèle de glose, en complétant éventuellement avec un dictionnaire. D'autre part, nous avons eu recours à une extension du modèle CRF, Lost, permettant de restreindre
et sélectionner les gloses lexicales possibles pour une phrase donnée. Dans nos conditions expéri-
mentales, nous parvenons alors à surpasser le modèle de base avec 1 000 phrases d'entraînement,
l'apprentissage améliorant en particulier les gloses grammaticales.

Ces résultats sous-estiment la qualité des gloses automatiques, du fait de la mesure considérée : pour quantifier cette sous-estimation, nous prévoyons de réaliser un alignement manuel entre source et traduction, afin de disposer de références qui correspondent exactement au problème d'apprentissage traité. Pour le futur, plusieurs pistes sont explorées, en particulier l'utilisation des jeux de caractéristiques plus riches et l'exploration des manières alternatives de construire l'espace de recherche pour l'étiquetage. Il serait par exemple intéressant d'exploiter également des alignements entre mots/morphèmes grammaticaux (en source et en cible) qui pourraient aider à mieux localiser les morphèmes pleins qui leur sont proches. Pour améliorer l'apprentissage, il est aussi envisagé de relâcher les contraintes découlant de l'utilisation d'un alignement (ici, calculé par SimAlign) et d'apprendre le modèle probabiliste avec des alignements latents. Une autre perspective est d'augmenter la base de données utilisées à l'apprentissage en combinant des corpus documentant plusieurs langues : l'objectif sera alors de faire émerger des caractéristiques « multilingues » dans les langues documentées pour améliorer la robustesse de caractéristiques testant des propriétés génériques (par exemple, la longueur ou la position relative des morphèmes grammaticaux vs. non-grammaticaux).

Remerciements

Ce travail est effectué dans le cadre du projet franco-allemand ANR-DFG « La documentation
automatique des langues à l'horizon 2025 » (Computational Language Documentation by 2025, CLD
2025, ANR-19-CE38-0015-04). Les auteurs remercient chaleureusement Thomas Lavergne pour
l'accompagnement dans les expériences avec Lost, ainsi qu'Antonios Anastasopoulos pour la mise à
disposition du corpus tsez.

Références

ABDULAEV A. K. & ABDULAEV I. K. (2010). *Cezjas fol'klor* : (gíurus mecrek°iorno butirno) = *Dido* (Tsez) folklore = *Didojskij* (cezskij) fol'klor. Leipzig : Lotos.

BALDRIDGE J. & PALMER A. (2009). How well does active learning *actually* work? Time-based evaluation of cost-reduction strategies for language documentation. In *Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing*, p. 296–305, Singapore : Association for Computational Linguistics.

BARRIGA MARTÍNEZ D., MIJANGOS V. & GUTIERREZ-VASQUES X. (2021). Automatic inter-linear glossing for Otomi language. In *Proceedings of the First Workshop on Natural Language Processing for Indigenous Languages of the Americas*, p. 34–43, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2021.americasnlp-1.5.

BICKEL B., COMRIE B. & HASPELMATH M. (2008). The Leipzig Glossing Rules : Conventions for interlinear morpheme-by-morpheme glosses. Leipzig : Max Planck Institute for Evolutionary Anthropology, Department of Linguistics. https://www.eva.mpg.de/lingua/resources/glossing-rules.php.
COMRIE B. & POLINSKY M. (à paraître). Tsez. In Yuri Koryakov, Yury Lander and Timur Maisak (eds.) *The Caucasian Languages. An International Handbook*. Mouton. HSK series.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota: Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423.

JALILI SABET M., DUFTER P., YVON F. & SCHÜTZE H. (2020). SimAlign: High quality word alignments without parallel training data using static and contextualized embeddings. In *Findings of the Association for Computational Linguistics: EMNLP 2020*, p. 1627–1643, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.findings-emnlp.147.

LAFFERTY J. D., MCCALLUM A. & PEREIRA F. C. N. (2001). Conditional random fields: Probabilistic models for segmenting and labeling sequence data. In *Proceedings of the Eighteenth International Conference on Machine Learning*, ICML ’01, p. 282–289, San Francisco, CA, USA: Morgan Kaufmann Publishers Inc.

LAVERGNE T., ALLAUZEN A., CREGO J. M. & YVON F. (2011). From n-gram-based to CRF-based translation models. In *Proceedings of the Sixth Workshop on Statistical Machine Translation*, p. 542–553, Edinburgh, Scotland: Association for Computational Linguistics.

LAVERGNE T., ALLAUZEN A. & YVON F. (2013). Un cadre d’apprentissage intégralement discriminant pour la traduction statistique. In *Actes de la 20ème Conférence sur le Traitement Automatique des Langues Naturelles*, p. 450–463, Les Sables d’Olonne, France: ATALA. HAL: hal-01908381.

LAVERGNE T. & YVON F. (2017). Learning the structure of variable-order CRFs: a finite-state perspective. In *Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing*, EMNLP 2017, p. 433–439: Association for Computational Linguistics. DOI: 10.18653/v1/D17-1044.

MCMILLAN-MAJOR A. (2020). Automating gloss generation in interlinear glossed text. In *Proceedings of the Society for Computation in Linguistics 2020*, p. 355–366, New York, New York: Association for Computational Linguistics.

MOELLER S. & HULDEN M. (2018). Automatic glossing in a low-resource setting for language documentation. In *Proceedings of the Workshop on Computational Modeling of Polysynthetic Languages*, p. 84–93, Santa Fe, New Mexico, USA: Association for Computational Linguistics.

MUELLER T., SCHMID H. & SCHÜTZE H. (2013). Efficient higher-order CRFs for morphological tagging. In *Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing*, p. 322–332, Seattle, Washington, USA: Association for Computational Linguistics.

OKABE S. & YVON F. (2022). Vers la génération automatique de glosses pour la documentation automatique des langues. In L. BECERRA, B. FAVRE, C. GARDENT & Y. PARMENTIER, Éds., *Journées Jointes des Groupements de Recherche Linguistique Informatique, Formelle et de Terrain (LIFT) et Traitement Automatique des Langues (TAL)*, p. 198–203, Marseille, France: CNRS. HAL: hal-03846843.

ROGERS C. (2010). Review of Fieldworks Language Explorer (FLEx) 3.0. In *Language Documentation & Conservation* 4, p. 78–84.

SAMARDŽIĆ T., SCHIKOWSKI R. & STOLL S. (2015). Automatic interlinear glossing as two-level sequence classification. In *Proceedings of the 9th SIGHUM Workshop on Language Technology*
*for Cultural Heritage, Social Sciences, and Humanities (LaTeCH)*, p. 68–72, Beijing, China : Association for Computational Linguistics. DOI : 10.18653/v1/W15-3710.

SEIFART F., EVANS N., HAMMARSTRÖM H. & LEVINSON S. (2018). Language documentation twenty-five years on. *Language*, **94**(4), e324–e345. DOI: 10.1353/lan.2018.0070.

TELLIER I. & TOMMASI M. (2011). Champs Markoviens Conditionnels pour l'extraction d'information. In E. GAUSSIER & F. YVON, Éds., *Modèles probabilistes pour l'accès à l'information textuelle*, p. 223–267. Hermès. HAL : inria-00514525.

ZHAO X., OZAKI S., ANASTASOPOULOS A., NEUBIG G. & LEVIN L. (2020). Automatic interlinear glossing for under-resourced languages leveraging translations. In *Proceedings of the 28th International Conference on Computational Linguistics*, p. 5397–5408, Barcelona, Spain (Online) : International Committee on Computational Linguistics. DOI : 10.18653/v1/2020.coling-main.471.
# Intégration de connaissances structurées par synthèse de texte
spécialisé

Guilhem Piat¹,² Ellington Kirby¹ Julien Tourille²
Nasredine Semmar² Alexandre Allauzen¹ Hassane Essafi²

(1) Université Paris Dauphine, F-75775, Paris Cedex 16, France
(2) Université Paris-Saclay, CEA, List, F-91120, Palaiseau, France
{prenom}.{nom}@dauphine.psl.eu, {pnom}.{nom}@cea.fr

## RÉSUMÉ

Les modèles de langue de type Transformer peinent à incorporer les modifications ayant pour but d'intégrer des formats de données structurés non-textuels tels que les graphes de connaissances. Les exemples où cette intégration est faite avec succès requièrent généralement que le problème de désambiguïsation d'entités nommées soit résolu en amont, ou bien l'ajout d'une quantité importante de texte d'entraînement, généralement annotée. Ces contraintes rendent l'exploitation de connaissances structurées comme source de données difficile et parfois même contre-productive. Nous cherchons à adapter un modèle de langue au domaine biomédical en l'entraînant sur du texte de synthèse issu d'un graphe de connaissances, de manière à exploiter ces informations dans le cadre d'une modalité maîtrisée par le modèle de langage.

## ABSTRACT

### Knowledge Integration by In-domain Text Generation

Transformer-based language models have trouble integrating modifications whose purpose is to incorporate knowledge from structured, non-textual data such as knowledge graphs. Instances where this integration is successful generally require the problem of Entity Linking to be solved upstream, or the addition of a significant amount of (generally annotated) text to the training set. These constraints often make leveraging structured data difficult and/or counterproductive. We seek to adapt a language model to the biomedical domain through training on synthetic text derived from a knowledge graph, such that the information therein can be effectively leveraged in a format which the model can handle natively.

**MOTS-CLÉS** : Intégration de connaissances ; Génération de texte ; Adaptation au domaine ; Modèle de langage biomédical.

**KEYWORDS:** Knowledge integration ; Text generation ; Domain adaptation ; Biomedical language model.

# 1 Introduction et travaux connexes

En raison du vocabulaire spécialisé et de la spécificité des concepts traités dans certains domaines de spécialité, les performances des modèles de langage pré-entraînés sur du texte général, tels que BERT (Devlin et al., 2019), ont tendance à souffrir dans ces domaines. Diverses approches de spécialisation existent, la plus notable et évidente d'entre elles étant la spécialisation par pré-

<figure><img src="image_72.png" /></figure>
entraînement sur du texte issu du domaine ciblé. La performance de cette approche a été étudiée par Gururangan et al. (2020) et El Boukkouri (2021), et de nombreux modèles ont été couronnés de succès en suivant cette méthode, comme par exemple LegalBERT (Chalkidis et al., 2020) dans le domaine légal et PatentBERT (Lee & Hsiang, 2020) dans le domaine des brevets. Dans le domaine biomédical, sur lequel nous décidons de nous focaliser (bien que les concepts dont nous traitons soient a priori applicables à tout domaine de spécialité), une variété de modèles appliquent la même méthode générale, comme BioBERT (Lee et al., 2019), BlueBERT (Peng et al., 2019) ou PubMedBERT (Gu et al., 2021). Cette approche n'est cependant pas sans défauts. En particulier, elle est susceptible à l'oubli catastrophique (Xu et al., 2020), et requiert une quantité importante de texte issu du domaine, ce qui n'est pas une option disponible dans tous les domaines de spécialité. De surcroît, comme observé par Zipf (1935), la distribution des mots dans langage naturel est fortement biaisée, ce qui a pour conséquence qu'accroître le nombre de concepts couverts par le corpus nécessite une augmentation exponentielle de la quantité de texte.

Une classe concurrente d'approches consiste à intégrer des informations issues d'une base de connaissance spécialisée. Diverses stratégies ont été mises en œuvre, comme l'utilisation du mécanisme d'attention des modèles Transformer pour combiner les informations issues des mots avec celles issues des entités (par ERNIE (Zhang et al., 2019), KnowBert (Peters et al., 2019), K-Adapter (Wang et al., 2021a) et DRAGON (Yasunaga et al., 2022) en particulier), l'alignement de plongements de mots et de plongements d'entités (KEPLER (Wang et al., 2021b), CODER (Yuan et al., 2022)), ou encore le changement de la fonction de coût en entraînement de manière à modéliser explicitement la synonymie des termes spécialisés (UmlsBERT (Michalopoulos et al., 2021)).

Bien que ces approches puissent donner des résultats remarquables, leur champ d'applicabilité est limité par le fait qu'elles ne permettent pas (ou peu) de réduction de la quantité de texte nécessaire à la spécialisation, et souvent même requièrent du texte aux entités annotées; or ces ressources ne sont pas disponibles pour tous les domaines. De plus, la majorité des approches requièrent, en entraînement comme, généralement, en déploiement, que les entités de la base de connaissance soient identifiées dans le texte pour fonctionner. Or, ce problème n'est pas résolu pour tous les domaines, et les meilleurs outils actuels sont gourmands en temps de calcul, limitant l'échelle à laquelle ils peuvent être déployées. A l'heure d'écriture, l'état de l'art en désambiguïsation d'entités nommées biomédicales (Bhowmik et al., 2021) atteint une F-mesure de 0,564 sur le corpus MedMentions (Mohan & Li, 2019).

Nous cherchons donc une méthode d'intégration de connaissances telle qu'aucun texte du domaine cible et aucune désambiguïsation — en entraînement comme en inférence — ne soient nécessaires. La combinaison de modalités différentes débouchant invariablement sur un besoin de données d'entraînement supplémentaires, nous cherchons à exploiter notre base de connaissance sous forme textuelle. Nous proposons une procédure permettant de générer un corpus contenant une phrase par paire de concepts liés par une relation dans une base de connaissance. Il est attendu qu'un corpus produit ainsi soit plus dense en informations factuelles liées au domaine que du texte naturel, et couvrira une plus grande variété de concepts pour le même volume de texte, la fréquence d'apparition des concepts étant dictée par la topologie du graphe de connaissances et non l'usage du langage naturel.
# 2 Méthode

## 2.1 Graphe de connaissances

Nous nous plaçons dans le cas où les nœuds de notre graphe de connaissances représentent des concepts et les arêtes des relations. Nous pouvons donc extraire des triplets $(c_i, r, c_j)$ tels qu'il existe un lien sémantique entre les concepts $c_i$ et $c_j$ qui peut être formulé en langage naturel. Spécifiquement, nous cherchons à associer des groupes nominaux $N_i$ à $c_i$ et $N_j$ à $c_j$, ainsi qu'un syntagme verbal $V_r$ à $r$ de sorte que la phrase $N_iV_rN_j$ soit une phrase grammaticalement correcte qui capture le sens de la relation dans le graphe. La base de connaissance peut ensuite être représentée par un ensemble de phrases factuelles, exploitable comme corpus d'apprentissage par un modèle de langue.

Nous utilisons le graphe de connaissances UMLS, dans sa version 2022AB, avec toutes et seulement les ressources anglophones. Il existe dans notre version de la base de connaissance 1008 types de relations et environ 4,6 millions d'entités distinctes pour un total d'environ 39,7 millions de triplets. Chaque concept dispose d'un identifiant unique $c$ et d'un ou plusieurs «noms» $N_c^1, \dots, N_c^{k_c}$, groupes nominaux qui correspondent à des formulations récurrentes du concept en langage naturel, et dont un est considéré préféré. Chaque type de relation est représenté par une courte chaîne de caractères $r$ proche du langage naturel, décrivant grossièrement la relation. Le graphe UMLS est représenté sous forme de base de données relationnelle, avec une table contenant les triplets d'intérêt, représentés de la manière suivante : $c_i, r, c_j$.

## 2.2 Génération de texte

Bien qu'il y ait un bénéfice potentiel évident à inclure, le cas échéant, plusieurs formulations pour chaque entité, plusieurs facteurs nous ont menés à conserver seulement le nom préféré de chaque concept :

- le niveau de redondance entre les noms est élevé, contenant principalement des doublons, des variations de casse et des variations d'accord au pluriel.

ex. : Le concept pour l'ADN a 88 noms, dont 20 occurrences de DNA, 15 variations de casse et d'accord en nombre sur Deoxyribonucleic Acid, 4 variations de casse et d'accord sur DNA molecule, et 10 combinaisons des termes susmentionnés avec des ordres et ponctuations différents.

- Chaque triplet étant constitué de deux concepts, le temps de calcul augmente quadratiquement avec le nombre total de noms lors de la résolution des triplets sous la forme $(c_j, r, c_i)$ à la forme $(N_{c_i}^{1,...,k_{c_i}}, r, N_{c_j}^{1,...,k_{c_j}})$.

- Inclure les noms non-préférés réduit l'homogénéité grammaticale des groupes nominaux (par ex., la grande majorité des noms préférés sont au singulier), complexifiant la tâche de générer des phrases grammaticalement correctes.

- Multiplier les occurrences des concepts associés à de nombreux noms induit un biais dans l'apprentissage qui n'est pas forcément désirable.

Étant donné le nombre important de triplets, la résolution des noms n'est pas traitable sur l'ensemble de la base de connaissances. De plus, tous les types de relation ne sont pas utiles ou documentés. Nous effectuons donc une sélection sur les types de relations. Nous commençons par éliminer les 925 relations les plus rares, qui constituent environ 15% des triplets. Ensuite, nous éliminons une relation de chaque paire de relations symétriques, c'est-à-dire que lorsqu'il existe deux relations $r_1$
et $r_2$ telles que $(c_i, r_1, c_j)$ représente la même information que $(c_j, r_2, c_i)$, nous ne conservons que la relation $r_1$. Environ 95% des relations font partie d'une paire symétrique, ce qui nous laisse 43 relations. Nous avons ensuite sélectionné les 28 relations qui avaient un sens apparent ou documenté et qui n'impliquaient pas principalement des concepts aux noms complexes comme des molécules ou protéines.

Une fois nos triplets $(N_{c_i}, r, N_{c_j})$ extraits de la base de connaissance, nous avons formulé une phrase-type par relation dans laquelle nous avons automatiquement inséré les noms d'entités correspondant aux triplets. Un échantillon des séquences ainsi générées depuis la base de connaissance UMLS se trouve en annexe A. Le corpus résultant est constitué d'environ 6 millions de phrases simples, ou 100 millions de mots. Nous appelons CSGU ce Corpus Synthétique Généré depuis UMLS.

## 2.3 Modèles de langue

Nous entraînons le modèle BERT (Devlin et al., 2019) pré-entraîné, spécifiquement dans sa version BERT$_{BASE}$, sur trois corpus différents<fnref n="1" />. Le premier est CSGU, et nous appelons le modèle résultant BERT$_{CSGU}$. De manière à évaluer l'efficacité de notre corpus synthétique vis-à-vis d'un corpus naturel, nous avons assemblé un second corpus de texte biomédical que nous appelons PMC, de volume similaire (environ 94 millions de mots) constitué d'une collection d'articles scientifiques en accès libre recueillis depuis PubMed Central. Nous appelons le modèle entraîné sur ce corpus BERT$_{PMC}$. De manière à étudier l'effet du texte de synthèse comme option d'augmentation de données, nous entraînons un modèle sur un corpus hybride constitué de la concaténation du corpus de synthèse et du corpus naturel. Cependant, l'ajout de données d'entraînement se faisant rarement au détriment du processus d'apprentissage, nous entraînons également un modèle sur la moitié du corpus hybride, de manière à ce que la quantité de données d'entraînement soit comparable aux autres modèles. Nous appelons ces modèles BERT$^{100\%}_{Hybr}$ et BERT$^{50\%}_{Hybr}$ respectivement. Les informations sur les hyperparamètres des modèles sont disponibles en annexe B.

Nous effectuons une batterie de tests sur chacun des modèles. Nous détaillons ces tests dans la section 3 et présentons les résultats sur les tâches biomédicales et générales dans les Tables 1 et 2 respectivement<fnref n="2" />.

# 3 Résultats expérimentaux

NB : Les tâches marquées par un obèle (†) sont altérées vis-à-vis du standard et les résultats ne sont pas nécessairement comparables à ceux de la littérature.

## 3.1 Complétion de phrases biomédicales à trous (MLM)

Le but de l'approche par intégration de connaissances étant de permettre au modèle de mieux modéliser les co-occurrences de concepts biomédicaux, nous cherchons à évaluer la capacité de

<footnote n="1">1. Le code pour l'entraînement des modèles et les informations nécessaires à la création des corpus est disponible sur notre dépôt GitHub.</footnote>

<footnote n="2">2. En supplément des résultats présentés ici, nous avons abordé la tâche de reconnaissance d'entités nommées i2b2 2010/n2c2 (Uzuner et al., 2011), mais ne rapportons pas les résultats car les différences de performance n'étaient pas statistiquement significatives.</footnote>
notre modèle à prédire les concepts masqués dans des contextes de phrases biomédicales. Les textes biomédicaux aux concepts annotés étant cependant rares, nous évaluons nos modèles sur la tâche de modélisation de langue par masquage de mots. Nous appliquons cette tâche à un corpus biomédical d'environ 12,6 millions de mots recueilli de la même manière que le corpus d'entraînement du modèle BERT<sub>PMC</sub>. Puisque tous les termes masqués ne seront pas des termes biomédicaux, une bonne performance sur cette tâche est indicative à la fois d'une bonne maîtrise du langage général et de la terminologie biomédicale.

Pour évaluer les performances de nos modèles sur cette tâche, nous utilisons un critère apparenté d'un point de vue théorique à la *perplexité*, définie dans les modèles de langue autorégressifs comme l'exponentielle de la moyenne des log-vraisemblances de la séquence, et équivalente à l'exponentielle de l'entropie croisée entre les données et les prédictions :

$$ \exp \left( -\frac{1}{N} \sum_{i=1}^{N} \mathbf{y}_i \cdot \log(\hat{\mathbf{y}}_i) \right) \qquad (1) $$

où $\mathbf{y}_i$ et $\hat{\mathbf{y}}_i$ sont respectivement le label (en encodage *one-hot*) et la distribution de probabilité prédite pour le jeton $i$, avec $N$ le nombre total de jetons dans la séquence.

BERT n'étant pas un modèle autorégressif, la perplexité n'est pas strictement définie. D'un point de vue pratique cependant, l'équation (1) peut être calculée, et nous donne une mesure de performance cohérente. Par souci de simplicité, nous désignerons donc cette mesure « perplexité », ou « *ppl.* ». Une perplexité basse indique une meilleure performance.

Nos résultats rapportés dans la table 1 indiquent que le texte synthétique confère à BERT<sub>CSGU</sub> une capacité prédictive accrue par rapport à BERT<sub>BASE</sub>. Il semblerait cependant que le manque d'exposition au langage naturel dans cette phase d'entraînement lui porte préjudice puisque BERT<sub>PMC</sub> dépasse BERT<sub>CSGU</sub>. Les modèles BERT<sub>Hybr</sub>, cependant, dépassent le niveau de performance de BERT<sub>PMC</sub>, indiquant que les défaillances de CSGU sont facilement atténuées par l'ajout de texte naturel dans le corpus.

## 3.2 Extraction de relations biomédicales (ChemProt<sup>†</sup>)

La tâche ChemProt (Krallinger et al., 2017) consiste à prédire, étant donné une séquence biomédicale contenant deux entités $E_1$ et $E_2$, la nature de leur relation, parmi six options. Nos résultats révèlent que le corpus CSGU contient des informations précieuses, mais les connaissances acquises au cours du processus d'apprentissage sont fragiles et l'inclusion de texte naturel peut être contreproductive dans leur assimilation.

NB : Plusieurs versions du corpus ChemProt existent avec des types de pré-traitement différents qui peuvent influencer les performances des modèles. Tous nos modèles sont entraînés sur la même version du corpus et sont donc comparables entre eux.

## 3.3 Questions-réponses biomédicales (PubmedQA)

Le corpus PubmedQA (Jin et al., 2019) est associé à plusieurs tâches de questions-réponses. Chaque instance contient une question sous forme de problématique issue d'un article scientifique, plusieurs
séquences dites « de contexte » apportant des éléments de réponse, et une phrase dite de « réponse longue » contenant la conclusion nuancée de l'article. L'objectif est de classer les questions selon la nature affirmative, négative, ou indécise de leur conclusion.

Nous abordons la tâche dans sa version la plus simple, à savoir la version dite « sans raisonnement ». Dans ce cadre, notre processus d'entraînement inclut la question et la réponse longue, mais ignore les séquences de contexte.

Nous constatons d'après nos résultats expérimentaux (Table 1) que BERT<sub>BASE</sub> a des performances bien plus faibles que les modèles spécialisés, ce qui est attendu puisqu'il n'est pas familiarisé avec le vocabulaire biomédical. Les performances supérieures de BERT<sub>CSGU</sub> laissent penser que la maîtrise des relations entre concepts biomédicaux et l'exposition à une grande variété de concepts sont particulièrement utiles pour interpréter des problématiques et conclusions scientifiques, et la dominance de BERT<sub>Hybr</sub><sup>100%</sup> indique que les connaissances apportées par les corpus CSGU et PMC sont complémentaires dans le contexte de cette tâche.

<table><caption>TABLE 1 – Tableau comparatif des résultats des modèles incorporant du texte synthétique dans leur corpus d'entraînement vis-à-vis des modèles entraînés exclusivement sur du langage naturel sur les tâches biomédicales de complétion de phrases à trous (MLM), d'extraction de relations (ChemProt), et de questions-réponses (PubMedQA). Résultats moyens sur 4 expériences. Le résultat souligné est le meilleur pour chaque tâche.</caption><thead><tr><th>Model</th><th>MLM (ppl.)</th><th>ChemProt (F<sub>1</sub>)</th><th>PubmedQA (F<sub>1</sub>)</th></tr></thead><tbody><tr><td>BERT<sub>BASE</sub></td><td>16,64</td><td>88,91</td><td>70,20</td></tr><tr><td>BERT<sub>PMC</sub></td><td>13,66</td><td>88,91</td><td>74,83</td></tr><tr><td>BERT<sub>CSGU</sub></td><td>14,67</td><td>89,87</td><td>75,67</td></tr><tr><td>BERT<sub>Hybr</sub><sup>50%</sup></td><td>11,38</td><td>88,88</td><td>72,50</td></tr><tr><td>BERT<sub>Hybr</sub><sup>100%</sup></td><td>10,37</td><td>88,89</td><td>78,00</td></tr></tbody></table>

## 3.4 Tâches non biomédicales (CoLA†, SNLI)

Nous évaluons également nos modèles sur des tâches non biomédicales de manière à évaluer la baisse de performances dans le domaine général encourue par les modèles spécialisés.

La tâche d'acceptabilité linguistique CoLA consiste à classer différentes séquences selon leur qualité grammaticale comme étant « acceptables » ou non. Le critère d'évaluation pour cette tâche est le coefficient de corrélation de Matthews. Les labels de la partition de test n'étant pas publics, et en raison de diverses restrictions de soumission, nous avons re-partitionné le jeu de données. Nous avons utilisé la partition de validation comme partition de test, et de manière à rendre ce partitionnement reproductible, nous avons utilisé les 500 dernières instances de la partition d'entraînement comme partition de validation.

La tâche d'inférence linguistique SNLI est une tâche de classification de paires de séquences selon l'existence d'une relation d'implication, de contradiction, ou l'absence d'une telle relation entre elles.

Nos résultats dans la Table 2 indiquent que l'apprentissage sur le texte de synthèse porte préjudice à la capacité du modèle à évaluer la qualité grammaticale d'une séquence, sans pour autant avoir une incidence majeure sur sa capacité à détecter les relations d'implication. L'affaiblissement en grammaire peut cependant être compensé en associant le texte de synthèse à du langage naturel.
<table><caption>TABLE 2 – Tableau comparatif des résultats des modèles incorporant du texte synthétique dans leur corpus d’entraînement vis-à-vis des modèles entraînés exclusivement sur du langage naturel sur les tâches d’acceptabilité linguistique (CoLA), et d’inférence (SNLI). Résultats moyens sur 4 expériences. Le résultat souligné est le meilleur pour chaque tâche.</caption><thead><tr><th>Modèle</th><th>CoLA (Corr. M.)</th><th>SNLI (F<sub>1</sub>)</th></tr></thead><tbody><tr><td>BERT<sub>BASE</sub></td><td>63,17</td><td>90,58</td></tr><tr><td>BERT<sub>PMC</sub></td><td>64,11</td><td>90,38</td></tr><tr><td>BERT<sub>CSGU</sub></td><td>61,89</td><td>90,44</td></tr><tr><td>BERT<sup>50%</sup><sub>Hybr</sub></td><td>61,62</td><td>90,28</td></tr><tr><td>BERT<sup>100%</sup><sub>Hybr</sub></td><td>63,86</td><td>90,20</td></tr></tbody></table>

# 4 Conclusions et futurs travaux

Nous proposons une procédure d’intégration de connaissances pour l’adaptation des modèles de langage aux domaines de spécialité simple à mettre en œuvre, et qui ne dépend ni de texte issu du domaine, ni d’outils d’annotation d’entités, ni d’une architecture de modèle spécialisée. Nous démontrons que, malgré la qualité dégradée du texte généré par rapport à du texte naturel, il peut être exploité par un modèle de langue pour l’adaptation au domaine avec, pour une quantité de texte fixe, plus de succès que du texte naturel. Enfin, les faiblesses exhibées par les modèles entraînés sur du texte synthétique peuvent être minimisées par l’incorporation, dans le corpus de spécialisation, de texte issu du domaine lorsqu’il est disponible.

Outre l’application de cette méthode à d’autres bases de connaissance comme YAGO (Suchanek et al., 2007) ou WorldKG (Dsouza et al., 2021), nous aimerions à l’avenir intégrer à cette méthode un post-traitement intelligent capable d’identifier les séquences grammaticalement incorrectes, excessivement complexes ou autrement problématiques, et de les supprimer ou les corriger. Par ailleurs, le manque de variété linguistique constitue une faiblesse importante de notre approche. S’il serait sans doute difficile d’automatiser des variations sur la formulation des relations, une amélioration envisageable serait d’intégrer des informations concernant la variété des formulations de concepts, soit en sélectionnant aléatoirement, étant donné un concept *c*, une formulation parmi $N_c^1, \dots, N_c^{K_c}$, soit en ajoutant au corpus de synthèse des séquences dédiées à expliciter les synonymes (par exemple : « $N_c^2$” is another name for “$N_c^1$”. »)

Enfin, cette méthode d’intégration de connaissances étant applicable à tout modèle de langue, la combiner avec d’autres méthodes comme KnowBert, KEPLER ou DRAGON pourrait être une manière peu coûteuse d’accroître leurs performances, et pourrait établir un nouvel état de l’art dans ce domaine de recherche.

# Remerciements

Cette publication a été rendue possible grâce à l’utilisation du supercalculateur FactoryIA, soutenu financièrement par le Conseil Régional d’Ile-De-France.
Références

BHOWMIK R., STRATOS K. & DE MELO G. (2021). Fast and effective biomedical entity linking using a dual encoder. In Proceedings of the 12th International Workshop on Health Text Mining and Information Analysis, p. 28–37.

CHALKIDIS I., FERGADIOTIS M., MALAKASIOTIS P., ALETRAS N. & ANDROUTSOPOULOS I. (2020). LEGAL-BERT: The Muppets straight out of law school. In Findings of the Association for Computational Linguistics: EMNLP 2020, p. 2898–2904, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.findings-emnlp.261.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), p. 4171–4186.

DSOUZA A., TEMPELMEIER N., YU R., GOTTSCHALK S. & DEMIDOVA E. (2021). Worldkg: A world-scale geographic knowledge graph. In Proceedings of the 30th ACM International Conference on Information & Knowledge Management, p. 4475–4484.

EL BOUKKOURI H. (2021). Domain adaptation of word embeddings through the exploitation of in-domain corpora and knowledge bases. Thèse de doctorat, Université Paris-Saclay.

GU Y., TINN R., CHENG H., LUCAS M., USUYAMA N., LIU X., NAUMANN T., GAO J. & POON H. (2021). Domain-specific language model pretraining for biomedical natural language processing. ACM Transactions on Computing for Healthcare (HEALTH), 3(1), 1–23.

GURURANGAN S., MARASOVIĆ A., SWAYAMDIPTA S., LO K., BELTAGY I., DOWNEY D. & SMITH N. A. (2020). Don't stop pretraining: Adapt language models to domains and tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, p. 8342–8360: Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.740.

JIN Q., DHINGRA B., LIU Z., COHEN W. & LU X. (2019). Pubmedqa: A dataset for biomedical research question answering. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), p. 2567–2577.

KRALLINGER M., RABAL O., AKHONDI S. A., PÉREZ M. P., SANTAMARÍA J., RODRÍGUEZ G. P., TSATSARONIS G., INTXAURRONDO A., LÓPEZ J. A., NANDAL U. et al. (2017). Overview of the biocreative vi chemical-protein interaction track. In Proceedings of the sixth BioCreative challenge evaluation workshop, volume 1, p. 141–146.

LEE J., YOON W., KIM S., KIM D., KIM S., SO C. H. & KANG J. (2019). BioBERT: a pre-trained biomedical language representation model for biomedical text mining. Bioinformatics, p. btz682. DOI: 10.1093/bioinformatics/btz682.

LEE J.-S. & HSIANG J. (2020). Patent classification by fine-tuning bert language model. World Patent Information, 61, 101965.

MICHALOPOULOS G., WANG Y., KAKA H., CHEN H. & WONG A. (2021). UmlsBERT: Clinical domain knowledge augmentation of contextual embeddings using the unified medical language system metathesaurus. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, p. 1744–1753.

MOHAN S. & LI D. (2019). MedMentions: A Large Biomedical Corpus Annotated with UMLS Concepts. arXiv:1902.09476 [cs].
PENG Y., YAN S. & LU Z. (2019). Transfer learning in biomedical natural language processing: An evaluation of bert and elmo on ten benchmarking datasets. In *Proceedings of the 18th BioNLP Workshop and Shared Task*, p. 58–65.

PETERS M. E., NEUMANN M., LOGAN R. L., SCHWARTZ R., JOSHI V., SINGH S. & SMITH N. A. (2019). Knowledge enhanced contextual word representations. In *EMNLP*.

SUCHANEK F. M., KASNECI G. & WEIKUM G. (2007). Yago: A Core of Semantic Knowledge. In *16th International Conference on the World Wide Web*, p. 697–706.

UZUNER Ö., SOUTH B. R., SHEN S. & DUVALL S. L. (2011). 2010 i2b2/va challenge on concepts, assertions, and relations in clinical text. *Journal of the American Medical Informatics Association*, **18**(5), 552–556.

WANG R., TANG D., DUAN N., WEI Z., HUANG X.-J., JI J., CAO G., JIANG D. & ZHOU M. (2021a). K-Adapter: Infusing Knowledge into Pre-Trained Models with Adapters. In *Findings of the Association for Computational Linguistics : ACL-IJCNLP 2021*, p. 1405–1418.

WANG X., GAO T., ZHU Z., ZHANG Z., LIU Z., LI J. & TANG J. (2021b). Kepler: A unified model for knowledge embedding and pre-trained language representation. *Transactions of the Association for Computational Linguistics*, **9**, 176–194.

XU Y., ZHONG X., YEPES A. J. J. & LAU J. H. (2020). Forget me not: Reducing catastrophic forgetting for domain adaptation in reading comprehension. In *2020 International Joint Conference on Neural Networks (IJCNN)*, p. 1–8 : IEEE.

YASUNAGA M., BOSSELUT A., REN H., ZHANG X., MANNING C. D., LIANG P. & LESKOVEC J. (2022). Deep bidirectional language-knowledge graph pretraining. *arXiv preprint arXiv:2210.09338*.

YUAN Z., ZHAO Z., SUN H., LI J., WANG F. & YU S. (2022). CODER: Knowledge-infused cross-lingual medical term embedding for term normalization. *Journal of biomedical informatics*, **126**, 103983.

ZHANG Z., HAN X., LIU Z., JIANG X., SUN M. & LIU Q. (2019). ERNIE: Enhanced language representation with informative entities. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 1441–1451.

ZIPF G. K. (1935). *The Psycho-Biology of language*, volume 21. Psychology Press.
# Annexes

## A Échantillon aléatoire du corpus généré

1. Skull Fractures is a type of Fracture of bone of head.

2. Procedures on breast is a type of Procedure on trunk.

3. Tarsum is an ingredient in Coal Tar 20 MG/ML / Salicylic Acid 50 MG/ML Medicated Shampoo [Tarsum].

4. The concept of "MK-5108" is part of the CTRP Agent Terminology.

5. Multi vessel coronary artery disease is an example of Coronary Arteriosclerosis.

6. amitriptyline hydrochloride 25 MG / perphenazine 2 MG [Etrafon] is a brand name for perphenazine 2 MG.

7. Trunk of parotid branch of left superficial temporal artery is a type of Trunk of parotid branch of superficial temporal artery.

8. Biopsy of lesion of internal nose can be used to identify biopsy of nasal cavity : carcinoid tumor.

9. Uterine fibroid embolization is a type of Embolization of artery.

10. Meperidine analog-containing product is a type of Piperidine derivative.

## B Hyperparamètres

Nos expériences ont révélé que les hyperparamètres de pré-entraînement optimaux étaient les mêmes d'un modèle à l'autre, ils ne sont donc pas différenciés dans la Table 3. Les hyper-paramètres des tâches d'évaluation ont été optimisés vis-à-vis de BERT<sub>BASE</sub>. Il n'y a pas d'entrée pour la tâche MLM car les modèles sont déjà optimisés pour cette tâche en pré-entraînement.

<table><caption>TABLE 3 – Valeurs des hyperparamètres pour les diverses tâches.</caption><thead><tr><td>Tâche</td><td>Pas d'apprentissage</td><td>Weight Decay</td><td>Taille de batch</td><td>Époques</td></tr></thead><tbody><tr><td>Pré-entraînement</td><td>2e-6</td><td>0,01</td><td>4096</td><td>1</td></tr><tr><td>ChemProt</td><td>2e-5</td><td>0,01</td><td>24</td><td>30</td></tr><tr><td>PubMedQA</td><td>2e-5</td><td>0,01</td><td>32</td><td>5</td></tr><tr><td>SNLI</td><td>2e-4</td><td>0,01</td><td>160</td><td>10</td></tr><tr><td>CoLA</td><td>2e-5</td><td>0,01</td><td>32</td><td>10</td></tr><tr><td>SNLI</td><td>2e-5</td><td>0,01</td><td>32</td><td>5</td></tr></tbody></table>
# DACCORD : un jeu de données pour la Détection Automatique d'énonCés COntRaDictoires en français

Maximos Skandalis¹, Richard Moot¹, Simon Robillard¹,

(1) LIRMM, CNRS, Université de Montpellier, 34095 Montpellier, France
[prénom].[nom]@lirmm.fr

## RÉSUMÉ

La tâche de détection automatique de contradictions logiques entre énoncés en TALN est une tâche de classification binaire, où chaque paire de phrases reçoit une étiquette selon que les deux phrases se contredisent ou non. Elle peut être utilisée afin de lutter contre la désinformation. Dans cet article, nous présentons DACCORD, un jeu de données dédié à la tâche de détection automatique de contradictions entre phrases en français. Le jeu de données élaboré est actuellement composé de 1034 paires de phrases. Il couvre les thématiques de l'invasion de la Russie en Ukraine en 2022, de la pandémie de Covid-19 et de la crise climatique. Pour mettre en avant les possibilités de notre jeu de données, nous évaluons les performances de certains modèles de transformeurs sur lui. Nous constatons qu'il constitue pour eux un défi plus élevé que les jeux de données existants pour le français, qui sont déjà peu nombreux.

## ABSTRACT

DACCORD : a Dataset for Automated detection of COntRaDictions between sentences in French

In NLP, the automatic detection of logical contradictions between statements is a binary classification task, in which a pair of sentences receives a label according to whether or not the two sentences contradict each other. This task has many potential applications, including combating disinformation. In this article, we present DACCORD, a new dataset dedicated to the task of automatically detecting contradictions between sentences in French. The dataset is currently composed of 1034 sentence pairs. It covers the themes of Russia's invasion of Ukraine in 2022, the Covid-19 pandemic, and the climate crisis. To highlight the possibilities of our dataset, we evaluate the performance of some recent Transformer models on it. We conclude that our dataset is considerably more challenging than the few existing datasets for French.

**MOTS-CLÉS** : détection automatique de contradictions, jeu de données, construction de corpus, tâche de paire de phrases, classification binaire, analyse sémantique de phrases, français.

**KEYWORDS:** automatic contradiction detection, dataset, corpus construction, sentence pair task, binary classification, semantic analysis of sentences, French.

<figure><img src="image_73.png" /></figure>
# 1 Introduction

## 1.1 Contexte

Les désinformations (*fake news*) sur les réseaux sociaux sont, de nos jours, un enjeu sociétal majeur. Dans plusieurs pays, y compris la France, diverses entités (individus, états, entreprises) ont mené des campagnes de désinformation pour tenter de manipuler l'opinion publique, la législation, ou le résultat d'élections. Pendant la crise du Covid-19, puis la guerre en Ukraine, ce problème est devenu encore plus apparent. La création relativement récente d'agences comme East StratCom en Europe et Viginum en France montre l'intérêt politique de la lutte contre les fausses informations. De même, des journalistes élaborent des sites de vérification des faits (*fact-checking*) dans plusieurs langues, dont le français.

Pour détecter les *fake news*, plusieurs approches ont été proposées, parmi elles la vérification de rumeurs, la détection de techniques de propagande, l'analyse de sentiment et l'analyse de fiabilité des sources des phrases. Par contre, l'aspect sémantique, bien qu'essentiel pour parler de la véracité des propos, a été peu exploré dans ce cadre précis, surtout pour le français.

## 1.2 Définition de la tâche

La détection automatique de la relation logique de contradiction constitue une étape nécessaire pour identifier automatiquement des fausses informations. La plupart des fausses informations circulant contredisent un savoir scientifique ou une connaissance du monde établie ou largement acceptée. Par ailleurs, c'est dans la nature de la connaissance scientifique d'être réfutable.

La définition la plus courante des contradictions en langage naturel est que deux énoncés sont contradictoires s'il est impossible pour eux d'être tous les deux vrais dans la même situation (c.-à-d. dans le même modèle en logique). La détection automatique de contradictions entre énoncés consiste donc à indiquer si deux phrases données se contredisent ou non. Dans les données textuelles du monde réel néanmoins, il y a peu de chance de trouver, pour une phrase A, explicitement A et non-A, c'est pour cela que la tâche nécessite une analyse sémantique profonde des phrases confrontées, qui ne sont d'habitude pas identiques entre elles.

L'exemple 1.2.1 donne deux phrases qui sont contradictoires.

(1.2.1) P : 58 caisses étaient en service dans le centre commercial Amstor le jour de l'attaque, enregistrant ce jour-là un chiffre d'affaires de 2,9 millions de hryvnia ukrainiennes, soit environ 97.000 euros. Des employés du centre commercial, blessés le 27 juin, ont témoigné auprès de l'AFP après l'attaque.

H : Amstor était fermé et vide au moment des frappes par les missiles russes.

R : Contradiction

Les caisses d'un magasin sont en service et produisent un chiffre d'affaires non-nul quand le magasin est ouvert et, sûrement, non-vide. La contradiction ici ne provient pas simplement de l'introduction d'une négation dans l'une des deux phrases. Il s'agit d'un cas difficile à détecter par une machine aujourd'hui, et il illustre l'importance de l'analyse sémantique des phrases pour cette tâche.

En elle-même, la tâche de détection d'énoncés contradictoires ne dit rien de la véracité des énoncés. En revanche, en comparant des textes suspects à une base de connaissances de confiance (par exemple,
réseaux sémantiques, archives d'agences de vérification croisée de faits, sites officiels d'organismes),
elle peut être utilisée pour détecter des désinformations. Une comparaison, donc, à une base de
connaissances pertinentes (avec la liste actualisée des membres de l'OMS, par exemple) devrait
permettre d'établir quelle phrase, entre l'hypothèse et la prémisse, est celle qui est vraie, dans
l'exemple 1.2.2.

(1.2.2)
P : Madagascar reste toujours membre de l'OMS en mai 2022.
H : Madagascar a quitté, en mai 2022, l'OMS en raison d'un scandale lié au Covid-19.
R : Contradiction

Mais l'intérêt pour la détection automatique de contradictions ne se limite pas seulement à la détection de *fake news*. Pouvoir repérer automatiquement les contradictions dans des données textuelles relève aussi de la compréhension du langage naturel par les machines et du raisonnement automatique sur le langage naturel.

La détection automatique de contradictions textuelles pourrait aussi avoir une place déterminante dans des tâches combinant des données de différentes formes. L'exemple 1.2.3, qui pourrait être une description ou légende d'une vidéo, peut illustrer cette perspective pour une éventuelle tâche multi-modale. Par ailleurs, la diffusion de désinformations dans le monde numérique peut prendre plusieurs formes.

(1.2.3)
P : Le camion-remorque de la vidéo transporte un long tube cylindrique, qui est une pièce destinée à une raffinerie de pétrole en Ouzbékistan.
H : Le camion-remorque de la vidéo transporte un missile nucléaire russe.
R : Contradiction

Dans le domaine du traitement automatique du langage naturel (TALN) écrit, les premiers travaux sur la typologie des contradictions (Harabagiu et al., 2006) se concentraient plutôt sur l'usage de la négation et de paraphrases avec des antonymes.

de Marneffe et al. (2008) ont élaboré une classification plus détaillée, en analysant les jeux de données RTE 1, 2 et 3 (Dagan et al., 2006) et en construisant leur propre jeu de données de 131 paires de phrases, toutes des contradictions. Ils ont conclu que deux catégories principales de contradictions, avec des sous-catégories, y apparaissent : (1) des contradictions qui se produisent via l'antonymie, la négation et l'incompatibilité date/nombre, qui sont relativement simples à détecter, et (2) des contradictions résultant de l'utilisation de mots factifs ou modaux, de contrastes structuraux et lexicaux subtils, ainsi que de la connaissance du monde.

Ritter et al. (2008) ont ajouté à la classification de de Marneffe et al. (2008) une sous-catégorie de contradictions sur la connaissance du monde, à savoir des contradictions qui découlent de relations fonctionnelles telles que la relation “*x* est né à *y*”. Enfin, Tsytsarau et al. (2011; 2011) ont étudié les contradictions d’opinions et de sentiments, qu’ils ont divisées en contradictions synchrones et asynchrones (qui correspondent à un changement de sentiment).

1.3 **Problématique et motivation**

Le but du présent article est de présenter un nouveau jeu de données pour la tâche de détection automa-
tique de contradictions logiques entre énoncés en français. La définition précédente de la contradiction
en langage naturel convient à ce but, car nous nous attachons ici à des cas de contradictions factuelles,
qui satisfont cette définition.

La création de ce nouveau jeu de données est motivée par le fait qu’à l’époque où l’usage des modèles
de transformeurs (Vaswani et al., 2017) est devenu dominant au sein de la communauté de TALN, un
grand besoin pour une quantité importante de jeux de données a émergé.

Un des jeux de données utilisable pour la détection de contradictions entre énoncés en langue française est FraCaS (Amblard et al., 2020). Ce jeu, étant centré sur la tâche d'inférence textuelle, ne contient que 9% d'énoncés contradictoires. De surcroît, FraCaS est un jeu de données relativement petit (346 paires de phrases), par rapport à d'autres jeux de données (toujours) d'inférence textuelle disponibles en anglais. Le plus grand corpus pour la tâche d'inférence textuelle est XNLI (Conneau et al., 2018), mais la plus grande partie (plus de 98%) de sa version française n'est issue que d'une traduction automatique de sa version originale en anglais.

D'autres jeux de données sur l'inférence textuelle ont parfois une vision qui n'est pas purement
logique de ce qui constitue une contradiction. Ces jeux peuvent voir leur tâche comme un calcul de
score de similarité sémantique entre deux phrases. Cette approche nous semble inadaptée pour la
détection de contradictions, car elle peut aboutir à des situations où deux phrases qui ne parlent pas
du même sujet sont considérées comme contradictoires.

D'autres jeux de données parus récemment sur la désinformation (Li et al., 2020; Kochkina et al., 2018) sont composés de messages issus de médias sociaux tels que Twitter. Les messages de Twitter, néanmoins, sont en général d'une qualité variable, avec des phrases typiquement courtes et beaucoup d'erreurs et de bruit. De plus, la détection de contradictions sur des messages de Twitter s'effectue très souvent par analyse de sentiment. Par contre, les articles de presse, qui nous intéressent davantage, comprennent des structures linguistiques plus riches et plus complexes. D'autre part, nous travaillons sur des contradictions logiques, donc l'analyse de sentiment n'est pas la voie à prendre.

L'article suit le plan suivant : après cette définition, dans l'introduction, des contradictions et de la
tâche de détection automatique de contradictions, la Section 2 présente les jeux de données uni-lingues
(anglais ou français) ou bien multi-lingues, qui sont disponibles, au moment de la publication de
l'article, pour la tâche en question. Elle aborde aussi les différences entre la tâche de détection de
contradictions et la tâche d'inférence textuelle. La Section 3 décrit la démarche suivie pour établir
notre nouveau jeu de données sur la Détection Automatique d'énonCés COntRaDictoires en français.
Dans la Section 4, nous évaluons certains récents modèles d'apprentissage profond sur le jeu de
données construit.

2 État de l'art

## 2.1 Jeux de données disponibles en anglais

Il existe en anglais plusieurs jeux de données sur la tâche d'inférence textuelle, à savoir RTE (Dagan et al., 2006; Dzikovska et al., 2013) <fnref n="1" />, SICK (Marelli et al., 2014), SNLI (Bowman et al., 2015),

<footnote n="1">1. Nous ne parlons pas ici de la version de RTE intégrée dans GLUE (Wang et al., 2018), où RTE est divisé en deux catégories (inférence, pas d'inférence) et non en trois (inférence, contradiction, ni l'un ni l'autre).</footnote>
MultiNLI (Williams et al., 2018), XNLI (Conneau et al., 2018) qui est multi-lingue, FraCaS (Cooper et al., 1996).

Ce dernier, FraCaS, contient 346 problèmes d'inférence à traiter. SICK, quant à lui, contient 9840 exemples, dont 14% sont des contradictions. Leur annotation a été faite par *crowdsourcing* et il s'agit de phrases simplifiées en anglais, similaires à celles de FraCaS, comme le notent ses auteurs par ailleurs.

Ensuite, il existe huit corpora RTE, au même nombre que les compétitions homonymes organisées de 2006 à 2013. RTE-1 contient au total 1367 paires de phrases (800 dans le sous-ensemble de test, 287 dans le sous-ensemble dev₁ et 280 dans le sous-ensemble dev₂), dont 252 sont contradictoires (18,43% du corpus), 682 sont des inférences et 433 des cas neutres. RTE-2 est composé de 1600 paires (800 pour le sous-ensemble de test et 800 pour le sous-ensemble dev), dont 215 des contradictions (13,44% des cas), 800 des cas d'inférence et le reste (585) des cas neutres. Enfin, RTE-3 compte également 1600 paires de phrases (800-800), dont 152 des contradictions (9,5%), 822 des cas d'inférence et 626 des cas neutres.

Nie et al. (2020) ont transformé le jeu de données anglais FEVER, initialement construit par Thorne et al. (2018) avec des phrases de Wikipedia modifiées par des annotateurs et comparées à la section d'introduction d'une liste de pages Wikipedia pour une tâche de vérification automatique de faits, à un jeu de données pour l'inférence textuelle (donc, avec une étiquette "inférence", "contradiction" ou "neutre" pour chaque paire de prémisse-hypothèse fixée pour cette version).

D'autres jeux de données en anglais, qui essaient de traiter en particulier le problème des désin-
formations, existent, souvent basés sur des messages de Twitter, par exemple PHEME (Kochkina
et al., 2018). Pour PHEME, des messages de Twitter ont été classifiés par un journaliste comme
"rumeurs" ou "non-rumeurs", puis ceux, qui sont des rumeurs, en "vrais", "faux" ou "non-vérifiées".
Additionnellement, des réponses à ces *tweets* ont été annotées comme interrogatives, soutenant, niant
ou commentant la rumeur.

## 2.2 Jeux de données disponibles en français

Comme déjà mentionné (1.3), en français, nous disposons d'une traduction française récente de FraCaS (Amblard et al., 2020). FraCaS classe ses exemples dans les catégories suivantes : Quantificateurs Généralisés, Pluriels, Anaphore (nominale), Ellipse, Adjectifs, Comparatifs, Référence temporelle, Verbes, et Attitudes. Le jeu de données est disponible sous forme de question-réponse et sous forme de prémisse(s)-hypothèse.

XNLI (Conneau et al., 2018) contient des traductions manuelles de l'anglais au français des sous-ensembles de validation et de test de MNLI initial. En particulier, Son sous-ensemble de validation est composé de 2490 paires de phrases (830 contradictions, 830 cas neutres, 830 inférences), alors que le sous-ensemble de test contient 5010 paires (1670 contradictions, 1670 cas neutres, 1670 inférences). Par contre, le sous-ensemble d'entraînement de XNLI en français n'est qu'une traduction automatique (par Conneau et al. (2018) et par Hu et al. (2020)) de celui de MNLI.

Enfin, MM-COVID (Li et al., 2020) est un jeu de données multi-modal et multi-lingue, qui inclut aussi des exemples en français, mais qui sont tous des messages issus de médias sociaux. Pour ce qui est de son contenu en français, il inclut 2821 tweets dits "faux" (et 4459 réponses), contre 166 tweets dits "vrais" (et 5095 réponses).
## 2.3 Inférence textuelle et détection des contradictions

La détection d'énoncés contradictoires, avec comme finalité la détection de désinformations, et la tâche d'inférence textuelle, bien qu'elles partagent certains points communs, ne sont pas les mêmes.

D'un autre côté, il est important de faire la distinction entre la détection d'énoncés contradictoires et la détection de désinformations en tant que tâche de détection de rumeurs (Gorrell et al., 2019) ou de techniques de propagande (Da San Martino et al., 2020). De même, nous ne jugeons pas, dans le cadre de notre jeu de données, les sources des phrases ni ne caractérisons leur fiabilité en les séparant en sources fiables et sources non-fiables, comme le font Guibon et al. (2019). Nous nous limitons aux événements décrits par les phrases elles-mêmes, car le but est de détecter des contradictions logiques. Ceci dit, le corpus contient des phrases du monde réel, ce qui signifie aussi que, lors de la détection de contradictions logiques, il peut y avoir (et il y en a) des prémisses cachées.

Notre jeu de données sur la détection de contradictions se rapproche plutôt de jeux de données construits pour la tâche d'inférence textuelle (textual entailment). Cependant, il existe une différence entre la détection de contradictions et l'inférence textuelle, à savoir que la première est une tâche de classification binaire (les phrases sont contradictoires ou non), alors que la dernière est souvent vue comme une tâche de classification multi-classe ("oui/inférence", "non/contradiction" ou "inconnu/neutre"<fnref n="2" />). Dans notre cas, nous avons choisi de nommer nos deux classes "contradiction" et "compatibles".

Un autre point important est que, par comparaison à la tâche de détection de contradictions, les contradictions sont sous-représentées dans les jeux de données construits pour la tâche d'inférence textuelle. Pour la tâche d'inférence textuelle à trois étiquettes, les contradictions ne constituent qu'un tiers (ou même moins) des exemples dans les jeux de données dédiés. Dans FraCaS par exemple, les contradictions représentent 9% de l'ensemble du corpus, 52% des énoncés sont des inférences, 27% sont des cas neutres, et 12% des exemples nécessitent une réponse plus détaillée.

La raison pour laquelle nous avons choisi d'établir ce corpus sur la relation de contradiction et non pas sur l'inférence textuelle plus généralement est que la contradiction est symétrique. Il est important de voir si des modèles neuronaux sont capables de percevoir et prédire cette symétrie. Ainsi, nous avons intégré dans le corpus quelques exemples qui sont similaires mais inversés, c'est-à-dire que la prémisse prend la place de l'hypothèse et l'hypothèse celle de la prémisse, par rapport à l'exemple précédent. L'inférence textuelle n'est quant à elle pas symétrique, d'où aussi une différence entre les tâches de classification contradiction/pas de contradiction et inférence/pas d'inférence.

Toutefois, ces différences n'empêchent pas que nos résultats puissent s'intégrer avec des approches plus étendues visant des tâches telles que l'inférence textuelle (en divisant notre catégorie "compatibles" en "inférence" et "neutre" par exemple, ou en fusionnant ces deux catégories des autres jeux de données, même si cela aboutirait à des catégories qui ne sont pas équilibrés, ou bien en combinant notre jeu de données avec d'autres jeux).

<footnote n="2">2. L'hypothèse n'est pas conséquence de la prémisse, mais elle ne la contredit pas non plus.</footnote>
# 3 DACCORD, un nouveau jeu de données pour la détection de contradictions

## 3.1 Méthode de construction du jeu de données

Notre jeu de données a été construit à partir d'articles sur le site factuel.afp.com. AFP Factuel est un site français de vérification de faits par Agence France-Presse. Les paires de phrases ont été manuellement sélectionnées en lisant les articles du site susmentionné et en gardant les phrases qui nous paraissaient d'intérêt pour la tâche étudiée.

Le jeu de données couvre actuellement trois thématiques : l'invasion russe en Ukraine, la pandémie de Covid-19 et la crise climatique. À notre connaissance, c'est en général le tout premier jeu de données de TALN couvrant le conflit entre Russie et Ukraine.

Le jeu de données est composé de 1034 paires de phrases, dont 515 (49,81%) forment des contradictions. Parmi elles, 472 paires de phrases (215 contradictions) ont été recueillies à partir de 106 articles sur la guerre russo-ukrainienne, datant du 24 février 2022 au 3 novembre 2022 (inclus). 450 paires (251 contradictions) ont été retenues à partir de 164 articles publiés du 20 octobre 2021 au 23 novembre 2022 sur la pandémie de Covid-19. Enfin, les 112 paires de phrases (49 contradictions) sur le réchauffement climatique sont issues de 33 articles datant du 16 juillet 2021 au 24 octobre 2022.

## 3.2 Propriétés du jeu de données

Nous avons choisi AFP Factuel comme source pour recueillir des phrases pour le jeu de données, cependant nous ne nous positionnons pas par rapport à la vérité des énoncés choisis, les thématiques traitées étant délicates et la notion de vérité n'étant formellement pas triviale. Il est indiqué dans le corpus quand une paire de phrases forme une contradiction ou quand les deux phrases d'un exemple sont inter-compatibles, mais il n'est pas indiqué lequel parmi les énoncés est vrai et lequel ne l'est pas.

De plus, chaque paire de phrases est un monde clos. Tout le contexte (par exemple, dates et/ou lieu) se trouve dans ces mêmes phrases. Par contre, il est clair, en regardant les différentes paires, qu'elles peuvent contenir beaucoup de prémisses cachées, qui devront être prises en compte pour appliquer des approches purement formelles/logiques sur le jeu de données.

Les exemples 3.2.1 et 3.2.2, extraits de la partie du corpus sur la pandémie de Covid-19, seraient des exemples de contradiction structurelle d'après la typologie de de Marneffe et al. (2008).

(3.2.1) P : De nombreux vaccins utilisés aujourd'hui n'induisent, comme ceux contre le Covid-19, qu'une immunité effective. Le vaccin contre la variole est, quant à lui, un exemple d'immunité "stérilisante".

H : Les vaccins contre le Covid-19 sont un exemple d'immunité stérilisante.

R : Contradiction

(3.2.2) P : Interrogée par l'AFP, l'Autorité régionale de santé (ARS) de Guadeloupe déplore une fausse information circulant et précise que ce n'est jamais elle qui passe les commandes de médicaments.

H : C'est une fausse information que ce n'est pas l'Autorité régionale de santé (ARS) de Guadeloupe qui passe les commandes des médicaments.
La contradiction dans 3.2.1 résulte des expressions “ne... que” et “quant à lui” de la prémisse, mais aussi d’une confusion concernant le groupe nominal qui sert de sujet du groupe verbal “être un exemple d’immunité stérilisante”. 3.2.2 pourrait être considéré comme un exemple méta-référentiel de fausse information.

La paire de phrases 3.2.3, qui provient du sous-ensemble sur le conflit ukrainien-russe, est un cas difficile de contradiction numérique.

(3.2.3) P : Cent-trente neuf pays sur les 193 membres de l'Assemblée générale des Nations Unies ont voté contre une résolution demandant à la Russie d'arrêter l'opération d'invasion de l'Ukraine et de retirer l'armée du territoire.

H : Toutes les résolutions présentées devant l'Assemblée générale au sujet de l'Ukraine ont été approuvées par au moins deux tiers des membres présents et votants conformément à la Charte des Nations Unies, et ont, donc, été adoptées par l'Assemblée générale.

R : Contradiction

Il s'agit d'un cas difficile car il n'est pas direct. Il faudrait que la machine arrive à faire le raisonnement que l'expression "cent-trente neuf pays sur les 193" correspond à 72%, et donc que, selon la prémisse, 28% des pays ont voté pour la résolution, alors que l'hypothèse parle d""au moins 66%"" qui votaient pour. Nous pourrions aussi voir cet exemple comme un cas d'antonymie contradictoire, entre les verbes "voté contre" et "approuvées" dans la prémisse et l'hypothèse, respectivement.

La paire de phrases 3.2.4 est donnée à titre d'exemple non-contradictoire.

(3.2.4) P : Le calcul du total des factures d'énergie n'est pas uniquement fondé sur les prix de gros des marchés, et diffère pour les consommateurs britanniques et français, la majorité de ces derniers bénéficiant des tarifs réglementés, dont la hausse a été plafonnée par le gouvernement jusqu'à fin 2022.

H : Il faut bien faire la différence entre les prix de marché et les tarifs réglementés, qui sont fixés par les autorités et qui concernent la plupart des particuliers consommateurs d'électricité en France.

R : Compatibles

Selon le tokéniseur de NLTK (Bird et al., 2009), l'ensemble du jeu de données contient 63326 *tokens* au total (y incluse la ponctuation). La prémisse la plus courte du jeu contient 9 *tokens* (la ponctuation toujours incluse) et se trouve dans le sous-ensemble sur la pandémie de Covid-19, alors que la prémisse la plus longue est de 156 *tokens*, dans la partie sur la guerre entre Russie et Ukraine. Concernant les hypothèses, la plus courte fait partie du sous-ensemble sur le Covid-19 et contient 6 *tokens*, tandis que l'hypothèse la plus longue est composée de 111 *tokens* et porte de nouveau sur la guerre russo-ukrainienne.

Le Tableau 1 donne des détails sur le nombre de *tokens* des phrases par thématique pour DACCORD, ainsi que pour XNLI et FraCaS, à titre comparatif.
<table><caption>TABLE 1 – Nombre de *tokens* dans DACCORD, XNLI et FraCaS</caption><thead><tr><th>Jeux de données</th><th></th><th>Prémisse plus courte</th><th>Prémisse plus longue</th><th>Moyenne par prémisse</th><th>Somme de tokens des prémisses</th><th>Hypothèse plus courte</th><th>Hypothèse plus longue</th><th>Moyenne par hypothèse</th><th>Somme de tokens des hypothèses</th></tr></thead><tbody><tr><td rowspan="3">DACCORD</td><td>Climat</td><td>20</td><td>112</td><td>50,13</td><td>5.614</td><td>9</td><td>111</td><td>43,61</td><td>4.884</td></tr><tr><td>Covid-19</td><td>9</td><td>100</td><td>30,29</td><td>13.631</td><td>6</td><td>76</td><td>22,25</td><td>10.014</td></tr><tr><td>Guerre Rus-Ukr</td><td>10</td><td>156</td><td>34,86</td><td>16.455</td><td>5</td><td>147</td><td>26,98</td><td>12.734</td></tr><tr><td colspan="2">XNLI (test et val)</td><td>2</td><td>59</td><td>22,55</td><td>169.092</td><td>3</td><td>46</td><td>11,66</td><td>87.485</td></tr><tr><td colspan="2">FraCaS</td><td>2</td><td>28</td><td>9,13</td><td>4.805</td><td>4</td><td>41</td><td>9,49</td><td>3.245</td></tr></tbody></table>

# 4 Expériences

## 4.1 Protocole expérimental

Afin d'évaluer la performance de l'état de l'art sur notre nouveau jeu de données, nous avons choisi d'utiliser des modèles d'apprentissage profond basés sur l'architecture de transformeur (Vaswani et al., 2017). Les modèles retenus pour l'évaluation sur le jeu de données DACCORD sont DistilmBERT (Sanh et al., 2019), XLM-R (Conneau et al., 2020), mDeBERTa-v3 (He et al., 2021), et CamemBERT (Martin et al., 2020). Ils sont tous entraînés en partie (DistilmBERT, XLM-R et mDeBERTa) ou entièrement (CamemBERT) sur des données françaises. Pour leur évaluation, nous avons utilisé des versions ajustées à XNLI, disponibles sur huggingface.co.

## 4.2 Résultats

Le Tableau 2 présente les résultats des expériences menées sur DACCORD. À titre de comparaison, des résultats calculés sur XNLI y sont aussi indiqués. Les modèles mentionnés et accessibles par hyperliens dans le Tableau 2, même quand évalués sur DACCORD, sont des modèles pour l'instant entraînés sur le sous-ensemble d'entraînement de XNLI. Ces données sont issues d'une traduction automatique en français qui limite leur qualité, mais la quantité de données fournie est nécessaire pour permettre l'entraînement des modèles actuels.

L'étude portant sur la détection de contradictions, nous avons calculé l'*accuracy* et le score F1 <fnref n="3" /> sur la probabilité prédite par les modèles que l'étiquette "contradiction" soit vraie.

En regardant les résultats, nous constatons, d'abord, une évolution progressive et constante des performances des modèles multi-lingues même sur les tâches uni-lingues (par exemple, mDeBERTa par opposition à DistilmBERT).

De plus, les modèles entraînés sur XNLI présentent, sans exception, des performances inférieures sur DACCORD que sur XNLI. Cela ne constitue pas une surprise, puisque DACCORD est construit de sorte à éprouver les capacités des modèles existants.

On peut, toutefois, observer une cohérence entre les performances sur XNLI des modèles étudiés et

<footnote n="3">3. Pour rappel, la mesure F1 est la moyenne harmonique de la précision et du rappel.</footnote>
<table><caption>TABLE 2 – Résultats de détection de contradictions par les transformeurs sur DACCORD et XNLI</caption><thead><tr><th rowspan="2">Modèles</th><th colspan="2">DACCORD</th><th colspan="2">XNLI</th></tr><tr><th>Accuracy</th><th>Score F1</th><th>Accuracy</th><th>Score F1</th></tr></thead><tbody><tr><td>DistilmBERT<sub>Base-cased</sub></td><td>63,73</td><td>52,59</td><td>79,98</td><td>68,01</td></tr><tr><td>XLM-R<sub>Base</sub></td><td>71,57</td><td>67,62</td><td>87,17</td><td>81,14</td></tr><tr><td>CamemBERT<sub>Base, 3-class</sub></td><td>77,76</td><td>76,19</td><td>89,64</td><td>85,09</td></tr><tr><td>mDeBERTa-v3<sub>Base, XNLI</sub></td><td>80,75</td><td>78,30</td><td>90,98</td><td>86,39</td></tr><tr><td>mDeBERTa-v3<sub>Base, NLI-2mil7</sub></td><td>80,95</td><td>78,47</td><td>90,76</td><td>85,89</td></tr><tr><td>XLM-R<sub>Large</sub></td><td>82,01</td><td>80,00</td><td><strong>96,49</strong></td><td><strong>94,74</strong></td></tr><tr><td>CamemBERT<sub>Large, 3-class</sub></td><td>83,27</td><td>81,01</td><td>92,30</td><td>88,12</td></tr><tr><td>CamemBERT<sub>Large, 2-class</sub></td><td><strong>84,24</strong></td><td><strong>82,49</strong></td><td>91,70</td><td>87,66</td></tr></tbody></table>

leurs performances sur DACCORD, les deux meilleurs modèles pour XNLI par exemple (XLM-R et CamemBERT) étant aussi les meilleurs modèles pour DACCORD, même si les résultats sont inférieurs à ceux obtenus sur XNLI.

Pour information, tous les modèles évalués dans l'article ont échoué à détecter la contradiction dans l'exemple 3.2.2, et seulement mDeBERTa-v3<sub>Base, NLI-2mil7</sub> a réussi à trouver la bonne étiquette pour l'exemple 3.2.1. Quant à l'exemple 3.2.3 donné, tous les modèles ont correctement prédit son étiquette, sauf pour XLM-R<sub>Base</sub>. Enfin, l'étiquette pour l'exemple 1.2.1 n'a pas été correctement prédit par DistilmBERT et CamemBERT<sub>Large, 3-class</sub>.

Nous avons déjà fait remarquer dans 2.3 que les contradictions sont naturellement symétriques. Afin de tester le comportement des modèles d'apprentissage profond vis-à-vis de cette symétrie, nous avons effectué une dernière expérience, en échangeant la place de toutes les prémisses avec celle des hypothèses. Ses résultats sont consultables dans le Tableau 3.

<table><caption>TABLE 3 – Détection des contradictions avec la place des prémisses et des hypothèses inversée</caption><thead><tr><th rowspan="2">Modèles</th><th colspan="2">DACCORD</th><th colspan="2">XNLI</th></tr><tr><th>Accuracy</th><th>Score F1</th><th>Accuracy</th><th>Score F1</th></tr></thead><tbody><tr><td>XLM-R<sub>Large</sub></td><td>77,47</td><td>73,79</td><td><strong>83,77</strong></td><td><strong>73,12</strong></td></tr><tr><td>CamemBERT<sub>Large, 2-class</sub></td><td><strong>82,50</strong></td><td><strong>80,22</strong></td><td>81,64</td><td>69,72</td></tr></tbody></table>

Dans ce nouveau test, CamemBERT<sub>Large, 2-class</sub> obtient maintenant un score d'*accuracy* de 82,5% et un score F1 de 80,22% sur DACCORD, au lieu de 84,24% et 82,49%, respectivement. De même, il obtient un score d'*accuracy* de 81,64% et un score F1 de 69,72% sur XNLI, au lieu de 91,7% et 87,66%, respectivement. Les résultats de XLM-R<sub>Large</sub> sont aussi en baisse dans ce scénario avec les prémisses et les hypothèses échangées : sur XNLI, son score d'*accuracy* devient 83,77% et son score F1 73,12%, par opposition à 96,49% et 94,74%, respectivement, avant. Enfin, sur DACCORD, son *accuracy* est en baisse à 77,47% et son score F1 à 73,79%. Ces derniers résultats pourraient suggérer que cet aspect de la relation de contradiction n'est pas suffisamment pris en compte par les jeux de données existants utilisés largement pour l'entraînement des modèles.
# 5 Conclusion et perspectives

Dans cet article, nous avons présenté DACCORD, un nouveau jeu de données pour la tâche de détection automatique d'énoncés contradictoires en français. Il est composé de 1034 paires de phrases, toutes récupérées manuellement, dont 515 contradictions. À notre connaissance, c'est le premier corpus en français exclusivement dédié à la tâche de détection de contradictions et couvrant les thématiques du Covid-19 et de la guerre entre Russie et Ukraine. De plus, c'est le jeu de données le plus compliqué pour cette tâche, étant données la longueur des prémisses et des hypothèses incluses et la nature des sources utilisées (articles de presse et non messages de médias sociaux). Lors de l'évaluation des modèles examinés, DACCORD s'avère être plus difficile pour eux que le jeu de données sur l'inférence textuelle XNLI.

Nous comptons par la suite expérimenter avec des méthodes neuro-symboliques sur le corpus construit. Nous souhaiterions, enfin, enrichir le corpus avec davantage de phrases et de thématiques de l'actualité mais peu incorporées dans les jeux de données disponibles.

# Remerciements

La recherche présentée a été réalisée avec le soutien financier du Ministère des Armées – Agence de l’innovation de défense (AID), que nous en remercions. Ce travail a également bénéficié du soutien de l’ICO, Institut Cybersécurité d’Occitanie, financé par la Région Occitanie, France, auquel nous exprimons aussi notre gratitude.

# Références

AMBLARD M., BEYSSON C., DE GROOTE P., GUILLAUME B. & POGODALLA S. (2020). A French version of the FraCaS test suite. In *Proceedings of the Twelfth Language Resources and Evaluation Conference*, p. 5887–5895, Marseille, France : European Language Resources Association.

BIRD S., KLEIN E. & LOPER E. (2009). *Natural language processing with Python : analyzing text with the natural language toolkit*. " O’Reilly Media, Inc.".

BOWMAN S. R., ANGELI G., POTTS C. & MANNING C. D. (2015). A large annotated corpus for learning natural language inference. In *Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing*, p. 632–642, Lisbon, Portugal : Association for Computational Linguistics. DOI : 10.18653/v1/D15-1075.

CONNEAU A., KHANDELWAL K., GOYAL N., CHAUDHARY V., WENZEK G., GUZMÁN F., GRAVE E., OTT M., ZETTLEMOYER L. & STOYANOV V. (2020). Unsupervised cross-lingual representation learning at scale. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 8440–8451, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.acl-main.747.

CONNEAU A., RINOTT R., LAMPLE G., WILLIAMS A., BOWMAN S. R., SCHWENK H. & STOYANOV V. (2018). Xnli : Evaluating cross-lingual sentence representations. In *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing : Association for Computational Linguistics*.
COOPER R., CROUCH R., VAN EIJCK J., FOX C., VAN GENABITH J., JASPARS J., KAMP H., PINKAL M., MILWARD D., POESIO M., PULMAN S., BRISCOE T., MAIER H. & KONRAD K. (1996). *Using the Framework*. Rapport interne, FraCaS : A Framework for Computational Semantics. FraCaS deliverable D16, 136 pages, also available by anonymous ftp from ftp://ftp.cogsci.ed.ac.uk/pub/FRACAS/del16.ps.gz.

DA SAN MARTINO G., BARRÓN-CEDEÑO A., WACHSMUTH H., PETROV R. & NAKOV P. (2020). SemEval-2020 task 11: Detection of propaganda techniques in news articles. In *Proceedings of the Fourteenth Workshop on Semantic Evaluation*, p. 1377–1414, Barcelona (online) : International Committee for Computational Linguistics. DOI: 10.18653/v1/2020.semeval-1.186.

DAGAN I., GLICKMAN O. & MAGNINI B. (2006). The pascal recognising textual entailment challenge. In J. QUIÑONERO-CANDELA, I. DAGAN, B. MAGNINI & F. D'ALCHÉ BUC, Éds., *Machine Learning Challenges. Evaluating Predictive Uncertainty, Visual Object Classification, and Recognising Tactual Entailment*, p. 177–190, Berlin, Heidelberg : Springer Berlin Heidelberg.

DE MARNEFFE M.-C., RAFFERTY A. N. & MANNING C. D. (2008). Finding contradictions in text. In *Proceedings of ACL-08 : HLT*, p. 1039–1047, Columbus, Ohio : Association for Computational Linguistics.

DZIKOVSKA M., NIELSEN R., BREW C., LEACOCK C., GIAMPICCOLO D., BENTIVOGLI L., CLARK P., DAGAN I. & DANG H. T. (2013). SemEval-2013 task 7 : The joint student response analysis and 8th recognizing textual entailment challenge. In *Second Joint Conference on Lexical and Computational Semantics (*SEM), Volume 2 : Proceedings of the Seventh International Workshop on Semantic Evaluation (SemEval 2013)*, p. 263–274, Atlanta, Georgia, USA : Association for Computational Linguistics.

GORRELL G., KOCHKINA E., LIAKATA M., AKER A., ZUBIAGA A., BONTCHEVA K. & DERCZYNSKI L. (2019). SemEval-2019 task 7 : RumourEval, determining rumour veracity and support for rumours. In *Proceedings of the 13th International Workshop on Semantic Evaluation*, p. 845–854, Minneapolis, Minnesota, USA : Association for Computational Linguistics. DOI: 10.18653/v1/S19-2147.

GUIBON G., ERMAKOVA L., SEFFIH H., FIRSOV A. & LE NOÉ-BIENVENU G. (2019). Multilingual Fake News Detection with Satire. In *CICLing : International Conference on Computational Linguistics and Intelligent Text Processing*, La Rochelle, France. HAL: halshs-02391141.

HARABAGIU S., HICKL A. & LACATUSU F. (2006). Negation, contrast and contradiction in text processing. In *Proceedings of the 21st National Conference on Artificial Intelligence - Volume 1, AAAI'06*, p. 755–762 : AAAI Press.

HE P., GAO J. & CHEN W. (2021). Debertav3 : Improving deberta using electra-style pre-training with gradient-disentangled embedding sharing. DOI: 10.48550/ARXIV.2111.09543.

HU J., RUDER S., SIDDHANT A., NEUBIG G., FIRAT O. & JOHNSON M. (2020). XTREME : A massively multilingual multi-task benchmark for evaluating cross-lingual generalisation. In H. D. III & A. SINGH, Éds., *Proceedings of the 37th International Conference on Machine Learning*, volume 119 de *Proceedings of Machine Learning Research*, p. 4411–4421 : PMLR.

KOCHKINA E., LIAKATA M. & ZUBIAGA A. (2018). All-in-one : Multi-task learning for rumour verification. In *Proceedings of the 27th International Conference on Computational Linguistics*, p. 3402–3413, Santa Fe, New Mexico, USA : Association for Computational Linguistics.

LI Y., JIANG B., SHU K. & LIU H. (2020). Mm-covid : A multilingual and multimodal data repository for combating covid-19 disinformation.
MARELLI M., MENINI S., BARONI M., BENTIVOGLI L., BERNARDI R. & ZAMPARELLI R. (2014). A SICK cure for the evaluation of compositional distributional semantic models. In *Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14)*, p. 216-223, Reykjavik, Iceland: European Language Resources Association (ELRA).

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., DE LA CLERGERIE É., SEDDAH D. & SAGOT B. (2020). CamemBERT: a tasty French language model. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 7203-7219, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.645.

NIE Y., WILLIAMS A., DINAN E., BANSAL M., WESTON J. & KIELA D. (2020). Adversarial NLI: A new benchmark for natural language understanding. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 4885-4901, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.441.

RITTER A., SODERLAND S., DOWNEY D. & ETZIONI O. (2008). It's a contradiction – no, it's not : A case study using functional relations. In *Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing*, p. 11–20, Honolulu, Hawaii : Association for Computational Linguistics.

SANH V., DEBUT L., CHAUMOND J. & WOLF T. (2019). Distilbert, a distilled version of bert : smaller, faster, cheaper and lighter. DOI: 10.48550/ARXIV.1910.01108.

THORNE J., VLACHOS A., CHRISTODOULOPOULOS C. & MITTAL A. (2018). FEVER : a large-scale dataset for fact extraction and VERification. In *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long Papers)*, p. 809–819, New Orleans, Louisiana : Association for Computational Linguistics. DOI: 10.18653/v1/N18-1074.

TSYTSARAU M. & PALPANAS T. (2011). Towards a framework for detecting and managing opinion contradictions. In M. SPILI/OPOULOU, H. WANG, D. J. COOK, J. PEI, W. WANG, O. R. ZAÏANE & X. WU, Éds., *Data Mining Workshops (ICDMW), 2011 IEEE 11th International Conference on*, Vancouver, BC, Canada, December 11, 2011, p. 1219–1222 : IEEE Computer Society. DOI: 10.1109/ICDMW.2011.167.

TSYTSARAU M., PALPANAS T. & DENECKE K. (2011). Scalable detection of sentiment-based contradictions. *DiversiWeb, WWW, 1*, 9-16.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER L. U. & POLOSUKHIN I. (2017). Attention is all you need. In I. GUYON, U. V. LUXBURG, S. BENGIO, H. WALLACH, R. FERGUS, S. VISHWANATHAN & R. GARNETT, Éds., *Advances in Neural Information Processing Systems*, volume 30 : Curran Associates, Inc.

WANG A., SINGH A., MICHAEL J., HILL F., LEVY O. & BOWMAN S. (2018). GLUE : A multi-task benchmark and analysis platform for natural language understanding. In *Proceedings of the 2018 EMNLP Workshop BlackboxNLP : Analyzing and Interpreting Neural Networks for NLP*, p. 353-355, Brussels, Belgium : Association for Computational Linguistics. DOI: 10.18653/v1/W18-5446.

WILLIAMS A., NANGIA N. & BOWMAN S. (2018). A broad-coverage challenge corpus for sentence understanding through inference. In *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long Papers)*, p. 1112-1122 : Association for Computational Linguistics.
# Exploitation de plongements de graphes pour l'extraction de relations biomédicales

Anfu TANG¹, ² Robert Bossy ¹ Louise Deléger¹

Claire Nédellec¹ Pierre Zweigenbaum²

(1) Université Paris-Saclay, INRAE, MaIAGE, Jouy-en-Josas, France

(2) Université Paris-Saclay, CNRS, LISN, Orsay, France

anfu.tang@inrae.fr, robert.bossy@inrae.fr, louise.deleger@inrae.fr, claire.nedellec@inrae.fr, pz@lisn.fr

## RÉSUMÉ

L'intégration de connaissances externes dans les modèles neuronaux est très étudiée pour améliorer les performances des modèles de langue pré-entraînés, notamment en domaine biomédical. Dans cet article, nous explorons la contribution de plongements de bases de connaissances à une tâche d'extraction de relations. Pour deux mentions d'entités candidates dans un texte, nous faisons l'hypothèse que la connaissance de relations entre elles, issue d'une base de connaissances (BC) externe, aide à prédire l'existence d'une relation dans le texte, y compris lorsque les relations de BC sont différentes de celles du texte. Notre approche consiste à calculer des plongements du graphe de BC et à estimer la possibilité pour chaque paire d'entité du texte qu'elle soit reliée par une relation de BC. Les expériences menées sur trois tâches d'extraction de relations en domaine biomédical montrent que notre méthode surpasse le modèle PubMedBERT de base et obtient des performances comparables aux méthodes de l'état de l'art.

## ABSTRACT

### Exploiting Graph Embeddings from Knowledge Bases for Neural Biomedical Relation Extraction

Integrating external knowledge into neural models has been extensively studied to improve the performance of pre-trained Language Models, especially in the biomedical domain. In this paper, we explore the contribution of knowledge base embeddings to relation extraction (RE) tasks. Given two candidate entity mentions in a text, we hypothesize that knowing which relations exist between them in an external knowledge base (KB) helps to predict the existence of a relation in the text, even when the KB relations are different from those of the RE task. Our approach consists in computing KB graph embeddings and in estimating the possibility that each pair of entities is linked by a KB relation. Experiments conducted on three biomedical RE tasks show that our method outperforms the baseline PubMedBERT model and yields comparable performance to state-of-the-art methods.

**MOTS-CLÉS** : Extraction de relations, BERT, plongements de graphes, base de connaissances.

**KEYWORDS:** Relation Extraction, BERT, Graph Embedding, Knowledge Base.

<figure><img src="image_74.png" /></figure>
# 1 Introduction

L'extraction de relations est une tâche importante du traitement automatique des langues sur laquelle de nombreuses études existent. Elle consiste à identifier le type de relation entre une paire d'entités étant donné une phrase entière. Un exemple d'extraction de relations est montré dans la figure 1 : l'objectif est de déterminer quelle relation existe entre *Argatroban* et *thrombin*, par exemple *CPR:4*.

<figure><img src="image_75.png" /><figcaption>FIGURE 1 – Un exemple venant du corpus d'extraction de relations ChemProt (Krallinger et al., 2017). Une relation "CPR:4" est annotée dans la phrase entre *Argatroban* et *thrombin* ; on trouve une relation "decrease^activity" entre ces entités dans la BC externe CTD (Davis et al., 2023).</figcaption></figure>

Les modèles de langue pré-entraînés fondés sur les architectures de type Transformer (Vaswani et al., 2017) tels que BERT (Devlin et al., 2019) obtiennent des performances à l'état de l'art dans diverses tâches de Traitement Automatique des Langues (TAL). Le modèle de langue BERT est pré-entraîné sur un corpus du domaine général, ce qui entraîne des limitations lorsqu'il est appliqué à un domaine spécifique. Pour adapter BERT à des domaines particuliers, des variantes de BERT (Lee et al., 2020; Beltagy et al., 2019; Gu et al., 2021) ont été pré-entraînées sur des corpus de ces domaines, soit en partant de la version pré-entraînée dans le domaine général (SciBERT (Beltagy et al., 2019), BioBERT (Lee et al., 2020)), soit en partant de zéro (PubMedBERT (Gu et al., 2021), CharacterBERT (El Boukkouri et al., 2020)). Dans ces domaines, ces modèles spécifiques surpassent le modèle BERT pré-entraîné sur un corpus du domaine général (Lee et al., 2020).

Le pré-entraînement de BERT sur un corpus de textes n'a pas d'objectif explicite visant à acquérir des connaissances factuelles qui pourraient contribuer à réaliser notre objectif d'extraction de relations. Certains travaux (Wang et al., 2021; Hao et al., 2020) ont proposé d'ajouter un objectif de pré-entraînement lié à une base de connaissances (BC) pour injecter des connaissances factuelles. D'autres (Iinuma et al., 2022; Hao et al., 2020) se concentrent sur l'utilisation de bases de connaissances pour obtenir des données supplémentaires. Dans la communauté du Web sémantique, des méthodes de plongement de graphes telles que (Ribeiro et al., 2017; Bordes et al., 2013; Sun et al., 2019) ont été développées. Elles fournissent des outils pour intégrer des informations provenant de graphes de connaissance.

Cependant, dans un contexte d'extraction de relations à partir de textes, les bases de connaissances de domaines spécifiques contiennent souvent des relations différentes de celles qui sont recherchées dans les textes. Prenons l'exemple de *Comparative Toxicogenomics Database* (CTD) (Davis et al., 2023) et du corpus ChemProt (Krallinger et al., 2017) fréquemment exploités ensemble pour l'extraction de relations d'interactions entre produits chimiques et gènes. Dans CTD il existe des relations pour 134 interactions, telles que "affects_stability", "increase_reaction", etc., mais dans le corpus ChemProt, seulement 6 interactions sont recherchées, par exemple "inhibitor", "downregulator", etc. Les relations de CTD sont plus précises que celles de ChemProt et elles ne sont pas directement alignables, ce qui rend leur exploitation plus complexe. Cependant, nous supposons que les relations
de CTD peuvent être utiles ; par exemple, dans la figure 1, la relation *decrease_activity* trouvée dans CTD peut suggérer qu'il est plus probable que la relation à prédire appartienne à la classe *CPR:4*.

Dans cet article, nous proposons KB-PubMedBERT, un modèle neuronal spécifiquement conçu pour l'extraction de relations biomédicales capable d'exploiter des relations de bases externes, notamment lorsqu'elles sont différentes de celles qui sont à extraire des textes. Notre architecture se compose du modèle PubMedBERT pré-entraîné dans le domaine biomédical (Gu et al., 2021) et d'un composant de plongement de graphes basé sur la méthode RotatE (Sun et al., 2019). Nous partons de graphes de connaissances du domaine qui contiennent des relations possiblement liées aux relations cibles des tâches d'extraction de relations : nous faisons l'hypothèse qu'elles peuvent aider à améliorer la classification des relations cibles. Nous utilisons des plongements de ces graphes de connaissances pour estimer la possibilité que des relations de la base de connaissances existent entre deux mentions d'entités. En ajoutant ce profil de possibilités à la sortie du modèle de langue pré-entraîné, nous faisons en sorte que notre modèle encode à la fois les informations textuelles et les informations de la base de connaissances. Nous supposons qu'il devrait ainsi être plus performant dans les tâches d'extraction de relations. À notre connaissance, nous sommes les premiers à étudier comment l'utilisation de relations d'un graphe de connaissances qui ne sont pas les relations cibles peut aider à améliorer l'extraction de relations à l'aide d'un modèle de langue pré-entraîné.

Notre article est organisé comme suit. Nous présentons d'abord RotatE, la méthode de plongement de graphes utilisée comme composant de notre modèle, puis des études antérieures sur l'intégration de connaissances de BC dans des modèles de langues pré-entraînés (section 2). Nous présentons ensuite l'architecture de notre modèle et l'hypothèse sous-jacente (section 3). Nous détaillons enfin les expériences menées et les résultats obtenus (section 4), puis concluons (section 5).

# 2 Travaux connexes

Dans cette section, nous présentons d'abord des études antérieures sur un composant important de notre modèle : les méthodes de plongement de graphe. Nous présentons ensuite d'autres méthodes visant à intégrer les informations d'une base de connaissances dans les modèles neuronaux. Ces recherches ont en commun un objectif de performance en domaine de spécialité.

## 2.1 Plongement de graphe

Les méthodes de plongement de graphe apprennent des représentations vectorielles pour les sommets (concepts) et les arêtes (relations) de graphes. Inspirées de word2vec (Mikolov et al., 2013), les méthodes basées sur le contexte telles que node2vec (Grover & Leskovec, 2016) et Struc2vec (Ribeiro et al., 2017) consistent d'abord à échantillonner aléatoirement des séquences de sommets à partir du graphe, puis à utiliser des sommets voisins comme contexte pour apprendre des plongements de sommets. D'autres méthodes telles que TransE (Bordes et al., 2013) et RotatE (Sun et al., 2019) consistent à modéliser une arête possédant une étiquette donnée comme une transformation entre les vecteurs des sommets qu'elle relie. Par exemple, étant donné une arête *r* entre deux sommets *h* et *t*, les vecteurs correspondants sont notés (*h*, *r*, *t*), TransE modélise *r* comme une translation telle que $t = h + r$. Suivant le même principe mais au lieu d'une translation, la méthode RotatE modélise les arêtes comme des rotations dans l'espace vectoriel complexe : $t = h \circ r$, où $\circ$ est le produit de Hadamard (élément par élément). Dans notre travail, nous choisissons la méthode RotatE car elle