<table><caption>TABLE 1 – Jeux de données annotés en entités nommées pour le français</caption><thead><tr><td>Nom</td><td>Tokens</td><td>Annotations</td><td>Classes</td><td>Références</td></tr></thead><tbody><tr><td>MultiNERD</td><td>4 300 000</td><td>279 300</td><td>15</td><td>(Tedeschi & Navigli, 2022)</td></tr><tr><td>WikiNeural</td><td>3 240 000</td><td>231 000</td><td>4</td><td>(Tedeschi et al., 2021b)</td></tr><tr><td>Le tour du monde en 80 jours</td><td>84 972</td><td>6 076</td><td>12</td><td>(Lopez et al., 2019)</td></tr><tr><td>WiNER-Fr</td><td>322 931</td><td>24 144</td><td>7</td><td>(Dupont, 2019)</td></tr><tr><td>Wikipedia-ner</td><td>21 855</td><td>6 132</td><td>41</td><td>(Lopez et al., 2019)</td></tr><tr><td>CAP Twitter</td><td>env. 60 000</td><td>6 562</td><td>13</td><td>(Lopez et al., 2017)</td></tr><tr><td>Europeana-newpapers-ner</td><td>207 000</td><td>13 860</td><td>3</td><td>(Neudecker, 2016)</td></tr><tr><td>Quaero French Medical Corpus</td><td>72 183</td><td>16 233</td><td>10</td><td>(Névéol et al., 2014)</td></tr><tr><td>French TreeBank</td><td>350 931</td><td>11 636</td><td>7</td><td>(Sagot et al., 2012)</td></tr><tr><td>WikiNer-Fr</td><td>3 499 695</td><td>420 061</td><td>4</td><td>(Nothman et al., 2008)</td></tr></tbody></table>

# 3 Création du jeu de données

## 3.1 Choix du jeu de données anglais

Le choix du jeu de données a été réalisé selon plusieurs indicateurs. Ces indicateurs ont été identifiés pour répondre à plusieurs de nos contraintes, à savoir le nombre de classes, le nombre de tokens et d'entités suffisantes pour réaliser un apprentissage des systèmes. Nous avons également souhaité que le jeu de données soit annoté manuellement avec un score d'évaluation inter-annotateurs reconnu par la communauté scientifique tel que le Kappa de Cohen (Cohen, 1960). Nous avons ainsi identifié deux jeux de données anglophones susceptibles de nous intéresser, Few-Nerd (Ding et al., 2021) et DWIE (Zaporojets et al., 2021). Ces deux jeux de données présentent une ontologie sur plusieurs niveaux avec un nombre important de classes, de tokens et d'entités. À la suite de cette étape d'identification, nous avons retenu celui qui présentait le meilleur score d'accord inter-annotateur (Kappa de Cohen à 0.87) : DWIE. DWIE est annoté avec 169 classes organisées dans une taxonomie à 4 niveaux.

## 3.2 Traduction du jeu de données en français

La première étape de notre approche pour la conversion d'un jeu de données consiste à traduire le texte source de DWIE. Nous avons effectué une comparaison de différents systèmes de traduction anglais-français en utilisant le jeu de données WMT14 EN-FR (Bojar et al., 2014), en nous concentrant sur des modèles proches de l'état de l'art. Parmi ces modèles, DeepL<fnref n="2" /> est l'un des plus performants mais ce dernier n'était pas open-source, nous utilisons le modèle Ott et al. 2018³. Ce modèle utilise une architecture Transformer dotée de 6 blocs encodeurs et décodeurs, et obtient un score BLEU (Papineni et al., 2002) de 43.2 sur WMT14 EN-FR.

## 3.3 Annotation du jeu de données français par alignement

L'objectif de cette étape est d'annoter les entités du jeu de données français à partir du jeu de données anglais annoté DWIE. Nous avons expérimenté deux versions d'une approche d'alignement qui sera

<footnote n="2">2. https://www.deepl.com/translator</footnote>

<footnote n="3">3. https://github.com/facebookresearch/fairseq/tree/main/examples/scaling_nmt</footnote>
évaluée dans la section 4.

La première approche d'alignement est divisée en trois étapes. Tout d'abord, une identification des tokens par correspondance exacte des formes en anglais et en français permet d'annoter certaines entités avec un haut niveau de confiance. Pour les tokens restant à annoter, une mesure de distance sémantique (similarité cosinus) retournée par le modèle *Bert-base-multilingual-cased* (Devlin *et al.*, 2018) est utilisée pour déterminer le mot traduit le plus proche sémantiquement (« mot cible », dans la suite). Si la distance sémantique ou la distance lexicale entre le mot source et le mot cible est supérieure respectivement à 0,70 et 0,60 (seuils définis empiriquement) alors ce mot est annoté avec le type du mot source. Cette première approche a donné lieu à un jeu de données que l'on nommera dans la suite DWIE-FR-v1.

La seconde approche d'alignement est une extension à la première. Cette dernière est complétée par deux nouveaux modules. Le premier module consiste à établir une liste de plusieurs traductions candidates pour chaque entité de la phrase d'origine, puis à vérifier si l'une de ces traductions apparaît dans la phrase traduite. L'algorithme de recherche en faisceau utilisé pour la traduction par Vijayakumar *et al.* 2016 et réutilisé par Ott *et al.* 2019 génère justement des propositions de traduction. Ceci établit les correspondances avec les entités présentes dans la phrase traduite. Le module suivant met en œuvre des patrons d'annotation ; par exemple un token qui se situerait entre deux tokens de même type et qui est un article est annoté avec ledit type. Ces deux modules sont particulièrement utiles lorsque l'entité à traduire est composée de plusieurs tokens qui n'ont pas tous été annotés lors des étapes précédentes. Cette seconde approche résulte en un jeu de données que l'on nommera dans la suite DWIE-FR-v2.

Par ailleurs, nous utilisons l'aligneur *FastAlign* (Dyer *et al.*, 2013) afin de positionner les deux approches décrites vis à vis de cet aligneur très utilisé par la communauté scientifique. Le jeu de données obtenu avec cet aligneur est nommé "DWIE-FR FastAlign" dans la suite.

## 3.4 Protocole d'évaluation de DWIE-FR-v1 et DWIE-FR-v2

La qualité des jeux de données DWIE-FR-v1, DWIE-FR-v2 et DWIE-FR FastAlign obtenus par les approches présentées précédemment a été mesurée grâce à sept personnes qui ont manuellement validé ou invalidé les annotations sur des échantillons représentatifs. D'une part, ces évaluations mesurent l'impact de chaque méthode d'alignement sur le jeu de données produit ; l'objectif ici est d'évaluer à quel point les transferts de classes de la version anglaise vers la version traduite ont été correctement effectués. D'autre part, elles donnent une indication sur la qualité globale du jeu de données produit.

Pour chacun des trois jeux de données, un échantillon de 1000 tokens a été annoté par chacun des sept experts (chaque expert a annoté des échantillons différents) en respectant la typologie d'erreurs présentée dans le Tableau 3. Au total, 298 phrases ont été évaluées.

**Analyse de l'évaluation** Le Tableau 2 montre les résultats de cette évaluation en termes de précision, rappel et F1-score. Il apparaît que DWIE dans sa version originale obtient un F1-score de 99%, ce qui confirme la qualité de l'annotation réalisée par Zaporojets *et al.* 2021, dont le score inter-annotateurs annoncé par les auteurs est de 0.87 et conforte ce choix du jeu de données d'origine. Le rappel reste légèrement plus faible que la précision, ce qui est dû à certaines annotations manquantes notamment
pour la classe « rôle » (i.e. rôle des personnes, fonctions, métiers). Cette absence s'explique par la subjectivité d'un tel label.

L'excellente précision de DWIE est héritée par DWIE-FR V1 mais la diminution de 13% du rappel indique que cette première approche d'alignement n'est pas assez couvrante. Ce rappel est augmenté grâce à la seconde approche d'alignement puisque DWIE-FR V2 obtient un rappel de 93.5% tout en conservant une précision très haute (98.6%). Cette perte de 3.2% de rappel par rapport à DWIE s'explique notamment par la difficulté d'aligner des tokens lorsque la traduction a généré plus de tokens que le texte source et par un score de similarité sémantique qui n'atteint pas le seuil fixé. La méthode non-supervisée FastAlign obtient un meilleur rappel (95.4%). Cependant, sa précision reste trop basse (93.4%).

Finalement, nous retenons DWIE-FR V2 que nous nommerons dans la suite DWIE-FR, version rendue libre et accessible 4. Nous considérons que DWIE-FR est d'une qualité équivalente (à 3.2% près) à son homonyme anglais. Le jeu de données est composé de 589 394 tokens dont 60 292 annotés en entités nommées avec 169 classes.

<table><caption>TABLE 2 – Évaluation de l'annotation des jeux de données</caption><thead><tr><td>Jeu de données (version)</td><td>Précision</td><td>Rappel</td><td>F1-Score</td></tr></thead><tbody><tr><td>DWIE</td><td>99.6</td><td>98.5</td><td>99.0</td></tr><tr><td>DWIE-FR V1</td><td>99.0</td><td>85.0</td><td>91.4</td></tr><tr><td>DWIE-FR V2</td><td>98.6</td><td>93.4</td><td>95.8</td></tr><tr><td>DWIE-FR FastAlign</td><td>93.4</td><td>95.4</td><td>94.38</td></tr></tbody></table>

<table><caption>TABLE 3 – Typologie d'erreurs utilisée lors de l'annotation en vue de l'évaluation de l'alignement</caption><thead><tr><td>Label d'erreur</td><td>Type d'erreur</td></tr></thead><tbody><tr><td>Ce n'est pas une entité nommée (l'erreur vient du jeu anglais)</td><td>Faux positif</td></tr><tr><td>Ce n'est pas une entité nommée (l'erreur vient de l'alignement)</td><td>Faux positif</td></tr><tr><td>L'entité possède la mauvaise étiquette (l'erreur vient du jeu anglais)</td><td>Faux positif</td></tr><tr><td>L'entité possède la mauvaise étiquette (l'erreur vient de l'alignement)</td><td>Faux positif</td></tr><tr><td>Le token devrait être annoté (l'erreur vient de l'alignement)</td><td>Faux négatif</td></tr><tr><td>Le token devrait être annoté (l'erreur vient du jeu anglais)</td><td>Faux négatif</td></tr></tbody></table>

## 4 Expérimentations

Deux expériences principales ont été réalisées à partir de DWIE-FR : une spécialisation de FlauBERT (Le et al., 2019) et une spécialisation de CamemBERT (Martin et al., 2019) (section 4.1), ainsi que l'évaluation des modèles obtenus sur trois autres jeux de données (section 4.2). Les modèles ont été entraînés sur 50 epochs à l'aide du framework Flair (Akbik et al., 2019), avec un learning rate de 1e-5, une taille de batch de 16 et la fonction de coût cross-entropique.

<footnote n="4">4. https://github.com/Emvista/DWIE-FR</footnote>
## 4.1 Performance des modèles FR vs. EN

Dans un premier temps, nous avons spécialisé RoBERTa (Zhuang et al., 2021) à partir de DWIE-EN afin de positionner les spécialisations de FlauBERT et CamembERT à partir de DWIE-FR. Le tableau 4 indique les performances obtenues par les trois modèles pour chacun des quatre niveaux de la taxonomie.

<table><caption>TABLE 4 – Résultats des modèles sur DWIE-EN et DWIE-FR</caption><thead><tr><th rowspan="2">Modèles</th><th colspan="2">Niv. 1</th><th colspan="2">Niv. 2</th><th colspan="2">Niv. 3</th><th colspan="2">Niv. 4</th></tr><tr><th>F1 Micro</th><th>F1 Macro</th><th>F1 Micro</th><th>F1 Macro</th><th>F1 Micro</th><th>F1 Macro</th><th>F1 Micro</th><th>F1 Macro</th></tr></thead><tbody><tr><td colspan="9" style="text-align: center; font-weight: bold;">DWIE-EN</td></tr><tr><td>RoBERTa</td><td>95.35</td><td>94.3</td><td>93.51</td><td>78.98</td><td>85.99</td><td>52.01</td><td>84.32</td><td>54.69</td></tr><tr><td colspan="9" style="text-align: center; font-weight: bold;">DWIE-FR</td></tr><tr><td>CamembERT-ner<sup>5</sup></td><td>87.18</td><td>83.81</td><td>84.53</td><td>58.66</td><td>75.27</td><td>29.82</td><td>72.5</td><td>27.85</td></tr><tr><td>CamembERT-base</td><td>87.06</td><td>83.68</td><td>84.05</td><td>59.14</td><td>73.48</td><td>24.52</td><td>71.12</td><td>24.95</td></tr><tr><td>FlauBERT-base-uncased</td><td>87.21</td><td>84.36</td><td>84.36</td><td>63.17</td><td>78.08</td><td>42.31</td><td>76.21</td><td>42.69</td></tr></tbody></table>

Le tableau 4 laisse apparaître que plus le niveau de la taxonomie est élevé et plus le score F1 Micro diminue. La F1 Micro diminue d'environ 10% à 15% alors que le F1 Macro diminue d'environ 40% à 45% entre le niveau 1 et le niveau 4. Ceci s'explique par le déséquilibre entre les classes de haut niveau. En effet, plus le nombre de classes augmente (ce qui va de pair avec la spécialisation des classes; niveau 1 à 4), plus l'écart entre le F1 Micro et le F1 Macro se creuse. Cette observation est valable aussi bien pour la version anglaise que pour la version française, ce qui indique une difficulté à appréhender des taxonomies à plusieurs niveaux et justifie la publication de ce nouveau jeu de données afin d'encourager des recherches à ce sujet.

Par ailleurs, il apparaît que Flaubert est plus robuste que Camembert lorsqu'ils sont confrontés aux niveaux les plus élevés de la taxonomie. La spécialisation de FlaubERT obtient globalement les meilleurs résultats et pourra servir de référence pour les prochaines évaluations.

## 4.2 Inférence sur d'autres jeux de données

La seconde expérience vise à étudier le comportement des modèles entrainés sur DWIE-FR sur trois autres jeux de données libres et accessibles : European Newspapers-FR, Jules Verne et Wikipedia NER (décrits en section 2). L'évaluation s'effectue uniquement sur les classes Personne, Lieu et Organisation qui sont les seules classes communes à ces jeux de données.

La reconnaissance d'entité nommée est évaluée de deux manières, la reconnaissance de l'entité dans son entièreté et une reconnaissance à l'échelle du mot. Nous évaluons les systèmes en calculant le F1-score Macro tel qu'indiqué dans l'équation 1, soit, la moyenne des F1-score obtenus pour chacune des trois classes.

$$F1_{Macro} = \frac{F1_{LOC} + F1_{PER} + F1_{ORG}}{3} \qquad (1)$$

<footnote n="5">5. https://huggingface.co/Jean-Baptiste/camembert-ner</footnote>
<table><caption>TABLE 5 – Résultats des modèles sur European NewsPapers, Wikipedia-NER FR et Jules Verne</caption><thead><tr><th rowspan="2">Modèles</th><th colspan="2">European Newspapers</th><th colspan="2">Wikipedia NER</th><th colspan="2">Jules Verne</th></tr><tr><th>F1 (Tokens)</th><th>F1 (BIO)</th><th>F1 (Tokens)</th><th>F1 (BIO)</th><th>F1 (Tokens)</th><th>F1 (BIO)</th></tr></thead><tbody><tr><td colspan="7" style="text-align: center; font-weight: bold;">DWIE-FR-v2</td></tr><tr><td>CamemBERT-ner</td><td><b>62.38</b></td><td><b>54.14</b></td><td><b>85.23</b></td><td><b>76.84</b></td><td><b>78.62</b></td><td><b>70.83</b></td></tr><tr><td>CamemBERT-base</td><td>60.53</td><td>52.03</td><td>83.06</td><td>72.27</td><td>74.62</td><td>65.37</td></tr><tr><td>FlaubERT-base-uncased</td><td>51.40</td><td>44.56</td><td>81.03</td><td>71.13</td><td>66.38</td><td>55.19</td></tr><tr><td colspan="7" style="text-align: center; font-weight: bold;">DWIE-FR-FastAlign</td></tr><tr><td>CamemBERT-ner</td><td>56.60</td><td>46.25</td><td>82.73</td><td>72.86</td><td>74.6</td><td>59.14</td></tr><tr><td>CamemBERT-base</td><td>55.72</td><td>44.95</td><td>82.64</td><td>69.88</td><td>70.83</td><td>58.02</td></tr><tr><td>Flaubert-base-uncased</td><td>57.35</td><td>46.05</td><td>78.82</td><td>68.89</td><td>72.81</td><td>60.95</td></tr></tbody></table>

Les résultats obtenus et consignés dans le tableau 5 montrent que les modèles entraînés sur DWIE-FR sont assez robustes pour être utilisés en pré-entraînement sur des jeux de données différents. Nous avons remarqué que globalement FlaubERT obtient de moins bons résultats que CamemBERT sur les méthodes **DWIE-FR-v2** et **FastAlign**. L'hypothèse du sur-apprentissage semble être une piste à étudier pour expliquer ces résultats. Nous pouvons également voir que le pré-apprentissage de Camembert-ner sur Wikiner-fr dans une tâche de reconnaissance d'entité nommées, permet d'améliorer les performances sur ces corpus jusqu'à 5% du F1-score.

Camembert-ner a été entraîné sur des classes génériques avec le corpus Wikiner-fr. Ce pré-entraînement a pu permettre de capturer des informations sémantiques dans les représentations intermédiaires de Camembert. Nous pouvons émettre l'hypothèse que le pré-entraînement d'un modèle sur une tâche de reconnaissance d'enitités nommées aide à la généralisation dans d'autres corpus de REN. Cependant il faut considérer que chaque jeu de données possède une stratégie d'annotation différente impliquant un alignement d'annotation difficile.

# 5 Conclusion

Dans cet article, nous avons constaté un manque de jeux de données en français qui soient accessibles, libres, et annotés avec plusieurs dizaines de classes d'entités nommées. Une approche constituée d'une étape de traduction et d'une étape d'alignement d'étiquettes a été expérimentée. Les évaluations permettent de considérer que le jeu de données DWIE-FR obtenu en appliquant cette approche est d' aussi haute qualité que le jeu source en anglais DWIE à 3,2% près. Des premiers apprentissages ont eu lieu avec ce nouveaux jeu de données sur la base des modèles de langues français CammemBERT et FlaubERT.

Dans la suite, nous étudierons comment maintenir des scores élevés quel que soit le niveau de l'ontologie considéré. Nous étudierons également la différence remarquée entre FlaubERT et CamemBERT qui s'accentue lorsque l'on tend vers les niveaux les plus spécifiques de la taxonomie.
Références

AKBIK A., BERGMANN T., BLYTHE D., RASUL K., SCHWETER S. & VOLLGRAF R. (2019).
FLAIR: An easy-to-use framework for state-of-the-art NLP. In *NAACL 2019, 2019 Annual
Conference of the North American Chapter of the Association for Computational Linguistics
(Demonstrations)*, p. 54–59.

BANNOUR N., WAJSBÜRT P., RANCE B., TANNIER X. & NÉVÉOL A. (2022). Modèles préservant
la confidentialité des données par mimétisme pour la reconnaissance d'entités nommées en français.
*Actes de la journée d'étude sur la robustesse des systemes de TAL*, p. 12.

BOJAR O., BUCK C., FEDERMANN C., HADDOW B., KOEHN P., LEVELING J., MONZ C., PECINA P., POST M., SAINT-AMAND H., SORICUT R., SPECIA L. & TAMCHYNA A. (2014). Findings of the 2014 workshop on statistical machine translation. In *Proceedings of the Ninth Workshop on Statistical Machine Translation*, p. 12–58, Baltimore, Maryland, USA : Association for Computational Linguistics. DOI : 10.3115/v1/W14-3302.

COHEN J. (1960). A Coefficient of Agreement for Nominal Scales. *Educational and Psychological Measurement*, **20**(1), 37.

DEVLIN J., CHANG M., LEE K. & TOUTANOVA K. (2018). BERT: pre-training of deep bidirec-
tional transformers for language understanding. *CoRR*, abs/1810.04805.

DING N., XU G., CHEN Y., WANG X., HAN X., XIE P., ZHENG H.-T. & LIU Z. (2021). Few-nerd : A few-shot named entity recognition dataset. DOI : 10.48550/ARXIV.2105.07464.

DUPONT Y. (2019). Un corpus libre, évolutif et versionné en entités nommées du français. In *TALN 2019-Traitement Automatique des Langues Naturelles*.

DYER C., CHAHUNEAU V. & SMITH N. A. (2013). A simple, fast, and effective reparameterization
of ibm model 2. In *North American Chapter of the Association for Computational Linguistics*.

EHRMANN M. (2008). *Les Entitées Nommées, de la linguistique au TAL : Statut théorique et méthodes de désambiguïsation*. Thèse de doctorat, Paris Diderot University.

EHRMANN M., ROMANELLO M., BIRCHER S. & CLEMATIDE S. (2020). Introducing the clef
2020 hipe shared task : Named entity recognition and linking on historical newspapers. In *Advances
in Information Retrieval : 42nd European Conference on IR Research, ECIR 2020, Lisbon, Portugal,
April 14–17, 2020, Proceedings, Part II 42*, p. 524–532 : Springer.

GALIBERT O., LEIXA J., ADDA G., CHOUKRI K. & GRAVIER G. (2014). The etape speech
processing evaluation. In *LREC*, p. 3995–3999.

GALLIANO S., GRAVIER G. & CHAUBARD L. (2009). The ester 2 evaluation campaign for the rich transcription of french radio broadcasts. In *Tenth Annual Conference of the International Speech Communication Association*.

HELLMANN S., LEHMANN J., AUER S. & BRÜMMER M. (2013). Integrating nlp using linked
data. In *The Semantic Web-ISWC 2013 : 12th International Semantic Web Conference, Sydney, NSW,
Australia, October 21-25, 2013, Proceedings, Part II 12*, p. 98–113 : Springer.

KIM H., YOO J., YOON S., LEE J. & KANG J. (2021). Simple questions generate named entity
recognition datasets.

LE H., VIAL L., FREJ J., SEGONNE V., COAVOUX M., LECOUTEUX B., ALLAUZEN A., CRABBÉ
B., BESACIER L. & SCHWAB D. (2019). Flaubert : Unsupervised language model pre-training for
french. *CoRR*, abs/1912.05372.
LOPEZ C., MEKAOUI M., AUBRY K., BORT J. & GARNIER P. (2019). Reconnaissance d'entités nommées itérative sur une structure en dépendances syntaxiques avec l'ontologie nerd. In *Extraction et Gestion des Connaissances : Actes de la conférence EGC*, volume 79, p. 81-92.

LOPEZ C., PARTALAS I., BALIKAS G., DERBAS N., MARTIN A., REUTENAUER C., SEGOND F. & AMINI M.-R. (2017). Cap 2017 challenge : Twitter named entity recognition. *arXiv preprint arXiv:1707.07568*.

MARTIN L., MULLER B., SUÁREZ P. J. O., DUPONT Y., ROMARY L., DE LA CLERGERIE É. V., SEDDAH D. & SAGOT B. (2019). Camembert : a tasty french language model. *arXiv preprint arXiv:1911.03894*.

NEUDECKER C. (2016). An open corpus for named entity recognition in historic newspapers. In *Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16)*, p. 4348-4352, Portorož, Slovenia : European Language Resources Association (ELRA).

NÉVÉOL A., GROUIN C., LEIXA J., ROSSET S. & ZWEIGENBAUM P. (2014). The quaero french medical corpus : A ressource for medical entity recognition and normalization. *Proc of BioTextMining Work*, p. 24-30.

NOTHMAN J., CURRAN J. R. & MURPHY T. (2008). Transforming wikipedia into named entity training data. In *Proceedings of the Australasian Language Technology Association Workshop 2008*, p. 124-132.

OTT M., EDUNOV S., BAEVSKI A., FAN A., GROSS S., NG N., GRANGIER D. & AULI M. (2019). fairseq : A fast, extensible toolkit for sequence modeling. *arXiv preprint arXiv:1904.01038*.

OTT M., EDUNOV S., GRANGIER D. & AULI M. (2018). Scaling neural machine translation. *CoRR*, abs/1806.00187.

PAPINENI K., ROUKOS S., WARD T. & ZHU W.-J. (2002). Bleu : a method for automatic evaluation of machine translation. In *Proceedings of the 40th annual meeting of the Association for Computational Linguistics*, p. 311-318.

ROSSET S., GROUIN C. & ZWEIGENBAUM P. (2011). *Entités nommées structurées : guide d'annotation Quaero*. LIMSI-Centre national de la recherche scientifique.

SAGOT B., RICHARD M. & STERN R. (2012). Annotation référentielle du corpus arboré de Paris 7 en entités nommées. In *Traitement Automatique des Langues Naturelles (TALN)*, volume 2.

SANG E. F. & DE MEULDER F. (2003). Introduction to the conll-2003 shared task : Language-independent named entity recognition. *arXiv preprint cs/0306050*.

SPASOJEVIC N., BHARGAVA P. & HU G. (2017). Dawt : Densely annotated wikipedia texts across multiple languages. In *Proceedings of the 26th International Conference on World Wide Web Companion*, WWW '17 Companion, p. 1655-1662, Republic and Canton of Geneva, Switzerland : International World Wide Web Conferences Steering Committee. DOI : 10.1145/3041021.3053367.

TEDESCHI S., MAIORCA V., CAMPOLUNGO N., CECCONI F. & NAVIGLI R. (2021a). Wikineural : Combined neural and knowledge-based silver data creation for multilingual ner. In *Findings of the Association for Computational Linguistics : EMNLP 2021*, p. 2521-2533.

TEDESCHI S., MAIORCA V., CAMPOLUNGO N., CECCONI F. & NAVIGLI R. (2021b). Wiki-NEuRal : Combined neural and knowledge-based silver data creation for multilingual NER. In *Findings of the Association for Computational Linguistics : EMNLP 2021*, p. 2521-2533, Punta Cana, Dominican Republic : Association for Computational Linguistics.
TEDESCHI S. & NAVIGLI R. (2022). Multinerd : A multilingual, multi-genre and fine-grained dataset for named entity recognition (and disambiguation). In *Findings of the Association for Computational Linguistics : NAACL 2022*, p. 801–812.

VIJAYAKUMAR A. K., COGSWELL M., SELVARAJU R. R., SUN Q., LEE S., CRANDALL D. & BATRA D. (2016). Diverse beam search : Decoding diverse solutions from neural sequence models. *arXiv preprint arXiv :1610.02424*.

YE D., LIN Y., LI P. & SUN M. (2022). Packed levitated marker for entity and relation extraction. In *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long Papers)*, p. 4904–4917.

ZAPOROJETS K., DELEU J., DEVELDER C. & DEMEESTER T. (2021). Dwie : An entity-centric dataset for multi-task document-level information extraction. *Information Processing & Management*, **58**(4), 102563.

ZHUANG L., WAYNE L., YA S. & JUN Z. (2021). A robustly optimized bert pre-training approach with post-training. In *Proceedings of the 20th chinese national conference on computational linguistics*, p. 1218–1227.
# Evaluating the Generalization Property of Prefix-based Methods for Data-to-text Generation

Clarine Vongpaseut¹, ² Alberto Lumbreras ¹ Mike Gartrell¹ Patrick Gallinari¹, ³

(1) Criteo AI Lab, Paris, France

(2) École des Ponts ParisTech, Champs-sur-Marne, France

(3) Sorbonne Université, CNRS, ISIR, Paris, France

clarinevong@gmail.com, a.lumbreras@criteo.com, m.gartrell@criteo.com, patrick.gallinari@sorbonne-universite.fr

## RÉSUMÉ

## Évaluation de la capacité de généralisation de méthodes prefix-based pour le data-to-text

Le *fine-tuning* est le paradigme courant pour adapter des modèles de language pré-entrainés à une tâche. Les méthodes de *fine-tuning* léger, comme le *prefix-tuning*, modifient uniquement un petit ensemble de paramètres, permettant de réduire les coûts d'entrainement. Ces méthodes atteignent des résultats comparables au *fine-tuning*. Toutefois, leurs performances se dégradent lorsqu'on s'éloigne des données d'entraînement. De plus, des travaux récents questionnent l'efficacité de ces méthodes selon la tâche d'application et la taille du modèle. Nous proposons dans ce papier d'évaluer la capacité de généralisation de méthodes *prefix-based* en fonction de la taille du modèle pré-entrainé, dans le cadre multi-domaine pour le *data-to-text* i.e. la conversion de données structurées en texte. Nous observons que leurs performances dépendent fortement de la taille du modèle.

## ABSTRACT

Fine-tuning is the prevalent paradigm to adapt pre-trained language models to downstream tasks. Lightweight fine-tuning methods, such as prefix-tuning, only tune a small set of parameters which alleviates cost. Such methods were shown to achieve results similar to fine-tuning; however, performance can decrease when the inputs get farther from the training domain. Moreover, latest works questioned the efficiency of recent lightweight fine-tuning techniques depending on the task and the size of the model. In this paper, we propose to evaluate the generalization property of prefix-based methods depending on the size of the pre-trained language model in the multi-domain setting on data-to-text generation. We found that their performance depends heavily on the size of the model.

**MOTS-CLÉS** : Prefix-tuning, Apprentissage multi-tâche, Capacité de généralisation, Data-to-text.

**KEYWORDS**: Prefix-tuning, Multi-task learning, Generalization property, Data-to-text.

## 1 Introduction

Fine-tuning is the prevalent approach to adapting pre-trained language models (PLMs) to various downstream tasks (Devlin et al., 2019). However, fine-tuning is both computationally and memory expensive. Lightweight fine-tuning methods address this problem by freezing most of the PLMs parameters, e.g. fine-tuning the top layers, or by training only a smaller set of added parameters. A first method, adapter-tuning (Houlsby et al., 2019), inserts task-specific layers between the layers of PLMs. Recently Li & Liang (2021) presented a second method, prefix-tuning, where a prompt

<figure><img src="image_41.png" /></figure>
is optimized as hidden-states, i.e. key-value for Transformer (Vaswani et al., 2017). Their method outperformed adapter-tuning and also achieved comparable performance with fine-tuning on data-to-text benchmarks when using GPT-2 medium and large (Radford et al., 2019). Lester et al. (2021) introduce a third lightweight fine-tuning method, prompt-tuning, in which continuous embeddings are optimized as soft prompts. Their experiments show that the performance gap between prompt-tuning and fine-tuning reduces with increase of model's size. In this paper, we focus on prefix-based methods.

Lightweight fine-tuning methods are also used for multi-task learning. HyperFormer (Mahabadi et al., 2021) builds on adapter-tuning and uses hypernetworks to generate task and layer-specific adapter parameters, conditioned on task and layer embeddings. When published, HyperFormer achieved better performance on average on the GLUE benchmark (Wang et al., 2018) compared to fine-tuning and adapter-tuning, when using T5-small and T5-base (Raffel et al., 2020). He et al. (2022) propose HyperPrompt, a multi-task method based on prefix-tuning and HyperFormer's work, which outperforms HyperFormer. They showed that only tuning the added parameters of HyperFormer and HyperPrompt did not lead to similar performance when compared to tuning both added parameters and the PLM's parameters on SuperGLUE (Wang et al., 2019), a more difficult NLU benchmark, when using T5-large. This observation questions the efficiency of lightweight fine-tuning since the performance of those methods seem to vary depending on the task difficulty. Clive et al. (2022) concatenate two prefixes: one for the task and one for the domain.

We consider here data-to-text generation tasks, consisting in generating fluent descriptions of data available in table or graph format and typically extracted from databases. We consider a challenging multi-domain setting where data is supposed to come from multiple sources, each with its own term and term-relations distributions. This could be considered as a specific multi-task problem where each domain corresponds to a task. The challenge here is to adapt PLMs in order to handle this multi-domain setting when current practice considers mono-domain settings. We then propose to evaluate the generalization property of prefix-based methods in the multi-domain setting, both in zero-shot and after few-shot fine-tuning on new target domains. With the question of efficiency depending on the model's size in mind, we compare results for T5-small and T5-base transformers.

# 2 Prefix-based methods

## 2.1 Prefix-tuning

In this section, we detail prefix-tuning (Li & Liang, 2021). We consider a PLM with frozen parameters $\phi$. We use $E$, $D$ and $D_c$ to denote the three classes of attention present in each layer respectively, for the self-attention in the encoder and decoder and cross-attention in the decoder.

For each attention class, a set of prependable key-value pairs is learnt $P = \{(P_k^i, P_v^i)\}_{1\le i\le N}$ with $P_{k,v}^i \in \mathbb{R}^{l \times h \times d_h}$, where $N$ is the number of transformer blocks, $l$ is the length of the prefix, $h$ is the number of attention heads and $d_h$ is the dimension of each head.

At the $i$-th transformer block, the additional key-value pairs are concatenated to the original key and value matrices, denoted $K^i, V^i$: $K^{i'} = [P_k^i, K^i]$ $V^{i'} = [P_v^i, V^i]$. Multi-head attention is then computed using the new key-value and the original query $Q^i$.

The overall prefix, parameterized by $\theta$, is denoted $P_{\theta} = \{P^E, P^D, P^{D_c}\}$ and optimized through gradient descent: $\max_{\theta} \sum_{j=1}^n \log P(Y_j|X_j, P_{\theta}, \phi)$.

The prefix is not optimized directly. For each attention class, we learn $W \in \mathbb{R}^{l \times d}$ with $d$ the model's
dimension and a two-layered feed-forward network with a bottleneck architecture, which takes as input W and outputs the key-value pairs for all transformer blocks $P = \{(P_k^i, P_v^i)\}_{1\le i\le N}$. After training, the output of the MLPs can be saved and their weights can be dropped.

$$P_{\theta} = \{P^E, P^D, P^{D_c}\} = \{MLP^E(W^E), MLP^D(W^D), MLP^{D_c}(W^{D_c})\}.$$

## 2.2 HyperPrompt

In this section, we present HyperPrompt (He et al., 2022) for multi-domain learning. We consider a set of M domains $S_{train} = \{S^\tau\}_{1\le\tau\le M}$ where $S^\tau = \{(X_j^\tau, Y_j^\tau)\}_{1\le j\le n_\tau}$ is the $\tau$-th domain and a PLM with frozen parameters $\phi$. We introduce domain-conditioned parameters $\{\theta_\tau\}_{1\le\tau\le M}$, which are optimized through gradient descent $\max_{\{\theta_\tau\}_{1\le\tau\le M}} \sum_{\tau=1}^M \sum_{j=1}^{n_\tau} \log P(Y_j^\tau|X_j^\tau, \theta_\tau, \phi)$.

In HyperPrompt, domain-specific information is contained in hyperprompts, which are preparable key-value pairs only used in the self-attention of both the encoder and the decoder. Re-using previous notations, at the i-th transformer block, the original key-values $K^i$, $V^i$ of the self-attention are augmented: $K^{i'} = [P_{k,\tau}^i, K^i]$ $V^{i'} = [P_{v,\tau}^i, V^i]$

The different architectures to generate the hyperprompts are based on Mahabadi et al. (2021)'s work. For each domain, we learn a global prompt $W_\tau \in \mathbb{R}^{l \times d}$, a matrix containing domain-specific information, where $l$ is the length of the prompt and $d$ is the hidden size of the PLM's layers.

For each transformer block $i$, we have two local hypernetworks $h_k^i$ and $h_v^i$ that take a global prompt $W_\tau$ and output layer-specific and task-specific key-value.

$$P_{k,\tau}^i = h_k^i(W_\tau) = U_k^i(\sigma(D_k^i(W_\tau))) \quad (1)$$

$$P_{v,\tau}^i = h_v^i(W_\tau) = U_v^i(\sigma(D_v^i(W_\tau))) \quad (2)$$

The hypernetworks have a bottleneck architecture where $D_{k,v}^i \in \mathbb{R}^{d \times b}$ (resp. $U_{k,v}^i \in \mathbb{R}^{b \times h \times d_h}$) denotes the down-projection matrix (resp. the up-projection matrix), $b$ is the bottleneck dimension and $\sigma$ is a non-linear activation function.

**HyperPrompt-Share** In this method, at each transformer block $i$, all domains share the same two local hypernetworks $h_k^i$ and $h_v^i$.

**HyperPrompt-Separate** In this method, at each transformer block $i$, each domain has its two own local hypernetworks $h_k^i$ and $h_v^i$. Each domain-specific hyperprompt is trained independently, no knowledge is shared between domains.

**HyperPrompt-Global** In this method, we learn a task embedding $k_\tau \in \mathbb{R}^{t'}$ for each domain and a layer embedding $z_i \in \mathbb{R}^{t'}$ for each layer $i$. A projection network combines both layer and task embeddings into a layer-aware task embedding: $I_\tau^i = h(k_\tau, z_i) \in \mathbb{R}^t$. All tasks and all transformer blocks share two global hypernetworks $H_k$ and $H_v$, which project $I_\tau^i$ into the weight matrices of the local hypernetworks (eqs. 1 and 2):

$$(U_{k,\tau}^i, D_{k,\tau}^i) = H_k(I_\tau^i) = (W^{U_k}, W^{D_k})I_\tau^i \quad (3)$$

$$(U_{v,\tau}^i, D_{v,\tau}^i) = H_v(I_\tau^i) = (W^{U_v}, W^{D_v})I_\tau^i \quad (4)$$
## 2.3 HyperPrefix

Inspired by the two previous approaches, we propose to introduce a new multi-domain learning model, HyperPrefix. The domain-specific information is also contained in key-value pairs, which are prepended to original key, value matrices. The difference with HyperPrompt is how the prefix/hyperprompt is generated, here we use the same architecture as prefix-tuning.

For each attention class $E$, $D$ and $D_c$, we learn a global prompt $W_τ \in \mathbb{R}^{l \times d}$. All domains share the same hypernetwork $H$, a two-layered feed-forward network with a bottleneck architecture, which takes as input $W_τ$ and generates key-value pairs for all transformer blocks.

$$P_{\tau} = \{(P_{k,\tau}^{i}, P_{v,\tau}^{i})\}_{1 \le i \le N} = H(W_{\tau})$$

# 3 Experiments

## 3.1 Experimental setup

**Pre-trained language models** For our experiments, we use T5-small (60M parameters) and T5-base (220M parameters).

**Models** We compare fine-tuning, prefix-tuning, HyperPrefix and the different versions of Hyper-Prompt. Our implementation of the different models is based on Xie et al. (2022)'s implementation of prefix-tuning<fnref n="1" />.

**Datasets** We evaluate the models on WebNLG datasets (Gardent et al., 2017) (Shimorina & Gardent, 2018). WebNLG data consist of pairs of RDF triple sets (subject, predicate, object) and their associated reference text. The objective of data-to-text is then to generate the textual description associated to a set of triplets. WebNLG 2017 training samples are from 10 categories. In the test set, we have 5 additional unseen categories. We consider here each category as a domain (this is the closest instantiation of our multi-domain problem we have found in available data-to-text public benchmarks). We linearize the graph input, e.g. if the input is composed of two triples, as follows:
subject₁: predicate₁: object₁ | subject₂: predicate₂: object₂

**Metrics** We report the following automatic metrics to evaluate the different models: BLEU (Papineni et al., 2002), METEOR (Banerjee & Lavie, 2005) and TER (Snover et al., 2006). We use (Post, 2018)'s implementation of BLEU and TER<fnref n="2" /> and NLTK's implementation of METEOR<fnref n="3" />.

**Hyperparameters and training details** All models are trained for 50 epochs, using Adafactor optimizer (Shazeer & Stern, 2018). The initial learning rate is set at 5e-5 and we use a linear learning rate scheduler. The batch size is set to 32. We apply early stopping based on the average development set metric. We use beam-search decoding with a beam size of 4. The prompt length $l$ is set to 10. The bottleneck dimension $b$ of all networks generating the prefix/prompt is $d/4$ where $d$ the hidden size of the PLM's layers. For HyperPrompt-Global, the dimension of the task, layer and layer-aware task embeddings is 32, the hidden dimension of task-layer projection network $h_t$ is 8.

<footnote n="1">1. https://github.com/hkunlp/unifiedskg</footnote>

<footnote n="2">2. https://github.com/mjpost/sacrebleu</footnote>

<footnote n="3">3. https://www.nltk.org/</footnote>
## 3.2 Zero-shot learning

For the zero-shot experiments, we train the different models on WebNLG 2017. For prefix-tuning and fine-tuning, we treat the WebNLG 2017 dataset as a single domain. For the multi-domain learning models, we define each category as a domain. At testing time when the encountered category was not seen during training, the multi-domain models use the prefix/hyperprompt of the closest category. We use the Euclidean distance of GloVe embeddings (Pennington et al., 2014) to measure the similarity between two categories as in (Clive et al., 2022). We also test the importance of the prefix/hyperprompt in the decoder cross-attention by doing an ablation study. The scores are reported in Table 1.

<table><thead><tr><th rowspan="3"></th><th colspan="9">WebNLG</th></tr><tr><th colspan="3">BLEU</th><th colspan="3">METEOR</th><th colspan="3">TER↓</th></tr><tr><th>S</th><th>U</th><th>A</th><th>S</th><th>U</th><th>A</th><th>S</th><th>U</th><th>A</th></tr></thead><tbody><tr><td>SOTA (T5-large fine-tuned)</td><td>65.82</td><td>56.01</td><td>61.44</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><th colspan="10">T5-small</th></tr><tr><td>Fine-tuning</td><td><strong>62.93</strong></td><td><strong>44.60</strong></td><td><strong>54.83</strong></td><td><strong>63.52</strong></td><td><strong>53.55</strong></td><td><strong>58.75</strong></td><td><strong>52.86</strong></td><td><strong>67.39</strong></td><td><strong>59.45</strong></td></tr><tr><td>Prefix-tuning ♦</td><td>50.78</td><td>41.37</td><td>46.62</td><td>55.48</td><td>50.06</td><td>52.89</td><td>58.76</td><td><strong>65.22</strong></td><td>61.69</td></tr><tr><td>Prefix-tuning</td><td>49.94</td><td>40.32</td><td>45.69</td><td>54.56</td><td>49.19</td><td>51.99</td><td>58.79</td><td>65.31</td><td>61.75</td></tr><tr><td>HyperPrefix ♦</td><td>53.35</td><td>37.84</td><td>46.51</td><td>56.97</td><td>46.96</td><td>52.18</td><td>56.92</td><td>67.56</td><td>61.75</td></tr><tr><td>HyperPrefix</td><td>51.45</td><td>37.13</td><td>45.17</td><td>54.98</td><td>45.47</td><td>50.43</td><td>57.99</td><td>66.55</td><td>61.87</td></tr><tr><td>HyperPrompt-Global ♦</td><td>57.41</td><td>33.40</td><td>46.93</td><td>59.19</td><td>42.80</td><td>51.35</td><td>55.13</td><td>71.21</td><td>62.41</td></tr><tr><td>HyperPrompt-Global</td><td>54.53</td><td>32.29</td><td>44.83</td><td>57.20</td><td>43.08</td><td>50.45</td><td>56.03</td><td>69.76</td><td>62.25</td></tr><tr><td>HyperPrompt-Share ♦</td><td>54.01</td><td>34.02</td><td>45.28</td><td>56.14</td><td>43.47</td><td>50.07</td><td>56.68</td><td>70.01</td><td>62.73</td></tr><tr><td>HyperPrompt-Share</td><td>52.14</td><td>33.11</td><td>43.84</td><td>55.22</td><td>42.48</td><td>49.13</td><td>57.22</td><td>69.30</td><td>62.70</td></tr><tr><td>HyperPrompt-Sep ♦</td><td>55.79</td><td>30.15</td><td>44.60</td><td>57.29</td><td>40.40</td><td>49.20</td><td>56.63</td><td>74.39</td><td>64.68</td></tr><tr><td>HyperPrompt-Sep</td><td>54.70</td><td>29.36</td><td>43.71</td><td>56.55</td><td>39.84</td><td>48.55</td><td>56.58</td><td>73.56</td><td>63.82</td></tr><tr><th colspan="10">T5-base</th></tr><tr><td>Fine-tuning</td><td><strong>64.22</strong></td><td><strong>48.86</strong></td><td><strong>57.42</strong></td><td><strong>64.04</strong></td><td><strong>55.04</strong></td><td><strong>59.73</strong></td><td><strong>52.04</strong></td><td><strong>63.56</strong></td><td><strong>57.26</strong></td></tr><tr><td>Prefix-tuning ♦</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>Prefix-tuning</td><td>60.16</td><td>48.60</td><td>55.01</td><td>62.55</td><td><strong>55.36</strong></td><td>59.11</td><td>53.10</td><td>62.79</td><td>57.49</td></tr><tr><td>HyperPrefix ♦</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>HyperPrefix</td><td>62.01</td><td>47.70</td><td>55.67</td><td>62.34</td><td>54.52</td><td>58.59</td><td>52.89</td><td><strong>62.56</strong></td><td>57.28</td></tr><tr><td>HyperPrompt-Share ♦</td><td>61.15</td><td>41.09</td><td>52.30</td><td>61.55</td><td>51.19</td><td>56.59</td><td>53.41</td><td>66.74</td><td>59.45</td></tr><tr><td>HyperPrompt-Share</td><td>60.35</td><td>41.70</td><td>52.15</td><td>60.63</td><td>51.27</td><td>56.15</td><td>54.70</td><td>66.36</td><td>59.99</td></tr><tr><td>HyperPrompt-Sep ♦</td><td>58.55</td><td>37.72</td><td>49.43</td><td>58.84</td><td>47.32</td><td>53.33</td><td>55.73</td><td>67.69</td><td>61.15</td></tr><tr><td>HyperPrompt-Sep</td><td>58.23</td><td>37.03</td><td>48.90</td><td>59.27</td><td>46.80</td><td>53.30</td><td>55.92</td><td>68.81</td><td>61.76</td></tr></tbody></table>

TABLE 1 – Results on WebNLG test set, best results are marked in bold. T5-large fine-tuned results are from (Ribeiro et al., 2021). ♦ indicates that we add prefix/prompt in all attention classes vs only in the self-attention. S, U and A refer to scores for the seen, unseen and all portions of the test set. Overall, the fine-tuned PLMs achieve the best results. The performance of prefix-based methods seems to heavily depend on the model’s size. For T5-small, the scores of prefix-based methods are way below the results of T5-small fine-tuned. This difference between fine-tuning and prefix-based gets smaller when using T5-base, we go from a gap of between 8 and 11 pts of BLEU on the whole test set to a difference between 2 and 9 pts. These results point in the same direction as (Lester et al., 2021), where the performance gap between prompt-tuning and fine-tuning narrows as the size of the model grows.

When comparing the different HyperPrompt methods, we can see that HyperPrompt-Global performs the best. HyperPrompt-Separate, on the other side, performs the worst, which is expected since no knowledge is shared between domains. Among the multi-domain learning methods, HyperPrefix works best on new domains. We note that all multi-domain models hallucinate and generate words linked to the mapped category. Qualitatively, prefix-based and fine-tuned models are able to copy subjects and objects that were not seen during training, but they struggle to correctly transcribe new relations when used in the zero-shot manner (examples in Figure 1).

Adding prefix/hyperprompt in the decoder cross-attention module led to a slight score improvement
<table><tr><td>Input</td><td>Ace Wilder: genre: Hip hop music | Hip hop music: stylistic_origin: Disco</td></tr><tr><td>Reference text</td><td>Ace Wilder's musical genre is Hip hop music which has its origins in Disco.</td></tr><tr><td>HyperPrefix</td><td>Ace Wilder is a character in hip hop music which is stylistically influenced by disco.</td></tr><tr><td>Fine-tuned T5-base</td><td>Ace Wilder is a member of the genre Hip Hop music, whose stylistic origin is Disco.</td></tr></table>

FIGURE 1 – Hallucinations produced by models with T5-base for a sample from the *Artist* category, which is not seen during training. Hallucination linked to the mapped category *ComicsCharacter* is highlighted in **blue**. Hallucinations linked to new predicates are emphasized in **red**.

with T5-small, whereas it is not significant for T5-base. In our following experiments, we only prepended prefix/hyperprompt in the self-attention module.

## 3.3 Few-shot domain adaptation

Since the tested models have good performance on seen domains, we evaluate if an already trained model on a set of domains can generalize to a new domain in the few-shot regime.

We consider a new category $C \in \{Artist, CelestialBody\}$ and subsample various number of examples (10, 50, 100, 200, 500) from WebNLG 2020 training set to constitute our training data. We use as validation set (resp. test set) the subset of all samples of category $C$ from the WebNLG2020 validation dataset (resp. test set). We evaluate our models trained on WebNLG 2017 on the new domain after few-shot fine-tuning. For HyperPrompt-Share and HyperPrefix, we initialize the global prompt $W_C$ with the global prompt of the closest category.

<figure><img src="image_42.png" /><figcaption>FIGURE 2 – Few-shot domain transfer results: BLEU scores (avg. across 2 runs) of HyperPrompt-Share, HyperPrefix, prefix-tuning and fine-tuning models on two new domains *Artist* and *CelestialBody* after few-shot fine-tuning vs. # of training samples (0, 10, 50, 100, 200, 500)</figcaption></figure>

We can observe in Figures 2(a) and 2(b) a difference in behaviour depending on the model's size. When using T5-small, the performance of prefix-based methods are way below regular fine-tuning. On the other hand, the BLEU scores of HyperPrompt-Share, HyperPrefix and prefix-tuning based on T5-base are able to reach fine-tuned T5-base when the number of samples for few-shot fine-tuning gets bigger.
# 4 Conclusion

Our study of prefix-based methods for Transformer shows that their performance depends heavily on the PLM's size. Scores of best prefix-based models were only comparable to fine-tuning for both trained and new categories when using T5-base. We also observe a difference of behaviour linked to the model's size for few-shot domain adaptation, where prefix-based models are able to reach results of fine-tuning as the number of training samples increases only with T5-base.

In the context of saving memory, additional experiments on few-shot domain adaption could be done : we could freeze the hypernetworks in HyperPrefix and HyperPrompt-Share and only train the new global prompts associated with the new domains. This type of few-shot domain adaption would be interesting since we would only need to save an additional matrix of dimension (l × d).

# References

BANERJEE S. & LAVIE A. (2005). METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In *Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization*, p. 65–72, Ann Arbor, Michigan: Association for Computational Linguistics.

CLIVE J., CAO K. & REI M. (2022). Control prefixes for parameter-efficient text generation. In *Proceedings of the 2nd Workshop on Natural Language Generation, Evaluation, and Metrics (GEM)*, p. 363–382, Abu Dhabi, United Arab Emirates (Hybrid): Association for Computational Linguistics.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). Bert: Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186.

GARDENT C., SHIMORINA A., NARAYAN S. & PEREZ-BELTRACHINI L. (2017). Creating training corpora for nlg micro-planners. In *Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 179–188: Association for Computational Linguistics. DOI: 10.18653/v1/P17-1017.

HE Y., ZHENG S., TAY Y., GUPTA J., DU Y., ARIBANDI V., ZHAO Z., LI Y., CHEN Z., METZLER D., CHENG H.-T. & CHI E. H. (2022). HyperPrompt: Prompt-based task-conditioning of transformers. In K. CHAUDHURI, S. JEGELKA, L. SONG, C. SZEPESVARI, G. NIU & S. SABATO, Éds., *Proceedings of the 39th International Conference on Machine Learning*, volume 162 of *Proceedings of Machine Learning Research*, p. 8678–8690: PMLR.

HOULSBY N., GIURGIU A., JASTRZEBSKI S., MORRONE B., DE LAROUSSILHE Q., GESMUNDO A., ATTARIYAN M. & GELLY S. (2019). Parameter-efficient transfer learning for nlp. In *International Conference on Machine Learning*, p. 2790–2799: PMLR.

LESTER B., AL-RFOU R. & CONSTANT N. (2021). The power of scale for parameter-efficient prompt tuning. In *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 3045–3059.

LI X. L. & LIANG P. (2021). Prefix-tuning: Optimizing continuous prompts for generation. In *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 4582–4597.
MAHABADI R. K., RUDER S., DEHGHANI M. & HENDERSON J. (2021). Parameter-efficient multi-task fine-tuning for transformers via shared hypernetworks. In *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 565–576.

PAPINENI K., ROUKOS S., WARD T. & ZHU W.-J. (2002). Bleu: a method for automatic evaluation of machine translation. In *Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics*, p. 311–318, Philadelphia, Pennsylvania, USA: Association for Computational Linguistics. DOI: 10.3115/1073083.1073135.

PENNINGTON J., SOCHER R. & MANNING C. D. (2014). Glove: Global vectors for word representation. In *Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP)*, p. 1532–1543.

POST M. (2018). A call for clarity in reporting BLEU scores. In *Proceedings of the Third Conference on Machine Translation : Research Papers*, p. 186–191, Belgium, Brussels: Association for Computational Linguistics.

RADFORD A., WU J., CHILD R., LUAN D., AMODEI D. & SUTSKEVER I. (2019). Language models are unsupervised multitask learners.

RAFFEL C., SHAZEER N., ROBERTS A., LEE K., NARANG S., MATENA M., ZHOU Y., LI W. & LIU P. J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. *The Journal of Machine Learning Research*, **21**(1), 5485–5551.

RIBEIRO L. F., SCHMITT M., SCHÜTZE H. & GUREVYCH I. (2021). Investigating pretrained language models for graph-to-text generation. In *Proceedings of the 3rd Workshop on Natural Language Processing for Conversational AI*, p. 211–227.

SHAZEER N. & STERN M. (2018). Adafactor: Adaptive learning rates with sublinear memory cost. In *International Conference on Machine Learning*, p. 4596–4604: PMLR.

SHIMORINA A. & GARDENT C. (2018). Handling rare items in data-to-text generation. In *Proceedings of the 11th International Conference on Natural Language Generation*, p. 360–370: Association for Computational Linguistics.

SNOVER M., DORR B., SCHWARTZ R., MICCIULLA L. & MAKHOUL J. (2006). A study of translation edit rate with targeted human annotation. In *Proceedings of the 7th Conference of the Association for Machine Translation in the Americas : Technical Papers*, p. 223–231, Cambridge, Massachusetts, USA: Association for Machine Translation in the Americas.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER Ł. & POLOSUKHIN I. (2017). Attention is all you need. *Advances in neural information processing systems*, **30**.

WANG A., PRUKSACHATKUN Y., NANGIA N., SINGH A., MICHAEL J., HILL F., LEVY O. & BOWMAN S. (2019). Superglue: A stickier benchmark for general-purpose language understanding systems. *Advances in neural information processing systems*, **32**.

WANG A., SINGH A., MICHAEL J., HILL F., LEVY O. & BOWMAN S. (2018). Glue: A multi-task benchmark and analysis platform for natural language understanding. In *Proceedings of the 2018 EMNLP Workshop BlackboxNLP : Analyzing and Interpreting Neural Networks for NLP*, p. 353–355.

XIE T., WU C. H., SHI P., ZHONG R., SCHOLAK T., YASUNAGA M., WU C.-S., ZHONG M., YIN P., WANG S. I., ZHONG V., WANG B., LI C., BOYLE C., NI A., YAO Z., RADEV D., XIONG C., KONG L., ZHANG R., SMITH N. A., ZETTLEMOYER L. & YU T. (2022). UnifiedSKG :
Unifying and multi-tasking structured knowledge grounding with text-to-text language models. In *Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing*, p. 602–631, Abu Dhabi, United Arab Emirates : Association for Computational Linguistics.
# Auto-apprentissage et renforcement pour une analyse jointe sur données disjointes : étiquetage morpho-syntaxique et analyse syntaxique

Fang Zhao Timothée Bernard

Laboratoire de linguistique formelle, Université Paris Cité

fang.zhao@etu.u-paris.fr, timothee.bernard@u-paris.fr

## RÉSUMÉ

Cet article se penche sur l'utilisation de données disjointes pour entraîner un système d'analyse jointe du langage naturel. Dans cette étude exploratoire, nous entraînons un système à prédire un étiquetage morpho-syntaxique et une analyse syntaxique en dépendances à partir de phrases annotées soit pour l'une de ces tâches, soit pour l'autre. Deux méthodes sont considérées : l'auto-apprentissage et l'apprentissage par renforcement, pour lequel nous définissons une fonction de récompense encourageant le système à effectuer des prédictions même sans supervision. Nos résultats indiquent de bonnes performances dans le cas où les données disjointes sont issues d'un même domaine, mais sont moins satisfaisants dans le cas contraire. Nous identifions des limitations de notre implémentation actuelle et proposons en conséquence des pistes d'amélioration.

## ABSTRACT

**Self-training and reinforcement for joint analysis on disjoint data: part-of-speech tagging and syntactic parsing**

In this exploratory study, we train a system to jointly perform POS tagging and syntactic dependency parsing on sentences annotated for only the former or the latter. We consider two methods: self-training and reinforcement learning, for which we define a reward function that can reward the system even for predictions for which no supervision is available. Our results indicate good performance when the disjoint data come from the same domain but are less satisfactory otherwise. We identify limitations of our current implementation and suggest possible improvements accordingly.

**MOTS-CLÉS** : apprentissage semi-supervisé, apprentissage par renforcement, multi-tâche, analyse jointe, étiquetage morpho-syntaxique, analyse syntaxique en dépendances, adaptation de domaine.

**KEYWORDS:** semi-supervised learning, reinforcement learning, multitask, joint analysis, POS tagging, syntactic dependency parsing, domain adaptation.

## 1 Introduction et travaux connexes

Nous cherchons dans cet article des solutions au potentiel manque de données nécessaires à l'entraînement de systèmes d'analyse jointe du langage naturel. Alors que, dans un système multi-tâche neuronal par simple partage de paramètres (Caruana, 1997; Zhang & Yang, 2017), les sorties prédites pour les différentes tâches sont calculées de manière indépendante après l'encodage de l'entrée, un système d'analyse jointe modélise de manière non triviale l'interaction entre les différentes tâches.

<figure><img src="image_43.png" /></figure>
Contrairement à un système multi-tâche simple, un tel système nécessite donc a priori pour son entraînement des données entièrement annotées, c'est-à-dire pour lesquelles les annotations couvrent, pour chaque texte, toutes les tâches modélisées. Le nombre de corpus ainsi annotés sur plusieurs niveaux d'analyse linguistique étant restreint, nous étudions la possibilité d'utiliser des jeux de données disjoints — c'est-à-dire tels que chacun n'est muni d'annotations que sur l'un des niveaux cibles — en comparant plusieurs techniques visant à palier à l'existence d'annotations manquantes. Notons que ce problème a été abordé notamment par Peng et al. (2018) dans le cadre d'un système par optimisation linéaire en nombres entiers.

Notre étude se fonde sur une variante du système de Bernard (2021), capable d'intégrer des tâches d'étiquetages lexicales ainsi que des tâches de création de dépendances bi-lexicales, c'est-à-dire de les traiter ensemble comme une tâche unique. Il s'agit d'un système par transition ayant la particularité qu'à chaque étape, jusqu'à une action par token peut être effectuée ; à tout moment, l'action d'un token peut indifféremment se rapporter à n'importe laquelle des tâches traitées, sans contrainte particulière. Chaque décision est basée sur toutes les structures précédemment prédites, ce qui permet une interaction complète entre les différentes tâches. Ce système a été choisi pour sa flexibilité (il est en particulier possible de l'entraîner sans modification sur des jeux de données disjoints, au prix des performances) et son mode d'entraînement : pré-entraîné de manière supervisée, il a été conçu pour ensuite apprendre à exploiter au mieux les interactions entre niveaux linguistiques lors d'une phase d'apprentissage par renforcement (Sutton & Barto, 2018). Contrairement à l'apprentissage supervisé standard qui consiste à entraîner explicitement un modèle à reproduire des annotations connues à l'avance, il s'agit d'entraîner le modèle sans le guider a priori mais en associant une récompense à chacune de ses actions. L'apprentissage par renforcement nécessite donc le calcul de ces récompenses, qui se fait généralement à partir d'annotations. Il est cependant possible d'apprendre une fonction de récompense ; c'est ce que fait notamment l'algorithme *apprentissage par renforcement inverse* (Ng & Russell 2000 ; voir aussi Finn et al. 2017). Ici, nous testons la possibilité d'utiliser les prédictions du modèle lui-même pour calculer les récompenses de ses actions pour lesquelles nous ne disposons pas d'annotation de référence.

Nous travaillons ici avec des données en anglais pour deux tâches classiques du traitement automatique des langues : l'analyse morpho-syntaxique et l'analyse syntaxique en dépendances. Bien que les corpus annotés en syntaxe soient généralement aussi annotés en morpho-syntaxe, l'inverse n'est pas le cas. De plus, ces expériences doivent être vues comme une première étape avant d'aborder le cas de tâches plus complexes, et la forte interdépendance entre analyse syntaxique et analyse morpho-syntaxique nous intéresse ici. Depuis l'article de Li et al. (2011), un certain nombre de travaux se sont penchés sur l'analyse jointe de ces deux tâches, mais toujours à partir de données entièrement annotées (notamment Hatori et al., 2011; Bohnet & Nivre, 2012; Alberti et al., 2015; Nguyen & Verspoor, 2018; Bernard, 2021).

Nous expérimentons deux méthodes. La première se concentre sur la phase d'apprentissage par renforcement et consiste à définir une fonction de récompense visant à encourager de manière pertinente le système à effectuer des prédictions même lorsque les annotations correspondantes ne sont pas disponibles. La seconde s'applique autant à la phase de pré-entraînement qu'à la phase de renforcement et est une forme d'auto-apprentissage (self-learning ou -training; Nigam & Ghani 2000; à rapprocher, pour les modèles génératifs, de l'algorithmes' espérance-maximisation, ou EM; Dempster et al. 1977) consistant, à un temps $t$, à utiliser le système pour prédire au moins une partie des structures d'annotations manquantes du corpus d'entraînement et ainsi pouvoir poursuivre l'apprentissage au temps $t+1$ sur le jeu de données ainsi complété (mais donc aussi bruité).
Nous montrons l'efficacité de ces deux méthodes dans un scénario utilisant des données disjointes créées à partir d'un même corpus. Nous testons ensuite nos méthodes dans un scénario plus réaliste, utilisant des données issues de deux corpus de domaines différents. Il s'agit d'un cas de *glissement de domaine* (*domain shift*; Ramponi & Plank 2020; Li 2012). Les résultats dans ce cadre-là sont pour l'instant moins probants, mais nous identifions un certain nombre de limitations de notre implémentation actuelle les expliquant et que nous corrigerons par la suite.

## 2 Modèle

Nous décrivons ici brièvement le modèle utilisé. Il ne diffère de celui de Bernard (2021) que par les tâches traitées (analyse morpho-syntaxique et analyse syntaxique en dépendances, sans analyse sémantique) et le processus d'entraînement (voir sections suivantes).

Le système fait intervenir quatre types d'actions. Pour un token de position *i*, effectuer (a) TAG-t consiste à assigner l'étiquette morpho-syntaxique *t* à *i*, (b) SYN-*j*-l à ajouter une dépendance syntaxique d'étiquette *l* de *j* vers *i*, (c) ROOT à définir *i* comme la racine de l'arbre syntaxique, et (d) HALT à ne rien faire.

À chaque étape de l'analyse d'une phrase, le système encode la phrase elle-même<fnref n="1" /> ainsi que les prédictions effectuées aux étapes précédentes sous forme d'un vecteur par token. Chacun de ces encodages est converti en une distribution de probabilité sur l'ensemble des actions puis, pour chaque token, l'action de probabilité maximale est effectuée (une action par token est donc effectuée à chaque étape). Le système s'arrête lorsque pour chaque token est sélectionnée l'action HALT; il n'est pas contraint à produire des structures d'annotations (ex : arbres syntaxiques) complètes. Cependant, en pratique, le taux d'analyse pour chaque tâche (le ratio du nombre de dépendances ou d'étiquettes prédites par rapport à celles annotées) dépasse toujours 99% lorsque l'entraînement s'effectue à partir de données entièrement annotées.

## 3 Données

Pour notre première expérience, nous utilisons la portion WSJ (Wall Street Journal) du corpus Penn Treebank (PTB; Marcus et al. 1993). Nous utilisons comme arbres de dépendances de référence des conversions des arbres de constituants du PTB (de Marneffe et al., 2006). Pour ces données, nous utilisons comme source la tâche 18 de la campagne SemEval 2015 (Oepen et al., 2015), qui fournit aussi des graphes d'analyse sémantique de références, afin de pouvoir aisément mettre en place de futures expériences impliquant cette tâche plus complexe. Nous n'utilisons que les portions d'entraînement (sections 0 à 19; 33964 phrases) et de développement (section 20; 1692 phrases) : tous les résultats reportés dans ce texte sont calculés sur les données de développement; nous réservons les données de test (section 21) pour une phase de comparaison ultérieure.

Pour étudier un scénario plus réaliste, impliquant un glissement de domaine, nous avons également démarré une expérience sur un jeu de données construit à partir de deux corpus de type *Universal Dependencies* (UD; Nivre et al., 2020), contenant eux aussi des phrases associées à des séquences

<footnote n="1">1. Des vecteurs GloVe (Pennington et al., 2014) sont utilisés.</footnote>
d'étiquettes morpho-syntaxiques et des arbres de dépendances syntaxiques. Le premier corpus, *Georgetown University Multilayer* (GUM; Zeldes, 2017), comprend un douzaine de types de textes très variés, incluant des textes académiques, des billets de blog, des œuvres de fiction et des textes issus de médias sociaux. Le second corpus, *English Web Treebank* (EWT; Silveira et al., 2014), comprend des textes issus de diverses sources en ligne et regroupés en cinq catégories : *weblogs*, *newsgroups*, *emails*, *reviews* et *Yahoo! answers*. Nous avons créé un jeu d'entraînement en sélectionnant aléatoirement 6911 phrases dans la portion d'entraînement de chacun des deux corpus pour un total de 13822 phrases, et de même avec un total de 2234 phrases pour le jeu de développement. Pour ce corpus aussi les résultats reportés sont calculés sur les données de développement.

Dans les expériences détaillées dans les sections suivantes, la configuration COMPLET correspond à un entraînement sur les données d'entraînement telles que décrites ci-dessus. Pour la configuration DISJOINT, par contre, pour une moitié des phrases d'entraînement les arbres syntaxiques sont ignorés et pour l'autre moitié les séquences d'étiquettes morpho-syntaxiques sont ignorées. Dans le cas du corpus PTB, cette division est effectuée au hasard. Dans le cas du corpus mixte GUM+EWT, nous ignorons les arbres syntaxiques des phrases issues du corpus EWT et inversement pour les séquences d'étiquettes morpho-syntaxiques.

# 4 Scénario idéal : corpus homogène

Rappelons que le modèle utilisé commence son entraînement par une phase de pré-entraînement, durant laquelle le système apprend à reproduire de manière supervisée les annotations de références connues. Dans la configuration DISJOINT, le système apprend donc à produire, pour chaque phrase, soit un arbre syntaxique, soit une séquence d'étiquettes morpho-syntaxiques, mais jamais les deux. Pour améliorer cette situation, nous implémentons un processus d'auto-apprentissage : trois fois par époque, le corpus d'entraînement est analysé par le système et les prédicitions obtenues sont utilisées pour compléter les annotations et ainsi servir à l'apprentissage du système lui-même.

Après la phase de pré-entraînement commence la phase d'apprentissage par renforcement. Durant cette phase, le système analyse librement les phrases qu'on lui présente et est entraîné avec l'algorithme REINFORCE (Williams, 1992) à maximiser des récompenses associées à chaque action effectuée : positives pour les actions correspondant aux annotations de références, négatives pour celles contraires à celles-ci, nulles sinon (typiquement, lorsqu'il n'y a pas d'annotation correspondante). Ce système de récompenses est le système zéro. Un de ses effets sur notre corpus mixte GUM+EWT est qu'il n'incite pas le modèle à analyser les phrases de GUM en morpho-syntaxe ni celles de EWT en syntaxe. Afin d'encourager le système à analyser chaque phrase sur les deux niveaux linguistiques, nous implémentons le système de récompenses auto (pour « auto-renforcement » ; l'idée est qu'à l'issu du pré-entraînement, la plupart des prédicitions du modèle sont correctes) : pour chaque token issu d'une phrase pour laquelle l'arbre syntaxique de référence n'est pas disponible, la première dépendance entrante prédite est considérée comme correcte et mène donc à une récompense positive, et de même pour les étiquettes morpho-syntaxiques<fnref n="2" />. Notons que l'auto-apprentissage est aussi possible durant la phase de renforcement. Cependant, lorsque l'auto-apprentissage complète entièrement les annotations, la distinction entre les systèmes zéro et auto disparaît.

<footnote n="2">2. Nous précisons « la première » car le système de transition du modèle lui permet de choisir une nouvelle dépendance entrante pour un token en ayant déjà une (effaçant alors la prédiction initiale et menant à une récompense négative d'après *auto*), et de même pour les étiquettes morpho-syntaxiques. Dans les présentes conditions, cependant, cette possibilité n'est pas utilisée de manière significative (Zhao, 2022).</footnote>
La table 1 présente les performances sur le jeu de données PTB de différents modèles<fnref n="3" />. Les deux premières lignes concernent la configuration COMPLET et indiquent les bornes supérieures du modèle avec et sans renforcement. Les lignes suivantes concernent la configuration DISJOINT, avec cinq modèles se distinguant par un pré-entraînement simple (-AR) ou suivi d'un apprentissage par renforcement (+AR[zéro] ou +AR[auto] suivant le système de récompense utilisé) et de la complétion (+AA) ou non des annotations par auto-apprentissage (autant durant le pré-entraînement que la phase de renforcement si elle a lieu).

<table><caption>TABLE 1 – Performances sur le PTB; chaque valeur est une moyenne sur 9 exécutions. Format : F1(Précision/Rappel) pour la syntaxe (SYN) et la morpho-syntaxe (TAG). Pour chaque groupe de comparaison, les modèles sont comparés avec un modèle de référence (indiqué par *) et les différences significatives sont indiquées ainsi (p-valeur < 0,01 ; test de permutation de Pitman).</caption><thead><tr><th>Données</th><th>Apprentissage</th><th>SYN</th><th>TAG</th><th>Chevauchement</th><th>Taux SYN</th><th>Taux TAG</th></tr></thead><tbody><tr><td rowspan="2">COMPL</td><td>-AR*</td><td>0,912<sub>(0,912/0,912)</sub></td><td>0,971<sub>(0,971/0,971)</sub></td><td>1,000</td><td>1,000</td><td>1,000</td></tr><tr><td>+AR<sub>[zéro]</sub></td><td>0,918<sub>(0,919/0,918)</sub></td><td>0,973<sub>(0,973/0,973)</sub></td><td>1,000</td><td>0,999</td><td>1,000</td></tr><tr><td rowspan="5">DISJ</td><td>-AR*</td><td>0,788<sub>(0,918/0,691)</sub></td><td>0,374<sub>(0,940/0,235)</sub></td><td>0,096</td><td>0,753</td><td>0,249</td></tr><tr><td>-AR+AA</td><td>0,852<sub>(0,883/0,823)</sub></td><td>0,969<sub>(0,969/0,969)</sub></td><td>0,974</td><td>0,932</td><td>1,000</td></tr><tr><td>+AR<sub>[zéro]*</sub></td><td>0,883<sub>(0,896/0,870)</sub></td><td>0,968<sub>(0,969/0,967)</sub></td><td>0,986</td><td>0,970</td><td>0,999</td></tr><tr><td>+AR<sub>[auto]</sub></td><td>0,891<sub>(0,891/0,891)</sub></td><td>0,970<sub>(0,970/0,970)</sub></td><td>1,000</td><td>0,999</td><td>1,000</td></tr><tr><td>+AR<sub>[auto]+AA</sub></td><td>0,898<sub>(0,900/0,897)</sub></td><td>0,971<sub>(0,971/0,971)</sub></td><td>0,999</td><td>0,997</td><td>1,000</td></tr></tbody></table>

Nous constatons tout d'abord que dans la configuration DISJOINT, les performances du modèle -AR sont très faibles. Ce système produit des analyses plutôt justes (voir les valeurs de précision) mais très incomplètes : la colonne Taux SYN indique que seuls 75,3% des tokens se voient prédire une tête syntaxique ou le statut de racine, et la colonne Taux TAG indique que 24,9% des tokens se voient prédire une étiquette morpho-syntaxique. Le taux de chevauchement (un indice de Jaccard) nous indique que seulement 9,6% des tokens pour lesquels le système a fait au moins une prédiction a reçu une annotation pour chacune des deux tâches. Ces résultats ne sont pas particulièrement surprenants au vu du processus d'entraînement. Nous remarquons ensuite que l'utilisation de l'auto-apprentissage durant le pré-entraînement améliore grandement la situation, notamment en ce qui concerne l'étiquetage morpho-syntaxique (pour lequel les performances sont alors proches de la borne supérieure). Le renforcement, avec le système de récompense zéro et encore plus avec auto, s'avère particulièrement efficace, et les meilleures performances sont obtenus en combinant le renforcement avec l'auto-apprentissage.

# 5 Scénario plus réaliste : glissement de domaine

Let deux premières lignes de la table 2 concernent la configuration COMPLET du corpus mixte GUM+EWT. Les quatre lignes suivantes concerne une configuration similaire, MONO-CORPUS, dans laquelle les modèles sont aussi entraînées sur des données complètes, mais uniquement sur l'un des deux sous-corpus. Les cinq dernières lignes correspondent à la configuration DISJOINT.<fnref n="4" />

<footnote n="3">3. Les modèles n'étant pas contraints à effectuer des prédictions complètes, les mesures F1 sont naturelles pour chacune des tâches. Notons cependant que plus les taux d'analyse approchent 1, plus les F1 en syntaxe (SYN) et morpho-syntaxe (TAG) correspondent aux mesures habituelles : LAS (labelled attachement score) et exactitude.</footnote>

<footnote n="4">4. La comparaison entre les configurations MONO-CORPUS est DISJOINT est intéressante mais non évidente. En effet, si les modèles MONO-CORPUS ne sont entraînés que sur l'un des sous-corpus (ce qui les place dans une situation de glissement</footnote>
<table><caption>TABLE 2 – Performances sur l'UD; chaque valeur est une moyenne sur 9 exécutions. Format : F1(Précision/Rappel) pour la syntaxe (SYN) et la morpho-syntaxe (TAG). Chev. indique le taux de chevauche-ment évalué sur la totalité du corpus mixte GUM+EWT. Les valeurs correspondant à des évaluations hors-domaines sont notées **ainsi**.</caption><thead><tr><th>Données</th><th>Apprentissage</th><th>SYN (GUM)</th><th>TAG (GUM)</th><th>SYN (EWT)</th><th>TAG (EWT)</th><th>Chev.</th></tr></thead><tbody><tr><td rowspan="2">GUM+EWT</td><td>-AR</td><td>0,810(0,810/0,809)</td><td>0,956(0,956/0,956)</td><td>0,792(0,793/0,791)</td><td>0,937(0,937/0,937)</td><td>1,000</td></tr><tr><td>+AR[zéro]</td><td>0,830(0,841/0,820)</td><td>0,960(0,960/0,960)</td><td>0,809(0,817/0,800)</td><td>0,941(0,941/0,941)</td><td>0,994</td></tr><tr><td rowspan="2">GUM</td><td>-AR</td><td>0,783(0,784/0,783)</td><td>0,949(0,949/0,949)</td><td><strong>0,719</strong>(0,721/0,718)</td><td><strong>0,904</strong>(0,904/0,903)</td><td>1,000</td></tr><tr><td>+AR[zéro]</td><td>0,817(0,832/0,802)</td><td>0,956(0,956/0,956)</td><td><strong>0,741</strong>(0,754/0,728)</td><td><strong>0,908</strong>(0,908/0,908)</td><td>0,994</td></tr><tr><td rowspan="2">EWT</td><td>-AR</td><td><strong>0,721</strong>(0,722/0,720)</td><td><strong>0,931</strong>(0,931/0,931)</td><td>0,766(0,767/0,764)</td><td>0,929(0,929/0,929)</td><td>1,000</td></tr><tr><td>+AR[zéro]</td><td><strong>0,749</strong>(0,768/0,730)</td><td><strong>0,936</strong>(0,936/0,936)</td><td>0,798(0,812/0,785)</td><td>0,935(0,935/0,935)</td><td>0,987</td></tr><tr><td rowspan="5">GUM(SYN) +<br>EWT TAG</td><td>-AR</td><td>0,685(0,730/0,646)</td><td><strong>0,176</strong>(0,913/0,108)</td><td><strong>0,444</strong>(0,719/0,328)</td><td>0,632(0,911/0,493)</td><td>0,037</td></tr><tr><td>-AR+AA</td><td>0,735(0,760/0,712)</td><td><strong>0,938</strong>(0,939/0,938)</td><td><strong>0,634</strong>(0,732/0,563)</td><td>0,928(0,928/0,928)</td><td>0,936</td></tr><tr><td>+AR[zéro]</td><td>0,695(0,757/0,644)</td><td><strong>0,281</strong>(0,914/0,177)</td><td><strong>0,474</strong>(0,735/0,356)</td><td>0,711(0,915/0,588)</td><td>0,155</td></tr><tr><td>+AR[auto]</td><td>0,725(0,730/0,720)</td><td><strong>0,915</strong>(0,924/0,907)</td><td><strong>0,679</strong>(0,682/0,675)</td><td>0,903(0,916/0,890)</td><td>0,976</td></tr><tr><td>+AR[auto]+AA</td><td>0,791(0,833/0,754)</td><td><strong>0,945</strong>(0,945/0,945)</td><td><strong>0,741</strong>(0,782/0,705)</td><td>0,934(0,934/0,934)</td><td>0,978</td></tr></tbody></table>

Nous remarquons ici aussi que le pré-entraînement seul (-AR) mène à des modèles qui n'analysent que très rarement leur entrée à la fois en syntaxe et en morpho-syntaxe. Contrairement à ce qui se passe sur le PTB, cependant, le renforcement avec le système de récompense zéro (+AR[zéro]) ne suffit pas à corriger cette faiblesse. L'utilisation du système de récompense auto améliore grandement cette situation, sans toutefois mener à des analyses toujours complète. De même, l'auto-apprentissage seul est moins efficace que sur le PTB. L'une des raisons est que notre implémentation actuelle ne force pas l'auto-apprentissage à compléter entièrement les annotations manquantes et que, si cela se produit néanmoins très souvent sur le PTB, cela est moins le cas sur le corpus mixte GUM+EWT (ce que l'on voit notamment en comparant les taux de chevauchement des modèles -AR+AA dans les deux tableaux). Cela explique aussi pourquoi l'utilisation du système de récompense auto plutôt que zéro (non inclus dans la table) fait une différence même en combinaison avec l'auto-apprentissage.

Les meilleurs résultats, obtenus pour le modèle entraîné en employant la technique d'auto-apprentissage en conjonction avec le système de récompense auto lors du renforcement, restent clairement en deçà de celles de la configuration COMPLET. Toutefois, ce modèle obtient des performances en étiquetage morpho-syntaxique en domaine (sur EWT) similaires à celles du modèle MONO-CORPUS entraîné sur EWT et est meilleur que lui hors-domaine (sur GUM). En analyse syntaxique, les résultats sont moins convaincants : le système est moins performant en domaine (sur GUM) que le modèle MONO-CORPUS entraîné sur GUM, et lui est équivalent hors-domaine (sur EWT).

# 6 Discussion

Nous avons présenté des travaux en cours sur la possibilité d'entraîner des systèmes d'analyse jointe en utilisant des jeux de données disjoints. L'une des méthodes étudiées consiste en l'utilisation d'apprentissage par renforcement avec un système de récompense encourageant le système à effectuer des prédictions même lorsqu'il n'existe pas d'annotations de référence. L'autre méthode, une

<footnote>de domaine total lorsque évalués sur l'autre sous-corpus), l'utilisation de données de référence complètes lors de l'entraînement est un avantage notable.</footnote>
forme d'auto-apprentissage, consiste en l'entraînement du modèle sur des données (plus ou moins partiellement) complétées par lui-même. (Nous prévoyons dans un jeu d'expériences plus complet de comparer ces méthodes à l'utilisation d'un système multi-tâche par simple partage de paramètres, construit autour d'un encodeur commun à différents sous-systèmes — un par tâche traitée.)

Sur un corpus homogène, nous avons constaté de nets gains de performances grâce à l'utilisation de ces deux méthodes. Cependant, lorsque les données d'entraînement pour chaque tâche proviennent de corpus distincts, leur efficacité est moindre. Il faut garder en tête les difficultés inhérentes au glissement de domaine (Ramponi & Plank, 2020; Li, 2012), mais nous pouvons aussi pointer du doigt un certain nombre de caractéristiques de l'implémentation actuelle qui interagissent mal avec la configuration DISJOINT. Comme nous travaillons uniquement sur des tâches impliquant un nombre connu de prédictions par token (une dépendance entrante et une étiquette; contrairement à, par exemple, la tâche d'analyse sémantique traitée par le modèle Bernard 2021 que nous reprenons), il serait possible de forcer le système à effectuer des prédictions complètes. Cela aurait un intérêt en ce qui concerne les sorties effectives du système, mais potentiellement aussi en ce qui concerne la complétion des annotations par auto-apprentissage. À propos de l'auto-apprentissage en particulier, le système récupère, pour chaque phrase, ses propres prédictions concernant l'une des tâches, que nous lui faisons calculer à partir de la suite de tokens brute alors qu'il serait possible de lui fournir aussi les annotations concernant l'autre tâche en entrée. Notons enfin que la fonction de coût minimisée durant le pré-entraînement pénalise non seulement les prédictions fausses, mais aussi celles pour lesquelles il n'existe pas d'annotations. Une alternative — notre prochaine étape — est d'ignorer les probabilités assignées aux actions correspondant à ces dernières, ce qui pourrait avoir un fort impact sur la qualité des modèles pré-entraînés en configuration DISJOINT.

## Remerciements

Ces travaux ont bénéficié d'un financement Émergence 2021 (projet SYSNEULING) de l'IdEx Université Paris Cité.

## Références

ALBERTI C., WEISS D., COPPOLA G. & PETROV S. (2015). Improved Transition-Based Parsing and Tagging with Neural Networks. In *Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing*, p. 1354–1359, Lisbon, Portugal : Association for Computational Linguistics. DOI : 10.18653/v1/D15-1159.

BERNARD T. (2021). Multiple tasks integration : Tagging, syntactic and semantic parsing as a single task. In *Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics : Main Volume*, p. 783–794, Online : Association for Computational Linguistics.

BOHNET B. & NIVRE J. (2012). A Transition-Based System for Joint Part-of-Speech Tagging and Labeled Non-Projective Dependency Parsing. In *Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning*, p. 1455–1465, Jeju Island, Korea : Association for Computational Linguistics.
CARUANA R. (1997). Multitask Learning. *Machine Learning, 28*(1), 41–75. DOI: 10.1023/A:1007379606734.

DE MARNEFFE M.-C., MACCARTNEY B. & MANNING C. D. (2006). Generating Typed Dependency Parses from Phrase Structure Parses. In *Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC’06)*, Genoa, Italy: European Language Resources Association (ELRA).

DEMPSTER A. P., LAIRD N. M. & RUBIN D. B. (1977). Maximum Likelihood from Incomplete Data via the EM Algorithm. *Journal of the Royal Statistical Society. Series B (Methodological)*, **39**(1), 1–38. 54689.

FINN C., YU T., FU J., ABBEEL P. & LEVINE S. (2017). Generalizing skills with semi-supervised reinforcement learning. In *International Conference on Learning Representations*.

HATORI J., MATSUZAKI T., MIYAO Y. & TSUJII J. (2011). Incremental Joint POS Tagging and Dependency Parsing in Chinese. In *Proceedings of 5th International Joint Conference on Natural Language Processing*, p. 1216–1224, Chiang Mai, Thailand: Asian Federation of Natural Language Processing.

LI Q. (2012). *Literature Survey: Domain Adaptation Algorithms for Natural Language Processing*. Rapport interne, Department of Computer Science, City University of New York.

LI Z., ZHANG M., CHE W., LIU T., CHEN W. & LI H. (2011). Joint Models for Chinese POS Tagging and Dependency Parsing. In *Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing*, p. 1180–1191, Edinburgh, Scotland, UK.: Association for Computational Linguistics.

MARCUS M. P., SANTORINI B. & MARCINKIEWICZ M. A. (1993). Building a large annotated corpus of English: The Penn Treebank. *Computational Linguistics*, **19**(2), 313–330.

NG A. Y. & RUSSELL S. J. (2000). Algorithms for inverse reinforcement learning. In *Proceedings of the Seventeenth International Conference on Machine Learning*, ICML ’00, p. 663–670, San Francisco, CA, USA: Morgan Kaufmann Publishers Inc.

NGUYEN D. Q. & VERSPOOR K. (2018). An Improved Neural Network Model for Joint POS Tagging and Dependency Parsing. In *Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies*, p. 81–91, Brussels, Belgium: Association for Computational Linguistics. DOI: 10.18653/v1/K18-2008.

NIGAM K. & GHANI R. (2000). Analyzing the effectiveness and applicability of co-training. In *Proceedings of the ninth international conference on Information and knowledge management*, CIKM ’00, p. 86–93, New York, NY, USA: Association for Computing Machinery. DOI: 10.1145/354756.354805.

NIVRE J., DE MARNEFFE M.-C., GINTER F., HAJIČ J., MANNING C. D., PYYSALO S., SCHUSTER S., TYERS F. & ZEMAN D. (2020). Universal Dependencies v2: An evergrowing multilingual treebank collection. In *Proceedings of the Twelfth Language Resources and Evaluation Conference*, p. 4034–4043, Marseille, France: European Language Resources Association.

OEPEN S., KUHLMANN M., MIYAO Y., ZEMAN D., CINKOVA S., FLICKINGER D., HAJIC J. & URESOVA Z. (2015). SemEval 2015 Task 18: Broad-Coverage Semantic Dependency Parsing. In *Proceedings of the 9th International Workshop on Semantic Evaluation (SemEval 2015)*, p. 915–926: Association for Computational Linguistics. DOI: 10.18653/v1/S15-2153.

PENG H., THOMSON S., SWAYAMDIPTA S. & SMITH N. A. (2018). Learning Joint Semantic Parsers from Disjoint Data. In *Proceedings of the 2018 Conference of the North American Chapter*
of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long
Papers), p. 1492–1502, New Orleans, Louisiana : Association for Computational Linguistics. DOI :
10.18653/v1/N18-1135.

PENNINGTON J., SOCHER R. & MANNING C. D. (2014). GloVe : Global Vectors for Word Representation. In *Empirical Methods in Natural Language Processing (EMNLP)*, p. 1532–1543.

RAMPONI A. & PLANK B. (2020). Neural unsupervised domain adaptation in NLP—A survey. In *Proceedings of the 28th International Conference on Computational Linguistics*, p. 6838–6855, Barcelona, Spain (Online) : International Committee on Computational Linguistics. DOI : 10.18653/v1/2020.coling-main.603.

SILVEIRA N., DOZAT T., DE MARNEFFE M.-C., BOWMAN S., CONNOR M., BAUER J. & MANNING C. (2014). A gold standard dependency corpus for English. In *Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC’14)*, p. 2897–2904, Reykjavik, Iceland : European Language Resources Association (ELRA).

SUTTON R. S. & BARTO A. G. (2018). *Reinforcement Learning: An Introduction*. Adaptive Computation and Machine Learning series. MIT Press, second edition édition.

WILLIAMS R. J. (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. *Machine Learning*, **8**(3-4), 229–256. DOI: 10.1007/BF00992696.

ZELDES A. (2017). The GUM corpus : Creating multilayer resources in the classroom. *Language Resources and Evaluation*, **51**(3), 581–612. DOI: http://dx.doi.org/10.1007/s10579-016-9343-x.

ZHANG Y. & YANG Q. (2017). A survey on multi-task learning. DOI :
10.48550/ARXIV.1707.08114.

ZHAO F. (2022). Auto-correction dans un analyseur neuronal par transitions : un comportement factice ? In *Actes de la 29e conférence sur le Traitement Automatique des Langues Naturelles et des 24es Rencontres des Etudiants Chercheurs en Informatique et Traitement Automatique des Langues*, volume RECITAL, p. 20–32, Avignon, France : ATALA.
<figure><img src="image_44.png" /></figure>