Tâches Auxiliaires Multilingues pour le Transfert de Modèles de Détection de Discours Haineux (Multilingual Auxiliary Tasks for Zero-Shot Cross-Lingual Transfer of Hate Speech Detection) (2022)

Abstract: La tâche de détection de contenus haineux est ardue, car elle nécessite des connaissances culturelles et contextuelles approfondies ; les connaissances nécessaires varient, entre autres, selon la langue du locateur ou la cible du contenu. Or, des données annotées pour des domaines et des langues spécifiques sont souvent absentes ou limitées. C’est là que les données dans d’autres langues peuvent être exploitées ; mais du fait de ces variations, le transfert cross-lingue est souvent difficile. Dans cet article, nous mettons en évidence cette limitation pour plusieurs domaines et langues et montrons l’impact positif de l’apprentissage de tâches auxiliaires multilingues - analyse de sentiments, reconnaissance des entités nommées et tâches reposant sur des informations morpho-syntaxiques - sur le transfert cross-lingue zéro-shot des modèles de détection de discours haineux, afin de combler ce fossé culturel.

## introduction étant donné l'impact et les enjeux considérables, ne serait-ce qu'en terme de réorientation du discours politique, liés à la diffusions de contenu haineux, en particulier sur les médias sociaux, il est naturel, voire heureux, que la communauté consacre des efforts considérables à la détection de ce type de contenus. cela passe par la proposition de différents type d'approches, qu'elles soient basées sur des règles manuscrites ou sur de l'apprentissage automatique, et le déploiement de benchmarks et jeux de données d'évaluation permettant d'évaluer leurs performances et plus crucialement, leurs limites @xcite @xcite @xcite @xcite . il est important de noter que les systèmes orientés données sont conçus pour être efficaces à un moment donné et pour un type spécifique de contenu en ligne sur lequel ils ont été entraînés. or les discours haineux varient considérablement selon la période ou la culture du locuteur @xcite . par exemple, le renforcement de la censure des plateformes en ligne force les utilisateurs de médias sociaux à s'adapter à leurs systèmes de filtrage, en faisant évoluer leur lexique et en introduisant des variations orthographiques, leur évitant ainsi d'être détectés @xcite . des événements spécifiques peuvent en outre déclencher l'apparition de nouveaux domaines de discours haineux, conduisant à de nouveaux lexiques, hashtags et marqueurs pictographiques qui de facto rendent les corpus d'entraînement inadaptés voire quasiment obsolètes @xcite . de manière synchronique, les variations culturelles modifient la perception et la forme des discours de haine d'une langue à l'autre. ainsi, certaines insultes peuvent être considérées comme non offensantes dans une langue -dénotant tout de même un registre informel -mais seront considérées comme offensantes, voire haineuses, dans une autre langue @xcite . dans cet article, nous étudions les variations cross-lingues des discours de haine en tant que fossé culturel. 1 dans des scénarios de détection de discours haineux (ddh) où les ressources linguistiques sont limitées, plusieurs travaux proposent des méthodes pour transférer les modèles de détection d'une langue à l'autre @xcite @xcite @xcite . cependant, les variations culturelles et linguistiques des discours de haine peuvent réduire la transférabilité de ces modèles. l'information sur ces variations spécifique aux données cibles monolingues du discours haineux doit être trouvée ailleurs dans notre cadre de "zéro-shot". nous émettons l'hypothèse que ces informations peuvent être capturées en fine-tunant le modèle de langue sur des tâches riches en ressources à la fois dans la langue source et dans la langue cible du transfert @xcite . ainsi, en fine-tunant un modèle multilingue (xlm-r, @xcite ) avec une architecture multitâche, nous étudions l'impact de tâches auxiliaires opérant à différents niveaux de granularité linguistique foot_0 sur l'efficacité du transfert. à partir d'un jeu de tweets annotés en contenu haineux dans deux domaines (discours de haine contre les femmes et antiimmigrants) et trois langues (anglais, italien et espagnol), nous construisons un cadre expérimental strictement comparable et mettons en évidence le problème du fossé culturel pour le transfert crosslingue zéro-shot des modèles de détection des discours haineux. dans le cadre de la détection des discours haineux, notre travail démontre l'impact positif de l'entraînement conjoint de tâches auxiliaires sur le transfert cross-lingue, notamment les tâches d'analyse de sentiments et de ner. dans le contexte de la détection de contenus haineux, l'entraînement sur des tâches auxiliaires est fait presque exclusivement sur de l'analyse de sentiments @xcite et uniquement dans des scénarios monolingues. mais des informations supplémentaires sont parfois ajoutées au classificateur de manière plus directe. @xcite , un des meilleurs systèmes sur la tâche haspeede de l'evalita 2020, utilise du texte étiqueté morpho-syntaxiquement en entrée de ses modèles. l'information syntaxique est également ajoutée à des plongements non contextuels par narang & brew (2020) en utilisant des classificateurs basés sur la structure syntaxique du texte avec un effet positif sur la détection de langage abusif. apprentissage par transfert cross-lingue zéro-shot pour la détection de contenus haineux. en raison du manque de données annotées sur de nombreuses langues et domaines , le transfert crosslingue zéro-shot a été beaucoup abordé dans la littérature. parmi les travaux les plus récents, @xcite étudient l'impact d'un entraînement d'un modèle de classification sur des données de discours haineux dans des langues différentes de la langue cible. ils montrent que les modèles de langue pré-entraînés sur un faible nombre de langues bénéficient davantage de cet entraînement intermédiaire et surpassent souvent les modèles de langue multilingues massifs. nozza (2021), sur lequel s'appuie notre travail, démontre la limite du transfert cross-lingue pour les discours de haine spécifiques à un domaine -en particulier, les discours de haine envers les femmes -et l'explique en montrant des exemples de variation culturelle entre les langues. par exemple, certains termes de discours haineux notables dans une langue peuvent être utilisés comme intensificateur dans une autre langue. 3 3 un transfert zéro-shot cross-lingue limité nous partons des mêmes ensembles de données de discours haineux que @xcite , qui s'en est servi pour souligner les limites du transfert cross-lingue zéro-shot. les corpus sont en trois langues : anglais (en), espagnol (es) et italien (it). chaque langue est divisée en corpus provenant de deux domaines : discours de haine envers les immigrants et discours de haine envers les femmes. il s'agit d'une tâche de classification binaire avec deux étiquettes : haineux et non haineux. corpus comparables. contrairement aux expériences de @xcite , nous construisons des corpus comparables dans chaque langue et domaine afin de garantir la comparabilité des paramètres de transfert, en réduisant tous les ensembles de données à une taille totale de 2 591 tweets, soit la taille du plus petit d'entre eux. chaque ensemble d'entraînement compte 1 618 tweets, chaque ensemble de développement 173, et chaque ensemble de test 800. 4 la répartition des classes se trouve dans la nous fine-tunons un modèle de langue multilingue pré-entraîné sur la tâche de ddh pour chaque corpus, dans les deux domaines et trois langues. ensuite, nous appliquons le modèle de classification binaire entraîné sur l'ensemble de test de chaque langue cible en étudiant deux scénarios : (i) monolingue, c.-à-d. entraînement et test sur la même langue et le même domaine pour les discours haineux ; (ii) zéro-shot cross-lingue, c.-à-d. entraînement sur une langue et test sur une autre. les ensembles de test échantillonnés à partir des corpus originaux sont de taille relativement limitée (800 observations). pour augmenter la robustesse des résultats, nous utilisons cinq graines aléatoires différentes lors de l'entraînement et nous rapportons la macro-f1 moyenne sur les cinq entraînements. nous conservons la meilleure des 20 époques pour chaque entraînement en fonction du score macro-f1 sur l'ensemble de développement. modèle de référence pour la détection de contenu haineux. nous rapportons les résultats de référence avec le modèle xlm-r (conneau et al., 2020) dans la pour résumer les résultats, nous les agrégeons selon les deux scénarios présentés ci-dessus : monolingue (mono), et cross-lingue zéro-shot (cross). pour chaque domaine (immigrants et femmes), nous moyennons les scores par scénario : les colonnes "mono" montrent la moyenne de tous les scores en italique dans le tableau de gauche tandis que la colonne "cross" est la moyenne des résultats pour tous les autres scores. nous observons un phénomène problématique lors du transfert : pour le domaine femmes, les modèles testés sur les ensembles de test en espagnol et italien en mode zéro-shot ont des scores beaucoup plus faibles que pour le domaine immigrants (les chiffres en orange dans le tableau). cela est dû, comme le montre nozza (2021), aux interjections spécifiques à la langue qui conduisent le modèle à classer à tort certains textes comme haineux envers les femmes. ## entraînement sur des tâches auxiliaires nous étudions l'impact de l'entraînement sur des tâches auxiliaires pour le problème de transfert zéro-shot cross-lingue des modèles de détection de contenus haineux. en utilisant des données pour les tâches auxiliaires à la fois dans la langue source et la langue cible, nous nous attendons à ce que l'entraînement sur ces tâches fonctionne comme un pont entre les deux langues, aidant le transfert cross-lingue en fournissant plus d'informations sur la langue cible et la différence entre les deux langues. nous définissons plusieurs tâches dont nous voulons évaluer l'effet sur le transfert cross-lingue ; une tâche au niveau de la séquence, l'analyse des sentiments, et plusieurs tâches au niveau du mot : la reconnaissance d'entités nommées (ner) et un ensemble de tâches syntaxiques que nous regroupons -par abus de langage -sous le terme de "universal dependencies" (ud). les tâches de ner et d'analyse de sentiments permettent au modèle d'apprendre des informations sémantiques tandis que les tâches ud transmettent des compétences syntaxiques au modèle. tâches syntaxiques. nous étudions l'effet de l'ajout d'informations syntaxiques en utilisant toutes les tâches de dépendances universelles (ud, @xcite ) (analyse syntaxique de la dépendance, étiquetage morpho-syntaxique (pos), lemmatisation et étiquetage morphologique). nous utilisons les jeux de données ewt @xcite , gsd et isdt @xcite , pour l'anglais, l'espagnol et l'italien respectivement. les jeux de données étant de tailles différentes, nous les échantillonnons pour obtenir la même taille d'entraînement dans toutes les langues. nous utilisons un ensemble d'entraînement de 12 543 phrases, soit la taille de l'ensemble de données le plus petit. analyse des sentiments. nous utilisons des ensembles de données d'analyse de sentiments extraits de twitter pour chacune de nos trois langues cibles. 5 ils ont été rassemblés et unifiés par @xcite avec des tailles identiques (entraînement 1 839, développement 324, test 870) et une distribution équilibrée entre les trois étiquettes de sentiment (positif, négatif et neutre). ## conclusion nous avons montré l'impact positif d'entraîner conjointement la détection des discours haineux avec des tâches de ner et d'analyse de sentiments. nous avons mis en évidence des cas problématiques où le transfert cross-lingue zéro-shot, pour les discours de haine ciblant les femmes, échoue. dans cette situation, l'hypothèse émise dans la littérature est qu'un fossé culturel entre les langues limite la transférabilité du modèle @xcite ; cette variation serait liée, par exemple, à l'usage de certains qualificatifs associés à des femmes qui seraient considérés comme offensants dans une langue et pas dans une autre. dans ces cas, nous identifions les deux solutions les plus efficaces : l'entraînement auxiliaire sur la tâche ner et l'utilisation d'un modèle de langue entraîné sur des données plus adaptées (ici, des tweets), qui permettent au modèle de discerner des schémas communs entre les langues source et cible et de transférer des connaissances de l'une à l'autre.