# Détection automatique de propos misogynes en ligne

Camille Demers, Isabelle Fontaine, Audrée Frappier, Dominic Forest

## ► To cite this version:

Camille Demers, Isabelle Fontaine, Audrée Frappier, Dominic Forest. Détection automatique de propos misogynes en ligne : le cas de Reddit et des communautés Incels. Humanistica 2024, Association francophone des humanités numériques, May 2024, Meknès, Maroc. hal-04562240

HAL Id: hal-04562240

https://hal.science/hal-04562240

Submitted on 29 Apr 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Détection automatique de propos misogynes en ligne

Camille Demers, Isabelle Fontaine, Audrée Frappier, Dominic Forest

► To cite this version:

Camille Demers, Isabelle Fontaine, Audrée Frappier, Dominic Forest. Détection automatique de propos misogynes en ligne. Humanistica 2024, Association francophone des humanités numériques, May 2024, Meknès, Maroc. hal-04562240

HAL Id: hal-04562240

https://hal.science/hal-04562240v1

Submitted on 29 Apr 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Détection automatique de propos misogynes en ligne: le cas de Reddit et des communautés *Incels*

Camille Demers, Isabelle Fontaine, Audrée Frappier et Dominic Forest

EBSI, Université de Montréal
{prénom.nom}@umontreal.ca

## Résumé

Cet article s'intéresse à la détection du discours des communautés *Incels* (*involuntary celibates*) sur la plateforme Reddit. Ces communautés regroupent typiquement des hommes partageant une incapacité à établir des relations amoureuses ou sexuelles et alimentant une subculture aux tendances misogynes et antiféministes (Halpin, 2022). Compte tenu de la gravité des attaques commises par certains individus *Incels* dans les dernières années et de leur propension à se radicaliser sous l'effet de chambres d'écho, il s'avère plus que nécessaire de pouvoir détecter le discours des ces communautés. Cette étude compare la performance de classificateurs basés sur les méthodes des K plus proches voisins et de la classification bayésienne naïve pour détecter le discours *Incel* présent dans un corpus de commentaires issus de Reddit.

## 1 Introduction

Dans cet article, nous nous intéressons à la détection du discours des communautés *Incels* (*involuntary celibates*) à partir d'un corpus de commentaires anglais issus de plateforme Reddit. Ces communautés virtuelles regroupent typiquement des hommes partageant une incapacité à établir des relations amoureuse ou sexuelle et alimentant conséquemment une subculture aux tendances misogynes et antiféministes (Halpin, 2022; Meier et Sharp, 2024). Bien que leurs activités soient fréquemment censurées par les plateformes qui les hébergent, ces communautés ont été associées à plusieurs crimes violents au cours des dernières années<fnref n="1" />. Considérant la difficulté à modérer ces communautés en raison de l'anonymat de leurs membres et de leur propension à se radicaliser sous l'effet de chambres d'échos, il s'avère crucial de

pouvoir détecter le discours des *Incels* sur le Web et en particulier sur le réseau où ils ont historiquement été reconnus pour être actifs : Reddit (Ribeiro et al., 2021).

## 2 Travaux reliés

Un nombre important de travaux ont été réalisés dans le domaine de la détection de propos haineux. Dans ce contexte, les performances de modèles d'apprentissage automatique classiques comme la classification bayésienne naïve, les machines à vecteurs de support, la méthode des k plus proches voisins et la régression logistique ont été démontrées à maintes reprises pour ce type de tâche de classification (Abro et al., 2020; Putri et al., 2020; Mullah et Zainon, 2021; Omran et al., 2023).

Plusieurs travaux se sont également intéressés à la détection et la catégorisation de sexisme et de misogynie en ligne, à la fois au moyen de méthodes classiques (Saha et al., 2018; Frenda et al., 2019; Morales-Castro et al., 2023) et d'apprentissage profond (Jaki et al., 2019; Padmavathi, 2023).

Les principaux travaux ayant abordé le discours *Incel* ont entre autres exploré la migration des utilisateurs entre plateformes (Ribeiro et al., 2021), la toxicité des propos émis (Pelzer et al., 2021; Ribeiro et al., 2021), la construction d'une identité misogyne chez les *Incels* (Yoder et al., 2023) ou encore la nature sexiste, raciste ou homophobe de ce discours (Jaki et al., 2019). Peu d'études se sont cependant penchées sur la détection automatique du discours *Incel*. Les travaux de Hajarian et Khanbabaloo (2021) sont à notre connaissance les seuls s'y étant intéressés, ce qu'ils ont fait avec une approche d'analyse de sentiment combinée à un système de détection des propos injurieux sur un corpus provenant de Twitter et Facebook.

Compte tenu de ces considérations, le présent projet vise donc à entraîner un système de classification permettant de détecter le discours *Incel* sur la plateforme Reddit.

<footnote n="1">1. Voir entre autres l'attaque au camion-bélier ayant eu lieu à Toronto en 2018 (Gothard et al., 2021) ou plus récemment l'attaque au couteau perpétrée à l'Université de Waterloo, ayant fait l'objet de célébrations au sein de communautés *Incels* (Halpin et al., 2024).</footnote>
# Détection automatique de propos misogynes en ligne: le cas de Reddit et des communautés *Incels*

Camille Demers, Isabelle Fontaine, Audrée Frappier et Dominic Forest

EBSI, Université de Montréal
{prénom.nom}@umontreal.ca

## Résumé

Cet article s'intéresse à la détection du discours des communautés *Incels* (*involuntary celibates*) sur la plateforme Reddit. Ces communautés regroupent typiquement des hommes partageant une incapacité à établir des relations amoureuses ou sexuelles et alimentant une subculture aux tendances misogynes et antiféministes (Halpin, 2022). Compte tenu de la gravité des attaques commises par certains individus *Incels* dans les dernières années et de leur propension à se radicaliser sous l'effet de chambres d'écho, il s'avère plus que nécessaire de pouvoir détecter le discours des ces communautés. Cette étude compare la performance de classificateurs basés sur les méthodes des K plus proches voisins et de la classification bayésienne naïve pour détecter le discours *Incel* présent dans un corpus de commentaires issus de Reddit.

## 1 Introduction

Dans cet article, nous nous intéressons à la détection du discours des communautés *Incels* (*involuntary celibates*) à partir d'un corpus de commentaires anglais issus de plateforme Reddit. Ces communautés virtuelles regroupent typiquement des hommes partageant une incapacité à établir des relations amoureuse ou sexuelle et alimentant conséquemment une subculture aux tendances misogynes et antiféministes (Halpin, 2022; Meier et Sharp, 2024). Bien que leurs activités soient fréquemment censurées par les plateformes qui les hébergent, ces communautés ont été associées à plusieurs crimes violents au cours des dernières années<fnref n="1" />. Considérant la difficulté à modérer ces communautés en raison de l'anonymat de leurs membres et de leur propension à se radicaliser sous l'effet de chambres d'échos, il s'avère crucial de

pouvoir détecter le discours des *Incels* sur le Web et en particulier sur le réseau où ils ont historiquement été reconnus pour être actifs : Reddit (Ribeiro et al., 2021).

## 2 Travaux reliés

Un nombre important de travaux ont été réalisés dans le domaine de la détection de propos haineux. Dans ce contexte, les performances de modèles d'apprentissage automatique classiques comme la classification bayésienne naïve, les machines à vecteurs de support, la méthode des k plus proches voisins et la régression logistique ont été démontrées à maintes reprises pour ce type de tâche de classification (Abro et al., 2020; Putri et al., 2020; Mullah et Zainon, 2021; Omran et al., 2023).

Plusieurs travaux se sont également intéressés à la détection et la catégorisation de sexisme et de misogynie en ligne, à la fois au moyen de méthodes classiques (Saha et al., 2018; Frenda et al., 2019; Morales-Castro et al., 2023) et d'apprentissage profond (Jaki et al., 2019; Padmavathi, 2023).

Les principaux travaux ayant abordé le discours *Incel* ont entre autres exploré la migration des utilisateurs entre plateformes (Ribeiro et al., 2021), la toxicité des propos émis (Pelzer et al., 2021; Ribeiro et al., 2021), la construction d'une identité misogyne chez les *Incels* (Yoder et al., 2023) ou encore la nature sexiste, raciste ou homophobe de ce discours (Jaki et al., 2019). Peu d'études se sont cependant penchées sur la détection automatique du discours *Incel*. Les travaux de Hajarian et Khanbabaloo (2021) sont à notre connaissance les seuls s'y étant intéressés, ce qu'ils ont fait avec une approche d'analyse de sentiment combinée à un système de détection des propos injurieux sur un corpus provenant de Twitter et Facebook.

Compte tenu de ces considérations, le présent projet vise donc à entraîner un système de classification permettant de détecter le discours *Incel* sur la plateforme Reddit.

<footnote n="1">1. Voir entre autres l'attaque au camion-bélier ayant eu lieu à Toronto en 2018 (Gothard et al., 2021) ou plus récemment l'attaque au couteau perpétrée à l'Université de Waterloo, ayant fait l'objet de célébrations au sein de communautés *Incels* (Halpin et al., 2024).</footnote>
# 3 Données et méthodologie

## 3.1 Corpus d'apprentissage

Puisque la tâche de détection visée en est une de classification supervisée, un corpus d'apprentissage a été constitué par la réutilisation de données existantes permettant de représenter deux classes d'intérêt : (1) des données provenant de forums *Incels* sur Reddit ; (2) des données neutres constituant un corpus de référence reflétant l'utilisation du langage sur cette plateforme.

Les données d'apprentissage totalisent 100 000 commentaires, soit 50 000 commentaires *Incels* et 50 000 commentaires neutres. Différents sous-corpus de 50 000 commentaires chacun ont par la suite été constitués en faisant varier le ratio de données *Incels* en vue d'évaluer l'impact de ces proportions sur la performance de classification. Cette approche est appliquée dans le but de pallier le problème de déséquilibre des classes auquel fait face la présente tâche, où la classe à détecter est sous-représentée dans la réalité, rendant plus complexe l'extraction de ses spécificités par un modèle de classification (Ling et Sheng, 2010).

### 3.1.1 Données *Incels*

Les données *Incels* proviennent en partie d'un corpus colligé par Ribeiro et al. (2021). Ce corpus contient plus de 28,8 M de publications provenant de 51 forums Reddit (*subreddits*), dont nous en avons retenus 15 identifiés par Ribeiro et al. (2021) comme étant spécifique* Incels* (e.g. r/Braincels, r/ForeverUnwanted, r/askanincel). Cette approche regroupant les commentaires en fonction des subreddits où ils ont été publiés (appelée *Bag of Communities*), permet de pallier l'absence de données annotées en attribuant une catégorie à une communauté entière plutôt qu'à chaque commentaire (Chandrasekharan et al., 2017; Pelzer et al., 2021). Ces données ont été filtrées pour ne retenir que les commentaires émis depuis 2014, afin de refléter le jargon actuel de ces communautés. Le corpus issu des travaux de Ribeiro et al. (2021) possède une couverture temporelle s'arrêtant en 2019, de sorte des données supplémentaires issues de 9 subreddits *Incels* (ex. r/incelsInAction, r/shortcels) y ont été ajoutées pour couvrir la période 2020-2022. Ces données proviennent des archives du projet PushShift (Baumgartner et al., 2020)<fnref n="2" />.

### 3.1.2 Données neutres

Pour limiter l'introduction de biais reflétant les spécificités langagières de Reddit plutôt que du discours d'intérêt (Tranchese et Sugiura, 2021), le corpus de données neutres est également constitué de commentaires provenant de Reddit. Ces données proviennent des archives du projet Pushshift (Baumgartner et al., 2020), dont un sous-ensemble de 100 000 commentaires a été extrait aléatoirement. Celui-ci couvre 38 196 *subreddits* distincts, non reconnus comme fréquentés par les communautés *Incels* (ex. r/AskReddit, r/todayilearned, r/electronic_cigarette, etc.).

## 3.2 Corpus test

Le corpus dédié à l'évaluation des modèles totalise 10 000 données provenant des mêmes sources dont sont issues les données d'apprentissage, en exluant celles-ci. La distribution des données pour la phase de test a été fixée à 10% de données *Incels* afin de refléter la proportion potentiellement réelle de ce discours dans la réalité. En effet, Hajarian et Khanbabaloo (2021) ont rapporté des proportions de propos *Incels* de l'ordre de 9,1% sur Facebook et 8,5% sur Twitter. Le corpus test compte donc 1000 données *Incels* et 9000 données neutres.

# 4 Méthodes

## 4.1 Prétraitement

Les données ont été nettoyées afin de retirer les publicités et les actions automatiques de robots. L'ensemble des traitements subséquents ont été menés avec la librairie python *Scikit-Learn* (Pedregosa et al., 2011). L'emploi d'un antidictionnaire a permis d'appliquer un filtrage des mots fonctionnels de l'anglais, enrichi d'un ensemble de formes non pertinentes spécifiques au format Web des données (ex. balises et entités HTML, artefacts générés par l'API de Reddit).

## 4.2 Phase d'apprentissage

Différents modèles de classification ont été paramétrés pour détecter la présence de propos *Incels* dans les commentaires de Reddit. Six modèles de classification ont été comparés : un premier modèle basé sur un algorithme de classification bayésienne naïve (NB), puis cinq modèles basés sur l'algorithme des K plus proches voisins (kNN), pour différentes valeurs du paramètre K allant de 1 à 3

<footnote n="2">2. Ces archives ont été déplacées à l'adresse suivante : https://the-eye.eu/redarcs/ depuis l'annonce de</footnote>

<footnote>changements dans les conditions d'utilisation de l'API de Reddit en octobre 2023</footnote>
# 3 Données et méthodologie

## 3.1 Corpus d'apprentissage

Puisque la tâche de détection visée en est une de classification supervisée, un corpus d'apprentissage a été constitué par la réutilisation de données existantes permettant de représenter deux classes d'intérêt : (1) des données provenant de forums *Incels* sur Reddit ; (2) des données neutres constituant un corpus de référence reflétant l'utilisation du langage sur cette plateforme.

Les données d'apprentissage totalisent 100 000 commentaires, soit 50 000 commentaires *Incels* et 50 000 commentaires neutres. Différents sous-corpus de 50 000 commentaires chacun ont par la suite été constitués en faisant varier le ratio de données *Incels* en vue d'évaluer l'impact de ces proportions sur la performance de classification. Cette approche est appliquée dans le but de pallier le problème de déséquilibre des classes auquel fait face la présente tâche, où la classe à détecter est sous-représentée dans la réalité, rendant plus complexe l'extraction de ses spécificités par un modèle de classification (Ling et Sheng, 2010).

### 3.1.1 Données *Incels*

Les données *Incels* proviennent en partie d'un corpus colligé par Ribeiro et al. (2021). Ce corpus contient plus de 28,8 M de publications provenant de 51 forums Reddit (*subreddits*), dont nous en avons retenus 15 identifiés par Ribeiro et al. (2021) comme étant spécifique* Incels* (e.g. r/Braincels, r/ForeverUnwanted, r/askanincel). Cette approche regroupant les commentaires en fonction des subreddits où ils ont été publiés (appelée *Bag of Communities*), permet de pallier l'absence de données annotées en attribuant une catégorie à une communauté entière plutôt qu'à chaque commentaire (Chandrasekharan et al., 2017; Pelzer et al., 2021). Ces données ont été filtrées pour ne retenir que les commentaires émis depuis 2014, afin de refléter le jargon actuel de ces communautés. Le corpus issu des travaux de Ribeiro et al. (2021) possède une couverture temporelle s'arrêtant en 2019, de sorte des données supplémentaires issues de 9 subreddits *Incels* (ex. r/incelsInAction, r/shortcels) y ont été ajoutées pour couvrir la période 2020-2022. Ces données proviennent des archives du projet PushShift (Baumgartner et al., 2020)<fnref n="2" />.

### 3.1.2 Données neutres

Pour limiter l'introduction de biais reflétant les spécificités langagières de Reddit plutôt que du discours d'intérêt (Tranchese et Sugiura, 2021), le corpus de données neutres est également constitué de commentaires provenant de Reddit. Ces données proviennent des archives du projet Pushshift (Baumgartner et al., 2020), dont un sous-ensemble de 100 000 commentaires a été extrait aléatoirement. Celui-ci couvre 38 196 *subreddits* distincts, non reconnus comme fréquentés par les communautés *Incels* (ex. r/AskReddit, r/todayilearned, r/electronic_cigarette, etc.).

## 3.2 Corpus test

Le corpus dédié à l'évaluation des modèles totalise 10 000 données provenant des mêmes sources dont sont issues les données d'apprentissage, en exluant celles-ci. La distribution des données pour la phase de test a été fixée à 10% de données *Incels* afin de refléter la proportion potentiellement réelle de ce discours dans la réalité. En effet, Hajarian et Khanbabaloo (2021) ont rapporté des proportions de propos *Incels* de l'ordre de 9,1% sur Facebook et 8,5% sur Twitter. Le corpus test compte donc 1000 données *Incels* et 9000 données neutres.

# 4 Méthodes

## 4.1 Prétraitement

Les données ont été nettoyées afin de retirer les publicités et les actions automatiques de robots. L'ensemble des traitements subséquents ont été menés avec la librairie python *Scikit-Learn* (Pedregosa et al., 2011). L'emploi d'un antidictionnaire a permis d'appliquer un filtrage des mots fonctionnels de l'anglais, enrichi d'un ensemble de formes non pertinentes spécifiques au format Web des données (ex. balises et entités HTML, artefacts générés par l'API de Reddit).

## 4.2 Phase d'apprentissage

Différents modèles de classification ont été paramétrés pour détecter la présence de propos *Incels* dans les commentaires de Reddit. Six modèles de classification ont été comparés : un premier modèle basé sur un algorithme de classification bayésienne naïve (NB), puis cinq modèles basés sur l'algorithme des K plus proches voisins (kNN), pour différentes valeurs du paramètre K allant de 1 à 3

<footnote n="2">2. Ces archives ont été déplacées à l'adresse suivante : https://the-eye.eu/redarcs/ depuis l'annonce de</footnote>

<footnote>changements dans les conditions d'utilisation de l'API de Reddit en octobre 2023</footnote>
voisins. Ces modèles ont été sélectionnés en raison de leur faible coût computationnel et de leur efficacité démontrée pour des tâches de classification textuelle (Omran et al., 2023; Shah et al., 2020). Nous avons également fait varier le nombre de traits discriminants retenus par les modèles pour des valeurs allant de 100 à 5 000 traits discriminants, sélectionnés en fonction d'une pondération TF-IDF. Une méthode de validation croisée à 5 blocs a été employée pour assurer l'indépendance des modèles aux données d'apprentissage.

## 4.3 Phase de test

Pour la phase de test, le système illustrant la meilleure performance en phase d'apprentissage a été retenu puis testé sur 10 000 données inédites.

# 5 Résultats

Les résultats sont évalués au regard de l'exactitude prédictive des modèles, leur sensibilité et leur pertinence, ces dernières étant respectivement évaluées par des mesures de rappel et de précision. La performance globale est évaluée au moyen de la mesure F, qui tient à la fois compte du rappel et de la précision; cette mesure reflète d'ailleurs plus adéquatement la performance que l'exactitude prédictive dans un contexte de déséquilibre des classes (Zhao et Chen, 2014).

Les tableaux 1 et 2 illustrent les performances des 5 meilleurs systèmes au regard de l'exactitude et du score F. Tous systèmes confondus, l'algorithme bayésien naïf entraîné sur un corpus contenant 10% de données *Incels* et retenant 4 000 traits discriminants illustre la plus haute exactitude prédictive (90,84%), cependant pour une mesure F de 0,57. En contrepartie, le modèle basé sur l'algorithme bayésien naïf entraîné sur un corpus contenant 40% de données *Incels* et retenant 5 000 traits discriminants illustre la meilleure mesure F (0,76), pour une exactitude prédictive de 77,69%, laquelle s'avère comparable aux résultats obtenus par Hajarian et Khanbabaloo (2021) (78,8%). Ce dernier modèle a donc été retenu pour la phase de test.

La Figure 1 présente la performance des modèles pour différentes proportions de données *Incels* contenues dans les corpus d'apprentissage. L'ensemble des modèles illustrent des tendances similaires relativement à la variation du nombre de traits dis discriminants retenus, caractérisées par une augmentation de performance (mesure F) proportionnelle avec l'emploi d'un plus grand nombre de

<table><caption>TABLEAU 1 – Métriques d'évaluation des 5 classifeurs les plus performants, au regard de l'exactitude prédictive.</caption><thead><tr><th>% Incels</th><th>Méthode</th><th>Nb traits</th><th>Exactit.</th><th>Score F</th></tr></thead><tbody><tr><td>10</td><td><i>Naive Bayes</i></td><td>4 000</td><td>0,9084</td><td>0,57</td></tr><tr><td>10</td><td><i>Naive Bayes</i></td><td>5 000</td><td>0,9083</td><td>0,57</td></tr><tr><td>10</td><td><i>Naive Bayes</i></td><td>3 000</td><td>0,9081</td><td>0,57</td></tr><tr><td>10</td><td><i>Naive Bayes</i></td><td>2 000</td><td>0,9078</td><td>0,57</td></tr><tr><td>10</td><td><i>Naive Bayes</i></td><td>1 500</td><td>0,9074</td><td>0,56</td></tr></tbody></table>

<table><caption>TABLEAU 2 – Métriques d'évaluation des 5 classifeurs les plus performants, au regard de la mesure F</caption><thead><tr><th>% Incels</th><th>Méthode</th><th>Nb traits</th><th>Exactit.</th><th>Score F</th></tr></thead><tbody><tr><td>40</td><td><i>Naive Bayes</i></td><td>5 000</td><td>0,7769</td><td>0,7551</td></tr><tr><td>40</td><td><i>Naive Bayes</i></td><td>4 000</td><td>0,7726</td><td>0,7493</td></tr><tr><td>40</td><td><i>Naive Bayes</i></td><td>3 000</td><td>0,7666</td><td>0,7409</td></tr><tr><td>40</td><td><i>Naive Bayes</i></td><td>2 000</td><td>0,7580</td><td>0,7284</td></tr><tr><td>50</td><td><i>Naive Bayes</i></td><td>5 000</td><td>0,7279</td><td>0,7268</td></tr></tbody></table>

traits, plafonnant autour de 2 500 traits.

Le tableau 3 compare les métriques de performance du modèle retenu en phase de test et en phase d'apprentissage. Celui-ci obtient une exactitude prédictive de 86,75%, pour un score F de 0,70.

<table><caption>TABLEAU 3 – Comparaison des métriques de performance du modèle de classification retenu en phase d'apprentissage et de test (Naive Bayes, 5 000 traits discriminants, 40% de données *Incels*).</caption><thead><tr><th></th><th>Exactitude</th><th>Précision</th><th>Rappel</th><th>Score F</th></tr></thead><tbody><tr><td>Appr.</td><td>77,69%</td><td>0,7814</td><td>0,7471</td><td>0,7551</td></tr><tr><td>Test</td><td>86,73%</td><td>0,6725</td><td>0,7472</td><td>0,6989</td></tr></tbody></table>

# 6 Conclusion

Cette étude a comparé la performance de différents classifieurs pour détecter le discours *Incel* au sein d'un corpus provenant de Reddit, en tenant compte du problème de déséquilibre des classes. Le système illustrant la meilleure performance emploie un classifieur bayésien naïf retenant 5 000 traits discriminants. Le classifieur proposé obtient un score F de 0,70, pour une exactitude prédictive de 86,73%. De futurs travaux permettront d'explorer une plus grande variété de modèles d'apprentissage, de même que l'évolution des patrons langagiers les plus pertinents pour la détection de ce type de discours.
voisins. Ces modèles ont été sélectionnés en raison de leur faible coût computationnel et de leur efficacité démontrée pour des tâches de classification textuelle (Omran et al., 2023; Shah et al., 2020). Nous avons également fait varier le nombre de traits discriminants retenus par les modèles pour des valeurs allant de 100 à 5 000 traits discriminants, sélectionnés en fonction d'une pondération TF-IDF. Une méthode de validation croisée à 5 blocs a été employée pour assurer l'indépendance des modèles aux données d'apprentissage.

## 4.3 Phase de test

Pour la phase de test, le système illustrant la meilleure performance en phase d'apprentissage a été retenu puis testé sur 10 000 données inédites.

# 5 Résultats

Les résultats sont évalués au regard de l'exactitude prédictive des modèles, leur sensibilité et leur pertinence, ces dernières étant respectivement évaluées par des mesures de rappel et de précision. La performance globale est évaluée au moyen de la mesure F, qui tient à la fois compte du rappel et de la précision; cette mesure reflète d'ailleurs plus adéquatement la performance que l'exactitude prédictive dans un contexte de déséquilibre des classes (Zhao et Chen, 2014).

Les tableaux 1 et 2 illustrent les performances des 5 meilleurs systèmes au regard de l'exactitude et du score F. Tous systèmes confondus, l'algorithme bayésien naïf entraîné sur un corpus contenant 10% de données *Incels* et retenant 4 000 traits discriminants illustre la plus haute exactitude prédictive (90,84%), cependant pour une mesure F de 0,57. En contrepartie, le modèle basé sur l'algorithme bayésien naïf entraîné sur un corpus contenant 40% de données *Incels* et retenant 5 000 traits discriminants illustre la meilleure mesure F (0,76), pour une exactitude prédictive de 77,69%, laquelle s'avère comparable aux résultats obtenus par Hajarian et Khanbabaloo (2021) (78,8%). Ce dernier modèle a donc été retenu pour la phase de test.

La Figure 1 présente la performance des modèles pour différentes proportions de données *Incels* contenues dans les corpus d'apprentissage. L'ensemble des modèles illustrent des tendances similaires relativement à la variation du nombre de traits dis discriminants retenus, caractérisées par une augmentation de performance (mesure F) proportionnelle avec l'emploi d'un plus grand nombre de

<table><caption>TABLEAU 1 – Métriques d'évaluation des 5 classifeurs les plus performants, au regard de l'exactitude prédictive.</caption><thead><tr><th>% Incels</th><th>Méthode</th><th>Nb traits</th><th>Exactit.</th><th>Score F</th></tr></thead><tbody><tr><td>10</td><td><i>Naive Bayes</i></td><td>4 000</td><td>0,9084</td><td>0,57</td></tr><tr><td>10</td><td><i>Naive Bayes</i></td><td>5 000</td><td>0,9083</td><td>0,57</td></tr><tr><td>10</td><td><i>Naive Bayes</i></td><td>3 000</td><td>0,9081</td><td>0,57</td></tr><tr><td>10</td><td><i>Naive Bayes</i></td><td>2 000</td><td>0,9078</td><td>0,57</td></tr><tr><td>10</td><td><i>Naive Bayes</i></td><td>1 500</td><td>0,9074</td><td>0,56</td></tr></tbody></table>

<table><caption>TABLEAU 2 – Métriques d'évaluation des 5 classifeurs les plus performants, au regard de la mesure F</caption><thead><tr><th>% Incels</th><th>Méthode</th><th>Nb traits</th><th>Exactit.</th><th>Score F</th></tr></thead><tbody><tr><td>40</td><td><i>Naive Bayes</i></td><td>5 000</td><td>0,7769</td><td>0,7551</td></tr><tr><td>40</td><td><i>Naive Bayes</i></td><td>4 000</td><td>0,7726</td><td>0,7493</td></tr><tr><td>40</td><td><i>Naive Bayes</i></td><td>3 000</td><td>0,7666</td><td>0,7409</td></tr><tr><td>40</td><td><i>Naive Bayes</i></td><td>2 000</td><td>0,7580</td><td>0,7284</td></tr><tr><td>50</td><td><i>Naive Bayes</i></td><td>5 000</td><td>0,7279</td><td>0,7268</td></tr></tbody></table>

traits, plafonnant autour de 2 500 traits.

Le tableau 3 compare les métriques de performance du modèle retenu en phase de test et en phase d'apprentissage. Celui-ci obtient une exactitude prédictive de 86,75%, pour un score F de 0,70.

<table><caption>TABLEAU 3 – Comparaison des métriques de performance du modèle de classification retenu en phase d'apprentissage et de test (Naive Bayes, 5 000 traits discriminants, 40% de données *Incels*).</caption><thead><tr><th></th><th>Exactitude</th><th>Précision</th><th>Rappel</th><th>Score F</th></tr></thead><tbody><tr><td>Appr.</td><td>77,69%</td><td>0,7814</td><td>0,7471</td><td>0,7551</td></tr><tr><td>Test</td><td>86,73%</td><td>0,6725</td><td>0,7472</td><td>0,6989</td></tr></tbody></table>

# 6 Conclusion

Cette étude a comparé la performance de différents classifieurs pour détecter le discours *Incel* au sein d'un corpus provenant de Reddit, en tenant compte du problème de déséquilibre des classes. Le système illustrant la meilleure performance emploie un classifieur bayésien naïf retenant 5 000 traits discriminants. Le classifieur proposé obtient un score F de 0,70, pour une exactitude prédictive de 86,73%. De futurs travaux permettront d'explorer une plus grande variété de modèles d'apprentissage, de même que l'évolution des patrons langagiers les plus pertinents pour la détection de ce type de discours.
<figure><img src="image_2.png" /><figcaption>FIGURE 1 – Comparaison de la performance de classification en phase d’apprentissage des algorithmes testés sur différentes proportions de données *Incels*.</figcaption></figure>

Bibliographie

Sindhu Abro, Sarang Shaikh, Zahid Hussain Khand, Zafar Ali, Sajid Khan, et Ghulam Mujtaba. 2020. Automatic Hate Speech Detection using Machine Learning: A Comparative Study. *International Journal of Advanced Computer Science and Applications (IJACSA)*, 11(8). Publisher : The Science and Information (SAI) Organization Limited.

Jason Baumgartner, Savvas Zannettou, Brian Keegan, Megan Squire, et Jeremy Blackburn. 2020. The Push-shift Reddit Dataset. *Proceedings of the International AAAI Conference on Web and Social Media*, 14:830–839.

Eshwar Chandrasekharan, Mattia Samory, Anirudh Srinivasan, et Eric Gilbert. 2017. The Bag of Communities: Identifying Abusive Behavior Online with Preexisting Internet Data. In *Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems*, CHI ’17, pages 3175–3187, New York, NY, USA. Association for Computing Machinery.

Simona Frenda, Bilal Ghanem, Manuel Montes-y Gómez, et Paolo Rosso. 2019. Online Hate Speech against Women: Automatic Identification of Misogyny and Sexism on Twitter. *Journal of Intelligent & Fuzzy Systems*, 36(5):4743–4752. Publisher : IOS Press.
<figure><img src="image_2.png" /><figcaption>FIGURE 1 – Comparison of the performance of classification algorithms in phase of learning on different proportions of dataset. *Incels*.</figcaption></figure>

## Bibliographie

Sindhu Abro, Sarang Shaikh, Zahid Hussain Khand, Zafar Ali, Sajid Khan, et Ghulam Mujtaba. 2020. Automatic Hate Speech Detection using Machine Learning: A Comparative Study. *International Journal of Advanced Computer Science and Applications (IJACSA)*, 11(8). Publisher: The Science and Information (SAI) Organization Limited.

Jason Baumgartner, Savvas Zannettou, Brian Keegan, Megan Squire, et Jeremy Blackburn. 2020. The Push-shift Reddit Dataset. *Proceedings of the International AAAI Conference on Web and Social Media*, 14:830–839.

Eshwar Chandrasekharan, Mattia Samory, Anirudh Srinivasan, et Eric Gilbert. 2017. The Bag of Communities: Identifying Abusive Behavior Online with Preexisting Internet Data. In *Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems*, CHI ’17, pages 3175–3187, New York, NY, USA. Association for Computing Machinery.

Simona Frenda, Bilal Ghanem, Manuel Montes-y Gómez, et Paolo Rosso. 2019. Online Hate Speech against Women: Automatic Identification of Misogyny and Sexism on Twitter. *Journal of Intelligent & Fuzzy Systems*, 36(5):4743–4752. Publisher: IOS Press.
Kelly Gothard, David Rushing Dewhurst, Joshua R. Minot, Jane Lydia Adams, Christopher M. Danforth, et Peter Sheridan Dodds. 2021. The incel lexicon: Deciphering the emergent cryptolect of a global misogynistic community. *arXiv:2105.12006 [cs]*.

Mohammad Hajarian et Zahra Khanbabaloo. 2021. Toward Stopping Incel Rebellion: Detecting Incels in Social Media Using Sentiment Analysis. In *2021 7th International Conference on Web Research (ICWR)*, pages 169–174.

Michael Halpin. 2022. Weaponized Subordination: How Incels Discredit Themselves to Degrade Women. *Gender & Society*, 36(6):813–837. Publisher: SAGE Publications Inc.

Michael Halpin, Kayla Preston, Demeter Lockyer, et Finlay Maguire. 2024. A solider and a victim: Masculinity, violence, and incels celebration of December 6th. *Canadian Review of Sociology/Revue canadienne de sociologie*, page cars.12460.

Sylvia Jaki, Tom De Smedt, Maja Gwóźdź, Rudresh Panchal, Alexander Rossa, et Guy De Pauw. 2019. Online hatred of women in the Incels.me forum: Linguistic analysis and automatic detection. *Journal of Language Aggression and Conflict*, 7(2):240–268. Publisher: John Benjamins.

Charles X. Ling et Victor S. Sheng. 2010. Class Imbalance Problem. In Claude Sammut et Geoffrey I. Webb, editors, *Encyclopedia of Machine Learning*, pages 171–171. Springer US, Boston, MA.

Matthew L. Meier et Kellen Sharp. 2024. Death to Chad and Stacy: Incels and anti-fandom as group identity. *International Journal of Cultural Studies*, page 13678779231220056. Publisher: SAGE Publications Ltd.

José Carmen Morales-Castro, Angelica Hernandez-Rayas, José Ruiz-Pinales, et Rafael Guzmán-Cabrera. 2023. Automatic Identification of Misogynistic Sentiments on Social Networks. *Journal of Social Researches*, 9(23):10–18.

Nanlir Sallau Mullah et Wan Mohd Nazmee Wan Zainon. 2021. Advances in Machine Learning Algorithms for Hate Speech Detection in Social Media: A Review. *IEEE Access*, 9:88364–88376.

Esraa Omran, Estabraq Al Tararwah, et Jamal Al Qundus. 2023. A comparative analysis of machine learning algorithms for hate speech detection in social media. *Online Journal of Communication and Media Technologies*, 13(4):e202348.

Madisetty Padmavathi. 2023. DS at SemEval-2023 Task 10: Explaining Online Sexism using Transformer based Approach. In *Proceedings of the 17th International Workshop on Semantic Evaluation (SemEval-2023)*, pages 1102–1106, Toronto, Canada. Association for Computational Linguistics.

F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, et E. Duchesnay. 2011. Scikit-learn: Machine Learning in Python. *Journal of Machine Learning Research*, 12:2825–2830.

Björn Pelzer, Lisa Kaati, Katie Cohen, et Johan Fernquist. 2021. Toxic language in online incel communities. *SN Social Sciences*, 1(8):213.

T. T. A. Putri, S. Sriadhi, R. D. Sari, R. Rahmadani, et H. D. Hutahaean. 2020. A comparison of classification algorithms for hate speech detection. *IOP Conference Series: Materials Science and Engineering*, 830(3):032006. Publisher: IOP Publishing.

Manoel Horta Ribeiro, Jeremy Blackburn, Barry Bradlyn, Emiliano De Cristofaro, Gianluca Stringhini, Summer Long, Stephanie Greenberg, et Savvas Zan nettou. 2021. The Evolution of the Manosphere across the Web. *Proceedings of the International AAAI Conference on Web and Social Media*, 15:196–207.

Punyajoy Saha, Binny Mathew, Pawan Goyal, et Animesh Mukherjee. 2018. Hateminers: Detecting Hate speech against Women. *arXiv:1812.06700 [cs]*.

Kanish Shah, Henil Patel, Devanshi Sanghvi, et Manan Shah. 2020. A Comparative Analysis of Logistic Regression, Random Forest and KNN Models for the Text Classification. *Augmented Human Research*, 5(1):12.

Alessia Tranchese et Lisa Sugiura. 2021. “I Don’t Hate All Women, Just Those Stuck-Up Bitches”: How Incels and Mainstream Pornography Speak the Same Extreme Language of Misogyny. *Violence Against Women*, 27(14):2709–2734. Publisher: SAGE Publications Inc.

Michael Yoder, Chloe Perry, David Brown, Kathleen Carley, et Meredith Pruden. 2023. Identity Construction in a Misogynist Incels Forum. In *The 7th Workshop on Online Abuse and Harms (WOAH)*, pages 1–13, Toronto, Canada. Association for Computational Linguistics.

Y Zhao et Y Chen. 2014. *Data Mining Applications with R*. Elsevier.
Kelly Gothard, David Rushing Dewhurst, Joshua R. Minot, Jane Lydia Adams, Christopher M. Danforth, et Peter Sheridan Dodds. 2021. The incel lexicon: Deciphering the emergent cryptolect of a global misogynistic community. *arXiv:2105.12006 [cs]*.

Mohammad Hajarian et Zahra Khanbabaloo. 2021. Toward Stopping Incel Rebellion: Detecting Incels in Social Media Using Sentiment Analysis. In *2021 7th International Conference on Web Research (ICWR)*, pages 169–174.

Michael Halpin. 2022. Weaponized Subordination: How Incels Discredit Themselves to Degrade Women. *Gender & Society*, 36(6):813–837. Publisher: SAGE Publications Inc.

Michael Halpin, Kayla Preston, Demeter Lockyer, et Finlay Maguire. 2024. A solider and a victim: Masculinity, violence, and incels celebration of December 6th. *Canadian Review of Sociology/Revue canadienne de sociologie*, page cars.12460.

Sylvia Jaki, Tom De Smedt, Maja Gwóźdź, Rudresh Panchal, Alexander Rossa, et Guy De Pauw. 2019. Online hatred of women in the Incels.me forum: Linguistic analysis and automatic detection. *Journal of Language Aggression and Conflict*, 7(2):240–268. Publisher: John Benjamins.

Charles X. Ling et Victor S. Sheng. 2010. Class Imbalance Problem. In Claude Sammut et Geoffrey I. Webb, editors, *Encyclopedia of Machine Learning*, pages 171–171. Springer US, Boston, MA.

Matthew L. Meier et Kellen Sharp. 2024. Death to Chad and Stacy: Incels and anti-fandom as group identity. *International Journal of Cultural Studies*, page 13678779231220056. Publisher: SAGE Publications Ltd.

José Carmen Morales-Castro, Angelica Hernandez-Rayas, José Ruiz-Pinales, et Rafael Guzmán-Cabrera. 2023. Automatic Identification of Misogynistic Sentiments on Social Networks. *Journal of Social Researches*, 9(23):10–18.

Nanlir Sallau Mullah et Wan Mohd Nazmee Wan Zainon. 2021. Advances in Machine Learning Algorithms for Hate Speech Detection in Social Media: A Review. *IEEE Access*, 9:88364–88376.

Esraa Omran, Estabraq Al Tararwah, et Jamal Al Qundus. 2023. A comparative analysis of machine learning algorithms for hate speech detection in social media. *Online Journal of Communication and Media Technologies*, 13(4):e202348.

Madisetty Padmavathi. 2023. DS at SemEval-2023 Task 10: Explaining Online Sexism using Transformer based Approach. In *Proceedings of the 17th International Workshop on Semantic Evaluation (SemEval-2023)*, pages 1102–1106, Toronto, Canada. Association for Computational Linguistics.

F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, et E. Duchesnay. 2011. Scikit-learn: Machine Learning in Python. *Journal of Machine Learning Research*, 12:2825–2830.

Björn Pelzer, Lisa Kaati, Katie Cohen, et Johan Fernquist. 2021. Toxic language in online incel communities. *SN Social Sciences*, 1(8):213.

T. T. A. Putri, S. Sriadhi, R. D. Sari, R. Rahmadani, et H. D. Hutahaean. 2020. A comparison of classification algorithms for hate speech detection. *IOP Conference Series: Materials Science and Engineering*, 830(3):032006. Publisher: IOP Publishing.

Manoel Horta Ribeiro, Jeremy Blackburn, Barry Bradlyn, Emiliano De Cristofaro, Gianluca Stringhini, Summer Long, Stephanie Greenberg, et Savvas Zan nettou. 2021. The Evolution of the Manosphere across the Web. *Proceedings of the International AAAI Conference on Web and Social Media*, 15:196–207.

Punyajoy Saha, Binny Mathew, Pawan Goyal, et Animesh Mukherjee. 2018. Hateminers: Detecting Hate speech against Women. *arXiv:1812.06700 [cs]*.

Kanish Shah, Henil Patel, Devanshi Sanghvi, et Manan Shah. 2020. A Comparative Analysis of Logistic Regression, Random Forest and KNN Models for the Text Classification. *Augmented Human Research*, 5(1):12.

Alessia Tranchese et Lisa Sugiura. 2021. “I Don’t Hate All Women, Just Those Stuck-Up Bitches”: How Incels and Mainstream Pornography Speak the Same Extreme Language of Misogyny. *Violence Against Women*, 27(14):2709–2734. Publisher: SAGE Publications Inc.

Michael Yoder, Chloe Perry, David Brown, Kathleen Carley, et Meredith Pruden. 2023. Identity Construction in a Misogynist Incels Forum. In *The 7th Workshop on Online Abuse and Harms (WOAH)*, pages 1–13, Toronto, Canada. Association for Computational Linguistics.

Y Zhao et Y Chen. 2014. *Data Mining Applications with R*. Elsevier.