Identification des indicateurs linguistiques de la subjectivité les plus efficaces pour la classification d’articles de presse en français. (Identifying the most efficient linguistic features of subjectivity for F rench-speaking press articles classification) (2022)

Abstract: Les articles de presse peuvent être répartis en deux genres principaux : les genres de l’information et les genres de l’opinion. La classification automatique d’articles dans ces deux genres est une tâche qui peut être effectuée à partir de traits et mesures linguistiques également utilisées pour l’analyse de la subjectivité. Dans cet article, nous évaluons la pertinence de 30 mesures issues de travaux antérieurs pour la classification d’articles d’information et d’opinion en français. A l’aide de deux modèles de classification différents et à partir d’un échantillon de 13 400 articles publiés sur le site web de la Radio-Télévision Belge Francophone (RTBF), nous avons identifié 18 mesures morphosyntaxiques, lexicosémantiques et stylométriques efficaces pour distinguer les articles plutôt factuels des articles subjectifs.

## introduction de nos jours, la diffusion de l'information en ligne passe pour une grande partie des utilisateurs par facebook, twitter ou encore instagram. les algorithmes de recommandation utilisés par ces médias sociaux enferment les utilisateurs dans des "bulles de filtre", des espaces virtuels au sein desquels ils sont confrontés constamment aux mêmes opinions et où les articles suscitant l'engagement émotionnel du public sont plus souvent mis en avant @xcite . dans ce contexte, la radio-télévision belge francophone (rtbf) souligne "l'importance croissante d'avoir des marqueurs identifiables pour différencier les genres de l'information et les genres de l'opinion" foot_0 . pour faciliter cette distinction, des outils de traitement automatique du langage peuvent être utilisés. l'analyse automatique de la subjectivité est un champ du tal qui a été approché sous différents angles, et qui est parfois considérée comme une sous-tâche de la fouille d'opinion. suivant les applications, elle consiste à identifier automatiquement dans un corpus donné des textes, des phrases ou des éléments subjectifs, c'est-à-dire dont le contenu est influencé par l'opinion de leur auteur @xcite . pour la détection automatique de la subjectivité dans des textes journalistiques, quelques approches ont déjà été proposées, principalement en anglais @xcite . la question n'a été que peu explorée en français, et encore moins sur des corpus de taille conséquente @xcite . dans cet article, nous proposons d'évaluer l'efficacité de 30 indicateurs linguistiques de la subjectivité pour la classification en français d'articles subjectifs et factuels, par le biais d'une analyse d'articles publiés entre 2008 et 2022 par la rtbf. ce travail s'inscrit dans un projet plus large impliquant l'utilisation de méthodes deep learning pour la classification d'articles subjectifs, et l'apport de la classification par traits linguistiques pour en améliorer l'explicabilité. l'état de l'art présente les discussions liées à la subjectivité, un concept envisagé de différentes manières dans les domaines de la linguistique et du journalisme. les multiples indicateurs linguistiques de la subjectivité qui ont déjà été évalués dans d'autres études sont également détaillés. ensuite, la méthodologie appliquée pour l'expérience est décrite dans la section 3, ainsi que le corpus utilisé. les résultats de la classification sont présentés dans la section 4. ## résultats et discussion d'abord, l'analyse discriminante linéaire a été appliquée pour la classification des articles, selon la variable information/opinion et sur base des 30 mesures décrites dans la section 3.2. cette première expérience a été effectuée avec plusieurs combinaisons des différents types de traits linguistiques. pour calculer l'exactitude des prédictions (predictive accuracy), que nous appellerons la précision de classification (le nombre d'articles correctement classifiés par le modèle par rapport au nombre total d'articles classifiés), l'échantillon a été réparti en un jeu d'entraînement (90% des articles) et un jeu de test (10%). la précision de classification obtenue sur le jeu de test pour chaque combinaison est présentée dans le tableau 2. analyse discriminante linéaire (lda) mesures utilisées précision morphosyntaxiques 0.788 lexicosémantiques 0.685 stylométriques 0.910 morphosyntaxiques + lexicosémantiques 0.796 morphosyntaxiques + stylométriques 0.916 lexicosémantiques + stylométriques 0.908 toutes les mesures 0.916 tableau 2. résultats de la classification des 13 400 articles par lda. utilisées seules, ce sont les mesures stylométriques qui apparaissent comme les plus performantes pour la classification information-opinion (précision de 91%), suivies par les mesures morphosyntaxiques (78.8%). les indicateurs lexicosémantiques obtiennent la précision de classification la plus faible (68.5%). la combinaison de traits qui donne la précision la plus élevée est la combinaison des traits morphosyntaxiques et stylométriques (91.6%). en la comparant avec la classification utilisant les trois ensembles de mesures, on constate que l'ajout des indicateurs lexicosémantiques ne semble pas améliorer la précision de classification. pour mettre ces premiers résultats en perspective, une deuxième expérience de classification est réalisée en entraînant un modèle lr sur toutes les mesures calculées à partir des 13 400 articles. l'évaluation de ce modèle est combinée avec une validation croisée stratifiée à 10 blocs, où la répartition en jeux d'entraînement et de test est de 90/10%. la précision de classification moyenne obtenue par le modèle en intégrant les 30 mesures présentées dans le tableau 1 est de 0.865 (écarttype = 0.014), moins élevée que pour la classification par lda. afin d'améliorer la performance de la classification, nous entraînons un nouveau modèle similaire mais dépourvu des 12 indicateurs dont le caractère prédictif n'est pas considéré comme significatif (@xmath0.05) par le modèle initial. les 18 mesures conservées et les coefficients de régression qui leur sont attribués par ce nouveau modèle épuré sont présentés dans le tableau 3. les mesures à gauche sont plus élevées dans les articles d'opinion, celles à droite dans les articles d'information. l'interprétation du r 2 de mcfadden (1973) suggère que les données de l'échantillon sont correctement ajustées à ce modèle (r 2 = 0.682). à la suite de cette étape de sélection des caractéristiques, nous obtenons une précision de classification de 0.897 (écart-@xmath1.008) avec le nouveau modèle lr à 18 mesures, plus efficace que le modèle lr utilisant les 30 mesures. opinion information mesure coef. se p mesure coef. se p nb_on 101.3 7.32 < 0.001 nb_digits 79.26 3.36 < 0.001 pron_rel 54.34 4.49 < 0.001 pron_1 46.28 4.95 < 0.001 nb_neg 49.51 5.31 < 0.001 nb_vb 13.2 1.25 < 0.001 nb_adj 22.85 1.62 < 0.001 length_words 3.72 0.08 < 0.001 lexique3_sentiment 16.34 5.78 0.005 nb_citations 0.37 0.01 < 0.001 nrc_sentiment 10.39 1.71 < 0.001 nb_exclam 9.35 0.76 < 0.001 nb_interrog 6.7 0.63 < 0.001 nb_pointvirg 6.22 0.9 < 0.001 nb_susp 3.90 0.79 < 0.001 nb_deuxpoints 3.74 0.48 < 0.001 blob_sent 2.43 0.59 < 0.001 cttr 1.85 0.04 < 0.001 tableau 3. modèle de classification par régression logistique (lr) à 18 prédicteurs (r 2 = 0.682). les courbes d'apprentissage des deux modèles lr, calculées en entrainant le modèle sur 30 paliers successifs de taille d'échantillon (de 0.5% à 100% des données d'entrainement) et en le mesurant sur un même jeu de test (20% des données) avec validation croisée (@xmath2, sont présentées dans la figure 2. on peut observer que la précision de classification des deux modèles croit significativement jusqu'à atteindre une taille d'échantillon d'entraînement de 1000 articles, avant de se stabiliser. on peut néanmoins constater que la précision du modèle basé sur les 18 mesures continue à croître légèrement mais de manière constante avec la taille du jeu d'entraînement, tandis que la précision du modèle utilisant les 30 mesures est moins stable et moins élevée. cette instabilité est probablement due au bruit provoqué dans la classification par les 12 mesures considérées comme non prédictives par le modèle. cette comparaison des courbes d'apprentissage nous permet de confirmer que certaines mesures parmi les 30 tirent la précision de classification vers le bas, et qu'il est plus efficace de ne conserver que les mesures les plus significatives d'après le modèle. dans le tableau 3, on observe que les mesures avec le plus haut coefficient de régression sont principalement des mesures morphosyntaxiques et stylométriques (nb_on, nb_digits, pron_rel), ce qui confirme les résultats de la classification par lda présentés dans le tableau 2. sur les 18 mesures conservées dans le modèle utilisant la lr, 9 sont des mesures stylométriques, s'alignant avec la performance de ces mesures pour la classification par lda. de même, seules trois mesures lexicosémantiques sont significatives pour le modèle lr, avec un coefficient de régression en moyenne peu élevé. nous utilisons les résultats obtenus par le modèle à 18 mesures pour examiner de manière plus détaillée quelles sont les mesures les plus discriminantes pour la classification d'articles d'information et d'opinion. les mesures morphosyntaxiques auxquelles le modèle lr accorde le plus de poids sont d'abord les pronoms et déterminants. la fréquence du pronom on, en premier, est le meilleur prédicteur des articles d'opinion (nb_on). il n'apparaît que très rarement dans les articles d'information, ce qui confirme les résultats de todirascu (2019). la même observation peut être faite pour les pronoms relatifs (pron_rel), significativement plus nombreux dans les articles d'opinion. l'ubiquité dans les articles d'opinion du pronom on, décrit par koren (2004) comme l'instrument principal de l'effacement énonciatif du journaliste, peut expliquer le fait que le nombre de pronoms et déterminants de la 1 e personne soit considéré par le modèle comme un prédicteur en faveur des articles d'information (pron_1), ce qui va cependant à l'encontre des résultats obtenus par krüger et al. (2017) pour les articles anglophones. ce résultat pourrait aussi être expliqué par la présence plus fréquente de ces marques de la 1 e personne à l'intérieur de citations (la proportion de texte entre guillemets étant plus élevée dans les articles d'information), bien que ces hypothèses doivent encore être confirmées. ensuite, la fréquence des mots de négation, confirmant cette fois les observations obtenues pour l'anglais par krüger et al., 2017, est plus élevée dans les articles d'opinion. en ce qui concerne les étiquettes morphosyntaxiques, nos résultats sont en accord avec les études réalisées sur le sujet (yu & hatzivassiloglou, 2003 ; regmi & bal, 2015) : les articles d'opinion comptent en moyenne plus d'adjectifs (nb_adj) et les articles d'information plus de verbes (nb_vb). parmi les lexiques d'émotions utilisés pour calculer les mesures lexicosémantiques, le lexique de valence basé sur lexique 3 est celui auquel le modèle donne le plus de poids, suivi par la traduction française du lexique nrc. ces résultats sont intéressants, puisque le lexique de valence de gobin et al. (2017) basé sur lexique 3 ne comporte que 1.286 entrées, tandis que celui de nrc regroupe 14 000 mots. on peut en conclure que la mesure basée sur les mots portant un sens évaluatif la plus performante pour cette tâche de classification est celle qui ne prend en compte que les mots évaluatifs les plus évidents, et donc un lexique plus restreint. puis, pour textblob, seul le score de polarité est considéré comme prédictif, quoique très légèrement, pour la classification. figure 1 : visualisation des thèmes des 13 400 articles par t-sne. figure 2. courbes d'apprentissage pour les modèles de classification lr à 30 et à 18 mesures. concernant les mesures stylométriques, on observe avant tout que la fréquence normalisée des nombres (nb_digits) est bien plus élevée dans les articles d'information, ce qui va à l'encontre des résultats de krüger et al. (2017) pour l'anglais, mais confirme cependant leur hypothèse préliminaire selon laquelle les articles qui mentionnent plus de dates, montants ou pourcentages sont aussi les plus factuels. ensuite, nos résultats appuient que les fréquences des points d'exclamation (nb_exclam), d'interrogation (nb_interrog) et des points de suspension, déjà observées par todirascu (2019), auxquelles nous ajoutons celles des points-virgules (nb_pointvirg) et des deuxpoints (nb_deuxpoints), sont des prédicteurs efficaces pour les articles d'opinion. cependant, la distribution des autres signes de ponctuation proposés par chaput (2019) comme des indices de subjectivité pertinents, à savoir le nombre de parenthèses et de tirets, ne sont pas considérés par notre modèle comme des mesures significatives pour la classification des articles d'opinion. enfin, le modèle attribue un faible coefficient au cttr, plus élevé dans les articles d'opinion. au contraire, la longueur moyenne des mots (length_words) apparaît comme un indicateur de complexité plutôt en faveur des articles d'information. 5 conclusion les résultats de cette expérience ont montré l'efficacité d'un ensemble d'indicateurs linguistiques pour la classification des articles d'information et d'opinion d'un média belge francophone, la rtbf. les types de mesures qui se sont révélés les plus prédictifs pour cette tâche sont les mesures morphosyntaxiques et stylométriques, les mesures lexicosémantiques étant considérées comme moins importantes par les deux modèles de classification utilisés pour l'expérience. nos résultats confirment en partie ceux obtenus dans le cadre de recherches antérieures sur le français ou sur l'anglais, bien que certaines constatations divergent de ce qui avait été observé jusque-là dans le domaine. dans le cadre d'une étude à venir, les 18 indicateurs identifiés dans cet article seront utilisés pour une analyse diachronique et à plus grande échelle du corpus rtbf, afin d'observer l'évolution de la présence de ces traits linguistiques de subjectivité dans les articles du média publiés entre 2008 et 2022. de plus, des discussions sont en cours avec d'autres groupes de presse pour enrichir le corpus et étendre les analyses à plusieurs médias francophones. de futures perspectives de recherche impliquent également l'évaluation d'autres mesures linguistiques de la subjectivité attestées dans la littérature et dont l'efficacité n'a pas été testée dans cette étude, comme les n-grammes ou l'expression de la modalité. enfin, il est prévu d'explorer l'importance de prendre en compte (ou non) le contenu de l'article à l'intérieur des citations pour évaluer la subjectivité du texte.