Une étude des avis en ligne : généralisabilité d’un modèle d’évaluation (A Study of Online Reviews : Generalizability of the Evaluation Model) (2021)

Abstract: Ce travail se situe dans la continuité de nos travaux antérieurs proposant le modèle d’évaluation portant sur des avis en ligne sur des restaurants. Le modèle est composé de quatre catégories : l’opinion (positive, négative, mixte), la suggestion, l’intention et la description. Cet article vise à tester la généralisabilité du modèle en l’appliquant sur deux corpus supplémentaires : un corpus relevant d’un autre domaine (celui de l’hôtellerie) et un corpus écrit dans une autre langue (le coréen). Nous avons présenté l’annotation manuelle et la détection automatique de ces catégories en nous appuyant sur différents modèles de l’apprentissage de surface (SVM) et l’apprentissage profond (LSTM).

## introduction dans un monde interconnecté confronté à l'augmentation exponentielle du volume de données, de nombreux internautes se réfèrent au bouche-à-oreille électronique (ewom) d'inconnus à travers diverses plateformes (blogs, forums ou sites dédiés à la critique) @xcite . ainsi, les évaluations diffusées en ligne ont un pouvoir conséquent car elles influencent la prise de décision des internautes. en traitement automatique des langues (tal), elles sont concernées par la tâche de la fouille d'opinions. cependant, à la différence de nombreux travaux dans ce domaine, nous dépasserons largement la notion d'opinion positive ou négative. dans cette optique, nous nous interrogerons sur la manière dont une évaluation émerge dans le langage en tant que jugement axiologique. l'évaluation renvoie au second degré de la subjectivité @xcite , à laquelle l'axiologie positive ou négative du locuteur est associée. elle fait intervenir un ensemble de normes et de valeurs qui s'inscrit dans le cadre des perceptions collectives, sensibles aux différences sociales et culturelles, et qui évolue au fil du temps. dans ce cadre, nous avons proposé un modèle d'évaluation fondé sur l'observation manuelle du corpus d'avis postés en ligne sur des restaurants @xcite , que nous appellerons « restofr foot_0 ». le modèle décrit différents types d'évaluation, cette dernière se composant de quatre catégories : l'opinion (positive/négative/mixte), la suggestion, l'intention et la description. l'opinion représente l'évaluation de la valeur du restaurant dans une dimension axiologique qui comporte les polarités positive, négative et mixte (e.g., les adjectifs évaluatifs, les lexiques des émotions ou des sentiments et les modifieurs). la suggestion vise d'une part à améliorer les produits (ou services) du restaurant et d'autre part à donner des conseils aux autres consommateurs (e.g., les verbes de parole, le mode impératif et le mode conditionnel). l'intention renvoie au souhait du client de renouveler ou non son expérience dans le restaurant, permettant aux restaurateurs de se renseigner sur les actions futures qu'un client a l'intention d'engager (e.g., les verbes au futur et le préfixe verbal d'itération « re-»). la description concerne les informations factuelles associées à l'expérience vécue, qui révèle aux lecteurs l'arrière-plan de cette dernière. nous avons présenté la détection automatique de ces catégories fondée sur différents modèles de l'apprentissage de surface (naïve bayes, svm, logistic regression) et l'apprentissage profond (cnn, lstm) @xcite . la meilleure f-mesure a été obtenue grâce au classifieur svm, donnant un score de 0,88 foot_1 . l'une des étapes essentielles de l'élaboration d'un modèle consiste à évaluer sa généralisabilité @xcite . la possibilité de généraliser est essentielle dans le contexte de la mondialisation, et particulièrement de l'ère numérique, dans lequel nous ne pouvons plus nous limiter aux données textuelles d'un seul domaine ou d'une seule langue. dans cet article, nous avons pour objectif de vérifier si le modèle élaboré pour le corpus restofr peut s'appliquer à un corpus relevant d'un autre domaine (celui de l'hôtellerie) et à un corpus écrit dans une autre langue (le coréen). si notre approche est valable, les six catégories d'évaluation devraient également être identifiées au sein des nouveaux corpus. l'annotation manuelle et la détection automatique réalisées sur les avis concernant des hôtels (hotelfr) sont décrites dans la seconde section. en ce qui concerne le corpus coréen (restokr), présenté dans la troisième section, nous nous en sommes tenues à son annotation manuelle car le prétraitement de cette langue est complexe et diffère largement de celui du français. ## conclusion notre conclusion principale est que la typologie que nous avons élaborée en nous appuyant sur le corpus restofr peut être appliquée à la fois à un autre domaine proche concernant l'expérience dans un lieu (l'hôtel) et à une autre langue (coréen). cependant, la distinction entre l'opinion et la description présente des difficultés, car l'interprétation de ces deux catégories peut varier selon le locuteur. en outre, la détection automatique de hotelfr montre que des données annotées pour un domaine particulier peuvent s'appliquer à d'autres domaines comparables disposant de peu de données, ce qui permet de réduire les coûts d'annotation nécessaires pour couvrir le manque de données. en perspective, il serait intéressant de réaliser une annotation (et des modèles de classification) multilabels afin de résoudre les cas où les deux catégories d'évaluation se superposent. par ailleurs, il serait avantageux d'augmenter la taille du corpus de référence de différents domaines et langues, et notamment de réaliser la détection automatique en langue coréenne en utilisant les modèles de langue pré-entraînés sur différentes langues comme xlm-roberta @xcite .