De l’usage réel des emojis à une prédiction de leurs catégories (From Emoji Usage to Emoji-Category Prediction) (2018)

Abstract: L’utilisation des emojis dans les messageries sociales n’a eu de cesse d’augmenter ces dernières années. Plusieurs travaux récents ont porté sur la prédiction d’emojis afin d’épargner à l’utillisateur le parcours de librairies d’emojis de plus en plus conséquentes. Nous proposons une méthode permettant de récupérer automatiquement les catégories d’emojis à partir de leur contexte d’utilisation afin d’améliorer la prédiction finale. Pour ce faire nous utilisons des plongements lexicaux en considérant les emojis comme des mots présents dans des tweets. Nous appliquons ensuite un regroupement automatique restreint aux emojis visages afin de vérifier l’adéquation des résultats avec la théorie d’Ekman. L’approche est reproductible et applicable sur tous types d’emojis, ou lorsqu’il est nécessaire de prédire de nombreuses classes.

## introduction emoticônes ( :-) , :p ) et emojis ( ) sont deux manières de représenter des expressions du visage et peuvent être considérés comme substituts aux didascalies du domaine théâtral. contrairement aux caractères que sont les émoticônes, les emojis sont des images qui peuvent représenter davantage que des expressions faciales, tels que des objets, concepts ou idées, et ont tendance à remplacer de plus en plus les émoticônes dans les messageries sociales @xcite . les 176 premiers emojis sont parus en 1999 par l'opérateur japonais ntt docomo 1 avant d'être popularisés par leur intégration native dans le premier iphone d'apple, puis par google et samsung. il y a désormais 2784 emojis standards foot_0 . les emojis sont un sujet d'étude récent de plus en plus abordé depuis les trois dernières années. dans les applications mobiles, les utilisateurs sont souvent confrontés à une librairie toujours plus grande d'emojis lorsqu'ils désirent n'en sélectionner qu'un seul. une recommandation d'emojis apparaît donc nécessaire à l'amélioration de l'expérience utilisateur (ux), cependant plusieurs emojis peuvent fournir, à quelques nuances près, la même information ou la même émotion, comme c'est le cas pour et . de plus, il n'est pas certain de savoir si les emojis peuvent être considérés en traitement automatique du langage (tal) comme de simples mots à part entière, ou comme des métadonnées greffées sur le contenu textuel. la majorité des systèmes de recommandation existants les considèrent comme des métadonnées, tandis que dans cet article nous considérons les emojis comme de simples mots, sans présupposés sémantiques. peu de systèmes de recommandation d'emojis ont été proposés jusqu'à présent, et la majorité ne cherchent à prédire qu'un seul emoji par message en mettant en place une prédiction multi-classe d'emojis. avec 65% d'exactitude (xie et al., 2016) et 65% à 74% en moyenne harmonique @xcite , les systèmes actuels restent perfectibles. d'autant plus qu'ils ne considèrent qu'un nombre limité d'emojis. c'est pourquoi dans cet article nous proposons une autre approche visant à extraire automatiquement des catégories d'emojis à partir de leur contexte d'utilisation réel, afin de substituer la prédiction d'emojis par une prédiction de catégories d'emojis. la création de catégories d'emojis a pour but d'étendre le choix proposé à l'utilisateur lors d'une prédiction de catégories, l'utilisateur est ensuite libre de sélectionner précisement l'emoji qui lui sied. pour mettre en place cette méthodologie d'obtention de catégories d'emojis et vérifier son efficacité, nous nous focalisons dans un premier temps uniquement sur des emojis faciaux, afin de vérifier les catégories obtenues par une théorie existante de l'expression des émotions sur le visage, mais également parce qu'ils représentent un intérêt plus grand que de catégoriser des emojis objets ( ). dans un premier temps, nous résumons l'état des avancées connexes au sujet (section 2) avant de présenter les plongements lexicaux d'emojis mis en place (section 3), ainsi que le regroupement automatique d'emojis basé sur ces derniers. nous comparons ensuite théorie existante et résultats obtenus (section 4) avant de conclure. les emojis ont récemment fait l'objet d'études dans différents domaines allant de la socio-linguistique à la classification par apprentissage automatique. en socio-linguistique, l'accent a été mis sur les divers usages d'emojis et la compréhension du message qui s'en voit alors facilitée dans 70% des cas @xcite . il a aussi été démontré que les emojis jouent plusieurs rôles dans une conversation @xcite , rôles qui ne sont d'ailleurs pas nécessairement liés à l'expression des émotions : l'emoji peut alors assurer une fonction phatique, référentielle ou encore expressive, si l'on suit les six fonctions du schéma de jakobson @xcite . mettre en place une prédiction d'emojis efficace peut donc s'avérer déterminant dans l'expérience utilisateur. la mise en place de cette prédiction d'emojis a suscité, quant à elle, des travaux de recherches aux objectifs variés et aux résultats perfectibles. xie (xie et al., 2016) ont obtenu 65% d'exactitude à l'aide de lstm hiérarchiques (li et al., 2015) pour la prédiction des trois emojis les plus usités dans des conversations weibo 3 . tandis que barbieri @xcite ont obtenu 65% de moyenne harmonique en prédisant les 5 emojis les plus utilisés dans 40 millions de tweets à l'aide de lstm @xcite . enfin, nous avons précédemment abordé l'approche par classification multi-étiquette sur des corpus de messages instantanés privés @xcite , obtenant 74% de moyenne harmonique sur 164 emojis possibles. il existe encore peu de ressources pour les emojis, la plupart étant en fait des modèles de plongements lexicaux appris. ces derniers ont été étudiés récemment avec plusieurs approches quant à l'objet du plongement lexical, soit en considérant uniquement les descriptions unicode des emojis comme groupe de métadonnées @xcite , soit en associant des significations et sens possibles aux descriptions @xcite , ou alors en considérant directement les emojis en contexte dans des tweets. nous abordons cette dernière approche qui a déjà fait l'objet d'un regroupement automatique avec un nombre arbitraire de groupes possibles @xcite , ainsi que d'un regroupement hiérarchique @xcite , tous deux incluant tous types d'emojis. dans cet article, nous visons à obtenir automatiquement des groupes d'emojis à partir de leur usage réel sans pré-supposer un nombre de groupes possibles. ce travail se rapproche donc de celui de pohl @xcite à la différence que nous proposons une méthodologie pour obtenir des groupes au sein d'un type spécifique d'emojis afin de les recommander à l'utilisateur par la suite. ## représentation vectorielle des emojis et plongements lexicaux si l'on en croit les métriques d'usage des emojis sur twitter 4 , les emojis les plus utilisés sont ceux représentant des émotions ou des sentiments, tels que . nous cherchons donc à vérifier si l'usage des emojis faciaux suit implicitement une catégorisation des expressions du visage existante. pour ce faire, nous observons l'usage de 63 emojis faciaux se rapprochant du visage humain, excluant ainsi les chats , démons , aliens ou autres . ces 63 emojis ont été récupérés à partir de trois classes d'emojis présentes dans la classification unicode : face neutral, face positive et face negative. nous excluons les emojis très récents tel que puisqu'ils sont absents de notre corpus. pour obtenir une répartition plus fine de ces emojis, nous mettons en place des plongements lexicaux d'emojis (dits emoji embeddings) sur un corpus de tweets. corpus de tweets. notre corpus se compose de 695 031 tweets provenant du continent nord américain sur tous sujets, collectés à l'aide l'api de flux twitter 5 . pour nous assurer d'un corpus mono-lingue, tous ces tweets ont été préalablement filtrés par un détecteur de langue basé sur la liste des mots vides de nltk 6 et leur ratio d'apparition dans le texte analysé. dans notre corpus nous considérons les emojis comme des mots comme les autres, bien qu'ils ne soient pas concernés par la lemmatisation effectuée avec wordnet @xcite . les principales métriques du corpus sont disponibles au tableau 1. la répartition compacte des 63 emojis dans l'espace vectoriel est visible en figure 1 après réduction de l'espace à 2 dimensions en utilisant l'algorithme tsne 8 @xcite . la visualisation complète et intéractive sera disponible par lien et permet de voir s'y détacher plusieurs sous-groupes. toutefois, les paramètres de tsne ayant un fort impact sur la visualisation résultante, elle ne saurait à elle seule constituer une base fiable de répartition d'emojis. dans la figure 1 les paramètres utilisés sont un taux d'apprentissage à 100, une perplexité à 30 et une early exageration de 2. les autres paramètres étant ceux par défaut dans l'implémentation de scikit-learn 9 . plusieurs approches sont possibles pour obtenir une répartition automatique d'emojis. il est possible d'utiliser un seuil, arbitraire, sur la distance cosinus entre chaque élément de l'espace vectoriel, ou bien d'utiliser un algorithme de regroupement (clustering), ce que nous avons choisi de faire. 4 de l'utilisation réelle aux catégories d'emojis nous avons utilisé les vecteurs obtenus par plongements lexicaux comme données pour effectuer un regroupement automatique. toutefois, notre objectif étant d'obtenir automatiquement des catégories d'emojis sans influencer le résultat par des pré-supposés, nous définissons le nombre de groupes 8. https://lvdmaaten.github.io/tsne/ 9. http://scikit-learn.org/stable/modules/generated/sklearn.manifold.tsne.html (clusters) attendus comme étant égal au nombre d'éléments, soit au nombre d'emojis. à l'inverse des catégorisations automatiques d'emojis existantes telles que celle de pohl (pohl et al., 2017) ou celle de felbo (felbo et al., 2017), nous appliquons notre catégorisation uniquement sur les vecteurs d'emojis. ces vecteurs étant obtenus en contexte général de mots et d'emojis, nous considérons l'information contextuelle comme déjà intégrée aux vecteurs qui font alors office de définition pour chaque emoji. l'ensemble des plongements lexicaux mélangeant termes et emojis est alors restreint avant catégorisation afin de ne l'appliquer que sur ce qui nous importe ici : les emojis et leurs relations. deux algorithmes courants ont été utilisés pour la catégorisation : les k moyens (k-means) (macqueen et al., 1967) et le regroupement spectral (spectral clustering) (ng et al., 2002). le premier a été utilisé pour obtenir les centroïdes à partir des vecteurs d'emojis, considérant autant de centroïdes qu'il n'y a d'emojis afin de laisser la possibilité à chaque emoji de se retrouver isolé. ajoutés à ces 63 groupes possibles 500 itérations avec 1000 initialisations, le résultat nous a donné 63 groupes dont plusieurs vides. en ignorant les groupes vides, nous obtenons 18 groupes contenant au moins un emoji. le second, le regroupement spectral, a également été configuré avec 63 groupes possibles, un noyau gaussien au coefficient γ0.7, un étiquetage discret et sans décomposition de matrice. au final, k moyens et regroupement spectral ont tous deux donné 18 groupes non-vides mais, malgré des résultats proches, nous avons opté pour le second puisqu'il ne divisait pas ou peu des groupes intuitifs tels que les emojis de bisous . il convient de préciser qu'en utilisant des plongements lexicaux d'emojis en architecture skip-gram, nous avons obtenu 11 groupes à la granularité moins fine. certains groupes obtenus de cette manière mélangent plusieurs emojis représentant des émotions différentes au sein d'un même groupe, telles que l'amour associée à la colère. tandis que ceux obtenus avec une architecture cbow sont plus cohérents, en plus de posséder une granularité plus fine. ces derniers sont visibles au tableau 2. aucun aucun joie tristesse joie honte excitation aucun (pas clair) colère amusement aucun plaisir sensoriel peur / surprise joie / amusement satisfaction / fierté aucun mépris excitation ## conclusion et perspectives dans cet article nous avons mis en avant un travail en amont d'une recommandation d'emojis. plutôt que de nous focaliser directement sur la recommandation d'emojis, nous avons voulu obtenir automatiquement des groupes d'emojis à partir de leur contexte d'utilisation réel, afin d'éviter de devoir les définir manuellement et de permettre d'obtenir des catégories adaptées à leur usage. pour ce faire nous avons d'abord extrait les informations latentes relatives au contexte textuel de l'utilisation des emojis à l'aide de plongements lexicaux sur des tweets en considérant chaque emoji comme de simples mots. puis, nous avons appliqué un regroupement automatique sur les vecteurs des emojis. pour valider notre approche nous avons limité la portée de l'expérience aux emojis représentant des expressions du visage afin de pouvoir comparer les catégories obtenues à une théorie existante. nous avons ainsi remarqué que, contrairement aux modèles vectoriels d'emojis existants, l'architecture de sac de mots continus est plus apte à fournir des catégorisations fines des emojis, plus adéquate pour une recommandation ultérieure. les travaux présentés dans cet article représentent ainsi une méthodologie utile pour la recommandation d'emojis en préconisant de ne plus chercher à prédire les 2784 emojis existants comme c'est le cas actuellement dans l'état de l'art, mais prédire des catégories d'emojis obtenues automatiquement à l'aide de cette approche.