Muzeeglot : annotation multilingue et multi-sources d’entités musicales à partir de représentations de genres musicaux (Muzeeglot : cross-lingual multi-source music item annotation from music genre embeddings) (2020)

Abstract: Au sein de cette démonstration, nous présentons Muzeeglot, une interface web permettant de visualiser des espaces de représentations de genres musicaux provenant de sources variées et de langues différentes. Nous montrons l’efficacité de notre système à prédire automatiquement les genres correspondant à une entité musicale (titre, artiste, album...) selon une certaine source ou langue, étant données des annotations provenant de sources ou de langues différentes.

## introduction pour les plateformes de streaming musical, l'exploitation des données liées aux genres musicaux est essentielle @xcite . ces genres peuvent en effet refléter et résumer les préférences musicales des utilisateurs, permettre d'améliorer l'organisation d'un catalogue musical ou encore être utilisés par des systèmes de recommandation pour proposer du contenu musical personnalisé. toutefois, relier des genres musicaux à un titre ou à un artiste est une tâche difficile, en raison de la nature subjective de ces concepts. des études ont montré qu'il existe une grande disparité dans la façon dont les gens associent les genres à la musique, selon leurs préférences, leurs connaissances musicologiques et leur culture @xcite . les plateformes de streaming musical collectent des annotations d'entités musicales (titres, artistes, albums...) par genre auprès de nombreux fournisseurs de musique, provenant du monde entier. homogénéiser ces différentes annotations est crucial pour l'analyse de données et la recommandation, mais est particulièrement difficile @xcite . outre les disparités culturelles et musicologiques mentionnées précédemment, des différences d'annotations entre les sources peuvent également apparaître suite à l'utilisation de niveaux de détails inégaux (selon la spécialisation de la source), à un manque d'exhaustivité (bien qu'il existe des milliers de genres, certaines sources n'en utilisent qu'un petit sous-ensemble pour l'annotation) ou encore suite à des incohérences orthographiques entre les différentes sources (certains genres sont annotés sous des formes différents : d&b vs. drum and bass). au sein de cette démonstration, nous présentons muzeeglot, un système qui, étant données les annotations d'entités musicales par genres selon de multiples sources (ces sources étant désignées comme des taxonomies par la suite) pouvant être de langues différentes, prédit automatiquement les annotations équivalentes au sein d'une taxonomie cible. la solution proposée est non-supervisée, et est fondée sur l'apprentissage d'espaces de représentations sémantiques et multilingues des genres musicaux. muzeeglot est accessible publiquement sur la page github de deezer foot_0 . ## solution et démonstration afin d'aboutir à de tels espaces de représentations, nous calculons tout d'abord les « word embeddings » des genres musicaux apparaissant dans les taxonomies sources et dans la taxonomie cible. il s'agit de représentations vectorielles de mots dans un espace de faible dimension, apprises à partir de leurs cooccurrences au sein de grands corpus textuels @xcite . dans cette démonstration, nous utilisons la version multilingue de fasttext @xcite pour la construction de ces représentations. nous les consolidons afin qu'elles correspondent davantage à notre domaine d'application : la musique. en effet, selon fasttext, house est plus proche de building que de music, et jazz est plus proche de folk que de bepop. pour pallier ces ambiguïtés, liées à l'utilisation de corpus d'entraînement très généraux, nous créons un graphe de connaissances des genres musicaux à partir de dbpedia @xcite . ce graphe relie les genres, de différentes langues, selon plusieurs types de relations (sous-genre, genre dérivé, fusion. . . ). via l'algorithme de retrofitting @xcite , nous ajustons les représentations des genres musicaux en y incorporant l'information sémantique du graphe. les vecteurs des genres musicaux connectés dans le graphe auront ainsi tendance à être plus proches dans l'espace final. muzeeglot est une interface web, présentant une visualisation en 3d de cet espace de représentations des genres musicaux. les figures 1 et 2 proposent un aperçu du rendu final. le frontend de muzeeglot est basé sur le framework vuejs, des composants ux vuetify, et plotly pour le rendu 3d avec webgl. le backend est développé en python3 via fastapi, et les données sont stockées dans un datastore redis. sur cette interface web, l'utilisateur a la possibilité de sélectionner : -une entité musicale, tel que le groupe pink floyd au sein des figures 1 et 2 ; -plusieurs taxonomies sources, pour lesquelles les genres correspondants s'afficheront ; -une taxonomie cible, pour lesquels muzeeglot devra prédire les annotations équivalentes de genres pour l'entité musicale sélectionnée. un top 10 des prédictions des genres musicaux de cette entité au sein de la taxonomie cible sera alors proposé (voir figure 2 ). ces prédictions seront calculées à partir de la similarité cosinus moyenne entre les représentations des genres de la taxonomie cible et les représentations des genres de l'entité musicale sélectionnée au sein des taxonomies sources. les dix genres de la taxonomie cible ayant la plus forte similarité cosinus seront ceux prédits par le système. une comparaison des prédictions avec les annotations réelles de la taxonomie cible sera également présentée. lors de la démonstration de muzeeglot, nous nous attarderons plus particulièrement sur le sousproblème de l'annotation multilingue d'entités musicales. nous présenterons un jeu de données de plus de 63 000 entités musicales (titres, artistes, albums. . . ), collectées depuis dbpedia et annotées de genres musicaux de six langues différentes : anglais, espagnol, français, japonais, néerlandais et tchèque. nous mettrons en avant l'efficacité de notre système à inférer les genres d'une langue à partir d'autres. notons qu'il ne s'agit pas simplement d'un problème de traduction littérale des genres. en effet, les annotations intègrent les interprétations de rédacteurs de cultures et de pays différents ; par ailleurs, certains genres ne sont tout simplement pas traduits (heavy metal ne devient pas métal lourd en français). la figure 2 présente par exemple les prédictions de genres musicaux en français pour le groupe pink floyd, à partir de ses annotations en anglais et en japonais au sein de dbpedia. figure 2 -prédiction des genres musicaux de pink floyd en français. les prédictions représentées en vert coincident avec les annotations de genres de pink floyd en français au sein de dbpedia.