Spécialisation sémantique des méthodes
de représentations distributionnelles
Apport des Lexiques
Sémantiques pour les wordembeddings
Roxane Debruyker, GRAIL

Plan
1.
2.
3.

Représentation
Lexiques sémantiques
Modèles de spécialisation sémantique21. Méthodes de représentations3

a . Raison

images de Wikipedia
4

b . Objectif
Proximité sémantiquese reﬂète dans laproximité dansl’espace vectoriel

https://medium.com/opla/how-to-train-word-embeddings-using-small-datasets-9ced58b58fde

5

c . Méthodes distributionnelles
Zellig Harris (1954): If A and B have almost identical environments we say that theyare synonyms.
al environments we say that they are synonyms.Zellig Harris (1954): If A and B havealmost identical environments we say that they are synonyms.

Jurafsky, D., & Manning, C.. Natural language processing. Instructor,
6212(998), 3482

2 . Lexiques sémantiques

7Lexiques sémantiques--Annoté par des experts
Nombre de relations limitées(18 pour WN18 et 36 pourConceptNet 5.5)
Informations représentéessous forme de triplets (h, r, t)Pas utilisables seuls mais
peuvent apporter une
spécialisation sémantique

Organization Workshop Organizers - Scientiﬁc Figure on ResearchGate. Available from:https://www.researchgate.net/ﬁgure/Concepts-related-to-car-in-ConceptNet_ﬁg1_2772861
09 [accessed 8 Jan, 2020]

8

3. Modèles de spécialisation sémantique9a. Modèles joints-Change directement la fonction objectif : en plus de CBOW ou SGNS, onajoute les informations de KG.
Inﬂuence tout le vocabulaire
Ne permet de spécialiser qu’un modèle vu que se greﬀe à la fonctionobjectifYu, M., & Dredze, M. (2014, June). Improving lexical embeddings with semantic knowledge. In Proceedings of the 52nd Annual
Meeting of the Association for Computational Linguistics (Volume 2: Short Papers) (pp. 545-550).

10

b. Post-Processing : Retroﬁtting-Faruqui, M., Dodge, J., Jauhar, S. K., Dyer,C., Hovy, E., & Smith, N. A. (2014).
Retrofitting word vectors to semantic lexicons.
arXiv preprint arXiv:1411.4166.

MAJ les représentations de vecteurs pré-entraînés
Rapproche les vecteurs pour les concepts reliés
Combinaison linéaire entre la position originale du vecteur et la moyenne
des voisins
Valeurs de α et βSeulement deux matrices en mémoire ; converge rapidement
Mais très dépendant de l’ordre d’apparition

11c. ConceptNet Numberbatch-Speer, R., Chin, J., & Havasi, C. (2017,February). Conceptnet 5.5: An open multilingual
graph of general knowledge. In Thirty-First AAAI
Conference on Artificial Intelligence.

MAJ simultanée pour tout le monde grâce à multiplication matricielle
Les mots dans le lexiques qui ne sont pas pré-entraînés s’accumulent
autour de 012

Et les relations?
Les modèles précédents permettent d’utiliser des nouvelles connexions entre
les concepts mais la nature des relations n’est pas utilisée-Synonymes et antonymes
Hyperonymie/hyponymie et relations asymétriques : Lexical Entailment
Les 36 de ConceptNet

Objectif : avoir un unique modèle qui prend tout ça en compte

13Synonyme/Antonyme
Counter-ﬁtting-

Se rapproche des synonymes
S’éloigne des antonymes
Préserve l’espace vectoriel

Mrkšić, N., Séaghdha, D. O., Thomson, B., Gašić, M.,
Rojas-Barahona, L., Su, P. H., ... & Young, S. (2016).
Counter-fitting word vectors to linguistic constraints. arXiv preprint
arXiv:1603.00892.

Explicit retroﬁtting:-Prend toutes les paires de mots (w_i,w_j, r)Prends les k plus proches voisins de iet jRapproche les syn, éloigne les ant,
laisse les autres à la même place
Réseau de neurone profond

Glavaš, G., & Vulić, I. (2018). Explicit retroﬁtting ofdistributional word vectors.

14

Lexical Entailment Attract-Repel

Vulić, I., & Mrkšić, N. (2017). Specialising
word vectors for lexical entailment. arXiv
preprint arXiv:1710.06371.

Joue sur la norme des vecteurs
La magnitude de la diﬀérence entre deux
normes détermine l’intensité de la relationde hiérarchie
Les concepts reliés par relation
hyper/hyponyme ont la même direction

15

Mais si on veut représenter toutes les relations ?

16

Link prediction & Graph prediction
Contient beaucoup d’informations sur le monde en général, donc bien sûrincomplet ⇒ on a besoin d’outils pour prédire de nouveaux liens sachant lesanciens
Transforme les entités et relations en embeddings
Link prediction : calcule la probabilité d’être un triplet valide ou non.
Graph prediction : Il ne faut pas juste prédire si les deux mots sont aussi reliésmais aussi savoir par quelle type de relations ils sont reliés17Calculer les graphs embeddings
Entités et relations dans des espaces vectoriels diﬀérents

SimplE

18

Idée
Entraîner des 36 relations embeddings deConceptNet avec SimplE (Mr). Fine-tuner
mes embeddings ensuite, mais toujours surConceptNet… Redondant… mais apprendre
tout d’une shot est biaisé aussi.
Mais pas sur tout, pas très neural, dur àdériver, …. Mais surtout ….

19

20

Functional retroﬁtting

Lengerich, B. J., Maas, A. L., & Potts, C. (2017).
Retrofitting distributional embeddings to knowledge
graphs with functional relations. arXiv preprint
arXiv:1708.00112.

La fonction de score entre les concepts est testée en étant :-Linéaire
Non-linéaire

Cette solution permet de ﬁne-tuner des embeddings pour un domaine
spéciﬁque grâce à des KG spécialisés (ici médecine)
Facile à dériver si la fonction de distance est additionnelle (TransE) mais pas
multiplicative (DisMult) et encore moins si elle implique des inverses
21

Et encore un autre apparaît… RA-Retroﬁt
Trop d’information en une step
Pas adapté pour réseau de neurones-Ne présente pas les vraies et les fausses paires ensemble
Trouver comment gérer l’apprentissage des relation embeddings--

Désolidariser l'entraînement?

Tester plusieurs

Fang, L., Luo, Y., Feng, K., Zhao, K., & Hu, A. (2019, May). Knowledge-Enhanced Ensemble Learning for Word Embeddings. InThe World Wide Web Conference (pp. 427-437).

22

Conclusion-Possibilité d’améliorations des systèmes actuels--Pas de code propre et réutilisable--

Fusionner les idées, les domaines
Les rendre robustes et scalables
Réimplémenter les algos existants
Les transformer en problèmes plus neural network
Travailler sur la représentation de relation

Utilisations pour le transfert de représentation pour des langues sousreprésentées
Adaptation avec les word embeddings contextuels23

4. Éléments connexes

A.
B.
C.

Negative Sampling
Poids des relations
Pré-traitement24

a. Poids des relations
ConceptNet:-Si on retrouve plusieurs fois un triple, posté par plusieurs personne diﬀérente
ou dans plusieurs graphes de connaissances, on lui met un poids élevé.

RA-Retroﬁt :-plus deux mots ont des voisins en communs, plus le poids de leur relation.
Exemple (Internet, RelatedTo, Computer) et (Multipart, RelatedTo, Computer)s(v1, r, v2) > s(v1, r, v4)

25

b. Negative sampling-

Si (i,r,j), générer (i,r, j’)RA-Retroﬁt :-Pour le negative sampling, prendre deux mots qui ne sont pas reliés avec
une forte probabilité

Explicit-Retroﬁtting :-Rapproche les synonymes, éloigne les antonymes, s’assure que les“negative examples” gardent la même distanceLes examples négatifs se font en regardant les PPV de i.

Quelle proportion de negative sampling?

26

c. Pré-traitement des données-Faire correspondre le vocabulaire d’un modèle pré-entrainé et d’un KG
Et de plusieurs modèles pré-trainés + plusieurs KG
Ambiguïté des termes
Lemmatiser?
Le sring matching est un peu archaïque, peut entraîner des erreurs
Peut être que si les méthodes marchent bien, on peut voir comment
augmenter les données

27

Contenu supplémentaire28Transfert de connaissance entre langues
Un avantage d’utiliser des lexiques sémantiques, c’est qu’on peut aussi faciliter
le transfert d’information d’une langue à une autre.
Langue source : X, langue visée : Y
1.
2.
3.

Aligner les vocabulaires de X et Y
Spécialisation sémantique de X grâce à fonction fAppliquer la spécialisation pour Y29

Évaluation des word embeddings - ANNEXE???
-Souvent similarité et relatedness ensemble (WS, MEN, …)
Mais certains corpus isolent une relation (SimLex, TOEFL synonymquestion, GRE antonym)
Analogy (Google Analogy)
Lexical Entailment : Hyperlex

30