title: Unveiling knowledge graphs in neural language models through vector space transformations
Creators: name: Munda, Giacomo
Publisher: name: :none
Year: 2024

description: Der Bereich des Machinellen Lernens wurde durch die Einführung vom Deep Learning und vortrainierten Sprachmodellen (engl. Pre-trained Language Models, PLMs) revolutioniert, die bei vielen Aufgaben hervorragende Ergebnisse liefern. Ihr Erfolg hat zur Entwicklung verschiedener Methoden geführt, die darauf abzielen, die von solchen Modellen gelernten Informationen zu verstehen und zu interpretieren, einschließlich linguistischem und faktischem Wissen. Ansätze zur Aufdeckung kodierter faktischer Assoziationen beziehen sich auf Prompt-basierte Methoden, Techniken zur Lokalisierung oder Bearbeitung spezifischer Modellgewichte und zur Verfolgung des Informationsflusses während der Inferenz. In dieser Masterarbeit wird eine Methode implementiert, die faktisches Wissen direkt aus Vektorräumen von PLMs extrahiert. Dazu wird eine lineare Transformation mit annotierten Daten trainiert, um geometrische Eigenschaften von Knowledge Graphs numerisch zu approximieren. Konkret wird ein annotierter Datensatz mit Entitäten von Wikidata, sowohl Subjekten als auch Objekten, konstruiert. Diese Entitäten sind jeweils mit einem Ähnlichkeitswert gepaart, der ihre relationale Nähe darstellt. Der orginale Vektorraum wird dann so transformiert, dass Kosinus-Ähnlichkeiten zwischen Vektoren im Knowledge Graph nur durch Embeddings von PLMs effektiv approximiert werden können. Das weist auf einen latenten Raum, in dem Eigenschaften von Knowledge Graphs implizit aus umfangreichen Trainingsdaten erworben werden. Die Ergebnisse zeigen die überraschende Fähigkeit von BERT, GPT-2 und BART-Vektorräume, die Ähnlichkeitswerte angesichts der Bewertungsmetriken zu approximieren, wobei BERT die vielversprechendsten Ergebnisse erzielt.
description: Machine learning has been revolutionized by the introduction of deep learning and Pre-trained Language Models (PLMs), which exhibit state-of-the-art results for a variety of downstream tasks. Their success has led to the development of different methods that aim at understanding and interpreting the information learned by such models, including linguistic and factual knowledge. Approaches to unveil encoded factual associations relate to prompt-based methods, techniques to localize or edit specific model weights, and to trace the information flow during inference. Addressing a gap in existing research, this thesis proposes a methodology to directly extract factual knowledge from vector spaces of PLMs. This involves training a linear transformation with supervised data to numerically approximate geometric properties of knowledge graphs. Specifically, a labeled dataset is constructed featuring knowledge graph entities of Wikidata, both subjects and objects, each paired with a similarity score, indicating their relational proximity. The vector space is then transformed in a way that cosine similarities of knowledge graph embeddings can be effectively approximated using only contextual embeddings of PLMs, indicating a latent space in which knowledge graph properties are implicitly acquired from training data. Results show the surprising ability of BERT, GPT-2 and BART embeddings to approximate the similarity scores given the evaluation metrics, i.e., the Pearson correlation coefficient, the Spearman’s Rank correlation coefficient, the mean-squared error and the root mean-squared error, with BERT achieving the most promising results in terms of correlation between predicted and actual scores as well as low error rates.