Three-Way Analysis for a Better Understanding of Word Embedding Models
Creators: name: Elekes, Ábel
Publisher: name: Karlsruher Institut für Technologie (KIT)
Year: 2021

description: Word Embedding Models sind für eine Vielzahl von Problemen in der Informatik von großem Wert, insbesondere für die natürliche Sprachverarbeitung. Sie ermöglichen, indem sie sich auf die semantischen Kontexte von Wörtern konzentrieren, Beziehungen zwischen Textsegmenten genauer und mit weniger Verzerrung zu verstehen. Die Motivation dieser Arbeit ist die Tatsache, dass einige Aspekte von Word Embedding Models, zum Beispiel wie diese 'Beziehungen' interpretiert werden sollten und wie weit verschiedene embedding models vergleichbar sind, noch nicht klar genug erfasst worden sind. Wir gruppieren diese Aspekte in drei Kategorien: in algorithmische Fragen, theoretische Fragen und Anwendungsfragen. Auf diesen drei Kategorien basierend präsentieren wir in dieser Arbeit eine Drei-Wege-Bewertung von Word Embedding Models. Der erste Bewertungssatz untersucht den Trainingsalgorithmus von Word Embedding Models. In der bisherigen Literatur wurden Word Embedding Models verwendet, ohne die Tatsache zu berücksichtigen, dass ihre Ähnlichkeitswertverteilungen erheblich unterschiedlich sein können. Unser erster Beitrag besteht darin, zu zeigen, dass Modelle, die mit unterschiedlichen Parametereinstellungen trainiert wurden, sich in der Größe ihrer Ähnlichkeitswerte erheblich unterscheiden können, obwohl gleichzeitig die Form ihrer Verteilung tatsächlich grundlegend ähnlich ist. Ein großer Vorteil der Embedding Models besteht darin, dass sie auf beliebigen Textkorpora trainiert werden können. Während die Qualität von Word Embedding Models, die auf Volltextkorpora trainiert wurden, ziemlich bekannt ist, fehlt eine Bewertung von Modellen, die auf fragmentierten Korpora basieren. Um diese Lücke zu schließen, beschreiben wir im zweiten Teil des Abschnitts zur algorithmischen Bewertung Experimente, deren Ziel es ist zu untersuchen, wie sich die Modellqualität dann ändert, wenn der Trainingskorpus nicht Volltext, sondern n-Gramm ist. Die Experimente quantifizieren, um wie viel Fragmentierung (d. h. Werte von $n$) die durchschnittliche Qualität der entsprechenden Word Embedding Models auf der Basis gemeinsamer Wortähnlichkeit und analoger Argumentationstestsätze verringert. Der zweite Bewertungssatz betrifft die Ähnlichkeitswerte von Word Embedding Models aus theoretischer Sicht. Wir untersuchen Fragen wie: Was bedeuten Ähnlichkeitswerte dieser Modelle tatsächlich? Wenn beispielsweise Wort A Wort B mehr als 0,5 ähnlich ist, sind A und B dann immer semantisch ähnlich? Wir beantworten diese und andere ebenso wichtige Fragen zu Ähnlichkeitswerten. Wir identifizieren sinnvolle Ähnlichkeitsschwellen, d. h. Ähnlichkeitswerte und Ähnlichkeitslistenindizes, die relevante Wortpaare von irrelevanten trennen. Basierend auf diesen Schwellenwerten schlagen wir eine Bewertungsmethode für Word Embedding Models vor, bei der die Wortpaare, die unter den berechneten Schwellenwert fallen, nicht verglichen werden. Dies gewährleistet in Zukunft einen zuverlässigeren Vergleich von Word Embedding Models. Unsere abschließende Bewertung befasst sich mit der Anwendbarkeit von Word Embedding Models in nachgeschalteten Anwendungen. Aufgrund ihres Verständnisses von Wörtern ist die Textklassifizierung, d. h. das Zuweisen vordefinierter Kategorien zu Textdokumenten, einer der intuitivsten Anwendungsfälle für Word Embedding Models. Je mehr beschriftete Stichproben einem Textklassifizierer präsentiert werden, desto besser können normalerweise Kategorien unbekannter Stichproben vorhergesagt werden. In den meisten Fällen ist der Großteil der Daten jedoch unbeschriftet, und die Kennzeichnung ein kostspieliger und zeitaufwändiger Prozess. In dieser Arbeit untersuchen wir die Möglichkeit, die Qualität der Textklassifizierung trotz des Mangels an gekennzeichneten Daten zu verbessern. Wir präsentieren einen lexikalischen Substitutionsansatz für die Vorverarbeitung, der die Knappheit markierter Daten kompensiert. Es ist eine orthogonale Erweiterung für praktisch jeden vorhandenen Textklassifizierungsansatz, um die Klassifizierungsgenauigkeit zu verbessern. Unser Ansatz ersetzt Wörter, die dem Klassifizierer unbekannt sind, durch bekannte Wörter für statistische Robustheit, basierend auf dem Hauptbeitrag dieses Teils: einem neuartigen semantisch verteilten Wortabstandsmaß, das sowohl semantische Informationen aus Word Embedding Models als auch Verteilungsinformationen aus den Trainingsdaten enthält. Dies ist das erste Mal, dass die Kombination dieser beiden Informationen für die Textklassifizierung verwendet wird.