Supervised and semi-supervised statistical models for word-based sentiment analysis

Ever since its inception, sentiment analysis has relied heavily on methods that use words as their basic unit. Even today, such methods deliver top performance. This way of representing data for sentiment analysis is known as the clue model. It offers practical advantages over more sophisticated approaches: It is easy to implement and statistical models can be trained efficiently even on large datasets. However, the clue model also has notable shortcomings. First, clues are highly redundant across examples, and thus training based on annotated data is potentially inefficient. Second, clues are treated context-insensitively, i.e., the sentiment expressed by a clue is assumed to be the same regardless of context. In this thesis, we address these shortcomings. We propose two approaches to reduce redundancy: First, we use active learning, a method for automatic data selection guided by the statistical model to be trained. We show that active learning can speed up the training process for document classification significantly, reducing clue redundancy. Second, we present a graph-based approach that uses annotated clue types rather than annotated documents which contain clue instances. We show that using a random-walk model, we can train a highly accurate document classifier. We next investigate the context-dependency of clues. We first introduce sentiment relevance, a novel concept that aims at identifying content that contributes to the overall sentiment of the review. We show that even when we have no annotated sentiment relevance data available, a high-accuracy sentiment relevance classifier can be trained using transfer learning and distant supervision. Second, we perform linguistically motivated analysis and simplification of a compositional sentiment analysis. We find that the model captures linguistic structures poorly. Further, it can be simplified without any loss of accuracy. Eine der fruhesten Methoden zur automatischen Sentimentanalyse nutzt Merkmalsreprasentationen, die auf Wortvorkommen beruhen. Dieser Ansatz zur Datenreprasentation ist der unter dem Namen Clue-Modell bekannt, da die Terme in einer groseren Spracheinheit Schlusselworter (Clues) fur deren Sentiment sind. Das Clue-Modell ist noch immer einer der beliebtesten und erfolgreichsten Ansatze, da es einige praktische Vorteile gegenuber anderen Verfahren bietet: Es ist einfach zu implementieren und statistische Modelle sind mit einer solchen Reprasentation auch auf grosen Datensatzen effizient trainierbar. Allerdings hat das Modell auch Nachteile. Erstens treten Schlusselworter redundant auf und kommen in vielen Trainingsbeispielen vor, so dass uberwachtes Lernen ineffizient sein kann. Zweitens werden Schlusselworter kontextunabhangig behandelt, d.h. , das durch einen Begriff ausgedruckte Sentiment ist unabhangig vom Kontext immer gleich. In dieser Dissertation stellen wir Losungsansatze fur diese beiden Nachteile vor. Um Redundanz zu vermeiden, verwenden wir zunachst Active Learning, eine Methode des maschinellen Lernens, bei der das statistische Modell die Auswahl der Trainingsbeispiele vornimmt. Unsere Ergebnisse zeigen, dass wir durch Active Learning gleiche Klassifikationsgenauigkeit bei reduzierten Kosten erreichen, indem wir Redundanz zwischen Dokumenten vermeiden. Ein weiterer Ansatz zur Vermeidung von Redundanz beruht darauf, die Schlusselworter direkt zu annotieren. Annotierte Schlusselworter werden dann in einem graphbasierten Modell zur Dokumentenklassifikation verwendet. Wir zeigen, dass ein Random-Walk-Modell Dokumente mit hoher Genauigkeit klassifizieren kann. Um die Kontextabhangigkeit von Inhalten zu bestimmen, fuhren wir die Idee der Sentiment-Relevanz ein. Als sentiment-relevant bezeichnen wir Inhalt, der zum Gesamtsentiment eines Dokuments beitragt. Wir zeigen, dass wir selbst ohne annotierte Sentiment-Relevanz-Daten mit hoher Genauigkeit sentiment-relevanten Inhalt erkennen konnen. Dazu nutzen wir zwei Techniken des maschinellen Lernens: Transfer Learning und Distant Supervision. Zum Schluss untersuchen wir ein kompositionelles Modell zur Sentimentanalyse auf seine linguistischen Eigenschaften. Wir zeigen, dass das Modell nur schlecht linguistische Struktur erkennt. Zudem kann das Modell ohne Genauigkeitsverlust stark vereinfacht werden.