title: Sequential machine learning for textual and time-series data
Creators: name: Katsarou, Aikaterini
Publisher: name: Technische Universität Berlin
Year: 2025
Subjects: subject: 000 Informatik, Informationswissenschaft, allgemeine Werke::000 Informatik, Wissen, Systeme::005 Computerprogrammierung, Programme, Daten
subject: NLP
subject: machine learning
subject: LSTM
subject: neural networks
subject: time-series

description: In today’s data-driven world, a significant challenge is the extraction of meaningful insights from large volumes of unstructured data. Central to this challenge is handling data with an inherent sequential nature, encompassing types such as textual data, time series, and event sequences. The power of sequential machine learning techniques has been exhibited through their ability to capture dependencies and patterns, especially within temporal and textual realms. However, the shortage of labeled data, class imbalances, and the intricacies of high-dimensional data present open challenges. This thesis delves deep into these challenges, primarily focusing on Natural Language Processing, using Sentiment Classification as a case study. While sentiments towards various topics and products flourish, this data’s unstructured and unlabeled nature means much of its value goes untapped. Manual labeling of this massive dataset is untenable due to its scale and complexity. Addressing this, our work conceptualizes and deploys Cross-Domain and Multi-Domain Sentiment Classification models. Transfer Learning, specifically unsupervised and supervised language model pre-training, and Active Learning show promising results in tackling the data labeling problem. The thesis proposes models like CRD-SentEnse, MUTUAL, and REFORMIST that achieve robust results with minimal labeled data. This work incorporates hate speech detection to provide more comprehensive seniment analysis, treating it as a specialized subset of negative sentiment. Such integration ensures that platforms can promptly identify and act upon harmful content. Therefore, a framework for hate speech detection is proposed to investigate the efficiency of pre-trained models and deal with the challenges of extremely negative and polarized sentiments and imbalanced classes. Transitioning from textual to time series data, we confront challenges, such as high dimensionality and temporal patterns like seasonality and trends. Given its fewer inherent assumptions, sequential machine learning is often considered more adaptable than traditional machine learning and statistical models. Contrasting sequential machine learning with traditional methods, we present a comprehensive comparative study, highlighting the strengths and limitations of each. Applications like thermal comfort prediction and network traffic forecasting are our experimental foundation. Lastly, we handle event sequence data with our proposed model, WhatsNextApp, addressing issues like data scarcity and the user cold-start problem, outperforming state-of-the-art models. In conclusion, the methodologies presented in this thesis enhance our understanding and performance of sequential machine learning in textual, time series, and event log data, setting the stage for future research.
description: In der heutigen datengesteuertenWelt besteht eine große Herausforderung in der Gewinnung aussagekräftiger Erkenntnisse aus großen Mengen unstrukturierter Daten. Im Mittelpunkt dieser Herausforderung steht der Umgang mit Daten, die einen inhärenten sequenziellen Charakter haben, wie z. B. Textdaten, Zeitreihen und Ereignisfolgen. Die Leistungsfähigkeit sequentieller maschineller Lerntechniken hat sich durch ihre Fähigkeit gezeigt, Abhängigkeiten undMuster zu erfassen, insbesondere in zeitlichen und textuellen Bereichen. Der Mangel an markierten Daten, Klassenungleichgewichte und die Komplexität hochdimensionaler Daten stellen jedoch eine Herausforderung dar. Diese Arbeit befasst sicheingehend mit diesenHerausforderungen,wobei der Schwerpunkt auf der Verarbeitung natürlicher Sprache liegt und die Klassifizierung von Gefühlen als Studie dient. Während Meinungen zu verschiedenen Themen und Produkten florieren, bedeutet die unstrukturierte und nicht beschriftete Natur dieserDaten, dass ein Großteil ihresWertes ungenutzt bleibt. Die manuelle Beschriftung dieses massiven Datensatzes ist aufgrund seines Umfangs und seiner Komplexität unpraktisch. Umdieses Problem zu lösen,werden in der vorliegenden Arbeit, domänenübergreifendeModelle zur Klassifizierung von Gefühlen konzipiert und eingesetzt. Transfer Learning, insbesondere unsupervised and supervised pre-training und Active Learning zeigen vielversprechende Ergebnisse bei derBewältigung des Problems derDatenbeschriftung. In dieser Arbeit werden Modelle wie CRD SentEnse, MUTUAL und REFORMISTvorgeschlagen, die mit minimalen gelabeltenDaten robuste Ergebnisse erzielen. Indieser Arbeit wird die Erkennung von Hassrede integriert,umeine umfassendere Stimmungsanalyse zu ermöglichen, indem sie als eine spezielleUntergruppe der negativen Stimmung behandelt wird. Eine solche Integration stellt sicher, dass Plattformen schädliche Inhalte sofort erkennen und darauf reagieren können. Daher wird ein Rahmen für die Erkennung von Hassreden vorgeschlagen, um die Effizienz von vortrainiertenModellen zu untersuchen und mit denHerausforderungen extremnegativer und polarisierter Stimmungen und unausgeglichener Klassen umzugehen. Der Übergang von Text- zu Zeitreihendaten stellt uns vor Herausforderungen wie hohe Dimensionalität und zeitlicheMuster wie Saisonalität und Trends. Aufgrund der eringeren Anzahl inhärenter Annahmen wird sequentielles maschinelles Lernen oft als anpassungs-fähiger angesehen als herkömmliches maschinelles Lernen und statisische Modelle. Wir stellen sequentielles maschinelles Lernen traditionellen Methoden gegenüber und präsentieren eine umfassende Vergleichsstudie, in der die Stärken und Grenzen der einzelnen Verfahren herausgestellt werden. Anwendungen wie die Vorhersage des Thermal Comfort und die Vorhersage Network Traffic bilden die experimentelle Grundlage. Schließlich navigieren wir mit dem von uns vorgeschlagenen Modell WhatsNextApp durch Ereignissequenzdaten und gehen dabei auf Probleme wie Datenknappheit und dasKaltstartproblem derNutzer ein,wobei wirSOTA-Modelle übertreffen. Zusammenfassend lässt sich sagen, dass die in dieser Arbeit vorgestellten Methoden unser Verständnis und unsere Leistung des sequentiellen maschinellen Lernens in Text-, Zeitreihen- und Ereignisprotokolldaten verbessern und die Grundlage für zukünftige Forschungen bilden.