title: Multimodal integration in machine learning
Creators: name: Yu, Wentao
Publisher: name: Technische Universität Berlin
Year: 2025
Subjects: subject: 000 Informatik, Informationswissenschaft, allgemeine Werke::000 Informatik, Wissen, Systeme::006 Spezielle Computerverfahren
subject: multimodal integration
subject: machine learning
subject: audio-visual speech recognition
subject: reliability
subject: hateful memes detection
subject: jointly Gaussian feature models
subject: robustness

description: Multimodal integration, a key aspect of human cognition, combines information from various sensory modalities. It has been a focus of development in machine learning for many decades. It continues to be a growing area of interest due to its potential benefits for accuracy, robustness, and reliability. However, finding an optimal fusion strategy is not easy, as it can vary depending on the task and potentially even the data. This thesis explores advanced fusion strategies, focusing on audio-visual speech recognition (AVSR), the analysis of social media data regarding hate speech and misogyny, and multimodal information integration on sparse datasets. In the AVSR study, we developed a Decision Fusion Network (DFN) that combines the concepts of representation fusion and decision fusion. A broad range of reliability measures were extracted to dynamically inform the fusion model about the degree of reliability of each modality. Our experiments covered both conventional hybrid and state-of-the-art end-to-end (E2E) speech recognition systems. The proposed fusion model achieved outstanding recognition rates and robustness across various simulated noise environments. In the second study on hate speech detection, we initially explored text-only hate speech detection and found that data-driven features like BERT embeddings are more suitable for this task compared to hand-crafted features like term frequency-inverse document frequency (TF-IDF). Our proposed text-only model, utilizing BERTweet embeddings for identifying spreaders of irony, won the PAN-2022 challenge. For detecting hateful memes, our previous models were submitted to the MAMI and Memotion 3.0 challenges and won two of the three tasks of the Memotion challenge. The newly proposed models employed a pre-trained CLIP model to extract data-driven features for fusion. Notably, the newly proposed Hate-Attention model, which is simple yet effective, demonstrated superior performance compared to state-of-the-art models and even outperformed large language models like ChatGPT 4.o and TinyLLaVA. In both considered application areas, we found that neural network-based fusion models are prone to overfitting, require large amounts of training data and are very time-consuming to train. If only sparse training sets are available, this leads to serious overfitting and generalization issues. To address this issue, we proposed two fusion algorithms: Gaussian Logits glObal stream Weighting (GLOW) for binary classification and pairwise Gaussian Logits glObal stream Weighting (BiGLOW) for multiclass classification. These fusion strategies, designed for Bayes-optimal decision making, demonstrate superior performance in terms of accuracy, robustness, processing time, number of parameters, and reliability, particularly on sparse training sets. The insights gained from this thesis contribute to the development of more efficient, robust, and adaptable multimodal models, with implications for future advancements in speech recognition, content moderation, and beyond. More importantly, the ability to train models effectively with sparse training samples, fewer parameters, and within shorter time-frames, presents significant advantages for deploying artificial intelligence in resource-constrained environments.
description: Multimodale Integration ist ein zentraler Aspekt der menschlichen Kognition, bei dem Informationen aus verschiedenen sensorischen Modalitäten kombiniert werden. Seit vielen Jahrzehnten steht sie im Fokus der Entwicklungen im Bereich des maschinellen Lernens. Aufgrund ihres Potenzials zur Verbesserung von Genauigkeit, Robustheit und Zuverlässigkeit bleibt sie ein wachsendes Interessengebiet. Die Suche nach optimalen Fusionsstrategien ist jedoch nicht leicht, da diese je nach Aufgabe und möglicherweise sogar je nach Daten variieren können. Diese Arbeit untersucht neue Fusionsstrategien mit Schwerpunkt auf audiovisueller Spracherkennung (engl. Audio-Visual Speech Recognition, AVSR), der Analyse von Social Media-Daten in Bezug auf Hassrede und Frauenfeindlichkeit sowie der multimodalen Informationsintegration bei spärlichen Datensätzen. In der AVSR-Studie entwickelten wir ein Entscheidungsfusionsnetzwerk (engl. Decision Fusion Network, DFN), das die Konzepte der Repräsentationsfusion und der Entscheidungsfusion kombiniert. Es wurde eine breite Palette von Zuverlässigkeitsmaßen extrahiert, um das Fusionsmodell dynamisch über den Grad der Zuverlässigkeit jeder Modalität zu informieren. Unsere Experimente umfassten sowohl konventionelle hybride als auch aktuelle Ende-zu-Ende (engl. End-to-End, E2E) Spracherkennungssysteme. Das vorgeschlagene Fusionsmodell erzielte hervorragende Erkennungsraten und Robustheit in verschiedenen simulierten Geräuschumgebungen. In der zweiten Studie zur Erkennung von Hassrede untersuchten wir zunächst die Erkennung von Hassrede ausschließlich auf Textbasis und stellten fest, dass datengetriebene Merkmale wie BERT-Einbettungen für diese Aufgabe besser geeignet sind als handgefertigte Merkmale wie Term Frequency - Inverse Document Frequency (TF-IDF). Unser zuvor vorgeschlagenes Modell, das BERTweet-Einbettungen zur Identifizierung von Ironieverbreitern verwendet, erreichte den ersten Platz in der PAN-2022-Challenge. Für die Erkennung hasserfüllter Memes wurden unsere vorherigen Modelle bei den MAMI- und Memotion 3.0-Challenges eingereicht. Bei der Memotion 3.0-Challenge erreichten unsere eingereichten Modelle den ersten Platz in zwei von drei Teilaufgaben. Die neu vorgeschlagenen Modelle nutzten ein vortrainiertes CLIP-Modell, um datenbasierte Merkmale zur Fusion zu extrahieren. Bemerkenswert ist das vorgeschlagene Hate-Attention-Modell, das trotz seiner Einfachheit eine deutlich bessere Leistung als andere aktuelle Modelle zeigte und sogar große Sprachmodelle wie ChatGPT 4.o und TinyLLaVA übertraf. In beiden betrachteten Anwendungsbereichen stellten wir fest, dass auf neuronalen Netzen basierende Fusionsmodelle anfällig für Überanpassung sind, große Mengen an multimodalen Trainingsdaten erfordern und sehr zeitaufwendig zu trainieren sind. Wenn nur spärliche Trainingsdatensätze verfügbar sind, führt dies zu erheblichen Überanpassungs- und Generalisierungsproblemen. Um dieses Problem anzugehen, schlugen wir zwei Fusionsalgorithmen vor: GLOW (engl. Gaussian Logits glObal stream Weighting) für die binäre Klassifikation und BiGLOW (engl. paarweise Gaussian Logits glObal stream Weighting) für die Mehrklassenklassifikation. Diese Fusionsstrategien, die für Bayes-optimale Entscheidungsfindung entwickelt wurden, zeigen eine überlegene Leistung in Bezug auf Genauigkeit, Robustheit, Verarbeitungszeit, Anzahl der Parameter und Zuverlässigkeit, insbesondere bei spärlichen Trainingsdatensätzen. Die Erkenntnisse aus dieser Dissertation tragen zur Entwicklung effizienterer, robusterer und anpassungsfähigerer multimodaler Modelle bei, mit Implikationen für zukünftige Fortschritte in der Spracherkennung, der Inhaltsmoderation und darüber hinaus. Besonders wichtig ist die Fähigkeit, Modelle effektiv mit spärlichen Trainingsmustern, weniger Parametern und in kürzeren Zeiträumen zu trainieren, was bedeutende Vorteile für den Einsatz von künstlicher Intelligenz in ressourcenbeschränkten Umgebungen bietet.