Robustifying machine learning through weakening supervision
Creators: name: Lienen, Julian
Publisher: name: Universität Paderborn
Year: 2023

description: Die Qualität von Lösungen des maschinellen Lernens wird durch das Zusammenspiel zwischen der Modellklasse, dem Lernalgorithmus einschließlich der Lossfunktion, sowie den Trainingsdaten bestimmt. Für Letzteres stellen präzise Labels den Goldstandard dar. Jedoch garantiert Präzision der Labels selbst nicht deren Korrektheit. Vielmehr lassen sich Labels oft nur imperfekt erfassen, wodurch Modelle potenziell verzerrt werden. Daher werden Lernmodelle zur Robustheit in der Regel an die Trainingsdaten angepasst, was jedoch oft mit einer erhöhten Modellkomplexität und eingeschränkter Generalisierbarkeit einhergeht. In dieser Arbeit nehmen wir eine alternative Perspektive ein, indem wir die Robustheit durch die (Re-)Modellierung der Labels verbessern. Dazu schlagen wir eine gezielte Abschwächung von zuvor präzisen Labels vor, um eine wahrheitsgetreuere Annahmen über die Grundwahrheit zu erreichen. Auf diese Weise werden die Labels, obwohl weniger präzise, korrekter dargestellt, wodurch der Einfluss von Verzerrungen abgeschwächt wird. Wir betrachten zwei Formen der Impräzisierung: Ersetzen von präzisen Labels durch Mengen und durch Ordnungsrelationen. Ersteres wird durch die Modellierung von (unscharfen) Obermengen realisiert, die das ursprüngliche Label durch zusätzliche plausible Kandidaten für die Repräsentation der Grundwahrheit erweitert. In Kombination mit Methoden aus dem Bereich des superset learnings ermöglicht dieser Ansatz die Modulierung des Einflusses von potenziell verzerrenden Instanzen im Lernprozess. Für die zweite Form der abgeschwächten Überwachung schlagen wir vor, die Modellierung der Zielgrößen in Form von relativen Vergleichen ihrer zugrunde liegenden numerischen Grundwahrheiten zu realisieren. Dies erlaubt den Einsatz von Präferenzlernen für Regressionsprobleme.
description: In machine learning, the quality of solutions is typically determined by the interplay between the model class, the learning algorithm incl. the loss function, and the training data. For the latter, precise target information is the gold standard. However, mere precision is no guarantee of its correctness. Rather, labels can often only be acquired with various forms of imperfection, biasing the induction of predictors. As a result, learning models are usually adapted to the training data for robustness against distortions, aiming at mitigating negative influences of imperfect data on the learning process. Nevertheless, this often comes along with increased model complexity and impaired generalization. In this thesis, we take an alternative perspective by advocating for the (re-)modeling of the label information to achieve robustness. To this end, we propose to deliberately weaken hitherto precise supervision in order to achieve a more faithful representation of the beliefs about the underlying ground truth. This way, although being less precise, the labels are rendered more correct, attenuating the influence of potential biases in the data. We consider two forms of imprecisiation, namely by replacing precise labels with sets and ordinal relations. The former is realized by modeling (fuzzy) supersets that augment single labels with additional plausible candidates for representing the ground truth. Combined with superset learning, this approach allows for modulating the influence of individual, potentially harmful instances within the overall learning process. For the second form of weakening, we suggest to model weakened supervision for instances in the form of relative comparisons of their underlying numerical ground truths, enabling to employ preference learning for regression tasks.