Dynamic Multilabel Classification using Gradient Boosted Trees

Besides the classical machine learning challenges classification and regression, also multilabel-problems, where each instance can belong to several classes, continue to have a gain in importance. Most of these problems are solved by applying problem-transformation methods which split up the problem into several smaller tasks where each one can be individually solved by using one of the classic singlelabel approaches. However, a drawback of these approaches is that possible dependencies between labels are completely ignored or only respected partially. In this thesis, a novel approach is introduced that is based on a chain of classifiers which is capable of predicting labels dynamically by detecting and exploiting these potential dependencies. Therefore, each classifier in the chain maximizes the probability of a single label for a test-instance and propagates this label to the following classifier. The distinctive feature thereby is that each classifier is not forced to predict the same label for each label, but can assign a different label to different instances. By propagating these predictions gradually along the chain this additional knowledge can be used by later classifiers to exploit label dependencies and predict further labels based on this information. The foundation therefore is a modified version of a XGBoost classifier (short for Extreme Gradient Tree Boosting) which was extended to be capable of predicting a probability for each target label. This classifier is already used for classic regression and classification tasks where it provides state-of-the art results. This introduced dynamic chain provides especially for Hamming Loss good results which are in some cases even better than the compared problem transformation methods. Zusammenfassung Neben den klassischen Machine Learning Aufgaben Klassifizierung und Regression, haben mittlerweile auch Multilabel-Probleme, wo jede Instanz verschiedenen Klassen zugeordnet werden kann, stark an Bedeutung gewonnen. Zumeist werden diese durch Anwendung von Transformations-Methoden gelöst, die das Problem in individuelle und kleinere Aufgaben zerteilen, welche dann jeweils mit klassischen single-label Ansätzen gelöst werden können. Ein Nachteil dieser Ansätze ist allerdings, dass mögliche Abhängigkeiten zwischen den Labels ignoriert oder nur zum Teil beachtet werden. In dieser Arbeit wird ein neuer Ansatz vorgestellt, der auf einer Kette von Klassifizierern basiert, die die Fähigkeit besitzt verschiedene Labels dynamisch und unter Beachtung möglicher Abhängigkeiten vorherzusagen. Dafür versucht jeder Klassifizierer der Kette die Wahrscheinlichkeit für ein Label einer Test-Instanz zu maximieren und gibt dieses Label anschließend an die nachfolgenden Klassifizierer weiter. Die Besonderheit dabei ist, dass die einzelnen Klassifizierer nicht gezwungen werden ein bestimmtes Label vorherzusagen, sondern für verschiedene Instanzen auch verschiedene Labels vorhersagen können. Indem diese Vorhersagen dann schrittweise durch die Kette weitergereicht werden, können dieses zusätzlichen Informationen von späteren Klassfizieren genutzt werden, um mögliche Label Abhängigkeiten zu entdecken und um weitere Labels basierend auf diesem Wissen vorherzusagen. Die Grundlage dafür stellt ein modifizierter XGBoost-Klassifizierer (kurz für: Extreme Gradient Tree Boosting) dar. Dieser findet bereits Anwendung in klassischen Klassifizierungs und Regressionsproblemen und liefert dort sehr gute stateof-the-art Ergebnisse. Die hier eingeführte dynamische Kette liefert besonders für Hamming Loss gute Ergebnisse, die in einigen Fällen auch die verglichenen Problem-Transformations-Ansätze schlagen.