Efficient feature reduction and classification methods

Durch die steigende Anzahl verfugbarer Daten in unterschiedlichsten Anwendungsgebieten nimmt der Aufwand vieler Data-Mining Applikationen signifikant zu. Speziell hochdimensionierte Daten (Daten die uber viele verschiedene Attribute beschrieben werden) konnen ein groses Problem fur viele Data-Mining Anwendungen darstellen. Neben hoheren Laufzeiten konnen dadurch sowohl fur uberwachte (supervised), als auch nicht uberwachte (unsupervised) Klassifikationsalgorithmen weitere Komplikationen entstehen (z.B. ungenaue Klassifikationsgenauigkeit, schlechte Clustering-Eigenschaften, …). Dies fuhrt zu einem Bedarf an effektiven und effizienten Methoden zur Dimensionsreduzierung. Feature Selection (die Auswahl eines Subsets von Originalattributen) und Dimensionality Reduction (Transformation von Originalattribute in (Linear)-Kombinationen der Originalattribute) sind zwei wichtige Methoden um die Dimension von Daten zu reduzieren. Obwohl sich in den letzten Jahren vielen Studien mit diesen Methoden beschaftigt haben, gibt es immer noch viele offene Fragestellungen in diesem Forschungsgebiet. Daruber hinaus ergeben sich in vielen Anwendungsbereichen durch die immer weiter steigende Anzahl an verfugbaren und verwendeten Attributen und Features laufend neue Probleme. Das Ziel dieser Dissertation ist es, verschiedene Fragenstellungen in diesem Bereich genau zu analysieren und Verbesserungsmoglichkeiten zu entwickeln. Grundsatzlich, werden folgende Anspruche an Methoden zur Feature Selection und Dimensionality Reduction gestellt: Die Methoden sollten effizient (bezuglich ihres Rechenaufwandes) sein und die resultierenden Feature-Sets sollten die Originaldaten moglichst kompakt reprasentieren konnen. Daruber hinaus ist es in vielen Anwendungsgebieten wichtig, die Interpretierbarkeit der Originaldaten beizubehalten. Letztendlich sollte der Prozess der Dimensionsreduzierung keinen negativen Effekt auf die Klassifikationsgenauigkeit haben - sondern idealerweise, diese noch verbessern. Offene Problemstellungen in diesem Bereich betreffen unter anderem den Zusammenhang zwischen Methoden zur Dimensionsreduzierung und der resultierenden Klassifikationsgenauigkeit, wobei sowohl eine moglichst kompakte Reprasentation der Daten, als auch eine hohe Klassifikationsgenauigkeit erzielt werden sollen. Wie bereits erwahnt, ergibt sich durch die grose Anzahl an Daten auch ein erhohter Rechenaufwand, weshalb schnelle und effektive Methoden zur Dimensionsreduzierung entwickelt werden mussen, bzw. existierende Methoden verbessert werden mussen. Daruber hinaus sollte naturlich auch der Rechenaufwand der verwendeten Klassifikationsmethoden moglichst gering sein. Des Weiteren ist die Interpretierbarkeit von Feature Sets zwar moglich, wenn Feature Selection Methoden fur die Dimensionsreduzierung verwendet werden, im Fall von Dimensionality Reduction sind die resultierenden Feature Sets jedoch meist Linearkombinationen der Originalfeatures. Daher ist es schwierig zu uberprufen, wie viel Information einzelne Originalfeatures beitragen. Im Rahmen dieser Dissertation konnten wichtige Beitrage zu den oben genannten Problemstellungen prasentiert werden: Es wurden neue, effiziente Initialisierungsvarianten fur die Dimensionality Reduction Methode Nonnegative Matrix Factorization (NMF) entwickelt, welche im Vergleich zu randomisierter Initialisierung und im Vergleich zu State-of-the-Art Initialisierungsmethoden zu einer schnelleren Reduktion des Approximationsfehlers fuhren. Diese Initialisierungsvarianten konnen daruber hinaus mit neu entwickelten und sehr effektiven Klassifikationsalgorithmen basierend auf NMF kombiniert werden. Um die Laufzeit von NMF weiter zu steigern wurden unterschiedliche Varianten von NMF Algorithmen auf Multi-Prozessor Systemen vorgestellt, welche sowohl Task- als auch Datenparallelismus unterstutzen und zu einer erheblichen Reduktion der Laufzeit fur NMF fuhren. Auserdem wurde eine effektive Verbesserung der Matlab Implementierung des ALS Algorithmus vorgestellt. Daruber hinaus wurde eine Technik aus dem Bereich des Information Retrieval -- Latent Semantic Indexing -- erfolgreich als Klassifikationsalgorithmus fur Email Daten angewendet. Schlieslich wurde eine ausfuhrliche empirische Studie uber den Zusammenhang verschiedener Feature Reduction Methoden (Feature Selection und Dimensionality Reduction) und der resultierenden Klassifikationsgenauigkeit unterschiedlicher Lernalgorithmen prasentiert. Der starke Einfluss unterschiedlicher Methoden zur Dimensionsreduzierung auf die resultierende Klassifikationsgenauigkeit unterstreicht dass noch weitere Untersuchungen notwendig sind um das komplexe Zusammenspiel von Dimensionsreduzierung und Klassifikation genau analysieren zu konnen.