Μηχανή εδραίων διανυσμάτων με χρήση υποκλάσεων:
Creators: name: Ορφανίδης, Γεώργιος Θεόδωρος
Publisher: name: Aristotle University of Thessaloniki
Year: 2011
Subjects: Μηχανή Εδραίων Διανυσμάτων
Ταξινόμηση
Μείωση διάστασης
Support Vector Machines
Classification
Dimensionality reduction

description: Η κατηγοριοποίηση είναι ένας από τους βασικούς τομείς της μηχανικής μάθησης και για αυτό έχουν προταθεί πολλές διαφορετικές μέθοδοι ταξινόμησης δεδομένων. Τα τελευταία χρόνια υπάρχει μία διαρκής ανάδειξη νέων τεχνικών ταξινόμησης οι οποίες επιχειρούν να ξεπεράσουν τις αδυναμίες που εμφάνιζαν οι προηγούμενες μέθοδοι και να βελτιώσουν την απόδοσή τους. Μία από αυτές τις οικογένειες ταξινομητών είναι και οι μηχανές εδραίων διανυσμάτων. Ένας από τους λόγους για τους οποίους θεωρούνται μία από τις πλέον πετυχημένες μεθόδους ταξινόμησης είναι η πλήρης παραμετροποίησή τους. Οι άλλες μη παραμετρικές μέθοδοι όπως οι τεχνικές κοντινότερου γείτονα, ή τα νευρωνικά δίκτυα επιχειρούν να ελαχιστοποιήσουν τις λανθασμένες ταξινομήσεις στο σύνολο εκπαίδευσης (ελαχιστοποίηση εμπειρικού ρίσκου) σε αντίθεση τις μηχανές εδραίων διανυσμάτων τα οποία ακολουθούν ελαχιστοποίηση δομικού ρίσκου, δηλαδή ελαχιστοποιούν την πιθανότητα να ταξινομηθεί λανθασμένα ένα δείγμα από μία άγνωστη αλλά σταθερή κατανομή. Οι μηχανές εδραίων διανυσμάτων επίσης χρησιμοποιούν τη τετραγωνική βελτιστοποίηση η οποία εξασφαλίζει αφενός ευκολία στη λύση, ταχύτητα και κυρίως εγγύηση για την εξεύρεση του ολικού ελαχίστου. Επιπλέον ένας από τους λόγους που προτιμώνται οι μηχανές εδραίων διανυσμάτων είναι η δυνατότητά τους να παράξουν μη γραμμικές επιφάνειες απόφασης. Για το σκοπό αυτό συνήθως τα δείγματα προβάλλονται σε έναν υψηλής διάστασης χώρο στον οποίο είναι γραμμικά ή σχεδόν γραμμικά διαχωρίσιμα. Η επιφάνεια αυτή μπορεί να βρεθεί χωρίς να είναι απαραίτητο να βρεθεί ρητώς η συνάρτηση απεικόνισης αλλά αρκεί να ορισθεί ρητώς η απεικόνιση των εσωτερικών γινομένων των δειγμάτων στο νέο χώρο. Μία από τις παραλλαγές των μηχανών εδραίων διανυσμάτων παρουσιάζεται και σε αυτή την εργασία με όνομα Μηχανή εδραίων διανυσμάτων με χρήση υποκλάσεων, η οποία εκμεταλλεύεται όλες τις αρετές των μηχανών εδραίων διανυσμάτων αλλά παράλληλα χρησιμοποιεί στοιχεία που αγνοούνταν από τη μέθοδό τους όπως η ύπαρξη υποκλάσεων εντός των κλάσεων. Για τη χρήση της πληροφορίας των υποκλάσεων χρησιμοποιούνται στοιχεία από τον άλλο τομέα της μηχανικής μάθησης, τη Διακριτική Ανάλυση και τις παραλλαγές της και συγκεκριμένα αυτές που λαμβάνουν υπόψην την ύπαρξη υποκλάσεων όπως η Διακριτική Ανάλυσης Υποκλάσεων και η Διακριτική Ανάλυση βασισμένη σε ομαδοποίηση. Αποδεικνύεται ότι η προταθείσα μέθοδος εκμεταλλευόμενη την ύπαρξή τους βελτιώνει την απόδοση των μηχανών εδραίων διανυσμάτων. Στο δεύτερο μέρος της εργασίας χρησιμοποιείται η ίδια μέθοδος των μηχανών εδραίων διανυσμάτων με χρήση υποκλάσεων ως τεχνική μείωσης διάστασης με τρόπο για τον οποίο ούτε οι ίδιες οι μηχανές εδραίων διανυσμάτων είναι γνωστές. Για την επίτευξη αυτού του σκοπού χρησιμοποιείται η τεχνική του ξεφουσκώματος δεδομένων ώστε να καταστεί δυνατή η εξαγωγή επιπλέον χαρακτηριστικών από τις μηχανές εδραίων διανυσμάτων με χρήση υποκλάσεων. Αποδεικνύεται επίσης ότι αποτελεί ένα αξιόπιστο εργαλείο μείωσης διάστασης το οποίο μπορεί να χρησιμοποιηθεί εναλλακτικά με άλλα κορυφαία εργαλεία.
description: Classification is one the fundamental sectors of computer learning and for this reason a lot of different classification methods have been proposed. During the previous years there a constant development of new classification techniques that intend to overcome the defects of the previous one and to boost their performance. One of these families of classifier are Support Vector Machines (SVM). One major reason for their success is their fully parametric nature. Other non-parametric techniques like nearest neighbor or neural networks attempt to minimize misclassifications in the training set (empirical risk minimization) in contrast to SVM that follow a structural risk minimization, that is they minimize the probability that a sample of a fixed but unknown distribution is misclassified. SVM also use QP optimization which provides an easy, quick solution and more importantly it is guaranteed that a global minimum will be found. Another reason for the SVM popularity is their ability to produce non linear decision surfaces. To achieve this purpose, samples are projected to a high dimensional space where samples are linearly or near linearly separable. These surfaces are not necessary to be mapped explicitly but only to explicitly map the sample dot product in this space. This paper presents a variation of SVM called Subclass Support Vector Machines, which take advantage of all virtues of SVM but at the same time exploits aspects overlooked by SVM like existence of subclasses. In order to use information of the subclasses notions of another field of computer learning is used, that of Discriminant Analysis and its variation) and more specifically those that take into account the existence of subclasses like Subclass Discriminant Analysis (SDA) and Clustering based Discriminant Analysis (CDA). It is proven that the proposed method by exploiting the subclasses improves the SVM performance. In the second part of the paper the same method of SSVM is used as a dimensionality reduction technique in a manner that not SVM themselves are particularly known. For this purpose data deflation technique is used so as to make possible to extract more features from data by SVM. It is proven that this technique is also a reliable dimensionality reduction tool which can be used as an alternative to other state-of-the-art dimensionality reduction techniques.