Learning to interact with high-dimensional data
Creators: name: Σπαθής, Δημήτριος Χαράλαμπους (Spathis, Dimitris)
Publisher: name: Aristotle University of Thessaloniki
Year: 2017
Subjects: Μηχανική Μάθηση
Μείωση Διάστασης
Επικοινωνία Ανθρώπου-Υπολογιστή
Machine Learning
Dimensionality Reduction
Human-Computer Interaction

description: Πρόσφατες εξελίξεις της μηχανικής μάθησης επιτρέπουν την ανάλυση και περιγραφή του περιεχομένου δεδομένων υψηλών διαστάσεων όπως κειμένων, εικόνων, ήχων ή σημάτων. Για να οπτικοποιήσουμε αυτά τα δεδομένα σε δύο ή τρεις διαστάσεις, συνήθως χρησιμοποιείται κάποια τεχνική Μείωσης Διάστασης (ΜΔ). Αυτές οι τεχνικές όπως η PCA ή ο t-SNE παράγουν μία στατική προβολή που δεν επιδέχονται διορθώσεις από ανθρώπους ή σενάρια εξερεύνησης δεδομένων. Σε αυτήν τη διπλωματική, προτείνεται ένα νέο διαδραστικό πλαίσιο ΜΔ, που βασίζεται σε ομοιότητες παρά σε αποστάσεις, το οποίο μαθαίνει τη βέλτιστη προβολή μετά τη διάδραση του χρήστη, με κατάβαση δυναμικού (gradient descent). Αξιολογούνται δύο σενάρια διάδρασης. Το πρώτο είναι μια κοινή μεθοδολογία στην περιοχή πολυδιάστατων προβολών και περιλαμβάνει την προβολή ενός υποσυνόλου των δεδομένων, την ομαδοποίησή τους σε ομάδες ή κλάσεις, και την προβολή του υπόλοιπου άγνωστου συνόλου δεδομένων, με ένα είδος ημι-επιβλεπόμενης μάθησης. Παρουσιάζονται αποτελέσματα που ξεπερνούν σε απόδοση ανταγωνιστικές τεχνικές σε μία ευρεία γκάμα μετρικών και συνόλων δεδομένων (αριθμητικά, εικόνα, κείμενο). Το δεύτερο σενάριο περιλαμβάνει τη διάδραση μετακίνησης συγκεκριμένων κλάσεων μακριά, εμπλουτίζοντας τη βελτιστοποίηση με την πληροφορία των γειτόνων στις υψηλές διαστάσεις. Εκτός τη βελτίωσης της ακρίβειας ταξινόμησης και της ομαδοποίησης πάνω σε εικόνες και διανύσματα λέξεων, η νέα δομή της προβολής αποκαλύπτει σημασιολογικές τοπολογίες των δεδομένων. Για παράδειγμα στο σύνολο δεδομένων προσώπων (Head Pose dataset), απλά σέρνοντας τα πρόσωπα που κοιτούνε αριστερά, στα αριστερά, και αυτά που κοιτούνε δεξιά, στα δεξιά, παρατηρούμε ότι αυτο-οργανώνονται όλα τα υπόλοιπα πρόσωπα σε ένα συνεχές, ακόμα και αυτά που ανήκουν στην κατακόρυφη πόζα. Αυτός ο από-άκρη-σε-άκρη αλγόριθμος θα μπορούσε να χρησιμοποιηθεί για γρήγορη, οπτική ημι-επιβλεπόμενη μάθηση, εξερεύνηση τοπολογίας δεδομένων, διαδραστική προσαρμογή τομέα (domain adaptation), και μεταφορά μάθησης (transfer learning).
description: Recent advances in machine learning allow us to analyze and describe the content of high-dimensional data like text, audio, image or signal. In order to visualize that data in 2D or 3D, usually some Dimensionality Reduction (DR) technique is employed. These techniques like PCA or t-SNE produce a static projection, without taking into account corrections from humans or data exploration scenarios. In this work, a new interactive DR framework is proposed, based on similarities rather than distances, which learns the optimal projection after user interaction using gradient descent. Two interaction scenarios are evaluated. First, a common methodology in multidimensional projection is to project a subset of data, arrange them in classes or clusters, and project the rest unseen dataset based on that manipulation, in a kind of semi-supervised interpolation. We report results that outperform competitive baselines in a wide range of metrics and datasets (numerical, image, text). Second, we explore the scenario of moving specific classes away, enriching the optimization with high-dimensional neighbor information. Apart from improving classification precision and clustering on images and word embeddings, the new emerging structure of the projection unveils semantic manifolds. For example, on a Head Pose dataset, by just dragging the faces looking far left to the left and those looking far right to the right, all faces are re-arranged on a continuum even on the vertical axis (face up and down). This end-to-end framework could be used for fast, visual semi-supervised learning, manifold exploration, interactive domain adaptation of neura embeddings and transfer learning.