A Distributed Text Clustering Approach for Detecting Duplicate Questions
Creators: name: Καρατσίν, Ηλίας Κλεάνθη
Publisher: name: Aristotle University of Thessaloniki
Year: 2019
Subjects: Μη επιπτευόμενη μάθηση
Επεξεργασία φυσικής γλώσσας
Κατανεμημένο περιβάλλον
Unsupervised Learning
Natural Language Processing
Distributed Environment

description: Η παρούσα Διπλωματική θα επικεντρωθεί στην επίλυση της εξαγωγής όμοιων σημασιολογικών ερωτήσεων. Πιο συγκεκριμένα σε ερωτήσεις όπου καταχώρισαν χρήστες στο Quora. Πολύ προσπάθησαν να λύσουν το πρόβλημα αυτό με εποπτευόμενη μάθηση, λόγου ότι τα δεδομένα εμπεριέχουν ετικέτα πρόβλεψης ομοιότητας. Οι περισσότερες προσεγγίσεις ήταν με την χρίση παραλλαγών του Deep Learning. Εδώ θα λύσουμε το παραπάνω πρόβλημα με μη επιβλεπόμενη μάθηση, μέσω συστάδων, αντιμετωπίζοντας ταυτοχρόνως προβλήματα όπου η μέθοδος k-means της Spark δημιουργεί στο συγκεκριμένο πρόβλημα. Θα εκμεταλλευτούμε πλήρως το κατανεμημένο περιβάλλων όπου μας προσφέρει η Scala με την χρήση του Spark, για να υλοποιήσουμε δύσκολες υπολογιστικές εργασίες στα βήματα της προεπεξεργασίας των δεδομένων μας και στην δημιουργία της δικιάς μας μεθόδους πρόβλεψης και αξιολόγησης του μοντέλου. Μέσω της μη επιβλεπόμενης μάθησης, και με την χρήση των αλγόριθμων k-means για partitioning clustering και του bisecting k-means για hierarchical clustering, λύνουμε ένα πιο ενδιαφέρον και χρήσιμο πρόβλημα, το πρόβλημα της εξαγωγής πολλών σημασιολογικών ερωτήσεων και όχι απλά της πρόβλεψης ομοιότητας μεταξύ 2 ερωτήσεων, όπου ήταν και ο στόχος των μεθόδων με επιβλεπόμενη μάθηση. Το τελικό αποτέλεσμα θα είναι μια μηχανή ανάκτησης πληροφορίας, όπου θα εξάγει τις Κ πιο σημασιολογικά όμοιες ερωτήσεις ενός ερωτήματος που εισάγει ο χρήστης στο σύστημα. Επιπρόσθετα θα συγκρίνουμε τα αποτελέσματα και την ποιότητα του partitioning clustering k-means και hierarchical bisecting k-means της Spark, με διαφορετικούς μεθόδους προεπεξεργασίας των δεδομένων
description: This Thesis will focus on solving a text semantic similarity extraction on questions. Most specifically on user questions submitted on Quora. Many fellow engineers tried to solve this problem with the supervised approach, and mostly using some Deep Learning variation. This Thesis will deepen in the area of the Unsupervised Learning, through clustering, and face all the drawbacks that k-means clustering introduce on this specific problem, and the final result will be an Information Retrieval engine. We will take advantage of the distributed environment Scala with Spark provide us, to complete hard computationally works in our text preprocess steps. We will create our own prediction metric of our k-means models, compare how different k-means approaches react in different vector inputs and check their cluster qualities. Through unsupervised learning, and with the use of k-means partitioning clustering and hierarchical bisecting k-means, we solve a more interested and useful problem, that of extracting similar questions and not just the prediction whether a question is similar to another, which was the main goal of the supervised learning algorithms, where the user can get K more similar questions based on his input question