Ιεραρχικός αλγόριθμος ομαδοποίησης κατηγορικών δεδομένων βάσει συχνότητας για ειδικούς πεδίου εφαρμογής
Authors: Κωτούζα Μαρία 
Published: April 2024

Οι περισσότερες επιστήμες σήμερα βρίσκονται σε μια κατάσταση ραγδαίας μετάβασης προς τη νέα εποχή των Μεγάλων Δεδομένων, η οποία σηματοδοτείται από συλλογή και επεξεργασία δεδομένων με στόχο την εξαγωγή νέας γνώσης. Στα δεδομένα αποκτούν πρόσβαση ολοένα και περισσότεροι χρήστες που διερευνούν και αναπτύσσουν νέες τεχνικές και αλγόριθμους για την αποθήκευση, επεξεργασία, εξαγωγή γνώσης και την οπτικοποίηση των αποτελεσμάτων. Η Επιστήμη των Δεδομένων περιλαμβάνει μοντέλα, μεθόδους, εργαλεία και τεχνικές που μετατρέπουν δεδομένα διαφόρων τύπων σε καθαρή πληροφορία, η οποία είναι κατανοητή ακόμα και από αναλυτές χωρίς υπολογιστικό υπόβαθρο. Η Μηχανική Μάθηση έχει κεντρικό ρόλο στην Επιστήμη των Δεδομένων, καθώς αποτελεί μέρος της αναλυτικής διαδικασίας και της διαδικασίας πρόβλεψης. Μια τυπική διαδικασία ανάλυσης δεδομένων συνήθως περιλαμβάνει τα ακόλουθα στάδια: κατανόηση δεδομένων, προετοιμασία/προεπεξεργασία δεδομένων, ανάλυση, μοντελοποίηση, αξιολόγηση, οπτικοποίηση και λήψη αποφάσεων. Η ομαδοποίηση αποτελεί μια τεχνική Μηχανικής Μάθησης που χρησιμοποιείται για την οργάνωση των δεδομένων σε ομοιογενείς ομάδες, την εξαγωγή προτύπων και τη μείωση της πολυπλοκότητας του προβλήματος. Οι αλγόριθμοι ιεραρχικής ομαδοποίησης διατηρούν περισσότερη πληροφορία για τις ομάδες και τις διασυνδέσεις τους, καθώς οργανώνονται σε δενδρογράμματα που είναι χρήσιμα σε διάφορες εφαρμογές, ενώ δεν απαιτούν αρχικοποίηση των κέντρων και του αριθμού των ομάδων. Το βασικό μειονέκτημα των ιεραρχικών αλγορίθμων ομαδοποίησης είναι ότι βασίζονται στον υπολογισμό ομοιοτήτων μεταξύ των στοιχείων του συνόλου των σετ δεδομένων, προκειμένου να παράγουν τις ομάδες από το μηδέν. Αυτή η τακτική αυξάνει πολύ την πολυπλοκότητα του προβλήματος, τόσο σε επίπεδο κατανάλωσης μνήμης, όσο και σε υπολογιστικό χρόνο εκτέλεσης, κάτι το οποίο δεν είναι εύκολα διαχειρίσιμο για μεγάλους όγκους δεδομένων. Σκοπός της διατριβής ήταν η ανάπτυξη ενός ιεραρχικού αλγορίθμου ομαδοποίησης κατηγορικών δεδομένων βασισμένων σε χαρακτηριστικά, κατάλληλου για ειδικούς τομέα εφαρμογής. Ο αλγόριθμος θα πρέπει να παρέχει καθαρές ομάδες που να εκπροσωπούνται από συγκεκριμένα χαρακτηριστικά, ενώ ταυτόχρονα να ξεπερνάει τις δυσκολίες των κλασσικών ιεραρχικών αλγορίθμων όσον αφορά την κατανάλωση μνήμης και τον χρόνο εκτέλεσης. Η παρουσίαση των αποτελεσμάτων στον χρήστη θα πρέπει να γίνεται μέσω ενός φιλικού περιβάλλοντος που μπορεί να τον βοηθήσει στη διαδικασία λήψης αποφάσεων. Προς το σκοπό αυτό, αναπτύχθηκε ο ιεραρχικός αλγόριθμος ομαδοποίησης FBC, ο οποίος βασίζεται στη συχνότητα εμφάνισης των χαρακτηριστικών και ξεπερνάει τις δυσκολίες κλασσικών ιεραρχικών αλγορίθμων. Ο αλγόριθμος είναι αποδοτικός, επεκτάσιμος, εύχρηστος και φιλικός προς τον χρήστη, ενώ προσφέρει τη δυνατότητα οπτικοποίησης των αποτελεσμάτων της συνολικής ομαδοποίησης με χρήση δυαδικού δέντρου και γράφου, αλλά και του περιεχομένου κάθε ομάδας. Για την αξιολόγηση του αλγορίθμου και την διερεύνηση της δυνατότητας γενίκευσής του, υλοποιήθηκαν τρία διαφορετικά σενάρια χρήσης τα οποία αναλύουν διαφορετικούς τύπους δεδομένων. Στο πρώτο σενάριο χρησιμοποιήθηκαν γονιδιακές ακολουθίες πρωτεϊνών οι οποίες αποτελούνται από πολύ μεγάλου μήκους ακολουθίες χαρακτήρων. Το δεύτερο σενάριο χειρίστηκε έγγραφα κειμένου όπου οι χαρακτήρες οργανώνονται σε λέξεις, προτάσεις, παραγράφους, κλπ. Στο τρίτο σενάριο τα δεδομένα αφορούσαν χαρακτηριστικά ενδυμάτων και ο αλγόριθμος ενσωματώθηκε σε ένα έξυπνο σύστημα βοηθού σχεδιαστή μόδας, αποδεικνύοντας τη χρησιμότητα και την αποδοτικότητά του σε πρακτικές εφαρμογές.