Automatic sign language recognition algorithms and their incorporation into a greek sign language educational platform
Authors: Παπαδημητρίου Αικατερίνη 
Published: March 2024

Η Διατριβή επικεντρώνεται στο πρόβλημα της αυτόματης αναγνώρισης νοηματικής γλώσσας από δεδομένα βίντεο, με πεδίο εφαρμογής την εκμάθηση Ελληνικής Νοηματικής Γλώσσας (ΕΝΓ) μέσω μίας κατάλληλα σχεδιασμένης πλατφόρμας με ενσωματωμένη λειτουργικότητα αυτόματης αναγνώρισης ΕΝΓ. Η αναγνώριση αναγνώρισης νοηματικής αποτελεί ένα πολύπλοκο και δύσκολο πρόβλημα, λόγω της πληθώρας των αρθρωτών νοηματικής, της πολυπλοκότητας του σχηματισμού αυτής, της διαφοροποίησης της διαδικασίας άρθρωσης μεταξύ νοηματιστών, της δυσκολίας ανθεκτικής οπτικής ανίχνευσης και παρακολούθησης σε ποικίλα μη ιδανικά περιβάλλοντα και δεδομένα από κάμερες χαμηλής ποιότητας, όπως και της έλλειψης βάσεων δεδομένων νοηματικής μεγάλου όγκου. Παράλληλα, η διαδικασία της εκμάθησης νοηματικής ως «2ης γλώσσας» απαιτεί πολύ σημαντική προσπάθεια και αλληλεπίδραση μαθητών-εκπαιδευτών τόσο κατά τη διάρκεια της εκμάθησης όσο και για την αντικειμενική αξιολόγηση των μαθητών από τους εκπαιδευτές τους, που στερείται υποστηρικτικών εργαλείων. Η κύρια καινοτομία και συνεισφορά της Διατριβής έγκειται στο συνδυασμό των δύο αυτών προβλημάτων, δηλαδή τόσο στην ανάπτυξη καινοτόμων και αποτελεσματικών αλγορίθμων για την αναγνώριση νοηματικής όσο και στην επιτυχή ενσωμάτωση αυτών σε πλατφόρμα εκμάθησης ΕΝΓ, επιδεικνύοντας την επιτυχία του εγχειρήματος τόσο μέσω αξιολόγησης της αναγνώρισης σε κλασσικές βάσεις δεδομένων νοηματικής, όσο και της αξιολόγησης της πλατφόρμας εκμάθησης αντικειμενικά και υποκειμενικά από μεγάλο αριθμό χρηστών αυτής. Συγκεκριμένα, στη Διατριβή αυτή: • Συλλέχθηκε η μεγαλύτερη μέχρι σήμερα βάση δεδομένων ΕΝΓ (τουλάχιστον 3 φορές μεγαλύτερη σε διάρκεια και αριθμό νοηματιστών από την μέχρι πρότινος μεγαλύτερη βάση), η οποία επέτρεψε την εκπαίδευση και αποτίμηση μοντέλων ΕΝΓ για τη Διατριβή και την ενσωμάτωσή τους στην εκπαιδευτική πλατφόρμα, ενώ έγινε διαθέσιμη στην επιστημονική κοινότητα για περαιτέρω πρόοδο στο πεδίο. • Ερευνήθηκε πληθώρα αλγορίθμων για οπτική ανίχνευση και παρακολούθηση των αρθρωτών της εκφοράς νοηματισμού και στη συνέχεια για την εξαγωγή οπτικών χαρακτηριστικών από αυτούς. Περαιτέρω, διαπιστώθηκε ποιες είναι οι πιο κατάλληλες για το πρόβλημα της αναγνώρισης νοηματικής, μέσω πειραμάτων για μεμονωμένο νοηματισμό. Πολλοί από τους αλγορίθμους αυτούς δεν είχαν χρησιμοποιηθεί στο παρελθόν για το συγκεκριμένο πρόβλημα. • Αναπτύχθηκαν καινοτόμοι αλγόριθμοι για την αναγνώριση νοηματικής γλώσσας, με κύρια έμφαση στις αρχιτεκτονικές ακολουθιακής μάθησης. Οι αλγόριθμοι αυτοί χρησιμοποιήθηκαν για αναγνώριση μεμονωμένου νοηματισμού, συνεχούς νοηματισμού, συνεχούς δακτυλοσυλλαβισμού, και τέλος «συνεπαγόμενης ομιλίας» (“cued speech”). Η αξιολόγηση των τεχνικών αυτών έγινε σε πολλαπλές βάσεις δεδομένων, συμπεριλαμβανομένης της ΕΝΓ. Στις πολλές περιπτώσεις οι αλγόριθμοι προήγαγαν τεχνολογία αιχμής. • Τέλος, αναπτύχθηκαν υπολογιστικά αποτελεσματικά μοντέλα για αναγνώριση ΕΝΓ (συγκεκριμένα για μεμονωμένο νοηματισμό, συνεχή νοηματισμό, και συνεχή δακτυλοσυλλαβισμό), τα οποία ενσωματώθηκαν στην εκπαιδευτική πλατφόρμα εκμάθησης ΕΝΓ, με περαιτέρω υποβοήθηση από κατάλληλα γλωσσικά μοντέλα ΕΝΓ. Το σύστημα αξιολογήθηκε από μεγάλο αριθμό χρηστών (φοιτητών του Πανεπιστημίου Θεσσαλίας και εμπειρογνωμόνων ΕΝΓ), επιτυγχάνοντας εξαιρετικά υποκειμενικά και αντικειμενικά αποτελέσματα, με τα τελευταία να βρίσκονται σε απόλυτη συμφωνία με τα πειραματικά αποτελέσματα των αναπτυγμένων αλγορίθμων αναγνώρισης.