Robust techniques of gaze estimation, based on the eye centers localization and tracking and the exploitation of facial features
Authors: Πουλόπουλος Νικόλαος 
Published: March 2024

Στις μέρες μας, υπάρχει ένα αυξανόμενο ενδιαφέρον για τη βελτίωση της αλληλεπίδρασης ανθρώπου-υπολογιστή λόγω της διείσδυσης των υπολογιστών σε κάθε πτυχή της καθημερινής ζωής. Τα μάτια αποτελούν τα πιο χαρακτηριστικά γνωρίσματα του ανθρώπινου προσώπου, καθώς παρέχουν πολύτιμες πληροφορίες για τη συμπεριφορά και τη γνωστική λειτουργία του ανθρώπου. Το ανθρώπινο βλέμμα αποτελεί μια επαναστατική προσέγγιση αλληλεπίδρασης χωρίς σωματική επαφή, ενισχύοντας μια πιο φυσική αλληλεπίδραση μεταξύ ανθρώπων και υπολογιστών. Κύριο στόχο αυτής της διατριβής αποτελεί η ανάπτυξη αξιόπιστων μεθόδων για τον εντοπισμό του κέντρου των ματιών και την εκτίμηση του βλέμματος, χρησιμοποιώντας τυπικές κάμερες κάτω από φυσικό φωτισμό, χωρίς την απαίτηση ειδικού εξοπλισμού. Παρά την ενεργό έρευνα στον τομέα αυτό, ο ακριβής εντοπισμός του κέντρου των ματιών και η εκτίμηση του βλέμματος παραμένουν δυσεπίλυτα προβλήματα λόγω πολλών περιορισμών που σχετίζονται με τη μεγάλη ποικιλία στο σχήμα και το χρώμα των ανθρώπινων ματιών, τα εμπόδια από τα μαλλιά ή τα γυαλιά, τις σκιές και τις παραλλαγές φωτισμού, τις ποικιλομορφίες έκφρασης του προσώπου και του κεφαλιού, κ.λπ. και γίνονται ακόμη πιο δύσκολα σε εφαρμογές όπου η ανάγκη για απόδοση σε πραγματικό χρόνο είναι ζωτικής σημασίας. Οι μέθοδοι που αναπτύχθηκαν για τον εντοπισμό του κέντρου των ματιών στοχεύουν στην αντιμετώπιση των προαναφερθέντων προβλημάτων εισάγοντας νέες προσεγγίσεις, ενώ παρέχουν ακριβή αποτελέσματα βελτιώνοντας την ακρίβεια της τεχνολογίας αιχμής. Συγκεκριμένα, προτάθηκε μία τροποποιημένη εκδοχή του Γρήγορου Μετασχηματισμού Ακτινικής Συμμετρίας, με την ονομασία MFRST, η οποία δίνει έμφαση στο σχήμα της ίριδας και στοχεύει στον εντοπισμό σχημάτων ακτινικής συμμετρίας. Ο μετασχηματισμός αυτός επίσης συνδυάστηκε με ένα συνελικτικό νευρωνικό δίκτυο (ΣΝΝ) προκειμένου να μειώσει τους εσφαλμένους εντοπισμούς του MFRST και επομένως να αυξήσει την συνολική απόδοση. Στην συνέχεια προτάθηκε μία νέα αρχιτεκτονική εντοπισμού του κέντρου των ματιών η οποία επιτελεί παλινδρόμηση εικόνας σε χάρτη θερμότητας μεταξύ των περιοχών των ματιών και των αντίστοιχων χαρτών θερμότητας. Τέλος, προτάθηκε ένα καινοτόμο πλαίσιο, με την ονομασία PupilTAN, το οποίο προσπάθησε να λύσει το πρόβλημα του εντοπισμού του κέντρου των ματιών με μη επιβλεπόμενο τρόπο, οδηγώντας σε νέες τεχνικές επίλυσης του προβλήματος στην περίπτωση της περιορισμένης επίβλεψης. Επιπλέον, το πρόβλημα της εκτίμησης βλέμματος εξετάζεται εκτενώς, παρέχοντας λύσεις που βασίζονται σε περιορισμένη εποπτεία, αξιοποιώντας μεγάλο αριθμό δεδομένων χωρίς ετικέτα. Συγκεκριμένα, προτάθηκε ένα μη επιβλεπόμενο πλαίσιο εκπαίδευσης αναπαράστασης βλέμματος, το οποίο βασίζεται στην μεταφορά βλέμματος προκειμένου να διαχωρίσει το διάνυσμα του βλέμματος, εκπαιδεύοντας στην συνέχεια έναν εκτιμητή βλέμματος με λίγα δείγματα. Όλες οι προτεινόμενες μέθοδοι αξιολογήθηκαν εκτενώς σε ποικίλες βάσεις δεδομένων και συγκρίθηκαν με την τεχνολογία αιχμής, αποκαλύπτοντας βελτιωμένη ακρίβεια. Αυτή η εργασία οδήγησε επίσης σε νέες ιδέες για την επίλυση των προβλημάτων εντοπισμού του κέντρου των ματιών και της εκτίμησης του βλέμματος, ειδικά σε περιπτώσεις περιορισμένης επίβλεψης, ενώ η χαμηλή πολυπλοκότητα των προτεινόμενων τεχνικών τις καθιστά αξιόπιστη λύση για εφαρμογές πραγματικού χρόνου.