Ανάπτυξη Συστήματος Παρακολούθησης Οφθαλμού για ́Εξυπνες Φορητές Συσκευές με στόχο τη Μέτρηση της Οπτικής Προσοχής
Creators: name: Χάμου, Δήμητρα Βασιλείου
Publisher: name: Aristotle University of Thessaloniki
Year: 2020
Subjects: Παρακολούθηση οφθαλμών στην ιατρική
Τεχνολογία παρακολούθησης οφθαλμών σε φορητές συσκευές
Οπτική προσοχή
Eye tracking in Medicine
Eye tracking in mobile devices
Visual attention

description: Ένα προηγμένο σύστημα ανίχνευσης του βλέμματος μπορεί να προσφέρει ερευνητικές ευκαιρίες σε εφαρμογές της καθημερινής ζωής, ιδιαίτερα στον τομέα της. Ένα κινητό τηλέφωνο, χωρίς επιπρόσθετο υλικό, μπορεί να γίνει μια προηγμένη ιατρική συσκευή παρακολούθησης των κινήσεων του οφθαλμού και κατ’ επέκταση μελέτη της εγκεφαλικής και συμπεριφορικής δραστηριότητας. Γι’ αυτό το λόγο η αποδοτική υλοποίηση ενός ολοκληρωμένου συστήματος παρακολούθησης του βλέμματος για την μέτρηση της οπτικής προσοχής με αξιοπιστία είναι ένα κρίσιμο ζήτημα στην εξέλιξη της τεχνολογίας της παρακολούθησης των οφθαλμών. Η παρούσα διπλωματική εργασία διερευνά τις τεχνικές παρακολούθησης του ανθρώπινου οφθαλμού και τη χαρτογράφηση του πεδίου της καταγραφής του βλέμματος υλοποιώντας μια εφαρμογή σε έξυπνα κινητά τηλέφωνα Android για την ανίχνευση των οφθαλμών και της κίνησης τους. Οι αλγόριθμοι που υλοποιούνται και τα εργαλεία που χρησιμοποιούνται έχουν ως στόχο την μέτρηση της οπτικής προσοχής μέσω παραμέτρων, όπως της καταγραφής του βλέμματος συνδιαστικά με τις μετρήσεις του αριθμού του βλεφαρίσματος σε έξυπνα κινητά τηλέφωνα στον κλάδο της Ιατρικής Πληροφορικής. Στην εφαρμογή που αναπτύχθηκε γίνεται καταγραφή δύο παραμέτρων που σχετίζονται με την οπτική προσοχή. Πρώτον, καταγράφεται η κατεύθυνση του βλέμματος του χρήστη ώστε να προσεγγιστεί η περιοχή της οθόνης όπου κοιτάει ο χρήστης και δεύτερον, υπολογίζεται ο αριθμός των βλεφαρισμάτων για να εκτιμηθεί η ταχύτητα βλεφαρίσματος, καθώς και να διεξαχθεί ο έλεγχος της συσχέτισης των συνολικών βλεφαρισμάτων, με το ενδιαφέρον του χρήστη για το παρατηρούμενο περιεχόμενο. Η καταγραφή επιτυγχάνεται μέσω απλής απεικόνισης κειμένων ανομοιογενούς περιεχομένου σε διαφορετικές περιοχές της οθόνης, η οποία είναι χωρισμένη σε τέσσερα τεταρτημόρια, με σκόπο να κατευθύνουν το βλέμμα του χρήστη στην οθόνη του κινητού. Η αξιολόγηση του συστήματος πραγματοποιήθηκε μέσω πιλοτικής μελέτης σε περιορισμένο αριθμό εθελοντών σε ελεγχόμενες πειραματικές συνθήκες για την εξαγωγή συμπερασμάτων, όσον αφορά την επιλογή των δεικτών μέτρησης της οπτικής προσοχής και την μέτρηση της ακρίβειας της υλοποίησης του ολοκληρωμένου συστήματος. Για τον προσδιορισμό και την ταξινόμηση της κατεύθυνσης του βλέμματος στην οθόνη της φορητής συσκευής, υλοποιήθηκαν διάφοροι αλγόριθμοι ταξινόμησης μηχανικής μάθησης, επικεντρώνοντας σε μεγαλύτερο βαθμό στον ταξινομητή του δέντρου αποφάσεων που πέτυχε τα μεγαλύτερα ποσοστά ακρίβειας. Η ανάλυση των αποτελεσμάτων απέδωσε αξιόλογα αποτελέσματα, τα οποία οπτικοποιήθηκαν σε κατάλληλα διαγράμματα για την απόδοση ολοκληρωμένης και κατανοητής εικόνας σχετικά με το σύστημα μελέτης ανίχνευσης. Μετά από τη συγκριτική μελέτη μεταξύ ολόκληρου του συνόλου δεδομένων των μέτρησεων του βλέμματος και των βλεφαρισμάτων που καταγράφηκαν, αποδείχθηκε ότι το σύστημα αποδίδει μεγαλύτερης ακρίβειας αποτελέσματα για κάθε μεμονωμένο χρήστη σε αντίθεση με το ολόκληρο σύνολο, γι' αυτό το λόγο προτείνεται η αρχική βαθμονόμηση κάθε χρήστη του ολοκληρωμένο συστήματος για την επίτευξη μέγιστης απόδοσης του συστήματος. Για την παράμετρο της οπτικής προσοχής χρησιμοποιήθηκε η παράμετρος μέτρησης του αριθμού των βλεφαρισμάτων στη χρήση της εφαρμογής και πραγματοποιήθηκε στατιστικός έλεγχος συσχέτισης των σχετικών μεταβλητών, χωρίς ωστόσο στατιστικά σημαντικά αποτελέσματα λόγω του περιορισμένου μεγέθους του δείγματος. Επιπλέον, έγινε εμπειρική πειραματική ανάλυση στο σύνολο των δεδομένων για τον έλεγχο της υπόθεσης συσχέτισης του αριθμού βλεφαρισμάτων σε σχέση με το ενδιαφέρον που αξιολόγησε ο χρήστης για το περιεχόμενο του κειμένου ανάγνωσης που οδήγησε σε ορισμένα συμπεράσματα για τη οπτική προσοχή του χρήστη.
description: An advanced eye detection system can offer research opportunities in everyday applications, especially in the field of health and in people with mental disorders. A mobile phone, without additional hardware material, can become an advanced medical device for eye movements monitoring and consequently to study of brain and behavioral activity. So, the efficient implementation of a fully embedded eye monitoring and tracking system for the measurement of visual attention with reliability is a critical issue in the evolution of eye tracking technology. This thesis explores the human eye monitoring techniques and mapping the field of eye tracking by implementing an application on Android smartphones to detect the eyes and their movements. The algorithms that are implemented and the tools that are used to measure the visual attention through parameters, such as the gaze tracking in combination with the measurements of the number of blinks on smart mobile phones in the field of Medical Informatics. In the application, two parameters related to visual attention are recorded. First, the direction of the user's gaze is recorded to approach the area of the screen where the user is looking and secondly, the number of blinks is calculated in order to estimate the blinking speed, as well as to check the correlation of the total eye blinks with the user's interest for the observed content. The recording is achieved by simply displaying texts of heterogeneous content in different areas of the screen, which is divided into four quarters, in order to direct the user's gaze to the mobile screen. The system evaluation was carried out through a pilot study on a limited number of volunteers in controlled experimental conditions in order to conclude regarding the selection of the indicators for measuring visual activity and to measure the accuracy of the implementation of the overall system. Gaze classification on the mobile screen achieved by the implementation of various machine learning classification algorithms, focusing more on the decision tree classifier that achieved the highest accuracy percentage. The results analysis yielded on remarkable results, which were visualized in appropriate charts and figures, for the rendering of a complete and comprehensible image of the detection study system. The comparative analysis between the data eye records and total blinks, proved that the system achieves more accurate results for each individual user as opposed to the total dataset, therefore the initial calibration for each user is proposes in order to achieve the maximum system performance. The visual attention parameter was measured by using the total blinks counter and a statistical test of correlation of the relevant variables was performed, without statistically significant results due to the limited sample size. In addition, empirical experimental analysis was performed on the dataset to test the correlation of the number of blinks in relation to the user's interest in the content of the reading text, which led to some conclusions about the user's visual attention.