Ευφυή υποσυστήματα διεπαφής για εφαρμογές συμπεριφορικής πληροφορικής σε έξυπνα φορητές συσκευές
Creators: name: Στεφανόπουλος, Λέανδρος Λάζαρου
Publisher: name: Aristotle University of Thessaloniki
Year: 2016
Subjects: Αυτόματη αναγνώριση συναισθημάτων
Συναισθηματική πληροφορική
Οθόνες αφής
Emotion recognition
Affective pictures
Android

description: Σκοπός της διπλωματικής εργασίας είναι η διερεύνηση της αυτόματης αναγνώρισης συναισθημάτων ενός χρήστη, μέσω της απτικής του συμπεριφοράς, κατά τη χρήση έξυπνων φορητών συσκευών. Υπάρχουν πολλές διαφορετικές τεχνικές για αυτόματη αναγνώριση συναισθημάτων, οι οποίες περιλαμβάνουν κυρίως: ανίχνευση εκφράσεων προσώπου, αναγνώριση φωνητικών μοτίβων, ανάλυση βιοσημάτων κ.α. Σε αυτές τις τεχνικές όμως αντιμετωπίζεται έντονα το πρόβλημα της σωστής ή της παρεμβατικής λήψης δεδομένων. Στην τεχνική που αναπτύχθηκε στο πλαίσιο της διπλωματικής εργασίας, λαμβάνονται τα απτικά δεδομένα του χρήστη της έξυπνης φορητής συσκευής μέσω της οθόνης αφής και αναλύονται στην ίδια τη συσκευή. Αυτή η καινοτόμος τεχνική φέρει πλεονεκτήματα ως προς την εφαρμογή και την μεθόδευσή της. Ενδεικτικά, η προτεινόμενη τεχνική παράγει αποτέλεσμα χωρίς να παρεμβαίνει στην αλληλεπίδραση με τον χρήστη, είτε με πρόσθετες συσκευές είτε με κάποια επιπλέον απαίτηση για την εκτέλεσή της. Ο χρήστης, εκτελώντας την απλή καθημερινή χρήση της προσωπικής του έξυπνης συσκευής Android, τροφοδοτεί με τα απτικά του δεδομένα το υποσύστημα που αναπτύχθηκε στο πλαίσιο της διπλωματικής. Το αλγοριθμικό κομμάτι του υποσυστήματος, επιχειρεί την καταγραφή της απτικής συμπεριφοράς του χρήστη κατά την έκθεσή του σε τέσσερα βασικά συναισθήματα: Ενθουσιασμός, Ηρεμία, Ενόχληση, Ανία. Η απτική συμπεριφορά ανιχνεύεται βάσει τριών διακεκριμένων χαρακτηριστικών: της ασκούμενης πίεσης στην οθόνη αφής ανά πάτημα, της διάρκειας κάθε πατήματος και της χρονικής απόσταση μεταξύ διαδοχικών πατημάτων. Ειδικότερα, αναπτύχθηκε εφαρμογή Android κατά την μοναδική εκτέλεση της οποίας ο χρήστης εκτίθεται στα συναισθήματα μέσω ειδικών εικόνων, των αναφερόμενων ως Affective Pictures. Αμέσως μετά την προβολή μιας ομάδας εικόνων που αφορούν ένα βασικό συναίσθημα, η εφαρμογή καταγράφει μέσω συγκεκριμένης απτικής διαδικασίας τα απτικά χαρακτηριστικά του χρήστη. Κατ’ αυτόν τον τρόπο προκύπτει ένας προσωποποιημένος «χάρτης» αντιστοίχησης απτικής συμπεριφοράς – συναισθημάτων. Στη συνέχεια, εκπαιδεύονται ταξινομητές από τον χώρο της μηχανικής μάθησης ώστε να αναγνωρίζουν τα τέσσερα βασικά συναισθήματα. Για την επίτευξη όλων των ανωτέρω, υλοποιήθηκαν: μία βιβλιοθήκη Android η οποία περιέχει τους αλγορίθμους της ταξινόμησης και επιστρέφει το ανιχνευθέν συναίσθημα και η συνοδευτική της εφαρμογή η οποία αντιστοιχίζει τα συναισθήματα του χρήστη με την απτική του συμπεριφορά. Αυτά τα δύο εργαλεία ενσωματώνονται εύκολα σε εφαρμογές όπου επιθυμείται η χρήση της τεχνικής. Για την αξιολόγηση των εργαλείων διεξήχθη πείραμα με 20 εθελοντές σε ελεγχόμενες πειραματικές συνθήκες. Τα συλλεγμένα δεδομένα δοκιμάστηκαν υπό διάφορους ταξινομητές και η ανάλυσή τους απέδωσε αξιόλογα αποτελέσματα
description: This paper aims to investigate the sector of emotion recognition through the user’s haptic behavior when using smart portable devices. There are many different techniques for emotion recognition, including; facial expression investigation, vocal pattern recognition, biosignal analysis etc. These techniques however, face the problem of using correct or interventional data taking. In this paper we receive the haptic data of the user through the touch screen and all data is analyzed in the same device. This innovative technique carries many advantages regarding its implementation and process. The proposed technique produces results without interfering with the user, for example without the use of additional devices or additional requirements for running. Through simple everyday use of his Android smart device, the user gives feedback for all haptic data to the subsystem that was developed for use in this paper. The algorithmic part of the subsystem attempts to record the haptic behavior of the user on exposure to four basic emotions; excitement, relaxation, annoyance, boredom. The haptic behavior is detected through three distinct characteristics; the pressure by tap on the touch screen, the duration of the tap, and the temporal distance between successive taps. In specific, an Android application is developed, in the single running of which, the user is exposed to a selected course of emotions through special images, i.e. Affective Pictures (AP). Immediately after the projection of the emotional images of a specific emotion, the application records specific characteristics of the user’s haptic behavior through the use of a specific haptic process. In this way we receive a customized data map referencing haptic behavior to emotions. Classifiers from the field of machine learning are trained to recognize these four basic emotions. To achieve all the above an Android Library was created that contains the classification and emotion callback algorithms and its companion application that correlates emotions with haptic behavior. These tools are easily integrated in applications were the use of this technique is desired. For the evaluation we performed an experiment with 20 volunteers under controlled experimental conditions. The data collected were tested under various classifiers and their analysis yielded significant results