Τεχνικές ψηφιακής επεξεργασίας εικόνας και βίντεο με εφαρμογή στην αναγνώριση συναισθηματικής κατάστασης
Creators: name: Κώτσια, Ειρήνη Σ.
Publisher: name: Aristotle University of Thessaloniki
Year: 2008
Subjects: Αναγνώριση εκφράσεων προσώπου
Μηχανές εδραίων διανυσμάτων
Μονάδες ενεργειών προσώπου
Διακριτή ανάλυση μη αρνητικών πινάκων
Μίξη πληροφορίας υφής και σχήματος
Μερική απόκρυψη εικόνας προσώπου
Facial expressions recognition
Support vector machines (SVMs)
Facial action units (FAUs)
Partial occlusion of facial images
Texture and shape information fusion

description: Η διδακτορική διατριβή πραγματεύεται τεχνικές επεξεργασίας εικόνας και βίντεο για την αναγνώριση εκφράσεων προσώπου. Παρουσιάζεται μια νέα μέθοδος αναγνώρισης των έξι βασικών εκφράσεων προσώπου(θυμός, αηδία, φόβος, χαρά, λύπη και έκπληξη) σε πραγματικό χρόνο. Η κατηγοριοποίηση πετυχαίνεται χρησιμοποιώντας ένα σύστημα πρωτότυπων Μηχανών Εδράνων Διανυσμάτων [Support vector Machines (SVMs)]. Ακολούθως, προτείνεται μία νέα μέθοδος Διακριτής Ανάλυσης Μη Αρνητικών Πινάκων (Discriminant Non Negative Matrix factorization (DNMF)], η οποία χρησιμοποιεί προβεβλημένα διανύσματα κλίσεων (projected gradients) για να διασφαλέσει τη στασιμότητα του οριακού σημείου του προβλήματος βελτιστοποίησης. Για να επιτευχθεί και η αναγνώριση της ουδέτερης κατάστασης προτείνεται μια νέα μέθοδος, η οποία συνδυάζει πληροφοριών υφής και σχήματος, χρησιμοποιώντας ποικίλλες μεθόδους, όπως τα Νευρωνικά Δίκτυα Ακτινικών Συναρτήσεων Βάσης Μεσαίων και τα SVMs. Τέλος, παρουσιάζεται μια ανάλυση της επίδρασης της μερικής απόκρυψης (απόκρυψη περιοχής ματιών, στόματος) στην αναγνώριση έξι βασικών συναισθημάτων από ανθρώπινους παρατηρητές αλλά και από αρκετά συστήματα
description: The main field of interest of this thesis includes computational intelligence and image processing techniques in order to recognize facial expressions in images and video. More specifically, a new method for the real-time recognition of the six facial expressions (anger, disgust, fear, happiness, sadness and surprise) is proposed. The information taken under consideration consists of the coordinate differences extracted from the deformed grids calculated between the neutral state and the greatest facial expression intensity, as depicted in the video. The classification is achieved by using either a novel multi-class Support Vector Machines (SVMs) system for the direct recognition of facial expressions or many two-class SVMs systems for the recognition of facial expressions using the activated Facial Action Units (FAUs) that were detected. Moreover, a new Discriminant Non Negative Matrix Factorization (DNMF) method that uses projected gradients to ensure the stability of the limit point of the optimization problem, is proposed. The method is applied in facial expression recognition and frontal face verification problems. Furthermore, in order to achieve neutral state recognition, a new method that combines two sources of information (texture and shape) to achieve classification is presented. The fusion of the two kinds of information is performed using various methods, such as Median Radial Basis Function (MRBF) Neural Networks (NN) and SVMs, having as an input the outputs of the classification systems for each information source (texture and shape) and as an output the recognized facial expression or the set of the activated FAUs. The recognition of the neutral state makes the recognition of facial expressions in every video frame feasible. Finally, an analysis of the way partial occlusion affects the facial expression recognition is presented. More specifically, the effect of eyes or mouth occlusion on the recognition of the six basic facial expressions by human observers, experts or not, as well as by many facial expression recognition systems, is studied