Yüz ifadelerine göre otomatik duygu tespiti
Automatic emotion detection according to facial expressions
Yazar: ÇAĞLAR ATILGAN
Danışman: PROF. DR. ENGİN AVCI
Fırat Üniversitesi / Fen Bilimleri Enstitüsü / Yazılım Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2019
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Yüz ifadeleri insanların büyük oranda kontrolü dışında gerçekleşen ve hissettikleri duygularını karşısındakine aktardığı en temel davranıştır. Yüz ifadeleri insanlar arasında kurulan etkileşimde önemli rol oynamaktadır. İnsanların anlatmak istedikleri bilgiyi karşısındakine iletmenin birincil yoludur. Yüz ifadelerinin bilgisayar tarafından otomatik olarak tanınması kötü niyetli kişilere karşı tedbir alma, yeni doğan bebeklerde ağrı teşhisi, güvenli sürüş için yorgunluk tespiti, ruh haline göre müzik çalma listesi oluşturma, canlı emoji yaratma gibi birçok farklı alanda kullanılmakta olup hem akademik hem de ticari çalışmalarda oldukça ilgi görmektedir.
Bu çalışmada yapay sinir ağları kullanılarak gerçek zamanlı alınan görüntüler üzerinde yer alan kişiye ait kızma, küçümseme, iğrenme, korkma, mutlu olma, üzgün olma, şaşırma gibi evrensel 7 yüz ifadesinin ve yalın halinin tespiti irdelenmiştir. Yüz ifadelerinin tespiti için yüz bölgesinde yer alan kaş, göz, burun, ağız ve çenenin yerlerini tam olarak işaretleyen nirengi noktalarından yararlanılmıştır. Bu noktalar kullanılarak yüz bölgesinde yer alan ağız, kaş, göz gibi yüz ifadesi belirleyicilerin durumu hakkında çıkarımlar yapılmıştır. Her bir belirleyicinin durumu veya belirleyiciler arasındaki ilişkiler için noktalar arası uzaklıklar kullanılmıştır. Bu uzaklıklar ile ağızın açıklığı, gözün kısılması, kaşların kalkması gibi durumların ifade edilebilmesi sağlanmıştır.
Geniş kapsamlı bir çalışma sonucu oluşturulmuş olan Cohn Kanade Extended resim veri tabanı kullanılarak seçilen 4000'in üzerinde resim üzerinde eğitilen yapay sinir ağı ile %65 doğruluk oranına erişilmiştir. Çalışma ile gerçek zamanlı olarak alınan görüntülerden kişinin yaşından, cinsiyetinden ve ten renginden bağımsız olarak özellikle mutlu, şaşkın ve üzgün olmak üzere yüksek doğruluk oranlarıyla yüz ifadeleri tespit edilebilmektedir.

Abstract:
Facial expressions are the most basic behaviors of people that are largely out of control and convey their feelings to the other person. Facial expressions play an important role in the interaction between people. It's the primary way people pass on the information they want to tell. Automatic recognition of facial expressions by computer is used in many different areas such as taking precautions against malicious people, diagnosing pain in newborn babies, detecting fatigue for safe driving, creating music playlists according to mood, and creating live emoji. interest.
In this study, the determination of 7 facial expressions such as anger, disdain, disgust, fear, happiness, sadness and surprise on the images taken in real time by using artificial neural networks were examined. To determine the facial expressions, the triangulation points in the face region, which mark the exact locations of the eyebrows, eyes, nose, mouth and chin were used. Using these points, inferences were made about the status of facial expression markers such as mouth, eyebrow and eye in the face area. Distances between points are used for the status of each determinant or for relationships between determinants. With these distances, it is provided to express the conditions such as opening of the mouth, narrowing of the eye and lifting of the eyebrows.
As a result of a comprehensive study, Cohn Kanade Extended image database has been used to reach 65% accuracy with artificial neural network trained on more than 4000 images. In this study, facial expressions can be detected from the images taken in real time regardless of the age, sex and skin color of the person with high accuracy rates, especially happy, confused and sad.