Xception Derin Öğrenme Modeli ve Gabor Filtreleri ile ÇDÖÖE-DVM Algoritması Kullanılarak Mikro İfadelerin Tanınması
Recognition of Microexpressions Using Xception Deep Learning Model and Gabor Filters with RFECV-SVM Algorithm
Yazar: Uzun, Mehmet Zahit; Başaran, Erdal; Celık, Yuksel
Dergi: Iğdır Üniversitesi Fen Bilimleri Enstitüsü Dergisi, Vol. 13 No. 4, 2023
Anahtar kelimeler: Computer Software ; Bilgisayar Yazılımı ; Micro-expression,optical flow,xception,gabor,RFECV,SVM ; Mikro ifade,Optik akış,Xception,Gabor,ÇDÖÖE,DVM

Mikro ifade (Mİ), insanların riskli bir ortamda bir olaya karşı istemsiz ve kontrolsüz duygusal tepkilerini gizlemeye çalıştıklarında ortaya çıkan sızıntıdır. Duyguyu yaşayan kişi risk altında bunu bastırmaya çalıştığı için yüze yansıması düşük yoğunlukta, belirli bir bölgede ve çok kısa sürede gerçekleşir. İfade istemsizce ortaya çıktığı için sahte değil tamamen doğal olmaktadır. Bu doğal ifadelerin doğru tespiti sayesinde adli, klinik, eğitim gibi birçok alanda etkili bir şekilde kullanılması sağlanabilir. Bu çalışmada Mİ tanıma hedefi için oluşturulan model yapısında sırasıyla önişleme, öznitelik çıkarma, öznitelik seçme ve sınıflandırma görevleri kullanılmıştır. Önerilen model yapısında literatürde en çok kullanılan, kamuya açık Mİ veri setlerinden CASME-II kullanılmıştır. Ön işleme aşamasında Optik Akış algoritmalarında kullanılmak üzere her bir video klipin görüntü dizisinden başlangıç (onset) ve tepe (apex) kareleri seçilir. Bu iki kare kullanılarak Farneback, TV-L1 Dual ve TV-L1 e ait yatay ve dikey optik akış görüntüleri elde edilmiş, ardından bu optik akış görüntüleri evrişimsel sinir ağı (ESA) modeli olan Xception ve geleneksel model olan Gabor modelleri kullanılarak görüntülere ait öznitelikler elde edilmiştir. Elde edilen bu özniteliklere ait ayırt edici olanları filtrelemek için çapraz doğrulama ile özyinelemeli özellik eleme (ÇDÖÖE) öznitelik seçim algoritması kullanılmıştır. Son olarak doğrusal destek vektör sınıflandırıcısı (DVS), filtrelenmiş Mİ özniteliklerini pozitif, negatif ve sürpriz olmak üzere üç sınıfa ayırmıştır. Önerilen Mİ model yapısından elde edilen sonuçlar 0.9248 doğruluk oranı başarısı göstermiştir.

Micro Expression (ME) is the leakage that occurs when people try to mask their involuntary and uncontrolled emotional response to an event in a risky environment. Because the person experiencing the emotion at risk tries to suppress it, its reflection on the face occurs in a low intensity, a specific region, and a very short time. Since the expression emerges involuntarily, it is not fake but completely natural. Thanks to the correct detection of these natural expressions, it can be used effectively in many fields such as forensics, clinical, and education. This study used preprocessing, feature extraction, feature selection, and classification tasks in the framework created for the ME recognition target. CASME-II, one of the literature's most widely used publicly available ME datasets, was used in the proposed framework. In the preprocessing stage, onset and apex Frames are taken from the image sequence of each video clip to be used in optical flow algorithms. These two frames obtained horizontal and vertical optical flow images of Farneback, TV-L1 Dual, and TV-L1. Then the features of these optical flow images were obtained using the convolutional neural network (CNN) model Xception and the traditional Gabor model. Recursive feature elimination with a cross-validation (RFECV) feature selection algorithm was used to filter the distinctive ones of these features. Finally, the SVC Linear classifier divided the filtered ME features into three classes: positive, negative, and surprise. The results obtained from the proposed ME framework showed an accuracy rate of 0.9248.