Dönüştürücü tabanlı çekişmeli üretici ağlar ile yüz ifadelerindeki değişimin analizi
Analysis of change in facial expressions with transformer-based generative adversarial networks
Yazar: NARMIN YAGUBBAYLI
Danışman: DR. ÖĞR. ÜYESİ MERT BAL
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Matematik Mühendisliği Ana Bilim Dalı / Matematik Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Yüz ifadeleri insanların duygularını iletmesinde önemli bir yol olmakla beraber; yoğunluğu, nüansı ve belirsizliği açısından da benzersizdir. Yüz ifadeleri, sözlü olmayan iletişimde insan duygularını ifade etmede ve anlamada önemli bir unsurdur. Deneyimlenen duygu ile ifade arasındaki ilişki karmaşıktır ve henüz tam olarak anlaşılamamıştır. Farklı duygular bazen aynı ifadeyi bile oluşturabilmektedir, çünkü duygular yüz kaslarının hareketleri ile ifade edilmektedir. Bu durum, insan duygularını anlama konusundaki birçok sorunun yalnızca başlangıcıdır. Duygu analizi konusunda birçok çalışma yapılmıştır ve her bir çalışma farklı teknikler, algoritmalar ve yöntemler kullanmıştır.
Son yıllarda, dönüştürücü modeli, derin öğrenme alanındaki ilerlemelerin ana unsurlarından biri haline gelmiştir. 2017'deki ilk ortaya çıkışından sonra dönüştürücü mimarisi gelişerek, farklı türleri ortaya çıkmıştır. Genellikle doğal dil işlemede başarılı sonuçlar göstererek yaygınlaşmaya başlamış olsa da sonradan farklı alanlarda kullanılmaya başlanmıştır. Dönüştürücüler, dikkat mekanizmasına dayalı bir makine öğrenme modelidir. Bu tez kapsamında dönüştürücülerin duygu analizi alanında sentetik veri üretme üzerindeki başarısı analiz edilmiştir.
Önceki çalışmalarda çekişmeli üretici ağ(GAN) modelinin üretici bölümünde evrişimsel sinir ağları (CNN) kullanılarak duygu analizindeki başarısı ele alınmıştır. Bu tez çalışmasında ise üretici bölümünde CNN modülü yerine dönüştürücü kullanılarak yeni bir model olarak dönüştürücü tabanlı GAN oluşturulmuştur. Çalışmanın temel odak noktası; görsellerdeki insan duygularının değiştirilmesinde dönüştürücü tabanlı üreticinin başarısını ölçmektir. Geliştirilen GAN modelinde farklı duygu sınıflarına ait daha gerçekçi sentetik veriler üretmek için Vision Transformer kullanılmış ve CNN ile karşılaştırıldığında AffectNet veri seti üzerinde daha başarılı olduğu gösterilmiştir.

Abstract:
Facial expressions are an important means for conveying people's emotions. They are unique in terms of intensity, nuance, and ambiguity. Facial expressions play a significant role in nonverbal communication, expressing and interpreting human emotions. The relationship between experienced emotion and expression is complex and not yet fully understood. Different emotions can sometimes produce the same expression because emotions are expressed through the movement of facial muscles. This situation is only the beginning of many challenges in understanding human emotions. Numerous studies have been conducted on emotion analysis, each using different techniques, algorithms, and methods.
In recent years, the transformer model has become one of the common elements of progress in the field of deep learning. Since 2017, the transformer architecture has evolved and given rise to different types. While initially gaining popularity for successful results in natural language processing, transformers have been subsequently employed in various domains. Transformers are machine learning models based on the attention mechanism. In this thesis, the success of transformers in generating synthetic data for sentiment analysis has been analyzed.
Previous studies have explored the use of convolutional neural networks (CNN) in the generator part of the GAN model for sentiment analysis. However, in this thesis, a transformer-based GAN model is created by using transformers instead of a CNN module in the generator part. The main focus of the study is to measure the success of the transformer-based generator in altering human emotions in images. The Vision Transformer is employed in the developed GAN model to generate more realistic synthetic data for different emotion classes, and it has been demonstrated to be more successful than CNN-based generator model on the AffectNet dataset.