Evrişimsel sinir ağlarını kullanarak sahte yüz görüntülerinin tespit edilmesi
Detection of fake face images using convolutional neural networks
Yazar: EMRE ŞAFAK
Danışman: PROF. DR. NECAATTİN BARIŞÇI
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Sahte yüz içeren görüntü ve videolar en yaygın dijital manipülasyon türüdür. Bu içerikler yanlış bilgilerin yayılmasına neden olarak birçok istenmeyen duruma sebep olabilir. Özellikle sahte yüz görüntüsü üretiminde makine öğrenmesi algoritmalarının kullanılması sahte içeriklerin ayırt edilmesini oldukça zorlaştırmıştır. Yüz manipülasyonları tüm yüz sentezi, kimlik değiştirme, nitelik manipülasyonu ve ifade değiştirme olmak üzere 4 temel gruba ayrılır. Yapılan çalışmada tüm yüz sentezi ile çekişmeli üretici ağlar kullanılarak üretilen sahte yüz görüntülerinin tespit edilebilmesi için hafif evrişimsel sinir ağları kullanılmıştır. Eğitim işleminde kullanılan veri setinde FFHQ veri setindeki 70.000 gerçek görüntü ile FFHQ veri seti kullanılarak StyleGAN2 ile üretilen 70.000 sahte görüntü yer almaktadır. Veri setinin %80'i eğitim %20'si test işlemi için kullanılmıştır. İlk olarak eğitim işlemi için MobileNet, MobileNetV2, EfficientNetB0 ve NASNetMobile evrişimsel sinir ağları ayrı ayrı eğitilmiştir. Eğitim işleminde modeller ImageNet üzerinde ön eğitilmiş olarak transfer öğrenme ile tekrar kullanılmıştır. İlk eğitimler sonucunda EfficientNetB0 algoritması %93,64 ile en yüksek doğruluk oranına ulaşmıştır. Doğruluk oranını artırabilmek için en yüksek EfficientNetB0 algoritmasına transfer öğrenme için ReLU aktivasyon fonksiyonuna sahip iki yoğun katman (256 nöron), iki bırakma katmanı, bir düzleştirme katmanı, ReLU aktivasyon fonksiyonuna sahip bir yoğun katman (128 nöron) ve sınıflandırma için kullanılan softmax aktivasyon fonksiyonuna sahip iki düğümlü yoğun katman eklenmiştir. Bu işlem sonucu EfficientNetB0 algoritmasıyla %95,48 doğruluk oranına ulaşılmıştır. Son olarak %95,48 doğruluk oranına ulaşan model ile MobileNet ve MobileNetV2 modelleri yığınlama topluluk öğrenme yöntemi ile birlikte eğitilerek %96,44 ile en yüksek doğruluk oranına ulaşılmıştır.

Abstract:
Images and videos containing fake faces are the most common type of digital manipulation. These contents can cause many negativities by causing fake information to be spread. The use of machine learning algorithms in the production of fake face images has made it very difficult to distinguish fake content. Face manipulations are divided into 4 basic groups; entire face synthesis, face identity manipulation (deepfake), facial attribute manipulation, and facial expression manipulation. In the study, lightweight convolutional neural networks were used to detect fake face images produced by using entire face synthesis and generative adversarial networks. The dataset used in the training process includes 70,000 real images in the FFHQ dataset and 70,000 fake images produced with StyleGAN2 using the FFHQ dataset. 80% of the dataset was used for training and 20% for testing. Firstly MobileNet, MobileNetV2, EfficientNetB0 and NASNetMobile convolutional neural networks are separately trained for the training process. In the training the models were pre-trained on ImageNet and reused with transfer learning. As a result of the first trainings EfficientNetB0 algorithm reached the highest accuracy  of 93.64%. EfficientNetB0 algorithm revised to increase the accuracy rate two dense layers (256 neurons) with ReLU activation, two dropout layers, one flatting layer, one dense layer (128 neurons) with ReLU activation function and softmax activation function used for classification dense layer with two nodes. As a result of this process accuracy rate of 95.48% was achieved with EfficientNetB0 algorithm. Finally the model that reached 95.48% accuracy, MobileNet and MobileNetV2 models were trained together with the stacking ensemble learning method, and the highest accuracy rate was achieved with 96.44%.