Hafif Evrişimsel Sinir Ağları Kullanılarak Sahte Yüz Görüntülerinin Tespiti
Detection of Fake Face Images Using Lightweight Convolutional Neural Networks
Yazar: Şafak, Emre; Barışçı, Necaattin
Dergi: El-Cezeri, Vol. 9 No. 4, 2022
Anahtar kelimeler: Engineering ; Mühendislik ; Sahte Yüz Tespiti,Yüz Manipülasyon Tespiti,Hafif Model,Derin Öğrenme,Transfer Öğrenme ; Fake Face Detection,Face Manipulation Detection,Lightweight Model,Deep Learning,Transfer Learning

Sahte yüz bulunan görüntü ve video içerikleri en yaygın dijital manipülasyon türüdür. Genellikle eğlence amaçlı üretilen bu içerikler zararlı sonuçlar doğurabilir. Sahte yüz görüntüsü üretiminde makine öğrenmesi algoritmaları kullanılmaya başlanmıştır. Makine öğrenmesi algoritmaları ile gerçeğe oldukça yakın yüz manipülasyonları yapılabilmektedir. Bu nedenle gerçek ile sahte içeriklerin ayırt edilebilmesi oldukça zorlaşmıştır. Yüz manipülasyonları tüm yüz sentezi, kimlik değiştirme, nitelik manipülasyonu ve ifade değiştirme olmak üzere 4 temel gruba ayrılır. Tüm yüz sentezi ile çekişmeli üretici ağlar kullanılarak gerçekte olmayan yüzler üretilmektedir. Kimlik değiştirme video içerisindeki kişinin yüz görüntüsünün başka bir yüz ile değiştirilmesidir. Nitelik manipülasyonu yüzün cilt, cinsiyet, yaş, gözlük, saç rengi vb. özelliklerinin değiştirilmesidir. İfade değiştirme manipülasyon yöntemi kişinin yüz ifadesinin değiştirilmesidir. Yapılan çalışmada tüm yüz sentezi manipülasyon yöntemi ile üretilen sahte yüz görüntülerinin tespiti için hafif evrişimsel sinir ağları kullanılmıştır.  Eğitim işlemi için MobileNet, MobileNetV2, EfficientNetB0 ve NASNetMobile algoritmaları kullanılmıştır. Kullanılan veri setinde FFHQ veri setindeki 70.000 gerçek görüntü ile FFHQ veri seti kullanılarak StyleGAN2 ile üretilen 70.000 sahte görüntü yer almaktadır. Eğitim işleminde modellerin ImageNet veri seti üzerinde eğitilmiş ağırlıkları transfer öğrenme ile tekrar kullanılmıştır. EfficientNetB0 algoritmasında %93,64 başarı oranı ile en yüksek doğruluk oranına ulaşılmıştır.

Fake face images and videos are the most common type of digital manipulation. These content which are usually produced for entertainment purposes can have harmful consequences. Machine learning algorithms have started to be used in recent applications in fake face image processing. With machine learning algorithms, realistic facial manipulations can be made. Therefore, it has become very difficult to distinguish between real and fake content. Face manipulations are divided into 4 basic groups; entire face synthesis, face identity manipulation (deepfake), facial attribute manipulation, and facial expression manipulation. Faces that are not real are produced using entire face synthesis generative adversarial networks. In the identity change method the face image of the person in the video is replaced with another face. Attribute manipulation of face can be changed by skin, gender, age, glasses, hair color, etc. changing its properties. Expression manipulation method is to change the facial expression of the person. In this study, lightweight convolutional neural network algorithms were used to detect fake face images produced by entire face synthesis manipulation method. MobileNet, MobileNetV2, EfficientNetB0 and NASNetMobile algorithms were used for the training process. The dataset used includes 70,000 real images in the FFHQ dataset and 70,000 fake images produced with StyleGAN2 using the FFHQ dataset. In the training process, the weights of the models trained on the ImageNet dataset were reused with transfer learning. In the EfficientNetB0 algorithm, the highest accuracy rate was achieved with a accuracy of 93.64%.