Derin öğrenme algoritmalarını kullanarak deepfake video tespiti
Deepfake video detection using deep learningalgorithms
Yazar: ŞAHİN KORKMAZ
Danışman: PROF. DR. MUSTAFA ALKAN
Gazi Üniversitesi / Bilişim Enstitüsü / Adli Bilişim Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Deepfake videolar özellikle son yıllarda çok fazla dikkat çeken alanlardan birisidir. Sosyal ağların artan popülaritesi neticesinde mobil cihazların gelişmiş kameraları ile oluşturulan video ve görüntülerin düzenlenmesi ve paylaşılması geçmiş döneme göre daha erişilebilir bir düzeye ulaşmıştır. Deepfake tekniği ile oluşturulan ve sosyal ağlarda dağıtımı yapılan birçok sahte görüntü ve video, sadece kişilerin özel hayatını değil, aynı zamanda toplum düzenini de tehdit etmektedir. İnsan yüzü, insanlar arası etkileşimde ve biyometrik tabanlı doğrulama sistemlerinde halihazırda önemli bir role sahiptir. Bu nedenle, yüz karelerinde küçük çaplı kurgusal işlemler dahi, güvenlik uygulamalarına ve sayısal verilere olan güveni sarsabilecektir. Bu çalışmada, deepfake video tespiti modelinin oluşturulmasında bir sınıflandırma probleminin çözümü yaklaşımı benimsenmiştir. Öznitelik çıkarıcı olarak önceden eğitilmiş EfficientNet model ailesi kullanılmış ve tahminin çıktısını elde etmek için bunun üzerinde bir sınıflandırıcı eğitilmiştir. Modelin eğitilmesinde yine derin öğrenme tabanlı yöntemlerle üretilen ve en büyük deepfake veri setlerinden olan DFDC veri seti kullanılmıştır. Derin öğrenme algoritma ve kütüphanelerinden yararlanılmış ve belirlenen videonun gerçek mi yoksa sahte mi olduğuna karar vermek için eğitilen EfficientNet model ailesinden başarımı en yüksek olan EfficientNetB4 modeli seçilmiştir. Modelin gerçeklemesi, Jupyter Notebook platformu kullanılmak suretiyle yapılmıştır. Bu kapsamda, gelştirilen uygulama ile CelebDF veri setinden rastsal olarak seçilen videolara ilişkin tahmin skoru üretilmiştir.

Abstract:
Deepfake videos are one of the areas that have attracted a lot of attention, especially in recent years. As a result of the increasing popularity of social networks, editing and sharing videos and images created with advanced cameras of mobile devices reached a more accessible level than before. Many fake images and videos created with the deepfake techniques and distributed on social networks threaten not only the private life of individuals, but also the public order. The human face always has an important role in human interaction and biometric-based verification systems. Therefore, even minor manipulations of face frames can undermine trust in security applications and digital data In this study, a classification problem solution approach adopted in the creation of the deepfake video detection model. Pre-trained EfficientNet model family is used as feature extractor and a classifier was trained on it to get the output of the prediction. The DFDC dataset, which is one of the largest deepfake datasets and produced by deep learning-based methods, was used to train the model. Deep learning algorithms and libraries were used and the EfficientNetB4 model with the highest performance was selected from the EfficientNet model family, which was trained to decide whether the determined video is real or fake. The implementation of the model was made using the Jupyter Notebook platform. In this context, with an application, a prediction score was produced for the videos randomly selected from the CelebDF data set.