Altın orana dayalı iyileştirilmiş kapsül ağlarının füzyonu ile derin sahte video tespiti
Deep fake video detection by fusion of optimized capsule networks based on golden ratio
Yazar: SAMET DİNÇER
Danışman: PROF. DR. GÜZİN ULUTAŞ
Karadeniz Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Siber Güvenlik Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Derin sahte videolar, gelişmiş yapay zekâ teknikleri kullanılarak üretilen sahte dijital içeriklerdir ve son yıllarda büyük bir tehdit haline gelmiştir. Bu videoların tespiti, toplumsal güvenliği ve kişisel mahremiyeti koruma açısından kritik bir önem taşımaktadır. Derin sahte video tespiti sürecinde, yüzdeki altın oran bilgisi kullanılarak çerçeve seçimi gerçekleştirilmiştir. Altın oran, yüzün estetik ve simetrik görünmesini sağlayan oranlar kullanılarak hesaplanır ve en uygun çerçeveler bu kritere göre seçilir. Bu yöntem, tespit sürecinin genel performansını artırmakta ve işlem süresini optimize etmektedir. Çalışmada, derin sahte videoların tespiti için özellik çıkarıcıların kullanımı ve kapsül ağı tabanlı sınıflandırma ağlarının kullanımı ve bunların füzyonu aşamaları uygulanmıştır. İlk olarak, VGG19, Efficient-Net B0 ve Efficient-Net B4 gibi derin ağ modelleri, video karelerinden anlamlı özelliklerin çıkarılmasında kullanılmıştır. Özellik çıkarma işlemi sonrası, bu özellikler kapsül ağı tabanlı sınıflandırıcı ağlara giriş olarak verilmiştir. Capsule Forensics ve ArCapsNet gibi kapsül ağı mimarileri kullanılmıştır. Deneysel sonuçlar, önerilen yöntemin mevcut derin sahte video tespit yöntemlerine kıyasla daha yüksek doğruluk ve güvenilirlik sağladığını göstermektedir. Çalışma, derin sahte video tespitinde yeni ve etkili bir yaklaşım sunarak, bu alandaki literatüre önemli bir katkı sağlamaktadır.

Abstract:
Deepfake videos are fake digital content produced using advanced artificial intelligence techniques and have become a major threat in recent years. Detecting these videos is critical for protecting public safety and personal privacy. In the deepfake video detection process, frame selection is performed using the golden ratio information on the face. The golden ratio is calculated using ratios that ensure the face appears aesthetically pleasing and symmetrical, and the most suitable frames are selected according to this criterion. This method improves the overall performance of the detection process and optimizes processing time. In this study, the stages of using feature extractors, capsule network-based classification networks, and their fusion were applied for deepfake video detection. First, deep network models such as VGG19, Efficient-Net B0, and Efficient-Net B4 were used to extract meaningful features from video frames. After the feature extraction process, these features were input into capsule network-based classifier networks. Capsule network architectures such as Capsule Forensics and ArCapsNet were used. Experimental results show that the proposed method provides higher accuracy and reliability compared to existing deepfake video detection methods. The study offers a new and effective approach to deepfake video detection, making a significant contribution to the literature in this field.