Quantum transfer öğrenmesi ve sınıf dikkat mimarisi ile deepfake tespiti
Deepfake detection with quantum transfer learning and class attention architecture
Yazar: BEKİR ERAY KATI
Danışman: PROF. DR. ECİR UĞUR KÜÇÜKSİLLE ; DR. ÖĞR. ÜYESİ GÜNCEL SARIMAN
Süleyman Demirel Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Yapay zeka = Artificial intelligence

Özet:
Günümüzde yaygınlaşan internet kullanımı, dijital içeriklerin üretimindeki artışla birlikte bilgi güvenliği ve manipülasyon konularında büyük sorunları da beraberinde getirmiştir. Deepfake tespiti, yapay olarak üretilen videolardaki sahte unsurları belirlemek için çeşitli derin öğrenme ve yapay zeka tekniklerinin kullanıldığı bir süreçtir.
Bu tez çalışmasında, sahte video tespiti için Quantum Transfer Öğrenme (QTL) ve Vision Transformer (ViT) mimarilerinin kombinasyonu kullanılarak yenilikçi bir model geliştirilmiştir. Çalışmada, DFDC (Deepfake Detection Challenge) veri seti üzerinde eğitim gerçekleştirilmiş ve QTL ile ViT teknolojileri birleştirilerek uzamsal ve zamansal tutarsızlıkları algılayabilen bir sistem oluşturulmuştur. Veri seti üzerinde literatürdeki ön işleme çalışmalarına ek olarak, derin öğrenme modellerinin gereksinimlerine uygun özgün bir veri işleme yöntemi geliştirilmiştir.
QTL'nin quantum hesaplama avantajları ve ViT'nin görsel verilerdeki küresel özellik çıkarma yetenekleri birleştirilmiştir. Elde edilen sonuçlar, önerilen yöntemin %90 doğruluk oranı ve 0.94 ROC AUC ile deepfake tespitinde dikkate değer bir başarı elde ettiğini göstermiştir. Modelin başarısı, DFDC veri setinde elde edilen diğer çalışmalarla kıyaslanmış ve kaynak verimliliği açısından öne çıkan bir çözüm sunduğu tespit edilmiştir.
Elde edilen bulgular, önerilen QTL-ViT tabanlı sistemin deepfake tespiti için güçlü bir temel sunduğunu ve literatüre önemli bir katkı sağladığını ortaya koymuştur. Gelecek çalışmalar için modelin gerçek quantum cihazlarında test edilmesi ve daha büyük veri setleri üzerinde uygulanması önerilmektedir.

Abstract:
Today's widespread use of the internet, along with the increase in the production of digital content, has brought with it major issues of information security and manipulation. Deepfake detection is a process where various deep learning and artificial intelligence techniques are used to identify fake elements in artificially generated videos.
In this thesis, an innovative model for fake video detection is developed using a combination of Quantum Transfer Learning (QTL) and Vision Transformer (ViT) architectures. In the study, training was performed on the DFDC (Deepfake Detection Challenge) dataset and a system that can detect spatial and temporal inconsistencies was created by combining QTL and ViT technologies. In addition to the existing preprocessing studies in the literature on the dataset, a unique data processing method suitable for the requirements of deep learning models has been developed.
The quantum computing advantages of QTL and the global feature extraction capabilities of ViT in visual data are combined. The results show that the proposed method achieves remarkable success in deepfake detection with an accuracy of 90% and an ROC AUC of 0.94. The success of the model is compared with other studies on the DFDC dataset and it is found that it offers a prominent solution in terms of resource efficiency.
The findings reveal that the proposed QTL-ViT-based system provides a strong foundation for deepfake detection and makes a significant contribution to the literature. For future work, it is recommended to test the model on real quantum devices and apply it on larger datasets.