Ses dosyalarına yönelik yapılan kopyala yapıştır ses sahteciliklerinin tespiti
Detection of copy move audio forgeries targeting audio files
Yazar: MUHAMMED KILIÇ
Danışman: PROF. DR. GÜZİN ULUTAŞ
Karadeniz Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Siber Güvenlik Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Günümüzde haberleşme, adli süreçler ve sesli komutla çalışan sistemlerde kullanılan ses kayıtlarının doğruluğu ve güvenilirliği büyük önem taşımaktadır. Ses kayıtları, kişilerin izni dahilinde veya rızası olmadan elde edilebilmektedir ve bu kayıtlar sahte ses üretimi amacıyla kullanılabilmektedir. Ses üzerinde yapılan sahtecilik işlemlerinden en yaygın ve gerçekleştirilmesi kolay olanı kopyala yapıştır işlemidir. 
Kopyala yapıştır ses sahteciliği tespiti için iki yöntem önerilmiştir: anahtar noktalarının kümelendirilmesi ve sesten elde edilen graf görüntülerinin sınıflandırılması. İlk yöntemde, BRIEF, AKAZE, SIFT ve SURF teknikleri kullanılarak anahtar noktalar ve tanımlayıcılar çıkarılmış, ardından bu tanımlayıcılar OPTICS, k-Means ve g2NN algoritmaları ile kümelendirilmiştir. Bu yöntem, TIMIT verisetinde ataksız sahte seslerde ve çeşitli saldırı senaryolarında ortalama 0.90 duyarlılık elde etmiştir. İkinci yöntemde, yüksek çözünürlüklü spektrogramdan elde edilen SIFT anahtar noktaları g2NN kullanılarak kümelendirilmiş, yoğun eşleşme bölgeleri tespit edildikten sonra bu bölgeye ait frekans aralığı belirlenmiş ve ses, band geçiren süzgeçten geçirilmiştir. Hızlı Fourier Transform ile frekans uzayına geçilerek, önerilen sarmal yapı sayesinde çerçeve bazında özellikler çıkarılmış ve bu özelliklerden graf görüntüleri oluşturulmuştur. Graf görüntülerinin sınıflandırılmasıyla, sesler sahte veya orijinal olarak etiketlenmiş ve bu yöntem Arabic, TIMIT ve Türkçe veri setlerinde sırasıyla 0.95, 0.87 ve 0.92 F-skoru ile başarı göstermiştir.

Abstract:
In today's world, the accuracy and reliability of audio recordings used in communication, judicial processes, and voice-activated systems are of great importance. Audio recordings can be obtained with or without the consent of individuals, and these recordings can be used to create fake audio. The most common and easily performed type of audio forgery is the copy-paste operation.

Two methods have been proposed for detecting copy move audio forgery: clustering of key points and classification of graph images derived from audio. In the first method, key points and descriptors were extracted using BRIEF, AKAZE, SIFT, and SURF techniques, and these descriptors were then clustered using the OPTICS, k-Means, and g2NN algorithms. This method achieved an average recall of 0.90 on the TIMIT dataset for no post-processing fake audios and various attack scenarios. In the second method, SIFT key points extracted from a high-resolution spectrogram were clustered using g2NN, and after identifying regions with dense matches, the corresponding frequency range was determined, and the audio was processed with a band-pass filter. By applying the Fast Fourier Transform, the frequency domain was accessed, and frame-by-frame features were extracted using the proposed spiral structure. These features were used to generate graph images, which were then classified to label the audio as either fake or original. This methods show F-scores of 0.95, 0.87, and 0.92 on the Arabic, TIMIT, and Turkish datasets, respectively.