Derin öğrenme modelleri kullanarak ses işaretlerinden sahtecilik tespiti
Forgery detection from audio signals using deep learning models
Yazar: FULYA AKDENİZ
Danışman: PROF. DR. YAŞAR BECERİKLİ
Kocaeli Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Teknolojinin ilerlemesi sayesinde günümüzde dijital multimedya kaynaklarından olan ses, görüntü ve video alanında profesyonel eğitim almamış kişiler bile cep telefonları, akıllı cihazlar, çeşitli web uygulamalarını kullanarak ses, görüntü ve video verileri üzerinde çok kolay bir şekilde iyi ya da kötü niyetli değişiklikler yapabilmektedir. Yapılan bu manipülasyon işlemleri verilerin bütünlüğü, güvenilirliği ve gerçekliği üzerinde şüphe uyandırmaktadır. Yapılan manipülasyonlar ile dijital multimedya verileri şantaj, mahkemede sahte delil olarak kullanma, otomatik konuşmacı doğrulama sistemlerini yanıltmak vb. gibi çeşitli amaçlar için kullanılabilmektedir. Bu sebepten bir dijital multimedya verisinin kullanımından önce bütünlük ve güvenilirliğinin doğrulanması oldukça kritiktir. 

Bu tez çalışmasında güvenlik ve adli bilişim konuları için oldukça önemli olan ses biyometrisi üzerine çalışmalar yapılmıştır. Literatürde tespit edilmesi oldukça zorlu bir problem olduğu belirtilen ses kopyala-yapıştır sahteciliği üzerine çalışmalar yapılıp başarılı sonuçlar elde edilmiştir. Çalışmanın ilk aşamasında TIMIT veri kümesi kullanılarak ses kopyala-yapıştır sahteciliği içeren ses veri kümeleri oluşturulmuştur. İkinci aşamada bu veri kümesi üzerinde sinyalin sesli ve sessiz bölgeleri tespit edilerek segmentlerine ayrılmıştır. Üçüncü aşamada segmentlerine ayrılan bu ses parçaları üzerinde Mel frekansı tabanlı öznitelikler, doğrusal öngörü katsayıları elde edilmiştir. Dördüncü aşamada elde edilen özellikler istatiksel tabanlı yöntemlere ve derin öğrenme modellerine verilerek karar verme ve sınıflandırma işlemleri gerçekleştirilmiştir. Ayrıca bu çalışmada ses sinyallerinde kopyala-yapıştır sahteciliğini tespit edebilmek için ham sinyal verileri kullanılarak derin öğrenme tabanlı modeller uygulanmıştır. Çalışmanın son aşamasında ses sahteciliği çalışmalarında kullanılmak üzere çeşitli senaryolar dikkate alınarak KOU-AFD isimli ses veri kümesi oluşturulmuştur. Oluşturulan bu veri kümesi üzerinde TIMIT veri kümesi kullanılarak en iyi sonuç veren modeller uygulanmış ve KOU-AFD veri kümesi üzerindeki performans analizleri yapılmıştır.

Abstract:
With the advancement of technology, even people who have not received professional training in the field of audio, image and video, which are digital multimedia resources, can easily make good or malicious manipulation to audio, image and video data using mobile phones, smart devices, and various web applications. These manipulation operations raise doubts about the integrity, reliability and authenticity of the data. With the manipulations, digital multimedia data can be used for blackmail, false evidence in court, misleading automatic speaker verification systems, etc. For this reason, it is crucial to verify the integrity and reliability of a digital multimedia data before its use.

In this thesis, voice biometrics experiments which are essential for security and forensic informatics, have been carried out. In the literature, voice copy-move forgery detection, which is stated to be a very difficult problem to detect and successful results is obtained. In the first part of the study, audio datasets containing voice copy-move forgery were generated using the TIMIT dataset. Then, the silent and unsilent regions of the signal is detected and segmented on this dataset. Next, Mel frequency-based features and linear prediction coefficients is obtained on these audio segments. Then, the features is classified using statistical based methods and deep learning models for decision making. Furthermore, deep learning based models were applied, using copy-move forgery detection in audio signals by using raw signal data, too. Last, an audio dataset named KOU-AFD is generated considering various scenarios to be used in audio forgery studies. the models have best results is applied on the TIMIT dataset is used on the KOU-AFD dataset and best results are given as comprehensive in the thesis.