İki kez sıkıştırılmış ses sinyallerinin analizi ve otomatik olarak tespit edilmesi
Analysis and automatic detection of double compressed audio signals
Yazar: AYKUT BÜKER
Danışman: DOÇ. DR. CEMAL HANİLÇİ
Bursa Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2023
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Derin öğrenme = Deep learning ; Konuşma analizi = Speech analysis ; Ses analizi = Voice analysis ; Ses kaydı = Voice recording ; Ses kodlama = Voice coding

Özet:
Bu tez çalışmasında iki kez sıkıştırılmış ses sinyallerinin tespit edilmesi problemi ele alınacaktır. Ses kayıtları mahkemelerde delil olarak yaygın bir şekilde kullanılmaktadır. Bununla birlikte ses kaydının içeriğinin değiştirilip değiştirilmediğini doğrulamak önemli bir problemdir. Ses kaydında manipülasyon yapmak isteyen biri ses sinyalini öncelikle dalga formuna dönüştürmelidir. Dalga formu üzerinde değişiklikler yapıldıktan sonra bu değişiklikleri gizlemek için sıkıştırma işlemi ile aynı formata dönüştürebilir. Bu sebeple iki kez sıkıştırılmış ses sinyallerini tespit etmek oldukça önemlidir. Literatürde yapılan çalışmalarda iki kez sıkıştırılmış ses tespitinde genellikle sıkıştırma için kullanılan ses kodlayıcısı hakkında bilgiler kullanılarak öznitelikler elde edilmiştir. Bu tez çalışmasında kodlayıcı hakkında herhangi bir ön bilgi olmadan genel öznitelikler elde edilmeye çalışılarak daha başarılı iki kez sıkıştırılmış ses sinyalinin tespit edilmesi hedeflenmektedir. Ayrıca literatürde derin sinir ağlarının kullanıldığı çalışma sayısının çok sınırlı olması sebebi ile derin sinir ağlarının hem öznitelik çıkarma hem de sınıflandırma aşamalarındaki güçlerinden faydalanarak başarılı bir sistem geliştirmek hedeflenmektedir. Öznitelikleri derin öğrenme yapılarının eğitim aşamasında otomatik olarak öğrenen ve gürültü, kanal ve kayıt ortamı gibi performansı olumsuz etkileyebilecek değişimlere karşı başarılı, iki kez sıkıştırılmış ses tespit sistemi geliştirilecektir.  Farklı derin öğrenme yapıları ve farklı veri kümeleri kullanarak detaylı analiz yapılacaktır. Tek bir veri kümesi ile eğitilen sistemin diğer veri kümelerindeki ses sinyalleri ile test edildiğinde de iki kez sıkıştırılmış sesleri tespit etmede başarılı olması hedeflenmektedir. Kullanılacak veri kümelerinden biri daha önceden farklı kodlayıcılar ile sıkıştırılmış ses sinyalleri içermekte olup bu ses sinyalleri kullanılarak iki kez sıkıştırılmış ses tespitindeki performans incelenecektir. Tez çalışmasının ilk kısmında, dar bant AMR kodlayıcı kullanılarak farklı bit-oranları ile sıkıştırma işlemi yapılarak bir kez ve iki kez sıkıştırılmış ses sinyalleri üretilecektir. Ses sinyallerinin spektrogramları kullanılarak derin öğrenme modelleri ile eğitilecektir. Farklı modeller ve farklı kayıp fonksiyonları kullanılarak sistemin daha yüksek başarı oranı vermesi için çalışmalar yapılmıştır. Literatürde geniş bant AMR kodlayıcı ile iki kez sıkıştırılmış ses tespiti problemi daha önce çalışmadığından, tezin ikinci kısmında geniş bant AMR kodlayıcı ile iki kez sıkıştırılmış ses sinyalleri üretildikten sonra bu veriler ile iki kez sıkıştırılmış ses tespit sistemi incelenecektir.

Abstract:
In thesis study, double compressed audio detection problem will be investigated. As a result of widespread usage of audio recording as evidence in courts, this addresses the problem of authenticity of a audio content. In order to tamper an audio file, attacker first needs to decompress it to waveform and then manipulate the waveform which is followed by recompressing the manipulated audio waveform into the original format. For this reason, double compressed audio detection is an important audio forensic problem. Previous studies addressing the double compressed audio detection problem with prior knowledge about encoding and decoding processes of codec. In this study, it is aimed at detecting double compressed audio with extracting general feature when there is no prior knowledge about codec. There are a few studies including deep learning approaches on double compressed audio detection problem. The proposed system is used for both feature extraction and classifier with deep learning methods. The system will be developed to be succesful against noise, channel and recording environment variations. The system will be invegstigated using different deep learning models and datasets detailed. The performance of the system will be developed on cross-database evaluation. One of the dataset including audio with compression history will be investigated on double compressed audio detection problem. In the first part of thesis, single and double compressed audio recordings will be generated with narrow band AMR codec. Audio spectrograms will be used as input of deep learning model. The system will be improved with different deep learning models and different loss function to try on better performance. There is no previous study addressing the double compressed audio detection problem including wide band AMR codec. The system will be developed double compressed audio compressed by wide band AMR codec.