Ses ve videoların kayıt zamanının ENF tabanlı doğrulanmasında gelişmiş teknikler
Advanced techniques for ENF-based time stamp verification of audio and videos
Yazar: ALİ BERK YALINKILIÇ
Danışman: DR. ÖĞR. ÜYESİ SAFFET VATANSEVER
Bursa Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Mekatronik Mühendisliği Ana Bilim Dalı / Mekatronik Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering ; Mekatronik Mühendisliği = Mechatronics Engineering

Özet:
Teknolojinin gelişmesiyle birlikte; akıllı sistemler, insan hayatına hızlı bir giriş yapmış olup, bu sistemler vasıtasıyla milyonlarca veri sürekli olarak etrafımızda dolaşmaktadır. Bu veriler, çeşitli dijital araçlar yardımıyla manipüle edilebilmektedir. Dahası, yapay zekâ ile gerçekte var olmayan veriler dahi üretilebilmektedir. Medya dosyaları veya meta verileri üzerinde yapılan manipülasyonları açığa çıkarmak için son zamanlarda yaygın olarak kullanılan adli analiz yöntemlerinden biri, elektrik şebeke frekansı (Electrik Network Frequency (ENF)) tabanlı yaklaşımdır. Medya dosyalarının (ses veya video) kayıt zamanı tespiti, bütünlük kontrolü ve coğrafi konum analizi, ENF tabanlı adli analiz ile yapılabilen uygulamalar arasındadır. ENF, elektrik dağıtım şebekesinde üretilen elektrik geriliminin frekansıdır. ENF'in zamana bağlı değişimleri (ENF sinyali) belli koşullarda sayısal medya dosyalarına entegre olur. ENF sinyali kestirimi, sıfır geçişi (zero-crossing (ZC)), çoklu sinyal sınıflandırması (multiple sıgnal classification (MUSIC)), rotasyonel değişmez teknikler yoluyla sinyal parametrelerinin tahmini (estimation of signal parameters via rotational invariant techniques (ESPRIT)), kısa zamanlı Fourier dönüşümü (Short-Time Fourier Transfor (STFT)) gibi zaman veya frekans temelli yöntemler ile sağlanabilmektedir. Frekans temelli bir yöntem olan STFT, bu yöntemler arasında en yaygın olarak kullanılanlardandır. STFT tabanlı yöntemde, ENF sinyalinin doğruluğuna ve buna bağlı olarak da ENF tabanlı adli analizin performansına pozitif veya negatif yönde etki eden faktörler bulunmaktadır. Bu faktörler arasında yer alan STFT parametrelerinin seçimi büyük önem taşımaktadır. Bu tezde; ilk olarak, dosya uzunluğuna bağlı olarak farklı STFT parametreleri seçiminin kayıt zamanı tespiti uygulamasında performansa ne derece etki ettiği analiz edilmiştir. Bu analizlerden elde edilen bulgular sonucunda, ENF tabanlı adli analiz performansını iyileştiren STFT parametreleri belirlenmiştir. İkinci olarak, farklı Auto-Regressive model (Özbağlanımlı Model – AR(q)) parametrelerine göre, ENF sinyallerinden beyaz gürültü sinyalleri elde edilerek, bu sinyaller vasıtasıyla kayıt zamanı tespitinde benzer analizler yapılmıştır. Son olarak; analiz edilecek medya dosyasının ilk ve son kısımları için, geleneksel STFT tabanlı ENF sinyali kestirimi yöntemi ile hesaplanması mümkün olmayan ENF örneklerini hesaplayabilen gelişmiş bir STFT tabanlı ENF kestirimi yöntemi önerilmiştir.

Abstract:
With the development of technology; intelligent systems have rapidly become a part of human life. Consequently, millions of data circulates around us through these systems. These data, can easily be manipulated with the help of several digital tools. Indeed, superficial data, i.e., that doesn't exist can be generated using artificial intelligence. The electric network frequency (ENF) based media (audio or video) forensics is one of the most popular techniques to detect modifications in the media or meta data. Time-of-recording (time-stamping) verification, geo-location estimateion and media synchronization are some of the commen ENF-based forensic applications. ENF is the frequency of the electric voltage generated in the electrical grid. Under certain circumstances, time-dependent changes of ENF (ENF signal) are integrated into digital media. ENF signal can be estimated through time or frequency based methods, including zero-crossing (ZC), multiple signal classification (MUSIC), estimation of signal parameters via rotational invariant techniques (ESPRIT) and short-time Fourier transform (STFT), which is STFT, a frequency-based method, is one of the most widely used one out of these methods. In the STFT-based method, there are factors that affect the accurcay of ENF signal, and accordingly, the performance of the ENF-based forensic analysis, positively or negatively. Among these factors, determining the STFT parameters is critical. In this thesis; firstly, it was investigated how the selection of different STFT parameters affects the performance of media time-stamping applications depending on the file length. As a result of experimental application, the STFT parameters that increase the performance of ENF-based forensics were determined. Secondly, through different Auto-Regressive (AR(q)) model parameters, white noise signals were obtained from the ENF signals, and similar experiments related to time of recording were conducted by using these signals. Finally; an enhanced STFT-based ENF estimation method was proposed, to estimate the ENF samples in the first and last parts of the query media, which are not possible to obtain by the traditional STFT technique.