Tehlikeli nesnelerin tespiti için süper çözünürlük tabanlı hibrit modelin geliştirilmesi
Development of super resolution based hybrid model for the detection of dangerous objects
Yazar: AYŞE BERİKA VAROL MALKOÇOĞLU
Danışman: PROF. DR. RÜYA ŞAMLI
İstanbul Üniversitesi-Cerrahpaşa / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Doktora, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Kamusal alanda yetkisiz kişiler tarafından taşınan ya da kullanılan tehlikeli nesnelerin varlığı halkın can güvenliğini tehdit ettiği bilinmektedir. Yetkililer güvenliği sağlamak için kamusal alanda CCTV ve MOBESE gibi kamera sistemleri bulundurmaktadır. Fakat bu sistemler operatörler tarafından 7/24 izlendiği için olası insani hatalar meydana gelebilmektedir. Bu sebepten tehlikeli nesneleri otomatik tanıyan operatörlere yardımcı sistemlerin geliştirilmesi oldukça önemlidir. Bu doğrultuda tez kapsamında tehlikeli nesneleri tespit etmek için dijital görüntü ve videolar üzerindeki hedeflenen nesneyi tespit eden YOLO ve görüntüyü iyileştiren SR algoritmasının birleşiminden oluşan hibrit bir model önerilmiştir. Önerilen hibrit modelin eğitimi için DMGDATA adında 18,231 adet veriden meydana gelen yeni bir veri seti hazırlanmıştır. Bu veri seti ile YOLO mimarisine ait seçilen versiyonlar eğitilmiş ve elde edilen metriklere göre tez için YOLOv8m modelinin uygun olduğu tespit edilmiştir. Önerilen hibrit model içerisinde yer alan SR katmanı için ise; kanal dikkat mekanizması ve artık blok katmanlarından meydana gelen DCASR adında yeni bir algoritma önerilmiştir. Bu algoritma benzerleri ile karşılaştırıldığında, hız ve PSNR değeri açısından daha başarılı sonuç ürettiği görülmüştür. DCASR modeli ile iyileştirilen görüntülerin BF filtresi ile gürültüsü giderildikten sonra tespit için YOLOv8m modeline gönderilmiştir. Önerilen YOLOv8m+DCASR+BF modeli iki farklı çözünürlükten oluşan test seti ve farklı SR algoritmaları ile test edilmiştir. Test işlemlerinin sonucunda DCASR algoritması kullanılarak oluşturulan hibrit modelin diğerlerine göre daha başarılı olduğu tespit edilmiştir. Önerilen hibrit model ile normal çözünürlüklü görüntülerde nesne tespit başarısında iyileşme sağlanmazken, düşük çözünürlüklü görüntülerde nesne tespit başarısının %4 ila %6 oranında iyileştiği görüşmüştür. Bu sayede düşük kaliteli kaynaktan gelen görüntülerin algoritmik yöntemler kullanılarak daha başarılı nesne tespit işlemi gerçekleştirebileceği düşünülmektedir.

Abstract:
The presence of dangerous objects carried or used by unauthorized persons in public spaces is known to threaten public safety. Authorities have camera systems such as CCTV and MOBESE in public spaces to ensure security. However, since these systems are monitored 24/7 by operators, possible human errors may occur. For this reason, it is very important to develop systems that help operators to automatically recognize dangerous objects. Accordingly, in this thesis, a hybrid model consisting of YOLO, which detects the targeted object on digital images and videos, and SR algorithm, which enhances the image, is proposed to detect dangerous objects. For the training of the proposed hybrid model, a new dataset called DMGDATA consisting of 18,231 data was prepared. With this dataset, selected versions of the YOLO architecture were trained and according to the metrics obtained, it was determined that the YOLOv8m model was suitable for the thesis. For the SR layer in the proposed hybrid model, a new algorithm called DCASR, which consists of channel attention mechanism and residual block layers, is proposed. When this algorithm is compared with its similar algorithms, it is observed that it produces more successful results in terms of speed and PSNR value. The images enhanced with the DCASR model were sent to the YOLOv8m model for detection after removing the noise with the BF filter. The proposed YOLOv8m+DCASR+BF model was tested with a test set of two different resolutions and different SR algorithms. As a result of the test procedures, the hybrid model created using the DCASR algorithm was found to be more successful than the others. With the proposed hybrid model, object detection performance in normal resolution images is not improved, while object detection performance in low resolution images is improved by 4% to 6%. In this way, it is thought that images from low-quality sources can perform more successful object detection using algorithmic methods.