X-ray görüntülerinde faster R-CNN kullanılarak yasaklı nesne tespiti
Prohibited object detection using faster R-CNN in X-ray images
Yazar: ÖZCAN SORGUN
Danışman: PROF. DR. RAŞİT KÖKER
Sakarya Uygulamalı Bilimler Üniversitesi / Lisansüstü Eğitim Enstitüsü / Mekatronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Mekatronik Mühendisliği = Mechatronics Engineering
Dizin: Bilgisayarla görme = Computer vision ; Derin öğrenme = Deep learning ; Görsel nesne tanıma = Visual object recognition ; Makine öğrenmesi = Machine learning ; Yapay zeka = Artificial intelligence

Özet:
Güvenlik denetimi günlük hayatımızda her aktivite alanında güvenlik riski oluşturabilecek tehlikelerden korunmak için yaygın bir biçimde uygulanmaktadır. Alışveriş merkezlerinden seyahat için kullandığımız otobüs terminallerine, tren istasyonlarına ve havaalanlarına kadar geniş uygulama alanı bulan en önemli güvenlik denetimi X-ray cihazlarıdır. Bu X-ray cihazları ile kontrol noktalarında silah, bıçak ve benzeri yasaklı maddelerin tespiti sağlanmaktadır. Her geçen gün toplu taşımaya olan ilginin ve taşınan eşyaların sayısının artmasıyla X-ray güvenlik görüntülerinin operatör tarafından manuel olarak incelenmesi büyük bir sorun haline gelmektedir. İnsana bağlı olan tüm sistemlerde; ihmal, yorgunluk, çevresel faktörler, mesleki deformasyon gibi etkenler sistemlerde güvenlik açıkları oluşturmakta ve bu durumlar istenmeyen sonuçlara yol açabilmektedir. X-ray cihazlarındaki insan kaynaklı bu tarz durumların en aza indirgenmesi veya önüne tamamen geçilmesi istenmektedir. Sistemin otomatikleştirilmesiyle bu sorun ortadan kaldırılabilir ve ek olarak maliyet düşüşü ve işlem hızında artış sağlanabilir.
Bu tez çalışmasında X-ray görüntülerinde derin öğrenme algoritmalarından Faster R-CNN kullanılarak yasaklı nesne tespitine yönelik bir çalışma yapılmıştır. Veri seti olarak birkaç metro istasyonundan toplanmış ve içerisinde altı farklı sınıfta yasaklanmış nesnenin bulunduğu X-ray görüntülerinden oluşan SIXray veri seti kullanılmıştır. Bir nesne sınıfı görüntü sayısının çok az olması sebebiyle çalışmaya dahil edilmemiştir. Derin öğrenme tabanlı nesne algılama modelleri kullanılarak X-ray görüntülerindeki beş farklı yasaklanmış nesnenin tespit edilmesi gerçekleştirilmiştir. Nesne algılama modelleri olarak Faster R-CNN ResNet50, Faster R-CNN ResNet101, Faster R-CNN ResNet152 ve Faster R-CNN Inception ResNet v2 olmak üzere toplam dört model kullanılmış ve karşılaştırmaları yapılmıştır. Belirtilen modeller Tensorflow Nesne Algılama API tarafından sunulan daha önceden COCO veri seti ile eğitilmiş nesne algılama modelleri kullanılarak transfer öğrenimi yöntemiyle eğitilmiştir. Tüm çalışma Tensorflow 2 sürümü kullanılarak yürütülmüştür. Bu çalışmadaki amaç, X-ray görüntülerindeki yasaklı olan nesneleri doğru bir şekilde sınıflandırabilen ve konumlandırabilen, hız ve performans bakımından en iyi modeli seçebilmektir. Yapılan değerlendirmeler sonucunda; her bir sınıf için kesinlik ve duyarlılık sonuçları, mAP değerleri ve bazı görüntüler incelendiğinde nesneleri daha iyi sınıflandırmasından ve konumlandırmasından dolayı Faster R-CNN ResNet101 modeli 0,5 IoU için %90,6 başarıyla en iyi model olarak seçilmiştir.

Abstract:
Security audit is widely used in our daily life for the protection of dangers that may pose a security risk in every field of activity. The most important security inspection X-ray devices, which find a wide application area from shopping malls to bus terminals, train stations and airports we use for travel. With these X-ray devices, weapons, knives and similar prohibited items are detected at checkpoints. With the increasing interest in public transportation and the number of transported goods, manual examination of X-ray security images by the operator becomes a major problem. In all systems depending on human; factors such as neglect, fatigue, environmental factors, occupational deformation create security vulnerabilities in the systems and these situations can lead to undesirable results. It is desired to minimize or completely prevent such human-induced situations in X-ray devices. By designing an automation system for the detection, this problem can be eliminated and additionally, cost reduction and increased processing speed can be achieved.
In this thesis, a study has been carried out for prohibited object detection using Faster R-CNN deep learning algorithm in X-ray images. SIXray dataset, which is collected from several metro stations and consists of X-ray images containing objects prohibited in six different classes, was used as a data set. One of these object classes was not included in the study due to the very small number of images. Using deep learning-based object detection models, five different prohibited objects in X-ray images were detected. As object detection models, a total of four models, namely Faster R-CNN ResNet50, Faster R-CNN ResNet101, Faster R-CNN ResNet152 and Faster R-CNN Inception ResNet v2, were used and compared. The specified models are trained with the transfer learning method using the object detection models previously trained with the COCO dataset offered by the Tensorflow Object Detection API. The entire study was conducted using Tensorflow version 2. The aim of this study is to select the best model in terms of speed and performance, which can correctly classify, and position the prohibited objects in X-ray images. As a result of the evaluations, the Faster R-CNN Resnet101 model was selected as the best model for 0.5 IoU with 90.6% success due to its better classification and positioning of objects when the precision and recall results for each class, mAP values and some images were examined.