X-ray görüntülerinde derin öğrenme yöntemleri ile tehdit tespiti
Threat detection in X-ray images with deep learning techniques
Yazar: ELİF ALTINDAĞ
Danışman: DOÇ. DR. SENİHA ESEN YÜKSEL ERDEM
Hacettepe Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı / Elektrik Elektronik Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Derin öğrenme = Deep learning ; Evrişimli sinir ağları = Convolutional neural networks ; Nesne tespiti = Object detection ; X ışını fotogrametrisi = X ray photogrammetry

Özet:
Son yıllarda toplum güvenliğini sağlamak için havaalanları, okullar, alışveriş merkezleri gibi kalabalık ve tehlike arz edebilecek ortamlarda X-ray görüntüleme cihazları sıklıkla kullanılmaktadır. Ancak X-ray görüntüleme tekniklerinin kullanıldığı yerlerde insan gücüne hala gerek duyulmaktadır. Bunun nedeni, X-ray görüntülerinde tehdit unsuru olabilecek nesnelerin otomatik olarak tespit edilmesi için gereken ilerlemenin yeterli olmamasıdır. Bu amaçla, son yıllarda derin öğrenme yöntemlerini kullanarak X-ray bagaj görüntülerinde bulunan ve toplu alanlara sokulması yasaklı nesnelerin tespitine yönelik çalışmalar ivme kazanmıştır. Bu tez çalışmasında da, derin öğrenme tabanlı nesne tespiti yöntemleri kullanılarak X-ray görüntülerinde tehdit tespiti yapılmış ve bu alana katkı sunmak hedeflenmiştir.  

Bu çalışmada biri açık kaynaklı ve biri ise çalışma kapsamında toplanmış iki farklı veri kümesi kullanılmıştır. Toplanan X-ray görüntüleri çift kanallı X-ray tarayıcı tarafından elde edilmiştir. Çift kanallı X-ray tarayıcılar hem düşük hem de yüksek enerji seviyelerini kullanmaktadır. İki enerji seviyesi kullanarak taranan maddenin atom numarası, yoğunluğu gibi ek bilgiler elde edilir ve bu yöntemle nesnelerin karakteristik özellikleri hakkında daha detaylı bilgiye sahip olunur. Böylece bir tarama sonucu elimizde düşük enerjili, yüksek enerjili ve bu görüntüler kullanılarak renklendirmiş X-ray görüntüsü olmak üzere toplamda üç adet görüntü bulunur. Açık kaynaklı veri kümesi, toplanılan veri kümesine göre daha kapsamlı olduğu için kullanılan nesne tespiti algoritmaları öncelikle bu küme üzerinde eğitilmiştir. Bu kapsamda popüler nesne tespiti algoritmalarından YOLOv3, SSD ve Faster RCNN kullanılmış olup açık kaynaklı ve kapsamlı veri kümesi üzerinde elde edilen sonuçlar kaşılaştırılmıştır. Karşılaştırma sonucunda performansı en yüksek olan yöntem ile elde edilen sonuçlar kullanılarak toplanılan veri kümesinin eğitimi tamamlanmaya çalışılmıştır. Bunun nedeni, toplanılan veri kümesinin az sayıda görüntü içermesidir. Toplanılan veri kümesine aktarım yapılırken ilk aşamada az vuruşlu öğrenme yöntemi kullanılmış ve mümkün olduğunca az görüntü ile toplanılan veri kümesindeki tehditlerin ne kadar başarılı tespit edileceği araştırılmıştır. Az vuruşlu öğrenmeden sonra yapılan diğer çalışma ise açık kaynaklı veri kümesinin eğitimleri sonucu elde edilen en iyi sonucun toplanılan veri kümesine ince ayar yöntemi ile aktarılmasıdır. Çalışma kapsamında yapılan son denemede ise toplanılan veri kümesine ait renklendirilmiş görüntüler ile düşük ve yüksek enerjili görüntüler farklı kombinasyonlar halinde uçtan uca eğitilmiştir. Buradaki amaç ise düşük ve yüksek enerjili görüntülerden elde edilen bilgi ile az sayıda görüntü içeren veri kümesindeki tehditlerin tespitinde ne kadar başarı sağlanacağını gözlemlemektir. Elde edilen sonuçlar incelendiğinde açık kaynaklı veri kümesi üzerinde Faster RCNN ile yapılan eğitimlerin en yüksek başarıya ulaştığı görülmüştür. Bu sonuçların toplanılan veri kümesine aktarıldığı durumda ise en iyi başarı ince ayar yöntemi ile alınmıştır. Toplanılan veri kümesine ait düşük ve yüksek enerjili görüntülerin farklı kombinasyonlar ile denendiği durumda ise en yüksek başarı düşük enerjili, yüksek enerjili ve renklendirilmiş X-ray verilerinin eğitime katıldığı durumda elde edilmiştir.

Abstract:
In recent years, X-ray imaging equipment are frequently used in crowded and risky environments such as airports, schools and shopping malls to ensure public safety. However, human labor is still needed in places where X-ray imaging techniques are used. This is because the accuracy required to automatically detect potentially threatening objects in X-ray images is not sufficient. For this purpose, studies on the detection of prohibited items that are not allowed to be brought into public area using deep learning techniques have gained accelaration in recent years. In this thesis, threat detection from X-ray images was accomplished using deep learning-based object detection methods and it was aimed to contribute to this field.

In this study, two different datasets, one of which is open source and the other collected within the scope of the study, were used. The X-ray images collected were acquired by a dual-channel X-ray scanner. Dual-channel X-ray scanners use both low and high energy levels. By using two energy levels, additional information such as the atomic number and density of the scanned material is obtained, and with this method, more detailed information about the characteristics of the objects is obtained. Thus, as a result of a scan, we have three images in total which are low-energy, high-energy, and colored X-ray image. It is important to note that a colored X-ray image is obtained by using high-energy and low-energy X-ray images. Since the open-source dataset is more comprehensive than the collected dataset, the object detection algorithms used are primarily trained on this set. In this context, YOLOv3, SSD, and Faster RCNN, which are popular object detection algorithms, were used and the results obtained on the open-source and comprehensive dataset were compared. As a result of the comparison, the training of the collected dataset was done by using the results obtained from the method with the highest performance. This is because the collected dataset contains a small number of images. While transferring to the collected dataset, the few-shot learning method was used and it was investigated how successfully the threats in the collected dataset would be detected with as few images as possible. Another study after the few-shot learning is transferring the best result obtained as a result of training the open-source dataset to the collected dataset with fine tuning. In the last experiment, within the scope of the study, colored, low and high energy images of the collected data set were trained end-to-end in different combinations. The aim here is to observe how successful the information obtained from low and high-energy images will be in detecting threats in a dataset containing a small number of images. When the results were examined, it was seen that the training made with Faster RCNN achieved the highest success on the open source dataset. In the case of transferring these results to the collected dataset, the best success was obtained with the fine-tuning method. In the case where the low and high-energy images of the collected dataset are applied with different combinations, the highest success is achieved when low-energy, high-energy and colored X-ray images are included in the training.