Bilgisayarlı görme temelli yaklaşım ile tehlikeli nesnelerin otomatik tanınması
A computer vision based approach for automatic recognition of dangerous objects
Yazar: KÜBRA TİRYAKİ
Danışman: DR. ÖĞR. ÜYESİ ZAFER İŞCAN
Bahçeşehir Üniversitesi / Fen Bilimleri Enstitüsü / Bilgi Teknolojileri Ana Bilim Dalı
Derece: Yüksek Lisans, 2019
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Bu çalışma, ortam şartlarından etkilenen tehlikeli nesne görüntülerinin, makine öğrenmesi ve sınıflandırma algoritmaları kullanılarak otomatik tanınmasını amaçlamaktadır. Bu amaç doğrultusunda kullanılan yöntemler, sınıflama hızı ve başarım açısından kıyaslanarak, probleme en uygun yöntem araştırılmaktadır.
Bilgisayarlı görme, görüntü işleme ve makine öğrenmesi alanlarında kullanılan teknikler, güvenlik alanında giderek daha yaygın bir biçimde kullanılmaktadır. Ancak, yapılan literatür taramasında, güvenlik alanında tehlikeli nesnelerin tanınması konusunda yapılan çalışmaların kısıtlı olduğu görülmektedir.
Bu çalışmada, güvenlik sektörüne katkı sağlamak amacıyla tehlike kategorisinde bulunan bir nesnenin (bıçak) durağan ve bozulmuş (gürültülü) görüntülerinin özniteliklerini belirlemek için, Yönlendirilmiş Eğimlerin Histogramı (YEH), Yerel İkili Örüntü (YİÖ) algoritmaları kullanılmıştır. Sonrasında Destek Vektör Makineleri (DVM) sınıflayıcısı kullanılarak, elimizdeki veri seti, bıçak olan ya da bıçak olmayan şeklinde etiketlenmiştir. Böylece, tüm veri setinde eğitim ve sınıflama işlemleri gerçekleştirilmiştir. Bunun yanı sıra Derin öğrenmede de, öznitelik belirleme ve sınıflandırma işlemleri gerçekleştirilmiştir. Sonrasında elde edilen tüm sonuçlar karşılaştırılmıştır. Veri seti; 100 x 100 piksel çözünürlüğe sahip görüntülerden oluşmaktadır. Bu görüntülerin 9340 tanesi negatif (içeriğinde bıçak olmayan), 3559 tanesi ise pozitif (içeriğinde bıçak olan) görüntülerden oluşmaktadır. 100 pozitif, 100 negatif görüntü üzerinde ve tüm veri seti üzerinde yapılan çalışma sonuçlarına yer verilmiştir.
Yapılan çalışmada, çevre şartlarından etkilenen nesneyi göstermek için (yağışlı hava görüntüsü için, bıçak nesnesine bulanıklaştırıcı etki uygulamak gibi), görüntüye çeşitli görüntü bozucu yöntemler (çeşitli gürültü temizleme yöntemleri vb.) uygulanmıştır. Sonrasında elde edilen bozulmuş görüntülerin histogram bilgileri hesaplanmıştır. Farklı yöntemlerle elde edilen öznitelikler, çeşitli sınıflandırma yöntemleri kullanarak iki farklı sınıfa (bıçak nesnesi olan veya olmayan gibi) ayrılmıştır.
Bu çalışma sırasında değerlendirilen yöntemlerden birisi olan derin öğrenme yöntemi ile iki boyutlu evrişimli sinir ağı yapısı kullanılarak modelleme yapılmıştır. Sonrasında da kayıp işlevi belirlenerek modelin hata ve başarı oranı ölçülmüştür. Elde edilen sonuçlar yorumlanmıştır.
Literatürde kullanılan bir veri seti üzerinde alınan sonuçlar tez kapsamındaki sonuçlar ile kıyaslanmıştır.
Bu çalışmada kullanılan veri seti ve kullanılan veri adedine göre, en iyi başarım, YEH kullanılarak elde edilen öznitelikler ile sağlanmıştır. Aynı kriterler altında en kötü sonuç ise THRESH_BINARY + THRESH_OTSU metodunda alınmıştır. Veri adedinin artmasıyla derin öğrenme tekniklerinden elde edilen performansın arttığı gözlenmiştir.
Literatürde nesne tanıma alanında yapılan çalışmaların birçoğunda belirli ortam (aydınlık, hava durumu) koşullarında elde edilen görüntüler kullanılmaktadır. Tezde durağan görüntüler ve bulanıklaştırılmış görüntülerde kullanılan yöntemin nesne tanıma başarımı ve tespit hızı açısından performansı literatürdeki aynı veri setini kullanan yayın ile kıyaslanmıştır. Mevcut çalışma ideal olmayan koşullardaki algoritma performanslarını da göstermesi bakımından önem taşımaktadır.

Abstract:
The aim of this study is to provide automatic identification of dangerous object images affected by ambient conditions by using machine learning and classification algorithms. The methods used for this purpose are compared in terms of classification speed and performance to investigate the most suitable method. .
The methods used in computer vision, image processing and machine learning fields are getting more popular in the security sector. On the other hand, during literature review, it is observed that the studies on the identification of dangerous objects in the field of security are limited.
In this study, in order to contribute to the security field, The Histograms of the Oriented Gradients (HOG), the Local Binary Pattern (LBP)  algorithms were used to determine the features of static and distorted (noisy) images of an object (knife) that are in the danger category. Then, by using Support Vector Machines (SVM) classifier, our data set is labeled as knife or non-knife object. Thus, training and classification procedures were performed in the whole data set. In addition, using deep learning, feature determination and classification were performed. Then all the results were compared.
Data set consists of images with a resolution of 100 × 100 pixels. These images consist of 9340 negative images (non-knife images) and 3559 positive images (knife images). The results of 100 positive and 100 negative images and the results of the whole image set are given.
In this study, various image disrupting methods (various noise cleaning methods, etc.) have been applied to the image to show the object that is affected by environmental conditions (such as applying blur effect to the knife object for rainy weather image). Then, the histogram information of these disrupted images was calculated. Features obtained by several methods were categorized into two different classes (with or without knife objects) by using various classification methods.

Modeling was performed by deep learning method that is one of the methods evaluated in this study with two dimensional convolutional neural network structure. Then the error and success rate of the model were measured by determining the loss. Obtained results were interpreted.
The results obtained on a data set used in the literature were compared with the results of this study.
According to the data set and the number of samples used in this study, HOG Algorithm gave the best results as a the classification method. Under the same criteria, the worst result was obtained by THRESH_BINARY + THRESH_OTSU method. The performance of deep learning methods has increased by using more data.
In the literature, most of the studies in the field of object identification, images obtained under certain conditions (light, weather) are used. In the thesis, the performance of the method used in stable images and blurred images in terms of object identification accuracy and detection speed is compared with the publication that used the same dataset in the literature. The present study is important in terms of showing performance in non-ideal conditions.