Video görüntüleri üzerinde derin öğrenme tabanlı anormal durum tespiti ve derinlik tahmini
Deep learning based abnormal situation detection and depth estimation on video images
Yazar: NURİ ÖZÇELİK
Danışman: DOÇ. DR. ÖVÜNÇ POLAT
Akdeniz Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Bu tez çalışmasında, değrin öğrenme metotları kullanılarak, güvenlik kameralarına yansıyan anormal durumların tespit edilmesi, anormal durumun görüntü içerisinde konumlandırılması ve derinlik tahmin modeli ile anormal durumun mesafesinin kestirimi amaçlanmıştır. Anormal durumun gerçekleştiği anda tespit edilebilmesi amacıyla 3 boyutlu evrişimsel sinir ağı ve devamında tam bağlantılı sinir ağı kullanılmıştır. Anormal durum tespit sisteminde bulunan 3 boyutlu evrişimsel sinir ağı modeli sports-1m veri seti ile önceden eğitilmiş ve eğitim sonucu elde edilen ağırlıklar anormal durum tespiti için özellik çıkartma sürecinde kullanılmıştır. 3 boyutlu evrişimsel sinir ağı modelinden elde edilen özellikler tam bağlantılı sinir ağına uygulanmıştır. Konumlandırma işlemi için bir veri seti oluşturulmuştur ve bu veriseti ile konumlandırma modeli eğitilmiştir. Girdi videosundan belirli aralıklarla elde edilen görüntüler konumlandırma tahmini için MobileNet V2 modeli ve bu modele sonradan eklenen yukarı örnekleme katmanları a uygulanmıştır, bu sayede anormal durum gerçekleştiği esnada ilgili anormal durum görüntü içerisinde konumlandırılabilmiştir. Konumlandırma modeline uygulanan girdi görüntüleri aynı zamanda derinlik tahmin modeline de uygulanmaktadır. Derinlik tahmini için kullanılan sistemde ImageNet veri seti ile önceden eğitilmiş olan DenseNet-169 modeli enkoder olarak çalışmaktadır. DenseNet169 modelinin çıkışına yukarı örnekleme yapacak olan dekoder modeli ilave edilmiştir ve 320x240 boyutunda derinlik haritası üretilmiştir. Derinlik tahmin modeli NYU-Depth V2 veri seti ile önceden eğitilmiş bir modeldir. Tez kapsamında geliştirilen sistemde, anormal durum gerçekleştiği anda konumlandırma modeli çalışarak anormal durumu konumlandırmakta ve derinlik tahmin modeli ile olayın gerçekleştiği mesafe tahmin edilmektedir. Tez çalışmasında, video görüntüleri kullanılarak anormal durum tespiti, anormal durum konumlandırma ve anormal durumun mesafesinin tahmini aynı anda gerçekleştirilmektedir, bu özelliği tez çalışmasını özgün bi  çalışma yapmaktadır. Çalışmada anormal durum tespiti aşamasında farklı optimizasyon yöntemlerinin etkisi, konumlandırma aşamasında farklı filtre boyutlarının etkisi gibi sistem performansına etki eden ilgili parametrelerin belirlenmesi işlemleri de gerçekleştirilmiş ve sonuçları ilgili bölümde tartışılmıştır. Eğitim sonucu elde edilen veriler ve bu eğitim parametrelerine bağlı olarak farklı video görüntüleri üzerinde elde edilen sonuçlar da bulgular ve tartışma kısmında ele alınmıştır. 
Tez çalışması sonucu gerçekleştirilen sistem, otonom araçlarda seyir halinde iken gerçekleşen trafik kazası vb. anormal durumu tespit edebilecek, konumlandırabilecek ve  mesafesini tahmin edebilecektir, ayrıca otobüs durakları, meydanlar, kavşaklar ve diğer asayişin sağlanması gerektiği alanlarda kullanılabilecektir.

Abstract:
This thesis, it is aimed to detect abnormal situations recorded by security cameras, locate the abnormal situation in the image, and estimate the distance of the abnormal situation with the depth estimation model by using the deep learning methods. In order to detect the abnormal situation as soon as it occurs, a 3D convolutional neural network and in the continuation a fully connected neural network are used. The 3D convolutional neural network model in the abnormal situation detection system was pre-trained with the sports-1m dataset and the weights obtained as a result of the training were used in the feature extraction process for abnormal situation detection. The features obtained from the 3D convolutional neural network model were applied to the fully connected neural network. A dataset was created for the positioning process and the localization model was trained with this dataset. The images obtained from the input video at certain intervals ere applied to the MobileNet V2 model and the upsampling layers were added to this model for localization estimation so that the related anomaly could be located in the image during the abnormal situation. Input images applied to t e localization model are also applied to the depth estimation model. In the system used for depth estimation, the DenseNet-169 model, which was pre-trained with the ImageNet dataset, works as an encoder. Upsampling decoder model was added to the output of the DenseNet-169 model and a depth map of 320x240 size was produced. The depth estimation model is a pretrained model with the NYU-Depth V2 dataset. In the system developed within the scope of the thesis, the positioning model works as soon as the abnormal situation occurs, and the depth estimation model estimates the distance at which the event occurs. In the thesis study, abnormal situation detection, abnormal situation localization, and estimation of the distance of the abnormal situation are performed simultaneously using video images, this feature makes the thesis work a unique study. In the study, the determination of the relevant parameters that affect the system performance, such as the effect of different optimization methods in the anomaly detectio  stage, the effect of different filter sizes in the localization stage, were also carried out and the results were discussed in the relevant section. The data obtained as a result of the training and the results obtained on different video images depending on these training parameters are also discussed in the discussion section. The system can be detected as a result of the thesis study, traffic accidents, etc. while driving in autonomous vehicles. It will be able to detect, locate and estimate the abnormal situation, and can also be used in bus stops, squares, intersections, and other areas where security is required.