Dikkatsiz sürücü davranışlarının derin öğrenme yöntemleri ile tespiti
Detection of distracted driver behaviors by deep learning methods
Yazar: SHAFEEQ KANAAN SHAKIR AL-DOORI
Danışman: DR. ÖĞR. ÜYESİ MURAT KÖKLÜ
Selçuk Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Evrişimli sinir ağları = Convolutional neural networks ; Makine öğrenmesi = Machine learning ; Sürücü davranışları = Driver behaviors ; Sınıflandırma = Classification

Özet:
Milyonlarca insan, çeşitli sebeplerden dolayı kaynaklanan kazalardan dolayı hayatlarını kaybetmektedirler. Araç sayısının artması ile birlikte, kazaların sayısı da artmaktadır. Buna birde teknolojik cihazların neden olduğu sürücü hataları eklenince kazaların ortanı gittikçe daha çok artmaktadır. Genellikle kazaların büyük çoğunluğu sürücülerin dikkatlerinin dağılması sonucu oluşmaktadır. Bu nedenle modern araçlarda sürücü hatalarının tespit edilerek sürücünün uyarılmasına dayanan bir sisteme ihtiyaç duyulmaktadır. Bu amaçla çalışmada evrişimsel sinir ağı özellik çıkarma tabanlı sınıflandırma modellerinin analizi gerçekleştirilmiştir. SqueezeNet, VGG16 ve VGG19 mimarileri transfer öğrenme yöntemi ile eğitilerek görüntü özellikleri sınıflandırma katmanından önce alınmıştır. Alınan özellikler k-en yakın komşu (k-NN), destek vektör makineleri (DVM), rastgele orman (RO), yapay sinir ağları (YSA) ve lojistik regresyon (LR) makine öğrenme algoritmalarına giriş olarak verilerek görüntülerin sınıflandırması gerçekleştirilmiştir. Modellerin eğitiminde 22,424 sürücü hataları görüntüsü içeren 10 sınıflı bir veriseti kullanılmıştır. Görüntüler ile eğitimi gerçekleştirilen k-NN, DVM, RO, YSA ve LR modelleri ile sınıflandırma işlemleri gerçekleştirilmiştir. SqueezeNet modelinden elde edilen özellikler ile yapılan sınıflandırmalarda en yüksek sınıflandırma başarısına sahip modelin %98,8 ile YSA modeli olduğu tespit edilmiştir. VGG16 modelinden elde edilen özellikler ile yapılan sınıflandırmalarda en yüksek sınıflandırma başarısına sahip modelin %99,1 ile YSA modeli olduğu tespit edilmiştir. VGG19 modelinden elde edilen özellikler ile yapılan sınıflandırmalarda en yüksek sınıflandırma başarısına sahip modelin %98,9 ile YSA modeli olduğu tespit edilmiştir. Tüm modeller kıyaslandığında en yüksek sınıflandırma başarısının VGG16 modelinden elde edilen özelliklerin YSA ile sınıflandırılması sonucu elde edildiği tespit edilmiştir. Sınıflandırma modellerinin detaylı analizi için eğitim ve test zamanları da ölçülmüştür. SqueezeNet özellikleri ike eğitilen k-NN modeli 57,892 saniye ile en hızlı eğitim yapılan sınıflandırma modeli olmuştur. Eğitim süresi en uzun olan model 4970,5 saniye ile VGG19 özellikleri ile eğitilen DVM modelidir. Test süresi en kısa olan model SqueezeNet özellikleri ile eğitilen RO ve LR modelidir ve test süresi 2,2 saniyedir. Test süresi en uzun olan model ise VGG16 özellikleri ile eğitilen k-NN modelidir ve test süresi 3686,4 saniyedir.  Sınıflandırma modellerinin detaylı analizi için diğer performans ölçme metriklerinden de faydalanılmıştır. Modellerin eğitim ve test süreleri de karşılaştırılarak en uygun modelin bulunması amaçlanmıştır. Elde edilen modellerin görüntü üzerinden sürücü hatalarını tespit etmede kullanılabilmesi amaçlanmıştır.

Abstract:
Millions of people lose their lives due to accidents caused by various reasons. As the number of vehicles increases, the number of accidents also increases. When driver errors caused by technological devices are added to this, the rate of accidents is increasing more and more. Generally, the vast majority of accidents occur as a result of distractions from drivers. For this reason, there is a need for a system based on the detection of driver errors and warning the driver in modern vehicles. For this purpose, analysis of convolutional neural network feature extraction based classification models was carried out in this study. SqueezeNet, VGG16 and VGG19 architectures were trained with the transfer learning method and image features were taken before the classification layer. The images were classified by using the k-nearest neighbor (k-NN), support vector machines (DVM), random forest (RO), artificial neural networks (ANN) and logistic regression (LR) machine learning algorithms. A 10-class dataset containing 22,424 driver error images was used in the training of the models. Classification processes were carried out with k-NN, DVM, RO, ANN and LR models, which were trained with images. In the classifications made with the features obtained from the SqueezeNet model, it was determined that the model with the highest classification success was the ANN model with 98.8%. In the classifications made with the features obtained from the VGG16 model, it was determined that the model with the highest classification success was the ANN model with 99.1%. In the classifications made with the features obtained from the VGG19 model, it was determined that the model with the highest classification success was the ANN model with 98.9%. When all models were compared, it was determined that the highest classification success was obtained by classifying the features obtained from the VGG16 model with ANN. Training and testing times were also measured for detailed analysis of the classification models. The k-NN model trained with SqueezeNet features became the fastest trained classification model with 57.892 seconds. The model with the longest training time is the DVM model trained with VGG19 features with 4970.5 seconds. The model with the shortest test time is the RO and LR model trained with SqueezeNet features, and the test time is 2.2 seconds. The model with the longest test time is the k-NN model trained with VGG16 features and the test time is 3686.4 seconds. Other performance measurement metrics were also used for the detailed analysis of the classification models. It is aimed to find the most suitable model by comparing the training and testing times of the models. It is aimed that the obtained models can be used to detect driver errors over the image.