Derin öğrenme tabanlı sürücü yorgunluğu sezme ve tahmin sistemi geliştirilmesi
Detecting drivers' fatigue and development of a prediction system based on deep learning
Yazar: BURCU KIR SAVAŞ
Danışman: PROF. DR. YAŞAR BECERİKLİ
Kocaeli Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2021
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Mühendislik Bilimleri = Engineering Sciences

Özet:
Trafik kazalarının birçok nedeni vardır. Kazalar çevresel koşulların yanı sıra sürücü kusurlarından da kaynaklanmaktadır. Bu kusurların en önemlilerinden biri, sürücünün yorgun/uykulu durumda iken araç kullanmasıdır. Yorgunluk ve/veya uykululuk hali fiziksel olarak doğal bir durum olduğu için önlemesi zor bir açık problemdir. Bu nedenle araştırmacılar ve araç geliştiren firmalar, sürücülerin sürüş esnasındaki yorgunluk ve/veya uykululuk halini tespit ve tahmin eden sistemler geliştirmektedir.
Bilişim teknolojilerindeki gelişmelere paralel olarak, akıllı araç geliştirme çalışmaları da son yıllarda hız kazanmıştır. Akıllı araç tasarımlarının bir parçası olarak sürücü yorgunluğu tespit sistemleri de ön plana çıkmıştır, çünkü bu sistemler güvenli araç sürüşüne destek olmaktadır. Güvenli sürüş desteği sağlayan bu sistemler, sürücünün sürüş esnasındaki davranışlarını ve fiziksel durumunu takip ederek elde edilen verilere göre sürücünün yorgunluk durumunu/derecesini tespit ederler.
Bu çalışmanın amacı; gün ışığı koşullarında (gündüz koşullarında) sürücüyü sabit kamera(lar) ile izleyip, elde edilen görüntüler üzerinden sürücünün yüz bölgesini tespit ederek, devamında yorgunluk tespiti için gereken davranışsal özellikleri (göz kırpma sayısı, PERCLOS (Göz Kapanma Oranı), esneme, FOM (Esneme Frekansı) ve kafa düşme durumu belirleyip; Adaboost, Destek Vektör Makinesi (SVM), Tek Görevli ve Çok Görevli çalışan iki farklı (İki Çıkışlı, Üç Çıkışlı) Konvolüsyonel Sinir Ağı (ConNN) ve Derin İnanç Ağları (DBN) modelleri ile sürücünün yorgunluk durumuna/derecesine karar vermektir.
Tez kapsamında, literatürde yer alan ZJU, YawDD, Nthu-DDD veri kümelerinin yanı sıra, bu çalışma kapsamında hazırlanan ve literatüre kazandırılan KouBM-DFD olarak adlandırılan özgün veri kümesi de sürücünün yorgunluk durumuna/derecesine karar verme amaçlı kullanılmıştır. Bu kapsamda; Senaryo 1, Senaryo 2, Senaryo 3, Senaryo 4, Senaryo 5 ve Senaryo 6 olmak üzere farklı 6 çalışma yapılmıştır. En iyi doğruluk oranı (accuracy); Senaryo 4'te İki Çıkışlı Çok Görevli ConNN Model-1 kullanılarak YawDD veri kümesi üzerinde %99,18 olarak elde edilmiştir. Aynı model KouBM-DFD veri kümesi üzerinde de denenerek %98,88 doğruluk oranı sağlanmıştır. Elde edilen sonuçlar değerlendirildiğinde; KouBM-DFD veri kümesinin literatürde yer alan diğer veri kümeleri gibi kullanılacak yöntemler için güvenilir veriler sağlayabileceği açıktır. Ayrıca yapılan deneysel çalışmalarda, DBN modeli kullanılmış olup KouBM-DFD veri kümesi üzerinde DBN-göz için %84, DBN-ağız için %80 doğruluk oranı elde edilmiştir.

Abstract:
There are many reasons for traffic accidents. Accidents are caused by driver defects as well as environmental conditions. One of the most important of these flaws is that the driver is driving in a drowsiness/ fatigue state. Because fatigue/drowsiness is physically natural, it is an obvious problem that is difficult to prevent. For this reason, researchers and vehicle developing companies develop systems that detect and predict drivers' fatigue/drowsiness during driving.
In parallel with the developments in information technologies, smart vehicle development studies have also upgraded in recent years. As part of smart vehicle designs, driver fatigue detection systems have also come to the forefront because these systems support safe vehicle driving. These systems, which provide safe driving support, detect the driver's fatigue status / degree according to the data obtained by following the behavior and physical condition of the driver during driving.
The aim of this study is; By monitoring the driver with fixed camera (s) in daylight conditions (in daylight conditions), detecting the driver's face region through the images obtained, then behavioral characteristics required for fatigue detection (blink number, PERCLOS (The Percentage of Eyelid Closure), determining the yawning, FOM (Frequency Of Mouth) and head situation); Adaboost, Support Vector Machine (SVM), two different (Two Outputs, Three Outputs) Convolutional Neural Network- ConNN and Deep Belief Network (DBN) models to determine the fatigue state/degree of the driver.
Within the scope of the thesis, besides the ZJU, YawDD, Nthu-DDD data sets in the literature, the original data set called KouBM-DFD, which was prepared within the scope of this study and added to the literature, was used to decide the fatigue status / degree of the driver. In this context; 6 different studies were conducted, namely Scenario 1, Scenario 2, Scenario 3, Scenario 4, Scenario 5, and Scenario 6. Best accuracy rate; In Scenario 4, it was achieved as 99.18% on the YawDD dataset by using Two Outputs Multitasking ConNN Model-1. The same model was tested on the KouBM-DFD dataset, achieving 98.88% accuracy. When the results obtained are evaluated; It is clear that the KouBM-DFD dataset can provide reliable data for the methods to be used, like other datasets in the literature. In addition, in the experimental studies, DBN model was used and an accuracy rate of 84% for DBN-eye and 80% for DBN-mouth was obtained on the KouBM-DFD dataset.