Zihinsel iş yükünün EEG ve göz izleme verileri kullanılarak makine öğrenmesi teknikleriyle modellenmesi
Mental workload modeling by using machine learning techniques based on EEG and eye tracking data
Yazar: ŞENİZ HARPUTLU AKSU
Danışman: PROF. DR. ERMAN ÇAKIT
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / Endüstri Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2023
Konu: Endüstri ve Endüstri Mühendisliği = Industrial and Industrial Engineering
Dizin: Elektroensefalografi = Electroencephalography ; Göz izleme = Eye tracking ; Makine öğrenmesi = Machine learning

Özet:
Bu tez çalışması kapsamında, zihinsel iş yükünün elektroensefalografi (EEG) ve göz izleme verilerine bağlı olarak analiz edilmesi ve makine öğrenmesi algoritmaları kullanılarak tahmin edilmesi amaçlanmıştır. Öncelikle 4 katılımcı (2 kadın, 2 erkek) üzerinde pilot uygulama gerçekleştirilmiş, EEG ve göz izleme cihazları ile ayrı ayrı ölçümler alınarak sonuçlar analiz edilmiştir. Temel uygulamada ise deneyler 15 üniversite öğrencisi (7 kadın, 8 erkek) üzerinde uygulanmış olup, EEG ve göz izleme cihazlarından eş zamanlı kayıtlar alınmıştır. Deneyler sırasında, farklı seviyelerde zihinsel iş yükünün tahmini için n-geri hafıza görevi ve NASA-Task Load Index (TLX) öznel değerlendirme ölçeği kullanılmıştır. Görev zorluk seviyesi arttıkça sağ ve sol göz bebeği boyutunun, odaklanma sayısının, seğirme sayısı ve süresinin ve ayrıca, göz kırpma sayısı ve süresinin arttığı; odaklanma süresi ile ilgili değişkenlerin ise azaldığı görülmüştür. EEG ile ilgili olarak elde edilen sonuçlar; prefrontal, frontal ve frontal merkez bölgelerindeki yani ön beyindeki teta gücünün görev zorluğu arttıkça arttığını göstermektedir. Görev zorlaştıkça frontal bölgelerdeki alfa gücü artmakta iken temporal, pariyetal ve oksipital bölgelerdeki alfa gücü ise azalmaktadır. Düşük beta gücünün ise görev zorlaştıkça hemen hemen tüm beyin bölgelerinde önemli ölçüde azaldığı gözlemlenmiştir. Dört sınıflı sınıflandırma problemi kapsamında, seçilen 18 özellik ile zihinsel iş yükü seviyesi %70,26 doğruluk oranı ile tahmin edilebilmiştir. Sonuçlar, göz izleme ve EEG ölçümlerinin zihinsel iş yükünün analizinde önemli bir rol oynadığını göstermektedir. Bu kapsamda, göz izleme ve EEG ölçümlerinin eş zamanlı olarak kayıt altına alındığı deney süreci sonucunda farklı makine öğrenmesi algoritmalarının karşılaştırmalı olarak kullanıldığı dört sınıflı zihinsel iş yükü tahmin modeli ile literatüre önemli katkı sağlanmıştır.

Abstract:
In this thesis, it was aimed to analyze the mental workload based on EEG and eye tracking data and to classify it through machine learning algorithms. First of all, a pilot application was carried out on 4 participants (2 women, 2 men), and after taking separate measurements with EEG and eye tracking devices the results were analyzed. In the basic application, the experiments were carried out on 15 university students (7 women, 8 men), and simultaneous recordings were taken from EEG and eye tracking devices. During the experiments, the n-back memory task and the NASA-Task Load Index (TLX) subjective rating scale were used to estimate different levels of mental workload. It was observed that as the task difficulty increased, the right and left pupil diameters, the number of fixations, the number and duration of saccades, as well as the number and duration of blinks increased, while the variables related to fixation duration decreased. The results obtained in relation to the EEG shows that theta power in the prefrontal, frontal and frontal center regions increases as the task difficulty increases. As the task becomes more difficult, alpha power increases in the frontal regions and decreases in the temporal, parietal and occipital regions. Low beta power was also observed to decrease significantly in almost all brain regions as the task became more difficult. Within the scope of the four-class classification problem, the mental workload level could be predicted with an accuracy rate of 70,26% with 18 selected features. The results show that eye tracking and EEG measurements play an important role in the classification of mental workload. In this context, a significant contribution has been made to the literature with the four-class mental workload estimation model, in which different machine learning algorithms are used comparatively, as a result of the experimental process in which eye tracking and EEG measurements are recorded simultaneously.