Zihinsel yorgunluk bulgularının fizyolojik sinyallere dayalı analizi
Analysis of signs of mental fatigue based on physiological signals
Yazar: ŞEYMA DERDİYOK
Danışman: DOÇ. DR. FATMA PATLAR AKBULUT
İstanbul Kültür Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Zihinsel yorgunluk uzun süreli bilişsel performansa dayalı ortaya çıkan psikofizyolojik bir durumdur. İş ve insan sağlığı açısından zararlı etkileri de olan zihinsel yorgunluk oluştuğu anda karar verebilme, seçim yapabilme, çözüm sunabilme, algılayabilme vb. bilişsel becerilerde azalma olur. Günlük yaşam kalitesini düşüren zihinsel yorgunluğun tanımlanması ve erken tespiti günümüz teknolojisiyle mümkündür. Bu erken tespit ile yorgunluğa dayalı ortaya çıkan zihinsel performans ve motivasyon düşüklüğü, konsantre olamama, reflekslerde azalma gibi olumsuz etkiler azaltılabilir. Bu çalışmada derin ve transfer öğrenme yaklaşımları ile zihinsel yorgunluk bulgularının tanımlanması için fizyolojik sinyallerin kullanımının ve uygulanabilirliğinin analizi yapılmıştır. Ayrıca kişilerin demografik bilgilerinin zihinsel yorgunluğu oluşturmadaki etkilerine bakılmıştır. Yaş ortalaması 29 olan 4 farklı meslek grubundan aktif çalışan 23 katılımcı belirlenmiştir. Katılımcıların rutin iş düzenlerine devam ettikleri esnada sabah ve akşam ayrı ayrı olmak üzere EEG, BVP, EDA, HR, TEMP, ACC fizyolojik sinyalleri kaydedilmiştir. Bu sinyalleri seçmedeki birincil neden bilişsel süreçlere olan duyarlılıkları ve altta yatan zihinsel yorgunlukla ilgili değişiklikleri yakalamadaki potansiyelleridir. Farklı frekans sıklığına sahip bu sinyallerle 1, 32 ve 64 Hz frekans aralıklarına örnekleme yapılarak 3 farklı veriseti oluşturulmuştur. Bu verisetleri oluşturulurken her 3 dakikada bir son 1 dakikalık örneklem seçilmiştir. Bu verisetleri önerilen derin öğrenme ve transfer öğrenme modelleriyle eğitilmiştir. Optimum sonuçlar 64 Hz örnekleme frekansına sahip veri kümesinde elde edilmiştir. Bu modellerden tek boyutlu evrişimsel sinir ağı %98 doğruluk oranı ile daha yüksek performans sergilerken, transfer öğrenme aşamasında tekrarlayan sinir ağı modellerinden LSTM %97, GRU %95 doğruluk oranı ile en iyi sınıflandırıcı olmuşlardır. Zihinsel yorgunluğu transfer öğrenme ile tespit etmede stres kökenli veriseti özelliklerinin duygu tanıma kökenli veriseti özelliklerinden daha baskın olduğu gözlemlenmiştir. Ayrıca örneklem sıklığı arttıkça modellerin sınıflandırma performansının arttığı; EDA sinyalinin zihinsel yorgunluğu tespit etmede daha belirleyici olduğu; çalışma süresi, uyku düzeni ve süresi gibi faktörlerin zihinsel yorgunluk oluşturmada doğrudan etkili olduğu gözlemlenen diğer sonuçlardır.

Abstract:
The state of mental fatigue (MF) is a combination of psychological and physiological factors which are a result of long-term cognitive exertion. MF, that has adverse effects on both work and human health, can impede decision-making, choice-making, problem-solving, perception, and other cognitive abilities. Nowadays, it is possible through advanced technological means to identify and detect MF, which significantly reduces the quality of daily life. By detecting fatigue early, negative effects such as decreased mental performance and motivation, an inability to concentrate, and reduced reflexes, which are caused by fatigue, can be mitigated. In this study, an analysis was conducted on the utilization and feasibility of physiological signals for the identification of mental fatigue symptoms using deep and transfer learning approaches. Additionally, the impact of individuals' demographic information on the formation of MF has been examined. A total of 23 active participants were identified from four distinct occupational groups, with an average age of 29 years. During the participants' regular work, EEG, BVP, EDA, HR, TEMP, and ACC physiological signals were recorded separately in the morning and evening. The primary reason for selecting these signals lies in their potential to capture variations in cognitive processes and underlying MF. Three distinct datasets were formed by sampling at 1, 32, and 64 HZ intervals using signals possessing varying sample rates. During the creation of these datasets, a sample of the last minute was selected every three minutes. The present dataset has been trained using proposed deep learning and transfer learning models. The optimum results were achieved in the dataset with a sampling frequency of 64 Hz. Of the models examined, the one-dimensional convolutional neural network has demonstrated significantly higher performance, achieving a 98% accuracy rate. On the other hand, the recurrent neural network models, specifically LSTM and GRU, have exhibited outstanding classification performance during the transfer learning phase, achieving accuracy rates of 97% and 95%, respectively. The present analysis observes that stress-induced dataset characteristics tend to prevail over emotion recognition-related dataset characteristics in identifying MF through transfer learning. It has been observed that as the sample frequency increases, the classification performance of models also improves. Moreover, the analysis of EDA signals is more decisive in detecting MF. Factors such as work duration, sleep patterns, and duration have a direct impact on the creation of MF, as demonstrated by other findings.