Duygusal reaksiyonların fizyolojik deneyim örnekleme ile analizi
Analysis of emotional reactions with physiological experience sampling
Yazar: GÜLİN DOĞAN
Danışman: DR. ÖĞR. ÜYESİ FATMA PATLAR AKBULUT
İstanbul Kültür Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Deneyim = Experience ; Derin öğrenme = Deep learning ; Gerilme = Stress ; Makine öğrenmesi = Machine learning ; İşaret işleme = Signal processing

Özet:
Stres, modern toplumumuzun ayrılmaz bir parçası haline geldi. Gelişmekte olan teknolojinin sağladığı akıllı cihazların yaygın bir şekilde kullanılması, bu cihazlarla stresi algılama ve hafifletme amacıyla kullanılması araştırma konusunu haline gelmiştir. Son zamanlarda göze çarpmayan giyilebilir cihazların ekolojik ortamlarda araştırmalara katkı sağlaması amacıyla kullanımı başlamıştır. Bu cihazların sağladıkları veriler ile duygu ve bilişin izlenmesi, deneyim ve bağlama özgü uygulama olanakları için yeni fırsatlar sağlamıştır. Bu cihazlar, günlük yaşamdaki çeşitli alanlardan çok miktarda yüksek oranda çözülmüş ve kişisel verilerin toplanmasını sağlayan deneyim örnekleme metodolojisi kullanılarak çoklu sensörler, kayıt kanalları ve uygulama tabanlı değerlendirme fırsatları ile donatılmıştır.

Çalışmanın amacı, deneyim örnekleme metodu ile toplanan görüntü, ses ve fizyolojik sinyaller ile derin öğrenmeye dayalı duygu tahmin etme sistemlerinin oluşturulmasıdır. Çalışmaya katılan 20 katılımcı tarafından 7 gün süresince 6 defa olmak üzere 15 dakikalık oturumlar olacak şekilde, 175 saatlik fizyolojik sinyal, 111 görüntü ve 68 ses kaydı toplanmıştır. Görüntü verileri kullanılarak ses verilerinin desteklenmesi sayesinde çoklu modelleme duygu analizi gerçekleştirildi. Füzyon verileri için görüntü verilerinden duygu tahmini yapılabilme %83 oranında, ses sinyallerinde duygu tahmini ise %74 oranında başarı ile tahmin edildi. Çalışma kapsamında toplanan fizyolojik sinyallerin tümünün sentezlenmesi için geliştirilen optimum performansa sahip modelin başarı oranı %94 olarak tespit edilmiştir. Toplanan fizyolojik sinyallerin çeşitli kombinasyonları transfer öğrenimi tekniğinin ardından optimum model ve optimum zaman pencereleri kullanarak stres tahmini gerçekleştirildi. İkili ve üçlü fizyolojik sinyal kombinasyonları sonucunda EDA ve BVP sinyallerinin stres tespitinde etkin rol oynadığı görülmüştür.

Abstract:
Stress has become an integral part of our modern society. The widespread use of smart devices provided by developing technology and the use of these devices to detect and relieve stress has become a research topic. Recently, the use of inconspicuous wearable devices has begun to contribute to research in ecological environments. Tracking emotion and cognition with the data these devices provide has opened up new opportunities for experience and context-specific application possibilities. These devices are equipped with multiple sensors, recording channels, and application-based assessment opportunities using experience sampling methodology that enables the collection of large amounts of highly resolved and personal data from various areas of daily life.

The aim of the study is to create emotion prediction systems based on deep learning with photographs, audio and physiological signals collected by experience sampling method. In the study, 175 hours of physiological signals, 111 images and 68 audio recordings were collected by 20 participants in 6 times 15-minute sessions over 7 days. Multi-model sentiment analysis was performed using photographic data and supporting audio data. For fusion data, emotion estimation from photographic data was predicted with a success rate of 90%, and emotion estimation in audio signals with a 73% success rate. The success rate of the model with optimum performance, which was developed to synthesize all of the physiological signals collected within the scope of the study, was determined as 94%. Stress estimation was performed using the optimum model and optimum time windows following the transfer learning technique of various combinations of the collected physiological signals. As a result of double and triple physiological signal combinations, it has been seen that EDA and BVP signals play an active role in stress detection