Koklear implant kullanan bireylerin farklı duygulardaki ses kayıtlarının spektral koherans analizi
Spectral/ coherence analysis of voice recordings of different emotions of cochlear implant users
Yazar: HALİL KILIÇASLAN
Danışman: PROF. DR. BAHRİYE ÖZLEM KONUKSEVEN
İstanbul Aydın Üniversitesi / Lisansüstü Eğitim Enstitüsü / Odyoloji Ana Bilim Dalı / Odyoloji Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Kulak Burun ve Boğaz = Otorhinolaryngology (Ear-Nose-Throat)
Dizin: Duygu analizi = Sentiment analysis ; Koklea = Cochlea ; Koklea hastalıkları = Cochlear diseases ; Koklear implantlar = Cochlear implants ; Kulak hastalıkları = Ear diseases ; Odyoloji = Audiology ; Ses = Voice

Özet:
Amaç: İşitme kaybı bulunan bireyler, olaylara duygu yükleyebilmelerine rağmen, duyguları tanıma konusunda zorluklarla karşılaşmaktadırlar. Bundan dolayı duyguları ifade etmekte zorlanacakları düşünülmüştür. Bu çalışmada koklear İmplant kullanan bireylerin, nötr, mutluluk, hüzün, öfke, korku, şaşkınlık ve iğrenme olmak üzere 7 farklı duyguda seslendirdikleri cümlelerin spektral/ koherans analizlerinin yapılması amaçlanmıştır.
Gereç ve Yöntem: Çalışma; çalışmaya dahil edilecek cümlelerin oluşturulması, cümlelerin analiz edilmeye uygun hale getirilmesi, kayıt alınan cümlelerin matematiksel analizlerinin yapılması ve uzman görüşlerinin alınması olmak üzere dört aşamada gerçekleştirilmiştir. Çalışmada 7 farklı duyguya ait her duygudan 30 tane cümle hazırlanmıştır. Bu cümleler hazırlanırken duyguyu tam anlamıyla ifade etmek için oluşturulan senaryoların içerisine yerleştirilmiştir. Çalışma sırasında 15 bireyin her birine toplam 210 okuma parçası okutulmuş ve sesleri kaydedilmiştir. Her bir duygu için rastgele seçilmiş 30 ses kayıt parçası, diğer altı duygudan rastgele seçilmiş ve her bir gruptan beşer cümle almak üzere 30 ses kayıt parçası ile Ortalama Karesel Hata ve R-Kare metotları kullanılarak karşılaştırılmıştır.
Bulgular: Spektral analizlerin frekansların ortalama yoğunluğu 0-3 kilohertz arasında olduğu görülmüştür. Elde edilen koherans analiz grafiklerinin -40 ile -100 desibel arasında seyrettiği gözlenmiştir. Bütün Duyguların ayrı ayrı Ortalama Karesel Hata değerlerinin kontrol grubuyla karşılaştırılmasından elde edilen verilere göre öfke duygu durumu en yakın dBlerde, mutluluk duygu durumu en uzak dBlerde power spektrum – frekans grafiğine sahip duygu durumu olduğu gözlenmiştir. Duygu durumlarının birbirleriyle karşılaştırılması sonucunda ise öfke- hüzün duygu durumlarının birbirlerine en yakın dBlerde; şaşkınlık- nötr duygu durumlarının birbirlerine en uzak dBlerde olduğu saptanmıştır. Bütün Duyguların ayrı ayrı R- Kare değerlerinin kontrol grubuyla karşılaştırılmasından elde edilen verilere göre mutluluk duygu durumu en yakın dBlerde, korku duygu durumunun en uzak dBlerde power spektrum – frekans grafiğine sahip duygu durumu olduğu gözlenmiştir. Duygu durumlarının birbirleriyle karşılaştırılması sonucunda ise öfke- mutluluk duygu durumlarının birbirlerine en yakın dBlerde olduğu; Korku- mutluluk duygu durumlarının birbirlerine en uzak dBlerde olduğu saptanmıştır.
Sonuç: Koklear implant kullanan bireylerin 7 farklı duyguda ses duygu ifadesi spektral koherans analizleri eşdeğer bulunmuştur. Uzman görüşleri ile yapı geçerliliği sağlanmasına rağmen bireylerin sakin heyecanlı kişilik yapılarına göre her bir duygu ifadesi farklı tonlamalarda olabileceği göz ardı edilmemelidir.  Bundan dolayı OKH ve R- Kare yöntemleri duyguların eşdeğerliliğini ölçmede yeterli bulunmamıştır.

Abstract:
Aim: Although people who suffers from hearing loss can attribute emotions to events, they face difficulties in recognizing emotions. Therefore, it was thought that they would have difficulty in expressing their emotions. In this study, it is aimed to perform spectral/coherence analyzes of sentences voiced by individuals using cochlear implants in 7 different emotions, including neutral, happiness, sadness, anger, fear, surprise and disgust.
Material Metod: The study was carried out in four stages, namely forming the sentences to be included in the study, making the sentences suitable for analysis, performing mathematical analysis of the recorded sentences, and getting expert opinions. In the study, 30 sentences were prepared from each emotion belonging to 7 different emotions. While these sentences were being prepared, they were placed in the scenarios created to express the emotion correctly. During the study, a total of 210 reading passages were read to each of the 15 individuals and their voices were recorded. 30 randomly selected audio recording tracks for each emotion were compared with 30 audio recording tracks randomly selected from the other six emotions to get five sentences from each group, using Mean Squared Error and R-Square methods.
Results: The average intensity of the frequencies of the spectral analyzes was found to be between 0-3 kilohertz. It was observed that the obtained coherence analysis graphs ranged between -40 and -100 decibels. According to the data obtained from the comparison of the Mean Square Error values of all emotions separately with the control group, it was observed that the mood of anger had the most similar decibels, and the mood of happiness had the most different decibels, with the power spectrum-frequency graph. As a result of the comparison of emotional states with each other, it was determined that anger-sadness emotional states were in the most similar decibels, and surprise-neutral emotional states were in the most different decibels. According to the data obtained from the comparison of the R-Square values of all emotions separately with the control group, it was observed that the mood of happiness had the most similar decibels, and the mood of fear was the mood with the power spectrum-frequency graph at the most different decibels. As a result of the comparison of emotional states with each other, it was determined that anger-happiness emotional states were in the most similar decibels, and fear-happiness emotional states were in the most different decibels to each other.
Conclusions: Spectral coherence analyzes of voice emotional expression in 7 different emotions of individuals using cochlear implants were found to be equivalent. Although construct validity is ensured by expert opinions, it should not be ignored that each emotion expression may have different intonations according to the calm and excited personality structures of individuals. Therefore, the OKH and R-Square methods were not found sufficient to measure the equivalence of emotions.