İşitme kayıplı bireylerin derin öğrenme tabanlı ses duygu analizi
Deep learning based voice emotion analysis of individuals with hearing loss
Yazar: BÜŞRA ULUDAĞ
Danışman: PROF. DR. BAHRİYE ÖZLEM KONUKSEVEN
İstanbul Aydın Üniversitesi / Lisansüstü Eğitim Enstitüsü / Odyoloji Ana Bilim Dalı / Odyoloji Bilim Dalı
Derece: Yüksek Lisans, 2020
Konu: Kulak Burun ve Boğaz = Otorhinolaryngology (Ear-Nose-Throat)
Dizin: Derin öğrenme = Deep learning ; Derin öğrenme = Deep learning ; Duygu = Emotion ; Duygu = Emotion ; Duygu analizi = Sentiment analysis ; Koklear implantlar = Cochlear implants ; Kulak hastalıkları = Ear diseases ; Ses analizi = Voice analysis ; Yapay zeka = Artificial intelligence ; İşitme kaybı = Hearing loss

Özet:
Amaç: İşitme kayıplı bireylerin, hedef duyguyu tanıma ve ifade etme becerileri düşüktür. Bu çalışmanın amacı, koklear implant kullanan bireylerde duyguları sözel ifade etme becerisini derin öğrenme ile değerlendirmek ve koklear implant kullanan bireylerin eğitim öncesi ve eğitim sonrası derin öğrenme ile ses duygu analizleri arasındaki farkı ortaya koymaktır. 

Gereç ve Yöntem: Çalışma, veri setinin oluşturulması, derin öğrenme algoritmasının oluşturulması/ eğitilmesi ve prototipin canlıya geçirilmesi (klinik uygulama) olmak üzere üç aşamada gerçekleştirilmiştir. Derin öğrenme algoritmasının eğitilmesi için hazırlanan veri seti cümleleri nötr, mutluluk, hüzün, öfke, korku ve şaşkınlık olmak üzere altı farklı duyguda Drama ve Oyunculuk Bölümü'nde öğrenim gören 20 kadın ve 20 erkek öğrenci tarafından seslendirilmiştir. Derin öğrenme eğitimi tamamlandıktan sonra 18- 40 yaş aralığında, 20 normal işiten ve 20 koklear implant kullanan olmak üzere toplamda 40 birey çalışmaya dahil edilmiştir. Koklear implant kullanan bireyler resim ve animasyon olmak üzere iki ayrı duygu eğitimi uygulandıktan sonra cümleleri tekrar seslendirmiştir. Derin öğrenme yöntemi kullanılarak, eğitim öncesi ve eğitim sonrası ses duygu analizleri karşılaştırılmıştır.

Bulgular: Derin öğrenme eğitimi tamamlandıktan sonra test aşamasında doğruluk oranı %93 elde edilmiştir. Derin öğrenme ile ses duygu analizi doğruluğu, normal işiten bireylerde %94.3, koklear implant kullanan bireylerde eğitim öncesi %68.25, koklear implant kullanan bireylerde eğitim sonrası %91.3 olarak elde edilmiştir.  

Sonuç: Koklear implant kullanan bireylerin ses duygu analizi doğruluk oranı, normal işiten bireylerin ses duygu analizi doğruluk oranına göre daha düşük ve koklear implant kullanan bireylerin eğitim sonrası ses duygu analizi doğruluk oranı daha yüksek elde edilmiştir. Bu çalışma, işitme kayıplı bireyler için ilk olması ile literatüre yenilikçi bir katkı sağlayacağı öngörülmektedir.

Anahtar Kelimeler: derin öğrenme, duygu, koklear implant, yapay zekâ, ses duygu analizi

Abstract:
Aim: Individuals with hearing loss have low ability to recognize and express the target emotion. The aim of this study is to evaluate the verbal expression of emotions in individuals using cochlear implants with deep learning and to reveal the difference between pre-and post-training deep learning and sound emotion analysis of individuals using cochlear implants.

Material Metod: The study was carried out in three stages: creating the data set, creating / training the deep learning algorithm, and moving the prototype to life (clinical practice). The dataset sentences prepared for the training of the deep learning algorithm were voiced by 20 female and 20 male students studying in the Drama and Acting Department in six different emotions: neutral, happiness, sadness, anger, fear, and surprise. After the deep learning training was completed, a total of 40 individuals, including 20 normal hearing and 20 cochlear implant users, between the ages of 18-40 were included in the study. Individuals using cochlear implants vocalized the sentences again after applying two separate emotional training, namely painting and animation. Using the deep learning method, pre-training and post-training sound emotion analysis were compared.

Results: After the deep learning training was completed, the accuracy rate was 93% in the test phase. Sound emotion analysis accuracy with deep learning was achieved as 94.3% in individuals with normal hearing, 68.25% before training in individuals using cochlear implants, and 91.3% after training in individuals using cochlear implants.

Conclusion: The accuracy rate of sound emotion analysis of individuals using cochlear implants was lower than the accuracy rate of sound emotion analysis of normal hearing individuals, and the accuracy rate of sound emotion analysis after training of individuals using cochlear implants was higher. It is expected that this study will make an innovative contribution to the literature, being the first for individuals with hearing loss.

Key Words: deep learning, emotion, cochlear implant, artificial intelligence, voice emotion analysis