Drama liderlerinde, işitme engelli bireylerde, normal işiten bireylerde ve otizm spektrum bozukluğunda derin öğrenme ile ses duygu analizi
Voice emotion analysis with deep learning in drama leaders, hearing-impaired individuals, normal hearing individuals and autism spectrum disorder
Yazar: MİNA GÖK
Danışman: PROF. DR. BAHRİYE ÖZLEM KONUKSEVEN
İstanbul Aydın Üniversitesi / Lisansüstü Eğitim Enstitüsü / Odyoloji Ana Bilim Dalı / Odyoloji Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Kulak Burun ve Boğaz = Otorhinolaryngology (Ear-Nose-Throat)
Dizin: Derin öğrenme = Deep learning ; Drama = Drama ; Duygu analizi = Sentiment analysis ; Koklear implantlar = Cochlear implants ; Otistik bozukluklar = Autistic disorder ; Otizm spektrum bozukluğu = Autism spectrum disorder ; Ses = Voice ; İşitme engelliler = Hearing impaired

Özet:
Amaç: İşitme engelli ve otizm spektrum bozukluğu tanılı bireyler günlük hayatta iletişim konusunda problem yaşamaktadırlar. Bu problemin temelinde alıcı-ifade edici dil ile ilgili problemler bulunmaktadır. Alıcı dil gelişse bile ifade edici dilde problem yaşadıkları için sağlıklı iletişim ve etkileşim kurarak topluma karışma konusunda zayıf kalmaktadırlar. Bu nedenle sessiz bir izolasyon içinde yaşamlarını sürdürmekte ve depresyon gibi birçok psikososyal durum ile mücadele etmektedirler. 
Bu çalışmada koklear implantlı, otizm spektrum bozukluğu tanılı, normal gelişim gösteren bireyler ve drama liderlerinin ses-duygu analizlerinin yapılması, sonuçların karşılaştırılması ve değerlendirilmesi amaçlanmıştır. 
Gereç ve yöntem: 21 hedef cümlenin bulunduğu veri seti duygu sınıfı cümleleri 7 farklı duyguda 20 drama lideri ve 20 normal işiten birey tarafından seslendirilmiştir. Bu cümlelerin içinden 10 tanesi rastgele seçilerek 7 farklı duyguda 30 koklear implant kullanıcısı ve 30 otizm tanılı birey tarafından seslendirilmiş, veri seti oluşturulmuştur. Koklear implant ve otizm grubu aynı cümleleri, oluşturulan eğitim materyalleri uygulanmadan önce ve sonra olmak üzere 2 kez seslendirmiştir. Drama liderlerinin ses kayıtları tarafından eğitilen derin öğrenme modeli ile diğer gruplar test edilmiş ve karşılaştırılmıştır.
Bulgular: Derin öğrenme modelimiz FreshNet ile eğitim aşamasında %72.8, test aşamasında %51.6 doğruluk oranı elde edilmiştir. Diğer test grupları için doğruluk oranları; normal işiten bireyler için %26.6, işitme engelli bireyler için alıştırma materyali öncesi %19.7, alıştırma materyali sonrası %22.3, otizmli bireyler için alıştırma materyali öncesi %14.71, alıştırma materyali sonrası %16.37 olarak elde edilmiştir. 
Sonuç: Drama liderleri doğruluk oranı en yüksek grup olarak belirlenmiştir. Drama liderlerinden sonra en yüksek doğruluk oranı sırasıyla normal işiten, işitme engelli ve otizm tanısı almış bireylere aittir. Alıştırma materyali sonrası işitme engelli ve otizmli bireylerde artış görülmüş ve ses-duygu rehabilitasyonunun önemi vurgulanmıştır. Bu çalışma, iletişim problemleri temelinde profesyonel, normal işiten ve duygu aktarım problemleri yaşayan otizm ve işitme engeli gibi spesifik gruplara bütüncül bir yaklaşım geliştirdiğinden literatürde ilktir ve alana önemli katkılar sağlayacağı düşünülmektedir.
Anahtar Kelimeler: derin öğrenme; ses-duygu analizi; otizm spektrum bozukluğu (OSB); işitme engeli; drama lideri

Abstract:
Goal: People with autism spectrum disorder (ASD) and who are hearing impaired experience problems in daily life. Recieving-expressing language-related problems are the basis for this situation. Even if recieving language is improved, they still have problems regarding the expressing language. That is why they have difficulties in fitting in the society by establishing healthy communications and interactions. Thus they continue their lives in silence and seclusion in isolation and they struggle with many psychologic problems such as depression. 
The voice-emotion analysis of people with cochlear implant, people who are diagnosed with autism spectrum disorder, people who have shown normal development and leaders of drama, comparison of these and evaluation is the main purpose in this study.
Material and Method: Emotion class sentences of 21 have been vocalized in 7 different emotions by 20 drama leaders and normal-hearing people. 10 of these sentences have been chosen randomly and have been vocalized in 7 different emotions by 30 people with cochlear implant and 30 people who are diagnosed with autism spectrum disorder. Hence a dataset have been established. The groups of CI and autism spectrum disorder have vocalized the same sentences twice being before and after the educational material is applied. The other groups are tested and compared by the deep learning algorithm which have been trained by the voice recordings of the drama leaders.
Results: Accuracies that have been achieved with our deep learning model FreshNet are 72.8% and %51.6 in the training and test stages, respectively. The accuracies that obtained for other test groups are as follows: 26.6% for normally hearing people; 19.7% before training, 22.3% after training for hearing impaired people; 14.71% before training, 16.37% after training for people with autism. 
Conclusion: Drama leaders has been determined to be the group with the highest accuracy. After the drama leaders, the highest accuracies belong to normally hearing, hearing impaired people and people with autism spectrum disorder, respectively. An increase in accuracies have been observed after training in hearing impaired people and people with autism spectrum disorder, which highlights the importance of rehabilitation. This study is the first in the literature as it develops a holistic approach to the specific groups such as professionals, normally hearing people, and people who has problems with showing emotions, like hearing impaired and people with autism spectrum disorder, in the basis of communication problems; and it has been thought that this study can provide important contributions to the field.
KEYWORDS: hearing-impaired; deep learning; voice emotion analysis; autism spectrum disorder (ASD); drama leaders