Profesyonel drama oyuncuları ses duygu kayıtları ile Türkçe ses duygu veri tabanı oluşturulması
Creating a Turkish speech emotion database with professional drama actors speech emotion recordings
Yazar: ALPER TABAKLAR
Danışman: PROF. DR. BAHRİYE ÖZLEM KONUKSEVEN
İstanbul Aydın Üniversitesi / Lisansüstü Eğitim Enstitüsü / Odyoloji Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Kulak Burun ve Boğaz = Otorhinolaryngology (Ear-Nose-Throat)
Dizin: Drama = Drama ; Oyunculuk = Acting ; Ses duygu analizi = Speech emotion analysis ; Spektral analiz = Spectral analysis ; Tiyatro oyuncuları = Theater players ; Veri tabanı = Database

Özet:
Amaç: Duygular, sesin tonlaması, mimik ve jestler gibi sözel olmayan ipuçlarıyla beraber ifade edilir. İşitme kayıplı bireyler, olaylara duygu yükleyebilmelerine ve anlayabilmelerine rağmen duyguları tanıma ve ifade etme becerisinde zorluklar yaşarlar. Bu çalışmada işitme kayıplı bireylerin duygu tanıma ve ifade etme becerilerinin geliştirilmesi için profesyonel drama oyuncularının ses duygu kayıtları ile Türkçe veri tabanı oluşturulması ve değerlendirilmesi hedeflenmiştir.
Gereç ve Yöntem: Çalışmada 7 farklı duyguya ait her bir duygudan 30 tane cümle hazırlanmıştır. Bu cümleler duyguyu tam anlamıyla ifade etmek için oluşturulan senaryoların içerisine yerleştirilmiştir. 1 profesyonel drama oyuncusu toplam 210 hedef cümle ve senaryoyu okuyarak ses kaydı alınmıştır. Toplam 30 profesyonel drama oyuncusuyla 6300 ses kaydı elde edilerek spektral ve koherans analizi yapılmıştır. Bir profesyonel drama oyuncusunun her bir duygu için ses cümle kayıtları diğer 6 duygu ses cümle kayıtları ile duygu farklılıklarını araştırmak için aynı bireyin aynı cümleleriyle spektral ve koherans analizleri yapılmıştır. Ayrıca 30 profesyonel drama oyuncusunun 30 cümlesine ait 900 ses/duygu cümle kayıtları arasından randomize seçilerek farklı bireylerin farklı cümlelerine ait 7 farklı duygudaki spektral ve koherans grafikleri analiz edilmiştir. 
Bulgular: Bir kişinin aynı cümleye ait 7 farklı duygudaki spektral ve koherans grafikleri ve analizleri incelendiğinde alçak, orta ve yüksek frekanslarda duygu tonlamalarında dB farklılıkları görülmüştür. Farklı bireylerin farklı cümlelerine ait 7 farklı duygudaki spektral ve koherans grafikleri ve analizleri değerlendirildiğinde ise duygu tonlamaları farklılıklarına rağmen her bir bireyin karakter özellikleri doğrultusunda aynı cümlelerde aynı duygu tonlamalarında dB farklılıkları görülmüştür. Yapılan spektral analizlerin sonucunda frekansların ortalama yoğunluğu 0-3 kilohertz arasında olduğu ve koherans analiz grafiklerinin -30 ile -100 desibel arasında gözlenmiştir.
Sonuç: 7 ayrı ses duygu ifadesinin spektral koherans analizleri ile diğer farklı altı duygu ses duygu ifadelerinin spektral koherans analizleri eşdeğer değildir. 30 profesyonel drama oyuncusunun 7 farklı duyguda 6300 ses/duygu cümle kayıtları ile ilk Türkçe ses/duygu veri tabanı oluşturulmuştur.

Abstract:
Aim: Emotions are expressed with nonverbal cues such as intonation of voice, facial expressions and gestures. Hearing-impaired individuals have difficulties in recognizing and expressing emotions, although they can attribute and understand emotions to events. In this study, it was aimed to create and evaluate a Turkish database with sound emotion recordings of professional drama actors in order to improve emotion recognition and expression skills of individuals with hearing loss.
Material Metod: In the study, 30 sentences were prepared from each emotion belonging to 7 different emotions. These sentences are placed in the scenarios created to better express the emotion. 1 professional drama actor read a total of 210 target sentences and scenarios and recorded. Spectral and coherence analysis were performed by obtaining 6300 sound recordings with a total of 30 professional drama actors. Spectral and coherence analyzes were performed with the same sentences of the same individual in order to investigate the emotional differences between the audio sentence recordings of a professional drama actor for each emotion and the other 6 emotion audio sentence recordings. In addition, spectral and coherence graphs and analyzes of 7 different emotions belonging to different sentences of different individuals were randomly selected among 900 sound/emotional sentence recordings belonging to 30 sentences of 30 professional drama actors.
Results: In the spectral and coherence graphs and analyzes of a person's 7 different emotions belonging to the same sentence, dB differences were observed in emotion tones at low, medium and high frequencies. When the spectral and coherence graphs and analyzes of 7 different emotions belonging to different sentences of different individuals were evaluated, dB differences were observed in the same emotional intonations in the same sentences in line with the character traits of each individual, despite the differences in emotion tones. As a result of the spectral analyzes, the average intensity of the frequencies was observed to be between 0-3 kilohertz and the coherence analysis graphs were observed between -30 and -100 decibels.
Conclusions: The spectral coherence analyzes of 7 different voice emotion expressions and the spectral coherence analyzes of the other six different emotional voice emotion expressions are not equivalent. The first Turkish voice/emotion database was created with 6300 voice/emotion sentence recordings in 7 different emotions of 30 professional drama actors.