Konuşma bilgisi ve makine öğrenmesi kullanılarak duygu analizi
Emotion recognition using speech information and machine learning
Yazar: İSMAİL AKBUDAK
Danışman: PROF. DR. SEZAİ TOKAT
Pamukkale Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2019
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Bu tez çalışmasında, insanların konuşurken çıkardığı seslerdeki duygu
durumu ve sese ait spektral özellikler makine öğrenmesi kullanılarak işlenmeye
çalışılmıştır. Duyguyu barındıran sesli içerik günlük konuşmalar, videolar, müzik,
film, dizi içerikleri gibi birçok farklı kaynaktan elde edilebilir. Duygunun tespit
edildiği sistemin ne kadar sürede duygu çıkarımı yaptığı, bu tarz bir sistemin
oluşturulması aşaması, özelliklerin sesten elde edilmesi için harcanan süre ve
sistem gereksinimlerinin minimum düzeye indirilmesi önemli bir çalışma alanıdır.
Bu tez çalışmasında daha önce konuşmadan duygu çıkarımı çalışmalarında
bir arada kullanılmayan spektral özellikler girdi duyarlılık analizi yapılarak bir
arada kullanılmıştır. Makine öğrenmesi sistemlerinin yüksek başarımla
çalışabilmesi için kullanılan özellik sayısının az olması önemli bir faktördür. Bu
nedenle bu çalışmada duygu çıkarımının az özellik kullanılarak yapılması
üzerinde durulmuştur. Yapılan çalışmada sese ait spektral özellikler olan
Melspectrogram, Mel Frekans Kepstral Katsayıları, Chorma – Kısa Süreli Fourier
Dönüşümü, Spektral Kontrast ve Tonnetz özellikleri, makine öğrenmesi tekniği
olan yapay sinir ağları ve destek vektör makineleri yöntemleri ile birlikte
kullanılarak elde edilen en iyi sonuçlar paylaşılmıştır. Konuşmadan duygu
çıkarımı çalışmalarında bu özelliklerin kullanılmasına katkı sağlanmaya
çalışılmıştır.

Abstract:
In this thesis, it is aimed to obtain the sentiment in the speeches that people
make while talking by using the spectral features and machine learning.
Emotional audio content can be obtained from many different sources such as
daily speeches, videos, music, movies, series content. Issues like how long it takes
for the emotion extraction system to detect the emotion, how long the emotion
extraction takes place, the process of creating such a system, the time taken to
obtain the features from the sound and minimizing the system requirements, are
an important work area.
In this thesis, spectral features, which were not used together in previous
speech extraction studies were used together by performing input sensitivity
analysis. The low number of features used for machine learning systems is an
important factor for high performance. Therefore, in this study, it is emphasized
that emotion extraction is done by using few features. In this study, spectral
properties of speech such as Melspectrogram, Mel Frequency Cepstral
Coefficients, Chorma - Short Term Fourier Transform, Spectral Contrast and
Tonnetz properties are used together with machine learning methods such as
Artificial Neural Networks and Support Vector Machines and best results were
shared. It has been tried to contribute to the usage of these features in the studies
of sentiment extraction from speech.