Makine öğrenmesi yöntemleri ile konuşma işaretlerinden duygu analizi
Emotion analysis from speech signals with machine learning methods
Yazar: FERHAT AYGÜN
Danışman: DOÇ. DR. BÜLENT BOLAT
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı / Haberleşme Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Bu tez çalışmasında, duygusal olarak etiketlenmiş konuşma sesi veri setlerindeki konuşma sesleri üzerinde sinyal işleme teknikleri kullanılarak elde edilen çeşitli özniteliklerle yapay öğrenme yoluyla bir duygu tanıma modeli üretilip üretilemeyeceği, hangi duygular için nasıl bir başarım olabileceği ve daha önce bu yolla yapılmış çalışmaların eksiklikleri ve gözden kaçan noktaları yapılan birçok deneyle tartışılmış ve bu konuda gerçek bir ihtiyaca cevap verebilecek en uygun çözüm önerisi ortaya konmuştur. Model üretimi için kullanılabilecek öznitelikler OpenSMILE isimli açık kaynak kodlu bir uygulama kullanılarak elde edilmiştir. Bu özniteliklerden konuşma tanıma ve konuşmacı tanıma gibi başka konuşma sesi uygulamaları için de yaygın olarak kullanılanların önemli olduğu düşünülerek tanımları yapılmıştır. Öznitelikler çıkarıldıktan sonra elde edilen veri setleri ile yapay öğrenme deneyleri yapılarak model üretilebilmesi için Weka isimli açık kaynak kodlu bir uygulama kullanılmıştır. Yapay öğrenme algoritması olarak destek vektör makineleri seçilmiş ve bütün deneyler bu algoritma kullanılarak yapılmştır. Destek vektör makineleri algoritmasının çalışma prensibi açıklandıktan sonra bu algoritmanın kullanıldığı birçok deney yapılmış ve sonuçları yorumlanmıştır. Bu deney sonuçları ile özellikle çağrı merkezlerinde bir ihtiyaç olan sinirlilik ve mutluluk duygularının tespit edilerek oluşan çağrıların duygu yönünden analiz edilebilmesine olanak tanıyan bir çözümün mümkün olduğu ortaya konmuş ve bu çözüm önerisinin daha başarılı hale getirilebilmesi için de yapılabilecek yeni çalışmalardan bahsedilerek yeni önerilerde bulunulmuştur.

Abstract:
In this thesis, the feasibility of generating an emotion recognition model through artificial learning using signal processing techniques on speech sounds from emotionally labeled speech datasets is explored. The study discusses the potential success of such a model for different emotions, identifies shortcomings and overlooked aspects of previous related studies, and proposes an optimal solution that addresses a real need in this field. Feature extraction for model creation is performed using an open source application named OpenSMILE. The definitions of features, particularly those commonly used in other speech applications such as speech recognition and speaker recognition, are outlined considering their relevance. After feature extraction, artificial learning experiments are conducted using the obtained datasets and the Weka open source application to create the model. Support vector machines are chosen as the artificial learning algorithm, and all experiments are carried out using this algorithm. After explaining the working principle of support vector machines, numerous experiments are conducted using this algorithm, and the results are interpreted. The study concludes that it is possible to identify emotions such as irritability and happiness, particularly relevant in call centers, allowing for the emotional analysis of calls. Suggestions for further improvements and new studies to enhance the proposed solution are also discussed.