Makine öğrenmesi ile Türk müziğinde duygu analizi
Emotion analysis in Turkish music with machine learning
Yazar: MEHMET BİLAL ER
Danışman: PROF. DR. EMİN MURAT ESİN
Maltepe Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2019
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Müziğin duyguları tetikleme veya iletebilme yeteneği sayesinde insan hayatındaki rolü ve önemi büyüktür. Müzik duygularının tanınması bilim, psikoloji, müzikoloji ve sanat gibi birçok disiplinde ele alınan ortak bir çalışma alanı olduğu için son yıllarda yoğun bir şekilde araştırmacıların ilgisini çekerek güncel araştırma konusu olmuştur. Çoğu araştırmacı müzikten akustik özellikler çıkarır ve bu özelliklere karşılık gelen duygu etiketleri arasındaki ilişkileri araştırır. Bu çalışmada müzik kayıtlarından çıkarılan Chroma spektrogramları ile transfer öğrenme kullanılarak müzik duygu tanıma için yeni bir yöntem sunulmuştur. Önceden eğitimli ağ modeli olarak AlexNet mimarisi kullanılmıştır. 
AlexNet modelinin Conv5, Fc6, Fc7 ve Fc8 katmanları özellik çıkarıcı katman olarak seçilmiştir ve bu katmanlardan derin görsel özellikler çıkarılmıştır. Çıkarılan derin özellikler Destek Vektör Makineleri ve Softmax sınıflandırıcıları eğitmek ve test etmek için kullanılmıştır. Önerilen yöntemin performansını değerlendirmek için gözetmeli makine öğrenmesi yöntemleri ile de müzik duygu tanıma işlemi yapılmıştır ve elde edilen sonuçlara göre sunulan yöntemin daha iyi performans gösterdiği gözlenmektedir.
Ayrıca bu çalışmada müzik dinleme sırasında hissedilen duyguya göre beyinde oluşan elektriksel sinyallerin  yapısı gerçekte algılanan duygunun ifade edilmesi açısından öneme  sahip olduğu üzerinde durulmuştur. Bu tür çalışmalarda kullanılan veri setlerindeki duygu etiketleri genelde bir gurup  gönüllü dinleyici   veya uzmanların görüşü alınarak belirlenir. Fakat hissedilen duygular öznel olabilir ve kültürel farklılıklara göre şekillenebilir. Bu bağlamda, müzik parçaları dinlenirken beyninde oluşan Elektroensefalografi (EEG) sinyalleri analiz edilmiştir ve EEG sinyalleri ile müzik duygu tanıma işlemi yapılmıştır.

Abstract:
Music has a great role and importance in human life since it has the ability to trigger or convey feelings. As recognizing music emotions is the subject of many studies conducted in many disciplines like science, psychology, musicology and art, it has attracted the attention of researchers as an up-to-date research topic in recent years. Many researchers extract acoustic features from music, and investigate relations between emotional tags corresponding to these features. In the present study, a new method is presented for music emotion recognition by employing transfer learning with Chroma spectrograms extracted from music recordings. The AlexNet Architecture is used as the pre-trained network model. 
The Conv5, Fc6, Fc7 and Fc8 layers of the AlexNet model were chosen as the feature extracting layer, and deep visual features were extracted from these layers. The extracted deep features were used to train and test the Support Vector Machines and the SoftMax classifiers. In order to evaluate the performance of the proposed method, music emotion recognition is done by using supervised machine learning techniques as well. Based on the gained results, it is seen that the proposed method has a better performance. 
In addition, in this study, we emphasize on explaining the form of electrical signals produced by human brain during the course of listening to music has a deep impact on expressing the perceived real emotion. Emotion labels used in data sets  in this kind of studies are determined either getting the idea of a group of volunteer listeners or experts. However, sensed emotions could be subjective and it can change depending on the cultural differences. İn this manner, EEG (Electroencephalogram) signals, that are produced by human brain while listening to the music tracks, are analyzed, and music emotion recognition is done by using  EEG signals.