Müzik türü sınıflandırma
Music genre classification
Yazar: YUNUS ATAHAN
Danışman: PROF. DR. NİZAMETTİN AYDIN ; DR. AHMET ELBİR
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Makine öğrenmesi = Machine learning ; Sayısal işaret işleme = Digital signal processing ; Yapay zeka = Artificial intelligence

Özet:
Müzik internetin gelişmesi ile, erişimi ve paylaşımının kolaylığı nedeniyle eskisinden çok daha fazla insana ulaşmaya başlamıştır. Bunun sonucunda müzik platformları ortaya çıkmış ve insanlara dünyanın dört bir yanından müzikleri ulaştırmayı sağlamışlardır. Müzik platformlarının amaçlarından birisi de kullanıcıları platformlarında olabildiğince uzun süre tutabilmektir. Bunun için müzik öneri sistemleri kullanılarak kullanıcıların dinlediğinde sevebileceği müzikler kullanıcıya ulaştırılır. Müzik öneri sistemlerinde uygulanan bir yol, müzik türüne göre öneri yapılmasıdır. Kullanıcının dinlediği müziklerin türleri incelenir ve aynı tür yada uygun olabilecek türler kullanıcıya sunulur. Bu aşamada otomatik müzik türü sınıflandırma algoritmalarının kullanımı son yıllarda hızlı bir artmıştır. Müzik türlerinin insanlar tarafından çok iyi bir başarı ile sınıflandırılamaması, çok uzun zaman alması, ve kişiden kişiye müzik kavramının değişebilmesi gibi sebepler otomatik tür sınıflandırma algoritmalarının geliştirilmesine yol açmıştır. Bu çalışmada müziğin akustik özellikleri kullanıldı.
    
Müziğin hem zaman hem de frekans uzayında ayırt edici nitelikleri vardır. Bu nitelikler farklı müzik türlerinde farklı ve aynı müzik türlerinde benzer özellik gösterdiğinden dolayı müzik türü sınıflandırma amacıyla kullanılmıştır.

Bu tezde müziğin ses özelliklerinin kullanımı ile elde edilen sınıflandırma sonuçları, otomatik kodlayıcılar ile özellik çıkarımı yapılarak elde edilen sınıflandırma sonuçları ve bir boyutlu yapay derin öğrenme ağı ile yapılan sınıflandırma sonuçları karşılaştırılmıştır. Bu karşılaştırmaların yapılabilmesi için daha önce bu alanda yapılan çalışmalarda sıkça kullanılan bir veri seti seçilmiştir. Veri seti özellik çıkarımına uygun ve yapay sinir ağlarına girdi olabilecek şekilde düzenlenmiştir. Müziklerden ses özellik çıkarımı zaman ve frekans bölgesi özellikleri ile yapılmıştır. Otomatik kodlayıcılar için, müziğin kısa zamanda Fourier dönüşümü alındıktan sonra elde edilen veriler resim verisi şeklinde temsil edilmiş ve otomatik kodlayıcı evrişimli sinir ağı olarak oluşturulmuştur. Tek boyutlu derin öğrenme ağı için ise müzik belirli uzunluklara bölünmüş ve ham ses verisi ağa girdi olarak verilmiştir.

Yapılan çalışmalar sonucunda akustik özellik çıkarımı kullanılarak yapılan sınıflandırmanın sonuçlarının otomatik kodlayıcıdan gelen sonuçlardan çok daha iyi olduğu gözlenmiştir. Tek boyutlu derin öğrenme ağı ise her iki yöntemden daha iyi sonuç vermiştir. Yapılan bu çalışma her ne kadar otomatik kodlayıcılardan elde edilen sonuçlar istenilen kadar iyi olmasa da, tek boyutlu ağdan elde edilen sonuçlar özellik çıkarımının yapay zeka ile de yapılabileceğini göstermiştir. Gelecekteki çalışmalarda farklı yapay sinir ağları ve derin öğrenme yöntemleri denenerek özellik çıkarımının nasıl sonuçlar vereceği gözlemlenebilir.

Abstract:
With the evolution of the Internet, because of its ease of access and share, music has reached more people than before. As a result of this, music platforms were created so more people from all around the World were able to access to different musics. One of the goals of the music platforms is to keep users in their platform as long as possible. For this purpose music recommendation systems are used to provide musics that users would love. One way for music recommendation system is using the music genres. Musics that user listens are examined and recommendation systems try to recommend the same or similar genre of musics to user. As a result of this, usage of automatic music genre classification algorithms increased in recent years. Low accuracy and long time requirement of manual music genre classification and interpersonal variability of music information and knowledge are main reasons for developing automatic music genre classification algorithms. In this study we used the approach which is based on acoustical features. 

Music contains some features in time and frequency domains. Features are used for music genre classification since those features have different characteristics with different genre and same characteristics with the same genres. 

In this thesis classification results obtained by the features that are gathered using acoustic features, classification results of features that are obtained by using auto-encoders and classification result of one dimensional neural network are compared. To make this comparison, a data-set used frequently in this field of research is used. The data-set is arranged in a way that acoustic features can be extracted and it can be input to the neural network. Acoustic feature extraction has been done using time and frequency domain features. For auto-encoders, short time Fourier transform of the music signal is represented as images, and auto-encoder was built as a convolutional neural network. For one dimensional deep learning network musics were arranged to have the same length and raw audio data is used as an input.

As a result of the studies, classification accuracy obtained by using acoustic features is much better than the one obtained by the auto-encoder. One dimensional deep learning network on the other hand performed better than both acoustic features and auto-encoder in terms of accuracy. This study shows that although the results from auto-encoders are not as good as expected, results observed from one dimensional network show that feature extraction from music can be done using artificial intelligence methods rather than digital signal processing methods and acoustic features. In future studies different neural networks and deep learning methods can be applied and results can be examined.