Akustik özellikler kullanan müzik öneri sistemi
Music recommendation system using acoustic features
Yazar: AHMET ELBİR
Danışman: PROF. DR. NİZAMETTİN AYDIN
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Doktora, 2020
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Makine öğrenmesi = Machine learning ; Yapay zeka = Artificial intelligence

Özet:
İnternetin yaygın kullanımı nedeniyle, her türden veriye erişen cihazlarla internete erişmek çok daha kolay ve ekonomik hale gelmiştir ve bu da çoklu ortam uygulamaları için yeni gelişmelere yol açmıştır. Bu gelişmeler son kullanıcı, eser sahibi ve müzik yayını yapan platformlar için yeni gereksinimler ortaya çıkarmaktadır. Müzik türü sınıflandırma, müzik önerisi ve müzik benzerliği bu gereksinimlerin bazılarıdır. Müzik yayını yapan platformlar ve uygulamalar kullanıcılarına daha fazla müzik satışı yapmak ve platformlarının yaygınlıklarını artırmak için müzik öneri sistemlerine gereksinim duymaktadırlar. Bu gereksinimi karşılayabilmek için; kullanıcının müzik dinleme geçmişi ile birlikte sanatçı adı ve müzik türü gibi bazı üst-veriler kullanılmaktadır. Müzikle kıyaslandığında; sayısal müzik sistemlerinin  müziğe nispeten daha yeni hayatımıza girmesi sebebiyle, sayısal müzik sistemlerinin ortaya çıkmasından önce var olan müziklere ait üst veriler yoktur. Hatta, bazı güncel sayısal müzikler için bile üst-veriler mevcut olmayabilir. Bu tür durumda, müzik türü sınıflandırması ve müzik önerisi için müziğin akustik özellikleri kullanılabilir. Ayrıca, bu yaklaşım üst verisi olan müziklerin sınıflandırılmasında ve sonuçların iyileştirilmesi için ek bir özellik olarak da kullanılabilir. Bu tez çalışması kapsamında müzik önerisi, müzik benzerliği ve müzik türü sınıflandırma problemlerinde kullanmak için müzikten akustik özelliklerin çıkarılması gerçekleştirilmiştir. Bu bağlamda sayısal işaret işleme, makine öğrenmesi ve derin öğrenme yöntemleri kullanılmıştır. Sayısal işaret işleme açısından, zaman - frekans analizi yöntemleri ve bu yöntemlerde kullanılan parametrelerin müzik türü sınıflandırma başarısına etkisi araştırılmıştır. Sınıflandırma başarısına anlamlı bir katkının olup olmadığını gözlemlemek için dalgacık dönüşümü teknikleri sayısal işaret işleme başlığı kapsamında ayrıca incelenmiştir. Diğer yandan, kullanımı gittikçe yaygınlaşan derin öğrenme yöntemleri akustik özellik çıkarımı ve müzik türü sınıflandırma amacıyla araştırılmış ve bu amaçla farklı evrişimsel sinir ağları tasarlanmıştır. Aynı türden müziğin tespit edilmesi akustik özellikler kullanan müzik önerisi sistemi için ölçüt olarak kullanılmıştır. Bu ölçüte göre önerilen yöntemlerin başarımları karşılaştırılmıştır. Derin öğrenme yöntemleri ile elde edilen sonuçların geleneksel sayısal işaret işleme yöntemlerine göre daha başarılı olduğu gözlemlenmiştir. Bu çalışmada Turkcell tarafından Fizy uygulamasına eklenecek olan akustik öneri motorunun teorik ve uygulamalı altyapısı geliştirilmiştir. Önerilen model tabanlı sınıflandırma sistemi, etiketsiz (ya da üst verisi bulunmayan) veriler üzerinde kullanılarak girdi olarak verilen bir müziğe benzer müzikleri tavsiye edebilmektedir.

Abstract:
Due to widespread use of the Internet, to access the Internet through devices that access data of any kind has become much easier and more economical, which has lead to new developments for multimedia applications. These developments engender new requirements for end user, author and music streaming platforms. Music genre classification, music recommendation and music similarity are some of these requirements. Music streaming platforms and apps call for music recommendation systems to sell more music to their users and to enhance the prevalence of their platforms. In order to meet these requirements; as well as the user's music history, some meta-data such as artist's name and genre are used. Due to the fact that the digital music systems are relatively new in our lives compared to music, meta-data about music existing before the advent of digital music systems do not exist. Even meta-data for some contemporary digital music may not be available. In this case, acoustic features of music can be used for music genre classification and music recommendation. This approach can also be used as an additional feature to classify music with metadata and to improve the results. Within the scope of this thesis, acoustic features have been extracted from the music in order to use in music recommendation, music similarity and music type classification problems. In this context, digital signal processing, machine learning and deep learning methods have been employed. In terms of digital signal processing, time - frequency analysis techniques have been investigated and the effects of the parameters used in these techniques over the music genre classification performance have been examined. In order to observe whether there is a significant improvement over classification performance, wavelet transform techniques have been studied separately within the scope of digital signal processing. On the other hand, deep learning methods, which are becoming more and more popular, have been studied for acoustic feature extraction and classification of music, and different convolutional neural networks have been designed for this purpose. Recognition of the same genre of the music has been used as a criterion for the music recommendation system that uses acoustic features. The performances of the proposed methods have been compared according to this criteria. It has been observed that the results obtained by deep learning methods are more successful than conventional digital signal processing methods. In this study, the theoretical and applied infrastructure of the acoustic recommendation engine, which will be added to the Fizy application by Turkcell, has been developed. By using unlabeled data (or without using meta-data), the proposed model-based classification system can recommend musics that are similar to a music given as input.