Derin öğrenme tabanlı sesli komut sistemi
Deep learning based voice command system
Yazar: AYŞE NUR ÇAYIR
Danışman: DOÇ. DR. TUĞBA SELCEN NAVRUZ
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Günümüzde yapay zeka uygulamalarında kullanılmak üzere ses tanıma ve sınıflandırmaya dayalı çalışmalara önem verilmektedir. Sesli komutları tanıyan bir sistem tasarlanırken derin öğrenmeden yararlanmak başarılı sonuçlar elde etmeyi sağlamaktadır. Bu tez çalışmasında derin öğrenme mimarilerinden olan evrişimli sinir ağı kullanılarak 12 adet İngilizce sesli komutun tanınmasını sağlayan bir sistem tasarlanmıştır. Tasarlanan sistem test doğruluğu açısından %94,64 başarı sağlamıştır. Ayrıca model eğitilirken daha önce hiç karşılaşmadığı, anadili İngilizce olmayan kişilerden alınan seslerden oluşan bir veri seti oluşturulup modelin gerçek hayattaki başarısı araştırıldığında %63,29 doğruluk oranı elde edilmiştir. Türkçe için sesli verilerin kısıtlı olduğu görülmüş ve bu doğrultuda kısıtlı veriye sahipken veri artırma teknikleri kullanılarak derin öğrenme modelinin başarısının artırılıp artırılamayacağı incelenmiştir. 12 adet sesli Türkçe komut içeren çok küçük bir veri seti oluşturulduktan sonra ses verileri manipüle edilerek veri seti büyütülmüştür. Veri artırma işlemi yapılmadan önce ortalama test doğruluğu %53,947 iken veri artırma sonrasında %85,756'ya ve ortalama gerçek hayat doğruluğu %58,074 iken veri artırmadan sonra %64,761'e çıkmıştır. Deneysel sonuçlar kısıtlı sayıda veriye sahipken dahi veri artırma sayesinde doğruluk oranlarının artırılabileceğini göstermiştir. Ayrıca veri artırmaların etkisi sınıf bazlı olarak incelenmiştir. İnceleme sonucunda veri artırma tekniklerinin sınıflara özgü olarak uygulanmasının başarıyı daha da artıracağı ve bu yönde ilerleyen çalışmalara katkı sağlayacağı düşünülmektedir.

Abstract:
Today, studies based on voice recognition and classification are important for use in artificial intelligence applications. Taking advantage of deep learning while designing a system that recognizes voice commands provides successful results. In this thesis, a system that enables the recognition of 12 English voice commands is designed using convolutional neural network, which is one of the deep learning architectures. The designed system achieved 94.64% success in terms of test accuracy. In addition, when the model was trained, a data set consisting of sounds taken from non-native English speakers was created and the real-life success of the model was investigated, and an accuracy rate of 63.29% was obtained. It has been seen that the data for Turkish is limited and it has been examined whether the success of the deep learning model can be increased by using data augmentation techniques while having limited data in this direction. After creating a very small data set containing 12 voice Turkish commands, the data set was enlarged by manipulating the voice data. While the average test accuracy was 53.947% before data augmentation, it increased to 85.756% after data augmentation, and while the average real-life accuracy was 58.074%, it increased to 64.761% after data augmentation. Experimental results have shown that even with limited data, accuracy rates can be increased by data augmentation. In addition, the effect of data augmentation was examined on a class basis. As a result of the examination, it is thought that the application of data augmentation techniques specific to classes will increase the success even more and contribute to the studies progressing in this direction.