Artırılmış gerçeklik uygulamalarında nesnelerin sesle kontrol edilmesi
Voice control of objects in augmented reality applications
Yazar: TUBA EMEKLİ ÇOBAN
Danışman: DOÇ. DR. ALİ ÖZTÜRK
KTO Karatay Üniversitesi / Lisansüstü Eğitim Enstitüsü / Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı / Elektrik ve Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Algoritmalar = Algorithms ; Artırılmış gerçeklik = Augmented reality ; Dinamik zaman bükme = Dynamic time warping ; Makine öğrenmesi = Machine learning ; Ses tanıma = Voice recognition

Özet:
Artırılmış gerçeklik (AG), bilgisayar ortamında oluşturulan 3 Boyutlu (3B) sanal nesneleri gerçek dünya görüntüleri ile birleştiren bir teknolojidir. Bu şekilde oluşturulan sahnede sanal nesnelerle gerçek zamanlı olarak etkileşim kurmak mümkündür. AG teknolojisi uygulamaları eğitim, savunma, tıp, e-ticaret, imalat, turizm ve daha birçok alanda kullanılmaktadır. AG ortamında ses ile etkileşim, uygulamalarda kullanım kolaylığı sağlar. Bu çalışmada Unity yazılımında Vuforia paketi kullanılarak oluşturulan AG ortamındaki sanal nesnelerin sesle kontrolü sağlanmıştır. Bu amaçla farklı cinsiyetten iki kişiden alınan beş farklı komutun ses kayıtları ile bir veri seti oluşturulmuştur. Ses verilerinden elde edilen Mel-frekans Kepstral Katsayıları (MFKK), Doğrusal Tahmini Kodlama (DTK) ve Mel-spektrogram özellikleri Karar Ağacı (KA), Rastgele Orman (RO) ve Destek Vektör Makineleri (DVM) algoritmalarına uygulanmış ve sonuçlar karşılaştırılmıştır. En iyi doğruluk oranları erkek sesi veri setinde RO için %87, kadın sesi veri setinde DVM için %89 olarak bulunmuştur. İki veri setinin birleşiminden oluşan veri seti için doğruluk oranı hem RO hem de DVM için %85 olarak bulunmuştur. Öte yandan, MFKK öznitelikleri ile Dinamik Zaman Bükme (DZB) yöntemini kullanan k-En Yakın Komşu (kEYK) algoritmasının doğruluk oranı erkek sesi veri setleri için %89 ve kadın sesi veri setleri için %88 olarak bulunmuştur. İki veri setinin birleşiminden oluşan veri seti için kEYK doğruluk oranı %83 olarak bulunmuştur. Tüm makine öğrenimi algoritmaları için sonuçlar çapraz doğrulama ile elde edilmiştir.

Abstract:
Augmented reality (AR) is a technology that combines 3 Dimensional (3D) virtual objects created in a computer environment with real world images. In the scene created in this way, it is possible to interact with virtual objects in real time. AR technology applications are used in education, defense, medicine, e-commerce, manufacturing, tourism and many more. Interaction with voice in AR environment provides ease of use in applications. In this study, voice control of virtual objects in the AR environment created by using the Vuforia package in Unity software is provided. For this purpose, a data set was created with voice recordings of five different commands taken from two people of different genders. Mel-frequency Cepstral Coefficients (MFCC), Linear Predictive Coding (LPC) and Mel-spectrogram features obtained from audio data were applied to Decision Tree (DT), Random Forest (RF) and Support Vector Machines (SVM) algorithms and the results were compared. The best accuracy rates were found to be 87% for RF in male voice dataset and 89% for SVM in female voice dataset. The accuracy rate for the data set consisting of the combination of the two data sets was found to be 85% for both RF and SVM. On the other hand, the accuracy of the k-Nearest Neighbor (kNN) algorithm, which uses the Dynamic Time Warping (DTW) method with MFCC features, was found to be 89% for male voice datasets and 88% for female voice datasets. For the data set consisting of the combination of the two data sets, the accuracy rate of kNN was found to be 83%. Results for all machine learning algorithms were obtained by cross validation.