İnsan sesinden hibrit spektral özniteliklerle konuşmacı özelliklerinin tahmini
Prediction of speaker characteristics with hybrid spectral features from human voice
Yazar: KAYA AKGÜN
Danışman: DR. ÖĞR. ÜYESİ ŞERİF ALİ SADIK
Kütahya Dumlupınar Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Mühendislik Bilimleri = Engineering Sciences

Özet:
Bu çalışma, ses verilerini kullanarak konuşmacılara ait kişisel özellikleri tahmin etmeye odaklanmaktadır. Adli vakalardan otomatik sesli yanıtlama sistemlerine kadar geniş bir uygulama yelpazesinde büyük bir potansiyele sahiptir. Araştırmanın temel amacı; 24 gönüllünün ses kayıtları üzerinden konuşmacı tanıma, cinsiyet ve yaş grubu tahminini gerçekleştirmektir. Ses verileri üzerinde yapılan analizlerde, zaman/frekans uzayı hibrit öznitelikleri olarak Mel-frekans cepstral katsayıları (MFCC) çıkarılmış bununla birlikte frekans uzayı öznitelikleri olarak temel frekans ve formantlar belirlenmiştir. Bu öznitelikler daha sonra bir öznitelik havuzunda birleştirilmiştir.
Elde edilen öznitelikler, dört farklı makine öğrenimi algoritması kullanılarak destek vektör makineleri (SVM), k-en yakın komşular(KNN), gradyan artırma ve sınıflandırma ve regresyon ağaçları; yaş grubu ve cinsiyet tahmini için değerlendirilmiştir. Sonuçlar, destek vektör makineleri algoritmasıyla elde edilen yaş grupları tahminlerinin %93 doğrulukla, cinsiyet tahminlerinin ise %99 doğrulukla gerçekleştirilebildiğini göstermektedir. Konuşmacı tanıma görevinde de SVM algoritması %93 doğrulukla yüksek başarı elde etmiştir.
Bu yüksek doğruluk, ses verilerinden çıkarılan özniteliklerin, özellikle SVM algoritması kullanılarak konuşmacının kişisel özellikleri hakkında güvenilir bilgi sağlayabileceğini ortaya koymaktadır. Bu bulgular, adli süreçlerde ve biyomedikal uygulamalarda, örneğin bir konuşmacının yaşını ve cinsiyetini belirleme konusunda potansiyel uygulamalara işaret etmektedir. Bu tür teknikler, otomatik sesli yanıtlama sistemlerinden sosyal analize kadar birçok alanda kullanılabilecek önemli araştırma ve uygulama alanları sunmaktadır.

Anahtar Kelimeler: Cinsiyet Tahmini, Yaş Grubu Tahmini, Destek Vektör Makinesi, K-En Yakın Komşuluk, Gradyan Artırma, Sınıflandırma ve Regresyon Ağacı

Abstract:
This study focuses on predicting the personal characteristics of speakers using voice data. It has great potential in a wide range of applications, from forensic cases to automated voice response systems. The main purpose of the research; Speaker recognition, gender and age group estimation based on the voice recordings of 24 volunteers. In the analyses performed on the sound data, Mel-frequency cepstral coefficients (MFCC) were removed as time/frequency space hybrid features, while basic frequencies and formants were determined as frequency space features. These attributes are then combined into an attribute pool.
The obtained features were used using four different machine learning algorithms to generate support vector machines (SVM), k-nearest neighbors (KNN), gradient boosting and classification, and regression trees; It was evaluated for age group and gender estimation. The results show that the predictions of age groups obtained by the support vector machines algorithm can be performed with 93% accuracy, and the gender predictions can be performed with 99% accuracy. In the speaker recognition task, the SVM algorithm achieved high success with 93% accuracy.
This high accuracy reveals that the attributes extracted from the audio data can provide reliable information about the personal characteristics of the speaker, especially using the SVM algorithm. These findings point to potential applications in forensic processes and biomedical applications, for example in determining the age and sex of a speaker. Such techniques offer important areas of research and application that can be used in many fields, from automated voice answering systems to social analysis.

Keywords: Gender Estimation, Age Group Estimation, Support Vector Machine,           K-Nearest Neighbors, Gradient Boosting, Classification and Regression Tree