Yapay sinir ağı ile sesli-sessiz harflerin tespiti ve hece ölçüsünde ses-metin senkronizasyonu
Identification of vowel-non vowel letter with artificial neural network and sound-text synchronization at syllable level
Yazar: HALİL İBRAHİM BAYAT
Danışman: DR. ÖĞR. ÜYESİ MÜRSEL ÖNDER
Tokat Gaziosmanpaşa Üniversitesi / Fen Bilimleri Enstitüsü / Mekatronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2020
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Mekatronik Mühendisliği = Mechatronics Engineering
Dizin: Doğal dil işleme = Natural language processing ; Konuşma işaretleri = Speech signals ; Sayısal işaret işleme = Digital signal processing ; Ses işareti = Voice signal ; Ses tanıma sistemleri = Voice recognition systems ; Yapay sinir ağları = Artificial neural networks

Özet:
Bu tez kapsamında, bir kelime içerisindeki sesli harfleri sessizlerden ayırt edilmesiyle hece ölçüsünde metin ses sekronizasyonu yapılması amaçlanmıştır. Geliştirilen bu yöntem kapsamında sınıflandırıcı olarak iki farklı yapay sinir ağı yapısı kullanılmış, ses özelliklerinin çıkarılmasında Mel-frekans cepstrum katsayıları tercih edilmiştir. Süreç içerisinde kullanılmak üzere katman özyinelemeli sinir ağı ile örüntü tanıma ağı çalışma için seçilmiştir. Konuşmacı bağımlı olarak geliştirilen bu ses tanıma sisteminde ilk aşamasında sesli ve sessiz harflerden ayrı ayrı örnekler alınmış, bu örneklerin özellikleri çıkarılarak ağlar eğitilmiştir. İkinci aşamada en iyi performansı veren ağ yapısı test edilerek saptanmıştır. Katman özyinemeli sinir ağı sesli-sesiz sınıflandırmada ortalama %97.43 başarı sağlarken, örüntü tanıma ağı sesli harflerde tanımada %98.82 sesiz harflerde %97.27 ortalamada ise %98.04 başarı göstermiştir. Üçüncü aşamada seçilmiş olan bu ağa 10 adet kelime vektörlerinden oluşan sesler ayrı ayrı verilip kelimeler içerisindeki sesli harfler başarılı bir şekilde tespit edilmesi sağlanmıştır. Dördüncü adımda oluşturulan arayüzde bu kelimeler, geliştirilen heceleme algoritması ile hecelerine ayrılmış, metin ve bu metne ait ses hece ölçüsünde eş zamanlı olarak vurgulanmıştır. Sonuç olarak örüntü tanıma ağları sesli harfleri tanımada başarılı bir performans göstermiş ve sesli harflerin metin içerisinde tespit edilmesiyle metin-ses senkronizasyonun yapılabileceği gösterilmiştir.

Abstract:
In the context of this thesis, it was aimed to synchronize text-voice in syllable-size by discriminating vowels from non-vowel in a word. Within the scope of this developed method, two different artificial neural network models were used as classifier, and Mel-frequency cepstrum coefficients were chosen for voice feature extraction. Pattern recognition network and Layer-recurrent network were used for this process.In this speech recognition system, which is created as Speaker-depended, vowel and consonant samples were taken at the first stage, and the neural networks were trained by features extracting of these samples. In the second stage, the network, which gave the best performance, was determined by testing. While the layer-recurrent neural network achieved an average of %97.43 success in the classification of vowel-consonant, the pattern recognition network achieved %98.82 in identification of vowels, %97.27 in consonants and %98.04 on average. In the third stage, in which the network showing the best performance was chosen, the sounds consisting of 10-word vectors were supplied separately to the network and the vowels in the words were successfully detected. In the fourth step, these words are separated into syllables with the developed syllable algorithm in which created in an interface program, the text and voice files that corresponding to these words are simultaneously emphasized in the syllable size. As a result, pattern recognition networks show a successful performance in the recognition of vowels, and it was also shown that text-voice synchronization can be done by detecting vowels in the text.