Konuşma işleme ve Türkçenin dilbilimsel özelliklerini kullanarak metinden doğal konuşma sentezleme
Synthesizing natural speech from text using speech processing and linguistic properties of Turkish
Yazar: İBRAHİM BARAN USLU
Danışman: PROF. DR. HAKKI GÖKHAN İLK
Ankara Üniversitesi / Fen Bilimleri Enstitüsü / Elektronik Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2012
Konu: Dilbilim = Linguistics ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: CMOS = CMOS ; Doğallık = Naturalness ; Konuşma sentezleme = Speech synthesis ; Metin okuma = Text reading ; İşaret işleme = Signal processing

Özet:
Metinden konuşma sentezleme; yazının geliştirilen bir sistem tarafından otomatik olarak okutulmasıdır. Sentezlenen konuşmaya doğal konuşmadaki özelliklerin kazandırılması, bu tezin amacını oluşturmaktadır. Tezde, yöntem olarak eklemeli sentezleme tercih edilmiştir. Konuşma; kayıtlı ikili sesbirimlerin (difonların) uygun şekilde örtüştürülüp eklenmesiyle sentezlenmektedir. Birleştirme öncesi, ikili sesbirimlerin süre, temel frekans ve enerjileri uyumlandırılmaktadır.Bu tezde Türkçe metinden konuşma sentezleme için yeni bir ezgi modeli geliştirilmiştir. Bu modelde, öncelikle süre için; yazılı Türkçede en çok rastlanan digram grupları dikkate alınarak hareket edilmiştir. Digramlardan karşılık gelen difonlara geçilerek ortalama difon süreleri ile ilk sentez yapılmıştır. Daha sonra sentezlenen sözcüklere difon sayısına göre belirlenen katsayılarla süre değiştirme işlemi uygulanmıştır.Ezgi modelimizde vurgu için, çekimli fiiller ve tamlamalar üzerinde çalışılmıştır. Olumlu, olumsuz, olumlu-soru ve olumsuz-soru formlarında fiil çekimleri için vurguyu en doğal şekilde veren sinyal işleme yöntemleri (süre, perde frekansı ve enerji değişimleri) sistematik bir şekilde incelenmiştir. Seçilen cümlelerde tamlamalar ve söz grupları üzerinde durularak öbek vurgusunun yer aldığı bölüm için kurallar belirlenmiştir. Ayrıca bazı noktalama işaretlerinin ortalama durak süreleri belirlenmiş ve modele eklenmiştir.Geliştirilen modelin başarımı öznel dinleme testleri ile ölçülmüştür (CMOS: Comparative Mean Opinion Score).Sonuç olarak; konuşma işleme ve Türkçenin dilbilimsel özellikleri kullanılarak, Türkçe metinden doğal konuşma sentezleme için, çekimli fiiller, tamlamalar ve bazı noktalama işaretleri üzerinde odaklanan bir ezgi modeli önerilmiştir. Önerilen bu modelle, sentezlenen konuşmanın dinleyiciler tarafından CMOS skoruna göre ortalama 1,45/5,00 puan daha doğal bulunduğu sonucu elde edilmiştir.

Abstract:
Text-to-speech synthesis is the automatic reading of a text by a system. The aim of this thesis is to come up with synthesized speech which carries the properties of natural speech. Concatenative synthesis was chosen as the method and speech was synthesized by diphone concatenations. Before combining the diphones, proper duration, pitch frequency and energy modifications were performed.A novel intonation model for Turkish text-to-speech synthesis is implemented in this thesis. First, for the duration modelling part, the most frequent digrams in written Turkish were determined and this was the starting point. Using the digrams mean diphone durations were calculated and used for the initial synthesis. Then while synthesizing words, proper duration modifications were applied according to the number of diphones in the words.For the stress part of our intonation model, verb inflections and compounds were examined. Affirmative, negative, positive and negative interrogative verbs were studied systematically in terms of signal processing techniques (duration, pitch frequency and energy modifications) for the most natural sounding intonation. Rules were determined for the compound stress part in the selected sentences. Also mean durations of some punctuation marks were determined and added to the model.The developed model was evaluated by CMOS (Comparative Mean Opinion Score) tests.As a result, a novel intonation model for synthesizing natural speech from text using speech processing and linguistic properties of Turkish is proposed in this thesis. The model focuses on verb inflections, phrases and some punctuation marks. The results show that our model provides an improvement of 1.45/5.00 points in average, in the CMOS scores.