ҚАЗАҚ ТІЛІ ҮШІН ИНТЕГРАЛДЫҚ (END-TO-END) СӨЙЛЕУ СИНТЕЗІ
Authors: Кожирбаев Ж.М. 
Published: October 2023

Синтез речи, также называемый преобразованием текста в речь (TTS), считается одной из важных задач обработки речи наряду с распознаванием речи. Это способ преобразования данного текста в речь. Существует несколько подходов синтеза речи. В 20 веке была разработана первая компьютерная система синтеза голоса. Некоторыми из ранних методов компьютерного синтеза речи являются артикуляционный синтез, формантный синтез и конкатенативный синтез. Статистический параметрический синтез речи позже был предложен по мере развития машинного обучения. С 2010-х годов синтез речи на основе нейронных сетей постепенно становится все более популярным и улучшает качество голоса. Целью данной работы является обзор статистических параметрических и сквозных методов, которые можно рассматривать как линию эволюционного развития TTS. Кроме того, мы проведем эксперимент со сквозным методом на базе Tacotron2 и ParalleWavegan. Для экспериментов были собраны текстовые материалы произведений Ахмета Байтурсынулы. Всего из собранных материалов было записано 50 часов аудиозаписи. Из произведений Байтурсынулы было отобрано шесть книг, из которых были отобраны наиболее распространенные произведения и собраны в аудиотекстовые материалы. Один профессиональный диктор-мужчина озвучивал собранные текстовые данные.Ключевые слова: синтез речи, формантный синтез речи, конкатенативный синтез речи, статистический параметрический синтез речи, интегральный синтез речи.
Сөйлеу синтезі, оны мәтіннен сөйлеуге (TTS) деп те атайды, сөйлеуді танумен қатар сөйлеуді өңдеудің маңызды міндеттерінің бірі болып саналады. Бұл берілген мәтінді сөйлеуге түрлендіру тәсілі. Сөйлеу синтезінің бірнеше тәсілдері бар. 20 ғасырда бірінші компьютерлік cөйлеу синтезі жүйесі жасалды. Компьютерлік сөйлеу синтезінің алғашқы әдістерінің кейбірі артикуляциялық синтез, формант синтезі және конкатенативті синтез болып табылады. Машиналық оқыту дамыған сайын статистикалық параметрлік сөйлеу синтезі ұсынылды. 2010 жылдардан бастап нейрондық желіге негізделген сөйлеу синтезі біртіндеп танымал бола бастады және сөйлеу сапасын жақсартады. Бұл жұмыстың мақсаты статистикалық параметрлік және түпкілікті әдістерді қарастыру болып табылады, оларды TTS эволюциялық даму желісі ретінде қарастыруға болады. Сонымен қатар, біз Tacotron2 және ParalleWavegan негізіндегі әдіспен тәжірибе жасаймыз. Эксперимент үшін Ахмет Байтұрсынұлының шығармаларынан мәтіндік материалдар жинақталды. Жиналған материалдардан барлығы 50 сағат аудиожазба жазылды. Байтұрсынұлының шығармаларынан алты кітап таңдалып, олардың ішінен ең көп таралған шығармалар таңдалып, аудиомәтіндік материалдарға жинақталды. Бір кәсіби ер диктор жиналған мәтіндік деректерді оқыды. Түйiн сөздер: сөйлеу синтезі, формантты сөйлеу синтезі, конкатенативті сөйлеу синтезі, статистикалық параметрлік сөйлеу синтезі, интегралды сөйлеу синтезі.
Speech synthesis, also called text-to-speech (TTS), is considered one of the important tasks of speech processing along with speech recognition. It is a way of converting given text to speech. There are several approaches to speech synthesis. In the 20th century, the first computer voice synthesis system was developed. Some of the early computer speech synthesis methods are articulatory synthesis, formant synthesis, and concatenative synthesis. Statistical parametric speech synthesis was later proposed as machine learning developed. Since the 2010s, neural network-based speech synthesis has gradually become more popular and improves voice quality. The purpose of this work is to review statistical parametric and end- to-end methods, which can be considered as a line of evolutionary development of TTS. In addition, we will experiment with an end-to-end method based on Tacotron2 and ParalleWavegan. For the experiments, textual materials from the works of Akhmet Baitursynuly were collected. In total, 50 hours of audio recording were recorded from the collected materials. From Baitursynuly's works, six books were selected, from which the most common works were selected and collected in audio text materials. One professional male announcer voiced the collected text data. Keywords: speech synthesis, formant speech synthesis, concatenative speech synthesis, statistical parametric speech synthesis, integral speech synthesis.