Derin öğrenme ile ses iyileştirilmesi
Voice enhancement by deep learning
Yazar: MUSTAFA ERSEVEN
Danışman: DR. ÖĞR. ÜYESİ BÜLENT BOLAT
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı / Haberleşme Bilim Dalı
Derece: Yüksek Lisans, 2018
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering ; Mühendislik Bilimleri = Engineering Sciences

Özet:
Günümüzde ses sinyalini kullanan sayısız cihaz ve uygulama vardır; örneğin haberleşme uygulamaları, müzik sistemleri ve biyomedikal cihazlar gibi. Özellikle telsiz ve cep telefonlarının kullanımının yaygınlığı düşünülürse, bu konu gerek askeri gerekse sivil alanda önemli bir yer tutmaktadır. Bahsi geçen bu uygulama alanlarının ortak problemlerinden biri ses sinyali üzerinde oluşan gürültüdür. Sinyali etkileyen gürültü kaynakları ile her alanda karşılaşılabilir. Ticari bağlamda kullanıcılara daha iyi bir hizmet sunulması amacıyla, akademik bağlamda ise istatistiksel sinyal işleme alanında ilgi çekici bir konu olması nedeniyle bu problem üzerinde sayısız çalışma yapılmıştır.
Bu çalışmada ise problem özel olarak konuşma sinyalinin iyileştirilmesiyle ile sınırlandırılmıştır. Konuşma sinyalinin özellikle haberleşme bağlamında önemli uygulamaları olması konuyu ilgi çekici kılmıştır. Gerek telsiz gerekse GSM haberleşmesi sırasında oluşan arka plan gürültüsünün giderilmesi önemlidir. Arka plan gürültüsünün giderilmesiyle konuşma sinyalinin, kısa süreli nesnel netlik (KSNN) (short time objective intelligibility) ve konuşma kalitesinin algısal değerlendirilmesi (KKAD) (perceptual evaluation of speech quality) ölçütleri iyileştirilir. Böylece dinleyici tarafına arka plandaki gürültüden arındırılmış ve anlaşılır bir konuşma sunulmuş olur. Bu çalışmada, arka plan gürültüsü olarak gevezelik (babble) gürültüsü seçilmiştir. Yöntem olarak ise, makine öğrenmesinin bir dalı olan derin öğrenmenin (deep learning) altında bulunan derin sinir ağları kullanılmıştır. Derin sinir ağı olarak ise en popülerinden biri olan evrişimsel sinir ağının (ESA) probleme uygun bir mimarisi önerilmiştir.
Gevezelik (babble) gürültüsünün istatistiksel modelinin çıkarılması zor olduğundan dolayı, istatistiksel özellikleri taban alan klasik yöntemler (Wiener süzgeci, minimum ortalama karesel hata tabanlı spektral genlik kestirimcisi gibi) kullanılamamaktadır. Bu problemin üstesinden gelmek amaclı, gürültülü konuşma spektrumları ile temiz konuşma spektrumları arasında doğrusal olmayan haritalama yapabilen sinir ağları popüler yöntem olmuştur. Özellikle derin öğrenme (DÖ) görüntü ve ses işleme uygulamalarında kendine geniş yer bulmuştur. Evrişimsel sinir ağının ses için frekans ilişkisini de işlemesi ve diğer derin öğrenme yöntemlerine nazaran daha az değişken gerektirmesi konuşma işleme konusunda ESA'yı daha popüler bir yöntem haline getirmiştir.
Bu çalışmada, konuşma iyileştirme için regresyon temelli bir ESA mimarisi oluşturulmuştur. İki farklı konuşmacıya ait 460 farklı cümle kullanılmıştır. Temiz konuşma sinyallerine gevezelik gürültüsü eklenmiş ve farklı sinyal gürültü oranlarında (SGO) veri setleri oluşturulmuştur. Temiz ve gürültülü sinyallerin kısa süreli Fourier dönüşümü (KSFD) katsayıları elde edilmiş, ardından bu katsayıların genlik bilgilerinden logaritmik güç spektrumu (LGS) katsayıları hesaplanmıştır. Gürültülü sinyalin faz bilgisi, genlik spektrumu iyileştirildikten sonra sesi sentezlemek için saklanmıştır. Önerilen ESA eğitilmiştir. İyileştirilen LGS katsayıları ve saklanan faz ile ses tekrar sentezlenmiş ardından KKAD ve KSNN ölçütleri ile değerlendirilmiştir.

Abstract:
Today, there are countless devices and applications that use audio signals; such as communication apps, music systems and biomedical devices. Especially when considering the prevalence of the use of wireless and mobile phones, it keeps these issues, both military and civilian areas in an important place. One of the common problems of these applications is the noise generated on the audio signal. Noise sources affecting the signal can be encountered in every field. Numerous studies have been carried out on this problem because it is an interesting subject in the field of statistical signal processing in the academic context in order to provide better service to users in a commercial context.
In this study, the problem was limited by the enhancement of the speech signal. The fact that the speech signal has important applications in the context of communication has made it interesting. It is important to remove the background noise generated during both wireless and GSM communications. By eliminating background noise, short time objective intelligibility (STOI) and perceptual evaluation of speech quality (PESQ) are improved. In this way, clear speech is provided to the listener that free of background noise. In this study, babble noise was chosen as background noise. As a method, deep neural networks under deep learning have been used. As a deep neural network, an appropriate architecture of the convolutional neural network (CNN), one of the most popular, has been proposed.
Because the statistical modeling of babble noise is difficult to extract, classical methods based on statistical features (such as the Wiener filter, the minimum mean square error-based spectral amplitude estimator) cannot be used. To overcome this problem, neural networks which can perform non-linear mapping between noisy speech spectra and clean speech spectra have been popular. Especially deep learning has found wide space in image and sound processing applications.
In this study, CNN architecture based on regression was created for speech enhancement. 460 different sentences of two different speakers were used. Speech noise was added to the clean speech signals and data sets were generated at different signal to noise ratios (SNR). Short time Fourier transform (STFT) coefficients of the clear and noisy signals were obtained and then the logarithmic power spectrum (LPS) coefficients were calculated from the amplitude information of these coefficients. The phase information of the noisy signal was stored to synthesize the signal after the amplitude spectrum was enhanced. Proposed CNN is trained. Speech signal were re-synthesized from enhanced LPS coefficients and the stored phase and then evaluated by PESQ and STOI criteria.