Türkçe video ve ses kayıtları için metinsel kayıt ve analiz sisteminin geliştirilmesi
Development of text recording and analysis system for turkish video and sound records
Yazar: BAŞAK KIZILAY
Danışman: DOÇ. DR. HÜSEYİN GÜRÜLER
Muğla Sıtkı Koçman Üniversitesi / Fen Bilimleri Enstitüsü / Bilişim Sistemleri Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
İnsan ses kayıtları, içerisinde birçok yapısal bilgi barındırır. Sesin kime ait olduğu, cinsiyet, yaş, kullanılan kelimeler ile bahsedilmek istenen anlamlar veya istekler gibi. Genel olarak, işletmeler ve kurumlarda ses kayıtları veya sesli kayıtlar ses veya video dosya formatlarında sıkıştırılarak saklanır. Ancak ses kayıtlarını ileride işe yarayacak şekilde indekslemek ve bu verilerden ileriye yönelik önemli çıkarımlar yapmak bu tip veri formatlarında henüz kolay değildir. Bu nedenle, sesin metne aktarım ve metinsel analizi birçok alanda çok ciddi bir gereksinim olmanın yanında birçok işlem kolaylığı da sağlamaktadır. İş yerlerinde gerçekleşen toplantı kayıtları buna güzel bir örnektir.
Her ne kadar sesi metne dönüştürme işlemleri için Türkçe dili de dahil kullanımda olan yapay zeka sistemleri (Siri, Cortana vb.) bulunsa ve mobil cihazlarda kullanımda da olsa bu teknolojiler şirketlerin ve kurumların özel ihtiyaçlarına hizmet verememektedir. Bu tez çalışması, Türkçe konuşmaların anlamlandırılmasını sağlamak üzere; sesi metne dönüştürme ile birlikte konuşmacılar hakkında kimliksel bilgilere (kimlik, yaş, cinsiyet) ulaşmayı makine öğrenmesi yöntemleri kullanılarak çözmeyi amaçlamaktadır.
Herhangi bir otomatik konuşma tanıma sistemindeki ilk adım, ses üzerinde yer alan arka plan gürültüsünün giderilmesi yani ses yolunun şekline göre filtrelenmesidir ve dilsel içeriğe ait öznitelik çıkarılmasıdır. Bu kapsamda; Kişisel Verileri Koruma Kanunu (KVKK)'na uygun olarak alınmış Türkçe ses kayıt verileri üzerinde, arka plan gürültüsünden arındırıldıktan sonra; makine öğrenmesi eğitim modeli ile konuşmacı tanıma (kimlik tespiti), konuşmacı cinsiyetini tanıma, yaş aralığı belirleme gerçekleştirmiş ve her bir konuşmanın diyalog zamanı da eklenerek her bir konuşma için bir metin dosyası hazırlanabilmektedir. 
Ses kayıtlarından elde edilen bu metin dosyası sayesinde sanayi, işletmeler veya resmi kurumlar için önem arz eden geçmişe yönelik istenen veriye kısa zamanda ulaşma, veri saklamadaki boyut düşürme ve dilenirse şifreleme kolaylıkla yapılabilir.

Abstract:
Human voice recordings contain a lot of structural information. Such as who the voice belongs to, gender, age, the words used and the meanings or wishes to be mentioned. Generally, sound or audio recordings stored in businesses and institutions by compressing them in audio or video data formats. However, indexing audio recordings for future use and making important future inferences from these data is not yet easy in such data formats. For this reason, the transfer of audio to text and textual analysis is a very serious requirement in many areas, as well as providing many ease of operation. Meeting recordings at workplaces are a good example of this.
Although there are artificial intelligence systems (Siri, Cortana, etc.) in use, including the Turkish language, for the process of converting voice to text, and they are in use on mobile devices, they cannot serve the special needs of companies and institutions. This thesis study, in order to make sense of Turkish speech, aims to solve the identification of the speakers (identity, age, gender) by using machine learning methods, together with converting the voice to text.
One of the initial steps in any automated natural language processing system, particularly in speech recognition is to remove the background noise and then feature extraction of linguistic content. In this context; after the Turkish voice data taken in accordance with the Personal Data Protection Law (KVKK) is cleared from the background noise; speaker recognition (identification), speaker gender recognition, age range determination was carried out with machine learning training model, and a text file can be prepared by adding the dialogue time of each speech.
Thanks to the text file obtained from the audio recordings, reaching the desired historical data in a short time, reducing the size of data storage and encrypting if desired can be done easily, which are important for industry, businesses or official institutions.