Ön düzenlemenin nöral makine çevirisi çıktılarının kalitesine etkisi üzerine deneysel bir çalışma
An experimental study on the impact of pre-editing on the quality of neural machine translation outputs
Yazar: CEM KARASU
Danışman: DR. ÖĞR. ÜYESİ SİNEM CANIM
İstanbul Üniversitesi / Sosyal Bilimler Enstitüsü / Çeviribilim Ana Bilim Dalı / Çeviribilim Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Mütercim-Tercümanlık = Translation and Interpretation

Özet:
ÖZ

ÖN DÜZENLEMENİN NÖRAL MAKİNE ÇEVİRİSİ ÇIKTILARININ KALİTESİNE ETKİSİ ÜZERİNE DENEYSEL BİR ÇALIŞMA

CEM KARASU

Bu çalışmada ön düzenleme işleminin nöral makine çevirisi sistemlerinin çıktı kalitesi üzerindeki etkisi araştırılmıştır. Bu araştırmada, belirli kurallara veya yönergelere uygun olarak kaynak metinlerin düzenlenmesini içeren ön düzenleme sürecinin, nöral makine çevirisi sistemleri tarafından üretilen çevirilerin kalitesini artırıp artırmadığı deneysel bir çalışmayla test edilmiştir. Bu tez çalışması kapsamında makine çevirisinin tarihsel süreciyle ilgili arka plan bilgisi sağlanmasının yanı sıra makine çevirisine insan müdahalesinin yöntemleri olan kontrollü dil kullanımı, ön düzenleme ve makine çevirisi sonrası düzenleme üzerine literatür taraması yapılmıştır. Deneyde kullanılan kontrollü dil ve ön düzenleme kurallarının belirlenmesi amacıyla, deney aşamasından önce, yapılması planlanan deneye benzer bir pilot çalışma yapılmış ve çalışmanın literatür kısmında ele alınan çalışmalardan faydalanılarak deneyde kullanılan ön düzenleme kuralları belirlenmiştir. Ardından, nöral makine çevirisi yapılmak üzere seçilen örneklemde yer alan kaynak metinlere kontrollü dil ve ön düzenleme kuralları uygulanmasının nöral makine çevirisi sisteminin çıktı kalitesine nasıl etki ettiği deneysel bir çalışmayla araştırılmıştır. Bu araştırma için seçilen örneklemde yer alan beş farklı tez çalışmasına ait öz metni hem ön düzenleme işlemi uygulanmadan önce hem de ön düzenleme uygulandıktan sonra Google Çeviri adlı nöral makine çevirisi sistemi kullanılarak çevrilmiştir. Elde edilen çeviri çıktılarının kalite değerlendirmesi LISA QA kalite modeli kullanılarak yapılmıştır ve ön düzenleme uygulanmadan çevrilen metinler ile ön düzenlemeye tabi tutularak çevrilen metinlerin arasındaki arasındaki kalite farklılıkları incelenmiştir. Bu yolla, ön düzenlemenin nöral makine çevirisi çıktılarının üzerindeki etkisi ve bu işlemin nöral makine çevirisi bakımından gerekliliği hakkında verilere ulaşılması amaçlanmıştır. Elde edilen bulgulardan yola çıkarak, ön düzenlemenin nöral makine çevirisi sistemlerinin ürettiği çıktıların kalitesini artırmada önemli bir rol oynayabildiği ancak ön düzenleme uygulanmasına 
rağmen nöral makine çevirisi çıktılarında bazı hata türlerinin görülmeye devam edildiği tespit edilmiştir.

Anahtar Sözcükler: Makine çevirisi, nöral makine çevirisi, ön düzenleme, kontrollü diller, çeviri kalite değerlendirmesi

Abstract:
ABSTRACT
AN EXPERIMENTAL STUDY ON THE IMPACT OF PRE-EDITING ON THE QUALITY OF NEURAL MACHINE TRANSLATION OUTPUTS

CEM KARASU

In this study, the impact of pre-editing on the output quality of neural machine translation systems has been investigated. This research experimentally tested whether the pre-editing process, which involves editing source texts according to certain rules or guidelines, improves the quality of outputs produced by neural machine translation systems. The study provides background information on the historical development of machine translation and includes a literature review on methods of human intervention in machine translation, such as controlled language usage, pre-editing, and post-editing. Following this, a pilot study analogous to the planned experiment was conducted before the main experiment in order to determine the controlled language and pre-editing rules used in the experiment, and pre-editing rules were derived from the studies discussed in the literature review. Afterwards, an experimental study was conducted to investigate how the application of controlled language and pre-editing rules to the source texts in the selected sample affects the output quality of the neural machine translation system which is used in the study. During the experiment, five different thesis abstracts from the selected sample were translated using the Google Translate neural machine translation system both before and after the pre-editing process was applied. The quality of the resulting translation outputs was assessed using the LISA QA model, and the quality differences between the texts translated without pre-editing and those translated after pre-editing were analyzed. This approach aimed to gather data on the impact of pre-editing on neural machine translation output quality and the necessity of this process for neural machine translation systems. Based on the findings of the experiment, it was determined that pre-editing can play a significant role in improving the quality of neural machine translation outputs. However, Despite the application of pre-editing rules on the texts in the sample, certain types of errors persisted in the neural machine translation outputs.

Keywords: Machine translation, neural machine translation, pre-editing, controlled languages, translation quality assessment.