title: ChatGPT, DeepL or human translators
Creators: name: Grossalber, Sophie
Publisher: name: :none
Year: 2024

description: Aufgrund der prekären Sicherheitslage in Europa durch Russlands Angriffskrieg auf die Ukraine, sowie Desinformationskampagnen und der Weiterentwicklung von maschinellen Übersetzungstools ist es in militärischen Kreisen immer wichtiger zu wissen, woher Übersetzungen stammen und ob den Informationen in übersetzten Texten vertraut werden kann. Hierzu wird mithilfe der Multidimensional Quality Metrics von MQM untersucht, ob ChatGPT und DeepL in der Lage sind, militärische Texte in zufriedenstellender Qualität von Englisch auf Deutsch zu übersetzen. Gemeinsam mit einer menschlichen Übersetzung desselben Textausschnitts werden die rohen, maschinellen Übersetzungen fünf Teilnehmer*innen mit unterschiedlichem Erfahrungsschatz im Übersetzen und im Umgang mit maschinellen Übersetzungstools vorgelegt. Die Teilnehmer*innen geben anschließend ein Ranking ab, welcher Text ihrer Meinung nach aus welcher Quelle stammt und an welchen Kriterien sie diese Auswahl festmachen, um zu untersuchen, ob und wie Bedienstete im österreichischen Bundesheer zwischen maschineller und menschlicher Übersetzung entscheiden können und ob sie die Übersetzungen hinsichtlich Qualität unterschiedlich wahrnehmen. Sowohl in der vorangegangenen, manuellen Evaluation der Übersetzung als auch in den qualitativen Interviews zeigt sich, dass DeepL und ChatGPT zwar allgemeinsprachlich gute Übersetzungen produzieren, aber die militärische Terminologie ein Problem darstellt. Die Teilnehmer*innen können durch die Terminologie zwischen menschlicher und maschineller Übersetzung unterscheiden. Obwohl die Qualität der rohen, maschinellen Übersetzungen die Teilnehmer*innen überrascht, sprechen sie sich dafür aus, dass Post-Editing vor Veröffentlichung der Texte nötig ist. Weitere Studien mit einem größeren Teilnehmer*innen-Pool und anderen Sprachkombinationen werden empfohlen.
description: The precarious security situation in Europe generated by Russia’s war against Ukraine, worldwide disinformation campaigns, and the continued development of machine translation tools necessitate knowing where translations originate and whether their content can be trusted to be correct. With the assistance of MQM’s Multidimensional Quality Metrics, this thesis investigates whether ChatGPT and DeepL are able to produce satisfactory translations of English-language military texts into German. Different translations of the same text – one by human hand as well as two raw machine translations by ChatGPT and DeepL – are put to five participants with varying degrees of experience in translating and using machine translation tools. The participants try to determine the origins of these different translations as well as provide support for their assessment. This is done in order to investigate whether and, if yes, how Austrian Armed Forces personnel differentiate between human and machine translations, and if they perceive the translations as being of differing quality. Both the participants’ evaluations of the translations and their statements in the qualitative interviews show that ChatGPT and DeepL produce translations which may be of high quality with regard to general language, but which are lacking in the area of military terminology. The presence of military terminology in the texts enables the participants to differentiate between human and machine translations; they argue that post-editing is still necessary before publication of the texts, but they were nevertheless surprised by the high quality of the machine translations. Further research, drawing from a larger pool of participants and additional language combinations, is recommended.