Türkçe klinik metinlerin derin öğrenme yaklaşımları ile sınıflandırılması
Classification of Turkish clinical notes using deep learning techniques
Yazar: HAZAL TÜRKMEN
Danışman: PROF. DR. OĞUZ DİKENELLİ
Ege Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Ortamında Mimari Tasarım Bilim Dalı
Derece: Doktora, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Doğal dil işleme (DDİ) alanında son yıllarda kaydedilen önemli ilerlemeler, büyük dil modellerinin (BDM'ler) ortaya çıkışıyla birlikte devrim niteliğinde araştırma ve gelişmeleri mümkün kılmıştır. Özellikle alan içi derlemlerle desteklenmiş ve önceden eğitilmiş olan BDM'lerin sunduğu imkanlar, bu devrim niteliğindeki ilerlemeyi daha da belirgin hale getirmiştir. İngilizce dilinde biyomedikal ve klinik DDİ görevlerinde bu tür modellerin oldukça başarılı olduğu birçok çalışma ile açıkça gösterirken ne yazık ki az kaynaklı dillerde bu tür çalışmaların sayısı oldukça sınırlıdır. Tez çalışması bu noktada, dil kaynaklarının sınırlılıklarını aşma hedefiyle hareket ederek transformer tabanlı iki farklı BDM olan BioBERTurk ve TurkRADBERT dil modelleri ailesini geliştirme yoluna gitmiştir. Literatürde ilk kez geliştirilen Türkçe dilindeki biyomedikal ve klinik alanındaki modellerin performansını iyileştirebilmek amacıyla da farklı dil ön eğitim stratejilerinin etkisini araştırılmıştır. Dil modellerinin performanslarının değerlendirilmesi için  tez kapsamında oluşturulan ve Türkçe kafa BT radyoloji raporlarının doküman seviyesinde uzman radyologlar tarafından tasarlanarak etiketlenmiş üç farklı veri kümesi ilk kez oluşturulmuştur.
BioBERTurk dil modeli ailesi, biyomedikal derlemle eğitim ve sürekli ön eğitim stratejileri kullanılarak diğer Türkçe modellere kıyasla daha iyi performans göstermiş, ancak radyoloji ve medikal derlemelerini birleştiren ve sıfırdan eğitilen model en düşük başarıyı sergilemiştir. Tez kapsamında geliştirilen bir diğer dil modelleri ailesi TurkRadBERT, klinik alanda Türkçede sınırlı dil kaynaklarıyla, radyoloji raporlarını içeren çok etiketli bir sınıflandırma görevinde farklı ön eğitim metodolojilerinin Türkçe klinik dil modellerinin performansına olan etkisini araştırmıştır. Genel Türkçe BERT modeli BERTurk ve TurkRadBERT-task v1, genel alan derleminden elde edilen bilgi sayesinde en iyi genel performansı sergilemiştir. Sonuçlar, optimum performans için genel alan bilgisi ve göreve özgü ince ayarın birleşiminin ve alana özgü kelime sözlüğünün öneminin altını çizmektedir.
Özetle bu tez çalışması Türkçe medikal alanında dil modelleri geliştirmek için değerli bilgiler sunmaktadır ve klinik alandaki diğer düşük kaynaklı diller için ön eğitim teknikleri konusunda gelecekteki araştırmalara rehberlik niteliğinde bilgiler sağlamaktadır.

Abstract:
The significant advances made in the field of natural language processing (NLP) in recent years, together with the emergence of large language models (LMMs), have enabled revolutionary research and development. This revolutionary progress has been made even more evident by the possibilities offered by LLMs, especially when they are pre-trained and supported by in-domain corpora. While many studies have clearly demonstrated that such models are highly successful in biomedicine and clinical NLP tasks in English, unfortunately, the number of such studies in low-resource languages is very limited. At this point, this thesis aims to overcome the limitations of language resources and develop two different families of transfomer-based LLMs, BioBERTurk and TurkRADBERT language models. In order to improve the performance of the Turkish language biomedicine models developed for the first time in the literature, the effect of different language pre-training strategies was investigated. In order to evaluate the performance of the language models, three different datasets, designed and labeled by expert radiologists at the document level of Turkish head CT radiology reports, were created for the first time.The BioBERTurk family of language models performed better than the other Turkish models using the biomedical corpus training and continuous pre-training strategies, but the model combining radiology and biomedicine corpora and trained from scratch showed the lowest performance. TurkRADBERT, another family of language models developed in this thesis, investigated the effect of different pre-training methodologies on the performance of Turkish clinical language models on a multi-label classification task involving radiology reports in the clinical domain with limited language resources in Turkish. The generic Turkish BERT model BERTurk and TurkRadBERT-task v1 showed the best overall performance thanks to the knowledge gained from the general domain corpus. The results underline the importance of the combination of general domain knowledge, task-specific fine-tuning and domain-specific vocabulary for optimal performance.
In summary, this thesis provides valuable insights for developing language models in Turkish biomedicine and provides guidance for future research on pre-training techniques for other low-resource languages in the clinical domain.