Derin öğrenme ile sosyal ağlarda radyolojik görüntü ve metin tabanlı medikal kavram tespiti
Radiological image and text based medical concept detection in social networks with deep learning
Yazar: SÜMEYYE BAYRAKDAR
Danışman: PROF. DR. İBRAHİM YÜCEDAĞ
Düzce Üniversitesi / Lisansüstü Eğitim Enstitüsü / Elektrik-Elektronik ve Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Derin öğrenme = Deep learning ; Görüntü kodlama = Image coding ; Makine öğrenmesi = Machine learning ; Sosyal ağlar = Social networks

Özet:
Günümüzde sağlık konulu sosyal ağların her geçen gün arttığı görülmektedir. Bu ağların etkisi ile çeşitli uzmanlar tarafından tanılanıp yorumlanan çok sayıda tıbbi görüntü ortaya çıkmaktadır. Bu nedenle, tıbbi görüntülerden kavram tespiti ve görüntü sınıflandırma zorlu bir görev olmaya devam etmektedir. Son yıllarda bu alanda yapılan çalışmalar, model olarak derin öğrenme üzerindeki faaliyetleri artırmıştır. Derin öğrenme modeline ilginin bu denli artmasının en önemli sebebi ise,  yeteri kadar sayıda eğitilecek verinin bulunması ve bu verilerinin işlenmesinde gerekli fiziki alt yapının hazır olmasıdır. Tez çalışmasının temel amacı, bir sosyal ağ üzerinde paylaşılan radyolojik görüntülere atanması gereken medikal kavramları otomatik olarak seçerek, görüntülerin çok etiketli sınıflandırmasını gerçekleştirmektir. Kavramlar, Birleşik Tıp Dil Sisteminden (Unified Medical Language System (UMLS)) gelir. Çalışmada, kavramları tahmin etmek amacıyla ileri beslemeli sinir ağları ile birleştirilen evrişimli sinir ağı (convolutional neural network-CNN) ve çeşitli görüntü kodlayıcıları (VGG-19, ResNet-101, DenseNeT-121, Xception, Efficient-B7) uygulanmıştır. Önerilen hibrit derin öğrenme modelleri, ImageCLEF 2019 veri kümesi üzerinde eğitilmiş ve test edilmiştir. Daha sonra, sosyal ağ üzerinden toplanan radyoloji görüntüleri ve onlara ait yorumlardan oluşturulan veri seti (Rdpd_Test_Vs) üzerinde modellerin başarımı değerlendirilmiştir. Değerlendirme, sistem tarafından tahmin edilen ve kesin doğruluk kavramları arasındaki F1 puanları açısından gerçekleştirilmiştir. Değerlendirme sonuçları umut verici olup, yüksek başarıma sahiptir.

Abstract:
Today, it is seen that social networks on health topic are increasing day by day. With the effect of these networks, a large number of medical images emerge that are identified and interpreted by various experts. Therefore, concept detection and image classification from medical images remains a challenging task. In recent years, studies in this field have increased the activities on deep learning as a model. The most important reason why the interest in the deep learning model has increased so much is that there is enough data to be trained and the necessary physical infrastructure is ready to process this data. The main purpose of the thesis work is to perform multi-label classification of images by automatically selecting the medical concepts that should be assigned to the radiological images shared on a social network. Concepts come from the Unified Medical Language System (UMLS). In order to predict the concepts in the study, convolutional neural network (CNN) combined with feed forward neural networks, and various image encoders (VGG-19, ResNet-101, DenseNeT-121, Xception, Efficient-B7) are employed. The proposed hybrid deep learning models have been tried and tested on the ImageCLEF 2019 dataset. Then, the performance of the models was evaluated on the data set (Rdpd_Test_Vs) formed from the radiology images and their comments collected over the social network. Evaluation is performed in terms of F1 scores between system prediction and absolute accuracy concepts. Evaluation results are promising and have high performance.