Cilt lezyonlarının sınıflandırılmasında yumuşak dikkat tabanlı çok modlu derin öğrenme modellerinin geliştirilmesi
Development of soft attention based multi-modal deep learning models for skin lesion classification
Yazar: HUSSEIN MAHMOOD ABDO MOHAMMED
Danışman: DOÇ. DR. EMİN ARGUN ORAL
Atatürk Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2023
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Amaç: Cilt lezyonlarının tespiti ve sınıflandırması, cilt kanseri tanısında son derece önemlidir. Cilt kanserinin erken teşhisi hekimlerin cilt lezyonlarının daha etkili tedavisini sağlamalarına ve ölüm oranlarının azaltılmasına yardımcı olmaktadır. Erken teşhisin insan hayatı için kritik öneme sahip olduğu bu hastalığın otomatik tespiti için Yapay Zeka tabanlı cilt lezyonu teşhis sistemleri geliştirilmiştir. Bunların arasında çok modlu sistemler, cilt lezyonlarının sınıflandırılmasında yüksek performans göstermiştir. Ancak bu yöntemlerde genellikle iki görüntüleme modalitesinin füzyonu için klasik yaklaşımlar kullanılmaktadır ve bu yöntemler özniteliklerin sınırlı temsil kabiliyetine yol açabilmektedir. Cilt lezyonları sınıflar arası büyük benzerlik ve sınıf içi varyasyondan dolayı görsel olarak karmaşıklığa sahip olduğundan cilt lezyonu bölgelerine odaklanarak bu bölgelerdeki ince farklılıkları bulmak lezyonların sınıflandırılması için kritiktir. Bu nedenle bu tez çalışmasında cilt lezyonlarının sınıflandırılmasında çok modlu verilerin etkili füzyon stratejilerinin ve cilt lezyonlarının en ilgili bölgelerine odaklanmayı sağlayacak otomatik teşhis sisteminin geliştirilmesi amaçlanmıştır.
Yöntem: Cilt lezyonlarının sınıflandırılması için çok modlu verilerin hibrit yaklaşımına ve yumuşak dikkat modüllerine dayalı iki farklı yöntem geliştirilmiştir. Cilt lezyonlarının sınıflandırılmasında dermoskopi ve klinik görüntülere ilaveten hastaların klinik verileri kullanılmıştır. Yumuşak dikkat modülleri cilt lezyonlarının en ilgili bölgelerine odaklanabilmek için kullanılırken çok modlu verilerin füzyonu için her bir yöntemde sırasıyla tek aşamalı ve çok aşamalı füzyon yaklaşımları geliştirilmiştir. Her iki yöntemde de bu çok modlu verilerin en etkili füzyon yaklaşımının bulunmasına yönelik farklı füzyon stratejileri geliştirilmiş ve bu stratejiler sırasıyla tasarlanılan çok dallı evrişim ve involüsyon tabanlı sinir ağları mimarilerine uygulanmıştır. 
Bulgular: Geliştirilen mimarilerde yumuşak dikkat modüllerinin lezyonların en ilgili bölgelerine odaklanmayı sağladığı ve involüsyon modüllerinin farklı modalitelerin görsel temsil kabiliyetlerini geliştirerek lezyon sınıflandırma performansını arttırdığı belirlenmiştir. Ayrıca geliştirilen çok aşamalı hibrit füzyon yaklaşımının çok modlu verilerin füzyonunda etkili olduğu ve kullanılan modalitelerden yüksek temsilli tamamlayıcı bilgiler sağladığı belirlenmiştir.
Sonuç: Cilt lezyonlarının sınıflandırılmasında geliştirilen yumuşak dikkat ve involüsyon tabanlı çok modlu mimari lezyon sınıflandırma doğruluğunu arttırmıştır. Geliştirilen çok modlu füzyon yöntemi yalnızca cilt lezyonu sınıflandırması için değil aynı zamanda daha fazla modalite ile modellenebilen çeşitli uygulamalarda kullanılabilmektedir.

Abstract:
Purpose: Detection and classification of skin lesions are extremely important in the diagnosis of skin cancer. Early detection of skin cancer helps physicians provide more effective treatment of skin lesions and reduce the number of deaths. Artificial Intelligence-based skin lesion diagnosis systems have been developed for the automatic detection of this disease, where early diagnosis is critical for human life. Among them, multimodal systems have shown high performance in classification of skin lesions. However, these methods generally use classical approaches for the fusion of two imaging modalities, and these methods may lead to limited representation of features. Because skin lesions are visually complex due to great similarity between classes and variation within classes, it is critical to classify lesions by focusing on skin lesion sites to find subtle differences in these regions. Therefore, in this thesis, it is aimed to develop the effective fusion strategies of multimodal data in the classification of skin lesions and an automatic diagnosis system that will focus on the most relevant areas of skin lesions.
Method: Two different methods based on hybrid approach of multimodal data and soft attention modules have been developed for classification of skin lesions. In addition to dermoscopy and clinical images, clinical data of patients were used to classify skin lesions. While soft attention modules are used to focus on the most relevant areas of skin lesions, single-stage and multi-stage fusion approaches were developed in each method for the fusion of multimodal data, respectively. In both methods, different fusion strategies were developed to find the most effective fusion approach of these multimodal data and these strategies were applied to the designed multibranch convolutional and involution-based neural network architectures, respectively.
Findings: In the developed architectures, it has been determined that the soft attention modules enable to focus on the most relevant regions of the lesions and the involution modules increase the lesion classification performance by improving the visual representation capabilities of different modalities. In addition, it has been determined that the developed multi-stage hybrid fusion approach is effective in the fusion of multimodal data and provides highly representative complementary information from the modalities used.
Results: The soft attention and involution-based multimodal architecture developed in the classification of skin lesions increased the accuracy of lesion classification. The developed multimodal fusion approach/method can be easily applied not only for skin lesion classification, but also in various/different areas with more modalities.