Derin öğrenme için yenilikçi düzgünleştirme yaklaşımlarının geliştirilmesi ve medikal görüntülere uygulanması
Development of new regularization approaches for deep learning and application to medical images
Yazar: KAZIM FIRILDAK
Danışman: PROF. DR. MUHAMMED FATİH TALU ; DR. ÖĞR. ÜYESİ GAFFARİ ÇELİK
İnönü Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Yapay sinir ağı (YSA) temelli yaklaşımların tahmin başarımının artırılması literatürde ele alınan önemli bir konudur. Düzgünleştirme, tahmin başarımını artırmak için kullanılan yöntemlerden biridir. Bu tez çalışmasında YSA temelli modeller için üç farklı yenilikçi düzgünleştirme yöntemi önerilmiştir. Bu yöntemler, farklı derin ağlarda kullanılarak tıbbi görüntü verilerinin sınıflandırılmasında tahmin başarımını artırmışlardır.
Birinci uygulamada veri ile düzgünleştirme yapılmıştır. Kapsül ağın (KA) klasik veri artırımı kullanılarak eğitiminde istatistiksel sınıflama metriklerinde başarım sağlayamadığı keşfedilmiştir. Önerilen çekişmeli üretici ağ (ÇÜA) mimarisi ile göğüs x-ray görüntülerinde eğitim verileri üretilmiştir. KA, eğitiminde filtre sayısı, boyutu ve eğitim veri sayısı parametrelerindeki değişimlerde sınıflama performansındaki durumlar detaylı olarak açıklanmıştır. Önerilen yöntem ile %94 oranında doğruluk başarımı sağlamıştır. Ayrıca ÇÜA tabanlı veri üretim yaklaşımı cilt lezyon imgelerinin sınıflama için uyarlanmıştır. Önerilen veri artırma modeli ile transfer öğrenme kullanarak yedi sınıflı cilt lezyon veri kümesinde sınıflama gerçekleştirmiştir. Bu yöntem ile istatistiksel metriklerde yaklaşık %10 oranında başarım artışı gerçekleştirilmiştir.
İkinci uygulamada ise YSA ve evrişimsel sinir ağı (ESA) modellerinin tahmin başarımını artıracak yeni bir kayıp eklenti fonksiyonu önerilmiştir. Bu yöntem ile ağ ağırlıklarını birimdik vektörler olarak öğrenmek için genelleştirilmiş bir matematiksel model sunulmuştur. Önerilen yöntem ile modellerin ağırlık matrisini ikili dik vektörler şeklinde öğrenerek genelleme başarımı artırılmıştır. Deneysel çalışmalarda önerilen yöntem, yedi farklı veri kümesinin eğitimi için uygulanmıştır. Önerilen yöntem ile YSA ve ESA'nın sınıflama başarımını %1 ila %5 arasında artış sağlanmıştır.
Son uygulamada ise ağ tabanlı bir düzgünleştirme yaklaşımı sunulmuştur. Karşılaştırmalı öğrenme mimarisi olan basit çerçeveli öğrenme (Simclr) yönteminin çözücü ağ katmanı için yeni bir ağ önerilmiştir. Ayrıca eğiticili öğrenme stratejisi ile model yeniden oluşturulmuştur. Kolon kanseri histopatolojik veri kümelerine uygulanan yöntem ile literatürdeki diğer yöntemlere kıyasla yüksek sınıflama performansı elde edilmiştir.
Anahtar Kelimeler: Düzgünleştirme, Birimdik Düzgünleştirme, Tıbbi Görüntü Sınıflama, Derin Öğrenme, Karşılaştırmalı Öğrenme

Abstract:
Improving the prediction performance of artificial neural network (ANN)-based approaches is an important topic discussed in the literature. Regularization is one of the methods used to enhance prediction performance. In this thesis, three different innovative regularization methods are proposed for ANN-based models. These methods, applied in various deep networks, have improved prediction performance in the classification of medical image data. In the first application, regularization was performed with data. It was discovered that the capsule network (Ca) failed to achieve performance in statistical classification metrics when trained using classical data augmentation. Training data were generated in chest x-ray images using the proposed generative adversarial network (GAN) architecture. The classification performance in changes in the number of filters, size, and the number of training data parameters in the Ca training was explained in detail. The proposed method achieved an accuracy performance of 94%. Additionally, the GAN-based data generation approach was adapted for the classification of skin lesion images. Classification was performed on a seven-class skin lesion dataset using the proposed data augmentation model with transfer learning. This method achieved approximately a 10% increase in performance in statistical metrics.In the second application, a new loss augmentation function was proposed to increase the prediction performance of ANN and CNN models. With this method, a generalized mathematical model was presented to learn network weights as unit vectors. The proposed method increased the generalization performance by forcing the weight matrix of the models to learn as binary vectors. In experimental studies, the proposed method was applied to the training of seven different datasets. The proposed method increased the classification performance of ANN and CNN by 1% to 5%.
In the final application, a network-based regularization approach was presented. A new network was proposed for the resolver network layer of the contrastive learning architecture, simclr method. Additionally, the model was reconstructed with a supervised learning strategy. The method applied to colon cancer histopathological datasets achieved high classification performance compared to other methods in the literature.
Keywords: Regularization, Orthogonal Regularization, Medical Image Classification, Deep Learning, Contrastive Learning