Uzamsal ön işleme yöntemleri ve siyam sinir ağları kullanılarak biyomedikal görüntülerde morfolojik bozuklukların sınıflandırılmas
Classification of morphological disorders using spatial preprocessing methods and siamese neural networks in biomedical images
Yazar: MUSTAFA CEBECİ
Danışman: DOÇ. DR. HAMZA OSMAN İLHAN
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Erkek bireylerde kısırlık hastalığının teşhisi için sperm görüntülerinin analiz edilmesi önem taşımaktadır. Sperm görüntülerinin analizinde derin öğrenme yöntemleri de kullanılmaktadır. Bu çalışmada öncelikle sperm veri setlerine uzamsal ön işleme yöntemleri uygulanmış. Daha sonra ise sperm veri setlerini sınıflandırmak amacıyla Siyam Sinir Ağları'nın kullanımı incelenmiştir. Makine öğrenmesi ve derin öğrenme tabanlı görüntü sınıflandırma çalışmalarında farklı renk uzaylarının  ve uzamsal birleştirme yöntemlerinin kullanımı sınıflandırma performansını artırmak için uygulanan ön işleme yöntemleridir. Bu çalışmada da ön işleme adımı olarak bu yöntemler kullanılmıştır. Öncelikle RGB renk paletine sahip orijinal görüntüler LAB, HSV ve YCbCr olmak üzere 3 farklı renk uzayına dönüştürülmüş daha sonra ise bu renk uzaylarına sahip görüntüler uzamsal olarak birleştirilmiştir. Uzamsal birleştirme yöntemi ile gerçekleştirilen sınıflandırmada \%82.0'luk başarım oranına erişilmiş ve sınıflandırma performansında RGB renk uzayına göre bir artış gerçekleşmiştir. Ön işleme adımından sonra ise Siyam Sinir Ağları'nın kullanımı incelenmiştir. Makine öğrenmesi ve derin öğrenme modelleri sperm morfoloji analizinde belirli bir noktaya kadar başarılı sonuçlar vermektedir. Aynı şekilde derin öğrenmenin bir alt dalı olan Evrişimli Sinir Ağları(ESA) da belirli bir noktaya kadar başarılı sonuçlar vermekte ancak düşük veri sayısına sahip veri setlerinde istenilen başarım oranlarına ulaşamamaktadır. ESA'nın bir türü olan SSA ise az görüntü içeren veri setlerindeki bu performans sorununa yenilikçi bir çözüm sunmaktadır. Ana amaç, giriş çiftleri arasındaki benzerlik veya farklılıkları belirlemek için bir uzaklık fonksiyonu öğrenmektir. Siyam Sinir Ağları'nın temel yapısı ve çalışma prensibi şu şekildedir: İkiz ağlar, aynı yapıya ve ağırlıklara sahip iki alt ağdır ve her biri bir giriş görüntüsünü işler ve yüksek boyutlu bir özellik vektörüne dönüştürür. Özellik karşılaştırma aşamasında, giriş çiftlerinden elde edilen özellik vektörleri karşılaştırılır. Bu genellikle L1 veya L2 normları gibi mesafe ölçütleri kullanılarak yapılır. Kayıp fonksiyonu olarak karşılaştırmalı kayıp fonksiyonu yaygın olarak kullanılır. Siyam Sinir Ağları sperm veri setleri üzerinde ilk defa bu çalışmada denenmiştir. Bu çalışmada da "Adamax", "RMSProp", "SGD" optimizasyon yöntemlerinin; çeşitli öğrenme oranlarının ve önceden eğitilmiş EfficientNetB4 ve EfficientNetB3 modellerinin HuSHeM ve SMIDS veri setlerinde performansları elde edilmiştir. En iyi sınıflandırma performansına önceden eğitilmiş EfficientNetB4 modeli, RMSProp optimizasyon yöntemi ve 0.01 öğrenme oranı ile 5 kat arttırılmış HuSHeM veri seti üzerinde ulaşılmış olup bu başarım oranı \%89.92'dir. SMIDS veri seti üzerinde ise en iyi sınıflandırma performansına EfficientNetB4 modeli, RMSProp optimizasyon fonksiyonu ve 0.01 öğrenme oranı ile Orijinal SMIDS veri setinde \%85.71 başarım oranı ile ulaşılmıştır. Uzamsal birleştirme yöntemi ile gerçekleştirilen sınıflandırmada ise \%82.0'luk başarım oranına erişilmiştir.

Abstract:
It is important to analyze sperm images to diagnose infertility in male individuals. Deep learning methods are used in the analysis of sperm images. In this study, spatial preprocessing methods were first applied to sperm data sets.Then the use of Siamese Neural Networks to classify sperm data sets was examined. In machine learning and deep learning based image classification studies, the use of different color spaces and spatial fusion methods are preprocessing methods applied to increase the classification performance. In this study, these methods were used as preprocessing steps. First of all, the original images with RGB color palette were converted to 3 different color spaces as LAB, HSV and YCbCr, and then the images with these color spaces were spatially fused. In the classification performed with the spatial combination method, a success rate of \%82.0 was achieved and an increase in classification performance was achieved compared to the RGB color space. After the pre-processing step, the use of Siamese Neural Networks was examined. Machine learning and deep learning models provide successful results in sperm morphology analysis up to a certain point. Likewise, CNN, a sub-branch of deep learning, provides successful results up to a certain point, but cannot reach the desired performance rates in data sets with low data numbers. SNN, a type of CNN, offers an innovative solution to this performance problem in data sets containing few images. The main goal is to learn a distance function to determine the similarities or differences between pairs of inputs. The basic structure and working principle of Siamese Neural Networks is as follows: Twin networks are two subnetworks with the same structure and weights, and each of them processes an input image and converts it into a high-dimensional feature vector. In the feature comparison phase, feature vectors obtained from input pairs are compared. This is usually done using distance measures such as L1 or L2 norms. The comparative loss function is commonly used as the loss function. Siamese Neural Networks were tried for the first time on sperm data sets in this study. In this study, "Adamax", "RMSProp", "SGD" optimization methods; Various learning rates and pre-trained EfficientNetB4 and EfficientNetB3 models were tested on HuSHeM and SMIDS datasets. The best classification performance was achieved on the 5-fold increased HuSHeM data set with the pre-trained EfficientNetB4 model, RMSProp optimization method and 0.01 learning rate, and this performance rate is \%89.92. On the SMIDS dataset, the best classification performance was achieved with the EfficientNetB4 model, RMSProp optimization function and 0.01 learning rate with a \%85.71 success rate on the original SMIDS dataset. In the classification performed with the spatial combination method, a \%82.0 success rate was achieved.