Transfer öğrenmesi tabanlı hibrit evrişimsel sinir ağı modelleri kullanılarak meme kanseri teşhisi
Breast cancer detection using transfer learning based hybrid convolutional neural network models
Yazar: CHINGIZ SEYIDBAYLI
Danışman: DOÇ. DR. CENK ULU
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Mekatronik Mühendisliği Ana Bilim Dalı / Mekatronik Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Mekatronik Mühendisliği = Mechatronics Engineering
Dizin: Evrişimli sinir ağları = Convolutional neural networks ; Hibrit model = Hybrid model ; Meme neoplazmları = Breast neoplasms ; Teşhis = Diagnosis ; Transfer öğrenimi = Transfer learning ; Yapay zeka = Artificial intelligence

Özet:
Dünya Sağlık Örgütü'ne göre meme kanseri en yaygın kanser türlerinden biridir. 2020 yılında meme kanseri teşhisi koyulmuş 2.26 milyon kişinin 685 bini hayatını kaybetmiştir. Son yıllardadijital kanser tanı sistemlerinin kullanımı popülerlik kazanmıştır. Özellikle son 10 yılda derin öğrenme modelleri ve evrişimsel sinir ağı (ESA) modelleri, yüksek performanslarından dolayı görüntülerden kanser sınıflandırma uygulamalarında yaygın olarak tercih edilmektedir. Transfer öğrenmesi yöntemi kullanılarak ön eğitilmiş modellerin özellik çıkarımı ile ilgili parametreleri yeni modellere aktarılabilmekte ve böylece kısıtlı eğitim veri seti olması durumunda dahi tatmin edici başarımlar elde edilebilmektedir. Son zamanlarda ESA'lar ile elde edilen teşhis performansını daha da arttırmak için hibrit modeller önerilmiştir. Literatürde hibrit modeller, genellikle farklı ESA mimarilerinin belli katmanları birleştirilerek oluşturulmaktadır. Bu hibrit modellerde her bir ESA modelinin katman çıkışları ayrı ayrı işlenip, elde edilen değerler birleştirilerek sınıflandırıcıya girdi olarak verilmektedir.
Bu çalışmada, doku bazlı patoloji görüntüleri üzerinden gerçekleştirilen meme kanseri teşhis işleminde hibrit ESA modeli kullanılarak tekli ESA modelleri ile elde edilen teşhis başarımının arttırılması amaçlanmıştır. Hibrit modeli oluşturmak için  kullanılacak tekil ESA modelleri olarak ResNet50, VGG16, VGG19 ve Xception ön eğitilmiş modelleri tercih edilmiştir. En iyi hibrit modelin elde edilmesi için tekil modellerin ikili, üçlü ve dörtlü kombinasyonları oluşturulmuş ve başarımları deneysel olarak analiz edilmiştir. 
Modellerin eğitilmesi ve test edilmesi için CAMELYON ISBI ve BreaKHis veri setleri kullanılmıştır. Veri setlerinden elde edilmiş 225x225 boyutlarında görüntülerin sınıflandırılması gerçekleştirilmiştir. Tekli eğitim modellerinin oluşturulması için VGG16, VGG19, ResNet50 ve Xception modelleri transfer öğrenmesi yöntemi ile alınmış ve genel özellik çıkaran katmanları dondurulmuştur. Kalan katmanlardaki belirli bir katmanın çıkışına global maksimum havuzlama katmanı eklenmiş ve geri kalan katmanlar modelden çıkarılmıştır. Bu katmandan sonra sınıflandırma işlemi için bir tam bağlı ağ eklenmiştir. Bu tam bağlı ağda 1024 nörondan oluşan yoğunluk katmanı yer almakta, seyreltme ve yığın normalizasyon işlemleri yapılmakta ve softmax fonksiyonu kullanılarak sınıflandırma gerçekleştirilmektedir. Dondurulmuş katmanlar dışında kalan katmanların eğitimi gerçekleştirilmiştir. Tekil modellerin eğitimi yapılıp, parametreleri kaydedildikten sonra, ikili, üçlü ve dörtlü eğitim hibrit modelleri oluşturulmuştur. Bu modeller oluşturulurken kaydedilmiş her bir tekli modelin 1024 nörondan oluşan katmanından elde edilen öznitelik vektörlerinin birleştirilmesi ile yeni öznitelik vektörleri elde edilmiştir. Bu birleştirilmiş vektörlere seyreltme ve yığın normalizasyon işleminin uygulandığı tam bağlı katman ile sınıflandırma işlemi gerçekleştirilmiştir. Sonuçların başarım ölçümleri için kesinlik, duyarlılık, F1-skoru ve doğruluk metrikleri seçilmiştir. Elde edilen deneysel sonuçlara göre CAMELYON veri seti için en iyi sonucu %97.08 doğruluk oranı ile ResNet50 – VGG16 – Xception üçlü hibrit modeli ve BreaKHis veri seti için en iyi sonucu %97.75 doğruluk oranı ile VGG16 – VGG19 ikili hibrit modeli göstermiştir.

Abstract:
According to the World Health Organization, breast cancer is one of the most common types of cancer. 685.000 of the 2.26 million people diagnosed with breast cancer died in 2020. The use of digital cancer diagnosis systems has gained popularity in recent years. Especially in the last 10 years, deep learning models and convolutional neural network (CNN) models have been widely preferred in cancer classification applications due to their high performance. By using the transfer learning method, the parameters related to the feature extraction of the pre-trained models can be transferred to the new models and thus satisfactory performances can be obtained even in the case of a limited training data set. Recently, hybrid models have been proposed to further enhance the diagnostic performance of CNNs. In literature, hybrid models are generally constructed by combining certain layers of different CNN architectures. In these hybrid models, the layer outputs of each CNN model are processed separately and the obtained values are combined and given as input to the classifier.
In this study, it is aimed to increase the detection performance obtained with single CNN models by using the hybrid CNN model in breast cancer detection applications performed on histopathological images. ResNet50, VGG16, VGG19, and Xception pre-trained models are preferred as single CNN models to construct the hybrid models. In order to obtain the optimal hybrid model, double, triple, and quadruple combinations of single models are constructed and their performances are analyzed experimentally.
To train and test the models, CAMELYON ISBI and BreaKHis datasets are used. Classification of images with the size of 225x225 pixels obtained from datasets is performed. In order to construct single training models, VGG16, VGG19, ResNet50, and Xception models are taken by the transfer learning method, and their general feature extraction layers are frozen. A global maximum pooling layer is added to the output of a particular layer in the remaining layers, and subsequent layers are removed from the model. After the global maximum pooling layer, a fully connected network is added for the classification process. This fully connected network has a density layer consisting of 1024 neurons, a dropout layer, and a batch normalization layer, and classification is performed using the softmax function. The training of the layers other than the frozen layers is performed. After training the single models and saving their parameters, training hybrid models composed of two, three, and four CNN models are constructed. While constructing these hybrid models, a new feature vector is obtained by combining the feature vectors obtained from the layer consisting of 1024 neurons of each saved single model. The classification process is performed for these combined vectors by using a fully connected network including dropout and batch normalization layers. To evaluate the performances of the models, precision, recall, F1- score, and accuracy are chosen as the performance metrics. The experimental results show that the best performances are obtained by the ResNet50 – VGG16 – Xception hybrid model with the accuracy of 97.08% and the VGG16 – VGG19 hybrid model with the accuracy of 97.75% for the CAMELYON dataset and the BreaKHis dataset, respectively.