Tam otomatik ve metasezgisel tabanlı yeni bir derin öğrenme mimarisi üretecinin geliştirilmesi ve cilt kanseri teşhisi için etkinliğinin gösterilmesi
Development of a novel, fully automatic and metaheuristic-based deep learning architecture generator and demonstration of its effectiveness through skin cancer diagnosis
Yazar: MUSTAFA FURKAN KESKENLER
Danışman: DOÇ. DR. DENİZ DAL
Atatürk Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Derin öğrenme = Deep learning ; Parametre optimizasyonu = Parameter optimization

Özet:
Amaç: Bu çalışmanın öncelikli amacı evrişimli sinir ağları (CNNs) formundaki derin öğrenme mimarilerinin tüm bileşenleriyle birlikte bütünsel bir optimizasyonu için metasezgisel ve makine öğrenmesi tabanlı, yeni ve tamamen otomatik bir mimari üreteci geliştirmektir. Bu yenilikçi üreteç sayesinde, bir derin öğrenme mimarisinin hiperparametrelerinin, katman sayısının, türlerinin ve dizilimlerinin bütüncül bir yaklaşımla optimize edilmesi hedeflenmiştir. İkinci olarak, söz konusu üretecin dermoskopik görüntülerden oluşan bir veri seti aracılığıyla cilt kanserinin non-invaziv teşhisi noktasındaki etkinliğinin gösterilmesi amaçlanmıştır.
Yöntem: Derin öğrenme modellerinin optimizasyonu, ilgili modellerin performansını ve etkinliğini önemli ölçüde etkileyen kritik bir süreçtir. Optimizasyon işleminin amacı, modelin doğruluğunu, genelleme kabiliyetini ve hesaplama verimliliğini maksimize eden en uygun yapılandırmayı bulmaktır. Arama uzayının büyüklüğü ve karmaşıklığı göz önüne alındığında, yeni bir derin öğrenme mimarisinin etkinliğini sıfırdan eğiterek değerlendirmek pratik bir yaklaşım değildir. Bu motivasyonla, bu çalışma kapsamında öncelikle benzetilmiş tavlama metasezgiseli kullanılarak sınırlı sayıda derin öğrenme mimarisi içeren bir veri seti oluşturulmuştur. Bu mimari veri setindeki her bir mimari, seyreltilmiş cilt kanseri veri seti ile eğitilerek bir doğruluk değeri elde edilmiş ve bu değer her bir veriye etiket olarak atanmıştır. Ardından, regresyon tabanlı bir makine öğrenmesi modeli bu mimari veri seti ile eğitilmiştir. Bu model, karşılaştığı bir mimarinin etkinliğini, mimarinin sıfırdan eğitilmesi ve ölçülmesi yerine, doğrudan tahmin etmek amacıyla kullanılmıştır. Bu sayede, yine benzetilmiş tavlama tabanlı metasezgisel bir yöntem kullanılarak, arama uzayında yeni mimarilerin keşfedilebilmesi, bir başka deyişle derin öğrenme modeli optimizasyonu, çok daha kısa sürede gerçekleştirilebilmiştir.  
Bulgular: Bu tez kapsamında geliştirilen mimari üreteci kullanılarak 10 farklı derin öğrenme modeli oluşturulmuştur. Bu modellerin cilt kanseri teşhisindeki etkinlikleri, HAM10000 veri seti üzerinde test edilmiştir. Modellerin performansları, doğruluk, kesinlik, duyarlılık, F1-skor ve AUC gibi beş farklı başarı ölçüm metriği kullanılarak değerlendirilmiştir. Yürütülen testlerin sonuçlarına göre, tüm modellerin ortalama başarıları %95,26 doğruluk, %95,19 kesinlik, %94,82 duyarlılık, %95,01 F1-skor ve %98,74 AUC olarak belirlenmiştir.
Sonuç: Bu tez çalışması, derin öğrenme modellerinin optimizasyonu sürecine odaklanmıştır. Bu amaçla, tam otomatik, metasezgisel ve makine öğrenmesi tabanlı yeni bir derin öğrenme mimarisi üreteci geliştirilmiştir. Ardından, bu üretecin etkinliği cilt kanseri teşhisi problemi üzerinde gösterilmiştir. Elde edilen bulgular, önerilen üretecin ürettiği modellerin literatürdeki benzer çalışmalara kıyasla cilt kanserini daha yüksek başarımla tespit edebildiğini ortaya koymuştur. Ayrıca, üretilen modellerin eğitim sürelerinin de mevcut derin öğrenme modellerine göre daha kısa olduğu belirlenmiştir.

Abstract:
Purpose: The primary objective of this study is to develop a novel and fully automated architecture generator based on metaheuristic and machine learning methods for the holistic optimization of deep learning architectures in the form of convolutional neural networks (CNNs). This innovative generator aims to optimize the hyperparameters, the number of layers, layer types, and layer orderings of a deep learning architecture using a comprehensive approach. Secondly, the study aims to demonstrate the effectiveness of the proposed generator in the non-invasive diagnosis of skin cancer using a dataset of dermoscopic images.
Method: The optimization of deep learning models is a critical process that significantly impacts the performance and effectiveness of the respective models. The objective of the optimization process is to find the most suitable configuration that maximizes the model's accuracy, generalization capability, and computational efficiency. Considering the vastness and complexity of the search space, evaluating the effectiveness of a new deep learning architecture by training it from scratch is not a practical approach. Motivated by this, in the scope of this study, a dataset containing a limited number of deep learning architectures was initially generated using the simulated annealing metaheuristic. Each architecture in this architectural dataset was trained on the sparse skin cancer dataset, yielding an accuracy value, which was then assigned as a label to each instance. Subsequently, a regression-based machine learning model was trained on this architectural dataset. This model aimed to predict the effectiveness of an encountered architecture directly, instead of training and evaluating the architecture from scratch. Consequently, by employing a simulated annealing-based metaheuristic approach, the discovery of new architectures within the search space, or in other words, the optimization of deep learning models, could be achieved in a significantly shorter time frame. 
Findings: In this thesis, the developed architecture generator was utilized to create 10 different deep learning models. The effectiveness of these models in skin cancer diagnosis was evaluated using the HAM10000 dataset. The performance of the models was assessed using five different success measurement metrics, including accuracy, precision, recall, F1-score, and AUC. According to the results of the conducted tests, the models achieved an average performance of 95.26% accuracy, 95.19% precision, 94.82% recall, 95.01% F1-score, and 98.74% AUC. 
Results: This thesis focused on the optimization process of deep learning models. To this end, a novel deep learning architecture generator, which is fully automated, metaheuristic-based, and machine learning-driven, was developed. Subsequently, the effectiveness of this generator was demonstrated on the skin cancer diagnosis. The findings revealed that the models generated by the proposed generator could detect skin cancer with higher performance compared to similar studies in the literature. Additionally, it was determined that the training times of the generated models were shorter than those of the existing deep learning models.