Üretken ağlar ve uygulamaları
Generative networks and their applications
Yazar: GAFFARİ ÇELİK
Danışman: DOÇ. DR. MUHAMMED FATİH TALU
İnönü Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2021
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Bu tez çalışmasında gürültüden görsel üretme, çözünürlük arttırma, sinyalden görüntü üretme ve bölütleme gibi alanlardaki en güncel yaklaşımlar incelenmiş ve Çekişmeli Üretken Ağlar (GAN) temelli yeni mimariler geliştirilerek literatüre katkılar sunulmuştur. Tez kapsamında yapılan ilk deneysel çalışmada, klasik GAN mimarileri (cGAN, DCGAN, InfoGAN, SGAN, ACGAN, WGAN-GP ve LSGAN) kullanılarak MNIST ve Fashion-MNIST veri kümelerindeki görseller üretilmektedir. Ayrıca bu yaklaşımlara alternatif olacak yeni bir hibrit GAN mimarisi (cDCGAN) önerilmektedir. Yapılan ikinci deneysel çalışma, SRGAN mimarisinin Camelyon17 veri kümesine uygulanmasını içermektedir. Buna göre SRGAN mimarisinin görsel çözünürlüğünü iyileştirilme ve gürültüyü giderilme performansı klasik yaklaşımlarla kıyaslanmaktadır. Tez kapsamında yapılan üçüncü deneysel çalışmada, GAN mimarilerinin sinyalden görsel üretme performansı araştırılmıştır. Bunun nedeni EEG sinyal verilerinden planlanan aktivitenin tahmin edilmesi veya engelliler için tekerlekli sandalyenin hareketlendirilmesi gibi ihtiyaçların varlığıdır. Ancak mevcut çalışmalar incelendiğinde EEG sinyalinin sadece sınıflandırılma ile sınırlı kaldığı görülmektedir. GAN ve Otomatik Kodlayıcı (Auto encoder-AE) tekniklerinin kullanıldığı az sayıda çalışma incelenmiş ve yeni mimarilerle sinyal-görsel üretim performansı iyileştirilmiştir. Tez kapsamındaki yapılan son deneysel çalışma, 3D MRI verilerinin bölütlenmesi hakkındadır. Yapılan araştırma sonucunda güncel bölütleme mimarileri belirlenmiş ve üç farklı veri kümesi (IBSR18, MRBRAINS13 ve MRBRAINS18) kullanılarak bölütleme sonuçları elde edilmiştir. Mevcut yaklaşımlara alternatif olacak Vol2SegGAN adlı yeni bir bölütleme yaklaşımı önerilmiştir. Bu mimarinin üretici ağında ACFP ve PAM modülleri yer alırken, ayırıcı ağı gerçek/sahte ayrımını gerçekleştirmektedir. T1 modaliteye sahip 3D-MRI taramalarının kullanıldığı verilerde üç farklı bölge (GM, WM, CSF) ve sekiz farklı bölge (CGM, BG, WM, WMH, CF, VE, CE ve BS)'nin bölütlenme çalışmaları yapılmıştır. 
Yapılan deneysel faaliyetler sonucunda, GAN temelli yaklaşımların birçok problem çözümüne olumlu katkılar sağladığı görülmüştür.

Anahtar Kelimeler: Derin Öğrenme, Çekişmeli Üretken Ağlar, Sentetik Görüntü Üretimi, GAN Uygulamaları, Görüntü Boyutlandırma, SRGAN, Gürültü Temizleme, EEG-GAN, EEG Sinyalleri, 3D MRI Tramaları, Bölütleme, Örtüştürme, Vol2SegGAN, PAM, ACFP

Abstract:
In this thesis, the most up to date approaches in areas such as image generation from noise, resolution enhancement, image generation from signal and segmentation have been examined, and new architectures based on Generative Adversarial Networks (GAN) have been developed and contributed to the literature. In the first experimental study conducted within the scope of the thesis, images in MNIST and Fashion-MNIST datasets are produced using classical GAN architectures (cGAN, DCGAN, InfoGAN, SGAN, ACGAN, WGAN-GP and LSGAN). In addition, a new hybrid GAN architecture (cDCGAN) is proposed as an alternative to these approaches. The second experimental study includes the application of the SRGAN architecture to the Camelyon17 dataset. Accordingly, the visual resolution improvement and noise removal performance of the SRGAN architecture is compared with classical approaches. In the third experimental study conducted within the scope of the thesis, the visual generation performance of the GAN architectures from the signal was investigated. The reason for this is the existence of needs such as estimating the planned activity from the EEG signal data or mobilizing the wheelchair for the disabled. However, when the existing studies are examined, it is seen that the EEG signal is limited to classification only. Few studies using GAN and Auto encoder (AE) techniques have been examined and signal-visual production performance has been improved with new architectures. The last experimental work within the scope of the thesis is about segmentation of 3D MRI data. As a result of the research, current segmentation architectures were determined and segmentation results were obtained using three different datasets (IBSR18, MRBRAINS13 and MRBRAINS18). A new segmentation approach called Vol2SegGAN has been proposed as an alternative to existing approaches. While ACFP and PAM modules are included in the generative network of this architecture, the discriminator network realizes the real/fake distinction. In the data using 3D-MRI scans with T1 modality, segmentation studies of three different regions (GM, WM, CSF) and eight different regions (CGM, BG, WM, WMH, CF, VE, CE and BS) were performed.
As a result of the experimental activities, it has been seen that GAN-based approaches make positive contributions to many problem solutions.

Keywords: Deep Learning, Generative Adversarial Networks, Synthetic Image Generation, GAN Applications, Image Resizing, SRGAN, Noise Removal, EEG-GAN, EEG Signals, 3D MRI Scans, Segmentation, Registration, Vol2SegGAN, PAM, ACFP